python read_csv函数_Python：pandas（一）——常用、读写函数read_csv、read_excel、to_csv...

忘是亡心i 2022-10-22 11:50 211阅读 0赞

0、常用

1)读写

①从不同文本文件中读取数据的函数，都是read\_xxx的形式；写函数则是to\_xxx

②对前n行感兴趣，或者用于检查读进来的数据的正确性，用head(n)方法；类似的，后n行，用tail(n)——如果不写参数n，将会是n行；信息浏览可以用info()方法

③检查各列的类型，用dtypes属性

2)取子集

①这一部分的内容与numpy的切片、索引部分很类似

②可以通过shape属性查看DataFrame与Series的尺寸

③如果要查看其中的若干列，索引为这些列名的list，不能单独直接写列名

person\_df\[\['Name','Age'\]\]\#列名的list，√

person\_df\['Name','Age'\]\#直接写列名，×

④筛选特定行，类似numpy中的布尔索引

df\[df\['Age'\]>35\]

df中Age大于35的行

df\[func(df\['Age'\])\]

df中对Age进行函数func后返回True的行

如果，直接用索引值df\['Age'\]>35，则返回一个与df\['Age'\]相同大小的Series，只是相关的值代之以True或False

3)DataFrame

DataFrame是一个2维的数据结构，每行可以存储不同的数据结构。实际上，用Excel表可以更容易理解，每列则表示一个Series(Series是另一种pandas数据结构，一个Series中的数据为同一种类型；此外，Series还有个Name属性)，同时有一个列标签；每行也有一个行标签，行标签总是数字0、1、2...。

下面我们显式的构造一个DataFrame，由于一个DataFrame有多个属性列即多个Series。所以构建时先建立一个dict，这个dict的key分别是这些Series的名，value是所有Series在该属性下的value的list，注意顺序一定要一致：

importpandasaspd

person=\{'Name':\["Braund,Mr.OwenHarris","Allen,Mr.WilliamHenry","Bonnell,Miss.Elizabeth",\],'Age':\[22,35,58\],'Sex':\["male","male","female"\],

\}

person\_df=pd.DataFrame(person)

person\_df

NameAgeSex

0Braund,Mr.OwenHarris22male1Allen,Mr.WilliamHenry35male2Bonnell,Miss.Elizabeth58female

如果对某列感兴趣，可以通过列名(DataFrame\[ 列名 \])的方式直接索引，就像查找dict某个key一样

person\_df\['Age'\]

022

1　　35

2　　58Name:Age,dtype:int64

关于DataFrame的各项属性及方法，可以看pandas(三)；Series的部分可以看pandas(四)

4)绘图

①直接对整个DataFrame用方法plot，可以得到所有数值列随Index列变化的折线图；

②对某一列用plot，可以得到该列随Index变化的折线图

③其他的散点图、箱型图，都与matplotlib的相关方法用法相似，而且可以直接从DataFrame的相关方法(见pandas(三))中找到。

④所有plot.\*方法的返回值都是Matplotlib对象

5)对列的操作

①对原列的数据进行运算，得到新列的数据，并保存为新列

DataFrame\['new'\] = DataFrame\['old'\] \* 2

这样就会在最右边生成一个新列'new'，其值是'old'列的两倍

②用两列进行运算，结果保存为新列

DataFrame\['new'\] = DataFrame\['old1'\] / DataFrame\['old2'\]

③给列重命名

DataFrame\_rename =DataFrame.rename(

columns=\{'old1':'new1','old2':'new2','old3':'new3'\}

)

行列Index均可通过rename重命名，都是dict的格式；

此外，也可以通过传入一个函数，来实现对所有的行列Index进行统一处理，例如：把所以列名的英文小写

DataFrame\_rename = DataFrame.rename(columns = str.lower)

6)统计函数

①既可以对整个DataFrame的所有数据列进行统计，也可以只对其中的部分列

对部分列进行统计的用法：

DataFrame\[ 列名list \].describe()

air\_quality=pandas.read\_csv('air\_quality\_no2.csv')

air\_quality.describe()

station\_antwerp station\_paris station\_london

count95.000000 1004.000000 969.000000mean25.778947 27.740538 24.777090std12.682019 15.285746 11.214377min7.500000 0.000000 0.000000

25% 16.750000 16.500000 19.000000

50% 23.000000 24.150000 25.000000

75% 34.500000 35.925000 31.000000max74.500000 97.000000 97.000000

air\_quality\['station\_antwerp'\].describe()

count95.000000mean25.778947……50% 23.000000

75% 34.500000max74.500000air\_quality\[\['station\_antwerp','station\_paris'\]\].describe()

station\_antwerp station\_paris

count95.000000 1004.000000mean25.778947 27.740538……50% 23.000000 24.150000

75% 34.500000 35.925000max74.500000 97.000000

②聚簇统计——先根据某列中的数值分类，再对每类数据进行分类

方法：

DataFrame.groupby(分类依据的列).describe()

DataFrame\[ 列名List \].groupby( 分类所依据的列 ).describe()\#①列名List中必须包含分类列和需要进行统计的列

\#②如果是对整个DataFrame用groupby，则会对除分类列外的所有列进行统计分析

\#③分类列可以是多列，此时会分为 这两列类别之积 的类别数

例如：统计不同性别(性别列为'Sex')的年龄数据

DataFrame\[ \['Sex','Age'\] \].groupby('Sex').describe()

统计每种类别中的数据数量：a.按类别中的样本数量从大到小；b、按类别名从小到大

a.将统计函数变为value\_counts()

b.统计函数为count()

titanic\["Pclass"\].value\_counts()

Out\[12\]:3 491

1 216

2 184Name: Pclass, dtype: int64

titanic.groupby("Pclass")\["Pclass"\].count()

Out\[13\]:

Pclass1 216

2 184

3 491Name: Pclass, dtype: int64

7)重组织DataFrame的表格数据分布(reshape)

①按某列数值大小排序：sort\_values(by= 列名 或 列名List)

DataFrame.sort\_values(by='Age')

②从长数据到宽数据(单独观察某一列的数据)：pivot(见第二部分pandas(二))

8)表格连接 concat(竖向或者横向堆积)与merge(类似数据库的连接)

9)时间数据

将输入的时间文本转化为datetime类型，pd.to\_datetime

1、读写函数

正如在0章2节读写部分所说，读函数的格式都是read\_xxx，写函数的格式都是to\_xxx，不过需要注意的是，read\_xxx是pandas的函数，调用方法为pd.read\_xxx；to\_xxx是DataFrame的方法，用法为DataFrame.to\_xxx，相当于直接把某个DataFrame给保存到某个文件中

函数有很多，基本上所有的表格类型数据都可以读进来，有兴趣的可以去pandas官方文档:input/output自己找需要的，下面只介绍read\_csv和read\_excel

1.1、read\_csv

用法：

pandas.read\_csv(

filepath\_or\_buffer,

sep=',',

delimiter=None,

delim\_whitespace=True,

header='infer',

names=None,

index\_col=None,

usecols=None,

mangle\_dupe\_cols=True,

dtype=None,

converters=None,

true\_values=None,

false\_values=None,

skiprows=None,

skipfooter=0,

nrows=None,

low\_memory=True,

na\_values=None,

na\_filter=True,

skip\_blank\_lines=True,

parse\_dates=False,

infer\_datetime\_format=False,

date\_parser=None,

iterator=False,

compression='infer',

encoding=None,

error\_bad\_lines=True,

warn\_bad\_lines=True,

)

参数：

官方文档中参数多达50个(上文没给全)，但也不是每个每次都用得上，下面只说那些自己觉得重要的

参数

类型

默认值

说明

filepath\_or\_buffer

str

文件名

sep

str

','

分隔符；如果文件列与列间以\\t分隔，那么该参数就可以设置为'\\t'

delimiter

str

None

sep的别名

delem\_whiterspace

bool

True

分隔符为空白字符，包括空格,\\t等

header

int或int list

infer

哪一行的值作为列名。默认第0行；

如果同时给出header和names，则会用names作为列名，用除header之外的行作为数据；

如果header=None，则列名就为names，数据为全部

names

list

列名

index\_col

int

行标签所在列，如果为None，则会自动生成0,1,2,...的标签列

usecols

list

列的子集。如果不是每列都用得上，就可以只挑选其中的若干列，可以是列索引的list，比如\[0,1,2\]表示前3列，也可以是列名的list，比如\['name','age'\]

mangle\_dupe\_cols

bool

True

有同名列时，会在重名列名后加.n，n为重名列的序号

dtype

\{'列名1':type,...\}

指定相关列的类型

converters

\{'列名1'：func1,...\}

对相关列的值进行转化，举例，如果想让id全部加10，该项可以这样写(由于该参数在使用时默认列类型是string，所以处理数字类型时，需要用类型转换函数)

pd.read\_csv('data.csv',

converters=\{"id":lambdax:int(x)+10\}

)

true\_values与false\_values

list

哪些值(true\_values中说明)被替换为True，哪些值(false\_values中说明)被替换为False,只有当某一列的所有数据都在true\_values+false\_values中时，该列的数据才会被替换为True或False

skiprows

int,list

如果是list，过滤掉哪几行；如果是int，过滤掉前几行

先过滤再确定表头

skipfooter

int

0

过滤掉最后几行

n\_rows

int

读进来多少行(读大文件时有用)

low\_memory

bool

True

默认为True，意思是读取数据时，分块读取，可以减小类型错误，但会导致长耗时

设置为False，一次全部读入内存，耗时短，有可能导致内存溢出

na\_values

str,list

哪些值被认定为NaN

na\_filter

bool

True

缺值是否视为NaN

skip\_blank\_lines

bool

True

是否过滤掉空行，如果False，则将空行视为False

parse\_dates

bool或int list或name list

如果是True，就把Index列解析为datetime

如果是另外两种：指定某些列为Date类型，配合参数date\_parse使用

infer\_datetime\_format

bool

False

如果设置为True且parse\_dates存在，则会自动尝试解析这些Date string

date\_parser

function

解析之前标注的日期列的函数

iterator

bool

False

如果为True，则返回一个TextFileReader对象，以便逐块处理文件。当文件很大无法一次性读入时，很有用

compression

\['infer','gzip','zip'，...\]

infer

直接读取压缩文件中的csv文件

encoding

字符集编码类型

error\_bad\_lines与warn\_bad\_lines

bool

True

删除格式错误的行

1.2、read\_excel

用法：

pandas.read\_excel(

io,

sheet\_name=0,

header=0,

names=None,

index\_col=None,

usecols=None,

dtype=None,

converters=None,

true\_values=None,

false\_values=None,

skiprows=None,

skipfooter=0,

nrows=None,

na\_values=None,

keep\_default\_na=True,

na\_filter=True,

parse\_dates=False,

date\_parser=None,

mangle\_dupe\_cols=True,

)

参数：

这里只说前两个参数io与sheet\_name，其他的参数与read\_csv相同，就不再赘述

参数

类型

默认值

说明

io

文件URL，支持xls与xlsx

sheet\_name

str,int,list,None

0

str：表的名字

int：表的索引

list：多个表

None：全部表

1.3、to\_csv

用法：

DataFrame.to\_csv(

path\_or\_buf=None,

sep=',',

na\_rep='',

float\_format=None,

columns=None,

header=True,

index=True,

mode='w',

encoding=None,

compression='infer',

chunksize=None,

date\_format=None,

errors='strict',

)

参数：

参数

类型

默认值

说明

path\_of\_buf

str

None

输出文件名

sep

长度为1的str

','

列与列间隔符

na\_rep

str

''

缺省值填充字符串

float\_format

str

None

以格式化字符串的形式给出浮点数的形式，类似'%.2f'就是保留两位小数

columns

list

写入哪些列

header

bool，str list

True

写入的列名，如果给出str list，则列名用该list

index

bool

True

行名

mode

str

'w'

python write mode，除了'w'外还有'a'追加

encoding

编码格式

compression

str

是否压缩为某种格式

chunksize

int , None

一次写多少行

date\_format

str

None

格式化字符串的形式给出date类型的形式

errors

str

'strict'

同open()函数中的errors参数的用法，忽略编码错误用'ignore'

发表评论取消回复

表情：

评论列表（有 0 条评论，211人围观）

还没有评论，来说两句吧...

相关阅读

相关 softmax函数用Python写

softmax 函数在 Python 中可以用以下代码实现： import numpy asnp def softmax(x): r

怼烎@/ 2024年03月25日 12:58/ 0 赞/ 103 阅读

相关编写python函数常用技巧代码（一）

目录系列文章目录一. 字符串操作二. 格式化输出三. dict常用操作四. list操作五. 迭代器六. 元组七. 变量八. 偏导函数

末蓝、/ 2023年09月29日 10:08/ 0 赞/ 3 阅读

相关 Excel常用函数（一）

Excel常用函数（一）的表格下载链接：文章目录一、公式中常用的运算符和运算函数二、函数引用方式三、格式转换 3.1 货币符号与单位的添加 3.2 英文大小

灰太狼/ 2022年12月24日 00:38/ 0 赞/ 218 阅读

相关 python read_csv函数_Python：pandas（一）——常用、读写函数read_csv、read_excel、to_csv...

0、常用 1)读写 ①从不同文本文件中读取数据的函数，都是read\_xxx的形式；写函数则是to\_xxx ②对前n行感兴趣，或者用于检查读进来的数据的正确性，用hea

忘是亡心i/ 2022年10月22日 11:50/ 0 赞/ 212 阅读

相关 python 常用string函数

author：skate time：2014/10/13 python 常用string函数字符串中字符大小写的变换 1. str.lower()

客官°小女子只卖身不卖艺/ 2022年08月13日 05:00/ 0 赞/ 196 阅读

相关 Python file"文件"常用方法（一）：常用函数列表

最近整理一份：Python file（文件）常用的函数列表，如下图所示： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_s

Bertha 。/ 2022年04月24日 08:28/ 0 赞/ 344 阅读

相关 python常用字符串函数

字符串的操作 tstr = 'hello this world hello another world.txt' print(tstr.find('ll

港控/mmm°/ 2022年04月22日 03:22/ 0 赞/ 379 阅读

相关 Python常用函数笔记

1、center()方法说明：返回一个原字符串居中,并使用空格填充至长度 width 的新字符串。语法：str.center(width\[, fillcha

偏执的太偏执、/ 2022年02月21日 16:57/ 0 赞/ 264 阅读

相关 python常用内置函数（一）

python常用内置函数（一）与数学相关 abs() min() max() divmod() 强制转

骑猪看日落/ 2021年12月16日 12:41/ 0 赞/ 369 阅读

相关 Python常用函数

1. 序列整数（range函数） ![736761-20160125022639660-374511509.png][] 2. 断言assert assert 表达式

以你之姓@/ 2021年07月16日 15:20/ 0 赞/ 467 阅读