pyhton pandas数据分析基础入门（一文看懂pandas）

「爱情、让人受尽委屈。」 2021-11-29 06:36 414阅读 0赞

//2019.07.17

pyhton中pandas数据分析基础入门***（一文看懂pandas），***

**教你迅速入门pandas数据分析模块*****（后面附有入门完整代码，可以直接拷贝运行，含有详细的代码注释，可以轻松帮助你入门理解）***

***1.1 pandas模块简介***

首先，使用pandas相应的操作之前都需要导入pandas模块

import pandas as pd
    import numpy as np #导入pandas和numpy模块

1、pandas中具有两种常见的数据结构：  
**(1)Series**  
它是指一维列表或者数组(列向量)，和numpy中的array比较类似，可以储存很多不同类型的数据类型；  
**(2)DataFrame**  
二维型的数据结构，和Excel表格比较类似，它可以理解为是Series的容器。

***1.2 pandas里面的series类型应用：***  
1、对于series的定义：  
s=pd.Series(\[1,2,3,np.nan,2,3,1,...\],index=\["a","b","c","d","e"...\])  
其中对于index是对于每一行数字属性的规定  
2、对于series的索引index，其实质是指列表的行标签，可以serie.index来进行查询和输出；

***1.3 DataFrame二维列表的相关操作大全***  
(一)构造DataFrame二维列表的方式  
1、对于DataFrame的二维列表数据的出入主要有两种方式***：传入二维数组和使用字典的定义方法***；  
方式一：df=pd.DataFrame(np.random.randn(6,4)) \#二维数组的传入方法  
方式二：df=pd.DataFrame(\{"A":\[1,2,3,4,5\],"B":\["1,1,2,1,1"\],"C":list("abcde"),"D":\["yanjiangyi"\]\*5\}) \#字典的传入方式  
2、对于二维列表各行各列的属性名称定义主要采用的是index(各行名称)和columns(各列名称)：  
df=pd.DataFrame(np.random.randn(6,4)，index=pd.date\_range("20180701",periods=6,freq="M"),columns=\[list("abcd")\])  
3、关于DateFrame的字典数据传入方式，***其中字典的key指的是列表的列名称，即columns的取值，另外对于每一列的取值主要有以下六种方式***，都可以传入数组：  
df=pd.DataFrame(\{"A":1.0,"B":np.array(\[3\]\*4,dtype=int),"C":pd.Timestamp("20190701"),"D":pd.Series(\[1.21,2.21,3.24,4.26\],dtype=float),"E":pd.Categorical(\["a","b","c","d"\]),"F":"abc"\})  
(二)DataFrame二维数组的数据的查询  
1、头尾数据查询：采用函数.head(x)和.tail(x)可以查询前后x行的数据；  
2、查看表格数据的每一列数据类型可以采用df.dtypes来进行查看数据类型；

***1.4pandas读取数据及其数据操作***  
**1、*pandas读取表格数据的方式是采用自带的函数pd.read\_excle(表格的路径)和pd.read\_csv(表格的路径)***  
例如：  
df=pd.read\_excel("D:/Byrbt2018/Study/Python数据分析课程+练习+讲解/Python数据分析课程+练习+讲解/作业/作业3/作业3/香港酒店数据.xlsx") \#表格的读取操作主要依靠的是***pd.read\_excel/csv函数+文件路径***  
2、提取表格中的某几行某几列数据的方式：  
(1)采用属性名称的方式：  
df.loc\[行属性A:行属性B,列属性:列属性\]  
(2)采用表格下标的方式：  
df.iloc\[行序号:行序号,列序号:列序号\]  
(3)直接采用数组的方式：  
df\[\[列属性1，列属性2，列属性3...\]\]\[行号:行号\]  
**(4)采用标准格式：**  
**df.loc\[\[index,,...\],\[columns,,...\]\] \#先行后列**  
3、表格行的增加和删减  
(1)增加一行：  
先用字典定义好这一行的新的数据(字典的key是表格的各列属性)，然后将其转换为series一维列表，之后采用表格的增添函数***df.append(s)***来进行添加这一行的数据，另外还可以用s.name来定义新添加行的行属性名称  
s=\{0:"天水宾馆",1:"休闲娱乐",2:"天水",3:"甘谷县",4:"中关村街道",5:4.5,6:11000,7:345\} \#先定义一行数据,利用字典的操作来进行定义新的一行  
s1=pd.Series(s) \#转换字典为一维列表  
s1.name=420 \#定义列表的行属性  
(2)删减其中一行：  
直接调用pandas模块的***删减函数df.drop(\[行号\])函数***来进行删减相应需要删减的某一行数据。  
4、列的相关操作  
(1)列的增加：  
列的增加通过直接增加定义就可以：  
df\["序号"\]=range(1,len(df)+1) \#增加了序号这一个新的列  
(2)列的删减：  
列的删减可以通过df.drop\["列属性名称"，axis=1\]来进行操作，其中axis=1必须要设置，他表示删除的是列而不是行，如果不写axis或者设置axis=0,表示的是要进行删减的行：  
df.drop\["列属性名称"，axis=1\]  
5、有关数据条件选择的操作：  
关于数据条件性选择主要可以采用df\[(选择条件)\]来继续操作，举例如下：  
print(df\[df.评分>4.5\]) \#选择评分高于4.5的数据列表  
print(df\[(df.评分>4.5 )& (df.类型=="浪漫情侣")\]) \#选择评分高于4.5并且类型属于浪漫情侣的数据列表  
print(df\[((df.类型=="香港")|(df.日常人数>1000))&(df.评分>4.5)\])  
\#选择类型时香港或者日常人数超过1000人的，并且评分高于4.5的数据列表  
6、对于数据缺失值和异常值的处理操作：  
(1)缺失值的处理主要包含以下四个操作:  
***isnull***(返回一个布尔型的数据类型，判断是否为缺失值)  
**notnull**(和isnull正好相反，判断不是缺失值)  
**fillna**(对于缺失值进行填充)  
**dropna**(对于缺失值进行相应的删减过滤)  
***(2)缺失值的处理规则：***  
\#数据缺失值及其异常值的处理  
对于缺失值的删减***dropna()主要有三个参数：how=all(删掉所有 行和列),inplace=Ture(实时对于删减的表格进行更新),axis=0或者1(删减处理的是行或列)***  
print(df.isnull())  
print(df\[df\["评分"\].isnull()\]) \#缺失值的判断和输出  
***\#对于缺失值的填充***  
print(df\[df\["评价人数"\].isnull()\]) \#首先判断是否有残缺值  
df\["评价人数"\].fillna(np.mean(df\["评价人数"\]),inplace=True) \#缺失值的填充和实时更新inplace=1  
print(df)  
print(len(df\[df\["评价人数"\].isnull()\]))  
print(len(df))  
print(len(df.dropna()))  
df.dropna(inplace=True)  
print(len(df))

***\#异常值的处理***  
异常值一般主要是判断表格里面的数据是否和列属性的性质不符(比如对于人数属性的列数据存在一小数点负数的情况)，然后结合判断的情况进行数据的处理和更新  
print(len(df\[df\["日常人数"\]%1!=0\])) \#对于异常值的判断和处理  
df=df\[(df\["日常人数"\]%1==0)&(df\["日常人数"\]>0)\] \#根据异常值的条件进行实时更新  
print(df)

***整体的入门运行代码***如下所示（***可以直接拷贝运行，含有详细的代码注释，可以轻松帮助你入门理解***）：

import pandas as pd
    import numpy as np  #导入pandas和numpy模块
    
    # Series一维列表操作
    s=pd.Series([1,2,3,4,np.nan,2,3,4,6,7])
    print(s)
    print(s.index) #输出series的行标签（属性）
    print(s.values) #输出series的取值
    print(s[2:9:2]) #隔行输出相应的值（切片操作）
    s.index.name="属性"  #定义列表series的属性名称
    print(s)
    s.index=list("abcdefghij")  #重新定义表格每一行的属性名字
    print(s)
    print(s["a":"h":2])           #提取其中一部分，进行相关的的切片操作
    
    # Dataframe二维列表操作大全
    date=pd.date_range("20180101",periods=6,freq="D")  #生成时间序列
    print(date)
    df=pd.DataFrame(np.random.randn(6,4),index=date,columns=list("abcd")) #定义随机数的二维列表6x4,然后定义各行各列的名称（index和columns）
    df.index.name="date"
    print(df)
    df1=pd.DataFrame({"A":1.0,"B":np.array([3]*4,dtype=int),"C":pd.Timestamp("20190701"),"D":pd.Series([1.21,2.21,3.24,4.26],dtype=float),"E":pd.Categorical(["a","b","c","d"]),"F":"abc"})
    print(df1)
    print(df1.values)    #查看数据的值
    print(df1.index)     #查看数据的行属性名称
    print(df1.head(3))   #c查看数据的前三行
    print(df1.tail(3))   #查看数据的后三行
    print(df1.dtypes)   #查看表格数据的每一类数据类型
    
    #数据表格的读取与各种操作
    df=pd.read_excel("D:/Byrbt2018/Study/Python数据分析课程+练习+讲解/Python数据分析课程+练习+讲解/作业/作业3/作业3/香港酒店数据.xlsx") #表格的读取操作主要依靠的是pd.read_excel/csv函数+文件路径
    print(df)
    
    #表格的行操作
    print(df.iloc[0])  #采用下标的形式来进行数据的查询df.iloc[:,;]
    print(df.iloc[:5]) #采用下标的形式来进行数据的查询df.iloc[:,;]
    print(df.loc[0:5,0:3]) #采用行和列属性的形式来进行数据的查询df.iloc[:,;]
    #增加一行操作
    s={0:"天水宾馆",1:"休闲娱乐",2:"天水",3:"甘谷县",4:"中关村街道",5:4.5,6:11000,7:345}  #先定义一行数据,利用字典的操作来进行定义新的一行
    s1=pd.Series(s)      #转换字典为一维列表
    s1.name=420          #定义列表的行属性
    print(s1)
    df=df.append(s1)       #增加一行数据操作（需要重新定义列表）
    print(df)
    print(df[-5:])
    df=df.drop([420])      #删除某一行数据操作（需要重新定义列表）
    print(df)
    df.columns=["名称","类型","城市","地区","街道","评分","评价人数","日常人数"]  #改变表格的各列名称
    print(df)
    print(type(df.index))
    print(df.columns)
    print(df["名称"])
    #提取某几行某几列数据的三种方法（df.loc[;,;,iloc[;,;],df[[,,][:]）
    print(df[["名称","类型"]][:5]) #提取某几列某几行
    print(df.iloc[0:5,0:3])        #提取某行某列（行在前，列在后）
    print(df.loc[1:40,"类型":"评分"])
    print(df[["名称","评分","城市"]][0:400:20]) #列在前，行在后
    
    #列的相关操作
    df["序号"]=range(1,len(df)+1) #增加列的操作
    print(df[:5])
    df=df.drop("序号",axis=1)  #删减列时采用.drop函数，此时drop(x,axis=1)x表示列的名称，axis=1表示删除的是列，不写axis表示它为0，删除的默认是行
    print(df)
    print(df.loc[[1,2,3,5,10],["类型","评分"]])  #标准形式提取表格中的数据
    
    #条件选择的数据操作
    print(df[df.评分>4.5])
    print(df[(df.评分>4.5 )& (df.类型=="浪漫情侣")])
    print(df[((df.类型=="香港")|(df.日常人数>1000))&(df.评分>4.5)])
    
    #数据缺失值及其异常值的处理
    print(df.isnull())
    print(df[df["评分"].isnull()]) #缺失值的判断和输出
    #对于缺失值的填充
    print(df[df["评价人数"].isnull()])  #首先判断是否有残缺值
    df["评价人数"].fillna(np.mean(df["评价人数"]),inplace=True)  #缺失值的填充和实时更新inplace=1
    print(df)
    print(len(df[df["评价人数"].isnull()]))
    print(len(df))
    print(len(df.dropna()))
    df.dropna(inplace=True)
    print(len(df))
    print(len(df[df["日常人数"]%1!=0])) #对于异常值的判断和处理
    df=df[(df["日常人数"]%1==0)&(df["日常人数"]>0)]  #根据异常值的条件进行实时更新
    print(df)

![1499410-20190717155213613-2126119966.png][]

![1499410-20190717155606931-2120433923.png][]

![1499410-20190717152843392-408587439.png][]

![1499410-20190717152808240-84534842.png][]

转载于:https://www.cnblogs.com/Yanjy-OnlyOne/p/11201273.html

[1499410-20190717155213613-2126119966.png]: /images/20211129/34a776f99e40459fa037a70d04b7ea07.png
[1499410-20190717155606931-2120433923.png]: /images/20211129/df194e78e0a84589ae9dc4f8fa5f670a.png
[1499410-20190717152843392-408587439.png]: /images/20211129/1ef8252287b24b64a19605bde07d3f56.png
[1499410-20190717152808240-84534842.png]: /images/20211129/40ce05a713484e1a8faec4bb1312720d.png