数据分析与AI(五)pandas的数据拼接操作/美国各州人口分析/苹果历年股票曲线图

我不是女神ヾ 2022-05-22 08:04 47阅读 0赞

# pandas的拼接操作 #

pandas的拼接分为两种:  
\- 级联: pd.concat, pd.append  
\- 合并: pd.merge, pd.join

## 0. 回顾numpy的级联 ##

import numpy as np
    import pandas as pd
    
    from pandas import Series, DataFrame
    import matplotlib.pyplot as plt

nd = np.random.randint(0,150,size=(5,4))
    nd
    # 结果如下:
    array([[ 54,  65,  70,  31],
           [  5,  85,  36, 137],
           [ 87,  38,  63,  77],
           [ 89,  82,  58,  96],
           [145, 125,  89,  84]])

# 列级联
    np.concatenate([nd,nd], axis=1)
    # 结果如下:
    array([[ 54,  65,  70,  31,  54,  65,  70,  31],
           [  5,  85,  36, 137,   5,  85,  36, 137],
           [ 87,  38,  63,  77,  87,  38,  63,  77],
           [ 89,  82,  58,  96,  89,  82,  58,  96],
           [145, 125,  89,  84, 145, 125,  89,  84]])

为方便讲解，我们首先定义一个生成DataFrame的函数：

def make_df(cols, index):
        data = {col:[str(col)+str(ind) for ind in index] for col in cols}
    
        df = DataFrame(data= data, columns = cols, index = index)
    
        return df

df1 = make_df(['a','b','c'],[1,2,3])
    df1
    # 结果如下:

![这里写图片描述][70]

df2 = make_df(['a','b','c'],[4,5,6])
    df2
    # 结果如下:

![这里写图片描述][70 1]

## 1. 使用pd.concat()级联 ##

pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
              keys=None, levels=None, names=None, verify_integrity=False,
              copy=True)

### 1) 简单级联 ###

和np.concatenate一样，优先增加行数（默认axis=0）

# np.concatenate(axis=1)的情况是水平级联, np中没有index, 和columns 所以只要行列相等就可以级联
    # 在pd中, 如果行 和 列 不一致, 但是shape(形状)相同, 会级联成一个更大的df, 但是不对应的值会填充NaN
    pd.concat([df1, df2], axis=1)
    # 结果如下:

![这里写图片描述][70 2]  
可以通过设置axis来改变级联方向

pd.concat([df1, df2], axis=0)
    # 结果如下:

![这里写图片描述][70 3]  
注意index在级联时可以重复

df3 = make_df(['a','b','c'],[2,3,4])
    df3
    # 结果如下

![这里写图片描述][70 4]

pd.concat([df1,df3],axis=1)
    # 水平合并以后结果如下:

![这里写图片描述][70 5]  
也可以选择忽略ignore\_index，重新索引

# git中有 .gitignore 这个文件, 会把写入的文件路径给屏蔽, 不会被上传到github
    # add . commit push
    # ignore_index 作用是对索引重新排序
    pd.concat([df1,df3],axis=0, ignore_index=True)
    
    # 在工作中, 大部分的分析数据来源于mysql,mysql中的id都是唯一的, 分表
    
    # mysql在面试中是最重要的,分表 每个表最大的储存限制是100w条, 一般只会使用80W条是最优的

![这里写图片描述][70 6]  
或者使用多层索引 keys

concat(\[x,y\],keys=\[‘x’,’y’\])

df4 = pd.concat([df1,df3],keys=['期中','期末'])
    df4
    # 结果如下:

![这里写图片描述][70 7]

### 2) 不匹配级联 ###

不匹配指的是级联的维度的索引不一致。例如纵向级联时列索引不一致，横向级联时行索引不一致  
有3种连接方式：

*  外连接：补NaN（默认模式）

df1
    # 结果如下:

![这里写图片描述][70 8]

df5 = make_df(['c','d','e'],[3,4,5])
    df5
    # 结果如下:

![这里写图片描述][70 9]

# concat默认使用的外连接
    df6 = pd.concat([df1,df5],axis=0)
    df6
    # 结果如下:

![这里写图片描述][70 10]

*  内连接：只连接匹配的项

# 回忆mysql中, outer和inner的不同
    # 外连接 left 以左边的表中的数据为核心, 右边数据不匹配,则填充Null
    # 内连接 join 两边表数据不完全对应的话, 会只显示能对应上的数据
    # join 默认值是outer
    df6 = pd.concat([df1,df5],axis=1, join='inner')
    df6
    
    # 同mysql一致

![这里写图片描述][70 11]

*  连接指定轴 join\_axes

df1
    # 结果如下:

![这里写图片描述][70 12]

df5
    # 结果如下:

![这里写图片描述][70 13]

df7 = pd.concat([df1, df5], join_axes=[df1.columns])
    df7
    
    # join_axes 的值 是一个列表[df1.index]
    # select df1.a, df1.b , df1.c from df1 left join df5 using(c);
    # using(c) 相当于: on df1.c=df5.c

![这里写图片描述][70 14]

### 3) 使用append()函数添加 ###

由于在后面级联的使用非常普遍，因此有一个函数append专门用于在后面添加

append 和 concat相似

df1
    # 结果如下:

![这里写图片描述][70 15]

df2
    # 结果如下:

![这里写图片描述][70 16]

# 垂直
    df1.append(df2)

![这里写图片描述][70 17]

## 2. 使用pd.merge()合并 ##

merge与concat的区别在于，merge需要依据某一共同的行或列来进行合并

使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。

注意每一列元素的顺序不要求一致

### 1) 一对一合并 ###

df1
    # 结果如下:

![这里写图片描述][70 18]

df2
    # 结果如下:

![这里写图片描述][70 19]

# 默认是内连接, 表的两边数据都不对应
    pd.merge(df1,df2)
    # 结果如下

![这里写图片描述][70 20]

display(df1,df5)

![这里写图片描述][70 21]

#### how的取值 : \{‘left’, ‘right’, ‘outer’, ‘inner’\}, default ‘inner’ ####

pd.merge(df1,df5, how='right')
    # 结果如下:

![这里写图片描述][70 22]

pd.merge(df1,df5,how='left')
    # 结果如下:

![这里写图片描述][70 23]

### 2) 多对一|一对多合并 ###

df1
    # 结果如下:

![这里写图片描述][70 24]

df8 = make_df(['c','d','e'],[1,1,1,4])
    df8
    # 结果如下:

![这里写图片描述][70 25]

pd.merge(df1,df8)
    
    # select * from df1 join df8 on df1.c= df8.c

![这里写图片描述][70 26]

pd.merge(df1,df8, how='left')
    # 结果如下:

![这里写图片描述][70 27]

pd.merge(df1,df8,how='outer')
    
    # 在工作中用outer , 可以自动分配

![这里写图片描述][70 28]

pd.merge(df1,df8,how='right')
    # 结果如下:

![这里写图片描述][70 29]

### 3) 多对多合并 ###

df8
    # 结果如下:

![这里写图片描述][70 30]

df8.iloc[0]['d'] = 'qwe'
    df8['e'][4] = 'asd'
    df9 = make_df(list('abd'),[1,1,4,4])
    df9
    # 结果如下;

![这里写图片描述][70 31]

pd.merge(df9, df8)
    # 结果如下:

![这里写图片描述][70 32]

pd.merge(df9, df8,how='outer')
    # 结果如下:

![这里写图片描述][70 33]

### 4) key的规范化 ###

*  使用on=显式指定哪一列为key,当有多个key相同时使用

df1
    # 结果如下:

![这里写图片描述][70 34]

# on的作用是将两个表中相同数据类型, 含义一致的字段进行连接的
    pd.merge(df1,df10, left_on='c',right_on='w')
    # mysql
    # select *

![这里写图片描述][70 35]

df11 = make_df(list('bcd'),[1,2,3])
    df11
    # 结果如下:

![这里写图片描述][70 36]

pd.merge(df1,df11,on='b')
    
    # mysql中一般碰到两个字段相同, 但是代表的含义不一样, 或者数据类型不同
    # a.u = b.u a.o - b.o
    # select a.o a_o, b.o b_o

![这里写图片描述][70 37]

## 6) 列冲突的解决 ##

当列冲突时，即有多个列名称相同时，需要使用on=来指定哪一个列作为key，配合suffixes指定冲突列名

可以使用suffixes=自己指定后缀

pd.merge(df1,df11,on='c',suffixes=('_up','_down'))
    # 结果如下:

![这里写图片描述][70 38]

# U.S.A人口分析 #

United States America

import pandas as pd
    from pandas import DataFrame, Series

# 先导入数据文件
    
    # 各州的面积
    areas = pd.read_csv('../data/state-areas.csv')
    # 缩写
    abbr = pd.read_csv('../data/state-abbrevs.csv')
    # 人口
    pop = pd.read_csv('../data/state-population.csv')
    areas.head()
    pop.head()
    # 结果如下:

![这里写图片描述][70 39]  
![这里写图片描述][70 40]

# 开始合并
    abbrToPop = pd.merge(abbr,pop, left_on='abbreviation', right_on='state/region', how='outer')
    abbrToPop.head()
    # 合并结果如下:

![这里写图片描述][70 41]

# 将重复的列删除掉
    # .drop()
    # 一般的一执行完就打印的, 这种形式的方法不对原数据产生影响, inplace代表是否对原数组产生影响
    abbrToPop.drop(columns='abbreviation', inplace=True) # 或者abbrToPop.drop(labels='abbreviation', axis=1)
    # 空数据一般会显示NaN
    abbrToPop.isnull().any()
    # 结果如下:
    state            True
    state/region    False
    ages            False
    year            False
    population       True
    dtype: bool   # 其中返回True的字段中存在NAN空数据, 需要进行处理

# 怎么计算丢失数据的数量
    # state population
    abbrToPop['state'].isnull().sum()
    # 结果如下: 96

# 把空数据填充上, 得到NAN行的筛选条件
    cond = abbrToPop['state'].isnull()
    
    # state是州名, 如何填充
    # unique()去除重复的值
    abbrToPop['state/region'][cond].unique()
    # 结果如下:array(['PR', 'USA'], dtype=object)

# 我们通过翻阅资料查到了PR的全称
    # Puerto Rico
    # 开始赋值
    cond_pr = abbrToPop['state/region'] == 'PR'
    abbrToPop['state'][cond_pr] = 'Puerto Rico'
    cond_usa = abbrToPop['state/region'] == 'USA'
    abbrToPop['state'][cond_usa] = 'United States'
    abbrToPop.isnull().any()
    # 结果如下:
    state           False
    state/region    False
    ages            False
    year            False
    population       True
    dtype: bool   # 成功将state数据修复

abbrToPop.dropna(inplace=True)
    # population 查阅资料, 我们先删除掉
    abbrToPop.isnull().sum()
    # 结果:
    state           0
    state/region    0
    ages            0
    year            0
    population      0
    dtype: int64

# 还有一个表需要合并
    areas.head()
    # 结果如下

![这里写图片描述][70 42]

# 融合面积
    abbrToPopToAreas = pd.merge(abbrToPop,areas, on='state',how='outer' )
    abbrToPopToAreas.head()

![这里写图片描述][70 43]

abbrToPopToAreas.isnull().sum()
    # 结果如下:
    state             0
    state/region      0
    ages              0
    year              0
    population        0
    area (sq. mi)    48
    dtype: int64   # area字段有48个空值

cond_area = abbrToPopToAreas['area (sq. mi)'].isnull()
    total_area = areas['area (sq. mi)'].sum()
    total_area  # 结果是: 3790399
    # U.S.A
    cond_ab = abbrToPopToAreas['state/region'] == 'USA'
    
    abbrToPopToAreas['area (sq. mi)'][cond_ab] = total_area
    abbrToPopToAreas.isnull().sum()
    # 数据处理完毕后结果:
    state            0
    state/region     0
    ages             0
    year             0
    population       0
    area (sq. mi)    0
    dtype: int64

# 现在的表已经完全融合完成了
    # 现在可以进行分析了

## 找出2010年全民人口数据, df.query() ##

abbrToPopToAreas_2010 = abbrToPopToAreas.query('year == 2010 & ages == "total"')
    abbrToPopToAreas_2010.head()
    # 结果如下:

![这里写图片描述][70 44]

## 以state作为列索引 ##

# 工作中会使用id作为列的索引
    # set_index()
    abbrToPopToAreas_2010.set_index('state', inplace=True)
    abbrToPopToAreas_2010.head()

![这里写图片描述][70 45]

## 计算人口的密度, population / area (sq. mi) ##

density_2010 = abbrToPopToAreas_2010['population'] / abbrToPopToAreas_2010['area (sq. mi)']
    density_2010
    # 结果如下:

state
    Alabama                   91.287603
    Alaska                     1.087509
    Arizona                   56.214497
    Arkansas                  54.948667
    California               228.051342
    Colorado                  48.493718
    Connecticut              645.600649
    Delaware                 460.445752
    District of Columbia    8898.897059
    Florida                  286.597129
    Georgia                  163.409902
    Hawaii                   124.746707
    Idaho                     18.794338
    Illinois                 221.687472
    Indiana                  178.197831
    Iowa                      54.202751
    Kansas                    34.745266
    Kentucky                 107.586994
    Louisiana                 87.676099
    Maine                     37.509990
    Montana                    6.736171
    Nebraska                  23.654153
    Nevada                    24.448796
    New Hampshire            140.799273
    New Jersey              1009.253268
    New Mexico                16.982737
    New York                 356.094135
    North Carolina           177.617157
    North Dakota               9.537565
    Ohio                     257.549634
    Oklahoma                  53.778278
    Oregon                    39.001565
    Maryland                 466.445797
    Massachusetts            621.815538
    Michigan                 102.015794
    Minnesota                 61.078373
    Mississippi               61.321530
    Missouri                  86.015622
    Pennsylvania             275.966651
    Rhode Island             681.339159
    South Carolina           144.854594
    South Dakota              10.583512
    Tennessee                150.825298
    Texas                     93.987655
    Utah                      32.677188
    Vermont                   65.085075
    Virginia                 187.622273
    Washington                94.557817
    West Virginia             76.519582
    Wisconsin                 86.851900
    Wyoming                    5.768079
    Puerto Rico             1058.665149
    United States             81.607845
    dtype: float64

## 2010年的人口密度融合到表中 ##

abbrToPopToAreas_2010['density_2010'] = density_2010
    abbrToPopToAreas_2010.head()

![这里写图片描述][70 46]

## 排序,找出人口密度最高的五个州¶ ##

# sort_values 根据值来进行排序
    
    abbrToPopToAreas_2010.sort_values(by='density_2010').tail()

![这里写图片描述][70 47]

# 苹果股票涨跌图绘制 #

import pandas as pd
    from pandas import Series, DataFrame
    import matplotlib.pyplot as plt
    import numpy as np

apple = pd.read_csv('../data/AAPL.csv')
    apple.head()
    # 结果如下:

![这里写图片描述][70 48]

apple.dtypes
    # 结果如下:
    Date          object
    Open         float64
    High         float64
    Low          float64
    Close        float64
    Adj Close    float64
    Volume       float64
    dtype: object  # 在这里可以看见Date是object类型的

## 转换一下data的数据类型 ##

### mysql 中有datetime pd .to\_datetime() ###

apple['Date'] = pd.to_datetime(apple['Date'])
    apple.dtypes
    # 结果如下:
    Date         datetime64[ns]
    Open                float64
    High                float64
    Low                 float64
    Close               float64
    Adj Close           float64
    Volume              float64
    dtype: object    # Date的数据类型转换为datetime64

apple.set_index('Date', inplace=True)
    # 结果如下:

![这里写图片描述][70 49]

### 绘制图形 ###

adj_plot = apple['Adj Close'].plot()
    fig = adj_plot.get_figure()
    
    # set_size_inches 设置图片的大小, 单位是英寸
    fig.set_size_inches(12,6)
    # 结果如下:

![这里写图片描述][70 50]

# 因为Volume这一列数据量级太大,不适合分析,故删除
    apple.drop('Volume', axis=1, inplace=True)
    app = apple.plot()
    fig1 = app.get_figure()
    fig1.set_size_inches(12,6)

![这里写图片描述][70 51]

[70]: /images/20220522/6db909ba3fa94b0cbe5aff838387d15b.png
[70 1]: /images/20220522/cd1986ee5fb94cc08d760ab0e7449401.png
[70 2]: /images/20220522/4905f6c0742844d4b5a58324246a8b75.png
[70 3]: /images/20220522/17c8e26957cb4fcfa0e128b203c199b8.png
[70 4]: /images/20220522/96d9c1c920a944098ef4c12871a2bffc.png
[70 5]: /images/20220522/75696d018bdf4911951c9f4c6f9f8cea.png
[70 6]: /images/20220522/b0a9f8ec42de4f02a7934d36bc3b7fd4.png
[70 7]: /images/20220522/16d54f7dd8744c83beccac7e04bda623.png
[70 8]: /images/20220522/2c1564a622b64e4d8c046a571eecbeb3.png
[70 9]: /images/20220522/164aeadf841740ffa038019511d331ba.png
[70 10]: /images/20220522/bc4faa25016a4ca4ae4a0f05e234a406.png
[70 11]: /images/20220522/b37b47e8029840efb77564ffdee467c2.png
[70 12]: /images/20220522/8b67645122e04700b3c797ae18804670.png
[70 13]: /images/20220522/9afbd43b714740129b09bc31c3f62f4d.png
[70 14]: /images/20220522/5fbbb2a0c4a5452797e19d49bfa937d9.png
[70 15]: /images/20220522/c8d6688bc24342d9a794847a2df06ce4.png
[70 16]: /images/20220522/733622d7ec454f0e9c9b2e15691842ed.png
[70 17]: /images/20220522/7e867ba3347b4e4aac0f0c0ac8c65eb7.png
[70 18]: /images/20220522/27237c6fc9754c6898628e9e1c18e581.png
[70 19]: /images/20220522/fd063ff584ea41fba9f89f367975d090.png
[70 20]: /images/20220522/11cee53911ca48698d3e139091974407.png
[70 21]: /images/20220522/c4101856ef5d4b2dabb7e3461ffa5d10.png
[70 22]: /images/20220522/78c1cfafa9014a5f943dbc640877159a.png
[70 23]: /images/20220522/88de0e9a910b49e78af185bd3a10d9a6.png
[70 24]: /images/20220522/fafa788f92184a4593aad4eaaea84918.png
[70 25]: /images/20220522/a9190419d86743d9ab9b726f01f00dcb.png
[70 26]: /images/20220522/3bb1d5f7aba14119b5747dc3a2305cfd.png
[70 27]: /images/20220522/e5c8db3c493444c2a0af54a3efabbcb9.png
[70 28]: /images/20220522/b02ecefdc93a4347a4484b2a3bf70713.png
[70 29]: /images/20220522/323580b0163a4dd1ac531ceeb1706e37.png
[70 30]: /images/20220522/a1e10ccf7032487fb5ddbba05ca2b563.png
[70 31]: /images/20220522/1a40d5a015444cffa9a65608c709b939.png
[70 32]: /images/20220522/b13e532ccc4b44c293b4333b39bc8bfd.png
[70 33]: /images/20220522/447ecbd8ad434044bbcbb3ced632ca69.png
[70 34]: /images/20220522/53aec16df8f747dea6a088beb9347f6f.png
[70 35]: /images/20220522/d70ecacfc4404074979f66ce961e3f81.png
[70 36]: /images/20220522/51861ba615a8491683fc98d380811dfc.png
[70 37]: /images/20220522/8c9d1de8623b4f89bb333c3e0366008b.png
[70 38]: /images/20220522/a102983844d64490a5cd4ae9bfcaf88d.png
[70 39]: /images/20220522/27ecf17b054f41ad859478833eee3b89.png
[70 40]: /images/20220522/17a609e1dd1c45cbb1d5e0c83c07a2c7.png
[70 41]: /images/20220522/cb550a3aaa81401287ff04db4e6f323f.png
[70 42]: /images/20220522/6e29a13991e748c18fd5cc9c4a6e691f.png
[70 43]: /images/20220522/7524a8ba8d90438282c1c1e91af59e50.png
[70 44]: /images/20220522/8fe87f8be1274265bcf424c9278f3469.png
[70 45]: /images/20220522/bd85c4f143ad4750a4785632f94d7817.png
[70 46]: /images/20220522/b8c836ebcdf047cab6b23f65929f8f62.png
[70 47]: /images/20220522/7378d68e0e0f486b82ca4dbfc61699be.png
[70 48]: /images/20220522/bd30eadd622043a8b24a2a936f2f7617.png
[70 49]: /images/20220522/b658e8f3f9e8476bb1c851d6d67f4080.png
[70 50]: /images/20220522/f261a446e163475b94928993cba6b80b.png
[70 51]: /images/20220522/b27df1658d694346af06090894f82f03.png