关于Pandas数据连接pd.concat的实现介绍

蔚落 2024-03-24 20:21 7阅读 0赞

![e707c45ffde2348983782c8688b9f711.jpeg][]

Pandas数据可以实现纵向和横向连接，将数据连接后会形成一个新对象(Series或DataFrame)

连接是最常用的多个数据合并操作

pd.concat()是专门用于数据连接合并的函数，它可以沿着行或列进行操作，同时可以指定非合并轴的合并方式(如合集、交集等)

pd.concat()会返回一个合并后的DataFrame

**语法**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>pd.concat(objs, axis</code><code>=</code><code>0</code><code>, join</code><code>=</code><code>'outer'</code><code>, ignore_index</code><code>=</code><code>False</code><code>, </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>keys</code><code>=</code><code>None</code><code>, levels</code><code>=</code><code>None</code><code>, names</code><code>=</code><code>None</code><code>, sort</code><code>=</code><code>False</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>verify_integrity</code><code>=</code><code>False</code><code>, copy</code><code>=</code><code>True</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

**参数**

*  objs: 需要连接的数据，可以是多个DataFrame或者Series，它是必传参数
 *  axis: 连接轴的方法，默认值为0，即按行连接，追加在行后面;值为1时追加到列后面(按列连接:axis=1)
 *  join: 合并方式，其他轴上的数据是按交集(inner)还是并集(outer)进行合并
 *  ignore\_index: 是否保留原来的索引
 *  keys: 连接关系，使用传递的键作为最外层级别来构造层次结构索引，就是给每个表指定一个一级索引
 *  names: 索引的名称，包括多层索引
 *  verify\_integrity: 是否检测内容重复;参数为True时，如果合并的数据与原数据包含索引相同的行，则会报错
 *  copy: 如果为False，则不要深拷贝

### 1.按行连接 ###

pd.concat()的基本操作可以实现df.append()功能

操作中ignore\_index和sort参数的作用是一样的,axis默认取值为0，即按行连接

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import</code> <code>pandas as pd</code> <code>df1 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>1</code><code>,</code><code>2</code><code>],</code><code>'y'</code><code>:[</code><code>3</code><code>,</code><code>4</code><code>]})</code> <code>df2 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>5</code><code>,</code><code>6</code><code>],</code><code>'y'</code><code>:[</code><code>7</code><code>,</code><code>8</code><code>]})</code> <code>res1 </code><code>=</code> <code>pd.concat([df1,df2])</code> <code># 效果同上</code> <code>res2 </code><code>=</code> <code>df1.append(df2)</code> </td> 
 </tr> 
 </tbody> 
</table>

**df1**

![7451fd8e7b03e48f632c33c29c198b23.png][]

**df2**

![a3db1f17196abed439d017a12f6d7612.png][]

**res1**

![7eca44cc8b4e13f2d0928d87be1bf14e.png][]

**res2**

![421f7df56c48e939cd0f98fcd9798845.png][]

### 2.按列连接 ###

如果要将多个DataFrame按列拼接在一起，可以传入axis=1参数，这会将不同的数据追加到列的后面，索引无法对应的位置上将值填充为NaN

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>import</code> <code>pandas as pd</code> <code>df1 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>1</code><code>,</code><code>2</code><code>],</code><code>'y'</code><code>:[</code><code>3</code><code>,</code><code>4</code><code>]})</code> <code>df2 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>5</code><code>,</code><code>6</code><code>,</code><code>0</code><code>],</code><code>'y'</code><code>:[</code><code>7</code><code>,</code><code>8</code><code>,</code><code>0</code><code>]})</code> <code>res </code><code>=</code> <code>pd.concat([df1,df2], axis</code><code>=</code><code>1</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

**df1**

![7b1d44c3883c812d4ca2b553c5b54be9.png][]

**df2**

![a9ce1f0aa02a166e7c449369e7f55a31.png][]

**res**

![ae56cbf06dad99f0e1a376b0937adb4c.png][]

该例子中，df2比df1多一行，合并后df1的部分为NaN

### 3.合并交集 ###

上述两个练习案例的连接操作会得到两个表内容的并集(默认是join='outer')

合并交集需要将join参数进行改变 join='inner'

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import</code> <code>pandas as pd</code> <code>df1 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>1</code><code>,</code><code>2</code><code>],</code><code>'y'</code><code>:[</code><code>3</code><code>,</code><code>4</code><code>]})</code> <code>df2 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>5</code><code>,</code><code>6</code><code>,</code><code>0</code><code>],</code><code>'y'</code><code>:[</code><code>7</code><code>,</code><code>8</code><code>,</code><code>0</code><code>]})</code> <code># 按列合并交集</code> <code># 传入join='inner'取得两个DataFrame的共有部分，去除了df1没有的第三行内容</code> <code>res </code><code>=</code> <code>pd.concat([df1,df2], axis</code><code>=</code><code>1</code><code>, join</code><code>=</code><code>'inner'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

**df1**

![020dbaaa94ee9f75e4a4d392f14ef514.png][]

**df2**

![eb202df49a873e5fce4e9ad1db895930.png][]

**res**

![237db933d428280a5f069821ce94404a.png][]

#### 扩展 ####

通过reindex()方法也可以实现取交集功能

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code># 两种方法</code> <code>res1 </code><code>=</code> <code>pd.concat([df1,df2],axis</code><code>=</code><code>1</code><code>).reindex(df1.index)</code> <code>res2 </code><code>=</code> <code>pd.concat([df1,df2.reindex(df1.index)],axis</code><code>=</code><code>1</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

**res1**

![f0fd5c644e640efddd128b285b13f375.png][]

**res2**

![3bf34eadaa56510339db076874307bb6.png][]

### 4.与序列合并 ###

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 </td> 
 <td> <code>import</code> <code>pandas as pd</code> <code>z </code><code>=</code> <code>pd.Series([</code><code>9</code><code>,</code><code>9</code><code>],name</code><code>=</code><code>'z'</code><code>)</code> <code>df </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>1</code><code>,</code><code>2</code><code>],</code><code>'y'</code><code>:[</code><code>3</code><code>,</code><code>4</code><code>]})</code> <code># 将序列加到新列</code> <code>res </code><code>=</code> <code>pd.concat([df,z],axis</code><code>=</code><code>1</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

**z**

![fdf82a1c8f11e61e0afab360e9d697ca.png][]

**df**

![2b5e88cc568e3dff38a6d3fdf084618d.png][]

**res**

![1bdef738e9389358e9f6e9ea76f3e63e.png][]

### 5.指定索引 ###

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>import</code> <code>pandas as pd</code> <code>df1 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>1</code><code>,</code><code>2</code><code>],</code><code>'y'</code><code>:[</code><code>3</code><code>,</code><code>4</code><code>]})</code> <code>df2 </code><code>=</code> <code>pd.DataFrame({ </code><code>'x'</code><code>:[</code><code>5</code><code>,</code><code>6</code><code>],</code><code>'y'</code><code>:[</code><code>7</code><code>,</code><code>8</code><code>]})</code> <code># 指定索引名</code> <code>res1 </code><code>=</code> <code>pd.concat([df1,df2], keys</code><code>=</code><code>[</code><code>'a'</code><code>,</code><code>'b'</code><code>])</code> <code># 以字典形式传入</code> <code>dict</code> <code>=</code> <code>{ </code><code>'a'</code><code>:df1, </code><code>'b'</code><code>:df2}</code> <code>res2 </code><code>=</code> <code>pd.concat(</code><code>dict</code><code>)</code> <code># 横向合并，指定索引</code> <code>res3 </code><code>=</code> <code>pd.concat([df1,df2], axis</code><code>=</code><code>1</code><code>, keys</code><code>=</code><code>[</code><code>'a'</code><code>,</code><code>'b'</code><code>])</code> </td> 
 </tr> 
 </tbody> 
</table>

**df1**

![019d0f00b3cef32a8c4c6bb4fb248d10.png][]

**df2**

![646701a14c35a7e3a71cf90974cd764a.png][]

**res1**

![462094b4882853198333e2e542b48eb2.png][]

**res2**

![957d3fa8be50b20a81ba19063c75610c.png][]

**res3**

![674b9418222d00a4a4b77ed2e77ac77d.png][]

到此这篇关于Pandas数据连接pd.concat的实现的文章就介绍到这了,希望可以帮到你！

转自：[微点阅读][Link 1] [https://www.weidianyuedu.com][Link 1]

[e707c45ffde2348983782c8688b9f711.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/558f5ed41ed347c283925504c2db639e.png
[7451fd8e7b03e48f632c33c29c198b23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/e20330ab56034ffb81e29fb9d7a56a4c.png
[a3db1f17196abed439d017a12f6d7612.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/3e1feedf05c944c4bf5378329d653d95.png
[7eca44cc8b4e13f2d0928d87be1bf14e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/604c7a98fd8541f29c1ed92b54dbc5c9.png
[421f7df56c48e939cd0f98fcd9798845.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/4bca428dd7c74ad4b2c96dc6caa352b6.png
[7b1d44c3883c812d4ca2b553c5b54be9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/bc3f517480234f95a25b905ff286ebd2.png
[a9ce1f0aa02a166e7c449369e7f55a31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/6a372ff21fcb4f1497ec5ed64feb5378.png
[ae56cbf06dad99f0e1a376b0937adb4c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/ca3385265dae40a4993cd29460a7edf9.png
[020dbaaa94ee9f75e4a4d392f14ef514.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/a1f56ade820d40fa99842aa2b0e19e31.png
[eb202df49a873e5fce4e9ad1db895930.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/77f85fa89b9f480a8635613263b08698.png
[237db933d428280a5f069821ce94404a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/06d8959b16ef4a42be4dac0f765fa7f6.png
[f0fd5c644e640efddd128b285b13f375.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/7033e874e95a48d89ab0c74f9e36f262.png
[3bf34eadaa56510339db076874307bb6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/922df697803f471a976a1178b3ac07c8.png
[fdf82a1c8f11e61e0afab360e9d697ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/cb43c61fea69410fba39dd666aa7cd95.png
[2b5e88cc568e3dff38a6d3fdf084618d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/8a2f3397395d475f9ea8b07ad5569ca0.png
[1bdef738e9389358e9f6e9ea76f3e63e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/43619c4529224c26a03293af1c09ac4e.png
[019d0f00b3cef32a8c4c6bb4fb248d10.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/2d1df8a1a64b4405940f16b6a4564c32.png
[646701a14c35a7e3a71cf90974cd764a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/af8a5dd7fc8d4f749eff0c1010d0472c.png
[462094b4882853198333e2e542b48eb2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/2f30250a195e40d0850d92cd44effacc.png
[957d3fa8be50b20a81ba19063c75610c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/cbdf739109f04366801c363046927590.png
[674b9418222d00a4a4b77ed2e77ac77d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/162d73a0c3b84fd69a7ff26dc8dea689.png
[Link 1]: https://www.weidianyuedu.com