pandas实现数据的合并concat

绝地灬酷狼 2023-02-25 08:56 27阅读 0赞

**使用场景：**  
批量合并相同格式的Excel、给DataFrame添加行、给DataFrame添加列

**一句话说明concat语法：**  
使用某种合并方式(inner/outer)  
沿着某个轴向(axis=0/1)  
把多个Pandas对象(DataFrame/Series)合并成一个。  
**concat语法**

:pandas.concat(objs, axis=0, join='outer', ignore_index=False)

**objs**：一个列表，内容可以是DataFrame或者Series，可以混合  
**axis**：默认是0代表按行合并，如果等于1代表按列合并  
**join**：合并的时候索引的对齐方式，默认是outer join，也可以是inner join  
**ignore\_index**：是否忽略掉原来的数据索引  
**append语法**：

DataFrame.append(other, ignore_index=False)

**append**只有按行合并，没有按列合并，相当于concat按行的简写形式

**other**：单个dataframe、series、dict，或者列表  
**ignore\_index**：是否忽略掉原来的数据索引  
**参考文档：**  
**pandas.concat的api文档：**  
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.concat.html  
**pandas.concat的教程：**  
https://pandas.pydata.org/pandas-docs/stable/user\_guide/merging.html  
**pandas.append的api文档：**  
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.append.html

import pandas as pd
    
    import warnings
    
    # 通过警告过滤器进行控制是否发出警告消息
    warnings.filterwarnings('ignore')
    
    df1 = pd.DataFrame({ 'A': ['A0', 'A1', 'A2', 'A3'],
                        'B': ['B0', 'B1', 'B2', 'B3'],
                        'C': ['C0', 'C1', 'C2', 'C3'],
                        'D': ['D0', 'D1', 'D2', 'D3'],
                        'E': ['E0', 'E1', 'E2', 'E3']
                        })
    
    df2 = pd.DataFrame({ 'A': ['A4', 'A5', 'A6', 'A7'],
                        'B': ['B4', 'B5', 'B6', 'B7'],
                        'C': ['C4', 'C5', 'C6', 'C7'],
                        'D': ['D4', 'D5', 'D6', 'D7'],
                        'F': ['F4', 'F5', 'F6', 'F7']
                        })
    
    # 默认的concat，参数为axis=0、join=outer、ignore_index=False
    res = pd.concat([df1, df2])
    print(res)
    ''' A B C D E F 0 A0 B0 C0 D0 E0 NaN 1 A1 B1 C1 D1 E1 NaN 2 A2 B2 C2 D2 E2 NaN 3 A3 B3 C3 D3 E3 NaN 0 A4 B4 C4 D4 NaN F4 1 A5 B5 C5 D5 NaN F5 2 A6 B6 C6 D6 NaN F6 3 A7 B7 C7 D7 NaN F7 '''
    # 使用ignore_index=True可以忽略原来的索引
    pd.concat([df1, df2], ignore_index=True)
    
    # 使用join=inner过滤掉不匹配的列
    res2 = pd.concat([df1, df2], ignore_index=True, join="inner")
    print(res2)
    ''' A B C D 0 A0 B0 C0 D0 1 A1 B1 C1 D1 2 A2 B2 C2 D2 3 A3 B3 C3 D3 4 A4 B4 C4 D4 5 A5 B5 C5 D5 6 A6 B6 C6 D6 7 A7 B7 C7 D7 '''
    
    # 添加一列Series
    s1 = pd.Series(list(range(4)), name="F")
    res3 = pd.concat([df1, s1], axis=1)
    print(res3)
    ''' A B C D E F 0 A0 B0 C0 D0 E0 0 1 A1 B1 C1 D1 E1 1 2 A2 B2 C2 D2 E2 2 3 A3 B3 C3 D3 E3 3 '''
    
    # 添加多列Series
    s2 = df1.apply(lambda x: x["A"] + "_GG", axis=1)
    print(s2)
    ''' 0 A0_GG 1 A1_GG 2 A2_GG 3 A3_GG '''
    
    # 指定s2列名
    s2.name = "G"
    res4 = pd.concat([df1, s1, s2], axis=1)
    print(res4)
    ''' A B C D E F G 0 A0 B0 C0 D0 E0 0 A0_GG 1 A1 B1 C1 D1 E1 1 A1_GG 2 A2 B2 C2 D2 E2 2 A2_GG 3 A3 B3 C3 D3 E3 3 A3_GG '''
    
    # 列表可以只有Series
    res5 = pd.concat([s1, s2], axis=1)
    print(res5)
    ''' F G 0 0 A0_GG 1 1 A1_GG 2 2 A2_GG 3 3 A3_GG '''
    
    # 列表是可以混合顺序的
    pd.concat([s1, df1, s2], axis=1)
    
    # 使用DataFrame.append按行合并数据
    df1 = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB'))
    
    df2 = pd.DataFrame([[5, 6], [7, 8]], columns=list('AB'))
    
    # 给1个dataframe添加另一个dataframe
    # 忽略原来的索引ignore_index=True
    res6 = df1.append(df2, ignore_index=True)
    print(res6)
    ''' A B 0 1 2 1 3 4 2 5 6 3 7 8 '''
    
    # 可以一行一行的给DataFrame添加数据
    # 一个空的df
    df = pd.DataFrame(columns=['A'])
    
    # 低性能版
    for i in range(5):
        # 注意这里每次都在复制
        df = df.append({ 'A': i}, ignore_index=True)
    
    # 性能较好版
    # 第一个入参是一个列表，避免了多次复制
    pd.concat(
        [pd.DataFrame([i], columns=['A']) for i in range(5)],
        ignore_index=True
    )