「Python 数据处理基础」数据预处理时 Mongdb 去重复数据的几种方式

ゝ一纸荒年。 2023-01-16 09:43 302阅读 0赞

### 文章目录 ###

*  内容介绍
 *  Mongodb命令行去重
 *  Python执行去重操作

# 内容介绍 #

本文介绍在使用爬虫采集互联网数据到Mongodb数据仓库后，需要对采集的数据进行各种操作时会发现数据很多是重复的内容，我们需要先将采集的数据进行数据去重的操作，方便后续业务快速开展。

# Mongodb命令行去重 #

db.集合名.aggregate([
        {
            $group: {
                _id: {
                    去重字段名1: '$去重字段名1',
                    去重字段名2: '$去重字段名2'
                },
                count: {
                    $sum: 1
                },
                dups: {
                    $addToSet: '$_id'
                }
            }
        },
        {
            $match: {
                count: {
                    $gt: 1
                }
            }
        }
    ]).forEach(function(doc) {
        doc.dups.shift();
        db.集合名.remove({
            _id: {
                $in: doc.dups
            }
        });
    })

![执行结果][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]

# Python执行去重操作 #

# 提取mongodb中的频道数据进行处理
    client = pymongo.MongoClient(host=mongodb_server, port=27017, username=mongodb_username, password=mongodb_password)
    newdb = client[mongodb_dbname]
    mycol = newdb[mongodb_dbsheet]
    df = pd.DataFrame(list(mycol.find({ },{ "去重字段名":1,"_id":1})))
    old_df_id = df["_id"].tolist() # 原始数据
    new_df_id = df.drop_duplicates(["去重字段名"],keep='last')["_id"].tolist() # 去重后数据
    delete_id_list = list(set(old_df_id).difference(set(new_df_id))) # 获取重复数据的Obj信息
    # 方式一：根据Obj信息删除数据 
    for i in delete_id_list:
        mycol.delete_many({ '_id':i})
    
    # 方式二：根据Obj表单删除数据 
    for i in delete_id_list:
        mycol.remove({ "id": { "$in": delete_id_list}})
        
    print("删除重复数据 {} 条".format(len(delete_id_list)))

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20221022/ef97a1d85648481fb30ceb39922edd09.png