Mongo 大数据字段去重的实现

- 日理万妓 2024-04-17 14:43 50阅读 0赞

### 文章目录 ###

*   *   *  场景
         *  尝试1 (distinct)
         *  尝试2 (aggregate)
         *  尝试3 (写入文件)
         *  尝试4 (利用redis的Set)
         *  尝试5(数组)
         *   *   *  测试(当前消耗的内存)
                 *  推测一年后的内存使用情况
                 *  php 多线程
         *  elasticsearch
         *   *  es Vs mongo 游标拉去数据的速度
             *  mongo 聚合操作

### 场景 ###

*  数据库
    
     *  mongo
 *  数量级
    
     *  300万
     *  每天增长5000 – 10000
 *  索引
    
     *  都已经建好了
 *  `业务需要实时对集合中的tel去重`

### 尝试1 (distinct) ###

*  使用mongo distinct 报错
    
     *  distinct too big, 16mb cap

### 尝试2 (aggregate) ###

*  第一次分组 获取不同的tel
 *  第二次分组 计算这些号码的数量
 *  `耗时极长`
    
     *  300集合
     *  索引查询到 1749988
     *  去重后 1306650

$pipeline = [
        [
            '$match' => $where
        ],
        [
            '$group' => [
                '_id' => '$tel'
            ]
        ],
        [
            '$group' => [
                '_id' => 1,
                'count' => ['$sum' => 1]
            ]
        ],
    ];
    // 防止大数据溢出
    $allowDiskUse = ['allowDiskUse' => true];
    
    
    $list = MongoCrawlerTels::raw(function ($collection) use ($pipeline, $allowDiskUse) { 
        return $collection->aggregate($pipeline, $allowDiskUse);
    });

### 尝试3 (写入文件) ###

*  mongo cursor 取出1749988数据, 每行一个号码写入文件
 *  sort target.txt | uniq | wc -l
    
     *  先使用sort排序，再使用uniq去重,使用wc统计行数
 *  `致命的是写入文件的时间 ，消耗了超过17秒， 所以没有办法满足性能需求`

### 尝试4 (利用redis的Set) ###

*  计划利用redis的无序集合, 这种可以使用SCARD轻易的获得去重后的电话号码数量
 *  `性能问题, 写入redis已经超过17秒了`

### 尝试5(数组) ###

*  数组当然是最方便的了, 但是需要测试下内存会不会爆
 *  从mongo中使用游标去除176万数据 消耗9.5秒时间, 写入数据消耗200-300毫秒; 基本满足需求; 但需要继续优化(下一步看看elasticsearch)

##### 测试(当前消耗的内存) #####

*  当前的极限情况, 300万都取出来， 重复的部分占30%100
 *  `消耗内存 ： 128.00398254395MB , 总分配: 128.37540435791 MB 当前消耗: 128.37540435791 MB 插入的数量 : 2100000 消耗时间 0.42975521087646秒, 去重后的数量2100000`

$memory_start  = memory_get_usage();
    
    // 设置电话号码列表
    $start_time = microtime(true);
    
    
    $arr = [];
    //$total = (3000000 + 7000*365) * 0.7;
    $total = 3000000* 0.7;
    for ($i = 0; $i < $total; $i++) { 
        $arr[$i] = '';
    }
    
    $end_time = microtime(true);
    $memory_end = memory_get_usage();
    $memory_now = $memory_end/(1024*1024);
    $memory_need = ($memory_end - $memory_start)/(1024*1024);
    $memory_get_peak_usage  = memory_get_peak_usage()/(1024*1024);
    
    $msg = '消耗内存 ： ' . $memory_need . 'MB , 总分配: ' . $memory_get_peak_usage . ' MB 当前消耗: ' . $memory_now. ' MB 插入的数量 : ' . $i . ' 消耗时间 ' . ($end_time - $start_time) . '秒, 去重后的数量' . count($arr);
    echo $msg . PHP_EOL;

##### 推测一年后的内存使用情况 #####

+ 每天增长7000
    + 重复的部分 30%

*  `消耗内存 ： 128.00398254395MB , 总分配: 128.37540435791 MB 当前消耗: 128.37540435791 MB 插入的数量 : 3888500 消耗时间 0.71930503845215秒, 去重后的数量3888500`
 *  诡异
    
     *  3888500索引的数组和2100000消耗的内存几乎一致

$memory_start  = memory_get_usage();
    
    // 设置电话号码列表
    $start_time = microtime(true);
    
    
    $arr = [];
    $total = (3000000 + 7000*365) * 0.7;
    for ($i = 0; $i < $total; $i++) { 
        $arr[$i] = '';
    }
    
    $end_time = microtime(true);
    $memory_end = memory_get_usage();
    $memory_now = $memory_end/(1024*1024);
    $memory_need = ($memory_end - $memory_start)/(1024*1024);
    $memory_get_peak_usage  = memory_get_peak_usage()/(1024*1024);
    
    $msg = '消耗内存 ： ' . $memory_need . 'MB , 总分配: ' . $memory_get_peak_usage . ' MB 当前消耗: ' . $memory_now. ' MB 插入的数量 : ' . $i . ' 消耗时间 ' . ($end_time - $start_time) . '秒, 去重后的数量' . count($arr);
    echo $msg . PHP_EOL;

*  结论放在数组中最近一年的时间是没有问题的
    
     *  毕竟很少搜索到这么大的时间范围(2年)

/** * 去重号码数量 * @param array $where */
        private function _setUniqueTelNumberForList(array $where)
        { 
            // 初始化属性
            $this->setListTelList();
    
            // 获取mongo 游标
            $option = [
                'projection' => [
                    'tel' => 1,
                    'apikey' => 1,
                    '_id' => 0
                ],
            ];
            $cursor = DB::connection('mongodb_backend')->collection('crawler_tels')->raw(function ($collection) use ($where, $option) { 
                return $collection->find($where, $option);
            });
            $memory_start  = memory_get_usage();
    
            // 设置电话号码列表
            $start_time = microtime(true);
            $i = 0;
            foreach ($cursor as $item) { 
                $i++;
                $this->list_tel_list['all'][$item->tel] = '';
                $this->list_tel_list['list_apikey'][$item->apikey][$item->tel] = '';
            }
    
            $end_time = microtime(true);
            $memory_end = memory_get_usage();
            $memory_now = $memory_end/(1024*1024);
            $memory_need = ($memory_end - $memory_start)/(1024*1024);
            $memory_get_peak_usage  = memory_get_peak_usage()/(1024*1024);
    
            $msg = '消耗内存 ： ' . $memory_need . 'MB , 总分配: ' . $memory_get_peak_usage . ' MB 当前消耗: ' . $memory_now. ' MB ' . $this->product_id . ' 插入的数量 : ' . $i . ' 消耗时间 ' . ($end_time - $start_time) . '秒, 去重后的数量' . count($this->list_tel_list['all'] ?? []);
            $action = 'unqiue';
            $params = request()->post();
            MongoLog::create(compact('msg', 'action', 'params'));
        }

##### php 多线程 #####

*  php多线程不可以使用web服务中
 *  多个线程从公用一个游标, 从各个线程获取结果也挺麻烦的
 *  尝试过之后放弃了

### elasticsearch ###

#### es Vs mongo 游标拉去数据的速度 ####

*  es 条件
    
     *  size 从1000 每次实验 +1000 直到10000为止； 2000的时候消耗的时间是最少的
     *  filter的形式

$params = [
                'index' => $this->index,
                'size' => 2000,
                'scroll' => '30s',
                'body'   => [
                    'query' => [
                            'bool' => [
                                'filter' => [
                                    [
                                        "range" => ["amount_date" => ["gte" => "20190101"]]
                                    ],
                                ]
                            ]
                    ]
                ]
            ];

*  `单纯的从elasticsearch中分页拉去数据，实际上还没有mongo快`

![对比][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbWluZ2xhdGVseQ_size_16_color_FFFFFF_t_70]

#### mongo 聚合操作 ####

*  `待尝试`

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbWluZ2xhdGVseQ_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/4f4b8a5986c2480cb657580133fcc81c.png