SQL：数据去重的三种方法

「爱情、让人受尽委屈。」 2024-03-30 13:35 84阅读 0赞

## 数据去重的三种方法 ##

## 1、使用distinct去重 ##

distinct用来查询不重复记录的条数，用`count(distinct id)`来返回不重复字段的条数。用法注意：

*  distinct【查询字段】，必须放在要查询字段的开头，即放在第一个参数；
 *  只能在SELECT 语句中使用，不能在 INSERT, DELETE, UPDATE 中使用；
 *  DISTINCT 表示对`后面的所有参数的拼接`取不重复的记录，即查出的参数拼接每行记录都是唯一的
 *  不能与all同时使用，默认情况下，查询时返回的就是所有的结果。

distinct支持单列、多列的去重方式。

*  作用于单列
    
     *  单列去重的方式简明易懂，即相同值只保留1个。
        
            select distinct name from A    //对A表的name去重然后显示
 *  作用于多列
    
     *  多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。
     *  注意，distinct作用于多列的时候只在开头加上即可，并不用每个字段都加上。distinct必须在开头，在中间是不可以的，会报错，\`select id,distinct name from A //错误
        
            select distinct id,name from A   //对A表的id和name去重然后显示
 *  配合count使用
    
        select count(distinct name) from A  //对A表的不同的name进行计数
 *  按顺序去重时，`order by 的列必须出现在 distinct 中`
    
     *  出错代码  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MDkxMzUz_size_16_color_FFFFFF_t_70]
     *  改正后的代码  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MDkxMzUz_size_16_color_FFFFFF_t_70 1]
     *  讨论：若不使用Distinct关键字，则order by后面的字段不一定要放在seletc中  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MDkxMzUz_size_16_color_FFFFFF_t_70 2]

> [MySQL中使用去重distinct方法的示例详解][MySQL_distinct]  
> [【Hive】数据去重][Hive]

--------------------

## 2、使用group by ##

GROUP BY 语句根据一个或多个列对结果集进行分组。在分组的列上我们可以使用 COUNT, SUM, AVG,等函数，形式为`select 重复的字段名 from 表名 group by 重复的字段名;`

*  group by 对age查询结果进行了分组，自动将重复的项归结为一组。  
    ![在这里插入图片描述][226404a09b754ef08c5134173403b824.png]
 *  还可以使用count函数，统计重复的数据有多少个  
    ![在这里插入图片描述][83d242d19c4d4a85bf311bc49b34336c.png]

--------------------

## 3、使用`ROW_NUMBER() OVER` 或 `GROUP BY 和 COLLECT_SET/COLLECT_LIST` ##

说到要去重，自然会想到 DISTINCT，但是在 Hive SQL 里，它有两个问题：

*  DISTINCT 会以 SELECT 出的全部列作为 key 进行去重。也就是说，只要有一列的数据不同，DISTINCT 就认为是不同数据而保留。
 *  DISTINCT 会将全部数据打到一个 reducer 上执行，造成严重的数据倾斜，耗时巨大。

### 2.1 ROW\_NUMBER() OVER ###

DISTINCT 的两个问题，用 ROW\_NUMBER() OVER 可解。比如，如果我们要按 key1 和 key2 两列为 key 去重，就会写出这样的代码：

WITH temp_table AS (
      SELECT
        key1,
        key2,
        [columns]...,
        ROW_NUMBER() OVER (
          PARTITION BY key1, key2
          ORDER BY column ASC
        ) AS rn
      FROM
        table
    )
    
    SELECT
      key1,
      key2,
      [columns]...
    FROM
      temp_table
    WHERE
      rn = 1;

这样，`Hive 会按 key1 和 key2 为 key，将数据打到不同的 mapper 上，然后对 key1 和 key2 都相同的一组数据，按 column 升序排列，并最终在每组中保留排列后的第一条数据。借此就完成了按 key1 和 key2 两列为 key 的去重任务`。注意 PARTITION BY 在此起到的作用：

*  一是按 key1 和 key2 打散数据，解决上述问题 (2)；
 *  二是与 ORDER BY 和 rn = 1 的条件结合，按 key1 和 key2 对数据进行分组去重，解决上述问题 (1)。

但显然，这样做十分不优雅（not-elegant），并且不难想见其效率比较低。

> row\_number() OVER (PARTITION BY `COL1` ORDER BY `COL2`) as num 表示根据 `COL1`分组，在分组内部根据 `COL2`排序，此函数计算的值num就表示每组内部排序后的顺序编号（组内连续的唯一的)

### 2.2 GROUP BY 和 COLLECT\_SET/COLLECT\_LIST ###

ROW\_NUMBER() OVER 解法的一个核心是利用 PARTITION BY 对数据按 key 分组，同样的功能用 GROUP BY 也可以实现。但是，GROUP BY 需要与聚合函数搭配使用。我们需要考虑，什么样的聚合函数能实现或者间接实现这样的功能呢？不难想到有 COLLECT\_SET 和 COLLECT\_LIST。

SELECT
      key1,
      key2,
      [COLLECT_LIST(column)[1] AS column]...
    FROM
      temp_table
    GROUP BY
      key1, key2

`对于 key1 和 key2 以外的列，我们用 COLLECT_LIST 将他们收集起来，然后输出第一个收集进来的结果`。这里使用 COLLECT\_LIST 而非 COLLECT\_SET 的原因在于 SET 内是无序的，因此你无法保证输出的 columns 都来自同一条数据。若对于此没有要求或限制，则可以使用 COLLECT\_SET，它会更节省资源。

相比前一种办法，由于省略了排序和（可能的）落盘动作，所以效率会高不少。但是因为（可能）不落盘，所以 COLLECT\_LIST 中的数据都会缓存在内存当中。如果重复数量特别大，这种方法可能会触发 OOM。此时应考虑将数据进一步打散，然后再合并；或者干脆换用前一种办法。

##  ##

## distinct与group by的去重方面的区别 ##

distinct简单来说就是用来去重的，而group by的设计目的则是用来聚合统计的，两者在能够实现的功能上有些相同之处，但应该仔细区分。

单纯的去重操作使用distinct，速度是快于group by的。

distinct支持单列、多列的去重方式。  
单列去重的方式简明易懂，即相同值只保留1个。  
多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。

group by使用的频率相对较高，但正如其功能一样，它的目的是用来进行聚合统计的，虽然也可能实现去重的功能，但这并不是它的长项。

**区别：**

1）distinct只是将重复的行从结果中出去；

group by是按指定的列分组，一般这时在select中会用到聚合函数。

2）distinct是把不同的记录显示出来。

group by是在查询时先把纪录按照类别分出来再查询。

group by 必须在查询结果中包含一个聚集函数，而distinct不用。

distinct和group by有啥区别，大概总结以下几点：

distinct适合查单个字段去重，支持单列、多列的去重方式。 单列去重的方式简明易懂，即相同值只保留1个。  
多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。

而 group by 可以针对要查询的全部字段中的部分字段去重，它的作用主要是：获取数据表中以分组字段为依据的其他统计数据。

**补充：MySQL中distinct和group by去重性能对比**

前言

*  MySQL：5.7.17
 *  存储引擎：InnoDB
 *  实验目的：本文主要测试在某字段有无索引、各种不同值个数情况下，记录对此字段其使用`DISTINCT/GROUP BY`去重的查询语句执行时间，对比两者在不同场景下的去重性能，实验过程中关闭MySQL查询缓存。
 *  实验表格：

<table> 
 <thead> 
  <tr> 
   <th>表名</th> 
   <th>记录数</th> 
   <th>查询字段有无索引</th> 
   <th>查询字段不同值个数</th> 
   <th>DISTINCT</th> 
   <th>GROUP BY</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tab_1</td> 
   <td>100000</td> 
   <td>N</td> 
   <td>3</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>tab_2</td> 
   <td>100000</td> 
   <td>Y</td> 
   <td>3</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>tab_3</td> 
   <td>100000</td> 
   <td>N</td> 
   <td>10000</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>tab_4</td> 
   <td>100000</td> 
   <td>Y</td> 
   <td>10000</td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

实验过程

1）创建测试表

**表创建语句：**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> <p>12</p> <p>13</p> <p>14</p> <p>15</p> <p>16</p> <p>17</p> <p>18</p> <p>19</p> <p>20</p> </td> 
   <td> <p><code>DROP</code> <code>TABLE</code> <code>IF EXISTS `tab_1`;</code></p> <p><code>CREATE</code> <code>TABLE</code> <code>`tab_1` (</code></p> <p><code>&nbsp;&nbsp;</code><code>`id` </code><code>int</code><code>(10) unsigned </code><code>NOT</code> <code>NULL</code> <code>AUTO_INCREMENT,</code></p> <p><code>&nbsp;&nbsp;</code><code>`value` </code><code>int</code><code>(10) unsigned </code><code>NOT</code> <code>NULL</code><code>,</code></p> <p><code>&nbsp;&nbsp;</code><code>PRIMARY</code> <code>KEY</code> <code>(`id`)</code></p> <p><code>) ENGINE=InnoDB </code><code>DEFAULT</code> <code>CHARSET=utf8;</code></p> <p></p> <p><code>DROP</code> <code>TABLE</code> <code>IF EXISTS `tab_2`;</code></p> <p><code>CREATE</code> <code>TABLE</code> <code>`tab_2` (</code></p> <p><code>&nbsp;&nbsp;</code><code>`id` </code><code>int</code><code>(10) unsigned </code><code>NOT</code> <code>NULL</code> <code>AUTO_INCREMENT,</code></p> <p><code>&nbsp;&nbsp;</code><code>`value` </code><code>int</code><code>(10) unsigned </code><code>NOT</code> <code>NULL</code><code>,</code></p> <p><code>&nbsp;&nbsp;</code><code>PRIMARY</code> <code>KEY</code> <code>(`id`),</code></p> <p><code>&nbsp;&nbsp;</code><code>KEY</code> <code>`idx_value` (`value`)</code></p> <p><code>) ENGINE=InnoDB </code><code>DEFAULT</code> <code>CHARSET=utf8;</code></p> <p></p> <p><code>DROP</code> <code>TABLE</code> <code>IF EXISTS `tab_3`;</code></p> <p><code>CREATE</code> <code>TABLE</code> <code>`tab_3` </code><code>LIKE</code> <code>`tab_1`;</code></p> <p></p> <p><code>DROP</code> <code>TABLE</code> <code>IF EXISTS `tab_4`;</code></p> <p><code>CREATE</code> <code>TABLE</code> <code>`tab_4` </code><code>LIKE</code> <code>`tab_2`;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

2）生成测试数据

**表数据插入过程：**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> <p>12</p> <p>13</p> <p>14</p> <p>15</p> <p>16</p> <p>17</p> </td> 
   <td> <p><code>DROP</code> <code>PROCEDURE</code> <code>IF EXISTS generateRandomData;</code></p> <p><code>delimiter $$</code></p> <p><code>-- tblName为插入表,field为插入字段,num为插入字段值上限,count为插入的记录数</code></p> <p><code>CREATE</code> <code>PROCEDURE</code> <code>generateRandomData(</code><code>IN</code> <code>tblName </code><code>VARCHAR</code><code>(30),</code><code>IN</code> <code>field </code><code>VARCHAR</code><code>(30),</code><code>IN</code> <code>num </code><code>INT</code> <code>UNSIGNED,</code><code>IN</code> <code>count</code> <code>INT</code> <code>UNSIGNED)</code></p> <p><code>BEGIN</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>-- 声明循环变量</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>DECLARE</code> <code>i </code><code>INT</code> <code>UNSIGNED </code><code>DEFAULT</code> <code>1;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>-- 循环插入随机整数1~num,共插入count条数据</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>w1:WHILE i&lt;=</code><code>count</code> <code>DO</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>set</code> <code>i=i+1;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>set</code> <code>@val = FLOOR(RAND()*num+1);</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>set</code> <code>@statement = CONCAT(</code><code>'INSERT INTO '</code><code>,tblName,</code><code>'(`'</code><code>,field,</code><code>'`) VALUES('</code><code>,@val,</code><code>')'</code><code>);</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>PREPARE</code> <code>stmt </code><code>FROM</code> <code>@statement;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>EXECUTE</code> <code>stmt;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>END</code> <code>WHILE w1;</code></p> <p><code>END</code> <code>$$</code></p> <p><code>delimiter ;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**调用过程随机生成测试数据：**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>call generateRandomData(</code><code>'tab_1'</code><code>,</code><code>'value'</code><code>,3,100000);</code></p> <p><code>INSERT</code> <code>INTO</code> <code>tab_2 </code><code>SELECT</code> <code>* </code><code>FROM</code> <code>tab_1;</code></p> <p></p> <p><code>call generateRandomData(</code><code>'tab_3'</code><code>,</code><code>'value'</code><code>,10000,100000);</code></p> <p><code>INSERT</code> <code>INTO</code> <code>tab_4 </code><code>SELECT</code> <code>* </code><code>FROM</code> <code>tab_3;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

3）执行查询语句，记录执行时间

**查询语句及对应执行时间如下：**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> </td> 
   <td> <p><code>SELECT</code> <code>DISTINCT</code><code>(`value`) </code><code>FROM</code> <code>tab_1;</code></p> <p><code>SELECT</code> <code>`value` </code><code>FROM</code> <code>tab_1 </code><code>GROUP</code> <code>BY</code> <code>`value`;</code></p> <p></p> <p><code>SELECT</code> <code>DISTINCT</code><code>(`value`) </code><code>FROM</code> <code>tab_2;</code></p> <p><code>SELECT</code> <code>`value` </code><code>FROM</code> <code>tab_2 </code><code>GROUP</code> <code>BY</code> <code>`value`;</code></p> <p></p> <p><code>SELECT</code> <code>DISTINCT</code><code>(`value`) </code><code>FROM</code> <code>tab_3;</code></p> <p><code>SELECT</code> <code>`value` </code><code>FROM</code> <code>tab_3 </code><code>GROUP</code> <code>BY</code> <code>`value`;</code></p> <p></p> <p><code>SELECT</code> <code>DISTINCT</code><code>(`value`) </code><code>FROM</code> <code>tab_4;</code></p> <p><code>SELECT</code> <code>`value` </code><code>FROM</code> <code>tab_4 </code><code>GROUP</code> <code>BY</code> <code>`value`;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

4）实验结果

<table> 
 <thead> 
  <tr> 
   <th>表名</th> 
   <th>记录数</th> 
   <th>查询字段有无索引</th> 
   <th>查询字段不同值个数</th> 
   <th>DISTINCT</th> 
   <th>GROUP BY</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tab_1</td> 
   <td>100000</td> 
   <td>N</td> 
   <td>3</td> 
   <td>0.058s</td> 
   <td>0.059s</td> 
  </tr> 
  <tr> 
   <td>tab_2</td> 
   <td>100000</td> 
   <td>Y</td> 
   <td>3</td> 
   <td>0.030s</td> 
   <td>0.027s</td> 
  </tr> 
  <tr> 
   <td>tab_3</td> 
   <td>100000</td> 
   <td>N</td> 
   <td>10000</td> 
   <td>0.072s</td> 
   <td>0.073s</td> 
  </tr> 
  <tr> 
   <td>tab_4</td> 
   <td>100000</td> 
   <td>Y</td> 
   <td>10000</td> 
   <td>0.047s</td> 
   <td>0.049s</td> 
  </tr> 
 </tbody> 
</table>

实验结论

MySQL 5.7.17中使用distinct和group by进行去重时，性能相差不大

## 使用去重distinct方法的示例详解 ##

**一 distinct**

含义：distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段

**用法注意：**

1.distinct【查询字段】，必须放在要查询字段的开头，即放在第一个参数；  
2.只能在SELECT 语句中使用，不能在 INSERT, DELETE, UPDATE 中使用；  
3.DISTINCT 表示对后面的所有参数的拼接取 不重复的记录，即查出的参数拼接每行记录都是唯一的  
4.不能与all同时使用，默认情况下，查询时返回的就是所有的结果。

**1.1只对一个字段查重**

对一个字段查重，表示选取该字段一列不重复的数据。

示例表：psur\_list

![bf369c2521d04a5db512272cb6b73967.png][]

PLAN\_NUMBER字段去重，语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>DISTINCT</code> <code>PLAN_NUMBER </code><code>FROM</code> <code>psur_list;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果如下：

![bbe2ec03e3c7d29ed720b25a39c7b02e.png][]

**1.2多个字段去重**

对多个字段去重，表示选取多个字段拼接的一条记录，不重复的所有记录

示例表：psur\_list

![53b49c5083f84da1a39a2bf119ae5728.png][]

PLAN\_NUMBER和PRODUCT\_NAME字段去重，语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>DISTINCT</code> <code>PLAN_NUMBER,PRODUCT_NAME </code><code>FROM</code> <code>psur_list;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果如下：

![f7689e4aa297ff4834f8bac9fb45d718.png][]

期望结果：只对第一个参数PLAN\_NUMBER取唯一值

解决办法一：使用group\_concat 函数

语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>GROUP_CONCAT(</code><code>DISTINCT</code> <code>PLAN_NUMBER) </code><code>AS</code> <code>PLAN_NUMBER,PRODUCT_NAMEFROM psur_list </code><code>GROUP</code> <code>BY</code> <code>PLAN_NUMBER</code></p> </td> 
  </tr> 
 </tbody> 
</table>

解决办法二：使用group by

语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>PLAN_NUMBER,PRODUCT_NAME </code><code>FROM</code> <code>psur_list </code><code>GROUP</code> <code>BY</code> <code>PLAN_NUMBER</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果如下：

![1d7ef447c4924368a40aa0e99808910d.png][]

**1.3针对null处理**

distinct不会过滤掉null值，返回结果包含null值

表psur\_list如下：

![786afd8327d34651859e489e6ba812db.png][]

对COUNTRY字段去重，语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>DISTINCT</code> <code>COUNTRY </code><code>FROM</code> <code>psur_list</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果如下：

![e22e2f57ea214270a0c83f0df3e4cd2f.png][]

**1.4与distinctrow同义**

语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>DISTINCTROW COUNTRY </code><code>FROM</code> <code>psur_list</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果如下：

![40cad32627234e00846a892a4f3e28f0.png][]

**二 聚合函数中使用distinct**

在聚合函数中DISTINCT 一般跟 COUNT 结合使用。count（）会过滤掉null项

语句：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>SELECT</code> <code>COUNT</code><code>(</code><code>DISTINCT</code> <code>COUNTRY) </code><code>FROM</code> <code>psur_list</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果如下：【实际包含null项有4个记录，执行语句后过滤null项，计算为3】

![59bfcbe81b41421a963c3ddb268eb636.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MDkxMzUz_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d46706ec404044c889894aca848291af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MDkxMzUz_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6e60120e2931474fb733c12428c74451.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MDkxMzUz_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f606684c08ec4efe813d62eb4d8e09b1.png
[MySQL_distinct]: https://www.jb51.net/article/190874.htm
[Hive]: https://www.cnblogs.com/zzhangyuhang/p/8778952.html
[226404a09b754ef08c5134173403b824.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e80fe23a322544cb828d7aafc176572a.png
[83d242d19c4d4a85bf311bc49b34336c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2dfc2cf8f4864a978db4fc567c6c56ad.png
[bf369c2521d04a5db512272cb6b73967.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3acf9d36cde2427bb8537e78c520c674.png
[bbe2ec03e3c7d29ed720b25a39c7b02e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e74fdf5360cc457ea454c9511633587a.png
[53b49c5083f84da1a39a2bf119ae5728.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/12afb52a229b4d12a83119f83150ff93.png
[f7689e4aa297ff4834f8bac9fb45d718.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/abca346709d7494ebc588fb5990f39fb.png
[1d7ef447c4924368a40aa0e99808910d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/855435c250d948f2a2c3296816ec029e.png
[786afd8327d34651859e489e6ba812db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ebdbb5e3ecb348d5a6f165cbab5bc81b.png
[e22e2f57ea214270a0c83f0df3e4cd2f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b75c4e88f3c34570835d791cd3434b62.png
[40cad32627234e00846a892a4f3e28f0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/875a023b8f29465aa012dd646c2e9a2c.png
[59bfcbe81b41421a963c3ddb268eb636.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4b6a27d12f1a471c9b162a1bd3260b00.png