mysql分组查询选择数量最多的前十个_如何在mysql中查询每个分组的前几名

傷城~ 2022-12-31 11:21 93阅读 0赞

问题

在工作中常会遇到将数据分组排序的问题，如在考试成绩中，找出每个班级的前五名等。 在orcale等数据库中可以使用partition 语句来解决，但在mysql中就比较麻烦了。这次翻译的文章就是专门解决这个问题的

翻译

在使用SQL的过程中，我们经常遇到这样一类问题：如何找出每个程序最近的日志条目？如何找出每个用户的最高分？在每个分类中最受欢迎的商品是什么?通常这类“找出每个分组中最高分的条目”的问题可以使用相同的技术来解决。在这篇文章里我将介绍如何解决这类问题，而且会介绍如何找出最高的前几名而不仅仅是第一名。

这篇文章会用到行数(row number)，我在原来的文章 MySQL-specific 和 generic techniques 中已经提到过如何为每个分组设置行数了。在这里我会使用与原来的文章中相同的表格，但会加入新的price 字段

1 +--------+------------+-------+

2 | type | variety | price |

3 +--------+------------+-------+

4 | apple | gala | 2.79 |

5 | apple | fuji | 0.24 |

6 | apple | limbertwig | 2.87 |

7 | orange | valencia | 3.59 |

8 | orange | navel | 9.36 |

9 | pear | bradford | 6.05 |

10 | pear | bartlett | 2.14 |

11 | cherry | bing | 2.55 |

12 | cherry | chelan | 6.33 |

13 +--------+------------+-------+

选择每个分组中的最高分

这里我们要说的是如何找出每个程序最新的日志记录或审核表中最近的更新或其他类似的排序问题。这类问题在IRC频道和邮件列表中出现的越来越频繁。我使用水果问题来作为示例，在示例中我们要选出每类水果中最便宜的一个，我们期望的结果如下

\+--------+----------+-------+

| type | variety | price |

\+--------+----------+-------+

| apple | fuji | 0.24 |

| orange | valencia | 3.59 |

| pear | bartlett | 2.14 |

| cherry | bing | 2.55 |

\+--------+----------+-------+

这个问题有几种解法，但基本上就是这两步：找出最低的价格，然后找出和这个价格同一行的其他数据

其中一个常用的方法是使用自连接(self-join)，第一步根据type(apple, cherry etc)进行分组，并找出每组中price的最小值

select type, min(price) asminpricefromfruitsgroup bytype;+--------+----------+

| type | minprice |

\+--------+----------+

| apple | 0.24 |

| cherry | 2.55 |

| orange | 3.59 |

| pear | 2.14 |

\+--------+----------+

第二步是将刚刚结果与原来的表进行连接。既然刚刚给结果已经被分组了，我们将刚刚的查询语句作为子查询以便于连接没有被分组的原始表格。

selectf.type, f.variety, f.pricefrom(select type, min(price) asminpricefrom fruits group bytype

)as x inner join fruits as f on f.type = x.type and f.price =x.minprice;+--------+----------+-------+

| type | variety | price |

\+--------+----------+-------+

| apple | fuji | 0.24 |

| cherry | bing | 2.55 |

| orange | valencia | 3.59 |

| pear | bartlett | 2.14 |

\+--------+----------+-------+

还可以使用相关子查询(correlated subquery)的方式来解决。这种方法在不同的mysql优化系统下，可能性能会有一点点下降，但这种方法会更直观一些。

selecttype, variety, pricefromfruitswhere price = (select min(price) from fruits as f where f.type =fruits.type);+--------+----------+-------+

| type | variety | price |

\+--------+----------+-------+

| apple | fuji | 0.24 |

| orange | valencia | 3.59 |

| pear | bartlett | 2.14 |

| cherry | bing | 2.55 |

\+--------+----------+-------+

这两种查询在逻辑上是一样的，他们性能也基本相同

找出每组中前N个值

这个问题会稍微复杂一些。我们可以使用聚集函数(MIN(), MAX()等等)来找一行，但是找前几行不能直接使用这些函数，因为它们都只返回一个值。但这个问题还是可以解决的。

这次我们找出每个类型(type)中最便宜的前两种水果，首先我们尝试

selecttype, variety, pricefromfruitswhere price = (select min(price) from fruits as f where f.type =fruits.type)or price = (select min(price) from fruits as f where f.type =fruits.typeand price > (select min(price) from fruits as f2 where f2.type =fruits.type));+--------+----------+-------+

| type | variety | price |

\+--------+----------+-------+

| apple | gala | 2.79 |

| apple | fuji | 0.24 |

| orange | valencia | 3.59 |

| orange | navel | 9.36 |

| pear | bradford | 6.05 |

| pear | bartlett | 2.14 |

| cherry | bing | 2.55 |

| cherry | chelan | 6.33 |

\+--------+----------+-------+

是的，我们可以写成自连接(self-join)的形式，但是仍不够好(我将这个练习留给读者)。这种方式在N变大(前三名，前4名)的时候性能会越来越差。我们可以使用其他的表现形式编写这个查询，但是它们都不够好，它们都相当的笨重和效率低下。(译者注：这种方式获取的结果时，如果第N个排名是重复的时候最后选择的结果会超过N，比如上面例子还有一个apple价格也是0.24，那最后的结果就会有3个apple)

我们有一种稍好的方式，在每个种类中选择不超过该种类第二便宜的水果

selecttype, variety, pricefromfruitswhere(select count(\*) from fruits asfwhere f.type = fruits.type and f.price <=fruits.price

)<= 2;

这次的代码要优雅很多，而且在N增加时不需要重新代码(非常棒！)。但是这个查询在功能上和原来的是一样。他们的时间复杂度均为分组中条目数的二次方。而且，很多优化器都不能优化这种查询，使得它的耗时最好为全表行数的二次方(尤其在没有设置正确的索引时)，而且数据量大时，可能将服务器会停止响应。那么还有更好的方法吗？有没有办法可以仅仅扫描一次数据，而不是通过子查询进行多次扫描。(译者注：这种方法有一个问题，就是如果排名并列第一的数字超过N后，这个分组会选不出数据，比如price为2.79的apple有3个，那么结果中就没有apple了)

使用 UNION

如果已经为type, price设置了索引，而且在每个分组中去除的数据要多于包含的数据，一种非常高效的单次扫描的方法是将查询拆分成多个独立的查询(尤其对mysql，对其他的RDBMSs也有效)，再使用UNION将结果拼到一起。mysql的写法如下：

(select \* from fruits where type = 'apple' order by price limit 2)union all(select \* from fruits where type = 'orange' order by price limit 2)union all(select \* from fruits where type = 'pear' order by price limit 2)union all(select \* from fruits where type = 'cherry' order by price limit 2)

注意：这里要使用UNION ALL，而不是UNION。后者会在合并的时候会将重复的条目清除掉。在我们的这个示例中没有去除重复的需求,所以我们告诉服务器不要清除重复,清除重复在这个问题中是无用的，而且会造成性能的大幅下降。