使用阿里云maxcompute sql随机从查询数据中抽取n条样本

痛定思痛。 2023-08-17 15:54 118阅读 0赞

近些年大数据发展迅速，大数据生态圈也越来越丰富。使用sql进行数据分析时有个常用的组件叫 [HIVE][] ，而阿里云则提供了类似HIVE功能的商业云服务，称为 [maxcompute][] 。

今天记录一下使用maxcompute sql从数据中随机抽取n条样本的方法。

假设有数据如下：

<table> 
 <thead> 
  <tr> 
   <th>id</th> 
   <th>name</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>张三</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>李四</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>王五</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>龙傲天</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>刘斩仙</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>赵日天</td> 
  </tr> 
 </tbody> 
</table>

我们想随机从上表中抽取3条数据，应该怎么写？

假设表名为`tmp_table`:

select id,name from tmp_table
    order by rand() limit 3

这样就能够从表中随机抽取3条数据了。假设我们运行的结果如下：

1 张三
    3 王五
    4 龙傲天

你可以尝试反复运行上面的sql，然后就会发现，每次运行的结果都是相同的，随机抽取数据都是上面给的3条。为什么呢？

从sql来理解，上面的语句相当于生成了一个随机序列，每条记录都分配了一个随机值，然后所有记录按照随机值排序，从排序结果中取前3条，以此达到随机选择的目的。

然后rand()方法产生随机数需要使用随机数种子，相同随机数种子产生的随机数永远都是一样的。当不传递随机数种子时，函数将使用默认的固定随机数种子，所以无论运行多少次，产生的随机数都是固定的。

那要怎么解决这个问题呢？传入每次都会变化的随机数种子就可以啦。比如选择当前的时间戳：

select id,name from tmp_table
    order by rand(unix_timestamp()) limit 3

现在，每次运行的结果都不一样咯，搞定！

参考文章：

[MaxCompute SQL随机抽取N行数据][MaxCompute SQL_N]

[HIVE]: https://hive.apache.org/
[maxcompute]: https://help.aliyun.com/document_detail/27800.html
[MaxCompute SQL_N]: https://yq.aliyun.com/users/ki4r6p45u3y6m

发表评论取消回复

表情：

评论列表（有 0 条评论，118人围观）

还没有评论，来说两句吧...

相关阅读

相关不遍历整个文件从.jsonl文件中随机抽取n条样本

不遍历整个文件从.jsonl文件中随机抽取n条样本 file = ".jsonl" samples_raw = [] 逐行读取JSONL文

ゝ一纸荒年。/ 2024年02月17日 08:27/ 0 赞/ 25 阅读

相关 MySQL 随机查询若干条数据

阅读目录 RAND()函数返回0（包括）和1（不包括）之间的随机数 RAND()函数返回0（包括）和1（不包括）之间的随机数 ![在这里插入图片描述][f4

骑猪看日落/ 2023年10月07日 21:03/ 0 赞/ 45 阅读

相关使用阿里云maxcompute sql随机从查询数据中抽取n条样本

近些年大数据发展迅速，大数据生态圈也越来越丰富。使用sql进行数据分析时有个常用的组件叫 [HIVE][] ，而阿里云则提供了类似HIVE功能的商业云服务，称为 [maxcom

痛定思痛。/ 2023年08月17日 15:54/ 0 赞/ 119 阅读

相关阿里云大数据ACP认证学习笔记之——————MaxCompute

基本概念 Project：项目，MaxCompute的基本组织单元。 Table：表，分为内部表（数据存储在MaxCompute）和外部表（数据不存储在Max

àì夳堔傛蜴生んèń/ 2023年03月06日 05:38/ 0 赞/ 21 阅读

相关阿里云Big Data - 阿里云大数据利器Maxcompute学习之-假如你使用过hive

记录一下关键内容详细内容请参照原文 [https://yq.aliyun.com/articles/86574][https_yq.aliyun.com_articles

小鱼儿/ 2023年02月22日 08:05/ 0 赞/ 18 阅读

相关记录几条阿里云日志服务里的查询sql

记录几条阿里云日志服务里的查询sql 万一以后还用的上呢 \ AND requestURL : sendReportNotificationSMS | SELECT

向右看齐/ 2022年12月29日 12:57/ 0 赞/ 108 阅读

相关用Excel 随机抽取不重复n行数据

找了一下，用Excel内置的数据分析工具——抽样，是无法实现随机抽取n行数据的，只能抽取单个数据。我们只能间接的进行实现第一步，生成随机数，并填充。 =RAND(

骑猪看日落/ 2022年11月28日 10:43/ 0 赞/ 752 阅读

相关阿里云DataWorks和MaxCompute简介与使用

阿里云DataWorks和MaxCompute简介与使用一、简介 MaxCompute（大数据计算服务）是阿里巴巴自主研发的海量数据处理平台，主要提供数据上传和下

阳光穿透心脏的1/2处/ 2022年11月16日 01:41/ 0 赞/ 854 阅读

相关 SQL Server 随机查询一条数据

我们经常会遇到在数据库中随机查询一条数据的问题。如下所示可以轻松搞定 SELECT TOP 1 WECHAT_NICK_NAME FROM COM_SYST

秒速五厘米/ 2022年08月09日 11:58/ 0 赞/ 227 阅读

相关 sql随机返回一条数据

http://stackoverflow.com/questions/580639/how-to-randomly-select-rows-in-sql sqlite：

喜欢ヅ旅行/ 2022年08月06日 12:15/ 0 赞/ 285 阅读