用postgresql做抽样查询

Love The Way You Lie 2021-07-27 01:20 403阅读 0赞

9.5之前需要写函数，暂不考虑，下面以tablesample方法为主

方式一：

在数据量较小的情况下使用

select \* from tb\_defect order by random() limit 100

缺点是没办法再排序，而且是全表扫描，性能较差

方式二：

select \* from tb\_defect tablesample system(0.01);

system抽样方式是随机抽取表上的数据块的数据,可能返回0条，可能是抽取到了一个没有数据的数据块

方式三：

select \* from tb\_defect tablesample bernoulli(0.1);

BERNOULLI抽样方式，是基于数据行的，每次返回的数量相差不多，但也不保证每次查询出来的数据行数一样，0.1并不是严格按总条数\*0.1，而是按伯努力离散分布，比如我测试数据2700条，查出来可能是3-5条

select \* from tb\_defect  tablesample bernoulli(0.5) order by "create\_time";

可以排序，但并不是均匀分布的

2020-01-04 00:00:00+08:00  
2020-03-09 00:00:00+08:00  
2020-03-18 00:00:00+08:00  
2020-03-22 00:00:00+08:00  
2020-05-10 00:00:00+08:00  
2020-05-22 00:00:00+08:00  
2020-06-11 00:00:00+08:00  
2020-06-16 00:00:00+08:00  
2020-06-29 00:00:00+08:00  
2020-07-29 00:00:00+08:00  
2020-07-30 00:00:00+08:00  
2020-09-02 00:00:00+08:00  
2020-09-16 00:00:00+08:00  
2020-09-17 00:00:00+08:00

方式四：

如果有时间字段或id，主要对物联设备数据，每秒上报数据，查询时每隔三分钟取一条数据，

select \* from tb\_defect  where mod(cast(substring("create\_time",9,2)  as integer),3)=0

发表评论取消回复

表情：

评论列表（有 0 条评论，403人围观）

还没有评论，来说两句吧...

相关阅读

相关 postgresql清除慢查询

、先查看运行的慢sql select * from pg_stat_activity 2、清除表tianbao\_db中所有的正在执行的语句 ...

比眉伴天荒/ 2024年04月18日 10:44/ 0 赞/ 60 阅读

相关 PostgreSQL JSON查询

JSON 代表 JavaScript Object Notation。JSON是开放的标准格式，由key-value对组成。JSON的主要用于在服务器与web应用之间传输数据。

今天药忘吃喽~/ 2023年07月20日 13:31/ 0 赞/ 36 阅读

相关 PostgreSQL查询集合结果用逗号分隔返回字符串

函数：`string_agg(rid||'' , ',')` SQL：`SELECT string_agg(rid||'' , ','),year FROM tdfwzs_

一时失言乱红尘/ 2022年11月21日 09:29/ 0 赞/ 301 阅读

相关 spark 数据处理 -- 数据采样【随机抽样、分层抽样、权重抽样】

文章大纲简介简单抽样方法都有哪些？随机抽样分层抽样权重抽样 SM

绝地灬酷狼/ 2022年09月12日 01:50/ 0 赞/ 223 阅读

相关 ES中如何实现随机抽样查询

一、场景说明索引中有几千万的数据，现在需要每次查询随机抽样返回10条数据，怎么实现？ -------------------- 二、实现方式 DSL语句执行如

缺乏、安全感/ 2022年09月11日 01:16/ 0 赞/ 500 阅读

相关大数据抽样- 概率抽样，随机采样

在统计学中，[抽样][Link 1]（Sampling）是一种推论统计方法，是指从目标总体（Population，或称为母体）中抽取一部分个体作为样本（Sample），通过观察

àì夳堔傛蜴生んèń/ 2022年05月31日 13:19/ 0 赞/ 361 阅读

相关随机抽样算法：蓄水池抽样

![这里写图片描述][70] 1. 先选取数据流中的前k个元素，保存在集合A中； 2. 从第j（k + 1 <= j <= n）个元素开始，每次先以概率p = k/j选择

朴灿烈づ我的快乐病毒、/ 2022年05月30日 01:23/ 0 赞/ 247 阅读

相关 postgresql 查询集合结果用逗号分隔返回字符串处理

关键字：string\_agg('' , '') 例如： select string\_agg(name||'' , ',') from sys\_user

「爱情、让人受尽委屈。」/ 2022年05月22日 08:37/ 0 赞/ 225 阅读

相关 postgresql 分页查询

PostgreSQL的LIMIT子句是用来限制由SELECT语句返回的数据量。通俗的讲解： ![70][] 官方的讲解：语法: LIMIT子句的SEL

╰半橙微兮°/ 2022年05月17日 05:57/ 0 赞/ 171 阅读

相关用postgresql做抽样查询

9.5之前需要写函数，暂不考虑，下面以tablesample方法为主方式一：在数据量较小的情况下使用 select \ from tb\_defect order b

Love The Way You Lie/ 2021年07月27日 01:20/ 0 赞/ 404 阅读