PySpark 切片并选择特定的行数

系统管理员 2023-06-14 04:18 17阅读 0赞

在PySpark需要选择特定的某些行，数据量巨大而没法转到pandas的dataframe操作。

### 1. 如果内容为数值，可以用between函数筛选。 ###

参考资料：[http://spark.apache.org/docs/latest/api/python/pyspark.sql.html\#pyspark.sql.Column.between][http_spark.apache.org_docs_latest_api_python_pyspark.sql.html_pyspark.sql.Column.between]

下面的例子，表示筛选出(id >= 5) 及 (id <= 10)的行。

from pyspark.sql.functions import col
    
    df.where(col("id").between(5, 10))

### 2. 如果选择前多少行，可以用take函数和head函数。 ###

下面的例子，分别表示选择第3行和第5行。

list = df.head(3)
    list = df.take(5)

### 3.选择dataframe中间的特定行数。 ###

而我使用的dataframe前两种方法都没法解决。特点如下：

1.  特定列中的内容为字符串，并非数值，不能直接比较大小。
2.  所选取数据为中间行，如第10~20行，不能用函数直接选取。

最终的解决方法如下：

*  **首先添加行索引，然后选择特定区间内的行索引，从而选取特定中间行。**

第一步，添加行索引。

from pyspark.sql.functions import monotonically_increasing_id
    
    dfWithIndex = df.withColumn(“id”,monotonically_increasing_id())

第二步，筛选特定行。

dfWithIndex.select(dfWithIndex.name, dfWithIndex.id.between(50, 100)).show()

成功~

[http_spark.apache.org_docs_latest_api_python_pyspark.sql.html_pyspark.sql.Column.between]: http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.Column.between

发表评论取消回复

表情：

评论列表（有 0 条评论，17人围观）

还没有评论，来说两句吧...

相关阅读

相关提取和计算特定时间范围内的日志行数

提取和计算特定时间范围内的日志行数提取和计算特定时间范围内的日志行数通常需要结合日志中的时间戳以及一些文本处理命令。以下是一个简单的示例，假设日志文件中的时间戳格式为

阳光穿透心脏的1/2处/ 2024年02月05日 12:47/ 0 赞/ 25 阅读

相关 5G NGC — 关键技术 — 网络切片 — 切片的选择

目录文章目录目录 NSSAI 和 S-NSSAI NSSAI S-NSSAI 网络切片的选择 1、用户注

我会带着你远行/ 2023年10月05日 20:28/ 0 赞/ 63 阅读

相关 Linux之查找文本文件中的特定字符串，并删除特定字符串所在的行

sed -ie '/要查找的字符串/d' 要操作的文件.txt https://blog.csdn.net/weixin\_34278190/article/deta

╰+哭是因爲堅強的太久メ/ 2023年06月24日 11:28/ 0 赞/ 15 阅读

相关 PySpark 切片并选择特定的行数

在PySpark需要选择特定的某些行，数据量巨大而没法转到pandas的dataframe操作。 1. 如果内容为数值，可以用between函数筛选。参考资料：[ht

系统管理员/ 2023年06月14日 04:18/ 0 赞/ 18 阅读

相关 linux截取文件特定行,截取与分析日志文件的特定行数的操作

在进行操作系统和数据库系统管理时，经常会遇到在日志文件中查找某个字符，或者按照时间截取某个时间段的日志进行分析。今天早上就遇到一个MySQL数据库上的问题，mysql数据库

╰半橙微兮°/ 2023年01月19日 10:57/ 0 赞/ 26 阅读

相关 numpy选择特定的行列

有时需要抽取矩阵中特定行的特定列。比如，需要抽取矩阵x的0,1行的0,3列，结果为矩阵域 x = np.array([[ 0, 1, 2, 3],

客官°小女子只卖身不卖艺/ 2022年12月20日 14:55/ 0 赞/ 121 阅读

相关 git log根据特定条件查询日志并统计修改的代码行数

文章目录前言 git log 条件筛选查询最近几条log 查询指定作者提交查

た入场券/ 2022年12月04日 08:32/ 0 赞/ 391 阅读

相关 pyspark 筛选 null 行

如果某行数值是null，去掉这行，比如代码： df = df.filter(df.x2. isNotNull()) +---+----+----+

叁歲伎倆/ 2022年11月28日 00:21/ 0 赞/ 92 阅读

相关截取与分析日志文件的特定行数的操作

> > > 在进行操作系统和数据库系统管理时，经常会遇到在日志文件中查找某个字符，或者按照时间截取某个时间段的日志进行分析。 > > > > > 今天早上就

今天药忘吃喽~/ 2022年08月18日 10:53/ 0 赞/ 20 阅读

相关 vim匹配特定的行并删除它

删除包含特定字符的行： g/pattern/d 删除不包含指定字符的行： v/pattern/d g!/pattern/d 现实TAB键以及空

╰半橙微兮°/ 2022年08月09日 14:41/ 0 赞/ 482 阅读