pyspark.sql import Window窗口函数的使用

谁践踏了优雅 2022-05-16 13:11 193阅读 0赞

To be able to use window function you have to create a window first. Definition is pretty much the same as for normal SQL it means you can define either order, partition or both. First lets create some dummy data:

import numpy as np
    np.random.seed(1)
    
    keys = ["foo"] * 10 + ["bar"] * 10
    values = np.hstack([np.random.normal(0, 1, 10), np.random.normal(10, 1, 100)])
    
    df = sqlContext.createDataFrame([
       {"k": k, "v": round(float(v), 3)} for k, v in zip(keys, values)])

Make sure you're using `HiveContext` (Spark < 2.0 only):

from pyspark.sql import HiveContext
    
    assert isinstance(sqlContext, HiveContext)

**Create a window:**

from pyspark.sql.window import Window
    
    w =  Window.partitionBy(df.k).orderBy(df.v)

**which is equivalent to**

(PARTITION BY k ORDER BY v)

in SQL.

As a rule of thumb window definitions should always contain `PARTITION BY` clause otherwise Spark will move all data to a single partition. `ORDER BY` is required for some functions, while in different cases (typically aggregates) may be optional.

There are also two optional which can be used to define window span - `ROWS BETWEEN` and `RANGE BETWEEN`. These won't be useful for us in this particular scenario.

**Finally we can use it for a query:**

from pyspark.sql.functions import percentRank, ntile
    
    df.select(
        "k", "v",
        percentRank().over(w).alias("percent_rank"),
        ntile(3).over(w).alias("ntile3")
    )

Note that `ntile` is not related in any way to the quantiles.

发表评论取消回复

表情：

评论列表（有 0 条评论，193人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink：会话窗口（Session Window）使用

会话窗口 ![12358b190b4e44b9afa2b2f9a121cc75.png][] 由一系列事件组合一个指定时间长度的timeout间隙组成，类似于web应用的s

红太狼/ 2024年03月23日 11:56/ 0 赞/ 60 阅读

相关 EasyUI中Window窗口的简单使用

场景效果 ![Image 1][]![20190619221206369.gif][] 属性该属性扩展自面板（panel），下面是为窗口（window）

缺乏、安全感/ 2023年10月18日 20:08/ 0 赞/ 52 阅读

相关（详解及使用）import()函数和import语句

目录背景一、import() 1.1 使用场景二、import ... from "..." 2.1 详细使用 --------------------

小鱼儿/ 2023年10月09日 23:31/ 0 赞/ 6 阅读

相关 mysql窗口函数的使用

窗口函数作为mysql8.0引入的新功能可以解决很多排名相关的问题一、建表 create table student( id int ,

妖狐艹你老母/ 2022年12月05日 12:10/ 0 赞/ 195 阅读

相关 FlinkSql中窗口(window)的使用

FlinkSql中窗口(window)的使用目录 FlinkSql中窗口(window)的使用一、Table API中使用窗口

系统管理员/ 2022年11月07日 14:53/ 0 赞/ 213 阅读

相关 windows编程学习笔记（2）窗口过程函数

一.窗口过程函数窗口过程函数是“真正干活的函数”，系统和用户所产生的各种消息，最后都要通过调用这个函数来进行处理。定义如下： LRESULT CALLBACK W

旧城等待，/ 2022年08月13日 11:52/ 0 赞/ 328 阅读

相关模式化窗口window.showModalDialog的使用说明

最近公司用了一个老掉牙的弹窗模式——模式化弹窗，拿出来说说吧~ 首先看看API，第一句话说的就是：已废弃，但是有时候用不用这个，不是你说了算了啊，咋还得听老大的是不，接

超、凢脫俗/ 2022年05月27日 08:29/ 0 赞/ 191 阅读

相关 pyspark.sql import Window窗口函数的使用

To be able to use window function you have to create a window first. Definition is pr

谁践踏了优雅/ 2022年05月16日 13:11/ 0 赞/ 194 阅读

相关 PostgreSQL 窗口函数 ( Window Functions ) 如何使用？

一、为什么要有窗口函数 -------------------- 我们直接用例子来说明，这里有一张学生考试成绩表`testScore`： ![896608-20190

本是古典何须时尚/ 2021年12月05日 15:17/ 0 赞/ 628 阅读

相关新窗口的打开（window.open）的使用

刚学会用…… ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0

深碍√TFBOYSˉ_/ 2021年11月29日 15:18/ 0 赞/ 590 阅读