pyspark执行hivesqlstr

我就是我 2022-06-13 22:51 140阅读 0赞

## spark执行hivesqlstr ##

法1：

spark = SparkSession \\

.builder \\

.appName("app\_level") \\

.enableHiveSupport() \\

.getOrCreate()

spark.sql(sql)

法2：

os.system("export PYSPARK\_PYTHON=python2.7.5")

appName = "VL\_caltion"

mode = "yarn-client"

conf =SparkConf().setAppName(appName).setMaster("yarn-client")

sc = SparkContext(conf=conf)

hiveContext= HiveContext(sc)

self.result=sku\_result.join(dept\_result,\["dc\_id","seller\_code","dept\_code"\]).coalesce(10)\\

.select("seller\_code","dept\_code","sku\_code","dc\_id",F.when(sku\_result.amt<10,dept\_result.vl\_mean\_dept).otherwise(sku\_result.vl\_mean).alias("vl\_mean"),

F.when(sku\_result.amt<10,dept\_result.vl\_std\_dept).otherwise(sku\_result.vl\_std).alias("vl\_std"),

col("amt").alias("sku\_order\_count"),col("amt\_dept").alias("dept\_order\_count"),

F.when(sku\_result.amt<10,2).otherwise(1).alias("dim\_type")).withColumn("dt",lit(endDate)).coalesce(10)

hiveContext.sql("set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.dynamic.partition=true;")

hiveContext.sql("alter table app.app\_ivlt drop if existspartition(dt='"+endDate+"')")

self.result.write.mode("append").insertInto("app.app\_ivlt ")

发表评论取消回复

表情：

评论列表（有 0 条评论，140人围观）

还没有评论，来说两句吧...

相关阅读

相关 pyspark

python环境、jdk环境、spark 配置环境变量新建 SPARK\_HOME=E:\\Hadoop\\spark-2.1.3-bin-hadoop2.6

叁歲伎倆/ 2023年10月18日 13:46/ 0 赞/ 126 阅读

相关【Python】PySpark 数据处理 ② ( 安装 PySpark | PySpark 数据处理步骤 | 构建 PySpark 执行环境入口对象 )

文章目录一、安装 PySpark 1、使用 pip 安装 PySpark 2、国内代理镜像 3、PyCharm 中安装 P

雨点打透心脏的1/2处/ 2023年10月14日 09:43/ 0 赞/ 51 阅读

相关 pyspark系列2-linux安装pyspark

文章目录一.安装Java和Scale 1.1 安装java 1.2 安装Scala 1.2.1 安装

Dear 丶/ 2023年01月17日 02:28/ 0 赞/ 193 阅读

相关 pyspark 命令不执行_PySpark、Pyflink on jupyter

JupyterNotebook 是一个基于web的交互式开发环境。适合探索式开发以、PoC、数据分析数据挖掘等场景。目前支持运行40 多种编程语言，包括Python, R, J

分手后的思念是犯贱/ 2022年10月26日 12:47/ 0 赞/ 208 阅读

相关 Pyspark 函数

1、创建RDD textFile = sc.textFile('logs.txt') 2、统计频率 textFile.countByValue() 3、

以你之姓@/ 2022年09月10日 16:08/ 0 赞/ 189 阅读

相关 pyspark执行hivesqlstr

spark执行hivesqlstr 法1： spark = SparkSession \\ .builder \\ .appName("app\_lev

我就是我/ 2022年06月13日 22:51/ 0 赞/ 141 阅读

相关 pyspark安装

详细安装见参考： http://blog.csdn.net/yiyouxian/article/details/51020334 htt

我不是女神ヾ/ 2022年06月09日 05:49/ 0 赞/ 264 阅读

相关 pyspark系列--pandas和pyspark对比

目录 1. pandas和pyspark对比 1.1. 工作方式 1.2. 延迟机制 1.3.

Love The Way You Lie/ 2022年05月29日 12:40/ 0 赞/ 536 阅读

相关 pyspark系列--连接pyspark

目录 1. 连接spark 1.1. 简单连接spark 1.2. 连接spark集群 1.3.

小鱼儿/ 2022年05月29日 12:40/ 0 赞/ 283 阅读

相关 pyspark

本文主要介绍python如何通过pyspark的API操作spark Spark安装略，下载解压配置下就OK 我使用的是spark-2.2.0-bin-hadoop2.

分手后的思念是犯贱/ 2022年05月29日 00:38/ 0 赞/ 292 阅读