动态挂在分区脚本

ゝ一纸荒年。 2021-12-03 23:41 268阅读 0赞

\#/usr/bin/env python2.7

# \-*- coding: utf-8 -*\- #

import os  
import string  
import datetime  
from pyspark.sql.types import \*  
from pyspark.sql import SparkSession  
os.environ\[‘PYSPARK\_PYTHON’\]=’/appcom/service/python27/bin/python2.7’

def main():  
spark = SparkSession.builder  
.master(“yarn”)  
.appName(“data\_management”)  
.enableHiveSupport()  
.getOrCreate()

begin = datetime.date(2016,10,11)
    end = datetime.date(2017,6,19)
    d = begin
    delta = datetime.timedelta(days=1)
    
    sql3 = "set mapred.job.queue.name=queue_ndf_dev"
    spark.sql(sql3)
    sql2 = "set yarn.scheduler.minimum-allocation-mb=2048"
    spark.sql(sql2)
    sql1 = "set hive.exec.dynamic.partition.mode=nonstrict"
    spark.sql(sql1)
    sql4 = "set yarn.nodemanager.pmem-check-enabled = false"
    spark.sql(sql4)
    sql5 = "set yarn.nodemanager.vmem-check-enabled = false"
    spark.sql(sql5)
    sql6 = "SET mapred.reduce.tasks=1"
    spark.sql(sql6)
    
    
    while d <= end:
     #   sql4 = "insert overwrite table data_mining.two partition (part_dt) select * from data_mining.f_xcf_user_vip_info \
         #       where part_dt = '"+ str(d) +"'distribute by part_dt "
        sql4="atler table  data_mining.f_ph_user_fin_liq add partition(part_dt='$d') location '/user/hive/warehouse/data_mining.db/f_ph_user_fin_liq/part_dt='$d'"
        spark.sql(sql4)
        print(sql4)
        d = d + delta

if **name** == ‘**main**’:  
main()

ps：str不用+会报语法错误，sql语句存在问题，如果分区存在会一直报错，所以最好  
ALTER TABLE xxxDROP IF EXISTS PARTITION (xx=‘xxx’)  
同时alter table xxx if not exists add partition( part\_dt = xx) location ’ 目录’

spark-submit --master yarn --deploy-mode client --queue datamining --executor-memory 4g --num-executors 2 [one.py][]

[one.py]: http://one.py

发表评论取消回复

表情：

评论列表（有 0 条评论，268人围观）

还没有评论，来说两句吧...

相关阅读

相关关于linux分区与挂载的解释

对Linux用户来说无论有几个分区，都得分给目录使用，它归根结底就只有一个根目录，一个独立且唯一的文件结构。Linux中每个分区都是用来组成整个文件系统的一部分，因为它采用了一

柔光的暖阳◎/ 2023年10月03日 08:22/ 0 赞/ 5 阅读

相关动态分区与静态分区

静态分区在插数语句的后边就要添加字段和字段值后，不需要再sql的查询语句再添加该字段动态分区再插数语句后边添加字段后，还需要在sql的查询语句的最后，把该字段加上转载于

朱雀/ 2023年06月05日 12:37/ 0 赞/ 262 阅读

相关 Hive动态分区

1.创建表 create table dept_no_par(dname string,loc string) partitioned by (deptno

水深无声/ 2023年01月18日 12:23/ 0 赞/ 78 阅读

相关 Doris动态分区

1、说明本文主要是测试Doris动态分区相关功能；关于动态分区相关理论部分请参考官方文档： [http://doris.incubator.apache.or

我不是女神ヾ/ 2022年09月09日 14:50/ 0 赞/ 389 阅读

相关 MySQL自动分区脚本

一、使用说明: 1.此脚本为分区后,定时自动增加分区.（被自动分区的表,一定要先手动分几个区） 2.每隔15天,定时器会执行一个存储过程,对分区日期最后的那天再往后新增

古城微笑少年丶/ 2022年06月17日 13:54/ 0 赞/ 298 阅读

相关 hive 动态分区

[前面文章][Link 1]介绍了Hive中是支持分区的。关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分

叁歲伎倆/ 2022年06月06日 02:24/ 0 赞/ 275 阅读

相关 hive动态分区

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入实验步骤 1. 在本地文件/home/grid/a.tx

深藏阁楼爱情的钟/ 2022年06月05日 06:13/ 0 赞/ 302 阅读

相关 Linux 自动挂在磁盘脚本

Linux 运维以及脚本干货: 欢迎分享，欢迎folk [https://unnunique.github.io/AADocs/skill-docs/linux/][htt

谁践踏了优雅/ 2022年05月25日 00:10/ 0 赞/ 167 阅读

相关 12306防挂脚本

一年一度的“抢票运动会”又开始了，期间12306网站承受的压力越来越大，极不稳定。随着人们对互联网越来越熟悉，导致大量刷票软件的用户量猛增，大量的访问将12306快压垮了，以至

小灰灰/ 2022年05月14日 16:22/ 0 赞/ 138 阅读

相关动态挂在分区脚本

\/usr/bin/env python2.7 \-- coding: utf-8 -\- import os import string import dat

ゝ一纸荒年。/ 2021年12月03日 23:41/ 0 赞/ 269 阅读