HIVE的shell脚本模板

￡神魔★判官ぃ 2022-06-04 00:29 163阅读 0赞

**参照模板** 实现了一个等值join的简单Demo  
重要得脚本 模板 值得参考

#!/bin/bash 
    # ===========================================================================
    # 程序名称: hive的shell脚本 
    # 功能描述: 将book表与course等值连接，数据分区插入
    # 输入参数: 运行日期
    # 目标表名: book_par
    # 数据源表: book,course
    # 创建人: 何睿
    # 创建日期: 2017-11-29
    # 版本说明: v1.0
    # 代码审核: 
    # 修改人名:
    # 修改日期:
    # 修改原因:
    # 修改列表: 
    # ===========================================================================
    ### 1.参数加载
    exe_hive="/home/software/hive-1.2.0-bin/bin/hive"
    
    if [ $# -eq 1 ]
       then
           day_01=`date --date "${1}" +%Y-%m-%d`
    else
           day_01=`date -d '-1 day' +%Y-%m-%d`
    fi
    
    
    TARGET_DB=school
    TARGET_TABLE=book_par
    
    
    
    ###2.定义执行HQL
    HQL="use ${TARGET_DB}; insert overwrite table ${TARGET_TABLE} partition (dt='${day_01}') select id,name,cno,sname from (select * from book where country='japan') b left join course c on b.id=cno;"
    
    
    ###3.执行HQL
    bash ${exe_hive} -e "${HQL}"
    
    
    ###4.判断是否成功
    result=`hadoop fs -ls /user/hive/warehouse/${TARGET_DB}.db/${TARGET_TABLE}/dt=${day_01}  | wc -l`
    if [ ${result} -gt 1 ]
       then
           hadoop fs -touchz /user/hive/warehouse/${TARGET_DB}.db/${TARGET_TABLE}/dt=${day_01}/_SUCCESS
         echo "-----------etl脚本执行成功------------"

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关 Linux - shell 脚本后台运行某条命令 - 输出为 pid 文件 - Shell脚本模板

Shell 模板脚本参数具体解释： $! 输出命令运行后获取到的进程号，注意是美元符号$和感叹号! $? 的原理是shell使用关键字PID来获取

客官°小女子只卖身不卖艺/ 2024年03月23日 18:43/ 0 赞/ 48 阅读

相关 shell脚本

shell脚本开头一般会标识调用的是那个shell，格式\!/bin/sh,运行脚本文件一般有两种方式sh 脚本名字和./脚本名字这两种方式区别在于，第一种脚本文件开头可

Bertha 。/ 2022年08月10日 09:22/ 0 赞/ 269 阅读

相关 Shell 脚本

</pre><pre code_snippet_id="677645" snippet_file_name="blog_20150528_2_4424221" name

た入场券/ 2022年08月05日 01:00/ 0 赞/ 296 阅读

相关 Shell脚本

1>利用vi 建立一个脚本文件，该文件在用户输入年、月之后，自动打印数出该年该月的日历。然后以3种不同方式执行该脚本，如有不能执行情况，请说明原因。脚本代码:

迈不过友情╰/ 2022年07月16日 13:16/ 1 赞/ 720 阅读

相关 HIVE的shell脚本模板

参照模板实现了一个等值join的简单Demo 重要得脚本模板值得参考 !/bin/bash ==========================

￡神魔★判官ぃ/ 2022年06月04日 00:29/ 0 赞/ 164 阅读

相关 shell脚本执行hive命令传值给sql文件、shell传参

使用场景，大数据平台azkaban任务中通过shell脚本调用sql文件（尤其是调用多个sql时），希望可以传参到sql文件中方法：本例以sh调用hive命令执行sq

女爷i/ 2022年05月14日 01:40/ 0 赞/ 694 阅读

相关简单的shell脚本执行hive

!/bin/bash source /etc/profile locate emg4051:/opt/software/hive/bin/hive

短命女/ 2022年04月08日 12:43/ 0 赞/ 503 阅读

相关 Shell脚本

Shell脚本 shell变量：定义变量，变量名不加美元符号（$） your_name="runoob.com" 使用变量使用一个定义过的变量，只要在变量名前

本是古典何须时尚/ 2022年02月03日 16:13/ 0 赞/ 462 阅读

相关 shell按月份循环执行hive脚本

在开发中，怎样编写脚本输入开始月份、结束月份自动跑数呢？对shell中getopts不懂的请查看我以前博客 [shell中的getopt][shell_getopt]

布满荆棘的人生/ 2021年09月23日 22:52/ 0 赞/ 570 阅读

相关 shell按小时循环执行hive脚本

在开发中，经常会遇到重刷以前脚本或提取以前数据，由于数据量极大，集群资源不够，只能按小时跑数据，怎样编写脚本输入开始日期、开始小时、结束日期、结束小时自动跑数呢？提供以下脚

蔚落/ 2021年09月23日 19:50/ 0 赞/ 636 阅读