修炼离线：（七）sqoop同步MySQL数据到hive

约定不等于承诺〃 2024-03-02 09:15 59阅读 0赞

## 一：同步脚本。 ##

#!/bin/sh
    
    mysqlHost=$1
    mysqlUserName=$2
    mysqlUserPass=$3
    mysqlDbName=$4
    myqlTbName=$5
    hiveDbName=$6
    hiveTbName=$7
    partFieldName=$8
    inputDate=$9
    
    echo ${mysqlHost}
    echo ${mysqlUserName}
    echo ${mysqlUserPass}
    echo ${mysqlDbName}
    echo ${myqlTbName}
    echo ${hiveDbName}
    echo ${hiveTbName}
    echo ${partFieldName}
    echo ${inputDate}
    
    
    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect jdbc:mysql://${mysqlHost}/${mysqlDbName}?tinyInt1isBit=false \
    --username ${mysqlUserName} \
    --password ${mysqlUserPass} \
    --table ${myqlTbName} \
    --hive-overwrite \
    --delete-target-dir \
    --fields-terminated-by '\t' \
    --null-string "" \
    --hive-import \
    --null-non-string "false" \
    --hive-database ${hiveDbName} \
    --hive-table ${hiveTbName} \
    --hive-drop-import-delims \
    --hive-partition-key ${partFieldName} \
    --hive-partition-value ${inputDate}

## 二：同步命令。 ##

sh mysql_hive.sh xx.xx.xx.xx:3306 \
     root 123456 dongfeng bluetooth_device ods ods_dk_bluetooth_idk_bluetooth_device_test p_dt 2023-09-19

发表评论取消回复

表情：

评论列表（有 0 条评论，59人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据bug-sqoop（二：sqoop同步mysql数据到hive进行字段限制。）

一：sqoop脚本解析。！/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

川长思鸟来/ 2024年03月23日 23:19/ 0 赞/ 78 阅读

相关 sqoop 同步mysql到hive，选取固定字段

!/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3 mysqlDb

迈不过友情╰/ 2024年03月03日 08:49/ 0 赞/ 88 阅读

相关修炼离线：（七）sqoop同步MySQL数据到hive

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

约定不等于承诺〃/ 2024年03月02日 09:15/ 0 赞/ 60 阅读

相关修炼离线：（六）hive通过sqoop同步数据到mysql

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

超、凢脫俗/ 2024年03月02日 09:14/ 0 赞/ 60 阅读

相关修炼离线：（五）hbase映射表插入hive

一：创建hive表。 sql --drop table if exists ods.odsyyy; create table if not exi

约定不等于承诺〃/ 2024年03月02日 09:10/ 0 赞/ 52 阅读

相关修炼离线：（四）创建hbase映射表到hive

create database ods; -- drop table if exists ods.ods_yyy_hb; create externa

男娘i/ 2024年03月02日 03:33/ 0 赞/ 60 阅读

相关修炼离线：（二）sqoop插入hbase 脚本（增量）

一：mysql创建表，插入数据。二：hbase创建表。 habse shell create 'aa'(表名),'cf'(列族) 三：mysq

た入场券/ 2024年03月02日 03:26/ 0 赞/ 45 阅读

相关 hive到mysql数据同步_datax实战-hive同步数据到mysql

\{ "core": \{ "transport": \{ "channel": \{ "speed": \{ "record": "10000", "byte":

淩亂°似流年/ 2023年01月12日 04:24/ 0 赞/ 254 阅读

相关 sqoop 数据抽取到hive语法

在使用sqoop将数据库中的数据抽取到hive中时创建语法全量数据导入就像名字起的那样，全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Ha

- 日理万妓/ 2022年08月30日 11:42/ 0 赞/ 223 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 421 阅读