修炼离线：（六）hive通过sqoop同步数据到mysql

超、凢脫俗 2024-03-02 09:14 58阅读 0赞

## 一：同步脚本。 ##

#!/bin/sh
    
    mysqlHost=$1
    mysqlUserName=$2
    mysqlUserPass=$3
    mysqlDbName=$4
    myqlTbName=$5
    hiveDbName=$6
    hiveTbName=$7
    partFieldName=$8
    inputDate=$9
    updateFieldName=${
       10}
    
    echo ${mysqlHost}
    echo ${mysqlUserName}
    echo ${mysqlUserPass}
    echo ${mysqlDbName}
    echo ${myqlTbName}
    echo ${hiveDbName}
    echo ${hiveTbName}
    echo ${partFieldName}
    echo ${inputDate}
    echo ${updateFieldName}
    
    sqoop export --connect jdbc:mysql://${mysqlHost}/${mysqlDbName} \
    --username ${mysqlUserName} \
    --password ${mysqlUserPass} \
    --table ${myqlTbName} \
    --hcatalog-database ${hiveDbName} \
    --hcatalog-table ${hiveTbName} \
    --hcatalog-partition-keys ${partFieldName}  \
    --hcatalog-partition-values ${inputDate} \
    --update-key ${updateFieldName} \
    --update-mode allowinsert \
    --m 1

## 二：同步命令。 ##

sh hive_mysql.sh xx.xx.xx.xx root 123456 dongfeng bluetooth_device ods ods_dk_bluetooth_idk_bluetooth_device p_dt 2023-09-19 p_dt

发表评论取消回复

表情：

评论列表（有 0 条评论，58人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据bug-sqoop（二：sqoop同步mysql数据到hive进行字段限制。）

一：sqoop脚本解析。！/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

川长思鸟来/ 2024年03月23日 23:19/ 0 赞/ 78 阅读

相关 sqoop 同步mysql到hive，选取固定字段

!/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3 mysqlDb

迈不过友情╰/ 2024年03月03日 08:49/ 0 赞/ 87 阅读

相关修炼离线：（七）sqoop同步MySQL数据到hive

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

约定不等于承诺〃/ 2024年03月02日 09:15/ 0 赞/ 59 阅读

相关修炼离线：（六）hive通过sqoop同步数据到mysql

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

超、凢脫俗/ 2024年03月02日 09:14/ 0 赞/ 59 阅读

相关修炼离线：（五）hbase映射表插入hive

一：创建hive表。 sql --drop table if exists ods.odsyyy; create table if not exi

约定不等于承诺〃/ 2024年03月02日 09:10/ 0 赞/ 51 阅读

相关修炼离线：（四）创建hbase映射表到hive

create database ods; -- drop table if exists ods.ods_yyy_hb; create externa

男娘i/ 2024年03月02日 03:33/ 0 赞/ 60 阅读

相关修炼离线：（二）sqoop插入hbase 脚本（增量）

一：mysql创建表，插入数据。二：hbase创建表。 habse shell create 'aa'(表名),'cf'(列族) 三：mysq

た入场券/ 2024年03月02日 03:26/ 0 赞/ 44 阅读

相关修炼离线：（三）sqoop插入hbase 报错权限问题

一：报错现象。 ![在这里插入图片描述][f6613ed71a4a452a8d1cc9d9c5c9c440.png] ![在这里插入图片描述][09b41b1e38f

男娘i/ 2024年03月02日 03:24/ 0 赞/ 17 阅读

相关 hive到mysql数据同步_datax实战-hive同步数据到mysql

\{ "core": \{ "transport": \{ "channel": \{ "speed": \{ "record": "10000", "byte":

淩亂°似流年/ 2023年01月12日 04:24/ 0 赞/ 252 阅读

相关 sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板 sqoop import \\ \--connect jdbc:mysql://ip:3306/test \\ \--username root \\

ゝ一世哀愁。/ 2022年03月08日 15:46/ 0 赞/ 420 阅读