修炼离线：（二）sqoop插入hbase 脚本（增量）

た入场券 2024-03-02 03:26 44阅读 0赞

## 一：mysql创建表，插入数据。 ##

## 二：hbase创建表。 ##

habse shell
    create 'aa'(表名),'cf'(列族)

## 三：mysql\_hbase脚本。 ##

#!/bin/sh
    
    mysqlHost=$1
    mysqlUserName=$2
    mysqlUserPass=$3
    mysqlDbName=$4
    myqlTbName=$5
    hbaseTbName=$6
    hbaseTbRowkey=$7
    hbaseTbRowfamily=$8
    mysqlUpdateField=$9
    lastMonthDealDate=${
       10}
    p_dt=${
       11}
    
    echo ${mysqlHost}
    echo ${mysqlUserName}
    echo ${mysqlUserPass}
    echo ${mysqlDbName}
    echo ${myqlTbName}
    echo ${hbaseTbName}
    echo ${hbaseTbRowkey}
    echo ${hbaseTbRowfamily}
    echo ${mysqlUpdateField}
    echo ${lastMonthDealDate}
    echo ${p_dt}
    
    
    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    "-Dsqoop.hbase.add.row.key=true"  \
    --connect jdbc:mysql://${mysqlHost}/${mysqlDbName} \
    --username ${mysqlUserName} \
    --password ${mysqlUserPass} \
    --table ${myqlTbName} \
    --hbase-table ${hbaseTbName} \
    --hbase-row-key ${hbaseTbRowkey} \
    --column-family ${hbaseTbRowfamily} \
    --where "date_format(${mysqlUpdateField},'%Y-%m-%d') between '${lastMonthDealDate}' and '${p_dt}'"
    
    #--num-mappers 16

## 四：shell脚本。 ##

sh mysql_hbase.sh 27.155.84.54 root 123456 aaa(mysql库名) bbb(mysql表名)  MANUFACTURER,BLE_ID(hbase的rowkey) cf(hbase列族) edit_time(mysql更新字段) 2021-09-01(开始日期) 2023-09-19(结束日期)

发表评论取消回复

表情：

评论列表（有 0 条评论，44人围观）

还没有评论，来说两句吧...

相关阅读

相关修炼离线：（七）sqoop同步MySQL数据到hive

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

约定不等于承诺〃/ 2024年03月02日 09:15/ 0 赞/ 59 阅读

相关修炼离线：（六）hive通过sqoop同步数据到mysql

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

超、凢脫俗/ 2024年03月02日 09:14/ 0 赞/ 60 阅读

相关修炼离线：（五）hbase映射表插入hive

一：创建hive表。 sql --drop table if exists ods.odsyyy; create table if not exi

约定不等于承诺〃/ 2024年03月02日 09:10/ 0 赞/ 51 阅读

相关修炼离线：（四）创建hbase映射表到hive

create database ods; -- drop table if exists ods.ods_yyy_hb; create externa

男娘i/ 2024年03月02日 03:33/ 0 赞/ 60 阅读

相关修炼离线：（二）sqoop插入hbase 脚本（增量）

一：mysql创建表，插入数据。二：hbase创建表。 habse shell create 'aa'(表名),'cf'(列族) 三：mysq

た入场券/ 2024年03月02日 03:26/ 0 赞/ 45 阅读

相关修炼离线：（三）sqoop插入hbase 报错权限问题

一：报错现象。 ![在这里插入图片描述][f6613ed71a4a452a8d1cc9d9c5c9c440.png] ![在这里插入图片描述][09b41b1e38f

男娘i/ 2024年03月02日 03:24/ 0 赞/ 17 阅读

相关 sqoop导入mysql重复_sqoop 增量导入，数据重复问题

根据自增ID导入数据时重复，可以使用下列方法 ![3e5476ad1c1f13085b16f28cc1213091.png][] 7.2.10. Incremental I

素颜马尾好姑娘i/ 2022年10月28日 12:26/ 0 赞/ 323 阅读

相关 Hive—Hbase—Sqoop—Mysql

1:创建Hive 和hBase 关系表 use order; CREATE TABLE tmp\_member\_info\_new\_mysql (me

桃扇骨/ 2022年08月05日 05:23/ 0 赞/ 166 阅读

相关 sqoop 根据时间增量导入

sqoop 根据时间增量导入 sqoop 的基本功能大家应该都知道，实现关系型数据库和非关系型数据库的数据转换；官网[ http://archive.c

布满荆棘的人生/ 2022年08月04日 12:42/ 0 赞/ 238 阅读

相关 sqoop增量导入常见问题

sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题。一业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现

骑猪看日落/ 2022年03月22日 13:55/ 0 赞/ 368 阅读