运行Sqoop的job省略输入MySQL密码

爱被打了一巴掌 2022-09-13 11:24 4阅读 0赞

1、创建job： ods\_inc\_test3

vim test001.sh
    
    sqoop job --create ods_inc_test3 -- import \
    --connect jdbc:mysql://localhost:3306/zhutest \
    --username root \
    --password root \
    --table origin_test1 \
    --incremental lastmodified \
    --check-column oper_time \
    --last-value "2019-09-24 17:31:07" \
    --merge-key id \
    --hive-import \
    --hive-table test_ods.ods_user1 \
    --hive-partition-key part_dt \
    --hive-partition-value `date +%F`

2、执行job

sqoop job --exec ods_inc_test3

3、创建密码文件，并且保存到HDFS上

echo -n "root" > sqoopPWD.pwd
    hdfs dfs -mkdir -p /sqoop/pwd
    hdfs dfs -put sqoopPWD.pwd /sqoop/pwd
    hdfs dfs -chmod 400 /sqoop/pwd/sqoopPWD.pwd

4、在Sqoop创建的脚本中加入参数

\**–password-file /sqoop/pwd/sqoopPWD.pwd \**

5、修改完成，重新测试

sqoop job --create ods_inc_test3 -- import \
    --connect jdbc:mysql://localhost:3306/zhutest \
    --username root \
    --password-file /sqoop/pwd/sqoopPWD.pwd \
    --table origin_test1 \
    --incremental lastmodified \
    --check-column oper_time \
    --last-value "2019-09-24 17:31:07" \
    --merge-key id \
    --hive-import \
    --hive-table test_ods.ods_user1 \
    --hive-partition-key part_dt \
    --hive-partition-value `date +%F`

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL输入密码闪退

mysql 用户无法用密码登录解决，不用密码可以直接登录看到第四个账号是空了吗？把空账号删掉就正常了。好久没用mysql命令忘了，你百度一下怎么删除mysql空账号

妖狐艹你老母/ 2023年09月25日 09:56/ 0 赞/ 131 阅读

相关 sqoop密码明文问题解决

sqoop密码明文问题解决今天优化数仓sqoop导入导出时的密码明文问题！参考博客：https://blog.csdn.net/u011489205/article/d

逃离我推掉我的手/ 2023年02月12日 14:24/ 0 赞/ 5 阅读

相关 sqoop mysql 安装_sqoop安装及使用

简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中；也可以把数据

傷城~/ 2023年01月12日 12:00/ 0 赞/ 262 阅读

相关运行Sqoop的job省略输入MySQL密码

1、创建job： ods\_inc\_test3 vim test001.sh sqoop job --create ods_inc_test3 -

爱被打了一巴掌/ 2022年09月13日 11:24/ 0 赞/ 5 阅读

相关 mysql 输入密码秒退

![Image 1][] 正常情况是这样的。如果出现，输入密码。回车秒退情况。去服务重启下mysql服务就可以了~！ ![Image 1][

快来打我*/ 2022年07月26日 06:19/ 0 赞/ 163 阅读

相关强制结束运行JOB

1. 首先确定要停止的JOB号在10g中可通过Dba\_Jobs\_Running进行确认。 SQL> SELECT\ FROM DBA\_JOBS\_RUN

「爱情、让人受尽委屈。」/ 2022年06月15日 23:26/ 0 赞/ 282 阅读

相关 Hadoop运行MapReduce Job

在Hadoop的share目录里，自带了一些jar包，里面带有一些mapreduce实例小例子，位置在share/hadoop/mapreduce/hadoop-mapredu

我就是我/ 2022年06月01日 11:08/ 0 赞/ 227 阅读

相关 MySQL输入密码闪退的解决办法

1 案例说明　　最近一直在用 MySQL 数据库演示基础功能，但是这两天忽然出现了一个问题，那就是：在启动 MySQL 服务端并输入密码后，出现闪退现象。　　之后，

客官°小女子只卖身不卖艺/ 2022年05月29日 03:11/ 0 赞/ 315 阅读

相关停正在运行的job

1.找出正在执行的JOB编号及其会话编号 SELECT SID,JOB FROM DBA\_JOBS\_RUNNING; 停止该JOB的执行 EXEC

向右看齐/ 2022年04月01日 14:40/ 0 赞/ 239 阅读

相关解决每次运行Xcode,都需要输入密码的问题

新买的Mac，在安装了 Xcode 7.1的时候，不知道是配置信息哪里手残了一下，导致每次运行Xcode模拟器后都需要输入一次密码。为此在网上也是查阅了不少的资料，当

小灰灰/ 2022年01月06日 00:49/ 0 赞/ 715 阅读