hive到mysql数据同步_datax实战-hive同步数据到mysql

淩亂°似流年 2023-01-12 04:24 252阅读 0赞

\{

"core": \{

"transport": \{

"channel": \{

"speed": \{

"record": "10000",

"byte": 1048576

\}

\}

\}

\},

"job": \{

"setting": \{

"speed": \{

"channel": 2,

"byte":1048576,

"record":10000

\}

\},

"content": \[\{

"reader": \{

"name": "hdfsreader",

"parameter": \{

"path": "/usr/hive/warehouse/reco\_train.db/\*\*\*\*\*/\*",

"defaultFS": "hdfs://HDFS\*\*\*\*\*/",

"column": \[\{

"index": 0,

"type": "string"

\},

\{

"index": 1,

"type": "string"

\},

\{

"index": 2,

"type": "string"

\},

\{

"index": 3,

"type": "string"

\}

\],

"fileType": "text",

"encoding": "UTF-8",

"fieldDelimiter": "\\u0001",

"hadoopConfig":\{

"dfs.nameservices": "HDFS\*\*\*\*\*",

"dfs.ha.namenodes.HDFS\*\*\*\*\*": "nn1,nn2",

"dfs.namenode.rpc-address.HDFS\*\*\*\*\*.nn1": "\*\*\*\*\*:4007",

"dfs.namenode.rpc-address.HDFS\*\*\*\*\*.nn2": "\*\*\*\*\*:4007",

"dfs.client.failover.proxy.provider.HDFS\*\*\*\*\*": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"

\}

\}

\},

"writer": \{

"name": "mysqlwriter",

"parameter": \{

"writeMode": "insert",

"username": "\*\*\*\*\*",

"password": "\*\*\*\*\*",

"column": \[

"sku",

"one\_category",

"two\_category",

"three\_category"

\],

"session": \[

"set session sql\_mode='ANSI'"

\],

"preSql": \[

"DELETE FROM \*\*\*\*\*"

\],

"connection": \[\{

"jdbcUrl": "jdbc:mysql://\*\*\*\*\*:3306/databasesName?useUnicode=true&characterEncoding=UTF-8",

"table": \[

"\*\*\*\*\*"

\]

\}\]

\}

\}

\}\]

\}

\}

发表评论取消回复

表情：

评论列表（有 0 条评论，252人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据NiFi（二十）：实时同步MySQL数据到Hive

![dddacac5db0b42bea4469c2db385f0a8.jpeg][] 文章目录实时同步MySQL数据到Hive 一、开启MySQL的binlog日志

落日映苍穹つ/ 2024年03月26日 14:31/ 0 赞/ 85 阅读

相关大数据DataX（五）：Hive导入到MySQL

![e333a41b7739417ba066330aaaa9d3f5.jpeg][] 文章目录 Hive导入到MySQL 一、HdfsReader插件 [e333a4

淩亂°似流年/ 2024年03月26日 10:32/ 0 赞/ 91 阅读

相关大数据DataX（四）：MySQL导入到Hive

![bddf64de0d66429da1c5ebd5cb7e0736.jpeg][] 文章目录 MySQL导入到Hive 一、MysqlReader插件 [bddf6

向右看齐/ 2024年03月26日 10:30/ 0 赞/ 80 阅读

相关 DataX(MySQL同步数据到Doris)

1.场景这里演示介绍的使用 Doris 的 Datax 扩展 DorisWriter实现从Mysql数据定时抽取数据导入到Doris数仓表里 2.编译 Do

太过爱你忘了你带给我的痛/ 2024年03月08日 08:27/ 0 赞/ 101 阅读

相关修炼离线：（七）sqoop同步MySQL数据到hive

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

约定不等于承诺〃/ 2024年03月02日 09:15/ 0 赞/ 59 阅读

相关 DataX实现mysql全量数据同步到hdfs

目录一：什么是DataX 1.1 DataX的概述： 1.2 DataX的设计： 1.3 支持的数据库 1.4 框架设计： 1.5 运行原理： 1.6

朴灿烈づ我的快乐病毒、/ 2023年09月24日 13:51/ 0 赞/ 65 阅读

相关 hive到mysql数据同步_datax实战-hive同步数据到mysql

\{ "core": \{ "transport": \{ "channel": \{ "speed": \{ "record": "10000", "byte":

淩亂°似流年/ 2023年01月12日 04:24/ 0 赞/ 253 阅读

相关 datax 持续数据同步_DataX Mongodb同步数据到Hive与mysql

前言： -------------------- 最近比较清闲，又是学习的一天，今天来和大家分享一下阿里的离线数据同步神器——DataX3.0。目前来说，虽然DataX

忘是亡心i/ 2023年01月03日 04:49/ 0 赞/ 543 阅读

相关使用Datax同步mysql,oracle,sqlserver数据到Hbase

文章目录 1，Datax下载使用下载二进制包使用 2，关系型数据库，导入到Hbase a，配置参考 b，具体json参

喜欢ヅ旅行/ 2022年11月26日 08:54/ 0 赞/ 706 阅读

相关 MySQL数据实时同步到Hive的架构与实践

背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据

淩亂°似流年/ 2022年11月02日 11:42/ 0 赞/ 339 阅读