Shell + Datax 动态传递时间参数模式

朱雀 2023-10-10 16:06 13阅读 0赞

## Datax 数据同步模式 ##

![2d67ac6a9c034031a09f62b37e29c66e.png][]

### Shell 脚本实现Datax 数据同步四种模式 ###

#### Datax 数据全量同步模式 ####

此脚本省略...

#### Datax 数据实时增量（T+1）模式 ####

功能：实现前一天日期 00:00:00 至前一天日期 23:59:59 数据同步

#！/bin/bash
    # 切换至增量脚本文件存储目录位置
    cd /home/tools/datax/bin
    # 执行datax 增量脚本，传递时间范围 参数
    python datax.py ../job/incre_house.json -p "-Dstart_time='`date -d "1 days ago" +"%Y-%m-%d "` 00:00:00' -Dend_time='`date -d "1 days ago" +"%Y-%m-%d"` 23:59:59'"

#### Datax 数据实时增量（T+0）模式 ####

功能：实现当前日期：时:分：秒 减去执行周期时间（默认 ：1小时 ）至当前日期：时:分：秒 数据同步。

#！/bin/bash
    # 切换至增量脚本文件存储目录位置
    cd /home/tools/datax/bin
    # 执行datax 增量脚本，传递时间范围 参数
    python datax.py ../job/incre_house.json -p "-Dstart_time='`date -d "1 hour ago" +"%Y-%m-%d %H:%M:%S"`' -Dend_time='`date +"%Y-%m-%d %H:%M:%S"`'"

#### Datax 数据手工实时增量模式 ####

功能：实时动态传递数据同步开始时间和结束时间，实现数据同步功能

#！/bin/bash
    # 切换至增量脚本文件存储目录位置
    cd /home/tools/datax/bin
    # 执行datax 增量脚本，传递时间范围 参数
    python datax.py ../job/incre_house.json -p "-Dstart_time='`date -d "$1" +"%Y-%m-%d %H:%M:%S"`' -Dend_time='`date -d "$2" +"%Y-%m-%d %H:%M:%S"`'"

温馨提示：

> $1 = 数据同步开始时间  
> $2 = 数据同步结束时间  
> Shell功能关联：涉及Shell 字符串转 Date 函数，传递参数 需要使用 "括号。

操作实例：

./manual_house.sh "2022-12-21 12:00:00" "2022-12-21 18:00:00"

如果对Datax 还不是很了解，请参考:[Datax 使用详解][Datax]

[2d67ac6a9c034031a09f62b37e29c66e.png]: https://img-blog.csdnimg.cn/img_convert/2d67ac6a9c034031a09f62b37e29c66e.png
[Datax]: https://blog.csdn.net/zhouzhiwengang/article/details/128340242?spm=1001.2014.3001.5502