编译DataX

以你之姓@ 2022-10-20 01:17 19阅读 0赞

# 下载 DataX #

首先，访问 DataX 官网地址 [https://github.com/alibaba/DataX/][https_github.com_alibaba_DataX] 进行下载  
![在这里插入图片描述][20210712151134581.png]

# 编译 DataX #

下载后解压 DataX，在确保已经安装了maven之后，进入DataX目录，执行 `mvn -U clean package assembly:assembly -Dmaven.test.skip=true` 命令进行编译。

*  使用-U参数： 该参数能强制让Maven检查所有SNAPSHOT依赖更新，确保集成基于最新的状态，如果没有该参数，Maven默认以天为单位检查更新，而持续集成的频率应该比这高很多。
 *  clean： clean能够保证上一次构建的输出不会影响到本次构建。
 *  maven中有多种插件提供了打包功能，分别是maven-jar-plugin（用来打包成jar包），maven-war-plugin（打包成war包）、maven-assembly-plugin。
 *  最常用的打包命令有mvn clean package、mvn clean install、mvn clean deploy，这三个命令都可完成打jar包或war（当然也可以是其它形式的包）的功能，但这三个命令还是有区别的
    
    1.  package命令完成了项目编译、单元测试、打包功能，但没有把打好的可执行jar包（war包或其它形式的包）布署到本地maven仓库和远程maven私服仓库
    2.  install命令完成了项目编译、单元测试、打包功能，同时把打好的可执行jar包（war包或其它形式的包）布署到本地maven仓库，但没有布署到远程maven私服仓库
    3.  deploy命令完成了项目编译、单元测试、打包功能，同时把打好的可执行jar包（war包或其它形式的包）布署到本地maven仓库和远程maven私服仓库
 *  maven中有多种插件提供了打包功能，分别是maven-jar-plugin（用来打包成jar包），maven-war-plugin（打包成war包）、maven-assembly-plugin
 *  \-D 表示 Properties属性，而 -P 表示 Profiles配置文件
 *  在使用mvn package进行编译、打包时，Maven会执行src/test/java中的JUnit测试用例，有时为了跳过测试，会使用参数-DskipTests和-Dmaven.test.skip=true，这两个参数的主要区别是：
    
    1.  \-DskipTests，不执行测试用例，但编译测试用例类生成相应的class文件至target/test-classes下
    2.  \-Dmaven.test.skip=true，不执行测试用例，也不编译测试用例类

## java14以上的编译问题 ##

如果 java 版本是14以下，那么不会有问题。如果 java 版本跟我一样是 15，则会报如下错误  
![在这里插入图片描述][20210712150138204.png]  
由于在 Java15，Oracle新增了一个 java.lang.Record 类，因此如果这么导入 `import com.alibaba.datax.common.element.*;` 编译器无法判断，到底是引用 `com.alibaba.datax.common.element.Record`，还是引用 `java.lang.Record`，因此报错。

使用`find . -name *.java | xargs grep -F 'com.alibaba.datax.common.element.*'` 来查找有哪些引发混淆的文件。

*  find 命令用来指定文件类型，点号表示当前路径
 *  xargs是一个给其他命令传递参数的过滤器
 *  grep -F 表示查找文件中是否包含某个字符串，-F表示纯粹的字符串（默认使用正则表达式匹配）
 *  grep -l 可以只显示文件路径，不显示匹配到的内容

![在这里插入图片描述][20210712152532367.png]  
有两种方法进行替换

1.  使用vim逐个替换。例如`vim /home/chen/Documents/DataX-master/core/src/main/java/com/alibaba/datax/core/transport/transformer/FilterTransformer.java`，然后使用命令 `:%s#Record #com.alibaba.datax.common.element.Record #g`进行批量替换，为所有 Record 明确其引用的包名。替换完后，再输入 `:wq` 对修改进行保存并退出。这个方法少量文件还好，要是文件多的话，就十分麻烦了。
2.  使用sed命令批量处理，将 `Record` 替换为 `com.alibaba.datax.common.element.Record`

sed -i 's/Record /com.alibaba.datax.common.element.Record /g' `find . -name *.java | xargs grep -F 'com.alibaba.datax.common.element.*'`

![在这里插入图片描述][20210712180738646.png]手动处理下下面文件

/home/chen/Documents/DataX-master/odpsreader/src/main/java/com/alibaba/datax/plugin/reader/odpsreader/ReaderProxy.java
    /home/chen/Documents/DataX-master/streamreader/src/main/java/com/alibaba/datax/plugin/reader/streamreader/StreamReader.java
    /home/chen/Documents/DataX-master/mongodbwriter/src/main/java/com/alibaba/datax/plugin/writer/mongodbwriter/MongoDBWriter.java
    /home/chen/Documents/DataX-master/hbase11xsqlreader/src/main/java/com/alibaba/datax/plugin/reader/hbase11xsqlreader/HbaseSQLReaderTask.java
    /home/chen/Documents/DataX-master/hbase20xsqlreader/src/main/java/com/alibaba/datax/plugin/reader/hbase20xsqlreader/HBase20xSQLReaderTask.java

在vim中`:行号`可以直接跳转到指定行

## 某个库找不到的解决办法 ##

如果遇到某个包下载不到，使用浏览器进入 `https://public.nexus.pentaho.org/service/rest/repository/browse/omni/` 页面手动下载到 m2 的对应目录即可  
![在这里插入图片描述][20210712161755122.png]  
![在这里插入图片描述][20210712162004877.png]

## 找不到 oscarJDBC.jar ##

> \[ERROR\] Failed to execute goal on project oscarwriter: Could not resolve dependencies for project com.alibaba.datax:oscarwriter:jar:0.0.1-SNAPSHOT: Could not find artifact com.oscar:oscar:jar:7.0.8 at specified path /home/chen/Documents/DataX-master/oscarwriter/src/main/lib/oscarJDBC.jar -> \[Help 1\]

![在这里插入图片描述][20210712195955880.png]这个是阿里工程师的失误，网上也找不到这个包，因此进入pom.xml，注释该选项即可

## 编译成功 ##

![在这里插入图片描述][20210712201942186.png]  
编译好的文件都放在 target 目录下  
![在这里插入图片描述][20210713141240587.png]

[https_github.com_alibaba_DataX]: https://github.com/alibaba/DataX/
[20210712151134581.png]: /images/20221004/4b57cffc523b4685add2271df612da58.png
[20210712150138204.png]: /images/20221004/bec45290465041c5a7398e0c7e98b345.png
[20210712152532367.png]: /images/20221004/82e24c97ffcc401fb97980b1f91a8323.png
[20210712180738646.png]: /images/20221004/21bdb2b789a6475382b768cbc9297f97.png
[20210712161755122.png]: /images/20221004/3f3677f1e0804ba0bdd83b5967ff20d0.png
[20210712162004877.png]: /images/20221004/420c4d1c525c4c13b95011672504dcc5.png
[20210712195955880.png]: /images/20221004/6080f691443149ef9692cd05aedac4d0.png
[20210712201942186.png]: /images/20221004/644131604c38495cb01390cbfa7ff090.png
[20210713141240587.png]: /images/20221004/8da30c0b684a47369bcf8df610adf7bd.png