Streamsets使用过程中遇到的问题及解决办法

以你之姓@ 2021-09-28 18:10 1253阅读 0赞

### 1、streamsets添加外部jar包时报错 ###

界面上加载不出来stageLibrary，后台日志报错：

java.net.UnknownHostException: archives.streamsets.com

网上找的类似的问题，但没有给出解决办法：https://issues.streamsets.com/browse/SDC-10236?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel

我这边仔细排查日志，发现有如下信息：

INFO  ClassLoaderStageLibraryTask - Reading from Repository Manifest URL:
     http://archives.streamsets.com/datacollector/3.7.1/tarball/repository.manifest.json

解决办法：

把链接复制到浏览器是可以访问的，在主机上用curl命令却半天出不来结果，ping这个主机名也反应一会，但还是ping通了，最后配置了主机名和ip 的映射，解决了问题。

### 2、StreamSets日志报错 ###

2019-04-29 14:34:01,070 [user:*?] [pipeline:-] [runner:] [thread:runner-pool-2-thread-38] [stage:] ERROR SupportBundleManager - Support bundle upload failed:
    com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-west-2.amazonaws.com
            。。。
    Caused by: java.net.UnknownHostException: s3.us-west-2.amazonaws.com
            at java.net.InetAddress.getAllByName0(InetAddress.java:1280)
    。。。

注：该错误不影响StreamSets流程执行

解决办法：

报错是由于streamsets部署内网，访问不了这个主机 s3.us-west-2.amazonaws.com，可以通过修改配置解决

1、修改配置文件  
sdc.properties

Uncomment if you need to disable the facility for automatic support bundle upload.
    bundle.upload.enabled=false

配置之后应该会报如下错误，其实也不影响任务正常运行，不想看到的话可以通过2中的方法解决：

java.io.IOException: Uploading support bundles was disabled by administrator.

[https://ask.streamsets.com/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/][https_ask.streamsets.com_question_649_how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc]  
2、修改日志配置文件,或者在界面上改：配置 / Logs / Log Config  
sdc-log4j.properties

log4j.logger.com.streamsets.datacollector.bundles.SupportBundleManager=INFO

### 3、StreamSets推送Directory目录下数据到Kafka报错 ###

![20190528104833557.png][]

解决办法：

修改Directory组件的Buffer Limit，默认为128M，修改大小根据文件的大小程度决定。

### 4、汉化streamsets之后，不支持中文组件名称 ###

解决办法：

由之前的正则\[0-9A-Za-z\_\\\\s\]+修改为 ^\[\\u4e00-\\u9fa5\_a-zA-Z0-9\]+$，这个正则支持中文，数字，下划线，字母

支持空格、-、\_的正则正确写法为：^\[\\u4e00-\\u9fa5\_a-zA-Z0-9\\\\s-\_\]+$

在修改时注意项目引用的api的JAR与streamsets-datacollector-api的版本问题

[https_ask.streamsets.com_question_649_how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc]: https://ask.streamsets.com/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/
[20190528104833557.png]: /images/20210923/791ac86d6ef5400c88b3b4d59a66d8ab.png