Flume、Kafka、Slipstream对接

我不是女神ヾ 2021-09-18 00:30 461阅读 0赞

在启动Slipstream之前首先去到8180监控界面，查看Slipstream的server在node2节点上，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

Slipstream和Inceptor的server不在一个节点上，只能共同使用同一个源数据库，相关操作只能在Slipstream的引擎中操作。

安全模式下，一个Stream要成功读取/写入一个topic中的消息必须满足两个条件：

（1）每个运行Executor的服务器上都必须有建stream用户的keytab。

首先需要下载keytab:8180监控界面à管理àGuardianà角色àGuardian ServeràLinkà登录到8380界面（也可在浏览器中直接输入地址跳转）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

登录到8380界面之后，点击“租户”à选择kafkaà点击“下载keytab”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

将下载后的keytab重命名为kafka.keytab并将其上传到node1的/etc/slipstream1/conf目录下，使用如下命令分发到其余各个节点：

scp -r /etc/slipstream1/conf/kafka.keytab node2: /etc/slipstream1/conf/

（2）建Stream的用户有该topic的读/写权限（SreamJob落地的表格式如果为hyperdrive表，因为创建Stream的用户是hive，所以也要确保hive用户在hbase中的权限）。

**1、进入Slipstream**

使用如下命令进入Slipstream：

beeline -u 'jdbc:hive2://node2:10010/default' -n hive -p password

如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

**2、Flume、Kafka、Slipstream对接**

在[《Flume抽取Oracle中的数据到Kafka》][Flume_Oracle_Kafka]中，Flume已经成功对接Kafka。这里只需要将Kafka和Slipstream对接即可。

2.1 建流

使用如下的语句建立一个流：

CREATE STREAM aaa (id STRING, letter STRING)
    
      ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
    
      TBLPROPERTIES("topic"="yxy",
    
      "kafka.zookeeper"="node3:2181,node2:2181,node1:2181",
    
      "kafka.broker.list"="node3:9092,node2:9092,node1:9092",
    
      "transwarp.consumer.security.protocol"="SASL_PLAINTEXT",
    
      "transwarp.consumer.sasl.mechanism"="GSSAPI",
    
      "transwarp.consumer.sasl.kerberos.service.name"="kafka",
    
      "transwarp.consumer.sasl.jaas.config"="com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true storeKey=true keyTab=\"/etc/slipstream1/conf/kafka.keytab\" principal=\"kafka@TDH\""
    
      );

在TBLPROPERTIES中可以指定Kafka的topic等相关设置。执行show streams;可以查看已经建立的流。

![20190201154720868.png][]

2.2 建立与流相对应的表

此处需要注意的是表的字段及类型必须与流的一致，如下：

CREATE TABLE bbb (id STRING, letter STRING);

使用show tables;命令可以查看所创建的所有流和表。

![20190201154720871.png][]

2.3 触发流

Flume从Oracle数据库中抽取的数据经过Kafka到达Slipstream中，要想使用Slipstream中的数据需将数据插入到表中。使用如下的命令触发流，使流中的数据实时的导入到Inceptor表中。

INSERT INTO bbb SELECT * FROM aaa;

可以到4044界面查看，触发流操作是否成功。如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5][]

2.4 测试Flume、Kafka、Slipstream的对接

向Oracle对应表中插入几条数据，查看Inceptor对应表中是否接收到数据：

![20190201154721142.png][]

至此，说明三者对接成功。

**3、停止StreamJob**

使用如下命令列出正在运行的StreamJob：

LIST STREAMJOBS;

使用如下命令停止一个StreamJob：

STOP STREAMJOB streamid;

如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/6edf7c817dd64cdca95490a68073f797.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/bc0efe9b336145a885b6fa85dd7e2474.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/c80b1cf4a7c84e8c917b93868d90a3ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/e79697c2965c48c18464cacb7ebdbe71.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/b3ab4bbbb14e46aebb44e73247cb9729.png
[Flume_Oracle_Kafka]: https://blog.csdn.net/gdkyxy2013/article/details/86646781
[20190201154720868.png]: /images/20210726/5fc4024c74b64499b6a5b1590680cfc8.png
[20190201154720871.png]: /images/20210726/78b9a22451874ac698edcddf2276c14d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5]: /images/20210726/715935cd21954f6f8ec341fd859c894b.png
[20190201154721142.png]: /images/20210726/8e88418b8dae409ea752b8b0a52da8e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6]: /images/20210726/0a4595ee9a3642ba936fadeda51032e6.png