flink HA高可用Standalone集群搭建

古城微笑少年丶 2023-10-06 12:22 31阅读 0赞

`flink 1.9.2`版本搭建的HA JM存在bug：  
明明在`node01, node02`两个节点上都有JM，但是孰是`activing`，孰是`standby`状态无法区分。`Spark`是有明确的状态显示的。

## 单独启动JM或TM ##

分别单独执行`jobmanager.sh taskmanager.sh`即可：  
![在这里插入图片描述][20200704171002665.png]

## 集群角色划分说明 ##

![在这里插入图片描述][20200704171148467.png]

## 高可用实现步骤 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][2020070417145711.png]  
`HDFS`用于保存JM的元数据信息，flink最擅长的是进行有状态的计算，因此也就需要对大量数据进行存储：  
![在这里插入图片描述][20200704171754404.png]

![在这里插入图片描述][20200704171819544.png]  
`vim masters`：  
将所有的JM都加进来：  
![在这里插入图片描述][20200704171900368.png]  
要将修改后的配置文件同步到其他节点：  
![在这里插入图片描述][20200704172621343.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 2]

## 启动HA集群 ##

要先启动HDFS和zk。

要想将`flink`数据保存到`hdfs`，必须先下载这个插件：并将其放到`flink`的`lib`目录下。每个节点都要放。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][20200704172312325.png]

### 启动 ###

![在这里插入图片描述][20200704172840319.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 5]

[20200704171002665.png]: https://img-blog.csdnimg.cn/20200704171002665.png
[20200704171148467.png]: https://img-blog.csdnimg.cn/20200704171148467.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020070417125814.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200704171311362.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk=,size_16,color_FFFFFF,t_70
[2020070417145711.png]: https://img-blog.csdnimg.cn/2020070417145711.png
[20200704171754404.png]: https://img-blog.csdnimg.cn/20200704171754404.png
[20200704171819544.png]: https://img-blog.csdnimg.cn/20200704171819544.png
[20200704171900368.png]: https://img-blog.csdnimg.cn/20200704171900368.png
[20200704172621343.png]: https://img-blog.csdnimg.cn/20200704172621343.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200704172728756.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200704172115614.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk=,size_16,color_FFFFFF,t_70
[20200704172312325.png]: https://img-blog.csdnimg.cn/20200704172312325.png
[20200704172840319.png]: https://img-blog.csdnimg.cn/20200704172840319.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200704172941762.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200704173015781.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIzMDQ0MTk=,size_16,color_FFFFFF,t_70