storm高可用及容错性初级

川长思鸟来 2022-05-23 05:15 195阅读 0赞

在大数据处理框架中，高可用或者说容错性是很重要的。

1、[进程级别容错][Link 1]

1）worker挂掉，supervisor会重启它。如果它一直重启失败导致无法发送心跳给nimbus，nimbus就会把它分配到别的机器上

面

2）如果一个机器挂掉了

A、如果上面运行的是worker或者task：nimbus无法接收到worker或者说是task心跳。worker会把他们重新分配到别的机器上

B、如果上面运行的是nimbus或者supervisor：他们是无状态的（所有的状态保存在zookeeper或者磁盘上面），可以自己重启就像没有发生什么事情一样。worker的运行和supervisor没关系，所以对worker没有影响。

3）nimbus和work同时挂掉，如果nimbus没有做高可用，worker就会丢失。在1.0.0之后nimbus支持高可用了

ps：spf就是single point of failure，单点故障

2、ack和fail机制[保证消息被处理][Link 2]

请看spout接口

public interface ISpout extends Serializable {
        void open(Map conf, TopologyContext context, SpoutOutputCollector collector);
        void close();
        void nextTuple();
        void ack(Object msgId);
        void fail(Object msgId);
    }

msgId消息唯一id，在数据库中可以为主键

1）bolt中消息发送成功使用ack；

2）bolt中消息处理失败发送fail。实际使用的时候，需要使用try catch，把fail发送放在catch块里面，把ack发送放在try块的最后

在spout的fail方法里面，需要重新发送消息。

[Link 1]: http://storm.apache.org/releases/1.1.2/Daemon-Fault-Tolerance.html
[Link 2]: http://storm.apache.org/releases/1.1.2/Guaranteeing-message-processing.html

发表评论取消回复

表情：

评论列表（有 0 条评论，195人围观）

还没有评论，来说两句吧...

相关阅读

相关 Storm 的容错

Storm 的容错分为如下几种类型。（1）工作进程worker 失效：如果一个节点的工作进程worker“死掉”，supervisor 进程会尝试重启该worker。如果连

╰+攻爆jí腚メ/ 2023年07月24日 14:42/ 0 赞/ 3 阅读

相关容错，高可用和灾备

容错容错（fault tolerance）指的是，发生故障时，系统还能继续运行。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5n

深碍√TFBOYSˉ_/ 2023年06月22日 04:29/ 0 赞/ 110 阅读

相关 Kafka容错性测试

1. 查看`topic`信息(“副本”是为该分区复制日志的节点列表，无论它们是引导者还是当前处于活动状态，“ isr”是“同步”副本的集合。这是副本列表的子集，当前仍处于活动状

青旅半醒/ 2023年06月14日 04:10/ 0 赞/ 10 阅读

相关 Hadoop系列之HDFS 高可用与容错(14)

HDFS 高可用与容错 ![HDFS高可用配置][HDFS] HDFS 是一个分布式文件系统，它会给文件创建副本并把副本分发到集群的节点上，因此，在读取数据的时候可以从

快来打我*/ 2023年01月10日 14:44/ 0 赞/ 162 阅读

相关 Storm容错机制Acker

目录（1）基于tuple树的Acker详解（2）如何开启或者关闭Acker （1）如何开启Acker

迷南。/ 2022年12月31日 15:26/ 0 赞/ 193 阅读

相关高并发、高可用及分布式总结

1、高并发请求处理，流量削峰措施有哪些? java 高并发大流量情况下遇到的问题及解决方案 [参考文章][Link 1] 2、TPS和QPS的区别？ [参考][L

ゝ一世哀愁。/ 2022年11月12日 04:25/ 0 赞/ 198 阅读

相关 Storm（四）：容错机制

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点)，在集群下，怎么保证拓扑的可靠性，st

红太狼/ 2022年06月14日 05:22/ 0 赞/ 195 阅读

相关 storm高可用及容错性初级

在大数据处理框架中，高可用或者说容错性是很重要的。 1、[进程级别容错][Link 1] 1）worker挂掉，supervisor会重启它。如果它一直重启失败导致无法发送

川长思鸟来/ 2022年05月23日 05:15/ 0 赞/ 196 阅读

相关 Hbase1.1.2高可用配置Hmaster容错

\[size=medium\] Hbase的Hmaster配置HA相比Hadoop的NameNode和ResourceManager的HA来说，比较简单，几乎不用配置什么：

浅浅的花香味﹌/ 2022年04月12日 11:22/ 0 赞/ 274 阅读

相关 Redis高可用部署及监控

Redis高可用部署及监控 ![此博文包含图片][sg_trans.gif] (2013-11-15 15:25:53) <table style="margin:

男娘i/ 2021年09月10日 10:40/ 0 赞/ 431 阅读