strom部署问题

痛定思痛。 2021-11-02 10:56 389阅读 0赞

1.storm 引用的 kafka和线上的kafka版本不一致

2.bolt的prepare初始化elasticsearch连接慢，导致第一次处理数据是总是有问题  
storm调用prepare方法是异步调用，不会等待所有的bolt中的prepare都完成。在处理第一条数据时等待一段时间，

3.时间窗口长度设置，默认情况下时间窗口的时间长度不能超过消息超时时间。否则会出现异常：Window duration (length + sliding interval) value 32000 is more than topology.message.timeout.secs value 10000  
设置消息超时时间 topology.message.timeout.secs

4.storm消费kafka的偏移量无法保存，提示：Error:KeeperErrorCode = NoNode for /storm\_kafka/consumers\_sdk\_start  
需要配置spoutConfig.zkServers 和 spoutConfig.zkPort 指定偏移量存储的zookeeper服务器

5.kafka客户端与kafka版本不一致问题，运行topology是出现：java.nio.BufferUnderflowException

6.ERROR o.a.s.util - Async loop died! java.lang.RuntimeException: java.nio.channels.ClosedChannelException  
去某个partitions中取数据的时候，storm不能访问当前partitions的broker。  
是telnet端口，或者ping当天borker不通造成。可能是没有开通权限或者没有配置ip和host的映射

打断点调试org.apache.storm.kafka.ZkCoordinator.refresh的方法，发现newpartitions里面有个存储的是hostname:9092

![595678-20190716230804951-730304656.png][]

转载于:https://www.cnblogs.com/gavinYang/p/11198183.html

[595678-20190716230804951-730304656.png]: /images/20211101/3bfbaaf484114c0689e37d1bd1d3b21a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，389人围观）

还没有评论，来说两句吧...

相关阅读

相关 Strom-实时流计算框架

所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络

缺乏、安全感/ 2022年12月23日 06:27/ 0 赞/ 157 阅读

相关 Strom-实时流计算框架

所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络

我会带着你远行/ 2022年11月20日 01:47/ 0 赞/ 259 阅读

相关 PHP-STROM ---Live Templates设置技巧

一个很实用的phpstrom 快捷输入技巧。举个例子：比如你在写data\['descrition'\] data\['name'\]

矫情吗；*/ 2022年07月12日 06:26/ 0 赞/ 214 阅读

相关 PHP-STROM ---Live Templates设置技巧

一个很实用的phpstrom 快捷输入技巧。举个例子：比如你在写data\['descrition'\] data\['name'\]

梦里梦外;/ 2022年07月12日 06:26/ 0 赞/ 126 阅读

相关 Strom官网信息

![A Topology with its components][] Strom官网首页： [http://storm.apache.org/index.h

青旅半醒/ 2022年06月08日 04:51/ 0 赞/ 317 阅读

相关 strom环境搭建

一、storm概念 1 元组（tuple）元组是Storm中消息传输的基本单元，是一个命名的值列表（List）。元组支持所有基本类型、字符串、字节数组作为字段的值，

Bertha 。/ 2022年05月15日 12:40/ 0 赞/ 194 阅读

相关 14.3 Strom测试代码

![70][] StromTest ： package com.yuntian.test; import backtype.storm.Config; impor

忘是亡心i/ 2022年05月14日 11:24/ 0 赞/ 169 阅读

相关 strom-kafka简单整合

官方文档：[http://storm.apache.org/releases/1.2.2/storm-kafka-client.html][http_storm.apache.

青旅半醒/ 2022年03月31日 13:56/ 0 赞/ 244 阅读

相关 strom部署问题

1.storm 引用的 kafka和线上的kafka版本不一致 2.bolt的prepare初始化elasticsearch连接慢，导致第一次处理数据是总是有问题 sto

痛定思痛。/ 2021年11月02日 10:56/ 0 赞/ 390 阅读

相关 Strom优化指南

摘要：本文主要讲了笔者使用Strom中的一些优化建议 1、使用rebalance命令动态调整并发度 Storm计算以topology为单位，topolo

待我称王封你为后i/ 2021年09月12日 03:24/ 0 赞/ 411 阅读