Storm问题集

超、凢脫俗 2022-06-17 01:06 235阅读 0赞

**一、storm重复消费kafka中的数据**

Storm未启用安全模式，因此当kafka中没有新数据时，会默认重复消费已有的数据。此时只需要bolt继承的BaseRichBolt改为BaseBasicBolt即可。

**二、storm提交Topology出现如下错误：**“Caused by: java.lang.RuntimeException: java.io.IOException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar.   
\[jar:file:/usr/local/storm/lib/storm-core-0.10.0.jar!/defaults.yaml, jar:file:/usr/local/storm/bin/jstorm-0.0.2.jar!/defaults.yaml\]”

原因：jvm执行中发现多个defaults.yaml 。

解决办法：先把pom中storm-core改为 <scope>provided</scope>，并且在打包的时候去除storm-core依赖。

<dependency>
             <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.0.2</version>
            <scope>provided</scope>
     </dependency>

**三、启动storm集群**

（1）启动supervisor节点

./storm supervisor &

（2）启动 nimbus节点

./storm nimbus &

**四、提交storm任务**

提交任务： ./storm jar bid.jar cn.sysu.metric.bid.BidTest 192.168.11.91

*  bid.jar：提交的jar包
 *  cn.sysu.metric.bid.BidTest：执行的主类
 *  192.168.11.91： nimbus的ip地址

发表评论取消回复

表情：

评论列表（有 0 条评论，235人围观）

还没有评论，来说两句吧...

相关阅读

相关 Storm的WordCount在Storm集群上运行

前提：运行在storm集群里的log日志不会打印在屏幕上，因此需要写一个OSUtil类进行nc -lk 8888端口的socket打印！！！ OSUtil.jav

爱被打了一巴掌/ 2022年12月27日 14:25/ 0 赞/ 251 阅读

相关 Storm集群部署

1. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： ·

迷南。/ 2022年08月06日 01:14/ 0 赞/ 285 阅读

相关 Storm问题集

一、storm重复消费kafka中的数据 Storm未启用安全模式，因此当kafka中没有新数据时，会默认重复消费已有的数据。此时只需要bolt继承的BaseRich

超、凢脫俗/ 2022年06月17日 01:06/ 0 赞/ 236 阅读

相关 storm集群安装步骤

> 一、环境准备 1. storm官方地址[：http://storm.apache.org/index.html][http_storm.apache.org_index

不念不忘少年蓝@/ 2022年06月08日 06:47/ 0 赞/ 300 阅读

相关 Apache Storm集群架构

Apache Storm的主要亮点是，它是一个容错，快速，没有“单点故障”（SPOF）分布式应用程序。我们可以根据需要在多个系统中安装Apache Storm，以增加应用程序的

悠悠/ 2022年06月04日 06:56/ 0 赞/ 219 阅读

相关 storm_伪集群安装

创建linux虚拟机，用户名密码都为gary，ip为192.168.32.131。关闭防火墙： service iptables stop chkconfig ipta

柔光的暖阳◎/ 2022年04月11日 13:22/ 0 赞/ 322 阅读

相关 Storm集群搭建

一、安装前准备 jdk-6u32-linux-x64.bin (jdk-1.6.x即可) zookeeper-3.4.5.tar.gz zeromq-2.1.

我会带着你远行/ 2022年03月29日 14:25/ 0 赞/ 301 阅读

相关 Storm集群安装详解

storm有两种操作模式: 本地模式和远程模式。本地模式：你可以在你的本地机器上开发测试你的topology，一切都在你的本地机器上模拟出来; 远端模式：你提交的to

ゞ浴缸里的玫瑰/ 2022年01月13日 07:37/ 0 赞/ 342 阅读

相关 storm笔记：storm集群

[storm笔记：storm集群][storm_storm] Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过

小灰灰/ 2021年09月25日 19:08/ 0 赞/ 562 阅读

相关 storm集群部署

1、安装部署zookeeper集群：详情见：http://blog.csdn.net/liuxiao723846/article/details/78035189 假设z

阳光穿透心脏的1/2处/ 2021年09月14日 05:52/ 0 赞/ 542 阅读