Storm常见问题及解决方案总结
Storm 是一个开源的、大数据处理系统，与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点进行处理。当处理完成时，结果数据返回到 HDFS 供始发者使用。Storm 支持创建拓扑结构来转换没有终点的数据流。不同于 Hadoop 作业，这些转换从不停止，它们会持续处理到达的数据。
1、storm集群配置JDK环境变量问题
问题分析：在linux系统下配置JDK后一般修改/etc/profile值进行环境变量配置，但是安装storm集群时会出现问题
问题解决：需要在/etc/.bashrc文件中也加入环境变量不然安装的JDK无法使用。
2、supervisor相关问题
1)安装后supervisor名称相同并且启动报错问题
问题分析：supervisor.cji中有行代码如下：
|
1
|
|
此代码是在启动supervisor时会找本机的hostname。
问题解决：修改每天机器的hostname与其相对应即可。
2)启动Supervisor 时，出现java.lang.UnsatisfiedLinkError异常
具体错误信息如下：
|
1
2
3
|
启动Supervisor 时，出现java.lang.UnsatisfiedLinkError:
/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object
file: No such file or directory 异常。
|
问题分析：未找到zmq 动态链接库。
问题解决1：配置环境变量 export LD_LIBRARY_PATH=/usr/local/lib
问题解决2：编辑/etc/ld.so.conf 文件，增加一行：/usr/local/lib，再次执行即可
使用sudo ldconfig 命令，重启Supervisor
3、发布topologies时，序列化log4j.Logger异常
问题分析：日志系统无法正确正确处理序列化操作
问题解决：使用slf4j替换log4j日志jar包处理
4、提交topology时出现如下异常：
|
1
2
3
4
5
6
|
Exception in thread "main" java.lang.IllegalArgumentException: xxx host is not set
at backtype.storm.utils.NimbusClient.(NimbusClient.java:30)
at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17)
at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78)
at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71)
at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)
|
问题分析：启动nimbus没有问题，异常原因是conf_dir路径设置错误
问题解决：修改bin/storm脚本，增加如下代码：
|
1
|
CONF_DIR = STORM_DIR + "/conf"
|
5、在使用storm0.7一下版本时，时间长会出现outofmenmory
问题分析：低于storm0.7版本的没触发一个tuple会创建一个hashmap存储该tuple所在的消息树结构，长时间会给gc造成巨大的压力导致出现outofmemory
问题解决：升级storm版本即可解决问题。
6、storm连接mysql数据库报异常
|
1
|
message from server:"Host FILTER" is not allowed to connect to this MySQL server
|
问题分析：可能是没有给其IP访问Mysql数据库权限导致
问题解决：登录mysql数据库，执行如下命令：
|
1
|
grant all on *.* to root@'%' identified by "123456";
|
此操作是给任意IP地址赋予访问权限（命令中*.*是通配任何IP，可指定IP 用户名：root 密码：123456）
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下，CDA 数据分析师认证愈发受到瞩目，成为众多有志投身数 ...
2025-07-18刚入职场或是在职场正面临岗位替代、技能更新、人机协作等焦虑的打工人，想要找到一条破解职场焦虑和升职瓶颈的系统化学习提升 ...
2025-07-182025被称为“AI元年”，而AI，与数据密不可分。网易公司创始人丁磊在《AI思维：从数据中创造价值的炼金术 ...
2025-07-18CDA 数据分析师：数据时代的价值挖掘者 在大数据席卷全球的今天，数据已成为企业核心竞争力的重要组成部分。从海量数据中提取有 ...
2025-07-18SPSS 赋值后数据不显示？原因排查与解决指南 在 SPSS（ Statistical Package for the Social Sciences）数据分析过程中，变量 ...
2025-07-18在 DBeaver 中利用 MySQL 实现表数据同步操作指南 在数据库管理工作中，将一张表的数据同步到另一张表是常见需求，这有助于 ...
2025-07-18数据分析师的技能图谱：从数据到价值的桥梁 在数据驱动决策的时代，数据分析师如同 “数据翻译官”，将冰冷的数字转化为清晰的 ...
2025-07-17Pandas 写入指定行数据：数据精细化管理的核心技能 在数据处理的日常工作中，我们常常需要面对这样的场景：在庞大的数据集里精 ...
2025-07-17解码 CDA：数据时代的通行证 在数字化浪潮席卷全球的今天，当企业决策者盯着屏幕上跳动的数据曲线寻找增长密码，当科研人员在 ...
2025-07-17CDA 精益业务数据分析：数据驱动业务增长的实战方法论 在企业数字化转型的浪潮中，“数据分析” 已从 “加分项” 成为 “必修课 ...
2025-07-16MySQL 中 ADD KEY 与 ADD INDEX 详解：用法、差异与优化实践 在 MySQL 数据库表结构设计中，索引是提升查询性能的核心手段。无论 ...
2025-07-16解析 MySQL Update 语句中 “query end” 状态：含义、成因与优化指南 在 MySQL 数据库的日常运维与开发中，开发者和 DBA 常会 ...
2025-07-16如何考取数据分析师证书：以 CDA 为例 在数字化浪潮席卷各行各业的当下，数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析：驱动企业高效决策的核心引擎 在数字经济时代，企业面临着前所未有的数据洪流，如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战：数据整合的灵活之道 在 MySQL 数据库的日常操作中，我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15Python Pandas：数据科学的瑞士军刀 在数据驱动的时代，面对海量、复杂的数据，如何高效地进行处理、分析和挖掘成为关键。 ...
2025-07-15用 SQL 生成逆向回滚 SQL：数据操作的 “后悔药” 指南 在数据库操作中，误删数据、错改字段或误执行批量更新等问题时有发生。 ...
2025-07-14t检验与Wilcoxon检验的选择：何时用t.test，何时用wilcox.test？ t 检验与 Wilcoxon 检验的选择：何时用 t.test，何时用 wilcox. ...
2025-07-14AI 浪潮下的生存与进阶: CDA数据分析师—开启新时代职业生涯的钥匙（深度研究报告、发展指导白皮书） 发布机构：CDA数据科 ...
2025-07-13LSTM 模型输入长度选择技巧：提升序列建模效能的关键 在循环神经网络（RNN）家族中，长短期记忆网络（LSTM）凭借其解决长序列 ...
2025-07-11
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
