CDH意外断电故障，全部进程process information unavailable

绝地灬酷狼 2021-09-23 07:12 560阅读 0赞

断网后CM进不了，jps查看发现全部 process information unavailable 状态。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70][]

ps -ef | grep  18785

发现进程不存在，说明真的是进程已经挂了。

![20190908160357330.png][]

** 解决办法**

防止有假死进程，最好把process information unavailable都检查一下，细心总是没错的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 1][]

确定都挂的，进入tmp下，可以看到一堆 hsperfdata\_\* 的目录。

因为 CDH 是在 root 用户下安装，所以不用切换用户直接删除即可。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 2][]

rm -rf hsperfdata_*

再查看 process information unavailable 已经全部消失。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 3][]

重启所有cm-agent，最后重启cm-server。

systemctl start cloudera-scm-agent
    systemctl start cloudera-scm-server

监听日志发现连接不上

tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.log
    tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log

agent 报错

> error: \[Errno 111\] Connection refused

server报错

> Communications link failure

这里根据日志可以判断是MySQL的连接问题。检查了下发现大概是长时间没操作MySQL导致权限问题，默认8小时。

给MySQL配置文件 /etc/my.cnf 的 \[mysqld\] 下修改断开等待时间长

wait_timeout=2147483 
    interactive_timeout=2147483

重启MySQL。

systemctl restart mysqld

问题解决。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70]: /images/20210923/9b2c7dc280d246bcb5934c42494a47ed.png
[20190908160357330.png]: /images/20210923/4091e9fc8a694d3ea913eabfaa269971.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 1]: /images/20210923/6a9a20c94d04499a8e718e4ac7f32773.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 2]: /images/20210923/f5c009e26e744fa8b37c682b73065509.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 3]: /images/20210923/128a8d4fbc7e4831a3744c59cd876d93.png