设置Hadoop+Hbase集群pid文件存储位置

落日映苍穹つ 2022-04-12 10:50 281阅读 0赞

\[size=large\] 有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？  
因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是 框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下  
  
如何配置避免把进程文件写到临时目录下面呢？  
  
一：Hadoop配置：  
  
（1）修改hadoop-env.sh  
修改如下，如果没有下面的设置，可以直接添加：  
  
export HADOOP\_PID\_DIR=/ROOT/server/pids\_hadoop\_hbase  
export HADOOP\_SECURE\_DN\_PID\_DIR=/ROOT/server/pids\_hadoop\_hbase  
  
上述配置，影响  
NameNode  
DataNode  
SecondaryNameNode  
进程pid存储  
  
  
（2）修改mapred-env.sh  
修改  
export HADOOP\_MAPRED\_PID\_DIR=/ROOT/server/pids\_hadoop\_hbase  
  
上述配置，影响  
JobHistoryServer  
进程pid存储  
  
（3）修改yarn-env.sh  
修改或者添加（不存在此项配置时），这里面我没有找到pid的环境设置变量，所以就直接添加了  
  
export YARN\_PID\_DIR=/ROOT/server/pids\_hadoop\_hbase  
  
上述配置，影响  
NodeManager  
ResourceManager  
进程pid存储  
  
  
二：Hbase的配置  
修改hbase-env.sh  
  
export HBASE\_PID\_DIR=/ROOT/server/pids\_hadoop\_hbase  
  
  
上述配置，影响  
HMaster  
HRegionServer  
  
进程pid存储  
  
  
再次启动集群，就会发现指定的pids\_hadoop\_hbase下有进程pid文件已经存储进来：  
\[/size\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4606/3f640ea1-b272-33cd-8bd2-d84813001a2d.png\[/img\]  
  
  
\[size=large\]  
  
如此以来，就安全多了，再次关闭集群时，不用再担心进程文件找不到，而导致只能暴力 kill 相关  
进程，这样做比较危险，一般情况不推荐这样做  
  
参考文章：  
http://blog.csdn.net/xiao\_jun\_0820/article/details/35222699  
\[/size\]  
\[b\]\[color=green\]\[size=large\]  
最后欢迎大家扫码关注微信公众号：我是攻城师(woshigcs)，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]