使用process_monitor.sh监控hadoop进程的crontab配置

曾经终败给现在 2022-06-16 22:12 152阅读 0赞

使用process\_monitor.sh监控hadoop进程的crontab配置  
   
可以从下列链接找到process\_monitor.sh：  
https://github.com/eyjian/mooon/blob/master/common\_library/shell/process\_monitor.sh  
  
  
\---------------------------------------------------------脚本内容--------------------------------------------------------  
\#!/bin/sh  
\# https://github.com/eyjian/mooon/blob/master/common\_library/shell/process\_monitor.sh  
\# Created by yijian on 2012/7/23  
\#  
\# 运行日志：/tmp/process\_monitor.log，由于多进程同时写，不一定完整，仅供参考。  
\# 请放到crontab中运行，如（注意要以后台方式运行，因为脚本是常驻不退出的）：  
\# \* \* \* \* \* /usr/local/bin/process\_monitor.sh /usr/sbin/rinetd /usr/sbin/rinetd > /dev/null 2>&1 &  
\#  
\# 进程监控脚本，当指定进程不存在时，执行重启脚本将它拉起  
\# 特色：  
\# 1.本监控脚本可重复执行，它会自动做互斥  
\# 2.互斥不仅依据监控脚本文件名，而且包含了它的命令行参数，只有整体相同时互斥才生效  
\# 3.对于被监控的进程，可以只指定进程名，也可以包含命令行参数  
\# 4.不管是监控脚本还是被监控进程，总是只针对属于当前用户下的进程  
\#  
\# 如果本脚本手工运行正常，但在crontab中运行不正常，则可考虑检查下ps等命令是否可在crontab中正常运行  
  
  
\# 实际中，遇到脚本在crontab中运行时，找不到ls和ps等命令  
\# 原来是有些环境ls和ps位于/usr/bin目录下，而不是常规的/bin目录  
export PATH=/sbin:/usr/sbin:/bin:/usr/bin:/usr/local/bin:$PATH  
trap "" SIGPIPE \# 忽略SIGPIPE  
  
  
\# 需要指定个数的命令行参数  
\# 参数1：被监控的进程名（可以包含命令行参数）  
\# 参数2：重启被监控进程的脚本  
if test $\# -ne 2; then  
    printf "\\033\[1;33musage: $0 process\_cmdline restart\_script\\033\[m\\n"  
    printf "\\033\[1;33mexample: /usr/local/bin/process\_monitor.sh \\"/usr/sbin/rinetd\\" \\"/usr/sbin/rinetd\\"\\033\[m\\n"  
    printf "\\033\[1;33mplease install process\_monitor.sh into crontab by \\"\* \* \* \* \*\\"\\033\[m\\n"  
    exit 1  
fi  
  
  
process\_cmdline="$1" \# 需要监控的进程名，或完整的命令行，也可以为部分命令行  
restart\_script="$2"  \# 用来重启进程的脚本，要求具有可执行权限  
monitor\_interval=2   \# 定时检测时间间隔，单位为秒  
start\_seconds=5      \# 被监控进程启动需要花费多少秒  
cur\_user=\`whoami\`    \# 执行本监控脚本的用户名  
  
  
\# 取指定网卡上的IP地址  
\#eth=1&&netstat -ie|awk -F'\[: \]' 'begin\{found=0;\} \{ if (match($0,"eth'"$eth"'")) found=1; else if ((1==found) && match($0,"eth")) found=0; if ((1==found) && match($0,"inet addr:") && match($0,"Bcast:")) print $13; \}'  
  
  
\# 下面这段脚本，用来阻止多个监控脚本进程出现  
uid=\`id -u $cur\_user\`  
self\_name=\`basename $0\`  
self\_cmdline="$0 $\*"  
process\_name=$(basename \`echo "$process\_cmdline"|cut -d" " -f1\`)  
process\_match="$\{process\_cmdline\#\* \}" \# 只保留用来匹配的参数部分  
process\_match=$(echo $process\_match) \# 去掉前后的空格  
  
  
\# 用来做互斥，  
\# 以保证只有最先启动的能运行，  
\# 但若不同参数的彼此不相互影响，  
\# 这样保证了可同时对不同对象进行监控。  
\# 因为trap命令对KILL命令无效，所以不能通过创建文件的方式来互斥！  
active=0  
  
  
\# 日志文件，可能多个用户都在运行，  
\# 所以日志文件名需要加上用户名，否则其它用户可能无权限写  
log\_filepath=/tmp/process\_monitor-$cur\_user.log  
\# 日志文件大小（10M）  
log\_filesize=10485760  
  
  
\# 写日志函数，带1个参数：  
\# 1) 需要写入的日志  
log()  
\{  
    \# 创建日志文件，如果不存在的话      
    if test ! -f $log\_filepath; then  
        touch $log\_filepath  
    fi  
  
  
    record=$1  
    \# 得到日志文件大小  
    file\_size=\`ls --time-style=long-iso -l $log\_filepath 2>/dev/null|cut -d" " -f5\`  
  
  
    \# 处理日志文件过大  
    \# 日志加上头\[$process\_cmdline\]，用来区分对不同对象的监控  
    if test ! -z "$file\_size"; then          
        if test $file\_size -lt $log\_filesize; then  
            printf "\[$process\_cmdline\]$record"  
            printf "\[$process\_cmdline\]$record" >> $log\_filepath  
        else  
            printf "\[$process\_cmdline\]$record" >> $log\_filepath  
            mv $log\_filepath $log\_filepath.bak \# 备份  
  
  
            printf "\[$process\_cmdline\]\[\`date +'%Y-%m-%d %H:%M:%S'\`\]truncated\\n"  
            printf "\[$process\_cmdline\]\[\`date +'%Y-%m-%d %H:%M:%S'\`\]truncated\\n" > $log\_filepath  
  
  
            printf "\[$process\_cmdline\]$record"  
            printf "\[$process\_cmdline\]$record" >> $log\_filepath              
        fi  
    fi  
\}  
  
  
\# 以死循环方式，定时检测指定的进程是否存在  
\# 一个重要原因是crontab最高频率为1分钟，不满足秒级的监控要求  
while true; do  
    self\_count=\`ps -C $self\_name h -o euser,args| awk 'BEGIN \{ num=0; \} \{ if (($1==uid || $1==cur\_user) && match($0, self\_cmdline)) \{++num;\}\} END \{ printf("%d",num); \}' uid=$uid cur\_user=$cur\_user self\_cmdline="$self\_cmdline"\`  
    if test ! -z "$self\_count"; then   
        if test $self\_count -gt 2; then   
            log "\\033\[0;32;31m\[\`date +'%Y-%m-%d %H:%M:%S'\`\]$0 is running\[$self\_count/active:$active\], current user is $cur\_user.\\033\[m\\n"  
            \# 经测试，正常情况下一般为2，  
            \# 但运行一段时间后，会出现值为3，因此放在crontab中非常必要  
            \# 如果监控脚本已经运行，则退出不重复运行  
            if test $active -eq 0; then  
                exit 1  
            fi  
        fi  
    fi  
  
  
    \# 检查被监控的进程是否存在，如果不存在则重启  
    if test -z "$process\_match"; then  
        process\_count=\`ps -C $process\_name h -o euser,args| awk 'BEGIN \{ num=0; \} \{ if (($1==uid || $1==cur\_user)) \{++num;\}\} END \{ printf("%d",num); \}' uid=$uid cur\_user=$cur\_user\`  
    else  
        process\_count=\`ps -C $process\_name h -o euser,args| awk 'BEGIN \{ num=0; \} \{ if (($1==uid || $1==cur\_user) && match($0, process\_match)) \{++num;\}\} END \{ printf("%d",num); \}' uid=$uid cur\_user=$cur\_user process\_match="$process\_match"\`  
    fi  
    if test ! -z "$process\_count"; then  
        if test $process\_count -lt 1; then  
            \# 执行重启脚本，要求这个脚本能够将指定的进程拉起来  
            log "\\033\[0;32;34m\[\`date +'%Y-%m-%d %H:%M:%S'\`\]restart \\"$process\_cmdline\\"\\033\[m\\n"  
            sh -c "$restart\_script" >> $log\_filepath 2>&1 \# 注意一定要以“sh -c”方式执行  
        fi  
    fi  
  
  
    active=1  
    \# sleep时间得长一点，原因是启动可能没那么快，以防止启动多个进程  
    \# 在某些环境遇到sleep无效，正常sleep后“$?”值为0，则异常时变成“141”，  
    \# 这个是因为收到了信号13，可以使用“trap '' SIGPIPE”忽略SIGPIPE。  
    sleep $start\_seconds  
done  
exit 0  
\---------------------------------------------------------脚本内容--------------------------------------------------------  
  
  
  
  
假设：  
1) java安装目录为/data/jdk  
2) 监控脚本process\_monitor监控脚本process\_monitor.sh安装目录为/usr/local/bin  
3) hadoop安装目录为/data/hadoop  
4) hbase安装目录为/data/hbase  
5) zookeeper安装目录为/data/zookeeper  
  
  
  
  
可以通过jps查看到进程ID，然后使用kill命令杀死进程，查看监控重拉起效果。  
  
  
process\_monitor.sh每隔2秒（由变量monitor\_interval指定）检查一次，发现进程不存在时，立即启动。  
假设运行用户为root，则process\_monitor.sh的日志文件为/tmp/process\_monitor-root.log，  
假设运行用户为test，则process\_monitor.sh的日志文件为/tmp/process\_monitor-test.log，以此类推。  
可以通过tail -f观察process\_monitor.sh的日志，来了解process\_monitor.sh的运行。  
  
  
  
  
process\_monitor.sh带两个参数，  
第一个参数是被监控的进程对象，process\_monitor.sh依靠第二个参数重启被监控对象。  
第一个参数又分两部分，第一个空格前的部分，和空格之后的部分。  
第一部分为被监控对象的进程名称，对于java程序，进程名是java，而不是jar包的名称。  
第二部分为参数部分，可有可无，但正是通过它来区分不同的被监控对象，对于java、shell程序等是必须的。  
另外，process\_monitor.sh对参数部分是采取模糊部分匹配方式。  
可以通过ps aux命令来确定进程名称和参数。  
  
  
crontab配置如下：  
\# 监控HDFS NameNode  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/Java -Dproc\_namenode" "/data/Hadoop/sbin/hadoop-daemon.sh start namenode"  
\# 监控HDFS切换主备NameNode程序  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_zkfc" "/data/hadoop/sbin/hadoop-daemon.sh start zkfc"  
\# 监控HDFS JournalNode  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_journalnode" "/data/hadoop/sbin/hadoop-daemon.sh start journalnode"  
\# 监控HDFS DataNode  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_datanode" "/data/hadoop/sbin/hadoop-daemon.sh start datanode"  
\# 监控Hbase Master  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_master" "/data/hbase/bin/hbase-daemon.sh start master"  
\# 监控HBase thrift2  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_thrift2" "/data/hbase/bin/hbase-daemon.sh start thrift2 --framed -nonblocking"  
\# 监控ZooKeeper  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dzookeeper" "/data/zookeeper/bin/zkServer.sh start"  
\# 监控HBase regionserver  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_regionserver" "/data/hbase/bin/hbase-daemon.sh start regionserver"  
\# 监控YARN ResourceManager  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_resourcemanager" "/data/hadoop/sbin/yarn-daemon.sh start resourcemanager"  
\# 监控YARN NodeManager  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java -Dproc\_nodemanager" "/data/hadoop/sbin/yarn-daemon.sh start nodemanager"  
\# 监控HiveServer  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/Java HiveServer2" "/data/gongyi/Hive/bin/hiveserver2 &"  
\# 监控Hive MetaStore  
\* \* \* \* \* /usr/local/bin/process\_monitor.sh "/data/jdk/bin/java HiveMetaStore" "/data/gongyi/hive/bin/hive --service metastore &"