一个兼容性强的错误日志预警机制

怼烎@ 2022-06-10 03:49 193阅读 0赞

需求：错误日志报警，如果5分钟内出现相同错误已报警，则不继续报警。

实现：为不影响之前系统其他功能，在nginx层面用luajit提取日志，并每分钟生成一个日志。用脚本处理后删除这一分钟的日志。（注：与原先的access.log互不影响）

**1. shell脚本：（目前按每分钟进行错误统计报警）**

\#错误次数，超出报警

limit\_time=4  
\#错误发送时间间隔秒数  
time\_long=300  
\#日志时间  
lastminute=\`date -d "1 minutes ago" "+%Y-%m-%d %H:%M"\`  
meorder\_time="$lastminute:00"  
echo $lastminute  
log\_minute=\`echo $\{lastminute\}|sed "s/ /:/g"\`  
\#echo $idcard\_minute  
\#短信发送路径  
SMS\_URL=......\#此处可修改为自己的发邮件或者发短信接口  
\#日志文件路径  
LOGPATH=/var/log/nginx/accesslogs  
\#日志文件  
LOGNAME\_PRE="auth-"$\{log\_minute\}"-acc.log"  
LOGALL=$\{LOGPATH\}"/"$\{LOGNAME\_PRE\}  
\#LOGNAME\_PRE=idcard.log  
LOGNAME=/home/cheyunlong/test1.log  
\#配置文件  
CONFIGNAME=/home/cheyunlong/config.properties  
\#错误码数组  
error\_codes=("A0001" "A1000" "A1001" "A1002" "A2003" "A1004" "A1005" "A1006" "A1007" "A2000" "A2001" "A2002" "A2003" "A2004" "A2005" "A2006")  
\#ip数组，暂不用  
ips=("10.10.11.222" "10.10.11.224" "10.10.11.15")  
\#应用名称数组  
apps=("/test1/v1" "/test2/v1")  
\#超时时间数组  
timepe=(5000 10000)  
split\_char=\#  
find $LOGPATH -type f -name "$LOGNAME\_PRE" -exec grep "$lastminute" \{\} \\; > $LOGNAME;  
\#find $LOGPATH -type f -name "$LOGNAME\_PRE" -exec grep "10" \{\} \\; > $LOGNAME;  
response\_result=""  
\#根据错误码统计  
for (( i=0 ; i<$\{\#error\_codes\[@\]\} ; i++ ))  
do  
\# for (( j=0 ; j<$\{\#ips\[@\]\} ; j++))  
\# do  
for(( k=0 ; k<$\{\#apps\[@\]\} ; k++))  
do  
now\_error=$\{error\_codes\[$i\]\}  
\#now\_ip=$\{ips\[$j\]\}  
\#echo $now\_ip  
now\_app=$\{apps\[$k\]\}  
\#echo $now\_app  
error0=\`cat $LOGNAME|awk -v err=$now\_error -v app=$now\_app -F "|" 'BEGIN \{ error=0;\}\{gsub(/^ \*| \*$/,"",$7); gsub(/^ \*| \*$/,"",$6); if( $7==err && $6==app error++;\}END\{ print (error); \}'\`  
\#echo $\{error0\}  
\#response\_result="$\{response\_result\}$\{lastminute\}|$\{apps\[$k\]\}|$\{ips\[$j\]\}|$\{error\_codes\[$i\]\}|$\{error0\}\\n" \#时间|应用|ip|错误码|错误次数  
response\_result="$\{response\_result\}$\{lastminute\}|$\{apps\[$k\]\}|$\{error\_codes\[$i\]\}|$\{error0\}$\{split\_char\}" \#时间|应用|ip|错误码|错误次数  
done  
\# done  
done  
\#echo -e $\{response\_result\}  
\#超时统计  
for(( k=0 ; k<$\{\#apps\[@\]\} ; k++))  
do  
now\_app=$\{apps\[$k\]\}  
for (( t=0 ; t<$\{\#timepe\[@\]\} ; t++ ))  
do  
\#echo $now\_app  
if \[ $(($t+1)) == $\{\#timepe\[@\]\} \]; then  
time\_5=\`cat $LOGNAME|awk -v app=$now\_app -v now\_time=$\{timepe\[$t\]\} -F "|" 'BEGIN \{ error=0; \}\{gsub(/^ \*| \*$/,"",$3); gsub(/^ \*| \*$/,"",$6); if( $3 >= now\_time && $6==app) error++;\}END\{ print (error); \}'\`  
else  
nextt=$\{timepe\[$t+1\]\}  
time\_5=\`cat $LOGNAME|awk -v app=$now\_app -v now\_time=$\{timepe\[$t\]\} -v next\_time=$nextt -F "|" 'BEGIN \{ gsub(/^ \*| \*$/,"",$3); gsub(/^ \*| \*$/,"",$6); error=0; \}\{if( $3 >= now\_time && $3 < next\_time && $6==app) error++;\}END\{ print (error); \}'\`  
fi  
\#echo $time\_5  
\#response\_result="$\{response\_result\}$\{lastminute\}|$\{apps\[$k\]\}|$\{apps\[$k\]\}|$\{ips\[$j\]\}|overtime$\{timepe\[$t\]\}|$\{time\_5\}\\n"  
response\_result="$\{response\_result\}$\{lastminute\}|$\{apps\[$k\]\}|overtime$\{timepe\[$t\]\}|$\{time\_5\}$\{split\_char\}"  
done  
\#返回值非200的情况  
not\_200=\`cat $LOGNAME|awk -v app=$now\_app -F "|" 'BEGIN \{ error=0; \}\{gsub(/^ \*| \*$/,"",$4); gsub(/^ \*| \*$/,"",$6); if( $4 != 200 && $6==app) error++;\}END\{ print (error); \}'\`  
response\_result="$\{response\_result\}$\{lastminute\}|$\{apps\[$k\]\}|not200|$\{not\_200\}$\{split\_char\}"  
done  
\#echo -e $\{response\_result\}  
OLD\_IFS="$IFS"  
IFS="\#"  
error\_count=($response\_result)  
\#请求参数组装分别为：次数，错误码，时间，应用名称  
err\_times=""  
err\_codes=""  
err\_dates=""  
err\_apps=""  
err\_num=0  
for(( e=0 ; e<$\{\#error\_count\[@\]\} ; e++ ))  
do  
OLD\_IFS="$IFS"  
IFS="|"  
error\_now=($\{error\_count\[$e\]\})  
if \[\[ $\{error\_now\[3\]\} -ge $\{limit\_time\} \]\]; then  
time\_period=0  
\#获取配置文件的时间配置  
config1=\`cat $\{CONFIGNAME\}|grep "$\{error\_now\[1\]\}|$\{error\_now\[2\]\}"\`  
\#echo "config1:"$\{config1\}  
new\_config="$\{error\_now\[1\]\}|$\{error\_now\[2\]\}|$\{error\_now\[0\]\}"  
if \[\[ $config1 == '' \]\]; then  
time\_period=1  
\`echo "$\{new\_config\}" >> $\{CONFIGNAME\}\`  
else  
IFS="|"  
config\_arr=($\{config1\})  
last\_time=\`date +%s -d $\{config\_arr\[2\]\}:00\`  
now\_time=\`date +%s -d $\{lastminute\}:00\`  
period1=$(($now\_time-$last\_time))  
if \[\[ $period1 -gt $\{time\_long\} \]\]; then  
time\_period=1  
config2="$\{config\_arr\[0\]\}|$\{config\_arr\[1\]\}|$\{config\_arr\[2\]\}"  
\`sed -i "s\#$config1\#\#;/^ \*$/d" $\{CONFIGNAME\}\`  
\`echo "$\{new\_config\}" >> $\{CONFIGNAME\}\`  
  
fi  
fi  
\#需要报警  
if \[\[ $\{time\_period\} > 0 \]\]; then  
if \[\[ $\{err\_num\} == 0 \]\]; then  
err\_dates=$err\_dates$\{error\_now\[0\]\}  
err\_apps=$err\_apps$\{error\_now\[1\]\}  
err\_codes=$err\_codes$\{error\_now\[2\]\}  
err\_times=$err\_times$\{error\_now\[3\]\}  
else  
err\_dates=$err\_dates","$\{error\_now\[0\]\}  
err\_apps=$err\_apps","$\{error\_now\[1\]\}  
err\_codes=$err\_codes","$\{error\_now\[2\]\}  
err\_times=$err\_times","$\{error\_now\[3\]\}  
fi  
err\_num=$(($err\_num + 1));  
fi  
fi  
done  
\#echo $err\_dates $err\_apps $err\_codes $err\_times  
if \[\[ $err\_dates != '' \]\]; then  
\#在此处发送短信  
echo "curl:err\_dates=$\{err\_dates\} -F err\_apps=$\{err\_apps\} -F err\_codes=$\{err\_codes\} -F err\_times=$\{err\_times\}"  
curl -F err\_dates=$\{err\_dates\} -F err\_apps=$\{err\_apps\} -F err\_codes=$\{err\_codes\} -F err\_times=$\{err\_times\} $\{SMS\_URL\}  
fi  
rm -rf $\{LOGALL\}

**2.设置定时任务**

（1）. 键入 crontab -e 编辑crontab服务文件  
文件内容添加：  
 日志监控：  
 \*/1 \* \* \* \* nohup bash /home/cheyunlong/deal\_log.sh >> /home/cheyunlong/deal.log 2>&1  
  
  
（2）. 保存之后，crontab -l 查看是否创建成功