awk分析日志得到响应时间的最大最小和平均值

港控/mmm° 2022-10-16 00:51 8阅读 0赞

今天有个分析日志的需求,要获得指定的几个请求的响应时间的最大值，最小值和平均值

从nginx配置中找到日志的格式如下：

log_format _main '$remote_addr "$time_iso8601" $request_method "$uri" "$args" "$request_body" $status $body_bytes_sent $request_time "$http_user_agent"';

倒数第二项`$request_time`即为响应时间

实际日志截取部分如下，域名换掉了：

> 10.100.27.171 "2015-08-01T00:00:02+08:00" GET "/interface/ipad\_v3/sub\_channels" "cid=85&ver=3.9.5" "-" 200 588 0.003 "api.3g.example.com/3.0"  
> 10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/ios\_v3/sub\_channel\_details\_with\_playlist" "sub\_channel\_id=227&ver=3.9" "-" 200 2912 0.334 "api.3g.example.com/3.0"  
> 10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/android\_v3/sub\_channel\_details" "sub\_channel\_id=107&show\_game\_information=1&ver=4.8" "-" 200 3480 0.129 "api.3g.example.com/3.0"

日志文件名格式大概是log.20150801这样的，我打算把脚本和日志放一个文件夹下  
一开始函数是这么写的，需要注意的是，`$1`既能表示shell函数的第一个参数，又能表示awk中的第一个域，有冲突。所以用'"$1"'，用'将前面的句子关闭，然后在""中插入shell的参数$1，再用'开启后面的句子；也可以用awk -v needle="$1"这种赋值替换方式

#! /bin/bash
     
    function get_min(){
            ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Min = ", $9}' | sort -n -k 2  |   head -1
    }
     
    function get_max() {
            ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Max = ", $9}' | sort -rn -k 2  |   head -1
    }
     
    function get_avg() {
            ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{sum+=$9} END {print "Average = ", sum/NR}'
    }

最容易想到的，明显不是最优的，代码很冗余。将文件遍历一次，最大最小和平均都可以计算出来的，再不济，最大值和最小值其实在排序之后就出来了，可以这样用sed输出两条记录

function get_min_and max {
        ls | grep 'log.' | xargs cat | awk '$8=200 && $4 ~/^"'"$1"'/{print $9}' | sort -n -k 2  |   sed -n '1p;$p'
    }

仔细研究了下awk，最后的代码是这样的

#! /bin/bash
     
    function cal_work(){
            ls | grep 'log.' | xargs cat | awk   'BEGIN{max=0;min=1}
                    {if ($4 ~ /^"'"$1"'/  && $(NF-3)==200){
                            sum+=$9; count+=1;
                            if($9 > max) max=$9 fi;if($9 < min) min=$9 fi;
                        }
                    }
                    END {print "Average = ", sum/count;print "Max = ", max;print "Min", min}'
    }
     
    function get_stat(){
            target=$1
            target=${target//\//\\/}
            cal_work $target
    }
     
    get_stat '/interface/ipad_v3/sub_channels'

要查询的path中有斜杠，斜杠前要加'\\'转义，这一步在get\_stat中进行