10分钟精通Nginx访问日志分析统计

绝地灬酷狼 2022-04-06 09:49 430阅读 0赞

简介  
很多个人站长在搭建网站时使用nginx作为服务器，为了了解网站的访问情况，一般有两种手段：  
使用CNZZ之类的方式，在前端页面插入js，用户访问的时候触发js，记录访问请求。  
利用流计算、或离线统计分析nginx的access log，从日志中挖掘有用信息。  
两种方式各有优缺点：  
CNZZ使用起来比较简单，各种指标定义清楚。但这种方式只能记录页面的访问请求，像ajax之类的请求是无法记录的，还有爬虫信息也不会记录。  
利用流计算、离线计算引擎可以支持个性化需求，但需要搭建一套环境，并且在实时性以及分析灵活性上比较难平衡。  
两种手段相互补充，才能对网站的状况有更加深入的了解。  
日志服务在查询基础上新推出来SQL支持实时日志分析功能，极大的降低了站长们分析access log的门槛，本文将详细介绍如何使用日志服务分析access log中的各种指标。  
Nginx访问日志格式  
一个典型的nginx访问日志配置：  
  
log\_format main '$remote\_addr - $remote\_user \[$time\_local\] "$request" $http\_host '  
'$status $request\_length $body\_bytes\_sent "$http\_referer" '  
'"$http\_user\_agent" $request\_time';  
  
access\_log access.log main;  
字段解释：  
remote\_addr : 客户端地址  
remote\_user : 客户端用户名  
time\_local : 服务器时间  
request : 请求内容，包括方法名，地址，和http协议  
http\_host : 用户请求是使用的http地址  
status : 返回的http 状态码  
request\_length : 请求大小  
body\_bytes\_sent : 返回的大小  
http\_referer : 来源页  
http\_user\_agent : 客户端名称  
request\_time : 整体请求延时  
收集访问日志到日志服务  
首先把日志收集到日志服务  
请参考文档5分钟快速文档  
把日志收集到日志服务后，设置每一列的类型：  
index\_attribute  
注：其中request拆分城method 和uri两列  
日志样例：  
sample\_log  
分析访问日志  
通常，对access log的访问需求有，查看网站的pv，uv，热点页面，热点方法，错误请求，客户端类型，来源页面等等。下文将逐个介绍各个指标的计算方法。  
PV统计不仅可以一段时间总的PV，还可以按照小的时间段，查看每段时间的，比如每5分钟pv  
统计代码  
\*|select from\_unixtime( \_\_time\_\_- \_\_time\_\_% 300) as t,  
count(1) as pv  
group by \_\_time\_\_- \_\_time\_\_% 300  
order by t limit 60  
统计结果  
pv  
统计一小时内每5分钟的UV  
统计代码：  
\*|select from\_unixtime( \_\_time\_\_- \_\_time\_\_% 300) as t,  
approx\_distinct(remote\_addr) as uv  
group by \_\_time\_\_- \_\_time\_\_% 300  
order by t limit 60  
uv\_5min  
统计一小时内总的UV  
统计代码：  
\*|select approx\_distinct(remote\_addr)  
统计结果：  
uv  
最近一小时访问最多的10个页面  
\*|select url,count(1) as pv group by url order by pv desc limit 10  
top10page  
最近一小时各种请求方法的占比  
\*| select method, count(1) as pv group by method  
method  
最近一小时各种http状态码的占比  
\*| select status, count(1) as pv group by status  
status  
最近一小时各种浏览器的占比  
\*| select user\_agent, count(1) as pv group by user\_agent  
user\_agent  
最近一小时referer来源于不同域名的占比  
\*|select url\_extract\_host(http\_referer) ,count(1) group by url\_extract\_host(http\_referer)  
注：url\_extract\_host为从url中提取域名  
referer  
最近一小时用户访问不同域名的占比  
\*|select http\_host ,count(1) group by http\_host  
host  
一些高级功能  
除了一些访问指标外，站长常常还需要对一些访问请求进行诊断，查看一下处理请求的延时如何，有哪些比较大的延时，哪些页面的延时比较大。  
通过每5分钟的平均延时和最大延时, 对延时的情况有个总体的把握  
\*|select from\_unixtime(\_\_time\_\_ -\_\_time\_\_% 300) as time,  
avg(request\_time) as avg\_latency ,  
max(request\_time) as max\_latency  
group by \_\_time\_\_ -\_\_time\_\_% 300  
limit 60  
avg\_max\_latency  
知道了最大延时之后，我们需要知道最大延时对应的请求页面是哪个，方便进一步优化页面响应。  
\*|select from\_unixtime(\_\_time\_\_ - \_\_time\_\_% 60) ,  
max\_by(url,request\_time)  
group by \_\_time\_\_ - \_\_time\_\_%60  
top\_latency\_req  
从总体把握，我们需要知道网站的所有请求的延时的分布, 把延时分布在十个桶里边，看每个延时区间的请求个数  
\*|select numeric\_histogram(10,request\_time)  
latency\_histogram1  
除了最大的延时，我们还需要知道最大的十个延时，对应的值是多少  
\*|select max(request\_time,10)  
top\_10\_latency  
当我们知道了/0这个页面的访问延时最大，为了对/0页面进行调优，接下来需要统计/0这个页面的访问PV,UV,各种method次数，各种status次数,各种浏览器次数，平均延时，最大延时  
url:"/0"|select count(1) as pv, approx\_distinct(remote\_addr) as uv, histogram(method) as method\_pv,histogram(status) as status\_pv, histogram(user\_agent) as user\_agent\_pv, avg(request\_time) as avg\_latency, max(request\_time) as max\_latency  
url0  
url0method  
url0useragent  
url0status  
同时，我们也可以限定只查看request\_time 大于1000的请求的pv，uv，以及各个url的请求次数  
request\_time > 1000 |select count(1) as pv, approx\_distinct(remote\_addr) as uv, histogram(url) as url\_pv  
url\_pv