使用linux命令解析access.log和error.log

Dear 丶 2023-10-05 08:34 10阅读 0赞

访问日志

我们使用以下格式，这也是默认的名为“ combined”的nginx格式：

$ remote\_addr-$ remote\_user \[$ time\_local\]“ $ request” $ status $ body\_bytes\_sent“ $ http\_referer”“ $ http\_user\_agent”

字段说明如下：

*  $ remote\_addr –发出请求的IP
 *  $ remote\_user-HTTP认证用户。对于大多数应用程序，这将是空白的，因为现代应用程序不使用基于HTTP的身份验证。
 *  \[$ time\_local\] –每个服务器时区的时间戳
 *  “ $ request” – HTTP请求类型GET，POST等\+不带参数的请求路径\+ HTTP协议版本
 *  $ status –来自服务器的HTTP响应代码
 *  $ body\_bytes\_sent –服务器响应的大小，以字节为单位
 *  “ $ http\_referer” –推荐URL（如果存在）
 *  “ $ http\_user\_agent” –服务器看到的用户代理

让我们探索一些可以帮助我们分析日志的命令。

按响应代码对访问进行排序

猫access.log | cut -d'“'-f3 | cut -d''-f2 | sort | uniq -c | sort -rn

样本输出：

210433 200

38587 302

17571 304

4544 502

2616 499

1144 500

706404

355504

355301

252000

9 403

6206

2408

2 400

可以使用awk以下方法完成相同的操作：

awk'\{print $ 9\}'access.log | sort uniq -c | sort -rn

样本输出：

210489 200

38596 302

17572 304

4544 502

2616 499

1144 500

706404

355504

355301

252000

9 403

6206

2408

2 400

如您所见，日志显示404返回了700多个请求！

让我们找出现在断开了哪些链接？

以下将搜索导致404响应的请求，然后按每个URL的请求数对它们进行排序 。您将获得最多访问的404页。

awk'（$ 9〜/ 404 /）'access.log | awk'\{print $ 7\}'| sort uniq -c | sort -rn

对于[easyengine][]，请改用：

awk'（$ 8〜/ 404 /）'access.log | awk'\{print $ 8\}'| sort uniq -c | sort -rn

样本输出（截断）：

21 /成员/ katrinakp /活动/ 2338 /

19 /blogger-to-wordpress/robots.txt

14 /rtpanel/robots.txt

同样，对于502（网关错误），我们可以运行以下命令：

awk'（$ 9〜/ 502 /）'access.log | awk'\{print $ 7\}'| sort uniq -c | sort -r

样本输出（截断）：

728 /wp-admin/install.php

466 /

146 /视频/

130 /wp-login.php

谁正在请求断开的链接（或URL导致502）

awk -F \\“'（（$ 2〜” /wp-admin/install.php")\{print $ 1\}'access.log | awk'\{print $ 1\}'| sort | uniq -c | sort -r

样本输出：

14 50.133.11.248

12 97.106.26.244

11 108.247.254.37

10 173.22.165.123

**php****文件的****404 –****主要是黑客尝试**

awk'（$ 9〜/ 404 /）'access.log | awk -F \\“'（（$ 2〜” ^ GET。\* \\。php“）'| awk'\{print $ 7\}'| sort | uniq -c | sort -r |头-n 20

最受欢迎的网址

最受欢迎的网址

awk -F \\“'\{print $ 2\}'access.log | awk'\{print $ 2\}'| sort | uniq -c | sort -r

最多请求的包含XYZ的URL

awk -F \\“'（（$ 2〜” ref“）\{print $ 2\}'access.log | awk'\{print $ 2\}'| sort | uniq -c | sort -r

[easyengine]: https://easyengine.io/easyengine

发表评论取消回复

表情：

评论列表（有 0 条评论，10人围观）

还没有评论，来说两句吧...

相关阅读

相关使用linux命令解析access.log和error.log

访问日志我们使用以下格式，这也是默认的名为“ combined”的nginx格式： $ remote\_addr-$ remote\_user \[$ time\_loc

Dear 丶/ 2023年10月05日 08:34/ 0 赞/ 11 阅读

相关 004 Nginx日志挖掘accessLog

日志模版 log_format main '$remote_addr - $remote_user [$time_local] "$request" '

素颜马尾好姑娘i/ 2022年12月30日 10:43/ 0 赞/ 165 阅读

相关 Linux Top 命令解析比较详细

TOP是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状

港控/mmm°/ 2022年09月19日 12:06/ 0 赞/ 127 阅读

相关 SQL Server读 ErrorLog的扩展存储过程

当管理多个远程SQL Server服务器时, 定期去各个服务器上读ErrorLog是比较麻烦的，可以使用以下方法，自动找到出错信息，然后再发送出邮件。 SQL

﹏ヽ暗。殇╰゛Y/ 2022年07月16日 14:51/ 0 赞/ 108 阅读

相关 Linux Top 命令解析比较详细

TOP是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处

一时失言乱红尘/ 2022年07月15日 05:52/ 0 赞/ 158 阅读

相关 Linux Top 命令解析比较详细

TOP是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处

不念不忘少年蓝@/ 2022年07月15日 05:52/ 0 赞/ 134 阅读

相关 dd命令解析和例子

一、dd命令的解释。 1.定义 dd是 Linux/UNIX 下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。dd命令在拷贝完文件

迷南。/ 2022年06月11日 09:27/ 0 赞/ 289 阅读

相关 Linux命令和VIM的使用

1.Linux常用命令基础命令 pwd 查看当前目录 whami 返回用户名 ls 查看当前目录下的文件夹(文件) ls -l 更详细的文件内阵容 ls -a 查

深碍√TFBOYSˉ_/ 2022年05月23日 03:09/ 0 赞/ 295 阅读

相关用 awk 和 goaccess 分析nginx accesslog

awk 方式本文主要用这种方式实现统计 `access.log` 超过 1s 的记录。思路：先用 `awk` 将每天切割的 `nginx` 日志生成自定义的分析

柔光的暖阳◎/ 2022年05月08日 06:03/ 0 赞/ 323 阅读

相关 Linux命令参数详细解析 mv

用法：mv \[选项\]... \[-T\] 源文件目标文件或：mv \[选项\]... 源文件... 目录或：mv \[选项\]... -t 目录源文件..

红太狼/ 2022年01月20日 13:13/ 0 赞/ 235 阅读