Shell 命令行统计 apache 网站日志访问IP以及IP归属地

偏执的太偏执、 2022-06-11 08:22 274阅读 0赞

# Shell 命令行统计 apache 网站日志访问IP以及IP归属地 #

我的一个站点用 apache 服务跑着，积攒了很多的日志。我想用 shell 看看有哪些人访问过我的站点，并且他来自哪里。

因为日志太长了，所以我没跑完就放弃了，因为跑起来太慢了。。。

## 分析 apache 日志 ##

140.205.16.220 - - [26/Jun/2017:03:49:51 +0800] "GET /content_article_3.html HTTP/1.1" 200 3

日志内容如上，这个很简单，只要以空格分割，取第一个就得到了IP了。

## 编写脚本 ##

i=1
    # 要分析的日志文件
    log=apache.log
    l=$(wc -l $log | sed 's/^[ \t]*//g' | cut -d ' ' -f1)
    echo $l
    while read line; do
      echo -en "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b"`echo $i*100/$l | bc `'%/'$i'/'$l
      ((i++))
      ip=`echo $line | cut -d ' ' -f1`
      grep "\<$ip\>" ip.txt >/dev/null
      if [ $? -ne 0 ]; then
        curl -sL http://ip.cn/index.php?ip=$ip >> ip.txt
      fi
    done < $log
    echo -e '\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\bbOK '

首先呢，当然是把我昨天写的进度拿出来整合进去啦。[Shell 循环中实现展示进度百分比的脚本方法][Shell]，但是因为文件是在是太长了一点，百分比已经看不到动态的表现，所以就又加上了显示行数和总行数。

然后用 `cut` 获取到每行的 `ip` 地址。

然后用 `grep` 在 `ip.txt` 这个文件中查找一下这个 `ip` 存在不存在，但是我不想把结果打印到终端，所以用输入到 `/dev/null` 实现禁止标准输出。

然后用 `$?` 输出结果是否为 `0` 判断这个 `ip` 是否存在过。

如果不存在，就去 `ip.cn` 查询一下 `ip` 归属地，并将结果追加到 `ip.txt` 文件

最后就完成了。

因为要上网查，所以效率是比较慢的。不过结果不重要，重要的是实现的过程。通过解决问题，还是学习到两个知识点。

以上脚本均在 mac 下测试通过，在 Linux 下可能会有稍许不同。  
本文由 FungLeo 原创，允许转载，但转载必须保留首发链接。

[Shell]: http://blog.csdn.net/fungleo/article/details/76576487

发表评论取消回复

表情：

评论列表（有 0 条评论，274人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java获取IP及归属地

最近我们发现各大社交平台都出现了一个新的功能：IP属地。比如某乎： ![734f4cfce6eb4040aaeece6e483cb765.png][] 这个IP属地

快来打我*/ 2024年03月31日 15:13/ 0 赞/ 80 阅读

相关 springboot获取IP归属地

在 Spring Boot 中获取 IP 归属地可以使用第三方 API 来实现。一种方法是使用网络 API 来查询 IP 地址的归属地。例如，您可以使用淘宝的 IP 地址库

怼烎@/ 2024年03月25日 09:01/ 0 赞/ 99 阅读

相关 Java根据ip地址获取归属地

最近，各大平台都新增了评论区显示发言者ip归属地的功能，例如哔哩哔哩，微博，知乎等等。 ![fd4221fa28754a6d81aa1c3b108a2fb4.png][]

淡淡的烟草味﹌/ 2023年10月03日 00:16/ 0 赞/ 12 阅读

相关阿里云IP归属地接口

用tp5写的接口我用的是这个：`https://market.aliyun.com/products/57002002/cmapi00035184.html?spm=517

本是古典何须时尚/ 2023年07月16日 11:57/ 0 赞/ 12 阅读

相关 shell命令统计log日志中前10的IP

查看当前log日志文本： 06-Nov-2019 09:40:10.512 INFO http://192.168.1.1 org.apache.catalina

Bertha 。/ 2023年05月29日 14:24/ 0 赞/ 1 阅读

相关 perl通过ip获取服务器信息,perl中使用ip138网站查询ip归属地脚本分享

这是去年年前写的一个perl脚本哎年后都没看过perl了。复制代码代码如下: \!/usr/bin/perl use LWP::Simple; open (FI

快来打我*/ 2022年09月04日 01:53/ 0 赞/ 14 阅读

相关 Shell 命令行统计 apache 网站日志访问IP以及IP归属地

Shell 命令行统计 apache 网站日志访问IP以及IP归属地我的一个站点用 apache 服务跑着，积攒了很多的日志。我想用 shell 看看有哪些人访问过我的

偏执的太偏执、/ 2022年06月11日 08:22/ 0 赞/ 275 阅读

相关 apache 统计日志访问IP数量

\!/bin/bash \ count all visited ip cat hduisa.com-access\_log | awk '\{print $

谁借莪１个温暖的怀抱￠/ 2022年05月23日 04:23/ 0 赞/ 274 阅读

相关 java实现IP归属地查询

IP归属地查询使用ip-attribution.dat文件实现IP归属地查询。[下载地址][Link 1] [网盘下载][Link 2] 提取码：zdhv

拼搏现实的明天。/ 2022年04月23日 13:16/ 0 赞/ 302 阅读

相关计算ip地址归属地

在很多场景下我们可能都会遇到根据用户某信息获取其位置信息的徐求，比较常见的可能就是根据ip或电话号码来计算了。这里介绍以ip地址来计算归属地，以具体需求来说明。使用scala语

小灰灰/ 2021年11月01日 07:22/ 0 赞/ 372 阅读