实现动态封禁 IP，干死爬虫！！

Dear 丶 2022-09-15 05:58 243阅读 0赞

原文：[https://segmentfault.com/a/1190000018267201][https_segmentfault.com_a_1190000018267201]

为了封禁某些爬虫或者恶意用户对服务器的请求，我们需要建立一个动态的 IP 黑名单。对于黑名单之内的 IP ，拒绝提供服务。

**实现 IP 黑名单的功能有很多途径：**

1、在操作系统层面，配置 iptables，拒绝指定 IP 的网络请求；

2、在 Web Server 层面，通过 Nginx 自身的 deny 选项 或者 lua 插件 配置 IP 黑名单；

3、在应用层面，在请求服务之前检查一遍客户端 IP 是否在黑名单。

为了方便管理和共享，我们选择通过 Nginx+Lua+Redis 的架构实现 IP 黑名单的功能，架构图如下：

![20211010084639873.png][]

**1、安装 Nginx+Lua模块**

推荐使用 OpenResty，这是一个集成了各种 Lua 模块的 Nginx 服务器：

![20211010084640259.png][]

**2、安装并启动 Redis 服务器**

**3、配置 Nginx 示例：**

![20211010084640480.png][]

Nginx 配置，其中

lua_shared_dict ip_blacklist 1m

由 Nginx 进程分配一块 1M 大小的共享内存空间，用来缓存 IP 黑名单。

access_by_lua_file lua/ip_blacklist.lua;

指定 lua 脚本位置。

**4、配置 lua 脚本，定期从 Redis 获取最新的 IP 黑名单。**

![20211010084641861.png][]

**5、在 Redis 服务器上新建 Set 类型的数据 ip\_blacklist，并加入最新的 IP 黑名单。**

完成以上步骤后，重新加载 nginx，配置便开始生效了。这时访问服务器，如果你的 IP 地址在黑名单内的话，将出现拒绝访问，如下图：

![20211010084642236.png][]

以上，便是 Nginx+Lua+Redis 实现的 IP 黑名单功能，具有如下优点：

1、配置简单、轻量，几乎对服务器性能不产生影响；

2、多台服务器可以通过Redis实例共享黑名单；

3、动态配置，可以手工或者通过某种自动化的方式设置 Redis 中的黑名单。

**近期热文推荐：**

1.[1,000+ 道 Java面试题及答案整理(2021最新版)][1_000_ _ Java_2021]

2.[别在再满屏的 if/ else 了，试试策略模式，真香！！][if_ else]

3.[卧槽！Java 中的 xx ≠ null 是什么新语法？][Java _ xx _ null]

4.[Spring Boot 2.5 重磅发布，黑暗模式太炸了！][Spring Boot 2.5]

5.[《Java开发手册（嵩山版）》最新发布，速速下载！][Java]

觉得不错，别忘了随手点赞+转发哦！

[https_segmentfault.com_a_1190000018267201]: https://segmentfault.com/a/1190000018267201
[20211010084639873.png]: /images/20220828/79bb34995973483aad52664c771d6099.png
[20211010084640259.png]: /images/20220828/43be00566e254ae3be60f3714b42de85.png
[20211010084640480.png]: /images/20220828/8e44c64d85ef4399b549e09c924db0ef.png
[20211010084641861.png]: /images/20220828/b27c39a363ef463cb8c1f1a83b477d58.png
[20211010084642236.png]: /images/20220828/183da93d0eb24b90b40583d1cfa7e748.png
[1_000_ _ Java_2021]: https://www.javastack.cn/mst/
[if_ else]: https://www.javastack.cn/article/2021/strategy-pattern-instead-of-if-else/
[Java _ xx _ null]: https://www.javastack.cn/article/2021/intellij-idea-ligatures-settings/
[Spring Boot 2.5]: https://www.javastack.cn/article/2021/spring-boot-2.5-released/
[Java]: http://www.javastack.cn/article/2020/alibaba-release-java-develop-rules-songshan/