拒绝反爬虫！教你搞定爬虫验证码

阳光穿透心脏的1/2处 2022-10-06 12:58 184阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

疏影横斜水清浅，暗香浮动月黄昏。

「数仓宝贝库」，带你学数据！

**导读：**目前，许多网站采取各种各样的措施来反爬虫，其中一个措施便是使用验证码。随着技术的发展，验证码的花样越来越多。验证码最初是几个数字组合的简单的图形验证码，后来加入了英文字母和混淆曲线。有的网站还可能看到中文字符的验证码，这使得识别越发困难。

使用验证码可以防止应用或者网站被恶意注册、攻击，对于网站、APP而言，大量的无效注册、重复注册甚至是恶意攻击很令人头痛。使用验证码能够很大程度上减少这些恶意操作。验证码变得越来越复杂，爬虫的工作也变得越发艰难。有时候我们必须通过验证码的验证才能够访问页面（如图1所示）。

![c1a39d6380f69bba9754fdff3448da65.png][]

图1 验证码界面

目前主流的 4 种验证码为输入式验证码、滑动式验证码、宫格式验证码和点击式的图文验证，下面我们来分别讲解它们的解决思路。

![e636253a2703f4e50f0624ae95d65ace.gif][]

4种验证码的解决思路

![61b034f015ad3cc707a920089d7fc5ae.gif][]

**01 输入式验证码**

这种验证码主要是通过用户输入图片中的字母、数字、汉字等进行验证，如图2所示。

![8b20576e923cbded97dd4ff245f497a7.png][]

图2 输入式验证码

**解决思路：**这是最简单的一种验证码，只要识别出里面的内容，然后填入输入框中即可。这种识别技术叫**OCR**，这里推荐使用 Python 的第三方库 tesserocr。tesserocr 与 pytesseract 是 Python 的一个 OCR 识别库，但其实是对 Tesseract 做的一层 Python API 封装，pytesseract 是 Google 的 Tesseract-OCR 引擎包装器；所以它们的核心是 Tesseract。对于没有什么背景影响的验证码，直接通过这个库来识别就可以。但是对于有嘈杂的背景的验证码，直接识别的识别率会很低，遇到这种验证码需要先对图片进行灰度化，然后再进行二值化，再去识别，这样识别率会大大提高。

**02 滑动式验证码**

这种是将备选碎片直线滑动到正确的位置，如图3所示。

![e1dac7504c1d3845595a3cbff8becdc5.png][]

图3 滑动式验证码

**解决思路：**对于这种验证码就比较复杂一点，但也是有相应的办法。我们直接想到的就是模拟人去拖动验证码的行为，点击按钮，然后看到了缺口的位置，最后把拼图拖到缺口位置处完成验证。

第一步：点击按钮。当没有点击按钮的时候图片中的缺口和拼图是没有出现的，点击后才出现，这为我们找到缺口的位置提供了灵感。

第二步：拖到缺口位置。我们知道拼图应该拖到缺口处，但是这个距离如何用数值来表 示？通过第一步观察到的现象，我们可以找到缺口的位置。这里我们可以比较两张图的像素， 设置一个基准值，如果某个位置的差值超过了基准值，那我们就找到了这两张图片不一样的位置，当然我们是从那块拼图的右侧开始并且从左到右，找到第一个不一样的位置时就结束，这时的位置应该是缺口的 left，所以我们使用 selenium 拖到这个位置即可。这里还有个疑问，就 是如何能自动保存这两张图？我们可以先找到这个标签，然后获取它的 location 和 size，接着 是 top = int(location\['y'\])、bottom = int(location\['y'\] + size\['height'\])、left = int(location\['x'\]) 以及right = int(location\['x'\] + size\['width'\])，然后截图，最后抠图填入这四个位置就行。具体的使用 可以查看 selenium 文档，点击按钮前抠一张图，点击后再抠一张图。最后拖动时需要模拟人的 行为，先加速然后减速。因为这种验证码有行为特征检测，人是不可能做到一直匀速的，否则 它就判定为是机器在拖动，这样就无法通过验证了。

**03 宫格验证码**

如图4所示的验证码，爬虫难度比较大，每一次出现的都不一样，就算出现一样的，其拖动顺序也不相同。但是，我们发现不一样的验证码个数是有限的，这里采用模版匹配的方 法，把所有出现的验证码保存下来，然后挑出不一样的验证码，按照拖动顺序命名。我们从 左到右从上到下，将其分别设为 1、2、3、4。上图的滑动顺序为 4→3→2→1，所以我们命名 4\_3\_2\_1.png。当验证码出现的时候，用我们保存的图片一一枚举，与出现的这种来比较像素， 方法见“滑动式验证码”部分。如果匹配上了，拖动顺序就为 4→3→2→1。然后使用 selenium 模拟即可。

![31d0b630e9e92954bd92d91f5e317bf7.png][]

图4 宫格验证码

**04 点击式的图文验证和图标选择**

1）图文验证：通过文字提醒用户点击图中相同字的位置从而进行验证。

2）图标选择：给出一组图片，按要求点击其中一张或多张。借用万物识别的难度阻挡 机器。这两种原理相似，只不过一个是给出文字，点击图片中的文字，而一个是给出图片，点 出内容相同的图片。这两种都没有特别好的方法，只能借助第三方识别接口来识别出相同的内 容。推荐一个方法，把验证码发过去，会返回相应的点击坐标，然后再使用 selenium 模拟点击即可。

![c704d1ba69b9fd352a41597f163a3041.gif][]

OCR验证码

![a944140e431fe84477e4a9828c975552.gif][]

**OCR（Optical Character Recognition，光学字符识别）**是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式来确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程，下面介绍使用这种图像识别技术输入验证码的方法。

验证码识别基本步骤：

1）预处理

2）灰度化

3）二值化

4）去噪

5）分割

6）识别

在使用pytesseract之前，必须安装 Tesseract-OCR，因为pytesserat 依赖于 Tesseract-OCR， 若未安装则无法使用。首先使用 pytesseract 将彩色的图像转化为灰色的图像。

# 使用路径导入图片
    im = Image.open(imgimgName) 
    # 使用byte流导入图片 
    # im = Image.open(io.BytesIO(b)) 
    # 转化到灰度图
    imgry = im.convert('L') 
    # 保存图像
    imgry.save('gray-'+imgName)

灰度化的图像如图5所示。

![3f9473c90ee4b63a329f4721c5a267db.png][]

图5 灰度化图像

紧接着将所得的图像二值化，将图片处理为只有黑白两色的图片，利于后面的图像处理和识别。

# 二值化，采用阈值分割法，threshold为分割点 
    Threshold = 140 
    Table = [ ]
    For j in range(256): 
    If j < threshold: 
    Table.append(0) 
    Else: 
    Table.append(1) 
    Out = imgry.point(table,'1') 
    Out.save('b'+imgName)

二值化的图像如图 6 所示。

![74665b6a1d27d8f5f5b5ffe307a22c8d.png][]

图6 二值化图像

最后进行识别，得到的结果如图7所示。

![62de2b8f056f76bc4e219d23239bc0af.png][]

图7 识别结果

# 识别 
    Text = pytesseract.image_to_string(out) 
    Print(“识别结果：" +text)

![717205cff2d5391ffcbeb13041c1888a.gif][]

实战案例

![8f3376393c7caf96cf1db520cb08c65c.gif][]

目前，很多网站为了防止爬虫肆意模拟浏览器登录，采用增加验证码的方式来拦截爬虫。验证码的形式有多种，最常见的就是图片验证码。

**1 基本识别原理概述**

1）每一幅图像在结构上，都是由一个个像素组成的矩阵，每一个像素都为单元格。

2）彩色图像的像素由三原色（红、绿、蓝）构成 元组，灰度图像的像素是一个单值，每个像素的值范围为（0, 255）。

某系统门户登录界面中的验证码如图8所示， 现在我们要实现自动的验证码识别。

![4e07e8c71946eb5cc46b2e0140b01211.png][]

图8 验证码

**2 图像特征 **

首先，我们仔细观察一下这个验证码图像，可以发现一些如图9所示的固定特征。

1）验证码中的字符数始终为 6，并且是灰度图像。

2）字符间的间隔看起来每次都一样。

3）每个字符都是完全定义的。

4）图像有许多杂散的黑暗像素，以及穿过图像的线条作为干扰因素。

![a3d1289d15696395186ea45af24ee0d9.png][]

图9 固定特征

**3 图像分析 **

使用一个工具（binary-image）以二进制形式可视化图像（0 表示黑色像素，1 表示白色像 素）。图像尺寸为 45×180，每个字符分配 30 个像素的空间来进行适配，从而使它们的间隔比 较均匀。因此，取得了验证码识别路上的第一步。如图10所示的结果：把图像裁剪成 6 个不同的部分，每个部分的宽度均为 30 像素。

![0e240f8c37c0b9d4c0629477180c07a4.png][]

图10 二进制可视化图像

**4 字符部分裁剪**

图像裁剪的语法如下：

from PIL import Image 
    image = Image.open("filename.png") 
    cropped_image = image.crop((left, upper, right, lower)

比如要裁剪第一个字符：

from PIL import Image 
    image = Image.open("captcha.png").convert("L") 
    cropped_image = image.crop((0, 0, 30, 45))
    cropped_image.save("cropped_image.png")

得到的图像如图11所示。

![82bfed4766cba39ec4434cf869961089.png][]

图11 结果图像

将其打包到一个循环中，编写了一个简单的脚本，从该站点获取 500 个验证码图像，并将所有裁剪后的字符保存到一个文件夹中。

**5 图像去杂 **

为了“清理”图像中的干扰因素（删除不必要的线和点），我们可以使用一个很简单的算法：字符中的所有像素都是纯黑色（0）。如果它不是完全黑色的，则将它当成白色的。因此，对于值大于0的每个像素，将给其重新赋值为255。使用 load() 函数将图像转换为 45×180 数字矩阵，然后对其进行处理。

pixel_matrix = cropped_image.load() 
    for col in range(0, cropped_image.height): 
    for row in range(0, cropped_image.width):
    if pixel_matrix[row, col] != 0: 
    pixel_matrix[row, col] = 255
    image.save("thresholded_image.png"

为了清晰起见，将代码应用于原始图像。原始图像如图12所示。

![37de92daf587e055cd0f39a75be5ea3c.png][]

图12 原始图像

矫正后的图像如图13所示。

![866c54668f160157eec0660febb570bc.png][]

图13 矫正后的图像

可以看到，并非完全黑暗的所有像素都被删除了，比如通过图像的线。上述方法在图像处理 中的专业术语叫作阈值处理，当然还有很多其他的处理方法，阈值处理只是最简单实用的方法。

**6 去除图像中的黑点 **

图像中有许多杂散的黑暗像素作为干扰因子。循环遍历图像矩阵，如果相邻像素是白色的，并且与相邻像素相对的像素也是白色的，而中心像素是黑色的，则设定中心像素为白色。

for column in range(1, image.height - 1)：
    for row in range(1, image.width - 1)：
    if pi xel_matrix[row, column] == 0 and pixel_matrix[row, column - 1] == 255 and
    pixel_matrix[row, column + 1] == 255：
    pixel_matrix[row, column] = 255
    if pi xel_matrix[row, column] == 0 and pixel_matrix[row - 1, column] == 255 and
    pixel_matrix[row + 1, column] == 255：
    pixel_matrix[row, column] = 25

处理后的结果如图14所示。

![128f1a43c0ff9c88743b364396ad8493.png][]

图14 处理后的结果

经过以上步骤的处理，图像已经只剩下字符框架了。虽然有些字符已经丢失了一些基础像 素，但是每个字符的图像骨架基本上都完备。当然这个是必需的，我们进行这么多处理的主要 目的就是为每个可能的字符都截取生成合适的字符图。

**7 构建字符图库 **

将上述算法裁剪得到的所有字符图像都存储于文件夹下。下一个任务是为属于“ A-Z0-9” 的每个字符找到至少一个样本图像（如图15所示）。这一步就像“训练”步骤，手动为每个 字符选择了一个字符图像并对其更名。

![1f3b44a37630dcadcabf6fcd93de3745.png][]

图15 样本图像

**8 选择最优的字符图 **

运行其他几个脚本，以确保每个字符的图像中都有最佳的图像，例如，如果有 20 个“ A” 的字符图像，那么暗色数量最少的图像显然是噪声最少的图像，因此最适合作为骨架图像。选择的原则如下：

1）一个按照字符排序的相似图像（约束条件：黑色像素数量大小，并且相似度 > = 90%～95%）。

2）一个从每个分组字符获得的最佳图像。因此，到目前为止，我们生成了一个像素图像库。我们将其转换为像素矩阵，并将位图字符图转为数字点阵 JSON 文件。

**9 识别算法 **

最后是获取任何新的验证码图像的算法：使用相同的算法尽量减少新图像中不必要的干扰因子。对于新验证码图片中的每个字符，强制通过与生成的 JSON 文件的像素矩阵来匹配，基 于相应的黑色像素匹配来计算相似度。如果一个像素是黑色的，其在图像中的位置恰好是待破 解的验证码，并且此像素位于字符库中的骨架图像 / 位图内的相同位置处，则计数会递增 1。与骨架图像中黑色像素的数量进行对比，计算匹配百分比，选择具有最高匹配百分比的字符就是识别结果的字符。

最终结果如图16所示，若得到的字符为 Z5M3MQ，则验证码被成功识别出来了。

![ab155fe2a971d0614a97c8e2e9feef9b.png][]

图16 识别结果

本文摘编于《Python网络爬虫技术与实践》，经出版方授权发布。

**---\--\---\---\---\--\---** **送书** **---\--\---\--\---\---\--\-**

内容简介

1、如正文所介绍的那样。

**活动规则**

**参与方式**：在下方公众号后台回复 “**送书**”关键字，记得是“**送书**”二字哈，即可参与本次的送书活动。

**公布时间**：2021年6月17号（周四）晚上20点

**领取事宜**：请小伙伴添加小助手微信: WebFighting，或者扫码添加好友。添加小助手的每一个人都可以领取一份Python学习资料，更重要的是方便联系。

![c7aeeee11a9a4d5a290af3e6a751c2e0.png][]

**注意事项**：一定要留意微信消息，如果你是幸运儿就尽快在小程序中填写收货地址、书籍信息。一天之内没有填写收货信息，送书名额就转给其他人了噢，欢迎参与

[c1a39d6380f69bba9754fdff3448da65.png]: /images/20221005/676f9f599bdf440aad28589d00cd9759.png
[e636253a2703f4e50f0624ae95d65ace.gif]: /images/20221005/988c7c2cec194babab04867b87b86066.png
[61b034f015ad3cc707a920089d7fc5ae.gif]: /images/20221005/3d1cea0a534149f5bd1450037a042b05.png
[8b20576e923cbded97dd4ff245f497a7.png]: /images/20221005/3d1761cb6348462db660eedf5dbab698.png
[e1dac7504c1d3845595a3cbff8becdc5.png]: /images/20221005/874640c72d0f4c0291bcc094751a332a.png
[31d0b630e9e92954bd92d91f5e317bf7.png]: /images/20221005/2875551afd5f4e8ba93cf58f96fc4670.png
[c704d1ba69b9fd352a41597f163a3041.gif]: /images/20221005/f9c9e65c45c648e7ba9c2b8defefd166.png
[a944140e431fe84477e4a9828c975552.gif]: /images/20221005/e00cae95291c4c51b66816e183fbb902.png
[3f9473c90ee4b63a329f4721c5a267db.png]: /images/20221005/80523da78b7c4a39b87118990c4be0f5.png
[74665b6a1d27d8f5f5b5ffe307a22c8d.png]: /images/20221005/b18da9127ef1454993e1f5eeb837fb20.png
[62de2b8f056f76bc4e219d23239bc0af.png]: /images/20221005/fc1c4132930848a28b284ea91a234267.png
[717205cff2d5391ffcbeb13041c1888a.gif]: /images/20221005/12a96bb3bd8040d6817a7cb61e75913d.png
[8f3376393c7caf96cf1db520cb08c65c.gif]: /images/20221005/2bb899a618e54a28be69ac0fadb4ae9c.png
[4e07e8c71946eb5cc46b2e0140b01211.png]: /images/20221005/4e7cd47173584e9fac6912aff1882f22.png
[a3d1289d15696395186ea45af24ee0d9.png]: /images/20221005/b0c8c4b9866a4bf89430602976008b87.png
[0e240f8c37c0b9d4c0629477180c07a4.png]: /images/20221005/7598d6772f8943228c5d856d540949f1.png
[82bfed4766cba39ec4434cf869961089.png]: /images/20221005/613e4499e2af44dbaca9ef906cd4256e.png
[37de92daf587e055cd0f39a75be5ea3c.png]: /images/20221005/002a0e644d1c4e8fa89cbc2690a5e390.png
[866c54668f160157eec0660febb570bc.png]: /images/20221005/6f99e84364a74ad48762f84d8ddfa61e.png
[128f1a43c0ff9c88743b364396ad8493.png]: /images/20221005/a13f313ac68f4b9eae1610003d04d7ac.png
[1f3b44a37630dcadcabf6fcd93de3745.png]: /images/20221005/ed7e2ffe27f44aaaa05f816ab2c75533.png
[ab155fe2a971d0614a97c8e2e9feef9b.png]: /images/20221005/a25269876275433fbb2b250929027052.png
[c7aeeee11a9a4d5a290af3e6a751c2e0.png]: /images/20221005/a4228dcdc78c49fa8f4af75d66b6448c.png