Python项目实战篇——常用验证码标注&识别(数据采集/预处理/字符图切割）

心已赠人 2022-09-11 03:25 110阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

愿得此身长报国，何须生入玉门关。

##     大家好，我是Snowball。 ##

## 一、前言 ##

上一篇文章小编给大家讲解了需求分析和实现思路，[Python项目实战篇——常用验证码标注和识别(需求分析和实现思路)][Python]，这篇文章继续沿着上一篇文章的内容，给大家讲解下数据采集/预处理/字符图切割内容。

## 二、数据采集 ##

数据采集：根据图片验证码链接进行批量下载图片，最开始时下载个20张先进行手动改文件名进行标注，下载这块代码编写不难，这里不贴代码了，见image\_download.py文件。

## 三、预处理 ##

预处理：根据需求分析中的字符切割描述，针对笔者的图片验证码案例情况，需要先进行常规验证码图片预处理，预处理通过OpenCV库实现，处理过程为：

原始图->灰度图->中值滤波->二值化->轮廓检测绘制（部分情况才可以加）->字符切割填充

大概过程功能简单描述如下，详细原理可以参考OpenCV相关文章和视频，引用链接：

[3.OpenCV文章专栏](https://blog.csdn.net/yukinoai/category_9283880.html)
    [4.OpenCV-Python视频](https://www.bilibili.com/video/BV1tb4y1C7j7)

**原始图(RGB)转灰度图**：去除颜色信息，减少图片大小，单通道值方便滤波处理。读者可以脑洞一下，不去除颜色信息，能提取到指定字符颜色的轮廓吗？

**灰度图中值滤波**：进行噪音去除，取中间像素平均值

**二值化**：只留下0、255二种值，方便轮廓检测

**轮廓检测**：这一步主要用于提取字符轮廓矩形坐标，不适合字符挨得特别紧的情况

**字符切割填充**：根据生成的字符轮廓图片矩形坐标进行切割再填充对齐到指定宽高

具体执行效果如下：

![8411fc4243b2f4ca78f2bf8d00997a40.png][]

下面是预处理过程部分核心代码，详细代码见image\_split.py文件。

def pre_process_image(img, file_name):
        # 去除边缘
        img = img[2:-2, 2:-2]
        # print(img.shape)
    
    
        #得到灰度图
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        # show("gray", gray)
    
    
        #去除噪音
        blur = cv2.medianBlur(gray, 3)
        # show("blur", blur)
    
    
        temp = gray.mean().item()
        #二值化
        ret, threshold = cv2.threshold(blur, temp, 255, cv2.THRESH_BINARY)
        # show("threshold", threshold)
    
    
        #保存二值化图片
        if IS_SAVE_FILE:
            cv2.imwrite(DST_IMG_DIR + file_name + "_threshold.png", threshold)
        return threshold

执行图片预处理程序后具体效果图1-3如下：

轮廓检测绘制结果1：

![10705bf3169047bcb7c5e1d328fb27f3.png][]

根据图片轮廓进行字符切割结果2：

![fb67698fa850fa9926d8d07edc353692.png][]

根据字符切割图片进行文件分类结果3：

![8d88b12309577e4342709ee02bb5eae2.png][]

以上就是字符图片切割的全部过程了，核心过程代码如下：

def split_image(file_path):
        file_name = get_file_name(file_path)
        img = read_image(file_path)
    
    
        #验证码预处理
        threshold = pre_process_image(img, file_name)
    
    
        #查找轮廓边界列表
        contours = find_counters(threshold)
    
    
        #过滤合适的轮廓矩形列表
        rect_list,result_rect = get_filter_rect(contours, img, file_name)
    
    
        #分割矩形图片
        return split_rect_img(file_path, threshold, rect_list, result_rect)

详细代码可以阅读源码，这里说一下这个过程中笔者编写预处理代码遇到的几个问题：

1.  部分图片轮廓检测可以检测到多个轮廓，部分图片只有1-2个轮廓，部分可能一个轮廓都没有，这里代码进行了相应的调整处理，比如过滤大的外部轮廓和较小的内部轮廓，根据剩下的轮廓进行坐标排序，根据部分坐标得到所有字符轮廓
2.  得到4个字符轮廓图片后，每个图片大小不一致，需要进行大小补齐，这个宽高参数需要根据数据集进行调整

以上就是数据采集/预处理的实现过程了，这里稍微说下学习OpenCV相关知识过程的情况，笔者是采用文章+视频间断性学习，大概是20-40个小时左右，然后再开始写具体字符图片切割的代码，读者可根据自己的时间安排学习速度，建议工具类的东西是快速学习，现学现用。好的，接下来介绍高效率、可复用的通用图片验证码数据标注功能实现。

## 四、总结 ##

我是Snowball。上一篇文章给大家分享了，[Python项目实战篇——常用验证码标注和识别(需求分析和实现思路)][Python]，这篇内容主要讲解了常用验证码标注&识别的数据采集/预处理的实现过程。下一篇文章，小编给大家介绍高效率、可复用的通用图片验证码数据标注功能实现。

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

![e6340aeb0e7dd19e31cf373f169e6f36.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你用Pyecharts库对淘宝数据进行可视化展示][Pyecharts]
 *  [手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理][Pandas]
 *  [盘点Flask与数据库的交互插件--Flask-Sqlalchemy][Flask_--Flask-Sqlalchemy]  
    
 *  [盘点那些年我们一起玩过的网络安全工具][Link 1]

![a5cdfb5a67c51b911de2261290fe6904.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b031cbb73927623bd7e4846ddaaa95722aff57c47f9ed560e234cb7c1c01d761cece193b&idx=1&mid=2247497242&scene=21&sn=ec08afcfd5e5533de3158d4e2c96f36b#wechat_redirect
[8411fc4243b2f4ca78f2bf8d00997a40.png]: /images/20220828/bb67366f3660462284c15ca21ea44a32.png
[10705bf3169047bcb7c5e1d328fb27f3.png]: /images/20220828/82569003fe3e42ceb9c22d1c35b16bcb.png
[fb67698fa850fa9926d8d07edc353692.png]: /images/20220828/3a7cc8938c8f44a3a68ad4dc2bc391d5.png
[8d88b12309577e4342709ee02bb5eae2.png]: /images/20220828/da419aed6a5e4828bf17574c03ba9db7.png
[e6340aeb0e7dd19e31cf373f169e6f36.png]: /images/20220828/e941500727b64927ad59a3d00bd0f8b1.png
[Pyecharts]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b33ccbb73a2a1f4d56275c695dbe8e9ad08cbd54bffa1f20c4de6a434378c9e63967390a&idx=1&mid=2247496983&scene=21&sn=b3db9b4cf5f129b660448bb3d7beed8c#wechat_redirect
[Pandas]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b32ecbb73a3899a12142429ce31e0758595bb6f46d69be7559f84d5814a48dfcf9a0b05d&idx=1&mid=2247496965&scene=21&sn=f34b655ead49dadd8abb24463e2e607f#wechat_redirect
[Flask_--Flask-Sqlalchemy]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b2bdcbb73bab9267a53ac5bd3a6f4af4cc76c521f4c5ebef7aa1351039776291289f2b48&idx=1&mid=2247496854&scene=21&sn=60c64c22e97ce97756857b7dae96996e#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4b9cbb73daf05e46ffc74d8f3c5257db082f8592bc1d4dbd9a536491866367fe160c5ef&idx=1&mid=2247496338&scene=21&sn=cc109289ced145f50e1dfff0f67fc5f3#wechat_redirect
[a5cdfb5a67c51b911de2261290fe6904.png]: /images/20220828/5553d0f0361447d6a8729643df0368fd.png