教你搞定Airtest测试中文字识别

た入场券 2022-12-09 15:00 1511阅读 0赞

Airtest是一款 基于图像识别原理 的跨平台UI自动化测试框架，它能够根据大量的 特征点 来识别一个截图在当前画面中的位置，但是它并不能识别出截图中具体包含了什么文字。

而在自动化测试的过程中，我们会经常遇到需要进行文字识别的场景，比如 识别验证码 、 识别截图中的文字 、 读取截图中的数值 等等，遇到这些情况时我们可以如何处理呢？

今天教大家用一款免费的开源图像OCR文字识别软件 – Tesseract-OCR 来处理上述情况。

1.安装Tesseract-OCR.exe

在网上搜索“Tesseract”，我们可以找到很多Tesseract-OCR的下载链接和安装教程，大家可以选择其中一个版本下载到本地即可。

下载完成后双击进入安装，需要特别注意的是，在选择安装的组件时，我们需要把 Additional language data(download) 这一选项勾上，目的是 安装各个版本的语言包 ，后续我们就不用手动下载语言包来安装了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center]  
还有一点要注意的是，记住我们选择的软件安装路径，因为我们需要把这个路径添加到 系统环境变量 的 path 中：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 1]  
另外一个要新增的环境变量是 TESSDATA\_PREFIX ，如下图所示，未设置在识别过程中会报 Please make sure the TESSDATA\_PREFIX environment variable is set to the parent directory of your “tessdata” directory 的错误：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 2]  
完成以上工作后，我们可以在命令行用 tesseract -v 验证环境是否配置成功：

![在这里插入图片描述][20200922200548436.png_pic_center]  
2.在本地python环境中安装pytesseract  
因为我们最终要在python环境中使用 airtest 和 tesseract ，所以需要在本地的python环境中安装上 airtest 库和 pytesseract 库：

pip install airtest  
pip install pytesseract  
复制代码  
安装完毕后可以在命令行输入 pip list 检查安装结果：

![在这里插入图片描述][20200922200622236.png_pic_center]  
3.用airtest截图并识别截图文字  
打开我们的AirtestIDE，在 选项–设置–自定义python.exe路径 中设置我们刚才安装好对应库的python环境：  
![在这里插入图片描述][20200922200633823.png_pic_center]  
以之前官网提供的 poco demo的界面为例，我们用 airtest 把红框部分的截图截取下来，然后再利用 tesseract 把截图中的文字识别并打印出来：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 3]  
具体实现如下：

# -*- encoding=utf8 -*-
    __author__ = "AirtestProject"
    
    from airtest.core.api import *
    from airtest.aircv import *
    auto_setup(__file__)
    
    from PIL import Image
    import pytesseract
    
    # 局部截图
    screen = G.DEVICE.snapshot()
    local = aircv.crop_image(screen,(132,58,380,126))
    
    # 保存局部截图到指定文件夹中
    pil_image = cv2_2_pil(local)
    pil_image.save("D:/test/score0.png", quality=99, optimize=True)
    
    # 读取截图并识别截图中的文字
    image = Image.open(r'D:/test/score0.png')    
    text = pytesseract.image_to_string(image)
    print("-----------初始数据为--------------")
    print(text)

识别结果如下：  
![在这里插入图片描述][20200922200736855.png_pic_center]  
知识点：

① G.DEVICE.snapshot() ，对当前设备画面进行截图并保存在内存中。

② crop\_image() ，局部截图的方法，需要传入俩个参数，一个是内存中的截图，就像这里的 screen ，另一个是截取偏移 \[x\_min, y\_min, x\_max ,y\_max\] 。

③ Image.open() ，用来直接读取给定路径指向的图片

④ image\_to\_string() ，用来解析图片中的文字

4.识别验证码  
以下述验证码截图为例，该截图的保存路径为 D:/test/7364.jpg ：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 4]  
识别方式和结果如下：

# 识别验证码
    image2 = Image.open(r'D:/test/7364.jpg')    
    text2 = pytesseract.image_to_string(image2)
    print("-----------验证码为--------------")
    print(text2)
    log("验证码为："+text2)

![在这里插入图片描述][20200922201001547.png_pic_center]  
5.识别中文文字  
识别中文的方法和识别数字与英文基本一致，但比较特别的是，我们需要在 image\_to\_string() 方法中指定中文的语言参数（示例代码中指定了简体中文来识别截图）：  
![在这里插入图片描述][20200922201016429.png_pic_center]

# 识别中文
    image3 = Image.open(r'D:/test/3.png')    
    text3 = pytesseract.image_to_string(image3,lang='chi_sim')
    print("-----------识别出来的文字为：--------------")
    print(text3)
    log("识别出来的文字为："+text3)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 5]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 6]

上面是我收集的一些视频资源，在这个过程中帮到了我很多。如果你不想再体验一次自学时找不到资料，没人解答问题，坚持几天便放弃的感受的话，可以加入我们群【902061117】，里面有各种软件测试资源和技术讨论。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 7]

当然还有面试，面试一般分为技术面和hr面，形式的话很少有群面，少部分企业可能会有一个交叉面，不过总的来说，技术面基本就是考察你的专业技术水平的，hr面的话主要是看这个人的综合素质以及家庭情况符不符合公司要求，一般来讲，技术的话只要通过了技术面hr面基本上是没有问题（也有少数企业hr面会刷很多人）  
我们主要来说技术面，技术面的话主要是考察专业技术知识和水平，上面也是我整理好的精选面试题。  
加油吧，测试人！如果你需要提升规划，那就行动吧，在路上总比在起点观望的要好。事必有法，然后有成。  
资源不错就给个推荐吧~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/588256b5fab34a888b2f57dd5b397806.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/854652437d254b1f8c1b92f124e63018.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/20f84dbd6e4340c49556e7fe517d3254.png
[20200922200548436.png_pic_center]: /images/20221123/a4b41a0d031a4ffabf421ba4b5cf340c.png
[20200922200622236.png_pic_center]: /images/20221123/3cb1157b678d43ab95c0b48da1ae1f80.png
[20200922200633823.png_pic_center]: /images/20221123/03fe7c0b952b49a59ac8dda23e049942.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/3576b32e473341358c4313b4e963dc37.png
[20200922200736855.png_pic_center]: /images/20221123/d02714c11de74dca9c2ce75571b6ea49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/f15418fc5b754dc19975e160141e37f0.png
[20200922201001547.png_pic_center]: /images/20221123/0a04b56bdbae4432a685518f4d5bb0c9.png
[20200922201016429.png_pic_center]: /images/20221123/82df9a792cea4a829fd440a22c232853.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/2cc66758dbfa47be86e21498e283ce9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/8b854a0c43db437ba5558a7cc5b8fef2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lUX0xhblRpYW4_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/2b6e14b7e09c4f618227a865e1062c59.png