利用jTessBoxEditor工具进行Tesseract3.02.02样本训练，提高验证码识别率

￡神魔★判官ぃ 2024-04-18 20:01 72阅读 0赞

# 1、背景 #

前文已经简要介绍tesseract ocr引擎的安装及基本使用，其中提到使用-l eng参数来限定语言库，可以提高识别准确率及识别效率。

本文将针对某个网站的验证码进行样本训练，形成自己的语言库，来提高验证码识别率。

# 2、准备工具 #

tesseract样本训练有一个官方流程说明，[https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesseract\#run-tesseract-for-training][https_github.com_tesseract-ocr_tesseract_wiki_TrainingTesseract_run-tesseract-for-training]，不过都是英文的，个人认为这个地址适合于查找细节问题，全程看E文对大众还是有一定的困难。

具体的方法有两种：1-利用三方工具，2-完全命令行操作，三方工具主要在[https://github.com/tesseract-ocr/tesseract/wiki/AddOns][https_github.com_tesseract-ocr_tesseract_wiki_AddOns]下载，本文将用到[jTessBoxEditor][]这个工具，我们先给他下载到本地。

需要特别说明，这个工具是基于java虚拟机运行的，所以我们还要下载并安装一个java虚拟机，下载地址：[http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-windows-x64.exe?AuthParam=1463733597\_1161f2d895aa7606ed260b43b83d5f86][http_download.oracle.com_otn-pub_java_jdk_8u91-b14_jdk-8u91-windows-x64.exe_AuthParam_1463733597_1161f2d895aa7606ed260b43b83d5f86]。

总结一下：

1、工具2 [java虚拟机][http_download.oracle.com_otn-pub_java_jdk_8u91-b14_jdk-8u91-windows-x64.exe_AuthParam_1463733597_1161f2d895aa7606ed260b43b83d5f86]  Ver 1.8.0\_91 64位版本 （oracle官网）

2、工具1 [jtessboxeditor][jTessBoxEditor]  Ver 1.5版本 （jtessboxeditor官网），运行界面如下：

![format_png][]

# 3、使用实例 #

## 1)、准备样本图片 ##

手动刷新某网站验证码![format_png 1][]，手动或者写程序，保存了101个验证码样本文件，分别命名成：1.png，2.png，……，101.png。

该验证码有几个特点：a、定长4位，b、都是数字，c、有背景干扰，但比较简单，d、字体为红色。

为了提高识别率，首先做了一个工作就是灰度化处理![format_png 2][]，并全部转换成tif文件，分别命名成：1.tif，2.tif，……，101.tif，统一存放在d:\\python\\lnypcg下。

## 2)、合并样本图片 ##

打开jtessboxeditor，点击Tools->Merge Tiff ，按住shift键选择前文提到的101个tif文件，并把生成的tif合并到新目录d:\\python\\lnypcg\\new下，命名为langyp.fontyp.exp0.tif。

注意：langyp 是本人定义的语言名称，fontyp是本人定义的字体名称，后续都会用到，你可以修改成你喜欢的名字*。*

## 3)、生成box文件 ##

执行命令生成**langyp.fontyp.exp0.box**文件

tesseract langyp.fontyp.exp0.tif langyp.fontyp.exp0 -l eng -psm 7 batch.nochop makebox

D:\python\lnypcg\new>tesseract langyp.fontyp.exp0.tif langyp.fontyp.exp0 -l eng -psm 7 batch.nochop makebox
    Tesseract Open Source OCR Engine v3.02 with Leptonica
    Page 1 of 101
    Page 2 of 101
    Page 3 of 101
    ……
    Page 101 of 101
    
    D:\python\lnypcg\new>dir
     驱动器 D 中的卷没有标签。
     卷的序列号是 36D9-CDC7
    
     D:\python\lnypcg\new 的目录
    
    2016-06-03  14:37    <DIR>          .
    2016-06-03  14:37    <DIR>          ..
    2016-06-03  14:30             6,327 langyp.fontyp.exp0.box
    2016-06-03  13:07           126,056 langyp.fontyp.exp0.tif
    个文件        132,383 字节
    个目录 24,869,994,496 可用字节

## 4)、修改box文件 ##

切换到jTessBoxEditor工具的Box Editor页，点击open，打开前面的tiff文件langyp.fontyp.exp0.tif，工具会自动加载对应的box文件。

检查box数据，如下图所示，数字8被误认成字母H，手工修改H成8，并保存。

点击下图红色框的按钮，逐个核对tif文件的box数据，全部检查结束并保存。

![format_png 3][]

## 5)、生成font\_properties ##

执行echo命令生成font\_properties。

echo fontyp 0 0 0 0 0 >font_properties

也可以手工新建一个名为font\_properties的文本文件（注意该文件没有扩展名），内容为字体名fontyp，后面带5个0，分别代表字体的粗体、斜体等属性，这里全部是0

D:\python\lnypcg\new>echo fontyp 0 0 0 0 0 >font_properties
    
    D:\python\lnypcg\new>type font_properties
    fontyp 0 0 0 0 0

## 6)、生成训练文件 ##

执行命令，生成langyp.fontyp.exp0.tr训练文件

tesseract langyp.fontyp.exp0.tif langyp.fontyp.exp0 -l eng -psm 7 nobatch box.train

D:\python\lnypcg\new>tesseract langyp.fontyp.exp0.tif langyp.fontyp.exp0 -l eng -psm 7 nobatch box.train
    Tesseract Open Source OCR Engine v3.02 with Leptonica
    Page 1 of 101
    row xheight=8.66667, but median xheight = 10
    APPLY_BOXES:
       Boxes read from boxfile:       4
       Found 4 good blobs.
    Generated training data for 1 words
    ……
    ……
    ……
    Page 101 of 101
    row xheight=8.66667, but median xheight = 10
    APPLY_BOXES:
       Boxes read from boxfile:       4
       Found 4 good blobs.
    Generated training data for 1 words
    
     D:\python\lnypcg\new 的目录
    
    2016-06-03  16:34    <DIR>          .
    2016-06-03  16:34    <DIR>          ..
    2016-06-03  16:05                16 font_properties
    2016-06-03  14:30             6,327 langyp.fontyp.exp0.box
    2016-06-03  13:07           126,056 langyp.fontyp.exp0.tif
    2016-06-03  16:20           618,844 langyp.fontyp.exp0.tr
    2016-06-03  16:20               202 langyp.fontyp.exp0.txt
    个文件        751,445 字节
    个目录 24,869,101,568 可用字节

## 7)、生成字符集文件 ##

执行命令，生成名为unicharset的字符集文件。

unicharset_extractor langyp.fontyp.exp0.box

D:\python\lnypcg\new>unicharset_extractor langyp.fontyp.exp0.box
    Extracting unicharset from langyp.fontyp.exp0.box
    Wrote unicharset file ./unicharset.
    
    D:\python\lnypcg\new>dir
     驱动器 D 中的卷没有标签。
     卷的序列号是 36D9-CDC7
    
     D:\python\lnypcg\new 的目录
    
    2016-06-03  16:41    <DIR>          .
    2016-06-03  16:41    <DIR>          ..
    2016-06-03  16:05                16 font_properties
    2016-06-03  14:30             6,327 langyp.fontyp.exp0.box
    2016-06-03  13:07           126,056 langyp.fontyp.exp0.tif
    2016-06-03  16:20           618,844 langyp.fontyp.exp0.tr
    2016-06-03  16:20               202 langyp.fontyp.exp0.txt
    2016-06-03  16:41               712 unicharset
    个文件        752,157 字节
    个目录 24,869,171,200 可用字节

## 8)、生成shape文件 ##

执行命令，生成shape文件

shapeclustering -F font_properties -U unicharset -O langyp.unicharset langyp.fontyp.exp0.tr

D:\python\lnypcg\new>shapeclustering -F font_properties -U unicharset -O langyp.unicharset langyp.fontyp.exp0.tr
    Reading langyp.fontyp.exp0.tr ...
    Building master shape table
    Computing shape distances...
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances...
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances...
    Stopped with 0 merged, min dist 999.000000
    Computing shape distances... 0 1 2 3 4 5 6 7 8 9 10
    Stopped with 0 merged, min dist 0.057803
    Master shape_table:Number of shapes = 11 max unichars = 1 number with multiple unichars = 0
    
    D:\python\lnypcg\new>dir
     驱动器 D 中的卷没有标签。
     卷的序列号是 36D9-CDC7
    
     D:\python\lnypcg\new 的目录
    
    2016-06-03  17:24    <DIR>          .
    2016-06-03  17:24    <DIR>          ..
    2016-06-03  17:20                19 font_properties
    2016-06-03  14:30             6,327 langyp.fontyp.exp0.box
    2016-06-03  13:07           126,056 langyp.fontyp.exp0.tif
    2016-06-03  17:23           618,844 langyp.fontyp.exp0.tr
    2016-06-03  17:23               202 langyp.fontyp.exp0.txt
    2016-06-03  17:24               723 langyp.unicharset
    2016-06-03  17:24               202 shapetable
    2016-06-03  17:24               712 unicharset
    个文件        753,085 字节
    个目录 24,868,278,272 可用字节

## 9)、生成聚集字符特征文件 ##

执行命令，生成3个特征字符文件，unicharset、inttemp、pffmtable

mftraining -F font_properties -U unicharset -O langyp.unicharset langyp.fontyp.exp0.tr

D:\python\lnypcg\new>mftraining -F font_properties -U unicharset -O langyp.unicharset langyp.fontyp.exp0.tr
    Read shape table shapetable of 11 shapes
    Reading langyp.fontyp.exp0.tr ...
    Done!

## 10)、生成字符正常化特征文件 ##

执行命令，生成正常化特征文件normproto。

cntraining langyp.fontyp.exp0.tr

D:\python\lnypcg\new>cntraining langyp.fontyp.exp0.tr
    Reading langyp.fontyp.exp0.tr ...
    Clustering ...

## 11)、更名 ##

执行命令，把步骤9，步骤10生成的特征文件进行更名。

rename normproto fontyp.normproto
    rename inttemp fontyp.inttemp
    rename pffmtable fontyp.pffmtable 
    rename unicharset fontyp.unicharset
    rename shapetable fontyp.shapetable

D:\python\lnypcg\new>rename normproto fontyp.normproto
    
    D:\python\lnypcg\new>rename inttemp fontyp.inttemp
    
    D:\python\lnypcg\new>rename pffmtable fontyp.pffmtable
    
    D:\python\lnypcg\new>rename unicharset fontyp.unicharset
    
    D:\python\lnypcg\new>rename shapetable fontyp.shapetable

## 12)、合并训练文件 ##

执行命令，生成fontyp.traineddata文件。

combine_tessdata fontyp.

注意：

a、fontyp.traineddata文件最终要拷贝tesseract安装目录的tessdata目录下，才能被tesseract找到。

b、命令行最后必须带一个点。

c、执行结果中，1,3,4,5,13这几行必须有数值，才代表命令执行成功。

D:\python\lnypcg\new>combine_tessdata fontyp.
    Combining tessdata files
    TessdataManager combined tesseract data files.
    Offset for type 0 is -1
    Offset for type 1 is 140
    Offset for type 2 is -1
    Offset for type 3 is 852
    Offset for type 4 is 137760
    Offset for type 5 is 137850
    Offset for type 6 is -1
    Offset for type 7 is -1
    Offset for type 8 is -1
    Offset for type 9 is -1
    Offset for type 10 is -1
    Offset for type 11 is -1
    Offset for type 12 is -1
    Offset for type 13 is 139352
    Offset for type 14 is -1
    Offset for type 15 is -1
    Offset for type 16 is -1

## 13）测试使用 ##

譬如前文的28.tif![format_png 4][]中8被误认为字母S，用新的字体看是否还出错。

D:\python\lnypcg>tesseract 28.tif output -l eng -psm 7
    Tesseract Open Source OCR Engine v3.02 with Leptonica
    
    D:\python\lnypcg>type output.txt
    S094
    #1调用默认的eng语言，8被识别成S
    
    D:\python\lnypcg>tesseract 28.tif output -l fontyp -psm 7
    Error opening data file C:\Program Files (x86)\Tesseract-OCR\tessdata/fontyp.traineddata
    Please make sure the TESSDATA_PREFIX environment variable is set to the parent directory of your "tessdata" directory.
    Failed loading language 'fontyp'
    Tesseract couldn't load any languages!
    Could not initialize tesseract.
    #2条用新的fontyp语言，tesseract找不到fontyp语言。
    
    D:\python\lnypcg>copy .\new\fontyp.traineddata "C:\Program Files (x86)\Tesseract-OCR\tessdata"
    已复制         1 个文件。
    #3复制fontyp.traineddata到tesseract的安装目录的tessdata子目录下
    
    D:\python\lnypcg>tesseract 28.tif output -l fontyp -psm 7
    Tesseract Open Source OCR Engine v3.02 with Leptonica
    
    D:\python\lnypcg>type output.txt
    #使用fontyp语言成功识别8094

# 4、总结： #

Anyway，[jtessboxeditor][jTessBoxEditor] 工具其实是一个基本成型的三方样本训练工具，它的功能就是自动执行上述脚本命令，但是在实际使用中，还存在不够完善的地方，譬如不能加psm参数，生成shape时经常程序异常崩溃，所以本文操作还是以命令行为主。

tesseract是一个非常强大的ocr引擎，尤其是做了针对性训练之后，验证码识别率几乎可以达到95%以上，再在程序中增加一些判断机制，基本上可以满足爬虫自动登陆需求了，回头写一个某东的自动识别验证码的爬虫程序。

把前文提的简化一下，综合成如下步骤列表：

1、合并图片
    2、生成box文件
    tesseract langyp.fontyp.exp0.tif langyp.fontyp.exp0 -l eng -psm 7 batch.nochop makebox
    3、修改box文件
    4、生成font_properties
    echo fontyp 0 0 0 0 0 >font_properties
    5、生成训练文件
    tesseract langyp.fontyp.exp0.tif langyp.fontyp.exp0 -l eng -psm 7 nobatch box.train
    6、生成字符集文件
    unicharset_extractor langyp.fontyp.exp0.box 
    7、生成shape文件
    shapeclustering -F font_properties -U unicharset -O langyp.unicharset langyp.fontyp.exp0.tr
    8、生成聚集字符特征文件
    mftraining -F font_properties -U unicharset -O langyp.unicharset langyp.fontyp.exp0.tr
    9、生成字符正常化特征文件
    cntraining langyp.fontyp.exp0.tr
    10、更名
    rename normproto fontyp.normproto
    rename inttemp fontyp.inttemp
    rename pffmtable fontyp.pffmtable 
    rename unicharset fontyp.unicharset
    rename shapetable fontyp.shapetable
    11、合并训练文件，生成fontyp.traineddata
    combine_tessdata fontyp.

[https_github.com_tesseract-ocr_tesseract_wiki_TrainingTesseract_run-tesseract-for-training]: https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesseract#run-tesseract-for-training
[https_github.com_tesseract-ocr_tesseract_wiki_AddOns]: https://github.com/tesseract-ocr/tesseract/wiki/AddOns
[jTessBoxEditor]: http://tenet.dl.sourceforge.net/project/vietocr/jTessBoxEditor/jTessBoxEditor-1.5.zip
[http_download.oracle.com_otn-pub_java_jdk_8u91-b14_jdk-8u91-windows-x64.exe_AuthParam_1463733597_1161f2d895aa7606ed260b43b83d5f86]: http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-windows-x64.exe?AuthParam=1463733597_1161f2d895aa7606ed260b43b83d5f86
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvNDE1NDc0LzIwMTYwNi80MTU0NzQtMjAxNjA2MDMxMjU2MDM1NzEtNTE2ODE5MTEyLnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvNDE1NDc0LzIwMTYwNi80MTU0NzQtMjAxNjA2MDMxMjMwMjM4ODMtNjIwNzEyNTMucG5n?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvNDE1NDc0LzIwMTYwNi80MTU0NzQtMjAxNjA2MDMxMjMxMjYzNTItMTA3OTk0MTM5OC5wbmc?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvNDE1NDc0LzIwMTYwNi80MTU0NzQtMjAxNjA2MDMxNzI5NTM1NTUtMjAzMTI5MDU2MS5wbmc?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvNDE1NDc0LzIwMTYwNi80MTU0NzQtMjAxNjA2MDMxODEyNTMzODMtMTExOTIyMzkwNy5wbmc?x-oss-process=image/format,png