这就是神经网络 18：深度学习-文字识别OCR-CRNN

系统管理员 2022-01-31 06:36 526阅读 0赞

# 概述 #

在之前项目中用过CRNN做OCR,我在这里记录一下我对这个算法的理解,我没有对比代码去看，主要结合别人的博客略读论文。

声明一下，主要参考了文末的《一文读懂CRNN+CTC文字识别》这篇文章，基本讲的非常易懂。另外，本算法的难点在于CTC的理解， 基本上参考文末的《Sequence Modeling  
With CTC》这篇文章能够比较好的有个理解，参考资料里的另一篇博客《CTC算法详解》基本可以看做是对它的翻译，质量还行。但是整体来说，《一文读懂CRNN+CTC文字识别》这篇文章基本就够了，CTC讲的也很详细。

# 推理流程 #

网络主要分为卷积层、循环层和翻译层这三块。推理的时候，主要流程如下：

*  图像被缩放为32xWx3的大小（宽度不需要固定，高度固定为32就行）
 *  经过卷积层之后，输出1x(W/4)x512大小的特征
 *  上述特征作为循环层（LSTM）的输入。此时我们把这个特征当做一个序列，序列长度为T=W/4，每个1x512的特征被认为是一帧数据，共T帧。
 *  LSTM输出为TxN（N为数据集里的字符数），每一帧对应一个1XN的特征，softmax处理后可代表着一帧数据在所有字符上的分类概率
 *  最后，翻译层把softmax处理后的数据翻译为后验概率最大的序列
 *  预测序列做后处理，合并重复的字符，得到最终输出

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70]

# 卷积层网络结构 #

32xWx3的大小的图片经过卷积层之后，变为1x(W/4)x512大小的特征。也就是说它在垂直方向的缩放倍数为32，在水平方向的缩放倍数为4。

卷积层主要是为了从图像中提取特征序列，它的输出作为递归层的输入。这个网络是从VGG修改而来，在CRNN发表的年代这无可厚非，当前可以用ResNet等思想去做改进。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 1]

# 循环层 #

递归层对特征序列进行预测，每一帧的输出值经过softmax之后，表示这一帧数据在素有字符上的分类概率。

文章认为对于序列的预测，序列的前向信息和后向信息都有助于序列的预测，所以文章采用了双向RNN网络。LSTM神经元的结构和双向RNN结构如下图所示。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 2]

# 翻译层 #

翻译分为两种，一种是带字典的，一种是没有字典的。

这一块我不太熟。

# loss函数 #

训练过程就是让下面的LOSS函数最小化：

![在这里插入图片描述][20190515213244717.png]

P(X|Y)的计算思想如下：

![在这里插入图片描述][20190515213300230.png]

因为LSTM的帧数是远大于最终输出字符数的，所以可能对应多种预测都对应正确的label（如下图）。上图中红框内对应一个路径上所有节点的概率乘积，上图蓝框中的符号表示所有正确路径的概率相加求和。所以我们的LOSS要做的就是让P(X|Y)最大化。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 3]  
推理的时候显然不能找遍所有的路径比较P(X|Y)。所以推理的时候一般用贪心算法或者Beam Search（集束搜索）来快速找到一条或几条概率最大的路径作为候选。

# CTC #

CTC本身非常复杂，很难几句话说清的。

就说几个特点吧：

*  CTC是一种Loss计算方法，用CTC代替Softmax Loss，**训练样本无需对齐**（这一点相当重要）
 *  引入blank字符，解决有些位置没有字符的问题
 *  通过递推，快速计算梯度

重点说一下第三点，一般来说会有很多种路径符合预测序列，怎么快速计算出他们的概率乘积乘积呢。这里利用了一个动态规划的算法来计算，一句话来说就是利用了类似HARR-like里的积分图技巧，递推计算。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 4]

CTC的一个非常不合理的假设是其假设每个时间片都是相互独立的，这是一个非常不好的假设。在OCR或者语音识别中，各个时间片之间是含有一些语义信息的，所以如果能够在CTC中加入语言模型的话效果应该会有提升。如果CTC前面接的是LSTM的话，每个序列的预测还算借助了上下文的，但是在CTC这边没有体现出来。

# 参考资料 #

CRNN论文原文链接：[An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition][]

good:[Sequence Modeling  
With CTC][Sequence Modeling With CTC]

[CRNN算法详解][CRNN]

good:[详解CTC][CTC]

[CTC算法详解][CTC 1]

[CRNN论文翻译——中文版][CRNN 1]

good:[一文读懂CRNN+CTC文字识别][CRNN_CTC]

[语音识别中的CTC算法的基本原理解释][CTC 2]

[语音识别：深入理解CTC Loss原理][CTC Loss]

[Beam Search（集束搜索/束搜索）][Beam Search]

[腾讯数平精准推荐 | OCR技术之识别篇][_ OCR]

这个方案是用GAN去水印，CTPN做文字检测，CRNN文字识别：[一种去水印的营业执照识别方法][Link 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70]: /images/20220131/4c5dc84d2f52444b9a4861d0e3b98608.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 1]: /images/20220131/603692563b994ba1ab98a62bad20f1e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 2]: /images/20220131/dc7c5992f7904a1fb33a0a7df6f0b99d.png
[20190515213244717.png]: /images/20220131/cc67fbc05e4349978ce63c4d04ddb112.png
[20190515213300230.png]: /images/20220131/9cfda77e9f654c53834e3c7092ccf0ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 3]: /images/20220131/6830619158ee404289ae1b1ff602b57a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 4]: /images/20220131/9c6d1a18733d4ccab59f5437c8032df2.png
[An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition]: https://arxiv.org/pdf/1507.05717.pdf
[Sequence Modeling With CTC]: https://distill.pub/2017/ctc/
[CRNN]: https://blog.csdn.net/liuxiaoheng1992/article/details/88826043
[CTC]: https://zhuanlan.zhihu.com/p/42719047
[CTC 1]: https://blog.csdn.net/liuxiaoheng1992/article/details/83660557
[CRNN 1]: https://www.jianshu.com/p/14141f8b94e5
[CRNN_CTC]: https://zhuanlan.zhihu.com/p/43534801
[CTC 2]: https://blog.csdn.net/luodongri/article/details/80100297
[CTC Loss]: https://blog.csdn.net/Left_Think/article/details/76370453
[Beam Search]: http://www.cnblogs.com/xxey/p/4277181.html
[_ OCR]: https://zhuanlan.zhihu.com/p/34584411
[Link 1]: https://blog.csdn.net/u013293750/article/details/80896420