吊打一切现有开源OCR项目：效果再升7%，速度提升220%

骑猪看日落 2022-09-10 14:12 189阅读 0赞

**关注公众号，发现CV技术之美**

![b751b81a081d6fe4112c24ff4aae52b3.gif][]

壹、导读

#     #

OCR方向的工程师，之前一定听说过PaddleOCR这个项目，

其主要推荐的PP-OCR算法更是被国内外企业开发者广泛应用，

短短半年时间，**累计Star数量已超过15k**，

频频登上Github Trending和Paperswithcode 日榜月榜第一，

在《Github 2020数字洞察报告》中被评为**中国Github Top20活跃项目**，

称它为 **OCR方向目前最火的repo**绝对不为过。

最近，由PaddleOCR原创团队，针对PP-OCR进行了一些经验性改进，构建了一种新的OCR系统，称为PP-OCRv2。

★ 从算法改进思路上看，主要有五个方面的改进：

*  检测模型优化：采用CML协同互学习知识蒸馏策略；
 *  检测模型优化：CopyPaste数据增广策略；
 *  识别模型优化：LCNet轻量级骨干网络；
 *  识别模型优化：UDML 改进知识蒸馏策略；
 *  识别模型优化：Enhanced CTC loss损失函数改进。

★ 从效果上看，主要有三个方面提升：

*  在模型效果上，相对于PP-OCR mobile版本提升超7%；
 *  在速度上，相对于PP-OCR server版本提升超过220%；
 *  在模型大小上，11.6M的总大小，服务器端和移动端都可以轻松部署。

![7472b431180431b1a36d527e2a301f0e.png][]

*  GitHub项目：https://github.com/PaddlePaddle/PaddleOCR
 *  Arxiv文章地址：https://arxiv.org/abs/2109.03144

注：为了照顾刚了解PaddleOCR的新用户，在第二、三部分简单进行一些背景介绍，熟悉PaddleOCR的老用户可以直接跳到第四部分。

#     #

![3066ab9d3efc83f45085ec22fc1c0e17.gif][]

贰、PaddleOCR历史表现回顾

2020年6月，8.6M超轻量模型发布，**GitHub Trending 全球趋势榜日榜第一。**

2020年8月，开源CVPR2020顶会算法，再上GitHub趋势榜单！

2020年10月，发布PP-OCR算法，开源3.5M超超轻量模型，再上**Paperswithcode 趋势榜第一！**

2021年1月，发布Style-Text文本合成算法和PPOCRLabel数据标注工具，star数量突破10000+，在《Github 2020数字洞察报告》中被评为**中国Github Top20活跃项目。**

2021年4月，开源AAAI顶会论文PGNet端到端识别算法，Star突破13k。

2021年8月，开源版面分析与表格识别算法PP-Structure，Star突破15k。

2021年9月，发布PP-OCRv2算法，效果和速度再升级。

![5eec23b2718b52f27b87c98729077921.gif][]

![723a37b182a668d9ac870f8271a7743b.gif][]

叁、PaddleOCR开源能力速览

#     #

# **★ 通用文本检测识别效果**：支持通用场景下的OCR文本快速检测识别    #

![b832737c46ec1f50b0a76d9e76f462b1.gif][]

# **★ 文本合成工具Style-Text效果**：相比于传统的数据合成算法，Style-Text可以实现特殊背景下的图片风格迁移，只需要少许目标场景图像，就可以合成大量数据，效果展示如下： #

![3755f784d9c49070b62310f096a881e6.png][]

# ★ 半自动标注工具PPOCRLabel：通过内置高质量的PP-OCR中英文超轻量预训练模型，可以实现OCR数据的高效标注。CPU机器运行也是完全没问题的。用法也是非常的简单，标注效率提升60%-80%是妥妥的，效果演示如下： #

![8db893abe7af8bcb7570be6082992ac4.gif][]

# **★ 文档结构分析+表格提取PP-Structure**：可以对文档图片中的文本、表格、图片、标题与列表区域进行分类，还可以利用表格识别技术完整地提取表格结构信息，使得表格图片变为可编辑的Excel文件。 #

![e4c928ad8a2c54783ea05c940be24235.gif][]

![9e276fb5c031546a6238122f7b1b5a28.png][]

# **★ 核心能力全部可以自定义训练，动静统一的开发体验** #

动态图和静态图是深度学习框架常用的两种模式。在动态图模式下，代码编写运行方式符合Python程序员的习惯，易于调试，但在性能方面， Python执行开销较大，与C++有一定差距。相比动态图，静态图在部署方面更具有性能的优势。静态图程序在编译执行时，预先搭建好的神经网络可以脱离Python依赖，在C++端被重新解析执行，而且拥有整体网络结构也能进行一些网络结构的优化。

PaddleOCR依赖飞桨核心框架动静统一的能力，支持用户使用动态图编写组网代码。预测部署时，飞桨会对用户代码进行分析，自动转换为静态图网络结构，兼顾了动态图易用性和静态图部署性能两方面优势。

传送门：

Github：https://github.com/PaddlePaddle/PaddleOCR

**那么最近的2021年9月份更新，PaddleOCR又给大家带来哪些惊喜呢？**

![e38aa5779e8fdf69ed226bed22939574.gif][]

肆、PP-OCRv2五大关键技术点深入解读：

#     #

全新升级的PP-OCRv2版本，整体的框架图保持了与PP-OCR相同的Pipeline，如下图所示。

![191195c9bf10b7d3c4631a8f2d9f94f9.png][]

在优化策略方面，主要从五个角度进行了深入优化（如上图红框所示），主要包括：

*  检测模型优化：采用CML知识蒸馏策略
 *  检测模型优化：CopyPaste数据增广策略
 *  识别模型优化：LCNet轻量级骨干网络
 *  识别模型优化：UDML 知识蒸馏策略
 *  识别模型优化：Enhanced CTC loss 改进

下面展开详细介绍：

# **★ 检测模型优化**：采用CML (Collaborative Mutual Learning) 协同互学习知识蒸馏策略。 #

![5ca621b4ad71e22c4aedf9dcd86699f7.png][]

如上图所示，CML的核心思想结合了①传统的Teacher指导Student的标准蒸馏与 ②Students网络直接的DML互学习，可以让Students网络互学习的同时，Teacher网络予以指导。对应的，精心设计关键的三个Loss损失函数：GT Loss、DML Loss和Distill Loss，在Teacher网络Backbone为ResNet18的条件下，对Student的MobileNetV3起到了良好的提升效果。

# **★ 检测模型优化**：CopyPaste数据增广策略 #

![ed5d136dad72579507fbabd30536fd92.png][]

数据增广是提升模型泛化能力重要的手段之一，CopyPaste 是一种新颖的数据增强技巧，已经在目标检测和实例分割任务中验证了有效性。利用CopyPaste，可以合成文本实例来平衡训练图像中的正负样本之间的比例。相比而言，传统图像旋转、随机翻转和随机裁剪是无法做到的。

CopyPaste主要步骤包括：①随机选择两幅训练图像，②随机尺度抖动缩放，③随机水平翻转，④随机选择一幅图像中的目标子集，⑤粘贴在另一幅图像中随机的位置。这样，就比较好的提升了样本丰富度，同时也增加了模型对环境鲁棒性。

![ea290bf0aafe8dd94f03ca4ffccac427.png][]

经过以上两个检测方向的优化策略，PP-OCRv2检测部分的实验效果如下：

**★ 识别模型优化**：LCNet轻量级骨干网络

![dfc962ae06dc3d1d357867cd07f97c79.png][]

这里，PP-OCRv2的研发团队提出了一种基于MobileNetV1改进的新的骨干网络LCNet，主要的改动包括：

①除SE模块，网络中所有的relu替换为h-swish，精度提升1%-2%

②LCNet第五阶段，DW的kernel size变为5x5，精度提升0.5%-1%

③LCNet第五阶段的最后两个DepthSepConv block添加SE模块， 精度提升0.5%-1%

④GAP后添加1280维的FC层，增加特征表达能力，精度提升2%-3%

# **★ 识别模型优化**：UDML 知识蒸馏策略 #

![736e2f66285fce61a2a7bf19eecfa7ae.png][]

在标准的DML知识蒸馏的基础上，新增引入了对于Feature Map的监督机制，新增Feature Loss，增加迭代次数，在Head部分增加额外的FC网络，最终加快蒸馏的速度同时提升效果。

# **★ 识别模型优化：**Enhanced CTC loss 改进 #

![5fd0fb550167a70b2a52851e22e7874b.png][]

考虑到中文OCR任务经常遇到的识别难点是相似字符数太多，容易误识，借鉴Metric Learning的想法，引入Center Loss，进一步增大类间距离，核心思路如上图公式所示。

经过以上三个识别方向的优化策略，PP-OCRv2识别部分的实验效果如下：

![d6094347e4d05c33b1d74a44fd1479a9.png][]

经过以上五个方向的优化，最终PP-OCRv2仅以少量模型大小增加的代价，全面超越PP-OCR，取得了良好的效果。

![b9a968704f24013a9aeabc6f778cc52f.png][]

![09a07837531cee9f13fd52e42a7abfab.gif][]

伍、良心出品的中英文文档教程

#     #

随着本次PP-OCRv2升级，PaddleOCR的项目文档也全面升级，结构更清晰，内容更丰富，

![1d5d574f2cc9f4bb8ee4769047029bd2.png][]

![2478813fe2e18a0c2589d2b5f0372f57.png][]

别的不需要多说了，大家访问GitHub点过star之后自己体验吧：

https://github.com/PaddlePaddle/PaddleOCR

![85946f4f3f492d220275dfebd5c49d83.png][]

**9月8日晚20:15-21:30**，百度高级研发工程师将为我们详细解析速度与精度都大幅提升的PaddleOCR，欢迎大家扫码报名直播课，加入技术交流群～

![0d00384d32e34f8a171a32eb8b439866.png][]

![2e2aa66a936d7397ad77615ff383d69d.png][]

![2bf1c5ace19a2a63a740ca0a5592e462.gif][]

**官网地址**：https://www.paddlepaddle.org.cn

**PaddleOCR项目地址**：

GitHub: https://github.com/PaddlePaddle/PaddleOCR

Gitee: https://gitee.com/paddlepaddle/PaddleOCR

![fe07879b58185e9b46f9233a1bb6d1dc.gif][]

戳下面的**原文阅读，更有料**！

[b751b81a081d6fe4112c24ff4aae52b3.gif]: /images/20220829/fda9f574b7dc465e8e018fe0e7718001.png
[7472b431180431b1a36d527e2a301f0e.png]: /images/20220829/57f69cdc383e4c00910f96bf17b19dcb.png
[3066ab9d3efc83f45085ec22fc1c0e17.gif]: /images/20220829/e5dbfd625f564d728f7398b28e6c6c2e.png
[5eec23b2718b52f27b87c98729077921.gif]: /images/20220829/a437039edd0d449092b315287f8e5034.png
[723a37b182a668d9ac870f8271a7743b.gif]: /images/20220829/284c73d078d2444a9ced8cf249e0f80d.png
[b832737c46ec1f50b0a76d9e76f462b1.gif]: /images/20220829/38e51dee279b428c8c704d37033d5531.png
[3755f784d9c49070b62310f096a881e6.png]: /images/20220829/57a56698c6694995be865376e554fd84.png
[8db893abe7af8bcb7570be6082992ac4.gif]: /images/20220829/1f539f0189044c9c96a64d7e0ef6f62f.png
[e4c928ad8a2c54783ea05c940be24235.gif]: /images/20220829/1f8b4d5d34b64e0faeec4b7038e53064.png
[9e276fb5c031546a6238122f7b1b5a28.png]: /images/20220829/f5aa24f78dd4497ca558d3a7992527c3.png
[e38aa5779e8fdf69ed226bed22939574.gif]: /images/20220829/cf5d6db2bb9643ee9969b5a0894e9bf0.png
[191195c9bf10b7d3c4631a8f2d9f94f9.png]: /images/20220829/1941846c1b0a4eb5aadbb448a844bf74.png
[5ca621b4ad71e22c4aedf9dcd86699f7.png]: /images/20220829/7f09ebd9c8164d879fb0a5b76ebf1b68.png
[ed5d136dad72579507fbabd30536fd92.png]: /images/20220829/b77846d485e8426d8dee51ff2c6c0219.png
[ea290bf0aafe8dd94f03ca4ffccac427.png]: /images/20220829/20c83d111d9e433da01a149e82bc000a.png
[dfc962ae06dc3d1d357867cd07f97c79.png]: /images/20220829/e5220b5398c349bb904c124f18b0eb28.png
[736e2f66285fce61a2a7bf19eecfa7ae.png]: /images/20220829/b6a80f5eaee84253b775f718dd9fdaa2.png
[5fd0fb550167a70b2a52851e22e7874b.png]: /images/20220829/d1f59b1cc0104c4b92f2c203febae67b.png
[d6094347e4d05c33b1d74a44fd1479a9.png]: /images/20220829/6844637e7eee443f9894fc8cc91d5e55.png
[b9a968704f24013a9aeabc6f778cc52f.png]: /images/20220829/7bba4e7b075e45c3a4ec16fafe5b7665.png
[09a07837531cee9f13fd52e42a7abfab.gif]: /images/20220829/9308c5e9a8f149b7948261358e186912.png
[1d5d574f2cc9f4bb8ee4769047029bd2.png]: /images/20220829/2fbcf934f46140bc9c624171b46ee895.png
[2478813fe2e18a0c2589d2b5f0372f57.png]: /images/20220829/30c338f5d16942eca7efe1b11df4d546.png
[85946f4f3f492d220275dfebd5c49d83.png]: /images/20220829/60d76d80958a4f278186c6e722905e48.png
[0d00384d32e34f8a171a32eb8b439866.png]: /images/20220829/8946ecc1f2ef4f19b875278b269622cb.png
[2e2aa66a936d7397ad77615ff383d69d.png]: /images/20220829/a665ff763e02404ca767ad50fc5f9b18.png
[2bf1c5ace19a2a63a740ca0a5592e462.gif]: /images/20220829/8f9de4874bdf4cf89b04685c07b4f5fa.png
[fe07879b58185e9b46f9233a1bb6d1dc.gif]: /images/20220829/532d49cea26e4f68acefff7cd733ca87.png