开源公告｜微信深度学习云端推理框架WeChat TFCC开源了

傷城~ 2022-10-17 11:15 17阅读 0赞

**导言**

WeChat TFCC是微信技术架构部后台团队研发的服务端深度学习通用推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，具有高性能、易用、通用的特点，已在微信视频号、微信开放平台推荐系统、微信画像、微信智聆语音识别、语音合成等业务广泛使用; 支持81个ONNX Operation和108个Tensorflow Operation，覆盖推荐、NLP、语音等场景的各种主流模型，同时更多的Operation在持续接入中。

**整体结构**

WeChat TFCC由Library、Runtime、Generator三大组件构成，通过层层抽象、互相配合的方式，在保证高性能的前提下，极大的提高了扩展性和通用性。整体结构如下：

![cc41d74df40b0a8832f99a388d321a79.png][]

**高性能**

TFCC通过模型结构优化、常数跟踪、算子优化等多方面技术优化通用模型推理性能，在微信的各类业务模型中取得很好的性能效果。以BERT(bert-base)模型为例（如下图所示），在Intel CPU、Nvidia GPU平台的QPS对比，TFCC性能处于较高水准。

![ea72cb91e31f26192de265a57a58b0c0.png][]

![8f73b6a53e80a7eb90d49349203258c5.png][]

**模型结构优化**

模型结构优化包含常数折叠、模型剪枝、算子融合等。常数折叠可以预先算好部分数据，减少线上运行时的计算量。模型剪枝是减少模型的无用分支，算子融合是将多个小算子融合成一个大算子，减少内存和显存的带宽压力。

**常数跟踪**

常数跟踪是一种比常量折叠更激进的优化方案; 常数跟踪通过跟踪常量的走向，区分出矩阵中存在的局部常量，从而获取更详细的模型信息，取得更好的模型结构优化效果。

**算子优化**

TFCC Math Library是TFCC底层的算子库，部分算子是对底层oneDNN及cublas的封装，部分则是经过汇编级优化的高性能算子。CPU支持使用AVX2、AVX512指令集加速运算。

**易用性**

TFCC提供了一套完善的工具，只需要一行类似下图的命令,即可将ONNX模型或者Tensorflow模型转换为TFCC模型。

![67179d5412f5fa3acae663d7bb0733b7.png][]

TFCC支持如下图所示的Runtime执行方式：TFCC模型由TFCC Runtime动态读入图结构，并用JIT技术动态生成图调用链， 业务**无需手写**模型代码，即可将训练模型转换并部署高性能运行，同时TFCC也提供一个基于Runtime的验证程序，可以简单的验证模型的正确性。

![65b475867c107550613b55d09d76e173.png][]

**通用性**

TFCC的通用性包含模型通用性和硬件通用型两个方面。

**模型通用性**

TFCC提供一套完善的工具，通过类编译器架构：Frontend->Optimizer->Backend结构，将ONNX模型和Tensorflow模型转换为统一的TFCC内部模型表示。当前支持81个ONNX Operation和108个Tensorflow Operation，覆盖推荐系统、NLP等场景的主流模型;由于使用类编译器架构，WeChat TFCC可以很方便的进行平行扩展，以支持更多种类更多模型。

**硬件通用性**

TFCC目前支持的硬件平台有X86-64平台的CPU及NVIDIA的GPU，切换平台只需要修改调用参数即可，并且基于不同平台的特点进行汇编级性能优化。

**结语**

TFCC专耕于服务端的深度学习推理，还在不断迭代中，后续会加入更多的特性及性能优化，敬请期待。

????开源地址：https://github.com/Tencent/WeChat-TFCC

https://github.com/Tencent

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source

（登录后才能访问公开项目）

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

关注腾讯开源公众号

获取更多最新腾讯官方开源信息！

![b98b48477a38ae9b4b601d33d7ea0c42.png][]

[cc41d74df40b0a8832f99a388d321a79.png]: /images/20221014/3202ab76932041cab41f12da8dd072b5.png
[ea72cb91e31f26192de265a57a58b0c0.png]: /images/20221014/f53b7adab8ee496b815dd0da62cf2f9c.png
[8f73b6a53e80a7eb90d49349203258c5.png]: /images/20221014/9cf9357c049e4b38ade66d81745c78b1.png
[67179d5412f5fa3acae663d7bb0733b7.png]: /images/20221014/010c0a9fa8c047caab91293fa1d0580f.png
[65b475867c107550613b55d09d76e173.png]: /images/20221014/9429121593e94d328741028cb54439aa.png
[b98b48477a38ae9b4b601d33d7ea0c42.png]: /images/20221014/fa424482902547f4975f1705ace53c1e.png