开源公告｜微信云端深度学习推理框架WeChat TFCC开源啦！

落日映苍穹つ 2022-10-17 05:48 242阅读 0赞

**导言**

WeChat TFCC是微信技术架构部后台团队研发的服务端深度学习通用推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，具有高性能、易用、通用的特点，已在微信视频号、微信开放平台推荐系统、微信画像、微信智聆语音识别、语音合成等业务广泛使用; 支持81个ONNX Operation和108个Tensorflow Operation，覆盖推荐、NLP、语音等场景的各种主流模型，同时更多的Operation在持续接入中。

**特性**

WeChat TFCC由Library、Runtime、Generator三大组件构成，通过层层抽象、互相配合的方式，在保证高性能的前提下，极大的提高了扩展性和通用性。

![fa2f04cebe56c8cab3aa13ebf2b5e9fd.png][]

**一、高性能**

TFCC通过模型结构优化、常数跟踪、算子优化等多方面措施优化通用模型推理性能。下图是BERT(bert-base)模型下的QPS对比，可以看到TFCC在CPU/GPU的性能都处于较高水准。

![7f124af3a2a31585a05a5897bbc58f05.png][]

![21b7213fc8cebee285519e3db1cff738.png][]

**模型结构优化**

模型结构优化包含常数折叠、模型剪枝、算子融合等。常数折叠可以预先算好部分数据，减少线上运行时的计算量。模型剪枝是减少模型的无用分支，算子融合是将多个小算子融合成一个大算子，减少内存和显存的带宽压力。

**常数跟踪**

常数跟踪是指跟踪常量的走向，是比常量折叠更激进的优化方案，该方案可以对详细区分一个矩阵存在的局部常量，从而得到模型的更详细的信息，达到更好的模型结构优化效果。

**算子优化**

TFCC Math Library是TFCC底层的算子库，部分算子是对底层oneDNN及cublas的封装，部分则是经过汇编级优化的高性能算子。CPU支持使用AVX2、AVX512指令集加速运算。

**二、易用性**

TFCC提供了一套完善的工具，可以很方便的一条命令将ONNX模型和Tensorflow模型转化为TFCC模型，然后由Runtime动态读入图结构，并用JIT技术动态生成图调用链， 业务无需编写模型代码，即可将训练模型转换并部署高性能运行。

**三、通用性**

TFCC的通用性包含模型通用性和硬件通用型两个方面。

**模型通用性**

TFCC提供一套完善的工具，通过类编译器架构：Frontend->Optimizer->Backend结构，将ONNX模型和Tensorflow模型转换为统一的TFCC内部模型表示。当前支持81个ONNX Operation和108个Tensorflow Operation，覆盖推荐系统、NLP等场景的主流模型;由于使用类编译器架构，WeChat TFCC可以很方便的进行平行扩展，以支持更多种类更多模型。

**硬件通用性**

TFCC目前支持的硬件平台有X86-64平台的CPU及NVIDIA的GPU，切换平台只需要修改调用参数即可，并且基于不同平台的特点进行汇编级性能优化。

**结语**

TFCC专耕于服务端的深度学习推理，还在不断迭代中，后续会加入更多的特性及性能优化，敬请期待。

????开源地址：https://github.com/Tencent/WeChat-TFCC

https://github.com/Tencent

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source

（登录后才能访问公开项目）

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

关注腾讯开源公众号

获取更多最新腾讯官方开源信息！

![619a6aef38fbe207dad1b0e646fd2809.png][]

[fa2f04cebe56c8cab3aa13ebf2b5e9fd.png]: /images/20221014/115af8ce9e184e58926330a8300af8e1.png
[7f124af3a2a31585a05a5897bbc58f05.png]: /images/20221014/75431b14212040a0a55a79961a49ea93.png
[21b7213fc8cebee285519e3db1cff738.png]: /images/20221014/717601c7615a4e61abc0b7fc3baa049c.png
[619a6aef38fbe207dad1b0e646fd2809.png]: /images/20221014/16ea1c4b9fdb427dbe2fb6ad66a4931d.png