开源项目介绍｜TNN-跨平台AI推理框架

╰半橙微兮° 2022-10-08 11:06 449阅读 0赞

**2021腾讯犀牛鸟开源人才培养计划**

**开源项目介绍**

滑至文末报名参与开源人才培养计划

提交项目Proposal

![def3951406444f8a46c568d245df3f6e.gif][]

![647f331a9becec5d1c897b83927e7101.png][]

**TNN项目介绍**

**        标签：人工智能**

**        技术栈：C++，Python**

![3fa64e618dfb3edc77bf7443d9d07727.png][]

***TNN-跨平台AI推理框架，*** 跨平台AI推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。目前TNN已经在腾讯业务手Q、微视、P图等广泛落地应用，欢迎大家参与协同共建，促进TNN推理框架进一步完善。

![4f0b6d57554167cf358de136eebc4174.png][]

![ea002f9d7b591ed75b4791268a199c86.png][]

**TNN项目导师介绍**

![format_png][]

**姚达、田恒锋、王星晨**

姚达，TNN框架技术负责人

田恒锋，TNN框架CPU侧架构师

王星晨，TNN框架CPU侧架构师

***导师寄语：***

“AI推理优化是一套系统工程，希望通过TNN相关辅导，能够帮助学员在硬件架构、应用框架等方向提升发现问题、解决问题的能力”——姚达

“TNN专注于深度学习推理部署，其中GPU在整个深度学习框架中占据了重要位置。希望通过相关辅导以及开源实践，帮助学员熟悉和提升GPU编程和性能调优经验，提升在整个开源社区和行业影响力。”——田恒锋

“TNN是一个跨平台高性能的推理框架，通过相关实践你将了解到AI算法落地的详细过程，以及如何在兼容性、性能以及效果之间做到平衡，为日后工作打下坚实基础”——王星晨

![c958398f0e787b97d39978d8239d6ce9.png][]

![a8a11c3ac637e219531ed804363f1d9e.png][]

**TNN拓展资料**

**????TNN Readme**

https://github.com/Tencent/TNN/blob/master/README\_CH.md

**????ARM**  
https://developer.arm.com/documentation/den0018/latest

https://developer.arm.com/documentation/den0024/a

**????X86**  
https://software.intel.com/content/www/us/en/develop/articles/intel-sdm.html

https://software.intel.com/sites/landingpage/IntrinsicsGuide/

**????software optimize **

https://www.agner.org/optimize/

**????MILR**  
https://mlir.llvm.org/

**????GPU**  
https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html

https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html

**????模型量化**  
https://intellabs.github.io/distiller/algo\_quantization.html

https://arxiv.org/pdf/1806.08342.pdf

![4ab4ba3720e7ff5b18750c0ed4b4482b.png][]

![8b084c8bf32378bbd9d6ff74e32c34b9.png][]

**TNN实战任务**

（最终具体任务以实战阶段导师布置为准）

**编程任务**

**1.量化模型支持，打通训练和推理，支持非对称、按channel量化**

**预期结果：**

*  打通量化训练到推理的流程，并针对arm或x86平台对量化实现进行优化  
    
 *  文档和测试

**2.AI芯片适配，完成腾讯自研芯片或业界最新芯片的适配，完成模型迁移**

**预期结果：**

*  打通服务端AI芯片的软件栈接入到TNN的流程
 *  完成部分常用模型的适配
 *  文档和测试

**3.云或端侧个性功能实现高性能部署，如人像分割、3D物体检测等**

**预期结果：**

*  完成最新的趣味模型的云端Demo实现，并进行Demo性能优化达到可用状态
 *  文档和测试

![82a58642df98a719ba93c83dcb94603e.png][]

**扫码填写问卷报名，提交项目proposal**

**加入开发实战**

**与导师一起成长这一夏**

![c9f16f4ecd96fdf0cd6921b7814566cc.png][]

TNN开源项目交流群

欢迎对本项目感兴趣的同学一起交流

![c036e4bdc6043081b9253a0b02dc437e.png][]

更多开源项目信息，

尽在**“腾讯犀牛鸟开源人才社区”**

扫码加入，解锁所有学习资料

![cdc296126c7e006c7c4b6a699d5ba806.png][]

**关于腾讯犀牛鸟开源人才培养计划：**为响应国家十四五规划的开源战略，腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”，希望企业界和教育界形成合力，打造面向高校学生的开源课程和开源实践培养方案，培育开源人才，普及开源文化，助力开源人才生态的发展。

首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位，包括开源基础培训、开源进阶研学、开源项目实战三个环节，项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。

各位同学报名即可参加线上开源系列课程，学习开源知识，对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下，利用暑假开展编程实战，并有机会获得腾讯开源贡献者证书（目前全球只发出了10+张）。

????学生指南Q&A：https://github.com/Tencent/OpenSourceTalent/issues/14

????官方QQ群：859260607 （加群请备注学校+专业）

**【其他项目介绍】**

[开源项目介绍 ｜OMI-前端【跨框架】框架][_OMI-]

[开源项目介绍 ｜APIJSON- 后端零代码接口和文档ORM 库][_APIJSON- _ORM]

[开源项目介绍 ｜TARS-高性能微服务治理框架][_TARS-]

[开源项目介绍｜Apache InLong-分布式消息中间件系统][Apache InLong-]

[开源项目介绍｜Tencent KonaJDK][Tencent KonaJDK]

[开源项目介绍 ｜SuperEdge-云原生边缘计算平台][_SuperEdge-]

[开源项目介绍 ｜Hippy-跨平台动态化框架][_Hippy-]

[开源项目介绍 ｜ Angel-高性能分布式机器学习平台][_ Angel-]

**腾讯犀牛鸟开源人才培养计划官网**

**https://opensource.tencent.com/summer-of-code**

（点击文末阅读原文直接访问）

合作或疑问欢迎联系：tencentopen@tencent.com

![003043c146ebb010976db6f6fc74dc12.png][]

[def3951406444f8a46c568d245df3f6e.gif]: /images/20221005/1d2ebe9734ed46adaa46e3782200d793.png
[647f331a9becec5d1c897b83927e7101.png]: /images/20221005/ea35ffbb61e14463a96142f12474e414.png
[3fa64e618dfb3edc77bf7443d9d07727.png]: /images/20221005/ea48cc0be92a40b7a7ab381c38fe3180.png
[4f0b6d57554167cf358de136eebc4174.png]: /images/20221005/3f8e4c44a0c1429a8c52f5b7c57568e7.png
[ea002f9d7b591ed75b4791268a199c86.png]: /images/20221005/0efa695fdfdc43f4b9545bf765937c7b.png
[format_png]: /images/20221005/808df2c9ecbd4b6eb104a551ef9b69ed.png
[c958398f0e787b97d39978d8239d6ce9.png]: /images/20221005/f5280541ea1e46a7baa1fee62717a2e4.png
[a8a11c3ac637e219531ed804363f1d9e.png]: /images/20221005/fc6714d001cd4e6db41d4ce966153e1f.png
[4ab4ba3720e7ff5b18750c0ed4b4482b.png]: /images/20221005/dbc77f43472f4153bfae7bd825b48ee9.png
[8b084c8bf32378bbd9d6ff74e32c34b9.png]: /images/20221005/064f0b79941c4426b52c0aac5b5ed6cc.png
[82a58642df98a719ba93c83dcb94603e.png]: /images/20221005/653ee832ded5415991c6b2b0fb3bc99c.png
[c9f16f4ecd96fdf0cd6921b7814566cc.png]: /images/20221005/d30fa79d77414ba0848d7dcab01237e3.png
[c036e4bdc6043081b9253a0b02dc437e.png]: /images/20221005/c6d9f846d41c493c9042e1b87ba495a1.png
[cdc296126c7e006c7c4b6a699d5ba806.png]: /images/20221005/e2736782143d4bb0bdf99fa16f819684.png
[_OMI-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1c6a1ba28d039ed66601b0efa8c1a805a3e0a3f056b9b04af7867db317e69cca4ae9695&idx=1&mid=2247487314&scene=21&sn=500e481751d132a2d361a080f47e38a7#wechat_redirect
[_APIJSON- _ORM]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1c5a1ba28d3553d08b5f150b62275ecc7bd676e24352a6a03105938fd0ef56e35300e10&idx=1&mid=2247487313&scene=21&sn=9a33c81e296cc88920c09a635a83138c#wechat_redirect
[_TARS-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda01ba1ba290dd8acc17bc91f6a1c084395326f78d428a14c727a0b1c99685451dfda5bc6&idx=1&mid=2247487119&scene=21&sn=25091eed2842493734be05f7dfd77d64#wechat_redirect
[Apache InLong-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda019a1ba290fe43c45e5664e3ae589368bde050a63aa6ce6025e9800c78c0848e6895f95&idx=1&mid=2247487117&scene=21&sn=155dc3e9736912a404f6ba7501932c5d#wechat_redirect
[Tencent KonaJDK]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda0efa1ba29f96f263d6b0182ed0f987f20253191c8a8443671f5b8a99cb4b0d4b8f84d2e&idx=1&mid=2247487099&scene=21&sn=823f119f5c6822d67f944ce64ef4ada8#wechat_redirect
[_SuperEdge-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda352a1ba2a446d994bc684fb6e70dc87f4ffe1ffe857be250b8b083da615796e29f72d08&idx=1&mid=2247486918&scene=21&sn=87cc487244f6d3a93b3493dee3ccff89#wechat_redirect
[_Hippy-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda3f2a1ba2ae4fb62d00c2b7de33146a28e97ad974cb242a4862abb2504d103c7782b7124&idx=1&mid=2247486822&scene=21&sn=9fa6f5778c220de0c168d165b1a0d30d#wechat_redirect
[_ Angel-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda233a1ba2b25ce2fb0a6cc2c2309797321f1fcb4feea3750a6427c799589333815fc6b0a&idx=1&mid=2247486631&scene=21&sn=15fa080953ee5406d8aa06a7727e9bcb#wechat_redirect
[003043c146ebb010976db6f6fc74dc12.png]: /images/20221005/7288000d64d74bdd9bd88c4d964b81a8.png