微信团队的深度学习框架deepx_core开源啦

雨点打透心脏的1/2处 2022-11-14 13:15 190阅读 0赞

deepx\_core是一个**完全自研**的深度学习框架。

deepx\_core针对大规模高维稀疏数据场景如搜索,推荐和广告等深度优化的深度学习框架。基于deepx\_core可以开发出离线训练和在线推理的一整套解决方案, 并在腾讯多个业务中使用并得到好评。此外, deepx\_core也是一个相当通用的深度学习框架, 用户可以快速开发出张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。

**项目特点**

**计算图**: deepx\_core提供了一个支持自动求导的静态图引擎,该引擎支持一百余个op, 几乎覆盖所有网络类型。

**大规模稀疏模型**: 稀疏模型由稀疏张量组成, 稀疏张量一直是开源框架的痛点, 要么不支持, 要么有缺陷.deepx\_core设计并实现了稀疏张量和配套的op, 以原生的方式完美实现了稀疏模型, 完全不存在开源框架的痛点。分布式训练场景下, 稀疏张量均匀分布在多台参数服务器上, 模型规模随着参数服务器数量增加而线性扩展。deepx\_core可以支持千亿特征, TB级模型, 达到业界领先水平.

**高性能**: deepx\_core 使用 C++11开发, 天然具备高性能的基因。我们还在高性能计算优化, JIT编译优化, 图编译优化, 图运行优化, 内存分配优化, 网络通信优化等方向做出卓有成效的成果。在多项已落地的任务中, 基于deepx\_core解决方案的性能普遍是开源框架的5-10倍, 机器节省30%-60%。

**跨平台**: deepx\_core用标准C++11开发, 极少模块需要适配不同操作系统, 目前支持 linux, macOS 和 windows 操作系统。

**项目应用**

我们帮助以下重要腾讯产品的若干排序/召回场景落地使用了 deepx\_core 及其衍生项目, 取得了性能和效果双丰收: 微信看一看,微信搜一搜, 微信支付, 微信表情, 微信视频号, 微信小程序, 微信读书, QQ音乐, 应用宝, 腾讯新闻, 腾讯课堂, 腾讯黑产打击等。

**写在最后**

deepx系列机器学习项目经过3年多的迭代, 已经趋向稳定和成熟。deepx\_core 在设计开发的过程中, 从业界开源项目获取了大量经验和灵感, 我们现将其中的核心项目 deepx\_core 开源反哺业界, 同时也能促进项目更好发展。

最后的最后, 介绍一下我们的团队。我们是微信看一看算法平台团队, 我们把代码和系统视为艺术, 我们推崇小而美的系统, 我为我们的工程师文化和艺术品而骄傲. 未来我们将开源更多项目, 敬请期待.

**https://github.com/Tencent/deepx\_core**

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source/deepx\_core

（登录后才能访问公开项目）

![d08bbe8515bd42be7c1eb84bc4b4c1e0.png][]

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

![cea44184eb3f8b5a6004eafb81483e64.png][]

[d08bbe8515bd42be7c1eb84bc4b4c1e0.png]: /images/20221022/63ed7105f71c40b297601ffd07e4e9c9.png
[cea44184eb3f8b5a6004eafb81483e64.png]: /images/20221022/64b709e00f90479da8164862853e3339.png