腾讯开源首个医疗AI项目，业内首个3D医疗影像大数据预训

忘是亡心i 2023-06-15 07:09 10阅读 0赞

腾讯AI，开源又有新动作。

旗下顶级AI实验室腾讯优图，对外开源了腾讯首个医疗AI项目——深度学习预训练模型MedicalNet。

![format_png][]

这一项目，专为3D医疗影像在深度学习上的应用开发，也是业内首个同方向上的预训练模型。

腾讯优图说，MedicalNet能够加快模型收敛，减轻模型对数据量的依赖，帮助3D医疗影像AI应用“打地基”。

而且，专有领域专有模型，MedicalNet相当于为各个3D医疗影像应用准备了具备临床通用知识的数据库。

即使在小数据量中，这一数据库的有效特征也能帮助落地应用取得较好的医疗检测性能。

开源项目地址：  
https://github.com/Tencent/MedicalNet

专为3D医疗影像开发

自然图像领域中存在着许多海量数据集，如ImageNet，MSCOCO。基于这些数据集产生的预训练模型推动了分类、检测、分割等应用的进步。

与自然图像不同的是，医疗影像大部分都是3D结构形态的，同时，由于数据获取和标注难度大，数据量稀少，此前并没有海量数据集及对应的预训练模型开源。

腾讯优图表示，这正是其开源MedicalNet的原因所在。目前，MedicalNet具备5大特性：

1、预训练网络可迁移到任何3D医疗影像的AI应用中，包括但不限于分割、检测、分类等任务；

2、尤其适用小数据医疗影像AI场景，能加快网络收敛，提升网络性能；

3、通过简单配置少量接口参数值，即可进行微调训练；

4、提供多卡训练以及测试评估代码，接口丰富，扩展性强；

5、提供不同深度3D ResNet预训练模型，可供不同数据量级应用使用。

MedicalNet是如何做出来的？腾讯优图给出了解释：

MedicalNet聚集了来自多个不同3D医疗领域的语义分割小规模数据集，并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。

这一预训练的适用性也很强，可以迁移到任何3D医疗影像应用的深度学习模型中。整个系统的工作流程如下图所示：

![format_png 1][]

效果远优于从零训练

为了衡量模型效果，他们将MedicalNet模型迁移到预训练时未接触过的Visceral和LIDC数据集中。

并用它来完成全新的肺部分割和肺结节分类任务，并与目前常用的从零训练（train from scratch）以及Kinetics视频3D预训练模型在性能以及收敛速度上做了比较。

在肺部分割应用上，与Train from Scratch相比，MedicalNet在Dice上有16%到33%幅度的提升，与Kinetics相比有4%到7%幅度的提升。

在肺结节良恶性分类应用上，与Train from Scratch先比，MedicalNet的预测准确度提升了6%到23%幅度，与Kinetics相比，提升了7%到20%。

在收敛速度上，无论是在肺分割任务还是肺结节分类任务上，MedicalNet都能为模型提供一个较低的初始化损失值，明显加快损失下降速度。

下图是MedicalNet性能的一个简单示例，展示了在全器官分割应用中，不同预训练方式在一定训练迭代次数下的测试结果。

图中表示，基于MedicalNet的结果最接近ground truth，且远优于从零训练（train from scratch）的结果。

![aHR0cHM6Ly9uLnNpbmFpbWcuY24vc2luYWNuMjAxOTA4MDhzLzEwOC93NjQwaDI2OC8yMDE5MDgwOC83ZGIyLWlheGl1Zm44MjM0ODc5LmdpZg][]

腾讯医疗AI

腾讯在AI医疗方面沉淀已久，近年来业内名声愈盛，刷新多项世界纪录。

比如今年6月，全球胸部多器官分割大赛上，腾讯优图与厦门大学王连生老师实验室联手，刷新3项全球新纪录。在此此前，双方也在肝分割、肝肿瘤分割两项技术挑战赛中斩获世界第一。

![format_png 2][]

腾讯优图表示，其医疗AI已经具备进行上亿规模的模型训练及合作接入的能力。

而且，他们不仅仅只是研究，技术落地也早已开始。

近年来，这些医疗AI技术正在通过腾讯旗下首个医疗影像产品“腾讯觅影”持续对外输出，目前已支持宫颈癌、肺癌、糖尿病视网膜病变等癌症筛查，并在国内100多家顶尖三甲医院进行落地。

腾讯优图表示，后续将继续开源更多医疗AI领域的模型，这也是腾讯一直在做的事情。

截至2019年8月，腾讯已在Github上发布81个开源项目，覆盖AI、云计算、安全等领域，累计获得了超过23万标星。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9uLnNpbmFpbWcuY24vc2luYWNuMjAxOTA4MDhzLzY3Mi93MTA4MGgzOTIvMjAxOTA4MDgvOWI4My1pYXhpdWZuODIzMzY1Ni5qcGc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9uLnNpbmFpbWcuY24vc2luYWNuMjAxOTA4MDhzLzU3Ni93MTA4MGgyOTYvMjAxOTA4MDgvNmI3ZS1pYXhpdWZuODIzMzg3My5qcGc?x-oss-process=image/format,png
[aHR0cHM6Ly9uLnNpbmFpbWcuY24vc2luYWNuMjAxOTA4MDhzLzEwOC93NjQwaDI2OC8yMDE5MDgwOC83ZGIyLWlheGl1Zm44MjM0ODc5LmdpZg]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9uLnNpbmFpbWcuY24vc2luYWNuMjAxOTA4MDhzLzEwOC93NjQwaDI2OC8yMDE5MDgwOC83ZGIyLWlheGl1Zm44MjM0ODc5LmdpZg
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9uLnNpbmFpbWcuY24vc2luYWNuMjAxOTA4MDhzLzc1OS93MTA4MGg0NzkvMjAxOTA4MDgvMTliYy1pYXhpdWZuODIzNTI3Ny5qcGc?x-oss-process=image/format,png