论文综述—图神经网络用于医疗诊断的前世今生

悠悠 2022-10-11 03:55 249阅读 0赞

随着数据驱动的机器学习研究的进步，探索如何利用机器学习来分析医疗数据变得至关重要。现有方法的一个主要限制是人体生理信息的数据结构通常是不规则的和无序的，很难将这些数据网格化为易于分析处理的格式。而图表神经网络通过边连接交互节点，并可以将时间关联或解剖结构赋值给边的权重，能够很好地利用生物系统中的隐式信息做出医疗诊断，引起了广泛关注。

**目录**

1. 图神经网络

1.1 图卷积神经网络

1.2 时态图网络

1.3 具有注意力机制的图网络

2.用于医学诊断分析的研究案例研究

2.1 大脑中的功能连接分析

2.2 基于电波图的分析

2.3 解剖结构分析（分类和预测）

2.4 解剖结构分析（分割）

3. 研究挑战和未来方向

七个主要挑战

三个可能的方向

本文介绍图神经网络（GNN）用于医疗诊断和分析的一篇综述文章《Graph-Based Deep Learning for Medical Diagnosis and Analysis: Past, Present and Future》。该论文由澳大利亚 CSIRO 的 Data61 多名成员撰写，共调研了 319 篇论文，彻底审查了不同类型的图神经网络架构及其在医疗卫生中的应用，概述了现有技术的局限性并讨论了未来研究的潜在方向。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70][]

医疗诊断是指确定患者患哪一种疾病、何种程度的过程。疾病诊断所需的信息是从患者的病史和各种医学成像数据中获得，包括功能性磁共振成像（fMRI）、磁共振成像（MRI）、电子计算机断层扫描（CT）、超声波（US）成像和X射线（X-ray）成像，以及其他诊断工具如电切割图（EEG）。然而，诊断过程不仅耗时长久，还容易产生和患者真实情况有差异的主观解释。借助计算机辅助诊断系统，临床专家已经有所受益。另外，自动化在医疗卫生服务和医生有限的情况下也十分有益，可以提高医疗卫生系统的质量、降低成本。  
GNN 是一种处理由顶点和边构成的图结构信息的神经网络，近几年已成为机器学习领域的热点。由于化学、生物学、医疗卫生等学科的大部分信息需要复杂的数据结构，并不适用于矢量表示。而图结构的本质是捕获实体之间的关系，可以对它们之间的关系进行编码，因此在这些应用中非常有用。在医疗卫生中，图相关的机器学习方法广泛应用于脑活动分析、脑表面表示、解剖结构的分割和标记、多模态医学数据分析等领域。因此，需要特别注意 GNN 在非结构（无序）和结构（有序）中的泛化。除此以外，此类方法仍然稀缺，而且它们尚且不能完全解决许多具有挑战性的医学问题。  
文章主要贡献有以下几个方面：  
1.我们确定了传统深度学习在应用于医学数据分析时面临的许多挑战，并强调了图神经网络在克服这些挑战方面的贡献。  
2.我们介绍和讨论为医学诊断提出的各种图神经网络框架及其具体应用。我们涵盖了使用图网络结合深度学习技术进行生物医学成像应用的工作。  
3.我们总结了基于图的深度学习当前面临的挑战，并根据当前观察到的趋势和局限性提出医疗卫生的未来方向。

# **1. 图神经网络** #

本章简要描述了该领域中最常见的基于图的深度学习模型，包括 GCN 及其变体，具有时间依赖性和注意结构。  
图可以表示为 G = (V, E, W) 。其中 V 表示 N 个节点的集合，|V| = N ；E 表示连接这些节点的边集；W 是邻接矩阵，描述了任意两个节点之间的连接权重。确定 W 中每项的值的常用方法包括基于 Pearson 相关的图、最近邻 (KNN) 规则方法和基于距离的图。

## **1.1 图卷积神经网络** ##

图卷积网络 (GCN) 扩展了图域信号处理理论，使 CNN 的表示学习能力能够应用于不规则的图数据。图卷积操作旨在通过聚合其自身特征及其相邻顶点的特征来生成顶点的表示。GCN 生成的关系感知表示极大地增强了 CNN 特征的判别能力，并且模型的可解释性可以更好地帮助临床医生。  
基于图的分类任务的第一步是将原始数据转换为图表示，然后用 GCN 学习图的不同节点之间的内在关系。GCN 是一种结合了 GNN 和 CNN 的深度学习方法，框架如图所示。图池化层将来自多个顶点的信息池化到一个顶点，以减小图尺寸并扩大图信号滤波器的感受野；最后一个图卷积层的特征向量被连接成一个单一的特征向量，该特征向量被馈送到一个全连接层以获得分类结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 1][] GCN 框架（来源：论文）

基于频谱卷积神经网络的概念，该概念建立在图傅立叶变换和图的归一化拉普拉斯矩阵之上。Spatial-based GCN 定义了基于图节点之间存在的空间关系的图卷积操作。其他变体还包括：具有动态权重的 GCN 、具有广泛学习系统的动态 GCN 、边权重、自适应 GCN 、图域适应、基于同构图的模型、协同 GCN 、简单的图卷积网络、基于图的分割模型（例如， 3D Unet-graph 、Spherical Unet）。

## 1.2 **时态图网络** ##

GNN 主要是为不随时间变化的静态图开发的。然而，现实世界中图大多是动态的，会随着时间的推移而演变，例如，使用 fMRI 记录的大脑活动。这种称为时态图的 GNN 变体旨在从图的空间和时间依赖性中学习隐藏模式。这些模型可以分为两种主要类型：  
基于 RNN 的方法：通过使用图卷积来过滤输入和传递给循环单元的隐藏状态来捕获时空依赖性。典型的模型有 Diffusion Convolutional Recurrent Neural Networks （DCRNN）和 Graph Convolutional Recurrent Network （GCRN）。  
基于 CNN 的方法：以非递归方式处理时空图。使用时间连接来扩展静态图结构，以便他们可以在扩展图上应用传统的 GNN。典型的模型有 Spatio-temporal Graph Convolutional Network （STGCN）、 Temporal Graph Convolutional Network（TGCN）。

其他变体还包括：GCN-LSTM 、基于复杂网络的顺序 GCN 、基于几何深度学习的方法、时间自适应 GCN 、具有锁相值的 GCN 。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 2][] STGCN 架构。（来源：论文）

## 1.3 **具有注意力机制的图网络** ##

在实际应用中，图结构数据可能既庞大又嘈杂，并且不是所有信息都同等重要。因此，注意力机制可以引导网络专注于最相关的部分，抑制无关信息特征，降低计算成本并提高准确性。注意力机制可以分为两种主要类型：  
软性注意力（Soft-attention）机制：端到端的方法，通常放置在编码器和解码器之间，可以通过基于梯度的方法学习。全注意力架构可以保留原始信号的细节，并选择最关键的信息。  
自注意力（Self- attention）机制：完全依赖注意力机制也可以实现可比的性能，受此启发，图注意力网络（GAT）通过修改卷积操作将注意力机制融入到传播中。在传统的 GCN 中，权重通常取决于相邻节点，而 GAT 中的权重是通过基于节点特征的自注意力机制计算得来的。

其他变体还包括：特征表示的注意力机制、多模态融合的注意力机制、加权 GAT 、边加权 GAT 、基于注意力的 ST-GCN 、交叉模态的 GAT 。

# **2.用于医学诊断分析的研究案例研究** #

## 2.1 **大脑中的功能连接分析** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 3][]

功能性磁共振成像（fMRI）、静息态功能性磁共振成像（rs-fMRI）、任务态功能性磁共振成像（t-fMRI）是将受试者分为患者或健康对照组的主要数据来源。具体包括：自闭症谱系障碍（ASD）、精神分裂症（SZ）、注意力缺陷多动障碍（ADHD）、重度抑郁症 (MDD)、双相情感障碍（BD）等精神疾病。  
依据节点的不同，可以将用于分析 fMRI 成像的 GNN 模型大致分为两类：（i）个体图：节点是大脑的不同区域，边是随时间序列观察的这些区域之间的功能相关性；(ii) 群体图：每个节点代表一个具有相应大脑功能连接数据的受试者，边为受试者表型特征（年龄、性别等）之间的相似性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 4][] 个体图用于分析 fMRI 成像的 GNN 模型。（来源：论文）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 5][] 群体图用于分析 fMRI 成像的 GNN 模型。（来源：论文）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 6][] 用图卷积解码大脑功能区域。（来源：论文）

除此以外， GNN 还被用于确定与特定认知刺激相关的大脑区域之间的关系，以及生成捕捉大脑功能和结构变化的超高分辨率 MRI 图像。

## 2.2 **基于电波图的分析** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 7][]

脑电图（EEG）被广泛应用于情感心理状态、情感认同等情感分析，以及癫痫等神经系统疾病诊断；心电图（ECG）则被用于识别心脏异常。除此以外， GNN 还可以被用于睡眠阶段的分类和脑机交互研究中的监测。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 8][] 从 EEG 信号中提取特征构建图表示以对心理状态进行分类。（来源：论文）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 9][] 具有 Attention 机制的 GNN-LSTM 用于 EEG 信号的分析。（来源：论文）

## 2.3 **解剖结构分析（分类和预测）** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 10][]

基于 MRI 数据， GNN 模型可以对阿兹海默和帕金森疾病进行分类；基于 CT 图片， GNN 模型可以对结核病、 COVID-19 进行分类；基于 X 光片， GNN 模型可以对胸部疾病、乳腺癌、肾病进行分类；基于扩散磁共振成像（DMRI）数据， GNN 模型可以对大脑数据做出预测。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 11][] 基于共同学习标签的 GCN 框架，以探讨具有语义信息指导的潜在异常，包括病理共同发生和相互依赖性。（来源：论文）

## 2.4 **解剖结构分析（分割）** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 12][]

在不同的医学图像分割和标记方法中，基于图网络的方法显示出有前景的临床应用结果。主要用于血管分割（冠状动脉、肺动脉和静脉、视网膜血管、颅内动脉、头部和颈部血管）和器官分割（脑皮质、呼吸道、脑组织、眼睛、胰腺和脾脏、前列腺、淋巴结）两大类。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 13][] 用于脑皮质分割的球形U-NET架构。（来源：论文）

# **3. 研究挑战和未来方向** #

本章强调了当前用于医学诊断的 GNN 的局限性，并提供了一些文献中未涵盖的 GNN 在医疗卫生中使用的研究方向和未来的可能性，例如行为分析。

### **七个主要挑战** ###

1.**图表示和估计：**大多数研究中的图结构都是手动设计的，缺乏统一的结构知识；不同的属性和任务需要不同的模型架构，图结构估计就是为了找到合适的图，以将数据表示为研究所需的输入形式。  
2.**动态图和时间图：**许多现实世界的医学应用是动态的，这意味着图的节点、边和权重可以随时间变化。因此，静态图在时间场景中工作表现不佳。  
3.**图模型的复杂性和训练效率：**GCN 与它的变体有着相当大的复杂性，这对于不太具有挑战的应用程序来说可能是苛刻且不必要的，需要更简单的图神经网络模型。  
4.**可解释性和可解读性：**缺乏透明度被认为是 AI 在临床实践中采用的主要障碍之一，迈向值得信赖的 AI 的一步是可解释 AI 的发展。  
5.**图模型的泛化：**难以使用异构数据构建准确和强大的学习模型，由于患者隐私和临床数据管理要求，真正集中的开源医疗大数据集团用于深度学习十分罕见，这就需要模型具有很强的泛化能力。  
6.**数据标注效率和训练范式：**由于深度学习利用高度数据驱动的分层特征表示，医疗应用有几个关键挑战，包括注释稀缺、复杂注释和弱注释，以及标签的稀疏性。  
**7.不确定性的量化：**在医学应用中，不确定性可以分为偶然不确定性和认知不确定性：偶然不确定性由数据中的噪声产生；认知不确定性则可能源于模型的不完整。

### **三个可能的方向** ###

1.面部分析：临床专家依靠某些面部特征和症状进行辅助医学诊断，并且已引入计算机视觉来提供面部特征的自动和客观评估。然而， CNN 主要关注面部各区域，没有考虑面部运动之间隐藏的相互关系，这可以用 GCN 捕获。因此，在临床环境中使用 GNN 创建互补的图表示和关系推理方法还有待探索。  
潜在应用：术后疼痛管理、血管脉搏监测、面瘫评估，以及几种神经和精神疾病，包括癫痫、多动症、自闭症、双相情感障碍和精神分裂症。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 14][] 通过 GCN 对面部动作单元进行建模。（来源：论文）

2.人体姿势定位：人体姿势捕捉重要的健康相关指标，在评估癫痫、睡眠监测和手术恢复等医疗状况方面具有潜在价值。由于人体姿势估计与图形结构有关，因此 GCN 可以以灵活的方式处理骨架数据。  
潜在应用：病床上姿势估计，以跟踪手术和疾病恢复以及其他睡眠障碍（如呼吸暂停、压疮和腕管综合征）造成的损伤。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 15][] 采用图回归来学习用于变化的时空图作为 GCN 的输入，用于动作特征学习。（来源：论文）

3.基于姿势的动作识别和行为分析：运动评估和监测是临床观察过程中的有力工具，并有助于诊断运动和精神障碍。然而，如前所述，骨架本身是图的形式。基于图的人体骨骼表示有一个显着的特点：i）关节和骨骼信息是互补的，将它们结合起来可以进一步改进基于骨骼的动作识别；ii) 时间连续性不仅存在于关节之间，也存在于身体结构中；iii) 空间域和时间域之间存在共存关系；iv) 骨架序列的时间动态也包含识别任务的重要信息。  
潜在应用：  
运动障碍：癫痫、帕金森、阿尔茨海默病、中风、震颤、亨廷顿舞蹈症和神经发育障碍。  
精神障碍：痴呆症、精神分裂症、重度抑郁症、躁郁症和自闭症谱系。  
其他情况：呼吸障碍、住院患者跌倒预测、诸如躁动、抑郁、谵妄、异常活动或评估医院环境中的人际交往等健康状况。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70]: /images/20221005/25cf53a450ba49a2b6f437662bf680ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/60259e28eefa4dd69737e2bf3939170c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 2]: /images/20221005/3910ee0f0c1e4a03a37d0d033db884cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 3]: /images/20221005/c78eac53e761466a8d25cb321452a272.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 4]: /images/20221005/2ce25e4532a74cc3a8119b56e8de965f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 5]: /images/20221005/cad7de001f834f74951199b83601d47b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 6]: /images/20221005/2856dcebc3054ad880c58ebf2b2f45de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 7]: /images/20221005/050cb356a755471389b97337be04de58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 8]: /images/20221005/0166d21875bb4fbb8414f957542286fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 9]: /images/20221005/35f56f36e9d24f40a5656373a920ca93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 10]: /images/20221005/38d709b9a7b4453093b182ba7dcf8488.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 11]: /images/20221005/b16884d6fad14f169e78f62feb923aad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 12]: /images/20221005/ff7cf71d7bba46d281f0fe50bbffcb8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 13]: /images/20221005/6183f5fd85824621a86f443e43451564.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 14]: /images/20221005/c0e38e6876b94f5ca657140d548a096e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 15]: /images/20221005/477c96e58af54225ba494bf6ec9b1187.png