MULTI-CHANNEL SPEECH ENHANCEMENT USING GRAPH NEURAL NETWORKS 文献翻译

怼烎@ 2022-08-30 08:43 156阅读 0赞

> 来自于脸书实验室的一篇文章，将图神经网络用在了多通道语音增强上面，思路比较新奇，下面可以通篇看一下翻译的中文，有哪些值得我们去借鉴的思想。

### 摘要 ###

多通道语音增强旨在使用从多个麦克风捕获的信号从有噪声的混合信号中提取干净的语音。最近提出的方法通过将深度神经网络模型与空间滤波技术(例如最小方差无失真响应(MVDR)波束形成器)相结合来解决这个问题。在本文中，我们**通过将每个音频通道视为位于非欧几里得空间中的节点，特别是图**，来介绍不同的研究方向。这个公式允许我们应用图神经网络(GNN)来寻找不同通道(节点)之间的空间相关性。我们通过将图卷积网络(GCN)合并到U-Net架构的嵌入空间中来利用它们。我们使用LibriSpeech数据集和模拟房间声学数据，使用不同的阵列类型和麦克风数量来广泛实验我们的方法。结果表明，与现有的最先进的方法相比，我们的方法具有优越性。

### 1 引言 ###

人类可以自然地将他们的听觉系统集中在一个单一的声源上，而在认知上忽略其他声音。大脑在困难的嘈杂场景中执行这种任务的确切机制，通常被称为鸡尾酒会问题\[1\]，但这种机制仍然没有完全被理解。然而，研究表明双耳处理可以帮助缓解这个问题\[2\]。空间信息有助于听觉系统将来自特定方向的声音分组，并将它们与其他方向的干扰声音分开。（说问题，引出多通道是有效解决方案）

多通道语音增强是使用多个麦克风增强被背景干扰破坏的目标语音的过程。它对许多应用非常重要，包括但不限于人机界面\[3\]、移动通信\[4\]和助听器\[5，6\]。（应用场景丰富）

虽然这个问题已经研究了很长时间，但它仍然是一个具有挑战性的问题。目标的语音信号不仅会被其他声源破坏，还会被表面反射的混响破坏。传统方法包括空间滤波方法\[7，8\]，这些方法通常利用声音场景的空间信息，例如目标语音的角度位置和麦克风阵列配置。这些方法通常被称为波束成形，这是一种线性处理模型，它在时间-频率域中加权(“屏蔽”)不同的麦克风通道，以便抑制不是目标声源的源信号分量。在最小方差无失真响应(MVDR) \[9\]波束形成器的情况下，首先重新估计期望的源传递函数和噪声协方差矩阵，通常是功率谱密度(PSD)矩阵，然后计算波束形成权重并将其应用于信号。虽然这些方法可以很好地执行，但是它们的性能依赖于空间信息的可靠估计，这对于在噪声条件下精确估计是有挑战性的。（传统方法的不足）

深度神经网络(DNN)已广泛应用于各种音频任务，如情感识别\[10\]、自动语音识别\[11\]和语音增强与分离\[12\]。对于多通道处理，它们已经与传统的空间滤波方法结合在一起，例如传统的滤波器和波束形成器。这主要通过两种方式实现，两种方式都应用于频域。在一种方法中，使用DNN直接预测波束成形权重\[13\]。在第二种方法中，使用DNN估计应用于信号的短时傅立叶变换(STFT)的掩模，从而计算PSD矩阵\[14\]。然后，应用波束形成方法，例如MVDR，其使用PSD矩阵\[15，16，14\]计算滤波器系数。这些方法以不同的方式使用DNN方法，但是，每种方法的最终目标都是相同的，即预测滤波器系数。然而，最近，音频社区出现了一种转变，将注意力机制纳入深度神经网络架构\[17\]，以隐式执行空间滤波。（简述DNN用在多通道处理的方法）

本文提出了一种新的多通道语音增强和去混响方法，而不是使用带有DNN或注意机制的传统波束形成方法。具体来说，我们将每个音频通道视为位于**非欧几里得空间**中，更具体地说，是一个从观察中获得的图形。以这种方式表述问题允许我们利用图神经网络(GNN)领域的方法\[18\]，并以端到端的方式执行我们的训练。此外，学习图形结构允许网络根据动态声音场景调整其结构。据我们所知，**这是第一种通过图来表示多通道语音增强和去混响并使用图神经网络来解决它的方法**。 (第一篇使用图神经网络来处理多通道语音增强问题)

我们的方法依赖于短时傅里叶变换(STFT)域中的复数混合的实部和虚部，并估计参考麦克风的复数比率掩模(CRM)。然后将CRM应用于混合STFT，以获得干净的语音。我们将我们提出的方法应用于同步语音增强和去混响任务。为此，我们利用LibriSpeech \[19\]数据集模拟数据。特别是，我们模拟不同麦克风阵列配置的数据-线性、圆形和分布式，同时改变麦克风的数量。我们在实验中使用短时客观可懂度(STOI) \[20\]、语音质量感知评估(PESQ) \[21\]和信号失真比(SDR) \[22\]作为评估指标。我们还表明，我们的方法优于最近提出的基于神经网络的多通道语音增强方法。

![image-20210719095753564][]

Fig.1. 提出了一种基于图神经网络的多通道语音增强模型。计算每个麦克风信号的复频谱图，并将其传递给编码器。每个通道的提取表示被传递到图卷积网络，用于空间特征学习。每个通道的提取特征被传递到解码器，并且执行解码器输出的加权和。输出(复数)乘以参考麦克风复频谱图，以产生干净的频谱图。

### 2 图神经网络 ###

图神经网络(GNN) \[18\]是传统神经网络的推广，旨在以图的形式对非欧几里德数据进行操作。图表在如何表示和构造数据方面提供了相当大的灵活性，而神经网络允许人们操作和推广神经网络方法来绘制结构化数据。GNN的一种特殊类型是图卷积神经网络，它基于通过共享权重学习的原理，类似于卷积神经网络\[23\]。广义而言，有两种方法可以构建图卷积神经网络，即谱图神经网络和空间图神经网络\[24，25，26\]。谱图神经网络是基于谱图理论。更具体地说，图处理基于图拉普拉斯的特征分解，用于计算图信号的傅立叶变换，通过该变换定义图滤波操作。空间图卷积网络直接在图数据上定义卷积，并试图通过共享权重从相邻节点聚集信息来捕获信息。空间图卷积网络的计算复杂度较低，并且可以更好地推广到不同的图。而谱图卷积网络在固定图上运行，空间图神经网络具有在每个节点上局部工作的灵活性，而不考虑整个固定图。然而，它们需要节点排序。

我们提出的方法的一个关键方面是我们根据手头的任务动态地构建图。这种动态图构建方法使这个框架能够以特定于样本的方式获取每个音频的多声道信息。

### 3 多通道图处理 ###

我们提出的框架示意性地显示在图1中。来自每个通道的音频信号被转换成时间-频率(T-F)表示，该表示被送到神经网络框架。输入首先通过编码器网络，该网络试图从输入中学习更高级别的特征(第3.1节)。然后，音频通道的这些特征表示被用于构建一个图，该图通过其节点和边缘捕获多通道信息。此时，我们使用GCNs(第3.3节)来聚合来自每个麦克风的信息。图中每个节点的输出表示作为输入传递给解码器，然后解码器将信号转换回原始尺寸。最后，计算解码器输出的加权和，并将其(复数)乘以参考麦克风的STFT，以计算干净的STFT。

#### 3.1 音频表示学习 ####

我们提出的框架的第一个主要步骤是学习来自每个麦克风的音频信号的表示。为此，首先通过短时傅立叶变换(STFT)将音频信号转换为时频表示。这个复数的实部和虚部叠加在一起，得到大小为2 × T × F的2通道张量，其中T代表时间段的总数，F代表频率仓的总数。考虑到所有M个通道，它导致框架的M × 2 × T × F维输入。

我们利用一个U-Net架构\[27\]来学习输入的表示。基于U-Net的体系结构已被证明对语音增强效果良好\[28\]。每个通道的复数图被传递到编码器。由编码器产生的表示用于获得多通道图。解码器输出与输入相同维数的M个张量。我们使用注意层将这些张量组合成统一的表示，即它们的加权和。

#### 3.2 图结构 ####

传统上，基于信号处理的方法已经用于从由多个麦克风捕获的音频信号中提取信息。在这里，我们提出了一种通过图形处理提取多通道信息的新方法。**该过程的第一步是使用在前一步中获得的不同通道的音频表示来构建图表**。

我们构造一个无向图 $ G = (V,E) , 其 中 ,其中 ,其中V 表 示 图 的 节 点 集 ， 比 如 麦 克 风 ， 表示图的节点集，比如麦克风， 表示图的节点集，比如麦克风，E$ 表示两个节点之间的图的边 ( v i , v j ) (v\_i,v\_j) (vi,vj)。在图论中，图的特征是邻接矩阵 A = R ∣ V ∣ ∣ V ∣ ) A = \\mathbb\{R\}^\{|V||V|\}) A=R∣V∣∣V∣) ,其中 ∣ . ∣ |.| ∣.∣ 表示基数和一个度矩阵$ D  . 我 们 考 虑 加 权 邻 接 矩 阵 ， 其 中 .我们考虑加权邻接矩阵，其中 .我们考虑加权邻接矩阵，其中A 的 内 容 对 应 着 图 的 两 个 节 点 之 间 的 加 权 边 的内容对应着图的两个节点之间的加权边 的内容对应着图的两个节点之间的加权边(v\_i,v\_j)\\in E . 直 观 地 ， 每 个 权 重 表 示 图 中 两 个 节 点 的 特 征 向 量 之 间 的 相 似 性 。 在 我 们 的 方 法 中 ， 邻 接 矩 阵 A 的 这 些 权 重 .直观地，每个权重表示图中两个节点的特征向量之间的相似性。在我们的方法中，邻接矩阵A的这些权重 .直观地，每个权重表示图中两个节点的特征向量之间的相似性。在我们的方法中，邻接矩阵A的这些权重w\_\{ij\},\{i,j \\in |V|\}$ ,是在训练过程中学习的。对于 v i v\_i vi 和 v j v\_j vj 两个节点，我们首先连接它们的表示 f v i f\_\{v\_i\} fvi,$f\_\{v\_j\} \\in \\mathbb\{R\}^N  作 为 作为 作为 |f\_\{v\_i\}||f\_\{v\_j\}| ， 然 后 通 过 非 线 性 函 数 F ( ) 传 递 他 们 。 我 们 通 过 归 一 化 每 个 节 点 的 权 重 来 构 造 邻 接 矩 阵 ， 使 其 和 为 1. 节 点 度 矩 阵 D 是 对 角 矩 阵 ，然后通过非线性函数F()传递他们。我们通过归一化每个节点的权重来构造邻接矩阵，使其和为1.节点度矩阵D是对角矩阵 ，然后通过非线性函数F()传递他们。我们通过归一化每个节点的权重来构造邻接矩阵，使其和为1.节点度矩阵D是对角矩阵D\_\{ii\} = \\sum\_jA\_\{ij\}$.

#### 3.3 图卷积网络 ####

在上一节构造的G图提供了一种结构化的方式来捕获来自所有麦克风的信息。我们可以利用GCN从这个图中学习空间关系。我们应用GCN通过学习每个节点相对于其邻居的表示来学习节点特征的更高抽象级别。给定一个图$ G = (V,E) ， G C N 对 具 有 N 个 特 征 的 输 入 特 征 矩 阵 ，GCN对具有N个特征的输入特征矩阵 ，GCN对具有N个特征的输入特征矩阵x\\in\\mathbb\{R\}^\{|V|\*N\}$,进行非线性变换。在数学上，GCN可以表示如下

![image-20210719110940480][]

其中 H ( l ) ∈ R ∣ V ∣ ∗ K H^\{(l)\}\\in\\mathbb\{R\}^\{|V|\*K\} H(l)∈R∣V∣∗K是具有K个特征的 l t h l^\{th\} lth层， H ( 0 ) = X H^\{(0)\}=X H(0)=X. D是对角点度矩阵， W ( l − 1 ) W^\{(l-1)\} W(l−1)是第一层的可训练权矩阵，g是激活函数。

#### 3.4 激活函数 ####

为了训练整体框架，我们考虑不同形式的损失计算。我们通过幅度谱图、复谱图和原始信号域来考虑损耗计算。更具体地说，考虑以下四种损失

![image-20210719111327475][]

∣ ∣ ∗ ∣ ∣ 1 ||\*||\_1 ∣∣∗∣∣1表示L1范数，M,S和s分别表示幅度谱图，复数谱图和干净信号，^ 表示相应的预测实体。

### 4 实验 ###

#### 4.1 数据集 ####

我们使用LibriSpeech数据集，这是一个大约1000小时的英语语音语料库，在消声室中以16千赫的采样率捕获。出于我们的目的，我们使用数据集的句子来模拟三种阵列类型的房间声学数据:线性、圆形和分布式。使用分布式阵列，我们在房间中随机放置麦克风。此外，我们还对阵列中的 M ∈ \{ 2 , 4 \} M\\in \{\\\{2,4\\\}\} M∈\{ 2,4\}麦克风进行了实验。模拟观察包括一个混合了m-1噪声信号的语音信号，从音频集中随机选择\[30\]，并随机放置在房间内。混合信号的信噪比水平为\{ -7.5，-5，0，5，7.5 \}分贝。训练集由3个房间组成(宽×深×高)，尺寸从\{3 × 3 × 2，5 × 4 × 6，8×9×10 \}米，开发集由2个房间组成，尺寸从\{5 × 8 × 3，4×7×8 \}米，测试集由2个房间组成，尺寸从\{4×5×3，6×8×5 \}米。所有房间的RT60 = 0.5秒。训练集由6小时组成，开发和测试集由5小时组成。

#### 4.2 实验步骤 ####

我们使用Adam优化算法\[31\]以10-5的固定学习率和20帧的小批量训练模型。输入表示是用长度为1024的汉宁窗和跳跃大小为512的频率仓513计算的复STFT。编码器中卷积层的通道数分别为64、128、128、256、256、256。解码器的通道数与编码器的顺序相反。编码器(解码器)的所有(去)卷积都使用3 × 3内核大小，步长为2 × 2，没有填充。编码器(解码器)层由(去)卷积、批量归一化和SELU激活函数组成。对于我们的GCN，我们使用两层，隐藏单元的数量与嵌入空间的维度相同。

#### 4.3 增强结果 ####

我们将我们的方法与查克拉巴蒂等人(CRNNC) \[14\]的方法进行了比较，这是一种最近提出的基于多通道深度学习的增强模型。他们的方法使用每个通道的原始信号的相位和幅度作为输入，并在通道之间执行卷积，以预测理想的比率掩码(IRM)来计算干净的幅度。我们还展示了不利用空间信息的U-Net体系结构的结果，即使用单通道进行增强。表1显示了不同阵列配置的结果

![image-20210719112309389][]

![image-20210719112320184][]

![image-20210719112409737][]

我们的方法优于单通道方法，在所有指标上都有很高的提升。此外，我们的模型也优于CRNN-C方法。令人惊讶的是，我们观察到CRNN-C方法的性能最差，其值略高于噪声信号，即使与单通道方法相比也是如此。此外，与传统方法相比，我们的方法对不同的麦克风几何形状具有鲁棒性，在传统方法中，人类先验知识对于实现高性能模型至关重要。最后，在表2和图2中，我们分析了不同信噪比下的结果。图中显示了具有4个麦克风的线性阵列在5种不同信噪比水平下的结果，\[-7.5，5，0，5，7.5\] (分贝)。一般来说，与正信噪比值相比，负信噪比值可以获得更高的性能增益。对于-7.5分贝的输入信噪比，我们看到所提出的基于GCN的方法比噪声情况下的SDR提高了9分贝以上。对于最高的输入信噪比，我们观察到SDR只有2.98分贝的提高。此外，我们观察到我们的模型在所有信噪比值上都优于CRNN-C。在非常低的信噪比值下，例如7.5分贝，我们的模型在STOI、PESQ和SDR上分别有0.5、0.39和4.92的提高。

#### 消融实验 ####

我们使用4麦克风线性阵列进行消融研究，以找到合适的损耗函数，并验证GCN改进模型的性能。本节中的实验使用了一个8麦克风圆形阵列，结果用STOI、PESQ和SDR显示。表3显示了我们模拟数据集开发集的结果。结果表明，结合幅度和原始信号的损失函数具有整体最佳性能。为了验证GCN在U-Net嵌入空间中的效用，我们进行了两个实验，其中我们:(1)从U-Net的嵌入空间中丢弃GCN，以及(2)包括GCN。表4描述了结果。包括GCNS在内，模型在所有指标上的表现都优于不使用GCN的模型。我们应该注意到，当我们不使用GCN时，我们仍然使用所有的通道，因为我们将提取的U-Net表示与关注层相结合。

### 结论 ###

本文提出利用图神经网络来挖掘多通道语音增强问题中的空间相关性。我们使用一个U-Net类型的架构，其中编码器分别学习每个通道的表示，并使用这些表示构建一个图。图形卷积网络用于在图形中传播信息，从而学习空间特征。每个节点的特征被传递给解码器，以重建每个通道的频谱图。我们使用注意力权重对这些进行组合，用于参考麦克风的最终预测。针对混响和噪声环境中不同的阵列几何形状和麦克风数量，对所提出的方法进行了分析。这是第一项利用GCN进行语音增强的研究。结果表明，与现有技术方法相比，该方法具有优越性。未来的工作可以着眼于通过检查图中最重要的节点和边来对训练好的模型进行定量评估。此外，**通过使用原始波形(即，端到端方法)而不是复杂频谱图来执行语音增强是另一个可能的方向。**

#### 自己的理解 ####

这篇论文依托于U-net语音增强网络框架，将图卷积网络应用在模型中，其起到的作用是以另一种形式去学习空间特征。对比着其他领域图卷积网络的应用，我发现，在这篇文章中，图卷积中所有的公式都是可学习的参数，也就是说，只是用了图卷积网络样子，借用了理论，所有系数都使用可学习参数。不过作者也为我们提供了一个新的思路，尤其是对于多通道语音增强这个研究比较少的领域，非常感谢。

卷积中所有的公式都是可学习的参数，也就是说，只是用了图卷积网络样子，借用了理论，所有系数都使用可学习参数。不过作者也为我们提供了一个新的思路，尤其是对于多通道语音增强这个研究比较少的领域，非常感谢。

[image-20210719095753564]: /images/20220829/be6c879f7eef49b0b913e812970c2668.png
[image-20210719110940480]: /images/20220829/f1c1fae8a28e44a2ac41034dc9067e21.png
[image-20210719111327475]: /images/20220829/086616c5e762479c8328be57674d6a82.png
[image-20210719112309389]: /images/20220829/6d6cd2caea7840c9ae3f766ebd79fe90.png
[image-20210719112320184]: /images/20220829/27974275a7cb4b4f8480d2091d69ffce.png
[image-20210719112409737]: /images/20220829/2a2d087da2684bd284a0f41e32b5136f.png