回音消除之二实践篇

矫情吗；* 2022-08-26 08:39 195阅读 0赞

从应用平台来看，根据笔者多年的经验，可以把回声消除分为两大类：基于DSP等实时平台的回声消除技术和基于Windows等非实时平台的回声消除技术。两者的技术难度和重点是不一样的。

**三、基于DSP平台的回声消除技术**

回声消除技术传统的应用领域是各种嵌入式设备，包括各种电信网络设备和终端设备。网络设备比如交换机，网关等等，终端则包括移动电话终端，视频会议终端等。现代通讯产品里面大量应用了回声消除技术，包括在我们看得到的终端产品（比如手机）和看不到的局端产品（比如交换机）。 这种嵌入式设备的共同点就是采用各种型号的 DSP 芯片作为回声消除的载体。一个有效的回声消除算法需要持续的在一颗 DSP 芯片上面运行，会遇到以下方面的难点：

实时性与高效性，因为 DSP 芯片资源有限。虽然自从二十世纪七十年代 DSP 应用以来，日新月异的硬件芯片技术使许多沉睡在教科书上的信号处理理论算法大规模应用，但是回声消除算法需要的资源还是大得惊人。以视频会议系统，大规模的会议室可以产生超过 512ms 的回音，要消除这么长延时的回音，即使按照 8k 赫兹采样率计算， 自适应滤波器 ***W*** (*n*) 的长度都会达到 4096 个点，这样一方面需要非常大的存储空间来存储 ***W*** (*n*) ，另一方面， ***W*** (*n*) 的更新需要的计算量也是成倍增长，同时， ***W*** (*n*) 的收敛难度也在加大，传统自适应滤波器的效率很难保证。对于 电信设备中的应用，虽然回声消除不需要这么长的延时，但是在交换机等设备中，成本和效率就是生命，所有的处理算法都是按路或按线计算的，对算法的优化效率提出了无止境的要求。相对而言，只有像车载免提这种应用对效率要求不那么高，因为车内空间小，回音延时有限，又不要求多路应用。

传统的回声消除技术是从国外二十世纪七十年代的早期算法发展而来，这类技术的采用一直相当昂贵，提供电信级回声消除硬件应用（包括芯片或者设备）的厂家都是国外的。 对于移动网络用户来说，语音品质一直是他们最关切的议题，对电信业者来说，语音也仍是他们最能获利的服务项目，因此语音的品质是不容妥协的。 为了满足今日与未来的网路需求，回声消除技术的挑战正在于如何有效地降低成本并持续改善语音品质。

算法级的 DSP 软件解决方案，也是解决嵌入式设备回音问题的一种途径，对用户也有一定的灵活性，用户只需要把回声消除模块集成到自己的 DSP 软件中，再简单调整几个相关参数，就能达到较好的回声消除效果。

目前基于 DSP 的回声消除算法已经比较成熟，市场上也有一批专门的算法 / 芯片公司的能够对外提供已经优化好的基于 DSP 的软件回声消除模块：如俄罗斯 Spririt DSP 、加拿大 Octastic Semiconductor 、瑞典 GIPS 、国内科莱特斯科技 Conatus Technologies 以及美国 Adaptive Digital 、和GAO Research、英国CSR等等，另外还有美国Fortemedia、 Acoustic Technologies和日本OKI等可以提供专用的回声消除DSP芯片。其中性能较好的有 Octastic 、 Conatus 、和 Spririt 这三家， Octastic 可以提供完整的从专用芯片、板卡到 DSP 算法的完整方案，而 Conatus 和 Spririt 的回声消除 效果更好，值得一提的是 Conatus 公司是目前市面上唯一提供针对专业视讯会议应用 宽带回声消除模块的公司，其音频采样率可以达到48k赫兹。

**四、基于Windows平台的回声消除技术**

回声消除技术最新的应用领域是基于 Windows 平台的各种 VoIP 应用，比如软件视频会议， VoIP 软件电话等。当回声消除算法应用到 Windows 平台，相对于传统的 DSP 平台，既带来优势，也带来了新的难点。高效性在 Windows 平台已经不是问题，现在的 pc 机，拥有丰富的 cpu 资源和海量的内存资源，再复杂的回声消除算法都可以运行自如。但是，新增加的麻烦比带来的好处要多。

首先， Windows 平台是一个非实时的平台，音频的采集和播放对回声消除算法而言，也是非实时的。和 DSP 平台不一样， DSP 平台可以直接控制 AD/DA 芯片的采集播放，获得实时的音频流（不存在同步问题），但是 Windows 平台下，应用程序很难在底层直接控制声卡的采集播放，获得的是非实时的音频流，从而带来了采集和播放音频流的同步问题。

实际应用时，传给回声消除算法的两个声音信号（采集的回音信号 ne 和播放的参考信号 fe ），必须同步得非常的好。就是说，本地接收到远端说的话以后，要把这些话音数据传给回声消除算法做参考，这是一个算法需要的输入信号；然后再传给声卡，声卡放出来后经过回音路径，这时，本地再采集，然后传给回声消除算法，这是算法需要的另一个输入信号。这里的同步是指：两个信号虽然存在延时，但这个延时必须固定，在时序上要保持连贯，不能一个信号多来几个帧，另外一个信号少来几个帧。如果传给回声消除算法的两个信号同步得不好，即两个信号发生帧错位，就没有办法进行消除了。因为这时系统会变成了非因果系统，比如期望信号收到了，参考信号还没来，时间上都没有因果关系，肯定是没有办法消除的。

实际情况是，在一般的 VoIP软件中，接收对方的声音并传到声卡中播放是在一个线程中进行的，而采集本地的声音并传送到对方又是在另一个线程中进行的，而声学回声消除算法在对采集到的声音进行回声消除的同时，还需要播放线程中的数据作为参考，而要同步这两个线程中的数据是非常重要的，因为稍稍有些不同步，声学回声消除算法中的自适应滤波器就会发散，不但消除不了回音，还会破坏原始采集到的声音，使声音难以分辨。

另外， pc 机器的声卡种类繁多，各种各样的声卡特性进一步加剧了同步问题的复杂性。所以，同步和声卡等问题对回声消除算法的内部特性提出了更多苛刻的要求。

从上面分析来看，由于 Windows 平台的非实时性，基于 Windows 平台的回声消除技术比 DSP 平台要难得多。

在 PC 平台语音通讯领域，目前公认音质做得比较好的国外软件是 Skype ， 记得几年前 Skype 一直是在用瑞典一家叫 GIPS(Global IP Sound) 公司的语音引擎技术。 GIPS 是最早介入 PC 平台语音通讯领域的厂商之一，在改领域具有一定的权威性，其主要优势表现在对 IP 网络的延时、抖动和丢包等处理较好，基于 Windows 平台的回音消除也做得不错，不过最近的新版本 Skype 上已经看不到 GIPS 的标志了，据说是因为 Skype 自己研发了一套新的更好的语音引擎的缘故。 目前大家接触最多的采用了 GIPS 语音引擎技术的通讯软件就是腾讯 QQ 了，其超级语音的效果普遍评价都还不错。 另外 微软经过多年的研发，其最新版本的 MSN 语音特别是回音消除效果终于有了质的提升，目前网上评价也还不错。另外还有一些专业厂商也对外提供包含回音消除功能的语音 引擎，如俄罗斯的 Spirit DSP 、美国的 GH Innovation 和国内的 科莱特斯科技（ Conatus Technologies ）以及赛声科技（ Soft Acoustic ）等等。除此之外，网络上还可以下载到一个很好的开源的语音软件 Speex 也提供了回音消除功能。为了进一步了解目前 PC Windows 平台 回音消除技术的业界水平，笔者对各家的回音消除技术做一个详细的横向对比测试 （所有测试都是免提状态）

为了对比，各家 语音引擎的版本信息列举如下：

**国外厂商：**

**Skype V3.8.4.182**

**Spirit DSP（厂家DEMO）**

**GIPS（QQ 2009beta）**

**Micorsoft （Windows Live Messenger 2009 V14.0.8064.2006）**

**GH Innovation（厂家DEMO）**

**国内厂商：**

**Conatus Technologies（厂家DEMO）**

**Soft Acoustic（厂家DEMO）**

**开源算法：**

**Speex（V1.2RC1 自己写了测试软件）**

**测试结果：**

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      测试项目 
    </div> 
    <div>
      &nbsp; 
    </div> </td> 
   <td> 
    <div> 
     <strong>Skype</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>MSN</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>QQ</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Conatus</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Spirit</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Speex</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>SoftAcoustic</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>GH I</strong> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <strong>笔记本免提模式，外接麦克风和音箱应用模式的适应性</strong> 
    </div> </td> 
   <td> 
    <div>
      两种模式都无回音 
    </div> </td> 
   <td> 
    <div>
      笔记本免提模式有时一直有较小回音 
    </div> </td> 
   <td> 
    <div>
      笔记本免提模式偶尔有较小回音 
    </div> </td> 
   <td> 
    <div>
      两种模式都无回音 
    </div> </td> 
   <td> 
    <div>
      笔记本免提模式有时一直有较小回音 
    </div> </td> 
   <td> 
    <div>
      两种模式都有一直较小回音 
    </div> </td> 
   <td> 
    <div>
      两种模式有时都会出现较大回音 
    </div> </td> 
   <td> 
    <div>
      笔记本免提模式一直有很小回音 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <strong></strong>&nbsp; 
    </div> 
    <div> 
     <strong>单方讲话效果</strong> 
    </div> </td> 
   <td> 
    <div>
      无回音，效果很好 
    </div> </td> 
   <td> 
    <div>
      基本无回音，效果好 
    </div> </td> 
   <td> 
    <div>
      基本无回音，效果好 
    </div> </td> 
   <td> 
    <div>
      无回音，效果很好 
    </div> </td> 
   <td> 
    <div>
      基本无回音，效果好 
    </div> </td> 
   <td> 
    <div>
      一直有较小回音，效果差 
    </div> </td> 
   <td> 
    <div>
      有时有很大回音，效果差 
    </div> </td> 
   <td> 
    <div>
      基本无回音，效果好 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div>
      &nbsp; 
    </div> 
    <div> 
     <strong>双方同时讲话效果</strong> 
    </div> </td> 
   <td> 
    <div>
      双方交流流畅无回音，对方声音偶尔有轻微断续 
    </div> </td> 
   <td> 
    <div>
      双方交流流畅，但对方声音中会夹杂着轻微回音 
    </div> </td> 
   <td> 
    <div>
      双方交流流畅，但对方声音中会夹杂着一些回音 
    </div> </td> 
   <td> 
    <div>
      双方交流流畅无回音，对方声音偶尔有轻微断续 
    </div> </td> 
   <td> 
    <div>
      双方交流流畅，但对方声音中间会夹杂着一些回音 
    </div> </td> 
   <td> 
    <div>
      双方交流比较流畅，但一直听到一个较小的回音 
    </div> </td> 
   <td> 
    <div>
      双方交流不流畅，对方声音经常会断续 
    </div> </td> 
   <td> 
    <div>
      双方交流无回音，但对方声音很小很难听清楚 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div>
      &nbsp; 
    </div> 
    <div> 
     <strong>麦克风和扬声器相对的位置改变等</strong> 
    </div> </td> 
   <td> 
    <div>
      收敛比较快，基本没有回音出现。 
    </div> </td> 
   <td> 
    <div>
      收敛比较快，基本没有回音出现。 
    </div> </td> 
   <td> 
    <div>
      收敛比较快，基本没有回音出现。 
    </div> </td> 
   <td> 
    <div>
      收敛比较快，基本没有回音出现。 
    </div> </td> 
   <td> 
    <div>
      收敛比较快，基本没有回音出现。 
    </div> </td> 
   <td> 
    <div>
      收敛速度慢，有好几句回音 
    </div> </td> 
   <td> 
    <div>
      收敛速度慢，有好几句回音 
    </div> </td> 
   <td> 
    <div>
      收敛比较快，基本没有回音出现。 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <strong></strong>&nbsp; 
    </div> 
    <div> 
     <strong>CPU重载（CPU负载达到100%）时效果</strong> 
    </div> </td> 
   <td> 
    <div>
      XP和Vista下声音都流畅，基本不会出现回音和声音断续现象 
    </div> </td> 
   <td> 
    <div>
      XP和Vista下声音都流畅，基本不会出现回音和声音断续现象 
    </div> </td> 
   <td> 
    <div>
      XP下声音流畅，基本不会出现回音；Vista下声音断续，偶尔会出现回音 
    </div> </td> 
   <td> 
    <div>
      XP和Vista下声音都流畅，基本不会出现回音和声音断续现象 
    </div> </td> 
   <td> 
    <div>
      XP下声音流畅，基本不会出现回音；Vista下声音断续，偶尔会出现回音 
    </div> </td> 
   <td> 
    <div>
      此项未测 
    </div> </td> 
   <td> 
    <div>
      XP下声音流畅，基本不会出现回音；Vista下声音断续，偶尔会出现回音 
    </div> </td> 
   <td> 
    <div>
      XP下声音流畅，基本不会出现回音；Vista下不加负载声音都是断续的 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <strong></strong>&nbsp; 
    </div> 
    <div> 
     <strong>PC和声卡适应性</strong> 
    </div> </td> 
   <td> 
    <div>
      稳定，基本都能消除回音 
    </div> </td> 
   <td> 
    <div>
      稳定，基本都能消除回音 
    </div> </td> 
   <td> 
    <div>
      比较稳定，偶尔有些笔记本免提时有回音 
    </div> </td> 
   <td> 
    <div>
      稳定，基本都能消除回音 
    </div> </td> 
   <td> 
    <div>
      稳定，基本都能消除回音 
    </div> </td> 
   <td> 
    <div>
      不稳定，有时无法消除回音 
    </div> </td> 
   <td> 
    <div>
      不稳定，经常无法消除回音 
    </div> </td> 
   <td> 
    <div>
      稳定，基本都能消除回音 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div>
      &nbsp; 
    </div> 
    <div> 
     <strong>噪声抑制</strong> 
    </div> 
    <div>
      &nbsp; 
    </div> 
    <div>
      &nbsp; 
    </div> 
    <div>
      &nbsp; 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果弱 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果一般 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果弱 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果强 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果一般 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果强 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果强 
    </div> </td> 
   <td> 
    <div>
      噪声抑制效果强 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <strong>自动硬件增益控制和免提时能达到的最大播放音量</strong> 
    </div> </td> 
   <td> 
    <div>
      支持，音量较大 
    </div> </td> 
   <td> 
    <div>
      支持，音量较小 
    </div> </td> 
   <td> 
    <div>
      支持，音量适中 
    </div> </td> 
   <td> 
    <div>
      支持，音量适中 
    </div> </td> 
   <td> 
    <div>
      支持，音量较小 
    </div> </td> 
   <td> 
    <div>
      不支持 
    </div> </td> 
   <td> 
    <div>
      支持，音量较小 
    </div> </td> 
   <td> 
    <div>
      支持，音量非常小 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div>
      &nbsp; 
    </div> 
    <div> 
     <strong>整体效果评价（0-10分评分）</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>很好，基本没有回音，双方交流很顺畅，9分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>较好，有的笔记本免提时偶尔有回音且音量较小，双方交流比较顺畅，7.5分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>较好，有的笔记本免提时偶尔有回音，双方交流顺畅，8分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>很好，基本没有回音，音量比skype略小，双方交流很顺畅，8.5分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>较好，有的笔记本免提效果稍差且音量比较小，vista效果稍差，7分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>不好，一直有个较小的残余回音，双方交流困难，3分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>不好，经常有完整的回音，感觉不稳定，双方交流比较困难，5分</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>一般，没有回音，但是音量太小，双方交流困难，且VISTA下声音断续，5.5分</strong> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <strong>测试项目</strong> 
    </div> 
    <div> 
     <strong>&nbsp;</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Skype</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>MSN</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>QQ</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Conatus</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Spirit</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>Speex</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>SoftAcoustic</strong> 
    </div> </td> 
   <td> 
    <div> 
     <strong>GH I</strong> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

可以看出， Skype 、  Conatus 和  QQ(GIPS) 的效果最好，  MSN 和 Spirit 的效果还不错，而 GH Innovation 、 Soft Acoustic 效果一般， Speex 的效果较差。

**五、总结**

回声消除已经成为语音通讯中提供全双工音频的标准方法。声学回声消除是通过消除或者移除本地话筒中拾取到的远端的音频信号来阻止远端的声音返回去的一种处理方法。这种音频的移除都是通过数字信号处理来完成的。回声消除技术是数字信号处理的典型应用之一。