音视频开发进阶指南--音视频概念基础

蔚落 2022-05-21 01:22 524阅读 0赞

**音频概念基础：**

**采样、量化和编码：**

首先要**对模拟信号进行采样**，所谓采样就是在时间轴上对信号进行数字化。根据奈奎斯特定理（也称为采样定理），按比声音最高频率高2倍以上的频率对声音进行采样（也称为AD转换），1.1节中提到过，对于高质量的音频信号，其频率范围（人耳能够听到的频率范围）是20Hz～20kHz，所以采样频率一般为44.1kHz，这样就可以保证采样声音达到20kHz也能被数字化，从而使得经过数字化处理之后，人耳听到的声音质量不会被降低。而所谓的44.1kHz就是代表1秒会采样44100次

**量化**。量化是指在幅度轴上对信号进行数字化，比如用16比特的二进制信号来表示声音的一个采样，而16比特（一个short）所表示的范围是［-32768，32767］，共有65536个可能取值，因此最终模拟的音频信号在幅度上也分为了65536层

**编码**。所谓编码，就是按照一定的格式记录采样和量化后的数字数据，比如顺序存储或压缩存储，等等。

音频的裸数据格式就是脉冲编码调制（**Pulse Code Modulation，PCM**）数据。描述一段PCM数据一般需要以下几个概念：**量化格式（sampleFormat）**、**采样率（sampleRate）**、**声道数（channel）**。以CD的音质为例：**量化格式**（有的地方描述为**位深度**）为16比特（2字节），采样率为44100，声道数为2，这些信息就描述了CD的音质。而对于声音格式，还有一个概念用来描述它的大小，称为**数据比特率**，即1秒时间内的比特数目，它用于衡量音频数据单位时间内的容量大小。而对于CD音质的数据，比特率为多少呢？计算如下：

44100 \* 16 \* 2 = 1378.125kbps

那么在1分钟里，这类CD音质的数据需要占据多大的存储空间呢？计算如下：

1378.125 \* 60 / 8 / 1024 = 10.09MB

如果sampleFormat更加精确（比如用4字节来描述一个采样），或者sampleRate更加密集（比如48kHz的采样率），那么所占的存储空间就会更大，同时能够描述的声音细节就会越精确。

#### **音频编码**    ####

CD音质的数据采样格式，曾计算出每分钟需要的存储空间约为10.1MB，如果仅仅是将其存放在存储设备（光盘、硬盘）中，可能是可以接受的，但是若要在网络中实时在线传播的话，那么这个数据量可能就太大了，所以必须对其进行压缩编码。压缩编码的基本指标之一就是压缩比，压缩比通常小于1（否则就没有必要去做压缩，因为压缩就是要减小数据容量）。压缩算法包括有损压缩和无损压缩。无损压缩是指解压后的数据可以完全复原。在常用的压缩格式中，用得较多的是有损压缩，有损压缩是指解压后的数据不能完全复原，会丢失一部分信息，压缩比越小，丢失的信息就越多，信号还原后的失真就会越大。根据不同的应用场景（包括存储设备、传输网络环境、播放设备等），可以选用不同的压缩编码算法，如PCM、WAV、AAC、MP3、Ogg等。  
压缩编码的原理实际上是压缩掉冗余信号，冗余信号是指不能被人耳感知到的信号，包含人耳听觉范围之外的音频信号以及被掩蔽的音频信号等。人耳听觉范围之外的音频信号在1.2节中已经提到过，所以在此不再赘述。而被掩蔽掉的音频信号则主要是因为人耳的掩蔽效应，主要表现为频域掩蔽效应与时域掩蔽效应，无论是在时域还是频域上，被掩蔽掉的声音信号都被认为是冗余信息，不进行编码处理。  
下面介绍几种常用的压缩编码格式。

**（1）WAV编码**  
PCM（脉冲编码调制）是Pulse Code Modulation的缩写。前面已经介绍过PCM大致的工作流程，而WAV编码的一种实现（有多种实现方式，但是都不会进行压缩操作）就是在PCM数据格式的前面加上44字节，分别用来描述PCM的采样率、声道数、数据格式等信息。  
特点：音质非常好，大量软件都支持。

适用场合：多媒体开发的中间文件、保存音乐和音效素材。

**（2）MP3编码**  
MP3具有不错的压缩比，使用LAME编码（MP3编码格式的一种实现）的中高码率的MP3文件，听感上非常接近源WAV文件，当然在不同的应用场景下，应该调整合适的参数以达到最好的效果。

特点：音质在128Kbit/s以上表现还不错，压缩比比较高，大量软件和硬件都支持，兼容性好。  
适用场合：高比特率下对兼容性有要求的音乐欣赏。

**（3）AAC编码**  
AAC是新一代的音频有损压缩技术，它通过一些附加的编码技术（比如PS、SBR等），衍生出了LC-AAC、HE-AAC、HE-AAC v2三种主要的编码格式。LC-AAC是比较传统的AAC，相对而言，其主要应用于中高码率场景的编码（≥80Kbit/s）；HE-AAC（相当于AAC＋SBR）主要应用于中低码率场景的编码（≤80Kbit/s）；而新近推出的HE-AAC v2（相当于AAC＋SBR＋PS）主要应用于低码率场景的编码（≤48Kbit/s）。事实上大部分编码器都设置为≤48Kbit/s自动启用PS技术，而>48Kbit/s则不加PS，相当于普通的HE-AAC。

特点：在小于128Kbit/s的码率下表现优异，并且多用于视频中的音频编码。  
适用场合：128Kbit/s以下的音频编码，多用于视频中音频轨的编码。

**(4)Ogg编码**  
Ogg是一种非常有潜力的编码，在各种码率下都有t匕较优秀的表现，尤其是在中低码率场景下。Ogg除了音质好之外，还是完  
全免费的，这为Ogg获得更多的支持打好了基础》Ogg有着非常出色的算法，可以用更小的码率达到更好的音质，l28Kbit/s的Ogg比192Kbit/s甚至更高码率的MP3还要出色。但目前因为还没有媒体服务软件的支持，因此基于Ogg的数字广播还无法实现。Ogg目前受支持的情况还不够好，无论是软件上的还是硬件上的支持，都无法和MP3相提并论。

特点：可以用比MP3更小的码率实现比MP3更好的音质，高中低码率下均有良好的表现，兼容性不够好，流媒体特性不支持。

适用场合：语音聊天的音频消息场景。

**一个图像最终要变成RGB的表现方式才可以渲染到显示屏上。而一个RGB形式的图片是超级耗空间，所以编程时注意bitmap对象的回收**

![70][]

**YUV虽说是视频帧的裸数据，YUV数据是不能直接用于渲染，还是要转换为RGB的形式才可以渲染，YUV主要应用于优化彩色视频信号的传输。YUV应该是RGB存储形式和编码存储的一种折衷吧。YUV比RGB省空间，有没有编码后数据那么耗内存去解码，只要简单作个转换就可以变成RGB信号。**

![70 1][]

**YUV和RGB的转换**

![70 2][]

![70 3][]

**视频编码主要是去掉冗余信息，有帧间编码和帧内编码技术，帧内编码就是不依赖其他图片就可以解码的，而帧间就是解压需要一个参考帧（关键帧），相当于做差分。**

![70 4][]

![70 5][]

**IPB帧，IDR帧**

![70 6][]

**DTS和PTS**

![70 7][]

**GOP**

![70 8][]

音视频解码后，得到的是裸数据，音频的裸数据格式是PCM，视频的裸数据格式是YUV

为什么不复制要截图呢？因为京东电子书能复制的字数有限，这篇博文写到一半已经达到允许复制的上限，郁闷。

[70]: /images/20220521/8799c5aae3144e49a9c8258cec2f8772.png
[70 1]: /images/20220521/f90fed41466f41d99a429741c49a1c37.png
[70 2]: /images/20220521/c7694b32e72343aa88907bde689a4c4e.png
[70 3]: /images/20220521/3735fae422fd42899934a97757bfac1b.png
[70 4]: /images/20220521/92d0264eadca49ad9adcc5fed23a77a8.png
[70 5]: /images/20220521/76f66fdf0100473baba4cd340481b646.png
[70 6]: /images/20220521/230aee8f917945499bdcd3cea4e6cce6.png
[70 7]: /images/20220521/d7b542cb40ad4544924249323eb65371.png
[70 8]: /images/20220521/7d373a2bad5048408a696185ef2c95bf.png