FFPLAY的原理（三）

港控/mmm° 2022-08-06 03:10 141阅读 0赞

播放声音  
  
现在我们要来播放声音。SDL也为我们准备了输出声音的方法。函数SDL\_OpenAudio()本身就是用来打开声音设备的。它使用一个叫做SDL\_AudioSpec结构体作为参数，这个结构体中包含了我们将要输出的音频的所有信息。  
  
在我们展示如何建立之前，让我们先解释一下电脑是如何处理音频的。数字音频是由一长串的样本流组成的。每个样本表示声音波形中的一个值。声音按照一个特定的采样率来进行录制，采样率表示以多快的速度来播放这段样本流，它的表示方式为每秒多少次采样。例如22050和44100的采样率就是电台和CD常用的采样率。此外，大多音频有不只一个通道来表示立体声或者环绕。例如，如果采样是立体声，那么每次的采样数就为2个。当我们从一个电影文件中等到数据的时候，我们不知道我们将得到多少个样本，但是ffmpeg将不会给我们部分的样本――这意味着它将不会把立体声分割开来。  
  
SDL播放声音的方式是这样的：你先设置声音的选项：采样率（在SDL的结构体中被叫做freq的表示频率frequency），声音通道数和其它的参数，然后我们设置一个回调函数和一些用户数据userdata。当开始播放音频的时候，SDL将不断地调用这个回调函数并且要求它来向声音缓冲填入一个特定的数量的字节。当我们把这些信息放到SDL\_AudioSpec结构体中后，我们调用函数SDL\_OpenAudio()就会打开声音设备并且给我们送回另外一个AudioSpec结构体。这个结构体是我们实际上用到的－－因为我们不能保证得到我们所要求的。  
  
设置音频  
  
目前先把讲的记住，因为我们实际上还没有任何关于声音流的信息。让我们回过头来看一下我们的代码，看我们是如何找到视频流的，同样我们也可以找到声音流。  
  
// Find the first video stream  
  
videoStream=-1;  
  
audioStream=-1;  
  
for(i=0; i < pFormatCtx->nb\_streams; i++) \{  
  
if(pFormatCtx->streams\[i\]->codec->codec\_type==CODEC\_TYPE\_VIDEO  
  
&&  
  
videoStream < 0) \{  
  
videoStream=i;  
  
\}  
  
if(pFormatCtx->streams\[i\]->codec->codec\_type==CODEC\_TYPE\_AUDIO &&  
  
audioStream < 0) \{  
  
audioStream=i;  
  
\}  
  
\}  
  
if(videoStream==-1)  
  
return -1; // Didn't find a video stream  
  
if(audioStream==-1)  
  
return -1;  
  
从这里我们可以从描述流的AVCodecContext中得到我们想要的信息，就像我们得到视频流的信息一样。  
  
AVCodecContext \*aCodecCtx;  
  
aCodecCtx=pFormatCtx->streams\[audioStream\]->codec;  
  
包含在编解码上下文中的所有信息正是我们所需要的用来建立音频的信息：  
  
wanted\_spec.freq = aCodecCtx->sample\_rate;  
  
wanted\_spec.format = AUDIO\_S16SYS;  
  
wanted\_spec.channels = aCodecCtx->channels;  
  
wanted\_spec.silence = 0;  
  
wanted\_spec.samples = SDL\_AUDIO\_BUFFER\_SIZE;  
  
wanted\_spec.callback = audio\_callback;  
  
wanted\_spec.userdata = aCodecCtx;  
  
if(SDL\_OpenAudio(&wanted\_spec, &spec) < 0) \{  
  
fprintf(stderr, "SDL\_OpenAudio: %s/n", SDL\_GetError());  
  
return -1;  
  
\}  
  
让我们浏览一下这些：  
  
·freq 前面所讲的采样率  
  
·format 告诉SDL我们将要给的格式。在“S16SYS”中的S表示有符号的signed，16表示每个样本是16位长的，SYS表示大小头的顺序是与使用的系统相同的。这些格式是由avcodec\_decode\_audio2为我们给出来的输入音频的格式。  
  
·channels 声音的通道数  
  
·silence 这是用来表示静音的值。因为声音采样是有符号的，所以0当然就是这个值。  
  
·samples 这是当我们想要更多声音的时候，我们想让SDL给出来的声音缓冲区的尺寸。一个比较合适的值在512到8192之间；ffplay使用1024。  
  
·callback 这个是我们的回调函数。我们后面将会详细讨论。  
  
·userdata 这个是SDL供给回调函数运行的参数。我们将让回调函数得到整个编解码的上下文；你将在后面知道原因。  
  
最后，我们使用SDL\_OpenAudio函数来打开声音。  
  
如果你还记得前面的指导，我们仍然需要打开声音编解码器本身。这是很显然的。  
  
AVCodec \*aCodec;  
  
aCodec = avcodec\_find\_decoder(aCodecCtx->codec\_id);  
  
if(!aCodec) \{  
  
fprintf(stderr, "Unsupported codec!/n");  
  
return -1;  
  
\}  
  
avcodec\_open(aCodecCtx, aCodec);队列  
  
嗯！现在我们已经准备好从流中取出声音信息。但是我们如何来处理这些信息呢？我们将会不断地从文件中得到这些包，但同时SDL也将调用回调函数。解决方法为创建一个全局的结构体变量以便于我们从文件中得到的声音包有地方存放同时也保证SDL中的声音回调函数audio\_callback能从这个地方得到声音数据。所以我们要做的是创建一个包的队列queue。在ffmpeg中有一个叫AVPacketList的结构体可以帮助我们，这个结构体实际是一串包的链表。下面就是我们的队列结构体：  
  
typedef struct PacketQueue \{  
  
AVPacketList \*first\_pkt, \*last\_pkt;  
  
int nb\_packets;  
  
int size;  
  
SDL\_mutex \*mutex;  
  
SDL\_cond \*cond;  
  
\} PacketQueue;  
  
首先，我们应当指出nb\_packets是与size不一样的－－size表示我们从packet->size中得到的字节数。你会注意到我们有一个互斥量mutex和一个条件变量cond在结构体里面。这是因为SDL是在一个独立的线程中来进行音频处理的。如果我们没有正确的锁定这个队列，我们有可能把数据搞乱。我们将来看一个这个队列是如何来运行的。每一个程序员应当知道如何来生成的一个队列，但是我们将把这部分也来讨论从而可以学习到SDL的函数。  
  
一开始我们先创建一个函数来初始化队列：  
  
void packet\_queue\_init(PacketQueue \*q) \{  
  
memset(q, 0, sizeof(PacketQueue));  
  
q->mutex = SDL\_CreateMutex();  
  
q->cond = SDL\_CreateCond();  
  
\}  
  
接着我们再做一个函数来给队列中填入东西：  
  
int packet\_queue\_put(PacketQueue \*q, AVPacket \*pkt) \{  
  
AVPacketList \*pkt1;  
  
if(av\_dup\_packet(pkt) < 0) \{  
  
return -1;  
  
\}  
  
pkt1 = av\_malloc(sizeof(AVPacketList));  
  
if (!pkt1)  
  
return -1;  
  
pkt1->pkt = \*pkt;  
  
pkt1->next = NULL;  
  
SDL\_LockMutex(q->mutex);  
  
if (!q->last\_pkt)  
  
q->first\_pkt = pkt1;  
  
else  
  
q->last\_pkt->next = pkt1;  
  
q->last\_pkt = pkt1;  
  
q->nb\_packets++;  
  
q->size += pkt1->pkt.size;  
  
SDL\_CondSignal(q->cond);  
  
SDL\_UnlockMutex(q->mutex);  
  
return 0;  
  
\}  
  
函数SDL\_LockMutex()锁定队列的互斥量以便于我们向队列中添加东西，然后函数SDL\_CondSignal()通过我们的条件变量为一个接收函数（如果它在等待）发出一个信号来告诉它现在已经有数据了，接着就会解锁互斥量并让队列可以自由访问。  
  
下面是相应的接收函数。注意函数SDL\_CondWait()是如何按照我们的要求让函数阻塞block的（例如一直等到队列中有数据）。  
  
int quit = 0;  
  
static int packet\_queue\_get(PacketQueue \*q, AVPacket \*pkt, int block) \{  
  
AVPacketList \*pkt1;  
  
int ret;  
  
SDL\_LockMutex(q->mutex);  
  
for(;;) \{  
  
if(quit) \{  
  
ret = -1;  
  
break;  
  
\}  
  
pkt1 = q->first\_pkt;  
  
if (pkt1) \{  
  
q->first\_pkt = pkt1->next;  
  
if (!q->first\_pkt)  
  
q->last\_pkt = NULL;  
  
q->nb\_packets--;  
  
q->size -= pkt1->pkt.size;  
  
\*pkt = pkt1->pkt;  
  
av\_free(pkt1);  
  
ret = 1;  
  
break;  
  
\} else if (!block) \{  
  
ret = 0;  
  
break;  
  
\} else \{  
  
SDL\_CondWait(q->cond, q->mutex);  
  
\}  
  
\}  
  
SDL\_UnlockMutex(q->mutex);  
  
return ret;  
  
\}  
  
正如你所看到的，我们已经用一个无限循环包装了这个函数以便于我们想用阻塞的方式来得到数据。我们通过使用SDL中的函数SDL\_CondWait()来避免无限循环。基本上，所有的CondWait只等待从SDL\_CondSignal()函数（或者SDL\_CondBroadcast()函数）中发出的信号，然后再继续执行。然而，虽然看起来我们陷入了我们的互斥体中－－如果我们一直保持着这个锁，我们的函数将永远无法把数据放入到队列中去！但是，SDL\_CondWait()函数也为我们做了解锁互斥量的动作然后才尝试着在得到信号后去重新锁定它。