FFmpeg开发之旅(二)---音频解码

r囧r小猫 2024-04-20 08:23 84阅读 0赞

### **【写在前面】** ###

前面我介绍了视频解码的流程，发现基础讲得有点少。

因此这里附上一些额外的基础内容：[理解PCM音频数据格式][PCM]

本篇主要内容：

1、**FFmpeg音频解码基本流程**

2、**libswresample的基本使用方法**

--------------------

###  **【正文开始】** ###

实际上音频解码和视频解码的流程是一样的，因此就不花篇幅讲流程了。

这里先简单说一下不同的地方：

//找到音频流的索引
        audioIndex = av_find_best_stream(formatContext, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0);

在第二个参数，改为 AVMEDIA\_TYPE\_AUDIO 即可。

然后从解复用到解码出 PCM，和视频解码的流程是一样的。

视频解码见：[https://blog.csdn.net/u011283226/article/details/100868821][https_blog.csdn.net_u011283226_article_details_100868821]

当然，本篇文章就这样结束也不太好，那么就简单讲一下关于 libswresample 的使用方法吧。

libswresample 是FFmpeg提供的重采样( Resample )库，所谓的重采样也可以简单理解为：样本转换，因此 libswresample 提供一组高度优化的样本转换函数，不管是采样类型，声道格式等等都可以进行转换。

要想使用 libswresample，首先得分配一个SwrContext ，它有两种分配方式：

1、使用 swr\_alloc() 分配一个 SwrContext指针，并且必须使用 av\_opt\_set\_\*() 来设置参数。

> 具体的参数在 FFmpeg 源码下的 libswresample / options.c 中。
> 
> 如果你下载了Qt的源码，那么其中就包含了FFmpeg的源码( 因为 Chromium 源码包含FFmpeg，而Qt包含 Chromium )，它在 qtwebengine 中。

2、使用 swr\_alloc\_set\_opts() 分配的同时设置一些参数。

SwrContext *swrContext = swr_alloc_set_opts(nullptr, int64_t(codecContext->channel_layout), AV_SAMPLE_FMT_S32, codecContext->sample_rate,
                                                    int64_t(codecContext->channel_layout), codecContext->sample_fmt, codecContext->sample_rate,
                                                    0, nullptr);
        swr_init(swrContext);

我使用第二种方式分配，因为这里不需要那么多参数。

注意，分配了 SwrContext 后，必须使用 swr\_init() 来进行初始化。

然后，当我们使用 avcodec\_receive\_frame() 获取到一帧解码的数据后，就可以进行转换了：

int size = av_samples_get_buffer_size(nullptr, frame->channels, frame->nb_samples, AV_SAMPLE_FMT_S32, 0);
        uint8_t *buf = new uint8_t[size];
        swr_convert(swrContext, &buf, frame->nb_samples, const_cast<const uint8_t**>(frame->data), frame->nb_samples);
        delete[] buf;

1、使用 av\_samples\_get\_buffer\_size() 来获取给定音频参数所需的缓冲大小。

2、new (分配) 一个缓冲区。

3、使用 swr\_convert() 来进行转换，in -> out。

> 因为FFmpeg的注释已经足够详细了，所以我从不讲参数。

4、转换完成后的数据存储在 buf 中了，记住别忘了 delete。

--------------------

### **【结语】** ###

本篇实在是没什么好写的，因为FFmpeg的抽象，所以解码视频和音频的流程基本差不多。

不过，解码字幕的时候倒是有些不同，这在后面会进行讲解的。

最后，附上项目地址：[https://github.com/mengps/FFmpeg-Learn][https_github.com_mengps_FFmpeg-Learn]，可以自己尝试一下。

[PCM]: https://blog.csdn.net/u011283226/article/details/101024093
[https_blog.csdn.net_u011283226_article_details_100868821]: https://blog.csdn.net/u011283226/article/details/100868821
[https_github.com_mengps_FFmpeg-Learn]: https://github.com/mengps/FFmpeg-Learn