FFmpeg中的重要数据结构

「爱情、让人受尽委屈。」 2022-07-19 00:21 128阅读 0赞

在正式开始解码练习前先了解下关于FFmpeg中比较重要的函数以及数据结构。

1. 数据结构：

(1) AVFormatContext

AVFormatContext是一个贯穿始终的数据结构，很多函数都要用到它作为参数。FFmpeg代码中对这个数据结构的注释是：format I/O context 此结构包含了一个视频流的格式内容。其中存有了AVInputFormat（or AVOutputFormat同一时间AVFormatContext内只能存在其中一个），和AVStream、AVPacket这几个重要的数据结构以及一些其他的相关信息，比如title,author,copyright等。还有一些可能在编解码中会用到的信息，诸如：duration, file\_size, bit\_rate等。

初始化： 由于AVFormatConext结构包含许多信息因此初始化过程是分步完成，而且有些变量如果没有值可用，也可不初始化。但是由于一般声明都是用指针因此一个分配内存过程不可少：

AVFormatContext *pFormatCtx;
    
    pFormatCtx = avformat_alloc_context();

(2) AVOutputFormat

编解码器将要使用哪个codec的“指示”。

AVOutputFormat *fmt; 
    
    
    fmt = guess_format(NULL, filename, NULL);

根据filename来判断文件格式，同时也初始化了用什么编码器。当然，如果是用AVInputFormat \*fmt的化，就是fix用什么解码器。（指定输出序列\->fix编码器，指定输入序列\->fix解码器）

(3) AVInputFormat

从AVFormatContext中获取AVInputFormat

AVInputFormat *inputFormat;
    inputFormat = pFormatCtx->iformat;

(4) AVCodecContext

此结构在Ffmpeg SDK中的注释是：main external api structure其重要性可见一斑。而且在avcodec它的定义处，对其每个成员变量，都给出了十分详细的介绍。应该说AVCodecContext的初始化是Codec使用中最重要的一环， 而且AVCodecContext是AVStream的一个成员结构。

(5) AVCodec

结构AVCodec中成员变量和成员函数比较少，但是很重要。他包含了CodecID，也就是用哪个Codec、  像素格式信息。还有前面提到过的5个函数（init、encode、close、decoder、flush）。AVCodec的初始化後的使用都是依附于AVCodecContex，前者是后者的成员。在AVCodecContext初始化後 ，AVCodec也就能很好的初始化了。

(6) AVFrame

AVFrame是作为一个描述“原始图像”（也就是YUV或是RGB…还有其他的吗？）的结构，他的头两个成员数据，uint8\_t

\*data\[4\]，int linesize\[4\]，第一个存放的是Y、Cb、Cr（yuv格式），linesize是啥？由这两个数据还能提取处另外一个数据结构：AVPicture。

此外，AVFrame还含有其他一些成员数据，比如。是否key\_frame、已编码图像书coded\_picture\_number、是否作为参考帧reference、宏块类型 \*mb\_type等等。

AVFrame的初始化并没有他结构上看上去的那么简单。由于AVFrame还有一个承载图像数据的任务（data\[4\]）因此，对他分配内存应该要小心完成。

(7) AVPacket

AVPacket的存在是作为写入文件的基本单元而存在的。我们可能会认为直接把编码后的比特流写入文件不就可以了，为什么还要麻烦设置一个AVPacket结构。在我看来这样的编码设置是十分有必要的，特别是在做视频实时传输，同步、边界问题可以通过AVPacket来解决。AVPacket的成员数据有两个时间戳、数据data（通常是编码后数据）、大小size等等（参见avformat.h 48行）。讲AVPacket的用法就不得不提到编解码函数，因为AVPacket的好些信息只有在编解码后才能的知。

(8) AVPicture

AVPicture的存在有以下原因，AVPicture将Picture的概念从Frame中提取出来，就只由Picture（图片）本身的信息，亮度、色度和行大小。而Frame还有如是否是key frame之类的信息。这样的类似“分级”是整个概念更加清晰。 AVPacket作为将编码后数据写入文件的基本数据单元，他的单元大小、数据都是由AVPacket来的

(9) AVStream

AVStream作为继AVFormatContext後第二个贯穿始终的结构是有其理由的。他的成员数据中有AVCodecContext这基本的上是对所使用的Video Codec的参数进行设定的（包括bit rate、分辨率等重要信息）。同时作为“Stream”，它包含了“流”

这个概念中的一些数据，比如：帧率（r\_frame\_rate）、基本时间计量单位（time\_base）、（需要编解码的）首帧位置（start\_time）、持续时间（duration）、帧数（nb\_frames）以及一些ip信息。当然后面的这些信息中有些不是必须要初始化的，但是AVCodecContex是一定要初始化的，而且就是作为初始化AVStream最重要的一个部分。

以上是FFMpeg中比较重要的数据结构。下面的这个生成关系理一下思路：（\->表示 派生出）

AVFormatContext->AVStream->AVCodecContext->AVCodec

AVOutputFormat or AVInputFormat

AVFrame->AVPicture….>AVPacket

2.FFMpeg 中的函数:

FFMpeg SDK提供了许多初始化函数和编码函数。我们要做的就是对主要数据结构正确的初始化，以及正确使用相应的编解码函数以及读写（I/O）操作函数。作为一个整体化的代码SDK，FFMpeg有一些他自己的标准化使用过程。比如函数av\_register\_all(); 就是一个最开始就该调用的“注册函数”，他初始化了libavcodec，“注册”了所有的的codec和视频文件格式（format）。

(1). av\_register\_all ();

usage: initialize ibavcoded, and register all codecs and formats

每个使用FFMpeg SDK的工程都必须调用的函数。进行codec和format的注册，然后才能使用。

(2). AVFormatContext \*avformat\_alloc\_context(void);

usage: allocate the output media context.实际是初始化AVFormatContext的成员数据AVClass：

(3).void av\_dump\_format(AVFormatContext \*ic, int index, const char \*url, int is\_output);

usage: 这一步会用有效的信息把 AVFormatContext 的流域（streams field）填满。作为一个可调试的诊断，我们会将这些信息全盘输出到标准错误输出中，不过你在一个应用程序的产品中并不用这么做：

(4).int avformat\_open\_input(AVFormatContext \*\*ps, const char \*filename, AVInputFormat \*fmt, AVDictionary \*\*options);

usage:打开一个视频文件

(5).int avformat\_find\_stream\_info(AVFormatContext \*ic, AVDictionary \*\*options);

usage:获取视频文件的流信息

(6).AVCodec \*avcodec\_find\_decoder(enum AVCodecID id);

usage:获取视频编码格式

(7).int avcodec\_open2(AVCodecContext \*avctx, const AVCodec \*codec, AVDictionary \*\*options);

usage:用一个编码格式打开一个编码文件

(8).int av\_read\_frame(AVFormatContext \*s, AVPacket \*pkt);

usage:从frame中读取packet

(9).int avcodec\_decode\_audio4(AVCodecContext \*avctx, AVFrame \*frame, int \*got\_frame\_ptr, const AVPacket \*avpkt);

usage:解码声音

所以解码流程如下：

所以解码流程为：注册所有格式 ->初始化AVFormatContext->打开一个视频文件->获取视频文件的流信息->获取初始的视频流->获得视 频流编码内容->获得音频流编码内容->获取视频编码格式->获取音频编码格式->用一个编码格式打开一个编码文件->从 frame中读取packet->解码视频->解码音频->释放packet->关闭解码器->关闭 AVFormatContext

解码流程函 数：av\_register\_all()->avformat\_alloc\_context()->avformat\_open\_input()->avformat\_find\_stream\_info()->avcodec\_find\_decoder()->avcodec\_open2()->av\_new\_packet()->av\_read\_frame()->avcodec\_decode\_video2()-->avcodec\_decode\_audio4()->av\_free\_packet()->avcodec\_close()->avformat\_close\_input()

链接：http://www.cnblogs.com/tanlon/p/3879081.html