媒体格式分析之flv -- 基于FFMPEG

╰+攻爆jí腚メ 2022-08-13 14:00 257阅读 0赞

根据网友的内容，加以分析和个人见解，欢迎诸位多多指教

FLV 是FLASH VIDEO的简称，FLV流媒体格式是随着Flash MX的推出发展而来的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能.当前主流的媒体网站像国内的优酷、国外youtube其标清格式的文件均采用flv的格式。

#### FLV文件结构解析 ####

FLV是一个二进制文件，其文件格式如下图 ，由文件头（FLV header）和很多tag组成。tag又可以分成三类：audio,video,script，分别代表音频流，视频流，脚本流（关键字或者文件信息之类）。

[![flv\_struct][flv_struct]][flv_struct_flv_struct]

#### FLV Header  （9byte） ####

FLV的Header信息一般比较简单，包括文件类型之类的全局信息。如下图中解析：

[![flv\_header][flv_header]][flv_header_flv_header]

文件类型3bytes 总是FLV（0x46 0x4C 0x56），否则就不是在ffmpeg中在没有指定文件格式的情况下，也是通过这个字段来探测文件是否属于FLV格式的。

版本1byte 一般是0x01，表示FLV version 1

流信息4byte （0x0D 0x00 0x00 0x00）在这4byte中的倒数第一bit是1表示有视频，这4byte中的倒数第三bit是1表示有音频，其他都应该是0（有些软件如flvtool2可能造成倒数第四bit是1，不过也没发现有什么不对）

header长度4bytes 整个文件头的长度，一般是9（3+1+4+1），当然头部字段也有可能包含其它信息这个实际长度就不是9了。

#### FLV Body  （4byte） ####

FLV body就是由很多tag组成的，一个tag包括下列信息：

previoustagsize 4bytes 前一个tag的长度，第一个tag就是0

tag类型1byte 共分为三类：

\* 8 -- 音频tag

\* 9 -- 视频tag

\* 18 -- 脚本tag

(上面这3种，可能从这4位中看不到啥，但是在后面的具体数据中，会常常出现，遇到的时候，就按这个规则来翻译，只是目前我还不会找哪里是视频开头，哪里是音频开头等等。。。)

数据区长度3bytes 时间戳3bytes 单位毫秒同时还有1bytes的扩展时间戳，放在最高位，大部分时间时间戳为媒体的[dts][]信息，如果是脚本tag就是0

streamsID 3bytes 总是0（不知道干啥用）

数据区：根据不同的tag类型就有不同的数据区

(解释下，这个body区是继head区之后的4byte中的内容，分别是 音频、视频、脚本信息、时间戳信息，各占1byte)

##### 脚本tag ：（11byte） #####

脚本tag一般是用文本方式表示，如下图flv的metadata信息：

[![flv\_16][flv_16]][flv_16_flv_16]

从中可以看出是通过文本的方式来标记的，其解析后其header信息为：

[![meta\_data\_header][meta_data_header]][meta_data_header_meta_data_header]

从中可以看出其type为18(第1 byte 0x12)。time stamp为0.data size为33638.

**metadata tag data**

首先，这部分信息长度不定，信息解析后有一些媒体信息：

例如视频的：高和宽它的codec id。帧率。音频的信息例如：音频的sample rate，codec id,sample size及是否立体声。还有整个文件的大小等等。但是与下图不符。

[![metadata][]][metadata 1]

但是可以从下图略见端倪

![Center][]

音频的tag信息：

音频的tag信息如下图：

[![audio tag][]][audio tag 1]

其中time stamp 为0是因为其为第一个音频tag.

##### 视频tag #####

[![video][]][video 1]

这是文件中的第6个tag所以其time stamp不为0。因为其为视频tag所以其type为9。

#### ffmpeg中的flv文件格式解析的实现： ####

其中flv\_read\_header主要是从文件中读取一些头信息，同时作一些初始化化的工作

static int flv\_read\_header(AVFormatContext \*s,AVFormatParameters \*ap)  
\{

……

url\_fskip(s->pb, 4); //将flv的头去掉。  
    flags = get\_byte(s->pb);//读出flv的video和audio flag信息。

……   
        if(flags & FLV\_HEADER\_FLAG\_HASVIDEO)\{  
        if(!create\_stream(s, 0))  //创建视频流  
            return AVERROR(ENOMEM);  
    \}  
    if(flags & FLV\_HEADER\_FLAG\_HASAUDIO)\{  
        if(!create\_stream(s, 1)) //创建音频流  
            return AVERROR(ENOMEM);  
    \}

offset = get\_be32(s->pb); //获取文件头长度

……  
\}

其它tag的读取：

static int flv\_read\_packet(AVFormatContext \*s, AVPacket \*pkt)  
\{

……  
for(;;url\_fskip(s->pb, 4))\{  
    pos = url\_ftell(s->pb);  
    type = get\_byte(s->pb); //获取tag的类型，前面已经提到flv的tag大概有以下三种 ：*FLV\_TAG\_TYPE\_AUDIO = 0x08,FLV\_TAG\_TYPE\_VIDEO = 0x09,FLV\_TAG\_TYPE\_META  = 0x12,*  
    size = get\_be24(s->pb);//获取tag的长度  
    dts = get\_be24(s->pb);  
    dts |= get\_byte(s->pb) << 24; //计算tag的timestamp也就是dts信息

……  
    if (type == FLV\_TAG\_TYPE\_AUDIO) \{ //判断是否为audio tag

……  
         \} else if (type == FLV\_TAG\_TYPE\_VIDEO) \{//判断是否为video tag

……  
               if ((flags & 0xf0) == 0x50)  
            goto skip;  
    \} else \{  
        if (type == FLV\_TAG\_TYPE\_META && size > 13+1+4)//判断是否为meta tag,如果是meta信息则会将信息存放在一个map表中。  
         ……

[flv_struct]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112157245333.jpg
[flv_struct_flv_struct]: /images/20220810/ca7300ca20274525a000331aa4ad63fb.png
[flv_header]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112157286889.jpg
[flv_header_flv_header]: /images/20220810/be3f6f130b2a48f08e88710ac7c7caf3.png
[dts]: http://www.cnblogs.com/qingquan/archive/2011/07/27/2118967.html
[flv_16]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112157485822.jpg
[flv_16_flv_16]: /images/20220810/adc585b0d8e9490f8c7725cfe2c1df16.png
[meta_data_header]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112157528807.jpg
[meta_data_header_meta_data_header]: /images/20220810/cc3bc96bc4c944b3b23f70c08a3c8a3c.png
[metadata]: /images/20220810/8d9868e5b0084727ab04006ce67f953d.png
[metadata 1]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112157571833.jpg
[Center]: /images/20220810/5a30af661b334dbbb467ab3c78a12cfe.png
[audio tag]: /images/20220810/45a81c74d7d34434aafcfb085673223f.png
[audio tag 1]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112158049994.jpg
[video]: /images/20220810/f9320005b40d4af2b84c9a4ef58072c7.png
[video 1]: http://images.cnblogs.com/cnblogs_com/qingquan/201108/201108112158066416.jpg