【多媒体封装格式详解】---MP4【4】

淡淡的烟草味﹌ 2022-02-03 11:34 505阅读 0赞

前面介绍过的几种格式flv、mkv、asf等。他们音视频的数据包一般都是按照文件的顺序交叉安放。你解析完头部信息后。剩下的一般就按照文件顺序一个数据包一个数据包的解析就行了。但是MP4完全不是这种概念。他的媒体信息和数据是分开存放的。就是你想获得数据之前必须要解析出每个帧数据所有的位置。mp4存放这个帧信息的是放在stbl这个box里。而真实的数据放在mdat中。接下来就讲讲stbl与mdat的对应关系。

Sample Table Box(stbl)

来一张典型的stbl结构图：

常见子box  
stts:    Decoding Time to Sample Box 时间戳和Sample映射表  
stsd:   Sample Description Box  
stsz, stz2: Sample Size Boxes 每个Sample大小的表。  
stsc: Sample to chunk 的映射表。  
‘stco’, ‘co64’: Chunk位置偏移表  
stss：关键帧index。

1.解析stsd可获得coding类型、视频宽高、音频samplesize、channelcount这些和解码器有关信息。

aligned(8) class SampleDescriptionBox (unsigned int(32) handler\_type)  
extends FullBox('stsd', 0, 0)\{  
int i ;  
unsigned int(32) entry\_count;  
for (i = 1 ; i u entry\_count ; i++)\{  
switch (handler\_type)\{  
case ‘soun’: // for audio tracks  
AudioSampleEntry();  
break;  
case ‘vide’: // for video tracks  
VisualSampleEntry();  
break;  
case ‘hint’: // Hint track  
HintSampleEntry();  
break;  
\}  
\}  
\}

aligned(8) abstract class SampleEntry (unsigned int(32) format)  
extends Box(format)\{  
const unsigned int(8)\[6\] reserved = 0;  
unsigned int(16) data\_reference\_index;  
\}  
class HintSampleEntry() extends SampleEntry (protocol) \{  
unsigned int(8) data \[\];  
\}  
// Visual Sequences  
class VisualSampleEntry(codingname) extends SampleEntry (codingname)\{  
unsigned int(16) pre\_defined = 0;  
const unsigned int(16) reserved = 0;  
unsigned int(32)\[3\] pre\_defined = 0;  
unsigned int(16) width;  
unsigned int(16) height;  
template unsigned int(32) horizresolution = 0x00480000; // 72 dpi  
template unsigned int(32) vertresolution = 0x00480000; // 72 dpi  
const unsigned int(32) reserved = 0;  
template unsigned int(16) frame\_count = 1;  
string\[32\] compressorname;  
template unsigned int(16) depth = 0x0018;  
int(16) pre\_defined = -1;  
\}  
// Audio Sequences  
class AudioSampleEntry(codingname) extends SampleEntry (codingname)\{  
const unsigned int(32)\[2\] reserved = 0;  
template unsigned int(16) channelcount = 2;  
template unsigned int(16) samplesize = 16;  
unsigned int(16) pre\_defined = 0;  
const unsigned int(16) reserved = 0 ;  
template unsigned int(32) samplerate = \{timescale of media\}<<16;  
\}

2.解析stsz box 可以获得一个sample size的表  
aligned(8) class SampleSizeBox extends FullBox(‘stsz’, version = 0, 0) \{  
unsigned int(32) sample\_size;  
unsigned int(32) sample\_count;  
if (sample\_size==0) \{  
for (i=1; i u sample\_count; i++) \{  
unsigned int(32) entry\_size;  
\}  
\}  
\}  
3.解析stts   
aligned(8) class TimeToSampleBox  
extends FullBox(’stts’, version = 0, 0) \{  
unsigned int(32) entry\_count;  
int i;  
for (i=0; i < entry\_count; i++) \{  
unsigned int(32) sample\_count;  
unsigned int(32) sample\_delta;  
\}  
\}

4.解析stsc 还原Sample 与chunk的映射表

Sample 是存储的最基本单元，mp4把Sample 存在chunk中。chunk的长度、chunk的大小、chunk中Sample的数量及大小都是不定的。

通过解析这部分box来还原这个映射表。

aligned(8) class SampleToChunkBox  
extends FullBox(‘stsc’, version = 0, 0) \{  
unsigned int(32) entry\_count;  
for (i=1; i u entry\_count; i++) \{  
unsigned int(32) first\_chunk;  
unsigned int(32) samples\_per\_chunk;  
unsigned int(32) sample\_description\_index;  
\}  
\}

每个entry 表示着一组数据，entry\_count 表示这数量。这一组其实是相同类型的chunk。  
first\_chunk 表示 这一组相同类型的chunk中 的第一个chunk数。

这些chunk 中包含的Sample 数量，即samples\_per\_chunk 是一致的。

每个Sample 可以通过sample\_description\_index 去stsd box 找到描述信息。

看ffmpeg中mov\_read\_stsc() 它把这些数据放在一个结构体数组中备用。

static int mov\_read\_stsc(MOVContext \*c, AVIOContext \*pb, MOVAtom atom)  
\{  
    AVStream \*st;  
    MOVStreamContext \*sc;  
    unsigned int i, entries;  
   
    if (c->fc->nb\_streams < 1)  
        return 0;  
    st = c->fc->streams\[c->fc->nb\_streams-1\];  
    sc = st->priv\_data;  
   
    avio\_r8(pb); /\* version \*/  
    avio\_rb24(pb); /\* flags \*/  
   
    entries = avio\_rb32(pb);  
   
    av\_dlog(c->fc, "track\[%i\].stsc.entries = %i\\n", c->fc->nb\_streams-1, entries);  
   
    if (!entries)  
        return 0;  
    if (entries >= UINT\_MAX / sizeof(\*sc->stsc\_data))  
        return AVERROR\_INVALIDDATA;  
    sc->stsc\_data = av\_malloc(entries \* sizeof(\*sc->stsc\_data));  
    if (!sc->stsc\_data)  
        return AVERROR(ENOMEM);  
   
    for (i = 0; i < entries && !pb->eof\_reached; i++) \{  
        sc->stsc\_data\[i\].first = avio\_rb32(pb);  
        sc->stsc\_data\[i\].count = avio\_rb32(pb);  
        sc->stsc\_data\[i\].id = avio\_rb32(pb);  
    \}  
   
    sc->stsc\_count = i;  
   
    if (pb->eof\_reached)  
        return AVERROR\_EOF;  
   
    return 0;  
\}  
在获得完整的映射表，我们还需要chunk总个数信息。这些信息放在‘stco’, ‘co64’中。  
5.解析‘stco’, ‘co64’

“stco”定义了每个thunk在媒体流中的位置。位置有两种可能，32位的和64位的，后者对非常大的电影很有用。

32位

aligned(8) class ChunkOffsetBox  
extends FullBox(‘stco’, version = 0, 0) \{  
unsigned int(32) entry\_count;  
for (i=1; i u entry\_count; i++) \{  
unsigned int(32) chunk\_offset;  
\}  
\}

64位

aligned(8) class ChunkLargeOffsetBox  
extends FullBox(‘co64’, version = 0, 0) \{  
unsigned int(32) entry\_count;  
for (i=1; i u entry\_count; i++) \{  
unsigned int(64) chunk\_offset;  
\}  
\}  
从这个box我们就可以获得 chunk 的总数量，entry\_count。

1.解析‘stco’, ‘co64’我们有了chunk 表，知道了chunk 的总数及每个chunk所在文件的位置。

2.解析stsc 配合着上面的chunk表，我们就能弄个Sample与chunk的关系表。我们也就能获得每个Sample的位置信息。

3.配合上面的stts 时间表和解码器信息等。搞出ES流已经不成问题了。

4.想获得关键帧的index，需要解析stss’

aligned(8) class SyncSampleBox  
extends FullBox(‘stss’, version = 0, 0) \{  
unsigned int(32) entry\_count;  
int i;  
for (i=0; i < entry\_count; i++) \{  
unsigned int(32) sample\_number;  
\}  
\}

\---------------------   
作者：tx3344   
来源：CSDN   
原文：https://blog.csdn.net/tx3344/article/details/8506131   
版权声明：本文为博主原创文章，转载请附上博文链接！