H.264 NALU语法结构——写的最好的一篇，非常详细

落日映苍穹つ 2022-06-08 00:15 182阅读 0赞

http://blog.csdn.net/u011867581/article/details/45742591

原文转自：[http://blog.csdn.net/newthinker\_wei/article/details/8748442][http_blog.csdn.net_newthinker_wei_article_details_8748442]

补充笔记：

关于VCL：VCL层是指视频编码层，VCL NAL 单元是指那些nal\_unit\_type 值等于 1 到 5(包括 1 和 5)的 NAL 单元，这些单元都包含了视频数据。所有其他的 NAL 单元都称作非 VCL NAL 单元，PPS和SPS都是非VCLNAL单元。  
关于字节流NAL单元的格式：（起始码中0的长度）  
除了流开头的字节流NAL单元，大多字节流NAL单元的开头没有leading\_zero\_8bits （一个字节的0）;

nal\_unit\_type等于7（SPS）或8（PPS）时，或字节流NAL单元语法结构在解码顺序时包含一个访问单元的第一个NAL单元，码流中会出现 zero\_byte （一个字节的0）；

所有字节流NAL的单元的开头，都会存在 start\_code\_prefix\_one\_3bytes （三个000001字节）。

所以，如果不考虑流的开头，没有特殊性的字节流NAL单元，都是只有3字节的起始码（即起始码中0的个数为2）。

一个访问单元的第一个NAL单元是指：

在基本编码图像的最后一个 VCL NAL 单元之后的第一个任何下列 NAL 单元代表了一个新的访问单元的开始：  
— 访问单元分隔 NAL 单元(存在时)  
— 序列参数集 NAL 单元(存在时)  
— 图像参数集 NAL 单元(存在时)  
— SEI NAL 单元(存在时)  
— nal\_unit\_type 值在 14-18 之间(包括)的 NAL 单元  
— 基本编码图像的第一个 VCL NAL 单元(总是存在)

下文转自：[http://blog.csdn.net/yangzhongxuan/article/details/8003494][http_blog.csdn.net_yangzhongxuan_article_details_8003494]

名词解释

场和帧 ：    视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。

片：             每个图象中，若干宏块被排列成片的形式。片分为I片、B片、P片和其他一些片。

I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。

I宏块利用从当前片中已解码的像素作为参考进行帧内预测。

P宏块利用前面已编码图象作为参考图象进行帧内预测。

B宏块则利用双向的参考图象（前一帧和后一帧）进行帧内预测。

片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。

某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其它片中去。

宏块 ：        一个编码图像通常划分成若干宏块组成，一个宏块由一个16×16亮度像素和附加的一个8×8 Cb和一个8×8 Cr彩色像素块组成。

数据之间的关系：

H264结构中，一个视频图像编码后的数据叫做一帧，一帧由一个片（slice）或多个片组成，一个片由一个或多个宏块（MB）组成，一个宏块由16x16的yuv数据组成。宏块作为H264编码的基本单位。

H264编码过程中的三种不同的数据形式：  
  
SODB        数据比特串 ----＞最原始的编码数据，即VCL数据；  
  
RBSP　     原始字节序列载荷 ----＞在SODB的后面填加了结尾比特（RBSP trailing bits　一个bit“1”）若干比特“0”,以便字节对齐；  
  
EBSP　     扩展字节序列载荷 ---- > 在RBSP基础上填加了仿校验字节（0X03）它的原因是：　在NALU加到Annexb上时，需要添加每组NALU之前的开始码StartCodePrefix,如果该NALU对应的slice为一帧的开始则用4位字节表示，ox00000001,否则用3位字节表示ox000001（是一帧的一部分）。另外，为了使NALU主体中不包括与开始码相冲突的，在编码时，每遇到两个字节连续为0，就插入一个字节的0x03。解码时将0x03去掉。也称为脱壳操作。

H264/AVC 的分层结构

H.264的主要目标是：  
  
1．高的视频压缩比；  
  
2．良好的网络亲和性；  
  
为了完成这些目标H264的解决方案是：  
  
1.VCL   video coding layer    视频编码层；  
  
2.NAL   network abstraction layer   网络提取层；  
  
   
其中，VCL层是对核心算法引擎，块，宏块及片的语法级别的定义，他最终输出编码完的数据 SODB；

NAL层定义片级以上的语法级别（如序列参数集和图像参数集，针对网络传输），

同时支持以下功能：独立片解码，起始码唯一保证，SEI以及流格式编码数据传送，NAL层将SODB打包成RBSP然后加上NAL头，组成一个NALU（NAL单元）；

H264网络传输的结构  
  
H264在网络传输的是NALU，NALU的结构是：NAL头+RBSP，实际传输中的数据流如图所示：

![264句法元素的分层结构][264]

NALU头用来标识后面的RBSP是什么类型的数据，他是否会被其他帧参考以及网络传输是否有错误。

NALU头结构

长度：1byte  
forbidden\_bit(1bit) + nal\_reference\_bit(2bit) + nal\_unit\_type(5bit)

1.forbidden\_bit：                             禁止位，初始为0，当网络发现NAL单元有比特错误时可设置该比特为1，以便接收方纠错或丢掉该单元。

2.nal\_reference\_bit：                   nal重要性指示，标志该NAL单元的重要性，值越大，越重要，解码器在解码处理不过来的时候，可以丢掉重要性为0的NALU。

不同类型的NALU的重要性指示如下表所示。

<table style="font-family:Arial; font-size:14px; line-height:26px; color:rgb(0,0,0)"> 
 <tbody> 
 <tr> 
 <td> nal_unit_type </td> 
 <td> NAL类型 </td> 
 <td> nal_reference_bit </td> 
 </tr> 
 <tr> 
 <td> 0 </td> 
 <td> 未使用 </td> 
 <td> &nbsp;0 </td> 
 </tr> 
 <tr> 
 <td> 1 </td> 
 <td> 非IDR的片 </td> 
 <td> 此片属于参考帧，则不等于0， 不属于参考帧，则等与0 </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> 片数据A分区 </td> 
 <td> 同上 </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> 片数据B分区 </td> 
 <td> 同上 </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> 片数据C分区 </td> 
 <td> 同上 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> IDR图像的片 </td> 
 <td> 5 </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> 补充增强信息单元（SEI） </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> 序列参数集 </td> 
 <td> 非0 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> 图像参数集 </td> 
 <td> 非0 </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> 分界符 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> 序列结束 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> 码流结束 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> 填充 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 13..23 </td> 
 <td> 保留 </td> 
 <td> &nbsp;0 </td> 
 </tr> 
 <tr> 
 <td> 24..31 </td> 
 <td> 不保留 </td> 
 <td> &nbsp;0 </td> 
 </tr> 
 </tbody> 
</table>

所谓参考帧，就是在其他帧解码时需要参照的帧。比如一个I帧可能被一个或多个B帧参考，一个B帧可能被某个P帧参考。

从这个表我们也可以看出来，DIR的I帧是非常重要的，他一丢，那么这个序列的所有帧都没办法解码了；

序列参数集和图像参数集也很重要，没有序列参数集，这个序列的帧就没法解；

没有图像参数集，那用到这个图像参数集的帧都没法解。

3.nal\_unit\_type：NALU类型取值如下表所示。

<table style="font-family:Arial; font-size:14px; line-height:26px; width:423px; height:489px; color:rgb(0,0,0)"> 
 <tbody> 
 <tr> 
 <td> nal_unit_type </td> 
 <td> NAL类型 </td> 
 <td> C </td> 
 </tr> 
 <tr> 
 <td> 0 </td> 
 <td> 未使用 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 1 </td> 
 <td> 非IDR图像中不采用数据划分的片段 </td> 
 <td> 2,3,4 </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> 非IDR图像中A类数据划分片段 </td> 
 <td> 2 </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> 非IDR图像中B类数据划分片段 </td> 
 <td> 3 </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> 非IDR图像中C类数据划分片段 </td> 
 <td> 4 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> IDR图像的片 </td> 
 <td> 2,3 </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> 补充增强信息单元（SEI） </td> 
 <td> 5 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> 序列参数集 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> 图像参数集 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> 分界符 </td> 
 <td> 6 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> 序列结束 </td> 
 <td> 7 </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> 码流结束 </td> 
 <td> 8 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> 填充 </td> 
 <td> 9 </td> 
 </tr> 
 <tr> 
 <td> 13..23 </td> 
 <td> 保留 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 24..31 </td> 
 <td> 不保留（RTP打包时会用到） </td> 
 <td> </td> 
 </tr> 
 </tbody> 
</table>

RTP 打包时的扩展类型

<table style="font-family:Arial; font-size:14px; line-height:26px; color:rgb(0,0,0)"> 
 <tbody> 
 <tr> 
 <td>24</td> 
 <td>STAP-A</td> 
 <td>Single-time aggregation packet</td> 
 </tr> 
 <tr> 
 <td>25</td> 
 <td>STAP-B</td> 
 <td>Single-time aggregation packet</td> 
 </tr> 
 <tr> 
 <td>26</td> 
 <td>MTAP16</td> 
 <td>Multi-time aggregation packet</td> 
 </tr> 
 <tr> 
 <td>27</td> 
 <td>MTAP24</td> 
 <td>Multi-time aggregation packet</td> 
 </tr> 
 <tr> 
 <td>28</td> 
 <td>FU-A </td> 
 <td>Fragmentation unit</td> 
 </tr> 
 <tr> 
 <td>29</td> 
 <td>FU-B</td> 
 <td>Fragmentation unit</td> 
 </tr> 
 <tr> 
 <td>30-31</td> 
 <td>undefined</td> 
 <td>&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

RBSP

RBSP数据是下表中的一种

<table style="font-family:Arial; font-size:14px; line-height:26px; width:454px; height:223px; color:rgb(0,0,0)"> 
 <tbody> 
 <tr> 
 <td>RBSP类型</td> 
 <td>所写</td> 
 <td>描述</td> 
 </tr> 
 <tr> 
 <td>参数集</td> 
 <td>PS</td> 
 <td>序列的全局信息，如图像尺寸，视频格式等</td> 
 </tr> 
 <tr> 
 <td>增强信息</td> 
 <td>SEI</td> 
 <td>视频序列解码的增强信息</td> 
 </tr> 
 <tr> 
 <td>图像界定符</td> 
 <td>PD</td> 
 <td>视频图像的边界</td> 
 </tr> 
 <tr> 
 <td>编码片</td> 
 <td>SLICE</td> 
 <td>编码片的头信息和数据</td> 
 </tr> 
 <tr> 
 <td>数据分割</td> 
 <td>&nbsp;</td> 
 <td>DP片层的数据，用于错误恢复解码</td> 
 </tr> 
 <tr> 
 <td>序列结束符</td> 
 <td>&nbsp;</td> 
 <td>表明一个序列的结束，下一个图像为IDR图像</td> 
 </tr> 
 <tr> 
 <td>流结束符</td> 
 <td>&nbsp;</td> 
 <td>表明该流中已没有图像</td> 
 </tr> 
 <tr> 
 <td>填充数据</td> 
 <td>&nbsp;</td> 
 <td>亚元数据，用于填充字节</td> 
 </tr> 
 </tbody> 
</table>

从前面的分析我们知道，VCL层出来的是编码完的视频帧数据，

这些帧可能是I、B、P帧，而且这些帧可能属于不同的序列，再者同一个序列还有相对应的一套序列参数集和图片参数集等等，

所以要完成视频的解码，不仅需要传输VCL层编码出来的视频帧数据，还需要传输序列参数集、图像参数集等数据。

参数集:包括序列参数集 SPS  和图像参数集 PPS  
       SPS 包含的是针对一连续编码视频序列的参数，如标识符 seq\_parameter\_set\_id、帧数及 POC 的约束、参考帧数目、解码图像尺寸和帧场编码模式选择标识等等。

PPS对应的是一个序列中某一幅图像或者某几幅图像，

其参数如标识符 pic\_parameter\_set\_id、可选的 seq\_parameter\_set\_id、熵编码模式选择标识、片组数目、初始量化参数和去方块滤波系数调整标识等等。

数据分割：组成片的编码数据存放在 3 个独立的 DP（数据分割，A、B、C）中，各自包含一个编码片的子集。

分割Ａ包含片头和片中每个宏块头数据。

分割Ｂ包含帧内和 SI 片宏块的编码残差数据。

分割 C包含帧间宏块的编码残差数据。

每个分割可放在独立的 NAL 单元并独立传输。

NAL的开始和结束  
  
编码器将每个NAL各自独立、完整地放入一个分组，因为分组都有头部，解码器可以方便地检测出NAL的分界，并依次取出NAL进行解码。

每个NAL前有一个起始码 0x00 00 01（或者0x00 00 00 01），解码器检测每个起始码，作为一个NAL的起始标识，当检测到下一个起始码时，当前NAL结束。

同时H.264规定，当检测到0x000000时，也可以表征当前NAL的结束。那么NAL中数据出现0x000001或0x000000时怎么办？H.264引入了防止竞争机制，如果编码器检测到NAL数据存在0x000001或0x000000时，编码器会在最后个字节前插入一个新的字节0x03，这样：

0x000000－>0x00000300  
0x000001－>0x00000301  
0x000002－>0x00000302  
0x000003－>0x00000303  
解码器检测到0x000003时，把03抛弃，恢复原始数据（脱壳操作）。解码器在解码时，首先逐个字节读取NAL的数据，统计NAL的长度，然后再开始解码。  
  
 NALU的顺序要求  
  
 H.264/AVC标准对送到解码器的NAL单元顺序是有严格要求的，如果NAL单元的顺序是混乱的，必须将其重新依照规范组织后送入解码器，否则解码器不能够正确解码。

1.序列参数集NAL单元

必须在传送所有以此参数集为参考的其他NAL单元之前传送，不过允许这些NAL单元中间出现重复的序列参数集NAL单元。

所谓重复的详细解释为：序列参数集NAL单元都有其专门的标识，如果两个序列参数集NAL单元的标识相同，就可以认为后一个只不过是前一个的拷贝，而非新的序列参数集。

2.图像参数集NAL单元

必须在所有以此参数集为参考的其他NAL单元之前传送，不过允许这些NAL单元中间出现重复的图像参数集NAL单元，这一点与上述的序列参数集NAL单元是相同的。

3.不同基本编码图像中的片段（slice）单元和数据划分片段（data partition）单元在顺序上不可以相互交叉，即不允许属于某一基本编码图像的一系列片段（slice）单元和数据划分片段（data partition）单元中忽然出现另一个基本编码图像的片段（slice）单元片段和数据划分片段（data partition）单元。

4.参考图像的影响：如果一幅图像以另一幅图像为参考，则属于前者的所有片段（slice）单元和数据划分片段（data partition）单元必须在属于后者的片段和数据划分片段之后，无论是基本编码图像还是冗余编码图像都必须遵守这个规则。

5.基本编码图像的所有片段（slice）单元和数据划分片段（data partition）单元必须在属于相应冗余编码图像的片段（slice）单元和数据划分片段（data partition）单元之前。

6.如果数据流中出现了连续的无参考基本编码图像，则图像序号小的在前面。

7.如果arbitrary\_slice\_order\_allowed\_flag置为1，一个基本编码图像中的片段（slice）单元和数据划分片段（data partition）单元的顺序是任意的，如果arbitrary\_slice\_order\_allowed\_flag置为零，则要按照片段中第一个宏块的位置来确定片段的顺序，若使用数据划分，则A类数据划分片段在B类数据划分片段之前，B类数据划分片段在C类数据划分片段之前，而且对应不同片段的数据划分片段不能相互交叉，也不能与没有数据划分的片段相互交叉。

8.如果存在SEI（补充增强信息）单元的话，它必须在它所对应的基本编码图像的片段（slice）单元和数据划分片段（data partition）单元之前，并同时必须紧接在上一个基本编码图像的所有片段（slice）单元和数据划分片段（data partition）单元后边。假如SEI属于多个基本编码图像，其顺序仅以第一个基本编码图像为参照。

9.如果存在图像分割符的话，它必须在所有SEI 单元、基本编码图像的所有片段slice）单元和数据划分片段（data partition）单元之前，并且紧接着上一个基本编码图像那些NAL单元。

10.如果存在序列结束符，且序列结束符后还有图像，则该图像必须是IDR（即时解码器刷新）图像。序列结束符的位置应当在属于这个IDR图像的分割符、SEI 单元等数据之前，且紧接着前面那些图像的NAL单元。如果序列结束符后没有图像了，那么它的就在比特流中所有图像数据之后。

11.流结束符在比特流中的最后。

[http_blog.csdn.net_newthinker_wei_article_details_8748442]: http://blog.csdn.net/newthinker_wei/article/details/8748442
[http_blog.csdn.net_yangzhongxuan_article_details_8003494]: http://blog.csdn.net/yangzhongxuan/article/details/8003494
[264]: /images/20220608/1fa5160cb5a34a4f9de4dc6b64895898.png