H264编码器11( H.264 探索第二部分 H264码流格式)

深藏阁楼爱情的钟 2022-04-03 04:58 361阅读 0赞

来自：[https://segmentfault.com/a/1190000006698552][https_segmentfault.com_a_1190000006698552]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbWVzX3BvZW0_size_16_color_FFFFFF_t_70][]

表1中描述了所有可能的数据包类型。

<table> 
 <thead> 
  <tr> 
   <th>Type</th> 
   <th>Definition</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>Undefined</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>Slice layer without partitioning non IDR</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>Slice data partition A layer</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>Slice data partition B layer</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>Slice data partition C layer</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>Slice layer without partitioning IDR</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>Additional information (SEI)</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>Sequence parameter set</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>Picture parameter set</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>Access unit delimiter</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>End of sequence</td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>End of stream</td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>Filler data</td> 
  </tr> 
  <tr> 
   <td>13..23</td> 
   <td>Reserved</td> 
  </tr> 
  <tr> 
   <td>24..31</td> 
   <td>Undefined</td> 
  </tr> 
 </tbody> 
</table>

NAL类型定义了当前NAL-packet数据结构。它可以是slice，parameter set，filler等等。  
如从图中可以看出， NAL-packet的有效载荷被定义为RBSP(Raw Byte Sequence Payload)。  
RBSP描述了一行被定义为SODB(String Of Data Bits)的字节集。所以RBSP包含SODB。  
根据ITU-T规范，如果SODB为空（0比特长度），RBSP也为空。  
RBSP的第一字节（最显著，最左边）包含八位SODB; RBSP的下一个字节应该也包括以下八个SODB等等，直到有少于8位SODB。接着是一个停止位和均衡位（如下图）

# ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbWVzX3BvZW0_size_16_color_FFFFFF_t_70 1][] #

任何已编码图片都包含slice(切片)，slice包含macroblocks(宏块)。大多数情况下，一个已编码图像对应于一个切片。此外，一个图像可以有多个切片。所述切片被分为以下类型：

<table> 
 <thead> 
  <tr> 
   <th>Type</th> 
   <th>Description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>P-slice. Consists of P-macroblocks (each macro block is predicted using one reference frame) and / or I-macroblocks.</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>B-slice. Consists of B-macroblocks (each macroblock is predicted using one or two reference frames) and / or I-macroblocks.</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>I-slice. Contains only I-macroblocks. Each macroblock is predicted from previously coded blocks of the same slice.</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>SP-slice. Consists of P and / or I-macroblocks and lets you switch between encoded streams.</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>SI-slice. It consists of a special type of SI-macroblocks and lets you switch between encoded streams.</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>P-slice.</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>B-slice.</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>I-slice.</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>SP-slice.</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>SI-slice.</td> 
  </tr> 
 </tbody> 
</table>

看起来像上表包含了一些冗余数据，但事实并非如此：  
类型5 - 9意味着当前图像的所有其他切片将是同一类型。正如你所看到的每个切片都由header和data组成。切片头包含了关于切片类型，切片宏块的类型，切片帧的数量的信息。当然切片头也包含了参照帧的设置（the reference frame settings）和量化参数（quantification parameters）的信息。最好，我们来查看切片data，这是储存像素数据的地方。宏块是信息的主要载体，因为它们包含将对应于单个像素的亮度和色度分量的集合。无需进入细节可以得出结论，不考虑细节可以得出的结论是,视频解码最终可以简化为从比特流中对宏块的搜索和提取，以及后续借助亮度和色度分量对像素颜色的恢复。宏块组成如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbWVzX3BvZW0_size_16_color_FFFFFF_t_70 2][]

在这里，我们有宏块类型，预测类型（这是下一文章的主题），编码块模式（Coded Block Pattern），量化参数（Quantization Parameter ）（如果我们有CPB），最后数据（data）：亮度和色度分量的集合。

[https_segmentfault.com_a_1190000006698552]: https://segmentfault.com/a/1190000006698552
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbWVzX3BvZW0_size_16_color_FFFFFF_t_70]: /images/20220403/d1788f31510243f6a3cfda22b623c051.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbWVzX3BvZW0_size_16_color_FFFFFF_t_70 1]: /images/20220403/8fa9f232cd9a4a7f939501ef8b321445.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbWVzX3BvZW0_size_16_color_FFFFFF_t_70 2]: /images/20220403/a36ba420127244f6a2b3908472cd50d1.png