Nginx Rtmp Module - HLS切片和级联播放

小灰灰 2022-02-18 13:25 211阅读 0赞

\#Nginx Rtmp Module - HLS切片和播放

1、名词解释  
媒体片段文件(.ts): 媒体片段是由源站生成的，基于编码后的媒体源，并且是由一系列的 .ts 格式的文件组成，其中包含了你想通过 rtmp流携带的 H.264视频和AAC 音频。对于纯音频的直播，切片器可以生产MPEG 基础音频流，其中包含了 ADTS头的AAC音频。

HLS直播索引文件(.m3u8): 由源站附带生成保存为 .m3u8 格式

下面是一个直播 .m3u8 的 playlist 文件样例，其中包含了三个没有加密的5秒钟的媒体文件：

#EXTM3U
        #EXT-X-VERSION:3
        #EXT-X-MEDIA-SEQUENCE:2
        #EXT-X-TARGETDURATION:5
        #EXTINF:5.000,
        1475217437694.ts
        #EXTINF:5.000,
        1475217442714.ts
        #EXTINF:5.000,
        1475217447698.ts

HLS点播索引文件（.m3u8）: 由源站附带生成保存为 .m3u8 格式

下面是一个 点播 .m3u8 的 playlist 文件样例，其中包含了三个没有加密的5秒钟的媒体文件：

HLS直播: 直播就是实时事件的录制展示。它的索引文件一直处于动态变化的，你需要不断的更新索引文件 playlist 然后移除旧的索引文件。这种类型通过向索引文件添加媒体地址可以很容易的转化为VOD类型。在转化时不要移除原来旧的源，而是通过添加一个 \#ET-X-ENDLIST 标记来终止实时事件。转化时如果你的索引文件中包含 EXT-X-PLAYLIST-TYPE 标签，你需要将值从 EVENT 改为 VOD。

HLS录播: 点播的特点就是可以获取到一个静态的索引文件，该文件包含一套完整的资源文件地址。这种模式允许客户端访问全部节目

2、HLS直播

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70][]  
当音频和视频数据经过SLB的负载均衡，打到任意一个lmss进程上之后，会分别被HLS直播和HLS录播模块处理，两个模块会根据自己的切片算法、索引文件生成算法 生成该模块对应的 m3u8和ts文件。直播模块会将这两个文件生成到内存虚拟硬盘，然后在HLS直播中被CDN请求使用。

接下来将分别介绍HLS直播及录播模块。

2.1、HLS直播

HLS直播分为两个子模块: 负责hls本地 级连播放的HTTP HLS模块和负责hls直播切片相关的RTMP HLS模块。

2.1.1 RTMP HLS模块  
(1) 模块配置  
本地配置如下：

server {
            application live {
                hls                 on;		＃是否开启hls
                hls_fragment        5s;		＃本地切片长度
                hls_playlist_length 15s;    ＃HLS播放列表长度
            }
        }

(2) hook函数回调

static ngx_int_t
        ngx_rtmp_hls_postconfiguration(ngx_conf_t *cf)
        {
            ngx_rtmp_core_main_conf_t   *cmcf;
            ngx_rtmp_handler_pt         *h;
        
            cmcf = ngx_rtmp_conf_get_module_main_conf(cf, ngx_rtmp_core_module);
        
            h = ngx_array_push(&cmcf->events[NGX_RTMP_MSG_VIDEO]);
            *h = ngx_rtmp_hls_video;    #视频数据回调
        
            h = ngx_array_push(&cmcf->events[NGX_RTMP_MSG_AUDIO]);
            *h = ngx_rtmp_hls_audio;    #音频数据回调
        
            next_publish = ngx_rtmp_publish;
            ngx_rtmp_publish = ngx_rtmp_hls_publish;  ＃流开始回调
        
            next_close_stream = ngx_rtmp_close_stream;
            ngx_rtmp_close_stream = ngx_rtmp_hls_close_stream; ＃流结束回调
        
            return NGX_OK;
        }

（3）HLS 对rtmp推流publish消息的处理（ngx\_rtmp\_hls\_publish）

该函数主要用于初始化hls模块内存上下文。

（4） HLS对视频帧的处理（ngx\_rtmp\_hls\_video）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 1][]  
对于视频数据，HLS直播模块会解析每一个rtmp数据包，提取出h264 nal数据，然后按照ts封装格式封装到ts文件里面。

（5） HLS对音频帧的处理（ngx\_rtmp\_hls\_audio函数）  
对于音频帧，该模块采用不同于视频帧的处理方式, 区别如下:

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>不同点</td> 
   <td>&nbsp;video</td> 
   <td>audio</td> 
  </tr> 
  <tr> 
   <td>dts</td> 
   <td>dts = timestamp * 90</td> 
   <td>dts = (aframe_num * 90000 * 1024 / sample_rate)</td> 
  </tr> 
  <tr> 
   <td>pts</td> 
   <td>&nbsp;pts = dts + cts * 90</td> 
   <td>pts = dts</td> 
  </tr> 
  <tr> 
   <td>帧处理</td> 
   <td>每一帧都写ts文件</td> 
   <td>音频帧缓冲区填满之后，一次写入ts文件</td> 
  </tr> 
 </tbody> 
</table>

音频帧处理流程如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 2][]

对于音频帧的处理，HLS直播模块采用了先缓存，然后一并切入ts文件的方式，这种方式对于减少磁盘的i/o有很大的好处，同时HLS直播模块对封装好的ts文件，会被写入虚拟内存硬盘，而不是普通硬盘的目的，也是为了提高磁盘i/o的效率。

（6） HLS 切片处理（ngx\_rtmp\_hls\_update\_fragment）  
该函数主要负责hls直播的核心切片逻辑。

切片流程如下：![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 3][]  
其中蓝色的部分是生成新的ts分片的逻辑：

> \- （1）当前ts片的长度大于1.2倍的fraglen,即向上浮动20%，且强制切片  
> \- （2）遇到视频关键帧并且ts片的长度大于0.8 倍的fraglen，即向下浮动20%  
> \- （3）出现异常情况，时间戳跳变，比如音视频时间戳变小，则当系统时间超过3倍的切片fraglen长度，强制切片
> 
> 其中红色的部分会在更新m3u8列表的时候，添加discontinue标签  
> \- （1）出现第三种强制切片逻辑时，则会在下一个ts分片的m3u8列表里，添加discontinue标签  
> \- （2）出现异常情况，时间戳跳变，比如相邻的音频或者相邻的视频 时间戳变小，则会在当前ts片，添加discontinue标签

（7） HLS 对rtmp推流结束消息的处理（ngx\_rtmp\_hls\_close\_stream）  
该函数主要清理模块的上下文。

（8） .m3u8索引文件生成算法  
下面是一个直播 .m3u8 的 playlist 文件样例:

对于HLS直播: .m3u8索引文件只会存储最新的几片ts文件，每生成一个新的ts文件就会更新索引文件，然后移除旧的索引文件，意味着它的索引文件一直是动态变化的。

.m3u8可存储的ts数目 = hls_playlist_length／fraglen

（9） ts片清理逻辑（cleanup）  
客户端播放HLS直播，只会播放m3u8索引里面存储的最新的ts文件，ts文件一旦从m3u8文件里面清除 ，即ts文件过期，LMSS将会做定期的清理这些文件。但是由于小部分网络不好或者延时较大的用户，可能仍会请求一些刚从m3u8列表清除的ts文件，所以文件清除的时间会比过期时间要大，规则如下:

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>name&nbsp;</td> 
   <td>取值</td> 
  </tr> 
  <tr> 
   <td>扫描 目录</td> 
   <td>/dev/shm</td> 
  </tr> 
  <tr> 
   <td>扫描 周期</td> 
   <td>30s</td> 
  </tr> 
  <tr> 
   <td>ts清除时间&nbsp;</td> 
   <td>hls_playlist_length ＊ 2.5</td> 
  </tr> 
  <tr> 
   <td>m3u8清除时间</td> 
   <td>&nbsp;hls_playlist_length ＊ 1</td> 
  </tr> 
 </tbody> 
</table>

原理如下：

nginx: cache manager进程会每隔30s，扫描“/dev/shm”目录，然后获取每一个文件最后的更新时间，
    如果当前时间 － 最后更新时间 > 清除时间， 则删除该文件

2.1.2 HTTP HLS模块  
hls级连架构图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 4][]

目前级连有三种不同的方式：

1. 远程级连（位于不同机器上的lmss进程级连）
    2. 跨集群级连 （位于不同集群之间的lmss进程级连）

hls级连交互图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 5][]

流程如下：

1. 推流端推送音视频数据到任意一台源站lmss A，lmss服务器 A进行hls切片。
    2. 播放端跟lmss B 请求.m3u8和.ts文件。
    3. lmss B 发送http请求到lmds服务器，获取级连信息。
    4. lmss B尝试从本地读取文件，如果有则直接发送，否则从源节点请求数据。

\---------------------  
作者：kingsoft-踏锋  
来源：CSDN  
原文：https://blog.csdn.net/liwf616/article/details/77886991  
版权声明：本文为博主原创文章，转载请附上博文链接！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70]: /images/20220218/0f54403054214f429756592db5d2d09a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 1]: /images/20220218/f0e305cb84f6483eb3d6953445c276ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 2]: /images/20220218/468ecb8159fe4419a07ac5cae6971c4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 3]: /images/20220218/e575b22c32794fc899171ca3cc0c7570.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 4]: /images/20220218/0e879f798d74466db87143491b882021.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpMjAwMGFp_size_16_color_FFFFFF_t_70 5]: /images/20220218/108fd514041a4759bef7702bcc1eebe3.png