音视频可视化播放RTSP/RTMP/HLS/HTTP视频流媒体的几种可行方案

妖狐艹你老母 2023-10-15 22:31 20阅读 0赞

经过多年的项目实战和研发经验的积累，总结了一下对于H5视频可视化在视频播放上如何做到无插件H5展示的方法，尤其是契合安防行业的方案；

除了HTTPWebSocket类的传输协议，其他无法通用地传输到浏览器的所以，如果要做一款通用的H5视频播放器，基本上就是一款HTTP/WebSocket协议的视频播放器，如果是类似于RTMPRTSP类型协议的视频源，不可防止，需要经过服务器转换的那么我可以总结Web网页可视化直播的几个刚性需求：

*  H5播放只支持HTTPWebSocket协议的流媒体源；
 *  需要同时支持H.264H.265视频编码格式；
 *  支持低延时的实时视频以及录像回放视频；

#### 可行方案一：WebSocket透传 ####

通过WebSocket代理服务器，建立透传通道，转发各种不同协议的视频流，WebSocket类似于一个管道，只做原样的数据转发，将源设备与H5客户端之间建立一条由WebSocket包裹的传输通道，具体的协议交互过程还是依照原协议进行，RTSPSIP类的文本协议依照文本协议的方式，RTMP类的字节流协议依照字节流协议的方式；

方案难点：

*  前端兼容性开发难度高：前端对于各种信令协议、字节流协议、以及解包、缓冲区、时间戳同步、解码、显示、播放，都要开发，对于前端开发的要求比拟高；
 *  H.265播放技术：安防场景下，大部分摄像机都采用的H.265编码格式，所以，要前端Web支持H.265格式，需要引入wasm技术；

方案优缺点：

*  优点：后端开发简单，速度快；
 *  缺点：后端只做管道，不具备实际的设备信息知悉权，这对于设备的管控是无法做到例如，无法快照、无法录像、无法获取设备具体的过失信息；

#### 可行方案二：协议转换 ####

采用类似于EasyCVR全协议接入方案，将各种不同协议类型的视频源（RTSPRTMP推流/拉流、HTTPUDP等）视频文件，通过规范化的协议转换，统一可以输出为HTTP-FLV实时流）HLS直播流/点播流）对终端进行输出，就达到规范化、全终端、全平台输出了

方案难点：

*  后端兼容：后端需要将各种协议接入，并进行解封装，封装成标准的flvts等格式，不过好在已经有比较多的积累；
 *  H.265播放器：同样是需要做到H.265Web播放，包括HTTP-FLV和HLSH.265格式；

方案优缺点：

*  缺点：技术门槛较高；
 *  优点：可控性强，前后端分离，前后端人员均可灵活定制；

#### H.265网页播放方案 ####

大家可以看到以上的两种解决方案都会具有一个H.265网页播放的难点，这里的主要原因是目前的浏览器基本都不能支持H.265底层解码，或者说硬解码，H.265需要结合原生播放器的开发技术和Web播放器的开发技术，也就是wasm技术，将C/C++封装成wasm被js调用，这样js就能像C/C++原生播放器一样，充沛利用C/C++计算能力和扩展能力，来实现视频的解码过程。

wasm播放的主要优势的契合安防的实际需求，虽然目前各大厂商开始流行WebRTC直播，但目前由于安防的特殊性，H.265已经占据主导，解决H.265前端展示才干完整地解决整个安防可视化的需求，这个是RTC播放无法解决的

总结下来，有几点思考：

*  想要完整的控制整个视频可视化的流程，最好还是服务端做视频的处置和协议的转换；
 *  H.265前端支持是必不可少的后端的H.265转H.264来支持前端的播放，都是技术的倒退；
 *  可视化系统都Chromium时代，WebRTC可能是一个非常好的选择；