基于mediasoup的多方通话研究 webRtc

向右看齐 2021-11-10 10:40 1113阅读 0赞

# 基于mediasoup的多方通话研究（一） #

### 基于mediasoup的多方通话研究（一） ###

*   *  [mediasoup简介][mediasoup]
     *  [mediasoup的特性][mediasoup 1]
     *  [安装mediasoup-demo][mediasoup-demo]
     *  [本地运行Demo][Demo]
     *  [server的配置文件][server]
     *  [mediasoup的原理][mediasoup 2]
     *  [扩展与展望][Link 1]
     *  [总结][Link 2]

## mediasoup简介 ##

mediasoup号称尖端的WebRTC的视频会议系统，官网为 [https://mediasoup.org/][https_mediasoup.org].  
安装极其简单：

npm install mediasoup
    npm install mediasoup-client

*  1
 *  2

从[ibc][]开发这套系统一直跟进到最新的版本，经历了V1到V2的变迁，api从[webrtc][]到[ortc][]的变更，一点一点的完善，目前好评度越来越高。

有没有兴趣跟我一起学习研究这个优秀的系统呢？

*需要强调一点的是：希望大家能提前对ORTC有个大概的了解。*

## mediasoup的特性 ##

脱颖而出mediasoup，可以用小而美来形容她：

1.  支持目前主流的浏览器，chrome、Firefox、safari、Edge等等。
2.  支持UnifiedPlanSdp和PlanBSdp两种方式；
3.  ORTC的api风格调用方式，避免了WebRTC的不足，使协议更简洁；
4.  json-rpc远程调用方法，协议清晰简洁。；
5.  增加了支持simulcast；
6.  编码简洁、结构清晰；

纵使她很让人喜欢，但也有不尽人意的地方：

1.  上层接口是nodejs，这个根据我们情况集成可能有麻烦（后面我们讲讲怎么解决这个问题）。
2.  功能比较简单，后续的开发较多；

## 安装mediasoup-demo ##

首先呢找一台linux服务器吧，推荐用ubuntu，安装最新版本的npm，快速安装可参考[npm最新版本安装方法][npm]。另外网速不好的同学建议修改npm源[npm源修改办法][npm 1]。

*  首先克隆项目:

$ git clone https://github.com/versatica/mediasoup-demo.git
    $ cd mediasoup-demo

*  1
 *  2

*  安装server:

$ cd server
    $ npm install

*  1
 *  2

*  复制 `config.example.js` 重命名 `config.js` 然后可以自定义设置，目前先不做修改:

$ cp config.example.js config.js

*  1

*  安装浏览器端app:

$ cd app
    $ npm install

*  1
 *  2

*  全局安装 `gulp-cli` (可能需要使用 `sudo`)：

$ npm install -g gulp-cli

*  1

## 本地运行Demo ##

*  首先打开一个终端，运行server :

$ cd server
    $ node server.js

*  1
 *  2

*  在另外一个终端中打开启动app

$ cd app
    $ gulp live

*  1
 *  2

*  接着就可以用浏览器浏览了。

## server的配置文件 ##

这里对于config.js 强调一点：

*  设置rtcAnnouncedIPv4(同rtcAnnouncedIPv6)以支持公网访问，局域网访问默认不需要修改。

//局域网访问：默认不需要修改
    	rtcAnnouncedIPv4 : null,
    	//公网可以访问：将rtcAnnouncedIPv4修改为公网的IP，重启server即可（仅限有公网IP的云服务器）。
    	rtcAnnouncedIPv4 : '111.111.111.111',

*  1
 *  2
 *  3
 *  4

*  设置rtcMinPort和rtcMaxPort：如果需要公网访问，记得防火墙放行，局域网访问默认不需要修改。

rtcMinPort       : 40000,
    	rtcMaxPort       : 49999,

*  1
 *  2

## mediasoup的原理 ##

下图举例三个Client (browser或者客户端)同时加入一个房间，每个app同时发布一路视频和一路音频，并且接受来自其他app的音视频流，mediasoup内部的结构如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70]

*  每个Client创建两个Peerconnection分别用于发送和接受媒体流，发送端用于发送承载本地videoTrack和audioTrack的localStream，接收端接受来自其他Client的remoteStream；
 *  同时Room会为每个Client创建一个Peer，Peer管理两个Transport用于接受Client的媒体流和向Client发送媒体流；
 *  Peer为对应的Client发送的videoTrack和audioTrack分别创建一个Producer（共2个）；
 *  Peer为其他两个Client发送的videoTrack和audioTrack分别创建2个Consumer（共2个）；
 *  Producer将媒体数据发送给每一个订阅者Consumer。

**到此为止，可能会有一个简单的了解了，这里不再细分，有兴趣的话可以私下找我交流。**

## 扩展与展望 ##

mediasoup作为一个SFU服务器，有着出色的性能和极小的开销，多进程负载均衡的方式让我们体会到它的强悍。美中不足的是它的信令只有nodejs接口，并不能满足所有人的胃口。庆幸的是出于对c++的情怀，我将所有的nodejs逻辑翻译成了c++版本，并且开发了对应的native客户端：

*  c++版本服务器，支持跨平台的编译；保持原有mediasoup-worker代码99.9%完整和不变；
 *  c++版本客户端，Qt5+WebRTC68，支持windows、Mac OS、Linux的编译，且与mediasoup-demo互通；
 *  客户端增加Gpu Video Accelerator，支持H264的硬件encode/decode功能。

**未来将加入的新功能**

*  客户端和服务器的音视频流录制功能；
 *  rtsp和rtmp与meidasoup的互通功能；
 *  H264硬件编解码的持续优化。

**现献上效果图**  
server端（有没有熟悉的味道）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70 1]  
Windows Client:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70 2]  
Windows Client与Web互通：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70 3]  
\*\*Demo下载地址： [https://pan.baidu.com/s/18Nfnu\_MAafFnkyzBrJnq1g][https_pan.baidu.com_s_18Nfnu_MAafFnkyzBrJnq1g] 提取码: jbtu \*\*

## 总结 ##

*  Windows下面与mediasoup-worker的管道通讯遇到了好多问题，好在坚持不懈的解决了，毕竟Libuv文档稀有；
 *  nodejs用了ES6新特性，如promise，考虑到维护原版的特性和结构，千辛万苦地用[promise-cpp][]勉强解决了；
 *  很久没有更新博客了，是因为没有新的成果，mediasoup的研究让我又有了新的乐趣，希望能坚持下去；
 *  上面涉及的代码后期可能考虑开源。

**另外附上我的Github地址[https://github.com/harvestsure][https_github.com_harvestsure]欢迎互粉。**

**转载地址：**[https://blog.csdn.net/gupar/article/details/83788934][https_blog.csdn.net_gupar_article_details_83788934]

[mediasoup]: https://blog.csdn.net/gupar/article/details/83788934#mediasoup_2
[mediasoup 1]: https://blog.csdn.net/gupar/article/details/83788934#mediasoup_16
[mediasoup-demo]: https://blog.csdn.net/gupar/article/details/83788934#mediasoupdemo_32
[Demo]: https://blog.csdn.net/gupar/article/details/83788934#Demo_68
[server]: https://blog.csdn.net/gupar/article/details/83788934#server_86
[mediasoup 2]: https://blog.csdn.net/gupar/article/details/83788934#mediasoup_103
[Link 1]: https://blog.csdn.net/gupar/article/details/83788934#_115
[Link 2]: https://blog.csdn.net/gupar/article/details/83788934#_136
[https_mediasoup.org]: https://mediasoup.org/
[ibc]: https://github.com/ibc
[webrtc]: https://webrtc.org/
[ortc]: https://ortc.org/
[npm]: https://github.com/nodesource/distributions
[npm 1]: https://blog.csdn.net/gupar/article/details/78657091
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70]: /images/20211109/028026a03c5e463880069f2d3a8ac42b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70 1]: /images/20211109/af5fd7b4096c47429eb2ff7d677e4d53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70 2]: /images/20211109/fac54d15f4ed49109c29b45bbb2f6379.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EzNDUyNTI2MjI_size_16_color_FFFFFF_t_70 3]: /images/20211109/d83ecac806454d9680654b5743aaac1e.png
[https_pan.baidu.com_s_18Nfnu_MAafFnkyzBrJnq1g]: https://pan.baidu.com/s/18Nfnu_MAafFnkyzBrJnq1g
[promise-cpp]: https://github.com/xhawk18/promise-cpp
[https_github.com_harvestsure]: https://github.com/harvestsure
[https_blog.csdn.net_gupar_article_details_83788934]: https://blog.csdn.net/gupar/article/details/83788934