webrtc摄像头对讲方案metaRTC ZLMediaKit

悠悠 2024-03-16 21:41 83阅读 0赞

网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一个比较适合的SFU对讲方案。

语音编码  
考虑摄像头算力低以及拾音器采样率等因素，G711比OPUS更适合。

metaRTC支持G711A(PCMA)/G711U(PCMU)  
metaRTC采用缓存等技术实现G711A/G711U占用CPU算力极低  
ZLMediaKit支持G711 webRTC推拉流  
视频编码  
考虑到市面上摄像头硬编码大多支持H264/H265，视频编码H264/H265是比较适合的选项。

综上所述推荐G711+H264/H265音视频编码。

语音处理  
摄像头对讲语音处理是其中非常重要的模块，实现流畅、清晰、稳定的对讲需要多种声音处理模块。

回声消除AEC(Acoustic Echo Chancellor)  
AEC会监测扬声器和麦克风拾音器输入之间的回声，并使用算法来抵消回声信号，避免出现回声和延迟以提高语音对讲质量。

YangRtcAec *aec;
    //aecLib 1:webrtc aec 0:speexdsp aec 2:内置AEC或其他AEC实现
    yang_create_rtcaec(session->aec,aecLib);
     
    aec->echoPlayback(aec->session,pcm); 
    aec->echoCapture(aec->session, input, pcm);

### 自适应增益控制AGC(Automatic Gain Control) ###

AGC可以自动检测音频信号强度和自动调整输入和输出音频信号的音量，防止音频音量忽大忽小，保证音频采集和播放的稳定性。

YangAgc* agc;
    agc->agcProcess(agc->session,pcm);

### 背景噪音抑制ANS(Automatic Noise Suppression) ###

ANS可探测出背景固定频率的杂音并消除背景噪音，例如：风扇、空调声等杂音会自动滤除，使声音更清晰。

YangRtcAns* ans;
    ans->preprocess_run(ans->session,pcm);

### 语音动态侦测VAD(Voice Activity Detection) ###

VAD算法的作用是检测是否是人的语音，可作为其他音频处理的参考。

YangVad* vad;
    vad->voiceActivity(vad->session,pcm,frameSize,sampleRate);

### 舒适噪音生成CNG(Comfort Noise Generation) ###

CNG是一个在对讲过程中出现短暂静音时用来为对讲产生背景噪声的模块，常用在VAD检测没有人声时处理。

YangCng* cng;
    cng->voiceGenerate(cng->session,pcm,frameSize,sampleRate);

视频处理  
对讲时受网络影响视频会有花屏绿屏、卡顿等情形发生，花屏绿屏影响尤甚，花屏会被非专业用户误认为是产品质量问题而非网络问题。

视频处理模块非常重要的一项功能是减少或者消除花屏绿屏情形。

音视频流  
考虑到ZLMediaKit等SFU只接收单向传输流，对讲需建立推拉两个流。

推流：采集摄像头视频和拾音器(麦克风)音频推流到ZLMediaKit。  
拉流：从ZLMediaKit拉流播放远端视频和声音。

发表评论取消回复

表情：

评论列表（有 0 条评论，83人围观）

还没有评论，来说两句吧...

相关阅读

相关 webrtc摄像头对讲方案metaRTC ZLMediaKit

网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一个比较适合的SFU对讲

悠悠/ 2024年03月16日 21:41/ 0 赞/ 84 阅读

相关 WebRTC 和 IP 摄像头的交互

WebRTC Media Gateways for media interoperability 对于集成IP摄像头到WebRTC应用，首先需要实现媒体交互。这意味着摄像

Dear 丶/ 2024年02月19日 10:54/ 0 赞/ 41 阅读

相关 ZLMediaKit WebRTC用法介绍

一、WebRTC简介 WebRTC是一个开源的实时通信技术，它支持浏览器和原生应用程序之间的实时音频/视频通信。WebRTC为音频和视频的传输提供了支持，也为数据的传输提

向右看齐/ 2023年10月14日 11:04/ 0 赞/ 80 阅读

相关摄像头webrtc对讲方案metaRTC+ZLMediaKit

概述网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一个比较适合

悠悠/ 2023年10月14日 11:03/ 0 赞/ 60 阅读

相关音视频浏览器中通过WebRTC访问摄像头

一、WebRTC的由来对于前端开发小伙伴而言，如果用 JavaScript 做音视频处理在以前是不可想象的，因为首先就要考虑浏览器的性能是否跟得上音视频的

柔情只为你懂/ 2023年10月13日 10:17/ 0 赞/ 65 阅读

相关构建ZLMediaKit流媒体服务框架（含webrtc）

在git上找到了很好的开源框架[ZLMediaKit][]，按照页面教程操作之后，总是不能成功编译webrtc模块，通过各种搜索和尝试，总算是搭建成功，现把过程分享如下，也给自

﹏ヽ暗。殇╰゛Y/ 2023年10月12日 22:16/ 0 赞/ 74 阅读

相关 ZLMediaKit webRTC编译

安装编译环境 OS版本: [Ubuntu][] 16.04 [openssl][]版本： OpenSSL 1.1.1l-dev 代码下载国内用户推荐从同步镜

曾经终败给现在/ 2023年10月12日 22:12/ 0 赞/ 84 阅读

相关 Windows端ZLMediaKit编译与webrtc推拉流测试

编译环境 OS版本：Windows 10 openssl版本：Win32OpenSSL-1\_1\_1q cmake版本：3.20.0 vs版本：vs2017 编译准

妖狐艹你老母/ 2023年10月12日 22:12/ 0 赞/ 102 阅读

相关 WVP+ZLMediaKit实现摄像头GB28181推流播放

应用场景支持浏览器无插件播放摄像头视频。支持摄像机、平台、NVR等设备接入。支持国标级联。支持rtsp/rtmp等视频流转发到国标平台。

我就是我/ 2023年10月12日 22:06/ 0 赞/ 52 阅读

相关 ZLMediaKit

https://zhuanlan.zhihu.com/p/83454344 rtmp协议 https://blog.csdn.net/bryce\_xiao/artic

刺骨的言语ヽ痛彻心扉/ 2022年11月13日 05:19/ 0 赞/ 158 阅读