摄像头webrtc对讲方案metaRTC+ZLMediaKit

悠悠 2023-10-14 11:03 59阅读 0赞

## 概述 ##

网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一个比较适合的SFU对讲方案。

### 语音编码 ###

考虑摄像头算力低以及拾音器采样率等因素，G711比OPUS更适合。

1.  metaRTC支持G711A(PCMA)/G711U(PCMU)
2.  metaRTC采用缓存等技术实现G711A/G711U占用CPU算力极低
3.  ZLMediaKit支持G711 webRTC推拉流

### 视频编码 ###

考虑到市面上摄像头硬编码大多支持H264/H265，视频编码H264/H265是比较适合的选项。

综上所述推荐**G711+H264/H265**音视频编码。

## 语音处理 ##

摄像头对讲语音处理是其中非常重要的模块，实现流畅、清晰、稳定的对讲需要多种声音处理模块。

### 回声消除AEC(Acoustic Echo Chancellor) ###

AEC会监测扬声器和麦克风拾音器输入之间的回声，并使用算法来抵消回声信号，避免出现回声和延迟以提高语音对讲质量。

YangRtcAec *aec;
    //aecLib 1:webrtc aec 0:speexdsp aec 2:内置AEC或其他AEC实现
    yang_create_rtcaec(session->aec,aecLib);
    
    aec->echoPlayback(aec->session,pcm); 
    aec->echoCapture(aec->session, input, pcm);

### 自适应增益控制AGC(Automatic Gain Control) ###

AGC)可以自动检测音频信号强度和自动调整输入和输出音频信号的音量，防止音频音量忽大忽小，保证音频采集和播放的稳定性。

YangAgc* agc;
    agc->agcProcess(agc->session,pcm);

### 背景噪音抑制ANS(Automatic Noise Suppression) ###

ANS可探测出背景固定频率的杂音并消除背景噪音，例如：风扇、空调声等杂音会自动滤除，使声音更清晰。

YangRtcAns* ans;
    ans->preprocess_run(ans->session,pcm);

### 语音动态侦测VAD(Voice Activity Detection) ###

VAD算法的作用是检测是否是人的语音，可作为其他音频处理的参考。

YangVad* vad;
    vad->voiceActivity(vad->session,pcm,frameSize,sampleRate);

### 舒适噪音生成CNG(Comfort Noise Generation) ###

CNG是一个在对讲过程中出现短暂静音时用来为对讲产生背景噪声的模块，常用在VAD检测没有人声时处理。

YangCng* cng;
    cng->voiceGenerate(cng->session,pcm,frameSize,sampleRate);

## 视频处理 ##

对讲时受网络影响视频会有花屏绿屏、卡顿等情形发生，花屏绿屏影响尤甚，花屏会被非专业用户误认为是产品质量问题而非网络问题。

## 音视频流 ##

考虑到ZLMediaKit等SFU只接收单向传输流，对讲需建立推拉两个流。

1.  推流：采集摄像头视频和拾音器(麦克风)音频推流到ZLMediaKit。
2.  拉流：从ZLMediaKit拉流播放远端视频和声音。

发表评论取消回复

表情：

评论列表（有 0 条评论，59人围观）

还没有评论，来说两句吧...

相关阅读

相关 webrtc摄像头对讲方案metaRTC ZLMediaKit

网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一个比较适合的SFU对讲

悠悠/ 2024年03月16日 21:41/ 0 赞/ 83 阅读

相关 WebRTC 和 IP 摄像头的交互

WebRTC Media Gateways for media interoperability 对于集成IP摄像头到WebRTC应用，首先需要实现媒体交互。这意味着摄像

Dear 丶/ 2024年02月19日 10:54/ 0 赞/ 41 阅读

相关国标GB28181摄像头无插件对讲及网页直播

引言随着4G/5G网络的发展，以及有限带宽越来越大，人们对视频直播的需求也越来越多。不仅普通的互联网直播发展很快，传统的安防监控也开始互联网话，走起了互联网直播的录。建筑

╰+哭是因爲堅強的太久メ/ 2024年02月19日 10:51/ 0 赞/ 77 阅读

相关 GB28181网页端实现摄像头语音对讲，音频采集调用示例

近年来，国内视频监控应用发展迅猛，系统接入规模不断扩大，涌现了大量平台提供商，平台提供商的接入协议各不相同，终端制造商需要给每款终端维护提供各种不同平台的软件版本，造成了极大的

╰半夏微凉°/ 2024年02月19日 10:08/ 0 赞/ 24 阅读

相关摄像头webrtc对讲方案metaRTC+ZLMediaKit

概述网络摄像头可以通过网络远程查看实时视频图像,也可以和浏览器与手机APP等对讲，对讲方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一个比较适合

悠悠/ 2023年10月14日 11:03/ 0 赞/ 60 阅读

相关音视频浏览器中通过WebRTC访问摄像头

一、WebRTC的由来对于前端开发小伙伴而言，如果用 JavaScript 做音视频处理在以前是不可想象的，因为首先就要考虑浏览器的性能是否跟得上音视频的

柔情只为你懂/ 2023年10月13日 10:17/ 0 赞/ 65 阅读

相关 webrtc 调用摄像头并实时在浏览器中显示图像

WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术，是谷歌2010年以68

Myth丶恋晨/ 2023年10月13日 10:17/ 0 赞/ 77 阅读

相关 webRtc视频点对点聊天

代码参考：[https://github.com/niuyueyang/videoChat/tree/master][https_github.com_niuyueyang_v

我会带着你远行/ 2022年12月19日 09:19/ 0 赞/ 218 阅读

相关 anyRTC RTSP转WebRTC方案

> 想要网页端无插件实时观看监控视频 > 对实时性有要求，1080P延迟在400m内一、为什么要转WebRTC RTSP公网效果不好 RTSP使用ud

「爱情、让人受尽委屈。」/ 2022年12月07日 12:15/ 0 赞/ 395 阅读

相关 WebRTC实时通信系列教程4 从摄像头获取视频流

转载地址：[https://blog.csdn.net/Leytton/article/details/76704342][https_blog.csdn.net_Leytto

刺骨的言语ヽ痛彻心扉/ 2022年05月17日 11:55/ 0 赞/ 447 阅读