RFC 8854 - WebRTC音频编解码器和处理要求

基本信息

• RFC编号: 8854
• 标题: WebRTC Audio Codec and Processing Requirements
• 中文标题: WebRTC音频编解码器和处理要求
• 发布日期: 2021年1月
• 状态: PROPOSED STANDARD (提案标准)
• 作者: J.-M. Valin, C. Bran

摘要 (Abstract)

本文档定义了WebRTC端点的音频处理和编解码器要求。它规定了必须实现的编解码器和音频处理功能，以确保不同WebRTC实现之间的互操作性。

WebRTC音频要求概述

必需编解码器

Opus (必需):

状态: MUST (必须实现)
标准: RFC 6716
特点:
✅ 低延迟 (5-60ms)
✅ 可变比特率
✅ 宽带/超宽带/全频带支持
✅ 语音和音乐优化
✅ 带内FEC (前向纠错)
✅ 免版税

采样率: 48000 Hz
通道: 1-2 (单声道/立体声)
比特率: 6-510 kbps

G.711 (必需):

状态: MUST (必须实现)
用途: 与传统电话系统互操作
变体:
- PCMU (μ-law): 北美、日本
- PCMA (A-law): 欧洲、世界其他地区

特点:
- 固定64 kbps
- 8 kHz采样率
- 窄带音质
- 极低复杂度

音频处理要求

回声消除 (AEC - Acoustic Echo Cancellation):

状态: MUST (必须实现)
作用: 消除扬声器到麦克风的回声

场景:
🔊 扬声器 → 麦克风 → 对方听到自己的声音(回声)

AEC处理:
麦克风输入 - 扬声器参考信号 = 纯净语音

要求:
✓ 至少消除45dB回声
✓ 适应时间变化
✓ 处理非线性失真

噪声抑制 (NS - Noise Suppression):

状态: SHOULD (应该实现)
作用: 减少背景噪音

常见噪音:
- 键盘敲击
- 风声
- 交通噪音
- 空调噪音

处理:
✓ 频谱分析
✓ 噪音估计
✓ 选择性抑制

自动增益控制 (AGC - Automatic Gain Control):

状态: SHOULD (应该实现)
作用: 标准化音频音量

问题:
- 用户距离麦克风远近不同
- 麦克风灵敏度不同
- 说话声音大小不同

AGC处理:
✓ 检测音频电平
✓ 动态调整增益
✓ 保持一致音量

Opus编解码器详解

Opus配置参数

RTP Payload Type:

默认: 动态分配 (通常为111)
SDP示例:
m=audio 54321 RTP/SAVPF 111
a=rtpmap:111 opus/48000/2
a=fmtp:111 minptime=10;useinbandfec=1

采样率:

内部: 48000 Hz (固定)
输入: 可变 (8-48 kHz)
处理: 内部重采样到48kHz

注意: RTP中始终标注为48000

通道数:

单声道: 1通道
立体声: 2通道

SDP中:
a=rtpmap:111 opus/48000/2  ← /2表示立体声
a=rtpmap:111 opus/48000/1  ← /1表示单声道(也可省略)

fmtp参数:

参数	含义	默认值	说明
maxplaybackrate	最大播放采样率	48000	解码器支持的最大采样率
sprop-maxcapturerate	发送端捕获采样率	48000	编码器使用的采样率
maxaveragebitrate	最大平均比特率	无限制	bps
stereo	立体声偏好	0	1=偏好立体声
sprop-stereo	发送端立体声能力	0	1=可以发送立体声
cbr	恒定比特率	0	1=CBR, 0=VBR
useinbandfec	使用带内FEC	0	1=启用FEC
usedtx	使用DTX	0	1=启用DTX
maxptime	最大包时长	120	毫秒
ptime	包时长	20	毫秒

完整SDP示例:

m=audio 54321 RTP/SAVPF 111
a=rtpmap:111 opus/48000/2
a=fmtp:111 minptime=10;useinbandfec=1;stereo=1;maxplaybackrate=48000;maxaveragebitrate=510000
a=ptime:20
a=maxptime:60

Opus带内FEC (Forward Error Correction)

工作原理:

正常情况:
Packet 1: Frame 1
Packet 2: Frame 2
Packet 3: Frame 3

启用FEC后:
Packet 1: Frame 1 + FEC(Frame 0)
Packet 2: Frame 2 + FEC(Frame 1)
Packet 3: Frame 3 + FEC(Frame 2)

丢包恢复:
Packet 1: [丢失]
Packet 2: 收到 → 解码Frame 2 + 恢复Frame 1
结果: Frame 1和2都可用！

启用FEC:

// JavaScript (通过SDP)
const offer = await pc.createOffer();
offer.sdp = offer.sdp.replace(
  /a=fmtp:111 /,
  'a=fmtp:111 useinbandfec=1;'
);
await pc.setLocalDescription(offer);

FEC开销:

比特率增加: 约15-25%
延迟增加: 最小 (1个包间隔)
丢包恢复率: 单包丢失接近100%

Opus DTX (Discontinuous Transmission)

定义:

DTX = 非连续传输
作用: 静音期不发送数据包
好处:
✅ 降低带宽使用
✅ 减少处理开销
✅ 节省电池 (移动设备)

静音检测:
语音活动检测 (VAD) → 静音 → 停止传输

启用DTX:

SDP:
a=fmtp:111 usedtx=1

效果:
说话时: 正常发送数据包
静音时: 停止或大幅减少发送

JavaScript API使用

获取音频轨道

// 基本获取
const stream = await navigator.mediaDevices.getUserMedia({
  audio: true
});

// 详细配置
const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    echoCancellation: true,      // 回声消除
    noiseSuppression: true,      // 噪声抑制
    autoGainControl: true,       // 自动增益控制
    sampleRate: 48000,           // 采样率
    channelCount: 1,             // 单声道
    latency: 0.01,               // 10ms延迟
    sampleSize: 16               // 16位采样
  }
});

const audioTrack = stream.getAudioTracks()[0];
console.log('Audio settings:', audioTrack.getSettings());

配置音频约束

// 高质量音乐
const musicStream = await navigator.mediaDevices.getUserMedia({
  audio: {
    echoCancellation: false,     // 音乐不需要AEC
    noiseSuppression: false,     // 保留原始声音
    autoGainControl: false,      // 不压缩动态范围
    sampleRate: 48000,
    channelCount: 2,             // 立体声
    latency: 0.02                // 稍高延迟换取更好质量
  }
});

// 低延迟语音
const voiceStream = await navigator.mediaDevices.getUserMedia({
  audio: {
    echoCancellation: true,
    noiseSuppression: true,
    autoGainControl: true,
    sampleRate: 16000,           // 宽带足够
    channelCount: 1,
    latency: 0.005               // 5ms极低延迟
  }
});

监控音频质量

// 获取统计信息
setInterval(async () => {
  const stats = await pc.getStats();
  
  stats.forEach(report => {
    if (report.type === 'inbound-rtp' && report.kind === 'audio') {
      console.log('Audio stats:', {
        packetsLost: report.packetsLost,
        packetsReceived: report.packetsReceived,
        jitter: report.jitter,
        audioLevel: report.audioLevel,
        totalAudioEnergy: report.totalAudioEnergy
      });
      
      // 计算丢包率
      const lossRate = report.packetsLost / 
        (report.packetsReceived + report.packetsLost);
      console.log('Packet loss:', (lossRate * 100).toFixed(2) + '%');
    }
    
    if (report.type === 'outbound-rtp' && report.kind === 'audio') {
      console.log('Outbound audio:', {
        packetsSent: report.packetsSent,
        bytesSent: report.bytesSent,
        targetBitrate: report.targetBitrate
      });
    }
  });
}, 1000);

动态调整比特率

// 获取音频发送器
const audioSender = pc.getSenders()
  .find(s => s.track && s.track.kind === 'audio');

if (audioSender) {
  const params = audioSender.getParameters();
  
  if (!params.encodings) {
    params.encodings = [{}];
  }
  
  // 设置最大比特率
  params.encodings[0].maxBitrate = 128000; // 128 kbps
  
  await audioSender.setParameters(params);
}

音频处理实战

静音检测

class VoiceActivityDetector {
  constructor(stream) {
    this.audioContext = new AudioContext();
    this.source = this.audioContext.createMediaStreamSource(stream);
    this.analyser = this.audioContext.createAnalyser();
    this.analyser.fftSize = 2048;
    
    this.source.connect(this.analyser);
    
    this.dataArray = new Uint8Array(this.analyser.frequencyBinCount);
    this.threshold = 30; // 音量阈值
    this.isSpeaking = false;
  }
  
  start(callback) {
    const check = () => {
      this.analyser.getByteFrequencyData(this.dataArray);
      
      // 计算平均音量
      const average = this.dataArray.reduce((a, b) => a + b) / this.dataArray.length;
      
      const speaking = average > this.threshold;
      
      if (speaking !== this.isSpeaking) {
        this.isSpeaking = speaking;
        callback(speaking);
      }
      
      requestAnimationFrame(check);
    };
    
    check();
  }
}

// 使用
const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
const vad = new VoiceActivityDetector(stream);

vad.start((speaking) => {
  console.log(speaking ? '正在说话' : '静音');
  
  // 可以根据状态调整UI
  if (speaking) {
    micIcon.classList.add('active');
  } else {
    micIcon.classList.remove('active');
  }
});

音频可视化

class AudioVisualizer {
  constructor(stream, canvas) {
    this.canvas = canvas;
    this.ctx = canvas.getContext('2d');
    this.audioContext = new AudioContext();
    this.source = this.audioContext.createMediaStreamSource(stream);
    this.analyser = this.audioContext.createAnalyser();
    this.analyser.fftSize = 256;
    
    this.source.connect(this.analyser);
    
    this.bufferLength = this.analyser.frequencyBinCount;
    this.dataArray = new Uint8Array(this.bufferLength);
  }
  
  start() {
    const draw = () => {
      requestAnimationFrame(draw);
      
      this.analyser.getByteFrequencyData(this.dataArray);
      
      this.ctx.fillStyle = 'rgb(0, 0, 0)';
      this.ctx.fillRect(0, 0, this.canvas.width, this.canvas.height);
      
      const barWidth = (this.canvas.width / this.bufferLength) * 2.5;
      let x = 0;
      
      for (let i = 0; i < this.bufferLength; i++) {
        const barHeight = this.dataArray[i] / 2;
        
        this.ctx.fillStyle = `rgb(50, ${barHeight + 100}, 50)`;
        this.ctx.fillRect(
          x,
          this.canvas.height - barHeight,
          barWidth,
          barHeight
        );
        
        x += barWidth + 1;
      }
    };
    
    draw();
  }
}

// 使用
const canvas = document.getElementById('visualizer');
const visualizer = new AudioVisualizer(stream, canvas);
visualizer.start();

自定义音频处理

class CustomAudioProcessor {
  constructor(stream) {
    this.audioContext = new AudioContext();
    this.source = this.audioContext.createMediaStreamSource(stream);
    this.destination = this.audioContext.createMediaStreamDestination();
    
    // 创建增益节点
    this.gainNode = this.audioContext.createGain();
    this.gainNode.gain.value = 1.0;
    
    // 创建滤波器
    this.filter = this.audioContext.createBiquadFilter();
    this.filter.type = 'lowpass';
    this.filter.frequency.value = 5000; // 低通滤波器
    
    // 连接音频图
    this.source
      .connect(this.gainNode)
      .connect(this.filter)
      .connect(this.destination);
  }
  
  getProcessedStream() {
    return this.destination.stream;
  }
  
  setVolume(value) {
    this.gainNode.gain.value = value;
  }
  
  setFilterFrequency(freq) {
    this.filter.frequency.value = freq;
  }
}

// 使用
const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
const processor = new CustomAudioProcessor(stream);

// 使用处理后的流
const processedStream = processor.getProcessedStream();
processedStream.getTracks().forEach(track => {
  pc.addTrack(track, processedStream);
});

// 动态调整
processor.setVolume(1.5);  // 增大音量
processor.setFilterFrequency(3000);  // 调整滤波器

最佳实践

1. 选择合适的配置

// 根据用例选择配置
const configs = {
  // 高质量音乐
  music: {
    audio: {
      echoCancellation: false,
      noiseSuppression: false,
      autoGainControl: false,
      sampleRate: 48000,
      channelCount: 2
    },
    sdp: {
      maxaveragebitrate: 510000,  // 510 kbps
      stereo: 1,
      useinbandfec: 1,
      usedtx: 0
    }
  },
  
  // 标准语音通话
  voice: {
    audio: {
      echoCancellation: true,
      noiseSuppression: true,
      autoGainControl: true,
      sampleRate: 48000,
      channelCount: 1
    },
    sdp: {
      maxaveragebitrate: 40000,   // 40 kbps
      useinbandfec: 1,
      usedtx: 1
    }
  },
  
  // 低带宽
  lowBandwidth: {
    audio: {
      echoCancellation: true,
      noiseSuppression: true,
      autoGainControl: true,
      sampleRate: 16000,
      channelCount: 1
    },
    sdp: {
      maxaveragebitrate: 16000,   // 16 kbps
      maxplaybackrate: 16000,
      useinbandfec: 0,
      usedtx: 1
    }
  }
};

// 应用配置
async function setupAudio(useCase) {
  const config = configs[useCase];
  const stream = await navigator.mediaDevices.getUserMedia(config);
  
  // 修改SDP应用编解码器参数
  const offer = await pc.createOffer();
  offer.sdp = applyOpusParams(offer.sdp, config.sdp);
  await pc.setLocalDescription(offer);
}

2. 网络适应

class AdaptiveAudioManager {
  constructor(pc) {
    this.pc = pc;
    this.currentBitrate = 64000;
    this.monitor();
  }
  
  async monitor() {
    setInterval(async () => {
      const stats = await this.pc.getStats();
      let packetsLost = 0;
      let packetsReceived = 0;
      
      stats.forEach(report => {
        if (report.type === 'inbound-rtp' && report.kind === 'audio') {
          packetsLost = report.packetsLost;
          packetsReceived = report.packetsReceived;
        }
      });
      
      const lossRate = packetsLost / (packetsReceived + packetsLost);
      
      if (lossRate > 0.05) {
        // 丢包率>5%，降低比特率
        this.adjustBitrate(this.currentBitrate * 0.8);
      } else if (lossRate < 0.01) {
        // 丢包率<1%，可以提高比特率
        this.adjustBitrate(Math.min(this.currentBitrate * 1.2, 128000));
      }
    }, 2000);
  }
  
  async adjustBitrate(newBitrate) {
    this.currentBitrate = newBitrate;
    
    const sender = this.pc.getSenders()
      .find(s => s.track && s.track.kind === 'audio');
    
    if (sender) {
      const params = sender.getParameters();
      if (!params.encodings) params.encodings = [{}];
      params.encodings[0].maxBitrate = newBitrate;
      await sender.setParameters(params);
      
      console.log(`Adjusted audio bitrate to ${(newBitrate/1000).toFixed(0)} kbps`);
    }
  }
}

3. 错误处理

async function setupRobustAudio() {
  try {
    // 首先尝试理想配置
    const stream = await navigator.mediaDevices.getUserMedia({
      audio: {
        echoCancellation: true,
        noiseSuppression: true,
        autoGainControl: true,
        sampleRate: 48000
      }
    });
    
    return stream;
    
  } catch (err) {
    console.warn('Ideal config failed, trying fallback:', err);
    
    try {
      // 降级到基本配置
      const stream = await navigator.mediaDevices.getUserMedia({
        audio: true
      });
      
      return stream;
      
    } catch (err2) {
      console.error('Audio access denied:', err2);
      
      // 显示错误给用户
      showError('无法访问麦克风，请检查权限设置');
      throw err2;
    }
  }
}

参考文献

WebRTC音频RFC:

• [RFC 8854] WebRTC Audio Codec and Processing Requirements ← 本文档
• [RFC 6716] Opus Interactive Audio Codec
• [RFC 7874] WebRTC Audio Codec and Processing Requirements (已被RFC 8854取代)

相关标准:

• [RFC 8834] WebRTC Media Transport
• [RFC 7587] RTP Payload Format for Opus

---

总结: Opus是WebRTC的核心音频编解码器，提供了优秀的音质、低延迟和带宽适应性。配合回声消除、噪声抑制等音频处理功能，WebRTC能够提供高质量的实时语音通信体验。理解这些技术和配置选项对于构建优秀的WebRTC应用至关重要。