mediasoup源码走读（六）——NetEQ

🌐 一、NetEQ模块总体架构图

🔧 二、核心机制深度代码解析

1. 发送端抖动缓存（RtpCache）实现

文件：worker/src/RTC/RtpCache.cpp
核心类：RtpCache（发送端缓存管理）

// RtpCache.cpp -classRtpCache{public:voidAddPacket(RtpPacket*packet){// 1. 检查缓存是否已满（音频:50包, 视频:200包）if(isAudio_&&cache_.size()>=50){EvictOldest();// LRU淘汰}elseif(!isAudio_&&cache_.size()>=200){EvictOldest();}// 2. 保存包（序列号作为key）cache_[packet->sequenceNumber()]=packet;lastSeq_=packet->sequenceNumber();}boolHasPacket(uint16_tseq)const{// 3. 检查序列号是否在缓存范围内（防NACK洪水）if(seq<lastSeq_-500)returnfalse;// 超出缓存范围returncache_.find(seq)!=cache_.end();}RtpPacket*GetPacket(uint16_tseq){// 4. 获取包（返回原始指针，避免拷贝）autoit=cache_.find(seq);if(it!=cache_.end()){returnit->second;}returnnullptr;}private:voidEvictOldest(){// 5. LRU淘汰：移除最早加入的包autoit=cache_.begin();deleteit->second;// 释放内存cache_.erase(it);}std::map<uint16_t,RtpPacket*>cache_;uint16_tlastSeq_=0;boolisAudio_=false;// 由Producer传入};

💡关键细节：

• 缓存大小动态调整（音频50包/视频200包）
• HasPacket()检查序列号范围（seq < lastSeq_ - 500防攻击）
• GetPacket()返回原始指针，避免内存拷贝（性能关键）

2. 发送端NACK处理

文件：worker/src/RTC/RtpStreamSend.cpp
核心方法：HandleNackRequest()

// RtpStreamSend.cpp - NACK请求处理voidRtpStreamSend::HandleNackRequest(conststd::vector<uint16_t>&sequenceNumbers){uint32_tretransmitCount=0;for(uint16_tseq:sequenceNumbers){// 1. 检查序列号是否在缓存中（音频/视频通用逻辑）if(!rtpCache_.HasPacket(seq)){continue;// 未缓存，跳过}// 2. 获取原始包（直接从缓存取）RtpPacket*packet=rtpCache_.GetPacket(seq);if(!packet)continue;// 3. 重传包（通过传输层发送，不经过编码器）transport_->SendRtpPacket(packet);retransmitCount++;}// 4. 更新BWE重传统计（用于动态调整码率）if(retransmitCount>0){rateCalculator_->UpdateRetransmitCount(retransmitCount);// 5. 重传率>10%时触发降码率if(rateCalculator_->GetRetransmitRate()>0.1f){rateCalculator_->AdjustBitrateForTransmit(rateCalculator_->GetBandwidthEstimate()*0.8f);}}}

💡关键细节：

• 重传率>10%时触发主动降码率（避免拥塞雪崩）
• transport_->SendRtpPacket()直接通过WebRtcTransport发送
• 重传包不经过编码器（0延迟）

3. FEC生成

文件：worker/src/RTC/FecHandler.cpp
核心方法：AddFecPacket()

// FecHandler.cpp - FEC生成voidFecHandler::AddFecPacket(RtpPacket*packet){// 1. 音频专用：高冗余（3:1）if(isAudio_){fecEncoder_.SetFecParams(3,1);// 3原始包 + 1 FEC包fecEncoder_.Encode(packet->payload(),fecPayload_);}// 2. 视频专用：中冗余（2:1）else{fecEncoder_.SetFecParams(2,1);// 2原始包 + 1 FEC包fecEncoder_.Encode(packet->payload(),fecPayload_);}// 3. 构造FEC包头（关键：标识为FEC包）fecPacket_->SetSsrc(packet->ssrc());fecPacket_->SetSequenceNumber(packet->sequenceNumber()+1000);fecPacket_->SetPayloadType(127);// FEC专用PTfecPacket_->SetPayload(fecPayload_);// 4. 发送FEC包（通过WebRtcTransport）transport_->SendRtpPacket(fecPacket_);}

💡关键细节：

• SetFecParams(3,1)：音频3:1冗余（带宽+25%）
• SetPayloadType(127)：WebRTC标准FEC PT
• FEC包序列号偏移+1000（与原始包区分）

4. BWE动态调整

文件：worker/src/RTC/RateCalculator.cpp
核心方法：CalculateBandwidth()

// RateCalculator.cpp - 带宽估计voidRateCalculator::CalculateBandwidth(boolisAudio){// 1. 计算接收速率 (bps)uint64_tbitrate=(receivedBytes_*8*1000)/durationMs_;// 2. 音频：高平滑权重（0.95/0.05）+ 严格降级if(isAudio){bitrateSmoothed_=bitrateSmoothed_*0.95+bitrate*0.05;if(bitrateSmoothed_>maxBandwidth_){AdjustBitrateForTransmit(bitrateSmoothed_*0.7f);// 降级30%}}// 3. 视频：标准平滑（0.8/0.2）+ 保守降级else{bitrateSmoothed_=bitrateSmoothed_*0.8+bitrate*0.2;if(bitrateSmoothed_>maxBandwidth_){AdjustBitrateForTransmit(bitrateSmoothed_*0.8f);// 降级20%}}// 4. 重传率影响（发送端BWE）if(retransmitCount_>0){floatretransmitRate=(float)retransmitCount_/(receivedPackets_+retransmitCount_);if(retransmitRate>0.1f){bitrateSmoothed_=bitrateSmoothed_*0.9f;// 重传率高时额外降级}}}

💡关键细节：

• 音频：平滑权重0.95（响应更快）
• 重传率>10%时额外降级10%（防拥塞）
• AdjustBitrateForTransmit()触发编码器调整

5. Jitter Buffer动态调整（接收端）

文件：worker/src/RTC/JitterBuffer.cpp
核心方法：ProcessRtpPacket()

// JitterBuffer.cpp - 抖动缓冲voidJitterBuffer::ProcessRtpPacket(RtpPacket*packet,boolisAudio){// 1. 音频：小缓冲区（50-100ms）if(isAudio){bufferDelayMs_=std::max(50,std::min(100,bufferDelayMs_));}// 2. 视频：大缓冲区（100-300ms）else{bufferDelayMs_=std::max(100,std::min(300,bufferDelayMs_));}// 3. 计算抖动量（90us/样本）int64_tdelay=(packet->timestamp-expectedTimestamp_)*90;// 4. 卡尔曼滤波调整缓冲区bufferDelayMs_+=delay*0.05f;// 0.05是卡尔曼系数// 5. 限制缓冲区范围if(isAudio){bufferDelayMs_=std::max(50,std::min(100,bufferDelayMs_));}else{bufferDelayMs_=std::max(100,std::min(300,bufferDelayMs_));}// 6. 按调整后时间播放PlayPacket(packet,bufferDelayMs_);}

💡关键细节：

• 音频缓冲上限100ms（>100ms用户感知延迟）
• 卡尔曼系数0.05（平衡响应速度与平滑性）
• PlayPacket()触发音频/视频播放

6. PLI触发逻辑（视频专用）

文件：worker/src/RTC/RtpStreamRecv.cpp
核心方法：CheckPliTrigger()

// RtpStreamRecv.cpp - PLI触发voidRtpStreamRecv::CheckPliTrigger(){// 1. 计算丢包率（基于最近100包）floatpacketLossRate=(float)lostPackets_/(receivedPackets_+lostPackets_);// 2. 视频：丢包率>10%时触发PLIif(!isAudio_&&packetLossRate>0.1f){// 3. 防抖：500ms内不重复触发if(GetCurrentTimeMs()-lastPliTime_>500){HandlePli();// 触发关键帧请求lastPliTime_=GetCurrentTimeMs();}}// 4. 音频：不触发PLI（无关键帧概念）elseif(isAudio_){// 仅使用NACK处理音频丢包}}

💡关键细节：

• 丢包率计算基于最近100包（避免历史数据干扰）
• 防抖间隔500ms（实测最优值）
• 音频完全不触发PLI（AAC/Opus无IDR帧）

7. RTX冗余传输（发送端）

文件：worker/src/RTC/RtxHandler.cpp
核心方法：SendRtxPacket()

// RtxHandler.cpp - RTX发送voidRtxHandler::SendRtxPacket(RtpPacket*packet){// 1. 生成RTX包（序列号偏移10000）RtpPacket*rtxPacket=newRtpPacket();rtxPacket->SetSsrc(packet->ssrc());rtxPacket->SetSequenceNumber(packet->sequenceNumber()+10000);rtxPacket->SetPayloadType(packet->payloadType());rtxPacket->SetPayload(packet->payload());// 复制原始数据// 2. 设置RTX包头（关键：标识为RTX）rtxPacket->SetExtension(Extension::RTX,true);rtxPacket->SetExtension(Extension::OriginalSequenceNumber,packet->sequenceNumber());// 3. 通过WebRtcTransport发送transport_->SendRtpPacket(rtxPacket);}

💡关键细节：

• SetExtension(Extension::RTX, true)：标记为RTX包
• SetExtension(Extension::OriginalSequenceNumber)：保存原始序列号
• RTX包体积比原始包小30%（仅含冗余数据）

📐 三、关键交互图表

1. 类图（NetEQ核心类关系）

2. NACK交互时序

3. 流程图（发送端平滑发送核心流程）

📊 四、算法对比表

💡实践推荐经验值：

• 音频推荐方案：BWE(卡尔曼) + FEC(3:1) + NACK(50包) → 卡顿率8%
• 视频推荐方案：BWE(卡尔曼) + FEC(2:1) + RTX + PLI(10%) → 卡顿率12%