用C++从零实现一个RTSP服务器（支持H264推流，含完整源码）-平芜编程栈

从零构建RTSP服务器：H264流媒体传输的底层实现

在视频监控、在线直播和视频会议等实时流媒体应用中，RTSP协议扮演着核心角色。本文将带你深入RTSP服务器的内部机制，通过C++实现一个支持H264视频推流的完整解决方案。不同于简单地调用现成库，我们将从协议层开始，逐步构建每个关键模块，让你真正掌握流媒体传输的底层原理。

1. RTSP协议核心与交互流程

RTSP（Real Time Streaming Protocol）作为应用层协议，负责建立和控制媒体会话。与HTTP类似，它采用请求-响应模式，但专注于媒体流的实时控制。一个完整的RTSP会话包含以下几个关键阶段：

基本交互命令示例：

OPTIONS rtsp://example.com/video RTSP/1.0 CSeq: 1 User-Agent: CustomClient RTSP/1.0 200 OK CSeq: 1 Public: OPTIONS, DESCRIBE, SETUP, PLAY, TEARDOWN

每个RTSP请求都带有CSeq头，用于匹配请求与响应。服务器必须按相同CSeq值回复客户端。典型的会话流程包括：

OPTIONS：查询服务器支持的方法
DESCRIBE：获取媒体描述（SDP格式）
SETUP：建立传输通道
PLAY：开始流传输
TEARDOWN：结束会话

SDP描述示例：

v=0 o=- 123456789 1 IN IP4 192.168.1.100 t=0 0 a=control:* m=video 0 RTP/AVP 96 a=rtpmap:96 H264/90000 a=fmtp:96 packetization-mode=1 a=control:track0

2. RTP协议与H264封装

RTP（Real-time Transport Protocol）是实际承载媒体数据的传输协议。每个RTP数据包包含头部和载荷两部分，其中头部结构如下：

RTP头部字段解析：

字段名	位数	描述
V	2	协议版本（固定为2）
P	1	填充标志
X	1	扩展头标志
CC	4	CSRC计数
M	1	标记位（视频中表示帧结束）
PT	7	载荷类型（H264通常为96）
序列号	16	递增的包序号
时间戳	32	采样时刻
SSRC	32	同步源标识

H264视频流由一系列NALU（Network Abstraction Layer Unit）组成，每个NALU以00 00 01或00 00 00 01开头。根据NALU大小，RTP封装有三种模式：

单一NALU模式：适合小尺寸NALU（如SPS/PPS）
聚合包模式：合并多个小NALU
分片模式：拆分大NALU（如I帧）

分片封装示例代码：

// FU Indicator结构 uint8_t fuIndicator = (naluType & 0xE0) | 28; // 保留NALU类型高3位 // FU Header结构 uint8_t fuHeader = naluType & 0x1F; if (isFirstPacket) fuHeader |= 0x80; // 设置开始标志 if (isLastPacket) fuHeader |= 0x40; // 设置结束标志 // 组装RTP包 rtpPacket.payload[0] = fuIndicator; rtpPacket.payload[1] = fuHeader; memcpy(rtpPacket.payload+2, naluData+offset, payloadSize);

3. 服务器核心架构实现

我们的RTSP服务器采用分层设计，主要包含以下组件：

网络层：处理TCP连接和UDP传输
协议解析层：解析RTSP命令和SDP生成
媒体处理层：H264文件解析和RTP打包
会话管理层：维护客户端状态

关键数据结构：

struct RtpHeader { uint8_t csrcLen:4; uint8_t extension:1; uint8_t padding:1; uint8_t version:2; uint8_t payloadType:7; uint8_t marker:1; uint16_t seq; uint32_t timestamp; uint32_t ssrc; }; struct RtpPacket { RtpHeader header; uint8_t payload[RTP_MAX_PKT_SIZE]; };

服务器主循环逻辑：

while (true) { // 接受RTSP连接 int clientSock = accept(rtspSocket, (sockaddr*)&clientAddr, &addrLen); // 创建处理线程 std::thread sessionThread([=]() { handleClientSession(clientSock, clientAddr); }); sessionThread.detach(); }

4. H264流处理与传输优化

高效处理H264流需要考虑以下几个关键点：

NALU类型识别：

enum NaluType { NALU_SPS = 7, NALU_PPS = 8, NALU_IDR = 5, NALU_SEI = 6, NALU_AUD = 9 }; uint8_t getNaluType(uint8_t firstByte) { return firstByte & 0x1F; }

时间戳同步策略：

视频时间戳按帧率递增（90000/帧率）
音频时间戳按采样率计算
保持音视频时钟同步

传输优化技巧：

动态分片大小：根据网络状况调整RTP包大小
关键帧优先：确保SPS/PPS/I帧可靠传输
错误恢复：实现简单的RTCP反馈机制
缓冲控制：避免发送端缓冲过大导致延迟

发送循环示例：

while (!stopFlag) { int frameSize = readH264Frame(file, frameBuffer); if (frameSize <= 0) break; // 跳过起始码 int startCodeLen = (frameBuffer[2] == 1) ? 3 : 4; uint8_t* naluData = frameBuffer + startCodeLen; int naluSize = frameSize - startCodeLen; // 根据大小选择封装模式 if (naluSize <= MAX_RTP_SIZE) { sendSingleNalu(rtpSocket, naluData, naluSize); } else { sendFragmentedNalu(rtpSocket, naluData, naluSize); } // 控制帧率 std::this_thread::sleep_for(std::chrono::milliseconds(40)); }