不止于录屏文件：用Android MediaProjection + MediaCodec实现实时H264流推送与低延迟投屏-平芜编程栈

突破本地存储：Android实时屏幕流媒体传输技术深度解析

在移动互联网高速发展的今天，屏幕内容的实时共享已成为远程协作、游戏直播、在线教育等场景的核心需求。传统录屏方案将内容保存为本地文件后再传输的方式，不仅延迟高、效率低，更无法满足即时互动的需求。本文将深入探讨如何利用Android平台的MediaProjection与MediaCodec技术栈，构建一套高性能的实时H.264流媒体传输系统，实现毫秒级延迟的屏幕内容推送。

1. 实时流媒体技术架构设计

1.1 核心组件协作流程

实时流媒体传输系统由三个关键模块构成：

屏幕采集层：MediaProjection通过VirtualDisplay捕获屏幕帧
编码处理层：MediaCodec进行硬件加速的H.264/H.265编码
网络传输层：WebSocket/RTMP协议封装传输编码后的数据流

// 典型数据流处理伪代码 fun startStreaming() { // 1. 初始化MediaProjection val projection = mediaManager.getMediaProjection(resultCode, data) // 2. 配置MediaCodec编码器 val codec = MediaCodec.createEncoderByType(MIME_TYPE_AVC).apply { configure(format, null, null, CONFIGURE_FLAG_ENCODE) start() } // 3. 创建VirtualDisplay绑定编码器Surface projection.createVirtualDisplay( "ScreenCapture", width, height, dpi, DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, codec.createInputSurface(), null, null ) // 4. 网络传输线程 thread { while (isStreaming) { val bufferInfo = MediaCodec.BufferInfo() val outputBufferId = codec.dequeueOutputBuffer(bufferInfo, TIMEOUT_US) if (outputBufferId >= 0) { val encodedData = codec.getOutputBuffer(outputBufferId) websocket.send(encodedData) codec.releaseOutputBuffer(outputBufferId, false) } } } }

1.2 技术选型对比分析

特性	MediaRecorder方案	MediaCodec自定义方案
延迟	高(>500ms)	低(80-200ms)
灵活性	固定封装格式	可自定义编码参数
扩展性	仅支持本地存储	支持网络直传
音频同步	自动同步	需手动实现
适用场景	后期制作	实时交互

提示：选择方案时需权衡开发复杂度与性能需求，对延迟敏感场景必须采用MediaCodec直接控制编码流程

2. 低延迟编码优化实践

2.1 关键参数调优策略

实现亚秒级延迟需要精细调整编码参数组合：

帧率动态适配：根据网络状况动态调整15fps-60fps
关键帧间隔：设置GOP_SIZE=2-3秒（直播场景）
码率控制模式：采用BITRATE_MODE_VBR平衡质量与带宽
Slice大小：设置KEY_SLICE_HEIGHT为16-32行提升并行度

// 编码器配置示例 MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE_AVC, width, height); format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface); format.setInteger(MediaFormat.KEY_BIT_RATE, 3 * 1024 * 1024); // 3Mbps format.setInteger(MediaFormat.KEY_FRAME_RATE, 30); format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2); // 2秒关键帧 format.setInteger(MediaFormat.KEY_SLICE_HEIGHT, 16); // 切片高度

2.2 内存管理优化技巧

环形缓冲区：预分配3-5个输入Surface避免卡顿
异步模式：使用setCallback异步处理避免线程阻塞
零拷贝优化：直接访问ByteBuffer避免数据复制
丢帧策略：网络拥塞时选择性丢弃B帧保持流畅性

3. 网络传输协议适配

3.1 协议选型对比

协议	延迟	抗丢包	适用场景
RTMP	1-3s	差	传统直播推流
WebRTC	<500ms	强	实时视频会议
SRT	<1s	极强	不稳定网络传输
QUIC	<800ms	强	移动端弱网环境

3.2 WebSocket实现示例

class ScreenWebSocket : WebSocketListener() { private lateinit var codec: MediaCodec override fun onMessage(webSocket: WebSocket, bytes: ByteString) { // 接收控制指令（如调整分辨率） handleControlCommand(bytes) } fun sendVideoFrame(buffer: ByteBuffer, info: MediaCodec.BufferInfo) { val frameData = ByteArray(info.size).apply { buffer.position(info.offset) buffer.get(this, 0, info.size) } webSocket.send(ByteString.of(*frameData)) } private fun handleControlCommand(cmd: ByteString) { when (cmd.utf8()) { "1080p" -> adjustResolution(1920, 1080) "720p" -> adjustResolution(1280, 720) } } }

4. 高级功能实现方案

4.1 音画同步技术

实现音视频同步需要解决三个核心问题：

时间戳对齐：使用presentationTimeUs保持同步
时钟基准：选择音频时钟作为主时钟
补偿机制：动态调整视频帧率补偿偏差

// 音频采集配置 AudioRecord audioRecord = new AudioRecord( MediaRecorder.AudioSource.MIC, SAMPLE_RATE, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, bufferSize ); // 时间戳同步示例 long audioPts = System.nanoTime() / 1000; long videoPts = getVideoTimestamp(); if (Math.abs(audioPts - videoPts) > SYNC_THRESHOLD) { // 执行帧率调整或丢帧 }

4.2 动态码率调整算法

# 伪代码：基于网络状况的动态码率调整 def adjust_bitrate(current_bitrate, network_stats): packet_loss = network_stats['loss_rate'] rtt = network_stats['avg_rtt'] if packet_loss > 0.1: # 丢包率超过10% return current_bitrate * 0.8 elif rtt > 300: # 延迟过高 return current_bitrate * 0.9 elif packet_loss < 0.05 and rtt < 150: return min(current_bitrate * 1.2, MAX_BITRATE) else: return current_bitrate