Android Camera2 API实战：构建自定义相机应用，实现多流捕获与手动控制

1. 项目概述：重新定义你的相机视角

“reCamera”这个名字，乍一听可能有点抽象，但如果你是一个经常用手机拍照、录视频，或者对影像创作有点想法的人，这个概念可能会让你眼前一亮。简单来说，reCamera 不是一个具体的App或硬件，而是一种理念和一系列技术实践的集合，它探讨的核心问题是：我们能否超越手机原生相机App的固定框架，获得更底层、更灵活、更符合专业创作需求的影像控制能力？

我们每天都在用手机记录生活，但你是否曾感到过束缚？比如，想同时录制前置和后置摄像头的画面制作Vlog，原生相机做不到；想精细控制视频的码率、帧率、色彩采样，以匹配后期流程，原生相机选项有限；甚至，你想获取相机传感器的原始数据流进行AI分析或开发AR应用，原生相机更是大门紧闭。这些“痛点”，正是reCamera理念试图解决的。它面向的，是那些不满足于“傻瓜式”拍摄，希望将手机摄像头作为真正创作工具或开发平台的影像爱好者、内容创作者、独立开发者和极客。

其核心价值在于“重新掌控”（Re-control）。通过调用操作系统提供的底层相机API（如Android的Camera2 API或iOS的AVFoundation），绕过标准相机应用的封装，直接与摄像头硬件“对话”。这意味着你可以实现多路流同时捕获、手动控制所有曝光参数（快门、ISO、白平衡）、获取未经压缩的图像数据（YUV或RAW格式），甚至实现自定义的实时预览滤镜和计算机视觉处理管线。这不仅仅是“功能更多”，而是从“用户”到“导演”的视角转变，让你能按照自己的构思，去设计和实现一套专属的拍摄工作流。

2. 核心理念与技术栈拆解

2.1 为什么需要“重新”发明轮子？

手机的原生相机App，是厂商在易用性、画质、功耗和安全性之间精心权衡的产物。它追求的是让绝大多数用户“按下即得”好照片，因此做了大量自动化处理：自动对焦、自动曝光、HDR合成、夜景多帧降噪等。这套流程是黑盒的，用户无法干预其内部决策。对于普通记录，这很棒；但对于创作和开发，这就成了瓶颈。

举个例子，你想做一个高动态范围的延时摄影，希望锁定ISO以控制噪点，仅让快门速度根据光线变化。大多数原生相机的“专业模式”可能允许你这么做，但当你切换到延时功能时，这些手动控制又失效了，系统接管了一切。reCamera的思路就是拆掉这堵墙，直接使用底层API构建你自己的拍摄逻辑，让“专业模式”渗透到所有拍摄形态中。

另一个关键点是数据获取。原生相机拍完的照片/视频，是经过ISP（图像信号处理器）充分处理并编码压缩后的成品（如JPEG、HEVC）。而许多高级应用需要更原始的数据：机器学习模型训练需要YUV数据；计算摄影研究需要RAW数据；AR应用需要实时的帧数据流进行空间计算。这些，都需要直达传感器数据源，这正是reCamera技术栈的核心能力。

2.2 核心支撑技术栈解析

实现reCamera能力，需要深入操作系统提供的相机框架。这里以覆盖面最广的Android平台为例，其核心是Camera2 API。

Camera2 API vs. 旧版Camera API：旧版Camera API采用简单的“命令-响应”模式，难以应对复杂的并发和精细控制。Camera2 API则引入了基于管道的模型，将相机设备抽象为一个数据源，可以同时向多个不同的“目标”（Surface）输出数据流。这正是实现画中画、双景录像、数据+预览并行处理的基础。

关键组件与流程：

1. CameraManager：系统的相机服务门户，用于发现和打开摄像头设备。
2. CameraCharacteristics：相机的“身份证”和“能力说明书”，查询所有硬件特性，如支持的输出尺寸、可用闪光灯模式、是否支持RAW等。
3. CameraDevice：代表一个打开的摄像头连接。通过它创建CaptureSession。
4. CaptureRequest：定义了“一次拍摄请求”的所有参数。这是控制的核心，你可以为其设置CaptureRequest.CONTROL_AE_MODE（自动曝光模式）为OFF以完全手动控制，并分别设置SENSOR_EXPOSURE_TIME（快门速度）和SENSOR_SENSITIVITY（ISO）。
5. CaptureSession：一个配置好的管道，关联了CameraDevice和一个或多个输出目标Surface（例如，用于预览的TextureView的Surface，用于编码的MediaRecorder的Surface，用于内存分析的ImageReader的Surface）。
6. ImageReader：这是获取原始图像数据的关键。你可以配置它来获取指定格式（如ImageFormat.YUV_420_888,ImageFormat.RAW10）和尺寸的图像数据，然后从Image对象中获取字节数据进行处理。

一个典型的高级reCamera会话配置可能是这样的：

// 伪代码逻辑示意 SessionConfig { OutputTarget_1: Surface (来自 PreviewView) // 用于实时预览 OutputTarget_2: Surface (来自 MediaRecorder) // 录制1080p H.264视频 OutputTarget_3: ImageReader (YUV_420_888, 最大分辨率) // 同时进行AI人脸检测 OutputTarget_4: ImageReader (RAW10, 最大分辨率) // 保存RAW文件用于后期 }

通过一个CaptureSession和多个CaptureRequest（例如，一个用于预览的低分辨率连续请求，一个用于拍照的高分辨率单次请求），你就可以同步驱动以上所有输出，这正是原生相机App无法提供的灵活性。

注意：能力越强，责任越大。直接操作底层API会带来显著的复杂性提升，你需要妥善管理相机的状态机、生命周期（在Activity暂停时及时关闭）、以及多线程下的数据同步（图像数据回调通常在后台线程），否则极易引发应用崩溃或资源泄漏。

3. 实战：构建一个基础reCamera应用

理论说得再多，不如动手搭一个。下面我们以Android平台为例，分步拆解如何构建一个具备手动拍照和获取YUV数据能力的reCamera应用。这里假设你已有Android开发基础。

3.1 环境准备与权限配置

首先，创建一个新的Android项目。在AndroidManifest.xml中声明必要的权限和特性：

<uses-permission android:name="android.permission.CAMERA" /> <!-- 如果录音，还需要麦克风权限 --> <uses-permission android:name="android.permission.RECORD_AUDIO" /> <uses-feature android:name="android.hardware.camera" android:required="true" /> <uses-feature android:name="android.hardware.camera.autofocus" android:required="false" /> <!-- 非必需 -->

由于相机是敏感权限，需要在运行时动态申请。在Activity中，使用ActivityResultContracts.RequestPermission来优雅地处理权限请求。

3.2 相机生命周期管理

这是最易出错的部分。必须确保相机资源的打开、关闭与Activity/Fragment的生命周期严格同步。

class CameraActivity : AppCompatActivity() { private lateinit var cameraExecutor: ExecutorService private var cameraDevice: CameraDevice? = null private var captureSession: CameraCaptureSession? = null override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) cameraExecutor = Executors.newSingleThreadExecutor() // 用于相机回调的线程池 } override fun onResume() { super.onResume() if (权限已授予) { openCamera() // 打开相机 } } override fun onPause() { super.onPause() closeCamera() // 必须关闭！ } override fun onDestroy() { super.onDestroy() cameraExecutor.shutdown() } private fun openCamera() { val cameraManager = getSystemService(Context.CAMERA_SERVICE) as CameraManager val cameraId = ... // 选择后置摄像头 cameraManager.openCamera(cameraId, object : CameraDevice.StateCallback() { override fun onOpened(device: CameraDevice) { cameraDevice = device createCaptureSession() // 创建会话 } override fun onDisconnected(device: CameraDevice) { closeCamera() } override fun onError(device: CameraDevice, error: Int) { closeCamera() } }, null) // 回调在cameraExecutor线程执行 } private fun closeCamera() { captureSession?.close() captureSession = null cameraDevice?.close() cameraDevice = null } }

实操心得：永远在onPause中关闭相机，而不是onStop。因为当弹出另一个透明Activity（如权限对话框）时，会触发onPause但不触发onStop，此时相机应被释放以供其他应用使用。此外，所有相机回调（StateCallback,CaptureCallback）都可能在工作线程触发，更新UI务必切回主线程。

3.3 配置输出目标与创建会话

假设我们的目标是：1. 在TextureView上预览；2. 可以点击按钮拍摄一张最高质量的照片保存；3. 同时获取YUV数据流用于实时灰度图显示。

private lateinit var previewView: TextureView private lateinit var imageReaderForCapture: ImageReader // 用于拍照 private lateinit var imageReaderForYuv: ImageReader // 用于YUV流 private fun createCaptureSession() { val texture = previewView.surfaceTexture texture.setDefaultBufferSize(previewSize.width, previewSize.height) val previewSurface = Surface(texture) // 配置用于拍照的ImageReader (JPEG格式) imageReaderForCapture = ImageReader.newInstance( captureSize.width, captureSize.height, ImageFormat.JPEG, 2 ).apply { setOnImageAvailableListener({ reader -> // 在这里保存JPEG图片 val image = reader.acquireNextImage() // ... 将image转为byte[]并保存文件 image.close() }, cameraExecutor) } // 配置用于YUV流的ImageReader imageReaderForYuv = ImageReader.newInstance( previewSize.width, previewSize.height, ImageFormat.YUV_420_888, 3 ).apply { setOnImageAvailableListener({ reader -> val image = reader.acquireNextImage() // 处理YUV数据，例如转换为灰度图 processYuvImage(image) image.close() }, cameraExecutor) } val targets = Arrays.asList(previewSurface, imageReaderForCapture.surface, imageReaderForYuv.surface) cameraDevice?.createCaptureSession(targets, object : CameraCaptureSession.StateCallback() { override fun onConfigured(session: CameraCaptureSession) { captureSession = session // 会话创建成功，开始预览 startPreview() } override fun onConfigureFailed(session: CameraCaptureSession) { showToast("会话配置失败") } }, null) }

这里的关键是ImageReader的maxImages参数（第二个ImageReader的3）。它定义了可以同时排队在内存中的图像数量。如果处理速度跟不上相机帧率，这个缓冲区会被填满，新的图像将无法获取或导致旧图像被丢弃。对于实时处理，需要平衡分辨率、帧率和处理算法复杂度。

3.4 实现手动控制与拍摄

创建两个CaptureRequest.Builder，一个用于持续预览（TEMPLATE_PREVIEW），一个用于静态拍照（TEMPLATE_STILL_CAPTURE）。

private fun startPreview() { val previewRequestBuilder = cameraDevice?.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW).apply { addTarget(previewSurface) // 输出到预览 addTarget(imageReaderForYuv.surface) // 同时输出到YUV ImageReader // 设置为手动曝光模式 set(CaptureRequest.CONTROL_MODE, CameraMetadata.CONTROL_MODE_OFF) set(CaptureRequest.CONTROL_AE_MODE, CameraMetadata.CONTROL_AE_MODE_OFF) // 设置手动参数，例如：ISO 100, 1/30秒快门 set(CaptureRequest.SENSOR_SENSITIVITY, 100) set(CaptureRequest.SENSOR_EXPOSURE_TIME, TimeUnit.SECONDS.toNanos(1)/30) } captureSession?.setRepeatingRequest(previewRequestBuilder?.build(), null, null) } fun takePicture() { val captureRequestBuilder = cameraDevice?.createCaptureRequest(CameraDevice.TEMPLATE_STILL_CAPTURE).apply { addTarget(imageReaderForCapture.surface) // 输出到JPEG ImageReader // 拍照时可以使用自动模式，也可以沿用或覆盖手动参数 set(CaptureRequest.CONTROL_AF_MODE, CameraMetadata.CONTROL_AF_MODE_AUTO) set(CaptureRequest.JPEG_QUALITY, 95.toByte()) // 设置方向，确保照片方向正确 val rotation = windowManager.defaultDisplay.rotation val sensorOrientation = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION) val jpegOrientation = (sensorOrientation + rotation * 90 + 360) % 360 set(CaptureRequest.JPEG_ORIENTATION, jpegOrientation) } captureSession?.capture(captureRequestBuilder?.build(), null, null) }

通过setRepeatingRequest启动预览流，通过capture执行单次拍照。手动参数的设置是reCamera的精髓，你可以根据环境光传感器读数或自己的算法，动态调整这些参数，实现自动模式无法做到的创意效果，比如长曝光光绘或高帧率慢动作（需要设备支持）。

4. 高级应用场景与性能调优

4.1 典型应用场景实现思路

1. 双景录像/画中画：创建两个MediaRecorder实例，分别获取其Surface。在创建CaptureSession时，将这两个Surface都加入目标列表。然后使用一个CaptureRequest同时向这两个Surface发送数据流。难点在于音频处理，通常需要选择一路音频源，或混合处理。

2. 高帧率慢动作：首先通过CameraCharacteristics查询CONTROL_AE_AVAILABLE_TARGET_FPS_RANGES，找到设备支持的高帧率范围（如[120, 120]）。在创建预览CaptureRequest时，通过set(CaptureRequest.CONTROL_AE_TARGET_FPS_RANGE, Range(highFps, highFps))进行设置。录制时，需要使用支持该高帧率的编码格式和参数。

3. RAW（DNG）格式拍摄：检查CameraCharacteristics.REQUEST_AVAILABLE_CAPABILITIES是否包含REQUEST_AVAILABLE_CAPABILITIES_RAW。如果支持，创建一个ImageReader，格式指定为ImageFormat.RAW_SENSOR或ImageFormat.RAW10等。获取到Image后，需要按照DNG（数字负片）标准封装元数据（如感光度、白平衡、色彩矩阵等），这是一个复杂的过程，通常借助如libraw或Camera2的DngCreator工具类来完成。

4. 实时AI滤镜/AR：在ImageReader（YUV格式）的OnImageAvailableListener中，将获取的YUV图像数据快速转换为AI模型所需的输入格式（如RGB张量），送入模型（如TensorFlow Lite）进行推理，得到结果（如分割掩膜、姿态关键点）。然后，在预览的Surface上，通过OpenGL ES或Canvas将原图和结果叠加渲染。性能瓶颈在YUV转换和模型推理，必须使用GPU（OpenGL/Vulkan）或NPU进行加速。

4.2 性能优化与避坑指南

reCamera应用是资源消耗大户，不当实现会导致卡顿、发热、耗电快。

1. 分辨率与帧率的权衡：不是所有摄像头都支持所有分辨率下的高帧率。通过CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP可以查询每个输出格式（如ImageFormat.YUV_420_888,ImageFormat.JPEG）支持的具体尺寸和帧率组合。选择预览分辨率时，不必追求最高，匹配预览视图的大小即可（通常1080p足够）。拍照和视频录制分辨率根据需求选择。同时输出多个流时，系统可能会自动降低某些流的帧率或分辨率以维持稳定。

2. ImageReader的缓冲区管理：务必在onImageAvailable回调中尽快调用acquireNextImage()获取图像，并在处理完毕后立即调用image.close()释放缓冲区。如果处理耗时（如AI推理），考虑在后台线程池中进行，但释放操作必须在获取图像后最终执行。可以设置ImageReader的maxImages参数略大于预期处理速度，作为缓冲。

3. 对焦与测光区域的精细控制：Camera2 API允许你通过MeteringRectangle定义对焦和测光区域。这对于专业拍摄非常有用。你可以监听预览画面的触摸事件，将触摸点坐标转换为传感器坐标，然后创建并设置CaptureRequest.CONTROL_AF_REGIONS和CONTROL_AE_REGIONS。

fun setFocusArea(touchX: Float, touchY: Float) { // 将触摸点坐标转换为传感器区域坐标（过程略） val meteringRect = MeteringRectangle(sensorRectX, sensorRectY, width, height, weight) val meteringRectArray = arrayOf(meteringRect) previewRequestBuilder.set(CaptureRequest.CONTROL_AF_REGIONS, meteringRectArray) previewRequestBuilder.set(CaptureRequest.CONTROL_AE_REGIONS, meteringRectArray) // 触发对焦 previewRequestBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER, CameraMetadata.CONTROL_AF_TRIGGER_START) captureSession?.setRepeatingRequest(previewRequestBuilder.build(), ...) }

4. 兼容性处理：不同厂商、不同型号的手机对Camera2 API的支持程度（称为“硬件支持级别”，INFO_SUPPORTED_HARDWARE_LEVEL）差异巨大。有LEGACY,LIMITED,FULL,LEVEL_3等级别。LEGACY设备几乎等同于旧版Camera API，很多高级功能（如手动控制、RAW拍摄）不可用。在开发时，必须检查特性并做降级处理。例如，在LIMITED设备上，可能无法同时开启手动曝光和对焦。

5. 常见问题排查与调试技巧

即使按照最佳实践开发，在实际设备上仍会遇到各种问题。以下是一些常见坑点及排查思路。

问题1：预览画面黑屏或卡住。

• 检查清单：
  • TextureView的SurfaceTexture是否已经准备好（onSurfaceTextureAvailable回调被触发）后才去打开相机？
  • 相机权限是否真正被授予？动态权限请求的结果处理是否正确？
  • createCaptureSession时传入的Surface列表是否有效？特别是MediaRecorder或ImageReader的Surface，需要在配置完成后再获取。
  • 预览的CaptureRequest是否成功通过setRepeatingRequest发送出去了？检查回调是否有错误。
• 调试技巧：在CameraCaptureSession.CaptureCallback的onCaptureFailed方法中打印日志，查看失败原因。

问题2：拍照保存的图片方向错误。

• 原因：手机摄像头传感器方向是固定的（通常是横屏方向），而手机屏幕可以旋转。系统需要根据设备方向对图像进行旋转校正。
• 解决方案：如3.4节代码所示，正确计算JPEG_ORIENTATION并设置到拍照请求中。对于预览，可以通过TextureView.setTransform(matrix)来旋转预览画面以匹配UI方向。

问题3：应用运行一段时间后崩溃，日志显示“CameraDevice was closed”或“MAX_CAMERAS_IN_USE”。

• 原因：相机资源未正确释放或泄漏。
• 排查：
  • 确保所有CameraDevice、CameraCaptureSession、ImageReader、MediaRecorder都在Activity/Fragment的onPause或相应生命周期中正确关闭（close()）。
  • 确保没有在相机回调（如onImageAvailable）中长时间持有Image对象不释放。
  • 检查是否在相机尚未完全关闭（onClosed回调未触发）时，又尝试去打开新的相机会话。

问题4：同时开启预览和录像时，预览变得非常卡顿。

• 原因：相机硬件或总线带宽不足以同时处理高分辨率预览和高码率编码输出。
• 优化：
  • 降低预览流的分辨率（例如从4K降到1080p）。
  • 降低录像的帧率或码率。
  • 检查设备支持的“流组合”（Stream Combination）。使用CameraManager.getCameraCharacteristics(cameraId)后，通过SCALER_STREAM_CONFIGURATION_MAP的getOutputStallDuration和getOutputMinFrameDuration来评估不同组合的性能，或直接使用Camera2Compat等库来查询推荐配置。

问题5：在某些设备上，手动控制参数（ISO、快门）设置无效。

• 原因：设备硬件支持级别低（LIMITED或LEGACY），不支持全手动控制。
• 处理：在应用启动时，检查CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL。对于不支持全手动的设备，隐藏高级控制UI，或改用自动模式下的曝光补偿（CONTROL_AE_EXPOSURE_COMPENSATION）进行有限调整。

开发reCamera类应用是一个深入理解移动影像系统的过程，充满了挑战，但也带来了无与伦比的灵活性。从简单的手动控制到复杂的多流处理，每一步都需要仔细考量性能、兼容性和用户体验。最好的学习方式就是动手实践，从一个功能点开始，逐步迭代，最终打造出完全符合你想象的那个“相机”。