手机拍照里的"AI"到底是什么？是营销话术，还是真实跑在 NPU 上的神经网络？本文以高通平台为背景，把 AI 影像拆到管线节点级别：它在链路的哪个位置、用什么模型、模型多大规模、跑多快、权重从哪来、会不会"越用越聪明"。
一、全景：AI 在影像链路的三个位置
手机影像的 AI 应用不是单一环节，而是贯穿整条链路的分层部署。按位置可以拆成三层，每层的模型形态、算力载体、时延预算完全不同：
| 层级 | 位置 | 典型任务 | 时延预算 | 算力载体 |
|---|---|---|---|---|
| L1 拍摄管线内 | Camera HAL / ISP 后段（multi-frame pipeline） | AI 降噪、夜景多帧融合、HDR 合成、AI-AWB/AF/AE、人像分割+虚化、超分辨率变焦 | 30–100ms（取景实时性要求） | ISP 内嵌 NN 单元 + NPU |
| L2 成片后处理 | 按下快门后的 shot-to-shot 处理 | AI 修图建议、人像美化、肤质重建、光影重调（relighting） | <1s，用户无感知 | NPU/GPU |
| L3 相册编辑 | 相册 App 内交互式编辑 | 消除路人（inpainting）、AI 消除反光、扩图（outpainting）、换天、语义搜索 | 1–5s 可接受，部分走云端 | NPU + 云端混合 |
L1 是嵌入式味最重的部分，与高通 QCamera/CHI/CDK 架构直接挂钩；L3 就是用户感知的"AI 修图"主体。本文重点在 L1——因为它最能体现"端侧模型"的工程本质。
二、高通平台的 AI 运行底座
在拆具体任务之前，先建立 L1 模型的统一部署认知。后面每个任务都是这套骨架的变体。
2.1 数据形态：尽量在 RAW Bayer 域处理
L1 模型优先处理RAW Bayer 域（12bit 线性数据），原因有三：
- 噪声可建模：线性域噪声模型简单（shot noise + read noise），模型不需要逆 ISP 的非线性操作（gamma、tone mapping），同等算力下画质收益最大；
- 算力红利：Bayer unshuffle 可以把 RAW 变成 4 通道（R/Gr/Gb/B），等效空间分辨率降一半，算力省 4 倍；
- 信息未损：ISP 后段的非线性处理是有损的，越靠前处理，模型能利用的原始信息越多。
2.2 管线挂载点：CHI/CDK 里的 Feature Node
高通平台上，AI 算法是 CHI（Camera Hardware Interface）/CDK 架构里的一个Feature/Node：推理走 QNN（SNPE 后继）部署到 HTP（Hexagon Tensor Processor），帧数据通过 dmabuf 做 DMA zero-copy 搬运，不经过 CPU 拷贝。这与传统 ISP 节点的接入方式完全一致——对 pipeline 而言，一个 NN 节点和一个硬件降噪节点在调度上没有本质区别。
2.3 时延与资源约束
- 预览流 33ms/帧是硬约束：预览用"小模型 + 低分辨率"，拍照帧用"大模型 + 全分辨率 + tile 切分推理"（如 12MP 切成重叠 tile，逐块过 NPU 再拼接去边界伪影）；
- 内存带宽是隐形瓶颈：多帧 RAW 的 DMA 搬运量巨大，zero-copy 和 buffer 复用是基本操作；
- 热设计联动：持续 NPU 满载会触发热限频，量产方案会拆 tile 推理、插帧让 NPU 间歇降载——与 SoC 的温升管理策略直接相关。
三、L1 核心任务逐个拆解
3.1 AI 降噪
传统做法：ISP 内的 2D NR（空域滤波，细节/噪声难分离）+ 3DNR/TNR（时域多帧，运动区域拉丝）。
AI 做法：
- 单帧 RAW 域降噪：轻量 UNet（3–4 层下采样，通道数压到 32–64），输入 Bayer unshuffle 后的 4 通道 RAW，外加噪声参数图——根据 ISO/增益查噪声模型生成 shot/read noise 方差图，作为额外通道喂给网络。这个技巧让同一模型覆盖全 ISO 范围，是学术界（SID，Learning to See in the Dark）到量产方案的标准操作；
- 多帧对齐降噪：连拍 3–8 帧，光流或块匹配对齐到参考帧，网络同时输出融合权重图——对齐误差大/有运动的区域权重给参考帧，静止区域多帧平均，从根上解决 TNR 拉丝；
- 联合去马赛克+降噪（joint demosaic-denoise）：一个网络直接从 Bayer RAW 出干净 RGB，省掉传统 demosaic 引入的伪彩色再让降噪网络返工。
3.2 夜景多帧融合
夜景是降噪的扩展版，完整 pipeline：
连拍 burst（8–15帧，不同曝光/增益） ↓ ① 帧选择：AI 评估每帧模糊度（陀螺仪+图像梯度），丢弃废帧 ↓ ② 对齐：分层光流/特征点对齐（亚像素级），输出运动矢量场 ↓ ③ 融合网络：UNet 输入对齐后的多帧堆叠 → 输出每帧每像素的融合权重 + 鬼影检测 mask （运动物体区域只取单帧，静止区域多帧叠加） ↓ ④ 增强网络：融合结果过一个小型 enhancer （恢复暗部色彩、压高光、提升局部对比度） ↓ ⑤ 送 ISP 后段（demosaic→CCM→tone mapping）关键点在于 ③ 的融合权重是学习出来的，替代传统的方差统计加权——传统方法在极暗场景 SNR 估计失效，AI 模型能从数据里学到"什么样的像素块该信"。Google Night Sight 与各厂商夜景模式都是这个框架。
3.3 HDR 合成
分两种硬件路径，AI 介入深度不同：
| 路径 | 数据来源 | AI 角色 |
|---|---|---|
| Staggered/DOL HDR（传感器帧内多曝光） | 一帧内长短曝光行交织 | 轻：融合权重 + 去鬼影网络，时延小，预览可用 |
| 多帧包围曝光（拍照） | 连拍 EV-2/0/+2 三帧 | 重：对齐 + 去鬼影 + 融合 + tone mapping 全链路 |
AI 模型具体做三件事：
- 去鬼影：长短曝光之间存在时间差，运动物体会重影。网络输出 ghost mask，该区域只用中曝帧（用 SNR 换无鬼影）；
- 融合权重：过曝区域取短曝、欠曝取长曝——学习得到的权重比手工 sigmoid 曲线过渡自然，高光细节（云层、灯丝）保留更好；
- Tone mapping：全局色调曲线 + 局部细节增强网络，替代传统 local tone mapping 的光晕问题——这是各家 HDR 效果拉开差距的地方。
3.4 AI-3A（AWB / AF / AE）
L1 里模型最小但最"智能"的部分——输出不是图像，是控制参数。
- AI-AWB：传统灰世界/完美反射统计 + 色温查表，混光场景（暖钨丝灯 + 窗外蓝天）必翻车。AI 方案用小 CNN（几十 KB～几 MB）对低分辨率缩略图做光源分类 + 色温回归，还能语义辅助——识别出人脸/绿植/天空，用先验校正统计异常。输出就是 ISP 的 R/B gain；
- AI-AE：传统分区测光 + 直方图规则。AI 方案做场景语义感知测光——分割出人脸/主体，曝光权重向主体倾斜（逆光保脸，天空可过曝）；进阶做法是决策网络，输入历史帧统计 + 场景类别，输出曝光三角（曝光时间/增益/帧数策略），直接优化"成片评分"；
- AI-AF：AI 介入最少（PDAF 硬件已成熟），主要在主体检测驱动对焦目标选择——人脸/人眼/宠物/车辆检测框 → 选对应 PDAF 区域；视频追焦时检测+跟踪网络预测主体运动方向，提前拉动马达。
3A 模型都跑在预览低分辨率流（如 640×480）上，每帧 <5ms，可逐帧实时。
3.5 人像分割 + 虚化
两段式，分割和渲染是分开的——很多人误解虚化本身也是神经网络，其实不是：
① 分割：
- 预览流实时跑轻量分割（MobileNetV3 + LR-ASPP 类），输入 256×256～512×512，INT8，NPU 上 <10ms/帧；
- 输出低分辨率 mask，双线性上采样 + guided filter（以原图为引导）精修边缘；
- 头发丝级别靠matting 细化网络——只对 mask 边缘 strip 区域跑，不是全图，省算力。
② 虚化渲染：
- 深度获取：双摄视差 / 双像素（dual-pixel）相位差 / 单目深度估计小模型；
- 渲染：按深度图做深度相关的可变核散景卷积（depth-dependent bokeh blur），配合分割 mask 保证前景边缘不穿帮——这是 GPU/DSP 上的传统渲染，神经网络只出现在深度估计环节；
- 夜景人像的"光斑形态"（口径蚀、柠檬状光斑）来自物理建模渲染，参数取自镜头标定。
3.6 超分辨率变焦
数码变焦 2x–10x 区间的画质救星，两种模式：
- 连拍多帧超分（主力）：手抖天然带来亚像素位移，连拍 5–8 帧，对齐到亚像素网格，融合网络在 2x 分辨率网格上重建——信息量足够时，2x 数码变焦可接近光学效果；
- 单帧超分（兜底）：Real-ESRGAN/SwinIR 的蒸馏版，教师模型离线训练，学生模型 INT8 后 5–15MB，tile 推理。短板是"幻觉纹理"——文字、人脸易出伪影，所以量产方案只在纹理区域采用超分结果，人脸/文字区域回落到多帧融合或保守插值。
工程设计上的关键是变焦倍率-模型分级：2x 以下纯多帧融合，2–5x 多帧 + 单帧超分混合，5x 以上才重度依赖生成式超分。
3.7 L1 任务总结表
| 任务 | 模型架构 | 处理域 | 输出 | 模型规模（INT8） | 单帧时延（HTP） |
|---|---|---|---|---|---|
| 降噪 | 轻量 UNet + 噪声图通道 | RAW | 干净 RAW | 1–5MB | 50–150ms（12MP tile） |
| 夜景融合 | 光流对齐 + 权重 UNet | RAW 多帧 | 融合 RAW | 3–8MB | 200–500ms（burst） |
| HDR 合成 | 去鬼影 + 融合 + TM 网络 | RAW/YUV 多曝光 | HDR 合成帧 | 2–6MB | 100–300ms |
| AI-3A | 微型 CNN / 决策网络 | 低分辨率统计 | 控制参数（gain/曝光/AF 位置） | <1MB | <5ms（逐帧实时） |
| 人像分割 | MobileNetV3-ASPP | 预览 RGB | mask | 2–5MB | <10ms（逐帧实时） |
| 虚化渲染 | 非 NN（散景卷积） | YUV + 深度图 | 虚化图 | — | GPU/DSP 渲染 |
| 超分变焦 | 多帧融合网络 / 蒸馏 SR | RAW/YUV | 高分辨率帧 | 5–15MB | 100–300ms |
四、L2/L3：相册编辑侧的端侧模型
拍照之外的"AI 修图"同样以端侧为主，按功能分四类：
- 分割类（所有编辑的前置）：人像/天空/头发丝/物体分割，轻量 U-Net 变体或 MobileViT 类，INT8 后 2–10MB，NPU 上 1080p 单帧 <20ms。输出的 mask 驱动后续所有局部操作；
- 消除/修复类（inpainting）：早期用 PatchMatch + 小 GAN（LaMa 类蒸馏版，10–30MB）；2024 年后演进为蒸馏 latent diffusion（1–2 step consistency model / LCM，3B 以内 UNet 量化到 INT8/INT4），单次推理 1–3s。多数厂商是端云混合——简单消除端侧做，复杂语义重建上传云端大模型；
- 美化/画质类：人脸关键点 + 3DMM 拟合做几何级五官微调；GAN 蒸馏小模型做保纹理磨皮；Real-ESRGAN 蒸馏版做超分去糊，端侧常驻；
- 语义理解类：相册"搜图"用端侧 CLIP 蒸馏版（MobileCLIP 级，INT8 约 100MB），全相册离线建 embedding 索引存本地向量库——隐私敏感，必须纯端侧。
端云分工的现实逻辑：分割、美化、超分、相册索引全端侧；生成式重编辑端侧小模型先试，质量不够走云端——这就是"AI 修图需联网"开关的由来。端侧的优势是隐私、时延、离线可用和零边际成本；云端唯一的优势是模型规模无上限。
五、正本清源：什么才算"AI"
聊完技术细节，值得回答一个概念问题：如果只是传统算法或硬件处理，凭什么叫 AI？
工程上的判别标准很清晰——参数是学出来的，还是人定的：
| 层级 | 本质 | 例子 | 算不算 AI |
|---|---|---|---|
| 纯硬件固定逻辑 | 电路实现的固定运算 | ISP 的 FIR 滤波、去马赛克插值、gamma LUT | 不算 |
| 人工规则算法 | 人手设计的启发式规则 | 双边滤波降噪、灰世界 AWB、直方图测光 | 不算，是传统算法 |
| 传统机器学习 | 简单模型，离线训练 | SVM 场景分类、回归树 | 边缘地带 |
| 神经网络模型 | 权重从数据中训练得到 | 前文所有 UNet/CNN | 算，这就是端侧模型 |
“模型"与大小无关——500KB 的 CNN 和 7B 的 LLM 本质相同：参数化函数 + 从数据训练得到的权重，只是输入输出从 token 换成了图像张量。以"融合权重 UNet"为例：它输出"每个像素该信哪一帧"的权重图，这个判断能力是拿几十万组成对训练数据在 GPU 集群上学出来的，而不是工程师手写if 运动 then 取参考帧的规则——这就是与传统算法的分水岭。至于厂商把所有 ISP 模块都包装成"AI 引擎”，那是营销口径。
六、端侧模型的生命周期：权重从哪来，会不会"边用边学"
6.1 标准生命周期：离线训练、出厂冻结
① 数据采集：影像实验室拍几十万组 （标定场景 + 真实场景，raw + 人工标注/参考设备 GT） ↓ ② 离线训练：GPU 集群训练大模型（教师） ↓ ③ 蒸馏 + 剪枝：压缩成端侧可跑的小模型（学生） ↓ ④ 量化：FP32 → INT8（QAT 量化感知训练） ↓ ⑤ 编译：转成 NPU 计算图（HTP graph / APU bin） ↓ ⑥ 打包：与 sensor tuning 参数一起进 /vendor 分区或相机 App ↓ ⑦ 设备端：推理引擎加载，纯前向推理，权重只读设备端只有前向推理，没有反向传播、没有权重更新，原因很实际：
- 没有标签：训练需要"输入 + 正确答案"，手机上只有输入，没有 GT，无法算 loss；
- 算力功耗不对称：反向传播内存需求是前向的 3–5 倍，一次训练的功耗顶拍几百张照片，热设计不可行；
- 质量可控性：ISP 级模型要对画质负责，厂商不可能让权重在用户手里漂移——tuning 团队无法验收。
所谓"后天更新"走的是OTA——新固件/App 换掉整个权重文件，机制和 OTA 升级 camera tuning 参数一样，只是载体从参数表变成神经网络权重。
6.2 冻结模型如何"自适应"：条件输入
权重冻结 ≠ 行为固定。工业界的标准解法是冻结权重 + 运行时条件输入：
| 适应性需求 | 实现方式 | 权重是否变化 |
|---|---|---|
| 不同 ISO 噪声水平 | 噪声方差图作为额外输入通道 | 不变，模型学会"看噪声图调整行为" |
| sensor 个体差异 | 出厂 OTP 校准参数作输入，或每型号配一套权重变体 | 换权重文件，非学习 |
| 场景切换 | 场景分类网络实时输出标签，调度不同推理配置 | 不变，是调度逻辑 |
| 用户偏好（美颜/色彩） | 滑块值作为 condition 输入，或后处理强度插值 | 不变 |
| 统计自适应 | 每帧实时统计（直方图、色温估计）喂决策网络 | 网络权重不变，输入在变 |
这与 LLM 是同一个道理：权重冻结，行为靠 prompt 调制——影像模型的"prompt"就是噪声图、ISO、场景标签。真正的端侧在线学习（联邦学习、on-device fine-tuning）在手机上只存在于输入法个性化、相册人脸聚类这类非安全关键场景，影像 ISP 链路目前无量产案例。
七、趋势：端到端 Neural ISP 与模块化替换的现实
一个值得关注的方向是端到端 neural ISP——一个网络直接从 RAW 出成片，替代整条 ISP。学术上已相当成熟，但量产卡在两点：
- 可调性：传统 ISP 每个模块参数可独立调整，neural ISP 是黑盒，厂商 tuning 团队无法接手；
- 功耗：全网络化处理整条链路的功耗高于硬件 ISP。
因此现实路线是“ISP 模块化 AI 替换”：NR、demosaic、tone mapping 逐个换成 NN 节点，保留 pipeline 骨架与可调性。这也解释了行业现状——各旗舰的影像差距，越来越取决于"哪个模块敢换、换得多深"。
八、结语
把 AI 影像拆到底层，会发现它既不神秘也不是噱头：它是一套**“离线训练 + 冻结部署 + 条件输入”**的确定性工程体系——小模型嵌入相机管线的具体节点，在 RAW 域以毫秒级预算完成降噪、融合、测光、分割；大模型在相册侧以端云混合方式完成生成式编辑。所谓"AI 拍照"，本质上是几十颗分工明确的端侧模型，在你按下快门的前后各几百毫秒里，完成了一场协同推理。
附：关键概念速查
- HTP：Hexagon Tensor Processor，高通 NPU，INT8 卷积/Transformer 加速的主力
- QNN：Qualcomm Neural Network SDK，SNPE 的后继，端侧推理部署栈
- CHI/CDK：高通相机 HAL 层可定制架构，AI 算法以 Feature/Node 形式挂载
- Bayer unshuffle：将 RAW 按 RGGB 相位拆成 4 通道，空间分辨率减半，等效算力降 4 倍
- 蒸馏/量化：教师大模型 → 学生小模型 → INT8/INT4，端侧落地的标准压缩路径
