rPPG与ECG联合分析：从信号提取到质量评估指南

简介：基于人脸视频的rPPG（远程光电容积描记）代码包，利用普通摄像头捕捉面部肤色随心跳的细微变化来估计心率，实现无接触式测量；面向生物医学工程、计算机视觉与人机交互方向的研究者和开发者，也适合需要复现标准化心率成像实验流程的读者。压缩包共12个文件，大小3.32MB，其中含7个MATLAB脚本、2个文本说明、1份Markdown文档、1份许可证文件与1段示例视频。目前已有942人学习/下载，适合从入门到进阶的相关技术探索。代码从人脸检测、肤色模板选择、面部帧提取到心率信号计算均有对应实现，并配有示例视频与说明文档，可帮助快速跑通rPPG流程；整体结构清晰，便于二次开发，也为ECG/PPG信号特征对比研究提供基础。

1. rPPG 不是测心率，是测血流容积波

打开rPPG-master_remote_人脸心率_everyb1q_ECGPPG_ECGandPPG_这类仓库名，第一眼容易被 "人脸心率" 带走，真正决定技术路线的其实是后面那个ECGandPPG。ECG 是心电，PPG 是光电容积描记，rPPG 则是用摄像头远程采集的 PPG。换句话说，rPPG 拿到的从来不是心率本身，而是皮肤下毛细血管随心脏搏动产生的容积变化曲线，心率只是对这个周期信号的二次推断。很多刚入坑的人用绿色通道均值做 FFT 就以为完成了心率提取，等到与 ECG 对照发现相位对不上、谷峰漂移、误差跑到 ±10 bpm 以上，才开始理解为什么做这行的人反复强调 ground truth 和信号对齐。这个标题适合三类人：做健康监测算法预研的工程师、想把手环式 PPG 方案迁移到摄像头场景的团队，以及需要评估 rPPG 测量精度的测试开发。本文按信号链路把每一步讲透，从 ROI 选择到与 ECG 的联合评估，最后给出验证管线的硬指标。

2. rPPG 最小信号链路：从人脸 ROI 到干净 PPG 波

2.1 为什么 rPPG 首选色度特征而不是直接用绿色通道

绿色通道对血红蛋白的吸收峰更敏感，但不代表直接对 ROI 内绿色像素求平均就能得到好信号。人脸视频里混着三件事：光源强度波动、头部微小运动、皮肤血流变化，三者都呈周期性。头部运动引起的像素位移在绿色通道上的幅度往往比血流信号大一个数量级。单纯用绿色通道等价于把运动噪声当成首要信号源处理。

常见做法是引入色度模型。皮肤对光的反射服从 modified Lambert-Beer 定律，血液体积变化主要影响吸收系数，而皮肤表面反射几乎与波长无关。利用这一差异，可以把 RGB 三个通道投影到一个与运动正交的方向上，达到分离血流信号的目的。业界用得最多的是 CHROM (Chrominance-based) 和 POS (Plane-Orthogonal-to-Skin) 两种方法，前者假设皮肤色调的投影方向在标准化 RGB 空间里相对稳定，后者直接在时域上构造一个与运动轨迹正交的平面。两者对光照变化的鲁棒性都不错，POS 在运动较大时更稳，CHROM 胜在计算简单。工程落地上我一般两个都实现，先用 CHROM 做原型，再根据测试数据切 POS。

2.2 用 POS/CHROM 法从视频帧提取 rPPG 时间序列

以下代码是 rPPG 管线里最核心的一段，输入为视频帧序列，输出是干净的 rPPG 信号。实际工程中 ROI 会做平滑跟踪，这里先给出稳定的静态人脸假设版本，便于调试信号链路。

import cv2 import numpy as np from scipy.signal import detrend, butter, sosfiltfilt def extract_rppg_from_frames(frames, fs=30.0, roi=None): """ 从视频帧序列提取 rPPG 信号。 frames: list[np.ndarray]，BGR 图像列表 fs: 视频帧率，单位 Hz roi: 人脸区域 (x, y, w, h)，不传则取图像中心 60% 区域 """ signals = [] for frame in frames: if roi is None: h, w = frame.shape[:2] roi = (int(w*0.2), int(h*0.2), int(w*0.6), int(h*0.6)) x, y, w, h = roi face_region = frame[y:y+h, x:x+w] # 转浮点避免 uint8 截断误差 rgb = cv2.cvtColor(face_region, cv2.COLOR_BGR2RGB).astype(np.float32) # 空间平均，得到每个通道的均值 signals.append(rgb.mean(axis=(0, 1))) rgb = np.array(signals) # shape: (n_frames, 3) # --- CHROM 特征 --- # 先做时间归一化：每个通道除以其时间均值 mean_rgb = rgb.mean(axis=0) normalized = rgb / (mean_rgb + 1e-6) # CHROM 权重来自肤色在 YCbCr 空间的经验投影 X = 3.0 * normalized[:, 0] - 2.0 * normalized[:, 1] # 3R - 2G Y = 1.5 * normalized[:, 0] + normalized[:, 1] - 1.5 * normalized[:, 2] # 1.5R + G - 1.5B chrom = X - (np.std(X) / np.std(Y)) * Y # detrend 去掉基线漂移 chrom = detrend(chrom, type="linear") # 带通滤波：0.75~4.0 Hz 对应 45~240 bpm sos = butter(4, [0.75, 4.0], btype="bandpass", fs=fs, output="sos") filtered = sosfiltfilt(sos, chrom, axis=0) return filtered

代码里的两个关键点需要解释。第一，CHROM 特征为什么是X - (std(X)/std(Y)) * Y而不是直接拿 X：标准 CHROM 假设 X 和 Y 的方差比反映了运动与血流在色度空间的投影比例，用 std 比值做动态校准，让运动方向的干扰被减掉。如果视频中头部固定不动，这个比值会趋于一个常数，此时退化成固定权重。第二，sosfiltfilt用的是零相位滤波，正向反向各过一遍，消除了 IIR 滤波器的相位延迟——这在后续与 ECG 对齐时是硬性要求，有相位延迟的心率信号和 ECG 做峰值匹配会引入系统性偏差。

2.3 预处理三件套：detrend、归一化、带通滤波

工程上常把 detrend、归一化、带通滤波统称为预处理三件套。detrend 去掉的是光源慢变和呼吸引起的基线漂移，呼吸频率约 0.2~0.4 Hz，如果阶段数据只有 10 秒，线性 detrend 就能有效抑制呼吸对后续 FFT 的泄漏干扰。归一化（z-score）在计算 CHROM 特征前做，避免不同环境光照下幅值差异对特征权重造成影响。带通滤波的频带选择直接决定心率估值的上下限，默认 45~240 bpm 覆盖了绝大多数场景，但婴幼儿和剧烈运动后的检测建议放宽到 240 bpm 以上。

参数	推荐值	说明
视频帧率	≥ 30 fps	低于 20 fps 时 240 bpm 以上的频率会被混叠
ROI 尺寸	人脸宽度的 60%~80%	过小噪声大，过大会框入背景导致皮肤占比下降
滑动窗口	10 s，步进 2 s	兼顾频率分辨率和实时性
带通滤波	0.75~4.0 Hz	对应 45~240 bpm，可调
滤波阶数	4 阶 Butterworth	更高阶滚降快但数值稳定性差

窗口长度这一行的取舍容易被忽略。10 秒窗口的 FFT 频率分辨率是 0.1 Hz，对应 6 bpm——这意味着在低帧率下测得的瞬时心率本身就带 ±3 bpm 的不确定性，这不是算法误差而是物理极限。要求更高精度时把窗口加到 30 秒，代价是响应变慢，不适合做实时看板。我一般会把这组参数做成配置项而不是硬编码，因为运动场景和静坐场景的最优参数差距很大，统一用一组参数测试往往得出"rPPG 不行"的错误结论。

3. 拿 ECG 做 ground truth：同步对齐与误差评估

3.1 R 峰检测与码率对齐

rPPG 信号提取出来后，最直接的问题是：怎么知道它测得准不准？答案是用 ECG 做对照。ECG 的 R 峰是心室去极化的标志，时间精度在毫秒级，临床上公认是心率检测的金标准。但直接比较 rPPG 估计心率（bpm）和 ECG 心率（bpm）是不够的，因为两边都是先检测事件再换算频率，任何一方的误检都会被放大。正确做法是先分别做峰值检测，再在事件级别对齐，最后才换算成心率指标。

ECG 峰值检测最经典的算法是 Pan-Tompkins，它利用 QRS 波的斜率、幅度和宽度特征做自适应阈值。Python 生态里biosppy和neurokit2都内置了可靠的实现，但为了理解参数含义，这里给一个用scipy.signal.find_peaks的最小版本：

import numpy as np from scipy.signal import find_peaks, butter, sosfiltfilt def detect_r_peaks(ecg, fs=250.0): """ 检测 ECG 中的 R 峰，返回峰值索引列表。 ecg: 一维 ECG 信号 fs: ECG 采样率 """ # 带通 5~15 Hz，突出 QRS 能量 sos = butter(4, [5.0, 15.0], btype="bandpass", fs=fs, output="sos") filtered = sosfiltfilt(sos, ecg) # 整流 + 移动平均，增强 R 峰 rectified = np.abs(filtered) win_len = int(0.12 * fs) # 120 ms 窗口，QRS 宽度约 80~120 ms kernel = np.ones(win_len) / win_len smoothed = np.convolve(rectified, kernel, mode="same") # 最小峰间距：300 ms 对应 200 bpm，防止 T 波被误检 min_distance = int(0.3 * fs) peaks, props = find_peaks(smoothed, distance=min_distance, prominence=np.percentile(smoothed, 90) * 0.3) return peaks

注意这里没有用 Pan-Tompkins 的动态阈值，而是用 90 分位数的比例做 prominence 阈值。原因在于短时 ECG 记录（30 秒内）的信号统计特性相对稳定，简化后的检测精度已经足够；但如果你的数据是长时动态心电，比如 24 小时记录，幅值会随时间漂移，务必换成滑动窗口自适应阈值。0.3 * fs的最小峰间距对应 200 bpm 上限，这比 rPPG 的 240 bpm 保守，所以两个峰值序列对齐时要先统一各自的生理上限。

3.2 用峰值匹配把 ECG 心跳归属到 rPPG 时间轴

rPPG 和 ECG 的采样率通常不同。ECG 设备常见 125、250、500 Hz，而视频只有 30 fps，峰值索引必须在统一的时间轴上比较。工程上我一般先把两边都换算成秒，再建立一个"以 ECG R 峰为锚点，向前找最近 rPPG 峰值"的匹配逻辑。要注意的是 rPPG 的谷峰和 ECG 的 R 峰本来就存在生理相位差——脉搏波从心脏传到外周皮肤需要时间，这个时间叫脉搏传输时间（PTT），通常在 100~300 ms 量级。忽略这个延迟直接比较峰值时间会得到一个看似很大的误差，实际上只是两个信号定义的事件本身就不同步。

def match_peaks(rppg_peaks, ecg_peaks, fs_rppg, fs_ecg, max_delay=0.5): """ 将 ECG R 峰与 rPPG 峰值做时间轴匹配。 返回每对匹配的 (时间差, ECG 间期, rPPG 间期) max_delay: 允许的最大峰匹配裕度，单位秒 """ t_rppg = rppg_peaks / fs_rppg t_ecg = ecg_peaks / fs_ecg pairs = [] for t in t_ecg: # 在 rPPG 时间轴上寻找最接近的峰 idx = np.argmin(np.abs(t_rppg - t)) delta = t_rppg[idx] - t if abs(delta) <= max_delay: pairs.append(delta) # 由配对峰值各自计算心率，用中位数抵抗误检 rr_ecg = np.diff(t_ecg) hr_ecg = 60.0 / np.median(rr_ecg) # bpm hr_rppg = 60.0 / np.median(np.diff(t_rppg)) return pairs, hr_ecg, hr_rppg

max_delay这个参数是做匹配时最容易拍脑袋定的。设 0.5 秒看似宽松，但如果心率是 120 bpm，心搏间隔本身就是 0.5 秒，这意味着匹配窗口几乎覆盖整个心跳周期，任意 rPPG 峰值都可能被错误匹配给最近的 R 峰。严谨做法是把窗口设成预期心率周期的 40%，比如默认 60~100 bpm 时用 0.3 秒。心率特别高或特别低的场景按实际心率动态调整窗口，避免匹配歧义。

3.3 rPPG 误差评估指标（MAE/RMSE/Bland-Altman）

评估 rPPG 与 ECG 的一致性，业界通用的三个指标各有侧重点：MAE（平均绝对误差）反映整体偏差，RMSE（均方根误差）对 outliers 更敏感，Bland-Altman 图则揭示误差是否随心率水平变化。很多文章只看 MAE 和相关系数，但相关系数高并不代表一致性好——两个信号一个有 5 bpm 恒定偏移，另一个没有偏移，相关系数可以完全相同。强烈建议补一张 Bland-Altman。

指标	计算方式	临床/工程可接受阈值
MAE	mean(abs(hr_rppg[i] - hr_ecg[i]))	< 3 bpm 优秀，< 5 bpm 可接受
RMSE	sqrt(mean((hr_rppg[i] - hr_ecg[i])^2))	< 5 bpm 优秀
成功率	误差 ≤ 5 bpm 的样本占比	> 90%
Bland-Altman 95% LoA	mean_diff ± 1.96 * std_diff	越窄越好

需要注意的是，这些阈值来自可穿戴 PPG 设备的行业惯例，rPPG 因为信噪比天然更低，行业共识上 MAE < 5 bpm 已算良好。如果你的测试人群包含深肤色受试者或暗光环境，请单独统计这两类子集的指标——rPPG 对肤色和光照的敏感度远高于接触式 PPG，这在学术界和工程界都是被反复验证的结论。评估代码最后用一个错误率的输出把每个窗口的结果汇总起来，方便追踪是哪段时间片段的信号把整体误差拉高了。

4. ECG-PPG 联合分析里的滤波与质量门控

4.1 滤波参数对心率估值的影响

把 ECG 和 rPPG 放在一起分析时，"滤波"不再是各自管各自。ECG 的带通是 0.5~40 Hz，rPPG 是 0.75~4.0 Hz，两者的频带差异决定了不能共用一套滤波器。rPPG 频带窄是因为心率的最快生理极限也就 240~300 bpm（4~5 Hz），再高的频率要么是噪声要么是谐波。但窄带滤波有个副作用：如果被测者心率恰好接近频带边缘，比如婴幼儿 180 bpm（3 Hz），滤波器的过渡带会压制信号幅度，导致峰值检测不稳定。

运动噪声是 rPPG 最大的干扰源，典型频谱集中在 1~3 Hz 之间，正好与静止心率频带重叠。静止场景下靠带通滤波就够了，运动场景必须引入额外的运动伪差消除策略。常见做法是用加速度计（可穿戴设备）或光流（纯视觉方案）测量运动量，按幅度对 rPPG 信号做自适应滤波。纯视觉方案里，把运动量作为一个回归变量做自适应滤波（类似 Widrow-Hoff 结构的自适应噪声抵消器）在工程上可复现。简单说就是建一个以运动信号为参考的滤波器，从 rPPG 中减掉与运动正相关的成分。

4.2 SNR 门控与可用片段筛选

不是所有视频片段都能提取出有效心率，环境光突变、快速转头、遮挡都会让某一片段彻底失效。与其让算法带着脏数据硬算，不如加一道质量门控：计算信号质量指标，低于阈值直接标记为不可用，不参与心率统计。这个思路在 ECG 分析里叫 signal quality index (SQI)，PPG/rPPG 场景下最实用的指标是频域信噪比：

def compute_rppg_snr(signal, fs=30.0): """ 计算 rPPG 信号的频谱信噪比。 以最大谱峰作为心率候选，计算其邻域能量与全频段噪声能量之比。 """ from scipy.signal import welch freqs, psd = welch(signal, fs=fs, nperseg=min(len(signal), 256)) # 只关心 0.75~4.0 Hz 的范围 valid = (freqs >= 0.75) & (freqs <= 4.0) freqs, psd = freqs[valid], psd[valid] hr_idx = np.argmax(psd) hr_freq = freqs[hr_idx] # 信号能量：以主峰为中心 ±0.1 Hz 的邻域 signal_mask = np.abs(freqs - hr_freq) <= 0.1 signal_power = psd[signal_mask].sum() # 噪声能量：全频带减去信号邻域 noise_power = psd[~signal_mask].sum() + 1e-12 # 避免除零 snr_db = 10 * np.log10(signal_power / noise_power) return snr_db, hr_freq * 60.0 # 返回 SNR(dB) 和心率(bpm)

SNR 阈值没有绝对标准，我一般低于 -3 dB 的片段直接丢弃，-3~0 dB 用中值滤波平滑后再用，大于 0 dB 才进入心率竞速模型。这个阈值在暗光（低于 50 lux）场景要放宽，因为整体 SNR 下降是物理限制而非算法缺陷。SNR 门控是 rPPG 工程落地时回报最高的优化点——它不会提升单点精度，但能显著降低误报率，误报比精度差对用户伤害更大。

4.3 联合分析中的 CF 校正与 PWV 类衍生指标

当 ECG 和 PPG/rPPG 同时存在时，多数人只做心率对比，忽略了这两路信号还能交叉验证测量可信度。这里提两个工程中容易被忽略的衍生参数：校准因子（calibration factor）和脉搏波传导速度的前置估计。在 ECG-PPG 联合分析的社区代码里，这两个概念经常被合并在cfpwv这类命名的工具包中：先说 CF——当 PPG 的幅值受皮肤厚度、贴合压力影响而失真时，用同一时段 ECG 的 R 峰振幅做归一化，得到一个相对血流灌注的校准系数；再说 PWV——ECG R 峰到 PPG 峰值的延迟时间即脉搏传输时间（PTT），用身高估算动脉路径长度后可得 PWV 的粗略值。PTT 与血压相关性强，是 rPPG 从"测心率"走向"测血压"的关键中间量。

PTT 的计算依赖峰值匹配的质量。假如匹配代码里max_delay设得太大，次要峰（dicrotic notch 后的重搏波）可能被误认为主峰，PTT 会系统性偏大。验证 PTT 可靠性的一个简单方法：计算连续 10 个心搏的 PTT 标准差，如果超过 30 ms，说明匹配不稳定，需要检查滤波参数或 ROI 区域是否包含了额头发丝遮挡。PWV 这类指标的好处是和心率无关，短期内心率波动再大 PWV 也是相对平稳的，这为信号质量评估提供了一个独立于心率的验证维度。

5. 验证 rPPG 管线的三个硬指标

5.1 用重叠滑动窗口看 SNR 与心率稳定性

不要只输出一个最终心率值，要输出一段时间内的心率轨迹和配套的 SNR 轨迹。用 10 秒窗口、2 秒步进滑动计算，你会得到一组长度超过 40 的心率片段，这组序列能暴露三个问题：心跳间期是否有生理合理性、SNR 是否突然掉到负值、心率轨迹是否出现单点跳变。一个实用的验证脚本是统计"心率轨迹的相邻跳动差"：

def validate_rppg_trace(hr_series, max_jump=10.0): """ 验证 rPPG 心率轨迹的稳定性。 max_jump: 相邻窗口心率最大允许跳变，单位 bpm """ hr_series = np.asarray(hr_series) # 去除 NaN/无效片段 valid = ~np.isnan(hr_series) hr_valid = hr_series[valid] # 相邻差分 diffs = np.abs(np.diff(hr_valid)) invalid_jumps = diffs > max_jump jump_ratio = invalid_jumps.mean() # 心率变异合理性：静息状态下相邻心跳间期变化一般在 3~10 bpm # 超过 max_jump 的比例高于 5% 说明信号质量不稳定 return jump_ratio, { "jump_ratio": jump_ratio, "max_jump_bpm": diffs.max() if len(diffs) else 0.0, "std_bpm": hr_valid.std() }

这个指标在运动场景下尤其好用。运动时心率确实在变化，但变化率受生理约束，相邻 2 秒窗口之间跳变超过 20 bpm 就值得怀疑。结合 5.2 节的两个指标，基本能过滤掉 90% 以上的无效 rPPG 管线设置错误。

5.2 自采数据时的同步验证建议

如果你在采自己的数据，最容易被忽视的是时间同步。视频流的时钟来自采集电脑，ECG 设备有自己的时钟，两者即使都显示系统时间也可能有几秒的漂移。稳妥做法是用"秒表法"采集：在视频画面里放一块毫秒计时器，同时用 ECG 设备的标记功能打一个事件点——后面的所有对齐都以这个事件点为锚。这个技巧能省掉你在分析阶段排查"为什么 rPPG 比 ECG 慢 2 秒"的大量时间。

最后一层验证是跨受试者一致性。单独一个人的视频里跑通算法只能证明你的 pipeline 没有 bug，不能证明泛化性。至少要采集 10 人以上、覆盖不同肤色和光照条件的数据，按第 3 章的方法统计每个受试者的 MAE 和 SNR 分布，观察是否存在某个子集的误差系统性偏大。如果发现深肤色或暗光下 MAE 翻倍，优先检查 ROI 选择和色度特征是否需要按光照做自适应——这是 rPPG 领域目前最核心的落地瓶颈。

本文还有配套的精品资源，点击获取