简介：面向计算机视觉初学者的图像滤波与混合图像实验配套包，源自经典课程项目，用于实现低通、高通滤波及不同频率图像融合生成混合图像。压缩包共三十八个文件，以六个Python脚本、两个编译缓存文件和三十张PNG、BMP图像素材组成，整体大小约五点一八MB，目录区分代码、数据与结果，便于快速查找。脚本部分包含高斯滤波构建、自定义空间域滤波、图像读取与混合合成主流程；结果图覆盖猫狗、爱因斯坦与玛丽莲、鸟与飞机、潜艇与鱼、自行车与摩托车等多组经典配对，并提供多尺度融合效果，可对照算法参数观察差异。已有两千八百七十六人学习，下载后可直接运行复现，替换图像测试不同滤波核与尺度，也适合课程设计或入门计算机视觉的动手实践。
1. 图像滤波与混合图像：为什么一张图近看是爱因斯坦、远看是梦露
近看是一张胡须分明的爱因斯坦肖像，退后三步再看，同一张照片却变成了年轻时的玛丽莲·梦露。这不是视力错觉，而是混合图像（Hybrid Images）的核心体验：把一张图的低频轮廓和另一张图的高频细节叠在同一幅画面上，利用人眼在不同观看距离下对空间频率的敏感差异，实现"一张图两种身份"。这次拆解的是斯坦福 CS131 作业配套的完整源码包，从自定义滤波函数、高斯核生成到混合图像主流程全部用 Python 实现，还自带 10 组素材和 20 张结果图可以直接对照复现。适合正在学图像处理课程、被卷积边界和频率分解绕晕的人，也适合想脱离调库、自己手写滤波代码的工程师。
2. 混合图像原理与高斯核生成：先把频率和卷积讲清楚
2.1 混合图像的空间频率基础：为什么人眼对不同频率有差异
图像可以拆成不同空间频率的叠加：低频代表大范围的明暗过渡和轮廓，高频代表边缘、纹理、发丝这类细节。高斯模糊滤掉的就是高频，留下的就是低频。混合图像的做法简单直接——把图 A 的低频和图 B 的高频相加，生成公式就是：
hybrid = low_filter(A) + (B - low_filter(B))low_filter(B)是 B 的低频分量，用高斯滤波对 B 做平滑得到；B - low_filter(B)就是 B 的高频细节。最后把 A 的低频和 B 的高频逐像素相加，得到一张混合图。人眼在近距离看时高频细节占主导，看到的是 B 的边缘纹理；退远之后高频细节在视觉上被压缩丢失，低频轮廓浮上来，看到的就是 A。这个现象最早由 Oliva、Torralba 和 Schyns 在 2006 年的 SIGGRAPH 论文里系统阐述，CS131 这个作业就是论文的代码化落地。
想快速验证频域直觉，可以对同一张图分别做高斯模糊和"原图减模糊"，会发现模糊图里大面积亮暗关系保留，减出来的边缘图里只剩轮廓线。这也是为什么空域滤波方法不能处理包含周期噪声的图像——周期噪声在频谱上是离散的尖峰脉冲，空域里再大的均值核也只能把它打散，无法精准抠掉那一两个频点，必须靠频域陷波滤波来处理。混合图像恰恰反过来，它利用的就是人眼对不同频段的选择性接收，这是空域设计能生效的场景。
2.2 gauss2D.py 的实现：二维高斯核的一维坐标生成
高斯核是混合图像里唯一的滤波器，代码里通常用gauss2D.py生成。二维高斯函数可以写成两个一维高斯的乘积，所以实现时直接用坐标网格代入指数函数即可，不需要调用 scipy 的高斯函数：
import numpy as np def gauss2D(shape=(3, 3), sigma=0.5): m, n = [(ss - 1) / 2.0 for ss in shape] y, x = np.ogrid[-m:m + 1, -n:n + 1] h = np.exp(-(x * x + y * y) / (2.0 * sigma * sigma)) h[h < np.finfo(h.dtype).eps * h.max()] = 0 sumh = h.sum() if sumh != 0: h /= sumh return h这段代码的逻辑是：先用核尺寸算出坐标范围，np.ogrid生成列向量和行向量的网格坐标，代入高斯公式得到未归一化的权重矩阵，然后做两件事——把小于浮点精度上限的小数截断成 0，避免出现非零但极小的权重浪费计算；再把整个核除以权重总和，保证滤波后图像亮度不偏移。shape控制核的窗口大小，sigma控制高斯曲线的宽度，两者直接决定保留多少频率。
一个常见做法是把shape设成sigma的 4 到 6 倍左右，例如 sigma 取 5 时窗口用 20 到 30 像素。如果窗口太小，高斯曲线的尾部被截断，滤波结果会出现振铃效应；窗口太大则计算量浪费，效果没有明显提升。这个 trade-off 在混合图像里直接表现为边缘处是否有异常亮带。
2.3 相关与卷积的区别：为什么对称核掩盖了一个坑
滤波实现里最容易翻车的不是高斯公式，而是"相关"和"卷积"这两个概念。相关（correlation）是把核直接在图像上滑动做加权求和，卷积（convolution）需要先把核做 180 度翻转再滑动。scipy.ndimage.correlate做的是相关，scipy.ndimage.convolve做的是卷积。对于高斯核这种中心对称的核，翻转后和原来完全一样，所以两者结果相同；但如果换成 Sobel 这类非对称核，相关和卷积输出恰好相差一个负号，边缘方向会反过来。
我一般用ndimage.correlate作为滤波函数的基础实现，因为它的边界处理模式更直观，而且混合图像项目里的核要么对称，要么只是验证用的简单核，相关够用。代码包里的my_imfilter.py本质上就是包装了 scipy 的 correlate 并加上多通道灰度支持，测试脚本basictest.py会同时用 identity 核、盒式滤波核和 Sobel 核做验证，其中 identity 核要求输出和输入完全一致，这一步能快速暴露边界处理写没写对。
3. 手写 imfilter 与高低频分解：从零实现到验证通过
3.1 my_imfilter.py 的完整实现：灰度彩色统一处理
my_imfilter.py是这个项目的核心文件。它对外暴露一个函数，输入图像和滤波核，输出滤波结果。实现时要同时处理两种输入：二维灰度图和三维彩色图。彩色图本质是三个通道共用同一个核做滤波，不能把三维数组直接交给 correlate，否则核会被错误地应用到通道维度上：
from scipy import ndimage import numpy as np def my_imfilter(image, imfilter, border_type='reflect'): if image.ndim == 2: out = ndimage.correlate(image, imfilter, mode=border_type) elif image.ndim == 3: out = np.zeros_like(image) for c in range(image.shape[2]): out[:, :, c] = ndimage.correlate(image[:, :, c], imfilter, mode=border_type) else: raise ValueError('only grayscale and RGB images are supported') return out逻辑说明：先判断维度，灰度图直接滤波；彩色图逐通道滤波后拼回原形状。border_type是边界填充方式，reflect表示镜像反射，即图像边缘外侧的像素按边缘对称翻转补出来。这个参数对混合图像质量影响很大，后面避坑章节会单独讲。np.zeros_like保证输出数据格式和输入一致，避免出现 float 和 uint8 混用导致的问题。
实际运行中，我建议在函数开头加一个断言检查核尺寸是奇数，因为偶数尺寸的核没有中心像素，坐标映射容易出错。这个项目的数据都是 bmp 老图，尺寸不大，逐通道循环的性能完全够用；如果换成大图，可以用ndimage.correlate(image, imfilter[..., None], mode=border_type)一次处理三通道，但可读性差一些，我一般只在性能敏感时用。
3.2 高低频分解：一行代码提取细节层
高频和低频的提取在proj1.py里完成。低频直接用高斯滤波对原图平滑，高频则是原图减去低频，"原图减模糊"得到的残差图就是图像里的边缘和纹理层：
from scipy.ndimage import gaussian_filter def compute_low_high_freq(img, cutoff): low = gaussian_filter(img, sigma=cutoff) high = img - low return low, high参数说明：cutoff既是高斯 sigma，也是频率截止点。cutoff 越小，高斯核越窄，保留的频率越多，低频图越接近原图，高频图里剩下的细节越少；cutoff 越大，平滑越厉害，低频图越模糊，高频图里抠出的边缘越多。这里有个容易误解的点：gaussian_filter默认对每个维度独立做一维卷积，对彩色图输入三维数组时，它会默认把 z 轴当作通道维度做滤波，这正好符合需求，不需要像my_imfilter那样逐通道手动处理。
高频残差图有一个特点：像素值会出现负数，因为它等于原图减掉平滑图，边缘暗侧减完是负值。显示时需要用(img - min) / (max - min)归一化到 0 到 255，否则直接 imshow 会得到一半黑一半花的乱图。混合图像相加时这个负值是正常的，最终low + high恰好还原出有正有负的叠加结果，只需要在保存时统一 clip。
3.3 测试脚本跑通：basictest.py 的逐项验证方法
源码包里带basictest.py和proj1_test_filtering.py两个测试脚本，用途是验证你自己写的my_imfilter是否和标准实现一致。测试策略是：把同一个输入图分别用my_imfilter和scipy.ndimage.correlate（作为 ground truth）跑一组预定义核，对比两者的输出误差：
import numpy as np from my_imfilter import my_imfilter from scipy import ndimage from scipy.misc import face def test_against_scipy(): img = face(gray=True).astype(np.float64) / 255.0 kernel = np.ones((3, 3)) / 9.0 ref = ndimage.correlate(img, kernel, mode='reflect') out = my_imfilter(img, kernel) diff = np.abs(ref - out).max() print('max diff:', diff) assert diff < 1e-8, 'filter mismatch'逻辑说明：先用一个 3x3 均值核做盒式滤波验证，标准差阈值设在 1e-8 级别。这个测试能暴露三类问题——边界模式没写对、核没有归一化、彩色图通道混叠。测试通过后再跑proj1_test_filtering.py，它会读入 data 目录里的 bmp 图，用若干组核跑完整流程，确认每个环节输出形状和 dtype 都正常。
我在复现时习惯把测试脚本的输入图换成数据包里自带的一张 bmp，因为原测试用的 scipy 内置图灰度值范围是 0 到 255，而 bmp 读出来也是 0 到 255，如果中途转成 float 没统一除以 255，后续混合图像会有整体偏亮或偏暗的怪问题，这是新手最容易忽略的数值范围陷阱。
4. 混合图像生成与多尺度可视化：cutoff 参数决定一切
4.1 proj1.py 主流程：低频加高频的组装逻辑
主流程代码集中在proj1.py里。它的工作分三步：读取两张输入图、生成各自的低频和高频、把 A 的低频与 B 的高频加权相加。典型实现是：
def make_hybrid(image1, image2, cutoff): low = gaussian_filter(image1, sigma=cutoff) high = image2 - gaussian_filter(image2, sigma=cutoff) hybrid = low + high return np.clip(hybrid, 0, 255).astype(np.uint8)逻辑说明：low取 image1 的低频轮廓，high取 image2 的高频细节，两者相加后每个像素的值理论上可能超出 0 到 255 的范围，所以最后必须clip到合法区间再转回 uint8。cutoff是整个流程里唯一的超参数，它决定低频保留多少轮廓、高频抠出多少边缘，直接控制混合图像在哪个距离切换视觉主体。
桌面壁纸级的效果需要反复调 cutoff，我一般从 5 开始测，每次加 2 看效果。cutoff 偏小时混合图上能看到两张图的边缘同时出现"重影"，偏大时高频细节太少，图 B 的特征完全消失，只剩图 A 的模糊轮廓。合适的 cutoff 应该让混合图在屏幕前 30 厘米处看到图 B，退到 1.5 米外看到图 A，这个切换越自然说明频率分离越成功。
4.2 多尺度金字塔可视化：一张图验证多个观看距离
源码包里大量hybrid_image_scales_*.png文件，它们是多尺度可视化函数的输出。原理是把混合图逐级缩小 1/2、1/4、1/8……，再拼成一张横向长图，模拟人眼从近到远逐步拉开的观察结果：
def vis_hybrid_image(hybrid_img, scales=5): h, w = hybrid_img.shape[:2] canvas = np.zeros((h, w + w // 2 * (scales - 1), 3), dtype=np.uint8) canvas[:, :w] = hybrid_img cur = hybrid_img for i in range(1, scales): cur = ndimage.zoom(cur, 0.5, order=1) ch, cw = cur.shape[:2] canvas[:ch, w + (i - 1) * w // 2: w + (i - 1) * w // 2 + cw] = cur return canvas逻辑说明：第一块是原始分辨率混合图，之后每一块用ndimage.zoom缩小一半放到右侧拼接，order=1表示双线性插值，避免最近邻插值产生锯齿。这样生成的对比图能直观看到同一个混合图在不同分辨率下的主体切换情况。实际效果是：最左侧能看到细节丰富的图 B，越往右图 B 细节越模糊，到某一块时视觉感知会突然跳到图 A，这个跳变越干脆，说明频率选择越合理。
注意ndimage.zoom缩小后图像的宽高可能会因为奇数尺寸产生半个像素偏差，拼图前对 ch、cw 做一个取整和边界裁剪更稳妥。源码包里现成的缩放图都是处理好的，我自己写可视化时会在循环里加一行cur = cur[:h // 2**i, :w // 2**i]强制对齐尺寸。
4.3 经典组合的参数设置参考与结果预期
数据包里的组合非常有代表性，按内容可以分成三类：人物身份切换（einstein-marilyn）、动物类别切换（dog-cat、bird-plane、submarine-fish）、交通工具切换（bicycle-motorcycle）。每个组合的图像尺寸和纹理复杂度不同，实际需要的 cutoff 也不同：
| 组合 | 低频主导图 | 高频细节图 | 特征复杂度 | 建议 cutoff 起点 |
|---|---|---|---|---|
| einstein-marilyn | 爱因斯坦 | 梦露 | 纹理密集 | 3 到 5 |
| dog-cat | 狗 | 猫 | 毛绒边缘多 | 5 到 7 |
| bicycle-motorcycle | 自行车 | 摩托车 | 结构线条明显 | 5 到 7 |
| submarine-fish | 潜艇 | 鱼 | 曲面光照明暗大 | 4 到 6 |
| bird-plane | 鸟 | 飞机 | 背景分布均匀 | 4 到 5 |
表里的 cutoff 起点是我复现时的经验值。爱因斯坦-梦露这对最经典，因为两人的脸型轮廓和发际线相似，低频切换最自然；狗和猫这对的难点在毛发的方向纹理，cutoff 稍大容易让猫的边缘糊进狗的背景里。拿到新组合时，我始终先固定 cutoff=5 跑一遍多尺度可视化，再根据切换点位置微调一档，而不是直接猜最终值。
5. 避坑与排查：图像滤波和图像混合最容易翻车的五个问题
5.1 输出全黑、边界黑框与数值范围问题
现象 1：混合图像保存成文件后整张图是黑的，或者只有零星亮点。
原因几乎都是数值范围没有对齐。图像读进来是 uint8，范围 0 到 255；高斯滤波后变成 float；混合相加后可能出现负值或超过 255 的值；如果直接保存，uint8 截断会让大部分像素变成 0 或 255，画面自然全黑或全白。解决方法是保存前强制做np.clip(hybrid, 0, 255)再转astype(np.uint8)。我自己的习惯是在make_hybrid函数返回前统一处理，不在调用侧反复转换。
现象 2：滤波结果边缘有一圈明显的黑框或白边。
原因是默认的边界填充方式是零填充（zeros），图像边缘外侧补 0 会让卷积窗口滑出边界时权重突然碰到大量 0，产生暗边。混合图像里这个黑框会同时污染低频和高频两路。解决方法是把my_imfilter的border_type改成reflect，即镜像反射填充；高频残差图如果仍有边缘响应异常，可以再用edge模式对比一下，我实测 reflect 在自然图像上最稳。
现象 3：同一张图在测试脚本里误差极小，换到 bmp 素材上就出错。
原因在于测试脚本用的 scipy 内置图是 float 或 0 到 255 的 uint8，而 bmp 读出来也是 uint8，但中间一旦做了除法归一化又忘记恢复，滤波核的权重总和就不再是 1，输出亮度发生漂移。解决方法是统一约定：滤波过程全程用 float64，只在最终保存时转 uint8，归一化只用于显示，不用于计算链路。
5.2 cutoff 参数、通道混叠与核窗口尺寸的坑
现象 4：cutoff 增大到 8 以后，高频细节区域出现一圈圈波纹状伪影。
原因不是高斯公式写错，而是核窗口尺寸和 sigma 不匹配。如果gauss2D(shape=(cutoff, cutoff), sigma=cutoff)，窗口只有 cutoff 像素，而高斯函数的有效半径大约是 3 倍 sigma，窗口太小相当于把高斯曲线截断，截断部分在频域里会产生振铃。解决方法是把窗口改成int(6 * sigma + 1)取奇数，确保覆盖高斯函数的大部分能量。这也是我见过最多的"玄学"问题——调了半天参数，其实是核尺寸和 sigma 没配对。
现象 5：彩色混合图像中三张分量图的切换距离不一致。
原因是直接把三维数组整体交给某个只支持二维的滤波函数，导致滤波核沿通道方向也被错误计算。混合图像的三通道频率分离必须同步，否则原图换主体时颜色信息混乱。解决方法是严格逐通道滤波，或者使用gaussian_filter时显式指定axes=[0, 1]，明确告诉它在高度和宽度方向滤波而不要碰通道轴。排查时快速验证方法：把混合图转灰度再显示，如果灰度图的切换是干净的，而彩色图混乱，问题一定出在通道处理。
6. 验证混合图像效果的频域视角：FFT 频谱检查与 cutoff 扫描习惯
多尺度可视化只能看到结果，想确认频率分离是否彻底，需要用 FFT 打开混合图的频谱看一眼。我常用的验证手段是计算混合图灰度版的频谱，观察低频中心和高频边缘的能量分布是否符合预期：
import numpy as np import matplotlib.pyplot as plt def show_spectrum(img): gray = img.mean(axis=2) if img.ndim == 3 else img f = np.fft.fft2(gray) fshift = np.fft.fftshift(f) spec = 20 * np.log(np.abs(fshift) + 1) plt.figure(figsize=(8, 4)) plt.subplot(121); plt.imshow(gray, cmap='gray'); plt.title('input') plt.subplot(122); plt.imshow(spec, cmap='gray'); plt.title('spectrum') plt.show()频谱中心对应低频，周围是高频。合格的混合图像频谱应该是：中心有一个清晰的亮斑（低频轮廓来自图 A），外围散布着环形链状亮区（高频纹理来自图 B），两者之间有明显暗带间隔。如果中心亮斑过大且外围几乎无能量，说明 cutoff 偏大把图 B 的细节磨光了；如果外围能量过强而中心暗淡，说明 cutoff 偏小，图 A 的轮廓没能压过低频阈值。
在那之后，我每换一组新素材都强制走一遍同一套流程：先用 cutoff=5 生成混合图和多尺度拼图，再跑一次频谱检查，最后根据频谱暗带位置反向调整 cutoff。这个习惯帮我避开了大量靠肉眼反复试参数的弯路，也让我能迅速判断一个素材组合是否天然适合做混合图——如果两张图结构差异太大，比如一张纯风景和一张人脸，无论如何调参，频谱上总会出现两个清晰可辨的主体轮廓，这时候不是参数问题，而是素材本身不合适，换图比调参更省时间。希望帮到你。
本文还有配套的精品资源，点击获取
