简介：一份基于Halcon与QT实现的景深合成完整方案，面向机器视觉开发者和自动化检测工程师，解决多焦距图像融合生成清晰深度数据的实际需求。该技术可提升产品检测、缺陷识别与精密装配中的对焦精度与测量稳定性。压缩包共6个文件、26KB，以Halcon工程文件（hdev）、QT界面源文件（cpp、ui、h）及项目配置文件（pro）为主，其中hdev封装了dFF3D测量程序的核心算法流程，QT部分提供可视化交互界面，便于上传图像、调整参数并查看合成结果。已有2317人学习该资源，适合希望掌握Halcon景深合成算法实现及C++界面集成的中高级开发者。通过研究源码可理解从多图采集、对齐到深度融合的完整链路，并据此定制三维测量与质量检测应用，是学习和实践计算机视觉技术的良好范本。
1. 景深合成在HALCON里解决的是什么问题：一次拍摄对不上焦的生产现场
镜头的景深只有 0.4mm，工件高低差却有 1.5mm，这种小视野检测位是景深合成的典型战场。halcon景深合成（focus stacking）的做法是沿 Z 轴拍一组对焦位置递进的图像，逐像素挑出最清晰的灰度，合成一张全视野都锐利的图。收光圈当然能换景深，但曝光时间从 2ms 涨到 18ms，产线节拍直接被打爆；多帧采集加算法合成，才是产线上更实际的路。这篇记录直接讲清楚它背后的光学条件、在 HDevelop 里的最小实现骨架、参数怎么调，以及我踩过的几个高频翻车点。适合做精密零件、PCB、微小结构件检测的视觉工程师；如果你的工件本身是平整的，单帧就能对焦，这个方向可以直接跳过。
2. 景深合成背后的成像逻辑：为什么多张图合成能救回小景深
2.1 一张图拍不全的根因：景深、焦深与弥散圆
镜头成像里，"清楚"其实是一个工程判据，不是物理上的绝对。点光源经过镜头后在像面上不是一个点，而是一个弥散圆；弥散圆直径小于某个允许值（一般取 1~2 个像素尺寸），这张图就被认定为"够清晰"。景深的近似表达式由近景深与远景深组成，光圈数 F#、焦距 f、工作距离 WD 三者共同决定。工程上我更常用焦深来算：焦深 ≈ 2 × C × F#，其中 C 是允许的弥散圆直径。比如像素 3.45μm、F#=4 时，焦深大约 27μm——这就是"多小的台阶差会让边缘发虚"的直接参考。
为什么收光圈不是万能解？光圈收到 F16，焦深确实变大，但衍射极限会先一步把 MTF 拉低，边缘梯度变成一条缓慢的斜坡，测量重复性照样完蛋。再加上曝光时间翻倍、光源功率打满也不够，节拍和稳定性的账都划不来。景深合成换了一个思路：镜头不需要在每一层都清晰，它只需要在每一层的某一个对焦位置足够清晰，然后把各个位置"最清晰的片段"拼起来。
这里的物理前提有两个：一是序列图之间只有对焦位置变化，没有相对位移；二是每一层必须有一部分内容是真正对焦的。第二个前提容易被忽略，如果你的 Z 轴步进超过了焦深，两个相邻焦点之间会出现没有任何一张图覆盖的"真空层"，合成算法再聪明也救不回来，这一点在第 4 章会展开。
2.2 HALCON 里做景深合成的能力边界：哪些场景该用，哪些别硬上
景深合成听起来万能，实际用起来要提前判断场景。我接手过的项目里，适合做的通常有三个特征：工件静止、表面有纹理或边缘、高度差落在镜头焦深的 2 到 3 倍以上。静止是硬条件，因为合成要求像素级对齐；纹理和边缘是评价梯度所需要的"素材"；高度差太小不值得做，高度差太大则需要非常多的层数。常见的适用对象是连接器针脚、微型齿轮、双面胶封装、带沉孔的 PCB。
不适合的场景也明确。运动工件不要做，哪怕只是 2~3 个像素的抖动，合成图的边缘就会拖影；镜面和强反光表面不要做，梯度响应会被高光噪声淹没，算法会把亮点当成清晰度；透明罩子下面有多层折射结构的工件也要谨慎，焦点峰值不唯一，逐像素最优会盯到错误层。
| 场景特征 | 是否适合景深合成 | 说明 |
|---|---|---|
| 静止、有纹理、高度差 2~3 倍焦深 | 适合 | 典型的层叠结构件 |
| 高速运动、机构抖动 >1px | 不适合 | 先解决定位和运控 |
| 镜面、强反光、液体表面 | 不适合 | 梯度评价被高光带偏 |
| 透明体多层折射 | 谨慎 | 需要先验证峰值唯一性 |
| 平面工件、单帧已清晰 | 不需要 | 合成只会徒增节拍 |
技术上，HALCON 实现景深合成有两条路：新版本提供了专用的深度合成算子，参数少、速度快；老版本或者想把中间过程完全掌控的项目，可以用基础算子自己搭。我习惯自己搭骨架，不是因为专用算子不好，而是现场排查时能一步步看到是"哪一层被选中了""为什么这里被替换了"，这对调试和客户沟通都友好得多。
2.3 清晰度评价的本质：从边缘梯度到逐像素最优
把"合成的决策"说透。对每一帧图像 I_i，对每个像素算一个清晰度分数 S_i(r,c)，分数越高代表这一层在这个像素位置越"在焦内"。最常用的分数是局部梯度幅值，也就是 sobel_amp 的输出。在焦内，物体边缘的灰度变化剧烈，梯度幅值高；离焦后边缘被摊平，梯度幅值迅速掉下来。于是合成问题变成了一个逐像素的选择题：每个像素位置选 S_i 最大的那一层，把该层灰度取过来。
这里跟相机里的"自动对焦"逻辑有本质区别。自动对焦是对整幅图算一个总分（比如对整幅图求 Tenengrad 和），找一个让总分最大的 Z 位置；景深合成则是逐像素投票，允许同一张图里不同的位置来自不同层。这也是为什么它能把一个倾斜面整体拍清楚——倾斜面上每一行其实处于不同的对焦距离，逐像素最优天然适配。
理解了这一点，后面调参数就有了方向：所有调优都围绕"如何让 S_i 更可靠"。噪声会让梯度虚高，所以要先平滑；纹理太疏会让分数不稳定，所以要选合适的导数核；不同层之间有曝光差异，需要先做亮度归一化。下一章直接给一个能跑通的最小实现。
3. 用HALCON跑通景深合成：从序列采集到全清晰图像的完整流程
3.1 序列图的采集条件：Z轴步进怎么定
采集是合成的地基。Z 轴步进是整个项目里第一个要定的数，定错了后面所有调参都是徒劳。我的经验是：步进不超过焦深的一半，最好取焦深的 1/3。焦深用 2 × 像素尺寸 × 光圈数来估算。举两个例子：
| 像素尺寸 | 光圈数 F# | 估算焦深 | 建议步进 |
|---|---|---|---|
| 3.45 μm | F4 | ≈ 27.6 μm | 10 μm |
| 3.45 μm | F8 | ≈ 55.2 μm | 20 μm |
| 5 μm | F5.6 | ≈ 56 μm | 20 μm |
注意这个估算没有计入镜头倍率的影响，实际还要乘上光学放大率的修正项。更保守的做法是先用显微镜或景深标尺实测一层焦深，再除以 2 取整。层数由总高度差除以步进得到，一般 6~12 层比较合理，超过 20 层就要回头检查是不是放大倍率选太大了。
触发方式推荐用硬触发：Z 轴运动控制器每走一步发一个脉冲，相机外触发采图，保证每层图像严格对应一个 Z 位置。软件延时触发看起来省事，但运动平台的到位信号有抖动，叠加上去后合成的边缘容易出现微米级的错位，这类问题排查起来最费时间。每层采一帧就够，合成算法本身对单帧噪声有抑制；如果照明有明显闪烁，每层采 3 帧取中值再参与合成，效果立竿见影。
注意：先确认 Z 轴有位置反馈信号，再接硬触发线。没有位置反馈的步进电机，建议用光栅尺信号做触发源，否则步进丢步时合成图会出现整层的错位。
3.2 HDevelop里的最小合成骨架：逐层替换算法
下面这段是我常用的一套 HDevelop 骨架，不依赖专用算子，任何版本都能跑。它用的是"逐层替换"策略：第一帧作为初始合成图，从第二帧开始，每一帧跟当前合成图比清晰度，更清晰的区域就替换进去。
* 合成图初始化为第一帧 read_image (FocusImage, 'seq/focus_01') gauss_filter (FocusImage, G, 3) sobel_amp (G, MCur, 'sum_abs', 3) NumImages := 9 for I := 2 to NumImages by 1 * 按序号读取当前帧 read_image (Image, 'seq/focus_' + I$'02d') gauss_filter (Image, GNext, 3) sobel_amp (GNext, MNext, 'sum_abs', 3) * 当前帧清晰度高于基准的区域：差值图大于阈值 sub_image (MNext, MCur, Diff, 1, 0) threshold (Diff, RegionBetter, 1, 255) * 替换：把当前帧在 RegionBetter 内的灰度写入合成图 paint_gray (Image, FocusImage, RegionBetter, 0) * 更新清晰度基准，进入下一轮比较 max_image (MCur, MNext, MCur) endfor逻辑说明：初始化时，FocusImage 是第一帧的灰度，MCur 是第一帧的清晰度图；循环里每读入一帧，先算这一帧的清晰度图 MNext，再用 sub_image 计算 "MNext - MCur" 的差值，threshold 把差值为正的像素挑成区域 RegionBetter。paint_gray 负责把当前帧这些区域内的灰度值写进 FocusImage，完成替换。最后 max_image 把 MCur 更新成两者中的较优值，下一帧继续与这个基准比较。
参数说明：gauss_filter 的核大小取 3，sobel_amp 的 FilterType 用 'sum_abs'、Size 取 3，这两处是清晰度评价的默认起点，噪声明显时把高斯的第 2 个参数改成 5。threshold 的 MinGray 取 1 不是 0，目的是过滤掉差值几乎为零的平坦区，避免无意义的碎片替换。paint_gray 的第四个参数 0 表示只画区域内灰度，区域外保持原值。如果用的 HALCON 版本较老，paint_gray 的参数顺序可能与这里略有出入，打开算子帮助核对一遍即可，逻辑不受影响。
3.3 把合成结果接进检测流程：合成图与原始图的坐标一致性
合成图与原始序列图尺寸完全一致，像素坐标系也没有改变，所以后面的亚像素轮廓提取、测量算子可以直接用在 FocusImage 上，不需要重新标定。实际项目里我会把合成这一步做成一个独立的预处理步骤，存成临时图，再进入测量流程，避免把合成逻辑和测量逻辑耦合在一起。
两个小细节。第一，如果检测区域只是工件的一部分，合成前先用 reduce_domain 把 ROI 裁出来，合成的耗时能降下来一大截，而且 ROI 外的大梯度（比如夹具边缘）不会干扰区域选择。第二，如果机构的重复定位精度一般，合成前先做配准：在每一帧里找一个固定特征（圆孔、角点），vector_to_rigid 得到仿射变换，再 affine_trans_image 统一坐标系。这一步要不要做，取决于你第 4 章里"合成后坐标偏移"那条坑是否出现。
最后，合成图的域要处理好。变换或替换操作会带来域的裁减，传给下游算子前用 full_domain 恢复完整矩形象域，不然有时会莫名报错，提示 domain 为空，或者算子静默跳过一部分区域。这个坑很隐蔽，但处理成本只要一行。
4. 景深合成避坑指南：五个高频翻车点与排查方法
4.1 合成图比单帧还模糊
现象：合成结果出来后，某些区域的边缘比最清晰的那一帧还要软，甚至整片发雾。原因：sobel_amp 对噪声敏感，暗场图像上随机噪点的梯度幅值常常高于真实边缘的微弱梯度，算法把"噪点区"当成了"清晰区"。解决：sobel 之前一定先做 gauss_filter 平滑，核大小按噪声水平选 3 或 5；如果噪声来自照明不足，优先把光源亮度补上来，而不是靠算法硬扛。排查时把 MCur 单独显示，如果是均匀的花斑而不是沿边缘的亮带，基本就是噪声主导，先回采集端解决照明。
4.2 拼接缝横贯合成图
现象：合成图上能看到明显的分界线，一边亮度、纹理与另一边不一样，像两块拼图硬拼在一起。原因：paint_gray 是硬替换，两个深度层之间如果曝光有细微差异，边界就会被放大成一圈灰度跳变；另外 threshold 产生的碎小区域边缘不整齐，也会形成锯齿。解决：对 RegionBetter 先做 opening_circle（半径 1.5）去掉碎块，再做 closing_circle（半径 1.5）平滑边界；如果缝隙还在，把区域腐蚀 2 个像素再做替换，牺牲一小条过渡带换来自然的边界。这一步做完，大部分可见分界线都会消失。
4.3 Z轴步进太大导致层次断裂
现象：无论怎么调平滑参数，合成图的某个高度带始终是模糊的，边缘呈"断层"状。原因：相邻两层的对焦范围没有重叠，中间存在没有任何层覆盖的焦深盲区。解决：把步进压到焦深的 1/3，层数翻倍。这一步要在采集阶段就确认，不要指望后期算法能补；我见过一个项目为了赶节拍把层数从 10 层砍到 6 层，结果合成效果和预期差很远，最后步进改回 15μm 才稳定。判断办法很简单：任取相邻两层，观察两层中间高度上的同一特征，如果两层都模糊，步进一定大了。
4.4 合成后测量坐标偏移了几个像素
现象：同一特征点，在合成图里测出来的坐标，和它在某一帧单帧里测的坐标差了几个像素，导致后续定位全偏。原因：Z 轴爬行过程中，相机或工位存在微小的侧向摆动，不同帧之间其实是错位的；也可能是镜头倍率随对焦距离有微弱变化。解决：先验证是哪种。把两帧图像的同一特征做模板匹配，看平移量是否稳定；稳定的话，合成前做仿射配准，用 vector_to_rigid 得到变换参数再 affine_trans_image；机械上则要检查 Z 轴的直线度和相机的固定是否牢靠。如果平移量不稳定，说明是机械间隙问题，算法只能兜底，治本还得靠机构。
4.5 合成速度慢到没法上产线
现象：9 层 500 万像素的序列，跑一次合成要十几秒，节拍完全撑不住。原因：每帧执行了 gauss、sobel、sub、threshold、max 五次全图遍历，HDevelop 解释执行又放大了循环开销。解决：先把 ROI 缩小到检测区域，这是收益最大的一步，往往能省掉一半以上的计算量；再把清晰度图按 2×2 降采样来选区域，区域找到后再在原图上取值；算子层面用带线程并行版本的算子，或者把合成逻辑写成 HALCON 的 C++ 接口扩展。目标是把单次合成压到 1 秒以内，这个量级才可以谈产线落地。
排查顺序上也有讲究：先看采集（步进、触发、曝光一致性），再看评价（噪声是否主导、窗口是否合理），最后才怀疑替换逻辑。顺序反了容易在算法层反复折腾，最后发现是机械和光学的锅，白耽误时间。
5. 合成质量怎么调：清晰度窗口、过渡带与序列层数的配合
5.1 清晰度评价窗口怎么选：窗口太小噪声主导，太大细节丢失
清晰度评价的窗口大小是花时间最多的调参点。高斯核太小压不住噪声，太大会把相邻边缘拉成一体，让评分失去分辨力。我的默认起点是 gauss 核 3、sobel Size 3，适合照明良好、表面纹理细密的情况；暗场或噪声明显时，高斯换 5，sobel 仍保持 3；如果要抑制高频纹理干扰，把 sobel 换 5，代价是边缘定位会偏 1 个像素左右，测量类项目要慎用。
| 场景 | 高斯核 | sobel Size | 说明 |
|---|---|---|---|
| 亮场、细密纹理 | 3 | 3 | 默认起点 |
| 暗场、噪声明显 | 5 | 3 | 先压噪再评梯度 |
| 高频纹理干扰 | 3 | 5 | 抗干扰，定位偏 1px |
| 极端弱信号 | 7 | 5 | 慎用，边缘细节损失大 |
判断"窗口是否合适"有个笨办法：把 MCur 单独显示出来看。清晰的 MCur 应该在真实边缘处有一条亮带，背景均匀发暗；如果整个图花斑斑的，说明噪声主导；如果边缘亮带特别粗，说明核太大把边缘扩宽了。这个可视化检查在 HDevelop 里一分钟就能做完，比盯着合成图猜要快得多。
各层之间的曝光不一致也要处理，否则"梯度高"会持续偏向更亮的一层。先对每帧做灰度归一化，用 min_max_gray 拿到每帧的灰度量级，把均值拉到同一个水平再计算清晰度。这个小步骤不复杂，却经常能让合成结果稳定一大截。
5.2 硬切换还是软融合：过渡带怎么处理
第 3 章的骨架是硬切换，速度快、逻辑清楚，但在深度突变区域容易出拼接缝。想要更自然的过渡，做法是给每个像素算一个权重，而不是非黑即白的区域替换。常见做法：把 MNext 和 MCur 都归一化到 0~255，取 w = MNext / (MNext + MCur)，合成灰度 = w × ImageNext + (1-w) × FocusImage。HDevelop 里可以用 div_image、add_image、mult_image 组合出来，代码量不大，但引入了浮点计算，速度会慢一些。
我一般先跑硬切换验证结果，如果拼接缝不明显就直接用；只有客户对缺陷检测的误判率敏感，或者表面是渐变色场景时，才切到软融合。软融合的权重图还要做一次 gauss_filter 平滑，否则权重在像素级跳变，过渡带看起来像噪声。权重平滑的核取 5~9，具体看过渡带的宽度；过渡带太窄，软融合和硬切换的效果没区别；太宽，两个深度层之间的细节会被平均掉，边缘反而变虚。
5.3 用频域方法验证合成效果
合成后如何证明"确实变清晰了"，而不是直觉上觉得变得更好。两个可量化的方法。第一个是频域对比：对合成的选区和一个单帧的对应选区做 fft_generic，求功率谱，统计某个高频段（比如 0.3~0.5 倍奈奎斯特频率）的能量占比。合成图的高频占比应该显著高于任一单帧，否则说明合并没有生效。第二个是边缘剖面分析：在合成图上沿一条穿过边缘的线段取灰度剖面，用算子拟合边缘位置，统计该剖面的 10%~90% 上升宽度。宽度越小，边缘越锐利，这个数值可以直接写进项目验收报告里。
这两条验证方法的价值在于可复现：记录下同一 ROI 的频域能量值和边缘上升宽度，后续改了 Z 轴步进或光圈，拿旧数据和当前数据一比，合成质量是变好还是变坏一目了然。这比保存几张合成图直观得多，也更容易说服客户接受这个方向。调参时有了量化目标，就不会被合成图上的视觉假象带偏。
6. 进阶技巧：用标定板验证景深合成前后的一致性
合成图不是"测量图上叠加了一层算法"，它的几何一致性必须实测。我常用的验证方法是：取一块圆格标定板，在同样的 Z 轴位置上采集一整组序列图，用 HALCON 的标定算子分别对单帧和合成图提取圆心坐标，然后做一次标定，比较两组结果里的外参和重投影误差。如果合成图引入了几何畸变，重投影误差会明显变大，圆心提取结果会和单帧对不上。这一步能挡住"合成图边缘清晰但测量尺寸就是偏"这类最隐蔽的翻车。
实际操作时，我习惯把验证脚本固定成项目模板：每次调整光圈、Z 轴步进或者换镜头后，先跑一次标定板验证，再跑一次频域对比，最后才进正式样件测试。顺序反过来的话，出了问题很难定位是光学改动引起的，还是合成参数引起的。序列图和合成参数也要保留一份，HALCON 的脚本绑定同一套序列图即可复现，改过参数后还能回滚，这是我最常用的后悔药。
还有一个工作习惯：把每层图的平均灰度记录下来，合成前先确认各层曝光一致。曝光有梯度变化的序列图，合成时会在深度边界处留下明显的接缝，与其在算法里做补偿，不如在采集阶段就解决。最后提示一句，合成后如果想做亚像素测量，建议在合成图本身上重新跑一次标定，而不是沿用某一单帧的标定结果，这样测量链路上少一个隐患。希望这次关于 halcon景深合成 的工程记录能帮到正在为小景深头疼的你。
本文还有配套的精品资源，点击获取
