NeuroRefiner：面向三维荧光显微镜神经元分割的形态感知多智能体优化框架
论文原链接：https://arxiv.org/html/2608.09636v1
摘要
精准的三维荧光显微镜神经元分割是神经科学定量分析的核心基础，但神经元稀疏细长的丝状形态给现有算法带来巨大挑战：传统单遍分割模型难以同时兼顾局部细微结构与全局拓扑连通性，输出掩码普遍存在碎片化断裂问题。
本文提出NeuroRefiner多智能体迭代优化系统，完整复刻神经科学家「全局整体观测+局部精细编辑」人工修正流程。系统由三类协同智能体组成：全局检测器、优化顾问、修改校验器，分别负责拓扑缺陷定位、结构化修正指令生成、编辑效果校验；配套专用3D编辑网络TopoRefineNet，以跨模态特征融合实现文本指令引导的掩码精细化修复。
整套多轮闭环智能体流程基于体素级迭代修正，输出拓扑完整性更强、推理过程可解释的神经元分割结果。在BigNeuron、CWMBS、ZBFWB三大公开神经元数据集完成全面验证，相较于现有SOTA方法取得显著提升，在难度最高的ZBFWB数据集上F1指标提升3.02%。
关键词：神经元分割；多智能体；大视觉语言模型；拓扑优化；三维荧光显微；医学图像分割
1 引言
神经元重建旨在从三维荧光显微图像中提取完整神经元骨架，支撑神经环路定量解析工作。高质量重建要求算法同时还原细微分支结构、保障全局拓扑连续。
1.1 荧光神经元分割独有难点
与电镜密集神经元图像不同，荧光成像存在三大固有痛点：
- 信号极度稀疏，神经元呈细长丝状分布；
- 三维高分辨率图像叠加大量成像噪声；
- 长距离轴突、树突依赖全局上下文，局部窗口感受野无法建模长程依赖。
现有主流分割方案均采用滑动窗口分块推理（图1-a），存在三大致命缺陷：
- 单窗口感受野受限，全局神经元连通性丢失，掩码大量断裂；
- 端到端黑盒模型，推理过程无透明度，缺陷无法追溯；
- 单次前向传播无迭代修正机制，拓扑错误难以修复。
1.2 现有医学智能体方案局限性
近年LLM驱动医学分割智能体（GenCellAgent、IBISAgent等）实现可解释推理，但完全不适用于稀疏神经元场景：
- 依赖2D切片式基础模型（MedSAM2）处理3D体积，无法捕捉丝状三维连续特征；
- 仅支持单次工具调用，缺少多轮迭代修正闭环；
- 无神经元拓扑专属检测、编辑逻辑，无法识别断裂、孤立噪声等典型神经元缺陷。
1.3 本文核心思路与三大贡献
模拟神经科学家人工修正范式：先全局扫描定位断裂/噪声区域，再针对性局部精细修复，循环迭代至拓扑完整。整套NeuroRefiner包含三类协同智能体+专用3D编辑网络TopoRefineNet。
本文三大核心创新：
- 首个面向神经元拓扑优化的LLM多智能体系统：构建全局检测-指令生成-效果校验闭环，迭代修复单遍分割带来的碎片化缺陷；
- 专用指令驱动3D编辑网络TopoRefineNet：设计两阶段课程式训练策略，对齐自然语言修正指令与三维掩码体素编辑；
- 三大公开神经元数据集全面验证，在弱信号、高噪声、长轴突复杂场景全面超越现有分割与优化基线。
2 相关工作
2.1 神经元分割算法
现有神经元网络侧重多尺度特征提取、形态约束建模，但全部为单次前向推理，无迭代纠错能力：
- 多尺度卷积/图结构：Neurolink、GBP-Net引入长程上下文缓解窗口感受野限制；
- 多任务形态监督：SGSNet、Tubular同时预测几何辅助特征；
- 弱监督对抗：MP-NRGAN利用重建骨架作为弱监督；
短板：仅能生成初始掩码，无法召回漏检分支、消除孤立噪声。点云细化类算法同样不能修复断裂结构。
2.2 医学图像分割智能体
分为两大技术路线：
- 多智能体强化学习MARL：IteR-MRL、dbMiM以体素为智能迭代单元，适配电镜/MRI，不适用于稀疏荧光神经元；
- LLM规划执行智能体：Ophiuchus、IBISAgent、GenCellAgent依靠SAM系列2D工具做交互式分割，无三维拓扑感知、无神经元专用编辑指令。
2.3 分割掩码细化算法
通用细化框架（Mask Transfiner、SegRefiner）、电镜专用FGNet仅修复边界像素，完全忽略神经元最关键的全局连通拓扑，无法解决轴突断裂、孤立伪影问题，神经元拓扑感知细化领域存在明显研究空白。
3 方法
3.1 NeuroRefiner整体多智能体闭环流程
算法1 NeuroRefiner完整迭代流程
输入：三维显微图像III、初始分割掩码M(0)M^{(0)}M(0)、最大迭代轮次TmaxT_{max}Tmax
输出：拓扑优化完成最终掩码MfinalM^{final}Mfinal
1: t ← 0 2: while t < T_max do 3: 沿Z轴生成最大强度投影M^xy、图像分块{b_i}、每块0阶贝蒂数β₀(b_i) 4: B_fix, {τ_i} ← 全局检测器π_ins(M^xy, {M_i^xy}, {β₀(b_i)}) # 识别待修复块与缺陷类型 5: if B_fix为空：退出循环（拓扑收敛） 6: for 每个待修复块 b_i ∈ B_fix: 7: k ← 0 # 单块重试计数器 8: while k < T_max: 9: t_i ← 优化顾问πadv(I_i^xy, I_i^yz, M_i^xy, M_i^yz, τ_i) # 生成三维修正指令 10: M_i^{refined} ← TopoRefineNet(I_i, M_i, t_i) # 指令驱动掩码编辑 11: r_i ← 修改校验器πval(M_i^xy, M_i^{refined}, t_i, τ_i) # 校验修正效果 12: if r_i = 接受: 13: M[b_i] ← M_i^{refined}，跳出重试循环 14: else: k ← k + 1 15: t ← t + 1 16: end while 17: return M^{(t)}完整循环逻辑（图2）：
- 全局检测器基于投影+拓扑指标定位缺陷子块，标注缺陷类型（FN断裂 / FP孤立噪声）；
- 优化顾问结合XY/YZ双平面三维信息，生成标准化自然语言修正指令；
- TopoRefineNet执行体素级掩码修改，输出局部优化子掩码；
- 修改校验器双重校验「指令匹配度+拓扑改善度」，不合格则重新生成指令重试；
- 所有通过校验的子掩码合并更新全局掩码，多轮迭代直至无缺陷块或达到最大轮次。
3.2 三大协同智能体详细设计
全部智能体基础视觉大模型：Qwen3-VL-8B，文本编码器：Qwen3 Embedding 0.6B
3.2.1 全局检测器 Global Inspector
核心目标：全局层面定位拓扑异常分块，区分假阴性（FN，神经元断裂）、假阳性（FP，孤立噪声）
- 预处理：对3D体积做Z轴MIP投影，将三维信息压缩至二维便于VLM处理；图像均匀划分为128×128无重叠子块；
- 拓扑量化指标：0阶贝蒂数β0(bi)\beta_0(b_i)β0(bi)=子块内连通域数量，数值越高碎片化越严重；
- 检测策略：结合全局投影、分块局部掩码、每块贝蒂数综合判断，输出待修复块ID与缺陷标签τi\tau_iτi；
- 提示词逻辑：附文末完整专家提示词，仅基于掩码形态判断，禁止脑补原图信号。
3.2.2 优化顾问 Refinement Advisor
核心目标：结合正交XY/YZ双平面投影，生成带三维空间坐标的结构化修正指令
- 双视角定位：XY平面确定左右上下，YZ平面区分前后深度；
- 指令标准化模板：
- FN断裂：
Connect [起点三维位置] to [终点三维位置]/Repair break at [三维位置] - FP噪声：
Remove isolated noise at [三维位置]
- FN断裂：
- 输出自然语言指令tit_iti，作为TopoRefineNet跨模态输入，实现高层推理与底层体素操作解耦。
3.2.3 修改校验器 Change Validator
双重校验标准，必须同时满足才接受本次修正：
- 指令依从性：掩码修改完全匹配指令指定位置、操作（连接/删除）；
- 拓扑提升：碎片化程度降低、无新增伪影；
单次修正不达标则触发重试，多次失败后移交人工标注修正。
完整校验判定提示词附文末附录。
3.3 TopoRefineNet：指令驱动三维掩码编辑网络
3.3.1 网络架构（图3-a）
- 视觉编码器：3D U-Net主干，拼接原图IiI_iIi与初始掩码MiM_iMi输入，输出分层三维视觉特征金字塔；
- 文本编码器：冻结Qwen3 Embedding，将修正指令tit_iti编码为固定维度文本特征；
- 跨注意力融合层：瓶颈层视觉特征与文本指令特征做交叉注意力，根据指令动态调整各区域特征权重；
- 解码器：跳跃连接融合浅层细节特征，上采样输出优化后二进制掩码MrefinedM_{refined}Mrefined。
核心公式：
FL′v=softmax(WqFLv(WkFt)⊤dk)WvFt \mathbf{F}_{L}^{\prime v}=\text{softmax}\left(\frac{\mathbf{W}_{q}\mathbf{F}_{L}^{v}(\mathbf{W}_{k}\mathbf{F}^{t})^{\top}}{\sqrt{d_{k}}}\right)\mathbf{W}_{v}\mathbf{F}^{t}FL′v=softmax(dkWqFLv(WkFt)⊤)WvFt
融合特征送入解码器完成条件掩码生成：
Mrefined=D∘CrossAttn(Eθ([Ii;Mi]),Tϕ(ti)) M_{\mathrm{refined}}=\mathcal{D}\circ\text{CrossAttn}\big(\mathcal{E}_{\theta}([I_{i};M_{i}]),\mathcal{T}_{\phi}(\mathbf{t_{i}})\big)Mrefined=D∘CrossAttn(Eθ([Ii;Mi]),Tϕ(ti))
3.3.2 两阶段课程式训练策略（图3-b）
- 阶段1：合成缺陷预训练
基于真实GT掩码人工制造可控缺陷：- FN断裂：随机腐蚀核（5~20）制造长短神经元缺口；
- FP噪声：随机复制无关神经元片段、叠加高斯点状伪影；
同步生成对应修正指令，学习文本-三维掩码跨模态对齐；
- 阶段2：真实缺陷微调
用3D U-Net、nnUNet、SwinUNETR等主流模型推理生成带真实缺陷掩码，Qwen3-VL自动生成对应修复指令，共5310份128×128×64训练样本；
损失函数：交叉熵损失 + Dice损失联合优化。
4 实验
4.1 实验基础配置
4.1.1 三大标准数据集
- BigNeuron：多物种、多实验室标注神经元，形态尺度差异大；
- CWMBS 小鼠全脑数据集：分辨率0.2×0.2×1μm，分为弱信号、强噪声两大子集；
- ZBFWB 斑马鱼幼体数据集：分辨率0.5×0.5×1μm，长距离轴突、低对比度、复杂网络，测试难度最高。
4.1.2 定量评价指标
- 像素级：精确率Precision、召回率Recall、F1分数（越高越好）；
- 拓扑距离：SD平均双向距离、SSD过滤2像素内匹配的长程拓扑误差（越低越好）；
- 形态完整度MES：量化缺失/多余神经分支总长度（越高拓扑越完整）。
4.1.3 实验超参
- 智能体基座：Qwen3-VL-8B；文本嵌入Qwen3 Embedding 0.6B；
- 图像分块尺寸：128×128；最大迭代Tmax=5T_{max}=5Tmax=5；
- TopoRefineNet训练：epoch按两阶段划分，批次自适应；
- 对比基线：
原生3D分割：3D U-Net、V-Net、nnUNet、SwinUNETR、SGSNet、GBP-Net、ADTL-Net；
通用细化算法：Mask Transfiner、SegFix、SegRefiner。
4.2 定量主实验结果
表1 CWMBS数据集定量指标（%）
| 模型 | 弱信号子集 | 强噪声子集 | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SD↓ | SSD↓ | PRE↑ | REC↑ | F1↑ | MES↑ | SD↓ | SSD↓ | PRE↑ | REC↑ | F1↑ | MES↑ | |
| 3D U-Net | 28.35 | 33.71 | 93.85 | 62.37 | 74.94 | 46.21 | 24.98 | 31.61 | 94.16 | 69.57 | 79.23 | 54.30 |
| nnUNet | 25.97 | 31.66 | 95.03 | 68.82 | 79.83 | 54.76 | 33.65 | 39.89 | 90.38 | 61.43 | 73.14 | 52.19 |
| GBP-Net | 11.85 | 19.27 | 95.06 | 83.50 | 88.91 | 67.09 | 17.15 | 24.94 | 93.41 | 75.93 | 83.77 | 59.41 |
| SegRefiner | 17.61 | 23.79 | 94.92 | 77.84 | 85.54 | 62.31 | 21.64 | 27.80 | 92.19 | 72.84 | 81.38 | 57.91 |
| 本文NeuroRefiner | 9.17 | 15.21 | 95.72 | 85.05 | 90.07 | 70.32 | 13.29 | 19.52 | 94.31 | 79.66 | 86.37 | 64.39 |
表2 BigNeuron & ZBFWB数据集结果
| 数据集 | 模型 | SD↓ | SSD↓ | PRE↑ | REC↑ | F1↑ | MES↑ |
|---|---|---|---|---|---|---|---|
| BigNeuron | 3D U-Net | 7.23 | 11.27 | 83.15 | 89.76 | 86.33 | 66.82 |
| BigNeuron | GBP-Net | 4.89 | 8.41 | 88.83 | 89.23 | 89.03 | 70.77 |
| BigNeuron | SegRefiner | 5.79 | 9.94 | 87.18 | 89.23 | 88.19 | 69.27 |
| BigNeuron | Ours | 3.39 | 6.94 | 89.74 | 90.37 | 90.05 | 72.02 |
| ZBFWB | 3D U-Net | 38.65 | 45.41 | 86.33 | 63.15 | 72.94 | 53.63 |
| ZBFWB | GBP-Net | 20.35 | 28.44 | 91.13 | 76.39 | 83.11 | 71.41 |
| ZBFWB | SegRefiner | 30.18 | 36.25 | 88.25 | 65.19 | 74.99 | 60.32 |
| ZBFWB | Ours | 16.31 | 23.66 | 92.77 | 80.38 | 86.13 | 74.25 |
核心结论：
- 全部数据集下SD/SSD拓扑距离显著降低，MES完整度大幅提升；
- ZBFWB最难场景，对比最优原生GBP-Net，F1提升3.02%；
- 通用细化算法仅修复局部边界，无法解决长轴突断裂问题，本文拓扑感知多轮优化优势明显。
4.3 消融实验
4.3.1 多智能体组件消融（表3）
| 全局检测器 | 优化顾问 | 修改校验器 | ZBFWB SSD / F1 | CWMBS SSD / F1 |
|---|---|---|---|---|
| 无 | 无 | 无 | 34.52 / 76.39 | 30.23 / 79.96 |
| ✓ | 无 | 无 | 32.05 / 77.29 | 28.47 / 80.34 |
| ✓ | ✓ | 无 | 25.24 / 83.47 | 18.93 / 87.14 |
| ✓ | 无 | ✓ | 30.69 / 81.43 | 24.53 / 83.12 |
| ✓ | ✓ | ✓ | 23.66 / 86.13 | 16.65 / 88.83 |
| 结论：三类智能体缺一不可，分工协同实现最优拓扑优化效果；缺少校验器会产生大量无效修改，损害指标。 |
4.3.2 基座视觉大模型消融（表4）
| VLM基座 | CWMBS SSD / F1 | ZBFWB SSD / F1 |
|---|---|---|
| Intern-VL3-8B | 17.70 / 87.94 | 28.11 / 83.81 |
| Qwen2.5-VL-7B | 18.33 / 87.14 | 27.31 / 84.77 |
| Qwen3-VL-8B（本文） | 16.65 / 88.83 | 23.66 / 86.13 |
| 结论：框架性能不依赖特定大模型，更换轻量VLM依然稳定优于基线。 |
4.3.3 全局检测器输入消融（表5）
| 全局M^xy | 分块掩码{M_i^xy} | 贝蒂数β₀ | ZBFWB SSD / F1 | CWMBS SSD / F1 |
|---|---|---|---|---|
| ✓ | 32.86 / 77.36 | 27.11 / 81.89 | ||
| ✓ | ✓ | 26.27 / 80.79 | 21.47 / 85.09 | |
| ✓ | ✓ | 29.16 / 82.41 | 25.93 / 82.64 | |
| ✓ | ✓ | ✓ | 23.66 / 86.13 | 16.65 / 88.83 |
| 结论：全局投影、分块局部信息、拓扑贝蒂数三者结合才能完整定位三维深度方向的隐蔽缺陷。 |
4.3.4 TopoRefineNet融合模块消融（表6）
| 融合方案 | CWMBS SSD / F1 | ZBFWB SSD / F1 |
|---|---|---|
| AdaLN | 19.37 / 86.46 | 26.78 / 84.38 |
| CDP通道点积 | 17.89 / 88.07 | 22.14 / 86.07 |
| CAB瓶颈跨注意力（本文） | 16.65 / 88.83 | 23.66 / 86.13 |
| 结论：瓶颈跨注意力在精度与计算开销间取得最优平衡；两阶段训练去除后，校验器拒绝率上升23.57%，指标显著下降。 |
4.3.5 迭代轮次消融（图5）
所有数据集在前5轮指标提升幅度最大，第5轮后趋于收敛，因此实验统一设置Tmax=5T_{max}=5Tmax=5；难度越高的数据集（ZBFWB）迭代收益越明显。
5 讨论与结论
5.1 全文总结
本文提出NeuroRefiner多智能体神经元拓扑细化框架，通过全局检测、指令生成、修改校验三智能闭环，搭配专用指令编辑网络TopoRefineNet，解决传统分割模型碎片化、不可解释、无迭代纠错的痛点。
整套框架无需微调LLM智能体，仅训练轻量化3D编辑网络，兼容任意初始分割掩码，在三大神经元数据集全面超越现有SOTA，为丝状生物三维显微分割提供全新可解释迭代优化范式。
5.2 局限性
当前全局检测器仅依靠二维MIP投影，三维深度信息丢失，高密度神经元重叠区域缺陷定位精度下降；未来将引入深度伪彩色投影、深度加权特征编码，还原完整三维空间信息。
5.3 未来拓展方向
- 深度感知全局检测模块，解决高密度神经元遮挡缺陷；
- 拓展多模态电镜、共聚焦、光片显微通用神经元细化；
- 引入人类反馈强化学习，持续优化智能体指令生成质量；
- 轻量化TopoRefineNet，实现本地离线快速推理。
附录：三大智能体完整提示词
附录1 全局检测器提示词
你是神经元分割拓扑质检专家，基于分割掩码、连通域数量评估掩码完整性。 任务输入：全局分割图、各子块掩码、每块连通域CC数量。 理想结果：整张图神经元连通域极少，无孤立点状噪声。 缺陷判定规则： 1. 假阴性FN（神经元断裂）：块内大连通域相互靠近但断开、骨架中途截断、块边界神经元无延续； 2. 假阳性FP（孤立噪声）：微小点状孤立区域、形态非细长管状、与主干无连接； 3. 正常：块内连通完整，符合神经元丝状形态。 执行流程： 1. 优先筛选CC数值异常高的分块； 2. 观察块内结构区分FN/FP； 3. 检查块边界连续性； 输出格式JSON {"块ID":"FN/FP"}，无缺陷输出空{}；禁止脑补原图信号，仅依据掩码判断。附录2 优化顾问提示词
3D神经元显微图像修复专家，可通过XY、YZ双平面投影推理三维空间。 输入：XY原图、XY掩码、YZ原图、YZ掩码、缺陷类型FN/FP 推理步骤： 1. XY平面定位缺陷上下左右； 2. YZ平面区分前后深度（图左侧=前）； 3. FN断裂分长距离连接/局部缺口两类指令；FP删除孤立噪声； 指令必须包含三维方位（如top-left-rear），禁止模糊描述，严格基于图像可见信号生成指令。附录3 修改校验器提示词
神经元分割修正校验专家，输入修正前掩码、修正后掩码、修正指令。 两条标准必须全部满足才判定ACCEPT： 1. 指令依从：修改区域、操作完全匹配指令； 2. 拓扑提升：断裂减少、噪声消除，无新增伪影； 判定逻辑：ACCEPT = 指令匹配 AND 拓扑改善； 输出：结果：ACCEPT/REJECT，理由：简述不通过原因（拓扑退化/指令不匹配）。
