做实例分割调研的那段时间，我一直在 top-down 和 bottom-up 两条路线之间反复比较。Mask R-CNN 这类方法精度确实稳，但 RoI 相关的计算量摆在那里，训练和推理都不便宜；YOLACT 那种纯 bottom-up 的玩法速度是快，可一旦画面里两个物体重叠得厉害，原型图就分不清谁是谁，mask 质量肉眼可见地掉档。BlendMask 是我当时整理下来觉得最值得做笔记的方法之一。它没有引入什么特别玄幻的模块，核心就是把一个叫 blender 的融合器接到 FCOS 检测头上，用一组低分辨率 attention map 加一组稠密 base map，共同决定每个实例的掩码。这篇文章把我在读论文和动手复现过程中整理出来的知识点完整过一遍，适合正准备入门实例分割、或者想在工程里找一个速度和精度平衡方案的同学。
1. BlendMask为什么会出现：它想同时解决的问题
1.1 两条经典路线各自的瓶颈
先回顾一下背景。实例分割大致分成两种实现哲学。
第一种是top-down，代表作就是 Mask R-CNN 那一套：先用检测器找到每个实例的框，然后在每个框内部做 mask 分割。它的优点非常明显——因为每个实例都有独立的 RoI，网络处理和区分实例的能力很强，重叠物体之间不太容易互相干扰。但缺点同样突出：每个 RoI 都要单独走一遍 mask 头，这个逐实例的计算开销在实时场景里很要命，而且最终 mask 的质量严重依赖检测框的质量，框歪了，mask 基本也保不住。
第二种是bottom-up，代表是 YOLACT。它不再先找框，而是直接对整张图生成一组稠密的"原型图"（prototype masks），再对每个实例预测一组系数，最后用系数的线性组合把原型图合成为实例 mask。这个设计的优势是速度快，因为所有实例共享同一组原型图，大量卷积操作可以整图并行。但问题也出在"共享"这两个字上：原型图是全局的，一旦场景里有两个形状、位置相近的物体重叠，网络很难仅靠线性系数把它们区分开，经常出现"一个实例身上带着另一个实例的影子"这种糊在一起的 mask。
我画过一张对比表，基本能把两条路线的差异看明白：
| 维度 | Top-Down（Mask R-CNN 类） | Bottom-Up（YOLACT 类） |
|---|---|---|
| 实例区分能力 | 强，每个 RoI 独立处理 | 弱，原型图全局共享 |
| 推理速度 | 慢，RoI 头逐实例计算 | 快，整图并行 |
| 重叠场景表现 | 稳定 | 容易混淆 |
| mask 边缘质量 | 取决于框质量 | 取决于原型图分辨率 |
| 训练复杂度 | 高，多阶段目标多 | 低，端到端简单 |
BlendMask 想做的事情说白了就是：别把这两条路对立起来，能不能让 top-down 的"实例感知能力"和 bottom-up 的"稠密全局先验"同时生效？它的答案不是简单的加权平均，而是设计了一个专门的融合模块。
1.2 切入点：低分辨率 attention map 当桥梁
BlendMask 的方案可以拆成三条分支来理解。
检测底座沿用FCOS，这是一个无锚框（anchor-free）的检测器，在 FPN 特征金字塔上输出分类、回归和 centerness 结果。检测框的作用和前作一样，是给后面的 mask 分割确定"这个实例在哪里"。
在拿到检测框之后，BlendMask 不是直接把 RoI 特征一路卷到 mask 输出，而是把它拆成两路互补的信息：
第一路是实例级的信息。对每个 RoI，网络预测一组低分辨率的 attention map，同时预测一组同样数量的系数（coefficient）。注意这里的 attention map 是属于这个实例自己的，分辨率很低，大约 7×7 左右。它的任务不是画出精细边缘，而是把"这个实例大致占据哪些区域"这个语义表达出来。系数则决定这些 attention map 之间怎么组合。
第二路是语义级的信息。网络从 FPN 的高分辨率层级接一个很小的卷积子网，输出一张稠密的 base map，这张图是全图共享的，每个像素对应原图的一个位置，分辨率大约是原图的 1/8。base map 学习的是图片层面的分割先验：哪里更像物体边缘、哪里更可能是前景。它不关心"这是第几个实例"，只关心"每个像素是前景还是背景、边界在哪里"。
最后，blender 把两条信息合在一起：先用系数把多张 attention map 线性合成一张实例注意力图，上采样到 base map 的尺寸，然后和该 RoI 对应的 base map 区域做逐元素相乘，得到最终的实例 mask。
为什么是逐元素相乘而不是相加？这其实是整个方法最关键的设计判断。乘法意味着 base map 像一个"门控开关"：base map 里接近 0 的位置，无论 attention 觉得这里多重要，最终 mask 都会被压掉；反过来，只要 base map 明确把某个区域标成前景，attention 又能决定这个区域到底属于哪个实例。一个负责"能不能是前景"，一个负责"是不是我这个实例"，两者相乘，刚好互补。
1.3 这个方案背后的隐含假设
理解了架构之后，我觉得有必要把 BlendMask 能work的前提条件写出来，这对后面调参和改结构都有指导意义：
第一，低分辨率 attention 足以表达实例的大致形状。7×7 的格子虽然粗糙，但描述"一个物体的空间占用范围"绰绰有余。真正让 mask 边缘精细的是 base map，不是 attention。
第二，base map 能在全图范围内提供稳定的语义先验。这个假设在大多数自然图像里成立，因为不管是人、车还是桌子，它们共有的"前景/背景判别"模式是相似的。但如果训练数据里目标类别差异极大、场景非常杂乱，base map 的学习压力会明显增大。
第三，检测框质量必须过关。这是所有 top-down 系统的通病。框偏了，RoIAlign 采到的特征就歪，attention map 再准也救不回来。所以 BlendMask 在实现时对 FCOS 检测头的质量要求并不低，训练时如果只关注 mask 分支而忽视检测分支的收敛，最终效果一定打折。
看清了这些前提，后面看代码和调参时就不会一头雾水了。
2. 从网络结构上拆解BlendMask的核心模块
2.1 检测底座：为什么选 FCOS 而不是两阶段检测器
BlendMask 没有用 Faster R-CNN 这种两阶段检测器，而是选了一阶段的 FCOS，这个选择不是随意的。
FCOS 是 anchor-free 检测器，省去了 anchor 的尺度、比例和数量这些超参数，正负样本的定义也简单直接——位置落在 GT 框内且离中心近的点都是正样本。它天然是为"每个像素都可能是一个对象"设计的，这与后面 base map 的稠密语义分支在思路上是一致的。
在 FPN 结构上，FCOS 会在 P3 到 P7 每一层都输出分类和回归结果，不同尺度的目标由不同层级负责。BlendMask 在这基础上加了三个东西：attention 分支、coefficient 分支和 bottom 分支。检测头和 mask 头共享 backbone 和 FPN，所以额外计算量控制得比较好。
2.2 attention 分支：实例级的"粗画轮廓"
attention 分支的输入是检测框对应的 RoI 特征。具体流程是这样的：
先用 RoIAlign 从 FPN 对应层级上抠出固定尺寸（我复现的配置里是 7×7 ×256 通道）的特征。RoIAlign 比 RoI Pooling 更友好，它用双线性采样替代了粗暴的取整量化，能把框的位置信息更准确地保留下来。
然后接一个可变形卷积。这一步是 attention 分支的精髓之一。普通卷积的感受野是方方正正的，但实例的形状千奇百怪，用固定网格采样很容易把旁边的背景也卷进来。可变形卷积让每个采样点学到一个偏移量，相当于把卷积核形状"掰弯"，让它贴合实例的实际轮廓。论文里给出的实验也证明了去掉这个可变形卷积，mask AP 会有明显下滑。
经过特征变换之后，分支一分为二：
- 一个输出为
(N, C_a, 7, 7)的 attention map 张量，这里的 C_a 是 attention 通道数，默认 8。也就是说，每个实例拥有 8 张 7×7 的"注意力底图"。 - 一个输出为
(N, C_a)的系数向量，负责对这 8 张底图做加权。
理解这里的关键在于：8 张 attention map 不是 8 个类别，也不是 8 个部位，而是网络自动学到的 8 种"空间分布模式"。系数则负责用这 8 种固定模式去逼近当前实例的专属轮廓。这比直接从 RoI 特征回归一张 7×7 mask 更稳，因为模式是跨实例共享的先验，参数少、不容易过拟合，还天然带有一定正则化效果。
2.3 bottom 分支：稠密 base map
bottom 分支做的事情非常朴素：从 FPN 的分辨率较高的一层（我复现时用的是 stride 8 或 16 的层级）接一个三层的 3×3 卷积子网，输出通道数设为 1，得到一张和这一层特征图同分辨率的 base map。整个过程不需要任何 RoI 操作，全图一次前向就完成。
这张 base map 的分辨率和边缘质量直接相关。如果接的是 stride 8 的层，base map 是原图的 1/8，mask 边缘能保留更多细节；如果接 stride 16，速度更快但边缘会明显变肉。官方实验里对这个取舍做了扫描，结论大家应该能猜到：stride 8 精度更高，stride 16 更快更省显存。工程落地时这里是第一个可以按需调节的旋钮。
还有一个细节值得记录：base map 的监督信号是整图的二值 GT mask（所有实例合并成一张图），所以它学到的是一个与实例身份无关的前景概率场。你可以把它理解成"图像抠图"的粗结果，实例区分这件事完全交给 attention 分支去完成。
2.4 blender 融合逻辑：整个方法的题眼
blender 是 BlendMask 最核心的部分，逻辑却简单到让人意外。对每个 RoI，它做四步操作：
第一步，沿 channel 维做线性加权：
A = Σₘ sₘ · Aₘ
其中 sₘ 是这个实例的系数，Aₘ 是第 m 张 attention map，m 从 1 到 C_a。得到的结果是一张单通道的 7×7 注意力图。
第二步，把这张 7×7 的注意力图双线性上采样到一个固定的输出尺寸（我复现时用的是 28×28）。
第三步，用同一个 RoI 在 base map 上做 RoIAlign，也抠出一块 28×28 的区域。
第四步，逐元素相乘，得到该实例的最终 mask。
attention 上采样之后和 base crop 相乘，本质上是"用实例自己的注意力图去 gate 掉 base map 里不属于自己的部分"。如果某个位置 base map 判断为背景，乘积就是 0；如果 base map 认为是前景，乘积的大小就由 attention 决定，这样两个分支的信息确实融合到了同一个空间里。
有意思的是，blender 本身没有任何可学习参数，它就是一个固定逻辑的算子。整个方法的学习能力全部来自 attention、coefficient 和 bottom 三个分支。这样的设计让 blender 很容易被替换成其他融合策略（比如带 sigmoid 的门控、多个 base 通道），这也是后续很多工作愿意拿 BlendMask 当 baseline 的原因之一。
2.5 参数量与计算量定位
从参数量的角度看，BlendMask 新增的部分其实相当轻量。attention 分支和 coefficient 分支共享前面几层卷积，真正的输出头只是很小的 1×1 卷积或全连接；bottom 分支只有三层 3×3卷积。相比 backbone 和 FCOS 检测头，新增参数占比很低，主要开销来自可变形卷积和 base map 的 RoIAlign。
计算量的分布也很有意思：检测部分走的是 FCOS 的一阶段路子，mask 部分虽然带 RoI 操作，但 attention 分辨率只有 7×7，上采样和乘法都是小张量运算。所以整体效率比 Mask R-CNN 高一个档次，非常适合做实时应用的起点。
3. 损失函数和监督信号怎么配
3.1 检测部分的损失直接沿用 FCOS
BlendMask 把检测部分完全交给 FCOS，所以检测损失也不需要创新：
- 分类损失用 focal loss，解决正负样本极度不平衡的问题；
- 回归损失用 IoU loss，直接优化框与 GT 的 IoU；
- centerness 分支用 BCE，用来给远离物体中心的预测降权。
这部分在整个损失函数里的权重和 FCOS 原版保持一致，训练时基本不用额外调。
3.2 mask 分支的监督信号设计
mask 分支的监督是复现时最容易糊涂的地方，因为至少存在三个可以加监督的点：
第一个是 attention map 本身。可以把每个实例的 GT mask resize 到 7×7，直接监督 attention map。这样做的好处是让 attention 分支目标明确、收敛快，缺点是它强制要求这 8 张 map 的加权结果逼近 GT，实际上限被 7×7 的分辨率锁死了。
第二个是 base map。把全图 GT mask 缩放到 base map 分辨率，做二值监督。这相当于给 bottom 分支一个明确的"前景概率"学习目标，能让 base map 更干净。
第三个是融合后的最终 mask。把预测 mask 和 resize 到同样尺寸的 GT mask 做逐像素配对损失（默认是二值交叉熵）。这是最重要的一路监督，因为它直接度量最终输出质量。
我在复现时采用的是"三路监督都开"的配置，但给 base 和 attention 的损失权重调得比较小，主损失放在最终 mask 上。这样既保证了两个中间产物不会太歪，又不至于让低分辨率分支的主导地位压垮最终 mask 的精度。
提示：如果你在训练时发现 mask 收敛很慢，优先检查 base map 的监督是否打开。base map 学不好，blender 不管怎么融合都是无米之炊。
3.3 训练超参笔记
以单卡或小 batch 复现为例，我常用的配置大概是下面这样，和官方开源的默认设置基本一致：
| 配置项 | 参考值 | 备注 |
|---|---|---|
| 优化器 | SGD | momentum=0.9，weight decay=1e-4 |
| 初始学习率 | 0.01（batch=16 时） | 小 batch 按比例下调到 0.0025~0.005 |
| warmup | 500 iter | 线性从 0 升到初始 lr |
| 训练总迭代 | 90000 | 在 COCO 上基本够用 |
| 学习率衰减 | 60000 和 80000 处乘以 0.1 | 阶梯式衰减 |
| 输入尺度 | 短边 800，长边 ≤1333 | 标准训练尺度 |
| 损失权重 | 检测 1.0 / mask 1.0 / attention 0.5 / base 0.5 | 可作为起点微调 |
一个重要的经验是：如果显存不够把 batch 从 16 降到 4，学习率必须同步降低，否则训练初期 loss 会出现明显抖动，特别是 mask 分支的波动比检测分支更敏感。我一开始挂着 0.01 的 lr 跑 batch=4 的配置，前 2000 个 iter 的 mask loss 几乎没降，后来把 lr 降到 0.0025 才恢复正常。
4. 关键代码逐段解读
4.1 总体前向逻辑
看完论文再看代码，会发现实现比想象中短。我先把整体骨架写出来：
class BlendMask(nn.Module): def __init__(self, cfg): super().__init__() self.backbone = build_backbone(cfg) # ResNet 类主体 self.fpn = build_fpn(cfg) # 特征金字塔 self.fcos_head = build_fcos_head(cfg) # 分类/回归/centerness self.attention_branch = BlendMaskTopNet(cfg) # instance 级分支 self.bottom_branch = BlendMaskBottomNet(cfg) # base map 分支 self.blender = Blender(cfg) def forward(self, images): features = self.backbone(images) fpn_feats = self.fpn(features) # [P3, P4, P5, P6, P7] det_out = self.fcos_head(fpn_feats) # 各层检测输出 proposals = self.get_proposals(det_out, images) # 筛选出框 # 每个框对应一个 attention map 和一组系数 att_maps, coeffs = self.attention_branch(proposals, fpn_feats) # bottom 分支从高分辨率层级生成稠密 base map base_maps = self.bottom_branch(fpn_feats[self.bottom_level]) # blender 完成最终融合 masks = self.blender(att_maps, coeffs, base_maps, proposals) return det_out, masks从代码结构就能直观感受到 BlendMask 的设计哲学：检测部分就是一个标准的 FCOS，mask 部分三条分支各司其职，blender 是一个不折不扣的"无参数服务员"。
4.2 attention 分支的实现要点
attention 分支里面有两个容易写错的点：deformable conv 的偏移量计算，以及系数的聚合方式。简化后的核心逻辑如下：
class BlendMaskTopNet(nn.Module): def __init__(self, num_attn_channels=8, roi_size=7): super().__init__() self.roi_size = roi_size self.feat_dim = 256 # RoI 特征先过一个可变形卷积 self.deform_conv = DeformConv2d(self.feat_dim, self.feat_dim, kernel_size=3) # 再过一个普通卷积做特征变换 self.conv = nn.Conv2d(self.feat_dim, self.feat_dim, 3, padding=1) # 两个输出头 self.attn_conv = nn.Conv2d(self.feat_dim, num_attn_channels, 3, padding=1) self.coeff_fc = nn.Linear(self.feat_dim * self.roi_size * self.roi_size, num_attn_channels) def forward(self, roi_feats): x = self.deform_conv(roi_feats) # 自适应采样 x = self.conv(x) # 特征变换 att_maps = self.attn_conv(x) # (N, C_a, 7, 7) coeffs = self.coeff_fc(x.flatten(1)) # (N, C_a) return att_maps, coeffs注意 coefficient 分支会把 7×7×256 的特征全部拉平接全连接，这里信息量比 attention 分支的 1×1 卷积要丰富得多，因此系数能更细腻地反映每个实例的特性。如果这一步简化成 GAP（全局平均池化），精度会掉，原因就是实例差异信息被平均操作抹掉了。
4.3 bottom 分支的轻量实现
bottom 分支是一个彻头彻尾的小网络，没有任何花哨结构：
class BlendMaskBottomNet(nn.Module): def __init__(self, in_channels=256, out_channels=1): super().__init__() self.conv1 = nn.Conv2d(in_channels, 128, 3, padding=1) self.conv2 = nn.Conv2d(128, 128, 3, padding=1) self.conv3 = nn.Conv2d(128, out_channels, 3, padding=1) def forward(self, feature_map): x = F.relu(self.conv1(feature_map)) x = F.relu(self.conv2(x)) base = self.conv3(x) # (N, 1, H/8, W/8) return base如果你只想调精度不想调速度，第一个改动就是把这个小网络的卷积从 3 层加到 4~5 层，并保持输出通道为 1。base map 的表达能力上去之后，小物体的召回会有所改善，代价是大概百分之几的额外计算量。
4.4 blender 核心代码
blender 是整个方法里我最喜欢的一段代码，因为真正的核心逻辑只有几行：
class Blender(nn.Module): def __init__(self, out_size=28): super().__init__() self.out_size = out_size def forward(self, att_maps, coeffs, base_maps, boxes): # 1. 线性加权：用系数把 attention map 合成一张 att = torch.einsum("nc,nchw->nhw", coeffs, att_maps) att = att[:, None] # (N, 1, 7, 7) # 2. 上采样到 base 尺寸 att = F.interpolate( att, size=(self.out_size, self.out_size), mode="bilinear", align_corners=False ) # (N, 1, 28, 28) # 3. 从 base map 中抠出每个 RoI 对应区域 base_crop = roi_align(base_maps, boxes, self.out_size) # (N, 1, 28, 28) # 4. 逐元素相乘 masks = att * base_crop return maskstorch.einsum("nc,nchw->nhw", coeffs, att_maps)这行要稍微解释一下：它把系数向量和 attention map 张量沿着 channel 维做加权求和，一步完成"8 张 map 和 8 个系数"的组合。einsum 的好处是语义清晰、自动处理维度的对应关系，实测速度也不差。
上采样选的是bilinear而不是nearest，因为 7×7 到 28×28 是 4 倍放大，如果用最近邻，mask 边缘会出现明显的方块锯齿，最终 mask 的视觉效果会差很多。对齐参数align_corners=False是 PyTorch 的推荐设置，能避免角点对齐导致的位置偏移。
4.5 推理流程的两个注意点
训练流程看得差不多了，再补充两个推理时会遇到的细节。
第一个是框的筛选方式。BlendMask 沿用了 FCOS 的推理逻辑：先按分类分数阈值（默认 0.05）过滤候选框，然后做 NMS，NMS 之后保留 top 分数的一批框进入 mask 分支。这里和 Mask R-CNN 的区别是，mask 分支不参与 NMS 打分，所以如果你发现检测框质量很高但 mask 匹配不上，多半是 NMS 阈值设得太紧，把一些检测分数低但分割得好的实例提前干掉了。
第二个是 mask 的坐标还原。blender 输出的 mask 是在 base map 坐标空间里的固定尺寸结果，要可视化或计算评测指标，需要用它对应的 RoI 在原图中的位置把它 resize 回原图尺度。这个 resize 通常也走双线性插值，不做任何额外后处理。想提升边缘质量的话，可以在这里接一个轻量的 CRF 或升采样网络，但那已经超出 BlendMask 本身的范畴了。
5. 复现实验与踩坑记录
5.1 环境与依赖：deformable conv 是第一个坑
BlendMask 的官方实现是建立在某个基于 detectron2 的研究框架里的，依赖项不算多，但可变形卷积的 CUDA 算子编译是绕不开的一关。
我当时的编译环境是 CUDA 11.1 + PyTorch 1.7，遇到的最典型报错是：
RuntimeError: The detected version of PyTorch (1.7.0) does not match ... error: unrecognized command line option "-arch=sm_70"前一个报错多半是环境里有多个 PyTorch 版本残留，把虚拟环境清干净重装一遍就好。第二个报错更常见，是 GPU 算力列表没有指定，编译时找不到合适的架构。解决方案很粗暴：
export TORCH_CUDA_ARCH_LIST="7.0;7.5;8.0" python setup.py build develop不同显卡对应的算力值不一样，V100 是 7.0，2080Ti 是 7.5，A100 是 8.0。如果你用的是 30 系以后的新卡，记得把 8.6 或 9.0 也加进去，否则要么编译失败，要么编译出来的 kernel 在运行时报"no kernel image is available"。
5.2 训练过程中的损失曲线观察
我复现时用的数据规模不大，主要是想验证方法本身有没有被理解偏，所以在一个小型实例分割数据集上训练了 5 万迭代左右。记录下几个有代表性的现象：
训练初期，检测分支的 loss 下降速度明显快于 mask 分支。这符合预期，因为检测任务更简单，监督信号也更直接。mask 分支里，base map 的 loss 最先进入平台期，attention 分支的 loss 随后也稳定下来，最终 mask 的 loss 反而是最后收敛的。这说明 blender 确实把两个分支的信息"粘"在了一起，最终输出才会持续改善。
我还试过把 mask 损失权重从 1.0 调到 2.0，结果并不理想。mask 权重过高导致检测头被边缘化，框的回归精度下降，反而拖累了 mask 的 ROI 对齐质量。这个现象提醒我：BlendMask 的最终精度对检测框质量的依赖远超直觉，调参时不要只盯着 mask 那一侧。
5.3 小 batch 训练时 BN 的问题
单机 4 卡、每卡 batch=1 的情况下，BN 统计量会非常不稳定。我遇到过一次有趣的情况：训练 loss 曲线很漂亮，但验证集 mask AP 始终在低位徘徊。排查了半天，问题出在 BatchNorm 的 running mean 和 running variance 漂移上。
解决办法有两条路：一是换用 SyncBN，让多卡联合计算 BN 统计量；二是直接冻结 backbone 里所有 BN 层的参数更新，只让后面的 FPN 和 mask 分支保持 BN 更新。我个人推荐第二种，因为会引入的额外代码最少，且收敛稳定性更好。代价是 backbone 的表达能力被限制了一部分，但如果你的训练数据本身不大，这个损失基本可以忽略。
5.4 推理速度与显存开销的实测记录
在单张 V100 上，我用 ResNet-50 + FPN 的配置实测过完整的推理链路，输入分辨率按短边 800、长边 1333 计，大概能跑到每秒 19~22 帧，这包括了 NMS 和 mask resize 的后处理开销。相比同配置下的 Mask R-CNN，大概有 1.5 到 2 倍的速度优势，而 mask AP 在同等训练迭代下基本持平甚至略高一点。
显存方面，BlendMask 因为 mask 头没有逐实例的大卷积，显存占用比 Mask R-CNN 要低一些，batch=1 推理时大约省下 1 到 2 GB。如果你用混合精度训练，节省会更明显，亲测 AMP 开启后训练显存下降 20%~30%，mask AP 几乎不受影响。
5.5 影响精度的隐藏开关
除了 base map 的 stride 选择，还有两个隐藏开关值得留意。
第一个是训练时的 GT mask 坐标处理。BlendMask 的监督目标需要把 GT mask 从原图坐标映射到 RoI 坐标。如果这里直接采用"整图裁出 RoI 再 resize"的做法，位置误差会被放大；更稳妥的做法是先把 GT mask 通过 RoIAlign 相同的变换逻辑采样到目标尺寸，保证训练和推理的坐标系完全一致。我自己一开始图省事用了前者，mask AP 掉了接近 1 个点。
第二个是推理时的 mask 阈值。默认的 mask 二值化阈值是 0.5，但在小目标多的场景里，0.5 会把很多置信度在 0.4~0.5 之间的前景都过滤掉。可以针对自己的验证集做一个简单的阈值扫描，有时候把阈值降到 0.35 能让小物体的 recall 明显上升，代价是 precision 轻微下降。这种工程性的微调往往比换模型收益来得更快。
6. BlendMask思路的后续影响与适用场景
6.1 为什么说这个思路后劲足
复盘整个方法，我觉得 BlendMask 最大的贡献不是某个惊艳的模块，而是确立了一种"实例级稀疏信息 + 语义级稠密信息 + 可微融合"的范式。这个范式后来在很多视觉任务里都能看到影子：全景分割里用实例 query 结合语义 logits，视频分割里用 attention 聚合时序特征，边缘检测里用全局先验加局部细化。理解 BlendMask 之后，再看这些工作会觉得很多设计都是熟悉的。
从训练角度讲，这种拆分解也更好优化。直接回归一张 RoI mask，网络必须同时学会"实例在哪里"和"边缘长什么样"；而 BlendMask 把这两个问题拆给两个分支，每个分支的任务都足够简单，更容易收敛，也更容易针对性地加改进。
6.2 工程落地建议
如果你的项目需要实时实例分割，我建议直接拿 BlendMask 当起点，按自己的场景做三件小事：
第一，根据目标尺度调整 base map 的 stride。检测小目标就坚持 stride 8，检测大目标且对速度要求高可以放宽到 stride 16。
第二，把 attention 的分辨率从 7×7 提升到 14×14，同时把 C_a 从 8 提到 16。这个改动只影响 attention 分支，不影响 bottom 分支和检测头，实测 mask AP 有稳定提升，代价是推理变慢 5% 左右，显存变多 10% 左右。
第三，打开混合精度训练，并把推理时的 mask 阈值放到验证集上重新扫一遍。这两步基本不花人力成本，但能在不掉精度的情况下明显改善速度。
6.3 什么时候别选 BlendMask
话说回来，BlendMask 也不是万能的。如果你的核心痛点是 mask 边缘的精细度，比如医学影像里的组织轮廓分割，那 1/8 stride 的 base map 本身就是一个瓶颈，再好的融合逻辑也变不出高分辨率信息。这种场景更适合带边界监督的 refine 结构，或者直接上 transformer 类的 mask 解码器。
另外，如果目标本身非常小，比如遥感图像里的车辆和船只，1/8 stride 甚至 1/4 stride 都可能不够。这种场景需要的是更高分辨率的输入和多尺度特征的强融合，BlendMask 的 bottom 分支需要相应扩展，否则小目标的 mask 会糊成一片。
最后说一点个人体会。BlendMask 在 2020 年那批实例分割工作里算是非常"克制"的一个：没有堆模块，没有炫技，结构简单到可以在半天内复现清楚。但也正是因为简单，它的每个设计决策都经得起推敲，值得一记。如果你正打算深入了解实例分割的模块化设计，建议把 BlendMask 的源码一行一行读一遍，再动手改其中一个分支试试效果，收获会比单纯跑通官方代码大得多。
