1. 舌象分割任务的整体设计与方案选型
舌象分割这件事，说白了就是把一张舌诊照片里的舌头区域从背景（嘴唇、牙齿、皮肤、反光板、拍摄台面）里干净利落地抠出来。听起来像普通的语义分割，但真正做过的人都知道，舌象的边界比一般医学影像更"暧昧"：舌体与唇部颜色接近、舌尖与下唇经常粘连、舌苔反光会造成局部高亮、不同拍摄设备白平衡差异巨大。这些因素叠加在一起，使得一个直接拿 COCO 预训练权重跑起来的通用分割模型，往往在舌侧缘和舌尖处出现明显的溢出或欠分割。
我最初也是从标准 DeepLabv3 起步的。选它的理由很直接：ASPP 多尺度空洞卷积对舌体这种"大目标但边界不规则"的对象比较友好，编码器-解码器结构成熟，社区实现多，改起来方便。但跑完第一版 baseline 之后，mIoU 卡在 0.87 左右上不去，可视化一看问题集中在三个地方：舌尖与下唇的粘连、舌侧缘的锯齿、以及舌苔高光区域的孔洞。这三个问题基本决定了后续所有改进的方向。
所以这套方案的整体思路可以概括为：保留 DeepLabv3 的 ASPP 主干作为多尺度特征提取器，在解码端做轻量化重构，在损失函数上针对边界做加权，在数据侧针对舌象特性做定向增强。我没有推翻重来去上 Transformer 分割头，原因很现实——舌象数据集规模通常不大（我手上这份标注数据约 1200 张），Transformer 类模型在小数据上容易过拟合，而且推理成本对后续要部署到边缘设备不友好。DeepLabv3 的归纳偏置在这个数据量级下反而更稳。
方案选型的几个关键取舍，我列个表说清楚：
| 方案 | 优势 | 劣势 | 是否采用 |
|---|---|---|---|
| 标准 DeepLabv3（ResNet50） | 成熟稳定，多尺度强 | 边界粗糙，小数据易过拟合 | 作为 baseline |
| DeepLabv3 + 更强 backbone | 特征表达更强 | 参数量大，小数据收益有限 | 否 |
| Transformer 分割头 | 全局建模强 | 数据需求大，部署重 | 否 |
| DeepLabv3 + 轻量解码 + 边界损失 | 边界改善明显，成本可控 | 需调损失权重 | 采用 |
| 传统阈值 + 形态学 | 无需训练 | 泛化差，光照敏感 | 仅作预处理辅助 |
这个取舍背后的逻辑是：舌象分割的瓶颈不在"语义理解"（舌头是什么类别很清楚），而在"边界精度"和"数据分布差异"。所以把钱花在解码端和损失函数上，比堆 backbone 更划算。这也是我踩过坑之后的结论——一开始我试过换更大的 backbone，mIoU 只涨了 0.4 个点，但推理时间翻倍，完全不值。
2. 核心改进点的原理拆解与实操要点
2.1 解码端轻量化重构：为什么砍掉冗余上采样
标准 DeepLabv3 的解码部分其实很"薄"——它主要是把 ASPP 输出直接双线性上采样到原图尺寸。这种做法的好处是简单，坏处是低层空间细节没有被有效利用。舌象的边界恰恰依赖低层特征（边缘、纹理），所以我在解码端加了一条低层特征融合支路：从 backbone 的浅层（stride 4 那层）引出一条 1x1 卷积降维到 48 通道，与 ASPP 上采样后的特征拼接，再经过两层 3x3 卷积细化。
这里有个参数选择的细节值得说。低层特征降维到多少通道合适？我试过 32、48、64 三档。32 通道时边界改善不明显，64 通道时参数量增加但收益递减，48 是性价比拐点。这个数字不是拍脑袋，而是参考了经典编解码分割结构里低层支路的常见配置，实测下来在舌象数据上确实 48 最稳。
import torch import torch.nn as nn import torch.nn.functional as F class LiteDecoder(nn.Module): def __init__(self, low_level_ch=256, aspp_ch=256, out_ch=256): super().__init__() # 低层特征降维，48通道是实测拐点 self.low_proj = nn.Sequential( nn.Conv2d(low_level_ch, 48, 1, bias=False), nn.BatchNorm2d(48), nn.ReLU(inplace=True) ) self.fuse = nn.Sequential( nn.Conv2d(aspp_ch + 48, out_ch, 3, padding=1, bias=False), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True), nn.Conv2d(out_ch, out_ch, 3, padding=1, bias=False), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True) ) def forward(self, low_feat, aspp_feat, out_size): low = self.low_proj(low_feat) aspp_up = F.interpolate(aspp_feat, size=low.shape[-2:], mode='bilinear', align_corners=False) x = torch.cat([aspp_up, low], dim=1) x = self.fuse(x) return F.interpolate(x, size=out_size, mode='bilinear', align_corners=False)注意：低层支路一定要接 BatchNorm，否则浅层特征幅值和 ASPP 输出差异大，拼接后训练初期 loss 会剧烈震荡。我第一次没加 BN，前 200 个 iteration loss 直接从 0.6 跳到 1.8，排查了半天才定位到这个问题。
2.2 边界加权损失：让模型"盯着边缘学"
舌象分割的像素类别极度不平衡——舌体像素通常占全图 40% 到 60%，背景占大头，而真正难的边界像素可能只占 2% 到 3%。标准交叉熵在这种分布下会"偷懒"，把边界像素当背景预测，因为这样整体 loss 更低。解决办法是给边界像素加权。
我的做法是：先用标注 mask 做形态学膨胀和腐蚀，两者相减得到边界带（宽度约 5 像素），生成一张边界权重图，边界处权重设为 5，其余为 1。然后把这个权重图乘进交叉熵。权重 5 这个值也是调出来的——设 3 时边界改善有限，设 8 时边界变好但内部出现空洞，5 是平衡点。
def boundary_weighted_ce(pred, target, weight_map): # pred: [B, C, H, W] logits # target: [B, H, W] long # weight_map: [B, H, W] float ce = F.cross_entropy(pred, target, reduction='none') return (ce * weight_map).mean()配合这个损失，我还加了一个 Dice loss 做辅助，两者按 1:1 加权。Dice 对区域重叠敏感，能压住内部空洞；边界加权 CE 管边缘。这个组合在舌苔高光区域的效果特别明显——单用 CE 时高光处经常被误判为背景，加了 Dice 之后孔洞基本消失。
2.3 针对舌象特性的数据增强策略
通用增强（随机翻转、旋转、缩放）当然要用，但舌象有几个特殊问题需要定向处理。第一是白平衡差异，不同设备拍出来的舌头偏黄偏红差别很大，我用随机色温扰动来模拟，色温偏移范围控制在 ±15% 以内，太大反而破坏舌色语义。第二是反光高光，我用随机亮度斑块叠加来模拟舌苔反光，斑块用高斯核生成，强度随机。第三是唇舌粘连，这个没法靠增强解决，只能靠边界损失和足够的困难样本。
这里有个经验：不要用 CutMix 或 Mosaic 这类强混合增强。舌象是单一主体目标，混合两张图会产生"两个舌头"的伪样本，模型学到的边界反而更乱。我试过 Mosaic，mIoU 掉了 1.2 个点，果断弃用。数据增强的原则是"模拟真实拍摄变化"，而不是"制造新场景"。
3. 完整实操流程与关键环节实现
3.1 数据准备与标注规范
数据这块我得多说几句，因为很多复现失败的人问题都出在标注上。舌象标注的边界定义必须统一：舌体与唇部交界处，以颜色过渡的中线为准；舌尖被牙齿遮挡的部分，按可见轮廓延伸补全；舌侧缘与面颊阴影交界，以舌体纹理消失处为界。这三条规则如果不统一，不同标注者标出来的 mask 能差出 10 个像素，模型根本学不明白。
我的数据组织方式是标准的语义分割目录结构，图像和 mask 一一对应，mask 用单通道 PNG，像素值 0 为背景、1 为舌体。划分比例 8:1:1，但要注意按拍摄批次划分而不是随机划分——同一批次（同设备、同光照）的图如果同时出现在训练和验证集，验证指标会虚高。我第一版就是随机划分，验证集 mIoU 0.91，换一批新数据实测只有 0.83，差距全在分布偏移上。
3.2 训练配置与参数计算
训练配置直接给可复现的一套：
| 参数 | 取值 | 说明 |
|---|---|---|
| 输入尺寸 | 513×513 | 兼顾细节与显存 |
| batch size | 8 | 单卡 16G 显存实测上限 |
| 初始学习率 | 0.007 | poly 衰减策略 |
| 优化器 | SGD momentum 0.9 | 分割任务经典配置 |
| 迭代次数 | 30k | 约 40 个 epoch |
| 权重衰减 | 1e-4 | 防过拟合 |
| 低层支路通道 | 48 | 实测拐点 |
| 边界损失权重 | 5 | 平衡点 |
学习率用 poly 衰减：lr = base_lr * (1 - iter/max_iter)^0.9。为什么用 poly 而不是 cosine？因为分割任务后期需要稳定的小学习率精修边界，poly 的尾部衰减更平缓，实测比 cosine 收敛更稳。初始学习率 0.007 是 batch size 8 下的经验值，如果你显存大能上 batch 16，可以按线性缩放调到 0.014 左右。
输入尺寸 513 这个数字不是随便定的——它是 DeepLab 系列常用的奇数尺寸，保证多次下采样后特征图尺寸对齐，避免 padding 引入的边界伪影。如果你数据分辨率很高，可以适当放大到 769，但显存要跟上。
3.3 训练过程监控与现场记录
训练时我重点盯三个指标：总 loss、边界区域单独统计的 IoU、以及验证集可视化。总 loss 看整体收敛，边界 IoU 看改进是否生效，可视化看有没有系统性错误。实测下来，前 5k iteration loss 从 0.62 降到 0.21，边界 IoU 从 0.71 爬到 0.84；5k 到 20k 是缓慢精修期，边界 IoU 到 0.89；20k 之后基本平台，再训收益很小。
有个现象值得记录：边界损失权重设 5 时，训练前 2k iteration 边界 IoU 反而比不加权时低。这是因为模型初期还在学整体区域，边界加权会干扰它建立基础语义。我的处理是前 2k iteration 把边界权重从 1 线性升到 5，也就是 warmup 一下，之后曲线就正常了。这个细节文档里不会写，但不做的话初期指标很难看，容易误判方案失败。
推理阶段，输出 logits 取 argmax 得到 mask，再做一次小核形态学开运算去掉零星噪点。开运算核大小 3×3 足够，太大反而啃掉舌尖的细尖。
4. 常见问题排查与避坑实录
4.1 典型问题速查表
| 现象 | 可能原因 | 排查与解决 |
|---|---|---|
| 舌尖与下唇粘连 | 边界特征不足 | 加低层支路，提高边界损失权重 |
| 舌苔高光处孔洞 | 类别不平衡 + 高光误判 | 加 Dice loss，增强高光模拟 |
| 验证集虚高、实测掉点 | 数据划分未按批次 | 按拍摄批次划分数据集 |
| 训练初期 loss 震荡 | 低层支路缺 BN | 补 BatchNorm |
| 边界锯齿明显 | 上采样方式粗糙 | 解码端加 3x3 卷积细化 |
| 侧缘溢出到面颊 | 颜色混淆 | 色温扰动增强 + 边界加权 |
| 推理速度慢 | backbone 过重 | 换轻量 backbone 或降输入尺寸 |
4.2 几个踩过的坑与独家技巧
第一个坑是过度依赖预训练权重。我一开始冻结 backbone 前几层训练，结果舌象的低层纹理（舌乳头、裂纹）和自然图像差异很大，冻结层学不到这些特征。后来改成全部解冻、小学习率微调，效果明显更好。结论是：医学类细粒度分割，预训练权重只用来初始化，不要冻结。
第二个坑是验证指标选错。我最初只看 mIoU，但 mIoU 对边界不敏感——边界错几个像素，mIoU 几乎不动。后来我加了 Boundary IoU（在边界带内单独算 IoU），这个指标才真正反映改进效果。建议做边界相关任务的人一定要加边界指标，否则优化方向会跑偏。
第三个技巧是困难样本挖掘。训练到中期，我把验证集里边界 IoU 最低的 50 张图挑出来，人工检查发现大部分是唇舌颜色极近的样本。我把这些样本复制加权进训练集（重复采样 2 到 3 次），边界 IoU 又涨了 1.5 个点。这个操作成本很低，但收益很直接。
第四个提醒是推理后处理别过度。我试过用 CRF 做后处理精修边界，效果确实有，但推理时间增加 3 倍，而且对高光区域偶尔会"修过头"。最终我放弃了 CRF，只保留形态学开运算。工程上，能靠模型解决的别堆后处理，后处理是双刃剑。
4.3 部署侧的一个实际考量
这套模型最终要跑在什么设备上，直接决定你的输入尺寸和 backbone 选择。我这份方案在单张中端显卡上推理单张 513 输入约 18ms，如果换成移动端，建议把 backbone 换成轻量版本、输入降到 321，精度损失约 1 个点但速度能到 8ms 以内。舌象分割对实时性要求不高（通常是一次性分析），所以精度优先是合理的；但如果是视频流场景，就得重新权衡。
我个人在实际操作中的体会是，舌象分割这类任务，改进的收益 70% 来自数据和损失设计，30% 才来自网络结构。我见过不少人一上来就换各种新 backbone，结果数据划分没做对、边界损失没加，指标怎么调都上不去。先把标注规范统一、按批次划分数据、把边界加权损失加上，这三件事做完，标准 DeepLabv3 就能到 0.89 以上，剩下的才是结构微调的事。这套方案后续还可以往两个方向扩展：一是引入舌体关键点做辅助监督，用关键点约束边界形状；二是做半监督，用少量标注加大量无标注数据，缓解标注成本问题。这两个方向我都在试，有稳定结论再另开一篇聊。
