半监督学习实战：基于一致性正则化的图像分类-平芜编程栈

1. 项目概述：半监督学习入门实战

半监督学习是机器学习领域一个极具实用价值的分支，它巧妙结合了少量标注数据和大量未标注数据来训练模型。在实际项目中，我们常常遇到标注成本高昂但未标注数据充足的情况——比如医疗影像分析中专家标注耗时费力，或电商场景下商品图片海量但打标人手有限。这时，半监督学习就能发挥独特优势。

这个案例将带大家用Python实现一个基于一致性正则化的半监督图像分类模型。我们会使用经典的CIFAR-10数据集，但只标注其中10%的样本（即每类500张图中仅标注50张），其余90%作为未标注数据。通过这种设置，你能清晰看到半监督学习如何利用未标注数据提升模型性能。

2. 核心原理与技术选型

2.1 为什么选择一致性正则化

一致性正则化（Consistency Regularization）是当前半监督学习的主流范式，其核心思想是：对同一张图片施加不同的数据增强（如旋转、裁剪、颜色抖动），模型应该给出相似的预测结果。这种"扰动不变性"的约束能迫使模型学习到更鲁棒的特征表示。

具体到实现，我们选择Mean Teacher框架——它由学生模型和教师模型组成。学生模型通过常规梯度下降更新参数，教师模型则是学生模型的滑动平均（EMA）。教师模型生成的"软标签"（soft labels）作为未标注数据的监督信号，比硬标签（hard labels）包含更丰富的类别关系信息。

2.2 数据增强策略设计

有效的增强策略是成功的关键。我们采用以下组合：

随机水平翻转（概率50%）
随机裁剪（32x32像素，边缘填充4像素）
颜色抖动（亮度/对比度/饱和度各调整0.1）
高斯噪声（σ=0.1）

注意：增强强度需要平衡。过弱会导致一致性约束失效，过强则可能破坏图像语义。建议先在监督学习中测试增强效果。

3. 完整实现步骤

3.1 环境配置与数据准备

# 基础环境 pip install torch torchvision pip install numpy tqdm # 数据加载 from torchvision.datasets import CIFAR10 from torch.utils.data import Subset # 创建标注/未标注数据集 def split_dataset(dataset, labeled_ratio=0.1): indices = list(range(len(dataset))) np.random.shuffle(indices) split = int(labeled_ratio * len(dataset)) return Subset(dataset, indices[:split]), Subset(dataset, indices[split:])

3.2 模型架构实现

我们使用宽残差网络（WideResNet-28-2）作为基础架构，相比标准ResNet更适合半监督场景：

import torch.nn as nn import torch.nn.functional as F class WideResNet(nn.Module): def __init__(self, num_classes=10): super().__init__() # 定义卷积块（实际实现需完整展开） self.conv1 = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) self.block1 = self._make_layer(16, 32, stride=1) # ... 其他层定义 def _make_layer(self, in_channels, out_channels, stride): return nn.Sequential( nn.BatchNorm2d(in_channels), nn.ReLU(), nn.Conv2d(in_channels, out_channels, 3, stride=stride, padding=1), # ... 更多层 ) def forward(self, x): # 前向传播逻辑 return x

3.3 训练流程关键代码

# Mean Teacher核心逻辑 for epoch in range(epochs): for (x_l, y_l), x_u in zip(labeled_loader, unlabeled_loader): # 标注数据计算交叉熵损失 logits = student_model(x_l) sup_loss = F.cross_entropy(logits, y_l) # 未标注数据计算一致性损失 with torch.no_grad(): teacher_logits = teacher_model(x_u) # 对未标注数据做强增强 x_u_aug = strong_augment(x_u) student_logits = student_model(x_u_aug) cons_loss = F.mse_loss(student_logits, teacher_logits) # 组合损失 loss = sup_loss + 50 * cons_loss # 一致性损失权重需调优 # 更新学生模型 optimizer.zero_grad() loss.backward() optimizer.step() # EMA更新教师模型 update_teacher(teacher_model, student_model, alpha=0.999)

4. 调优技巧与问题排查

4.1 超参数设置经验

参数	推荐值	作用说明
一致性权重	50-100	平衡监督信号与一致性约束
EMA衰减率(α)	0.999	控制教师模型更新速度
学习率	3e-4	使用Adam优化器时的基准值
标注比例	5%-20%	实际效果与数据复杂度相关