BnBERT+iPET：彩票假设剪枝与Few-Shot微调实现低资源孟加拉语文本分类

如果你正在做孟加拉语（Bengali）方向的自然语言处理任务，又受限于标注数据不足、GPU 资源紧张，那么“稀疏化 + Few-Shot 微调”这条路一定值得了解一下。本文将围绕BnBERT-iPET这个思路展开，讲清楚如何用 Lottery Ticket Pruning（彩票假设剪枝）把庞大的 BERT 模型变“瘦”，再结合 iPET 的迭代式伪标注机制，在极少量标注样本下完成文本分类等任务。

文中的核心概念、完整代码、训练流程和排错思路都会逐步展开。无论你是刚开始接触低资源语言建模的初学者，还是在企业项目里做小样本分类落地的工程师，这篇文章都能提供一个可操作的基线方案。

1. 背景与核心概念

1.1 低资源语言建模的困境

与英文、中文等“高资源语言”相比，孟加拉语（Bengali）的 NLP 生态差距非常大。虽然孟加拉语在全球拥有数亿使用者，但公开可用的高质量标注数据集非常有限。很多业务场景里，标注一批数据要么成本高，要么需要领域专家参与。Few-Shot Learning 因此变得很有吸引力：我们希望只给模型几十条或几百条标注样本，模型就能学到可用的分类能力。

但这里有一个绕不开的矛盾：预训练语言模型（如 BERT）参数量巨大，动辄上千万甚至上亿。在几百条样本上直接微调，很容易过拟合，而且训练和推理的算力成本也不小。于是“减少参数量 + 有效利用无标注数据”就成了低资源场景下的两条核心策略。

1.2 什么是 BnBERT

BnBERT 可以理解为“面向孟加拉语的 BERT 系列预训练模型”。在真实项目中，通常指 BanglaBERT、BN-BERT 以及基于多语言 BERT（如 mBERT、XLM-R）的孟加拉语适配版本。这类模型用孟加拉语大规模文本做了 Masked Language Modeling 预训练，因此对孟加拉语的字符、词形变化、语法结构有更好的建模能力。

与直接使用多语言 BERT 相比，BnBERT 在孟加拉语下游任务上通常能带来明显提升。本文以“BnBERT”作为模型抽象名，实际代码中你可以替换成任意支持 Hugging Face Transformers 的孟加拉语预训练模型。

1.3 iPET 的核心思想

iPET（Iterative Prompt-based fine-Tuning）来自论文It's not just size that matters: Small Language Models are also Few-Shot Learners。它解决的核心问题是：标注样本太少，模型难以训练。

iPET 的思路很直接：先用少量标注样本训练一个“弱模型”，再用这个模型去给大量无标注数据打伪标签（Pseudo Label）。然后从伪标签数据里挑出模型“最有把握”的样本，加入到训练集中，重复训练、预测、筛选、扩增这个过程。每一轮迭代后，训练集不断变大，模型能力也逐步增强。

概括来说，iPET = 多次迭代 + 置信度筛选 + 训练集扩张。它特别适合标注数据稀缺、但存在大量无标注文本的场景。

1.4 Lottery Ticket Hypothesis 与稀疏化

Lottery Ticket Hypothesis（彩票假设）是 2019 年提出的一种神经网络剪枝理论。它指出：在一个随机初始化的网络中，存在一部分“中奖彩票”（Winning Tickets）子网络。如果单独训练这个子网络，它有望达到甚至超过原始完整网络的性能。

传统剪枝流程通常包括：

1. 训练完整网络。
2. 按某种重要性准则（比如权重绝对值大小）剪掉不重要的连接。
3. 将剩余网络重置为初始状态或早期训练状态（Rewinding）。
4. 继续训练这个稀疏网络。

在 Few-Shot 场景中，Lottery Ticket 的意义更加特殊：我们不仅要追求模型更小，更希望子网络本身具备更强的泛化能力。稀疏结构本身可以看作一种正则化，能在数据极端有限的情况下抑制过拟合。

1.5 本文的核心内容范围

本篇文章会围绕以下内容展开：

• 如何在 Hugging Face Transformers 框架下加载 BnBERT。
• 如何实现简化版 Lottery Ticket Pruning，生成稀疏掩码（Mask）。
• 如何实现 iPET 风格的迭代式伪标注训练。
• 如何将两者结合，在极少量标注数据上完成文本分类实验。
• 常见问题、实验观察与工程建议。

2. 环境准备与版本说明

2.1 推荐运行环境

在开始之前，先说明一下推荐环境。不同机器的 CUDA、显卡驱动、Python 版本都有差异，本文以常见稳定版本为例，重点演示配置思路，具体版本需要根据你的项目实际情况调整。

操作系统：Ubuntu 20.04 / 22.04 或 Windows with WSL2 Python：3.8 或 3.9 CUDA：11.x 或 12.x GPU：建议显存 8GB 以上

2.2 依赖库安装

本文代码主要基于 PyTorch 和 Hugging Face Transformers。建议新建虚拟环境后安装依赖：

python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets accelerate scikit-learn

版本的说明：PyTorch 建议使用 1.13 及以上版本，Transformers 建议使用 4.x 较新版本。如果你的项目已经有固定版本环境，并不需要完全照搬本文版本，关键是要保证transformers的接口形式和本文示例一致。

2.3 示例项目结构

为了让代码更清晰，建议使用下面的项目结构：

bnbert_ipet/ ├── data/ │ ├── train.csv │ ├── unlabeled.csv │ └── test.csv ├── src/ │ ├── data_utils.py │ ├── lth.py │ ├── ipet.py │ └── train.py └── outputs/

在下文实战中，我会按照这个结构逐步给出代码片段。如果你的任务不是文本分类而是序列标注、句子对匹配，核心思路仍然一致，只需调整数据加载和输出层。

3. 核心方法拆解

3.1 Lottery Ticket Pruning 的简化流程

在 Hugging Face Transformers 中，BERT 模型的参数主要分布在：

• Embedding 层：bert.embeddings.word_embeddings.weight
• 注意力层：bert.encoder.layer[i].attention.self.query.weight、key.weight、value.weight
• 前馈网络层：bert.encoder.layer[i].intermediate.dense.weight、bert.encoder.layer[i].output.dense.weight
• 分类头：classifier.weight

我们可以在这些权重上生成一个二值 Mask：重要位置为 1，不重要位置为 0。每次前向传播时，让权重乘以 Mask，屏蔽掉被剪掉的连接。

Lottery Ticket 的一个关键步骤是 Rewinding。常见做法有两种：

• Weight Rewinding：把权重重置到训练早期的 checkpoint。
• Learning Rate Rewinding：权重不重置，但把学习率调回初始值。

在 Few-Shot 场景下，由于目标任务数据太少，直接从目标任务上寻找 Winning Ticket 不太稳定。更实用的做法是：先在大规模无标注数据或辅助数据上做一轮 Warmup 训练，剪出 Mask，再回到初始权重，在目标 Few-Shot 数据上微调。

3.2 iPET 的迭代机制

iPET 的基本流程可以拆解为以下几步：

1. 初始训练：用少量标注数据训练一个初始模型 M0。
2. 伪标注：用 M0 对无标注数据池进行预测，得到伪标签。
3. 置信度筛选：只保留概率超过阈值 τ 的样本，或者按概率排序取 Top N。
4. 合并扩增：将筛选出的伪标注数据与原始标注数据合并。
5. 重新训练：用扩增后的训练集训练新模型 M1。
6. 迭代：重复第 2 到第 5 步若干轮。

需要说明的是，iPET 原论文中会训练多个模型做集成，以降低伪标签噪声。本文为了简化，先实现单模型版本，并预留多模型扩展接口。

3.3 为什么稀疏化能与 iPET 互补

iPET 的副作用是：训练集会持续变大，模型在更多伪标注数据上迭代，计算开销也随之上升。如果模型本身是稠密的，每轮训练都很昂贵。通过 Lottery Ticket Pruning 得到一个稀疏子网络后，实际参与计算的参数量大幅减少，训练和推理速度都有提升。

另一方面，稀疏 Mask 的固定结构相当于一种“先验约束”，能削弱模型对少数标注样本的过度记忆。两者结合，在数据有限、算力有限的条件下，是一个很务实的组合。

4. 完整实战：BnBERT + Lottery Ticket + iPET

下面我们进入代码实现环节。为保证大家能看懂每一步，我会先把核心模块拆分讲解，最后再组合成完整训练流程。

4.1 数据准备：构造 Few-Shot 样本

首先假设我们有一个孟加拉语文本分类数据集，CSV 格式大致如下：

text,label আমার সোনার বাংলা আমি তোমায় ভালোবাসি,0 বাংলাদেশ একটি সুন্দর দেশ,1 ...

其中text是孟加拉语文本，label是类别编号。为了方便演示，我们实现一个从 CSV 读取数据并生成 PyTorch DataLoader 的工具。

# 文件路径：src/data_utils.py import pandas as pd from torch.utils.data import Dataset from transformers import AutoTokenizer class BengaliTextDataset(Dataset): def __init__(self, df, tokenizer, max_len=128): self.df = df.reset_index(drop=True) self.tokenizer = tokenizer self.max_len = max_len def __len__(self): return len(self.df) def __getitem__(self, idx): row = self.df.iloc[idx] text = str(row["text"]) label = int(row["label"]) encoding = self.tokenizer( text, truncation=True, padding="max_length", max_length=self.max_len, return_tensors="pt" ) return { "input_ids": encoding["input_ids"].squeeze(0), "attention_mask": encoding["attention_mask"].squeeze(0), "labels": torch.tensor(label, dtype=torch.long) } def load_data(csv_path, tokenizer, max_len=128, sample_size=None): df = pd.read_csv(csv_path) if sample_size is not None: df = df.sample(n=sample_size, random_state=42) dataset = BengaliTextDataset(df, tokenizer, max_len) return dataset

这里使用AutoTokenizer.from_pretrained("csebuetnlp/banglabert")即可加载对应的孟加拉语 BERT 分词器。如果你的模型不是 BanglaBERT，请替换为对应模型名称。

4.2 加载 BnBERT 预训练模型

接下来加载模型。以 BanglaBERT 为例，我们使用BertForSequenceClassification。

# 文件路径：src/train.py（部分） from transformers import AutoTokenizer, BertForSequenceClassification MODEL_NAME = "csebuetnlp/banglabert" NUM_LABELS = 2 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) model = BertForSequenceClassification.from_pretrained( MODEL_NAME, num_labels=NUM_LABELS )

如果你使用的是其他 BnBERT 变体，也可以先尝试用AutoModelForSequenceClassification.from_pretrained自动适配。

4.3 实现 Lottery Ticket Mask

Lottery Ticket Pruning 的核心是 Mask 的生成和应用。我们定义一个工具类LotteryTicketPruner，主要完成三件事：

1. 根据模型参数幅度生成 Mask。
2. 将 Mask 应用到模型参数上（前向传播时原位乘上 Mask）。
3. 支持恢复初始权重。

# 文件路径：src/lth.py import torch class LotteryTicketPruner: def __init__(self, model): self.model = model self.masks = {} self.init_weights = {} def save_init_weights(self): """保存模型初始权重，用于 Rewinding 时恢复。""" for name, param in self.model.named_parameters(): if param.requires_grad: self.init_weights[name] = param.data.clone() def compute_mask(self, sparsity_ratio=0.7): """ 根据权重绝对值大小生成二值 Mask。 sparsity_ratio: 剪枝比例，例如 0.7 表示剪掉 70% 的连接。 """ self.masks = {} for name, param in self.model.named_parameters(): if param.requires_grad: weight = param.data.view(-1) k = int(weight.numel() * (1 - sparsity_ratio)) if k < 1: k = 1 # 选取绝对值最大的 k 个位置作为保留连接 threshold = torch.topk(weight.abs(), k).values[-1] mask = (param.data.abs() >= threshold).float() self.masks[name] = mask def apply_mask(self): """把 Mask 应用到模型参数上，被剪掉的连接直接置零。""" with torch.no_grad(): for name, param in self.model.named_parameters(): if name in self.masks: param.data.mul_(self.masks[name]) def rewind_weights(self): """将模型权重恢复到初始状态。在 Rewinding 中使用。""" with torch.no_grad(): for name, param in self.model.named_parameters(): if name in self.init_weights: param.data.copy_(self.init_weights[name])

需要强调一点：这里只做了“权重置零”的稀疏化。实际训练中，如果优化器（如 Adam）里维护了动量、方差等状态，也应该在 Rewinding 时同步重置，否则会影响训练效果。本文为了突出核心逻辑，没有展开这一步，你在工程落地时需要加上。

4.4 实现 iPET 伪标注与训练集扩增

iPET 部分的核心是“训练模型 -> 预测无标注数据 -> 筛选置信样本 -> 扩增训练集”。我们用一个函数来完成单轮扩增逻辑。

# 文件路径：src/ipet.py import torch from torch.utils.data import DataLoader from tqdm import tqdm def predict_proba(model, dataloader, device): """返回所有样本的预测概率。""" model.eval() probs = [] with torch.no_grad(): for batch in tqdm(dataloader, desc="Predicting"): input_ids = batch["input_ids"].to(device) attention_mask = batch["attention_mask"].to(device) outputs = model(input_ids, attention_mask=attention_mask) probs_batch = torch.softmax(outputs.logits, dim=-1) probs.append(probs_batch.cpu()) return torch.cat(probs, dim=0) def filter_pseudo_labels(probs, confidence_threshold=0.8, top_n=None): """ 根据置信度筛选伪标注样本。 返回样本索引列表和对应的伪标签。 """ max_probs, preds = probs.max(dim=-1) confident_idx = (max_probs >= confidence_threshold).nonzero(as_tuple=True)[0] if top_n is not None and len(confident_idx) > top_n: sorted_idx = confident_idx[torch.argsort(max_probs[confident_idx], descending=True)] confident_idx = sorted_idx[:top_n] return confident_idx.tolist(), preds[confident_idx].tolist() def extend_train_set(original_df, unlabeled_df, pseudo_idx, pseudo_labels): """ 将筛选出的伪标注样本合并到训练集中。 """ selected_df = unlabeled_df.iloc[pseudo_idx].copy() selected_df["label"] = pseudo_labels new_train_df = pd.concat([original_df, selected_df], ignore_index=True) return new_train_df

这段代码的思路是：先得到模型对无标注数据的预测概率，再按置信度阈值筛选。为了防止某类样本过多，可以按类别分别选取 Top N，这个在真实场景中很重要。

4.5 训练循环与剪枝流程整合

有了上面几个模块，我们可以把它们编排成完整的实验脚本了。下面的代码是按流程组织起来的“骨架”，它会依次执行：

1. 加载数据。
2. 初始化模型与分词器。
3. 先做短期的 Warmup 训练，用于寻找 Lottery Ticket Mask。
4. 保存初始权重。
5. 计算 Mask，应用 Mask，Rewind 权重。
6. 进入 iPET 迭代：每轮训练、伪标注、扩增。

# 文件路径：src/train.py import pandas as pd import torch from torch.utils.data import DataLoader from transformers import AutoTokenizer, BertForSequenceClassification from data_utils import load_data, BengaliTextDataset from lth import LotteryTicketPruner from ipet import predict_proba, filter_pseudo_labels, extend_train_set # 超参数 MODEL_NAME = "csebuetnlp/banglabert" NUM_LABELS = 2 BATCH_SIZE = 16 MAX_LEN = 128 LR = 2e-5 EPOCHS_WARMUP = 5 # 用于寻找 Mask 的 Warmup 轮数 EPOCHS_IPET = 20 # iPET 每轮正式训练轮数 SPARSITY_RATIO = 0.7 # 剪枝比例 CONFIDENCE_THRESHOLD = 0.8 # 伪标签置信度阈值 IPET_ROUNDS = 3 # iPET 迭代轮数 DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 1. 加载数据 train_df = pd.read_csv("data/train.csv") unlabeled_df = pd.read_csv("data/unlabeled.csv") test_df = pd.read_csv("data/test.csv") tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) model = BertForSequenceClassification.from_pretrained(MODEL_NAME, num_labels=NUM_LABELS).to(DEVICE) # 2. 初始化工具 pruner = LotteryTicketPruner(model) optimizer = torch.optim.AdamW(model.parameters(), lr=LR) loss_fn = torch.nn.CrossEntropyLoss() def train_one_epoch(model, dataloader, optimizer, loss_fn, device): model.train() total_loss = 0 for batch in dataloader: input_ids = batch["input_ids"].to(device) attention_mask = batch["attention_mask"].to(device) labels = batch["labels"].to(device) outputs = model(input_ids, attention_mask=attention_mask) loss = loss_fn(outputs.logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() return total_loss / len(dataloader) # 3. Warmup 训练（用少量原始标注数据） train_dataset = load_data("data/train.csv", tokenizer, MAX_LEN) train_loader = DataLoader(train_dataset, batch_size=BATCH_SIZE, shuffle=True) for epoch in range(EPOCHS_WARMUP): loss = train_one_epoch(model, train_loader, optimizer, loss_fn, DEVICE) print(f"Warmup Epoch {epoch+1}/{EPOCHS_WARMUP}, Loss: {loss:.4f}") # 4. 保存初始权重，计算 Mask，应用 Mask 并 Rewind pruner.save_init_weights() pruner.compute_mask(sparsity_ratio=SPARSITY_RATIO) pruner.apply_mask() pruner.rewind_weights() print(f"当前稀疏度: {SPARSITY_RATIO * 100:.1f}% 参数被置零") # 5. iPET 迭代 current_train_df = train_df.copy() for rnd in range(IPET_ROUNDS): print(f"=== iPET Round {rnd + 1} ===") # 从当前训练集构建 DataLoader current_dataset = BengaliTextDataset(current_train_df, tokenizer, MAX_LEN) current_loader = DataLoader(current_dataset, batch_size=BATCH_SIZE, shuffle=True) # 训练模型 for epoch in range(EPOCHS_IPET): loss = train_one_epoch(model, current_loader, optimizer, loss_fn, DEVICE) print(f"Epoch {epoch+1}/{EPOCHS_IPET}, Loss: {loss:.4f}") # 对无标注数据预测 unlabeled_dataset = BengaliTextDataset(unlabeled_df, tokenizer, MAX_LEN) unlabeled_loader = DataLoader(unlabeled_dataset, batch_size=BATCH_SIZE, shuffle=False) probs = predict_proba(model, unlabeled_loader, DEVICE) # 筛选伪标签 pseudo_idx, pseudo_labels = filter_pseudo_labels( probs, confidence_threshold=CONFIDENCE_THRESHOLD, top_n=200 ) if len(pseudo_idx) == 0: print("没有足够置信的伪标签样本，提前停止。") break # 扩增训练集 current_train_df = extend_train_set( current_train_df, unlabeled_df, pseudo_idx, pseudo_labels ) print(f"当前训练集大小: {len(current_train_df)}") # 6. 在测试集上评估 test_dataset = BengaliTextDataset(test_df, tokenizer, MAX_LEN) test_loader = DataLoader(test_dataset, batch_size=BATCH_SIZE, shuffle=False) model.eval() correct = 0 total = 0 with torch.no_grad(): for batch in test_loader: input_ids = batch["input_ids"].to(DEVICE) attention_mask = batch["attention_mask"].to(DEVICE) labels = batch["labels"].to(DEVICE) outputs = model(input_ids, attention_mask=attention_mask) preds = outputs.logits.argmax(dim=-1) correct += (preds == labels).sum().item() total += labels.size(0) print(f"Test Accuracy: {correct / total:.4f}")

以上代码是核心流程演示。这里有一个需要注意的地方：在每一轮 iPET 训练中，我们使用的是同一个optimizer。由于模型经过了剪枝与 Rewinding，最好在 Rewind 之后重建优化器，否则 Adam 状态里还残留着 Warmup 阶段的信息，会影响收敛。

你可以根据实际场景调整的地方包括：

• EPOCHS_WARMUP 太少会导致 Mask 不可靠，太多又可能在少量数据上过拟合。
• SPARSITY_RATIO 可以先从 0.5 开始试，逐步往上调。
• CONFIDENCE_THRESHOLD 建议先观察预测概率分布后确定，不要盲目设置。

4.6 完整训练流程的 ASCII 图

为了方便理解整个流程，我用一段简单的 ASCII 图来表示：

原始标注数据 (少量) | v Warmup 训练模型 | v 计算 Lottery Ticket Mask | v 权重 Rewind 到初始状态 | v 应用 Mask -> 稀疏模型 | v iPET Round 1: 训练稀疏模型 -> 伪标注 + 置信筛选 -> 训练集扩增 | v iPET Round 2: 训练稀疏模型 -> 伪标注 + 置信筛选 -> 训练集扩增 | v iPET Round 3: ... | v 测试集评估

5. 实验观察与结果分析思路

这一节我提供一个分析实验结果的框架。由于不同数据集、不同预训练模型、不同 Few-Shot 样本量都会带来结果差异，这里不给具体数值，而是给出观察结论的判断标准。

5.1 稀疏度与模型性能的关系

当我们逐步提高剪枝比例时，通常会看到以下现象：

稀疏度	参数量	预期表现	分析思路
0%（稠密基线）	100%	在少量数据上容易过拟合	作为对照实验
30%-50%	50%-70%	性能可能保持或略降	稀疏化相当于正则化
70%-90%	10%-30%	性能下降开始明显	关键结构可能被剪掉
95%以上	5%以下	性能大幅下降	过度剪枝，信息丢失严重

在 Few-Shot 场景下，适度稀疏（比如 50%-70%）有时反而能提升测试集表现，这是因为少量参数更不容易过拟合。

5.2 iPET 迭代轮数的影响

iPET 并非越多轮越好。随着迭代进行：

• 训练集会越来越大，模型可获得更多监督信号。
• 但如果伪标签错误率较高，错误信号也会被放大。

建议在每一轮迭代后都在验证集上评估一次。如果连续两轮准确率没有明显提升，就停止迭代，避免引入噪声数据。

5.3 与全参数微调的对比

在复现实验时，至少要跑两个对照：

• 对照 A：直接全参数微调 BnBERT，不使用剪枝，不使用 iPET。
• 对照 B：BnBERT + Lottery Ticket Pruning，不使用 iPET。
• 主实验：BnBERT + Lottery Ticket Pruning + iPET。

这样你就能判断性能和成本提升分别来自稀疏化还是 iPET 扩增，便于后续优化。

6. 常见问题与排查思路

6.1 常见问题速查表

问题现象	常见原因	解决思路
训练 Loss 不下降	学习率过大或过小；数据长度截断严重	检查学习率，检查 tokenizer 输出长度
Mask 应用后模型输出异常	Mask 与参数形状不匹配	检查named_parameters()是否包含不需要剪枝的层
伪标注样本全部被过滤	置信度阈值设置过高；模型欠拟合	降低阈值；增加 Warmup 轮数
显存不足	批次过大；序列过长	减小BATCH_SIZE或MAX_LEN
iPET 扩增后效果变差	伪标签噪声大；类别不平衡	按类别筛选 Top N；提高置信度阈值
Rewind 后训练不收敛	优化器状态未重置	在 Rewind 后重新创建优化器

6.2 案例：Rewind 之后 Loss 震荡怎么办

如果你发现应用 Mask 并 Rewind 后，Loss 在训练初期震荡非常严重，优先检查以下几点：

1. 是否在 Rewind 后重建了优化器。
2. 学习率是否需要下调。稀疏网络的可训练参数少，学习率通常要比稠密网络小一些。
3. 剪枝比例是否过高。如果剪掉比例超过 90%，保留的连接可能不足以支撑有效学习。

实践中一个可行的做法是：Rewind 后前两个 Epoch 使用较小的学习率（比如 1e-5）做 warmup，再恢复到正常学习率。

6.3 案例：伪标签噪声过大的规避方法

iPET 的伪标签本质上是有噪声的。如果无标注数据与训练数据分布差异很大，早期模型的预测会非常不可靠。可以这样做：

• 只选取置信度超过 0.9 的样本。
• 对每个类别设置最大扩增数量上限。
• 在扩增完成后，随机抽样人工检查一部分伪标注，估算噪声比例。
• 更稳健的方法是训练多个模型做投票，只保留多个模型预测一致的样本。

7. 工程实践建议

7.1 数据与标注策略

在医疗、金融、法律等高风险场景中，伪标注数据不能直接用于最终决策。建议将伪标注数据单独隔离，定期抽样人工复核。

如果你是从零开始做孟加拉语 NLP 项目，可以优先在社交媒体文本、新闻语料等领域积累无标注数据，这些数据获取成本低，适合作为 iPET 的伪标注池。

7.2 稀疏训练注意事项

Lottery Ticket Pruning 在实现时要注意以下工程细节：

• 不要剪 Embedding 层。BERT 的 Token Embedding 与词表强相关，剪掉这些连接会直接影响模型对输入表示的能力。你可以只在注意力层和 FFN 层做剪枝。
• 保留 LayerNorm 层。LayerNorm 的参数非常少，但作用关键，不适合剪枝。
• 保存 Mask 文件。训练结束后，不仅保存模型权重，也要保存 Mask。推理时加载同样结构的稀疏模型，否则无法复现效果。
• 关注推理性能。如果你使用 PyTorch 稀疏张量或实际置零权重，要注意推理框架是否真正获得了加速。某些情况下置零权重并不会减少计算量，还需要配合剪枝库或推理框架。

7.3 可复现性与实验管理

Few-Shot 实验对随机种子非常敏感。每次运行前固定random.seed、numpy.random.seed、torch.manual_seed，并在代码中保存最终的配置文件。

import random import numpy as np import torch def set_seed(seed: int = 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True

7.4 部署与上线建议

稀疏模型在部署时，需要检查推理框架对稀疏矩阵的支持程度。常见的做法有：

• 将置零权重保存为稀疏矩阵格式。
• 使用 ONNX Runtime 的稀疏推理能力。
• 或者结合蒸馏，把稀疏模型的知识蒸馏到一个更小的稠密模型中。

无论采用哪种方式，都要在测试集上重新评估剪枝后的模型效果，不能只看训练集表现。

8. 总结与下一步规划

本文围绕 BnBERT-iPET 这个主题，介绍了如何在孟加拉语低资源场景下，将 Lottery Ticket Pruning 与 iPET 迭代式伪标注相结合。实践中你至少可以掌握以下关键点：

• 使用 Hugging Face Transformers 加载孟加拉语 BERT 模型。
• 通过幅度剪枝生成二值 Mask，实现 Lottery Ticket 风格的稀疏训练。
• 通过置信度过滤和无标注数据扩增，实现 iPET 的迭代训练流程。
• 建立“稠密基线 vs 稀疏模型 vs 稀疏 + iPET”的对照实验框架。
• 学会处理 Rewinding 不收敛、伪标签噪声、显存不足等实际问题。

下一步，你可以继续深入研究的方向包括：

• 用集成模型替代单模型，提高伪标签质量。
• 尝试不同剪枝准则（例如基于梯度、基于 Hessian）替代幅度剪枝。
• 在相同稀疏度下，对比 Lottery Ticket 与随机 Mask 的差异。
• 尝试把稀疏化与 Prompt Tuning、Adapter 等参数高效微调方法结合。

在实际项目中，优先关注的是伪标签噪声和数据分布偏移。只要这两个问题控制好，Few-Shot + 稀疏化方案完全可以在资源有限、标注不足的环境里跑出可用的模型。也建议你把实验记录整理下来，方便后续复现和调优。如果本文对你有帮助，欢迎收藏备用，也可以在评论区聊聊你的 Few-Shot 实践经验。