简介：这是一份面向高校学生与开发者的中英文机器翻译实战项目，基于Python与Keras-Transformer模型实现，可直接运行，适合毕业设计、课程设计及项目开发参考。项目核心完全依托keras-transformer封装，并配套完整源码与使用文档，便于在现有基础上延伸改造。压缩包共17个文件，约7.42MB，包含3个py脚本与2个ipynb笔记本用于数据处理和训练翻译流程，6个pkl与1个h5文件保存词表、中间数据及训练权重，另有md说明文档和txt语料，结构清晰、开箱即用。目前已有363人学习下载。读者可获得一套经过严格测试的翻译模型实现，涵盖数据预处理、模型训练与推理全流程，还能与作者另一份基于LSTM的机器翻译项目对比学习，二者原始数据一致，便于理解不同序列建模思路的差异，是入门NLP与Transformer实践的实用参考。
1. 从一份能直接跑的 Keras Transformer 中英翻译源码说起
毕业设计选题里，机器翻译几乎是每年都被翻牌子的方向，但真正卡住人的从来不是「Transformer 是什么」，而是「我拿到一份基于 Python 开发的中英文机器翻译源码，怎么让它在我这台机器上真的跑出译文」。这份基于 Keras 的 Transformer 模型方案，核心价值就在于把编码器-解码器、多头注意力、位置编码这些概念，压缩成一份能直接跑、带使用文档的工程。它适合三类人：课程设计要交东西的学生、想搞懂 Transformer 手写细节的自学者、以及需要一个小规模中英翻译基线做对比实验的人。下面我按「先跑通、再拆解、后调优」的顺序，把这份源码从环境到训练到推理讲透，参数和坑都落到具体位置。
2. 环境与数据准备：让 Keras Transformer 在本地跑起来的第一步
2.1 为什么选 Keras 而不是从零手写注意力
很多人一上来就想用 PyTorch 手写 Transformer，觉得这样才「懂原理」。但毕业设计的时间成本摆在那，Keras 的Layer和Model抽象能把多头注意力、残差连接、层归一化这些模块封装得足够干净，同时又不至于像tf.keras.layers.MultiHeadAttention那样把细节全藏起来。这份源码用的是 Keras 自定义层的方式实现编码器和解码器，你既能看清scaled_dot_product_attention的每一步，又不用自己处理梯度裁剪和变量初始化。常见做法是：先用 Keras 跑通一个 2 层编码器 + 2 层解码器的小模型，确认数据管道没问题，再逐步加深。我一般会建议把d_model设成 128 或 256，num_heads设成 4 或 8，这样在单张消费级显卡甚至 CPU 上都能跑起来，不至于一上来就被显存劝退。
2.2 环境安装与版本对齐
这份源码依赖 TensorFlow 2.x 和 Keras，Python 版本建议 3.8 到 3.10。安装命令如下：
# 创建虚拟环境，避免和系统里的包打架 python -m venv mt_env source mt_env/bin/activate # Windows 用 mt_env\Scripts\activate # 安装核心依赖，tensorflow 自带 keras pip install tensorflow==2.12.0 pip install numpy pandas matplotlib pip install jieba # 中文分词用逻辑说明：TensorFlow 2.12 对 Keras 的集成比较稳定，MultiHeadAttention和自定义训练循环都支持得不错。参数上，如果你用的是 Apple Silicon，装tensorflow-macos和tensorflow-metal能吃到 GPU 加速；如果是 Windows + NVIDIA，确认 CUDA 和 cuDNN 版本匹配，否则会报Could not load dynamic library这类错误。安装完跑一句import tensorflow as tf; print(tf.__version__)验证。
2.3 中英文平行语料的获取与清洗
源码通常自带一个小规模平行语料，但你要做毕业设计，数据量至少得几万对才看得出效果。常见做法是用公开的中英平行语料，比如 TED 演讲字幕、新闻平行句对，或者自己爬一些双语站点。清洗步骤分三步：去重、过滤长度、统一标点。
import re def clean_pair(zh, en): # 去掉首尾空白 zh, en = zh.strip(), en.strip() # 过滤空行和超长句 if not zh or not en or len(zh) > 100 or len(en) > 100: return None # 中文标点统一，英文转小写 zh = re.sub(r'[“”]', '"', zh) en = en.lower() return zh, en pairs = [] with open('raw_corpus.txt', 'r', encoding='utf-8') as f: for line in f: parts = line.strip().split('\t') if len(parts) == 2: cleaned = clean_pair(parts[0], parts[1]) if cleaned: pairs.append(cleaned) print(f'清洗后句对数量: {len(pairs)}')逻辑说明：clean_pair做了长度过滤和标点归一，避免模型学到一堆噪声。参数上，长度阈值 100 是针对中英短句翻译设的，如果你做长文档翻译，得放宽到 200 以上，但那样显存占用会飙升。清洗完把数据按 8:1:1 切成训练集、验证集、测试集，写入三个文件。
3. 模型结构与训练脚本：Keras Transformer 的编码器解码器怎么搭
3.1 位置编码与词嵌入的配合
Transformer 没有循环结构，位置信息全靠位置编码注入。这份源码用的是经典的正弦余弦位置编码，公式不复杂，但实现时有个容易翻车的点：pos和i的维度要对齐。
import numpy as np import tensorflow as tf def positional_encoding(max_len, d_model): # 生成位置编码矩阵 pos = np.arange(max_len)[:, np.newaxis] i = np.arange(d_model)[np.newaxis, :] angle = pos / np.power(10000, (2 * (i // 2)) / np.float32(d_model)) # 偶数维度用 sin，奇数维度用 cos angle[:, 0::2] = np.sin(angle[:, 0::2]) angle[:, 1::2] = np.cos(angle[:, 1::2]) return tf.cast(angle[np.newaxis, ...], dtype=tf.float32)逻辑说明：max_len是句子最大长度，d_model是词向量维度。参数上，max_len要略大于你数据里最长句子的长度，否则长句会被截断；d_model必须和词嵌入维度一致，不然相加时会报维度不匹配。这个编码矩阵只算一次，训练时直接查表加在词嵌入上。
3.2 多头注意力层的 Keras 实现
多头注意力是 Transformer 的核心，Keras 里可以用tf.keras.layers.MultiHeadAttention，但这份源码为了教学清晰，自己写了ScaledDotProductAttention和MultiHeadAttention两个类。关键参数是num_heads和key_dim。
class MultiHeadAttention(tf.keras.layers.Layer): def __init__(self, d_model, num_heads): super().__init__() self.num_heads = num_heads self.d_model = d_model # d_model 必须能被 num_heads 整除 assert d_model % num_heads == 0 self.depth = d_model // num_heads self.wq = tf.keras.layers.Dense(d_model) self.wk = tf.keras.layers.Dense(d_model) self.wv = tf.keras.layers.Dense(d_model) self.dense = tf.keras.layers.Dense(d_model) def split_heads(self, x, batch_size): # 把最后一维拆成 (num_heads, depth) x = tf.reshape(x, (batch_size, -1, self.num_heads, self.depth)) return tf.transpose(x, perm=[0, 2, 1, 3]) def call(self, v, k, q, mask): batch_size = tf.shape(q)[0] q = self.split_heads(self.wq(q), batch_size) k = self.split_heads(self.wk(k), batch_size) v = self.split_heads(self.wv(v), batch_size) # 缩放点积注意力 scaled = tf.matmul(q, k, transpose_b=True) / tf.math.sqrt(tf.cast(self.depth, tf.float32)) if mask is not None: scaled += (mask * -1e9) weights = tf.nn.softmax(scaled, axis=-1) output = tf.matmul(weights, v) output = tf.transpose(output, perm=[0, 2, 1, 3]) output = tf.reshape(output, (batch_size, -1, self.d_model)) return self.dense(output)逻辑说明：split_heads把d_model维拆成多个头，每个头独立算注意力，最后再拼回来。参数上，d_model和num_heads的整除关系是硬约束，比如d_model=256、num_heads=8，每个头depth=32。mask用来屏蔽 padding 和未来位置，解码器的自注意力必须加因果 mask，否则模型会偷看答案。
3.3 训练循环与损失函数
训练脚本用的是tf.GradientTape自定义循环，损失函数是带 padding 屏蔽的交叉熵。
loss_object = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True, reduction='none') def loss_function(real, pred): # 屏蔽 padding 位置的损失 mask = tf.math.logical_not(tf.math.equal(real, 0)) loss_ = loss_object(real, pred) mask = tf.cast(mask, dtype=loss_.dtype) loss_ *= mask return tf.reduce_sum(loss_) / tf.reduce_sum(mask) @tf.function def train_step(inp, tar): tar_inp = tar[:, :-1] # 解码器输入去掉最后一个词 tar_real = tar[:, 1:] # 目标去掉第一个词 with tf.GradientTape() as tape: predictions = transformer(inp, tar_inp, True, None) loss = loss_function(tar_real, predictions) gradients = tape.gradient(loss, transformer.trainable_variables) optimizer.apply_gradients(zip(gradients, transformer.trainable_variables)) return loss逻辑说明：tar_inp和tar_real错一位是 teacher forcing 的标准做法。参数上，优化器用 Adam，学习率常见设 1e-4 到 5e-4，配合 warmup 更好。from_logits=True表示模型输出没经过 softmax，损失函数内部会处理。训练时每几个 epoch 存一次 checkpoint，方便断点续跑。
4. 推理与评估：把训练好的模型变成能用的翻译器
4.1 贪婪解码与 Beam Search 的取舍
训练完模型，推理时有两种常见策略：贪婪解码每步取概率最大的词，速度快但容易陷入局部最优；Beam Search 保留 top-k 个候选，质量更好但计算量翻倍。这份源码默认用贪婪解码，适合快速验证。
def translate(sentence, transformer, tokenizer_zh, tokenizer_en, max_len=50): # 中文分词后转 id sentence = tokenizer_zh.encode(sentence) encoder_input = tf.expand_dims(sentence, 0) # 解码器以 <start> 开头 decoder_input = tf.expand_dims([tokenizer_en.start_token], 0) result = [] for i in range(max_len): predictions = transformer(encoder_input, decoder_input, False, None) predicted_id = tf.argmax(predictions[:, -1, :], axis=-1).numpy()[0] if predicted_id == tokenizer_en.end_token: break result.append(predicted_id) decoder_input = tf.concat([decoder_input, [[predicted_id]]], axis=-1) return tokenizer_en.decode(result)逻辑说明：每次把已生成的词拼回解码器输入，逐步预测下一个词。参数上，max_len控制最大生成长度，太小会截断长句，太大浪费算力。tokenizer_en.start_token和end_token是特殊标记，训练数据里要提前加好。
4.2 BLEU 分数的计算与解读
评估翻译质量常用 BLEU，它比较生成译文和参考译文的 n-gram 重叠度。
from nltk.translate.bleu_score import corpus_bleu references = [[['the', 'cat', 'is', 'on', 'the', 'mat']]] candidates = [['the', 'cat', 'is', 'on', 'the', 'mat']] score = corpus_bleu(references, candidates) print(f'BLEU: {score:.4f}')逻辑说明：references是参考译文的词列表，candidates是模型输出。参数上，BLEU 对短句惩罚明显，句子越短分数波动越大，所以评估时最好用几百句测试集取平均。常见做法是同时看 BLEU-1 到 BLEU-4，BLEU-4 更看重长片段匹配。
4.3 用测试集做一次完整评估
把测试集跑一遍，统计平均 BLEU 和几个典型例子。
total_bleu = 0 for zh, en in test_pairs[:100]: pred = translate(zh, transformer, tokenizer_zh, tokenizer_en) ref = [en.split()] cand = pred.split() total_bleu += corpus_bleu([ref], [cand]) print(f'平均 BLEU: {total_bleu / 100:.4f}')逻辑说明：这里只取了前 100 句做快速评估，正式实验要跑全量。参数上，如果 BLEU 低于 0.1，说明模型欠拟合或数据量太小；如果高于 0.3，在小规模中英翻译里算不错了。注意 BLEU 只是参考，人工看几个例子更直观。
5. 避坑与排查：Keras Transformer 训练中最容易翻车的 5 个点
5.1 损失不下降，输出全是重复词
现象：训练几个 epoch 后，模型翻译结果一直是「的的的的」或者「the the the」。原因通常是学习率太大导致梯度爆炸，或者解码器的因果 mask 没加对，模型看到了未来信息。解决：把学习率降到 1e-4，检查mask生成逻辑，确保解码器自注意力的 mask 是下三角矩阵。
5.2 显存溢出，batch_size 调不下去
现象：报OOM when allocating tensor。原因是d_model或num_heads设太大，或者max_len过长。解决：先把d_model从 512 降到 256，batch_size从 64 降到 16，max_len从 100 降到 50。如果还不够，用梯度累积模拟大 batch。
5.3 中文分词后词表爆炸
现象：词表大小超过 5 万，嵌入层参数太多。原因是按字切分还是按词切分没选好。解决：中文用 jieba 分词后，过滤词频低于 2 的词，词表控制在 1 万到 2 万。英文用 subword 或直接按空格切分后转小写。
5.4 推理时输出<start>或<end>标记
现象：翻译结果里混入了特殊标记。原因是解码时没过滤，或者训练数据里标记位置不对。解决：在translate函数里判断predicted_id是否等于end_token，是就 break；同时检查训练数据里<start>和<end>是否加在了正确位置。
5.5 验证集损失反弹，过拟合明显
现象：训练损失持续降，验证损失先降后升。原因是模型参数量相对数据量太大。解决：加 dropout，dropout_rate设 0.1 到 0.3；加早停，验证损失连续 3 个 epoch 不降就停；或者用数据增强，比如回译。
6. 进阶技巧：让这份 Keras Transformer 源码跑出更好效果
如果你已经把基础版本跑通，想让 BLEU 再往上提一提，有几个我亲测有效的方向。第一是学习率 warmup，前 4000 步线性增加学习率，之后按平方根衰减，这个在optimizer里自定义 schedule 就行。第二是标签平滑，把硬标签换成 0.1 的平滑标签，能缓解过拟合，Keras 里用tf.keras.losses.CategoricalCrossentropy(label_smoothing=0.1)。第三是 Beam Search，把translate函数改成保留 top-3 候选，虽然慢一点但译文更通顺。
| 技巧 | 改动位置 | 预期收益 | 代价 |
|---|---|---|---|
| 学习率 warmup | optimizer schedule | BLEU +0.02~0.05 | 代码稍复杂 |
| 标签平滑 | loss function | 验证损失更稳 | 训练稍慢 |
| Beam Search | translate 函数 | 译文更通顺 | 推理慢 2~3 倍 |
| 加深模型 | num_layers | 拟合能力更强 | 显存和过拟合风险 |
验证方法很简单：每改一个点，跑同样的测试集算 BLEU，对比基线。别一次改好几个，不然出了问题都不知道是哪个引起的。我自己的习惯是先用小数据快速试，确认有效再上全量。这份源码的价值不在于它多完美，而在于它给了你一个能改、能调、能拆的起点。希望帮到你。
本文还有配套的精品资源，点击获取
