Transformer 的基本概念
Transformer 是一种基于自注意力机制的深度学习模型，主要用于处理序列数据，如自然语言处理（NLP）任务。其核心思想是通过注意力机制捕捉输入序列中不同位置之间的关系，而无需依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）。
Transformer 的主要组成部分
自注意力机制（Self-Attention）
自注意力机制允许模型在处理每个词时，同时关注输入序列中的所有其他词，从而动态计算每个词的重要性。具体计算步骤如下：
- 输入序列中的每个词被表示为三个向量：查询向量（Query）、键向量（Key）和值向量（Value）。
- 通过计算 Query 和 Key 的点积，得到注意力分数，表示词与词之间的相关性。
- 注意力分数经过 Softmax 归一化后，与 Value 向量加权求和，得到最终的注意力输出。
公式表示如下：
其中是 Key 向量的维度，用于缩放点积结果。
多头注意力（Multi-Head Attention）
多头注意力将自注意力机制扩展为多个“头”，每个头独立计算注意力，最后将结果拼接起来。这样可以捕捉不同子空间中的特征。
公式表示如下：
其中每个头的计算为：
位置编码（Positional Encoding）
由于 Transformer 不包含循环或卷积结构，无法直接捕捉序列的顺序信息。位置编码通过为每个词添加一个与位置相关的向量来解决这一问题。
公式表示如下：
其中是位置，
是维度索引。
前馈神经网络（Feed-Forward Network）
每个注意力层后接一个前馈神经网络，由两个线性变换和一个激活函数组成：
编码器与解码器结构
- 编码器：由多个相同的层堆叠而成，每层包含多头注意力机制和前馈神经网络，并应用残差连接和层归一化。
- 解码器：结构与编码器类似，但额外引入一个掩码多头注意力机制，确保解码时只能看到当前位置之前的信息。
Transformer 的工作流程
- 输入嵌入：将输入序列中的每个词转换为向量表示，并加上位置编码。
- 编码器处理：通过多层编码器逐步提取特征，每层包含自注意力和前馈网络。
- 解码器处理：解码器接收编码器的输出和已生成的部分结果，逐步预测下一个词。
- 输出生成：通过线性变换和 Softmax 生成最终的概率分布，选择概率最高的词作为输出。
Transformer 的优势
- 并行计算：自注意力机制可以同时处理所有位置，避免了 RNN 的序列依赖性。
- 长距离依赖：直接建模序列中任意两个位置的关系，缓解了长距离依赖问题。
- 灵活性：适用于多种任务，如机器翻译、文本生成、语音识别等。
典型应用
- BERT：基于 Transformer 编码器的预训练模型，用于文本分类、问答等任务。
- GPT：基于 Transformer 解码器的生成模型，用于文本生成、对话系统等。
