大模型面试题：请简述Transformer基本原理

Transformer 无疑是当今大语言模型的基石，彻底改变了自然语言处理领域。它的核心思想完全摒弃了之前主流的循环和卷积结构，转而完全依赖自注意力机制来捕捉序列中的全局依赖关系。

下面我以清晰的结构简述其基本原理。

一、核心驱动力：自注意力机制

要理解 Transformer，首先要理解自注意力。它的作用是回答一个问题：“在处理序列中的某一个词时，我应该如何加权地关注序列中的所有词（包括它自己）以获取最好的上下文表示？”

工作原理（以“I love AI”为例）：

1. 创建Q， K， V：对于输入序列中的每个词（如 “love”），我们将其向量分别与三个权重矩阵相乘，生成三个新的向量：

   • 查询：代表当前词（“love”）在“寻找”什么。
   • 键：代表每个词（包括 “I”, “love”, “AI”）“可供匹配”的属性。
   • 值：代表每个词真正要表达的“信息内容”。

2. 计算注意力分数：计算 “love” 的 Q 与序列中<