要详细介绍“提示词重复”(Prompt Repetition)这项技术,我们可以从它如何产生“免费午餐”般的效果开始。
这项技术之所以高效,核心在于其利用了Transformer架构的特性,绕过了一个被称为“因果盲点”的瓶颈。简单来说,在“非推理任务”(如信息检索、简单问答)中,将输入的问题或指令完全复制一遍,再发送给大模型,就能让回答准确率大幅提升。
🔍 核心原理与工作机制
这项技巧的根本原因在于当前主流大语言模型(LLM)的核心限制:单向注意力机制(或因果注意力)。你可以把它想象成在隧道里开车,模型只能看到已经驶过的路面,无法预知前方的路况。
- 因果盲点的表现:当模型的输入是“上下文+问题”时,它读完上下文后可能无法精准定位问题要点;而当输入是“问题+上下文”时,模型先读到问题却不知道要处理什么上下文。这种顺序依赖会导致模型遗漏关键信息或误判意图。
- 重复提示词的破解之道:提示词重复的技巧,就是将输入从
<QUERY>变为<QUERY><QUERY>。这个操作的巧妙之处在于:- 第一遍阅读时,模型正常处理信息,可能产生初步但不完整的理解。
- 第二遍阅读时,由于内容相同,第二份拷贝中的每个词元(Token)在计算注意力时,都能“看到”第一份拷贝中的所有词元。
- 这等于为模型创造了一个“回顾”的机会,让它在第二次处理时,能基于第一次的全局信息做出更准确的判断,形成了一种模拟的“双向注意力”效果。
下面的示意图可以帮你直观地理解这个过程: