解锁LLM新能力！Engram：用条件记忆重塑大语言模型架构
当MoE与N-gram相结合，一种全新的稀疏性范式正在悄然改变大语言模型的能力边界。
近期，来自北京大学和深度求索的研究团队提出了一种名为Engram的创新条件记忆模块，它通过结合经典的N-gram嵌入技术和现代深度学习架构，为大语言模型引入了高效的知识检索能力。Engram的核心突破在于，它能够在不增加计算开销的前提下，通过静态记忆存储大幅提升模型在知识、推理和长上下文任务上的表现。
这一技术实现是基于一个深刻的洞见：语言建模中的许多任务本质上是静态、模式化的知识检索，而非动态推理。传统Transformer架构缺少原生的知识查找机制，被迫用昂贵的计算来模拟检索过程。Engram则通过简单的哈希查找，以O(1)的时间复杂度直接获取这些模式化知识。
1. 条件计算 vs. 条件记忆：两种稀疏性范式
当前的稀疏性研究主要集中在条件计算领域，以混合专家（MoE）模型为代表。MoE通过动态路由激活不同专家子网络来处理不同输入，从而实现模型容量的扩展而不显著增加计算成本。这类似于一个大型图书馆，每次只取出少量相关的书籍进行阅读。
但语言信号本身具有内在的异质性，语言建模实际上涉及两种本质不同的子任务：
- 组合推理：需要深度、动态的计算过程
- 知识检索：处理静态、模式化的语言模式（如命名实体、成语短语）
传统Transformer架构缺乏专门的知识检索机制，导致即使是检索一个简单的多令牌实体（如“Diana, Princess of Wales”）也需要消耗多个注意力层和前馈网络层进行计算。这实质上是用昂贵的计算来重建静态查找表，浪费了宝贵的计算深度。
Engram提出的条件记忆范式，则通过在模型中引入稀疏查找操作，直接检索静态知识，从而与MoE的条件计算形成互补。它将静态模式存储与动态计算在结构上分离，让模型各司其职。
2. Engram核心模块：现代化的N-gram嵌入
2.1 架构概览
Engram模块的设计目标是增强Transformer主干的表示能力，同时保持计算效率。该模块仅应用于特定层，将标准输入嵌入和输出层保持不变。
Engram的处理流程分为两个功能阶段：检索和融合。
优化指南)
