LLM 本质上是无状态的。每次 API 调用都是全新的开始。
你在与 ChatGPT 聊天时感受到的"记忆",其实是一种错觉——通过在每个请求中重新发送整个对话历史来创造的。
这种技巧在随意聊天时有效。一旦你试图构建一个真正的智能体,它就会崩溃。
以下是 7 种在你跳过记忆功能时会立即出现的失败模式:
- •上下文失忆症:智能体重复询问你已经提供过的信息
- •零个性化:每次交互都感觉千篇一律
- •多步骤任务失败:中间状态在任务中途悄然丢失
- •重复犯错:没有情景记忆意味着同样的错误会永远重复
- •无知识积累:每个会话都从零开始
- •因空白产生幻觉:当上下文溢出时,模型开始编造内容
- •身份崩塌:没有连续性,没有信任
显而易见的回应是"投入更多上下文"。这就是为什么 128K 和 200K token 窗口让人觉得应该能解决一切问题。
但事实并非如此。
当相关信息位于长上下文中间时,准确率会下降超过 30%。这是一个有充分文献记录的现象。
上下文是一个共享的预算。系统提示、检索到的文档、对话历史和输出……所有这些都在争夺相同的 token。
即使在 100K token 的情况下,缺乏持久化、优先级排序和显著性使得原始上下文长度仍然不够。
记忆不是把更多文本塞进提示中。而是要构建智能体能记住的内容结构,使其能够找到重要的信息。
真正有帮助的认知科学框架
Lilian Weng 2023 年的公式已成为此处的默认框架。
智能体 = LLM + 记忆 + 规划 + 工具使用
四个平等的支柱。
她的分类法借鉴了认知科学,在人类记忆中分为三个系统:
感官记忆捕获原始感知输入,并将其保留不到一秒。只有你注意到的部分才会被传递下去。
工作记忆是活跃思维发生的地方。它同时容纳大约 7±2 个项目(Miller 1956 年的发现)。失去专注,内容就会消失。
长期记忆是持久的存储,实际上没有容量限制。检索是瓶颈:你可以存储数百万条东西,但仍可能无法回忆起你需要的那一条。
每个系统直接映射到现代智能体架构中的组件:
长期记忆本身进一步细分:
- •情景记忆:具体的过去事件(“周二 PostgreSQL 集群宕机了”)
- •语义记忆:事实和概念(“PostgreSQL 是一个关系型数据库”)
- •程序记忆:技能和工作流程(“当用户要求退款时,首先检查购买日期”)
情景记忆和语义记忆之间的桥梁是记忆整合:重复的具体事件提炼为一般性知识。
一个智能体在数十次交互中注意到"用户始终偏好执行摘要",应该将其转化为可复用的规则。没有整合,你的智能体会重放单个事件而不是从中学习。
最小化智能体,以及最先崩溃的部分
如果你剥离框架,智能体就是一个循环:感知、思考、行动。
如果你告诉它"我有 4 个苹果",然后问"我吃了一个,还剩多少?"——它完全不知道你在说什么苹果。每次调用都是孤立的。
第一层:Python 列表
每个人首先想到的修复方法是维护一个消息列表中的交互:
多轮对话现在可以工作了。苹果问题得到正确回答,因为每次调用都重新发送完整对话。
两个问题很快出现:
- 列表无限增长。大约第 200 轮时,你达到上下文上限,最旧的消息悄然消失。用户第 1 轮时的名字在昨天随手开的玩笑之前就消失了。没有优先级,只有严格的按时间顺序排列。
- 所有内容都存储在 RAM 中。Python 进程结束的瞬间,你的智能体就不知道你是谁了。
第二层:用于持久化的 Markdown 文件
下一步是将记忆写入磁盘。
Markdown 是一个自然的选择,因为它们是人类可读的、Git 友好的,智能体可以将它们作为纯文本读取回来。Claude Code 正是使用这种模式,通过 CLAUDE.md 和 MEMORY.md 文件:
持久化问题得到了解决,因为如果你重启脚本,对话仍在磁盘上。你还可以维护一个单独的事实文件,智能体随时间提取并保存:
你可以在任何编辑器中打开文件,准确查看智能体知道什么,并且可以手动修复。对于原型设计来说确实很有用。
只有 4 个事实时,这运行得非常好。将整个文件加载到上下文中,LLM 可以处理任何关于 Sarah、她的公司或她所在行业的问题。
现在快进三个月。你的智能体有 2,000 个提取的事实和 200 个对话日志。那是磁盘上 500K+ token 的 markdown,而你的上下文窗口是 128K。
你不能再加载所有内容了。你需要选择性检索仅与当前查询相关的事实。对于平面文件,你唯一的选项是关键词搜索:
在小规模时,markdown 文件很有效。在实际规模上,它们迫使你使用关键词检索,而关键词无法处理同义词、释义或跨事实的关联。
信息在磁盘上。但你无法全部加载,关键词搜索也太脆弱,无法找到正确的片段。
例如,OpenClaw 将记忆存储为 markdown 检查点文件,经过数周的日常使用后,早期的事实会随着上下文积累和压缩而悄然消失。存储在那里,但检索不在。
第三层:向量搜索
下一步是将 markdown 分块、嵌入,并通过余弦相似度搜索,解决了同义词问题。
但然后你面临一个新问题。考虑向量数据库中的这三个事实:
用户问:"Alice 的项目受到周二中断的影响了吗?"查询提到了 Alice 和周二的中断,所以向量搜索将第一个和第三个事实排名很高。但关键的桥梁——"Project Atlas 使用 PostgreSQL"——既没有提到 Alice 也没有提到周二。它是连接 Pieces,却是浮出水面的那一个。每个事实都是嵌入空间中的一个孤立点。连接它们的结缔组织对向量来说是不可见的。这不是一个边缘案例,而是现实世界问题的正常形态。
业务知识本质上是关系型的,任何跨越两个或多个跳跃的问题都超出了平面向量检索能回答的范围。
能力矩阵
每一层都修复了前一个痛点,但揭示了更深层的问题:
你需要在单一记忆层中同时具备持久化、语义理解和关系推理。
自己构建这意味着要将向量数据库、图数据库、关系存储、实体提取器、去重管道和边权重系统粘合在一起。
在你写任何一行智能体逻辑之前,这需要数周的基础设施工作。
Cognee 作为记忆层
Cognee 是一个为智能体记忆构建的开源知识引擎。它将向量搜索与知识图谱和关系来源层结合到一个系统中。
整个 API 表面只有四个异步调用:
在底层,这四个调用封装了一个三存储架构:
每个存储捕获其他存储无法捕获的知识维度:
- •关系存储→ provenance:数据来自哪里、何时摄取、谁有访问权限
- •向量存储→ 语义:内容意味着什么,它与什么相似
- •图存储→ 关系:实体如何连接,什么导致什么,谁向谁汇报
如果你扁平化其中任何一个,你会丢失对检索准确率很重要的信息。
cognify 实际上做了什么?
cognify.cognify()运行一个多阶段管道,将原始文本转换为结构化的、互联的知识:
- 按类型和领域对文档进行分类
- 用于多租户访问控制的权限检查
- 尊重段落结构的块提取(不是固定大小的切割)
- 通过 LLM 进行实体和关系提取,通过内容哈希自动去重
- 用于高效检索的摘要生成
- 同时索引到向量存储(嵌入)和图存储(边)
去重步骤比听起来更重要。如果同一个实体出现在 50 个文档中,Cognee 会将其合并为一个具有 50 个入站边的单一图节点。
你的智能体不再将"Alice"视为 50 个不同的陌生人。默认情况下管道是增量的,所以只有新的或更新的文件会被重新处理。
每个图节点都有对应的嵌入。这种双重表示是核心技巧,因为它允许你通过向量进入(找到语义相似的内容)并通过图退出(跟随关系到连接的实体),或者反向操作。
这正是使多跳查询在不牺牲语义搜索的情况下工作的原因。
memify:会学习的记忆
memify()是另一个有趣的实用细节,它在图上运行一个 RL 启发的优化过程:
- • 加强导致良好检索的有用路径
- • 剪枝从未被触碰过的过时节点
- • 基于实际使用情况自动调整边权重
- • 通过识别隐含关系添加派生事实
客户支持智能体的图自然地加强了通过产品文档和退款政策的路径,同时让很少查询的 HR 边衰减。图会随着时间发展出自己的相关性感知。
十四种检索模式
Cognee 附带 14 种搜索模式,但这些是最有用的:
使用 Cognee 记忆构建真正的智能体
这是将 Cognee 连接到感知-思考-行动循环的完整模式:
记忆循环遵循:摄取、提取、存储、检索、响应、再存储。
每一轮都会丰富知识图谱,增量处理意味着你只需为索引新内容付费。
会话记忆自动处理代词解析:
多租户在图级别内置,具有每数据集权限(读取、写入、删除、共享)。
总结
如果你今天正在构建智能体,真正的问题起点是:“我的智能体需要记住什么,它会回答什么样的问题?”
如果你的查询只需要相似性搜索(“找到类似这个的对话”),纯向量记忆就足够了。
一旦查询跨越实体边界(“Alice 的项目受到周二中断的影响了吗?”),你需要图遍历。
你可以自己将独立的向量、图和关系存储连接起来。选择这条路的团队通常会在基础设施上耗费数周,而记忆层仍然不会从自己的使用中学习。
Cognee 将这一切压缩成四个 API 调用。嵌入式默认值让你在几分钟内启动运行。可交换的后端(Postgres、Qdrant、Neo4j)让你在不更改智能体代码的情况下进入生产环境。
智能需要结构,而不仅仅是存储。三种存储范式(关系、向量、图)不是相互竞争的选择。它们是同一记忆系统的互补层。
假如你从2026年开始学大模型,按这个步骤走准能稳步进阶。
接下来告诉你一条最快的邪修路线,
3个月即可成为模型大师,薪资直接起飞。
阶段1:大模型基础
阶段2:RAG应用开发工程
阶段3:大模型Agent应用架构
阶段4:大模型微调与私有化部署
配套文档资源+全套AI 大模型 学习资料,朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇