Python中的向量数据库：如何让AI拥有“长期记忆”

Python中的向量数据库：如何让AI拥有“长期记忆”

一、AI的“健忘症”：一个真实的痛点

用过ChatGPT或各类大模型API的人都有这样的体验：今天你和它聊了很久，告诉了它你的饮食禁忌、项目背景、写作偏好；明天再打开一个新会话，它对你一无所知。

这不是模型不够聪明，而是大语言模型（LLM）的本质决定的——它是无状态的。每次调用API，模型拿到的只有你这一次发送的文本。它唯一的“记忆”就是上下文窗口（Context Window），而上下文窗口有三个硬伤：

1. 容量有限：即使是支持上百万token的模型，也不可能把用户几年的历史全部塞进去；
2. 成本高昂：上下文越长，每次调用的费用和延迟越高；
3. 容易遗忘：研究表明，模型对长上下文中部信息的利用率会显著下降（“Lost in the Middle”现象）。

人类的解决方案是：不把一切都记在脑子里，而是记在本子上，需要时再查。给AI装上“长期记忆”，思路完全一样——把历史信息存进一个外部存储，每次对话前检索出最相关的部分，喂给模型。而这个存储的最佳形态，就是向量数据库。