AI开发-python-langchain框架（1-8-1 缓存机制——让 AI 应用“记住”高频问题）

想象一下，你现在是一家大型电商平台的AI架构师。双十一期间，你的智能客服系统每天要处理千万级的用户咨询。每个问题都要调用昂贵的GPT-API，响应慢、成本高，用户投诉飙升……这时候，你会怎么做？"

"我们会发现一个奇怪的现象——每天有30%的问题是完全相同的！用户都在问：'快递几天能到？'、'怎么退货？'、'商品有保修吗？'……每个问题都要调用GPT-4，每次花费0.03美元，一天就是数万美元！更糟的是，相同的回答，用户要等3-5秒才能看到……"

解决方案：引入缓存机制（如下使用sqlite当缓存数据库），当用户问道相同问题时，从缓存里直接给出答案不用将问题在送给大模型，既节约金钱成本也节约时间成本。

直接看代码：

from langchain_community.cache import SQLiteCache from langchain.globals import set_llm_cache from langchain_openai import ChatOpenAI import os #指定缓存 对比提问同样的问题，返回时间 set_llm_cache(SQLiteCache(database_path="langchain_demo.db")) llm = ChatOpenAI( api_key=os.getenv("DEEPSEEK_API_KEY"), base_url=os.getenv("DEEP_URL"), # Deepseek 的 API 基础地址 model="deepseek-v3:671b", # Deepseek 对话模型（可选：deepseek-chat-pro 等高级模型） temperature=0.7, # 温度参数（0-1，越低越稳定） max_tokens=1024 # 最大生成 tokens ) #这时会向数据库里插入一条数据 response =llm.invoke("hello world") print(response.content) #再插入一条数据 注：是否插入要根据提示词和调用的模型（模型参数改变也会认为是不同） response =llm.invoke("how are you") print(response.content) #这时就会从缓存里直接出结果不会送往大模型，数据库里也不会新插入一条数据 response =llm.invoke("hello world") print(response.content)

运行结果：可以看到 第一次的回答和第三次的回答是完全一样的。

Hello! 🌍 How can I assist you today? Whether you have questions, need help with a task, or just want to chat, I'm here for you! 😊 Hey there! Thanks for asking! I'm functioning at full capacity and ready to help you out. While I don't experience feelings in the way humans do, I genuinely enjoy our conversations and am always excited to learn and assist. How can I support you today? I'm all ears! 🌟 Hello! 🌍 How can I assist you today? Whether you have questions, need help with a task, or just want to chat, I'm here for you! 😊

我们可以看到，虽然我么提问了三次问题，但是缓存数据库里只有两条数据，说明第三次提问，回答是从缓存里走的。