Llama Factory+LangChain：打造企业知识库问答系统-平芜编程栈

Llama Factory+LangChain：打造企业知识库问答系统

作为一名IT咨询顾问，我经常遇到客户希望将内部文档转化为智能问答系统的需求。最近接到一个紧急任务：客户需要在两天内看到可演示的成果。经过调研，我发现Llama Factory结合LangChain的方案能快速实现这一目标，下面分享我的实战经验。

这类任务通常需要GPU环境，目前CSDN算力平台提供了包含该镜像的预置环境，可快速部署验证。Llama Factory是一个开源的低代码大模型微调框架，支持多种主流模型；而LangChain则擅长文档处理和问答流程编排，两者结合能快速搭建企业知识库系统。

为什么选择Llama Factory+LangChain方案

在时间紧迫的情况下，这个组合有三大优势：

开箱即用：预装了Qwen、ChatGLM等常见模型，省去环境配置时间
文档处理自动化：LangChain能自动切分、向量化企业文档
可视化界面：Llama Factory提供Web UI，方便演示和调试

我实测下来，从零开始到完成基础问答系统部署，整个过程可以在4小时内完成。对于咨询演示场景，这完全能满足两天的时间要求。

快速部署环境

在GPU环境中拉取预置镜像（包含Llama Factory和LangChain）

bash docker pull csdn/llama-factory-langchain:latest

启动容器并暴露Web界面端口

bash docker run -it --gpus all -p 7860:7860 -p 8000:8000 csdn/llama-factory-langchain:latest

访问两个关键服务：
Llama Factory Web UI:http://<服务器IP>:7860
LangChain API:http://<服务器IP>:8000/docs

提示：如果使用云平台，记得在安全组中开放7860和8000端口。

准备企业文档数据

将客户提供的文档（PDF/Word/Excel等）放入指定目录：

mkdir -p /data/company_docs # 上传文档到此目录

LangChain支持以下常见格式： - PDF - Word(.docx) - Excel(.xlsx) - PowerPoint(.pptx) - 纯文本(.txt)

配置知识库问答系统

在LangChain中创建文档处理流水线：

from langchain.document_loaders import DirectoryLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS # 加载文档 loader = DirectoryLoader('/data/company_docs') documents = loader.load() # 切分文档 text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) texts = text_splitter.split_documents(documents) # 创建向量库 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = FAISS.from_documents(texts, embeddings) vectorstore.save_local("/data/vectorstore")

在Llama Factory中选择合适的模型：
中文场景推荐Qwen-7B或ChatGLM3-6B
显存有限时可选择Qwen-1.8B
配置问答链：

from langchain.chains import RetrievalQA from langchain.llms import HuggingFacePipeline # 加载Llama Factory中的模型 llm = HuggingFacePipeline.from_model_id( model_id="Qwen/Qwen-7B-Chat", task="text-generation", device=0 ) # 创建问答链 qa_chain = RetrievalQA.from_chain_type( llm=llm, retriever=vectorstore.as_retriever(), return_source_documents=True )

测试与优化问答效果

通过Web界面测试问答效果时，我总结了几个实用技巧：

提示词工程：在问题前加入"根据以下上下文回答："能显著提升准确性
分块大小：技术文档建议500-800字符，合同类文档建议300-500字符
温度参数：演示环境设为0.3-0.5可平衡创造性和稳定性

常见问题及解决方案：

回答与文档无关：
检查向量库是否成功创建
调整检索返回的结果数量(top_k)
显存不足：
换用更小的模型如Qwen-1.8B
减少max_new_tokens参数值
处理速度慢：
启用量化(8bit/4bit)
限制并发请求数

进阶功能与演示准备

为了让演示更出彩，我通常会准备以下功能：

历史对话：使用ConversationBufferMemory实现多轮对话
溯源功能：展示回答引用的具体文档段落
批量测试：准备10-20个典型问题展示系统能力

关键代码片段：

# 添加对话记忆 from langchain.memory import ConversationBufferMemory memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True) # 增强版问答链 qa_chain = ConversationalRetrievalChain.from_llm( llm=llm, retriever=vectorstore.as_retriever(), memory=memory )