1. 项目背景与核心价值
PDF文档作为企业知识沉淀的主要载体，普遍存在检索效率低、信息孤岛等问题。最近在帮某医疗设备厂商搭建智能问答系统时，我们尝试将2000多份产品手册、技术文档转换为可语义检索的RAG（Retrieval-Augmented Generation）知识库，使非技术人员也能快速获取精准信息。这个过程中积累的实战经验，或许能帮你少走弯路。
传统关键词检索面对专业文档时效果有限，比如搜索"设备报错E205"，可能返回数百个包含"E205"但无关的页面。RAG架构通过向量检索+大语言模型的组合，能理解"与温度传感器相关的故障代码"这类语义查询。下面分享我们趟过的坑和验证可行的技术方案。
2. 技术架构设计
2.1 整体流程分解
graph TD A[原始PDF] --> B[文本提取] B --> C[分块处理] C --> D[向量化] D --> E[向量数据库] E --> F[检索接口] F --> G[LLM生成]2.2 关键组件选型
- 解析工具：PyMuPDF（保留文本位置信息）+ pdfplumber（表格处理）
- 文本分块：采用滑动窗口算法，重叠率15%
- 向量模型：bge-small-zh-v1.5（中文优化版）
- 向量数据库：Milvus（支持动态扩缩容）
- LLM：ChatGLM3-6B（本地化部署）
实测发现，医疗设备文档中的表格占比高达37%，普通解析工具会导致大量数据丢失。我们最终采用组合方案：先用PyMuPDF获取文本坐标，再用pdfplumber提取表格数据，最后人工设计规则进行对齐。
3. 核心实现细节
3.1 文档预处理流水线
class PDFProcessor: def __init__(self): self.text_parser = fitz.open self.table_parser = pdfplumber.open def extract(self, filepath): # 文本层提取 with self.text_parser(filepath) as doc: text_blocks = [{ 'text': page.get_text("blocks"), 'bbox': page.get_text("blocks", clip=True) } for page in doc] # 表格层提取 with self.table_parser(filepath) as pdf: tables = [] for page in pdf.pages: tables.extend(page.extract_tables()) return self._align_blocks(text_blocks, tables)3.2 分块策略优化
针对技术文档特点，我们采用混合分块方式：
- 结构分块：按章节标题（正则匹配"第[一二三四]章"）
- 语义分块：对长段落用SentenceTransformer计算相似度分割
- 表格分块：每个表格作为独立块，补充描述文本
关键参数配置：
chunking: max_length: 512 overlap: 0.15 title_pattern: "第[一二三四]章" min_chunk_size: 1284. 效果提升技巧
4.1 检索增强方案
- 多路召回：同时使用关键词BM25和向量检索
- 重排序：用bge-reranker-large优化结果
- 元数据过滤：文档类型、更新时间等字段
4.2 知识库更新机制
- 版本快照：每次更新生成新的collection
- 增量索引：通过文档指纹去重
- 灰度发布：AB测试不同版本效果
5. 典型问题排查
5.1 表格数据错乱
现象：表格内容被拆分成多个段落
解决方案：
- 优先用pdfplumber提取原始表格结构
- 添加HTML标记保留表格格式
- 在块元数据中标注
type: table
5.2 中英文混合检索差
优化方法：
- 对英文术语建立同义词库（如"CT"对应"计算机断层扫描"）
- 使用多语言向量模型
- 查询时自动扩展术语
6. 性能对比数据
| 方案 | 召回率@5 | 响应时间 | 硬件成本 |
|---|---|---|---|
| 纯关键词 | 42% | 120ms | 1核2G |
| 纯向量 | 68% | 350ms | 4核8G |
| 混合检索 | 81% | 210ms | 2核4G |
实测在医疗QA场景下，混合方案使准确率提升39%，同时通过缓存机制将99%请求控制在300ms内。这套方案现已处理超过15万页PDF，支持日均2万+次查询。
