本文详细介绍了RAG技术中文档预处理的关键步骤和技巧。首先强调了文档预处理的重要性，能有效避免检索不相关内容和减少模型幻觉。然后介绍了三种文档处理形式：自动分段与清洗、自定义分段和按层级分段，并提供了关键处理技巧。最后针对文档中图像的处理提出了三种方法：图像注释标注、OCR技术和图像理解模型，帮助提升RAG系统的处理效率和精确度。
接下来我们通过一张图来了解 RAG 的数据处理过程和存在形式，如下图所示：
从上图中，我们不仅可以清晰掌握 RAG 的数据处理流程，还能发现 AI 外挂的知识库通常以向量数据库形式存在。因为我们在[大模型（AI)生成原理]中提到，LLM 中的 Token 单词表也是以向量化形式存在的。这样做的好处是，当我们将用户的问题和搜集到的资料打包发送给大模型时，能提升大模型处理的效率和精确度。
在将公司知识文档存入 RAG 之前，也有两个必不可少的步骤：文档预处理和 Embedding，接下来我们就正式进入今天主题。
一、为什么要做文档预处理
RAG 的重中之重，是对 Embedding 之前的文档做预处理。若不做预处理直接进行向量化存储，会存在以下两个问题：
1.每次有问题进来搜索，都会召回很多大而全的资料，其中部分资料与问题并不相关，既耗费 Token，也不利于节省成本。
2.大量资料涌入后，其中既有答案也有非答案内容，大模型可能会检索到非答案部分，进而产生幻觉。
二、如何进行文档预处理
- 文档处理的三种常见形式
1）自动分段与清洗：按照字符数分段，容易截断关联信息，一般不建议采用。
2）自定义：自定义分段符和字符数，可控性高、效果最佳，但需要对分段前的文档做预处理。
3）按层级分段：保留标题级别和层级，对长文档友好。
- 文档处理的关键 Tips
1）分段内容被检索召回后会进入对话上下文，过长的段落切分方式有助于生成更优答案，但会消耗大量 Token，需要做好取舍。
2）“纯答案” 型资料需要补充相关问题背景，因为 Embedding 后的查询过程不具备大模型的语义识别和推理能力，可能无法匹配到 “答案” 与问题的相似性。
3）按层级分段时，可以选择保留层级索引。需要注意层级信息（一般是级别标题）的语义表达，若层级信息具备明确的问题导向，可能导致整个文档的所有分段被检索到，进而造成大量 Token 消耗或回答不准确（真正的答案可能未被召回）。
文本类 Embedding 只能处理文字信息，文档中包含的图片会被忽略。此外，在部分 Embedding 项目中，若导入含图片的 Word 文档，图片会被转成 base64 码，消耗大量 Token。因此，当文档中包含图片时，也有对应的处理方式来提高处理效率和精确度。
- 图像的三种处理方式
推荐：对图像以注释形式进行标注解释，用于向量检索和模型理解，例如：【附图：模型在 XX 的测评得分】(https://url)
使用 OCR 技术识别图片内容，转存为文字形式后进行向量嵌入。
使用图像理解模型理解图片内容后进行向量嵌入（一般不推荐，因为大模型对图片或图表型内容的理解偏差非常大）。
需要注意的是，图像无法被大语言模型直接输出，需上传到图床手动处理后，将纯图片类内容转成 Markdown 格式或标签，再以文本形式存储。
文末我会附上经过处理后的文档示例，供大家参考，希望能对大家在 RAG 的建设和使用过程中提供帮助。
最后
我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包：
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型？
人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。
资料包有什么？
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**
