news 2026/7/3 22:58:24

Naive RAG 到Advanced RAG 的优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Naive RAG 到Advanced RAG 的优化

**Naive RAG 与 Advanced RAG 的核心区别在于:**Naive RAG 只是“取相似段落 + 拼接给大模型”,而 Advanced RAG 则引入多层过滤、压缩和知识增强,使检索更准、上下文更干净、回答更可靠。Naive RAG 使用单次向量检索,容易受到噪声片段、长文档稀释和幻觉影响;Advanced RAG 则通过多路召回(BM25 + Embedding)、段落切分优化、ReRank 重新排序、Selective Context/LLMLingua 压缩无关信息,以及检索后推理(ReAct / GraphRAG / Query Rewrite)来保证模型只看到最有用、最精炼的知识,从而大幅提高准确率、减少幻觉并显著降低 Token 成本。

**简单说:**Naive RAG 是“把文档喂给模型”,Advanced RAG 是“挑最 relevant + 最精华的上下文,让模型以最小的成本说最正确的话”。

Advanced RAG的索引优化

检索前的优化

  • **数据粒度优化:**修订简化内容确保正确性,删除不相关信息消除歧义,维护上下文连贯性

  • 优化索引结构:

    • chunk大小调整:根据场景特性动态切割文本,过大导致噪声增加,过小丢失上下文关联
    • 图数据索引(知识图谱):建立节点关系网络实现跨索引查询,如感冒药有哪些副作用?查询场景中,先用问题丢给向量数据库得到一些文档,再通过图谱找到"感冒药1/2/3"相关的知识,把这些知识丢给向量数据库再得到一些文档,最后把这些文档融合到一起,在丢给大模型给我们回答

  • 层级索引构建:构建多层索引结构以提高检索效率,先生成文档摘要层(20字代替1000字),快速定位后再精查具体chunk

  • **加入元数据信息:**如对会议纪要、新闻等时效数据标注日期,标题等加入元数据
  • **混合检索与对齐优化:**对一份文档预设用户可能会提问的问题,用户查询时,先把用户的问题对文档预设问题进行相似度的检索,这和多层索引有点像(多层索引是提炼文档的摘要,这里是提炼可能会问的问题)

检索中的优化

  • 微调Embedding模型:利用特定场景的语料去微调embedding模型将知识嵌入到模型中,但比较少用
    • 领域适配微调:使用金融/医疗等垂直语料微调向量模型,提升专业术语捕捉能力
    • 冷启动方案:先用通用模型检索,积累足够数据后再进行微调迭代
    • 效果边界:当领域术语占比超30%时建议微调,否则可能带来过拟合

检索后的优化

  • **ReRank机制:**用BERT等模型对Top100结果重排序,比如拿到前3个最相关
  • **Prompt Compression:**对ReRank机制后的3个结果,再进行压缩无关上下文、突出关键段落、减少整体上下文长度,Selective Context (利用小模型(或稀疏模型)对文本进行片段级评分)和 LLMLingua (LLMLingua 是由微软发布的一种 大模型 Prompt 压缩框,利用小模型对文本做逐句重要性评估)等方法利用小语言模型来做
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/1 1:54:19

Git tag打标签标记PyTorch里程碑版本

Git Tag 标记 PyTorch 里程碑版本:从代码到环境的全链路版本控制 在深度学习项目中,最让人头疼的往往不是模型结构设计或调参技巧,而是“我这边能跑,你那边报错”这类环境不一致问题。明明用的是同一个训练脚本,却因为…

作者头像 李华
网站建设 2026/7/1 1:27:55

企业软文推广的定心丸:如何精准锁定“包收录”媒体资源?

在当前数字营销领域,软文发稿已成为品牌建立信任、实现长效增长的重要方式之一。然而,不少企业会遇到这样的困扰:精心准备的内容发布后,在搜索引擎中却难以被找到,导致推广效果大打折扣,无法积累长期价值。…

作者头像 李华
网站建设 2026/6/29 11:53:50

PyTorch Batch Normalization批量归一化详解

PyTorch Batch Normalization批量归一化详解 深度神经网络在图像分类、目标检测等任务中表现卓越,但随着模型层数加深,训练过程却变得愈发不稳定。你是否曾遇到过这样的情况:明明结构设计合理,学习率也调得不错,可模型…

作者头像 李华
网站建设 2026/6/30 1:43:56

Docker build构建自定义PyTorch镜像

Docker 构建自定义 PyTorch 镜像:打造高效、一致的深度学习开发环境 在现代 AI 项目中,一个常见的痛点是:“代码在我机器上跑得好好的,怎么一换环境就出问题?”——依赖版本冲突、CUDA 不兼容、Python 环境混乱……这些…

作者头像 李华
网站建设 2026/6/25 19:00:17

大模型,正在杀死通用Agent

2025年,全球科技圈最火的“热词”,可能非AI Agent莫属。从西雅图的科技峰会到北京的创业孵化器,这个词如同野火燎原,点燃了无数从业者和投资人的热情。中国的AI公司,更是以前所未有的速度崛起,推出了Manus、…

作者头像 李华
网站建设 2026/6/29 0:44:17

北京一颗种植牙价格是多少钱

北京种牙费用哪家好:专业深度测评开篇:定下基调在北京,种植牙已成为许多缺失牙齿患者的首选修复方式。然而,种牙费用因医院、医生、技术等因素而异,让许多患者感到困惑。本次测评旨在为对北京种牙费用感兴趣的人群提供…

作者头像 李华