1.关于RAG的说明
现在呢肯定是需要跟他去交互，那这个交互的输入，那我们就称他叫提示词了，那如果呢，一交互发现效果挺好，那没问题，直接我们就落地啊，使用这样的一个反馈就可以了，但如果效果不好的话呢，我们就需要呢优化提示词，这呢就对应了我们前面讲的这个提示词工程啊，叫 prompt engineering 啊，简称呢叫 PE 啊，你说我在公司里边做 PE 的，主要呢就是写这个提示词的，OK，这呢是我们说优化学习词的这个事情，
然后接着往后走的话呢，如果这个效果比较好的呢，直接也落地啊，如果不好，这时候要分析原因啊，比如说呢，我想查询天气啊然后我想查询一些股票啊等等这样的场景呢，我们就需要来调用工具，那毫无疑问，调用工具的事啊，就是由 Agent 来去做的，那一会我们讲 Agent 的时候呢，大家就比较清楚了，所以呢直接就往 Agent 这块去走，那如果不是因为缺少工具造成的啊，因为呢这个，你这个提示词里边啊，没有一些相关的示例啊，那这时候我们就可以提供一些示例啊，这呢就我们前面讲这个叫 few shot 这个问题，那通常我发现呢，提供示例以后呢，这个提示词啊，针对这个大模型给到以后呢，大模型的反馈通常会更好一些，我们就一道提示提供这个示例的问题了，OK，这呢是一条线，
另外一条线呢，如果是缺乏这个啊，相关的参考资料啊，你比如针对于当天这个月份的啊，当天这个年份的啊，你不可能这块一上来我们就开始就重新的去微调模型了啊，针对于这个新的一些语料的话呢，我们这块呢可以考虑的就是 rag， 因为咱们知道这个模型的训练它都会有一个截止时间，比如说截止到 2025 年的这个 12 月底，那么 1 月份的这个知识呢，它就没有是吧，那我们就可以通过这个 rag 的方式来给它去做这个补充。好，这呢就我们提到这个事情，一会呢我们就先来讲它，那这个呢，如果效果好当然就落地了，效果不好的话，我们通常的话呢，这时候呢就再去结合这个叫 agent 的了啊，不是说呢，我们这个 rag 不好，我们接着就再去找微调，哎，这个 rag 和微调呢，其实它还是两个方向的问题啊，一个是缺少这种垂类行业的语料或者是最新的一些语料啊，另外呢就是关于这个回复的这种格式啊，是吧，这个这个交互的这种效果呀，哎，这种感觉呢，稍微的欠妥一点啊，不是那么精准，那这时候我们考虑的是一个微调的事情啊，拿一些有标注的数据啊，这个我们重新再去给它再去做一个 sft
好，那么这个的话呢，就回到我们刚才说的这块，提供示例后呢，发现效果还一般，我们就需要来做微调，微调效果还不好啊，这一方面的话呢，我们就去结合Agent，另外一方面的话呢，可能有必要我们就得需要做这个续训啊，那这个续训的话呢，它在这个数据量啊，相对来说就更大一些，那一会我们也会提到这个微调的话呢，最起码啊，最最起码的得是 500 条以上的有标注的数据，当然我们这也需要看具体的场景，一会来说，那大体上来讲的话，一般一提到微调呢，就是大几千条数据得有啊，而或者说过万的这个数据，
而这个续训这个事的话呢，其实特别像我们最开始讲的哎，叫 pre training 是吧？哎，预训练这个过程这块呢，使用的是无标注的这个数据，那相对的数据量会更大一些，基本上起步呢，都是 10 万起的这种数据量，OK，这呢就我们整个说的这样一个过程啊，这个续训呢，相当于还是对整个这个模型在一开始啊，这个层面的有点像于训练了啊，来预测下一个 token 这个层面的，这样的一个就是学习海量知识的这个事情啊，好，那这呢，如果效果还不好啊，这会再去结合这个Agent啊，
哎，那其实在这里边的话，有一个啊，一会我们会讨论一个问题啊，那比如说我们走到这个环节以后，那我们是先考虑这个尝试微调呢，还是先考虑这个尝试续训呢啊？就如果呢这个微调以后效果比较好的话呢，当然呢就直接就走了，毕竟呢这个成本比较低，那我们用一张 100 的这个显卡或者这个 800 的显卡呢，可能就够用了啊，但是如果说你要是尝试这个续训的话，这个数据量就比较大，而且使用的这个资源也会比较多，所以呢从这个角度上来讲，咱们可能会考虑呢，先去做这个微调啊，但是这里边大家要考虑一个问题啊，就是我们微调这块呢，是针对于哎这个模型，我们进行的这个啊，有标注的这个数据呢，做了一些调整啊，那这个微调以后呢，如果我们再发现呢效果不好，又去做这个续训了，通常大家会发现呢，续训完以后啊，这个模型它就会把你之前微调的这样的一些效果呢，就给直接给破坏掉了哎，所以呢，如果你确定我们需要呢做这个续训和这个微调的话啊，也就说呢，明显你当前这模型，比如说我们拿的这个 Deepseek 这个模型啊， 32B 的，那在你哎相当于想使用的这个垂类领域里边，你发现呢它缺的这个语料呢比较多，这块呢建议大家就先别考虑微调了，你上来呢就先去做这个续训的事情，这个续训做完以后，相当于给它补充了海量的一些知识啊，这个你相应的这个垂类方面的，然后补充完这个知识以后的话呢，你再去交互发现效果，哎，确实还不行，你在这个基础之上呢，再去做这个微调，哎，这样去处理啊，就我这块话呢是说我们微调以后呢未必需要续训，但如果确定的是要续训的情况下，建议呢是先续训后微调。
