南京中医药大学团队提出两阶段训练框架，用GPT-4o传授中医知识，轻量BART模型提供隐式反馈，使大语言模型在中医处方推荐中首次实现高准确性（F1@30达37.36%）与完整辨证解释链的统一。研究通过知识蒸馏和隐式偏好优化，提升模型解释性与泛化能力，为AI辅助中医诊疗提供新思路。
🔥导语：AI开中药方，如何既精准又讲得清“君臣佐使”的配伍逻辑？传统方法常陷于“黑箱”推荐与缺乏中医理论解释的两难。南京中医药大学团队提出全新思路：先让GPT-4o扮演“名老中医”进行知识传授，再用轻量BART模型模拟“临床质检”提供隐式反馈，通过两阶段训练框架，使大语言模型在中医处方推荐任务中，首次实现准确性（F1@30达37.36%）与完整辨证解释链的有机统一。
文章标题：《Reinforcement learning for LLM-based explainable TCM prescription recommendation with implicit preferences from small language models》
发表期刊：Chinese Medicine (IF=5.7)
Online时间：2025-11-11
摘要：
研究针对中医药方剂推荐中解释性不足与准确性不高的问题，提出了一种两阶段训练框架。第一阶段采用GPT-4o作为教师模型，解析结构化中医临床病历，生成包含“症状分析-处方推荐-处方解释”三段式逻辑链的高质量样本，并通过LoRA对Qwen2.5-7B进行知识蒸馏微调，使其具备可解释输出能力。第二阶段训练一个轻量级BART模型，学习症状到方剂的映射关系，将其输出作为隐式偏好信号，与大型模型的输出进行比较构建偏好对，采用直接偏好优化进一步对齐模型。实验结果表明，该模型在P@30和F1@30上分别达到35.62%和37.36%，显著优于多个基线模型。知识蒸馏提升了解释性与泛化能力，隐式偏好强化进一步将F1@30提升2.01%。
研究背景：
中医药强调“辨证论治”，中医理论高度抽象、治疗策略个体化强，从大规模异构临床数据中提取既符合中医理论又具有解释性的处方推荐逻辑仍是一大挑战。
大语言模型在中医药知识问答、诊断推理和处方推荐等任务中具有潜力，但仍存在以下问题：
- 结构化知识与可解释推理融合不足，难以生成具有完整逻辑链的处方;
- 监督训练目标单一，仅拟合现有数据，缺乏对生成"高质量处方"的显式引导;
- 强化学习策略在中医药诊断任务中缺乏明确稳定的奖励机制，导致模型临床性能提升不可靠。
研究方法：
研究提出一种两阶段训练框架，结合基于知识蒸馏的监督微调和基于轻量模型的隐式偏好驱动强化学习。
- 基于知识蒸馏的监督数据生成与监督微调
- 教师模型与数据生成：选用GPT-4o作为教师模型，通过设计结构化指令模板，引导其解析中医病历，生成包含“症状分析—处方推荐—处方解释”的三段式输出，构建高质量监督训练数据集。生成过程采用少样本提示，确保输出符合中医理论逻辑。
- 学生模型与微调：选择Qwen2.5-7B作为学生模型，该模型在中文理解与生成任务上表现优异，并通过RoPE、SwiGLU、RMSNorm等技术优化。采用LoRA进行微调，仅更新部分低秩参数，以高效吸收教师模型的诊断推理与临床知识，提升其在结构化输出任务上的性能。
- 基于BART的隐式偏好建模与DPO强化优化
- 隐式偏好获取：训练一个轻量级BART模型，学习从症状到方剂的映射关系。该模型参数规模较小（约4.06亿），在有限数据上能有效学习医学案例中的语义信息。使用GPT-4o对训练集中的症状描述进行数据增强，生成多样化的症状变体，输入知识蒸馏模型生成候选处方。将候选处方与BART模型生成的参考处方进行比较，通过计算F1分数构建“选中-拒绝”偏好对。
- 强化学习优化：采用直接偏好优化方法对Qwen2.5-7B模型进行进一步微调。DPO直接基于偏好对优化模型参数，无需训练额外的奖励模型或进行复杂的策略采样，简化了训练流程并增强了稳定性。其损失函数旨在提高模型生成偏好响应的概率，同时降低生成非偏好响应的概率。
图1 模型构建和训练工作流程概述
图2 用于输出生成的指令模板
图3 偏好引导的强化调整框架
实验设计：
- 数据集
- 数据来源：江苏省中医院、南京国医堂诊所等权威机构。
- 内容：真实世界中医临床记录，包括主诉、症状描述、中医诊断和对应草药处方。
- 处理：筛选出初诊记录完整、无重复、关键信息无缺失的高质量医案约3700例。处方中包含520种独特草药，平均每方20味，最多达41味。
- 预处理：将处方中草药按全局频率降序排列，以确保序列表示的一致性。
- 划分：按8:2划分训练集与测试集。
- 评估指标
- BLEU：衡量生成文本与参考文本在n-gram精度上的匹配程度。
- ROUGE（包括ROUGE-1、ROUGE-2、ROUGE-L）：衡量生成文本与参考文本在召回率上的相似性。
- P@k, R@k, F1@k：基于排序的评估指标，衡量模型在前k个推荐项中准确预测参考处方中草药的能力。
- 基线模型
- 中医药领域模型：Huatuo-o1:7B, ShenNong, Lingdan-PR
- 通用大模型：GPT-4o, DeepSeek-V3, DeepSeek-R1:70B, QWQ:latest:32B, LLaMA3.1-8B, Qwen2.5-7B
- 传统检索与统计模型：TFIDF-kNN, SimCSE-kNN, FR-Post
- 实验设置：
- 硬件：Intel Xeon Gold 6430 CPU，4×NVIDIA L20 GPU（48GB）。
- 软件：CUDA 12.8, Python 3.12, PyTorch 2.5.1等。
- 微调：LoRA学习率5e-5，秩=8，alpha=16，应用于最后两个隐藏层。
- 训练：知识蒸馏阶段训练50轮，批次大小6；DPO阶段训练1轮，批次大小2，β=0.5。
- 推理：温度=0.95，top-p=0.70。
结果与分析：
- 与基线模型比较
- 所提模型（KD+DPO）在所有评估指标上均显著优于所有基线模型。
- 精度（P@k）：P@5达56.98%，P@10达49.73%，P@30达35.62%，远超最佳基线QWQ。
- 召回率（R@k）：R@5达14.53%，R@10达25.15%，R@30达39.29%。
- F1分数（F1@k）：F1@30达37.36%，较最佳基线提升近24个百分点。
- 结果表明，该框架在推荐核心草药和覆盖实际处方关键成分方面均表现出色。
表1 处方推荐结果对比
- 知识蒸馏效果分析
- 知识蒸馏模型在P@10、P@30、R@30、F1@30等指标上均优于直接训练模型，表明其能更好地捕捉底层推理模式，泛化能力更强。
- 在BLEU-4和ROUGE-1上，知识蒸馏模型得分更高，说明其生成文本与参考处方的词汇重叠度和句法一致性更好。
- 在外院数据集上的测试表明，知识蒸馏模型具有更优的跨机构泛化能力。
表4 处方推荐结果对比
表5 监督微调结果比较
图11 处方推荐性能的箱线图比较
- 隐式偏好强化学习效果分析
- 加入DPO强化学习后，模型在P@30、R@30和F1@30上较单纯知识蒸馏模型分别提升约1.58%、2.51%和2.01%，且差异具有统计学显著性。
- DPO训练过程中，偏好响应的奖励值显著高于非偏好响应，表明DPO能有效引导模型区分输出质量。
- 实验发现，当偏好数据集规模达到100%且β=0.5时，模型性能最佳。
图13 DPO强化学习过程中的奖励参数趋势
表8 处方推荐结果对比
表9 处方推荐结果对比
- 案例研究与专家评估
- 案例显示，所提模型能生成包含完整症状分析、处方推荐和解释链的输出，而BART和直接训练模型仅输出处方序列，缺乏解释性。
- 专家对20个测试案例进行评分，平均分为3.75（满分5），多数评分为4，表明专家对模型输出总体持肯定态度。
- 错误分析显示，主要错误类型为“诊断与分析错误”，部分源于模型在定位受累脏器系统时存在局限。
表11 案例分析比较
论文总结：
✅ 优点：
模型不仅推荐方剂，还提供辨证分析，符合中医临床思维；
利用轻量模型生成偏好信号，缓解中医药标注数据稀缺问题；
框架不依赖特定大模型，具备较好迁移性。
⚠️ 局限：
未整合经典文献、舌象等多源信息；
BART输出可能未完全反映临床真实偏好；
方剂结构解释尚有提升空间。
🚀 未来方向：
融合中医知识图谱、草药相互作用规则；
引入多模态数据（舌象、脉象）；
构建多维度偏好评价体系，融入专家判断与安全性约束。
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
