简介：这份中文医疗对话数据集面向医疗问答系统开发者、NLP算法工程师及医学信息学研究者，可用于构建智能问诊、科室分诊、医疗对话生成等场景的模型训练与评测。资源包共13个文件，以7个csv数据表为主，辅以3个txt说明、1个Python数据处理脚本、1个license与1个md文档，压缩包约144.11MB，目录按科室分文件夹组织，结构清晰便于按需取用。数据覆盖男科、内科、妇产科、肿瘤科、儿科与外科六大科室，累计约79万条问答对，每条记录包含部门、标题、问题与回答四个字段，例如高血压能否食用党参、胃反流就诊建议等真实咨询与回复，可直接用于监督微调或意图分类实验。目前已有150人学习下载，配套脚本可帮助快速完成读取与预处理，适合需要中文医疗语料的中高级开发者参考使用。
1. 中文医疗对话数据：从一份 zip 到能训模型，中间隔着什么
手里拿到一份「中文医疗对话数据集.zip」，第一反应往往是解压、读几条、觉得质量还行，然后直接丢进模型开训。真跑起来才发现，问诊对话和通用闲聊完全是两码事：患者一句话里可能同时塞进症状、时长、既往史和情绪，医生的回复又夹着口语化建议和正式诊断，直接套通用 SFT 模板，模型学出来要么像客服，要么像百度百科。这份数据真正要解决的问题，是把非结构化的医患多轮对话，整理成「指令—回复」或「多轮上下文—目标回复」这种可训练结构，同时保住医学语义不被切碎。它适合做医疗问答微调、分诊意图识别、对话摘要这几类任务的团队，也适合想验证中文长对话建模能力的人。下面按我实际处理这类数据的顺序，把选型、清洗、切分、训练和踩坑讲清楚。
2. 先搞懂中文医疗对话数据的结构：它和通用对话差在哪
2.1 医疗对话的三种常见组织形态
拿到 zip 解压后，目录结构通常跑不出这几类。第一种是单文件 JSON Lines，每行一条完整对话，字段里带dialogue数组，每个元素有role和content。第二种是按科室或来源分文件夹，每个子目录里是若干 txt，一段对话用空行或分隔符隔开。第三种是 CSV，一行一条，question和answer两列，多轮信息被压成单轮。这三种形态决定了后面完全不同的处理路径，所以第一步不是写训练脚本，而是先摸清结构。
我一般会先跑一段统计脚本，把文件数、总对话数、平均轮数、角色分布打出来。这一步能提前暴露很多问题：比如某些文件其实是空的，某些对话只有患者单方面发言，某些「医生」回复其实是自动欢迎语。这些在训练前不处理，后面 loss 曲线会给你脸色看。
import json, os, glob def scan_dialogue(path): stats = {"files": 0, "dialogues": 0, "turns": 0, "roles": {}} for fp in glob.glob(os.path.join(path, "**", "*.json*"), recursive=True): stats["files"] += 1 with open(fp, encoding="utf-8") as f: for line in f: line = line.strip() if not line: continue try: obj = json.loads(line) except json.JSONDecodeError: continue # 跳过坏行，先统计不中断 stats["dialogues"] += 1 turns = obj.get("dialogue", []) stats["turns"] += len(turns) for t in turns: r = t.get("role", "unknown") stats["roles"][r] = stats["roles"].get(r, 0) + 1 return stats print(scan_dialogue("./medical_dialogue"))这段脚本的关键点是容错：真实数据里一定混着坏行，json.JSONDecodeError直接跳过而不是让程序崩掉。roles统计能告诉你角色命名是否统一，有的数据里患者叫patient，有的叫user，有的叫human，不统一后面拼 prompt 会出错。轮数统计则决定你该按多轮建模还是拆成单轮。
2.2 为什么不能直接套通用对话模板
通用闲聊数据的回复通常短、开放、无事实约束。医疗对话不一样，它有强事实性和强责任性。患者说「胸口疼三天了」，医生回复里如果出现剂量、药品名、禁忌，这些 token 的权重和「今天天气不错」完全不是一个量级。直接套 Alpaca 那种### Instruction / ### Response模板，会把医学实体和普通词一视同仁，模型学到的只是句式，不是医学逻辑。
我的做法是保留多轮结构，用角色标记显式区分，并在 system 位置放一句固定的角色约束。这样模型在生成时能感知「我现在扮演的是医生」，而不是随机续写。代价是序列变长，对显存有要求，但医疗场景里上下文恰恰是判断依据，砍掉多轮等于砍掉信息。
2.3 字段对齐：把不同来源统一成一套 schema
不同来源的数据字段名五花八门，训练前必须收敛成一套内部 schema。我一般定义成{"id": str, "department": str, "messages": [{"role": "patient"/"doctor", "text": str}]}。department这个字段很多人会忽略，但它对分诊类任务很有用，而且能在采样时做分层，避免某个科室数据过多把模型带偏。
对齐时要注意两个坑：一是角色映射，user/assistant、human/ai、患者/医生都要映射到统一值；二是空回复和超短回复，比如「嗯」「好的」，这类样本对训练几乎无贡献，反而稀释有效信号，建议在清洗阶段就过滤掉。
3. 清洗与切分：把 zip 变成能喂给模型的样本
3.1 去重、脱敏与噪声过滤的具体规则
医疗对话数据里重复样本比想象中多，尤其是问答对形式的数据，同一个问题可能被不同用户问了几十遍。去重不能只做字符串完全匹配，那样漏掉改写版本。我一般用「问题文本归一化后做 SimHash 或 MinHash」，相似度超过阈值就保留信息量更大的那条。
脱敏是硬要求。真实医患对话里常出现姓名、电话、身份证号、具体住址。哪怕数据声称已脱敏，也要自己再过一遍正则。下面这套规则覆盖了大部分情况，注意手机号和身份证要放在姓名之前处理，否则姓名正则可能误伤。
import re PATTERNS = [ (re.compile(r"1[3-9]\d{9}"), "[PHONE]"), (re.compile(r"\d{17}[\dXx]"), "[ID]"), (re.compile(r"\d{4}[-/年]\d{1,2}[-/月]\d{1,2}"), "[DATE]"), (re.compile(r"[\u4e00-\u9fa5]{2,4}(先生|女士|同志)"), "[NAME]"), ] def desensitize(text): for pat, repl in PATTERNS: text = pat.sub(repl, text) return text参数上，[NAME]这条规则比较激进，可能把「张先生」这类正常称呼也替换掉，但对训练影响不大，反而降低模型复述真实姓名的风险。日期替换要谨慎，如果任务涉及病程判断，日期本身是特征，那就只替换年月日中的具体数字而保留结构，这个要按任务定。
噪声过滤主要针对三类：纯表情、纯标点、以及长度低于阈值的对话。我一般设患者发言少于 4 个字、医生回复少于 6 个字的样本直接丢弃，这个阈值是试出来的，太低留噪声，太高丢数据。
3.2 按轮次切分还是整段保留
这是处理医疗对话时最纠结的一步。整段保留的好处是上下文完整，模型能学到「追问—补充—诊断」的推理链；坏处是长对话可能上千 token，训练成本高，而且早期轮次的信息对最终回复贡献有限。
我的经验是分任务走：做问答微调就按「最后一轮医生回复」为目标，前面所有轮次作为上下文；做意图识别就把每一轮患者发言单独切出来打标签；做摘要就整段进整段出。切分时一定要保留角色顺序，不能打乱，否则模型学到的对话逻辑是错的。
def build_sft_samples(dialogue, max_turns=6): samples = [] msgs = dialogue["messages"] # 从后往前找医生回复作为目标 for i in range(len(msgs) - 1, -1, -1): if msgs[i]["role"] == "doctor": context = msgs[max(0, i - max_turns):i] if not context: continue samples.append({ "context": context, "target": msgs[i]["text"], "department": dialogue.get("department", "unknown") }) break # 一条对话只取最后一个医生回复 return samplesmax_turns控制上下文窗口，设 6 是我在显存和效果之间找到的平衡点，对话特别长的可以调到 8 或 10，但要同步看显存占用。break那里只取最后一个医生回复，是为了避免同一条对话生成多个高度相似的样本导致过拟合。
3.3 训练集/验证集划分的隐藏陷阱
随机划分在医疗数据上会翻车。同一个患者的多条对话、同一个模板生成的问答，如果被分到训练集和验证集两边，验证指标会虚高，你以为模型学会了，其实它只是记住了。正确做法是按「来源」或「患者 ID」分组划分，保证同一组数据只出现在一边。
如果数据里没有患者 ID，退而求其次按「问题文本的相似簇」划分，把相似问题聚成一簇，整簇分到同一侧。这个操作多花半小时，但能让你对模型真实能力有准确判断，避免上线后被打脸。
4. 微调实操：从数据到可对话模型的完整链路
4.1 对话模板与特殊 token 的设置
模板设计直接决定模型能不能分清角色。我常用的格式是在开头放 system，然后按轮次交替，用明确的角色前缀。关键是这些前缀要作为普通文本参与训练，不要指望模型自己领悟。
SYSTEM_PROMPT = "你是一名专业医生，请根据患者描述给出严谨、负责的建议，不确定时建议就医。" def format_sample(sample): parts = [f"<|system|>{SYSTEM_PROMPT}"] for m in sample["context"]: role = "患者" if m["role"] == "patient" else "医生" parts.append(f"<|{role}|>{m['text']}") parts.append(f"<|医生|>{sample['target']}") return "\n".join(parts)这里用<|角色|>这种特殊标记，训练时要把它们加进 tokenizer 的 special tokens，否则会被拆成多个子词，角色边界就模糊了。加 special token 后记得 resize embedding，不然新 token 的向量是随机初始化的，需要更多步才能学好。
4.2 LoRA 微调的关键参数怎么设
全量微调医疗对话模型对多数团队不现实，LoRA 是更实际的选择。核心参数就几个：r、lora_alpha、lora_dropout、target_modules。r我一般从 8 起步，数据量大、任务复杂就上 16 或 32；lora_alpha通常设成r的两倍；lora_dropout在数据量小时设 0.1 防过拟合。
target_modules要覆盖注意力层的 q、k、v、o 投影，只挂 q、v 效果会打折。学习率比全量微调大一个量级，1e-4 到 2e-4 之间试，太大容易把预训练知识冲掉，表现为回复变得通顺但医学内容胡说。
from peft import LoraConfig lora_config = LoraConfig( r=16, lora_alpha=32, lora_dropout=0.1, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], bias="none", task_type="CAUSAL_LM" )bias="none"是省显存的常规选择，除非你发现模型对角色标记不敏感，再考虑开lora_only。训练轮数上，医疗对话数据通常 2 到 3 个 epoch 就够，再多验证 loss 会回升，这是过拟合的典型信号。
4.3 训练中该盯哪些指标
光看 loss 不够。医疗对话要额外盯两个东西：一是生成回复里医学实体（药名、症状、科室）的出现是否合理，二是回复长度分布是否和训练数据接近。如果模型开始输出超长回复，往往是模板里目标回复没截断干净，或者 padding 处理有问题。
我习惯每半个 epoch 抽几条验证样本人工看一遍，重点看模型有没有编造不存在的药品或疗法。这个动作没法自动化，但能提前拦住最危险的问题。指标上，perplexity 下降但人工看变差，说明模型在拟合表面模式，这时候该停下来检查数据质量，而不是继续加步数。
5. 避坑与排查：处理医疗对话数据时最容易翻车的五件事
5.1 现象：模型回复全是「建议就医」，没有实质内容
原因通常是训练数据里这类安全话术占比过高，模型学到了最省力的模式。解决方法是统计回复模板的分布，对高频套话做下采样，或者在 loss 上对这类样本降权。更根本的是补充有具体建议的样本，让模型看到「建议就医」之外还有别的合理回复。
5.2 现象：验证 loss 很低但实际对话答非所问
这是数据泄漏的典型表现。同一模板生成的问答被分到了训练和验证两侧，模型记住了模板而不是学会了推理。排查方法是检查验证集样本和训练集的文本相似度，超过阈值的挑出来看来源。解决就是按来源分组重新划分，宁可验证集小一点也要干净。
5.3 现象：模型把患者和医生的角色搞反
原因多半是角色标记没加进 special tokens，或者模板里角色前缀不一致。排查时把一条训练样本完整打印出来，看 tokenize 之后角色标记是不是被拆碎了。解决是统一角色命名，把标记注册为 special token，并确认 embedding 已 resize。
5.4 现象：长对话训练时显存爆掉
医疗对话轮数多，序列长度容易超。直接截断会丢关键信息，尤其是病程描述。解决是用滑动窗口构造样本，或者对超长对话做摘要后再训练。另一个常被忽略的点是 padding 策略，动态 padding 比固定长度 padding 省显存，配合packing还能提升吞吐。
5.5 现象：脱敏后模型仍然输出真实姓名
说明脱敏规则没覆盖到，或者数据里存在规则外的表达方式，比如昵称、拼音。排查方法是拿脱敏后的数据再跑一遍姓名识别，看有没有漏网。解决是补充规则，同时在训练目标里对包含[NAME]的样本正常对待，让模型学会这个占位符就是人名位置，而不是去猜真实姓名。
6. 进阶技巧：用分层采样和回复长度控制提升医疗对话质量
数据清洗完之后，还有一个容易被忽略的环节：采样策略。医疗对话数据天然不均衡，内科、皮肤科这类常见科室样本多，罕见科室样本少。如果直接随机采样，模型在罕见科室上的表现会很差。我的做法是按department分层，每个科室设一个采样上限，超出部分降采样，不足的通过同义改写做轻度增强。这样训练集分布更均匀，模型不会变成「只会看感冒」。
回复长度控制是另一个实用技巧。医疗回复太短显得敷衍，太长又容易夹带不确定信息。可以在构造样本时统计目标回复的长度分布，把过长和过短的样本单独拿出来看，过长的截断到合理长度，过短的考虑合并或丢弃。训练时也可以在生成阶段加长度惩罚，但更根本的是让训练数据本身的长度分布合理。
验证模型是否真的学到了医学逻辑，我有个笨办法但很有效：准备一组「同症状不同病史」的对照问题，看模型回复是否随病史变化。如果回复几乎一样，说明模型没利用上下文，只是在套模板。这个测试比看 loss 曲线直观得多。
最后说个我自己的习惯。每次处理完一份医疗对话数据，我都会留一份「脏数据样本」不删，单独放一个文件夹。不是为了训练，是为了下次遇到类似问题时能快速对照，看看是新数据的坑还是老问题复发。医疗数据这行，后悔药没有，但黑匣子可以自己留。希望帮到你。
本文还有配套的精品资源，点击获取
