舌诊看舌头，是中医望闻问切里信息量最大的一步。我这段时间一直在折腾基于 YOLO 和 AI 大模型的舌象诊疗专家系统，核心思路很简单：把传统中医舌诊里“舌质颜色、舌苔厚薄、齿痕裂纹”这些靠眼睛观察的经验，转成计算机视觉能处理的目标检测任务，再交给大模型结合中医理论生成结构化诊断建议。整个系统做下来，最大的感受是：技术难点反而不在模型本身，而在数据规范、特征映射和结果可控性这三件“脏活”上。
这篇文章把整个项目的思路、代码方案、踩坑过程和实测参数完整记录下来，适合想入手中医智能硬件、医疗AI辅助诊断，或者纯粹对“传统知识+深度学习+大模型”这套组合拳感兴趣的人。不管你是做开发的、搞数据的，还是只是想给家里老人做一个舌诊工具，都能从里面找到可直接复用的经验。
1. 项目全景与系统架构的取舍
1.1 这个系统到底想解决什么问题
中医舌诊有一个很尴尬的现状：医生看得准不准，全凭个人经验和现场光线。同一个舌象，上午看和下午看结论都可能不一样，更别提不同医生之间的差异了。年轻人找中医，最怕的就是对方扫一眼就开方，完全不知道为什么。这套系统想解决的，就是“舌象怎么被客观记录、自动化分析、规范化解读”这件事。
我做的这个舌象诊疗专家系统，定位不是替代中医师，而是做一个“可量化、可追溯、可复现”的辅助工具。用户用手机拍一张舌象照片，系统先通过 YOLO 检测出舌头所在区域，再进一步分析舌质颜色、舌苔颜色与分布、齿痕、裂纹等关键特征，最后把结构化结果传给大语言模型，让它结合内置的中医辨证知识库输出参考结论。
从使用场景来看，它适合三类人：一是觉得自己湿气重、上火、脾虚但不知道怎么看舌头的人；二是中医门诊做初步筛查的助理工具；三是做健康管理App、体检中心想在中医板块增加差异化功能的产品团队。这套方案最值钱的地方，不在于算法有多先进，而在于把中医里那些模糊的形容词，比如“淡红”“薄白苔”“齿痕明显”，变成了可以量化和校验的中间结果。
1.2 为什么选“YOLO + 大模型”而不是端到端方案
立项的时候我纠结过两个方向。第一个方向是直接用端到端的图像分类模型，输入一张舌头照片，直接输出“脾虚湿盛”这种结论。听起来很性感，但实际做起来有两个致命问题：一是中医证型组合千变万化，一个舌象可能对应七八种体质，直接用分类标签根本列不全；二是模型解释性太差，输出一个“瘀血体质”给用户，医生问为什么，模型答不上来，这个产品就没有说服力。
第二个方向就是现在采用的“两段式流水线”：先用 YOLO 做舌体检测，再用传统计算机视觉方法做特征量化，最后让大模型基于结构化特征做推理。这个架构最大的好处是中间过程全部可见、可审计。检测框可以直接展示给用户看，舌质颜色数值是从像素统计里算出来的，大模型输出时还会引用这些特征作为依据。这种透明的处理链路，对医疗相关产品来说非常重要——即便出现误判，我们也能追踪到是哪一步出了问题。
另一个现实考量是数据成本。端到端模型需要海量标注图片，而且标注语义非常难统一。而两段式方案中，YOLO 只负责定位舌头，标注简单；颜色和纹理特征用规则算法提取，不依赖大规模标注；只有最后一步推理依赖大模型的语义能力。这样分工，把最难的“主观判断”交给最擅长语义理解的大模型，反而训练效率最高。
1.3 整体模块怎么划分
系统拆成五个模块：图像采集端、舌体检测端、特征提取端、推理建议端、前端展示端。图像采集端负责拍照规范和色彩校正；舌体检测端运行 YOLO 模型，输出舌头边界框和置信度；特征提取端从边界框内做颜色统计、舌苔分割、纹理分析；推理建议端把特征字典 JSON 传给大模型，配合中医知识库生成建议；前端展示端负责把舌头框、特征数值、诊断建议这些信息可视化。
这五个模块之间用标准 JSON 通信，彼此解耦。哪怕某一天不用 YOLO 了，换成最新的检测模型，只要输出格式不变，后面四个模块都不用动。这种设计花了些时间，但从后续迭代看非常值。
2. 舌象数据采集与标注：决定上限的脏活
2.1 拍摄环境与采集规范
可能有人觉得训练数据只要量大就行，我刚开始也这么想，直到拿第一批样图训练出来后才发现，光照成了整个项目的头号杀手。同一款手机，阴天和晴天的白平衡完全不一样，拍出来的舌苔颜色能差出两三个色阶。后来我定了一个硬性采集规范，用标准色卡拍一张比对图，然后所有手机拍摄时都先校准白平衡。
具体操作上，要求拍摄对象在自然光或标准光源下，面朝窗户方向，下巴略低，舌头自然伸出，不要刻意用力伸。手机镜头距离舌头 20 到 30 厘米，保持垂直视角，背景尽量单一。每张照片必须同时保证能看到舌尖、舌中、舌根三个区域，因为舌根靠近咽喉的位置是舌苔变化最明显的区域，很多系统只拍到舌尖，导致舌苔覆盖率的统计严重失真。
采集还分采集端和数据收集端。采集端是我们自己找志愿者拍的，数据更可控；数据收集端是从互联网公开舌象图集里爬录后清洗，量大但质量参差不齐。我的建议是，自采数据至少占到 50% 以上，剩下的作为补充和增强，不然模型很容易被网上那些过度P图的素材带偏。
2.2 标注方案与质量控制
标注是整个项目里最枯燥但最关键的部分。YOLO 检测只需要标注一个类别：舌头。但这个框要打得有讲究：上边缘紧贴下唇边缘，左右裁到嘴角内侧，下边缘到舌尖。不能把嘴唇、牙齿、面部皮肤包进来，否则后续颜色分析会把唇色和肤色混合进去，造成偏色诊断。
除了检测框，我还会按图片维度标注一组标签，包括舌质颜色（淡红、红、绛、紫、淡白）、舌苔颜色（白、黄、灰、黑）、舌苔厚薄（薄、厚）、齿痕等级（无、轻、中、重）、裂纹等级（无、轻、重）。这些标签不是为了训练 YOLO，是为了后面验证特征提取算法的准确性，以及给大模型做 few-shot 示例。
标注工具我用的是开源标注软件，支持自动框选追踪和分类标签管理。流程是两个人分别标注同一批图，然后算检出率差异和框的重叠度（IoU），如果 IoU 低于 0.5 或者标签不一致，就找第三个人仲裁。最终自采和清洗后的数据集一共约 3200 张，其中舌苔类型和舌质颜色分布尽量均匀，不然模型最后会偏向样本多的颜色。
2.3 数据增强与隐私处理
舌象数据的隐私属性很高，舌头上带着大量个人健康信息，处理时必须格外谨慎。我们所有图片在进入训练流水线之前，都会自动把人脸区域和眼睛信息脱敏掉。本地设备上只保留裁剪后的舌头图，云端存储加访问权限，这些都是基线要求，不是加分项。
数据增强方面，除了常规的随机旋转、平移、缩放、水平翻转之外，我做了一个专门针对色彩分析的增强策略：在 HSV 空间里随机调整色相和饱和度，幅度控制在 10% 以内。为什么必须加这一步？因为手机白平衡和肤色差异会导致同一舌象在不同设备上呈现的色调偏移，如果不做色彩扰动，模型会把特定色调和特定结论绑定，泛化能力差。
另外，我还用合成方式扩充了齿痕样本：对没有齿痕的舌头区域，沿边缘做轻微波浪形变形，生成模拟齿痕。纯属不得已的办法，因为齿痕在自然图片里占比太低。实测下来，合成样本确实提升了模型对齿痕边缘的敏感度，但要小心别做得太过，否则生成的边缘形态和真实齿痕差距太大，反而把模型带偏。
3. YOLO 模型选型、训练与部署
3.1 网络选型：从 YOLOv8 到轻量化版本
舌体检测属于典型的小目标单类别检测，目标占图像面积在 15% 到 40% 之间。我直接把主流模型家族都试了一圈，最终选了 YOLOv8s 作为主力模型。选它的原因：一是框架成熟，部署生态完善；二是 s 版本在精度和速度之间最均衡；三是后续要跑在手机或边缘盒子上的话，可以无缝裁剪成 nano 版本。
更轻量的 nano 版我也测试过，推理速度提升明显，但边界框边缘抖动加剧，对后续精确裁剪有影响。在这个场景里，检测框的稳定性比帧率更重要，因为我们需要从框内提取颜色和纹理特征，哪怕框偏了两三个像素，舌苔厚度计算就会出问题。所以我宁可在推理端慢个十几毫秒，也要保证检测框稳定。
如果项目是在 Jetson、RK3588 这类边缘设备上部署，我建议直接用带 TensorRT 加速的 YOLOv8s，量化成 FP16 后单帧推理大约 18 到 25 毫秒，完全够用了。如果平台是手机，再考虑换 nano 版加 INT8 量化。
3.2 训练配置与关键参数
训练参数我直接给一份可复用的配置：输入分辨率 640×640，batch size 16，初始学习率 0.01，使用 SGD 优化器配合余弦退火，权重衰减 0.0005，epoch 300 轮。预训练权重用的是 COCO 上的原版权重，特征提取层冷启动，检测头热启动。这样做的目的是让模型前期专注适应舌象数据，而检测头在已有定位能力的基础上做微调。
损失函数用的是 YOLOv8 自带的组合损失，没有额外改动。但有一个经验点：因为舌头在图像中的占比波动很大，我把 anchor 的尺度做了调整，在 640 分辨率下增加了两个小尺度 anchor。这样对舌尖这种小区域也能稳定检出。
验证集上最终指标：mAP@0.5 大约 0.94，mAP@0.5:0.95 大约 0.73。第一次训练出来只有 0.85 左右，后来发现是训练集里有大量非正面照片，角度太偏导致舌体宽高比异常。加了角度过滤、把倾斜超过 45 度的图片剔除后，指标直接上了一个台阶。
3.3 模型评估与部署落地
评估阶段不能只看 mAP，还要看框的回归稳定性。我专门写了一个评估脚本，连续对同一段视频逐帧跑检测，计算舌头检测框 IoU 的抖动方差。方差小的模型，即使精度略有下降，也值得选。原因很简单：最终产品是给用户拍摄静态照片，但在采集引导界面，我们会实时显示检测框引导用户调整距离和角度，如果框抖动太厉害，体验非常差。
部署时我导出 ONNX 格式，再转 TensorRT FP16 引擎。在 RK3588 上实测单帧 19 毫秒，内存占用约 480MB，能满足门诊端和家庭端的需求。NMS 阈值我用 0.45，置信度阈值 0.5。置信度阈值不能调太低，因为低置信度检测框往往边缘不准，就算没有被误检，也会给后续特征提取引入噪声。
4. 从舌体检测到中医特征抽取
4.1 检测框预处理与校正
YOLO 输出来的只是一个矩形框，直接拿它做颜色分析会踩很多坑。第一步要做的，是把矩形框内的舌头区域精细化。我用的是 OpenCV 的分割后处理：在检测框内做 Otsu 阈值分割，配合连通域分析，找到舌头主体轮廓。舌头和口腔背景在饱和度上有明显差异，这一步通常很稳定。
第二步是校正方向。有些用户拍照时舌头伸得偏斜，框内舌体会旋转。我会用主成分分析（PCA）计算舌体长轴方向，做一个最小外接矩形，把长轴强制水平。这个旋转校正对后续舌根舌中舌尖的分区很重要，没有校正的话，分区会偏移，舌苔覆盖率统计就不准。校正后，再做一个高光去除：舌头表面反光区域会在 RGB 某个通道打出高饱和噪声，我用灰度形态学闭运算加阈值判断，把高光点标记出来并插值替换。
4.2 舌质颜色、舌苔颜色和纹理特征的规则化提取
这些特征我没有全部交给神经网络，而是用了传统计算机视觉方法。为什么？因为舌质颜色和舌苔颜色在现代医学里缺乏大量标注样本库，用监督学习容易过拟合；而用规则方法，反而稳定可控。
舌质颜色提取思路是：在 HSV 空间里统计去除舌苔后的舌面像素，计算色调和饱和度的中位数，再用一个预定义的颜色字典映射到中医术语。字典大致是：色调在 0 到 8 区间为淡红或红，9 到 14 为绛，15 到 20 为紫，饱和度低于阈值时映射为淡白。
舌苔颜色和厚度稍微复杂一点。舌苔覆盖区域通常饱和度偏低、亮度偏高。我先算一个“舌苔概率图”：对每个像素计算色度和亮度的联合得分，然后设定阈值生成二值掩膜，掩膜面积占比就是舌苔覆盖率。舌苔厚度则用边缘密度和灰度方差来估计，舌苔厚时表面纹理模糊、灰度方差小，反之清晰。这个规则不能做到 100% 准确，但作为特征字典给大模型用，比让模型从零学起要好得多。
4.3 结构化特征字典设计
所有特征汇总成一个 JSON 字典传给大模型，这是整个系统最关键的接口。我设计的结构长这样：
{ "source": "patient_001", "image_quality": "good", "tongue_detection_conf": 0.93, "tongue_features": { "tongue_shape": "normal", "tongue_color": "light_red", "tongue_color_rgb": [215, 120, 105], "coating_color": "white", "coating_thickness": "thin", "coating_coverage_ratio": 0.42, "tooth_mark": "moderate", "crack": "none", "moisture": "wet" }, "capture_info": { "white_balance_calibrated": true, "color_temperature": 5200 } }这个字典的字段要和中医理论有明确映射。语文上不能说“偏红”，而是直接给“light_red”这种枚举值，加上 RGB 数值和色温信息，让大模型有充足上下文。有一个细节我反复强调：image_quality 字段非常关键。当检测置信度低或者光照指标异常时，我们会强制大模型忽略后续特征，优先输出“请重新拍摄”的提示。没有这层保护，大模型会把低质量数据当成真实特征强行解释，输出一堆误导结论。
5. 大模型推理与中医诊断建议生成
5.1 提示词与知识库设计
结构化特征提取完成后，就到了大模型的主场。我选用通用大语言模型，通过 API 方式调用。这里有个预想和实际操作不一致的地方：直接问“帮我分析这个舌象”，大模型会用通用知识糊弄你，输出很正确但完全不可用。必须把提示词写得像诊断规则引擎一样严格。
我的提示词分为三层。第一层交代角色和任务，告诉模型你是一个中医舌诊辅助系统，只能根据我提供的结构化特征进行辨证；第二层给出特征字典 JSON，并要求模型逐项解读，不允许忽略任何字段；第三层是输出格式要求，必须按固定结构返回体质倾向、辨证参考、潜在问题、生活建议四类，而且生活建议必须给出“可以做什么”而不是“不许做什么”。
中医知识的注入，我没有把所有古书塞进提示词，而是整理了一份约 200 条的关键规则库，通过检索增强（RAG）方式匹配最相关的条文，再和特征字典一起传给模型。比如检测到舌苔呈黄色且偏厚，就检索出“舌苔黄厚主湿热”“脾虚湿蕴可化热”等条目，模型基于这些上下文推理，明显比自由发挥准得多。
5.2 诊断结果的规则兜底与安全边界
如果你直接让大模型输出“你得了什么病”，它大概率会给你一句模棱两可的话。这个系统一定要禁止输出疾病诊断，只能输出“体质倾向”和“中医证候参考”。我在提示词里明确写了一条系统规则：如果模型试图输出西医疾病名，必须拒绝回答并提示咨询医生。
即使如此，大模型还是会偶尔犯浑。我在后处理阶段加了一道规则校验器：先用枚举映射建立特征与结论之间的简单规则，比如“舌质红 + 黄苔 = 热证倾向”，然后把大模型的输出和规则结果做一致性比较，如果两者冲突，就用规则结果覆盖大模型的结论，并在前端标注“规则补充结果”。这个兜底策略看起来粗暴，但实际运行下来，能拦住大约 8% 到 12% 的模型幻觉输出。
安全边界方面，还有一条强约束：遇到舌色绛紫、灰黑苔、裂纹深重这类高风险特征，不给出任何养生建议，直接弹出就医提醒。这是整个系统最不能妥协的一环，宁可让用户觉得系统不智能，也不能因为一句模棱两可的“可能有瘀血”耽误人家就医。
5.3 大模型输出模板与实测效果
实测阶段我用三个典型样本跑了一遍，效果如下。
第一例，淡红舌、薄白苔、舌边齿痕轻度。模型输出“脾气虚倾向，湿气略重，建议规律饮食，少食生冷，配合适当运动”。和中医专家判断基本一致，没有过度“惊吓”用户。
第二例，舌质红、黄厚苔、舌面干燥。模型输出“湿热内蕴倾向，建议清淡饮食，少吃油腻辛辣，可适当进食绿豆冬瓜等清热利湿食物”。规则校验通过。
第三例，舌质紫暗、有瘀斑、舌下络脉粗略。模型第一次输出“气虚血瘀倾向”，规则校验提醒高风险，改输出就医建议。这个改动非常关键，用户看到之后会觉得系统是负责任的。
另外，大模型输出的温度参数我调到 0.2，一个低数值。中医术语本身就有随意性，温度太高会让模型为了“表达丰富”而编造不存在的特征组合。温度调低之后，结论保持一致性和可解释性，比“文采”更重要。
6. 上线前后的常见问题与排坑实录
6.1 光照不一致导致诊断漂移
这是排在第一位的坑，对舌象诊断影响最大。同一舌象，室内暖光和室外自然光下拍出来，色调差异可以直接导致大模型判成两种体质。我踩过的大坑是：第一批测试用户反馈不准，排查下来发现最离谱的一张图，舌质被识别成紫色，实际上是夜晚白炽灯下的淡红舌。
解法分三路：第一路是拍摄页强制开启标准色卡比对，拍完自动做白平衡校正；第二路是训练时加入大范围的色温扰动，让 YOLO 的特征提取层对色温边界更鲁棒；第三路是后处理中加入色彩空间标准化，把 RGB 转到 Lab 空间，只提取与色温无关的 a、b 分量做颜色判断。这三路合起来，光照带来的漂移率降到 3% 以下。
6.2 舌体检测漏检和误检
漏检大多出现在舌头伸出不充分或逆光场景；误检则集中在嘴唇、口腔内壁和牙齿被框进来。牙齿误检最麻烦，牙齿和舌尖位置接近，不只影响框位置，还会让后续颜色统计引入苍白高亮像素。
为了压住这两个问题，我在训练集里刻意加了 15% 的“难例图”，这些图中的人脸带表情、嘴唇有口红、牙齿外露很明显，让模型学会区分。同时，在检测层输出我加了一个后处理：如果检测框的边缘贴着嘴巴边缘，就把框向内收缩 5 个像素，人为避开嘴唇区域。这种方法虽然不优雅，但对产品稳定性提升非常大。
6.3 大模型输出中医术语不统一
大模型的常见毛病是把“薄白苔”写成“白苔较薄且不厚”，或把“淡红”说成“粉色偏淡”。这类表达在语义上没错，但结构化输出完全没法用。我在约束输出格式时直接用正则加枚举来限制，比如舌质字段只允许出现“淡红、红、绛、紫、淡白”，舌苔字段只允许出现“白、黄、灰、黑”。一旦模型输出超纲词汇，系统自动要求重新生成。
为了避免反复重试导致的循环，我还在提示词里放了三个示例输出，做了 few-shot。模型有了参照物，返回的格式基本稳定。实测下来，一次生成直接可用的比例在 90% 以上。
6.4 数据样本不均衡的处理
舌象数据天然不均衡，淡红舌、薄白苔这类“正常健康态”占了 50% 以上，而灰黑苔、裂纹舌这种异常样本少得可怜。直接训练，模型会对正常态零错误，但对病态特征识别非常差。
处理手段有三个：一是对病态样本做重采样，把每种病态类至少提升到总样本的 15%；二是在损失函数里加类别权重，给稀有类别更高权重；三是用合成样本把舌尖、舌根局部特征重组合成，模拟新的病态组合。最后一项效果最好，合成的样本可以让模型更容易学到“舌质红 + 黄苔 + 裂纹”这种组合特征。
6.5 常见问题速查表
我整理了一张速查表：
| 现象 | 可能原因 | 排查与解决 |
|---|---|---|
| 舌质颜色整体偏蓝 | 白平衡未校准 | 拍摄页强制色卡校准，Lab 空间提取 a/b 分量 |
| 检测框反复跳变 | 阈值过低或模型过拟合角度 | 提高置信度阈值至 0.5，调整 NMS 阈值 |
| 黄苔识别成白苔 | 暗光下黄色饱和度下降 | 训练时增加暗光样本，增加色彩扰动幅度 |
| 舌苔覆盖率为 100% | 舌根和上颚混合 | 分割后处理加形态学开运算滤除腔体边缘 |
| 大模型输出前后矛盾 | 自由基推理造成 | 规则校验器覆盖冲突输出，降低温度参数 |
| 湿气重和湿热混淆 | 舌苔黄/白分类错误 | 校准色温后重提特征，限制模型只能基于给定特征 |
7. 维护、迭代与给复刻者的建议
7.1 模型持续迭代流程
任何医疗相关产品都不能一次训练完就撒手不管。我建立了一个“周级回流”机制：每周从用户真实拍摄中抽样 200 张脱敏图片，人工标注，和之前的训练集合并重新训练。训练只微调 20 个 epoch，避免过拟合和遗忘旧知识。
每次更新后，会先在一个影子环境跑一遍回归测试，和上一版模型的结果对比，看有没有出现明显的特征漂移。比较典型的漂移是：新模型把更多正常舌象判成了“脾虚”，准确率看似没变，但误报率上升了。这种问题不回归测试根本发现不了。
7.2 复刻这套系统的最低配置
如果你想搭一个最小可用版本，团队里至少要有三个人：一个懂计算机视觉的，负责 YOLO 训练和特征提取；一个懂点中医的，负责知识库和输出审核；一个做工程化的，负责整套链路串起来和部署。
成本方面，自采样本加公开数据集，总样本量能做到 2000 张左右，一个实习生加一个标注外包团队大概一个月完成。训练算力不用上高端显卡，单张面向训练的显卡基本够跑 YOLOv8s。大模型调用按量付费，如果只是开发阶段测试，成本可以控制在很低的水平。如果做本地隐私敏感版，可以部署开源量级大模型到边缘盒子上，但推理质量和结构化输出会略降，必须加重规则兜底。
7.3 一个容易被忽略但很重要的设计
前端展示时，一定要把“特征可信度”展示给用户。我会在舌象图片上叠加一个半透明的置信度色块，检测框越绿代表特征越可信，越红代表噪声越大。不要小看这个细节，它对用户心理预期管理特别重要。如果用户看到系统在光线很差的情况下还是给出了自信满满的诊断，他大概率会无条件相信。反之，如果我们主动提示“此次拍摄质量不佳，建议重拍”，用户反而会觉得系统专业、放心。
这套系统做完，给我最大的启发是：中医理论被诟病“玄学”，很多时候不是理论本身的问题，而是缺少一套把主观经验转译成客观特征的桥梁。YOLO 给了我们定位能力，传统视觉给了我们量化能力，大模型给了我们语言组织能力，三者配合起来，才能让那些古书里的舌诊描述真正跑到手机屏幕上。这也是我最想分享的一点：技术选型先看要解决的业务问题，不要一上来就堆模型。
