自定义评测脚本编写：适配专有业务场景的测试
在金融、医疗、法律等专业领域，一个大模型是否“好用”，往往不取决于它在公开基准上的得分有多高，而在于它能否准确理解“高血压患者是否适合使用ACEI类药物”这类问题，或能否从工业图纸中识别出关键故障点。通用评测数据集如 MMLU 或 GSM8K 虽然能衡量模型的基础能力，却难以反映其在真实业务流中的表现。
这正是自定义评测脚本的价值所在——它让企业不再被动依赖外部标准，而是主动定义“什么才算答得好”。以ms-swift为代表的开源大模型框架，通过集成 EvalScope 评测后端，将这种能力封装为可编程接口，使得开发者可以基于私有数据和行业逻辑，构建真正贴合业务需求的评估体系。
灵活定义，精准评估：自定义评测的核心机制
所谓自定义评测脚本，本质上是一段由用户编写的 Python 程序，负责完成从数据加载、提示构造、批量推理到指标计算的全流程。与传统黑盒评测不同，这种方式把“如何评判一个回答”这个权力交还给业务方。
在 ms-swift 中，这一过程围绕Evaluator抽象类展开。用户只需继承该类并实现三个核心方法：prepare_input()处理输入格式，predict()执行推理，metric()计算评分。整个流程既支持命令行调用，也可通过 Web 界面触发，兼容单卡、多卡乃至分布式环境。
举个例子，在医学问答场景中，我们不仅关心生成内容与参考答案的语义相似度（可用 ROUGE 衡量），更关注是否包含关键术语，比如“他汀类药物”“冠心病风险分层”等临床决策要素。这时就可以设计复合指标：
from swift.eval import Evaluator from datasets import load_dataset import evaluate class CustomMedicalQAEvaluator(Evaluator): def __init__(self, model_id: str, dataset_path: str): super().__init__(model_id=model_id) self.dataset = load_dataset("json", data_files=dataset_path)["train"] self.rouge = evaluate.load('rouge') def prepare_input(self, example): prompt = f""" 【医学专家问答系统】 问题：{example['question']} 请基于临床指南作答，回答需包含诊断依据与治疗建议。 回答： """ return {"prompt": prompt, "reference": example["answer"]} def predict(self, batch_inputs): responses = self.model.batch_generate(batch_inputs["prompt"]) return responses def metric(self, predictions, references): rouge_scores = self.rouge.compute(predictions=predictions, references=references) keyword_acc = [] keywords = ["高血压", "糖尿病", "冠心病", "ACEI", "他汀"] for pred, ref in zip(predictions, references): hit = all(kw in pred for kw in keywords if kw in ref) keyword_acc.append(hit) acc_score = sum(keyword_acc) / len(keyword_acc) return { "rougeL": rouge_scores["rougeL"], "keyword_accuracy": acc_score, "overall_score": (rouge_scores["rougeL"] + acc_score) / 2 } if __name__ == "__main__": evaluator = CustomMedicalQAEvaluator( model_id="ziya-llama3-8b", dataset_path="/data/medical_qa/test.json" ) results = evaluator.run(limit=100) print(results)这段代码看似简单，实则体现了工程上的深思熟虑。prepare_input()不只是拼接字符串，更是对领域知识的编码——通过加入角色设定和输出规范，显著提升模型响应的专业性；predict()利用 LmDeploy 的批处理能力，在保证低延迟的同时应对长文本生成；而metric()则引入关键词命中率作为硬性约束，避免模型“说得漂亮但漏掉重点”。
更重要的是，这样的脚本能直接嵌入 CI/CD 流程。每次模型更新后自动运行回归测试，一旦发现某版本在“用药建议完整性”上退化，立即告警，极大提升了迭代安全性。
跨越模态鸿沟：多模态评测的统一范式
当任务涉及图像、语音或多模态输入时，评测复杂度成倍上升。例如视觉问答（VQA）任务中，模型不仅要理解“图中是否有灭火器”，还要准确定位其位置并判断状态。此时，单一文本指标已无法胜任。
ms-swift 提供了统一的多模态评测架构，核心思路是“模态对齐 + 联合评估”。以 VQA 为例，系统会先使用 CLIP-style 的 processor 对图文进行联合编码，确保嵌入空间一致，再将结果送入模型推理。后续指标也不再局限于 Exact Match，而是结合 IoU（交并比）、CIDEr（图文相关性）等多种维度综合打分。
from PIL import Image import torch class VQAEvaluator(Evaluator): def __init__(self, model_id, image_folder, question_file): super().__init__(model_id=model_id) self.images = {img['id']: img['path'] for img in image_folder} self.questions = load_dataset("json", data_files=question_file)["questions"] def prepare_input(self, sample): img = Image.open(self.images[sample["image_id"]]).convert("RGB") question = sample["question"] target = sample["answer"] inputs = self.processor(images=img, text=question, return_tensors="pt").to("cuda") return {"inputs": inputs, "target": target} def predict(self, batch): with torch.no_grad(): outputs = self.model.generate(**batch["inputs"], max_new_tokens=32) pred_text = self.processor.decode(outputs[0], skip_special_tokens=True) return pred_text def metric(self, predictions, references): exact_match = [p.lower().strip() == r.lower().strip() for p, r in zip(predictions, references)] em_score = sum(exact_match) / len(exact_match) return {"exact_match": em_score}虽然示例中仅用了精确匹配作为评分标准，但在实际应用中，完全可以扩展为更复杂的逻辑。例如：
- 若答案为“红色灭火器位于左上角”，则解析生成文本中的颜色与坐标信息，并与标注框对比；
- 引入 OCR 模块验证文字识别准确性；
- 输出带热力图的可视化报告，辅助人工复核注意力分布。
这类能力对于工业质检、医疗影像分析等场景尤为关键。试想一台 AI 系统声称“检测到肺结节”，但如果不能指出具体位置或置信区域，医生依然不敢信任它的判断。只有当评测本身也能“看见”这些细节时，才能真正推动模型向可解释、可信赖方向演进。
从实验室到产线：一个银行客服的真实优化闭环
让我们看一个更具象的案例。某银行上线智能客服后，用户反馈在咨询“信用卡账单分期”时，模型经常遗漏关键信息，如手续费率或申请条件。尽管其在公开 NLP 基准上表现优异，但业务转化率始终低迷。
团队迅速启动定制化评测流程：
- 数据构建：从历史对话日志中提取 500 条相关样本，清洗后由业务专家标注标准答复；
- 脚本开发：编写评测器，检查模型输出是否同时涵盖“免息期”“手续费率”“申请条件”三项要素；
- 执行评测：在 A100 实例上运行脚本，测得当前模型 F1 得分为 0.67；
- 反馈优化：将错误样本加入训练集，采用 LoRA 微调；
- 重新评测：新模型 F1 提升至 0.89；
- 部署上线：通过 LmDeploy 导出服务镜像，接入生产 API 网关。
全过程仅耗时两天，形成了典型的“评测驱动优化”闭环。值得注意的是，这里的评测不再是项目尾声的一次性验收，而是贯穿于整个模型生命周期的持续监控机制。
这也揭示了一个趋势：未来企业的 AI 竞争力，不仅体现在模型参数规模上，更体现在“有没有能力快速构建一套贴合自身业务的评估体系”。谁能把行业知识转化为可量化的评测指标，谁就能更快地发现短板、验证改进、赢得市场。
工程实践中的关键考量
尽管自定义评测带来了前所未有的灵活性，但在落地过程中仍需注意若干工程细节，否则容易陷入“评估不准”或“资源失控”的陷阱。
避免环境干扰
评测应尽可能在独立环境中运行，避免与训练任务争抢 GPU 资源。建议使用专用实例或容器化部署，确保推理延迟不受其他进程影响。
控制样本规模
全量评测千条以上样本可能引发内存溢出，尤其是处理高分辨率图像或多轮对话时。合理使用limit参数进行抽样，优先选择具有代表性的边缘案例（edge cases）进行重点测试。
保证结果可复现
设置固定随机种子（如torch.manual_seed(42)），记录硬件型号、CUDA 版本、框架版本等元信息。EvalScope 会自动保存这些上下文，便于后续追溯差异来源。
实施版本管理
将评测脚本纳入 Git 仓库，与模型版本一一对应。例如eval_v1.2.py对应model_ziya_20240815，防止因脚本变更导致跨版本比较失真。
加强权限控制
若涉及客户隐私或商业机密数据，应对脚本访问实施审计机制，敏感字段加密存储，并限制下载权限。可在 CI 流水线中配置自动脱敏步骤，降低泄露风险。
写在最后：评测即生产力
大模型的发展正经历一场深刻转变——从追求“通识能力强”转向“垂直场景懂行”。在这个过程中，通用基准的作用正在减弱，而自定义评测的重要性日益凸显。
ms-swift 所提供的，不只是一个技术工具链，更是一种方法论：将业务知识转化为可执行的评估逻辑，再将评估结果反哺模型优化，最终形成高效闭环。这种能力，恰恰是企业在 AI 时代构建护城河的关键。
未来，随着更多行业知识库、自动化标注工具和错误分析模块的集成，我们将看到越来越多“懂政策、懂流程、懂术语”的AI系统走出实验室，真正服务于金融风控、法律文书审查、设备运维诊断等高价值场景。而这一切的起点，往往就是一段精心设计的评测脚本。
