文章主要内容与创新点总结
一、主要内容
本文聚焦大型语言模型（LLMs）在自然语言处理（NLP）任务中的变质测试（Metamorphic Testing, MT）研究，核心是解决LLM自动化测试中的“预言机问题”（即缺乏标注数据时难以判断输出正确性）。
- 研究背景：LLMs在NLP任务中应用广泛，但存在偏见、幻觉等错误行为，自动化测试对提升其可靠性至关重要。传统测试依赖人工标注数据，成本高且数量有限，而变质测试通过定义变质关系（MRs），可在无标注数据的情况下检测错误。
- 核心工作：
- 系统梳理文献：检索1024篇论文，筛选出44篇相关研究，整理出191个适用于NLP任务的独特变质关系（MRs），覆盖24类NLP任务。
- 开发测试框架：构建LLMORPH自动化测试框架，实现36个代表性MRs，支持函数式和LLM辅助的输入转换。
- 大规模实验：在GPT-4、LLAMA3、HERMES 2三款LLM上，针对问答、自然语言推理、情感分析、关系抽取4类任务，执行约56万次变质测试。
- 关键发现：
- 变质测试有效：平均故障检测率18%，能发现11%传统标注数据测试遗漏的错误，二者具有互补性。
- 真阳性率稳定：手动验证显示约62%的测试违规为真阳性，假阳性主要源于NLP任务的内在模糊性，与传统NLP变质测试水平相当。
- MRs特性：部分MRs具有任务
