Evaluation of Large Language Models for Numeric Anomaly Detection in Power Systems

文章主要内容与创新点总结

一、主要内容

本文聚焦大型语言模型（LLMs）在电力系统数值异常检测（AD）中的应用，针对现有研究中LLMs在结构化数值遥测数据处理方面的不足，以GPT-OSS-20B为代表模型，在IEEE 14节点系统上开展了全面评估。

1. 研究背景：LLMs在自然语言处理、代码生成等领域展现出强大通用性，在电力系统中也受到关注，但在需精确推理的数值异常检测任务中应用有限，面临高维数值数据的分词与解码挑战。
2. 核心框架：设计了标准化模块化提示词框架，整合基于三倍标准差（3-sigma）准则的规则化决策流程，将数值输入转换为LLMs可处理的结构化文本，包含角色指令、系统背景、异常规则、可选示例、数值块和输出格式六个部分。
3. 实验设计：涵盖五种实验设置——零样本提示、少样本提示、上下文学习（ICL）、低秩适配（LoRA）微调、LLM与传统深度学习（DL）检测器结合的混合方法；采用准确率、召回率、精确率、F1分数作为评估指标。
4. 实验结果：
   • 零样本设置下，仅提供Z分数的提示词结构性能最优（F1分数75.0%），证明简洁归一化输入更有效；
   • 随着监督与适配程度提升，检测性能持续优化，混合模型表现最佳（F1分数97.2%），实现高召回率（96.5%）与高精确率（98.0%）的平衡；
   • 混合方法相比传统DL检测器，显著降低误报率，提升检测可靠性。