文章主要内容总结
本文聚焦于在AI系统需求工程中整合伦理考量的挑战,提出了一个名为MALEA(Multi-Agent LLM Ethics-Advocate Framework)的多智能体大型语言模型(LLM)框架,用于自动生成伦理需求草案。
研究背景指出,伦理需求的人工获取虽有效,但依赖多方利益相关者输入,受时间和资源限制,且在需求工程中优先级较低。MALEA框架通过四个LLM代理(需求工程师代理、伦理倡导者代理、质量保证代理、文档助手代理)的协作,基于系统描述生成伦理需求,并通过迭代 critique 优化需求质量。
通过两个案例研究(阿拉伯语虚假评论检测系统和沙特手语翻译应用)评估发现,MALEA能覆盖人类专家在30分钟访谈中识别的大部分伦理需求(平均召回率81.08%,高于单LLM的75.0%),还能生成额外相关需求,但存在可靠性问题(如输出不一致),需人类反馈补充。研究最终认为,该框架可促进伦理在需求工程中的广泛应用,推动更符合伦理的AI产品开发。
创新点
- 提出MALEA框架:首个将多智能体LLM用于伦理需求生成的框架,通过四个专业化代理(含伦理倡导者代理)的协作,实现伦理需求的自动生成与迭代优化。
- 实证评估贡献:基于两个真实AI应用场景,系统评估了框架对人类专家伦理需求的覆盖度(召回率)及新增价值,对比了单LLM基线,验证了多智能体协作在伦理需求获取中的优势。