1. 项目缘起：当AI陪审团走进“十二怒汉”的法庭
最近在折腾多智能体（Multi-Agent）系统，想找个有意思的场景来测试一下不同大语言模型（LLM）在复杂、对抗性决策中的表现。直接让几个AI去完成一个编程任务或者写份报告，感觉有点平淡，体现不出“多智能体”之间真正的互动、博弈和说服过程。直到我重新看了一遍经典电影《十二怒汉》（12 Angry Men），一个想法冒了出来：为什么不把电影里那场经典的陪审团密室辩论，复刻成一个AI智能体实验呢？
这个想法背后有几个核心的驱动点。首先，陪审团审议是一个高度结构化的群体决策过程。它有明确的输入（案件证据、法律条文）、明确的输出（有罪/无罪裁决），以及一套虽不正式但被广泛理解的流程（讨论、辩论、投票）。这为我们设计智能体的角色、目标和交互规则提供了天然的蓝图。其次，这个过程充满了不确定性、推理冲突和说服艺术。电影中，最初11票“有罪”对1票“无罪”，最终通过层层推理、质疑证据、激发合理怀疑，实现了意见的完全逆转。这完美契合了我想观察的：多个具备不同“个性”和“知识背景”的AI，在面对模糊信息时，如何通过“对话”来更新自己的信念，并最终达成（或无法达成）共识。
简单来说，这个项目“12 Angry AI Agents”的核心，就是构建一个模拟的陪审团审议环境，让12个由LLM驱动的智能体，针对一个虚构的谋杀案进行辩论和投票，以此来评估不同LLM在多智能体协作与对抗场景下的决策质量、推理能力和社交动态。这不仅仅是让AI“聊天”，而是观察它们在压力、逻辑冲突和群体动力学下的真实表现。
2. 实验设计：构建一个可控的“数字法庭”
要让这个实验有意义，而不是一场混乱的AI吵架，精心的环境设计是关键。整个系统架构可以看作一个“数字法庭”，由环境控制器、智能体群和评估体系三部分组成。
2.1 案件设定与角色初始化
我设计了一个简化的谋杀案，灵感来源于经典推理桥段，但确保关键证据存在模糊性：
- 案件：富翁X在自家书房被钝器击打后脑死亡。唯一目击者是管家，声称看到其养子Y慌张跑出书房。凶器（一个镇纸）上只有Y的指纹。Y声称当时去找X理论，推门发现已倒地，惊慌中碰倒了镇纸。Y与X关系紧张，且有经济动机。
- 关键模糊点：管家视力不好；书房窗户当晚未锁；镇纸上的指纹可能是之前留下的；死亡时间推断有半小时窗口期。
接下来是初始化12个陪审员智能体。这是体现“多智能体”差异化的核心。我不希望12个AI都是同一个模型的复读机。因此，我设定了不同的“角色背景”和“初始倾向”，并通过系统提示词（System Prompt）固化：
角色背景：为每个智能体赋予一个简短的背景描述，以影响其思考角度。例如：
juror_01：一位退休的工程师，注重逻辑和物证链的严谨性。juror_02：一位年轻的教师，富有同情心，关注人物的成长背景。juror_03：一位愤世嫉俗的商人，对人性持悲观态度，相信利益驱动一切。juror_04：一位严谨的会计师，只相信确凿的数字和时间线。- … （以此类推，创造多样性）
初始投票倾向：在第一次投票前，向每个智能体秘密注入一个“初始倾向”。例如，通过提示词暗示：“基于你作为[角色背景]的经验，在阅读初步案情后，你内心更倾向于相信被告有罪/无罪，但你需要通过接下来的讨论验证你的想法。” 这模拟了真人陪审员带着预设立场进入会议室的情况。我设定了初始为11票有罪，1票无罪，与电影一致。
LLM模型混合：为了增加复杂性并观察模型差异，我并没有让所有12个智能体使用同一个LLM。实验组配置如下：
- 8个智能体使用 GPT-4o：作为当前综合能力较强的模型，担任“主流意见”的基础。
- 2个智能体使用 Llama-3.1-70B（通过API）：作为强大的开源模型代表，观察其在与GPT-4o交互中的表现。
- 1个智能体使用 Claude-3.5-Sonnet：引入另一种推理风格。
- 1个智能体使用 国内某领先模型API：增加策略和思维方式的多样性。
注意：模型的选择需要考虑API成本、上下文长度和推理速度的平衡。Llama类模型如果自托管，需确保生成速度能跟上对话节奏，否则会拖慢整个仿真进程。
2.2 审议流程与交互机制
流程严格模拟陪审团审议，由中央控制器（一个调度程序）管理轮次：
- 案情陈述：控制器向所有12个智能体广播统一的案件描述（包括证据列表、证人证词、双方主张）。
- 初始秘密投票：每个智能体私下输出“有罪”或“无罪”。控制器收集但不立即公布结果，仅记录。
- 开放式辩论轮次：
- 发言顺序：可以采用固定顺序，也可以由控制器根据上一轮发言的“影响力”（如被引用次数）动态决定下一轮主要发言者。
- 发言内容生成：在每一轮，被选中的智能体会收到包含以下信息的提示：
- 案件背景
- 自己的角色设定
- 截至目前的所有讨论历史记录
- 任务：“请基于你的角色和讨论，提出一个新的论点、质疑现有论点的漏洞、或回应其他陪审员的观点。你的目标是说服他人，或巩固自己的立场。”
- 广播与更新：该智能体的发言被添加到讨论历史中，广播给所有其他智能体。这里是核心：每个智能体在下一轮思考时，都能看到完整的、逐渐增长的对话记录。这模拟了信息的共享和观点的演化。
- 中期投票与压力测试：每隔3-4轮辩论，控制器会要求一次公开投票。每个智能体需输出投票和简短理由。此时，对于坚持少数意见的智能体（如那个唯一的“无罪”票），其系统提示中会加入压力元素：“你现在是绝对的少数派，多数人认为你有罪。请阐述你为何坚持，或你是否被说服？”
- 达成共识或陷入僵局：审议持续进行，直到：
- 一致通过：所有12个智能体连续两轮投票结果一致（全部有罪或全部无罪）。
- 僵局：达到最大轮次限制（如15轮）仍未达成一致，则视为“悬而未决的陪审团”。
2.3 评估指标体系：不止看结果，更要看过程
最终的投票结果（如有罪、无罪、僵局）只是一个终点。这个实验更大的价值在于分析决策过程。我设计了以下几个维度的评估：
- 论点质量：
- 多样性：统计提出的独立论点数量（如质疑指纹时效性、管家可靠性、作案时间可行性等）。
- 逻辑深度：论点是否包含“如果…那么…”的条件推理，是否识别了证据间的依赖关系。
- 证据引用：论点是否紧密关联案件中的具体证据，还是流于情感或泛泛而谈。
- 社交与影响力动态：
- 观点演变：追踪每个智能体从初始投票到最终投票的转变路径。谁改变了主意？是在哪一轮谁的发言后改变的？
- 说服网络：通过分析发言内容（如“我同意juror_08关于时间线的分析”），构建一个智能体之间的影响关系图。谁经常被引用？谁是意见领袖？
- 对话行为：统计各类言语行为的比例，如“提出新论点”、“质疑他人”、“总结共识”、“情感呼吁”。
- 模型差异分析：
- 比较使用不同LLM的智能体在论点质量、立场稳定性、发言风格上有何系统性差异。
- 例如，Claude模型是否更擅长构建连贯的长篇论证？Llama模型是否在捕捉逻辑漏洞上更敏锐？
- 共识形成效率：达成一致所需的轮次。逆转初始多数派（11:1）是否比维持它更难？
3. 核心挑战与工程实现细节
把想法变成可运行的代码，中间坑不少。这里分享几个关键的技术实现点和踩过的坑。
3.1 智能体“记忆”管理与上下文长度
这是最棘手的问题之一。一场15轮的讨论，每轮每个智能体发言平均300字，整个对话历史会迅速膨胀到5万字以上，远超大多数LLM的上下文窗口（Context Window）。直接塞进提示词是不可能的。
解决方案：分层记忆与摘要生成
我采用了“短期记忆+长期摘要”的混合模式：
- 完整历史记录：存储在数据库或内存中，作为唯一事实源。
- 智能体的“感知”：在每一轮，发送给智能体的不是完整历史，而是一个加工过的上下文。它包含：
- 案件概要：固定不变的核心事实。
- 最新2-3轮完整发言：保证对话的连贯性。
- 此前讨论的摘要：这是一个动态生成的文本。每3轮后，我会用一个“总结者智能体”（可以是一个专用的、能力较强的LLM，如GPT-4），对之前的全部讨论生成一个结构化摘要，包括：已达成共识的点、存在的主要分歧点、双方的核心论据。
- 自身角色与目标。
实操心得：这个“总结者”非常关键。直接让参与辩论的智能体自己总结，它会带有偏见。一个中立的第三方总结能更公平地为所有智能体提供讨论全景。摘要的格式固定为“共识：…；分歧：…；核心论据A：…；核心论据B：…”，便于解析和信息提取。
3.2 提示词工程：塑造角色与防止“越狱”
提示词（Prompt）是智能体的灵魂。我们的目标是通过提示词，让LLM“扮演”好一个陪审员，而不是一个无所不知的AI。
基础提示词框架如下：
你是一个陪审员，正在参与一桩谋杀案的审议。 你的背景是：[例如：退休工程师，相信实证和逻辑链条]。 以下是案件的基本事实：[插入案件描述]。 **你的行为准则：** 1. 你**仅能**基于上述案件事实进行推理。你不知道任何案件之外的信息。 2. 你的目标是与其他陪审员讨论，分析证据的可信度，判断被告是否有罪“排除合理怀疑”。 3. 你的发言应基于逻辑和证据，可以质疑，可以说服，但避免人身攻击。 4. 在输出时，请以“陪审员[X]：”开头，然后直接给出你的发言内容。 当前的讨论状态如下： [插入加工后的上下文：最新发言+历史摘要] 现在，请基于你的角色和以上所有信息，发表你本轮的看法。防止“越狱”和保持角色一致性的技巧：
- 重复锚定：在每一轮的提示词中都重复“你是一个陪审员”和“仅基于案件事实”，强化角色设定。
- 输出格式强制：要求固定的开头，便于程序自动化抓取发言内容。
- 处理“超知识”：LLM可能基于训练数据“知道”类似案件或法律概念。在提示词中明确“请假设这是一个独一无二的案件，没有先例可循”，减少其调用外部知识的倾向。
- 温度（Temperature）参数：这是一个关键旋钮。设置太低（如0.2），智能体会过于保守和重复；设置太高（如0.8），发言可能变得跳跃、不连贯。经过测试，0.5-0.7是一个不错的范围，能在创造性和一致性之间取得平衡。对于扮演“关键异议者”的智能体，可以适当调高温度以增加其观点的独特性。
3.3 系统架构与并发处理
整个仿真系统是一个异步工作流。
- 控制器（主程序）：用Python编写，管理状态机（投票、辩论轮次）、维护讨论历史、调用摘要生成器。
- 智能体执行器：负责将格式化好的提示词，通过对应的API（OpenAI, Anthropic, 开源模型API等）发送给LLM，并取回响应。这里必须做好错误处理和重试机制，因为API调用可能失败。
- 并发与速率限制：为了模拟实时讨论，最好让智能体“同时”收到历史并生成发言。这意味着需要并行调用12个LLM API。必须严格遵守各API平台的速率限制（Rate Limit），使用队列或令牌桶算法进行控制，否则会导致大量请求失败。
- 数据记录：每一个环节——每次投票、每次发言、每次摘要——都必须带时间戳完整记录到数据库或JSON文件中。这是后续分析的原材料。
4. 实验结果分析与有趣发现
我运行了多轮实验，每次微调参数（如初始倾向分布、模型组合、温度参数）。以下是一些具有代表性的发现：
4.1 共识形成模式：从“羊群效应”到“理性逆转”
在大多数初始为11:1（有罪:无罪）的实验中，最终结果出现了分化：
- 约40%的实验：在少数派（1个无罪智能体）持续、高质量的逻辑质疑下（例如，精准攻击死亡时间窗口和指纹的非排他性），成功在8-10轮内实现了“大逆转”，达成了12:0的无罪共识。这个过程并非线性。通常在第3-4轮第一次公开投票时，会有1-2个智能体“倒戈”，形成9:3或8:4的局面。这给最初的少数派带来了关键支持，并动摇了多数派的信心，引发雪崩效应。
- 约35%的实验：多数派成功守住了阵地，少数派最终被说服或沉默，达成有罪共识。分析发现，当少数派智能体使用的LLM推理能力明显弱于多数派时（例如，用一个小参数开源模型对抗一群GPT-4o），更容易出现这种情况。少数派的论点容易被驳倒。
- 约25%的实验：陷入僵局（6:6, 7:5等）。这通常发生在双方都有强有力的LLM支撑，且论点陷入“逻辑循环”或对“合理怀疑”的标准理解出现根本分歧时。
一个深刻体会：AI智能体群体中也存在“从众心理”。当某个观点获得明显多数（如8票以上）时，后续智能体即使有疑虑，也更倾向于附和或保持沉默，除非有特别强有力的新论点被提出。这提示我们在设计多智能体系统时，需要有意引入“反对派”或“魔鬼代言人”角色，以避免群体思维。
4.2 模型行为差异：风格决定角色
不同LLM驱动的智能体表现出鲜明的个性：
- GPT-4o智能体：像“优秀的辩论家”。论点组织清晰，善于引用讨论历史中的具体点（“正如juror_05上一轮所说…”），进行攻防。在扮演“理性怀疑者”角色时表现最佳。
- Claude-3.5-Sonnet智能体：像“深思熟虑的法官”。倾向于做长篇、结构化的陈述，会权衡双方观点，然后给出一个平衡的结论。它往往不是第一个提出尖锐质疑的，但它的总结性发言经常能推动讨论进入新阶段。
- Llama-3.1-70B智能体：像“专注的技术专家”。当讨论涉及具体的技术性质疑（如“以当时的照明条件，管家能否看清20米外的人脸？”）时，它能提出非常细致、基于常识物理的论点。但在处理复杂的情绪或社会关系推理时，稍显薄弱。
- 国内某领先模型智能体：表现中规中矩，论点扎实但创造性相对较少。一个有趣的现象是，在涉及“家庭关系”、“社会情理”的论证上，其表述方式与其他模型有细微的文化差异。
4.3 “合理怀疑”的量化困境
这是实验暴露出的一个核心问题。LLM对于“排除合理怀疑”这个法律标准的理解是定性而非定量的。在一个实验中，一个智能体坚持无罪，理由是“有5%的可能性凶手是外人”。另一个则反驳“5%的可能性不构成合理怀疑，95%的有罪概率足以定罪”。AI无法像人类一样，基于共同的生活经验和社会契约，对这个模糊的标准达成一致。这导致了大量僵局实验。未来可能需要为智能体注入更明确的价值判断规则或“怀疑阈值”参数。
5. 项目启示与多智能体系统设计思考
“12 Angry AI Agents”虽然是一个实验性的项目，但它对实际构建多智能体系统提供了非常具体的启示：
多样性是稳健性的基石：如果12个智能体全部使用同一种LLM、同一种提示词模板，系统很容易陷入“回声室”效应，快速形成可能错误的共识。引入不同模型、不同角色设定，能有效模拟“群体智慧”，通过竞争性辩论产生更优的决策。在实际应用中，这意味着对于一个复杂任务，组建一个由“专家”、“批判者”、“协调者”、“执行者”等不同角色模型构成的团队，可能比单纯堆叠多个相同模型更有效。
记忆与摘要机制是规模化的关键：直接传递完整对话历史不可行。必须设计智能的摘要、检索和记忆聚焦机制，让每个智能体能在有限的上下文内，获取到最相关、最精华的讨论信息。这类似于人类在长会议中，只会记住关键点和最新进展。
流程设计比模型能力更重要：一个笨拙的流程（比如无序争吵）会让再强大的模型也效率低下。而一个好的流程（如轮流发言、阶段性投票、总结复盘）能极大地提升群体决策的质量。在系统中，控制器（Orchestrator）的逻辑和规则设计，其重要性不亚于单个智能体的能力。
评估需多维度、重过程：不要只看最终输出。分析智能体间的互动网络、观点演变轨迹、论点的创新性和逻辑性，能帮助我们更深入地理解系统的运作机制，并诊断问题所在。例如，如果发现某个智能体始终不被其他智能体引用，可能需要检查其角色设定或模型是否与群体脱节。
这个项目就像打开了一个观察AI社会行为的显微镜。它告诉我们，当多个LLM智能体被置于一个需要协作、竞争和说服的复杂环境中时，它们展现出的动态远超简单的任务完成。对于未来开发涉及辩论、评审、头脑风暴、复杂谈判等场景的AI应用，这次“陪审团实验”所提供的框架和洞见，或许能成为一个有趣的起点。下一步，我计划引入更复杂的规则，比如允许智能体私下结盟，或者引入一个“法官AI”来对辩论质量进行实时评分，看看又会产生什么有趣的化学反应。
