news 2026/7/10 18:44:23

用《街头霸王3》实时对战评测大语言模型：AI竞技场的新革命

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
用《街头霸王3》实时对战评测大语言模型：AI竞技场的新革命

用《街头霸王3》实时对战评测大语言模型：AI竞技场的新革命

【免费下载链接】llm-colosseumBenchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM项目地址: https://gitcode.com/GitHub_Trending/ll/llm-colosseum

你是否厌倦了传统的大语言模型评测方法？还在为选择最适合的AI模型而困惑？LLM-colosseum项目带来了一个革命性的解决方案：让大语言模型在《街头霸王3》中实时对战！这个创新的AI竞技场通过格斗游戏来评估模型的决策能力、反应速度和战略思维，为开发者提供了全新的模型评估视角。

🥊 为什么选择格斗游戏评测AI模型？

传统的大语言模型评测往往基于文本理解、代码生成或问答任务，但这些方法难以全面评估模型的实时决策能力和环境适应性。LLM-colosseum项目提出了一个大胆的想法：如果让AI模型在复杂的实时游戏中相互对抗，会发生什么？

《街头霸王3》作为经典的格斗游戏，需要玩家在瞬息万变的战场中做出快速决策、预测对手动作并制定战术策略。这正是测试大语言模型能力的完美场景！通过这种方式，我们不仅能看到模型的理解能力，还能评估它们的：

  • 实时决策速度：游戏要求毫秒级的反应
  • 战略规划深度：需要思考多步后的局面
  • 环境适应能力：根据对手行为调整策略
  • 多模态理解：视觉模型直接"看"游戏画面

多智能体对战场景展示了不同AI模型在《街头霸王3》中的实时对抗，每个窗口显示不同的战斗阶段和决策过程

🏆 实时排名与胜率分析

基于546场战斗数据，LLM-colosseum建立了全面的ELO评分系统。这个系统类似于国际象棋排名，通过模型间的对战结果动态调整评分，提供了客观的性能比较。

当前排名前十的AI模型

从最新的排名数据来看，一些有趣的趋势正在浮现：

  1. GPT-4o系列表现突出：占据前三名中的两个位置
  2. 视觉模型优势明显：在多模态模型中，vision版本普遍优于纯text版本
  3. Mistral Pixtral系列紧追不舍：在多模态领域展现出强大竞争力

胜率矩阵揭示模型间的微妙关系

胜率矩阵热力图直观展示了不同AI模型之间的胜负关系，深蓝色表示高胜率，帮助开发者快速识别模型的优势和劣势

这个胜率矩阵不仅仅是简单的胜负记录，它揭示了模型间的"相克"关系。有些模型在面对特定对手时表现出色，而在面对其他类型的模型时却表现平平。这种细粒度的分析为模型选择和优化提供了宝贵的数据支持。

🤖 两大智能体架构详解

LLM-colosseum支持两种不同类型的AI智能体，每种都有其独特的工作原理和应用场景。

TextRobot：基于文本描述的决策者

TextRobot通过文本描述来理解游戏状态。系统会将游戏画面转换为详细的文本信息，包括角色位置、血量、能量条、对手动作等，然后将这些信息发送给大语言模型进行决策。

核心实现位于agent/robot.py文件的TextRobot.call_llm()方法中。该方法构建了详细的提示词系统，包含：

  • 游戏规则和角色信息
  • 可用动作列表
  • 当前游戏状态描述
  • 决策格式要求

VisionRobot：视觉驱动的多模态智能体

VisionRobot则采用更直观的方式——直接"看"游戏画面。它将游戏截图发送给支持图像理解的多模态大语言模型，让模型直接从视觉信息中提取关键信息并做出决策。

这种方法更接近人类玩家的体验，需要模型具备强大的视觉理解和推理能力。在agent/robot.py文件的VisionRobot.call_llm()方法中，系统将游戏截图与指令提示结合，让模型基于视觉信息进行实时决策。

罗马斗兽场的夜景测试画面，用于评估AI模型对复杂视觉场景的理解能力

🚀 快速开始：本地部署指南

想要亲身体验AI模型的对战？LLM-colosseum提供了多种部署方式，满足不同用户的需求。

基础安装步骤

# 克隆项目仓库 git clone https://gitcode.com/GitHub_Trending/ll/llm-colosseum # 安装依赖 make install # 或 pip install -r requirements.txt # 配置环境变量 cp .env.example .env # 编辑.env文件，添加你的API密钥 # 运行对战系统 make run

Docker快速部署

对于喜欢容器化部署的用户，项目提供了完整的Docker支持：

# 构建镜像 docker build -t diambra-app . # 运行容器 docker run --name diambra-container -v ~/.diambra/roms:/app/roms diambra-app # 使用docker-compose docker-compose up

本地模型对战

想要使用本地部署的模型进行对战？项目完美支持Ollama等本地模型服务：

# 在local.py中配置对战参数 game = Game( render=True, save_game=True, player_1=Player1( nickname="MyLocalModel", model="ollama:mistral", # 使用本地Mistral模型 robot_type="text", # 或 "vision" temperature=0.7, ), player_2=Player2( nickname="Opponent", model="ollama:llama3.2", # 使用本地Llama模型 robot_type="text", temperature=0.7, ), )

运行make local即可开始本地模型的对战！

🔧 自定义与扩展：打造专属AI战士

LLM-colosseum不仅仅是评测平台，更是一个开放的可扩展框架。开发者可以轻松定制自己的AI智能体。

修改提示词优化策略

想要让你的AI模型成为更强大的战士？直接修改agent/robot.py中的提示词系统：

# 在call_llm方法中自定义系统提示词 system_prompt = f"""你是世界上最顶尖、最具攻击性的《街头霸王3》玩家。 你的角色是{self.character}。你的目标是击败对手。你需要用项目符号列表的形式回复动作。 {self.context_prompt()} 你可以使用的动作包括： {move_list} ---- 用项目符号列表回复动作。格式应为：`- <动作名称>`，每个动作换行。 如果对手靠近的示例： - 靠近对手 - 中等拳击 如果对手远离的示例： - 火球 - 靠近对手"""

提交你的模型参与排名

创建继承自Robot类的新类，实现你的优化策略，然后提交Pull Request。项目团队会尽力将其加入官方排名！

📊 核心模块与架构解析

了解项目架构能帮助你更好地使用和扩展LLM-colosseum：

  • 智能体核心：agent/robot.py - TextRobot和VisionRobot的实现
  • 游戏引擎：eval/game.py - 对战系统的核心逻辑
  • 配置管理：agent/config.py - 模型和参数配置
  • LLM接口：agent/llm.py - 大语言模型API调用封装
  • 观察者模式：agent/observer.py - 游戏状态监控和记录

🎯 实战应用场景与价值

LLM-colosseum不仅是一个有趣的AI实验，更具有重要的实际应用价值：

1. 模型选型决策支持

通过实时对战排名，企业可以：

  • 选择最适合实时决策场景的AI模型
  • 评估模型在压力下的稳定性
  • 比较不同供应商模型的性价比

2. 多模态能力评估

项目为多模态大语言模型提供了独特的评测场景：

  • 测试视觉理解与文本理解的差异
  • 评估图像到动作的推理能力
  • 验证实时视觉处理性能

3. 提示词工程优化平台

开发者可以使用这个平台：

  • 测试不同提示词策略的效果
  • 优化模型在特定任务上的表现
  • 探索模型能力的边界

4. 教育研究工具

学术界可以利用这个项目：

  • 研究AI的决策制定过程
  • 探索强化学习与LLM的结合
  • 分析多智能体协作与竞争

Mistral模型获胜的庆祝画面，展示了AI模型在竞技场中的胜利时刻

🔮 未来展望与社区贡献

LLM-colosseum项目正在快速发展，未来计划包括：

  • 更多游戏支持：扩展至其他类型的实时游戏
  • 更丰富的评测维度：加入延迟、能耗等性能指标
  • 社区排行榜：让开发者提交自己的模型参与公开排名
  • API服务：提供在线对战服务接口

💡 开始你的AI格斗之旅

无论你是AI研究者、开发者，还是对人工智能充满好奇的技术爱好者，LLM-colosseum都为你提供了一个独特的平台来探索大语言模型的实战能力。

通过让AI模型在《街头霸王3》中相互对抗，我们不仅能看到技术的边界，更能发现模型能力的微妙差异。这种创新的评测方法为AI发展提供了新的视角，也让我们对智能系统的未来充满期待。

现在就加入这场AI竞技场的革命，一起探索大语言模型的无限可能！

【免费下载链接】llm-colosseumBenchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM项目地址: https://gitcode.com/GitHub_Trending/ll/llm-colosseum

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/7/10 18:41:04

Cursor Pro深度解析：AI编程工具的语义理解与工程化实践

1. 项目概述&#xff1a;一场被标题“骗”进来的深度体验 “Cursor 官方首月 半价优惠 50%&#xff0c;比咸鱼还便宜”——看到这个标题&#xff0c;我第一反应是点开、截图、转发给团队里所有还在用免费版硬扛的同事。不是因为被“半价”二字击中&#xff0c;而是“比咸鱼还便…

作者头像 李华
网站建设 2026/7/10 18:39:18

3PEAK思瑞浦 LM393A-DFGR DFN2X2-8 比较器

特性宽单电源电压范围或双电源&#xff1a;2.5 V至36 V或1.25 V至18 V极低的电源电流&#xff1a;150 μA/通道低输入偏置电流&#xff1a;1 nA&#xff08;最大值&#xff09;低失调电压&#xff1a;6.0 mV&#xff08;最大值&#xff09;输入共模电压范围包括地内部差分输入电…

作者头像 李华
网站建设 2026/7/10 18:39:05

STM32与PAM8904构建高效声光警报系统

1. 项目概述与核心组件选型 在工业控制、智能家居和安防系统中&#xff0c;可靠的通知机制是确保关键信息及时传达的关键环节。本项目基于STM32F722VE微控制器和PAM8904音频驱动芯片构建了一套通用型警报通知系统&#xff0c;能够根据各类传感器输入触发不同模式的声光提示。这…

作者头像 李华
网站建设 2026/7/10 18:38:37

五轴联动数控机床的技术评估与选型分析

——从精度指标到玉石工艺适配的体系化解读摘要随着玉石加工行业从传统手工雕刻向数字化、智能化制造转型&#xff0c;五轴联动数控机床正逐步成为镂空雕、圆雕、薄胎器等复杂玉雕工艺的核心加工装备。本文从玉石材质的物理特性出发&#xff0c;系统分析五轴机床在玉石加工场景…

作者头像 李华
网站建设 2026/7/10 18:36:01

终极指南：如何优化OSX-KVM虚拟化环境中的图形性能

终极指南&#xff1a;如何优化OSX-KVM虚拟化环境中的图形性能 【免费下载链接】OSX-KVM Run macOS on QEMU/KVM. With OpenCore Monterey Ventura Sonoma support now! Only commercial (paid) support is available now to avoid spammy issues. No Mac system is required…

作者头像 李华