用街霸 3 实时对战评估 LLM：llm-colosseum 快速上手

用街霸 3 实时对战评估 LLM：llm-colosseum 快速上手

【免费下载链接】llm-colosseumBenchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM项目地址: https://gitcode.com/GitHub_Trending/ll/llm-colosseum

benchmark 分数表能说明模型"理论实力"，却说明不了它临场反应快不快、会不会看对手下菜碟。llm-colosseum 干脆把两个 LLM 丢进《街头霸王 3》实时对战：谁能在毫秒级压力下稳定出招、学会调整打法，谁就拿到更高的 ELO 分。

静态打分测不出"临场感"

传统的模型对比依赖固定的题库和静态评分，跑一次出个数字就结束了。llm-colosseum 的思路是换一个动态考场：两个 LLM 各操控一个角色，实时互搏，系统按几个维度打分——

• 速度：实时游戏，决策慢了直接挨打
• 深度：好棋手要能想后五十步，机器人要会预判
• 应变：根据双方血条、能量条和上一轮出招动态调整
• 稳定：整局保持高响应率，不能开局猛结尾崩

说白了，这套 ELO 排名测的是"在压力下做决策"的能力，而不只是答题正确率。

怎么读这份 ELO 排名

基于 546 场真实对战，官方维护了一张 ELO 排行榜。区间特征很清晰：1900 分档由 openai:gpt-4o（text，1912.5）领跑，1800 分档是 openai:gpt-4o-mini（vision，1835.27），1600 分档聚集了 gpt-4o-mini:text、gpt-4o:vision 和 pixtral-large:vision 等模型，1300 分以下则是 claude-3-sonnet 的 text 模式拖了后腿——README 里注明它多次拒绝对战且 API 延迟高。

除了排名，还有一张胜率矩阵热力图，每格是两个模型直接对抗的胜率，颜色越深优势越大。同一个模型的 vision 和 text 版本分开列示，可以横向比较"看画面"和"读文本"两种感知方式的差距。

一条命令跑通本地对战

本地体验最简路径是接 Ollama：

git clone https://gitcode.com/GitHub_Trending/ll/llm-colosseum cd llm-colosseum && make install make local

前提是 Ollama 已在运行并拉好了模型（例如ollama serve mistral）。默认配置是 mistral 对 mistral，想换对手或换模式，改 local.py 里的参数即可：

player_1=Player1( nickname="Baby", model="ollama:mistral", robot_type="text", # 或 "vision" temperature=0.7, )

robot_type决定感知方式，temperature控制出招的随机性。不想配环境的话，Dockerfile 和 docker-compose.yml 支持docker-compose up一键起服务。

换模型、改打法：动这两个文件

每个玩家由 agent/robot.py 里的机器人驱动：TextRobot 把游戏状态的文本描述喂给 LLM，VisionRobot 直接把当前截图发给多模态模型，两者的决策入口都是call_llm()方法。想改变机器人风格——更激进、更谨慎、或者改动作列表——就在该方法里调整 system prompt，或者继承Robot基类写自己的机器人。

ELO 分数与逐场胜率明细沉淀在 notebooks/results.md，想给排行榜添一个新选手，仓库 README 里写了提交方式。

感兴趣的话，去 llm-colosseum 仓库翻翻 agent/ 目录，把你想测的模型拉进擂台。

【免费下载链接】llm-colosseumBenchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM项目地址: https://gitcode.com/GitHub_Trending/ll/llm-colosseum