你见过把Fortnite这种满屏枪火、盖楼、跑毒的大逃杀游戏，硬生生变成一局只能靠敲字推进的老式文字冒险吗？沃顿商学院教授Ethan Mollick还真干过这事——他利用Astra多模态智能体，让玩家用自然语言“玩”Fortnite。Astra会盯着游戏画面，把眼前的一切实时翻译成文字描述，你输入的每一条指令也会被拆解成键盘鼠标操作，最终体验就像是在玩一局3D版《zork》。更关键的是，他把这套东西做成了在线可访问的demo，公开了链接，任何人都能在浏览器里体验一把“打字打天下”的奇妙感觉。
我前阵子花了好几个晚上把这个案例完整拆了一遍，也亲手搭了一个差不多的原型。今天想把这套玩法的思路、技术细节、复现步骤，以及我在实操中踩过的坑一次性讲透。不管你只是对AI Agent好奇的玩家，还是想研究多模态模型怎么落地的开发者，这篇应该都能给你一些启发。
1. 这个改造到底是什么？拆开它背后的核心思路
1.1 “文字冒险版Fortnite”不是改代码，而是给AI加了一个“能玩游戏的壳”
很多人听到“把Fortnite改造成文字冒险游戏”，第一反应是去改游戏源码，或者用UEFN去重做地图。但Ethan Mollick这个实验完全不是走这个路线。他没有动Fortnite本身，而是在Fortnite外面套了一层AI交互层。
Fortnite照样是那个Fortnite，画面还是3D实时渲染的，建筑、枪械、地形都在。但玩家的操作方式彻底变了：你不再用键盘鼠标去瞄准和跑位，而是通过一个聊天窗口输入指令，比如“跳到前面那堵墙后面躲着”或者“看下附近有什么能捡的”。Astra扮演的是“代理驾驶员”的角色，它坐在你电脑前，看着屏幕，听到你的话之后自己按W、转向、蹲下，然后把画面变化实时描述给你听：“你躲到了矮墙后方，远处传来脚步声，空气里有一丝火药味。”
这个过程本质上就是给游戏加了一层自然语言界面。以前我们玩游戏必须理解图形界面、操作逻辑、按键绑定，现在Astra成了中间的翻译官：把你脑子里的念头变成游戏操作，再把游戏的世界变成你能读的文本。这种思路最早可以追溯到让AI去玩精灵宝可梦或超级马里奥的像素操作实验，但Astra更大的进步在于，它可以在没有对手册进行详细编程的情况下，通过“看”就理解复杂的3D场景和动态UI。
所以这个改造并不是传统意义的MOD，而是“超级辅助大脑+机械手”的结构。它跳过了改代码、改资源包这些重活，把问题转换成了“如何让AI看懂屏幕、如何让AI做出决策、如何让AI准确操作”，这个思路可以复用到几乎任何软件上。这也是我对这个项目感兴趣的主要原因——游戏只是一个最有观赏性的试验场。
1.2 为什么是Astra？为什么是Fortnite？选型背后的考量
先聊Astra。大家都在说Astra是新一代多模态智能体，除了能理解文字和图片，还能更自然地识别屏幕中的空间关系、物体状态、UI元素，并生成下一步操作指令。像最近很多热搜词里提到“Astra Pro摄像头点云”这类空间感知能力，说明这类模型已经开始把画面理解从“这是什么”推进到“东西在哪个位置、离我多远、我该怎么做”的层面。对于控制游戏这种任务来说，空间关系和工具调用能力比单纯的图像识别重要得多，Astra刚好踩在这条线上。
再来看Fortnite。为什么拿它做实验？第一，Fortnite的世界足够复杂，有地图、建筑、地形、天气、NPC、可拾取物，远比传统测试游戏更像一个真实环境。如果AI能在这个环境里稳定给玩家提供文字冒险体验，那它的泛化能力大概率是靠谱的。第二，Fortnite自带的创意模式允许你创建一个私有岛屿，相当于一个独立试验室。你可以在这里测试AI操作，不会干扰到正常匹配的玩家，也更符合游戏规则。第三，Fortnite的受众广，作为演示项目容易被普通人感知到“AI真的在玩一个大型3D游戏”，比在命令行里跑一个文字迷宫更有话题性。
Ethan Mollick本身是研究AI在教育和组织场景应用的学者，他经常通过公开实验来展示AI工具的现实边界。选择Fortnite这样一个大众熟知的产品，也能让非技术背景的人直观理解“多模态Agent到底能干什么”。所以这个选型并不是随手一挑，而是兼顾了模型能力验证、实验安全性和传播效果。
2. 核心细节拆解：Astra如何“看懂”Fortnite并执行玩家指令
2.1 屏幕感知与状态构建：把像素变成可读的文本世界
要让Astra驱动游戏，第一件事是让它“看”到游戏。这一步的实现没那么玄乎，本质上就是定时抓取游戏窗口的画面，然后把截图压缩后发给Astra的视觉接口。
我用的方案是用mss库直接抓取显示器指定区域，比pyautogui.screenshot()更快，尤其是在游戏全屏模式下，mss的帧率可以做得比较高。抓到的原始截图通常有1920x1080甚至更高，直接送给API会非常慢且耗费大量token，所以需要先压缩到合适尺寸，比如最长边1024像素。压缩之后画面上文字可能有点模糊，但Astra这类模型即便看到部分锯齿，仍然能理解场景结构、角色位置和大致物体。
在调用Astra之前，最关键的是设定一个稳定的“世界描述协议”。你不能让Astra自由发挥写散文，而是要求它返回结构化JSON，里面包含场景描述、可见目标、玩家状态、动作列表等。我会在提示词里强制规定输出格式，比如这样：
{ "scene_description": "你身处一片废弃的街区，右侧有一栋三层的蓝色房屋，门口有一个宝箱。", "visible_objects": ["宝箱", "房屋", "树木", "远处敌人"], "player_state": { "health": "unknown", "position": "蓝色房屋前空地", "nearby_interactables": ["宝箱"] }, "suggested_actions": [ {"type": "press_key", "key": "w", "duration": 1.0}, {"type": "press_key", "key": "e", "duration": 0.2} ] }这里面scene_description是给玩家看的叙事文本，visible_objects是给系统做状态管理用的，player_state则用于更新地图中的位置信息。有了这套协议，Astra就不再是“随便聊聊画面的聊天机器人”，而是成了一个能与下游代码对接的感知模块。
2.2 指令解析与动作规划：从一句“向左跑”到实际按键
光会“看”还不够，Astra还得会“动”。当玩家输入“向左跑到墙边蹲下”时，我们不能真让Astra生成一段自然语言回答，而是要让它在理解指令后生成一系列可执行的动作序列。这个步骤通常需要设计一个动作白名单。
我设计的动作列表大概包括这些：
- 移动类：
press_key+ WASD、release_key - 视角类：
mouse_move，相对坐标偏移 - 交互类：按E键拾取/打开，按空格跳跃
- 攻击类：鼠标左键按下，通常只在确认需要时才启用
- 状态类：按1/2切换武器，按Tab查看背包或地图
Astra返回的actions字段必须严格从这些类型里选，不能输出随机坐标或未登记的键位。这样做的原因有两个：第一，脚本执行层不需要解释复杂语法，直接映射到pyautogui或pydirectinput即可；第二，给Astra的搜索空间设限可以有效降低误操作概率。我在最开始调试时让Astra自由输出动作，结果它有时候会输出一个根本不存在的键，或者自作主张把鼠标甩到屏幕边缘，这种自由发挥在真实游戏中非常致命。
动作的执行顺序也很重要。比如“跑向宝箱并拾取”这个复合指令，Astra给出的动作序列应该是：先按W前进2秒，松开，再轻微左移调整方向，最后按E键。这里要注意，动作之间必须留出足够的间隔时间，否则游戏引擎可能无法处理高频输入，导致角色卡在墙角。
另外，我也让Astra在动作执行完毕后返回一个新的story字段，作为玩家看到的下一段冒险文本。比如：
“你推开宝箱，里面躺着一把稀有手枪。远处传来警报声，看来你的行动已经被发现。”
这样玩家才真正有“文字冒险”的感觉，而不是单纯在看AI操作演示。
2.3 双循环设计：短时对话循环与游戏状态循环
文字冒险有一个天然需求：连续性。玩家上一轮在房间里看到一扇门，下一轮推开它，这个状态必须被记住。如果每轮都只丢一帧截图给Astra，它会完全丧失上下文，产生“刚才还在室内，现在又说你在室外”的荒谬情况。
所以我在实现里做了两个循环。
第一个是短时对话循环。Astra接口本身支持多轮对话，我会把最近几轮的系统提示、玩家指令、AI生成的场景描述都塞进消息列表里，让模型保持对当前情境的感知。但这个历史不宜太长，否则token消耗会爆炸，而且旧信息会干扰新画面的理解。我一般只保留最近六轮对话，再往前的直接截断。
第二个是持久化世界状态循环。我在Python里维护了一个world_state字典，记录当前地图名称、玩家所在区域、已解锁事件、背包物品、NPC状态等。每一轮调用Astra时，这个字典会被压缩成一段简短文字，塞进系统提示里；调用结束后，根据Astra返回的player_state和story内容，再更新这个字典。这样即使对话历史被截断，核心信息依然不会丢。
两个循环各有分工：对话循环负责保持叙事连贯，世界状态循环负责维持游戏逻辑。它们的结合，让Astra既能扮演好“声音有感情的旁白”，又不会把任务进度搞丢。这个设计本来是我想给机器人做导航用的，结果放到文字冒险里意外地合适。
3. 从零复现：搭建一个可公开访问的文字冒险Fortnite
3.1 环境准备与工具清单
如果你想照着复现，需要准备的东西并不复杂，但有一些必不可少：
- 一台能跑Fortnite的电脑，最好是Windows，因为键鼠模拟在Windows上兼容性更好
- Fortnite账号，并在创意模式里创建一个私人岛屿
- Astra的API密钥（需要开通多模态视觉接口）
- Python 3.10以上环境
- 依赖库：
mss、opencv-python、numpy、pyautogui（或pydirectinput）、fastapi、uvicorn、websockets、python-dotenv - 一个内网穿透工具，比如
ngrok或cloudflared，用于把本地服务暴露到公网
这里说一下为什么我推荐用pydirectinput而不是pyautogui。pyautogui在Windows上调用的是旧式鼠标键盘事件，部分游戏会忽略；而pydirectinput是对DirectInput接口的封装，很多电脑游戏对这类输入更敏感。不过它也不是万能的，后面我在问题排查里会细说。
3.2 核心代码实现：抓屏、调用Astra、执行按键
下面是核心代码骨架。我尽量写了注释，方便理解。
import base64 import json import time import cv2 import mss import numpy as np import pyautogui import pydirectinput from openai import OpenAI from fastapi import FastAPI, WebSocket # 初始化Astra客户端，注意这里需要替换为实际可用的SDK client = OpenAI( api_key="your_astra_key", base_url="https://api.astra.example.com/v1" ) WORLD_STATE = { "area": "废弃街区", "position": "蓝色房屋门口", "events": [], "inventory": [] } def grab_frame(): """抓取主显示器画面，可以裁剪为游戏窗口区域""" with mss.mss() as sct: monitor = sct.monitors[1] img = sct.grab(monitor) frame = np.array(img) return cv2.cvtColor(frame, cv2.COLOR_BGRA2RGB) def compress_frame(frame, max_size=1024): """将截图压缩到合适尺寸，控制API开销""" h, w = frame.shape[:2] scale = min(1.0, max_size / max(h, w)) if scale < 1.0: new_w, new_h = int(w * scale), int(h * scale) frame = cv2.resize(frame, (new_w, new_h)) return frame def frame_to_base64(frame): """把图像转为base64字符串，便于API传输""" _, buffer = cv2.imencode(".jpg", frame) return base64.b64encode(buffer).decode("utf-8") def call_astra(frame, user_input): """调用Astra，输入截图和玩家指令，返回结构化结果""" frame_b64 = frame_to_base64(frame) system_prompt = SYSTEM_PROMPT # 见3.3节 world_state_text = json.dumps(WORLD_STATE, ensure_ascii=False) response = client.chat.completions.create( model="astra-vision", messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": f"世界状态：{world_state_text}"}, {"role": "user", "content": f"当前截图：data:image/jpeg;base64,{frame_b64}"}, {"role": "user", "content": f"玩家指令：{user_input}"} ], response_format={"type": "json_object"} ) result = json.loads(response.choices[0].message.content) return result def execute_action(action: dict): """把Astra输出的动作指令转化为真实键鼠操作""" act_type = action.get("type") if act_type == "press_key": key = action.get("key") duration = float(action.get("duration", 0.2)) if key: pydirectinput.keyDown(key) time.sleep(duration) pydirectinput.keyUp(key) elif act_type == "mouse_move": dx = action.get("dx", 0) dy = action.get("dy", 0) pydirectinput.moveRel(dx, dy, relative=True) elif act_type == "click": button = action.get("button", "left") pydirectinput.click(button=button) elif act_type == "wait": time.sleep(float(action.get("duration", 1.0))) app = FastAPI() @app.websocket("/ws") async def websocket_endpoint(websocket: WebSocket): """浏览器通过WebSocket与后端交互""" await websocket.accept() while True: user_input = await websocket.receive_text() if user_input.strip().lower() in ["quit", "exit"]: break # 抓取最新一帧画面 frame = grab_frame() frame = compress_frame(frame) # 调用Astra进行感知和规划 result = call_astra(frame, user_input) # 执行动作，如果动作不止一个就依次执行 for action in result.get("actions", []): execute_action(action) # 更新世界状态（这里做精简处理） if result.get("player_state"): WORLD_STATE["position"] = result["player_state"].get("position", WORLD_STATE["position"]) # 把故事文本回传给玩家 await websocket.send_text(result.get("story", ""))这段代码不算完整产品，但已经覆盖了主干链路：抓帧 -> Astra推理 -> 动作执行 -> 返回叙事。启动服务之后，浏览器页面用一个简单的JavaScript WebSocket客户端就能连上。
3.3 提示词模板：把Astra调教成“游戏主持人”
Astra能不能表现得像文字冒险游戏主持人，关键在系统提示词。我调试了很多版，最后稳定下来的是下面这个模板，你可以直接抄走用：
你是一个文字冒险游戏的游戏主持人。玩家正在游玩Fortnite创意地图。 你会收到一帧游戏截图、当前的世界状态文本，以及玩家的文字指令。 请你完成三件事： 1. 根据截图和世界状态，写一段有沉浸感的场景描述，作为玩家的冒险文本。 2. 推断玩家当前状态，包括所在位置、附近可交互物体、可能的敌人。 3. 根据玩家指令，输出一个动作序列，用于在真实游戏中执行这些操作。 动作类型只能从以下范围选择： - {"type": "press_key", "key": "w/a/s/d/space/e/shift", "duration": 秒数} - {"type": "mouse_move", "dx": 相对位移, "dy": 相对位移} - {"type": "click", "button": "left/right"} - {"type": "wait", "duration": 秒数} 严格输出JSON格式，不得输出任何其他内容。JSON结构如下： { "scene_description": "场景描述文本", "player_state": { "position": "当前位置", "health": "生命值或unknown", "nearby_interactables": ["附近可交互物体"] }, "actions": [], "story": "给玩家看的故事文本" } 规则： - 只能描述截图里可见的内容，不确定的信息用unknown表示。 - 动作序列必须简短，最多5个动作，不要做复杂组合。 - story要像文字冒险游戏那样，第一人称或第二人称描述，带一点紧张感。 - 除非玩家明确要求，否则不要主动攻击敌人。这个提示词里的几个约束值得细说。限制动作列表是最重要的，否则模型会输出非法动作。要求“只能描述截图里可见的内容”是抑制幻觉的第一步。而“story要像文字冒险游戏”则是体验上限的保证——很多人复现时发现AI输出的画面描述像流水账，就是因为没给够叙事风格上的引导。
3.4 公网在线链接：让任何人随时玩上文字冒险Fortnite
本机调试没问题后，要像Ethan Mollick那样公开在线链接，只需要两步。
第一步，确认FastAPI服务跑在本机8000端口。然后使用ngrok暴露：
ngrok http 8000ngrok会生成一个随机公网地址，比如https://xxxx.ngrok-free.app。你把WebSocket地址改成wss://xxxx.ngrok-free.app/ws，别人就能通过浏览器访问了。如果用自己的域名，可以用cloudflared tunnel，配置稍微复杂一点，但稳定性更好。
第二步，加访问控制。直接裸奔暴露很危险，我在3.2的代码里没有加鉴权，正常使用时要加。最简单的方式是在WebSocket握手时校验一个token参数，或者做一个简单的密码登录页。你也可以在ngrok配置里设置Basic Auth。就算只是给朋友演示，也不要省这一步，因为一旦地址泄露，别人可以向你的电脑发送任意“动作序列”，这等同于远程控制你的鼠标键盘，风险非常大。
另外，公开链接期间，那台电脑必须保持Fortnite运行，并且角色要停留在预定地图里。最好把屏幕保护、系统休眠、自动更新都关掉。我就因为Windows自动更新重启过一次，演示到一半链接断了，非常尴尬。
4. 实操中一定会踩的坑：问题排查与经验实录
4.1 延迟高到没法玩？三招把响应时间压下来
所有多模态Agent的玩法，第一道坎就是延迟。Astra虽然能做视觉理解，但实时性依然有限。我实测一轮“截图+API推理+动作执行+文本返回”的整体延迟大概在4到8秒，如果网络状态不好甚至会超过10秒。这个延迟用来玩回合制文字冒险还能接受，但如果Astra每执行一个动作就要截一次图问一次API，体验会稀碎。
我的解决办法有三个。
第一，降低视觉调用的频率。不要每个动作执行完都去截图问一遍Astra，而是在执行期间用固定的等待时间，比如按下W行走2秒后，默认你已经前进到大概位置，再重新截图更新世界。第二，让Astra一次生成多步动作，比如[前进1秒, 左转, 前进1秒, 按E]，脚本本地循环执行，执行完再询问下一轮。这能明显减少API往返次数。第三，把动作映射提前在本地缓存，例如玩家输入“往前走”时，如果Astra连续几轮都返回同样的w键动作，就不再重复调用API，直接执行缓存策略。注意这是在牺牲一定灵活性换速度，适合演示场景。
4.2 画面和文本对不上？如何压住Astra的“幻觉”
多模态模型在处理游戏画面时经常会出现一个毛病：一本正经地描述画面里根本不存在的东西。比如截图里只有一面墙，Astra却偏偏说“角落里有一把蓝色手枪”。这在文字冒险里是致命的，因为玩家会顺着描述去找不存在的物品。
我试过几种压制幻觉的方法，效果比较好的是在提示词里加这样一句：“只描述当前截图里出现的具体元素。如果没有看到门、敌人或物品，必须写unknown，不要发散想象。”另外，在player_state里设置nearby_interactables时，要求Astra必须从截图可见的物体中挑，不能写推测性的东西。
但这还不够。后来我发现，对话历史里的旧描述会污染新判断。比如上一轮Astra说“前方有敌人”，这一轮即使敌人已经跑出视野，Astra也可能觉得“既然刚才有敌人，那现在还应该有”，结果一直描述那个不存在的敌人。所以我在系统提示里反复强调：“最新截图是唯一事实来源，历史描述仅供参考，如果截图里看不到就说明对象已经离开。”
如果你想要更硬核的校验，可以在本地挂一个轻量物体检测模型，比如YOLO，先检测出截图中的“人”“枪”“箱子”等类别，再把这些检测结果作为额外提示喂给Astra，这样它能“看到”的内容就会更加贴近真实。
4.3 实现过程中容易被忽略的安全与合规问题
这个项目涉及公众demo，有两个安全点非常容易被忽略。
第一个是游戏规则问题。Fortnite的用户协议明确限制使用脚本和自动化工具进入在线匹配。Ethan Mollick的公开实验是在创意模式、私有岛屿等封闭环境下进行的，不会破坏其他玩家的游戏体验。你复现时也务必在自建岛屿或离线环境中测试，千万不要让这套自动化脚本跑进正常的匹配对局。一方面这是协议红线，另一方面也是对真人玩家负责。
第二个是公网服务的安全问题。如果你把Astra控制服务暴露到公网，却不在服务端校验指令，那么任意拿到链接的人都可以通过发送动作序列来控制你的电脑。不要说普通人，就是随手扫描端口的脚本都可能顺手搞一下。所以我建议把动作执行层和对话层彻底分离：公网访问的只是一个对话代理，动作执行默认关闭或者需要密码解锁。更稳妥的方法是，在代码里加一个emergency_stop开关，一拨开关就立刻切断所有键鼠操作，同时关闭接收远程指令的接口。
4.4 环境适配与游戏版本带来的连带问题
Fortnite几乎每个赛季都会调整UI布局和操作绑定，Astra看到的画面也会随之变化。我在一次版本更新后发现，截图里左下角的背包位置变了，Astra把原本“武器栏”的位置识别成了“地图”，导致它建议玩家按键1选择武器，结果角色开始旋转视角，整个流程就乱了。
遇到这种问题，最直接的方案是固定游戏版本，或者至少保证在演示期间不更新游戏。另外，尽量把游戏内界面调整为最简模式，隐藏聊天、任务提示、小地图等噪音元素，减少Astra被干扰的概率。还有一个常见问题是中文输入法冲突。Windows下如果玩家在聊天框里敲中文，但输入法还是中文状态，模拟按键时会触发输入法弹窗，直接吃掉WASD。我在代码里加了一条预检逻辑：在执行任何按键前，先把输入法切换到英文模式。
5. 后续还能怎么玩？我的三点延伸思考
5.1 回到“AI即接口”这个更大的命题
Ethan Mollick用Astra改造Fortnite，最让我在意的不是游戏本身，而是“用AI给任意软件加一层自然语言接口”这件事。你看这套架构：视觉感知理解当前状态，大模型规划下一步动作，脚本执行真实操作。它完全可以套到表格处理、剪辑软件、甚至企业级系统上。游戏的优点在于反馈即时、试错成本低，所以成了这项技术最自然的展示场。未来你操作电脑的方式，可能不是拖动鼠标打开按钮，而是直接告诉AI“帮我把上周会议纪要发给相关部门”。Fortnite实验只是把这个未来提前演示了一遍。
5.2 从“AI玩现有游戏”到“AI原生游戏设计”
顺着这个思路再往前走，你会发现完全可以让游戏设计者为AI量身定制交互方式。传统文字冒险游戏需要把整个世界文本化，但Fortnite实验告诉我们，画面仍然是真实世界信息的主要来源，AI做的是“看图说话+决策执行”。那么未来的独立游戏完全可以设计成“画面给AI看，玩家只用说话”——游戏里大量信息隐藏在视觉深处，玩家需要像侦探一样向AI提问，AI也需要学会在某一帧画面里寻找线索。这种“双人成行”式的人机协作，会是独立游戏开发者非常值得尝试的方向。
5.3 我个人的实操心得
照着这个思路复现以后，我最大的感受是：模型能力其实不是瓶颈，稳定的交互工程才是。Astra确实能看懂画面，也能输出像模像样的指令，但把它从“能看能想”变成“用得稳”，中间隔着的是状态管理、动作映射、幻觉抑制和异常恢复这一大堆脏活累活。你可能会碰到它明明看到树却一头撞上去，或者在空地上非说前方有个宝箱的尴尬场景。这种时候先别急着否定模型，大概率是你的提示词约束不够、状态历史太乱，或者动作间隔太短。
再提醒一句，每次给项目加新功能，先让AI自己闭循环跑几十步再看。我一般会在无人介入的情况下，让Astra连续执行“探索当前区域并返回描述”这个动作，如果连续二十步没有出现非法按键或者自相矛盾的世界状态，才敢开放给真实玩家。这样虽然慢，但可以让别人打开你公开链接的时候，体验尽量接近Ethan Mollick那个demo给人的惊喜感。
