1. 从 SWE-Bench 训练集没有可执行环境说起
如果你最近在跑 SWE-Bench 相关的实验，大概率会遇到一个很别扭的问题：测试集（Verified / Lite）每个实例都带 Docker 镜像，agent 改完代码能真的跑单元测试拿到反馈；但训练集只有 git patch，没有可执行环境。也就是说，你在训练阶段根本拿不到"这段代码到底跑不跑得通"的信号，只能做纯模仿学习——把标准答案的 diff 喂给模型，让它学会"照着写"。
SWE-Gym 这篇 ICML'25 的工作就是冲着这个缺口来的。它构建了 2,438 个带可执行运行时、预装依赖和单元测试的真实 Python 任务实例，来自 11 个热门开源仓库，并且这些仓库和 SWE-Bench 用的仓库完全分开，避免数据污染。有了它，你才能做两件以前做不了的事：一是用成功轨迹对 SWE agent 做拒绝采样微调，二是用轨迹训练 verifier（结果监督奖励模型），在推理时对多条候选轨迹重排序。
这篇不是论文复述，而是一份能跟做的工程实践记录。我会把环境配置、轨迹采样、SFT 训练脚本、verifier 训练、SWE-Bench 评测命令串成一条完整链路，并且用 TaoToken 的统一 Key/API 通道来承接模型调用——因为整条链路里最烧钱、最容易卡住的就是"调 GPT-4o / Claude 采样轨迹"这一步，统一通道能省掉一堆 key 管理和计费对账的麻烦。适合谁看：正在做 SWE agent 后训练、想复现 SWE-Gym 流程、或者单纯想搞明白"训练集没环境"这个坑怎么填的工程师。
先说清楚一个容易误解的点：SWE-Gym 不是让你去训练一个新基座，而是给你一个能跑出奖励信号的环境。奖励信号来自单元测试的 Fail-to-Pass 结果——补丁打上后，原本失败的测试变成通过，才算解决。这个信号既可以拿去筛轨迹做 SFT，也可以拿去标注成功/失败训练 verifier。理解了这一点，后面所有步骤都顺了。
2. TaoToken 统一 Key 接入：把采样阶段的模型调用收敛到一个通道
在动手之前，先把模型调用这条线理清楚。SWE-Gym 的轨迹采样阶段，论文用的是 gpt-4o-2024-08-06 和 claude-3-5-sonnet-20241022，在不同温度下采样，最后只保留单元测试通过的成功轨迹。这一步的调用量很大：2,438 个任务，每个任务可能要采样多次，单任务成本论文里提到前沿模型通常 1 美元以上。如果你同时用多家模型，key 管理、额度监控、失败重试会变成一堆琐事。
我的做法是把所有模型调用收敛到 TaoToken 的统一通道。它的 API 地址是https://taotoken.net/api，兼容 OpenAI 风格的/v1/chat/completions，所以你在 agent 框架里改一个 base_url 和 api_key 就能切换模型，不用为每家单独写适配层。官网入口在 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，注册后在控制台生成 key 即可。
这里要强调一个工程细节：SWE agent 的采样不是单轮对话，而是多轮工具调用（bash 执行、文件编辑、查看输出）。OpenHands 这类框架内部会维护一个 action-observation 历史，每次调用都把完整历史发出去。所以你的 API 通道必须稳定支持长上下文和多轮，否则采样到一半断掉，那条轨迹就废了。统一通道的好处是重试策略、超时、并发限流可以集中配置，而不是散落在多个 SDK 里。
关于模型选择，我的建议是分两档：采样成功轨迹用能力强的模型（对应论文里的 GPT-4o / Claude 档位），做消融或大批量试跑时用性价比更高的模型先验证 pipeline 通不通。TaoToken 的模型对话入口在 https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=model_chat ，你可以先在网页里手动发一条带工具调用格式的请求，确认返回结构符合预期，再写进脚本。
如果你打算长期跑 agent 训练和评测，建议直接看 Coding Plan，它更适合这种持续、大批量的编码类调用场景：https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=coding_plan 。key 的生成和管理在 https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=api_keys ，接入文档在 https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=doc 。下面所有脚本里的TAOTOKEN_API_KEY都指你在这里生成的 key。
3. 可复制配置：环境、Docker 与模型通道三件套
这一节给你可以直接抄的配置。分三块：SWE-Gym 环境准备、Docker 运行时、以及模型调用的 settings 片段。
先看环境。SWE-Gym 官方发布了每个实例的预构建 Docker 镜像，总计约 6TB，所以本地磁盘要留够。建议单独挂一块数据盘，把镜像和数据集放一起。
# 建议 Python 3.10+，单独建虚拟环境 conda create -n swegym python=3.10 -y conda activate swegym # 安装 SWE-Bench harness（评测和验证都靠它） pip install swebench # 拉取 SWE-Gym 数据集（HuggingFace 上可获取） pip install datasets huggingface_hubDocker 侧要确认能正常拉镜像并跑容器。SWE-Bench 的 harness 会自己管理容器生命周期，你只需要保证 Docker daemon 可用、磁盘够大。
docker info | grep -E "Server Version|Storage Driver" # 预留空间检查，6TB 镜像不是开玩笑的 df -h /var/lib/docker接下来是模型通道配置。这是整条链路的关键，我把它写成一个独立的model_config.json，agent 框架和 verifier 训练脚本都读它，避免 key 散落。
{ "base_url": "https://taotoken.net/api", "api_key": "sk-你的TaoTokenKey", "models": { "sampler_strong": "gpt-4o-2024-08-06", "sampler_alt": "claude-3-5-sonnet-20241022", "verifier_base": "Qwen2.5-Coder-32B-Instruct" }, "request": { "timeout": 300, "max_retries": 3, "temperature_sampling": 0.5 } }如果你用的是 OpenHands 作为 agent scaffold，它的 LLM 配置通常读环境变量或config.toml。对应写法如下，注意 Base URL、Key、Model ID 三件套要齐全：
# OpenHands config.toml 片段 [llm] model = "gpt-4o-2024-08-06" base_url = "https://taotoken.net/api" api_key = "sk-你的TaoTokenKey" temperature = 0.5 max_output_tokens = 4096如果你用 Cline 或类似的编码 agent 做辅助调试，MCP 配置里同样要写全三件套。下面是一个 MCP server 的配置示例，Base URL 指向 TaoToken，Key 用环境变量注入，Model ID 明确指定：
{ "mcpServers": { "swe-agent-helper": { "command": "python", "args": ["-m", "swe_agent_mcp_server"], "env": { "OPENAI_BASE_URL": "https://taotoken.net/api", "OPENAI_API_KEY": "sk-你的TaoTokenKey", "OPENAI_MODEL": "gpt-4o-2024-08-06" } } } }如果你用 Codex 风格的 CLI，认证信息一般落在auth.json，同样把 base_url 和 key 写进去即可，Model ID 单独在调用参数里指定。三件套缺一不可，尤其是 Model ID——很多人只改了 base_url 忘了改 model，结果请求打到默认模型上，采样出来的轨迹质量完全不对。
配置完成后，先做一次最小连通性验证，别急着跑全量采样：
curl https://taotoken.net/api/v1/chat/completions \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "gpt-4o-2024-08-06", "messages": [{"role": "user", "content": "reply with OK only"}], "max_tokens": 8 }'返回里能看到choices[0].message.content就说明通道通了。这一步花两分钟，能省掉后面几小时的排查。
4. 轨迹采样、SFT 训练与 SWE-Bench 评测验证
配置通了，进入正题。整条链路分四步：采样成功轨迹 → 拒绝采样微调 agent → 训练 verifier → SWE-Bench 评测。
第一步，轨迹采样。核心逻辑是让 agent 在 SWE-Gym 环境里真实跑任务，记录完整交互历史，然后用单元测试判定成功与否，只留成功的。伪代码结构如下，实际用 OpenHands 的 remote runtime 并行化：
import json from datasets import load_dataset def sample_trajectory(instance, agent, model_config): # instance 含 problem_statement / base_commit / test_patch env = start_docker_env(instance["instance_id"]) env.reset_to_commit(instance["base_commit"]) trajectory = agent.run( problem=instance["problem_statement"], env=env, model=model_config["models"]["sampler_strong"], temperature=model_config["request"]["temperature_sampling"], ) # 用 test_patch 跑单元测试，判定 Fail-to-Pass passed = env.run_tests(instance["test_patch"]) return {"trajectory": trajectory, "success": passed} dataset = load_dataset("SWE-Gym/SWE-Gym", split="train") successful = [] for inst in dataset: result = sample_trajectory(inst, agent, model_config) if result["success"]: successful.append(result["trajectory"]) with open("swegym_success_trajectories.jsonl", "w") as f: for t in successful: f.write(json.dumps(t) + "\n")论文里 491 条成功轨迹就是这么来的，平均每条约 19 轮交互、约 19,000 token。注意这里有个坑：采样成本高，所以一定要做断点续采，把每条轨迹单独落盘，别等全部跑完再写文件，否则中途挂了全白跑。
第二步，拒绝采样微调。拿到成功轨迹后，对基座模型（论文用 Qwen2.5-Coder-Instruct 7B/14B/32B）做监督微调。本质是 filtered behavior cloning，不是 RL。训练脚本关键参数：
# 以 LLaMA-Factory 为例的 SFT 启动命令 llamafactory-cli train \ --model_name_or_path Qwen/Qwen2.5-Coder-32B-Instruct \ --stage sft \ --dataset swegym_trajectories \ --dataset_dir ./data \ --template qwen \ --cutoff_len 32768 \ --max_samples 491 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 8 \ --learning_rate 1e-5 \ --num_train_epochs 3 \ --lr_scheduler_type cosine \ --output_dir ./output/swegym-sft-32b \ --bf16 true论文报告的结果：32B 模型微调后在 SWE-Bench Lite 上从 3.0% 提升到 15.3%，Verified 上从 7.0% 提升到 20.6%。同时"陷入循环率"显著下降——这点我深有体会，开放权重模型在 agent 任务里经常连续三次重复同一个动作，直接耗尽 token 预算。微调后这个行为明显减少。
第三步，训练 verifier。verifier 是一个结果监督奖励模型，输入是问题描述 + 轨迹 + 当前 git diff，输出成功概率。论文的做法很巧妙：不直接回归分数，而是让模型预测下一个 token 是<YES>还是<NO>，然后用 softmax 归一化得到奖励：
import math def compute_reward(logprob_yes, logprob_no): # r = exp(ly) / (exp(ly) + exp(ln)) ly, ln = logprob_yes, logprob_no return math.exp(ly) / (math.exp(ly) + math.exp(ln))训练数据要混合在线策略和离线策略轨迹，各取等量成功和失败样本。论文消融显示，只用离线数据性能会早早在约 22% 停滞，混合数据最佳。推理时对每个任务采样 k 条轨迹，用 verifier 选奖励最高的，这就是 Best@k。论文里 k=16 时 Verified 达到 32.0%。
第四步，评测。用 SWE-Bench 官方 harness 跑：
python -m swebench.harness.run_evaluation \ --predictions_path ./output/predictions.jsonl \ --max_workers 8 \ --run_id swegym-sft-32b-eval \ --dataset_name SWE-bench/SWE-bench_Verifiedpredictions.jsonl每行是{"instance_id": ..., "model_patch": ...}。跑完会输出解决率。如果你想先验证 harness 本身没问题，用 gold patch 跑一遍：
python -m swebench.harness.run_evaluation \ --predictions_path gold \ --max_workers 1 \ --instance_ids sympy__sympy-20590 \ --run_id validate-goldgold 能全过，说明你的 Docker 和 harness 配置正确，再跑自己的预测才有意义。
5. 本篇常见错排查：401、local proxy failed 与 choices 解析
这一节把我在跑这条链路时踩过的坑列出来，对照真实报错给解法。
报错一：401 Unauthorized。最常见的原因是 key 没注入成功，或者 base_url 写成了带/v1的完整路径而 SDK 又自动拼了一次。检查两点：一是echo $TAOTOKEN_API_KEY确认环境变量非空；二是 base_url 统一写https://taotoken.net/api，让 SDK 自己拼/v1/chat/completions。如果你在 OpenHands 的 config.toml 里写，确认api_key字段没有被引号或空格污染。
报错二：local proxy failed / connection refused。这个通常出现在 Docker 容器内调用外部 API 时。容器默认网络可能拿不到宿主机的出网配置，或者你的 agent 框架在容器里读不到宿主机的环境变量。解法是把 key 通过-e显式传进容器，或者让 agent 的模型调用走宿主机侧而不是容器内。另外确认没有配置任何本地代理端口残留，unset http_proxy https_proxy后再试。
报错三：reading 'choices' of undefined。这是解析响应时字段路径不对。TaoToken 兼容 OpenAI 格式，正常返回是response["choices"][0]["message"]["content"]。如果你拿到的是流式响应，要先拼接 delta。还有一种情况是请求被限流返回了错误结构，此时choices字段不存在，代码里要先判断if "choices" in response再取，否则直接抛这个错。建议在调用层加一层统一封装，把错误响应和正常响应分开处理。
报错四：OAuth / token expired。如果你用的是某些 CLI 工具的 OAuth 登录态，长时间跑批会过期。改成用 API key 方式（也就是上面三件套里的 Key）就不受这个影响。Codex 风格的auth.json里如果混了 OAuth 字段和 api_key 字段，优先走 api_key。
报错五：Docker 镜像拉取超时或磁盘写满。6TB 镜像不是小数目，df -h先看空间。拉取超时的话配置镜像加速或分批拉，别一次性全拉。另外 harness 跑评测时会创建大量临时容器，记得定期docker system prune，但别在评测中途清。
报错六：轨迹采样到一半 agent 卡死。多半是模型陷入循环，连续重复同一动作直到 max token。解法是设置单条轨迹的最大轮数上限（比如 30 轮），超了就标记失败丢弃。这也是为什么微调后循环率下降很重要——它直接决定了你的采样吞吐。
排查顺序建议：先 curl 验证通道 → 再单实例跑 gold → 再单实例跑 agent → 最后全量。每一步都确认了再往下，比一上来全量跑然后对着日志猜要快得多。
6. 把这条链路跑成你自己的
回到最开始那个问题：SWE-Bench 训练集没有可执行环境，所以以前你只能做模仿学习。SWE-Gym 把环境补齐之后，整条后训练链路才真正闭环——采样有奖励信号，训练有成功轨迹，推理有 verifier 重排序。
如果你要复现，我的建议是先跑通最小闭环：挑 SWE-Gym Lite 里的几个实例，用 TaoToken 通道采样一条成功轨迹，跑一次 SFT（哪怕只训几十步），再用 harness 评测一个实例。这个闭环通了，再放大到全量。模型调用这条线统一走 https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=api_keys 生成的 key，接入细节看 https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=doc ，长期跑批用 Coding Plan 更省心：https://taotoken.net/api?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=coding_plan 。
最后一个实用技巧：采样阶段把每条轨迹的 token 消耗和轮数记下来，和成功率一起存。你会发现成功轨迹的轮数分布明显比失败轨迹集中，这个统计本身就能帮你调采样策略——比如把 max 轮数卡在成功分布的上沿，能砍掉一批注定失败的采样，省下真金白银。
