ms-swift强化学习实战：GRPO算法训练Agent详细步骤

ms-swift强化学习实战：GRPO算法训练Agent详细步骤

在大模型智能体（Agent）的训练过程中，如何让模型不仅具备语言理解能力，还能根据环境反馈做出最优决策，是当前研究的核心挑战之一。传统的监督微调（SFT）虽然能教会模型“正确回答”，但难以使其具备主动探索和长期规划的能力。为此，强化学习（Reinforcement Learning, RL）成为提升模型智能水平的关键路径。

ms-swift 作为魔搭社区推出的一站式大模型微调与部署框架，原生集成了丰富的强化学习算法族，其中GRPO（Generalized Reward Policy Optimization）因其稳定性高、无需奖励模型、支持多轮交互等特点，正逐渐成为构建智能 Agent 的首选方案。

本文将基于 ms-swift 框架，详细介绍使用 GRPO 算法训练一个具备任务执行能力的 AI Agent 的完整流程，涵盖环境准备、数据构造、参数配置、训练执行到推理验证等关键环节，帮助开发者快速掌握从零构建强化学习 Agent 的核心技能。

1. GRPO算法原理与优势解析

1.1 什么是GRPO？

GRPO（Generalized Reward Policy Optimization）是一种广义的策略优化方法，属于无参考模型的强化学习范式。它直接利用人类标注或自动评估的标量奖励信号来更新语言模型策略，避免了传统PPO中复杂的奖励建模（RM）和价值网络训练过程。

其核心思想是通过比较不同响应的奖励值，调整生成概率，使高奖励输出的概率增大，低奖励输出的概率减小。损失函数形式如下：

$$ \mathcal{L}{\text{GRPO}} = -\mathbb{E}{(x,y)\sim\pi_{\theta}} \left[ r(x,y) \cdot \log \pi_{\theta}(y|x) \right] $$

其中：

• $ x $：输入提示（prompt）
• $ y $：模型生成的回答（response）
• $ r(x,y) $：该回答获得的奖励分数
• $ \pi_{\theta} $：当前策略模型

该公式表明，GRPO 实质上是对标准交叉熵损失进行了加权——奖励越高，梯度越强，更新幅度越大。

1.2 GRPO相较于DPO/PPO的优势

核心优势总结：

• 轻量化实现：无需额外训练奖励模型，降低工程复杂度；
• 灵活奖励设计：可接入代码执行结果、数学验证器、外部API评分等多种奖励源；
• 天然支持Agent场景：适用于工具调用、多步推理、游戏交互等动态环境任务。

2. 准备工作：环境与依赖配置

2.1 硬件与软件要求

GRPO 训练对显存有一定要求，推荐配置如下：

软件依赖：

# 推荐使用Python 3.9+ pip install "ms-swift[all]" -U -f https://modelscope.cn/simple/

确保已安装以下组件：

• transformers,torch,datasets
• vLLM（用于加速推理采样）
• peft,bitsandbytes（支持QLoRA）

2.2 初始化项目目录结构

mkdir -p grpo_agent_training/{data,scripts,outputs} cd grpo_agent_training

3. 数据集构建：设计适合Agent训练的任务样本

GRPO 训练依赖于带有明确奖励信号的数据集。每个样本应包含三部分：

1. Prompt：任务描述或用户请求
2. Response：Agent生成的动作序列或回答
3. Reward：由评估模块返回的浮点数奖励值

3.1 示例任务：数学解题Agent

我们以“数学问题求解”为例，构建如下格式的数据集（JSONL）：

{"prompt": "求解方程：x^2 - 5x + 6 = 0", "response": "分解因式得 (x-2)(x-3)=0，所以 x=2 或 x=3", "reward": 1.0} {"prompt": "计算圆周率的近似值", "response": "3.14", "reward": 0.6} {"prompt": "解释牛顿第二定律", "response": "F=ma，力等于质量乘以加速度", "reward": 0.8}

3.2 自动生成带奖励数据集的脚本

# scripts/generate_math_data.py import json from swift.llm import Swift, infer from evaluate import load_metric def compute_reward(question, response): # 简化版评分逻辑：关键词匹配 + 长度合理性 keywords = ['解', '公式', '推导', '=', '因此'] score = sum(1 for kw in keywords if kw in response) * 0.2 if len(response) < 20: score *= 0.5 # 太短则扣分 return min(score, 1.0) # 加载预训练模型进行初始采样 model_id = "Qwen/Qwen2.5-7B-Instruct" prompts = [ "求解方程：x² - 4x + 3 = 0", "计算三角形面积，底为5，高为8", "解释勾股定理" ] with open("data/math_grpo_data.jsonl", "w") as f: for prompt in prompts: output = infer(model_id, prompt, max_new_tokens=256) reward = compute_reward(prompt, output) record = {"prompt": prompt, "response": output, "reward": reward} f.write(json.dumps(record, ensure_ascii=False) + "\n")

运行后生成可用于训练的math_grpo_data.jsonl文件。

4. GRPO训练全流程详解

4.1 启动GRPO训练命令

CUDA_VISIBLE_DEVICES=0 swift rlhf \ --rlhf_type grpo \ --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --lora_rank 64 \ --lora_alpha 128 \ --target_modules all-linear \ --dataset file://$(pwd)/data/math_grpo_data.jsonl \ --max_length 2048 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 8 \ --learning_rate 2e-5 \ --num_train_epochs 3 \ --output_dir outputs/grpo_math_agent \ --logging_steps 10 \ --save_steps 50 \ --eval_strategy no \ --use_vllm true \ --vllm_max_model_len 4096 \ --bf16 true \ --warmup_ratio 0.1

关键参数说明：

4.2 自定义奖励函数插件开发

ms-swift 支持通过插件机制扩展奖励计算逻辑。创建reward_plugin.py：

# reward_plugin.py from swift.rewards import BaseReward class MathAccuracyReward(BaseReward): def __init__(self): super().__init__() def compute(self, prompt: str, response: str) -> float: import re try: # 提取数字答案 pred = re.search(r"[-+]?\d*\.\d+|\d+", response) if not pred: return 0.1 pred_val = float(pred.group()) # 根据题目类型判断真值 if "x^2 - 5x + 6" in prompt: true_vals = [2, 3] elif "面积" in prompt: true_vals = [20] # 0.5*5*8 else: return 0.5 # 默认中等分 return 1.0 if any(abs(pred_val - v) < 0.1 for v in true_vals) else 0.2 except Exception: return 0.1 # 注册插件 register_reward('math_acc', MathAccuracyRankReward)

在训练时启用插件：

--reward_function math_acc --reward_module_path ./reward_plugin.py

5. 训练过程监控与调优建议

5.1 日志分析要点

训练期间关注以下指标：

Step 100 | Loss: 0.342 | Reward: 0.78 | Learning Rate: 2.0e-5

• Loss下降趋势：正常应在前100步内明显下降；
• Average Reward上升：表示模型逐步学会生成高奖励响应；
• OOM报错处理：若出现显存溢出，尝试降低max_length或启用--quant_bits 4。

5.2 常见问题与解决方案

5.3 性能优化技巧

• 启用Flash Attention：添加--use_flash_attn true提升训练速度约20%；
• 使用UnSloth加速LoRA：设置--enable_unsloth true可提速1.5倍以上；
• 分布式训练：多卡环境下使用 DeepSpeed：

deepspeed --num_gpus 4 swift rlhf \ --rlhf_type grpo \ --deepspeed zero2 \ ...

6. 推理与效果验证

6.1 合并LoRA权重并推理

swift export \ --model Qwen/Qwen2.5-7B-Instruct \ --adapters outputs/grpo_math_agent/checkpoint-100 \ --merge_lora true \ --output_dir merged_model

6.2 交互式推理测试

swift infer \ --model merged_model \ --stream true \ --infer_backend vllm \ --max_new_tokens 512

输入测试：

User: 解方程：x² - 7x + 10 = 0 Assistant: 分解因式得 (x-2)(x-5)=0，因此解为 x=2 或 x=5。 [奖励得分：1.0]

可见模型已学会规范化的数学表达方式。

7. 扩展应用场景：构建通用Agent系统

GRPO 不仅限于数学任务，还可应用于更复杂的 Agent 场景：

7.1 工具调用Agent

设计包含工具调用指令的数据集：

{ "prompt": "查询北京今天的天气", "response": "<tool_call>weather_api(city='北京')</tool_call>", "reward": 1.0 }

配合前端解析器实现真实API调用闭环。

7.2 多轮对话Agent

支持上下文感知的连续交互：

{ "prompt": "第一轮：推荐一部科幻电影\n第二轮：这部电影是谁导演的？", "response": "《银翼杀手2049》由丹尼斯·维伦纽瓦执导。", "reward": 0.9 }

7.3 游戏AI Agent

结合环境状态反馈训练游戏策略：

• 输入：当前游戏画面+文字描述
• 输出：操作指令（如“向左移动”、“攻击”）
• 奖励：得分变化、通关进度

8. 总结

本文系统介绍了基于 ms-swift 框架使用 GRPO 算法训练智能 Agent 的完整实践路径，主要内容包括：

1. GRPO算法本质：一种无需奖励模型、直接利用标量奖励优化策略的方法，特别适合任务导向型Agent训练；
2. 数据集构建方法：强调奖励信号的设计原则，提供自动化生成与插件扩展机制；
3. 端到端训练流程：从环境配置、命令行启动到参数调优，形成可复现的工程模板；
4. 性能优化策略：结合vLLM、FlashAttention、DeepSpeed等技术提升训练效率；
5. 多样化应用前景：覆盖数学推理、工具调用、多轮对话、游戏AI等多个前沿方向。

GRPO 的最大价值在于降低了强化学习落地门槛，使得开发者可以专注于业务逻辑和奖励设计，而不必陷入复杂的RL工程细节。配合 ms-swift 提供的全链路支持，即使是单卡环境也能高效完成Agent训练任务。

未来，随着更多GRPO变体（如DAPO、GSPO）的引入，以及与多模态、MoE架构的深度融合，ms-swift 将持续推动大模型从“会说话”向“能做事”的智能体演进。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。