1. 项目缘起与整体设计思路
1.1 为什么选择双足机器人作为强化学习验证平台
双足机器人一直是机器人控制领域公认的硬骨头。跟轮式底盘或者四足机器人比起来，双足系统的欠驱动特性更明显，行走过程中重心投影点会周期性地跑到支撑多边形外面，说白了就是“每一步都在摔倒的边缘反复横跳”。也正因为这样，双足平台特别适合拿来验证强化学习算法到底能不能处理高维连续控制问题。
Kayden Knapik 这个项目选的是自己设计的小型双足机器人 Stompy，整机自由度不算多，每条腿三个舵机，加起来六个主动自由度。这个配置很有意思：自由度太少，走不出像样的步态；自由度太多，仿真到现实的迁移难度会指数级上升。六个自由度刚好卡在一个“能走、能调、能训”的甜点区。
我自己的经验是，做 Sim-to-Real 项目，硬件复杂度一定要压住。你在仿真里调得再漂亮，真机上舵机响应延迟、齿轮间隙、电池电压下降这些因素都会把策略毁掉。Stompy 这种级别的平台，单腿三个舵机分别负责髋关节前后摆、髋关节侧摆和膝关节，结构简单，出问题容易定位，非常适合作为强化学习入门到实战的过渡项目。
1.2 七天时间盒的取舍逻辑
“7天造出”这个说法听起来很唬人，但真正做过的人都知道，时间盒的意义不在于炫技，而在于逼你做减法。Kayden 的七天安排大致是这样的：前两天搞定机械结构和电子布线，第三天把仿真环境搭起来，第四到第五天跑训练和调奖励函数，第六天做域随机化和策略导出，第七天在真机上调试和录视频。
这个节奏背后有一个很关键的判断：机械和电子必须一次做对，不能反复返工。因为一旦硬件改尺寸，之前训好的策略全部作废，URDF 要重新导出，仿真参数要重新标定，时间根本不够用。所以他在机械设计阶段就用了大量标准件和 3D 打印件，关节连接处留了足够的公差余量，避免装配后卡死。
提示：如果你也想做类似的时间盒项目，建议把硬件调试时间预留出至少 30% 的缓冲。我见过太多人前两天装完机器，第三天发现某个舵机中位不对，结果整个进度往后拖了三天。
1.3 技术栈选型：Jetson Orin Nano 作为机载大脑
这个项目用的主控是 Jetson Orin Nano。选它的理由很直接：强化学习策略网络虽然推理量不大，但你需要一个能跑 PyTorch、能接摄像头、能实时输出 PWM 信号的平台。树莓派跑推理不是不行，但遇到稍微大一点的 MLP 或者需要做传感器融合的时候，延迟会明显上来。Orin Nano 的 GPU 算力对于这种小型双足机器人来说绰绰有余，而且功耗控制得不错，适合电池供电。
软件栈方面，仿真用的是 Isaac Gym 或者 MuJoCo 这类支持 GPU 并行训练的物理引擎，训练框架是 PyTorch，策略网络通常就是一个几层的 MLP，输入是关节角度、角速度、IMU 读数和上一帧动作，输出是目标关节位置。这个输入输出维度都不大，Orin Nano 上跑个几百赫兹完全没问题。
1.4 Sim-to-Real 的核心矛盾
Sim-to-Real 最核心的矛盾就一句话：仿真里没有噪声，现实里全是噪声。你在仿真里训出来的策略，到了真机上会遇到舵机死区、摩擦非线性、IMU 漂移、地面打滑、电池电压下降导致扭矩不足等等问题。Kayden 的做法是典型的“域随机化 + 观测历史 + 动作平滑”三件套，后面我会详细拆解每一步怎么落地。
2. 核心细节解析与实操要点
2.1 机械结构设计中的关键参数
Stompy 的腿部结构是典型的并联式髋关节加串联膝关节。髋关节两个舵机呈 90 度布置，一个负责前后摆动，一个负责侧向摆动，膝关节舵机直接驱动小腿。这种布局的好处是重心集中在大腿附近，转动惯量小，舵机负载轻。
关键尺寸方面，大腿长度和小腿长度基本相等，这样在站立姿态下膝关节角度接近 90 度，扭矩输出效率最高。足端加了一层硅胶垫，目的是增加摩擦系数并且吸收落地冲击。这个细节很重要，我实测过，硬塑料足端在光滑地面上打滑非常严重，策略根本学不会稳定行走。
舵机选的是串行总线舵机，支持位置控制和速度读取。这里有一个坑：总线舵机的回读频率和指令频率是共享带宽的。如果你既要高频读位置又要高频发指令，总线会堵。Kayden 的做法是控制频率降到 50Hz 左右，位置回读用轮询方式分散到不同周期，避免总线拥塞。
2.2 仿真环境搭建与 URDF 导出
仿真环境搭建的第一步是把机械模型导出成 URDF。这里最容易出问题的地方是关节坐标系定义和碰撞体简化。很多人在 CAD 里画得很漂亮，导出 URDF 之后发现关节轴方向不对，或者碰撞体太复杂导致仿真步长被迫降到很低。
Kayden 的做法是：视觉网格用精细模型，碰撞体全部用简化几何体替代。大腿和小腿用胶囊体，足端用球体，机身用长方体。这样物理计算量小，仿真可以跑到 1000Hz 以上。关节限位和舵机实际行程要严格对齐，否则仿真里学出来的动作到了真机上会撞限位。
注意：URDF 里的关节阻尼和摩擦参数不要拍脑袋填。我的经验是先用一个简单的摆锤实验标定关节摩擦，再把这个值填进仿真。虽然麻烦，但能省掉后面大量的调参时间。
2.3 强化学习算法选型：为什么用 PPO
这个项目用的是 PPO（Proximal Policy Optimization）。选它的理由很实际：PPO 在连续控制任务上稳定、样本效率虽然不算最高但足够用、调参相对友好、社区资料多。对于七天时间盒来说，你没有时间去折腾 SAC 或者 TD3 的超参数，PPO 是风险最低的选择。
策略网络结构是三层 MLP，每层 256 个神经元，激活函数用 ELU。输入维度包括：关节角度（6）、关节速度（6）、机身姿态四元数（4）、机身角速度（3）、上一帧动作（6），加起来 25 维左右。输出是 6 维目标关节位置。价值网络结构和策略网络类似，但输出是标量。
训练的时候用了 4096 个并行环境，在 Isaac Gym 里跑，大概几个小时就能看到机器人开始迈步。这里的关键是奖励函数设计，后面单独讲。
2.4 奖励函数设计的核心逻辑
奖励函数是强化学习里最像“玄学”的部分，但其实有章可循。Kayden 的奖励函数大致包含这几项：
- 前进速度奖励：机身前进速度接近目标速度时给正奖励，偏离时给负奖励。
- 姿态惩罚：机身俯仰角和滚转角偏离水平时给惩罚。
- 高度惩罚：机身高度偏离期望值时给惩罚。
- 动作平滑惩罚：相邻两帧动作差异过大时给惩罚。
- 关节限位惩罚：关节接近限位时给惩罚。
- 足端滑动惩罚：支撑足在接触地面时水平速度过大给惩罚。
这些项加权求和，权重需要反复调。我的经验是，先调速度和姿态，再调平滑和限位。如果一上来就把所有项都加上，你会很难判断到底是哪一项导致机器人不走路。
2.5 域随机化的参数范围设定
域随机化是 Sim-to-Real 的核心手段。Kayden 随机化的参数包括：
| 参数 | 随机范围 | 说明 |
|---|---|---|
| 机身质量 | ±15% | 模拟电池和线缆重量差异 |
| 关节摩擦 | 0.5x ~ 1.5x | 模拟舵机齿轮磨损 |
| 舵机延迟 | 0 ~ 20ms | 模拟总线通信延迟 |
| 地面摩擦 | 0.4 ~ 1.2 | 模拟不同地面材质 |
| IMU 噪声 | 高斯噪声 | 模拟传感器漂移 |
| 外部推力 | 随机方向 | 模拟扰动 |
这些范围不是随便填的，而是根据真机实测数据反推出来的。比如舵机延迟，他用示波器测了从发指令到舵机开始动作的时间，大概在 8 到 15 毫秒之间，所以随机化范围设成 0 到 20 毫秒覆盖了最坏情况。
3. 实操过程与核心环节实现
3.1 第一天到第二天：机械装配与电子布线
机械装配的顺序很重要。Kayden 的做法是先把两条腿分别装好，再装到机身上。每条腿的装配顺序是：髋关节侧摆舵机 -> 髋关节前后摆舵机 -> 膝关节舵机 -> 大腿 -> 小腿 -> 足端。每装一个关节就用舵机测试板确认中位和行程，避免装完发现某个舵机方向反了要拆重来。
电子布线方面，总线舵机是菊花链连接，电源线单独走一路，信号线走另一路。电源线要足够粗，因为六个舵机同时堵转的时候电流能到好几安培，细线会导致电压跌落，舵机抖动。他在机身里塞了一块 3S 锂聚合物电池，经过一个降压模块给 Orin Nano 和舵机分别供电。
提示：舵机电源和主控电源一定要分开降压，否则舵机启动瞬间的电流冲击会导致主控复位。这个坑我踩过，调试的时候机器人走两步就重启，查了半天才发现是电源问题。
3.2 第三天：仿真环境搭建与模型导入
仿真环境用的是 Isaac Gym 的预览版，配合自己写的 URDF 导入脚本。导入之后第一件事是验证关节方向和限位。他在仿真里写了一个简单的 PD 控制器，让机器人做几个预设动作，确认每个关节的运动方向和真机一致。
这一步看起来简单，但非常关键。我见过有人仿真里关节方向反了，训练出来的策略在真机上完全不能用，白白浪费两天训练时间。验证方法很简单：在仿真里给每个关节一个正的目标位置，观察关节角度变化方向，和真机对比。
3.3 第四天到第五天：训练与调参
训练过程分两个阶段。第一阶段是“学走路”，奖励函数里速度项权重给得比较高，鼓励机器人往前迈步。这个阶段大概跑 2000 到 3000 个 iteration，机器人从原地踏步逐渐学会往前挪。第二阶段是“学走稳”，降低速度权重，提高姿态和平滑惩罚权重，让步态更自然、更抗扰动。
调参过程中最耗时间的是奖励权重的平衡。Kayden 的做法是每次只调一个权重，观察 500 个 iteration 的效果，如果机器人行为没有明显改善就回退。这种“小步快跑”的调参方式比一次性调一堆参数要靠谱得多。
训练曲线方面，主要看三个指标：平均回报、平均前进速度、摔倒率。平均回报上升但前进速度不涨，说明机器人在“刷奖励”，需要检查奖励函数有没有漏洞。摔倒率居高不下，说明姿态惩罚不够或者初始状态太激进。
3.4 第六天：策略导出与域随机化
训练完成后，策略网络导出成 ONNX 格式，然后在 Orin Nano 上用 ONNX Runtime 加载。这里有一个细节：仿真里的观测顺序和真机上的观测顺序必须严格一致。Kayden 在代码里定义了一个观测向量构造函数，仿真和真机共用同一份代码，避免顺序错乱。
域随机化在训练后期开启，逐步扩大随机范围。他的做法是前 1000 个 iteration 不随机化，让机器人先学会基本步态，然后再逐步加入随机化。如果一上来就全随机，机器人很难学到有效策略。
3.5 第七天：真机调试与问题排查
真机调试是检验 Sim-to-Real 效果的最终环节。第一次上电的时候，Kayden 把机器人吊在一个支架上，让腿悬空，先验证策略输出的关节角度是否合理。确认无误后再放到地面上，用手扶着走几步，最后才完全放开。
真机上遇到的第一个问题是舵机响应延迟导致步态不稳。仿真里舵机是瞬时响应的，真机上有十几毫秒延迟。他的解决办法是在策略输出后面加了一个低通滤波器，平滑动作指令，虽然牺牲了一点响应速度，但稳定性明显提升。
第二个问题是IMU 漂移。机器人走几十秒之后姿态估计就会偏。他在策略里加入了观测历史，让网络自己学会从历史观测中估计漂移量，相当于让网络隐式地做状态估计。
4. 常见问题与排查技巧实录
4.1 仿真训练不收敛的排查思路
训练不收敛是最常见的问题，排查顺序建议如下：
- 检查观测和动作维度是否匹配。维度错了会直接报错，但有时候是顺序错了，不报错但学不会。
- 检查奖励函数是否有漏洞。比如机器人可以通过原地抖动刷速度奖励，这时候需要加动作平滑惩罚。
- 检查初始状态是否太激进。初始关节角度偏离太大，机器人一上来就摔倒，很难学到东西。
- 检查物理参数是否合理。质量、摩擦、阻尼填得离谱，仿真本身就不稳定。
我的经验是，先用一个极简的奖励函数（只有前进速度）跑一遍，如果机器人能学会往前挪，说明仿真环境和算法没问题，再逐步加复杂的奖励项。
4.2 Sim-to-Real 迁移失败的典型原因
| 问题现象 | 可能原因 | 解决办法 |
|---|---|---|
| 真机上完全不走 | 观测顺序不一致 | 仿真和真机共用观测构造函数 |
| 走两步就摔 | 舵机延迟未建模 | 加入延迟随机化和动作滤波 |
| 步态抖动严重 | 动作频率过高 | 降低控制频率或加低通滤波 |
| 走偏方向 | IMU 漂移 | 加入观测历史或姿态校正 |
| 电池电压下降后失效 | 扭矩不足 | 域随机化加入扭矩缩放 |
这张表是我自己踩坑总结的，基本上覆盖了小型双足机器人 Sim-to-Real 的常见问题。其中“观测顺序不一致”是最隐蔽的，因为代码不报错，但策略行为完全不对。
4.3 舵机选型与维护的实操心得
舵机是双足机器人的执行器，选型和维护直接决定项目成败。Kayden 用的是金属齿轮串行总线舵机，扭矩大概在 20kg·cm 左右。这个扭矩对于 Stompy 这个尺寸的机器人来说有足够余量。
维护方面，舵机齿轮磨损是最大的隐患。我建议每次长时间训练后检查舵机虚位，如果虚位超过 2 度，就要考虑更换齿轮组。另外，舵机中位会随着使用时间漂移，定期重新标定中位能避免步态逐渐变差。
注意：不要用舵机堵转来测试扭矩，很容易烧齿轮。测试扭矩用弹簧秤慢慢加载，读到峰值就停。
4.4 Jetson Orin Nano 部署的注意事项
Orin Nano 部署强化学习策略有几个坑要注意：
- 电源管理：默认功耗模式可能限制 GPU 频率，建议用
nvpmodel调到最大性能模式。 - 散热：长时间推理 GPU 会发热，加个散热片或者小风扇，避免降频。
- 实时性：Linux 不是实时系统，推理线程要用高优先级，避免被其他进程抢占。
- ONNX Runtime：用 GPU 版本，别用 CPU 版本，否则推理延迟会高很多。
我实测下来，一个三层 MLP 在 Orin Nano 上推理一次大概 1 到 2 毫秒，跑 100Hz 控制频率完全没问题。但如果你的网络更大，或者要做视觉处理，就要考虑模型量化或者剪枝。
4.5 训练加速的实用技巧
Isaac Gym 的并行训练能力很强，但默认配置不一定最优。几个加速技巧：
- 减少环境数量：环境太多会导致 GPU 显存不够，反而降低速度。找到显存占用的甜点区。
- 简化碰撞体：碰撞体越简单，物理计算越快。
- 降低仿真频率：如果控制频率是 50Hz，仿真频率不需要跑到 1000Hz，500Hz 足够。
- 用混合精度训练：PyTorch 的 AMP 能明显加速，但要注意数值稳定性。
Kayden 在 4096 个环境下训练，大概 4 到 6 小时能得到一个能走的策略。如果环境数降到 1024，时间会拉长到 12 小时以上。所以并行环境数是训练速度的关键。
4.6 从走到跑：后续扩展方向
Stompy 目前实现的是稳定行走，后续可以往几个方向扩展。一是提高速度，把目标速度从 0.3m/s 提到 0.6m/s 甚至更高，这需要重新调奖励函数和步态频率。二是加入转向，在观测里加入目标航向，奖励函数里加入航向跟踪项。三是加入地形适应，在仿真里随机化地面高度，让机器人学会上下坡和跨越小障碍。
我个人觉得，转向是最值得先做的扩展。因为转向涉及到左右腿的协调，能验证策略的泛化能力。而且转向做出来之后，遥控操作会方便很多，可以录更酷的视频。
4.7 项目复现的最低配置建议
如果你想复现这个项目，最低配置大概是：
- 3D 打印机一台（打印结构件）
- 串行总线舵机 6 个 + 舵机控制板
- Jetson Orin Nano 或者树莓派 4B（Orin Nano 更好）
- IMU 模块一个
- 3S 锂电池 + 降压模块
- 一台带 NVIDIA GPU 的电脑（训练用，RTX 3060 以上）
软件方面，Isaac Gym 需要 NVIDIA GPU，MuJoCo 可以纯 CPU 训练但速度慢很多。如果预算有限，可以先用 MuJoCo 跑小规模训练，验证算法逻辑，再上 Isaac Gym 加速。
最后分享一个小技巧：训练的时候把策略网络输出的动作录下来，在仿真里回放。这样你能直观看到策略在不同阶段的行为变化，比看曲线图有效得多。我在调奖励函数的时候，经常用这招快速判断策略是不是在“偷懒”。
