简介：这份资源是采用深度强化学习方法的水下机器人避障项目，面向计算机、人工智能、自动化、通信工程等专业的在校学生与教师，可用于毕业设计、课程设计、大作业或项目初期立项演示。项目基于DDDQN算法实现水下机器人自主避障，并配套FCRN深度预测网络，涵盖训练与测试脚本、Gazebo仿真环境、MAVROS通信接口及BlueRobotics、Husarion等真实机器人平台测试代码，功能完整、部署简单。压缩包共30个文件，约301KB，以18个Python源码为核心，辅以launch启动文件、world仿真场景、jpg效果图、md说明文档及m脚本等，结构清晰便于按模块学习。已有59人学习关注。读者可据此掌握深度强化学习避障的完整实现流程，理解仿真与实机迁移思路，并在此基础上修改扩展功能，适合作为毕设或课程设计的参考方案。
1. 水下机器人避障为什么总在最后三米翻车
做水下机器人避障的毕业设计，最让人抓狂的不是算法跑不起来，而是仿真里成功率 95%，一放进水池或者湖试，机器人在距离障碍物最后三米突然开始画龙，要么原地打转，要么一头撞上去。这个现象背后其实不是控制代码写错了，而是深度强化学习策略在训练分布和真实水动力学之间出现了断层。采用深度强化学习方法的水下机器人避障项目，核心要解决的就是让机器人从声呐或视觉感知出发，直接输出推进器推力或速度指令，在未知或半未知环境中完成无碰撞路径规划。它适合两类人：一类是毕设或课程设计需要快速跑通一个完整闭环的同学，另一类是想把 DRL 从机械臂、无人机迁移到水下场景的工程师。这个方向的价值在于，水下环境通信受限、GPS 失效、水流扰动大，传统规划方法调参成本极高，而 DRL 能把感知到控制的映射端到端学出来，部署时只需要加载权重就能跑。但前提是，你得把仿真环境、奖励函数和域随机化这三件事做扎实，否则最后三米一定翻车。
2. 把避障问题写成 MDP：状态、动作、奖励怎么定才不玄学
2.1 水下避障的马尔可夫决策过程建模
深度强化学习避障的第一步不是写网络，而是把问题形式化成马尔可夫决策过程。状态空间通常包含机器人位姿、速度、障碍物相对距离和角度、以及历史动作。动作空间有两种选择：离散动作适合推进器数量少、控制精度要求不高的场景，比如前后左右上下六个方向；连续动作适合需要平滑控制的场景，输出的是各推进器推力或机体速度和角速度。我一般会优先用连续动作空间，因为水下机器人惯性大，离散动作容易导致推力突变，实际执行时推进器响应跟不上，策略就会震荡。
奖励函数是整个项目里最玄学的部分。常见做法是稀疏奖励加势能塑形：到达目标给正奖励，碰撞给大负奖励，每一步给一个与距离减小量成正比的小奖励。但纯距离势能容易让机器人学会绕圈，因为它只要保持距离在减小就能拿奖励。更稳的做法是加入朝向惩罚和动作平滑惩罚，让机器人既靠近目标又保持机头指向，同时避免推进器频繁换向。
# 奖励函数示例：距离势能 + 朝向 + 动作平滑 + 碰撞终止 def compute_reward(prev_dist, curr_dist, heading_error, action, prev_action, collision, goal): reward = 0.0 # 距离势能：靠近目标给正奖励，远离给负奖励 reward += (prev_dist - curr_dist) * 1.0 # 朝向惩罚：机头偏离目标方向越大，惩罚越大 reward -= abs(heading_error) * 0.1 # 动作平滑惩罚：抑制推进器频繁换向 reward -= sum((a - b) ** 2 for a, b in zip(action, prev_action)) * 0.05 # 碰撞终止：给大负奖励并结束回合 if collision: reward -= 10.0 return reward, True # 到达目标：给正奖励并结束回合 if goal: reward += 20.0 return reward, True return reward, False这段代码里，距离势能系数 1.0 是基准值，如果机器人移动速度慢可以降到 0.5，否则奖励波动太大。朝向惩罚系数 0.1 需要根据朝向误差的量纲调整，如果误差用弧度表示，0.1 比较合适；用角度表示则要除以 57.3。动作平滑系数 0.05 是经验值，太大机器人会变得迟钝，太小则推进器抖动明显。碰撞惩罚 -10 和到达奖励 +20 的比例决定了策略是保守还是激进，如果发现机器人不敢靠近障碍物，就减小碰撞惩罚或增大到达奖励。
2.2 仿真环境选型与传感器建模
仿真环境直接决定训练效率和迁移效果。常见选择有基于物理引擎的二维/三维仿真器，以及专门的水下机器人仿真平台。如果只是做毕设验证算法，用二维平面加声呐扇区模型就够，计算量小，训练快。如果要贴近真实，需要三维仿真并加入浮力、水阻、洋流扰动。传感器方面，声呐通常建模为多波束测距，视觉则用深度相机或单目相机加深度估计。我一般会先用声呐测距做基线，因为声呐对光照和水质不敏感，仿真到现实的差距比视觉小。
传感器噪声必须加。真实声呐有噪声和野值，仿真里如果给的是完美距离，策略会学到过度依赖精确测距，下水后直接失效。常见做法是在测距值上叠加高斯噪声，并随机丢弃部分波束模拟遮挡。噪声标准差设为测距范围的 2% 到 5%，具体看传感器手册。另外，障碍物位置也要随机化，每回合重新生成，否则策略会记住固定地图。
# 声呐测距仿真：多波束 + 高斯噪声 + 随机遮挡 import numpy as np def simulate_sonar(robot_pose, obstacles, num_beams=16, max_range=10.0, noise_std=0.2): angles = np.linspace(-np.pi/2, np.pi/2, num_beams) ranges = np.ones(num_beams) * max_range for i, angle in enumerate(angles): ray_dir = np.array([np.cos(robot_pose[2] + angle), np.sin(robot_pose[2] + angle)]) for obs in obstacles: # 简化射线与圆求交，实际可用更精确的几何方法 to_obs = obs[:2] - robot_pose[:2] proj = np.dot(to_obs, ray_dir) if proj > 0: perp = np.linalg.norm(to_obs - proj * ray_dir) if perp < obs[2]: dist = proj - np.sqrt(obs[2]**2 - perp**2) if 0 < dist < ranges[i]: ranges[i] = dist # 叠加高斯噪声 ranges += np.random.normal(0, noise_std, num_beams) # 随机遮挡：10% 概率某波束返回最大值 mask = np.random.rand(num_beams) < 0.1 ranges[mask] = max_range return np.clip(ranges, 0, max_range)这里 num_beams 设为 16 是平衡计算量和感知覆盖，实际声呐可能更多，但仿真里 16 束足够学出避障行为。max_range 根据水池或湖试场景定，一般 5 到 20 米。noise_std 取 0.2 米对应 2% 的 10 米量程，如果传感器更差就加大。遮挡概率 0.1 是模拟气泡或悬浮物，太高会让训练不稳定，太低则策略鲁棒性不足。
2.3 网络结构与训练超参的初始设置
策略网络用全连接层就能处理低维状态，如果输入是声呐阵列或图像，前面加卷积层。常见结构是三层全连接，每层 256 个单元，激活函数用 ReLU 或 Tanh。输出层如果是连续动作，用 Tanh 把动作限制在 [-1, 1]，再映射到推进器推力范围。PPO 是目前最稳的选择，对超参不敏感，适合毕设快速出结果。SAC 样本效率更高但调参更麻烦，如果仿真环境慢可以考虑。
学习率初始设 3e-4，batch size 设 64 或 128，折扣因子 0.99，GAE 参数 0.95。训练步数至少 1e6 步，复杂场景要 5e6 以上。并行环境数设 8 到 16 能显著加速，但要注意每个环境独立随机种子。我一般会先用小学习率跑 1e5 步看奖励曲线是否上升，如果震荡就减小学习率或增大 batch size。
# PPO 关键超参配置示例 config = { "learning_rate": 3e-4, # 初始学习率，震荡时降到 1e-4 "batch_size": 128, # 每次更新采样步数，显存不够降到 64 "n_epochs": 10, # 同一批数据重复训练轮数，过大会过拟合 "gamma": 0.99, # 折扣因子，水下任务视野长可设 0.995 "gae_lambda": 0.95, # 优势估计平滑参数，通常不动 "clip_range": 0.2, # PPO 裁剪范围，策略更新幅度 "ent_coef": 0.01, # 熵系数，鼓励探索，收敛后可降到 0.001 "vf_coef": 0.5, # 价值损失权重 "max_grad_norm": 0.5, # 梯度裁剪，防止更新过猛 "n_envs": 8, # 并行环境数，CPU 核心多可加大 "total_timesteps": 2_000_000 # 总训练步数，简单场景 1e6 够用 }ent_coef 是探索的关键，初期设 0.01 让策略多尝试，如果发现机器人总是原地转圈不敢动，可以临时提高到 0.05。clip_range 0.2 是 PPO 默认值，如果训练不稳定降到 0.1。total_timesteps 不是越大越好，超过 5e6 后收益递减，除非场景特别复杂。
3. 从零跑通训练：环境封装、课程学习与域随机化
3.1 用 Gym 接口封装水下避障环境
把仿真器封装成 Gym 接口是标准做法，这样可以直接用 Stable-Baselines3 或 RLlib 训练。核心是实现 reset、step、render 三个方法。reset 里随机初始化机器人位姿和障碍物位置，step 里执行动作、更新物理状态、计算奖励、判断终止。注意 step 返回的 done 要区分碰撞终止和到达终止，方便后续统计成功率。
import gym from gym import spaces import numpy as np class UnderwaterAvoidEnv(gym.Env): def __init__(self): super().__init__() # 状态：机器人位姿(3) + 速度(3) + 声呐测距(16) + 目标相对位置(2) self.observation_space = spaces.Box(low=-np.inf, high=np.inf, shape=(24,), dtype=np.float32) # 动作：前进速度 + 转向角速度 + 俯仰速度 self.action_space = spaces.Box(low=-1.0, high=1.0, shape=(3,), dtype=np.float32) self.max_steps = 500 self.reset() def reset(self): # 随机初始化机器人位姿，范围根据场景定 self.robot_pose = np.array([ np.random.uniform(-5, 5), np.random.uniform(-5, 5), np.random.uniform(-np.pi, np.pi) ]) self.robot_vel = np.zeros(3) # 随机生成 3 到 8 个障碍物 self.obstacles = [] for _ in range(np.random.randint(3, 9)): self.obstacles.append(np.array([ np.random.uniform(-8, 8), np.random.uniform(-8, 8), np.random.uniform(0.3, 1.0) ])) self.goal = np.array([np.random.uniform(-8, 8), np.random.uniform(-8, 8)]) self.steps = 0 return self._get_obs() def step(self, action): # 动作映射到实际速度和角速度 v = action[0] * 1.0 # 最大前进速度 1 m/s omega = action[1] * 0.5 # 最大转向角速度 0.5 rad/s # 简化运动学更新，实际应调用物理引擎 self.robot_pose[2] += omega * 0.1 self.robot_pose[0] += v * np.cos(self.robot_pose[2]) * 0.1 self.robot_pose[1] += v * np.sin(self.robot_pose[2]) * 0.1 self.steps += 1 obs = self._get_obs() collision = self._check_collision() goal = np.linalg.norm(self.robot_pose[:2] - self.goal) < 0.5 reward, done = compute_reward( self.prev_dist, np.linalg.norm(self.robot_pose[:2] - self.goal), self._heading_error(), action, self.prev_action, collision, goal ) self.prev_dist = np.linalg.norm(self.robot_pose[:2] - self.goal) self.prev_action = action if self.steps >= self.max_steps: done = True return obs, reward, done, {"collision": collision, "goal": goal} def _get_obs(self): sonar = simulate_sonar(self.robot_pose, self.obstacles) goal_rel = self.goal - self.robot_pose[:2] return np.concatenate([self.robot_pose, self.robot_vel, sonar, goal_rel]).astype(np.float32) def _check_collision(self): for obs in self.obstacles: if np.linalg.norm(self.robot_pose[:2] - obs[:2]) < obs[2] + 0.3: return True return False def _heading_error(self): target_angle = np.arctan2(self.goal[1] - self.robot_pose[1], self.goal[0] - self.robot_pose[0]) return np.arctan2(np.sin(target_angle - self.robot_pose[2]), np.cos(target_angle - self.robot_pose[2]))这个环境里 max_steps 500 对应 50 秒仿真时间，步长 0.1 秒。碰撞检测加了 0.3 米安全半径，实际机器人有体积，不能只算中心点。声呐测距和位姿拼接成 24 维状态，如果加视觉输入需要改成字典空间。注意 reset 里障碍物数量随机，这是域随机化的一部分，能防止策略过拟合固定障碍布局。
3.2 课程学习：从空场到密集障碍的渐进训练
直接在高密度障碍环境里训练，前期几乎全是碰撞，奖励信号稀疏，策略很难学到有效行为。课程学习是解决这个问题的标准手段：先空场学朝向目标，再加少量障碍学避让，最后加密集障碍和动态障碍。每阶段训练到成功率超过阈值再进入下一阶段，阈值一般设 80%。
# 课程学习调度示例 curriculum = [ {"stage": 1, "obstacles": (0, 0), "goal_range": 5, "success_threshold": 0.9}, {"stage": 2, "obstacles": (1, 3), "goal_range": 8, "success_threshold": 0.85}, {"stage": 3, "obstacles": (3, 6), "goal_range": 10, "success_threshold": 0.8}, {"stage": 4, "obstacles": (5, 10), "goal_range": 12, "success_threshold": 0.75}, ] def update_curriculum(env, stage, success_rate): if stage < len(curriculum) and success_rate > curriculum[stage]["success_threshold"]: stage += 1 env.set_obstacle_range(curriculum[stage]["obstacles"]) env.set_goal_range(curriculum[stage]["goal_range"]) return stage阶段 1 空场训练通常 1e5 步就能达到 90% 成功率，阶段 2 到 3 各需要 3e5 到 5e5 步，阶段 4 密集障碍需要 1e6 步以上。如果某阶段卡住不涨，先检查奖励函数是否合理，再检查障碍物生成是否把机器人初始位置堵死。课程学习不是必须的，但能显著减少训练时间，毕设时间紧的话强烈建议加上。
3.3 域随机化：让策略在真实水池里不翻车
域随机化是仿真到现实迁移的核心技巧。做法是在训练时随机化物理参数和传感器参数，让策略见过足够多的变化，真实环境只是其中一个采样。需要随机化的参数包括：水阻系数、浮力偏差、推进器响应延迟、声呐噪声标准差、障碍物尺寸和位置、甚至重力加速度的微小变化。随机化范围根据真实系统的不确定性定，一般水阻系数在标称值 ±30% 内随机，噪声标准差在 0.1 到 0.5 之间随机。
# 域随机化参数配置 domain_randomization = { "water_drag": (0.7, 1.3), # 水阻系数乘子范围 "buoyancy_offset": (-0.2, 0.2), # 浮力偏差，单位牛顿 "thruster_delay": (0.0, 0.2), # 推进器响应延迟，秒 "sonar_noise": (0.1, 0.5), # 声呐噪声标准差范围 "obstacle_radius": (0.2, 1.5), # 障碍物半径范围 "current_speed": (0.0, 0.3), # 洋流速度，米每秒 } def randomize_env(env, config): env.water_drag = np.random.uniform(*config["water_drag"]) env.buoyancy_offset = np.random.uniform(*config["buoyancy_offset"]) env.thruster_delay = np.random.uniform(*config["thruster_delay"]) env.sonar_noise = np.random.uniform(*config["sonar_noise"]) env.current_speed = np.random.uniform(*config["current_speed"])洋流是水下特有的扰动，仿真里可以简化为每回合随机方向和速度的恒定流，或者随时间变化的正弦流。如果训练时没加洋流，真实水池里机器人会被水流推偏，策略来不及修正。推进器延迟也很关键，真实推进器从收到指令到出力有几十到几百毫秒延迟，仿真里加一个一阶惯性环节就能模拟。
4. 避坑与排查：训练不收敛、仿真能跑真机撞墙的常见原因
4.1 奖励曲线震荡不上升
现象：训练几万步后奖励在某个值附近上下波动，成功率不涨。原因通常是学习率太大、batch size 太小、或者奖励尺度不合理。先看价值损失，如果价值损失剧烈震荡，把学习率降到 1e-4，batch size 加倍。如果价值损失平稳但策略损失震荡，检查奖励是否在某些状态下数值过大，比如碰撞惩罚 -10 和距离势能 1.0 量级差太多，导致优势估计方差大。解决方法是把奖励归一化到 [-1, 1] 附近，或者用奖励缩放系数统一调整。
4.2 机器人学会原地转圈或倒退
现象：策略收敛后机器人不前进，原地打转或者慢慢后退。原因是距离势能奖励让机器人发现只要保持距离减小就能拿奖励，但朝向惩罚不够强，它可以通过转圈让距离短暂减小。解决方法是增大朝向惩罚系数，或者改用稀疏奖励加成功终止，只在到达目标时给奖励。另一个原因是动作空间没有限制前进方向，如果动作里前进速度为负也能拿奖励，机器人就会倒退。检查动作映射，确保前进速度只映射到正推力。
4.3 仿真成功率很高但真机一跑就撞
现象：仿真里成功率 95%，真机下水后频繁碰撞。原因几乎都是域随机化不足或传感器建模太理想。先检查声呐噪声是否加够，真实声呐在近距离有盲区，远距离有野值，仿真里如果只加高斯噪声不够。再检查水动力学，真实机器人有惯性和阻尼，仿真里如果运动学更新太简单，策略学到的动作在真机上响应完全不同。解决方法是加大域随机化范围，并在真机测试前先用系统辨识拟合水阻和推进器模型。
4.4 训练后期成功率突然下降
现象：训练到 1e6 步左右成功率突然从 80% 掉到 50%。原因是策略过拟合到某些障碍布局，或者熵系数太小导致探索不足，陷入局部最优。检查熵系数，如果已经降到 0.001 以下，适当提高到 0.005。另外检查障碍物生成是否每回合都随机，如果固定了种子或者范围太窄，策略会记住地图。解决方法是扩大障碍物随机范围，并定期用不同随机种子评估。
4.5 并行环境数太多导致训练不稳定
现象：增加并行环境数后训练速度变快但成功率下降。原因是并行环境数太多时，每个环境采样步数少，batch 内数据相关性高，PPO 更新时优势估计偏差大。常见做法是并行环境数不超过 16，且每个环境至少采样 128 步再汇总。如果 CPU 核心多，可以增加环境数但同步增大 batch size。另外检查每个环境的随机种子是否独立，如果种子相同，并行采样等于重复采样，没有加速效果。
5. 部署与验证：从权重文件到水池试跑的最后一步
训练完成后，部署环节最容易出问题的是观测对齐和动作限幅。仿真里状态是 24 维，真机上声呐驱动返回的可能是不同数量波束，需要重采样到 16 束。位姿估计如果用的是视觉里程计或 IMU 融合，噪声特性和仿真不同，最好在部署前用真实数据做一次观测归一化。动作输出要限幅到推进器实际推力范围，并且加低通滤波，防止策略输出高频抖动烧推进器。
# 部署时的观测对齐和动作滤波 class PolicyDeploy: def __init__(self, model_path, sonar_beams=16, max_thrust=1.0): self.model = load_policy(model_path) self.sonar_beams = sonar_beams self.max_thrust = max_thrust self.prev_action = np.zeros(3) def preprocess(self, raw_sonar, pose, velocity, goal): # 声呐重采样到固定波束数 sonar = np.interp( np.linspace(0, len(raw_sonar)-1, self.sonar_beams), np.arange(len(raw_sonar)), raw_sonar ) # 观测拼接，顺序必须和训练时一致 obs = np.concatenate([pose, velocity, sonar, goal - pose[:2]]) return obs.astype(np.float32) def act(self, obs): action, _ = self.model.predict(obs, deterministic=True) # 低通滤波：新动作 = 0.7 * 旧动作 + 0.3 * 新动作 action = 0.7 * self.prev_action + 0.3 * action # 限幅到推进器范围 action = np.clip(action, -1.0, 1.0) * self.max_thrust self.prev_action = action return action低通滤波系数 0.7 和 0.3 是经验值，如果推进器响应慢可以调成 0.8 和 0.2，响应快则 0.5 和 0.5。确定性推理用 deterministic=True，如果发现机器人行为太死板，可以改成 False 加少量探索噪声。验证时先在水池做定点避障，记录每次碰撞前的声呐读数和动作输出，对比仿真里的对应状态，如果差异大就回去补域随机化。
我自己的习惯是，每次训练完先不急着下水，而是在仿真里用 100 个不同随机种子跑评估，统计成功率和平均路径长度。成功率超过 90% 且路径长度方差小，才认为策略稳定。然后拿 10 个最难的种子单独看回放，确认没有投机行为。最后真机测试时，第一轮只跑空场和单个障碍，确认基本运动没问题再上密集障碍。这套流程走下来，最后三米翻车的概率会小很多。希望帮到你。
本文还有配套的精品资源，点击获取
