从零构建具身智能机器人：基于LeRobot与ACT模型的模仿学习全流程实践

1. 项目概述：从零到一，让机器人“学会”执行任务

如果你对机器人、人工智能，尤其是最近火热的“具身智能”感兴趣，但又觉得动辄几十上百万的工业机械臂和复杂的算法框架让人望而却步，那么LeRobot这个项目可能就是为你量身定做的敲门砖。我最近花了近一个月时间，从零开始，完整地走通了一个基于LeRobot开源机械臂的“看-想-动”全流程项目。简单来说，就是让一个桌面级的开源机械臂，通过模仿学习，自主完成一个“把桌上的黑色马克笔放进笔筒”的任务。整个过程涵盖了硬件组装、环境配置、数据采集、云端模型训练，以及最终在边缘计算设备上的部署与实时推理。

这听起来可能有点复杂，但别担心，我会把每一步拆解得清清楚楚。这个项目的核心价值在于，它用一个相对低成本、全开源的方案，为你呈现了现代机器人学习（Robot Learning）的完整技术栈。你不再只是看论文里的公式，而是能亲手触摸硬件，采集真实世界的数据，训练一个能实际控制机械臂的模型，并看到它根据摄像头画面做出决策。无论是学生想做一个酷炫的毕业设计，工程师想验证一个算法想法，还是爱好者想体验前沿科技，这个流程都具有极高的参考价值。接下来，我将以第一人称视角，分享我从环境搭建到实机操作的全过程，包括那些官方文档里可能没细说，但实际操作中一定会遇到的“坑”和技巧。

2. 硬件准备与核心思路解析

在开始敲代码之前，我们需要先理清整个项目的硬件构成和软件逻辑。这就像盖房子前先看蓝图和备料，能避免很多中途返工的麻烦。

2.1 硬件清单与选型考量

我采用的硬件组合是经过多方对比和社区验证后，性价比和易用性都比较高的一套方案。核心包括三部分：

1. 机械臂 (SO-ARM101): 这是LeRobot社区主推的开源机械臂套件。它采用主从式设计，包含一个Leader（主控臂，你用手操作它）和一个Follower（从动臂，被程序控制）。选择它的原因很简单：开源、文档相对齐全、社区活跃，并且其舵机是总线式的，方便通过串口统一控制，非常适合作为学习平台。
2. 计算平台 (RDK-S100): 这是部署模型进行实时推理的“大脑”。我选择了算力达128 TOPS的RDK-S100开发板。为什么不用电脑直接控制？因为实机运行时需要低延迟、高并发的计算能力来处理摄像头视频流并运行神经网络模型，一块高性能的嵌入式开发板是更专业和稳定的选择。它提供了强大的BPU（神经网络处理单元）用于加速推理。
3. 视觉传感器 (USB摄像头): 我使用了两个普通的1080P USB摄像头，一个固定在机械臂夹爪上方（全局视角），一个装在夹爪上（第一人称视角）。双视角能提供更丰富的空间信息，有助于模型更好地理解物体与机械臂的相对位置。摄像头选择的关键是免驱和帧率稳定，避免在数据采集时出现丢帧或兼容性问题。

这个组合清晰地划分了角色：机械臂是执行器，开发板是边缘计算单元，摄像头是感知器。而训练部分，由于需要大量的GPU算力，我们将其放在云端（如AWS SageMaker）进行。

2.2 软件架构与工作流程

整个项目的软件流程可以概括为“采集-训练-部署”三步闭环：

1. 数据采集 (Data Collection): 这是机器学习的“燃料”。我们通过手动操作Leader臂，带动Follower臂完成“抓笔入筒”的动作，同时两个摄像头同步录制视频。每一段成功的操作视频，连同对应的机械臂关节运动数据，被打包成一条“演示数据”。
2. 模型训练 (Model Training): 在云端GPU服务器上，我们使用这些演示数据训练一个名为ACT（Action Chunking with Transformers）的模仿学习模型。这个模型的学习目标是：给定当前时刻的摄像头图像，预测接下来一段时间内机械臂应该执行的一系列动作（即动作块）。它本质上建立了一个从视觉观察到机器人动作的映射关系。
3. 部署与推理 (Deployment & Inference): 将训练好的模型优化、编译，并部署到RDK-S100开发板上。在实机运行时，模型实时接收摄像头的画面，并每秒输出一组动作指令，通过串口发送给Follower机械臂，从而驱使它自主完成与演示类似的任务。

注意：这里有一个关键思路转变。传统的机器人控制需要工程师精确编程每一个关节的角度和轨迹，而基于学习的方案是让机器人通过例子“自己学会”该怎么动。ACT模型就是这样一个“学生”，我们的数据就是“教材”。

3. 本地开发环境搭建详解

万事开头难，环境配置是第一个拦路虎。我强烈建议在开始硬件操作前，先在本地电脑（最好是Linux系统或WSL2）上把软件环境搭好，因为很多配置和测试工作在这里完成会更方便。

3.1 基础环境与依赖安装

我使用的是Ubuntu 22.04系统，并以Miniconda作为Python环境管理器。Conda能很好地解决不同项目间依赖冲突的问题。

# 1. 安装Miniconda (如果尚未安装) # 从官网下载安装脚本并执行，此处略过 # 2. 创建并激活一个独立的Python 3.10环境 conda create -y -n lerobot python=3.10 conda activate lerobot # 3. 安装系统级依赖（主要是为了后续编译和视频处理） sudo apt-get update sudo apt-get install -y cmake build-essential python3-dev pkg-config \ libavformat-dev libavcodec-dev libavdevice-dev libavutil-dev \ libswscale-dev libswresample-dev libavfilter-dev

这里安装的libav*系列库是ffmpeg的底层依赖，LeRobot用于视频数据的编码和解码。如果跳过这一步，后续安装lerobot时可能会编译失败。

3.2 LeRobot库安装与验证

LeRobot库可以通过PyPI直接安装，但为了获得最新特性并与社区代码同步，我推荐从GitHub源码安装。

# 4. 安装ffmpeg (用于视频处理) conda install ffmpeg -c conda-forge # 5. 克隆LeRobot仓库（我使用了一个包含额外工具的分支） git clone https://github.com/xiongqi123123/LeRobot-VLA.git cd LeRobot-VLA/lerobot # 6. 以“可编辑”模式安装，这样修改源码后能立即生效 pip install -e .[all]

pip install -e .中的-e代表“editable”，这对于后期可能需要的代码调试或小修改非常有用。[all]则安装了所有可选功能，包括对特定型号舵机的支持。

安装完成后，运行一个简单的命令测试是否成功：

lerobot --help

如果能看到一系列可用的子命令（如lerobot-record,lerobot-train），说明基础库安装成功。

实操心得：网络环境可能导致pip或conda安装缓慢或失败。可以考虑配置国内镜像源。对于conda，可以修改~/.condarc文件；对于pip，可以使用-i参数指定镜像。这是提升效率的关键一步。

4. 机械臂硬件配置与校准实战

硬件部分是最需要耐心和细心的环节。SO-ARM101套件包含大量螺丝、舵机和结构件，务必按照教程一步步来。

4.1 机械臂组装与电机ID配置

组装过程建议完全参照官方提供的3D动画教程，注意区分Leader臂和Follower臂的零件。组装完成后，最关键的一步是配置舵机ID。

总线舵机就像一串灯笼，每个灯笼（舵机）必须有一个唯一的地址（ID），控制器才能单独控制它。新舵机出厂ID通常都是1，所以我们必须逐一修改。

1. 查找串口：将两个机械臂的USB线都连接到电脑。

   lerobot-find-port

   按照提示，拔掉一个臂的线，按回车，就能识别出对应的串口设备名（如/dev/ttyUSB0）。记下Leader和Follower各自的端口。

2. 配置Follower臂舵机ID：

   lerobot-setup-motors \ --robot.type=so101_follower \ --robot.port=/dev/ttyUSB0 # 替换为你的Follower端口

   运行命令后，程序会引导你。你需要依次将Follower臂上每一个舵机的数据线单独连接到控制板上（其他舵机先断开），每连接一个，在命令行按回车，程序就会为其分配一个递增的ID（如2,3,4...）。务必按关节顺序（从底座到夹爪）操作，并记录下哪个ID对应哪个关节，这对后续调试至关重要。

3. 配置Leader臂舵机ID：对Leader臂重复上述过程，--robot.type改为so101_leader，端口换成Leader的端口。Leader臂的舵机ID独立编号，通常也从2开始。

4.2 主从校准与功能测试

校准的目的是让系统知道每个舵机的物理运动范围（最小和最大角度），并建立Leader和Follower之间运动的映射关系。新版LeRobot的自动校准非常方便。

lerobot-calibrate \ --robot.type=so101_follower \ --robot.port=/dev/ttyUSB0 \ --robot.id=my_follower # 给机械臂起个名字

运行校准时，程序会先让所有舵机回到中位。然后，你需要缓慢地、手动地依次扭动Follower的每一个关节，从一个极限位置移动到另一个极限位置。系统会自动记录这些极限值。完成后，对Leader臂也执行相同的校准流程。

校准完成后，立刻进行遥操作测试，这是验证硬件和基础通信是否正常的唯一标准。

lerobot-teleoperate \ --robot.type=so101_follower \ --robot.port=/dev/ttyUSB0 \ --robot.id=my_follower \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyUSB1 \ # Leader的端口 --teleop.id=my_leader

如果一切正常，当你用手移动Leader臂时，Follower臂应该会同步跟随。如果出现动作相反、卡顿或不动的情况，需要检查：1) 舵机ID配置是否正确；2) 校准数据是否异常；3) 机械结构是否有干涉。

踩坑记录：校准过程中，移动关节一定要慢！快速移动可能导致记录的角度范围不准确，进而导致在后续操作中舵机尝试转到超出物理限制的位置，发出“咔咔”的堵转声，长期会损坏舵机。如果发生这种情况，需要重新校准。

5. 数据采集：为模型准备“教材”

高质量的数据是模型成功的一半。我们的目标是采集机械臂成功完成“抓笔入筒”任务的演示数据。

5.1 采集环境与参数设置

我将两个摄像头分别固定在桌面上方（俯视全局）和夹爪侧面（第一人称）。确保光照均匀，避免反光或阴影过重。任务道具（笔和笔筒）放在机械臂工作空间内。

采集命令的参数需要仔细配置：

lerobot-record \ --robot.type=so101_follower \ --robot.port=/dev/ttyUSB0 \ --robot.id=my_follower \ --robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30} }" \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyUSB1 \ --teleop.id=my_leader \ --display_data=true \ --dataset.repo_id=my_dataset/pen_task \ --dataset.num_episodes=50 \ --dataset.single_task="Grab the black marker and put it into the cup" \ --dataset.push_to_hub=false \ --dataset.episode_time_s=20 \ --dataset.reset_time_s=10

关键参数解析：

• robot.cameras: 定义摄像头。index_or_path可通过之前的lerobot-find-cameras命令获取。分辨率不宜过高（如640x480），否则会极大增加后续训练的数据加载和存储开销。
• dataset.num_episodes=50: 计划采集50条成功演示。对于模仿学习，通常100-200条高质量数据足以训练一个在简单任务上表现不错的模型。
• dataset.episode_time_s=20: 每条演示最长20秒。这个时间要足够完成一次抓取和放置，但也不宜过长。
• dataset.reset_time_s=10: 每条演示间隔10秒，给你时间将笔放回初始位置。
• push_to_hub=false: 将数据保存在本地（~/.cache/huggingface/lerobot/my_dataset/pen_task），不上传到Hugging Face Hub。

5.2 采集技巧与数据质量把控

启动命令后，程序会进入准备状态。按空格键开始录制一条演示，此时你需要操作Leader臂，平稳、连贯地完成抓笔、移动、放入笔筒的动作。完成后，程序会自动保存并进入10秒重置期。

提升数据质量的几个要点：

1. 动作平滑：操作Leader臂时，速度要均匀，避免突然的加速或抖动。模型会学习你的动作模式，生硬的动作会导致模型控制也不稳定。
2. 多样性：不要总是在同一个位置以同一种角度抓笔。适当变化笔的起始位置、朝向，甚至可以在桌面上放一些无关的干扰物（如橡皮、另一支笔），增加数据的多样性，让模型学会泛化。
3. 成功优先：确保每一条录制的演示都是成功的。失败的数据（如没抓稳、碰倒笔筒）会混淆模型。如果某次操作失误，可以在录制期间按q键中止并丢弃该条数据。
4. 定期检查：采集一段时间后，去缓存目录查看保存的数据。LeRobot会将每条数据存为一个包含视频帧和关节状态数据的文件夹。快速浏览一下视频，确保画面清晰、动作完整。

采集50条高质量数据可能需要1-2小时，这是一个需要耐心和专注的过程。好的数据能让你在后续训练时事半功倍。

6. 云端模型训练：利用SageMaker释放算力

在本地完成数据采集后，接下来就是最耗资源的模型训练阶段。ACT模型虽然比一些大型VLM轻量，但在CPU上训练仍不现实。我将使用亚马逊的SageMaker服务，它提供了开箱即用的GPU实例和全托管的训练环境。

6.1 AWS资源准备与配置

首先，你需要一个AWS账户，并完成以下基础配置：

1. IAM用户与权限：在AWS控制台创建一个具有编程访问权限的IAM用户，并为其附加AmazonS3FullAccess和AmazonSageMakerFullAccess策略。记录下生成的访问密钥ID和私有访问密钥。
2. 本地AWS CLI配置：在本地终端运行aws configure，填入上述密钥，并设置默认区域（例如我选择ap-northeast-2首尔）。
3. 创建S3存储桶：S3用于存储我们的训练数据集和训练输出的模型。

   import boto3 s3 = boto3.client('s3', region_name='ap-northeast-2') bucket_name = 'lerobot-training-data-2025' # 桶名需全球唯一 s3.create_bucket( Bucket=bucket_name, CreateBucketConfiguration={'LocationConstraint': 'ap-northeast-2'} )

4. 上传数据集到S3：将本地采集的数据集（~/.cache/huggingface/lerobot/my_dataset/pen_task）整个文件夹上传到刚创建的S3桶中。

   import os local_dataset_path = '/home/user/.cache/huggingface/lerobot/my_dataset/pen_task' s3_prefix = 'datasets/pen_task/' for root, dirs, files in os.walk(local_dataset_path): for file in files: local_path = os.path.join(root, file) relative_path = os.path.relpath(local_path, local_dataset_path) s3_key = os.path.join(s3_prefix, relative_path).replace("\\", "/") s3.upload_file(local_path, bucket_name, s3_key)

5. 创建SageMaker执行角色：训练任务需要这个角色来访问S3中的数据。

   import json iam = boto3.client('iam') trust_policy = { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": {"Service": "sagemaker.amazonaws.com"}, "Action": "sts:AssumeRole" }] } role_name = 'SageMakerExecutionRole-Lerobot' role_response = iam.create_role( RoleName=role_name, AssumeRolePolicyDocument=json.dumps(trust_policy), Description='Role for SageMaker to run LeRobot training' ) role_arn = role_response['Role']['Arn'] # 附加策略 iam.attach_role_policy(RoleName=role_name, PolicyArn='arn:aws:iam::aws:policy/AmazonSageMakerFullAccess') iam.attach_role_policy(RoleName=role_name, PolicyArn='arn:aws:iam::aws:policy/AmazonS3FullAccess')

6.2 编写训练脚本与启动任务

LeRobot库本身提供了lerobot-train命令，我们需要将其封装成SageMaker能识别的训练脚本。

首先，在项目根目录创建train.py，这是SageMaker会在容器内执行的主入口脚本：

# train.py import subprocess import sys import os # 设置数据集路径。SageMaker会将S3输入映射到/opt/ml/input/data/<channel_name>/ # 我们假设在定义训练任务时，将S3路径映射到了名为'dataset'的通道 data_path = '/opt/ml/input/data/dataset' cmd = [ 'lerobot-train', f'--dataset.root={data_path}', '--policy.type=act', '--policy.device=cuda', '--output_dir=/opt/ml/model', # SageMaker约定，输出到此目录的模型会被自动保存回S3 '--job_name=act_pen_task', '--wandb.enable=false', # 首次运行可关闭wandb日志以简化流程 '--policy.push_to_hub=false', '--batch_size=8', # 根据GPU显存调整，ml.g5.2xlarge可设为8或16 '--num_workers=4', '--steps=50000', # 训练步数，50000步对于简单任务通常足够 '--eval_every=1000', ] print(f"Running: {' '.join(cmd)}") subprocess.run(cmd, check=True)

接着，创建另一个本地脚本launch_sagemaker.py，用于配置并提交训练任务到云端：

# launch_sagemaker.py import boto3 import sagemaker from sagemaker.pytorch import PyTorch from sagemaker.inputs import TrainingInput # 初始化会话 boto_session = boto3.Session(region_name='ap-northeast-2') sagemaker_session = sagemaker.Session(boto_session=boto_session) # 训练任务配置 estimator = PyTorch( entry_point='train.py', # 入口脚本 source_dir='.', # 将当前目录所有文件打包上传作为源码 dependencies=[], # 依赖已在容器中或通过source_dir提供 role='arn:aws:iam::<YOUR_ACCOUNT_ID>:role/SageMakerExecutionRole-Lerobot', # 替换为你的角色ARN instance_count=1, instance_type='ml.g5.2xlarge', # 使用单颗A10 GPU的实例 framework_version='2.1.0', # PyTorch版本 py_version='py310', sagemaker_session=sagemaker_session, hyperparameters={}, # 超参数通过train.py中的cmd传递 output_path=f's3://lerobot-training-data-2025/model-output', # 模型输出位置 code_location=f's3://lerobot-training-data-2025/code', # 训练代码存储位置 ) # 定义输入数据通道 data_channels = { 'dataset': TrainingInput( s3_data='s3://lerobot-training-data-2025/datasets/pen_task/', distribution='FullyReplicated', # 数据复制到每个实例 content_type='application/x-parquet' # 根据数据集格式调整 ) } # 提交训练任务 estimator.fit(inputs=data_channels, wait=True) # wait=True会阻塞直到训练完成 print("Training job completed!")

运行python launch_sagemaker.py，任务就会被提交到云端。你可以在AWS控制台的SageMaker服务下看到训练任务的状态、日志和监控指标（如GPU利用率、损失函数下降曲线）。

成本优化技巧：对于实验性训练，强烈建议使用SageMakerSpot实例。只需将instance_type改为例如ml.g5.2xlarge的Spot实例，成本可能降低60-70%。Spot实例可能被中断，但LeRobot的训练脚本通常支持从检查点恢复，因此非常适合研发阶段。

训练完成后，模型文件会自动从SageMaker容器保存到你指定的S3输出路径（s3://lerobot-training-data-2025/model-output/）。

7. 模型部署与边缘推理优化

训练得到的模型文件（通常是.safetensors格式的权重文件）需要在资源受限的边缘设备（RDK-S100）上高效运行。这一步涉及模型格式转换、优化和编译。

7.1 开发板环境初始化

首先，在RDK-S100开发板上搭建与训练环境一致的Python环境。

# 在RDK-S100上操作 # 1. 安装Miniconda (如果板载系统未预装) wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh bash Miniconda3-latest-Linux-aarch64.sh -b -p $HOME/miniconda3 export PATH="$HOME/miniconda3/bin:$PATH" # 2. 创建环境 conda create -y -n lerobot python=3.10 conda activate lerobot # 3. 安装基础依赖和LeRobot conda install ffmpeg -c conda-forge git clone https://github.com/xiongqi123123/LeRobot-VLA.git cd LeRobot-VLA/lerobot pip install -e .[feetech]

7.2 CPU推理测试

在尝试复杂的BPU编译前，先用CPU运行模型进行功能验证，这是快速排查模型本身问题的好方法。

将训练好的模型文件（从S3下载）放到开发板上，例如/home/ubuntu/models/pretrained_model/。然后修改并运行CPU推理脚本：

# cpu_act_infer.py (简化示例) from lerobot.scripts.act_inference import ACTInference import time # 配置机器人（确保机械臂已连接，摄像头已就位） robot_config = {...} # 与数据采集时类似 policy = ACTInference.from_pretrained("/home/ubuntu/models/pretrained_model") for episode in range(10): obs = robot.get_observation() # 获取当前图像和状态 for step in range(100): # 假设最多100步 action = policy(obs) # 模型推理，得到动作 robot.apply_action(action) # 执行动作 obs = robot.get_observation() # 获取新的观测 if task_is_done(obs): # 判断任务是否完成 break robot.reset() # 重置环境

如果CPU推理能正确控制机械臂运动（哪怕速度慢），说明模型训练是基本成功的。

7.3 BPU模型编译与部署（性能加速）

为了达到实时性要求（如30FPS），我们需要利用RDK-S100的专用神经网络处理器（BPU）。这需要将PyTorch模型转换为板载芯片支持的格式（.hbm）。

1. 模型导出为ONNX：使用官方提供的导出脚本，将ACT模型拆分为视觉编码器和Transformer两部分，并导出为ONNX格式，同时生成校准数据。

   python RDKS_ModelRun/ACT/export_bpu_actpolicy.py \ --act-path ./pretrained_model \ --export-path ./bpu_workdir \ --type nash-e # RDK-S100的芯片型号

   运行后会在./bpu_workdir生成两个ONNX文件及对应的校准数据和编译脚本。

2. 使用Docker工具链编译：模型编译需要在特定的交叉编译环境中进行。RDK官方提供了Docker镜像。

   # 在x86_64的宿主机（如你的本地电脑或云服务器）上操作 # 下载并加载工具链镜像 docker load < ai_toolchain_ubuntu_22_s100_gpu_v3.2.0.tar # 运行容器，并将工作目录挂载进去 docker run -it --rm --gpus all -v $(pwd)/bpu_workdir:/open_explorer ai_toolchain_ubuntu_22_s100_gpu:v3.2.0 # 在容器内执行编译 cd /open_explorer bash build_all.sh

   编译成功后，会在bpu_workdir目录下生成bpu_output文件夹，里面包含编译好的.hbm模型文件和前处理参数文件。

3. 板端部署与运行：将整个bpu_output文件夹拷贝到RDK-S100开发板上。修改BPU推理脚本bpu_act_infer.py中的模型路径指向该文件夹，并配置好摄像头和机械臂参数。

   # 在RDK-S100上运行 python RDKS_ModelRun/ACT/bpu_act_infer.py

如果一切顺利，你将看到机械臂开始自主运行：摄像头捕捉实时画面，模型在BPU上高速推理，输出动作指令，机械臂随之运动并最终完成抓取笔放入笔筒的任务。第一次看到机器人根据自己采集的数据、自己训练的模型完成一个物理任务时，那种成就感是无与伦比的。

避坑指南：BPU编译是最容易出错的环节。常见问题有：ONNX算子不支持、输入输出形状不匹配、校准数据异常等。务必仔细查看编译日志中的错误信息。一个实用的技巧是，先用ONNX Runtime在CPU上运行导出的ONNX模型，验证其输出与原始PyTorch模型是否一致，确保导出环节无误，再进入编译环节。

8. 常见问题排查与调试心得

在整个流程中，我遇到了各种各样的问题。这里将一些典型问题及其解决方案整理成表，希望能帮你节省大量排查时间。

问题现象	可能原因	排查步骤与解决方案
lerobot-find-port找不到串口	1. 权限不足 2. 串口线或转换器故障 3. 驱动未安装	1. 将用户加入dialout组：sudo usermod -a -G dialout $USER，注销后重新登录。 2. 尝试更换USB口或数据线。 3. 使用ls /dev/tty*查看插拔设备前后变化，确认设备名。
机械臂遥操作时动作错乱或无反应	1. 舵机ID配置错误或冲突 2. 校准数据不准确 3. 电源供电不足	1. 重新运行lerobot-setup-motors，确保每个臂的舵机ID唯一且按顺序配置。 2. 重新执行校准流程，缓慢移动每个关节至物理极限。 3. 确保使用额定电压（如7.4V）的电源，且电流足够（建议5A以上）。
数据采集时摄像头画面卡顿或丢失	1. USB带宽不足 2. 摄像头分辨率/帧率设置过高 3. 多个同型号摄像头冲突	1. 将摄像头直接连接到主板USB口，避免使用扩展坞。 2. 降低robot.cameras中的width,height,fps参数（如降至320x240, 15fps）。 3. 使用lerobot-find-cameras确认每个摄像头的独立索引，并确保它们不同时插在同一个USB控制器下。
SageMaker训练任务失败 (ContainerExitCode: 1)	1. 训练脚本语法错误 2. 依赖包缺失 3. S3数据路径错误	1. 在CloudWatch日志中查看/aws/sagemaker/TrainingJobs下对应任务的日志，通常错误信息很明确。 2. 确保source_dir包含了所有必要的代码文件，或正确指定了requirements.txt。 3. 检查TrainingInput的S3路径是否正确，以及执行角色是否有该S3桶的读取权限。
训练损失不下降或震荡剧烈	1. 数据质量差 2. 学习率设置不当 3. 任务定义过于复杂	1. 回看采集的数据，剔除失败或模糊的片段。确保任务指令single_task描述清晰。 2. ACT模型默认学习率可能不适合你的数据。尝试在lerobot-train命令中添加--optimizer.lr=1e-4进行调整。 3. 从更简单的任务开始（如“推到某个点”），再过渡到“抓取并放置”。
BPU编译失败，报错“Unsupported OP”	1. ONNX模型包含BPU不支持的算子 2. PyTorch到ONNX导出时属性设置问题	1. 这是硬件限制，需要修改模型结构或使用替代算子。检查官方文档的支持算子列表。 2. 尝试在导出脚本中设置opset_version，或使用不同的ONNX简化工具。
板端推理时机械臂动作缓慢或不连续	1. 推理帧率过低 2. 动作频率与模型输出不匹配 3. 串口通信延迟	1. 使用top或htop命令监控BPU利用率。确保模型编译时已充分优化。 2. 模型通常以固定频率（如10Hz）输出动作。确保你的控制循环以相同频率读取和执行动作。 3. 检查串口波特率设置，并确保没有其他进程占用串口。

我个人最深刻的体会是：机器人学习项目是典型的“软硬结合”，很多问题不是单纯的代码bug。当模型表现不佳时，不要只盯着超参数调优，回过头去检查硬件连接是否稳固、数据质量是否过关、校准是否准确，往往能更快地找到根源。保持耐心，做好每一步的验证，用“小步快跑”的方式，先让最简单的流程在CPU上跑通，再逐步加入更复杂的硬件加速和优化，这样能最大程度地降低调试的复杂度。这个从软件算法到物理世界反馈的闭环，每一次的成功运行，都是对“具身智能”概念最生动的诠释。