1. 项目概述
第一次接触DETR（Detection Transformer）时，我被这个将Transformer架构引入目标检测领域的创新思路所吸引。作为一个长期使用传统CNN检测框架的开发者，我决定从零开始完整跑通DETR的训练流程。这个过程充满了挑战——从环境配置、数据准备到模型训练，几乎每个环节都遇到了意想不到的问题。
2. 环境准备与依赖安装
2.1 基础环境搭建
我选择PyTorch 1.10作为基础框架，搭配CUDA 11.3进行GPU加速。这里有个关键细节：必须确保PyTorch版本与CUDA版本严格匹配。我最初使用了PyTorch 1.8 + CUDA 11.1的组合，结果在计算损失函数时出现了难以追踪的内存错误。
安装命令示例：
conda create -n detr python=3.8 conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch2.2 依赖库的特殊处理
除了标准依赖外，DETR需要额外安装pycocotools。这里有个隐藏坑点：直接pip install pycocotools可能会失败。我最终采用的解决方案是：
pip install cython pip install git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI3. 数据准备与格式转换
3.1 COCO数据格式解析
DETR强制要求使用COCO数据格式，这对习惯YOLO格式的开发者是个挑战。COCO格式的核心在于annotations中的JSON文件结构，必须包含以下关键字段：
{ "images": [{"id":, "file_name":, "width":, "height":}], "annotations": [{"id":, "image_id":, "category_id":, "bbox": [x,y,w,h], "area":, "iscrowd":}], "categories": [{"id":, "name":}] }3.2 从YOLO到COCO的转换实战
我开发了一个转换脚本处理YOLO格式数据，关键步骤如下：
- 解析YOLO的txt标注文件，注意坐标需要从归一化值转换回绝对坐标
- 为每个图像生成唯一的image_id
- 处理类别映射关系（YOLO使用序号，COCO需要明确的类别名）
- 确保bbox格式为[x_min, y_min, width, height]
关键提示：转换后务必验证bbox坐标是否超出图像边界，这是后续训练出现NaN损失的常见原因
4. 模型训练实战
4.1 配置文件调整
DETR的默认配置针对COCO数据集优化，对于自定义数据集需要调整：
{ "lr": 1e-4, # 小数据集建议降低到1e-5 "epochs": 300, # 实际训练可能提前停止 "batch_size": 4, # 根据GPU内存调整 "num_classes": 你的类别数+1 # 加上背景类 }4.2 训练过程中的关键监控
我建议实时监控以下指标：
- 分类损失（class_error）：反映目标识别准确度
- 框回归损失（bbox_loss）：反映定位精度
- GIoU损失（giou_loss）：反映框形状匹配度
- 验证集mAP：每5个epoch验证一次
5. 典型问题与解决方案
5.1 损失值为NaN
这是最常见的问题，可能原因包括：
- 学习率过高（解决方案：降至1e-5）
- 数据标注错误（解决方案：检查bbox坐标）
- 梯度爆炸（解决方案：添加梯度裁剪）
5.2 验证指标不提升
可能原因：
- 数据量不足（解决方案：增加数据增强）
- 模型容量不足（解决方案：尝试更大的backbone）
- 学习率策略不当（解决方案：改用cosine衰减）
6. 模型优化技巧
6.1 数据增强策略
除了默认的随机裁剪和翻转，我发现以下增强特别有效：
- ColorJitter（颜色扰动）
- RandomErasing（模拟遮挡）
- MixUp（提升小目标检测）
6.2 学习率调优
通过实验发现的分阶段学习率策略：
- 前10epoch：1e-5（预热）
- 10-100epoch：1e-4（主训练）
- 100epoch后：1e-5（微调）
7. 部署注意事项
7.1 模型导出
使用torch.jit.trace导出时需注意：
model.eval() example = torch.rand(1, 3, 800, 800) traced_script_module = torch.jit.trace(model, example) traced_script_module.save("detr_model.pt")7.2 推理优化
对于生产环境，建议：
- 使用TensorRT加速
- 对输入图像进行等比例缩放（保持长宽比）
- 后处理时根据置信度阈值过滤结果
8. 进阶改进方向
对于追求更高性能的开发者，可以考虑：
- 替换backbone为ResNet-101或Swin Transformer
- 采用Deformable DETR改进小目标检测
- 引入知识蒸馏压缩模型大小
整个项目从环境搭建到最终部署耗时约3周，最大的收获是深入理解了Transformer在视觉任务中的工作机制。建议初学者从COCO预训练模型开始微调，再逐步尝试完整训练流程。
