Jetson Nano上YOLOv5性能优化实战：TensorRT加速全流程解析
当你在Jetson Nano上运行YOLOv5时，是否遇到过这样的困境：检测帧率(FPS)始终无法突破个位数，实时性要求难以满足？作为嵌入式AI开发者，我们常常需要在有限的计算资源下榨取每一分性能。本文将带你深入探索如何通过TensorRT加速，让YOLOv5在Jetson Nano上的推理速度提升3倍以上，同时保持检测精度基本不变。
1. 边缘计算设备上的目标检测挑战
Jetson Nano作为NVIDIA推出的边缘计算设备，虽然搭载了128核Maxwell架构GPU，但面对现代深度学习模型仍然显得力不从心。YOLOv5作为当前最流行的目标检测算法之一，其轻量级版本(yolov5s)在桌面级GPU上可以轻松达到100+FPS，但在Jetson Nano上原生PyTorch推理通常只能获得5-8 FPS。
为什么需要TensorRT加速？这涉及到几个关键因素：
- 计算架构差异：PyTorch默认使用FP32精度计算，而Jetson Nano的GPU对FP16有更好的支持
- 算子优化不足：原生框架中的某些算子可能没有针对特定硬件进行优化
- 内存访问效率：模型转换过程中可以进行层融合等优化，减少内存访问开销
实测数据对比：在640x640输入分辨率下，Jetson Nano 4GB版本运行yolov5s.pt的平均推理时间约为120ms（约8FPS），而经过TensorRT优化后可以缩短至35ms左右（约28FPS）
2. TensorRT加速核心原理
TensorRT是NVIDIA推出的高性能深度学习推理框架，其核心优化技术包括：
2.1 计算图优化
TensorRT会对原始模型进行计算图级别的优化，主要包括：
- 层融合(Layer Fusion)：将多个连续操作合并为单个核函数
- 精度校准：自动将FP32转换为FP16或INT8，保持精度损失最小
- 内核自动调优：根据目标GPU架构选择最优的内核实现
# 原始计算图示例 Conv -> ReLU -> BatchNorm # TensorRT优化后 Fused_Conv_ReLU_BatchNorm2.2 内存优化
TensorRT通过以下方式减少内存占用和访问延迟：
- 内存复用：为中间结果分配共享内存
- 张量对齐：优化内存访问模式
- 动态张量：支持运行时调整输入尺寸
2.3 特定硬件加速
针对Jetson系列设备的特殊优化：
- DLA核心利用：可分配部分计算到深度学习加速器
- GPU指令集优化：使用Tensor Core加速矩阵运算
- 流水线并行：重叠计算和数据传输
3. 完整加速实现流程
3.1 环境准备与依赖安装
首先确保Jetson Nano已刷写最新JetPack系统（推荐4.6+版本），然后安装必要依赖：
# 更新系统 sudo apt-get update sudo apt-get upgrade -y # 安装编译工具 sudo apt-get install build-essential make cmake git -y # 安装Python环境 sudo apt-get install python3-pip libpython3-dev -y pip3 install --upgrade pip # 安装PyTorch for Jetson wget https://nvidia.box.com/shared/static/p57jwntv436lfrd78inwl7iml6p13fzh.whl -O torch-1.8.0-cp36-cp36m-linux_aarch64.whl pip3 install torch-1.8.0-cp36-cp36m-linux_aarch64.whl3.2 模型转换流程
YOLOv5模型需要经过以下转换步骤：
PyTorch(.pt) -> 中间格式(.wts) -> TensorRT引擎(.engine)步骤1：生成.wts中间文件
从YOLOv5官方仓库克隆代码并导出模型：
git clone -b v5.0 https://github.com/ultralytics/yolov5.git cd yolov5 pip install -r requirements.txt # 导出模型（示例使用yolov5s） python models/export.py --weights yolov5s.pt --img 640 --batch 1步骤2：使用tensorrtx转换
git clone -b yolov5-v5.0 https://github.com/wang-xinyu/tensorrtx.git cd tensorrtx/yolov5 # 复制生成器到YOLOv5目录 cp gen_wts.py ../../../yolov5/ # 生成.wts文件 cd ../../../yolov5 python gen_wts.py -w yolov5s.pt -o yolov5s.wts3.3 构建TensorRT引擎
关键编译参数说明：
| 参数 | 说明 | 推荐值 |
|---|---|---|
| FP16 | 启用半精度 | ON |
| INT8 | 启用8位整型 | OFF(需校准) |
| DLA | 使用深度学习加速器 | 可选 |
| Batch | 批处理大小 | 1(实时应用) |
实际编译命令：
cd tensorrtx/yolov5 mkdir build cd build cmake -DFP16_MODE=ON .. make # 生成引擎文件 sudo ./yolov5 -s ../yolov5s.wts yolov5s.engine s4. 性能优化技巧与实测对比
4.1 精度与速度权衡
不同精度模式下的性能表现：
| 精度模式 | 推理时间(ms) | mAP@0.5 | 内存占用 |
|---|---|---|---|
| FP32 | 45.2 | 0.856 | 1.2GB |
| FP16 | 34.7 | 0.853 | 0.9GB |
| INT8 | 28.1 | 0.842 | 0.6GB |
4.2 实际部署中的调优技巧
输入分辨率调整：
- 640x640：平衡精度和速度
- 480x480：速度优先
- 320x320：极致速度
后处理优化：
// 修改nms_threshold和conf_threshold #define NMS_THRESH 0.45 // 原0.4 #define CONF_THRESH 0.4 // 原0.5视频流处理优化：
# 使用多线程处理 import threading class VideoStream: def __init__(self, src=0): self.stream = cv2.VideoCapture(src) self.grabbed, self.frame = self.stream.read() self.stopped = False def start(self): threading.Thread(target=self.update, args=()).start() return self
4.3 性能监控与调试
使用tegrastats工具监控资源使用：
# 查看GPU/CPU/内存使用情况 tegrastats --interval 1000典型优化后的资源占用：
RAM: 1.8/4GB | CPU: 45% | GPU: 78% | Temp: 68C5. 完整C++推理代码解析
以下是经过优化的推理核心代码结构：
#include "cuda_utils.h" #include "logging.h" #include "yololayer.h" // 初始化TensorRT引擎 bool initEngine(const std::string& engineFile) { std::ifstream engineStream(engineFile, std::ios::binary); engineStream.seekg(0, std::ios::end); size_t size = engineStream.tellg(); engineStream.seekg(0, std::ios::beg); char* trtModelStream = new char[size]; engineStream.read(trtModelStream, size); engineStream.close(); IRuntime* runtime = createInferRuntime(gLogger); engine = runtime->deserializeCudaEngine(trtModelStream, size); context = engine->createExecutionContext(); delete[] trtModelStream; return true; } // 执行推理 void runInference(cv::Mat& frame) { // 预处理 cv::Mat pr_img = preprocess_img(frame, INPUT_W, INPUT_H); // 准备输入数据 float* host_input = new float[BATCH_SIZE * 3 * INPUT_H * INPUT_W]; prepareImage(pr_img, host_input); // 分配GPU内存 float* device_input; cudaMalloc(&device_input, BATCH_SIZE * 3 * INPUT_H * INPUT_W * sizeof(float)); cudaMemcpy(device_input, host_input, BATCH_SIZE * 3 * INPUT_H * INPUT_W * sizeof(float), cudaMemcpyHostToDevice); // 执行推理 auto start = std::chrono::system_clock::now(); context->enqueue(BATCH_SIZE, (void**)buffers, stream, nullptr); auto end = std::chrono::system_clock::now(); // 后处理 std::vector<Detection> detections; postprocess(detections, host_output); // 绘制结果 drawBBox(frame, detections); // 释放资源 delete[] host_input; cudaFree(device_input); }6. 常见问题解决方案
Q1: 模型转换过程中出现段错误(segmentation fault)
- 可能原因：TensorRT版本与JetPack不兼容
- 解决方案：
# 查看TensorRT版本 dpkg -l | grep TensorRT # 重新安装匹配版本 sudo apt-get install tensorrt=8.x.x.x
Q2: FP16模式精度下降明显
- 调整方案：
- 在yololayer.h中调整输出尺度
- 使用混合精度训练重新训练模型
- 尝试INT8量化（需校准数据集）
Q3: 视频流延迟高
- 优化方向：
- 使用硬件加速解码（NVDEC）
- 减少不必要的内存拷贝
- 调整相机采集分辨率
# 使用GStreamer加速视频流 cv::VideoCapture cap("nvarguscamerasrc ! video/x-raw(memory:NVMM) ! nvvidconv ! video/x-raw,format=BGRx ! videoconvert ! video/x-raw,format=BGR ! appsink")经过完整的TensorRT优化流程后，我们的实测数据显示，在保持检测精度下降不超过1%的情况下，Jetson Nano上的YOLOv5推理速度从原来的8FPS提升到了稳定的28FPS，完全满足大多数实时检测场景的需求。
