【jetson nano】jetson nano环境配置+yolov5部署+tensorRT加速模型

本文介绍: Je ts on nano 配置并部署自己的Yolov5模型（Tenso rRT加速）全过程

断断续续地前后花了一个多星期配置环境以及部署模型，期间也报了无数错误，参考了很多文档，求助了身边的朋友，因此尽可能详细的记录一下这个过程。

此处感谢Xnhyacinth在配置过程中对我的帮助哈哈哈꒰ঌ( ⌯’ ‘⌯)໒꒱

我主机上的环境是python3.9，cuda11.6
jetson nano环境jetpack4.6，cuda10.2，python3.6（conda）
jtop查看系统配置

先熟悉各个接口及其功能，具体可参考NVIDIA官方文档（见下文）先组装好买来的风扇，准备好无线网卡，我用的是即插即用的usb 版本的无线网卡，JD上有卖，组装时发现 jetson nano 开发板上有一个跳线帽，那里默认是没有短接的，这样的话只能连接电脑电源，必须先把跳线帽短接才能连接直流电源。
NVIDIA jetson nano官网
刚开始的烧录，sd卡格式化以及相关工作都是对照这个来的，基本没什么问题。完成之后就可以得到一个Ubuntu18.04的系统，然后如果有无线网卡可以直接连接WiFi，我后面一般都是通过 xshell 连接开发板，直接在主机操作，除了需要查看图片或者视频的时候才接屏幕。
这个阶段我还部分参考了以下文档，在此做一个记录不赘述了。
Nvidia Jetson Nano介绍与使用指南
 Jetson Nano 从入门到实战（案例：Opencv配置、人脸检测、二维码检测）这篇文章我主要参考了2.4.1到2.4.3的部分，配置了一些系统环境并换源，因为不换源下载东西速度可能比较慢，具体如何换源的网上资料很多，可以自行查阅。

刚开始我没有用虚拟环境，自带的环境里是python2.7，先下载3.6,又在环境里装了torch，花了好几天所有环境全部装完到最后跑yolov5的时候还是报错，然后请教了其他人，让我安装 conda的虚拟环境，于是从头再来，重新装conda环境。前面的坑我就不说了，我们直接安装 conda环境。建议卡在这里的也可以直接使用 conda环境，确实方便很多。

#激活环境
conda activate yolov5

git clone https://github.com/ultralytics/yolov5.git

pip install -r requirements.txt

我当时遇到的情况是有两个包安装不上，耽搁了一天，一个是matplotlib，一个是opencv–python。第二个包我甚至参考了很多网上的编译安装opencv的教程，用c++编译安装的方式折腾了很久，实际上不需要，只要参考Jetson Nano部署YOLOv5与Tensorrtx加速——（自己走一遍全过程记录）并把作者的那些环境配置安装完之后就解决了。
全部环境安装完成之后直接命令行切到主目录然后输入python detect.py执行，如果下载速度很慢可以提前去yolov5官方仓库把yolo v5s.p t下载到主目录，没有报错就会在run/detect/exp目录下生成两张图片，这就成功了。

tensorRT本质上就是把模型压缩，变得更快，因为jetson nano 算力不够所以需要加速。官方仓库在这里我参考的仓库里面的README.md文档，按照他的指令转化成wts以及engine 格式的模型文件。
另外还包括以下几篇文章的tensor加速部分。但是以下文章的该部分仅供参考，要确保自己的yolo以及各项版本和你下载的tensorRT一致（实际上很有可能不一致，也就是说即使生成了engine 文件也用不了）。
Jetson nano上部署自己的Yolov5模型（TensorRT加速）onnx模型转engine文件
 Jetson Nano部署YOLOv5与Tensorrtx加速——（自己走一遍全过程记录）
之所以说仅供参考是因为

1. 里面的部分内容与实际情况不一致
比如修改训练好的模型数量，默认是80我们不需要修改，但如果是自己训练的模型就需要修改，修改地址并非他们所说的tensorrtx/yolov5/yololayer.h，而是应该参考官方文档 README 里面的这样一句话：

 cd [PATH-TO-TENSORRTX]/yolov5/
 # Update kNumClass in src/config.h if your model is trained on custom dataset

上面的注释中提到了如果要修改分类数量应该在src/config.h文件中更新kNumClass变量
官方仓库文档
但是还是有可能报错，TensorRT生成engine文件异常（[TRT] Network::addScale::434, condition: shift.count ＞ 0 ?)（这是可能出现的问题之一，我还遇到了其他的错误，比如生成了engine文件却不能适配等），如果用下面的方法就不会出现这个问题。

2. 其实并不需要用上述方法，如果你是跑yolo模型
实际上yolov5主目录里有export.py，可以直接调用 tensorRT包实现把模型从xx.pt到xx.engine的转换，非常方便，不需要其他操作。并且jetson nano有自带的tensorRT包，我们只需要和我们的conda环境里的包的安装目录建立软连接即可。具体方法见下节

Tenso rRT的系统安装路径为：/usr/lib/python3.6/dist-packages/tensorrt/（这个是大家都一样不变的）
执行以下命令，建立虚拟环境（自己的虚拟环境）对应的软链接（注意自己的ar ch iconda的安装目录，这是本人目录仅供参考/home/alen123/archiconda3/envs/yolov5/lib/python3.6/site-packages）

sudo ln -s /usr/lib/python3.6/dist-packages/tensorrt* /home/alen123/archiconda3/envs/yolov5/lib/python3.6/site-packages

>>> python
>>> import tensorrt
>>> tensorrt.__version__

python export.py --weights yolov5.pt --include engine -- device 0

可能会报错，告诉你部分包未安装，这时候别着急安装，先cat requirements.txt，查找对应的包，以onnx为例，找到requirements.txt里面onnx 对应的版本，直接在命令行下载文件要求的最低版本，默认应该是被注释掉了，在Ex port里面，我的是

# onnx>=1.9.0  # ONNX export

pip install onnx==1.9.0

python export.py --weights yolov5.pt --include engine -- device 0

会生成一个engine文件。如果想要在开发板上跑时有更快的速度可以加--half，降低精度的，同时可以显著提高速度，我跑自己的模型时没用tensorRT加速速度是>100ms每帧。加速后，但加--half前速度大约是50ms每帧，加了--half之后是30ms每帧。

python export.py --weights yolov5.pt --include engine --half -- device 0

python detect.py --weights yolov5.engine

  File "detect.py", line 368, in <module>
    main(opt)
  File "detect.py", line 262, in main
    run(**vars(opt))
  File "/home/alen123/archiconda3/envs/yolov5/lib/python3.6/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context
    return func(*args, **kwargs)
  File "detect.py", line 98, in run
    model = DetectMultiBackend(weights, device=device, dnn=dnn, data=data, fp16=half)
  File "/home/alen123/yolov5-7.0/models/common.py", line 500, in __init__
    names = yaml_load(data)['names'] if data else {i: f'class{i}' for i in range(999)}
KeyError: 'names'