文件是TensorRT-7.1.3.4.CentOS-7.6.x86_64-gnu.cuda-10.2.cudnn8.0.tar

本教程目的为让开发者了解深度学习中的完整流程，这包括：** 1.数据集导入及预处理流程 2.网络模型选择及参数设置流程 3.模型训练及导出流程 4.模型加载/优化并得出推断结果 本教程采用了以下主要的软硬件环境：** 1.NVIDIA Xavier NX 2.Jetpack 4.6 3.TensorRT 8.0.1 4.Pytorch 1.10.0 5.Python 3.6.9 6.Opencv 4.1.1

tensorRT的python接口用pycuda的wheel安装包,pycuda-2021.1+cuda115-cp39-cp39-win32及64

使用 TensorRT 优化和部署TensorFlow 模型

BiSeNetV1 和 BiSeNetV2 我对和。 cityscapes val 集上的 mIOUs 和 fps： 没有任何 SS 共享单车 无国界医生 mscf fps(fp16/fp32) 关联 bisenetv1 75.44 76.94 77.45 78.86 68/23 bisenetv2 74.95 75.58 76.53 77.08 59/21 cocostuff val2017 集上的 mIOU： 没有任何 SS 共享单车 无国界医生 mscf 关联 bisenetv1 31.49 31.42 32.46 32.55 bisenetv2 30.49 30.55 31.81 31.73 提示： ss表示单尺度评价， ssc表示单尺度作物评价， msf表示带翻转增强的多尺度评价， mscf表示带翻转评价的多尺度作物评价。

适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT也是支持C++前端的，如果我们追求高性能，C++前端调用TensorRT是必不可少的。

TensorFlow models accelerated with NVIDIA TensorRT

YOLOv5，tensorrt，加速，模型转换，对应的v5版本

由于大多数深度学习模型部署在嵌入式平台均出现推理速度过慢的情况，因此引用到tensorRT来加速推理深度学习模型，以yolov5为例，本文介绍了两种方式将yolov5在pytorch框架下训练出的.pt权重抓换成tensorRT的推理引擎。从而实现深度学习模型在嵌入式平台的部署与加速。本文实验平台为jetson nano及jetson TX2.加速效果明显