使用 TensorRT 优化和部署TensorFlow 模型

BiSeNetV1 和 BiSeNetV2 我对和。 cityscapes val 集上的 mIOUs 和 fps： 没有任何 SS 共享单车 无国界医生 mscf fps(fp16/fp32) 关联 bisenetv1 75.44 76.94 77.45 78.86 68/23 bisenetv2 74.95 75.58 76.53 77.08 59/21 cocostuff val2017 集上的 mIOU： 没有任何 SS 共享单车 无国界医生 mscf 关联 bisenetv1 31.49 31.42 32.46 32.55 bisenetv2 30.49 30.55 31.81 31.73 提示： ss表示单尺度评价， ssc表示单尺度作物评价， msf表示带翻转增强的多尺度评价， mscf表示带翻转评价的多尺度作物评价。

适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT也是支持C++前端的，如果我们追求高性能，C++前端调用TensorRT是必不可少的。

TensorFlow models accelerated with NVIDIA TensorRT

YOLOv5，tensorrt，加速，模型转换，对应的v5版本

由于大多数深度学习模型部署在嵌入式平台均出现推理速度过慢的情况，因此引用到tensorRT来加速推理深度学习模型，以yolov5为例，本文介绍了两种方式将yolov5在pytorch框架下训练出的.pt权重抓换成tensorRT的推理引擎。从而实现深度学习模型在嵌入式平台的部署与加速。本文实验平台为jetson nano及jetson TX2.加速效果明显

课程分享——TensorRT 加速深度学习模型详解，附代码、文档、工具，完整版视频教程下载。 本课程讲解了英伟达TensoRT在加速深度学习模型中的应用，在本课程中，不仅授之以“渔”，而且授之以鱼，在讲解使用方法的基础上，最终完成一个统一的推理引擎和一个统一模型转换工具，可以把tf, caffe和onnx模型通过配置文件转换为TensorRT模型，并使用推理引擎进行加速。同时在Int8量化中给大家讲解了如和进行Int8量化，并赠送了我自己开发的一个手工读取和修改量化表的工具。在课程中给大家讲解了性能优化和如何避免各种坑。使得开发后的工具可以直接在工程部署中应用。 课程目录： 第1章：课程简介和TensorRT简介 第2章：推理引擎的开发 第3章：小试牛刀-python转换TRT并测试推理引擎 第4章：统一转换工具的开发 第5章：推理引擎的优化 第6章：关于Int8量化 第7章：关于windows版本的移植说明

TensorRT 8.4 EA for Windows 10 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5 and 11.6 ZIP Package也可以到官网https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html下载对应的版本

win10 cuda11.4 cudnn8.2 含 C++和Python API