TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT也是支持C++前端的，如果我们追求高性能，C++前端调用TensorRT是必不可少的。

TensorFlow models accelerated with NVIDIA TensorRT

YOLOv5，tensorrt，加速，模型转换，对应的v5版本

由于大多数深度学习模型部署在嵌入式平台均出现推理速度过慢的情况，因此引用到tensorRT来加速推理深度学习模型，以yolov5为例，本文介绍了两种方式将yolov5在pytorch框架下训练出的.pt权重抓换成tensorRT的推理引擎。从而实现深度学习模型在嵌入式平台的部署与加速。本文实验平台为jetson nano及jetson TX2.加速效果明显

课程分享——TensorRT 加速深度学习模型详解，附代码、文档、工具，完整版视频教程下载。 本课程讲解了英伟达TensoRT在加速深度学习模型中的应用，在本课程中，不仅授之以“渔”，而且授之以鱼，在讲解使用方法的基础上，最终完成一个统一的推理引擎和一个统一模型转换工具，可以把tf, caffe和onnx模型通过配置文件转换为TensorRT模型，并使用推理引擎进行加速。同时在Int8量化中给大家讲解了如和进行Int8量化，并赠送了我自己开发的一个手工读取和修改量化表的工具。在课程中给大家讲解了性能优化和如何避免各种坑。使得开发后的工具可以直接在工程部署中应用。 课程目录： 第1章：课程简介和TensorRT简介 第2章：推理引擎的开发 第3章：小试牛刀-python转换TRT并测试推理引擎 第4章：统一转换工具的开发 第5章：推理引擎的优化 第6章：关于Int8量化 第7章：关于windows版本的移植说明

TensorRT 8.4 EA for Windows 10 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5 and 11.6 ZIP Package也可以到官网https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html下载对应的版本

win10 cuda11.4 cudnn8.2 含 C++和Python API

分享课程——《深度学习-TensorRT模型部署实战》，2022年4月新课，提供代码和课件下载！ 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。

给大家分享一套新课——深度学习-TensorRT模型部署实战，2022年4月新课，完整版视频教程下载，附代码、课件。 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。

yolov5的TensorRT模型加速资源