分享课程——《深度学习-TensorRT模型部署实战》，2022年4月新课，提供代码和课件下载！ 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。

给大家分享一套新课——深度学习-TensorRT模型部署实战，2022年4月新课，完整版视频教程下载，附代码、课件。 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。

yolov5的TensorRT模型加速资源

yolov3-tiny2onnx2trt 将您的yolov3-tiny模型转换为trt模型 设备：nvidia jetson tx2 jetpack版本：jetpack4.2： ubuntu18.04 tensorrt5.0.6.3 cuda10.0 cudnn7.3.1 其他： python=2.7 numpy=1.16.1 onnx=1.4.1 (important) pycuda=2019.1.1 Pillow=6.1.0 wget=3.2 自定义设置 data_processing.py: line14: LABEL_FILE_PATH = '/home/nvidia/yolov3-tiny2onnx2trt/coco_labels.txt' line19: CATEGORY_NUM = 80 yolov3_to_onnx.py: line778: img_siz

TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR

InsightFace-REST 该存储库旨在为 InsightFace 人脸检测和识别管道提供方便、易于部署和可扩展的 REST API，使用 FastAPI 进行服务，使用 NVIDIA TensorRT 进行优化推理。 代码主要基于官方 DeepInsight InsightFaceAPI。 该存储库提供用于构建人脸识别 REST API 和使用 Docker 将模型转换为 ONNX 和 TensorRT 的源代码。 主要特征： 准备好使用 Docker 和 nvidia-docker2 在支持 NVIDIA GPU 的系统上进行部署。 启动时自动下载模型（使用 Google Drive）。 借助 TensorRT 优化、FP16 推理和使用 ArcFace 模型对检测到的人脸进行批量推理，性能比 MXNet 推理提高多达 3 倍。 支持较旧的 Retinaface 探

从零YOLOV5在Windows10的部署（tensorrtx）——cmakelist文件

TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR

yolov5各个版本 tensorrt cfg文件，下载地址： https://github.com/enazoe/yolo-tensorrt/blob/master/yolov5_tutorial.md 担心作者哪天不再共享，特地下载下来，分享给大家。

本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用pytorch版本的mobilenetv2图像分类模型实现分类任务。将训练的模型转为onnx，实现onnx的推理，然后再将onnx转为TensorRT，并实现推理。 通过本文你和学到： ​ 1、如何从torchvision.models调用mobilenetv2模型？ ​ 2、如何自定义数据集加载方式？ ​ 3、如何使用Cutout数据增强？ ​ 4、如何使用Mixup数据增强。 ​ 5、如何实现训练和验证。 ​ 6、如何使用余弦退火调整学习率。 ​ 7、如何载入训练的模型进行预测。 ​ 8、pytorch转onnx，并实现onnx推理。 ​ 9、onnx转TensorRT，并实现TensorRT的推理。 希望通过这篇文章，能让大家对图像的分类和模型的部署有个清晰的认识。 链接：https://wanghao.blog.csdn.net/article/details/123003159