课程分享——TensorRT 加速深度学习模型详解，附代码、文档、工具，完整版视频教程下载。 本课程讲解了英伟达TensoRT在加速深度学习模型中的应用，在本课程中，不仅授之以“渔”，而且授之以鱼，在讲解使用方法的基础上，最终完成一个统一的推理引擎和一个统一模型转换工具，可以把tf, caffe和onnx模型通过配置文件转换为TensorRT模型，并使用推理引擎进行加速。同时在Int8量化中给大家讲解了如和进行Int8量化，并赠送了我自己开发的一个手工读取和修改量化表的工具。在课程中给大家讲解了性能优化和如何避免各种坑。使得开发后的工具可以直接在工程部署中应用。 课程目录： 第1章：课程简介和TensorRT简介 第2章：推理引擎的开发 第3章：小试牛刀-python转换TRT并测试推理引擎 第4章：统一转换工具的开发 第5章：推理引擎的优化 第6章：关于Int8量化 第7章：关于windows版本的移植说明

TensorRT 8.4 EA for Windows 10 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5 and 11.6 ZIP Package也可以到官网https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html下载对应的版本

win10 cuda11.4 cudnn8.2 含 C++和Python API

分享课程——《深度学习-TensorRT模型部署实战》，2022年4月新课，提供代码和课件下载！ 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。

给大家分享一套新课——深度学习-TensorRT模型部署实战，2022年4月新课，完整版视频教程下载，附代码、课件。 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。

yolov5的TensorRT模型加速资源

yolov3-tiny2onnx2trt 将您的yolov3-tiny模型转换为trt模型 设备：nvidia jetson tx2 jetpack版本：jetpack4.2： ubuntu18.04 tensorrt5.0.6.3 cuda10.0 cudnn7.3.1 其他： python=2.7 numpy=1.16.1 onnx=1.4.1 (important) pycuda=2019.1.1 Pillow=6.1.0 wget=3.2 自定义设置 data_processing.py: line14: LABEL_FILE_PATH = '/home/nvidia/yolov3-tiny2onnx2trt/coco_labels.txt' line19: CATEGORY_NUM = 80 yolov3_to_onnx.py: line778: img_siz

TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR

InsightFace-REST 该存储库旨在为 InsightFace 人脸检测和识别管道提供方便、易于部署和可扩展的 REST API，使用 FastAPI 进行服务，使用 NVIDIA TensorRT 进行优化推理。 代码主要基于官方 DeepInsight InsightFaceAPI。 该存储库提供用于构建人脸识别 REST API 和使用 Docker 将模型转换为 ONNX 和 TensorRT 的源代码。 主要特征： 准备好使用 Docker 和 nvidia-docker2 在支持 NVIDIA GPU 的系统上进行部署。 启动时自动下载模型（使用 Google Drive）。 借助 TensorRT 优化、FP16 推理和使用 ArcFace 模型对检测到的人脸进行批量推理，性能比 MXNet 推理提高多达 3 倍。 支持较旧的 Retinaface 探

从零YOLOV5在Windows10的部署（tensorrtx）——cmakelist文件