OpenVINO C++ 异步推理接口部署YOLOv8 代码

上传者: Grape_yan | 上传时间: 2024-07-15 10:28:28 | 文件大小: 35.26MB | 文件类型: RAR
OpenVINO Runtime支持同步或异步模式下的推理。Async API的主要优点是,当设备忙于推理时,应用程序可以并行执行其他任务(例如,填充输入或调度其他请求),而不是等待当前推理首先完成。 当我们使用异步API时,第二个请求的传输与第一个推理的执行重叠,这防止了任何硬件空闲时间。本视频中,我们以YOLOv8模型为例,对比了OpenVINO分别使用同步推理接口以及异步推理接口的推理速度情况。 其中同步推理一帧平均推理时间为43.02毫秒,而异步接口一帧平均推理时间仅为11.37毫秒,异步接口一秒钟平均可以实现87.98FPS的推理,是同步推理的3.78倍,速度快到飞起!!

文件下载

资源详情

[{"title":"( 5 个子文件 35.26MB ) OpenVINO C++ 异步推理接口部署YOLOv8 代码","children":[{"title":"openvino_asyn_cpp","children":[{"title":"openvino_asyn_cpp.cpp <span style='color:#111;'> 10.37KB </span>","children":null,"spread":false},{"title":"openvino_asyn_cpp.vcxproj.filters <span style='color:#111;'> 979B </span>","children":null,"spread":false},{"title":"openvino_asyn_cpp.vcxproj <span style='color:#111;'> 7.72KB </span>","children":null,"spread":false},{"title":"openvino_asyn_cpp.vcxproj.user <span style='color:#111;'> 168B </span>","children":null,"spread":false}],"spread":true},{"title":"yolov8s.onnx <span style='color:#111;'> 42.75MB </span>","children":null,"spread":false}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明