目标检测YOLO实战应用案例100讲-激光雷达的3D目标检测

2D目标检测在自动驾驶领域存在很多问题，因为自动驾驶的空间首先是在3D层面上的，而且需要使用RGB图像、RGB-D深度图像和激光点云，输出物体类别及在三维空间中的长宽高、旋转角等信息。这一类检测称为3D目标检测。随着Faster-RCNN的出现，2D目标检测达到了空前的繁荣，各种新的方法不断涌现，百家争鸣，但是在无人驾驶、机器人、增强现实的应用场景下，普通2D检测并不能提供感知环境所需要的全部信息，2D检测仅能提供目标物体在二维图片中的位置和对应类别的置信度，但是在真实的三维世界中，物体都是有三维形状的，大部分应用都需要有目标物体的长宽高还有偏转角等信息。例如下图Fig.1中，在自动驾驶场景下

Categorical Depth Distribution Network for Monocular 3D Object Detection翻译

3D目标检测，车辆检测的立体检测，自动驾驶前沿技术。

3D目标检测数据集和算法介绍

Open3D可视化测试数据

kitti部分内容可以用于openpcdet的demo预测。

用于pcdet的目标检测和demo预测。这是官网上面的全部模型，例如pointpillar、pointrcnn，由于文件太大无法上传，因为上传了百度网盘的地址。

pvrcnn是一个两阶段检测算法。stage1采用常规的voxel-based的方法得到proposal。stage 2：refine。经过stage1得到了RoI, 刚刚的关键点特征提取得到了每个关键点的特征。然后可以进行refine了。还有一个Predicted Keypoint Weighting模块。它的作用主要是想降低不是前景点的关键点特征对refine阶段的影响。通过训练两层MPL来使得模型能够区分哪些是前景点，哪些是背景点，并对背景点赋予较小的权重。以gird point为球心，以某一设定值为半径画球，对包括在其中的关键点再次进行set abstraction操作，得到更高级的特征。这样做有一个好处就是，在画球的过程中，有可能将RoI之外的点包括进来，从而提供更丰富的语义信息，帮助模型更好的回归。这样重复6 * 6 * 6次，就能得到6 * 6 * 6个特征向量。

PointRCNN源代码中的作者提及的预训练模型。[3D检测系列-PointRCNN]复现PointRCNN代码，并实现PointRCNN3D目标检测可视化，包含预训练权重下载链接（从0开始以及各种报错的解决方法）。有了该模型就无需自己在训练，可以直接用这个模型对网络进行检测和再训练。并且可以参考我的另一篇博文进行网络复现和可视化操作。利用作者的预训练模型可以直接检测，将模型放在tools下面。复现博文地址：https://blog.csdn.net/Callme_TeacherPi/article/details/125963061