该课程主要是介绍了各个传感器（如相机，IMU，激光雷达和毫米波雷达等）的基础知识，以及它们之间的对比，如何将它们进行同步（如联合标定，空间同步等）和融合（如信息融合）。同时还包含ubuntu系统下的环境配置教程，如何搭建多传感器融合所需要的环境，点云去畸变以及对其问题，多相机的同步融合实战，相机与IMU的同步实战，相机与激光雷达的同步实战，激光与IMU的同步实战，相机与IMU的融合实战，LIDAR-RADAR的融合实战。该课程适用于刚入门视觉slam的小白，对了解自动驾驶中的感知模块具有比较大的帮助，它几乎涵盖了多传感器融合课程的全部算法和内容。毕业设计研究方向是多传感器融合的小伙伴可以看一下该课程，对完成毕业论文有一个很好的促进作用。

基于激光雷达和相机的标定计算软件可以利用不同的计算方法求解雷达三维特征点到图像二维特征点的旋转矩阵、平移矩阵、相机内参等等。集成了四种计算外参矩阵的方法，分别是P3P、EPnP、DLT、PNPRANSAC。不用再编程去实现求解计算，比较方便。内部的函数都是Opencv实现的。 博客地址：https://blog.csdn.net/qq_39400324/article/details/122379440

整个项目基于 ros，配置简单，来源 autoware, 增加实时显示点云映射，点云相机方向投影。 需要储备知识：ros~

自动驾驶 感知融合

针对车载激光雷达和惯性测量单元(Inertial Measurement Unit，IMU)的坐标系标定问题，设计了一种使用角反射器作标志物的标定方法。首先通过区域分割、地面滤除和标志点提取的预处理方法来提取标志点；然后借鉴3D点云匹配的方法，将坐标系联合标定转化为点云匹配问题，使用迭代最近邻点(Iterative Closest Point，ICP)算法求得两坐标系的坐标转换矩阵。最后，将标定结果与基于最小二乘法的标定结果进行对比，结果表明使用3D点云匹配的标定方法是可行的。

基于C#开发的，结合halcon视觉库，设计开发的机器视觉软件系统标定助手，可完成在线实时采集标定，批量读图标定，采集-标定-结果输出三个功能界面。

基于 Target 平面约束的相机与激光雷达联合标定算法，如 Autoware 自带的标定工具箱，完成对小觅相 机（单 目）和 Velodyne16 线激光雷达的联合标定。

毫米波雷达与相机联合标定体验版。半开源代码。 在Ubuntu16.04和18.04已测试。 校准原理： https://blog.csdn.net/hgz_gs/article/details/114288657

毫米波雷达与视觉融合。标定 在Ubuntu16.04和18.04已测试。 标定原理：https://blog.csdn.net/hgz_gs/article/details/114288657

由于上传资源大小限制，内含一组将VLP-16激光雷达通过autoware录制的rosbag解析得到的同一时刻的图像以及点云pcd数据还有标定文件，可进行完整的点云数据读取、二维图像投影等实验。