基于卷积神经网络的RGB-D图片分类

针对基于卷积神经网络（CNNs）的物体分类问题，文中旨在探索一种最佳的输入组合，使得分类效果达到最佳。本文首先介绍了相关的RGB-D数据集，然后在该数据集中提取部分图片组成训练、验证和测试集。然后对这些选取的图片进行预处理，包括去除RGB-D图片的背景，和补齐深度（D）图片的深度信息。利用深度信息图和转换到不同色彩空间下的图片预先训练多个CNNs。由于每一组彩色图和深度图的内容都是相同的，他们共享相似的特征，这些预先训练的网络可以互相取长补短，本文将这些CNNs的概率向量对应元素相加并再次归一化，用这个概率向量作为最终分类的依据。实验结果表明，在本文的CNNs结构下，RGB信息、D信息、RGB-D信息三者的组合能够达到最高的分类准确率95.0%，比起仅使用其中任何一种高出至少5%。对于其他的色彩空间，预先训练的网络无法收敛，侧面印证了基于图片的深度学习工作大多使用RGB色彩空间的合理性。