【AAAI2023】视觉辅助的常识知识获取Visually Grounded Commonsense Knowledge Acquisition 论文源码。大规模的常识知识库为广泛的AI应用提供了能力，其中常识知识的自动提取(CKE)是一个基本和具有挑战性的问题。文本中的CKE因其固有的稀疏性和文本中常识的报道偏差而闻名。另一方面，视觉感知包含了丰富的关于现实世界实体的常识知识，如(人、能拿的东西、瓶子)，这可以作为获得基础常识知识的有前途的来源。在这项工作中，我们提出CLEVER，它将CKE描述为一个远端监督的多实例学习问题，其中模型学习从一组关于实体对的图像中总结常识关系，而不需要对图像实例进行任何人为注释。为了解决这一问题，CLEVER利用视觉语言预训练模型来深入理解袋子中的每个图像，并从袋子中选择信息实例，通过一种新颖的对比注意力机制来总结常识性的实体关系。综合实验结果表明，CLEVER方法能够较好地提取常识性知识，比基于语言模型的预训练方法提高了3.9个AUC点和6.4个mAUC点。预测的常识得分与人的判断具有较强的相关性，斯皮尔曼系数为0.78。提取出来的常识也可以根植于具

以深度学习为代表的智能感知技术已经取得了突破性进展，并已在各行各业产生了巨大的价值。目前，人工智能的研究领域已经逐渐从感知智能向认知智能领域过渡，其中，深度学习无法解决的一个主要问题是常识推理问题。常识知识是人类智能的重要体现，在计算机中通常以符号逻辑的知识表示形式存储和处理。