图上的深度学习最近引起了人们的极大兴趣。然而,大多数工作都集中在(半)监督学习上,导致存在标签依赖重、泛化能力差和鲁棒性弱等缺点。为了解决这些问题,自监督学习 (SSL) 通过精心设计的借口任务提取信息知识,而不依赖于手动标签,已成为图数据的一种有前途和趋势的学习范式。与计算机视觉和自然语言处理等其他领域中的 SSL 不同,图上的 SSL 具有独特的背景、设计思想和分类法。在图自监督学习的框架下,我们及时全面地回顾了使用SSL技术处理图数据的现有方法。我们构建了一个统一的框架,在数学上形式化了图 SSL 的范式。根据借口任务的目标,我们将这些方法分为四类:基于生成的方法、基于辅助属性的方法、基于对比的方法和混合方法。我们进一步总结了图 SSL 在各个研究领域的应用,并总结了图 SSL 的常用数据集、评估基准、性能比较和开源代码。最后,我们讨论了该研究领域的剩余挑战和潜在的未来方向。
2021-09-02 19:06:45 3.13MB 图神经网络 自监督学习 图表示学习
1
Graph Neural Networks: Methods, Applications, and Opportunities 在过去十年左右的时间里,我们见证了深度学习重振机器学习领域。它以最先进的性能解决了计算机视觉、语音识别、自然语言处理和各种其他任务领域的许多问题。数据通常在这些域中的欧几里得空间中表示。各种其他域符合非欧几里得空间,图是其中的理想表示。图适用于表示各种实体之间的依赖关系和相互关系。传统上,图形的手工特征无法从这种复杂的数据表示中为各种任务提供必要的推理。最近,出现了利用深度学习中的各种进步来绘制基于数据的任务的趋势。本文对每个学习设置中的图神经网络 (GNN) 进行了全面调查:监督学习、无监督学习、半监督学习和自监督学习。每个基于图的学习设置的分类都提供了属于给定学习设置的方法的逻辑划分。从理论和经验的角度分析每个学习任务的方法。此外,我们提供了构建 GNN 的通用架构指南。还提供了各种应用程序和基准数据集,以及仍然困扰 GNN 普遍适用性的开放挑战。
1
Heterogeneous Network Representation Learning: A Unified Framework with Survey and Benchmark 由于现实世界中的对象及其交互通常是多模态和多类型的,因此异构网络被广泛用作传统同构网络(图)的更强大、更真实和更通用的超类。同时,表征学习(又称嵌入)最近得到了广泛的研究,并被证明对各种网络挖掘和分析任务是有效的。在这项工作中,我们的目标是提供一个统一的框架,以深入总结和评估现有的异构网络嵌入(HNE)研究,包括但不限于一般的调查。由于已经有了大量的HNE算法,作为这项工作的第一个贡献,我们提供了一个通用的范例,用于系统地分类和分析各种现有HNE算法的优点。此外,现有的HNE算法虽然大多声称是通用的,但通常在不同的数据集上进行评估。由于HNE的应用优势,这种间接比较在很大程度上阻碍了将改进的任务性能正确地归因于有效的数据预处理和新颖的技术设计,特别是考虑到从实际应用数据构建异构网络的各种可能方式。因此,作为第二项贡献,我们从不同来源创建了四个基准数据集,这些数据集具有关于规模、结构、属性/标签可用性等的各种属性,以方便和公平地评估HNE算法。作为第三个贡献,我们仔细地重构和修改了实现,为13种流行的HNE算法创建了友好的界面,并在多个任务和实验设置中对它们进行了全面的比较。
1
许多学习任务需要处理包含丰富元素之间关系信息的图形数据。物理系统建模、学习分子指纹、预测蛋白质界面和疾病分类需要一个模型来从图形输入中学习。在其他领域,例如从文本和图像等非结构数据中学习,对提取的结构(如句子的依赖树和图像的场景图)进行推理是一个重要的研究课题,也需要图推理模型。图神经网络 (GNN) 是神经模型,它通过图节点之间的消息传递来捕获图的依赖性。近年来,图卷积网络 (GCN)、图注意力网络 (GAT)、图循环网络 (GRN) 等 GNN 的变体在许多深度学习任务上都表现出了突破性的表现。在本次调查中,我们为 GNN 模型提出了一个通用的设计流程,并讨论了每个组件的变体,系统地对应用程序进行了分类,并为未来的研究提出了四个开放性问题。
1
近年来,深度学习彻底改变了许多机器学习任务,从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。 然而,越来越多的应用程序从非欧几里得域中生成数据,并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了重大挑战。最近,出现了许多关于扩展图数据深度学习方法的研究。在本次调查中,我们全面概述了数据挖掘和机器学习领域的图神经网络 (GNN)。我们提出了一种新的分类法,将最先进的图神经网络分为四类,即循环图神经网络、卷积图神经网络、图自动编码器和时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用,并总结了图神经网络的开源代码、基准数据集和模型评估。最后,我们提出了这个快速发展领域的潜在研究方向。
1
网络表示学习,ppi-class_map.json,ppi-feats.npy,ppi-G.json,ppi-walks,txt,ppi-id_map.json
2021-08-08 19:07:07 25.78MB 网络表示学习 图网络
1
近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。来自Georgia、Buffalo、阿里巴巴与Virginia的学者做了因果推理表示学习报告,在本教程中,介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。
2021-08-05 15:06:38 7.56MB CI
1
知识图谱,事理图谱,事件推理
2021-08-03 22:08:46 884KB 知识图谱,事理图谱,事件推理
1
Attribute-Aware Attention Model :用于细粒度表示学习的属性感知注意模型
2021-07-29 10:41:58 672KB Python开发-机器学习
1
表示学习是当下研究的热点之一。HEC 蒙特利尔大学商学院助理教授唐建唐建博士最近总结了《图表示学习》研究进展,总结了他和组里学生们和这些年来在图表示学习方向上比较重要的工作。非常值得学习!
2021-06-17 08:02:05 23.31MB 《图表示学习:算法与应用》
1