这些年在计算机视觉领域中的自监督学习- 计算机视觉.pdf

自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。这篇论文提供了一个非常详尽的对比自监督学习综述。

机器学习 深度学习 pytorch tensorflow 贝叶斯 神经网络 算法

国际表示学习大会（The International Conference on Learning Representations）是致力于人工智能领域发展的国际知名学术会议之一。为了分析最新研究动向，本文精选了涵盖自监督学习、Transformer、图神经网络、自然语言处理、模型压缩等热点领域，将分多期为大家带来系列论文解读。

图像模糊matlab代码自我监督 用于训练神经网络的自监督算法。 该算法可以利用结构化的未标记样本来提高网络的性能。 存储库的结构 所提出方法的第一个版本由 Matlab 实现，第二个版本由 Pytorch 实现，因此该存储库中既有 Matlab 也有 Jupyter notebook 文件。 神经核心：用于使用 matlab 构建我们的网络的核心单元 神经模型：网络和数据模型类 data_transfer : 用于划分数据集并使用 PCA 将图像传输到向量的 api data : 论文中使用的南瓜数据集 ss_net.m ：使用建议方法的示例 同轴错误检测：应用示例 epfl_car : epfl car 数据集的实验 EPFL 汽车数据集的结果 方法 平均AE 中位数AE 有标签 无标签 我们的方法 1 9.28 3.5 1079 0 我们的方法 2 12.02 3.65 123 1389 我们的方法 3 17.22 4.78 123 0 芬兹等人。 (2015) 13.6 3.3 1179 0 他等人。 (2014) 15.8 6.2 1179 0 杨等人。 (2017) 20.

图上的深度学习最近引起了人们的极大兴趣。然而，大多数工作都集中在（半）监督学习上，导致存在标签依赖重、泛化能力差和鲁棒性弱等缺点。为了解决这些问题，自监督学习 (SSL) 通过精心设计的借口任务提取信息知识，而不依赖于手动标签，已成为图数据的一种有前途和趋势的学习范式。与计算机视觉和自然语言处理等其他领域中的 SSL 不同，图上的 SSL 具有独特的背景、设计思想和分类法。在图自监督学习的框架下，我们及时全面地回顾了使用SSL技术处理图数据的现有方法。我们构建了一个统一的框架，在数学上形式化了图 SSL 的范式。根据借口任务的目标，我们将这些方法分为四类：基于生成的方法、基于辅助属性的方法、基于对比的方法和混合方法。我们进一步总结了图 SSL 在各个研究领域的应用，并总结了图 SSL 的常用数据集、评估基准、性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

google自己下载的太慢，然后也是下载了好久，保存到了百度网盘，方便大家下载并进行一系列实验，之前的链接失效了，整理不易。希望可以得到小小的支持。

在最新AAAI 2020的邀请嘉宾报告上，Facebook人工智能总监、图灵奖得主Yann Lecun给了自监督学习的报告《Self-Supervised Learning 》，44页ppt，介绍了深度学习面临的挑战，自监督学习的光明前景，基于能量学习的因变量模型，介绍最新自监督学习的进展与问题，是非常值得看的报告。

2020原论文，simple Siamese

近年来，深度监督学习取得了巨大的成功。然而，它依赖于手工标签，并且易受攻击的弱点促使学者们探索更好的解决方案。近年来，自监督学习作为一种新的学习方法，在表征学习方面取得了骄人的成绩并吸引了越来越多的注意。自监督表示学习利用输入数据本身作为监督信号，几乎有利于所有不同类型的下游任务。