SimCLR-视觉表示形式对比学习的简单框架 消息！ 我们发布了SimCLR的TF2实现（以及TF2中的转换后的检查点），它们位于。 消息！ 新增了用于Colabs，请参见。 SimCLR的插图（来自 ）。 SimCLRv2的预训练模型 我们在这里开源了总共65个经过预训练的模型，与论文的表1中的模型相对应： 深度 宽度 SK 参数（M） 金融时报（1％） FT（10％） FT（100％） 线性评估 监督下 50 1倍 错误的 24 57.9 68.4 76.3 71.7 76.6 50 1倍 真的 35 64.5 72.1 78.7 74.6 78.5 50 2倍 错误的 94 66.3 73.9 79.1 75.6 77.8 50 2倍 真的 140 70.6 77.0 81.3 77.7 79.3 101 1

自监督学习相关论文 Self-supervised Learning for Linking Knowledge Graphs(TKDE21)

Contrastive Self-supervised Learning for Graph Classification

自我监督视觉预训练的密集对比学习 该项目托管用于实现DenseCL算法以进行自我监督表示学习的代码。 王新龙，张如凤，沉春华，Kong涛，李磊在：Proc。 IEEE Con​​f。 2021年的计算机视觉和模式识别（CVPR） arXiv预印本（ ） 强调 增强密集预测： DenseCL预训练模型在很大程度上有利于密集预测任务，包括对象检测和语义分段（最高+ 2％AP和+ 3％mIoU）。 简单的实现： DenseCL的核心部分可以用10行代码实现，因此易于使用和修改。 灵活的用法： DenseCL与数据预处理脱钩，因此可以快速灵活地进行培训，同时不知道使用哪种增强方法以及如何对图像进行采样。 高效的培训：与基准方法相比，我们的方法引入的计算开销可忽略不计（仅慢1％）。 更新 发布了DenseCL的代码和预训练模型。 （02/03/2021） 安装 请参考进行安装和数据集准备。

纸 论文“深度融合集群网络”的源代码 图W.涂，周S.，刘X.，郭X，蔡Z. 被AAAI2021接受。 安装 克隆此仓库。 git clone https://github.com/WxTu/DFCN.git Windows 10或Linux 18.04 的Python 3.7.5 脾气暴躁的1.18.0 斯克莱恩0.21.3 火炬视觉0.3.0 Matplotlib 3.2.1 准备 我们总共采用了六个数据集，包括三个图形数据集（ACM，DBLP和CITE）和三个非图形数据集（USPS，HHAR和REUT）。 要在这些数据集上训练模型，请从（访问代码：4622）或下载它们。 代码结构与用法 在这里，我们提供了PyTorch中的深度融合集群网络（DFCN）的实现，以及DBLP数据集上的执行示例（由于文件大小的限制）。 该存储库的组织方式如下： load_data.py

Nb2Nb 该项目旨在了解论文“ Neighbor2Neighbor：来自单噪声图像的自我监督降噪”的思想。 由于此代码是非官方的实现，因此某些细节可能与本文的原始说明有所不同。 为了更容易理解基础理论，所有代码均由Python和Tensorflow编写。 样品结果 所有结果均在上进行了测试 嘈杂的影像 去噪结果 更新 测试文件（包括经过训练的模型）已上传。 主要测试文件是“ test.py”，可以通过输入命令轻松运行。 python test . py - s saves - n nets . Unet - d dataDir - r resultDir “ dataDir”指定测试数据目录，“ resultDir”是保存结果的路径。 要渲染“ .mat”数据，请使用“ 。 更多培训文件将尽快上载。 未完待续 ...

自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。这篇论文提供了一个非常详尽的对比自监督学习综述。

在Pytorch中进行对比学习变得简单 似乎我们可以进行图像的自我监督学习。 这是一种使用Pytorch包装器的简单方法，可以在任何视觉神经网络上进行对比式自我监督学习。 目前，它包含足够的设置供一个人在SimCLR或CURL中使用的任何一种方案上进行训练。 您可以包装接受可视输入的任何神经网络，无论是Resnet，策略网络还是GAN的鉴别器。 其余的都照顾好了。 问题 事实证明，CURL的结果。 建议您使用SimCLR设置，直到另行通知。 安装 $ pip install contrastive-learner 用法 SimCLR（具有标准化温度标度的交叉熵损失的投影头） import torch from contrastive_learner import ContrastiveLearner from torchvision import models resnet = m

像素级对比学习 在Pytorch的论文提出了像素级对比学习的实现。 除了在像素级别进行对比学习之外，在线网络还将像素级别表示形式传递给像素传播模块，并向目标网络施加相似度损失。 他们在细分任务中击败了所有以前的非监督和监督方法。 安装 $ pip install pixel-level-contrastive-learning 用法 下面是一个示例，说明了如何使用该框架进行Resnet的自我监督训练，并获取第4层（8 x 8个“像素”）的输出。 import torch from pixel_level_contrastive_learning import PixelCL from torchvision import models from tqdm import tqdm resnet = models . resnet50 ( pretrained = True ) learn

图上的深度学习最近引起了人们的极大兴趣。然而，大多数工作都集中在（半）监督学习上，导致存在标签依赖重、泛化能力差和鲁棒性弱等缺点。为了解决这些问题，自监督学习 (SSL) 通过精心设计的借口任务提取信息知识，而不依赖于手动标签，已成为图数据的一种有前途和趋势的学习范式。与计算机视觉和自然语言处理等其他领域中的 SSL 不同，图上的 SSL 具有独特的背景、设计思想和分类法。在图自监督学习的框架下，我们及时全面地回顾了使用SSL技术处理图数据的现有方法。我们构建了一个统一的框架，在数学上形式化了图 SSL 的范式。根据借口任务的目标，我们将这些方法分为四类：基于生成的方法、基于辅助属性的方法、基于对比的方法和混合方法。我们进一步总结了图 SSL 在各个研究领域的应用，并总结了图 SSL 的常用数据集、评估基准、性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。