SimCLR-视觉表示形式对比学习的简单框架 消息！ 我们发布了SimCLR的TF2实现（以及TF2中的转换后的检查点），它们位于。 消息！ 新增了用于Colabs，请参见。 SimCLR的插图（来自 ）。 SimCLRv2的预训练模型 我们在这里开源了总共65个经过预训练的模型，与论文的表1中的模型相对应： 深度 宽度 SK 参数（M） 金融时报（1％） FT（10％） FT（100％） 线性评估 监督下 50 1倍 错误的 24 57.9 68.4 76.3 71.7 76.6 50 1倍 真的 35 64.5 72.1 78.7 74.6 78.5 50 2倍 错误的 94 66.3 73.9 79.1 75.6 77.8 50 2倍 真的 140 70.6 77.0 81.3 77.7 79.3 101 1

自监督学习相关论文 Self-supervised Learning for Linking Knowledge Graphs(TKDE21)

Contrastive Self-supervised Learning for Graph Classification

自监督学习用于推荐

自我监督视觉预训练的密集对比学习 该项目托管用于实现DenseCL算法以进行自我监督表示学习的代码。 王新龙，张如凤，沉春华，Kong涛，李磊在：Proc。 IEEE Con​​f。 2021年的计算机视觉和模式识别（CVPR） arXiv预印本（ ） 强调 增强密集预测： DenseCL预训练模型在很大程度上有利于密集预测任务，包括对象检测和语义分段（最高+ 2％AP和+ 3％mIoU）。 简单的实现： DenseCL的核心部分可以用10行代码实现，因此易于使用和修改。 灵活的用法： DenseCL与数据预处理脱钩，因此可以快速灵活地进行培训，同时不知道使用哪种增强方法以及如何对图像进行采样。 高效的培训：与基准方法相比，我们的方法引入的计算开销可忽略不计（仅慢1％）。 更新 发布了DenseCL的代码和预训练模型。 （02/03/2021） 安装 请参考进行安装和数据集准备。

本文设计了一个自我监督的注意模块，该模块可以识别感兴趣的显着区域，而无需明确的手工标记注释。在现有的以CNNs为特征提取器的深度RL方法中，可以直接即插即用。 注意模块学习的是前景注意掩码，而不是预定义的关键点数量。

纸 论文“深度融合集群网络”的源代码 图W.涂，周S.，刘X.，郭X，蔡Z. 被AAAI2021接受。 安装 克隆此仓库。 git clone https://github.com/WxTu/DFCN.git Windows 10或Linux 18.04 的Python 3.7.5 脾气暴躁的1.18.0 斯克莱恩0.21.3 火炬视觉0.3.0 Matplotlib 3.2.1 准备 我们总共采用了六个数据集，包括三个图形数据集（ACM，DBLP和CITE）和三个非图形数据集（USPS，HHAR和REUT）。 要在这些数据集上训练模型，请从（访问代码：4622）或下载它们。 代码结构与用法 在这里，我们提供了PyTorch中的深度融合集群网络（DFCN）的实现，以及DBLP数据集上的执行示例（由于文件大小的限制）。 该存储库的组织方式如下： load_data.py

本文对基于深度学习的自监督一般性视觉特征学习方法做了综述。首先，描述了该领域的动机和一些专业性术语。在此基础上，总结了常用的用于自监督学习的深度神经网络体系结构。接下来，回顾了自监督学习方法的模式和评价指标，并介绍了常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，总结和讨论了基于标准数据集的性能比较方法在图像和视频特征学习中的应用。

判别学习、恢复学习和对抗性学习已被证明对计算机视觉和医学成像中的自监督学习方案有益。然而，现有的努力，忽略了它们在三元设置中相互之间的协同作用，我们认为，这可以显著地有利于深度语义表示学习。为了实现这一愿景，我们开发了DiRA，这是第一个将判别学习、恢复学习和对抗学习统一起来的框架，以协作的方式从未标记的医学图像中收集互补的视觉信息，用于细粒度语义表示学习。我们的广泛实验表明，DiRA (1) 鼓励三种学习成分之间的协作学习，从而在器官、疾病和模态中产生更一般化的表征; (2) 优于完全监督的ImageNet模型，并在小数据领域增强鲁棒性，减少多个医学成像应用程序的注释成本; (3) 学习细粒度语义表示，仅通过图像级标注即可实现病灶的准确定位 ;(4) 增强了最先进的修复方法，揭示了DiRA是统一表征学习的一般机制。所有代码和预训练的模型都可以

PsyNet：使用点对称变换的对象自定位自我监督方法 “ PsyNet：使用点对称变换进行对象定位的自我监督方法”的官方Pytorch实现 此实现基于这些存储库。 预训练的检查点现在可用 请检查“测试”部分。 与...合作 李敏h （平等贡献） Hyunjung Shim （对应） 纸 该论文已被AAAI 2020接受。pdf可在获得。 注意 抽象 现有的共定位技术在准确性和推理时间上明显弱于弱或完全监督的方法。 在本文中，我们通过利用自我监督学习方法克服了共定位技术的共同缺点。 提出的方法的主要技术贡献是双重的。 1）我们设计了一种新的几何变换，即点对称变换，并将其参数用作自监督学习的