本文为读文章笔记，受所学所知限制，如有出错，恭请指正。 A Simple Framework for Contrastive Learning of Visual Representations 作者： Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 本文提出一种简洁有效的设计的无监督设计，并且以7%的margin刷新了SOTA。 摘要直译：这篇文章提出了SimCLR， 一种简单的、用于视觉表征对比学习的框架。作者们简化了最近刚提出的对比自监督学习算法，并且不需要特别的架构或者J记忆库。为了探究是什么使得对比预测

自我监督视觉预训练的密集对比学习 该项目托管用于实现DenseCL算法以进行自我监督表示学习的代码。 王新龙，张如凤，沉春华，Kong涛，李磊在：Proc。 IEEE Con​​f。 2021年的计算机视觉和模式识别（CVPR） arXiv预印本（ ） 强调 增强密集预测： DenseCL预训练模型在很大程度上有利于密集预测任务，包括对象检测和语义分段（最高+ 2％AP和+ 3％mIoU）。 简单的实现： DenseCL的核心部分可以用10行代码实现，因此易于使用和修改。 灵活的用法： DenseCL与数据预处理脱钩，因此可以快速灵活地进行培训，同时不知道使用哪种增强方法以及如何对图像进行采样。 高效的培训：与基准方法相比，我们的方法引入的计算开销可忽略不计（仅慢1％）。 更新 发布了DenseCL的代码和预训练模型。 （02/03/2021） 安装 请参考进行安装和数据集准备。

contrastive-learning

顺序对比学习 这是“ SeCo：探索无监督表示学习的序列监督” [AAAI 2021]的实现。 原始论文可以在上找到。 要求 火炬 火炬视觉 线性 训练 此实现仅支持multi-gpu ， DistributedDataParallel训练，该训练更快，更简单； 不支持single-gpu或DataParallel培训。 要对初始化的ResNet-50模型进行无监督的预训练，请将权重下载到pretrain文件夹中，然后运行： bash main_train.sh 线性分类评估 使用预先训练的模型，要在冻结的/权重上训练监督的线性SVM分类器，请将的python接口放入liblinear文件夹中，然后运行： bash main_val.sh 引文 如果您发现此代码对您的研究有用，请引用我们的论文： @inproceedings{yao2021seco, title={SeC

真棒图对比学习 与图对比学习相关的资源集合。 内容 文件 2019年 | 编码： ， tf_geometric 方法（ DGI ）：局部-全局互信息最大化 实验： 任务：传导性节点分类| 数据集： Cora，Citeseer，Pubmed。 | 基准：原始特征，标签传播，DeepWalk，DeepWalk +特征，GCN，Planetoid。 任务：归纳节点分类| 数据集： Reddit，PPI。 | 基线：原始功能； DeepWalk； DeepWalk +功能； GraphSAGE-GCN; GraphSAGE-mean; GraphSAGE-LSTM； GraphSAGE-pool; FastGCN； 平均集中。 2020年 InfoGraph：通过互信息最大化实现无监督和半监督的图级表示学习孙凡云，Jordan Hoffmann，Vikas Verma，Jian Ta

像素级对比学习 在Pytorch的论文提出了像素级对比学习的实现。 除了在像素级别进行对比学习之外，在线网络还将像素级别表示形式传递给像素传播模块，并向目标网络施加相似度损失。 他们在细分任务中击败了所有以前的非监督和监督方法。 安装 $ pip install pixel-level-contrastive-learning 用法 下面是一个示例，说明了如何使用该框架进行Resnet的自我监督训练，并获取第4层（8 x 8个“像素”）的输出。 import torch from pixel_level_contrastive_learning import PixelCL from torchvision import models from tqdm import tqdm resnet = models . resnet50 ( pretrained = True ) learn

对比学习方法 支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。 有什么可用的？ 使用SimCLR进行对比学习预训练 通过停止梯度进行在线线性评估 Pytorch闪电登录和默认收益（多GPU训练，混合精度等） 在GPU装置上收集负片以模拟更大的批次大小（尽管梯度不会在GPU上流动） 使用加快数据加载速度（以使用更多GPU内存为代价） SimCLR多分辨率农作物 SimCLR + 预训练后线性评估（通常得出1-1.5％的准确度点） 工作于： 结果 模型 方法 数据集 时代 批 温度 多作 大理 监督下 在线线性评估 预训练后线性评估 Resnet18 SimCLR Imagenet-100 100 256 0.2 70.74 71.02 Resnet18 SimCLR Imagenet-100 100 256 0.2 :check_mark_button:

计算机视觉Github开源论文