Nb2Nb 该项目旨在了解论文“ Neighbor2Neighbor：来自单噪声图像的自我监督降噪”的思想。 由于此代码是非官方的实现，因此某些细节可能与本文的原始说明有所不同。 为了更容易理解基础理论，所有代码均由Python和Tensorflow编写。 样品结果 所有结果均在上进行了测试 嘈杂的影像 去噪结果 更新 测试文件（包括经过训练的模型）已上传。 主要测试文件是“ test.py”，可以通过输入命令轻松运行。 python test . py - s saves - n nets . Unet - d dataDir - r resultDir “ dataDir”指定测试数据目录，“ resultDir”是保存结果的路径。 要渲染“ .mat”数据，请使用“ 。 更多培训文件将尽快上载。 未完待续 ...

自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。这篇论文提供了一个非常详尽的对比自监督学习综述。

自我训练自我监督的流落感 结合自我训练和自我监督学习进行无监督的泄气检测 此存储库包含用于将自训练和自监督学习相结合以进行无监督流失检测的代码和模型（EMNLP 2020）。 所有代码和模型均已发布。 感谢您的耐心等待！ 关于模型 我们发布了由伪数据和语法检查模型训练的自我监督模型。 请在以下链接中下载它，并将模型放在“ self_supervised_model”和“ grammar_check_model”文件夹中。 如何使用 conda create -n ss_disfluency python=3.7 conda activate ss_disfluency conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch cd transformers python setup.py insta

在Pytorch中进行对比学习变得简单 似乎我们可以进行图像的自我监督学习。 这是一种使用Pytorch包装器的简单方法，可以在任何视觉神经网络上进行对比式自我监督学习。 目前，它包含足够的设置供一个人在SimCLR或CURL中使用的任何一种方案上进行训练。 您可以包装接受可视输入的任何神经网络，无论是Resnet，策略网络还是GAN的鉴别器。 其余的都照顾好了。 问题 事实证明，CURL的结果。 建议您使用SimCLR设置，直到另行通知。 安装 $ pip install contrastive-learner 用法 SimCLR（具有标准化温度标度的交叉熵损失的投影头） import torch from contrastive_learner import ContrastiveLearner from torchvision import models resnet = m

SelfSAGCN Self-Supervised Semantic Alignment for Graph Convolution Network

自我监督的拼图游戏 TensorFlow和Keras中“解决拼图难题的无监督学习视觉表示”的论文实施

图像模糊matlab代码自我监督 用于训练神经网络的自监督算法。 该算法可以利用结构化的未标记样本来提高网络的性能。 存储库的结构 所提出方法的第一个版本由 Matlab 实现，第二个版本由 Pytorch 实现，因此该存储库中既有 Matlab 也有 Jupyter notebook 文件。 神经核心：用于使用 matlab 构建我们的网络的核心单元 神经模型：网络和数据模型类 data_transfer : 用于划分数据集并使用 PCA 将图像传输到向量的 api data : 论文中使用的南瓜数据集 ss_net.m ：使用建议方法的示例 同轴错误检测：应用示例 epfl_car : epfl car 数据集的实验 EPFL 汽车数据集的结果 方法 平均AE 中位数AE 有标签 无标签 我们的方法 1 9.28 3.5 1079 0 我们的方法 2 12.02 3.65 123 1389 我们的方法 3 17.22 4.78 123 0 芬兹等人。 (2015) 13.6 3.3 1179 0 他等人。 (2014) 15.8 6.2 1179 0 杨等人。 (2017) 20.

深度神经网络自监督视觉特征学习综述 为了在计算机视觉应用中学习得到更好的图像和视频特征，通常需要大规模的标记数据来训练深度神经网络。为了避免收集和标注大量的数据所需的巨大开销，作为无监督学习方法的一个子方法——自监督学习方法，可以在不使用任何人类标注的标签的情况下，从大规模无标记数据中学习图像和视频的一般性特征。本文对基于深度学习的自监督一般性视觉特征学习方法做了综述。首先，描述了该领域的动机和一些专业性术语。在此基础上，总结了常用的用于自监督学习的深度神经网络体系结构。接下来，回顾了自监督学习方法的模式和评价指标，并介绍了常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，总结和讨论了基于标准数据集的性能比较方法在图像和视频特征学习中的应用。 https://ieeexplore.ieee.org/document/9086055 https://www.zhuanzhi.ai/paper/0e9852bb57c7fe00cc59723fc0ee899f 引言 由于深度神经网络具有学习不同层次一般视觉特征的强大能力，它已被作为基本结构应用于许多计算机视觉应用，如目标检测[1]、[2]、[3]、语义分割[4]、[5]、[6]、图像描述[7]等。从像ImageNet这样的大规模图像数据集训练出来的模型被广泛地用作预训练模型和用于其他任务的微调模型，主要有两个原因:(2)在大规模数据集上训练的网络已经学习了层次特征，有助于减少在训练其他任务时的过拟合问题;特别是当其他任务的数据集很小或者训练标签很少的时候。 深度卷积神经网络(ConvNets)的性能在很大程度上取决于其能力和训练数据量。为了增加网络模型的容量，人们开发了不同类型的网络架构，收集的数据集也越来越大。各种网络，包括AlexNet [9]， VGG [10]， GoogLeNet [11]， ResNet [12]， DenseNet[13]和大规模数据集，如ImageNet [14]， OpenImage[15]已经被提出训练非常深的ConvNets。通过复杂的架构和大规模的数据集，ConvNets的性能在许多计算机视觉任务[1]，[4]，[7]，[16]，[17]，[18]方面不断突破先进水平。 然而，大规模数据集的收集和标注是费时和昂贵的。ImageNet[14]是pre-training very deep 2D convolutional neural networks (2DConvNets)中应用最广泛的数据集之一，包含约130万张已标记的图像，覆盖1000个类，而每一幅图像由人工使用一个类标签进行标记。与图像数据集相比，视频数据集由于时间维度的原因，其采集和标注成本较高。Kinetics数据集[19]主要用于训练ConvNets进行视频人体动作识别，该数据集由50万个视频组成，共600个类别，每个视频时长约10秒。许多Amazon Turk工作人员花了大量时间来收集和注释如此大规模的数据集。 为了避免费时和昂贵的数据标注，提出了许多自监督方法来学习大规模无标记图像或视频的视觉特征，而不需要任何人工标注。一种流行的解决方案是提出各种各样的前置任务让网络来解决，通过学习前置任务的目标函数来训练网络，通过这个过程来学习特征。人们提出了各种各样的自监督学习任务，包括灰度图像着色[20]、图像填充[21]、玩图像拼图[22]等。藉口任务有两个共同的特性:(1)图像或视频的视觉特征需要被ConvNets捕捉来解决前置任务;(2)监控信号是利用数据本身的结构(自我监控)产生的。 自监督学习的一般流程如图1所示。在自监督训练阶段，为ConvNets设计预定义的前置任务，并根据数据的某些属性自动生成前置任务的伪标签。然后训练卷积神经网络学习任务的目标函数。当使用前置任务进行训练时，ConvNet的较浅的块集中于低级的一般特征，如角、边和纹理，而较深的块集中于高级任务特定的特征，如对象、场景和对象部分[23]。因此，通过藉由任务训练的ConvNets可以学习内核来捕获低级特征和高级特征，这对其他下游任务是有帮助的。在自监督训练结束后，学习到的视觉特征可以作为预训练的模型进一步转移到下游任务中(特别是在数据相对较少的情况下)，以提高性能和克服过拟合。通常，在有监督的下游任务训练阶段，仅从前几层传递视觉特征。

像素级对比学习 在Pytorch的论文提出了像素级对比学习的实现。 除了在像素级别进行对比学习之外，在线网络还将像素级别表示形式传递给像素传播模块，并向目标网络施加相似度损失。 他们在细分任务中击败了所有以前的非监督和监督方法。 安装 $ pip install pixel-level-contrastive-learning 用法 下面是一个示例，说明了如何使用该框架进行Resnet的自我监督训练，并获取第4层（8 x 8个“像素”）的输出。 import torch from pixel_level_contrastive_learning import PixelCL from torchvision import models from tqdm import tqdm resnet = models . resnet50 ( pretrained = True ) learn

图上的深度学习最近引起了人们的极大兴趣。然而，大多数工作都集中在（半）监督学习上，导致存在标签依赖重、泛化能力差和鲁棒性弱等缺点。为了解决这些问题，自监督学习 (SSL) 通过精心设计的借口任务提取信息知识，而不依赖于手动标签，已成为图数据的一种有前途和趋势的学习范式。与计算机视觉和自然语言处理等其他领域中的 SSL 不同，图上的 SSL 具有独特的背景、设计思想和分类法。在图自监督学习的框架下，我们及时全面地回顾了使用SSL技术处理图数据的现有方法。我们构建了一个统一的框架，在数学上形式化了图 SSL 的范式。根据借口任务的目标，我们将这些方法分为四类：基于生成的方法、基于辅助属性的方法、基于对比的方法和混合方法。我们进一步总结了图 SSL 在各个研究领域的应用，并总结了图 SSL 的常用数据集、评估基准、性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。