SimCLR-视觉表示形式对比学习的简单框架 消息！ 我们发布了SimCLR的TF2实现（以及TF2中的转换后的检查点），它们位于。 消息！ 新增了用于Colabs，请参见。 SimCLR的插图（来自 ）。 SimCLRv2的预训练模型 我们在这里开源了总共65个经过预训练的模型，与论文的表1中的模型相对应： 深度 宽度 SK 参数（M） 金融时报（1％） FT（10％） FT（100％） 线性评估 监督下 50 1倍 错误的 24 57.9 68.4 76.3 71.7 76.6 50 1倍 真的 35 64.5 72.1 78.7 74.6 78.5 50 2倍 错误的 94 66.3 73.9 79.1 75.6 77.8 50 2倍 真的 140 70.6 77.0 81.3 77.7 79.3 101 1

关系分类是自然语言处理领域的一项重要任务，能够为知识图谱的构建、问答系统和信息检索等提供技术支持.与传统关系分类方法相比较，基于神经网络和注意力机制的关系分类模型在各种关系分类任务中都获得了更出色的表现.以往的模型大多采用单层注意力机制，特征表达相对单一.因此本文在已有研究基础上，引入多头注意力机制（Multi-head attention），旨在让模型从不同表示空间上获取关于句子更多层面的信息，提高模型的特征表达能力.同时在现有的词向量和位置向量作为网络输入的基础上，进一步引入依存句法特征和相对核心谓词依赖特征，其中依存句法特征包括当前词的依存关系值和所依赖的父节点位置，从而使模型进一步获取更多的文本句法信息.在SemEval-2010任务8数据集上的实验结果证明，该方法相较之前的深度学习模型，性能有进一步提高.

Transformer部分的学习code，注意力机制。

自监督学习相关论文 Self-supervised Learning for Linking Knowledge Graphs(TKDE21)

Contrastive Self-supervised Learning for Graph Classification

自监督学习用于推荐

自导网络快速图像去噪 SGN的PyTorch实现以及给定噪声范围的估计PSNR 训练 我在Python 3.6和PyTorch 1.0环境上训练了此SGN。 培训策略与论文相同。 您可以使用以下脚本对自己的数据进行训练（请注意，您需要修改数据集路径）： cd SGN python train.py or sh zyz.sh 测验 我使用ILSVRC2012验证集对4个NVIDIA TITAN Xp GPU进行了培训，并在1个TITAN Xp GPU上进行了测试。 详细信息显示在代码train.py 。 该演示来自SGN的ILSVRC2012验证集（mu = 0，sigma = 30，batchsize = 32、1000000次迭代）。 左：干净的图像（从COCO2014验证集中选择，COCO_val2014_000000264615.jpg） 中：加性高斯噪声+清晰图像 右

self-organizing-maps Teuvo Kohonen 2001 第三版 扫描版

DeepGTAV：GTAV的插件，可将其转变为基于视觉的自动驾驶汽车研究环境

Camera self-calibration method based on two vanishing points