如何从少数训练样本中学习并识别新的类别对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有基于深度神经网络的少样本学习方法,涵盖了方法所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为数据增强方法、迁移学习方法、度量学习方法和元学习方法四种类别;对于每个类别,进一步将其分为几个子类别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后强调了现有方法的局限性,并指出了少样本学习研究领域未来的研究方向。
2023-02-24 00:24:12 1.56MB 少样本学习 数据增强 迁移学习
1
如何从少数训练样本中学习并识别新的类别,对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法 所用模型、数据集及评估结果等各个方面。
2023-02-14 21:47:46 726KB 少样本学习综述
1
学习视觉相似度对于各种视觉任务至关重要,如图像聚类、人脸检测或图像检索,从而为日常应用奠定基础,如智能手机上的图像集合的智能排列、浏览器中的网络规模的图像搜索或在线购物时推荐产品。今天,学习捕捉相似度的视觉表示的主要方法是深度度量学习,它专门针对从新颖的、看不见的类中检索对象和图像。此外,相似性学习与对比学习密切相关,对比学习是自监督学习的主导方法,分别是迁移学习。 在本教程中,我们将深入介绍深度度量学习(DML)的领先学习范式,以及如何实际评估其(超出分布)泛化的未来方向。具体来说,本教程将涵盖以下主题: (i) DML目标函数的概况,(ii)先进的和上下文相关的DML公式,(iii) DML中数据采样的重要性,(iv)公平和现实地评估DML方法的最佳实践,最后,(v)我们将DML与计算机视觉和模式识别的相关领域联系起来,如对比学习,少样本学习,迁移学习和人脸识别。
在对新类进行训练时,少样本学习(FSL)方法通常假设具有准确标记样本的干净支持集。这种假设通常是不现实的: 支持集,无论多小,仍然可能包括错误标记的样本。因此,对标签噪声的鲁棒性对于FSL方法的实用性是至关重要的,但令人惊讶的是,这个问题在很大程度上仍然没有被探索。为了解决FSL设置中标签错误的样品,我们做了一些技术贡献。(1)我们提供简单而有效的特征聚合方法,改进了ProtoNet(一种流行的FSL技术)所使用的原型。(2)我们描述了一种新的Transformer 模型用于有噪声的少样本学习(TraNFS)。TraNFS利用Transformer的注意力机制来权衡标签错误和正确的样本。(3)最后,我们在噪声版本的MiniImageNet和TieredImageNet上对这些方法进行了广泛的测试。我们的结果表明,在干净的支持集上,TraNFS与领先的FSL方法相当,但到目前为止,在存在标签噪声的情况下,TraNFS的性能优于FSL方法。
2022-04-16 09:07:33 4.79MB 学习 transformer 深度学习 人工智能
1