Data Augmentation Approaches in Natural Language Processing

哈工大最新《自然语言处理数据增强方法》综述论文，155页pdf阐述复述、噪声和抽样三大数据增强方法 数据增强(DA)是一种有效的策略，可以缓解深度学习技术可能失败的数据稀缺情况。它在计算机视觉中得到了广泛的应用，然后被引入到自然语言处理中，并在许多任务中取得了改进。DA方法的重点之一是提高训练数据的多样性，从而帮助模型更好地泛化到未见测试数据。在本研究中，我们根据扩充数据的多样性，将数据增强方法分为三大类，即复述、噪声和抽样。本文从以上几个方面对数据挖掘方法进行了详细的分析。此外，我们还介绍了它们在自然语言处理任务中的应用以及面临的挑战。 引言 数据增强（Data Augmentation，简称DA），是指根据现有数据，合成新数据的一类方法。毕竟数据才是真正的效果天花板，有了更多数据后可以提升效果、增强模型泛化能力、提高鲁棒性等。然而由于NLP任务天生的难度，类似CV的裁剪方法可能会改变语义，既要保证数据质量又要保证多样性，使得大家在做数据增强时十分谨慎。 作者根据生成样本的多样性程度，将DA方法分为了以下三种： Paraphrasing：对句子中的词、短语、句子结构做一些更改，保留原始的语义 Noising：在保证label不变的同时，增加一些离散或连续的噪声，对语义的影响不大 Sampling：旨在根据目前的数据分布选取新的样本，会生成更多样的数据