嘈杂的学生培训
概述
是一种半监督学习方法,在ImageNet(SOTA)上可达到88.4%的top-1准确性,并且在健壮性和对抗性基准方面获得令人惊讶的收益。嘈杂的学生培训基于自我培训框架,并通过以下四个简单步骤进行了培训:
在标签数据上训练分类器(教师)。
推断更大的未标记数据集上的标签。
在合并的集合上训练更大的分类器,增加噪音(嘈杂的学生)。
转到第2步,以学生为老师
有关由Noisy Student Training培训过的ImageNet检查点,请参阅 。
SVHN实验
在这里,我们展示了对SVHN进行噪声学生培训的一种实施方式,该实施将受监督模型的性能从97.9%准确性提高到98.6%准确性。
# Download and preprocess SVHN. Download the teacher model trained on labeled data with ac
2021-11-02 16:06:59
64KB
Python
1