嘈杂的学生样本
这是李宏毅教授(李洪义)在NTU-ML-2021弹簧HW3上制作的Noisy Student( )的简单实现。 -11移除训练数据上的部分标签。共有11类,有3,080个带标签的训练数据,有6,786个未带标签的训练数据。
数据样本
实验结果
一代
顶级Val Acc
1个
65.7
2个
76.3
3
76.4
4
79.4
5
81.9
程序
请遵循“吵闹的学生”的程序。 首先使用标签数据训练教师模型->使用教师模型在未标签数据上生成伪标签->通过置信度过滤伪标签数据->平衡每个班级的数据数量->组合标签数据和伪标签数据->在新数据集上训练学生模型->将学生模型设为老师模型,然后重复该过程。 请注意,在原始论文中,它们在数据和模型上都执行增强。在数据增强中,使用RandAugment。 在模型扩充中,使用了辍学和随机深度。 但是,此样本未使用随机深度
1