上传者: 42114041
|
上传时间: 2021-10-18 14:22:41
|
文件大小: 15.1MB
|
文件类型: -
意味着老师是更好的榜样
---- ---- ----
作者:Harti Valpola()Antti Tarvainen
方法
平均老师是半监督学习的一种简单方法。 它包括以下步骤:
采用受监管的体系结构并复制它。 让我们将原始模型称为学生,将新模型称为老师。
在每个训练步骤中,将相同的小批量用作学生和老师的输入,但分别向输入添加随机增强或噪声。
在softmax之后,在学生和教师的输出之间增加额外的一致性成本。
让优化器正常更新学生权重。
让教师权重为学生权重的指数移动平均值(EMA)。 也就是说,在每个训练步骤之后,将教师的权重向学生的权重稍作更新。
我们的贡献是最后一步。 莱