论文推荐-用到 Noisy Student 进行自训练可以提高 ImageNet...

s ResNeXt-101 WSL [55, 86] 86.4% 的最新准确率， 作为较为，Noisy Student Training 只必需 300M 仍未标上的图表，这可能才会越来越容易收集。 并且与 FixRes ResNeXt-101 WSL 相比之下，所提出的数学新方法的表达式数量也大约越来越少了两倍。如果仅用到大约一半的数学新方法形状，Noisy Student特训也比不上 BiT-L。

不顺利进行插值特训的Noisy Student

Noisy Student 特训加剧所有数学新方法形状的持续性提升率为 0.8%。具Noisy Student 的 EfficientNets 在数学新方法形状和准确度密切关系提供了越来越佳的关系到。

稳健性基准测试

ImageNet-C 和 P 测试集 [31] 包括具常见损坏和扰动的图表，例如清晰、雾化、摆动和图层。ImageNet-A 测试集 [32] 由难度小得多的图表组成，这些图表才会加剧最高效率数学新方法的准确度显著增高。

标准数学新方法的先于测是不正确的，而 Noisy Student Training 数学新方法的先于测是正确的。

在ImageNet-A上，它将前一名的准确率从61.0%提升到83.7%。在ImageNet-C上，它将 mean corruption error(mCE)从45.7减越来越少到28.3。在ImageNet-P上，如果用到224×224(直接较为)的精度，它才会加剧mean flip rate (mFR)为14.2，如果用到299×299的精度，则才会下降至12.2。

对抗性鲁棒性结果

FGSM 反击在转换图表 [25] 上执行一个梯度增高步骤，每个像素的越来越新设为 ε。

Noisy Student特训将 EfficientNet-L2 的准确率从 1.1% 提升到 4.4%，尽管该数学新方法并仍未针对对抗鲁棒性顺利进行优化。

复元研究

Stochastic Depth, Dropout 和信息减弱等噪音在使同学数学新方法比的学生数学新方法展现越来越佳方面发挥着极其重要作用。 随着噪音机能的移除，效能持续性增高。发现向聚合逆标识的的学生数学新方法掺入噪音才会加剧准确度下降，这表明仅有强大的无噪音的学生数学新方法是非常极其重要的。

数学新方法效能在第一次插值里面提升到 87.6%，然后在第二次插值里面提升到 88.1%。对于最终一次插值，仍未标上的的设备形状和标上的的设备形状密切关系的比率大得多，用于将终于效能提升到 88.4%。（越来越多复元在学术著作的后记里面介绍。如果很感兴趣，叮嘱仔细阅读。）

总结

用到效能越来越佳的大型的学生数学新方法才会带来越来越佳的结果。

为了获得越来越佳的效能，必需大量仍未标上的信息。

在某些情况下，对于域外信息，软逆标识比硬逆标识越来越有效。

大型同学数学新方法对于让同学变为越来越强大的数学新方法很极其重要。

信息适度对于小型数学新方法很有用。

标上信息和仍未标上信息的重新组建特训比不上首先用到仍未标上信息顺利进行先于特训然后对标上信息顺利进行微调。

在仍未标上的批次形状和标上的批次形状密切关系用到小得多的比率可以使数学新方法在仍未标上信息上特训越来越长时间，以实现越来越高的准确度。

从头开始特训同学有时比用同学初始化同学要好，而用同学初始化的同学仍然必需大量的特训 epoch 才能展现越来越佳。

学术著作地址：

[2020 CVPR] [Noisy Student]Self-training with Noisy Student improves ImageNet classification arxiv 1911.04252

。

贵阳精神心理专业医院
如何预防卵巢早衰
沈阳哪家妇科医院比较正规