这份PPT，主要有7个主题，分别是：1、调整学习率；2、调整小批量的规模；3、调整优化器和权值衰减；4、调整特征和标签；5、调整特征和标签（mixup）；6、调整初始条件；7、Shake-shake正则化。每一个主题，都基于相对前沿以及效果较好的论文来进行分析。
2021-10-06 12:42:13
5.86MB
1
MicroBatch和MiniBatch都是微批处理，只是微批的触发机制略有不同。原理同样是缓存一定的数据后再触发处理，以减少对State的访问，从而提升吞吐并减少数据的输出量。MiniBatch主要依靠在每个Task上注册的Timer线程来触发微批，需要消耗一定的线程调度性能。MicroBatch是MiniBatch的升级版，主要基于事件消息来触发微批，事件消息会按您指定的时间间隔在源头插入。MicroBatch在元素序列化效率、反压表现、吞吐和延迟性能上都要优于MiniBatch。微批处理通过增加延迟换取高吞吐，如果您有超低延迟的要求，不建议开启微批处理。通常对于聚合的场景，微批处理可以显
2021-09-15 09:49:33
780KB
1