PyTorch-A2C:使用Pytorch的Advantage Actor Critic的一般实现-源码

A2C 描述 这是使用OpenAI体育馆环境以PyTorch编写的的实现。 此实现包括卷积模型，原始A3C模型，完全连接的模型（基于Karpathy的Blog）和基于GRU的递归模型的选项。 BPTT 循环训练可以选择使用时间反向传播（BPTT），它可以在一系列状态而不是当前状态上建立梯度依存关系。 初步结果表明，使用BPTT不会提高训练效果。 有关两种培训方法的比较，请参见。 该算法在Pong-v0上进行了训练。 奖励图是在培训期间首次展示时收集的奖励的移动平均值。 对于Pong而言，奖励指标是每个游戏结束时收集的奖励的运行平均值，而不是完整的21分比赛。 这使最低奖励为-1，最大奖励为+1。 移动平均因子设置为0.99。 在Pong-v0上的GRU模型训练过程中，经过4000万个时间步的平均奖励图。 在使用反向传播穿越时间训练的Pong-v0上训练GRU模型的过程中，在400