模仿学习
此仓库包含一些强化学习算法的简单PyTorch实现:
优势演员评论家(A2C) 的同步变体
近端策略优化(PPO)-最受欢迎的RL算法 , ,,
策略上最大后验策略优化(V-MPO)-DeepMind在其上次工作中使用的算法 (尚不起作用...)
行为克隆(BC)-一种将某些专家行为克隆到新策略中的简单技术
每种算法都支持向量/图像/字典观察空间和离散/连续动作空间。
为什么回购被称为“模仿学习”?
当我开始这个项目并进行回购时,我认为模仿学习将是我的主要重点,并且无模型方法仅在开始时用于培训“专家”。 但是,PPO实施(及其技巧)似乎比我预期的花费了更多时间。 结果,现在大多数代码与PPO有关,但是我仍然对模仿学习感兴趣,并打算添加一些相关算法。
当前功能
目前,此仓库包含一些无模型的基于策略的算法实现:A2C,PPO,V-MPO和BC。 每种算法都支持离散(分类,伯努利,GumbelSoftmax)和连续(贝塔,正态,tanh(正态))策略分布以及矢量或图像观察环境。 Beta和tanh(Normal)在我的实验中效果最好(在BipedalWalker和Huma
1