DDPG_TF2
很难在TF2中找到简单整洁的DDPG实现,因此我做了一个。
DDPG
DDPG是一种无模型的非策略算法,可在连续动作空间中学习Q函数和策略。 它受Deep Q Learning的启发,可以看作是连续acion空间上的DQN。 它利用政策外数据和Bellman方程来学习Q函数,然后使用Q函数来推导和学习政策。 在DDPG的此实现中,一开始执行n次纯探索(由rand_steps参数指定)。 通过在整个范围内均匀分布来选择动作。
主要特点:
随机(深度)模型估计可提供连续(无限)的动作空间。
使用噪声过程(例如, Ornstein–Uhlenbeck过程)进行动作空间探索。
使用经验重播可以稳定地学习以前的经验。
演员和评论家结构
在演员和评论家网络中使用目标模型(通过Polyak平均进行权重转移)。
使用Bellman方程描述每对<状态,动作>的最佳q值函数。
2021-03-10 21:36:19
8KB
Python
1