ddpg

DDPG_TF2 很难在TF2中找到简单整洁的DDPG实现，因此我做了一个。 DDPG DDPG是一种无模型的非策略算法，可在连续动作空间中学习Q函数和策略。 它受Deep Q Learning的启发，可以看作是连续acion空间上的DQN。 它利用政策外数据和Bellman方程来学习Q函数，然后使用Q函数来推导和学习政策。 在DDPG的此实现中，一开始执行n次纯探索（由rand_steps参数指定）。 通过在整个范围内均匀分布来选择动作。 主要特点： 随机（深度）模型估计可提供连续（无限）的动作空间。 使用噪声过程（例如， Ornstein–Uhlenbeck过程）进行动作空间探索。 使用经验重播可以稳定地学习以前的经验。 演员和评论家结构 在演员和评论家网络中使用目标模型（通过Polyak平均进行权重转移）。 使用Bellman方程描述每对<状态，动作>的最佳q值函数。

（DDPG中文）Continuous control with deep reinforcement learnin 中文版 翻译自用

I used the CNN + DDPG realizing inverted pendulum control python3.5 tensorflow + GPU gym环境。 本代码绝无仅有，自己用全连接修改的，输入的图像也是自己画的 其中CNN_1与CNN_2是根据全连接进行改造的 。 CNN_1中是在第二个卷积层的输出中加入Actor网络的输出Policy 。 CNN_2中是在第一个全连接的输出中加入Actor网络的输出Policy。