参考 4.1, Reinforcement learning: An Introduction, RS Sutton, AG Barto, MIT press 值迭代: 求解有限 MDP 的动态规划算法。 策略评估是指(通常)对给定策略的价值函数进行迭代计算。 策略改进是指在给定该策略的价值函数的情况下计算改进的策略。 将这两个计算放在一起,我们得到策略迭代和值迭代,这两种最流行的 DP 方法。 给定 MDP 的完整知识,这些中的任何一个都可以用于可靠地计算有限 MDP 的最佳策略和价值函数。
◮问题:找到最优策略π ◮ 解决方案:贝尔曼最优备份的迭代应用◮ v1 → v2 → ... → v∗ ◮ 使用同步备份,在每次迭代 k + 1 对于所有状态 s ∈ S :从 v_{k}(s') 更新 v_{k+1}(s) ◮ 收敛到 v∗ 稍后会证明◮ 与策略迭代不同,没有明确的策略◮ 中值
2021-11-02 10:38:37
29KB
matlab
1