李宏毅强化学习课程笔记

强化学习是一类以马尔可夫决策过程为基础的算法，其目标是训练一个智能体，使其能够在环境中采取行动以最大化累计回报。强化学习的主要难点包括奖励延迟和智能体行为对后续观察的影响，这要求算法能够处理时间上的延迟反馈，并且能够考虑到智能体行动对环境状态的长远影响。 强化学习可以分为以下几类： 1. Policy-Based（基于策略的学习）：该方法直接学习一个策略，该策略根据当前观察到的状态来输出行动。策略可以表示为一个神经网络，网络的输入是环境的状态（通常表示为向量或矩阵），输出则是与各个可能行动相关的神经元激活程度。 2. Value-Based（基于价值的学习）：这种方法通过学习价值函数来评价每个状态或状态-行动对的好坏，而不是直接学习策略。价值函数通常为一个评价函数（Critic），用来预测从当前状态开始，能够获得的期望回报。 3. Actor + Critic：这是结合了策略梯度和价值函数的方法，其中Actor负责生成策略，而Critic负责评估这个策略的价值。这种方法同时学习策略和价值函数，试图结合两种方法的优势。 4. Model-Based（基于模型的学习）：与上述方法不同的是，Model-Based方法不仅学习策略或价值函数，还要学习一个环境模型。这个模型可以用来预测环境如何随智能体的行动而改变，从而允许智能体在实际与环境交互之前进行模拟和规划。 强化学习的学习过程通常包括几个关键的步骤： 第一步是选择或设计Actor，即策略网络。第二步是评估策略好坏的标准，通常以期望总回报来衡量，这个过程涉及到大量的采样，因为可能的状态空间和行动空间是非常巨大的。第三步是通过梯度上升方法或其它优化技术来更新策略网络，目标是提升期望回报。 在基于策略的强化学习中，基线调整是一个重要的概念，它可以减少方差并加速学习过程。基线可以是任何与特定状态或行动无关的值，例如平均回报或任意常数，用于从策略的预期回报中减去，使得估计更加稳定。 在学习过程中，智能体可能会从on-policy策略过渡到off-policy策略，on-policy意味着学习策略同时用于生成数据和评估这些数据，而off-policy则意味着学习策略与生成数据的策略是分开的，这允许算法从先前的经验中学习。 重要性采样是处理on-policy和off-policy数据的常见方法，允许智能体使用从一个策略收集的数据来评估另一个策略。然而，重要性采样本身存在样本效率低和方差高的问题，因此需要额外的技巧来减小这些影响。 在策略学习中，如何合理地分配奖励并对其归因也是一个重要的问题。合理的奖励分配能够确保智能体行为的正确评估，这是学习过程成功的关键。 算法的收敛性和稳定性是通过加入各种约束来保证的，例如限制策略参数的变化范围以避免策略过于激进或保守，确保学习过程能够持续并稳定地改善智能体的性能。