深度后续强化学习-遥感数字图像处理:原理与方法

与抽象状态相关联．这种关联性信息可以产生对应 问题的学习 技 巧（也 称 为 Ｏｐｔｉｏｎ）．例 如，在 著 名 的 出租车问题中［８７］，其中的一组抽象状态是出租车起 始和乘客所处的位置，那么此时Ｏｐｔｉｏｎ就是从出租 车起始位置到乘客所处位置的一系列动作组合．很 明显，生成的Ｏｐｔｉｏｎ相当于ｈ－ＤＱＮ模型中设定的 中间目标，省去了复杂的人工设定中间目标的过程， 并使得学习到的Ｏｐｔｉｏｎ与具体的学习任务无关．因 此在相同的状态空间下，该模型具有很强的泛化性． ６．３　深度后续强化学习 一般地，在 只 给 定 原 始 输 入 观 察 和 奖 赏 值 的 情况下，通 过 基 于 模 型（ｍｏｄｅｌ－ｂａｓｅｄ）或 者 模 型 无 关（ｍｏｄｅｌ－ｆｒｅｅ）的ＤＲＬ算 法 可 以 学 习 到 鲁 棒 的 值 函数．后 续 状 态 表 示 法（Ｓｕｃｃｅｓｓｏｒ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ＳＲ）为学习值函数提供了第３种选择．ＳＲ将值函数 分解为两个部分：后续状态映射图（ｓｕｃｃｅｓｓｏｒ　ｍａｐ） 和立即奖赏指示器（ｒｅｗａｒｄ　ｐｒｅｄｉｃｔｏｒ）．后续状态映 射图表示在给定当前状态下到达未来某一状态占有 率的期望．立即奖赏指示器表示从状态到奖赏值的 映射．在ＳＲ中，这两个部分以内积的形式构成值函 数．基于上述理论知识，Ｋｕｌｋａｒｎｉ等人［８８］将ＳＲ的应 用范围扩展到大规模状态空间的ＤＲＬ问题中，提出 了深度后续强化学习（Ｄｅｅｐ　Ｓｕｃｃｅｓｓｏｒ　Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＳＲＬ）． ２１ 计　　算　　机　　学　　报 ２０１８年