参考资料，https://zhuanlan.zhihu.com/p/32089487，本实现参考借鉴了该资源，本实现的立体四子棋为落子有限制版的立体四子棋(qubic),必须先下下层的棋子，上层的相关棋子才能继续落子，经过3500次的训练，ai水平基本可以了，模型为best_policy.model，python human_play.py即可对战。训练使用python train.py. python版本2

利用simulink中自带的深度强化学习包中的DQN算法优化

pid控制器设计代码matlab 真棒纸 有关深度学习，强化学习，GAN和Quadrotor控制理论的最新论文清单。 最新的： 深度学习： 2017年 。 Jakob N.Foerster等al。 牛津大学，加州大学伯克利分校，CMU的OpenAI。 。 盖·卡兹（Guy Katz）等。 al。 斯坦福大学。 。 Priya Goyal等。 Facebook。 。 陈畅友等。 布法罗大学，杜克大学。 。 让·皮埃尔·布赖特（Jean-Pierre Briot）等。 巴黎高中。 索尼等 。 刘伟义等。 中国电子科技大学，IBM沃森研究中心，哥伦比亚大学，波士顿大学。 大卫·雅各布斯（David Jacobs）。 马里兰大学-马里兰大学学院分校。 。 UT奥斯汀。 Goodfellow等。 al。 蒙特利尔大学。 （2014）。 **苏吉思·拉维（Sujith Ravi）。 Google研究。 ** 。 Soumith。 。 Vishwanath等。 罗格斯。 。 九乡谷。 南大，新加坡。 。 永成静微软，亚利桑那州立大学。 。 梁铮等。 澳大利亚悉尼科技大学。 。 王枫代尔夫特。 。 J

思维导图根据王树森老师课件整理。 主要包括： 强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理及公式推导

使用Python和Keras进行深度学习/强化学习股票投资-定量投资和算法交易的前沿解决方案简介（修订版） 强化学习是一种很好的应用于股票数据学习的自学习机器学习技术。 本书介绍了如何使用Python进行基于强化学习的股票投资模拟程序的开发。 为此，我在理论和代码级别上添加了详细的说明。 通过本书，您将能够理解深度学习和强化学习，并将其用于包括股票投资在内的多个领域。 购买链接 本书涵盖的内容 深度学习与强化学习理论 如何将强化学习应用于股票投资 基于强化学习的股票投资系统开发 采集和处理实际库存数据以进行强化学习 如何通过强化学习来学习库存数据 如何使用学习型强化学习模型 如何基于强化学习定制股票投资系统 首选项 pip install tensorflow==1.15.2 pip install plaidml-keras==0.6.2 pip install mplfinan

随着DeepMind公司开发的AlphaGo升级版master战胜围棋世界冠军，其背后应用的强化学习思想受到了广泛关注，也吸引了我想一探究竟为什么强化学习的威力这么大。早在2015年，DeepMind就在youtube上发布了围棋程序master的主要作者David Silver主讲的一套强化学习视频公开课，较为系统、全面地介绍了强化学习的各种思想、实现算法。其一套公开课一共分为十讲，每讲平均为100分钟。其中既包括扎实的理论推导，也有很多有趣的小例子帮助理解，对于理解强化学习来说是一套非常好的教程。我在跟随这套教程学习的过程中一边听讲、一边笔记，最后编写代码实践，终于算是对强化学习的概念终于有了初步的认识，算是入门了吧。为了巩固加深自己的理解，同时也能为后来的学习者提供一些较为系统的中文学习资料，我萌生了把整个公开课系统整理出来的想法。

Leiden大学Aske Plaat教授《深度强化学习》 深度强化学习近年来备受关注。在自动驾驶、游戏、分子重组和机器人等各种活动中，他们都取得了令人印象深刻的成果。在所有这些领域，计算机程序已经学会了解决困难的问题。他们学会了飞行模型直升机和表演特技动作，如回旋和翻滚。在某些应用中，他们甚至比最优秀的人类还要优秀，比如Atari、Go、扑克和星际争霸。深度强化学习探索复杂环境的方式提醒我们，孩子们是如何学习的，通过开玩笑地尝试东西，获得反馈，然后再尝试。计算机似乎真的拥有人类学习的各个方面; 这是人工智能梦想的核心。教育工作者并没有忽视研究方面的成功，大学已经开始开设这方面的课程。这本书的目的是提供深度强化学习领域的全面概述。这本书是为人工智能的研究生写的，并为希望更好地理解深度强化学习方法和他们的挑战的研究人员和实践者。我们假设学生具备本科水平的计算机科学和人工智能知识;本书的编程语言是Python。我们描述了深度强化学习的基础、算法和应用。我们将介绍已建立的无模型和基于模型的方法，它们构成了该领域的基础。发展很快，我们还涵盖了一些高级主题: 深度多智能体强化学习、深度层次强化学习和深度元学习。

我们将深度Q-Learning成功背后的理念与持续的 动作域。我们提出了一种基于确定性模型的无模型算法 可以在连续动作空间上操作的策略梯度。使用 同样的学习算法，网络结构和超参数，我们的算法 稳健地解决20多个模拟物理任务，包括经典 如手推车摆动、灵巧操作、腿部运动等问题 还有开车。我们的算法能够找到性能具有竞争力的策略 与那些发现的规划算法完全访问的动态 域及其衍生物的。我们进一步证明，对于许多 任务算法可以“端到端”学习策略：直接从原始像素输入。

强化学习范式原则上允许复杂行为 直接从简单的奖励信号中学习。然而，在实践中，情况确实如此 常见的手工设计奖励功能，以鼓励特定的 解决方案，或从演示数据中导出。本文探讨了如何丰富 环境有助于促进复杂行为的学习。明确地 我们在不同的环境环境中培训代理人，并发现这鼓励了他们 在一系列任务中表现良好的稳健行为的出现。 我们为运动演示了这一原则——众所周知的行为 他们对奖励选择的敏感度。我们在一个平台上训练几个模拟物体 使用一个简单的奖励功能，可以设置各种具有挑战性的地形和障碍 基于向前的进展。使用一种新的可伸缩策略梯度变体 强化学习，我们的特工可以根据需要学习跑、跳、蹲和转身 在没有明确的基于奖励的指导的环境下。对……的视觉描绘 学习行为的要点可以在本视频中查看。

与抽象状态相关联．这种关联性信息可以产生对应 问题的学习 技 巧（也 称 为 Ｏｐｔｉｏｎ）．例 如，在 著 名 的 出租车问题中［８７］，其中的一组抽象状态是出租车起 始和乘客所处的位置，那么此时Ｏｐｔｉｏｎ就是从出租 车起始位置到乘客所处位置的一系列动作组合．很 明显，生成的Ｏｐｔｉｏｎ相当于ｈ－ＤＱＮ模型中设定的 中间目标，省去了复杂的人工设定中间目标的过程， 并使得学习到的Ｏｐｔｉｏｎ与具体的学习任务无关．因 此在相同的状态空间下，该模型具有很强的泛化性． ６．３　深度后续强化学习 一般地，在 只 给 定 原 始 输 入 观 察 和 奖 赏 值 的 情况下，通 过 基 于 模 型（ｍｏｄｅｌ－ｂａｓｅｄ）或 者 模 型 无 关（ｍｏｄｅｌ－ｆｒｅｅ）的ＤＲＬ算 法 可 以 学 习 到 鲁 棒 的 值 函数．后 续 状 态 表 示 法（Ｓｕｃｃｅｓｓｏｒ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ＳＲ）为学习值函数提供了第３种选择．ＳＲ将值函数 分解为两个部分：后续状态映射图（ｓｕｃｃｅｓｓｏｒ　ｍａｐ） 和立即奖赏指示器（ｒｅｗａｒｄ　ｐｒｅｄｉｃｔｏｒ）．后续状态映 射图表示在给定当前状态下到达未来某一状态占有 率的期望．立即奖赏指示器表示从状态到奖赏值的 映射．在ＳＲ中，这两个部分以内积的形式构成值函 数．基于上述理论知识，Ｋｕｌｋａｒｎｉ等人［８８］将ＳＲ的应 用范围扩展到大规模状态空间的ＤＲＬ问题中，提出 了深度后续强化学习（Ｄｅｅｐ　Ｓｕｃｃｅｓｓｏｒ　Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＳＲＬ）． ２１ 计　　算　　机　　学　　报 ２０１８年