（1）在中国A股市场15只股票上的应用 （2）构建投资组合 （3）每日调仓 （4）绘制收益率曲线 （5）PPO算法

流行的无模型强化学习算法 PyTorch和Tensorflow 2.0在Openai体育馆环境和自行实现的Reacher环境中均实现了最新的无模型强化学习算法。 算法包括软参与者关键（SAC），深度确定性策略梯度（DDPG），双延迟DDPG（TD3），参与者关键（AC / A2C），近端策略优化（PPO），QT-Opt（包括交叉熵（ CE）方法） ， PointNet ，运输商，循环策略梯度，软决策树等。 请注意，此存储库更多是我在研究和实施期间实施和测试的个人算法集合，而不是正式的开放源代码库/软件包以供使用。 但是，我认为与他人分享它可能会有所帮助，并且我希望对实现进行有益的讨论。 但是我没有花太多时间在清理或构建代码上。 您可能会注意到，每种算法可能都有几种实现方式，在此我特意展示所有这些方式，供您参考和比较。 此外，此存储库仅包含PyTorch实施。 对于RL算法的官方库，

盆式PPO 关于沉思-PPO 这是Pensieve [1]的一个简单的TensorFlow实现。 详细地说，我们通过PPO而非A3C培训了Pensieve。 这是一个稳定的版本，已经准备好训练集和测试集，并且您可以轻松运行仓库：只需键入 python train.py 反而。 将每300个时代在测试集（来自HSDPA）上评估结果。 实验结果 我们报告了熵权重β，奖励和熵的训练曲线。 通过双簧管网络轨迹评估结果。 提示：橙色曲线：pensieve-ppo； 蓝色曲线：pensieve-a2c 预训练模型 此外，我们还在添加了预训练模型 与原始Pensieve模型相比，该模型的平均QoE提高了7.03％（0.924-> 0.989）。 如果您有任何疑问，请随时告诉我。 [1] Mao H，Netravali R，Alizadeh M.带自适应神经网络自适应视频流[C] // ACM数据

超级马里奥兄弟的深度强化学习 描述 背景信息：超级马里奥兄弟（SMB）是一款流行的动作游戏，具有“真实的”环境和广阔的状态空间，是设计可玩计算机游戏的强化学习代理的理想平台。 该代理要求与世界上的各种对象和障碍进行交互，以鼓励采用知识丰富的学习方法。 方法-我们使用了OpenAI Gym提供的框架。 超级马里奥兄弟体育馆并从游戏环境中提取了信息，以使用PPO训练RL特工。 我们还向环境引入了预处理方法，例如帧缩放，随机跳帧，帧堆叠和噪声网，以提高代理的性能。 通过引入回滚操作来提高训练的稳定性，可以创建PPO的变体。 结果：该方法成功地训练了能够在20个小时的训练后完成水平的特工。 我们成功实现了一种方法，该方法可以比常规PPO实施更好地执行，在不应用数据预处理的情况下性能提高了50％，在应用数据预处理的情况下性能提高了10％。 工具 Pytorch已被用作主要的机器学习库 由于SMB

策略梯度算法PPO+代码解读

AI-奥林匹克·相扑比赛基于规则的智能体和基于强化学习的智能体解决方案，该方案训练出的智能体能进入对战排行榜前十。基于代码实现的规则，能进入排行榜前三。 1 手动提取特征(manual feature extraction) 2 重新封装环境 3 训练表现

pytorch-trpo PyTorch实施香草政策梯度，截断的自然政策梯度，信任区政策优化，近端政策优化 火车 算法：PG，NPG，TRPO，PPO env ：Ant-v2，HalfCheetah-v2，Hopper-v2，Humanoid-v2，HumanoidStandup-v2，InvertedPendulum-v2，Reacher-v2，Swimmer-v2，Walker2d-v2 python train.py --algorithm "algorithm name" --env "environment name" 参考 此代码是代码的修改版本

pytorch-a2c-ppo-acktr请使用本自述文件中的超级参数。 使用其他超级参数，可能无法正常工作（毕竟是RL）！ 这是Advantage Actor Critic（A2C）的PyTorch实现，同步pytorch-a2c-ppo-acktr请使用本自述文件中的超级参数。 使用其他超级参数，可能无法正常工作（毕竟是RL）！ 这是Advantage Actor Critic（A2C）的PyTorch实现，这是A3C近端策略优化PPO的同步确定性版本，用于使用Kronecker因子近似ACKTR生成的对抗模仿学习GAIL进行深度强化学习的可扩展信任区域方法另请参阅OpenAI帖子：A2C / ACKTR和PPO获得更多信息

增强Learning_（ML）_PPO_Microwave滤波器调谐 制造的RF滤波器需要经过滤波器调谐过程，以保证性能而不影响性能 有许多因素，例如繁琐/困难的手动调整过程和过滤器特性，使过滤器调整过程更加复杂 机器学习方法用于缩短滤波器调优过程所花费的时间，提高调优结果的准确性 选择强化学习算法中的近端策略优化（PPO）作为其连续动作空间和连续控制任务中突出的发散速度 强化学习环境：HFSS（由PyCharm中的Python和IronPython脚本自动化） 应用操作后，状态（S 参数的距离）和奖励（距离之和）作为对代理的反馈 强化学习代理：PPO 代理（根据稳定基线 3 文档源代码修改） 代理学习并更新策略以提供要在环境中执行的最佳操作（HFSS 中的筛选器调整过程）

PyTorch实现软演员- 评论家（SAC），双胞胎延迟DDPG（TD3），演员评论家（AC / A2C），近端策略优化（PPO），QT-Opt，PointNet 流行的无模型强化学习算法 PyTorch 和 Tensorflow 2.0 在 Openai 健身房环境和自我实现的 Reacher 环境中实现了最先进的无模型强化学习算法。 算法包括： 演员兼评论家 （AC/A2C）; 软演员-评论家 （SAC）; 深度确定性策略梯度 （DDPG）; 双延迟 DDPG （TD3）; 近端策略优化; QT-Opt（包括交叉熵（CE）方法）; 点网; 运输机; 经常性政策梯度; 软决策树; 概率专家混合; QMIX Actor-Critic (AC/A2C); Soft Actor-Critic (SAC); Deep Deterministic Policy Gradient (DDPG); Twin Delayed DDPG (TD3); Proximal Policy Optimization (PPO); QT-Opt (including Cross-entropy (CE)