盆式PPO 关于沉思-PPO 这是Pensieve [1]的一个简单的TensorFlow实现。 详细地说，我们通过PPO而非A3C培训了Pensieve。 这是一个稳定的版本，已经准备好训练集和测试集，并且您可以轻松运行仓库：只需键入 python train.py 反而。 将每300个时代在测试集（来自HSDPA）上评估结果。 实验结果 我们报告了熵权重β，奖励和熵的训练曲线。 通过双簧管网络轨迹评估结果。 提示：橙色曲线：pensieve-ppo； 蓝色曲线：pensieve-a2c 预训练模型 此外，我们还在添加了预训练模型 与原始Pensieve模型相比，该模型的平均QoE提高了7.03％（0.924-> 0.989）。 如果您有任何疑问，请随时告诉我。 [1] Mao H，Netravali R，Alizadeh M.带自适应神经网络自适应视频流[C] // ACM数据

pytorch-a2c-ppo-acktr请使用本自述文件中的超级参数。 使用其他超级参数，可能无法正常工作（毕竟是RL）！ 这是Advantage Actor Critic（A2C）的PyTorch实现，同步pytorch-a2c-ppo-acktr请使用本自述文件中的超级参数。 使用其他超级参数，可能无法正常工作（毕竟是RL）！ 这是Advantage Actor Critic（A2C）的PyTorch实现，这是A3C近端策略优化PPO的同步确定性版本，用于使用Kronecker因子近似ACKTR生成的对抗模仿学习GAIL进行深度强化学习的可扩展信任区域方法另请参阅OpenAI帖子：A2C / ACKTR和PPO获得更多信息

PyTorch实现软演员- 评论家（SAC），双胞胎延迟DDPG（TD3），演员评论家（AC / A2C），近端策略优化（PPO），QT-Opt，PointNet 流行的无模型强化学习算法 PyTorch 和 Tensorflow 2.0 在 Openai 健身房环境和自我实现的 Reacher 环境中实现了最先进的无模型强化学习算法。 算法包括： 演员兼评论家 （AC/A2C）; 软演员-评论家 （SAC）; 深度确定性策略梯度 （DDPG）; 双延迟 DDPG （TD3）; 近端策略优化; QT-Opt（包括交叉熵（CE）方法）; 点网; 运输机; 经常性政策梯度; 软决策树; 概率专家混合; QMIX Actor-Critic (AC/A2C); Soft Actor-Critic (SAC); Deep Deterministic Policy Gradient (DDPG); Twin Delayed DDPG (TD3); Proximal Policy Optimization (PPO); QT-Opt (including Cross-entropy (CE)

基于LSTM的A2C 该存储库提供了IEEE Communications Letters中论文“用于基于用户移动性的网络切片中的资源管理中基于LSTM的Advantage Actor-Critic学习”的代码。 请注意，这是一个研究项目，从定义上讲是不稳定的。 如果发现不正确或奇怪的地方，请写信给我们。 我们在共享全部或部分代码必须引用本文的条件下共享代码。 @article {li2020lstm， title = {用于基于用户移动性的网络切片中的资源管理的基于LSTM的优势演员批判性学习}， 作者= {李荣鹏和王楚杰和赵智峰和郭荣彬和张洪刚}， journal = {IEEE Communications Letters}， 年= {2020}， 发布者= {IEEE} }

火炬RL RL方法的Pytorch实现 支持具有连续和离散动作空间的环境。 支持具有1d和3d观察空间的环境。 支持多进程环境 要求 一般要求 火炬1.7 健身房（0.10.9） Mujoco（1.50.1） 列表（用于日志） tensorboardX（日志文件输出） 张量板要求 Tensorflow：启动tensorboard或读取tf记录中的日志 安装 使用use environment.yml创建虚拟环境 conda create -f environment.yml source activate py_off 手动安装所有要求 用法 在配置文件中指定算法的参数，并在参数中指定日志目录/种子/设备 python examples/ppo_continuous_vec.py --config config/ppo_halfcheetah.json --seed 0 --device 0 --id ppo_halfcheetah 结帐示例文件夹以获取详细信息 目前包含： 政策上的方法： 加强 A2C（演员评论家） PPO（近端政策优化）

A2C 描述 这是使用OpenAI体育馆环境以PyTorch编写的的实现。 此实现包括卷积模型，原始A3C模型，完全连接的模型（基于Karpathy的Blog）和基于GRU的递归模型的选项。 BPTT 循环训练可以选择使用时间反向传播（BPTT），它可以在一系列状态而不是当前状态上建立梯度依存关系。 初步结果表明，使用BPTT不会提高训练效果。 有关两种培训方法的比较，请参见。 该算法在Pong-v0上进行了训练。 奖励图是在培训期间首次展示时收集的奖励的移动平均值。 对于Pong而言，奖励指标是每个游戏结束时收集的奖励的运行平均值，而不是完整的21分比赛。 这使最低奖励为-1，最大奖励为+1。 移动平均因子设置为0.99。 在Pong-v0上的GRU模型训练过程中，经过4000万个时间步的平均奖励图。 在使用反向传播穿越时间训练的Pong-v0上训练GRU模型的过程中，在400

可读，可重用，可扩展 Machin是为pytorch设计的增强库。 支持的型号 任何事物，包括循环网络。 支持的算法 当前，Machin已实现以下算法，该列表仍在增长： 单代理算法： 多主体算法： 大规模并行算法： 增强功能： 支持的算法： 进化策略 基于模型的方法 特征 1.可读 与其他强化学习库（例如著名的 ， 和。 Machin尝试仅提供RL算法的简单明了的实现。 Machin中的所有算法均以最小的抽象设计，并具有非常详细的文档以及各种有用的教程。 2.可重复使用 Machin采用与pytorch类似的方法，将算法和数据结构封装在自己的类中。 用户无需设置一系列data collectors ， trainers ， runners ， samplers ...即可使用它们，只需导入即可。 模型上的唯一限制是它们的输入/输出格式，但是，这些限制很小，可以轻松地使算法适

a2c-ppo-ddpg

A2C深度强化学习算法, 姿态控制, python代码

深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码，以供他们学习深度强化学习算法。 将来，将添加更多算法，并且还将保留现有代码。 当前实施 深度Q学习网络（DQN） 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度（DDPG） 优势演员评判（A2C） 信任区域策略梯度（TRPO） 近端政策优化（PPO） 使用克罗内克因素信任区域（ACKTR）的演员评论家 软演员评论（SAC） 更新信息 :triangular_flag: 2018年10月17日-在此更新中，大多数算法已得到改进，并添加了更多关于图的实验（DPPG除外）。 PPO现在支持atari游戏和mujoco-env 。 TRPO非常稳定，可以得到更好的结果！ :triangular_flag: 2019-07-15-在此更新中，不再需要为openai基准安装。 我在rl__utils模块中集成了有用的功能。 DDPG也重新实现，并支持更多结果。 自述文件已被修改。 代码结构也有微小的调整。 :triangular_flag: 201