The topic of this book is Reinforcement Learning—which is a
subfield of Machine Learning—focusing on the general and
challenging problem of learning optimal behavior in complex
environment. The learning process is driven only by reward value
and observations obtained from the environment. This model is very
general and can be applied to many practical situations from playing
games to optimizing complex manufacture processes.
Due to flexibility and generality, the field of Reinforcement Learning
is developing very quickly and attracts lots of attention both from
researchers trying to improve existing or create new methods, as well
as from practitioners interested in solving their problems in the most
efficient way.
This book was written as an attempt to fill the obvious lack of
practical and structured information about Reinforcement Learning
methods and approaches. On one hand, there are lots of research
activity all around the world, new research papers are being
published almost every day, and a large portion of Deep Learning
conferences such as NIPS or ICLR is dedicated to RL methods. There
are several large research groups focusing on RL methods application
in Robotics, Medicine, multi-agent systems, and others. The
information about the recent research is widely available, but is too
specialized and abstract to be understandable without serious efforts.
Even worse is the situation with the practical aspect of RL
application, as it is not always obvious how to make a step from the
abstract method described in the mathematical-heavy form in a
research paper to a working implementation solving actual problem.
This makes it hard for somebody interested in the field to get an
intuitive understanding of methods and ideas behind papers and
conference talks. There are some very good blog posts about various
RL aspects illustrated with working examples,
2025-09-14 16:07:20
22.48MB
1
【SSL-RL】自监督强化学习：事后经验回放 (HER)算法
事后经验回放，Hindsight Experience Replay (HER) 是一种在稀疏奖励强化学习环境下提高智能体学习效率的策略。稀疏奖励问题是指智能体在多数状态下无法获得有价值的反馈，因为奖励信号极其稀少或完全没有。HER通过回顾智能体过去未能实现的目标，将这些“失败”的经验转换为有价值的学习机会，从而极大地提高了智能体在稀疏奖励场景中的学习效率。
HER算法最早由OpenAI团队提出，主要用于解决目标导向的强化学习任务，其中智能体的目标是达到某个特定的状态（例如到达某个地点或完成某个任务），但由于奖励稀疏，智能体很难获得足够的反馈进行有效学习。（这已经是被广泛利用的机制了）
2025-09-11 18:45:13
3KB
1
【Hierarchical RL】动态分层强化学习（DHRL）算法代码
动态分层强化学习，Dynamic Hierarchical Reinforcement Learning (DHRL) 是一种自适应分层强化学习算法，其目标是根据任务和环境的复杂性动态地构建、修改和利用分层策略。DHRL 不仅仅是预定义层次结构的简单执行，而是允许代理在学习过程中根据需要动态生成和调整分层策略，从而实现更好的任务分解和高效学习。
DHRL 扩展了传统的分层强化学习（HRL），通过动态调整层次和策略，使其适应环境中的变化和不确定性。这种方法能够处理复杂任务，特别是那些需要灵活调整策略或面临多种不同子任务的情景。
2025-07-03 17:39:20
1KB
1
### RTL8188CUS模块(RL-UM02BS)规格书解析
#### 概述
本规格书主要介绍了RTL8188CUS模块（型号RL-UM02BS）的技术参数、功能特点以及应用范围。该模块是一款支持IEEE 802.11n标准的无线局域网（WLAN）USB模块，最高支持150Mbps的数据传输速率，适用于需要高速无线连接的应用场景。
#### 产品特点
1. **工作频段**：2.4GHz频率范围。
2. **1x1 MIMO技术**：通过使用单个发射天线和单个接收天线提高有效吞吐量和覆盖范围，相比传统的802.11b/g产品性能更优。
3. **数据传输速率**：最高可达150Mbps，满足高速无线网络连接的需求。
4. **兼容性**：支持802.11e标准，采用BPSK、QPSK、16QAM、64QAM等调制方案，确保了信号传输的稳定性和高效性。
5. **加密方案**：支持WEP、TKIP、AES等多种硬件加密方式，确保数据传输的安全性；同时支持WPA、WPA2加密标准。
6. **低功耗设计**：在提供高性能的同时，也注重能耗控制，有助于延长设备的电池寿命。
7. **成本效益**：通过优化设计，在保证性能的同时实现了较高的性价比。
#### 主要规格
- **型号**：RL-UM02BS
- **产品名称**：WLAN 11n USB模块
- **主芯片组**：Realtek RTL8188CUS
- **标准**：支持802.11b/g/n、802.3、802.3u标准
- **数据传输速率**：支持1、2、5.5、6、11、12、18、22、24、30、36、48、54、60、90、120Mbps等多种速率，最高达150Mbps
- **调制方法**：包括BPSK、QPSK、16-QAM、64-QAM等
- **频率范围**：2.4~2.4835GHz ISM频段
- **扩频方式**：
- IEEE 802.11b：DSSS（直接序列扩频）
- IEEE 802.11g/n：OFDM（正交频分复用）
- **射频输出功率**：<13dBm@11n、<18dBm@11b、<14dBm@11g
- **工作模式**：支持Ad-hoc模式和基础设施模式
- **接收灵敏度**：
- 11Mbps时为-86dBm@8%
- 54Mbps时为-73dBm@10%
- 130Mbps时为-66dBm@10%
- **操作范围**：在开放空间下最大可达180米
- **LED操作系统支持**：支持Windows 2000、XP 32-64位、Vista 32/64位、Win7 32/64位、Linux、Mac OS、Android、WinCE等操作系统
- **安全**：支持WEP、TKIP、AES等多种加密机制，符合WPA、WPA2标准
- **接口**：USB 2.0
- **功耗**：供电电压为DC 3.3V，最大功率消耗未具体给出。
#### 应用场景
该模块广泛应用于需要高速无线连接的设备，如笔记本电脑、平板电脑、智能家居设备等。其出色的性能和低功耗特性使其成为移动设备的理想选择。此外，由于其支持多种操作系统，因此具有较高的灵活性和广泛的适用性。
2025-04-07 15:41:43
1.22MB
1
强化学习中样本的重要性加权转移
此存储库包含我们的强化学习中的重要性加权样本转移》的代码，该代码已在ICML 2018上接受。我们提供了一个小库，用于RL中的样本转移（名为TRLIB），包括重要性加权拟合Q的实现-迭代（IWFQI）算法[1]以及有关如何重现本文提出的实验的说明。
抽象的
我们考虑了从一组源任务中收集的强化学习（RL）中经验样本（即元组）的转移，以改善给定目标任务中的学习过程。 大多数相关方法都专注于选择最相关的源样本来解决目标任务，但随后使用所有已转移的样本，而无需再考虑任务模型之间的差异。 在本文中，我们提出了一种基于模型的技术，该技术可以自动估计每个源样本的相关性（重要性权重）以解决目标任务。 在所提出的方法中，所有样本都通过批处理RL算法转移并用于解决目标任务，但它们对学习过程的贡献与它们的重要性权重成正比。 通过扩展监督学习文献中提供的重要性加
2025-04-02 21:44:35
4.92MB
1
RL Latest Tech】分层强化学习：Option-Critic架构算法
==========================================
包含算法实现的这个项目，完整的项目
==========================================
分层强化学习（Hierarchical Reinforcement Learning, HRL）通过将复杂问题分解为更小的子问题，显著提高了强化学习算法在解决高维状态空间和长期目标任务中的效率。Option-Critic架构是分层强化学习中一种非常有影响力的方法，专门用于自动发现和优化子策略（称为“Option”）。它是在经典的Options框架基础上提出的，用来处理分层决策问题，特别是可以在没有明确的子目标定义的情况下自动学习子策略。
————————————————
2025-04-02 15:14:01
23KB
1
kuka-reach-drl
训练kuka机器人在pybullet中到达带有深rl的点。
火车过程
评估过程
平均情节奖励
我强烈建议您使用Conda来安装环境，因为使用pip可能会遇到mpi4py错误。
Spinningup rl库是必需的库。
安装指南（现在仅支持linux和macos）
首先，您应该安装miniconda或anaconda。 其次，安装一些开发依赖项。
sudo apt-get update && sudo apt-get install libopenmpi-dev
第三，创建一个conda虚拟环境
conda create -n spinningup python=3.6 # python 3.6 is recommended
# activate the env
conda activate spinningup
最后，安装spinin
2023-12-26 18:27:32
5.3MB
1
给定值是-....R=10 ohm , L=0.4 Henry。 交流峰值电压= 220v。 使用的公式： 有功功率 P = V * I * cosφ 无功功率 Q = V * I * sinφ 视在功率 S = V * I S=√(P^2+Q^2 )
功率因数，cosφ=（有功功率P）/（视在功率S）
我们可以使用任何电阻和电感值。这是一个通用模型。
2023-04-11 21:05:09
23KB
1
流行的无模型强化学习算法
PyTorch和Tensorflow 2.0在Openai体育馆环境和自行实现的Reacher环境中均实现了最新的无模型强化学习算法。
算法包括软参与者关键（SAC），深度确定性策略梯度（DDPG），双延迟DDPG（TD3），参与者关键（AC / A2C），近端策略优化（PPO），QT-Opt（包括交叉熵（ CE）方法） ， PointNet ，运输商，循环策略梯度，软决策树等。
请注意，此存储库更多是我在研究和实施期间实施和测试的个人算法集合，而不是正式的开放源代码库/软件包以供使用。 但是，我认为与他人分享它可能会有所帮助，并且我希望对实现进行有益的讨论。 但是我没有花太多时间在清理或构建代码上。 您可能会注意到，每种算法可能都有几种实现方式，在此我特意展示所有这些方式，供您参考和比较。 此外，此存储库仅包含PyTorch实施。
对于RL算法的官方库，
2023-03-10 12:07:00
2MB
1