开源利器！一个文件实现完整的强化学习算法

很多算法的开源实现都包含多个文件，因此，学习这些开源代码的时候通常难以找到入口，也无法快速理解作者的逻辑，对于学习的童鞋来说都带来了不小的挑战。这里推荐一个非常优秀的强化学习开源库，它将经典的强化学习算法都实现在一个文件中，想要学习源代码的童鞋只需要看单个文件即可，这就是ClearRL!

<center>![](https://www.datalearner.com/resources/blog_images/b7e5fc5b-c228-4a52-9787-7ffb089d2ccc.png)</center>
<center></center>

ClearRL的作者是美国Drexel University的计算机博士生，他主要的研究方向是游戏中的人工智能。这也是强化学习应用最好的领域之一了。这个项目从2019年10月份开始，已经更新了两年半的时间了。CleanRL是一个深度强化学习库，它提供了高质量的单文件实现，具有研究用的功能。尽管这些算法的实现非常简洁，但作者在AWS Batch将其扩展到运行成千上万的实验，依然十分有效。

CleanRL的突出特点是：
📜单一文件的实现：关于一个算法的每一个细节都被放在算法自己的文件中。因此，它更容易充分理解一个算法，并进行研究。
📊 基准化实现（7种以上的算法和34种以上的游戏，https://benchmark.cleanrl.dev）
📈 Tensorboard记录
🪛 通过设置seeding可以复现算法运行过程所有细节
🎮 可以保留游戏过程的视频
🧫 基于Weights & Biases进行实验管理
💸 与docker和AWS的云整合

目前ClearRL实现的算法如下：

|  算法  | 具体实现（变种）  |
| ------------ | ------------ |
|  Proximal Policy Gradient (PPO) |  PPO |
|   | PPO ATARI  |
|   | PPO Continuous Action  |
|   | PPO ATARI LSTM  |
|   | PPO PROCGEN  |
|  Deep Q-Learning（DQN）  |  DQN |
|   | DQN ATARI  |
| Categorical DQN (C51)  | C51  |
|   | C51 ATARI  |
| Soft Actor-Critic (SAC)   |  SAC Continuous Action |
| Deep Deterministic Policy Gradient (DDPG)  |  DDG Continuous Action  |
| Twin Delayed Deep Deterministic Policy Gradient (TD3)  | TD3 Continuous Action  |

同时，ClearRL还提供了一个可视化的benchmark，可以追踪所有算法的实验，里面可以看到GPU的利用率以及游戏的视频情况。

<center>![](https://www.datalearner.com/resources/blog_images/70c6cea2-4fba-480b-b45b-5bca433e006f.png)</center>
<center></center>

总之，这个项目对于想学习强化学习算法的童鞋来说真的是一个大福利，非常推荐学习。也可以看到，这位博士所在的课题组可能一开始进入RL领域就要求大家理解这些基本算法，而他把这个学习的过程变成一个项目也是非常好的思路。

项目地址：https://github.com/vwxyzjn/cleanrl

相关博客

最热博客