清華本科生開發(fā)強化學習平臺「天授」：千行代碼實現(xiàn)，性能吊打國外成熟平臺，剛剛開源
基于PyTorch的高效RL平臺
賈浩楠 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
江山代有才人出，開源一波更比一波強。
就在最近，一個簡潔、輕巧、快速的深度強化學習平臺，完全基于Pytorch，在Github上開源。
如果你也是強化學習方面的同仁，走過路過不要錯過。
而且作者，還是一枚清華大學的本科生——翁家翌，他獨立開發(fā)了”天授（Tianshou）“平臺。
沒錯，名字就叫“天授”。
Why 天授？
主要有四大優(yōu)點：
1、速度快，整個平臺只用1500行左右代碼實現(xiàn)，在已有的toy scenarios上面完勝所有其他平臺，比如3秒訓練一個倒立擺（CartPole）。
2、模塊化，把所有policy都拆成4個模塊：
init：策略初始化。process_fn：處理函數(shù)，從回放緩存中處理數(shù)據(jù)。call：根據(jù)觀測值計算操作learn：從給定數(shù)據(jù)包中學習
只要完善了這些給定的接口就能在100行之內完整實現(xiàn)一個強化學習算法。
3、天授平臺目前支持的算法有：
Policy Gradient (PG)
Deep Q-Network (DQN)
Double DQN (DDQN) with n-step returns
Advantage Actor-Critic (A2C)
Deep Deterministic Policy Gradient (DDPG)
Proximal Policy Optimization (PPO)
Twin Delayed DDPG (TD3)
Soft Actor-Critic (SAC)
隨著項目的開發(fā)，會有更多的強化學習算法加入天授。
4、接口靈活：用戶可以定制各種各樣的訓練方法，只用少量代碼就能實現(xiàn)。
如何使用天授
以DQN（Deep-Q-Network）算法為例，我們在天授平臺上使用CartPole小游戲，對它的agent進行訓練。
配置環(huán)境
習慣上使用OpenAI Gym，如果使用Python代碼，只需要簡單的調用Tianshou即可。
CartPole-v0是一個可應用DQN算法的簡單環(huán)境，它擁有離散操作空間。配置環(huán)境時，你需要注意它的操作空間是連續(xù)還是離散的，以此選擇適用的算法。
設置多環(huán)境層
你可以使用現(xiàn)成的gym.Env：
也可以選擇天授提供的三種向量環(huán)境層：VectorEnv、SubprocVectorEnv和RayVectorEnv，如下所示：
示例中分別設置了8層和100層環(huán)境。
建立網絡
天授支持任意用戶自主定義的網絡或優(yōu)化器，但有接口限制。
以下是一個正確的示例：
設置策略
我們使用已定義的net和optim（有額外的策略超參數(shù)）來定義一個策略。下方我們用一個目標網絡來定義DQN算法策略。
設置收集器
收集器是天授的關鍵概念，它使得策略能夠高效的與不同環(huán)境交互。每一步，收集器都會將該策略的操作數(shù)據(jù)記錄在一個回放緩存中。
訓練
天授提供了訓練函數(shù)onpolicy_trainer和offpolicy_trainer。當策略達到終止條件時，他們會自動停止訓練。由于DQN是無策略算法，我們使用offpolicy_trainer。
訓練器支持TensorBoard記錄，方法如下：
將參數(shù)writer輸入訓練器中，訓練結果會被記錄在TensorBoard中。
記錄顯示，我們在幾乎4秒的時間內完成了對DQN的訓練。
保存/加載策略
因為我們的策略沿襲自torch.nn.Module，所以保存/加載策略方法與torch模塊相同。
觀察模型表現(xiàn)
收集器支持呈現(xiàn)功能，以35幀率觀察模型方法如下：
用你自己的代碼訓練策略
如果你不想用天授提供的訓練器也沒問題，以下是使用自定義訓練器的方法。
上手體驗
天授需要Python3環(huán)境。以CartPole訓練DQN模型為例，輸入test_dqn.py代碼進行訓練，其結果統(tǒng)計如下：
可以看出整個訓練過程用時7.36秒，與開發(fā)者給出的訓練時間符合。
模型訓練結果如下：
作者介紹
天授的開發(fā)者：翁家翌，清華大學的在讀大四本科生。
高中畢業(yè)于福州一中，前NOI選手。
大二時作就作為團隊主要貢獻者獲得了強化學習國際比賽vizdoom的冠軍。他希望能將天授平臺深入開發(fā)，成為強化學習平臺的標桿。開源也是希望有更多的小伙伴加入這個項目。
傳送門：
PyPI提供天授平臺下載，你也可以在Github上找到天授的最新版本和其他資料。
PYPI：
https://pypi.org/project/tianshou/
Github天授主頁：
https://github.com/thu-ml/tianshou
— 完 —
- 具身智能洶涌，激光雷達爆單：頭部玩家600%年增長，出貨超20萬臺2025-08-08
- 智能座艙率先L3！AI Agent上車顛覆體驗，千里科技WAIC交卷2025-07-28
- 千里科技聯(lián)手階躍星辰、吉利發(fā)布下一代智能座艙Agent OS2025-07-26
- 老黃剛走，全球最強算力Robotaxi方案落地中國2025-07-24
相關閱讀
