推特800贊，DeepMind強化學(xué)習(xí)綜述：她可以很快，但快從慢中來

栗子 2019-05-03 13:50:07 來源：量子位

栗子 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

能下圍棋、能打刀塔、能玩星際……深度強化學(xué)習(xí)?(DRL) 就快稱霸世界了。

但業(yè)界一直有種常見的擔(dān)憂：

強化學(xué)習(xí) (RL) 太慢。人類一兩盤就能學(xué)會的游戲，AI可能要和游戲環(huán)境互動上億次才能解鎖。樣本效率低，模擬不出人類學(xué)習(xí)的過程。

現(xiàn)在，DeepMind團隊用新近的研究成果總結(jié)，來告訴大家這種擔(dān)憂不值得：

深度強化學(xué)習(xí)已經(jīng)有了非常快速且靈活的技術(shù)。

并且，從AI領(lǐng)域誕生的方法，也能為人類的心理學(xué)和神經(jīng)科學(xué)帶來新的理解。

這篇深度強化學(xué)習(xí)綜述，已經(jīng)獲得了推特觀眾的799贊。

為什么會慢

最近五年，是DRL爆發(fā)的時期。一開始，就像人們批判的那樣，算法的確學(xué)得很慢。

但要讓它快起來，首先要知道為什么慢。

DeepMind舉出了兩個主要原因：

一是增量式的參數(shù)更新?(Incremental Parameter Adjustment) 。最初的算法，從輸入的周圍環(huán)境，到輸出的AI動作之間，是靠梯度下降來完成映射的。

在這個過程中，每個增量都需要非常小，才不至于讓新學(xué)到的信息，把之前學(xué)到的經(jīng)驗覆蓋了 (這叫做“災(zāi)難性干擾”) 。如此一來，學(xué)習(xí)過程便十分緩慢。

二是弱歸納偏置?(Weak Inductive Bias) 。任何學(xué)習(xí)過程，都要面臨“偏見-方差權(quán)衡”。

所謂偏見，就是一開始限定好一些可能的結(jié)果，AI從里面找出自己想要的那一種。限定越窄，AI就可以只考慮為數(shù)不多的可能性，更快地得出結(jié)果。

弱歸納偏置，就需要考慮更多的可能性，學(xué)習(xí)也就慢一些。重要的是，通用神經(jīng)網(wǎng)絡(luò)都是偏見極低的系統(tǒng)，他們有非常大量的參數(shù)，可以用來擬合大范圍的數(shù)據(jù)。

DRL，就是把深度網(wǎng)絡(luò)用到RL里面。所以，最初樣本效率必然是極低，需要大量數(shù)據(jù)來學(xué)習(xí)。

快從慢中來

不過，從最近的研究上看， 這兩個問題都是有辦法解決的。

DeepMind舉出了兩種方法，對癥下藥。

首先，解決參數(shù)增量的問題：

方法是情節(jié)性深度強化學(xué)習(xí)?(Episodic DRL) 。就是給過去發(fā)生的事件，保留一個明確的記錄 (Explicit Record) 。這個記錄會作為依據(jù)，指導(dǎo)AI做出新的決策。

它與機器學(xué)習(xí)里“非參數(shù)”的方法異曲同工，也很像“基于示例 (Exemplar-Based) ”的心理學(xué)原理。

當(dāng)遇到一個新事件，該做新決策的時候，就把當(dāng)前事件的內(nèi)部表征 (Internal Representation) ，跟儲存的各種過去事件對比一下。匹配分?jǐn)?shù)最高的中選。

和增量方法的區(qū)別在于：在這里，從過去的事件里學(xué)到的信息，都可以立刻派上用場，由此加速了學(xué)習(xí)過程。

但注意，快速的情節(jié)學(xué)習(xí)，是以緩慢的增量學(xué)習(xí)為基礎(chǔ)的。

因為，在把當(dāng)前事件和過去事件的表征作對比之前，AI先要學(xué)會這些表征：連接權(quán)重(Connection Weights) 的學(xué)習(xí)，依然要靠增量來進行，就像傳統(tǒng)的DRL算法那樣。

慢慢學(xué)好表征之后，才能開始迅猛地奔跑。

DeepMind說，“快從慢中生”并不是什么巧合，在心理學(xué)和神經(jīng)科學(xué)上的體現(xiàn)，不亞于AI領(lǐng)域 (這個部分，大家可以自行探索原文) 。

然后，再解決歸納偏置的問題：

首先限定好一個狹窄的范圍，再讓AI去探索。道理都懂，可怎么知道應(yīng)該限定在哪里？

答案是，借鑒過去的經(jīng)驗。

打個比方，第一次用智能手機的人類，可能從前還用過其他的設(shè)備。那里的經(jīng)驗，就可以幫他很快學(xué)會智能手機的用法。如果沒有那些經(jīng)驗，就只能廣泛嘗試，影響學(xué)習(xí)速度了。

這個思路，也是從心理學(xué)上來的，叫做“學(xué)著學(xué)習(xí) (Learning to Learn)”。

心理學(xué)家Harry Harlow就曾經(jīng)用猴子來做實驗：給猴子兩個不熟悉的物體，一個下面放食物，一個不放。換兩個物體，再換兩個……久之猴子就知道，一邊有食物一邊沒有，不管物體是什么，不管左邊有還是右邊有。

回到AI上來，用過去的經(jīng)驗來加速學(xué)習(xí)，在機器學(xué)習(xí)里叫做元學(xué)習(xí) (Meta-Learning)?。

Wang與Duan帶領(lǐng)的兩項研究，幾乎是同時發(fā)表。都把這樣的原理用在了深度強化學(xué)習(xí)上，就是元強化學(xué)習(xí) (Meta RL)?。

一個RNN是用許多互相關(guān)聯(lián)的RL任務(wù)來訓(xùn)練的。

RNN的權(quán)重慢慢調(diào)整，然后可以吸取各種RL任務(wù)里面的共同點，改變網(wǎng)絡(luò)的設(shè)定。原本，它沒辦法做到快速改變，來支持任何一個單一任務(wù)。

重點來了，從RNN的活動動態(tài) (Activity Dynamics) 中，可以生出一個獨立的RL算法，根據(jù)過往的任務(wù)，快速解決新任務(wù)。

一個RL算法，能生出另一個RL算法，這就是元強化學(xué)習(xí)。

像情節(jié)性RL一樣，元RL也涉及了快速和慢速之間的聯(lián)系：

RNN中的連接，是在不同RL任務(wù)的學(xué)習(xí)中緩慢更新的，建立起不同任務(wù)之間共同的部分，把它內(nèi)置到網(wǎng)絡(luò)里去。

讓這個RNN，來實現(xiàn)新的RL算法，就可以快速搞定各種情況了。畢竟，已經(jīng)有了慢速學(xué)習(xí)的歸納偏置做基礎(chǔ) (就像人類使用智能手機之前，已經(jīng)用過其他設(shè)備那樣)。

依然，慢是快的前提。

當(dāng)然，情節(jié)性DRL可以和元RL合在一起用，相輔相成。

在情節(jié)性的元強化學(xué)習(xí)里，元學(xué)習(xí)是在RNN里實現(xiàn)的，不過上面疊加了一個情節(jié)記憶系統(tǒng)，作用是恢復(fù)RNN里的活動模式 (Patterns of Activity) 。

就像情節(jié)性RL一樣，情節(jié)記憶會對各種過去的事件進行編目，可以查詢。

但決策過程不一樣，不是按照匹配分?jǐn)?shù)來選擇下一步的動作。而是和RNN存儲好的活動模式，聯(lián)系起來。

這些模式非常重要，通過RNN，它們可以總結(jié)出智能體學(xué)到的東西。

當(dāng)智能體遇到了類似過去的情況，就會在從前的經(jīng)驗中，恢復(fù)一些隱藏的activations，讓之前學(xué)過的信息立即派上用場，影響當(dāng)前的策略。

這就叫“情節(jié)性元強化學(xué)習(xí)”，可以進一步加快強化學(xué)習(xí)的速度。

慢慢地，人們開始減輕對強化學(xué)習(xí)算法的擔(dān)憂；并重新開始相信，這樣的AI可以模擬人類的學(xué)習(xí)過程。

傳送門

不知未來，不斷加速的強化學(xué)習(xí)，還能在哪些領(lǐng)域超越人類呢？

綜述原文傳送門：

https://www.cell.com/action/showPdf?pii=S1364-6613%2819%2930061-0

— 完 —