推特800贊，DeepMind強(qiáng)化學(xué)習(xí)綜述：她可以很快，但快從慢中來

栗子 2019-05-03 13:50:07 來源：量子位

栗子 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

能下圍棋、能打刀塔、能玩星際……深度強(qiáng)化學(xué)習(xí)?(DRL) 就快稱霸世界了。

但業(yè)界一直有種常見的擔(dān)憂：

強(qiáng)化學(xué)習(xí) (RL) 太慢。人類一兩盤就能學(xué)會(huì)的游戲，AI可能要和游戲環(huán)境互動(dòng)上億次才能解鎖。樣本效率低，模擬不出人類學(xué)習(xí)的過程。

現(xiàn)在，DeepMind團(tuán)隊(duì)用新近的研究成果總結(jié)，來告訴大家這種擔(dān)憂不值得：

深度強(qiáng)化學(xué)習(xí)已經(jīng)有了非?？焖偾异`活的技術(shù)。

并且，從AI領(lǐng)域誕生的方法，也能為人類的心理學(xué)和神經(jīng)科學(xué)帶來新的理解。

這篇深度強(qiáng)化學(xué)習(xí)綜述，已經(jīng)獲得了推特觀眾的799贊。

為什么會(huì)慢

最近五年，是DRL爆發(fā)的時(shí)期。一開始，就像人們批判的那樣，算法的確學(xué)得很慢。

但要讓它快起來，首先要知道為什么慢。

DeepMind舉出了兩個(gè)主要原因：

一是增量式的參數(shù)更新?(Incremental Parameter Adjustment) 。最初的算法，從輸入的周圍環(huán)境，到輸出的AI動(dòng)作之間，是靠梯度下降來完成映射的。

在這個(gè)過程中，每個(gè)增量都需要非常小，才不至于讓新學(xué)到的信息，把之前學(xué)到的經(jīng)驗(yàn)覆蓋了 (這叫做“災(zāi)難性干擾”) 。如此一來，學(xué)習(xí)過程便十分緩慢。

二是弱歸納偏置?(Weak Inductive Bias) 。任何學(xué)習(xí)過程，都要面臨“偏見-方差權(quán)衡”。

所謂偏見，就是一開始限定好一些可能的結(jié)果，AI從里面找出自己想要的那一種。限定越窄，AI就可以只考慮為數(shù)不多的可能性，更快地得出結(jié)果。

弱歸納偏置，就需要考慮更多的可能性，學(xué)習(xí)也就慢一些。重要的是，通用神經(jīng)網(wǎng)絡(luò)都是偏見極低的系統(tǒng)，他們有非常大量的參數(shù)，可以用來擬合大范圍的數(shù)據(jù)。

DRL，就是把深度網(wǎng)絡(luò)用到RL里面。所以，最初樣本效率必然是極低，需要大量數(shù)據(jù)來學(xué)習(xí)。

快從慢中來

不過，從最近的研究上看， 這兩個(gè)問題都是有辦法解決的。

DeepMind舉出了兩種方法，對(duì)癥下藥。

首先，解決參數(shù)增量的問題：

方法是情節(jié)性深度強(qiáng)化學(xué)習(xí)?(Episodic DRL) 。就是給過去發(fā)生的事件，保留一個(gè)明確的記錄 (Explicit Record) 。這個(gè)記錄會(huì)作為依據(jù)，指導(dǎo)AI做出新的決策。

它與機(jī)器學(xué)習(xí)里“非參數(shù)”的方法異曲同工，也很像“基于示例 (Exemplar-Based) ”的心理學(xué)原理。

當(dāng)遇到一個(gè)新事件，該做新決策的時(shí)候，就把當(dāng)前事件的內(nèi)部表征 (Internal Representation) ，跟儲(chǔ)存的各種過去事件對(duì)比一下。匹配分?jǐn)?shù)最高的中選。

和增量方法的區(qū)別在于：在這里，從過去的事件里學(xué)到的信息，都可以立刻派上用場(chǎng)，由此加速了學(xué)習(xí)過程。

但注意，快速的情節(jié)學(xué)習(xí)，是以緩慢的增量學(xué)習(xí)為基礎(chǔ)的。

因?yàn)?，在把?dāng)前事件和過去事件的表征作對(duì)比之前，AI先要學(xué)會(huì)這些表征：連接權(quán)重(Connection Weights) 的學(xué)習(xí)，依然要靠增量來進(jìn)行，就像傳統(tǒng)的DRL算法那樣。

慢慢學(xué)好表征之后，才能開始迅猛地奔跑。

DeepMind說，“快從慢中生”并不是什么巧合，在心理學(xué)和神經(jīng)科學(xué)上的體現(xiàn)，不亞于AI領(lǐng)域 (這個(gè)部分，大家可以自行探索原文) 。

然后，再解決歸納偏置的問題：

首先限定好一個(gè)狹窄的范圍，再讓AI去探索。道理都懂，可怎么知道應(yīng)該限定在哪里？

答案是，借鑒過去的經(jīng)驗(yàn)。

打個(gè)比方，第一次用智能手機(jī)的人類，可能從前還用過其他的設(shè)備。那里的經(jīng)驗(yàn)，就可以幫他很快學(xué)會(huì)智能手機(jī)的用法。如果沒有那些經(jīng)驗(yàn)，就只能廣泛嘗試，影響學(xué)習(xí)速度了。

這個(gè)思路，也是從心理學(xué)上來的，叫做“學(xué)著學(xué)習(xí) (Learning to Learn)”。

心理學(xué)家Harry Harlow就曾經(jīng)用猴子來做實(shí)驗(yàn)：給猴子兩個(gè)不熟悉的物體，一個(gè)下面放食物，一個(gè)不放。換兩個(gè)物體，再換兩個(gè)……久之猴子就知道，一邊有食物一邊沒有，不管物體是什么，不管左邊有還是右邊有。

回到AI上來，用過去的經(jīng)驗(yàn)來加速學(xué)習(xí)，在機(jī)器學(xué)習(xí)里叫做元學(xué)習(xí) (Meta-Learning)?。

Wang與Duan帶領(lǐng)的兩項(xiàng)研究，幾乎是同時(shí)發(fā)表。都把這樣的原理用在了深度強(qiáng)化學(xué)習(xí)上，就是元強(qiáng)化學(xué)習(xí) (Meta RL)?。

一個(gè)RNN是用許多互相關(guān)聯(lián)的RL任務(wù)來訓(xùn)練的。

RNN的權(quán)重慢慢調(diào)整，然后可以吸取各種RL任務(wù)里面的共同點(diǎn)，改變網(wǎng)絡(luò)的設(shè)定。原本，它沒辦法做到快速改變，來支持任何一個(gè)單一任務(wù)。

重點(diǎn)來了，從RNN的活動(dòng)動(dòng)態(tài) (Activity Dynamics) 中，可以生出一個(gè)獨(dú)立的RL算法，根據(jù)過往的任務(wù)，快速解決新任務(wù)。

一個(gè)RL算法，能生出另一個(gè)RL算法，這就是元強(qiáng)化學(xué)習(xí)。

像情節(jié)性RL一樣，元RL也涉及了快速和慢速之間的聯(lián)系：

RNN中的連接，是在不同RL任務(wù)的學(xué)習(xí)中緩慢更新的，建立起不同任務(wù)之間共同的部分，把它內(nèi)置到網(wǎng)絡(luò)里去。

讓這個(gè)RNN，來實(shí)現(xiàn)新的RL算法，就可以快速搞定各種情況了。畢竟，已經(jīng)有了慢速學(xué)習(xí)的歸納偏置做基礎(chǔ) (就像人類使用智能手機(jī)之前，已經(jīng)用過其他設(shè)備那樣)。

依然，慢是快的前提。

當(dāng)然，情節(jié)性DRL可以和元RL合在一起用，相輔相成。

在情節(jié)性的元強(qiáng)化學(xué)習(xí)里，元學(xué)習(xí)是在RNN里實(shí)現(xiàn)的，不過上面疊加了一個(gè)情節(jié)記憶系統(tǒng)，作用是恢復(fù)RNN里的活動(dòng)模式 (Patterns of Activity) 。

就像情節(jié)性RL一樣，情節(jié)記憶會(huì)對(duì)各種過去的事件進(jìn)行編目，可以查詢。

但決策過程不一樣，不是按照匹配分?jǐn)?shù)來選擇下一步的動(dòng)作。而是和RNN存儲(chǔ)好的活動(dòng)模式，聯(lián)系起來。

這些模式非常重要，通過RNN，它們可以總結(jié)出智能體學(xué)到的東西。

當(dāng)智能體遇到了類似過去的情況，就會(huì)在從前的經(jīng)驗(yàn)中，恢復(fù)一些隱藏的activations，讓之前學(xué)過的信息立即派上用場(chǎng)，影響當(dāng)前的策略。

這就叫“情節(jié)性元強(qiáng)化學(xué)習(xí)”，可以進(jìn)一步加快強(qiáng)化學(xué)習(xí)的速度。

慢慢地，人們開始減輕對(duì)強(qiáng)化學(xué)習(xí)算法的擔(dān)憂；并重新開始相信，這樣的AI可以模擬人類的學(xué)習(xí)過程。

傳送門

不知未來，不斷加速的強(qiáng)化學(xué)習(xí)，還能在哪些領(lǐng)域超越人類呢？

綜述原文傳送門：

https://www.cell.com/action/showPdf?pii=S1364-6613%2819%2930061-0

— 完 —