機(jī)器如何擁有記憶？DeepMind解讀，最新長程記憶模型和數(shù)據(jù)庫

賴可 2020-02-12 10:23:40 來源：量子位

賴可 編譯
量子位 報(bào)道 | 公眾號 QbitAI

人可以輕易記起幾年前的事情，并根據(jù)那時(shí)的記憶在當(dāng)下繼續(xù)思考。這個(gè)能力對于計(jì)算機(jī)來說，就非常困難。

研究者也一直在為此努力。去年底，為了讓計(jì)算機(jī)有更長程的記憶和推理，Deepmind發(fā)布了一個(gè)新的模型和數(shù)據(jù)集。

近日，DeepMind官方博客發(fā)表了最新的文章，對此進(jìn)一步解讀。文章既回顧了計(jì)算機(jī)處理“記憶“的歷史，也解讀了新的模型和數(shù)據(jù)集獲得的進(jìn)展。

回顧：深度學(xué)習(xí)如何處理記憶

設(shè)計(jì)出交流電系統(tǒng)的發(fā)明家尼古拉曾經(jīng)說：

沒有基于持久印象的記憶或記憶能力。我們所說的記憶就是對重復(fù)刺激的反應(yīng)性增強(qiáng)。

△尼古拉·特斯拉

在AI領(lǐng)域，最早的、也應(yīng)用最廣泛的記憶結(jié)構(gòu)是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，被稱為長短期記憶(LSTM)，適合于處理和預(yù)測時(shí)間序列中間隔和延遲非常長的重要事件。

但是它的計(jì)算效率低下，模型里的模型中可學(xué)習(xí)參數(shù)的數(shù)量會(huì)隨內(nèi)存大小呈二次增長。內(nèi)存大小為64KB的LSTM就會(huì)產(chǎn)生大小為8GB的參數(shù)。

于是，DeepMind提出了新的構(gòu)架DNC，即可微分神經(jīng)計(jì)算機(jī)，使用了更大的內(nèi)容矩陣來增強(qiáng)LSTM。

DNC使用注意力操作來從矩陣中讀取內(nèi)容。類比人的視覺注意力，人會(huì)被想要關(guān)注的事物吸引注意力。比如一個(gè)人會(huì)把注意更多地放在朋友的面部表情上，而不是鞋子。在DNC中，內(nèi)存模型可以處理過去的特定事件和數(shù)據(jù)。

與DNC類似，帶有附加注意力機(jī)制的RNN在翻譯和回答問題上都表現(xiàn)出色。

自然語言模型的發(fā)展

統(tǒng)計(jì)語言建模既能推進(jìn)記憶架構(gòu)的發(fā)展，也能夠促進(jìn)AI領(lǐng)域?qū)ζ毡橹悄艿陌l(fā)展。

語言模型通過連續(xù)預(yù)測文本流中的下一個(gè)單詞來工作。它可以用來模擬現(xiàn)有的文本，也可以用來生成新的文本。在模擬過去方面做得越好，預(yù)測就變得更加準(zhǔn)確，生成的文本也更真實(shí)。

通過對上下文的概率建模，可以進(jìn)行文本預(yù)測和生成。而增加上下文會(huì)提升文本質(zhì)量。因此長程依賴關(guān)系是語言模型的重要挑戰(zhàn)。

WikiText-103是被廣泛使用的長程語言模型。由英文維基百科文章組成，由Salesforce AI的研究人員開發(fā)。文章平均大約有3600個(gè)單詞，在開發(fā)的時(shí)候，遠(yuǎn)遠(yuǎn)超過了當(dāng)時(shí)最先進(jìn)模型的內(nèi)存窗口。

然而，谷歌研究人員最近發(fā)現(xiàn)，一種Transformer變體——叫做TransformerXL——可以保持對過去網(wǎng)絡(luò)活動(dòng)的記憶，并可以使用超過1000個(gè)單詞的上下文。

模型的發(fā)展提出了新的問題：這些基準(zhǔn)測試會(huì)很快飽和嗎?因此，DeepMind發(fā)布了新的的語言模型基準(zhǔn)測試。

數(shù)據(jù)集PG-19

DeepMind發(fā)布的新語言建?；鶞?zhǔn)數(shù)據(jù)集，名為PG-19。

數(shù)據(jù)來源于古登堡計(jì)劃在線圖書館的古籍 (Project Gutenberg online library)，選擇了1919年之前出版的文本。對文本很少預(yù)處理，例如，不限制單詞長度，不審查數(shù)字。

PG-19的大小是之前的語言建?；鶞?zhǔn)測試的兩倍以上，有的文本長度是WikiText-103的10倍以上。

△PG-19與其它語言建?；鶞?zhǔn)比較

新的長程記憶模型

DeepMind還提出了一個(gè)新的長程記憶模型Compressive Transformer。這是一種長時(shí)間連續(xù)的關(guān)注序列模型。

它的靈感來源于睡眠對記憶的壓縮和鞏固。

當(dāng)模型經(jīng)過一系列的輸入時(shí)，類似于記憶片段的顆粒狀記憶會(huì)被收集，隨著時(shí)間的推移，它們最終會(huì)被壓縮。

△用粗壓縮顆粒狀短期記憶來描述過去

DeepMind發(fā)現(xiàn)，在不使用額外訓(xùn)練數(shù)據(jù)集的情況下，Compressive Transformer在為WikiText-103和Enwik8這兩個(gè)基準(zhǔn)建立自然語言模型上，有最先進(jìn)的性能。

它還可以用于語音建模，尤其是處理罕見單詞，并可在增強(qiáng)學(xué)習(xí)代理中使用，來解決記憶任務(wù)。

使用PG-19基準(zhǔn)后，Compressive Transformer的最強(qiáng)性能也能夠獲得提升，可以編寫類似書籍的摘要。

Compressive Transformer能夠產(chǎn)生多種風(fēng)格的敘述，多角色對話，第一人稱日記，或第三人稱散文。盡管該模型對語言的理解不是建立在現(xiàn)實(shí)世界的基礎(chǔ)上的，也不是建立在現(xiàn)實(shí)世界中發(fā)生的事件的基礎(chǔ)上，但是通過捕捉更長程的相關(guān)性，能夠出現(xiàn)更連貫的文本。

記憶構(gòu)架的未來

當(dāng)努力創(chuàng)建操作時(shí)間超過幾天、幾周甚至幾年的智能體時(shí)，在每個(gè)步驟中對所有原始數(shù)據(jù)進(jìn)行計(jì)算是不切實(shí)際的。即使目前計(jì)算能力增長，仍需要為記憶開發(fā)壓縮和稀疏的架構(gòu)，來構(gòu)建操作的表示和推理。

DeepMind認(rèn)為，能夠捕捉到日、月、年經(jīng)驗(yàn)相關(guān)性的模型即將問世。實(shí)現(xiàn)更強(qiáng)大推理，需要對過去進(jìn)行更好的選擇性關(guān)注，以及更有效的壓縮機(jī)制。

傳送門

https://deepmind.com/blog/article/A_new_model_and_dataset_for_long-range_memory

https://arxiv.org/abs/1911.05507

— 完 —