RNN在大模型時(shí)代「復(fù)活」，27家機(jī)構(gòu)聯(lián)名重磅論文來了！模型已在GitHub攬星7.2k

衡宇 2023-05-23 13:55:04 來源：量子位

夢晨 衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

ChatGPT爆火以來，大語言模型和Transformer幾乎成了同義詞，然而真的如此嗎？

剛剛，一個(gè)由國人主導(dǎo)，總共27所大學(xué)、研究機(jī)構(gòu)和公司組成的開源研究團(tuán)隊(duì)，聯(lián)名發(fā)表重磅論文《RWKV：在Transformer的時(shí)代重新發(fā)明RNN》，受到學(xué)術(shù)界大量關(guān)注。

RWKV就是論文中提出的新深度學(xué)習(xí)模型架構(gòu)，以循環(huán)神經(jīng)網(wǎng)絡(luò)RNN為基礎(chǔ)魔改而來。

實(shí)際上RWKV模型的開源發(fā)布比論文要早不少，并且已經(jīng)在開源社區(qū)和行業(yè)內(nèi)產(chǎn)生不小影響力。

其創(chuàng)始人彭博在知乎等平臺也非?；钴S。

在人類玩家打分的大模型匿名競技場Chatbot Arena最新一期榜單中，RWKV在一眾Transformer中排名第6，并且與7-11名相比拉開一個(gè)分?jǐn)?shù)段。

并且RWKV也有在線Demo可玩。（地址在文末）

有意思的是，參與論文的EleutherAI實(shí)驗(yàn)室表示，論文還不是完全版本，由于不便公布的截止日期而被迫提前發(fā)布，以后還會繼續(xù)完善。

那么就先來看一下，到目前為止RWKV團(tuán)隊(duì)都做出了哪些成果。

時(shí)間復(fù)雜度比GPT低

RWKV設(shè)計(jì)靈感來自蘋果21年的研究《An Attention Free Transform》，團(tuán)隊(duì)意識到如果在公式中使用循環(huán)矩陣（circular matrices）就可以將網(wǎng)絡(luò)結(jié)構(gòu)寫成RNN。

與GPT系列的時(shí)間復(fù)雜度O(n^2)相比，RNN的時(shí)間復(fù)雜度只有O(n),空間復(fù)雜度是O(1)。

這意味著生成內(nèi)容的速度不會隨長度而夸張?jiān)鰸q，顯存占用也是恒定的。

一作彭博在接受36kr采訪時(shí)曾這樣形容：

GPT每寫一個(gè)字就要重新看一遍前面所有文字，效率很低。而RWKV就相當(dāng)于人類讀了一遍資料后，在不再看資料的情況下直接回答。

傳統(tǒng)RNN由于并行化的方式難以擴(kuò)大規(guī)模，RWKV通過使每個(gè)通道的時(shí)間衰減與數(shù)據(jù)無關(guān)，可以在訓(xùn)練期間像Transformer一樣做并行化。

訓(xùn)練好的140億參數(shù)RWKV在多個(gè)數(shù)據(jù)集上的表現(xiàn)與開源Transformer大模型相當(dāng)。

另外團(tuán)隊(duì)指出RWKV并非沒有缺陷，雖然大致與Transformer的性能匹配，但對提示更敏感，并難以整合非常長的信息。

物理出身現(xiàn)在賣燈的論文一作

RWKV背后是一支不小的論文團(tuán)隊(duì)，總共27家大學(xué)、研究機(jī)構(gòu)和公司組成，作者達(dá)30人。

論文一作Peng Bo，畢業(yè)于香港大學(xué)物理系，編程經(jīng)驗(yàn)20+年，曾在世界最大外匯對沖基金之一Ortus Capital就職，負(fù)責(zé)高頻量化交易。

還出版過一本關(guān)于深度卷積網(wǎng)絡(luò)的書籍《深度卷積網(wǎng)絡(luò)·原理與實(shí)踐》。

他的主要關(guān)注和興趣方向在軟硬件開發(fā)方面，在此前的公開訪談中，他曾明確表示AIGC是自己的興趣所在，尤其是小說生成。

目前，Peng Bo在Github有1.3k的followers，知乎粉絲已經(jīng)超過了11萬人，隨著RWKV論文的發(fā)布，這個(gè)數(shù)字還在增加。

除了關(guān)注RWKV模型、論文發(fā)布和最新進(jìn)展，吃瓜網(wǎng)友們最訝異的還是Peng Bo的身份之多樣：

不僅僅是RWKV模型一作、元智能OS創(chuàng)始人，他的最主要公開身份是一家燈具公司稟臨科技的聯(lián)合創(chuàng)始人，主要是做陽光燈、吸頂燈、便攜臺燈什么的。

乍一看這個(gè)跨行有點(diǎn)猛，物理出生，搞過量化金融，寫了20年程序，然后主業(yè)賣燈，根據(jù)愛好搞了個(gè)大模型，走的還不是主流transformer路線……

并且Peng Bo本人應(yīng)該是一個(gè)喵星人資深愛好者，Github、知乎、微信頭像，以及燈具公司的官網(wǎng)首頁、微博上，都有一只黃色橘貓的身影。

ps. 如果你也好奇RWKV這個(gè)詞該怎么讀，根據(jù)元智能OS團(tuán)隊(duì)在播客《三五環(huán)》的讀法，應(yīng)該是“Rua庫”

論文地址：
https://arxiv.org/abs/2305.13048
RWKV模型下載：
https://huggingface.co/BlinkDL/rwkv-4-raven
在線試玩：
https://www.codewithgpu.com/i/app/BlinkDL/ChatRWKV/RWKV-4-Raven-7B

參考鏈接：
[1]https://twitter.com/AiEleuther/status/1660811180901019648
[2]https://zhuanlan.zhihu.com/p/618011122
[3]https://36kr.com/p/2257744759205508
[4]https://www.xiaoyuzhoufm.com/episode/645b68e0306513184c97034b