AI頂會(huì)ICLR，今年只有一家中國(guó)大模型公司受邀演講

金磊 假裝發(fā)自 維也納

量子位 | 公眾號(hào) QbitAI

機(jī)器學(xué)習(xí)三大頂會(huì)之一的ICLR 2024，正在維也納如火如荼地舉行。

雖然首個(gè)時(shí)間檢驗(yàn)獎(jiǎng)、杰出論文獎(jiǎng)等“重頭戲”已經(jīng)陸續(xù)頒布，但在其它環(huán)節(jié)中，我們卻發(fā)現(xiàn)了一件更有意思的事情。

同樣是作為ICLR重要組成部分的特邀演講（Invited Talk），每年都會(huì)邀請(qǐng)?jiān)跈C(jī)器學(xué)習(xí)領(lǐng)域有突出貢獻(xiàn)和影響力的專家學(xué)者進(jìn)行演講。

而今年，中國(guó)只有一位！

并且僅從他的演講主題The ChatGLM’s Road to AGI中，我們就能挖到更多的線索——

ChatGLM，正是由清華系初創(chuàng)智譜AI所推出的千億參數(shù)大語言模型。

那么被ICLR官方唯一“翻牌”的智譜AI團(tuán)隊(duì)，又在長(zhǎng)達(dá)1個(gè)小時(shí)的特邀演講中說了些什么？

我們繼續(xù)往下看。

唯一受邀的中國(guó)大模型團(tuán)隊(duì)

在“大模型之戰(zhàn)”開啟以來，智譜AI的ChatGLM不夸張地說，是一直處于國(guó)內(nèi)第一梯隊(duì)的玩家之一。

事實(shí)上，智譜AI從2019年就已經(jīng)入局LLM的研究；從目前的發(fā)展來看，智譜AI與OpenAI在AIGC的各個(gè)模態(tài)上均已呈現(xiàn)出生態(tài)對(duì)標(biāo)之勢(shì)：

• ChatGPT vs ChatGLM
• DALL·E vs CogView
• Codex vs CodeGeex
• WebGPT vs WebGLM
• GPT-4V vs GLM-4V

雖然生態(tài)對(duì)標(biāo)得很緊密，但從技術(shù)路線上來看，智譜的GLM與GPT是截然不同的。

當(dāng)下基于Transformer架構(gòu)的模型大致可以分為三類：

僅編碼器架構(gòu)（Encoder-only）、僅解碼器架構(gòu)（Decoder-only）、編碼器-解碼器架構(gòu)（Encoder-Decoder）。

GPT是屬于“僅解碼器架構(gòu)”的玩家，而GLM則是借鑒“編碼器-解碼器架構(gòu)”的思路去發(fā)展；因此也有一番獨(dú)樹一幟的味道。

而作為此次唯一被ICLR邀請(qǐng)做演講的中國(guó)大模型公司，智譜AI團(tuán)隊(duì)在現(xiàn)場(chǎng)先分享了自己是如何從ChatGLM一步步走向GLM-4V，即從LLM邁向VLM。

我們可以從下面這張發(fā)展時(shí)間線中，先有一個(gè)整體脈絡(luò)上的感知。

具體到技術(shù)上的實(shí)現(xiàn)，比較關(guān)鍵的節(jié)點(diǎn)便是CogVLM的提出，主打讓大模型帶上視覺。

CogVLM模型主要包含四個(gè)組件，分別是ViT編碼器、MLP適配器、大型預(yù)訓(xùn)練語言模型和視覺專家模塊。

這個(gè)方法可以說是改變了視覺語言模型的訓(xùn)練范式，從淺層對(duì)齊轉(zhuǎn)向深度融合。

值得一提的是，CogVLM還被Stable Diffufion 3用來做了圖像標(biāo)注。

基于此，智譜AI團(tuán)隊(duì)在本次特邀演講環(huán)節(jié)中，更多地介紹并亮出了近期的前沿成果。

例如CogView3，是一個(gè)更快、更精細(xì)的文生圖模型。

其創(chuàng)新之處便是提出了一個(gè)級(jí)聯(lián)框架，是第一個(gè)在文本到圖像生成領(lǐng)域?qū)崿F(xiàn)級(jí)聯(lián)擴(kuò)散的模型。

從實(shí)驗(yàn)結(jié)果來看，CogView3在人類評(píng)估中比當(dāng)前最先進(jìn)的開源文本到圖像擴(kuò)散模型SDXL高出77.0%，同時(shí)只需要大約SDXL一半的推理時(shí)間。

CogView3的蒸餾變體在性能相當(dāng)?shù)那闆r下，只需SDXL的1/10的推理時(shí)間。

同樣是基于 CogVLM，智譜AI所做的另一項(xiàng)研究CogAgent，則是一款具有視覺Agent能力的大模型。

CogAgent-18B擁有110億的視覺參數(shù)和70億的語言參數(shù), 支持1120*1120分辨率的圖像理解。在CogVLM的能力之上，它進(jìn)一步擁有了GUI圖像Agent的能力。

據(jù)了解，CogAgent-18B已經(jīng)在9個(gè)經(jīng)典的跨模態(tài)基準(zhǔn)測(cè)試中實(shí)現(xiàn)了最先進(jìn)的通用性能；并且在包括AITW和Mind2Web在內(nèi)的GUI操作數(shù)據(jù)集上顯著超越了現(xiàn)有的模型。

除此之外，智譜AI團(tuán)隊(duì)還提出：AI大模型的智能涌現(xiàn)，關(guān)鍵在于Loss，而并非模型參數(shù)。

為此，團(tuán)隊(duì)提出了Pre-training Loss作為語言模型“涌現(xiàn)能力”的指標(biāo)，訓(xùn)練了30多個(gè)不同模型參數(shù)和數(shù)據(jù)規(guī)模的語言模型，并評(píng)估了他們?cè)?12 個(gè)英文和中文數(shù)據(jù)集上的表現(xiàn)：

• Pre-training Loss 與下游任務(wù)性能呈負(fù)相關(guān)，即預(yù)訓(xùn)練損失越低，下游任務(wù)性能越好。這一結(jié)論適用于不同參數(shù)尺寸的語言模型，不受模型大小、訓(xùn)練數(shù)據(jù)量的影響。
• 對(duì)于一些下游任務(wù)，當(dāng) Pre-training Loss 低于某個(gè)閾值時(shí)，性能才會(huì)超過隨機(jī)猜測(cè)水平，呈現(xiàn)出“涌現(xiàn)能力”。這些任務(wù)的性能閾值大致相同，約在2.2左右。
• 即使使用連續(xù)指標(biāo)評(píng)估，仍觀察到“涌現(xiàn)能力”的存在。這表明涌現(xiàn)能力并非由非線性或離散指標(biāo)導(dǎo)致。

再如針對(duì)LLM解決數(shù)學(xué)問題，提出了Self-Critique的迭代訓(xùn)練方法，通過自我反饋機(jī)制，幫助LLM同時(shí)提升語言和數(shù)學(xué)的能力。

對(duì)于ChatGLM通向AGI的后續(xù)計(jì)劃，智譜AI在本次特邀演講中也亮出了自己的“三步走”。

首先是GLM-4的后續(xù)升級(jí)版本，即GLM-4.5。

據(jù)了解，新升級(jí)的模型將基于超級(jí)認(rèn)知SuperIntelligence和超級(jí)對(duì)齊SuperAlignment技術(shù)，同時(shí)在原生多模態(tài)領(lǐng)域和AI安全領(lǐng)域有長(zhǎng)足進(jìn)步。

團(tuán)隊(duì)表示：

通向通用人工智能之路，文本是最關(guān)鍵的基礎(chǔ)。

但下一步則應(yīng)該把文本、圖像、視頻、音頻等多種模態(tài)混合在一起訓(xùn)練，變成一個(gè)真正原生的多模態(tài)模型。

其次，為了解決更加復(fù)雜的問題，團(tuán)隊(duì)將引入GLM-OS的概念。

GLM-OS是指以大模型為中心的通用計(jì)算系統(tǒng)，具體實(shí)現(xiàn)方法如下：

基于已有的All-Tools能力，再加上內(nèi)存記憶memory和自我反饋self-reflection能力，GLM-OS有望成功模仿人類的PDCA機(jī)制，即Plan-Do-Check-Act循環(huán)。

首先做出計(jì)劃，然后試一試形成反饋，調(diào)整規(guī)劃然后再行動(dòng)以期達(dá)到更好的效果。大模型依靠PDCA循環(huán)機(jī)制形成自我反饋和自我提升——恰如人類自己所做的一樣。

最后，是GLM-zero。

這項(xiàng)技術(shù)其實(shí)智譜AI從2019年以來便一直在鉆研，主要是研究人類的“無意識(shí)”學(xué)習(xí)機(jī)制：

當(dāng)人在睡覺的時(shí)候，大腦依然在無意識(shí)地學(xué)習(xí)。

“無意識(shí)”學(xué)習(xí)機(jī)制是人類認(rèn)知能力的重要組成部分，包括自我學(xué)習(xí)self-instruct、自我反思self-reflection和自我批評(píng)self-critics。

團(tuán)隊(duì)認(rèn)為，人腦中存在著反饋feedback和決策decision-making兩個(gè)系統(tǒng)，分別對(duì)應(yīng)著LLM大模型和Memory內(nèi)存記憶兩部分，GLM-zero的相關(guān)研究將進(jìn)一步拓展人類對(duì)意識(shí)、知識(shí)、學(xué)習(xí)行為的理解。

而這也是GLM大模型團(tuán)隊(duì)第一次向外界公開這一技術(shù)趨勢(shì)。

當(dāng)然，除了這場(chǎng)特邀演講之外，回顧本屆ICLR其它亮點(diǎn)，可以說大模型著實(shí)是頂流中的頂流。

ICLR 2024，大模型贏麻了

首先是斬獲本屆ICLR頒發(fā)的第一個(gè)時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time Award）的論文，可以說是經(jīng)典中的經(jīng)典——變分自編碼器（VAE）。

正是這篇11年前的論文，給后續(xù)包括擴(kuò)散模型在內(nèi)的生成模型帶來重要思想啟發(fā)，也才有了現(xiàn)如今大家所熟知的DALL·E 3、Stable Diffusion等等。

也正因如此，在獎(jiǎng)項(xiàng)公布之際便得到了眾多網(wǎng)友的認(rèn)可，紛紛表示“Well deserved”。

論文一作Diederik Kingma現(xiàn)任DeepMind研究科學(xué)家，也曾是OpenAI創(chuàng)始成員、算法負(fù)責(zé)人，還是Adam優(yōu)化器發(fā)明者。

VAE采用了一個(gè)關(guān)鍵策略：使用一個(gè)較簡(jiǎn)單的分布（如高斯分布）來近似復(fù)雜的真實(shí)后驗(yàn)分布。模型的訓(xùn)練通過最大化一個(gè)稱為證據(jù)下界（ELBO）的量來實(shí)現(xiàn)。

這種方法可以被看作是在圖像重建的同時(shí)，對(duì)潛在變量的分布施加了一種“規(guī)范化”約束。

與傳統(tǒng)自編碼器相比，VAE所學(xué)習(xí)的潛在表示通常具有更強(qiáng)的解釋性和更好的泛化能力。

在論文的實(shí)驗(yàn)部分，作者展示了VAE在MNIST數(shù)據(jù)集上生成手寫數(shù)字圖像的能力。

ICLR 2024的首個(gè)時(shí)間檢驗(yàn)獎(jiǎng)還設(shè)置了亞軍（Runner Up）獎(jiǎng)項(xiàng)。

同樣也是非常經(jīng)典的一項(xiàng)研究，作者包括OpenAI首席科學(xué)家的Ilya、GAN的發(fā)明者Ian Goodfellow。

這項(xiàng)研究名為Intriguing properties of neural networks，官方對(duì)其的評(píng)價(jià)是：

研究強(qiáng)調(diào)了神經(jīng)網(wǎng)絡(luò)容易受到輸入的微小變化的影響。

這個(gè)想法催生了對(duì)抗性攻擊（試圖愚弄神經(jīng)網(wǎng)絡(luò)）和對(duì)抗性防御（訓(xùn)練神經(jīng)網(wǎng)絡(luò)不被愚弄）領(lǐng)域。

除了時(shí)間檢驗(yàn)獎(jiǎng)之外，每年的杰出論文獎(jiǎng)（Outstanding Paper Awards）也是必看點(diǎn)之一。

本屆ICLR共有五篇論文榮登杰出論文獎(jiǎng)。

第一篇：

Generalization in diffusion models arises from geometry-adaptive harmonic representations

這篇來自紐約大學(xué)、法蘭西學(xué)院的研究，從實(shí)驗(yàn)和理論研究了擴(kuò)散模型中的記憶和泛化特性。作者根據(jù)經(jīng)驗(yàn)研究了圖像生成模型何時(shí)從記憶輸入轉(zhuǎn)換到泛化機(jī)制，并通過 “幾何自適應(yīng)諧波表征 ”與諧波分析的思想建立聯(lián)系，進(jìn)一步從建筑歸納偏差的角度解釋了這一現(xiàn)象。

第二篇：

Learning Interactive Real-World Simulators

研究機(jī)構(gòu)來自UC伯克利、Google DeepMind、MIT、阿爾伯塔大學(xué)。匯集多個(gè)來源的數(shù)據(jù)來訓(xùn)練機(jī)器人基礎(chǔ)模型是一個(gè)長(zhǎng)期的宏偉目標(biāo)。這項(xiàng)名為 “UniSim ”的工作使用基于視覺感知和控制文字描述的統(tǒng)一界面來聚合數(shù)據(jù)，并利用視覺和語言領(lǐng)域的最新發(fā)展，從數(shù)據(jù)中訓(xùn)練機(jī)器人模擬器。

第三篇：

Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

來自特拉維夫大學(xué)、IBM的研究深入探討了最近提出的狀態(tài)空間模型和Transformer架構(gòu)對(duì)長(zhǎng)期順序依賴關(guān)系的建模能力。作者發(fā)現(xiàn)從頭開始訓(xùn)練Transformer模型會(huì)導(dǎo)致對(duì)其性能的低估，并證明通過預(yù)訓(xùn)練和微調(diào)設(shè)置可以獲得巨大的收益。

第四篇：

Protein Discovery with Discrete Walk-Jump Sampling

基因泰克、紐約大學(xué)的研究解決了基于序列的抗體設(shè)計(jì)問題，這是蛋白質(zhì)序列生成模型的一個(gè)重要應(yīng)用。作者引入了一種創(chuàng)新而有效的新建模方法，專門用于處理離散蛋白質(zhì)序列數(shù)據(jù)的問題。

第五篇：

Vision Transformers Need Registers

來自Meta等機(jī)構(gòu)的研究，識(shí)別了vision transformer網(wǎng)絡(luò)特征圖中的偽影，其特點(diǎn)是低信息量背景區(qū)域中的高規(guī)范Tokens。作者對(duì)出現(xiàn)這種情況的原因提出了關(guān)鍵假設(shè)，利用額外的register tokens來解決這些偽影問題，從而提高模型在各種任務(wù)中的性能。

而在五篇杰出論文獎(jiǎng)中，與大模型相關(guān)的研究就占了四篇，可以說是贏麻了。

除此之外，還有11篇論文獲得了獲得榮譽(yù)提名（Honorable mentions），其中三篇論文是全華人陣容。

整體來看，本屆會(huì)議共收到了7262 篇提交論文，接收2260篇，整體接收率約為 31%。此外Spotlights論文比例為 5%，Oral論文比例為 1.2%。

One More Thing

ICLR的創(chuàng)立者之一Yann LeCun（另一位是Yoshua Bengio），在會(huì)議期間的“出鏡率”可以說是比較高了，頻頻出現(xiàn)在網(wǎng)友的照片中。

而他本人也開心地分享了自己的一張自拍合影：

不過也有網(wǎng)友指出：“拍得不錯(cuò)，就是可憐手機(jī)后邊的兄弟了?！?/p>

以及會(huì)場(chǎng)的展廳也是有點(diǎn)意思：

嗯，是有種全球大模型玩家線下battle的既視感了。

時(shí)間檢驗(yàn)獎(jiǎng)?wù)撐牡刂罚?br class="sysbr" />[1]https://arxiv.org/abs/1312.6114
[2]https://arxiv.org/abs/1312.6199

杰出論文獎(jiǎng)?wù)撐牡刂罚?br class="sysbr" />[1]https://openreview.net/forum?id=ANvmVS2Yr0
[2]https://openreview.net/forum?id=sFyTZEqmUY
[3]https://openreview.net/forum?id=PdaPky8MUn
[4]https://openreview.net/forum?id=zMPHKOmQNb
[5]https://openreview.net/forum?id=2dnO3LLiJ1

參考鏈接：
[1]https://iclr.cc/virtual/2024/calendar?filter_events=Invited+Talk&filter_rooms=
[2]https://twitter.com/ylecun/status/1788560248988373170
[3]https://arxiv.org/abs/2311.03079