AI頂會ICLR，今年只有一家中國大模型公司受邀演講

金磊 假裝發(fā)自 維也納

量子位 | 公眾號 QbitAI

機器學(xué)習(xí)三大頂會之一的ICLR 2024，正在維也納如火如荼地舉行。

雖然首個時間檢驗獎、杰出論文獎等“重頭戲”已經(jīng)陸續(xù)頒布，但在其它環(huán)節(jié)中，我們卻發(fā)現(xiàn)了一件更有意思的事情。

同樣是作為ICLR重要組成部分的特邀演講（Invited Talk），每年都會邀請在機器學(xué)習(xí)領(lǐng)域有突出貢獻和影響力的專家學(xué)者進行演講。

而今年，中國只有一位！

并且僅從他的演講主題The ChatGLM’s Road to AGI中，我們就能挖到更多的線索——

ChatGLM，正是由清華系初創(chuàng)智譜AI所推出的千億參數(shù)大語言模型。

那么被ICLR官方唯一“翻牌”的智譜AI團隊，又在長達1個小時的特邀演講中說了些什么？

我們繼續(xù)往下看。

唯一受邀的中國大模型團隊

在“大模型之戰(zhàn)”開啟以來，智譜AI的ChatGLM不夸張地說，是一直處于國內(nèi)第一梯隊的玩家之一。

事實上，智譜AI從2019年就已經(jīng)入局LLM的研究；從目前的發(fā)展來看，智譜AI與OpenAI在AIGC的各個模態(tài)上均已呈現(xiàn)出生態(tài)對標之勢：

• ChatGPT vs ChatGLM
• DALL·E vs CogView
• Codex vs CodeGeex
• WebGPT vs WebGLM
• GPT-4V vs GLM-4V

雖然生態(tài)對標得很緊密，但從技術(shù)路線上來看，智譜的GLM與GPT是截然不同的。

當下基于Transformer架構(gòu)的模型大致可以分為三類：

僅編碼器架構(gòu)（Encoder-only）、僅解碼器架構(gòu)（Decoder-only）、編碼器-解碼器架構(gòu)（Encoder-Decoder）。

GPT是屬于“僅解碼器架構(gòu)”的玩家，而GLM則是借鑒“編碼器-解碼器架構(gòu)”的思路去發(fā)展；因此也有一番獨樹一幟的味道。

而作為此次唯一被ICLR邀請做演講的中國大模型公司，智譜AI團隊在現(xiàn)場先分享了自己是如何從ChatGLM一步步走向GLM-4V，即從LLM邁向VLM。

我們可以從下面這張發(fā)展時間線中，先有一個整體脈絡(luò)上的感知。

具體到技術(shù)上的實現(xiàn)，比較關(guān)鍵的節(jié)點便是CogVLM的提出，主打讓大模型帶上視覺。

CogVLM模型主要包含四個組件，分別是ViT編碼器、MLP適配器、大型預(yù)訓(xùn)練語言模型和視覺專家模塊。

這個方法可以說是改變了視覺語言模型的訓(xùn)練范式，從淺層對齊轉(zhuǎn)向深度融合。

值得一提的是，CogVLM還被Stable Diffufion 3用來做了圖像標注。

基于此，智譜AI團隊在本次特邀演講環(huán)節(jié)中，更多地介紹并亮出了近期的前沿成果。

例如CogView3，是一個更快、更精細的文生圖模型。

其創(chuàng)新之處便是提出了一個級聯(lián)框架，是第一個在文本到圖像生成領(lǐng)域?qū)崿F(xiàn)級聯(lián)擴散的模型。

從實驗結(jié)果來看，CogView3在人類評估中比當前最先進的開源文本到圖像擴散模型SDXL高出77.0%，同時只需要大約SDXL一半的推理時間。

CogView3的蒸餾變體在性能相當?shù)那闆r下，只需SDXL的1/10的推理時間。

同樣是基于 CogVLM，智譜AI所做的另一項研究CogAgent，則是一款具有視覺Agent能力的大模型。

CogAgent-18B擁有110億的視覺參數(shù)和70億的語言參數(shù), 支持1120*1120分辨率的圖像理解。在CogVLM的能力之上，它進一步擁有了GUI圖像Agent的能力。

據(jù)了解，CogAgent-18B已經(jīng)在9個經(jīng)典的跨模態(tài)基準測試中實現(xiàn)了最先進的通用性能；并且在包括AITW和Mind2Web在內(nèi)的GUI操作數(shù)據(jù)集上顯著超越了現(xiàn)有的模型。

除此之外，智譜AI團隊還提出：AI大模型的智能涌現(xiàn)，關(guān)鍵在于Loss，而并非模型參數(shù)。

為此，團隊提出了Pre-training Loss作為語言模型“涌現(xiàn)能力”的指標，訓(xùn)練了30多個不同模型參數(shù)和數(shù)據(jù)規(guī)模的語言模型，并評估了他們在 12 個英文和中文數(shù)據(jù)集上的表現(xiàn)：

• Pre-training Loss 與下游任務(wù)性能呈負相關(guān)，即預(yù)訓(xùn)練損失越低，下游任務(wù)性能越好。這一結(jié)論適用于不同參數(shù)尺寸的語言模型，不受模型大小、訓(xùn)練數(shù)據(jù)量的影響。
• 對于一些下游任務(wù)，當 Pre-training Loss 低于某個閾值時，性能才會超過隨機猜測水平，呈現(xiàn)出“涌現(xiàn)能力”。這些任務(wù)的性能閾值大致相同，約在2.2左右。
• 即使使用連續(xù)指標評估，仍觀察到“涌現(xiàn)能力”的存在。這表明涌現(xiàn)能力并非由非線性或離散指標導(dǎo)致。

再如針對LLM解決數(shù)學(xué)問題，提出了Self-Critique的迭代訓(xùn)練方法，通過自我反饋機制，幫助LLM同時提升語言和數(shù)學(xué)的能力。

對于ChatGLM通向AGI的后續(xù)計劃，智譜AI在本次特邀演講中也亮出了自己的“三步走”。

首先是GLM-4的后續(xù)升級版本，即GLM-4.5。

據(jù)了解，新升級的模型將基于超級認知SuperIntelligence和超級對齊SuperAlignment技術(shù)，同時在原生多模態(tài)領(lǐng)域和AI安全領(lǐng)域有長足進步。

團隊表示：

通向通用人工智能之路，文本是最關(guān)鍵的基礎(chǔ)。

但下一步則應(yīng)該把文本、圖像、視頻、音頻等多種模態(tài)混合在一起訓(xùn)練，變成一個真正原生的多模態(tài)模型。

其次，為了解決更加復(fù)雜的問題，團隊將引入GLM-OS的概念。

GLM-OS是指以大模型為中心的通用計算系統(tǒng)，具體實現(xiàn)方法如下：

基于已有的All-Tools能力，再加上內(nèi)存記憶memory和自我反饋self-reflection能力，GLM-OS有望成功模仿人類的PDCA機制，即Plan-Do-Check-Act循環(huán)。

首先做出計劃，然后試一試形成反饋，調(diào)整規(guī)劃然后再行動以期達到更好的效果。大模型依靠PDCA循環(huán)機制形成自我反饋和自我提升——恰如人類自己所做的一樣。

最后，是GLM-zero。

這項技術(shù)其實智譜AI從2019年以來便一直在鉆研，主要是研究人類的“無意識”學(xué)習(xí)機制：

當人在睡覺的時候，大腦依然在無意識地學(xué)習(xí)。

“無意識”學(xué)習(xí)機制是人類認知能力的重要組成部分，包括自我學(xué)習(xí)self-instruct、自我反思self-reflection和自我批評self-critics。

團隊認為，人腦中存在著反饋feedback和決策decision-making兩個系統(tǒng)，分別對應(yīng)著LLM大模型和Memory內(nèi)存記憶兩部分，GLM-zero的相關(guān)研究將進一步拓展人類對意識、知識、學(xué)習(xí)行為的理解。

而這也是GLM大模型團隊第一次向外界公開這一技術(shù)趨勢。

當然，除了這場特邀演講之外，回顧本屆ICLR其它亮點，可以說大模型著實是頂流中的頂流。

ICLR 2024，大模型贏麻了

首先是斬獲本屆ICLR頒發(fā)的第一個時間檢驗獎（Test of Time Award）的論文，可以說是經(jīng)典中的經(jīng)典——變分自編碼器（VAE）。

正是這篇11年前的論文，給后續(xù)包括擴散模型在內(nèi)的生成模型帶來重要思想啟發(fā)，也才有了現(xiàn)如今大家所熟知的DALL·E 3、Stable Diffusion等等。

也正因如此，在獎項公布之際便得到了眾多網(wǎng)友的認可，紛紛表示“Well deserved”。

論文一作Diederik Kingma現(xiàn)任DeepMind研究科學(xué)家，也曾是OpenAI創(chuàng)始成員、算法負責(zé)人，還是Adam優(yōu)化器發(fā)明者。

VAE采用了一個關(guān)鍵策略：使用一個較簡單的分布（如高斯分布）來近似復(fù)雜的真實后驗分布。模型的訓(xùn)練通過最大化一個稱為證據(jù)下界（ELBO）的量來實現(xiàn)。

這種方法可以被看作是在圖像重建的同時，對潛在變量的分布施加了一種“規(guī)范化”約束。

與傳統(tǒng)自編碼器相比，VAE所學(xué)習(xí)的潛在表示通常具有更強的解釋性和更好的泛化能力。

在論文的實驗部分，作者展示了VAE在MNIST數(shù)據(jù)集上生成手寫數(shù)字圖像的能力。

ICLR 2024的首個時間檢驗獎還設(shè)置了亞軍（Runner Up）獎項。

同樣也是非常經(jīng)典的一項研究，作者包括OpenAI首席科學(xué)家的Ilya、GAN的發(fā)明者Ian Goodfellow。

這項研究名為Intriguing properties of neural networks，官方對其的評價是：

研究強調(diào)了神經(jīng)網(wǎng)絡(luò)容易受到輸入的微小變化的影響。

這個想法催生了對抗性攻擊（試圖愚弄神經(jīng)網(wǎng)絡(luò)）和對抗性防御（訓(xùn)練神經(jīng)網(wǎng)絡(luò)不被愚弄）領(lǐng)域。

除了時間檢驗獎之外，每年的杰出論文獎（Outstanding Paper Awards）也是必看點之一。

本屆ICLR共有五篇論文榮登杰出論文獎。

第一篇：

Generalization in diffusion models arises from geometry-adaptive harmonic representations

這篇來自紐約大學(xué)、法蘭西學(xué)院的研究，從實驗和理論研究了擴散模型中的記憶和泛化特性。作者根據(jù)經(jīng)驗研究了圖像生成模型何時從記憶輸入轉(zhuǎn)換到泛化機制，并通過 “幾何自適應(yīng)諧波表征 ”與諧波分析的思想建立聯(lián)系，進一步從建筑歸納偏差的角度解釋了這一現(xiàn)象。

第二篇：

Learning Interactive Real-World Simulators

研究機構(gòu)來自UC伯克利、Google DeepMind、MIT、阿爾伯塔大學(xué)。匯集多個來源的數(shù)據(jù)來訓(xùn)練機器人基礎(chǔ)模型是一個長期的宏偉目標。這項名為 “UniSim ”的工作使用基于視覺感知和控制文字描述的統(tǒng)一界面來聚合數(shù)據(jù)，并利用視覺和語言領(lǐng)域的最新發(fā)展，從數(shù)據(jù)中訓(xùn)練機器人模擬器。

第三篇：

Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

來自特拉維夫大學(xué)、IBM的研究深入探討了最近提出的狀態(tài)空間模型和Transformer架構(gòu)對長期順序依賴關(guān)系的建模能力。作者發(fā)現(xiàn)從頭開始訓(xùn)練Transformer模型會導(dǎo)致對其性能的低估，并證明通過預(yù)訓(xùn)練和微調(diào)設(shè)置可以獲得巨大的收益。

第四篇：

Protein Discovery with Discrete Walk-Jump Sampling

基因泰克、紐約大學(xué)的研究解決了基于序列的抗體設(shè)計問題，這是蛋白質(zhì)序列生成模型的一個重要應(yīng)用。作者引入了一種創(chuàng)新而有效的新建模方法，專門用于處理離散蛋白質(zhì)序列數(shù)據(jù)的問題。

第五篇：

Vision Transformers Need Registers

來自Meta等機構(gòu)的研究，識別了vision transformer網(wǎng)絡(luò)特征圖中的偽影，其特點是低信息量背景區(qū)域中的高規(guī)范Tokens。作者對出現(xiàn)這種情況的原因提出了關(guān)鍵假設(shè)，利用額外的register tokens來解決這些偽影問題，從而提高模型在各種任務(wù)中的性能。

而在五篇杰出論文獎中，與大模型相關(guān)的研究就占了四篇，可以說是贏麻了。

除此之外，還有11篇論文獲得了獲得榮譽提名（Honorable mentions），其中三篇論文是全華人陣容。

整體來看，本屆會議共收到了7262 篇提交論文，接收2260篇，整體接收率約為 31%。此外Spotlights論文比例為 5%，Oral論文比例為 1.2%。

One More Thing

ICLR的創(chuàng)立者之一Yann LeCun（另一位是Yoshua Bengio），在會議期間的“出鏡率”可以說是比較高了，頻頻出現(xiàn)在網(wǎng)友的照片中。

而他本人也開心地分享了自己的一張自拍合影：

不過也有網(wǎng)友指出：“拍得不錯，就是可憐手機后邊的兄弟了?！?/p>

以及會場的展廳也是有點意思：

嗯，是有種全球大模型玩家線下battle的既視感了。

時間檢驗獎?wù)撐牡刂罚?br class="sysbr" />[1]https://arxiv.org/abs/1312.6114
[2]https://arxiv.org/abs/1312.6199

杰出論文獎?wù)撐牡刂罚?br class="sysbr" />[1]https://openreview.net/forum?id=ANvmVS2Yr0
[2]https://openreview.net/forum?id=sFyTZEqmUY
[3]https://openreview.net/forum?id=PdaPky8MUn
[4]https://openreview.net/forum?id=zMPHKOmQNb
[5]https://openreview.net/forum?id=2dnO3LLiJ1

參考鏈接：
[1]https://iclr.cc/virtual/2024/calendar?filter_events=Invited+Talk&filter_rooms=
[2]https://twitter.com/ylecun/status/1788560248988373170
[3]https://arxiv.org/abs/2311.03079