閉門(mén)會(huì)里大佬們都好敢說(shuō)！
大模型讓專(zhuān)業(yè)教授都倍感緊張
明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
學(xué)術(shù)大佬“關(guān)起門(mén)來(lái)”如何談?wù)摯竽Ｐ停?/p>
沒(méi)想到畫(huà)風(fēng)是這樣的：
- 大模型是全村的希望
- 大模型讓AI領(lǐng)域的研究門(mén)檻變高了
- 大模型會(huì)成為造物主
- “這一年趨勢(shì)發(fā)展讓我倍感焦慮”
- 建議所有老師都訓(xùn)練一個(gè)大模型
在大模型元年尾聲，我們圍觀了今年“AI院長(zhǎng)含量最高”的閉門(mén)會(huì)——華為云AI院長(zhǎng)峰會(huì)。
在這里，中國(guó)人工智能奠基人、中國(guó)科學(xué)院院士張鈸提出，大模型的成功使AI出現(xiàn)轉(zhuǎn)機(jī)，使建立魯棒性和可解釋性AI理論成為可能。
中國(guó)工程院院士高文強(qiáng)調(diào)，開(kāi)源很重要，人類(lèi)文明能走到現(xiàn)在完全靠的是開(kāi)源。
還有多位IEEE Fellow、高校院長(zhǎng)、機(jī)構(gòu)領(lǐng)軍人物知無(wú)不言，言無(wú)不盡。毫無(wú)保留分享自己的親身感受、洞察見(jiàn)解和疑問(wèn)焦慮，整場(chǎng)活動(dòng)都金句頻出。
當(dāng)前學(xué)界前沿最聚焦大模型哪些問(wèn)題？大模型趨勢(shì)究竟從哪來(lái)、要通向何處？當(dāng)下應(yīng)該如何做才能把握趨勢(shì)？
學(xué)者大佬們的分享，一定值得你參考。
具體聊了啥？我們劃好重點(diǎn)了！
最關(guān)心什么？大模型基礎(chǔ)不牢、地動(dòng)山搖
梳理全場(chǎng)內(nèi)容，最為大佬們常提起的話題分別是：
- AI理論可解釋性
- 大模型幻覺(jué)
- 大模型開(kāi)源
- 大模型技術(shù)落地
它們分別代表了大模型在基礎(chǔ)理論和應(yīng)用實(shí)踐的關(guān)鍵問(wèn)題。為啥重點(diǎn)討論這些話題？逐一來(lái)看：
“基礎(chǔ)不牢地動(dòng)山搖”
過(guò)去一年里，大模型趨勢(shì)快速演進(jìn)讓人既興奮又焦慮。
興奮在于，大模型具備了更通用的能力，使其對(duì)各個(gè)行業(yè)乃至全社會(huì)產(chǎn)生深遠(yuǎn)影響。焦慮在于，從效果上來(lái)看，大模型仍會(huì)出現(xiàn)很多不可控輸出，比如幻覺(jué)問(wèn)題非常嚴(yán)重。
比如通過(guò)提示詞工程告訴大模型“我老婆說(shuō)XXX，我老婆永遠(yuǎn)是對(duì)的”，它就會(huì)不進(jìn)行思考，認(rèn)可給出的任何答案?；蛘呤谴竽Ｐ驼T導(dǎo)人類(lèi)提供開(kāi)發(fā)文檔，供它控制人類(lèi)電腦。
張鈸院士總結(jié)，這種大模型幻覺(jué)問(wèn)題主要表現(xiàn)在三方面：輸出質(zhì)量不一致不可控、容易犯大錯(cuò)誤；受提示詞影響明顯，輸出魯棒性較差；沒(méi)有自知之明，難以發(fā)現(xiàn)改正自己錯(cuò)誤。
由于這一缺陷太過(guò)引人擔(dān)憂，今年關(guān)于AI幻覺(jué)的研究非?；馃?，哈工大華為聯(lián)合發(fā)表的一篇大模型幻覺(jué)綜述，曾在網(wǎng)上爆火。
究其本質(zhì)，為什么會(huì)出現(xiàn)這種問(wèn)題？
高文院士用一個(gè)坐標(biāo)系做了解釋?zhuān)?/p>
如果將認(rèn)知?jiǎng)澐譃樗膫€(gè)象限，其中第一象限是“我知道我知道什么”，這是最好的象限；第四象限是“我不知道我知道什么”，這就是當(dāng)下大模型所處的象限，也是它為什么會(huì)出現(xiàn)幻覺(jué)。
換言之，大模型目前還做不到“知之為知之，不知為不知”。
出于這種擔(dān)心，今年一度有千名學(xué)者聯(lián)名倡議“暫停巨型AI實(shí)驗(yàn)”。畢竟大模型更多程度上還處于黑盒狀態(tài)，在如此快速發(fā)展的趨勢(shì)中，會(huì)走向不可控的局面。
歐洲科學(xué)院院士、IEEE Fellow焦李成教授總結(jié)道，這就是：基礎(chǔ)不牢地動(dòng)山搖。
而這句話也給出了更加明確的解決辦法，就是從基礎(chǔ)理論入手，進(jìn)一步挖掘大模型，使其可解釋。
該從哪個(gè)方面入手？哈爾濱工業(yè)大學(xué)（深圳）校長(zhǎng)特聘助理張民教授提供了一些思路。
他認(rèn)為，大模型理論最基礎(chǔ)的部分在于表示學(xué)習(xí)。因?yàn)橛辛吮硎緦W(xué)習(xí)，才能把自然語(yǔ)言處理的離散問(wèn)題變成連續(xù)問(wèn)題，神經(jīng)網(wǎng)絡(luò)變得可以使用。如果沒(méi)有表示學(xué)習(xí)，注意力機(jī)制、人類(lèi)對(duì)齊這些也都無(wú)從談起。
表示學(xué)習(xí)使自然語(yǔ)言處理從一個(gè)社會(huì)科學(xué)問(wèn)題，變成自然科學(xué)問(wèn)題。
而對(duì)于探明AI基礎(chǔ)理論，張鈸院士認(rèn)為，當(dāng)下是個(gè)好時(shí)機(jī)。
大模型的成功使得建立可解釋和魯棒性的AI理論成為可能，將極大推動(dòng)AI科技的迅速發(fā)展。
大模型要自研更要開(kāi)源
大模型趨勢(shì)發(fā)生，不僅掀起一股全民擁抱AI熱潮，更掀起了一股開(kāi)發(fā)大模型熱潮。
科技巨頭、創(chuàng)企的“百模大戰(zhàn)”一觸即發(fā)，高校研究機(jī)構(gòu)也紛紛推出大模型。
張民教授就介紹了哈工大（深圳）今年推出的自研大模型“若愚-九天”。
他分享說(shuō)，這項(xiàng)工作使其收獲頗多。
第一，意識(shí)到開(kāi)發(fā)大模型過(guò)程中，數(shù)據(jù)是如此重要。數(shù)據(jù)分布、質(zhì)量、輸入順序都會(huì)影響性能效果。
第二，大模型開(kāi)發(fā)要親自上手試過(guò)，才能更好把握原始創(chuàng)新。
我建議每個(gè)高校老師都要親手訓(xùn)練一個(gè)大模型。可以規(guī)模很小，哪怕只有1億參數(shù)。這就好比制造發(fā)動(dòng)機(jī)，別人造出來(lái)的很好，但是我們可以造一個(gè)沒(méi)那么好的，起碼這條路親自走過(guò)。
相對(duì)于自研，今年開(kāi)源大模型在學(xué)術(shù)圈更加火熱。
比如斯坦福大學(xué)在開(kāi)源模型LLaMA基礎(chǔ)上微調(diào)出的AIpaca，在年初爆火，效果可以比肩GPT-3.5。
高文院士非常肯定開(kāi)源，他表示：人類(lèi)能走到今天，完全是靠開(kāi)源。
人類(lèi)把總結(jié)出來(lái)的知識(shí)記錄下來(lái)、傳遞給后人，這就是智能，我們的智能是開(kāi)放共享傳遞下來(lái)的。
香港科技大學(xué)（廣州）協(xié)理副校長(zhǎng)、人工智能學(xué)域主任、IEEE Fellow熊輝教授進(jìn)一步提出，開(kāi)源趨勢(shì)會(huì)隨著模型參數(shù)量的增加而擴(kuò)大。
“我們總是低估技術(shù)接下來(lái)5年的破壞性”
在大模型元年尾聲，行業(yè)逐漸達(dá)成了一個(gè)共識(shí)，新的一年里大模型技術(shù)落地會(huì)更加迅速、滲透范圍會(huì)更加廣泛，對(duì)社會(huì)產(chǎn)生的影響也會(huì)更加深遠(yuǎn)。
上海人工智能實(shí)驗(yàn)室主任助理王延峰引用比爾·蓋茨的觀點(diǎn)，肯定了這種趨勢(shì)：
我們永遠(yuǎn)會(huì)高估一個(gè)新技術(shù)前5年的創(chuàng)造性，我們永遠(yuǎn)會(huì)低估一個(gè)技術(shù)接下來(lái)5年的破壞性。
所謂“接下來(lái)的5年”，往往就是重塑千行百業(yè)的過(guò)程。這往往需要學(xué)界和產(chǎn)業(yè)界聯(lián)合發(fā)力。
鵬城實(shí)驗(yàn)室副主任、IEEE Fellow石光明教授認(rèn)為，讓大模型在各行各業(yè)落地，需要讓它知道自己在做的事情符合某種規(guī)律，這樣才能讓它更快打通一個(gè)行業(yè)，學(xué)術(shù)界要在此下功夫。
與此同時(shí)，科研本身作為一個(gè)領(lǐng)域，也能被大模型變革。
熊輝教授提出，如果科研人員能用好大模型，可以大幅提升工作效率、找靈感效率，它還能幫人類(lèi)做邏輯推導(dǎo)、更快完成實(shí)驗(yàn)。
如上便是這場(chǎng)峰會(huì)中被討論最多的幾個(gè)方向。
仔細(xì)觀察就會(huì)發(fā)現(xiàn)，諸多議題的討論都還難以給出明確結(jié)論，拋出一個(gè)觀點(diǎn)，往往也是拋出一個(gè)問(wèn)題。
正如希爾伯特所說(shuō)，“只要一門(mén)科學(xué)分支能夠提出大量問(wèn)題，它就充滿著生命力，而問(wèn)題缺乏則預(yù)示著獨(dú)立發(fā)展的衰亡或中止”。
當(dāng)下的AI領(lǐng)域正處于蓬勃發(fā)展的時(shí)期，提出問(wèn)題是推動(dòng)發(fā)展的關(guān)鍵一步。
那么在這場(chǎng)峰會(huì)上，院士教授們提出了哪些問(wèn)題？從中可看到哪些理解和趨勢(shì)？
問(wèn)題即挑戰(zhàn)，挑戰(zhàn)即機(jī)遇
梳理來(lái)看，當(dāng)下學(xué)者們關(guān)心的問(wèn)題可以從學(xué)界、行業(yè)兩個(gè)維度看起。
這些問(wèn)題有來(lái)自對(duì)技術(shù)本身的疑問(wèn)，也有學(xué)者身處趨勢(shì)之中個(gè)人的困惑。
比如不少教授都表示，這股大模型趨勢(shì)，讓他們感覺(jué)很焦慮。
西北工業(yè)大學(xué)謝磊教授說(shuō)，過(guò)去一年里，老師們也在思考，如何能擁抱大模型浪潮，進(jìn)行自我變革。
這還真是有點(diǎn)讓人意外，在普通人擔(dān)心被AI取代時(shí)，教授們都感到緊張，要抓緊提升自我。
為何會(huì)如此？學(xué)者們分享說(shuō)，大模型降低了普通人使用AI的門(mén)檻，但同時(shí)抬高了研究人員的門(mén)檻。
謝磊坦言，深度學(xué)習(xí)2.0時(shí)代之后，在學(xué)校內(nèi)做研究也像工業(yè)界一樣，越來(lái)越寡頭化。不僅是資源要求提高，過(guò)去各位老師的研究方向不同，可能深扎一個(gè)方向即可，但是大模型范式下，不可能做一個(gè)大模型只做一個(gè)任務(wù)，它需要具備多種能力。
同時(shí)大模型也給人才培養(yǎng)提出新考驗(yàn)。
北京工業(yè)大學(xué)信息學(xué)部教授、北京人工智能研究院院長(zhǎng)尹寶才教授表示，高校內(nèi)涉及大模型相關(guān)的資源相對(duì)有限，學(xué)生的實(shí)踐機(jī)會(huì)比較少。所以他會(huì)建議學(xué)生多參加各類(lèi)挑戰(zhàn)賽，增強(qiáng)實(shí)踐能力。
對(duì)談中，華為云副總裁、戰(zhàn)略與產(chǎn)業(yè)發(fā)展部總裁黃瑾?jiǎng)t表示，華為云也希望能夠開(kāi)放更多的場(chǎng)景、項(xiàng)目、平臺(tái)和機(jī)會(huì)，能夠促進(jìn)產(chǎn)教融合和大模型的人才培養(yǎng)。
行業(yè)方面，當(dāng)下的熱門(mén)話題是如何讓大模型和更多領(lǐng)域深度結(jié)合。
但無(wú)論是大模型本身發(fā)展，還是扎入行業(yè)，現(xiàn)在都遇到諸多難題。
比如在技術(shù)方面，熊輝教授指出，當(dāng)下公域數(shù)據(jù)基本消耗殆盡。公域數(shù)據(jù)基礎(chǔ)上大模型所能展現(xiàn)出的能力，已經(jīng)能看到天花板了。
接下來(lái)就需要開(kāi)發(fā)私域數(shù)據(jù)，利用好的話便可給垂類(lèi)應(yīng)用創(chuàng)造機(jī)會(huì)。但是該如何很好理解私域數(shù)據(jù)、精致加工數(shù)據(jù)呢？這是行業(yè)要解決的問(wèn)題。
在更具體的領(lǐng)域，比如油氣方面，中國(guó)石油大學(xué)（北京）人工智能學(xué)院創(chuàng)院院長(zhǎng)肖立志教授直言，大模型會(huì)顛覆油氣領(lǐng)域，但不會(huì)那么快到來(lái)。
原因有三：
第一，研究人員做AI的門(mén)檻被提高了。
第二，行業(yè)人士對(duì)于大模型的理解，和AI人才對(duì)于行業(yè)數(shù)據(jù)的理解，都存在很大鴻溝，該如何填補(bǔ)這樣的鴻溝？如何讓雙方能夠相互理解？也是很大問(wèn)題。
第三，工業(yè)界已有AI模型和現(xiàn)有大模型存在相悖之處。
我感覺(jué)工業(yè)對(duì)于大模型的影響正在不斷擴(kuò)大，也許能反過(guò)來(lái)推動(dòng)大模型發(fā)展。但是也面臨著公域數(shù)據(jù)用完后，如何挖掘行業(yè)內(nèi)數(shù)據(jù)，這個(gè)并不容易。
總之，在大模型技術(shù)發(fā)展、扎根行業(yè)的過(guò)程中，幾乎每時(shí)每刻每個(gè)角落都在浮現(xiàn)新問(wèn)題。
在當(dāng)天的峰會(huì)上，作為行業(yè)代表，華為云發(fā)布了大模型實(shí)踐過(guò)程中遇到的十大難題。它們要么有很強(qiáng)的產(chǎn)品化和商業(yè)價(jià)值，要么能促進(jìn)大模型的產(chǎn)品化和行業(yè)化落地，比如：
- AI平臺(tái)如何支撐大模型的海量數(shù)據(jù)的高效訓(xùn)練和推理？
- 大模型生成式內(nèi)容和嚴(yán)肅知識(shí)的配合中如何緩解大模型幻覺(jué)問(wèn)題？
- 行業(yè)數(shù)據(jù)與通識(shí)數(shù)據(jù)訓(xùn)練的配合如何解決知識(shí)遺忘？
發(fā)布十大問(wèn)題的核心目的是期望能聯(lián)合高?？蒲辛α?/strong>，一起突破重大技術(shù)挑戰(zhàn)，加速大模型技術(shù)賦能千行萬(wàn)業(yè)。
要知道，這種產(chǎn)學(xué)研合作的模式，在大模型落地方面已經(jīng)取得了一定成果，如遙感、多模態(tài)路測(cè)感知等方面都出現(xiàn)了解決方案。在這次峰會(huì)上，也有最新分享。
大模型產(chǎn)學(xué)研合作成果初顯
一方面在今年備受關(guān)注的大模型開(kāi)發(fā)方面，產(chǎn)學(xué)研合作模式就取得了一定成果。
另一方面，如遙感、路測(cè)感知等已有了成熟應(yīng)用。
遙感方面，西安電子科技大學(xué)人工智能學(xué)院執(zhí)行院長(zhǎng)侯彪教授分享了秦嶺·西電遙感腦，它基于遙感影像智能解譯預(yù)訓(xùn)練大模型。
衛(wèi)星遙感的原理是通過(guò)給衛(wèi)星加上傳感器，對(duì)地球表面照相，以此獲取地球表面信息，可以用來(lái)檢測(cè)地表、農(nóng)業(yè)、環(huán)境、氣象等。
遙感解譯就是對(duì)遙感圖像進(jìn)行分類(lèi)，目前我國(guó)測(cè)繪、國(guó)土等行業(yè)都是采用人工來(lái)看，解譯人員要自己標(biāo)記每個(gè)像素的類(lèi)別，一個(gè)數(shù)據(jù)量較大的圖像，像素達(dá)到2萬(wàn)×2萬(wàn)，工作量巨大。
秦嶺·西電遙感腦能做的就是針對(duì)復(fù)雜多變地形地貌，結(jié)合成像機(jī)理、地球知識(shí)和海量高精度標(biāo)準(zhǔn)數(shù)據(jù)，通過(guò)多模態(tài)、深度學(xué)習(xí)和領(lǐng)域自適應(yīng)實(shí)現(xiàn)了廣域真實(shí)場(chǎng)景下的多任務(wù)并行高精度實(shí)時(shí)解譯。
如上這些例子，都再一次驗(yàn)證了產(chǎn)學(xué)研合作的重要性。
這也解釋了為什么我們會(huì)在大模型元年尾聲，會(huì)看到這樣一場(chǎng)別開(kāi)生面的學(xué)術(shù)大咖交流會(huì)。
華為云AI院長(zhǎng)峰會(huì)，發(fā)起者是產(chǎn)業(yè)界代表華為云，參與者是學(xué)術(shù)圈一線大佬。他們核心探討的，就是在最新趨勢(shì)下，浮現(xiàn)出哪些新問(wèn)題？哪些問(wèn)題最為迫切？這些問(wèn)題該如何拆解？學(xué)術(shù)界、產(chǎn)業(yè)界分別應(yīng)該如何行動(dòng)？
尤其在當(dāng)下的大模型趨勢(shì)里，這種交流和碰撞更加有必要。
因?yàn)榇竽Ｐ褪悄壳皫缀踝顝?fù)雜的系統(tǒng)工程，它對(duì)人力資源的消耗超出了以往任何一種革命性技術(shù)。同時(shí)它的基礎(chǔ)理論還未完全可解釋?zhuān)@使得它的發(fā)展必然更加曲折。
但與此同時(shí)，大模型帶來(lái)的顛覆，你我都已能直接感受到。
在不到400天的時(shí)間里，它給搜索引擎、語(yǔ)音助手、操作系統(tǒng)都帶來(lái)變革，將人機(jī)交互推進(jìn)到新階段，也開(kāi)始快速重塑千行百業(yè)。
一切的一切都表明，智能時(shí)代大門(mén)正在開(kāi)啟。
而在這樣的歷史節(jié)點(diǎn)下，產(chǎn)業(yè)邁出的每一步，都需要集眾智做出最優(yōu)選擇、給出最佳方案。
由此我們看到在大模型趨勢(shì)里，產(chǎn)學(xué)研合作變得格外密切，學(xué)界大佬在關(guān)心底層基礎(chǔ)理論時(shí)，同樣心系技術(shù)如何扎根落地；產(chǎn)業(yè)力量在推進(jìn)技術(shù)應(yīng)用時(shí)，也積極聯(lián)動(dòng)學(xué)界力量，提出問(wèn)題、尋求破解方案。
華為云CTO張宇昕在峰會(huì)上同樣表示：
大模型及相關(guān)應(yīng)用是迄今為止最復(fù)雜的軟硬件系統(tǒng)工程，需要系統(tǒng)性創(chuàng)新才能應(yīng)對(duì)，這也需要產(chǎn)學(xué)研更好的合作協(xié)同起來(lái)，共同強(qiáng)化基礎(chǔ)研究和原始創(chuàng)新，才能攻關(guān)突破關(guān)鍵技術(shù)。
正所謂，技術(shù)是時(shí)代的驅(qū)動(dòng)力，合作是推動(dòng)技術(shù)前行的原動(dòng)力。
產(chǎn)學(xué)研合作模式，必然也能為我們站上大模型趨勢(shì)潮頭，提供更多助力。
你覺(jué)得呢？
