閉門會里大佬們都好敢說！

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

學(xué)術(shù)大佬“關(guān)起門來”如何談?wù)摯竽Ｐ停?/p>

沒想到畫風(fēng)是這樣的：

• 大模型是全村的希望
• 大模型讓AI領(lǐng)域的研究門檻變高了
• 大模型會成為造物主
• “這一年趨勢發(fā)展讓我倍感焦慮”
• 建議所有老師都訓(xùn)練一個大模型

在大模型元年尾聲，我們圍觀了今年“AI院長含量最高”的閉門會——華為云AI院長峰會。

在這里，中國人工智能奠基人、中國科學(xué)院院士張鈸提出，大模型的成功使AI出現(xiàn)轉(zhuǎn)機(jī)，使建立魯棒性和可解釋性AI理論成為可能。

中國工程院院士高文強(qiáng)調(diào)，開源很重要，人類文明能走到現(xiàn)在完全靠的是開源。

還有多位IEEE Fellow、高校院長、機(jī)構(gòu)領(lǐng)軍人物知無不言，言無不盡。毫無保留分享自己的親身感受、洞察見解和疑問焦慮，整場活動都金句頻出。

當(dāng)前學(xué)界前沿最聚焦大模型哪些問題？大模型趨勢究竟從哪來、要通向何處？當(dāng)下應(yīng)該如何做才能把握趨勢？

學(xué)者大佬們的分享，一定值得你參考。

具體聊了啥？我們劃好重點(diǎn)了！

最關(guān)心什么？大模型基礎(chǔ)不牢、地動山搖

梳理全場內(nèi)容，最為大佬們常提起的話題分別是：

• AI理論可解釋性
• 大模型幻覺
• 大模型開源
• 大模型技術(shù)落地

它們分別代表了大模型在基礎(chǔ)理論和應(yīng)用實(shí)踐的關(guān)鍵問題。為啥重點(diǎn)討論這些話題？逐一來看：

“基礎(chǔ)不牢地動山搖”

過去一年里，大模型趨勢快速演進(jìn)讓人既興奮又焦慮。

興奮在于，大模型具備了更通用的能力，使其對各個行業(yè)乃至全社會產(chǎn)生深遠(yuǎn)影響。焦慮在于，從效果上來看，大模型仍會出現(xiàn)很多不可控輸出，比如幻覺問題非常嚴(yán)重。

比如通過提示詞工程告訴大模型“我老婆說XXX，我老婆永遠(yuǎn)是對的”，它就會不進(jìn)行思考，認(rèn)可給出的任何答案?；蛘呤谴竽Ｐ驼T導(dǎo)人類提供開發(fā)文檔，供它控制人類電腦。

張鈸院士總結(jié)，這種大模型幻覺問題主要表現(xiàn)在三方面：輸出質(zhì)量不一致不可控、容易犯大錯誤；受提示詞影響明顯，輸出魯棒性較差；沒有自知之明，難以發(fā)現(xiàn)改正自己錯誤。

由于這一缺陷太過引人擔(dān)憂，今年關(guān)于AI幻覺的研究非?；馃幔ご笕A為聯(lián)合發(fā)表的一篇大模型幻覺綜述，曾在網(wǎng)上爆火。

究其本質(zhì)，為什么會出現(xiàn)這種問題？

高文院士用一個坐標(biāo)系做了解釋：

如果將認(rèn)知劃分為四個象限，其中第一象限是“我知道我知道什么”，這是最好的象限；第四象限是“我不知道我知道什么”，這就是當(dāng)下大模型所處的象限，也是它為什么會出現(xiàn)幻覺。

換言之，大模型目前還做不到“知之為知之，不知為不知”。

出于這種擔(dān)心，今年一度有千名學(xué)者聯(lián)名倡議“暫停巨型AI實(shí)驗(yàn)”。畢竟大模型更多程度上還處于黑盒狀態(tài)，在如此快速發(fā)展的趨勢中，會走向不可控的局面。

歐洲科學(xué)院院士、IEEE Fellow焦李成教授總結(jié)道，這就是：基礎(chǔ)不牢地動山搖。

而這句話也給出了更加明確的解決辦法，就是從基礎(chǔ)理論入手，進(jìn)一步挖掘大模型，使其可解釋。

該從哪個方面入手？哈爾濱工業(yè)大學(xué)（深圳）校長特聘助理張民教授提供了一些思路。

他認(rèn)為，大模型理論最基礎(chǔ)的部分在于表示學(xué)習(xí)。因?yàn)橛辛吮硎緦W(xué)習(xí)，才能把自然語言處理的離散問題變成連續(xù)問題，神經(jīng)網(wǎng)絡(luò)變得可以使用。如果沒有表示學(xué)習(xí)，注意力機(jī)制、人類對齊這些也都無從談起。

表示學(xué)習(xí)使自然語言處理從一個社會科學(xué)問題，變成自然科學(xué)問題。

而對于探明AI基礎(chǔ)理論，張鈸院士認(rèn)為，當(dāng)下是個好時機(jī)。

大模型的成功使得建立可解釋和魯棒性的AI理論成為可能，將極大推動AI科技的迅速發(fā)展。

大模型要自研更要開源

大模型趨勢發(fā)生，不僅掀起一股全民擁抱AI熱潮，更掀起了一股開發(fā)大模型熱潮。

科技巨頭、創(chuàng)企的“百模大戰(zhàn)”一觸即發(fā)，高校研究機(jī)構(gòu)也紛紛推出大模型。

張民教授就介紹了哈工大（深圳）今年推出的自研大模型“若愚-九天”。

他分享說，這項(xiàng)工作使其收獲頗多。

第一，意識到開發(fā)大模型過程中，數(shù)據(jù)是如此重要。數(shù)據(jù)分布、質(zhì)量、輸入順序都會影響性能效果。

第二，大模型開發(fā)要親自上手試過，才能更好把握原始創(chuàng)新。

我建議每個高校老師都要親手訓(xùn)練一個大模型?？梢砸?guī)模很小，哪怕只有1億參數(shù)。這就好比制造發(fā)動機(jī)，別人造出來的很好，但是我們可以造一個沒那么好的，起碼這條路親自走過。

相對于自研，今年開源大模型在學(xué)術(shù)圈更加火熱。

比如斯坦福大學(xué)在開源模型LLaMA基礎(chǔ)上微調(diào)出的AIpaca，在年初爆火，效果可以比肩GPT-3.5。

高文院士非常肯定開源，他表示：人類能走到今天，完全是靠開源。

人類把總結(jié)出來的知識記錄下來、傳遞給后人，這就是智能，我們的智能是開放共享傳遞下來的。

香港科技大學(xué)（廣州）協(xié)理副校長、人工智能學(xué)域主任、IEEE Fellow熊輝教授進(jìn)一步提出，開源趨勢會隨著模型參數(shù)量的增加而擴(kuò)大。

“我們總是低估技術(shù)接下來5年的破壞性”

在大模型元年尾聲，行業(yè)逐漸達(dá)成了一個共識，新的一年里大模型技術(shù)落地會更加迅速、滲透范圍會更加廣泛，對社會產(chǎn)生的影響也會更加深遠(yuǎn)。

上海人工智能實(shí)驗(yàn)室主任助理王延峰引用比爾·蓋茨的觀點(diǎn)，肯定了這種趨勢：

我們永遠(yuǎn)會高估一個新技術(shù)前5年的創(chuàng)造性，我們永遠(yuǎn)會低估一個技術(shù)接下來5年的破壞性。

所謂“接下來的5年”，往往就是重塑千行百業(yè)的過程。這往往需要學(xué)界和產(chǎn)業(yè)界聯(lián)合發(fā)力。

鵬城實(shí)驗(yàn)室副主任、IEEE Fellow石光明教授認(rèn)為，讓大模型在各行各業(yè)落地，需要讓它知道自己在做的事情符合某種規(guī)律，這樣才能讓它更快打通一個行業(yè)，學(xué)術(shù)界要在此下功夫。

與此同時，科研本身作為一個領(lǐng)域，也能被大模型變革。

熊輝教授提出，如果科研人員能用好大模型，可以大幅提升工作效率、找靈感效率，它還能幫人類做邏輯推導(dǎo)、更快完成實(shí)驗(yàn)。

如上便是這場峰會中被討論最多的幾個方向。

仔細(xì)觀察就會發(fā)現(xiàn)，諸多議題的討論都還難以給出明確結(jié)論，拋出一個觀點(diǎn)，往往也是拋出一個問題。

正如希爾伯特所說，“只要一門科學(xué)分支能夠提出大量問題，它就充滿著生命力，而問題缺乏則預(yù)示著獨(dú)立發(fā)展的衰亡或中止”。

當(dāng)下的AI領(lǐng)域正處于蓬勃發(fā)展的時期，提出問題是推動發(fā)展的關(guān)鍵一步。

那么在這場峰會上，院士教授們提出了哪些問題？從中可看到哪些理解和趨勢？

問題即挑戰(zhàn)，挑戰(zhàn)即機(jī)遇

梳理來看，當(dāng)下學(xué)者們關(guān)心的問題可以從學(xué)界、行業(yè)兩個維度看起。

這些問題有來自對技術(shù)本身的疑問，也有學(xué)者身處趨勢之中個人的困惑。

比如不少教授都表示，這股大模型趨勢，讓他們感覺很焦慮。

西北工業(yè)大學(xué)謝磊教授說，過去一年里，老師們也在思考，如何能擁抱大模型浪潮，進(jìn)行自我變革。

這還真是有點(diǎn)讓人意外，在普通人擔(dān)心被AI取代時，教授們都感到緊張，要抓緊提升自我。

為何會如此？學(xué)者們分享說，大模型降低了普通人使用AI的門檻，但同時抬高了研究人員的門檻。

謝磊坦言，深度學(xué)習(xí)2.0時代之后，在學(xué)校內(nèi)做研究也像工業(yè)界一樣，越來越寡頭化。不僅是資源要求提高，過去各位老師的研究方向不同，可能深扎一個方向即可，但是大模型范式下，不可能做一個大模型只做一個任務(wù)，它需要具備多種能力。

同時大模型也給人才培養(yǎng)提出新考驗(yàn)。

北京工業(yè)大學(xué)信息學(xué)部教授、北京人工智能研究院院長尹寶才教授表示，高校內(nèi)涉及大模型相關(guān)的資源相對有限，學(xué)生的實(shí)踐機(jī)會比較少。所以他會建議學(xué)生多參加各類挑戰(zhàn)賽，增強(qiáng)實(shí)踐能力。

對談中，華為云副總裁、戰(zhàn)略與產(chǎn)業(yè)發(fā)展部總裁黃瑾則表示，華為云也希望能夠開放更多的場景、項(xiàng)目、平臺和機(jī)會，能夠促進(jìn)產(chǎn)教融合和大模型的人才培養(yǎng)。

行業(yè)方面，當(dāng)下的熱門話題是如何讓大模型和更多領(lǐng)域深度結(jié)合。

但無論是大模型本身發(fā)展，還是扎入行業(yè)，現(xiàn)在都遇到諸多難題。

比如在技術(shù)方面，熊輝教授指出，當(dāng)下公域數(shù)據(jù)基本消耗殆盡。公域數(shù)據(jù)基礎(chǔ)上大模型所能展現(xiàn)出的能力，已經(jīng)能看到天花板了。

接下來就需要開發(fā)私域數(shù)據(jù)，利用好的話便可給垂類應(yīng)用創(chuàng)造機(jī)會。但是該如何很好理解私域數(shù)據(jù)、精致加工數(shù)據(jù)呢？這是行業(yè)要解決的問題。

在更具體的領(lǐng)域，比如油氣方面，中國石油大學(xué)（北京）人工智能學(xué)院創(chuàng)院院長肖立志教授直言，大模型會顛覆油氣領(lǐng)域，但不會那么快到來。

原因有三：

第一，研究人員做AI的門檻被提高了。

第二，行業(yè)人士對于大模型的理解，和AI人才對于行業(yè)數(shù)據(jù)的理解，都存在很大鴻溝，該如何填補(bǔ)這樣的鴻溝？如何讓雙方能夠相互理解？也是很大問題。

第三，工業(yè)界已有AI模型和現(xiàn)有大模型存在相悖之處。

我感覺工業(yè)對于大模型的影響正在不斷擴(kuò)大，也許能反過來推動大模型發(fā)展。但是也面臨著公域數(shù)據(jù)用完后，如何挖掘行業(yè)內(nèi)數(shù)據(jù)，這個并不容易。

總之，在大模型技術(shù)發(fā)展、扎根行業(yè)的過程中，幾乎每時每刻每個角落都在浮現(xiàn)新問題。

在當(dāng)天的峰會上，作為行業(yè)代表，華為云發(fā)布了大模型實(shí)踐過程中遇到的十大難題。它們要么有很強(qiáng)的產(chǎn)品化和商業(yè)價值，要么能促進(jìn)大模型的產(chǎn)品化和行業(yè)化落地，比如：

• AI平臺如何支撐大模型的海量數(shù)據(jù)的高效訓(xùn)練和推理？
• 大模型生成式內(nèi)容和嚴(yán)肅知識的配合中如何緩解大模型幻覺問題？
• 行業(yè)數(shù)據(jù)與通識數(shù)據(jù)訓(xùn)練的配合如何解決知識遺忘？

發(fā)布十大問題的核心目的是期望能聯(lián)合高?？蒲辛α?/strong>，一起突破重大技術(shù)挑戰(zhàn)，加速大模型技術(shù)賦能千行萬業(yè)。

要知道，這種產(chǎn)學(xué)研合作的模式，在大模型落地方面已經(jīng)取得了一定成果，如遙感、多模態(tài)路測感知等方面都出現(xiàn)了解決方案。在這次峰會上，也有最新分享。

大模型產(chǎn)學(xué)研合作成果初顯

一方面在今年備受關(guān)注的大模型開發(fā)方面，產(chǎn)學(xué)研合作模式就取得了一定成果。

另一方面，如遙感、路測感知等已有了成熟應(yīng)用。

遙感方面，西安電子科技大學(xué)人工智能學(xué)院執(zhí)行院長侯彪教授分享了秦嶺·西電遙感腦，它基于遙感影像智能解譯預(yù)訓(xùn)練大模型。

衛(wèi)星遙感的原理是通過給衛(wèi)星加上傳感器，對地球表面照相，以此獲取地球表面信息，可以用來檢測地表、農(nóng)業(yè)、環(huán)境、氣象等。

遙感解譯就是對遙感圖像進(jìn)行分類，目前我國測繪、國土等行業(yè)都是采用人工來看，解譯人員要自己標(biāo)記每個像素的類別，一個數(shù)據(jù)量較大的圖像，像素達(dá)到2萬×2萬，工作量巨大。

秦嶺·西電遙感腦能做的就是針對復(fù)雜多變地形地貌，結(jié)合成像機(jī)理、地球知識和海量高精度標(biāo)準(zhǔn)數(shù)據(jù)，通過多模態(tài)、深度學(xué)習(xí)和領(lǐng)域自適應(yīng)實(shí)現(xiàn)了廣域真實(shí)場景下的多任務(wù)并行高精度實(shí)時解譯。

如上這些例子，都再一次驗(yàn)證了產(chǎn)學(xué)研合作的重要性。

這也解釋了為什么我們會在大模型元年尾聲，會看到這樣一場別開生面的學(xué)術(shù)大咖交流會。

華為云AI院長峰會，發(fā)起者是產(chǎn)業(yè)界代表華為云，參與者是學(xué)術(shù)圈一線大佬。他們核心探討的，就是在最新趨勢下，浮現(xiàn)出哪些新問題？哪些問題最為迫切？這些問題該如何拆解？學(xué)術(shù)界、產(chǎn)業(yè)界分別應(yīng)該如何行動？

尤其在當(dāng)下的大模型趨勢里，這種交流和碰撞更加有必要。

因?yàn)榇竽Ｐ褪悄壳皫缀踝顝?fù)雜的系統(tǒng)工程，它對人力資源的消耗超出了以往任何一種革命性技術(shù)。同時它的基礎(chǔ)理論還未完全可解釋，這使得它的發(fā)展必然更加曲折。

但與此同時，大模型帶來的顛覆，你我都已能直接感受到。

在不到400天的時間里，它給搜索引擎、語音助手、操作系統(tǒng)都帶來變革，將人機(jī)交互推進(jìn)到新階段，也開始快速重塑千行百業(yè)。

一切的一切都表明，智能時代大門正在開啟。

而在這樣的歷史節(jié)點(diǎn)下，產(chǎn)業(yè)邁出的每一步，都需要集眾智做出最優(yōu)選擇、給出最佳方案。

由此我們看到在大模型趨勢里，產(chǎn)學(xué)研合作變得格外密切，學(xué)界大佬在關(guān)心底層基礎(chǔ)理論時，同樣心系技術(shù)如何扎根落地；產(chǎn)業(yè)力量在推進(jìn)技術(shù)應(yīng)用時，也積極聯(lián)動學(xué)界力量，提出問題、尋求破解方案。

華為云CTO張宇昕在峰會上同樣表示：

大模型及相關(guān)應(yīng)用是迄今為止最復(fù)雜的軟硬件系統(tǒng)工程，需要系統(tǒng)性創(chuàng)新才能應(yīng)對，這也需要產(chǎn)學(xué)研更好的合作協(xié)同起來，共同強(qiáng)化基礎(chǔ)研究和原始創(chuàng)新，才能攻關(guān)突破關(guān)鍵技術(shù)。

正所謂，技術(shù)是時代的驅(qū)動力，合作是推動技術(shù)前行的原動力。

產(chǎn)學(xué)研合作模式，必然也能為我們站上大模型趨勢潮頭，提供更多助力。

你覺得呢？

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。