漆遠(yuǎn)首次揭秘創(chuàng)業(yè)方向：可信大模型，公司無(wú)限光年已獲阿里投資
結(jié)合連接主義與符號(hào)主義
衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
可信大模型。
這是復(fù)旦大學(xué)浩清特聘教授、上?？茖W(xué)智能研究院院長(zhǎng)漆遠(yuǎn)認(rèn)定的通往AGI之路。
請(qǐng)注意，這與此前安全隱私方面的可信AI概念有所不同。
從螞蟻集團(tuán)副總裁任上離職后，漆遠(yuǎn)先是重返學(xué)界，在復(fù)旦擔(dān)任教職，而后又產(chǎn)學(xué)研并行地創(chuàng)立了大模型公司無(wú)限光年。
市場(chǎng)消息，無(wú)限光年已完成多輪融資，投資人包括阿里云、啟明創(chuàng)投等頭部投資機(jī)構(gòu)。
而上述“可信大模型”，就是無(wú)限光年的劍之所指。
如果大模型生成的內(nèi)容不可控、難以解釋，就很難滿足專業(yè)領(lǐng)域?qū)?zhǔn)確性、可靠性、嚴(yán)謹(jǐn)性的要求。
針對(duì)該挑戰(zhàn)，漆遠(yuǎn)團(tuán)隊(duì)力圖在Transformer的基礎(chǔ)上結(jié)合知識(shí)圖譜、神經(jīng)符號(hào)計(jì)算等，讓大模型變得更為“可信”。
但漆遠(yuǎn)同時(shí)解釋道，這并非既有“可信AI”與爆火“大模型”兩個(gè)概念/技術(shù)的簡(jiǎn)單相加。
什么是可信大模型？
到底什么是可信大模型，先一言以蔽之：
把大語(yǔ)言模型與符號(hào)推理結(jié)合，從而有效解決幻覺(jué)問(wèn)題、大幅度增強(qiáng)模型可信度。
漆遠(yuǎn)表示，現(xiàn)在的大模型有三大挑戰(zhàn)：
- Scaling Law再往后，大模型（商業(yè)化）何去何從？
- 大家都研發(fā)底層大模型，成本與日俱增，變成燒錢的游戲。
- 訓(xùn)練大模型過(guò)程中，可能產(chǎn)生性能方面的“遺忘性災(zāi)難”。
漆遠(yuǎn)和無(wú)限光年團(tuán)隊(duì)，著力盡可能解決第三大挑戰(zhàn)，即大模型的幻覺(jué)和遺忘等問(wèn)題。
給出的解決辦法，是把深度學(xué)習(xí)背后的連接主義，和符號(hào)主義結(jié)合起來(lái)。
“把時(shí)鐘倒撥十幾年，連接主義是非常不受待見(jiàn)的?？茖W(xué)技術(shù)進(jìn)展就像時(shí)裝一樣，來(lái)回?fù)Q。”漆遠(yuǎn)解釋道，“我們現(xiàn)在做的事，不是符號(hào)主義會(huì)overwrite，而是兩者的結(jié)合?！?/p>
漆遠(yuǎn)給出了自己的理由——
一方面，Transformer能解決概率問(wèn)題，但由于其機(jī)制是預(yù)測(cè)下一個(gè)token，無(wú)法解決邏輯問(wèn)題。
另一方面，傳統(tǒng)神經(jīng)符號(hào)方法雖然面對(duì)復(fù)雜推理會(huì)遇到性能瓶頸，但能夠很好地解決一些小規(guī)模的命題邏輯推理問(wèn)題。
既然如此，不妨將兩者結(jié)合，變成“神經(jīng)網(wǎng)絡(luò)+邏輯推理”。
這樣一來(lái)，既能有效解決大規(guī)模、復(fù)雜規(guī)則的邏輯推理問(wèn)題，也能處理輸入的不確定性，解決規(guī)則沖突問(wèn)題。
好了，一切明了，其實(shí)漆遠(yuǎn)所提的可信大模型，背后是結(jié)合符號(hào)學(xué)派的推理能力與連接學(xué)派的學(xué)習(xí)能力的神經(jīng)符號(hào)大模型?（Neuro-symbolic foundation model）。
從架構(gòu)上來(lái)說(shuō)，它不僅能預(yù)測(cè)下一個(gè)token，更能進(jìn)行邏輯推理的慢思考。
（慢思考一詞來(lái)自于諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主Daniel Kahneman的暢銷作《快思考慢思考》）
從而增強(qiáng)生成式AI在應(yīng)用中的可信生成能力，減少錯(cuò)誤，提高可靠性。
于是就引出可信大模型的兩個(gè)好處，一是更精準(zhǔn)可靠，同時(shí)提高可解釋性；二是降低計(jì)算相關(guān)的成本。
漆遠(yuǎn)對(duì)無(wú)限光年的“灰盒大模型”路線進(jìn)行了補(bǔ)充：
我不能說(shuō)可信大模型一定是通往AGI唯一的路，但是我認(rèn)為這一定是一條非常重要、非常關(guān)鍵的路。
我認(rèn)為在兩年之內(nèi)，這條路一定會(huì)變得特別重要。很多人都會(huì)講這個(gè)詞。
以可信大模型為基礎(chǔ)，無(wú)限光年決心在兩個(gè)行業(yè)率先落地。
醫(yī)療和金融。
在金融領(lǐng)域，無(wú)限光年與頭部證券合作推出AI投研助手。
在醫(yī)療領(lǐng)域，無(wú)限光年與國(guó)內(nèi)頭部三甲醫(yī)院合作，共同基于可信技術(shù)創(chuàng)新打造醫(yī)療行業(yè)大模型，在體檢報(bào)告解讀方面有效協(xié)助醫(yī)生提升了報(bào)告效率和準(zhǔn)確度。
而且據(jù)透露，以上兩個(gè)垂直領(lǐng)域內(nèi)，無(wú)限光年打造的都是“精專大模型”，參數(shù)規(guī)模在百億以上、千億以下。
漆遠(yuǎn)是誰(shuí)？
最后，我們來(lái)展開(kāi)認(rèn)識(shí)一下漆遠(yuǎn)本人。
漆遠(yuǎn)，本科畢業(yè)于華中科技大學(xué)自動(dòng)控制專業(yè)，在中科院取得模式識(shí)別碩士學(xué)位后，于MIT媒體實(shí)驗(yàn)室進(jìn)行機(jī)器學(xué)習(xí)工作，并取得博士學(xué)位，還從事了博士后研究工作。
他最早從1995年開(kāi)始接觸AI，MIT畢業(yè)論文也與機(jī)器學(xué)習(xí)中的貝葉斯推理和概率圖模型有關(guān)。
按照他早期“自動(dòng)控制、模式識(shí)別還是機(jī)器學(xué)習(xí)都是AI分支”的理念，漆遠(yuǎn)的本碩博研究都與AI相關(guān)。
MIT工作期間，谷歌和Facebook都曾對(duì)他伸出過(guò)橄欖枝，但漆遠(yuǎn)最終還是選擇留在學(xué)術(shù)界，后來(lái)離開(kāi)MIT來(lái)到普渡大學(xué)，擔(dān)任計(jì)算機(jī)科學(xué)系和統(tǒng)計(jì)系的助理教授，并于2013年拿到副教授這一終身教職。
就在1年后，漆遠(yuǎn)歸國(guó)加入阿里。
進(jìn)入阿里，漆遠(yuǎn)與涂子沛、金榕等人聯(lián)合創(chuàng)立了達(dá)摩院前身——iDST，漆遠(yuǎn)負(fù)責(zé)帶領(lǐng)中國(guó)的研究團(tuán)隊(duì)。
并且領(lǐng)導(dǎo)構(gòu)建了阿里巴巴集團(tuán)的第一個(gè)大規(guī)模分布式機(jī)器學(xué)習(xí)平臺(tái)PAI、主導(dǎo)建立了阿里第一個(gè)專業(yè)的基于深度學(xué)習(xí)的語(yǔ)音識(shí)別團(tuán)隊(duì)。
后來(lái)，他又擔(dān)任螞蟻金服副總裁、首席數(shù)據(jù)科學(xué)家，達(dá)摩院金融智能負(fù)責(zé)人，螞蟻AI首席科學(xué)家等職位。
2021年，漆遠(yuǎn)重返學(xué)界，加入復(fù)旦大學(xué)。
現(xiàn)在，漆遠(yuǎn)是復(fù)旦大學(xué)浩清特聘教授、博士生導(dǎo)師及人工智能創(chuàng)新與產(chǎn)業(yè)研究院院長(zhǎng)，同時(shí)也是無(wú)限光年的創(chuàng)始人。
根據(jù)官方對(duì)外消息，無(wú)限光年團(tuán)隊(duì)既有來(lái)自阿里巴巴、螞蟻集團(tuán)、字節(jié)跳動(dòng)、微軟的國(guó)際頂尖AI人才，也有來(lái)自摩根大通等金融機(jī)構(gòu)、協(xié)和醫(yī)院等醫(yī)療機(jī)構(gòu)的資深行業(yè)專家。
One More Thing
這兩天，漆遠(yuǎn)帶著可信大模型的概念，亮相WAIC，圍繞這個(gè)概念進(jìn)行更多探討。
這一次，他如同往昔一般，依舊信心滿滿：
2014年，我加入阿里，力排眾議推動(dòng)了兩億參數(shù)大模型的訓(xùn)練，參數(shù)實(shí)現(xiàn)了上百倍的增長(zhǎng)；后來(lái)我在螞蟻?zhàn)隹尚臕I，當(dāng)時(shí)國(guó)內(nèi)搞這個(gè)的寥寥無(wú)幾。
之前兩次我都是在非共識(shí)的時(shí)候做了正確的事，我相信可信大模型也是這樣。
相關(guān)閱讀
