圖靈獎(jiǎng)得主Bengio再創(chuàng)業(yè)：啟動(dòng)資金就籌集了3000萬美元

西風(fēng) 2025-06-04 17:07:39 來源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

剛剛，深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主Yoshua Bengio官宣再次創(chuàng)業(yè)——

成立非營利組織LawZero，要構(gòu)建下一代AI系統(tǒng)，而且明確不做Agent。

目前LawZero已通過多家慈善捐贈(zèng)方籌集到了3000萬美元啟動(dòng)資金。

具體來說，LawZero要做“設(shè)計(jì)即安全（safe-by-design）”的AI系統(tǒng)，要“將安全性置于商業(yè)利益之上”。

所要做的AI系統(tǒng)非Agent形態(tài)，而可以監(jiān)督Agent：

它以理解學(xué)習(xí)世界為核心目標(biāo)，而非在世界中采取行動(dòng)，通過透明化外部推理，對(duì)問題提供可驗(yàn)證的真實(shí)答案，“可用于加速科學(xué)發(fā)現(xiàn)、為Agent型AI系統(tǒng)提供監(jiān)督，并深化大家對(duì)AI風(fēng)險(xiǎn)及其規(guī)避方法的理解”。

Bengio表示，當(dāng)前AI系統(tǒng)已顯現(xiàn)出自我保護(hù)和欺騙行為的跡象，隨著其能力和自主性的提升，這種趨勢只會(huì)加速，LawZero是他們針對(duì)這些挑戰(zhàn)所給出的建設(shè)性回應(yīng)。

經(jīng)常有人問我，對(duì)AI的未來是樂觀還是悲觀？我的回答始終是：It doesn’t matter（無關(guān)緊要）。

唯一重要的是，我們每個(gè)人都能采取行動(dòng)，推動(dòng)AI向更好的方向發(fā)展。

開創(chuàng)「Scientist AI」

LawZero總部位于蒙特利爾，最初由非營利機(jī)構(gòu)Mila-Quebec AI Institute啟動(dòng)孵化，Mila現(xiàn)已成為LawZero的運(yùn)營合作伙伴。

LawZero所籌集的捐贈(zèng)資金，也是在項(xiàng)目孵化階段通過Mila-Quebec AI Institute進(jìn)行的。

其首批支持者包括Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌CEO Eric Schmidt創(chuàng)立的研究機(jī)構(gòu)Schmidt Sciences等。

其中Open Philanthropy還是OpenAI的早期投資方。

Bengio擔(dān)任LawZero主席兼科學(xué)總監(jiān)。

團(tuán)隊(duì)中已有超15名頂尖研究員。

他們的科學(xué)方向基于Yoshua Bengio所引領(lǐng)的全新研究方法——Scientist AI。

幾個(gè)月前，Bengio曾發(fā)表過一篇長達(dá)58頁的論文探討Scientist AI。

Scientist AI核心功能基于觀測解釋世界，而非通過行動(dòng)模仿或取悅?cè)祟悺?/p>

該系統(tǒng)包含兩大組件：世界模型、推理機(jī)。

世界模型能夠通過觀察數(shù)據(jù)生成因果理論，以此解釋數(shù)據(jù)背后的規(guī)律，構(gòu)建對(duì)物理與社會(huì)規(guī)律的結(jié)構(gòu)化理解，其運(yùn)作機(jī)制類似于科學(xué)家通過觀察自然現(xiàn)象提出假說并構(gòu)建理論體系。

推理機(jī)則是一個(gè)問答推理機(jī)制。二者均以明確的不確定性概念為基礎(chǔ)，以降低因過度自信的預(yù)測引發(fā)風(fēng)險(xiǎn)的可能性。

Scientist AI輸出僅限于對(duì)問題的概率性解釋和基于理論的邏輯推斷，而不具備自主行動(dòng)的能力，由此來從根本上杜絕因目標(biāo)追求和環(huán)境干預(yù)引發(fā)的風(fēng)險(xiǎn)。

Bengio團(tuán)隊(duì)表示，Scientist AI可在以下三個(gè)核心領(lǐng)域發(fā)揮作用：

作為對(duì)抗危險(xiǎn)AI的安全護(hù)欄

針對(duì)表現(xiàn)出自我保護(hù)、目標(biāo)偏離、欺騙等傾向的AI系統(tǒng)，Scientist AI可通過雙重驗(yàn)證機(jī)制防范災(zāi)難性后果。

在高能力Agent型AI執(zhí)行現(xiàn)實(shí)行動(dòng)前，對(duì)其行為進(jìn)行風(fēng)險(xiǎn)評(píng)估，若超過預(yù)設(shè)閾值則直接阻斷。這一機(jī)制可有效遏制當(dāng)前前沿AI因自主性增強(qiáng)而日益凸顯的不可預(yù)測性風(fēng)險(xiǎn)。

作為加速科學(xué)發(fā)現(xiàn)的可信工具

不“以取悅?cè)祟悶橛?xùn)練目標(biāo)”，Scientist AI可生成誠實(shí)且可論證的解釋性假設(shè)，尤其在生物學(xué)、材料科學(xué)、化學(xué)等領(lǐng)域，可規(guī)避傳統(tǒng)AI因“目標(biāo)對(duì)齊偏差”導(dǎo)致的研究風(fēng)險(xiǎn)，開啟低風(fēng)險(xiǎn)加速探索的新范式。

作為安全開發(fā)強(qiáng)AI的底層基建

可作為值得信賴的研究與編程工具，通過其透明化推理框架，為強(qiáng)AI的開發(fā)建立可審計(jì)的安全邊界，從源頭阻斷“欺騙性Agent”的風(fēng)險(xiǎn)傳導(dǎo)，助力設(shè)計(jì)安全的人類級(jí)智能，乃至安全的超級(jí)人工智能（ASI）。

職業(yè)生涯剩余時(shí)間全部投入AI安全

Bengio最新創(chuàng)業(yè)引來不少網(wǎng)友關(guān)注，也引起了網(wǎng)友對(duì)其上次創(chuàng)業(yè)的討論。

確實(shí)，Bengio并非第一次創(chuàng)業(yè)。

2016年10月，Bengio曾和Jean-FrancoisGagné等人聯(lián)合成立Element AI，主要聚焦“人工智能戰(zhàn)略咨詢”、“專家匹配”和“AI-as-a-Service”（AIaaS）。

Element AI曾一度成為“全球最大獨(dú)角獸”之一，僅僅成立9個(gè)月就籌集了1.02億美元的風(fēng)險(xiǎn)投資，不到4年時(shí)間里，融資約2.6億美元，微軟、英特爾、麥肯錫、加拿大政府等大型機(jī)構(gòu)均為其資方，估值高達(dá)12億美元。

不過，令人唏噓的是，2020年Element AI傳來“僅以2.3億美元被拋售”的消息。《環(huán)球郵報(bào)》認(rèn)為，這家公司大肆招聘頂尖人才、大量進(jìn)行宣傳投資的行為，與它建立軟件業(yè)務(wù)的初衷背道而馳。

連Bengio本人都否定了Element AI的價(jià)值。

如今新項(xiàng)目啟動(dòng)，Bengio其實(shí)預(yù)謀已久。

2023年初，ChatGPT剛剛問世幾個(gè)月，Bengio“AGI發(fā)展緩慢而漫長，需幾十年的時(shí)間才能實(shí)現(xiàn)”的觀點(diǎn)開始轉(zhuǎn)變。私人實(shí)驗(yàn)室在AGI及更先進(jìn)技術(shù)方面已經(jīng)取得的進(jìn)展，讓他感到擔(dān)憂。

之后Bengio徹底重新調(diào)整了科學(xué)研究方向：

職業(yè)生涯剩余的時(shí)間全部投入到緩解這些風(fēng)險(xiǎn)上，努力探索一條能從設(shè)計(jì)上讓AI變得安全的道路。

目前網(wǎng)友對(duì)LawZero持謹(jǐn)慎觀望態(tài)度，畢竟OpenAI最初也是以非營利組織起家……

更有評(píng)論者直言：

LawZero項(xiàng)目成功必然會(huì)將人類的主動(dòng)權(quán)轉(zhuǎn)移給機(jī)器人，而這是應(yīng)竭力避免的趨勢，而非加速推動(dòng)。

OpenAI的非營利承諾早就變了味兒?，F(xiàn)在，對(duì)這家圖靈獎(jiǎng)得主扛大旗的非營利機(jī)構(gòu)，你怎么看？

參考鏈接：
[1]https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[2]http://arxiv.org/pdf/2502.15657
[3]https://news.ycombinator.com/item?id=44174643