周志華:百萬模型進(jìn)入學(xué)件基座系統(tǒng),很多沒預(yù)期過的事也有可能實(shí)現(xiàn)

魚羊 2024-12-30 09:15:27 來源：量子位

編輯部 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

大模型時代，全世界AI從業(yè)者追趕OpenAI GPT系列的腳步仍未停歇，但也有人，堅持深耕在國產(chǎn)原創(chuàng)的另一條大模型之路上。

南京大學(xué)副校長、國際人工智能聯(lián)合會理事會主席周志華教授，就是其中代表。他提出的“學(xué)件范式”，旨在從數(shù)據(jù)隱私角度著手，通過模型+規(guī)約的方式構(gòu)建基座系統(tǒng)，讓用戶的需求能被自動匹配到合適的模型、模型組合上，安全、可靠地復(fù)用他人開發(fā)的模型工具。

用戶只需要提出需求，學(xué)件基座系統(tǒng)就會根據(jù)需求，從無數(shù)學(xué)件中去找出一個或者若干個學(xué)件，甚至把它們組裝起來解決問題。

在MEET 2025智能未來大會上，周志華教授從宏觀角度和技術(shù)角度詳細(xì)為我們分享了學(xué)件范式的最新進(jìn)展。

為了完整體現(xiàn)周志華教授的觀點(diǎn)，在不改變原意的基礎(chǔ)上，量子位對演講內(nèi)容進(jìn)行了編輯整理，希望能給你帶來更多啟發(fā)。

MEET 2025智能未來大會是由量子位主辦的行業(yè)峰會，20余位產(chǎn)業(yè)代表與會討論。線下參會觀眾1000+，線上直播觀眾320萬+，獲得了主流媒體的廣泛關(guān)注與報道。

核心觀點(diǎn)

• 學(xué)件=模型+規(guī)約。規(guī)約通過對模型進(jìn)行刻畫，可以使模型在不知道開發(fā)者數(shù)據(jù)的情況下被復(fù)用。
• 用戶只需要提出需求，學(xué)件基座系統(tǒng)就會根據(jù)需求，從無數(shù)學(xué)件中去找出一個或者若干個學(xué)件，甚至把它們組裝起來解決問題。
• 學(xué)件基座系統(tǒng)可以看作異構(gòu)大模型，隨著更多的模型被提交，它會長大、重組，未來提供服務(wù)的時候一定程度還提供了可解釋性，和現(xiàn)在常見的大模型不同。

（以下為周志華教授演講全文）

學(xué)件=模型+規(guī)約

大家好，很高興跟大家做交流，我的題目叫作《學(xué)件和異構(gòu)大模型》。

大模型大家都很清楚是什么，那么學(xué)件是什么？

我們知道計算機(jī)里有硬件，有軟件。大概在9年前，那時候還沒有大模型，深度神經(jīng)網(wǎng)絡(luò)也剛剛開始被大家注意，那時候我們發(fā)表了一個東西，向大家公開我們的預(yù)期，說機(jī)器學(xué)習(xí)這樣發(fā)展下去會不會產(chǎn)生一種形態(tài)，我們命名為學(xué)件（Learnware）。學(xué)件從這個詞從概念，再到研究體系，都是我們完全原創(chuàng)的。

我今天主要跟大家介紹一下這條路線在做什么事。

因?yàn)榭紤]到今天這個場合大家主要需要一些宏觀理解，而不是技術(shù)細(xì)節(jié)，所以我們先思考這幾個問題。

第一個問題：未來機(jī)器學(xué)習(xí)解決世界上的問題，是會用一個模型解決一切，還是用很多模型協(xié)作？我想大家都會有自己的回答，我們的回答是B——可能我們需要很多模型協(xié)作。

第二個問題：這些模型是會由一位開發(fā)者開發(fā)，還是很多開發(fā)者各自開發(fā)？我們認(rèn)為這個答案應(yīng)該也是B。

第三個問題：這么多來自世界各地的開發(fā)者，他們開發(fā)的模型都有自己的數(shù)據(jù)，他們會把數(shù)據(jù)都公開嗎？我們認(rèn)為答案很可能是不公開。

第四個問題：數(shù)以百萬計的模型，是不是能一次性全部產(chǎn)生，還是陸陸續(xù)續(xù)的，今天有一些，明天有一些，后天有一些？我想這個答案肯定是B。

第五個問題：對未來某位人工智能用戶，全世界數(shù)以百萬計的模型都對他有用嗎？還是只有少量甚至個別模型有用？答案還是B。

第六個問題：對于用戶來說，這些已經(jīng)存在的模型中，一定有某個模型能解決他的任務(wù)嗎？還是未必有？說不定我們可以通過組裝一些模型來解決這個任務(wù)。我們認(rèn)為答案還是B。

有了這么多問題之后，歸結(jié)起來就是這么一個問題：在拿不到開發(fā)者的訓(xùn)練數(shù)據(jù)，甚至用戶也不愿意公開自己數(shù)據(jù)的情況下，我們?nèi)绾沃罃?shù)以百萬計、全世界各個開發(fā)者開發(fā)的模型中，哪個或者哪些經(jīng)過組裝之后對用戶是有幫助的？我們?nèi)绾文軌驅(qū)碜圆煌拈_發(fā)者、針對不同任務(wù)的模型進(jìn)行組裝復(fù)用，或者就像大家都在談的，大小模型協(xié)同。

學(xué)件這條路線就是在往這個方向努力。

學(xué)件是什么呢？學(xué)件=模型+規(guī)約。為了便于理解，我們舉一個類比，假設(shè)現(xiàn)在世界上有很多開發(fā)者做出他們的模型，他們愿意分享他們的模型，在這個圖上，每一把刀、每一個錘子、每一把斧頭都是一個機(jī)器學(xué)習(xí)模型。

模型大家都清楚，規(guī)約是什么？就是對模型進(jìn)行某種刻畫，使得系統(tǒng)在不知道開發(fā)者數(shù)據(jù)的情況，能夠根據(jù)未來用戶的需求被找出來復(fù)用。

容納這些模型的地方，一開始我們把它叫作“學(xué)件市場”，好比一個超市。后來有專家跟我們討論，說“市場”給大家感覺是要做交易。其實(shí)未來確實(shí)是可以做交易，比方說被用得很多的學(xué)件，可以收費(fèi)，收費(fèi)之后再回報給開發(fā)者。但在現(xiàn)在，我們主要關(guān)注其中的科學(xué)技術(shù)問題，所以我們現(xiàn)在也把它叫學(xué)件基座系統(tǒng)。

有了這個基座系統(tǒng)之后，未來用戶想要開發(fā)自己的AI任務(wù)，就不需要從頭開始。今天當(dāng)我們要做一個自己的機(jī)器學(xué)習(xí)應(yīng)用的時候，我們要搜集數(shù)據(jù)，要訓(xùn)練模型，要調(diào)參數(shù)，但是在別的領(lǐng)域不是這樣的，比如說要買一把切肉的刀，我絕對不會說自己再去采礦打鐵，我會到超市上看一看，有沒有這樣的刀。就算沒有，我找一把西瓜刀拿回家，用我自己的數(shù)據(jù)打磨打磨，說不定就能用了。

所以我們希望未來的用戶只需要提出需求，然后學(xué)件基座系統(tǒng)根據(jù)用戶需求，在學(xué)件基座系統(tǒng)所容納的無數(shù)學(xué)件中去找出一個或者若干個，甚至組裝起來解決你的問題。注意，在整個過程中，開發(fā)者的數(shù)據(jù)不披露給學(xué)件基座系統(tǒng)，甚至用戶的數(shù)據(jù)也不需要披露給學(xué)件基座系統(tǒng)。

這個事情2016年發(fā)表了第一篇論文提出這件事，后來的七年時間里面，我們沒有發(fā)表論文，一直在解決這里面的關(guān)鍵科學(xué)技術(shù)問題，目前這些問題有了初步的解決方案。在講技術(shù)方案之前，我們先宏觀地來看，和以往有什么不同。

經(jīng)典的機(jī)器學(xué)習(xí)范式，是針對某個任務(wù)做一個模型解決它。

大模型范式，是匯集很多數(shù)據(jù)去訓(xùn)練一個模型。匯集數(shù)據(jù)的過程實(shí)際上是希望數(shù)據(jù)相關(guān)方要放棄隱私和所有權(quán)，這對對話、視頻這樣的任務(wù)是比較容易做到的，但對生產(chǎn)生活中的很多任務(wù)其實(shí)不太容易。比方說，哪怕是同一個類型的企業(yè)，往往也不愿意把數(shù)據(jù)分享出來給你收集起來訓(xùn)練模型，許多企業(yè)認(rèn)為，一旦把數(shù)據(jù)分享出去，通過大模型，就等于技術(shù)優(yōu)勢分享給同行了。但如果只能用企業(yè)內(nèi)部數(shù)據(jù)，往往又不夠大模型訓(xùn)練。

學(xué)件這個范式的關(guān)鍵，是不收集你的數(shù)據(jù)，只是匯集起不同的模型。這些模型可以是為很私有的任務(wù)開發(fā)的，你不需要披露你的訓(xùn)練數(shù)據(jù)。另外，模型的黑箱性一般認(rèn)為是個壞事，而在這里卻能夠起到正面作用。有了這些模型之后，大家容易想到，可以為未來的很多任務(wù)提供服務(wù)，它們不必須是同一大類的。這很容易理解，比如有天氣預(yù)報的模型，以后當(dāng)然可以做天氣預(yù)報，有地震預(yù)測模型，以后當(dāng)然可以做地震預(yù)測。但是需要認(rèn)識到，對某些我們從來沒有考慮過的任務(wù)，也有可能通過把若干個模型拼裝起來解決它。

舉個例子，假設(shè)我們要考慮A和D分類，從來沒有開發(fā)者做過這種模型，但有人做過A和B，有人做過B和C，有人做過C和D，就有可能把它們組裝起來解決A和D的分類任務(wù)。

所以這是一條和一般大模型不同的路。第一假設(shè)所有模型都潛在有用，即便對開發(fā)者不太好的模型，對別的用戶說不定是有用的。第二可能很多小模型匯集在一起之后，能夠做一些今天我們認(rèn)為只有大模型才能做的事，當(dāng)然大小模型協(xié)作都可以在其中完成，而且不存在災(zāi)難性遺忘，因?yàn)橐粋€模型只要放在基座系統(tǒng)中，除非它的能力被完全替代，否則就一直在哪里，天然在進(jìn)行終身學(xué)習(xí)，而且不必披露開發(fā)者和用戶數(shù)據(jù)。另外，開發(fā)者提交的模型，在未來適用的時候可能超越開發(fā)者原本的意圖，用于解決他完全沒考慮過的任務(wù)。

從哲學(xué)方法論上來說，如果說大模型是幾個大英雄打天下的話，學(xué)件則是認(rèn)為“力量蘊(yùn)藏在人民群眾”中。我們預(yù)期，學(xué)件基座系統(tǒng)容納了數(shù)以百萬計的模型之后，這條路線的力量會更加涌現(xiàn)出來，很多我們原來沒想過的事都有可能做。

學(xué)件基座系統(tǒng)可視作異構(gòu)大模型

回到技術(shù)問題上。

規(guī)約是什么？它需要對模型進(jìn)行適當(dāng)刻畫。大概是什么做法，涉及到兩方面，一個是學(xué)件基座系統(tǒng)，一個是模型開發(fā)者。

首先學(xué)件基座系統(tǒng)給開發(fā)者發(fā)送兩個信息k和n，k是某個函數(shù)，n是規(guī)約大小。模型開發(fā)者用自己的數(shù)據(jù)訓(xùn)練模型，基于基座系統(tǒng)提供的k和n生成規(guī)約。他提交模型的時候，把規(guī)約和模型一起提交。

我們可以看到，所有的訓(xùn)練數(shù)據(jù)一直在模型開發(fā)者手上，基座系統(tǒng)是不接觸數(shù)據(jù)的，碰到的只有提交的模型和規(guī)約。大家要問了，這個規(guī)約是基于你給我的k和n生成的，你有沒有可能根據(jù)這個把我的訓(xùn)練數(shù)據(jù)破解出來？

我們最近做了一個理論證明，首先，規(guī)約不會包含開發(fā)者訓(xùn)練數(shù)據(jù)，第二，即便對信息安全中強(qiáng)大的推斷攻擊和鏈接攻擊，并且是針對確定性算法最強(qiáng)的暴力搜索這樣的攻擊，仍然可以有效地保護(hù)開發(fā)者的數(shù)據(jù)。而且有了這個結(jié)果之后，我們就可以得到關(guān)于規(guī)約大小設(shè)置的理論指導(dǎo)，通過設(shè)置為合適的大小，既能起到數(shù)據(jù)保護(hù)作用，還能支持模型復(fù)用。

為用戶提供服務(wù)的時候，學(xué)件基座系統(tǒng)有可能是反饋?zhàn)詈玫哪硞€模型，也可能是多個模型的結(jié)合，例如簡單的集成，或者加權(quán)結(jié)合，其實(shí)最近大模型經(jīng)常用的MoE就是加權(quán)結(jié)合的特例，學(xué)件還可以做鏈?zhǔn)浇Y(jié)合、樹形結(jié)合等等很多種模型的結(jié)合方式。這里面還有很多探索空間。

進(jìn)一步來說，隨著學(xué)件基座系統(tǒng)中容納的學(xué)件不斷增長，學(xué)件規(guī)約能否成長，使其能容納越來越多的模型，且對模型的刻畫能力有所增強(qiáng)？

另外，我們還研究了如何使得規(guī)約能夠成長，以及學(xué)件基座系統(tǒng)如何隨著收到更多的模型而成長，這里用到了規(guī)約索引樹、稀疏哈希等技術(shù)，有很多模型不斷接收進(jìn)來，多到一定程度之后，內(nèi)部會重新組織，這樣得到一個可成長、可演化的基座系統(tǒng)。

從這個角度可以看到，如果把整個學(xué)件基座系統(tǒng)看做一個異構(gòu)大模型，它和現(xiàn)在各種大模型不太一樣，是一個可成長可演化的大模型，宏觀上可以理解為人民群眾組成集體是超級大模型。

我們最近開源了北冥塢學(xué)件基座系統(tǒng)，歡迎大家來使用，這是一個科研原型系統(tǒng)。現(xiàn)在許多老師同學(xué)感覺，大模型時代，在高校院所里面因?yàn)樗懔Σ粔?，難以開展科研工作了。大家可以跟企業(yè)合作開展大模型方面的研究，另一方面，學(xué)件這條路線的研究目前還不需要多大算力，并且我們目前做的都是非常粗淺的解決方案，對學(xué)件這條路線感興趣的老師同學(xué)，如果要做研究，要做實(shí)驗(yàn)，那么就可以在這個基座系統(tǒng)中做實(shí)驗(yàn)，大家應(yīng)該能做出更聰明的解決方案。

另一方面，這個基座系統(tǒng)里面現(xiàn)在容納模型還不多，還不能提供服務(wù)，歡迎大家有模型提交上來，未來模型很多之后可望能提供服務(wù)。現(xiàn)在國際上也出現(xiàn)機(jī)器學(xué)習(xí)模型平臺，相比而言，學(xué)件2016年就提出了，里面的構(gòu)想要精巧得多，能力會強(qiáng)得多，并且未來還有很大潛力發(fā)展空間。但我們作為高校師生開發(fā)的系統(tǒng)，工程化能力肯定是短板，如果有企業(yè)希望基于這個開發(fā)自己學(xué)件基座系統(tǒng)，我們也歡迎大家來合作。謝謝！

謝謝！

北冥塢：
https://bmwu.cloud

— 完 —