周志華:百萬模型進入學件基座系統(tǒng),很多沒預期過的事也有可能實現(xiàn)
學件=模型+規(guī)約
編輯部 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
大模型時代，全世界AI從業(yè)者追趕OpenAI GPT系列的腳步仍未停歇，但也有人，堅持深耕在國產(chǎn)原創(chuàng)的另一條大模型之路上。
南京大學副校長、國際人工智能聯(lián)合會理事會主席周志華教授，就是其中代表。他提出的“學件范式”，旨在從數(shù)據(jù)隱私角度著手，通過模型+規(guī)約的方式構(gòu)建基座系統(tǒng)，讓用戶的需求能被自動匹配到合適的模型、模型組合上，安全、可靠地復用他人開發(fā)的模型工具。
用戶只需要提出需求，學件基座系統(tǒng)就會根據(jù)需求，從無數(shù)學件中去找出一個或者若干個學件，甚至把它們組裝起來解決問題。
在MEET 2025智能未來大會上，周志華教授從宏觀角度和技術(shù)角度詳細為我們分享了學件范式的最新進展。
為了完整體現(xiàn)周志華教授的觀點，在不改變原意的基礎(chǔ)上，量子位對演講內(nèi)容進行了編輯整理，希望能給你帶來更多啟發(fā)。
MEET 2025智能未來大會是由量子位主辦的行業(yè)峰會，20余位產(chǎn)業(yè)代表與會討論。線下參會觀眾1000+，線上直播觀眾320萬+，獲得了主流媒體的廣泛關(guān)注與報道。
核心觀點
- 學件=模型+規(guī)約。規(guī)約通過對模型進行刻畫，可以使模型在不知道開發(fā)者數(shù)據(jù)的情況下被復用。
- 用戶只需要提出需求，學件基座系統(tǒng)就會根據(jù)需求，從無數(shù)學件中去找出一個或者若干個學件，甚至把它們組裝起來解決問題。
- 學件基座系統(tǒng)可以看作異構(gòu)大模型，隨著更多的模型被提交，它會長大、重組，未來提供服務(wù)的時候一定程度還提供了可解釋性，和現(xiàn)在常見的大模型不同。
（以下為周志華教授演講全文）
學件=模型+規(guī)約
大家好，很高興跟大家做交流，我的題目叫作《學件和異構(gòu)大模型》。
大模型大家都很清楚是什么，那么學件是什么？
我們知道計算機里有硬件，有軟件。大概在9年前，那時候還沒有大模型，深度神經(jīng)網(wǎng)絡(luò)也剛剛開始被大家注意，那時候我們發(fā)表了一個東西，向大家公開我們的預期，說機器學習這樣發(fā)展下去會不會產(chǎn)生一種形態(tài)，我們命名為學件（Learnware）。學件從這個詞從概念，再到研究體系，都是我們完全原創(chuàng)的。
我今天主要跟大家介紹一下這條路線在做什么事。
因為考慮到今天這個場合大家主要需要一些宏觀理解，而不是技術(shù)細節(jié)，所以我們先思考這幾個問題。
第一個問題：未來機器學習解決世界上的問題，是會用一個模型解決一切，還是用很多模型協(xié)作？我想大家都會有自己的回答，我們的回答是B——可能我們需要很多模型協(xié)作。
第二個問題：這些模型是會由一位開發(fā)者開發(fā)，還是很多開發(fā)者各自開發(fā)？我們認為這個答案應該也是B。
第三個問題：這么多來自世界各地的開發(fā)者，他們開發(fā)的模型都有自己的數(shù)據(jù)，他們會把數(shù)據(jù)都公開嗎？我們認為答案很可能是不公開。
第四個問題：數(shù)以百萬計的模型，是不是能一次性全部產(chǎn)生，還是陸陸續(xù)續(xù)的，今天有一些，明天有一些，后天有一些？我想這個答案肯定是B。
第五個問題：對未來某位人工智能用戶，全世界數(shù)以百萬計的模型都對他有用嗎？還是只有少量甚至個別模型有用？答案還是B。
第六個問題：對于用戶來說，這些已經(jīng)存在的模型中，一定有某個模型能解決他的任務(wù)嗎？還是未必有？說不定我們可以通過組裝一些模型來解決這個任務(wù)。我們認為答案還是B。
有了這么多問題之后，歸結(jié)起來就是這么一個問題：在拿不到開發(fā)者的訓練數(shù)據(jù)，甚至用戶也不愿意公開自己數(shù)據(jù)的情況下，我們?nèi)绾沃罃?shù)以百萬計、全世界各個開發(fā)者開發(fā)的模型中，哪個或者哪些經(jīng)過組裝之后對用戶是有幫助的？我們?nèi)绾文軌驅(qū)碜圆煌拈_發(fā)者、針對不同任務(wù)的模型進行組裝復用，或者就像大家都在談的，大小模型協(xié)同。
學件這條路線就是在往這個方向努力。
學件是什么呢？學件=模型+規(guī)約。為了便于理解，我們舉一個類比，假設(shè)現(xiàn)在世界上有很多開發(fā)者做出他們的模型，他們愿意分享他們的模型，在這個圖上，每一把刀、每一個錘子、每一把斧頭都是一個機器學習模型。
模型大家都清楚，規(guī)約是什么？就是對模型進行某種刻畫，使得系統(tǒng)在不知道開發(fā)者數(shù)據(jù)的情況，能夠根據(jù)未來用戶的需求被找出來復用。
容納這些模型的地方，一開始我們把它叫作“學件市場”，好比一個超市。后來有專家跟我們討論，說“市場”給大家感覺是要做交易。其實未來確實是可以做交易，比方說被用得很多的學件，可以收費，收費之后再回報給開發(fā)者。但在現(xiàn)在，我們主要關(guān)注其中的科學技術(shù)問題，所以我們現(xiàn)在也把它叫學件基座系統(tǒng)。
有了這個基座系統(tǒng)之后，未來用戶想要開發(fā)自己的AI任務(wù)，就不需要從頭開始。今天當我們要做一個自己的機器學習應用的時候，我們要搜集數(shù)據(jù)，要訓練模型，要調(diào)參數(shù)，但是在別的領(lǐng)域不是這樣的，比如說要買一把切肉的刀，我絕對不會說自己再去采礦打鐵，我會到超市上看一看，有沒有這樣的刀。就算沒有，我找一把西瓜刀拿回家，用我自己的數(shù)據(jù)打磨打磨，說不定就能用了。
所以我們希望未來的用戶只需要提出需求，然后學件基座系統(tǒng)根據(jù)用戶需求，在學件基座系統(tǒng)所容納的無數(shù)學件中去找出一個或者若干個，甚至組裝起來解決你的問題。注意，在整個過程中，開發(fā)者的數(shù)據(jù)不披露給學件基座系統(tǒng)，甚至用戶的數(shù)據(jù)也不需要披露給學件基座系統(tǒng)。
這個事情2016年發(fā)表了第一篇論文提出這件事，后來的七年時間里面，我們沒有發(fā)表論文，一直在解決這里面的關(guān)鍵科學技術(shù)問題，目前這些問題有了初步的解決方案。在講技術(shù)方案之前，我們先宏觀地來看，和以往有什么不同。
經(jīng)典的機器學習范式，是針對某個任務(wù)做一個模型解決它。
大模型范式，是匯集很多數(shù)據(jù)去訓練一個模型。匯集數(shù)據(jù)的過程實際上是希望數(shù)據(jù)相關(guān)方要放棄隱私和所有權(quán)，這對對話、視頻這樣的任務(wù)是比較容易做到的，但對生產(chǎn)生活中的很多任務(wù)其實不太容易。比方說，哪怕是同一個類型的企業(yè)，往往也不愿意把數(shù)據(jù)分享出來給你收集起來訓練模型，許多企業(yè)認為，一旦把數(shù)據(jù)分享出去，通過大模型，就等于技術(shù)優(yōu)勢分享給同行了。但如果只能用企業(yè)內(nèi)部數(shù)據(jù)，往往又不夠大模型訓練。
學件這個范式的關(guān)鍵，是不收集你的數(shù)據(jù)，只是匯集起不同的模型。這些模型可以是為很私有的任務(wù)開發(fā)的，你不需要披露你的訓練數(shù)據(jù)。另外，模型的黑箱性一般認為是個壞事，而在這里卻能夠起到正面作用。有了這些模型之后，大家容易想到，可以為未來的很多任務(wù)提供服務(wù)，它們不必須是同一大類的。這很容易理解，比如有天氣預報的模型，以后當然可以做天氣預報，有地震預測模型，以后當然可以做地震預測。但是需要認識到，對某些我們從來沒有考慮過的任務(wù)，也有可能通過把若干個模型拼裝起來解決它。
舉個例子，假設(shè)我們要考慮A和D分類，從來沒有開發(fā)者做過這種模型，但有人做過A和B，有人做過B和C，有人做過C和D，就有可能把它們組裝起來解決A和D的分類任務(wù)。
所以這是一條和一般大模型不同的路。第一假設(shè)所有模型都潛在有用，即便對開發(fā)者不太好的模型，對別的用戶說不定是有用的。第二可能很多小模型匯集在一起之后，能夠做一些今天我們認為只有大模型才能做的事，當然大小模型協(xié)作都可以在其中完成，而且不存在災難性遺忘，因為一個模型只要放在基座系統(tǒng)中，除非它的能力被完全替代，否則就一直在哪里，天然在進行終身學習，而且不必披露開發(fā)者和用戶數(shù)據(jù)。另外，開發(fā)者提交的模型，在未來適用的時候可能超越開發(fā)者原本的意圖，用于解決他完全沒考慮過的任務(wù)。
從哲學方法論上來說，如果說大模型是幾個大英雄打天下的話，學件則是認為“力量蘊藏在人民群眾”中。我們預期，學件基座系統(tǒng)容納了數(shù)以百萬計的模型之后，這條路線的力量會更加涌現(xiàn)出來，很多我們原來沒想過的事都有可能做。
學件基座系統(tǒng)可視作異構(gòu)大模型
回到技術(shù)問題上。
規(guī)約是什么？它需要對模型進行適當刻畫。大概是什么做法，涉及到兩方面，一個是學件基座系統(tǒng)，一個是模型開發(fā)者。
首先學件基座系統(tǒng)給開發(fā)者發(fā)送兩個信息k和n，k是某個函數(shù)，n是規(guī)約大小。模型開發(fā)者用自己的數(shù)據(jù)訓練模型，基于基座系統(tǒng)提供的k和n生成規(guī)約。他提交模型的時候，把規(guī)約和模型一起提交。
我們可以看到，所有的訓練數(shù)據(jù)一直在模型開發(fā)者手上，基座系統(tǒng)是不接觸數(shù)據(jù)的，碰到的只有提交的模型和規(guī)約。大家要問了，這個規(guī)約是基于你給我的k和n生成的，你有沒有可能根據(jù)這個把我的訓練數(shù)據(jù)破解出來？
我們最近做了一個理論證明，首先，規(guī)約不會包含開發(fā)者訓練數(shù)據(jù)，第二，即便對信息安全中強大的推斷攻擊和鏈接攻擊，并且是針對確定性算法最強的暴力搜索這樣的攻擊，仍然可以有效地保護開發(fā)者的數(shù)據(jù)。而且有了這個結(jié)果之后，我們就可以得到關(guān)于規(guī)約大小設(shè)置的理論指導，通過設(shè)置為合適的大小，既能起到數(shù)據(jù)保護作用，還能支持模型復用。
為用戶提供服務(wù)的時候，學件基座系統(tǒng)有可能是反饋最好的某個模型，也可能是多個模型的結(jié)合，例如簡單的集成，或者加權(quán)結(jié)合，其實最近大模型經(jīng)常用的MoE就是加權(quán)結(jié)合的特例，學件還可以做鏈式結(jié)合、樹形結(jié)合等等很多種模型的結(jié)合方式。這里面還有很多探索空間。
進一步來說，隨著學件基座系統(tǒng)中容納的學件不斷增長，學件規(guī)約能否成長，使其能容納越來越多的模型，且對模型的刻畫能力有所增強？
另外，我們還研究了如何使得規(guī)約能夠成長，以及學件基座系統(tǒng)如何隨著收到更多的模型而成長，這里用到了規(guī)約索引樹、稀疏哈希等技術(shù)，有很多模型不斷接收進來，多到一定程度之后，內(nèi)部會重新組織，這樣得到一個可成長、可演化的基座系統(tǒng)。
從這個角度可以看到，如果把整個學件基座系統(tǒng)看做一個異構(gòu)大模型，它和現(xiàn)在各種大模型不太一樣，是一個可成長可演化的大模型，宏觀上可以理解為人民群眾組成集體是超級大模型。
我們最近開源了北冥塢學件基座系統(tǒng)，歡迎大家來使用，這是一個科研原型系統(tǒng)?，F(xiàn)在許多老師同學感覺，大模型時代，在高校院所里面因為算力不夠，難以開展科研工作了。大家可以跟企業(yè)合作開展大模型方面的研究，另一方面，學件這條路線的研究目前還不需要多大算力，并且我們目前做的都是非常粗淺的解決方案，對學件這條路線感興趣的老師同學，如果要做研究，要做實驗，那么就可以在這個基座系統(tǒng)中做實驗，大家應該能做出更聰明的解決方案。
另一方面，這個基座系統(tǒng)里面現(xiàn)在容納模型還不多，還不能提供服務(wù)，歡迎大家有模型提交上來，未來模型很多之后可望能提供服務(wù)。現(xiàn)在國際上也出現(xiàn)機器學習模型平臺，相比而言，學件2016年就提出了，里面的構(gòu)想要精巧得多，能力會強得多，并且未來還有很大潛力發(fā)展空間。但我們作為高校師生開發(fā)的系統(tǒng)，工程化能力肯定是短板，如果有企業(yè)希望基于這個開發(fā)自己學件基座系統(tǒng)，我們也歡迎大家來合作。謝謝！
謝謝！
北冥塢：
https://bmwu.cloud
— 完 —
相關(guān)閱讀
