
以下是本次直播實(shí)錄“預(yù)測(cè)大模型”部分——

Genji:剛才提到的“預(yù)測(cè)大模型”這個(gè)詞比較新,請(qǐng)簡(jiǎn)單概述一下。
常博士:現(xiàn)有所有的AI都是利用部分?jǐn)?shù)據(jù)訓(xùn)練出的特定場(chǎng)景的模型來(lái)解決特定問(wèn)題。我們希望通過(guò)預(yù)測(cè)大型模型可以在世界上所有可獲取的數(shù)據(jù)知識(shí)中進(jìn)行統(tǒng)一學(xué)習(xí),然后將AI部署和應(yīng)用于無(wú)限多的場(chǎng)景中。甚至在一些新出現(xiàn)的場(chǎng)景中,我們也可以遷移模型并加以利用。這就是我們的愿景:無(wú)限數(shù)據(jù)的學(xué)習(xí),無(wú)限場(chǎng)景的應(yīng)用。

Genji:我很好奇在盤(pán)古預(yù)測(cè)大模型中,您是基于什么動(dòng)機(jī)和背景去做的?
常博士:企業(yè)面對(duì)有限數(shù)據(jù)構(gòu)建 AI 分析模型時(shí),既需要突破數(shù)據(jù)量不足的瓶頸,又要解決小樣本場(chǎng)景下模型精度優(yōu)化的技術(shù)難題,而現(xiàn)有技術(shù)體系尚未形成系統(tǒng)性解決方案。因此,我們對(duì)預(yù)測(cè)大模型的核心期望在于:通過(guò)構(gòu)建具備知識(shí)泛化能力的模型架構(gòu),使其在完成多源數(shù)據(jù)學(xué)習(xí)后,能夠無(wú)縫遷移至各類新興業(yè)務(wù)場(chǎng)景及下游任務(wù)。這一需求的底層邏輯源于 To B 業(yè)務(wù)的現(xiàn)實(shí)約束 —— 當(dāng)面對(duì)海量客戶需求時(shí),傳統(tǒng)定制化解決方案難以規(guī)?;涞兀诰驁?chǎng)景共性并實(shí)現(xiàn)批量式問(wèn)題解決,成為破局的關(guān)鍵路徑。
Genji:在這么多數(shù)據(jù)的技術(shù)架構(gòu)探索中,您有什么發(fā)現(xiàn)和洞見(jiàn)可以與我們分享嗎?
常博士:在 AI 應(yīng)用實(shí)踐中,視覺(jué)與語(yǔ)言領(lǐng)域因數(shù)據(jù)規(guī)模龐大,已通過(guò)大模型技術(shù)實(shí)現(xiàn)系統(tǒng)性突破。但更多垂直場(chǎng)景仍面臨「定制化建模困境」:傳統(tǒng)方案需針對(duì)每個(gè)場(chǎng)景的數(shù)據(jù)格式、類型設(shè)計(jì)專屬網(wǎng)絡(luò)結(jié)構(gòu),這種「一事一模型」的模式不僅難以覆蓋海量場(chǎng)景,更導(dǎo)致不同模型間形成「智能孤島」—— 各場(chǎng)景的 AI 能力彼此割裂,無(wú)法通過(guò)知識(shí)共享實(shí)現(xiàn)協(xié)同進(jìn)化。
追根溯源,該問(wèn)題的本質(zhì)在于數(shù)據(jù)表征的碎片化。所有數(shù)據(jù)本質(zhì)上都是對(duì)物理世界的離散化建模:
- 圖像數(shù)據(jù)以二維網(wǎng)格為基本單元(像素陣列),無(wú)論是手機(jī)拍攝的風(fēng)景照、天文望遠(yuǎn)鏡捕捉的星系圖像,還是顯微鏡下的微觀影像,其數(shù)據(jù)結(jié)構(gòu)均遵循格子空間規(guī)律,這也是卷積神經(jīng)網(wǎng)絡(luò)(CNN)通過(guò)局部特征掃描實(shí)現(xiàn)高效建模的底層邏輯;
- 文本數(shù)據(jù)呈現(xiàn)單向序列結(jié)構(gòu)(字符流),與圖像的二維空間截然不同,因此 Transformer 通過(guò)自注意力機(jī)制捕捉序列依賴關(guān)系;
- 工業(yè)傳感器數(shù)據(jù)則更為復(fù)雜,不同設(shè)備的采樣頻率、空間分布、物理含義差異顯著,導(dǎo)致其數(shù)據(jù)結(jié)構(gòu)缺乏統(tǒng)一范式。
這種數(shù)據(jù)結(jié)構(gòu)的多樣性,使得傳統(tǒng) AI 模型必須針對(duì)特定場(chǎng)景設(shè)計(jì)專屬架構(gòu)。當(dāng)石油鉆井傳感器數(shù)據(jù)(時(shí)序 + 空間多維信號(hào))、醫(yī)療影像(三維體數(shù)據(jù))、物流路徑數(shù)據(jù)(圖結(jié)構(gòu))等并存時(shí),差異化的模型架構(gòu)導(dǎo)致知識(shí)遷移難以實(shí)現(xiàn)。因此,突破的關(guān)鍵在于建立「數(shù)據(jù)原子級(jí)表征體系」—— 通過(guò)抽象不同數(shù)據(jù)形態(tài)的底層共性,在表征層面構(gòu)建統(tǒng)一的數(shù)學(xué)語(yǔ)言,為跨場(chǎng)景智能遷移奠定基礎(chǔ)。這一思路既需要解構(gòu)物理世界的信息編碼規(guī)律,也需重構(gòu) AI 模型的底層表征范式,是打破智能孤島的核心技術(shù)路徑。
Genji:在我聽(tīng)起來(lái),我們目前要做的很像是愛(ài)因斯坦找尋的大一統(tǒng)理論,所以是這樣嗎?
常博士:是的。我們致力于構(gòu)建的大一統(tǒng) AI,其本質(zhì)是通過(guò)全量數(shù)據(jù)的統(tǒng)一學(xué)習(xí),實(shí)現(xiàn)“一次訓(xùn)練、全域遷移“的智能進(jìn)化。這一目標(biāo)的核心在于:讓 AI 在掌握?qǐng)D像、語(yǔ)言、藥物分子、工業(yè)數(shù)據(jù)等全類型數(shù)據(jù)的底層規(guī)律后,能自主適應(yīng)從未見(jiàn)過(guò)的新場(chǎng)景,從而打破傳統(tǒng) AI“一場(chǎng)景區(qū)分一模型”的碎片化局限。我可以舉個(gè)很簡(jiǎn)單的例子,我們可以把不同的數(shù)據(jù)嵌入不同的空間,就相當(dāng)于照片、語(yǔ)言、藥物分子、表格等分別在不同空間,我們可以將這些不同的空間想象成分子結(jié)構(gòu),人類分子的種類有無(wú)窮多個(gè),可以合成非常多種類的分子,但是構(gòu)成分子的原子數(shù)量并不是很多,也就是我們所謂的原子級(jí)表達(dá),這是我們期望做到的,當(dāng)有了原子級(jí)表達(dá)之后,所有的數(shù)據(jù)看來(lái)都是一樣的,我就可以進(jìn)行下一步的學(xué)習(xí),通過(guò)原子級(jí)表征發(fā)現(xiàn)數(shù)據(jù)背后的普適規(guī)律。
Genji:在這個(gè)過(guò)程中有哪些應(yīng)用的案例?
常博士:在具體應(yīng)用里面,比如煉鋼這個(gè)過(guò)程,輸入層是鐵礦石原料配比、燃煤量、氧氣 / 空氣注入量等實(shí)時(shí)變化的參數(shù),輸出層是鐵水溫度預(yù)測(cè)值。在這類復(fù)雜工業(yè)場(chǎng)景中,傳感器數(shù)據(jù)量遠(yuǎn)少于視覺(jué)數(shù)據(jù),僅靠本場(chǎng)景數(shù)據(jù)難以構(gòu)建精準(zhǔn)模型。而大一統(tǒng) AI 方案通過(guò)跨領(lǐng)域數(shù)據(jù)學(xué)習(xí),將預(yù)訓(xùn)練模型遷移至煉鋼場(chǎng)景,實(shí)現(xiàn)高效適配。國(guó)內(nèi)某大型鋼廠應(yīng)用后,模型預(yù)測(cè)準(zhǔn)確率遠(yuǎn)超傳統(tǒng)方案。此類工業(yè)場(chǎng)景在國(guó)內(nèi)數(shù)量眾多,大一統(tǒng) AI 突破數(shù)據(jù)稀缺瓶頸,以知識(shí)遷移實(shí)現(xiàn)批量?jī)r(jià)值創(chuàng)造,為制造業(yè)數(shù)字化提供關(guān)鍵支撐。

Genji:既然已經(jīng)做了這么多事情,那么您在這一塊有遇到哪些攻堅(jiān)克難的細(xì)節(jié)可以分享嗎?
常博士:在全球及國(guó)內(nèi)大模型聚焦語(yǔ)言、視覺(jué)、視頻或單一行業(yè)(如蛋白質(zhì)分析)的當(dāng)下,華為自主研發(fā)的預(yù)測(cè)大模型走出了差異化路徑。該模型在研發(fā)初期面臨多重挑戰(zhàn):由于覆蓋場(chǎng)景遠(yuǎn)超語(yǔ)言 / 視頻等單一領(lǐng)域,即便投入大量資源仍難以窮舉所有需求;更關(guān)鍵的是,業(yè)界缺乏可參考的成熟方案,團(tuán)隊(duì)需從零開(kāi)始探索技術(shù)路線的正確性、效果及價(jià)值,甚至一度質(zhì)疑核心問(wèn)題的定位。我們逐漸意識(shí)到,傳統(tǒng)的定制化模式無(wú)法根治問(wèn)題,必須從底層實(shí)現(xiàn)大一統(tǒng):統(tǒng)一數(shù)據(jù)格式、架構(gòu)設(shè)計(jì)及模型體系。這一決策的核心邏輯在于:唯有通過(guò)標(biāo)準(zhǔn)化整合,才能突破場(chǎng)景碎片化瓶頸。如今團(tuán)隊(duì)已明確目標(biāo),正基于該思路推進(jìn)技術(shù)落地。
Genji:在這個(gè)脈絡(luò)里,您覺(jué)得未來(lái)預(yù)測(cè)大模型有什么發(fā)展趨勢(shì)方向?或者您又有什么感興趣的研究領(lǐng)域?
常博士:今年我們推出了基于統(tǒng)一編碼與架構(gòu)的首個(gè)技術(shù)版本。這條技術(shù)路徑蘊(yùn)含巨大探索空間,我認(rèn)為未來(lái)學(xué)術(shù)界會(huì)有更多研究者投身于此 —— 唯有錨定「雙統(tǒng)一」核心方向,才能推動(dòng)技術(shù)沿著正確軌跡演進(jìn)。
接下來(lái)我們規(guī)劃了兩條優(yōu)化路線:第一條是延續(xù)現(xiàn)有技術(shù)路徑,通過(guò)持續(xù)擴(kuò)充數(shù)據(jù)規(guī)模優(yōu)化模型性能;第二條聚焦 To B 場(chǎng)景落地難點(diǎn):許多客戶雖持有數(shù)據(jù),卻缺乏數(shù)據(jù)建模與分析能力;
預(yù)測(cè)大模型當(dāng)前仍依賴“先定義問(wèn)題再解決問(wèn)題”的模式,需要與 Agent 智能體協(xié)作完成問(wèn)題構(gòu)建。這既是預(yù)測(cè)大模型在 B 端場(chǎng)景的突破方向,也是未來(lái)技術(shù)迭代的關(guān)鍵著力點(diǎn)。

Genji:您提到AGI,我相信AGI會(huì)到來(lái),AGI到來(lái)也一定是以解決問(wèn)題為導(dǎo)向的,那么關(guān)于AGI的未來(lái),大模型的明天,您認(rèn)為有哪些趨勢(shì)和脈絡(luò)?
常博士:AGI 的本質(zhì)在于具備人類般的「通用智能」—— 如同人類從小學(xué)到職場(chǎng)的成長(zhǎng)歷程中解決了100件任務(wù),未來(lái)面對(duì)第 101 件與過(guò)往完全不同的新任務(wù),也能通過(guò)抽象過(guò)往經(jīng)驗(yàn)的本質(zhì)規(guī)律實(shí)現(xiàn)平滑解決。這種能力的核心特征是:
1、知識(shí)遷移的靈活性:不依賴特定場(chǎng)景的訓(xùn)練數(shù)據(jù),而是從機(jī)械學(xué)習(xí)、語(yǔ)言理解、圖像識(shí)別等跨領(lǐng)域經(jīng)驗(yàn)中提煉共性邏輯(如因果推斷、模式識(shí)別);
2、問(wèn)題本質(zhì)的洞察力:能識(shí)別新問(wèn)題與歷史任務(wù)在底層邏輯上的相似性(如將金融風(fēng)控問(wèn)題類比為醫(yī)療診斷的概率推理模型)。
上述兩點(diǎn)構(gòu)成 AGI 的核心進(jìn)化閉環(huán):
解決新問(wèn)題 → 積累新經(jīng)驗(yàn) → 豐富知識(shí)基底;
發(fā)現(xiàn)新問(wèn)題 → 定義新任務(wù) → 驅(qū)動(dòng)智能邊界擴(kuò)展。
這種模式如同人類科學(xué)發(fā)現(xiàn)的迭代過(guò)程 —— 從牛頓力學(xué)解決宏觀運(yùn)動(dòng)問(wèn)題,到愛(ài)因斯坦相對(duì)論主動(dòng)發(fā)現(xiàn)時(shí)空本質(zhì)問(wèn)題。當(dāng) AGI 具備該能力時(shí),其發(fā)展將突破人類預(yù)設(shè)的任務(wù)邊界,形成自我驅(qū)動(dòng)的“智能奇點(diǎn)”。
Genji:剛才常博士分享的過(guò)程中,引入了從小學(xué)到初中學(xué)習(xí)路徑。這個(gè)世界從來(lái)不缺好答案,缺一個(gè)好問(wèn)題。去年全國(guó)一卷的語(yǔ)文高考題目,也是這個(gè)類型的問(wèn)題,像人工智能一直在探討關(guān)于問(wèn)題與答案之間的關(guān)聯(lián)關(guān)系,我曾看過(guò)一本書(shū)叫《第三次教育革命》,在教育里,您剛才提到小學(xué)初中這個(gè)階段,我們一般學(xué)習(xí)的東西,包含了知識(shí)、信息和經(jīng)驗(yàn),其中經(jīng)驗(yàn)是最難獲取的,知識(shí)反而成本沒(méi)有那么高,因?yàn)樗加≡跁?shū)本上,就像您所說(shuō),基于理論推演出大一統(tǒng),再通過(guò)大一統(tǒng)泛化,這個(gè)依托的就是經(jīng)驗(yàn),這也AGI,這其實(shí)是一件事情非常的“帶勁”事情。
常博士:是的。我本科學(xué)習(xí)數(shù)學(xué)時(shí)常常做證明題,當(dāng)時(shí)不理解其意義,老師說(shuō)數(shù)學(xué)的本質(zhì)是當(dāng)你忘記所有具體證明后剩下的邏輯思維能力,這和 AGI 很相似:AGI 不應(yīng)局限于記憶具體數(shù)據(jù),而要從數(shù)據(jù)中抽象出普適規(guī)律,并用這些規(guī)律遷移解決全新場(chǎng)景的問(wèn)題,這是合格 AGI 的標(biāo)準(zhǔn);若能在此基礎(chǔ)上自主發(fā)現(xiàn)問(wèn)題、持續(xù)迭代進(jìn)化,就能邁向強(qiáng) AGI,其核心在于讓智能擺脫具體知識(shí)的束縛,成為可自主認(rèn)知和創(chuàng)造的規(guī)律發(fā)現(xiàn)系統(tǒng)。
圍繞預(yù)測(cè)大模型的工業(yè)化和to B端展開(kāi)探討,華為云通過(guò)業(yè)界首創(chuàng)的triplet transformer統(tǒng)一預(yù)訓(xùn)練架構(gòu),將多源數(shù)據(jù)進(jìn)行統(tǒng)一的三元組編碼,并在同一框架內(nèi)高效處理和預(yù)訓(xùn)練,不斷強(qiáng)化預(yù)測(cè)大模型能力,為其跨行業(yè)、跨場(chǎng)景的泛化應(yīng)用提供助力。