大模型預(yù)測(cè)，下一個(gè)token何必是文字？

十三 2024-03-29 17:39:09 來源：量子位

明敏 金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

太快了太快了…

大模型的生成技能，已經(jīng)到了普通人看不懂的境界！

它可以根據(jù)用戶過去5年的體檢報(bào)告，生成未來第1年、第2年、第3年的體檢報(bào)告。

你看，這個(gè)生成的過程，是不是像極了ChatGPT，根據(jù)歷史單詞預(yù)測(cè)下一個(gè)單詞。

它能查看過去7天機(jī)組子部件的運(yùn)行情況，生成未來3天每小時(shí)的子部件報(bào)告 。

還能基于歷史水文數(shù)據(jù)和未來7天氣象數(shù)據(jù)，生成未來第1天、第2天……至第7天的每小時(shí)降水分析報(bào)告，包括詳細(xì)降水量、降水分布。

如今，大模型的生成內(nèi)容，早已不只是文字/圖像/視頻了。

如上生成的這些報(bào)告分析涉及諸多專業(yè)知識(shí)，普通人很難基于自己的知識(shí)儲(chǔ)備評(píng)價(jià)其合理性和正確性。

最多只能評(píng)價(jià)一句：不明覺厲！

怎么說呢？“AI似乎正在生成一切”。

LLM+行業(yè)數(shù)據(jù)，路走錯(cuò)了？

簡(jiǎn)單理解大模型，就是Predict the Next “X”。ChatGPT是Predict the Next “Word”。

但行業(yè)需要的往往不是預(yù)測(cè)下一個(gè)字。

比如對(duì)于慢性病患者的健康管理規(guī)劃，它需要基于一系列生理指標(biāo)數(shù)據(jù)，從醫(yī)學(xué)角度進(jìn)行數(shù)據(jù)預(yù)測(cè)。舉個(gè)不恰當(dāng)?shù)睦?，這更像是用數(shù)學(xué)方法解題。

如果在大語言模型基礎(chǔ)上投喂大量專業(yè)的醫(yī)學(xué)語料，更像是用語文方法讀題。盡管能理解相關(guān)的術(shù)語和指標(biāo)，可是給出的預(yù)測(cè)結(jié)果大概率不準(zhǔn)確。因?yàn)閱栴}本身超出了“語言”范疇，不能用語文方法求解。

如果“X“的模態(tài)從“文字Word”變成了“體檢報(bào)告”，模型則可以根據(jù)歷史體檢報(bào)告數(shù)據(jù)去預(yù)測(cè)下一個(gè)體檢報(bào)告，這才是一個(gè)健康管理大模型。

它的邏輯更像是“種瓜得瓜、種豆得豆”。即輸入“X”、輸出“X”。

這里的“X”可能包含水文數(shù)據(jù)、健康報(bào)告、設(shè)備監(jiān)測(cè)數(shù)值、設(shè)計(jì)推演等不同樣式的專業(yè)數(shù)據(jù)。

它能基于音樂廳的幾何模型和房間數(shù)據(jù)，從聲源發(fā)射5000Hz頻率射線，生成射線分布圖，找到聽覺最佳的音源擺放位置。

如何預(yù)測(cè)“X”？

所以，這些能預(yù)測(cè)下一個(gè)X的行業(yè)大模型，如何構(gòu)建出來？

通過剛剛發(fā)布的先知AIOS 5.0。其核心特點(diǎn)是基于各行各業(yè)場(chǎng)景的X模態(tài)數(shù)據(jù)，構(gòu)建行業(yè)基座大模型。

解決了當(dāng)前行業(yè)大模型只能將行業(yè)文本數(shù)據(jù)喂給大語言模型、生成下一個(gè)字的問題，讓大模型能來到的領(lǐng)域更加廣泛。

先知是AI公司第四范式的核心產(chǎn)品。2015年，先知AIOS 1.0版本首次發(fā)布，通過高維、實(shí)時(shí)、自學(xué)習(xí)框架提升模型精度；2017年，先知AIOS 2.0版本利用自動(dòng)建模工具HyperCycle，降低模型開發(fā)門檻；2020年發(fā)布的先知AIOS 3.0版本規(guī)范AI數(shù)據(jù)治理和上線投產(chǎn)；2022年，先知AIOS 4.0版本引入北極星指標(biāo)，更大化發(fā)揮AI應(yīng)用價(jià)值。

AIOS 5.0版本則從生成式AI+行業(yè)這一角度出發(fā)，給行業(yè)大模型提出了一種新思路。

而在公認(rèn)的大模型應(yīng)用落地元年里，行業(yè)大模型的發(fā)展和影響一定是此前的數(shù)倍。這種更具規(guī)?；膭?dòng)向，由此也形成了AIGC趨勢(shì)的下一個(gè)范式。

One More Thing：AIGC邁向新范式？

從圖片、文字、視頻，再到健康、水利……我們不難看出AIGC現(xiàn)在正以迅猛的速度朝著AI生成一切的方向飛奔。

通常來說，一切事物的發(fā)展似乎都需要一些范式來推動(dòng)，而且不是新范式取代舊范式，而是它們之間互補(bǔ)使其更加深入和全面。

正如科學(xué)研究中的四種范式一般，即實(shí)驗(yàn)歸納、理論推演、計(jì)算機(jī)仿真和數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)，它們相互補(bǔ)充，共同推動(dòng)了科學(xué)研究的進(jìn)步。

那么若是以這種邏輯來看待AIGC，似乎類似的四種范式也已經(jīng)開始出現(xiàn)。

AIGC的第一范式以文本生成為核心，通過智能客服、內(nèi)容續(xù)寫等應(yīng)用，展示了AI在理解和生成自然語言方面的能力。這一階段的AIGC技術(shù)，為后續(xù)的發(fā)展奠定了基礎(chǔ)，使得機(jī)器能夠與人類進(jìn)行有效的交流和互動(dòng)。

AIGC的第二范式將應(yīng)用領(lǐng)域擴(kuò)展到了圖像生成。

如生成對(duì)抗網(wǎng)絡(luò)（GAN）、變分自編碼器（VAE）等，可以學(xué)習(xí)從隨機(jī)噪聲生成逼真圖像的映射。并能將輸出結(jié)果用于藝術(shù)創(chuàng)作、圖像增強(qiáng)、虛擬場(chǎng)景生成等領(lǐng)域。這一范式進(jìn)一步展現(xiàn)了AI的想象力。

AIGC的第三范式則是聚焦在了視頻生成，例如Gen2，例如Sora。

視頻生成一定程度上反映了AI對(duì)于世界的理解。從Sora誕生以來，能否理解世界？是否是世界模擬器的說法一直爭(zhēng)論不休。因?yàn)槿绻_定Sora可以理解世界，將意味著AGI大門正式開啟。

而AIGC的第四范式，就是以行業(yè)為主，技術(shù)將全面滲透到各個(gè)行業(yè)之中。

這一階段的核心任務(wù)是將AI技術(shù)與行業(yè)知識(shí)深度融合。今年作為大模型應(yīng)用落地的元年，我們看到AIGC技術(shù)開始在醫(yī)療、教育、金融等關(guān)鍵領(lǐng)域發(fā)揮重要作用。

具體怎么做才能更快推進(jìn)AIGC扎入行業(yè)？各路玩家都還在不斷嘗試中。以大語言模型為底座？還是直接訓(xùn)練行業(yè)大模型？不同路線都有各自的底層邏輯，誰的路線更能跑通，還言之過早。

但可以確定的是——

在AI生成一切的進(jìn)程中，那些能夠率先利用AI技術(shù)的個(gè)人和行業(yè)，將能夠更早地享受到技術(shù)帶來的紅利。他們將有機(jī)會(huì)引領(lǐng)行業(yè)變革，塑造未來的社會(huì)和經(jīng)濟(jì)格局。

而且也只有AIGC進(jìn)入到了第四范式，才意味著完成了技術(shù)創(chuàng)新到商業(yè)創(chuàng)業(yè)的飛輪轉(zhuǎn)換，意味著生成式AI開啟新質(zhì)生產(chǎn)力變革。