大模型浪潮邁入新階段：從Pretrain到SFT | CCF C3

林樾 2023-09-28 05:35:33 來(lái)源：量子位

林樾 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

大模型短期容易被高估，長(zhǎng)期容易被低估。未來(lái)兩到三年，大模型是值得期待的。

大模型數(shù)智經(jīng)營(yíng)2.0時(shí)代，將具有新的三大特性：知識(shí)經(jīng)營(yíng)、基于AI的決策執(zhí)行&因果推斷、創(chuàng)造性的智能經(jīng)營(yíng)。

大模型在To P（Professional consumer）場(chǎng)景中能更好地提效。

本次CCF C3活動(dòng)來(lái)到阿里媽媽，近二十位來(lái)自企業(yè)、學(xué)界的專家、研究人員一同參觀了阿里巴巴展區(qū)，聆聽(tīng)了來(lái)自特邀嘉賓與講者的報(bào)告分享，參與高峰論壇討論。

阿里媽媽廣告技術(shù)部工程技術(shù)負(fù)責(zé)人仇光，北京郵電大學(xué)教授杜軍平帶來(lái)了與數(shù)智商業(yè)化技術(shù)相關(guān)的主題報(bào)告。

隨后，仇光、杜軍平和阿里媽媽及閑魚(yú)CTO鄭波，面壁智能聯(lián)合創(chuàng)始人兼CEO、知乎合伙人CTO兼高級(jí)副總裁李大海，高通公司中國(guó)產(chǎn)品技術(shù)生態(tài)合作負(fù)責(zé)人劉曉光，阿里媽媽內(nèi)容平臺(tái)與智能創(chuàng)作算法負(fù)責(zé)人葛鐵錚等在高峰論壇環(huán)節(jié)討論了商家該如何應(yīng)對(duì)大模型等問(wèn)題。

大模型短期容易被高估，長(zhǎng)期容易被低估

高峰論壇首先從大模型熱潮的現(xiàn)狀開(kāi)始談起：大模型是否會(huì)像區(qū)塊鏈、元宇宙技術(shù)曇花一現(xiàn)，還是一次真正產(chǎn)生深遠(yuǎn)影響的技術(shù)革命？

嘉賓們普遍認(rèn)為，大模型技術(shù)相比于區(qū)塊鏈、元宇宙，具有更多與現(xiàn)實(shí)應(yīng)用的清晰的結(jié)合點(diǎn)。初期的大模型存在泡沫是必然的，反映了大家對(duì)技術(shù)的過(guò)于高估。

但是李大海表示大模型「短期容易被高估，長(zhǎng)期容易被低估」。也許短時(shí)間內(nèi)，技術(shù)沒(méi)有對(duì)世界產(chǎn)生巨大變化，但是未來(lái)兩到三年，大模型是值得期待的。

大模型的創(chuàng)造力帶來(lái)可能性

大模型的出現(xiàn)對(duì)學(xué)術(shù)界和產(chǎn)業(yè)界都帶來(lái)了新的震動(dòng)。

杜軍平簡(jiǎn)單梳理了大模型給學(xué)術(shù)界帶來(lái)的影響。大模型在深度學(xué)習(xí)領(lǐng)域，推動(dòng)了模型壓縮、模型可解釋性、模型建置等更加前沿的研究。在此基礎(chǔ)上，模型魯棒性、可解釋性、倫理問(wèn)題和數(shù)據(jù)隱私問(wèn)題等新的問(wèn)題，也推動(dòng)了新的研究方向和算法的出現(xiàn)。

大模型浪潮還推動(dòng)了跨學(xué)科的研究合作，同時(shí)合成數(shù)據(jù)的出現(xiàn)，進(jìn)一步擴(kuò)充了小樣本、多語(yǔ)言的數(shù)據(jù)。但是大模型也不可避免地影響了研究興趣的轉(zhuǎn)移，更多年輕學(xué)生轉(zhuǎn)向做大模型，讓傳統(tǒng)計(jì)算機(jī)學(xué)科研究受到了挑戰(zhàn)。

仇光從產(chǎn)業(yè)界的視角出發(fā)，認(rèn)為大模型對(duì)實(shí)際問(wèn)題的解決提出了新的思路。對(duì)于公司內(nèi)部，大模型主要用于內(nèi)部提效。在電商場(chǎng)景中，大模型賦予了個(gè)人獨(dú)立、全流程實(shí)現(xiàn)開(kāi)店的能力。如何應(yīng)用大模型，是發(fā)揮想象力的工作。

葛鐵錚在阿里媽媽負(fù)責(zé)創(chuàng)意、內(nèi)容生成方面工作，他表示自己最看重大模型的創(chuàng)造力，大語(yǔ)言模型總能很快地給出稀奇古怪的想法。即使是數(shù)據(jù)規(guī)模較小、質(zhì)量較差的模型，也能夠完成創(chuàng)造性工作。

但是在邏輯判斷、知識(shí)輸出等方面，成熟、完善的大模型才能更好地應(yīng)對(duì)，很多情況下需要外界輔助如搜索增強(qiáng)等來(lái)提升能力。

鄭波提到了一個(gè)新的概念ToP（Professional Consumer）。短期來(lái)看，大模型帶來(lái)的改變是效率提升。相比于ToB和ToC場(chǎng)景，在ToP場(chǎng)景中，專業(yè)從業(yè)者如內(nèi)容創(chuàng)作者、程序員、分析師、BI等能夠更好地利用大模型來(lái)提效。

大模型在電商場(chǎng)景還能如何應(yīng)用呢？

高通劉曉光提出，在移動(dòng)設(shè)備算力及性能飛速提高的基礎(chǔ)上，未來(lái)AI和大模型可以讓手機(jī)等通訊設(shè)備成為個(gè)人助理、甚至個(gè)人代理。

一方面大模型可以更好地理解用戶的行為意圖、輔助用戶決策，也能夠幫助商家推薦更符合用戶喜好的產(chǎn)品。另一方面，很多公司在做數(shù)字人電商直播，端側(cè)的大模型能力能夠讓商家在手機(jī)端實(shí)時(shí)渲染驅(qū)動(dòng)數(shù)字人，與用戶即時(shí)反饋互動(dòng)。

大模型的局限性

高峰論壇中，嘉賓們也深入討論了大模型的局限性。

李大海表示，大模型現(xiàn)在還有很多局限，仍處于早期階段，在多模態(tài)、復(fù)雜規(guī)劃、內(nèi)容可控性等方面能力有待改善。與此同時(shí)，大模型能力增強(qiáng)的同時(shí)，意味著成本的增加，這讓?xiě)?yīng)用場(chǎng)景很受限制。

劉曉光也贊同要關(guān)注成本能耗的問(wèn)題，現(xiàn)在大模型還是「大力出奇跡」的時(shí)代，未來(lái)模型優(yōu)化提效和算力云端協(xié)同值得關(guān)注。大模型訓(xùn)練和推理都涉及大量的數(shù)據(jù)，這對(duì)個(gè)性化數(shù)據(jù)的隱私安全提出了新的要求，以及端測(cè)推理和隱私計(jì)算等技術(shù)的重要性。

鄭波認(rèn)為大模型技術(shù)上最大的局限是推理和規(guī)劃的能力。在安全風(fēng)險(xiǎn)上，除了隱私安全，鄭波還提到了虛假信息對(duì)社會(huì)的影響。在成本問(wèn)題上，他認(rèn)為兩年內(nèi)大模型成本會(huì)大幅降低，但是我們需要思考大模型是否能夠帶來(lái)足夠多的價(jià)值。

大模型在安全風(fēng)險(xiǎn)上，也同樣存在局限性。劉曉光提到了個(gè)性化數(shù)據(jù)被用于模型訓(xùn)練和實(shí)時(shí)分析的問(wèn)題，這既需要保護(hù)隱私數(shù)據(jù)安全，也對(duì)端側(cè)計(jì)算能力提出了要求。

CCF秘書(shū)長(zhǎng)唐衛(wèi)清表示，現(xiàn)在的大模型以平臺(tái)類為主，知識(shí)范圍大而全；當(dāng)未來(lái)的大模型落到垂直領(lǐng)域時(shí)，跨領(lǐng)域知識(shí)如何區(qū)別和建立聯(lián)系仍有待思考。

大模型數(shù)智經(jīng)營(yíng)2.0時(shí)代

仇光在《數(shù)智商業(yè)技術(shù)的趨勢(shì)和挑戰(zhàn)》主題報(bào)告中提到，過(guò)去的數(shù)智商業(yè)技術(shù)的1.0時(shí)代本質(zhì)上是基于統(tǒng)計(jì)分析或經(jīng)驗(yàn)判斷來(lái)提升投放效果。

仇光表示，結(jié)合了大模型的數(shù)智經(jīng)營(yíng)技術(shù)2.0時(shí)代，將具有新的三大特性：知識(shí)經(jīng)營(yíng)、基于AI的決策執(zhí)行&因果推斷和創(chuàng)造性的智能經(jīng)營(yíng)。

在生成式AI優(yōu)化原有數(shù)字經(jīng)營(yíng)鏈路和模型的基礎(chǔ)上，仇光也期待著AI Native能夠給產(chǎn)品鏈路、工作模式等帶來(lái)顛覆性的新范式。

他也提出數(shù)智商業(yè)技術(shù)的面臨幾個(gè)挑戰(zhàn)，包括大模型浪潮邁入新階段：從Pretrain到SFT、在線推理成為未來(lái)制約大模型應(yīng)用的關(guān)鍵瓶頸、AI Native的數(shù)智經(jīng)營(yíng)范式仍然是一個(gè)開(kāi)放課題等。

杜軍平在《大模型賦能的電商大數(shù)據(jù)智能搜索與推薦》主題報(bào)告中，詳細(xì)介紹了團(tuán)隊(duì)如何將大模型技術(shù)與電商領(lǐng)域應(yīng)用相結(jié)合。

杜軍平詳細(xì)介紹了深層次特征提取、多模態(tài)語(yǔ)義理解和分析、深度學(xué)習(xí)和個(gè)性化建模等技術(shù)和最新研究進(jìn)展。為此她總結(jié)道，大語(yǔ)言模型在電商大數(shù)據(jù)的精準(zhǔn)畫(huà)像、智能搜索、智能推薦等領(lǐng)域展現(xiàn)出了非常大的潛力。

—?完?—