沈向洋

“大模型大到一定地步以后就涌現(xiàn)出來。多大才涌現(xiàn)出來？沒人講得清楚?！?月23日，2024全球開發(fā)者先鋒大會在上海開幕，美國國家工程院外籍院士沈向洋在《大模型時代的機遇和挑戰(zhàn)》的演講中分享了對大模型的思考。他表示，人工智能蓬勃發(fā)展，但人們對智能的本質(zhì)并沒有清晰認知。物理學是Theory of Everything，而深度學習就是Theory of Anything。

過去這幾年，大模型的發(fā)展風起云涌，開源社區(qū)的活力和生命力非常強大。沈向洋說，文生圖使得一言勝千圖，一個簡單的提示就可以做出了不起的圖片。ChatGPT使得一句頂一萬句，提出一個問題可以得到很多答案。Sora的出現(xiàn)使得輸入幾句提示就能產(chǎn)生大片效果。

這三件事讓人們產(chǎn)生一個個焦慮，未來開發(fā)者的機會在哪里？沈向洋認為是多模態(tài)，多模態(tài)是通用人工智能的必經(jīng)之路。以OpenAI代表的技術(shù)實際上是對不同模態(tài)的理解，“OpenAI的內(nèi)部有兩套體系，一是從文生圖延展到文生視頻，走的是Stable Diffusion路線，二是文生文，走的是Transformer路線。到現(xiàn)在為止，這兩條線路還沒完全統(tǒng)一起來，相信接下來中國的開發(fā)者、世界的開發(fā)者，很快會有這方面的突破?！?/p>

沈向洋分享了關(guān)于大模型的五方面思考。

第一，大模型的到來，強迫人類重新思考人機關(guān)系。“我們受到的沖擊，到底有多少是機器智能的發(fā)展，有多少是人機交互的震撼?！彼J為，不管是什么技術(shù)，最終目的是幫助人更好運用機器，不忘初心。

第二，大模型將橫掃所有垂直行業(yè)。大模型可分為通用大模型、行業(yè)大模型、企業(yè)大模型和個人大模型。“一個通用大模型如果沒有萬卡、不上1萬億參數(shù)，基本上以后就不太好意思說這是一個通用模型了。行業(yè)大模型大致上是千億參數(shù)、千卡的訓練規(guī)模。企業(yè)大模型可能只需要100張卡、百億參數(shù)。最有意思的是個人大模型，利用個性化參數(shù)，結(jié)合云和端，這是非常有意義的。”

第三，算力是門檻。影響算力的兩大因素是模型大小和數(shù)據(jù)規(guī)模，隨著參數(shù)增加，對算力的需求幾乎是幾何級的?！扒Эㄈf卡是錢堆出來的。以前有一句話叫貧窮限制想象力，現(xiàn)在貧窮可能扭曲想象力，因為如果沒有卡，能想象要做的項目可能就不太一樣了?！?/p>

第四，AI帶來社會沖擊。這些沖擊包括對民眾的沖擊、企業(yè)的沖擊、政府監(jiān)管的沖擊、社會發(fā)展的沖擊，帶來一本正經(jīng)胡說八道、深度偽造等倫理問題，很多國家開始立法，這需要共同推動治理、向前發(fā)展。

第五，智能的本質(zhì)。人工智能蓬勃發(fā)展，但人們對智能的本質(zhì)并沒有清晰認知?！按竽Ｐ痛蟮揭欢ǖ夭揭院缶陀楷F(xiàn)出來。多大才涌現(xiàn)出來？沒人講得清楚。”沈向洋表示，“很多人相信scaling law（規(guī)模法則），但今天的深度學習，理論非常欠缺。從宇宙到量子，物理學有一套大一統(tǒng)的理論統(tǒng)一起來，叫作Theory of Everything。今天深度學習沒有這樣的理論，所以叫作Theory of Anything?！?/p>

來源：澎湃新聞