文心一言 vs GPT-4實(shí)測(cè)！百度背水一戰(zhàn)交卷

編輯部 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

GPT-4發(fā)布一天之后，壓力全部給到百度這邊。

就在剛剛，百度交卷。

文心一言，百度全新一代知識(shí)增強(qiáng)大語(yǔ)言模型，正式在百度總部“揮手點(diǎn)江山”會(huì)議室里發(fā)布。

在一片靜寂的氛圍里，李彥宏小步登場(chǎng)，語(yǔ)氣里帶著點(diǎn)緊張：

大家的期望值，是我們對(duì)標(biāo)ChatGPT，對(duì)標(biāo)GPT-4，這個(gè)門檻有點(diǎn)高（笑）。

十月懷胎，我們就帶大家來看看這個(gè)AI大模型文心一言長(zhǎng)什么樣。

此前，有人狂轉(zhuǎn)meme圖調(diào)侃百度。

也有人鼓吹百度是全村的希望。

而在發(fā)布會(huì)進(jìn)行的同時(shí)，百度港股市值大幅下跌，相關(guān)話題還沖上了微博熱搜。

但直播彈幕中也有網(wǎng)友點(diǎn)贊：

那么這個(gè)中國(guó)版ChatGPT到底實(shí)力如何？

咱們就用百度發(fā)布會(huì)演示的預(yù)錄制Demo，對(duì)比一下嶄新出爐的GPT-4，先憑實(shí)力說話。

文心一言 vs GPT-4

和GPT-4一樣，文心一言是一個(gè)多模態(tài)大模型。

李彥宏開場(chǎng)就展示了文心一言具備的5種能力，包括文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成。

文心一言甚至還現(xiàn)場(chǎng)秀了一口接地氣的四川話，現(xiàn)場(chǎng)網(wǎng)友發(fā)出一片笑聲。

其他能力如何？我們具體展開來看。

文學(xué)創(chuàng)作

在文學(xué)創(chuàng)作上，李彥宏一開場(chǎng)就搬出了《三體》作者劉慈欣坐鎮(zhèn)。

先讓文心一言介紹一下大劉，“畢竟我也是劉慈欣老鄉(xiāng)嘛”：

看起來沒什么問題。同樣的問題問問GPT-4呢？

嗯？？？直接把劉慈欣的老家挪到了湖北省洪湖市。湖北人狂喜（doge）

隨后，李彥宏又展示了從哲學(xué)的角度對(duì)這段文章進(jìn)行續(xù)寫的demo：

看起來中規(guī)中矩，比較理性。老樣子，我們也來與GPT-4進(jìn)行一波對(duì)比：

這波你是想看GPT-4續(xù)寫的《三體》，還是文心一言的？

再來看看《三體》電視劇中扮演史強(qiáng)和汪淼的老搭檔，于和偉和張魯一，有什么共同點(diǎn)？

也沒什么問題。

就是看起來展示的速度有點(diǎn)快，比李彥宏的語(yǔ)速還要快上那么一點(diǎn)點(diǎn)（手動(dòng)狗頭）。

商業(yè)文案創(chuàng)作

接下來，李彥宏又展示了一下文心一言在商業(yè)文案創(chuàng)作上的能力。

比如給新公司起個(gè)名字。

并且這個(gè)名字它還不是瞎起的：

再來看看GPT-4起名的效果？

看起來，GPT-4對(duì)中文的掌控能力相比之下還是少了一點(diǎn)精髓。

至于寫個(gè)公司成立的新聞稿？對(duì)文心一言來說似乎也不成問題：

數(shù)理邏輯推算

數(shù)學(xué)能力，是考驗(yàn)生成式大模型的一大難題。ChatGPT剛上線時(shí)，也翻了不少車。

不過在現(xiàn)場(chǎng)，文心一言處理的數(shù)學(xué)問題不算復(fù)雜，是小學(xué)數(shù)學(xué)競(jìng)賽常見的雞兔同籠問題。

彩蛋是，李彥宏現(xiàn)場(chǎng)展示的第一題，引得文心一言說出了《狂飆》里高啟盛的經(jīng)典臺(tái)詞：這題出得不對(duì)。

修改一下題目，OK，再扔給文心一言試試：

看起來，答案還算是有理有據(jù)，一步步邏輯推理出來的那種。

李彥宏表示，這些題“不敢說百分之一百能做對(duì)，但至少體現(xiàn)了文心一言的思考?xì)v程”。

中文理解

接下來，李彥宏著重展示了一下文心一言對(duì)中文的理解能力，并特意強(qiáng)調(diào)：

文心一言對(duì)中國(guó)文化的了解，理應(yīng)超出任何一個(gè)預(yù)訓(xùn)練大模型。

一上來就是一個(gè)成語(yǔ)，“洛陽(yáng)紙貴。到底有多貴？”

這是文心一言的效果展示：

還解釋了一下這個(gè)成語(yǔ)背后的經(jīng)濟(jì)學(xué)原理：

那么，將這個(gè)問題拋給GPT-4呢？首先問問它，知不知道洛陽(yáng)紙貴是什么意思：

接下來，再問問他對(duì)應(yīng)的經(jīng)濟(jì)學(xué)理論是什么：

這波看起來，GPT-4的中文理解似乎也不輸文心一言啊。

那么，再來看看二者寫藏頭詩(shī)的能力？

首先是文心一言的效果展示：

接下來，我們?cè)倏纯碐PT-4怎么說：

誒，看起來反而是GPT-4沒有真正理解“藏頭詩(shī)”的含義。

這波文化理解上，屬實(shí)是文心一言“小勝一籌”了。

不過在英文上，李彥宏也承認(rèn)，雖然文心一言也能處理，但能力是顯著不如中文的。

這也和百度目前能用到的訓(xùn)練數(shù)據(jù)有關(guān)。

多模態(tài)生成

最后，李彥宏還簡(jiǎn)單展示了一下文心一言多模態(tài)生成的能力。

首先來看看，為即將到來的2023世界智能交通大會(huì)創(chuàng)作海報(bào)——

而除了前文展示過的文字轉(zhuǎn)四川話能力，文心一言還能文字轉(zhuǎn)視頻。

李彥宏一句指令“將以上內(nèi)容生成視頻”，很快啊，不到幾秒鐘，文心一言就把字幕和視頻做好了：

有些遺憾的是，在ChatGPT被頻頻稱贊的編程方面，文心一言并沒有現(xiàn)場(chǎng)展示相關(guān)能力。

但王海峰透露，文心一言的訓(xùn)練數(shù)據(jù)中同樣包括代碼。

文心一言如何“跑通”？

正如ChatGPT脫胎于OpenAI的GPT系列，百度這次推出的文心一言（ERNIE Bot），背后也正是基于文心大模型技術(shù)打造。

據(jù)王海峰介紹，文心一言主要脫胎于兩大模型：

百度ERNIE系列知識(shí)增強(qiáng)千億大模型，以及百度大規(guī)模開放域?qū)υ捘Ｐ蚉LATO。

在此基礎(chǔ)上，主要采用了六項(xiàng)核心技術(shù)。

其中三個(gè)是廣為人知的大模型技術(shù)，包括有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)（RLHF）和提示構(gòu)建。

p.s. 人類反饋強(qiáng)化學(xué)習(xí)也是ChatGPT的關(guān)鍵技術(shù)。

另外三個(gè)，則是“百度比較有特色”的技術(shù)，包括知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)技術(shù)。

首先來看與ChatGPT類似的技術(shù)：有監(jiān)督精調(diào)、RLHF和提示構(gòu)建。

有監(jiān)督精調(diào)，尤其指中文方面的數(shù)據(jù)精調(diào)。百度基于對(duì)中國(guó)語(yǔ)言文化和中國(guó)應(yīng)用場(chǎng)景的理解，篩選了特定的數(shù)據(jù)來訓(xùn)練模型。

至于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）和提示構(gòu)建，操作上也與ChatGPT大差不差。

隨后是百度提出的、用于進(jìn)一步改善模型效果的技術(shù)。

知識(shí)增強(qiáng)，包括知識(shí)內(nèi)化和知識(shí)外用兩個(gè)部分。其中，知識(shí)內(nèi)化即將知識(shí)“滲透”進(jìn)模型參數(shù)中；知識(shí)外用指的是模型可以直接使用外部的知識(shí)。

檢索增強(qiáng)，則與百度搜索引擎積累的檢索技術(shù)有關(guān)。

百度將把檢索技術(shù)和生成技術(shù)結(jié)合起來，先對(duì)內(nèi)容進(jìn)行檢索后，將比較有用的部分用于生成，再整合輸出結(jié)果：

最后是對(duì)話增強(qiáng)部分，包括之前百度積累的記憶機(jī)制、上下文理解和對(duì)話規(guī)劃等技術(shù)：

概括來看，文心一言表現(xiàn)出的能力，被李彥宏稱為“智能涌現(xiàn)”：

當(dāng)參數(shù)達(dá)到千億量級(jí)，訓(xùn)練語(yǔ)料達(dá)到足夠多的情況下，這種現(xiàn)象就會(huì)發(fā)生。

目前，百度擁有的AI技術(shù)可以分為四個(gè)部分，芯片（昆侖芯）、框架（飛槳）、模型（文心）和應(yīng)用。

之所以軟硬件都要布局，百度稱，是為了降低成本：

生成式AI需求的算力非常高，費(fèi)用相當(dāng)昂貴。

因此，如果在四層架構(gòu)之間相互進(jìn)行協(xié)同優(yōu)化，就能讓它的效率比別人更高，從而顯著降低成本。

李彥宏認(rèn)為，這也正是百度的優(yōu)勢(shì)所在：

四層都有領(lǐng)先產(chǎn)品的公司，絕無僅有。

這次文心大模型背后的硬件算力，也是通過百度智能云提供服務(wù)。

目前，文心一言已經(jīng)接入百度搜索，目的在于提升搜索資源效率。

同時(shí)，包括小度和自動(dòng)駕駛Apollo等產(chǎn)品，以及愛奇藝等公司也已經(jīng)接入百度的文心一言模型。

網(wǎng)友：看來還不用提前退休

截至發(fā)稿，百度港股股價(jià)在一波明顯下跌之后，有所回彈。

發(fā)布會(huì)結(jié)束，網(wǎng)友反應(yīng)最多的是“提前錄制有點(diǎn)敗好感”：

對(duì)于這一點(diǎn)，李彥宏的解釋是，給出的問題都比較長(zhǎng)，為了節(jié)約現(xiàn)場(chǎng)時(shí)間，所以才用了提前錄制的形式。

還有不少網(wǎng)友對(duì)文心一言展示出的能力不太滿意。有人調(diào)侃，看完之后感覺“提前退休的日子看起來還可以緩一緩”：

離GPT-4還差了20個(gè)老胡。

還有網(wǎng)友感覺，文心一言的發(fā)布會(huì)像極了畢業(yè)答辯的自己（doge）：

不過也有網(wǎng)友表示，希望能給國(guó)產(chǎn)產(chǎn)品一點(diǎn)時(shí)間一點(diǎn)耐心。

發(fā)布會(huì)末尾，王海峰宣布，文心一言將從今天開始對(duì)外進(jìn)行測(cè)試，包括個(gè)人用戶和企業(yè)用戶。

是騾子是馬，相信接下來，會(huì)得到更多驗(yàn)證。

One More Thing

對(duì)了，有網(wǎng)友表示，已經(jīng)拿到了文心一言的內(nèi)測(cè)資格：

你好，感謝您體驗(yàn)文心一言，體驗(yàn)地址:
https://yiyan.baidu.com/welcome，希望您在體驗(yàn)當(dāng)中給予更多意見，文心一言邀請(qǐng)碼：KFCVME50RMB，2023年3月16日24:00前有效。

嗯，萬物瘋狂星期四（手動(dòng)狗頭）。