小扎All in AIGC，連夜成立頂級產(chǎn)品團(tuán)隊(duì)

十三 2023-02-28 11:13:18 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

ChatGPT的火爆，終究是讓Meta坐不住了。

這不，小扎（扎克伯格）連夜對外宣布了公司的大動(dòng)作：

成立頂級產(chǎn)品團(tuán)隊(duì)，專注AIGC。

這個(gè)團(tuán)隊(duì)可以說是整合了全公司搞AIGC的人才，并且小扎稱要把相關(guān)技術(shù)注入到Meta所有的產(chǎn)品中。

例如要把AIGC中的文本生成、對話能力，用到自家的WhatsApp、Messenger等；圖像生成能力要用到Instagram；以及還要探索視頻和多模態(tài)的玩法。

小扎還為這個(gè)大動(dòng)作設(shè)定了2個(gè)目標(biāo)：

• 短期目標(biāo)：打造具有創(chuàng)造性和表現(xiàn)力的工具。
• 長期目標(biāo)：開發(fā)能夠用各種方式幫助人們的AI角色。

而就在前幾天，Meta還剛剛發(fā)布了自家的大語言模型LLaMA；技術(shù)、產(chǎn)品團(tuán)隊(duì)均已就緒，Meta這波儼然一副All in AIGC的節(jié)奏。

對此，也有網(wǎng)友表示“比投入元宇宙靠譜多了”：

新建的團(tuán)隊(duì)有多“頂級”？

“頂級產(chǎn)品團(tuán)隊(duì)”，這無疑成為了Meta最新動(dòng)作中的最大亮點(diǎn)之一。

據(jù)外媒AXIOS稱，Meta新團(tuán)隊(duì)將由人工智能和機(jī)器學(xué)習(xí)副總裁Ahmad Al-Dahle領(lǐng)導(dǎo)。

Ahmad Al-Dahle于2020年4月加入Meta，主要負(fù)責(zé)AI、機(jī)器感知和XR等方面的領(lǐng)導(dǎo)工作。

而在此之前近17年的時(shí)間里，Ahmad Al-Dahle則是一直在蘋果的特殊項(xiàng)目小組（Special Project Group）就職。

至于“頂級產(chǎn)品團(tuán)隊(duì)”其它成員的信息，目前Meta官方還未做更多的透露。

但根據(jù)小扎“將多個(gè)生成式AI團(tuán)隊(duì)整合到一個(gè)小組”的說法，其背后大語言模型LLaMA團(tuán)隊(duì)很有可能會(huì)加入進(jìn)來。

而Meta AI的首席科學(xué)家、圖靈獎(jiǎng)得主Yann LeCun在社交平臺(tái)上表示，幾乎所有LLaMA的研究人員都是來自FAIR在巴黎的分支。

若是這個(gè)“頂級產(chǎn)品團(tuán)隊(duì)”真將LLaMA核心骨干吸納進(jìn)來，那么Meta這次的團(tuán)隊(duì)整合將跨全球的一次大動(dòng)作。

一口發(fā)布四種規(guī)模大語言模型

最后，我們再來看下小扎All in AIGC背后的技術(shù)實(shí)力。

在此前的發(fā)布中，Meta的開源大語言模型LLaMA包含四個(gè)size：

7B（小杯）、13B（中杯）、33B（大杯）和65B（超大杯）。

并且官方還聲稱效果要好過GPT，甚至13B的LLaMA在單個(gè)GPU上就能運(yùn)行。

其主要原理和以往的大模型類似，都是將一系列單詞作為輸入，并預(yù)測下一個(gè)單詞以遞歸生成文本。

至于為何要發(fā)布不同尺寸的大模型，Meta對此的解釋是：

近來的研究表明，對于給定的計(jì)算預(yù)算，最佳性能不是由最大的模型實(shí)現(xiàn)的，而是由基于更多數(shù)據(jù)訓(xùn)練的更小的模型實(shí)現(xiàn)的。

也就是說，較小的模型規(guī)模加上比較大的數(shù)據(jù)集，獲得的性能可能會(huì)比更大規(guī)模模型的要好很多。

一方面，小規(guī)模模型需要的計(jì)算能力和資源相對來說都會(huì)少很多，另一方面，它還能基于更多數(shù)據(jù)集訓(xùn)練更多token，更容易針對特定的潛在產(chǎn)品用例進(jìn)行重新訓(xùn)練和微調(diào)。

在效果方面，小扎更是在放出豪言，這是AI大語言模型里的新SOTA：

生成文本、進(jìn)行對話、總結(jié)書面材料以及解決數(shù)學(xué)定理或預(yù)測蛋白質(zhì)結(jié)構(gòu)等它都能干。

而相較于有1750億參數(shù)的GPT-3，最多只有650億參數(shù)LLaMA在大多數(shù)基準(zhǔn)上都要優(yōu)于GPT-3。比如說常識推理：

……

不過有一說一，相比其他科技巨頭來說，Meta這波All in的時(shí)間節(jié)點(diǎn)是相對滯后了一些。

那么你覺得Meta這張遲來的船票，能否坐穩(wěn)AIGC的巨輪呢？

參考鏈接：

[1] https://www.facebook.com/zuck/posts/pfbid02zHwANqWrZLMimhq7U97i3xaHkMEHu8CLsa9TGRj1QeejwDxRFChxSK1zY6yPak5Kl
[2] https://www.theverge.com/2023/2/27/23617477/mark-zuckerberg-meta-ai-tools-personas
[3] https://www.cnbc.com/2023/02/27/mark-zuckerberg-announces-new-team-at-meta-working-on-ai-products.html
[4] https://www.linkedin.com/in/ahmad-al-dahle-63a963a0/