小扎回應(yīng)Llama4對(duì)比DeepSeek：榜單有缺陷，等推理模型出來再比

夢(mèng)晨 2025-04-30 16:21:18 來源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

Meta首屆LlamaCon開發(fā)者大會(huì)開幕，扎克伯格在期間接受采訪，回應(yīng)大模型相關(guān)的一切。

包括Llama4在大模型競(jìng)技場(chǎng)表現(xiàn)不佳的問題：

開源基準(zhǔn)測(cè)試存在缺陷，常偏向特定不常見用例，與產(chǎn)品實(shí)際使用場(chǎng)景脫節(jié)，不能真實(shí)反映模型的優(yōu)劣。

試圖為這類東西進(jìn)行過多優(yōu)化會(huì)誤入歧途。

對(duì)于我們團(tuán)隊(duì)來說，搞一個(gè)沖到榜單頂部的Llama 4 Maverick版本相對(duì)容易，但是我們發(fā)布的版本根本沒有對(duì)此進(jìn)行調(diào)優(yōu)，排名靠后是正常的。

以及與DeepSeek的比較：

我們的推理模型還沒有出來，所以還沒有和R1相應(yīng)的模型去對(duì)比。

與此同時(shí)，在Meta合作伙伴亞馬遜的網(wǎng)站代碼中，被扒出要即將推出的Llama4推理模型為17B參數(shù)的llama4-reasoning-17b-instruct。

活動(dòng)期間，有那么點(diǎn)Meta不語，只是一味地拋出Llama系列“亮點(diǎn)”的意思了（doge）：

• 除即將推出超2萬億參數(shù)的Llama 4 Behemoth模型之外，代號(hào)“Little Llama”的80億參數(shù)小模型可能會(huì)在未來幾個(gè)月推出。
• 推出官方Llama API平臺(tái)
• 推出一系列AI安全工具，包括檢測(cè)和防止提示注入、越獄等風(fēng)險(xiǎn)。

扎克伯格談“智能爆炸”

扎克伯格認(rèn)為隨著軟件工程和AI研究的自動(dòng)化推進(jìn)，智能爆炸具備實(shí)現(xiàn)的可能性。從技術(shù)發(fā)展趨勢(shì)來看，AI寫代碼能力不斷提升，預(yù)計(jì)未來12-18個(gè)月，大部分相關(guān)代碼將由AI完成。

這不僅意味著開發(fā)效率的大幅提高，還可能帶來代碼質(zhì)量的提升，因?yàn)锳I能夠基于大量的數(shù)據(jù)和先進(jìn)的算法，生成更優(yōu)化、更高效的代碼。

然而真正達(dá)到智能爆炸還面臨著諸多現(xiàn)實(shí)層面的制約。在物理基礎(chǔ)設(shè)施上，構(gòu)建大規(guī)模計(jì)算集群復(fù)雜且耗時(shí)，從研發(fā)到穩(wěn)定應(yīng)用需要一定時(shí)間，同時(shí)還需要配套建設(shè)網(wǎng)絡(luò)設(shè)施，確保數(shù)據(jù)的高速傳輸；建設(shè)專門的數(shù)據(jù)中心場(chǎng)地，要經(jīng)過嚴(yán)格的審批流程；解決能源供應(yīng)問題，無論是采用傳統(tǒng)的燃?xì)廨啓C(jī)發(fā)電還是綠色能源，都涉及到復(fù)雜的供應(yīng)鏈體系，這些環(huán)節(jié)都需要耗費(fèi)大量的時(shí)間和資源。

在人機(jī)協(xié)同方面，人們對(duì)AI系統(tǒng)的適應(yīng)和反饋同樣需要時(shí)間。AI系統(tǒng)并非一經(jīng)推出就能被用戶熟練使用，而是需要一個(gè)相互學(xué)習(xí)的過程。用戶在使用過程中逐漸掌握與AI交互的方式，AI則通過分析用戶的行為和反饋，不斷優(yōu)化自身的功能和性能。

在Meta廣告團(tuán)隊(duì)的自動(dòng)化排序?qū)嶒?yàn)中，盡管有大量的測(cè)試想法，但由于計(jì)算資源的限制，無法對(duì)所有假設(shè)進(jìn)行充分測(cè)試；同時(shí)，為了保證測(cè)試結(jié)果的準(zhǔn)確性和可靠性，需要大量的測(cè)試人力，這也在一定程度上限制了實(shí)驗(yàn)的推進(jìn)速度。

扎克伯格認(rèn)為，人們已經(jīng)開始與AI建立起多種類型的關(guān)系，如將AI作為治療師傾訴或朋友分享生活等，產(chǎn)品開發(fā)者應(yīng)該尊重用戶的選擇。

雖然現(xiàn)階段這類AI人際關(guān)系相關(guān)的產(chǎn)品在技術(shù)實(shí)現(xiàn)上還不夠成熟，比如虛擬治療師或朋友的形象往往只是簡(jiǎn)單的圖片或粗糙的動(dòng)畫，缺乏真實(shí)的交互感，但隨著技術(shù)的不斷進(jìn)步，為提升虛擬形象的真實(shí)感和交互性帶來了新的可能。

換句話說，AI和元宇宙戰(zhàn)略在未來還有聯(lián)動(dòng)效應(yīng)。

在產(chǎn)品設(shè)計(jì)理念上，避免過度干擾用戶是關(guān)鍵原則。Meta的Orion眼鏡設(shè)計(jì)目標(biāo)不僅僅是集成各種先進(jìn)的技術(shù)功能，更重要的是要成為一副好用的日常眼鏡。在不使用AI功能時(shí)，它要能像普通眼鏡一樣滿足用戶的基本需求，如佩戴舒適、外觀美觀；當(dāng)用戶需要使用 AI 功能時(shí)，又能便捷地提供服務(wù)，如語音交互、信息展示等。

這種設(shè)計(jì)理念同樣適用于增強(qiáng)現(xiàn)實(shí)未來的產(chǎn)品設(shè)計(jì)，即讓物理世界和數(shù)字世界自然融合，在為用戶提供豐富數(shù)字內(nèi)容的同時(shí)，避免數(shù)字元素過度充斥用戶的視野，造成視覺和心理上的負(fù)擔(dān)。

最后，扎克伯格回答了“如果軟件生產(chǎn)力在兩年內(nèi)提高100倍”會(huì)怎么樣。

他認(rèn)為從歷史看，過去全人類大部分精力都用于養(yǎng)活自己，也就是從事農(nóng)業(yè)為主。最近100多年來滿足基本身體需求在人類精力中的占比越來越小。

這種轉(zhuǎn)變有兩個(gè)影響：一個(gè)是越來越多的人在追求創(chuàng)意和文化。第二是人們花在工作上的時(shí)間更少，而花在娛樂和文化上的時(shí)間更多。

但隨著時(shí)間的推移，如果每個(gè)人都擁有這些超人類工具來創(chuàng)造大量不同的東西，就會(huì)出現(xiàn)令人難以置信的多樣性。其中一部分成果將用于解決難題：攻克疾病、推動(dòng)科學(xué)進(jìn)步、開發(fā)讓我們生活更美好的新技術(shù)。

Llama首次推出官方API

此前Meta只管開源模型，部署托管各憑本事，現(xiàn)在終于推出官方API平臺(tái)。

• 提供微調(diào)和評(píng)估Llama模型性能的工具。
• 新型芯片供應(yīng)商Cerebras和Groq合作，提供高推理速度的選項(xiàng)。
• 承諾不會(huì)使用客戶數(shù)據(jù)來訓(xùn)練自己的模型。

目前屬于邀請(qǐng)測(cè)試階段，需要排隊(duì)。

不過手快的開發(fā)者在會(huì)場(chǎng)上就把Demo做出來了。

利用多模態(tài)能力，描述相機(jī)拍到的畫面，整體上描述準(zhǔn)確，不過其實(shí)這根香蕉是玩具，對(duì)AI來說還是難了。

Llama API：
https://www.llama.com/products/llama-api/#llama-protections

Demo試玩：
https://llama-api-launch.craigsdemos.workers.dev

參考鏈接：
[1]https://www.dwarkesh.com/p/mark-zuckerberg-2
[2]https://x.com/craigsdennis/status/1917365062165225544
[3]https://x.com/btibor91/status/1917232574344384522