失聯(lián)大神李沐B站復(fù)更：領(lǐng)讀Llama 3.1論文；競(jìng)技場(chǎng)Llama 3.1排第三
還分享了AI八卦
AI大神李沐老師時(shí)隔1年多，終于回歸B站“填坑”經(jīng)典論文精讀系列了！
沒(méi)錯(cuò)，最新主角兒還是Llama-3.1：
在這個(gè)18分鐘左右的視頻中，李沐老師手把手教我們讀Llama-3.1技術(shù)論文，甚至還爆料了一些八卦。（指路7分50秒左右）
他提到，Llama團(tuán)隊(duì)在訓(xùn)練最大模型時(shí)，其實(shí)一開(kāi)始同時(shí)訓(xùn)練了MoE模型和稠密模型，但是前者后來(lái)失敗了，所以最后只發(fā)了一個(gè)簡(jiǎn)單版本。
更多細(xì)節(jié)大家可以去看原視頻，悄咪咪透露，李沐老師剛一上線，播放瞬間破萬(wàn)了。
一大批研究僧們正聞風(fēng)趕來(lái)，瞧瞧熱一就知道大家的精神狀態(tài)了：
（視頻地址在文末領(lǐng)取）
與此同時(shí)，大模型競(jìng)技場(chǎng)排名更新，Llama-3.1-405B代表開(kāi)源模型首次躋身競(jìng)技場(chǎng)前三，僅次于GPT-4o和Claude-3.5-Sonnet。
當(dāng)然了，這一結(jié)果可能并不意外，Meta官方早就暗戳戳地將這幾個(gè)作了一番比較。
同樣是人類評(píng)估，Llama-3.1-405B和另外兩個(gè)打得不分上下。
另外我們看到，Llama-3.1-405B不僅整體能打，在單項(xiàng)（編碼、數(shù)學(xué)、指令遵循、硬提示）中依然牢牢占據(jù)前三。
值得一提的是，Llama-3.1-70B也來(lái)到了總榜第9，整體置信水平相較之前有了大幅提高。
不過(guò)最令人驚喜的是，與此同時(shí)，國(guó)外網(wǎng)友也對(duì)405B的新戰(zhàn)績(jī)發(fā)來(lái)賀電，更有人“貼心”提醒：
405B只接受過(guò)“計(jì)算最優(yōu)”訓(xùn)練，他們（指Meta）本來(lái)可以繼續(xù)前進(jìn)，下一次迭代將會(huì)是驚人的。
Okk，知道Llama-3.1-405B很膩害了！
這不，僅發(fā)布一周，網(wǎng)友們已經(jīng)玩出花了……
拿來(lái)搞生產(chǎn)
搞生產(chǎn)第一步，先在本地跑起來(lái)試試~
Open Interpreter（一個(gè)讓LLMs在用戶本地運(yùn)行的項(xiàng)目）技術(shù)社區(qū)經(jīng)理為我們展示了他的成果——
讓Llama-3.1-8B在樹(shù)莓派上運(yùn)行，僅用到CPU。
【此處無(wú)法插入視頻，遺憾……可到量子位公眾號(hào)查看～】
方法嘛，只需在GitHub或Hugging Face下載llamafile文件，配置參數(shù)后即可。
據(jù)他透露， 這項(xiàng)嘗試使用了Raspberry Pi 5（8GB內(nèi)存）、M.2 Hat和Hailo AI模塊，且采用了4-bit quantization（4位量化）。
不過(guò)小哥也調(diào)侃，這家伙運(yùn)行幾句話就能真·燒干CPU。
接下來(lái)，小哥已經(jīng)在網(wǎng)友的催促下磨刀霍霍向405B了~
除了上面這個(gè)例子，還有網(wǎng)友用Llama-3.1-405B在任何GitHub倉(cāng)庫(kù)上開(kāi)始創(chuàng)建聊天機(jī)器人。
【此處無(wú)法插入視頻，遺憾……可到量子位公眾號(hào)查看～】
而且是不花錢那種，Hugging Face免費(fèi)提供了創(chuàng)建新助手的功能。
不過(guò)Groq工程師Rick Lamers在嘗試后提出質(zhì)疑：
當(dāng)前的RAG管道可能存在問(wèn)題，容易產(chǎn)生幻覺(jué)。
但不管怎樣，網(wǎng)友們想嘗試的心還是攔不住了~
另外，除了實(shí)實(shí)在在拿出東西，還有網(wǎng)友拿Llama-3.1-405B放起了煙霧彈。
就在剛剛，網(wǎng)友Hassan宣布：
使用Llama-3.1-405B生成完整的React應(yīng)用程序。
好家伙，這下開(kāi)發(fā)APP豈不是更簡(jiǎn)單了！
雖然還未正式開(kāi)源，但底下網(wǎng)友們已經(jīng)開(kāi)始排好隊(duì)了。
更多玩法歡迎大家自行解鎖~
相關(guān)閱讀
AI大神李沐開(kāi)源新手剪輯神器！只看字幕就能剪視頻，卡殼重復(fù)片段一鍵刪除
網(wǎng)友：真正把AI轉(zhuǎn)化為了生產(chǎn)力
Llama3.1訓(xùn)練平均3小時(shí)故障一次，H100萬(wàn)卡集群好脆弱，氣溫波動(dòng)都會(huì)影響吞吐量
GPU問(wèn)題最嚴(yán)重，占了58.7%
Llama 3.1上線就被攻破：大罵小扎，危險(xiǎn)配方張口就來(lái)！指令遵循能力強(qiáng)了更容易越獄
9.11和9.9怎么還是不會(huì)啊
