李沐老師回歸B站！帶著大模型創(chuàng)業(yè)成果填坑來(lái)了

西風(fēng) 2024-06-06 16:18:44 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

終于，AI大神李沐回來(lái)了！帶著他的大模型創(chuàng)業(yè)最新成果——

一個(gè)專門(mén)為復(fù)雜場(chǎng)景角色扮演設(shè)計(jì)的大模型，名為Higgs-Llama-3-70B。

得知消息的不少網(wǎng)友已激動(dòng)在評(píng)論區(qū)催更，李沐老師也回應(yīng)，視頻坑還是會(huì)填的：

想你的365天。

終于回來(lái)了，視頻都盤(pán)包漿了。

那沐神到底干啥去了？這就透過(guò)Higgs-Llama-3-70B瞧一瞧。

定睛一看，Higgs-Llama-3-70B是沐神去年聯(lián)合創(chuàng)立的公司Boson AI，推出的Higgs開(kāi)源系列大模型中的第一個(gè)，基于Llama 3打造，做了完整的SFT、RLHF。

它不僅能在角色扮演任務(wù)上表現(xiàn)優(yōu)異，在通用領(lǐng)域上的指令遵循和推理方面也很有競(jìng)爭(zhēng)力。

左擊Claude3，右打Gemini

團(tuán)隊(duì)在兩個(gè)新基準(zhǔn)測(cè)試MMLU-Pro和Arena-hard上展示了Higgs-Llama-3-70B的能力。

他們還特地強(qiáng)調(diào)所有基準(zhǔn)測(cè)試終將導(dǎo)致過(guò)擬合，已盡量從微調(diào)數(shù)據(jù)中排除了基準(zhǔn)測(cè)試數(shù)據(jù)及其訓(xùn)練示例。

具體來(lái)說(shuō)，MMLU-Pro是MMLU的擴(kuò)展，團(tuán)隊(duì)認(rèn)為MMLU-Pro是在模型完成訓(xùn)練之后發(fā)布，較少受到其他已發(fā)布模型的過(guò)擬合影響。

拿來(lái)做比較的模型也都一水的很強(qiáng)。

而Higgs-Llama-3-70B的表現(xiàn)優(yōu)于谷歌在5月I/O大會(huì)上最新推出的模型Gemini-1.5-Flash、Claude3家族“中杯”Claude-3-Sonnet以及Llama3-70B-instruct。

再來(lái)看Arena-hard，該基準(zhǔn)包含了來(lái)自Chatbot競(jìng)技場(chǎng)的500個(gè)具有挑戰(zhàn)性的真實(shí)用戶查詢。

Higgs-Llama-3-70B的表現(xiàn)排名第四：

除此之外，使用相同的base model，Higgs-Llama-3-70B在6個(gè)基準(zhǔn)測(cè)試中均優(yōu)于LLama-3-70B-Instruct。

雖然距離GPT-4o還有不小的差距，但值得注意的是沐神團(tuán)隊(duì)放出的只是通用能力的基準(zhǔn)測(cè)試，并且強(qiáng)調(diào)并未針對(duì)性刷榜。

而且Higgs-Llama-3-70B畢竟是為角色扮演專門(mén)設(shè)計(jì)的，相關(guān)效果展示團(tuán)隊(duì)未具體給出。

團(tuán)隊(duì)表示Higgs-Llama-3-70B只是個(gè)開(kāi)胃菜，將進(jìn)一步探討角色扮演性能、訓(xùn)練后的處理流程、零基礎(chǔ)建立數(shù)據(jù)中心、在云端使用GPU以及未來(lái)整合多個(gè)服務(wù)提供商的策略。

之后也會(huì)發(fā)布更多Higgs系列模型。

開(kāi)發(fā)角色扮演Agent

這次李沐大模型創(chuàng)業(yè)方向終于浮出水面，倒是一定程度印證了之前關(guān)于沐神創(chuàng)業(yè)方向的猜想。

此前有消息爆料，從亞馬遜首席科學(xué)家的職務(wù)上離職后，李沐聯(lián)手其導(dǎo)師、另一位亞馬遜出身AI大牛Alex Smola創(chuàng)辦了創(chuàng)業(yè)公司Boson AI。而公司方向是利用大模型能力，做和游戲娛樂(lè)有關(guān)的項(xiàng)目。

這回官方終于給出了個(gè)準(zhǔn)信兒，確實(shí)跟游戲沾邊：

自2023年成立Boson AI以來(lái)，我們一直致力于利用AI技術(shù)為企業(yè)賦能，旨在革新故事講述、知識(shí)學(xué)習(xí)和信息洞察的方式。我們協(xié)助客戶開(kāi)發(fā)Agent，使其能夠扮演多種角色，如游戲角色、語(yǔ)言教師、保險(xiǎn)代理和金融顧問(wèn)。

目前官網(wǎng)主頁(yè)也已更新Higgs-Llama-3-70B模型。

還曬出了團(tuán)隊(duì)創(chuàng)始成員，除李沐和Alex Smola外，還有四位成員。

李沐和Alex Smola，量子位此前也有介紹過(guò)。

李沐，是二者之間大家比較熟悉的那一位。自己有很厲害的經(jīng)歷，加上在小破站傳道授業(yè)，打下了響當(dāng)當(dāng)?shù)闹取?/p>

而Alex Smola，更是一個(gè)AI屆的神級(jí)大牛。

直接上數(shù)據(jù)：Smola在Google Scholar上的被引用次數(shù)，超過(guò)17萬(wàn)次。其中，被引次數(shù)前三的所著論文，被引數(shù)統(tǒng)統(tǒng)破萬(wàn)。

除了是ML著作《動(dòng)手學(xué)深度學(xué)習(xí)》的主要作者外，Smola這些年的履歷也很值得好好了解一番——

1996年，Smola在慕尼黑工業(yè)大學(xué)完成碩士學(xué)業(yè)，而后又在柏林工業(yè)大學(xué)拿下計(jì)算機(jī)科學(xué)博士學(xué)位。博士畢業(yè)后，他先后去往柏林GMD軟件工程和計(jì)算機(jī)體系結(jié)構(gòu)研究所、NICTA（澳大利亞信息與通信技術(shù)研究中心）工作。

2004年起，Smola在NICTA的統(tǒng)計(jì)機(jī)器學(xué)習(xí)項(xiàng)目中，擔(dān)任高級(jí)首席研究員和項(xiàng)目負(fù)責(zé)人；到了2008年，Smola選擇入職雅虎研究院。

2012年春天到2014年年底，2年多的時(shí)間里，Smola的工作地點(diǎn)是谷歌研究院。

期間，他開(kāi)始擔(dān)任CMU的教授。也是這個(gè)時(shí)候，他成為了李沐的博士導(dǎo)師，二人結(jié)緣。

2016年7月，Smola成為了亞馬遜的一員，致力于構(gòu)建AI和機(jī)器學(xué)習(xí)工具。首要任務(wù)之一，是讓AWS和開(kāi)發(fā)者社區(qū)建立和保持聯(lián)系，讓更多的開(kāi)發(fā)者共同建設(shè)亞馬遜深度學(xué)習(xí)庫(kù)MXNet。

離職創(chuàng)業(yè)前，Smola在亞馬遜擔(dān)任的職位是杰出科學(xué)家和副總裁。

值得一提的是，由于Smola在分布式深度學(xué)習(xí)框架領(lǐng)域曾提出并行LDA（Latent Dirichlet Allocation）的框架——這是參數(shù)服務(wù)器概念的最早來(lái)源，因此，Smola也被業(yè)界稱為參數(shù)服務(wù)器之父。

其他四位成員如下。

Shuai Zheng，2019年從香港科技大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位。

之后就職亞馬遜，領(lǐng)導(dǎo)亞馬遜的分布式系統(tǒng)和LLM訓(xùn)練工作，包括開(kāi)發(fā)可擴(kuò)展的分布式訓(xùn)練和推理架構(gòu)、具有數(shù)千億參數(shù)的更智能模型，以及更快的分布式優(yōu)化算法。

施行健，2014年本科畢業(yè)于上海交通大學(xué)，2018年獲香港科技大學(xué)博士學(xué)位。

曾擔(dān)任亞馬遜擔(dān)任高級(jí)應(yīng)用科學(xué)家，領(lǐng)導(dǎo)過(guò)兩個(gè)項(xiàng)目：AutoGluon Multimodal和DeepEarth。

其中AutoGluon Multimodal通過(guò)應(yīng)用基礎(chǔ)模型，突破了傳統(tǒng)自動(dòng)機(jī)器學(xué)習(xí)工具的限制。DeepEarth致力于為地球科學(xué)領(lǐng)域構(gòu)建基礎(chǔ)模型。之前他還參與了如Apache/MXNet等開(kāi)源項(xiàng)目。

Yi Zhu，加州大學(xué)默塞德分校博士學(xué)位。

同樣曾在亞馬遜AI團(tuán)隊(duì)，擔(dān)任高級(jí)應(yīng)用科學(xué)家。研究主要關(guān)注大語(yǔ)言模型、多模態(tài)學(xué)習(xí)、自監(jiān)督學(xué)習(xí)和視頻理解，曾參與AutoGluon、GluonCV等開(kāi)源項(xiàng)目。

Yizhi Liu，2012年畢業(yè)于浙江大學(xué)計(jì)算機(jī)系。

曾先后在百度實(shí)習(xí)，擔(dān)任聚勝萬(wàn)合首席軟件工程師、奇虎360技術(shù)部經(jīng)理，之后成為亞馬遜高級(jí)軟件開(kāi)發(fā)工程師。

△領(lǐng)英主頁(yè)尚未更新

最后，量子位認(rèn)識(shí)的一位團(tuán)隊(duì)成員推薦大家用不同的人設(shè)、persona來(lái)測(cè)試Higgs-Llama-3-70B，“可能有驚喜哦”。

以及One more thing …

大神李沐創(chuàng)業(yè)，肯定是不缺投資的，量子位聽(tīng)聞，知名技術(shù)創(chuàng)業(yè)者已經(jīng)打錢(qián)支持了。

不過(guò)一切以官方信息為準(zhǔn)吧。祝福李沐老師一切順利～

參考鏈接：
[1]https://boson.ai/about/
[2]https://szhengac.github.io/
[3]https://sxjscience.github.io/
[4]https://bryanyzhu.github.io/
[5]https://www.linkedin.com/in/yizhi-liu-20810558?original_referer=https%3A%2F%2Fwww.google.com%2F