吳永輝是誰(shuí)？字節(jié)AGI計(jì)劃一號(hào)位，谷歌AI掃地僧

魚羊 2025-02-18 14:45:36 來(lái)源：量子位

魚羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

字節(jié)跳動(dòng)大模型團(tuán)隊(duì)，又添一員大將。

據(jù)智能涌現(xiàn)消息，Google DeepMind研究副總裁、Google Fellow吳永輝已離開谷歌，加盟字節(jié)Seed。

吳永輝，南京大學(xué)校友，博士畢業(yè)于加州大學(xué)河濱分校，2008年博士畢業(yè)就加入了谷歌，司齡近17年。

他是谷歌神經(jīng)機(jī)器翻譯項(xiàng)目及Rank Brain項(xiàng)目的主要貢獻(xiàn)者之一。在2023年谷歌大腦和DeepMind合并之后，他也參與到了谷歌大模型Gemini的研發(fā)工作當(dāng)中，Gemini 1.5論文顯示，他是Core Contributor之一——

這意味著他在對(duì)Gemini項(xiàng)目有著重大影響。

根據(jù)Google Scholar，吳永輝的論文引用量已超5萬(wàn)，h-index達(dá)到72。

谷歌L10，Gemini核心貢獻(xiàn)者

具體來(lái)看吳永輝的履歷。

吳永輝2001年本科畢業(yè)于南京大學(xué)計(jì)算機(jī)科學(xué)專業(yè)，畢業(yè)后加入微軟。

在微軟工作3年后，他重返學(xué)校，前往加州大學(xué)河濱分校深造，4年時(shí)間獲得CS博士學(xué)位和統(tǒng)計(jì)學(xué)碩士學(xué)位。

博士畢業(yè)后，吳永輝就加入了谷歌，至今已近17年。

谷歌大腦時(shí)期，吳永輝的研究圍繞語(yǔ)音展開，主要研究方向包括ASR（自動(dòng)語(yǔ)音識(shí)別）、NMT（神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯）、TTS（語(yǔ)音合成）、語(yǔ)言建模和排序等。

他的最高引論文就產(chǎn)出于這一階段：

論文提出了谷歌神經(jīng)機(jī)器翻譯系統(tǒng)GNMT，基于Ilya的Seq2Seq框架和注意力機(jī)制，研究人員們解決了當(dāng)時(shí)神經(jīng)機(jī)器翻譯訓(xùn)練、推理成本高昂，以及處理罕見詞時(shí)存在困難等主要痛點(diǎn)。

在當(dāng)時(shí)，GNMT相較于過往的短語(yǔ)翻譯系統(tǒng)，翻譯錯(cuò)誤減少了超60%。

到了2023年，為應(yīng)對(duì)ChatGPT掀起的大模型風(fēng)暴，谷歌旗下兩大頂級(jí)AI團(tuán)隊(duì)谷歌大腦和DeepMind合并。吳永輝也就此參與到Gemini的研發(fā)工作當(dāng)中。

領(lǐng)英顯示，吳永輝在此階段已升任為谷歌研究副總裁、Google Fellow。

所謂Google Fellow，對(duì)應(yīng)的是谷歌職級(jí)當(dāng)中的L10——

這通常被視作谷歌的最高職級(jí)，在此之上的L11，公開資料顯示就2個(gè)人：Jeff Dean和Sanjay Ghemawat。前者是谷歌首席科學(xué)家，后者是美國(guó)國(guó)家工程院和美國(guó)藝術(shù)與科學(xué)院（AAAS）院士，二人被認(rèn)為為谷歌的技術(shù)創(chuàng)新和發(fā)展做出了不可磨滅的貢獻(xiàn)。

具體到Gemini的相關(guān)論文中，吳永輝的名字出現(xiàn)在“Gemini App總體技術(shù)負(fù)責(zé)人”一列。

Gemini 1.5則將其劃分為“核心貢獻(xiàn)者”。

根據(jù)爆料，加入字節(jié)后，吳永輝將擔(dān)任大模型團(tuán)隊(duì)Seed基礎(chǔ)研究負(fù)責(zé)人，專注于偏長(zhǎng)期的研究探索工作，直接向CEO梁汝波匯報(bào)。

值得一提的是，今年1月，字節(jié)跳動(dòng)剛剛啟動(dòng)了代號(hào)為Seed Edge的AGI長(zhǎng)期研究計(jì)劃，提出核心目標(biāo)“做比預(yù)訓(xùn)練和大模型迭代更長(zhǎng)期、更基礎(chǔ)的AGI前沿研究”。

Seed Edge的5大研究方向包括：

• 下一代推理：探索更高效且更通用、提升模型推理能力的方法。
• 下一代感知：找到統(tǒng)一生成和理解表示的方法，表示和壓縮真實(shí)世界，構(gòu)建 “世界模型”。
• 軟硬一體的模型設(shè)計(jì)：從軟硬一體出發(fā)，探索Transformer+GPU之外的模型設(shè)計(jì)，發(fā)揮下一代硬件的能力。
• 下一代范式：在反向傳播、Transformer架構(gòu)、預(yù)訓(xùn)練+對(duì)齊的模式之外，探索更高效的模型結(jié)構(gòu)和學(xué)習(xí)方法。
• 下一代Scaling方向：在預(yù)訓(xùn)練和推理階段的Scaling Laws之外，探索Multi-Agent（多智能體）和Test-Time Training（測(cè)試時(shí)間訓(xùn)練，動(dòng)態(tài)調(diào)整模型參數(shù)）等方向。

而在2月13日的字節(jié)跳動(dòng)全員會(huì)上，梁汝波也提到，以AI業(yè)務(wù)為例，今年最重要的三個(gè)事情是：探索智能上限；探索新的UI交互；加強(qiáng)規(guī)模效應(yīng)。

AI是一場(chǎng)馬拉松，現(xiàn)在還很早，只是前500米。我們希望團(tuán)隊(duì)的心態(tài)是既進(jìn)取，又耐心。

或許吳永輝的加入，是這種進(jìn)取和耐心的最新具象化體現(xiàn)。

— 完 —