UC伯克利博士尤洋回國創(chuàng)業(yè)，曾破ImageNet紀錄！已獲超千萬融資

明敏 2021-08-19 12:55:02 來源：量子位

明敏 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

曾刷新ImageNet紀錄的尤洋，回國創(chuàng)業(yè)了！

尤洋，何許人也？

他是LAMB優(yōu)化器的提出者，曾成功將預訓練一遍BERT的時間，從原本的三天三夜一舉縮短到一個多小時。

作為一個通用的神經(jīng)網(wǎng)絡優(yōu)化器，LAMB優(yōu)化器無論是大批量還是小批量的網(wǎng)絡都可以使用，也無需在學習率之外調(diào)試超參數(shù)。

據(jù)英偉達官方GitHub顯示，LAMB比Adam優(yōu)化器可以快出整整72倍。

微軟的DeepSpeed，用的也是LAMB方法。

而這是尤洋在谷歌實習時作為論文一作提出的。

現(xiàn)在，他已經(jīng)在UC伯克利獲得了博士學位，帶著LAMB方法回國，創(chuàng)立了潞晨科技。

公司主營業(yè)務包括分布式軟件系統(tǒng)、大規(guī)模人工智能平臺以及企業(yè)級云計算解決方案。

base北京中關村，目前已經(jīng)獲得由創(chuàng)新工場和真格基金合投的超千萬元種子輪融資。

要高效率，也要低能耗

作為高性能計算領域的優(yōu)秀青年學者，尤洋回國將在這一領域繼續(xù)深耕。

事實上，高性能計算已經(jīng)成為眼下前沿AI發(fā)展的必然選擇。

隨著AI模型的參數(shù)量越來越大，所需的算力也就越來越高，訓練一次模型的時間也就變得十分漫長。

為此，科技巨頭們紛紛部署了自己的集群和超算。

比如Google的TPU Pod，微軟為OpenAI打造的1萬GPU集群，英偉達的SuperPOD，以及特斯拉的Dojo計算機。

△谷歌數(shù)據(jù)中心

但是單純地堆硬件，并不能解決所有問題。

一方面，當硬件數(shù)量達到一定量后，堆機器無法帶來效率上的提升；

另一方面，中小企業(yè)往往沒有足夠的資金支持如此大規(guī)模的硬件部署。

因此，優(yōu)化技術成為了絕佳選擇。

潞晨科技就是旨在打造一個高效率低耗能的分布式人工智能系統(tǒng)。

它可以幫助企業(yè)在最大化提升人工智能部署效率的同時，還能將部署成本最小化。

而且潞晨打造的系統(tǒng)是一個通用系統(tǒng)，對大部分超大模型都有效。

就目前的Transformer應用而言，該系統(tǒng)在同樣的硬件上相對業(yè)界最好的系統(tǒng)，可以提升2.32倍的效率。

而且隨著機器數(shù)量的增長，這套系統(tǒng)的優(yōu)勢會越來越大。

考慮到現(xiàn)在的AI模型其實是往多維度發(fā)展的，尤洋在打造這套系統(tǒng)時還選擇了動態(tài)模型并行技術。

這不僅能夠適應現(xiàn)在模型的發(fā)展模式，還能極大提升計算效率。

那么，到底什么是AI模型的多維度發(fā)展呢？

比如，BERT是基于Transformer Encoder，GPT-3是基于Transformer Decoder，Switch Transformer和清華智源是基于混合專家系統(tǒng)。

同樣，超算系統(tǒng)、聯(lián)邦學習、跨云計算等硬件配置也會將系統(tǒng)復雜化。

這兩者之間的自適應配置，將對整個訓練系統(tǒng)的性能起著決定性影響。

為此，尤洋他們實現(xiàn)了2維網(wǎng)格參數(shù)劃分、3維立體參數(shù)劃分、以及2.5維通信最小化參數(shù)劃分，極大提升了計算效率。

同時，他們還進行了逐序列劃分數(shù)據(jù)，這可用于處理未來的大圖片、視頻、長文本、長時間醫(yī)療監(jiān)控數(shù)據(jù)等方面的問題。

除了提升效率，尤洋他們還著重考慮了能耗問題。

事實上，能耗很可能會成為未來人工智能應用上的一個瓶頸。

根據(jù)Emma Strubell等人的研究，從紐約到舊金山每位旅客乘坐飛機產(chǎn)生二氧化碳排放量1,984 lbs。

然而，訓練一個2億參數(shù)的模型需要的能耗，就能達到626,155 lbs。

顯而易見，低能耗計算十分必要。

尤洋他們在研究中發(fā)現(xiàn)，在不改變硬件設置的情況下，能耗主要來自于數(shù)據(jù)移動。

數(shù)據(jù)移動包括集群內(nèi)服務器之間的通訊、GPU與CPU之間的通訊、CPU與磁盤的通訊等等。

為此，他們還實現(xiàn)了一套基于通訊避免算法的系統(tǒng)?？梢栽诓辉黾佑嬎懔康那闆r下有效減少數(shù)據(jù)移動量，從而減少能耗。

核心技術

據(jù)尤洋介紹，以上他們打造的通用系統(tǒng)，依舊離不開LAMB方法。

LAMB的全稱是Layer-wise Adaptive Moments optimizer for Batch training，和大家熟悉的SGD、Adam屬于同類，都是機器學習模型的優(yōu)化器（optimizer）。

之前我們也提到，LAMB無論是大批量還是小批量的網(wǎng)絡都可以使用，也無需在學習率之外調(diào)試超參數(shù)。

靠著這一特點，此前尤洋等人將批大小由512擴展到了65536。

這也是第一次有研究用2000以上的超大批量來訓練BERT。

帶來的提升就是迭代次數(shù)會大大降低。

這讓BERT-Large模型原本需要1000000次迭代才能完成預訓練過程，有了LAMB加持用上大批量，只需要進行8599次迭代，這大幅縮短了預訓練時間。

此外，尤洋等人最近提出的在線演化調(diào)度程序ONES，也是這套通用系統(tǒng)調(diào)用的一部分。

它可以根據(jù)批大小自動管理每個job，從而將GPU的利用率最大化。還能通過演化算法，不斷優(yōu)化調(diào)度決策。

評估結果表明，ONES與當前最先進的方法相比，在平均JCT（job completion time）上能夠縮短45.6%的時間，優(yōu)于現(xiàn)有的深度學習調(diào)度算法。

據(jù)悉，尤洋團隊已經(jīng)與多家企業(yè)展開合作。

他們表示，公司的戰(zhàn)略是“先造錘子，再找釘子”。創(chuàng)業(yè)初期希望打造一個通用系統(tǒng)，1年內(nèi)完成系統(tǒng)優(yōu)化，用于中小型企業(yè)。

清華學子歸國創(chuàng)業(yè)

說起尤洋，就不得不說一說他的“學霸史”了。

尤洋曾以第一名的成績保送清華計算機系碩士。

后來在申請博士時，他從UC伯克利、CMU、芝加哥大學、UIUC、佐治亞理工、西北大學六所名校的全獎offer中，選擇了UC伯克利。

讀博期間，尤洋先后在Google Brain、英特爾實驗室、微軟研究院、英偉達、IBM沃森研究中心等知名企業(yè)、研究院實習，實習期間為TensorFlow、英偉達GPU上部署caffe、英特爾CPU部署caffe等大型知名開源項目作出了貢獻。

△實習期間尤洋曾去老黃家開party

博士畢業(yè)時，尤洋還獲得了頒發(fā)給UC伯克利優(yōu)秀畢業(yè)生的Lotfi A. Zadeh Prize，并被提名為ACM Doctoral Dissertation Award候選人（81名博士畢業(yè)生中選2人）。

畢業(yè)后，他加入新加坡國立大學計算機系，擔任校長青年教授 （Presidential Young Professor）。

在學術研究上，尤洋也同樣戰(zhàn)績斐然。

他曾以一作的身份獲得2015年國際并行與分布式處理大會(IPDPS)的最佳論文和2018年國際并行處理大會(ICPP)最佳論文獎。

其發(fā)表論文《Imagenet training in minutes》所提出的方法刷新了ImageNet訓練速度的世界紀錄。

2021年，他還被選入福布斯30歲以下精英榜 （亞洲）。

事實上，潞晨團隊可不止尤洋一位大神。

其團隊核心成員來自美國加州大學伯克利分校、斯坦福大學、清華大學、北京大學、新加坡國立大學、新加坡南洋理工大學等國內(nèi)外知名高校。

核心團隊在高性能計算、人工智能、分布式系統(tǒng)方面已有十余年的技術積累，并在國際頂級學術刊物或會議發(fā)表論文30余篇。

此外，還有美國科學院院士，工程院院士James Demmel教授擔任團隊顧問。

Demmel教授是加州大學伯克利分校前EECS院長兼計算機系主任、中關村戰(zhàn)略科學家、ACM/IEEE Fellow，現(xiàn)任加州大學伯克利分校杰出教授。

目前，潞晨科技還在廣納英才。招聘全職/實習軟件工程師，全職/實習人工智能工程師。

崗位職責主要有：

• 開發(fā)分布式人工智系統(tǒng)并部署到大規(guī)模集群或云端。
• 從具體的場景和問題出發(fā)，研發(fā)和優(yōu)化算法系統(tǒng)，產(chǎn)出解決方案應用到場景中。
• 參與人工智能技術與現(xiàn)有工具的融合設計和優(yōu)化，提高產(chǎn)品性能。
• 撰寫高質(zhì)量的科技論文，有機會擔任重要論文的第一作者 (未來換工作或升學的重要加分項)。

任職要求為：

• 精通TensorFlow, PyTorch, Ray, DeepSpeed, NVIDIA Megatron，熟悉上述系統(tǒng)的內(nèi)部運行機制。
• 熟悉各類優(yōu)化算法與模型架構，熟悉python或C++的優(yōu)化算法庫，包括各類基于梯度的經(jīng)典算法與經(jīng)典模型 (BERT, GPT-3, Switch Transformer, ViT, MLP-Mixer)。
• 有較強的編程能力和工程實現(xiàn)能力。獲得過編程競賽獎或發(fā)表過高質(zhì)量論文的優(yōu)先錄用。
• 211、985、海外知名高校本科以上學位(或在讀)，計算機科學、軟件工程，電子信息，自動化，數(shù)學，物理或其它人工智能相關專業(yè)。

如果想入職潞晨，不知道現(xiàn)在惡補還來得及嗎？

簡歷投遞郵箱：
luchen.tech@gmail.com