如果中國要做自己的GPT-3，一定離不開這家公司的算力

曉查 2020-09-27 12:13:36 來源：量子位

邊策 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI

今年AI領(lǐng)域最火的是什么？

毫無疑問是GPT-3，它能寫小說、能與人聊天、能設(shè)計(jì)網(wǎng)頁、還能下象棋，堪稱迄今為止最“全能”的AI模型。

但是這個(gè)強(qiáng)大的AI模型卻不被看做算法的勝利，而是“暴力美學(xué)”、一場“富人的游戲”。

有人估算過，GPT-3光是訓(xùn)練成本就在460萬美元以上，還不包括微軟為訓(xùn)練它建設(shè)了一個(gè)5億美元的超算中心。

微軟這個(gè)超算中心裝載了一萬張英偉達(dá)GPU，訓(xùn)練GPT-3消耗了它355個(gè)GPU年的算力。

如果中國也要開發(fā)自己的GPT-3，憑借現(xiàn)在的技術(shù)能做出來？

答案是：我們已經(jīng)具備一定的條件了。

AI軟件方面，國內(nèi)有百度、阿里等開源框架，中國的NLP（自然語言處理）技術(shù)起步不算晚，甚至搜狗、第四范式、百度NLP算法已經(jīng)多次占據(jù)測試榜首，且成功商業(yè)化。

訓(xùn)練AI的硬件中國也不缺乏，甚至在國際上還略有優(yōu)勢。據(jù)2020年6月最新數(shù)據(jù)，中國擁有全球超算Top500中的226臺，占比達(dá)45.2%，超過其他任何國家。

有算法、有硬件，那么要做出GPT-3最大的障礙就是經(jīng)濟(jì)成本了。

因?yàn)橹袊儆心芟裎④浤前恪柏?cái)大氣粗”組建一個(gè)超級算力中心，國內(nèi)AI硬件又不夠開放，算力得不到有效的調(diào)配和釋放。

其實(shí)不僅是GPT-3，即使是規(guī)模更小的AI模型，動(dòng)輒耗費(fèi)幾十乃至上百張AI加速卡，對很多企業(yè)來說也是“不能承受之重”。

尤其是比開發(fā)GPT-3更現(xiàn)實(shí)的問題——AI產(chǎn)業(yè)化——方興未艾，大量使用AI硬件的場景只會更多。

對此問題的解決之道，國內(nèi)最大的AI服務(wù)器提供商浪潮給出的方法是：開放硬件，降低成本。

據(jù)估計(jì)，未來人工智能將占據(jù)80%以上的計(jì)算需求，需要有開放的AI算力中心承載這種需求，即智算中心。

智算中心：做最開放AI基礎(chǔ)設(shè)施

開源這件事，在軟件行業(yè)已經(jīng)取得了巨大成功。

開源軟件近二十年來為IT行業(yè)帶來了革命性的變化，比如Linux、Android一舉占領(lǐng)市場，而很多閉源操作系統(tǒng)日漸式微乃至消亡。

而硬件開源在國際上才剛剛起步。

2011年，由于業(yè)務(wù)的飛速發(fā)展，國外社交網(wǎng)絡(luò)巨頭Facebook牽頭發(fā)起了OCP（開放計(jì)算項(xiàng)目）。

僅僅4年時(shí)間，OCP就為Facebook節(jié)省了20億美元的成本，數(shù)據(jù)中心電費(fèi)降低了20%。谷歌、微軟、IBM、阿里、浪潮都加入了該社區(qū)。

開放計(jì)算的優(yōu)勢不僅僅是降低成本、節(jié)省電費(fèi)、提高投資回報(bào)率，更重要的是，它作為一種新的協(xié)作模式，可以推動(dòng)AI等前沿技術(shù)的標(biāo)準(zhǔn)化與產(chǎn)業(yè)化。

在GPT-3誕生前的幾個(gè)月，浪潮已經(jīng)有了這樣改造AI產(chǎn)業(yè)的想法。4月9日，IPF2020浪潮云數(shù)據(jù)中心合作伙伴大會上，浪潮首次提出了“智算中心”的概念。

浪潮認(rèn)為，智算中心應(yīng)該滿足三大條件：開放標(biāo)準(zhǔn)、集約高效、普適普惠。就是每家企業(yè)都能以更低門檻用上高性能計(jì)算資源。

當(dāng)前AI硬件加速器處于各自為政的局面，不同廠商的產(chǎn)品接口、協(xié)議都不盡相同。

為了解決AI加速芯片的統(tǒng)一標(biāo)準(zhǔn)問題，讓不同加速器在同一塊服務(wù)器上運(yùn)行。浪潮4月推出了第一款符合OAM（OCP加速模塊）標(biāo)準(zhǔn)的AI開放計(jì)算系統(tǒng)MX1，致力于推動(dòng)開放計(jì)算與AI的融合。

第二點(diǎn)集約高效，則是在開放標(biāo)準(zhǔn)基礎(chǔ)上的更高要求。開放標(biāo)準(zhǔn)會帶來規(guī)?？涨暗募s效應(yīng)與高效的融合架構(gòu)。

融合架構(gòu)的最終目的是實(shí)現(xiàn)“智算中心即計(jì)算機(jī)”，CPU、內(nèi)存、AI加速器、I/O等硬件資源完全池化，讓它們在軟件的統(tǒng)一調(diào)配下，實(shí)現(xiàn)超大規(guī)模的擴(kuò)展。

這方面，國外的AI巨頭英偉達(dá)已經(jīng)有相當(dāng)豐富的經(jīng)驗(yàn)，甚至今年還開源了大規(guī)模并行計(jì)算模型“威震天”。

作為AI時(shí)代最重要的芯片公司，英偉達(dá)顯然已經(jīng)意識到，開源不僅不會損害自身利益，反而會形成規(guī)模效應(yīng)，實(shí)現(xiàn)整個(gè)產(chǎn)業(yè)的共贏。開放標(biāo)準(zhǔn)后，普適普惠是必然的結(jié)果。

過去十年，手機(jī)行業(yè)正是憑借軟件開放、硬件整合的能力，讓普通消費(fèi)者享受到了智能手機(jī)普及的福利。

AI產(chǎn)業(yè)也在經(jīng)歷類似的過程，軟件與硬件的開源一定會讓每家意在用上AI的企業(yè)享受到實(shí)惠。

打造算力“免費(fèi)午餐”

軟件開源最大的實(shí)惠即“免費(fèi)”，這意味著任何人都可以免費(fèi)查看、修改、使用代碼，而硬件開放的實(shí)惠，是小企業(yè)也可以免費(fèi)使用昂貴的計(jì)算設(shè)備運(yùn)行其業(yè)務(wù)。

浪潮AI&HPC產(chǎn)品線總經(jīng)理劉軍曾說過，算力是AI時(shí)代“免費(fèi)的午餐”。

回顧GPT-3的誕生，它只比前輩GPT-2晚一年，比前代的參數(shù)量增加了100倍，就能取得如此驚人的成就，靠的不是算法的提升，而是算力的加成。

如果改進(jìn)算法，一定會投入大量的研發(fā)，相比之前，算力不就是簡單直接的“免費(fèi)午餐”嗎？

之所以企業(yè)不覺得免費(fèi)，那是因?yàn)樗懔Φ某杀具€不夠低。所以有些企業(yè)選擇了市場上成熟的AI解決方案，無需AI開發(fā)經(jīng)驗(yàn)就能快速部署AI模型。

劉軍表示，對于產(chǎn)業(yè)用戶來說，用上性價(jià)比更高的AI算力，開放的網(wǎng)絡(luò)架構(gòu)及服務(wù)是必須的，同時(shí)保證了未來的可擴(kuò)展性。

就如同PC時(shí)代的組裝機(jī)，每個(gè)組件都掌握在用戶自己手中，在技術(shù)上可控，定制化程度高，成本低廉。

只有硬件成本低了，算力才會成為“免費(fèi)的午餐”。

浪潮智算中心已嶄露頭角

智算中心推出半年，浪潮智算中心的算力得到權(quán)威標(biāo)準(zhǔn)認(rèn)可，同時(shí)在各行各業(yè)發(fā)揮出重要作用。

面向智算中心，浪潮提出要生產(chǎn)算力、聚合算力、調(diào)度算力、釋放算力。

通過自研的AI框架LMS，浪潮訓(xùn)練的NLP模型參數(shù)突破70億，超過了GPT-2三倍多。

在今年7月29日公布的全球權(quán)威AI測試基準(zhǔn)，MLPerf v0.7訓(xùn)練榜單上，浪潮NF5488A5服務(wù)器創(chuàng)下了單服務(wù)器最快性能記錄，高居榜首。

浪潮還東南大學(xué)合作，據(jù)張競慧教授介紹，東南大學(xué)依靠算力中心推動(dòng)前沿科學(xué)研究，依托(CPU+Openstack+GPU)架構(gòu)，提供高性能計(jì)算、云計(jì)算以及人工智能計(jì)算等共享服務(wù)，處理太空觀測高分辨率影像，已經(jīng)在物理學(xué)頂級期刊PRL上發(fā)表了多篇論文。

在金融領(lǐng)域，交通銀行通過浪潮AIStation開發(fā)平臺，資源利用效率提升30%；在智能制造領(lǐng)域，百度與浪潮合作開發(fā)的裝置，將2~3天的鋼質(zhì)檢系統(tǒng)工作量減少至2小時(shí)，識別準(zhǔn)確率超過99%。

此外浪潮的智算中心與5G結(jié)合，提供了云端訓(xùn)練、邊緣推理的新應(yīng)用場景。

浪潮智算中心建設(shè)的腳步?jīng)]有停歇，目前正在濟(jì)南建設(shè)的“中國算谷”，致力于成為全球算力產(chǎn)業(yè)新高地，帶動(dòng)山東傳統(tǒng)企業(yè)智能化改造和升級，計(jì)劃建成E級計(jì)算系統(tǒng)。

AI時(shí)代的“發(fā)電廠”

AI模型發(fā)展一日千里，模型越來越大，對算力要求也越高，硬件進(jìn)步給算法帶來福利。

OpenAI去年的報(bào)告指出，AI計(jì)算量每年增長10倍。從2012年至今，最先進(jìn)AI模型對計(jì)算量的需求已經(jīng)增長了30萬倍，若按照摩爾定理，與此同時(shí)芯片算力只增長了7倍。

對算力的爆炸式一方面靠AI加速芯片的改進(jìn)，另一方面靠硬件的“暴力”堆砌。

然而單個(gè)用戶難以自建強(qiáng)大算力，則需要智算中心來幫忙。未來，智算中心會像發(fā)電廠一樣，產(chǎn)生大量的算力輸送到“千家萬戶”。

電力時(shí)代有充足的發(fā)電量，就能驅(qū)動(dòng)更多、更強(qiáng)的電氣設(shè)施。AI時(shí)代有更多低廉的算力資源，才能催生出更多像GPT-3一樣“暴力”AI模型，推動(dòng)AI的產(chǎn)業(yè)化。

如果中國也要研發(fā)像GPT-3一樣的AI模型，用這樣的AI模型驅(qū)動(dòng)產(chǎn)業(yè)變革，那么一定要降低算力資源的TCO。

浪潮希望在這個(gè)中發(fā)揮主導(dǎo)作用，所以推出智算中心。浪潮也具有這樣的底氣，因?yàn)樗麄円呀?jīng)占據(jù)了中國50%的AI計(jì)算中心算力，未來一定會是“新基建”的AI基石。

在這方面，國外已經(jīng)有許多先進(jìn)的經(jīng)驗(yàn)，英特爾、微軟、谷歌都在以開放的姿態(tài)融合更多新的AI硬件，把更強(qiáng)大的算力貢獻(xiàn)給產(chǎn)業(yè)。

回到國內(nèi)，如果浪潮能把智算中心的算力供給全行業(yè)使用，以國內(nèi)龐大市場，一定能催生更強(qiáng)大AI模型的誕生。

到時(shí)候，不僅能產(chǎn)生與GPT-3類似的AI模型，我們還會看到過更多AI技術(shù)的商業(yè)化，讓我們的生活處處充滿AI。