華為云中文預(yù)訓(xùn)練模型發(fā)布：全球最大、千億參數(shù)，逼近人類神經(jīng)元

金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

還是熟悉的華為開發(fā)者大會?（HDC），還是熟悉的余承東。

也還是一貫地擅長宣布“世界第一”：

業(yè)界首個千億級生成與理解中文NLP大模型。

業(yè)界最大的CV大模型。

這就是余承東剛剛發(fā)布的大模型，名曰華為云盤古大模型。

要知道，千億級的參數(shù)規(guī)模，可是已經(jīng)逼近人類神經(jīng)元的數(shù)量了！

余承東激動地介紹道，“這是今天最重磅的產(chǎn)品”！

（隨即，現(xiàn)場掌聲如雷）

這屆華為開發(fā)者大會在熟悉之余，也有所不同：

??不一樣的身份：這一次，余承東新增了一個身份，華為云CEO。

??不再“硬”的產(chǎn)品：這一次，沒有手機(jī)、電腦和芯片，而是偏“軟”的開發(fā)者產(chǎn)品。

余承東在現(xiàn)場也表示：

云是ICT產(chǎn)業(yè)的未來，開發(fā)者是產(chǎn)業(yè)發(fā)展的靈魂。華為將繼續(xù)開放技術(shù)創(chuàng)新能力，攜手開發(fā)者、伙伴共同加速行業(yè)全面云化和智能升級。

云化，是不可阻擋的潮流；云，是21世紀(jì)的未來。

拿下“第一”的最大AI大模型，有多強(qiáng)？

如其名，盤古，煞有開天辟地之勢。

怎么說？

先觀其貌，橫攬AI領(lǐng)域四大熱門方向：

• 自然語言處理（NLP）大模型
• 計算機(jī)視覺（CV）大模型
• 多模態(tài)大模型
• 科學(xué)計算大模型

很明顯，相比于現(xiàn)有的大模型，盤古并不是“單項”選手，而是全能型的那種。

再聞其詳，縱達(dá)業(yè)界能力之最：

• 華為云盤古NLP大模型：是業(yè)界首個千億參數(shù)中文語言預(yù)訓(xùn)練模型，預(yù)訓(xùn)練階段學(xué)習(xí)了40TB中文文本數(shù)據(jù)，是最接近人類中文理解能力的AI大模型。
• 華為云盤古CV大模型：是目前業(yè)界最大的視覺預(yù)訓(xùn)練模型，包含超過30億參數(shù)。

具體而言，盤古NLP大模型在權(quán)威的中文語言理解評測基準(zhǔn)CLUE榜單中，總成績及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀(jì)錄，總成績得分83.046。

而盤古CV大模型，則在ImageNet 1%、10%數(shù)據(jù)集上的小樣本分類精度上，達(dá)到了業(yè)界最高水平。

但最重要的，華為云盤古大模型的真·奧義，還真不是拿下各種“第一”秀肌肉。

一言蔽之，實則直擊痛點，畢竟天下苦AI開發(fā)久矣。

即便到了現(xiàn)在，AI開發(fā)的過程，較為貼切的比喻應(yīng)該是“作坊模式”，換言之，就是需要手動的工作太多、太頻繁。

具體而言，常常困擾AI開發(fā)者的問題包括，從零開始、獨立調(diào)優(yōu)、艱難迭代、推倒重來……

若是再聚焦到“千億參數(shù)”的規(guī)模，要訓(xùn)練這樣的模型，還需要開發(fā)者手工編寫大量的并行、切分和通訊代碼。

（啊~多么痛的領(lǐng)悟）

講真，明明從事AI的開發(fā)，但這樣真的很不AI。

此局又該如何破解？

工廠模式，了解一下。

華為云盤古大模型的開發(fā)模式，是“預(yù)訓(xùn)練+下游微調(diào)”，這也是與目前全球主流大模型（如Bert）所匹配的一種模式。

簡單來說，這種模式的一大優(yōu)點，就是擁有極強(qiáng)的泛化能力。

也就是說這個模型可以做到“舉一反三”：

同樣的一個模型，可以在多個場景中適用，而且還是非常復(fù)雜的那種。

不僅如此，數(shù)據(jù)量少、小樣本，也是困擾AI開發(fā)者的一大難題。

而華為云盤古大模型，卻可以做到在少量樣本的情況達(dá)到高精度，在這方面超越了GPT系列。

……

“功夫”已經(jīng)展露，接下來的一個問題就是：

華為云盤古大模型，是如何煉成的？

左手CANN算子，右手MindSpore框架，主要依托的便是這兩大“基本功”。

CANN是華為推出的異構(gòu)計算架構(gòu)，2018年推出1.0版本至今，已經(jīng)迭代到了3.0版本。

目前不僅使用于推理、訓(xùn)練場景，還能夠?qū)崿F(xiàn)“端邊云協(xié)同”。這就意味著不必在不同的終端，再去開發(fā)不同的算子，大大提高了效率。

例如基于CANN，就能讓ResNet-50模型的訓(xùn)練時間降低到28s。

MindSpore則是華為于2019年推出的全場景AI計算框架，其中的一大特色，就是具有全自動混合并行方案。

而華為云盤古大模型，基于二者之外，還融合了三種并行技術(shù)：模型并行、數(shù)據(jù)并行和流水線并行。

如此一來，開發(fā)者就只需要編寫單機(jī)算法代碼、添加少量并行標(biāo)簽，就可以實現(xiàn)模型訓(xùn)練的自動切分。

舉個實戰(zhàn)例子，用盤古訓(xùn)練超大模型靜態(tài)圖，性能直接提升了40%之多！

以為余承東站臺的活動，僅僅就“重磅推出”了個盤古？

No，No，No，事情定然沒有這么簡單。

同級別！同分量！還有五大產(chǎn)品和服務(wù)：

• 華為云CCE Turbo容器集群：從計算、網(wǎng)絡(luò)和調(diào)度三方面，讓容器更加強(qiáng)大。這也是業(yè)界唯一支持100%容器虛擬化的集群。
• 華為云GaussDB（for openGauss）數(shù)據(jù)庫：讓核心數(shù)據(jù)庫上云，與傳統(tǒng)分布式數(shù)據(jù)庫相比，在性能、彈性、可用性方面更強(qiáng)，是金融領(lǐng)域安全級別的那種。
• 可信智能計算服務(wù)（TICS）：在安全保障的前提下，解決數(shù)據(jù)難開放、共享流通的問題，而且無須轉(zhuǎn)換就能適配業(yè)界主流的大數(shù)據(jù)應(yīng)用場景。
• 華為云CloudIDE智能編程助手：可以實現(xiàn)“讓程序自己寫程序”，還能隨時隨地、使用任何終端在線編程。
• 多樣性計算基礎(chǔ)軟件：云的創(chuàng)新離不開操作系統(tǒng)、數(shù)據(jù)庫、中間件等基礎(chǔ)軟件根技術(shù)的支撐。如果說處理器是計算產(chǎn)業(yè)的“芯”，基礎(chǔ)軟件就是計算產(chǎn)業(yè)的“魂”。華為將圍繞鯤鵬、昇騰構(gòu)建多樣性計算產(chǎn)業(yè)，尤其是在計算基礎(chǔ)軟件上持續(xù)投入，構(gòu)建了包括操作系統(tǒng)、數(shù)據(jù)庫、AI計算框架等全套計算基礎(chǔ)軟件棧，使能多樣性算力，支撐華為云的產(chǎn)品和服務(wù)創(chuàng)新。

而從華為云此次發(fā)布的新品中不難看出，所圍繞的一個核心人群，就是開發(fā)者。

這也是華為云明確做智能世界“黑土地”定位以來，為開發(fā)者增添的又一筆寶貴的資源。

正如華為云所述：

為開發(fā)者提供技術(shù)支持，并提升開發(fā)效率和質(zhì)量。

這是華為給開發(fā)者所帶去的，反之，站在開發(fā)者角度，一個問題便由此浮現(xiàn)。

開發(fā)者們能從這塊“黑土地”得到些什么？

要回答這個問題，首先要知道的是在華為云的“黑土地”中，有什么？

華為云最早在2015年提出了“沃土計劃”，并在2019年發(fā)布了“沃土計劃2.0”，目標(biāo)非常明確且簡潔：

堅持“硬件開放、軟件開源、使能伙伴、發(fā)展人才”，推動產(chǎn)業(yè)繁榮發(fā)展，，5年發(fā)展500萬開發(fā)者。

2020年，華為在沃土計劃2.0計劃上，總投入已經(jīng)達(dá)到了2億美元?（約13億人民幣）的規(guī)模。

長久以來所堅持，也讓華為云的這片“黑土地”養(yǎng)分更足。

就在4天前（4月21日），在國際知名研究機(jī)構(gòu)Gartner的報告中，便對當(dāng)前的云市場做了最新解讀：

云計算IaaS市場保持高速增長，全球市場規(guī)模達(dá)到643.9億美元。

而針對華為云這一塊，Gartner也給出了肯定的評價：

2020年，華為云全球IaaS市場排名上升至中國前二、全球前五，主流廠商增速最快，成為全球五朵云之一。

再具體一些的數(shù)據(jù)顯示，華為云所保持的增速高達(dá)168%，而且已經(jīng)連續(xù)四個季度位居中國公有云服務(wù)市場第二。

在現(xiàn)場，余承東介紹完如此成績，激動地感謝道：

感謝有你，一路向前！

這些是華為云在市場的表現(xiàn)，那么回到開發(fā)者，目前又吸引了多少人呢？

超過240萬。

其中，華為云開發(fā)者累計已達(dá)180萬；鯤鵬和昇騰開發(fā)者累計超過60萬。

而能夠吸引如此龐大開發(fā)人群，原因還是在于華為云黑土地給他們提供的價值：

堅持云優(yōu)先，優(yōu)先選擇用云方式為客戶提供IT基礎(chǔ)平臺服務(wù)，具體來說就是云解決方案優(yōu)先、云服務(wù)商業(yè)模式優(yōu)先、云伙伴優(yōu)先。

持續(xù)聚焦系統(tǒng)和架構(gòu)創(chuàng)新，強(qiáng)化軟件，讓黑土地更肥沃。

全力支持開發(fā)者基于“黑土地”構(gòu)建面向千行百業(yè)的應(yīng)用。

而華為開發(fā)者大會也正是“黑土地”的具體展現(xiàn)形式之一：

在這場面向開發(fā)者的技術(shù)盛宴中，開發(fā)者不僅可以體驗和分享最新的ICT技術(shù)在行業(yè)的深度創(chuàng)新和應(yīng)用，還能與業(yè)界大咖、華為科學(xué)家、頂級技術(shù)專家、天才少年和眾多開發(fā)者直接交流，切磋技術(shù)。

深度參與openEuler、openGauss、MindSpore、KubeEdge、Volcano等熱門開源項目；與Linux、Apache、CNCF、Rust等社區(qū)大牛探討最新開源技術(shù)，了解異構(gòu)計算、光計算、超現(xiàn)實與全息等前沿理論和未來技術(shù)。

值得一提的是，今年這屆的華為開發(fā)者大會有一個非常鮮明的特色：第一次與全國各大高校聯(lián)辦。

不僅一改以往辦會地址，將主會場放到了深圳大學(xué)城之中與此同時，還設(shè)置了超過20所中國985/211高校分會場。

這也不難從側(cè)面反映出華為云對開發(fā)者（尤其高校）的重視。

而且從此次大會的議程設(shè)置方面，也能體現(xiàn)這一點：

1場Keynote、10場峰會、70+場掃地僧見面會、100+場專題演講、40+場開發(fā)者訓(xùn)練營……

完完全全就是圍繞“開發(fā)者”而展開。

畢竟，華為云認(rèn)為“每一個開發(fā)者都了不起”：

在數(shù)字時代，開發(fā)者就是時代的弄潮兒，是改變世界的力量，更是企業(yè)創(chuàng)新的動力和產(chǎn)業(yè)的靈魂。

如何評價？

軟，著實夠軟。

這或許是此次HDC最直觀的感受之一。

華為云要做的是一塊“智能世界的黑土地”，而眾所周知，對于一塊土地來說，越肥沃就會越軟。

這也與華為云所要聚焦的點不謀而合：

聚焦系統(tǒng)創(chuàng)新、架構(gòu)創(chuàng)新，強(qiáng)化軟件。

然而細(xì)數(shù)過往經(jīng)歷，這不是華為第一次體現(xiàn)出“軟”的一面。

早在去年的華為HAI大會上，作為與華為云能力密不可分的昇騰，便脫去了硬件實力的光環(huán)。

軟件平臺全面鋪開，站上了C位。

當(dāng)時，華為表示：

極致性能，讓AI計算觸手可及，極簡易用，讓AI計算無處不在。而這個過程中軟件是必需品，也是發(fā)揮硬件性能的核心。

而更早的，在2018年10月的全聯(lián)接大會上，華為在發(fā)布AI戰(zhàn)略時便推出了異構(gòu)計算架構(gòu)CANN 1.0和一站式AI集成開發(fā)套件MindStudio，為現(xiàn)今的軟件生態(tài)發(fā)展奠定了重要的基礎(chǔ)。

今天華為云發(fā)布的六大產(chǎn)品，可謂是給這片黑土地注入了更加肥沃的“軟實力”。

除了“軟”的感官之外，這屆華為開發(fā)者大會讓人印象深刻的第二點，便是華為對云的重視。

一方面體現(xiàn)在了“云優(yōu)先”的戰(zhàn)略，以及在會中強(qiáng)調(diào)的華為云市場表現(xiàn)。

另一方面，華為云的組織架構(gòu)有重大調(diào)整。

重視程度，可見一斑。

但如此布局背后的原因，細(xì)分析下來可以大致分為三點。

首先，從趨勢角度來看，云是ICT產(chǎn)業(yè)的未來。

據(jù)Gartner預(yù)測，到2025年，企業(yè)傳統(tǒng)數(shù)據(jù)中心將關(guān)閉90%；而與此相對的另一個預(yù)測則表示，屆時全球企業(yè)云技術(shù)使用率將達(dá)100%。

如此可見，全面云化已經(jīng)是一種未來趨勢。

其次，數(shù)字化和智能化，需要云原生的能力。

據(jù)預(yù)測，到2023年，云原生應(yīng)用占比將達(dá)80%。以華為為例，基于云原生的能力，研發(fā)系統(tǒng)部署和資源使用率提升10倍以上。生產(chǎn)系統(tǒng)部署從過去2小時縮短到10分鐘，一次變更成功率提升10%。

最后，AI已經(jīng)成為生產(chǎn)力，企業(yè)AI的開發(fā)也需要“工場模式”。

依舊是以華為為例，將AI引入到工程交付的各個環(huán)節(jié)后，一年節(jié)約成本超過60億元！

……

這也就非常好的解釋了，華為在云、軟件生態(tài)和開發(fā)者上大力付諸行動的緣由。

最后的最后，基于此的下一步，又該怎么走？

對此，華為在此次開發(fā)者大會中也有所透露：

華為沃土計劃2.0在2021年將圍繞鯤鵬展翅、沃土云創(chuàng)、昇騰萬里子計劃持續(xù)投入，累計將投入2.2億美金。

發(fā)布“沃土云創(chuàng)計劃”：2021年將投入1億美金資金扶持，聚焦6大技術(shù)領(lǐng)域（容器/微服務(wù)、SaaS化、大數(shù)據(jù)、AI、視頻、智能邊緣），與ISV和SaaS開發(fā)者伙伴，構(gòu)建1000+創(chuàng)新應(yīng)用。

整體來看，從過去，到現(xiàn)在，再未來，華為云所重視的，也正應(yīng)了這屆開發(fā)者大會主題：

每一個開發(fā)者都了不起。

更如余承東最后的總結(jié)：

最強(qiáng)的智，是眾智；最大的力，是合力；每一個開發(fā)者，都在創(chuàng)造一往無前的奔騰時代。

世界有你，了不起