第四范式軟硬一體系統(tǒng)發(fā)布：AI算力不靠堆硬件，主打傳統(tǒng)企業(yè)轉(zhuǎn)型！AutoML 2.0亮相

雷剛 2019-06-21 10:59:44 來源：量子位

雷剛 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

傳統(tǒng)企業(yè)AI轉(zhuǎn)型，痛點(diǎn)是什么，難點(diǎn)在哪里？

第四范式剛圍繞這一話題給出最新實(shí)踐認(rèn)知和解決方案。

這家明星獨(dú)角獸公司推出企業(yè)級(jí) AI 軟硬一體集成系統(tǒng)——SageOne，分享“軟件定義AI算力”的思路，以及企業(yè)AI轉(zhuǎn)型的“1+N”戰(zhàn)略方法。

詳情如何，我們一一分解：

AI算力不靠堆硬件

第四范式年度發(fā)布會(huì)，推出的新品是企業(yè)級(jí) AI 軟硬一體集成系統(tǒng)——SageOne，核心是摒棄了傳統(tǒng)算力堆砌硬件的方式，而采用由軟件定義的專用AI系統(tǒng)架構(gòu)，更好的理解AI 算法的運(yùn)算架構(gòu)與邏輯，更深層次軟硬件一體化的優(yōu)化和加速，全面滿足企業(yè)AI應(yīng)用的算力需求。

第四范式聯(lián)合創(chuàng)始人、首席架構(gòu)師胡時(shí)偉說：

傳統(tǒng)算力和AI應(yīng)用負(fù)載之間存在天然的鴻溝，傳統(tǒng)算力只是解決在計(jì)算、訪存、I/O帶寬的局部密集問題，而AI應(yīng)用負(fù)載則需要解決全部密集的問題。發(fā)展企業(yè)級(jí)AI專用算力已經(jīng)成為行業(yè)的普遍共識(shí)和大勢(shì)所趨。

但當(dāng)前挑戰(zhàn)，解決企業(yè)AI應(yīng)用算力負(fù)載問題，單靠增加硬件是無法完成的。只有通過AI算法對(duì)整個(gè)AI算力平臺(tái)系統(tǒng)的重新定義，才能最大化解決問題。

所以新品SageOne中，先看軟件引擎。

內(nèi)置了第四范式領(lǐng)先的自研AI訓(xùn)練引擎、AI推理引擎和AI特征存儲(chǔ)引擎三大核心引擎。

通過業(yè)界領(lǐng)先的“軟件定義計(jì)算”軟硬一體技術(shù)構(gòu)建閉環(huán)企業(yè)AI系統(tǒng)，貫通硬件基礎(chǔ)設(shè)施、AI核心引擎、AI平臺(tái)和AI業(yè)務(wù)應(yīng)用的全價(jià)值鏈條。

那算法軟件如何定義算力需求？

第四范式的方案是以高維算法為基礎(chǔ)，搭載第四范自主研發(fā)的硬件加速卡——4Paradigm ATX800，內(nèi)置模型訓(xùn)練和特征工程等多種加速能力。

并且支持自動(dòng)優(yōu)化訓(xùn)練超參數(shù)、高位特征計(jì)算過程I/O加速和高維GBDT訓(xùn)練加速等應(yīng)用，在企業(yè)應(yīng)用場(chǎng)景中表現(xiàn)出高達(dá)10倍的訓(xùn)練性能。

具體表現(xiàn)上，SageOne內(nèi)置第四范式自主研發(fā)的高維、分布式網(wǎng)絡(luò)通訊協(xié)議Swift，集成pPRC自研網(wǎng)絡(luò)通信框架、零拷貝數(shù)據(jù)交換協(xié)議等AI領(lǐng)先通訊技術(shù)，結(jié)合基于CLX-AP架構(gòu)的參數(shù)服務(wù)器集群，展現(xiàn)出業(yè)界頂級(jí)機(jī)器學(xué)習(xí)性能表現(xiàn)。

SageOne在高維特征計(jì)算過程I/O最大10X加速，高維稀疏場(chǎng)景模型訓(xùn)練比GPU提速5X以上，自研pRPC通信框架比百度bRPC和谷歌gRPC提速3-10X。

此外，內(nèi)置行業(yè)領(lǐng)先的自研實(shí)時(shí)特征計(jì)算引擎和模型預(yù)估引擎，SageOne為企業(yè)AI應(yīng)用提供特征處理過程免開發(fā)上線、線下線上一致性保證、一鍵生成預(yù)估服務(wù)、異構(gòu)模型統(tǒng)一服務(wù)等AI核心應(yīng)用服務(wù)，結(jié)合非易失性存儲(chǔ)的無限緩存和超低延遲內(nèi)存存儲(chǔ)等硬件技術(shù)，確保企業(yè)AI應(yīng)用時(shí)具備海量量時(shí)序特征計(jì)算和萬億維模型實(shí)時(shí)推理能力的同時(shí)，提供百萬級(jí)并發(fā)實(shí)時(shí)請(qǐng)求支持和99.9%請(qǐng)求毫秒級(jí)響應(yīng)的高并發(fā)業(yè)務(wù)極速響應(yīng)服務(wù)。

值得一提的是，第四范式和英特爾聯(lián)合實(shí)驗(yàn)室一直探索最佳優(yōu)化技術(shù)，并針對(duì)最新Cascade Lake-AP處理器的全新AVX512指令集、多核心及主頻利用率和CLX AP微架構(gòu)IO總線的利用率進(jìn)行全面優(yōu)化。

AutoML 2.0

當(dāng)然，作為國(guó)內(nèi)AutoML的力推者，第四范式也在此次推出了AutoML 2.0.

AutoML 2.0不僅是世界首個(gè)交互式AutoML技術(shù)，同時(shí)具備自動(dòng)跨表特征增強(qiáng)能力。

在世界知名的Kaggle機(jī)器學(xué)習(xí)競(jìng)賽中，第四范式AutoML 2.0與數(shù)據(jù)科學(xué)家共同挑戰(zhàn)多項(xiàng)競(jìng)賽，競(jìng)賽結(jié)果數(shù)據(jù)顯示全世界平均每7-10位數(shù)據(jù)科學(xué)競(jìng)賽選手，只有1位能擊敗第四范式AutoML 2.0；而在結(jié)構(gòu)化機(jī)器學(xué)習(xí)問題上第四范式AutoML 2.0比Google Cloud AutoML排名靠前61.2%，在圖像分類問題上比它排名靠前64.2%。

第四范式聯(lián)合創(chuàng)始人陳雨強(qiáng)介紹，AI應(yīng)用規(guī)?；那疤崾堑烷T檻、自動(dòng)化的AI技術(shù)，其中，關(guān)鍵性技術(shù)是AutoML。

而且基于目前企業(yè)AI應(yīng)用的痛點(diǎn)問題，第四范式未來還將引入隱私保護(hù)遷移學(xué)習(xí)（AutoPTL）、自動(dòng)半監(jiān)督機(jī)器學(xué)習(xí)（AutoSSL）、自動(dòng)正樣本和無標(biāo)簽樣本學(xué)習(xí)(AutoPU)、自動(dòng)知識(shí)圖譜嵌入（AutoKGE） 等眾多Auto“黑科技”到產(chǎn)品體系中，提高企業(yè)AI應(yīng)用率和價(jià)值。

AI轉(zhuǎn)型“1+N”戰(zhàn)略

最后，無論是新產(chǎn)品SageOne，還是AutoML 2.0，都是第四范式探索企業(yè)AI轉(zhuǎn)型實(shí)踐中總結(jié)的“1+N”戰(zhàn)略的落地產(chǎn)品。

第四范式創(chuàng)始人戴文淵說，在幫助企業(yè)轉(zhuǎn)型及應(yīng)用AI的過程中，第四范式總結(jié)出企業(yè)AI轉(zhuǎn)型的“1+N”戰(zhàn)略方法。

“1”是指利用AI達(dá)到極致效果，在自己的核心業(yè)務(wù)上建立絕對(duì)優(yōu)勢(shì)。

“N”是借力科技創(chuàng)新帶來的基礎(chǔ)設(shè)施成本的降低，規(guī)?；穆涞赜诟鄻I(yè)務(wù)場(chǎng)景，提升整體經(jīng)營(yíng)效率。

企業(yè)的核心業(yè)務(wù)通常有1或數(shù)個(gè)，在實(shí)際經(jīng)營(yíng)中，核心業(yè)務(wù)創(chuàng)造的營(yíng)收占比可達(dá)80%甚至更多，因而1%的提升就足以改變企業(yè)競(jìng)爭(zhēng)格局。

以互聯(lián)網(wǎng)應(yīng)用為例，“千人千面”的個(gè)性化服務(wù)就是AI化的結(jié)果，最終，用戶活躍度有多少提升，有多少轉(zhuǎn)化均取決于“千人千面”的程度與效果。

而對(duì)于以“供應(yīng)鏈”為核心的零售及制造業(yè)，其競(jìng)爭(zhēng)力取決于AI能在多大程度上提升供應(yīng)鏈效率，降低成本。

面對(duì)核心業(yè)務(wù)，AI須做到極致效果，“畢其功于一役?！?/p>

N則是指企業(yè)在全面AI改造過程中，面對(duì)成百上千個(gè)分散場(chǎng)景時(shí)，如果每個(gè)都做到極致，投入產(chǎn)出比低，因而需要規(guī)?；⒏咝У腁I落地能力。

假設(shè)一個(gè)企業(yè)有一千個(gè)場(chǎng)景，其中一個(gè)場(chǎng)景提升10倍，對(duì)整個(gè)企業(yè)來說，只有百分之一的提升。

而如果能高效地完成一千個(gè)場(chǎng)景的全面覆蓋，即使每個(gè)場(chǎng)景只提升1倍，那也百分之百的提升。

所以面對(duì)場(chǎng)景眾多的企業(yè)，AI的“規(guī)?；涞亍蹦芰?huì)是企業(yè)全面智能化轉(zhuǎn)型的關(guān)鍵。

One more thing

最后，對(duì)于這家低調(diào)的AI技術(shù)公司，或許為啥取名“第四范式”，不是人人皆知。

這次發(fā)布會(huì)演講開頭，戴文淵分享了淵源掌故：

1998年圖靈獎(jiǎng)獲得者Jim Gray在2005年，他生前的最后一次演講時(shí)，將人類科學(xué)研究的發(fā)展分成四個(gè)階段，每個(gè)階段是一個(gè)范式。

第一個(gè)范式是人類記錄和描述自然現(xiàn)象，比如鉆木取火，磨擦取電。

幾百年后人類進(jìn)入到第二個(gè)階段，人類靠記錄的現(xiàn)象和經(jīng)驗(yàn)總結(jié)出規(guī)律，比如說我們熟知的牛頓三定律和麥克斯韋方程等的理論科學(xué)，于是人類進(jìn)入到理論科學(xué)時(shí)代。

最近幾十年，計(jì)算機(jī)科學(xué)發(fā)展到第三代。

很重要的一點(diǎn)是會(huì)進(jìn)入第四范式階段，計(jì)算機(jī)不再是模擬，是要從數(shù)據(jù)里面發(fā)現(xiàn)規(guī)律，這是最大的一個(gè)分析。

我們認(rèn)為第四范式階段最重要的一個(gè)變化是什么？

第四范式時(shí)代我們認(rèn)為最重要的特點(diǎn)，首先科學(xué)規(guī)律的數(shù)量將會(huì)井噴，和過去相比牛頓總結(jié)三個(gè)，愛因斯坦總結(jié)四個(gè)，這是人的規(guī)律時(shí)代。

計(jì)算機(jī)以超強(qiáng)的計(jì)算能力，能總結(jié)出遠(yuǎn)遠(yuǎn)多于我們過去的數(shù)量級(jí)規(guī)律。

過去我們認(rèn)為物理是科學(xué)，化學(xué)是科學(xué)，我們的科學(xué)行業(yè)是有限的。

為什么是有限的？是因?yàn)榭茖W(xué)家數(shù)量有限，有的行業(yè)可能沒有科學(xué)家，可能是一個(gè)經(jīng)驗(yàn)科學(xué)。但是當(dāng)我們的計(jì)算機(jī)可以做科學(xué)的時(shí)候，科學(xué)的時(shí)代就到來了。

今天第四范式希望能夠把第四代范式的理念推廣，我們也在幫助各個(gè)不同的行業(yè)進(jìn)入到第四范式時(shí)代。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)