登臨科技聯(lián)合創(chuàng)始人王平：創(chuàng)新+自研“雙核”驅(qū)動(dòng)，GPU+賦能AI落地生根｜量子位·視點(diǎn)分享回顧

量子位的朋友們 2022-07-25 12:14:21 來源：量子位

視點(diǎn) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

人工智能的蓬勃發(fā)展帶來了算力需求的指數(shù)增長(zhǎng)。

摩爾定律和Dennard Scaling效應(yīng)在CPU的性能提升上失效，針對(duì)于圖形加速和高性能計(jì)算設(shè)計(jì)的GPU在AI計(jì)算領(lǐng)域略顯乏力。

百花齊放的ASIC AI芯片雖然在某些方面有所改進(jìn)，但也存在著應(yīng)用場(chǎng)景局限、依賴自建生態(tài)、客戶遷移難度大、學(xué)習(xí)曲線較長(zhǎng)等問題。

通用圖形處理器GPGPU在不斷迭代和發(fā)展中成為了AI計(jì)算領(lǐng)域的最新發(fā)展方向。

技術(shù)發(fā)展，既要兼容現(xiàn)有AI軟件生態(tài)，也要堅(jiān)持自主創(chuàng)新。登臨科技的“GPU+”創(chuàng)新架構(gòu)應(yīng)運(yùn)而生，基于“GPU+”的首款芯片產(chǎn)品Goldwasser已在多個(gè)行業(yè)商業(yè)化落地。

為什么“GPU+”更適合解決高性能與通用性等AI計(jì)算難題？眾人矚目的“GPU+”架構(gòu)的核心競(jìng)爭(zhēng)力在哪里？使用“GPU+”架構(gòu)的芯片能夠有多強(qiáng)大？

圍繞GPGPU在人工智能領(lǐng)域的創(chuàng)新技術(shù)，登臨科技聯(lián)合創(chuàng)始人王平在「量子位·視點(diǎn)」直播中分享了他的從業(yè)經(jīng)驗(yàn)和觀點(diǎn)。

以下根據(jù)分享內(nèi)容進(jìn)行整理：

登臨科技是目前國(guó)內(nèi)首個(gè)實(shí)現(xiàn)規(guī)模化商業(yè)落地的GPU企業(yè)，登臨“GPU+”已經(jīng)在安防、交通、醫(yī)療、金融、能源、電力、智能駕駛、互聯(lián)網(wǎng)等多個(gè)行業(yè)實(shí)現(xiàn)了商業(yè)落地。登臨GPU+的主要特點(diǎn)是是低碳、能效比高，在客戶側(cè)用登臨產(chǎn)品替換原先加速卡的比率很高。

我們獨(dú)特的“GPU+”的架構(gòu)，可以在硬件上兼容支持CUDA/OpenCL這樣主流的語言以及主流AI框架，并且針對(duì)AI計(jì)算我們做了深度優(yōu)化，相對(duì)于傳統(tǒng)的GPU架構(gòu)，GPU+經(jīng)實(shí)測(cè)有三倍以上的能效提升。我們采用并堅(jiān)持的路線是，核心技術(shù)完全自主研發(fā)。

算力：數(shù)字經(jīng)濟(jì)引擎，智能社會(huì)基石

在這個(gè)過程中，我們首先解決的問題是什么呢？就是算力。

算力，其實(shí)解決的是我們現(xiàn)在比較新的一個(gè)概念——數(shù)字經(jīng)濟(jì)。數(shù)字經(jīng)濟(jì)，從經(jīng)濟(jì)學(xué)的角度來講，是指人們通過大數(shù)據(jù)（這里主要是經(jīng)過數(shù)字化的知識(shí)和信息），進(jìn)行識(shí)別—選擇—過濾—存儲(chǔ)—使用，實(shí)現(xiàn)資源的快速優(yōu)化配置與再生，實(shí)現(xiàn)經(jīng)濟(jì)發(fā)展的經(jīng)濟(jì)體形態(tài)。

在這個(gè)經(jīng)濟(jì)形態(tài)里，核心就是數(shù)據(jù)。數(shù)據(jù)是數(shù)字經(jīng)濟(jì)的礦石，而這個(gè)礦石具有相當(dāng)高的含金量，要獲得其中的“金”，就要像剛才提到的一樣進(jìn)行識(shí)別選擇，需要對(duì)它進(jìn)行打磨或者挖掘——也就是在海量的、意義模糊的數(shù)據(jù)之中，實(shí)現(xiàn)數(shù)據(jù)的挖掘。

這樣的過程中，算力工具，成為了整個(gè)數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施。它在大數(shù)據(jù)和智能化應(yīng)用的這個(gè)年代，提供了重要的支撐作用。

類比于傳統(tǒng)工業(yè)時(shí)代，例如汽車工業(yè)的驅(qū)動(dòng)力是馬力，那么在數(shù)字經(jīng)濟(jì)年代，數(shù)字經(jīng)濟(jì)的驅(qū)動(dòng)力無疑是算力。人工智能領(lǐng)域?qū)λ懔Φ男枨?，每年以指?shù)級(jí)增長(zhǎng)，而算力最基礎(chǔ)的來源則是計(jì)算芯片。

計(jì)算芯片的重要性是毋庸置疑的，簡(jiǎn)單來說，芯片就是計(jì)算機(jī)。比如二十多年前，我上中學(xué)的時(shí)候，那時(shí)候提到計(jì)算機(jī)是386或者486，到現(xiàn)在的大規(guī)模并行計(jì)算的板卡甚至機(jī)器在以T4、A100直接指代，這在一定程度上是用芯片來代稱計(jì)算機(jī)了。從本質(zhì)上來講，這些就是提供核心算力最主要的載體。

今天我們通過登臨科技四年多的發(fā)展經(jīng)歷，以及產(chǎn)品化的路線，給大家介紹一下“登臨芯”是如何做到規(guī)?；涞氐?。

“登臨芯”是怎么創(chuàng)造出來的？

芯片行業(yè)的特點(diǎn)在于，它是一個(gè)充分競(jìng)爭(zhēng)的行業(yè)，俗稱“老大吃肉老二喝湯”競(jìng)爭(zhēng)殘酷。

在這樣殘酷的市場(chǎng)競(jìng)爭(zhēng)環(huán)境里創(chuàng)造一個(gè)好的產(chǎn)品，非常重要的，它不僅僅是一個(gè)好的技術(shù)，而是一個(gè)好的產(chǎn)品——“好”在于這個(gè)產(chǎn)品能夠解決客戶的問題，而不是僅僅去解決一個(gè)自己想解決的問題，或者我們所擁有的技術(shù)能解決的問題。

在登臨成立之初，CEO李建文先生花了半年多時(shí)間走訪了幾十個(gè)客戶，向大家了解對(duì)公司產(chǎn)品和產(chǎn)品相關(guān)技術(shù)架構(gòu)的需求。針對(duì)于這些需求我們要如何解決？我們就需要以創(chuàng)新為靈魂，以計(jì)算為突破口，以及堅(jiān)持核心技術(shù)自主研發(fā)。

在我個(gè)人看來，沒有創(chuàng)新，就沒有核心競(jìng)爭(zhēng)力。登臨科技從成立開始，我們就是用技術(shù)和產(chǎn)品說話。我們希望在商業(yè)市場(chǎng)上，產(chǎn)品能夠?yàn)榭蛻魟?chuàng)造價(jià)值，為了達(dá)到這個(gè)目標(biāo)，我們最核心、最有價(jià)值的東西，一定是要來自創(chuàng)新。因?yàn)橹挥羞@樣，我們才能夠達(dá)到很高的上限，最起碼是要打敗我們的競(jìng)爭(zhēng)對(duì)手，否則我們不可能為客戶創(chuàng)造出價(jià)值，我們自己也很難在這樣殘酷的市場(chǎng)里獲得一席之地。

在一個(gè)競(jìng)爭(zhēng)對(duì)手是國(guó)際巨頭的賽道里，我們不能只是復(fù)制別人，或是引入落后技術(shù)。我們所做的處理器，回首過去幾十年的發(fā)展歷程，其技術(shù)是在不斷迭代、持續(xù)演進(jìn)的。不斷的迭代、優(yōu)化和創(chuàng)新，才能夠讓產(chǎn)品具有更強(qiáng)競(jìng)爭(zhēng)力。

計(jì)算這個(gè)核心的部分，自研才是唯一的出路。只有自己掌控，才可以在系統(tǒng)的關(guān)鍵路徑、硬件和軟件，避免一些不可控的瓶頸和堵點(diǎn)，能夠讓自家可以提供一套完整的方案，也更容易設(shè)計(jì)并且優(yōu)化一些客戶方面面臨的問題。

因?yàn)槲覀兪侨轿蛔约旱募軜?gòu)，我們可以更深入地理解客戶的痛點(diǎn)，并且通過一些軟硬件協(xié)同的設(shè)計(jì)，能夠定點(diǎn)地解決客戶的問題，這樣的方法能夠?qū)崿F(xiàn)我們客戶的需求，同時(shí)也對(duì)我們的落地有更好的幫助。

繼續(xù)分析算力這個(gè)問題。算力很重要，而且算力也在持續(xù)的增長(zhǎng)之中，那么到了現(xiàn)在，算力的增長(zhǎng)點(diǎn)在哪里呢？

在我接觸到電腦的時(shí)候，算力增長(zhǎng)還相對(duì)比較容易，可以通過工藝的改進(jìn)，在單核上提高CPU的頻率，就可以簡(jiǎn)單地實(shí)現(xiàn)算力的增長(zhǎng)。在單核走到上限的時(shí)候，還可以通過多核的堆砌，實(shí)現(xiàn)算力的提升。但是即使工藝仍然在改進(jìn)，摩爾定律走到現(xiàn)在還是基本失效了，問題的已經(jīng)是以功耗和散熱為主要矛盾了。

隨著工藝越來越小以及功耗的限制，Dark Silicon（暗硅）也就成了客觀存在，這時(shí)候解決問題的思路已經(jīng)不再是一味的多核，堆砌算力。

但是客戶需要算力，需要更高性能更低功耗的算力。解決這個(gè)問題，對(duì)于我們而言，就是讓我們開始思考如何用更有效的組合算力在功耗帶寬這樣的約束條件下，選擇最適合的架構(gòu)。

芯片：異構(gòu)計(jì)算是趨勢(shì)，GPU+將成為主流AI芯片

既然提到選擇，我們就來看看對(duì)比方案。

第一個(gè)不得不說的對(duì)比方案，就是GPU和通用GPU（GPGPU）。

GPU對(duì)于從業(yè)人員而言，是非常優(yōu)秀的架構(gòu)，它為游戲、為并行計(jì)算而生，其比較主流的生態(tài)CUDA已經(jīng)成為了并行計(jì)算的標(biāo)配，而且這些年它還在不斷地進(jìn)行改進(jìn)。但是無論它怎么樣改進(jìn)，它還是有一些根本的問題不能夠在架構(gòu)層解決的。他的效率是在多條產(chǎn)品線上的均衡，在AI場(chǎng)景下效率一般，改進(jìn)效率較低。

GPU整個(gè)產(chǎn)品線比較廣，所覆蓋的領(lǐng)域其實(shí)非常多。從公司理念或者產(chǎn)品理念上，它也是希望用一個(gè)架構(gòu)解決各個(gè)領(lǐng)域的問題。所以，在它沒有辦法在任何特定領(lǐng)域下實(shí)現(xiàn)最優(yōu)的情況下，給其他產(chǎn)品提供了特定領(lǐng)域里的優(yōu)化空間，甚至是創(chuàng)新空間，我們則是思考的是如何在特定領(lǐng)域里面實(shí)現(xiàn)更高的效率。

GPU在AI領(lǐng)域有一些局限。主要幾個(gè)問題是計(jì)算效率、存儲(chǔ)子系統(tǒng)和片上延遲，這些基本問題導(dǎo)致它的能耗比較高，但性能比較有限，效率一般。

從我們走訪客戶的反饋可以看出，他們對(duì)GPU是又愛又恨。GPU的確為他們創(chuàng)造了價(jià)值，但是他們購(gòu)買的GPU存在性價(jià)比不高的問題：即高價(jià)買到一些冗余的通用設(shè)計(jì)組件，但這些組件無法在他們所需的領(lǐng)域發(fā)揮能效，這就增加了產(chǎn)品部署的成本。

客戶急需的是更高能效的處理器，那么有沒有呢？在登臨GPU+之前，有非常多的Paper、Demo來展示一些更高效的方案。這些高效方案更多展示的是在矩陣或者卷積運(yùn)算這些方向上的提升，有更高的能效比以及創(chuàng)新。

但是根據(jù)我們?cè)诳蛻糁械恼{(diào)研結(jié)果，矩陣和卷積運(yùn)算固然重要，但這并不是全部：這些方案或許能夠在矩陣加速方面解決一些問題，甚至能夠在一兩個(gè)特定的應(yīng)用里面有一些不錯(cuò)的效果，但這并不是一個(gè)處理器的方案，因?yàn)樘幚砥鬟@個(gè)詞本身就代表某種通用性；這些方案并不能夠?yàn)榭蛻籼峁┮惶淄暾耐ㄓ媒鉀Q方案。

某個(gè)網(wǎng)絡(luò)或者某個(gè)應(yīng)用中的部分加速在客戶的業(yè)務(wù)線里連不起來，他為了適應(yīng)這個(gè)業(yè)務(wù)線又要做很多的變動(dòng)，而這些部分加速只能適用于部分業(yè)務(wù)。這對(duì)客戶來講，是非常難用的方案，而且現(xiàn)在客戶的應(yīng)用其實(shí)是在不斷演變的，客戶在不斷的進(jìn)步，但如果你只能解決一個(gè)問題，哪怕這是一個(gè)比較主要或者是算力比較集中的問題，也很難在客戶端實(shí)現(xiàn)落地。

客戶通常不會(huì)為了你的一個(gè)小小的提升來改變他整個(gè)方案的框架。提升方案的能力其實(shí)也不一定完備，到了不能支持的部分就是一種災(zāi)難。從這個(gè)角度來講，加速方案雖然看起來很美，但是并不能夠很好地融入客戶框架，或者融入客戶框架的成本實(shí)在太高了。

我們應(yīng)該探索能不能有一些好的方案，能夠基于客戶基本的應(yīng)用框架比較好地融入，并且能夠支持客戶使用他比較熟悉的語言或者編程方式來實(shí)現(xiàn)定制式需求。達(dá)到了這兩點(diǎn)，客戶的接受度就會(huì)比較高，他會(huì)更愿意接受你的產(chǎn)品，他的創(chuàng)新也可以用比較通用的語言進(jìn)行表達(dá)，而不需要學(xué)習(xí)專用的語言。

總結(jié)下來，其實(shí)最關(guān)鍵的兩點(diǎn)就是：高效率，硬件的高效率，以及整個(gè)解決方案的通用性和應(yīng)用性。這個(gè)就是我們?cè)贏I領(lǐng)域要解決的最主要的問題，這兩個(gè)問題再總結(jié)成一個(gè)問題，其實(shí)就是高效率問題。

一個(gè)是機(jī)器要高效率，就是說我們要能夠提供一個(gè)高性能、低功耗，高能效比的系統(tǒng)。另外一個(gè)是要實(shí)現(xiàn)人的高效率，能夠提升整個(gè)客戶公司的高效率，而且靈活易用。達(dá)到這個(gè)目標(biāo)，首先是集成，其次是優(yōu)化，并且是用客戶熟悉的辦法優(yōu)化，這樣就可以實(shí)現(xiàn)很迅速的落地。

這是客戶的“既要又要”。那么從我們自己對(duì)架構(gòu)的設(shè)計(jì)需求，或者一個(gè)基本要求出發(fā)，我們是怎么解答“既要又要”這個(gè)問題的呢？那就是，我們的產(chǎn)品方案既要ASIC高效率，又要GPU的通用性。

進(jìn)行了剛才問題的分析后，我們可以看到在AI計(jì)算領(lǐng)域異構(gòu)系統(tǒng)應(yīng)該是片內(nèi)異構(gòu)的系統(tǒng)，是一個(gè)水到渠成的選項(xiàng)。

剛才我們也提到了Dark Silicon（暗硅），傳統(tǒng)片上無法把堆砌的大量的中效率核全部打開，但登臨在片上選擇一些異構(gòu)的高、中、低效率不同核來結(jié)合，共同完成提高算力的任務(wù)，讓不同的核實(shí)現(xiàn)各司其職。

那么在AI這個(gè)領(lǐng)域，我們做的是，用高密度的處理器解決高密度的計(jì)算需求，解決客戶的硬件能力高效率問題。

當(dāng)然另外一個(gè)非常重要點(diǎn)中密度的并行計(jì)算的需求，爭(zhēng)對(duì)并行計(jì)算我們選擇用GPU加速，并且采用硬件兼容CUDA/OpenCL等現(xiàn)有軟件生態(tài)?？紤]兼容現(xiàn)有軟件生態(tài)是從客戶端出發(fā)，讓客戶比較容易的編寫自己的自定義算子，使其快速的實(shí)現(xiàn)方案的集成。

綜上，我們最終設(shè)計(jì)開發(fā)了基于GPGPU的片內(nèi)異構(gòu)計(jì)算體系：GPU+，其兼具GPU的通用性及ASIC的高效率。

以下我深入介紹下GPU+的軟硬件細(xì)節(jié)。

GPU+的核心是片內(nèi)異構(gòu)，在特定應(yīng)用領(lǐng)域里，比如說我們現(xiàn)在落地的AI場(chǎng)景，實(shí)現(xiàn)我們的高能效的一個(gè)計(jì)算需求。以AI計(jì)算為例，AI計(jì)算中傳遞的數(shù)據(jù)是Tensor，操作是算子，尤其是絕大多數(shù)算子的算法是結(jié)構(gòu)化的。我們基于這個(gè)特征設(shè)計(jì)一個(gè)高效的處理單元，對(duì)應(yīng)的軟件棧也只需要對(duì)這些算子進(jìn)行特別加速，這部分專用既易用又能提供高能效的基礎(chǔ)。而且，我們的內(nèi)存子系統(tǒng)使用CUDA/OpenCL語言編寫，能夠讓客戶的生態(tài)的代碼實(shí)現(xiàn)無縫接入。此外，我們采用了片上的高速數(shù)據(jù)交換網(wǎng)絡(luò)，和軟件管理的片上內(nèi)存，最大程度的解決低帶寬、低延遲，這樣GPU+也就是實(shí)現(xiàn)了低功耗、高能效。

從一開始就在AI計(jì)算上還有一個(gè)什么好處呢？舉一個(gè)例子，今年H100發(fā)布的一些Feature，可以看到他們?cè)噲D解決一些訪存、效率的問題并且引進(jìn)了相關(guān)的編程模型，而這些問題在我們的原創(chuàng)架構(gòu)可以做到一開始就不存在，或者說從一開始就可以有簡(jiǎn)單的解法。我們通過架構(gòu)創(chuàng)新，讓復(fù)雜的問題變簡(jiǎn)單。

此外，針對(duì)客戶需求，GPU+通過使用片上不同的計(jì)算單元以及擴(kuò)展xU進(jìn)一步加速解決行業(yè)的共性計(jì)算問題。

自研IP：大芯片企業(yè)可持續(xù)發(fā)展的根本動(dòng)力

登臨GPU+的核心競(jìng)爭(zhēng)力是：核心IP完全自主研發(fā)。

選擇核心計(jì)算IP全自研其實(shí)一個(gè)相對(duì)挑戰(zhàn)的路線，我們和計(jì)算有關(guān)的核心IP無論是架構(gòu)，微架構(gòu)包括算術(shù)單元，包括SoC的架構(gòu)，都是自主設(shè)計(jì)，每行代碼都是自主編寫。選擇自主研發(fā)主要是來自于我們團(tuán)隊(duì)多年來在計(jì)算領(lǐng)域耕作的自信以及對(duì)計(jì)算IP的深刻理解。另一方面，我們堅(jiān)信只有自主研發(fā)，才能夠承載架構(gòu)創(chuàng)新，確保自己的競(jìng)爭(zhēng)力。此外，算力產(chǎn)品在深度上需要迭代，精益求精，廣度上要利用leverage之前的技術(shù)與經(jīng)驗(yàn)，只有自研，才能自我突破，并迭代出在邊緣側(cè)、云端不同應(yīng)用需求的不同產(chǎn)品，實(shí)現(xiàn)企業(yè)的良性自我造血，循環(huán)可持續(xù)發(fā)展。

基于GPU+，登臨打造了首款邊緣至云端全系列產(chǎn)品：Glodwasser。Goldwasser系列產(chǎn)品：包括邊緣計(jì)算產(chǎn)品Goldwasser UL，功率15-25W，INT8算力32-64TOPS；半高半長(zhǎng)的服務(wù)器計(jì)算卡Goldwasser L，功耗40-70W，提供128-256TOPS算力；另有一種全高全長(zhǎng)的Goldwasser XL，輸出512TOPS算力。

在實(shí)測(cè)過程中，GPU+在40W TDP時(shí)輸出了128TOPS算力，和國(guó)際主流產(chǎn)品對(duì)比其功耗更低，性能更高。在同樣的工藝上，GPU+可以以更小的芯片面積，在同樣功耗下，在不同神經(jīng)網(wǎng)絡(luò)上提升3倍以上計(jì)算效率，并同時(shí)減低芯片性能對(duì)外存吞吐的依賴。此外，Goldwasser使用的Hamming工具鏈，不僅支持傳統(tǒng)GPU使用的硬件加速方式，和PyTorch、TensorFlow、飛槳等國(guó)內(nèi)外主流深度學(xué)習(xí)框架，也支持國(guó)內(nèi)外主流x86和ARM產(chǎn)品。目前，登臨在也和多家CPU、服務(wù)器廠商合作，適配了多種CPU、服務(wù)器。

客戶場(chǎng)景

目前登臨Goldwasser目前已在安防、交通、醫(yī)療、金融、能源電力、智能駕駛、在線教育、互聯(lián)網(wǎng)等行業(yè)實(shí)現(xiàn)商業(yè)化落地，并順利實(shí)現(xiàn)規(guī)?；慨a(chǎn)供貨。

除此之外，Goldwasser還在賦能更多的AI應(yīng)用領(lǐng)域，如視頻審核、信息檢索、自然語言處理等場(chǎng)景。大量客戶產(chǎn)品實(shí)測(cè)證明，針對(duì)AI計(jì)算，GPU+相比傳統(tǒng)GPU在性能尤其是能效上有顯著提升。

總的來說，規(guī)模化落地是我們的第一步。下一步，我們將繼續(xù)與客戶進(jìn)行更深入的合作，堅(jiān)持核心技術(shù)自主研發(fā)，創(chuàng)新迭代出新的產(chǎn)品，拓展更多領(lǐng)域的客戶，更廣泛地為推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展做貢獻(xiàn)。

關(guān)于「量子位·視點(diǎn)」

量子位發(fā)起的CEO/CTO系列分享活動(dòng)，不定期邀請(qǐng)前沿科技領(lǐng)域創(chuàng)業(yè)公司CEO/CTO，分享企業(yè)最新戰(zhàn)略、最新技術(shù)、最新產(chǎn)品，與廣大從業(yè)者、愛好者探討前沿技術(shù)理論與產(chǎn)業(yè)實(shí)踐。歡迎大家多多關(guān)注 ～

— 完 —

量子位 QbitAI

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)