圖靈獎(jiǎng)?lì)C給超算跑分開(kāi)創(chuàng)者！Matlab&SciPy都跟他有關(guān)：“我眼中一切都是線性代數(shù)”

豐色 2022-03-31 14:26:27 來(lái)源：量子位

魚(yú)羊 豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

中美超算競(jìng)爭(zhēng)正酣，前有中國(guó)超算“神威·太湖之光”登上國(guó)際排名第一，不過(guò)2年，美國(guó)Summit就迎頭趕上。

后又有日本富岳連續(xù)霸榜，對(duì)兩強(qiáng)格局發(fā)起新的沖擊。

而它們爭(zhēng)妍斗艷的“主戰(zhàn)場(chǎng)”，是一個(gè)名為TOP500的超算排行榜。

今年的圖靈獎(jiǎng)就頒給了那個(gè)替超算跑分的人。

事實(shí)上，這也是一個(gè)與你日常工作息息相關(guān)的大佬。

無(wú)論你是人工智能領(lǐng)域的研究者，還是理工科大學(xué)生，目之所及的軟件工具，比如Matlab、Scipy，都與這位高性能計(jì)算領(lǐng)域先驅(qū)的工作脫不開(kāi)關(guān)系。

Jack Dongarra，這是一個(gè)早已在高性能計(jì)算領(lǐng)域家喻戶(hù)曉的名字。

正如頒獎(jiǎng)詞中所說(shuō)，正是他在數(shù)值算法和庫(kù)上的開(kāi)創(chuàng)性貢獻(xiàn)，使得高性能計(jì)算軟件在過(guò)去40年中追上了指數(shù)級(jí)硬件發(fā)展的節(jié)奏。

如此泰斗，亦與中國(guó)超算淵源頗深。

不僅幾乎年年要到中國(guó)各大超算中心訪問(wèn)，不少年輕超算人才也都與他有過(guò)近距離的交流。

△ ASC16總冠軍華中科技大學(xué)與Dongarra合影

這么一位老爺子，今年71歲，依然活躍在高性能計(jì)算領(lǐng)域的一線。

盡管在去年接受采訪時(shí)他表示，會(huì)在今年夏天過(guò)完72歲生日之后退休，但他的工作并沒(méi)有因?yàn)檫@份退休計(jì)劃而擱置。

就在本月初，他還合作發(fā)表了一篇新的論文，總結(jié)了他有關(guān)高性能計(jì)算發(fā)展和云服務(wù)巨頭崛起之間碰撞的最新思考。

在他看來(lái)：

我是一名數(shù)學(xué)家，對(duì)于我而言，一切都是線性代數(shù)。現(xiàn)在全世界都看到了這一點(diǎn)。

有關(guān)他的成就，比如超算“跑分榜”TOP500的誕生，又如LINPACK等庫(kù)影響之深遠(yuǎn)，或許你已經(jīng)看過(guò)不少。

今天，我們不妨一起進(jìn)一步看看，這位被Jeff Dean贊為“從根本上改變并推動(dòng)了科學(xué)計(jì)算”的老人，成就背后的故事。

從“師范生”到科學(xué)計(jì)算性能基準(zhǔn)奠基人

Jack Dongarra在1950年夏天出生，是個(gè)土生土長(zhǎng)的芝加哥人。

他對(duì)科學(xué)的興趣在高中時(shí)顯現(xiàn)。在接受SIAM（美國(guó)工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)）采訪時(shí)，他談到：

有天我爸買(mǎi)了一個(gè)新的電鉆，我很想知道這玩意兒到底是怎么工作的，于是就把它給拆了。

我猶記得當(dāng)時(shí)拆完就裝不回去了。還好我爸很理解我，只是出門(mén)又買(mǎi)了新的，我得以保留那些被我拆下來(lái)的零件。

不過(guò)在他高中畢業(yè)時(shí)，這種興趣還只是驅(qū)使他在“成為一名高中教師”的計(jì)劃上，選修了數(shù)學(xué)和科學(xué)課程。

他當(dāng)時(shí)選擇進(jìn)入芝加哥州立大學(xué)就讀——這所學(xué)校類(lèi)似于地方性的師范學(xué)校，為芝加哥公立學(xué)校系統(tǒng)培養(yǎng)了不少教師。

改變發(fā)生在Dongarra讀大三、大四的時(shí)候。

他發(fā)現(xiàn)，去高中教書(shū)其實(shí)并不是他想做的事情。出于這種想法的改變，一開(kāi)始，他申請(qǐng)了位于芝加哥的德保羅大學(xué)的物理學(xué)專(zhuān)業(yè)。

但就在這時(shí)，他收到了來(lái)自芝加哥州立大學(xué)物理系主任Harvey Leff的建議：去申請(qǐng)阿貢國(guó)家實(shí)驗(yàn)室的本科生職位。在那里，他將有機(jī)會(huì)和真正的科學(xué)家一起做一些實(shí)際工作，并獲取課程學(xué)分。

Jack Dongarra聽(tīng)取了這個(gè)建議。實(shí)際上，他當(dāng)時(shí)面臨著非常激烈的競(jìng)爭(zhēng)——芝加哥州立大學(xué)在科學(xué)方面并沒(méi)有非常強(qiáng)的聲譽(yù)，而參與競(jìng)爭(zhēng)的人中不乏來(lái)自斯坦福等名校的高材生。

好在時(shí)任ANL數(shù)學(xué)部主任（或副主任）的Jim Pool最后還是選擇了給他一個(gè)機(jī)會(huì)。Dongarra猜測(cè)這里面有Harvey Leff的助力——Jim Pool是他的大學(xué)室友。

于是在芝加哥州立大學(xué)的最后一個(gè)學(xué)期，Dongarra在阿貢國(guó)家實(shí)驗(yàn)室度過(guò)了16周左右的時(shí)間。也是在那時(shí)候，他開(kāi)始接觸EISPACK的開(kāi)發(fā)。

△ 1980年Dongarra在阿貢國(guó)家實(shí)驗(yàn)室用Tektronix 4081工作

而EISPACK，和Dongarra后來(lái)的工作LINPACK，正是Matlab誕生的基礎(chǔ)。

在阿貢國(guó)家實(shí)驗(yàn)室的這段經(jīng)歷，促使Dongarra決心轉(zhuǎn)攻計(jì)算機(jī)。在本科畢業(yè)之后，他在伊利諾伊理工學(xué)院拿到了CS碩士學(xué)位，此后又在新墨西哥大學(xué)拜入Cleve Moler門(mén)下攻讀博士。

需要說(shuō)明的是，Cleve Moler是Matlab的創(chuàng)始人。

TOP500的誕生

博士期間，Jack Dongarra的主要工作是開(kāi)發(fā)LINPACK。

這是一種廣泛應(yīng)用于對(duì)系統(tǒng)性能進(jìn)行基準(zhǔn)測(cè)試的線性代數(shù)程序。

△最左為Dongarra

基于這項(xiàng)工作，在1990年代初，Dongarra和合作者們一起，創(chuàng)建了用于測(cè)試超級(jí)計(jì)算機(jī)能力的新型測(cè)試——TOP500。

這一舉解決了科學(xué)家們無(wú)法就衡量超級(jí)計(jì)算機(jī)進(jìn)展的標(biāo)準(zhǔn)達(dá)成一致的問(wèn)題。

負(fù)責(zé)監(jiān)督美國(guó)能源部“百百億次計(jì)算”項(xiàng)目的Paul Messina就表示：

“如果你不能測(cè)量它，你就不知道它是什么”，這就是為什么杰克的工作很重要。

現(xiàn)在，TOP500已經(jīng)成為衡量超算能力的權(quán)威標(biāo)準(zhǔn)。

事實(shí)上，不止是LINPACK。

在過(guò)去40年里，Dongarra一直是BLAS、LAPACK、ScaLAPACK、PLASMA、MAGMA和SLATE等庫(kù)的主要參與者和學(xué)術(shù)帶頭人。

有意思的是，當(dāng)被問(wèn)到最喜歡的“孩子”是哪一個(gè)時(shí)，Dongarra沒(méi)有選擇LINPACK，而是談到了他“最新的孩子”——SLATE。

Dongarra介紹，SLATE的用戶(hù)“可以忘記底層硬件。只需要把線性代數(shù)問(wèn)題拋出來(lái)，SLATE就會(huì)想出如何將其分散到數(shù)十萬(wàn)個(gè)處理器或GPU上”。

長(zhǎng)期關(guān)注中國(guó)超算領(lǐng)域

說(shuō)起來(lái)，Jack Dongarra還長(zhǎng)期關(guān)注中國(guó)超算領(lǐng)域，幾乎年年都會(huì)來(lái)中國(guó)參觀交流。

2010年國(guó)家超算天津中心的“天河一號(hào)”首次問(wèn)鼎T0P500榜單之前，Dongarra在北京參加論壇，由于早就聽(tīng)說(shuō)中國(guó)要推出一個(gè)大型超算，他就借此機(jī)會(huì)請(qǐng)求訪問(wèn)了“天河一號(hào)”。

Dongarra看著一排排柜子中裝著的2萬(wàn)個(gè)小型處理器表示，雖然這些芯片來(lái)自美國(guó)，但是連接各芯片之間的交換機(jī)完全是由中國(guó)科學(xué)家自己設(shè)計(jì)的。

而互連速度越快，整體計(jì)算的效率就越高——當(dāng)時(shí)天河一號(hào)每秒可以執(zhí)行2.5萬(wàn)億次運(yùn)算，比第二名快了40%。Dongarra驚訝地感嘆自己完全不知道中國(guó)的超算已經(jīng)發(fā)展得有多好。

為此，他緊密關(guān)注著中國(guó)超算事業(yè)的發(fā)展。

2013年，在“天河二號(hào)”以每秒執(zhí)行超過(guò)30千萬(wàn)億次的計(jì)算再次獲得T0P500冠軍之后，Dongarra又來(lái)到長(zhǎng)沙國(guó)防科技大學(xué)參加國(guó)際HPC會(huì)議，與中國(guó)超算科學(xué)家進(jìn)行交流，并稱(chēng)贊中國(guó)超算研究正在大步向前。

那時(shí)“天河二號(hào)”已經(jīng)開(kāi)始使用更多國(guó)產(chǎn)組件，比如麒麟操作系統(tǒng)。Dongarra則表示相信中國(guó)一定會(huì)很快全部換上自己的處理器等硬件。

除了經(jīng)常穿梭于中國(guó)各超算中心，作為ASC（世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽，全球三大頂級(jí)超算競(jìng)賽之一）專(zhuān)家委員會(huì)主席，Dongarra從2012年比賽舉辦開(kāi)始，幾乎每年也會(huì)親自橫跨太平洋來(lái)到中國(guó)、來(lái)到ASC總決賽現(xiàn)場(chǎng)，和中國(guó)參賽隊(duì)伍及其他參賽選手交流。

能和“業(yè)界泰斗”面對(duì)面，這讓許多學(xué)生激動(dòng)不已。

2016年，在華中科技大學(xué)的總決賽現(xiàn)場(chǎng)，Dongarra在接受CCTV專(zhuān)訪時(shí)對(duì)超算行業(yè)發(fā)展的理解、對(duì)超算人才培養(yǎng)的渴望以及對(duì)中國(guó)超算發(fā)展的肯定也給人留下了深刻的印象。

據(jù)中科院的研究員包云崗表示，許多中國(guó)學(xué)者都和Dongarra有著很深的交情。

相信這兩天，Dongarra一定收到了不少來(lái)自中國(guó)的道賀。

參考鏈接：
[1]http://history.siam.org/oralhistories/dongarra.htm
[2]https://amturing.acm.org/
[3]https://www.zdnet.com/article/jack-dongarra-who-made-supercomputers-usable-awarded-2021-acm-turing-prize/
[4]https://www.npr.org/templates/story/story.php?storyId=130895386