圖靈獎(jiǎng)?lì)C給超算跑分開創(chuàng)者！Matlab&SciPy都跟他有關(guān)：“我眼中一切都是線性代數(shù)”

豐色 2022-03-31 14:26:27 來源：量子位

魚羊 豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

中美超算競(jìng)爭(zhēng)正酣，前有中國超算“神威·太湖之光”登上國際排名第一，不過2年，美國Summit就迎頭趕上。

后又有日本富岳連續(xù)霸榜，對(duì)兩強(qiáng)格局發(fā)起新的沖擊。

而它們爭(zhēng)妍斗艷的“主戰(zhàn)場(chǎng)”，是一個(gè)名為TOP500的超算排行榜。

今年的圖靈獎(jiǎng)就頒給了那個(gè)替超算跑分的人。

事實(shí)上，這也是一個(gè)與你日常工作息息相關(guān)的大佬。

無論你是人工智能領(lǐng)域的研究者，還是理工科大學(xué)生，目之所及的軟件工具，比如Matlab、Scipy，都與這位高性能計(jì)算領(lǐng)域先驅(qū)的工作脫不開關(guān)系。

Jack Dongarra，這是一個(gè)早已在高性能計(jì)算領(lǐng)域家喻戶曉的名字。

正如頒獎(jiǎng)詞中所說，正是他在數(shù)值算法和庫上的開創(chuàng)性貢獻(xiàn)，使得高性能計(jì)算軟件在過去40年中追上了指數(shù)級(jí)硬件發(fā)展的節(jié)奏。

如此泰斗，亦與中國超算淵源頗深。

不僅幾乎年年要到中國各大超算中心訪問，不少年輕超算人才也都與他有過近距離的交流。

△ ASC16總冠軍華中科技大學(xué)與Dongarra合影

這么一位老爺子，今年71歲，依然活躍在高性能計(jì)算領(lǐng)域的一線。

盡管在去年接受采訪時(shí)他表示，會(huì)在今年夏天過完72歲生日之后退休，但他的工作并沒有因?yàn)檫@份退休計(jì)劃而擱置。

就在本月初，他還合作發(fā)表了一篇新的論文，總結(jié)了他有關(guān)高性能計(jì)算發(fā)展和云服務(wù)巨頭崛起之間碰撞的最新思考。

在他看來：

我是一名數(shù)學(xué)家，對(duì)于我而言，一切都是線性代數(shù)?，F(xiàn)在全世界都看到了這一點(diǎn)。

有關(guān)他的成就，比如超算“跑分榜”TOP500的誕生，又如LINPACK等庫影響之深遠(yuǎn)，或許你已經(jīng)看過不少。

今天，我們不妨一起進(jìn)一步看看，這位被Jeff Dean贊為“從根本上改變并推動(dòng)了科學(xué)計(jì)算”的老人，成就背后的故事。

從“師范生”到科學(xué)計(jì)算性能基準(zhǔn)奠基人

Jack Dongarra在1950年夏天出生，是個(gè)土生土長的芝加哥人。

他對(duì)科學(xué)的興趣在高中時(shí)顯現(xiàn)。在接受SIAM（美國工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)）采訪時(shí)，他談到：

有天我爸買了一個(gè)新的電鉆，我很想知道這玩意兒到底是怎么工作的，于是就把它給拆了。

我猶記得當(dāng)時(shí)拆完就裝不回去了。還好我爸很理解我，只是出門又買了新的，我得以保留那些被我拆下來的零件。

不過在他高中畢業(yè)時(shí)，這種興趣還只是驅(qū)使他在“成為一名高中教師”的計(jì)劃上，選修了數(shù)學(xué)和科學(xué)課程。

他當(dāng)時(shí)選擇進(jìn)入芝加哥州立大學(xué)就讀——這所學(xué)校類似于地方性的師范學(xué)校，為芝加哥公立學(xué)校系統(tǒng)培養(yǎng)了不少教師。

改變發(fā)生在Dongarra讀大三、大四的時(shí)候。

他發(fā)現(xiàn)，去高中教書其實(shí)并不是他想做的事情。出于這種想法的改變，一開始，他申請(qǐng)了位于芝加哥的德保羅大學(xué)的物理學(xué)專業(yè)。

但就在這時(shí)，他收到了來自芝加哥州立大學(xué)物理系主任Harvey Leff的建議：去申請(qǐng)阿貢國家實(shí)驗(yàn)室的本科生職位。在那里，他將有機(jī)會(huì)和真正的科學(xué)家一起做一些實(shí)際工作，并獲取課程學(xué)分。

Jack Dongarra聽取了這個(gè)建議。實(shí)際上，他當(dāng)時(shí)面臨著非常激烈的競(jìng)爭(zhēng)——芝加哥州立大學(xué)在科學(xué)方面并沒有非常強(qiáng)的聲譽(yù)，而參與競(jìng)爭(zhēng)的人中不乏來自斯坦福等名校的高材生。

好在時(shí)任ANL數(shù)學(xué)部主任（或副主任）的Jim Pool最后還是選擇了給他一個(gè)機(jī)會(huì)。Dongarra猜測(cè)這里面有Harvey Leff的助力——Jim Pool是他的大學(xué)室友。

于是在芝加哥州立大學(xué)的最后一個(gè)學(xué)期，Dongarra在阿貢國家實(shí)驗(yàn)室度過了16周左右的時(shí)間。也是在那時(shí)候，他開始接觸EISPACK的開發(fā)。

△ 1980年Dongarra在阿貢國家實(shí)驗(yàn)室用Tektronix 4081工作

而EISPACK，和Dongarra后來的工作LINPACK，正是Matlab誕生的基礎(chǔ)。

在阿貢國家實(shí)驗(yàn)室的這段經(jīng)歷，促使Dongarra決心轉(zhuǎn)攻計(jì)算機(jī)。在本科畢業(yè)之后，他在伊利諾伊理工學(xué)院拿到了CS碩士學(xué)位，此后又在新墨西哥大學(xué)拜入Cleve Moler門下攻讀博士。

需要說明的是，Cleve Moler是Matlab的創(chuàng)始人。

TOP500的誕生

博士期間，Jack Dongarra的主要工作是開發(fā)LINPACK。

這是一種廣泛應(yīng)用于對(duì)系統(tǒng)性能進(jìn)行基準(zhǔn)測(cè)試的線性代數(shù)程序。

△最左為Dongarra

基于這項(xiàng)工作，在1990年代初，Dongarra和合作者們一起，創(chuàng)建了用于測(cè)試超級(jí)計(jì)算機(jī)能力的新型測(cè)試——TOP500。

這一舉解決了科學(xué)家們無法就衡量超級(jí)計(jì)算機(jī)進(jìn)展的標(biāo)準(zhǔn)達(dá)成一致的問題。

負(fù)責(zé)監(jiān)督美國能源部“百百億次計(jì)算”項(xiàng)目的Paul Messina就表示：

“如果你不能測(cè)量它，你就不知道它是什么”，這就是為什么杰克的工作很重要。

現(xiàn)在，TOP500已經(jīng)成為衡量超算能力的權(quán)威標(biāo)準(zhǔn)。

事實(shí)上，不止是LINPACK。

在過去40年里，Dongarra一直是BLAS、LAPACK、ScaLAPACK、PLASMA、MAGMA和SLATE等庫的主要參與者和學(xué)術(shù)帶頭人。

有意思的是，當(dāng)被問到最喜歡的“孩子”是哪一個(gè)時(shí)，Dongarra沒有選擇LINPACK，而是談到了他“最新的孩子”——SLATE。

Dongarra介紹，SLATE的用戶“可以忘記底層硬件。只需要把線性代數(shù)問題拋出來，SLATE就會(huì)想出如何將其分散到數(shù)十萬個(gè)處理器或GPU上”。

長期關(guān)注中國超算領(lǐng)域

說起來，Jack Dongarra還長期關(guān)注中國超算領(lǐng)域，幾乎年年都會(huì)來中國參觀交流。

2010年國家超算天津中心的“天河一號(hào)”首次問鼎T0P500榜單之前，Dongarra在北京參加論壇，由于早就聽說中國要推出一個(gè)大型超算，他就借此機(jī)會(huì)請(qǐng)求訪問了“天河一號(hào)”。

Dongarra看著一排排柜子中裝著的2萬個(gè)小型處理器表示，雖然這些芯片來自美國，但是連接各芯片之間的交換機(jī)完全是由中國科學(xué)家自己設(shè)計(jì)的。

而互連速度越快，整體計(jì)算的效率就越高——當(dāng)時(shí)天河一號(hào)每秒可以執(zhí)行2.5萬億次運(yùn)算，比第二名快了40%。Dongarra驚訝地感嘆自己完全不知道中國的超算已經(jīng)發(fā)展得有多好。

為此，他緊密關(guān)注著中國超算事業(yè)的發(fā)展。

2013年，在“天河二號(hào)”以每秒執(zhí)行超過30千萬億次的計(jì)算再次獲得T0P500冠軍之后，Dongarra又來到長沙國防科技大學(xué)參加國際HPC會(huì)議，與中國超算科學(xué)家進(jìn)行交流，并稱贊中國超算研究正在大步向前。

那時(shí)“天河二號(hào)”已經(jīng)開始使用更多國產(chǎn)組件，比如麒麟操作系統(tǒng)。Dongarra則表示相信中國一定會(huì)很快全部換上自己的處理器等硬件。

除了經(jīng)常穿梭于中國各超算中心，作為ASC（世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽，全球三大頂級(jí)超算競(jìng)賽之一）專家委員會(huì)主席，Dongarra從2012年比賽舉辦開始，幾乎每年也會(huì)親自橫跨太平洋來到中國、來到ASC總決賽現(xiàn)場(chǎng)，和中國參賽隊(duì)伍及其他參賽選手交流。

能和“業(yè)界泰斗”面對(duì)面，這讓許多學(xué)生激動(dòng)不已。

2016年，在華中科技大學(xué)的總決賽現(xiàn)場(chǎng)，Dongarra在接受CCTV專訪時(shí)對(duì)超算行業(yè)發(fā)展的理解、對(duì)超算人才培養(yǎng)的渴望以及對(duì)中國超算發(fā)展的肯定也給人留下了深刻的印象。

據(jù)中科院的研究員包云崗表示，許多中國學(xué)者都和Dongarra有著很深的交情。

相信這兩天，Dongarra一定收到了不少來自中國的道賀。

參考鏈接：
[1]http://history.siam.org/oralhistories/dongarra.htm
[2]https://amturing.acm.org/
[3]https://www.zdnet.com/article/jack-dongarra-who-made-supercomputers-usable-awarded-2021-acm-turing-prize/
[4]https://www.npr.org/templates/story/story.php?storyId=130895386