達(dá)摩院“數(shù)學(xué)天團(tuán)”死磕四年，國產(chǎn)“工業(yè)軟件之芯”發(fā)布1.0版本！

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

被譽為“工業(yè)軟件之芯”的求解器，長年由國外壟斷，國產(chǎn)自研進(jìn)度如何了？

最近，工信部產(chǎn)業(yè)發(fā)展促進(jìn)中心等單位專門舉辦了一場比賽（首屆能源電子產(chǎn)業(yè)創(chuàng)新大賽），讓國產(chǎn)求解器在電網(wǎng)調(diào)度的復(fù)雜場景下PK了一番。

為什么求解器這么受重視？

其實，無論是地鐵和飛機(jī)的排班，還是快遞包裹運送路線的設(shè)計，背后都是求解器在計算這些復(fù)雜的數(shù)學(xué)題。

它就像一個“最強(qiáng)大腦”，總能在超大規(guī)模任務(wù)中快速找出最優(yōu)解。

在工業(yè)設(shè)計、電網(wǎng)調(diào)度等關(guān)乎國計民生的重要領(lǐng)域，只要涉及到數(shù)字化轉(zhuǎn)型，就更是繞不開求解器提供的智能決策能力。

這次比賽得冠軍由阿里巴巴達(dá)摩院歷時四年自主研發(fā)的MindOpt摘得。

在速度指標(biāo)和精度指標(biāo)上都表現(xiàn)優(yōu)秀，在保證電網(wǎng)安全運行的同時，幫助實現(xiàn)機(jī)組開停機(jī)費用及運行費用最小化。

其實，求解器技術(shù)壁壘高、研發(fā)難度大，放眼數(shù)年前，這個領(lǐng)域近乎是被國外廠商所壟斷，而且是長達(dá)數(shù)十年之久的那種程度。

因此，達(dá)摩院從0到1實現(xiàn)求解器的國產(chǎn)自研，并且已然成熟到可以放心“上崗電力調(diào)度員”的過程，也可以視為國產(chǎn)求解器發(fā)展史的一段縮影。

經(jīng)歷4年的自主研發(fā)，這款軟件其實才剛剛推出1.0版本。

接下來，我們就來共同翻開這段“四年磨一劍”，迭代26個版本的故事。

三分鐘？不行，最多15秒！

時間先撥回到2019年。

當(dāng)時國內(nèi)求解器的發(fā)展并非是一片荒蕪，已經(jīng)有一些企業(yè)在這個領(lǐng)域中摩拳擦掌、嶄露頭角。

不過也正如我們剛才提到的，國外商業(yè)求解器巨頭已然在全球市場制霸了二十年之久，最為典型的就是被稱為“三巨頭”的Gurobi、IBM的CPLEX和FICO的Xpress。

即使是這三大巨頭也是在求解器領(lǐng)域中摸爬滾打了數(shù)二十載才將技術(shù)和商業(yè)經(jīng)驗累積于此。

究其原因，正是因為求解器所涉及的技術(shù)壁壘著實太高，涵蓋運籌學(xué)、計算數(shù)學(xué)、軟件工程等眾多科學(xué)領(lǐng)域。

因此，即便是國產(chǎn)求解器已有起步之勢，但很多企業(yè)的選擇依舊是那個用習(xí)慣了的、成熟且穩(wěn)定的高性能國外求解器：當(dāng)時的阿里巴巴和達(dá)摩院，亦是如此。

然而就在這一年，隨著一位國際知名數(shù)學(xué)家的到來，一場必然的“國產(chǎn)自研”序幕被徹底拉開了。

他叫印臥濤，是目前唯一獲得運籌學(xué)領(lǐng)域權(quán)威獎項Egon Balas獎（2021年獲得）的中國科學(xué)家，通常情況下，這個獎項每年全球僅頒發(fā)給一人。

印臥濤是在2019年3月正式加入達(dá)摩院，負(fù)責(zé)帶隊決策智能實驗室。

這個實驗室主要研究優(yōu)化求解器技術(shù)、時間序列技術(shù)、可解釋的 AI 技術(shù)；同時，在新能源相關(guān)的預(yù)測和調(diào)度項目，驗證技術(shù)可落地性。

然而就在他入職不久，團(tuán)隊便在求解器這件事上遇到了一個“內(nèi)憂”的問題——在中國互聯(lián)網(wǎng)舉世罕見的業(yè)務(wù)規(guī)模和復(fù)雜度面前，國外求解器性能走到了瓶頸，不夠用了。

在一個需要智能決策場景的任務(wù)中，團(tuán)隊基于已有的求解器給出了兩套方案：第一個方案耗時半小時，第二個方案耗時3分鐘。

但業(yè)務(wù)方直接開口說到：

15秒！用戶最多只能等15秒！

而諸如這樣求解器性能跟不上的例子，在團(tuán)隊內(nèi)部實操過程中出現(xiàn)的是越發(fā)得頻繁，甚至當(dāng)時團(tuán)隊對“內(nèi)憂”評估是，現(xiàn)有的所有求解器都無法解決。

于是，如此情況之下，自研之路，似乎就成了這群“求解器狂熱者們”的唯一最優(yōu)解。

不過有一說一，當(dāng)時三巨頭們壟斷全球求解器市場，尚且是歷經(jīng)了幾十年的發(fā)展，期間所投入的人力和物力更是無法想象。

要完全從0開始自研高性能求解器，難，是真的難。

不僅是固有的技術(shù)壁壘擺在那里，而且印臥濤所設(shè)定的起點也比較高——他要帶領(lǐng)團(tuán)隊自研的是通用優(yōu)化求解器。

這就意味著它必須能夠處理廣泛類型的問題，不僅要有較高的通用性，在特定問題上面也需要有精細(xì)的調(diào)整能力。

如此一來，如何讓這個求解器里面要涵蓋大量不同的算法，還要很好地將它們配置在一起，后續(xù)的軟件工程、算法工程，以及多核并發(fā)等等，都成了有待解決的突破口。

為此，印臥濤給團(tuán)隊制定了“兩條腿走”戰(zhàn)略：

• 第一條腿：別人已經(jīng)實現(xiàn)好的模塊，我們必須也要實現(xiàn)地特別好；
• 第二條腿：研發(fā)下一代的技術(shù)，探索最前沿的算法。

一言蔽之，別人能做的達(dá)摩院要做，別人不能做的達(dá)摩院也要做。

目標(biāo)和戰(zhàn)略設(shè)定了，但在實施的過程中依舊是困難重重，例如團(tuán)隊人才的建設(shè)便又成了一個老大難的問題。

畢竟要做求解器所需要的人才是極具交叉性的，不僅要有深厚的數(shù)學(xué)功底和運籌學(xué)知識，還需要有數(shù)值計算和軟件工程等能力。

更為冰冷的現(xiàn)實是，在2019年的時候，眾多高校也幾乎沒有設(shè)立完全對口的專業(yè)。

印臥濤面對如此窘境，所做出的選擇是從內(nèi)部吸納人才、在開發(fā)中鍛煉。

較為幸運的是，團(tuán)隊中確實有好幾位同學(xué)有全球頂尖的數(shù)學(xué)或計算機(jī)專業(yè)背景；有的同學(xué)在加入團(tuán)隊之前，便有過深度使用求解器的相關(guān)經(jīng)驗。

更重要的一點是，加入團(tuán)隊的所有同學(xué)都對自研通用優(yōu)化求解器有著極大的興趣和熱情，一通電話就“號召”進(jìn)來了。

根據(jù)現(xiàn)在實驗室高級算法專家、通用優(yōu)化求解器研發(fā)主力之一的王孟昌回憶：

起初我們都是摸石頭過河，通過網(wǎng)上已有公開的資料自行學(xué)習(xí)，查缺補(bǔ)漏。

印老師也給我們推薦一本名叫Computational Techniques of the Simplex Method的書作為必讀物，里面有很多優(yōu)秀的理論和實際案例都非常值得學(xué)習(xí)和借鑒。

而對于那些未曾公開的資料，尤其是較為特殊的算法，團(tuán)隊所采取的策略就是一步一個腳印，不停地在“猜測”與“驗證”過程中提煉規(guī)律，再把得到規(guī)律做數(shù)學(xué)證明，最終“寫”進(jìn)求解器中。

當(dāng)然，這個過程并非是一味的閉門造車，對于目前已有且好用的高性能求解器，團(tuán)隊也不斷地在使用中學(xué)習(xí)長處，確保自研優(yōu)化求解器的完整性。

也正是通過這種不斷鉆研、不斷試錯和改良中，達(dá)摩院決策智能實驗室的通用優(yōu)化求解器就像蓋房子一樣，一點一點從地基開始逐步建立了起來。

并且此時也已經(jīng)將這款求解器取好了名字——MindOpt。

去打榜，卻引來了“外患”

正如當(dāng)紅的大模型技術(shù)會有諸多權(quán)威榜單來評測性能高低一樣，在求解器這個圈子里，同樣也有對應(yīng)的榜單。

在經(jīng)歷了一年之久的自研和測試，初步的優(yōu)化求解器已經(jīng)成形，印臥濤和團(tuán)隊認(rèn)為，是時候出去闖一遭了。

在2020年的8月，他們便將階段性成果，即達(dá)摩院自研求解器MindOpt的單純形法模塊，提交到了國際權(quán)威第三方測評Mittelmann的線性規(guī)劃單純形法榜單。

而這一出場，可謂是真正的一鳴驚人——

打破紀(jì)錄，斬獲第一！

從結(jié)果中可以看到，數(shù)字“1”代表的是達(dá)摩院自研求解器擁有最快的求解速度并作為基準(zhǔn)時間；數(shù)字“40”表示MindOpt成功求解了全部40個線性規(guī)劃算例。

并且在速度上已經(jīng)以0.1的差距超越了老牌巨頭廠商Gurobi。

如此成績之下，整個團(tuán)隊定然非常欣慰且愉悅的，畢竟自家的“內(nèi)憂”要被解決了。

然而，誰也沒曾預(yù)料到，就是這么一次打榜，反而卻招來了一場“外患”。

我們剛才提到，達(dá)摩院在決定自研求解器之前，所采用的是三巨頭之一的技術(shù)和服務(wù)。

而就是這家與達(dá)摩院長期合作的技術(shù)服務(wù)商，在看到榜單成績之后突然變卦：

原來你們在自研求解器，那今后的新版本我們就不賣你們了。

要知道，達(dá)摩院自研求解器當(dāng)時取得的成績雖驚艷，但側(cè)重的是線性規(guī)劃的問題；然而優(yōu)化求解器在解決現(xiàn)實問題過程中，還存在難度系數(shù)更高的非線性規(guī)劃、混合整數(shù)規(guī)劃等等。

換言之，達(dá)摩院自研求解器還沒有研發(fā)到完全獨當(dāng)一面的程度。

或許很多人會認(rèn)為這家巨頭突然變卦的行為，會給達(dá)摩院帶來不小的沖擊，但事實上，這反倒成了這群“求解器狂熱者們”心中的一顆定心丸：

這件事情堅定了我們要自研通用優(yōu)化求解器的決心！

一方面，像非線性規(guī)劃這樣更具挑戰(zhàn)難度的研發(fā)，團(tuán)隊其實在2020年初便已經(jīng)開始著手準(zhǔn)備，在“外患”事件突發(fā)之后，團(tuán)隊就將這一進(jìn)程提速了起來。

另一方面，阿里巴巴集團(tuán)內(nèi)部在聽說達(dá)摩院自研求解器打榜成績之后，大大小小的業(yè)務(wù)部門也紛紛向達(dá)摩院拋出橄欖枝，想要在自己的場景中嘗鮮。

這就給了MindOpt更多實操的寶貴機(jī)會，一定程度上也加速了趨向目標(biāo)的進(jìn)程，而且這一過程在阿里內(nèi)部還是雙贏的那種。

據(jù)當(dāng)年發(fā)布的公開消息顯示，阿里云在集成了達(dá)摩院自研求解器之后，在成本上節(jié)省了數(shù)億元之多！

而這，便是MindOpt“四年磨一劍”故事的第一階段。用印臥濤的話來總結(jié)就是：

在這個階段，我們通過單一的方法，在技術(shù)上獲得第一，給團(tuán)隊帶來極大的鼓舞，內(nèi)部需求也得到了相應(yīng)的改善。

第二階段，則是從2020年8月至2021年年中，可以總結(jié)為將單一方法演變?yōu)閮蓚€方法：除了支持線性規(guī)劃問題之外，MindOpt也可以應(yīng)對非線性的二次規(guī)劃問題。

目前，達(dá)摩院求解器已能求解包括線性規(guī)劃、混合整數(shù)線性規(guī)劃、大規(guī)模網(wǎng)絡(luò)流、凸二次規(guī)劃、半定規(guī)劃、一般非線性規(guī)劃在內(nèi)的主流優(yōu)化問題。

至于第三階段，也就是從2021年中期至今，印臥濤團(tuán)隊不僅在挑戰(zhàn)像混合整數(shù)規(guī)劃這樣更高難度的技術(shù)，更是將深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)，甚至是當(dāng)紅的大語言模型也融入了進(jìn)來，主打的就是一個全面開發(fā)。

而且在第二和第三階段的這兩年時間里，從國際榜單的評測結(jié)果來看，達(dá)摩院自研求解器也是多次奪得榜首。
不過對于榜單的成績，印臥濤則是認(rèn)為：

它更像是應(yīng)試教育，對題目準(zhǔn)備得夠充分，成績就自然會好；要更看重在實際場景中的效果。

事實上，達(dá)摩院求解器不僅多次在國內(nèi)外電力相關(guān)比賽中奪冠，也在電網(wǎng)實戰(zhàn)中證明了自己。

去年，達(dá)摩院與中國南方電網(wǎng)電力調(diào)度控制中心合作發(fā)布“電力調(diào)度智能決策平臺”，幫助南網(wǎng)總調(diào)實現(xiàn)從15分鐘到秒級的調(diào)度，準(zhǔn)確率達(dá)到經(jīng)驗豐富的調(diào)度員水平。

最終，歷時四年的時間，達(dá)摩院自研求解器在經(jīng)歷上百個環(huán)節(jié)的精心研發(fā)、實測、25次更新迭代，最終在今年的10月份，正式發(fā)布了其1.0版本。

這也意味著達(dá)摩院自研求解器已經(jīng)是比肩國際一流水平、可以放心“上崗”的通用優(yōu)化求解器了。

四年磨一劍，但還未至頂峰

現(xiàn)如今，達(dá)摩院自研求解器的最新實力也已經(jīng)得到了國內(nèi)高級別的權(quán)威認(rèn)可。

而且值得一提的是，此次比賽的二等獎所采用的基礎(chǔ)求解器也使用了達(dá)摩院自研求解器開放出來的技術(shù)，而后基于自身的經(jīng)驗在電力場景中做的“微調(diào)”。

那么現(xiàn)在的達(dá)摩院自研求解器，就是已經(jīng)是頂峰了嗎？

對于這個問題，印臥濤謙虛地回答道：

可以說是通用優(yōu)化求解器的第一梯隊，但還不能說站到頂峰。

首先，隨著國內(nèi)數(shù)字化進(jìn)程的不斷提速，越來越多的大規(guī)模場景都需要涉及到智能決策以及背后的優(yōu)化求解器。

而在這個過程當(dāng)中，正是應(yīng)了那句“實踐是檢驗真理的唯一標(biāo)準(zhǔn)”，唯有不斷地在嘗試、糾錯和改良中循環(huán)往復(fù)，才可真正得到能力上的提升。

其次，在談及國外老牌求解器巨頭的過程中，印臥濤也坦誠地說到：

需要學(xué)習(xí)他們通過觀察產(chǎn)品形態(tài)的演變，能夠迅速找出其中規(guī)律的能力。

以及在投入產(chǎn)出比的計算和風(fēng)險控制上，也是需要去參考國外的一些成功企業(yè)。

除此之外，王孟昌認(rèn)為還需要像他們學(xué)習(xí)十年如一日在一件事情上專注且堅持不懈的精神。

至于達(dá)摩院自研求解器接下來要突破的技術(shù)難關(guān)，印臥濤表示：

要降低使用門檻。如何讓流程更加自動化，是其中的關(guān)鍵。

現(xiàn)在大模型的迅猛發(fā)展，正是一個好機(jī)會。

比如，結(jié)合中國工業(yè)場景的現(xiàn)實需求，達(dá)摩院自研求解器相繼推出了自研建模語言、調(diào)參器、優(yōu)化平臺。今年8月，打造決策推理大模型，上線了一位“AI優(yōu)化工程師” MindOpt Copilot。

對于達(dá)摩院自研求解器現(xiàn)在服務(wù)的能源、云計算、供應(yīng)鏈、電商、金融等各行業(yè)用戶來說，他們無需了解復(fù)雜的數(shù)學(xué)或編程知識，直接使用自然語言提問，“AI優(yōu)化工程師”就會自動將問題轉(zhuǎn)化為數(shù)學(xué)模型，并計算出最佳答案。

這就屬于“別人不能做的達(dá)摩院也要做”的那一半故事了。

而更長遠(yuǎn)的，達(dá)摩院MindOpt從一個需求做為起點“四年磨一劍”的故事，也讓人不禁想起計算機(jī)發(fā)展歷史。

最早也是因為巴貝奇為了簡化計算而提出差分機(jī)、分析機(jī)，Ada超前認(rèn)識到對數(shù)字的處理能力可以用于任何形式的信息，如此，數(shù)字時代的種子才得以在百年之后開花結(jié)果。

科技的進(jìn)步除了需要無數(shù)有遠(yuǎn)見的人的創(chuàng)造性思想，也需要無數(shù)個細(xì)小的進(jìn)步。

現(xiàn)在達(dá)摩院播下的國產(chǎn)通用求解器的種子，在未來能夠開出怎樣的令人出乎意料的碩果，是值得期待的了。