陶哲軒DeepMind夢幻聯(lián)動，最強(qiáng)通用科學(xué)Agent來了！一口氣解決芯片設(shè)計、矩陣乘法和300年幾何難題

白交 2025-05-15 09:53:30 來源：量子位

白交 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

Nature：「令人驚嘆」的通用科學(xué)人工智能來了！

谷歌DeepMind再次甩出一顆重磅炸彈：與陶哲軒等一眾頂尖科學(xué)家一起共同打造AlphaEvolve。

它可以設(shè)計出更快的矩陣乘法算法，可以改進(jìn)芯片設(shè)計、提高數(shù)據(jù)中心、AI訓(xùn)練的效率，已經(jīng)在谷歌內(nèi)部用上了。

它將Gemini架構(gòu)中大型矩陣乘法運算加速了23%，從而將Gemini的訓(xùn)練時間縮短了1%，谷歌程序員狂喜（bushi）。此外還將FlashAttention提速了32.5%。

幾百年前未曾解決過的數(shù)學(xué)問題，也都能因為它前進(jìn)一大步。

比如一個經(jīng)典的300年前的幾何挑戰(zhàn)接吻數(shù)（Kissing Number）問題。它關(guān)注的是，給定空間內(nèi)球面相切的不重疊球體的最大數(shù)量。

一維空間和二維空間是這樣的。

AlphaEvolve發(fā)現(xiàn)了一個由593個外球體組成的結(jié)構(gòu)，直接刷新了11維空間中的下限。

wiki百科上已經(jīng)更新了記錄。

而它的潛力還在釋放當(dāng)中，陶哲軒表示這個工作還在進(jìn)行，接下來希望會匯報更多進(jìn)展。搓搓手期待了~

目前它推出了早期邀測試用，在官網(wǎng)填寫表格，就有機(jī)會使用哦~不僅限學(xué)術(shù)圈的朋友。

AlphaEvolve：谷歌數(shù)據(jù)中心/芯片設(shè)計已經(jīng)用上

AlphaEvolve是啥？按照官方介紹，這是個LLM驅(qū)動的進(jìn)化編碼Agent，用于通用算法的發(fā)現(xiàn)與優(yōu)化。

它包括三個部分：

• 大模型：綜合有關(guān)問題的信息以及以前解決問題的嘗試，并提出新版本的算法；
• 自動評估器：驗證、運行和評分所提出的算法。
• 進(jìn)化框架：迭代改進(jìn)所發(fā)現(xiàn)的最佳算法，并重新組合不同解決方案的想法，以找到更好的算法。

值得一提的是，這里的大模型是一系列大模型。

比如主打速度和效率Gemini Flash能夠最大限度地拓展探索的思路廣度；而性能更強(qiáng)的Gemini Pro則能夠提供深刻的深度和富有洞察力的建議。這些模型共同構(gòu)建了以代碼形式實現(xiàn)算法解決方案的算法。

過去一段時間，AlphaEvolve提升了谷歌數(shù)據(jù)中心、芯片設(shè)計和AI訓(xùn)練流程的效率，包括訓(xùn)練AlphaEvolve本身所依賴的大模型本身。它還幫助設(shè)計了更快的矩陣乘法算法，并找到了解決開放性數(shù)學(xué)問題的新方法，展現(xiàn)出在眾多領(lǐng)域應(yīng)用的巨大潛力。

具體來看。

優(yōu)化計算生態(tài)系統(tǒng)。

過去一年，他們將AlphaEvolve發(fā)現(xiàn)的算法部署到了谷歌整個計算生態(tài)系統(tǒng)中，包括數(shù)據(jù)中心、硬件和軟件。

改善數(shù)據(jù)中心調(diào)度。

AlphaEvolve發(fā)現(xiàn)了一種簡單且有效方法，可以幫助Borg更高效地協(xié)調(diào)谷歌龐大的數(shù)據(jù)中心。

（Borg是一種集群管理器，它運行著來自數(shù)千個不同應(yīng)用程序的數(shù)十萬個作業(yè)，這些作業(yè)分布在多個集群中，每個集群最多包含數(shù)萬臺機(jī)器。）

該解決方案已投入生產(chǎn)超過一年，平均持續(xù)恢復(fù)谷歌全球0.7%的計算資源。這種持續(xù)的效率提升意味著，在任何特定時刻，相同的計算資源占用空間可以完成更多任務(wù)。

除此之外，它還帶來了一些操作上面的優(yōu)化：可解釋性、可調(diào)試性、可預(yù)測性和易于部署性。

協(xié)調(diào)硬件設(shè)計。

AlphaEvolve提出了一個Verilog重寫方案，刪除了矩陣乘法關(guān)鍵算術(shù)電路中高度優(yōu)化的、不必要的位。

至關(guān)重要的是，該方案必須通過穩(wěn)健的驗證方法，以確認(rèn)修改后的電路保持功能正確性。該方案已被集成到即將推出的TPU中。

增強(qiáng)AI訓(xùn)練和推理。

除此之外，AlphaEvolve還加速了Gemini的性能和速度。

通過找到將大型矩陣乘法運算劃分為更易于管理的子問題的更智能方法，AlphaEvolve將Gemini架構(gòu)中的這一重要內(nèi)核加速了23%，從而將Gemini的訓(xùn)練時間縮短了1%。

除了性能提升，AlphaEvolve還大大減少了內(nèi)核優(yōu)化所需的工程時間，從專家數(shù)周的努力縮短到自動實驗的數(shù)天，使研究人員能夠更快地進(jìn)行創(chuàng)新。

AlphaEvolve還能優(yōu)化低級GPU指令。AlphaEvolve對基于Transformer的FlashAttention內(nèi)核實現(xiàn)了高達(dá)32.5%的提速。這種優(yōu)化可以幫助專家找出性能瓶頸，并輕松地將改進(jìn)措施納入代碼庫，從而提高他們的工作效率，并在未來節(jié)省計算和能源。

推進(jìn)數(shù)學(xué)和算法發(fā)現(xiàn)的前沿。

基于計算機(jī)程序的極簡代碼框架，它設(shè)計了一種基于梯度的新型優(yōu)化程序的諸多組件，發(fā)現(xiàn)了矩陣乘法的多種新算法。

比如，它發(fā)現(xiàn)了一種使用48次標(biāo)量乘法來對4×4復(fù)值矩陣進(jìn)行乘法運算的算法，改進(jìn)了Strassen于1969年提出的算法，該算法此前被認(rèn)為是此類算法中的最佳算法。

與之前的AlphaTensor相比，后者專注于矩陣乘法算法，對于4×4矩陣，僅發(fā)現(xiàn)了二進(jìn)制運算的改進(jìn)。

他們還將該系統(tǒng)應(yīng)用于數(shù)學(xué)分析、幾何學(xué)、組合學(xué)和數(shù)論領(lǐng)域的50多個未解決的問題。

在大約75%的案例中，它能夠重新發(fā)現(xiàn)最先進(jìn)的解決方案。在20%的案例中，它改進(jìn)了之前已知的最佳解決方案。

陶哲軒與DeepMind合作

2023年，他們的FunSearch首次證明大型語言模型可以生成用計算機(jī)代碼編寫的函數(shù)，如今在這基礎(chǔ)之上，已經(jīng)展現(xiàn)出解決通用算法/數(shù)學(xué)問題的潛力。

從團(tuán)隊上看也新增了不少合作者，谷歌之前的頂尖科學(xué)家，比如就有陶哲軒。

他們還與People+AI團(tuán)隊一起建立了個用戶友好的交互界面。

雖然AlphaEvolve目前正被應(yīng)用于數(shù)學(xué)和計算機(jī)領(lǐng)域，但其通用性意味著它可以應(yīng)用于任何問題，其解決方案可以被描述為算法并自動驗證。

但他們相信，AlphaEvolve可以在材料科學(xué)、藥物發(fā)現(xiàn)、可持續(xù)發(fā)展以及更廣泛的技術(shù)和商業(yè)應(yīng)用等更多領(lǐng)域帶來變革。

白皮書：
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
參考鏈接：
[1]https://mathstodon.xyz/@tao/114508029896631083
[2]https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
[3]https://x.com/GoogleDeepMind/status/1922669325283942539