微軟為ChatGPT打造專用超算！砸下幾億美元，上萬張英偉達A100打造
還部署了幾十萬張GPU用于推理
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
微軟砸下大幾億美元，專門為訓練ChatGPT打造了一臺超算——
上萬張英偉達A100芯片打造，甚至專門為此調(diào)整了服務器架構(gòu)，只為給ChatGPT和新必應AI提供更好的算力。
△圖源：微軟
不僅如此，微軟還在Azure的60多個數(shù)據(jù)中心部署了幾十萬張GPU，用于ChatGPT的推理。
有網(wǎng)友感慨：果然還是得靠錢生錢啊~
還有網(wǎng)友調(diào)侃，微軟數(shù)據(jù)中心服務器終于多了個新用途：
雖然不是真的，不過想象微軟數(shù)據(jù)中心的某些服務器用途，可能一半是Xbox的xCloud，另一半是ChatGPT。
微軟為什么打造這個超算？
事實上，這臺超算并非最近才開始打造。
據(jù)微軟表示，他們給OpenAI提供這臺超算已經(jīng)有3年之久，而ChatGPT也正是基于這臺超算提供的算力訓練的。
這是因為，OpenAI在最初商量與微軟合作時，曾經(jīng)就算力方面的事情進行過協(xié)商。
OpenAI認為，如果微軟想給自己提供算力，就必須在Azure云計算平臺上“騰出”一部分巨大的算力單獨給它們使用，且確保它們不與Azure提供的其他服務產(chǎn)生沖突。
微軟答應了這一條件，特意給OpenAI提供了一臺超算，用于各種大模型訓練。
△圖源：微軟
當然，微軟也不是白白給OpenAI提供超算服務的，背后肯定有自己的考量。
其一，吸引更多企業(yè)來使用Azure訓練自己的大模型。微軟執(zhí)行副總裁Scott Guthrie表示：
雖然它是OpenAI的定制版，但同樣具備某種通用性，任何企業(yè)都可以基于這種方式來訓練自己的大語言模型。
其二，直接在Azure中提供OpenAI模型服務（Azure OpenAI Service）。
此前包括GPT-3、Codex和DALL·E 2等模型，都已經(jīng)接入Azure。
至于納德拉1月份立的“要把ChatGPT加入Azure服務”flag，目前也已經(jīng)實現(xiàn)。
官網(wǎng)還特意給ChatGPT相關服務貼了個高亮標簽：
這波屬實是微軟用ChatGPT，再次宣傳了一波自己的云服務（手動狗頭）。
當然，基于英偉達A100打造的超算也不是微軟Azure的最新技術。
據(jù)微軟表示，他們還將基于英偉達H100和網(wǎng)絡技術，推出Azure最新的AI虛擬機產(chǎn)品。
國內(nèi)ChatGPT云廠商現(xiàn)狀？
那么，國內(nèi)云廠商是否會因為ChatGPT被帶動起來一波？
事情并不如想象中簡單。
目前來看，國內(nèi)公開表示擁有1萬張英偉達A100的企業(yè)只有幻方量化。
據(jù)幻方官網(wǎng)顯示，2022年3月由于需要發(fā)展量化金融業(yè)務，他們構(gòu)建了一個名為螢火二號的AI集群，擁有一萬張英偉達A100。
至于其他企業(yè)，據(jù)《財經(jīng)十一人》介紹，國內(nèi)GPU持有量超過1萬張的企業(yè)不超過5家，即使規(guī)模最大的企業(yè)也不超過5萬枚，而且這里面有不少都是英偉達中低端數(shù)據(jù)中心芯片。
顯然，相比微軟能給ChatGPT投入大量算力、或是像Facebook和谷歌一樣動輒能采購幾千上萬張GPU，算力是國內(nèi)廠商做ChatGPT的另一大難點。
在以ChatGPT為代表的大模型技術上，軟硬件都還有不少難關要攻克。
參考鏈接：
[1]https://twitter.com/satyanadella/status/1615156218838003712
[2]https://azure.microsoft.com/en-us/products/cognitive-services/openai-service#overview
[3]https://www.high-flyer.cn/blog/hfai/
[4]https://new.qq.com/rain/a/20230305A07EU900
[5]https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/
[6]https://www.theverge.com/2023/3/13/23637675/microsoft-chatgpt-bing-millions-dollars-supercomputer-openai
- 首個GPT-4驅(qū)動的人形機器人！無需編程+零樣本學習，還可根據(jù)口頭反饋調(diào)整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產(chǎn)業(yè)2023-12-08
- AI視覺字謎爆火！夢露轉(zhuǎn)180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
