國(guó)產(chǎn)千卡千億模型訓(xùn)練平臺(tái)落地：70B到130B大模型訓(xùn)練，線性加速比達(dá)91%

十三 2023-12-20 13:12:08 來(lái)源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

國(guó)內(nèi)首個(gè)以國(guó)產(chǎn)全功能GPU為底座的大規(guī)模算力集群，正式落地了！

這便是來(lái)自摩爾線程的KUAE智算中心，全國(guó)產(chǎn)千卡千億模型訓(xùn)練平臺(tái)。

摩爾線程CEO張建中在主題演講中帶來(lái)重磅發(fā)布，包括大模型智算加速卡MTT S4000，以及專為千億參數(shù)大模型訓(xùn)練和推理提供強(qiáng)大支持的摩爾線程KUAE平臺(tái)，他表示：

摩爾線程KUAE智算中心的正式啟用，是公司發(fā)展的重要里程碑。

摩爾線程構(gòu)建了從芯片到顯卡到集群的智算產(chǎn)品線，依托全功能GPU的多元計(jì)算優(yōu)勢(shì)，旨在滿足不斷增長(zhǎng)的大模型訓(xùn)練和推理需求，以綠色、安全的智能算力，大力推動(dòng)AIGC、數(shù)字孿生、物理仿真、元宇宙等多模態(tài)應(yīng)用的落地和千行百業(yè)的高質(zhì)量發(fā)展。

與此同時(shí)，摩爾線程聯(lián)合國(guó)內(nèi)眾多合作伙伴發(fā)起并成立了摩爾線程PES -KUAE智算聯(lián)盟和摩爾線程PES-大模型生態(tài)聯(lián)盟，共同夯實(shí)從智算基礎(chǔ)設(shè)施到大模型訓(xùn)練與推理的國(guó)產(chǎn)大模型一體化生態(tài)，持續(xù)為我國(guó)大模型產(chǎn)業(yè)發(fā)展加速。

MTT S4000：訓(xùn)推兼顧，專為大模型打造

摩爾線程大模型智算加速卡MTT S4000，采用第三代MUSA內(nèi)核，單卡支持48GB顯存和768GB/s的顯存帶寬。

基于摩爾線程自研MTLink1.0技術(shù)，MTT S4000可以支持多卡互聯(lián)，助力千億大模型的分布式計(jì)算加速。

同時(shí)，MTT S4000提供先進(jìn)的圖形渲染能力、視頻編解碼能力和超高清8K HDR顯示能力，助力AI計(jì)算、圖形渲染、多媒體等綜合應(yīng)用場(chǎng)景的落地。

尤為重要的是，借助摩爾線程自研MUSIFY開發(fā)工具，MTT S4000計(jì)算卡可以充分利用現(xiàn)有CUDA軟件生態(tài)，實(shí)現(xiàn)CUDA代碼零成本遷移到MUSA平臺(tái)。

KUAE智算中心：軟硬一體，開箱即用

摩爾線程KUAE智算中心解決方案以全功能GPU為底座，是軟硬一體化的全棧解決方案，包括以KUAE計(jì)算集群為核心的基礎(chǔ)設(shè)施、KUAE Platform集群管理平臺(tái)以及KUAE ModelStudio模型服務(wù)，旨在以一體化交付的方式解決大規(guī)模GPU算力的建設(shè)和運(yùn)營(yíng)管理問(wèn)題。

該方案可實(shí)現(xiàn)開箱即用，大大降低傳統(tǒng)算力建設(shè)、應(yīng)用開發(fā)和運(yùn)維運(yùn)營(yíng)平臺(tái)搭建的時(shí)間成本，實(shí)現(xiàn)快速投放市場(chǎng)開展商業(yè)化運(yùn)營(yíng)。

• 基礎(chǔ)設(shè)施：包含KUAE計(jì)算集群、RDMA網(wǎng)絡(luò)與分布式存儲(chǔ)。此次發(fā)布的摩爾線程KUAE千卡模型訓(xùn)練平臺(tái)，建設(shè)周期只需30天，支持千億參數(shù)模型的預(yù)訓(xùn)練、微調(diào)和推理，可實(shí)現(xiàn)高達(dá)91%的千卡集群性能擴(kuò)展系數(shù)?；贛TT S4000和雙路8卡GPU服務(wù)器MCCX D800，摩爾線程KUAE集群支持從單機(jī)多卡到多機(jī)多卡，從單卡到千卡集群的無(wú)縫擴(kuò)展，未來(lái)將推出更大規(guī)模的集群，以滿足更大規(guī)模的大模型訓(xùn)練需求。
• KUAE Platform集群管理平臺(tái)：用于AI大模型訓(xùn)練、分布式圖形渲染、流媒體處理和科學(xué)計(jì)算的軟硬件一體化平臺(tái)，深度集成全功能GPU計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)，提供高可靠、高算力服務(wù)。通過(guò)該平臺(tái)，用戶可靈活管理多數(shù)據(jù)中心、多集群算力資源，集成多維度運(yùn)維監(jiān)控、告警和日志系統(tǒng)，幫助智算中心實(shí)現(xiàn)運(yùn)維自動(dòng)化。
• KUAE ModelStudio模型服務(wù)：覆蓋大模型預(yù)訓(xùn)練、微調(diào)和推理全流程，支持所有主流開源大模型。通過(guò)摩爾線程MUSIFY開發(fā)工具，可以輕松復(fù)用CUDA應(yīng)用生態(tài)，內(nèi)置的容器化解決方案，則可實(shí)現(xiàn)API一鍵部署。該平臺(tái)意在提供大模型生命周期管理，通過(guò)簡(jiǎn)潔、易操作的交互界面，用戶可按需組織工作流，大幅降低大模型的使用門檻。

KUAE千卡集群：助力大模型高效訓(xùn)練

分布式并行計(jì)算是實(shí)現(xiàn)AI大模型訓(xùn)練的關(guān)鍵手段。

摩爾線程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內(nèi)的業(yè)界主流分布式框架，并融合了多種并行算法策略，包括數(shù)據(jù)并行、張量并行、流水線并行和ZeRO，且針對(duì)高效通信計(jì)算并行和Flash Attention做了額外優(yōu)化。

目前，摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓(xùn)練和微調(diào)。

基于摩爾線程KUAE千卡集群，70B到130B參數(shù)的大模型訓(xùn)練，線性加速比均可達(dá)到91%，算力利用率基本保持不變。

以2000億訓(xùn)練數(shù)據(jù)量為例，智源研究院700億參數(shù)Aquila2可在33天完成訓(xùn)練；1300億參數(shù)規(guī)模的模型可在56天完成訓(xùn)練。

此外，摩爾線程KUAE千卡集群支持長(zhǎng)時(shí)間連續(xù)穩(wěn)定運(yùn)行，支持?jǐn)帱c(diǎn)續(xù)訓(xùn)，異步Checkpoint少于2分鐘。

摩爾線程KUAE千卡計(jì)算集群憑借高兼容性、高穩(wěn)定性、高擴(kuò)展性和高算力利用率等綜合優(yōu)勢(shì)，將成為大模型訓(xùn)練堅(jiān)實(shí)可靠的先進(jìn)基礎(chǔ)設(shè)施。

智算和大模型生態(tài)聯(lián)盟：多方協(xié)作，促進(jìn)生態(tài)融合

大模型時(shí)代，以GPU為代表的智能算力是基石，也是生成式AI世界的中心。

摩爾線程聯(lián)合中國(guó)移動(dòng)北京公司、中國(guó)電信北京分公司、聯(lián)想、世紀(jì)互聯(lián)、光環(huán)新網(wǎng)、中聯(lián)數(shù)據(jù)、數(shù)道智算、中發(fā)展智源、企商在線、北電數(shù)智北京數(shù)字經(jīng)濟(jì)算力中心、紫光恒越、瑞華產(chǎn)業(yè)控股（山東）、賽爾網(wǎng)絡(luò)、中科金財(cái)、中耘智算、金舟遠(yuǎn)航（排名不分先后）等十余家企業(yè)，共同宣布“摩爾線程PES – KUAE智算聯(lián)盟”成立。

聯(lián)盟將大力建設(shè)和推廣從底層硬件到軟件、工具到應(yīng)用的全國(guó)產(chǎn)智算平臺(tái)，旨在實(shí)現(xiàn)集群的高利用率，以好用、易用的全棧智算解決方案成為大模型訓(xùn)練首選。

活動(dòng)現(xiàn)場(chǎng)，摩爾線程分別與中聯(lián)數(shù)據(jù)和數(shù)道智算進(jìn)行了現(xiàn)場(chǎng)簽約，并共同為摩爾線程KUAE智算中心揭牌。

現(xiàn)場(chǎng)200多名與會(huì)嘉賓一同見(jiàn)證了這一重要時(shí)刻。

人工智能應(yīng)用的突破，生態(tài)是關(guān)鍵。

為此，摩爾線程攜手360、飛槳、京東言犀、智譜AI、超對(duì)稱、無(wú)問(wèn)芯穹、滴普科技、網(wǎng)易、清華大學(xué)、復(fù)旦大學(xué)、浙江大學(xué)、北京理工大學(xué)、凌云光、瑞萊智慧、南威軟件（排名不分先后）等多家大模型生態(tài)伙伴，發(fā)起并成立“摩爾線程PES – 大模型生態(tài)聯(lián)盟”。

摩爾線程將以MUSA為中心的軟硬一體化大模型解決方案，積極與廣泛的生態(tài)伙伴開展兼容適配及技術(shù)調(diào)優(yōu)等工作，共同推動(dòng)國(guó)產(chǎn)大模型生態(tài)的全面繁榮。

在最后的圓桌對(duì)話環(huán)節(jié)，摩爾線程副總裁董龍飛與中能建綠色數(shù)字科技（中衛(wèi)）有限公司董事長(zhǎng)墻虎、智譜AI CEO張鵬、京東云首席AI科學(xué)家裴積全、中金資本董事總經(jīng)理翟贏、超對(duì)稱創(chuàng)始人吳恒魁、數(shù)道智算董事長(zhǎng)甄鑒等重磅嘉賓，就當(dāng)前大模型的算力需求和智算中心的建設(shè)與運(yùn)營(yíng)等話題展開了深入探討。

嘉賓一致認(rèn)為，智算中心不應(yīng)只是硬件的堆積，更是對(duì)軟硬一體化的GPU智算系統(tǒng)整合能力的考驗(yàn)，GPU分布式計(jì)算系統(tǒng)的適配、算力集群的管理和高效推理引擎的應(yīng)用等，都是提高算力中心可用性的重要因素。

國(guó)產(chǎn)智算中心的發(fā)展，更是依托于將各方需求和優(yōu)勢(shì)充分融合，產(chǎn)業(yè)聚力才能實(shí)現(xiàn)整個(gè)生態(tài)的協(xié)同，推動(dòng)國(guó)產(chǎn)事業(yè)往前發(fā)展。