個人開發(fā)者訓400億參數(shù)大模型：分布式算力，DeepSeek架構，3090單卡部署

聞樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

打破科技巨頭算力壟斷，個人開發(fā)者聯(lián)手也能訓練超大規(guī)模AI模型？

Nous Research宣布推出Psyche Network，可以將全球算力整合起來訓練強大的人工智能。

Psyche是一個基于Deepseek的V3 MLA架構的去中心化訓練網絡，測試網首次啟動時直接對40B參數(shù)LLM進行預訓練，可以在單個H/DGX上訓練，并在3090 GPU上運行。

以往類似規(guī)模的模型訓練往往需要耗費大量的資源和時間，并且通常是由大型科技公司或專業(yè)研究機構憑借其雄厚的資金和算力優(yōu)勢來完成的。

Psyche的出現(xiàn)讓個人和小團體也可獲取資源創(chuàng)建獨特大規(guī)模模型。

對此，有網友表示，Nous Research有潛力成為新的前沿AI實驗室。

技術突破和網絡架構

DisTrO優(yōu)化器

在傳統(tǒng)AI訓練中，數(shù)據(jù)需在中心服務器與分布式GPU之間高頻傳輸，帶寬不足會導致GPU利用率暴跌。

2024年Nous研發(fā)的DisTrO分布式訓練優(yōu)化器，通過梯度壓縮（僅傳輸關鍵參數(shù)更新）和異步更新策略，將跨節(jié)點通信的數(shù)據(jù)量降低90%以上，突破了訓練過程中的帶寬限制，使得訓練可以去中心化。

點對點網絡堆棧

Psyche創(chuàng)建了一個自定義的點對點網絡堆棧，用于協(xié)調全球分布式GPU運行DisTrO。

這個基于P2P（點對點）協(xié)議的專用網絡層，無需依賴中心化服務器協(xié)調，全球GPU可直接通過加密通道交換梯度數(shù)據(jù)。

這一設計徹底擺脫了對傳統(tǒng)云服務商高帶寬網絡的依賴，即使是家用寬帶連接的GPU，也能穩(wěn)定參與訓練。

系統(tǒng)架構

Psyche網絡架構有三個主要部分：

coordinator：協(xié)調器，存儲有關訓練運行狀態(tài)和參與者列表的元數(shù)據(jù)。處理一輪訓練中每個階段之間的轉換，且負責為運行中的所有客戶端提供同步點。

clients：客戶端，負責訓練、見證和驗證。每個客戶端都保持自身狀態(tài)與協(xié)調器同步。

data provider：負責提供訓練所需的數(shù)據(jù)?？梢允潜镜氐囊部梢允荋TTP或 CP提供者。

40B參數(shù)LLM預訓練

此前互聯(lián)網公開的大規(guī)模預訓練多由Meta、Google等巨頭主導（如LLaMA 2的700億參數(shù)模型），Psyche以去中心化模式實現(xiàn)同等級別訓練。

Psyche首次測試網運行使用的是Deepseek的V3 MLA架構。

MLA通過低秩聯(lián)合壓縮鍵值和矩陣分解技術，降低計算復雜度與內存占用，使 400 億參數(shù)大語言模型在有限算力下高效訓練。

多頭注意力機制與潛空間表示學習相結合，提升模型語言理解與生成能力；并且，旋轉位置嵌入的運用，有效解決長序列位置依賴問題，從多維度保障了訓練的高效性與模型性能的優(yōu)質性。

數(shù)據(jù)集：

使用了FineWeb（14T）、去除部分不常見語言的FineWeb-2（4T）和The Stack v2（1T），些數(shù)據(jù)集涵蓋豐富信息，為模型訓練提供了有力支持。

分布式訓練策略：

• 模型并行與數(shù)據(jù)并行結合：將400億參數(shù)拆解為128個分片，分布在不同節(jié)點進行 “模型并行” 訓練，同時每個節(jié)點處理獨立的數(shù)據(jù)批次（“數(shù)據(jù)并行”），通過DisTrO優(yōu)化器同步梯度更新。
• 動態(tài)自適應批量大?。焊鶕?jù)節(jié)點網絡延遲自動調整每個批次的訓練數(shù)據(jù)量（如高延遲節(jié)點使用較小批次，減少等待時間），使全局訓練效率提升25%。

未來將是分布式訓練的天下？

隨著AI模型參數(shù)規(guī)模呈指數(shù)級增長，傳統(tǒng)集中式訓練模式正面臨算力壟斷、成本高昂和擴展性瓶頸的嚴峻挑戰(zhàn)。

分布式訓練的崛起，正在徹底改寫這一格局。

就在幾天前，Prime Intellect發(fā)布了首個分布式RL訓練模型INTELLEC-2，引起了廣泛關注。

Nous Research也稱Psyche初始訓練只是起點，后續(xù)計劃整合監(jiān)督微調、強化學習等完整的訓練后階段工作，以及推理和其他可并行工作負載。

誰能站穩(wěn)分布式訓練擂臺？當然，我們期待更多更優(yōu)秀的成果～

感興趣的小伙伴可以到官方查看更加詳細的內容。

博客：
https://nousresearch.com/nous-psyche/
訓練儀表板：
https://psyche.network
代碼：
https://github.com/PsycheFoundation/psyche
文檔：
https://docs.psyche.network
論壇：
https://forum.psyche.network
HuggingFace：
https://huggingface.co/PsycheFoundation
Discord：
https://discord.com/invite/jqVphNsB4H
參考鏈接：
[1]https://x.com/NousResearch/status/1922744494002405444
[2]https://x.com/PrimeIntellect/status/1921730059620196772

— 完 —