字節(jié)跳動開源分布式訓(xùn)練框架BytePS，登上GitHub熱榜
比Horovod更強(qiáng)
問耕 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
字節(jié)跳動開源了通用分布式訓(xùn)練框架BytePS，這個框架支持TensorFlow、Keras、PyTorch、MXNet，可以運(yùn)行在TCP或RDMA網(wǎng)絡(luò)中。
官方介紹稱，BytePS大大優(yōu)于現(xiàn)有的開源分布式訓(xùn)練框架。例如，在相同的條件下，BytePS的訓(xùn)練速度是Horovod+NCCL的兩倍。
BytePS也登上了GitHub趨勢熱榜。
性能表現(xiàn)
為了展示BytePS的性能，官方測試了兩個模型：VGG16（通信密集型）和Resnet50（計算密集型），兩個模型都以fp32精度進(jìn)行訓(xùn)練。
訓(xùn)練使用了公有云上的虛擬機(jī)，每個機(jī)器有8個GPU，啟用了NVLink。這些GPU都是Tesla V100 16GB型號GPU，batch size設(shè)置為64/每GPU。硬件之間以20Gbps的TCP/IP網(wǎng)絡(luò)連接。
測試表明，與Horovod (NCCL)相比，BytePS在VGG16訓(xùn)練上的速度快100%，Resnet訓(xùn)練速度快44%。
Horovod是Uber開源的深度學(xué)習(xí)工具，NCCL是英偉達(dá)發(fā)布的多卡通信框架。
原因解析
BytePS為什么比Horovod更強(qiáng)？
官方解釋稱，一個主要的原因是BytePS是專門為云和共享集群而設(shè)計，并且拋棄了MPI。MPI是一個跨語言的通訊協(xié)議，用于編寫并行計算機(jī)。
MPI是為高性能計算機(jī)而生，對于使用同類硬件構(gòu)建的集群以及運(yùn)行單一任務(wù)更有效。但并不是云（或者內(nèi)部共享集群）的最佳選擇。
因此字節(jié)跳動團(tuán)隊重新思考了最佳的通信策略。簡而言之，BytePS僅在機(jī)器內(nèi)部使用NCCL，重新構(gòu)建了機(jī)器內(nèi)部的通信。
BytePS還集成了許多加速技術(shù)，例如分層策略、流水線、張量分區(qū)、NUMA感知本地通信、基于優(yōu)先級的調(diào)度等等。
傳送門
BytePS現(xiàn)已在GitHub上開源，地址如下：
https://github.com/bytedance/byteps
在GitHub上，還詳細(xì)介紹了如何使用BytePS等相關(guān)信息。
目前BytePS還不支持純CPU訓(xùn)練。
- 泰合資本梅林：2021是資本市場結(jié)構(gòu)性轉(zhuǎn)折的一年2021-12-14
- 獨家！扒出騰訊新高管余總的真面目！2021-04-01
- 點云處理不得勁？球卷積了解一下2019-10-24
- Dota2冠軍OG如何被AI碾壓？OpenAI累積三年的完整論文終于放出2019-12-14
相關(guān)閱讀
GitHub被起訴，版權(quán)問題再引熱議，網(wǎng)友類比谷歌圖書：人家可沒拿用戶內(nèi)容寫小說
署名問題違反多項規(guī)定
Nature子刊 | NUS、字節(jié)首次將AI元學(xué)習(xí)引入腦成像領(lǐng)域
能在有限的醫(yī)療數(shù)據(jù)上訓(xùn)練可靠的AI模型，提升基于腦成像的精準(zhǔn)醫(yī)療效果。
GitLab成立中國合資公司極狐，強(qiáng)調(diào)“獨立運(yùn)營”
目標(biāo)是3-5年內(nèi)國內(nèi)上市
