潞晨
霸榜GitHub熱門(mén)第一多日后,Colossal-AI正式版發(fā)布
本次正式版更新重點(diǎn)優(yōu)化了分布式訓(xùn)練性能及開(kāi)發(fā)者的易用性,主要亮點(diǎn)包括:重構(gòu)ZeRO以改善性能和易用性;添加細(xì)粒度Profiler TensorBoard監(jiān)控插件,監(jiān)測(cè)訓(xùn)練過(guò)程中內(nèi)存、網(wǎng)絡(luò)等狀態(tài);更靈活的checkpoint策略,可擴(kuò)展的pipeline模塊;開(kāi)源蛋白質(zhì)預(yù)測(cè)FastFold等豐富行業(yè)解決方案