Colossal-AI
ChatGPT低成本復(fù)現(xiàn)流程開源!任意單張消費(fèi)級顯卡可體驗,顯存需求低至1.62GB
單機(jī)訓(xùn)練速度提升7.73倍
一塊RTX3050搞定DLRM訓(xùn)練!僅需1%Embedding參數(shù),硬件成本降低至百分之一 | 開源
Colossal-AI又上新
比AlphaFold2快10倍!國產(chǎn)開源項目加速蛋白質(zhì)預(yù)測,超長序列22分鐘就搞定
全球最快的復(fù)合物結(jié)構(gòu)預(yù)測模型
霸榜GitHub熱門第一多日后,Colossal-AI正式版發(fā)布
本次正式版更新重點(diǎn)優(yōu)化了分布式訓(xùn)練性能及開發(fā)者的易用性,主要亮點(diǎn)包括:重構(gòu)ZeRO以改善性能和易用性;添加細(xì)粒度Profiler TensorBoard監(jiān)控插件,監(jiān)測訓(xùn)練過程中內(nèi)存、網(wǎng)絡(luò)等狀態(tài);更靈活的checkpoint策略,可擴(kuò)展的pipeline模塊;開源蛋白質(zhì)預(yù)測FastFold等豐富行業(yè)解決方案