瘦身不降智！大模型訓(xùn)推效率提升30%，京東大模型開發(fā)計(jì)算研究登Nature旗下期刊
京東給出的大模型解法并不是“黑箱”
京東探索研究院 投稿
量子位 | 公眾號 QbitAI
京東探索研究院關(guān)于大模型的最新研究，登上了Nature旗下期刊！
該項(xiàng)研究提出了一種在開放環(huán)境場景中訓(xùn)練、更新大模型，并與小模型協(xié)同部署的系統(tǒng)與方法。
它通過模型蒸餾、數(shù)據(jù)治理、訓(xùn)練優(yōu)化與云邊協(xié)同四大創(chuàng)新，這個項(xiàng)目將大模型推理效率平均提升30%，訓(xùn)練成本降低70%。
這個名為《Omniforce：以人為中心的、賦能大模型的、云邊協(xié)同的自動機(jī)器學(xué)習(xí)系統(tǒng)》的項(xiàng)目，發(fā)表在Nature旗下期刊npj Artificial Intelligence上。
據(jù)介紹，這是國內(nèi)首個系統(tǒng)性解決開放環(huán)境下大模型開發(fā)效率難題并獲國際頂刊認(rèn)證的研究成果。
提出四個創(chuàng)新方法，推理平均提效30%
企業(yè)將大模型應(yīng)用付諸實(shí)踐，面臨著諸多卡點(diǎn)：
一方面進(jìn)入大模型應(yīng)用門檻高，另一方面模型訓(xùn)練與推理效率低。
京東大模型開發(fā)計(jì)算技術(shù)，能支持企業(yè)的模型開發(fā)訓(xùn)練及生產(chǎn)，讓龐大、重型的AI模型“瘦身”成精悍的小模型，精華依舊，效率大增，瘦身不降智。
既能節(jié)省算力資源，加速推理，還能適應(yīng)多平臺，廣泛部署到更多平臺上。
論文中提出了四個創(chuàng)新方法：
- 模型蒸餾：采用動態(tài)分層蒸餾技術(shù)，特別是在預(yù)訓(xùn)練階段進(jìn)行蒸餾，調(diào)整僅0.5%的參數(shù)實(shí)現(xiàn)低資源場景下的高效訓(xùn)練，減少大型模型的部署成本。
- 數(shù)據(jù)治理：提出跨領(lǐng)域數(shù)據(jù)動態(tài)采樣算法，自動混合不同領(lǐng)域數(shù)據(jù)，并引入隱私保護(hù)和主動學(xué)習(xí)技術(shù)，提升大模型泛化能力。
- 訓(xùn)練優(yōu)化：使用貝葉斯優(yōu)化（BO）框架進(jìn)行超參數(shù)優(yōu)化和架構(gòu)搜索，尤其是擅長處理離散空間，MPMD場景下資源利用率提升40%。
- 云邊協(xié)同：支持在云端進(jìn)行模型搜索和訓(xùn)練，邊緣設(shè)備負(fù)責(zé)部署和推理，并利用兩階段壓縮策略以適應(yīng)資源限制，提升云邊協(xié)作的高效性。
值得一提的是，該平臺還可支持京東大模型、Llama、DeepSeek等多個模型的蒸餾、推理。
在模型蒸餾層面，效果較同量級模型有明顯提升。
以京東大模型為例，蒸餾后的大模型Livebench提升14分。
大量的實(shí)驗(yàn)結(jié)果也證明有效性和效率，推理平均提效30%，訓(xùn)練成本平均降低70%。
根據(jù)企業(yè)自身業(yè)務(wù)，將通用模型轉(zhuǎn)化為專業(yè)模型
這套京東沉淀下來的大模型開發(fā)計(jì)算的技術(shù)，支撐了JoyBuild大模型開發(fā)計(jì)算平臺，廣泛服務(wù)行業(yè)用戶。
JoyBuild能夠?yàn)榭蛻舻拇竽Ｐ烷_發(fā)和行業(yè)應(yīng)用開發(fā)，提供定制化解決方案。
它支持各類模型的調(diào)優(yōu)開發(fā)，內(nèi)置20余種開源模型和豐富的數(shù)據(jù)集，并提供100余種算法和工具鏈，幫助企業(yè)根據(jù)自身業(yè)務(wù)特征，將通用模型迅速轉(zhuǎn)化為專業(yè)模型，一站式應(yīng)用大模型。
現(xiàn)在，不到一周時間，企業(yè)即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練到模型部署的全流程；之前需要10余人的科學(xué)家團(tuán)隊(duì)工作，現(xiàn)在只需要1-2個算法人員；通過平臺模型加速工具優(yōu)化，節(jié)約90%的推理成本。
京東豐富的業(yè)務(wù)場景，還為平臺上的基礎(chǔ)大模型提供具體的行業(yè)應(yīng)用場景，加速基于大模型的商業(yè)化落地。
在行業(yè)知識庫之外，JoyBuild沉淀了京東自己的零售、物流、健康、金融等行業(yè)Know-How，可應(yīng)用于供應(yīng)鏈優(yōu)化、智能客服、營銷內(nèi)容生成等各類場景，加速模型普惠。
京東給出的大模型解法并不是“黑箱”，而是一條解決大模型訓(xùn)練效率及應(yīng)用問題的通用路徑，是真正的“授之以漁”。
未來，京東將進(jìn)一步提升大模型開發(fā)與計(jì)算效率，讓中小型和大型企業(yè)都能低成本、高效構(gòu)建專屬AI應(yīng)用，助推AI規(guī)?；瘧?yīng)用落地。
相關(guān)閱讀
大模型的商業(yè)價(jià)值來自AI原生應(yīng)用體驗(yàn)的質(zhì)變｜百度@MEET2024
大模型時代，數(shù)據(jù)和對齊技術(shù)尤為重要
又雙叒一清華系團(tuán)隊(duì)入局大模型創(chuàng)業(yè)！螞蟻領(lǐng)投，主打多模態(tài)
面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建
消費(fèi)級顯卡可用！李開復(fù)零一萬物發(fā)布并開源90億參數(shù)Yi模型，代碼數(shù)學(xué)能力史上最強(qiáng)
僅次于“干翻GPT-4”的DeepSeek
