國內(nèi)首批丨騰訊云上架 Llama 3.1模型，支持在 TI 平臺精調(diào)和推理

白交 2024-07-24 16:55:56 來源：量子位

7 月 23 日，Meta 正式發(fā)布 Llama 3.1 模型，包含 8B、70B 和 405B 三種參數(shù)規(guī)模。其中 405B 是目前最大開源模型之一，擁有 4050 億參數(shù)，支持多語言輸入輸出，在復(fù)雜數(shù)學(xué)和即時生成內(nèi)容方面表現(xiàn)出色。

為了給企業(yè)、開發(fā)者提供更多元的模型選擇，騰訊云 TI 平臺迅速響應(yīng)，國內(nèi)首批完成Llama 3.1的適配和上架，支持一鍵發(fā)起精調(diào)和推理。騰訊云對該系列模型進行了精調(diào)、推理測試驗證，保障模型的可用性、易用性，可覆蓋智能對話、文本生成、寫作等多個不同場景。

此前，騰訊云 TI 平臺除了內(nèi)置自研的騰訊混元大模型、行業(yè)大模型之外，也已廣泛接入了Llama 3、Baichuan、Falcon、Dolly、Vicuna、Bloom等市場主流開源大模型，支持快速發(fā)起訓(xùn)練任務(wù)或部署推理服務(wù)，使用流程簡單，開發(fā)效率高。企業(yè)、開發(fā)者可以根據(jù)不同細(xì)分場景的業(yè)務(wù)需求，靈活選擇各類大模型，降低模型使用成本。

打造面向?qū)崙?zhàn)的大模型精調(diào)工具鏈，助力企業(yè)智能化升級

騰訊云TI平臺致力于構(gòu)建面向?qū)崙?zhàn)的大模型精調(diào)工具鏈，幫助用戶訓(xùn)練出真正可用的大模型，并縮短模型開發(fā)周期，提升研發(fā)效率與資源利用率。

平臺在數(shù)據(jù)準(zhǔn)備階段提供極致靈活高效的數(shù)據(jù)構(gòu)建與標(biāo)注能力，包括3大類數(shù)據(jù)處理pipeline，覆蓋有監(jiān)督多輪問答、單輪問答和無監(jiān)督預(yù)訓(xùn)練，以及5大高質(zhì)量處理環(huán)節(jié)，如原始數(shù)據(jù)分析、數(shù)據(jù)清洗、數(shù)據(jù)去重等。代碼完全開源，支持用戶按需靈活修改。此外，平臺還基于騰訊云的實戰(zhàn)經(jīng)驗，沉淀了覆蓋12大類LLM應(yīng)用場景的100多萬條精調(diào)配比數(shù)據(jù)，智能分配配比數(shù)據(jù)量，解決過擬合或能力遺忘問題，有效提升模型效果。

在數(shù)據(jù)標(biāo)注方面，騰訊云TI平臺升級面向LLM和多模態(tài)大模型的數(shù)據(jù)標(biāo)注能力，首創(chuàng)基于Schema定義數(shù)據(jù)標(biāo)注結(jié)構(gòu)及組件，提供個性化標(biāo)注操作臺，實現(xiàn)業(yè)內(nèi)最極致的多模態(tài)數(shù)據(jù)標(biāo)注靈活性。

精調(diào)訓(xùn)練階段，騰訊云TI平臺提供易用、穩(wěn)定、高效的訓(xùn)練工具。內(nèi)置主流開源大模型及騰訊混元等自研模型，支持一鍵啟動精調(diào)任務(wù)。通過3層機制保障大規(guī)模訓(xùn)練穩(wěn)定運行，包括硬件容錯、容器調(diào)度、任務(wù)斷點續(xù)訓(xùn)?；谧匝械腁ngel訓(xùn)練框架，整體提升30%的訓(xùn)練性能，部分模型如baichuan2模型相比deepspeed加速70%，顯著提升任務(wù)成功率及資源利用率。

模型驗證評測階段，騰訊云TI平臺貼合算法真實使用流程，提供輕量體驗、客觀評測、主觀評測三階段評測能力。輕量體驗通過在線問答形式體驗?zāi)Ｐ托Ч_保模型訓(xùn)練過程不出現(xiàn)大偏差；客觀評測使用業(yè)界主流開源評測集進行自動化評估；主觀評測則通過業(yè)務(wù)人員人工標(biāo)注打分，保障最終模型效果。

同時，為了簡化開發(fā)流程，騰訊云TI平臺還對外開放API接口和豐富的SDK，開發(fā)者可以輕松地將Llama 3.1等模型集成到自己的應(yīng)用中，無需進行復(fù)雜的配置和改動，顯著提升了開發(fā)效率和應(yīng)用的迭代速度。

持續(xù)推動大模型生態(tài)建設(shè)，加速模型應(yīng)用場景落地

目前，騰訊在大模型領(lǐng)域已經(jīng)構(gòu)建了一套全鏈路產(chǎn)品矩陣，涵蓋從底層豐富基礎(chǔ)設(shè)施到頂層多元智能應(yīng)用。包括自研通用大模型、模型開發(fā)平臺、智能體開發(fā)平臺，以及針對不同場景定制的智能應(yīng)用解決方案等。通過這些產(chǎn)品和方案，致力于助力企業(yè)客戶高效地將大模型技術(shù)應(yīng)用到實際業(yè)務(wù)場景中，實現(xiàn)快速部署和價值創(chuàng)造。

在醫(yī)療行業(yè)，騰訊云攜手上海市數(shù)字醫(yī)學(xué)創(chuàng)新中心，共研醫(yī)學(xué)大模型，目前在瑞金醫(yī)院實現(xiàn)了總檢報告和電子病歷生成等相關(guān)項目的落地應(yīng)用。以體檢報告生成為例，平均每5秒即可自動生成一份總檢報告，為醫(yī)生節(jié)約50%+的撰寫時間。

在文娛行業(yè)，閱文集團一直利用大模型能力持續(xù)提升其用戶寫作和插圖制作效率，但面臨模型迭代快、更新復(fù)雜和推理成本高昂等問題。騰訊云TI平臺的應(yīng)用簡化了模型訓(xùn)練配置，通過加速框架提升了推理速度，同時提供了易于使用的管理工具，助力持續(xù)解決上述難題。

大模型時代，算力、網(wǎng)絡(luò)、數(shù)據(jù)構(gòu)成了底層基礎(chǔ)設(shè)施的“鐵三角”。除了提供一站式AI大模型服務(wù)之外，騰訊云還為客戶提供了HCC高性能計算集群、星脈高性能計算網(wǎng)絡(luò)以及向量數(shù)據(jù)庫等基礎(chǔ)設(shè)施服務(wù)。

不斷為千行百業(yè)打造行業(yè)大模型解決方案的同時，騰訊云也在積極參與行業(yè)大模型標(biāo)準(zhǔn)的制定。在金融領(lǐng)域，騰訊云與信通院合作，發(fā)布了國內(nèi)首個金融行業(yè)大模型標(biāo)準(zhǔn)，為智能化發(fā)展和大模型的安全合規(guī)提供了支持；在醫(yī)療健康領(lǐng)域，騰訊參與編寫的《人工智能大模型賦能醫(yī)療健康產(chǎn)業(yè)白皮書（2023年）》已發(fā)布，旨在推動醫(yī)療健康大模型的發(fā)展并提出標(biāo)準(zhǔn)建議。

與此同時，騰訊還被選舉為全國信標(biāo)委人工智能分委會委員兼副秘書長單位，作為核心成員，承擔(dān)了更多標(biāo)準(zhǔn)制定工作以及技術(shù)引領(lǐng)作用。未來，騰訊云將持續(xù)優(yōu)化技術(shù)，推動大模型生態(tài)建設(shè)，加速千行百業(yè)應(yīng)用落地，為各行業(yè)的數(shù)字化轉(zhuǎn)型提供有力支持。