騰訊云祭出行業(yè)大模型平臺：鵝廠開搞「量體裁衣」，花小成本用大模型

明敏 衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

大模型浪潮，鵝廠給出了第一波明確回應(yīng)。

昨天，騰訊云帶著行業(yè)大模型平臺，掀開騰訊大模型戰(zhàn)略的一角。

切入方向十分明確——服務(wù)產(chǎn)業(yè)界。

在騰訊云舉辦的行業(yè)大模型及智能應(yīng)用技術(shù)峰會上，所有疑問和好奇，都在現(xiàn)場演示中有了解答。

該行業(yè)大模型平臺，技術(shù)底座來自騰訊全棧能力，提供高性能計算集群HCC、高性能網(wǎng)絡(luò)、向量數(shù)據(jù)庫等基礎(chǔ)設(shè)施。

依托騰訊云TI平臺，將能力對外輸出，向產(chǎn)業(yè)界用戶提供MaaS（Model as a service）服務(wù)。

平臺的能力，已同步支持騰訊自家業(yè)務(wù)，如騰訊會議、騰訊企點等。

當(dāng)下，ChatGPT方興未艾，面對轉(zhuǎn)瞬即逝的機會，沒有哪家云廠商能坐視不理，騰訊云自然也不例外。

在這場異常激烈的競爭中，騰訊云的策略是什么？背后動因如何？又有哪些亮點值得關(guān)注？

騰訊云行業(yè)大模型平臺是什么？

要回答上述問題，就要先感知騰訊云行業(yè)大模型平臺的廬山真面目。

騰訊云行業(yè)大模型平臺，顧名思義，功能是以不同產(chǎn)業(yè)需求場景出發(fā)，提供MaaS一站式服務(wù)，讓千行百業(yè)使用大模型的門檻往低了降。

這是騰訊云在圍繞行業(yè)大模型平臺的快速布局中，從一開始就有的精準(zhǔn)目標(biāo)：解決千行百業(yè)“想用大模型而用不上”這個痛點。

也是無數(shù)行業(yè)在大模型時代的焦慮來源。

畢竟面對大模型貪婪汲取的算力，企業(yè)和機構(gòu)或缺乏，或根本沒有，無法進行訓(xùn)練和推理，不得不將求助的目光投向云廠商。而打造一個大模型所需的數(shù)據(jù)，需要進行搜集、整理、清晰洗、標(biāo)注等層層加工，繁雜的步驟和專業(yè)需求無疑是雪上加霜。

再者說，為確保業(yè)務(wù)使用的效果和可持續(xù)性，自研大模型的成本對企業(yè)和機構(gòu)來說已是天文數(shù)字，更別提難以邁出的第一步——計算資源、網(wǎng)絡(luò)帶寬、安全性等方面的經(jīng)驗和人才，都不是各個行業(yè)本身所擅長的。

于是引出騰訊云為行業(yè)大模型平臺提出的基本理念：量體裁衣、普惠適用。

換一句更好理解的通俗說法，騰訊云想做和正在做的事，是把大模型能力放在一個平臺上向外花式輸出。需要大模型提供支持的行業(yè)面對騰訊云行業(yè)大模型平臺時，就像在面對一個貨架擺滿、品類豐富的精選商店。

按需挑選，需要什么，就拿什么。

活動現(xiàn)場，騰訊云副總裁、騰訊云智能負責(zé)人、優(yōu)圖實驗室負責(zé)人吳運聲進行了實時演示，以證明“量體裁衣”后的模型對擁有不同場景的企業(yè)來說更加好用。

端午節(jié)小長假在即，吳運聲拋出了一個很貼生活的問題，讓大模型規(guī)劃行程，要求是：

我和孩子都是歷史人文愛好者，端午想去上海周邊，預(yù)算在5000以內(nèi)，最好每天去2個不同的景點玩。

通用大模型很快給出了3天假期的大致規(guī)劃。

感受下來，能為出行做大方向的參考，但相對簡略，不是最理想的保姆級出行指南。

于是，吳運聲加入了一些旅游相關(guān)的行業(yè)場景數(shù)據(jù)，給模型喂了2個江浙滬旅游攻略，及1份蘇州旅游攻略。

而后面對同樣的提問，大模型給出的端午旅游規(guī)劃就細致了許多，不僅有每天的旅程安排，還含有旅游景點的相關(guān)簡介。

如果接入旅游領(lǐng)域企業(yè)用戶的API呢？

除了出行的交通方式和景點安排，所涉及景點的實時票價，提問人也能及時在大模型規(guī)劃的行程中獲得了。

而且此模式（騰訊云稱之為“大模型精調(diào)”）中，大模型還開啟了上網(wǎng)檢索功能，查詢酒店特色、房價等消息是小菜一碟。

能夠感知到，此時的大模型給出的建議服務(wù)更加人性化，“實現(xiàn)了服務(wù)到商業(yè)的閉環(huán)”。

現(xiàn)場演示僅針對旅游行業(yè)一家而言，但這樣的需求并不局限在旅游場景中。

針對差異化需求應(yīng)運而生后，所有有使用大模型需求的行業(yè)伸出一只援手。

如騰訊集團高級執(zhí)行副總裁云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生所說，實際生活中，騰訊云行業(yè)大模型平臺已經(jīng)把產(chǎn)業(yè)場景當(dāng)作了大模型的最佳練兵場。

目前，騰訊云行業(yè)大模型平臺已經(jīng)涵蓋金融、傳媒、文旅、政務(wù)、教育等10多個行業(yè)場景，提供50+大模型解決方案。

所以具體來看，騰訊云提出的行業(yè)大模型平臺，將如何幫助他們解決面臨的這些問題？

輸出自家沉淀能力

總體來看，騰訊云構(gòu)建行業(yè)大模型平臺的思路，是盡可能提供更加底層強大、覆蓋全面、落地便捷的能力。

而且誠意滿滿，一次性掏出了騰訊云及騰訊積累多年的技術(shù)能力、工程經(jīng)驗及創(chuàng)新成果，并已率先在自家業(yè)務(wù)上落地應(yīng)用。

技術(shù)方面，騰訊云行業(yè)大模型平臺的亮點可分為三部分：

• 模型層面
• 平臺工具
• 流程方法、配套服務(wù)、安全保障

首先來看底層模型，這也是大模型平臺的核心。

騰訊云TI平臺支持企業(yè)用戶直接結(jié)合自身場景數(shù)據(jù)按需定制精調(diào)模型，或者按照所需開展多模型訓(xùn)練任務(wù)，讓企業(yè)用戶能更加靈活地調(diào)用大模型能力。

平臺上內(nèi)置了多個行業(yè)大模型，可以滿足金融、傳媒、文旅、政務(wù)、教育等領(lǐng)域的需求。

在模型層的具體能力上，騰訊云TI平臺還在降本增效和簡單易用上提出了四大亮點：

第一是低成本訓(xùn)練和推理，這也是企業(yè)用戶在使用大模型時首要關(guān)心的事。騰訊云TI平臺實現(xiàn)了在少量算力基礎(chǔ)上，可提升特定任務(wù)的效果；并選擇專注產(chǎn)業(yè)場景，降低訓(xùn)練成本、縮短訓(xùn)練周期。

第二是無需配置對話+支持API調(diào)用。快速接入調(diào)用產(chǎn)業(yè)用戶API接口，能夠端到端高質(zhì)量完成多輪服務(wù)。

第三是高效觸達網(wǎng)絡(luò)知識。這也是大模型的發(fā)展趨勢，如ChatGPT已經(jīng)推出聯(lián)網(wǎng)插件，回答體驗立馬提升。騰訊云TI平臺通過搜索引擎獲取網(wǎng)絡(luò)知識，更廣泛和實時的信息，能有效提高回答的多樣性和相關(guān)性。

第四是高時效、快速更新。目前階段大模型能獲取和理解多少信息，會直接影響它的表現(xiàn)。在這方面，騰訊云建立了實時更新的大模型向量數(shù)據(jù)庫，讓大模型閱讀理解的長度從2k字增長到8k，翻了4倍。

其次來看平臺工具方面。

TI-ONE平臺提供了完善的大模型工具鏈，覆蓋數(shù)據(jù)標(biāo)注、訓(xùn)練、評估、測試和部署等。同時具備多機多卡訓(xùn)練加速能力，能快速進行一站式大模型微調(diào)。

在算力方面，騰訊云今年4月發(fā)布了面向大模型訓(xùn)練的新一代HCC（High-Performance Computing Cluster）高性能計算集群，具備3.2Tbps業(yè)界最高互聯(lián)網(wǎng)帶寬，算力性能提升3倍。

它采用最新一代騰訊云星海自研服務(wù)器，結(jié)合多層加速的高性能存儲系統(tǒng)，加上高帶寬、低延遲的網(wǎng)絡(luò)傳輸。

數(shù)據(jù)方面，上面提到的實時更新騰訊云向量數(shù)據(jù)庫（Tecent Cloud Vector DB），是騰訊自研、基于內(nèi)部多年運營積累的分布式向量數(shù)據(jù)庫，已經(jīng)過騰訊海量業(yè)務(wù)場景驗證，日均處理向量檢索千億次，支持標(biāo)量+向量的混合檢索，具有高性能、大容量等特點，支持全內(nèi)存索引。

與此同時，TI-ONE平臺還提供了多個單點工具。

TI-ONE訓(xùn)練平臺是為AI工程師打造的一站式機器學(xué)習(xí)平臺，提供從數(shù)據(jù)接入、模型訓(xùn)練、模型管理到模型服務(wù)的全流程開發(fā)支持，內(nèi)置多種訓(xùn)練方式和算法框架。

TI-DataTruth數(shù)據(jù)標(biāo)注平臺面向AI數(shù)據(jù)服務(wù)商提供數(shù)據(jù)標(biāo)注作業(yè)、數(shù)據(jù)眾包管理、場景數(shù)據(jù)挖掘等智能數(shù)據(jù)生產(chǎn)服務(wù)。

TI-Matrix應(yīng)用平臺支持快速接入各種數(shù)據(jù)、算法和智能設(shè)備，并提供可視化編排工具，進行模型服務(wù)和資源的管理及調(diào)度，進一步通過AI服務(wù)組建集成和標(biāo)準(zhǔn)化接口開放，降低AI應(yīng)用開發(fā)成本。

值得一提的是，騰訊云TI-ACC升級為太極Angel，能提供更強大的訓(xùn)練和推理加速能力。通過異步調(diào)度優(yōu)化、顯存優(yōu)化、計算優(yōu)化等方式，相較于行業(yè)常用方案提升30%+。

此外，基于騰訊云IaaS層產(chǎn)品服務(wù)（計算集群、對象存儲、網(wǎng)絡(luò)加速等），可支持豐富的訓(xùn)練需求和推理應(yīng)用場景。

騰訊云還聯(lián)合中國信通院、客戶，共建了行業(yè)大模型的標(biāo)準(zhǔn)體系及能力架構(gòu)。包括1套ILMOps方法論、60+的能力建設(shè)指標(biāo)、覆蓋主觀和客觀的能力要求、細化超過200+能力驗證指標(biāo)。覆蓋金融、政務(wù)、傳媒、教育、文旅等各大行業(yè)，涵蓋模型行業(yè)能力、模型工程化性能、模型算力網(wǎng)絡(luò)、模型安全可靠等方面。

最后，騰訊云行業(yè)大模型平臺還提供了一系列成熟的配套服務(wù)。

提供行業(yè)大模型全生命周期一體化的完整方法論，覆蓋“模型選型-訓(xùn)練共建-部署應(yīng)用”全流程，包括“業(yè)務(wù)分析-數(shù)據(jù)分析-數(shù)據(jù)清洗-數(shù)據(jù)標(biāo)注-大模型選擇-訓(xùn)練加速-模型評測-應(yīng)用落地”等，同時支持MLOps的體系及工具，保障需求順利交付。

在配套服務(wù)方面，騰訊云提供本地化的訓(xùn)練、落地及陪跑優(yōu)化服務(wù)；針對客戶需求，提供私有化部署、公有云托管、混合云部署等靈活部署方案。

安全方面，騰訊云在問題側(cè)、模型側(cè)、答案側(cè)三個層面進行敏感信息的過濾和規(guī)避，讓最終的答案符合安全、規(guī)范的要求。同時，依托騰訊二十余年的安全經(jīng)驗和天御風(fēng)控能力，提供AIGC全鏈路內(nèi)容合規(guī)解決方案，確保大模型可信、可靠、可用。

那么，平臺能力如此強大，實際能夠帶來怎樣的效果？

這可以從騰訊自家的業(yè)務(wù)看起。如騰訊會議的AI會議助手、騰訊云AI代碼助手、騰訊企點新一代智能客服等，都在基于這一次底層平臺能力進行加速開發(fā)。

據(jù)介紹，騰訊會議·AI會議助手將能夠基于簡單的文本指令，基于對會議內(nèi)容的理解，快速提取信息、分析內(nèi)容等，并且能自動生成智能總結(jié)。

騰訊云新一代AI代碼助手將支持多種編程語言、主流開發(fā)框架和常用IDE。具備代碼補全、生成單元測試、代碼糾錯等能力，加速程序員日常開發(fā)。其能力將覆蓋溝通、編碼、評審等關(guān)節(jié)環(huán)節(jié)。

騰訊企點的新一代智能客服在接入行業(yè)大模型平臺能力后，將覆蓋單輪知識問答、復(fù)雜知識問答、業(yè)務(wù)辦理等核心場景，從冷啟動7天以上升級至分鐘級/小時級啟動，準(zhǔn)確率提升30%。

當(dāng)然，騰訊云大模型平臺的能力已經(jīng)向外輸出。

比如在金融客服場景，基于騰訊云金融行業(yè)大模型能力，客戶結(jié)合自身場景數(shù)據(jù)+騰訊云TI平臺精調(diào)實現(xiàn)，構(gòu)建了專屬的金融客服大模型，并進行私有化部署。

在銀行投資、財富管理、綠色金融等業(yè)務(wù)方面，提供智能咨詢、輔助分析、決策等服務(wù)。

再比如多年下來積累了海量的音視頻、圖片、文稿等信息資源的領(lǐng)域——傳媒。

央視就已經(jīng)基于騰訊云智能媒體AI中臺，部署TI平臺原生模型服務(wù)，打造AI開放平臺，通過引入自研“標(biāo)簽權(quán)重引擎”，讓內(nèi)容標(biāo)簽顆粒度更細、理解度更深、泛化性更高。

進一步的，結(jié)合傳媒行業(yè)需要，重新構(gòu)建了細分場景的標(biāo)簽體系，包括新聞、綜藝、融媒體、影視劇等；同時通過跨模態(tài)的文本-圖像理解模型，實現(xiàn)跨模態(tài)檢索。

總之，騰訊云行業(yè)大模型平臺，是有充分準(zhǔn)備而來。

為什么做行業(yè)大模型平臺？

ChatGPT掀起新一輪AI浪潮后，各方勢力搶灘登陸。

但在一場新的技術(shù)革命周期下，一味求快顯然不是上上策，明確身位后精準(zhǔn)出擊，更容易站上潮頭。

所以，騰訊云亮出了在大模型熱潮下的第一張牌：基于騰訊云TI平臺打造模型精選商店，提供MaaS一站式服務(wù)，以“產(chǎn)業(yè)助手”的身份向外輸出大模型能力。

為什么瞄準(zhǔn)這一身位？

從外到內(nèi)，有兩方面因素驅(qū)動。

一方面是外因，也是直接原因：行業(yè)亟需MaaS服務(wù)。

很長一段時間以來，大模型都被認為只有科技巨頭、大廠才能玩得起。因為它對算力、算法都提出極高要求，不僅燒錢而且需要頂尖技術(shù)團隊開發(fā)維護。

但大模型的好處有目共睹，它強大的泛化能力可以解決行業(yè)應(yīng)用場景碎片化、AI“手工作坊式”開發(fā)等問題，能推動企業(yè)更快完成智能化升級、降本增效。

加之如今新趨勢到來，各行各業(yè)都開始意識到，如果不搭上AI這班快車，就有被時代淘汰的風(fēng)險。

由此，MaaS服務(wù)被推至臺前。

另一方面是受到騰訊自身的影響。

一直以來，騰訊在產(chǎn)業(yè)互聯(lián)網(wǎng)中的定位都是做產(chǎn)業(yè)的“數(shù)字化助手”，騰訊云智能則是實現(xiàn)這一目標(biāo)的重要抓手。

具體技術(shù)能力上，AI方面，騰訊在AI大模型領(lǐng)域有多年積累。內(nèi)部騰訊優(yōu)圖實驗室、騰訊AI Lab等都是產(chǎn)業(yè)內(nèi)“明星”實驗室，在NLP、CV等熱門領(lǐng)域已積累豐富的學(xué)術(shù)成果和產(chǎn)業(yè)落地經(jīng)驗。

云能力上，騰訊云是中國云市場的頭部廠商之一，提供混合云服務(wù)。

基于騰訊全棧能力，騰訊云智能目前形成了四級加速框架，為產(chǎn)業(yè)輸出從底層算力支撐到AI開發(fā)平臺、到AI產(chǎn)品解決方案、再到頂層數(shù)智化轉(zhuǎn)型方法的四級全鏈條服務(wù)，覆蓋金融、教育、工業(yè)、傳媒、交通等領(lǐng)域。

由此也就不難理解，為何騰訊云要推出行業(yè)大模型平臺，并選擇在此時此刻登場亮相。

當(dāng)下，ChatGPT扇動翅膀，引發(fā)的AI龍卷風(fēng)正在快速席卷各行各業(yè)，勢不可擋。

正如互聯(lián)網(wǎng)浪潮對工業(yè)、電子商務(wù)、媒體、傳播等領(lǐng)域的重塑與變革，最新一輪AI趨勢也勢必會顛覆眾多行業(yè)領(lǐng)域的運作方式、推動智能化升級更快發(fā)生。

AI行業(yè)、云廠商等身處變革風(fēng)暴核心，肩負推動技術(shù)更快向外圈輻射、影響千行百業(yè)的使命，如今已最先起跑，合力拉開變革的序幕。

接下來還會有哪些行業(yè)緊跟趨勢，還不確定，值得期待。

而可以確定的是，以大模型、AI為圓點，這場變革輻射圈的半徑，還在加速擴展。