揭秘騰訊混元大模型：400+場景落地，協(xié)作SaaS產(chǎn)品全面接入

夢晨 2024-04-25 17:53:09 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

進入2024，大模型的風向變了。

當初“百模大戰(zhàn)”時，只要簡單粗暴拿個Demo搞MaaS（模型即服務(wù)），也就是讓用戶直接和大模型交互就足以上牌桌。

但現(xiàn)在，精耕細作搞應(yīng)用，無論是原生AI應(yīng)用，還是在已有產(chǎn)品上整合AI功能，成了最新潮流趨勢。

就連一向低調(diào)神秘的騰訊混元大模型團隊，也對外公布了應(yīng)用落地進展：

騰訊混元大模型已經(jīng)支持內(nèi)部超過400個業(yè)務(wù)和場景接入，并通過騰訊云，面向企業(yè)和個人開發(fā)者全面開放。

這里面有很多為人熟知的“國民級”App，如企業(yè)微信、騰訊文檔、騰訊會議，都已經(jīng)被AI全副武裝。

還有更多騰訊云SaaS產(chǎn)品，如企業(yè)知識學(xué)習(xí)平臺騰訊樂享、電子合同管理工具騰訊電子簽等，也都有了AI加持。

騰訊混元大模型去年9月才首次亮相，是否有意在加速趕進度？

面對這個問題，騰訊混元大模型應(yīng)用負責人張鋒的回答就有點“凡爾賽”了：

我們只是按照正常的節(jié)奏，而且不光是接入大模型這么簡單，已經(jīng)進入打磨用戶體驗階段。

在國內(nèi)大模型廠商中，騰訊為何走出這樣一條獨特的路線？我們與張鋒深入聊了聊。

騰訊AI產(chǎn)品，已經(jīng)在打磨用戶體驗了

騰訊這么多年來一直以產(chǎn)品見長，AI時代也延續(xù)了這種風格。

就拿大模型的門面騰訊混元助手來說，“已經(jīng)在打磨用戶體驗了”還真不是一句空話。

比如讓它做一道簡單的數(shù)學(xué)題，就可以發(fā)現(xiàn)AI在分析思路時非常流暢，還判斷出題目中缺少條件，但最后給出結(jié)果前卻稍有停頓。

這并不符合大模型預(yù)測下一個token的運作原理，反倒像是真的在計算。

張鋒揭秘，背后其實是AI先寫了一段代碼，在后端執(zhí)行再返回結(jié)果。

不得不說，這是一種解決大模型計算不準確問題的巧妙思路。但為什么不像GPT-4代碼解釋器版一樣，把代碼在前臺顯示出來？

騰訊混元助手一個重要場景是在微信小程序里使用，移動端展示代碼就會顯得特別長。張鋒認為，現(xiàn)在的策略更符合用戶體驗習(xí)慣。

產(chǎn)品策略有了，但實現(xiàn)起來并不是一件簡單的事。首先需要大模型明白當前用戶需求需要精準計算，接著要生成合適的代碼，最后還要成功通過函數(shù)調(diào)用來執(zhí)行代碼。

像這樣從細節(jié)出發(fā)，打磨用戶體驗的例子還有很多。

比如大家很熟悉的騰訊會議，比起簡單的AI語音轉(zhuǎn)寫和會議紀要總結(jié)，也做了不少差異化功能。

人的口頭表達免不了停頓磕絆，騰訊會議AI在轉(zhuǎn)寫時把“嗯嗯啊啊”這樣的部分智能規(guī)整，讓會后文字記錄看起來更整潔。

騰訊會議正在思考的另一個問題是，AI 生成的會議總結(jié)格式應(yīng)該根據(jù)會議類型做出適當調(diào)整。

有明確主題和議程的會議，與大家暢所欲言的頭腦風暴會議，需要的總結(jié)的格式就截然不同。因此，除了按時間分章節(jié)生成會議紀要外，騰訊會議也將推出按發(fā)言人/主題生成會議紀要的功能。

騰訊樂享，作為企業(yè)知識協(xié)作平臺，在AI問答功能中就做到了識別提問者身份，做到回答千人千面。

如果是企業(yè)HR問AI有關(guān)薪酬結(jié)構(gòu)的問題，就可以得到正面回答，其他崗位問同樣的問題AI會拒絕提供。做到在便利的同時還非常安全。

湖南的律師事務(wù)所曠真接入了樂享助手去做AI知識庫， 員工調(diào)研顯示，對典型問題的AI回答滿意度高達93分，端到端問題準確率達91%。

騰訊電子簽，利用AI智能文件審查系統(tǒng)，識別合同風險條款，便于企業(yè)把控合同風險。企業(yè)對合同的風險控制需求各不相同。騰訊電子簽還利用大模型和few-shot技術(shù)訓(xùn)練適合客戶行業(yè)的垂類小模型，實現(xiàn)低成本運行。同時，通過混合云的模式，支持數(shù)據(jù)、模型的私有化部署，解決效率問題的同時保證合規(guī)。

總計400+的應(yīng)用場景中，像這樣的例子還比比皆是，這里不再贅述。

值得探討的下一個問題是，騰訊如何做到在短時間內(nèi)把AI產(chǎn)品打磨成熟的。

應(yīng)用落地完整流程已跑通

在騰訊，大模型研發(fā)和業(yè)務(wù)應(yīng)用是“雙向奔赴”的。

根據(jù)張鋒介紹，騰訊混元大模型研發(fā)過程中迭代速度很快，基本一個月就有四到五個版本。

這種速度就來自于和業(yè)務(wù)應(yīng)用團隊的高效合作，業(yè)務(wù)團隊提出需求并貢獻微調(diào)數(shù)據(jù)，研發(fā)團隊就能有針對性的加強大模型的能力。上線測試過程中不斷發(fā)現(xiàn)Bad case，也能迅速為大模型補齊短板。

在這種研發(fā)時就考慮到實際應(yīng)用需求的模式下，騰訊混元大模型定位成了“實用級通用大模型”。

在國內(nèi)大模型中，騰訊混元率先完成MoE（Mix of Experts，專家混合）架構(gòu)升級，也就是從單個稠密模型升級到多個專家組成的稀疏模型。

MoE架構(gòu)在激活參數(shù)不變情況下，總參數(shù)量加大，可以吞吐更多的token，同時，得益于較小的實際激活量，可顯著降低訓(xùn)推成本。

這種路線的快速轉(zhuǎn)型，也得益于與早期就了解了業(yè)務(wù)應(yīng)用一方需求。

在與業(yè)務(wù)應(yīng)用相互打磨的過程中，騰訊混元著重提升了通用模型的三個能力：

指令跟隨能力，提出各種各樣復(fù)雜的結(jié)構(gòu)化長指令，騰訊混元都能按要求執(zhí)行。

網(wǎng)頁及文檔理解能力，滿足用戶經(jīng)常需要AI來總結(jié)長文本內(nèi)容、減輕認知負的需求。

函數(shù)調(diào)用能力，也是騰訊混元團隊判斷大模型下一階段的趨勢之一。

通用大模型只是一個開始。

張鋒介紹，在實際應(yīng)用中，除了MoE主模型，如果調(diào)用量很大，從性價比的角度，各業(yè)務(wù)可以考慮使用不同尺寸的小模型，或者采用根據(jù)業(yè)務(wù)數(shù)據(jù)微調(diào)后的垂直小模型。

微調(diào)（Fine-Tuning）是學(xué)術(shù)界通用叫法，在騰訊內(nèi)部更愿意用“精調(diào)”。

從數(shù)據(jù)管理到自研AngelPTM訓(xùn)練框架、AngelHCF推理框架，再到模型評測、部署都有一股精耕細作的勁兒。

那么，面對如今 400+場景，以及未來更多業(yè)務(wù)都要上大模型的情況，研發(fā)團隊顯然無法分出精力逐個精調(diào)，如何解決這個問題呢？

答案是通過混元一站式平臺，許多需求業(yè)務(wù)團隊自己就能輕松搞定。

混元一站式平臺不僅支持通過API接口直接調(diào)用混元大模型服務(wù)，還把大模型從訓(xùn)練到部署的很多流程都做到可視化，不用寫代碼只需鼠標點點就能快速完成。

有了混元一站式平臺很多AI工程師都不怎么去折騰代碼了，而不精通機器學(xué)習(xí)的業(yè)務(wù)工程師也能輕松上手操作。

接下來根據(jù)一個完整的模型精調(diào)到上線的過程，來了解混元一站式平臺的能力。

首先是模型方面，平臺提供了各種尺寸的基座模型矩陣。又分為通用模型、針對典型場景的優(yōu)化模型、針對更垂直領(lǐng)域任務(wù)的子模型三個層次。

通用模型前面已經(jīng)介紹過，場景優(yōu)化模型可以舉兩個例子：開發(fā)Agent類應(yīng)用，就可以用到強化了函數(shù)調(diào)用能力的模型來做；在知識密度高的場景，則可以選擇優(yōu)化摘要能力的模型。

如果不光有垂直的應(yīng)用場景，還有垂直的數(shù)據(jù)集，混元一站式平臺上就可以完成針對私有數(shù)據(jù)集的二次訓(xùn)練，讓垂直子模型不僅有很好的通用理解能力，也很擅長專業(yè)領(lǐng)域的知識也很擅長。

接下來便要說到靠混元一站式平臺的數(shù)據(jù)處理能力。

對于來自不同來源、質(zhì)量參差的數(shù)據(jù)，從數(shù)據(jù)清洗流程如質(zhì)檢、去重，到統(tǒng)計調(diào)配不同主題數(shù)據(jù)的比例，再到更困難的數(shù)據(jù)價值觀對齊，去除其中包含的偏見，都能靠自動化手段高效完成。

即使模型上線之后，再發(fā)現(xiàn)由于某類數(shù)據(jù)缺失造成模型某方面能力不強，也能迅速把補充數(shù)據(jù)投入到持續(xù)訓(xùn)練，支持模型的快速迭代。

有了基座模型和數(shù)據(jù)，就能通過精調(diào)來按需求打造專屬模型。無論是速度快成本低的Lora精調(diào)，還是全參數(shù)深度精調(diào)都能在混元一站式平臺完成。

精調(diào)后模型的評測、部署上線也都做到了自動化，特別是部署可以做到一鍵發(fā)布，是混元一站式平臺的核心技術(shù)之一。

總結(jié)來看，相較于傳統(tǒng)的機器學(xué)習(xí)平臺，混元一站式平臺的最大特點在于：提供預(yù)訓(xùn)練好的基座模型、自動化優(yōu)化數(shù)據(jù)處理流程，以及精簡高效的模型精調(diào)和應(yīng)用集成工作流。該平臺通過自動化和智能工具應(yīng)對海量訓(xùn)練數(shù)據(jù)、模型定制和部署等挑戰(zhàn)，極大地降低了業(yè)務(wù)接入大模型的門檻，實現(xiàn)了速度快、效果好、接入方式多樣的目標。

一言以蔽之：已跑通從模型研發(fā)到應(yīng)用落地的完整流程。

內(nèi)部流程徹底跑通、并經(jīng)過400+場景驗證，外部開發(fā)者和企業(yè)可以通過騰訊云上API直接調(diào)用騰訊混元能力，接下來就要在助力合作伙伴業(yè)務(wù)智能化升級上發(fā)力了。

One More Thing

在這次交流的最后，量子位把在測試騰訊混元助手過程中發(fā)現(xiàn)的，模型仍無法很好解決的問題提交給了團隊。

結(jié)束后已經(jīng)是北京時間晚上6點多，比原定的結(jié)束時間推遲了近2個小時。

騰訊混元團隊大部分成員都準備動身去往機場，要趕回深圳研發(fā)總部。

張鋒沒有與大家一同離開會議室。

簡單告別后，他又一屁股坐回沙發(fā)上，一心沉醉到琢磨怎么改進Bad case的世界里了。