移動(dòng)通信領(lǐng)域有了新SOTA：華為出品，精準(zhǔn)預(yù)測(cè)用戶行為

允中 2025-04-04 12:29:29 來源：量子位

華為GTS部門AI算法團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

專門解決電信行業(yè)用戶行為建模的難題。

華為GTS部門AI算法團(tuán)隊(duì)提出GTS-LUM，實(shí)現(xiàn)移動(dòng)通信用戶精準(zhǔn)行為洞析與多跳預(yù)測(cè)，實(shí)驗(yàn)中效果大幅優(yōu)于Meta的HSTU和字節(jié)的HLLM。

GTS-LUM，全稱Global Technical Service-Large User Model，主要有以下幾個(gè)創(chuàng)新點(diǎn)：

基于海量用戶行為序列數(shù)據(jù)自監(jiān)督、多模異構(gòu)Encoder-Adapter-LLM Decoder架構(gòu)、Q-former語義空間和業(yè)務(wù)空間知識(shí)對(duì)齊、創(chuàng)新多尺度時(shí)序處理機(jī)制、多用戶運(yùn)營(yíng)場(chǎng)景后訓(xùn)練、精準(zhǔn)捕捉用戶業(yè)務(wù)級(jí)淺層語義。

實(shí)驗(yàn)中，在所有評(píng)估指標(biāo)上均顯著優(yōu)于基線模型，拿下領(lǐng)域新SOTA。

以下是更多細(xì)節(jié)。

GTS-LUM方法解析

隨著電信市場(chǎng)滲透率趨近飽和，存量用戶價(jià)值挖掘與用戶留存成為運(yùn)營(yíng)商核心戰(zhàn)略。

電信用戶在網(wǎng)行為產(chǎn)生的海量數(shù)據(jù)（日均PB級(jí)）成為一種新型數(shù)據(jù)模態(tài)。

以往，運(yùn)營(yíng)商借助傳統(tǒng)機(jī)器學(xué)習(xí)的方法學(xué)習(xí)用戶行為，但受制于模型體量，預(yù)測(cè)精度上的瓶頸日益突出。而不同于成熟的互聯(lián)網(wǎng)推薦場(chǎng)景下的用戶行為建模，電信場(chǎng)景的特殊性體現(xiàn)在：

用戶的長(zhǎng)周期決策機(jī)制

電信服務(wù)作為社會(huì)基礎(chǔ)設(shè)施具備強(qiáng)連續(xù)型需求，導(dǎo)致用戶決策呈現(xiàn)長(zhǎng)周期特征。

用戶關(guān)鍵決策行為（如套餐變更、攜號(hào)轉(zhuǎn)網(wǎng)）更多受長(zhǎng)期服務(wù)體驗(yàn)驅(qū)動(dòng)（如網(wǎng)絡(luò)穩(wěn)定性、資費(fèi)合理性等），與互聯(lián)網(wǎng)場(chǎng)景的短期興趣驅(qū)動(dòng)機(jī)制形成本質(zhì)差異。

該決策特征使得傳統(tǒng)序列建模方法中基于近期行為的采樣策略面臨挑戰(zhàn)，直接應(yīng)用可能導(dǎo)致關(guān)鍵歷史信息丟失，損失預(yù)測(cè)精度。

多模異構(gòu)數(shù)據(jù)特點(diǎn)

與互聯(lián)網(wǎng)場(chǎng)景中常見的以歷史用戶-商品交互序列為基礎(chǔ)，預(yù)測(cè)用戶下一段時(shí)間內(nèi)的商品交互為目標(biāo)不同，電信用戶的數(shù)據(jù)輸入與預(yù)測(cè)目標(biāo)有明顯的異質(zhì)特性，體現(xiàn)在：

• 行為打點(diǎn)多樣性：包含用戶-用戶/產(chǎn)品/位置/渠道/網(wǎng)元交互等信息；
• 時(shí)間粒度層次性：包含秒級(jí)（如實(shí)時(shí)信令）、日級(jí)（如業(yè)務(wù)辦理）、月級(jí)（如賬單）等多個(gè)尺度；
• 目標(biāo)異質(zhì)性：包含用戶流失預(yù)警、套餐升級(jí)預(yù)測(cè)、營(yíng)銷響應(yīng)建模等多運(yùn)營(yíng)任務(wù)。

這種復(fù)雜性使得現(xiàn)有技術(shù)面臨幾個(gè)瓶頸：

1、跨時(shí)間尺度建模不足：當(dāng)前序列建模方法缺少有效的時(shí)間處理機(jī)制，以捕捉用戶跨日、周、月等多時(shí)間尺度下用戶的長(zhǎng)期行為演化模式；

2、多模異構(gòu)數(shù)據(jù)表征局限：當(dāng)前互聯(lián)網(wǎng)推薦技術(shù)常借助商品的文本描述，難以充分利用電信領(lǐng)域異構(gòu)數(shù)據(jù)模態(tài)豐富的特點(diǎn)強(qiáng)化用戶表征能力，直接應(yīng)用存在異構(gòu)空間對(duì)齊問題；

3、目標(biāo)分離嚴(yán)重：電信領(lǐng)域現(xiàn)有方案通常對(duì)流失預(yù)警、套餐升級(jí)預(yù)測(cè)等運(yùn)營(yíng)任務(wù)獨(dú)立建模，效率低下，缺乏統(tǒng)一模型架構(gòu)提取和目標(biāo)更加有效關(guān)聯(lián)的用戶表征。

由此，華為GTS部門AI算法團(tuán)隊(duì)提出了GTS-LUM。

GTS-LUM技術(shù)架構(gòu)如下圖所示：

多尺度時(shí)序處理機(jī)制

GTS-LUM基于多層級(jí)時(shí)間劃分融合語義策略，通過構(gòu)建“時(shí)段-周期”語義描述優(yōu)化用戶行為序列建模。

具體而言，基礎(chǔ)層級(jí)將每日劃分為若干典型時(shí)間區(qū)間（如早高峰、午間時(shí)段等）；并在周期層級(jí)疊加工作日/周末的周級(jí)維度特征，形成對(duì)用戶行為發(fā)生事件的復(fù)合語義描述。然后將用戶行為按照指定時(shí)間切片范圍進(jìn)行處理匯聚。

針對(duì)同一時(shí)間切片的用戶行為，組織序列時(shí)，在起始端嵌入對(duì)應(yīng)的時(shí)段-周期語義描述，并在序列末端添加特殊分隔符[SEP]作為行為片段的邊界標(biāo)識(shí)。

該設(shè)計(jì)通過粗粒度業(yè)務(wù)時(shí)間特征與細(xì)粒度行為位置關(guān)系的協(xié)同建模，形成具有時(shí)間感知能力的用戶行為序列。

多模異構(gòu)框架

GTS-LUM構(gòu)建了多模態(tài)協(xié)同的用戶行為嵌入框架，精準(zhǔn)捕捉用戶業(yè)務(wù)級(jí)淺層語義。

在語義特征維度，通過任一時(shí)間切片內(nèi)對(duì)用戶和產(chǎn)品/位置/渠道的交互行為進(jìn)行處理匯聚得到“一句話”描述，然后基于預(yù)訓(xùn)練語言模型獲得文本向量嵌入，并在語義空間執(zhí)行譜聚類，從而提取可解釋的行為語義編碼。

在業(yè)務(wù)特征維度，采用Node2Vec算法對(duì)用戶-用戶交互等圖數(shù)據(jù)以及TableGPT2框架對(duì)終端設(shè)備、地理位置等屬性維表進(jìn)行處理，生成多模態(tài)業(yè)務(wù)嵌入向量。

本方法的核心創(chuàng)新在于引入了基于Q-Former適配器的跨模態(tài)對(duì)齊機(jī)制：

通過交叉注意力層自動(dòng)篩選與當(dāng)前語義最相關(guān)的多模態(tài)業(yè)務(wù)特征，并借助共享的自注意力層構(gòu)建業(yè)務(wù)特征空間和語義空間的潛在映射關(guān)系，最后通過對(duì)比學(xué)習(xí)任務(wù)實(shí)現(xiàn)跨模態(tài)知識(shí)對(duì)齊。

值得注意的是，論文中創(chuàng)新性地為Q-Former引入了額外訓(xùn)練任務(wù)，包括序列片段-文本匹配、序列片段-文本對(duì)比學(xué)習(xí)和序列片段-文本生成，使其兼具多模態(tài)對(duì)齊器與用戶長(zhǎng)期興趣壓縮器的雙重功能。

目標(biāo)感知建模

GTS-LUM進(jìn)一步優(yōu)化了用戶表征學(xué)習(xí)過程，通過目標(biāo)感知建模突出了與任務(wù)場(chǎng)景最相關(guān)的歷史行為。

不同于傳統(tǒng)推薦模型的目標(biāo)后置范式，GTS-LUM將預(yù)測(cè)標(biāo)簽前置于行為序列起始位置，利用LLM的因果注意力機(jī)制實(shí)現(xiàn)雙階段優(yōu)化：

在注意力計(jì)算階段，目標(biāo)標(biāo)簽作為先驗(yàn)條件動(dòng)態(tài)調(diào)整歷史行為的注意力權(quán)重分布；在表征生成階段，基于Decoder的自回歸架構(gòu)實(shí)現(xiàn)漸進(jìn)式特征優(yōu)化，通過多步解碼過程迭代調(diào)整用戶表征向量。

工業(yè)級(jí)驗(yàn)證效果

在某省級(jí)運(yùn)營(yíng)商真實(shí)場(chǎng)景中，選取20w左右用戶數(shù)據(jù)量在Ascend 910B2 NPU上進(jìn)行訓(xùn)練和推理，實(shí)驗(yàn)結(jié)果顯示GTS-LUM表現(xiàn)亮眼。

GTS-LUM與業(yè)界方案對(duì)比如下：

GTS-LUM在所有評(píng)估指標(biāo)上均顯著優(yōu)于基線模型。

結(jié)果表明，盡管典型推薦模型在實(shí)驗(yàn)室數(shù)據(jù)中表現(xiàn)良好，但在具有領(lǐng)域特定復(fù)雜性的工業(yè)級(jí)數(shù)據(jù)集上會(huì)出現(xiàn)顯著的性能下降。

具體而言，GTS-LUM相比Meta@HSTU方案平均提升107.86%，相比ByteDance@HLLM方案提升31.38%，這些改進(jìn)凸顯了融合多模態(tài)輸入的重要性，以及將開放世界知識(shí)與特定業(yè)務(wù)知識(shí)對(duì)齊的必要性。

更多實(shí)驗(yàn)結(jié)果，請(qǐng)參閱論文。

GitHub鏈接：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf

— 完 —