移動通信領域有了新SOTA：華為出品，精準預測用戶行為

允中 2025-04-04 12:29:29 來源：量子位

華為GTS部門AI算法團隊 投稿

量子位 | 公眾號 QbitAI

專門解決電信行業(yè)用戶行為建模的難題。

華為GTS部門AI算法團隊提出GTS-LUM，實現(xiàn)移動通信用戶精準行為洞析與多跳預測，實驗中效果大幅優(yōu)于Meta的HSTU和字節(jié)的HLLM。

GTS-LUM，全稱Global Technical Service-Large User Model，主要有以下幾個創(chuàng)新點：

基于海量用戶行為序列數(shù)據(jù)自監(jiān)督、多模異構Encoder-Adapter-LLM Decoder架構、Q-former語義空間和業(yè)務空間知識對齊、創(chuàng)新多尺度時序處理機制、多用戶運營場景后訓練、精準捕捉用戶業(yè)務級淺層語義。

實驗中，在所有評估指標上均顯著優(yōu)于基線模型，拿下領域新SOTA。

以下是更多細節(jié)。

GTS-LUM方法解析

隨著電信市場滲透率趨近飽和，存量用戶價值挖掘與用戶留存成為運營商核心戰(zhàn)略。

電信用戶在網行為產生的海量數(shù)據(jù)（日均PB級）成為一種新型數(shù)據(jù)模態(tài)。

以往，運營商借助傳統(tǒng)機器學習的方法學習用戶行為，但受制于模型體量，預測精度上的瓶頸日益突出。而不同于成熟的互聯(lián)網推薦場景下的用戶行為建模，電信場景的特殊性體現(xiàn)在：

用戶的長周期決策機制

電信服務作為社會基礎設施具備強連續(xù)型需求，導致用戶決策呈現(xiàn)長周期特征。

用戶關鍵決策行為（如套餐變更、攜號轉網）更多受長期服務體驗驅動（如網絡穩(wěn)定性、資費合理性等），與互聯(lián)網場景的短期興趣驅動機制形成本質差異。

該決策特征使得傳統(tǒng)序列建模方法中基于近期行為的采樣策略面臨挑戰(zhàn)，直接應用可能導致關鍵歷史信息丟失，損失預測精度。

多模異構數(shù)據(jù)特點

與互聯(lián)網場景中常見的以歷史用戶-商品交互序列為基礎，預測用戶下一段時間內的商品交互為目標不同，電信用戶的數(shù)據(jù)輸入與預測目標有明顯的異質特性，體現(xiàn)在：

• 行為打點多樣性：包含用戶-用戶/產品/位置/渠道/網元交互等信息；
• 時間粒度層次性：包含秒級（如實時信令）、日級（如業(yè)務辦理）、月級（如賬單）等多個尺度；
• 目標異質性：包含用戶流失預警、套餐升級預測、營銷響應建模等多運營任務。

這種復雜性使得現(xiàn)有技術面臨幾個瓶頸：

1、跨時間尺度建模不足：當前序列建模方法缺少有效的時間處理機制，以捕捉用戶跨日、周、月等多時間尺度下用戶的長期行為演化模式；

2、多模異構數(shù)據(jù)表征局限：當前互聯(lián)網推薦技術常借助商品的文本描述，難以充分利用電信領域異構數(shù)據(jù)模態(tài)豐富的特點強化用戶表征能力，直接應用存在異構空間對齊問題；

3、目標分離嚴重：電信領域現(xiàn)有方案通常對流失預警、套餐升級預測等運營任務獨立建模，效率低下，缺乏統(tǒng)一模型架構提取和目標更加有效關聯(lián)的用戶表征。

由此，華為GTS部門AI算法團隊提出了GTS-LUM。

GTS-LUM技術架構如下圖所示：

多尺度時序處理機制

GTS-LUM基于多層級時間劃分融合語義策略，通過構建“時段-周期”語義描述優(yōu)化用戶行為序列建模。

具體而言，基礎層級將每日劃分為若干典型時間區(qū)間（如早高峰、午間時段等）；并在周期層級疊加工作日/周末的周級維度特征，形成對用戶行為發(fā)生事件的復合語義描述。然后將用戶行為按照指定時間切片范圍進行處理匯聚。

針對同一時間切片的用戶行為，組織序列時，在起始端嵌入對應的時段-周期語義描述，并在序列末端添加特殊分隔符[SEP]作為行為片段的邊界標識。

該設計通過粗粒度業(yè)務時間特征與細粒度行為位置關系的協(xié)同建模，形成具有時間感知能力的用戶行為序列。

多模異構框架

GTS-LUM構建了多模態(tài)協(xié)同的用戶行為嵌入框架，精準捕捉用戶業(yè)務級淺層語義。

在語義特征維度，通過任一時間切片內對用戶和產品/位置/渠道的交互行為進行處理匯聚得到“一句話”描述，然后基于預訓練語言模型獲得文本向量嵌入，并在語義空間執(zhí)行譜聚類，從而提取可解釋的行為語義編碼。

在業(yè)務特征維度，采用Node2Vec算法對用戶-用戶交互等圖數(shù)據(jù)以及TableGPT2框架對終端設備、地理位置等屬性維表進行處理，生成多模態(tài)業(yè)務嵌入向量。

本方法的核心創(chuàng)新在于引入了基于Q-Former適配器的跨模態(tài)對齊機制：

通過交叉注意力層自動篩選與當前語義最相關的多模態(tài)業(yè)務特征，并借助共享的自注意力層構建業(yè)務特征空間和語義空間的潛在映射關系，最后通過對比學習任務實現(xiàn)跨模態(tài)知識對齊。

值得注意的是，論文中創(chuàng)新性地為Q-Former引入了額外訓練任務，包括序列片段-文本匹配、序列片段-文本對比學習和序列片段-文本生成，使其兼具多模態(tài)對齊器與用戶長期興趣壓縮器的雙重功能。

目標感知建模

GTS-LUM進一步優(yōu)化了用戶表征學習過程，通過目標感知建模突出了與任務場景最相關的歷史行為。

不同于傳統(tǒng)推薦模型的目標后置范式，GTS-LUM將預測標簽前置于行為序列起始位置，利用LLM的因果注意力機制實現(xiàn)雙階段優(yōu)化：

在注意力計算階段，目標標簽作為先驗條件動態(tài)調整歷史行為的注意力權重分布；在表征生成階段，基于Decoder的自回歸架構實現(xiàn)漸進式特征優(yōu)化，通過多步解碼過程迭代調整用戶表征向量。

工業(yè)級驗證效果

在某省級運營商真實場景中，選取20w左右用戶數(shù)據(jù)量在Ascend 910B2 NPU上進行訓練和推理，實驗結果顯示GTS-LUM表現(xiàn)亮眼。

GTS-LUM與業(yè)界方案對比如下：

GTS-LUM在所有評估指標上均顯著優(yōu)于基線模型。

結果表明，盡管典型推薦模型在實驗室數(shù)據(jù)中表現(xiàn)良好，但在具有領域特定復雜性的工業(yè)級數(shù)據(jù)集上會出現(xiàn)顯著的性能下降。

具體而言，GTS-LUM相比Meta@HSTU方案平均提升107.86%，相比ByteDance@HLLM方案提升31.38%，這些改進凸顯了融合多模態(tài)輸入的重要性，以及將開放世界知識與特定業(yè)務知識對齊的必要性。

更多實驗結果，請參閱論文。

GitHub鏈接：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf

— 完 —