騰訊大模型技術(shù)斬獲兩項世界冠軍，已落地微信搜索
兩項成果代碼和論文均已發(fā)布到GitHub上。
允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
騰訊人狠話不多，大模型技術(shù)剛拿下兩項世界冠軍！
最近，信息檢索領(lǐng)域國際頂級學術(shù)會議WSDM（Web Search and Data Mining）宣布了WSDM CUP 2023競賽成績。
來自騰訊研究團隊在無偏排序?qū)W習和互聯(lián)網(wǎng)搜索預訓練模型賽道上的兩項任務(wù)中獲得冠軍。
ACM WSDM（Web Search and Data Mining） 會議是信息檢索領(lǐng)域頂級會議之一，由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協(xié)調(diào)籌辦，在互聯(lián)網(wǎng)搜索、數(shù)據(jù)挖掘領(lǐng)域享有較高學術(shù)聲譽。
WSDM Cup正是由WSDM會議舉辦。本屆 WSDM Cup 共計400余支隊伍參加，分別來自中國、美國、新加坡、日本、印度等國家的知名高校和公司。
大賽共設(shè)置三個賽道：
- 無偏排序?qū)W習和互聯(lián)網(wǎng)搜索預訓練模型賽道（Unbiased Learning to Rank and Pre-training for Web Search）；
- 跨語言連續(xù)體的多語言信息檢索賽道（Multilingual Information Retrieval Across a Continuum of Languages）；
- 視覺問答挑戰(zhàn)賽道（Visual Question Answering Challenge）。
此次，騰訊機器學習搜索團隊在第一個賽道的兩項子任務(wù)中（Pre-training for Web Search和Unbiased Learning to Rank）獲得冠軍。
目前兩項成果代碼和論文均已發(fā)布到GitHub上。
兩項任務(wù)冠軍
深度學習領(lǐng)域，數(shù)據(jù)標注的質(zhì)量對于模型的效果有著較為顯著的影響。
但是較高的標注數(shù)據(jù)成本一直是研究團隊的阻礙之一，如何從技術(shù)上利用無標注的數(shù)據(jù)訓練模型自然成為了成為學術(shù)界和工業(yè)界關(guān)注的熱點。
本次比賽，針對基于搜索的預訓練任務(wù)（Pre-training for Web Search），騰訊團隊通過大模型訓練、用戶行為特征去噪等方法，在點擊日志上進行基于搜索排序的模型預訓練，進而使模型有效地應(yīng)用到下游相關(guān)性排序的檢索任務(wù)。
通過預訓練、模型微調(diào)、集成學習等多方面的優(yōu)化，在人工標注的相關(guān)性排序任務(wù)上取得了較大的領(lǐng)先優(yōu)勢。
而在另一個賽道——無偏排序?qū)W習任務(wù)（Unbiased Learning to Rank）中，團隊通過深入挖掘點擊日志信息，充分利用包括文檔媒體類型、文檔展示高度和點擊后的滑屏次數(shù)等特征對文檔相關(guān)性進行無偏估計，提出了一種能夠集成多種偏置因素的多特征集成模型，有效地提升了搜索引擎中文檔排序的效果。
據(jù)了解，奪冠團隊的成果均基于騰訊混元AI大模型（下文簡稱“HunYuan”）和太極機器學習平臺實現(xiàn)。
目前，通過聯(lián)合微信搜索團隊，兩項技術(shù)已經(jīng)在微信搜一搜的多個場景落地相關(guān)技術(shù)，并取得了顯著的效果提升。
2022年4月，騰訊首次對外披露HunYuan大模型研發(fā)進展——
HunYuan集CV、NLP、多模態(tài)理解能力于一體，先后在MSR-VTT、MSVD等五大權(quán)威數(shù)據(jù)集榜單中登頂，實現(xiàn)跨模態(tài)領(lǐng)域的大滿貫。
2022年5月，更是在國際公認的CLUE三個榜單同時登頂，一舉打破三項紀錄。
現(xiàn)在，HunYuan又迎來全新進展，推出國內(nèi)首個低成本、可落地的NLP萬億大模型，并再次登頂CLUE。
騰訊太極機器學習平臺是集模型訓練和在線推理于一身的高性能機器學習平臺，具備萬億參數(shù)模型的訓練和推理能力，為AI大模型預訓練推理和應(yīng)用落地提供了完整的端到端工程能力支撐，一站式解決算法工程師在 AI 應(yīng)用過程中特征處理、模型訓練、模型服務(wù)等工程問題。
騰訊長期致力于前沿搜索技術(shù)的研究，通過改進搜索算法，提升用戶搜索體驗，相關(guān)技術(shù)團隊在檢索預訓練、大模型訓練、搜索排序任務(wù)目標函數(shù)設(shè)計等方面的具有豐富的實踐經(jīng)驗，研究成果多次在國際競賽和學術(shù)會議中取得領(lǐng)先成績，并廣泛應(yīng)用于微信搜索、騰訊廣告、游戲等多個業(yè)務(wù)場景。
GitHub鏈接：
https://github.com/lixsh6/tencent_wsdm_cup2023
論文鏈接：
https://arxiv.org/pdf/2302.13756.pdf
https://arxiv.org/pdf/2302.13498.pdf
- 英偉達最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學Dijkstra算法被超越！清華段然團隊打破圖靈獎得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時代！納米AI多智能體蜂群，可創(chuàng)作最長10分鐘AI視頻2025-08-06
