有了ChatGPT，還需要操作系統(tǒng)嗎？｜CCF C3

白交 2023-04-07 14:32:11 來源：量子位

楊凈 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

大模型引領的AI 2.0，遠比想象來得更加猛烈。

尤其是被認為最先被顛覆的搜索引擎領域，產(chǎn)學研界都蠢蠢欲動，對可預見的趨勢展開激辯。

沒有了用戶點擊，內(nèi)容提供商/廣告該怎么辦？未來將靠什么來賺錢？

對話即入口的交互方式，操作系統(tǒng)是不是就無需存在了？

傳統(tǒng)的智能推薦和搜索，又該往何處去？
……

帶著這些問題，CCF CTO Club最新一期CCF C3來到了小紅書，數(shù)位在推薦、搜索領域深耕多年的技術專家，聚焦于當下信息分發(fā)、推薦搜索等熱議話題，進行了分享和探討。

最終共吸引16000+人在線觀看，直播數(shù)據(jù)創(chuàng)歷史新高。接下來就帶你來一文看盡~

大模型帶來真正的個性化體驗

ChatGPT會取代搜索引擎嗎？這個最先叩響的產(chǎn)業(yè)問題，也在會上進行了深入的探討。

他們都對ChatGPT乃至大模型采取積極擁抱、但同樣謹慎審視的姿態(tài)。這其中最常提及的一個關鍵詞，就是個性化。

天津大學教授郝建業(yè)表示，傳統(tǒng)的推薦系統(tǒng)基于有限的用戶數(shù)據(jù)，通過過擬合的方式進行相似內(nèi)容的分發(fā)，但其實無法真正了解用戶的心智變化。而有了大模型加持，能更好地理解用戶，帶來真正的智能化、個性化和人性化的體驗。

具體提及到的一個重要價值，小紅書社區(qū)技術負責人夏侯談到了對于搜索中長尾問題的應用。

傳統(tǒng)的通用搜索中長尾信息不足，這種情況下ChatGPT可以自動生產(chǎn)內(nèi)容補充，以滿足更多個性化需求。正如New Bing中制定菜譜、旅行計劃等。

事實上，這恰好與小紅書的搜索方式不謀而合。更多通用搜索不能解決的長尾問題，在小紅書上都能找到答案?；诖耍矘嫵闪诵〖t書不同于其他搜索的本質區(qū)別。

小紅書技術副總裁風笛在現(xiàn)場分享了他們背后推薦系統(tǒng)的技術創(chuàng)新與實踐，可謂是滿滿干貨。

據(jù)透露，目前小紅書app內(nèi)搜索用戶滲透率行業(yè)第二。產(chǎn)品形式主要是最上邊的搜索框以及下邊的信息流。內(nèi)容形態(tài)包括圖文、視頻、直播、商品等多元的內(nèi)容。對應的機遇與挑戰(zhàn)主要來自四個方面：

多模異構內(nèi)容推薦、去中心化分發(fā)、興趣多樣性和人群破圈、成本控制。

首先圍繞場景特點，包括多模異構內(nèi)容以及雙列的產(chǎn)品形態(tài)。風笛坦言，雙列的方式并非是一個高效的產(chǎn)品形態(tài)，是因為給到用戶可選擇的權利才堅持到現(xiàn)在。

但推薦或搜索本質上是高效的信息分發(fā)和信息匹配。小紅書又是如何解的呢？

實際設計上主要包括三個方面：從多元異構價值對齊公式到模型融合的轉變；流量分配測，從PID到在線流量匹配；重排側，則主要是Whole Page重排。

具體到多模態(tài)內(nèi)容理解這一方面，傳統(tǒng)人工定義的層次化標簽，無法完整刻畫圖文和視頻內(nèi)容。

風笛透露，他們技術團隊基于10億量級的圖文、視頻筆記進行多模態(tài)預訓練，隨后運用到推薦系統(tǒng)中，獲得內(nèi)容的向量化表征。未來將打通內(nèi)容表征和行為表征，兩域聯(lián)合建模。

另一個公認的技術挑戰(zhàn)來自新內(nèi)容冷啟——新內(nèi)容行為稀疏，行為表征學習不充分。他們一直在實時推薦上實現(xiàn)了分鐘級別的更新。

與此同時，在多目標融合這塊，替換掉傳統(tǒng)人工排序公式，通過AutoML領域的ES算法來尋找到最優(yōu)的個性化融合參數(shù)。

在興趣多樣性方面，風笛表示會設置各種指數(shù)遺忘策略，對用戶的實時興趣做降權，來平衡用戶的長短期興趣。

除此之外，還分享了用戶增長以及成本控制、算力優(yōu)化等方面的技術實踐，以及留下兩個問題探討：

如何做高效的興趣檢索？以及如何做留存建模？

搜推系統(tǒng)將往何處去？

事實上，整個工業(yè)界也都面臨著這兩個難題，而且隨著ChatGPT時代的到來，挑戰(zhàn)也更加艱巨。

人機對話將更加頻繁，在實際業(yè)務場景中，如何在億級商品中抽取用戶感興趣的候選商品？搜推系統(tǒng)的召回階段就非常關鍵，直接決定了后續(xù)精排階段的成功與否。

形象地來說，召回決定了精排階段的巧婦會不會面臨無米之炊。

武漢大學李晨亮教授回溯了近幾年搜推系統(tǒng)召回階段的主要進展和主流方法，并探討了未來的前沿趨勢。

他談到，當前召回的主要目標，就是在保證低時延的情況下，更大地利用好用戶的場景信息和他的歷史行為數(shù)據(jù)。隨后重點談到了自深度學習興起，召回逐步經(jīng)歷了表示學習、交互式學習兩種方法。

以表示學習為例，主要有四個研究方向：雙塔模型/深度網(wǎng)絡模型、多興趣建模、長尾數(shù)據(jù)處理、外部數(shù)據(jù)豐富場景語義，以此提煉商品和用戶的表征，識別用戶需求。

而在這兩年興起的交互式學習方面，李晨亮教授分享了他們目前的做法，簡言之就是在商品側和產(chǎn)品側做交互式學習來分別提升他們的表征，進而來優(yōu)化計算、降低開銷。

未來，低時延依舊是一個無法逾越的障礙，召回也將來到大模型Cover一切場景或任務，也就是多場景、多任務學習的一種趨勢。

用戶大模型可破之？

在主題報告分享結束后，來自中國人民大學教授徐君、天津大學教授郝建業(yè)、中科院副研究員敖翔、匯量科技首席人工智能官朱小強、小紅書社區(qū)技術負責人夏侯全面展望了智能推薦和搜索的未來。

首先論及的，就是大模型、AIGC的爆發(fā)帶來的機遇和挑戰(zhàn)。

搜索研究方向的徐君教授結合New Bing的例子談到大模型改變傳統(tǒng)互聯(lián)網(wǎng)的搜索習慣和廣告盈利模式。

以往是以點擊網(wǎng)頁排序的方式進入到內(nèi)容提供商的網(wǎng)頁。網(wǎng)站可以依靠廣告來維持他們的運營。未來用戶不愿點擊，搜索引擎不能為網(wǎng)站引流，他們將靠什么活下去？

敖翔則表示偏樂觀的態(tài)度，他提出要積極擁抱新工具，一方面不要完全相信模型給出的結果，需要根據(jù)不同場景進行評估，另一方面要多思考如何利用大模型，實現(xiàn)更多的價值。

來自工業(yè)界的朱小強持短期保守、長期激進的態(tài)度。短期內(nèi)，大語言模型為企業(yè)提供私有數(shù)據(jù)之外的常識；而從長期來看，當人們獲取信息方式發(fā)生變化，信息分發(fā)技術會迎來新的沖擊，原有的推薦形態(tài)和模型可能需要重新構建，這是一把懸在我們頭上的劍。

夏侯提出未來3至5年面臨的挑戰(zhàn)：傳統(tǒng)的搜索和推薦都是基于用戶點擊觸發(fā)的行為模式。過去單純以用戶點擊而驅動的算法分發(fā)模式，正走向用戶行為+內(nèi)容理解雙輪并驅的分發(fā)模式，能否真正實現(xiàn)搜推一體化，更好地提升用戶行為效率呢？

既然趨勢已定，智能推薦和搜索引擎又該往何處去呢？

敖翔與郝建業(yè)教授都談到了用戶大模型的趨勢。

敖翔表示不管是做什么應用，歸根結底都是在做用戶畫像。

能不能做一些使用者的基礎大模型，理解用戶行為，把用戶很多數(shù)據(jù)拿出來做分析，然后去做更精準的畫像。這是下一階段應該考慮的。

郝建業(yè)教授則是談及RLHF（基于人類反饋的強化學習）對推薦系統(tǒng)的啟發(fā)。

他談到，以往因為數(shù)據(jù)的片面和有限，導致用戶獎勵函數(shù)也就是興趣建模非常不準。

現(xiàn)在一方面，可從跨場景用戶的聯(lián)合建模這個角度來思考；另一方面，基于用戶長期興趣建模。將不同場景數(shù)據(jù)真正融合起來，去訓練一個推薦領域的用戶獎勵函數(shù)大模型，但這就要求企業(yè)各部門數(shù)據(jù)的打通以及數(shù)據(jù)的高質量。

最后，針對這段時間高密度的技術爆發(fā)，每位專家都對未來的智能推薦進行了展望。

夏侯表示如果ChatGPT代表的是一種未來的操作系統(tǒng)，那么推薦有可能變成一種底層操作系統(tǒng)的基本能力，就像今天的文檔打開或存儲一樣，將會反映在生活的方方面面，而非現(xiàn)在某個APP的幾個頁面。

朱小強和郝建業(yè)都談到了交互方式的改變。

朱小強則談到了交互方式的重構，一切服務都會以新的入口的方式呈現(xiàn)。正如當年搜索引擎誕生，圍繞在旁的是“是能力還是入口”這一思考。

此外，他還談到現(xiàn)在都在說ChatGPT代表著操作系統(tǒng)，如果更激進一點的看法可能遠遠不止這樣，我們?yōu)槭裁催€需要操作系統(tǒng)呢？

敖翔也認同“入口”這一觀點，他感嘆既然觀點就這么趨同了，那就得自我革命了——看準了直接往里殺，別猶豫。

郝建業(yè)則表示，以往大家習慣于用鼠標和鍵盤，現(xiàn)在變成觸屏，未來這些東西可能都不復存在。

徐君教授則朝著更多領域方向展開想象。以往人工智能都是從其他行業(yè)“薅羊毛”借鑒靈感，現(xiàn)在是否有可能朝著反向輸出，比如幫助了解大腦，真正變成一件科學的事情。

關于CCF C3

CCF C3活動是由中國計算機學會CCF CTO Club發(fā)起的，旨在聯(lián)結企業(yè)CTO及高級技術人才和資深學者，每次以一個技術話題為核心，走進一家技術領先企業(yè)。

目前為止，CCF C3已舉辦18期活動，先后走進京東、小米、搜狗、百度、亞馬遜、阿里巴巴、聯(lián)想、OPPO、訊飛、騰訊、并行等企業(yè)。