字節(jié)跳動(dòng)推薦平臺(tái)技術(shù)公開，項(xiàng)亮：底層架構(gòu)有時(shí)比上層算法更重要

量子位的朋友們 2021-12-03 14:16:22 來源：量子位

允中 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

字節(jié)跳動(dòng)已正式吹響進(jìn)軍云計(jì)算市場(chǎng)號(hào)角。

12月2日，火山引擎全系列云產(chǎn)品亮相，共推出了78項(xiàng)云產(chǎn)品服務(wù)，涵蓋云基礎(chǔ)、視頻及內(nèi)容分發(fā)、數(shù)據(jù)中臺(tái)、開發(fā)中臺(tái)、人工智能等五大類。

火山引擎云產(chǎn)品以性價(jià)比、提升業(yè)務(wù)價(jià)值作為重要賣點(diǎn)。發(fā)布會(huì)上，字節(jié)跳動(dòng)AML（應(yīng)用機(jī)器學(xué)習(xí)）負(fù)責(zé)人項(xiàng)亮出現(xiàn)在“新云?智享盛宴”分會(huì)場(chǎng)，詳細(xì)介紹了智能推薦如何結(jié)合云服務(wù)為企業(yè)創(chuàng)造價(jià)值，并首次向外界分享了火山引擎智能推薦系統(tǒng)的技術(shù)演進(jìn)和應(yīng)用實(shí)踐。

項(xiàng)亮是《推薦系統(tǒng)實(shí)踐》的作者，其所在的字節(jié)跳動(dòng)AML團(tuán)隊(duì)，為火山引擎的智能推薦技術(shù)服務(wù)提供了全力支持。

以下為項(xiàng)亮演講全文。

項(xiàng)亮演講原文

很多人理解推薦就是推薦算法，機(jī)器學(xué)習(xí)模型怎么做的、這些模型怎么調(diào)參，覺得這些很重要。其實(shí)我想說，推薦系統(tǒng)里底層的工程架構(gòu)、系統(tǒng)架構(gòu)非常重要，某種程度上會(huì)超過上層的算法。

我們?cè)趦?nèi)部很多實(shí)踐里也看到，底層工程架構(gòu)、系統(tǒng)架構(gòu)如果出現(xiàn)問題，對(duì)業(yè)務(wù)造成的影響是大于算法的。這就是火山引擎為什么要推出推薦系統(tǒng)平臺(tái)這樣一個(gè)偏底層架構(gòu)的產(chǎn)品。

我給大家分三個(gè)方面介紹一下智能推薦平臺(tái)：首先介紹推薦在不同產(chǎn)品、不同業(yè)務(wù)中究竟發(fā)揮什么作用，以及智能推薦平臺(tái)會(huì)給企業(yè)帶來什么價(jià)值；然后我會(huì)稍微詳細(xì)介紹一下平臺(tái)各個(gè)模塊大概是做什么的，具有什么能力；最后介紹一些我們客戶使用推薦系統(tǒng)的案例。

可以做選擇的地方，就可以做推薦

我做推薦系統(tǒng)已經(jīng)十幾年了。很早之前，很多人認(rèn)為推薦就是錦上添花的工作。但是在今日頭條、抖音這些產(chǎn)品的成長(zhǎng)中，個(gè)性化推薦發(fā)揮了重要的作用。推薦也逐漸成為了互聯(lián)網(wǎng)信息分發(fā)的主流模式。

信息分發(fā)到現(xiàn)在一共經(jīng)過了四個(gè)階段，這些階段一方面有先后順序，另一方面也不完全是替代關(guān)系。比如最早的門戶時(shí)代，信息分發(fā)的方式是分類索引；到了谷歌做搜索引擎，這是基于用戶的主動(dòng)性，通過搜索的方式發(fā)現(xiàn)信息；再往后出現(xiàn)了臉書、YouTube，還有國(guó)內(nèi)的微博、微信這些產(chǎn)品，用戶基于訂閱關(guān)注獲得信息；然后就是推薦引擎，從“人找信息”變成了“信息找人”。這是在移動(dòng)互聯(lián)網(wǎng)時(shí)代快速發(fā)展起來的，現(xiàn)在已經(jīng)成為了比較主流的信息分發(fā)方式。

所有可以選擇的地方，為了解決用戶選擇困難，基本都可以上推薦系統(tǒng)。比如今日頭條，用戶看新聞，肯定是適合用推薦的，還有大家熟悉的短視頻。分類信息也可以做推薦，信息的分類一般會(huì)有很多，手機(jī)屏幕再大也是有限的，一屏展示不了多少內(nèi)容。電商的熱門推薦也一樣。

說起電商的推薦，商品詳情頁這個(gè)地方，以前最早亞馬遜做了打包交叉銷售，當(dāng)用戶買了一本書的時(shí)候，可以推薦別的書。最開始大家只考慮推薦的商品和當(dāng)前買的東西是否相關(guān)，但現(xiàn)在都會(huì)考慮個(gè)性化推薦，不僅要和當(dāng)前商品相關(guān)，還要和消費(fèi)者的興趣產(chǎn)生關(guān)系。

新用戶冷啟動(dòng)也已經(jīng)涉及到推薦。一般有產(chǎn)品會(huì)專門做精選頁面、熱門頁面給新用戶。雖然是新用戶，也可以通過推薦的技術(shù)提升效果。像大屏，現(xiàn)在智能電視很普及，我們家已經(jīng)沒有傳統(tǒng)電視了，智能電視的節(jié)目也是需要推薦的。

另外還有社交、應(yīng)用市場(chǎng)、音視頻、小說的推薦，基本上可以看到，凡是可以做選擇的地方都可以做推薦，對(duì)效果的影響也很大。

定好目標(biāo)，剩下的交給機(jī)器學(xué)習(xí)

智能推薦可以幫助客戶提升流量活躍度、銷售貢獻(xiàn)度和效率。但是，搭建整個(gè)推薦系統(tǒng)是非常耗費(fèi)資源的事情。你做推薦系統(tǒng)，肯定要做得更實(shí)時(shí)，特征回流要快，這些東西都消耗大量的人力成本，試錯(cuò)成本也很大。

企業(yè)可以直接在成熟的推薦平臺(tái)上做推薦系統(tǒng)。字節(jié)跳動(dòng)每天增加1500次AB test，大量的實(shí)驗(yàn)可以規(guī)避各種錯(cuò)誤，現(xiàn)在把推薦系統(tǒng)平臺(tái)通過火山引擎開放出來，降低大家的試錯(cuò)成本。

火山引擎智能推薦平臺(tái)，第一個(gè)特點(diǎn)是端到端。這個(gè)詞這些年經(jīng)常有人提，我估計(jì)有些人還不是特別理解。十年前業(yè)界的推薦做不到端到端，比如有人買了《射雕英雄傳》，就推薦一本和《射雕英雄傳》相似的書，基于當(dāng)時(shí)的技術(shù)和建模方式，直接就是通過算法工程師自己腦子里的策略實(shí)現(xiàn)的。

現(xiàn)在的技術(shù)是可以做到直接提升你想提升的業(yè)務(wù)目標(biāo)。比如你想實(shí)現(xiàn)什么效果，模型可以直接預(yù)估這個(gè)目標(biāo)，最終結(jié)果按照預(yù)估的結(jié)果排。先把目標(biāo)定下來，剩下的都是機(jī)器學(xué)習(xí)的事兒，這就是端到端，這個(gè)能力會(huì)全流程提供給客戶。

第二是實(shí)時(shí)性，比如消費(fèi)者購(gòu)買商品的行為，下次給他推薦的時(shí)候，能不能用上剛剛發(fā)生的行為，這也很關(guān)鍵。業(yè)界開始做實(shí)時(shí)的推薦系統(tǒng)，可能就是2013、2014左右的時(shí)候。據(jù)我所知，現(xiàn)在很多企業(yè)并沒有做到完全的實(shí)時(shí)，大部分人還是今天訓(xùn)練幾個(gè)模型，明天就按照今天的模型預(yù)估用戶的興趣。我們所有系統(tǒng)都是實(shí)時(shí)的，特征實(shí)時(shí)更新、模型實(shí)時(shí)訓(xùn)練，可以給用戶實(shí)時(shí)的反饋。

再往下就是大規(guī)模。我們?cè)趦?nèi)部具備的處理大規(guī)模數(shù)據(jù)的推薦系統(tǒng)、廣告系統(tǒng)的能力，對(duì)外會(huì)同步提供。

然后是行業(yè)定制。我們提供了一些行業(yè)模板，包括內(nèi)容、電商等我們有實(shí)踐的行業(yè)。當(dāng)然有很多行業(yè)我們沒有做，但是智能推薦平臺(tái)上會(huì)基于我們對(duì)外合作中積累的行業(yè)經(jīng)驗(yàn)，給每個(gè)行業(yè)提供現(xiàn)成的模板，希望大家配置的時(shí)候不用配太多東西，就可以快速構(gòu)建推薦系統(tǒng)。

另外，很多企業(yè)都希望自己有研發(fā)能力，希望系統(tǒng)不要太黑盒了。我們提供的平臺(tái)是兼具黑白盒能力的平臺(tái)，你既可以實(shí)現(xiàn)：什么都不管，就把數(shù)據(jù)接對(duì)了，目標(biāo)定對(duì)了，系統(tǒng)就可以做到；你也可以實(shí)現(xiàn)：深度開發(fā)，比如系統(tǒng)里面調(diào)調(diào)模型，加加特征，這個(gè)也是支持的。

接下來是更加細(xì)節(jié)的指標(biāo)，比如模型種類，支持很多種不同的模型。我們對(duì)各種模型都做了充分的內(nèi)部探索，提供出來的是真正有用的。比如多目標(biāo)，現(xiàn)在推薦系統(tǒng)往往不只是有一個(gè)目標(biāo)，我們提供了多目標(biāo)的支持。還有很多比較細(xì)節(jié)的技術(shù)。

用好推薦平臺(tái)，提升的不僅僅是營(yíng)收

字節(jié)內(nèi)部有很多產(chǎn)品，都是通過推薦中臺(tái)把產(chǎn)品在底層打通的。比如A產(chǎn)品上有一個(gè)方法特別有用，B產(chǎn)品借鑒過去也很快，我們希望把這樣的能力同步到對(duì)外部客戶的服務(wù)中?；鹕揭娴闹悄芡扑]平臺(tái)，就是基于字節(jié)推薦中臺(tái)打造的。

在主要功能上，火山引擎智能推薦平臺(tái)提供的推薦類型非常豐富，黑白盒功能也介紹過，第三就是校驗(yàn)和歸因分析。做推薦，數(shù)據(jù)是非常關(guān)鍵的，比如給平臺(tái)的數(shù)據(jù)是錯(cuò)的，那推薦肯定做不好，往往這一步是很多推薦系統(tǒng)工作中最耗時(shí)的部分，所以我們平臺(tái)會(huì)給大家提供校驗(yàn)和歸因功能，方便大家把數(shù)據(jù)做對(duì)。另外大家在實(shí)際工作中不只是模型，還有各種各樣的運(yùn)營(yíng)策略，我們也提供這種能力。

最后講一些客戶案例：

一家電商客戶，在很多位置接入了信息流的個(gè)性化推薦。比如個(gè)性化搜索，以前搜索和推薦聽起來是兩個(gè)不同的技術(shù)，但是在電商里，搜索結(jié)果也需要個(gè)性化。火山引擎的智能推薦平臺(tái)，幫助這家客戶在推薦場(chǎng)景中獲得人均GMV100%的增長(zhǎng)，提升了平臺(tái)收入和用戶體驗(yàn)。

電視現(xiàn)在也非常互聯(lián)網(wǎng)化了，也可以接推薦系統(tǒng)。比如一些客戶關(guān)心時(shí)長(zhǎng)和付費(fèi)轉(zhuǎn)化率，這是可以通過機(jī)器學(xué)習(xí)模型預(yù)估的，也取得了不錯(cuò)的效果，無論是首頁的個(gè)性化推薦還是頻道頁推薦、詳情頁推薦。

此外還有內(nèi)容社區(qū)、廣告等案例，最后講的一個(gè)是手機(jī)廠商的應(yīng)用商店，這是我們技術(shù)toB做得最早的業(yè)務(wù)，從幾年前就開始做了?？蛻粼谑褂梦覀兤脚_(tái)過程中，研發(fā)團(tuán)隊(duì)的能力也得到了提升，從這兩條曲線就可以看到，雙方效果的差距越來越小。這也說明，智能推薦平臺(tái)的作用不僅是提升營(yíng)收，還能夠?yàn)榭蛻魟?chuàng)造更多價(jià)值。

希望未來我們有機(jī)會(huì)為更多客戶服務(wù)。我的分享就到這里，謝謝大家！

— 完 —