騰訊大數(shù)據(jù)平臺，要“沒人管”了

十三 2021-04-21 12:32:06 來源：量子位

金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

接入消息量：55萬億

實時計算：65萬億

分析任務(wù)：1500萬

……

可以想象嗎？這些萬億級的數(shù)字，竟是一家企業(yè)每天都要處理的數(shù)據(jù)量。

沒錯，這就是騰訊大數(shù)據(jù)。

但更讓人意想不到的是，它現(xiàn)在打算讓如此海量的數(shù)據(jù)分析、處理工作，進(jìn)入“無人駕駛”狀態(tài)。

數(shù)據(jù)量之大暫且不提，單就安全這一塊，不得拿捏到位嗎？

天工，騰訊的第四代大數(shù)據(jù)平臺

原來，騰訊大數(shù)據(jù)的底氣，來源于其最新發(fā)布的計算平臺：

名曰騰訊大數(shù)據(jù)-天工，是騰訊自研的第四代數(shù)智融合計算平臺。

而縱觀對整個平臺的介紹，可以說“打通”一詞貫穿了所有。

具體而言，騰訊大數(shù)據(jù)要打通的是數(shù)據(jù)，是技術(shù)。

理想雖美好，但現(xiàn)實很殘酷。

細(xì)思便知，數(shù)據(jù)結(jié)構(gòu)等不一致帶來的“孤島”情況、數(shù)據(jù)安全等存在的隱患，以及不同技術(shù)融合背后的難度……

困難的程度，就不言而喻了。

那么此局又該如何破解？

一言蔽之，三步走：

一個“安全”，一個“統(tǒng)一”，最后一個“智能”。

先來談?wù)?strong>安全。

目前“數(shù)據(jù)孤島”的情況較為普遍，一來從邏輯角度來看，因不同部門、組織對數(shù)據(jù)的定義、理解的差別而形成；二來從物理角度，因各種數(shù)據(jù)的獨立存儲、獨立維護(hù)而產(chǎn)生。

但欲消除“數(shù)據(jù)孤島”，一個大前提就是要保障數(shù)據(jù)安全，而且是重中之重的那種。

自研的隱私計算技術(shù)，就是騰訊大數(shù)據(jù)解決這一難點的“錦囊”。特點如下：

• 全方位保護(hù)：從機器學(xué)習(xí)到大數(shù)據(jù)分析，全場景提供保護(hù)
• 去中心化架構(gòu)：沒有“中間商”，避免隱私泄露風(fēng)險
• 軟硬件加密雙保險：高強度數(shù)據(jù)加密+TEE硬件

或許這樣的描述，在感官上并不夠直接，那么接下來的一個數(shù)據(jù)便可體現(xiàn)隱私計算對安全要求的高度。

例如RSA密鑰長度在安全性極高的金融領(lǐng)域，尚且是2048bit；而騰訊大數(shù)據(jù)隱私計算所采用的長度，則達(dá)到了3072bit！

除此之外，這項技術(shù)也早已有了“實踐性的檢驗”。

在iDash 2020世界隱私計算大賽中，騰訊便憑借此技術(shù)奪得冠軍，這也是中國企業(yè)在此項比賽中的第一次奪冠。

再來談?wù)?strong>統(tǒng)一。

除了數(shù)據(jù)之外，騰訊大數(shù)據(jù)要在技術(shù)層面也要做到打通，具體而言，就是將人工智能（A）和大數(shù)據(jù)?（B）融為一體。

這也是反映出了目前業(yè)界存在的一個現(xiàn)狀，也就是“A”和“B”的框架技術(shù)沒有得到很好的復(fù)用。

雖然二者看似是“貌合神離”的樣子，但其實它們的本質(zhì)技術(shù)是類似的，例如：

• 均可抽象為DAG（有向無環(huán)圖）
• 要素相同：數(shù)據(jù)、算子、數(shù)據(jù)流
• 均可算子合并、及時編譯、執(zhí)行優(yōu)化

因此，通過將人工智能和大數(shù)據(jù)技術(shù)的打通，便可以更好地適配CPU、GPU、NPU、FPGA等硬件。

最后，是智能。

騰訊大數(shù)據(jù)在這一步的目標(biāo)較為清晰：

萬億級數(shù)據(jù)分析將實現(xiàn)“自動駕駛”。

這也是為了解決目前“大數(shù)據(jù)平臺依賴人工”的問題。

為此，騰訊正在構(gòu)建平臺大腦，推動萬億級大數(shù)據(jù)分析逐步實現(xiàn)“自動化運營”。

究其本質(zhì)，這也是一個從“被動”到“主動”的轉(zhuǎn)變過程，即從“快速發(fā)現(xiàn)大數(shù)據(jù)運行問題”到“主動發(fā)現(xiàn)問題”，再到“主動解決問題”。

據(jù)介紹，騰訊的平臺大腦預(yù)計可讓數(shù)據(jù)中心研發(fā)效率提升60%，運營效率提升50%，平臺服務(wù)質(zhì)量提升80%。

……

但總歸“第四代數(shù)智融合計算平臺”是一個較大的概念，是否有更為具體的產(chǎn)品？

有的，Angel PowerFL，騰訊借此之際，還正式推出了這款安全聯(lián)合計算平臺。

據(jù)了解，Angel PowerFL擁有全棧的聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)功能：

支持多方聯(lián)邦邏輯回歸、XGBoost、PCA、用戶自定義神經(jīng)網(wǎng)絡(luò)模型，支持多方聯(lián)邦模型在線serving和模型管理，支持聯(lián)合數(shù)據(jù)分析。

在隱私保護(hù)方面，Angel PowerFL提供了多種機制的選擇，包括同態(tài)加密、秘密分享、差分隱私、可信執(zhí)行環(huán)境（如SGX）等。

在不同場景下，可以有針對性地選擇不同的安全保護(hù)級別。

在迭代和部署方面，Angel PowerFL采用的是“計算層和服務(wù)層分離”的方式。

這樣做的目的也為了更好地支持多種方式部署、靈活資源擴縮容。

而且所有的服務(wù)組件都是部署在K8S集群上，這樣一來，就可以方便對接TensorFlow和PyTorch等常用深度學(xué)習(xí)框架，也利于進(jìn)行分布式深度學(xué)習(xí)模型訓(xùn)練和推理。

最后，騰訊大數(shù)據(jù)聯(lián)合騰訊研究院還推出了《騰訊隱私計算白皮書》，從多個方面，包括發(fā)展背景、技術(shù)體系、重點應(yīng)用行業(yè)和場景、數(shù)據(jù)安全合規(guī)、未來發(fā)展前景等，對隱私計算做了深入的解讀和研究。

12年更新四代，每一步都做了什么？

正如剛才提到的，騰訊大數(shù)據(jù)的計算平臺已經(jīng)衍變到了“第四代”。

而縱觀發(fā)展歷程，此次的迭代并非是一蹴而就，而是step by step。

早在2009年，騰訊大數(shù)據(jù)便推出了第一代計算平臺，主要模式是離線計算，主要依托Hadoop的生態(tài)，優(yōu)化范圍也是限于局部。

耗時較長，是第一代計算平臺的劣勢，處理任務(wù)的時間長達(dá)小時甚至是天的級別。

基于此，從2012年開始，騰訊大數(shù)據(jù)便著手于實時計算，并推出了第二代計算平臺。

當(dāng)時，基于Spark/Storm等實時計算處理框架，讓騰訊大數(shù)據(jù)在處理任務(wù)上步入了“毫秒時代”。

而到了2015年左右，深度學(xué)習(xí)在全球可謂是刮起了一陣熱潮，在此趨勢的推動下，騰訊大數(shù)據(jù)推出了第三代計算平臺。

與此同時，自研機器學(xué)習(xí)框架Angel，也成為國內(nèi)第一個從Linux基金會“畢業(yè)”的AI項目。

而到了2020年，騰訊大數(shù)據(jù)有了新的思考。

一方面，是來源于數(shù)據(jù)規(guī)模的不斷擴大，已經(jīng)到了需要將流式計算和批量計算做融合、AI體系和大數(shù)據(jù)體系做融合的階段。

另一方面，是來源于對數(shù)據(jù)隱私的思考：

如何在數(shù)據(jù)“足不出戶”的情況下，既做到數(shù)據(jù)流、應(yīng)用流和交易流的融合，又能保障數(shù)據(jù)的隱私安全。

不難看出，騰訊大數(shù)據(jù)計算平臺到現(xiàn)在的發(fā)展，實則是基于每一階段的“硬需求”而做出的變化。

與此同時，也完成了從依賴開源，到自主研發(fā)的華麗轉(zhuǎn)身。

如何評價？

最后的一個問題：

該如何來看待騰訊第四代數(shù)智融合計算平臺？

首先，出發(fā)點是非常的清晰了。

大數(shù)據(jù)這座礦山的價值，在數(shù)智深度融合的當(dāng)下并沒有發(fā)揮全部的潛能，甚至很大一部分的能量還有待開發(fā)。

并且大數(shù)據(jù)已然成為新型基礎(chǔ)設(shè)施的重要組成部分，相關(guān)產(chǎn)業(yè)的發(fā)展正是迎來新階段的關(guān)鍵時刻。

安全地打破“數(shù)據(jù)孤島”，無疑會加速和提升大數(shù)據(jù)自身及產(chǎn)業(yè)的價值。

其次，讓數(shù)據(jù)分析“自動駕駛”是否夠靠譜。

眾所周知，在自動駕駛領(lǐng)域會對車輛按照智能化來分級，一個形象的比喻就是“L3是發(fā)現(xiàn)問題”、“L4是分析問題”，而“L5是自動解決問題”。

騰訊大數(shù)據(jù)對自身的技術(shù)現(xiàn)狀，則定位在了向L4邁步，并給出了對于未來“自動駕駛”的理解：

希望對平臺所有軟硬件指標(biāo)都能完整收集，并形成知識圖譜，平臺里任何一個問題和異常，平臺大腦能第一時間感知，根據(jù)問題圖譜進(jìn)行根因分析，精準(zhǔn)定位源頭，是軟件引起的還是硬件引起的，并能根據(jù)異常的不同影響級別，根據(jù)決策樹和現(xiàn)網(wǎng)知識庫形成最適合的處理方式。

這個過程，不需要人工來干預(yù)，都是平臺自身智能地在處理，極大地解放研發(fā)和運維人員的生產(chǎn)力。

其中之關(guān)鍵之一就是隱私計算，是另一個值得討論的話題。

雖然是由谷歌率先提出，但隨著理論與實踐的不斷碰撞，加之實際應(yīng)用場景規(guī)模之大，它已然不是最初的那個“味道”。

因此不得不說，隱私計算技術(shù)目前還是處于早期階段，需要解決和應(yīng)對的問題還有很多：

開源技術(shù)是否會最終再次趨同？技術(shù)演進(jìn)方向會怎樣？與法律法規(guī)又該如何碰撞？

騰訊大數(shù)據(jù)給出的答案是：

讓子彈再飛一會，鼓勵技術(shù)有百花齊放的狀態(tài)。