Facebook開源了超大規(guī)模圖嵌入算法，上億個節(jié)點也能快速完成
也不用GPU。
方栗子 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
圖，是很有用的數(shù)據(jù)結(jié)構(gòu)，用節(jié)點?(Node) 和邊?(Edge) 織成一張網(wǎng)。比如，知識圖譜就是這樣的網(wǎng)。
處理這樣的數(shù)據(jù)，要用到圖嵌入?(Graph Embedding) ：把高維的網(wǎng)絡(luò)，轉(zhuǎn)換成低維的向量。處理之后，機器學(xué)習(xí)模型才能輕易食用。
如果像上圖這樣，只有幾個節(jié)點，十幾條邊，圖嵌入沒什么難度。
如果有幾十億個節(jié)點，幾萬億條邊呢？傳統(tǒng)的圖嵌入方法就捉急了。
但現(xiàn)在，F(xiàn)acebook開源了叫做PyTorch-BigGraph?(簡稱PBG) 的新工具。
有了它，再大的圖 (原文是arbitrarily large，任意大) 都能快速生成圖嵌入。而且，完全不需要GPU。
開源模型除了可以自己訓(xùn)練之外，還有拿7,800萬節(jié)點的Wikidata數(shù)據(jù)預(yù)訓(xùn)練過的模型，可以直接下載來用。
PBG發(fā)表之后，小伙伴們紛紛奔走相告：
LeCun老師還親自轉(zhuǎn)發(fā)了兩次。
如何養(yǎng)成
PBG是一個分布式系統(tǒng)，用1.2億個節(jié)點的完整FreeBase知識圖譜來訓(xùn)練的。
訓(xùn)練過程中，PBG會吃進(jìn)圖上所有邊?(Edge) 的大列表，每條邊都是用它兩端的節(jié)點來定義，一個是源 (Source) ，一個是目標(biāo) (Target) 。定義中也有兩點之間的關(guān)系?(Relation Type) 。
然后，PBG給每一個節(jié)點，輸出一個特征向量 (就是嵌入) ，讓兩個相鄰的節(jié)點在向量空間中離得近一些，讓不相鄰節(jié)點的離遠(yuǎn)一些。
這樣一來，那些周圍環(huán)境分布相近的節(jié)點，在向量空間里的位置也會彼此靠近，圖原本要表達(dá)的意思就保留下來了。
另外，針對每種不同的關(guān)系，“近似度得分 (Proximity Score) ”都可以定制不同的計算方法。這樣，一個節(jié)點的嵌入，就可以在不同種類的關(guān)系里共享了。
快一點，再快一點
要快速處理大規(guī)模的圖數(shù)據(jù)，PBG用了這幾個法術(shù)：
一是圖分區(qū)?(Graph Partitioning) ，這樣就不需要把整個模型加載到內(nèi)存里了。在圖嵌入質(zhì)量不損失的情況下，比不分區(qū)時節(jié)省了88%的內(nèi)存占用。二是一臺機器進(jìn)行多線程計算。三是在多臺機器上同時跑，在圖上各自跑一個不相鄰的區(qū)域。四是批次負(fù)采樣?(Batched Negative Sampling) ，能讓一臺CPU每秒處理100萬條邊，每條邊100次負(fù)采樣。
訓(xùn)練完成之后，在FB15k、Youtube、LiveJournal等等圖譜上，都測試過。
團隊說，PBG和大前輩們的圖嵌入質(zhì)量相當(dāng)，但需要的時間明顯縮短了。
你也試一試吧
你也去訓(xùn)練一個PBG吧。
反正，也不用GPU。
不想訓(xùn)練的話，還有用完整WikiData預(yù)訓(xùn)練的模型。
你需要的傳送門，都在這里了。
代碼傳送門：
https://github.com/facebookresearch/PyTorch-BigGraph
食用索引：
https://torchbiggraph.readthedocs.io/en/latest/
論文傳送門：
https://arxiv.org/abs/1903.12287
博客傳送門：
https://ai.facebook.com/blog/open-sourcing-pytorch-biggraph-for-faster-embeddings-of-extremely-large-graphs/
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- 亞馬遜在華拓展云計算團隊，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- AI獨角獸云知聲，已完成一期科創(chuàng)板IPO輔導(dǎo)2019-10-17
- IDC：今年上半年中國公有云服務(wù)市場規(guī)模達(dá)54.2億美元2019-11-07
相關(guān)閱讀
