Facebook開源了超大規(guī)模圖嵌入算法，上億個(gè)節(jié)點(diǎn)也能快速完成
也不用GPU。
方栗子 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
圖，是很有用的數(shù)據(jù)結(jié)構(gòu)，用節(jié)點(diǎn)?(Node) 和邊?(Edge) 織成一張網(wǎng)。比如，知識圖譜就是這樣的網(wǎng)。
處理這樣的數(shù)據(jù)，要用到圖嵌入?(Graph Embedding) ：把高維的網(wǎng)絡(luò)，轉(zhuǎn)換成低維的向量。處理之后，機(jī)器學(xué)習(xí)模型才能輕易食用。
如果像上圖這樣，只有幾個(gè)節(jié)點(diǎn)，十幾條邊，圖嵌入沒什么難度。
如果有幾十億個(gè)節(jié)點(diǎn)，幾萬億條邊呢？傳統(tǒng)的圖嵌入方法就捉急了。
但現(xiàn)在，F(xiàn)acebook開源了叫做PyTorch-BigGraph?(簡稱PBG) 的新工具。
有了它，再大的圖 (原文是arbitrarily large，任意大) 都能快速生成圖嵌入。而且，完全不需要GPU。
開源模型除了可以自己訓(xùn)練之外，還有拿7,800萬節(jié)點(diǎn)的Wikidata數(shù)據(jù)預(yù)訓(xùn)練過的模型，可以直接下載來用。
PBG發(fā)表之后，小伙伴們紛紛奔走相告：
LeCun老師還親自轉(zhuǎn)發(fā)了兩次。
如何養(yǎng)成
PBG是一個(gè)分布式系統(tǒng)，用1.2億個(gè)節(jié)點(diǎn)的完整FreeBase知識圖譜來訓(xùn)練的。
訓(xùn)練過程中，PBG會吃進(jìn)圖上所有邊?(Edge) 的大列表，每條邊都是用它兩端的節(jié)點(diǎn)來定義，一個(gè)是源 (Source) ，一個(gè)是目標(biāo) (Target) 。定義中也有兩點(diǎn)之間的關(guān)系?(Relation Type) 。
然后，PBG給每一個(gè)節(jié)點(diǎn)，輸出一個(gè)特征向量 (就是嵌入) ，讓兩個(gè)相鄰的節(jié)點(diǎn)在向量空間中離得近一些，讓不相鄰節(jié)點(diǎn)的離遠(yuǎn)一些。
這樣一來，那些周圍環(huán)境分布相近的節(jié)點(diǎn)，在向量空間里的位置也會彼此靠近，圖原本要表達(dá)的意思就保留下來了。
另外，針對每種不同的關(guān)系，“近似度得分 (Proximity Score) ”都可以定制不同的計(jì)算方法。這樣，一個(gè)節(jié)點(diǎn)的嵌入，就可以在不同種類的關(guān)系里共享了。
快一點(diǎn)，再快一點(diǎn)
要快速處理大規(guī)模的圖數(shù)據(jù)，PBG用了這幾個(gè)法術(shù)：
一是圖分區(qū)?(Graph Partitioning) ，這樣就不需要把整個(gè)模型加載到內(nèi)存里了。在圖嵌入質(zhì)量不損失的情況下，比不分區(qū)時(shí)節(jié)省了88%的內(nèi)存占用。二是一臺機(jī)器進(jìn)行多線程計(jì)算。三是在多臺機(jī)器上同時(shí)跑，在圖上各自跑一個(gè)不相鄰的區(qū)域。四是批次負(fù)采樣?(Batched Negative Sampling) ，能讓一臺CPU每秒處理100萬條邊，每條邊100次負(fù)采樣。
訓(xùn)練完成之后，在FB15k、Youtube、LiveJournal等等圖譜上，都測試過。
團(tuán)隊(duì)說，PBG和大前輩們的圖嵌入質(zhì)量相當(dāng)，但需要的時(shí)間明顯縮短了。
你也試一試吧
你也去訓(xùn)練一個(gè)PBG吧。
反正，也不用GPU。
不想訓(xùn)練的話，還有用完整WikiData預(yù)訓(xùn)練的模型。
你需要的傳送門，都在這里了。
代碼傳送門：
https://github.com/facebookresearch/PyTorch-BigGraph
食用索引：
https://torchbiggraph.readthedocs.io/en/latest/
論文傳送門：
https://arxiv.org/abs/1903.12287
博客傳送門：
https://ai.facebook.com/blog/open-sourcing-pytorch-biggraph-for-faster-embeddings-of-extremely-large-graphs/
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- 亞馬遜在華拓展云計(jì)算團(tuán)隊(duì)，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- AI獨(dú)角獸云知聲，已完成一期科創(chuàng)板IPO輔導(dǎo)2019-10-17
- IDC：今年上半年中國公有云服務(wù)市場規(guī)模達(dá)54.2億美元2019-11-07
相關(guān)閱讀
8億參數(shù)，刷新ImageNet紀(jì)錄：何愷明團(tuán)隊(duì)開源最強(qiáng)ResNeXt預(yù)訓(xùn)練模型
ImageNet已經(jīng)成了微調(diào)用的小數(shù)據(jù)集......
站.jpg)
逆天語言模型GPT-2最新開源：345M預(yù)訓(xùn)練模型和1.5B參數(shù)都來了
這一次，你也可以將最強(qiáng)語言模型，用到自己的項(xiàng)目中了
