「GNN，簡直太爛了」，一位Reddit網(wǎng)友的深度分析火了

金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

圖神經(jīng)網(wǎng)絡(luò)（GNN）這個概念近幾年很火，確實(shí)如此。

然而今天，一位Reddit網(wǎng)友卻“背道而馳”地提出了強(qiáng)烈反對觀點(diǎn)。例如：

• 過去5年中，大多數(shù)GNN論文提供的結(jié)果，對從業(yè)者沒有太多幫助。

• 我太煩Node2Vec了，引用量不應(yīng)該達(dá)到7500這個數(shù)量。

• 就玩那些沒用的、小數(shù)據(jù)，效率提不上來，很難取得進(jìn)步。

• 添加一些新的圖層/超參數(shù)，編一個可愛的數(shù)學(xué)故事來解釋它為什么重要。

• 當(dāng)前的圖形數(shù)據(jù)結(jié)構(gòu)，簡直糟糕透了。

• 全局方法，是個死胡同。

• ……

點(diǎn)評、分析之犀利，瞬間引來了眾多網(wǎng)友的圍觀。

接下來便來細(xì)看下這位網(wǎng)友，為什么對GNN如此之厭惡。

（為了方便閱讀，以下內(nèi)容將以第一人稱進(jìn)行表述）

模型與壓縮有關(guān)

先來簡單回顧一下基礎(chǔ)知識。

大家都說圖（graph）是一種“非歐幾里得”數(shù)據(jù)類型，但事實(shí)并非如此。

一個正則圖（regular graph）只是思考特殊矩陣（鄰接矩陣）的另一種方式而已。

很奇怪的一點(diǎn)就是，當(dāng)我們看到滿滿都是實(shí)數(shù)的矩陣時候，就決定稱之為“非歐幾里得矩陣”。

但這背后也有其實(shí)際的原因，因?yàn)榇蠖鄶?shù)的圖都是非常稀疏的，也就是說矩陣?yán)锩娲蠖鄶?shù)的數(shù)值都是零。

基于這一點(diǎn)，矩陣?yán)锩娣橇愕臄?shù)字就顯得格外重要。這就使得問題更加接近離散數(shù)學(xué)，而不是簡單連續(xù)、梯度友好的數(shù)學(xué)。

如果你有一個全矩陣（full matrix），那事情就會變得相當(dāng)容易

如果我們暫時不考慮這些惱人的點(diǎn)，假設(shè)用一整個鄰接矩陣也沒什么大不了的，那我們就決絕了一大堆的問題。

首先，網(wǎng)絡(luò)節(jié)點(diǎn)嵌入（network node embedding）就不再是個難題了。一個節(jié)點(diǎn)只是矩陣中的一行，所以它已經(jīng)是一個數(shù)字向量。

其次，還解決了所有的網(wǎng)絡(luò)預(yù)測問題。

一個足夠強(qiáng)大且經(jīng)過良好調(diào)優(yōu)的模型，將提取網(wǎng)絡(luò)和我們附加到節(jié)點(diǎn)上的任何目標(biāo)變量之間的所有信息。

NLP也只是花式的矩陣壓縮

讓我們從圖形切入到NLP。

正如我們將要看到的，我們所做的大多數(shù)NLP問題，都可以用圖來表示，所以這并不是什么“題外話”。

首先，請注意，像Word2Vec和GloVe這樣的Ye Olde詞嵌入模型，只是矩陣分解。

GloVe 算法是對舊的詞袋（bag of word）矩陣的一種變形。它遍歷這些句子，并創(chuàng)建一個(隱含的)共現(xiàn)圖（co-occurence graph），其中節(jié)點(diǎn)是單詞，而邊則根據(jù)單詞在句子中出現(xiàn)的頻率進(jìn)行加權(quán)。

然后，GloVe對共生圖的矩陣表示進(jìn)行矩陣分解，Word2Vec在數(shù)學(xué)上是等價的。

甚至語言模型也只是矩陣壓縮

語言模型風(fēng)靡一時，可以說，它們主宰了 NLP 的大部分技術(shù)。

讓我們以BERT為例，BERT會根據(jù)句子的上下文，來預(yù)測了一個單詞：

這使得我們要構(gòu)造的矩陣，從對單詞的平均共現(xiàn)（co-occurence），增加到了對句子上下文的條件共存：

正如 Hanh 和 Futrell 的論文中所指出，我們正在組合地構(gòu)造“理想矩陣”：

人類語言和語言模型具有無限的統(tǒng)計(jì)復(fù)雜性，但是在較低的層次上可以很好地近似。這個觀察結(jié)果有兩個含義：

1)我們可以用相對較小的模型獲得較好的結(jié)果；2)我們的模型有很大的擴(kuò)展?jié)摿Α?/p>

語言模型處理如此大的問題空間，以至于他們可能近似于柯氏復(fù)雜性（Kolmogorov Complexity）意義上的整個語言的壓縮。也有可能龐大的語言模型，只是記住了大量的信息，而不是壓縮信息。

那我們能像語言模型一樣，對圖進(jìn)行上采樣嗎？

答案是：我們已經(jīng)在做了。

我們把圖的一階嵌入，稱為直接分解圖的鄰接矩陣或拉普拉斯矩陣（Laplacian Matrix）的方法。

如果使用拉普拉斯特征映射或者取拉普拉斯主分量來嵌入圖，則為一階。

同樣，GloVe 方法也是對詞共現(xiàn)圖的一階方法。

我最喜歡的圖的一階方法之一是ProNE，它和大多數(shù)方法一樣好用，但是速度快兩個數(shù)量級。

高階方法就是我們在圖上做的 “上采樣”。

在大型鄰域“上采樣”的 GNN 和 node2vec 等基于隨機(jī)漫步的方法都是在做高階嵌入。

性能增益，在哪兒呢？

過去5年中，大多數(shù)GNN論文提供的結(jié)果，對從業(yè)者沒有太多幫助。

正如OpenGraphsBenchmark（OGB）論文所指出的那樣，GNN論文的實(shí)證部分是在少數(shù)具有2000-20000個節(jié)點(diǎn)的小圖（Cora、CiteSeer、PubMed）上進(jìn)行的。

這些數(shù)據(jù)集不能區(qū)分不同的方法。

最近的一些研究工作雖然解決了這個難題，但是為什么研究人員長期關(guān)注小型的、無用的數(shù)據(jù)集，是值得討論的問題。

性能表現(xiàn)受任務(wù)分類的影響

一個讓很多可能會感到驚訝的事實(shí)是，即使語言模型在很多NLP任務(wù)中有著良好的表現(xiàn)，但如果你所做的只是將句子嵌入到下游模型中，那么通過簡單的方法，比如將單個 Word2Vec單詞嵌入相加，從語言模型嵌入中并不會得到多少好處。

類似地，我發(fā)現(xiàn)對于許多圖而言，簡單的一階方法在圖聚類和節(jié)點(diǎn)標(biāo)記預(yù)測任務(wù)上的表現(xiàn)，與高階嵌入方法一樣好。

事實(shí)上，高階方法對于這些用例來說，在計(jì)算上是非常浪費(fèi)的。

但高階方法并不是說沒有用，它通常在鏈路預(yù)測任務(wù)中表現(xiàn)得更好。

有趣的是，鏈接預(yù)測性能的差距，在人工創(chuàng)建的圖中是不存在的。這表明高階方法，確實(shí)學(xué)習(xí)了一些真實(shí)世界圖形固有的結(jié)構(gòu)。

但對于可視化而言，一階方法會更好一些。高階方法的可視化往往有其采樣的偽影。

例如，Node2Vec可視化往往具有拉長/絲狀結(jié)構(gòu)，這些結(jié)構(gòu)來自于長單鏈隨機(jī)漫步的嵌入。

下面是 Owen Cornec 的可視化效果：

最后，有時簡單的方法勝過高階方法（在 OGB 論文中有一個實(shí)例）。

這里存在的一個問題是，我們不知道一個方法什么時候比另一個方法會更好些，我們絕對不知道其中的原因。

不同的圖類型，對于不同的方法表示所反映出來的性能好壞，是有其原因的，但這是一個懸而未決的問題。

很大一部分的原因，是研究領(lǐng)域被沒用的新算法給淹沒了。

為什么會這樣呢？繼續(xù)往下看。

學(xué)術(shù)的激勵（incentive），與學(xué)術(shù)的進(jìn)步背道而馳

下面是“憤世嫉俗者”對機(jī)器學(xué)習(xí)論文制作的一些觀點(diǎn)：

1. 采用現(xiàn)存的一些算法
2. 添加一些新的圖層/超參數(shù)，編一個可愛的數(shù)學(xué)故事來解釋它為什么重要
3. 網(wǎng)格搜索你的超參數(shù)，直到你打破原始文件的基線
4. 絕對不要在你的搜索結(jié)果區(qū)域中，將你正在比較的東西網(wǎng)格化
5. 為你的新方法做一個可愛的首字母縮寫，把不可能使用的Python2代碼放到GitHub上

BTW：我太討厭Node2Vec了

我一個副項(xiàng)目是一個節(jié)點(diǎn)嵌入庫，目前最流行的方法是 Node2Vec。

不要使用Node2Vec！

取p=1和q=1的Node2Vec是Deepwalk算法，Deepwalk是一種實(shí)際的創(chuàng)新。

Node2Vec 的作者們緊跟著剛才提到的那5個步驟，包括步驟5提到的名字上的加分（因?yàn)閣ord2vec很出名）。

這并不是什么學(xué)術(shù)造假，而是讓ML社區(qū)變得更糟。

當(dāng)然，Node2Vec也不應(yīng)該被引用7500次。

學(xué)術(shù)進(jìn)步，應(yīng)該更加關(guān)注實(shí)際

40多年來，我們已經(jīng)知道如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然而，直到2012年，它們才在 AlexNet 上大受歡迎。

是因?yàn)閷?shí)現(xiàn)和硬件達(dá)到了深度學(xué)習(xí)可行的程度。

類似地，我們至少在20年前就知道把單詞共現(xiàn)矩陣分解成單詞嵌入。

但詞條嵌入直到2013年，隨著Word2Vec才爆發(fā)。

這里的突破在于，基于小批量（minibatch）的方法，可以讓你在硬件上訓(xùn)練維基百科規(guī)模的嵌入模型。

如果對少量數(shù)據(jù)進(jìn)行訓(xùn)練，還需要數(shù)天或數(shù)周，那么一個領(lǐng)域的方法就很難取得進(jìn)展。

效率對于學(xué)術(shù)進(jìn)步至關(guān)重要

深度學(xué)習(xí)研究之所以能夠取得如此成功，是因?yàn)樗岣吡诵?，并且擁有了更好的庫和硬件支持?/p>

學(xué)術(shù)規(guī)范太糟糕

你花費(fèi)在 p 和 q 上的 Node2Vec 網(wǎng)格搜索的時間，都可以更好地利用 Deepwalk 本身的網(wǎng)格搜索。

問題是人們不會在Deepwalk中網(wǎng)格搜索，因?yàn)閷?shí)現(xiàn)都很糟糕。

體系結(jié)構(gòu)并不重要

今年最重要的論文之一是 OpenAI 的“Scaling laws”論文，其中模型中參數(shù)的原始數(shù)量是整體性能最具預(yù)測性的特征。

這一點(diǎn)，甚至在原始的BERT論文中也有所提及，并且推動了2020年大規(guī)模語言模型的增長。

Transformer也可能取代卷積。正如Yannic Kilcher所說，Transformer正在毀掉一切，他們在圖上進(jìn)行研究，事實(shí)上，它是在基準(zhǔn)測試時似乎是比較成功的方法之一。

研究人員似乎在結(jié)構(gòu)上投入了大量的精力，但是最終這并不重要，因?yàn)槟憧梢酝ㄟ^疊加更多的層來近似任何東西。

效率的勝利是偉大的，但神經(jīng)網(wǎng)絡(luò)架構(gòu)只是實(shí)現(xiàn)這一目標(biāo)的一種方式，而且由于對這一領(lǐng)域的過度研究，我們將在其他地方留下遺憾。

圖形數(shù)據(jù)結(jié)構(gòu)簡直糟糕透了

NetworkX是個糟糕的庫。

如果你在為嬰兒做小圖，它很好，但對于任何嚴(yán)肅的事情，它都會讓你窒息，迫使你重寫所有的東西……

這叫庫？Really？

在這一點(diǎn)上，大多數(shù)處理大型圖的人，最終都會手工滾動一些數(shù)據(jù)結(jié)構(gòu)。

但這很困難，因?yàn)槟愕挠?jì)算機(jī)內(nèi)存是一個由1和0組成的一維數(shù)組，一個圖沒有明顯的一維映射。

如果我們考慮更新圖表（添加/刪除一些節(jié)點(diǎn)/邊)?，這就更難了。

全局方法是個死胡同

一次處理整個圖的方法不能利用計(jì)算，因?yàn)樗鼈冊谝欢ㄒ?guī)模上耗盡了RAM。

因此，任何希望成為新標(biāo)準(zhǔn)的方法，都需要能夠?qū)D的某些部分進(jìn)行逐段更新。

今后，采樣效率（Sampling Efficiency）將在未來更加重要：

• 邊緣局部方法：我所知道的包括GloVe 和 GGVec。

• 隨機(jī)漫步采樣：Deepwalk 及其后代使用這種方法，通常用于節(jié)點(diǎn)嵌入，而不是 GNN 方法。

• 近鄰采樣：這是目前GNN中最常見的一種，可以是低階或高階，這取決于鄰居的大小。

網(wǎng)友評論

但對于這樣的猛烈抨擊，Reddit網(wǎng)友們mhwalker，似乎有不一樣的聲音。

大多數(shù)情況下，規(guī)模問題在工業(yè)上得到了解決。我們在數(shù)十億個節(jié)點(diǎn)和數(shù)百億個邊上訓(xùn)練GNN。我們可以毫無問題地水平擴(kuò)展。

但也正如你說的，這些文獻(xiàn)大多數(shù)是無用的。

至于被問如何解決的，帖子作者做出了回復(fù)，并提到了阿里巴巴的一篇論文：

阿里巴巴有一篇關(guān)于其基礎(chǔ)設(shè)施的論文，闡述了他們是如何做到這一點(diǎn)的。

Pinterest主要使用GraphSAGE與鄰里抽樣。Instagram使用一個node2vec實(shí)現(xiàn)(可能是handrolled)。

那么對于這樣的討論，你怎么看？

參考鏈接：

https://www.reddit.com/r/MachineLearning/comments/kqazpd/d_why_im_lukewarm_on_graph_neural_networks/