以上步驟確保了生成的圖數(shù)據(jù)不僅豐富多樣，而且貼近現(xiàn)實(shí)世界的連接模式和結(jié)構(gòu)特性。

實(shí)驗(yàn)驗(yàn)證與性能分析

需要注意，該實(shí)驗(yàn)專注于使用僅由LLM生成的數(shù)據(jù)集訓(xùn)練OpenGraph模型，并在多樣化的真實(shí)場景數(shù)據(jù)集上進(jìn)行測試，涵蓋節(jié)點(diǎn)分類和鏈接預(yù)測任務(wù)。

實(shí)驗(yàn)設(shè)計(jì)如下：

零樣本設(shè)置。

為了評估OpenGraph在未見過的數(shù)據(jù)上的表現(xiàn)，我們在生成的訓(xùn)練集上訓(xùn)練模型，然后在完全不同的真實(shí)測試集上進(jìn)行評估。確保了訓(xùn)練和測試數(shù)據(jù)在節(jié)點(diǎn)、邊和特征上均無重合。

少樣本設(shè)置。

考慮到許多方法難以有效執(zhí)行零樣本預(yù)測，我們引入少樣本設(shè)置，基線模型在預(yù)訓(xùn)練數(shù)據(jù)上預(yù)訓(xùn)練后，采用k-shot樣本進(jìn)行微調(diào)。

在2個(gè)任務(wù)和8個(gè)測試集上的結(jié)果顯示，OpenGraph在零樣本預(yù)測中顯著優(yōu)于現(xiàn)有方法。

此外，現(xiàn)有預(yù)訓(xùn)練模型在跨數(shù)據(jù)集任務(wù)中的表現(xiàn)有時(shí)不如從頭訓(xùn)練的模型。

圖Tokenizer設(shè)計(jì)影響研究

同時(shí)，團(tuán)隊(duì)探索了圖Tokenizer設(shè)計(jì)如何影響模型性能。

首先，通過實(shí)驗(yàn)發(fā)現(xiàn)，不進(jìn)行鄰接矩陣平滑（平滑階數(shù)為0）會顯著降低性能，說明平滑處理的必要性。

然后，研究人員嘗試了幾種簡單的拓?fù)涓兄娲桨福嚎鐢?shù)據(jù)集的獨(dú)熱編碼ID、隨機(jī)映射和基于節(jié)點(diǎn)度數(shù)的表示。

實(shí)驗(yàn)結(jié)果顯示，這些替代方案性能均不理想。

具體來說，跨數(shù)據(jù)集的ID表示效果最差，基于度數(shù)的表示也表現(xiàn)不佳，而隨機(jī)映射雖稍好，但與優(yōu)化的拓?fù)涓兄成湎啾?，性能差距明顯。

數(shù)據(jù)生成技術(shù)的影響

團(tuán)隊(duì)調(diào)查了不同預(yù)訓(xùn)練數(shù)據(jù)集對OpenGraph性能的影響，包括使用基于LLM的知識蒸餾方法生成的數(shù)據(jù)集，以及幾個(gè)真實(shí)數(shù)據(jù)集。

實(shí)驗(yàn)中比較的預(yù)訓(xùn)練數(shù)據(jù)集包括從團(tuán)隊(duì)生成方法中移除某項(xiàng)技術(shù)后的數(shù)據(jù)集、2個(gè)與測試數(shù)據(jù)集無關(guān)的真實(shí)數(shù)據(jù)集（Yelp2018和Gowalla）、1個(gè)與測試數(shù)據(jù)集類似的真實(shí)數(shù)據(jù)集（ML-10M）。

實(shí)驗(yàn)結(jié)果顯示，生成數(shù)據(jù)集在所有測試集上均展示了良好性能；三種生成技術(shù)的移除都顯著影響了性能，驗(yàn)證了這些技術(shù)的有效性。

使用與測試集無關(guān)的真實(shí)數(shù)據(jù)集（如Yelp和Gowalla）訓(xùn)練時(shí)，性能有時(shí)候會下降，這可能是由于不同數(shù)據(jù)集之間的分布差異。

ML-10M數(shù)據(jù)集在與之類似的測試數(shù)據(jù)集（如ML-1M和ML-10M）上取得了最佳性能，突顯了訓(xùn)練和測試數(shù)據(jù)集相似性的重要性。

Transformer采樣技術(shù)的研究

在這部分實(shí)驗(yàn)中，研究團(tuán)隊(duì)探討了圖Transformer模塊中使用的兩種采樣技術(shù)：

token序列采樣（Seq）和錨點(diǎn)采樣（Anc）。

他們對這兩種采樣方法進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，以評估它們對模型性能的具體影響。

實(shí)驗(yàn)結(jié)果表明，無論是token序列采樣還是錨點(diǎn)采樣，兩者都能在訓(xùn)練和測試階段有效地減少模型的空間和時(shí)間復(fù)雜度。這對于處理大規(guī)模圖數(shù)據(jù)尤為重要，可以顯著提高效率。

從性能的角度分析，token序列采樣對模型的整體性能產(chǎn)生了正面影響。這種采樣策略通過選取關(guān)鍵的token來優(yōu)化圖的表示，從而提高了模型處理復(fù)雜圖結(jié)構(gòu)的能力。

相比之下，在ddi數(shù)據(jù)集上的實(shí)驗(yàn)顯示，錨點(diǎn)采樣可能對模型性能產(chǎn)生負(fù)面影響。錨點(diǎn)采樣通過選擇特定的節(jié)點(diǎn)作為錨點(diǎn)來簡化圖結(jié)構(gòu)，但這種方法可能會忽略一些關(guān)鍵的圖結(jié)構(gòu)信息，從而影響模型的準(zhǔn)確性。

綜上所述，雖然這兩種采樣技術(shù)都有其優(yōu)勢，但在實(shí)際應(yīng)用中需要根據(jù)具體的數(shù)據(jù)集和任務(wù)需求仔細(xì)選擇合適的采樣策略。

研究結(jié)論

本研究旨在開發(fā)一個(gè)高適應(yīng)性框架，該框架能夠精確地識別和解析各種圖結(jié)構(gòu)的復(fù)雜拓?fù)淠Ｊ健?/p>

研究人員的目標(biāo)是通過充分發(fā)揮所提出模型的能力，顯著增強(qiáng)模型在零樣本圖學(xué)習(xí)任務(wù)中的泛化能力，包括多種下游應(yīng)用。

模型是在可擴(kuò)展的圖Transformer架構(gòu)和LLM增強(qiáng)的數(shù)據(jù)增強(qiáng)機(jī)制的支持下構(gòu)建的，以提升OpenGraph的效率和健壯性。

通過在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行的廣泛測試，團(tuán)隊(duì)證明了模型的出色泛化性能。

據(jù)了解，作為對圖基礎(chǔ)模型構(gòu)建的初步嘗試，未來，團(tuán)隊(duì)工作將著重于增加框架的自動化能力，包括自動識別噪聲連接和進(jìn)行反事實(shí)學(xué)習(xí)。

同時(shí)，團(tuán)隊(duì)計(jì)劃學(xué)習(xí)和提取各種圖結(jié)構(gòu)的通用且可遷移的模式，進(jìn)一步推動模型的應(yīng)用范圍和效果。

參考鏈接：

[1]論文:

https://arxiv.org/pdf/2403.01121.pdf

[2]源碼庫:

https://github.com/HKUDS/OpenGraph