用LLM一鍵生成百萬級領(lǐng)域知識圖譜！中科大新框架入選ACL 2024

一水 2024-11-11 15:13:07 來源：量子位

現(xiàn)在，用LLM一鍵就能生成百萬級領(lǐng)域知識圖譜了？！

來自中科大MIRA實驗室研究人員提出一種通用的自動化知識圖譜構(gòu)建新框架SAC-KG，提升效果be like：

當使用ChatGPT作為基礎(chǔ)模型時，SAC-KG達到了89.32%的準確率和81.25%的領(lǐng)域特異性，相對于SOTA方法提升了20%。

一直以來，知識圖譜構(gòu)建技術(shù)始終是研究熱點。

不過對構(gòu)建領(lǐng)域知識圖譜來說，由于需要大量的專家知識和人工干預，其實際應(yīng)用受到嚴重限制。

對此，最近基于大語言模型（LLM）的構(gòu)建方法成為了一種新趨勢。但仍存在一些問題，嚴重影響所構(gòu)建領(lǐng)域知識圖譜的可信度。

針對上述痛點，研究團隊進一步提出了SAC-KG，相關(guān)論文已發(fā)表在CCF-A類人工智能頂級會議ACL 2024 Main。并開發(fā)部署領(lǐng)域知識圖譜自動構(gòu)建平臺SAC-KG，支持輸入大規(guī)模領(lǐng)域語料，一鍵生成高質(zhì)量領(lǐng)域知識圖譜。

SAC-KG是如何工作的

由于大語言模型出色的語義理解能力和生成能力，基于LLM的方法成為了一種新趨勢。通過利用LLM中存儲的先驗知識，從原始語料中提取三元組。

然而，基于LLM的方法仍面臨一些問題。輸入中的上下文噪聲和輸出中的知識幻覺會導致錯誤或不相關(guān)的三元組生成，從而嚴重影響所構(gòu)建領(lǐng)域知識圖譜的可信度。

為了解決上述問題，該研究提出了一種全新的自動化知識圖譜構(gòu)建通用框架SAC-KG，利用大語言模型作為領(lǐng)域知識圖譜的自動化構(gòu)建專家，在給定領(lǐng)域語料的情況下，以自動化、精確性和可控性為目標提取三元組。

該框架包含三個組件：生成器、驗證器和剪枝器。

生成器

首先，生成器包括領(lǐng)域語料檢索器和開放知識圖譜檢索器，分別為指定的實體從領(lǐng)域語料庫和開放知識圖譜中檢索最相關(guān)信息。

其中，領(lǐng)域語料檢索器提供最相關(guān)的文本語料作為LLM的輸入，減少上下文噪聲的引入；開放知識圖譜檢索器提供與實體最相關(guān)的三元組作為示例，幫助控制模型的輸出格式。

LLM的輸入包括與實體相關(guān)的上下文、三元組示例以及相應(yīng)的提示，輸出為生成的以指定實體為頭實體的三元組。

驗證器

由于LLM存在知識幻覺，可能生成錯誤三元組，因此由驗證器負責檢測并過濾掉由LLM生成的錯誤三元組。

這一過程分為兩個步驟：錯誤檢測和錯誤糾正。

在錯誤檢測階段，驗證器會執(zhí)行三種檢查并進行標記：

• 數(shù)量檢查：如果生成的三元組數(shù)量少于閾值（默認是3個），則標記為“數(shù)量不足”。
• 格式檢查：如果三元組不符合預定義格式，則標記為“格式錯誤”；如果頭實體不匹配預定義實體，則標記為“頭實體錯誤”；如果頭實體和尾實體相同，則標記為“頭尾矛盾”。
• 沖突檢查：驗證器會檢測三元組中的邏輯沖突。例如，確保一個人的出生時間早于死亡時間，且年齡不為負數(shù)。

在錯誤糾正階段，根據(jù)檢測到的錯誤類型提供相應(yīng)的提示，并重新讓LLM生成正確的輸出。例如，如果是“格式錯誤”，會提示模型“請嚴格按照格式要求重新生成，注意三元組的格式”。

剪枝器

知識圖譜的生長過程可以看作一棵樹的逐層增長，從淺到深逐步獲取領(lǐng)域知識，意味著下一層三元組的頭實體是上一層三元組的尾實體。

在經(jīng)過驗證器驗證后，將得到的正確三元組整合到生成的新層圖譜中，并繼續(xù)生成下一層三元組。

然而，并不是所有三元組都需要繼續(xù)生成下一層。例如，“(稻米,最佳生長溫度,20-25攝?度)”是正確的三元組，但尾實體“20-25攝氏度”不需要作為下一層的頭實體進行進一步生成。

為了提高知識圖譜的可控性，該研究引入剪枝器，這是一個在開源知識圖譜DBpedia上微調(diào)的T5二分類模型。輸入為每個正確三元組的尾實體，輸出為“生長”或“修剪”，表示是否需要繼續(xù)生成下一層圖譜。

訓練剪枝器時，從DBpedia收集訓練數(shù)據(jù)，將部分頭實體作為“生長”類的代表，尾實體則作為“修剪”類的代表。通過這些實體文本和對應(yīng)標簽進行微調(diào)。

實驗及結(jié)果

主實驗

在同一領(lǐng)域的知識圖譜自動構(gòu)建中，研究團隊使用GPT-4進行自動和高效的評估。

如表1所示，SAC-KG表現(xiàn)優(yōu)異，超越了多個基線模型。

四個基線模型包括OpenIE6、StanfordOIE、DeepEx和PIVE，其中前兩者為基于規(guī)則的三元組抽取方法，而DeepEx結(jié)合了Bert模型與規(guī)則技術(shù)，PIVE則直接使用ChatGPT構(gòu)建知識圖譜。

SAC-KG在知識圖譜構(gòu)建上始終優(yōu)于這些方法，尤其在準確率和領(lǐng)域特異性上表現(xiàn)突出。

當使用ChatGPT作為基礎(chǔ)模型時，SAC-KG達到了89.32%的準確率和81.25%的領(lǐng)域特異性，顯著優(yōu)于基于規(guī)則的方法，相對于SOTA方法提升了20%。

消融實驗

消融實驗中，研究團隊每次迭代中計算這些指標，以獲得更細致的結(jié)果。

他們將沒有開放知識圖譜檢索器的SAC-KG記作SAC-KGw/oprompt，沒有領(lǐng)域語料檢索器的記作SAC-KGw/otext，沒有驗證器的記作SAC-KGw/overifier，沒有修剪器的記作SAC-KGw/opruner。

如表2所示，SAC-KG中的任一組件缺失都會導致整個框架性能下降。

特別是，修剪器和開放知識圖譜檢索器對SAC-KG的性能影響更為顯著。這兩個組件分別控制生成方向和添加示例，表明在知識圖譜構(gòu)建過程中提升可控性的重要性。

研究團隊進一步可視化了SAC-KG每個消融版本生成的前三層知識圖譜。如圖所示，完整的SAC-KG版本表現(xiàn)出最佳的整體結(jié)果，且每一層中的錯誤三元組數(shù)量沒有顯著差異。這一現(xiàn)象表明，在領(lǐng)域知識圖譜的迭代生成過程中，錯誤傳播并不明顯。相反，去除了文本處理模塊（SAC-KGw/o text）和剪枝模塊（SAC-KGw/o pruner）的版本顯示出明顯的錯誤傳播，導致在第三層生成的錯誤三元組數(shù)量顯著增加。而去除了提示模塊（SAC-KGw/o prompt）和驗證模塊（SAC-KGw/o verifier）的版本僅能提取較少的三元組，這意味著語言模型在缺乏示例和錯誤糾正過程的情況下難以從領(lǐng)域語料中總結(jié)知識。這些結(jié)果進一步證實了框架內(nèi)每個組件對構(gòu)建過程的重要貢獻。

OIEbenchmarks

SAC-KG在傳統(tǒng)的開放信息抽取任務(wù)中的有效性和廣泛適用性通過多個開源基準數(shù)據(jù)集的實驗得到了驗證。

實驗結(jié)果顯示，SAC-KG在這些傳統(tǒng)OIE基準數(shù)據(jù)集上，顯著優(yōu)于現(xiàn)有的最先進方法。

特別是，在與基于規(guī)則的方法（如OpenIE6和StanfordOIE）和基于大規(guī)模語言模型的方法（如DeepEx和PIVE）的比較中，SAC-KG始終達到最佳結(jié)果，證明了其在傳統(tǒng)OIE任務(wù)中的有效性和魯棒性。

小結(jié)

針對大規(guī)模領(lǐng)域知識圖譜構(gòu)建成本高、精度低這一復雜的實際問題，本研究提出了基于大模型的迭代式領(lǐng)域/常識圖譜通用構(gòu)建框架。

該框架實現(xiàn)了多源領(lǐng)域語料中的精準知識檢索，并結(jié)合開源圖譜實現(xiàn)了自適應(yīng)提示機制，通過模擬樹生長過程，成功構(gòu)建了百萬級的高質(zhì)量領(lǐng)域圖譜。

論文發(fā)表在CCF-A類人工智能頂級會議Annual Meeting of the Associationfor Computational Linguistics（ACL 2024 Main）。

論文作者第一作者陳瀚鑄是中國科學技術(shù)大學2021級碩博連讀生，師從王杰教授，主要研究方向為知識圖譜與大語言模型，數(shù)據(jù)合成等。曾獲KDDCup全球高校團隊第一等榮譽。