7B小模型寫好學(xué)術(shù)論文，新框架告別AI引用幻覺，實(shí)測(cè)100%學(xué)生認(rèn)可引用質(zhì)量

夢(mèng)晨 2025-04-11 14:33:34 來源：量子位

cholarCopilot團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

學(xué)術(shù)寫作通常需要花費(fèi)大量精力查詢文獻(xiàn)引用，而以ChatGPT、GPT-4等為代表的通用大語言模型（LLM）雖然能夠生成流暢文本，但經(jīng)常出現(xiàn)“引用幻覺”（Citation Hallucination），即模型憑空捏造文獻(xiàn)引用。這種現(xiàn)象嚴(yán)重影響了學(xué)術(shù)論文的可信度與專業(yè)性。

現(xiàn)在，加拿大滑鐵盧大學(xué)與卡內(nèi)基梅隆大學(xué)的華人研究團(tuán)隊(duì)，提出了一種名為 ScholarCopilot 的智能學(xué)術(shù)寫作大模型框架，專門針對(duì)學(xué)術(shù)場(chǎng)景，致力于精準(zhǔn)地生成帶有準(zhǔn)確引用的學(xué)術(shù)文本。

ScholarCopilot與傳統(tǒng)方法的區(qū)別

傳統(tǒng)的檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）方法采用“先檢索、再生成”的靜態(tài)流程，這種方式存在以下問題：

• 檢索與生成過程相互獨(dú)立，容易導(dǎo)致意圖不匹配；
• 無法根據(jù)上下文需求動(dòng)態(tài)調(diào)整引用策略，影響引用準(zhǔn)確性。

針對(duì)這些局限性，ScholarCopilot提出了一種“邊生成、邊檢索”的動(dòng)態(tài)機(jī)制：

• 在生成文本時(shí)，模型動(dòng)態(tài)地判斷何時(shí)需要引用文獻(xiàn)，并生成一個(gè)特殊的檢索信號(hào)（[RET]）；
• 隨后實(shí)時(shí)檢索學(xué)術(shù)數(shù)據(jù)庫中的相關(guān)文獻(xiàn)，將檢索到的內(nèi)容融入后續(xù)生成過程；
• 通過聯(lián)合優(yōu)化生成任務(wù)和檢索任務(wù)，提升引用的準(zhǔn)確度與相關(guān)性。

簡(jiǎn)單來說，ScholarCopilot的寫作方式更接近人類真實(shí)的寫作習(xí)慣：平時(shí)正常撰寫論文內(nèi)容，當(dāng)需要引用文獻(xiàn)時(shí)再主動(dòng)檢索相關(guān)文獻(xiàn)的BibTeX信息插入引用，隨后繼續(xù)撰寫下文。同時(shí)，模型在撰寫后續(xù)內(nèi)容時(shí)，也會(huì)參考已插入的引用文獻(xiàn)，確保生成的文本與引用內(nèi)容緊密相關(guān)。

ScholarCopilot的性能表現(xiàn)

研究團(tuán)隊(duì)以阿里云近期發(fā)布的Qwen-2.5-7B模型為基礎(chǔ)，使用了50萬篇arXiv論文進(jìn)行訓(xùn)練，并在多個(gè)維度上進(jìn)行了性能評(píng)估：

引用檢索準(zhǔn)確性（Top-1 accuracy）達(dá)到40.1%，顯著超過現(xiàn)有的檢索模型：

• E5-Mistral-7B-Instruct（15.0%）
• BM25（9.8%）

論文生成質(zhì)量方面（包括相關(guān)性、連貫性、學(xué)術(shù)嚴(yán)謹(jǐn)性、完整性和創(chuàng)新性），綜合得分為16.2（滿分25），高于參數(shù)量更大的Qwen-2.5-72B-Instruct模型（15.8）和Qwen-2.5-7B-Instruct模型（13.9）。

在一項(xiàng)由10位擁有平均4.2年學(xué)術(shù)寫作經(jīng)驗(yàn)的學(xué)生（5名博士、4名碩士、1名本科生）參與的真人評(píng)測(cè)中：

• ScholarCopilot在引用質(zhì)量上的用戶偏好率達(dá)到100%；
• 整體實(shí)用性偏好率超過70%。

ScholarCopilot的不足與未來方向

盡管取得了顯著進(jìn)步，ScholarCopilot仍存在一些局限性。通過上述用戶調(diào)研，受訪者提出了以下幾點(diǎn)改進(jìn)建議：

• 內(nèi)容生成更全面：
• 模型在生成內(nèi)容的豐富性與信息全面性方面仍需進(jìn)一步提升；
• 創(chuàng)新性不足：
• 目前模型在生成創(chuàng)新性想法和研究問題方面表現(xiàn)一般，還有較大改進(jìn)空間。

此外，受訪者還建議未來版本可考慮：

• 與主流學(xué)術(shù)寫作平臺(tái)（如Overleaf）進(jìn)行更緊密的整合；
• 支持分章節(jié)獨(dú)立生成和任意光標(biāo)位置的文本預(yù)測(cè)功能。

研究團(tuán)隊(duì)表示，這些反饋意見為后續(xù)開發(fā)提供了明確的改進(jìn)方向。

后續(xù)展望

ScholarCopilot研究團(tuán)隊(duì)希望通過不斷優(yōu)化模型性能、擴(kuò)展檢索數(shù)據(jù)庫和改進(jìn)用戶交互體驗(yàn)，讓研究人員在學(xué)術(shù)寫作中能更專注于研究本身，而非繁瑣的文獻(xiàn)檢索與引用管理。

當(dāng)前相關(guān)論文、代碼與模型已經(jīng)公開發(fā)布，感興趣的讀者可自行了解詳細(xì)信息，進(jìn)一步體驗(yàn)與評(píng)估該模型的實(shí)際表現(xiàn)：

論文鏈接：https://arxiv.org/pdf/2504.00824
項(xiàng)目網(wǎng)站：https://tiger-ai-lab.github.io/ScholarCopilot/
演示視頻：https://www.youtube.com/watch?v=QlY7S52sWDA