大模型中的「羅翔老師」！北大團隊搞出ChatLaw，發(fā)布即登頂熱榜

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

大模型中的“羅翔老師”，出現(xiàn)了！

北大團隊打造的法律大模型ChatLaw，發(fā)布即沖上知乎熱搜第一。

它具備大模型能力和充足法律知識，能給法律小白們答疑解惑、提供法律建議。

比如針對網(wǎng)絡(luò)熱議事件，它能給出應(yīng)該參考的法條，并針對具體案例進行分析：

還可以生成專業(yè)的法律文書：

仿佛就像是在和真人律師對話。

如果它察覺到人類需要尋求人工服務(wù)時，還會推薦相應(yīng)的法律援助中心。

同時ChatLaw也能成為專業(yè)律師們的小助手，幫他們處理繁瑣的基礎(chǔ)工作。

這就是北京大學(xué)深圳研究生院-兔展智能AIGC聯(lián)合實驗室（主任：北大田永鴻教授）帶來的最新工作。

他們在通用大模型基礎(chǔ)上，使用大量法律領(lǐng)域結(jié)構(gòu)化文本數(shù)據(jù)進行訓(xùn)練，并找來資深律師輔助人工標(biāo)注、進行高質(zhì)量事實型多輪對話，最后煉成了ChatLaw。

與此同時還開源了3個模型：ChatLaw-13B、ChatLaw-33B和ChatLaw-TextVec。

效果到底如何？我們已經(jīng)拿到內(nèi)測資格實際體驗了~

而且和主創(chuàng)團隊問了問ChatLaw背后更多細(xì)節(jié)。

大模型中的“羅翔老師”

進入主頁后，可以發(fā)現(xiàn)ChatLaw提供對話、寫作、知識庫三種模式。

以對話模式為例，又可分為普通類和專業(yè)類。對話模型包括快速、均衡和詳細(xì)三種，可以按照自己的需要來做選擇。

然后就可以用最普通的大白話，來向ChatLaw描述自己的遭遇了。

和常見的通用大模型不同，ChatLaw不是一上來就回答問題，而是會先引導(dǎo)你補充更多詳細(xì)信息。

這也符合一般法律咨詢的情況，當(dāng)事人往往很難一次性提供全面的信息，很多表述都不明確。

在得到補充信息后，它就能做出相應(yīng)的分析了。

當(dāng)然ChatLaw還能處理更加復(fù)雜的情況，比如從文件中抽取關(guān)鍵信息做出分析。

在下面的場景中，當(dāng)事人描述了自己突然被公司強制解雇的情況，ChatLaw簡單分析后認(rèn)為，這可能存在勞務(wù)糾紛，為了能更準(zhǔn)確提供建議，它需要當(dāng)事人提供勞動合同以及解雇通知等。

可以看到ChatLaw是支持上傳文件的。

在拿到對應(yīng)后，它將信息總結(jié)成了一個清晰的樹狀圖，并將事實用法律語言進行描述，和當(dāng)事人確認(rèn)情況。

而且ChatLaw也能處理多模態(tài)信息，比如讀取錄音文件。

更進一步還可以生成法律文書。

而且不光是給普通人提供法律咨詢服務(wù)，ChatLaw還能充當(dāng)專業(yè)律師的助手。

比如可以基于上下文批量生成文書。

所以，ChatLaw是如何實現(xiàn)如上效果的？

先驗知識約束+模型調(diào)度

在構(gòu)成上，ChatLaw是由1個調(diào)度模型和3個子模型組成。

這使得它能更加專業(yè)地解決具體問題。

主要創(chuàng)新性工作有兩方面：

• 先驗知識約束
• 模型調(diào)度

這兩方面工作可以有效降低模型幻覺，并讓它能更加靈活智能地解決問題。

先來看先驗知識約束方面。

研究團隊認(rèn)為，對于一個垂直領(lǐng)域大模型而言，需要既專業(yè)又準(zhǔn)確。

尤其是法律這種嚴(yán)肅的行業(yè)，一定要盡可能降低模型回答的錯誤率。

但對于通用大模型來說，訓(xùn)練數(shù)據(jù)集中往往沒有包含非常充足的專業(yè)法律知識。比如ChatGPT顯然是沒有拿國內(nèi)法條訓(xùn)練過的，亂回答的現(xiàn)象非常嚴(yán)重。

這也就是常說的“模型幻覺”問題。

想要避免就需要進行大量的專業(yè)知識訓(xùn)練，即先驗知識約束。

在這方面，研究團隊使用大量判例文書、法律法規(guī)和司法解釋，建立了一個大規(guī)模知識庫。

同時和北大國際法學(xué)院、行業(yè)知名律師事務(wù)所合作，確保數(shù)據(jù)專業(yè)性。

然后在訓(xùn)練階段將這些法律數(shù)據(jù)注入大模型中，專門建立一個微調(diào)子模型，可以進行關(guān)鍵詞檢索，來改善單純依賴矢量數(shù)據(jù)庫檢索時不準(zhǔn)確的問題。

同時在推理階段也引入多個模塊，將通識模型、專業(yè)模型和知識庫融為一體，在推理中進行約束，以保證ChatLaw生成正確的法律建議，盡可能減少模型幻覺。

具體模型架構(gòu)如下：

目前這一方法也同步在arXiv上發(fā)表。

據(jù)了解，團隊還特地整理了過去十年的法考考試題，建立了一個包含2000個問題的司法考試測試集。

通過ELO機制進行檢驗，ChatLaw模型在測試集上成功擊敗GPT4，獲得最高分。

同時也論證了在專業(yè)領(lǐng)域，百億參數(shù)量的模型可以保持卓越的準(zhǔn)確性。

而在實際應(yīng)用場景中，僅僅有強大的專業(yè)能力還不夠，還需要能夠靈活應(yīng)對各種提問。

在這方面，ChatLaw提出了一個“調(diào)度模型”的概念。

研究團隊使用針對性微調(diào)訓(xùn)練了一個專用調(diào)度模型，它能夠?qū)栴}進行分析，然后對子模型和插件進行調(diào)度重組，最終呈現(xiàn)出多個模態(tài)的輸入和輸出。

這樣一來，ChatLaw就能將文件、音頻、文字整合在一起分析，同時支持法律文書、思維導(dǎo)圖等輸出，還能推薦專業(yè)的法律援助。

值得一提的是，除了發(fā)布ChatLaw，團隊還一并開源了三個模型。

• ChatLaw-13B，此版本為學(xué)術(shù)demo版，基于姜子牙Ziya-LLaMA-13B-v1訓(xùn)練而來，中文各項表現(xiàn)很好，但是邏輯復(fù)雜的法律問答效果不佳，需要用更大參數(shù)的模型來解決。
• ChatLaw-33B，此版本為學(xué)術(shù)demo版，基于Anima-33B訓(xùn)練而來，邏輯推理能力大幅提升，但是因為Anima的中文語料過少，導(dǎo)致問答時常會出現(xiàn)英文數(shù)據(jù)。
• ChatLaw-Text2Vec，使用93w條判決案例做成的數(shù)據(jù)集基于BERT訓(xùn)練了一個相似度匹配模型，可將用戶提問信息和對應(yīng)的法條相匹配，例如：

“請問如果借款沒還怎么辦？”

“合同法(1999-03-15): 第二百零六條 借款人應(yīng)當(dāng)按照約定的期限返還借款。對借款期限沒有約定或者約定不明確，依照本法第六十一條的規(guī)定仍不能確定的，借款人可以隨時返還；貸款人可以催告借款人在合理期限內(nèi)返還?！?/p>

兩段文本的相似度計算為0.9960.

在官方展示的測試中，ChatLaw還可以具備聯(lián)網(wǎng)能力，效果可以更好。

不過由于目前服務(wù)器資源不足，暫時關(guān)閉了法條檢索模塊。

以及在用戶隱私保護方面，ChatLaw會對上傳的文件數(shù)據(jù)進行脫敏處理。

和ChatExcel團隊師出同門

不過為啥研究團隊想要做一個法律領(lǐng)域的專業(yè)大模型呢？

這就還得從一家跑路的雅思機構(gòu)說起了……

主創(chuàng)團隊小哥表示，2018年他報名的雅思課，才開課一星期機構(gòu)就卷錢跑路了。他想要通過法律途徑維權(quán)，結(jié)果發(fā)現(xiàn)這還真不是一件容易的事：

請一個律師至少要3000塊，包括法律咨詢、寫訴訟狀等……成本太高了。

但普通人自己來搞定這些，又確實很難。比如需要使用“法言法語”描述問題等……

結(jié)合今年的趨勢他就想到，能不能讓大模型來給普通人提供法律咨詢服務(wù)。

畢竟大數(shù)據(jù)也顯示，2022年，全國法院共受理案件3372.3萬件，其中由律師辦理訴訟案件僅有824.4萬件。74%的案件沒有律師參與，當(dāng)事人只能自己寫材料、訴訟、協(xié)商。

而且主創(chuàng)團隊還從專業(yè)法律人士方面了解到，律師們也很希望有一個AI工具能夠幫自己提升工作效率，輔助完成一些基本工作。

（工作發(fā)表后馬上有專業(yè)人士留言希望AI能提供更強大的功能）

ChatLaw的幕后團隊是北京大學(xué)深圳研究生學(xué)院-兔展智能AIGC聯(lián)合實驗室。

值得一提的是，他們和之前爆火過的ChatExcel團隊師出同門。

都是來自北京大學(xué)信息工程學(xué)院袁粒老師課題組。

袁粒是北京大學(xué)信息工程學(xué)院助理教授、博士生導(dǎo)師。

團隊主創(chuàng)成員有三位，分別是課題組內(nèi)的準(zhǔn)博士生伯華、家熙，以及研究生晏陽。

此外他們也聯(lián)合了北京大學(xué)國際法學(xué)院、阿爾法律師事務(wù)所提供法律專業(yè)建議和指導(dǎo)。

對于法律領(lǐng)域大模型，團隊表示他們認(rèn)為這在國內(nèi)有著巨大的發(fā)展空間。

只有中國，擁有如此巨大規(guī)模的人口，統(tǒng)一的法律服務(wù)市場，規(guī)范的法律判例。

因此，我們堅定的向這個項目投入算力、資源、人力。也許我們的產(chǎn)品現(xiàn)在還有諸多未完善的地方，但技術(shù)的發(fā)展是非線性的。也許在未來某個時間點，我們能夠超越GPT，為這片土地的普通人帶來普惠的法律服務(wù)。

據(jù)了解，目前ChatLaw已經(jīng)有一些落地合作，而法律領(lǐng)域還只是北大-兔展智能AIGC實驗室的第一步。

未來兩個月內(nèi)，他們預(yù)計會陸續(xù)推出政務(wù)、金融等領(lǐng)域的大模型。

并且已經(jīng)有了商業(yè)計劃，“想做中國版Cohere”。專注于企業(yè)服務(wù)。基于法律、政務(wù)、金融3個領(lǐng)域，不斷完善行業(yè)級大模型。

但同時這些能力也會繼續(xù)向普通人開放。

感興趣的童鞋，可戳下方體驗鏈接申請內(nèi)測~

官方地址：https://www.chatlaw.cloud/?

GitHub地址：
https://github.com/PKU-YuanGroup/ChatLaw

論文地址：
https://arxiv.org/abs/2306.16092