復旦發(fā)布國內首個類ChatGPT模型！已開放內測申請，代碼將于3月發(fā)布

Pine 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

沒想到，眾人加班加點搶“中國版ChatGPT”熱度時，首個國內類ChatGPT模型竟然已經(jīng)發(fā)布了！

砸出這個重磅消息的，不是緊鑼密鼓宣傳的BAT大廠，也不是直接出手幾億的投資大V，而是這段時間來一直沒吭氣的復旦大學。

事情一出，直接引爆了一眾社交媒體，不僅在微博刷出數(shù)個熱搜話題，知乎更是沖上熱榜第一。

各路“ChatGPT愛好者”連夜趕來圍觀，甚至由于官網(wǎng)訪問人數(shù)太多，服務器一度被擠爆，又上了一次熱搜。

這是怎么回事？

原來，復旦NLP團隊這個類ChatGPT模型，發(fā)布即面向公眾進行內測，甚至連預告都沒有：

緊接著，團隊又投下另一顆重磅炸彈：模型3月份就會開源代碼。

最關鍵的是模型的名字。

復旦團隊用了《流浪地球》里面擁有自我意識的AI——MOSS來命名這一模型，直接把消息熱度推上頂峰。

有網(wǎng)友表示，MOSS率先開放至少有一大優(yōu)勢，那就是“獲得更多數(shù)據(jù)”：

ChatGPT有一個巨大的先發(fā)優(yōu)勢，就是通過搶先開始公測收集大量用戶數(shù)據(jù)，并且這部分數(shù)據(jù)現(xiàn)階段只有人家有。

算法都是成熟且公開的算法，真正的核心其實是數(shù)據(jù)和硬件。

說回模型本身。據(jù)MOSS自己介紹，它同樣具備ChatGPT能實現(xiàn)的這些功能：

問答、文本翻譯、摘要總結、故事撰寫、情緒分析、建議提供、代碼和算法編寫等。

但實際測試效果又是如何，具體訓練方法和效果會不會有什么差異？

我們一步步來看。

MOSS與ChatGPT相比效果如何？

據(jù)團隊介紹，MOSS與ChatGPT主要有三大差異。

最主要的就是參數(shù)量的不同。MOSS模型的參數(shù)量比ChatGPT小了一個數(shù)量級。

然后是訓練方式的不同。雖然MOSS也是自然語言模型基座訓練+理解人類意圖對話能力訓練，但后者的訓練方式與ChatGPT采用的RLHF不同。

復旦團隊沒有采取人工標注（指令微調）的方式來進行理解對話能力訓練，而是基于與其他AI對話模型的交互來訓練自己。

沒錯，相比人類調教，MOSS直接選擇和其他AI模型進行對話……

最后是開放程度不同。ChatGPT背后模型目前還沒有開源，但MOSS承諾會將代碼開源。

說了這么多，MOSS的效果具體如何？

從官方給出示例來看，它問答和生成代碼的能力似乎還不錯。

在問答環(huán)節(jié)中，讓MOSS列五部科幻片，分分鐘就能給出（不過，《黑鏡》好像是電視?。浚?/p>

做表格的速度也非?？欤?/p>

在代碼生成中，寫個快速排序算法也沒問題：

但與ChatGPT相比，MOSS的實測效果究竟如何呢？

知乎已經(jīng)有匿名用戶稱已經(jīng)拿到了內測資格，并實時更新了一波測試結果，我們將MOSS的回答與ChatGPT簡單對比一下。

第一輪，先來看看寫文章的能力。

例如“幫忙寫一下國家自然科學基金申請，杰青那種”，MOSS回答如下：

我們把問題拿給ChatGPT后，得到了這樣的回答：

第二輪，來看看寫代碼的能力。

這是MOSS給出的代碼實現(xiàn)：

完整代碼：for(i=1:length(mat文件中的名字)){name = mat文件中的名字[i];data = {name};fprintf(‘%s,’,name);}end for

這是ChatGPT給出的代碼與回答：

第三輪，測試一下算法題的效果。

MOSS給出了一個實現(xiàn)思路：

ChatGPT則包辦了代碼和具體算法實現(xiàn)的流程：

最后一輪，再來看看做數(shù)學題的能力。

不過從功能介紹來看，MOSS應該還不具備解數(shù)學題的能力，這個問題確實不一定能回答出來。

ChatGPT則列了個方程解決這個問題：

整體來看，MOSS雖然在算法題上表現(xiàn)出了一定的邏輯，但在包括寫文章、做數(shù)學題等具體解決方案的提供上，還有待繼續(xù)訓練提升。

“只是想驗證ChatGPT技術路線”

針對種種疑問，團隊也在官網(wǎng)上做出了回應。

首先，是MOSS與ChatGPT的差距上。團隊表示，目前它還是一個非常不成熟的模型，距離ChatGPT還有很長的路需要走：

我們一個實驗室無法做出和ChatGPT能力相近的模型，只是想在百億規(guī)模參數(shù)上探索和驗證ChatGPT的技術路線。

接下來，是針對服務器被擠爆的回應：

我們沒想到會引起這么大關注，計算資源不足以支持如此大訪問量，向大家致以真誠的歉意。

最后還有關于命名MOSS的回應：

就像過去NLP領域的其他優(yōu)秀模型一樣，作者們都希望使用自己喜歡的影視角色名稱命名自己的模型。

此外，研究團隊還在介紹網(wǎng)站中詳細列出了MOSS的限制因素：

• 訓練數(shù)據(jù)中的多語言語料庫有限；
• 模型容量相對較小，不包含足夠的世界知識；
• 執(zhí)行方式比較迂回，甚至不按照指示執(zhí)行；
• 可能會生產(chǎn)不道德或有害的內容；
  ……

總結下來，就是MOSS的回答不及ChatGPT就是因為它缺乏高質量的數(shù)據(jù)、計算資源以及模型容量。

不過，有意思的是，團隊表示，在這些問題里面MOSS的最大短板是中文水平不夠高。

具體來說，相較于英文問答能力，MOSS的中文問答水平要低很多，這也與前面提到的預訓練模型學習數(shù)據(jù)量有關：

它的模型基座學習了3000多億個英文單詞，而互聯(lián)網(wǎng)上的中文網(wǎng)頁干擾信息如廣告很多，清洗難度很大，導致中文詞語只學了約300億個。

目前，復旦大學NLP實驗室正在加緊推進中文語料的清洗工作，清洗后的高質量中文語料也將用于下一階段模型訓練。

當然，和ChatGPT相比，MOSS也不是“一無是處”（手動狗頭），起碼它會在3月份開源代碼。

而這一把也將會直接有效降低預訓練語言模型的研發(fā)和應用門檻，屬實是利好中小企業(yè)了，邱錫鵬教授也表示：

MOSS的計算量相對不那么大，中小企業(yè)都能用起來。

此外，研究團隊對MOSS的“野心”似乎還不止于對話問答、寫代碼等這些ChatGPT擁有的功能。

在這次面向公眾內測的同時，團隊還透露出了MOSS的下一步計劃：

結合復旦在人工智能和相關交叉學科的研究成果，賦予MOSS更多的能力，如繪圖、語音、譜曲和教學，并加強它輔助科學家進行高效科研的能力等。

研究團隊

MOSS是復旦大學自然語言處理實驗室的成果，并且該項目還得到了上海人工智能實驗室的支持。

研究團隊由邱錫鵬帶隊，其余幾位均為復旦大學NLP實驗室的成員。

復旦大學自然語言處理實驗室，是由復旦大學首席教授吳立德先生創(chuàng)建，是我國最早開展自然語言處理和信息檢索研究的實驗室之一。

目前實驗室已經(jīng)發(fā)表了大量高水平國際期刊和會議論文，其中包括中國計算機學會推薦的A/B類國際會議和期刊論文（ACL,SIGIR,IJCAI,AAAI,NIPS,ICML等）論文150余篇。

此外，復旦NLP實驗室還發(fā)布了國內首家中文自然語言開源系統(tǒng)FudanNLP，被包括聯(lián)合國教科文組織在內的國內外多家研發(fā)機構采用。

邱錫鵬，復旦大學計算機科學技術學院教授，博士生導師，研究方向為自然語言處理、深度學習，發(fā)表CCF-A/B類論文70余篇。

他還主持開發(fā)了開源自然語言處理工具：FudanNLP 、FastNLP，獲得了學術界和產(chǎn)業(yè)界的廣泛使用。

對于復旦MOSS模型的發(fā)布，你的看法是？

參考鏈接：
[1] https://txsun1997.github.io/blogs/moss.html
[2] https://www.shobserver.com/staticsg/res/html/web/newsDetail.html?id=584634
[3] https://www.zhihu.com/question/585248111/answer/2903204899
[4] https://xpqiu.github.io/index.html