北理工校友發(fā)明文言文“填詞大師”，斷句、造詞都能做，高考文言文滿分靠它了
“李白的詞選得都沒我好”
蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
都說GPT-3能接人話，補充上下文關(guān)系，中文版的“填詞大師”你見過沒？
不僅是中文版，這個“填詞大師”甚至還是從古代穿越過來的文言文版。
這是兩個來自北理工的小哥做出的模型GuwenBERT，經(jīng)過訓(xùn)練后的模型，不僅能自動幫助文言文斷句，還能幫你思考被遮住的詞語到底是什么。（真沒有用原詩騙你）
要是這個模型去參加高考，文言文斷句、詩詞背誦部分，豈不是都能拿滿分？
來看看它是怎么被做出來的~
文言文版BERT，填詞斷句樣樣通
GuwenBERT，是在中文BERT-wwm模型的基礎(chǔ)上，利用古文數(shù)據(jù)集訓(xùn)練出來的。
中文BERT-wwm（基于全詞遮罩技術(shù)的中文預(yù)訓(xùn)練模型）是哈工大和訊飛聯(lián)合發(fā)表的模型，在中文BERT的基礎(chǔ)上，修改了預(yù)訓(xùn)練階段的訓(xùn)練樣本生成策略。
全詞遮罩（Whole Word Masking），指原來的遮罩（mask）只隨機遮一個字，現(xiàn)在則會對一個詞的所有字進(jìn)行遮罩。
但中文BERT-wwm，是針對現(xiàn)代漢語訓(xùn)練的模型。
經(jīng)受過文言文“毒打”的小伙伴都知道，古文不僅詞法與現(xiàn)代漢語中多存在不同，而且沒有斷句，理解起來費神費力。
想要在大量古籍中按圖索驥，快速查找到想要的資料，更是難上加難。
為此，GuwenBERT橫空出世，根據(jù)已有的現(xiàn)代漢語模型，用古文數(shù)據(jù)集訓(xùn)練出了文言文預(yù)訓(xùn)練模型。預(yù)訓(xùn)練的過程是這樣的：
目前，這個模型已經(jīng)給出了樣本，在線就能一試文言文版BERT的功力。
調(diào)戲Demo的方法是，隨便給一句古文，用[MASK]遮住其中一個字、或是一個標(biāo)點，讓GuwenBERT來猜猜看，你遮住的到底是什么。
例如，遮住一個逗號，看文言文會不會斷句。BERT在思考了不到一秒后，就給出了自己的答案：
至于填詞方面，文言文BERT的表現(xiàn)也很優(yōu)秀，在思考了一會后，填上了正確的詞語。
是不是感覺有點簡單？我們用課文來試一下：
效果竟然也不錯，要是這樣的理解能力去參加高考，豈不是就能拿個默寫部分的滿分了？
其實不然，這個文言文BERT，并不是根據(jù)記憶來判斷如何填詞，只是根據(jù)訓(xùn)練后的模型，來預(yù)測“概率最大的字”。
于是在測試過程中，出現(xiàn)了一些神奇的事情：這個文言文BERT，不僅能接梗造詞，甚至還給李白詩中的字“推薦”了更好的替代者。
接梗造詞樣樣會，李白的詩也能改
舉個例子，即使輸入的不是原來的詩句，文言文BERT也同樣能預(yù)測出被遮住的字，不僅能隨便接梗，還面不改色心不跳。
例如，“垂死病中驚坐起，笑問客從何處來”也能接……（原詩是？）
一旦涉及動詞的選取，GuwenBERT的預(yù)測就更加難以捉摸，因為可選的范圍太大了。（中文博大精深）
例如，將“不及汪倫送我情”的“送”字遮住的話，GuwenBERT就開始感到迷茫，即使是預(yù)測率最高的“知”，也只有15.7%的概率。
“不及汪倫知我情”，想必BERT版李白，內(nèi)心一定認(rèn)為汪倫是自己高山流水一般難得遇見的知音。
在斷句的情況下，如果并非對仗工整的語句，GuwenBERT也要好好思考一會。
雖然文言文BERT有自己的想法，不過它還是“循規(guī)蹈矩”的，目前在測試時，語法上還沒有出現(xiàn)太大的問題。
甚至，還能為古人們的寫作提供別樣的靈感。
但文言文BERT目前還只能遮罩一個字，要是多了幾個，它就不跟你玩了。
不知道作者以后會不會在這方面進(jìn)一步加上新功能。
作者介紹
這個文言文BERT的作者，是兩位來自北理工的同學(xué)。
閻覃，來自北京理工大學(xué)，目前是計算機科學(xué)與技術(shù)專業(yè)的一名碩士生。
這位小哥在GitHub的名字是Ethan，他還特意選擇了某些日期來contribution，把自己的名字拼了上去。
遲澤聞，同樣來自北京理工大學(xué)，目前的研究工作主要是通過預(yù)訓(xùn)練來進(jìn)行跨語言的自然語言生成。
目前，模型的相關(guān)代碼已經(jīng)開源，想要了解的小伙伴，可以在下方試玩模型、或是查看代碼。
這樣的文言文BERT，你覺得還能用在哪些地方呢？
歡迎留言討論~
demo在線可玩：
https://huggingface.co/ethanyt/guwenbert-base
模型地址：
https://github.com/Ethan-yt/guwenbert
參考鏈接：
https://zhuanlan.zhihu.com/p/275970135
https://www.linkedin.com/in/ethanyan/
相關(guān)閱讀
XLNet團隊：贏BERT靠的并不是數(shù)據(jù)集更大，公平對決也碾壓對手
外界曾質(zhì)疑XLNet是靠大10倍的數(shù)據(jù)集取勝
BERT重奪多項測試第一名，改進(jìn)之后性能追上XLNet，現(xiàn)已開源預(yù)訓(xùn)練模型
NLP領(lǐng)域今年的競爭真可謂激烈。短短一個多月的時間，BERT又重新殺回GLUE測試排行榜第一名。
拯救“沒常識”的GPT-3得靠它了，交大ACM班校友提出“Voken” 無監(jiān)督學(xué)習(xí) | EMNLP 2020
讓BERT學(xué)會“看圖說話”
