中文分詞最佳紀(jì)錄刷新，兩大模型分別解決中文分詞及詞性標(biāo)注問(wèn)題

郭一璞 2020-07-10 14:10:06 來(lái)源：量子位

伊瓢 發(fā)自 中關(guān)村
量子位 報(bào)道 | 公眾號(hào) QbitAI

中文分詞的最佳效果又被刷新了。

在今年的ACL 2020上，來(lái)自創(chuàng)新工場(chǎng)大灣區(qū)人工智能研究院的兩篇論文中的模型，刷新了這一領(lǐng)域的成績(jī)。

WMSeg，在MSR、PKU、AS、CityU、CTB6這5個(gè)數(shù)據(jù)集上的表現(xiàn)，均達(dá)了最好的成績(jī)。

另外，在詞性標(biāo)注方面，TwASP模型同樣刷新了成績(jī)。

中文分詞的SOTA

中文分詞目的是在中文的字序列中插入分隔符，將其切分為詞。例如，“我喜歡音樂(lè)”將被切分為“我/喜歡/音樂(lè)”(“/”表示分隔符)。

中文語(yǔ)言因其特殊性，在分詞時(shí)面臨著兩個(gè)主要難點(diǎn)。一是歧義問(wèn)題，由于中文存在大量歧義，一般的分詞工具在切分句子時(shí)可能會(huì)出錯(cuò)。例如，“部分居民生活水平”，其正確的切分應(yīng)為“部分/居民/生活/水平”，但存在“分居”、“民生”等歧義詞。“他從小學(xué)電腦技術(shù)”，正確的分詞是：他/從小/學(xué)/電腦技術(shù)，但也存在“小學(xué)”這種歧義詞。

二是未登錄詞問(wèn)題。未登錄詞指的是不在詞表，或者是模型在訓(xùn)練的過(guò)程中沒(méi)有遇見(jiàn)過(guò)的詞。例如經(jīng)濟(jì)、醫(yī)療、科技等科學(xué)領(lǐng)域的專業(yè)術(shù)語(yǔ)或者社交媒體上的新詞，或者是人名。這類問(wèn)題在跨領(lǐng)域分詞任務(wù)中尤其明顯。

對(duì)此，《Improving Chinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基于鍵-值記憶神經(jīng)網(wǎng)絡(luò)的中文分詞模型。

該模型利用n元組（即一個(gè)由連續(xù)n個(gè)字組成的序列，比如“居民”是一個(gè)2元組，“生活水平”是一個(gè)4元組）提供的每個(gè)字的構(gòu)詞能力，通過(guò)加（降）權(quán)重實(shí)現(xiàn)特定語(yǔ)境下的歧義消解。并通過(guò)非監(jiān)督方法構(gòu)建詞表，實(shí)現(xiàn)對(duì)特定領(lǐng)域的未標(biāo)注文本的利用，進(jìn)而提升對(duì)未登錄詞的識(shí)別。

例如，在“部分居民生活水平”這句話中，到底有多少可能成為詞的組塊？單字可成詞，如“民”；每?jī)蓚€(gè)字的組合可能成詞，如“居民”；甚至四個(gè)字的組合也可能成詞，例如“居民生活”。

“民” → 單字詞“居民” → 詞尾“民生”→ 詞首“居民生活” → 詞中

把這些可能成詞的組合全部找到以后，加入到該分詞模型中。通過(guò)神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)哪些詞對(duì)于最后完整表達(dá)句意的幫助更大，進(jìn)而分配不同的權(quán)重。像“部分”、“居民”、“生活”、“水平”這些詞都會(huì)被突出出來(lái)，但“分居”、“民生”這些詞就會(huì)被降權(quán)處理，從而預(yù)測(cè)出正確的結(jié)果。

△?鍵-值記憶神經(jīng)網(wǎng)絡(luò)分詞模型

在“他從小學(xué)電腦技術(shù)” 這句話中，對(duì)于有歧義的部分“從小學(xué)”（有“從/小學(xué)”和“從小/學(xué)”兩種分法），該模型能夠?qū)Α皬男　焙汀皩W(xué)”分配更高的權(quán)重，而對(duì)錯(cuò)誤的n元組——“小學(xué)”分配較低的權(quán)重。

為了檢驗(yàn)該模型的分詞效果，論文進(jìn)行了嚴(yán)格的標(biāo)準(zhǔn)實(shí)驗(yàn)和跨領(lǐng)域?qū)嶒?yàn)。

實(shí)驗(yàn)結(jié)果顯示，該模型在5個(gè)數(shù)據(jù)集（MSR、PKU、AS、CityU、CTB6）上的表現(xiàn)，均達(dá)了最好的成績(jī)。

創(chuàng)新工場(chǎng)大灣區(qū)人工智能研究院執(zhí)行院長(zhǎng)宋彥表示，與前人的模型進(jìn)行比較發(fā)現(xiàn)，該模型在所有數(shù)據(jù)集上的表現(xiàn)均超過(guò)了之前的工作，“把中文分詞領(lǐng)域廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集上的性能全部刷到了新高。”

在跨領(lǐng)域?qū)嶒?yàn)中，論文使用網(wǎng)絡(luò)博客數(shù)據(jù)集（CTB7）測(cè)試。實(shí)驗(yàn)結(jié)果顯示，在整體F值以及未登陸詞的召回率上都有比較大提升。

△?跨領(lǐng)域分詞實(shí)驗(yàn)（網(wǎng)絡(luò)博客測(cè)試集）的結(jié)果

解決“噪音”問(wèn)題

《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》論文提供了一種基于雙通道注意力機(jī)制的分詞及詞性標(biāo)注模型。

中文分詞和詞性標(biāo)注是兩個(gè)不同的任務(wù)。詞性標(biāo)注是在已經(jīng)切分好的文本中，給每一個(gè)詞標(biāo)注其所屬的詞類，例如動(dòng)詞、名詞、代詞、形容詞。詞性標(biāo)注對(duì)后續(xù)的句子理解有重要的作用。

在詞性標(biāo)注中，歧義仍然是個(gè)老大難的問(wèn)題。例如，對(duì)于“他要向全班同學(xué)報(bào)告書(shū)上的內(nèi)容”中，“報(bào)告書(shū)”的正確的切分和標(biāo)注應(yīng)為“報(bào)告_VV/書(shū)_N”。但由于“報(bào)告書(shū)”本身也是一個(gè)常見(jiàn)詞，一般的工具可能會(huì)將其標(biāo)注為“報(bào)告書(shū)_NN”。

△?利用句法知識(shí)進(jìn)行正確的詞性標(biāo)注

句法標(biāo)注本身需要大量的時(shí)間和人力成本。在以往的標(biāo)注工作中，使用外部自動(dòng)工具獲取句法知識(shí)是主流方法。在這種情況下，如果模型不能識(shí)別并正確處理帶有雜音的句法知識(shí)，很可能會(huì)被不準(zhǔn)確的句法知識(shí)誤導(dǎo)，做出錯(cuò)誤的預(yù)測(cè)。

例如，在句子“他馬上功夫很好”中，“馬”和“上”應(yīng)該分開(kāi)（正確的標(biāo)注應(yīng)為“馬_NN/上_NN”）。但按照一般的句法知識(shí)，卻可能得到不準(zhǔn)確的切分及句法關(guān)系，如“馬上”。

針對(duì)這一問(wèn)題，該論文提出了一個(gè)基于雙通道注意力機(jī)制的分詞及詞性標(biāo)注模型。該模型將中文分詞和詞性標(biāo)注視作聯(lián)合任務(wù)，可一體化完成。模型分別對(duì)自動(dòng)獲取的上下文特征和句法知識(shí)加權(quán)，預(yù)測(cè)每個(gè)字的分詞和詞性標(biāo)簽，不同的上下文特征和句法知識(shí)在各自所屬的注意力通道內(nèi)進(jìn)行比較、加權(quán)，從而識(shí)別特定語(yǔ)境下不同上下文特征和句法知識(shí)的貢獻(xiàn)。

這樣一來(lái)，那些不準(zhǔn)確的，對(duì)模型預(yù)測(cè)貢獻(xiàn)小的上下文特征和句法知識(shí)就能被識(shí)別出來(lái)，并被分配小的權(quán)重，從而避免模型被這些有噪音的信息誤導(dǎo)。

△?基于“雙通道注意力機(jī)制”的分詞及詞性標(biāo)注

即便在自動(dòng)獲取的句法知識(shí)不準(zhǔn)確的時(shí)候，該模型仍能有效識(shí)別并利用這種知識(shí)。例如，將前文有歧義、句法知識(shí)不準(zhǔn)確的句子（“他馬上功夫很好”），輸入該雙通道注意力模型后，便得到了正確的分詞和詞性標(biāo)注結(jié)果。

△?分詞及詞性標(biāo)注實(shí)例

為了測(cè)試該模型的性能，論文在一般領(lǐng)域和跨領(lǐng)域分別進(jìn)行了實(shí)驗(yàn)。

一般領(lǐng)域?qū)嶒?yàn)結(jié)果顯示，該模型在5個(gè)數(shù)據(jù)集（CTB5，CTB6，CTB7，CTB9，Universal Dependencies）的表現(xiàn)（F值）均超過(guò)前人的工作，也大幅度超過(guò)了斯坦福大學(xué)的 CoreNLP 工具，和伯克利大學(xué)的句法分析器。

即使是在與CTB詞性標(biāo)注規(guī)范不同的UD數(shù)據(jù)集中，該模型依然能吸收不同標(biāo)注帶來(lái)的知識(shí)，并使用這種知識(shí)，得到更好的效果。

△?CTB5（CTB5是使用最多的中文分詞和詞性標(biāo)注的數(shù)據(jù)集）結(jié)果

而在跨領(lǐng)域的實(shí)驗(yàn)中，和斯坦福大學(xué)的 CoreNLP 工具相比，該模型也有近10個(gè)百分點(diǎn)的提升。

△?跨領(lǐng)域分詞實(shí)驗(yàn)（對(duì)話測(cè)試集）的結(jié)果

創(chuàng)新工場(chǎng)出品

兩篇論文的第一作者，是華盛頓大學(xué)博士研究生、創(chuàng)新工場(chǎng)實(shí)習(xí)生田元賀。

他的老師創(chuàng)新工場(chǎng)大灣區(qū)人工智能研究院執(zhí)行院長(zhǎng)、華盛頓大學(xué)客座教授宋彥，此前也是騰訊AI Lab專家（首席）研究員。

傳送門

Improving Chinese Word Segmentation with Wordhood Memory Networks

作者：Yuanhe Tian, Yan Song, Fei Xia, Tong Zhang, Yonggang Wang

論文地址：https://www.aclweb.org/anthology/2020.acl-main.734/

GitHub：https://github.com/SVAIGBA/WMSeg

Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge

作者：Yuanhe Tian, Yan Song, Xiang Ao, Fei Xia, Xiaojun Quan, Tong Zhang, Yonggang Wang

論文地址：https://www.aclweb.org/anthology/2020.acl-main.735/

GitHub：https://github.com/SVAIGBA/TwASP