最新中文NLP開源工具箱來(lái)了！支持6大任務(wù)，面向工業(yè)應(yīng)用 | 資源

銅靈 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

對(duì)于開發(fā)者來(lái)說(shuō)，又有一個(gè)新的NLP工具箱可以使用了，代號(hào)PaddleNLP，目前已開源。

在這個(gè)基于百度深度學(xué)習(xí)平臺(tái)飛槳（PaddlePaddle）開發(fā)的工具箱里，裝有大量工業(yè)級(jí)中文NLP開源工具與預(yù)訓(xùn)練模型。

這個(gè)工具箱里的工具全面，共支持的6大NLP任務(wù)，包括文本分類、文本匹配、序列標(biāo)注、文本生成、語(yǔ)義表示與語(yǔ)言模型和其他復(fù)雜任務(wù)等。

除了全面，PaddleNLP的效果也還不錯(cuò)。比如基于百度海量搜索數(shù)據(jù)，PaddleNLP訓(xùn)練了的語(yǔ)義匹配模型在真實(shí)FAQ問(wèn)答場(chǎng)景中，比基于字面的相似度方法AUC提升5%以上。

無(wú)論你在聊天機(jī)器人、智能客服、新聞推薦、信息檢索、閱讀理解還是機(jī)器翻譯等場(chǎng)景，PaddleNLP都能一次性滿足你的需求。

飛槳表示，手握PaddleNLP，就能將NLP領(lǐng)域的多種模型用一套共享骨架代碼實(shí)現(xiàn)，減少開發(fā)者在開發(fā)過(guò)程中的重復(fù)工作。能方便開發(fā)者靈活插拔嘗試多種網(wǎng)絡(luò)結(jié)構(gòu)，并且讓應(yīng)用最快速達(dá)到工業(yè)級(jí)效果。

具體來(lái)看用法。

1、文本分類

文本情感分析

情感是人類的一種高級(jí)智能行為，為了識(shí)別文本的情感傾向，需要深入的語(yǔ)義建模。另外，不同領(lǐng)域（如餐飲、體育）在情感的表達(dá)各不相同，因而需要有大規(guī)模覆蓋各個(gè)領(lǐng)域的數(shù)據(jù)進(jìn)行模型訓(xùn)練。為此，可以通過(guò)基于深度學(xué)習(xí)的語(yǔ)義模型和大規(guī)模數(shù)據(jù)挖掘解決上述兩個(gè)問(wèn)題。

百度研發(fā)的中文特色情感傾向分析模型（Sentiment Classification，簡(jiǎn)稱Senta）針對(duì)帶有主觀描述的中文文本，可自動(dòng)判斷該文本的情感極性類別并給出相應(yīng)的置信度。

情感類型分為積極、消極。情感傾向分析能夠幫助企業(yè)理解用戶消費(fèi)習(xí)慣、分析熱點(diǎn)話題和危機(jī)輿情監(jiān)控，為企業(yè)提供有利的決策支持。

基于開源情感傾向分類數(shù)據(jù)集ChnSentiCorp評(píng)測(cè)結(jié)果如下表所示，此外，PaddleNLP還開源了百度基于海量數(shù)據(jù)訓(xùn)練好的模型，該模型在ChnSentiCorp數(shù)據(jù)集上fine-tune之后（基于開源模型進(jìn)行Finetune的方法詳見Github），可以得到更好的效果。

• BOW（Bag Of Words）模型，是一個(gè)非序列模型，使用基本的全連接結(jié)構(gòu)。
• CNN（Convolutional Neural Networks），是一個(gè)基礎(chǔ)的序列模型，能處理變長(zhǎng)序列輸入，提取局部區(qū)域之內(nèi)的特征。
• GRU（Gated Recurrent Unit），序列模型，能夠較好地解決序列文本中長(zhǎng)距離依賴的問(wèn)題。
• LSTM（Long Short Term Memory），序列模型，能夠較好地解決序列文本中長(zhǎng)距離依賴的問(wèn)題。
• BI-LSTM（Bidirectional Long Short Term Memory），序列模型，采用雙向LSTM結(jié)構(gòu)，更好地捕獲句子中的語(yǔ)義特征。
• ERNIE（Enhanced Representation through kNowledge IntEgration），百度自研基于海量數(shù)據(jù)和先驗(yàn)知識(shí)訓(xùn)練的通用文本語(yǔ)義表示模型，并基于此在情感傾向分類數(shù)據(jù)集上進(jìn)行fine-tune獲得。
• ERNIE+BI-LSTM，基于ERNIE語(yǔ)義表示對(duì)接上層BI-LSTM模型，并基于此在情感傾向分類數(shù)據(jù)集上進(jìn)行Fine-tune獲得。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/sentiment_classification

對(duì)話情緒識(shí)別

對(duì)話情緒識(shí)別適用于聊天、客服等多個(gè)場(chǎng)景，能夠幫助企業(yè)更好地把握對(duì)話質(zhì)量、改善產(chǎn)品的用戶交互體驗(yàn)，也能分析客服服務(wù)質(zhì)量、降低人工質(zhì)檢成本。

對(duì)話情緒識(shí)別（Emotion Detection，簡(jiǎn)稱EmoTect），專注于識(shí)別智能對(duì)話場(chǎng)景中用戶的情緒，針對(duì)智能對(duì)話場(chǎng)景中的用戶文本，自動(dòng)判斷該文本的情緒類別并給出相應(yīng)的置信度，情緒類型分為積極、消極、中性。

基于百度自建測(cè)試集（包含閑聊、客服）和nlpcc2014微博情緒數(shù)據(jù)集評(píng)測(cè)效果如下表所示，此外，PaddleNLP還開源了百度基于海量數(shù)據(jù)訓(xùn)練好的模型，該模型在聊天對(duì)話語(yǔ)料上fine-tune之后，可以得到更好的效果。

• BOW：Bag Of Words，是一個(gè)非序列模型，使用基本的全連接結(jié)構(gòu)。
• CNN：淺層CNN模型，能夠處理變長(zhǎng)的序列輸入，提取一個(gè)局部區(qū)域之內(nèi)的特征。
• TextCNN：多卷積核CNN模型，能夠更好地捕捉句子局部相關(guān)性。
• LSTM：?jiǎn)螌覮STM模型，能夠較好地解決序列文本中長(zhǎng)距離依賴的問(wèn)題。
• BI-LSTM：雙向單層LSTM模型，采用雙向LSTM結(jié)構(gòu)，更好地捕獲句子中的語(yǔ)義特征。
• ERNIE：百度自研基于海量數(shù)據(jù)和先驗(yàn)知識(shí)訓(xùn)練的通用文本語(yǔ)義表示模型，并基于此在對(duì)話情緒分類數(shù)據(jù)集上進(jìn)行fine-tune獲得。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/emotion_detection

2、文本匹配

短文本語(yǔ)義匹配

百度自主研發(fā)的短文本語(yǔ)義匹配語(yǔ)義匹配框架(SimilarityNet, SimNet)是一個(gè)計(jì)算短文本相似度的框架，可以根據(jù)用戶輸入的兩個(gè)文本，計(jì)算出相似度得分。

SimNet 在語(yǔ)義表示上沿襲了隱式連續(xù)向量表示的方式，但對(duì)語(yǔ)義匹配問(wèn)題在深度學(xué)習(xí)框架下進(jìn)行了 End-to-End 的建模，將point-wise與 pair-wise兩種有監(jiān)督學(xué)習(xí)方式全部統(tǒng)一在一個(gè)整體框架內(nèi)。

在實(shí)際應(yīng)用場(chǎng)景下，將海量的用戶點(diǎn)擊行為數(shù)據(jù)轉(zhuǎn)化為大規(guī)模的弱標(biāo)記數(shù)據(jù)，在網(wǎng)頁(yè)搜索任務(wù)上的初次使用即展現(xiàn)出極大威力，帶來(lái)了相關(guān)性的提升。

SimNet框架在百度各產(chǎn)品上廣泛應(yīng)用，主要包括BOW、CNN、RNN、MMDNN等核心網(wǎng)絡(luò)結(jié)構(gòu)形式，提供語(yǔ)義相似度計(jì)算訓(xùn)練和預(yù)測(cè)框架，適用于信息檢索、新聞推薦、智能客服等多個(gè)應(yīng)用場(chǎng)景，幫助企業(yè)解決語(yǔ)義匹配問(wèn)題。

基于百度海量搜索數(shù)據(jù)，PaddleNLP訓(xùn)練了一個(gè)SimNet-BOW-Pairwise語(yǔ)義匹配模型，在一些真實(shí)的FAQ問(wèn)答場(chǎng)景中，該模型效果比基于字面的相似度方法AUC提升5%以上。

基于百度自建測(cè)試集（包含聊天、客服等數(shù)據(jù)集）和語(yǔ)義匹配數(shù)據(jù)集(LCQMC)進(jìn)行評(píng)測(cè)，效果如下表所示。

LCQMC數(shù)據(jù)集以Accuracy為評(píng)測(cè)指標(biāo)，而pairwise模型的輸出為相似度，因此采用0.958作為分類閾值，相比于基線模型中網(wǎng)絡(luò)結(jié)構(gòu)同等復(fù)雜的CBOW模型（準(zhǔn)確率為0.737），BOW_Pairwise的準(zhǔn)確率提升為0.7532。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/similarity_net

3、序列標(biāo)注

詞法分析

百度自主研發(fā)中文特色模型詞法分析任務(wù)（Lexical Analysis of Chinese），輸入是一個(gè)字符串，而輸出是句子中的詞邊界和詞性、實(shí)體類別。

序列標(biāo)注是詞法分析的經(jīng)典建模方式。LAC使用基于 GRU 的網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)特征，將學(xué)習(xí)到的特征接入 CRF 解碼層完成序列標(biāo)注。

CRF解碼層本質(zhì)上是將傳統(tǒng) CRF 中的線性模型換成了非線性神經(jīng)網(wǎng)絡(luò)，基于句子級(jí)別的似然概率，因而能夠更好的解決標(biāo)記偏置問(wèn)題。LAC能整體性地完成中文分詞、詞性標(biāo)注、專名識(shí)別任務(wù)。

基于自建的數(shù)據(jù)集上對(duì)分詞、詞性標(biāo)注、專名識(shí)別進(jìn)行整體的評(píng)估效果，效果如下表所示。此外，在飛槳開放的語(yǔ)義表示模型 ERNIE 上 finetune，并對(duì)比基線模型、BERT finetuned 和 ERNIE finetuned 的效果，可以看出會(huì)有顯著的提升。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/lexical_analysis

4、文本生成

機(jī)器翻譯

機(jī)器翻譯（machine translation, MT）是利用計(jì)算機(jī)將一種自然語(yǔ)言(源語(yǔ)言)轉(zhuǎn)換為另一種自然語(yǔ)言(目標(biāo)語(yǔ)言)的過(guò)程，輸入為源語(yǔ)言句子，輸出為相應(yīng)的目標(biāo)語(yǔ)言的句子。

Transformer 是論文 「Attention Is All You Need 」中提出的用以完成機(jī)器翻譯（machine translation, MT）等序列到序列（sequence to sequence, Seq2Seq）學(xué)習(xí)任務(wù)的一種全新網(wǎng)絡(luò)結(jié)構(gòu)。

其同樣使用了 Seq2Seq 任務(wù)中典型的編碼器-解碼器（Encoder-Decoder）的框架結(jié)構(gòu)，但相較于此前廣泛使用的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN），其完全使用注意力（Attention）機(jī)制來(lái)實(shí)現(xiàn)序列到序列的建模。

基于公開的 WMT’16 EN-DE 數(shù)據(jù)集訓(xùn)練 Base、Big 兩種配置的Transformer 模型后，在相應(yīng)的測(cè)試集上進(jìn)行評(píng)測(cè)，效果如下表所示。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/neural_machine_translation/transformer

5、語(yǔ)義表示與語(yǔ)言模型

語(yǔ)言表示工具箱

BERT 是一個(gè)遷移能力很強(qiáng)的通用語(yǔ)義表示模型， 以 Transformer 為網(wǎng)絡(luò)基本組件，以雙向 Masked Language Model和 Next Sentence Prediction 為訓(xùn)練目標(biāo)，通過(guò)預(yù)訓(xùn)練得到通用語(yǔ)義表示，再結(jié)合簡(jiǎn)單的輸出層，應(yīng)用到下游的 NLP 任務(wù)，在多個(gè)任務(wù)上取得了 SOTA 的結(jié)果。

ELMo(Embeddings from Language Models) 是重要的通用語(yǔ)義表示模型之一，以雙向 LSTM 為網(wǎng)路基本組件，以 Language Model 為訓(xùn)練目標(biāo)，通過(guò)預(yù)訓(xùn)練得到通用的語(yǔ)義表示，將通用的語(yǔ)義表示作為 Feature 遷移到下游 NLP 任務(wù)中，會(huì)顯著提升下游任務(wù)的模型性能。

PaddleNLP發(fā)布了基于百科類數(shù)據(jù)訓(xùn)練的預(yù)訓(xùn)練模型。

百度自研的語(yǔ)義表示模型ERNIE 通過(guò)建模海量數(shù)據(jù)中的詞、實(shí)體及實(shí)體關(guān)系，學(xué)習(xí)真實(shí)世界的語(yǔ)義知識(shí)。相較于 BERT 學(xué)習(xí)原始語(yǔ)言信號(hào)，ERNIE直接對(duì)先驗(yàn)語(yǔ)義知識(shí)單元進(jìn)行建模，增強(qiáng)了模型語(yǔ)義表示能力。

這里舉個(gè)例子：

Learnt by BERT ：哈 [mask] 濱是 [mask] 龍江的省會(huì)，[mask] 際冰 [mask] 文化名城。

Learnt by ERNIE：[mask] [mask] [mask] 是黑龍江的省會(huì)，國(guó)際 [mask] [mask] 文化名城。

在 BERT 模型中，我們通過(guò)『哈』與『濱』的局部共現(xiàn)，即可判斷出『爾』字，模型沒(méi)有學(xué)習(xí)與『哈爾濱』相關(guān)的任何知識(shí)。而 ERNIE 通過(guò)學(xué)習(xí)詞與實(shí)體的表達(dá)，使模型能夠建模出『哈爾濱』與『黑龍江』的關(guān)系，學(xué)到『哈爾濱』是 『黑龍江』的省會(huì)以及『哈爾濱』是個(gè)冰雪城市。

訓(xùn)練數(shù)據(jù)方面，除百科類、資訊類中文語(yǔ)料外，ERNIE 還引入了論壇對(duì)話類數(shù)據(jù)，利用 DLM（Dialogue Language Model）建模 Query-Response 對(duì)話結(jié)構(gòu)，將對(duì)話 Pair 對(duì)作為輸入，引入 Dialogue Embedding 標(biāo)識(shí)對(duì)話的角色，利用 Dialogue Response Loss 學(xué)習(xí)對(duì)話的隱式關(guān)系，進(jìn)一步提升模型的語(yǔ)義表示能力。

ERNIE在自然語(yǔ)言推斷，語(yǔ)義相似度，命名實(shí)體識(shí)別，情感分析，問(wèn)答匹配多項(xiàng)NLP中文任務(wù)上效果領(lǐng)先。

項(xiàng)目地址：

https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE

https://github.com/PaddlePaddle/LARK/tree/develop/BERT

https://github.com/PaddlePaddle/LARK/tree/develop/ELMo

語(yǔ)言模型

基于LSTM的語(yǔ)言模型任務(wù)是給定一個(gè)輸入詞序列（中文分詞、英文tokenize），計(jì)算其PPL（語(yǔ)言模型困惑度，用戶表示句子的流利程度），基于循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的介紹可以參閱論文「Recurrent Neural Network Regularization」。

相對(duì)于傳統(tǒng)的方法，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法能夠更好的解決稀疏詞的問(wèn)題。此任務(wù)采用了序列任務(wù)常用的RNN網(wǎng)絡(luò)，實(shí)現(xiàn)了一個(gè)兩層的LSTM網(wǎng)絡(luò)，然后LSTM的結(jié)果去預(yù)測(cè)下一個(gè)詞出現(xiàn)的概率。

在small、meidum、large三個(gè)不同配置情況的ppl對(duì)比如下表所示。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/language_model

6、復(fù)雜任務(wù)

對(duì)話模型工具箱

Auto Dialogue Evaluation

對(duì)話自動(dòng)評(píng)估模塊主要用于評(píng)估開放領(lǐng)域?qū)υ捪到y(tǒng)的回復(fù)質(zhì)量，能夠幫助企業(yè)或個(gè)人快速評(píng)估對(duì)話系統(tǒng)的回復(fù)質(zhì)量，減少人工評(píng)估成本。

1）在無(wú)標(biāo)注數(shù)據(jù)的情況下，利用負(fù)采樣訓(xùn)練匹配模型作為評(píng)估工具，實(shí)現(xiàn)對(duì)多個(gè)對(duì)話系統(tǒng)回復(fù)質(zhì)量排序；

2）利用少量標(biāo)注數(shù)據(jù)（特定對(duì)話系統(tǒng)或場(chǎng)景的人工打分），在匹配模型基礎(chǔ)上進(jìn)行微調(diào)，可以顯著提高該對(duì)話系統(tǒng)或場(chǎng)景的評(píng)估效果。

以四個(gè)不同的對(duì)話系統(tǒng)（seq2seq_naive／seq2seq_att／keywords／human）為例，使用對(duì)話自動(dòng)評(píng)估工具進(jìn)行自動(dòng)評(píng)估。

1）無(wú)標(biāo)注數(shù)據(jù)情況下，直接使用預(yù)訓(xùn)練好的評(píng)估工具進(jìn)行評(píng)估； 在四個(gè)對(duì)話系統(tǒng)上，自動(dòng)評(píng)估打分和人工評(píng)估打分spearman相關(guān)系數(shù)，如下表所示。

2）對(duì)四個(gè)系統(tǒng)平均得分排序：

3）利用少量標(biāo)注數(shù)據(jù)微調(diào)后，自動(dòng)評(píng)估打分和人工打分spearman相關(guān)系數(shù)，如下表所示。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/dialogue_model_toolkit/auto_dialogue_evaluation

Deep Attention Matching Network

深度注意力機(jī)制模型是開放領(lǐng)域多輪對(duì)話匹配模型。根據(jù)多輪對(duì)話歷史和候選回復(fù)內(nèi)容，排序出最合適的回復(fù)。

多輪對(duì)話匹配任務(wù)輸入是多輪對(duì)話歷史和候選回復(fù)，輸出是回復(fù)匹配得分，根據(jù)匹配得分排序，更多內(nèi)容請(qǐng)參閱論文Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network。

兩個(gè)公開數(shù)據(jù)集上評(píng)測(cè)效果如下表所示。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/dialogue_model_toolkit/deep_attention_matching

對(duì)話通用理解模型DGU

對(duì)話相關(guān)的任務(wù)中，Dialogue System常常需要根據(jù)場(chǎng)景的變化去解決多種多樣的任務(wù)。任務(wù)的多樣性（意圖識(shí)別、槽位解析、DA識(shí)別、DST等等），以及領(lǐng)域訓(xùn)練數(shù)據(jù)的稀少，給Dialogue System的研究和應(yīng)用帶來(lái)了巨大的困難和挑戰(zhàn)，要使得dialogue system得到更好的發(fā)展，需要開發(fā)一個(gè)通用的對(duì)話理解模型?；贐ERT的對(duì)話通用理解模塊(DGU:Dialogue General Understanding)，通過(guò)實(shí)驗(yàn)表明，使用base-model(BERT)并結(jié)合常見的學(xué)習(xí)范式，在幾乎全部對(duì)話理解任務(wù)上取得比肩甚至超越各個(gè)領(lǐng)域業(yè)內(nèi)最好的模型的效果，展現(xiàn)了學(xué)習(xí)一個(gè)通用對(duì)話理解模型的巨大潛力。

DGU針對(duì)數(shù)據(jù)集開發(fā)了相關(guān)的模型訓(xùn)練過(guò)程，支持分類，多標(biāo)簽分類，序列標(biāo)注等任務(wù)，用戶可針對(duì)自己的數(shù)據(jù)集，進(jìn)行相關(guān)的模型定制

基于對(duì)話相關(guān)的業(yè)內(nèi)公開數(shù)據(jù)集進(jìn)行評(píng)測(cè)，效果如下表所示。

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/dialogue_model_toolkit/dialogue_general_understanding

知識(shí)驅(qū)動(dòng)對(duì)話

人機(jī)對(duì)話是人工智能（AI）中最重要的話題之一，近年來(lái)受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。目前，對(duì)話系統(tǒng)仍然處于起步階段，通常是被動(dòng)地進(jìn)行交談，并且更多地將他們的言論作為回應(yīng)而不是他們自己的倡議，這與人與人的談話不同。

因此， 百度在一個(gè)名為知識(shí)驅(qū)動(dòng)對(duì)話的新對(duì)話任務(wù)上設(shè)置了這個(gè)競(jìng)賽，其中機(jī)器基于構(gòu)建的知識(shí)圖與人交談。它旨在測(cè)試機(jī)器進(jìn)行類似人類對(duì)話的能力。

這是提供基于檢索和基于生成的基線系統(tǒng)。 這兩個(gè)系統(tǒng)都是由PaddlePaddle（百度深度學(xué)習(xí)框架）和Pytorch（Facebook深度學(xué)習(xí)框架）實(shí)現(xiàn)的。 兩個(gè)系統(tǒng)的性能如下表所示。

項(xiàng)目地址：

https://github.com/baidu/knowledge-driven-dialogue/tree/master

閱讀理解

在機(jī)器閱讀理解(MRC)任務(wù)中，會(huì)給定一個(gè)問(wèn)題(Q)以及一個(gè)或多個(gè)段落(P)/文檔(D)，然后利用機(jī)器在給定的段落中尋找正確答案(A)，即Q + P or D => A. 機(jī)器閱讀理解(MRC)是自然語(yǔ)言處理(NLP)中的關(guān)鍵任務(wù)之一，需要機(jī)器對(duì)語(yǔ)言有深刻的理解才能找到正確的答案。

基于PaddlePaddle的閱讀理解升級(jí)了經(jīng)典的閱讀理解BiDAF模型，去掉了char級(jí)別的embedding，在預(yù)測(cè)層中使用了pointer network，并且參考了R-NET中的一些網(wǎng)絡(luò)結(jié)構(gòu)，效果上有了提升(在DuReader2.0驗(yàn)證集、測(cè)試集的表現(xiàn)見下表)。

DuReader是一個(gè)大規(guī)模、面向真實(shí)應(yīng)用、由人類生成的中文閱讀理解數(shù)據(jù)集。DuReader聚焦于真實(shí)世界中的不限定領(lǐng)域的問(wèn)答任務(wù)。相較于其他閱讀理解數(shù)據(jù)集，DuReader的優(yōu)勢(shì)包括:

問(wèn)題來(lái)自于真實(shí)的搜索日志

文章內(nèi)容來(lái)自于真實(shí)網(wǎng)頁(yè)

答案由人類生成

面向真實(shí)應(yīng)用場(chǎng)景

標(biāo)注更加豐富細(xì)致

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/reading_comprehension