1GB文本標(biāo)記只需20秒！抱抱臉團(tuán)隊(duì)發(fā)布最新NLP工具｜資源
賴可 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
專注NLP的強(qiáng)大團(tuán)隊(duì)抱抱臉（hugging face)又發(fā)新資源！這一次是幫助NLP過程中，詞語切分（tokenization）更快的Tokenizers。
只要20秒就能編碼1GB文本，適用Rust、Python和Node.js，已經(jīng)在GitHub上獲得了800多星。
前不久，這個(gè)團(tuán)隊(duì)也憑借自己的技術(shù)實(shí)力獲得了1500萬美元的天使投資。
速度快，功能多樣
在NLP模型訓(xùn)練中，詞語標(biāo)記和切分往往是一個(gè)瓶頸。Tokenizer能夠訓(xùn)練新的詞匯，并且進(jìn)行標(biāo)記。
功能多樣：適用于BPE/byte-level-BPE/WordPiece/SentencePiece各種NLP處理模型。
可以完成所有的預(yù)處理：截?cái)?Truncate)、填補(bǔ)(Pad)、添加模型需要的特殊標(biāo)記。
速度超級(jí)快：只需要20秒就可以在CPU上標(biāo)記1GB的文本。
目前適用三種編程語言：Rust/Python/Node.js
使用示例
github的資源頁面上提供了在Python上使用Tokenizers的示例，進(jìn)行簡(jiǎn)單的設(shè)置就可以使用：
也可以用Tokenizers進(jìn)行新詞訓(xùn)練：
雖然目前只可用于三種語言Python、JS、Rust，抱抱臉團(tuán)隊(duì)表示，將來會(huì)繼續(xù)升級(jí)以適用更多～
抱抱臉團(tuán)隊(duì)最新進(jìn)展
抱抱臉團(tuán)隊(duì)是一個(gè)創(chuàng)業(yè)團(tuán)隊(duì)。他們的Transformers是github上最火的NLP項(xiàng)目，已經(jīng)獲得了20K星。
作為專注于自然語言處理的創(chuàng)業(yè)公司，他們的目標(biāo)是開發(fā)一個(gè)可以使用文字、照片、表情包的聊天機(jī)器人，名字叫做social AI 。
目前已經(jīng)經(jīng)過了三輪融資，共2000萬美元。其中，在2019年底的A輪融資中，公司獲得了1500萬美元，并打算將員工增加兩倍。
目前公司尚未盈利。創(chuàng)始人Clement Delangue在獲得A輪融資后表示，除了對(duì)話AI之外，公司正在構(gòu)建通用的NLP技術(shù)，希望讓NLP技術(shù)滿足公司的多樣化需求。
傳送門
https://github.com/huggingface/tokenizers
參考資料
Hugging Face raises $15 million to build the definitive natural language processing library
https://www.alleywatch.com/2019/12/hugging-face-natural-language-processing-open-source-clement-delangue/
— 完 —
- 看「菊紋」，知疾病，這個(gè)智能馬桶，知道你下半身的所有秘密2020-04-12
- 這拖拉機(jī)你能開算我輸：美國少女“揭秘”現(xiàn)代拖拉機(jī)駕駛室2020-05-05
- 史上最大“云辦公”實(shí)驗(yàn)開始，你參加了嗎？2020-02-04
- 英偉達(dá)上線游戲云服務(wù)平臺(tái)GeForce Now，每月4.99美元2020-02-05
相關(guān)閱讀
ACL 2019最佳論文出爐：華人團(tuán)隊(duì)包攬最佳長短論文一作，中科院、華為等榜上有名
剛剛，自然語言處理領(lǐng)域的頂會(huì)ACL 2019公布最佳論文，本次共頒布了4個(gè)獎(jiǎng)項(xiàng)，共有8個(gè)獲獎(jiǎng)名額。
