業(yè)務(wù)數(shù)據(jù)全用上也喂不飽AI？試試這個小樣本學(xué)習(xí)工具包

量子位的朋友們 2021-10-18 18:09:34 來源：量子位

項目作者 | 王雅晴
量子位 編輯 | 公眾號 QbitAI

引言

機器學(xué)習(xí)在數(shù)據(jù)密集型的應(yīng)用中取得了極佳的效果，但在數(shù)據(jù)集很小的場景下，多數(shù)機器學(xué)習(xí)算法的效果會嚴重受限[1]。在計算機視覺、自然語言處理等大領(lǐng)域下，從深度學(xué)習(xí)最初大放異彩的圖像分類、文本分類，到進一步的圖像生成、文本關(guān)系預(yù)測，機器學(xué)習(xí)算法取得的成就大多建立在大量數(shù)據(jù)驅(qū)動的訓(xùn)練算法之上。然而，高質(zhì)量的標注數(shù)據(jù)在大多數(shù)領(lǐng)域都是很難獲得的，這限制了諸多機器學(xué)習(xí)算法在相應(yīng)場景下的應(yīng)用能力。

在這樣的背景下，小樣本學(xué)習(xí)（Few Shot Learning, FSL）的提出將解決數(shù)據(jù)集規(guī)模嚴重受限條件下的機器學(xué)習(xí)應(yīng)用問題。小樣本學(xué)習(xí)方法可以在利用先驗知識的前提下，僅由極少量受監(jiān)督的樣本，使模型通過極少步的更新快速提升泛化性能，以應(yīng)用在新的相關(guān)任務(wù)上[1]。近年來，小樣本學(xué)習(xí)已經(jīng)應(yīng)用于計算機視覺、自然語言處理、人機交互、知識圖譜乃至生物計算等領(lǐng)域的諸多應(yīng)用中。

小樣本學(xué)習(xí)的研究者在編碼實踐過程中通常會面臨原型實現(xiàn)和方法復(fù)現(xiàn)兩方面的問題[2]。為了方便飛槳開發(fā)者和使用飛槳的科研人員方便地執(zhí)行以下操作：

• 在深度學(xué)習(xí)模型上應(yīng)用經(jīng)典的小樣本學(xué)習(xí)方法，或使用經(jīng)典小樣本數(shù)據(jù)集測試模型與方法
• 設(shè)計新的小樣本學(xué)習(xí)方法，或構(gòu)建新的小樣本數(shù)據(jù)集
• 比對各種小樣本學(xué)習(xí)方法在多種數(shù)據(jù)集上的效果

我們開發(fā)了PaddleFSL（Paddle toolkit for Few Shot Learning）:基于飛槳的小樣本學(xué)習(xí)工具包，旨在降低小樣本學(xué)習(xí)研究和應(yīng)用的設(shè)計與時間成本。PaddleFSL提供了低層次的工具函數(shù)與接口，以供使用者設(shè)計新的小樣本學(xué)習(xí)方法或構(gòu)建新的小樣本學(xué)習(xí)數(shù)據(jù)集，同時也提供了經(jīng)典小樣本學(xué)習(xí)方法的高層次實現(xiàn)，以及經(jīng)典的小樣本數(shù)據(jù)集。

項目鏈接：
https://github.com/tata1661/FSL-Mate/tree/master/PaddleFSL

框架概覽

PaddleFSL完整項目包含了以下幾個部分：

樣例（examples）：
項目中高層次小樣本算法接口的使用樣例

包主體（paddlefsl）：
python包的主體

• paddlefsl.backbones：
  諸如MLP、卷積網(wǎng)絡(luò)、ResNet等基準模型
• paddlefsl.datasets：
  小樣本數(shù)據(jù)集構(gòu)建接口，以及諸多經(jīng)典的小樣本數(shù)據(jù)集的預(yù)處理實現(xiàn)
• paddlefsl.model_zoo：
  高層次經(jīng)典小樣本方法實現(xiàn)
• paddlefsl.task_sampler：
  任務(wù)集的劃分：將訓(xùn)練和測試數(shù)據(jù)劃分為N ways, K shots以及Q query points
• paddlefsl.utils：
  與環(huán)境、輸入輸出或模型參數(shù)有關(guān)的工具函數(shù)

數(shù)據(jù)文件（raw_data）：
存放原始數(shù)據(jù)文件的目錄，附各個經(jīng)典小樣本數(shù)據(jù)集的介紹與下載地址

測試（test）：
包主體每一函數(shù)和類的單元測試，同時也是使用樣例文件

此外，在包主體的每一個外部接口處，我們都提供了翔實的注釋，包括了模塊的功能、參數(shù)的功能和使用樣例。

在接下來的幾個章節(jié)中，我們將從數(shù)據(jù)集加載到訓(xùn)練完成，逐項介紹PaddleFSL的功能及其使用方法。

安裝與測試

本項目依賴飛槳開源框架v2.0或更新的版本，需要提前前往飛槳官網(wǎng)安裝。

本項目在github開源，可以直接克隆github項目，配置環(huán)境變量后直接使用：

本項目也同時在pypi發(fā)布，可以通過更便捷的pip安裝包主體（paddlefsl），但這種方式不包含樣例（examples）、數(shù)據(jù)文件（raw_data）與測試文件（test）：

安裝完成后，可以通過以下的指令快速測試安裝是否成功：

數(shù)據(jù)集

我們的項目提供了計算機視覺數(shù)據(jù)集（CVDataset）和關(guān)系分類數(shù)據(jù)集（RCDataset）兩種模板數(shù)據(jù)集接口，以及繼承自CVDataset的六種圖像分類數(shù)據(jù)集（Omniglot[3], Mini-ImageNet[4], Tiered-ImageNet[5], CIFAR-FS[6], FC100[7], CU-Birds[8]）與繼承自RCDataset的一種關(guān)系分類數(shù)據(jù)集（FewRel1.0[9]）。此外，我們還提供了中文自然語言處理小樣本領(lǐng)域的評測基準數(shù)據(jù)集FewCLUE[15]。

以Mini-ImageNet為例，若要使用該數(shù)據(jù)集，僅需從項目提供的地址下載原始數(shù)據(jù)文件（mini-imagenet.tar.gz），并將其放置在raw_data目錄下，包主體代碼會自動解壓并處理數(shù)據(jù)文件：

用戶也可以將原始數(shù)據(jù)文件放置在任意一個有權(quán)限的目錄下，并將該目錄通過root參數(shù)傳遞給數(shù)據(jù)集。

在小樣本學(xué)習(xí)的框架下，數(shù)據(jù)集常被劃分為N ways（一個任務(wù)中有N種類別的樣本待分類）、K shots（K個有標簽的樣本用于模型更新）和Q query points（Q個有標簽的樣本用于模型效果的評估或進一步更新），因而本項目在數(shù)據(jù)集類中預(yù)置了隨機任務(wù)集劃分：

而在關(guān)系分類數(shù)據(jù)集（RCDataset）中，返回值的類型有text（文本）和numpy（numpy數(shù)組）兩種可選項，若選擇numpy則需要為數(shù)據(jù)集傳入一種初始化器：

此外，用戶可以直接通過繼承CVDataset和RCDataset構(gòu)建自己的數(shù)據(jù)集：根據(jù)用戶自己的原始數(shù)據(jù)文件格式，在新的數(shù)據(jù)集類中實現(xiàn)獲取元素、數(shù)據(jù)集長度、劃分隨機任務(wù)集三個接口，即可構(gòu)建新的小樣本數(shù)據(jù)集。用戶也可以直接效仿本項目給出的原始數(shù)據(jù)格式，將新數(shù)據(jù)的數(shù)據(jù)格式調(diào)整后，直接通過傳遞root參數(shù)給已有的數(shù)據(jù)集，從而更便捷地構(gòu)建新數(shù)據(jù)集。

經(jīng)典小樣本方法的高層次接口

我們的項目在paddlefsl.model_zoo中提供了五種經(jīng)典的小樣本方法的高層次接口（MAML, ANIL, ProtoNet, RelationNet, Siamese），以及三種小樣本NLP方法的直接實現(xiàn)（PET[16], P-Tuning[17], EFL[18]）。

MAML（Model-Agnostic Meta-Learning）是一種經(jīng)典的，可應(yīng)用于任何使用梯度下降訓(xùn)練的模型，并可以適用于包括分類、回歸、強化學(xué)習(xí)等多種任務(wù)的小樣本學(xué)習(xí)方法。MAML不引入新的模塊，僅使用先驗知識調(diào)整目標模型的參數(shù)，使之具備出色的泛化性能，可以在很有限的幾步梯度下降之后快速學(xué)習(xí)適應(yīng)新任務(wù)[10]。

ANIL（Almost No Inner Loop）是一種針對MAML算法的分析與改進。MAML算法對于目標模型的參數(shù)在外層循環(huán)（outer loop）與內(nèi)層循環(huán)（inner loop）都進行了調(diào)整，而ANIL則在內(nèi)層循環(huán)固定了模型的主體部分參數(shù)，僅對最后一層進行微調(diào)（fine-tune）。該方法使用更少的計算開銷得到了與MAML同樣好的效果，并同時證明了MAML的方法讓模型取得了特征復(fù)用（feature reuse）的效果[11]。

ProtoNet（Prototypical Networks）是一種更為經(jīng)典的、簡單有效的小樣本方法。它利用極少的帶標簽樣本，讓模型學(xué)得另一個參數(shù)空間的原型特征（prototype），然后比對待分類樣本的原型特征和已知類別原型特征的距離，從而做出分類決策。該方法思路簡單，計算復(fù)雜度低，且在分類問題上有著非常不錯的表現(xiàn)，并且可以延伸至零樣本學(xué)習(xí)（zero-shot learning）[12]。

RelationNet（Relation Network）是一種在ProtoNet基礎(chǔ)上的提升改進。在使用目標模型學(xué)習(xí)到另一個參數(shù)空間的原型特征后，該方法增加了一個關(guān)系網(wǎng)絡(luò)（relation network）用以專門學(xué)習(xí)比較待分類樣本原型特征和已知類別原型特征的相似性，而不需要重新調(diào)整已知網(wǎng)絡(luò)[13]。

Siamese （Siamese Networks）是一種早期的小樣本學(xué)習(xí)方法。該方法設(shè)計了一種孿生結(jié)構(gòu)，很自然地學(xué)習(xí)如何更好地度量輸入內(nèi)容的相似度，從而使用極少的標簽樣本來獲得預(yù)測新樣本的能力[14]。

我們在paddlefsl.model_zoo中實現(xiàn)了上述五種算法的完整的訓(xùn)練和測試邏輯。以MAML為例，用戶僅需傳入待測數(shù)據(jù)集和相關(guān)的算法超參和訓(xùn)練配置，即可直接開始訓(xùn)練或測試，并自動保存訓(xùn)練得到的模型參數(shù)：

此外，我們還在樣例（examples）中提供了PET[16]、P-Tuning[17]和EFL[18]在FewCLUE任務(wù)上的實現(xiàn)。FewCLUE的任務(wù)將額外地依賴paddlenlp包，其實現(xiàn)過程中使用了百度的中文NLP預(yù)訓(xùn)練模型ERNIE1.0，并匯報了三種算法的效果。

我們利用本項目實現(xiàn)的經(jīng)典算法高層次接口測試了所有數(shù)據(jù)集上的效果，并與原論文或其他論文復(fù)現(xiàn)的效果做了比對。結(jié)果顯示，我們的實現(xiàn)均達到了原論文方法使用其他機器學(xué)習(xí)框架匯報的結(jié)果，在多數(shù)任務(wù)上提升了原有的效果。具體的結(jié)果數(shù)據(jù)在樣例（examples）中給出（https://github.com/tata1661/FSL-Mate/tree/master/PaddleFSL/examples）

低層次常用工具函數(shù)

除了完整的訓(xùn)練和測試實現(xiàn)接口外，本項目還提供了豐富的低層次工具函數(shù)，用以實現(xiàn)常用的小樣本學(xué)習(xí)基本操作，例如原型特征（prototype）的計算、模型的克?。╟lone）、固定步長的單步梯度下降等等。

原型特征的計算和比較由ProtoNet提出（如上圖），因此該功能在paddlefsl.model_zoo.protonet中封裝并提供接口get_prototype()。該函數(shù)傳入所有帶標簽樣本的特征，以及其對應(yīng)的標簽，即可返回按標簽順序排列的各個類別對應(yīng)原型特征。以RelationNet為例：

模型的克隆和單步梯度下降是MAML及其改進型ANIL所依賴的操作。該方法不引入其他模塊，僅僅通過梯度對目標模型做調(diào)整，目標模型的參數(shù)將被通過外層循環(huán)和內(nèi)層循環(huán)兩次調(diào)整。在內(nèi)層循環(huán)中，對于模型的調(diào)整不可以直接作用于原目標模型的所有參數(shù)，而是需要累積多個任務(wù)的梯度，最終對原模型加以調(diào)整，這就要求模型的梯度保留，最上層微調(diào)，而主體部分參數(shù)在累積后再做調(diào)整（如上圖）。

因此，我們引入了模型克?。╟lone）的功能：與機器學(xué)習(xí)框架中張量的克隆相同，被克隆的新模型并不與原模型共享內(nèi)存，從而實現(xiàn)獨立的調(diào)整，但同時要和原模型共享計算圖，從而實現(xiàn)梯度的關(guān)聯(lián)與累積。該功能在paddlefsl.utils中封裝為接口clone_model()：

同樣是在基于梯度的MAML與ANIL方法中，由于模型主體參數(shù)梯度累積后調(diào)整與微調(diào)最上層的矛盾，在內(nèi)層循環(huán)的微調(diào)中不可以直接使用模型的優(yōu)化器進行梯度下降，而應(yīng)該手動設(shè)置固定的步長（inner_loop_learning_rate）進行不干預(yù)優(yōu)化器的梯度下降。該功能封裝在paddlefsl.utils中，提供接口gradient_descent()：

除了舉例的三種低層次操作接口外，paddlefsl還提供了更多豐富的工具函數(shù)。用戶可以在源碼或樣例中查看并體驗（https://github.com/tata1661/FSL-Mate/tree/master/PaddleFSL/paddlefsl/utils）

小樣本學(xué)習(xí)資源庫

PaddleFSL代碼整合在小樣本學(xué)習(xí)綜述與前沿論文追蹤項目FSL-Mate中共同開源發(fā)布。FSL-Mate項目是一個旨在整合小樣本學(xué)習(xí)研究成果與最新研究進展的資源倉庫，該項目基于王雅晴博士于2020年6月發(fā)表在ACM Computing Surveys （CSUR）上的小樣本學(xué)習(xí)綜述文章Generalizing from a few examples: A survey on few-shot learning擴展而來。CSUR是計算機領(lǐng)域權(quán)威頂刊，JCR1區(qū)，Core A* ，該小樣本學(xué)習(xí)綜述為CSUR 2019-2021年間最高引論文，也是ESI 2021高引論文。我們將持續(xù)更新和維護該倉庫，攜手對小樣本學(xué)習(xí)感興趣的開發(fā)者和研究人員，共同推進小樣本學(xué)習(xí)領(lǐng)域的發(fā)展，敬請關(guān)注與下載體驗！

歡迎大家點開Github鏈接學(xué)習(xí)源碼或獲取工具包！

項目鏈接：
https://github.com/tata1661/FSL-Mate/tree/master/PaddleFSL

（另外，鏈接內(nèi)附贈高質(zhì)量領(lǐng)域理解手冊【小樣本學(xué)習(xí)綜述】 ESI 2021高引論文 / CSUR 2019-2021 最高引論文）

項目作者：

王雅晴，PaddleFSL負責人、飛槳高級開發(fā)者技術(shù)專家（高級PPDE）。2019年博士畢業(yè)于香港科技大學(xué)計算機科學(xué)及工程學(xué)系。通過百度公司AIDU計劃加入百度研究院商業(yè)智能實驗室，現(xiàn)任資深研發(fā)工程師及研究員。研究方向為機器學(xué)習(xí)，并主要聚焦小樣本學(xué)習(xí)、稀疏和低秩學(xué)習(xí)、生物計算等方向?，F(xiàn)有多篇一作成果發(fā)表在ICML、NeurIPS、WWW、EMNLP、TIP等頂會頂刊上。

參考文獻：

[1] Wang Y, Yao Q, Kwok J T, Ni L M. Generalizing from a few examples: A survey on few-shot learning[J]. ACM Computing Surveys (CSUR), 2020, 53(3): 1-34.

[2] Arnold S M R, Mahajan P, Datta D, et al. learn2learn: A library for meta-learning research[J]. arXiv preprint arXiv:2008.12284, 2020.

[3] Lake B M, Salakhutdinov R, Tenenbaum J B. Human-level concept learning through probabilistic program induction[J]. Science, 2015, 350(6266): 1332-1338.

[4] Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning[J]. Advances in neural information processing systems, 2016, 29: 3630-3638.

[5] Ren M, Triantafillou E, Ravi S, et al. Meta-learning for semi-supervised few-shot classification[J]. arXiv preprint arXiv:1803.00676, 2018.

[6] Bertinetto L, Henriques J F, Torr P H S, et al. Meta-learning with differentiable closed-form solvers[J]. arXiv preprint arXiv:1805.08136, 2018.

[7] Oreshkin B N, Rodriguez P, Lacoste A. Tadam: Task dependent adaptive metric for improved few-shot learning[J]. arXiv preprint arXiv:1805.10123, 2018.

[8] Wah C, Branson S, Welinder P, et al. The caltech-ucsd birds-200-2011 dataset[J]. 2011.

[9] Han X, Zhu H, Yu P, et al. Fewrel: A large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation[J]. arXiv preprint arXiv:1810.10147, 2018.

[10] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]//International Conference on Machine Learning. PMLR, 2017: 1126-1135.

[11] Raghu A, Raghu M, Bengio S, et al. Rapid learning or feature reuse? towards understanding the effectiveness of maml[J]. arXiv preprint arXiv:1909.09157, 2019.

[12] Snell J, Swersky K, Zemel R S. Prototypical networks for few-shot learning[J]. arXiv preprint arXiv:1703.05175, 2017.

[13] Sung F, Yang Y, Zhang L, et al. Learning to compare: Relation network for few-shot learning[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 1199-1208.

[14] Koch G, Zemel R, Salakhutdinov R. Siamese neural networks for one-shot image recognition[C]//ICML deep learning workshop. 2015, 2.

[15] Li Y, Zhao Y, Hu B, et al. GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph[J]. arXiv preprint arXiv:2107.00395, 2021.

[16] Liu, Xiao, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. “GPT Understands, Too.” ArXiv:2103.10385 [Cs], March 18, 2021.

[17] Wang, Sinong, Han Fang, Madian Khabsa, Hanzi Mao, and Hao Ma. “Entailment as Few-Shot Learner.” ArXiv:2104.14690 [Cs], April 29, 2021.

[18] Wang, S., Fang, H., Khabsa, M., Mao, H., and Ma, H., “Entailment as Few-Shot Learner”, ArXiv:2001.07676 [Cs], 2021.