干貨！谷歌首席科學家闡述半監(jiān)督學習革命，想走出瓶頸先試試這個

安妮 郭一璞 2019-05-20 08:38:56 來源：量子位

原作：Vincent Vanhoucke

銅靈 栗子 郭一璞 翻譯

量子位 出品 | 公眾號 QbitAI

沒有大量的標注數(shù)據(jù)怎么辦？

谷歌首席科學家，谷歌大腦技術負責人Vincent Vanhoucke說，半監(jiān)督學習革命已經(jīng)來了。

他用一篇博客，細數(shù)了半監(jiān)督學習的進展，以及這類方法會為機器學習領域帶來怎樣的變化，量子位已為大家翻譯如下：

機器學習工程師最熟悉的操作之一是搞到大量數(shù)據(jù)，但是拿到數(shù)據(jù)之后，需要不少資源來標注這些數(shù)據(jù)。

這是個難題，在這一步上左右為難的工程師們，往往都會這樣做：

既然這么多數(shù)據(jù)都沒標注，那先想想用這點已標注的監(jiān)督數(shù)據(jù)能干點啥；然后去查文獻，發(fā)現(xiàn)不同的文獻都指向了同一個答案——半監(jiān)督學習。

這就是通常會出錯的地方了。

半監(jiān)督學習歷來是每個工程師走過的彎路，他們研究了半監(jiān)督學習，然后就回到那些已有的標注過的數(shù)據(jù)上。每個人遇到的問題細節(jié)不一樣，但大體上說，都是這些問題：

在數(shù)據(jù)少的時候，半監(jiān)督學習的確能提高模型表現(xiàn)，但實際操作中你卻發(fā)現(xiàn)：

這種提高只是從“太爛，沒法用”提高到“不太爛，但還是沒法用”。

基本上，如果你的數(shù)據(jù)體系有利于半監(jiān)督學習，那基本意味著你的分類器訓練的很爛，而且完全沒法用（手動狗頭）。

另外，半監(jiān)督學習可不是白來的，而且用半監(jiān)督學習的方法往往不能像監(jiān)督學習那樣給出一個趨向同樣的漸進，比如未標記的數(shù)據(jù)可能會引起偏差。MIT的《半監(jiān)督學習（Semi-Supervised Learning）》第四章里曾經(jīng)提過一個早期很流行的半監(jiān)督學習方法，先為未標記數(shù)據(jù)創(chuàng)造一個自動編碼器，然后根據(jù)標記數(shù)據(jù)進行微調(diào)。

幾乎沒人這么操作，因為通過自動編碼器學習的表現(xiàn)完全受限于微調(diào)的漸進表現(xiàn)。有趣的是，即使現(xiàn)代的生成模型大大提高，也沒有改變這種狀況，可能是因為一個好的生成模型并不等于好的分類器吧。

最后，當你現(xiàn)在看到工程師們微調(diào)模型的時候，基本都是從有監(jiān)督數(shù)據(jù)中學到的表征開始的，嗯，自我監(jiān)督數(shù)據(jù)都是為了語言建模。

在任何可行的情況下，從其他預訓練模型遷移學習是一個更強大的起點，半監(jiān)督方法難以超越。

因此，一個典型的機器學習工程師在遇到半監(jiān)督學習的困境時的處理過程是這樣的：

1. 一切都很糟糕，我們不如試試半監(jiān)督學習。（畢竟這是一個工程師的工作，比數(shù)據(jù)標注有趣多了吧）
2. 看數(shù)字增加了，但看起來還是很恐怖?？磥砦覀冞€是要給數(shù)據(jù)先貼上標簽了。
3. 雖然說數(shù)據(jù)越多越好，但你試過拋棄半監(jiān)督機制會怎樣么？
4. 越簡單的效果可能就是最好的，我們可以省略掉上述的2和3步驟，節(jié)省大量時間，也不用給自己找這么多麻煩。

如果你是幸運兒，你的困難可能有這樣一個表征：

在這種情況下，有一個苛刻的數(shù)據(jù)規(guī)范，可怕的不是半監(jiān)督學習的方法，甚至半監(jiān)督學習還提高了數(shù)據(jù)效率。

根據(jù)我的經(jīng)驗，很少能達到這個最佳狀態(tài)。考慮到復雜性的額外成本，標簽數(shù)據(jù)的數(shù)量通常不會差開幾個數(shù)量級，所以訓練效果差距也不大。

這樣來看，這幾乎不值得這么麻煩，除非你想搞的是一個學術基準上的競爭。

等等，這篇文章的標題不是“安靜的半監(jiān)督革命”嗎？

一個有趣的趨勢是，半監(jiān)督學習的前景可能正在改變，比如這樣：

首先，如果這些曲線和人們的心理模型相符，用半監(jiān)督學習訓練的效果就是數(shù)據(jù)越多，效果越好。即使在監(jiān)督學習效果良好的情況下，半監(jiān)督學習與監(jiān)督學習之間的差距也應該是確定的。

并且，這種情況發(fā)生的頻次也會越來越多，并且沒有任何代價，因此也不會那么復雜。“神奇地帶”（magic zone）起點較低，它不受數(shù)據(jù)規(guī)范的限制同樣重要。

有哪些新東西呢？

首先，有些機智的方法，可以讓AI自己給數(shù)據(jù)加標簽，然后把損失函數(shù)用相應的方式來表達：把自動加標簽的噪音和可能的偏差都考慮進去。

最近有兩篇研究，都是這方面很例的栗子：

一是MixMatch: A Holistic Approach to Semi-Supervised Learning

Arxiv碼：1905.02249

二是Unsupervised Data Augmentatio

Arxiv碼：1904.12848

其次，有一個根本上的變化，是人類已經(jīng)意識到半監(jiān)督學習會在機器學習隱私中，扮演一個很重要的角色了。

比如，PATE (Arxiv碼：1610.05755) 方法里面定假設有監(jiān)督的數(shù)據(jù)是私有的。那在教師-學生網(wǎng)絡里，學生型就有強大的隱私保障，可以只用未標記的數(shù)據(jù) (公開數(shù)據(jù)) 進行訓練。

在知識蒸餾?(Distilling Knowledge) 中，有些對隱私敏感的方法，成為了聯(lián)合學習?(Federated Learning) 的一個關鍵推動力：

因為這樣的方法，可以保障高效的分布式學習 (Distributed Learning) ，模型不需要訪問用戶數(shù)據(jù)，在數(shù)學上保障了隱私。

現(xiàn)在，可以在實際應用的設定下，重新考量半監(jiān)督學習的價值，真是激動人心。

看到那些長期存在的假設，如今卻受到挑戰(zhàn)，這是非常好的現(xiàn)象，說明這個領域正在發(fā)生驚人的進步。

這趨勢是近期才出現(xiàn)的，我們還要看看，這樣的方法能不能經(jīng)受時間的考驗；

不過，機器學習工具的架構，很可能發(fā)生根本上的改變，這件事還是很誘人的，值得期待。

傳送門

原文：The Quiet Semi-Supervised Revolution

https://towardsdatascience.com/the-quiet-semi-supervised-revolution-edec1e9ad8c

MIT的《半監(jiān)督學習（Semi-Supervised Learning）》

http://www.acad.bg/ebook/ml/MITPress-%20SemiSupervised%20Learning.pdf

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術和產(chǎn)品新動態(tài)