被罵了三年，谷歌Dropout專利還是生效了，卡脖子預(yù)警

栗子 2019-06-27 14:12:53 來源：量子位

栗子 李根 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

谷歌的Dropout專利，6月25日生效了。

有效期15年。

所謂Dropout是一種搞深度學(xué)習(xí)、訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，普遍會(huì)用到的方法，由Hinton于2012年提出，可以有效防止過擬合。

三年前，因?yàn)楣雀杞oDropout申請(qǐng)了專利，就已經(jīng)引發(fā)過一次業(yè)界嘩然。當(dāng)時(shí)，reddit上有個(gè)熱帖，言辭激烈的把谷歌、還有當(dāng)時(shí)未獲圖靈獎(jiǎng)的Hinton等人統(tǒng)統(tǒng)給“問候”了一個(gè)遍。

歷史證明，罵街是沒有用的。如今，Dropout依然是AI領(lǐng)域的必備武器，而且——谷歌已經(jīng)確定地拿到了專利授權(quán)。

先不要慌。

你看，網(wǎng)友@peng321就說：

別擔(dān)心，只要等到2034年，它就過期了。

當(dāng)然，在Dropout專利過期之前，所有人，所有要用到Dropout的人、公司、機(jī)構(gòu)，都可能要面臨一個(gè)被掐脖子的尷尬境地。

reddit網(wǎng)友@rantana總結(jié)了一下：

• 如果你是一家試圖融資的創(chuàng)業(yè)公司，在你的算法中使用谷歌的專利，會(huì)影響你的估值。
• 如果你跟谷歌有專利糾紛，起訴人家前要三思，分分鐘反訴你。
• 如果你是谷歌的專利律師，恭喜你成人生贏家。

Dropout是啥？

專利的名字是：解決神經(jīng)網(wǎng)絡(luò)過擬合的系統(tǒng)與方法 (英文如下) 。

看看摘要，就知道Dropout的基本原理：

這是一個(gè)用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的系統(tǒng)。特征檢測(cè)器 (Feature Detectors) 上面，都連著一個(gè)開關(guān)，至少網(wǎng)絡(luò)的某些層是這樣。

在每一個(gè)training case里，開關(guān)都會(huì)隨機(jī)關(guān)閉一些特征檢測(cè)器，是根據(jù)一個(gè)預(yù)先配置的概率來決定的。

然后，每個(gè)訓(xùn)練案例的權(quán)重，會(huì)被歸一化 (Normalized) ，以將神經(jīng)網(wǎng)絡(luò)應(yīng)用在測(cè)試集上。

至于為什么能防過擬合，Hinton爺爺和小伙伴們，在CNN成名作ImageNet Classification with Deep Convolutional里面，大致講到了這樣的意思：

每次關(guān)掉一半的特征檢測(cè)器，每次訓(xùn)練的都是不一樣的網(wǎng)絡(luò)。然后取各種網(wǎng)絡(luò)的平均，用來預(yù)測(cè)。這樣可以提升模型的穩(wěn)定性，或是泛化能力，防止過擬合。

專利文件上填的發(fā)明者，也是這篇論文的各位作者，只不過申請(qǐng)者是谷歌：

關(guān)于專利都包含了哪些內(nèi)容，谷歌列舉了20條，細(xì)數(shù)了各種想到、想不到的訓(xùn)練步驟：

算是Dropout的一份優(yōu)秀使用說明了。

如果大家在打擊過擬合的過程中，產(chǎn)生了困惑，大可以進(jìn)去查一查。

當(dāng)然，這不是重點(diǎn)。

關(guān)鍵是，以后再用Dropout，會(huì)受到怎樣的限制?。?/p>

開源的重大障礙

名叫mtanti的網(wǎng)友問：

就是說我們以后都不能用Dropout了么？

樓下 (NicolasGuacamole) 的回答很精彩：

誰用了，就拿無人機(jī)除掉誰。

戲謔是其中一種態(tài)度，把它用正常的句子講出來就是：

谷歌也不會(huì)真的去用這項(xiàng)專利的。

當(dāng)然，不是所有人都這樣看。

其實(shí)，早在三年前，這項(xiàng)專利已經(jīng)獲批，并且激起了嚴(yán)重的反彈。

至于是預(yù)見到了怎樣的未來，才會(huì)生出這樣的情緒，網(wǎng)友 (AnonMLResearcher) 認(rèn)真地分析過：

曾經(jīng)有人說“不要怪玩家，要怪就怪制定游戲規(guī)則的人?！?/p>

就是說，我們不應(yīng)該指責(zé)谷歌，應(yīng)該指責(zé)專利制度。

既然允許這樣著名的抽象概念被注冊(cè)專利，谷歌也有他們的合法權(quán)利。

我只是害怕，這可能會(huì)對(duì)機(jī)器學(xué)習(xí)的學(xué)術(shù)研究帶來重要的損害。

在視覺領(lǐng)域，SIFT和SURF已經(jīng)被注冊(cè)了專利。這樣，像OpenCV這樣的開源庫(kù)，就十分困擾了。

repo里面沒有包含“不免費(fèi) (Nonfree) ”模塊，所以用戶要從源代碼開始自己搭建，就很麻煩。

以后，開源機(jī)器學(xué)習(xí)庫(kù)還是會(huì)遇到同樣的事情。

卡脖子預(yù)警

而且Dropout這樣的基礎(chǔ)算法成谷歌專利，之所以備受關(guān)注，影響還不止于開源社區(qū)。

網(wǎng)友 (AnonMLResearcher) 說：

這樣的專利，對(duì)任何年輕的機(jī)器學(xué)習(xí)公司都會(huì)有影響，讓他們更難吸引到投資——現(xiàn)在谷歌對(duì)許多算法已經(jīng)有知識(shí)產(chǎn)權(quán)了，(如果使用專利代碼) 隨時(shí)可能被起訴。

一度引起廣泛討論的“徐匡迪之問”，也再次被拿出來討論。

今年5月，上海院士沙龍活動(dòng)中，中國(guó)工程院院士徐匡迪等多位院士尖銳一問：中國(guó)有多少數(shù)學(xué)家投入到人工智能的基礎(chǔ)算法研究中？

尷尬現(xiàn)狀是，中國(guó)AI的應(yīng)用雖然當(dāng)前如火如荼，但自主知識(shí)產(chǎn)權(quán)的底層框架和核心算法非常缺乏，更多還是依靠開源代碼和算法。

接受科技日?qǐng)?bào)采訪的浙江大學(xué)應(yīng)用數(shù)學(xué)研究所所長(zhǎng)孔德興教授就呼吁：如果缺少核心算法，當(dāng)碰到關(guān)鍵性問題時(shí)，還是會(huì)被人“卡脖子”。

孔教授說，開源代碼是可以拿過來使用，但專業(yè)性、針對(duì)性不夠，效果往往不能滿足具體任務(wù)的實(shí)際要求。孔教授認(rèn)為，是否掌握核心代碼將決定未來的AI“智力大比拼”中是否擁有勝算。

而今年一而再的例子已經(jīng)證明，核心算法靠燈塔，即便口碑如谷歌，可能也會(huì)有斷供的一天。

所以Dropout成谷歌專利，不只關(guān)于開源，不只停留在科研，還關(guān)乎更致命的自主核心算法和背后的“卡脖子”困境。

— 完 —