最先進(jìn)的NAS算法不如隨機(jī)搜索，瑞士學(xué)者研究結(jié)果讓人吃驚，也令人懷疑

曉查 2019-09-02 12:02:24 來(lái)源：量子位

曉查 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

最先進(jìn)的神經(jīng)架構(gòu)搜索（NAS）算法竟然不如隨機(jī)搜索？

來(lái)自瑞士電信和EPFL的研究者提出了一種評(píng)價(jià)NAS搜索階段的測(cè)試基準(zhǔn)。他們發(fā)現(xiàn)，最先進(jìn)的三種NAS算法DARTS、NAO、ENAS往往與隨機(jī)搜索完全相同，甚至在某些情況下還不如隨機(jī)搜索。

因此，他們希望，用這套評(píng)估方法能夠啟發(fā)其他人，讓研究者去尋找新的NAS算法搜索策略。

NAS與隨機(jī)搜索

NAS算法分為兩個(gè)階段：搜索體系結(jié)構(gòu)空間、驗(yàn)證最佳體系結(jié)構(gòu)。

在搜索階段，采樣器被訓(xùn)練到收斂或預(yù)定義的停止標(biāo)準(zhǔn)。評(píng)估階段會(huì)從頭開(kāi)始訓(xùn)練最佳模型，并根據(jù)測(cè)試數(shù)據(jù)對(duì)其進(jìn)行評(píng)估。

在搜索階段，NAS算法用到了兩個(gè)近似：減少搜索空間、跨不同體系結(jié)構(gòu)的權(quán)重共享。

目前的評(píng)估方法僅通過(guò)比較下游任務(wù)的結(jié)果來(lái)評(píng)估NAS算法。雖然直觀，但未能明確評(píng)估其搜索策略的有效性。

因此，研究人員將NAS評(píng)估程序擴(kuò)展到包括搜索階段，把NAS搜索策略獲得的解決方案與隨機(jī)選擇進(jìn)行比較，從而的出搜索階段的算法對(duì)最終結(jié)果的影響。

與普通的NAS不同的是，研究人員將NAS策略找到的最佳體系結(jié)構(gòu)與單個(gè)統(tǒng)一隨機(jī)采樣體系結(jié)構(gòu)進(jìn)行比較。

為了使這個(gè)比較有意義，他們用不同的隨機(jī)種子重復(fù)計(jì)算，以便訓(xùn)練NAS采樣器和隨機(jī)搜索策略，然后比較不同種子的平均值和標(biāo)準(zhǔn)偏差。

對(duì)比實(shí)驗(yàn)是在詞級(jí)語(yǔ)言模型賓夕法尼亞樹(shù)庫(kù)（PTB）數(shù)據(jù)集上進(jìn)行的。神經(jīng)網(wǎng)絡(luò)的目標(biāo)是找到一個(gè)循環(huán)單元，正確地預(yù)測(cè)給定輸入序列的下一個(gè)單詞。然后使用標(biāo)準(zhǔn)的困惑度量來(lái)評(píng)估候選網(wǎng)絡(luò)的質(zhì)量。

最終的實(shí)驗(yàn)結(jié)果如下圖，研究人員繪制了在1000個(gè)epoch內(nèi)使用10種不同種子發(fā)現(xiàn)的最佳網(wǎng)絡(luò)結(jié)構(gòu)的平均困惑度演化。

圖的左側(cè)展示了10種不同種子在三個(gè)NAS和一個(gè)隨機(jī)搜索中的平均結(jié)果，右側(cè)展示了四種算法的最佳結(jié)果。用表格顯示結(jié)果：

為了讓NAS和隨機(jī)搜索更容易找到最佳的網(wǎng)絡(luò)架構(gòu)，研究人員縮小了搜索空間，減少了節(jié)點(diǎn)樹(shù)，讓實(shí)驗(yàn)只有32中可能的解決方案。

結(jié)果即使在這個(gè)空間中，NAS也沒(méi)有找到最佳解決方案。這讓作者懷疑是否因?yàn)闄?quán)重共享導(dǎo)致了基較差的結(jié)果，因此他們?nèi)サ袅藱?quán)重共享，并和原來(lái)的方案進(jìn)行對(duì)比。

實(shí)驗(yàn)結(jié)果證明了作者的猜想。

最后，論文得出了三點(diǎn)結(jié)論：

1. 平均而言，隨機(jī)策略優(yōu)于最先進(jìn)的NAS算法；
2. NAS算法的結(jié)果和候選排名并不反映候選架構(gòu)的真實(shí)表現(xiàn)；
3. 權(quán)重共享策略會(huì)對(duì)訓(xùn)練產(chǎn)生負(fù)面影響，從而降低搜索過(guò)程的有效性。

網(wǎng)友的質(zhì)疑

這篇論文結(jié)論的一反常態(tài)，無(wú)疑讓研究NAS的人都大吃一驚。因此這篇論文在Reddit的機(jī)器學(xué)習(xí)板塊上發(fā)表后，有不少網(wǎng)友對(duì)此產(chǎn)生了質(zhì)疑。

首先，他們認(rèn)為文中的測(cè)試基線過(guò)于簡(jiǎn)單，不太具有說(shuō)服力。

作者也在指出了文中的隨機(jī)搜索本來(lái)就是經(jīng)過(guò)NAS篩選的結(jié)果。因?yàn)镹AS算法的搜索空間在構(gòu)造過(guò)程中受到了足夠的約束，因此即使是這個(gè)空間中的隨機(jī)架構(gòu)也能提供良好的結(jié)果。

所以這篇文章的目的不是徹底否定NAS，而是提供一種搜索網(wǎng)絡(luò)架構(gòu)的新思路。

傳送門(mén)

論文地址：

https://arxiv.org/abs/1902.08142

Reddit討論地址：

https://www.reddit.com/r/MachineLearning/comments/cycw35/r_random_search_outperforms_stateoftheart_nas/