拒絕DNN過(guò)擬合，谷歌準(zhǔn)確預(yù)測(cè)訓(xùn)練集與測(cè)試集泛化差異，還開源了數(shù)據(jù)集 | ICLR 2019

魚羊 2019-07-11 13:58:48 來(lái)源：量子位

魚羊 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

深度神經(jīng)網(wǎng)絡(luò)（DNN）如今已經(jīng)無(wú)處不在，從下圍棋到打星際，DNN已經(jīng)滲透到圖像識(shí)別、圖像分割、機(jī)器翻譯等各種領(lǐng)域，并且總是表現(xiàn)驚艷。

然而，深度神經(jīng)網(wǎng)絡(luò)到底是怎樣工作的，至今仍困擾著廣大研究者。

黑盒子總是讓人詬病，為了讓AI更好地服務(wù)于人類，更深入地理解AI是必要的。

谷歌AI的研究人員們正致力于此，他們?cè)贗CLR 2019的一篇論文中提出用邊緣分布來(lái)預(yù)測(cè)深度神經(jīng)網(wǎng)絡(luò)的泛化間隙，以便更有原則地設(shè)計(jì)DNN。

邊緣分布成泛化預(yù)測(cè)因子

想要理解泛化，就要了解一個(gè)重要的概念泛化間隙（generalization gap），即模型在訓(xùn)練集上的準(zhǔn)確率與在測(cè)試集上的準(zhǔn)確率之間的差異。

谷歌AI的研究者建議在網(wǎng)絡(luò)層上使用歸一化的邊緣分布來(lái)預(yù)測(cè)泛化間隙。他們進(jìn)行了實(shí)驗(yàn)統(tǒng)計(jì)，發(fā)現(xiàn)在對(duì)距離進(jìn)行適當(dāng)?shù)臍w一化之后，邊緣分布的一些基礎(chǔ)統(tǒng)計(jì)可以準(zhǔn)確地預(yù)測(cè)出模型的泛化間隙。

上面的三張圖分別對(duì)應(yīng)在CIFAR-10上訓(xùn)練過(guò)的三個(gè)卷積神經(jīng)網(wǎng)絡(luò)，它們的分類準(zhǔn)確率分別是55%、71%和85%，從左到右，泛化能力越來(lái)越強(qiáng)。

y軸表示歸一化邊緣分布（x軸）在模型的4層網(wǎng)絡(luò)中的概率密度，很顯然，邊緣分布和測(cè)試準(zhǔn)確率具有很強(qiáng)的關(guān)聯(lián)性。

這里他們采用了一個(gè)名為Deep Model Generalization（DEMOGEN）的數(shù)據(jù)集，這個(gè)數(shù)據(jù)集由756個(gè)訓(xùn)練過(guò)的深度模型組成，囊括了這些模型在CIFAR-10和CIFAR-100數(shù)據(jù)集上的訓(xùn)練及測(cè)試表現(xiàn)。數(shù)據(jù)集現(xiàn)已開源。

實(shí)驗(yàn)結(jié)果

如果邊緣分布的統(tǒng)計(jì)數(shù)據(jù)真實(shí)地預(yù)測(cè)了泛化性能，那么簡(jiǎn)單的預(yù)測(cè)方案應(yīng)該就能夠建立起對(duì)應(yīng)關(guān)系。于是研究者們選擇了線性回歸的方案。

研究者在CIFAR-10數(shù)據(jù)集上訓(xùn)練了216個(gè)九層卷積網(wǎng)絡(luò)，測(cè)試集的準(zhǔn)確率范圍在60%-90.5%之間，泛化間隙在1%到35%之間。

作者表示，Bartlett在2017年發(fā)表的研究提供了目前最佳的深度網(wǎng)絡(luò)泛化界限之一，將其作為基線方法進(jìn)行對(duì)比，完整的20維特征空間的對(duì)數(shù)空間回歸模型預(yù)測(cè)效果提升明顯。

而在CIFAR-100數(shù)據(jù)集上，研究者訓(xùn)練了324個(gè)ResNet-32網(wǎng)絡(luò)，測(cè)試準(zhǔn)確率范圍在12%-73%之間，泛化間隙范圍在1%-75%之間。

在CIFAR-100+ResNet-32上預(yù)測(cè)的泛化間隙已經(jīng)非常符合真實(shí)值了。泛化間隙和邊緣分布的對(duì)數(shù)變換統(tǒng)計(jì)之間的關(guān)系幾乎是完全線性的。

專家評(píng)價(jià)

對(duì)于這項(xiàng)研究，評(píng)審專家們褒貶不一，但他們大都承認(rèn)把邊緣分布引入深度學(xué)習(xí)框架是一個(gè)有趣的想法。

贊賞這項(xiàng)研究的專家認(rèn)為這是一篇很好的實(shí)證論文，結(jié)論令人鼓舞：

這篇文章沒(méi)有嘗試提出另一個(gè)“空洞的”泛化界限，而是令人信服地說(shuō)明了邊緣統(tǒng)計(jì)和泛化間隙之間存在著有趣的聯(lián)系，這對(duì)于幫助人們了解深層神經(jīng)網(wǎng)絡(luò)的泛化很有幫助。

但也有專家指出，這篇論文展示了豐富的實(shí)驗(yàn)結(jié)果，但卻沒(méi)有提供更多的理論驗(yàn)證。

OMT

論文一作是本科畢業(yè)于伯克利的谷歌AI程序猿Yiding Jiang。

論文合作者中還有和圖靈獎(jiǎng)得主Yoshua Bengio一起被譽(yù)為“AI兄弟”的Samy Bengio。

Yoshua Bengio同樣開展過(guò)有關(guān)深度學(xué)習(xí)泛化問(wèn)題的研究，他的團(tuán)隊(duì)提出了一個(gè)深度學(xué)習(xí)泛化保障方案（《Generalization in Deep Learning》），這篇ICLR 2019的論文里也引用了他們的文章。

傳送門

Google AI博客：

https://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html

論文地址：

https://openreview.net/forum?id=HJlQfnCqKX

DEMOGEN數(shù)據(jù)集：

https://github.com/google-research/google-research/tree/master/demogen

—?完?—