拒絕DNN過擬合，谷歌準(zhǔn)確預(yù)測訓(xùn)練集與測試集泛化差異，還開源了數(shù)據(jù)集 | ICLR 2019
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
深度神經(jīng)網(wǎng)絡(luò)（DNN）如今已經(jīng)無處不在，從下圍棋到打星際，DNN已經(jīng)滲透到圖像識別、圖像分割、機(jī)器翻譯等各種領(lǐng)域，并且總是表現(xiàn)驚艷。
然而，深度神經(jīng)網(wǎng)絡(luò)到底是怎樣工作的，至今仍困擾著廣大研究者。
黑盒子總是讓人詬病，為了讓AI更好地服務(wù)于人類，更深入地理解AI是必要的。
谷歌AI的研究人員們正致力于此，他們在ICLR 2019的一篇論文中提出用邊緣分布來預(yù)測深度神經(jīng)網(wǎng)絡(luò)的泛化間隙，以便更有原則地設(shè)計(jì)DNN。
邊緣分布成泛化預(yù)測因子
想要理解泛化，就要了解一個重要的概念泛化間隙（generalization gap），即模型在訓(xùn)練集上的準(zhǔn)確率與在測試集上的準(zhǔn)確率之間的差異。
谷歌AI的研究者建議在網(wǎng)絡(luò)層上使用歸一化的邊緣分布來預(yù)測泛化間隙。他們進(jìn)行了實(shí)驗(yàn)統(tǒng)計(jì)，發(fā)現(xiàn)在對距離進(jìn)行適當(dāng)?shù)臍w一化之后，邊緣分布的一些基礎(chǔ)統(tǒng)計(jì)可以準(zhǔn)確地預(yù)測出模型的泛化間隙。
上面的三張圖分別對應(yīng)在CIFAR-10上訓(xùn)練過的三個卷積神經(jīng)網(wǎng)絡(luò)，它們的分類準(zhǔn)確率分別是55%、71%和85%，從左到右，泛化能力越來越強(qiáng)。
y軸表示歸一化邊緣分布（x軸）在模型的4層網(wǎng)絡(luò)中的概率密度，很顯然，邊緣分布和測試準(zhǔn)確率具有很強(qiáng)的關(guān)聯(lián)性。
這里他們采用了一個名為Deep Model Generalization（DEMOGEN）的數(shù)據(jù)集，這個數(shù)據(jù)集由756個訓(xùn)練過的深度模型組成，囊括了這些模型在CIFAR-10和CIFAR-100數(shù)據(jù)集上的訓(xùn)練及測試表現(xiàn)。數(shù)據(jù)集現(xiàn)已開源。
實(shí)驗(yàn)結(jié)果
如果邊緣分布的統(tǒng)計(jì)數(shù)據(jù)真實(shí)地預(yù)測了泛化性能，那么簡單的預(yù)測方案應(yīng)該就能夠建立起對應(yīng)關(guān)系。于是研究者們選擇了線性回歸的方案。
研究者在CIFAR-10數(shù)據(jù)集上訓(xùn)練了216個九層卷積網(wǎng)絡(luò)，測試集的準(zhǔn)確率范圍在60%-90.5%之間，泛化間隙在1%到35%之間。
作者表示，Bartlett在2017年發(fā)表的研究提供了目前最佳的深度網(wǎng)絡(luò)泛化界限之一，將其作為基線方法進(jìn)行對比，完整的20維特征空間的對數(shù)空間回歸模型預(yù)測效果提升明顯。
而在CIFAR-100數(shù)據(jù)集上，研究者訓(xùn)練了324個ResNet-32網(wǎng)絡(luò)，測試準(zhǔn)確率范圍在12%-73%之間，泛化間隙范圍在1%-75%之間。
在CIFAR-100+ResNet-32上預(yù)測的泛化間隙已經(jīng)非常符合真實(shí)值了。泛化間隙和邊緣分布的對數(shù)變換統(tǒng)計(jì)之間的關(guān)系幾乎是完全線性的。
專家評價(jià)
對于這項(xiàng)研究，評審專家們褒貶不一，但他們大都承認(rèn)把邊緣分布引入深度學(xué)習(xí)框架是一個有趣的想法。
贊賞這項(xiàng)研究的專家認(rèn)為這是一篇很好的實(shí)證論文，結(jié)論令人鼓舞：
這篇文章沒有嘗試提出另一個“空洞的”泛化界限，而是令人信服地說明了邊緣統(tǒng)計(jì)和泛化間隙之間存在著有趣的聯(lián)系，這對于幫助人們了解深層神經(jīng)網(wǎng)絡(luò)的泛化很有幫助。
但也有專家指出，這篇論文展示了豐富的實(shí)驗(yàn)結(jié)果，但卻沒有提供更多的理論驗(yàn)證。
OMT
論文一作是本科畢業(yè)于伯克利的谷歌AI程序猿Yiding Jiang。
論文合作者中還有和圖靈獎得主Yoshua Bengio一起被譽(yù)為“AI兄弟”的Samy Bengio。
Yoshua Bengio同樣開展過有關(guān)深度學(xué)習(xí)泛化問題的研究，他的團(tuán)隊(duì)提出了一個深度學(xué)習(xí)泛化保障方案（《Generalization in Deep Learning》），這篇ICLR 2019的論文里也引用了他們的文章。
傳送門
Google AI博客：
https://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html
論文地址：
https://openreview.net/forum?id=HJlQfnCqKX
DEMOGEN數(shù)據(jù)集：
https://github.com/google-research/google-research/tree/master/demogen
—?完?—
相關(guān)閱讀
打破56年數(shù)學(xué)鐵律！谷歌AlphaEvolve自我進(jìn)化實(shí)現(xiàn)算法效率狂飆
相當(dāng)于AlphaGo打敗人類的“神之一手”
