AutoML并非全能神器！新綜述爆火，網(wǎng)友：了解深度學(xué)習(xí)領(lǐng)域現(xiàn)狀必讀
優(yōu)化迭代問題
羿閣 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
如今深度學(xué)習(xí)模型開發(fā)已經(jīng)非常成熟，進入大規(guī)模應(yīng)用階段。
然而，在設(shè)計模型時，不可避免地會經(jīng)歷迭代這一過程，它也正是造成模型設(shè)計復(fù)雜、成本巨高的核心原因，此前通常由經(jīng)驗豐富的工程師來完成。
之所以迭代過程如此“燒金”，是因為在這一過程中，面臨大量的開放性問題?（open problems）。
這些開放性問題究竟會出現(xiàn)在哪些地方？又要如何解決、能否并行化解決？
現(xiàn)在一篇論文綜述終于對此做出介紹，發(fā)出后立刻在網(wǎng)上爆火。
作者嚴謹?shù)貐⒖剂?strong>接近300篇文獻，對大量應(yīng)用深度學(xué)習(xí)中的開放問題進行分析，力求讓讀者一文了解該領(lǐng)域最新趨勢。
網(wǎng)友們紛紛在評論區(qū)留言“碼住”、“了解深度學(xué)習(xí)領(lǐng)域現(xiàn)狀必讀”。
一起來看看內(nèi)容。
這篇論文要研究什么？
眾所周知，當我們拿到一個機器學(xué)習(xí)問題時，通常處理的流程分為以下幾步：收集數(shù)據(jù)、編寫模型、訓(xùn)練模型、評估模型、迭代、測試、產(chǎn)品化。
在這篇論文中，作者把上述這些流程比作一個雙層次的最佳化問題。
內(nèi)層優(yōu)化回路需要最小化衡量模型效果評估的損失函數(shù)，背后是為了尋求最佳模型參數(shù)而進行的深入研究的訓(xùn)練過程。
而外層優(yōu)化回路的研究較少，包括最大化一個適當選擇的性能指標來評估驗證數(shù)據(jù)，這正是我們所說的“迭代過程”，也就是追求最優(yōu)模型超參數(shù)的過程。
論文中用數(shù)學(xué)符號表示如下：
其中，Mval表示一個性能指標，如精度，平均精度等。Ltrain表示損失函數(shù)，w表示模型參數(shù)。
這樣一來，僅用一個清晰統(tǒng)一的數(shù)學(xué)公式就能解釋迭代的步驟。
不過，值得注意的是，面對不同的問題，它的解也需要特定分析，有時候情況甚至?xí)浅?fù)雜。
例如，評估度量Mval是一個離散且不可微的函數(shù)。它并未被很好地定義，有時候甚至在某些自我監(jiān)督式和非監(jiān)督式學(xué)習(xí)以及生成模型問題中不存在。
同時，你也可能設(shè)計了一個非常好的損失函數(shù)Ltrain，結(jié)果發(fā)現(xiàn)它是離散或不可微的，這種情況下它會變得非常棘手，需要用特定方法加以解決。
因此，本篇論文的研究重點就是迭代過程中遇到的各種開放性問題，以及這些問題中可以并行解決優(yōu)化的部分案例。
開放性問題，不能那么輕易地只用一個簡單的“是”、“不是”或者其他一個簡單的詞或數(shù)字來回答的問題。
機器學(xué)習(xí)中開放問題有哪些？
論文將開放性問題類型分為監(jiān)督學(xué)習(xí)和其他方法兩大類。
值得一提的是，無論是監(jiān)督學(xué)習(xí)還是其他方法，作者都貼心地附上了對應(yīng)的教程地址：
如果對概念本身還不了解的話，點擊就能直接學(xué)到他教授的視頻課程，不用擔(dān)心有困惑的地方。
首先來看看監(jiān)督學(xué)習(xí)。
這里我們不得不提到AutoML。作為一種用來降低開發(fā)過程中迭代復(fù)雜度的“偷懶”方法，它目前在機器學(xué)習(xí)中已經(jīng)應(yīng)用廣泛了。
通常來說，AutoML更側(cè)重于在監(jiān)督學(xué)習(xí)方法中的應(yīng)用，尤其是圖像分類問題。
畢竟圖像分類可以明確采用精度作為評估指標，使用AutoML非常方便。
但如果同時考慮多個因素，尤其是包括計算效率在內(nèi)，這些方法是否還能進一步被優(yōu)化？
在這種情況下，如何提升性能就成為了一類開放性問題，具體又分為以下幾類：
大模型、小模型、模型魯棒性、可解釋AI、遷移學(xué)習(xí)、語義分割、超分辨率&降噪&著色、姿態(tài)估計、光流&深度估計、目標檢測、人臉識別&檢測、視頻&3D模型等。
這些不同的領(lǐng)域也面臨不同的開放性問題。
例如大模型中的學(xué)習(xí)率并非常數(shù)、而是函數(shù)，會成為開放問題之一，相比之下小模型卻更考慮性能和內(nèi)存（或計算效率）的權(quán)衡這種開放性問題。
其中，小模型通常會應(yīng)用到物聯(lián)網(wǎng)、智能手機這種小型設(shè)備中，相比大模型需求算力更低。
又例如對于目標檢測這樣的模型而言，如何優(yōu)化不同目標之間檢測的準確度，同樣是一種復(fù)雜的開放性問題。
在這些開放性問題中，有不少可以通過并行方式解決。如在遷移學(xué)習(xí)中，迭代時學(xué)習(xí)到的特征會對下游任務(wù)可泛化性和可遷移性同時產(chǎn)生什么影響，就是一個可以并行研究的過程。
同時，并行處理開放性問題面臨的難度也不一樣。
例如基于3D點云數(shù)據(jù)同時施行目標識別、檢測和語義分割，比基于2D圖像的目標識別、檢測和分割任務(wù)更具挑戰(zhàn)性。
再來看看監(jiān)督學(xué)習(xí)以外的其他方法，具體又分為這幾類：
自然語言處理（NLP）、多模態(tài)學(xué)習(xí)、生成網(wǎng)絡(luò)、域適應(yīng)、少樣本學(xué)習(xí)、半監(jiān)督&自監(jiān)督學(xué)習(xí)、語音模型、強化學(xué)習(xí)、物理知識學(xué)習(xí)等。
以自然語言處理為例，其中的多任務(wù)學(xué)習(xí)會給模型帶來新的開放性問題。
像經(jīng)典的BERT模型，本身不具備翻譯能力，因此為了同時提升多種下游任務(wù)性能指標，研究者們需要權(quán)衡各種目標函數(shù)之間的結(jié)果。
又如生成模型中的CGAN（條件GAN），其中像圖像到圖像翻譯問題，即將一張圖片轉(zhuǎn)換為另一張圖片的過程。
這一過程要求將多個獨立損失函數(shù)進行加權(quán)組合，并讓總損失函數(shù)最小化，就又是一個開放性問題。
其他不同的問題和模型，也分別都會在特定應(yīng)用上遇到不同類型的開放性問題，因此具體問題依舊得具體分析。
經(jīng)過對各類機器學(xué)習(xí)領(lǐng)域進行分析后，作者得出了自己的一些看法。
一方面，AI表面上是一種“自動化”的過程，從大量數(shù)據(jù)中產(chǎn)生自己的理解，然而這其中其實涉及大量的人為操作，有不少甚至是重復(fù)行為，這被稱之為“迭代過程”。
另一方面，這些工作雖然能部分通過AutoML精簡，然而AutoML目前只在圖像分類中有較好的表現(xiàn)，并不意味著它在其他領(lǐng)域任務(wù)中會取得成功。
總而言之，應(yīng)用深度學(xué)習(xí)中的開放性問題，依舊比許多人想象得要更為復(fù)雜。
作者介紹
本篇論文的作者為Maziar Raissi，目前在科羅拉多大學(xué)博德分校應(yīng)用數(shù)學(xué)系擔(dān)任助理教授。
Raissi在馬里蘭大學(xué)帕克分校獲得了應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)博士學(xué)位，并在布朗大學(xué)應(yīng)用數(shù)學(xué)系完成了博士后研究，有過在英偉達做高級軟件工程師的工作經(jīng)歷。
研究方向是概率機器學(xué)習(xí)、深度學(xué)習(xí)和數(shù)據(jù)驅(qū)動的科學(xué)計算的交叉點，以及大數(shù)據(jù)分析、經(jīng)濟學(xué)和金融學(xué)等等。
論文的鏈接如下，感興趣的小伙伴們可以自取～
論文地址：
https://arxiv.org/abs/2301.11316
相關(guān)閱讀
