如何寫一篇不水的機(jī)器學(xué)習(xí)論文？

豐色 2021-08-16 15:23:06 來源：量子位

還在學(xué)師階段的研究生以及從業(yè)新手們，想在機(jī)器學(xué)習(xí)研究中少走彎路嗎？

或許下面這篇論文可以幫到你：

《如何避免機(jī)器學(xué)習(xí)研究中的陷阱？一本給學(xué)術(shù)研究人員的指南》

作者是英國(guó)赫瑞-瓦特大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院的副教授，同時(shí)也是愛丁堡機(jī)器人中心的成員，博士畢業(yè)已經(jīng)十多年，這篇17頁的論文主要介紹了機(jī)器學(xué)習(xí)學(xué)術(shù)研究中的一些常犯錯(cuò)誤，以及如何避免。

指南共涵蓋了機(jī)器學(xué)習(xí)過程的五大方面：建模前如何準(zhǔn)備，如何建出可靠的模型，如何穩(wěn)健地評(píng)估模型，如何公平地比較模型以及如何報(bào)告結(jié)果。

一位已經(jīng)從業(yè)的機(jī)器學(xué)習(xí)研究員稱贊該論文很有價(jià)值，因?yàn)槲闹刑岬降?strong>所有錯(cuò)誤他在博士學(xué)習(xí)和工作期間中都遇到很多次。他準(zhǔn)備讓后面所有新入職的工程師都好好看看。

不少人則認(rèn)為該指南的意見可能并不受歡迎，因?yàn)楹芏喽际茄芯咳藛T本該知道的基本常識(shí)，比如多次重復(fù)實(shí)驗(yàn)并報(bào)告平均值和方差進(jìn)行嚴(yán)格比較，但他們就是為了方便或者讓數(shù)據(jù)更好看而選擇性忽視。

下面就詳細(xì)看看作者都提了哪些常見錯(cuò)誤。

建模前的準(zhǔn)備

為了得到符合預(yù)期用途的模型、可以順利發(fā)表論文的結(jié)果，建模之前你需要做好以下6點(diǎn)準(zhǔn)備：

1、確?；〞r(shí)間研究你要用的數(shù)據(jù)集，來源可靠、質(zhì)量有保證。

2、但不要查看測(cè)試數(shù)據(jù)，防止先入為主做出某些假設(shè)導(dǎo)致最終模型通用性差。

3、保證數(shù)據(jù)量足夠大，當(dāng)然保證不了也是常有的事兒，解決辦法：

比如評(píng)估模型時(shí)交叉驗(yàn)證數(shù)據(jù)、采用數(shù)據(jù)擴(kuò)充技術(shù)（數(shù)據(jù)集中某類數(shù)據(jù)不夠時(shí)也可采用）。

但總的來說，數(shù)據(jù)不夠模型就不能設(shè)計(jì)得太復(fù)雜，不然分分鐘給你過擬合。

4、要和相關(guān)領(lǐng)域?qū)＜艺務(wù)?，防止研究脫離實(shí)際，并且他們也可以幫助你向最合適的期刊/受眾發(fā)表。

5、搜遍相關(guān)文獻(xiàn)，雖然發(fā)現(xiàn)別人已經(jīng)研究過了很沮喪，但是寫論文時(shí)你該怎么解釋為什么要覆蓋相同的領(lǐng)域。

6、一定要提前考慮模型部署的問題：大部分學(xué)術(shù)研究最終都是要落地吧？好好考慮落地場(chǎng)景的資源、時(shí)間限制等問題來設(shè)計(jì)模型。

如何建出可靠的模型

1、不要讓測(cè)試數(shù)據(jù)參與到訓(xùn)練過程中（這點(diǎn)前面也已強(qiáng)調(diào)過）。

2、嘗試不同的ML模型，別套用，具體問題具體分析找出最適合解決你的問題的那個(gè)。

“湊合”的例子包括將期望分類特征的模型應(yīng)用于由數(shù)字特征組成的數(shù)據(jù)集、將假定變量之間沒有依賴關(guān)系的模型應(yīng)用于時(shí)間序列數(shù)據(jù)，或者只相信最新的模型（舊的不一定不合適）。

3、一定要優(yōu)化模型的超參數(shù)。使用某種超參數(shù)優(yōu)化策略比較好，這樣在寫論文時(shí)也好整。除了數(shù)據(jù)挖掘?qū)嵺`之外，可以使用AutoML技術(shù)優(yōu)化模型及其超參數(shù)的配置。

4、在執(zhí)行超參數(shù)優(yōu)化和特征選擇要小心：防止測(cè)試集“泄漏”，不要在模型訓(xùn)練開始之前對(duì)整個(gè)數(shù)據(jù)集進(jìn)行特征選擇。理想情況下應(yīng)使用與訓(xùn)練模型所用數(shù)據(jù)完全相同的數(shù)據(jù)。

實(shí)現(xiàn)這一點(diǎn)的常用技術(shù)是嵌套交叉驗(yàn)證（也稱為雙交叉驗(yàn)證）。

如何穩(wěn)健地評(píng)估模型

對(duì)模型進(jìn)行不公平的評(píng)估，很容易讓學(xué)術(shù)研究的水變渾濁。

作者一共提了5點(diǎn)：

1、一個(gè)模型在訓(xùn)練集上的表現(xiàn)幾乎毫無意義，保證測(cè)試集與訓(xùn)練集之間的獨(dú)立。

2、在連續(xù)迭代多個(gè)模型，用前面的數(shù)據(jù)指導(dǎo)下一個(gè)的配置時(shí)使用驗(yàn)證集，千萬不要讓測(cè)試集參與進(jìn)來?？梢愿鶕?jù)驗(yàn)證集對(duì)模型進(jìn)行測(cè)量：當(dāng)分?jǐn)?shù)開始下降時(shí)，停止訓(xùn)練，因?yàn)檫@表明模型開始過擬合。

3、對(duì)模型多次評(píng)估，防止低估/高估性能。十次交叉驗(yàn)證是最標(biāo)準(zhǔn)的做法，對(duì)很小的數(shù)據(jù)類進(jìn)行層化也很重要；需要報(bào)告多個(gè)評(píng)估的平均值和標(biāo)準(zhǔn)偏差；也建議保留單個(gè)分?jǐn)?shù)記錄，以防以后使用統(tǒng)計(jì)測(cè)試來比較模型。

4、保留一些測(cè)試數(shù)據(jù)以無偏評(píng)估最終的模型實(shí)例。

5、不要對(duì)不平衡的數(shù)據(jù)集使用準(zhǔn)確度（accuracy）指標(biāo)。這個(gè)指標(biāo)常用于分類模型，不平衡數(shù)據(jù)集應(yīng)采用kappa系數(shù)或馬修斯相關(guān)系數(shù)（MCC）指標(biāo)。

如何公平地比較模型

這是非常重要的一環(huán)，但很驚訝的是很多人都比不對(duì)，作者表示一定要確保在同一環(huán)境中評(píng)估不同的模型，探索多個(gè)視角，并正確使用統(tǒng)計(jì)測(cè)試。

1、一個(gè)更大的數(shù)字不意味著一個(gè)更好的模型。應(yīng)將每個(gè)模型優(yōu)化到同等程度，進(jìn)行多次評(píng)估，然后使用統(tǒng)計(jì)測(cè)試確定性能差異是否顯著。

2、要想讓人相信你的模型好，一定要做統(tǒng)計(jì)測(cè)試。

3、進(jìn)行多重比較時(shí)進(jìn)行校正：如果你以95%的置信水平做20個(gè)成對(duì)測(cè)試，其中一個(gè)可能會(huì)給你錯(cuò)誤的答案。這被稱為多重性效應(yīng)。最常見的解決方法是Bonferroni校正。

4、不要總是相信公共基準(zhǔn)測(cè)試的結(jié)果。

使用基準(zhǔn)數(shù)據(jù)集來評(píng)估新的ML模型已變得司空見慣，你以為這會(huì)讓結(jié)果更透明，實(shí)際上：

如果測(cè)試集的訪問不受限，你沒法確保別人沒有在訓(xùn)練過程中使用它；被多次使用的公共測(cè)試集上的許多模型可能會(huì)與之過度匹配；最終都會(huì)導(dǎo)致結(jié)果樂觀。

5、考慮組合模型。

如何報(bào)告結(jié)果

學(xué)術(shù)研究的目的不是自我膨脹，而是一個(gè)貢獻(xiàn)知識(shí)的機(jī)會(huì)。為了有效地貢獻(xiàn)你的想法，你需要提供研究的全貌，包括哪些有效哪些無效。

1、保持你所做所發(fā)現(xiàn)的成果透明，這會(huì)方便其他人更容易地在你的工作基礎(chǔ)上擴(kuò)展。共享你的代碼也會(huì)讓你在coding的時(shí)候更認(rèn)真。

2、提供多個(gè)測(cè)試集上的報(bào)告，為每個(gè)數(shù)據(jù)集報(bào)告多個(gè)度量指標(biāo)（如果你報(bào)告F值，請(qǐng)明確這是F1得分還是精度和召回率之間的其他平衡；如果報(bào)告AUC，請(qǐng)指出這是ROC曲線下的面積還是PR下的）；

3、不要在結(jié)果之外泛化，不要夸大，意識(shí)到數(shù)據(jù)的局限性。

4、報(bào)告統(tǒng)計(jì)顯著性時(shí)一定要小心：統(tǒng)計(jì)人員越來越多地認(rèn)為，最好不要使用閾值，而只報(bào)告p值，讓讀者來解釋這些值。

除了統(tǒng)計(jì)意義之外，另一件需要考慮的事是兩個(gè)模型之間的差異是否真正重要。

5、最后，再回過頭完整的看一眼你的模型，除了報(bào)告性能指標(biāo)，看看它能解決多少實(shí)際問題。

以上就是所有的內(nèi)容，作者表示，部分意見可能有爭(zhēng)議，內(nèi)文也并非詳盡無遺，因此提供了很多參考鏈接供大家進(jìn)一步參考。

另外理論總是落后于實(shí)踐，我們今天認(rèn)為正確的東西明天可能不正確，因此大家都要以開放的心態(tài)面對(duì)機(jī)器學(xué)習(xí)，緊跟最新技術(shù)進(jìn)展，謙虛地接受新知識(shí)。

更多意見歡迎在評(píng)論區(qū)補(bǔ)充。

指南地址：
https://arxiv.org/abs/2108.02497

參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/ozuphh/r_how_to_avoid_machine_learning_pitfalls_a_guide/