科普一下機(jī)器學(xué)習(xí)熱門概念

機(jī)器學(xué)習(xí)日常：不是在建模，就是在建模的路上。

而在建模過(guò)程中，又能聽到煉丹愛好者時(shí)而念念有詞“怎么又過(guò)擬合了？”，時(shí)而自我安慰“找到偏差和方差的平衡點(diǎn)是成功的訣竅”。

所以為了能讓非專業(yè)者也能愉快地玩（zhuang）耍（bi），今天就來(lái)科普一下機(jī)器學(xué)習(xí)的幾個(gè)常見概念。

泛化

如何判別一個(gè)每天都刷題的高中班級(jí)的成績(jī)?cè)趺礃幽兀?/p>

拉去考一場(chǎng)。

那怎么判斷一個(gè)機(jī)器學(xué)習(xí)領(lǐng)域的新算法到底棒不棒呢？

去新數(shù)據(jù)里溜一圈。

這種對(duì)于訓(xùn)練集以外的數(shù)據(jù)也能進(jìn)行良好的判別，或得到合適輸出的能力，就稱為機(jī)器學(xué)習(xí)模型的泛化（generalization）能力。

并且，說(shuō)一個(gè)模型泛化能力弱，那也是有很多種弱法的。

過(guò)擬合與欠擬合

有些模型，直接死在提取數(shù)據(jù)特征這一步。

訓(xùn)練集上就沒有完全擬合數(shù)據(jù)，實(shí)際樣本中的表現(xiàn)同樣誤差很大。

類似一個(gè)高中生每天都拿著五三刷，但是始終找不到做題規(guī)律，模擬題做得拉跨，考試就更不用說(shuō)。

這種在訓(xùn)練集和測(cè)試集（實(shí)際樣本）中都表現(xiàn)不好的情況，就叫做欠擬合（Underfitting）。

這通常是因?yàn)槟Ｐ蛷?fù)雜度低引起的（就是菜得很實(shí)在）。

而有些模型在訓(xùn)練時(shí)表現(xiàn)良好：

但一到實(shí)戰(zhàn)就撲街。

這種在訓(xùn)練集上表現(xiàn)良好，但在測(cè)試集上表現(xiàn)很差的情況，就叫做過(guò)擬合（Overfitting）。

訓(xùn)練集質(zhì)量不高就可能導(dǎo)致過(guò)擬合，比如樣本不足，或者訓(xùn)練數(shù)據(jù)中的噪聲（干擾數(shù)據(jù)）過(guò)多。

也有可能因?yàn)槟Ｐ蛷?fù)雜度高于實(shí)際問(wèn)題，只是死記硬背下了訓(xùn)練數(shù)據(jù)的信息，但完全無(wú)法推廣到?jīng)]見過(guò)的新數(shù)據(jù)上。

不管菜到底有幾種方式，對(duì)于一個(gè)機(jī)器模型來(lái)說(shuō)，總歸是在實(shí)際應(yīng)用里表現(xiàn)不好，發(fā)生了泛化誤差（Generalization Error）。

而這種誤差，可以再次細(xì)化為兩個(gè)方面：

誤差（Error） = 偏差（Bias） + 方差（Variance）

偏差與方差

在機(jī)器學(xué)習(xí)領(lǐng)域，偏差（bias）是指模型的預(yù)測(cè)值相對(duì)于真實(shí)結(jié)果的偏離程度。

△其中f(x)為預(yù)測(cè)函數(shù)，y為樣本數(shù)據(jù)真實(shí)值

而方差（variance）與真實(shí)值沒有關(guān)系，只描述通過(guò)模型得到的預(yù)測(cè)值之間的分布情況。

對(duì)于一個(gè)模型來(lái)說(shuō)，偏差反映模型本身的精確度，而方差則衡量模型的穩(wěn)定性。

如果模型過(guò)于簡(jiǎn)單且參數(shù)很少，那么它可能具有高偏差和低方差的特征，也就會(huì)造成欠擬合。

而如果模型復(fù)雜而具有大量參數(shù)，那么它將具有高方差和低偏差的特征，造成過(guò)擬合。

看上去，一個(gè)好的機(jī)器模型就是要同時(shí)追求更低的偏差和方差。

但在實(shí)際應(yīng)用中，偏差和方差往往不可兼得。

偏差與方差的權(quán)衡

先來(lái)看這兩個(gè)模型：

右邊的模型明顯比左邊要復(fù)雜很多，也因此它的偏差更低，方差更高，與左邊的模型相反。

這種偏差與方差之間的沖突就是偏差-方差窘境（Bias- Variance dilemma）：

在改進(jìn)算法時(shí)，要減少偏差就會(huì)增大方差，反之亦然。

因此，我們需要找到一個(gè)合適的平衡點(diǎn)，既不會(huì)因?yàn)楦咂疃斐汕窋M合，也不會(huì)因?yàn)楦叻讲疃斐蛇^(guò)擬合。

這種偏差與方差之間的權(quán)衡（bias and variance trade-off），實(shí)際上也就是模型復(fù)雜度的權(quán)衡。

為什么要提出這些概念？

簡(jiǎn)單來(lái)說(shuō)，為了讓計(jì)算機(jī)也學(xué)會(huì)人類的概括能力。

比如，如果我們要通過(guò)某地房屋面積與房?jī)r(jià)之間的關(guān)系，進(jìn)而幫助房屋售賣者選取更合適的售價(jià)，那么下面哪個(gè)函數(shù)最好呢？

第一個(gè)明顯欠擬合。都沒有從給定的數(shù)據(jù)中找到一般規(guī)律，更不用說(shuō)讓函數(shù)去預(yù)測(cè)新房?jī)r(jià)面積可能對(duì)應(yīng)的售價(jià)了。

第三個(gè)就是過(guò)擬合，函數(shù)參數(shù)過(guò)多，想要抓住所變化，反而導(dǎo)致模型的通用性下降，預(yù)測(cè)效果大打折扣。

而第二個(gè)函數(shù)基本擬合了樣本數(shù)據(jù)，形成了一般規(guī)律，也保證了對(duì)新數(shù)據(jù)的預(yù)測(cè)能力。

能從海量數(shù)據(jù)中找到一般規(guī)律，這就是一個(gè)模型的泛化能力。

模型的泛化能力越高，通用性也就越強(qiáng)，這樣能完成的任務(wù)范圍也就越廣。

但就算是ANN（人工神經(jīng)網(wǎng)絡(luò)）這樣優(yōu)秀的機(jī)器學(xué)習(xí)模型，目前也還是受限于偏差與方差的權(quán)衡。

算法工程師們提出了各種方法，如正則化（Regularization)、套袋法（Bagging）、貝葉斯法（Bayesian)，使模型能夠更好地概括舊數(shù)據(jù)，預(yù)測(cè)新數(shù)據(jù)。

并期望著最終能構(gòu)建一個(gè)機(jī)器學(xué)習(xí)模型，使其能力無(wú)限逼近目前最強(qiáng)的通用模型——人類大腦。