考慮兩個(gè)正在努力準(zhǔn)備期末考試的大學(xué)生。通常，這種準(zhǔn)備將包括通過參加前幾年的考試來練習(xí)和測(cè)試他們的能力。盡管如此，在過去的考試中取得好成績(jī)并不能保證他們?cè)谥匾臅r(shí)候會(huì)出類拔萃。例如，想象一個(gè)學(xué)生 Elephantine Ellie，她的準(zhǔn)備工作完全包括記住前幾年考試問題的答案。即使艾莉被賦予了象象般的記憶力，因此可以完美地回憶起任何以前見過的問題的答案，但當(dāng)她面對(duì)一個(gè)新的（以前沒見過的）問題時(shí)，她可能還是會(huì)僵住） 問題。相比之下，想象另一個(gè)學(xué)生，Inductive Irene，記憶能力相對(duì)較差，但有能力挑選模式。請(qǐng)注意，如果考試真的由前一年的重復(fù)問題組成，那么 Ellie 將輕松勝過 Irene。即使 Irene 的推斷模式產(chǎn)生了 90% 的準(zhǔn)確預(yù)測(cè)，它們也永遠(yuǎn)無法與 Ellie 的 100% 召回率相提并論。然而，即使考試完全由新題組成，艾琳也可能保持 90% 的平均分。

作為機(jī)器學(xué)習(xí)科學(xué)家，我們的目標(biāo)是發(fā)現(xiàn)模式。但是我們?nèi)绾未_定我們真的發(fā)現(xiàn)了一個(gè)普遍的模式而不是簡(jiǎn)單地記住了我們的數(shù)據(jù)呢？大多數(shù)時(shí)候，我們的預(yù)測(cè)只有在我們的模型發(fā)現(xiàn)這種模式時(shí)才有用。我們不想預(yù)測(cè)昨天的股價(jià)，而是明天的。我們不需要為以前見過的病人識(shí)別已經(jīng)診斷出的疾病，而是需要識(shí)別以前沒見過的病人的以前未確診的疾病。這個(gè)問題——如何發(fā)現(xiàn)泛化的模式——是機(jī)器學(xué)習(xí)的根本問題，可以說是所有統(tǒng)計(jì)學(xué)的根本問題。我們可以把這個(gè)問題看作是一個(gè)涵蓋所有科學(xué)的更宏大問題的一部分：我們什么時(shí)候有理由從特定的觀察到更一般的陳述（波普爾，2005 年）？

在現(xiàn)實(shí)生活中，我們必須使用有限的數(shù)據(jù)集合來擬合模型。該數(shù)據(jù)的典型規(guī)模在不同領(lǐng)域差異很大。對(duì)于許多重要的醫(yī)學(xué)問題，我們只能訪問幾千個(gè)數(shù)據(jù)點(diǎn)。在研究罕見病時(shí)，我們可能幸運(yùn)地接觸到數(shù)百種疾病。相比之下，由標(biāo)記照片組成的最大公共數(shù)據(jù)集（例如，ImageNet （Deng等人，2009 年））包含數(shù)百萬張圖像。而一些未標(biāo)記的圖像集合，例如 Flickr YFC100M 數(shù)據(jù)集可能更大，包含超過 1 億張圖像（Thomee等人，2016 年）. 然而，即使在這種極端規(guī)模下，與 1 百萬像素分辨率下所有可能圖像的空間相比，可用數(shù)據(jù)點(diǎn)的數(shù)量仍然是無限小的。每當(dāng)我們處理有限樣本時(shí)，我們必須牢記這樣的風(fēng)險(xiǎn)，即我們可能會(huì)擬合我們的訓(xùn)練數(shù)據(jù)，卻發(fā)現(xiàn)我們未能發(fā)現(xiàn)可概括的模式。

擬合更接近我們的訓(xùn)練數(shù)據(jù)而不是底層分布的現(xiàn)象稱為過度擬合，而對(duì)抗過度擬合的技術(shù)通常稱為正則化方法。雖然沒有什么可以替代對(duì)統(tǒng)計(jì)學(xué)習(xí)理論的適當(dāng)介紹（參見Boucheron等人（2005 年）、Vapnik（1998 年）），但我們將為您提供足夠的直覺來開始學(xué)習(xí)。我們將在全書的許多章節(jié)中重新審視泛化，探索各種模型中泛化的基本原理的已知內(nèi)容，以及已經(jīng)發(fā)現(xiàn)的啟發(fā)式技術(shù)（根據(jù)經(jīng)驗(yàn)）可以對(duì)實(shí)際感興趣的任務(wù)產(chǎn)生改進(jìn)的泛化。