顯然，對有限個樣本點組成的訓練集，存在著很多條曲線與其一致．我們的學習算法必須有某種偏好，才能產出它認為“正確”的模型．例如，若認為相似的樣本應有相似的輸出（例如，在各種屬性上都很相像的西瓜，成熟程度應該E匕較接近），則對應的學習算法可能偏好圖1.3中比較“平滑”的曲線A而不是比較“崎嶇”的曲線B．歸納偏好可看作學習算法自身在一個可能很龐大的假設空間中對假設進行選擇的啟發式或“價值觀”．那么，有沒有一般性的原則來引導算法確立“正確的”偏好呢？“奧卡姆剃刀”(Occam's razor)是一種常用的、自然科學研究中最基本的原則，即“若有多個假設與觀察一致，則選最簡單的那個”．如果采用這個原則，并且假設我們認為“更平滑”意味著“更簡單”（例如曲線A更易于描述，其方程式是可= _X2+ 6x+l，而曲線B則要復雜得多），則在圖1.3中我們會自然地偏好“平滑”的曲線A.