當學習器去預測其未遇到過的輸入的結果時,會做一些假設(Mitchell, 1980)。而學習 演算法 中的歸納偏置(Inductive bias)則是這些假設的集合。
機器學習試圖去建造一個可以學習的演算法,用來預測某個目標的結果。要達到此目的,要給於學習演算法一些訓練样本,样本說明輸入與輸出之間的預期關係。然后假设學習器在预测中逼近正确的结果,其中包括在訓練中未出現的样本。既然未知状况可以是任意的結果,若沒有其它額外的假設,這任務就無法解決。這種關於目標函數的必要假設就称为歸納偏置(Mitchell, 1980; desJardins and Gordon, 1995)。
一個典型的歸納偏置例子是 奧卡姆剃刀 ,它假設最簡單而又一致的假设是最佳的。這裡的一致是指學習器的假设會對所有樣本產生正確的結果。
歸納偏置比較正式的定義是基於數學上的邏輯。這裡,歸納偏置是一個與訓練样本一起的邏輯式子,其邏輯上會蘊涵學習器所產生的假设。然而在实际应用中,這種嚴謹形式常常無法適用。在有些情况下,学习器的歸納偏置可能只是一個很粗糙的描述(如在人工神經網路中),甚至更加简单。
以下是機器學習中常見的歸納偏置列表:
雖然大部分的學習演算法使用固定的偏置,但有些算法在获得更多数据時可以變換它們的偏置。這不會取消偏置,因為偏置变换的過程本身就是一種偏置。