帰納バイアス
学習アルゴリズムにおける帰納バイアス（きのうバイアス、英: inductive bias）とは、学習バイアス（learning bias）とも呼ばれ、 学習時に遭遇したことのない入力に対する出力の予測を可能にするために用いる一連の仮定から生じるバイアスのことである[1]。
機械学習では、ある特定の目的の出力を予測することを学習 learn 可能なアルゴリズムの構築を目指す。これを達成するために、学習アルゴリズムには、意図された関係を示す入力値と出力値の学習例が提示される。そして学習者は学習時に提示されなかった例に対しても、おおむね正しい出力を与えることが期待される。ところが、未遭遇の状況は任意の出力値を持つ可能性があるため、追加の仮定をしない限りこの問題は解決できない。このような目的関数の性質に対して必要な仮定の類は、帰納バイアス inductive bias という言葉に包含される[1][2]。
帰納バイアスの古典的な例はオッカムの剃刀であり、これは目的関数についての仮説で最も単純かつ一貫性のあるものが実際に最良であるという仮定である。ここでいう一貫性とは、学習者の仮説がアルゴリズムに与えられたすべての例に対して正しい出力をもたらすことを意味する。
帰納バイアスをより正式に定義するアプローチとして、数理論理学に基づくものがある。ここでは帰納バイアスは論理式であり、トレーニングデータとともに、学習者が生成した仮説を論理的に内包する。しかしながら、この厳密な形式主義は、帰納バイアスが大まかにしか記述できない場合（例：ニューラルネットワーク）など、多くの実用的なケースで破綻している。
種類
[編集]機械学習アルゴリズムによく見られる帰納バイアスを列挙する。
- 条件付き独立性の最大化：ベイズ推定の枠組みで考えられる場合、条件付き独立性を最大化しようとする。これは、単純ベイズ分類器で使用される帰納バイアスである。
- 交差検証誤差の最小化：交差検証誤差が最小の仮説を選択する。ノーフリーランチ定理から、交差検証にもバイアスがあることが分かっている。
- マージンの最大化：2つのクラスの間に境界を引くとき、境界の幅を最大にしようとする。このバイアスはサポートベクターマシンで用いられている。異なるクラスは広い境界によって分離される傾向があるとの仮定である。
- 最小記述長：仮説を立てる際には、仮説の記述の長さを最小限にするよう努める。
- 最少特徴量：ある特徴量が有用であるという十分な根拠がない限り、その特徴量は削除されるべきである。これが特徴選択アルゴリズムの背景にある仮定である。
- 最近傍：クラスが未知の事例に対し、特徴量空間内の近傍にある大多数の事例と同じクラスに属すると推測する。これはK近傍法で用いられるバイアスである。近いケースは同じクラスに属する傾向があるとの仮定である。
バイアスのシフト
[編集]多くの学習アルゴリズムのバイアスを固定的に持っている。取得するデータが増えるに従ってバイアスを動かすよう設計されたアルゴリズムもあるが、バイアスを動かす過程にもバイアスが存在する[3]。
関連項目
[編集]脚注
[編集]- ^ a b Mitchell, T. M. (1980), The need for biases in learning generalizations, CBM-TR 5-110, New Brunswick, New Jersey, USA: Rutgers University
- ^ DesJardins, M.; Gordon, D. F. (1995), Evaluation and selection of biases in machine learning, Machine Learning Journal, 5:1--17
- ^ Utgoff, P. E. (1984), Shift of bias for inductive concept learning, New Brunswick, New Jersey, USA: Doctoral dissertation, Department of Computer Science, Rutgers University, ISBN 9780934613002