怠惰学習

怠惰学習（たいだがくしゅう、英: lazy learning）とは、機械学習のアプローチの一つで、学習データを事前にモデル化せず、実際に予測が必要になったタイミングで学習データを用いて予測を行う方法。

解説

怠惰学習アルゴリズムは、訓練データをそのまま保存し、予測時に新しいデータポイントに対してデータベースを検索して最も近い学習データを見つけ、それを元に予測を行います。

怠惰学習の代表例として、k近傍法（k-Nearest Neighbor; k-NN）があります。

特徴

• 訓練フェーズが速い: 怠惰学習アルゴリズムは、訓練データを保存するだけでモデル化しないため、訓練フェーズが非常に速い。

• 予測フェーズが遅い: 一方で、予測時に新しいデータポイントと学習データとの距離を計算する必要があるため、予測フェーズが遅くなる。これは、特に大規模なデータセットの場合顕著である。

• ノイズに敏感: 怠惰学習アルゴリズムは、ノイズのあるデータに敏感であり、ノイズが予測に悪影響を与える可能性がある。

• メモリ効率が低い: 訓練データをすべて保存する必要があるため、メモリ効率が低くなります。大規模なデータセットでは、この問題が顕著になる。

注意点

怠惰学習は、データの分布が複雑で事前にモデル化が難しい場合や、訓練データが頻繁に更新される場合に有効なアプローチとなることがある。ただし、予測速度やメモリ効率の観点から、状況に応じて怠惰学習と他の学習アプローチ（積極的学習）を適切に選択することが重要。

• データセットのサイズ: 大規模なデータセットに対しては、怠惰学習アルゴリズムの予測速度が低下し、メモリ効率も低くなります。そのため、データセットのサイズに応じて適切なアルゴリズムを選択することが重要です。

• 特徴量のスケーリング: 距離ベースのアルゴリズムであるため、各特徴量のスケーリングが重要です。特徴量のスケールが異なる場合、スケールが大きい特徴量が距離計算において優先されることがあります。データを分析する前に、特徴量の正規化や標準化を行うことで、この問題を緩和することができます。

• 適切な距離尺度の選択: 怠惰学習アルゴリズムでは、データ間の距離を計算するために様々な距離尺度が使用されます。例えば、ユークリッド距離、マンハッタン距離、コサイン類似度などがあります。適切な距離尺度を選択することで、アルゴリズムの性能が向上することがあります。

• k-最近傍法のkの選択: k-最近傍法では、kの値を適切に選択することが重要です。kが小さすぎると、ノイズの影響を受けやすくなります。一方で、kが大きすぎると、近傍データの多様性が増し、決定境界が不明確になることがあります。kの選択は、交差検証などの方法を用いて最適化することが望ましいです。

• 適用範囲の検討: 怠惰学習は、データの分布が複雑で事前にモデル化が難しい場合や、訓練データが頻繁に更新される場合に有効なアプローチとなることがあります。しかし、予測速度やメモリ効率の観点から、状況に応じて怠惰学習と他の学習アプローチ（積極的学習）を適切に選択することが重要です。

参考文献

• lazy: Lazy Learning for Local Regression, R package with reference manual
• “The Lazy Learning Package”. 16 February 2012時点のオリジナルよりアーカイブ。2023年4月11日閲覧。
• Webb G.I. (2011) Lazy Learning. In: Sammut C., Webb G.I. (eds) Encyclopedia of Machine Learning. Springer, Boston, MA