エントロピーレート

確率の数理理論において確率過程のエントロピーレート（英: entropy rate）または情報源レート（source information rate）とは、平たく言えば、確率過程における情報量の時間平均である。可算個の時間添字を持つ確率過程のエントロピーレート $H(X)$ は、$n$ ステップまでの $X_{k}$ の結合エントロピーを $n$ で割った量の、$n$ が無限大に向かうときの極限と定義される（極限が存在するときに限る）：

$H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})$

一方、関連する量に

$H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

がある。強定常過程に対しては $H(X)=H'(X)$ となる。エントロピーレートは確率過程の一般的性質として捉えることができ、これは漸近等分割性と呼ばれる。エントロピーレートは確率過程の複雑性の推定にも使うことができる。また、言語の複雑性の特徴付け、ブラインド信号源分離、量化子器の最適化、データ圧縮アルゴリズムといった広範な対象に応用される。例えば、エントロピーレート最大化基準は機械学習における特徴選択に利用することができる。

マルコフ連鎖のエントロピーレート

既約、非周期的で正の再帰確率を持つマルコフ連鎖から定義される確率過程は極限分布を持ち、エントロピーレートは初期分布に依存しない。

例えば、マルコフ連鎖 $Y_{k}$ が可算個の状態と確率行列 $P_{ij}$ で定義されているとき、$H(Y)$ は

$\displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$

で与えられる。ここで $\mu _{i}$ はマルコフ連鎖の定常分布。

定義からの簡単な帰結として、独立同分布の確率変数列から成る確率過程のエントロピーレートは、各ステップの確率分布のエントロピーと一致する。

関連項目

• 情報量
• マルコフ情報源
• 漸近等分割性
• 最大エントロピーランダムウォーク - エントロピーレートが最大になるよう選択されたもの。

参考文献

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]