ジェフリーズ事前分布

ジェフリーズ事前分布（ジェフリーズじぜんぶんぷ、英: Jeffreys prior）は、ベイズ統計学において、ハロルド・ジェフリーズに因んで名付けられた無情報事前分布の一つであり、その確率密度関数はフィッシャー情報行列の行列式の平方根で与えられる：

$p\left({\vec {\theta }}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta }}\right)}}.\,$

重要な性質として、パラメータベクトル ${\vec {\theta }}$ の座標変換に対して不変であることが挙げられる。すなわち、ジェフリーズ事前分布を使用した場合、確率空間上の単位体積に割り当てられる相対確率は、ジェフリーズ事前分布を定義するために使用されるパラメータ化に関係なく同じになる。このため、スケールパラメータを使用する場合に特に役立つ。

再パラメータ化

1パラメータの場合

$\theta$ と $\varphi$ をそれぞれ統計モデルを記述するための異なる2種類のパラメータ座標とし、 $\theta$ は $\varphi$ の連続微分可能な関数であるとする。この時、事前分布 $p_{\theta }(\theta )$ が $\varphi$ を用いた再パラメータ化の下で「不変」であるとは、以下が成り立つことである：

$p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|{\frac {d\theta }{d\varphi }}\right|,$

つまり、$p_{\theta }(\theta )$ と $p_{\varphi }(\varphi )$ が通常の積分変数変換で関連付けられている時のことをいう。

フィッシャー情報量は再パラメータ化の下で次のように変換されるため、

$I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2},$

事前確率分布を $p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}$ 及び $p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}$ の様に定義すれば、望んでいた「不変性」が得られる。

複数パラメータの場合

1パラメータの場合と同様に、 $\theta$ と $\varphi$ をそれぞれ異なる2種類のパラメータ座標とし、$\theta$ は $\varphi$ の連続微分可能な関数であるとする。事前分布 $p_{\theta }({\vec {\theta }})$ が再パラメータ化の下で「不変」であるとは、以下を満たすことをいう：

$p_{\varphi }({\vec {\varphi }})=p_{\theta }({\vec {\theta }})\det J,$

ここで $J$ はヤコビ行列であり、各成分は以下で与えられる：

$J_{ij}={\frac {\partial \theta _{i}}{\partial \varphi _{j}}}.$

フィッシャー情報行列は再パラメータ化の下で次のように変換される：

$I_{\varphi }({\vec {\varphi }})=J^{T}I_{\theta }({\vec {\theta }})J,$

よって

$\det I_{\varphi }(\varphi )=\det I_{\theta }(\theta )(\det J)^{2}$

したがって、事前分布を. $p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}$ 及び $p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta }})}}$ の様に定義すれば、望んでいた「不変性」が得られる。

属性

実用的および数学的観点に立つと、他の無情報事前分布（例：共役事前分布）の代わりにこの無情報事前確率を使用する正当な理由として、確率空間の体積の相対確率がパラメータ変換に依存しないことが挙げられる。

ジェフリーズ事前確率は正規化できない場合があり、この時は変則事前分布になる。たとえば、既知の分散を持つ正規分布の平均に対してのジェフリーズ事前分布は、実数直線上均等になる。

ジェフリーズ事前分布を使うことは、多くの（しかし全てでない）統計学者に受け入れられている強い尤度原理に違反する。ジェフリーズ事前分布を使用した場合、 ${\vec {\theta }}$ の推定は ${\vec {\theta }}$ の関数としての観測データを得る確率（尤度）だけに依存するのではなく、観測デザインによって決定されたありうる全ての観測データに依存する。なぜなら、フィッシャー情報量は選択された観測データに対する期待値から計算されるためである。したがって、ジェフリーズ事前分布を使用して行われた推論は、2つの実験の尤度関数が同じである場合でも、同一パラメータ ${\vec {\theta }}$ を含む2つの試行で異なる可能性がある（強い尤度原理の違反）。

最小記述長（Minimum description length）

統計学における最小記述長を用いたアプローチの目標は、記述長さを使用するコードのビット数で測定する場合に、データを可能な限りコンパクトに記述することである。パラメータ化された分布族の場合、各分布の記述長に基づいて最良の記述長を持つ分布を決定することができる。主な結果として、指数型分布族では、サンプルサイズが大きい場合は漸近的に、指数型分布族の要素とジェフリーズ事前分布に基づく記述長が最適になる。この結果は、パラメーター集合を完全なパラメーター空間の内部のコンパクト部分集合に制限する場合に当てはまる 。完全なパラメータを使用する場合は、結果の修正バージョンを使用する必要がある。

例

パラメータ（またはパラメータの集合）のジェフリーズ事前分布は、統計モデルに依存する。

ガウス分布（平均について）

以下の実数値 $x$ の正規分布を考える：

$f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}$

$\sigma$ を固定した時、 平均 $\mu$ についてのジェフリーズ事前分布は

${\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {1/\sigma ^{2}}}\propto 1.\end{aligned}}$

つまり、ジェフリーズ事前分布は $\mu$ に依存しない。これは、実数直線上の正規化されていない一様分布であり、すべての点で1（または定数）の分布である。これは不適切な事前分布であり、定数を選択する自由度を除き、実数直線上での一意な並進不変分布（実数の加算に関するハール測度）である。このとき、平均は位置の測度に対応し、並進不変性は場所に関する情報がないことに対応する。

ガウス分布（標準偏差について）

以下の実数値 $x$ の正規分布を考える：

$f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},$

$\mu$ を固定した時、標準偏差 $\sigma >0$ についてのジェフリーズ事前分布は

${\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}$

同等に、${\textstyle \log \sigma =\int d\sigma /\sigma }$ に対してのジェフリーズ事前分布は実数直線上の正規化されていない一様分布であり、この分布はlogarithmic priorとして知られる。同様に、ジェフリーズ事前分布は$\log \sigma ^{2}=2\log \sigma$ に対して一様でもある。これは（乗算の自由度を除き）、スケール不変（正の実数の乗算に関するハール測度）である、一意な事前分布であり、標準偏差は対応するスケールの測度に対応し、スケール不変性はスケールに関する情報がないことに対応する。実数上の一様分布と同様に、これは不適切な事前分布である。

ポアソン分布

非負の整数 $n$ についてのポアソン分布の場合を考える：

$f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},$

レートパラメータ$\lambda \geq 0$についてのジェフリーズ事前分布は

${\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}$

同等に、${\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}$ についてのジェフリーズ事前分布は、非負の実数直線上の正規化されていない一様分布である。

ベルヌーイ試行

表面 $H$ が出る確率が$\gamma \in [0,1]$、裏 $T$ の出る確率が $(1-\gamma )$ であるコインを考える。 $(H,T)\in \{(0,1),(1,0)\}$についてこれが出る確率は$\gamma ^{H}(1-\gamma )^{T}$ で与えられる。パラメータ$\gamma$についてのジェフリーズ事前分布は

${\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}$

これはアークサイン分布であり、また$\alpha =\beta =1/2$ の時のベータ分布でもある。さらに、 もし$\gamma =\sin ^{2}(\theta )$ならば

$\Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.$

つまり、$\theta$についてのジェフリーズ事前分布は$[0,\pi /2]$ 区間で一様である。同等に、 $\theta$ は円全体$[0,2\pi ]$で一様になる 。

偏った確率のN面ダイス

同様に、 各面の出現確率が ${\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})$ （ $0\leq \gamma _{i}\leq 1$ 、 $\sum _{i=1}^{N}\gamma _{i}=1$ ）で与えられる $N$ 面のサイコロを振る場合、${\vec {\gamma }}$ についてのジェフリーズ事前分布は、すべての（アルファ）パラメーターが半分に設定されたディリクレ分布である。これは、考えられる結果ごとに半分の疑似カウントを使用すること対応する。

同等に、各 $i$ について $\gamma _{i}=\varphi _{i}^{2}$ とおくと、${\vec {\varphi }}$ についてのジェフリーズ事前分布は $(N-1)$ 次元の単位球上で一様になる（つまり、 $N$ 次元の単位球の表面で一様）。

 

参考文献

• Jeffreys, H. (1946). “An Invariant Form for the Prior Probability in Estimation Problems”. Proceedings of the Royal Society of London. Series A, Mathematical and Physical Sciences 186 (1007): 453–461. doi:10.1098/rspa.1946.0056. JSTOR 97883. PMID 20998741. 

• Jeffreys, H. (1939). Theory of Probability. Oxford University Press