独立同分布
確率論や統計学において、独立同分布に従う（どくりつどうぶんぷにしたがう、英: be independent and identically distributed; IID, i.i.d., iid）とは、2つ以上の確率変数がそれぞれ全く同じ確率分布に従っていて、かつ互いに独立している状態のことを指す。「独立同分布（英: independent and identical distribution）」という名称の確率分布があるわけではない。
たとえば、1つの母集団から 個の標本を復元抽出した場合、それら 個の確率変数は、すべて独立同分布に従っている。
IIDという注記は統計において特に一般的であり、推計統計学の目的のために、しばしば標本中の観測値が効果的にIIDであると仮定される。観測値がIIDであるという前提（または要件）により、多くの統計的方法の基礎となる数学が単純化される傾向がある（数理統計学および統計理論を参照）。しかし、統計モデルの実際の応用においては、この仮定が現実的である場合とそうでない場合がある。与えられたデータの集合上でこの仮定がどれほど現実的であるかをテストするために、コレログラムを書いたりターニングポイントテストをすることで、自己相関を計算することができる[1]。交換可能な確率変数の一般化はしばしば十分であり、より容易に満たされる。
この仮定は、「有限の分散を有するIIDな変数の和（または平均）の確率分布は、正規分布に近づく」という中心極限定理の古典的な形式において、非常に重要である。
IIDは確率変数の列を参照することに注意が必要である。独立同分布とは、列内の要素が、その要素の前の確率変数とは独立していることを意味する。このように、IIDの列はマルコフ過程とは異なる。マルコフ過程では、n 番目の確率変数の確率分布は、列内の前の確率変数の関数である（1次マルコフ過程の場合）。IIDの列は、標本空間またはイベント空間の全ての要素の確率が同じでなければならないということを意味しない[2]。例えば、いかさまサイコロを繰返し投げた場合、結果が偏っているにもかかわらず、IIDである列が生成される。
定義
[編集]確率変数を の値を取ると定義する。
の時かつその時に限り、2つの確率変数 と は 同一分布に従う(identically distributed)という。
![{\displaystyle P[x\geq X]=P[x\geq Y],\,\forall x\in \mathbb {I} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/5cb8de2d49d796332e5e2773a5772f0a926fc0db)
の時かつその時に限り、2つの確率変数 と は独立(independent)であるという。独立 (確率論)#確率変数の独立も参照。
![{\displaystyle P[x\geq Y]=P[x\geq Y|x\geq X]\land P[x\geq X]=P[x\geq X|x\geq Y]\,\forall x\in \mathbb {I} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/71abe445779677bdf9d79a1f56860c578462eb15)
例
[編集]モデリングでの使用
[編集]以下に挙げるは、IID確率変数の例または適用例である。
- 公正または不正なルーレットの出目の列はIIDである。例えば、ルーレットのボールが20回連続して「赤」に入ったとしても、次にルーレットを回した時に「黒」に入る確率は、高くも低くもなっていない（ギャンブラーの誤謬を参照）。
- 公正または不正なサイコロの出目の列はIIDである。
- 公正または不正なコイントスの結果の列はIIDである。
- 信号処理と画像処理では、IIDへの変換という概念は、ID（同一分布）部分とI（独立）部分の2つの仕様を意味する。
推論での使用
[編集]- 最も簡単な統計検定の1つであるz検定は 、確率変数の平均に関する仮説を検定するために使用される。z検定を使用するとき、中心極限定理の条件を満たすために、全ての観測値がIIDであると仮定する（IIDであることが要求される）。
一般化
[編集]確率変数がIIDであるという仮定の下で証明された多くの結果は、より弱い分布仮定の下でも真であることが示されている。
交換可能な確率変数
[編集]IID変数の主な特性を共有する最も一般的な概念は、ブルーノ・デ・フィネッティによって導入された交換可能な確率変数である。交換可能性とは、変数が独立していない可能性はあるが、将来のものは過去のものと同じように振る舞う（正式には、有限な列の値はそれらの値の順列と同じである）ことを意味する。同時分布は対称群の下で不変である。
これは有益な一般化を提供する。例えば、置換を伴わない標本化は独立ではなく、交換可能である。これは、ベイズ統計学で広く使用されている。
レヴィ過程
[編集]確率解析では、IID変数は離散時間レヴィ過程と見なされる。各変数は、ある時刻から別の時刻の間にどれだけ変化するかを示す。例えば、ベルヌーイ試行の列は、ベルヌーイ過程と解釈される。これを一般化して、連続時間レヴィ過程を含めることができ、多くのレヴィ過程はIID変数の限界として見ることができる。例えば、ウィーナー過程はベルヌーイ過程の限界である。
ホワイトノイズ
[編集]ホワイトノイズは、IIDの単純な例である。
関連項目
[編集]- デ・フィネッティの定理
- 自然の斉一性（「標本中の観測値が効果的にIIDであると仮定される」と関連）
脚注
[編集]- ^ Le Boudec, Jean-Yves (2010). Performance Evaluation Of Computer And Communication Systems. EPFL Press. pp. 46-47. ISBN 978-2-940222-40-7
- ^ Cover, Thomas (2006). Elements Of Information Theory. Wiley-Interscience. pp. 57–58. ISBN 978-0-471-24195-9
