ベイズ確率

ベイズ確率（ベイズかくりつ、英: Bayesian probability）とは、確率の概念を解釈したもので、ある現象の頻度や傾向の代わりに、確率を知識の状態を表す合理的な期待値、あるいは個人的な信念の定量化と解釈したものである。

ベイズ確率の解釈は、命題論理を拡張したものであり、真偽が不明な命題を用いた推論を可能にするものと考えられる。ベイズの考え方では仮説に確率を付与するが、頻度論的な推論では確率を付与せずに仮説を検証するのが一般的である。

ベイズ確率は証拠能力のある確率のカテゴリーに属する。仮説の確率を評価するために、ベイズ確率論者は事前確率を指定する。仮説の確率を評価するために、ベイズの確率論者は事前確率を指定し、新しい関連データ（証拠）に照らし合わせて事後確率に更新する。ベイジアン解釈では、この計算を行うための標準的な手順と式が用意されている。

ベイジアンという言葉は、18世紀の数学者・神学者であるトーマス・ベイズに由来する。ベイズは、現在ベイズ推定として知られているものを用いて、統計的データ分析の自明でない問題を初めて数学的に扱った人物である。また、数学者のピエール＝シモン・ラプラスは、現在ではベイズ確率と呼ばれているものを開拓し、普及させた。

ベイジアンの方法論

ベイズ法は、以下のような概念と手順によって特徴づけられる。

• 情報不足に起因する不確実性を含む、統計モデルにおける不確実性のすべての原因をモデル化するために、確率変数、より一般的には未知の量を使用すること（アレトロール的不確実性およびエピステミックな不確実性も参照）。
• 利用可能な（事前の）情報を考慮して、事前の確率分布を決定する必要がある。
• ベイズの定理の逐次使用（逐次ベイズ推定）：より多くのデータが利用可能になった場合、ベイズの公式を用いて事後分布を計算し、その後、事後分布が次の事前分布となる。
• 頻度主義者にとって、仮説は（真か偽かの）命題であり、頻度主義者にとっての仮説の確率は0か1であるが、ベイズ統計学では、真理値が不確かであれば、仮説に割り当てられる確率も0から1の範囲になる。

歴史

ベイズ確率（およびベイズ統計学）は、ベイズの定理の特別な場合を証明したトーマス・ベイズにちなんだ命名（実際の命名は1950年代）ではあるが、ベイズ自身が現在のようなベイズ確率やベイズ推定の考え方を持っていたかどうかは定かでない。

ベイズ確率の考え方を積極的に用いたのはピエール＝シモン・ラプラス（ベイズの定理の一般的な場合を証明した）で、それを「土星の質量を確率的に見積もる」というような問題に応用した。しかし彼以後は長らくこの考え方は顧みられなかった。土星の質量は推測値だからと言っても確率的に分布するわけではなく、観測誤差の方が確率的に分布するのであると頻度主義では考える。特に19世紀末以降に発展した数理統計学は専ら頻度主義に基づいて厳密な理論を構築した。

確率の主観的解釈（のちにベイズ主義と呼ばれる）は1931年に哲学者・数学者のフランク・ラムゼイによって提唱され、彼は別の主観確率（論理確率）の支持者だったケインズと論争をしているが、彼自身はこれを頻度主義的解釈の単なる補助としか考えなかった。これをさらに厳密に取り上げたのは1937年、統計学者ブルーノ・デ・フィネッティである。さらに初めて詳細な分析を加えたのは1954年、レオナード・ジミー・サヴェッジであって、彼の考え方にはベイズ確率・ベイズ主義という呼び名が適用された。そのほか初期の研究者にはバーナード・クープマン、エイブラハム・ウォールドらがいる。これらの研究は現在広く受け入れられるようになってきたが、頻度主義者とベイズ主義者の亀裂は現在でも尾を引いており、両主義の支持者の一部は互いに議論せず共通の学会に参加しないといった状況が続いている。

頻度確率

ベイズ主義の基本的な考え方は、数学的確率論において現れるベイズの定理を、主観的確率におけるデータ集積に応じて改訂し、さらに経験的に解釈し、統計問題に適用することである。このような確率理解に基づいて功利を計算し、合理的意思決定の問題として考えていく。つまり、ベイズの定理における P(B|A) のうち、データ B を得たときの A が成り立つ条件付き確率を求め、新しいデータ B₁, B₂, B₃, …, B_n が得られるたびに、A の生起確率を更新する。この応用としてリチャード・ジェフリーの証拠的意思決定理論も編み出されている。

このような手法は、観測された頻度分布あるいは想定された母集団の割合から導かれるのが確率であるとする頻度確率の概念とは対照的である。また、統計学的方法が大きく異なる場合も多い。ただし、ベイズ主義と頻度主義とで同じ結論が得られる問題も多い。他方、統計学的仮説検定について、ベイズ主義と頻度主義との差が現れやすい。頻度主義では推定したいパラメータは一つの真の値をとると考えるが、ベイズ主義においてはパラメータは確率変数であると考える。

ここで、ベイズ主義者"Bayesian"が考える確率と頻度主義者"Frequentist"が考える確率とが全く異なる値となる例を一つ示す。

ここに1枚のインチキコインがあるとする。すなわち、表か裏のどちらかが出やすくなっている。 ただし、どちらが出やすいのかはわからない。 では、このコインを投げたとして表が出る確率をどう計算すべきか?

ベイズ主義者が正しいと考えるであろう確率

表が出る確率は、1⁄2である。

理由：表と裏のどちらが出やすいのか全く不明である。それ故、表の出る確率も裏の出る確率も全く平等である。それ故、理由不十分の原理により、ともに1⁄2とする以外にない。

頻度主義者が正しいと考えるであろう確率

表が出る確率は、0から1までのいずれかであるが、1⁄2ではない。

理由：コインを何度も投げると、［表の出た回数 / 投げた回数］は、ある値に近づく（大数の法則）。それが求める確率である。

ただし、このコインはインチキコインなのだから1⁄2には絶対にならない。

要するに、ベイズ主義者は、その時点で有する情報をもとに計算された確率を重視する。 （新たな情報が入手されれば確率は改定される。）

これに対して頻度主義者は、無限回試行を前提とした確率を重視する。

ベイズ推定

→詳細は「ベイズ推定」を参照

ベイズの定理を用いて、新しい証拠に照らして命題$\theta _{i}$の尤もらしさ（確率）の値$p_{i}$を改訂していく方法がベイズ推定である。改訂前の値を事前確率、改訂後を事後確率と呼ぶ。事後確率は最良な推定結果そのものとなる。

例えばラプラスはこの方法で土星の質量を見積もった（土星の質量の推定値の事後確率分布$p(m_{\text{sat}})$の期待値${\bar {m}}_{\text{sat}}$を計算した）。

しかし頻度主義による確率の定義では、このような適用はできない。土星質量の推定値は確率変数ではないからである。「土星の質量とはどんな母集団から抽出されたものか?」という問いに答えられなければ、これは頻度主義者の議論の対象にはならない。

応用

ベイズ確率は現在いろいろな方面で応用されている。一方で頻度主義に基づく統計学の理論体系に対しては、かえって実用性を犠牲にしているとのベイジアンからの批判がある。むしろベイズ主義のほうが人間の思考様式になじむというわけである。ベイズ推定は、まず複数の仮説について尤もらしさ（信念の度合）を考え、実験や観測により新しい情報（データ）を収集し、それらを組み合わせてベイズの定理によってその確率を改訂するという点で、科学的方法のモデルとしても提案されている。またベイズ因子（従来の統計学における尤度を用いる方法に似ている）を利用する方法はオッカムの剃刀に対応するものとされている。

ベイズ推定を用いた方法は近年、スパムを見つける方法（ベイジアンフィルタ）として利用され成果を上げている。すでに分かっているスパムの選別法をフィルターに示し、次いで単語の頻度を用いてスパムと必要な電子メールとを識別するのである。

関連項目

• 最大エントロピー原理
• マルコフ連鎖モンテカルロ法（MCMC）
• ベイジアンネットワーク