ベイズ推定・統計の基本となる、ベイズの定理。
この定理、なんだかなじめないという人が、意外と多いんですよね。

Thomas Byayes 1702-1761

ベイズ推定・統計を使いこなす「ベイジアン」になるには、まず、このベイズ確率の基本となる、ベイズの定理を覚えなくてはいけません。

この定理の証明は、とても簡単です。
また、意味が分かれば、簡単に覚えてしまいます。

ここでは、そんなベイズの定理の証明を、誰でも分かるように、確率の基礎から丁寧に、解説をしていきます。

勉強ではなく、ゲームの解説でも聞くような気楽な気持ちで、楽しんで見て下さい（笑）

ベイズの定理

さて、まず最初にベイズの定理について、見てみましょう。

ベイズの定理

• P(A) : A が起きる確率
• P(B) : B が起きる確率（事前確率）
• P(A|B) : B の後でA が起きる確率（条件付き確率、尤度）
• P(B|A) : A の後でB が起きる確率（条件付き確率、事後確率）

さて、それではこれを簡単に解説をしていきます。
まずは、ベイズの定理の理解に必要な確率の基本を、簡単におさらいしましょう。

確率の基本

ベイズの定理は、覚え難そうに見えますが、確率の基本の乗法定理を組み合わせただけです。

まずは、乗法定理をしっかりと押さえておきましょう。

乗法定理（積の法則）

乗法定理を使う確率の問題は次の様なものがあります。

 

さて、この問題を見て分かるとおり、確率1/6 と 1/2のかけ算（乗法・積算）することで、確率が求められています。

でも、なぜ掛け算なんでしょうか？

これは、次の図を見れば分かります。

1回目で、確率1/6のものが、更に2回目で、その確率が半分（1/2）になるので、確率は1/12になります。

ここで、大事な事は、１回目に１、２回目に偶数という、二つの事象が同時に成り立つ確率は、それぞれの確率を掛け合わせればよいということです。

これを、「同時確率」といいいますが、確率の乗法定理は、この同時確率を、求めるための公式です。

さて、それでは次の問題を見てみましょう。

条件付確率：同時確率との関係

さて、このデータをもとに、次に来たお客様について考えてみましょう。

ニガイコーヒーとアマイーの両方を注文する確率は、一体、どれくらいでしょうか？

これは、さっきのサイコロと同じで、同時確率を求めれば、いいですよね。

1. ニガイコーヒーを注文する
2. アマイーを注文する

この２つの事象が同時に成り立つ時の確率です。

答えは、簡単ですね。

全体の300のうち、両方を注文したお客様は20名なので、BとAの同時確率は、20/300　= 1/15 です。

さて、ここからが、おもしろくなります（笑）

B と A の同時確率

 この同時確率は、次の2つを使って表現することができます。

1. 全体の中で、ニガイコーヒーを注文したお客様の確率　
2. ニガイコーヒーを注文したお客様で、アマイーを注文したお客様の確率

• まず、１番からです。
  お客様全員は300名で、その内、ニガイーコーヒーを注文したお客様は100名です。
  

  従って、確率は

• 続いて、２番です。
  ニガイコーヒーを注文したお客様が100名、その中でアマイーも注文したお客様は20名です。
  

  従って、確率は

この1番と2番を使って、同時確率（ニガイコーヒーとアマイーの両方を注文する確率）を求めると・・・

この100は、ニガイコーヒーを注文したお客様の数です。
一般化する為に、次の様に置き換えます 。

• アマイー を注文　⇒　 事象A
• ニガイーコーヒーを注文 　⇒　事象 B

 ニガイコーヒーを注文する確率
B が起こる確立
 P（B）

ニガイコーヒーを注文したという条件で、アマイーを注文する確率
B が起きた後で A が起きる確率（条件付き確率）
P(A|B)

同時確率は、これらを、掛け算すればよいので、次の様になります。

 ここで、先ほどの、ベイズの定理を、もう一度見てみてください。

この同時確率の式が、そのままベイズの定理の「分子」の部分であることが分かると思います。

さて、それでは、いよいよベイズの定理の証明にいきましょう。

ベイズの定理の証明

証明には、B と A の同時確率は、A と B の同時確率 から導きますが、これらは共に答えは同じです。

念の為、さっきの、ニガイコーヒー（B）と、アマイー（A）の例で見てみましょう。

A と B の同時確率

1.   全体の中で、アマイーを注文したお客様の確率
2.   アマイーを注文したお客様で、ニガイコーヒーを注文したお客様の確率

• まず、１番からです。
  お客様全員は、300名で、その内、アマイーを注文したお客様は40名です。
  

  従って、確率は

• 続いて、２番です。
  アマイーを注文したお客様は40名で、その中でニガイコーヒーを注文したお客様は20名です。
  

  従って、確率は

この1番と、2番を使って、同時確率（ニガイコーヒーとアマイーの両方を注文する確率）を求めると・・・ もう、お分かりですよね。

 この値は、さっきのB と A の同時確率の答えと同じですよね。

証明最終段階

さて、BとAの同時確率 ＝ AとBの同時確率 という事がはっきりとしました。

改めて、この２つの、同時確率の条件付き確率から求める式を見てみましょう。

• BとAの同時確率 ＝ B の後でAが起きる確率  ×  Bが起きる確率
• AとBの同時確率 ＝ A の後でB が起きる確率  ×  Aが起きる確率
  

左辺同士がイコールなので、右辺同士もイコールですよね。
これを、次の様に一般式で書きます。

• P(A) : A が起きる確率
• P(B) : B が起きる確率（事前確率と呼ぶ）
• P(A|B) : B の後でAが起きる確率（条件付き確率・尤度と呼ぶ）
• P(B|A) : A の後でB が起きる確率（条件付き確率・事後確率と呼ぶ）

お疲れ様でした、ベイズの定理の完成です！

ベイズの定理といっても、確率の乗法定理を組み合わせて、変形させただけなんです。

乗法定理の、同時確率が条件付き確率をかけて求めるというところが、分かっていれば、何ということはないですよね。

まとめ

ベイズの定理の証明

    同時確率と条件付き確率  

BとAの同時確率 ＝
B の後で A が起きる確率（条件付き確率） ×  Bが起きる確率

BとAの同時確率 ＝ AとBの同時確率

つまり・・・
B の後で A が起きる確率（条件付き確率） × Bが起きる確率は、
A の後で B が起きる確率（条件付き確率）× Aが起きる確率と同じ。

これを一般式にして、両辺をP(A)で割る

あとがき

ベイズ確率って、最近のトレンドの様に使われているので、少なくとも20世紀後半に誕生したのかと思っていました。

このベイズさんって、1702年生まれなんで驚きました。

実際に、ベイズ確率が広まったのは、その後、ラプラスによって18世紀後半から19世紀にかけてのようですね。

時代が、こう目まぐるしく変化し、次から次へと新製品が出てきたり、新しいシステムが出来たりすると、故障率や、何か経営戦略的な数値を出すのも、従来の頻度に頼る確率・統計では対応できないですよね。

このベイズの定理を元とした、ベイズ推定やベイズ統計などが、本当に今はメジャーですよね。

ベイズの定理については、他にも投稿があるので、よろしければそちらもご覧下さい。
⇒ベイズ推定！例題でモンティ・ホール問題を解いてみた