統計学 – 全確率の定理、ベイズの定理

概要

全確率の定理、ベイズの定理について解説します。

全確率の定理

定義 – 分割

事象 A1,A2,A_1, A_2, \cdots について、AiAj=,(ij;i,j=1,2,)A_i \cap A_j = \emptyset, (i \ne j; i, j = 1, 2, \cdots) かつ i=1Ai=Ω\bigcup_{i = 1}^\infty A_i = \Omega を満たすとき、A1,A2,A_1, A_2, \cdots を標本空間 Ω\Omega の分割という。

定理 – 全確率の定理 (law of total probability)

事象 A1,A2,A_1, A_2, \cdotsΩ\Omega の分割とし、P(Ai)>0,(i=1,2,)P(A_i) > 0, (i = 1, 2, \cdots) とする。 このとき、任意の事象 BB に対して、次が成り立つ。 P(B)=i=0P(Ai)P(BAi) P(B) = \sum_{i = 0}^\infty P(A_i)P(B|A_i)

証明:

B=BΩ=B(i=1Ai)=i=1(BAi)分配則 \begin{aligned} B &= B \cap \Omega \\ &= B \cap \left( \bigcup_{i = 1}^\infty A_i \right) \\ &= \bigcup_{i = 1}^\infty (B \cap A_i) \quad \because 分配則 \end{aligned}

(BAi)(BAj)=,(ij;i,j=1,2,)(B \cap A_i) \cap (B \cap A_j) = \emptyset, (i \ne j; i, j = 1, 2, \cdots) であるから、

P(B)=P(i=1(BAi))=i=1P(BAi)可算加法性=i=1P(Ai)P(BAi)乗法定理 \begin{aligned} P(B) &= P \left(\bigcup_{i = 1}^\infty (B \cap A_i) \right) \\ &= \sum_{i = 1}^\infty P(B \cap A_i) \quad \because 可算加法性 \\ &= \sum_{i = 1}^\infty P(A_i)P(B|A_i) \quad \because 乗法定理 \end{aligned}

系 全確率の定理 (有限個の場合)

事象 A1,A2,,AnA_1, A_2, \cdots, A_nΩ\Omega の分割とし、P(Ai)>0,(i=1,2,,n)P(A_i) > 0, (i = 1, 2, \cdots, n) とする。 このとき、任意の事象 BB に対して、次が成り立つ。 P(B)=i=1nP(Ai)P(BAi) P(B) = \sum_{i = 1}^n P(A_i)P(B|A_i)

例1

ある工場では、3つの機械 A, B, C で製品を作っている。 機械 A で作った製品の中には10%、機械 B の製品の中には20%、機械 C の製品の中には5%の確率で不良品が発生するという。 今、この工場では50%の製品を機械Aで、30%の製品を機械Bで、20%の製品を機械Cで作っているとする。 できあがった製品を1つ取り出したとき、それが不良品である確率はいくらか。

解答: Ω\Omega を「工場で作られた製品をとる」という試行の標本空間とする。 事象を次のように定める。

A={ωΩ;ωは機械Aで作られた}B={ωΩ;ωは機械Bで作られた}C={ωΩ;ωは機械Cで作られた}D={ωΩ;ωは不良品である} \begin{aligned} A &= \{ \omega \in \Omega; \omega は機械 A で作られた \} \\ B &= \{ \omega \in \Omega; \omega は機械 B で作られた \} \\ C &= \{ \omega \in \Omega; \omega は機械 C で作られた \} \\ D &= \{ \omega \in \Omega; \omega は不良品である \} \end{aligned}

問題設定より、

P(A)=0.5,P(B)=0.3,P(C)=0.2P(A) = 0.5, P(B) = 0.3, P(C) = 0.2P(DA)=0.1,P(DB)=0.2,P(DC)=0.05P(D|A) = 0.1, P(D|B) = 0.2, P(D|C) = 0.05 である。

A,B,CA, B, CΩ\Omega の分割であるから、全確率の定理より、

P(D)=P(A)P(DA)+P(B)P(DB)+P(C)P(DC)=0.5×0.1+0.3×0.2+0.2×0.05=0.12 \begin{aligned} P(D) &= P(A)P(D|A) + P(B)P(D|B) + P(C)P(D|C) \\ &= 0.5 \times 0.1 + 0.3 \times 0.2 + 0.2 \times 0.05 = 0.12 \end{aligned}

例2

A1A_1 には黒玉1個、赤玉2個が入っている。箱 A2A_2 には黒玉1個、赤玉3個が入っている。箱をランダムに選んで、玉を1個取り出して確認する試行を考える。このとき、取り出した玉が赤玉である確認を求めよ。

解答)

Ω\Omega を「箱を選んで、その箱から玉を1つ取り出す」という試行の標本空間とする。 A1A_1 を箱 A1A_1 を選ぶ事象、A2A_2 を箱 A2A_2 を選ぶ事象とする. RR を取り出した玉が赤である事象とする。

箱はランダムに選ぶので、P(A1)=12,P(A2)=12P(A_1) = \frac{1}{2}, P(A_2) = \frac{1}{2}

また、箱に入っている玉の数より (RA1)=23,P(RA2)=34(R|A_1) = \frac{2}{3}, P(R|A_2) = \frac{3}{4} である。

A1,A2A_1, A_2Ω\Omega の分割であるから、全確率の定理より、

P(R)=P(A1)P(RA1)+P(A2)P(RA2)=12×23+12×34=1724 \begin{aligned} P(R) &= P(A_1)P(R|A_1) + P(A_2)P(R|A_2) \\ &= \frac{1}{2} \times \frac{2}{3} + \frac{1}{2} \times \frac{3}{4} = \frac{17}{24} \end{aligned}

ベイズの定理 (Bayes theorem)

定理 – ベイズの定理

事象 A1,A2,A_1, A_2, \cdotsΩ\Omega の分割とし、P(Ai)>0,(i=1,2,)P(A_i) > 0, (i = 1, 2, \cdots) とする。 このとき、P(B)>0P(B) > 0 である事象 BB に対して、次が成り立つ。 P(AiB)=P(Ai)P(BAi)j=1P(Aj)P(BAj)=P(Ai)P(BAi)P(B),(i=1,2,) \begin{aligned} P(A_i|B) &= \frac{P(A_i)P(B|A_i)}{\sum_{j = 1}^\infty P(A_j)P(B|A_j)} \\ &= \frac{P(A_i)P(B|A_i)}{P(B)}, (i = 1, 2, \cdots) \end{aligned}

証明:

P(Ai)>0,(i=1,2,)P(A_i) > 0, (i = 1, 2, \cdots) であるから、乗法定理より、

P(AiB)=P(Ai)P(BAi) P(A_i \cap B) = P(A_i)P(B|A_i)

全確率の定理より、

P(B)=i=1P(Ai)P(BAi) P(B) = \sum_{i = 1}^\infty P(A_i) P(B|A_i)

P(B)>0P(B) > 0 であるから、条件付き確率の定義より、

P(AiB)=P(AiB)P(B)=P(Ai)P(BAi)j=1P(Aj)P(BAj) P(A_i|B) = \frac{P(A_i \cap B)}{P(B)} = \frac{P(A_i)P(B|A_i)}{\sum_{j = 1}^\infty P(A_j)P(B|A_j)}

系 – ベイズの定理 (有限個の場合)

事象 A1,A2,,AnA_1, A_2, \cdots, A_nΩ\Omega の分割とし、P(Ai)>0,(i=1,2,,n)P(A_i) > 0, (i = 1, 2, \cdots, n) とする。
このとき、P(B)>0P(B) > 0 である事象 BB に対して、次が成り立つ。
P(AiB)=P(Ai)P(BAi)j=1P(Aj)P(BAj)=P(Ai)P(BAi)P(B),(i=1,2,,n) \begin{aligned} P(A_i|B) &= \frac{P(A_i)P(B|A_i)}{\sum_{j = 1}^\infty P(A_j)P(B|A_j)} \\ &= \frac{P(A_i)P(B|A_i)}{P(B)}, (i = 1, 2, \cdots, n) \end{aligned}

例 – 3囚人問題

3人の囚人 A、B、C は保釈になるチャンスは同じであるが、3人のうち1人だけが今回保釈になるという。 看守は誰が保釈になるか知っているが、保釈される本人には言えない。 今、囚人 A が看守に他の2人のうちどちらかが保釈されないかを尋ねたところ、B は保釈されないと答えた。 この看守は正直者だとすると、A の保釈される確率は 12\frac{1}{2} になるかどうか。

解答: 「3人のうち一人が保釈されるとき、A が看守に他の二人のどちらが保釈されないかを聞く」という試行を考える。 A が保釈される事象を AA、Bが保釈される事象を BB、Cが保釈される事象を CC、看守がBは保釈されないと答える事象を KK とする。 「3人の囚人 A、B、C は保釈になるチャンスは同じ」であるから、

P(A)=P(B)=P(C)=13 P(A) = P(B) = P(C) = \frac{1}{3}

A が保釈されるとき、B と C は両方保釈されないが、看守が B は保釈されないと答える確率は 12\frac{1}{2} とすると、

P(KA)=13×12=16 P(K \cap A) = \frac{1}{3} \times \frac{1}{2} = \frac{1}{6}

B が保釈されるとき、B が保釈されると答えることは起こり得ないので、

P(KB)=0 P(K \cap B) = 0

C が保釈されるとき、B が保釈されないと必ず答えるので、

P(KC)=13×1=13 P(K \cap C) = \frac{1}{3} \times 1 = \frac{1}{3}

よって、条件付き確率の定義より、

P(KA)=P(AK)P(A)=12P(KB)=P(BK)P(B)=0P(KC)=P(CK)P(C)=1 \begin{aligned} P(K|A) &= \frac{P(A \cap K)}{P(A)} = \frac{1}{2} \\ P(K|B) &= \frac{P(B \cap K)}{P(B)} = 0 \\ P(K|C) &= \frac{P(C \cap K)}{P(C)} = 1 \end{aligned}

ベイズの定理より、

P(AK)=P(A)P(KA)P(A)P(KA)+P(B)P(KB)+P(C)P(KC)=13×1213×12+13×0+13×1=13 \begin{aligned} P(A|K) &= \frac{P(A)P(K|A)}{P(A)P(K|A) + P(B)P(K|B) + P(C)P(K|C)} \\ &= \frac{\frac{1}{3} \times \frac{1}{2}}{\frac{1}{3} \times \frac{1}{2} + \frac{1}{3} \times 0 + \frac{1}{3} \times 1} \\ &= \frac{1}{3} \end{aligned}

よって、A の保釈される確率は最初から変化していない。

定義 – 事前確率、事後確率

事象 BB が与えられたとき、事象 AiA_i が起こる条件付き確率 P(AiB)P(A_i|B)AiA_i事後確率 (posterior probability) という。また、P(BAi)P(B|A_i)事前確率 (prior probability) という。

コメント

コメントする