概要
全確率の定理、ベイズの定理について解説します。
全確率の定理
定義 – 分割
事象 A 1 , A 2 , ⋯ A_1, A_2, \cdots A 1 , A 2 , ⋯ について、A i ∩ A j = ∅ , ( i ≠ j ; i , j = 1 , 2 , ⋯ ) A_i \cap A_j = \emptyset, (i \ne j; i, j = 1, 2, \cdots) A i ∩ A j = ∅ , ( i = j ; i , j = 1 , 2 , ⋯ ) かつ ⋃ i = 1 ∞ A i = Ω \bigcup_{i = 1}^\infty A_i = \Omega ⋃ i = 1 ∞ A i = Ω を満たすとき、A 1 , A 2 , ⋯ A_1, A_2, \cdots A 1 , A 2 , ⋯ を標本空間 Ω \Omega Ω の分割という。
定理 – 全確率の定理 (law of total probability)
事象
A 1 , A 2 , ⋯ A_1, A_2, \cdots A 1 , A 2 , ⋯ を
Ω \Omega Ω の分割とし、
P ( A i ) > 0 , ( i = 1 , 2 , ⋯ ) P(A_i) > 0, (i = 1, 2, \cdots) P ( A i ) > 0 , ( i = 1 , 2 , ⋯ ) とする。
このとき、任意の事象
B B B に対して、次が成り立つ。
P ( B ) = ∑ i = 0 ∞ P ( A i ) P ( B ∣ A i )
P(B) = \sum_{i = 0}^\infty P(A_i)P(B|A_i)
P ( B ) = i = 0 ∑ ∞ P ( A i ) P ( B ∣ A i )
証明:
B = B ∩ Ω = B ∩ ( ⋃ i = 1 ∞ A i ) = ⋃ i = 1 ∞ ( B ∩ A i ) ∵ 分配則
\begin{aligned}
B
&= B \cap \Omega \\
&= B \cap \left( \bigcup_{i = 1}^\infty A_i \right) \\
&= \bigcup_{i = 1}^\infty (B \cap A_i) \quad \because 分配則
\end{aligned}
B = B ∩ Ω = B ∩ ( i = 1 ⋃ ∞ A i ) = i = 1 ⋃ ∞ ( B ∩ A i ) ∵ 分配則 ( B ∩ A i ) ∩ ( B ∩ A j ) = ∅ , ( i ≠ j ; i , j = 1 , 2 , ⋯ ) (B \cap A_i) \cap (B \cap A_j) = \emptyset, (i \ne j; i, j = 1, 2, \cdots) ( B ∩ A i ) ∩ ( B ∩ A j ) = ∅ , ( i = j ; i , j = 1 , 2 , ⋯ ) であるから、
P ( B ) = P ( ⋃ i = 1 ∞ ( B ∩ A i ) ) = ∑ i = 1 ∞ P ( B ∩ A i ) ∵ 可算加法性 = ∑ i = 1 ∞ P ( A i ) P ( B ∣ A i ) ∵ 乗法定理
\begin{aligned}
P(B)
&= P \left(\bigcup_{i = 1}^\infty (B \cap A_i) \right) \\
&= \sum_{i = 1}^\infty P(B \cap A_i) \quad \because 可算加法性 \\
&= \sum_{i = 1}^\infty P(A_i)P(B|A_i) \quad \because 乗法定理
\end{aligned}
P ( B ) = P ( i = 1 ⋃ ∞ ( B ∩ A i ) ) = i = 1 ∑ ∞ P ( B ∩ A i ) ∵ 可算加法性 = i = 1 ∑ ∞ P ( A i ) P ( B ∣ A i ) ∵ 乗法定理
系 全確率の定理 (有限個の場合)
事象
A 1 , A 2 , ⋯ , A n A_1, A_2, \cdots, A_n A 1 , A 2 , ⋯ , A n を
Ω \Omega Ω の分割とし、
P ( A i ) > 0 , ( i = 1 , 2 , ⋯ , n ) P(A_i) > 0, (i = 1, 2, \cdots, n) P ( A i ) > 0 , ( i = 1 , 2 , ⋯ , n ) とする。
このとき、任意の事象
B B B に対して、次が成り立つ。
P ( B ) = ∑ i = 1 n P ( A i ) P ( B ∣ A i )
P(B) = \sum_{i = 1}^n P(A_i)P(B|A_i)
P ( B ) = i = 1 ∑ n P ( A i ) P ( B ∣ A i )
例1
ある工場では、3つの機械 A, B, C で製品を作っている。
機械 A で作った製品の中には10%、機械 B の製品の中には20%、機械 C の製品の中には5%の確率で不良品が発生するという。
今、この工場では50%の製品を機械Aで、30%の製品を機械Bで、20%の製品を機械Cで作っているとする。
できあがった製品を1つ取り出したとき、それが不良品である確率はいくらか。
解答:
Ω \Omega Ω を「工場で作られた製品をとる」という試行の標本空間とする。
事象を次のように定める。
A = { ω ∈ Ω ; ω は機械 A で作られた } B = { ω ∈ Ω ; ω は機械 B で作られた } C = { ω ∈ Ω ; ω は機械 C で作られた } D = { ω ∈ Ω ; ω は不良品である }
\begin{aligned}
A &= \{ \omega \in \Omega; \omega は機械 A で作られた \} \\
B &= \{ \omega \in \Omega; \omega は機械 B で作られた \} \\
C &= \{ \omega \in \Omega; \omega は機械 C で作られた \} \\
D &= \{ \omega \in \Omega; \omega は不良品である \}
\end{aligned}
A B C D = { ω ∈ Ω ; ω は機械 A で作られた } = { ω ∈ Ω ; ω は機械 B で作られた } = { ω ∈ Ω ; ω は機械 C で作られた } = { ω ∈ Ω ; ω は不良品である } 問題設定より、
P ( A ) = 0.5 , P ( B ) = 0.3 , P ( C ) = 0.2 P(A) = 0.5, P(B) = 0.3, P(C) = 0.2 P ( A ) = 0.5 , P ( B ) = 0.3 , P ( C ) = 0.2 、P ( D ∣ A ) = 0.1 , P ( D ∣ B ) = 0.2 , P ( D ∣ C ) = 0.05 P(D|A) = 0.1, P(D|B) = 0.2, P(D|C) = 0.05 P ( D ∣ A ) = 0.1 , P ( D ∣ B ) = 0.2 , P ( D ∣ C ) = 0.05 である。
A , B , C A, B, C A , B , C は Ω \Omega Ω の分割であるから、全確率の定理より、
P ( D ) = P ( A ) P ( D ∣ A ) + P ( B ) P ( D ∣ B ) + P ( C ) P ( D ∣ C ) = 0.5 × 0.1 + 0.3 × 0.2 + 0.2 × 0.05 = 0.12
\begin{aligned}
P(D)
&= P(A)P(D|A) + P(B)P(D|B) + P(C)P(D|C) \\
&= 0.5 \times 0.1 + 0.3 \times 0.2 + 0.2 \times 0.05 = 0.12
\end{aligned}
P ( D ) = P ( A ) P ( D ∣ A ) + P ( B ) P ( D ∣ B ) + P ( C ) P ( D ∣ C ) = 0.5 × 0.1 + 0.3 × 0.2 + 0.2 × 0.05 = 0.12
例2
箱 A 1 A_1 A 1 には黒玉1個、赤玉2個が入っている。箱 A 2 A_2 A 2 には黒玉1個、赤玉3個が入っている。箱をランダムに選んで、玉を1個取り出して確認する試行を考える。このとき、取り出した玉が赤玉である確認を求めよ。
解答)
Ω \Omega Ω を「箱を選んで、その箱から玉を1つ取り出す」という試行の標本空間とする。
A 1 A_1 A 1 を箱 A 1 A_1 A 1 を選ぶ事象、A 2 A_2 A 2 を箱 A 2 A_2 A 2 を選ぶ事象とする.
R R R を取り出した玉が赤である事象とする。
箱はランダムに選ぶので、P ( A 1 ) = 1 2 , P ( A 2 ) = 1 2 P(A_1) = \frac{1}{2}, P(A_2) = \frac{1}{2} P ( A 1 ) = 2 1 , P ( A 2 ) = 2 1
また、箱に入っている玉の数より ( R ∣ A 1 ) = 2 3 , P ( R ∣ A 2 ) = 3 4 (R|A_1) = \frac{2}{3}, P(R|A_2) = \frac{3}{4} ( R ∣ A 1 ) = 3 2 , P ( R ∣ A 2 ) = 4 3 である。
A 1 , A 2 A_1, A_2 A 1 , A 2 は Ω \Omega Ω の分割であるから、全確率の定理より、
P ( R ) = P ( A 1 ) P ( R ∣ A 1 ) + P ( A 2 ) P ( R ∣ A 2 ) = 1 2 × 2 3 + 1 2 × 3 4 = 17 24
\begin{aligned}
P(R)
&= P(A_1)P(R|A_1) + P(A_2)P(R|A_2) \\
&= \frac{1}{2} \times \frac{2}{3} + \frac{1}{2} \times \frac{3}{4} = \frac{17}{24}
\end{aligned}
P ( R ) = P ( A 1 ) P ( R ∣ A 1 ) + P ( A 2 ) P ( R ∣ A 2 ) = 2 1 × 3 2 + 2 1 × 4 3 = 24 17
ベイズの定理 (Bayes theorem)
定理 – ベイズの定理
事象
A 1 , A 2 , ⋯ A_1, A_2, \cdots A 1 , A 2 , ⋯ を
Ω \Omega Ω の分割とし、
P ( A i ) > 0 , ( i = 1 , 2 , ⋯ ) P(A_i) > 0, (i = 1, 2, \cdots) P ( A i ) > 0 , ( i = 1 , 2 , ⋯ ) とする。
このとき、
P ( B ) > 0 P(B) > 0 P ( B ) > 0 である事象
B B B に対して、次が成り立つ。
P ( A i ∣ B ) = P ( A i ) P ( B ∣ A i ) ∑ j = 1 ∞ P ( A j ) P ( B ∣ A j ) = P ( A i ) P ( B ∣ A i ) P ( B ) , ( i = 1 , 2 , ⋯ )
\begin{aligned}
P(A_i|B)
&= \frac{P(A_i)P(B|A_i)}{\sum_{j = 1}^\infty P(A_j)P(B|A_j)} \\
&= \frac{P(A_i)P(B|A_i)}{P(B)}, (i = 1, 2, \cdots)
\end{aligned}
P ( A i ∣ B ) = ∑ j = 1 ∞ P ( A j ) P ( B ∣ A j ) P ( A i ) P ( B ∣ A i ) = P ( B ) P ( A i ) P ( B ∣ A i ) , ( i = 1 , 2 , ⋯ )
証明:
P ( A i ) > 0 , ( i = 1 , 2 , ⋯ ) P(A_i) > 0, (i = 1, 2, \cdots) P ( A i ) > 0 , ( i = 1 , 2 , ⋯ ) であるから、乗法定理より、
P ( A i ∩ B ) = P ( A i ) P ( B ∣ A i )
P(A_i \cap B) = P(A_i)P(B|A_i)
P ( A i ∩ B ) = P ( A i ) P ( B ∣ A i ) 全確率の定理より、
P ( B ) = ∑ i = 1 ∞ P ( A i ) P ( B ∣ A i )
P(B) = \sum_{i = 1}^\infty P(A_i) P(B|A_i)
P ( B ) = i = 1 ∑ ∞ P ( A i ) P ( B ∣ A i ) P ( B ) > 0 P(B) > 0 P ( B ) > 0 であるから、条件付き確率の定義より、
P ( A i ∣ B ) = P ( A i ∩ B ) P ( B ) = P ( A i ) P ( B ∣ A i ) ∑ j = 1 ∞ P ( A j ) P ( B ∣ A j )
P(A_i|B) = \frac{P(A_i \cap B)}{P(B)} = \frac{P(A_i)P(B|A_i)}{\sum_{j = 1}^\infty P(A_j)P(B|A_j)}
P ( A i ∣ B ) = P ( B ) P ( A i ∩ B ) = ∑ j = 1 ∞ P ( A j ) P ( B ∣ A j ) P ( A i ) P ( B ∣ A i )
系 – ベイズの定理 (有限個の場合)
事象
A 1 , A 2 , ⋯ , A n A_1, A_2, \cdots, A_n A 1 , A 2 , ⋯ , A n を
Ω \Omega Ω の分割とし、
P ( A i ) > 0 , ( i = 1 , 2 , ⋯ , n ) P(A_i) > 0, (i = 1, 2, \cdots, n) P ( A i ) > 0 , ( i = 1 , 2 , ⋯ , n ) とする。
このとき、
P ( B ) > 0 P(B) > 0 P ( B ) > 0 である事象
B B B に対して、次が成り立つ。
P ( A i ∣ B ) = P ( A i ) P ( B ∣ A i ) ∑ j = 1 ∞ P ( A j ) P ( B ∣ A j ) = P ( A i ) P ( B ∣ A i ) P ( B ) , ( i = 1 , 2 , ⋯ , n )
\begin{aligned}
P(A_i|B)
&= \frac{P(A_i)P(B|A_i)}{\sum_{j = 1}^\infty P(A_j)P(B|A_j)} \\
&= \frac{P(A_i)P(B|A_i)}{P(B)}, (i = 1, 2, \cdots, n)
\end{aligned}
P ( A i ∣ B ) = ∑ j = 1 ∞ P ( A j ) P ( B ∣ A j ) P ( A i ) P ( B ∣ A i ) = P ( B ) P ( A i ) P ( B ∣ A i ) , ( i = 1 , 2 , ⋯ , n )
例 – 3囚人問題
3人の囚人 A、B、C は保釈になるチャンスは同じであるが、3人のうち1人だけが今回保釈になるという。
看守は誰が保釈になるか知っているが、保釈される本人には言えない。
今、囚人 A が看守に他の2人のうちどちらかが保釈されないかを尋ねたところ、B は保釈されないと答えた。
この看守は正直者だとすると、A の保釈される確率は 1 2 \frac{1}{2} 2 1 になるかどうか。
解答:
「3人のうち一人が保釈されるとき、A が看守に他の二人のどちらが保釈されないかを聞く」という試行を考える。
A が保釈される事象を A A A 、Bが保釈される事象を B B B 、Cが保釈される事象を C C C 、看守がBは保釈されないと答える事象を K K K とする。
「3人の囚人 A、B、C は保釈になるチャンスは同じ」であるから、
P ( A ) = P ( B ) = P ( C ) = 1 3
P(A) = P(B) = P(C) = \frac{1}{3}
P ( A ) = P ( B ) = P ( C ) = 3 1 A が保釈されるとき、B と C は両方保釈されないが、看守が B は保釈されないと答える確率は 1 2 \frac{1}{2} 2 1 とすると、
P ( K ∩ A ) = 1 3 × 1 2 = 1 6
P(K \cap A) = \frac{1}{3} \times \frac{1}{2} = \frac{1}{6}
P ( K ∩ A ) = 3 1 × 2 1 = 6 1 B が保釈されるとき、B が保釈されると答えることは起こり得ないので、
P ( K ∩ B ) = 0
P(K \cap B) = 0
P ( K ∩ B ) = 0 C が保釈されるとき、B が保釈されないと必ず答えるので、
P ( K ∩ C ) = 1 3 × 1 = 1 3
P(K \cap C) = \frac{1}{3} \times 1 = \frac{1}{3}
P ( K ∩ C ) = 3 1 × 1 = 3 1 よって、条件付き確率の定義より、
P ( K ∣ A ) = P ( A ∩ K ) P ( A ) = 1 2 P ( K ∣ B ) = P ( B ∩ K ) P ( B ) = 0 P ( K ∣ C ) = P ( C ∩ K ) P ( C ) = 1
\begin{aligned}
P(K|A) &= \frac{P(A \cap K)}{P(A)} = \frac{1}{2} \\
P(K|B) &= \frac{P(B \cap K)}{P(B)} = 0 \\
P(K|C) &= \frac{P(C \cap K)}{P(C)} = 1
\end{aligned}
P ( K ∣ A ) P ( K ∣ B ) P ( K ∣ C ) = P ( A ) P ( A ∩ K ) = 2 1 = P ( B ) P ( B ∩ K ) = 0 = P ( C ) P ( C ∩ K ) = 1 ベイズの定理より、
P ( A ∣ K ) = P ( A ) P ( K ∣ A ) P ( A ) P ( K ∣ A ) + P ( B ) P ( K ∣ B ) + P ( C ) P ( K ∣ C ) = 1 3 × 1 2 1 3 × 1 2 + 1 3 × 0 + 1 3 × 1 = 1 3
\begin{aligned}
P(A|K)
&= \frac{P(A)P(K|A)}{P(A)P(K|A) + P(B)P(K|B) + P(C)P(K|C)} \\
&= \frac{\frac{1}{3} \times \frac{1}{2}}{\frac{1}{3} \times \frac{1}{2} + \frac{1}{3} \times 0 + \frac{1}{3} \times 1} \\
&= \frac{1}{3}
\end{aligned}
P ( A ∣ K ) = P ( A ) P ( K ∣ A ) + P ( B ) P ( K ∣ B ) + P ( C ) P ( K ∣ C ) P ( A ) P ( K ∣ A ) = 3 1 × 2 1 + 3 1 × 0 + 3 1 × 1 3 1 × 2 1 = 3 1 よって、A の保釈される確率は最初から変化していない。
定義 – 事前確率、事後確率
事象 B B B が与えられたとき、事象 A i A_i A i が起こる条件付き確率 P ( A i ∣ B ) P(A_i|B) P ( A i ∣ B ) を A i A_i A i の事後確率 (posterior probability) という。また、P ( B ∣ A i ) P(B|A_i) P ( B ∣ A i ) を事前確率 (prior probability) という。
コメント