匿名エンジニアの備忘録

匿名エンジニア。機械学習・ITのことを中心に

zero torelance問題:コイン投げて100回裏が出たので「表が出る確率pは0」と推定したが...

考えたい問題は「確率pの点推定はゼロだったけど、表が出る確率の信頼区間の上限はいくら位と考えるべきか?」です。

pの「信頼区間を求める」ことでこの問題に答えたいと思います。

信頼区間とは、統計的仮説検定で棄却されないパラメータ(ここではp)の範囲・集合のことです。

今、100回投げて表が1回も出なかったので、この事象が発生する確率 P(p, n=100) は、 P(p, n=100) = p0 (1-p)100 となる。

図からは分かりにくいが、この確率はp=0.3の時 大体0.000...3 (3.23447651e-16)となる。

つまり、p=0.3という帰無仮説を立てると、そのパラメータは有意水準1%では棄却されてしまうため、信頼区間には入らない! (p=0.3だったとしたら、「100回裏」を出せたのはかなりレアだったといえる...)

なお、「100回投げて表が1回も出なかった」データでの有意水準5%でのpの信頼区間は [0, 0.02857143)である。

現実世界でこの話がどう応用されたか?

このことは広津先生の本6章から学びました。

BSE狂牛病問題)が起きたとき、20月齢以下の牛だと感染牛であることはほぼないことはわかっていた。 日本と異なり年齢を把握できない米牛の月齢をどう判別するかが「牛輸入再開」にあたり論点になったといいます。

広津先生は統計学者としてこの論議に参加し、様々な基準を検討したのち最終的に「A40以下の成熟度であれば、21月齢以上の牛である確率をゼロに近くなること」を確認しました。 そして、「21月齢牛の成熟度がA40以上である確率の推定」を行い、推定値は0(つまり、一頭もA40以上になっていない!)であることを確認し、有意水準5%での信頼区間の上限が1%となるように300頭を検査することを要請しました。

(「A40以上」になる確率"p" が 本当はp=0.01だったとしたら(★)、「1頭もA40以上にならない確率」は(1- 0.01) = 0.99の300乗の0.045、つまり5%に留まる。300頭安全であることを確認することは(★)の仮定の元では非常に起こりにくい。起きたとしても5%の確率でしかないということになる。)

結果として、有意水準5%での信頼区間の上限が1%となるように300サンプルの牛が有害事象を含まないことを確認し、輸入を再開したのでした。 このような「nサンプル抽出し、有害事象を含むサンプルの数が0である時、合格とする方式」を「ゼロトラレンス」方式という。

他にも海外から輸入される植物に病害虫が付帯・寄生していないか検査する「植物検疫」などにも「ゼロトレランス基準」として使われている。 全量のcheckは難しいが、少なくとも300本以上の植物で陽性反応無しとなることを確認することで、信頼上限を(信頼率0.95の元で)0.01に抑えることが出来る(*)

統計学を活用することは人の命を守ることにもつながるエピソードとして、とても印象的です。

(*) 実際に、害虫発見率をpとして、「300件検査して害虫がいないことを確認する」(Aとする)確率は (1 - p)300 である.

仮にp  \ge 0.01 であるとすると、(1 - p)300  \le 0.0490 ≒ 0.05 である。 このことは、「p  \ge 0.01であるという仮定は、5%以下の確率でしか起こらない(同じAという試行を100回行って5回程度起こる)」ことを表している。

当然、これはそのまま、統計的仮説(片側)検定として捉えられる

参考文献