Type I/II/III error

まえがき

先日参加したニューヨークのカンファレンスのキーノートで、あるデータサイエンティストが以下のように話し始めた。

「みんなご存知のとおり、検定には3つのエラーがあります。Type I error、Type II error、Type III errorです。」

あれ、Type III errorって何だっけな？となったので調べてみた。

TLDR

Type I error

• 偽陽性
• 帰無仮説を誤って棄却してしまうこと

Type II error

• 偽陰性
• 帰無仮説を誤って採用してしまうこと

Type III error

• 帰無仮説を誤った理由によって正しく棄却すること

易しい解説

実験によってえられた結果が統計的に正しいかどうかを検証する作業を「検定」と言います。たとえば、「セミのオスとメスの平均寿命は異なる」という主張を証明するために実験をしたとします。

　このとき「セミのオスとメスの平均寿命は異なる」のように実験の結果として主張したい内容を「対立仮説」と呼びます。これに対し、主張したい内容と反対の仮説「セミのオスとメスの平均寿命に差はない」を「帰無仮説」と呼びます。

検定では「帰無仮説」が正しいとした場合に実験結果が観測される確率を計算し、その確率が十分に低い場合は「帰無仮説」が間違っており「対立仮説」が統計的に正しいだろうという結論付けをします。逆に実験結果が観測される確率が十分に低くない場合は、「帰無仮説」を棄却できず「対立仮説」が正しいとは言えないという結論付けをします。

セミの例で各種エラーを説明してみます。
本当はどうなのか分かりませんが、仮に「セミのオスとメスの平均寿命に差はない」というのが真実だったとします。

本当はオス・メスの差はないにも関わらず、たまたま実験結果に差が現れて帰無仮説が棄却されたとします。このような状況を「Type I error」と呼びます。

次に仮に「セミのオスの方がメスより平均寿命が長い」というのが真実だったとして話を進めます。

たまたま実験結果ではオス・メスの寿命に大きな差が見られず、本来棄却されるべき帰無仮説をたまたま棄却できなかったとします。この状況を「Type II error」と呼びます。

また、たまたま実験結果ではメスの方がオスよりも平均寿命が長く、帰無仮説を棄却したとします。帰無仮説を正しく棄却はできましたが、平均寿命の大小関係が真実と逆になっています。このような状況を「Type III error」と呼びます。