検出力

「はっきりした差はない」という検定結果には、2つの意味がありえます。本当に差がないのか、検定が小さすぎて差が見えなかったのかです。検出力はこの2つを区別します。ある大きさの本当の差が存在するとき、検定が差ありと判定する確率のことです。ふつうは80 %を目標にします。

検出力は、試行回数が多いほど、また探している差が大きいほど高くなり、ノイズが大きいほど低くなります。 $p$ 付近の2つの成功率を比べるとき、95 %の水準で、差 $\delta$ を検出力80 %で見つけるのに各側で必要な試行回数はおよそ次のとおりです。

$$n \approx \frac{2\,(1.96 + 0.84)^2\, p (1 - p)}{\delta^2}$$

見つけたい差を半分にすると、必要な試行は4倍になります。

検出力の足りない検定が役に立たないわけではありません。大きな効果ならちゃんと捉えられます。ただ、その「差はない」は、差がないことの弱い証拠にしかなりません。その信頼区間は広く、その広さこそが正直なまとめです。

このプロジェクトでは

ファイターの評価ゲートには、6回から160回の試行の行があります。成功率70 %前後の行で10ポイントの本当の改善を見つけるには、この式ではネットワークごとに約330回の試行が必要になります。ネットワークの大きさの実験では、4つのネットワークのあいだにゲートでのはっきりした差は見つかりませんでした。その結果がほとんど何も語っていない理由のひとつがこれです。ゲートは何かを壊してしまった生徒を捕まえるためのもので、どれも近い生徒たちを順位づけするためのものではありません。