信頼区間

何かを限られた回数だけ測ると、その結果には運が混じります。10回中7回決まった技は、次の10回では5回かもしれないし、9回かもしれません。信頼区間は、これを考慮した範囲を測定値のまわりにとります。95 %信頼区間は、実験を何度も繰り返したとき、同じ方法で作った区間の95 %が真の値を含むように作られています。

$n$ 回の試行から得た成功率 $\hat p = k / n$ なら、いちばん単純な区間は次のとおりです。

$$\hat p \pm 1.96 \sqrt{\frac{\hat p (1 - \hat p)}{n}}$$

区間の幅は $n$ の平方根でしか縮みません。幅を半分にするには試行が4倍必要です。

2つの成功率を比べるときは、その差のまわりに区間をとります。区間がゼロを含むなら、データは「差がまったくない」とも矛盾せず、その水準では比較は決着がつかなかったと言います。これは2つが等しいと示したこととは違います。ゼロを含む広い区間は、どちら向きの大きな差も含んでいるからです。

単純な式は端でうまくいかなくなります。6回中0回や6回中6回では幅ゼロの区間になり、まるで結果が確実であるかのようになってしまいます。差に対する Agresti–Caffo の区間は、計算の前に各グループへ成功1回と失敗1回を足すことでこれを直します。

$$\tilde p_i = \frac{k_i + 1}{n_i + 2}, \qquad (\tilde p_2 - \tilde p_1) \pm 1.96 \sqrt{\frac{\tilde p_1 (1 - \tilde p_1)}{n_1 + 2} + \frac{\tilde p_2 (1 - \tilde p_2)}{n_2 + 2}}$$

このプロジェクトでは

ネットワークの大きさの実験では、評価ゲートの各行について、大きいネットワークと512 × 2の対照との差のまわりに、Agresti–Caffoの95 %区間をとりました。1024 × 3の21個の区間は、どれもゼロを含んでいました。区間の幅はその行の試行回数しだいで、30回試すキックの行ではおよそ±23ポイント、6回しか試さない膝蹴りの行では±50を超えました（検出力を参照）。