符号検定

2つの選択肢を、たくさんの別々の指標で一度に比べることがあります。どの指標も単独ではノイズが大きすぎて何も決められません。符号検定はもっと単純な問いを立てます。全体を通して、一方がコイン投げで期待されるより多く勝っているか、という問いです。

数えるのは各比較の向き、つまり勝ちか負けかだけで、引き分けは除きます。2つの選択肢が本当に同等なら、各比較は公平なコイン投げになり、 $n$ 回中の勝ち数 $k$ は二項分布に従います。検定の p値 は、選択肢が同等だとしたとき、観測したもの以上に偏った結果が出る確率です。

$$p = 2 \sum_{i=0}^{\min(k,\,n-k)} \binom{n}{i} \left(\tfrac12\right)^{n}$$

p値が小さければ（たとえば0.05未満）、一方が本当に優れている証拠になります。大きければ、その偏りは偶然でいつでも起きる程度のものだということです。

この検定はそれぞれの勝ちの大きさを無視するので、大ざっぱです。また比較どうしが独立だと仮定していますが、指標が共通の原因を持つ場合、これはおおよそしか成り立ちません。

このプロジェクトでは

ネットワークの大きさの実験では、1024 × 3は512 × 2の対照に比べて、評価ゲートの8行で上回り、10行で下回り、3行で同じでした。符号検定ではp = 0.82で、どちらの向きの証拠にもなりません。1024 × 2（上回り9、下回り10）と512 × 3（8と8）ではp = 1.0です。