平均二乗誤差

予測 $\hat y_i$ と目標 $y_i$ に対して、平均二乗誤差は次のように定義されます。

$$\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} \left( \hat y_i - y_i \right)^2$$

二乗するので、どの差も正の値になり、大きな差は小さな差よりずっと重く数えられます。0.2外れると、0.1外れたときの4倍のコストになります。滑らかなので勾配降下法でたどることができ、予測についての勾配は単に $2(\hat y_i - y_i)/n$ です。

損失として使えば、予測を目標へ引き寄せます。測定値として使えば、2つのモデルの出力がどれだけ近いかを表します。

このプロジェクトでは

蒸留では、この両方の使い方をしています。生徒の損失には、48個のモーター出力について、生徒の平均行動と教師の平均行動の差の二乗が含まれます。トレーナーはさらに、各教師が担当する状態について、その教師に対する生徒の平均二乗誤差を行動ごとに記録します。最初の蒸留のランでは、39 M ステップまでに、ベースモデルに対する誤差は0.002のままで、ボディストレートの誤差は0.028から0.005に、膝蹴りの誤差は約0.055から0.008に下がりました（シャドウクローン（分身）を参照）。