正則化

モデルは、学習の信号にさまざまな形で合わせられることがよくあります。正則化は、学習を自分が好む形のほうへ傾けます。たいていは損失にペナルティを足すことで行います。

$$L_{\text{total}} = L_{\text{task}} + \lambda \, R(\theta)$$

$\lambda$ は、その好みをタスクと比べてどれだけ重視するかを決めます。

よくある種類

• 重み減衰（L2）。 $R = \lVert\theta\rVert^2$ です。小さな重みを好みます。小さな重みは滑らかな関数になりやすく、汎化しやすくなります。
• ドロップアウト。 学習中にユニットをランダムにオフにして、ネットワークがどれか1つに頼れないようにします。
• エントロピーボーナス。 強化学習で、方策（ポリシー）が少しランダムなままでいることに報酬を与え、探索を続けさせます。
• 滑らかさのペナルティ。 似た入力の間や、ステップの間で出力が急に変わることにペナルティを与えます。CAPS正則化はその1つです。

制御では

モーターのコントローラーにとって最も役立つ好みは、滑らかさです。方策は前後に素早く補正を繰り返すことでもポーズを保てます。追従のスコアは良くても、見た目は震えているようになります（ジッターを参照）。滑らかな行動に向けて正則化すると、それが消えます。

このプロジェクトでは

CAPS（時間方向と空間方向の滑らかさ）と、行動の平均を $[-1, 1]$ の内側に保つペナルティで正則化しています（行動クリッピングを参照）。