補助損失

強化学習では、唯一の先生は報酬です。報酬はどれだけうまくいったかを教えてくれますが、何をすべきだったかは教えてくれず、しかも遅れて届くことがよくあります。多くの選択のうちどれが報酬をもたらしたのかを学ぶには、非常に長い時間がかかることがあります。

ある状況で正解がわかっているなら、それをネットワークに直接与えることができます。主な損失に追加の損失を加えるのです。

$$L = L_{\text{RL}} + w \, L_{\text{aux}}$$

$L_{\text{aux}}$ は、ラベルの予測誤差だったり、ネットワークの出力と既知の良い行動との距離だったりします。重み $w$ は、それをどれだけ重視するかを決めます。報酬とは違い、補助損失は勾配降下法を通じてネットワークの出力を正解へ直接押しやります。そのため、報酬だけでは数百万ステップかけても教えられないことを、数千ステップで教えられることがあります。

これは、正解が教師ネットワークから来る方策蒸留と深く関係しています。また、報酬にヒントを加えるだけの報酬シェーピングよりも強い形だといえます。

このプロジェクトでは

ブロックの記事では、対戦相手がスクリプトで動くので、どのパンチが来るか、どのブロックがそれに合うかを環境が知っています。正しいブロックボタンを押すことに密な報酬を与えても、約 32 M ステップで何も変わりませんでした。補助損失は効きました。パンチが見えている間、合うボタンの出力を +1 へ、それ以外を −1 へ引き寄せます（重み 2.0）。5 M ステップ以内に、ファイターは初めてパンチごとに違うブロックを上げるようになりました。それでも、ブロックが割に合うかどうかを決めるのは報酬です。パンチを止められないブロックは、やはりダメージを受けます。