破滅的忘却

ニューラルネットワークは、知っていることのすべてを1組の共有された重みに蓄えています。新しいタスクで学習すると、その重みは新しいタスクに合うように動き、古いタスクを守るものは何もありません。新しいデータが古いスキルを使わないなら、そのスキルはすぐに薄れていき、数百回の更新で消えてしまうこともあります。1989年にMcCloskeyとCohenが名付けました。

強化学習では、これが悪循環になります。スキルを一部忘れた方策はそのスキルが下手になるので、集めるデータにはそのスキルがうまくいかない様子が映り、学習はそこから学んでしまいます。

よく使われる対策：

• 小さな学習率。1回の更新で重みが動く量を小さくします。
• 古いタスクの練習を続ける。新しい学習に古いタスクを混ぜます。
• 古いモデルにつなぎ留める。古い振る舞いを残したいところで、凍結したコピーから離れていくことにペナルティをかけたり（方策蒸留）、古いタスクにとって最も重要だった重みが動くことにペナルティをかけたりします。

このプロジェクトでは

ジャブの方策に4種類のパンチを加えたとき、学習率を小さくし、ボタンの押下の20%は引き続きジャブにしていたにもかかわらず、ジャブは失われました。2.7 M ステップのうちに、腕を伸ばしきって当たる割合は28%から2〜7%に落ち、速さは2.7 m/sから1.3 m/sに下がりました。ファイターは、パンチを遅くすることでバランスを保っていたのです。ジャブの方策の凍結コピーを教師にすることで、これは止まりました。ただ、このつなぎ留めは望まないものまで残しました。ある以前のランで覚えた頭の傾きが、首と頭を教師から解放するまで、その後のすべてのランに受け継がれたのです。