ファインチューニング

ゼロからの学習は、ランダムな重みから始まります。ファインチューニング（ウォームスタート）は、すでに何か役に立つことを学んだモデルの重みから始めて、さらに学習させます。

ファインチューニングする理由は次のとおりです。

• 速さ。 モデルはすでに役立つスキルを持っているので、必要な学習がずっと少なくて済みます。
• 積み上げ。 まず簡単なスキルを学習させ、その上に難しいスキルを教えます。立てるファイターは、立てないファイターよりも早く押されたときの立て直しを覚えます。
• 再開。 止まったランを、最後のチェックポイントから続けます。

リスク：忘却

学習済みのモデルは、良い重みの狭い領域にいます。新しいタスクでの最初の更新が大きすぎると、そこから押し出されて、知っていたことを忘れてしまいます。これが破滅的忘却です。強化学習ではさらに悪く、立ち方を忘れた方策は悪いデータを集め、その悪いデータから学んでしまいます。

標準的な防ぎ方は、学習率を小さくすることです。

再開もタダではない

同じタスクを再開するだけでも害になることがあります。オプティマイザーの累積統計（Adam の平均）がリセットされたり、観測の正規化のような学習の状態が違う形で復元されたりすることがあります。再スタート直後の最初の更新が異常に大きくなることがあるのです。

このプロジェクトでは

押されたときの立て直しの2つの方法は、どちらも固定した「構えとリズム」の方策からウォームスタートしました。のちに、成熟したサバイブ（生き残り）方策をデフォルトの学習率で再開・ウォームスタートすると、約20回の更新で壊れてしまいました。$5 \times 10^{-5}$ に下げると解決しました。

一方、シンプルな体はゼロから学習させました。構えの親モデルはなく、カリキュラムのレベル0から始めています。約40分で 860 N の押しに耐えるところまで到達しました。

ジャブの各実験は前の実験の最良のネットワークから続けているので、ジャブはウォームスタートの連鎖です。たとえば、これまでで最も正確なジャブ（85%ヒット）は jabdrive1 から生まれ、それは jabmidfar1 から、それは jabreach2 から、それは jabposture1 からウォームスタートしたものです。

パンチの記事ではさらに先に進みます。4つの新しいパンチは最良のジャブからウォームスタートしましたが、何の助けもないとジャブは 2.7 M ステップ以内に忘れられてしまいました。ジャブの方策を固定したコピーを教師にすると（方策蒸留）、新しいパンチを学ぶ間もジャブが保たれました。