チェックポイント

チェックポイントには、学習を中断したところからそのまま続けるのに必要なものがすべて保存されます。

• ネットワークの重み
• オプティマイザの状態（Adam なら、その移動平均）
• 観測の正規化の統計量
• 学習の進み具合: ステップ数、カリキュラムのレベル、乱数シード

方策（ポリシー）を使うだけなら重みを保存すれば十分ですが、学習をスムーズに再開するにはそれだけでは足りません。

こまめに保存する理由

• 中断。 スポットインスタンスは2分前の通知で取り上げられることがあります。最近のチェックポイントがなければ、最後の保存以降の作業は失われます。
• 崩壊。 学習がおかしくなったとき（学習の発散を参照）、以前のチェックポイントが動く代替になります。
• 比較。 さまざまな時点のチェックポイントを使えば、方策が上達していく様子をテストしたり撮影したりできます。

後の作業の出発点として選ばれたチェックポイントは、よく**凍結（frozen）**と呼ばれます。変更せずに保管され、新しいランはそのコピーから始まります。

このプロジェクトでは

学習は60秒ごとにチェックポイントを Amazon S3 に保存します。クラウドのマシンが回収されると、監視プログラムが新しいマシンでランを起動し直し、最新のチェックポイントから再開します。良い方策は frozen/ フォルダにコピーされます。たとえば、押されたときの立て直しの2つのアプローチがどちらも出発点にした、構えとリズムの方策がそうです。