オンポリシー

学習に使うデータが現在の方策（ポリシー）によって生成されるとき、その学習法はオンポリシーです。PPO はオンポリシーです。現在のネットワークでロールアウトをひとまとまり実行し、それで数回更新し、そのデータを捨ててまた実行します。オフポリシーの手法は古いデータや別の方策のデータを再利用できます。効率は良いのですが、安定させるのは難しくなります。

この区別は模倣でも重要です。専門家を専門家自身の記録から真似るのはオフポリシーです（行動クローニング）。真似る側は専門家の状態しか見ないので、小さなミスを一度すると、専門家が一度も行ったことのない場所にいることになります（共変量シフト）。DAgger（dataset aggregation、データセット集約）は、学習者に行動させ、学習者の状態で専門家ならどうしたかを尋ねることでこれを解決します。オンポリシー蒸留は教師ネットワークで同じことをします。生徒が行動し、教師が生徒の状態にラベルを付けるのです。

このプロジェクトでは

ここでの学習はすべて PPO なので、オンポリシーです。蒸留もオンポリシーです。毎回の反復で生徒は GPU 上で32,768ステップを実行し、各ステップの教師（ベースモデル、またはその技が実行中の単一技の教師）が、まさにその状態に対する自分の行動を計算します。生徒はそれらの行動へ引き寄せられると同時に、タスクの報酬でも学習します（シャドウクローン（分身）を参照）。