行動クローニング

行動クローニングは、模倣をふつうの教師あり学習として扱います。専門家の状態と行動 $(s_i, a_i)$ を記録し、状態から行動を予測するよう方策（ポリシー）を学習させます。連続行動の場合は、よく二乗誤差を使います。

$$L(\theta) = \frac{1}{n} \sum_i \left\lVert \mu_\theta(s_i) - a_i \right\rVert^2$$

シンプルで、報酬も要りません。弱点は、専門家の状態しか見ないことです。真似がずれていくと、誰も見せたことのない状態に入り込んでしまいます（共変量シフト）。学習者自身が訪れた状態に専門家がラベルを付ける方法（DAgger のようなオンポリシー模倣）なら、これを避けられます。

このプロジェクトでは

ファイターの教師はネットワークなので、どんな状態についても尋ねることができ、生徒が教師の記録で学習することは一切ありません。生徒は自分自身のロールアウト上で教師の行動へ引き寄せられ、その間もタスクの報酬は有効なままです（方策蒸留。シャドウクローン を参照）。