共変量シフト

モデルは、ある分布から取られた入力で学習します。共変量シフトとは、それが別の分布からの入力に使われることです。理屈の上では正しく動くかもしれませんが、そこでの経験はありません。

何かを制御する方策では、共変量シフトは雪だるま式に大きくなります。手本（エキスパート）をまねた方策が小さな誤りをすると、手本が見せたどの状態とも少し違う状態に入ります。そこではさらに大きな誤りをし、それが続いていきます。1ステップあたりの誤り率を $\epsilon$、ステップ数を $T$ とすると、単純な模倣の期待コストは $\epsilon T^2$ のように増えうるのに対し、学習者が自分自身の状態で学習した場合は $\epsilon T$ です（Ross、Gordon、Bagnell、2011、DAgger の論文）。

対策は、学習者が実際に訪れる状態で学習させることです（オンポリシーを参照）。

このプロジェクトでは

膝蹴りで数度傾きすぎたファイターは、次の瞬間には膝蹴りの教師が一度もいたことのない状態にいます。だから生徒は、教師の録画ではなく、自分自身のロールアウトの上で教師の行動に引き寄せられるのです（シャドウクローン（分身）を参照）。