参照モーション

参照モーションとは、ある動きが1フレームずつどう見えるべきかを記述したもので、本物の体がそれを実行できる保証はありません。モーションキャプチャから来ることもあれば、アニメーターのキーフレームやソルバーから来ることもあります。

方策（ポリシー）の仕事はモーショントラッキングです。バランスを保ちながら、参照に近いままの、物理的に本物の動きを作り出すことです。報酬は一致に対して支払われます。

$$r_{\text{track}} = \sum_i w_i \exp\!\left(-k_i \,\big\lVert x_i - x_i^{\text{ref}}(\phi)\big\rVert^2\right)$$

関節角度、手と足の位置、骨盤の高さなどの特徴量について、動きの現在の位相 $\phi$ で合計します。

この手法は DeepMimic（Peng et al. 2018）で広まりました。DeepMimic は、モーションキャプチャのクリップから、シミュレーションのキャラクターにバク宙、蹴り、ダンスをさせる学習を行いました。

なぜ参照を使うのか

目標（「転ばない」「目標に当てる」）だけに報酬を与えると、うまくはいくものの奇妙に見える動きになりがちです。腕を振り回したり、おかしな歩き方をしたり。参照はスタイルを加えます。何を達成するかだけでなく、それがどう見えるべきかを伝えるのです。

その代わりに柔軟性が失われます。参照にきつく縛られた方策は、参照から大きく外れたことはできません。このプロジェクトの survive モードがバランスを崩したときに参照を外すのは、まさにそのためです。

このプロジェクトでは

参照は、コーチが解いた構え、リズム（1秒に1拍の体重移動に、かかとのロールと前の手のパウィング）、そしてキーフレームで作った立て直しの動きです。方策はそれらの上に乗る残差方策です。

打撃については、コーチはまずコーディングエージェントにジャブを頼み、それから細部を1つずつ修正し（肘を締める、腰を回す、拳をねじり込む、顎を引く）、最後に自分自身の写真と静止画で説明しました。参照は筋肉の体の上で作るので、リターゲットは必要ありません。

ジャブは、アニメーションの参照と物理が食い違うところを示しました。最初のジャブの参照は、拳を目標の上で速度ゼロまで減速させ、そこで0.04秒止めていたので、そっと「伸ばして触れる」動きを教えてしまいました。修正した参照は0.14秒で止まらずに伸び、目標は参照の拳が止まる点より 7 cm 手前にあるので、パンチは目標を打ち抜きます。参照の細部のいくつかは学習の中で緩めています。インパクトの後、構えに戻る動きはゆるくしか採点しません（ジャブの記事を参照）。