参照状態初期化

方策は、実際にたどり着いた状況から学びます。どのエピソードも動きの最初から始まるなら、方策が動きの終わりを目にするのは、最初の部分がもう上手になってからです。この方法でバク宙を覚えようとすると、そこまでたどり着かないので、着地を一度も練習できません。

参照状態初期化は、エピソードを参照モーションのランダムな時点 $u$ から始めることで、これを解決します。体を $u$ での参照の姿勢に置き、参照の関節速度を与えて、そこからエピソードを続けます。

$$u \sim \mathcal{U}(0, 1), \qquad q_0 = q^{\text{ref}}(u), \qquad \dot q_0 = \dot q^{\text{ref}}(u)$$

こうすると、最初の反復から動きのすべての部分が練習されます。この考え方は、キャラクターが倒れたらエピソードを早めに打ち切るやり方とともに、DeepMimic（Peng et al. 2018）で広まりました。

このスタートは、物理的にいつも無理がないとは限りません。参照の状態は本物の体が保てる状態ではないこともあるので、こうしたエピソードの一部はすぐに転倒で終わります。それでも、すべての部分を練習できることに比べれば小さなコストです。

このプロジェクトでは

ファイターが歩きを覚えたとき、歩きの目標があるエピソードの30%は、1歩の途中（$u$ は0.05から0.95）から、歩きの参照の姿勢と速さで始めました。サーボのフィードフォワードと組み合わせることで、歩幅は計画した距離の4〜26%から56〜92%まで伸びました。学習中の転倒は約0.5%から約2%に増えましたが、そのほとんどはピボットの途中からのスタートによるものでした（フットワークを参照）。