残差方策

残差方策は、何をするかを出力しません。与えられた参照が指示することを、どう変えるかを出力します。最終的な指令は次のとおりです。

$$q^{\text{target}}_t = q^{\text{ref}}(\phi_t) + \Delta_{\max} \cdot a_t, \qquad a_t \in [-1, 1]$$

ここで $q^{\text{ref}}(\phi_t)$ は動きの現在の位相 $\phi_t$ での参照姿勢、$a_t$ は方策の出力、$\Delta_{\max}$ は許される最大の補正です。

なぜ役に立つのか

• 良いスタート。 ゼロを出力する方策は、参照をそのままなぞります。学習は、ランダムなピクつきではなく、まともな動きから始まります。
• スタイルが保たれる。 動きの見た目は参照が担います。ここではコーチの構えです。方策はバランスを保つのに必要なものだけを足します。
• 被害が限られる。 $\Delta_{\max}$ が、方策が外れられる幅に上限をかけます。関節に小さな上限をかけることは、好みではなく、破れないルールになります。

代償は、方策が参照から遠く離れたことをできないことです。だからこそ、バランスの記事のサバイブモードでは、体のバランスが崩れたら脚の範囲を広げています。

このプロジェクトでは

残差は、バランスが取れているときは関節ごとに最大±0.4 radです。サバイブモードでバランスが崩れると、脚では±1.5 rad、胴体では±0.8 radに広がりますが、腕は±0.15 radのままなので、グローブは物理的に顔から離れられません。コーチの「手は上げたまま」というルールが、行動空間そのものに組み込まれているのです。