伸張反射

筋肉が急に引き伸ばされると、その中のセンサー（筋紡錘）が脊髄に信号を送り、脊髄は数十ミリ秒のうちに同じ筋肉を興奮させます。脳が反応できるよりずっと前です。医者が膝の下をハンマーで軽く叩くのが有名な例です。腱が伸ばされ、大腿四頭筋が発火し、脚が跳ね上がります。日常の動きでは、同じループが姿勢を保ち、小さな誤差を自動的に修正しています。

簡単な制御器版では、筋肉が目標姿勢での長さをどれだけ超えて伸ばされたか、そしてどれだけ速く伸ばされたかに比例して興奮を加えます。

$$u_i = u_i^{\text{policy}} + \frac{k_p\, (\ell_i - \ell_i^*) + k_d\, \dot\ell_i}{\ell_i^{\text{opt}}}$$

ここで $\ell_i^*$ は目標姿勢での筋肉の長さ、$\ell_i^{\text{opt}}$ はその最適線維長です。伸ばされた筋肉は興奮して引き戻し、縮んだ筋肉は興奮が減ります。これにより、脊髄がするのと同じように、動きに逆らう筋肉もオフになります。筋肉の体における、サーボの目標へ引き寄せる働きにあたるものです。

このプロジェクトでは

モーターの代わりに筋肉ででは、各筋肉に参照姿勢へ向かうこの反射を持たせ、$k_p$ = 5、$k_d$ = 0.2 としました（CPU でのテストで選びました。行動ゼロで静止した構えを、反射なしの1.4秒に対して2.4秒保ちました。ゲインを上げると悪くなりました）。パンチでは、筋肉のファイターの腕がすぐに伸びるようになり、外れ幅は反射なしの 51〜68 cm に対して 28〜31 cm でした。反射なしで学習した構えに反射を入れると、体は転倒しました（最初は97 % のエピソード）。反射ありで学習した構えは 56.0 M ステップで解け、姿勢は最もきれい（0.93）でしたが、ジッターは3倍でした。