筋活性度

筋肉は神経系に瞬時には反応しません。筋肉が受け取る指令、つまり興奮度 $u$ は、0（信号なし）から1（全力）までの数です。筋肉の活性度 $a$（今この瞬間に出せる力の割合）は、遅れながら興奮度を追いかけます。

$$\dot a = \frac{u - a}{\tau}, \qquad \tau = \begin{cases} \tau_{\text{act}} \approx 10\ \text{ms} & u > a \ \text{(switching on)} \\ \tau_{\text{deact}} \approx 40\ \text{ms} & u \le a \ \text{(letting go)} \end{cases}$$

オンになるほうが、力を抜くより速いのです。筋肉が出す力は、活性度にピークの力を掛け、どれだけ伸びているか、どれだけ速く動いているかで調整したものになります（力–長さ–速度関係を参照）。

この遅れが、筋肉をモーターより制御しにくくしている理由の1つです。サーボはシミュレーションの1ステップ以内に反応しますが、筋肉には数十ミリ秒かかり、それを無視するコントローラーはいつも遅れてしまいます。

このプロジェクトでは

MuJoCo の筋肉は、10 ms と 40 ms の時定数でまさにこのモデルを使っています。モーターの代わりに筋肉ででは、方策（ポリシー）は筋肉1つにつき1つの興奮度を、平滑化フィルターを通して毎秒50回出力します。活性化の遅れに加えてサーボの体のフィルター（約80 ms の余分な遅れ）を使うと、筋肉の体はついに構えを覚えませんでした。軽いフィルター（約20 ms）にすると、26.6〜37.8 M ステップで解けました。活性度は方策が観測するものの一部でもあり、ステージ1の身体では86個の数が加わります。