行動

行動とは、1回のステップにおける方策（ポリシー）の出力です。取りうる行動全体の集合を行動空間と呼びます。

• 離散行動空間には、ゲームコントローラーのボタンのように、いくつかの選択肢しかありません。
• 連続行動空間は実数で表され、ふつうはモーター1つにつき1つの値です。身体の制御は連続制御にあたります。

行動が何を意味するかは設計上の選択で、これがとても重要です。同じネットワークでも、関節トルク、関節の目標角度、参照ポーズへの補正量のどれでも出力できます。位置サーボに目標角度を送るほうが、生のトルクを出力するよりはるかに学習しやすくなります。関節を静止させておくという低レベルの仕事を、サーボがすでに引き受けてくれるからです。

スケーリング

ネットワークは、出力がおよそ $[-1, 1]$ の範囲にあるときに最もうまく働きます。環境は各出力を物理的な範囲にスケーリングします。たとえば 0.4 rad を掛けます。範囲外の出力はクリップされます（行動クリッピングを参照）。

このプロジェクトでは

各行動はモーター1つにつき1つの数値です。シンプルな体では37個、筋肉のある身体では43個で、後者では残りの40個のモーターが指を握りこぶしの形に保っています。それぞれの値は、参照ポーズに対する最大 ±0.4 rad の補正量にスケーリングされます。survive 環境では、バランスを崩したときにこの範囲を広げ、脚では最大 ±1.5 rad まで許します。押し出しからの回復（push-recovery）環境では行動が2つ追加されます。回復動作のクロック速度と、その動作の大きさの補正です。

その後、行動はローパスフィルタを通ってからサーボに届きます。