観測

観測とは方策（ポリシー）への入力で、環境が毎ステップ作る数値のリストです。エージェントが世界を見る唯一の手段です。良い行動を選ぶのに重要なのに観測に含まれていないものは、エージェントが推測するしかありません。

シミュレーションの完全な状態（あらゆる位置、速度、接触）は、大きすぎたり、すべてが役に立つわけではなかったりします。何を含めるかは設計者が選びます。良い観測とは次のようなものです。

• 十分である：うまく行動するのに必要なものを含んでいる（マルコフ決定過程のマルコフ性を参照）。
• 相対的である：位置を部屋ではなく身体から測るので、ファイターがどこに立っていても方策が機能する。
• スケールが揃っている：値の大きさが同程度なので、ある入力が他を圧倒しない。

正規化

生の入力は、ごく小さな角度から何百ニュートンもの力まで幅があります。各入力が平均0、標準偏差1になっていると学習しやすくなります。学習中は各入力の平均 $\mu$ と分散 $\sigma^2$ の移動推定値を保持し、ネットワークには次の値を見せます。

$$\hat{o} = \operatorname{clip}\!\left(\frac{o - \mu}{\sqrt{\sigma^2 + \epsilon}},\, -10,\, 10\right)$$

学習済みのネットワークは正規化された入力しか理解できないので、この統計は方策と一緒に保存されます。

このプロジェクトでは

筋肉のある身体の構えの方策は、193個の数値を観測します（関節が少ないシンプルな体では169個）。参照に対する関節の誤差と関節の速度、骨盤の向き・速度・参照からのずれ、足に対する重心の位置と各足にかかる力、リズムの位相・テンポ・振幅、前回の行動とフィルタ後の行動、そしてバランスのゲートです。

学習が新しい種類のデータを見るにつれて、統計はずれていきます。歩きの学習ランでは、歩くことで一部の入力の移動統計が最大0.12標準偏差動きました。凍結した教師の方策に、自分の保存済みの統計ではなく、ずれていく生徒の統計でスケーリングされた入力が与えられていました。そのせいで教師の助言はモーター1つあたり約0.007ずれ、パンチが外れるのに十分な大きさでした。各ネットワークは、自分自身の統計でスケーリングされた入力を見なければなりません（フットワーク を参照）。

ブロックの取り組みでは、同じ統計がファイターから対戦相手を隠していました。移動平均はすべての入力に共通の1つのサンプル数を持っており、その時点で12億に達していました。後から追加された対戦相手の208個の入力は、実際の広がりが約0.29なのに、初期値（平均0、広がり1）からほとんど動きませんでした。5回のランの間、ファイターは対戦相手をほぼ無視していました。それらの入力の統計を推定し直すと、スケーリングが直りました（ブロック を参照）。