環境

強化学習では、環境とはエージェントの外の世界のことです。コードではふつう、2つのメソッドを持つオブジェクトになっています。

• reset() は新しいエピソードを始め、最初の観測を返します。
• step(action) は行動を適用して時間を進め、次の観測、報酬、そしてエピソードが終わったかどうかを返します。

エージェントが何を見るか、何をしてよいか、どう採点されるか、いつエピソードが終わるかは、環境が決めます。環境の設計は仕事の大きな部分を占めます。私たちの記事で紹介している修正の多くは、学習アルゴリズムの変更ではなく環境の変更です（リカバリーモードをいつ始めていつ止めるか、押しをどう抽選するか、何を転倒とみなすか）。

このプロジェクトでは

各環境は、ジムのマットの上にいるファイター1人のMuJoCoシミュレーションを包んでいます。毎ステップ、次のことをします。

1. 方策の補正を参照姿勢に足し、その結果をサーボに送る。
2. 2 msの物理ステップを10回回す（タイムステップを参照）。
3. 予定された押しがあれば加える。
4. 報酬、バランスのゲート、体が倒れたかどうかを計算する。
5. 193個の数値からなる観測を組み立てる。

環境はいくつかあります。構えの環境、押しからの回復の環境（スクリプトで書いた回復動作）、そしてサバイブの環境です。学習では何百ものコピーを同時に走らせます。ワーカープロセス1つにつき8個、ワーカーは52個です。