環境ステップ

環境ステップとは、ループの1周のことです。方策（ポリシー）が観測を見て行動を選び、環境が時間を進めて報酬を返します。1ステップごとに、学習用のサンプルが1つできます。

強化学習では、学習の長さをふつう時間ではなくステップ数で表します。ステップ数はコンピュータの性能に左右されないからです。「75.6 M ステップ」とは、並列に動くすべての環境から集めたサンプルが7,560万個あるという意味です。

ステップとシミュレーション上の時間

環境ステップは、物理のタイムステップと同じではありません。1回の環境ステップの中で、物理ステップを何回か回すことがあります。方策が1秒に $f$ 回行動するなら、$N$ ステップはシミュレーション上の $N / f$ 秒にあたります。

$$75.6 \times 10^6 \text{ steps} \div 50\ \text{Hz} = 1.5 \times 10^6\ \text{s} \approx 17.5 \text{ days}$$

つまり、シンプルな体は約17日分のシミュレーション上の経験で860 Nの押しに耐えることを覚え、それを64個のCPUコアで1.5時間に圧縮したことになります。

サンプル効率

アルゴリズムがタスクを覚えるのに何ステップ必要かを、サンプル効率と呼びます。PPOはサンプル効率があまり良くありませんが、シミュレーションでは1ステップが安く、並列化もしやすいです。シミュレータが速いなら、この取引はたいてい割に合います。