用語集 · 物理シミュレーション
タイムステップ
別名：Timestep、time step、physics step、control frequency、substeps、Hz、時間刻み、物理ステップ、制御周波数、サブステップ
物理シミュレーションが1ステップで進める短い時間の区切り。方策はふつう、それより少ない頻度で、物理ステップ数回ごとに1回行動します。
シミュレーターは、 秒ずつの小さな飛び幅で時間を進めます。これがタイムステップです。ステップが小さいほど、特に速い接触や硬い関節で、より正確で安定しますが、シミュレーション1秒あたりの計算量は増えます。
制御周波数
方策（ポリシー）は、物理ステップのたびに行動する必要はありません。ふつうはもっと低い制御周波数で動き、自分の指令を何回かの物理サブステップの間保持します。
人の反応や筋肉の応答は数十ミリ秒の時間で起こるので、シミュレーションのキャラクターや脚式ロボットでは 30–100 Hz の制御が一般的です。行動の頻度を下げると学習もしやすくなります。1回の判断の効果が見えやすくなり、エピソード内で手柄を割り振るステップ数も減るからです。
Hz（ヘルツ）は1秒あたりの回数です。50 Hz は 20 ms ごとです。
このプロジェクトでは
物理のタイムステップは 2 ms（500 Hz）です。方策は 50 Hz で行動するので、各環境ステップで10回の物理サブステップを実行します。10秒のエピソードは、方策の判断500回、物理ステップ5,000回になります。