用語集 · 強化学習
並列環境
別名：Parallel environments、ベクトル化環境、vectorised environments、vectorized environments、世界のコピー、copies of the world、worlds、num envs、環境のバッチ、batch of environments
同じ学習用の世界のコピーをたくさん並べて動かし、1つの方策がそのすべてから同時に経験を集めることです。
強化学習のエージェントは経験から学びますが、環境のコピー1つでは経験がゆっくりとしか生まれません。そこでトレーナーはたくさんのコピーを同時に動かし、それぞれに別々のランダムな開始状態を与え、同じ方策（ポリシー）がそのすべてで行動します。学習の各反復（ロールアウト）では、すべてのコピーを決まった回数（ホライズン）だけ進め、更新はそのすべてを使います。
CPU では、コピーはワーカープロセスに分散され、1コアあたり数個です。GPU では、MuJoCo Warp のようなシミュレーターで何千ものコピーが一緒に進みます。
コピーを増やすと1秒あたりのステップ数は増えますが、学習が速くなるとは限りません。各反復が長くなり、学習の中にはステップではなく反復の回数で数えるものもあるからです。
このプロジェクトでは
EC2 のトレーナーは72個のワーカープロセスでそれぞれ6個のコピーを動かし、ホライズンは64で、1反復あたり27,600ステップです。GPU では、レンタルGPUで学習するで、8,192個のコピー（ホライズン32）が1秒あたりのステップ数は最多だったものの、12分たっても構えを解けていなかったことがわかりました。カリキュラムが、段階を上げるたびに決まった回数の反復を待つからです。1,024個のコピーなら、RTX 5090 で386秒で解けました。