ハイパーパラメータ

パラメーターは、学習が学ぶもの、つまりネットワークの重みです。ハイパーパラメータは、学習を始める前に自分で選ぶものです。学習がどのように進むかを決めます。

PPO の典型的なハイパーパラメータ：

ハイパーパラメータ	何を決めるか	私たちの値
学習率	各更新の大きさ	$3 \times 10^{-4}$、成熟した方策では $5 \times 10^{-5}$
割引率 $\gamma$	エージェントがどれだけ先まで見るか	0.99
GAE $\lambda$	アドバンテージのバイアスと分散	0.95
クリップ $\epsilon$	1回の更新での方策の最大の変化	0.2
ホライズン	ロールアウト1回あたり、環境1つあたりのステップ数	256
エポック	各バッチを通る回数	8
ミニバッチ	勾配ステップ1回あたりのサンプル数	512
ネットワークの大きさ	MLP の容量	2 × 256

チューニング

最良の値を出す公式はありません。実験で見つけます。設定を試し、結果を比べ、うまくいくものを残します。強化学習の結果は乱数シードによってランごとにばらつくので、設定ごとに1回のランだけでは判断を誤ることがあります。

実際には、強化学習でハイパーパラメータのチューニングに見えるものの多くは、本当は環境と報酬の設計です。私たちの記事でも、修正のほとんどはこれらの数値ではなく、タスクの変更でした。