勾配降下法

勾配 $\nabla_\theta L$ は、各パラメーターを変えたときに損失がどれだけ変わるかを並べたベクトルです。これは上り坂の方向を指しています。勾配降下法はその逆向きに1歩進みます。

\theta \leftarrow \theta - \eta \, \nabla_\theta L(\theta)

$\eta$ は学習率です。霧の立ちこめた山腹を、いつもいちばん急な下り方向に足を踏み出しながら下りていく様子を思い浮かべてください。

確率的勾配降下法

全データで正確な勾配を計算するのは時間がかかります。確率的勾配降下法（SGD）は、小さなランダムなミニバッチから勾配を推定し、正確な数歩の代わりに、安くてノイズの多い歩みをたくさん重ねます。データ全体を一巡することをエポックと呼びます。

層の多いニューラルネットワークでは、勾配は**誤差逆伝播法（バックプロパゲーション）**で計算します。微積分の連鎖律を出力層から入力に向かって逆向きに適用し、途中の計算を使い回します。コストは、ネットワークを順方向に2回走らせるのとほぼ同じです。

私たちのものを含め、ほとんどの深層学習は Adam オプティマイザー（Kingma と Ba 2015）を使います。各パラメーターの勾配 $m$ とその2乗 $v$ の移動平均を保ち、それで各ステップの大きさを調整します。

m \leftarrow \beta_1 m + (1-\beta_1)\,g, \qquad v \leftarrow \beta_2 v + (1-\beta_2)\,g^2, \qquad \theta \leftarrow \theta - \eta\,\frac{\hat{m}}{\sqrt{\hat{v}} + \epsilon}

（ $\hat{m}$ と $\hat{v}$ はバイアス補正したものです。）勾配が安定しているパラメーターは自信を持って動き、ノイズの多いものは慎重に動きます。

PPO の各イテレーションでは、集めたバッチの上を、512サンプルのミニバッチで Adam を使って8回通ります。