確率的方策

確率的方策（ポリシー）は、行動そのものを出力するのではありません。確率分布を出力し、行動はそこから引かれます。モーターの目標のような連続的な行動では、ふつうガウス（正規）分布を選びます。ネットワークが各行動の平均 $\mu_\theta(s)$ を出力し、それに標準偏差 $\sigma$ があります。

$$a \sim \mathcal{N}\!\left(\mu_\theta(s),\, \sigma^2\right)$$

PPO のようなアルゴリズムが必要とする行動の対数確率は、次のとおりです。

$$\log \pi_\theta(a \mid s) = -\sum_{i} \left[\frac{(a_i - \mu_i)^2}{2\sigma_i^2} + \log \sigma_i + \tfrac{1}{2}\log 2\pi\right]$$

なぜランダムさを加えるのか

同じ状況でいつも同じことをするエージェントは、他のことをしたほうが良いのかどうかを知ることがありません。サンプリングすると小さなバリエーションを試すことになり、うまくいったものがより選ばれやすくなります。これが探索です。学習が進むにつれて、$\sigma$ はふつう学習され、小さくなっていく傾向があるので、方策は良くなると探索を減らします。

決定的な評価

学習のあとは、ノイズを外して常に平均の行動 $a = \mu_\theta(s)$ を取ることができます。これが決定的方策で、ふつう実際に使われ、テストされるのはこちらです。

2つは違う振る舞いをすることがあります。決定的方策のほうが滑らかで、多くの場合は良いのですが、ノイズのある方策がまだしている失敗を隠してしまいます。その失敗こそ、学習がまだ直さなければならないものです。

このプロジェクトでは

標準偏差は、モーターごとに学習するパラメーターで、観測には依存しません。初期値は $e^{-1} \approx 0.37$ です。

学習中の転倒率はサンプリングした行動で、固定テストは決定的方策で測っています。だから survive7 は、最上位のレベルで学習エピソードの約10%で転倒したのに、固定テストでは12回中0回でした。これが「進捗動画は行動をサンプリングしなければならない」という教訓の理由でもあります。決定的方策の動画は問題なく見えたのに、学習ではまだ転倒が起きていたのです。