方策（ポリシー）

方策（ポリシー）は、強化学習のエージェントが学ぶものです。各観測を行動に対応づけます。ふつう $\pi$ と書き、学習可能なパラメータ $\theta$（ニューラルネットワークの重み）を持つときは $\pi_\theta$ と書きます。

2種類あります。

• 決定論的方策は、各観測に対して1つの行動を返します: $a = \pi(s)$。
• 確率的方策は、行動の確率分布を返し、行動はそこからサンプリングされます: $a \sim \pi(\cdot \mid s)$。確率的方策を参照してください。

学習では、より多くの報酬につながった行動が起こりやすくなるように $\theta$ を変えます。学習済みの方策は凍結できます。重みを保存してもう変えないので、毎回同じように振る舞い、新しい学習の出発点として使えます。

このプロジェクトでは

方策は1秒に50回動く小さな MLP です。体についての193個の数値を読み、（筋肉の体の場合）43個の体のモーターそれぞれに1つずつ数値を出力します。その数値は関節角度ではありません。コーチの参照姿勢に加える補正で、そのためこれは残差方策になっています。

構えとリズムを保つように学習した方策は凍結され、押されたときの立て直しの方策の親になりました。立て直しの2つのアプローチは、どちらもその重みから始まりました。