多層パーセプトロン

多層パーセプトロン（MLP）は、全結合層だけでできたニューラルネットワークです。データは入力から出力へ一方向に流れ、呼び出しの間に記憶は持ちません。

隠れ層が2つの MLP は次を計算します。

$$y = W_3\,\sigma\big(W_2\,\sigma(W_1 x + b_1) + b_2\big) + b_3$$

「2 × 256」は、それぞれ256ユニットの隠れ層が2つ、という意味です。

重みの数え方

$n$ 個の入力から $m$ 個の出力への全結合層は、$n \times m$ 個の重みと $m$ 個のバイアスを持ちます。筋肉の体の構えの方策（ポリシー）は、193個の入力を43個の出力に写します。

層	重み + バイアス
193 → 256	49,664
256 → 256	65,792
256 → 43	11,051
合計	126,507

なぜ MLP なのか

固定サイズの状態からの制御なら、たいてい MLP で十分です。速く、学習しやすく、管理すべき内部状態もありません。他の設計は MLP にないものを加えます。再帰型ネットワーク（RNN、LSTM）は過去の入力を覚え、トランスフォーマーは長い履歴に注意を向けられます。ここでは必要な履歴（直前の行動、フィルターの状態、リズムの位相）を観測に入れているので、MLP が覚えておく必要はありません。

このプロジェクトでは

アクターとクリティックは、ELU 活性化関数を使う別々の 2 × 256 の MLP です。