マルコフ決定過程

マルコフ決定過程（MDP）は、強化学習が解く問題を形式的に記述したものです。5つの要素からなります。

記号	意味
$S$	状態の集合。たとえば体のあらゆる姿勢と速度
$A$	行動の集合。たとえばモーター目標値のあらゆる組み合わせ
$P(s' \mid s, a)$	状態 $s$ で行動 $a$ をとった後に状態 $s'$ に至る確率
$R(s, a)$	状態 $s$ で行動 $a$ をとったときの報酬
$\gamma$	割引率。0から1の間

マルコフ性

「マルコフ」とは、次の状態が現在の状態と行動だけで決まり、そこに至るまでの経緯にはよらない、という意味です。現在に、知る必要のあることがすべて含まれています。物理シミュレーションでは、状態が位置と速度を含んでいればこれが成り立ちます。体がどこにあり、各部位がどれだけの速さで動いているかがわかれば、次の瞬間を予測するのに十分です。

実際には、エージェントは観測を通して状態の一部しか見えないことがよくあります。このプロジェクトの観測に直前の行動とフィルターの状態が含まれているのはそのためです。それがなければ、エージェントは自分の行動フィルターがこれから何をするかを知ることができません。

収益と割引率

収益は、ある時刻から先の報酬の合計で、後の報酬ほど $\gamma$ を1つずつ多く掛けます。

$$G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots = \sum_{k=0}^{\infty} \gamma^k r_{t+k}$$

割引率は、エージェントがどれだけ先まで気にかけるかを決めます。$k$ ステップ先の報酬は今の報酬の $\gamma^k$ 倍の価値なので、エージェントの見通す範囲はおよそ $1/(1-\gamma)$ ステップです。$\gamma = 0.99$ なら100ステップです。1秒あたり50回の判断なら約2秒で、押されてから、それが引き起こす転倒までを結びつけるのに十分な長さです。

このプロジェクトでは

$\gamma = 0.99$ を使っています。同じ数値が報酬シェーピングの項 $F = 0.99\,\varphi(s') - \varphi(s)$ にも現れます。ポテンシャルに基づくシェーピングで最適な方策（ポリシー）を変えないためには、MDP と同じ割引率を使わなければならないからです。