ガウスカーネル

多くの報酬項は誤差から始まります。関節が目標からどれだけ離れているか、体幹が何度傾きすぎているか、などです。ガウスカーネルは誤差 $e$ を0から1の間の報酬に変えます。

$$r = \exp\!\left(-\frac{e^2}{2\sigma^2}\right)$$

$e = 0$ では報酬は1です。$e = \sigma$ では約0.61、$2\sigma$ では約0.14、遠く離れるとほぼ0になります。幅 $\sigma$ が「近い」とみなす範囲を決めます。$\sigma$ を十分下回る誤差はほとんど罰せられず、$\sigma$ の数倍の誤差ではほとんど何ももらえません。

$-e^2$ のような単純なペナルティと比べて、ガウスは有界です。1つの巨大な誤差が報酬の他のすべての項を押し流すことはなく、すでに近い方策（ポリシー）には完璧へ向かう滑らかな傾きが与えられます。参照モーションの追従ではこれが定番の形です（DeepMimic の項は、姿勢、速度、末端の誤差のガウスです）。

項は片側にすることもできます。誤差を一方向にだけ数え、もう一方向は自由にするのです。

このプロジェクトでは

奥足の膝蹴りの「直立」項は片側です。$e$ は当てた後に胸や骨盤が参照より後ろへどれだけ反ったかで（参照より前へ傾くのは自由）、$\sigma = 5^\circ$、重み1.5で、毎ステップ支払われます。kneeR4 で膝蹴りの後ろへの反りを約10°から約1°に減らしたのがこの項です。