局所最適解

ほとんどの学習手法は、小さな変更で解を改善していきます。少し違うことを試し、スコアが良くなればそれを残すのです。勾配降下法も山登り法も、このやり方で動きます。

スコアを丘の連なる地形として思い浮かべてください。小さな歩幅で進む手法は、常に上り坂を歩きます。そして今いる丘の頂上で止まります。その頂上が局所最適解です。周りのどの地点もそこより低くなっています。どこか別の場所にずっと高い丘、つまり大域的最適解があるかもしれませんが、そこにたどり着くにはまず坂を下らなければならず、小さな歩幅の手法は決してそれを選びません。

パラメータベクトル $\theta$ とスコア $J$ について、次が成り立つとき $\theta^*$ は局所最大です。

$$J(\theta^*) \ge J(\theta) \quad \text{for every } \theta \text{ close enough to } \theta^*$$

抜け出す方法

• 探索。 確率的方策はランダムなバリエーションを試すので、ときには隣の丘に偶然たどり着くことがあります。ノイズが小さくなりすぎていると、それもできません。
• 地形を変える。 より良い振る舞いの途中段階に報酬を与えると（報酬シェーピング）、低い丘から高い丘への坂道ができます。
• 別の場所から始める。 別の出発点を使うか、簡単な近道が見つかる前に難しい部分を教えるカリキュラムを使います。

このプロジェクトでは

ジャブの後に構えに戻ることに報酬を与えたところ、ファイターはジャブで踏み込まなくなりました。1回の入力から3秒間で、ほとんど踏み込まない方策のスコアは218、踏み込んで前に残ったままの方策は180でした。踏み込んでから戻れば、もっと高いスコアになったはずです。しかしそれは長く協調の取れた動作の連続で、そこへ向かうどの小さな動きも、最初はスコアを下げてしまいました。探索ノイズも約0.10まで小さくなっていました。抜け出す方法は報酬を変えることでした。インパクトまではスタイルと速さ、その後はリラックスした戻りに報酬を与えたのです。