機械学習

ふつうのプログラミングでは、人がルールを書きます。機械学習では、人は調整できる数（パラメーター）を持つモデルと、それがどれだけうまくいっているかを測る方法を書きます。あとはアルゴリズムが、モデルがうまくいくまでパラメーターを調整します。

主に3つの種類があります。

• 教師あり学習。 正解つきの例から学びます。「猫」や「犬」とラベルのついた写真や、売却価格のついた家などです。モデルはラベルを予測するように学びます。
• 教師なし学習。 似た顧客をグループ分けするなど、ラベルのないデータの中から構造を見つけます。
• 強化学習。 行動して報酬を得ることで学びます。正解はなく、より良い結果とより悪い結果があるだけです。

現代の機械学習のほとんどは、損失関数に対して勾配降下法で学習させたニューラルネットワークを使います。ネットワークの層が多いとき、これを**深層学習（ディープラーニング）**と呼びます。

最適化としての学習

中身を見ると、ほぼすべての機械学習は同じことをしています。モデルがどれだけ間違っているかを測る数を書き出し、それが小さくなるようにパラメーター $\theta$ を調整するのです。

$$\theta^* = \arg\min_\theta \; L(\theta)$$

手法によって変わるのは、$L$ が何を測るかと、データがどこから来るかです。

このプロジェクトでは

私たちは強化学習を使っているので、正しい動きのデータセットはありません。身体はシミュレーションの中での自分自身の試行から学び、報酬と、結果を見ているコーチに導かれます。