キーポイント

キーポイントとは、体の上の名前の付いた1点です。頭、肩、肘、手首、腰、膝、足首。それらを並べてつなぐと、棒人間の骨格になります。カメラ画像なら何百万ピクセルも必要なところを、数十個の数値で体がどこにありどんな姿勢かを表せます。

カメラ画像からキーポイントを見つけるソフトウェアは姿勢推定器と呼ばれます。トレーニングを記録したり顔にフィルターをかけたりするスマートフォンアプリにも使われています。カメラ付きのロボットでも動かせるので、キーポイントを読む方策（ポリシー）は、本物のロボットが手にするのと同じ種類の入力を読んでいることになります。

位置だけでは、体がこれから何をしようとしているかはあまりわかりません。止まっている拳とパンチを打ち始めた拳は、1枚のスナップショットでは同じに見えます。そのため、キーポイントはふつう速度と一緒に、そして少し前の位置の短い履歴（フレームスタッキング）と一緒に与えます。

点の位置をどう与えるかは学習にとって重要です。距離と2つの角度は人間には自然ですが、ニューラルネットワークには扱いにくいものです。方向はほとんど変わっていないのに、角度は359°から0°へ飛ぶからです。見ている側自身の座標系での3次元ベクトル $(x, y, z)$ なら、同じ情報を飛びなしで持てます。

このプロジェクトでは

ブロックの記事では、ファイターは対戦相手を16個のキーポイントとして見ます。頭、首、肩、肘、手首、拳、腰、膝、足首です。それぞれはファイターの頭からの3次元ベクトルで、頭と一緒に回るけれど水平に保たれる座標系で表され、さらにその速度、見えているかどうかのフラグ（オクルージョン）、40 ms 前と 80 ms 前の位置が付きます。どのキーポイントも 100 ms 遅れて（レイテンシ）1 cm のノイズ付きで届きます。これでファイターの観測に208個の数値が加わり、合計445個になります。代わりにピクセルから学習していたら、学習のコストは桁違いに大きくなっていたでしょう。