モーションキャプチャ

モーションキャプチャ（mocap）は、本物の人がどう動くかを記録します。古典的な方法では、演者が反射マーカーを身につけ、周囲を囲むカメラがそれを3次元で追跡します。新しいシステムでは、体に付けたセンサーを使ったり、普通の動画から姿勢を推定したりします。結果はクリップで、すべての関節の角度を1秒に何度も記録したものです。

映画やゲームはモーションキャプチャでキャラクターを動かします。既製のクリップのライブラリ（ストックモーション）を売る会社もあり、Unreal などのゲームエンジンには独自のものが付いています。

ロボティクスと強化学習におけるモーションキャプチャ

シミュレーションのアスリートに関する研究の多くは、モーションキャプチャから始まります。クリップが参照モーションになり、方策（ポリシー）は物理の下でそれを真似ることで報酬を得ます。これはうまくいきますが、方策はクリップ以上にはなれません。格闘技をしない俳優が収録したストックの「パンチ」には、その俳優の間違いがそのまま入っています。別の骨格で収録したクリップは、シミュレーションの体にリターゲット（移し替え）する必要もあり、その過程で細部が失われます。

このプロジェクトでは

ストックモーションは使っていません。最初の技（構え、バランス、ジャブ）は、コーチの説明と修正、そして要所の姿勢をとった本人の写真をもとに、筋肉を持つ MuJoCo の体そのものの上で作ったので、リターゲットは必要ありませんでした。

もっと大きな動き（膝蹴り、蹴り、距離のあるアッパーカット）は、コーチ自身のモーションキャプチャから作っています。オープンソースのソフトウェア（Pose2Sim）と、約60〜90°離れた位置から 60 fps で撮影する2台のスマートフォンを使います。スマートフォンの位置はキャリブレーションで求め、各動画の関節を GPU 上の姿勢推定器で見つけて3次元に三角測量し、彼の体格に合わせた骨格をそれに当てはめ、その結果をファイターにリターゲットします。ファイターの脚は、体幹に対してコーチより約 25 % 長くなっています。コーチは、それが参照になる前に、自分の動画と1フレームずつ見比べて確認します。パイプライン全体は膝蹴りを直すにあります。