カメラキャリブレーション

写真は世界を平らにしてしまいます。ピクセルから空間内の方向へ戻るには、カメラについて2種類の数値が必要です。

• 内部パラメータ: レンズのことです。焦点距離 $f$（ピクセル単位）、画像中心 $(c_x, c_y)$、そしてレンズが直線をどれだけ曲げるか（歪み）。
• 外部パラメータ: カメラがどこにあり、どちらを向いているか。部屋の中での回転 $R$ と位置 $t$ です。

この2つを合わせると、3次元の点 $X$ が画像のどこに写るかがわかります。

$$\lambda \begin{pmatrix} u \\ v \\ 1 \end{pmatrix} = \begin{pmatrix} f & 0 & c_x \\ 0 & f & c_y \\ 0 & 0 & 1 \end{pmatrix} \big( R X + t \big)$$

ここで $(u, v)$ はピクセル、$\lambda$ はカメラの前方にあるその点の奥行きです。

キャリブレーションとは、これらの数値を求めることです。よくあるのは、チェッカーボードのような大きさのわかった印刷パターンを使う方法です。その角は画像の中で1ピクセル未満の精度で見つけやすく、本当の間隔がわかっているので、カメラの数値を解くことができます。ChArUco ボードはマス目に小さな印刷コードを加えたもので、ボードの一部が隠れていても各角を識別できます。

このプロジェクトでは

コーチのモーションキャプチャでは2台のスマートフォンを使います。ChArUco ボード（7 × 5 マス）を床に平らに置き、それぞれのスマートフォンが撮影する位置からボードの静止画を1枚ずつ撮ります。その後ボードを片付け、スマートフォンは動かさずに録画します。12メガピクセルの静止画なら、ビデオのフレームでは読めない 2.4 m 先からでも内側の角24個をすべて読み取れます。レンズは写真の焦点距離から、ビデオカメラは写真と部屋を照合して求めます。最初の本番セッションでは、2台のスマートフォンは89°離れた位置になり、彼の接地した足に合わせて求めた床はボードの床と2.6°以内で一致しました。