ヒューマン・イン・ザ・ループ

ヒューマン・イン・ザ・ループの学習では、人が学習の過程の一部になります。結果を見て、それが正しいかを判断し、それに応じてタスクや報酬やデータを変えます。

目標を数式で書くのが難しいときに使われます。「この構えはファイターらしく見えるか？」は、コーチなら動画を見ればすぐ答えられますが、報酬関数として書くのはとても難しい問いです。報酬は関節の角度や体重配分なら測れますが、正しく見えるかどうかは測れません。

人をループに入れる方法

• 判断と再設計。 人が方策（ポリシー）を見て、おかしく見えるものは却下し、環境や報酬を変えます。私たちがやっているのはこれです。
• デモンストレーション。 人がモーションキャプチャや写真などで動きを見せ、エージェントがそれをまねます。
• 好み（選好）。 人が2つのクリップを比べてどちらが良いかを言います。モデルがその選択を予測するように学習し、それが報酬になります。これが人間のフィードバックによる強化学習（RLHF、Christiano ら 2017）の考え方で、チャットモデルの学習にも使われています。

なぜ重要か

自動の報酬は抜け道を突かれます（報酬ハッキングを参照）。動画を見ている人ならそれに気づけます。私たちの結果のいくつかは、スコアは良いのに見た目がおかしいものでした。

このプロジェクトでは

コーチはすべての目標を決め、すべての結果を目で見て判断しました。指標ではなく見ることから生まれた決定には、ジムのマット、リズムの中のかかとの転がし、600 N を超えて 860 N まで進めたこと、そしてつま先のないシンプルな体を足が板のように見えるという理由で却下したことがあります。

パンチの作業では、ループはコーチのスマートフォンを通って回ります。外出中にテストジャブのグリッド画像が届き、コーチは音声で答えます。その判断が方向を決めています。厳密な引き戻しよりも、インパクトまでのスピードとスタイルのほうが大事。押しは当面小さいままにする。近すぎる距離のジャブはやめる（その距離には肘打ちか膝蹴りが合う）。AIファイターをコーチするを参照してください。