教師：距離を変えたアッパーカット

両方のアッパーカットを、上下左右、そして距離を変えて狙わせました。前の手は、深さ0のスクリプトで作ったアッパーカットから、キャプチャ（take_02）にある私の長い左へと混ぜていくもの、奥の手は、短いものから長いものまである私の奥の手のアッパーカット（take_02）です。どちらの教師も opponent_uppercut で distill4-131.1M からウォームスタートし、RunPod の RTX 4090 2台で並べて、それぞれ3.2時間学習させました。毎秒約25,000ステップで、それぞれ約 261 M ステップ、$2.84 ずつです。

ゲート

	空中の命中、9つの狙い × 6シード	バッグの命中	判定
distill4-131.1M（生徒、前の手のみ）	37/54	0/54（バッグでは遅すぎる）	–
upL1-261.3M（前の手）	40/54。遠い端（+0.19 m）は最後まで覚えず、約 10 cm 足りない	0/54（3–5 m/s）	動画で不合格
upR1-209.7M（奥の手）	54/54、2.4–3.4 cm、約 10 m/s	38/54	採用

長いアッパーカットの動画を見たあと、私はこう言いました。「アッパーカットのあと、ファイターが右に90度向きを変えている。対戦相手を向いたままでいないといけない。」チェック用のポッドで測ると、upL1 は 0.5 s までに −65° 回り、6 s 後も −66° のままでした。upR1 はパンチの間に 20–27° 回り、5–15° 以内に戻ります。生徒の distill4 もずれていき、バッグで最も大きくずれます。

原因： 参照モーションではありません。参照モーションはどの深さでも正面を向いて終わります。ホームの報酬が、押下のたびと押しから立て直すたびに向きの基準を取り直していて、しかも対戦相手はファイターが向いた方向に移動していました。そのため、一つの方向を向き続けることに報酬を払うものが何もなかったのです。修正（--face-fixed）では、エピソードの開始時のホームの向きを保ち、標的と対戦相手もその向きに置いたままにし、幅の広い向きの項を加えます。ゲートは今では、すべての技の 1–3 s 後の腰の回転を表示します。upL2 と upR2 はこれを使って学習し直しています。ここには含めていません。

お金の使い道

ジョブ	マシン時間	コスト
upL1 と upR1 の学習（RTX 4090 × 2）	6.39	$5.69
最初のゲート用ポッド：停止（下記）	2.04	$1.21
2つ目のゲート用ポッド：両方の教師の評価と動画	0.94	$0.55
長いアッパーカットの動画と向きのチェック	0.29	$0.18
ポッドのイメージのテストと --resume のテスト（切断を模擬）	0.40	$0.18
合計	10.06	$7.81

最初のゲート用ポッドは2時間動いて何も出力しませんでした。RunPod のポッドでは、nproc がポッドの 16 vCPU ではなくホストの128コアを報告するので、評価が128のプロセスをそれぞれ64の BLAS スレッドで起動し、スレッド数の上限に達してしまったのです。2つ目のポッドでは、プロセス数と1プロセスあたり1スレッドを明示的に渡しました。

すべてのラン

kakuto-mlのラン記録から作成しています。各ランのマシン、課金された時間とコストです（EC2のランはランのログからの推定値です）。この作業ログに含まれるテストとレンダリングも載せています。

• RunPod image tests, 25 October: マシン2台、0.1時間、$0.07
• RunPod resume test: a pod killed by hand and resumed on a new one, 25 October: マシン2台、0.3時間、$0.12

← 「シャドウクローン：ムエタイの4つの技を並行して学ぶ」のすべての作業ログ