教師：アッパーカット、2回目

距離を変えたアッパーカットの1回目は、動画への私のメモで終わりました。「アッパーカットのあと、ファイターが右に90度向きを変えている。対戦相手を向いたままでいないといけない。」原因は学習にありました。ホームの向きが押下のたびと押しから立て直すたびにリセットされ、対戦相手はファイターが向いた方向に回り込むように動かされていたので、一つの方向を向くことに報酬を払うものが何もなかったのです。この4本のランはその修正と、修正によって見えてきた2つ目の問題への対処です。4本とも10月26日に RunPod の EUR-IS-1 で動かし、それぞれ以前のアッパーカットからウォームスタートし、アッパーカットそのもの以外のすべてについては distill4-131.1M を教師にしました。技についてはアッパーカットのページで説明しています。

ラン

ラン	元	変更	結果	マシン時間、コスト
upL2（前の手）	upL1-261.3M	--face-fixed：ホームの向きをエピソードごとに1回だけ設定し、標的と対戦相手をその向きに置いたままにし、向きの項（×0.3）を追加	不合格。バッグでは正面を向くが、空中への遠いアッパーカットは 3 s 時点でまだ 8–45° ずれて終わる。空中の命中 33–44/54 で upL1 より良くない。さらに動画ではよろめいた	3.1 h、$2.79
upR2（奥の手）	upR1-209.7M	同上	209.7M を採用：空中 54/54、正面から 3–17° のずれで終わる（upR1 は最大30°）、転倒なし。バッグの命中 25/54（upR1 は38）	2.5 h、$2.70
upL3（前の手）	upL2-209.7M	向きの項を ×0.3 から ×1.0 に	不採用：空中への遠いアッパーカットはまだ 14–45° ずれて終わる。動画のシードの1つは99°回る	2.6 h、$2.16
upL4（前の手）	upL2-209.7M	パンチのあと足を地面につけたまま、押下の半分を空中へ（以前は4分の1）	157.3M を採用：空中 54/54、1.4–2.5 cm、パンチのあとの踏み出し0、空中では 1–12° のずれで終わる	2.9 h、$2.40

upL2 と upR2 は RTX 5090 2台（$1.19/h）で並べて上限の2時間学習させ、それぞれ約 214 M と 218 M ステップでした。upL3 と upL4 は、5090 に空きがなかったので RTX 4090（$0.89/h）で動かしました。コストにはゲート用のポッドと動画の描画も含みます。

向き：重みはレバーではなかった

ゲートは今では、各押下の 1–3 s 後の腰の回転を測ります。--face-fixed を使うと、奥の手のアッパーカットはどの狙いでも正面に戻り、前の手のアッパーカットもバッグでは正面に戻りました（upL2-209.7M で 3 s 時点 2–5°）。空中への前の手の遠いアッパーカットは戻りませんでした。腰を右に回すと左肩が前に出るので、0.19 m 遠い標的に届かせるにはそれが楽な方法だったのです。upL3 で向きの項を 0.3 から 1.0 に上げても、採用に値する変化はありませんでした。

よろめき

upL2-209.7M の長い動画について、私は空中への遠いアッパーカットのスクリーンショットを送り、「ここでバランスを崩した」と言いました。パンチのあと、両足がほぼ一直線に並んだまま片足で跳ねていたのに、ゲートは転倒として数えていませんでした。ゲートは今では、パンチのあとの踏み出しの回数と、足の最大の浮き上がりを数えます。そうして測ると、前の手のアッパーカットのモデルはどれも空中の遠い列でよろめいており（upL2-209.7M で1–2歩、足が 7–9 cm 浮く）、生徒の distill4 が最もひどい結果でした（2–3歩、9–17 cm）。バッグではどれもよろめかず、奥の手のアッパーカットは一度もよろめきませんでした。当てるものがないと、届かせようとする動きで体が前に持っていかれ、しかも標的のない押下は4分の1しかなかったのです。

修正は私が選びました。パンチが終わったら足を地面につけたままにすることへの報酬と、空中への遠いアッパーカットを増やすことで、届く距離は 0.19 m のままにしました。それが upL4 で、足以外のことも直りました。どのスナップショットも空中への遠いアッパーカットのあとに足を踏みしめ（踏み出し0、足は約 1 cm 以内）、upL1 以来伸びなかった遠い端もついに覚えました。空中の命中 54/54 です。バッグの命中は、これまでの前の手のアッパーカットすべてと同じく 0/54 のままでした。バッグに約 4 m/s で届くので、命中とされる速度に達しないためです。

upL4 の最初のポッドは、学習プログラムには問題がなかったのに、ネットワークボリュームからの取得が1回失敗しただけ（「Connection reset by peer」）でランチャーに終了させられました。ランチャーは今では、ランの途中での取得の失敗をログに記録し、次の取得で追いつかせるようになっています。ランは2つ目のポッドで再開し、170.4 M で終了しました。

その後

upL4-157.3M と upR2-209.7M は、私が動画を見るまでの暫定として採用し、そのまま生徒 distill7 に組み込みました。私が distill7 を合格にしたとき（「良さそうだね」）、2つの教師は暫定ではなくなりました。

すべてのラン

kakuto-mlのラン記録から作成しています。各ランのマシン、課金された時間とコストです（EC2のランはランのログからの推定値です）。

← すべての作業ログ