筋肉、ステージ2：本物の脚の筋肉

ステージ1の筋肉は、固定のてこで関節に直接作用します。本物の脚の筋肉は骨の上を通る経路に沿って走り、そのてこは角度によって変わり、2つの関節をまたぐものもあります。ステージ2では、MyoSuite（オープンソース、Apache-2.0）の脚の筋肉をファイターの脚に合わせてスケールして使います。まず MyoLeg26（片脚13本の筋肉、26本の腱の経路、ステージ2a）、次に完全な MyoLeg（片脚40本、骨に巻きつく、ステージ2b）です。腰より上はすべてステージ1の関節ペアのままです。各筋肉のモーメントアームは、それがまたぐすべての関節で MyoSuite 自身のモデルと照合しました。どこでも2.2 cm以内です。

ラン

ラン	内容	結果
muscle2a, muscle2a2	最初に作った2a、シード2つ	転ばないことは覚えたが、構えは覚えなかった：脚をまっすぐにして背筋を伸ばし、腕を広げて立つ（姿勢 0.01）
muscle2n, muscle2n2	トルクが中立なゼロ行動を持つ2a（構えが保たれるよう、各筋肉の静止時の興奮を設定）	46.2 M / 76.9 Mステップでトレーナーのテストに合格。ただし後ろ脚はまっすぐで後方に振れたまま（姿勢 0.21〜0.24）
muscle2c15, muscle2c20	股関節外転筋を1.5倍と2倍に（原因についての私の最初の推測）	まったく同じ姿勢：原因ではなかった。後ろ脚は股関節と膝関節の可動限界に寄りかかり、筋肉は休んでいた
mbaseL	関節の可動限界の近くで休むことにコストをかけたサーボの体、シード2つ（対照）	以前と同じく解けた、12.3 M / 12.1 Mステップ
muscle2L, muscle2L2	関節の可動限界のコストを加えた2a	後ろ脚が構えを取る（膝 33〜35°、姿勢 0.84）が、上限の0.75 hまで転倒は7〜8%のまま。30分の延長では崩壊した
muscle2G, muscle2G2	muscle2L から、学習率を3分の1（1e-4 と 5e-5）、PPO のエポックを半分に、崩壊ガード付き	さらに6.6 Mステップ以内で解けた。転倒 3%、姿勢 0.90
muscle2S, muscle2S2	その設定で2aを一から	33.1 M / 49.6 Mステップで解けた：サーボの2.6倍 / 3.9倍
muscle2b, muscle2b2	2b、完全な MyoLeg（142本の筋肉）、同じ設定	63.3 M / 73.5 Mステップで解けた：サーボの4.9倍 / 5.8倍、一発で

わかったこと

筋肉の体には必要で、サーボの体には必要ないものが3つありました：

1. トルクが中立なゼロ行動。 ステージ1の対称なペアでは、すべての筋肉が半分の興奮のとき、どの関節も回りません。本物の脚の筋肉では最大約180 N mずれていて、方策（ポリシー）はそこから構えを見つけられませんでした。
2. 関節の可動限界に寄りかかることへのコスト。 可動限界に押しつけたまっすぐな脚は、シミュレーションの骨によって、筋肉を使わずにただで支えられます。方策はそれを見つけ、そのままにしました。このコストは物理を何も変えず、サーボの体はそれに気づきもしません。
3. 小さめの方策の更新。 構えの姿勢でのバランスは転倒7〜15%で頭打ちになり、PPO のデフォルト設定では崩壊しました。学習率を3分の1、エポックを半分にすると、数百万ステップで解けました。

採用：muscle2S-33.1M（2a）と muscle2b-63.3M（2b）。どちらの動画も確認のため私に送られました。次は、筋肉の体でのスキル（ステージ3）です。

すべてのラン

kakuto-mlのラン記録から作成しています。各ランのマシン、課金された時間とコストです（EC2のランはランのログからの推定値です）。

← 「モーターの代わりに筋肉で」のすべての作業ログ