自明な並列

実行中に互いにやり取りする必要がまったくないタスクに分けられる仕事は、自明な並列（embarrassingly parallel）だといいます。$n$ 台のマシンがあれば、そうしたタスク $n$ 個にかかる時間は、1個のときとほぼ同じです。共有される作業は、最初に入力を配ることと、最後に結果を集めることだけです。

たいていの仕事はそうではありません。たとえば1つの学習ランは1組の重みを更新し、どのステップも前のステップに依存しています。1つのランを多くのマシンに分けるには、各マシンが持つ重みのコピーを揃え続ける必要があり（オールリデュースを参照）、そのための通信コストがかかります。

自明な並列の仕事のコストは、各部分を順番に実行しても一度に実行しても、各部分の合計です。一度に実行して節約できるのは経過時間であって、お金ではありません。

このプロジェクトでは

新しい技はそれぞれ、最新モデルの専用コピー、つまり1つの技だけの教師として、専用のレンタルGPUで学習します（シャドウクローン を参照）。教師どうしは学習中に何も共有しません。教師たちを再び1つにまとめる段階、つまり蒸留だけが全員を必要とします。2つの膝蹴りの教師はどの段階でも並んで学習し、4つの回避の教師は4台の RTX 5090 で1分以内に相次いで始まり、それぞれ約2.1時間、$1.14–1.56 で走りました。