混合エキスパート

モデルのどの部分も大きくせずに余裕を持たせる方法のひとつは、モデルを分けることです。混合エキスパートは、エキスパートと呼ばれる複数のネットワークと、入力を見て各エキスパートへの重みを出す小さなゲーティングネットワークからなります。答えは、エキスパートたちの出力をその重みで混ぜたものです。

$$y(x) = \sum_{k} g_k(x)\, e_k(x), \qquad \sum_k g_k(x) = 1$$

エキスパートは専門化でき、それぞれがゲートから回されてくる入力を得意になっていくので、スキルを足しても古いスキルが押し出されるとは限りません。大規模言語モデルでは、入力ごとに少数のエキスパートだけを動かす疎な混合を使い、1ステップあたりの計算を増やさずに重みの数を増やしています。

体の制御については、Peng et al.（2019）がMCP（multiplicative compositional policies、乗法的合成方策）を提案しました。各エキスパートが行動の分布を提案し、ゲートがそれらを掛け合わせて組み合わせるので、複数の「基本」スキルが同時に働けます。1つが脚を操り、別の1つが腕を操る、といった具合です。

このプロジェクトでは

ファイターの1つのネットワークに余裕がなくなった場合に備えた計画で、大きめの選択肢のひとつでした。ネットワークの大きさの実験で、ネットワークを単に広く深くするだけで、どのスキルにも十分な余裕ができることがわかったので、ファイターは今のところ1つのネットワークのままです（モデルの容量を参照）。