隠れ層

ニューラルネットワークは、入力のベクトルを段階的に出力のベクトルへ変えます。入力を受け取るのでも答えを出すのでもない、その間の段階が隠れ層です。「隠れ」とは、外からその数が見えないという意味にすぎません。

ニューロン

隠れ層の各ユニットはよくニューロンと呼ばれ、前の層全体 $x$ から1つの数を計算します。重み付きの和にバイアスを足し、非線形関数 $\sigma$ に通します。

$$h_i = \sigma\!\left(\sum_j W_{ij}\, x_j + b_i\right)$$

重み $W_{ij}$ とバイアス $b_i$ は学習で決まります。512ニューロンの層からはこうした数が512個出てきます。これがその層の活性で、次の層がそれを読みます。

ニューロンが意味するもの

ニューロンに役割を割り当てる人はいません。学習はネットワークの出力が良くなるように重みを調整し、ニューロンは役に立つ役割を何であれ身につけます。1つのはっきりしたものに反応するものもあれば、多くは混ざったものに反応します。どちらなのかを調べるのが解釈可能性です。

このプロジェクトでは

生徒モデル distill9-196.6M は、465の入力と48の関節指令の間に、512個のELUニューロンの隠れ層を2つ持っています。トルクとニューロンの記事では、第2層の各ニューロンをラスターの1行として描き、静かに立っているときに対するzスコアが3を超えると点灯させています。立っているときは1つも点灯せず、技のピークでは179–232個が点灯します。