解釈可能性

学習済みのニューラルネットワークは動きますが、その仕組みを書き下した人はいません。知識は、学習が決めた何千、何十億という重みに散らばっています。解釈可能性とは、その一部を読み取る作業です。判断がどの入力に依存していたのか、あるニューロンやニューロンの集まりが何を表しているのか、ある振る舞いにネットワークのどの部分が必要なのか。

見る方法

• 活動を記録する。 選んだ入力でネットワークを動かし、隠れ層のすべてのニューロンの動きを記録します。ある状況に反応して他には反応しないニューロンは、それが何を表すかのヒントになります。
• パターンを比べる。 ある状況に対する層全体の反応を1つのベクトルとみなし、状況同士を、たとえばコサイン類似度で比べます。ネットワークが同じように扱う状況は、似たベクトルになります。
• プロービング。 小さく単純なモデルを学習させて、層の活動からある量（たとえば体がどちらへ倒れているか）を読み取らせます。読み取れれば、その層はその情報を持っています。
• アブレーション。 ニューロンをオフにするか、安静時の値に固定して、何が壊れるかを見ます。「一緒に起きる」から「必要である」へ進む一歩です。

記録と比較でわかるのは何が一緒に起きるかで、何が何の原因かを示せるのはアブレーションのような実験だけです。

このプロジェクトでは

ムエタイの技のトルクと神経の可視化では、生徒モデル distill9-196.6M の第2層（512ニューロン）を、押し、ノックダウン、14の技を通して記録しています。入力（押下）の次のティックで108–140個のニューロンが点灯します。クロスと奥の手のフックは、最もよく反応する40個のうち28個を共有し、ジャブと左ハイキックは2個だけです。アブレーションはまだ行っていません。