論文の締めくくりのセクションだ。2層のトイモデルまで来て振り返ると、得たものと残ったものが並んで見える。
確保したもの
アテンション専用モデルに限れば、成果は明確だ。残差ストリーム(residual stream)と仮想重み(virtual weights)という見る枠組み、QK/OVという分析単位、経路展開(path expansion)という計算道具。そしてこの枠組みが実際に機能する証拠としての誘導ヘッド(induction head)。スキップトライグラム(skip-trigram)のバグのように構造から誤りを予測した事例は、この理解が後付けの説明ではなく予測力のある理解だと示している。
何より、語彙ができた。以後の解釈可能性研究は、この論文の用語で語られる。
そしてこの成果はトイモデルに閉じ込められない。普通のトランスフォーマーの中にも、主にアテンションだけで媒介される回路がある。MLPがそばにあっても、アテンションヘッドは相変わらず残差ストリームの上で互いに、そして埋め込みと直接相互作用するからだ。モデル全体は分からなくても、その部分は今の道具でただちにリバースエンジニアリングできる。
壁: MLP
残ったものの一覧は、実質的に一つに収束する。MLP層だ。標準的なトランスフォーマーのパラメータの3分の2はMLPにあるが、この論文のきれいな分析はアテンション専用という単純化の上に成り立っていた。状況はそれより悪い、と論文は付け加える。多くのアテンションヘッドがMLPと相互作用するため、MLP抜きで理解できる割合は、残りの3分の1よりもさらに小さい。
MLPが難しいのは非線形性のせいだ。経路展開の力は線形性から来ていた。モデルを独立した項の和に分解できたのは、残差ストリームとアテンションの重み付き和がすべて線形だったからだ。MLPの非線形活性化は、まさにこの分解を阻む。
経験的な難しさもある。MLPのニューロンは、一つが一つの概念に対応するきれいな絵をなかなか見せてくれない。一つのニューロンが複数の意味に反応する多義性(polysemanticity)がよくある。なぜそうなるのかに対するこのチームの後の答えが重ね合わせ(superposition)仮説であり、それを掘る論文がToy Models of Superpositionだ。このシリーズが次に読む論文でもある。
図1. MLP層の構造。読みと書きは依然として線形だが、中央のGeLU非線形性が経路展開を阻む。
予告された次の一歩
論文が開いておいた方向は大きく二つある。
一つは上への拡張。2層で見つけた誘導ヘッドが、本当に大規模なモデルでも文脈内学習(in-context learning)のメカニズムなのかを確認することだ。この問いは翌年のIn-context Learning and Induction Heads論文につながる。
もう一つは横への拡張。MLPを扱える理論を作ることだ。重ね合わせ仮説、そして数年後の辞書学習ベースの特徴分解(SAE)研究がこの系譜にある。
このセクションの読み方
研究プログラムの中間報告として読むのがよい。完成した理論の宣言ではなく、どこまで来てどの壁の前に立っているかの正直な記録だ。そして壁に正確な名前を付けてあるから、後続の論文が何を攻めているのかが明確になる。良い研究プログラムは、答えだけでなく次の問いを生産する。
今回の要点
- アテンション専用モデルについては、予測力のある理解と標準語彙を確保した。
- 残る壁はMLP。非線形性が経路展開を阻み、多義性がニューロン単位の解釈を阻む。
- 誘導ヘッドの大規模モデルでの検証と重ね合わせ仮説が、次の論文として予告されている。
次回は最終回として、この論文がどんな研究地形の上に立っているかを整理したRelated Workだ。
原文: A Mathematical Framework for Transformer Circuits のWhere Does This Leave Us?セクション。本文の図は原文からの引用。