Framework読みを締めくくる回だ。論文のRelated Workセクションに沿って、この仕事がどんな地形の上に立っているかを整理する。孤立した天才の発明ではなく、いくつもの流れの合流点であることが見えてくる。
直系: ビジョンモデルのCircuits
最も直接的な祖先は、同じ著者たちがDistillで進めていたCircuitsスレッドだ。InceptionV1のようなCNNで、曲線検出器などの特徴とそれらをつなぐ回路をリバースエンジニアリングした仕事。ニューラルネットは重みの水準で読めるという信念と方法論的態度は、そこから来た。この論文はそのプログラムをトランスフォーマーに移したものだ。ただしビジョンと言語の違いのために道具は作り直す必要があり、その結果が残差ストリーム(residual stream)の視点とQK/OV分解だ。
興味深いスケール展望も残している。アテンション専用の回路は、ヘッドという大きくおおむね線形な塊の単位で読める。非常に大きなモデルでもヘッド数は数千個の水準なので、一つ残らず見ていくことが不可能には見えない、というのだ。小さなビジョンモデルではニューロンが解釈不能で行き詰まったのに対し、小さなアテンション専用モデルの研究ははるかに順調だったという対比も記録されている。
アテンション分析の系譜
トランスフォーマーのアテンションを覗き込む研究は以前から多かった。BERTのヘッドが構文関係を追う傾向を観察した研究、ヘッドの大部分を刈り取っても性能が保たれるというプルーニング研究、アテンション重みを説明と見なせるかをめぐる論争まで。
この系譜とFrameworkの違いは野心の大きさだ。既存研究の多くはアテンションパターンを観察し、統計的傾向を報告する。Frameworkは重みそのものからアルゴリズムを読み取ろうとする。パターンがどうであるかではなく、なぜそのパターンが計算されるのかを、行列積として示すこと。観察とリバースエンジニアリングの違いだ。
特に「アテンション重みは説明か」という論争に対して、このフレームワークは具体的な答えを出す。ヘッドが1次の項として孤立して働くときは、パターンを額面どおり読んでよい。合成(composition)が絡む高次の項では、その読み方は誤読になる。誘導ヘッド(induction head)が格好の実例だ。パターンだけでも多くを説明できるが、そのパターンが直前トークンヘッド(previous token head)とのK-合成(K-Composition)で作られていることを知らなければ、直前トークンヘッドの役割を完全に誤解してしまう。アテンションが説明になる条件とならない条件を、類型化してみせたわけだ。
ロジットレンズと残差ストリームの視点
コミュニティから出たロジットレンズ(logit lens)系の実験も挙げておく価値がある。中間層の残差ストリームに逆埋め込みを先に適用してみると、モデルの暫定予測が層を経て磨かれていく過程が見える、という観察だ。残差ストリームをモデルの作業空間と見る直観を共有しており、Frameworkはその直観に数学的な地位を与えたと見ることができる。
公開検証という文化
論文本文ではないが、Transformer Circuitsスレッドが外部研究者のレビューと再現をComments & Replicationsとして文書に添えておく慣行も記録しておきたい。主張と検証を同じページに置くやり方は、この分野の良い伝統になった。
シリーズの次の順番
Framework読みはここまでだ。七回をまとめるとこうなる。トランスフォーマーを経路の和として開く言語を作り、その言語で最小のモデルたちを完全に読み、誘導ヘッドという実際のメカニズムを発見し、MLPという次の問題を正確に指名した。
次はそのMLP問題への正面突破、Toy Models of Superpositionだ。
原文: A Mathematical Framework for Transformer Circuits のRelated Workセクション。