Posts

Framework論文を読む、第6回。このフレームワークが確保したものと、できなかったもの。MLPという壁、そしてこの論文が予告する次の研究たち。

Framework論文を読む、第5回。層が二つになるとヘッドがヘッドと合成される。Q-、K-、V-合成の三種類、そしてこの論文最大の発見である誘導ヘッドの仕組み。

Framework論文を読む、第4回。アテンション1層のモデルを経路展開で完全に開く。スキップトライグラム、コピーヘッドと正の固有値、そして分解構造が生む特有のバグまで。

Framework論文を読む、第3回。アテンションが一つもないトランスフォーマーは何を学ぶのか。答えはバイグラム統計。そしてこの答えは、大きなモデルの直接経路を理解する鍵になる。

Framework論文を読む、第2回。残差ストリームを通信チャネルとして、アテンションヘッドを独立した情報移動装置として描き直す。仮想重みとQK/OV分解まで。

Framework論文を読む、第1回。小さなアテンション専用モデルをモデル生物として、トランスフォーマーを完全にリバースエンジニアリングする試み。その主要結果の地図。

学習済みニューラルネットを回路単位で逆解析する。AnthropicのTransformer Circuitsスレッドといくつかの併走資料は、すべて無料だ。このシリーズを開くにあたり、どこから始めるかをまとめる。

OpenAIのPretrained SAEでGPT-2内部の感情Featureを発見し、SAEをゼロから学習するまで。Feature Patchingで’good person’を’shit’に変える実験。

デビッド・マッケイの名著は、情報理論・推論・機械学習を一つの物語に結ぶ。本も講義動画もすべて無料だ。このシリーズを開くにあたり、どこで入手できるかをまとめる。

K-meansは実はGMMの極端なケースであり、GMMはEMアルゴリズムの代表的な応用である。三つがどのように一つのフレームワークで繋がるのか、そして情報幾何学がこの関係をどう説明するのかを直感的に解説する。