https://3rdlayer.uk/ja/tags/%E6%A9%9F%E6%A2%B0%E8%AB%96%E7%9A%84%E8%A7%A3%E9%87%88%E5%8F%AF%E8%83%BD%E6%80%A7/Recent content in 機械論的解釈可能性 on 3rd layerHugo -- 0.157.0ja-JPSat, 09 Aug 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-07-related-work/Sat, 09 Aug 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-07-related-work/Framework論文を読む、最終回。この論文が誰の肩の上に立っているのか、既存のアプローチと何が違うのかを整理する。https://3rdlayer.uk/ja/posts/framework-06-where-does-this-leave-us/Sat, 26 Jul 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-06-where-does-this-leave-us/Framework論文を読む、第6回。このフレームワークが確保したものと、できなかったもの。MLPという壁、そしてこの論文が予告する次の研究たち。https://3rdlayer.uk/ja/posts/framework-05-two-layer/Sat, 12 Jul 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-05-two-layer/Framework論文を読む、第5回。層が二つになるとヘッドがヘッドと合成される。Q-、K-、V-合成の三種類、そしてこの論文最大の発見である誘導ヘッドの仕組み。https://3rdlayer.uk/ja/posts/framework-04-one-layer/Sat, 28 Jun 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-04-one-layer/Framework論文を読む、第4回。アテンション1層のモデルを経路展開で完全に開く。スキップトライグラム、コピーヘッドと正の固有値、そして分解構造が生む特有のバグまで。https://3rdlayer.uk/ja/posts/framework-03-zero-layer/Sat, 14 Jun 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-03-zero-layer/Framework論文を読む、第3回。アテンションが一つもないトランスフォーマーは何を学ぶのか。答えはバイグラム統計。そしてこの答えは、大きなモデルの直接経路を理解する鍵になる。https://3rdlayer.uk/ja/posts/framework-02-transformer-overview/Sat, 31 May 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-02-transformer-overview/Framework論文を読む、第2回。残差ストリームを通信チャネルとして、アテンションヘッドを独立した情報移動装置として描き直す。仮想重みとQK/OV分解まで。https://3rdlayer.uk/ja/posts/framework-01-summary/Sat, 17 May 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/framework-01-summary/Framework論文を読む、第1回。小さなアテンション専用モデルをモデル生物として、トランスフォーマーを完全にリバースエンジニアリングする試み。その主要結果の地図。https://3rdlayer.uk/ja/posts/mech-interp-resources/Sat, 10 May 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/mech-interp-resources/学習済みニューラルネットを回路単位で逆解析する。AnthropicのTransformer Circuitsスレッドといくつかの併走資料は、すべて無料だ。このシリーズを開くにあたり、どこから始めるかをまとめる。