https://3rdlayer.uk/ja/categories/ai/Recent content in AI on 3rd layerHugo -- 0.154.5ja-JPSat, 06 Jun 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/kmeans-weight-quantization/Sat, 06 Jun 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/kmeans-weight-quantization/ニューラルネットの重みをK-Meansで少数の代表値にまとめると、精度をほとんど落とさずにモデルを数倍小さくできる。クラスタが収束する様子とストレージが縮む様子を実際に動かせるインタラクティブなウィジェットと共に見ていく。(Deep Compression, Han et al. 2016)https://3rdlayer.uk/ja/posts/linear-quantization/Sat, 09 May 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/linear-quantization/重みを整数で保存するだけでなく、乗算・加算まで全部整数演算で推論する方法。アフィン写像 r = S(q − Z) で実数と整数をつなぎ、scaleとzero pointを直接変えながら量子化誤差を確認できるウィジェットと共に見ていく。(Jacob et al. 2018、TFLite整数量子化の基盤)https://3rdlayer.uk/ja/posts/numeric-data-types/Sun, 12 Apr 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/numeric-data-types/INT8, FP16, BF16, FP8, FP4 — ディープラーニングで頻出するデータ型が実際に何を意味し、ビットがどう数値に解釈されるのかを一つずつ分解する。ビットを直接クリックすると計算式と値がリアルタイムで変わるウィジェット付き。https://3rdlayer.uk/ja/posts/llm-rei-experiment/Sat, 24 Jan 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/llm-rei-experiment/REI-40二重処理性格検査をフロンティアLLM5種に実施した。中立回答者から合理的熱狂者まで、モデルごとに独自の「思考スタイル」プロファイルが明らかになった。https://3rdlayer.uk/ja/posts/sae-steering-gpt2/Sun, 16 Feb 2025 00:00:00 +0000https://3rdlayer.uk/ja/posts/sae-steering-gpt2/OpenAIのPretrained SAEでGPT-2内部の感情Featureを発見し、SAEをゼロから学習するまで。Feature Patchingで’good person’を’shit’に変える実験。https://3rdlayer.uk/ja/posts/em-kmeans-gmm/Sun, 10 Dec 2023 00:00:00 +0000https://3rdlayer.uk/ja/posts/em-kmeans-gmm/K-meansは実はGMMの極端なケースであり、GMMはEMアルゴリズムの代表的な応用である。三つがどのように一つのフレームワークで繋がるのか、そして情報幾何学がこの関係をどう説明するのかを直感的に解説する。https://3rdlayer.uk/ja/posts/information-geometry/Sat, 09 Jan 2021 00:00:00 +0000https://3rdlayer.uk/ja/posts/information-geometry/ニュートンのF=maが物理世界を説明するように、情報幾何学はAIの学習過程を説明します。初心者向けの直感的な解説。