重みを共有してモデルを小さくする — K-Meansベース量子化
ニューラルネットの重みをK-Meansで少数の代表値にまとめると、精度をほとんど落とさずにモデルを数倍小さくできる。クラスタが収束する様子とストレージが縮む様子を実際に動かせるインタラクティブなウィジェットと共に見ていく。(Deep Compression, Han et al. 2016)
AI
整数演算だけでニューラルネットを推論する — Linear Quantization
重みを整数で保存するだけでなく、乗算・加算まで全部整数演算で推論する方法。アフィン写像 r = S(q − Z) で実数と整数をつなぎ、scaleとzero pointを直接変えながら量子化誤差を確認できるウィジェットと共に見ていく。(Jacob et al. 2018、TFLite整数量子化の基盤)
ディープラーニング時代のデータ型
INT8, FP16, BF16, FP8, FP4 — ディープラーニングで頻出するデータ型が実際に何を意味し、ビットがどう数値に解釈されるのかを一つずつ分解する。ビットを直接クリックすると計算式と値がリアルタイムで変わるウィジェット付き。
LLMにも思考スタイルがあるか？フロンティアモデル5種REI-40実験
REI-40二重処理性格検査をフロンティアLLM5種に実施した。中立回答者から合理的熱狂者まで、モデルごとに独自の「思考スタイル」プロファイルが明らかになった。
Sparse AutoencoderでGPT-2の感情を操る
OpenAIのPretrained SAEでGPT-2内部の感情Featureを発見し、SAEをゼロから学習するまで。Feature Patchingで’good person’を’shit’に変える実験。
K-means, GMM, EM：クラスタリングの三重マトリョーシカ
K-meansは実はGMMの極端なケースであり、GMMはEMアルゴリズムの代表的な応用である。三つがどのように一つのフレームワークで繋がるのか、そして情報幾何学がこの関係をどう説明するのかを直感的に解説する。
情報幾何学：AIはどのように「最も効率的に」学ぶのか
ニュートンのF=maが物理世界を説明するように、情報幾何学はAIの学習過程を説明します。初心者向けの直感的な解説。