https://3rdlayer.uk/ja/tags/deep-learning/Recent content in Deep Learning on 3rd layerHugo -- 0.154.5ja-JPSun, 28 Jun 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/relu-piecewise-affine/Sun, 28 Jun 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/relu-piecewise-affine/ReLU活性化を使うネットワークは、実は入力空間を多面体の断片に分割し、各断片の上でちょうど一つのアフィン写像に崩れる。この視点をニューロン一つからインタラクティブデモまで積み上げて解説する。https://3rdlayer.uk/ja/posts/kmeans-weight-quantization/Sat, 06 Jun 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/kmeans-weight-quantization/ニューラルネットの重みをK-Meansで少数の代表値にまとめると、精度をほとんど落とさずにモデルを数倍小さくできる。クラスタが収束する様子とストレージが縮む様子を実際に動かせるインタラクティブなウィジェットと共に見ていく。(Deep Compression, Han et al. 2016)https://3rdlayer.uk/ja/posts/linear-quantization/Sat, 09 May 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/linear-quantization/重みを整数で保存するだけでなく、乗算・加算まで全部整数演算で推論する方法。アフィン写像 r = S(q − Z) で実数と整数をつなぎ、scaleとzero pointを直接変えながら量子化誤差を確認できるウィジェットと共に見ていく。(Jacob et al. 2018、TFLite整数量子化の基盤)https://3rdlayer.uk/ja/posts/numeric-data-types/Sun, 12 Apr 2026 00:00:00 +0000https://3rdlayer.uk/ja/posts/numeric-data-types/INT8, FP16, BF16, FP8, FP4 — ディープラーニングで頻出するデータ型が実際に何を意味し、ビットがどう数値に解釈されるのかを一つずつ分解する。ビットを直接クリックすると計算式と値がリアルタイムで変わるウィジェット付き。