重みを共有してモデルを小さくする — K-Meansベース量子化
ニューラルネットの重みをK-Meansで少数の代表値にまとめると、精度をほとんど落とさずにモデルを数倍小さくできる。クラスタが収束する様子とストレージが縮む様子を実際に動かせるインタラクティブなウィジェットと共に見ていく。(Deep Compression, Han et al. 2016)
K-Means
K-means, GMM, EM：クラスタリングの三重マトリョーシカ
K-meansは実はGMMの極端なケースであり、GMMはEMアルゴリズムの代表的な応用である。三つがどのように一つのフレームワークで繋がるのか、そして情報幾何学がこの関係をどう説明するのかを直感的に解説する。