가중치를 공유해서 모델 줄이기 — K-Means 기반 양자화
신경망 가중치를 K-Means로 몇 개의 대표값으로 묶으면, 정확도를 거의 잃지 않고 모델을 몇 배로 줄일 수 있다. 클러스터가 수렴하는 과정과 저장 용량이 줄어드는 걸 직접 돌려보는 인터랙티브 위젯과 함께 살펴본다. (Deep Compression, Han et al. 2016)
Quantization
정수 연산만으로 신경망 추론하기 — Linear Quantization
가중치를 정수로 저장하는 것을 넘어, 곱셈·덧셈까지 전부 정수 연산으로 추론하는 방법. 아핀 매핑 r = S(q − Z)로 실수와 정수를 잇고, scale과 zero point를 직접 바꿔가며 양자화 오차를 확인하는 위젯과 함께 살펴본다. (Jacob et al. 2018, TFLite 정수 양자화의 기반)