ReLU 네트워크는 거대한 조각별 어파인 함수다
ReLU 활성함수를 쓰는 신경망은 사실 입력공간을 다면체 조각으로 나누고, 각 조각 위에서 정확히 하나의 어파인 사상으로 붕괴한다. 이 관점을 뉴런 하나부터 인터랙티브 데모까지 층층이 쌓아 설명한다.
Deep-Learning
가중치를 공유해서 모델 줄이기 — K-Means 기반 양자화
신경망 가중치를 K-Means로 몇 개의 대표값으로 묶으면, 정확도를 거의 잃지 않고 모델을 몇 배로 줄일 수 있다. 클러스터가 수렴하는 과정과 저장 용량이 줄어드는 걸 직접 돌려보는 인터랙티브 위젯과 함께 살펴본다. (Deep Compression, Han et al. 2016)
정수 연산만으로 신경망 추론하기 — Linear Quantization
가중치를 정수로 저장하는 것을 넘어, 곱셈·덧셈까지 전부 정수 연산으로 추론하는 방법. 아핀 매핑 r = S(q − Z)로 실수와 정수를 잇고, scale과 zero point를 직접 바꿔가며 양자화 오차를 확인하는 위젯과 함께 살펴본다. (Jacob et al. 2018, TFLite 정수 양자화의 기반)
딥러닝 시대의 데이터타입
INT8, FP16, BF16, FP8, FP4 — 딥러닝에서 자주 등장하는 데이터타입들이 실제로 무슨 뜻인지, 비트가 어떻게 숫자로 해석되는지 하나씩 뜯어본다. 비트를 직접 클릭하면 계산식과 값이 실시간으로 바뀌는 위젯과 함께.