가중치를 공유해서 모델 줄이기 — K-Means 기반 양자화
신경망 가중치를 K-Means로 몇 개의 대표값으로 묶으면, 정확도를 거의 잃지 않고 모델을 몇 배로 줄일 수 있다. 클러스터가 수렴하는 과정과 저장 용량이 줄어드는 걸 직접 돌려보는 인터랙티브 위젯과 함께 살펴본다. (Deep Compression, Han et al. 2016)
AI
정수 연산만으로 신경망 추론하기 — Linear Quantization
가중치를 정수로 저장하는 것을 넘어, 곱셈·덧셈까지 전부 정수 연산으로 추론하는 방법. 아핀 매핑 r = S(q − Z)로 실수와 정수를 잇고, scale과 zero point를 직접 바꿔가며 양자화 오차를 확인하는 위젯과 함께 살펴본다. (Jacob et al. 2018, TFLite 정수 양자화의 기반)
딥러닝 시대의 데이터타입
INT8, FP16, BF16, FP8, FP4 — 딥러닝에서 자주 등장하는 데이터타입들이 실제로 무슨 뜻인지, 비트가 어떻게 숫자로 해석되는지 하나씩 뜯어본다. 비트를 직접 클릭하면 계산식과 값이 실시간으로 바뀌는 위젯과 함께.
LLM에게도 사고 양식이 있을까? 프론티어 모델 5종 REI-40 실험
REI-40 이중처리 성격 검사를 프론티어 LLM 5종에 실시했다. 중립 응답자부터 합리적 열정가까지, 모델별 고유한 ‘사고 양식’ 프로필이 드러났다.
Sparse Autoencoder로 GPT-2의 감정을 조종하기
OpenAI의 Pretrained SAE로 GPT-2 내부의 감정 Feature를 찾아내고, 직접 SAE를 학습하는 과정까지. Feature Patching으로 ‘good person’을 ‘shit’로 바꾸는 실험.
K-means, GMM, EM: 클러스터링의 세 겹 러시안 인형
K-means는 사실 GMM의 극단적 경우이고, GMM은 EM 알고리즘의 대표적 응용이다. 세 가지가 어떻게 하나의 프레임워크 안에서 연결되는지, 그리고 정보 기하학이 이 관계를 어떻게 설명하는지 직관적으로 풀어본다.
정보 기하학: AI는 어떻게 '가장 효율적으로' 배우는가
뉴턴의 F=ma가 물리 세계를 설명하듯, 정보 기하학은 AI가 배우는 과정을 설명합니다. 초보자를 위한 직관적 해설.