Framework 논문 읽기 4편. 어텐션 층 하나짜리 모델을 경로 전개로 완전히 펼친다. 스킵 트라이그램, 복사 헤드와 양의 고유값, 그리고 분해 구조가 낳는 특유의 버그까지.

Framework 논문 읽기 3편. 어텐션이 하나도 없는 트랜스포머는 무엇을 배우는가. 답은 바이그램 통계, 그리고 이 답은 큰 모델의 직접 경로를 이해하는 열쇠가 된다.

Framework 논문 읽기 2편. 잔차 스트림을 통신 채널로, 어텐션 헤드를 독립적인 정보 이동 장치로 다시 그린다. 가상 가중치와 QK/OV 분해까지.

Framework 논문 읽기 1편. 작은 어텐션 전용 모델을 모델 생물 삼아 트랜스포머를 완전히 역설계하려는 시도, 그리고 그 핵심 결과들의 지도.

학습된 신경망을 회로 단위로 역설계하기. Anthropic의 Transformer Circuits 스레드와 몇 가지 동반 자료가 전부 무료다. 이 시리즈를 여는 김에 어디서 시작할지 정리한다.

OpenAI의 Pretrained SAE로 GPT-2 내부의 감정 Feature를 찾아내고, 직접 SAE를 학습하는 과정까지. Feature Patching으로 ‘good person’을 ‘shit’로 바꾸는 실험.

데이비드 맥케이 정보이론 강의 3강. 편향 동전 복권에서 전형적인 문자열을 세어 보고, 긴 자료가 기호당 엔트로피에 가까운 비트로 압축되는 이유를 정보원 부호화 정리로 이해한다.

데이비드 맥케이 정보이론 강의 2강. 놀라운 사건일수록 정보가 많다는 생각에서 정보량과 엔트로피를 정의하고, 확률과 이진 부호 길이가 어떻게 연결되는지 살펴본다.

데이비드 맥케이 정보이론 강의 1강. 압축과 잡음 있는 통신, 추론이 왜 같은 확률의 언어로 만나는지 살펴보고, 정보이론이 묻는 두 가지 근본 한계를 세운다.

데이비드 맥케이의 명저는 정보이론, 추론, 머신러닝을 하나의 이야기로 엮는다. 책도 강의 영상도 전부 무료다. 이 시리즈를 여는 김에, 어디서 받는지 정리한다.