트랜스포머 회로 2: 트랜스포머 다시 보기
Framework 논문 읽기 2편. 잔차 스트림을 통신 채널로, 어텐션 헤드를 독립적인 정보 이동 장치로 다시 그린다. 가상 가중치와 QK/OV 분해까지.
트랜스포머 회로 1: 결과 요약
Framework 논문 읽기 1편. 작은 어텐션 전용 모델을 모델 생물 삼아 트랜스포머를 완전히 역설계하려는 시도, 그리고 그 핵심 결과들의 지도.
기계적 해석가능성: 시작을 위한 무료 자료
학습된 신경망을 회로 단위로 역설계하기. Anthropic의 Transformer Circuits 스레드와 몇 가지 동반 자료가 전부 무료다. 이 시리즈를 여는 김에 어디서 시작할지 정리한다.
Sparse Autoencoder로 GPT-2의 감정을 조종하기
OpenAI의 Pretrained SAE로 GPT-2 내부의 감정 Feature를 찾아내고, 직접 SAE를 학습하는 과정까지. Feature Patching으로 ‘good person’을 ‘shit’로 바꾸는 실험.
K-means, GMM, EM: 클러스터링의 세 겹 러시안 인형
K-means는 사실 GMM의 극단적 경우이고, GMM은 EM 알고리즘의 대표적 응용이다. 세 가지가 어떻게 하나의 프레임워크 안에서 연결되는지, 그리고 정보 기하학이 이 관계를 어떻게 설명하는지 직관적으로 풀어본다.
강화학습 10강: 게임 속 강화학습
데이비드 실버 강의 10강. 사례 연구. 게임이론으로 본 최선 대응과 내시 균형, 미니맥스 탐색과 이진-선형 가치함수, 자기 대국 강화학습, 미니맥스와 강화학습의 결합, 그리고 포커 같은 불완전정보 게임. 치누크·딥블루·로지스텔로·TD-개먼·메이븐을 관통하는 하나의 레시피.
강화학습 9강: 탐험과 활용
데이비드 실버 강의 9강. 지금 아는 걸 써먹을까(활용), 더 알아볼까(탐험)? 이 딜레마를 다섯 원리로 묶고, 다중 슬롯머신에서 후회와 하한, UCB, 톰프슨 표집, 정보 상태 탐색까지, 그리고 문맥 밴딧과 MDP로의 확장을 따라간다.
강화학습 8강: 학습과 계획의 통합
데이비드 실버 강의 8강. 경험에서 환경 모델을 배우고 그 모델로 계획한다. 모델 학습은 지도학습, AB 예제, Dyna와 Dyna-Q+, 몬테카를로 트리 탐색과 바둑, TD 탐색과 Dyna-2.
강화학습 7강: 정책 경사
데이비드 실버 강의 7강. 가치를 거치지 않고 정책을 직접 최적화한다. 우도비 트릭과 스코어 함수, REINFORCE, 베이스라인과 이점, 액터-크리틱, 자연 정책 경사, 그리고 여섯 얼굴을 하나로 묶는 요약.
강화학습 6강: 가치함수 근사
데이비드 실버 강의 6강. 상태가 너무 많아 표로 다 못 적는 큰 문제를 파라미터 몇 개로 근사한다. 경사하강으로 특징을 학습하는 증분법, 마운틴 카와 부트스트랩 논쟁, 오프폴리시가 발산하는 베어드 반례, 그리고 경험을 모아 푸는 배치법과 DQN까지.