마지막 편의 질문은 하나다. 어텐션 그림을 관찰하는 것과 모델의 계산을 역설계하는 것은 무엇이 다른가.
예를 들어 어떤 헤드가 주어 토큰을 본다는 그림만으로는 그 헤드가 무엇을 옮기는지 알 수 없다. Framework는 QK 회로로 “어디를 보는가”를, OV 회로로 “무엇을 옮기는가”를 따로 확인한다. 이번 편에서는 이런 접근이 앞선 비전 회로 연구, 어텐션 분석, 로짓 렌즈와 어떻게 이어지는지 살펴본다.
직계: 비전 모델의 Circuits
가장 직접적인 조상은 같은 저자들이 Distill에서 진행했던 Circuits 스레드다. InceptionV1 같은 CNN에서 곡선 검출기, 고리 모양 검출기 같은 특징과 그것들을 잇는 회로를 역설계했던 작업. 신경망을 가중치 수준에서 읽어낼 수 있다는 믿음과 방법론적 태도가 거기서 왔다. 이 논문은 그 프로그램을 트랜스포머로 옮긴 것이다. 다만 비전과 언어의 차이 때문에 도구는 새로 만들어야 했고, 그 결과가 잔차 스트림(residual stream) 관점과 QK/OV 분해다.
흥미로운 규모 전망도 남긴다. 어텐션 전용 회로는 헤드라는 크고 대체로 선형적인 덩어리 단위로 읽을 수 있다. 아주 큰 모델도 헤드 수는 수천 개 수준이라, 하나하나 전부 살펴보는 것이 불가능해 보이지 않는다는 것이다. 작은 비전 모델에서는 뉴런이 해석 불가능해 막혔던 것과 달리, 작은 어텐션 전용 모델 연구가 훨씬 순조로웠다는 대비도 기록되어 있다.
어텐션 분석의 계보
트랜스포머의 어텐션을 들여다보는 연구는 이전에도 많았다. BERT의 헤드들이 구문 관계를 따라가는 경향을 관찰한 연구, 헤드 대부분을 잘라내도 성능이 유지된다는 프루닝 연구, 어텐션 가중치를 설명으로 볼 수 있는가를 둘러싼 논쟁까지.
이 계보와 Framework의 차이는 야심의 크기다. 기존 연구 다수는 어텐션 패턴을 관찰하고 통계적 경향을 보고한다. Framework는 가중치 자체에서 알고리즘을 읽어내려 한다. 패턴이 어떻다가 아니라, 왜 그 패턴이 계산되는지를 행렬 곱으로 보여주는 것. 관찰과 역설계의 차이다.
특히 “어텐션 가중치는 설명인가"라는 논쟁에 대해, 이 프레임워크는 구체적인 답을 내놓는다. 헤드가 1차 항으로 고립되어 작동할 때는 패턴을 곧이곧대로 읽어도 된다. 합성(composition)이 개입한 고차 항에서는 그 독해가 오독이 된다. 인덕션 헤드(induction head)가 좋은 실례다. 패턴만 봐도 많은 것이 설명되지만, 그 패턴이 이전 토큰 헤드(previous token head)와의 K-합성(K-Composition)으로 만들어진다는 사실을 모르면 이전 토큰 헤드의 역할을 완전히 오해하게 된다. 어텐션이 설명이 되는 조건과 안 되는 조건을 유형화한 셈이다.
로짓 렌즈와 잔차 스트림 관점
커뮤니티에서 나온 로짓 렌즈(logit lens) 계열의 실험도 언급할 만하다. 중간 층의 잔차 스트림에 언임베딩을 미리 적용해 보면 모델의 잠정 예측이 층을 지나며 다듬어지는 과정이 보인다는 관찰이다. 잔차 스트림을 모델의 작업 공간으로 보는 직관을 공유하며, Framework는 그 직관에 수학적 지위를 부여했다고 볼 수 있다.
공개 검증이라는 문화
논문 본문은 아니지만, Transformer Circuits 스레드가 외부 연구자의 리뷰와 재현을 Comments & Replications로 문서에 붙여두는 관행도 기록해 둘 만하다. 주장과 검증을 한 페이지에 두는 방식은 이 분야의 좋은 전통이 됐다.
시리즈 다음 순서
Framework 읽기는 여기까지다. 일곱 편을 요약하면 이렇다. 트랜스포머를 경로의 합으로 펼치는 언어를 만들었고, 그 언어로 가장 작은 모델들을 완전히 읽었고, 인덕션 헤드라는 실제 메커니즘을 발견했고, MLP라는 다음 문제를 정확히 지목했다.
다음은 그 MLP 문제의 정면 돌파, Toy Models of Superposition이다.
원문: A Mathematical Framework for Transformer Circuits의 Related Work 섹션.