결산은 선명하다. 어텐션 헤드가 정보를 옮기는 방식은 상당 부분 읽어냈지만, 실제 트랜스포머의 큰 몫을 차지하는 MLP는 아직 읽지 못했다.
이 실패 지점도 성과다. 무엇을 이해했고 어디서 도구가 멈추는지 구분했기 때문에, 다음 연구가 인덕션 헤드의 대형 모델 검증과 MLP의 중첩 문제로 이어질 수 있었다.
확보한 것
어텐션 전용 모델에 한해서는 성과가 분명하다. 잔차 스트림(residual stream)과 가상 가중치(virtual weights)라는 보는 틀, QK/OV라는 분석 단위, 경로 전개(path expansion)라는 계산 도구. 그리고 이 틀이 실제로 작동한다는 증거인 인덕션 헤드(induction head). 스킵 트라이그램(skip-trigram)의 버그처럼 구조에서 오류를 예측한 사례는, 이 이해가 사후 설명이 아니라 예측력 있는 이해임을 보여준다.
무엇보다 어휘가 생겼다. 이후의 해석가능성 연구는 이 논문의 용어로 말한다.
그리고 이 성과는 장난감 모델에 갇히지 않는다. 보통의 트랜스포머 안에도 주로 어텐션으로만 매개되는 회로들이 있다. MLP가 곁에 있어도 어텐션 헤드들은 여전히 잔차 스트림 위에서 서로, 그리고 임베딩과 직접 상호작용하기 때문이다. 모델 전체는 몰라도, 그 부분들은 지금의 도구로 곧바로 역설계할 수 있다.
벽: MLP
남은 벽은 MLP 층이다. 표준 트랜스포머의 매개변수 세 개 중 약 두 개가 MLP에 있다. 게다가 어텐션 헤드도 MLP와 상호작용한다. 따라서 MLP를 빼고 읽을 수 있는 부분은 단순히 나머지 3분의 1보다도 작다.
MLP가 어려운 이유는 비선형성 때문이다. 경로 전개의 힘은 선형성에서 나왔다. 모델을 독립적인 항의 합으로 쪼갤 수 있었던 것은 잔차 스트림과 어텐션의 가중 합이 모두 선형이었기 때문이다. MLP의 비선형 활성화는 이 분해를 정확히 막아선다.
경험적인 어려움도 있다. MLP 뉴런들은 하나가 하나의 개념에 대응하는 깔끔한 그림을 잘 보여주지 않는다. 한 뉴런이 여러 의미에 반응하는 다의미성(polysemanticity)이 흔하다. 왜 그런가에 대한 이 팀의 후속 답변이 중첩(superposition) 가설이고, 그것을 파는 논문이 Toy Models of Superposition이다. 이 시리즈가 다음에 읽을 논문이기도 하다.
그림 1. MLP 층의 구조. 읽기와 쓰기는 여전히 선형이지만, 가운데의 GeLU 비선형성이 경로 전개를 가로막는다.
예고된 다음 걸음
논문이 열어둔 방향은 크게 둘이다.
하나는 위로 확장하는 것. 2-레이어에서 발견한 인덕션 헤드가 진짜 대형 모델에서도 인컨텍스트 러닝(in-context learning)의 메커니즘인지 확인하는 일이다. 이 질문은 이듬해 In-context Learning and Induction Heads 논문으로 이어진다.
다른 하나는 옆으로 확장하는 것. MLP를 다룰 수 있는 이론을 만드는 일이다. 중첩 가설, 그리고 몇 년 뒤의 사전 학습 기반 특징 분해(SAE) 연구가 이 줄기에 있다.
이 섹션을 읽는 법
연구 프로그램의 중간 보고서로 읽는 것이 좋다. 완성된 이론의 선언이 아니라, 어디까지 왔고 어느 벽 앞에 서 있는지의 정직한 기록이다. 그리고 그 벽의 이름을 정확히 붙여두었기 때문에, 후속 논문들이 무엇을 공략하는지가 명확해진다. 좋은 연구 프로그램은 답만이 아니라 다음 질문을 생산한다.
이번 편의 요점
- 어텐션 전용 모델에 대해서는 예측력 있는 이해와 표준 어휘를 확보했다.
- 남은 벽은 MLP다. 비선형성이 경로 전개를 막고, 다의미성이 뉴런 단위 해석을 막는다.
- 인덕션 헤드의 대형 모델 검증과 중첩 가설이 다음 논문들로 예고되어 있다.
다음 편은 마지막으로, 이 논문이 어떤 연구 지형 위에 서 있는지를 정리한 Related Work다.
원문: A Mathematical Framework for Transformer Circuits의 Where Does This Leave Us? 섹션. 본문의 도식은 원문에서 가져왔다.