이번 편부터 Anthropic의 A Mathematical Framework for Transformer Circuits(2021)를 섹션 단위로 따라간다. 이 논문의 목표는 트랜스포머를 거대한 숫자 덩어리가 아니라, 역할을 설명할 수 있는 작은 회로들의 합으로 읽는 것이다.
이번 편에서는 용어를 외우기보다 전체 지도만 잡으면 된다. 0층에서는 자동완성, 1층에서는 떨어진 세 단어의 규칙, 2층에서는 앞에서 본 패턴을 이어 쓰는 알고리즘이 나타난다. 뒤의 글들이 이 세 단계를 하나씩 확대한다.
논문이 밝히는 동기는 안전이다. 언어 모델은 훈련이 끝난 뒤에도 만든 사람이 예상하지 못한 능력과 문제 행동을 보인다. 컴파일된 프로그램을 역설계하듯 내부 계산을 읽을 수 있다면, 문제가 생긴 이유를 설명하고 아직 드러나지 않은 문제도 더 일찍 찾을 수 있다는 생각이다.
전략: 모델 생물
생물학이 대장균과 초파리로 시작했듯이, 이 논문은 가장 작은 트랜스포머부터 시작한다. MLP를 떼어낸 어텐션 전용 모델, 그것도 0층, 1층, 2층짜리. 목표는 성능이 아니라 완전한 이해다. 작은 모델을 끝까지 역설계할 수 있다면, 거기서 얻은 개념이 큰 모델을 볼 때의 언어가 된다.
이 전략은 실제로 통했다. 2-레이어 장난감 모델에서 발견된 인덕션 헤드는 이후 대형 모델의 인컨텍스트 러닝(in-context learning)을 설명하는 핵심 후보가 된다.
핵심 결과 지도
논문이 요약하는 결과를 미리 한 장으로 정리해 둔다. 각각은 이후 편에서 하나씩 다룬다.
잔차 스트림(residual stream)은 통신 채널이다. 트랜스포머의 각 층은 잔차 스트림에서 읽고, 잔차 스트림에 더한다. 스트림 자체는 아무 연산도 하지 않는 선형 통로다. 덕분에 멀리 떨어진 층끼리도 가상 가중치(virtual weights)라는 곱으로 직접 연결된 것처럼 분석할 수 있다.
어텐션 헤드는 독립적이고 가산적이다. 한 층의 여러 헤드는 서로 얽혀 있는 것처럼 보이지만, 수학적으로는 각자 계산해서 잔차 스트림에 더하는 독립 항들로 분해된다.
헤드는 두 개의 회로로 쪼개진다. 어디에 주목할지 정하는 QK 회로(query-key circuit)와, 주목한 곳에서 무엇을 가져올지 정하는 OV 회로(output-value circuit). 이 둘은 서로 독립적으로 분석할 수 있다. 어텐션은 정보의 이동이다.
층수가 늘 때마다 질적으로 새로운 능력이 생긴다. 0-레이어 모델은 바이그램 통계만 배운다. 1-레이어 모델은 스킵 트라이그램(skip-trigram)까지 배운다. 2-레이어 모델부터 헤드 합성(composition)이 가능해지고, 여기서 인덕션 헤드가 등장한다. 인덕션 헤드는 앞에서 본 패턴을 문맥 안에서 반복하는 메커니즘, 즉 인컨텍스트 러닝의 원형이다.
도구는 경로 전개(path expansion)다. 모델 전체를 입력에서 출력까지 가는 경로들의 합으로 펼쳐 쓰면, 각 경로가 하나의 해석 가능한 항이 된다. 이 논문의 수학은 대부분 이 전개를 정당화하고 활용하는 작업이다.
왜 이 논문부터 읽는가
기계적 해석가능성의 많은 논문이 “무엇을 발견했다"를 말한다. 이 논문은 그 전에 “무엇으로 볼 것인가"를 정한다. 잔차 스트림, QK/OV, 합성, 인덕션 헤드 같은 용어는 이제 이 분야의 표준 어휘다. 어휘를 먼저 익혀두면 이후 논문들이 훨씬 빨리 읽힌다.
다음 편에서 트랜스포머를 이 논문의 방식으로 다시 그려본다.
원문: A Mathematical Framework for Transformer Circuits (Elhage, Nanda, Olsson 외, Anthropic, 2021).