가장 작은 트랜스포머부터 시작한다. 어텐션 층이 0개라서 앞 문맥을 볼 수 없고, 방금 본 토큰 하나로 다음 토큰을 맞힌다. 결국 이 모델은 거대한 자동완성 표 하나다.

이 단순한 결론이 중요한 이유가 있다. 깊은 트랜스포머 안에도 똑같은 자동완성 경로가 남아 있기 때문이다. 작은 모델 하나를 이해하면 큰 모델의 한 조각도 함께 이해하게 된다.

모델 전체가 표 하나

이 모델이 하는 일은 휴대폰 자동완성과 정확히 같다. 문맥은 전혀 보지 못하고, 방금 나온 단어 하나만 보고 다음 단어를 제안하는 것.

수식으로는 이것이 전부다.

$$T = W_U W_E$$

토큰이 들어오면 임베딩하고($W_E$), 곧바로 언임베딩해서($W_U$) 다음 토큰의 로짓, 즉 다음에 올 토큰 후보마다 매기는 점수를 낸다. 위치 정보도 문맥도 없으니, 각 토큰은 자기 자신만 보고 다음을 예측해야 한다.

이 조건에서 배울 수 있는 최선은 정해져 있다. “지금 토큰이 A일 때 다음 토큰의 분포”, 즉 바이그램 통계다. 예를 들어 “Barack"이 들어오면 이런 점수표가 나온다.

Obama    매우 높음
said     보통
banana   매우 낮음

어휘가 5만 개라면 $W_U W_E$는 5만 x 5만짜리 이 표를 저차원으로 압축한 근사다. 실제로 학습된 0-레이어 모델을 열어 보면, 정확히 이런 통계가 담겨 있다.

왜 이 장난감이 중요한가

0-레이어 모델 자체는 시시하다. 이 섹션의 진짜 쓸모는 큰 모델을 볼 때 나온다.

층이 아무리 많아도, 임베딩에서 언임베딩으로 곧장 가는 직접 경로(direct path) $W_U W_E$는 항상 존재한다. 잔차 스트림이 선형 통로이기 때문이다. 그리고 이 직접 경로는 구조적으로 0-레이어 트랜스포머와 똑같다. 문맥을 볼 수 없고, 현재 토큰만으로 다음 토큰을 밀 수 있을 뿐이다.

그래서 자연스러운 그림이 나온다. 아무리 깊은 모델 안에도 자동완성 하나가 내장되어 있고, 그 몫이 바이그램이다. 다만 논문은 표현을 조심스럽게 고른다. 다른 경로들도 바이그램의 일부를 함께 예측하기 때문에, 큰 모델의 직접 경로가 담는 것은 바이그램 전체가 아니라 그 잔여분이다. 문법 같은 일반 규칙으로는 설명되지 않아 그냥 외울 수밖에 없는 이웃 관계, “Barack” 뒤의 “Obama” 같은 것들이 여기 남는다. 모델을 경로들의 합으로 보면, 각 경로가 자기에게 가능한 일을 나눠 맡는 그림이 된다.

이번 편의 요점

  • 0-레이어 트랜스포머는 표 하나($W_U W_E$)다. 문맥 없는 자동완성, 즉 바이그램 통계가 전부다.
  • 같은 형태의 직접 경로가 어떤 깊은 모델에도 항상 존재하고, 같은 몫을 맡는다.
  • 가장 작은 모델의 완전한 이해가 큰 모델의 한 조각에 대한 이해로 곧장 이식된다. 모델 생물 전략의 첫 성과다.

다음 편은 어텐션 층이 하나 생기면 무엇이 달라지는가다. 답은 스킵 트라이그램(skip-trigram)이다.

원문: A Mathematical Framework for Transformer Circuits의 Zero-Layer Transformers 섹션.