다이어트 중 치킨을 참지 못하는 이유? 우리 머릿속에는 ‘따져보는 나’와 ‘느끼는 나’, 두 명이 동시에 살고 있다. 1999년 Pacini & Epstein의 연구를 통해 이 두 시스템을 알아본다.

매슬로우의 욕구 단계를 진화심리학으로 재구성한 Kenrick의 모델, 그리고 디지털 서비스가 우리의 진화적 욕구를 어떻게 자극하는지에 대해.

신경망을 더 작고 빠르게 만드는 이야기(수 표현, 양자화, 가지치기 등)는 이제 회사 블로그에서 연재합니다. 어디로 가면 되는지 안내합니다.

한 남자는 언어가 보상과 습관의 문제라고 주장하다 유명하게 패배했다. 그리고 반세기 뒤, 우리에게 말을 거는 기계들이 바로 그 보상으로 훈련되고 있다.

LLM이 이미 알고 있는 것을 활용하자. Attention Map에서 문서 관련성 신호를 추출하여 문장을 재순위화하는 실험과 관련 논문을 정리합니다.

Framework 논문 읽기 마지막 편. 이 논문이 어떤 연구들의 어깨 위에 서 있는지, 그리고 기존 접근과 무엇이 다른지를 정리한다.

Framework 논문 읽기 6편. 이 프레임워크가 확보한 것과 확보하지 못한 것. MLP라는 벽, 그리고 이 논문이 예고하는 다음 연구들.

Framework 논문 읽기 5편. 층이 둘이 되면 헤드가 헤드와 합성된다. Q-, K-, V-합성의 세 종류, 그리고 이 논문의 최대 발견인 인덕션 헤드의 작동 원리.

Framework 논문 읽기 4편. 어텐션 층 하나짜리 모델을 경로 전개로 완전히 펼친다. 스킵 트라이그램, 복사 헤드와 양의 고유값, 그리고 분해 구조가 낳는 특유의 버그까지.

Framework 논문 읽기 3편. 어텐션이 하나도 없는 트랜스포머는 무엇을 배우는가. 답은 바이그램 통계, 그리고 이 답은 큰 모델의 직접 경로를 이해하는 열쇠가 된다.