당신 안의 두 사람: 왜 알면서도 비합리적으로 행동할까?
다이어트 중 치킨을 참지 못하는 이유? 우리 머릿속에는 ‘따져보는 나’와 ‘느끼는 나’, 두 명이 동시에 살고 있다. 1999년 Pacini & Epstein의 연구를 통해 이 두 시스템을 알아본다.
Posts
자아실현은 복어의 모래성과 같다
매슬로우의 욕구 단계를 진화심리학으로 재구성한 Kenrick의 모델, 그리고 디지털 서비스가 우리의 진화적 욕구를 어떻게 자극하는지에 대해.
유리 알론의 시스템 생물학: 무료 강의
유리 알론은 살아있는 세포를 공학자가 회로 읽듯 읽는다. 강의, 노트, 연습문제까지 전부 무료다. 이 시리즈를 여는 김에 어디서 받는지 정리한다.
모델 경량화 시리즈는 회사 블로그로 옮겼습니다
신경망을 더 작고 빠르게 만드는 이야기(수 표현, 양자화, 가지치기 등)는 이제 회사 블로그에서 연재합니다. 어디로 가면 되는지 안내합니다.
졌지만 돌아온 아이디어: 스키너, 촘스키, 그리고 말하는 기계
한 남자는 언어가 보상과 습관의 문제라고 주장하다 유명하게 패배했다. 그리고 반세기 뒤, 우리에게 말을 거는 기계들이 바로 그 보상으로 훈련되고 있다.
LLM의 Attention Map을 활용한 문장 Reranking 실험
LLM이 이미 알고 있는 것을 활용하자. Attention Map에서 문서 관련성 신호를 추출하여 문장을 재순위화하는 실험과 관련 논문을 정리합니다.
트랜스포머 회로 7: 관련 연구 지형
Framework 논문 읽기 마지막 편. 이 논문이 어떤 연구들의 어깨 위에 서 있는지, 그리고 기존 접근과 무엇이 다른지를 정리한다.
트랜스포머 회로 6: 남은 질문들
Framework 논문 읽기 6편. 이 프레임워크가 확보한 것과 확보하지 못한 것. MLP라는 벽, 그리고 이 논문이 예고하는 다음 연구들.
트랜스포머 회로 5: 2-레이어 모델과 인덕션 헤드
Framework 논문 읽기 5편. 층이 둘이 되면 헤드가 헤드와 합성된다. Q-, K-, V-합성의 세 종류, 그리고 이 논문의 최대 발견인 인덕션 헤드의 작동 원리.
트랜스포머 회로 4: 1-레이어 모델과 스킵 트라이그램
Framework 논문 읽기 4편. 어텐션 층 하나짜리 모델을 경로 전개로 완전히 펼친다. 스킵 트라이그램, 복사 헤드와 양의 고유값, 그리고 분해 구조가 낳는 특유의 버그까지.