아버지의 기술 연대기
1990년에 다섯 살짜리 아들에게 컴퓨터를 사준 아버지.
Posts
LLM에게도 사고 양식이 있을까? 프론티어 모델 5종 REI-40 실험
REI-40 이중처리 성격 검사를 프론티어 LLM 5종에 실시했다. 중립 응답자부터 합리적 열정가까지, 모델별 고유한 ‘사고 양식’ 프로필이 드러났다.
psyctl — LLM 성격 조종 도구
Steering Vector를 이용해 LLM의 성격을 제어하는 오픈소스 도구를 만들고 있습니다.
당신 안의 두 사람: 왜 알면서도 비합리적으로 행동할까?
다이어트 중 치킨을 참지 못하는 이유? 우리 머릿속에는 ‘따져보는 나’와 ‘느끼는 나’, 두 명이 동시에 살고 있다. 1999년 Pacini & Epstein의 연구를 통해 이 두 시스템을 알아본다.
자아실현은 복어의 모래성과 같다
매슬로우의 욕구 단계를 진화심리학으로 재구성한 Kenrick의 모델, 그리고 디지털 서비스가 우리의 진화적 욕구를 어떻게 자극하는지에 대해.
졌지만 돌아온 아이디어: 스키너, 촘스키, 그리고 말하는 기계
한 남자는 언어가 보상과 습관의 문제라고 주장하다 유명하게 패배했다. 그리고 반세기 뒤, 우리에게 말을 거는 기계들이 바로 그 보상으로 훈련되고 있다.
LLM의 Attention Map을 활용한 문장 Reranking 실험
LLM이 이미 알고 있는 것을 활용하자. Attention Map에서 문서 관련성 신호를 추출하여 문장을 재순위화하는 실험과 관련 논문을 정리합니다.
Sparse Autoencoder로 GPT-2의 감정을 조종하기
OpenAI의 Pretrained SAE로 GPT-2 내부의 감정 Feature를 찾아내고, 직접 SAE를 학습하는 과정까지. Feature Patching으로 ‘good person’을 ‘shit’로 바꾸는 실험.
K-means, GMM, EM: 클러스터링의 세 겹 러시안 인형
K-means는 사실 GMM의 극단적 경우이고, GMM은 EM 알고리즘의 대표적 응용이다. 세 가지가 어떻게 하나의 프레임워크 안에서 연결되는지, 그리고 정보 기하학이 이 관계를 어떻게 설명하는지 직관적으로 풀어본다.
정보 기하학: AI는 어떻게 '가장 효율적으로' 배우는가
뉴턴의 F=ma가 물리 세계를 설명하듯, 정보 기하학은 AI가 배우는 과정을 설명합니다. 초보자를 위한 직관적 해설.