ReLU 네트워크는 거대한 조각별 어파인 함수다
ReLU 활성함수를 쓰는 신경망은 사실 입력공간을 다면체 조각으로 나누고, 각 조각 위에서 정확히 하나의 어파인 사상으로 붕괴한다. 이 관점을 뉴런 하나부터 인터랙티브 데모까지 층층이 쌓아 설명한다.
AI Research
LLM의 Attention Map을 활용한 문장 Reranking 실험
LLM이 이미 알고 있는 것을 활용하자. Attention Map에서 문서 관련성 신호를 추출하여 문장을 재순위화하는 실험과 관련 논문을 정리합니다.