맥케이

맥케이 정보이론 5강. 산술 부호가 메시지의 확률에 비례하는 구간을 좁혀 엔트로피에 가까운 길이를 만드는 과정을 보고, 예측 모형과 압축의 관계를 정리한다.

맥케이 정보이론 4강. 정보원 부호화 정리를 마무리하고, 크라프트 부등식과 허프만 부호를 통해 확률분포를 실제 이진 부호로 옮기는 방법을 살펴본다.

데이비드 맥케이 정보이론 강의 3강. 편향 동전 복권에서 전형적인 문자열을 세어 보고, 긴 자료가 기호당 엔트로피에 가까운 비트로 압축되는 이유를 정보원 부호화 정리로 이해한다.

데이비드 맥케이 정보이론 강의 2강. 놀라운 사건일수록 정보가 많다는 생각에서 정보량과 엔트로피를 정의하고, 확률과 이진 부호 길이가 어떻게 연결되는지 살펴본다.

데이비드 맥케이 정보이론 강의 1강. 압축과 잡음 있는 통신, 추론이 왜 같은 확률의 언어로 만나는지 살펴보고, 정보이론이 묻는 두 가지 근본 한계를 세운다.

데이비드 맥케이의 명저는 정보이론, 추론, 머신러닝을 하나의 이야기로 엮는다. 책도 강의 영상도 전부 무료다. 이 시리즈를 여는 김에, 어디서 받는지 정리한다.