데이비드 맥케이의 『정보이론, 추론, 학습 알고리즘』을 따라 읽는 시리즈.
맥케이 정보이론: 무료 교과서와 강의
데이비드 맥케이의 명저는 정보이론, 추론, 머신러닝을 하나의 이야기로 엮는다. 책도 강의 영상도 전부 무료다. 이 시리즈를 여는 김에, 어디서 받는지 정리한다.
맥케이 정보이론 1강: 정보이론 입문
데이비드 맥케이 정보이론 강의 1강. 압축과 잡음 있는 통신, 추론이 왜 같은 확률의 언어로 만나는지 살펴보고, 정보이론이 묻는 두 가지 근본 한계를 세운다.
맥케이 정보이론 2강: 엔트로피와 데이터 압축 (1): 압축·정보이론·엔트로피 입문
데이비드 맥케이 정보이론 강의 2강. 놀라운 사건일수록 정보가 많다는 생각에서 정보량과 엔트로피를 정의하고, 확률과 이진 부호 길이가 어떻게 연결되는지 살펴본다.
맥케이 정보이론 3강: 엔트로피와 데이터 압축 (2): 정보원 부호화 정리, 편향 동전 복권
데이비드 맥케이 정보이론 강의 3강. 편향 동전 복권에서 전형적인 문자열을 세어 보고, 긴 자료가 기호당 엔트로피에 가까운 비트로 압축되는 이유를 정보원 부호화 정리로 이해한다.
맥케이 정보이론 4강: 엔트로피와 데이터 압축 (3): 정보원 부호화 정리, 심볼 부호
맥케이 정보이론 4강. 정보원 부호화 정리를 마무리하고, 크라프트 부등식과 허프만 부호를 통해 확률분포를 실제 이진 부호로 옮기는 방법을 살펴본다.
맥케이 정보이론 5강: 엔트로피와 데이터 압축 (4): 산술 부호와 압축의 실전
맥케이 정보이론 5강. 산술 부호가 메시지의 확률에 비례하는 구간을 좁혀 엔트로피에 가까운 길이를 만드는 과정을 보고, 예측 모형과 압축의 관계를 정리한다.