맥케이

맥케이 정보이론 8강. 잡음이 만드는 전형적인 출력 구름과 무작위 부호를 이용해, 채널 용량 아래에서는 오류를 거의 없앨 수 있다는 잡음 채널 부호화 정리를 이해한다.

맥케이 정보이론 7강. 이진 대칭 채널과 지움 채널에서 상호정보량을 계산하고, 입력분포를 최적화해 신뢰할 수 있는 통신률의 경계인 채널 용량을 구한다.

맥케이 정보이론 6강. 잡음 채널의 통신을 베이즈 추론 문제로 세우고, 결합 엔트로피·조건부 엔트로피·상호정보량으로 입력과 출력이 공유한 정보를 잰다.

맥케이 정보이론 5강. 산술 부호가 메시지의 확률에 비례하는 구간을 좁혀 엔트로피에 가까운 길이를 만드는 과정을 보고, 예측 모형과 압축의 관계를 정리한다.

맥케이 정보이론 4강. 정보원 부호화 정리를 마무리하고, 크라프트 부등식과 허프만 부호를 통해 확률분포를 실제 이진 부호로 옮기는 방법을 살펴본다.

데이비드 맥케이 정보이론 강의 3강. 편향 동전 복권에서 전형적인 문자열을 세어 보고, 긴 자료가 기호당 엔트로피에 가까운 비트로 압축되는 이유를 정보원 부호화 정리로 이해한다.

데이비드 맥케이 정보이론 강의 2강. 놀라운 사건일수록 정보가 많다는 생각에서 정보량과 엔트로피를 정의하고, 확률과 이진 부호 길이가 어떻게 연결되는지 살펴본다.

데이비드 맥케이 정보이론 강의 1강. 압축과 잡음 있는 통신, 추론이 왜 같은 확률의 언어로 만나는지 살펴보고, 정보이론이 묻는 두 가지 근본 한계를 세운다.

데이비드 맥케이의 명저는 정보이론, 추론, 머신러닝을 하나의 이야기로 엮는다. 책도 강의 영상도 전부 무료다. 이 시리즈를 여는 김에, 어디서 받는지 정리한다.