이 글로 데이비드 맥케이의 『정보이론, 추론, 학습 알고리즘』을 따라 읽는 시리즈를 연다. 본격적인 장으로 들어가기 전에, 왜 이 책인지와 어디서 무료로 받는지부터 정리한다.

왜 이 책인가

대부분의 강의는 정보이론, 통계적 추론, 머신러닝을 서로 다른 세 과목으로 가르친다. 맥케이는 이 셋을 한 과목의 세 얼굴로 다뤘다. 섀넌의 채널 부호화, 베이즈 추론, 신경망은 결국 같은 질문을 맴돈다. 불확실성 아래에서 믿음을 어떻게 표현하고 갱신하는가. 이 책은 그 통일성을 손에 잡히게 보여준다. 처음부터 끝까지 베이즈 관점이 흐르고, 손으로 그린 그림과 연습문제가 유명하다.

읽는 재미도 있다. 맥케이는 기호를 뽐내는 사람이 아니라, 독자가 아이디어를 보게 하려는 선생처럼 쓴다.

책 받기 (무료)

맥케이는 책 전체를 무료 PDF로 공개했고, 지금도 무료다. 케임브리지 대학 출판부가 2003년 9월에 펴냈고(640쪽), 저자 본인의 페이지에서 화면으로 읽거나 내려받을 수 있다.

강의 보기 (무료)

2012년에 맥케이의 케임브리지 강의 “Information Theory, Pattern Recognition, and Neural Networks"가 촬영됐다. 책을 그대로 따라가는 16강이고, 유튜브에 무료로 올라와 있다.

맥케이의 강의 스타일을 맛보기 좋은 1강:

앞으로

여기서부터 시리즈는 책을 장별로 따라가며, 각 장을 해당 강의와 짝지어 읽는다. 맥케이는 2016년에 세상을 떠났지만, 누구나 배울 수 있도록 이 자료들을 열어 두었다. 시작할 이유로는 그만하면 충분하다.