この記事で、デビッド・マッケイ『情報理論、推論、学習アルゴリズム』を読み進めるシリーズを始める。本編の各章に入る前に、なぜこの本なのか、そしてどこで無料で入手できるのかを整理しておく。
なぜこの本か
多くの講義は、情報理論・統計的推論・機械学習を別々の三科目として教える。マッケイはこの三つを、一つの科目の三つの顔として扱った。シャノンのチャネル符号化、ベイズ推論、ニューラルネットは、結局のところ同じ問いを巡っている——不確実性のもとで、信念をどう表し、どう更新するか。本書はその統一性を手に取るように見せてくれる。最初から最後までベイズの視点が流れ、手描きの図と演習問題で知られている。
読んで楽しい本でもある。マッケイは記号を誇る人ではなく、読者にアイデアそのものを見せようとする教師のように書く。
本を入手する（無料）
マッケイは本全体を無料PDFとして公開し、今も無料のままだ。ケンブリッジ大学出版局が2003年9月に刊行し（640ページ）、著者自身のページで画面閲覧・ダウンロードができる。
- 無料PDF、約11MB: inference.org.uk/itprnn/book.pdf
- 書籍ページ、他の形式（djvu, epub, PostScript）もあり: inference.org.uk/mackay/itila/book.html
- 目次: inference.org.uk/mackay/itila/toc.html
講義を見る（無料）
2012年、マッケイのケンブリッジ講義「Information Theory, Pattern Recognition, and Neural Networks」が撮影された。本をそのままたどる全16講で、YouTubeに無料で公開されている。
- YouTubeプレイリスト、全16講: Information Theory, Pattern Recognition, and Neural Networks
- 講義ページ、スライドとノート: inference.org.uk/itprnn
マッケイの教え方の雰囲気をつかむのによい第1講:
これから
ここからシリーズは、本を章ごとにたどり、各章を対応する講義と組み合わせて読んでいく。マッケイは2016年に世を去ったが、誰もが学べるようにこれらの資料を開いておいてくれた。始める理由としては、それで十分だろう。