ベイズ的アプローチの機械学習について勉強するときに見た資料まとめ
たまにベイズ推論について調べ直したくなるのだけど毎回思い出すのが大変なのでまとめた．思ったより内容が頭から抜け落ちてたので感想は後から追記するかもしれない．
ベイズ推論の基本
C.M. ビショップ, 『パターン認識と機械学習』, 丸善出版, 2012.
通称PRML．日本語版が黄色い．
ベイズ理論の視点で回帰，分類，クラスタリング，潜在変数モデル等，種々の機械学習モデルを俯瞰できる本．
色々な機械学習手法をベイズ推論によって統一的に扱えるというところが大事なので，特定のトピックを辞書的に参照するような読み方はおすすめしない．読むならなるべくいっぺんに通読したほうがよい．
最近はPRML以外にもベイズ的機械学習の良書が多く出ているので，それらを一度読んで議論の大枠を掴んでおいてからPRMLで他書に無い細かい話を補間しながら読むのがおすすめ（指数分布族，一般化線型モデルと正準リンク関数，グラフィカルモデルやEMアルゴリズムのKLダイバージェンスを使った解釈など）．
2023年現在でも通用するぐらい何でも載ってるが，ガウス過程以外のノンパラメトリックベイズの話題は無いのでそれらに興味がある場合は他書が必須．
サポートページから図などがダウンロードできる：
Christopher Bishop at Microsoft Research: https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/
須山 敦志, 『機械学習スタートアップシリーズ ベイズ推論による機械学習入門』, 講談社, 2017.
通称は須山ベイズ．緑色．
PRMLも式の導出は丁寧な方だがこちらはそれに輪をかけて丁寧． PRMLが言葉でサッと飛ばしている数式も全部書いてある．ベイズの定理を使った事後分布や予測分布の導出の説明で，「確率分布の対数をとる→いい感じに変形する→指数関数によって元に戻す」という計算の流れがPRMLよりクリアに書いてあるのが良い感じ．
Juliaによる実装例が著者のGitHubで公開されているが，Juliaのバージョンがv1.0より前なので今動かすのは大変かもしれない．しかし，本文の記述が丁寧なので数式がしっかり追えているならコードを動かさずに読むだけでも実装のイメージは掴めるはず．一部のモデルについては自分がJulia v1.0以降で実装したものを公開している（メンテしてないので動かなかったらごめんなさい）：
eqs/Bayes-Notebooks: Notebooks: https://github.com/eqs/Bayes-Notebooks
持橋大地, 大羽成征, 『ガウス過程と機械学習 (機械学習プロフェッショナルシリーズ) 』, 講談社, 2019.
表紙が鹿．青い．
ガウス過程もノンパラメトリックベイズなので後述の節とどっちに分類しようか迷ったけど初学者向けに書かれているのでこちらにした．
0章にベイズ的機械学習のアイデアがコンパクトにまとまっているので，ガウス過程に興味が無くてもとりあえずここだけでも読むのがおすすめ．
岩田具治, 『トピックモデル (機械学習プロフェッショナルシリーズ)』, 講談社, 2015.
これもノンパラメトリックベイズを含んでいるが，ニュース記事の分類という問題が混合モデルの例としてわかりやすいのでここに分類した．
ノンパラメトリックベイズ（混合ガウスモデル）
吉井和佳, ノンパラメトリックベイズ
佐藤一誠, 『ノンパラメトリックベイズ 点過程と統計的機械学習の数理 (機械学習プロフェッショナルシリーズ)』, 講談社, 2016.
中華料理店過程の順番の不変性の話やギプスサンプリング実装時のクラスタ数の扱い方の話がすごい参考になった記憶がある．
ノンパラメトリックベイズ（教師なし品詞推定）
Graham Neubig, ノンパラメトリックベイズ入門 〜無限 HMM と教師なし単語分割〜
ご注文は機械学習ですか？
深層学習や自然言語処理（特に教師なし形態素解析）の論文の解説と実装がまとまった謎のブログ． 2016-2017年の間，（内容の重さの割に）かなりの頻度で更新されていた．
ノンパラメトリックベイズ（関係データ）
石井健一郎, 上田修功, 『続・わかりやすいパターン認識―教師なし学習入門―』, 講談社, 2014.
基本的なベイズ推論の話から始まって，EMアルゴリズム，隠れマルコフモデル，混合ガウスモデルという感じで話が進んでいく．最終的に無限混合ガウスモデル，無限関係モデルまで話が発展する．
無限関係モデルの，推論の更新式の導出がかなり丁寧に記載されているが，最終結果にでかめの誤植がある．以下のスライドも合わせて確認するとよい：
ぞくパタ最終回: 13章「共クラスタリング」 | PPT: https://www.slideshare.net/eguchiakifumi/13-56954036
石黒勝彦, 林浩平, 『関係データ学習 (機械学習プロフェッショナルシリーズ)』, 講談社, 2016.
前半はベイズ的アプローチ（確率ブロックモデル，無限関係モデル），後半はテンソル分解によるアプローチで関係データを扱う本．
関係データを扱う本の中ではかなり丁寧な記述だが，序盤に用語の定義が大量に出てきたりとにかく話が広範囲に広がって読むのが大変だった記憶がある．モデルの説明が十分丁寧なので序盤は適当に流し読みしておいて困ったときに索引で探すといった読み方をするとよいと思う．
確率的プログラミング
自分は Stan や BUGS といった確率的プログラミング言語の本はあまり読んでいない（読んだけど動かすところまでやってない）．
とりあえずここでは読みかけている本のリストを挙げておく：
- StanとRでベイズ統計モデリング - 共立出版: https://www.kyoritsu-pub.co.jp/book/b10003786.html
- データ解析のための統計モデリング入門 - 岩波書店: https://www.iwanami.co.jp/book/b257893.html
おわりに
ベイズ的アプローチの機械学習の文献を紹介した．「これ一冊読めばOK！」というものが無いため，いくつかの文献を同時に読みつつ相互に内容を補完しながら理解していくとよいと思う．
おわり