EMアルゴリズムの分かりやすい資料

　EMアルゴリズムの分かりやすい資料を見つけた。半年くらい前に混合ガウス分布を例にした資料をもとに勉強してだいたい理解したつもりでいたが、いまいちしっくりきていない部分があったのでもう一度別の資料で勉強しなおした。

What is the expectation maximization algorithm?

これを読むと以下のことが理解できる。EMアルゴリズムの復習をしたいときは読み直すとよい。

• やりたいことのイメージ
• コイントスを用いたシンプルな例
• Eステップ、Mステップの名前の由来
• Eステップでは、潜在変数の確率分布を求める。実際には分布そのものではなく、十分な情報をもつ統計量の期待値を求める。
• Mステップでは、対数尤度を最大化するようにモデルを再構築する。
• EMアルゴリズムの応用例
• バイオインフォマティクス領域でよく使われるらしい
• DNAシーケンスのクラスタリング（多次元正規分布）
• よくあるEMアルゴリズム更新のイメージ図の理解（*注）
• Eステップで出した凹関数が求めたい真の関数の下限になっているのは何故か？
• Eステップで出した凹関数と真の関数が接するのは何故か？
• EMアルゴリズムでなぜ局所解に到達するのか？

注) 数学的に厳密な説明は載ってないが、イメージ的に分かる。