Backpropagationが全て

Next: Gradient Checkingは超大事

    Backpropagation (以下, めんどうなのでbackprop) の式を導けるようになれば, とりあえず色んなネットワークを実装できる. Backpropに関する分かりやすい資料のひとつがこれ. 論文読んでDeep Learningスゲーって思うのは簡単だけど, 自分でやるのは結構大変. 実装は基本的には慣れてしまえば意外と簡単だけど, 大変なのは計算機環境である. そういう点で自分は恵まれているので感謝.
    とりあえず多層パーセプトロンのbackpropなどが分かればしめたもので, Deep Learningで有名なautoencoderのbackpropも簡単に導けることに気づく (denoising autoenocderなども同様). さらには, 最近NLPのDeep Learningで流行っているrecursive neural networkなどのbackpropも実は簡単であることにも気づく!まあ実装できたところでなかなか上手くいかないんだけど・・・. 嫌になる.
    とにかく, これがオススメ. あと, 情報処理学会の2013年5月号にDeep Learningの記事があったりする. 以下は楽しい論文集.