お知らせ
（せんせいより）深層学習 (機械学習プロフェッショナルシリーズ)の読書会をします。担当は事前に決めません。関連資料は、みなさん事前にしっかりと目を通してきてください。音読したあとは、小単元ごとに意見を交換してもらいます。互いに教えあいましょう。自分の考えや疑問をもって参加してください。本読みが得意でない方はどこが当たるかわかりませんので、音読の練習をしてきてください。本は各自持参ください。１章に数式はありませんが、２章以降の数式は英語読みとします。略式読みでもよいです。（ex.brace, bracket, parenthesis などの「open, close」 や「of」 は略してもよいです。なお、微分はd-x(ディエックス)、偏微分はdif-x(ディフエックス)、関数f(x)は（エフエックス）に統一します。Σは（シグマ）でも(the sum from... to...)でもよいです。Πはラージパイではなくプロダクト(product)と呼びましょう。）どうしてもできない人は我流や日本語読みでもよいです。ただし数式は棒読み禁止です。一遍の詩を愛人恋人に語るくらいの気持ちで読んでください。
（ex.http://www.erp.sophia.ac.jp/Projects/ese/HowToReadAndGlossary.pdf)
重要：数式誤植は版数によって違いますが、必ず事前に誤植訂正表で訂正しておいてください。http://www.kspub.co.jp/download/1529021a.pdf
初版をお持ちの方はできるだけ書き込んだりせずに買いなおすことをお勧めします。無傷の初版は２５年後にはたいへんプレミアがつきます。
一般的な読書会ではよく「１章はつまらないから」と飛ばされますが、１章こそが原点であり、起点であり、だからこその面白さがあります。「深読み」は各章にゆだね、「歴史」に思いを馳せましょう。歴史をたどると「なぜ、それに気が付かないのか。」と思うことも多くあります。２５年後の「こどもたち」からみた今の私たちの姿に重なると思います。歴史的な話題は表面的には「知った話」ばかりですが、その背景を想像し、「当時の最前線にいたつもり」になって読み解きましょう。
第１章
1.1.1 多層ニューラルネットへの期待と失望
(Page 1)
誤差伝搬法の発明[59]
- Parallel Distributed Processing | The MIT Press （本にたどりつきました。かわりに4章を一読ください。）
ニューラルネットの研究はきわめて低調なものでした。[64]
(Page 2)
勾配消失問題
ノウハウはあっても理論がなく [64] 上記
- 畳み込み - Wikipedia （右側の動画でイメージをつかんでください）
- 6章を一読ください。
多層ネットワークの学習に成功していました。[42]
ネオコグニトロン[17]
完成させました [43]
（Page 3)
1.1.2 多層ネットワークの事前学習
Hintonらのディープブリーフネットワーク（DBN)の研究[28]
制約ボルツマンマシン(RBM)
- ８章 8.5 を一読ください
- DBNやRBMなどの３文字（あるいは４文字）略語は頻出なので必ず（当面は意識して）覚えてください。
貪欲法
- 貪欲法 - Wikipedia (greedy algorithm)
（関連して）
（その他アルゴリズムに関することなど）
自己符号化器
- 5章を一読してください。深読みすると戻れないので、今回はナナメ読みでＯＫです。
事前学習が可能であることがわかりました。[4]
-
https://papers.nips.cc/paper/3048-greedy-layer-wise-training-of-deep-networks.pdf
- http://deeplearning.cs.cmu.edu/notes/hefny_Greedy.pdf
(Page 4)
1.1.3 特徴量の学習
基底
スパース符号化
ガボールウェーブレット状の基底
以前から知られていました。[53]
霊長類の視覚野のV2領域
V2領域にみられるという特徴[36]
報告しています。[45]
も報告しています。[46]
ユニット
- 参照（本）：カンデル神経科学２５章 視覚処理の創造的な性質「視覚情報はさまざまな神経符号で表現される」
生成されることを示しました[41]
- Building high-level features using large scale unsupervised learning （なお、Google's Catは２種類あるので、検索時には注意してください）
(Page 5)
1.1.4 深層学習の隆盛
- ７章を一読ください。
向上しています。[4]
- 既出（上を参照ください。）
ドロップアウト[67]
(Page 6)
指摘されています。[27]
※ 参照先は一時的配置のものもあるようで、引っ越ししてる場合があります。
蛇足
当初のコンセプトに反するので、英語資料の直リンクはしないつもりでしたが、考えがかわりました。どんどんリンクします。日本語訳のあるものはそれにこしたことがありませんが、本家論文も趣があるので併せてよみましょう。
「Probabilistic Graphical Models: Principles and Techniques」の日本語訳を切に望みます。
（代筆 かえるのクー）
