ディープラーニングがわかる数学入門を４章まで読んだので、感想を書きます。
5 章の CNN はとりあえず時間をおいてから読んで、追記します。
これを読むまで、バックプロパゲーション（誤差逆伝搬法） がわかったようなわからないような、モヤモヤしていた。
- coursera Machine Learning
- ゼロから作る Deep Learning
- Udacity Deep Learning Nanodegree Foundation
この本でようやく、バックプロパゲーションがなにをやっているのかわかった気がする。
数列の漸化式と初めから言ってくれよ。
どんな人にオススメか
目次はここから。
-
- ■ 1 章 ニューラルネットワークの考え方
- ■ 2 章 ニューラルネットワークのための数学の基本
- ■ 3 章 ニューラルネットワークの最適化
- ■ 4 章 ニューラルネットワークと誤差逆伝播法
- ■ 5 章 ディープラーニングと畳み込みニューラルネットワーク
ベストセラーになったゼロから作る Deep Learning は平易だったけれども、 それと同等、それ以上に平易なのがこの本。
- ディープラーニングに関心のある学生，社会人。
- ディープラーニングの勉強のために数学の基礎固めをしたいけれども、 なにから始めればいいか分からない人。
- ゼロから学ぶ Deep Learning を読んで、数理をもう少し深めたいと思った人。
- 逆誤差伝搬法を（計算グラフではなく）数式から理解しようとしたけど挫折した人。
内容
題名はディープラーニングだけれども、 ほとんどがニューラルネットワークの理解のためにページが割かれている。 最終章で 畳み込みニューラルネットワーク(CNN) の説明がある。
よい点
- 説明がとても初心者にやさしい。
- 図が豊富。
- 例題が多く、簡単でわかりやすく理解が深まる。
- できるだけ汎用的な記号の表記方法を使っているところ。
- Python とか Ocatve とか、プログラミングは出てこない。
- Excel を通じて各値がどう変化するか目で追えるところ。
(LibreOffice で値の確認はできた。マクロ使ってるだけで、VBA とかはつかっていないから)
どんなの数学が出てくるか
ニューラルネットワークの理解に必要な数学のみが厳選されて丁寧に説明されている。 具体的には、第 2 章の目次をみてもらうと分かる。
- 1 ニューラルネットワークに必須の関数
- 2 ニューラルネットワークの理解に役立つ数列と漸化式
- 3 ニューラルネットワークで多用されるΣ記号
- 4 ニューラルネットワークの理解に役立つベクトル
- 5 ニューラルネットワークの理解に役立つ行列
- 6 ニューラルネットワークのための微分の基本
- 7 ニューラルネットワークのための偏微分の基本
- 8 誤差逆伝播法で必須のチェーンルール
- 9 勾配降下法の基礎となる多変数関数の近似公式
-10 勾配降下法の意味と公式 -11 勾配降下法を Excel で体験 -12 最適化問題と回帰分析
著者の 涌井 良幸さん、涌井 貞美さんは， 共著で統計関係の本を多数書いているようなので、わかりやすさはその実績からも伺える。
感想
意外だったのは、機会学習というと統計学が重要になるけれども、 この本には統計はほとんど出てこない。回帰分析が最適化の例として出てくる。
解析学の知識が多い。
行列や、シグマさえも、なるべく使わないで説明してくれるのだ！ベクトルは使う。
個人敵にハッとさせられた説明は、
-
コーシー・シュワルツの不等式は勾配降下法の基本原理。
-
逆誤差伝搬法は、数列の漸化式。
-
自ら学習するということは、重みとバイアスを「最適化」すること。
ディープラーニングがわからない人のための最後の一冊として オススメです。
分かる人には、必要ないかもしれない。