ディープラーニングがわかる数学入門を4章まで読んだので、感想を書きます。

5 章の CNN はとりあえず時間をおいてから読んで、追記します。

これを読むまで、バックプロパゲーション(誤差逆伝搬法) がわかったようなわからないような、モヤモヤしていた。

  • coursera Machine Learning
  • ゼロから作る Deep Learning
  • Udacity Deep Learning Nanodegree Foundation

この本でようやく、バックプロパゲーションがなにをやっているのかわかった気がする。

数列の漸化式と初めから言ってくれよ。

どんな人にオススメか

目次はここから。

  • ディープラーニングがわかる数学入門:書籍案内|技術評論社

    • ■ 1 章 ニューラルネットワークの考え方
    • ■ 2 章 ニューラルネットワークのための数学の基本
    • ■ 3 章 ニューラルネットワークの最適化
    • ■ 4 章 ニューラルネットワークと誤差逆伝播法
    • ■ 5 章 ディープラーニングと畳み込みニューラルネットワーク

    ベストセラーになったゼロから作る Deep Learning は平易だったけれども、 それと同等、それ以上に平易なのがこの本。

  • ディープラーニングに関心のある学生,社会人。
  • ディープラーニングの勉強のために数学の基礎固めをしたいけれども、 なにから始めればいいか分からない人。
  • ゼロから学ぶ Deep Learning を読んで、数理をもう少し深めたいと思った人。
  • 逆誤差伝搬法を(計算グラフではなく)数式から理解しようとしたけど挫折した人。

内容

題名はディープラーニングだけれども、 ほとんどがニューラルネットワークの理解のためにページが割かれている。 最終章で 畳み込みニューラルネットワーク(CNN) の説明がある。

よい点

  • 説明がとても初心者にやさしい。
  • 図が豊富。
  • 例題が多く、簡単でわかりやすく理解が深まる。
  • できるだけ汎用的な記号の表記方法を使っているところ。
  • Python とか Ocatve とか、プログラミングは出てこない。
  • Excel を通じて各値がどう変化するか目で追えるところ。

(LibreOffice で値の確認はできた。マクロ使ってるだけで、VBA とかはつかっていないから)

どんなの数学が出てくるか

ニューラルネットワークの理解に必要な数学のみが厳選されて丁寧に説明されている。 具体的には、第 2 章の目次をみてもらうと分かる。

  • 1 ニューラルネットワークに必須の関数
  • 2 ニューラルネットワークの理解に役立つ数列と漸化式
  • 3 ニューラルネットワークで多用されるΣ記号
  • 4 ニューラルネットワークの理解に役立つベクトル
  • 5 ニューラルネットワークの理解に役立つ行列
  • 6 ニューラルネットワークのための微分の基本
  • 7 ニューラルネットワークのための偏微分の基本
  • 8 誤差逆伝播法で必須のチェーンルール
  • 9 勾配降下法の基礎となる多変数関数の近似公式

-10 勾配降下法の意味と公式 -11 勾配降下法を Excel で体験 -12 最適化問題と回帰分析

著者の 涌井 良幸さん、涌井 貞美さんは, 共著で統計関係の本を多数書いているようなので、わかりやすさはその実績からも伺える。

感想

意外だったのは、機会学習というと統計学が重要になるけれども、 この本には統計はほとんど出てこない。回帰分析が最適化の例として出てくる。

解析学の知識が多い。

行列や、シグマさえも、なるべく使わないで説明してくれるのだ!ベクトルは使う。

個人敵にハッとさせられた説明は、

  • コーシー・シュワルツの不等式は勾配降下法の基本原理。

  • 逆誤差伝搬法は、数列の漸化式。

  • 自ら学習するということは、重みとバイアスを「最適化」すること。

    ディープラーニングがわからない人のための最後の一冊として オススメです。

    分かる人には、必要ないかもしれない。