ニューラルネットワークの学習にとっても大切な重みパラメータの勾配、重みパラメータに関する損失関数の勾配を効率よく行う方法が「誤差逆伝播法」というものです。参考サイトです。

グラフによる理解と計算式による理解できるようになると説明されている記事が多いが、もう一つわかりにくいので少しずつ調べていきます。

順方向に計算する方法があって、それを逆方向へ遡って計算して元の数値などを調べることができる。そのとき微分を使うということ。

まず「連鎖律」というものが重要見たいです。連鎖律は合成関数の微分についての性質です。原理は以下。

ある合成関数で表せる関数の場合、その合成関数の微分は、合成関数を構成するそれぞれの関数の微分の積によって表すことができる。

次回はPythonでの実装したものを確認していきたいと思います。