ニューラルネットワーク

パーセプトロンを組み合わせて構成される、脳の神経回路を模したモデル。フィードフォワードニューラルネットワーク(FFNN)とリカレントニューラルネットワーク(RNN)に大別できる。

活性化関数として、ステップ関数の代わりにシグモイド関数、ReLU関数、ソフトマックス関数などがよく用いれる。

一方向性の結合しか持たないニューラルネットワーク。ループがないため、過去の情報は記憶できない。

FFNNは多層パーセプトロンを一般化したもので、各層での計算は次のように表現できる。

ただし、$z$は出力ベクトル、$x$は入力ベクトル、$W$は重み行列、$b$はバイアスベクトル、$act$は活性化関数である。

上記の関係式を改めて$z = f(x)$と置くと、FFNNは次のように表現できる。

このように、層の増加に伴ってモデルの表現力が向上するため、高精度の予測が可能になる。

自己回帰構造のような双方向性の結合を持つニューラルネットワーク。

狭義には、FFNNに自己回帰型の構造を追加したニューラルネットワークを指し、自己回帰型の構造によって過去の情報を記憶できるため、しばしば時系列データ解析などに利用される。

多層のニューラルネットワークを指してディープニューラルネットワークと呼ぶこともあるが、本記事では特に区別しない。