ニューラルネットワーク(神経回路網、英: neural network, NN)は、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデル。研究の源流は生体の脳のモデル化であるが、神経科学の知見の改定などにより次第に脳モデルとは乖離が著しくなり、生物学や神経科学との区別のため、人工ニューラルネットワーク(人工神経回路網、英: artificial neural network, ANN)とも呼ばれる。

ニューラルネットワークとは、シナプスの結合によりネットワークを形成した人工ニューロン(ノード)が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す。ニューラルネットワークは、教師信号(正解)の入力によって問題に最適化されていく教師あり学習と、教師信号を必要としない教師なし学習(Unsupervised Learning)に分けられる。

狭義には誤差逆伝播法を用いた多層パーセプトロン(perceptron)を指す場合もあるがこれは誤った用法である。

明確な解答が用意される場合には教師あり学習が使われ、クラスタリングには教師なし学習が用いられる。

中間層が2層以上あるディープラーニング(深層学習)においては、出力に近い最後の中間層を教師あり学習で、それよりも入力に近い側を教師なし学習で学習する方法がジェフリー・ヒントンらにより提案されている。結果としていずれも次元削減(dimension reduction)されるため、画像や統計など多次元量のデータで線形分離不困難な問題に対して、比較的小さい計算量で良好な解を得られることが多い。

現在では、特徴量に基づく画像認識、市場における顧客データに基づく購入物の類推など、パターン認識やデータマイニングとして応用されている。

• 1943年　ウォーレン・マカロックとウォルター・ピッツが形式ニューロン(formal neuron)を発表。
• 1958年　フランク・ローゼンブラットがパーセプトロン(perceptron)を発表。
• 1969年　マービン・ミンスキーとシーモア・パパートが著書『パーセプトロン』の中で、単純パーセプトロンは線形分離不可能なパターンを識別できない事を示した。
• 1982年　ジョン・ホップフィールドによってホップフィールドネットワーク(Hopfield network)が提案された。
• 1985年　ジェフリー・ヒントンらによりボルツマンマシンが提案された。
• 1986年　デビッド・ラメルハートらによりバックプロパゲーション(backpropagation)が提案(再発見)された。
• 2006年　ジェフリー・ヒントンらによりオートエンコーダおよびディープビリーフネットワークが提案され、これがディープラーニング(深層学習)へと発展した。

フィードフォワードニューラルネットワーク(Feedforward Neural Network:FFNN)は、最初に考案された単純な構造の人工ニューラルネットワークモデル。ネットワークにループする結合を持たず、入力ノード→中間ノード→出力ノードというように単一方向へのみ信号が伝播するものを指す。

• パーセプトロン(perceptron)
  • 単純パーセプトロン
  • 多層パーセプトロン
• アソシアトロン(Associatron)
• コグニトロン
• ネオコグニトロン

教師信号によるニューラルネットワークの学習は心理学者ドナルド・ヘッブが1949年に提唱したシナプス可塑性についての法則、ヘブ則に基づく。神経細胞間のネットワークの繋がりが太くなり、その結果、特定の細胞への情報伝達経路が作られる(情報が流れやすくなる)、これを学習とする。パーセプトロンは学習の結果、集合を超平面により分割する。この学習は有限回の試行で収束することがマービン・ミンスキー(Marvin Minsky)によって1969年に証明された。

1986年にデビッド・ラメルハートらによりバックプロパゲーション(backpropagation)が提案され、多層パーセプトロンの学習モデルとして使用されている。バックプロパゲーションは主に中間層が1層の時に使われ、中間層が2層以上ある時はディープラーニング(深層学習)と呼ばれ、入力に近い側の層をオートエンコーダで学習してから積み上げていく方法などが提案されている。

バックプロパゲーション(backpropagation)に用いられるActivation functionに放射基底関数を用いたニューラルネットワーク

• RBFネットワーク
• 一般回帰ニューラルネットワーク（GRNN、General Regression Neural Network）- 正規化したRBFネットワーク

自己組織化写像はコホネンが1982年に提案した教師なし学習モデルであり、多次元データのクラスタリング、可視化などに用いられる。自己組織化マップ(Self-organizing maps)、コホネンマップとも呼ばれる。

• 自己組織化写像
• 学習ベクトル量子化

リカレントニューラルネットワーク(Recurrent neural network)はフィードフォワードニューラルネットワーク(Feedforward Neural Network:FFNN)と違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。

• ホップフィールドネットワーク(Hopfield network)

乱数による確率的な動作を導入した人工ニューラルネットワークモデル。モンテカルロ法のような統計的標本抽出手法と考えることができる。

• ボルツマンマシン
• ベイジアンネットワーク

スパイキングニューラルネットワーク(Spiking Neural Network:SNN)とは、ニューラルネットワークをより生物学的な脳の働きに近づけるため、活動電位(スパイク)を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニング(深層学習)よりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。

• ニューラルネットワーク
• ニューラルネットワーク