バックプロパゲーション(backpropagation)

バックプロパゲーション(英: Backpropagation)または誤差逆伝播法(ごさぎゃくでんぱほう)は、機械学習において、ニューラルネットワーク(neural network)を学習させるための教師あり学習のアルゴリズム。

1986年にbackwards propagation of errors(後方への誤差伝播)の略からデビッド・ラメルハートらによって命名された。

1969年にアーサー・E・ブライソン(Arthur E. Bryson)と何毓琦が多段動的システム最適化手法として提案した。ニューラルネットワークに応用されるようになったのは、1974年のポール・ワーボス(英語版)、1986年のデビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・J・ウィリアムス(英語版)らの再発見によるもので、特に1986年の発表以降ニューラルネットワーク研究が注目を浴び再活性化することになった。

教師あり学習手法であり、デルタルールを一般化したものと言える。訓練集合を作るには、多数の入力について必要とされる出力を事前に定めておく必要がある。フィードフォワードネットワーク(フィードバックを持たない、あるいは単にループするコネクションを持たないネットワーク)で最も効果を発揮する。バックプロパゲーションでは、人工ニューロン(または「ノード」)で使われる伝達関数が可微分でなければならない。

関連