Richards, Blake A., Timothy P. Lillicrap, Philippe Beaudoin, Yoshua Bengio, Rafal Bogacz, Amelia Christensen, Claudia Clopath, et al. “A Deep Learning Framework for Neuroscience.” Nature Neuroscience 22, no. 11 (November 2019): 1761–70. https://doi.org/10.1038/s41593-019-0520-2.
を読んだ感想，メモを残した記事です．
勝手に概要
脳を理解するということは，脳が採用している学習目標(目的関数)，学習規則(シナプス結合強度の更新規則)，ネットワーク構造(アーキテクチャ)の３つを明らかにすることである．
脳が上記の３つの点からどのように設計されているかを理解するためにトップダウン的な理論的枠組みの構築とそれに基づいた神経生理学的な検証が重要となってくる．
ポイント
- 人工ニューラルネットワーク(ANN)は学習目標(目的関数)，学習規則(シナプス結合強度の更新規則)，ネットワーク構造(アーキテクチャ)に従い目的の情報処理を学習する．
そして，現実の問題に対応するためには情報処理のメカニズムを手動で構築するのではなく，上記の３つを指定するほうが簡単である． - 脳も上記の学習目標(目的関数)，学習規則(シナプス結合強度の更新規則)，ネットワーク構造(アーキテクチャ)による学習によって現実の課題を解決する情報処理機構を獲得している可能性がある．
そして神経応答を目的関数、学習ルール、ネットワーク構造の相互作用の創発的結果として捉えることによって、神経応答がなぜそのようになるかを説明するルールの枠組みを得ることができるかもしれない． - 第４の要素として環境がある．生物は環境との相互作用によって学習する．
- 神経科学で活発に行われている脳内神経回路網の同定は３つのうちの１つであるネットワーク構造の解明に当たる．そのためさらに脳内の学習目標，学習規則を考えていく必要がある．
- 帰納バイアスによって，システムは未知の入力に対して事前の知識に基づいた妥当な出力ができる．
つまり，良い帰納バイアスを獲得することが汎化性能の向上につながる
メモ
（引用番号は論文中のものをそのまま使用しています．）
人口ニューラルネットワーク(artificial neural networks:ANNs)において設計者は具体的な計算を作りこむのではなく，学習目標(目的関数)，学習規則(シナプス結合強度の更新規則)，ネットワーク構造を決めることで目的の情報処理を学習する[15]．
上記の３つの要素によって学習が可能な計算と不可能な計算が生まれる．
神経系もいくつかの簡単な仮定をおくと誤差逆伝播法を近似的に実現できることが知られている[12,14,34,35,36,37,38,39]．
そのためANNはこれまで言われているほど脳内情報処理として非現実なものではない可能性がある．
ANNで提案されている学習規則
以下のような学習規則が提案されている．
- contrastive Hebbian learning,
- predictive coding[35]
- dendritic error learning[14]
- regression discontinuity design (RDD)[91]
- attention-gated reinforcement learning (AGREL)[37]
- backpropagation
- feedback alignment[36]
- node/weight perturbation[92]
脳内でも同じように勾配に基づく手法が行われているかはまだ明らかになっていない．
帰納バイアスは汎化性能の向上において重要
すべての可能な問題に対して優れた性能を発揮する学習的なアルゴリズムは存在しないことがNo Free Lunch Theoremsによって示されている[43]．(詳細は要調査)
帰納バイアス(Inductive biases)
帰納バイアスとは解くべき問題，未知の問題に対して学習されたシステムが持っている事前知識(バイアス)である．
システムが帰納バイアスを獲得することによって未知の問題に対しても事前知識に沿った出力をすることができる．
学習規則(信用割当)の生物学的なモデル
学習規則とは信用の割り当て(credit assignment)をどのように達成するかというルール？
- Attention-based models of credit assignment
- Dendritic models of credit assignment
その他
生物が一見少ないデータで学習できているように感じるのは，進化によって神経ネットーワークの初期配線が学習されてきた結果である．
生物が学習目標(目的関数)，学習規則(シナプス結合強度の更新規則)，ネットワーク構造のみを指定することは遺伝子に書き込む必要のある情報の量が少なくていいという利点がある．
コメント