リザーバーコンピューティング(Reservoir Computing:RC)

1038286_R

Reservoir

Reservoirは貯水池という意味で、リザーバーコンピューティングはリカレントニューラルネットワーク(Recurrent Neural Network:RNN)(※1)の一種で、最近新たな機械学習方式として注目されているものです。入力層、中間層(リザーバー層)、出力層(リードアウトニューロン層)の3層で構成される教師あり学習です。

reservoir_003_R(Nanophotonics 2017; 6(3): 561–576  Guy Van der Sande*, Daniel Brunner and Miguel C. Soriano Advances in photonic reservoir computing  https://www.degruyter.com/downloadpdf/j/nanoph.2017.6.issue-3/nanoph-2016-0132/nanoph-2016-0132.pdf より)

(※1)リカレントニューラルネットワーク(Recurrent Neural Network:RNN)とは、日本語で再帰型ニューラルネットワークとも呼ばれ、時系列に意味のあるデータを学習させるのに適したニューラルネットワークです。前の時刻の隠れ層の出力を、次の時刻の隠れ層の入力としてフィードバックする時系列情報を保持したネットワークです。

Herbert Jaeger博士とWolfgang Maass博士

ジェイコブス大学ブレーメン国際大学コンピュータサイエンスのHerbert Jaeger博士とグラーツ工科大学理論計算科学研究所のWolfgang Maass博士が、2000年代初めにそれぞれがニューラルネットワークの新しいアルゴリズム(※2)として発表したものがリザーバーコンピューティングの始まりと言われています。

reservoir_002_R(A historical survey of algorithms and hardware architectures for neural-inspired and neuromorphic computing applications https://www.osti.gov/pages/servlets/purl/1340263 より)

(※2)リカレントニューラルネットワークの学習方法は、BPTT(Back-Propagation Through Time)法とRTRL(Real-Time Recurrent Learning)法の2つが主流でしたが、多層になるととVanishing Gradient Problem(勾配消失問題)、計算量の増大などの課題が生じ、そこでLSTM(Long Short-Time Memory)などのリカレントニューラルネットワークを改善した技術がいくつも提案されてきました。Reservoir Computingのアルゴリズムは、リカレントニューラルネットワークの回帰結合の部分の学習を行わず、出力部の結合のみを学習することでこの問題を回避しようとしたものです。

ESNとLSMとPRC

Herbert Jaeger博士が提唱したのはエコーステートネットワーク(Echo State Network:ESN)という方式です。一般的なニューラルネットワークでは、入力層・中間層・出力層の3層で重みづけのパラメーターを調整して目的の結果が得られるように学習しますが、エコーステートネットワークでは、ニューロン同士を繋ぐ重みは固定し、学習はリザーバー層と出力層を接続しているリードアウトのみです。

ニューロン間の結合の重みはランダムな固定値のままで、ニューロンの結果の重みだけを調整してたし合わせるというものです。回路の制御が簡単になるという利点がありますが、このままでは学習能力が高まらないので、ニューロン数を大幅に増やしています。

Wolfgang Maass博士が提唱したのは、リキッドステート・マシン(Liquid State Machines:LSM)という方式です。エコーステートネットワークに良く似ていますが、こちらの方は脳(小脳)のモデルから提唱された考えのようで、実際の脳神経細胞とよく似た動きをするそうです。

近年は、パラメータを固定するならば、コンピュータ上にリザーバーを構築しなくても物理系のダイナミクスをリザーバーとして活用できるのではというないかという発想から、様々な物理現象を情報処理デバイスの一部として活用するPhysical Reservoir Computing (PRC)というものが注目されています。応用が期待されるものにソフトロボットがあります。制御の難しい柔らかさを逆に計算資源として使うことで制御しよいといういわば逆転の発想のようです。

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です