山内研究室　Biomimetic Intelligent System Laboratory

• 忘れそうな記憶を選択的に再学習する追加学習アルゴリズム(詳細説明)
• 「睡眠」を伴う追加学習アルゴリズム(詳細説明)
• 「興味」を持って学習する機械学習アルゴリズム！(詳細説明)
• 制限付き神経回路の開発と電力制御への応用(詳細説明)
• 組込用学習理論の構築(詳細説明)

　組込用学習理論の開発
　
　マイクロコンピュータ（マイコン）のようにリソースの限られた環境下でリアルタイムで追加学習が可能な微小ニューラルネットワークを構築しています。　新しいサンプルが来たら、
①直後に適応し、
②破滅的忘却を起こさず、
③汎化能力も高い
ニューラル学習エンジンです。


何分、小さなマイコン上のことです。追加学習時に必要な過去のサンプルの再学習を行う等の重い作業は困難です。

つまり与えられたサンプルを保持するスペースもなければ、再学習するCPUパワーの余裕もありません。

サンプルは一切保持することなく①②③を実現することが求められるのです。これは極めてチャレンジングなことです。

　私達はこれを実現する手法を2009年から開発してきました。最初にリリースした Limited General Regression Neural Network (LGRNN)[1]では、Kernel法を使ってこれを実現します。Kernel法はニューラルネットワークが実現する関数空間上の差を学習サンプルを一切参照せずに評価できます。これを使って忘却の量を見積もることで学習戦略を切り替えて追加学習を実現します。

　LGRNNをリリースしてから8年かかって、ようやく最新版のLGRNNPlusをリリースしました[2]。LGRNNPlusはLGRNNが運用する複数の学習戦略を、ソフトに最適配分することにより、LGRNNよりもさらに、平均20%累積誤差を抑えることに成功しました。特に学習初期段階における誤差は、他の類似学習手法を大きく凌駕しており[2]、少数サンプルでの学習に強みがあります。LGRNNPlusはDeep Neural Networkと組み合わせて、認識ヘッドとして活用することで、近年多方面で研究されている画像のfewshot追加学習も組み込み機器上で実現できます。これをFPGAボードに組み込んで画像のオンボード学習・認識を行うプロトタイプを実現しました。

プロトタイプ


fewshot 追加学習の実行例

※開発秘話
組込用学習エンジンではリソースマネージメントが必要になります。限られたリソース以内で学習するには、不要な記憶を積極的に忘却する必要が生じます。

しかし、不要な記憶と言っても、１つの記憶表現は別の記憶表現の一部ともなっています。忘却させるべく取り除くと、多少なりとも過去の記憶に影響が出るのです。

　これを防ぐためにSoftMaxカーネルを使用して、1つのカーネルの記憶が他に影響することを極力避ける工夫をしています。

　しかし、ベンチマークテストで他を凌駕するにはそれだけでは全く不十分でした。取り除く際の影響の量を予測し、さらに影響を減少させるべくパラメータを精緻に調整しないととてもじゃないけど勝てない！　

　このパラメータ調整には忘却の量を過去のサンプルを参照せずに評価する必要があります。そのためにはKernelトリックなる数学的テクニックが必須になります。しかし、LGRNNが使用するカーネルは、再生カーネルの条件を満たしません。つまりkernelトリックは使えないことになります。この事実に気が付くのに恥ずかしながら時間がかかり、回り道をしながら9年間も試行錯誤が続いたのでした。

　最終的に落ち着いたのは「線形近似」です。文献[1]：LGRNNはいわばヒューリスティクスでこれを実現したものですが、文献[2]：LGRNNPlusでは、この近似による学習理論が展開されています。LGRNNPlusはLGRNNよりも平均20％程累積誤差を抑える能力があります。（UCI-machine learning repositoryのregression用ベンチマークデータセットで検証）