山内研究室 Biomimetic Intelligent System Laboratory
yamauchi[at]cs.chubu.ac.jp研究内容
研究テーマ
メンバー
担当授業
研究室へのアクセス
top page
- 忘れそうな記憶を選択的に再学習する追加学習アルゴリズム(詳細説明)
- 「睡眠」を伴う追加学習アルゴリズム(詳細説明)
- 「興味」を持って学習する機械学習アルゴリズム！(詳細説明)
- 制限付き神経回路の開発と電力制御への応用(詳細説明)
- 組込用学習理論の構築(詳細説明)
睡眠を伴う追加学習アルゴリズム
人工神経回路の追記学習アルゴリズムを開発しています。神経回路は一旦学習すると、学習させていない入力に対しても妥当な出力を出す能力（汎化能力）を持 ちます。その半面、一旦学習を終えた神経回路に新しい学習データを追加的に学習させると、過去に学習させた内容を忘却する(Catastrophic Forgetting)現象がが発生します。これを防ぐ手法を開発しています。
これを実現する最も簡単な方法は、新しく与えられたサンプルを表現する記憶ユニットを、新しいサンプルが与えられるたびに追加していくことです。つまり 丸暗記学習で、１回の学習データの提示だけで学習が完了するONE-PASS学習が可能です。ですが、この方式だけだと学習サンプル数が増えるにしたがっ て消費するリソースが際限なく増えるだけでなく、学習データ間の関連性を学習したことにはならず、能力的にはあまり高くはなりません。
これを丸暗記型ではなく、多くのサンプルの間の関係をシンプルな表現で獲得できれば、上記の問題を解決できますが、これを実現するには最適なネットワー ク構造を選択する（これをモデル選択と呼びます）をする期間がどうしても必要になります。通常この期間は新しいサンプルを、新しいユニットとともに追加す るのにかかる時間よりも十分に長くかかります。この「時間」を現実の運用スケジュール上に埋め込もうとすると、学習リクエストと推論リクエストとがバッ ティングするという困難にぶつかります。結局は一時的に人工神経回路の使用をストップし、新しいサンプルの流入を止めたうえでモデル選択を行う以外にあり ません。人間の場合、この期間が睡眠期間なのではないか？と予想されます。
当研究室では以上の知見を踏まえ、機械学習に睡眠期間を積極的に取り入れていきます。
ILS1: 睡眠期間を持つ追記学習法(文献[2]より抜粋)
[1]Daisuke Nishio, Koichiro Yamauchi "Multithreading learning scheme for embedded system to realize a high-throughput." ICONIP2016, LNCS9948 pp.204--213, (2016)
LGRNNのマイコン組み込みテクニックを提案したもので、この中に一部睡眠を取り入れる手法を提案。
[2]Koichiro Yamauchi, Jiro Hayami "Incremental Learning and Model Selection for Radial Basis Function Network through Sleep", IEICE TRANSACTION on Information and Systems, ED90-D, No.4, pp.722--735, April (2007)
昼間の運用期間中はは丸暗記型のONE-PASS学習をするも、夜になるとモデル選択付き学習を行う手法を提案。