中部大学工学部 情報工学科 山内研究室は生体の脳に学んだ人工知能を構築する基礎研究をしています。
TEL. 0568-51-9391
〒487-8501 愛知県春日井市松元町1200
研究成果例：睡眠学習HEADLINE
神経回路は一旦学習すると、学習させていない入力に対しても妥当な出力を出す能力（汎化能力）を持 ちます。その半面、一旦学習を終えた神経回路に新しい学習データを追加的に学習させると、過去に学習させた内容を忘却する(Catastrophic Forgetting)現象がが発生します。
これを実現する最も簡単な方法は、新しく与えられたサンプルを表現する記憶ユニットを、新しいサンプルが与えられるたびに追加していくことです。つまり 丸暗記学習で、１回の学習データの提示だけで学習が完了するONE-PASS学習が可能です。ですが、この方式だけだと学習サンプル数が増えるにしたがっ て消費するリソースが際限なく増えるだけでなく、学習データ間の関連性を学習したことにはならず、能力的にはあまり高くはなりません。
これを丸暗記型ではなく、多くのサンプルの間の関係をシンプルな表現で獲得できれば、上記の問題を解決できますが、これを実現するには最適なネットワー ク構造を選択する（これをモデル選択と呼びます）をする期間がどうしても必要になります。通常この期間は新しいサンプルを、新しいユニットとともに追加す るのにかかる時間よりも十分に長くかかります。この「時間」を現実の運用スケジュール上に埋め込もうとすると、学習リクエストと推論リクエストとがバッ ティングするという困難にぶつかります。結局は一時的に人工神経回路の使用をストップし、新しいサンプルの流入を止めたうえでモデル選択を行う以外にあり ません。人間の場合、この期間が睡眠期間なのではないか？と予想されます。
当研究室では以上の知見を踏まえ、機械学習に睡眠期間を積極的に取り入れていきます。
ILS1: 睡眠期間を持つ追記学習法(文献[2]より抜粋)
関連主要論文
[1]Daisuke Nishio, Koichiro Yamauchi "Multithreading learning scheme for embedded system to realize a high-throughput." ICONIP2016, LNCS9948 pp.204--213, (2016)
LGRNNのマイコン組み込みテクニックを提案したもので、この中に一部睡眠を取り入れる手法を提案。
[2]Koichiro Yamauchi, Jiro Hayami "Incremental Learning and Model Selection for Radial Basis Function Network through Sleep", IEICE TRANSACTION on Information and Systems, ED90-D, No.4, pp.722--735, April (2007)
昼間の運用期間中はは丸暗記型のONE-PASS学習をするも、夜になるとモデル選択付き学習を行う手法を提案。
研究成果の例：
これを実現する最も簡単な方法は、新しく与えられたサンプルを表現する記憶ユニットを、新しいサンプルが与えられるたびに追加していくことです。つまり 丸暗記学習で、１回の学習データの提示だけで学習が完了するONE-PASS学習が可能です。ですが、この方式だけだと学習サンプル数が増えるにしたがっ て消費するリソースが際限なく増えるだけでなく、学習データ間の関連性を学習したことにはならず、能力的にはあまり高くはなりません。
これを丸暗記型ではなく、多くのサンプルの間の関係をシンプルな表現で獲得できれば、上記の問題を解決できますが、これを実現するには最適なネットワー ク構造を選択する（これをモデル選択と呼びます）をする期間がどうしても必要になります。通常この期間は新しいサンプルを、新しいユニットとともに追加す るのにかかる時間よりも十分に長くかかります。この「時間」を現実の運用スケジュール上に埋め込もうとすると、学習リクエストと推論リクエストとがバッ ティングするという困難にぶつかります。結局は一時的に人工神経回路の使用をストップし、新しいサンプルの流入を止めたうえでモデル選択を行う以外にあり ません。人間の場合、この期間が睡眠期間なのではないか？と予想されます。
当研究室では以上の知見を踏まえ、機械学習に睡眠期間を積極的に取り入れていきます。
ILS1: 睡眠期間を持つ追記学習法(文献[2]より抜粋)
[1]Daisuke Nishio, Koichiro Yamauchi "Multithreading learning scheme for embedded system to realize a high-throughput." ICONIP2016, LNCS9948 pp.204--213, (2016)
LGRNNのマイコン組み込みテクニックを提案したもので、この中に一部睡眠を取り入れる手法を提案。
[2]Koichiro Yamauchi, Jiro Hayami "Incremental Learning and Model Selection for Radial Basis Function Network through Sleep", IEICE TRANSACTION on Information and Systems, ED90-D, No.4, pp.722--735, April (2007)
昼間の運用期間中はは丸暗記型のONE-PASS学習をするも、夜になるとモデル選択付き学習を行う手法を提案。
研究成果の例：
- 忘れそうな記憶を選択的に再学習する追加学習アルゴリズム(詳細説明)
- 「睡眠」を伴う追加学習アルゴリズム(詳細説明)
- 「興味」を持って学習する機械学習アルゴリズム！：逐次的モデル選択(詳細説明)
- もっと小さく低消費電力で追加学習：Edgeデバイス上で働く逐次学習理論(詳細説明)
バナースペース
中部大学工学部 情報工学科 山内研究室
〒487-8501
愛知県春日井市松元町1200
TEL 0568-51-9391
k_yamauchi[at].sti.chubu.ac.jp