ホーム > 特許ランキング > 国立大学法人九州工業大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】情報処理装置、及び情報処理方法
(51)【国際特許分類】
G06N 3/044 20230101AFI20240909BHJP
【ＦＩ】
G06N3/044 100
【請求項の数】
5
(21)【出願番号】P 2021007422
(22)【出願日】2021-01-20
(65)【公開番号】P2022111775
(43)【公開日】2022-08-01
【審査請求日】2023-09-22
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人新エネルギー・産業技術総合開発機構「高効率・高速処理を可能とするＡＩチップ・次世代コンピューティングの技術開発／次世代コンピューティング技術の開発／未来共生社会にむけたニューロモルフィックダイナミクスのポテンシャルの解明」に係る委託事業、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100188592
【弁理士】
【氏名又は名称】山口 洋
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(72)【発明者】
【氏名】田中 悠一朗
(72)【発明者】
【氏名】田向 権
(72)【発明者】
【氏名】内野 壱星
【審査官】北川 純次
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０２５３６４０（ＵＳ，Ａ１）
【文献】特開２０２０－０９１５４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０２－３／１０
(57)【特許請求の範囲】
【請求項1】
再帰型ニューラルネットワークが適用される学習モデルに基づいて、入力されたタスクに対して前記学習モデルが出力する複数のデータを取得する処理部と、入力された前記タスクに基づいて、前記処理部が取得する複数の前記データから出力するデータを判定する判定部と
を備え、
前記学習モデルは、レザバーコンピューティング形式であり、
前記判定部は、複数のノードが配置された類似度マップに基づいて、複数の前記ノードから、入力された前記タスクに類似するノードを判定し、
前記処理部は、複数の前記データのうち、前記判定部が判定した類似する前記ノードに対応するデータを出力する、情報処理装置。
【請求項2】
前記類似度マップは、類似するタスクに対応するノード同士は、類似しないタスクに対応するノード同士よりも近くに配置される、請求項１に記載の情報処理装置。
【請求項3】
前記学習モデルが出力するデータの数と前記類似度マップに含まれるノードの数とは等しい、請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記類似度マップは、自己組織化マップである、請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項5】
再帰型ニューラルネットワークが適用される学習モデルに基づいて、入力されたタスクに対して前記学習モデルが出力する複数のデータを取得するステップと、入力された前記タスクに基づいて、複数の前記データから出力するデータを判定するステップと、
複数の前記データのうち、出力すると判定したデータを出力するステップと
を有し、
前記学習モデルは、レザバーコンピューティング形式であり、
判定する前記ステップでは、複数のノードが配置された類似度マップに基づいて、複数の前記ノードから、入力された前記タスクに類似するノードを判定し、
出力する前記ステップでは、複数の前記データのうち、判定する前記ステップで判定した類似する前記ノードに対応するデータを出力する、情報処理装置が実行する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、及び情報処理方法に関する。
【背景技術】
【0002】
マルチタスク学習は、単一のニューラルネットワークで複数のタスクを解くことを目的としたもので、近年機械学習の分野で注目を集めている。マルチタスク学習へのアプローチとして、結合コスト最小化による手法が知られている（例えば非特許文献１参照）。この手法は、レザバーコンピュータの一種であるエコーステートネットワークを改変し、マルチタスク学習を通じてネットワーク内部にモジュールが形成されるアルゴリズムを導入したものである。
【0003】
マルチタスク学習には破滅的忘却の問題がある。破滅的忘却の問題は、ニューラルネットワークのパラメータがあるタスクの学習により調整された後、新たに与えられたタスクの学習により上書きされることで、過去に学習したタスクを忘却し、解けなくなる問題である。結合コスト最小化による手法では、タスクによってモジュールを使い分けることで、破滅的忘却を回避している。
【0004】
しかし、結合コスト最小化による手法には遺伝的アルゴリズムが用いられており、マルチタスクを達成できるようになるためには、膨大な回数の学習が必要である。他にもＧｏｏｇｌｅ ＤｅｅｐＭｉｎｄより提案されているＰａｔｈＮｅｔもマルチタスク学習のための手法であるが（例えば、非特許文献２参照）、こちらも遺伝的アルゴリズムを用いており、結合コスト最小化による手法が有する問題と同様の問題がある。
【先行技術文献】
【非特許文献】
【0005】
【文献】河合祐司、小笹悠歩、朴志勲、浅田稔、“結合コスト最小化によるエコーステートネットワークの破滅的忘却の回避”、The 33rd Annual Conference of the Japanese Society for Artificial Intelligence, 2019．
【文献】Chrisantha Fernando, Dylan Banarse, Charles Blundell, Yori Zwols, David Ha, Andrei A. Rusu, Alexander Pritzel, Daan Wierstra, “PathNet: Evolution Channels Gradient Descent in Super Neural Networks”, arXiv:1701.08734v1 [cs.NE] 30 Jan 2017.
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述したように、一般的なニューラルネットワークでは、複数のタスクを継続的に与えると、過去に学習したタスクを忘却するため、マルチタスク学習の実現は困難である。
また、マルチタスク学習に対して遺伝的アルゴリズムによる最適化が用いられる場合に、膨大な学習回数が必要となる。
本発明は、前述した問題を解決すべくなされたもので、マルチタスク学習を実行できる情報処理装置、及び情報処理方法を提供することを目的とする。
また、マルチタスク学習に対して遺伝的アルゴリズムによる最適化が用いられる場合に、膨大な学習回数が必要となる。
本発明は、前述した問題を解決すべくなされたもので、マルチタスク学習を実行できる情報処理装置、及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態は、再帰型ニューラルネットワークが適用される学習モデルに基づいて、入力されたタスクに対して前記学習モデルが出力する複数のデータを取得する処理部と、入力された前記タスクに基づいて、前記処理部が取得する複数の前記データから出力するデータを判定する判定部とを備え、前記学習モデルは、レザバーコンピューティング形式であり、前記判定部は、複数のノードが配置された類似度マップに基づいて、複数の前記ノードから、入力された前記タスクに類似するノードを判定し、前記処理部は、複数の前記データのうち、前記判定部が判定した類似する前記ノードに対応するデータを出力する、情報処理装置である。
本発明の一実施形態は、前述の情報処理装置において、前記類似度マップは、類似するタスクに対応するノード同士は、類似しないタスクに対応するノード同士よりも近くに配置される。
本発明の一実施形態は、前述の情報処理装置において、前記学習モデルが出力するデータの数と前記類似度マップに含まれるノードの数とは等しい。
本発明の一実施形態は、前述の情報処理装置において、前記類似度マップは、自己組織化マップである。
本発明の一実施形態は、前述の情報処理装置において、前記類似度マップは、類似するタスクに対応するノード同士は、類似しないタスクに対応するノード同士よりも近くに配置される。
本発明の一実施形態は、前述の情報処理装置において、前記学習モデルが出力するデータの数と前記類似度マップに含まれるノードの数とは等しい。
本発明の一実施形態は、前述の情報処理装置において、前記類似度マップは、自己組織化マップである。
【0008】
本発明の一実施形態は、再帰型ニューラルネットワークが適用される学習モデルに基づいて、入力されたタスクに対して前記学習モデルが出力する複数のデータを取得するステップと、入力された前記タスクに基づいて、複数の前記データから出力するデータを判定するステップと、複数の前記データのうち、出力すると判定したデータを出力するステップとを有し、前記学習モデルは、レザバーコンピューティング形式であり、判定する前記ステップでは、複数のノードが配置された類似度マップに基づいて、複数の前記ノードから、入力された前記タスクに類似するノードを判定し、出力する前記ステップでは、複数の前記データのうち、判定する前記ステップで判定した類似する前記ノードに対応するデータを出力する、情報処理装置が実行する情報処理方法である。
【発明の効果】
【0009】
本発明の実施形態によれば、マルチタスク学習を実行できる情報処理装置、及び情報処理方法を提供できる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る情報処理装置の構成図である。
【図2】本実施形態に係る情報処理装置の動作の一例を示す図である。
【図3】本実施形態に係る情報処理装置の類似度マップの動作の一例を示す図である。
【図4】本実施形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図5】本実施形態に係る情報処理装置の動作の一例を示す図である。
【図6】本実施形態に係る情報処理装置の処理結果の例１を示す図である。
【図7】本実施形態に係る情報処理装置の処理結果の例２を示す図である。
【図8】本実施形態に係る情報処理装置の処理結果の例３を示す図である。
【図9】本実施形態に係る情報処理装置の処理結果の例４を示す図である。
【図10】本実施形態に係る情報処理装置の処理結果の例５を示す図である。
【図11】本実施形態に係る情報処理装置の入力データの一例を示す図である。
【図12】本実施形態に係る情報処理装置の処理結果の例６を示す図である。
【図13】本実施形態に係る情報処理装置が備える類似度マップの一例を示す図である。
【発明を実施するための形態】
【0011】
次に、本発明の実施形態に係る情報処理装置、及び情報処理方法を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0012】
（実施形態）
［全体構成］
図１は、本発明の実施形態に係る情報処理装置の構成図である。
情報処理装置１００には、タスクが入力される。情報処理装置１００は、入力されたタスクを取得する。情報処理装置１００は、学習モデルに基づいて、取得したタスクに対して処理を実行する。学習モデルの一例は、再帰型ニューラルネットワーク(RNN: Recurrent neural network)形式の学習モデルである。本実施形態では、再帰型ニューラルネットワーク形式の学習モデルの一例として、レザバーコンピューティング(Reservoir Computing)を適用した場合について説明を続ける。
［全体構成］
図１は、本発明の実施形態に係る情報処理装置の構成図である。
情報処理装置１００には、タスクが入力される。情報処理装置１００は、入力されたタスクを取得する。情報処理装置１００は、学習モデルに基づいて、取得したタスクに対して処理を実行する。学習モデルの一例は、再帰型ニューラルネットワーク(RNN: Recurrent neural network)形式の学習モデルである。本実施形態では、再帰型ニューラルネットワーク形式の学習モデルの一例として、レザバーコンピューティング(Reservoir Computing)を適用した場合について説明を続ける。
【0013】
レザバーコンピューティングは、入力層(Input layer)とレザバー層(Reservoir)とリードアウト層(Readout layer)とを含んで構成される。レザバーコンピューティングは、レザバー層に再帰結合を持つニューラルネットワークである。レザバーコンピューティングは、一度レザバー層で重みを乱数によって決め、それ以降その重みを学習しない。レザバーコンピューティングでは、レザバー層とリードアウト層との間の結合重みが学習される。レザバー層でデータは記憶されるため、時系列データを扱うことができる。本実施形態では、リードアウト層に複数のリードアウトを導入する。
【0014】
情報処理装置１００は、類似度マップを使用して、複数のノードから取得したタスクに類似するノードを判定する。類似度マップの一例は、自己組織化マップである。複数のノードの各々は、学習済のタスクに対応する。類似するタスクに対応するノード同士は互いに近くに配置され、類似しないタスクに対応するノード同士は離れて配置されている。類似度マップに含まれるノード数は、学習モデルに含まれるリードアウトの個数と一致する。複数のノードの各々は、複数のリードアウトの各々と対応付けられている。
ここでは、一例として連続してタスクが与えられる状況を想定する。ネットワークは初期状態（すなわちタスクを与えていない状態）では、学習済みタスクは存在しない。学習済タスクは、例えば、数回のタスクの学習を経ることによって、学習したタスクのことをいう。類似度マップは、複数の学習済みタスクを学習することによって形成される。
ここでは、一例として連続してタスクが与えられる状況を想定する。ネットワークは初期状態（すなわちタスクを与えていない状態）では、学習済みタスクは存在しない。学習済タスクは、例えば、数回のタスクの学習を経ることによって、学習したタスクのことをいう。類似度マップは、複数の学習済みタスクを学習することによって形成される。
【0015】
情報処理装置１００は、学習モデルに基づいて、タスクに対して処理を実行することによって複数のリードアウトを取得する。情報処理装置１００は、類似度マップを使用して判定された類似するノードに対応するリードアウトから出力データを取得する。このように構成することによってタスクに基づいて複数のリードアウトを使い分けることができるため、リードアウトが上書きされることを低減できる。このため、破滅的忘却を回避できる。
【0016】
情報処理装置１００は、出力データを取得したリードアウト（以下「勝者リードアウト」という）の結合重み行列に加え、勝者リードアウトの近傍のリードアウトの結合重み行列を学習する。情報処理装置１００は、勝者リードアウトの結合重み行列と勝者リードアウトの近傍のリードアウトの結合重み行列とを学習した結果に基づいて、リードアウト層に含まれる複数のリードアウトの各々の結合重み行列を更新する。このように構成することによって、学習を繰り返すことでリードアウトが自己組織化される。すなわち、近くに配置されたリードアウトを似た応答を示すようにできる。
以下、情報処理装置１００の詳細について説明する。
以下、情報処理装置１００の詳細について説明する。
【0017】
［情報処理装置１００］
情報処理装置１００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、あるいはその他の情報処理機器として実現される。情報処理装置１００は、例えば、入力部１１０と、受付部１２０と、処理部１３０と、判定部１３５と、出力部１４０と、記憶部１５０とを備える。
情報処理装置１００は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、あるいはその他の情報処理機器として実現される。情報処理装置１００は、例えば、入力部１１０と、受付部１２０と、処理部１３０と、判定部１３５と、出力部１４０と、記憶部１５０とを備える。
【0018】
入力部１１０は、入力デバイスを備える。入力部１１０には、タスクを特定する情報が入力される。入力部１１０は、入力されたタスクを特定する情報を取得する。タスクの一例は、時系列データである。以下、一例として、タスクが時系列データｕ（ｔ）である場合について説明を続ける。
【0019】
記憶部１５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などにより実現される。記憶部１５０には、プログラムが記憶される。
処理部１３０は、学習モデル１３２を有する。学習モデル１３２の一例は、レザバーコンピューティングが適用される学習モデルである。この学習モデル１３２は、入力層とレザバー層とリードアウト層とを含む。
入力層には時系列データｕ（ｔ）が入力される。入力層は、入力された時系列データｕ（ｔ）をレザバー層へ出力する。入力層は、入力された時系列データｕ（ｔ）に重みづけを行い、重みづけを行った時系列データｕ（ｔ）をレザバー層へ出力してもよい。ここでは、重みづけを行わない場合について説明を続ける。
処理部１３０は、学習モデル１３２を有する。学習モデル１３２の一例は、レザバーコンピューティングが適用される学習モデルである。この学習モデル１３２は、入力層とレザバー層とリードアウト層とを含む。
入力層には時系列データｕ（ｔ）が入力される。入力層は、入力された時系列データｕ（ｔ）をレザバー層へ出力する。入力層は、入力された時系列データｕ（ｔ）に重みづけを行い、重みづけを行った時系列データｕ（ｔ）をレザバー層へ出力してもよい。ここでは、重みづけを行わない場合について説明を続ける。
【0020】
レザバー層は、入力層が出力した時系列データｕ（ｔ）を取得する。リザバー層は、スパースでランダムな結合をもつリカレントニューラルネットワークで与えられる。レザバー層は、取得した時系列データｕ（ｔ）を高次元時系列データに非線形変換する。レザバー層は、時系列入力データの時間方向の関係性（依存性）に基づいて処理するために、過去の入力情報を蓄積して記憶している。レザバー層は、高次元時系列データをリードアウト層へ出力する。リードアウト層は、レザバー層が出力した高次元時系列データを、複数のリードアウトの各々の結合重み行列を用いて線形変換する。
【0021】
判定部１３５は、類似度マップ１３４を有する。
類似度マップ１３４は、複数のノードを含む。複数のノードの各々は、学習済のタスクに対応する。類似するタスクに対応するノード同士は互いに近くに配置され、類似しないタスクに対応するノード同士は離れて配置されている。類似度マップ１３４では、高次元データが低次元グリッドに非線形写像されている。類似度マップ１３４の一例は、自己組織化マップである。
類似度マップ１３４は、時系列データｕ（ｔ）の波形に基づいて、複数のノードから一のノードを選択するために使用される。ある時系列データｕ（ｔ）に最も類似するノードを勝者とする。つまり、時系列データｕ（ｔ）の波形が類似度マップ１３４に入力され、入力された時系列データｕ（ｔ）の波形が類似するノードが類似度マップ１３４のどこに位置するか（その位置を勝者と呼ぶ）を判定する。類似度マップ１３４に含まれる複数のノードは、それぞれリードアウトと一対一で対応付けられており、勝者に対応するリードアウトが選択される。
類似度マップ１３４は、複数のノードを含む。複数のノードの各々は、学習済のタスクに対応する。類似するタスクに対応するノード同士は互いに近くに配置され、類似しないタスクに対応するノード同士は離れて配置されている。類似度マップ１３４では、高次元データが低次元グリッドに非線形写像されている。類似度マップ１３４の一例は、自己組織化マップである。
類似度マップ１３４は、時系列データｕ（ｔ）の波形に基づいて、複数のノードから一のノードを選択するために使用される。ある時系列データｕ（ｔ）に最も類似するノードを勝者とする。つまり、時系列データｕ（ｔ）の波形が類似度マップ１３４に入力され、入力された時系列データｕ（ｔ）の波形が類似するノードが類似度マップ１３４のどこに位置するか（その位置を勝者と呼ぶ）を判定する。類似度マップ１３４に含まれる複数のノードは、それぞれリードアウトと一対一で対応付けられており、勝者に対応するリードアウトが選択される。
【0022】
受付部１２０は、入力部１１０に入力された時系列データｕ（ｔ）を取得し、取得した時系列データｕ（ｔ）を受け付ける。受付部１２０が受け付けた時系列データｕ（ｔ）は、処理部１３０と判定部１３５とへ出力される。
処理部１３０は、受付部１２０が受け付けた時系列データｕ（ｔ）を取得する。
図２は、本実施形態に係る情報処理装置の動作の一例を示す図である。図２を参照して、情報処理装置１００の処理の一例について説明する。ここでは、レザバーコンピューティングのアルゴリズムの一例として、Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋを適用した場合について説明する。
学習モデル１３２を作成する動作について説明する。処理部１３０は、一又は複数の時系列データｕ（ｔ）とこれらの一又は複数の時系列データｕ（ｔ）の各々に対応する教師信号（理想の出力情報）Ｙとを学習モデル１３２に与える。処理部１３０は、一又は複数の時系列データｕ（ｔ）の入力によって得られたレザバー層の内部状態の一又は複数の時系列データＸ（ｔ）と、一又は複数の教師信号とを用いてリッジ回帰を行うことで、一又は複数の時系列データｕ（ｔ）（タスク）の各々に対する最適なリードアウトの結合重み行列Ｗｏｐｔを算出する。一又は複数のリードアウトの各々の結合重み行列の学習では、これらの結合重みがＷｏｐｔに近づくように更新する。この近づけ度合いは、近傍係数ｈｉによって調整する。すなわち、勝者リードアウトの結合重みはＷｏｐｔに近い値を取り、勝者から離れたリードアウトの結合荷重みはＷｏｐｔに近づかない。
処理部１３０は、受付部１２０が受け付けた時系列データｕ（ｔ）を取得する。
図２は、本実施形態に係る情報処理装置の動作の一例を示す図である。図２を参照して、情報処理装置１００の処理の一例について説明する。ここでは、レザバーコンピューティングのアルゴリズムの一例として、Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋを適用した場合について説明する。
学習モデル１３２を作成する動作について説明する。処理部１３０は、一又は複数の時系列データｕ（ｔ）とこれらの一又は複数の時系列データｕ（ｔ）の各々に対応する教師信号（理想の出力情報）Ｙとを学習モデル１３２に与える。処理部１３０は、一又は複数の時系列データｕ（ｔ）の入力によって得られたレザバー層の内部状態の一又は複数の時系列データＸ（ｔ）と、一又は複数の教師信号とを用いてリッジ回帰を行うことで、一又は複数の時系列データｕ（ｔ）（タスク）の各々に対する最適なリードアウトの結合重み行列Ｗｏｐｔを算出する。一又は複数のリードアウトの各々の結合重み行列の学習では、これらの結合重みがＷｏｐｔに近づくように更新する。この近づけ度合いは、近傍係数ｈｉによって調整する。すなわち、勝者リードアウトの結合重みはＷｏｐｔに近い値を取り、勝者から離れたリードアウトの結合荷重みはＷｏｐｔに近づかない。
【0023】
学習モデル１３２を使用して、時系列データｕ（ｔ）から出力を取得する動作について説明する。時系列データｕ（ｔ）の一例は、時刻ｔの入力ベクトルである。時系列データｕ（ｔ）がレザバー層（Ｒｅｓｅｒｖｏｉｒ）に入力される。レザバー層は、入力された時系列データｕ（ｔ）に基づいて、内部状態ｘ（ｔ）を算出する。レザバー層によって算出された内部状態ｘ（ｔ）はリードアウト層に入力される。リードアウト層は、複数のリードアウト（Ｍｕｌｔｉ ｒｅａｏｕｔ）を含む。複数のリードアウトの各々は、結合重み行列Ｗｉ（ｉは自然数）を有する。例えば、図２に示される例では、リードアウト層は、９個のリードアウトを有する。９個のリードアウトは、それぞれＷ０、Ｗ１、・・・、Ｗ８の結合重み行列を有する。９個のリードアウトの各々は、内部状態ｘ（ｔ）と結合重み行列とに基づいて、積和演算を行うことによって線形変換を行う。内部状態ｘ（ｔ）と結合重みベクトルＷｉとに基づいて積和演算が行われることによって、出力ｙｉ（ｔ）が得られる。図２に示される例では、ｙ１（ｔ）、ｙ２（ｔ）、・・・、ｙ８（ｔ）の９個の出力が得られる。以上の処理は、時系列データｕ（ｔ）が入力される度に毎時刻行われる。
類似度マップ（Ｓｉｍｉｌａｒｉｔｙ ｍａｐ（ＳＯＭ））の処理について説明する。図２に示される例では、類似度マップは、ノードｎ００、ノードｎ０１、・・・、ノードｎ０８の９個のノードを含んで構成される。ノードｎ００、ノードｎ０１、・・・、ノードｎ０８のうち、任意のノードをノードｎ０ｉと記載する。
時系列データｕ（ｔ）に基づいて、静的なデータが作成される。静的なデータの一例は、時系列データｕ（ｔ）を時間方向に結合して作成されるベクトルＵである。作成されたベクトルＵが、自己組織化マップに入力される。自己組織化マップでは、入力されたベクトルＵに基づいて、勝者決定が行われる。自己組織化マップでは、決定された勝者に基づいて、勝者からの距離（類似度マップのグリッド上の位置関係）に依存した近傍係数ｈｉが算出される。近傍係数ｈｉは、勝者に近づくにしたがって大きな値を取り、離れるにしたがって小さな値になる。図２に示される例では、類似度マップの左上の０番目のノードｎ００が勝者である。したがって、ノードｎ００に対応する近傍係数ｈ０の値が最も大きな値となり、ノードｎ００から最も離れているノードｎ０８に対応する近傍係数ｈ８の値が最も小さくなる。
類似度マップ（Ｓｉｍｉｌａｒｉｔｙ ｍａｐ（ＳＯＭ））の処理について説明する。図２に示される例では、類似度マップは、ノードｎ００、ノードｎ０１、・・・、ノードｎ０８の９個のノードを含んで構成される。ノードｎ００、ノードｎ０１、・・・、ノードｎ０８のうち、任意のノードをノードｎ０ｉと記載する。
時系列データｕ（ｔ）に基づいて、静的なデータが作成される。静的なデータの一例は、時系列データｕ（ｔ）を時間方向に結合して作成されるベクトルＵである。作成されたベクトルＵが、自己組織化マップに入力される。自己組織化マップでは、入力されたベクトルＵに基づいて、勝者決定が行われる。自己組織化マップでは、決定された勝者に基づいて、勝者からの距離（類似度マップのグリッド上の位置関係）に依存した近傍係数ｈｉが算出される。近傍係数ｈｉは、勝者に近づくにしたがって大きな値を取り、離れるにしたがって小さな値になる。図２に示される例では、類似度マップの左上の０番目のノードｎ００が勝者である。したがって、ノードｎ００に対応する近傍係数ｈ０の値が最も大きな値となり、ノードｎ００から最も離れているノードｎ０８に対応する近傍係数ｈ８の値が最も小さくなる。
【0024】
情報処理装置１００の処理部１３０の処理の詳細について説明する。
レザバーコンピューティングでは、入力層とレザバー層との結合重みＷｉとレザバー層のノードからレザバー層の他のノードとの再帰結合重みＷｒとが固定され、レザバー層とリードアウト層との結合重み行列Ｗｏが更新される。このため、レザバーコンピューティングでは、時間方向に遡って勾配を伝播させる必要がないため、計算コストを小さくできる。ＥＳＮにおいて、入力データｕ（ｔ）から出力ｙ（ｔ）を予測する。入力データｕ（ｔ）は入力層により高次元空間に写像される。レザバーの状態ベクトルｘは以下の式（１）で表される。
ｘ（ｔ＋１）＝ｔａｎｈ｛（１－δ）ｘ（ｔ）＋δ（ｕ（ｔ）Ｗｉ＋ｘ（ｔ）Ｗｒ）｝ （１）
式（１）において、「δ」は漏れ率（ｌｅａｋ ｒａｔｅ）であり、「Ｗｉ」は入力層とレザバー層との結合重みであり、「Ｗｒ」はレザバー層のノードとレザバー層の他のノードとの再帰結合重みである。
リードアウト層は、レザバー層の出力とレザバー層とリードアウト層との結合重み行列Ｗｏとに基づいて、出力ｙ（ｔ）を取得する。出力ｙ（ｔ）は以下の式（２）で表される。
ｙ（ｔ）＝ｘ（ｔ）Ｗｏ （２）
レザバーコンピューティングでは、入力層とレザバー層との結合重みＷｉとレザバー層のノードからレザバー層の他のノードとの再帰結合重みＷｒとが固定され、レザバー層とリードアウト層との結合重み行列Ｗｏが更新される。このため、レザバーコンピューティングでは、時間方向に遡って勾配を伝播させる必要がないため、計算コストを小さくできる。ＥＳＮにおいて、入力データｕ（ｔ）から出力ｙ（ｔ）を予測する。入力データｕ（ｔ）は入力層により高次元空間に写像される。レザバーの状態ベクトルｘは以下の式（１）で表される。
ｘ（ｔ＋１）＝ｔａｎｈ｛（１－δ）ｘ（ｔ）＋δ（ｕ（ｔ）Ｗｉ＋ｘ（ｔ）Ｗｒ）｝ （１）
式（１）において、「δ」は漏れ率（ｌｅａｋ ｒａｔｅ）であり、「Ｗｉ」は入力層とレザバー層との結合重みであり、「Ｗｒ」はレザバー層のノードとレザバー層の他のノードとの再帰結合重みである。
リードアウト層は、レザバー層の出力とレザバー層とリードアウト層との結合重み行列Ｗｏとに基づいて、出力ｙ（ｔ）を取得する。出力ｙ（ｔ）は以下の式（２）で表される。
ｙ（ｔ）＝ｘ（ｔ）Ｗｏ （２）
【0025】
処理部１３０は、レザバー層とリードアウト層との結合重みＷｏを、式（３）と式（４）とに基づいて学習する。
Ｗｏｐｔ＝（ＸＴＸ＋λＩ）－１ＸＴＹｔａｒｇｅｔ （３）
ΔＷｉ＝Ｗｏｐｔ－Ｗｉ （４）
式（３）において、「λ」はノーマライゼーションパラメータ（ｎｏｒｍａｌｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）であり、「Ｉ」は単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）であり、「Ｘ」は［ｘ（０）Ｔ ｘ（１）Ｔ・・・］である。
式（３）は、出力と教師信号との誤差を最小化するための項と、結合重みの値が大きくならないように調整するための項とから成る損失関数から算出される。後者の項の係数がλに相当し、λを大きい値とすることによって、結合重みの値が大きくなるのを防ぐ効果を大きくできる。
結合重みの値が大きくなるのを防ぐことによって、過学習（ｏｖｅｒ ｆｉｔｔｉｎｇ）を防ぐことができる。過学習とは、学習したデータに対してはよく予測できるが、それ以外のデータに対してはまったく予測できないという状態である。
Ｗｏｐｔ＝（ＸＴＸ＋λＩ）－１ＸＴＹｔａｒｇｅｔ （３）
ΔＷｉ＝Ｗｏｐｔ－Ｗｉ （４）
式（３）において、「λ」はノーマライゼーションパラメータ（ｎｏｒｍａｌｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）であり、「Ｉ」は単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）であり、「Ｘ」は［ｘ（０）Ｔ ｘ（１）Ｔ・・・］である。
式（３）は、出力と教師信号との誤差を最小化するための項と、結合重みの値が大きくならないように調整するための項とから成る損失関数から算出される。後者の項の係数がλに相当し、λを大きい値とすることによって、結合重みの値が大きくなるのを防ぐ効果を大きくできる。
結合重みの値が大きくなるのを防ぐことによって、過学習（ｏｖｅｒ ｆｉｔｔｉｎｇ）を防ぐことができる。過学習とは、学習したデータに対してはよく予測できるが、それ以外のデータに対してはまったく予測できないという状態である。
【0026】
判定部１３５は、受付部１２０が受け付けた時系列データｕ（ｔ）を取得する。
判定部１３５は、取得した時系列データｕ（ｔ）に基づいて波形ｕ［ｕ（０），ｕ（１），・・・］を作成する。判定部１３５は、時系列データの波形ｕを類似度マップ１３４に入力する。類似度マップ１３４は、時系列データｕ（ｔ）の波形に類似するノードが類似度マップ１３４のどこに位置するか（その位置を勝者と呼ぶ）を判定する。判定部１３５は、勝者を特定する情報を処理部１３０に出力する。
図３は、本実施形態に係る情報処理装置の類似度マップの動作の一例を示す図である。図３を参照して、主に情報処理装置１００の判定部１３５の処理の一例について説明する。図３に示される一例では、自己組織化マップが示される。自己組織化マップは高次元データを低次元のグリッドに非線形写像するものである。図３の左図に示される複数の点の各々は（高次元空間の）入力データを示し、グリッドが自己組織化マップＳＯＭを示す。自己組織化マップＳＯＭの学習により、グリッドがデータにフィットするようになる。図３の右図は、グリッドを引き延ばすことによって、２次元で表したものである。２次元で表現することによって、高次元空間中のデータの類似性を、２次元のグリッド上の距離で表現できる。
具体的には、複数の点の各々がタスクを示す。Ｉｎｐｕｔの矢印がついているタスクが自己組織化マップＳＯＭに与えられると、グリッド中のどのノードがもっともそのタスクに類似するか、すなわちどのノードがそのタスクと距離が近いかが算出される。例えば、一例として、図３の右図において、左上のノードが最もこのタスクに近い場合には、左上のノードが勝者となる。
判定部１３５は、取得した時系列データｕ（ｔ）に基づいて波形ｕ［ｕ（０），ｕ（１），・・・］を作成する。判定部１３５は、時系列データの波形ｕを類似度マップ１３４に入力する。類似度マップ１３４は、時系列データｕ（ｔ）の波形に類似するノードが類似度マップ１３４のどこに位置するか（その位置を勝者と呼ぶ）を判定する。判定部１３５は、勝者を特定する情報を処理部１３０に出力する。
図３は、本実施形態に係る情報処理装置の類似度マップの動作の一例を示す図である。図３を参照して、主に情報処理装置１００の判定部１３５の処理の一例について説明する。図３に示される一例では、自己組織化マップが示される。自己組織化マップは高次元データを低次元のグリッドに非線形写像するものである。図３の左図に示される複数の点の各々は（高次元空間の）入力データを示し、グリッドが自己組織化マップＳＯＭを示す。自己組織化マップＳＯＭの学習により、グリッドがデータにフィットするようになる。図３の右図は、グリッドを引き延ばすことによって、２次元で表したものである。２次元で表現することによって、高次元空間中のデータの類似性を、２次元のグリッド上の距離で表現できる。
具体的には、複数の点の各々がタスクを示す。Ｉｎｐｕｔの矢印がついているタスクが自己組織化マップＳＯＭに与えられると、グリッド中のどのノードがもっともそのタスクに類似するか、すなわちどのノードがそのタスクと距離が近いかが算出される。例えば、一例として、図３の右図において、左上のノードが最もこのタスクに近い場合には、左上のノードが勝者となる。
【0027】
処理部１３０は、判定部１３５が出力した勝者を特定する情報に基づいて、リードアウト層に含まれる複数のリードアウトから、勝者に対応するリードアウトを特定する。処理部１３０は、特定したリードアウトから出力データを取得する。処理部１３０は、取得した出力データを、出力部１４０へ出力する。
出力部１４０は、処理部１３０が出力した出力データを取得する。出力部１４０は、取得した出力データを出力する。
受付部１２０と、処理部１３０と、判定部と、出力部１４０との全部または一部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１５０に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、受付部１２０と、処理部１３０と、判定部１３５と、出力部１４０との全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
出力部１４０は、処理部１３０が出力した出力データを取得する。出力部１４０は、取得した出力データを出力する。
受付部１２０と、処理部１３０と、判定部と、出力部１４０との全部または一部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１５０に格納されたプログラムを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、受付部１２０と、処理部１３０と、判定部１３５と、出力部１４０との全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
【0028】
（情報処理装置１００の動作）
図４は、本実施形態に係る情報処理装置の動作の一例を示すフローチャートである。図５は、本実施形態に係る情報処理装置の動作の一例を示す図である。図４と図５とを参照して、情報処理装置１００の動作について説明する。ここでは、類似度マップ１３４が事前に作成されている場合について説明する。
図４は、本実施形態に係る情報処理装置の動作の一例を示すフローチャートである。図５は、本実施形態に係る情報処理装置の動作の一例を示す図である。図４と図５とを参照して、情報処理装置１００の動作について説明する。ここでは、類似度マップ１３４が事前に作成されている場合について説明する。
【0029】
（ステップＳ１－１）
情報処理装置１００において、受付部１２０は、入力部１１０に入力された入力データを取得し、取得した入力データを受け付ける。入力データの一例として、時系列データｕ（ｔ）を適用した場合について説明を続ける。
（ステップＳ２－１）
情報処理装置１００において、判定部１３５は、受付部１２０が受け付けた時系列データｕ（ｔ）を取得する。判定部１３５は、取得した時系列データｕ（ｔ）に基づいて波形ｕ［ｕ（０），ｕ（１），・・・］を作成する。判定部１３５は、時系列データｕ（ｔ）の波形ｕを類似度マップ１３４に入力する（図５の（１））。
情報処理装置１００において、受付部１２０は、入力部１１０に入力された入力データを取得し、取得した入力データを受け付ける。入力データの一例として、時系列データｕ（ｔ）を適用した場合について説明を続ける。
（ステップＳ２－１）
情報処理装置１００において、判定部１３５は、受付部１２０が受け付けた時系列データｕ（ｔ）を取得する。判定部１３５は、取得した時系列データｕ（ｔ）に基づいて波形ｕ［ｕ（０），ｕ（１），・・・］を作成する。判定部１３５は、時系列データｕ（ｔ）の波形ｕを類似度マップ１３４に入力する（図５の（１））。
【0030】
（ステップＳ３－１）
情報処理装置１００において、判定部１３５は、類似度マップ１３４に入力した時系列データｕ（ｔ）の波形ｕに基づいて、勝者を決定する。
（ステップＳ４－１）
情報処理装置１００において、処理部１３０は、時系列データｕ（ｔ）をレザバー層へ入力する（図５の（２））。レザバー層は、入力層が出力した時系列データｕ（ｔ）を取得する。リザバー層は、取得した時系列データｕ（ｔ）を高次元時系列データに非線形変換する。レザバー層は、高次元時系列データをリードアウト層へ出力する。リードアウト層は、レザバー層が出力した高次元時系列データを取得する。リードアウト層は、取得した高次元時系列データに、複数のリードアウトの各々の結合重み行列を用いて線形変換する。
情報処理装置１００において、判定部１３５は、類似度マップ１３４に入力した時系列データｕ（ｔ）の波形ｕに基づいて、勝者を決定する。
（ステップＳ４－１）
情報処理装置１００において、処理部１３０は、時系列データｕ（ｔ）をレザバー層へ入力する（図５の（２））。レザバー層は、入力層が出力した時系列データｕ（ｔ）を取得する。リザバー層は、取得した時系列データｕ（ｔ）を高次元時系列データに非線形変換する。レザバー層は、高次元時系列データをリードアウト層へ出力する。リードアウト層は、レザバー層が出力した高次元時系列データを取得する。リードアウト層は、取得した高次元時系列データに、複数のリードアウトの各々の結合重み行列を用いて線形変換する。
【0031】
（ステップＳ５－１）
情報処理装置１００において、判定部１３５は、勝者を特定する情報を処理部１３０に出力する。処理部１３０は、判定部１３５が出力した勝者を特定する情報に基づいて、リードアウト層に含まれる複数のリードアウトから、勝者に対応するリードアウトを特定する。処理部１３０は、特定したリードアウトから出力データを取得する。
（ステップＳ６－１）
情報処理装置１００において、処理部１３０は、学習モデル１３２にターゲット信号を入力し、リッジ回帰を行う（図５の（３））。
（ステップＳ７－１）
情報処理装置１００において、処理部１３０は、勝者に対応するリードアウトと、勝者に対応するリードアウト以外のリードアウトとの距離に基づいて、学習モデル１３２に含まれる全てのリードアウトの結合重みを更新する（図５の（４））。
（ステップＳ８－１）
情報処理装置１００において、処理部１３０は、タスクを切り替える。
情報処理装置１００において、判定部１３５は、勝者を特定する情報を処理部１３０に出力する。処理部１３０は、判定部１３５が出力した勝者を特定する情報に基づいて、リードアウト層に含まれる複数のリードアウトから、勝者に対応するリードアウトを特定する。処理部１３０は、特定したリードアウトから出力データを取得する。
（ステップＳ６－１）
情報処理装置１００において、処理部１３０は、学習モデル１３２にターゲット信号を入力し、リッジ回帰を行う（図５の（３））。
（ステップＳ７－１）
情報処理装置１００において、処理部１３０は、勝者に対応するリードアウトと、勝者に対応するリードアウト以外のリードアウトとの距離に基づいて、学習モデル１３２に含まれる全てのリードアウトの結合重みを更新する（図５の（４））。
（ステップＳ８－１）
情報処理装置１００において、処理部１３０は、タスクを切り替える。
【0032】
情報処理装置１００の適用例について説明する。
（適用例１）
適用例１では、タスクＡとタスクＢとを使用した。タスクＡは、正弦波を入力として、第１時刻後の入力を教師信号とする。タスクＢは、０か１のランダム入力に対して、現在と直近の過去二つの入力において、１が偶数個であれば教師信号を０とし、１が奇数個であれば教師信号を１とするものである。タスクＡとタスクＢとの両方とも出力を１次元とした。１６ステップごとにタスクを入れ替え、継続学習を行った。
（適用例１）
適用例１では、タスクＡとタスクＢとを使用した。タスクＡは、正弦波を入力として、第１時刻後の入力を教師信号とする。タスクＢは、０か１のランダム入力に対して、現在と直近の過去二つの入力において、１が偶数個であれば教師信号を０とし、１が奇数個であれば教師信号を１とするものである。タスクＡとタスクＢとの両方とも出力を１次元とした。１６ステップごとにタスクを入れ替え、継続学習を行った。
【0033】
図６は、本実施形態に係る情報処理装置の処理結果の例１を示す図である。図６は、予測波形の比較結果を示す。（１）はタスクＡの従来手法（単一リードアウトのＥｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）による結果を示し、（２）はタスクＢの従来手法による結果を示す。従来手法では、ターゲットとアウトプットとが異なり、予測できていないことが分かる。
（３）はタスクＡの情報処理装置１００による結果を示し、（４）はタスクＢの情報処理装置１００による結果を示す。（３）と（４）とによれば、ターゲットとアウトプットとが類似しており、（１）と（２）と比較して、近い結果を予測できていることが分かる。
図７は、本実施形態に係る情報処理装置の処理結果の例２を示す図である。グラフの縦軸はターゲットとアウトプットとの誤差を示し、横軸はエポック数を示す。（１）は従来手法による結果を示す。従来手法では、ターゲットとアウトプットとの誤差が一定となり、学習を進めても予測できていないことが分かる。（２）情報処理装置１００による結果を示す。（２）によれば、ターゲットとアウトプットとの誤差が０となり予測できていることが分かる。
適用例１では、タスクＡに適用したＥＳＮでタスクＢの推定を行ったため、ターゲットとアウトプットとの間に差が生じていると想定される。
（３）はタスクＡの情報処理装置１００による結果を示し、（４）はタスクＢの情報処理装置１００による結果を示す。（３）と（４）とによれば、ターゲットとアウトプットとが類似しており、（１）と（２）と比較して、近い結果を予測できていることが分かる。
図７は、本実施形態に係る情報処理装置の処理結果の例２を示す図である。グラフの縦軸はターゲットとアウトプットとの誤差を示し、横軸はエポック数を示す。（１）は従来手法による結果を示す。従来手法では、ターゲットとアウトプットとの誤差が一定となり、学習を進めても予測できていないことが分かる。（２）情報処理装置１００による結果を示す。（２）によれば、ターゲットとアウトプットとの誤差が０となり予測できていることが分かる。
適用例１では、タスクＡに適用したＥＳＮでタスクＢの推定を行ったため、ターゲットとアウトプットとの間に差が生じていると想定される。
【0034】
（適用例２）
図８は、本実施形態に係る情報処理装置の処理結果の例３を示す図である。図８は、類似度マップ１３４の可視化の一例を示す。類似度マップには、タスクＡの勝者ＴＡと、タスクＢの勝者ＴＢとが示される。図８において、（１）はタスクＡの勝者ＴＡの参照ベクトルを示し、（２）はタスクＢの勝者ＴＢの参照ベクトルを示す。
仮に、タスクＡの勝者ＴＡとタスクＢの勝者ＴＢとの中間を勝者ＴＣとした場合に、勝者ＴＣの参照ベクトルは、（３）に示すように波形の形状が（１）と（２）との中間となる。波形の形状が（１）と（２）との中間となることによって、類似度マップが形成される。類似度マップが形成されることによって、転移学習に使用できることが分かる。
図８は、本実施形態に係る情報処理装置の処理結果の例３を示す図である。図８は、類似度マップ１３４の可視化の一例を示す。類似度マップには、タスクＡの勝者ＴＡと、タスクＢの勝者ＴＢとが示される。図８において、（１）はタスクＡの勝者ＴＡの参照ベクトルを示し、（２）はタスクＢの勝者ＴＢの参照ベクトルを示す。
仮に、タスクＡの勝者ＴＡとタスクＢの勝者ＴＢとの中間を勝者ＴＣとした場合に、勝者ＴＣの参照ベクトルは、（３）に示すように波形の形状が（１）と（２）との中間となる。波形の形状が（１）と（２）との中間となることによって、類似度マップが形成される。類似度マップが形成されることによって、転移学習に使用できることが分かる。
【0035】
（適用例３）
図９は、本実施形態に係る情報処理装置の処理結果の例４を示す図である。図９は、タスクに対するリードアウト層での応答の一例を示す。リードアウト層には、タスクＡの勝者ＴＡに対応するリードアウトＲＯＡと、タスクＢの勝者ＴＢに対応するリードアウトＲＯＢとが示される。図９において、（１）はタスクＡの勝者ＴＡのリードアウトＲＯＡを示し、（２）はタスクＢの勝者ＴＢのリードアウトＲＯＢを示す。タスクＡの勝者ＴＡとタスクＢの勝者ＴＢとの中間を勝者ＴＣとした場合に、勝者ＴＣのリードアウトＲＯＣは、（３）に示すように表される。
図９は、本実施形態に係る情報処理装置の処理結果の例４を示す図である。図９は、タスクに対するリードアウト層での応答の一例を示す。リードアウト層には、タスクＡの勝者ＴＡに対応するリードアウトＲＯＡと、タスクＢの勝者ＴＢに対応するリードアウトＲＯＢとが示される。図９において、（１）はタスクＡの勝者ＴＡのリードアウトＲＯＡを示し、（２）はタスクＢの勝者ＴＢのリードアウトＲＯＢを示す。タスクＡの勝者ＴＡとタスクＢの勝者ＴＢとの中間を勝者ＴＣとした場合に、勝者ＴＣのリードアウトＲＯＣは、（３）に示すように表される。
【0036】
図１０は、本実施形態に係る情報処理装置の処理結果の例５を示す図である。図１０は、タスクに対するリードアウト層での応答の一例を示す。リードアウト層には、タスクＡの勝者ＴＡに対応するリードアウトＲＯＡと、タスクＢの勝者ＴＢに対応するリードアウトＲＯＢとが示される。図１０において、（１）はタスクＡの勝者ＴＡのリードアウトＲＯＡを示し、（２）はタスクＢの勝者ＴＢのリードアウトＲＯＢを示す。タスクＡの勝者ＴＡとタスクＢの勝者ＴＢとの中間を勝者ＴＣとした場合に、勝者ＴＣのリードアウトＲＯＣは、（３）に示すように表される。
【0037】
（適用例４）
時系列データｕ（ｔ）の波形を類似度マップ１３４に入力した場合に、周波数は同じであるが位相がずれた波形では、異なるクラスと認識される場合がある。異なるクラスと認識されるため、別々のリードアウトで学習される。時系列データｕ（ｔ）の波形を類似度マップに入力する場合には、信号の長さは既知で且つ固定されている必要がある。
そこで、時系列データｕ（ｔ）の波形を周波数領域の信号に変換して、類似度マップに入力する。このように構成することによって、位相がずれていても周波数が同じである波形は同じクラスに分類される。このため、位相がずれていても周波数が同じである波形は、同一のリードアウトで学習される。この場合、入力信号の長さは、未知であってもよく、入力信号の長さが可変であってもよい。
時系列データｕ（ｔ）の波形を類似度マップ１３４に入力した場合に、周波数は同じであるが位相がずれた波形では、異なるクラスと認識される場合がある。異なるクラスと認識されるため、別々のリードアウトで学習される。時系列データｕ（ｔ）の波形を類似度マップに入力する場合には、信号の長さは既知で且つ固定されている必要がある。
そこで、時系列データｕ（ｔ）の波形を周波数領域の信号に変換して、類似度マップに入力する。このように構成することによって、位相がずれていても周波数が同じである波形は同じクラスに分類される。このため、位相がずれていても周波数が同じである波形は、同一のリードアウトで学習される。この場合、入力信号の長さは、未知であってもよく、入力信号の長さが可変であってもよい。
【0038】
図１１は、本実施形態に係る情報処理装置の入力データの一例を示す図である。図１１は、情報処理装置１００に入力されるタスクの一例を示す。タスクの一例は、タスクＡとタスクＡａとタスクＢとタスクＢｂである。タスクＡとタスクＡａとは周波数が同じであるがタスクＡとタスクＡａとの間の位相がずれている。タスクＢとタスクＢｂとは周波数が同じであるがタスクＢとタスクＢｂとの間の位相がずれている。
【0039】
図１２は、本実施形態に係る情報処理装置の処理結果の例６を示す図である。図１２は、類似度マップにおいて、勝者の位置のヒストグラムの一例を示す。図１２において、（１）は従来の手法によって決定された勝者の位置のヒストグラムを示し、（２）は情報処理装置１００によって決定された勝者の位置のヒストグラムを示す。
（１）によれば、タスクＡを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡとタスクＡａを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡａとが異なることが分かる。また、タスクＢを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＢとタスクＢｂを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＢｂとが異なることが分かる。
（１）によれば、タスクＡを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡとタスクＡａを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡａとが異なることが分かる。また、タスクＢを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＢとタスクＢｂを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＢｂとが異なることが分かる。
【0040】
（２）によれば、タスクＡを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡとタスクＡａを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡａとが等しいことが分かる。また、タスクＢを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＢとタスクＢｂを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＢｂとが等しいことが分かる。
以上から、時系列データｕ（ｔ）の波形を周波数領域の信号に変換して、類似度マップ１３４に入力することによって、周波数が同じで位相が異なる波形は同じクラスに分類される。このため、位相がずれていても周波数が同じである波形は、同一のリードアウトで学習されることが分かる。
以上から、時系列データｕ（ｔ）の波形を周波数領域の信号に変換して、類似度マップ１３４に入力することによって、周波数が同じで位相が異なる波形は同じクラスに分類される。このため、位相がずれていても周波数が同じである波形は、同一のリードアウトで学習されることが分かる。
【0041】
図１３は、本実施形態に係る情報処理装置が備える類似度マップの一例を示す図である。一例として、縦８個で、横８個の合計６４個のノードを含む類似度マップの一例を示す。タスクＡ及びタスクＡａと、タスクＢ及びタスクＢｂとを示す。
タスクＡを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡとタスクＡａを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡａとが示されている。図１３には、タスクＡと、タスクＡａと、タスクＢと、タスクＢｂとの影響を受けたノードが確認される。このノードは、新規のタスクの活用できる。
タスクＡを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡとタスクＡａを類似度マップ１３４に入力した場合に決定された類似度マップ１３４における勝者の位置ＰＡａとが示されている。図１３には、タスクＡと、タスクＡａと、タスクＢと、タスクＢｂとの影響を受けたノードが確認される。このノードは、新規のタスクの活用できる。
【0042】
本実施形態に係る情報処理装置１００によれば、再帰型ニューラルネットワークが適用される学習モデルに基づいて、入力されたタスクに対して学習モデルが出力する複数のデータを取得する処理部１３０と、入力されたタスクに基づいて、処理部１３０が取得する複数のデータから出力するデータを判定する判定部１３５とを備える。処理部１３０は、複数のデータのうち、判定部１３５が出力すると判定したデータを出力する。
このように構成することによって、タスクに基づいて複数のリードアウトを使い分けることができるため、リードアウトが上書きされることを低減できる。このため、破滅的忘却を回避できる。破滅的忘却を回避できるため、マルチタスク学習を実行できる。
このように構成することによって、タスクに基づいて複数のリードアウトを使い分けることができるため、リードアウトが上書きされることを低減できる。このため、破滅的忘却を回避できる。破滅的忘却を回避できるため、マルチタスク学習を実行できる。
【0043】
また、前述した情報処理装置１００において、判定部１３５は、複数のノードが配置された類似度マップ１３４に基づいて、複数のノードから、入力されたタスクに類似するノードを判定する。処理部１３０は、複数のデータから、判定部１３５が判定した類似するノードに対応するデータを出力する。このように構成することによって、類似度マップから、タスクに類似するノードを判定できるため、複数のデータからタスクに類似するノードに対応するデータを出力できる。
【0044】
また、前述した情報処理装置１００において、類似度マップ１３４は、類似するタスクに対応するノード同士は、類似しないタスクに対応するノード同士よりも近くに配置される。このように構成することによって、類似度マップ１３４に含まれる複数のノードから、タスクが類似するもの把握できる。
【0045】
また、前述した情報処理装置１００において、学習モデル１３２が出力するデータの数と類似度マップ１３４に含まれるノードの数とは等しい。このように構成することによって、類似度マップ１３４から、タスクに類似するノードを判定し、複数のデータからタスクに類似するノードに対応するデータを出力できる。
【0046】
また、前述した情報処理装置１００において、類似度マップ１３４は、自己組織化マップである。このように構成することによって、類似するタスクに対応するノード同士は、類似しないタスクに対応するノード同士よりも近くに配置されるように更新できる。
また、前述した情報処理装置１００において、学習モデル１３２は、レザバーコンピューティング形式である。このように構成することによって、マルチタスク学習に対して遺伝的アルゴリズムによる最適化が用いられる場合と比較して、学習回数を減少させることができる。
また、前述した情報処理装置１００において、学習モデル１３２は、レザバーコンピューティング形式である。このように構成することによって、マルチタスク学習に対して遺伝的アルゴリズムによる最適化が用いられる場合と比較して、学習回数を減少させることができる。
【0047】
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合わせを行うことができる。これら実施形態及びその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、前述の情報処理装置１００は内部にコンピュータを有している。そして、前述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、前述の情報処理装置１００がデジタル回路とアナログ回路とのいずれか一方又は両方を含むＦＰＧＡなどの集積回路で実現されてもよい。
なお、前述の情報処理装置１００は内部にコンピュータを有している。そして、前述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、前述の情報処理装置１００がデジタル回路とアナログ回路とのいずれか一方又は両方を含むＦＰＧＡなどの集積回路で実現されてもよい。
【符号の説明】
【0048】
１００…情報処理装置、 １１０…入力部、１２０…受付部、 １２５…取得部、 １３０…処理部、 １３５…判定部、 １４０…出力部、 １５０…記憶部、 １３２…学習モデル、 １３４…類似度マップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
