特開 2023-87931 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023087931

(43)【公開日】2023-06-26

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06N 3/049 20230101AFI20230619BHJP

   G06T 7/00 20170101ALI20230619BHJP

【ＦＩ】

G06N3/04 190

G06T7/00 350C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021202492

(22)【出願日】2021-12-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人新エネルギー・産業技術総合開発機構「高効率・高速処理を可能とするＡＩチップ・次世代コンピューティングの技術開発／次世代コンピューティング技術の開発／未来共生社会にむけたニューロモルフィックダイナミクスのポテンシャルの解明」に係る委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100188592

【弁理士】

【氏名又は名称】山口 洋

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(72)【発明者】

【氏名】田中 悠一朗

(72)【発明者】

【氏名】田向 権

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA22

5L096DA01

5L096DA02

5L096FA02

5L096GA19

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】機械学習モデルの膨大な学習コストを低くしつつ、機械学習モデルの性能を向上させることができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
【解決手段】実施形態の情報処理装置は、テスト対象の時系列データを取得する取得部と、入力層と、少なくとも１つのリザバー層と、出力層とが含まれる前記リザバーコンピューティングに対して、前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから対象物を認識する処理部と、を備え、前記処理部は、前記入力層を介して入力された前記時系列データから前記リザバー層が受ける影響の度合いを制御する。
【選択図】図２

【特許請求の範囲】

【請求項1】

テスト対象の時系列データを取得する取得部と、
トレーニング対象の時系列データに、前記トレーニング対象の時系列データから認識されるべき正解の対象物がラベル付けられたトレーニングデータセットに基づいて学習されたリザバーコンピューティングであって、前記時系列データが入力される入力層と、前記入力層に入力された前記時系列データから前記対象物の特徴を抽出する少なくとも１つのリザバー層と、前記リザバー層によって抽出された前記特徴に基づく前記対象物の認識結果を出力する出力層とが含まれる前記リザバーコンピューティングに対して、前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから前記対象物を認識する処理部と、を備え、
前記処理部は、前記入力層を介して入力された前記時系列データから前記リザバー層が受ける影響の度合いを制御する、
情報処理装置。

【請求項2】

前記処理部は、ある状態の前記リザバー層に前記時系列データに含まれる第１時刻の観測データが前記入力層を介して入力された場合に前記リザバー層が前記第１時刻の観測データから受ける影響と、前記第１時刻の観測データが入力されるときの前記リザバー層の状態である第１状態と、前記影響の度合いを制御するための時定数とに基づいて、前記第１時刻よりも後の第２時刻の観測データが入力されるときの前記リザバー層の状態である第２状態を算出する、
請求項１に記載の情報処理装置。

【請求項3】

前記処理部は、前記入力層から出力されてから前記リザバー層に入力されるまでの間に重み付けられた前記第１時刻の観測データと、再帰的結合荷重によって重み付けられた前記第１状態とに基づいて、前記影響の度合いを算出する、
請求項２に記載の情報処理装置。

【請求項4】

前記処理部は、１から前記時定数を引いた差を乗算した前記第１状態と、前記時定数を乗算した前記影響の度合いとの和に基づいて、前記第２状態を算出する、
請求項２又は３に記載の情報処理装置。

【請求項5】

前記影響の度合いは、前記時定数が小さいほど低下し、前記時定数が大きいほど増大する、
請求項４に記載の情報処理装置。

【請求項6】

前記リザバーコンピューティングには、前記時定数が互いに異なる複数の前記リザバー層が含まれ、
前記処理部は、
前記時定数が第１の値に設定された第１リザバー層に、前記入力層を介して前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから、第１の空間周波数の特徴を抽出し、
前記時定数が前記第１の値よりも大きい第２の値に設定された第２リザバー層に、前記入力層を介して前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから、前記第１の空間周波数よりも高い第２の空間周波数の特徴を抽出する、
請求項２から５のうちいずれか一項に記載の情報処理装置。

【請求項7】

前記リザバーコンピューティングには、前記時定数がある第１の値に設定された１つの前記リザバー層が含まれ、
前記処理部は、
前記リザバー層に、前記入力層を介して前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから、第１の空間周波数の特徴を抽出し、
前記第１の空間周波数の特徴が抽出された後に前記時定数を前記第１の値よりも大きい第２の値に設定し直し、
前記時定数が前記第２の値に設定された前記リザバー層に、前記入力層を介して前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから、前記第１の空間周波数よりも高い第２の空間周波数の特徴を抽出する、
請求項２から５のうちいずれか一項に記載の情報処理装置。

【請求項8】

前記処理部は、
ある画像の一部領域を短冊状に切り出し、
前記一部領域から短冊状に切り出した短冊領域を、前記時系列データとする、
請求項１から７のうちいずれか一項に記載の情報処理装置。

【請求項9】

コンピュータが、
テスト対象の時系列データを取得し、
トレーニング対象の時系列データに、前記トレーニング対象の時系列データから認識されるべき正解の対象物がラベル付けられたトレーニングデータセットに基づいて学習されたリザバーコンピューティングであって、前記時系列データが入力される入力層と、前記入力層に入力された前記時系列データから前記対象物の特徴を抽出する少なくとも１つのリザバー層と、前記リザバー層によって抽出された前記特徴に基づく前記対象物の認識結果を出力する出力層とが含まれる前記リザバーコンピューティングに対して、前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから前記対象物を認識し、
前記入力層を介して入力された前記時系列データから前記リザバー層が受ける影響の度合いを制御する、
情報処理方法。

【請求項10】

コンピュータに、
テスト対象の時系列データを取得すること、
トレーニング対象の時系列データに、前記トレーニング対象の時系列データから認識されるべき正解の対象物がラベル付けられたトレーニングデータセットに基づいて学習されたリザバーコンピューティングであって、前記時系列データが入力される入力層と、前記入力層に入力された前記時系列データから前記対象物の特徴を抽出する少なくとも１つのリザバー層と、前記リザバー層によって抽出された前記特徴に基づく前記対象物の認識結果を出力する出力層とが含まれる前記リザバーコンピューティングに対して、前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから前記対象物を認識すること、
前記入力層を介して入力された前記時系列データから前記リザバー層が受ける影響の度合いを制御すること、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

現在，画像認識技術の主流は畳み込みニューラルネットワークである。畳み込みニューラルネットワークは、それが主流となる以前の画像認識技術に大きく差をつけるほど高い認識性能を誇る機械学習モデルである。その一方で、高い性能を獲得するためには膨大な計算コストがかかる学習が必要であり、組込み分野など計算資源が限られる場面では運用が困難な場合がある。畳み込みニューラルネットワークなどの膨大な学習コストが必要な機械学習モデルに対して、近年リザバーコンピューティングと呼ばれる学習コストの低い機械学習モデルが注目されており、これを画像認識に活用する研究が報告されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Herbert Jaeger, Tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the" echo state network" approach, GMD-Forschungszentrum Informationstechnik, 2002.

【非特許文献2】N. Schaetti, M. Salomon, and R. Couturier, “Echo state networks-based reservoir computing for MNIST handwritten digits recognition”, IEEE International Conference on Computational Science and Engineering, August 2016.

【非特許文献3】Q. An, K. Bai, L. Liu, F. Shen, and Y. Yi, “A unified information perceptron using deep reservoir computing”, Computers and Electrical Engineering, vol. 85, July 2020.

【非特許文献4】Z. Tong and G. Tanaka, “Reservoir computing with untrained convolutional neural networks for image recognition”, 2018 24th International Conference on Pattern Recognition, pp. 1289-1294, August 2018.

【非特許文献5】Y. Yonemura and Y. Katori, “Image recognition model based on convolutional reservoir computing”, The 34th Annual Conference of the Japanese Society for Artificial Intelligence, June 2020.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の研究では、単純な手書き数字文字認識のタスクにおいて、ある一定以上の性能が得られているものの、衣類の画像認識タスクや動物や車などの画像認識タスクでは改善の余地がある。また、このような課題は、画像データだけに限られず、リザバーコンピューティングが適用された機械学習モデルに対して入力可能なあらゆる時系列データに対して共通するところである。

【0005】

本発明の一態様は、このような事情を考慮してなされたものであり、機械学習モデルの膨大な学習コストを低くしつつ、機械学習モデルの性能を向上させることができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一つの態様は、テスト対象の時系列データを取得する取得部と、トレーニング対象の時系列データに、前記トレーニング対象の時系列データから認識されるべき正解の対象物がラベル付けられたトレーニングデータセットに基づいて学習されたリザバーコンピューティングであって、前記時系列データが入力される入力層と、前記入力層に入力された前記時系列データから前記対象物の特徴を抽出する少なくとも１つのリザバー層と、前記リザバー層によって抽出された前記特徴に基づく前記対象物の認識結果を出力する出力層とが含まれる前記リザバーコンピューティングに対して、前記テスト対象の時系列データを入力することで、前記テスト対象の時系列データから前記対象物を認識する処理部と、を備え、前記処理部は、前記入力層を介して入力された前記時系列データから前記リザバー層が受ける影響の度合いを制御する情報処理装置である。

【発明の効果】

【0007】

上記の態様によれば、機械学習モデルの膨大な学習コストを低くしつつ、機械学習モデルの性能を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る情報処理システム１の構成の一例を表す図である。

【図2】実施形態に係る情報処理装置１００の構成の一例を表す図である。

【図3】実施形態に係るリザバーコンピューティングＭＤＬの概要を説明するための図である。

【図4】典型的なリザバーコンピューティングＭＤＬの一例を表す図である。

【図5】実施形態に係る情報処理装置１００の具体的な処理の流れの一例を表すフローチャートである。

【図6】実施形態に係るリザバーコンピューティングＭＤＬのリザバー層Ｌ_Ｒに与える時系列データの一例を表す図である。

【図7】本実施形態に係るリザバーコンピューティングＭＤＬの内部構成を表す図である。

【図8】実施形態に係る学習装置２００の構成の一例を表す図である。

【図9】実施形態に係る学習装置２００の具体的な処理の流れの一例を表すフローチャートである。

【図10】リザバーコンピューティングＭＤＬの学習方法を説明するための図である。

【図11】リザバーコンピューティングＭＤＬの各構成のパラメータの一例を表す図である。

【図12】本実施形態の正答率と従来手法の正答率との比較結果を表す図である。

【図13】各データセットの入力画像と、本実施形態のリザバーコンピューティングＭＤＬによって出力された特徴画像とを並べた図である。

【図14】各データセットの入力画像と、本実施形態のリザバーコンピューティングＭＤＬによって出力された特徴画像とを並べた図である。

【図15】各データセットの入力画像と、本実施形態のリザバーコンピューティングＭＤＬによって出力された特徴画像とを並べた図である。

【発明を実施するための形態】

【0009】

以下、図面を参照し、本発明の情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。

【0010】

［情報処理システムの構成］
図１は、実施形態に係る情報処理システム１の構成の一例を表す図である。実施形態に係る情報処理システム１は、例えば、情報処理装置１００と、学習装置２００とを備える。これらの装置は、ネットワークＮＷを介して接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などである。

【0011】

情報処理装置１００は、リザバーコンピューティングＭＤＬと呼ばれる機械学習モデルを用いて、認識や分類、予測といった様々なタスクを処理する装置である。つまりリザバーコンピューティングＭＤＬは、様々なタスクに適用することができる。以下、一例として、リザバーコンピューティングＭＤＬが、画像認識というタスクに適用されるものとして説明する。

【0012】

情報処理装置１００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。すなわち、情報処理装置１００は、分散コンピューティングシステムやクラウドコンピューティングシステムに含まれる複数のコンピュータ（プロセッサ）によって実装されてもよい。以下、一例として、情報処理装置１００が単一の装置であるものとして説明する。

【0013】

学習装置２００は、情報処理装置１００によって利用されるリザバーコンピューティングＭＤＬを学習する装置である。学習装置２００もまた、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。

【0014】

［情報処理装置の構成］
図２は、実施形態に係る情報処理装置１００の構成の一例を表す図である。図２のように、情報処理装置１００は、例えば、通信部１０２と、入力部１０４と、出力部１０６と、処理部１１０と、記憶部１３０とを備える。

【0015】

通信部１０２は、例えば、ＮＩＣ（Network Interface Card）や、受信機及び送信機を含む無線通信モジュールなどを含む。通信部１０２は、ネットワークＮＷを介して、学習装置２００やその他の装置と通信してよい。

【0016】

入力部１０４は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理部１１０に出力する。例えば、入力部１０４は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等を含む。入力部１０４は、例えば、マイク等の音声入力を受け付けるユーザインタフェースであってもよい。

【0017】

出力部１０６は、例えば、ディスプレイやスピーカなどを備える。ディスプレイは、処理部１１０によって生成された画像や、ユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）等を表示する。例えば、ディスプレイは、ＬＣＤ（Liquid Crystal Display）や、有機ＥＬ（Electro Luminescence）ディスプレイ等である。スピーカは、処理部１１０から入力された情報を音として出力する。

【0018】

処理部１１０は、例えば、取得部１１２と、画像処理部１１４と、タスク処理部１１６と、出力制御部１１８とを備える。

【0019】

処理部１１０のこれら構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。処理部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0020】

記憶部１３０は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０には、ファームウェアやアプリケーションプログラムなどの各種プログラムが格納される。記憶部１３０には、プロセッサによって参照される一つ又は複数のプログラムに加えて、モデルデータなどが格納される。モデルデータとは、リザバーコンピューティングＭＤＬを定義した情報（プログラムまたはアルゴリズム）である。

【0021】

図３は、実施形態に係るリザバーコンピューティングＭＤＬの概要を説明するための図である。実施形態に係るリザバーコンピューティングＭＤＬには、例えば、入力層Ｌ_ＩＮと、複数のリザバー層Ｌ_Ｒ（図示の例ではＬ_Ｒ１、Ｌ_Ｒ２）と、出力層Ｌ_ＯＵＴが含まれる。リザバーコンピューティングＭＤＬが画像認識というタスクに適用される場合、リザバーコンピューティングＭＤＬの入力層Ｌ_ＩＮには、ある画像が入力される。複数のリザバー層Ｌ_Ｒは、入力された画像から対象物（図示の例では数字）に関する高次元の特徴を抽出する。出力層Ｌ_ＯＵＴは、複数のリザバー層Ｌ_Ｒの其々によって抽出された特徴を結合し、その結合された特徴を画像の認識結果に変換して出力する。リザバー層Ｌ_Ｒの基本的な処理について以下に説明する。

【0022】

図４は、典型的なリザバーコンピューティングＭＤＬの一例を表す図である。図示のように、リザバーコンピューティングＭＤＬは、入力層Ｌ_ＩＮと、一つのリザバー層Ｌ_Ｒと、出力層Ｌ_ＯＵＴとを含む。

【0023】

入力層Ｌ_ＩＮには、時系列データｕ（ｔ）が入力される。時系列データｕ（ｔ）には、ある事象の時間的な変化を連続的に観測することで得られた複数の観測データが含まれる。例えば、時系列データｕ（ｔ）は、ある時刻ｔに観測された観測データｕ（ｔ）、時刻ｔ＋１に観測された観測データｕ（ｔ＋１）、時刻ｔ＋２に観測された観測データｕ（ｔ＋２）、といったように時間的に連続した観測データが要素として含まれる多次元ベクトルである。入力層Ｌ_ＩＮに入力された時系列データｕ（ｔ）は、リザバー層Ｌ_Ｒに出力される。この際、時系列データｕ（ｔ）は、入力層Ｌ_ＩＮからリザバー層Ｌ_Ｒの間において、ある結合荷重行列Ｗ_ｉｎによって重み付けられる。結合荷重行列Ｗ_ｉｎは、乱数で初期化され、学習によっては更新されない。

【0024】

各リザバー層Ｌ_Ｒは、入力層Ｌ_ＩＮにより出力され、重み付けられた時系列データｕ（ｔ）を、より高次元の時系列データへと非線形変換する。リザバー層Ｌ_Ｒは、スパース（疎）でランダムな結合（ノード）をもつ再帰的処理を行う中間層である。具体的には、リザバー層Ｌ_Ｒは、リカレント結合荷重行列Ｗ_ｒｅｃに基づいて時系列データｕ（ｔ）を処理する。リカレント結合荷重行列Ｗ_ｒｅｃは、結合荷重行列Ｗ_ｉｎ同様に、乱数で初期化され、学習によっては更新されない。ただし、リカレント結合荷重行列Ｗ_ｒｅｃは、任意の結合密度ρを満たすようにスパース化され、Echo State Propertyを満たすようにスケーリングされる。

【0025】

リザバー層Ｌ_Ｒは、時系列データｕ（ｔ）の時間方向の関係性（依存性）に基づいて処理するために、過去の入力情報を蓄積して記憶している。このような過去の入力情報が蓄積されたリザバー層Ｌ_Ｒの内部状態は、状態ベクトルｘ（ｔ）によって表すことができる。状態ベクトルｘ（ｔ）は、リザバー層Ｌ_Ｒによる再帰的処理結果を表しており、後段の出力層Ｌ_ＯＵＴへと出力されるデータそのものを表す。

【0026】

出力層Ｌ_ＯＵＴは、リザバー層Ｌ_Ｒにより出力された各時刻の状態ベクトルｘ（ｔ）を線形結合し、その線形結合結果ｙ（ｔ）を出力する。状態ベクトルｘ（ｔ）は、線形結合される際に、ある結合荷重行列Ｗ_ｏｕｔによって重み付けられる。結合荷重行列Ｗ_ＯＵＴは、リザバーコンピューティングＭＤＬにおいて唯一の学習対象となる。

【0027】

［情報処理装置の処理フロー］
以下、フローチャートに即して情報処理装置１００の具体的な処理の流れを説明する。図５は、実施形態に係る情報処理装置１００の具体的な処理の流れの一例を表すフローチャートである。本フローチャートの処理は所定の周期で繰り返し行われてよい。また、情報処理装置１００が、分散コンピューティングシステムやクラウドコンピューティングシステムに含まれる複数のコンピュータによって実装される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。

【0028】

まず、取得部１１２は、画像認識テストの対象となる入力画像Ｍ０を取得する（ステップＳ１００）。例えば、取得部１１２は、通信部１０２を介して他の装置（例えばネットワークストレージなど）から入力画像Ｍ０を取得してよい。また、記憶部１３０に入力画像Ｍ０が格納されている場合、取得部１１２は、記憶部１３０から入力画像Ｍ０を読み出してよい。更に情報処理装置１００のドライブ装置に、入力画像Ｍ０が格納された非一過性の記憶媒体（例えばフレッシュメモリ等）が接続された場合、取得部１１２は、記憶媒体から入力画像Ｍ０を読み出してもよい。

【0029】

次に、画像処理部１１４は、取得部１１２によって取得された入力画像Ｍ０から時系列データｕ（ｔ）を生成する（ステップＳ１０２）。

【0030】

図６は、実施形態に係るリザバーコンピューティングＭＤＬのリザバー層Ｌ_Ｒに与える時系列データの一例を表す図である。まず、画像処理部１１４は、入力画像Ｍ０から局所領域Ｍ１を切り出す。この切り出された局所領域Ｍ１の形状は、（Ｃ，Ｋ_ｈ，Ｋ_ｗ）によって表される。Ｃは、チャネルを表し、Ｋ_ｈ，Ｋ_ｗは縦幅と横幅を表している。入力画像Ｍ０が赤、緑、青の３色のカラー画像である場合、チャネルＣは３となり、入力画像Ｍ０が白黒画像である場合、チャネルＣは１となる。次に、画像処理部１１４は、局所領域Ｍ１を短冊状に切り出す。例えば、画像処理部１１４は、Ｋ_ｗ軸方向にそって一画素又は数画素ごとに局所領域Ｍ１を短冊状に切り出す。局所領域Ｍ１から短冊状に切り出された各領域のことを短冊領域Ｍ２と称して説明する。そして、画像処理部１１４は、短冊領域Ｍ２を時系列データｕ（ｔ）とする。つまり、時系列データｕ（ｔ）は、Ｃ×Ｋ_ｈ次元・Ｋ_ｗ時刻の時系列データとなる。なお、時系列データｕ（ｔ）は、Ｃ×Ｋ_ｗ次元・Ｋ_ｈ時刻の時系列データであってもよい。

【0031】

図５のフローチャートの説明に戻る。次に、タスク処理部１１６は、画像処理部１１４によって入力画像Ｍ０から生成された時系列データｕ（ｔ）を、リザバーコンピューティングＭＤＬに入力する（ステップＳ１０４）。

【0032】

図７は、本実施形態に係るリザバーコンピューティングＭＤＬの内部構成を表す図である。図７に示すリザバーコンピューティングＭＤＬは、図３に例示したリザバーコンピューティングＭＤＬの前段部分（リザバー層Ｌ_Ｒ１）に相当する。前段部分のリザバーコンピューティングＭＤＬは、例えば、入力層Ｌ_ＩＮ及び結合層Ｌ_Ｃに対して複数のリザバー層Ｌ_Ｒ１が並列に接続されたモデルである。結合層Ｌ_Ｃとは、複数のリザバー層Ｌ_Ｒ１のそれぞれの出力ｘを結合する中間層である。例えば、リザバー層Ｌ_Ｒ１がＮ個存在する場合、結合層Ｌ_Ｃは、１～Ｎまでの各リザバー層Ｌ_Ｒ１の出力ｘ１～ｘＮを結合する。図７の例では、複数の入力層Ｌ_ＩＮを模式的に図示しているが単一の入力層Ｌ_ＩＮである。

【0033】

本実施形態におけるリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ）の時間発展は、数式（１）によって計算される。ただしｘ（０）＝０とする。

【0034】

【数1】

【0035】

数式（１）のｆは、活性化関数を表し、例えば、ハイパボリックタンジェント（ｔａｎｈ）を用いることができる。δは、リザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ）の更新速度を制御する制御係数（以下、漏れ率という）を表している。漏れ率δの最大値は１である。複数のリザバー層Ｌ_Ｒ１の其々には、互いに異なる漏れ率δが設定される。例えば、最上段のリザバー層Ｌ_Ｒ１には、漏れ率δ_１が設定され、最下段のリザバー層Ｌ_Ｒ１には、漏れ率δ_Ｎが設定される。漏れ率δは「時定数」の一例である。

【0036】

数式（１）は、ある状態ベクトルｘ（ｔ）のリザバー層Ｌ_Ｒ１に、ある時刻ｔの観測データｕ（ｔ）が入力された場合において、リザバー層Ｌ_Ｒ１が観測データｕ（ｔ）から受ける影響の度合いと、時刻ｔの観測データｕ（ｔ）が入力されるときのリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ）と、漏れ率δとに基づいて、時刻ｔ＋１の観測データｕ（ｔ＋１）が入力されるときのリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ＋１）を算出している。

【0037】

状態ベクトルｘ（ｔ）のリザバー層Ｌ_Ｒ１が観測データｕ（ｔ）から受ける影響の度合いは、結合荷重行列Ｗ_ｉｎによって重み付けられた時刻ｔの観測データｕ（ｔ）（つまりＷ_ｉｎｕ（ｔ））と、リカレント結合荷重行列Ｗ_ｒｅｃによって重み付けられたリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ）（つまりＷ_ｒｅｃｘ（ｔ））との和によって表される。以下、Ｗ_ｉｎｕ（ｔ）とＷ_ｒｅｃｘ（ｔ）との和の項を、影響項と称して説明する。

【0038】

数式（１）のように、（１－δ）を乗算した状態ベクトルｘ（ｔ）と、δを乗算した影響項との和に基づいて、次の時刻ｔ＋１のリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ＋１）が算出される。漏れ率δがゼロに近づくほど影響項はゼロに近づき、次の時刻ｔ＋１のリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ＋１）は、前回時刻ｔのリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ）に近づくことになる。一方、漏れ率δが大きくなるほど影響項も増大し、次の時刻ｔ＋１のリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ＋１）は、現在時刻ｔのリザバー層Ｌ_Ｒ１の状態ベクトルｘ（ｔ）から大きく乖離することになる。漏れ率δを適切に設定又は調整することで、リザバーコンピューティングＭＤＬの精度を向上させることができる。

【0039】

漏れ率δを小さくすると、リザバー層Ｌ_Ｒ１の内部の状態変化が比較的ゆっくりと進むため（状態の更新が遅くなるため）、リザバー層Ｌ_Ｒ１において低い空間周波数の特徴が抽出される。一方、漏れ率δを大きくすると、リザバー層Ｌ_Ｒ１の内部の状態変化が速やかに進むため（状態の更新が速くなるため）、リザバー層Ｌ_Ｒ１において高い空間周波数の特徴が抽出される。

【0040】

したがって、例えば、ある漏れ率δが０．１に設定されたリザバー層Ｌ_Ｒ１に、入力層Ｌ_ＩＮを介して時系列データｕ（ｔ）を入力した場合、時系列データｕ（ｔ）から、低空間周波数の特徴が抽出され、漏れ率δが０．９に設定されたリザバー層Ｌ_Ｒ１に、入力層Ｌ_ＩＮを介して時系列データｕ（ｔ）を入力した場合、時系列データｕ（ｔ）から、高空間周波数の特徴が抽出される。このように、複数のリザバー層Ｌ_Ｒ１の其々に対して互いに異なる漏れ率δを設定することで、互いに異なる周波数の特徴を抽出することができる。

【0041】

切り出された全ての局所領域Ｍ１が短冊状になって入力層Ｌ_ＩＮに時系列データｕ（ｔ）として入力され終わった場合、リザバーコンピューティングＭＤＬの結合層Ｌ_Ｃでは、リザバー層Ｌ_Ｒ１によって出力された全状態ベクトルｘ（ｔ）が一つに結合されて、入力画像の高空間周波数や低空間周波数の特徴のみが抽出された特徴画像となる。結合層Ｌ_Ｃは、特徴画像をチャンネル方向に展開して後段の複数のリザバー層Ｌ_Ｒ２に出力する。リザバー層Ｌ_Ｒ１の個数をＮ、各リザバー層Ｌ_Ｒ１のノード数をＲとすると、後段のリザバー層Ｌ_Ｒ２に出力される出力画像のチャンネルサイズはＮ×Ｒとなる。

【0042】

後段の各リザバー層Ｌ_Ｒ２は、前段のリザバー層Ｌ_Ｒ１と同様に、各空間周波数を有する特徴画像から、低空間周波数及び高空間周波数といったように互いに異なる周波数の特徴を抽出する。後段のリザバー層Ｌ_Ｒ２は、前段のリザバー層Ｌ_Ｒ１同様に数式（１）の計算を行い、特徴画像から特徴を抽出する。

【0043】

出力層Ｌ_ＯＵＴは、後段の各リザバー層Ｌ_Ｒ２によって抽出された特徴を結合し、その結合した特徴を対象物の認識結果に変換して出力する。

【0044】

図５のフローチャートの説明に戻る。次に、タスク処理部１１６は、時系列データｕ（ｔ）を入力したリザバーコンピューティングＭＤＬから対象物の認識結果を取得する（ステップＳ１０６）。

【0045】

次に、出力制御部１１８は、対象物の認識結果を出力する（ステップＳ１０８）。例えば、出力制御部１１８は、出力部１０６のディスプレイに認識結果を表示させてよい。また、出力制御部１１８は、通信部１０２を介して他の装置に認識結果を送信してもよい。これによって本フローチャートの処理が終了する。

【0046】

［学習装置の構成］
図８は、実施形態に係る学習装置２００の構成の一例を表す図である。学習装置２００は、例えば、通信部２０２と、処理部２１０と、記憶部２３０とを備える。

【0047】

通信部２０２は、例えば、ＮＩＣや、受信機及び送信機を含む無線通信モジュールなどを含む。通信部２０２は、ネットワークＮＷを介して、情報処理装置１００やその他の装置と通信してよい。

【0048】

処理部２１０は、例えば、取得部２１２と、学習部２１４と、通信制御部２１６とを備える。

【0049】

処理部２１０のこれら構成要素は、例えば、ＣＰＵやＧＰＵなどのプロセッサが記憶部２３０に格納されたプログラムを実行することにより実現される。処理部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0050】

記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。記憶部２３０には、ファームウェアやアプリケーションプログラムなどの各種プログラムが格納される。記憶部２３０には、プロセッサによって参照される一つ又は複数のプログラムに加えて、未学習のリザバーコンピューティングＭＤＬを定義したモデルデータなどが格納される。

【0051】

［学習装置の処理フロー（リザバーコンピューティングのトレーニング）］
以下、フローチャートに即して学習装置２００の具体的な処理の流れを説明する。図９は、実施形態に係る学習装置２００の具体的な処理の流れの一例を表すフローチャートである。本フローチャートの処理は所定の周期で繰り返し行われてよい。また、学習装置２００が、分散コンピューティングシステムやクラウドコンピューティングシステムに含まれる複数のコンピュータによって実装される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。

【0052】

まず、取得部２１２は、リザバーコンピューティングＭＤＬを学習するためのトレーニングデータセットを取得する（ステップＳ２００）。トレーニングデータセットとは、トレーニング対象である時系列データに、当該トレーニング対象である時系列データから認識されるべき正解（理想）の対象物がラベル付けられたデータセットである。正解の対象物は、教師信号が対応付けられた対象物と読み替えてもよい。例えば、ある数字が描かれた入力画像から、図６で説明した手法を用いて時系列データが生成されたとする。この場合、トレーニングデータセットは、入力画像由来の時系列データに対して、当該入力画像に描かれた数字がラベル付けられたデータセットとなる。このように、トレーニングデータセットは、トレーニング対象である時系列データを入力データとし、当該トレーニング対象である時系列データから得られる対象物の正解の認識結果を出力データとしたデータセットである。

【0053】

例えば、取得部２１２は、通信部２０２を介して他の装置（例えばネットワーク上のオープンデータソース）からトレーニングデータセットを取得してよい。また、記憶部２３０にトレーニングデータセットが格納されている場合、取得部２１２は、記憶部２３０からトレーニングデータセットを読み出してよい。更に学習装置２００のドライブ装置に、トレーニングデータセットが格納された非一過性の記憶媒体（例えばフレッシュメモリ等）が接続された場合、取得部２１２は、記憶媒体からトレーニングデータセットを読み出してもよい。

【0054】

次に、学習部２１４は、取得部２１２によって取得されたトレーニングデータセットを用いてリザバーコンピューティングＭＤＬを学習する（ステップＳ２０２）。

【0055】

図１０は、リザバーコンピューティングＭＤＬの学習方法を説明するための図である。例えば、学習部２１４は、トレーニングデータセットに入力データとして含まれるトレーニング対象の時系列データｕ（ｔ）をリザバーコンピューティングＭＤＬに入力し、そのときのリザバーコンピューティングＭＤＬが出力した対象物の認識結果と、正解の認識結果との誤差を算出し、その誤差が小さくなるようにリッジ回帰などを行うことで、出力層Ｌ_ＯＵＴにおける結合荷重行列Ｗ_ＯＵＴを調整する。出力層Ｌ_ＯＵＴは、例えば全結合層である。これによってリザバーコンピューティングＭＤＬは、自身に時系列データが入力されると、当該時系列データから認識されるべき正解の対象物の認識結果を出力することになる。

【0056】

次に、通信制御部２１６は、学習部２１４によって学習されたリザバーコンピューティングＭＤＬを定義したモデルデータを、通信部２０２を介して情報処理装置１００に送信する（ステップＳ２０４）。これによって本フローチャートの処理が終了する。

【0057】

以上説明した実施形態によれば、複数のリザバー層Ｌ_Ｒの其々に対して互いに異なる漏れ率δを設定することで、機械学習モデルの膨大な学習コストを低くしつつ、機械学習モデルの性能を向上させることができる。

【0058】

具体的には、ある状態ベクトルｘ（ｔ）のリザバー層Ｌ_Ｒに、ある時刻ｔの観測データｕ（ｔ）が入力された場合において、リザバー層Ｌ_Ｒが観測データｕ（ｔ）から受ける影響の度合いと、時刻ｔの観測データｕ（ｔ）が入力されるときのリザバー層Ｌ_Ｒの状態ベクトルｘ（ｔ）と、漏れ率δとに基づいて、時刻ｔ＋１の観測データｕ（ｔ＋１）が入力されるときのリザバー層Ｌ_Ｒの状態ベクトルｘ（ｔ＋１）を算出することで、機械学習モデルの膨大な学習コストを低くしつつ、機械学習モデルの性能を向上させることができる。

【0059】

また、上述した実施形態によれば、入力画像の局所部領域を短冊状に切り出し、その短冊状に切り出した各短冊領域を時系列データとするため、局所部領域をそのまま時系列データとして扱う場合と比べて、リザバー層Ｌ_Ｒのノード数を減らすことができ、計算コストやメモリリソースを抑えることができる。一般的に、時系列データの次元数や時刻長が大きくなるほど、リザバー層Ｌ_Ｒが記憶しておかなければいけない入力情報の容量が増えるため、リザバー層Ｌ_Ｒのノード数を多くする必要がある。この結果、計算コストやメモリリソースが増大する。一方、本実施形態のように、局所部領域を短冊状に切り出し、その短冊状に切り出した各短冊領域を時系列データとした場合、画像全体をリザバーに入力する場合に比べて，時系列データの次元数や時刻長を小さくすることができるため、リザバー層Ｌ_Ｒが記憶しておかなければいけない入力情報の容量を小さくすることができ、リザバー層Ｌ_Ｒのノード数を減らすことができる。この結果、計算コストやメモリリソースを抑えることができる。

【0060】

［実施例］
以下、実施例として、上記実施形態のリザバーコンピューティングＭＤＬを用いた実験結果を例示する。図１１は、リザバーコンピューティングＭＤＬの各構成のパラメータの一例を表す図である。リザバー層Ｌ_Ｒの各パラメータは、Ｎ＝５，Ｒ＝３０，ρ＝０．８（但しカラー画像が入力の場合，第一層のみＲ＝１２，ρ＝０．５）とした。ＭＮＩＳＴデータセット，Ｆａｓｈｉｏｎ－ＭＮＩＳＴデータセット，ＣＩＦＡＲ－１０データセットを用いて評価した。学習では，各データセットのトレーニングデータセットを実施形態のリザバーコンピューティングＭＤＬに与え，全結合層（Fully Connected 1）の結合荷重のみをリッジ回帰によって最適化した。実験では、各データセットのトレーニングデータセットを学習済のリザバーコンピューティングＭＤＬに与えて、正答率を算出した。

【0061】

図１２は、本実施形態の正答率と従来手法の正答率との比較結果を表す図である。図中の［２］～［５］は、非特許文献２～５の其々の手法による正答率を表している。複数のリザバー層Ｌ_Ｒの其々に対して互いに異なる漏れ率δを設定するという本実施形態の手法では、従来手法［２－５］による各データセットに対する正答率を下回ったが、Ｆａｓｈｉｏｎ－ＭＮＩＳＴデータセットとＣＩＦＡＲ－１０データセットでは従来手法の正答率を上回った。

【0062】

図１３から図１５は、各データセットの入力画像と、本実施形態のリザバーコンピューティングＭＤＬによって出力された特徴画像とを並べた図である。図１３の（ａ）は、ＭＮＩＳＴデータセットの入力画像を表し、同図の（ｂ）は、漏れ率δ＝０．１のときの特徴画像を表し、同図の（ｃ）は、漏れ率δ＝０．９のときの特徴画像を表している。図１４の（ａ）は、Ｆａｓｈｉｏｎ－ＭＮＩＳＴデータセットの入力画像を表し、同図の（ｂ）は、漏れ率δ＝０．１のときの特徴画像を表し、同図の（ｃ）は、漏れ率δ＝０．９のときの特徴画像を表している。図１５の（ａ）は、ＣＩＦＡＲ－１０データセットの入力画像を表し、同図の（ｂ）は、漏れ率δ＝０．１のときの特徴画像を表し、同図の（ｃ）は、漏れ率δ＝０．９のときの特徴画像を表している。

【0063】

図１３から図１５の（ｂ）は、漏れ率δ＝０．１のときの特徴画像であり、入力画像上の輪郭や概形などの低空間周波数成分の特徴を表している。図１３から図１５の（ｃ）は、漏れ率δ＝０．９のときの特徴画像であり、入力画像上の細かいエッジなどの高空間周波数成分の特徴を表している。このように、複数のリザバー層Ｌ_Ｒの其々に対して互いに異なる漏れ率δを設定することで、入力画像の様々な特徴を捉えることができる。

【0064】

（実施形態の変形例）
以下、上述した実施形態の変形例について説明する。上述した実施形態では、リザバーコンピューティングＭＤＬが、入力層Ｌ_ＩＮと、互いに異なる漏れ率δが設定された複数のリザバー層Ｌ_Ｒと、出力層Ｌ_ＯＵＴとを含むものとして説明したがこれに限られない。例えば、リザバーコンピューティングＭＤＬは、漏れ率δがある値δ_Ｘに設定された単一のリザバー層Ｌ_Ｒを含むものであってもよい。この場合、まず、タスク処理部１１６は、漏れ率δ_Ｘに設定されたリザバー層Ｌ_Ｒに入力層Ｌ_ＩＮを介して時系列データｕ（ｔ）を入力する。これを受けて、リザバー層Ｌ_Ｒは、漏れ率δ_Ｘに応じた空間周波数の特徴を抽出する。タスク処理部１１６は、漏れ率δ_Ｘに応じた空間周波数の特徴が抽出された後に、漏れ率δ_Ｘを他の漏れ率δ_Ｙに設定し直す。そして、タスク処理部１１６は、漏れ率δ_Ｙに設定されたリザバー層Ｌ_Ｒに入力層Ｌ_ＩＮを介して時系列データｕ（ｔ）を入力する。これを受けて、リザバー層Ｌ_Ｒは、漏れ率δ_Ｙに応じた空間周波数の特徴を抽出する。例えば、漏れ率δ_Ｘよりも漏れ率δ_Ｙの方が大きい場合、漏れ率δ_Ｙに応じた空間周波数の特徴は、漏れ率δ_Ｘに応じた空間周波数の特徴よりも高空間周波数となる。

【0065】

また上述した実施形態では、情報処理装置１００と学習装置２００は互いに独立した別体の装置であるものとして説明したがこれに限られない。例えば、情報処理装置１００の処理部１１０は、学習装置２００の学習部２１４を備えていてもよい。

【0066】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0067】

１…情報処理システム、１００…情報処理装置、１０２…通信部、１０４…入力部、１０６…出力部、１１０…処理部、１１２…取得部、１１４…画像処理部、１１６…タスク処理部、１１８…出力制御部、１３０…記憶部、ＮＷ…ネットワーク、ＭＤＬ…リザバーコンピューティング、２００…学習装置、２０２…通信部、２１０…処理部、２１２…取得部、２１４…学習部、２１６…通信制御部、２３０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】