▶ 日本電気株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧
特表2024-530994演算装置、学習制御装置、演算方法、学習制御方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-27
(54)【発明の名称】演算装置、学習制御装置、演算方法、学習制御方法およびプログラム
(51)【国際特許分類】
G06N 3/044 20230101AFI20240820BHJP
G06N 3/063 20230101ALI20240820BHJP
G06N 3/08 20230101ALI20240820BHJP
【ＦＩ】
G06N3/044
G06N3/063
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024514009
(86)(22)【出願日】2021-09-10
(85)【翻訳文提出日】2024-03-01
(86)【国際出願番号】 JP2021033336
(87)【国際公開番号】W WO2023037503
(87)【国際公開日】2023-03-16
(81)【指定国・地域】
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】酒見 悠介
(72)【発明者】
【氏名】レヴィ ティモテ
(72)【発明者】
【氏名】合原 一幸
(57)【要約】
演算装置が、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算する行列積計算手段と、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うシフト演算手段と、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計する合計手段と、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出する活性化関数適用手段と、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する出力値算出手段と、を備える。
【特許請求の範囲】
【請求項1】
１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算する行列積計算手段と、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うシフト演算手段と、
前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計する合計手段と、
前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出する活性化関数適用手段と、
前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する出力値算出手段と、
を備える演算装置。
【請求項2】
前記活性化関数適用手段は、３次の項と１次の項とによる３次多項式関数を前記活性化関数として用いる、請求項１に記載の演算装置。
【請求項3】
前記行列積計算手段または前記活性化関数適用手段は、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成される、請求項１または請求項２に記載の演算装置。
【請求項4】
請求項１から３の何れか一項に記載の演算装置の前記接続表現行列の前記複数の要素について、各要素の値が定められた確率で０になるように設定する仮設定手段と、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記複数の出力値の算出のための前記重み係数を更新させる学習制御手段と、
を備える学習制御装置。
【請求項5】
演算装置に、１、０または－１の値をとる複数の要素を有する行列である接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、
前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、
前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、
前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、
前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、
を実装する演算方法。
【請求項6】
１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計し、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に適応される学習制御方法であって、前記演算装置の前記接続表現行列の複数の要素について、各要素の値を、定められた確率で要素の値が０になるように設定することと、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、
を実装する学習制御方法。
【請求項7】
プログラムに従って動作可能な装置に、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、
前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、
前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、
前記シフト演算で得られるベクトルと、複数の重み付けされた入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、
前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、
を実装するプログラムを記録する記録媒体。
【請求項8】
コンピュータに、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習における中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計し、前記シフト演算で得られるベクトルと、前記機械学習において重み係数で重み付けされた複数の入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に、前記演算装置の前記接続表現行列の複数の要素について各要素の値を、定められた確率で要素の値が０になるように設定することと、
前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、
を実装するプログラムを記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、演算装置、学習制御装置、演算方法、学習制御方法および記録媒体に関する。
【背景技術】
【0002】
ニューラルネットワークを用いた情報処理技術の１つにリザバーコンピューティング（Reservoir Computing; RC）がある（例えば、特許文献１参照）。
リザバーコンピューティングでは、ニューラルネットワークの構造としては再帰型ニューラルネットワーク（Recurrent Neural Network; RNN）が用いられ、学習の対象が、出力層における結合の重み係数に限定される。
リザバーコンピューティングでは、ニューラルネットワークの構造としては再帰型ニューラルネットワーク（Recurrent Neural Network; RNN）が用いられ、学習の対象が、出力層における結合の重み係数に限定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第２０１８／０３０９２６６号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
リザバーコンピューティングのように再帰的なネットワーク構造を有する機械学習モデルにおける計算を簡単化できることが好ましい。
【0005】
本発明の目的の一例は、上述した課題を解決することのできる演算装置、学習制御装置、演算方法、学習制御方法および記録媒体を提供することである。
【課題を解決するための手段】
【0006】
本発明の第一の態様によれば、演算装置は、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算する行列積計算手段と、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うシフト演算手段と、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計する合計手段と、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出する活性化関数適用手段と、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する出力値算出手段と、を備える。
【0007】
本発明の第二の態様によれば、演算方法は、演算装置に、１、０または－１の値をとる複数の要素を有する行列である接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、を実装する。
【0008】
本発明の第三の態様によれば、学習制御方法は、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計し、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に適応される学習制御方法であって、前記演算装置の前記接続表現行列の複数の要素について、各要素の値を、定められた確率で要素の値が０になるように設定することと、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、を実装する。
【0009】
本発明の第四の態様によれば、記録媒体は、プログラムに従って動作可能な装置に、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、前記シフト演算で得られるベクトルと、複数の重み付けされた入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、を実装するプログラムを記録する。
【0010】
本発明の第五の態様によれば、記録媒体は、コンピュータに、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習における中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計し、前記シフト演算で得られるベクトルと、前記機械学習において重み係数で重み付けされた複数の入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に、前記演算装置の前記接続表現行列の複数の要素について各要素の値を、定められた確率で要素の値が０になるように設定することと、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、を実装するプログラムを記録する。
【発明の効果】
【0011】
本発明によれば、再帰的なネットワーク構造を有する計算モデルにおける計算を比較的簡単に行うことができる。
【図面の簡単な説明】
【0012】
【図1】実施形態に係る演算システムの装置構成の例を示す図である。
【図2】実施形態に係る演算装置の構成の例を示す図である。
【図3】実施形態に係る学習制御装置の構成の例を示す図である。
【図4】実施形態に係る演算装置の機械学習モデルのスパース度とスペクトル半径との関係の第１例を示す図である。
【図5】実施形態に係る演算装置の機械学習モデルのスパース度とスペクトル半径との関係の第２例を示す図である。
【図6】実施形態に係る学習制御装置の処理の手順の例を示すフローチャートである。
【図7】実施形態に係るスパース度と演算装置の推定精度との関係の例を示す図である。
【図8】実施形態に係る演算装置の構成の、もう１つの例を示す図である。
【図9】実施形態に係る学習制御装置の構成の、もう１つの例を示す図である。
【図10】実施形態に係る演算方法における処理の手順の例を示すフローチャートである。
【図11】実施形態に係る学習制御方法における処理の手順の例を示すフローチャートである。
【図12】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る演算システムの装置構成の例を示す図である。図１に示す構成で、演算システム１は、演算装置１０と、学習制御装置２０とを備える。
図１は、実施形態に係る演算システムの装置構成の例を示す図である。図１に示す構成で、演算システム１は、演算装置１０と、学習制御装置２０とを備える。
【0014】
演算装置１０は、再帰的なネットワーク構造を有する機械学習モデルを用いて演算を行う。ただし、再帰的なネットワーク構造が明示されていなくてもよい。例えば、演算装置１０を構成するハードウェアにおける信号線がループを含む形状に配線されていてもよいが、演算装置１０の構成方法は、特定の方法に限定されない。
以下では、再帰的なネットワーク構造を有する機械学習モデルが、行列を用いた計算式で示されている場合を例に説明する。
演算装置１０が用いる、再帰的なネットワーク構造を有する機械学習モデルを、単にモデルとも称する。機械学習を、単に学習とも称する。
以下では、再帰的なネットワーク構造を有する機械学習モデルが、行列を用いた計算式で示されている場合を例に説明する。
演算装置１０が用いる、再帰的なネットワーク構造を有する機械学習モデルを、単にモデルとも称する。機械学習を、単に学習とも称する。
【0015】
学習制御装置２０は、学習時に演算装置１０を制御して学習を行わせる。演算装置１０には、学習による更新対象のパラメータと、学習による更新対象外のパラメータとがある。学習制御装置２０は、学習による更新対象外のパラメータの値を設定した後、演算装置１０に学習を行わせる。学習制御装置２０が、学習による更新対象外のパラメータの値を変えながら、それぞれの値で演算装置１０に学習を行わせるようにしてもよい。そして、学習制御装置２０が、学習結果に基づいて、学習による更新対象外のパラメータの値を決定するようにしてもよい。
【0016】
ここで、リザバーコンピューティングシステムにおける中間ノードの値は、式（１）のように表すことができる。
【0017】
【数1】
【0018】
ｔおよびｔ－１は、何れも時間ステップのインデックスであり、時刻を示す。時刻ｔ－１は、時刻ｔよりも１つ前（過去）の時間ステップの時刻である。リザバーコンピューティングでは、時刻ステップ毎に入力ノードが入力値を取得し、時刻ステップ毎に出力ノードの値が更新される。出力ノードの値は、リザバーコンピューティングシステムからの出力値に該当する。
【0019】
ｘ（ｔ）は、時刻ｔにおける中間ノードの値を示すベクトルである。リザバーコンピューティングシステムの中間ノードと、ベクトルｘ（ｔ）の要素とが一対一に対応付けられる。ベクトルｘ（ｔ）は縦ベクトルで表される。
リザバーコンピューティングにおける中間層は、リザバー層とも称される。リザバーコンピューティングにおける中間ノードは、リザバーノードとも称される。
リザバーコンピューティングにおける中間層は、リザバー層とも称される。リザバーコンピューティングにおける中間ノードは、リザバーノードとも称される。
【0020】
Ｗｒｅｓは、中間ノードの値に対する重み付けの重み係数を示す行列である。式（１）の「Ｗｒｅｓｘ（ｔ－１）」は、時刻ｔ－１における中間ノードの値に対する重み付けを示す。行列Ｗｒｅｓは、行数、列数の何れもベクトルｘ（ｔ）の要素数と等しい正方行列である。「Ｗｒｅｓｘ（ｔ－１）」の計算結果は、ベクトルｘ（ｔ）の要素数と同じ要素数の縦ベクトルで表される。
【0021】
ｕ（ｔ）は、時刻ｔにおける入力ノードの値を示すベクトルである。したがって、ベクトルｕ（ｔ）は、時刻ｔにおけるリザバーコンピューティングシステムへの入力値を示す。ベクトルｕ（ｔ）は縦ベクトルで表される。
Ｗｉｎは、入力ノードの値に対する重み付けの重み係数を示す行列である。式（１）の「Ｗｉｎｕ（ｔ）」は、時刻ｔにおける入力ノードの値に対する重み付けを示す。行列Ｗｉｎの行数はベクトルｘ（ｔ）の要素数と等しく、列数はベクトルｕ（ｔ）の要素数と等しい。「Ｗｉｎｕ（ｔ）」の計算結果は、ベクトルｘ（ｔ）の要素数と同じ要素数の縦ベクトルで表される。
Ｗｉｎは、入力ノードの値に対する重み付けの重み係数を示す行列である。式（１）の「Ｗｉｎｕ（ｔ）」は、時刻ｔにおける入力ノードの値に対する重み付けを示す。行列Ｗｉｎの行数はベクトルｘ（ｔ）の要素数と等しく、列数はベクトルｕ（ｔ）の要素数と等しい。「Ｗｉｎｕ（ｔ）」の計算結果は、ベクトルｘ（ｔ）の要素数と同じ要素数の縦ベクトルで表される。
【0022】
ｆは、活性化関数を示す。式（１）の「（Ｗｒｅｓｘ（ｔ－１）＋Ｗｉｎｕ（ｔ））」の計算結果は、ベクトルｘ（ｔ）の要素数と同じ要素数の縦ベクトルで表され、「ｆ（Ｗｒｅｓｘ（ｔ－１）＋Ｗｉｎｕ（ｔ））」は、この縦ベクトルの要素毎に活性化関数を適用することを表す。
【0023】
式（１）における行列とベクトルとの積「Ｗｒｅｓｘ（ｔ－１）」および「Ｗｉｎｕ（ｔ）」のそれぞれで、行列の要素が示す重み係数と、ベクトルの要素が示すノードの値との乗算が行われる。中間ノードの個数が入力ノードの個数よりもおおいことが考えられ、特に、「Ｗｒｅｓｘ（ｔ－１）」での乗算の回数が多いと考えられる。
【0024】
１回の乗算で加算が繰り返し行われるなど、乗算では、加算または減算よりも複雑な処理が行われる。このため、装置が乗算を行う場合の消費電力は、加算または減算を行う場合よりも大きくなる。また、乗算器をハードウェアで実装するハードウェアの規模が比較的大きくなり、装置の小型化の妨げとなること、および、装置の生産コストが高くなることが考えられる。
【0025】
これに対し、演算装置１０では、中間ノードの値の計算を、式（１）の計算よりも少ない乗算回数で行えるようにする。計算が簡単になることで、演算装置１０の処理速度が速くなると期待される。また、乗算の回数が少ないことで演算装置１０の消費電力が小さくなり、センサの設置個所の付近など十分な給電が見込まれない場所でも演算装置１０を設置し得ると期待される。また、演算装置１０が小型化されることで、演算装置１０を設置可能な場所が増えると期待される。また、演算装置１０の生産コストが安くなることで、エッジコンピューティング（Edge Computing）など分散型の配置で演算装置１０を多数配置することが比較的容易になる。
【0026】
演算装置１０は、式（２）に基づいて中間ノードの値を計算する。
【0027】
【数2】
【0028】
Ｚは、整数を表す。
Ｔは、何れの要素も１、０または－１の値をとる行列である。行列Ｔの行数、列数の何れもベクトルｘ（ｔ）の要素数と等しい。すなわち、行列Ｔの行数、列数の何れも、演算装置１０の機械学習モデルの中間ノードの個数と等しい。
Ｔは、何れの要素も１、０または－１の値をとる行列である。行列Ｔの行数、列数の何れもベクトルｘ（ｔ）の要素数と等しい。すなわち、行列Ｔの行数、列数の何れも、演算装置１０の機械学習モデルの中間ノードの個数と等しい。
【0029】
行列Ｔは、中間ノード同士の接続関係を表していると解することができる。行列Ｔの要素の値「１」は、中間ノード同士が接続されており、情報が伝達されることを表していると解することができる。行列Ｔの要素の値「０」は、中間ノード同士が接続されておらず、情報が伝達されないことを表していると解することができる。行列Ｔの要素の値「－１」は、中間ノード同士が接続されており、情報が伝達されること、および、伝達される情報に－１の重み係数が乗算されることを表していると解することができる。
行列Ｔを接続表現行列とも称する。
行列Ｔを接続表現行列とも称する。
【0030】
式（２）を式（１）と比較すると、式（１）の「Ｗｒｅｓｘ（ｔ－１）」の項が、式（２）では「２ＺＴｘ（ｔ－１）」となっている。それ以外の点では、式（２）は式（１）と同様である。
「Ｔｘ（ｔ－１）」の計算結果は、ベクトルｘ（ｔ）と同じ要素数の縦ベクトルで表される。ベクトルのｉ番目の要素を＜＞ｉと表記し、行列の第ｉ行第ｊ列の要素を＜＞ｉ，ｊと表記すると、「Ｔｘ（ｔ－１）」の計算結果のベクトルのｉ番目の要素は式（３）のように表される。
「Ｔｘ（ｔ－１）」の計算結果は、ベクトルｘ（ｔ）と同じ要素数の縦ベクトルで表される。ベクトルのｉ番目の要素を＜＞ｉと表記し、行列の第ｉ行第ｊ列の要素を＜＞ｉ，ｊと表記すると、「Ｔｘ（ｔ－１）」の計算結果のベクトルのｉ番目の要素は式（３）のように表される。
【0031】
【数3】
【0032】
行列Ｔの要素＜Ｔ＞ｉ，ｊは、１、０または－１の何れかの値をとるので、式（３）の計算では、ベクトルｘ（ｔ－１）の要素＜ｘ（ｔ－１）＞ｊ毎に、「加算する」、「減算する」、または、「演算を行わない」の何れかの処理を行えばよい。したがって、乗算器を必要とせず加算器のみで式（３）の計算を行うことができる。
【0033】
また、上記のようにＺは整数なので、「２ＺＴｘ（ｔ－１）」の計算における２Ｚと「Ｔｘ（ｔ－１）」の計算結果の縦ベクトルの要素との乗算は、ビット列のシフトによって行うことができる。
したがって、「２ＺＴｘ（ｔ－１）」の計算は、加算器とシフトレジスタとを用いて行うことができ、乗算器を必要としない。
したがって、「２ＺＴｘ（ｔ－１）」の計算は、加算器とシフトレジスタとを用いて行うことができ、乗算器を必要としない。
【0034】
式（３）の計算について、例を挙げて説明する。
ベクトルｘ（ｔ－１）の値、行列Ｔの値、および、整数Ｚの値が式（４）のように示される例について考える。
ベクトルｘ（ｔ－１）の値、行列Ｔの値、および、整数Ｚの値が式（４）のように示される例について考える。
【0035】
【数4】
【0036】
この場合、「Ｔｘ（ｔ－１）」の計算は、式（５）のように加算および減算によって行うことができる。
【0037】
【数5】
【0038】
また、２Ｚと「Ｔｘ（ｔ－１）」の計算結果との乗算は、式（６）のようにシフト演算で行うことができる。
【0039】
【数6】
【0040】
式（６）に示す例で、「Ｔｘ（ｔ－１）」の計算結果の縦ベクトルの要素「３」、「－７」および「－４」のそれぞれについて、２進数表現によるビット列を左（桁が大きくなる側）に１ビットだけシフトさせることで、２１を乗算している。
なお、式（６）では、負の数を２の補数で表している。
なお、式（６）では、負の数を２の補数で表している。
【0041】
式（１）の活性化関数ｆについて、リザバーコンピューティングに用いられる活性化関数は特定の関数に限定されないが、例えば、双曲線正接関数（Tangent Hyperbolic Function）など、複雑な関数が用いられる場合がある。活性化関数として複雑な関数が用いられる場合、装置の消費電力が大きくなること、活性化関数を実装するハードウェアの規模が比較的大きくなり、装置の小型化の妨げとなること、および、装置の生産コストが高くなることが考えられる。
【0042】
演算装置１０に用いられる活性化関数（式（２）の関数ｆ）も特定の関数に限定されないが、例えば、式（７）に示される多項式関数ｐｏｌｙを用いるようにしてもよい。
【0043】
【数7】
【0044】
ａ、ｂは、何れも実数定数である。
多項式関数ｐｏｌｙは、３次の項と１次の項とによる３次多項式関数の例に該当する。演算装置１０の活性化関数として多項式関数ｐｏｌｙを用いた実験で、良好な結果が得られた。
活性化関数として多項式関数ｐｏｌｙを用いる場合、式（２）は式（８）のように表される。
多項式関数ｐｏｌｙは、３次の項と１次の項とによる３次多項式関数の例に該当する。演算装置１０の活性化関数として多項式関数ｐｏｌｙを用いた実験で、良好な結果が得られた。
活性化関数として多項式関数ｐｏｌｙを用いる場合、式（２）は式（８）のように表される。
【0045】
【数8】
【0046】
演算装置１０が、多項式関数ｐｏｌｙのように比較的簡単な関数を活性化関数として用いることで、演算装置１０の処理速度が比較的速いことが期待される。また、演算装置１０の処理負荷が比較的軽いことで演算装置１０の消費電力が比較的小さく、センサの設置個所の付近など十分な給電が見込まれない場所でも演算装置１０を設置し得ると期待される。また、演算装置１０が小型化されることで、演算装置１０を設置可能な場所が増えると期待される。また、演算装置１０の構成が比較的簡単であることで生産コストが比較的安く、エッジコンピューティング（Edge Computing）など分散型の配置で演算装置１０を多数配置することが比較的容易であると期待される。
【0047】
また、演算装置１０は、時刻ｔにおける演算装置１０自らの出力値を、式（９）に基づいて計算する。
【0048】
【数9】
【0049】
ｙ（ｔ）は、時刻ｔにおける演算装置１０の機械学習モデルの出力ノードの値を示す。演算装置１０は、出力ノードに設定される値を出力する。
Ｗｏｕｔは、中間ノードから出力ノードへ伝達される値に対する重み付けの重み係数を示す行列である。行列Ｗｏｕｔの行数はベクトルｙ（ｔ）の要素数と等しく、列数はベクトルｘ（ｔ）の要素数と等しい。「Ｗｏｕｔｘ（ｔ）」は、出力ノード毎に、時刻ｔにおける中間ノードの値を重み付け加算することを示している。
Ｗｏｕｔは、中間ノードから出力ノードへ伝達される値に対する重み付けの重み係数を示す行列である。行列Ｗｏｕｔの行数はベクトルｙ（ｔ）の要素数と等しく、列数はベクトルｘ（ｔ）の要素数と等しい。「Ｗｏｕｔｘ（ｔ）」は、出力ノード毎に、時刻ｔにおける中間ノードの値を重み付け加算することを示している。
【0050】
リザバーコンピューティングの機械学習モデルは、式（１）および（９）で示される。リザバーコンピューティングでは、式（９）の行列Ｗｏｕｔの値が、学習によって更新される。
演算装置１０の機械学習モデルは、リザバーコンピューティングの一種として用いることができる。式（２）および（９）で示される演算装置１０の機械学習モデルは、式（１）および（９）で示されるリザバーコンピューティングの機械学習モデルから、式（１）の「Ｗｒｅｓｘ（ｔ－１）」を「２ＺＴｘ（ｔ－１）」で置き換えたものと解することができる。
演算装置１０の機械学習モデルは、リザバーコンピューティングの一種として用いることができる。式（２）および（９）で示される演算装置１０の機械学習モデルは、式（１）および（９）で示されるリザバーコンピューティングの機械学習モデルから、式（１）の「Ｗｒｅｓｘ（ｔ－１）」を「２ＺＴｘ（ｔ－１）」で置き換えたものと解することができる。
【0051】
図２は、演算装置１０の構成の例を示す図である。図２に示す構成で、演算装置１０は、入力値重み付け部１１と、行列積計算部１２と、シフト演算部１３と、合計部１４と、活性化関数適用部１５と、出力値算出部１６と、中間ノード値記憶部１７とを備える。
【0052】
入力値重み付け部１１は、時間ステップ毎に演算装置１０への入力値を取得し、入力値に対する重み付けを行う。入力値重み付け部１１が行う処理は、式（２）の「Ｗｉｎｕ（ｔ）」の計算の例に該当する。
入力値重み付け部１１は、重み付けの結果を合計部１４へ出力する。入力値重み付け部１１が、複数の乗算器と複数の加算器とを用いて構成されていてもよい。
演算装置１０が扱う数値が、固定長のビット列で表現されていてもよい。例えば、演算装置１０が扱う数値が、固定小数点の１６桁の２進数で表現されていてもよい。
入力値重み付け部１１は、重み付けの結果を合計部１４へ出力する。入力値重み付け部１１が、複数の乗算器と複数の加算器とを用いて構成されていてもよい。
演算装置１０が扱う数値が、固定長のビット列で表現されていてもよい。例えば、演算装置１０が扱う数値が、固定小数点の１６桁の２進数で表現されていてもよい。
【0053】
行列積計算部１２は、接続表現行列と、中間ノード値を示すベクトルとの積を計算する。上述したように、接続表現行列は、何れの要素も１、０または－１の値をとる行列である。行列積計算部１２が行う処理は、式（２）の「Ｔｘ（ｔ－１）」の計算の例に該当する。
行列積計算部１２は、積の計算結果をシフト演算部１３へ出力する。行列積計算部１２が、中間ノードの個数と同じ個数の加算器を用いて構成されていてもよい。
行列積計算部１２は、行列積計算手段の例に該当する。
行列積計算部１２は、積の計算結果をシフト演算部１３へ出力する。行列積計算部１２が、中間ノードの個数と同じ個数の加算器を用いて構成されていてもよい。
行列積計算部１２は、行列積計算手段の例に該当する。
【0054】
シフト演算部１３は、行列積計算部１２が行う積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。シフト演算部１３が行う処理は、式（２）の「２Ｚ」と「Ｔｘ（ｔ－１）」とを乗算する処理の例に該当する。
シフト演算部１３は、シフト演算の結果を合計部１４へ出力する。シフト演算部１３が、中間ノードの個数と同じ個数のシフトレジスタを用いて構成されていてもよい。
シフト演算部１３は、シフト演算手段の例に該当する。
シフト演算部１３は、シフト演算の結果を合計部１４へ出力する。シフト演算部１３が、中間ノードの個数と同じ個数のシフトレジスタを用いて構成されていてもよい。
シフト演算部１３は、シフト演算手段の例に該当する。
【0055】
合計部１４は、シフト演算部１３が行うシフト演算で得られるベクトルと、入力値重み付け部１１によって重み付けされた入力値ベクトルとを合計する。合計部１４が行う処理は、式（２）の「２ＺＴｘ（ｔ－１）」と「Ｗｉｎｕ（ｔ）」との合計の計算の例に該当する。
合計部１４は、合計の結果を活性化関数適用部１５へ出力する。合計部１４が、１つの加算器を用いて構成されていてもよい。
合計部１４は、合計手段の例に該当する。
合計部１４は、合計の結果を活性化関数適用部１５へ出力する。合計部１４が、１つの加算器を用いて構成されていてもよい。
合計部１４は、合計手段の例に該当する。
【0056】
活性化関数適用部１５は、合計部１４が行う合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。活性化関数適用部１５が行う処理は、式（２）の「２ＺＴｘ（ｔ－１）＋Ｗｉｎｕ（ｔ）」の計算結果を関数ｆに入力して「ｘ（ｔ）」を算出する処理の例に該当する。
【0057】
上述したように、活性化関数適用部１５が、３次の項と１次の項とによる３次多項式関数を活性化関数として用いるようにしてもよい。具体的には、活性化関数適用部１５が、式（７）に示される多項式ｐｏｌｙを活性化関数として用いるようにしてもよい。
活性化関数適用部１５は、算出したベクトルを出力値算出部１６へ出力する。活性化関数適用部１５が多項式ｐｏｌｙを活性化関数として用いる場合、活性化関数適用部１５が、３次の項を計算する１つの乗算器と、１次の項を計算する１つの乗算器と、３次の項と１次の項とを合計する１つの加算器とを用いて構成されていてもよい。
活性化関数適用部１５は、活性化関数適用手段の例に該当する。
活性化関数適用部１５は、算出したベクトルを出力値算出部１６へ出力する。活性化関数適用部１５が多項式ｐｏｌｙを活性化関数として用いる場合、活性化関数適用部１５が、３次の項を計算する１つの乗算器と、１次の項を計算する１つの乗算器と、３次の項と１次の項とを合計する１つの加算器とを用いて構成されていてもよい。
活性化関数適用部１５は、活性化関数適用手段の例に該当する。
【0058】
出力値算出部１６は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。出力値算出部１６が行う処理は、式（９）の「ｙ（ｔ）＝Ｗｏｕｔｘ（ｔ）」の計算の例に該当する。
出力値算出部１６による計算結果は、演算装置１０の出力値として用いられる。出力値算出部１６が、複数の乗算器と複数の加算器とを用いて構成されていてもよい。
出力値算出部１６は、出力値算出手段の例に該当する。
出力値算出部１６による計算結果は、演算装置１０の出力値として用いられる。出力値算出部１６が、複数の乗算器と複数の加算器とを用いて構成されていてもよい。
出力値算出部１６は、出力値算出手段の例に該当する。
【0059】
中間ノード値記憶部１７は、活性化関数適用部１５が算出する中間ノードの値を、時刻ｔの時間ステップの間記憶する。中間ノード値記憶部１７が記憶する値は、行列積計算部１２へ出力される。中間ノード値記憶部１７から行列積計算部１２への値の出力は、式（２）の計算結果の「ｘ（ｔ）」の値を、次の時間ステップにおける式（２）の計算のために、「ｘ（ｔ－１）」の値として用いることの例に該当する。
中間ノード値記憶部１７が、中間ノードの個数と中間ノード１ノード当たりのビット数との積と同じ個数のＤ－ＦＦ（D Flip-Flop）を用いて構成されていてもよい。
中間ノード値記憶部１７が、中間ノードの個数と中間ノード１ノード当たりのビット数との積と同じ個数のＤ－ＦＦ（D Flip-Flop）を用いて構成されていてもよい。
【0060】
演算装置１０が、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）、あるいはこれらの組み合わせを用いて構成されていてもよい。特に、少なくとも行列積計算部１２または活性化関数適用部１５が、ＦＰＧＡまたはＡＳＩＣ、あるいはこれらの組み合わせを用いて構成されていてもよい。
【0061】
これにより、行列積計算部１２または活性化関数適用部１５がハードウェア的に実装され、演算装置１０の処理速度が比較的速いこと、演算装置１０の消費電力が比較的小さいこと、演算装置１０の大きさが比較的小さいこと、または、演算装置１０の生産コストが比較的安いこと、あるいはこれらの組み合わせの効果が期待される。
【0062】
図３は、学習制御装置２０の構成の例を示す図である。図３に示す構成で、学習制御装置２０は、仮設定部２１と、学習制御部２２と、評価部２３と、演算装置設定部２４とを備える。
仮設定部２１は、演算装置１０の機械学習モデルにおけるハイパーパラメータの値を仮設定する。ここでいうハイパーパラメータは、機械学習モデルのパラメータのうち、学習対象のパラメータ以外のパラメータである。ここでいう学習対象のパラメータは、学習によって値が更新されるパラメータである。
仮設定部２１は、演算装置１０の機械学習モデルにおけるハイパーパラメータの値を仮設定する。ここでいうハイパーパラメータは、機械学習モデルのパラメータのうち、学習対象のパラメータ以外のパラメータである。ここでいう学習対象のパラメータは、学習によって値が更新されるパラメータである。
【0063】
演算装置１０をリザバーコンピューティングに用いる場合、中間ノードから出力ノードへ伝達される値に対する重み付けの重み係数（式（９）の行列Ｗｏｕｔ）が学習対象のパラメータとなる。それ以外のパラメータは、ハイパーパラメータとして扱われる。したがって、接続表現行列および２のべき乗のべき数（式（２）の行列Ｔおよび整数Ｚ）は、ハイパーパラメータとして扱われる。また、入力ノードの値に対する重み付けの重み係数（式（２）の行列Ｗｉｎ）も、ハイパーパラメータとして扱われる。また、活性化関数ｆとして多項式関数ｐｏｌｙを用いる場合、式（８）の係数ａおよびｂも、ハイパーパラメータとして扱われる。
仮設定部２１は、仮設定手段の例に該当する。
仮設定部２１は、仮設定手段の例に該当する。
【0064】
仮設定部２１が、行列Ｔ（接続表現行列）の要素の値を仮設定する際、定められた確率で要素の値が０になるように設定するようにしてもよい。行列Ｔの要素の値が０になる確率をスパース度（Sparsity）と称し、「ｓ」で表すこととする。例えば、仮設定部２１は、行列Ｔの要素の値がスパース度ｓの確率で「０」になり、（１－ｓ）／２の確率で「１」になり、（１－ｓ）／２の確率で「－１」になるように、行列Ｔの各要素の値を決定する。
スパース度ｓの値をユーザが設定するようにしてよいし、仮設定部２１が設定または仮設定するようにしてもよい。
スパース度ｓの値をユーザが設定するようにしてよいし、仮設定部２１が設定または仮設定するようにしてもよい。
【0065】
ここで、リザバーコンピューティングにおける処理の精度の指標値の１つとしてスペクトル半径（Spectral Radius）が挙げられる。スペクトル半径は、行列の固有値の最大値として算出される。演算装置１０の場合、式（２）の「２ＺＴ」で示される行列の固有値の最大値をスペクトル半径として算出することが考えられ、スパース度およびＺの値がスペクトル半径に影響する。
【0066】
図４は、演算装置１０の機械学習モデルのスパース度とスペクトル半径との関係の第１例を示す図である。図４は、中間ノードの個数が１００個である場合の例を示している。図４のグラフの横軸はスパース度を示す。縦軸は、スペクトル半径を示す。
【0067】
線Ｌ１１は、式（２）のＺの値が０である場合の、スパース度とスペクトル半径との関係を示す。線Ｌ１２は、Ｚの値が１である場合の、スパース度とスペクトル半径との関係を示す。線Ｌ１３は、Ｚの値が２である場合の、スパース度とスペクトル半径との関係を示す。線Ｌ１４は、Ｚの値が３である場合の、スパース度とスペクトル半径との関係を示す。
【0068】
線Ｌ１１からＬ１４の何れでも、スパース度が大きくなるにつれてスペクトル半径が単調減少している。このことから、スパース度を調整することでスペクトル半径を調整することができる。
また、線Ｌ１１、Ｌ１２、Ｌ１３およびＬ１４を比較すると、Ｚの値が大きいほどスペクトル半径が小さくなっている。このことから、スパース度の調整だけではスペクトル半径の調整が不十分な場合、Ｚの値を調整することでスペクトル半径をさらに調整することができる。
また、線Ｌ１１、Ｌ１２、Ｌ１３およびＬ１４を比較すると、Ｚの値が大きいほどスペクトル半径が小さくなっている。このことから、スパース度の調整だけではスペクトル半径の調整が不十分な場合、Ｚの値を調整することでスペクトル半径をさらに調整することができる。
【0069】
図５は、演算装置１０の機械学習モデルのスパース度とスペクトル半径との関係の第２例を示す図である。図５は、中間ノードの個数が２００個である場合の例を示している。図５のグラフの横軸はスパース度を示す。縦軸は、スペクトル半径を示す。
【0070】
線Ｌ２１は、式（２）のＺの値が０である場合の、スパース度とスペクトル半径との関係を示す。線Ｌ２２は、Ｚの値が１である場合の、スパース度とスペクトル半径との関係を示す。線Ｌ２３は、Ｚの値が２である場合の、スパース度とスペクトル半径との関係を示す。線Ｌ２４は、Ｚの値が３である場合の、スパース度とスペクトル半径との関係を示す。
【0071】
線Ｌ２１からＬ２４の何れでも、スパース度が大きくなるにつれてスペクトル半径が単調減少している。このことから、スパース度を調整することでスペクトル半径を調整することができる。
また、線Ｌ２１、Ｌ２２、Ｌ２３およびＬ２４を比較すると、Ｚの値が大きいほどスペクトル半径が小さくなっている。このことから、スパース度の調整だけではスペクトル半径の調整が不十分な場合、Ｚの値を調整することでスペクトル半径をさらに調整することができる。
また、線Ｌ２１、Ｌ２２、Ｌ２３およびＬ２４を比較すると、Ｚの値が大きいほどスペクトル半径が小さくなっている。このことから、スパース度の調整だけではスペクトル半径の調整が不十分な場合、Ｚの値を調整することでスペクトル半径をさらに調整することができる。
【0072】
このように、中間ノードの個数にかかわらず、スパース度およびＺの値を調整することで、スペクトル半径を調整できると期待される。仮設定部２１がスパース度に基づいて接続表現行列（行列Ｔ）の要素の値を設定することで、ユーザまたは演算装置１０は、スペクトル半径の調整を比較的容易に行うことができる。
スパース度ｓのように、学習制御装置２０が行う処理におけるパラメータを、学習制御装置２０のパラメータとも称する。
スパース度ｓのように、学習制御装置２０が行う処理におけるパラメータを、学習制御装置２０のパラメータとも称する。
【0073】
学習制御部２２は、接続表現行列の要素の値などハイパーパラメータの値が設定された演算装置１０に学習を行わせて、演算装置１０の出力値の算出のための重み係数（行列Ｗｏｕｔの値）を更新させる。
学習制御部２２は、学習制御手段の例に該当する。
評価部２３は、演算装置１０の学習結果を評価する。
学習制御部２２は、学習制御手段の例に該当する。
評価部２３は、演算装置１０の学習結果を評価する。
【0074】
演算装置設定部２４は、演算装置１０の学習結果に基づいて、演算装置１０の設定を行う。
仮設定部２１が、ハイパーパラメータの値の設定を複数通り行い、学習制御部２２が、ハイパーパラメータの値の設定毎に、演算装置１０に学習を行わせるようにしてもよい。そして、評価部２３が、ハイパーパラメータの値の設定毎に学習結果を評価し、演算装置設定部２４が、学習結果の評価が最も高いときのハイパーパラメータの値を、演算装置１０に設定するようにしもよい。これにより、演算装置１０の処理の精度が高くなるようにハイパーパラメータの値を設定できると期待される。
仮設定部２１が、ハイパーパラメータの値の設定を複数通り行い、学習制御部２２が、ハイパーパラメータの値の設定毎に、演算装置１０に学習を行わせるようにしてもよい。そして、評価部２３が、ハイパーパラメータの値の設定毎に学習結果を評価し、演算装置設定部２４が、学習結果の評価が最も高いときのハイパーパラメータの値を、演算装置１０に設定するようにしもよい。これにより、演算装置１０の処理の精度が高くなるようにハイパーパラメータの値を設定できると期待される。
【0075】
図６は、学習制御装置２０の処理の手順の例を示すフローチャートである。
図６の処理で、仮設定部２１は、学習制御装置２０のパラメータの値を仮設定する（ステップＳ１１）。特に、学習制御装置２０は、スパース度ｓの値を仮設定する。
次に仮設定部２１は、演算装置１０のパラメータの値を仮設定する（ステップＳ１２）。具体的には、仮設定部２１は、演算装置１０のハイパーパラメータの値を仮設定し、学習対象のパラメータの値を初期設定する。仮設定部２１は、スパース度ｓの値に基づいて、接続表現行列Ｔの要素の値を設定する。
図６の処理で、仮設定部２１は、学習制御装置２０のパラメータの値を仮設定する（ステップＳ１１）。特に、学習制御装置２０は、スパース度ｓの値を仮設定する。
次に仮設定部２１は、演算装置１０のパラメータの値を仮設定する（ステップＳ１２）。具体的には、仮設定部２１は、演算装置１０のハイパーパラメータの値を仮設定し、学習対象のパラメータの値を初期設定する。仮設定部２１は、スパース度ｓの値に基づいて、接続表現行列Ｔの要素の値を設定する。
【0076】
次に、学習制御部２２は、演算装置１０を制御して学習を行わせる（ステップＳ１３）。学習制御部２２は、学習によって学習対象のパラメータである行列Ｗｏｕｔの要素の値を更新する。
次に、評価部２３は、学習結果を評価する（ステップＳ１４）。例えば、演算装置１０がクラス分類を行う場合、評価部２３は、学習後の演算装置１０によるクラス分類の精度を評価する。
次に、評価部２３は、学習結果を評価する（ステップＳ１４）。例えば、演算装置１０がクラス分類を行う場合、評価部２３は、学習後の演算装置１０によるクラス分類の精度を評価する。
【0077】
次に、学習制御部２２は、学習の終了条件が成立しているか否かを判定する（ステップＳ１５）。学習制御部２２が判定に用いる条件は、特定のものに限定されない。例えば、学習制御部２２が、学習の実施回数が所定の回数以上か否かを判定するようにしてもよい。あるいは、学習制御部２２が、評価部２３が算出する学習結果の評価値が所定値以上か否かを判定するようにしてもよい。
【0078】
学習の終了条件が成立していないと学習制御部２２が判定した場合（ステップＳ１５：ＮＯ）、仮設定部２１は、学習制御装置２０のパラメータの値の再設定条件が成立しているか否かを判定する（ステップＳ２１）。仮設定部２１が判定に用いる条件は、設定されているパラメータ値で所定回数以上学習を行ったか、という条件であってもよいが、これに限定されない。
【0079】
再設定条件が成立していないと仮設定部２１が判定した場合（ステップＳ２１：ＮＯ）、処理がステップＳ１２へ戻る。この場合、仮設定部２１は、学習制御装置２０のパラメータの値は変更せず、ステップＳ１２で、演算装置１０のパラメータの値を仮設定し直すことで、演算装置１０のパラメータの値を変更する。
【0080】
一方、再設定条件が成立していると仮設定部２１が判定した場合（ステップＳ２１：ＹＥＳ）、処理がステップＳ１１へ戻る。この場合、仮設定部２１は、ステップＳ１１で、学習制御装置２０のパラメータの値を仮設定し直すことで、学習制御装置２０のパラメータ値を変更する。
【0081】
一方、学習の終了条件が成立していると学習制御部２２が判定した場合（ステップＳ１５：ＹＥＳ）、演算装置設定部２４は、演算装置１０のパラメータの値を決定する（ステップＳ３１）。例えば、演算装置設定部２４は、評価部２３による評価が最も高い学習を選択する。そして、演算装置設定部２４は、選択した学習の終了時の演算装置１０のパラメータの値を、演算装置１０に設定するパラメータの値に決定する。
そして、演算装置設定部２４は、決定したパラメータ値を演算装置１０に設定する。
ステップＳ３２の後、学習制御装置２０は、図６の処理を終了する。
そして、演算装置設定部２４は、決定したパラメータ値を演算装置１０に設定する。
ステップＳ３２の後、学習制御装置２０は、図６の処理を終了する。
【0082】
図７は、スパース度と演算装置１０の推定精度との関係の例を示す図である。図７は、ベンチマークタスクとしてＮＡＲＭＡ１０を用いた実験の結果を示している。
実験では、演算装置１０は、時刻ｔ－１までの時系列データの入力を受けて時刻ｔにおけるデータの値を推定する。
実験では、演算装置１０は、時刻ｔ－１までの時系列データの入力を受けて時刻ｔにおけるデータの値を推定する。
【0083】
ＮＡＲＭＡ１０（ＮＡＲＭＡは、非線形自己回帰移動平均を意味する。）の時系列データの２０００ステップ分を用いて演算装置１０の学習を行い、学習用の２０００ステップ分とは別の３０００ステップを用いて演算装置１０の推定精度のテストを行った。ＮＡＲＭＡ１０の時系列データのうち最初の２００ステップは、中間ノードの初期状態の影響を避けるために削除した。また、誤り率として、正規化平均二乗誤差（normalized mean-squared error；ＮＭＳＥ）を算出した。
【0084】
図７では、整数Ｚおよびスパース度ｓの設定値毎に、スペクトル半径と誤り率とが示されている。また、一般的なリザバーコンピューティングシステムを用いて同様の実験を行った結果が示されている。
図７の例で、整数Ｚの値およびスパース度ｓの値の調整によってスペクトル半径が調整されている。また、スペクトル半径に応じて誤り率が変化している。特に、スペクトル半径が０．７６の場合および０．７４の場合の誤り率が小さくなっており、何れも、一般的なリザバーコンピューティングシステムを用いた場合よりも誤り率が小さくなっている。
図７の例で、整数Ｚの値およびスパース度ｓの値の調整によってスペクトル半径が調整されている。また、スペクトル半径に応じて誤り率が変化している。特に、スペクトル半径が０．７６の場合および０．７４の場合の誤り率が小さくなっており、何れも、一般的なリザバーコンピューティングシステムを用いた場合よりも誤り率が小さくなっている。
【0085】
以上のように、行列積計算部１２は、何れの要素も１、０または－１の値をとる行列である接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算部１３は、接続表現行列と、中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計部１４は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数適用部１５は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値算出部１６は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
【0086】
演算装置１０によれば、再帰的なネットワーク構造を有する計算モデルにおける計算を、比較的簡単に行うことができる。特に、演算装置１０によれば、式（２）で示される、再帰的なネットワーク構造を有する計算モデルにおける計算を行うことができる。式（２）の「２ＺＴｘ（ｔ－１）」の計算は、加算器とシフトレジスタを用いて行うことができ、乗算器を用いる必要が無い。
【0087】
また、活性化関数適用部１５は、３次の項と１次の項とによる３次多項式関数を前記活性化関数として用いる。
活性化関数適用部１５によれば、３次の項と１次の項とによる３次多項式関数という比較的簡単な式の計算で、活性化関数の計算を行うことができる。
活性化関数適用部１５によれば、３次の項と１次の項とによる３次多項式関数という比較的簡単な式の計算で、活性化関数の計算を行うことができる。
【0088】
また、少なくとも行列積計算部１２または活性化関数適用部１５は、ＦＰＧＡまたはＡＳＩＣを用いて構成される。
これにより、行列積計算部１２または活性化関数適用部１５がハードウェア的に実装され、演算装置１０の処理速度が比較的速いこと、演算装置１０の消費電力が比較的小さいこと、演算装置１０の大きさが比較的小さいこと、または、演算装置１０の生産コストが比較的安いこと、あるいはこれらの組み合わせの効果が期待される。
これにより、行列積計算部１２または活性化関数適用部１５がハードウェア的に実装され、演算装置１０の処理速度が比較的速いこと、演算装置１０の消費電力が比較的小さいこと、演算装置１０の大きさが比較的小さいこと、または、演算装置１０の生産コストが比較的安いこと、あるいはこれらの組み合わせの効果が期待される。
【0089】
また、学習制御装置２０の仮設定部２１は、演算装置１０の接続表現行列の各要素の値を、定められた確率で要素の値が０になるように設定する。学習制御部２２は、接続表現行列の要素の値が設定された演算装置１０に学習を行わせて、出力値の算出のための重み係数を更新させる。
【0090】
学習制御部２２によれば、接続表現行列の要素の値が０になる確率であるスパース度の値と、２のべき乗のべき数である整数Ｚの値とを設定するという簡単な方法で、スペクトル半径を調整することができる。スペクトル半径の調整により、演算装置１０の処理の精度が高くなることが期待される。
【0091】
図８は、実施形態に係る演算装置の構成の、もう１つの例を示す図である。図８に示す構成で、演算装置６１０は、行列積計算部６１１と、シフト演算部６１２と、合計部６１３と、活性化関数適用部６１４と、出力値算出部６１５とを備える。
【0092】
かかる構成で、行列積計算部６１１は、何れの要素も１、０または－１の値をとる行列である接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算部６１２は、接続表現行列と中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計部６１３は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数適用部６１４は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値算出部６１５は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
行列積計算部６１１は、行列積計算手段の例に該当する。シフト演算部６１２は、シフト演算手段の例に該当する。合計部６１３は、合計手段の例に該当する。活性化関数適用部６１４は、活性化関数適用手段の例に該当する。出力値算出部６１５は、出力値算出手段の例に該当する。
行列積計算部６１１は、行列積計算手段の例に該当する。シフト演算部６１２は、シフト演算手段の例に該当する。合計部６１３は、合計手段の例に該当する。活性化関数適用部６１４は、活性化関数適用手段の例に該当する。出力値算出部６１５は、出力値算出手段の例に該当する。
【0093】
演算装置６１０によれば、再帰的なネットワーク構造を有する計算モデルにおける計算を、比較的簡単に行うことができる。特に、演算装置６１０によれば、行列積計算部６１１と、シフト演算部６１２と、合計部６１３と、活性化関数適用部６１４とによって、再帰的なネットワーク構造を有する計算モデルにおける計算を行うことができる。行列積計算部６１１は、加算器を用いて構成することができ、乗算器を用いる必要が無い。シフト演算部６１２は、シフトレジスタを用いて構成することができ、乗算器を用いる必要が無い。
【0094】
図９は、実施形態に係る学習制御装置の構成の、もう１つの例を示す図である。図９に示す構成で、学習制御装置６２０は、仮設定部６２１と、学習制御部６２２とを備える。
かかる構成で、仮設定部６２１は、演算装置の接続表現行列の各要素の値を、定められた確率で要素の値が０になるように設定する。接続表現行列は、何れの要素も１、０または－１の値をとる行列である。演算装置は、行列積計算部と、シフト演算部と、合計部と、活性化関数適用部と、出力値算出部とを備える。行列積計算部は、接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算部は、接続表現行列と、中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数適用部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値算出部は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
学習制御部６２２は、接続表現行列の要素の値が設定された演算装置に学習を行わせて、出力値の算出のための重み係数を更新させる。
仮設定部６２１は、仮設定手段の例に該当する。学習制御部６２２は、学習制御手段の例に該当する。
かかる構成で、仮設定部６２１は、演算装置の接続表現行列の各要素の値を、定められた確率で要素の値が０になるように設定する。接続表現行列は、何れの要素も１、０または－１の値をとる行列である。演算装置は、行列積計算部と、シフト演算部と、合計部と、活性化関数適用部と、出力値算出部とを備える。行列積計算部は、接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算部は、接続表現行列と、中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数適用部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値算出部は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
学習制御部６２２は、接続表現行列の要素の値が設定された演算装置に学習を行わせて、出力値の算出のための重み係数を更新させる。
仮設定部６２１は、仮設定手段の例に該当する。学習制御部６２２は、学習制御手段の例に該当する。
【0095】
学習制御装置６２０によれば、接続表現行列の要素の値が０になる確率を設定することで、演算装置の機械学習モデルにおけるスペクトル半径を調整することができる。スペクトル半径の調整によって、演算装置の処理の精度が高くなることが期待される。
【0096】
図１０は、実施形態に係る演算方法における処理の手順の例を示すフローチャートである。図１０に示す演算方法は、積を計算すること（ステップＳ６１１）と、シフト演算を行うこと（ステップＳ６１２）と、合計を行うこと（ステップＳ６１３）と、活性化関数を適用すること（ステップＳ６１４）と、出力値を算出すること（ステップＳ６１５）とを含む。積を計算すること（ステップＳ６１１）では、何れの要素も１、０または－１の値をとる行列である接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算を行うこと（ステップＳ６１２）では、接続表現行列と中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計を行うこと（ステップＳ６１３）では、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数を適用すること（ステップＳ６１４）では、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値を算出すること（ステップＳ６１５）では、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
【0097】
図１０に示す演算方法によれば、再帰的なネットワーク構造を有する計算モデルにおける計算を、比較的簡単に行うことができる。特に、図１０に示す演算方法によれば、ステップＳ６１１からＳ６１４における処理によって、再帰的なネットワーク構造を有する計算モデルにおける計算を行うことができる。ステップＳ６１１における処理は、加算によって行うことができ、乗算を行う必要が無い。ステップＳ６１２における処理は、シフト演算によって行うことができ、乗算を行う必要が無い。
【0098】
図１１は、実施形態に係る学習制御方法における処理の手順の例を示すフローチャートである。図１１に示す学習制御方法は、行列を設定すること（ステップＳ６２１）と、学習を行わせること（ステップＳ６２２）とを備える。
行列を設定すること（ステップＳ６２１）では、演算装置の接続表現行列の各要素の値を、定められた確率で要素の値が０になるように設定する。接続表現行列は、何れの要素も１、０または－１の値をとる行列である。演算装置は、行列積計算部と、シフト演算部と、合計部と、活性化関数適用部と、出力値算出部とを備える。行列積計算部は、接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算部は、接続表現行列と、中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数適用部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値算出部は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
学習を行わせること（ステップＳ６２２）では、接続表現行列の要素の値が設定された演算装置に学習を行わせて、出力値の算出のための重み係数を更新させる。
行列を設定すること（ステップＳ６２１）では、演算装置の接続表現行列の各要素の値を、定められた確率で要素の値が０になるように設定する。接続表現行列は、何れの要素も１、０または－１の値をとる行列である。演算装置は、行列積計算部と、シフト演算部と、合計部と、活性化関数適用部と、出力値算出部とを備える。行列積計算部は、接続表現行列と、中間ノード値を示すベクトルとの積を計算する。シフト演算部は、接続表現行列と、中間ノード値を示すベクトルとの積で得られるベクトルの要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行う。合計部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計する。活性化関数適用部は、シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとの合計で得られたベクトルの要素毎に、活性化関数として定められている関数を適用して、タイムステップの進行による中間ノード値の更新値を示すベクトルを算出する。出力値算出部は、中間ノード値の更新値に対して重み付けを行って出力値を算出する。
学習を行わせること（ステップＳ６２２）では、接続表現行列の要素の値が設定された演算装置に学習を行わせて、出力値の算出のための重み係数を更新させる。
【0099】
図１１に示す学習制御方法によれば、接続表現行列の要素の値が０になる確率を設定することで、演算装置の機械学習モデルにおけるスペクトル半径を調整することができる。スペクトル半径の調整によって、演算装置の処理の精度が高くなることが期待される。
【0100】
図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１２に示す構成において、コンピュータ７００は、ＣＰＵ（Central Processing Unit、中央処理装置）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
図１２に示す構成において、コンピュータ７００は、ＣＰＵ（Central Processing Unit、中央処理装置）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
【0101】
上記の演算装置１０、学習制御装置２０、演算装置６１０、および、学習制御装置６２０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
【0102】
演算装置１０がコンピュータ７００に実装される場合、入力値重み付け部１１、行列積計算部１２、シフト演算部１３、合計部１４、活性化関数適用部１５、および、出力値算出部１６の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0103】
また、ＣＰＵ７１０は、プログラムに従って、中間ノード値記憶部１７など演算装置１０の処理のための記憶領域を主記憶装置７２０に確保する。演算装置１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。演算装置１０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0104】
学習制御装置２０がコンピュータ７００に実装される場合、仮設定部２１、学習制御部２２、評価部２３、および、演算装置設定部２４の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0105】
また、ＣＰＵ７１０は、プログラムに従って、学習制御装置２０の処理のための記憶領域を主記憶装置７２０に確保する。学習制御装置２０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。学習制御装置２０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0106】
演算装置６１０がコンピュータ７００に実装される場合、行列積計算部６１１、シフト演算部６１２、合計部６１３、活性化関数適用部６１４、および、出力値算出部６１５の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0107】
また、ＣＰＵ７１０は、プログラムに従って、演算装置６１０の処理のための記憶領域を主記憶装置７２０に確保する。演算装置６１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。演算装置６１０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0108】
学習制御装置６２０がコンピュータ７００に実装される場合、仮設定部６２１、および、学習制御部６２２の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0109】
また、ＣＰＵ７１０は、プログラムに従って、学習制御装置６２０の処理のための記憶領域を主記憶装置７２０に確保する。学習制御装置６２０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。学習制御装置６２０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0110】
なお、演算装置１０、学習制御装置２０、演算装置６１０、および、学習制御装置６２０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、オペレーティングシステム（ＯＳ）等のソフトウェアや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0111】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、添付の請求項に定義された発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0112】
本発明は、演算装置、学習制御装置、演算方法、学習制御方法および記録媒体に適用してもよい。
【符号の説明】
【0113】
１ 演算システム
１０、６１０ 演算装置
１１ 入力値重み付け部
１２、６１１ 行列積計算部
１３、６１２ シフト演算部
１４、６１３ 合計部
１５、６１４ 活性化関数適用部
１６、６１５ 出力値算出部
１７ 中間ノード値記憶部
２０、６２０ 学習制御装置
２１、６２１ 仮設定部
２２、６２２ 学習制御部
２３ 評価部
２４ 演算装置設定部
１０、６１０ 演算装置
１１ 入力値重み付け部
１２、６１１ 行列積計算部
１３、６１２ シフト演算部
１４、６１３ 合計部
１５、６１４ 活性化関数適用部
１６、６１５ 出力値算出部
１７ 中間ノード値記憶部
２０、６２０ 学習制御装置
２１、６２１ 仮設定部
２２、６２２ 学習制御部
２３ 評価部
２４ 演算装置設定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-03-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算する行列積計算手段と、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うシフト演算手段と、
前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計する合計手段と、
前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出する活性化関数適用手段と、
前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する出力値算出手段と、
を備える演算装置。
【請求項2】
前記活性化関数適用手段は、３次の項と１次の項とによる３次多項式関数を前記活性化関数として用いる、請求項１に記載の演算装置。
【請求項3】
前記行列積計算手段または前記活性化関数適用手段は、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成される、請求項１または請求項２に記載の演算装置。
【請求項4】
請求項１から３の何れか一項に記載の演算装置の前記接続表現行列の前記複数の要素について、各要素の値が定められた確率で０になるように設定する仮設定手段と、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記複数の出力値の算出のための前記重み係数を更新させる学習制御手段と、
を備える学習制御装置。
【請求項5】
演算装置に、１、０または－１の値をとる複数の要素を有する行列である接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、
前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、
前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、
前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、
前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、
を実装する演算方法。
【請求項6】
学習制御装置に、
１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計し、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に適応される学習制御方法であって、前記演算装置の前記接続表現行列の複数の要素について、各要素の値を、定められた確率で要素の値が０になるように設定することと、
前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、
を実装する学習制御方法。
【請求項7】
プログラムに従って動作可能な装置に、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、
前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、
前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、
前記シフト演算で得られるベクトルと、複数の重み付けされた入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、
前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、
を実装するプログラム。
【請求項8】
コンピュータに、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習における中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計し、前記シフト演算で得られるベクトルと、前記機械学習において重み係数で重み付けされた複数の入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に、前記演算装置の前記接続表現行列の複数の要素について各要素の値を、定められた確率で要素の値が０になるように設定することと、
前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、
を実装するプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は、演算装置、学習制御装置、演算方法、学習制御方法およびプログラムに関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【0005】
本発明の目的の一例は、上述した課題を解決することのできる演算装置、学習制御装置、演算方法、学習制御方法およびプログラムを提供することである。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明の第三の態様によれば、学習制御方法は、学習制御装置に、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計し、前記シフト演算で得られるベクトルと、前記複数の重み付けされた入力値を有するベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に適応される学習制御方法であって、前記演算装置の前記接続表現行列の複数の要素について、各要素の値を、定められた確率で要素の値が０になるように設定することと、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、を実装する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本発明の第四の態様によれば、プログラムは、プログラムに従って動作可能な装置に、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習モデルにおける中間ノード値を示すベクトルとの積を計算することと、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行うことと、前記シフト演算で得られるベクトルと、前記機械学習モデルにおいて重み係数を用いて重み付けされた複数の入力値を含むベクトルとを合計することと、前記シフト演算で得られるベクトルと、複数の重み付けされた入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出することと、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出することと、を実装する。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
本発明の第五の態様によれば、プログラムは、コンピュータに、１、０または－１の値をとる複数の要素を有する接続表現行列と、機械学習における中間ノード値を示すベクトルとの積を計算し、前記積で得られるベクトルの複数の要素の要素毎に、その要素の２進数表現によるビット列に対するシフト演算を行い、前記シフト演算で得られるベクトルと、重み付けされた入力値ベクトルとを合計し、前記シフト演算で得られるベクトルと、前記機械学習において重み係数で重み付けされた複数の入力値を含むベクトルとの合計で得られたベクトルの複数の要素の要素毎に、活性化関数を適用して、タイムステップの進行による前記中間ノード値の更新値を示すベクトルを算出し、前記中間ノード値の更新値に対して重み付けを行って複数の出力値を算出する演算装置に、前記演算装置の前記接続表現行列の複数の要素について各要素の値を、定められた確率で要素の値が０になるように設定することと、前記接続表現行列の要素の値が設定された前記演算装置に学習を行わせて、前記出力値の算出のための重み係数を更新させることと、を実装する。
【国際調査報告】