(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】リザバーコンピューティング装置
(51)【国際特許分類】
G06N 3/067 20060101AFI20241022BHJP
G06N 3/044 20230101ALI20241022BHJP
【ＦＩ】
G06N3/067
G06N3/044 100
【請求項の数】
8
(21)【出願番号】P 2022046350
(22)【出願日】2022-03-23
(65)【公開番号】P2023140490
(43)【公開日】2023-10-05
【審査請求日】2024-02-01
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】石村 昇太
【審査官】宮司 卓佳
(56)【参考文献】
【文献】国際公開第２０２１／０３３２７７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０６７
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
第１周波数から第Ｊ周波数（Ｊは２以上の整数）のＪ個の異なる周波数の連続光を生成する生成手段と、第ｊ周波数（ｊは１からＪまでの整数）の第ｊ連続光を第ｊデータで変調することで第ｊ変調光を生成する第ｊ変調手段と、
第１変調光から第Ｊ変調光を波長多重することで波長多重光を生成し、前記波長多重光を非線形媒体に出力する多重手段と、
前記非線形媒体を介して前記多重手段から受信した波長多重光を波長分離することで、前記第ｊ周波数を含む第ｊ受信光を出力する分離手段と、
前記第ｊ受信光を復調して第ｊ出力データを出力する第ｊ出力手段と、
第１入力データから第Ｎ入力データ（ＮはＪ以上の整数）を含む入力データセットの第ｋ入力データ（ｋは１～Ｎまでの整数）に第ｋ係数を乗じることでＮ個のマスキングデータを生成し、前記Ｎ個のマスキングデータをＪ個に分割することで、第１マスキングデータセットから第Ｊマスキングデータセットを生成し、第ｊマスキングデータセットに含まれるＮｊ個のマスキングデータを順に前記第ｊ変調手段に出力するマスキング手段と、
を備え、
前記第ｊデータは、前記第ｊ出力データに、前記第ｊマスキングデータセットに含まれるマスキングデータを加算したものであり、
前記第１マスキングデータセットから前記第Ｊマスキングデータセットそれぞれに含まれるマスキングデータの数であるＮ１からＮＪの値は互いに異なる、リザバーコンピューティング装置。
【請求項2】
前記Ｎ１から前記ＮＪの値は互いに素である、請求項１に記載のリザバーコンピューティング装置。
【請求項3】
前記マスキング手段は、前記第ｊマスキングデータセットに含まれるマスキングデータを所定の時間間隔毎に前記第ｊ変調手段に出力し、前記第ｊ変調手段から前記多重手段、前記分離手段及び前記第ｊ出力手段を介して前記第ｊ変調手段に至る経路の遅延は、前記所定の時間間隔のＭ倍（Ｍは２以上の整数）であり、
Ｍの値は、前記Ｎ１から前記ＮＪの値それぞれとは異なる、請求項１に記載のリザバーコンピューティング装置。
【請求項4】
前記Ｍ及び前記Ｎ１から前記ＮＪの値は互いに素である、請求項３に記載のリザバーコンピューティング装置。
【請求項5】
前記Ｎ１から前記ＮＪの値の合計はＮである、請求項１から４のいずれか１項に記載のリザバーコンピューティング装置。
【請求項6】
前記マスキング手段は、前記Ｎ１から前記ＮＪの値を周期的に変更する、請求項１から５のいずれか１項に記載のリザバーコンピューティング装置。
【請求項7】
前記非線形媒体は、光ファイバである、請求項１から６のいずれか１項に記載のリザバーコンピューティング装置。
【請求項8】
前記非線形媒体は、光半導体増幅器である、請求項１から６のいずれか１項に記載のリザバーコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リザバーコンピューティング技術に関する。
【背景技術】
【0002】
回帰型ニューラルネットワーク（ＲＮＮ）は、入力層と、リカレント層（リザバー層）と、出力層と、で構成される。一般的に、ＲＮＮの学習においては、入力層、リカレント層及び出力層それぞれの重み（係数）を更新する。リザバーコンピューティングとは、ＲＮＮの一種であるが、学習の際には出力層の重みのみを更新し、入力層及びリカレント層の重みを更新しないＲＮＮである。リザバーコンピューティングにおいて、入力層及びリカレント層の重みは、例えば、ランダムに生成した固定値に設定される。出力層の重みしか更新しない代わりに、リザバーコンピューティングにおいては、リカレント層におけるニューロン数を膨大にする。
【0003】
このリザバーコンピューティングのリカレント層をハードウェア的に実現したものは、"物理リザバーコンピューティング"と呼ばれる。非特許文献１及び非特許文献２は、ニューロンを時間軸上に展開する物理リザバーコンピューティングを開示している。例えば、リカレント層への入力が、Ｎ個の入力データを１組とし（以下、Ｎ個の入力データを含む１組の入力を"入力データセット"と表記する。）、この入力データセットがリカレント層に連続的に入力されるものとする。この場合、例えば、リカレント層のランダムな重みを表現するために、入力データセット内のＮ個の入力データに対して所定の振幅変動を与える。この操作はマスキングと呼ばれる。図１は、マスキング処理の説明図である。図１において、Ｄ＃ｐ－ｑは、ｐ番目の入力データセット内のＮ個の入力データの内のｑ番目の入力データを示している。マスキング係数セットは、Ｎ個のマスキング係数Ｆ＃１～Ｆ＃Ｎで構成される。入力データＤ＃ｐ－ｑには、マスキング係数Ｆ＃ｑが乗じられる。
【0004】
マスキングされた入力データ（以下、マスキングデータ）は、フィードバック機構に入力される。フィードバック機構は、あるマスキングデータがＭ個後のマスキングデータと干渉する様に設定される。言い換えると、フィードバック機構は、その内部にＭ個のマスキングデータが同時に存在できる様に構成される。以下の説明において、この数Ｍを、"ループ内のニューロン数"とも表記する。図２は、Ｎ＝６、かつ、Ｍ＝５の例を示している。図２においては、データＤ＃ｐ－ｑをマスキング係数Ｆ＃ｑで処理したマスキングデータをＭ＃ｐ－ｑと表記している。図２に示す様に、マスキング係数Ｆ＃６で処理されたマスキングデータＭ＃１－６は、先に入力され、マスキング係数＃１で処理されたマスキングデータＭ＃１－１と干渉（結合）する。さらに、マスキング係数＃５で処理されたマスキングデータＭ＃２－５は、マスキングデータ＃１－１とマスキングデータ＃６－６との干渉により生成されたデータ（図２では、Ｍ＃ＺＺＺと表記。）と干渉する。
【0005】
これは、リカレント層のあるニューロンにおいて、入力データＤ＃１－１をマスキング係数Ｆ＃１で重み付けした値と、入力データＤ＃１－６をマスキング係数Ｆ＃６で重み付けした値と、入力データＤ＃２－５をマスキング係数Ｆ＃５で重み付けした値の和を求めることに対応する。この様に、異なるマスキング係数で処理されたデータを回帰的に結合（干渉）させることで、多数のニューロンが回帰的に結合するＲＮＮのリカレント層をハードウェア的に実現することができる。なお、例えば、ＮとＭを同じ値とすると、同じマスキング係数で処理された、入力データセット内の順番が同じ入力データ同士の干渉しか生じない。このため、例えば、Ｎ及びＭは異なる値に設定される。
【先行技術文献】
【非特許文献】
【0006】
【文献】Ｎａｋａｊｉｍａ，Ｍ．，Ｔａｎａｋａ，Ｋ．＆Ｈａｓｈｉｍｏｔｏ，Ｔ．"Ｓｃａｌａｂｌｅ ｒｅｓｅｒｖｏｉｒ ｃｏｍｐｕｔｉｎｇ ｏｎ ｃｏｈｅｒｅｎｔ ｌｉｎｅａｒ ｐｈｏｔｏｎｉｃ ｐｒｏｃｅｓｓｏｒ"Ｃｏｍｍｕｎ Ｐｈｙｓ４，２０，２０２１年
【文献】Ｓａｔｏｓｈｉ Ｓｕｎａｄａ ａｎｄ Ａｔｓｕｓｈｉ Ｕｃｈｉｄａ，"Ｐｈｏｔｏｎｉｃ ｎｅｕｒａｌ ｆｉｅｌｄ ｏｎ ａ ｓｉｌｉｃｏｎ ｃｈｉｐ： ｌａｒｇｅ－ｓｃａｌｅ，ｈｉｇｈ－ｓｐｅｅｄ ｎｅｕｒｏ－ｉｎｓｐｉｒｅｄ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｓｅｎｓｉｎｇ"， Ｏｐｔｉｃａ ８，１３８８－１３９６，２０２１年
【発明の概要】
【発明が解決しようとする課題】
【0007】
リザバーコンピューティングにおいては、リカレント層におけるニューロン数を膨大にし、各ニューロン間の結合の複雑度を増加させることが好ましい。
【0008】
本発明は、ニューロン間の結合の複雑度を増加させることができるリザバーコンピューティング装置を提供するものである。
【課題を解決するための手段】
【0009】
本発明の一態様によると、リザバーコンピューティング装置は、第１周波数から第Ｊ周波数（Ｊは２以上の整数）のＪ個の異なる周波数の連続光を生成する生成手段と、第ｊ周波数（ｊは１からＪまでの整数）の第ｊ連続光を第ｊデータで変調することで第ｊ変調光を生成する第ｊ変調手段と、第１変調光から第Ｊ変調光を波長多重することで波長多重光を生成し、前記波長多重光を非線形媒体に出力する多重手段と、前記非線形媒体を介して前記多重手段から受信した波長多重光を波長分離することで、前記第ｊ周波数を含む第ｊ受信光を出力する分離手段と、前記第ｊ受信光を復調して第ｊ出力データを出力する第ｊ出力手段と、第１入力データから第Ｎ入力データ（ＮはＪ以上の整数）を含む入力データセットの第ｋ入力データ（ｋは１～Ｎまでの整数）に第ｋ係数を乗じることでＮ個のマスキングデータを生成し、前記Ｎ個のマスキングデータをＪ個に分割することで、第１マスキングデータセットから第Ｊマスキングデータセットを生成し、第ｊマスキングデータセットに含まれるＮｊ個のマスキングデータを順に前記第ｊ変調手段に出力するマスキング手段と、を備え、前記第ｊデータは、前記第ｊ出力データに、前記第ｊマスキングデータセットに含まれるマスキングデータを加算したものであり、前記第１マスキングデータセットから前記第Ｊマスキングデータセットそれぞれに含まれるマスキングデータの数であるＮ１からＮＪの値は互いに異なる。
【発明の効果】
【0010】
本発明によると、ニューロン間の結合の複雑度を増加させることができる。
【図面の簡単な説明】
【0011】
【図1】ニューロンを時間軸上に展開する物理リザバーコンピューティングの説明図。
【図2】ニューロンを時間軸上に展開する物理リザバーコンピューティングの説明図。
【図3】一実施形態によるリザバーコンピューティング装置の構成図。
【図4】一実施形態によるリザバーコンピューティング装置における処理の説明図。
【図5】一実施形態によるリザバーコンピューティング装置における処理の説明図。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうちの二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【0013】
図３は、本実施形態によるリザバーコンピューティング装置のリカレント層の構成図である。本実施形態のリザバーコンピューティング装置は、ニューロンを時間軸及び周波数軸の両方の軸上に展開する。本実施形態においては、周波数の数Ｊを３とするが例示であり、周波数の数Ｊは２以上の任意の数とし得る。また、本実施形態においては、入力データセット内の入力データの数Ｎを１２とするが例示であり、入力データセット内の入力データの数ＮはＪ以上の適切な数であり得る。入力データセット内の入力データの数Ｎが１２であるため、マスキング係数は、Ｆ＃１～Ｆ＃１２の１２個になる。
【0014】
マスキング部７は、入力層からの入力データセット内のＮ個の入力データのマスキング処理を行ってＮ個のマスキングデータを生成する。続いて、マスキング部７は、Ｎ個のマスキングデータを、周波数の数Ｊと同じ３つに分割してマスキングデータセット＃１～＃３を生成する。本実施形態では、１つのマスキングデータセット＃１に含まれるマスキングデータの数Ｎ１を３とし、１つのマスキングデータセット＃２に含まれるマスキングデータの数Ｎ２を４とし、１つのマスキングデータセット＃３に含まれるマスキングデータの数Ｎ３を５とする。マスキング部７は、マスキングデータセット＃１のマスキングデータを順に変調器２１に出力し、マスキングデータセット＃２のマスキングデータを順に変調器２２に出力し、マスキングデータセット＃３のマスキングデータを順に変調器２３に出力する。
【0015】
図４は、この様子を示している。なお、図４の各四角形はマスキングデータに対応し、四角形内のＦ＃ｋ（ｋは１～１２までの整数）は、当該四角形に対応するマスキングデータを生成するために使用したマスキング係数を示している。また、図４の四角形の網掛の形状が同じものは、同じ入力データセット内の入力データに基づくマスキングデータであることを示している。例えば、図４の３つのＦ＃１は、異なる入力データセットの１番目の入力データをマスキング係数Ｆ＃１でマスキングしたものである。図４に示す様に、マスキング部７は、マスキング係数Ｆ＃１～Ｆ＃３で処理された３つのマスキングデータをマスキングデータセット＃１とし、マスキングデータセット＃１のマスキングデータを順に変調器２１に出力している。また、マスキング部７は、マスキング係数Ｆ＃４～Ｆ＃７で処理された４つのマスキングデータをマスキングデータセット＃２とし、マスキングデータセット＃２のマスキングデータを順に変調器２２に出力している。さらに、マスキング部７は、マスキング係数Ｆ＃８～Ｆ＃１２で処理された５つのマスキングデータをマスキングデータセット＃３とし、マスキングデータセット＃３のマスキングデータを順に変調器２３に出力している。
【0016】
図３に戻り、光源１１～１３は、それぞれ、第１周波数から第３周波数の連続光を生成して変調器２１～２３に出力する。なお、第１周波数から第３周波数は互いに異なる周波数である。本実施形態ではＪ＝３であるため、３つの異なる周波数の連続光を生成している。変調器２１は、マスキングデータセット＃１のマスキングデータと出力データ＃１との合成データにより光源１１が出力する連続光を変調することで第１変調光を出力する。同様に、変調器２２は、マスキングデータセット＃２のマスキングデータと出力データ＃２との合成データにより光源１２が出力する連続光を変調することで第２変調光を出力し、変調器２３は、マスキングデータ＃３と出力データ＃３との合成データにより光源１３が出力する連続光を変調することで第３変調光を生成して出力する。
【0017】
多重部３は、第１変調光～第３変調光を波長多重して波長多重光を出力する。非線形媒体４は、例えば、光ファイバであり得る。非線形媒体４は、光ファイバの非線形光学効果を用いることで、第１変調光～第３変調光を干渉（結合）させる。非線形光学効果としては、例えば、カー効果の一種である、相互位相変調や４光波混合を利用できる。また、非線形媒体４は、例えば、半導体光増幅器であり得る。半導体光増幅器の相互利得変調により、第１変調光～第３変調光を干渉させることができる。分離部５は、非線形媒体４からの波長多重光を波長分離し、第１変調光～第３変調光それぞれと同じ周波数及び帯域幅の第１受信光～第３受信光をフォートダイオード（ＰＤ）６１～６３に出力する。ＰＤ６１～ＰＤ６３は、それぞれ、第１受信光～第３受信光を復調して、出力データ＃１～出力＃データ３を生成する。出力データ＃１～出力データ＃３は、図示しない出力層に出力されると共に、変調器２１～変調器２３にフィードバックされる。
【0018】
なお、マスキング部７は、時間間隔Ｔ毎に１つのマスキングデータを変調器２１～変調器２３に出力する。また、変調器２１～変調器２３から多重部３、非線形媒体４、分離部５及びＰＤ６１～６３を介して変調器２１～変調器２３に至るループ経路の遅延をＭ×Ｔ（Ｍは２以上の整数）とする。Ｍは、上述したループ内のニューロン数に対応する。
【0019】
図３の構成において、非線形媒体４が無いものとする。この場合、変調器２１からＰＤ６１を介して変調器２１に至る経路と、変調器２２からＰＤ６２を介して変調器２２に至る経路と、変調器２３からＰＤ６３を介して変調器２３に至る経路と、の合計３つの経路は、それぞれ、上述したニューロンを時間軸上に展開する物理リザバーコンピューティングと同様の構成になる。つまり、非線形媒体４が無い場合、図３の構成は、時間軸上に展開する３つの物理リザバーコンピューティングを独立して設けたものとなる。時間軸上におけるニューロンの結合を複雑化するため、ループ内のニューロン数Ｍは、マスキングデータセット＃１～＃３内のマスキングデータの数Ｎ１＝３、Ｎ２＝４、Ｎ３＝５のいずれとも異なる値となる様に、例えば、互いに素の関係となる様に設定される。例えば、本例においてはＭ＝７に設定され得る。
【0020】
本実施形態では、非線形媒体４により、異なる３つの周波数のマスキングデータ間の結合を生じさせる。例えば、図４から明らかな様に、１番目の入力データセット内の１番目の入力データと、４番目の入力データと、８番目の入力データが非線形媒体４において結合する。なお、これら３つの入力データは、異なるマスキング係数によりマスキングされている。時間軸上と同様に、Ｎ１とＮ２とＮ３が同じ値であると、干渉するマスキングデータのマスキングに使用されたマスキング係数が同じとなる。このため、Ｎ１、Ｎ２及びＮ３についても互いに異なる値、例えば、互いに素となる様に設定する。より詳細には、Ｍ、Ｎ１、Ｎ２及びＮ３についても互いに異なる値、例えば、互いに素となる様に設定する。
【0021】
この様に、ニューロンを時間軸上のみならず周波数軸上でも結合させることによりニューロン間の結合の複雑度を増加させることができる。
【0022】
なお、図４から明らかな様に、同じ入力データセット内の入力データから生成したマスキングデータをマスキング部７が出力するタイミングのズレは、時間の経過により大きくなる。例えば、図４において、３番目の入力データセット内の９番目の入力データに基づくマスキングデータが出力されるタイミングは、３番目の入力データセット内の１番目の入力データに基づくマスキングデータが出力されるタイミングより、５Ｔだけ遅くなっている。なお、Ｔは、上述した様に、マスキング部７がマスキングデータを出力する時間間隔である。図４には示していないが、３番目の入力データセット内の１２番目の入力データに基づくマスキングデータが出力されるタイミングは、３番目の入力データセット内の１番目の入力データに基づくマスキングデータが出力されるタイミングより、８Ｔだけ遅くなる。
【0023】
このため、マッピング部４は、図５（Ａ）及び図５（Ｂ）に示す様に、マスキングデータセット＃１～＃３内のマスキングデータの数Ｎ１～Ｎ３の値を周期的に入れ替える。図５（Ａ）及び図５（Ｂ）においては、３番目の入力データセット内の入力データに基づくマスキングデータからＮ１を３から５にし、Ｎ３を５から３にしている。図５（Ａ）及び図５（Ｂ）より、３番目の入力データセット内の入力データに基づくマスキングデータが出力されるタイミングの差の最大値は６Ｔとなっている。マスキングデータ＃１～マスキングデータ＃３に含めるマスキングデータは、図５（Ａ）及び図５（Ｂ）のどちらであっても良く、さらに、図５（Ａ）及び図５（Ｂ）とは異なるパターンであっても良い。
【0024】
以上の構成により、ニューロン間の結合の複雑度を増加させることができる。したがって、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【符号の説明】
【0025】
１１～１３：光源、２１～２３：変調器、３：多重部、４：非線形媒体、５：分離部、６１～６３：ＰＤ、７：マスキング部
【図1】
【図2】
【図3】
【図4】
【図5】