特許 7301295 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-23

(45)【発行日】2023-07-03

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06G 7/60 20060101AFI20230626BHJP

   G06N 3/063 20230101ALI20230626BHJP

   G06N 3/04 20230101ALI20230626BHJP

   G06N 7/08 20060101ALI20230626BHJP

【ＦＩ】

G06G7/60

G06N3/063

G06N3/04

G06N7/08

【請求項の数】 5

(21)【出願番号】P 2019112070

(22)【出願日】2019-06-17

(65)【公開番号】P2020204888

(43)【公開日】2020-12-24

【審査請求日】2022-05-24

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度 国立研究開発法人新エネルギー・産業技術総合開発機構「次世代人工知能・ロボット中核技術開発／次世代人工知能技術分野／人間と相互理解できる次世代人工知能技術の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(73)【特許権者】

【識別番号】508236240

【氏名又は名称】公立大学法人公立はこだて未来大学

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100090697

【弁理士】

【氏名又は名称】中前 富士男

(74)【代理人】

【識別番号】100176142

【弁理士】

【氏名又は名称】清井 洋平

(74)【代理人】

【氏名又は名称】来田 義弘

(72)【発明者】

【氏名】森江 隆

(72)【発明者】

【氏名】香取 勇一

(72)【発明者】

【氏名】田向 権

(72)【発明者】

【氏名】山口 正登志

(72)【発明者】

【氏名】川島 一郎

【審査官】松浦 かおり

(56)【参考文献】

【文献】特開２０１８－１８０７０１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２１４７３８（ＵＳ，Ａ１）

【文献】山口正登志他，カオスボルツマンマシンのアナログ集積回路実装，電子情報通信学会2017年総合大会公演論文集情報・システム講演論文集１，一般社団法人電子情報通信学会，2017年03月07日，S-21～S-22

【文献】田中秀他，部分更新指数減衰カオスタブーサーチハードウェアシステムに用いるSIカオスニューロン集積回路，電子情報通信学会技術研究報告 IEICE Technical Report，一般社団法人電子情報通信学会，2015年10月24日，Vol.115, No.284，p.69～73

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｇ １／００－９９／００

Ｇ０６Ｎ ３／００－ ３／１２

Ｇ０６Ｎ ７／０８－９９／００

(57)【特許請求の範囲】

【請求項1】

入力層と、それぞれ内部状態値を有し該内部状態値に応じて出力値が変化する複数のユニットが結合され、前記入力層から入力値が与えられる中間層と、前記各ユニットの出力値を基に導出される値が与えられる出力層とを具備し、前記各ユニットは、前記内部状態値が、予め定められた上限値及び下限値の間で時間の経過によって増減するアナログ値であり、前記出力値が、自らの前記内部状態値が前記上限値又は前記下限値となる際に第１、第２の値の一方から他方に切り替わる情報処理装置において、
一定の周期で第３、第４の値の切り替えがなされる参照クロック信号を前記中間層に与える信号供給手段を備え、
前記各ユニットは、前記内部状態値の増減速度が、前記入力値、他の前記ユニットの出力値の重み付け総和及び自らの前記出力値に加え前記参照クロック信号の値を含む非線形変換結果で表現される増減速度演算式によって算出されて、前記自らの出力値が、時間の経過によって前記入力値に対応する特定の値に収束することを特徴とする情報処理装置。

【請求項2】

請求項１記載の情報処理装置において、前記他のユニットの出力値の重み付け総和は、指数関数として前記増減速度演算式に含まれ、該他のユニットの出力値の重み付け総和の指数関数は、前記自らの出力値が前記第１の値である時間帯でのみ、前記内部状態値の増減速度の算出に寄与することを特徴とする情報処理装置。

【請求項3】

請求項１又は２記載の情報処理装置において、前記増減速度演算式は、多項式であり、αＣ^（ｓ）（ｔ）の項を有することを特徴とする情報処理装置。
但し、αは係数であり、Ｃ^（ｓ）（ｔ）は時刻ｔにおける参照クロック信号の値とする。

【請求項4】

請求項１記載の情報処理装置において、前記各ユニットは、前記参照クロック信号が前記第４の値から前記第３の値に切り替わる切替えタイミングで更新されて、該切替えタイミングの前記自らの出力値が適用される調整値を有し、前記増減速度演算式が、前記自らの出力値と前記参照クロック信号の値との差及び前記調整値の乗算値を含むことを特徴とする情報処理装置。

【請求項5】

請求項１～４のいずれか１項に記載の情報処理装置において、前記各ユニットの指数関数変換がＭＯＳＦＥＴのサブスレッショルド領域の動作によって行われることを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力値に対応する出力値を導出する情報処理装置に関する。

【背景技術】

【0002】

再帰結合を持つリカレントニューラルネットワークの中で、時系列予測などに高い性能を発揮するレザバー計算モデルが注目されている（非特許文献１、２参照）。レザバー計算モデルは、入力層と、入力層から入力される入力値に対応する出力値を出力する中間層（レザバー）と、中間層から出力値が与えられる出力層を備えている。中間層は、入力層から中間層に入力値が与えられて状態が変化する複数のユニット（ニューロン）を有し、各ユニットの状態に応じた出力値を決定する。レザバー計算モデルを低消費電力で高性能に実行するためには、汎用のデジタル計算機ではなく、専用のＣＭＯＳ集積回路を具備する装置が必要である。

【先行技術文献】

【非特許文献】

【0003】

【文献】W. Maass, T. Natschl¨ager, and H. Markram, “Real-time computing without stable states: A new framework for neural computation based on perturbations,” Neural Computation, vol. 14, no. 11, pp. 2531-2560, 2002.

【文献】M. Lukosevicius and H. Jaeger, “Reservoir computing approaches to recurrent neural network training,” Computer Science Review, vol. 3, no. 3, pp. 127-149, 2009.

【文献】H. Suzuki, J. Imura, Y. Horio, and K. Aihara, “Chaotic Boltzmann machines,” Scientific Reports, vol. 3, p. 1610, 2013.

【文献】Hideyuki Suzuki, “Monte Carlo simulation of classical spin models with chaotic billiards,” Physical Review E, vol. 88, no. 5, pp. 052144, 2013.

【文献】M. Yamaguchi, T. Kato, Q. Wang, H. Suzuki, H. Tamukoh, and T. Morie, “A CMOS unit circuit using subthreshold operation of MOSFETs for chaotic Boltzmann machines,” in Proc. Int. Conf. on Neural Information Processing (ICONIP), 2016, pp. 248-255.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に記載されたモデルは、神経科学の知見を反映した構成であり、半導体集積回路で実装するには複雑すぎる。一方、非特許文献２に記載されたモデルは、積和演算と非線形変換処理（シグモイド型関数等）の組み合わせからなり、公知のニューラルネットワークと同様であることから、集積回路実装は可能であるが、低消費電力化及び高性能化には課題があった。これは、デジタル回路実装では非線形変換処理が容易でない点、アナログ回路実装ではユニット間の信号の伝送をアナログ値で行う必要がある点が、低消費電力化及び高性能化の妨げとなることによる。

【0005】

ここで、レザバーは、各ユニットが以下の条件１、２を満たす必要がある。条件１：入力値に対し自由度の高い非線形な関係にある出力値を出力することができる。条件２：入力から一定時間後に出力値が特定の値に収束する。

【0006】

条件１を満たすためには強い非線形性が必要であるが、カオスを発生させるほどの強い非線形性では条件２を満たすことができない。条件１、２の双方をバランス良く満たすには、秩序相とカオス相の境界領域である、所謂、カオスの縁の環境をレザバーで実現することが求められる。

【0007】

ここで、カオスを発生させる情報処理モデルとして、相互に作用する複数のユニットを具備したカオスボルツマンマシンが知られており（非特許文献３、４参照）、また、そのＣＭＯＳ集積回路実装の例も報告されている（非特許文献５参照）。カオスボルツマンマシンでは、各ユニットが有する内部状態値が、各ユニットの出力値に応じて変化するアナログ値であり、各ユニットの出力値が、自らの内部状態値が予め定められた上限値又は下限値となるタイミングで一方の値から他方の値に切り替わる２値（０又は１）である。ｉ番目のユニットの内部状態値をｘｉ、ｉ番目のユニットの出力値をｓｉ、温度パラメータをＴ、ｉ番目のユニットとｊ番目のユニットの間の相互結合荷重値をＷｉｊ、ｉ番目のユニットのバイアス値をθｉとし、ｚ_ｉを以下の式１で表わされる値として、以下の式２、式３が成立する。

【0008】

【数1】

【0009】

【数2】

【0010】

【数3】

【0011】

カオスボルツマンマシンにおいてユニットの出力値のデューティ比（単位期間内で出力値が１となる期間の割合）の平均値は、ボルツマンマシンにおいてユニットが１を出力する確率と等しいことから、本来の確率動作をカオス動作により模擬することによってカオスボルツマンマシンをボルツマンマシンと同様の機能を発揮するモデルとして扱うことができる。ここで、式２以外の式でｄｘｉ／ｄｔが表されるモデルであっても、デューティ比の平均値が、ボルツマンマシンのユニットが１を出力する確率に等しければ、該当のモデルはボルツマンマシンと同様の機能を発揮するモデルとして採用することができる（非特許文献４参照）。

【0012】

本発明は、かかる事情に鑑みてなされたもので、集積回路実装が可能なレザバー計算モデルを実行でき、低消費電力化及び高性能化が図られた情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

前記目的に沿う本発明に係る情報処理装置は、入力層と、それぞれ内部状態値を有し該内部状態値に応じて出力値が変化する複数のユニットが結合され、前記入力層から入力値が与えられる中間層と、前記各ユニットの出力値を基に導出される値が与えられる出力層とを具備し、前記各ユニットは、前記内部状態値が、予め定められた上限値及び下限値の間で時間の経過によって増減するアナログ値であり、前記出力値が、自らの前記内部状態値が前記上限値又は前記下限値となる際に第１、第２の値の一方から他方に切り替わる情報処理装置において、一定の周期で第３、第４の値の切り替えがなされる参照クロック信号を前記中間層に与える信号供給手段を備え、前記各ユニットは、前記内部状態値の増減速度が、前記入力値、他の前記ユニットの前記出力値の重み付け総和及び自らの前記出力値に加え前記参照クロック信号の値を含む非線形変換結果で表現される増減速度演算式によって算出されて、前記自らの出力値が、時間の経過によって前記入力値に対応する特定の値に収束する。

【発明の効果】

【0014】

本発明に係る情報処理装置は、中間層のユニット内の内部状態をアナログ値で表現すると共に、ユニット間の信号伝達に２値信号を用いるので、アナログ値をそのまま伝送する方式に比べて大幅な低消費電力化が図れ、かつ、内部状態値の更新を行う増減速度の計算に非線形変換を含むことにより、カオスを生成できるネットワークを参照クロック信号で制御するので、「カオスの縁」の環境を実現でき、高性能化を図ることができる。即ち、既に集積回路化が実現されているカオスボルツマンマシンモデル（非特許文献５参照）を用いることで集積回路実装が可能なレザバー計算モデルを実行でき、低消費電力化及び高性能化を図ることが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施の形態に係る情報処理装置の説明図である。

【図2】離散時間連続値時系列から連続時間２値への変換を示す説明図である。

【図3】中間層のユニットの内部状態値と出力値との関係を示す説明図である。

【図4】（Ａ）、（Ｂ）は式１０の演算を行うための回路例を示す説明図である。

【図5】参照クロック信号、中間層のユニットの出力値の位相差及びＪ_ｉ（ｔ）の関係を示す説明図である。

【図6】（Ａ）、（Ｂ）はそれぞれ出力手段に与えられる離散時間連続値時系列の実際の値と教師データを比較したシミュレーション結果を示す説明図である。

【図7】カオスボルツマンマシンの変形例におけるＳ_ｉ、ｘ_ｉ、ｚ_ｉの時間変化を示す説明図である。

【図8】式１２等及び式１２適用の式１３を実装したアナログＣＭＯＳ集積回路の説明図である。

【図9】同アナログＣＭＯＳ集積回路の説明図である。

【図10】同アナログＣＭＯＳ集積回路について行ったシミュレーション結果を示す説明図である。

【図11】中間層のユニットに与えられる入力を電流値として求めるアナログの結合回路を示す説明図である。

【図12】同アナログの結合回路を示す説明図である。

【図13】同アナログの結合回路について行ったシミュレーション結果を示す説明図である。

【図14】エンコーダのデジタル回路例を示す説明図である。

【図15】式１０を実現するデジタル回路例を示す説明図である。

【図16】デコーダのデジタル回路例を示す説明図である。

【発明を実施するための形態】

【0016】

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。図１に示すように、本発明の一実施の形態に係る情報処理装置１０は、入力層１１と、それぞれ内部状態値を有し内部状態値に応じて出力値が変化する複数のユニット１２が結合され、入力層１１から入力値が与えられる中間層１３と、各ユニット１２の出力値を基に導出される値が与えられる出力層１４とを具備し、各ユニット１２は、内部状態値が、予め定められた上限値及び下限値の間で時間の経過によって増減するアナログ値であり、出力値が、自らの内部状態値が上限値又は下限値となる際に第１、第２の値の一方から他方に切り替わる装置である。以下、詳細に説明する。

【0017】

入力層１１は、図１に示すように、離散時間システムの連続値時系列（以下、「離散時間連続値時系列」とも言う）をそれぞれ出力する複数のユニット１５が設けられた入力値付与手段１６と、複数
のユニット１５から離散時間連続値時系列がそれぞれ与えられる複数のユニット１７が設けられたエンコーダ１８とを具備している。各ユニット１７は、ユニット１５から与えられた離散時間連続値時系列を、中間層１３のユニット１２が扱える信号、本実施の形態では、連続時間システムの２値変数（以下、「連続時間２値」とも言う）の信号（連続時間システムの矩形波信号）に変換し、連続時間２値を中間層１３のユニット１２に入力値として与える。

【0018】

各ユニット１５が出力する離散時間連続値時系列を、以下の式４で表現すると、ユニット１７が離散時間連続値時系列を連続時間２値に変換する変換式は、以下の式５で表わされる。

【0019】

【数4】

【0020】

【数5】

【0021】

式５における連続時間ｔと離散時間ｎには以下の式６の関係がある。

【0022】

【数6】

【0023】

離散時間連続値時系列から連続時間２値への変換例を図２に示す。図２において横軸は時間軸である。連続時間２値の位相は、図２に示すように、離散時間連続値時系列の値が大きくなると早くなり、離散時間連続値時系列の値が小さくなると遅くなる。

【0024】

また、本実施の形態において、ユニット１２の内部状態値は予め定められた上限値及び下限値の間で変化するアナログ値であり、ユニット１２の出力値は連続時間２値である。本実施の形態では、ｉ番目のユニット１２の内部状態値ｒ_ｉ ^（ｘ）（ｔ）及び出力値ｒ_ｉ ^（ｓ）（ｔ）は以下の式７で表わされ、第１の値＝０、第２の値＝１、内部状態値の上限値＝１、内部状態値の下限値＝０である。

【0025】

【数7】

【0026】

また、各ユニット１２の内部状態値の増減速度は以下の式８の増減速度演算式によって算出される。

【0027】

【数8】

【0028】

式８から、各ユニット１２の増減速度演算式が、ユニット１７から各ユニット１２に与えられる入力値、他のユニット１２の出力値の重み付け総和及び自らの出力値を含む非線形変換結果で表現されることが分かる。また、ユニット１２の出力値ｒ_ｉ ^（ｓ）（ｔ）とユニット１２の内部状態値ｒ_ｉ ^（ｘ）（ｔ）には以下の式９の関係があり、各ユニット１２の出力値は、図３に示すように、自らの内部状態値が０（下限値）になると０（第１の値）となり、自らの内部状態値が１（上限値）になると１（第２の値）となる。

【0029】

【数9】

【0030】

そして、式８中のＪｉ（式８ではＪｉ（ｔ）の（ｔ）を省略して記載している）は、以下の式１０で表わされる。

【0031】

【数10】

【0032】

式１０における参照クロック信号は、一定の周期で第３、第４の値が切り替えられる信号である。よって、式８で表わされる増減速度演算式は参照クロック信号の値を含んでいることとなる。なお、本実施の形態では第３の値＝１、第４の値＝０である。そして、情報処理装置１０は、図１に示すように、参照クロック信号を発生させる信号供給手段１９を備えている。信号供給手段１９は発生させた参照クロック信号を中間層１３に与える。

【0033】

また、式１０より、各ユニット１２は、参照クロック信号が第４の値から第３の値に切り替わる切替えタイミングで更新されて、当該切替えタイミングの自らの出力値が適用される調整値を有していることが分かる。ここで、本実施の形態においては、各ユニット１２の調整値が、時刻ｔで、ｔの整数値に当たる時刻における自らの出力値を参照している。実装上、各ユニット１２の調整値を記憶するためにメモリ素子が利用される。そして、式８、式１０より、増減速度演算式が、自らの出力値と参照クロック信号の値との差及び調整値の乗算値を含んでいることが分かる。

【0034】

増減速度演算式が式８、式１０で表わされる形式で時刻ｔにおける参照クロック信号（Ｃ^（ｓ）（ｔ））を含んでいるのは、参照クロック信号に対してユニット１２の出力値（連続時間２値）の位相が進んでいる場合に出力値の位相が遅れるようにユニット１２の内部状態を制御し、参照クロック信号に対してユニット１２の出力値の位相が遅れている場合に出力値の位相が進むようにユニット１２の内部状態を制御して、ユニット１２の出力値と参照クロック信号との位相差を時間の経過と共に小さくするように調整するためである。この調整によって、各ユニット１２の出力値は、時間の経過によって徐々に入力値に対応する特定の値（原則、各ユニット１２によって特定の値は異なる）に収束する。

【0035】

ここで、中間層のユニットが内部状態値の変化に応じた振動をするものと仮定して、参照クロック信号が与える影響について説明する。中間層のユニットの振動が参照クロック信号によって制御されない場合、中間層では、各ユニットが、ユニット間の相互作用によって、カオス的に振動し、このカオス的な振動は時間の経過によっても収束しない。このような中間層は、各ユニットの初期状態が少しでも異なっていると、同一の入力値が中間層に与えられても、各ユニットの振動パターンが全く異なるものとなり、レザバー計算モデルとして機能しない。

【0036】

これに対し、本実施の形態のように、適度な強度の制御入力が中間層のユニットに加えられると、各ユニットはカオス的な振動（複雑な振動）状態から時間の経過と共に徐々に周期的な振動状態となる。このような中間層は、中間層への入力信号の入力が十分に長い期間なされると、各ユニットの初期状態がどのようなものであったとしても、同一の入力信号に対して、各ユニットの振動パターンが一定のものとなる。このような特性はエコステート特性と称され、レザバー計算モデルに必要な特性である。

【0037】

一方、中間層のユニットに加えられる制御入力の強度が強すぎる場合、中間層に入力される入力値が異なっても、各ユニットの振動パターンが常に一定のものとなる。従って、各ユニットの振動には入力値が反映されず、このような中間層もレザバー計算モデルとして機能しない。

【0038】

式１０の演算は、図４（Ａ）、（Ｂ）に示すように、論理回路、スイッチ及びキャパシタを具備する集積回路２５と、論理回路及びスイッチを具備する集積回路２６とによって実装することができる。集積回路２５は、参照クロック信号の位相及び中間層１３のユニット１２の出力値の位相のいずれが早いかを検出し、その検出結果をｒ_ｈｏｌｄの信号として集積回路２６に出力する。

【0039】

集積回路２６は、参照クロック信号とユニット１２の出力値の位相差に対応するパルス幅を有する電流パルスＩ_ｒｅｆ（Ｊ_ｉ（ｔ）に相当）を出力する。集積回路２６から出力される電流パルスは、参照クロック信号の位相に対してユニット１２の出力値の位相が早ければ正の電流となり、参照クロック信号の位相に対してユニット１２の出力値の位相が遅ければ負の電流となる。参照クロック信号の位相、ユニット１２の出力値の位相、ｒ_ｈｏｌｄの信号値、及び、集積回路２６から出力される電流パルスＩ_ｒｅｆ＝Ｊ_ｉ（ｔ）の関係を図５に示す。

【0040】

また、出力層１４は、図１に示すように、各ユニット１２の出力値を連続時間２値から離散時間連続値時系列にデコートするデコーダ２０と、デコーダ２０によるデコードによって得られた離散時間連続値時系列を基にして、外部に出力する値を算出する出力手段２１とを備えている。

【0041】

デコーダ２０は、各ユニット１２に対応するユニット２２を有し、各ユニット２２は対応するユニット１２の出力値を、以下に示す式１１で、離散時間連続値時系列に変換する。ユニット２２が変換した離散時間連続値時系列を、以下、「ユニット２２の離散時間連続値時系列」とも言う。

【0042】

【数11】

【0043】

出力手段２１は各ユニット２２と結合された複数のユニット２３を有し、ユニット２２、２３間の各結合は重み付けがなされている。各ユニット２３に対して与えられる離散時間連続値時系列（以下、「ユニット２３の離散時間連続値時系列」とも言う）は、ユニット２２、２３間の各結合重みを含んだ演算式に、各ユニット２２の離散時間連続値時系列を代入して算出される。

【0044】

ユニット２２、２３間の各結合重みは、リッジ回帰等の公知の学習法によって予め決定される。リッジ回帰を利用した学習法の場合、以下に示す処理１、２によって、該当の結合重みが決定される。なお、ユニット２２、２３間の結合重みをＷ^ｏｕｔとし、ユニット２２の数（ユニット１２の数も同じ）をＮ_ｒとし、ユニット２３の数をＮ_ｙとする。

【0045】

（処理１）時間ステップｎ＝０からｎ＝Ｔ_１まで情報処理装置１０を動作させ、過渡状態となるｎ＜Ｔ_０＜Ｔ_１の時間帯を除く時間帯で、各ユニット２２の離散時間連続値時系列を（Ｔ_１－Ｔ_０－１）×Ｎ_ｒの状態収集行列Ｍに設定し、各ユニット２３の離散時間連続値時系列の教師データを（Ｔ_１－Ｔ_０－１）×Ｎ_ｙの状態収集行列Ｇに設定する。（処理２）（Ｗ^ｏｕｔ）^Ｔ＝（Ｍ^ＴＭ＋λＥ）^－１Ｍ^ＴＧとして、リッジ回帰を行い、Ｗ^ｏｕｔを求める。なお、λは係数パラメータであり、Ｅは単位行列である。

【0046】

入力値付与手段１６の各ユニット１５が、それぞれ三角関数の値（ｕ_ｉ）をエンコーダ１８に与えた場合に、出力手段２１の各ユニット２３に与えられる離散時間連続値時系列の値（ｙ_ｉ）がどのようになるかをシミュレーションした結果を、図６（Ａ）、（Ｂ）に示す。異なるｕ_ｉについて行った２つのシミュレーション結果が、図６（Ａ）、（Ｂ）にそれぞれ示されている。図６（Ａ）、（Ｂ）において、ｙ_ｉの値を記載したグラフでは、実際に得られた値が実線で記載され、教師データの値が破線で記載されている。なお、ｒ_ｉは中間層１３の各ユニット１２の出力値を示している。

【0047】

また、式８は公知のカオスボルツマンマシン（式２、式３が成立する情報処理モデル）を基にした増減速度演算式であるが、増減速度演算式は、公知のカオスボルツマンマシンを基にしたものに限定されず、デューティ比の平均値が、ボルツマンマシンのユニットが１を出力する確率に等しい情報処理モデルで公知のカオスボルツマンマシンに該当しない情報処理モデル（以下、「カオスボルツマンマシンの変形例」と言う）を基にしたものであってもよい。カオスボルツマンマシンの変形例として、以下の式１２及び式３が成立する情報処理モデルが挙げられる。

【0048】

【数12】

【0049】

式１２は、式２に比べて簡素であることが分かる。式１２が成立するカオスボルツマンマシンの変形例は、Ｓ_ｉ、ｘ_ｉ、ｚ_ｉが、時間の経過と共に図７に示すように変化する。

【0050】

また、参照クロック信号を含む増減速度演算式は、式８で表わされるものに限定されず、例えば、以下の式１３をレザバー計算モデルに適用した増減速度演算式（以下、「式１３ベースの増減速度演算式」とも言う）を採用することもできる。

【0051】

【数13】

【0052】

式１３において、αは係数であり、Ｆ（ｓ_ｉ、ｚ_ｉ；Ｔ）には、式２の右辺や式１２の右辺が適用される。式１３（式１３ベースの増減速度演算式）も、式８、式１０と同様に、多項式であり、αＣ^（ｓ）（ｔ）の項を有することとなる。
そして、式１３において、式１２の右辺をＦ（ｓ_ｉ、ｚ_ｉ；Ｔ）に適用してなる数式をベースとした増減速度演算式を採用する場合、中間層の各ユニットは、当該増減速度演算式が、中間層の他のユニットの出力値の重み付け総和を指数関数として含み、自らの出力値が第１の値である時間帯（即ち、ｓ_ｉ＝０の時間帯）でのみ、内部状態値の増減速度の算出に、中間層の他のユニット出力値の重み付け総和の指数関数が寄与する。

【0053】

また、式１２と、式１２の右辺をＦ（ｓ_ｉ、ｚ_ｉ；Ｔ）に適用してなる式１３（以下、「式１２適用の式１３」とも言う）とは、図８に示すアナログＣＭＯＳ集積回路２４によって実装することができる。式１２の右辺は、ｓ_ｉ＝０のとき、第２項が消えて第１項のみとなり、ｓ_ｉ＝１のとき、第１項が消えて第２項のみとなる。これに対応すべく、アナログＣＭＯＳ集積回路２４は、図８、図９に示すように、ｓ_ｉ＝０の状態に対応するＤＴＧ１回路ブロック２７と、ｓ_ｉ＝１の状態に対応するＤＴＧ２回路ブロック２８を備えている。なお、図８、図９において、Ｓ_ｒｓｔは状態をリセットする信号を意味し、Ｓ_ｒｅｆはｃ^（ｓ）（ｔ）、即ち、参照クロック信号を意味する（以下、同様）。

【0054】

式１２の右辺の第１項と式１２適用の式１３の右辺の第２項の演算を担うことが可能なＤＴＧ１回路ブロック２７は、図９に示すように、中間層の他のユニットからの入力ｚ_ｉが電流Ｉ_ｚｉとして通電され、通電された電流Ｉ_ｚｉを抵抗によって電圧Ｖ_ｚｉに変換する。そして、電圧Ｖ_ｚｉを対象とした、温度パラメータＴを含む指数関数による変換を、電圧制御電流源Ｉ_ｅｘｐによって行い、その変換結果をキャパシタＣ_ｘ＋で保持する。電圧制御電流源Ｉ_ｅｘｐは、通常のＭＯＳＦＥＴのサブスレッショルド領域の動作によって実現できる。そして、ＤＴＧ１回路ブロック２７は、Ｓ_ｒｅｆの反転信号及びＳ_ｉのＮＯＲ論理を取った信号で通電と非通電が切り替えられる電流源Ｉ_αによって、式１２適用の式１３の右辺の第２項に対応する参照クロック信号の加算を行う。キャパシタＣ_ｘ＋の電圧Ｖ_Ｘ＋は、閾値Ｖ_ＬＴＨと比較され、制御信号ＳＷ_１としてＤＴＧ１回路ブロック２７から出力される。

【0055】

式１２の右辺の第２項と式１２適用の式１３の右辺の第２項の演算を担うことが可能なＤＴＧ２回路ブロック２８は、係数（２－α）に相当する電流Ｉ_２－αを信号Ｓ_ｉでスイッチして、ｄｘ_ｉ／ｄｔの更新分に相当するキャパシタＣ_ｘ－の電荷を更新する。ＤＴＧ２回路ブロック２８による式１２適用の式１３の右辺の第２項の演算は、ＤＴＧ１回路ブロック２７と同様の処理によって行われる。キャパシタＣ_ｘ－の電圧Ｖ_Ｘ－は、閾値Ｖ_ＬＴＨと比較され、制御信号ＳＷ_０としてＤＴＧ２回路ブロック２８から出力される。

【0056】

ＤＴＧ１回路ブロック２７及びＤＴＧ２回路ブロック２８に接続されたＢＳＭ回路ブロック２９は、図８に示すように、Ｓ_ｉの値を電圧値として保持し、保持しているＳ_ｉの値を、デジタルバッファを通して出力する。ＢＳＭ回路ブロック２９は、式３の判定に相当するパルス信号であるＳＷ_１又はＳＷ_０が入力されることによって、Ｓ_ｉの値を更新する。アナログＣＭＯＳ集積回路２４について行ったシミュレーション結果を図１０に示す。図１０に示すシミュレーション結果より、Ｓ_ｉの変動が単一振動動作に準じるものとなることが分かる。

【0057】

また、中間層の各ユニットが他のユニットから与えられる入力ｚ_ｉを電流Ｉ_ｚｉとして求めることができるアナログの結合回路３０を図１１、図１２に示す。結合回路３０は、結合荷重Ｗ_ｉｊが－１、０、１の３値であることを前提とした回路であり、複数のＳＹ回路部３１及び複数のＳＯＤ回路部３１ａを有している。各ＳＹ回路部３１は２個の公知のＳＲＡＭセルを用いることでそれぞれ－１及び１の荷重を保持し、どちらのセルからも電流を流さないことで０荷重を表現することによって、３値荷重を保持し、各ＳＯＤ回路部３１ａは＋荷重及び－荷重の演算結果を統合する。結合回路３０において複数のユニットそれぞれのＳ_ｉの変化をシミュレーションした結果を図１３に示す。図１３に示す結果より、各ユニットのＳ_ｉが時間の経過に伴って参照クロック信号Ｓ_ｒｅｆに同期するようになることが確認できる。

【0058】

次に、デジタルＣＭＯＳ集積回路による実装例について説明する。なお、デジタル回路では、通常、回路全体の同期のためにシステムクロックが利用され、以下に示す回路においてもシステムクロックの入力がなされるが、以下、システムクロックの入力についての説明は省略する。また、レザバー計算モデルを構成するカオスボルツマンマシンのデジタル回路の実装例は公知となっており、指数関数がシフト演算によって実装化されている。この点は、本実施の形態においても有効である。

【0059】

エンコーダ１８は、図１４に示すように、カウンタ３２及びコンパレータ３３を有して構成できる。カウンタ３２によって以下の式１４で表わされる時刻（以下、「カウンタ値」とも言う）が表現される。

【0060】

【数14】

【0061】

カウンタ値は、参照クロック信号の立ち上がり時に－１にリセットされ、それ以外のタイミングでは、１までｄｔ（時刻の刻み幅）ずつ、カウントアップを続ける。コンパレータ３３は、カウンタ値と入力値付与手段１６からエンコーダ１８に入力される値（即ち、ｕ_ｉ（ｎ））を変換式に従って比較し、以下の式１５で表わされる連続時間２値を出力する。

【0062】

【数15】

【0063】

出力される連続時間２値の位相は、エンコーダ１８に入力される値が小さくなるにつれて早くなり（図１４では左側にずれ）、エンコーダ１８に入力される値が大きくなるにつれて遅くなり（図１４では右側にずれ）、エンコーダ１８に入力される値が０のとき、参照クロック信号の位相と一致する。

【0064】

また、式１０を実現する回路３４は、図１５に示すように、コンパレータ３５、ラッチ３６及びセレクタ３７、３８を主として構成することができる。コンパレータ３５で、参照クロック信号とユニット１２の出力値を比較し、位相が異なっている際に、α又は－αを出力する。ラッチ３６は参照クロック信号の立ち上がり時に、ユニット１２の出力値を記憶し、ユニット１２の出力値の位相が参照クロック信号の位相に対して遅れているか進んでいるかを判定する。

【0065】

そして、デコーダ２０は、図１６に示すように、コンパレータ３９、ラッチ４０及びアップダウンカウンタ４１を有し、参照クロック信号とユニット１２の出力値の位相差を基に、連続時間２値を離散時間連続値時系列に変換する。変換式は以下の式１６、式１７によって表される。

【0066】

【数16】

【0067】

【数17】

【0068】

コンパレータ３９及びラッチ４０は、図１５に示す回路３４のコンパレータ３５及びラッチ３６と同じ動作をするため、該当部分を、デコーダ２０と回路３４で兼用するように設計してもよい。アップダウンカウンタ４１は、参照クロック信号とユニット１２の位相差が反映された値を累積する。参照クロック信号が立ち上るタイミングで、アップダウンカウンタ４１に累積されていた値は離散時間連続値時系列ｒ_ｉ（ｎ）として出力され、アップダウンカウンタ４１に累積されていた値が初期化される（０となる）。

【0069】

アップダウンカウンタ４１は、コンパレータ３９からの出力を基に、参照クロック信号の位相とユニット１２の出力値の位相が異なっているか否かを検出し、ユニット１２の出力値の位相が参照クロック信号の位相に対して進んでいる時間帯で、累積される値をデクリメントし、ユニット１２の出力値の位相が参照クロック信号の位相に対して遅れている時間帯で、アップダウンカウンタ４１に累積される値をインクリメントする。

【0070】

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。

【符号の説明】

【0071】

１０：情報処理装置、１１：入力層、１２：ユニット、１３：中間層、１４：出力層、１５：ユニット、１６：入力値付与手段、１７：ユニット、１８：エンコーダ、１９：信号供給手段、２０：デコーダ、２１：出力手段、２２、２３：ユニット、２４：アナログＣＭＯＳ集積回路、２５、２６：集積回路、２７：ＤＴＧ１回路ブロック、２８：ＤＴＧ２回路ブロック、２９：ＢＳＭ回路ブロック、３０：結合回路、３１：ＳＹ回路部、３１ａ：ＳＯＤ回路部、３２：カウンタ、３３：コンパレータ、３４：回路、３５：コンパレータ、３６：ラッチ、３７、３８：セレクタ、３９：コンパレータ、４０：ラッチ、４１：アップダウンカウンタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】