▶ １キュービー インフォメーション テクノロジーズ インコーポレイテッドの特許一覧
特許7121822サンプリング装置を使用して複数のモデルの物理量を推定する方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-09
(45)【発行日】2022-08-18
(54)【発明の名称】サンプリング装置を使用して複数のモデルの物理量を推定する方法及びシステム
(51)【国際特許分類】
G06N 10/60 20220101AFI20220810BHJP
G06N 99/00 20190101ALI20220810BHJP
【ＦＩ】
G06N10/60
G06N99/00 180
【請求項の数】
29
【外国語出願】
(21)【出願番号】P 2021038119
(22)【出願日】2021-03-10
(65)【公開番号】P2021152892
(43)【公開日】2021-09-30
【審査請求日】2021-06-24
(31)【優先権主張番号】62/987,655
(32)【優先日】2020-03-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518300652
【氏名又は名称】１キュービー インフォメーション テクノロジーズ インコーポレイテッド
【氏名又は名称原語表記】１ＱＢ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＩＥＳ ＩＮＣ．
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100221899
【弁理士】
【氏名又は名称】高倉 みゆき
(72)【発明者】
【氏名】プーヤ ロナー
(72)【発明者】
【氏名】ナヴィッド ガダーマージー
(72)【発明者】
【氏名】ボーダン クルチツキー
(72)【発明者】
【氏名】アンナ レヴィット
【審査官】多賀 実
(56)【参考文献】
【文献】米国特許出願公開第２０２０／００５７９５７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０２５５８７２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ １０／００－１０／８０
Ｇ０６Ｎ ９９／００
(57)【特許請求の範囲】
【請求項1】
基底ハミルトニアンを使用して少なくとも１つの標的ハミルトニアンの観測可能値の期待値を推定する方法であって、前記方法は、ａ．基底ハミルトニアンの指標及び観測可能値の指標を取得するステップと、
ｂ．前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
ｃ．前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
ｄ．少なくとも１つの標的ハミルトニアンのリストの各標的ハミルトニアンに対して、
i．前記基底ハミルトニアンによって定められる前記確率分布から取得した前記複数のサンプルを使用して、前記標的ハミルトニアンに対応する前記観測可能値の期待値を推定し、
ii．前記標的ハミルトニアンに対応する前記観測可能値の推定期待値を提供するステップと、を含み、前記複数のサンプルの使用は、
１．前記標的ハミルトニアンと前記基底ハミルトニアンとの分配関数の比のサンプル推定値を計算することと、
２．前記標的ハミルトニアンによって定められる前記確率分布に関する前記観測可能値の期待値の非正規化推定値を計算することと、
３．分配関数の推定比及び非正規化推定期待値を使用して、前記標的ハミルトニアンによって定められる前記確率分布に関する前記観測可能値の前記期待値の推定値を計算することと、を含む、方法。
【請求項2】
パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる自由エネルギーのパラメータ化された負の最大値及び最大値の引数を推定する方法であって、前記方法は、ｇ．基底ハミルトニアンのファミリーの指標を取得するステップと、
ｈ．前記基底ハミルトニアンのファミリーから初期基底ハミルトニアンを選択するステップと、
ｉ．パラメータ化標的ハミルトニアンの指標を取得するステップと、
ｊ．第１の停止基準が満たされるまで、
i．現在の基底ハミルトニアンを更新し、
ii．前記現在の基底ハミルトニアンを使用してサンプリング装置を設定し、
iii．前記サンプリング装置を使用して、前記現在の基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得し、
i．初期パラメータ値を選択し、
v．第２の停止基準が満たされるまで、
１．パラメータ値を更新し、
２．前記パラメータ化標的ハミルトニアンを使用して前記パラメータ値に対応する標的ハミルトニアンの指標を取得し、
３．取得した前記基底ハミルトニアンによって定められる前記確率分布から取得した前記サンプルを使用して、前記パラメータ値に対応する標的ハミルトニアン分配関数と現在の基底ハミルトニアン分配関数の比を推定し、
４．前記標的ハミルトニアンの自由エネルギーを推定し、
５．推定比、取得した前記標的ハミルトニアンによって定められる前記自由エネルギー、及び対応するパラメータ値を提供するステップと、
ｋ．前記パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの最大値及び少なくとも１つの最大値の引数を推定するステップと、
ｌ．自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの推定最大値の引数を提供するステップと、を含む、方法。
【請求項3】
前記基底ハミルトニアンのファミリーが１つの基底ハミルトニアンを含む、請求項２に記載の方法。
【請求項4】
前記基底ハミルトニアンのファミリーが、パラメータ化基底ハミルトニアンによって表される、請求項２に記載の方法。
【請求項5】
前記現在の基底ハミルトニアンが、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して更新される、請求項２に記載の方法。
【請求項6】
前記現在の基底ハミルトニアンが、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して更新される、請求項２に記載の方法。
【請求項7】
前記現在の基底ハミルトニアンの更新が、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム検索及び局所検索からなる群から選択される方法に基づく少なくとも１つの最適化プロトコルを使用して実行される、請求項２に記載の方法。
【請求項8】
前記パラメータ値の更新が、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して実行される、請求項２に記載の方法。
【請求項9】
前記パラメータ値の更新が、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して実行される、請求項２に記載の方法。
【請求項10】
前記パラメータ値の更新が、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム探索及び局所探索からなる群から選択される少なくとも１つの方法に基づく最適化プロトコルを使用して実行される、請求項２に記載の方法。
【請求項11】
基底ハミルトニアンからのサンプルを使用して、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値及び最大値の引数を推定する方法であって、前記方法は、基底ハミルトニアンの指標を取得するステップと、
標的ハミルトニアンのファミリーの指標を取得するステップと、
前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
前記標的ハミルトニアンのファミリーを表す標的ハミルトニアンのリストの各標的ハミルトニアンに対して、
前記基底ハミルトニアンによって定められる前記確率分布から取得した前記サンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定し、
推定比をリストに格納し、
前記推定比の前記リストを使用して、前記標的ハミルトニアンの前記ファミリーによって定められる自由エネルギーの負の少なくとも１つの最大値を推定し、
前記標的ハミルトニアンの前記ファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値を提供するステップと、を含む、方法。
【請求項12】
サンプリング装置を使用して、標的ハミルトニアンと基底ハミルトニアンによって定められる２つのモデルのエントロピー間の差を推定する方法であって、前記方法は、基底ハミルトニアンの指標を取得するステップと、
標的ハミルトニアンの指標を取得するステップと、
前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
取得した前記サンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定するステップと、
請求項１の処理ステップｄ．ｉ．１、ｄ．ｉ．２及びｄ．ｉ．３を使用して、前記標的ハミルトニアンに対応するエネルギー観測可能値の期待値を推定するステップと、
前記標的ハミルトニアンに対応する前記エネルギー観測可能値の推定比及び推定期待値を使用して、前記標的ハミルトニアンに対応するエントロピーと前記基底ハミルトニアンに対応するエントロピー間の差を推定するステップと、
前記標的ハミルトニアンに対応するエントロピーと前記基底ハミルトニアンに対応するエントロピー間の推定差を提供するステップと、を含む、方法。
【請求項13】
前記観測可能値の前記推定期待値がエネルギー関数期待値を含む、請求項１に記載の方法。
【請求項14】
前記観測可能値の前記推定期待値がｎ点関数を含む、請求項１に記載の方法。
【請求項15】
前記サンプリング装置が、処理装置に動作可能に結合される量子プロセッサを含み、さらに、サンプリング装置制御システムが、量子プロセッサ制御システムを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項16】
前記サンプリング装置が量子コンピュータを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項17】
前記サンプリング装置が量子アニーラを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項18】
前記サンプリング装置が、ノイズのある中規模量子デバイスを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項19】
前記サンプリング装置がトラップイオン量子コンピュータを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項20】
前記サンプリング装置が、超伝導ベースの量子コンピュータを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項21】
前記サンプリング装置が、スピンベースの量子ドットコンピュータを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項22】
前記サンプリング装置がデジタルアニーラを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項23】
前記サンプリング装置が、集積フォトニックコヒーレントイジングマシンを含む、請求項１～１４のいずれか一項に記載の方法。
【請求項24】
前記サンプリング装置が、処理装置に動作可能に結合されるとともに、光エネルギー源からエネルギーを受け取って複数の光パラメトリック発振器を生成するように構成される光コンピューティング装置と、各々が複数の光パラメトリック発振器を制御可能に結合する複数の結合装置と、を含む、請求項１～１４のいずれか一項に記載の方法。
【請求項25】
前記観測可能値の前記推定期待値を関数近似器として使用するステップをさらに含む、請求項１に記載の方法。
【請求項26】
前記自由エネルギーを関数近似器として使用するステップをさらに含む、請求項２～１１のいずれか一項に記載の方法。
【請求項27】
ハミルトニアンの熱力学的特性を推定するステップと、前記熱力学的特性を関数近似器として使用するステップと、をさらに含む、請求項１に記載の方法。
【請求項28】
強化学習フレームワークにおけるトレーニング手順に対して請求項１～２７のいずれか一項に記載の方法の使用方法であって、前記強化学習フレームワークは、（ｉ）少なくとも１つの効用関数の最適化を追求するエージェントと、
（ｉｉ）状態及び瞬時報酬を含む環境と、
（ｉｉｉ）行動を含む前記環境と前記エージェントとの相互作用と、を含み、
前記瞬時報酬は前記少なくとも１つの効用関数に寄与し、
前記使用方法は、前記少なくとも１つの効用関数を近似するステップと、提供される状態に対応する前記少なくとも１つの効用関数を最大化する行動を推定するステップと、を含む、使用方法。
【請求項29】
前記少なくとも１つの効用関数が、価値関数、Ｑ関数及び一般化利点推定器からなる群から選択される、請求項２８に記載の使用方法。【発明の詳細な説明】
【技術分野】
【0001】
本発明の１つ以上の実施形態は、サンプリング装置を使用して複数のモデルの物理量を推定することを対象としている。特に、本発明の１つ以上の実施形態は、これらのモデルからサンプリングするように構成することができない量子デバイスを使用して、異なるモデルの様々な観測可能値を推定することを可能にする。
【背景技術】
【0002】
今日の科学界では、様々な種類のノイズのある中規模量子（ＮＩＳＱ）デバイス、並びに他の物理学に着想される装置及びコンピュータが、絶えず開発、改良、発売されている。これらの機械が実行することができる便利なタスクの１つに確率的サンプリングがある。これは、物理モデルに対する様々な特性及び機能の推定及び評価に利用できる。特に、確率的サンプリングは機械学習法に使用することができる。これらの機械は、背後にある様々な量子及び／又は他の物理現象により、このタスクを大幅に高速化できるにもかかわらず、サイズ、接続性、深さ、及びこれらの機械に実装することができるモデルタイプを定める他の特徴などの多くの態様において、依然として限定されている。
【0003】
本明細書では、このようなコンピュータに実装されている限られたタイプのモデルに関連する少なくとも１つの限定を克服する少なくとも１つの方法及びシステムが必要であると認識されている。
【発明の概要】
【課題を解決するための手段】
【0004】
広義の態様によれば、基底ハミルトニアンを使用して少なくとも１つの標的ハミルトニアンの観測可能値の期待値を推定する方法が開示されており、本方法は、基底ハミルトニアンの指標及び観測可能値の指標を取得するステップと、基底ハミルトニアンを使用してサンプリング装置を設定するステップと、前記サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、少なくとも１つの標的ハミルトニアンのリストの各標的ハミルトニアンに対して、基底ハミルトニアンによって定められる確率分布から取得した複数のサンプルを使用して標的ハミルトニアンに対応する観測可能値の期待値を推定し、標的ハミルトニアンに対応する観測可能値の推定期待値を提供するステップと、を含み、複数のサンプルの使用は、標的ハミルトニアンと基底ハミルトニアンとの分配関数の比のサンプル推定値を計算することと、標的ハミルトニアンによって定められる確率分布に関する観測可能値の期待値の非正規化推定値を計算することと、分配関数の推定比及び非正規化推定期待値を使用して、標的ハミルトニアンによって定められる確率分布に関する観測可能値の期待値の推定値を計算することと、を含む。
【0005】
広義の態様によれば、パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる自由エネルギーのパラメータ化された負の最大値及び最大値の引数を推定する方法が開示され、本方法は、基底ハミルトニアンのファミリーの指標を取得するステップと、基底ハミルトニアンのファミリーから初期基底ハミルトニアンを選択するステップと、パラメータ化標的ハミルトニアンの指標を取得するステップと、第１の停止基準が満たされるまで、現在の基底ハミルトニアンを更新し、現在の基底ハミルトニアンを使用してサンプリング装置を設定し、サンプリング装置を使用して、現在の基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得し、初期パラメータ値を選択し、第２の停止基準が満たされるまで、パラメータ値を更新し、パラメータ化標的ハミルトニアンを使用してパラメータ値に対応する標的ハミルトニアンの指標を取得し、取得した基底ハミルトニアンによって定められる確率分布から取得したサンプルを使用して、パラメータ値に対応する標的ハミルトニアン分配関数と現在の基底ハミルトニアン分配関数の比を推定し、標的ハミルトニアンの自由エネルギーを推定し、推定比、取得した標的ハミルトニアンによって定められる自由エネルギー、及び対応するパラメータ値を提供するステップと、パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの最大値及び少なくとも１つの最大値の引数を推定するステップと、自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの推定最大値の引数を提供するステップと、を含む。
【0006】
１つ以上の実施形態によれば、基底ハミルトニアンのファミリーは、１つの基底ハミルトニアンを含む。
【0007】
１つ以上の実施形態によれば、基底ハミルトニアンのファミリーは、パラメータ化基底ハミルトニアンによって表される。
【0008】
１つ以上の実施形態によれば、現在の基底ハミルトニアンは、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して更新される。
【0009】
１つ以上の実施形態によれば、現在の基底ハミルトニアンは、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して更新される。
【0010】
１つ以上の実施形態によれば、現在の基底ハミルトニアンの更新は、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム探索及び局所探索からなる群から選択される方法に基づく少なくとも１つの最適化プロトコルを使用して実行される。
【0011】
１つ以上の実施形態によれば、パラメータ値の更新は、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して実行される。
【0012】
１つ以上の実施形態によれば、パラメータ値の更新は、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して実行される。
【0013】
１つ以上の実施形態によれば、パラメータ値の更新は、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム探索及び局所探索からなる群から選択される少なくとも１つの方法に基づく最適化プロトコルを使用して実行される。
【0014】
広義の態様によれば、基底ハミルトニアンからのサンプルを使用して、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値及び最大値の引数を推定する方法が開示され、本方法は、基底ハミルトニアンの指標を取得するステップと、標的ハミルトニアンのファミリーの指標を取得するステップと、基底ハミルトニアンを使用してサンプリング装置を設定するステップと、サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、標的ハミルトニアンのファミリーを表す標的ハミルトニアンのリストの各標的ハミルトニアンに対して：基底ハミルトニアンによって定められる確率分布から取得したサンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定し、推定比をリストに格納し、推定比のリストを使用して、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの最大値を推定し、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値を提供するステップと、を含む。
【0015】
広義の態様によれば、サンプリング装置を使用して、標的ハミルトニアンと基底ハミルトニアンによって定められる２つのモデルのエントロピー間の差を推定する方法が開示され、本方法は、基底ハミルトニアンの指標を取得するステップと、標的ハミルトニアンの指標を取得するステップと、基底ハミルトニアンを使用してサンプリング装置を設定するステップと、サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、取得したサンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定するステップと、上述の処理ステップを使用して、標的ハミルトニアンに対応するエネルギー観測可能値の期待値を推定するステップと、標的ハミルトニアンに対応するエネルギー観測可能値の推定比及び推定期待値を使用して、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の差を推定するステップと、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の推定差を提供するステップと、を含む。
【0016】
１つ以上の実施形態によれば、観測可能値の推定期待値はエネルギー関数期待値を含む。
【0017】
１つ以上の実施形態によれば、観測可能値の推定期待値はｎ点関数を含む。
【0018】
１つ以上の実施形態によれば、サンプリング装置は、処理装置に動作可能に結合される量子プロセッサを含み、さらに、サンプリング装置制御システムは、量子プロセッサ制御システムを含む。
【0019】
１つ以上の実施形態によれば、サンプリング装置は量子コンピュータを含む。
【0020】
１つ以上の実施形態によれば、サンプリング装置は量子アニーラを含む。
【0021】
１つ以上の実施形態によれば、サンプリング装置は、ノイズのある中規模量子デバイスを含む。
【0022】
１つ以上の実施形態によれば、サンプリング装置は、トラップイオン量子コンピュータを含む。
【0023】
１つ以上の実施形態によれば、サンプリング装置は、超伝導ベースの量子コンピュータを含む。
【0024】
１つ以上の実施形態によれば、サンプリング装置は、スピンベースの量子ドットコンピュータを含む。
【0025】
１つ以上の実施形態によれば、サンプリング装置はデジタルアニーラを含む。
【0026】
１つ以上の実施形態によれば、サンプリング装置は、集積フォトニックコヒーレントイジング（Ｉｓｉｎｇ）マシンを含む。
【0027】
１つ以上の実施形態によれば、サンプリング装置は、処理装置に動作可能に結合されるとともに、光エネルギー源からエネルギーを受け取って複数の光パラメトリック発振器を生成するように構成される光コンピューティング装置と、各々が複数の光パラメトリック発振器を制御可能に結合する複数のカップリング装置と、を含む。
【0028】
１つ以上の実施形態によれば、本方法は、観測可能値の推定期待値を関数近似器として使用するステップをさらに含む。
【0029】
１つ以上の実施形態によれば、本方法は、自由エネルギーを関数近似器として使用するステップをさらに含む。
【0030】
１つ以上の実施形態によれば、本方法は、ハミルトニアンの熱力学的特性を推定するステップと、熱力学的特性を関数近似器として使用するステップと、をさらに含む。
【0031】
広義の態様によれば、強化学習フレームワークにおけるトレーニング手順に対する上述した方法の使用方法が開示され、強化学習フレームワークは、（ｉ）少なくとも１つの効用関数の最適化を追求するエージェントと、（ｉｉ）状態及び瞬時報酬を含む環境と、（ｉｉｉ）行動を含む環境とエージェントとの相互作用と、を含み、瞬時報酬は少なくとも１つの効用関数に寄与し、使用方法は、少なくとも１つの効用関数を近似するステップと、提供される状態に対応する少なくとも１つの効用関数を最大化する行動を推定するステップと、を含む。
【0032】
１つ以上の実施形態によれば、少なくとも１つの効用関数は、価値関数、Ｑ関数及び一般化利点推定器からなる群から選択される。
【0033】
本明細書に開示される本発明の１つ以上の実施形態は、様々な理由から非常に有利である。より正確には、本明細書に開示される方法の１つ以上の実施形態の利点は、サンプリング装置の機能を拡張して、装置上で構成可能でないモデルの観測可能値の期待値を推定することである。
【0034】
本明細書に開示される方法の１つ以上の実施形態の別の利点は、エントロピーを使用して様々なモデルを比較できることである。
【0035】
本明細書に開示される方法の１つ以上の実施形態の別の利点は、１つのサンプリングのみを用いて、ハミルトニアンのファミリーの自由エネルギーの負の最大値及び最大値の引数を推定できることである。
【0036】
本明細書に開示される方法の１つ以上の実施形態の別の利点は、様々なサンプリング装置を使用して実装できることである。
【0037】
本明細書に開示される方法の別の利点は、強化学習に適用できることである。
【図面の簡単な説明】
【0038】
【図1】量子デバイスを含むサンプリング装置に結合されるデジタルシステムを含むシステムの実施形態を示す図である。
【図2】２つのハミルトニアンの分配関数の比に対するサンプル推定値を計算する方法の実施形態を示すフローチャートである。
【図4】基底ハミルトニアンによって定められる確率分布から取得したサンプルを使用して、標的ハミルトニアンに対応する観測可能値の期待値を推定する手順の実施形態を示すフローチャートである。
【図5】標的ハミルトニアンと基底ハミルトニアンによって定められる２つのモデルのエントロピー間の差を推定する方法の実施形態を示すフローチャートである。
【図6】パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる、自由エネルギーのパラメータ化された負の最大値及び最大値の引数を推定する方法の実施形態を示すフローチャートである。
【図7】標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値及び最大値の引数を推定する方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【0039】
本発明を容易に理解できるように、本発明の実施形態を添付の図面に例示する。
【0040】
１つ以上の実施形態の以下の説明では、添付の図面への参照は、本発明を実施することができる一例を例示するためのものである。
【0041】
［用語］
「発明」等の用語は、明示的に別段の定めがない限り、「本願に開示される１つ以上の発明」を意味する。
「発明」等の用語は、明示的に別段の定めがない限り、「本願に開示される１つ以上の発明」を意味する。
【0042】
「態様」、「ある実施形態」、「実施形態」、「（複数の）実施形態」、「その実施形態」、「その（複数の）実施形態」、「１つ以上の実施形態」、「一部の実施形態」、「特定の実施形態」、「一実施形態」、「別の実施形態」等の用語は、明示的に別段の定めがない限り、「開示された発明の（全部ではないが）１つ以上の実施形態」を意味する。
【0043】
実施形態を説明中の「別の実施形態」又は「別の態様」の参照は、明示的に別段の定めがない限り、参照する実施形態が別の実施形態（例えば、参照される実施形態の前に記載された実施形態）と相互に排他的であることを意味しない。
【0044】
「含む」、「備える」及びこれらの変形の用語は、明示的に別段の定めがない限り、「含むが、これに限定されない」を意味する。
【0045】
原文「ａ」、「ａｎ」、「ｔｈｅ」及び「少なくとも１つの」という用語は、明示的に別段の定めがない限り、「１つ以上」を意味する。
【0046】
「複数の」という用語は、明示的に別段の定めがない限り、「２つ以上の」を意味する。
【0047】
「本明細書において」という用語は、明示的に別段の定めがない限り、「参照により組み込まれるあらゆるものを含む本出願において」を意味する。
【0048】
「これにより（それにより）」という用語は、本明細書において、先に明示的に記載されている何かの意図された結果、目的又は結果のみを表現する項又は他の言葉のセットの前にのみ使用される。したがって、「これにより（それにより）」という用語が請求項において使用される場合、「これにより（それにより）」という用語が修飾する項又は他の言葉は、請求項の特定のさらなる限定を確立するものではなく、又は別の方法で請求項の意味若しくは範囲を制限するものでもない。
【0049】
「例えば（ｅ．ｇ．）」等の用語は、「例えば」を意味し、したがってこれらが説明する用語又は語句を限定しない。例えば、「コンピュータはインターネットを介してデータ（例えば、命令、データ構造）を送信する」という文において、「例えば」という用語は、「命令」はコンピュータがインターネットを介して送信することができる「データ」の一例であり、「データ構造」はコンピュータがインターネットを介して送信することができる「データ」の一例であることを説明する。しかし、「命令」と「データ構造」の両方は、単に「データ」の例であり、「命令」と「データ構造」以外の他のものも「データ」であり得る。
【0050】
「すなわち（ｉ．ｅ．）」等の用語は、「つまり」を意味し、したがってそれらが説明する用語又は句を限定する。
【0051】
本明細書で使用される「アナログコンピュータ」という用語は、通信バスを介して全てが互いに接続されている、量子プロセッサ、量子ビットの制御システム、カップリング装置及び読み出しシステムを含むシステムを意味する。
【0052】
本明細書で使用される「量子コンピュータ」及び「量子デバイス」という用語は、量子計算を実行するシステムを意味し、その計算には重ね合わせ及び絡み合い等の量子力学的現象を使用する。
【0053】
本明細書で使用される「強化学習」、「強化学習手順」及び「強化学習演算」という用語は、一般に、１つ以上の行動をとって環境との相互作用に対する累積報酬の何らかの概念を強化又は最大化する任意のシステム又は計算手順を指す。
【0054】
本明細書で使用される「サンプリング装置」という用語は、一般に、確率分布からサンプリングを実行するシステムを指す。
【0055】
本明細書で使用される「標的ハミルトニアン」及び「標的モデル」という用語は、一般に、対応する確率分布がサンプリング装置を使用してサンプリングされない対象のハミルトニアン／モデルを指す。
【0056】
本明細書で使用される「物理量」という用語は、一般に、測定によって定量化することができる物理系の特性を指す。
【0057】
発明の名称も要約も、本開示の発明の範囲を限定するものとして解釈されるべきではない。本願の発明の名称及び本願の表題は、便宜上にすぎず、本開示を限定するものとして解釈されるべきではない。
【0058】
本願には多くの実施形態が記載されており、例示のためにのみ提示される。開示の実施形態は、いかなる意味においても限定的ではなく、限定的であることを意図するものではない。本開示から容易に明らかであるように、本開示の発明は、多くの実施形態に広く適用可能である。当業者であれば、本開示の発明が構造的及び論理的な修正といった様々な修正及び変更の下で実施されてもよいことを認識するであろう。本開示の発明の特定の構成は、１つ以上の特定の実施形態及び／又は図面を参照して説明されることがあるが、このような構成は、明示的に別段の定めがない限り、これらが説明される１つ以上の特定の実施形態又は図面における使用に限定されないことを理解されたい。
【0059】
本発明の１つ以上の実施形態は、多くの方法で実装できることを理解されたい。本明細書では、これらの実装、又は本発明がとり得る任意の他の形態は、システム又は技術と呼ばれることがある。タスクを実行するように構成されていると記載されるプロセッサ又はメモリ等の構成要素は、所与の時間にタスクを実行するように一時的に構成される一般的な構成要素、又はタスクを実行するように製造される具体的な構成要素のいずれかを含む。
【0060】
これら全てを念頭に置いて、本発明の１つ以上の実施形態は、サンプリング装置を使用して複数のモデルの観測可能値の期待値を推定する方法を対象とする。
【0061】
［重要度サンプリングと比率トリック］
重要度サンプリングとは、１つの確率分布から生成されるサンプルを使用して、別の確率分布に関する不偏情報を抽出する一般的な手法である（参考：Statist. Sci. ,Volume 13, Number 2 (1998), 163-185. “Simulating normalizing constants: from importance sampling to bridge sampling to path sampling” by Andrew Gelman Xiao-Li Meng、“Efficient Multiple Importance Sampling Estimators” by Victor Elvira, Luca Martino, David Luengo, and Monica F. Bugallo. https://arxiv.org/pdf/1505.05391.pdf）。
重要度サンプリングとは、１つの確率分布から生成されるサンプルを使用して、別の確率分布に関する不偏情報を抽出する一般的な手法である（参考：Statist. Sci. ,Volume 13, Number 2 (1998), 163-185. “Simulating normalizing constants: from importance sampling to bridge sampling to path sampling” by Andrew Gelman Xiao-Li Meng、“Efficient Multiple Importance Sampling Estimators” by Victor Elvira, Luca Martino, David Luengo, and Monica F. Bugallo. https://arxiv.org/pdf/1505.05391.pdf）。
【0062】
これは、典型的には標的分布よりも生成分布からサンプリングすることが容易である状況において有用である。重要度サンプリングの別の共通用途は、分散低減である。
【0063】
重要度サンプリングのより具体的な応用例は、２つの確率分布間の分配関数の比の評価である。重要度サンプリングのこの特別な使い方は、比率トリックと呼ばれる。当業者であれば、比率トリックが工学的及び科学的応用における重要なツールであることを理解するだろう。この比率トリックは、凝縮物質系の数値研究における絡み合いエントロピーの測定値にアクセスする方法を提供する。統計学及びコンピュータサイエンスでは、ボルツマンマシン等のエネルギーベースのグラフィカルモデルの性能評価に使用することができる。
【0064】
［物理学着想のコンピュータ］
物理学着想のコンピュータは、光パラメトリック発振器（ＯＰＯ）及び集積フォトニックコヒーレントイジングマシン等の光コンピューティング装置、量子アニーラ又はゲートモデル量子コンピュータ等の量子コンピュータ、シミュレーテッドアニーリング、シミュレーテッド量子アニーリング、ポピュレーションアニーリング、量子モンテカルロ等の物理学着想の方法の実装、のうちの１つ以上を含むことができる。
物理学着想のコンピュータは、光パラメトリック発振器（ＯＰＯ）及び集積フォトニックコヒーレントイジングマシン等の光コンピューティング装置、量子アニーラ又はゲートモデル量子コンピュータ等の量子コンピュータ、シミュレーテッドアニーリング、シミュレーテッド量子アニーリング、ポピュレーションアニーリング、量子モンテカルロ等の物理学着想の方法の実装、のうちの１つ以上を含むことができる。
【0065】
［量子デバイス］
任意のタイプの量子コンピュータが、本明細書に開示される技術の１つ以上の実施形態に適し得る。本明細書の記載によれば、好適な量子コンピュータは非限定的な例として以下を含むことができる。超伝導量子コンピュータ（量子ビットを小さな超伝導回路として実装－ジョセフソン接合）（Clarke, John, and Frank K. Wilhelm. "Superconducting quantum bits." Nature 453.7198 (2008): 1031）、トラップイオン量子コンピュータ（量子ビットをトラップイオンの状態として実装）（Kielpinski, David, Chris Monroe, and David J. Wineland. "Architecture for a large-scale ion-trap quantum computer." Nature 417.6890 (2002): 709）、光学格子量子コンピュータ（量子ビットを光学格子にトラップされた中性原子の状態として実装）（Deutsch, Ivan H., Gavin K. Brennen, and Poul S. Jessen. "Quantum computing with neutral atoms in an optical lattice." arXiv preprint quant-ph/0003022 (2000)）、スピンベースの量子ドットコンピュータ（量子ビットをトラップ電子のスピン状態として実装）（Imamog, A., David D. Awschalom, Guido Burkard, David P. DiVincenzo, Daniel Loss, M. Sherwin, and A. Small. "Quantum information processing using quantum dot spins and cavity QED." arXiv preprint quant-ph/9904096 (1999)）、空間ベースの量子ドットコンピュータ（量子ビットを二重量子ドットにおける電子の位置として実装）（Fedichkin, Leonid, Maxim Yanchenko, and K. A. Valiev. "Novel coherent quantum bit using spatial quantization levels in semiconductor quantum dot." arXiv preprint quant-ph/0006097 (2000)）、結合量子細線（量子ビットを量子点接触で結合した量子細線のペアとして実装）（Bertoni, A., Paolo Bordone, Rossella Brunetti, Carlo Jacoboni, and S. Reggiani. "Quantum logic gates based on coherent electron transport in quantum wires." Physical Review Letters 84, no. 25 (2000): 5912）、核磁気共鳴量子コンピュータ（量子ビットを原子核スピンとして実装し、電波でプローブする）（Cory, David G., Mark D. Price, and Timothy F. Havel. "Nuclear magnetic resonance spectroscopy: An experimentally accessible paradigm for quantum computing." arXiv preprint quant-ph/9709001(1997)）、固体ＮＭＲ Ｋａｎｅ量子コンピュータ（量子ビットをシリコン中のリンドナーの核スピン状態として実装）（Kane, Bruce E. "A silicon-based nuclear spin quantum computer." nature 393, no. 6681 (1998): 133）、電子対ヘリウム量子コンピュータ（量子ビットを電子スピンとして実装）（Lyon, Stephen Aplin. "Spin-based quantum computing using electrons on liquid helium." arXiv preprint cond-mat/0301581 (2006)）、空洞量子電気力学ベースの量子コンピュータ（量子ビットを、高微分空洞に結合したトラップ原子の状態として実装）（Burell, Zachary. "An Introduction to Quantum Computing using Cavity QED concepts." arXiv preprint arXiv:1210.6512 (2012)）、分子磁石ベースの量子コンピュータ（量子ビットをスピン状態として実装）（Leuenberger, Michael N., and Daniel Loss. "Quantum computing in molecular magnets." arXiv preprint cond-mat/0011415 (2001)）、フラーレンベースのＥＳＲ量子コンピュータ（量子ビットをフラーレンに包まれた原子又は分子の電子スピンとして実装）（Harneit, Wolfgang. "Quantum Computing with Endohedral Fullerenes." arXiv preprint arXiv:1708.09298 (2017)）、線形光学量子コンピュータ（量子ビットを、ミラー、ビームスプリッタ及び位相調整器等の線形光学素子を通る光の異なるモードの処理状態として実装）（Knill, E., R. Laflamme, and G. Milburn. "Efficient linear optics quantum computation." arXiv preprint quant-ph/0006088 (2000)）、ダイヤモンドベースの量子コンピュータ（量子ビットを、ダイヤモンド中の窒素－空孔中心の電子スピン又は核スピンとして実装）（Nizovtsev, A. P., S. Ya Kilin, F. Jelezko, T. Gaebal, Iulian Popa, A. Gruber, and Jorg Wrachtrup. "A quantum computer based on NV centers in diamond: optically detected nutations of single electron and nuclear spins." Optics and spectroscopy 99, no. 2 (2005): 233-244）、ボーズ－アインシュタイン凝縮ベースの量子コンピュータ（量子ビットを２成分のＢＥＣとして実装）（Byrnes, Tim, Kai Wen, and Yoshihisa Yamamoto. "Macroscopic quantum computation using Bose-Einstein condensates." arXiv preprint quantum-ph/1103.5512 (2011)）、トランジスタベースの量子コンピュータ（量子ビットをナノフォトニック空洞に結合した半導体として実装）（Sun, Shuo, Hyochul Kim, Zhouchen Luo, Glenn S. Solomon, and Edo Waks. "A single-photon switch and transistor enabled by a solid-state quantum memory." arXiv preprint quant-ph/1805.01964 (2018)）、希土類金属イオンドープ無機結晶ベースの量子コンピュータ（量子ビットを希土類金属イオンドープ無機結晶における原子基底状態超微細準位として実装）（Ohlsson, Nicklas, R. Krishna Mohan, and Stefan Kroll. "Quantum computer hardware based on rare-earth-ion-doped inorganic crystals." Optics communications 201, no. 1-3 (2002): 71-77）、金属様カーボンナノスフェアベースの量子コンピュータ（量子ビットを導電性カーボンナノスフェアの電子スピンとして実装）（Nafradi, Balint, Mohammad Choucair, Klaus-Peter Dinse, and Laszlo Forro. "Room temperature manipulation of long lifetime spins in metallic-like carbon nanospheres." arXiv preprint cond-mat/1611.07690 (2016)）、及びＤ－Ｗａｖｅ社の量子アニーラ（量子ビットを超伝導論理素子として実装）（Johnson, Mark W., Mohammad HS Amin, Suzanne Gildert, Trevor Lanting, Firas Hamze, Neil Dickson, R. Harris et al. "Quantum annealing with manufactured spins." Nature 473, no. 7346 (2011): 194-198）。
任意のタイプの量子コンピュータが、本明細書に開示される技術の１つ以上の実施形態に適し得る。本明細書の記載によれば、好適な量子コンピュータは非限定的な例として以下を含むことができる。超伝導量子コンピュータ（量子ビットを小さな超伝導回路として実装－ジョセフソン接合）（Clarke, John, and Frank K. Wilhelm. "Superconducting quantum bits." Nature 453.7198 (2008): 1031）、トラップイオン量子コンピュータ（量子ビットをトラップイオンの状態として実装）（Kielpinski, David, Chris Monroe, and David J. Wineland. "Architecture for a large-scale ion-trap quantum computer." Nature 417.6890 (2002): 709）、光学格子量子コンピュータ（量子ビットを光学格子にトラップされた中性原子の状態として実装）（Deutsch, Ivan H., Gavin K. Brennen, and Poul S. Jessen. "Quantum computing with neutral atoms in an optical lattice." arXiv preprint quant-ph/0003022 (2000)）、スピンベースの量子ドットコンピュータ（量子ビットをトラップ電子のスピン状態として実装）（Imamog, A., David D. Awschalom, Guido Burkard, David P. DiVincenzo, Daniel Loss, M. Sherwin, and A. Small. "Quantum information processing using quantum dot spins and cavity QED." arXiv preprint quant-ph/9904096 (1999)）、空間ベースの量子ドットコンピュータ（量子ビットを二重量子ドットにおける電子の位置として実装）（Fedichkin, Leonid, Maxim Yanchenko, and K. A. Valiev. "Novel coherent quantum bit using spatial quantization levels in semiconductor quantum dot." arXiv preprint quant-ph/0006097 (2000)）、結合量子細線（量子ビットを量子点接触で結合した量子細線のペアとして実装）（Bertoni, A., Paolo Bordone, Rossella Brunetti, Carlo Jacoboni, and S. Reggiani. "Quantum logic gates based on coherent electron transport in quantum wires." Physical Review Letters 84, no. 25 (2000): 5912）、核磁気共鳴量子コンピュータ（量子ビットを原子核スピンとして実装し、電波でプローブする）（Cory, David G., Mark D. Price, and Timothy F. Havel. "Nuclear magnetic resonance spectroscopy: An experimentally accessible paradigm for quantum computing." arXiv preprint quant-ph/9709001(1997)）、固体ＮＭＲ Ｋａｎｅ量子コンピュータ（量子ビットをシリコン中のリンドナーの核スピン状態として実装）（Kane, Bruce E. "A silicon-based nuclear spin quantum computer." nature 393, no. 6681 (1998): 133）、電子対ヘリウム量子コンピュータ（量子ビットを電子スピンとして実装）（Lyon, Stephen Aplin. "Spin-based quantum computing using electrons on liquid helium." arXiv preprint cond-mat/0301581 (2006)）、空洞量子電気力学ベースの量子コンピュータ（量子ビットを、高微分空洞に結合したトラップ原子の状態として実装）（Burell, Zachary. "An Introduction to Quantum Computing using Cavity QED concepts." arXiv preprint arXiv:1210.6512 (2012)）、分子磁石ベースの量子コンピュータ（量子ビットをスピン状態として実装）（Leuenberger, Michael N., and Daniel Loss. "Quantum computing in molecular magnets." arXiv preprint cond-mat/0011415 (2001)）、フラーレンベースのＥＳＲ量子コンピュータ（量子ビットをフラーレンに包まれた原子又は分子の電子スピンとして実装）（Harneit, Wolfgang. "Quantum Computing with Endohedral Fullerenes." arXiv preprint arXiv:1708.09298 (2017)）、線形光学量子コンピュータ（量子ビットを、ミラー、ビームスプリッタ及び位相調整器等の線形光学素子を通る光の異なるモードの処理状態として実装）（Knill, E., R. Laflamme, and G. Milburn. "Efficient linear optics quantum computation." arXiv preprint quant-ph/0006088 (2000)）、ダイヤモンドベースの量子コンピュータ（量子ビットを、ダイヤモンド中の窒素－空孔中心の電子スピン又は核スピンとして実装）（Nizovtsev, A. P., S. Ya Kilin, F. Jelezko, T. Gaebal, Iulian Popa, A. Gruber, and Jorg Wrachtrup. "A quantum computer based on NV centers in diamond: optically detected nutations of single electron and nuclear spins." Optics and spectroscopy 99, no. 2 (2005): 233-244）、ボーズ－アインシュタイン凝縮ベースの量子コンピュータ（量子ビットを２成分のＢＥＣとして実装）（Byrnes, Tim, Kai Wen, and Yoshihisa Yamamoto. "Macroscopic quantum computation using Bose-Einstein condensates." arXiv preprint quantum-ph/1103.5512 (2011)）、トランジスタベースの量子コンピュータ（量子ビットをナノフォトニック空洞に結合した半導体として実装）（Sun, Shuo, Hyochul Kim, Zhouchen Luo, Glenn S. Solomon, and Edo Waks. "A single-photon switch and transistor enabled by a solid-state quantum memory." arXiv preprint quant-ph/1805.01964 (2018)）、希土類金属イオンドープ無機結晶ベースの量子コンピュータ（量子ビットを希土類金属イオンドープ無機結晶における原子基底状態超微細準位として実装）（Ohlsson, Nicklas, R. Krishna Mohan, and Stefan Kroll. "Quantum computer hardware based on rare-earth-ion-doped inorganic crystals." Optics communications 201, no. 1-3 (2002): 71-77）、金属様カーボンナノスフェアベースの量子コンピュータ（量子ビットを導電性カーボンナノスフェアの電子スピンとして実装）（Nafradi, Balint, Mohammad Choucair, Klaus-Peter Dinse, and Laszlo Forro. "Room temperature manipulation of long lifetime spins in metallic-like carbon nanospheres." arXiv preprint cond-mat/1611.07690 (2016)）、及びＤ－Ｗａｖｅ社の量子アニーラ（量子ビットを超伝導論理素子として実装）（Johnson, Mark W., Mohammad HS Amin, Suzanne Gildert, Trevor Lanting, Firas Hamze, Neil Dickson, R. Harris et al. "Quantum annealing with manufactured spins." Nature 473, no. 7346 (2011): 194-198）。
【0066】
［ＮＩＳＱ－ノイズのある中規模量子技術］
「ノイズのある中規模量子（ＮＩＳＱ）」という用語は、John Preskillが紹介したものである（John Preskill, “Quantum Computing in the NISQ era and beyond." arXiv:1801.00862）。ここで、「ノイズのある」とは、量子ビットに対する制御が不完全であることを意味し、「中規模」とは、量子ビットの数が５０から数百までの範囲であり得ることを指す。ＮＩＳＱ量子デバイス、究極的には汎用量子コンピュータを構築する実現可能な候補として、超伝導量子ビット、人工原子、イオントラップ等から作られるいくつかの物理系を提案した。
「ノイズのある中規模量子（ＮＩＳＱ）」という用語は、John Preskillが紹介したものである（John Preskill, “Quantum Computing in the NISQ era and beyond." arXiv:1801.00862）。ここで、「ノイズのある」とは、量子ビットに対する制御が不完全であることを意味し、「中規模」とは、量子ビットの数が５０から数百までの範囲であり得ることを指す。ＮＩＳＱ量子デバイス、究極的には汎用量子コンピュータを構築する実現可能な候補として、超伝導量子ビット、人工原子、イオントラップ等から作られるいくつかの物理系を提案した。
【0067】
［量子アニーラ］
当業者であれば、量子アニーラが複数の製造された量子ビットからなる量子力学系であることを理解するだろう。
当業者であれば、量子アニーラが複数の製造された量子ビットからなる量子力学系であることを理解するだろう。
【0068】
各量子ビットには、局所磁場バイアスと呼ばれるバイアス源が誘導的に結合されている。１つ以上の実施形態では、バイアス源は、磁束を量子ビットに通して量子ビットの状態を制御するように使用される電磁装置である（米国特許出願公開第２００６／０２２５１６５号明細書参照）。
【0069】
量子ビットの局所磁場バイアスは、プログラム可能かつ制御可能である。１つ以上の実施形態では、デジタル処理ユニットを含む量子ビット制御システムは、量子ビットの系に接続され、量子ビットの局所磁場バイアスをプログラミングして調整することができる。
【0070】
量子アニーラは、複数の量子ビットの複数のペア間の複数のカップリングをさらに含むことができる。１つ以上の実施形態では、２つの量子ビット間のカップリングは、両量子ビットに磁束を通す、両量子ビットに近接した装置である。同じ実施形態では、カップリングは、複合ジョセフソン接合によって遮断される超伝導回路で構成されてもよい。磁束は複合ジョセフソン接合を通り、結果として両量子ビットに磁束を通すことができる（米国特許出願公開第２００６／０２２５１６５号明細書参照）。この磁束の強さは、量子イジング模型のエネルギーに二次的に寄与する。１つ以上の実施形態では、カップリング強度は、カップリング装置を両量子ビットに近接して調整することで強められる。
【0071】
カップリング強度は、制御可能かつプログラム可能であり得ることを理解されたい。１つ以上の実施形態では、デジタル処理ユニットを含む量子アニーラ制御システムは、複数のカップリングに接続され、量子アニーラのカップリング強度をプログラミングすることができる。
【0072】
１つ以上の実施形態では、量子アニーラは、初期設定から最終設定にかけて横磁場量子イジング模型の変換を行う。このような実施形態では、横磁場量子イジング模型の初期及び最終設定は、これらの対応する初期及び最終ハミルトニアンによって記述される量子系を提供する。
【0073】
量子アニーラは、このエネルギー関数の発見的な最適化装置として用いることができる。このようなアナログプロセッサの実施形態は、McGeoch, Catherine C. and Cong Wang, (2013), “Experimental Evaluation of an Adiabatic Quantum System for Combinatorial Optimization” Computing Frontiers,” May 14 16, 2013、及び米国特許出願公開第２００６／０２２５１６５号明細書に開示されている。
【0074】
量子アニーラを使用して、有限温度における対応するイジング模型のボルツマン分布からサンプルを得ることができる（Bian, Z., Chudak, F., Macready, W. G. and Rose, G. (2010), “The Ising model: teaching an old problem new tricks”、及びAmin, M. H., Andriyash, E., Rolfe, J., Kulchytskyy, B., and Melko, R. (2016), “Quantum Boltzmann Machine” arXiv:1601.02036）。
【0075】
このサンプリング方法は量子サンプリングと呼ばれる。
【0076】
［光コンピューティング装置］
平衡状態近傍のイジング模型のボルツマン分布からサンプリングを実行することができるアナログシステムの別の実施形態は、光学装置である。
平衡状態近傍のイジング模型のボルツマン分布からサンプリングを実行することができるアナログシステムの別の実施形態は、光学装置である。
【0077】
１つ以上の実施形態では、光学装置は、米国特許出願公開第２０１６／０１６２７９８号明細書及び国際公開第２０１５／００６４９４号パンフレットに開示されているような光パラメトリック発振器（ＯＰＯ）のネットワークを含む。
【0078】
このような実施形態では、イジング模型の各スピンは、縮退して動作する光パラメトリック発振器（ＯＰＯ）によってシミュレーションされる。
【0079】
縮退光パラメトリック発振器（ＯＰＯ）は、発振閾値で二次相転移を起こす開放散系である。位相敏感増幅のため、縮退光パラメトリック発振器（ＯＰＯ）は、上記閾値を超える振幅に対しては、ポンプ位相に関して０又はπのいずれかの位相で発振する可能性がある。上記位相はランダムであり、発振形成中の光パラメトリック下方変換に関連する量子ノイズの影響を受ける。したがって、縮退光パラメトリック発振器（ＯＰＯ）は、その出力位相によって指定された２進数を自然に表す。この特性に基づいて、縮退光パラメトリック発振器（ＯＰＯ）系を、イジングスピン系の物理的代表として利用することができる。各縮退光パラメトリック発振器（ＯＰＯ）の位相はイジングスピンとして認識され、その振幅と位相は関係のあるスピン間のイジングカップリングの強さと符号によって決定される。
【0080】
縮退光パラメトリック発振器（ＯＰＯ）は、強い光源によって励起するとき、イジング模型のスピン＋１又は－１に対応する２つの位相状態のうちの一方をとる。相互結合を有するＮ個の実質的に同一の光パラメトリック発振器（ＯＰＯ）のネットワークを同一の光源で励起して、イジングスピン系をシミュレーションした。ポンプを導入してから過渡期を経て、光パラメトリック発振器（ＯＰＯ）のネットワークは、その熱平衡に近い定常状態に近づく。
【0081】
位相状態選択過程は、光パラメトリック発振器（ＯＰＯ）の真空ゆらぎと相互結合に依存する。いくつかの実装では、ポンプが一定の振幅でパルス化され、他の実装では、ポンプ出力が徐々に増加し、さらに別の実装では、ポンプが他の方法で制御される。
【0082】
光学装置の１つ以上の実施形態では、イジング模型の複数のカップリングが、光パラメトリック発振器（ＯＰＯ）間での光場のカップリングに使用される複数の構成可能なカップリングによってシミュレーションされる。構成可能なカップリングは、オフになるように構成されてもよく、又はオンになるように構成されてもよい。カップリングのオン及びオフは徐々に又は急激に行われてもよい。オンになるように構成されるとき、その構成は、イジング模型のカップリング強度に応じて、任意の位相又は振幅を提供することができる。
【0083】
各光パラメトリック発振器（ＯＰＯ）出力は位相基準と干渉し、その結果は光検出器で捕捉される。光パラメトリック発振器（ＯＰＯ）出力はイジング模型の配置を表す。例えば、イジング模型では、０位相は－１のスピン状態を表し、π位相は＋１のスピン状態を表すことができる。
【0084】
１つ以上の実施形態によれば、スピンを有するイジング模型の場合、複数の光パラメトリック発振器（ＯＰＯ）の共振空洞は、ポンプ源からのパルスの周期の倍に等しい往復時間を有するように構成される。本明細書で使用される往復時間は、説明した再帰経路の１つのパスに沿って光が伝播する時間を示す。共振空洞往復時間に等しい周期を有するパルス列のパルスは、互いに干渉することなく、同時に光パラメトリック発振器（ＯＰＯ）を通って伝搬することができる。
【0085】
１つ以上の実施形態では、光パラメトリック発振器（ＯＰＯ）のカップリングは、共振空洞に沿って割り当てられる複数の遅延線によって提供される。
【0086】
複数の遅延線は、カップリングの強度及び位相を同期的に制御する複数の変調器を含み、イジング模型をシミュレーションする光学装置のプログラムを可能にする。
【0087】
光パラメトリック発振器（ＯＰＯ）のネットワークでは、遅延線及び対応する変調器によって、２つの光パラメトリック発振器（ＯＰＯ）ごとにカップリングの振幅と位相を制御することができる。
【0088】
１つ以上の実施形態では、米国特許出願公開第２０１６／０１６２７９８号明細書に開示されているように、イジング模型からサンプリングすることができる最適な装置を、光パラメトリック発振器（ＯＰＯ）のネットワークとして製造することができる。
【0089】
１つ以上の実施形態では、光パラメトリック発振器（ＯＰＯ）のネットワーク及び光パラメトリック発振器（ＯＰＯ）のカップリングは、市販のモードロックレーザ、並びにテレコムファイバ遅延線、変調器及び他の光学装置等の光学素子を使用して達成することができる。あるいは、光パラメトリック発振器（ＯＰＯ）のネットワーク及び光パラメトリック発振器（ＯＰＯ）のカップリングは、電気通信用途向けに開発されたファイバ技術等の光ファイバ技術を使用して実装することができる。カップリングはファイバで実現することができ、光カーシャッタで制御することができる。
【0090】
［集積フォトニックコヒーレントイジングマシン］
平衡状態近傍のイジング模型のボルツマン分布からサンプリングを実行することができるアナログシステムの別の実施形態は、米国特許出願公開第２０１８／０２６７９３７号明細書に開示された集積フォトニックコヒーレントイジングマシンである。
平衡状態近傍のイジング模型のボルツマン分布からサンプリングを実行することができるアナログシステムの別の実施形態は、米国特許出願公開第２０１８／０２６７９３７号明細書に開示された集積フォトニックコヒーレントイジングマシンである。
【0091】
１つ以上の実施形態では、集積フォトニックコヒーレントイジングマシンは、特定のイジング問題を解決するノードと接続ネットワークとの組合せである。このような実施形態では、ノードと接続ネットワークとの組み合わせにより、断熱的な光コンピュータを形成することができる。言い換えれば、ノードと接続ネットワークとの組み合わせにより、ノードに格納された値が定常状態に達したときにイジング問題を非決定的に解き、ノードと接続ネットワークのエネルギーを最小限に抑えることができる。最小エネルギーレベルでノードに格納された値は、特定のイジング問題を解決する値に関連付けられ得る。確率解は、イジング問題に対応するハミルトニアンによって定められるボルツマン分布からのサンプルとして使用することができる。
【0092】
このような実施形態では、システムは、複数のリング共振フォトニックノードと、ポンプ導波路を介して複数のリング共振フォトニックノードの各々に結合されて複数のリング共振フォトニックノードの各々にエネルギーを供給するポンプと、複数の２×２構築ブロックの要素を含む接続ネットワークと、を含み、複数のリング共振フォトニックノードの各々は値を格納し、２×２構築ブロックの各要素は、イジング問題の符号化に関連するパラメータで接続ネットワークを調整する複数の位相調整器を含み、接続ネットワークは、複数のリング共振フォトニックノードの各々に格納された値を処理し、複数のリング共振フォトニックノードの各々に格納された値によって、イジング問題が最小エネルギーレベルで解決される。
【0093】
［デジタルアニーラ］
デジタルアニーラは、Ｆｕｊｉｔｓｕ（登録商標）によって開発されたようなデジタルアニーリングユニットを指す。
デジタルアニーラは、Ｆｕｊｉｔｓｕ（登録商標）によって開発されたようなデジタルアニーリングユニットを指す。
【0094】
［量子コンピュータを使用したボルツマン分布サンプリング］
量子コンピュータを使用した配位空間上で動作する古典エネルギー関数によって定められる古典ハミルトニアンからのボルツマン分布サンプリングを、様々な方法で実行することができる。ボルツマン分布サンプリングは、ギブス状態の準備を含むことができる。サンプリング手順の手法及びギブス状態の準備は、量子ハードウェアの特殊性に依存し得る。
量子コンピュータを使用した配位空間上で動作する古典エネルギー関数によって定められる古典ハミルトニアンからのボルツマン分布サンプリングを、様々な方法で実行することができる。ボルツマン分布サンプリングは、ギブス状態の準備を含むことができる。サンプリング手順の手法及びギブス状態の準備は、量子ハードウェアの特殊性に依存し得る。
【0095】
量子回路手法では、古典ハミルトニアンの変数にかかるボルツマン分布は、特定のアルゴリズムによって指定される量子回路ゲートの配列によって指示される補助ユニットとのコヒーレント相互作用から生じる。これらのアルゴリズムは、量子ビットの初期化、続いてこれらの量子ビットをユニタリ変換する演算のセット、そして最後に量子ビットの最終状態及びその処理の測定という３つの主要なステップを含む。
【0096】
ボルツマン分布サンプリングは、手順ハミルトニアン発展に基づき得ることを理解されたい。このような実施形態では、共通のサブルーチンは、変数に関連するシステム量子ビット、及び場合によっては補助量子ビットに対する手順ハミルトニアン時間発展の作用をエミュレートする。手順ハミルトニアンの選択は手順に依存し、サンプリングするボルツマン分布を定める古典ハミルトニアンから直接導出される。Anirban Narayan Chowdhury and Rolando D. Somma in "Quantum algorithms for Gibbs sampling and hitting-time estimation" (2017 arXiv:1603.02940)は、参照により本明細書に組み込まれるが、２倍の温度におけるボルツマン分布の式をユニタリ行列の線形セットに数学的に分解することで手順ハミルトニアンを導出している。したがってこれらのユニタリ行列は、古典ハミルトニアンから直接導かれ、導出された手順ハミルトニアンを定める。"Sampling from the thermal quantum Gibbs state and evaluating partition functions with a quantum computer" (2009 arXiv:0905.2199) by David Poulin and Pawel Wocjanは、参照により本明細書に組み込まれるが、導出された手順ハミルトニアンは、サンプリングするボルツマン分布を厳密に定める古典ハミルトニアンである。"The problem of equilibration and the computation of correlation functions on a quantum computer" (2000 arXiv:quant-ph/9810063) by Barbara M. Terhal and David P. DiVincenzoは、参照により本明細書に組み込まれるが、導出された手順ハミルトニアンは、古典ハミルトニアンと、補助量子ビットに作用する補助的非相互作用ハミルトニアンと、古典ハミルトニアン及び補助的非相互作用ハミルトニアンに存在する項を組み合わせて２つのサブシステムを結合するハミルトニアンと、を含む。本開示では、手順の口語的実装を考慮してもよい。対応する導出された手順ハミルトニアンのシミュレーションは、導出された手順ハミルトニアンに関する値を得るために質問される量子オラクルを採用することによって達成され得る。
【0097】
"The problem of equilibration and the computation of correlation functions on a quantum computer" (2000 arXiv:quant-ph/9810063) by Barbara M. Terhal and David P. DiVincenzoでは、全てのシステム量子ビットが全て０状態に初期化される。補助量子ビットの初期状態は、ギブス状態に準備される。具体的には、ランダムベルヌーイ過程を経て、各補助量子ビットは、関連する補助非相互作用補助ハミルトニアン項の固有値から決定される確率で、１又０の状態に独立して設定される。次いで、各補助量子ビットは、量子ビットのサンプリングされた２値状態に対応する２つの固有状態のいずれかに回転する。初期化後、全ての量子ビットは、導出された手順ハミルトニアン時間発展の作用下で十分に長い時間ユニタリ変換される。最後に、システム量子ビットの状態を測定して、古典ハミルトニアンによって定められるボルツマン分布からサンプルを得る。
【0098】
"Sampling from the thermal quantum Gibbs state and evaluating partition functions with a quantum computer" (2009 arXiv:0905.2199) by David Poulin and Pawel Wocjanでは、補助量子ビットは、スクラッチパッドとエネルギーレジスタの２つのサブカテゴリに細分化される。システム及びスクラッチパッドレジスタの一部である量子ビットは最大限に絡み合った状態で準備され、一方、エネルギーレジスタの量子ビットは０状態に設定される。次いで、システムとエネルギーレジスタの量子ビットに量子位相推定が適用される。この演算には、ハマダール変換、制御されたハミルトニアン時間発展及び量子フーリエ変換をサブルーチンとして組み込んでいる。結果として得られるシステムレジスタの状態は、無限温度におけるボルツマン状態に対応する。エネルギーレジスタの状態を条件として、追加の補助量子ビットに制御された回転を適用することによって、標的有限温度状態を得る。次いで、システム量子ビットと補助量子ビットに対して測定を行い、補助量子ビットが０の状態で事後選択測定を行うことによって、古典ハミルトニアンによって定められるボルツマン分布のサンプルを取得する。
【0099】
Anirban Narayan Chowdhury and Rolando D. Sommaによる"Quantum algorithms for Gibbs sampling and hitting-time estimation" (2017 arXiv:1603.02940)では、補助量子ビットはサブカテゴリに分けられる。補助スクラッチパッド量子ビットは、システム量子ビットと最大限に絡み合った状態で準備される。補助量子の別のセットは、最初は０の状態で準備される。これらの量子ビットは、システム量子ビットにユニタリの線形結合（ＬＣＵ）演算を適用するときの制御セットとして使用される。この演算に対して、ユニタリの線形結合（ＬＣＵ）の演算は、原始関数としての制御されたハミルトニアン時間発展演算に依存する。ユニタリの線形結合（ＬＣＵ）回路を適用した後、ユニタリの線形結合（ＬＣＵ）で使用される補助量子ビットとシステム量子ビットの状態を測定する。補助量子ビットが０の状態で事後選択測定を行うことによって、古典ハミルトニアンによって定められるボルツマン分布のサンプルを取得する。
【0100】
ボルツマン分布サンプリングは、量子ランダムウォークに基づき得ることを理解されたい。この手法は、古典ハミルトニアンによって定められるボルツマン分布からサンプリングするように設計される古典ランダムウォークの量子定式化に依存する。古典ランダムウォークは、非周期的で可逆的であると仮定されるマルコフ遷移演算子により数学的に定義される。"Efficient Quantum Walk Circuits for Metropolis-Hastings Algorithm" (2020 arXiv:1910.01659) by Jessica Lemieux, Bettina Heim, David Poulin, Krysta Svore and Matthias Troyerは、参照により本明細書に組み込まれるが、マルコフ遷移演算子を使用して量子ランダムウォーク演算子を定式化する。この定式化された量子ランダムウォーク演算子は、古典ハミルトニアン並びにｎ＋１個の補助量子ビットの変数に関連したｎ個のシステム量子ビットを含む拡張系に作用する。全てのシステム量子ビットは計算基準で等しい重ね合わせの状態に初期化され、補助量子ビットは全て０の状態に設定される。量子演算子を十分な回数だけ全系に繰り返し適用する。システム量子ビットの測定によって、古典ハミルトニアンによって定められるボルツマン分布のサンプルを取得する。
【0101】
ボルツマン分布サンプリングは、量子アニーラを使用して実行できることを理解されたい。古典ハミルトニアンは、物理装置にカップリングの標的セットを設定することによって指定される。次いで、この系は、初期の非相互作用ハミルトニアンの準備が容易な基底状態で初期化される。この系は、初期ハミルトニアンとその環境の自然動力学の下で熱状態に緩和される。次に、ハミルトニアンカップリングは、初期値から古典ハミルトニアンの値にゆっくりと変化する。この遷移が起こると、系の状態は古典ハミルトニアンによって定められるボルツマン分布を追跡する。古典ハミルトニアンへのこの補間の最後に、状態を測定し、古典ハミルトニアンによって定められる基底ボルツマン分布の単一サンプルを生成する。さらなる詳細は"Adiabaticity in open quantum systems" (2016 arXiv:1508.05558) by Lorenzo Campos Venuti, Tameem Albash, Daniel A. Lida and Paolo Zanardiに見出すことができ、これは参照により本明細書に組み込まれる。
【0102】
［強化学習］
強化学習は、一般に、１つ以上の行動をとって、環境との相互作用に対する累積報酬の何らかの概念を強化又は最大化する任意のシステム又は計算手順を指す。強化学習（ＲＬ）を実行するエージェントは、環境内で１つ以上の行動をとり、したがって自身及び環境を様々な新しい状態に置くことから、「瞬時報酬」と呼ばれる正又は負の強化を受け取ることができる。
強化学習は、一般に、１つ以上の行動をとって、環境との相互作用に対する累積報酬の何らかの概念を強化又は最大化する任意のシステム又は計算手順を指す。強化学習（ＲＬ）を実行するエージェントは、環境内で１つ以上の行動をとり、したがって自身及び環境を様々な新しい状態に置くことから、「瞬時報酬」と呼ばれる正又は負の強化を受け取ることができる。
【0103】
エージェントの目標は、累積報酬の何らかの概念を強化又は最大化することであり得る。例えば、エージェントの目標は「割引報酬関数」又は「平均報酬関数」を強化又は最大化することであり得る。「Ｑ関数」は、ある状態及びその状態で取った行動から得られる最大累積報酬を表すことができる。「価値関数」及び「一般化利点推定器」は、最適な又は最良の行動選択が与えられた状態から得られる最大累積報酬を表すことができる。強化学習（ＲＬ）は、累積報酬のこのような概念のうち任意の１つ以上を使用することができる。本明細書で使用されるように、任意のこのような関数は「累積報酬関数」と呼ばれることがある。したがって、最良の又は最適な累積報酬関数を計算することは、エージェントに対する最良の又は最適なポリシーを見つけることと同等であり得る。
【0104】
エージェント及びその環境との相互作用は、１つ以上のマルコフ決定過程（ＭＤＰ）として定式化することができる。強化学習（ＲＬ）手順は、マルコフ決定過程（ＭＤＰ）の正確な数学モデルの知識を仮定しなくてもよい。マルコフ決定過程（ＭＤＰ）は、エージェントにとって完全に未知であってもよく、部分的に既知であってもよく、又は完全に既知であってもよい。強化学習（ＲＬ）手順は、マルコフ決定過程（ＭＤＰ）の事前知識に関して、「モデルベース」又は「モデルフリー」の２つの範囲の間のスペクトルに位置し得る。このように強化学習（ＲＬ）手順は、マルコフ決定過程（ＭＤＰ）の未知又は確率的性質のために、厳密な方法が実現不可能又は利用不可能であり得る大規模なマルコフ決定過程（ＭＤＰ）を対象とすることができる。
【0105】
強化学習（ＲＬ）手順は、デジタル処理ユニットを使用して実装することができる。デジタル処理ユニットは、「ポリシー」を訓練し、記憶し、後に展開するエージェントを実装して、累積報酬を強化又は最大化することができる。ポリシーは可能な限り長い、又は所望の期間にわたって探索（例えば検索）することができる。このような最適化問題は、最適なポリシーの近似値を記憶することによって、累積報酬関数の近似値を記憶することによって、又はその両方によって解決することができる。場合によっては、強化学習（ＲＬ）手順は、このような関数の近似値の１つ以上のテーブルを記憶することができる。他の場合には、強化学習（ＲＬ）手順は、１つ以上の「関数近似器」を利用することができる。
【0106】
関数近似器の例としては、ディープニューラルネットワークのようなニューラルネットワーク、並びにボルツマンマシン、ヘルムホルツマシン及びホップフィールドネットワークなどの確率的グラフィックモデルが挙げられる。関数近似器は、累積報酬関数の近似のパラメータ化を作成することができる。そのパラメータ化に関する関数近似器の最適化は、累積報酬を強化又は最大化し、したがって、ポリシー勾配法のようなポリシーを強化又は最適化する方向にパラメータを摂動させること、又は時間差法のようなベルマンの最適基準を満たすように関数近似器を摂動させることによって構成することができる。
【0107】
トレーニング中、エージェントは、環境において行動をとり、環境に関する、及び生存若しくはより良い効用に対するポリシーの良好な選択又は最良の選択に関するより多くの情報を取得することができる。エージェントの行動は、例えば、特にトレーニングの初期段階ではランダムに生成されてもよく、又は、教師付き学習、模倣学習若しくは任意の他の機械学習手順などの別の機械学習パラダイムによって規定されてもよい。エージェントの行動は、強化された又は最適なポリシーが何であるかについてのエージェントの認識により近い行動を選択することによって洗練され得る。様々なトレーニング戦略は、探査と活用の間の選択に関して、オフポリシー方法とオンポリシー方法の２つの範囲の間のスペクトルに位置し得る。
【0108】
強化学習（ＲＬ）手順は、深層強化学習（ＤＲＬ）手順を含むことができ、Mnih et al., Playing Atari with Deep Reinforcement Learning, arXiv:1312.5602 (2013)、Schulman et al., Proximal Policy Optimization Algorithms, arXiv:1707.06347 (2017)、Konda et al., Actor-Critic Algorithms, in Advances in Neural Information Processing Systems, pp. 1008-1014 (2000)及びMnih et al., Asynchronous Methods for Deep Reinforcement Learning, in International Conference on Machine Learning, pp. 1928-1937 (2016)に記載され、これらの各々は全体が参照により本明細書に組み込まれる。
【0109】
強化学習（ＲＬ）手順は、「近似動的プログラミング」又は「神経動的プログラミング」と呼ばれることもある。
【0110】
ここで図１を参照すると、量子デバイス３０を含むサンプリング装置に結合されるデジタルシステム８を含むシステムの実施形態を示す図が示されている。
【0111】
デジタルコンピュータ８は、任意のタイプのデジタルコンピュータとすることができることを理解されたい。
【0112】
１つ以上の実施形態では、デジタルコンピュータ８は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットＰＣ、サーバ、スマートフォン等からなる群から選択される。また前述において、デジタルコンピュータ８は、広くプロセッサと呼ばれることもあることを理解されたい。
【0113】
図１に示す実施形態では、デジタルコンピュータ８は、マイクロプロセッサとも呼ばれる中央処理ユニット１２と、表示装置１４と、入力装置１６と、通信ポート２０と、データバス１８と、メモリユニット２２と、を含む。
【0114】
中央処理ユニット１２を使用してコンピュータ命令を処理する。当業者であれば、中央処理ユニット１２の様々な実施形態が提供できることを理解するだろう。
【0115】
１つ以上の実施形態では、中央処理ユニット１２は、２．５ＧＨｚで動作する、Ｉｎｔｅｌ（登録商標）が製造するＣＰＵコアｉ５３２１０を含む。
【0116】
表示装置１４を使用して、ユーザにデータを表示する。当業者であれば、様々なタイプの表示装置１４が使用できることを理解するだろう。
【0117】
１つ以上の実施形態では、表示装置１４は、標準的な液晶表示（ＬＣＤ）モニタである。
【0118】
入力装置１６は、デジタルコンピュータ８へのデータの入力に使用される。
【0119】
通信ポート２０は、デジタルコンピュータ８とのデータの共有に使用される。
【0120】
通信ポート２０は、例えばキーボード及びマウスをデジタルコンピュータ８に接続するユニバーサルシリアルバス（ＵＳＢ）ポートを含むことができる。
【0121】
通信ポート２０は、デジタルコンピュータ８と量子デバイス３０との接続を可能にする、ＩＥＥＥ８０２．３ポート等のデータネットワーク通信ポートをさらに含むことができる。
【0122】
当業者であれば、通信ポート２０の様々な代替実施形態が提供できることを理解するだろう。
【0123】
メモリユニット２２は、コンピュータ実行可能命令の格納に使用される。
【0124】
メモリユニット２２は、システム制御プログラム（例えば、ＢＩＯＳ、オペレーティングシステムモジュール、アプリケーション等）を格納する高速ランダムアクセスメモリ（ＲＡＭ）、及び読み出し専用メモリ（ＲＯＭ）のようなシステムメモリを含むことができる。
【0125】
メモリユニット２２は、１つ以上の実施形態では、オペレーティングシステムモジュールを含むことを理解されたい。
【0126】
オペレーティングシステムモジュールは、様々なタイプのものとすることができることを理解されたい。
【0127】
１つ以上の実施形態では、オペレーティングシステムモジュールは、Ａｐｐｌｅ（登録商標）が製造するＯＳＸカタリナである。
【0128】
図１に示す実施形態では、サンプリング装置は量子デバイス３０を含む。サンプリング装置は、本明細書に記載される任意の物理学着想のコンピュータを含むことができることを理解されたい。１つ以上の実施形態では、サンプリング装置は、ノイズのある中規模量子デバイスを含む。サンプリング装置は、光パラメトリック発振器（ＯＰＯ）、集積フォトニックコヒーレントイジングマシン、量子コンピュータ、量子アニーラ、ゲートモデル量子コンピュータ、並びにシミュレーテッドアニーリング、シミュレーテッド量子アニーリング、ポピュレーションアニーリング及び量子モンテカルロ等の物理学着想の方法の実装からなる群の少なくとも１つのメンバーを含むことができる。
【0129】
量子デバイス３０は、量子回路制御システム２４と、読み出し制御システム２６と、量子プロセッサ２８と、を含む。
【0130】
メモリユニット２２は、量子デバイス３０の量子プロセッサ２８に実装されるハミルトニアンによって表される確率分布からサンプルを取得するアプリケーションをさらに含む。
【0131】
メモリユニット２２は、図示しないが、量子デバイス３０を使用するアプリケーションをさらに含むことができる。
【0132】
メモリユニット２２は、図示しないが、量子プロセッサ２８における単一量子ビットゲート及び２量子ビットゲートへの入力データのパターンを符号化する、対応する入力データ等の量子プロセッサデータをさらに含むことができる。
【0133】
量子プロセッサ２８は、様々なタイプのものとすることができる。１つ以上の実施形態では、量子プロセッサ２８は超伝導量子ビットを含む。
【0134】
読み出し制御システム２６は、量子プロセッサ２８の量子ビットの読み出しに使用される。実際に、本明細書に開示される方法で量子プロセッサを使用するためには、その量子力学状態において量子系の量子ビットを測定する読み出しシステムが必要であることを理解されたい。複数回の測定により、量子ビットの状態のサンプルが得られる。読み取りの結果は、デジタルコンピュータ８に供給される。量子回路構造は、量子回路制御システム２４を介して制御される。
【0135】
読み出し制御システム２６は、様々なタイプのものとすることができることを理解されたい。例えば、読み出し制御システム２６は複数のｄｃ‐ＳＱＵＩＤ磁力計を含むことができ、その各々は量子プロセッサ２８の異なる量子ビットに誘導接続される。読み出し制御システム２６は、電圧値又は電流値を提供することができる。１つ以上の実施形態では、ｄｃ‐ＳＱＵＩＤ磁力計は、当技術分野で周知のように、少なくとも１つのジョセフソン接合によって遮断される超伝導材料のループを含む。
【0136】
ここで図２を参照すると、サンプリング装置を使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定する方法の実施形態が示されている。
【0137】
処理ステップ２００によれば、基底ハミルトニアンの指標を取得する。基底ハミルトニアンの指標は、様々なタイプのものとすることができることを理解されたい。１つ以上の実施形態では、基底ハミルトニアンの指標は、エネルギー関数を表す数学関数である。
【0138】
基底ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0139】
１つ以上の実施形態では、デジタルコンピュータ８を使用して基底ハミルトニアンの指標を取得する。基底ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0140】
代替実施形態では、基底ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0141】
代替実施形態では、基底ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。一実施形態では、データネットワークはインターネットを含む。
【0142】
基底ハミルトニアンが物理モデル及びこのモデルに対応するボルツマン確率分布を定めることは、当業者であれば理解するだろう。より正確には、Ebが基底ハミルトニアンを定める。これは、配位空間上で動作する古典エネルギー関数によって定められる。所与の配置cに対して、基底ハミルトニアンは、エネルギーEb(c)を表す実数を出力する。一実施形態では、配置cは２値ベクトルである。全ての可能な配置に対する基底ハミルトニアンに対応する確率分布は、ボルツマン分布によって指定される。
【数1】
【0143】
処理ステップ２０２によれば、取得した基底ハミルトニアンを使用してサンプリング装置を設定する。当業者であれば、サンプリング装置は、本明細書に記載される任意の物理学着想のコンピュータを含むことができることを理解するだろう。例えば、１つ以上の実施形態では、サンプリング装置はＮＩＳＱ装置を含む。サンプリング装置は、図１に示すシステムに関して本明細書に記載される任意のサンプリング装置のような、任意の適切なサンプリング装置とすることができることを理解されたい。サンプリング装置は、例えば本明細書の他の箇所に開示されるように、サンプリング装置のタイプに依存し得る様々な方法で設定できることを理解されたい。
【0144】
さらに図２を参照すると、処理ステップ２０４によれば、サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得する。基底ハミルトニアンは、サンプリング装置で実装できるようなものであることを理解されたい。さらに複数のサンプルは、例えば本明細書の他の箇所に開示されるように、基底ハミルトニアンによって定められるボルツマン分布からのサンプリングに使用されるサンプリング装置のタイプ及び手順に依存し得る様々な方法で取得できることを理解されたい。
【0145】
所与のEbに対して、サンプリング装置の出力は複数の
であり、Nsはサンプル数である。１つ以上の実施形態では、サンプル数Nsはユーザによって提供される。当業者であれば、サンプリング装置が量子コンピュータである１つ以上の実施形態において、量子ビットの状態を複数回測定することにより、基底ハミルトニアンによって定められる確率分布から複数のサンプルを得ることを理解するだろう。
【0146】
処理ステップ２０６によれば、標的ハミルトニアンの指標を取得する。指標は、エネルギー関数を表す数学関数であり得る。標的ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0147】
１つ以上の実施形態では、デジタルコンピュータ８を使用して標的ハミルトニアンの指標を取得する。標的ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0148】
１つ以上の代替実施形態では、標的ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0149】
１つ以上の代替実施形態では、標的ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0150】
より正確には、Etを標的ハミルトニアンとする。当業者であれば、分配関数とボルツマン確率分布の概念が標的ハミルトニアンに及ぶことを理解するだろう。しかし、基底ハミルトニアンとは異なり、標的ハミルトニアンによって定められる分布からのサンプリングにはサンプリング装置を使用しないことを当業者であれば理解するだろう。標的ハミルトニアンの配位空間は、基底ハミルトニアンの配位空間と同じであることを当業者であれば理解するだろう。
【0151】
さらに図２を参照すると、処理ステップ２０８によれば、取得した
を使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比のサンプル推定値を計算する。このサンプルは、基底ハミルトニアンによって定められる確率分布からのものである。より正確には、基底ハミルトニアン分配関数と標的ハミルトニアン分配関数の比のサンプル推定値は、以下の等式を使用して計算される。
【数2】
【0152】
処理ステップ２１０によれば、推定比を提供する。推定比は、様々な実施形態に従って提供できることを理解されたい。１つ以上の実施形態では、推定比はメモリユニット２２に格納される。１つ以上の代替実施形態では、推定比は表示装置１４に表示される。１つ以上の代替実施形態では、推定比は、デジタルコンピュータ８に動作可能に接続される遠隔処理装置に提供される。実際に、以下でさらに説明するように、推定比は多くの実施形態で有利に使用できることを理解されたい。
【0153】
ここで図３を参照すると、サンプリング装置を使用して、基底ハミルトニアンを使用して少なくとも１つの標的モデルの観測可能値の期待値を推定する方法の実施形態が示されている。本明細書に開示される方法は、基底ハミルトニアンによって定められる分布からサンプリングするように構成されるサンプリング装置により生成されるサンプルに基づいて、標的ハミルトニアンに対応する観測可能値の期待値の不偏推定値を提供することを理解されたい。
【0154】
当業者であれば、１つ以上の実施形態では、観測可能値がボルツマン分布のエネルギー関数であることを理解するだろう。さらに１つ以上の異なる実施形態では、観測可能値はｎ点関数であることを理解されたい。
【0155】
さらに図３を参照すると、処理ステップ３００によれば、基底ハミルトニアンの指標及び観測可能値Aの指標を取得する。基底ハミルトニアンの指標は、様々なタイプのものとすることができることを理解されたい。１つ以上の実施形態では、基底ハミルトニアンの指標は、エネルギー関数を表す数学関数である。
【0156】
基底ハミルトニアンの指標及び観測可能値の指標は、様々な実施形態に従って取得できることを理解されたい。
【0157】
１つ以上の実施形態では、デジタルコンピュータ８を使用して、基底ハミルトニアンの指標及び観測可能値の指標を取得する。基底ハミルトニアンの指標及び観測可能値の指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0158】
１つ以上の代替実施形態では、基底ハミルトニアンの指標及び観測可能値の指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0159】
１つ以上の代替実施形態では、基底ハミルトニアンの指標及び観測可能値の指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0160】
基底ハミルトニアンが物理モデル及びこのモデルに対応するボルツマン確率分布を定めることは、当業者であれば理解するだろう。より正確には、Ebが基底ハミルトニアンを定める。これは、配位空間上で動作する古典エネルギー関数によって定められる。所与の配置cに対して、基底ハミルトニアンは、エネルギーEb(c)を表す実数を出力する。１つ以上の実施形態では、配置cは２値ベクトルである。全ての可能な配置に対する基底ハミルトニアンに対応する確率分布は、ボルツマン確率分布によって指定される。
【数3】
【0161】
さらに図３を参照すると、処理ステップ３０２によれば、基底ハミルトニアンを使用してサンプリング装置を設定する。サンプリング装置は様々なタイプのものとすることができることを理解されたい。当業者であれば、サンプリング装置は、本明細書に記載される任意の物理学着想のコンピュータを含むことができることを理解するだろう。例えば、１つ以上の実施形態では、サンプリング装置はＮＩＳＱ装置を含む。サンプリング装置は、図１に示すシステムに関して本明細書に記載される任意のサンプリング装置のような、任意の適切なサンプリング装置とすることができることを理解されたい。サンプリング装置は、例えば本明細書の他の箇所に開示されるように、サンプリング装置のタイプに依存し得る様々な方法で設定できることを理解されたい。
【0162】
処理ステップ３０４によれば、サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得する。基底ハミルトニアンは、サンプリング装置で実装できるようなものであることを当業者であれば理解するだろう。さらに複数のサンプルは、例えば本明細書の他の箇所に開示されるように、基底ハミルトニアンによって定められるボルツマン分布からのサンプリングに使用されるサンプリング装置のタイプ及び手順に依存し得る様々な方法で取得できることを理解されたい。
【0163】
所与のEbに対して、サンプリング装置の出力は複数の
であり、Nsはサンプル数である。１つ以上の実施形態では、サンプル数Nsはユーザによって提供されることを理解されたい。当業者であれば、サンプリング装置が量子コンピュータである１つ以上の実施形態において、量子ビットの状態を複数回測定することにより、基底ハミルトニアンによって定められる確率分布から複数のサンプルを得ることを理解するだろう。
【0164】
処理ステップ３０６によれば、次の標的ハミルトニアンの指標を取得する。次の標的ハミルトニアンの指標は、エネルギー関数を表す数学関数であり得る。標的ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0165】
１つ以上の実施形態では、デジタルコンピュータ８を使用して次の標的ハミルトニアンの指標を取得する。次の標的ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0166】
１つ以上の代替実施形態では、次の標的ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0167】
１つ以上の代替実施形態では、次の標的ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0168】
より正確には、Etを標的ハミルトニアンとする。基底ハミルトニアンについて上記で紹介したボルツマン確率分布とサンプルの概念は、標的ハミルトニアンにも及ぶ。しかし、基底ハミルトニアンとは異なり、標的ハミルトニアンによって定められる分布からのサンプリングにはサンプリング装置を使用しないことを当業者であれば理解するだろう。標的ハミルトニアンの配位空間は、基底ハミルトニアンの配位空間と同じであることを当業者であれば理解するだろう。当業者であれば、平衡状態における観測可能値を推定することは、様々な用途において有用であり得ることを理解するだろう。観測可能値は、配置cで評価されるベクトルを出力する関数A(c)で記述される。１つ以上の実施形態では、標的ハミルトニアンエネルギーEt(c)が観測可能値である。標的ハミルトニアンによって定められる分布に関して、観測可能値の期待値の評価を対象とすることを理解されたい。期待値は、
によって定められる。ここで左辺の表記は、対象となる観測可能値と、それが評価され得る確率分布を指定する。
【数4】
【0169】
さらに図３を参照すると、処理ステップ３０８によれば、基底ハミルトニアンによって定められる確率分布から取得したサンプルを使用して、標的ハミルトニアンに対応する観測可能値の期待値を推定する。より正確には、観測可能値の期待値の推定は、１つ以上の実施形態により、図４に開示された方法に従って実行される。
【0170】
【0171】
【0172】
さらに図４を参照すると、処理ステップ４０４によれば、標的ハミルトニアンによって定められる分布ptに関するAの期待値の不偏推定値は、処理ステップ４００及び４０２による結果を使用して、
によって計算する。
【数7】
【0173】
ここで図３に戻って参照すると、処理ステップ３１０によれば、標的ハミルトニアンに対応する観測可能値の推定期待値Aptを提供する。標的ハミルトニアンに対応する観測可能値の推定期待値Aptは、様々な実施形態に従って提供できることを理解されたい。１つ以上の実施形態では、標的ハミルトニアンに対応する観測可能値の推定期待値Aptは、メモリユニット２２に格納される。１つ以上の代替実施形態では、標的ハミルトニアンに対応する観測可能値の推定期待値Aptは、表示装置１４に表示される。１つ以上の代替実施形態では、標的ハミルトニアンに対応する観測可能値の推定期待値Aptは、デジタルコンピュータ８に動作可能に接続される遠隔処理装置に提供される。実際に、以下でさらに説明するように、標的ハミルトニアンに対応する観測可能値の推定期待値Aptは、多くの実施形態で有利に使用できることを理解されたい。
【0174】
標的ハミルトニアンのリストの最後に到達していない場合、処理ステップ３０４において、基底ハミルトニアンによって定められる確率分布から取得した配置サンプルの同じセット
を使用して、処理ステップ３０６、３０８及び３１０を繰り返す。１つ以上の実施形態では、観測可能値の推定期待値は、エネルギー期待値を含む。１つ以上の実施形態では、観測可能値の推定期待値は、ｎ点関数を含む。
【0175】
１つ以上の実施形態では、本方法は、観測可能値の推定期待値を関数近似器として使用するステップをさらに含むことを理解されたい。さらに１つ以上の実施形態では、本方法は、ハミルトニアンの熱力学的特性を推定するステップと、熱力学的特性を関数近似器として使用するステップと、をさらに含むことを理解されたい。
【0176】
ここで図５を参照すると、標的ハミルトニアンと基底ハミルトニアンによって定められる２つのモデルのエントロピー間の差を推定する方法の実施形態が示されている。
【0177】
より正確には、処理ステップ５００によれば、基底ハミルトニアンの指標を取得する。基底ハミルトニアンの指標は、様々なタイプのものとすることができることを理解されたい。１つ以上の実施形態では、基底ハミルトニアンの指標は、エネルギー関数を表す数学関数である。
【0178】
基底ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0179】
１つ以上の実施形態では、デジタルコンピュータ８を使用して基底ハミルトニアンの指標を取得する。基底ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0180】
１つ以上の代替実施形態では、基底ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0181】
１つ以上の代替実施形態では、基底ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0182】
基底ハミルトニアンが物理モデル及びこのモデルに対応するボルツマン確率分布を定めることは、当業者であれば理解するだろう。より正確には、Ebが基底ハミルトニアンを定める。これは、配位空間上で動作する古典なエネルギー関数によって定められる。所与の配置cに対して、基底ハミルトニアンは、エネルギーEb(c)を表す実数を出力する。１つ以上の実施形態では、配置cは２値ベクトルである。全ての可能な配置に対する基底ハミルトニアンに対応する確率分布は、ボルツマン分布によって指定される。
【数8】
【0183】
さらに図５を参照すると、処理ステップ５０２によれば、標的ハミルトニアンの指標Etを取得する。標的ハミルトニアンの指標は、エネルギー関数を表す数学関数であり得る。標的ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0184】
１つ以上の実施形態では、デジタルコンピュータ８を使用して標的ハミルトニアンの指標を取得する。標的ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0185】
１つ以上の代替実施形態では、標的ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0186】
１つ以上の代替実施形態では、標的ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の代替実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0187】
より正確には、Etを標的ハミルトニアンとする。当業者であれば分配関数とボルツマン確率分布の概念が標的ハミルトニアンに及ぶことを理解するだろう。しかし、基底ハミルトニアンとは異なり、標的ハミルトニアンによって定められる分布からのサンプリングにはサンプリング装置を使用しないことを当業者であれば理解するだろう。標的ハミルトニアンの配位空間は、基底ハミルトニアンの配位空間と同じであることを当業者であれば理解するだろう。
【0188】
さらに図５を参照すると、処理ステップ５０４によれば、基底ハミルトニアンを使用してサンプリング装置を設定する。サンプリング装置は様々なタイプのものとすることができることを理解されたい。当業者であれば、サンプリング装置は、本明細書に記載される任意の物理学着想のコンピュータを含むことができることを理解するだろう。例えば、１つ以上の実施形態では、サンプリング装置はＮＩＳＱ装置を含む。サンプリング装置は、図１に示すシステムに関して本明細書に記載される任意のサンプリング装置のような、任意の適切なサンプリング装置とすることができることを理解されたい。サンプリング装置は、例えば本明細書の他の箇所に開示されるように、サンプリング装置のタイプに依存し得る様々な方法で設定できることを理解されたい。
【0189】
さらに図５を参照すると、処理ステップ５０６によれば、サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得する。基底ハミルトニアンは、サンプリング装置で実装できるようなものであることを理解されたい。さらに複数のサンプルは、例えば本明細書の他の箇所に開示されるように、基底ハミルトニアンによって定められるボルツマン分布からのサンプリングに使用されるサンプリング装置のタイプ及び手順に依存し得る様々な方法で取得できることを理解されたい。
【0190】
所与のEbに対して、サンプリング装置の出力は複数の
であり、Nsはサンプル数である。１つ以上の実施形態では、サンプル数Nsはユーザによって提供されることを理解されたい。当業者であれば、サンプリング装置が量子コンピュータである１つ以上の実施形態において、量子ビットの状態を複数回測定することにより、基底ハミルトニアンによって定められる確率分布から複数のサンプルを得ることを理解するだろう。
【0191】
さらに図５を参照すると、処理ステップ５０８によれば、取得した
を使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比のサンプル推定値を計算する。このサンプルは、基底ハミルトニアンによって定められる確率分布からのものである。より正確には、基底ハミルトニアン分配関数と標的ハミルトニアン分配関数の比のサンプル推定値は、以下の等式を使用して計算される。
【数9】
【0192】
処理ステップ５１０によれば、本明細書に開示される観測可能値の期待値を推定する方法のいずれかを使用して、標的ハミルトニアンに対応するエネルギー観測可能値の期待値〈Et〉を推定する。
【0193】
さらに図５を参照すると、処理ステップ５１２によれば、標的ハミルトニアンに対応するエネルギー観測可能値の推定比及び推定期待値を使用して、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の差を推定する。より正確には、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピーとの差St－Sbは、以下の公式を使用して推定される。
【数10】
【0194】
さらに図５を参照すると、処理ステップ５１４によれば、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の差が提供される。標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の推定差は、様々な実施形態に従って提供できることを理解されたい。１つ以上の実施形態では、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の推定差は、メモリユニット２２に格納される。１つ以上の代替実施形態では、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の推定差は、表示装置１４に表示される。１つ以上の他の実施形態では、標的ハミルトニアンに対応するエントロピーと基底ハミルトニアンに対応するエントロピー間の推定差は、デジタルコンピュータ８に動作可能に接続される遠隔処理装置に提供される。
【0195】
ここで図６を参照すると、サンプリング装置を使用して、パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる、自由エネルギーのパラメータ化された負の最大値及び最大値の引数を推定する方法の実施形態が示されている。本明細書に開示される方法は、基底ハミルトニアンのファミリーから選択される基底ハミルトニアンによって定められる分布からサンプリングするように構成されるサンプリング装置により生成されるサンプルに基づいて、パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる、自由エネルギーのパラメータ化された負の最大値及び最大値の引数の推定値を提供することを理解されたい。
【0196】
より正確には、処理ステップ６００によれば、基底ハミルトニアンのファミリーの指標を取得する。１つ以上の実施形態では、基底ハミルトニアンのファミリーの指標は、エネルギー関数を表す数学関数のリストを含む。１つ以上の他の実施形態では、基底ハミルトニアンのファミリーの指標は、パラメータ化エネルギー関数を表す数学関数を含む。
【0197】
基底ハミルトニアンのファミリーの指標は、様々な実施形態に従って取得できることを理解されたい。
【0198】
１つ以上の実施形態では、デジタルコンピュータ８を使用して基底ハミルトニアンの指標を取得する。基底ハミルトニアンのファミリーの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0199】
１つ以上の代替実施形態では、基底ハミルトニアンのファミリーの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0200】
１つ以上の代替実施形態では、基底ハミルトニアンのファミリーの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0201】
さらに図６を参照すると、処理ステップ６０２によれば、基底ハミルトニアンのファミリーから初期基底ハミルトニアンを選択し、現在の基底ハミルトニアンを初期基底ハミルトニアンに設定する。初期基底ハミルトニアンは、基底ハミルトニアンのファミリーから選択される任意の基底ハミルトニアンとすることができることを理解されたい。１つ以上の実施形態では、初期基底ハミルトニアンはランダムに選択される。１つ以上の代替実施形態では、初期基底ハミルトニアンはユーザによって選択される。１つ以上の実施形態では、基底ハミルトニアンのファミリーは１つの基底ハミルトニアンを含む。１つ以上の代替実施形態では、基底ハミルトニアンのファミリーは、パラメータ化基底ハミルトニアンによって表される。
【0202】
基底ハミルトニアンの各々が物理モデル及びこのモデルに対応するボルツマン確率分布を定めることは、当業者であれば理解するだろう。より正確には、Ebが基底ハミルトニアンを定める。これは、配位空間上で動作する古典エネルギー関数によって定められる。所与の配置cに対して、基底ハミルトニアンは、エネルギーEb(c)を表す実数を出力する。１つ以上の実施形態では、配置cは２値ベクトルである。全ての可能な配置に対する基底ハミルトニアンに対応する確率分布は、ボルツマン分布によって指定される。
【数11】
【0203】
さらに図６を参照すると、処理ステップ６０４によれば、パラメータ化標的ハミルトニアンの指標を取得する。パラメータ化標的ハミルトニアンの指標は、エネルギー関数を表す数学関数であり得ることを理解されたい。パラメータ化標的ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0204】
１つ以上の実施形態では、デジタルコンピュータ８を使用して、パラメータ化標的ハミルトニアンの指標を取得する。パラメータ化標的ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0205】
１つ以上の代替実施形態では、パラメータ化標的ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0206】
１つ以上の代替実施形態では、パラメータ化標的ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0207】
より正確には、Et,aをパラメータ化標的ハミルトニアンとする。ここで、標的ハミルトニアンはパラメータaによってパラメータ化される。パラメータは、離散値又は連続値のいずれかをとることができる要素を含む、任意の有限次元ベクトルとすることができることを理解されたい。
【0208】
基底ハミルトニアンに対して導入されたボルツマン確率分布とサンプルの概念は、パラメータ化標的ハミルトニアンに及ぶ。しかし、基底ハミルトニアンとは異なり、パラメータaの任意の値に対するパラメータ化標的ハミルトニアンによって定められる分布からのサンプリングには、サンプリング装置を使用しないことを当業者であれば理解するだろう。パラメータ化標的ハミルトニアンの配位空間は、パラメータaの任意の値に対する基底ハミルトニアンの配位空間と同じであることを当業者であれば理解するだろう。
【0209】
さらに図６を参照すると、処理ステップ６０６によれば、現在の
を更新する。処理ステップ５０６が本方法の過程で初めて実行される場合、現在の基底ハミルトニアンは、処理ステップ６０２で選択された初期基底ハミルトニアンに設定されることを理解されたい。
【0210】
処理ステップ６０６が繰り返される場合、現在の基底ハミルトニアンは、１つ以上の実施形態による最適化プロトコルを使用して更新される。様々な最適化プロトコルを使用して現在の基底ハミルトニアンを更新できることを当業者であれば理解するだろう。１つ以上の非限定的な実施形態では、最適化プロトコルは、勾配降下、確率勾配降下、局所探索、ランダム探索、最急降下及びベイズ最適化からなる群から選択される少なくとも１つのメンバーである。１つ以上の実施形態では、現在の基底ハミルトニアンは、勾配ベースの方法に基づく少なくとも１つのプロトコルを使用して更新される。１つ以上の実施形態では、現在の基底ハミルトニアンは、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して更新される。さらに、現在の基底ハミルトニアンは、処理ステップ６１６による推定比、処理ステップ６１８により推定された標的ハミルトニアンによって定められる自由エネルギー、及び対応する１つ以上のパラメータ値を使用して、最適化プロトコルを使用して更新されることを理解されたい。
【0211】
さらに図６を参照すると、処理ステップ６０８によれば、現在の
を使用してサンプリング装置を設定する。サンプリング装置は様々なタイプのものとすることができることを理解されたい。実際に、当業者であれば、サンプリング装置は、本明細書に記載される任意の物理学着想のコンピュータを含むことができることを理解するだろう。例えば、１つ以上の実施形態によれば、サンプリング装置はＮＩＳＱ装置を含む。サンプリング装置は、図１に示すシステムに関して本明細書に記載される任意のサンプリング装置のような、任意の適切なサンプリング装置とすることができることを理解されたい。サンプリング装置は、例えば本明細書の他の箇所に開示されるように、サンプリング装置のタイプに依存し得る様々な方法で設定できることを理解されたい。
【0212】
さらに図６を参照すると、処理ステップ６１０によれば、サンプリング装置を使用して、現在の基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得する。現在の基底ハミルトニアンは、サンプリング装置で実装できるようなものであることを理解されたい。さらに複数のサンプルは、例えば本明細書の他の箇所に開示されるように、基底ハミルトニアンによって定められるボルツマン分布からのサンプリングに使用されるサンプリング装置のタイプ及び手順に依存し得る様々な方法で取得できることを理解されたい。
【0213】
所与のEbに対して、サンプリング装置の出力は複数の
であり、Nsはサンプル数である。１つ以上の実施形態では、サンプル数Nsはユーザによって提供されることを理解されたい。当業者であれば、サンプリング装置が量子コンピュータである１つ以上の実施形態において、量子ビットの状態を複数回測定することにより、基底ハミルトニアンによって定められる確率分布から複数のサンプルを得ることを理解するだろう。
【0214】
処理ステップ６１２によれば、パラメータ値を更新する。処理ステップ６１２が現在の基底ハミルトニアンに対して初めて処理される場合、パラメータ値は初期パラメータ値で更新されることを理解されたい。初期パラメータ値は様々な方法で選択することができる。１つ以上の実施形態では、初期パラメータ値はランダムに選択される。１つ以上の代替実施形態では、初期パラメータ値はユーザによって提供される。
【0215】
処理ステップ６１２が現在の基底ハミルトニアンに対して繰り返される場合、パラメータ値は、最適化プロトコルを使用して更新される。様々な最適化プロトコルを使用してパラメータ値を更新できることを当業者であれば理解するだろう。実際に、１つ以上の実施形態では、最適化プロトコルは、勾配降下、確率勾配降下、局所探索、ランダム探索、最急降下及びベイズ最適化からなる群から選択される少なくとも１つのメンバーであることを理解されたい。１つ以上の実施形態では、パラメータ値の更新は、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して実行される。１つ以上の代替実施形態では、パラメータ値の更新は、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して実行される。さらに、パラメータ値は、処理ステップ６１６による推定比、処理ステップ６１８により推定された標的ハミルトニアンによって定められる自由エネルギー、及び以前の１つ以上のパラメータ値を使用して、最適化プロトコルを使用して更新されることを理解されたい。１つ以上の実施形態では、パラメータ値は、現在のパラメータ値周りの局所探索を使用して更新される。
【0216】
さらに図６を参照すると、処理ステップ６１４によれば、パラメータ値に対応する標的ハミルトニアンの指標を取得する。パラメータ値に対応する標的ハミルトニアンの指標は、パラメータ化標的ハミルトニアンを使用して取得できることを理解されたい。
【0217】
処理ステップ６１６によれば、取得した基底ハミルトニアンによって定められる確率分布の取得したサンプルを使用して、パラメータ値に対応する標的ハミルトニアン分配関数と現在の基底ハミルトニアン分配関数の比を推定する。パラメータ値に対応する標的ハミルトニアン分配関数と現在の基底ハミルトニアン分配関数の比に対するサンプル推定値が計算される。サンプル比は、取得した
を使用して計算される。このサンプルは、現在の基底ハミルトニアンによって定められる確率分布からのものである。より正確には、現在の基底ハミルトニアン分配関数とパラメータ値に対応する標的ハミルトニアン分配関数の比のサンプル推定値は、以下の等式を使用して計算される。
【数12】
【0218】
【0219】
さらに図６を参照すると、処理ステップ６２０によれば、推定比、パラメータ値に対応する取得した標的ハミルトニアンによって定められる自由エネルギー、及びパラメータ値を提供する。
【0220】
決定ステップ６２２によれば、第１の停止基準が満たされない場合、処理ステップ６１０において、現在の基底ハミルトニアンによって定められる確率分布から取得した配置サンプルの同じセット
を使用して、処理ステップ６１２、６１４、６１６、６１８及び６２０を繰り返す。第１の停止基準は、様々なタイプのものとすることができることを理解されたい。１つ以上の実施形態では、第１の停止基準は、パラメータ値が特定の値に収束したことである。１つ以上の代替実施形態では、第１の停止基準は、処理ステップ６１２、６１４、６１６、６１８及び５２０を所与の回数繰り返すことである。
【0221】
第２の停止基準が満たされない場合、決定ステップ６２４によれば、処理ステップ６０６～６２０及び決定ステップ６２２を繰り返す。第２の停止基準は、様々なタイプのものとすることができることを理解されたい。１つ以上の実施形態では、第２の停止基準は、基底ハミルトニアンのファミリーを表すパラメータ化基底ハミルトニアンのパラメータが特定の値に収束したことである。１つ以上の代替実施形態では、第２の停止基準は、処理ステップ６０６～６２０及び決定ステップ６２２を所与の回数繰り返すことである。
【0222】
さらに図６を参照すると、処理ステップ６２６によれば、パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの最大値及び少なくとも１つの最大値の引数を推定する。当業者であれば、最大値及び最大値の引数は、様々な方法で推定できることを理解するだろう。１つ以上の実施形態では、最大値及び最大値の引数は、処理ステップ６１６中に推定比を比較することによって推定される。１つ以上の代替実施形態では、処理ステップ６１８中に推定される自由エネルギーの負の値は共に格納され、新しく推定された自由エネルギーの負の値がより大きい場合、処理ステップ６１８の繰り返し中に更新される。１つ以上の代替実施形態では、最後に推定された自由エネルギーの負の値が提供される。
【0223】
処理ステップ６２８によれば、パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの最大値の引数を提供する。パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの最大値の引数は、様々な実施形態に従って提供できることを理解されたい。１つ以上の実施形態では、パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの最大値の引数は、メモリユニット２２に格納される。１つ以上の代替実施形態では、パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの最大値の引数は、表示装置１４に表示される。１つ以上の代替実施形態では、パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの最大値の引数は、デジタルコンピュータ８に動作可能に接続される遠隔処理装置に提供される。
【0224】
ここで図７を参照すると、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値を推定する方法の実施形態が示されている。本明細書に開示される方法は、基底ハミルトニアンによって定められる分布からサンプリングするように構成されるサンプリング装置により生成されるサンプルに基づいて、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値の推定値を提供する。
【0225】
さらに図７を参照すると、処理ステップ７００によれば、基底ハミルトニアンの指標を取得する。基底ハミルトニアンの指標は、様々なタイプのものとすることができることを理解されたい。１つ以上の実施形態では、基底ハミルトニアンの指標は、エネルギー関数を表す数学関数である。
【0226】
基底ハミルトニアンの指標は、様々な実施形態に従って取得できることを理解されたい。
【0227】
１つ以上の実施形態では、デジタルコンピュータ８を使用して基底ハミルトニアンの指標を取得する。基底ハミルトニアンの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0228】
１つ以上の代替実施形態では、基底ハミルトニアンの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0229】
１つ以上の代替実施形態では、基底ハミルトニアンの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0230】
基底ハミルトニアンが物理モデル及びこのモデルに対応するボルツマン確率分布を定めることは、当業者であれば理解するだろう。より正確には、Ebが基底ハミルトニアンを定める。これは、配位空間上で動作する古典エネルギー関数によって定められる。所与の配置cに対して、基底ハミルトニアンは、エネルギーEb(c)を表す実数を出力する。１つ以上の実施形態では、配置cは２値ベクトルである。全ての可能な配置に対する基底ハミルトニアンに対応する確率分布は、ボルツマン分布によって指定される。
【数13】
【0231】
さらに図７を参照すると、処理ステップ７０２によれば、標的ハミルトニアンのファミリーの指標を取得する。標的ハミルトニアンのファミリーの指標は、エネルギー関数を表す数学関数のリストを含むことができることを理解されたい。標的ハミルトニアンのファミリーの指標は、様々な実施形態に従って取得できることを理解されたい。
【0232】
１つ以上の実施形態では、デジタルコンピュータ８を使用して標的ハミルトニアンのファミリーの指標を取得する。標的ハミルトニアンのファミリーの指標は、デジタルコンピュータ８のメモリユニット２２に格納できることを理解されたい。
【0233】
１つ以上の代替実施形態では、標的ハミルトニアンのファミリーの指標は、デジタルコンピュータ８と対話するユーザによって提供される。
【0234】
１つ以上の代替実施形態では、標的ハミルトニアンのファミリーの指標は、図示しないが、デジタルコンピュータ８に動作可能に結合される遠隔処理ユニットから取得する。遠隔処理ユニットは、様々な実施形態に従って、デジタルコンピュータ８に動作可能に結合することができる。１つ以上の実施形態では、遠隔処理ユニットは、データネットワークを介してデジタルコンピュータ８に結合される。データネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びワイドエリアネットワークからなる群から選択することができる。１つ以上の実施形態では、データネットワークはインターネットを含む。
【0235】
さらに図７を参照すると、処理ステップ７０４によれば、基底ハミルトニアンを使用してサンプリング装置を設定する。
【0236】
サンプリング装置は様々なタイプのものとすることができることを理解されたい。当業者であれば、サンプリング装置は、本明細書に記載される任意の物理学着想のコンピュータを含むことができることを理解するだろう。例えば、１つ以上の実施形態では、サンプリング装置はＮＩＳＱ装置を含む。サンプリング装置は、図１に示すシステムに関して本明細書に記載される任意のサンプリング装置のような、任意の適切なサンプリング装置とすることができることを理解されたい。サンプリング装置は、例えば本明細書の他の箇所に開示されるように、サンプリング装置のタイプに依存し得る様々な方法で設定できることを理解されたい。
【0237】
処理ステップ７０６によれば、サンプリング装置を使用して、基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得する。基底ハミルトニアンは、サンプリング装置で実装できるようなものであることを当業者であれば理解するだろう。さらに複数のサンプルは、例えば本明細書の他の箇所に開示されるように、基底ハミルトニアンによって定められるボルツマン分布からのサンプリングに使用されるサンプリング装置のタイプ及び手順に依存し得る様々な方法で取得できることを理解されたい。
【0238】
所与のEbに対して、サンプリング装置の出力は複数の
配置サンプル
であり、Nsはサンプル数である。１つ以上の実施形態では、サンプル数Nsはユーザによって提供されることを理解されたい。当業者であれば、サンプリング装置が量子コンピュータである１つ以上の実施形態において、量子ビットの状態を複数回測定することにより、基底ハミルトニアンによって定められる確率分布から複数のサンプルを得ることを理解するだろう。
配置サンプル
【0239】
処理ステップ７０８によれば、次の標的ハミルトニアンの指標を取得する。１つ以上の実施形態では、次の標的ハミルトニアンの指標は、エネルギー関数を表す数学関数である。
【0240】
より正確には、Etを標的ハミルトニアンとする。基底ハミルトニアンについて上記で紹介したボルツマン確率分布とサンプルの概念は、標的ハミルトニアンにも及ぶ。しかし、基底ハミルトニアンとは異なり、標的ハミルトニアンによって定められる分布からのサンプリングにはサンプリング装置を使用しないことを当業者であれば理解するだろう。標的ハミルトニアンの配位空間は、基底ハミルトニアンの配位空間と同じであることを当業者であれば理解するだろう。
【0241】
さらに図７を参照すると、処理ステップ７１０によれば、基底ハミルトニアンによって定められる確率分布から取得したサンプルと以下の等式を使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定する。
【数14】
【0242】
処理ステップ７１２によれば、推定比をリストに格納する。
【0243】
決定ステップ７１４によれば、標的ハミルトニアンのファミリーを表すリストの最後に到達したかどうかを見つけるテストを実行する。標的ハミルトニアンのファミリーを表すリストの最後に到達していない場合、処理ステップ６０６において基底ハミルトニアンによって定められる確率分布から取得した配置サンプルの同じセット
を使用して、処理ステップ７０８、７１０及び７１２を繰り返す。
【0244】
【0245】
１つ以上の代替実施形態では、最大推定比値は、格納し、処理ステップ７１０において標的ハミルトニアンのファミリーにおける標的ハミルトニアンに対して推定される次の比によって更新する。
【0246】
さらに図７を参照すると、処理ステップ７１８によれば、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値を提供する。標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値は、様々な実施形態に従って提供できることを理解されたい。１つ以上の実施形態では、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値は、メモリユニット２２に格納される。１つ以上の代替実施形態では、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値は、表示装置１４に表示される。１つ以上の他の実施形態では、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値は、デジタルコンピュータ８に動作可能に接続される遠隔処理装置に提供される。
【0247】
［強化学習アプリケーション］
強化学習（ＲＬ）は、累積報酬を表す効用関数の概念を最大化するために、ソフトウェアエージェントが環境においてどのように行動すべきかに関する機械学習の分野である。強化学習は、ゲーム理論、制御理論、オペレーションズリサーチ、情報理論、シミュレーションベースの最適化、マルチエージェントシステム、群知能、統計学及び遺伝的アルゴリズムのような多くの分野で研究されている。オペレーションズリサーチ及び制御の分野では、強化学習は、近似動的プログラミング又は神経動的プログラミングとも呼ばれる。経済学及びゲーム理論では、強化学習を用いて、有界合理性の下で均衡がどのように生じるかを説明することができる。
強化学習（ＲＬ）は、累積報酬を表す効用関数の概念を最大化するために、ソフトウェアエージェントが環境においてどのように行動すべきかに関する機械学習の分野である。強化学習は、ゲーム理論、制御理論、オペレーションズリサーチ、情報理論、シミュレーションベースの最適化、マルチエージェントシステム、群知能、統計学及び遺伝的アルゴリズムのような多くの分野で研究されている。オペレーションズリサーチ及び制御の分野では、強化学習は、近似動的プログラミング又は神経動的プログラミングとも呼ばれる。経済学及びゲーム理論では、強化学習を用いて、有界合理性の下で均衡がどのように生じるかを説明することができる。
【0248】
環境は、通常、マルコフ決定過程（ＭＤＰ）の形式で定義される。一実施形態は、米国特許出願番号第１５／５９０６１４号に見出すことができ、本出願は参照により本明細書に組み込まれる。
【0249】
より正確には、強化学習フレームワークは、少なくとも１つのソフトウェアエージェントと、環境と、ソフトウェアエージェントと環境との相互作用と、を含む。さらに、環境は状態及び瞬時報酬を含み、エージェントと環境との相互作用は行動を含む。ソフトウェアエージェントは、累積瞬時報酬を表す少なくとも１つの効用関数を使用して、累積瞬時報酬を最大化することを目的とする。
【0250】
状態及び行動は、離散値及び連続値の両方をとることができることを理解されたい。状態及び行動の数は、任意の有限数とすることができる。
【0251】
当業者であれば、瞬時報酬は様々なタイプのものとすることができることを理解するだろう。実際、瞬時報酬を表す数は、離散的かつ連続的なものとすることができることを理解されたい。さらに、瞬時報酬は状態に依存することを理解されたい。それは、決定論的かつ確率論的なものであり得る。
【0252】
効用関数は、様々なタイプのものとすることができることを理解されたい。例えば、１つ以上の実施形態によれば、効用関数はＱ関数である。１つ以上の代替実施形態では、効用関数は価値関数である。１つ以上の代替実施形態では、効用関数は一般化利点推定器である。
【0253】
強化学習フレームワークにおけるトレーニング手順は、様々なタイプのものとすることができることを当業者であれば理解するだろう。例えば、１つ以上の実施形態によれば、トレーニング手順は、ＴＤ学習アルゴリズム、Ｑ学習アルゴリズム、Ｑ学習ラムダアルゴリズム、状態行動報酬行動（ＳＡＲＳＡ）アルゴリズム、状態行動報酬状態行動（ＳＡＲＳＡ）ラムダアルゴリズム、深層Ｑネットワーク（ＤＱＮ）アルゴリズム、深層決定方策勾配（ＤＤＰＧ）アルゴリズム、非同期アドバンテージアクタークリティック（Ａ３Ｃ）アルゴリズム、ソフトアクタークリティック（ＳＡＣ）アルゴリズム、正規化有利関数（ＮＡＦ）を用いたＱ学習アルゴリズム、信頼領域方策最適化（ＴＲＰＯ）アルゴリズム、近位方策最適化（ＰＰＯ）アルゴリズム及び双子遅延深層決定方策勾配（ＴＤ３）アルゴリズムからなるアルゴリズム群から選択される少なくとも１つのアルゴリズムに基づいて実装される。
【0254】
上記のアルゴリズムのいずれかに基づくトレーニング手順において、関数近似技術が使用できることを理解されたい。関数近似技術は、図３に関して本明細書に記載される任意の観測可能値など、任意の適切な近似器の使用を含むことができる。近似器は、図３に関して本明細書に記載される任意の方法など、任意の方法を使用して推定できる。適切な近似器は、本明細書に記載される任意の熱力学的特性など、任意の熱力学的特性であり得る。１つ以上の実施形態では、関数近似器として使用される熱力学的特性は、自由エネルギーの負の値である。関数近似器は、効用関数の非明示的なパラメータ化表現を含む。１つ以上の実施形態では、関数近似器はボルツマンマシンの自由エネルギーである。この実施形態では、関数近似器の非明示的なパラメータはボルツマンマシンの重みであり、状態及び行動はボルツマンマシンの可視ノードによって表される。１つ以上の代替実施形態では、関数近似器は深層多層ボルツマンマシンの自由エネルギーであり、その可視ノードは、入力が状態及び行動を表すニューラルネットワークの出力であり、その重みは、関数近似器の非明示的なパラメータである。
【0255】
当業者であれば、トレーニング手順の過程で、効用関数を最大化する行動を推定するステップが使用できることを理解するだろう。より正確には、行動を表すパラメータに関して効用関数の少なくとも１つの最大値及び最大値の引数を見つける／推定するステップは、トレーニング手順におけるステップの実行に必要とされ得る。行動を表すパラメータに関して効用関数の少なくとも１つの最大値及び最大値の引数を推定するステップには、任意の方法が使用できることを当業者であれば理解するだろう。自由エネルギーの負の値が関数近似器として使用される１つ以上の実施形態では、図６に関して本明細書に記載される任意の方法など、自由エネルギーの少なくとも１つの最大値及び最大値の引数を推定する任意の方法を使用することができる。このような実施形態では、標的ハミルトニアンは、行動を表すパラメータでパラメータ化される。
【0256】
したがって、強化学習フレームワークにおけるトレーニング手順に対する本明細書に開示される方法の１つ以上の実施形態の使用方法が開示され、強化学習フレームワークは、少なくとも１つの効用関数の最適化を追求するエージェントと、状態及び瞬時報酬を含む環境と、行動を含む環境とエージェントとの相互作用と、を含み、瞬時報酬は少なくとも１つの効用関数に寄与し、使用方法は、少なくとも１つの効用関数を近似するステップと、提供される状態に対応する少なくとも１つの効用関数を最大化する行動を推定するステップと、を含む。１つ以上の実施形態では、少なくとも１つの効用関数は、価値関数、Ｑ関数及び一般化利点推定器からなる群から選択される。
【0257】
本明細書に開示される方法の１つ以上の実施形態は、様々な理由から非常に有利であることを理解されたい。
【0258】
より正確には、本明細書に開示される方法の１つ以上の実施形態の利点は、サンプリング装置の機能を拡張して、装置上で構成可能でないモデルの観測可能値を推定することである。
【0259】
本明細書に開示される方法の１つ以上の実施形態の別の利点は、エントロピーを使用して様々なモデルを比較できることである。
【0260】
本明細書に開示される方法の１つ以上の実施形態の別の利点は、１つのサンプリングのみを使用して、ハミルトニアンのファミリーの自由エネルギーの負の最大値及び最大値の引数を推定できることである。
【0261】
本明細書に開示される方法の１つ以上の実施形態の別の利点は、様々なサンプリング装置を使用して実装できることである。
【0262】
本明細書に開示される方法の別の利点は、強化学習に適用できることである。
【0263】
項１
基底ハミルトニアンを使用して少なくとも１つの標的ハミルトニアンの観測可能値の期待値を推定する方法であって、
ａ．基底ハミルトニアンの指標及び観測可能値の指標を取得するステップと、
ｂ．前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
ｃ．前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
ｄ．少なくとも１つの標的ハミルトニアンのリストの各標的ハミルトニアンに対して：
i．前記基底ハミルトニアンによって定められる前記確率分布から取得した前記複数のサンプルを使用して、前記標的ハミルトニアンに対応する前記観測可能値の期待値を推定し、
ii．前記標的ハミルトニアンに対応する前記観測可能値の推定期待値を提供するステップと、を含み、複数のサンプルの使用は、
１．前記標的ハミルトニアンと前記基底ハミルトニアンとの分配関数の比のサンプル推定値を計算することと、
２．前記標的ハミルトニアンによって定められる前記確率分布に関する前記観測可能値の期待値の非正規化推定値を計算することと、
３．分配関数の推定比及び非正規化推定期待値を使用して、前記標的ハミルトニアンによって定められる前記確率分布に関する前記観測可能値の前記期待値の推定値を計算することと、を含む、方法。
基底ハミルトニアンを使用して少なくとも１つの標的ハミルトニアンの観測可能値の期待値を推定する方法であって、
ａ．基底ハミルトニアンの指標及び観測可能値の指標を取得するステップと、
ｂ．前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
ｃ．前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
ｄ．少なくとも１つの標的ハミルトニアンのリストの各標的ハミルトニアンに対して：
i．前記基底ハミルトニアンによって定められる前記確率分布から取得した前記複数のサンプルを使用して、前記標的ハミルトニアンに対応する前記観測可能値の期待値を推定し、
ii．前記標的ハミルトニアンに対応する前記観測可能値の推定期待値を提供するステップと、を含み、複数のサンプルの使用は、
１．前記標的ハミルトニアンと前記基底ハミルトニアンとの分配関数の比のサンプル推定値を計算することと、
２．前記標的ハミルトニアンによって定められる前記確率分布に関する前記観測可能値の期待値の非正規化推定値を計算することと、
３．分配関数の推定比及び非正規化推定期待値を使用して、前記標的ハミルトニアンによって定められる前記確率分布に関する前記観測可能値の前記期待値の推定値を計算することと、を含む、方法。
【0264】
項２
パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる自由エネルギーのパラメータ化された負の最大値及び最大値の引数を推定する方法であって、
ａ．基底ハミルトニアンのファミリーの指標を取得するステップと、
ｂ．前記基底ハミルトニアンのファミリーから初期基底ハミルトニアンを選択するステップと、
ｃ．パラメータ化標的ハミルトニアンの指標を取得するステップと、
ｄ．第１の停止基準が満たされるまで：
i．現在の基底ハミルトニアンを更新し、
ii．前記現在の基底ハミルトニアンを使用してサンプリング装置を設定し、
iii．前記サンプリング装置を使用して、前記現在の基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得し、
iv．初期パラメータ値を選択し、
v．第２の停止基準が満たされるまで：
１．パラメータ値を更新し、
２．前記パラメータ化標的ハミルトニアンを使用して前記パラメータ値に対応する標的ハミルトニアンの指標を取得し、
３．取得した基底ハミルトニアンによって定められる前記確率分布から取得したサンプルを使用して、前記パラメータ値に対応する標的ハミルトニアン分配関数と現在の基底ハミルトニアン分配関数の比を推定し、
４．前記標的ハミルトニアンの自由エネルギーを推定し、
５．推定比、取得した標的ハミルトニアンによって定められる前記自由エネルギー、及び対応するパラメータ値を提供するステップと、
ｅ．前記パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの最大値及び少なくとも１つの最大値の引数を推定するステップと、
ｆ．自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの推定最大値の引数を提供するステップと、を含む、方法。
パラメータ化標的ハミルトニアンによって表される標的ハミルトニアンのファミリーによって定められる自由エネルギーのパラメータ化された負の最大値及び最大値の引数を推定する方法であって、
ａ．基底ハミルトニアンのファミリーの指標を取得するステップと、
ｂ．前記基底ハミルトニアンのファミリーから初期基底ハミルトニアンを選択するステップと、
ｃ．パラメータ化標的ハミルトニアンの指標を取得するステップと、
ｄ．第１の停止基準が満たされるまで：
i．現在の基底ハミルトニアンを更新し、
ii．前記現在の基底ハミルトニアンを使用してサンプリング装置を設定し、
iii．前記サンプリング装置を使用して、前記現在の基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得し、
iv．初期パラメータ値を選択し、
v．第２の停止基準が満たされるまで：
１．パラメータ値を更新し、
２．前記パラメータ化標的ハミルトニアンを使用して前記パラメータ値に対応する標的ハミルトニアンの指標を取得し、
３．取得した基底ハミルトニアンによって定められる前記確率分布から取得したサンプルを使用して、前記パラメータ値に対応する標的ハミルトニアン分配関数と現在の基底ハミルトニアン分配関数の比を推定し、
４．前記標的ハミルトニアンの自由エネルギーを推定し、
５．推定比、取得した標的ハミルトニアンによって定められる前記自由エネルギー、及び対応するパラメータ値を提供するステップと、
ｅ．前記パラメータ化標的ハミルトニアンによって定められる自由エネルギーのパラメータ化された負の少なくとも１つの最大値及び少なくとも１つの最大値の引数を推定するステップと、
ｆ．自由エネルギーのパラメータ化された負の少なくとも１つの推定最大値及び少なくとも１つの推定最大値の引数を提供するステップと、を含む、方法。
【0265】
項３
前記基底ハミルトニアンのファミリーが１つの基底ハミルトニアンを含む、項２に記載の方法。
前記基底ハミルトニアンのファミリーが１つの基底ハミルトニアンを含む、項２に記載の方法。
【0266】
項４
前記基底ハミルトニアンのファミリーが、パラメータ化基底ハミルトニアンによって表される、項２に記載の方法。
前記基底ハミルトニアンのファミリーが、パラメータ化基底ハミルトニアンによって表される、項２に記載の方法。
【0267】
項５
前記現在の基底ハミルトニアンが、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して更新される、項２に記載の方法。
前記現在の基底ハミルトニアンが、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して更新される、項２に記載の方法。
【0268】
項６
前記現在の基底ハミルトニアンが、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して更新される、項２に記載の方法。
前記現在の基底ハミルトニアンが、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して更新される、項２に記載の方法。
【0269】
項７
前記現在の基底ハミルトニアンの前記更新が、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム検索及び局所検索からなる群から選択される方法に基づく少なくとも１つの最適化プロトコルを使用して実行される、項２に記載の方法。
前記現在の基底ハミルトニアンの前記更新が、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム検索及び局所検索からなる群から選択される方法に基づく少なくとも１つの最適化プロトコルを使用して実行される、項２に記載の方法。
【0270】
項８
前記パラメータ値の前記更新が、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して実行される、項２に記載の方法。
前記パラメータ値の前記更新が、勾配ベースの方法に基づく少なくとも１つの最適化プロトコルを使用して実行される、項２に記載の方法。
【0271】
項９
前記パラメータ値の前記更新が、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して実行される、項２に記載の方法。
前記パラメータ値の前記更新が、微分不要法に基づく少なくとも１つの最適化プロトコルを使用して実行される、項２に記載の方法。
【0272】
項１０
前記パラメータ値の前記更新が、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム探索及び局所探索からなる群から選択される少なくとも１つの方法に基づく最適化プロトコルを使用して実行される、項２に記載の方法。
前記パラメータ値の前記更新が、勾配降下、確率勾配降下、最急降下、ベイズ最適化、ランダム探索及び局所探索からなる群から選択される少なくとも１つの方法に基づく最適化プロトコルを使用して実行される、項２に記載の方法。
【0273】
項１１
基底ハミルトニアンからのサンプルを使用して、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値及び最大値の引数を推定する方法であって、
基底ハミルトニアンの指標を取得するステップと、
標的ハミルトニアンのファミリーの指標を取得するステップと、
前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
前記標的ハミルトニアンのファミリーを表す標的ハミルトニアンのリストの各標的ハミルトニアンに対して：
前記基底ハミルトニアンによって定められる前記確率分布から取得したサンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定し、
推定比をリストに格納し、
前記推定比の前記リストを使用して、前記標的ハミルトニアンの前記ファミリーによって定められる自由エネルギーの負の少なくとも１つの最大値を推定し、
前記標的ハミルトニアンの前記ファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値を提供するステップと、を含む、方法。
基底ハミルトニアンからのサンプルを使用して、標的ハミルトニアンのファミリーによって定められる自由エネルギーの負の最大値及び最大値の引数を推定する方法であって、
基底ハミルトニアンの指標を取得するステップと、
標的ハミルトニアンのファミリーの指標を取得するステップと、
前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
前記標的ハミルトニアンのファミリーを表す標的ハミルトニアンのリストの各標的ハミルトニアンに対して：
前記基底ハミルトニアンによって定められる前記確率分布から取得したサンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定し、
推定比をリストに格納し、
前記推定比の前記リストを使用して、前記標的ハミルトニアンの前記ファミリーによって定められる自由エネルギーの負の少なくとも１つの最大値を推定し、
前記標的ハミルトニアンの前記ファミリーによって定められる自由エネルギーの負の少なくとも１つの推定最大値を提供するステップと、を含む、方法。
【0274】
項１２
サンプリング装置を使用して、標的ハミルトニアンと基底ハミルトニアンによって定められる２つのモデルのエントロピー間の差を推定する方法であって、
基底ハミルトニアンの指標を取得するステップと、
標的ハミルトニアンの指標を取得するステップと、
前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
取得したサンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定するステップと、
項１の処理ステップｄ．ｉ．１、ｄ．ｉ．２及びｄ．ｉ．３を使用して、前記標的ハミルトニアンに対応するエネルギー観測可能値の期待値を推定するステップと、
前記標的ハミルトニアンに対応する前記エネルギー観測可能値の推定比及び推定期待値を使用して、前記標的ハミルトニアンに対応するエントロピーと前記基底ハミルトニアンに対応するエントロピー間の差を推定するステップと、
前記標的ハミルトニアンに対応するエントロピーと前記基底ハミルトニアンに対応するエントロピー間の推定差を提供するステップと、を含む、方法。
サンプリング装置を使用して、標的ハミルトニアンと基底ハミルトニアンによって定められる２つのモデルのエントロピー間の差を推定する方法であって、
基底ハミルトニアンの指標を取得するステップと、
標的ハミルトニアンの指標を取得するステップと、
前記基底ハミルトニアンを使用してサンプリング装置を設定するステップと、
前記サンプリング装置を使用して、前記基底ハミルトニアンによって定められる確率分布から複数のサンプルを取得するステップと、
取得したサンプルを使用して、標的ハミルトニアン分配関数と基底ハミルトニアン分配関数の比を推定するステップと、
項１の処理ステップｄ．ｉ．１、ｄ．ｉ．２及びｄ．ｉ．３を使用して、前記標的ハミルトニアンに対応するエネルギー観測可能値の期待値を推定するステップと、
前記標的ハミルトニアンに対応する前記エネルギー観測可能値の推定比及び推定期待値を使用して、前記標的ハミルトニアンに対応するエントロピーと前記基底ハミルトニアンに対応するエントロピー間の差を推定するステップと、
前記標的ハミルトニアンに対応するエントロピーと前記基底ハミルトニアンに対応するエントロピー間の推定差を提供するステップと、を含む、方法。
【0275】
項１３
前記観測可能値の前記推定期待値がエネルギー関数期待値を含む、項１に記載の方法。
前記観測可能値の前記推定期待値がエネルギー関数期待値を含む、項１に記載の方法。
【0276】
項１４
前記観測可能値の前記推定期待値がｎ点関数を含む、項１に記載の方法。
前記観測可能値の前記推定期待値がｎ点関数を含む、項１に記載の方法。
【0277】
項１５
前記サンプリング装置が、処理装置に動作可能に結合される量子プロセッサを含み、
さらに、サンプリング装置制御システムが、量子プロセッサ制御システムを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が、処理装置に動作可能に結合される量子プロセッサを含み、
さらに、サンプリング装置制御システムが、量子プロセッサ制御システムを含む、項１～１４のいずれか一項に記載の方法。
【0278】
項１６
前記サンプリング装置が量子コンピュータを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が量子コンピュータを含む、項１～１４のいずれか一項に記載の方法。
【0279】
項１７
前記サンプリング装置が量子アニーラを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が量子アニーラを含む、項１～１４のいずれか一項に記載の方法。
【0280】
項１８
前記サンプリング装置が、ノイズのある中規模量子デバイスを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が、ノイズのある中規模量子デバイスを含む、項１～１４のいずれか一項に記載の方法。
【0281】
項１９
前記サンプリング装置がトラップイオン量子コンピュータを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置がトラップイオン量子コンピュータを含む、項１～１４のいずれか一項に記載の方法。
【0282】
項２０
前記サンプリング装置が、超伝導ベースの量子コンピュータを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が、超伝導ベースの量子コンピュータを含む、項１～１４のいずれか一項に記載の方法。
【0283】
項２１
前記サンプリング装置が、スピンベースの量子ドットコンピュータを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が、スピンベースの量子ドットコンピュータを含む、項１～１４のいずれか一項に記載の方法。
【0284】
項２２
前記サンプリング装置がデジタルアニーラを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置がデジタルアニーラを含む、項１～１４のいずれか一項に記載の方法。
【0285】
項２３
前記サンプリング装置が、集積フォトニックコヒーレントイジングマシンを含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が、集積フォトニックコヒーレントイジングマシンを含む、項１～１４のいずれか一項に記載の方法。
【0286】
項２４
前記サンプリング装置が、処理装置に動作可能に結合されるとともに、光エネルギー源からエネルギーを受け取って複数の光パラメトリック発振器を生成するように構成される光コンピューティング装置と、各々が複数の光パラメトリック発振器を制御可能に結合する複数の結合装置と、を含む、項１～１４のいずれか一項に記載の方法。
前記サンプリング装置が、処理装置に動作可能に結合されるとともに、光エネルギー源からエネルギーを受け取って複数の光パラメトリック発振器を生成するように構成される光コンピューティング装置と、各々が複数の光パラメトリック発振器を制御可能に結合する複数の結合装置と、を含む、項１～１４のいずれか一項に記載の方法。
【0287】
項２５
前記観測可能値の前記推定期待値を関数近似器として使用するステップをさらに含む、項１に記載の方法。
前記観測可能値の前記推定期待値を関数近似器として使用するステップをさらに含む、項１に記載の方法。
【0288】
項２６
前記自由エネルギーを関数近似器として使用するステップをさらに含む、項２～１１のいずれか一項に記載の方法。
前記自由エネルギーを関数近似器として使用するステップをさらに含む、項２～１１のいずれか一項に記載の方法。
【0289】
項２７
ハミルトニアンの熱力学的特性を推定するステップと、前記熱力学的特性を関数近似器として使用するステップと、をさらに含む、項１に記載の方法。
ハミルトニアンの熱力学的特性を推定するステップと、前記熱力学的特性を関数近似器として使用するステップと、をさらに含む、項１に記載の方法。
【0290】
項２８
強化学習フレームワークにおけるトレーニング手順に対する項１～２７のいずれか一項に記載の方法の使用方法であって、前記強化学習フレームワークは、
（ｉ）少なくとも１つの効用関数の最適化を追求するエージェントと、
（ｉｉ）状態及び瞬時報酬を含む環境と、
（ｉｉｉ）行動を含む前記環境と前記エージェントとの相互作用と、を含み、
前記瞬時報酬は前記少なくとも１つの効用関数に寄与し、
前記使用方法は、前記少なくとも１つの効用関数を近似するステップと、提供される状態に対応する前記少なくとも１つの効用関数を最大化する行動を推定するステップと、を含む、使用方法。
強化学習フレームワークにおけるトレーニング手順に対する項１～２７のいずれか一項に記載の方法の使用方法であって、前記強化学習フレームワークは、
（ｉ）少なくとも１つの効用関数の最適化を追求するエージェントと、
（ｉｉ）状態及び瞬時報酬を含む環境と、
（ｉｉｉ）行動を含む前記環境と前記エージェントとの相互作用と、を含み、
前記瞬時報酬は前記少なくとも１つの効用関数に寄与し、
前記使用方法は、前記少なくとも１つの効用関数を近似するステップと、提供される状態に対応する前記少なくとも１つの効用関数を最大化する行動を推定するステップと、を含む、使用方法。
【0291】
項２９
前記少なくとも１つの効用関数が、価値関数、Ｑ関数及び一般化利点推定器からなる群から選択される、項２８に記載の使用方法。
前記少なくとも１つの効用関数が、価値関数、Ｑ関数及び一般化利点推定器からなる群から選択される、項２８に記載の使用方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
