知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-28
(54)【発明の名称】双安定抵抗結合システム
(51)【国際特許分類】
G06N 3/065 20230101AFI20240321BHJP
【ＦＩ】
G06N3/065
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023563208
(86)(22)【出願日】2022-04-15
(85)【翻訳文提出日】2023-11-14
(86)【国際出願番号】 US2022025001
(87)【国際公開番号】W WO2022221652
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】63/176,247
(32)【優先日】2021-04-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】508144129
【氏名又は名称】ユニバーシティ オブ ロチェスター
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100202740
【弁理士】
【氏名又は名称】増山 樹
(72)【発明者】
【氏名】マイケル ホアン
(72)【発明者】
【氏名】ジェリコ イグニャトビク
(72)【発明者】
【氏名】リチャード アフォアクワ
(72)【発明者】
【氏名】ウダイ クマール レディ ベンガラム
(72)【発明者】
【氏名】イーチアオ チャン
(57)【要約】
双安定抵抗結合システムは、複数の可視ノードと、複数の隠れノードと、複数の可視ノードのうちのある可視ノードと複数の隠れノードのうちのある隠れノードとにそれぞれ電気的に接続された複数の結合素子とを含み、複数の結合素子のそれぞれは、プログラマブル抵抗器を含む。また、ネットワーク内の第１及び第２ノードの結合装置、ならびに双安定抵抗結合システムの訓練方法も記載されている。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
双安定抵抗結合システムであって、複数の可視ノードと、
複数の隠れノードと、
前記複数の可視ノードのうちのある可視ノードと前記複数の隠れノードのうちのある隠れノードとにそれぞれ電気的に接続された複数の結合素子と、を含み、
前記複数の結合素子のそれぞれは、プログラマブル抵抗器を含む、双安定抵抗結合システム。
【請求項2】
前記複数の結合素子のそれぞれは、２つのプログラマブル抵抗器を含む、請求項１に記載のシステム。
【請求項3】
各プログラマブル抵抗器は、ソース、ゲート及びドレインを有する電界効果トランジスタを含み、前記ソースと前記ゲートとの間にゲートキャパシタが接続される、請求項１または２に記載のシステム。
【請求項4】
前記複数の結合素子のそれぞれは、オーバフロー信号及びアンダーフロー信号を有するアナログカウンタを含み、前記オーバフロー信号は、前記プログラマブル抵抗器の値を増加させるように構成されており、前記アンダーフロー信号は、前記プログラマブル抵抗器の前記値を減少させるように構成される、請求項１～３のいずれか１項に記載のシステム。
【請求項5】
前記複数の可視ノードまたは前記複数の隠れノードのうちの少なくとも１つのノードはシグモイド素子を含み、前記シグモイド素子は、入力、出力、及び前記出力とコモンモード基準との間に接続された負荷抵抗器を有するインバータを含む、請求項１～４のいずれか１項に記載のシステム。
【請求項6】
前記複数の可視ノードまたは前記複数の隠れノードのうちの少なくとも１つのノードは、ランダムノイズ発生器を含み、前記ランダムノイズ発生器は、出力を有する２進乱数発生器と、前記出力に接続されたローパスフィルタとを含む、請求項１～５のいずれか１項に記載のシステム。
【請求項7】
第１の入力及び第２の入力を有するコンパレータをさらに含み、前記第１の入力はシグモイド素子の出力に接続され、前記第２の入力は前記２進乱数発生器のフィルタリングされた出力に接続される、請求項６に記載のシステム。
【請求項8】
前記複数の可視ノードまたは前記複数の隠れノードのうちの少なくとも１つのノードは、キャパシタと、前記キャパシタの両端の電圧を双安定とするように構成される、前記キャパシタの両端に接続されたフィードバックユニットとを含む、請求項１～７のいずれか１項に記載のシステム。
【請求項9】
前記複数の可視ノードまたは前記複数の隠れノードのうちの少なくとも１つのノードは、バッファを含む、請求項１～８のいずれか１項に記載のシステム。
【請求項10】
ネットワーク内の第１及び第２のノードを接続するための結合装置であって、反転入力及び非反転入力と、
ドレイン、ゲート、及びソースをそれぞれ有する第１及び第２の電界効果トランジスタであって、前記第１の電界効果トランジスタの前記ドレインは前記非反転入力に接続され、前記第２の電界効果トランジスタの前記ドレインは前記反転入力に接続されている、前記第１及び第２の電界効果トランジスタと、
前記第１及び前記第２の電界効果トランジスタの前記ゲートと前記ソースの間にそれぞれ接続された第１及び第２のゲートキャパシタと、
前記第１及び前記第２の電界効果トランジスタの前記ソースに接続された合計出力と、
前記第１及び前記第２の電界効果トランジスタの前記ゲートに接続された電圧調整素子であって、制御信号に応答して前記第１及び前記第２の電界効果トランジスタの前記ゲートの電圧を調整するように構成された前記電圧調整素子と、を含む、結合装置。
【請求項11】
前記電圧調整素子は、アナログカウンタを含む、請求項１０に記載の結合装置。
【請求項12】
前記第１または前記第２の電界効果トランジスタの前記ゲートに切り替え可能に接続された少なくとも１つの電流源をさらに含む、請求項１０～１１のいずれか１項に記載の結合装置。
【請求項13】
４つの電流源をさらに含み、１つの電流源は、前記第１及び前記第２の電界効果トランジスタの前記ゲートのそれぞれに切り替え可能に接続され、かつ正電圧またはグラウンドに接続される、請求項１０～１２のいずれか１項に記載の結合装置。
【請求項14】
前記電圧調整素子は、前記第１及び前記第２のゲートキャパシタの電荷量を増加または減少させるように構成された前記アナログカウンタのオーバフロー出力及びアンダーフロー出力をさらに含む、請求項１１に記載の結合装置。
【請求項15】
前記第１及び前記第２の電界効果トランジスタは、Ｎチャネル電界効果トランジスタである、請求項１０～１４のいずれか１項に記載の結合装置。
【請求項16】
双安定抵抗結合システムの訓練方法であって、前記双安定抵抗結合システム内の重み付け要素のセット及びバイアス要素のセットを初期化することと、
前記双安定抵抗結合システムの可視ノードのセットを第１の初期値セットに初期化することと、
前記可視ノードのセットを前記第１の初期値セットに一定期間でクランプし、隠れノードのセットを第１の隠れ値セットに落ち着かせることと、
前記第１の初期値セットと前記第１の隠れ値セットとの積に基づいて、少なくとも１つの重み付け要素のカウンタを増加させることと、
前記双安定抵抗結合システムの隠れノードのセットを、隠れ値のテーブルから選択されたランダムな値のセットに初期化することと、
可視ノードと隠れノードを第２の一定期間でアニールすることと、
前記可視ノード及び前記隠れノードのアニールされた値に基づいて、少なくとも１つの重み付け要素の前記カウンタを減少させることと、
前記少なくとも１つの重み付け要素の前記カウンタがオーバフローまたはアンダーフローした場合に、前記少なくとも１つの重み付け要素の重み付け値を増加または減少させることと、
前記可視ノードのセットを初期化するステップから、プログラム可能な数の学習ステップを繰り返すことと、を含む、訓練方法。
【請求項17】
前記隠れノードのセットを初期化するために使用される値のセットは、前のアニーリングステップからの対応する隠れ値のセットから取得される、請求項１６に記載の方法。
【請求項18】
少なくとも１つのアナログ／デジタル変換器を使用して、前記システムから結合値を読み取るステップをさらに含む、請求項１６に記載の方法。
【請求項19】
前記一定期間は、１ナノ秒以下の範囲である、請求項１６～１７のいずれか１項に記載の方法。
【請求項20】
前記第２の一定期間が、１ナノ秒以下の範囲である、請求項１６～１８のいずれか１項に記載の方法。
【請求項21】
前記隠れノードの前記アニールされた値を、アニール後の前記隠れ値のテーブルの中に格納するステップをさらに含む、請求項１６～１９のいずれか１項に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
関連出願の相互参照
本出願は、２０２１年４月１７日に出願された米国仮特許出願第６３／１７６，２４７号に対する優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年４月１７日に出願された米国仮特許出願第６３／１７６，２４７号に対する優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
【0002】
微分方程式を解いたり、ランダムサンプリングを行ったり等、自然界は常に多くの計算を行っていることが明らかである。例えば、トランジスタは、自然法則に基づいてオン／オフが可能であり、今日のほとんどのコンピュータの基礎となっている。しかし、これらの法則の使用は、例えば問題全体を解決するために、自然の計算能力をより高いレベルで利用することとは異なっている。実際、非常に強力なアルゴリズムのいくつかは、自然から着想を得ている。計算基板が自然を基礎とする場合には、その問題をフォンノイマンインタフェースにマッピングするよりも迅速かつ効率的に特定の問題集合を解くために使用可能であることは想像に難くない。このような努力の中で、最近急速な進歩を遂げているのがイジングマシンである。
【0003】
簡単に言えば、イジングマシンは自然を利用して、結合されたスピンのシステムのための低エネルギ状態を探す。さまざまな問題（実際には、すべてのＮＰ完全問題）は、イジング式の等価最適化問題として表すことができる。既存のイジングマシンは、その大部分がプロトタイプ及びコンセプトの形態にあるが、最適化問題に対する著しく良好な性能及びエネルギ効率の見込みを既に示している。しかし、これらのシステムの真の魅力は、将来的な可能性にある。第一に、設計反復により、それらの計算能力及び効率は改善し続ける。第二に、新規のハードウェアにより、アルゴリズム（特に自然から着想を得たもの）の設計は、ハードウェアと共に進化し、問題解決のモダリティをより豊かに組み合わせることになる。
【0004】
イジングモデルは、スピンが結合したシステムのハミルトニアンを記述するために用いられる。スピンは１つの自由度を有し、２つの値（＋１、－１）のうちのいずれかを取る。当該システムのエネルギは、スピンの対結合（Ｊij）と、各スピンに対する何らかの外部場（μ）の相互作用（ｈi）との関数である。結果として得られるハミルトニアンを以下の式１に示す。
【数1】
【0005】
そのようなハミルトニアンを有する物理システムは、当然ながら低エネルギ状態の方に傾向がある。あたかも自然が目的関数として式１を用いて最適化問題を解こうとしているかのようであるが、これは決して簡単なことではない。実際、状態空間のカーディナリティはスピンの数によって指数関数的に増加し、最適化問題はＮＰ完全であり、これは、ＮＰ完全問題の元のリストの一部である、一般化された最大カット問題と容易に変換可能である。
【0006】
したがって、スピンの物理的なシステムが何らかの形でプログラム可能な結合パラメータ（式１のＪijとμｈi）を提供する場合、これは、イジング式（式１）で表すことができる最適化問題を解決するための専用コンピュータとして使用することができる。実際には、Ｋａｒｐ ＮＰ完全集合に含まれるすべての問題は、それらのイジング式が導出される。さらに、問題が既にＱＵＢＯ（ｑｕａｄｒａｔｉｃ ｕｎｃｏｎｓｔｒａｉｎｅｄ ｂｉｎａｒｙ ｏｐｔｉｍｉｚａｔｉｏｎ：二次制約なしバイナリ最適化）式を有している場合、イジング式へのマッピングは、スピンにビットを置換するのと同じくらい簡単であり、即ち、σi＝２ｂi－１となる。
【0007】
イジング式にマッピングし得る問題が多岐にわたるため、これらの問題を解決する自然ベースの計算システムの構築は大きな注目を集めている。大まかに言えば、イジングマシンの設計は４つのステップを経る。
【0008】
１）スピンを表す物理変数（量子ビット、光パルスの位相、またはキャパシタの電圧の極性など）を特定する。
【0009】
２）結合のメカニズムと、係数をどのようにプログラムするかを特定する。
【0010】
３）問題解決能力を、その動作理論（自然の「見えざる手」を明らかにする）と満足のいく実践結果の両方で実証する。
【0011】
４）優れた機械指標（解決時間、エネルギ消費量、及び構築コスト）を実証する。
【0012】
重要なのは、異なるアプローチが異なる基本的なトレードオフを提供し得ること、またさまざまな形成（ｇｅｓｔａｔｉｏｎ）速度を経る可能性があることである。したがって、観察されたプロトタイプの事例に基づいて一般的なアプローチを評価することは時期尚早である。
【0013】
最も早く、おそらく最もよく知られているイジングマシンのいくつかは、Ｄ－Ｗａｖｅによって販売されている量子アニーラである。量子アニーリング（ＱＡ）は、断熱性要件を緩和するという点で、断熱量子計算（ＡＱＣ）とは異なる。ＱＡは技術的にはサブセットとしてＡＱＣを含むが、現在のＤ－Ｗａｖｅシステムは断熱的ではないため、理論的に基底状態に到達する保証はない。基底状態の保証がなければ、量子ビットのイジング物理学は、代替のものよりも他の既知の利点を有さない。量子デバイスを使ってスピンを表すことは、おそらく最適ではないと主張できる。第一に、これらのデバイスは、ノイズに対してはるかに敏感であるため、多くの電力を消費する極低温動作条件（Ｄ－Ｗａｖｅ ２０００ｑでは２５ＫＷ）を必要とする。第二に、多数の量子ビットを結合させることは、他のスピンに比べて困難である可能性があり、これは、現在の機械がローカル結合ネットワークを使用する理由を説明している。その結果、一般的なグラフのトポロジの場合、これらのローカル結合マシンに必要とされるノード数が二次関数的に増加し、Ｄ－Ｗａｖｅ ２０００ｑ上の公称２０００ノードは、約６４個の有効ノードのみに相当する。
【0014】
コヒーレントイジングマシン（ＣＩＭ）は、いくつかの問題に対処する第２世代設計として考えることができる。Ｔ．Ｉｎａｇａｋｉ ｅｔ ａｌ．（Ｓｃｉｅｎｃｅ，ｖｏｌ．３５４，ｎｏ．６３１２，ｐｐ．６０３－６０６，２０１６）では、２０００ノードすべてが相互に結合可能であり、現在最も強力なイジングマシンであると思われる。ＣＩＭは、特別な光パルスをスピンとして使用するため、室温下で動作することができ、消費電力はわずか２００Ｗ程度である。しかし、パルスは長さ１ｋｍの光ファイバに収めなければならず、該システムでは厳しい温度安定性が要求されるため、何スピンも安定した動作状態を維持するのは困難である。
【0015】
ＣＩＭの動作原理は蔵本モデルによって観察できるので、理論的には他の発振器を用いても同様の目標を達成できる。これにより、第３世代といえる電子発振器ベースのイジングマシン（ＯＩＭ）が数多く開発された。これらのシステムは、スピンにＬＣタンクを使用し、結合ユニットとして（プログラム可能な）抵抗を使用する。これらの電子発振器ベースのイジングマシンは、機械指標の観点から、以前の設計よりも大幅に改善されている。確かに、それらの正確な電力消費及び動作速度は、選択された正確なインダクタンス及び容量に依存するため、桁違いの範囲にわたる可能性がある。ただし、電力消費が１～１０Ｗ程度のデスクトップサイズを実現することは困難ではなく、これは、電力消費が２００Ｗ～２５ｋＷのキャビネットサイズの機械よりも大幅に改善される。しかしながら、オンチップ・インテグレーションでは、インダクタはしばしば実用上の課題の原因となる。これらは、面積集約型であり、品質係数の低下や位相ノイズの増加といった望ましくない寄生性を有し、そのすべてが、数千のオンチップ発振器の間で周波数の均一性と位相の同期性を維持する際に実用上の課題を引き起こす。
【0016】
異なるアーキテクチャを有する別の電子設計は、双安定抵抗結合イジングマシン（Ｂｉｓｔａｂｌｅ Ｒｅｓｉｓｔｉｖｅｌｙ－ｃｏｕｐｌｅｄ Ｉｓｉｎｇ Ｍａｃｈｉｎｅ、ＢＲＩＭ）である。ＢＲＩＭでは、スピンは、フィードバック回路によって制御されるキャパシタ電圧として実装され、双安定になっている。この設計はＣＭＯＳ互換であり、（位相ではなく）電圧を使用してスピンを表すため、計算タスク用の付加的なアーキテクチャサポートに対する簡単なインタフェースが可能となる。したがって、本明細書で開示されたシステムは、ＢＲＩＭと同様のベースライン基板を使用する。ここで説明されるのと同じ原理が、グルーロジックの量が異なるすべてのイジングマシンに直接的に適用できることに留意されたい。ＢＲＩＭシステムに関するより詳細な情報は、２０２１年４月１６日に出願された国際出願第ＰＣＴ／ＵＳ２０２１／０７０４０２号に見出すことができ、その内容全体が参照により本明細書に組み込まれる。
【0017】
エネルギの概念は、従来の最適化アルゴリズムだけでなく、エネルギーベースモデル（ＥＢＭ）と総称される数多くの機械学習アルゴリズムにも使用されている。システムは、通常、２組の変数ＸとＹで構成される（具体的な例として、Ｘが画像のピクセルを表し、Ｙが画像を分類するブール変数を表す）。状態のエネルギであるＥ（Ｘ，Ｙ）が低い場合、その分類は良好である。多くのモデルでは、エネルギはイジング式に類似している。例えば、よく知られているボルツマンマシンのモデルでは、２組の変数の間の区別が無視され、各変数がσiと称される場合、エネルギはイジングモデルに相当する。
【数2】
【0018】
推論にボルツマンマシンを使用する場合、システムもイジングマシンの使用と同様であるが、重要な違いを伴う。いずれの場合にも、重み（Ｗij）はシステムに入力され、出力は低エネルギの状態（σi）となる。その違いは、変数／スピンの意味に由来する。ボルツマンマシンでは、スピンは、可視ユニット及び隠れユニットと呼ばれる２組の変数を含む。推論の間、可視ユニットは入力（例えば、画像）に「クランプ」され、隠れユニットのみが低エネルギ状態の検索において変化することが許される。
【0019】
重みが問題定式化の一部である最適化問題とは異なり、ＥＢＭでは、重みの最適なセットを得るために訓練が必要である。多くの機械学習アルゴリズムと同様に、これは、訓練サンプルのセットを反復している間、損失関数を下げる勾配降下法を使用することによって行われる。ここで強調すべき重要な点は、このような勾配降下アルゴリズムにおける主要な課題は、多くの場合、計算が困難な項を含み、近似アルゴリズムを必要とすることである。ここでも、自然計算基板は、一般的なフォンノイマンアルゴリズムに忠実に従う必要なく、その基板にとって便利または効率的なアプローチを可能にする。
【0020】
本開示では、訓練においても推論においても、多くの異なる方法でＥＢＭを加速するのに役立つ物理的イジングマシンが示されている。この目的のために、フォンノイマンアーキテクチャに高度に最適化されたアルゴリズムとして広く使用されている制限付きボルツマンマシン（ＲＢＭ）と呼ばれるボルツマンマシンの特殊なケースを選択した。ＲＢＭ（及びその多層バリアント）は、専門学習及び教師なし学習に応用されている。例示的なＲＢＭを図１に示す。
【0021】
ＲＢＭは、図１に示すように、可視ノード１０１と隠れノード１０２との間の接続のみを有し、２つの可視ノードの間または２つの隠れノードの間の接続は有さない。その結果、エネルギ関数が式３に示される。
式中、Ｗi,jは可視ユニットｖiと隠れユニットｈjとの間の結合重みであり、
及び
は、対応する可視ユニット及び隠れユニットのバイアスである。
【数3】
【数4】
【数5】
【0022】
他のニューラルネットワークと同様に、ＲＢＭは多層構成に積み重ねてディープネットワークを形成することができる。具体的には、２つの一般的なバリアントは、ディープビリーフネットワーク（ＤＢＮ）とディープボルツマンマシン（ＤＢＭ）である。これらのバリアントと、より単純なＲＢＭとの間には微妙な違いがある。わかりやすくするため、本開示ではＲＢＭに焦点を当て、複数の層を積み重ねる場合は従来のアプローチに従う。
【発明の概要】
【0023】
一態様では、双安定抵抗結合システムは、複数の可視ノードと、複数の隠れノードと、複数の可視ノードのうちのある可視ノードと複数の隠れノードのうちのある隠れノードとにそれぞれ電気的に接続された複数の結合素子とを含み、複数の結合素子のそれぞれは、プログラマブル抵抗器を含む。一実施形態では、複数の結合素子のそれぞれは、２つのプログラマブル抵抗器を含む。一実施形態では、各プログラマブル抵抗器は、ソース、ゲート及びドレインを有する電界効果トランジスタを含み、ソースとゲートとの間にゲートキャパシタが接続される。一実施形態では、複数の結合素子のそれぞれは、オーバフロー信号及びアンダーフロー信号を有するアナログカウンタを含み、オーバフロー信号は、プログラマブル抵抗器の値を増加させるように構成されており、アンダーフロー信号は、プログラマブル抵抗器の値を減少させるように構成される。
【0024】
一実施形態では、複数の可視ノードまたは複数の隠れノードのうちの少なくとも１つのノードはシグモイド素子を含み、該シグモイド素子は、入力、出力、及び出力とコモンモード基準との間に接続された負荷抵抗器を有するインバータを含む。一実施形態では、複数の可視ノードまたは複数の隠れノードのうちの少なくとも１つのノードは、ランダムノイズ発生器を含み、該ランダムノイズ発生器は、出力を有する２進乱数発生器と、出力に接続されたローパスフィルタとを含む。
【0025】
一実施形態では、このシステムは、第１の入力及び第２の入力を有するコンパレータをさらに含み、第１の入力はシグモイド素子の出力に接続され、第２の入力は２進乱数発生器のフィルタリングされた出力に接続される。一実施形態では、複数の可視ノードまたは複数の隠れノードのうちの少なくとも１つのノードは、キャパシタと、キャパシタ両端の電圧を双安定とするように構成される、キャパシタ両端に接続されたフィードバックユニットとを含む。一実施形態では、複数の可視ノードまたは複数の隠れノードのうちの少なくとも１つのノードは、バッファを含む。
【0026】
一態様では、ネットワーク内の第１及び第２のノードを接続するための結合装置は、反転入力及び非反転入力と、ドレイン、ゲート、及びソースをそれぞれ有する第１及び第２の電界効果トランジスタであって、第１の電界効果トランジスタのドレインは非反転入力に接続され、第２の電界効果トランジスタのドレインは反転入力に接続されている、該第１及び第２の電界効果トランジスタと、第１及び第２の電界効果トランジスタのゲートとソースの間にそれぞれ接続された第１及び第２のゲートキャパシタと、第１及び第２の電界効果トランジスタのソースに接続された合計出力と、第１及び第２の電界効果トランジスタのゲートに接続された電圧調整素子であって、制御信号に応答して第１及び第２の電界効果トランジスタのゲート電圧を調整するように構成された該電圧調整素子と、を含む。
【0027】
一実施形態では、電圧調整素子はアナログカウンタを含む。一実施形態では、当該装置は、第１または第２の電界効果トランジスタのゲートに切り替え可能に接続された少なくとも１つの電流源をさらに含む。一実施形態では、当該装置はさらに４つの電流源を含み、１つの電流源は、第１及び第２の電界効果トランジスタの各ゲートに切り替え可能に接続され、かつ正電圧またはグラウンドに接続される。一実施形態では、電圧調整素子は、第１及び第２のゲートキャパシタの電荷量を増加または減少させるように構成されたアナログカウンタのオーバフロー出力及びアンダーフロー出力をさらに含む。一実施形態では、第１及び第２の電界効果トランジスタは、Ｎチャネル電界効果トランジスタである。
【0028】
一態様では、双安定抵抗結合システムの訓練方法は、双安定抵抗結合システム内の重み付け要素のセット及びバイアス要素のセットを初期化することと、双安定抵抗結合システムの可視ノードのセットを第１の初期値セットに初期化することと、可視ノードのセットを第１の初期値セットに一定期間でクランプし、隠れノードのセットを第１の隠れ値セットに落ち着かせることと、第１の初期値セットと第１の隠れ値セットとの積に基づいて、少なくとも１つの重み付け要素のカウンタを増加させることと、双安定抵抗結合システムの隠れノードのセットを、隠れ値のテーブルから選択されたランダムな値のセットに初期化することと、可視ノードと隠れノードを第２の一定期間でアニールすることと、可視ノード及び隠れノードのアニールされた値に基づいて、少なくとも１つの重み付け要素のカウンタを減少させることと、少なくとも１つの重み付け要素のカウンタがオーバフローまたはアンダーフローした場合に、少なくとも１つの重み付け要素の重み付け値を増加または減少させることと、可視ノードのセットを初期化するステップから、プログラム可能な数の学習ステップを繰り返すことと、を含む。
【0029】
一実施形態では、隠れノードのセットを初期化するために使用される値のセットは、前のアニーリングステップからの対応する隠れ値のセットから取得される。一実施形態では、本方法は、少なくとも１つのアナログ／デジタル変換器を使用して、システムから結合値を読み取るステップをさらに含む。一実施形態では、一定期間は、１ナノ秒以下の範囲である。一実施形態では、第２の一定期間は、１ナノ秒以下の範囲である。一実施形態では、本方法は、隠れノードのアニールされた値を、アニール後の隠れ値のテーブルの中に格納するステップをさらに含む。
【0030】
前述の目的及び特徴、ならびに他の目的及び特徴は、以下の説明及び添付の図面を参照することにより明らかになる。これらの図面は、本発明の理解を提供するために含まれ、本明細書の一部を構成するものであり、同様の数字は同様の要素を表す。
【図面の簡単な説明】
【0031】
【図1】制限付きボルツマンマシンである。
【図2】プログラマブル抵抗結合及びプログラミングロジックを備えた双安定容量ノードを示す例示的な高レベルＢＲＩＭ実装である。
【図3】ノードバイアスを駆動するクランプユニット、結合メッシュ、及びプログラミングロジックを備えた、可視ノード及び隠れノードを示す高レベルＲＢＭ実装の図である。
【図4】ＲＢＭ訓練のための擬似コード対比発散アルゴリズムである。
【図5】ＢＲＩＭのエネルギ状態の分布を示すグラフである。
【図6】機械が勾配に従っている複雑な設計のアーキテクチャ図である。
【図7】ノードの高レベルブロック図である。
【図8】例示的なノードの特定の回路要素の詳細図である。
【図9】例示的な結合ユニットである。
【図10】画像のバッチサイズが５００の場合、異なるＲＢＭを訓練するためのＴＰＵとギブスサンプラに対するボルツマンサンプラの高速化を示すグラフである。
【図11】画像のバッチサイズが５００の場合、ボルツマンサンプラで正規化されたさまざまなベンチマークにおけるＴＰＵ及びギブスサンプラのエネルギ消費を示すグラフである。
【図12】従来のアルゴリズム（ＣＤ－１及びＣＤ－１０）と、ボルツマン勾配フォロワ（ＢＧＦ）に使用される開示された修正アルゴリズムの平均対数確率を示すグラフである。
【図13A】従来のアルゴリズム（ＣＤ－１及びＣＤ－１０）と、ボルツマン勾配フォロワ（ＢＧＦ）に使用される開示された修正アルゴリズムの平均対数確率を示すグラフである。
【図13B】従来のアルゴリズム（ＣＤ－１及びＣＤ－１０）と、ボルツマン勾配フォロワ（ＢＧＦ）に使用される開示された修正アルゴリズムの平均対数確率を示すグラフである。
【図13C】従来のアルゴリズム（ＣＤ－１及びＣＤ－１０）と、ボルツマン勾配フォロワ（ＢＧＦ）に使用される開示された修正アルゴリズムの平均対数確率を示すグラフである。
【図13D】従来のアルゴリズム（ＣＤ－１及びＣＤ－１０）と、ボルツマン勾配フォロワ（ＢＧＦ）に使用される開示された修正アルゴリズムの平均対数確率を示すグラフである。
【図14A】注入されたノイズ量及び変動量を変化させた場合の、異なるモデルの平均対数確率の移動平均を示すグラフである。データは、１０点の移動平均を使用して平滑化される。
【図14B】注入されたノイズ量及び変動量を変化させた場合の、異なるモデルの平均対数確率の移動平均を示すグラフである。データは、１０点の移動平均を使用して平滑化される。
【図14C】注入されたノイズ量及び変動量を変化させた場合の、異なるモデルの平均対数確率の移動平均を示すグラフである。データは、１０点の移動平均を使用して平滑化される。
【図14D】注入されたノイズ量及び変動量を変化させた場合の、異なるモデルの平均対数確率の移動平均を示すグラフである。データは、１０点の移動平均を使用して平滑化される。
【図15A】注入されたノイズ量及び変動量を変化させた場合の、異なるモデルの平均絶対誤差（ＭＡＥ）を示すグラフである。最終ＭＡＥ範囲は０．７７１～０．７６５である。
【図15B】注入されたノイズ量及び変動量を変化させた場合の、異なるモデルのＲｏｃ曲線を示すグラフである。最終ＡＵＣ範囲は０．９６４～０．９６７である。
【図16】ＣＤ及びＢＧＦの訓練結果のグラウンドトゥルースに対するＫＬダイバージェンスの累積確率分布を示す。
【発明を実施するための形態】
【0032】
本発明の図面及び説明は、本発明の明確な理解に関連する要素を図示するために簡略化されているが、明確化のために、関連するシステム及び方法に見られる他の多くの要素を省略していることを理解されたい。当業者であれば、本発明を実施する際に他の要素及び／またはステップが望ましいかつ／または必要であると認識することができる。しかしながら、そのような要素及びステップは、当該技術分野で良く知られており、また本発明のより良い理解を促進するものではないため、そのような要素及びステップについての説明は本明細書では提供されない。本明細書の開示は、当業者に公知のこのような要素及び方法に対するすべての変動及び修正を対象とする。
【0033】
別途定義されない限り、本明細書で使用されるすべての技術用語及び科学用語は、本発明が属する当業者が一般に理解する意味と同一の意味を有する。本明細書に記載のものと同様もしくは同等の任意の方法及び物質が本発明の実施または試験において使用され得るが、例示的な方法及び材料は、以下に記載される。
【0034】
本明細書で使用される場合、次の用語のそれぞれは、この節においてそれに関連付けられた意味を有する。
【0035】
本明細書で使用される場合、冠詞「ａ」及び「ａｎ」は、冠詞の文法上の目的語のうちの１つまたは複数（すなわち、少なくとも１つ）を言う。例として、「（ａｎ）要素」は、１つ以上の要素を意味する。
【0036】
本明細書では、量、時間的持続時間などの測定可能な値に言及する際に使用される「約」は、そのような変動が適切であるとして、特定の値から±２０％、±１０％、±５％、±１％、及び±０．１％の変動を包含することを意味する。
【0037】
本開示を通じて、本発明の様々な態様を範囲形式で表すことができる。範囲形式の記述は、単に便宜及び簡略化のためのものであり、本発明の範囲に対する柔軟性のない制限と解釈されるべきではないことを理解されたい。したがって、範囲の記述は、可能なすべてのより狭い範囲及びその範囲内の個々の数値を具体的に開示したものとみなされるべきである。例えば、１～６などの範囲の記述は、１～３、１～４、１～５、２～４、２～６、３～６などといったより狭い範囲、ならびに該範囲に含まれる個々の数値、例えば１、２、２．７、３、４、５、５．３、６ならびにその間の全体的及び部分的な増分を具体的に開示したものとみなされるべきである。これは、範囲の幅に関係なく適用される。
【0038】
一態様では、本明細書で開示されるのは、付加的なアーキテクチャサポートの基礎となるイジングマシン基板である。本開示は、機械学習アプリケーションにおける訓練と推論との両方に適した新しいクラスの拡張イジングマシンを提供する。
【0039】
いくつかのイジングマシンは、最適化問題でより優れた性能及びエネルギ効率を既に示している。ハードウェアとアルゴリズムとの間の設計反復及び共進化を通して、自然ベースの計算システムからより多くの利点が期待される。開示された装置の一実施形態は、エネルギーベースの機械学習アルゴリズムを用いた訓練と推論との両方に適した拡張イジングマシンである。一実施形態では、イジング基板は、アルゴリズムの重要な部分を加速し、重要なスピードアップ及び効率向上を達成する。いくつかの実施形態では、より大幅な変更により、機械は、ハードウェア内で実質的に訓練を完了する自給自足の勾配フォロワとなる。これにより、ＴＰＵホストと比較して、約２９倍のスピードアップと、約１０００倍のエネルギ消費削減を実現することができる。
【0040】
本開示の一実施形態では、エネルギーベースの機械学習システムの訓練ステップは、機械のノードを接続する各結合ユニットにプログラマブル抵抗素子を使用することによって集積回路において実施され、ここで、抵抗要素の抵抗値は、実質的な部分が単一の結合ユニット専用のチップ面積の境界内に配置された電子回路を利用することにより、訓練プロセス中に格納、制御及び更新される。そうすることでエネルギが節約され、チップ全体の面積が減り、訓練速度が速くなる。本発明の他の実施形態では、単一ビット出力を連続時間アナログフィルタでローパスフィルタリングした乱数発生器を用いて、所定範囲に渡るランダムなアナログ値を生成し、ノード電圧の確率分布のランダムサンプリングを実現する。本発明の他の実施形態では、物理的イジングマシンの軌跡を利用して、（準）ボルツマン分布に従うネイチャーランダムサンプルを生成する。これにより、マルコフ連鎖モンテカルロアルゴリズム全体を結合ユニットの制御回路に効率よく埋め込むことができる。
【0041】
イジングマシン基板
本明細書で開示されるように、いくつかの物理的基板は、自然を利用してイジング式の最適化を実行することができる。原則として、機械学習アルゴリズムを加速する目的で、このような任意の基板を使用することができる。本明細書では、本明細書中でＢＲＩＭと称される集積電子設計を用いたこのようなシステムの１つが開示される。図２は、ＢＲＩＭアーキテクチャの高レベル図を示す。
本明細書で開示されるように、いくつかの物理的基板は、自然を利用してイジング式の最適化を実行することができる。原則として、機械学習アルゴリズムを加速する目的で、このような任意の基板を使用することができる。本明細書では、本明細書中でＢＲＩＭと称される集積電子設計を用いたこのようなシステムの１つが開示される。図２は、ＢＲＩＭアーキテクチャの高レベル図を示す。
【0042】
図２に示したアーキテクチャは、例えば、プログラマブル抵抗結合２０２を備えた双安定容量ノード２０１、２０４と、それに付随するプログラミングロジック２０３を示している。各対のノード（例えばノード２０１及び２０４）の間には、１つの双方向結合ユニット２０２が示されており、その結果、上三角形結合ネットワークが得られる。いくつかの実装形態では、結合ユニットは、２つの単方向部分から構成され、対称ネットワークを形成し得る。いくつかの実施形態では、プログラミングロジックは、例えば、結合素子に提供される値を格納するように構成された１つ以上のメモリ要素２０６を含み得る。いくつかの実施形態では、複数の結合ユニット、例えば結合ユニットの列全体は、所定のサイクルでプログラムする結合ユニットの１つ以上を選択するように構成されたマルチプレクサ２０７を介して、同じプログラミング構成回路に接続されてもよい。いくつかの実施形態では、プログラミングロジック２０３は、１つ以上のデジタル／アナログ変換器を含むことができ、例えば、結合ユニット２０２の構成で使用するために、メモリ２０６にビットストリングとして格納されたアナログ値を読み出すためのものである。
【0043】
図示の機械では、各ノード２０１，２０４は、キャパシタと、キャパシタを双安定（１または－１）にするフィードバックユニットとを含む。いくつかの実施形態では、可視ノードまたは隠れノードにおけるノードキャパシタは、１０～１００フェムトファラッド（ｆＦ）、または１～１０ｆＦ、または１～５０ｆＦ、または約５０ｆＦの範囲内の容量を有することができる。全対全プログラマブル抵抗器（例えば２０２）のメッシュは、システムが最適化しようとしているイジング式を表すのに役立つ。動的システムとして扱われる場合、ノード電圧を支配する微分方程式にリアプノフ解析を適用することができる。イジングエネルギーランドスケープの極小値はすべて、システムの安定状態であることが示される。より簡単に言えば、与えられた初期状態から開始して、結合ノードのこのシステムは、コントローラからの明示的なガイダンスなしに、極小値を探索する。いくつかの実施形態では、追加的なアニーリング制御を使用して、ランダムな「スピンフリップ」を注入することにより、極小値を回避する。これは、シミュレートされたアニーリングの際に、ゼロでない確率でエネルギが低い状態を受け入れることに類似する。
【0044】
ＲＢＭでは、ノードが二部グラフに分離される。このような特別なグラフの場合、イジングマシン基板のためのアーキテクチャを少し変更して、結合ネットワークの２つのエッジにノードを持つようにすることができる。図３を参照すると、この構造では、可視ノード（例えば３０１）は隠れノード（例えば３０２）にのみ結合され得る。このレイアウトは、すべてのノード間の接続を可能にするものと比較して、スペース効率を著しく改善する。具体的な例として、ある開示されたベンチマークでは、７８４個の可視ノード（２８×２８ピクセル）及び５００個の隠れノードを用いる。一般的な全対全イジング基材にそれらをマッピングするには、４倍多くの結合ユニット（（７８４＋５００）２ｖｓ７８４×５００）が必要となる。
【0045】
最後に、ＲＢＭアルゴリズムの動作をサポートするために、イジングマシンのノードを拡張することができる。訓練及び推論の両方において、可視ノードまたは隠れノードを特定の値にクランプすることが一般的である。いくつかの実施形態では、装置は、本明細書で詳述されるようなプロセスの特定のフェーズ中に隠れノード（例えば３０２）及び／または可視ノード（例えば３０１）の値を保持するように構成されたクランプユニット３０３をさらに含み得る。一実施形態では、クランプユニット３０３は、アナログ電圧出力（複数可）がクランプされるノード（複数可）のノーダルキャパシタに接続される１つ以上のデジタル／アナログ変換器（ＤＡＣ）を用いて実装することができる。一実施形態では、クランプユニットは、キャパシタ電圧を接地電圧または電源電圧のいずれかにクランプする１ビットＤＡＣのセットを有する。１つの重要な詳細は、可視ノードへの入力が、いくつかの実施形態ではマルチビット値であることである。このような実装では、マルチビットのデジタル／アナログ変換器及び／またはアナログ／デジタル変換器が必要とされる場合がある。ベースラインのイジングマシンでは、必要な結合ユニットの数がＮ２（Ｎはノードの数）に比例するため、面積の大部分が結合ユニットに割り当てられる。よって、個々のノードの構造を変更しても、システムの複雑さ及びチップ面積に与える影響はほとんどない。
いくつかの実施形態では、システムは、バイアス値を保持する１つ以上の追加の結合ユニット、例えば図３の結合ユニット３０４ａ及び３０４ｂを含み得る。例えば、以下の方程式４において、
は、ｊｔｈ番目の隠れノードに対するバイアス値であり、描かれた実施形態では、追加の結合ユニットとして実装される。一実施形態では、追加の結合ユニットは、例えばパワーレール電圧（例えば１Ｖ、３．３Ｖ、５Ｖ）とｊｔｈ番目の隠れノードの合計ユニットの入力との間に接続された
に抵抗が比例するプログラマブル抵抗器を含む。得られた電流は、可視ノードｖiからの入力電流に加算され、ｊｔｈ番目の隠れノードの最終状態が決定される。
いくつかの実施形態では、システムは、バイアス値を保持する１つ以上の追加の結合ユニット、例えば図３の結合ユニット３０４ａ及び３０４ｂを含み得る。例えば、以下の方程式４において、
【数6】
【数7】
【0046】
ギブスサンプラアーキテクチャ
ＲＢＭアクセラレータの１つのバリアントは、より従来的であり、単純にイジング基板を活用して、ハードウェアに自然に適合したソフトウェアアルゴリズムの一部分を加速する。便宜上、当該のアクセラレータ設計は、図４に示す従来のギブスサンプリングベースのアルゴリズムに従うので、本明細書ではギブスサンプラと称する。
ＲＢＭアクセラレータの１つのバリアントは、より従来的であり、単純にイジング基板を活用して、ハードウェアに自然に適合したソフトウェアアルゴリズムの一部分を加速する。便宜上、当該のアクセラレータ設計は、図４に示す従来のギブスサンプリングベースのアルゴリズムに従うので、本明細書ではギブスサンプラと称する。
【0047】
図４のアルゴリズムに示すように、訓練ループ（７行目から１８行目）には、ｖpos、ｈposとｖneg、ｈnegの繰り返し計算が含まれる。一言で言えば、アルゴリズムは確率的勾配降下法であり、訓練ループはすべての重みＷijについて確率的勾配を計算している。いわゆる正相（８、９行目）では、訓練サンプルｖposが可視ノードにクランプされ、隠れノードｈposの対応するサンプルが以下の条件付き確率式に基づいて生成され、
ここで、σ（ｘ）はロジスティック関数である。
【数8】
【数9】
【0048】
【0049】
そこから、更新された可視ノードは投影し戻され、更新された隠れノードが生成され、マルコフ連鎖モンテカルロ（ＭＣＭＣ）アルゴリズムの１つの完全なステップが形成される。原則として、ＭＣＭＣアルゴリズムでこのようなステップを行うことで、サンプリングがかなり悪くなる。実際には、コストとサンプリングの品質とのバランスを取るために、少数のｋステップが選択される。このようなｋステップの対比発散アルゴリズムは、しばしばＣＤ－ｋと称される。
【0050】
学習ステップごとに、現在の重み行列［Ｗij］M×Nは、各ユニットＲijにおける抵抗が次の式に比例するように結合アレイにプログラムされる。
【数11】
【0051】
このステップは、単体のイジングマシンで最適化式をプログラミングするのと類似している。ノード（例えば可視）の１組がさらに固定値にクランプされる場合、各結合ユニットは、可視ノードの電圧をプログラマブル結合ユニットの抵抗で除算したものに等しい電流を生成し、これは、行列の対応する重みを乗算することに等しい。したがって、各隠れノードは、列全体の電流の合計を参照する。このように使用することで、結合アレイは効率的にベクトルと行列の乗算演算を生成する。
【0052】
この段階では、得られた電流を読み出すのではなく、ロジスティック関数の作用を生じさせる非線形回路に電流を流す。実際には、適切に構成された場合、単純なインバータは、この関数を優良に近似させることができる。最後に、ロジスティック関数の出力は、ノードが１である確率である。これは、比較的簡単な回路、すなわち疑似ランダム電圧レベルが供給される他方の入力端を備えたコンパレータによって支援することもできる。高レベルの構成ブロック図は図８に示されており、以下に回路実装の詳細を説明する。
【0053】
いくつかの実施形態では、記載されたアーキテクチャサポートにより、図４のアルゴリズムの訓練ループの多くがハードウェアにオフロードされる。残りの動作は、いくつかの実施形態では、ＴＰＵなどのデジタル機能ユニット上で実行されてもよいが、他の実施形態では、本明細書で開示されたハードウェア実装が、図４のアルゴリズムのすべての機能を実行してもよい。１つの例示的な動作シーケンスは、以下の通りである。
【0054】
１）ＴＰＵを初期化する。
【0055】
２）ランダム結合行列とイジング基板へのバイアスをプログラミングする。
【0056】
３）可視ユニットを訓練サンプル（ｖpos）にクランプする。
【0057】
４）イジング基板の動作が終了した後に隠れユニット（ｈpos）を読み取る。
【0058】
５）隠れユニットと可視ユニットを交互にクランプして、反対側のサンプルを生成することにより、ギブスサンプリングのｋステップを実行する。
【0059】
６）可視ユニット（ｖneg）と隠れユニット（ｈneg）から最終値を読み出す。
【0060】
７）（ＴＰＵ上で）新たな結合行列及びバイアスを計算する。
【0061】
８）後続の学習ステップについて、ステップ２から繰り返す。
【0062】
ボルツマン勾配フォロワアーキテクチャ
上述したシステムは、デジタルユニットを改良したものである。しかしながら、これは主に、近似アナログ実装による効率向上によってもたらされる。アルゴリズム全体が一部の自然プロセスを活用できる場合には、自然ベースの計算システムの利点がはるかに大きくなることが多い。そのためには、アルゴリズムの意図をより深く理解する必要がある。
上述したシステムは、デジタルユニットを改良したものである。しかしながら、これは主に、近似アナログ実装による効率向上によってもたらされる。アルゴリズム全体が一部の自然プロセスを活用できる場合には、自然ベースの計算システムの利点がはるかに大きくなることが多い。そのためには、アルゴリズムの意図をより深く理解する必要がある。
【0063】
ＲＢＭでは、確率分布モデルで訓練データを捕捉することが目標である。確率は、ボルツマン分布（名称の由来）のように、ある状態のエネルギに指数関数的に関係する。
【数12】
【0064】
明らかに、これらの確率を合計して１にする必要があり、したがって、特定の状態（ｖ、ｈ）の確率に関する式は以下の通りである。
【数13】
【0065】
訓練データを「捕捉」することは、機械のモデル（重み及びバイアス）が、すべてのＴ個の訓練サンプルの確率を最大化することを意味する。換言すれば、
を最大化し、ここで、ｖ（ｔ）はｔｔｈ番目の訓練サンプルであり、または同等に対数確率の和
を最大化する。
に注意されたい。確率はパラメータ（結合重みとバイアス）の関数であるため、各パラメータの勾配に従う。結合パラメータに関して、勾配は次の通りである。
【数14】
【数15】
【数16】
【数17】
【0066】
表記を明確するために、勾配に対する１つの訓練サンプル（ｕ＝ｖ（ｔ））の寄与のみが用いられ、焦点は分子の最初の部分にある。
【数18】
【0067】
ここで、＜・＞dataという表記は、データに対する期待値を意味し、すなわち、データを一定（ｕ）に保ち、すべての可能なｈにわたって平均化することを意味する。
【0068】
同じステップに続いて、勾配の第２の部分
は以下である。
【数19】
【数20】
【0069】
ここで、＜・＞modelという表記は、現在のモデル（結合パラメータ及びバイアス）によって与えられる状態空間全体に対する期待値を意味する。
【0070】
図示されているように、任意のパラメータの勾配を計算するためには、多数の状態の期待値を計算する必要があり、非実用的である。一般的な解決策は、ＭＣＭＣアルゴリズム（例えば、ＣＤ－ｋ）であり、これはイジング定式化問題を解決する際のシミュレートされたアニーリングと全く同様である。実際には、両方のケースにおいて、マルコフ連鎖は時間不均質である。
【0071】
イジングマシン基板は、特別なマルコフ連鎖と見なすために使用することができ、実質的に状態空間の一種のサンプリングを行う。図５は、開示されたイジング基板が訪れる状態のエネルギの累積分布と、同じエネルギのセットに対するボルツマン分布のフィット曲線を示す。この一致は、このイジング基材がボルツマンサンプラと考えられることを示唆している。このようなサンプラを使用し、負相のサンプル（図４のアルゴリズムの１１～１４行目）を生成して、モデル期待値＜ｖnegｈneg＞を計算することができる。
【0072】
イジング基板は、何らかの初期条件に初期化されると、システムの支配的な微分方程式及びアニーリング制御の両方によって指示されるエネルギ地形をトラバースするように進む。これは状態空間を「サンプリング」する効果を有し、ＣＤ－ｋのアルゴリズムによるランダムウォークよりも優れたサンプルがほぼ間違いなく生成される。しかし、サンプルの生成は、ホストコンピューターが通常アクセスし、後処理して期待値を得られるよりもはるかに速い。したがって、本明細書で開示されるのは、より直接的なアプローチであり、ここで、サンプリングされた期待値（＜ｖiｈj＞dataまたは＜ｖiｈj＞model）は、ホストを介さずに、イジング基板内部のモデルパラメータ（例えば、Ｗij）に直接加算または減算される。
【0073】
ＣＤ－ｋアルゴリズムでは、蓄積は以下のように表現され、ここで、＜・＞sはサンプルｓの集合に対する期待値を示す。
【数21】
【0074】
ここで、期待値は、パラメータを次の値に更新するために使用される前に、（例えば、ｎ＝１００）サンプルのミニバッチにわたって蓄積される。ｎの選択は、通常、利便性及びある程度の試行錯誤の問題である。実装の便宜上、サンプルは異なるミニバッチ構成で蓄積され、純粋なデジタルカウンタは開示された結合ユニットよりも著しく大きく、消費電力も大きくなる。幸いなことに、このようなカウンタは、ノイズによって引き起こされるエラーと引き換えに、掛かる面積及びエネルギがはるかに少ないアナログ回路を使用して作製することができる。いくつかの実施形態では、アナログアップダウンカウンタが使用される。任意の増加または減少がカウンタに作用し、カウンタがオーバフローまたはアンダーフローした場合にのみ、適切なキャパシタを充電または放電することによってＷijを実際に調整する。
【0075】
要約すると、開示された設計の一実施形態の正味の結果は、固定のミニバッチサイズを使用する代わりに、開示された機械が可変のミニバッチサイズを有効に使用することである。ミニバッチはデータに依存するため、パラメータごとに異なる。さらに、カウンタの回路実装は、勾配の確率的サンプリングに起因するノイズに加えて、効果的なノイズを追加する。すべての非理想性は、システムの評価時に忠実にモデル化される。ここで、開示された学習アルゴリズムがバイアスのかかった推定量を生成するか否かについて、細かい指摘ができる。経験分析によると、推定バイアスは最終的な精度測定には影響を与えないように思われる。実際には、いくつかの実施形態では、開示された修正は、一般的に使用されているアルゴリズムからのバイアスを低減すると思われる。これについては、以下の実験例＃２でさらに詳しく説明する。
【0076】
負相サンプルの場合、ｐ個の独立したランダムウォークを可能にするために、隠れユニット（ｈ（ｋ）、ｋ＝１．．ｐ）に対してｐ個の異なる初期条件が使用される。これらは、しばしばｐ粒子と呼ばれる。各正相の後、粒子の１つ（例えば、ｈ（３））がロードされ、イジングマシンのアニーリングが実行される（フォンノイマンアルゴリズムのランダムウォークに相当）。いくつかの実施形態では、アニーリング時間は、５ｎｓ未満、４ｎｓ未満、３ｎｓ未満、２ｎｓ未満、１ｎｓ未満、５００ｐｓ未満、約１ｎｓまたは任意の他の適切な範囲である。次に、ｖnegｈnegのサンプルが取られ、得られた隠れユニットの値が、ロードされたｐ粒子（この場合はｈ（３））の位置に戻って格納される。いくつかの実施形態では、結果を異なる位置に格納することができ、例えば、異なるｐ粒子の位置、または既存のｐ粒子とは異なる位置に格納することができる。
【0077】
パラメータは、設定可能な抵抗器のコンダクタンスによって物理的に表される。抵抗器は、可変のゲート／ソース電圧を有するトランジスタによって実装される。パラメータの増減は、ゲート電圧を上昇または下降させることによって達成することができる。このことは、実効ゲートキャパシタに接続された充放電回路を短時間オンにすることによって実現できる。これは、回路素子に複数の非線形性の問題があるため、考えているほど容易ではないことが判明する。その結果、値が０に近い場合、勾配降下がより遅くなる。開示された機械の全体的な有効性に影響を及ぼさないが、いくつかの実施形態では、この問題が大幅に軽減されるような、わずかに関係するバージョンが使用される（詳細は後述）。
【0078】
最後に、ここで全体の学習が（拡張）イジング基板内で行われるため、結合ユニットはより大きく、より複雑になる。さらに、訓練された結果は、学習プロセスの最後に読み出される必要があるため、コストと表面積が高い追加のアナログ／デジタル変換器（ＡＤＣ）が必要となる。それにもかかわらず、それらは、アルゴリズムの最後に１回だけ使用される。
【0079】
要するに、このアーキテクチャは、いくつかの重要な新たな回路と、動作アルゴリズムに対する小さな修正とを必要としているが、これは、従来のソフトウェア実装の意図を実行するものである。本明細書で実証されるように、重要なノイズを考慮しても、結果として得られる品質はソフトウェア実装と変わらない。
【0080】
図６は、開示されたボルツマン勾配フォロワアーキテクチャの一実施形態を示す。重要な付加部分は、結合ユニット（例えば６０１）であり、そこで、重みとして機能するプログラマブル抵抗器６０２を適切な位置に調整することができる。これは、プログラマブル抵抗器として機能するトランジスタのゲート電圧を調整する、制御された充放電パルスによって達成される。このアーキテクチャでは、デジタル（ホスト）コンピュータは、主に、システムのセットアップ、固定周波数でのデータの供給、最終的な結果の読み取りなど、より多くの周辺的な役割を担っている。この動作は、以下のように記述され得る。
【0081】
１）重み及びバイアスを初期化する。（いくつかの実施形態では、重みは小さなランダム値に初期化される。これは、確かにハードウェア自体によって実装することができる。しかしながら、プログラム可能な初期条件は、特別な目的（例えば、研究）のために役立つ場合がある。
【0082】
２）次いで、ホストは、可視ユニットのラッチに訓練サンプルを送信する。
【0083】
３）機械はデータをクランプし、隠れユニットが落ち着くまで所定の時間（例えば、１ｎｓ以下）待機する。
【0084】
４）得られたサンプル（ｖposｈpos）は、Ｗijのカウンタを増加するために使用される。例えば、ｖposとｈposの両方が１の場合、カウンタＷijは定数値だけ増加される。
【0085】
５）その後、機械はｐ個の粒子のうちの１つをロードし、例えば１ｎｓ以下のアニーリング処理を開始する。
【0086】
６）アニーリング後、得られたサンプル（ｖnegｈneg）はＷijのアナログカウンタを減少するために使用される。例えば、ｖnegとｈnegの両方が１の場合、カウンタＷijは定数値だけ減少される。したがって、カウンタの増加または減少は、ｖとｈの積が１に等しい場合にのみ生じ、そうでなければカウンタは増加または減少されない。増分または減分は、学習率に依存する。
【0087】
７）いずれかのカウンタがオーバフローまたはアンダーフローすると、充放電回路が作動してＷijを固定量だけ増加または減少し、（アナログ）カウンタはリセットされる。
【0088】
８）ステップ（２～７）のプロセスが、プログラム可能な数の学習ステップについて繰り返される。その後、ＡＤＣは、結合電圧を１列ずつ読み出す。
【0089】
回路
ベースラインのイジング基板を実装するために必要な回路に加えて、ＲＢＭアルゴリズムに従って確率的にするためにノードに追加回路が必要であり、その回路を図７にまとめた。具体的には、電流加算回路、シグモイド関数及び乱数発生器である。最後に、ボルツマン勾配フォロワアーキテクチャには、結合ユニットが必要とされる。いずれも詳細は後述する。
ベースラインのイジング基板を実装するために必要な回路に加えて、ＲＢＭアルゴリズムに従って確率的にするためにノードに追加回路が必要であり、その回路を図７にまとめた。具体的には、電流加算回路、シグモイド関数及び乱数発生器である。最後に、ボルツマン勾配フォロワアーキテクチャには、結合ユニットが必要とされる。いずれも詳細は後述する。
【0090】
電流加算回路７０１は、重畳しない２つのクロック位相（φ及びφ’）で実行される。リセット段階（φ’）の間、隠れノードキャパシタ７１１と、可視ノードを隠れノードｈjに接続する列バスとの両方が、ＶCM＝Ｖdd／２にプリチャージされる。後続の積分段階（φ）の間、キャパシタ７１１は列バスに接続され、固定時間間隔ｔint（例えば、５ｎｓ以下、４ｎｓ以下、３ｎｓ以下、２ｎｓ以下、１ｎｓ以下、５００ｐｓ以下など）の間ですべての電流を積分し、
に等しい出力電圧を生成し、シグモイドユニット７０２に送信する。
【数22】
【0091】
一般に、シグモイド関数は単調であり、ベル形の一次導関数を有している。同様の特性を示す最も簡単な回路は、図８にシグモイドユニット７０２の詳細図に示すように、インバータである。シグモイドユニットとしてインバータを使用する前に、いくつかの問題に対処する必要がある。第１に、ロジックゲートとして使用される典型的なインバータの伝達関数は、３つの別個の領域（すなわち、電力レールに近い２つの三極管領域と、インバータの閾値付近の高ゲインに起因する中央の急峻な領域）で構成されるが、シグモイド関数は、典型的にはより滑らかな伝達関数を有する。トランジスタのチャネル長を増加させ、出力に負荷抵抗器８０１を追加することで達成できるゲインを低減し、それによって、インバータの伝達関数をシグモイド関数により近づけることができる。さまざまな実施形態では、負荷抵抗器８０１は、例えば３ｋΩ～３０ＧΩ、または３ｋΩ～１００ｋΩ、または３ｋΩ～１ΜΩ、または１ΜΩ～１００ΜΩ、または１ΜΩ～１ＧΩ、または１ＧΩ～３０ＧΩ、または任意の他の適切な範囲の抵抗を有することができる。
【0092】
第２の問題は、インバータの伝達関数が、一般的なシグモイド関数の垂直反転画像であることで、これは後段で追加の反転を導入することで軽減される。一例として、図８の素子８０２に示すように、反転コンパレータを使用することでこの影響を軽減することができる。
【0093】
電子デバイスから発生する熱ノイズは、ランダム性を生成するために使用され得る。図８の素子８０３に示す回路は、乱数発生器（ＲＮＧ）の一種であり、その動作は以下の通りである。φが低いとき、ノードＡ（８３１）とノードＢ（８３２）は、準安定点であるＶddに引き上げられる。φが高くなると、回路は評価段階に入り、両ノードがインバータのスイッチング点に向かって放電し、この時点での大きなゲインがノードＡまたはＢの一方をＶddに引き込み、他方は示差熱ノイズの符号に応じてグラウンドに引き下げられる。ＲＮＧ回路自体は、バイナリランダムシーケンス（すなわち、出力はＶddまたは０のいずれか）を生成するため、シグモイド関数の出力で確率的サンプリングを達成するのに直接適していない。しかし、ＲＮＧ８０３の出力におけるバイナリランダムシーケンスは、図８に示すように、ＲＣローパスフィルタ８０４を適用することによって、０からＶddまで一様に分布するホワイトノイズに容易に変換される。その後、得られたホワイトノイズは、標準的なダイナミックコンパレータ８０２でシグモイド関数の出力と比較され、確率的サンプリングが実現される。さまざまな実施形態では、ローパスフィルタ８０４は、５ＧＨｚ未満、２ＧＨｚ未満、１ＧＨｚ未満、５００ＭＨｚ未満、１００ＭＨｚ未満の通過帯域または任意の他の適切な通過帯域を有することができる。
【0094】
図９を参照すると、２つのプログラマブル抵抗器（
及び
）と、４つの電流源（９０１ａ、９０１ｂ、９０１ｃ、及び９０１ｄ）と、２段８ビットのアナログカウンタ９０２とを含む例示的な結合ユニットが示される。ＲＢＭの正負両方の重みを表すために、２つのプログラマブル抵抗器が使用されている。図９における
は実際の入力を表し、
は
を表す。
と
は常に逆方向に更新され、すなわち
がデルタ分だけ増加したら、
がデルタ分だけ減少することに留意されたい。
【数23】
【数24】
【数25】
【数26】
【数27】
【数28】
【数29】
【数30】
【数31】
【0095】
これは、１対の対角電流源（例えば、９０１ａと９０１ｄ）のみをオンにすることで達成される。初期化段階では、プログラミングロジック（図３を参照）のデジタル／時間変換器（ＤＴＣ）は、ゲートキャパシタを充電することによって、
及び
のゲート電圧をランダムな値に設定し、これはランダム重みに変換される。状態のサンプリング中、図７に示すように、ノードＸで
と
の電流が合計され、その後サンプリングされる。いくつかの実施形態では、アナログカウンタ９０２は、２つのカスケード接続された４ビット段で構成される。カウンタは、ｖiｈj値に基づいて、正相の間に増加され、負相の間に減少される。図中のφ1とφ2は、それぞれアナログカウンタのオーバフロー信号とアンダーフロー信号を表し、これらは、
と
のゲート容量の充電（または放電）に使用される。重みに加えるべきデルタの量は、学習率に依存する。したがって、オーバフロー信号またはアンダーフロー信号のパルス幅を変更することによって、ゲート容量への注入が必要な電荷量を制御することが可能となる。このようにして、重みを更新することができる。
【数32】
【数33】
【数34】
【数35】
【数36】
【数37】
【実施例】
【0096】
実験例
以下の実験例を参照して、本発明をさらに詳細に説明する。これらの実施例は、例示説明の目的で提供されるにすぎず、別途明記されない限り、限定することを意図するものではない。したがって、本発明は、以下の実施例に限定されるものとは何ら解釈されるべきものではなく、本明細書で提供される教示の結果として明らかになる任意かつすべての変動を包含すると解釈されるべきである。
以下の実験例を参照して、本発明をさらに詳細に説明する。これらの実施例は、例示説明の目的で提供されるにすぎず、別途明記されない限り、限定することを意図するものではない。したがって、本発明は、以下の実施例に限定されるものとは何ら解釈されるべきものではなく、本明細書で提供される教示の結果として明らかになる任意かつすべての変動を包含すると解釈されるべきである。
【0097】
これ以上の説明は省略するが、当業者であれば、前述の説明及び以下の例示を使用して、本発明のシステム及び方法を製造し、利用することができると考えられる。したがって、以下の実施例は、本発明の例示的な実施形態を具体的に示すものであり、いかなる意味においても本開示の残りの部分を制限するものとして解釈されるべきではない。
【0098】
開示されたＥＢＭ用拡張イジング基板の特性をよりよく理解するため、開示された設計と、ＴＰＵを用いた実装との間でさまざまな指標を比較した。結果を見るときに、進化的な観点が必要であることは注目に値する。デジタル数値アーキテクチャと自然ベースの計算システムの双方が進化する。設計の改善により、それらの指標に大きな変化を引き起こすことができる。さらに重要なことは、２つのグループの境界線は不鮮明になり続け、相互に影響を与え合うことは非常に意図された結果である。
【0099】
以下の実験例では、ベンチマークＲＢＭとＤＢＮモデルを含む実験設定について説明し、次に、エネルギ効率とスループットの観点から、ＴＰＵと開示されたアナログ設計のノイズレスモデルとの定量的比較を示し、最後に、システムの挙動を理解するのに役立ついくつかの詳細な分析を紹介する。
【0100】
実験＃１－実験設定
考察したシステムを評価するために、システムを、画像分類、推奨システム及び異常検出などのさまざまなアプリケーションで訓練した。画像分類には、手書き画像（ＭＮＩＳＴ）、日本語の文字（ＫＭＮＩＳＴ）、ファッション画像（ＦＭＮＩＳＴ）、拡張手書きアルファベット画像（ＥＭＮＩＳＴ）、カラー画像（ＣＩＦＡＲ１０）、及び玩具のデータセット（ＳｍａｌｌＮｏｒｂ）を含むさまざまなデータセットを使用した。画像は、２８×２８グレースケール（ＮＩＳＴ）～９６×９６グレースケール（ＳｍａｌｌＮｏｒｂ）、及び３２×３２カラー（ＣＩＦＡＲ１０）の範囲である。ＲＢＭとＤＢＮアルゴリズムが使用して、すべてのＮＩＳＴデータセットを訓練し、またＣＩＦＡＲ１０とＳｍａｌｌＮｏｒｂデータセットには畳み込みＲＢＭアルゴリズムを使用した。ＲＢＭを推奨システム及び異常検出器として訓練するために、それぞれ１００ｋのＭｏｖｉｅＬｅｎｓデータセット及び「Ｅｕｒｏｐｅａｎ Ｃｒｅｄｉｔ Ｃａｒｄ Ｆｒａｕｄ Ｄｅｔｅｃｔｉｏｎ」データセットを使用した。これらのモデルを訓練するために使用された学習率は０．１であり、ＲＢＭ及びＤＢＮ構成のサイズを表１に示す。ＲＢＭは教師なしモデルであるため、訓練の品質を定量化する１つの方法は、アニールされた重要度サンプリングを用いて測定可能な訓練サンプルの平均対数確率である。また、画像分類のためのロジスティック回帰層を最後に使用した分類精度、テストデータ及び推奨システムのための投影データの平均絶対誤差（ＭＡＥ）、ならびに異常検出のための受信機動作特性（ＲＯＣ）曲線下の面積など、いくつかの一般的な指標も報告されている。
考察したシステムを評価するために、システムを、画像分類、推奨システム及び異常検出などのさまざまなアプリケーションで訓練した。画像分類には、手書き画像（ＭＮＩＳＴ）、日本語の文字（ＫＭＮＩＳＴ）、ファッション画像（ＦＭＮＩＳＴ）、拡張手書きアルファベット画像（ＥＭＮＩＳＴ）、カラー画像（ＣＩＦＡＲ１０）、及び玩具のデータセット（ＳｍａｌｌＮｏｒｂ）を含むさまざまなデータセットを使用した。画像は、２８×２８グレースケール（ＮＩＳＴ）～９６×９６グレースケール（ＳｍａｌｌＮｏｒｂ）、及び３２×３２カラー（ＣＩＦＡＲ１０）の範囲である。ＲＢＭとＤＢＮアルゴリズムが使用して、すべてのＮＩＳＴデータセットを訓練し、またＣＩＦＡＲ１０とＳｍａｌｌＮｏｒｂデータセットには畳み込みＲＢＭアルゴリズムを使用した。ＲＢＭを推奨システム及び異常検出器として訓練するために、それぞれ１００ｋのＭｏｖｉｅＬｅｎｓデータセット及び「Ｅｕｒｏｐｅａｎ Ｃｒｅｄｉｔ Ｃａｒｄ Ｆｒａｕｄ Ｄｅｔｅｃｔｉｏｎ」データセットを使用した。これらのモデルを訓練するために使用された学習率は０．１であり、ＲＢＭ及びＤＢＮ構成のサイズを表１に示す。ＲＢＭは教師なしモデルであるため、訓練の品質を定量化する１つの方法は、アニールされた重要度サンプリングを用いて測定可能な訓練サンプルの平均対数確率である。また、画像分類のためのロジスティック回帰層を最後に使用した分類精度、テストデータ及び推奨システムのための投影データの平均絶対誤差（ＭＡＥ）、ならびに異常検出のための受信機動作特性（ＲＯＣ）曲線下の面積など、いくつかの一般的な指標も報告されている。
【表1】
【0101】
開示された設計のモデリングは比較的簡単である。システムは、セットの中で最大の問題に適合するのに十分なノードを有すると想定される。したがって、実行時間は、反復回数と反復ごとのサイクル数との積である。開示されたハードウェアシステム上で実行されないものは、ベースラインと同じＴＰＵを含むと想定されるホストマシン上で実行される。
【0102】
多くの変数が関与し、すべてのパラメータが正確に推定されていると装うことは欺瞞的であるため、開示されたシステムの一次分析が望まれる。大まかに言えば、報告された結果は一桁以内の正確さであるべきだと考えられる。言い換えれば、正確な設計に従った実際の実装が、約３倍超の良好な結果、または３倍超の悪い結果を引き起こす可能性が極めて低い。すべてのパラメータが同じ幅の信頼領域を有するわけではない。実行時間は、例えば、単純に繰り返し反復の結果であるため厳しい制約を有し、回路は確実に、比較的控え目なサイクル時間を満たすように設計され得る。面積及び電力（特に、ＤＴＣなどの、開示された設計用にカスタマイズされていない要素）には、それなりに大きな設計空間があるため、使用される数値が、現在の既製品で選択され得た指標の最良の推定値に過ぎない。トランジスタのサイズは、ノイズを適度なレベルに保つために決定されている。このような研究の最大の懸念事項は、提案されたシステムが間違いなく機能するか否かである。最大の未知数は、本明細書においていくつかの感度分析が提供されるノイズの集合的な影響である。
【0103】
実行速度
まず、ギブスサンプラとボルツマン勾配フォロワ（ＢＧＦ）の２つの提案アーキテクチャの実行速度を比較する。ギブスサンプラ及びＢＧＦの動作周波数は１ＧＨｚである。比較のために、ＴＰＵ（ｖ１）をベースラインとして使用する。ＴＰＵは、７００ＭＨｚのクロック周波数で８ビットの固定ポイント動作を実行するようにモデル化された。開示されたデジタル制御についても同じ周波数を想定した。
まず、ギブスサンプラとボルツマン勾配フォロワ（ＢＧＦ）の２つの提案アーキテクチャの実行速度を比較する。ギブスサンプラ及びＢＧＦの動作周波数は１ＧＨｚである。比較のために、ＴＰＵ（ｖ１）をベースラインとして使用する。ＴＰＵは、７００ＭＨｚのクロック周波数で８ビットの固定ポイント動作を実行するようにモデル化された。開示されたデジタル制御についても同じ周波数を想定した。
【0104】
図１０は、異なるベンチマークのスピードアップのグラフを示す。図示されているように、大規模なネットワークでは、ハードウェアの大部分が利用され、速度の利点が増大する。当然ながら、問題が単一のチップでマッピングできる範囲よりも大きい場合には、マルチチップソリューションが必要となるか、または計算の一部が、ホスト上など他の場所で実行する必要がある。これらの実施例で使用されたデータセットは、すべて小さいダイの内部に快適に収まる。したがって、この実施例では、シングルチップ分析だけに焦点を当てる。
【0105】
全体として、一次近似では、ギブスサンプラまたはボルツマン勾配フォロワをＴＰＵアレイに追加すると、面積はわずかに増加するが、速度は幾何学的平均で２倍（ギブス）または２９倍（ＢＧＦ）向上する。
【0106】
エネルギ及び面積
次に、より不確実性の高いエネルギ消費について検討した。システム全体の結果の推定を議論する前に、以下では、簡略化した第一原理分析を出発点として使用する。
次に、より不確実性の高いエネルギ消費について検討した。システム全体の結果の推定を議論する前に、以下では、簡略化した第一原理分析を出発点として使用する。
【0107】
イジング基板の基本効率の主な源は、多くのアルゴリズムが自然を模倣しているのに対し、開示されたハードウェアは、その自然を直接具現化することである。例えば、ＭＣＭＣの典型的なステップでは、１つのノードを反転させるには、約Ｏ（Ｎ）の乗算累積（ＭＡＣ）演算に続いて何らかの確率サンプリングが必要となる。確率サンプリングを無視すると、各ＭＡＣ演算のコストは、ｐＪほどとなる。論じられた問題では、Ｎ≒１０００。したがって、このような反転には、従来のデジタル計算を用いてｎＪほどの反転が必要とされる。対照的に、ＢＲＩＭでは、ノードを反転させるには、ノードキャパシタに充放電を行う電流の分散ネットワークが必要である。ノードキャパシタが５０ｆＦほど、電圧が約１Ｖである場合、ノードの反転は５０ｆＪほどとなる。したがって、イジング基板は、従来の計算基板と比較して約４桁も効率が高くなる可能性がある。
【0108】
システム全体に関して言えば、エネルギ節約は、上記の簡単な分析に含まれていない複数の要因に依存している。電力／エネルギの推定を得るために、Ｇｅｎｅｒｉｃ Ｐｒｏｃｅｓｓ Ｄｅｓｉｇｎ Ｋｉｔ（ＧＰＤＫ０４５）を使用して、Ｃａｄｅｎｃｅ ４５ｎｍで回路を設計した。これは、この分析のために設計キットが利用可能であった最新の技術である。ＴＰＵユニットにより消費される面積及び電力は、２８ｎｍ技術を採用しているＸ．Ｈｅ，ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３４ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ，２０２０，ｐｐ．１－１２から得られた。
【0109】
技術の違いを考慮することで、図１１に示すように、異なるベンチマークのエネルギ消費を比較することができる。すべてのエネルギ結果を、ボルツマン勾配フォロワのエネルギ結果に正規化した。図１１は、画像のバッチサイズが５００の場合、ボルツマンサンプラで正規化されたさまざまなベンチマークにおけるＴＰＵ実装及びギブスサンプラのエネルギ消費を示す。
【0110】
開示されたアクセラレータは、アルゴリズムによって規定されるデジタルのＴＰＵ演算よりも実行される効果的な演算において、より効率的である。全体として、開示されたアクセラレータにより、約１０００倍の改善が示された。
【0111】
定性的には２つ取り上げておく価値がある。一方では、デジタル回路はまだ改善の余地があり、より効率的な設計により動作あたりのコストをさらに削減できる。他方では、開示されたボルツマン勾配フォロワアーキテクチャで行われる短いランダムウォークの種類は、アーキテクチャの最も効率的な使用ではない。さらなるアルゴリズムの革新により、開示された及び類似の自然に基づくシステムの能力を十分に活用するアプリケーションを見出すことができる。
【0112】
次に、チップ面積を推定した。ここでも、技術の違いを考慮すると、これも直接的な比較ではない。それにもかかわらず、ベースラインの２８ｎｍのＴＰＵは約３３０ｍｍ２、その２４％がＭＡＣアレイである。比較として、ＢＧＦとそのビルディングブロックの面積と電力を表２に示す。結合ユニットは、圧倒的に数が多いため（他のユニットに対して、およそＯ（Ｎ２）対Ｏ（Ｎ））、面積は結合ユニットによってほぼ決定される。１０２４×１０２４アレイであると仮定すると、ギブスサンプラアーキテクチャのコストは１ｍｍ２強で、実質的に無視できる。ボルツマン勾配フォロワの場合、面積は約１６ｍｍ２で、ホストＴＰＵの総面積の約４．８％に当たる。表３に示すように、ＢＧＦは、この特殊なアルゴリズムにおいて、ＴＰＵまたは最先端の計算アクセラレータよりもはるかに効率的である。
【表2】
【表3】
【0113】
アルゴリズム変更の影響
第１の原則分析によれば、開示されたボルツマン勾配フォロワアーキテクチャは、単に異なるスタイルの確率的勾配降下を実装する。全く同じ訓練された重みを提供するのではなく、エンドユーザに同様のソリューション品質を提供するはずである。次のセクションでは、アルゴリズムの変更から生じる変更を数値的に分析する。前述したように、訓練サンプルの平均対数確率及び分類精度という２つの指標を使用する。図１２は、異なるデータセットを用いた訓練期間中に、異なる方法（ＣＤ－１、ＣＤ－１０、及び開示されたボルツマン勾配フォロワへの修正版）を用いて得られたモデルの平均対数確率を示している。対数確率は計算が困難であるため、前述のようにＡＩＳで近似することに留意されたい。したがって、結果を過度に正確に読み取るべきではない。実際には、いくつかのデータセット（例えば、ＣＩＦＡＲ１０）では、同じＡＩＳメカニズムが、パーティション関数に有限の推定値を生成することに完全に失敗している。一例のデータセット（ＭＮＩＳＴ）が図１２に示され、他のデータセットは図１３Ａ、図１３Ｂ、図１３Ｃ、及び図１３Ｄに示されている。最後に、ローデータは高周波ノイズを有するので、より明瞭にするために、１０個のデータ点の移動平均を使用してデータを平滑化した。図１２と同じ凡例は、図１３Ａ～図１３Ｄにも適用される。
第１の原則分析によれば、開示されたボルツマン勾配フォロワアーキテクチャは、単に異なるスタイルの確率的勾配降下を実装する。全く同じ訓練された重みを提供するのではなく、エンドユーザに同様のソリューション品質を提供するはずである。次のセクションでは、アルゴリズムの変更から生じる変更を数値的に分析する。前述したように、訓練サンプルの平均対数確率及び分類精度という２つの指標を使用する。図１２は、異なるデータセットを用いた訓練期間中に、異なる方法（ＣＤ－１、ＣＤ－１０、及び開示されたボルツマン勾配フォロワへの修正版）を用いて得られたモデルの平均対数確率を示している。対数確率は計算が困難であるため、前述のようにＡＩＳで近似することに留意されたい。したがって、結果を過度に正確に読み取るべきではない。実際には、いくつかのデータセット（例えば、ＣＩＦＡＲ１０）では、同じＡＩＳメカニズムが、パーティション関数に有限の推定値を生成することに完全に失敗している。一例のデータセット（ＭＮＩＳＴ）が図１２に示され、他のデータセットは図１３Ａ、図１３Ｂ、図１３Ｃ、及び図１３Ｄに示されている。最後に、ローデータは高周波ノイズを有するので、より明瞭にするために、１０個のデータ点の移動平均を使用してデータを平滑化した。図１２と同じ凡例は、図１３Ａ～図１３Ｄにも適用される。
【0114】
図示されているように、一般的には、対数確率の軌跡は時間と共に増加し、多くの場合、かなり大幅に増加する。これは、訓練されたモデルが、時間と共により良好に訓練データの確率分布を近似することを意味する。しかしながら、正確な軌跡は、異なるｋ値を用いた一般的なＣＤ－ｋの実践下であっても、大きく変化する。開示された修正アルゴリズムは、当然のことながら固有の軌跡を生成している。ＣＤ－１０と比較すると、軌跡の違いは、便宜上、小さいｋを選択した結果よりも顕著でないことが多い。対数確率の推定値そのものの不確実性に加え、ある点を超えると、対数確率の向上は単にオーバーフィッティングの結果であるとも言えることが指摘されている。したがって、分類エラーを表４に示す。ツールによって丸めが適用されるベンチマークでは、一般的な慣行と開示されたアルゴリズムとの間には観察可能な差異がないことが示されている。少し精度が報告されたベンチマークでは、この差は無視できるほど小さい。
【表4】
【0115】
表４に示すデータは、異なるアルゴリズムを使用した各データセットに対して、異なる種類のニューラルネットワークモデルによって得られた丸めテスト精度である。
【0116】
全体として、主な要点は、開示されたシステムとアルゴリズムが、実装の便宜上、一般的なアルゴリズムの小さな修正を含むことである。第１の原理から見れば、これは、例えば、非実用的な最尤学習よりもＣＤ－ｋを選択すること、または便宜上、ＣＤ－ｋの中でランダムなｋの値だけを選択することとは変わらない。経験的な観察によって、これらの変化は実際には学習アプローチの有効性に影響しないことが示唆されている。
【0117】
訓練へのノイズの影響
最後に、ノイズ及び変動がソリューションの品質に与える影響を調査した。ここまでの結果は、アナログハードウェアにノイズや変動がないことを前提としている。プロセス変動及び回路ノイズをシミュレートするために、結合ユニットの抵抗値の静的変動と、ノードと結合ユニットの両方における動的ノイズを注入した。ノイズ及び変動は、３％～３０％の二乗平均平方根（ＲＭＳ）値を有するガウス分布によって生成された。したがって、異なる結果が、１対の（ＲＭＳvariation、ＲＭＳnoise）によって特徴付けられる。図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄは、異なるモデルに対する２５個の組み合わせに関する平均対数確率の同じ平滑化結果を示している。データは、１０点の移動平均を使用して平滑化される。
最後に、ノイズ及び変動がソリューションの品質に与える影響を調査した。ここまでの結果は、アナログハードウェアにノイズや変動がないことを前提としている。プロセス変動及び回路ノイズをシミュレートするために、結合ユニットの抵抗値の静的変動と、ノードと結合ユニットの両方における動的ノイズを注入した。ノイズ及び変動は、３％～３０％の二乗平均平方根（ＲＭＳ）値を有するガウス分布によって生成された。したがって、異なる結果が、１対の（ＲＭＳvariation、ＲＭＳnoise）によって特徴付けられる。図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄは、異なるモデルに対する２５個の組み合わせに関する平均対数確率の同じ平滑化結果を示している。データは、１０点の移動平均を使用して平滑化される。
【0118】
ノイズと変動との組み合わせがあまり極端でない場合（例えば、それぞれ＜１０％）、対数確率への影響は無視できる。多くの場合、損失は、開示されたボルツマン勾配フォロワに適合してアルゴリズムを修正することにより得られる損失よりも小さい。しかし、より極端な変動及びノイズ構成であっても、対数確率に対する影響はそれほど大きくはないと思われる。最終的な推定精度は、すべての画像ベースのベンチマークに対して変更されていない。推奨システムと異常検出のベンチマークでは、図１５Ａ及び図１５Ｂに示すように、最終結果は若干の変化を示している。
【0119】
要するに、アナログ回路は、ノイズの影響を受けているが、訓練プロセス全体の品質に影響を与えることなく、顕著なノイズの面でも勾配降下機能を適切に実行できる。
【0120】
討論
全体として、２つのアーキテクチャの実験的分析から、ハードウェアの能力を特に利用する新しいアルゴリズムがなくても、非常に小さなチップの追加フットプリントで、大幅な性能とエネルギの利点が得られるという証拠がいくつか得られた。他方では、ＴＰＵなどの計算基板は、明らかにより一般的な目的を有する。現段階では、開示された分析では、それ自体が説得力のあるデザインであるとはまだ言えない。しかしながら、一般的な方向にはいくつかの理由から可能性があることが示されている。
全体として、２つのアーキテクチャの実験的分析から、ハードウェアの能力を特に利用する新しいアルゴリズムがなくても、非常に小さなチップの追加フットプリントで、大幅な性能とエネルギの利点が得られるという証拠がいくつか得られた。他方では、ＴＰＵなどの計算基板は、明らかにより一般的な目的を有する。現段階では、開示された分析では、それ自体が説得力のあるデザインであるとはまだ言えない。しかしながら、一般的な方向にはいくつかの理由から可能性があることが示されている。
【0121】
第１に、イジング基板は、幅広い種類の最適化問題を加速する上で、すでにかなり有用である。将来、これはさらに汎用性が高くなり、広く使用されるようになるだろう。したがって、付加的なアーキテクチャサポートのコストは、さらに削減されることになる。第２に、開示された設計は、汎用性、性能、再構成可能性、及び訓練セットの並列性を利用するためのサポートに関するさらなる研究によって改善される可能性がある。最後に、エネルギーベースのモデルには多くの優れた点があるが、訓練にはコストがかかることは周知である。プロトタイプのイジングマシン及び、開示されたボルツマン勾配フォロワのようなシステムの出現により、より優れたアルゴリズムが登場する可能性がある。
【0122】
実験＃２－バイアス
最尤（ＭＬ）学習アルゴリズムとは異なり、対比発散（ＣＤ）アルゴリズムはバイアスがあることが知られている。つまり、ＣＤアルゴリズムの固定点は、ＭＬアルゴリズムの固定点と同一ではない。この話題は多くの出版物を生み出したが、実用上は問題ではない。第１に、バイアスが小さく示されている。第２に、アルゴリズムの最終的な目標は、訓練データを十分に有用なものとして捉えることである。それにもかかわらず、本明細書で示されているのは、開示された修正訓練アルゴリズムに関するバイアスの経験的観察である。この実験では、Ｃａｒｒｅｉｒａ－ＰｅｒｐｉｎａｎとＨｉｎｔｏｎが最初の調査で用いたのと同じ方法が用いられた。システムのサイズは、列挙によってグランドトゥルースを得ることができるよう、十分に小さいものを使用した。このシステムは１２個の可視ユニットと４個の隠れユニットで構成され、すべてバイナリである。１００個の訓練画像から６０種類の分布がランダムに生成された。次いで、ＭＬ、ＣＤ、及び開示された訓練アルゴリズム（ＢＧＦ）は、重みを得るために同じ１０００回の反復で実行された。最後に、ＫＬダイバージェンスを測定することによって、得られた確率分布をグランドトゥルースと比較した。各アルゴリズムの実行により、１つのＫＬダイバージェンス測定を生成した。各アルゴリズムについて、異なるランダムな初期条件から４００回の実行を行った。得られた４００個の異なる測定値が累積確率分布としてプロットされる。図１６は、結果を示す。
最尤（ＭＬ）学習アルゴリズムとは異なり、対比発散（ＣＤ）アルゴリズムはバイアスがあることが知られている。つまり、ＣＤアルゴリズムの固定点は、ＭＬアルゴリズムの固定点と同一ではない。この話題は多くの出版物を生み出したが、実用上は問題ではない。第１に、バイアスが小さく示されている。第２に、アルゴリズムの最終的な目標は、訓練データを十分に有用なものとして捉えることである。それにもかかわらず、本明細書で示されているのは、開示された修正訓練アルゴリズムに関するバイアスの経験的観察である。この実験では、Ｃａｒｒｅｉｒａ－ＰｅｒｐｉｎａｎとＨｉｎｔｏｎが最初の調査で用いたのと同じ方法が用いられた。システムのサイズは、列挙によってグランドトゥルースを得ることができるよう、十分に小さいものを使用した。このシステムは１２個の可視ユニットと４個の隠れユニットで構成され、すべてバイナリである。１００個の訓練画像から６０種類の分布がランダムに生成された。次いで、ＭＬ、ＣＤ、及び開示された訓練アルゴリズム（ＢＧＦ）は、重みを得るために同じ１０００回の反復で実行された。最後に、ＫＬダイバージェンスを測定することによって、得られた確率分布をグランドトゥルースと比較した。各アルゴリズムの実行により、１つのＫＬダイバージェンス測定を生成した。各アルゴリズムについて、異なるランダムな初期条件から４００回の実行を行った。得られた４００個の異なる測定値が累積確率分布としてプロットされる。図１６は、結果を示す。
【0123】
最初に、非実用的ではあるが、ＭＬ学習は最終推定値にバイアスを与えないことが示された。対照的に、残りのアルゴリズムは、かなり類似したバイアス特性を有する。ＢＧＦは実際には、ＣＤアルゴリズムを修正したものであるから、驚くべきことではない。しかしながら、位相空間を探索する固有の速度に基づいて、ＢＧＦは、非常に大きなｋを有するＣＤ－ｋとして考えることができる。ｋ→∞になると、ＣＤ－ｋは実質的にＭＬになる。その結果、ＢＧＦは、従来のＣＤ－ｋと比較して、より大きなＫＬダイバージェンスを提供する可能性が実際に低い。全体として、要点は明確である。開示されたＢＧＦは、推定にバイアスがあるという問題を引き起こさない。どちらかといえば、よく使われるフォンノイマンアルゴリズムのバイアス特性を改善する。
【0124】
図１６のグラフは、ＣＤ及びＢＧＦの訓練結果のグラウンドトゥルースに対するＫＬダイバージェンスの累積確率分布を示す。言い換えれば、曲線上のすべての点（ｘ，ｙ）は、訓練分布のｙ％がグランドトゥルースからｘ以下の最終的なＫＬダイバージェンスを有することを示す。
【0125】
結論
イジングマシンは自然を利用して、非常に高速かつエネルギ効率よく効果的な計算を行うことができる。また、イジングマシンは、制限付きボルツマンマシン（ＲＢＭ）及びその他の微分アルゴリズムなど、エネルギーベースのモデルで演算を実行するためにも使用できる。本開示では、ＲＢＭ訓練をサポートするために、イジング基板を追加回路で拡張する２つの異なる設計が紹介された。いくつかの小さな変更により、イジングマシンはＲＢＭアルゴリズムの一部を高速化するギブスサンプラとして容易に機能し、ＴＰＵホストと比較して約２倍の速度向上と２．３倍のエネルギ向上をもたらすことが示された。さらに大幅な変更を加えれば、基板はボルツマンサンプラとして機能し、勾配に従いながら、ホスト計算を追加することなく本質的にＲＢＭを訓練することができる。チップ面積が大幅に大きいＴＰＵホストと比較して、このようなボルツマン勾配フォロワは２９倍のスピードアップと１０００倍のエネルギ節約を達成できる。さらに研究が進めば、ハードウェアソフトウェアの共設計された自然ベースの計算システムが、重要な新しいアーキテクチャモダリティになり得る。
イジングマシンは自然を利用して、非常に高速かつエネルギ効率よく効果的な計算を行うことができる。また、イジングマシンは、制限付きボルツマンマシン（ＲＢＭ）及びその他の微分アルゴリズムなど、エネルギーベースのモデルで演算を実行するためにも使用できる。本開示では、ＲＢＭ訓練をサポートするために、イジング基板を追加回路で拡張する２つの異なる設計が紹介された。いくつかの小さな変更により、イジングマシンはＲＢＭアルゴリズムの一部を高速化するギブスサンプラとして容易に機能し、ＴＰＵホストと比較して約２倍の速度向上と２．３倍のエネルギ向上をもたらすことが示された。さらに大幅な変更を加えれば、基板はボルツマンサンプラとして機能し、勾配に従いながら、ホスト計算を追加することなく本質的にＲＢＭを訓練することができる。チップ面積が大幅に大きいＴＰＵホストと比較して、このようなボルツマン勾配フォロワは２９倍のスピードアップと１０００倍のエネルギ節約を達成できる。さらに研究が進めば、ハードウェアソフトウェアの共設計された自然ベースの計算システムが、重要な新しいアーキテクチャモダリティになり得る。
【0126】
本明細書で引用されるありとあらゆる特許、特許出願、及び刊行物の開示は、参照によりそれらの全体が本明細書に組み込まれる。本発明は、具体的な実施形態を参照して開示されてきたが、当業者によって、本発明の真の趣旨および範囲から逸脱することなく、本発明の他の実施形態および変形が考案されてもよいことは明らかである。添付の特許請求の範囲は、全てのかかる実施形態および均等な変形を含むように解釈されることが意図される。
【0127】
参考文献
以下の刊行物は、その全体が参照により本明細書に組み込まれる。
以下の刊行物は、その全体が参照により本明細書に組み込まれる。
【0128】
Ｓ．Ｋｉｒｋｐａｔｒｉｃｋ，Ｃ．Ｄ．Ｇｅｌａｔｔ，ａｎｄ Ｍ．Ｐ．Ｖｅｃｃｈｉ，“Ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ，” Ｓｃｉｅｎｃｅ，ｖｏｌ．２２０，ｎｏ．４５９８，ｐｐ．６７１－６８０，１９８３．
【0129】
Ｇ．Ｚａｍｅｓ，Ｎ．Ａｊｌｏｕｎｉ，Ｎ．Ａｊｌｏｕｎｉ，Ｎ．Ａｊｌｏｕｎｉ，Ｊ．Ｈｏｌｌａｎｄ，Ｗ．Ｈｉｌｌｓ，ａｎｄ Ｄ．Ｇｏｌｄｂｅｒｇ，“Ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍｓ ｉｎ ｓｅａｒｃｈ，ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，” Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｊｏｕｒｎａｌ，ｖｏｌ．３，ｎｏ．１，ｐｐ．３０１－３０２，１９８１．
【0130】
Ｄ．Ｈ．Ａｃｋｌｅｙ，Ｇ．Ｅ．Ｈｉｎｔｏｎ，ａｎｄ Ｔ．Ｊ．Ｓｅｊｎｏｗｓｋｉ，“Ａ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，” Ｃｏｇｎｉｔｉｖｅ ｓｃｉｅｎｃｅ，ｖｏｌ．９，ｎｏ．１，ｐｐ．１４７－１６９，１９８５．
【0131】
Ａ．Ｎａｒａｙａｎａｎ ａｎｄ Ｍ．Ｍｏｏｒｅ，“Ｑｕａｎｔｕｍ－ｉｎｓｐｉｒｅｄ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍｓ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ，１９９６，ｐｐ．６１－６６．
【0132】
Ｒ．Ｍ．Ｋａｒｐ，Ｒｅｄｕｃｉｂｉｌｉｔｙ ａｍｏｎｇ Ｃｏｍｂｉｎａｔｏｒｉａｌ Ｐｒｏｂｌｅｍｓ．Ｂｏｓｔｏｎ，ＭＡ： Ｓｐｒｉｎｇｅｒ ＵＳ，１９７２，ｐｐ．８５－１０３．
【0133】
Ａ．Ｌｕｃａｓ，“Ｉｓｉｎｇ ｆｏｒｍｕｌａｔｉｏｎｓ ｏｆ ｍａｎｙ ｎｐ ｐｒｏｂｌｅｍｓ，” Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｐｈｙｓｉｃｓ，ｖｏｌ．２，ｐ．５，２０１４．
【0134】
Ｋ．Ｋｉｍ，Ｍ．－Ｓ．Ｃｈａｎｇ，Ｓ．Ｋｏｒｅｎｂｌｉｔ，Ｒ．Ｉｓｌａｍ，Ｅ．Ｅ．Ｅｄｗａｒｄｓ，Ｊ．Ｋ．Ｆｒｅｅｒｉｃｋｓ，Ｇ．－Ｄ．Ｌｉｎ，Ｌ．－Ｍ．Ｄｕａｎ，ａｎｄ Ｃ．Ｍｏｎｒｏｅ，“Ｑｕａｎｔｕｍ ｓｉｍｕｌａｔｉｏｎ ｏｆ ｆｒｕｓｔｒａｔｅｄ ｉｓｉｎｇ ｓｐｉｎｓ ｗｉｔｈ ｔｒａｐｐｅｄ ｉｏｎｓ，” Ｎａｔｕｒｅ，ｖｏｌ．４６５，ｎｏ．７２９８，ｐｐ．５９０－５９３，２０１０．
【0135】
Ｎ．Ｇ．Ｂｅｒｌｏｆｆ，Ｍ．Ｓｉｌｖａ，Ｋ．Ｋａｌｉｎｉｎ，Ａ．Ａｓｋｉｔｏｐｏｕｌｏｓ，Ｊ．Ｄ．Ｔｏｐｆｅｒ，Ｐ．Ｃｉｌｉｂｒｉｚｚｉ，Ｗ．Ｌａｎｇｂｅｉｎ，ａｎｄ Ｐ．Ｇ．Ｌａｇｏｕｄａｋｉｓ，“Ｒｅａｌｉｚｉｎｇ ｔｈｅ ｃｌａｓｓｉｃａｌ ｘｙ ｈａｍｉｌｔｏｎｉａｎ ｉｎ ｐｏｌａｒｉｔｏｎ ｓｉｍｕｌａｔｏｒｓ，” Ｎａｔｕｒｅ ｍａｔｅｒｉａｌｓ，ｖｏｌ．１６，ｎｏ．１１，ｐｐ．１１２０－１１２６，２０１７．
【0136】
Ｒ．Ｂａｒｅｎｄｓ，Ａ．Ｓｈａｂａｎｉ，Ｌ．Ｌａｍａｔａ，Ｊ．Ｋｅｌｌｙ，Ａ．Ｍｅｚｚａｃａｐｏ，Ｕ．Ｌａｓ Ｈｅｒａｓ，Ｒ．Ｂａｂｂｕｓｈ，Ａ．Ｇ．Ｆｏｗｌｅｒ，Ｂ．Ｃａｍｐｂｅｌｌ，Ｙ．Ｃｈｅｎ ｅｔ ａｌ．，“Ｄｉｇｉｔｉｚｅｄ ａｄｉａｂａｔｉｃ ｑｕａｎｔｕｍ ｃｏｍｐｕｔｉｎｇ ｗｉｔｈ ａ ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ ｃｉｒｃｕｉｔ，” Ｎａｔｕｒｅ，ｖｏｌ．５３４，ｎｏ．７６０６，ｐｐ．２２２－２２６，２０１６．
【0137】
Ｍ．Ｙａｍａｏｋａ，Ｃ．Ｙｏｓｈｉｍｕｒａ，Ｍ．Ｈａｙａｓｈｉ，Ｔ．Ｏｋｕｙａｍａ，Ｈ．Ａｏｋｉ，ａｎｄ Ｈ．Ｍｉｚｕｎｏ，“Ａ ２０ｋ－ｓｐｉｎ ｉｓｉｎｇ ｃｈｉｐ ｔｏ ｓｏｌｖｅ ｃｏｍｂｉｎａｔｏｒｉａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ ｗｉｔｈ ｃｍｏｓ ａｎｎｅａｌｉｎｇ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．５１，ｎｏ．１，ｐｐ．３０３－３０９，２０１５．
【0138】
Ｐ．Ｉ．Ｂｕｎｙｋ，Ｅ．Ｍ．Ｈｏｓｋｉｎｓｏｎ，Ｍ．Ｗ．Ｊｏｈｎｓｏｎ，Ｅ．Ｔｏｌｋａｃｈｅｖａ，Ｆ．Ａｌｔｏｍａｒｅ，Ａ．Ｊ．Ｂｅｒｋｌｅｙ，Ｒ．Ｈａｒｒｉｓ，Ｊ．Ｐ．Ｈｉｌｔｏｎ，Ｔ．Ｌａｎｔｉｎｇ，Ａ．Ｊ．Ｐｒｚｙｂｙｓｚ ｅｔ ａｌ．，“Ａｒｃｈｉｔｅｃｔｕｒａｌ ｃｏｎｓｉｄｅｒａｔｉｏｎｓ ｉｎ ｔｈｅ ｄｅｓｉｇｎ ｏｆ ａ ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ ｑｕａｎｔｕｍ ａｎｎｅａｌｉｎｇ ｐｒｏｃｅｓｓｏｒ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｐｐｌｉｅｄ Ｓｕｐｅｒｃｏｎｄｕｃｔｉｖｉｔｙ，ｖｏｌ．２４，ｎｏ．４，ｐｐ．１－１０，２０１４．
【0139】
Ａ．Ｄ．Ｋｉｎｇ，Ｊ．Ｃａｒｒａｓｑｕｉｌｌａ，Ｊ．Ｒａｙｍｏｎｄ，Ｉ．Ｏｚｆｉｄａｎ，Ｅ．Ａｎｄｒｉｙａｓｈ，Ａ．Ｂｅｒｋｌｅｙ，Ｍ．Ｒｅｉｓ，Ｔ．Ｌａｎｔｉｎｇ，Ｒ．Ｈａｒｒｉｓ，Ｆ．Ａｌｔｏｍａｒｅ ｅｔ ａｌ．，“Ｏｂｓｅｒｖａｔｉｏｎ ｏｆ ｔｏｐｏｌｏｇｉｃａｌ ｐｈｅｎｏｍｅｎａ ｉｎ ａ ｐｒｏｇｒａｍｍａｂｌｅ ｌａｔｔｉｃｅ ｏｆ １，８００ ｑｕｂｉｔｓ，” Ｎａｔｕｒｅ，ｖｏｌ．５６０，ｎｏ．７７１９，ｐｐ．４５６－４６０，２０１８．
【0140】
Ｆ．Ｂｏｈｍ，Ｇ．Ｖｅｒｓｃｈａｆｆｅｌｔ，ａｎｄ Ｇ．Ｖａｎ ｄｅｒ Ｓａｎｄｅ，“Ａ ｐｏｏｒ ｍａｎ’ｓ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｆｅｅｄｂａｃｋ ｓｙｓｔｅｍｓ ｆｏｒ ｓｏｌｖｉｎｇ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ，” Ｎａｔｕｒｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ．１０，ｎｏ．１，ｐｐ．１－９，２０１９．
【0141】
Ｒ．Ｈａｍｅｒｌｙ，Ａ．Ｓｌｕｄｄｓ，Ｌ．Ｂｅｒｎｓｔｅｉｎ，Ｍ．Ｐｒａｂｈｕ，Ｃ．Ｒｏｑｕｅｓ－Ｃａｒｍｅｓ，Ｊ．Ｃａｒｏｌａｎ，Ｙ．Ｙａｍａｍｏｔｏ，Ｍ．Ｓｏｌｊａｃｉｃ，ａｎｄ Ｄ．Ｅｎｇｌｕｎｄ，“Ｔｏｗａｒｄｓ ｌａｒｇｅ－ｓｃａｌｅ ｐｈｏｔｏｎｉｃ ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ａｃｃｅｌｅｒａｔｏｒｓ，” ｉｎ ２０１９ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ Ｍｅｅｔｉｎｇ（ＩＥＤＭ）．ＩＥＥＥ，２０１９，ｐｐ．２２－８．
【0142】
Ｄ．Ｐｉｅｒａｎｇｅｌｉ，Ｇ．Ｍａｒｃｕｃｃｉ，ａｎｄ Ｃ．Ｃｏｎｔｉ，“Ｌａｒｇｅ－ｓｃａｌｅ ｐｈｏｔｏｎｉｃ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｂｙ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｉｏｎ，” Ｐｈｙｓｉｃａｌ ｒｅｖｉｅｗ ｌｅｔｔｅｒｓ，ｖｏｌ．１２２，ｎｏ．２１，ｐ．２１３９０２，２０１９．
【0143】
Ｒ．Ｈａｒｒｉｓ，Ｍ．Ｗ．Ｊｏｈｎｓｏｎ，Ｔ．Ｌａｎｔｉｎｇ，Ａ．Ｊ．Ｂｅｒｋｌｅｙ，Ｊ．Ｊｏｈａｎｓｓｏｎ，Ｐ．Ｂｕｎｙｋ，Ｅ．Ｔｏｌｋａｃｈｅｖａ，Ｅ．Ｌａｄｉｚｉｎｓｋｙ，Ｎ．Ｌａｄｉｚｉｎｓｋｙ，Ｔ．Ｏｈ，Ｆ．Ｃｉｏａｔａ，Ｉ．Ｐｅｒｍｉｎｏｖ，Ｐ．Ｓｐｅａｒ，Ｃ．Ｅｎｄｅｒｕｄ，Ｃ．Ｒｉｃｈ，Ｓ．Ｕｃｈａｉｋｉｎ，Ｍ．Ｃ．Ｔｈｏｍ，Ｅ．Ｍ．Ｃｈａｐｐｌｅ，Ｊ．Ｗａｎｇ，Ｂ．Ｗｉｌｓｏｎ，Ｍ．Ｈ．Ｓ．Ａｍｉｎ，Ｎ．Ｄｉｃｋｓｏｎ，Ｋ．Ｋａｒｉｍｉ，Ｂ．Ｍａｃｒｅａｄｙ，Ｃ．Ｊ．Ｓ．Ｔｒｕｎｃｉｋ，ａｎｄ Ｇ．Ｒｏｓｅ，“Ｅｘｐｅｒｉｍｅｎｔａｌ ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ａｎ ｅｉｇｈｔ－ｑｕｂｉｔ ｕｎｉｔ ｃｅｌｌ ｉｎ ａ ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ，” Ｐｈｙｓ．Ｒｅｖ．Ｂ，ｖｏｌ．８２，ｐ．０２４５１１，Ｊｕｌ ２０１０．
【0144】
Ｔ．Ｉｎａｇａｋｉ，Ｙ．Ｈａｒｉｂａｒａ，Ｋ．Ｉｇａｒａｓｈｉ，Ｔ．Ｓｏｎｏｂｅ，Ｓ．Ｔａｍａｔｅ，Ｔ．Ｈｏｎｊｏ，Ａ．Ｍａｒａｎｄｉ，Ｐ．Ｌ．ＭｃＭａｈｏｎ，Ｔ．Ｕｍｅｋｉ，Ｋ．Ｅｎｂｕｔｓｕ ｅｔ ａｌ．，“Ａ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｆｏｒ ２０００－ｎｏｄｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ，” Ｓｃｉｅｎｃｅ，ｖｏｌ．３５４，ｎｏ．６３１２，ｐｐ．６０３－６０６，２０１６．
【0145】
Ｒ．Ａｆｏａｋｗａ，Ｙ．Ｚｈａｎｇ，Ｕ．Ｋ．Ｒ．Ｖｅｎｇａｌａｍ，Ｚ．Ｉｇｎｊａｔｏｖｉｃ，ａｎｄ Ｍｉｃｈａｅｌ，“Ｂｒｉｍ： Ｂｉｓｔａｂｌｅ ｒｅｓｉｓｔｉｖｅｌｙ ｃｏｕｐｌｅｄ ｉｓｉｎｇ ｍａｃｈｉｎｅ，” ２０２１．
【0146】
Ｓ．Ｂｏｉｘｏ，Ｔ．Ｆ．Ｒｏｎｎｏｗ，Ｓ．Ｖ．Ｉｓａｋｏｖ，Ｚ．Ｗａｎｇ，Ｄ．Ｗｅｃｋｅｒ，Ｄ．Ａ．Ｌｉｄａｒ，Ｊ．Ｍ．Ｍａｒｔｉｎｉｓ，ａｎｄ Ｍ．Ｔｒｏｙｅｒ，“Ｅｖｉｄｅｎｃｅ ｆｏｒ ｑｕａｎｔｕｍ ａｎｎｅａｌｉｎｇ ｗｉｔｈ ｍｏｒｅ ｔｈａｎ ｏｎｅ ｈｕｎｄｒｅｄ ｑｕｂｉｔｓ，” Ｎａｔｕｒｅ ｐｈｙｓｉｃｓ，ｖｏｌ．１０，ｎｏ．３，ｐｐ．２１８－２２４，２０１４．
【0147】
Ｒ．Ｈａｍｅｒｌｙ，Ｔ．Ｉｎａｇａｋｉ，Ｐ．Ｌ．ＭｃＭａｈｏｎ，Ｄ．Ｖｅｎｔｕｒｅｌｌｉ，Ａ．Ｍａｒａｎｄｉ，Ｔ．Ｏｎｏｄｅｒａ，Ｅ．Ｎｇ，Ｃ．Ｌａｎｇｒｏｃｋ，Ｋ．Ｉｎａｂａ，Ｔ．Ｈｏｎｊｏ ｅｔ ａｌ．，“Ｅｘｐｅｒｉｍｅｎｔａｌ ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ｐｅｒｆｏｒｍａｎｃｅ ｄｉｆｆｅｒｅｎｃｅｓ ｂｅｔｗｅｅｎ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅｓ ａｎｄ ａ ｑｕａｎｔｕｍ ａｎｎｅａｌｅｒ，” Ｓｃｉｅｎｃｅ ａｄｖａｎｃｅｓ，ｖｏｌ．５，ｎｏ．５，ｐ．ｅａａｕ０８２３，２０１９．
【0148】
Ｒ．Ｈａｍｅｒｌｙ，Ｔ．Ｉｎａｇａｋｉ，Ｐ．Ｌ．ＭｃＭａｈｏｎ，Ｄ．Ｖｅｎｔｕｒｅｌｌｉ，Ａ．Ｍａｒａｎｄｉ，Ｔ．Ｏｎｏｄｅｒａ，Ｅ．Ｎｇ，Ｃ．Ｌａｎｇｒｏｃｋ，Ｋ．Ｉｎａｂａ ｅｔ ａｌ．，“Ｓｃａｌｉｎｇ ａｄｖａｎｔａｇｅｓ ｏｆ ａｌｌ－ｔｏ－ａｌｌ ｃｏｎｎｅｃｔｉｖｉｔｙ ｉｎ ｐｈｙｓｉｃａｌ ａｎｎｅａｌｅｒｓ： ｔｈｅ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｖｓ．ｄ－ｗａｖｅ ２０００ｑ，” ａｒＸｉｖ：ａｒＸｉｖ：１８０７．０００８９，２０１８．
【0149】
Ｙ．Ｙａｍａｍｏｔｏ，Ｋ．Ａｉｈａｒａ，Ｔ．Ｌｅｌｅｕ，Ｋ．－ｉ．Ｋａｗａｒａｂａｙａｓｈｉ，Ｓ．Ｋａｋｏ，Ｍ．Ｆｅｊｅｒ，Ｋ．Ｉｎｏｕｅ，ａｎｄ Ｈ．Ｔａｋｅｓｕｅ，“Ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅｓ－ｏｐｔｉｃａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｏｐｅｒａｔｉｎｇ ａｔ ｔｈｅ ｑｕａｎｔｕｍ ｌｉｍｉｔ，” ｎｐｊ Ｑｕａｎｔｕｍ Ｉｎｆｏｒｍａｔｉｏｎ，ｖｏｌ．３，ｎｏ．１，ｐｐ．１－１５，２０１７．
【0150】
Ｐ．Ｌ．ＭｃＭａｈｏｎ，Ａ．Ｍａｒａｎｄｉ，Ｙ．Ｈａｒｉｂａｒａ，Ｒ．Ｈａｍｅｒｌｙ，Ｃ．Ｌａｎｇｒｏｃｋ，Ｓ．Ｔａｍａｔｅ，Ｔ．Ｉｎａｇａｋｉ，Ｈ．Ｔａｋｅｓｕｅ，Ｓ．Ｕｔｓｕｎｏｍｉｙａ，Ｋ．Ａｉｈａｒａ，Ｒ．Ｌ．Ｂｙｅｒ，Ｍ．Ｍ．Ｆｅｊｅｒ，Ｈ．Ｍａｂｕｃｈｉ，ａｎｄ Ｙ．Ｙａｍａｍｏｔｏ，“Ａ ｆｕｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ １００－ｓｐｉｎ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｗｉｔｈ ａｌｌ－ｔｏ－ａｌｌ ｃｏｎｎｅｃｔｉｏｎｓ，” Ｓｃｉｅｎｃｅ，ｖｏｌ．３５４，ｎｏ．６３１２，ｐｐ．６１４－６１７，２０１６．
【0151】
Ｋ．Ｔａｋａｔａ，Ａ．Ｍａｒａｎｄｉ，Ｒ．Ｈａｍｅｒｌｙ，Ｙ．Ｈａｒｉｂａｒａ，Ｄ．Ｍａｒｕｏ，Ｓ．Ｔａｍａｔｅ，Ｈ．Ｓａｋａｇｕｃｈｉ，Ｓ．Ｕｔｓｕｎｏｍｉｙａ，ａｎｄ Ｙ．Ｙａｍａｍｏｔｏ，“Ａ １６－ｂｉｔ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｆｏｒ ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ ｒｉｎｇ ａｎｄ ｃｕｂｉｃ ｇｒａｐｈ ｐｒｏｂｌｅｍｓ，” Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ，ｖｏｌ．６，ｎｏ．１，ｐ．３４０８９，２０１６．
【0152】
Ｆ．Ｂｏｈｍ，Ｇ．Ｖｅｒｓｃｈａｆｆｅｌｔ，ａｎｄ Ｇ．Ｖａｎ ｄｅｒ Ｓａｎｄｅ，“Ａ ｐｏｏｒ ｍａｎ’ｓ ｃｏｈｅｒｅｎｔ ｉｓｉｎｇ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｆｅｅｄｂａｃｋ ｓｙｓｔｅｍｓ ｆｏｒ ｓｏｌｖｉｎｇ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ，” Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ．１０，ｎｏ．１，ｐ．３５３８，２０１９．
【0153】
Ｙ．Ｔａｋｅｄａ，Ｓ．Ｔａｍａｔｅ，Ｙ．Ｙａｍａｍｏｔｏ，Ｈ．Ｔａｋｅｓｕｅ，Ｔ．Ｉｎａｇａｋｉ，ａｎｄ Ｓ．Ｕｔｓｕｎｏｍｉｙａ，“Ｂｏｌｔｚｍａｎｎ ｓａｍｐｌｉｎｇ ｆｏｒ ａｎ ＸＹ ｍｏｄｅｌ ｕｓｉｎｇ ａ ｎｏｎ－ｄｅｇｅｎｅｒａｔｅ ｏｐｔｉｃａｌ ｐａｒａｍｅｔｒｉｃ ｏｓｃｉｌｌａｔｏｒ ｎｅｔｗｏｒｋ，” Ｑｕａｎｔｕｍ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．３，ｎｏ．１，ｐ．０１４００４，Ｎｏｖ ２０１７．
【0154】
Ｋ．Ｃｈｏ，Ａ．Ｉｌｉｎ，ａｎｄ Ｔ．Ｒａｉｋｏ，“Ｉｍｐｒｏｖｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｇａｕｓｓｉａｎ－ｂｅｒｎｏｕｌｌｉ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，” ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．Ｓｐｒｉｎｇｅｒ，２０１１，ｐｐ．１０－１７．
【0155】
Ｙ．ＬｅＣｕｎ，Ｓ．Ｃｈｏｐｒａ，Ｍ．Ｒａｎｚａｔｏ，ａｎｄ Ｆ．－Ｊ．Ｈｕａｎｇ，“Ｅｎｅｒｇｙ－ｂａｓｅｄ ｍｏｄｅｌｓ ｉｎ ｄｏｃｕｍｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，” ｉｎ Ｎｉｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＤＡＲ ２００７），ｖｏｌ．１．ＩＥＥＥ，２００７，ｐｐ．３３７－３４１．
【0156】
Ｓ．Ｄｉｎｇ，Ｊ．Ｚｈａｎｇ，Ｎ．Ｚｈａｎｇ，ａｎｄ Ｙ．Ｈｏｕ，“Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ，” ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ＶＩＩＩ，Ｚ．Ｓｈｉ，Ｓ．Ｖａｄｅｒａ，ａｎｄ Ｇ．Ｌｉ，Ｅｄｓ．Ｃｈａｍ： Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ，２０１６，ｐｐ．１０８－１１８．
【0157】
Ｇ．Ｅ．Ｄａｈｌ，Ｍ．Ｒａｎｚａｔｏ，Ａ．ｒ．Ｍｏｈａｍｅｄ，ａｎｄ Ｇ．Ｈｉｎｔｏｎ，“Ｐｈｏｎｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｔｈｅ ｍｅａｎ－ｃｏｖａｒｉａｎｃｅ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ －Ｖｏｌｕｍｅ １，ｓｅｒ．ＮＩＰＳ’１０．Ｒｅｄ Ｈｏｏｋ，ＮＹ，ＵＳＡ： Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ Ｉｎｃ．，２０１０，ｐ．４６９－４７７．
【0158】
Ｒ．Ｄ．Ｈｊｅｌｍ，Ｖ．Ｄ．Ｃａｌｈｏｕｎ，Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ，Ｅ．Ａ．Ａｌｌｅｎ，Ｔ．Ａｄａｌｉ，ａｎｄ Ｓ．Ｍ．Ｐｌｉｓ，“Ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ｆｏｒ ｎｅｕｒｏｉｍａｇｉｎｇ： Ａｎ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｉｄｅｎｔｉｆｙｉｎｇ ｉｎｔｒｉｎｓｉｃ ｎｅｔｗｏｒｋｓ，” ＮｅｕｒｏＩｍａｇｅ，ｖｏｌ．９６，ｐｐ．２４５－２６０，２０１４．
【0159】
Ａ．Ａｌ－Ｗａｉｓｙ，Ｍ．Ａ．Ｍｏｈａｍｍｅｄ，Ｓ．Ａｌ－Ｆａｈｄａｗｉ，Ｍ．Ｍａａｓｈｉ，Ｂ．Ｇａｒｃｉａ－Ｚａｐｉｒａｉｎ，Ｋ．Ｈ．Ａｂｄｕｌｋａｒｅｅｍ，Ｓ．Ｍｏｓｔａｆａ，Ｎ．Ｍ．Ｋｕｍａｒ，ａｎｄ Ｄ．Ｎ．Ｌｅ，“Ｃｏｖｉｄ－ｄｅｅｐｎｅｔ： Ｈｙｂｒｉｄ ｍｕｌｔｉｍｏｄａｌ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｃｏｖｉｄ－１９ ｐｎｅｕｍｏｎｉａ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｈｅｓｔ ｘ－ｒａｙ ｉｍａｇｅｓ，” ＣＭＣ－ＣＯＭＰＵＴＥＲＳ ＭＡＴＥＲＩＡＬＳ ＆ ＣＯＮＴＩＮＵＡ，ｖｏｌ．６７，ｎｏ．２，ｐｐ．２４０９－２４２９，２０２１．
【0160】
Ｑ．Ｚｈａｎｇ，Ｙ．Ｘｉａｏ，Ｗ．Ｄａｉ，Ｊ．Ｓｕｏ，Ｃ．Ｗａｎｇ，Ｊ．Ｓｈｉ，ａｎｄ Ｈ．Ｚｈｅｎｇ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｂｒｅａｓｔ ｔｕｍｏｒｓ ｗｉｔｈ ｓｈｅａｒ－ｗａｖｅ ｅｌａｓｔｏｇｒａｐｈｙ，” Ｕｌｔｒａｓｏｎｉｃｓ，ｖｏｌ．７２，ｐｐ．１５０－１５７，２０１６．
【0161】
Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ ａｎｄ Ｇ．Ｈｉｎｔｏｎ，“Ｄｅｅｐ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，” ｉｎ Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｓｔａｔｉｓｔｉｃｓ．ＰＭＬＲ，２００９，ｐｐ．４４８－４５５．
【0162】
Ｈ．Ｗａｎｇ，Ｙ．Ｃａｉ，ａｎｄ Ｌ．Ｃｈｅｎ，“Ａ ｖｅｈｉｃｌｅ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ，” Ｔｈｅ ｓｃｉｅｎｔｉｆｉｃ ｗｏｒｌｄ ｊｏｕｒｎａｌ，ｖｏｌ．２０１４，２０１４．
【0163】
Ａ．Ｍ．Ａｂｄｅｌ－Ｚａｈｅｒ ａｎｄ Ａ．Ｍ．Ｅｌｄｅｉｂ，“Ｂｒｅａｓｔ ｃａｎｃｅｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，” Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．４６，ｐｐ．１３９－１４４，２０１６．
【0164】
Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ，Ａ．Ｍｎｉｈ，ａｎｄ Ｇ．Ｈｉｎｔｏｎ，“Ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ｆｏｒ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２４ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，２００７，ｐｐ．７９１－７９８．
【0165】
Ａ．Ｇｏｕｖｅｉａ ａｎｄ Ｍ．Ｃｏｒｒｅｉａ，“Ａ ｓｙｓｔｅｍａｔｉｃ ａｐｐｒｏａｃｈ ｆｏｒ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ｉｎ ｎｅｔｗｏｒｋ ｉｎｔｒｕｓｉｏｎ ｄｅｔｅｃｔｉｏｎ，” ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋ－Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．Ｓｐｒｉｎｇｅｒ，２０１７，ｐｐ．４３２－４４６．
【0166】
Ｕ．Ｆｉｏｒｅ，Ｆ．Ｐａｌｍｉｅｒｉ，Ａ．Ｃａｓｔｉｇｌｉｏｎｅ，ａｎｄ Ａ．Ｄｅ Ｓａｎｔｉｓ，“Ｎｅｔｗｏｒｋ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｔｈｅ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，” Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，ｖｏｌ．１２２，ｐｐ．１３－２３，２０１３．
【0167】
Ｙ．Ｗａｎｇ，Ｚ．Ｐａｎ，Ｘ．Ｙｕａｎ，Ｃ．Ｙａｎｇ，ａｎｄ Ｗ．Ｇｕｉ，“Ａ ｎｏｖｅｌ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｆａｕｌｔ ｄｉａｇｎｏｓｉｓ ａｐｐｒｏａｃｈ ｆｏｒ ｃｈｅｍｉｃａｌ ｐｒｏｃｅｓｓ ｗｉｔｈ ｅｘｔｅｎｄｅｄ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ，” ＩＳＡ ｔｒａｎｓａｃｔｉｏｎｓ，ｖｏｌ．９６，ｐｐ．４５７－４６７，２０２０．
【0168】
Ｊ．Ｘｉｅ，Ｇ．Ｄｕ，Ｃ．Ｓｈｅｎ，Ｎ．Ｃｈｅｎ，Ｌ．Ｃｈｅｎ，ａｎｄ Ｚ．Ｚｈｕ，“Ａｎ ｅｎｄ－ｔｏ－ｅｎｄ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ａｄａｐｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｅａｒｉｎｇ ｆａｕｌｔ ｄｉａｇｎｏｓｉｓ，” ＩＥＥＥ Ａｃｃｅｓｓ，ｖｏｌ．６，ｐｐ．６３ ５８４－６３ ５９６，２０１８．
【0169】
Ｎ．Ｓｒｉｖａｓｔａｖａ，Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ，ａｎｄ Ｇ．Ｅ．Ｈｉｎｔｏｎ，“Ｍｏｄｅｌｉｎｇ ｄｏｃｕｍｅｎｔｓ ｗｉｔｈ ｄｅｅｐ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，” ａｒＸｉｖ：１３０９．６８６５，２０１３．
【0170】
Ｍ．Ｆａｔｅｍｉ ａｎｄ Ｍ．Ｓａｆａｙａｎｉ，“Ｊｏｉｎｔ ｓｅｎｔｉｍｅｎｔ／ｔｏｐｉｃ ｍｏｄｅｌｉｎｇ ｏｎ ｔｅｘｔ ｄａｔａ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，” Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．７８，ｎｏ．１５，ｐｐ．２０ ６３７－２０ ６５３，２０１９．
【0171】
Ｇ．Ｈｉｎｔｏｎ ａｎｄ Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ，“Ｄｉｓｃｏｖｅｒｉｎｇ ｂｉｎａｒｙ ｃｏｄｅｓ ｆｏｒ ｄｏｃｕｍｅｎｔｓ ｂｙ ｌｅａｒｎｉｎｇ ｄｅｅｐ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌｓ，” Ｔｏｐｉｃｓ ｉｎ Ｃｏｇｎｉｔｉｖｅ Ｓｃｉｅｎｃｅ，ｖｏｌ．３，ｎｏ．１，ｐｐ．７４－９１，２０１１．
【0172】
Ｊ．Ｈｅｒｎａｎｄｅｚ ａｎｄ Ａ．Ｇ．Ａｂａｄ，“Ｌｅａｒｎｉｎｇ ｆｒｏｍ ｍｕｌｔｉｖａｒｉａｔｅ ｄｉｓｃｒｅｔｅ ｓｅｑｕｅｎｔｉａｌ ｄａｔａ ｕｓｉｎｇ ａ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ｍｏｄｅｌ，” ｉｎ ２０１８ ＩＥＥＥ １ｓｔ Ｃｏｌｏｍｂｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＣｏｌＣＡＣＩ）．ＩＥＥＥ，２０１８，ｐｐ．１－６．
【0173】
Ｈ．Ｌａｒｏｃｈｅｌｌｅ，Ｙ．Ｂｅｎｇｉｏ，Ｊ．Ｌｏｕｒａｄｏｕｒ，ａｎｄ Ｐ．Ｌａｍｂｌｉｎ，“Ｅｘｐｌｏｒｉｎｇ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｔｒａｉｎｉｎｇ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．”Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ，ｖｏｌ．１０，ｎｏ．１，２００９．
【0174】
Ｄ．Ｅｒｈａｎ，Ａ．Ｃｏｕｒｖｉｌｌｅ，Ｙ．Ｂｅｎｇｉｏ，ａｎｄ Ｐ．Ｖｉｎｃｅｎｔ，“Ｗｈｙ ｄｏｅｓ ｕｎｓｕｐｅｒｖｉｓｅｄ ｐｒｅ－ｔｒａｉｎｉｎｇ ｈｅｌｐ ｄｅｅｐ ｌｅａｒｎｉｎｇ？” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｔｈｉｒｔｅｅｎｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｓｔａｔｉｓｔｉｃｓ．ＪＭＬＲ Ｗｏｒｋｓｈｏｐ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ，２０１０，ｐｐ．２０１－２０８．
【0175】
Ｙ．Ｈｕａ，Ｊ．Ｇｕｏ，ａｎｄ Ｈ．Ｚｈａｏ，“Ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ａｎｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１５ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ．ＩＥＥＥ，２０１５，ｐｐ．１－４．
【0176】
Ｅ．Ｑｉｎ，Ａ．Ｓａｍａｊｄａｒ，Ｈ．Ｋｗｏｎ，Ｖ．Ｎａｄｅｌｌａ，Ｓ．Ｓｒｉｎｉｖａｓａｎ，Ｄ．Ｄａｓ，Ｂ．Ｋａｕｌ，ａｎｄ Ｔ．Ｋｒｉｓｈｎａ，“Ｓｉｇｍａ： Ａ ｓｐａｒｓｅ ａｎｄ ｉｒｒｅｇｕｌａｒ ｇｅｍｍ ａｃｃｅｌｅｒａｔｏｒ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｉｎｔｅｒｃｏｎｎｅｃｔｓ ｆｏｒ ｄｎｎ ｔｒａｉｎｉｎｇ，” ｉｎ ２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＨＰＣＡ），２０２０，ｐｐ．５８－７０．
【0177】
Ｓ．Ｌｅｖａｎｔｉｎｏ，Ｇ．Ｍａｒｚｉｎ，ａｎｄ Ｃ．Ｓａｍｏｒｉ，“Ａｎ ａｄａｐｔｉｖｅ ｐｒｅ－ｄｉｓｔｏｒｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｔｏ ｍｉｔｉｇａｔｅ ｔｈｅ ｄｔｃ ｎｏｎｌｉｎｅａｒｉｔｙ ｉｎ ｄｉｇｉｔａｌ ｐｌｌｓ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．４９，ｎｏ．８，ｐｐ．１７６２－１７７２，２０１４．
【0178】
Ｍ．Ｒ．Ｌｉ，Ｃ．Ｈ．Ｙａｎｇ，ａｎｄ Ｙ．Ｌ．Ｕｅｎｇ，“Ａ ５．２８－ｇｂ／ｓ ｌｄｐｃ ｄｅｃｏｄｅｒ ｗｉｔｈ ｔｉｍｅ－ｄｏｍａｉｎ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｉｅｅｅ ８０２．１５．３ｃ ａｐｐｌｉｃａｔｉｏｎｓ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．５２，ｎｏ．２，ｐｐ．５９２－６０４，２０１６．
【0179】
Ｄ．Ｍｉｙａｓｈｉｔａ，Ｒ．Ｙａｍａｋｉ，Ｋ．Ｈａｓｈｉｙｏｓｈｉ，Ｈ．Ｋｏｂａｙａｓｈｉ，Ｓ．Ｋｏｕｓａｉ，Ｙ．Ｏｏｗａｋｉ，ａｎｄ Ｙ．Ｕｎｅｋａｗａ，“Ａｎ ｌｄｐｃ ｄｅｃｏｄｅｒ ｗｉｔｈ ｔｉｍｅ－ｄｏｍａｉｎ ａｎａｌｏｇ ａｎｄ ｄｉｇｉｔａｌ ｍｉｘｅｄ－ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．４９，ｎｏ．１，ｐｐ．７３－８３，２０１３．
【0180】
Ｋ．Ｍａｄａｎｉ，Ｐ．Ｇａｒｄａ，Ｅ．Ｂｅｌｈａｉｒｅ，ａｎｄ Ｆ．Ｄｅｖｏｓ，“Ｔｗｏ ａｎａｌｏｇ ｃｏｕｎｔｅｒｓ ｆｏｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．２６，ｎｏ．７，ｐｐ．９６６－９７４，１９９１．
【0181】
Ｎ．Ｐ．Ｊｏｕｐｐｉ，Ｃ．Ｙｏｕｎｇ，Ｎ．Ｐａｔｉｌ，Ｄ．Ｐａｔｔｅｒｓｏｎ，Ｇ．Ａｇｒａｗａｌ，Ｒ．Ｂａｊｗａ，Ｓ．Ｂａｔｅｓ，Ｓ．Ｂｈａｔｉａ，Ｎ．Ｂｏｄｅｎ，Ａ．Ｂｏｒｃｈｅｒｓ ｅｔ ａｌ．，“Ｉｎ－ｄａｔａｃｅｎｔｅｒ ｐｅｒｆｏｒｍａｎｃｅ ａｎａｌｙｓｉｓ ｏｆ ａ ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４４ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ，２０１７，ｐｐ．１－１２．
【0182】
Ｌ．Ｄｅｎｇ，“Ｔｈｅ ｍｎｉｓｔ ｄａｔａｂａｓｅ ｏｆ ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｉｍａｇｅｓ ｆｏｒ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ ［ｂｅｓｔ ｏｆ ｔｈｅ ｗｅｂ］，” ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，ｖｏｌ．２９，ｎｏ．６，ｐｐ．１４１－１４２，２０１２．
【0183】
Ｔ．Ｃｌａｎｕｗａｔ，Ｍ．Ｂｏｂｅｒ－Ｉｒｉｚａｒ，Ａ．Ｋｉｔａｍｏｔｏ，Ａ．Ｌａｍｂ，Ｋ．Ｙａｍａｍｏｔｏ，ａｎｄ Ｄ．Ｈａ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｃｌａｓｓｉｃａｌ ｊａｐａｎｅｓｅ ｌｉｔｅｒａｔｕｒｅ，” ａｒＸｉｖ：１８１２．０１７１８，２０１８．
【0184】
Ｈ．Ｘｉａｏ，Ｋ．Ｒａｓｕｌ，ａｎｄ Ｒ．Ｖｏｌｌｇｒａｆ，“Ｆａｓｈｉｏｎ－ｍｎｉｓｔ： ａ ｎｏｖｅｌ ｉｍａｇｅ ｄａｔａｓｅｔ ｆｏｒ ｂｅｎｃｈｍａｒｋｉｎｇ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ，” ａｒＸｉｖ：１７０８．０７７４７，２０１７．
【0185】
Ｇ．Ｃｏｈｅｎ，Ｓ．Ａｆｓｈａｒ，Ｊ．Ｔａｐｓｏｎ，ａｎｄ Ａ．Ｖａｎ Ｓｃｈａｉｋ，“Ｅｍｎｉｓｔ： Ｅｘｔｅｎｄｉｎｇ ｍｎｉｓｔ ｔｏ ｈａｎｄｗｒｉｔｔｅｎ ｌｅｔｔｅｒｓ，” ｉｎ ２０１７ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＩＪＣＮＮ）．ＩＥＥＥ，２０１７，ｐｐ．２９２１－２９２６．
【0186】
Ａ．Ｋｒｉｚｈｅｖｓｋｙ，Ｇ．Ｈｉｎｔｏｎ ｅｔ ａｌ．，“Ｌｅａｒｎｉｎｇ ｍｕｌｔｉｐｌｅ ｌａｙｅｒｓ ｏｆ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｔｉｎｙ ｉｍａｇｅｓ，”２００９．
【0187】
Ｙ．ＬｅＣｕｎ，Ｆ．Ｊ．Ｈｕａｎｇ，ａｎｄ Ｌ．Ｂｏｔｔｏｕ，“Ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ ｇｅｎｅｒｉｃ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｉｎｖａｒｉａｎｃｅ ｔｏ ｐｏｓｅ ａｎｄ ｌｉｇｈｔｉｎｇ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００４ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００４．ＣＶＰＲ ２００４．，ｖｏｌ．２．ＩＥＥＥ，２００４，ｐｐ．ＩＩ－１０４．
【0188】
Ａ．Ｃｏａｔｅｓ，Ａ．Ｎｇ，ａｎｄ Ｈ．Ｌｅｅ，“Ａｎ ａｎａｌｙｓｉｓ ｏｆ ｓｉｎｇｌｅ－ｌａｙｅｒ ｎｅｔｗｏｒｋｓ ｉｎ ｕｎｓｕｐｅｒｖｉｓｅｄ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｆｏｕｒｔｅｅｎｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｓｔａｔｉｓｔｉｃｓ．ＪＭＬＲ Ｗｏｒｋｓｈｏｐ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ，２０１１，ｐｐ．２１５－２２３．
【0189】
Ｓ．Ｖｅｒｍａ，Ｐ．Ｐａｔｅｌ，ａｎｄ Ａ．Ｍａｊｕｍｄａｒ，“Ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ ｗｉｔｈ ｌａｂｅｌ ｃｏｎｓｉｓｔｅｎｔ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，” ｉｎ ２０１７ Ｎｉｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＡＰＲ）．ＩＥＥＥ，２０１７，ｐｐ．１－６．
【0190】
Ａ．Ｐｕｍｓｉｒｉｒａｔ ａｎｄ Ｌ．Ｙａｎ，“Ｃｒｅｄｉｔ ｃａｒｄ ｆｒａｕｄ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ａｕｔｏ－ｅｎｃｏｄｅｒ ａｎｄ ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｄｖａｎｃｅｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．９，ｎｏ．１，２０１８．
【0191】
Ｆ．Ｍ．Ｈａｒｐｅｒ ａｎｄ Ｊ．Ａ．Ｋｏｎｓｔａｎ，“Ｔｈｅ ｍｏｖｉｅｌｅｎｓ ｄａｔａｓｅｔｓ： Ｈｉｓｔｏｒｙ ａｎｄ ｃｏｎｔｅｘｔ，” Ａｃｍ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｒａｃｔｉｖｅ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ（ｔｉｉｓ），ｖｏｌ．５，ｎｏ．４，ｐｐ．１－１９，２０１５．
【0192】
Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ ａｎｄ Ｉ．Ｍｕｒｒａｙ，“Ｏｎ ｔｈｅ ｑｕａｎｔｉｔａｔｉｖｅ ａｎａｌｙｓｉｓ ｏｆ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，２００８，ｐｐ．８７２－８７９．
【0193】
Ｗ．Ｌｉ，Ｐ．Ｘｕ，Ｙ．Ｚｈａｏ，Ｈ．Ｌｉ，Ｙ．Ｘｉｅ，ａｎｄ Ｙ．Ｌｉｎ，“Ｔｉｍｅｌｙ： Ｐｕｓｈｉｎｇ ｄａｔａ ｍｏｖｅｍｅｎｔｓ ａｎｄ ｉｎｔｅｒｆａｃｅｓ ｉｎ ｐｉｍ ａｃｃｅｌｅｒａｔｏｒｓ ｔｏｗａｒｄｓ ｌｏｃａｌ ａｎｄ ｉｎ ｔｉｍｅ ｄｏｍａｉｎ，” ｉｎ ２０２０ ＡＣＭ／ＩＥＥＥ ４７ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＣＡ）．ＩＥＥＥ，２０２０，ｐｐ．８３２－８４５．
【0194】
Ｘ．Ｈｅ，Ｓ．Ｐａｌ，Ａ．Ａｍａｒｎａｔｈ，Ｓ．Ｆｅｎｇ，Ｄ．－Ｈ．Ｐａｒｋ，Ａ．Ｒｏｖｉｎｓｋｉ，Ｈ．Ｙｅ，Ｙ．Ｃｈｅｎ，Ｒ．Ｄｒｅｓｌｉｎｓｋｉ，ａｎｄ Ｔ．Ｍｕｄｇｅ，“Ｓｐａｒｓｅ－ｔｐｕ： Ａｄａｐｔｉｎｇ ｓｙｓｔｏｌｉｃ ａｒｒａｙｓ ｆｏｒ ｓｐａｒｓｅ ｍａｔｒｉｃｅｓ，” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３４ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ，２０２０，ｐｐ．１－１２．
【0195】
Ｍ．Ａ．Ｃａｒｒｅｉｒａ－Ｐｅｒｐｉｎａｎ ａｎｄ Ｇ．Ｈｉｎｔｏｎ，“Ｏｎ ｃｏｎｔｒａｓｔｉｖｅ ｄｉｖｅｒｇｅｎｃｅ ｌｅａｒｎｉｎｇ，” ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｗｏｒｋｓｈｏｐ ｏｎ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｓｔａｔｉｓｔｉｃｓ．ＰＭＬＲ，２００５，ｐｐ．３３－４０．
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14A】
【図14B】
【図14C】
【図14D】
【図15A】
【図15B】
【図16】
【国際調査報告】