特許 7422782 非対称ＲＰＵデバイスによるＤＮＮの訓練

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-18

(45)【発行日】2024-01-26

(54)【発明の名称】非対称ＲＰＵデバイスによるＤＮＮの訓練

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240119BHJP

   G06N 3/065 20230101ALI20240119BHJP

【ＦＩ】

G06N3/08

G06N3/065

【請求項の数】 13

(21)【出願番号】P 2021557551

(86)(22)【出願日】2020-04-15

(65)【公表番号】

(43)【公表日】2022-07-01

(86)【国際出願番号】 IB2020053538

(87)【国際公開番号】W WO2020222064

(87)【国際公開日】2020-11-05

【審査請求日】2022-09-22

(31)【優先権主張番号】16/400,674

(32)【優先日】2019-05-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】ゴクメン、タイフン

【審査官】▲はま▼中 信行

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００９１６１８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００９１６１６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００６１２８１（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１８９６００（ＷＯ，Ａ１）

【文献】Tayfun Gokmen 等，Acceleration of Deep Neural Network Training with Resistive Cross-Point Devices: Design Consideratio，Frontiers in Neuroscience，2016年07月，https://www.frontiersin.org/articles/10.3389/fnins.2016.00333/full

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ９９／００

Ｇ０６Ｇ １／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

ディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を訓練する方法であって、
行列Ａおよび行列Ｃの線形結合としての重み行列（Ｗ）を提供するステップであって、前記行列Ａおよび前記行列Ｃは、伝導性列ワイヤに直交する伝導性行ワイヤをそれぞれ有する抵抗処理ユニット（ＲＰＵ：ｒｅｓｉｓｔｉｖｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）デバイスの別々のクロスポイント・アレイＡおよびＣの記憶された伝導性値によって形成され、前記ＲＰＵデバイスは、前記伝導性行ワイヤと前記伝導性列ワイヤとの間の交差部を分離し、これにより前記ＲＰＵデバイスは前記ＤＮＮのニューロン間の重み付き接続部として機能する、ステップと、
順方向サイクルにおいて、入力ベクトルｘを電圧パルスとして前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性列ワイヤを通して伝送し、結果として生じる出力ベクトルｙを、前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性行ワイヤから出力される電流として読み出すステップと、
逆方向サイクルにおいて、前記出力ベクトルｙから算出された誤差信号δを電圧パルスとして前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性行ワイヤを通して伝送し、結果として生じる出力ベクトルｚを、前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性列ワイヤから出力される電流として読み出すステップと、
前記クロスポイント・アレイＡの更新において、前記入力ベクトルｘを電圧パルスとして前記クロスポイント・アレイＡの前記伝導性列ワイヤを通して伝送すると同時に、前記誤差信号δを電圧パルスとして前記クロスポイント・アレイＡの前記伝導性行ワイヤを通して伝送するステップと、
順方向サイクルにおいて、入力ベクトルｅ_ｉを電圧パルスとして前記クロスポイント・アレイＡの前記伝導性列ワイヤを通して伝送し、結果として生じる出力ベクトルｙ’を前記クロスポイント・アレイＡの前記伝導性行ワイヤから出力される電流として読み出すステップと、
ｙ’を使用してｆ（ｙ’）を算出するステップであって、｜ｙ’｜＞閾値Ｔの場合に限りｆ（ｙ’）＝ｙ’であり、それ以外の場合にはｆ（ｙ’）＝０である、前記ｆ（ｙ’）を算出するステップと、
前記クロスポイント・アレイＣの更新において、前記入力ベクトルｅ_ｉを電圧パルスとして前記クロスポイント・アレイＣの前記伝導性列ワイヤを通して伝送すると同時に、ｆ（ｙ’）を電圧パルスとして前記クロスポイント・アレイＣの前記伝導性行ワイヤを通して伝送するステップと
を含み、
前記クロスポイント・アレイＡの全ての前記ＲＰＵデバイスが自身の対称点に収束するまで、前記クロスポイント・アレイＡの前記ＲＰＵデバイスに繰り返し電圧パルスを印加するステップと、
前記クロスポイント・アレイＡの前記ＲＰＵデバイスのゼロの重みの伝導性値を参照アレイにコピーするステップとをさらに含む、方法。

【請求項2】

収束基準が満たされるまで前記方法の前記ステップを繰り返すステップ
をさらに含む、請求項１に記載の方法。

【請求項3】

前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｙをデジタル信号に変換するステップ
をさらに含む、請求項１に記載の方法。

【請求項4】

前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｙの線形結合を算出するステップ
をさらに含む、請求項３に記載の方法。

【請求項5】

前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｚをデジタル信号に変換するステップ
をさらに含む、請求項１に記載の方法。

【請求項6】

前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｚの線形結合を算出するステップ
をさらに含む、請求項５に記載の方法。

【請求項7】

前記参照アレイからの前記ゼロの重みの伝導性値によって前記クロスポイント・アレイＡの出力をゼロシフトするステップ
をさらに含む、請求項１に記載の方法。

【請求項8】

クロスポイント・アレイＡの前記ＲＰＵデバイスに印加される前記繰り返し電圧パルスは、アップおよびダウン電圧パルスを含む、請求項１に記載の方法。

【請求項9】

前記アップおよびダウン電圧パルスは、クロスポイント・アレイＡの前記ＲＰＵデバイスにランダムに印加される、請求項８に記載の方法。

【請求項10】

前記アップおよびダウン電圧パルスは、クロスポイント・アレイＡの前記ＲＰＵデバイスに交互に印加される、請求項８に記載の方法。

【請求項11】

前記入力ベクトルｅ_ｉは、ワン・ホット・エンコードされたベクトルを含む、請求項１に記載の方法。

【請求項12】

前記入力ベクトルｅ_ｉは、アダマール行列から選択される、請求項１に記載の方法。

【請求項13】

請求項１～１２のいずれかに記載の方法の全てのステップを実行するために適合された手段を含むシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディープ・ニューラル・ネットワーク（ＤＮＮ： ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の訓練に関し、特に、非対称の抵抗処理ユニット（ＲＰＵ：ｒｅｓｉｓｔｉｖｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）デバイスを有するＤＮＮを訓練するための技術に関する。

【背景技術】

【0002】

ディープ・ニューラル・ネットワーク（ＤＮＮ）は、“Ｒｅｓｉｓｔｉｖｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”と題するＧｏｋｍｅｎらによる米国特許出願公開第２０１７／０１０９６２８号（以下、「米国特許出願公開第２０１７／０１０９６２８号」）に記載される抵抗処理ユニット（ＲＰＵ）などの抵抗デバイスのアナログ・クロスポイント・アレイに具体化されうる。米国特許出願公開第２０１７／０１０９６２８号に記載されるように、各ＲＰＵは、第一端子、第二端子、および活性領域を含む。活性領域の伝導率状態がＲＰＵの重み値を識別し、ＲＰＵの重み値は第一／第二端子への信号の印加によって更新／調節されうる。

【0003】

ＤＮＮベースのモデルは、物体および音声認識ならびに自然言語処理などの多様な認知ベースのタスクに使用されている。例えば、Ｇｏｋｍｅｎら、“Ｔｒａｉｎｉｎｇ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｒｅｓｉｓｔｉｖｅ Ｃｒｏｓｓ－ｐｏｉｎｔ Ｄｅｖｉｃｅｓ”、Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｎｅｕｒｏｓｃｉｅｎｃｅ、ｖｏｌ．１１、ａｒｔｉｃｌｅ ５３８（２０１７年１０月）（１３ページ）を参照されたい。このようなタスクを行う際に高レベルの精度を提供するためにＤＮＮ訓練が必要とされる。大規模なＤＮＮの訓練は、非常に計算量の大きいタスクである。

【0004】

対称性は、ＤＮＮ訓練の精度を達成するために重要なファクターである。対称であるためには、アナログ抵抗デバイスは、正および負の電圧パルスにさらされたときに伝導率を対称的に変化させなければならない。この対称性により、ＤＮＮ訓練の間に誤差逆伝播法および確率的勾配降下法（ＳＧＤ：ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｃｅｎｔ）が完全に実施されることが可能になる。しかし実際には、ＲＰＵデバイスは、理想的でない非線形および非対称のスイッチング特性を呈しうる。例えば、重みを上下に調節するために電圧パルスが段階的に印加されるときに、上下の調節の間に不均衡が存在することが多い。

【0005】

したがって、この非線形／非対称ハードウェア・バイアスを許容する新規なＤＮＮ訓練技術が必要である。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明は、請求項１に記載の方法、および請求項１５に記載の対応するシステムを提供する。

【0007】

以下の詳細な説明および図面を参照することにより、本発明ならびに本発明のさらなる特徴および利点のより完全な理解が得られるであろう。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態による抵抗処理ユニット（ＲＰＵ）デバイスのアナログ・クロスポイント・アレイに具体化されたディープ・ニューラル・ネットワーク（ＤＮＮ）を示す図である。

【図2A】本発明の一実施形態による、線形および対称ＲＰＵデバイスの理想的なスイッチング特性を示す図である。

【図2B】本発明の一実施形態による、非線形および非対称ＲＰＵデバイスの理想的でないスイッチング特性を示す図である。

【図3】本発明の一実施形態によるＤＮＮを訓練するための例示的な方法論を示す図である。

【図4】本発明の一実施形態による、行列Ａと行列Ａのゼロの重みの伝導率値が投入された参照行列とに対応する二つの相互接続されたアレイ（すなわちアレイＡおよび参照アレイ）を示す図である。

【図5】本発明の一実施形態による、ｙをアレイＡおよびアレイＣからの出力の線形結合としてアレイＡおよびアレイＣで別々に行われる順方向サイクルｙ＝Ｗｘを示す図である。

【図6】本発明の一実施形態による、ｚを行列Ａおよび行列Ｃからの出力の線形結合として行列Ａおよび行列Ｃで別々に行われる逆方向サイクルｚ＝Ｗ^Ｔδを示す図である。

【図7】本発明の一実施形態による、順方向サイクルで伝播されるｘおよび逆方向サイクルで伝播されるδにより更新されるアレイＡ

【0009】

【数1】

【0010】

を示す図である。

【図8】本発明の一実施形態による、行列Ａで行われる順方向サイクルｙ’＝Ａｅ_ｉを示す図である。

【図9】本発明の一実施形態による、ｅ_ｉおよびｆ（ｙ’）で更新される行列Ｃを示す図である。

【図10】本発明の一実施形態による例示的なワン・ホット・エンコードされたベクトルを示す図である。

【図11】本発明の一実施形態による、例示的な２次のアダマール行列を示す図である。

【図12】本発明の一実施形態による、例示的な４次のアダマール行列を示す図である。

【図13】本発明の実施形態による、本技術の一つ以上を実行する際に用いられうる例示的な装置を示す図である。

【発明を実施するための形態】

【0011】

本明細書に提供されるのは、非対称の抵抗処理ユニット（ＲＰＵ）デバイスによるディープ・ニューラル・ネットワーク（ＤＮＮ）の訓練技術である。上で強調したように、ＤＮＮはＲＰＵのアナログ・クロスポイント・アレイに具体化されうる。例えば、図１に示される概略図を参照されたい。

【0012】

図１に示されるように、アルゴリズム的（抽象）重み行列１０２の各パラメータ（重みｗ_ｉｊ）が、ハードウェア、すなわちＲＰＵデバイスの物理的クロスポイント・アレイ１０４の一つのＲＰＵデバイス（ＲＰＵ_ｉｊ）にマッピングされる。クロスポイント・アレイ１０４は、一連の伝導性行ワイヤ１０６と、伝導性行ワイヤ１０６に対して直交して向けられて交差する一連の伝導性列ワイヤ１０８とを含む。行および列ワイヤ１０６および１０８の間の交差部は、ＲＰＵデバイスのクロスポイント・アレイ１０４を形成するＲＰＵ１１０によって分離される。米国特許出願公開第２０１７／０１０９６２８号に記載されるように、各ＲＰＵは、第一端末、第二端末、および活性領域を含みうる。活性領域の伝導状態がＲＰＵの重み値を識別し、ＲＰＵの重み値は第一／第二端子への信号の印加によって更新／調節されうる。さらに、三端子（またはそれ以上の端子）のデバイスが、余分の端子を制御することにより、二端子抵抗メモリ・デバイスとして有効に働きうる。三端子ＲＰＵデバイスの説明については、例えばＫｉｍら、“Ａｎａｌｏｇ ＣＭＯＳ－ｂａｓｅｄ Ｒｅｓｉｓｔｉｖｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ｆｏｒ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ”、２０１７ ＩＥＥＥ ６０^ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｉｄｗｅｓｔ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＭＷＡＣＡＳ）、（２０１７年８月）（４ページ）を参照されたい。

【0013】

各ＲＰＵ（ＲＰＵ_ｉｊ）は、クロスポイント・アレイ１０４内のその位置（すなわちｉ行およびｊ列）に基づいて一意に識別される。例えばクロスポイント・アレイ１０４の上から下へ、および左から右へ進んでいくと、第一行ワイヤ１０６と第一列ワイヤ１０８との交差部のＲＰＵはＲＰＵ_１１と指定され、第一行ワイヤ１０６と第二列ワイヤ１０８との交差部のＲＰＵはＲＰＵ_１２と指定され、以下同様となる。さらに、重み行列１０２のパラメータのクロスポイント・アレイ１０４のＲＰＵへのマッピングは、同じ規則にしたがう。例えば、重み行列１０２の重みｗ_ｉ１はクロスポイント・アレイ１０４のＲＰＵ_ｉ1にマッピングされ、重み行列１０２の重みｗ_ｉ２はクロスポイント・アレイ１０４のＲＰＵ_ｉ２にマッピングされ、以下同様となる。

【0014】

クロスポイント・アレイ１０４のＲＰＵ１１０は、事実上、ＤＮＮのニューロン間の重み付き接続部として機能する。ＲＰＵ１１０の伝導状態（例えば抵抗）は、行および列ワイヤ１０６および１０８の個々のワイヤ間に印加される電圧をそれぞれ制御することによって変更されうる。高伝導状態または低伝導状態を達成するＲＰＵの伝導状態の交番（オルタネーション）によってデータが記憶される。ＲＰＵ１１０の伝導状態は、電圧を印加し、ターゲットＲＰＵ１１０を通過する電流を測定することによって読み出される。重みを含む全ての演算は、ＲＰＵ１１０によって完全に並行に行われる。

【0015】

機械学習および認知科学において、ＤＮＮに基づくモデルは、動物の特に脳の生体神経ネットワークに触発された統計的学習モデルのファミリーである。これらのモデルを使用して、一般に未知である多数の入力および接続部の重みに依存するシステムおよび認知機能を推定または近似しうる。ＤＮＮは、電子信号の形で互いの間で「メッセージ」を交換する模擬「ニューロン」として働く相互接続されたプロセッサ要素のいわゆる「ニューロモルフィック」システムとして具体化されることが多い。模擬ニューロンの間で電子メッセージを運ぶＤＮＮの接続部には、所与の接続部の強さまたは弱さに対応する数値的重みが提供される。これらの数値的重みは、経験に基づいて調節および調整されて、ＤＮＮが入力に適応し、学習できるようにしうる。例えば、手書き認識のためのＤＮＮは、入力画像のピクセルによって活性化されうる入力ニューロンのセットによって定義される。ネットワークの設計者によって決定された関数によって重み付けおよび変換された後、これらの入力ニューロンの活性化はその後、他の下流のニューロンに渡される。このプロセスは、出力ニューロンが活性化されるまで繰り返される。活性化された出力ニューロンは、どの文字が読み取られたかを判断する。

【0016】

ＲＰＵ１１０は、特に訓練目的には理想的でない非線形および非対称のスイッチング特性を呈しうる。例えば、図２Ａおよび図２Ｂを参照されたい。最初に図２Ａを参照すると、理想的なＲＰＵデバイスのスイッチング特性が示される。図２Ａに示すように、この理想的な場合には、重みを上下に調節するために外部電圧刺激が印加されたときに応答が線形および対称である。訓練の目的上、そのような理想的なデバイスは、誤差逆伝播法および確率的勾配降下法（ＳＧＤ）を完全に実施する。

【0017】

すなわち、以下でさらに詳細に説明するように、各パラメータ（重みｗ_ｉｊ）の誤差勾配が誤差逆伝播法を使用して算出される、インクリメンタルまたは確率的勾配降下法（ＳＧＤ）プロセスによりＤＮＮが訓練されうる。例えば、Ｒｕｍｅｌｈａｒｔら、“Ｌｅａｒｎｉｎｇ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｂａｃｋ－ｐｒｏｐａｇａｔｉｎｇ ｅｒｒｏｒｓ”、Ｎａｔｕｒｅ ３２３、ｐｐ．５３３－５３６（１９８６年１０月）を参照されたい。誤差逆伝播法は、収束基準が満たされるまで複数回繰り返される順方向サイクル、逆方向サイクル、および重み更新サイクルの三つのサイクルにおいて行われる。

【0018】

ＤＮＮに基づくモデルは、複数の抽象化レベルでデータの表現を学習する複数の処理層で構成される。例えば、ＬｅＣｕｎら、“Ｄｅｅｐ Ｌｅａｒｎｉｎｇ”、Ｎａｔｕｒｅ ５２１、ｐｐ．４３６－４４４（２０１５年５月）を参照されたい。Ｎ個の入力ニューロンがＭ個の出力ニューロンに接続される単一の処理層の場合、順方向サイクルはベクトル－行列乗算（ｙ＝Ｗｘ）を計算することを含み、ここで長さＮのベクトルｘは入力ニューロンの活性を表し、サイズＭ×Ｎの行列Ｗが入力および出力ニューロンの各対間の重み値を記憶する。結果として生じる長さＭのベクトルｙは、各抵抗メモリ要素で非線形活性化を行うことによってさらに処理され、それから次の層に渡される。

【0019】

情報が最終出力層に到達すると、逆方向サイクルは、誤差信号を算出し、誤差信号をＤＮＮを通して逆伝播することを含む。単一の層の逆方向サイクルは、重み行列の転置（各行および対応する列の入れ替え）に対するベクトル－行列乗算（ｚ＝Ｗ^Ｔδ）も含み、ここで長さＭのベクトルδは出力ニューロンによって算出された誤差を表し、長さＮのベクトルｚはニューロンの非線形性の導関数を使用してさらに処理され、それから前の層に渡される。

【0020】

最後に、重み更新サイクルでは、順方向および逆方向サイクルにおいて使用される二つのベクトルの外積を行うことによって重み行列Ｗが更新される。この二つのベクトルの外積は、Ｗ←Ｗ＋η（δｘ^Ｔ）として表されることが多く、ここでηはグローバルな学習率である。

【0021】

この誤差逆伝播法プロセス中に重み行列Ｗに対して行われる全ての演算は、対応する数のＭ行およびＮ列を有するＲＰＵ１１０のクロスポイント・アレイ１０４により実施され得、ここでクロスポイント・アレイ１０４の記憶された伝導率値が行列Ｗを形成する。順方向サイクルでは、入力ベクトルｘが各列ワイヤ１０８を通して電圧パルスとして伝送され、結果として生じるベクトルｙが、行ワイヤ１０６から出力される電流として読み出される。同様に、逆方向サイクルへの入力として行ワイヤ１０６から電圧パルスが供給されると、重み行列Ｗ^Ｔの転置に対してベクトル－行列積が計算される。最後に、更新サイクルにおいて、ベクトルｘおよびδを表す電圧パルスが、列ワイヤ１０８および行ワイヤ１０６から同時に供給される。この構成では、各ＲＰＵ１１０は、対応する列ワイヤ１０８および行ワイヤ１０６から来る電圧パルスを処理することによって局所乗算および加算演算を行い、このようにしてインクリメンタルな重み更新を達成する。

【0022】

上で強調したように、対称ＲＰＵ（図２Ａを参照）は誤差逆伝播法およびＳＧＤを完全に実施する。すなわち、そのような理想的なＲＰＵでは、ｗ_ｉｊ←ｗ_ｉｊ＋ηΔｗ_ｉｊとなり、ここでｗ_ｉｊはクロスポイント・アレイ１０４のｉ行およびｊ列の重み値である。

【0023】

対照的に、理想的でないＲＰＵデバイスのスイッチング特性は図２Ｂに示される。図２Ｂに示すように、この理想的でない場合には、外部電圧刺激が印加されたときに応答が非線形および非対称である。すなわち、重みを上下に調節するために電圧パルス（本明細書ではそれぞれ「アップ」および「ダウン」パルスと呼ばれる）が段階的に印加されたときに重み更新の量（すなわち段階の大きさ）が現在の重み値に線形に依存する。したがって、上下の調節の強さが等しい重み値が一つだけある（以下で詳述するゼロ・シフト技術からのゼロの重み値に対応する）が、残りの重み範囲は不均衡である。ＲＰＵデバイスにアップおよびダウン・パルス・シーケンスのセットが与えられると想定した場合、この不均衡は、デバイスがアップおよびダウン・パルスの強さが等しい対称点に向かって上下する傾向をもつことを意味する。このデバイス挙動は、ＲＰＵデバイスの伝導率の変化を左右するＲＰＵデバイスの物理的性質に由来する追加のエネルギー項（内部エネルギー）に変換されうる。したがって、誤差逆伝播法に使用されるときには、これらの理想的でないスイッチング特性を備えたＲＰＵは、理想的な場合とは非常に異なるものを実施する、すなわちｗ_ｉｊ←ｗ_ｉｊ＋ηΔｗ_ｉｊ＋Ｇ（ｗ_ｉｊ）｜Δｗ_ｉｊ｜となり、ここでＧ（ｗ_ｉｊ）｜Δｗ_ｉｊ｜はＲＰＵデバイスの非対称のスイッチング特性に起因して現れる追加のエネルギー項（内部エネルギー）を表す。

【0024】

ＲＰＵ１１０などの抵抗メモリ・デバイスでは、各デバイスでアップおよびダウン・パルスの傾きが全く同じであるただ一つの対称点が常に存在することが分かっている。例えば、Ｋｉｍらによる“Ａｌｉｇｎｍｅｎｔ Ｔｅｃｈｎｉｑｕｅｓ ｔｏ Ｍａｔｃｈ Ｓｙｍｍｅｔｒｙ Ｐｏｉｎｔ ａｓ Ｚｅｒｏ－Ｗｅｉｇｈｔ Ｐｏｉｎｔ ｉｎ Ａｎａｌｏｇ Ｃｒｏｓｓｐｏｉｎｔ Ａｒｒａｙｓ”と題した米国特許出願第１６／１５８，０５６号（以下、「米国特許出願第１６／１５８，０５６号」）を参照されたい。この対称点（異なりうる）には、ゼロの重み値が割り当てられうる。

【0025】

クロスポイント・アレイ１０４の各ＲＰＵ１１０の対称点（デバイスごとに変動し得る）は、重みアレイの全てのＲＰＵ１１０が自身の対称点に収束するまで重みアレイ（例えば行列Ａ、以下参照）のＲＰＵ１１０に繰り返し（第一、第二、第三などの）アップおよびダウン電圧パルスを印加することによって決定される。例えば、伝導率範囲がＧｍｉｎ～Ｇｍａｘであり、一つの更新インシデントでの平均デルタＧがｄＧａｖｇである場合、伝導率範囲内の有効状態数は（Ｇｍａｘ－Ｇｍｉｎ）／ｄＧａｖｇである。デバイスが極値点にあり、交互のアップ／ダウン・パルスが与えられると、中央点に到達するまでに更新＃＝（Ｇｍａｘ－Ｇｍｉｎ）／ｄＧａｖｇがかかる。収束を保証するために、余分のサイクルの交互のアップ／ダウン・パルス、例えばｎ×（Ｇｍａｘ－Ｇｍｉｎ）／ｄＧａｖｇを与えることができ、ここでｎ＝１以上である。アップおよびダウン電圧パルスは、ＲＰＵ１１０にランダムに（すなわち各パルスがランダムにアップまたはダウン・パルスのいずれかである）、交互に（すなわち前のパルスがアップ・パルスである場合には次のパルスはダウン・パルスであり、その逆も同様）などで印加されうる。米国特許出願第１６／１５８，０５６号を参照されたい。

【0026】

重みアレイの全てのＲＰＵ１１０がいずれも自身の対称点に収束すると、（対称点での）重みアレイからの各ＲＰＵ１１０の伝導率値が、重みアレイと相互接続された別個の参照アレイにコピーされる。重みアレイのデバイスと参照アレイとの間には一対一の相関があるため、重みアレイの一つの対応するデバイスに対して参照アレイの各デバイスで一意のゼロの重み値が確立されうる。したがって、演算中には、重みアレイのＲＰＵ１１０の出力は、参照アレイに記憶された対応するデバイスからのゼロの重み値によってシフトされる。例えば、重みアレイおよび参照アレイの両方に同じ信号が提供されうる。その後、重みアレイのＲＰＵ１１０からの出力（例えばＩ_１、Ｉ_２、Ｉ_３など）が、それらの値を（ゼロの重み値に設定された）参照アレイの対応するデバイスの出力から減算することによってゼロシフトされて、ゼロシフトされた結果が達成されうる。米国特許出願第１６／１５８，０５６号を参照されたい。

【0027】

ゼロシフトされた結果を達成するためのこの初期設定の後、本技術を使用してＤＮＮが訓練される。例えば、図３の方法論３００を参照されたい。その最も一般的な形態では、本技術にしたがって使用される重み行列（Ｗ）は、二つの行列ＡおよびＣの線形結合である、すなわちＷ＝γＡ＋Ｃであり、ここでγはスカラー係数である。初期化中には、ゼロの重み値の参照アレイ（上記を参照）を使用して、行列Ａの各ＲＰＵがゼロに対応する重み値でその平衡点にあることが保証される。訓練中には、重み更新がゼロ点の周りで対称挙動を有する行列Ａに蓄積され、その後行列Ｃに移動される。この連結システム（行列Ａおよび行列Ｃに具体化される）は、理想的でないＲＰＵに関連するハードウェア・バイアスを許容するようにニューラル・ネットワークの目的関数およびＲＰＵの内部エネルギーを自己無撞着に最小化し、故に非対称デバイスを使用して単純に行われる標準のＳＧＤ技術と比較して優れた結果を与えるのが有利である。

【0028】

特に、図３を参照すると、ステップ３０２で、行列Ａの各ＲＰＵの対称点が決定され、対応するゼロの重みの伝導率値が参照アレイにコピーされる。上記のように、各ＲＰＵデバイスの対称点は、行列Ａの全てのＲＰＵが自身の対称点に収束するまで行列ＡのＲＰＵに繰り返しアップおよびダウン電圧パルスを（例えばランダムに、交互になど）印加することによって決定されうる。行列Ａおよび参照行列は、二つの相互接続されたアレイに具体化されうる。例えば、図４を参照されたい。

【0029】

すなわち、図４を簡単に参照すると、（重み行列Ａの重み値（ｗ_ｉｊ）が投入された）ＲＰＵ４０４のクロスポイント・アレイ４０２および（参照行列の対応するゼロの重みの伝導率値（ｗ_０’）が投入された）ＲＰＵ４０８のクロスポイント・アレイ４０６が示される。図４に示されるように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵ４０４とクロスポイント・アレイ４０６（参照行列）のＲＰＵ４０８との間には一対一の相関があるため、重み行列Ａの一つの対応するＲＰＵに対して参照行列の各ＲＰＵで一意のゼロの重み値（ｗ_０’）が確立されうる。以下で詳述するように、（例えば順方向および逆方向演算において）行列Ａが読み出されるときには、差分モードのアレイ４０２（すなわちアレイＡ）およびアレイ４０６（すなわち参照アレイ）。対照的に、行列Ａを更新するときには、アレイ４０２（すなわちアレイＡ）だけを更新するための演算が行われる。

【0030】

図３の方法論３００を再び参照すると、ゼロの重みの伝導率値が参照アレイに記憶されると、修正されたＳＧＤプロセスを使用してＤＮＮの訓練が行われる。全体として、訓練プロセスの目標は、ＤＮＮの精度を最大化するための最良のパラメータ（重みｗ_ｉｊ）のセットを決定することである。「修正された」とは、現在のＳＧＤ訓練プロセスが上述のように順方向サイクル、逆方向サイクル、および重み更新サイクルの三つのサイクルで行われる誤差逆伝播法を使用して誤差勾配を算出するのに対し、ここでは一つの重み行列の代わりに行列ＡおよびＣの連結システムで演算が行われることを意味する。行列Ａ（ゼロ点の周りで対称挙動を有する、上記のステップ３０２を参照）に重み更新が蓄積される。その後、この蓄積された情報が行列Ｃに移動される。

【0031】

図３に示すように、プロセスは、重み行列（Ｗ）すなわちＷ＝γＡ＋Ｃを使用して順方向サイクルが行われることから始まり、ここでγはスカラー係数である。したがって、上で強調したように、重み行列（Ｗ）は二つの別々の行列ＡおよびＣの線形結合である。行列Ａおよび行列Ｃのパラメータは、（例えば本明細書においてアレイＡおよびアレイＣともそれぞれ呼称される）別々のクロスポイント・アレイのＲＰＵデバイスにマッピングされる。一般に、順方向サイクルはベクトル－行列乗算（ｙ＝Ｗｘ）を計算することを含み、ここで入力ベクトルｘは入力ニューロンの活性を表し、行列Ｗ（Ｗ＝γＡ＋Ｃ）は入力および出力ニューロンの各対間の重み値を記憶する。重み値ＷはＷ＝γＡ＋ＣであるようにＡおよびＣの線形結合として設定されるため、γ＝０またはγ＝１に設定するだけでこれらの極端な場合に到達できることが注目される。γ＝１のとき、これによりＷ＝Ａ＋Ｃとなり、γ＝０のとき、これによりＷ＝Ｃとなり、後者は行列Ａが「隠れている」場合を表す。

【0032】

例示的な実施形態によれば、この順方向サイクルは、ステップ３０４において行列ＡおよびＣで別々に行われ、その後ステップ３０６で、例えば（アナログ－デジタル変換の後に）デジタル回路を使用して線形結合が算出される。例えば、図５を簡単に参照すると、クロスポイント・アレイ４０２および５０８の記憶された伝導率値がそれぞれ行列ＡおよびＣを形成するＲＰＵデバイスのクロスポイント・アレイ４０２および５０８で（ステップ３０４により）順方向サイクルのベクトル－行列乗算演算が実施されるのが示される。

【0033】

図５に示されるように、順方向サイクルでは、方法論３００のステップ３０４により、入力ベクトルｘが伝導性列ワイヤ５０６および５１２のそれぞれを通して電圧パルスとして伝送され、結果として生じる出力ベクトルｙが、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）の伝導性行ワイヤ５０４および５１０からそれぞれ出力される電流として読み出される。図５に同様に示されるように、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）からの（アナログ）出力ベクトルｙ_Ａ＝Ａｘおよびｙ_Ｃ＝Ｃｘをそれぞれデジタル信号に変換するために、アナログ－デジタル変換器（ＡＤＣ：ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）５０７およびＡＤＣ５１３が用いられる。したがって、方法論３００のステップ３０６により、これらのデジタル化された信号の線形結合ｙ＝γｙ_Ａ＋ｙ_Ｃが容易に決定されうる、すなわち、
ｙ_Ａ＝Ａｘ
ｙ_Ｃ＝Ｃｘ
ｙ＝γｙ_Ａ＋ｙ_Ｃ
である。
図５に示されるように、順方向サイクルで異なるアレイによって生成されるが同じ列に対応する信号は、標準の乗算および加算演算が実施されるデジタル領域でスケーリングおよび加算される。

【0034】

上記のステップ３０２に記載されるように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスのゼロの重みの伝導率値は、参照アレイにコピーされた。例えば、図４のクロスポイント・アレイ４０６（参照行列）を参照されたい。訓練中には、ステップ３０４で、ＲＰＵデバイスのスイッチング挙動のバイアスを補償するためにクロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスの出力値をそれらの対称点に調節するために、これらのゼロの重みの伝導率値が使用される（上記を参照）。そのために、ステップ３０４でクロスポイント・アレイ４０２（行列Ａ）に印加されるのと同じ電圧パルスが、参照アレイにも印加される。その後、クロスポイント・アレイ４０２（行列Ａ）の出力ベクトルｙが、参照アレイの出力ベクトルから減算される。このゼロシフト技術は、米国特許出願第１６／１５８，０５６号に詳細に記載され、その内容は、本明細書に全体が記載されているかのように参照により組み込まれる。

【0035】

図３の方法論３００を再び参照すると、ステップ３０８で、行列ＡおよびＣで逆方向サイクルが行われる。一般に、逆方向サイクルは、誤差信号δを算出し、行列ＡおよびＣの転置（各行および対応する列の入れ替え）に対するベクトル－行列乗算を介してその誤差信号δを行列ＡおよびＣに逆伝播すること（ｚ＝Ｗ^Ｔδ）を含み、ここでベクトルδは出力ニューロンによって算出された誤差を表し、ベクトルｚはニューロン非線形性の導関数を使用してさらに処理され、それから前の層に渡される。

【0036】

順方向パスと同様に、逆方向サイクルも、ステップ３０８で行列ＡおよびＣで別々に行われてから、ステップ３１０で線形結合が算出される。例えば、図６を簡単に参照すると、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）で（ステップ３０８により）逆方向サイクルのベクトル－行列乗算演算が実施されることが示される。

【0037】

図６に示されるように、逆方向サイクルでは、方法論３００のステップ３０８により、誤差信号δが伝導性行ワイヤ５０４および５１０のそれぞれを通して電圧パルスとして伝送され、結果として生じる出力ベクトルｚが、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）の伝導性列ワイヤ５０６および５１２からそれぞれ出力される電流として読み出される。逆方向サイクルへの入力として行ワイヤ５０４および５１０から電圧パルスが供給されると、行列ＡおよびＣの転置に対してベクトル－行列積が計算される。

【0038】

図６に同様に示されるように、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）からの（アナログ）出力ベクトルｚ_Ａ＝Ａδおよびｚ_Ｃ＝Ｃδをそれぞれデジタル信号に変換するために、ＡＤＣ５０７およびＡＤＣ５１３が用いられる。したがって、方法論３００のステップ３１０により、これらのデジタル化された信号の線形結合ｚ＝（γｚ_Ａ＋ｚ_Ｃ）が容易に決定されうる、すなわち、
ｚ_Ａ＝Ａδ
ｚ_Ｃ＝Ｃδ
ｚ＝γｚ_Ａ＋ｚ_Ｃ
である。
図６に示されるように、逆方向サイクルで異なるアレイによって生成されるが同じ行に対応する信号は、デジタル領域でスケーリングおよび合計される。

【0039】

上記のように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスのゼロの重みの伝導率値は、参照アレイにコピーされた。例えば、図４のクロスポイント・アレイ４０６（参照行列）を参照されたい。訓練中には、ステップ３０８で、ＲＰＵデバイスのスイッチング挙動のバイアスを補償するためにクロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスの出力値をそれらの対称点に調節するために、これらのゼロの重みの伝導率値が使用される（上記を参照）。そのために、ステップ３０８でクロスポイント・アレイ４０２（行列Ａ）に印加されるのと同じ電圧パルスが、参照アレイにも印加される。その後、クロスポイント・アレイ４０２（行列Ａ）の出力ベクトルｚが、参照アレイの出力ベクトルから減算される。

【0040】

図３の方法論３００を再び参照すると、ステップ３１２で、順方向サイクルで伝播された入力ベクトルｘおよび逆方向サイクルで伝播された誤差信号δを使用して行列Ａが更新される、すなわち以下の式となる。

【0041】

【数2】

【0042】

上記のように、ηはグローバルな学習率である。図７を簡単に参照すると、これらの行列Ａの更新は、伝導性列ワイヤ５０６および伝導性行ワイヤ５０４からそれぞれ同時に供給される（順方向サイクルからの）ベクトルｘおよび（逆方向サイクルからの）ベクトルδを表す電圧パルスを伝送することによって、クロスポイント・アレイ４０２（行列Ａ）において実施されることが示される。順方向および逆方向サイクルに用いられる電圧パルスとは対照的に、更新サイクルは確率的パルスＰを使用する（図７を参照）。この構成では、クロスポイント・アレイ４０２の各ＲＰＵは、対応する伝導性列ワイヤ５０６および伝導性行ワイヤ５０４から来る電圧パルスを処理することによって局所乗算および加算演算を行い、このようにしてインクリメンタルな重み更新を達成する。

【0043】

任意に、以下に説明するように、行列Ａ（ステップ３１４）で順方向サイクルを行い、行列Ｃ（ステップ３１６）を更新する前に、ステップ３０４～３１２が複数回繰り返されうる。図３を参照されたい。例示的な実施形態によれば、ステップ３０４～３１２はｎ回繰り返され、ここでｎは２～１００およびその間の範囲である。

【0044】

次に、方法論３００のステップ３１４で、入力ベクトルｅ_ｉを使用して行列Ａで順方向サイクルすなわちｙ’＝Ａｅ_ｉが行われる。各時間ステップで新たな入力ベクトルｅ_ｉが使用され、サブ・インデックスｉはその時間インデックスを示す。

【0045】

以下で詳述するように、例示的な実施形態によれば、入力ベクトルｅ_ｉは、ワン・ホット・エンコードされたベクトルである。例えば、当技術分野で知られるように、ワン・ホット・エンコードされたベクトルは、単一の高（１）ビットを有し、他の全てのビットが低（０）である組み合わせのみを有するビットの群である。説明のために単純な非限定的な例を用いると、サイズ４×４の行列を想定し、ワン・ホット・エンコードされたベクトルは、以下のベクトル［１ ０ ０ ０］、［０ １ ０ ０］、［０ ０ １ ０］および［０ ０ ０ １］のうちの一つとなる。各時間ステップで新たなワン・ホット・エンコードされたベクトルが使用され、サブ・インデックスｉはその時間インデックスを示す。しかし、入力ベクトルｅ_ｉを選択するための他の方法も本明細書において企図されることが注目される。例えば、入力ベクトルｅ_ｉは、代わりにアダマール行列、ランダム行列などの列から選択されることができる。以下を参照されたい。

【0046】

図８を簡単に参照すると、行列Ａで行われるこの順方向サイクルでは、入力ベクトルｅ_ｉが伝導性列ワイヤ５０６のそれぞれを通して電圧パルスとして伝送され、結果として生じる出力ベクトルｙ’が、クロスポイント・アレイ４０２（行列Ａ）の伝導性行ワイヤ５０４から出力される電流として読み出されることが示される。行列Ａで行われるこの順方向サイクルへの入力として列ワイヤ５０６から電圧パルスが供給されると、ベクトル－行列積が計算される。

【0047】

上記のように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスのゼロの重みの伝導率値は、参照アレイにコピーされた。例えば、図４のクロスポイント・アレイ４０６（参照行列）を参照されたい。ステップ３１４で、ＲＰＵデバイスのスイッチング挙動のバイアスを補償するためにクロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスの出力値をそれらの対称点に調節するために、これらのゼロの重みの伝導率値が使用される（上記を参照）。そのために、ステップ３１４でクロスポイント・アレイ４０２（行列Ａ）に印加されるのと同じ電圧パルスが、参照アレイにも印加される。その後、クロスポイント・アレイ４０２（行列Ａ）の出力ベクトルｚが、参照アレイの出力ベクトルから減算される。

【0048】

図３の方法論３００を再び参照すると、ステップ３１５で、例えば標準のデジタル回路を使用して、ステップ３１４からのｙ’を使用して関数ｆ（ｙ’）が計算される。関数ｆ（ｙ’）は、いくつかの異なるやり方で定義されうる。例えば、ほんの一例として、一つの非限定的な例によれば、｜ｙ’｜＞閾値Ｔの場合に限りｆ（ｙ’）＝ｙ’であり、それ以外の場合には｜ｙ’｜＜閾値Ｔでｆ（ｙ’）＝０である。この閾値は、ハードウェアに由来する読み出しノイズのオーダーでありうる。例えば、計算のアナログ性により、ｙ’はノイズを含む様式でのみ計算されうる、すなわちｙ’＝Ａｅ_ｉは、ｙ’＝Ａｅ_ｉ＋ノイズとしてのみ実現されうる。順方向読み出し演算のこのノイズ項は、手元のハードウェアにつき既知である。Ｃ行列のノイズを含む更新を排除するために（ステップ３１６を参照、後述）、順方向サイクルからの信号がノイズレベルを上回るときに行列Ｃに適用されるようにＴ≒ノイズを選択しうる。この閾値関数は、ノイズを排除する一例であるが、他にも同じ目的で使用できる関数がある。あるいは、単純にステップ３１４からの入力ベクトルｅ_ｉおよびｙ’を使用してステップ３１６で行列Ｃを更新する（以下を参照）こともできる。

【0049】

図３の方法論３００を再び参照すると、ステップ３１６で、ステップ３１４からの入力ベクトルｅ_ｉおよびステップ３１５からのｆ（ｙ’）を使用して行列Ｃが更新される、すなわち、

【0050】

【数3】

【0051】

となり、ここでλはＣ行列に対する更新の強さを制御するスカラー値である。これは、Ｃ行列を更新する間に使用されるグローバルな学習率である。図９を簡単に参照すると、これらの行列Ｃの更新は、伝導性列ワイヤ５１２および伝導性行ワイヤ５１０からそれぞれ同時に供給されるステップ３１４からのベクトルｅ_ｉおよびベクトルｙ’（｜ｙ’｜＞閾値Ｔの場合、他の場合は０）を表す電圧パルスを伝送することによって、クロスポイント・アレイ５０８（行列Ｃ）において実施されることが示される。順方向および逆方向サイクルに用いられる電圧パルスとは対照的に、更新サイクルは確率的パルスＰを使用する（図９を参照）。この構成では、クロスポイント・アレイ５０８の各ＲＰＵは、対応する伝導性列ワイヤ５１２および伝導性行ワイヤ５１０から来る電圧パルスを処理することによって局所乗算および加算演算を行い、このようにしてインクリメンタルな重み更新を達成する。

【0052】

その後、図３に示すように、ＤＮＮ訓練が完了するまでステップ３０４～３１６が繰り返される。例えば、例示的な実施形態によれば、ステップ３０４～３１６は、ある収束基準が満たされるまで複数回繰り返される。例えば、ほんの一例として、誤差信号のそれ以上の改善が見られないときに訓練が完了したと見なされうる。

【0053】

上で強調したように、例示的な実施形態によれば、入力ベクトルｅ_ｉは、単一の高（１）ビットを有し、他の全てのビットが低（０）である組み合わせのみを有するビットの群であるワン・ホット・エンコードされたベクトルである。例えば、図１０を参照されたい。図１０に示されるように、サイズ４×４の行列を所与とすると、ワン・ホット・エンコードされたベクトルは、以下のベクトル［１ ０ ０ ０］、［０ １ ０ ０］、［０ ０ １ ０］、［０ ０ ０ １］のうちの一つとなる。各時間ステップで、その時間インデックスのサブ・インデックスｉで示される新たなワン・ホット・エンコードされたベクトルが使用される。

【0054】

別の例示的な実施形態によれば、入力ベクトルｅ_ｉは、アダマール行列の列から選択される。当技術分野で知られるように、アダマール行列は、エントリが±１の正方行列である。例えば、図１１（２次のアダマール行列）および図１２（４次のアダマール行列）を参照されたい。

【0055】

本発明は、システム、方法、もしくはコンピュータ・プログラム製品またはそのすべてでありうる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（単数または複数）を含みうる。

【0056】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶しうる有形のデバイスでありうる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組み合わせでありうるがこれらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、リードオンリ・メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能リードオンリ・メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙすなわちフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブル・コンパクト・ディスク・リードオンリ・メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリ・スティック、フレキシブル・ディスク、パンチカードまたは命令が記録された溝内の隆起構造などの機械的にエンコードされたデバイス、および以上の任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通じて伝播する電磁波（例えば光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号などの一時的信号そのものと解釈されてはならない。

【0057】

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはその組み合わせを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードされうる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバまたはその組み合わせを含みうる。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体への記憶のためにコンピュータ可読プログラム命令を転送する。

【0058】

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードでありうる。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンド・アロンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、および部分的にリモート・コンピュータ上で、または全体的にリモート・コンピュータもしくはサーバ上で、実行しうる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）またはワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されることができ、または（例えばインターネット・サービス・プロバイダを使用してインターネットを通じて）外部コンピュータに接続がなされうる。いくつかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、またはプログラム可能ロジック・アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を含む電子回路は、本発明の態様を行うためにコンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによってコンピュータ可読プログラム命令を実行しうる。

【0059】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に説明される。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図またはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施されうることが理解されよう。

【0060】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令がフローチャートもしくはブロック図またはその両方の一つまたは複数のブロックに指定された機能／作用を実施するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されてマシンを生成しうる。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体がフローチャートもしくはブロック図またはその両方の一つまたは複数のブロックに指定された機能／作用の態様を実施する命令を含む製品を含むように、コンピュータ、プログラム可能データ処理装置もしくは他のデバイスまたはその組み合わせに特定の様式で機能するように指示しうるコンピュータ可読記憶媒体に記憶されてもよい。

【0061】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行する命令がフローチャートもしくはブロック図またはその両方の一つまたは複数のブロックに指定された機能／作用を実施するように、コンピュータにより実施されるプロセスを生成するために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされてコンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを行わせることもできる。

【0062】

図面のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能（単数または複数）を実施するための一つ以上の実行可能命令を含むモジュール、セグメント、または命令の部分を表しうる。いくつかの代替的実施態様では、ブロックに記された機能は、図面に記された順序とは異なる順序で生じうる。例えば、連続して示される二つのブロックは、実際には、関連する機能に応じて実質的に同時に実行されてもよく、またはブロックは逆の順序で実行されうる場合もある。ブロック図もしくはフローチャートまたはその両方の各ブロック、およびブロック図もしくはフローチャートまたはその両方のブロックの組み合わせは、指定された機能または作用を行うかまたは専用ハードウェアおよびコンピュータ命令の組み合わせを遂行する専用ハードウェア・ベースのシステムによって実施されうることにも留意されたい。

【0063】

ここで図１３を参照すると、本明細書に提示される方法論のうちの一つ以上を実施するための装置１３００のブロック図が示される。ほんの一例として、装置１３００は、アレイに印加される入力電圧パルスを制御するように、もしくはアレイからの出力信号を処理するように、またはその両方を行うように構成されうる。

【0064】

装置１３００は、コンピュータ・システム１３１０および除去可能媒体１３５０を含む。コンピュータ・システム１３１０は、プロセッサ・デバイス１３２０、ネットワーク・インターフェース１３２５、メモリ１３３０、媒体インターフェース１３３５、および任意のディスプレイ１３４０を含む。ネットワーク・インターフェース１３２５は、コンピュータ・システム１３１０がネットワークに接続することを可能にし、媒体インターフェース１３３５は、コンピュータ・システム１３１０がハード・ドライブまたは除去可能媒体１３５０などの媒体と相互作用することを可能にする。

【0065】

プロセッサ・デバイス１３２０は、本明細書に開示される方法、ステップ、および機能を実施するように構成されうる。メモリ１３３０は分散メモリまたはローカル・メモリであり得、プロセッサ・デバイス１３２０は分散プロセッサ・デバイスまたは単一のプロセッサ・デバイスでありうる。メモリ１３３０は、電気、磁気もしくは光メモリ、もしくはこれらの任意の組み合わせまたは他のタイプの記憶デバイスとして実施されうる。さらに、「メモリ」という用語は、プロセッサ・デバイス１３２０によってアクセスされるアドレス可能空間内のアドレスから読み出されるかまたはアドレスに書き込まれることができるあらゆる情報を包含するのに十分に広く解釈されねばならない。この定義により、ネットワーク・インターフェース１３２５を通じてアクセス可能なネットワーク上の情報は、プロセッサ・デバイス１３２０がネットワークからその情報を取得しうることから、なおメモリ１３３０内にある。プロセッサ・デバイス１３２０を構成する各分散プロセッサは一般に、それ自体のアドレス可能メモリ空間を含むことに留意されたい。コンピュータ・システム１３１０の一部または全部が、特定用途向けまたは汎用集積回路に組み込まれうることにも留意されたい。

【0066】

任意のディスプレイ１３４０は、装置１３００の人間のユーザと相互作用するのに適した任意のタイプのディスプレイである。一般に、ディスプレイ１３４０は、コンピュータ・モニタまたは他の同様のディスプレイである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】