特許 7663296 アナログクロスバーアレイの更新のための疎な変更可能なビット長決定論的パルス生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-08

(45)【発行日】2025-04-16

(54)【発明の名称】アナログクロスバーアレイの更新のための疎な変更可能なビット長決定論的パルス生成

(51)【国際特許分類】

   G06N 3/065 20230101AFI20250409BHJP

   G06F 17/16 20060101ALI20250409BHJP

【ＦＩ】

G06N3/065

G06F17/16 K

【請求項の数】 20

(21)【出願番号】P 2023502843

(86)(22)【出願日】2021-06-29

(65)【公表番号】

(43)【公表日】2023-08-04

(86)【国際出願番号】 EP2021067846

(87)【国際公開番号】W WO2022012920

(87)【国際公開日】2022-01-20

【審査請求日】2023-11-14

(31)【優先権主張番号】16/929,172

(32)【優先日】2020-07-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】キム、セヨン

(72)【発明者】

【氏名】オネン、オグザン

(72)【発明者】

【氏名】ゴクメン、タイフン

(72)【発明者】

【氏名】ラッシュ、マルテ

【審査官】山本 俊介

(56)【参考文献】

【文献】特表２０２０－５１７００２（ＪＰ，Ａ）

【文献】特表２０１９－５０２９７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １７／１６

(57)【特許請求の範囲】

【請求項1】

アナログクロスバーアレイを更新するためのパルス生成についてのコンピュータ実装方法であって、前記コンピュータ実装方法は、
プロセッサにより、クロスバーアレイについてのパルス生成を使用して表すための、行列乗算に使用する数値を受信する段階と、
前記プロセッサにより、前記数値を表すための第１のビット長を受信する段階であって、前記第１のビット長は、変更可能なビット長であって、前記第１のビット長は前記数値が取り得る値の数以下である、段階と、
前記プロセッサにより、前記数値を表すための前記第１のビット長を有するパルス配列におけるパルス位置を決定的に選択する段階と、
前記プロセッサにより、前記パルス配列における選択された前記パルス位置を使用して計算を実行する段階と、
前記プロセッサにより、前記計算を使用して前記クロスバーアレイを更新する段階と
を備える、コンピュータ実装方法。

【請求項2】

第２のビット長を選択する段階であって、前記第２のビット長は前記第１のビット長とは異なる、段階と、
前記数値を表す前記第２のビット長を有する更新されたパルス配列のためにパルス位置を決定的に選択する段階と、
前記更新されたパルス配列における前記選択されたパルス位置を使用して後続の計算を実行する段階と、
前記後続の計算を使用して前記クロスバーアレイを更新する段階であって、前記クロスバーアレイを更新する段階は、前記計算および前記後続の計算に少なくとも部分的に基づき、前記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する段階を含む、段階と
をさらに備える、請求項１に記載のコンピュータ実装方法。

【請求項3】

ニューラルネットワークの訓練フェーズにおいて前記第１のビット長を第２のビット長に変更する段階をさらに備える、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記計算は、前記行列乗算に使用する前記数値と前記行列乗算に使用する第２の数値との外積演算を実行する段階を備える、請求項１から３のいずれか一項に記載のコンピュータ実装方法。

【請求項5】

ヒートマップを生成する段階であって、生成された前記ヒートマップは、第１のパルス配列と第２のパルス配列との間のパルス同時計数に少なくとも部分的に基づき、前記第１のパルス配列または前記第２のパルス配列のうちの少なくとも１つは前記選択されたパルス位置を含み、少なくとも１つの第１のパルス配列は前記数値に対応し、前記第２のパルス配列は第２の数値に対応する、段階をさらに備える、請求項１から４のいずれか一項に記載のコンピュータ実装方法。

【請求項6】

前記選択されたパルス位置を使用して真の乗算マップと前記生成されたヒートマップとを比較する段階であって、前記真の乗算マップは各要素について要素ごとの乗算を実行する、段階をさらに備える、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記真の乗算マップと前記生成されたヒートマップとの間の誤差を判定する段階と、
前記真の乗算マップと前記生成されたヒートマップとの間の前記誤差を提示する段階と
をさらに備える、請求項６に記載のコンピュータ実装方法。

【請求項8】

クロスバーアレイを更新するためのパルス生成を実装するについてのシステムであって、前記システムは、
１つまたは複数のメモリスタのデバイスを有するクロスバーアレイと、
前記クロスバーアレイのためのパルス生成を使用して表すための、行列乗算に使用する数値を受信することと、
前記数値を表すためのビット長を受信することであって、前記ビット長は変更可能なビット長であって、前記ビット長は前記数値が取り得る値の数以下である、受信することと、
前記数値を表すための前記ビット長を有するパルス配列におけるパルス位置を決定的に選択することと、
前記パルス配列における前記選択されたパルス位置を使用して計算を実行することと、
前記計算を使用して前記クロスバーアレイを更新することであって、前記クロスバーアレイの更新は前記１つまたは複数のメモリスタのデバイスの重みを変化する、更新することと
を行うように構成されたプロセッサと
を備える、システム。

【請求項9】

前記プロセッサは、
第２のビット長を選択し、前記第２のビット長は前記ビット長とは異なり、
前記数値を表す前記第２のビット長を有する更新されたパルス配列のためにパルス位置を決定的に選択し、
前記更新されたパルス配列における前記選択されたパルス位置を使用して後続の計算を実行し、
前記後続の計算を使用して前記クロスバーアレイを更新し、前記クロスバーアレイの更新は、前記計算および前記後続の計算に少なくとも部分的に基づき、前記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する
ように構成されている、請求項８に記載のシステム。

【請求項10】

前記プロセッサは、ニューラルネットワークの訓練フェーズにおいて、前記ビット長を第２のビット長に変更するように構成されている、請求項８または９に記載のシステム。

【請求項11】

前記計算は、前記行列乗算に使用する数値と前記行列乗算に使用する第２の数値との外積演算を実行する段階を備える、請求項８から１０のいずれか一項に記載のシステム。

【請求項12】

前記パルス配列における前記選択されたパルス位置は前記ビット長に少なくとも部分的に基づく、請求項８から１１のいずれか一項に記載のシステム。

【請求項13】

前記プロセッサはさらに、ヒートマップを生成するように構成されており、前記生成されたヒートマップは、第１のパルス配列と第２のパルス配列との間のパルス同時計数に少なくとも部分的に基づき、前記第１のパルス配列または前記第２のパルス配列のうちの少なくとも１つは前記選択されたパルス位置を含む、請求項８から１２のいずれか一項に記載のシステム。

【請求項14】

前記選択されたパルス位置を使用して、真の乗算マップを前記生成されたヒートマップに比較する段階であって、前記真の乗算マップは各要素のための要素ごとの乗算を実行する、段階と、
前記真の乗算マップと前記生成されたヒートマップとの間の誤差を判定する段階と、
前記真の乗算マップと前記生成されたヒートマップとの間の前記誤差を提示する段階と
をさらに備える、請求項１３に記載のシステム。

【請求項15】

アナログクロスバーアレイを更新するためのパルス生成についてのコンピュータプログラムであって、
プロセッサに、
クロスバーアレイのためのパルス生成を使用して表すための、行列乗算に使用する数値を受信する手順と、
前記数値を表すためのビット長を受信する手順であって、前記ビット長は変更可能なビット長であって、前記ビット長は前記数値が取り得る値の数以下である、手順と、
前記数値を表すための前記ビット長を有するパルス配列におけるパルス位置を決定的に選択する手順と、
前記パルス配列における選択された前記パルス位置を使用して計算を実行する手順と、
前記計算を使用して前記クロスバーアレイを更新する手順であって、前記クロスバーアレイを更新する手順は、前記計算に少なくとも部分的に基づいて、前記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する手順を含む、手順と
を実行させる、コンピュータプログラム。

【請求項16】

前記プロセッサに、
第２のビット長を選択する手順であって、前記第２のビット長は前記ビット長とは異なる、手順と、
前記数値を表すための前記第２のビット長を有する更新されたパルス配列のためのパルス位置を決定的に選択する手順と、
前記更新されたパルス配列における前記選択されたパルス位置を使用して後続の計算を実行する手順と、
前記後続の計算を使用して前記クロスバーアレイを更新する手順であって、前記クロスバーアレイを更新する手順は、前記計算および前記後続の計算に少なくとも部分的に基づき、前記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する手順を含む、手順と
を実行させる、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記プロセッサに、ニューラルネットワークの訓練フェーズにおいて前記ビット長を第２のビット長に変更する手順をさらに実行させる、請求項１５または１６に記載のコンピュータプログラム。

【請求項18】

前記プロセッサに、ニューラルネットワークのための第１のパルス配列と第２のパルス配列との外積を判定する手順をさらに実行させる、請求項１５から１７のいずれか一項に記載のコンピュータプログラム。

【請求項19】

前記プロセッサに、ヒートマップを生成する手順であって、前記生成されたヒートマップは、第１のパルス配列と第２のパルス配列との間のパルス同時計数に少なくとも部分的に基づき、前記第１のパルス配列または前記第２のパルス配列のうちの少なくとも１つは前記選択されたパルス位置を含む、手順をさらに実行させる、請求項１５から１８のいずれか一項に記載のコンピュータプログラム。

【請求項20】

前記プロセッサに、
前記選択されたパルス位置を使用して真の乗算マップを前記生成されたヒートマップに比較する手順であって、前記真の乗算マップは各要素のための要素ごとの乗算を実行する手順と、
前記真の乗算マップと前記生成されたヒートマップとの間の誤差を判定する手順と、
前記真の乗算マップと前記生成されたヒートマップとの間の前記誤差を提示する手順と
を実行させる、請求項１９に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は概してニューラルネットワークを実装するクロスバーアレイに関し、より具体的には、アナログクロスバーアレイを更新するための疎な変更可能なビット長決定論的パルス生成を使用する訓練ニューラルネットワークに関する。

【背景技術】

【0002】

人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、ニューロモーフィックおよびシナプトロニクシステムとも知られており、人間の脳などの生体神経系に類似した方法で電子システムとして本質的に機能することを許可する計算システムである。この詳細な説明において、ＡＮＮへのいかなる言及も、パルスニューラルネットワーク（ＰＮＮ）を含むがこれに限定されない、生体神経ネットワークをモデル化するコンピュータおよび電子システムの広範囲をカバーする最も広い意味で使用されている。ＡＮＮの実装のいくつかは、一般に０および１を操作する従来のデジタルモデルを利用しない。その代わり、ＡＮＮの実装のいくつかは、生体の脳のニューロンとほぼ同等の機能を持つ処理要素間の接続を作成する。

【0003】

ＡＮＮは、多くの単純なプロセッサおよび多くの相互接続を有する比較的大規模な並列計算システムとして実装されることが多い。ＡＮＮ（またはＰＮＮ）を使用して生体神経系をモデル化することは、生体機能のより良い理解に寄与し得る。多くのＡＮＮモデルは、人間の脳で使用されていると考えられているいくつかの「組織的」原理を使用しようとするものである。現代のコンピュータのハードウェア技術（ＶＬＳＩおよび光学など）は、このようなモデル化を実行可能にした。ＡＮＮには、神経生理学、認知科学／心理学、物理学（統計力学）、制御理論、コンピュータサイエンス、人工知能、統計／数学、パターン認識、コンピュータビジョン、並列処理、ハードウェア（例えば、デジタル／アナログ／ＶＬＳＩ／光学）を含む様々な領域の知識が組み込まれている。

【0004】

現代のＡＮＮは、人工ニューロン（「ノード」とも知られている）のネットワークを含んでいる。これらのノードは互いに接続されており、互いの接続の強度に値が割り当てられている。例えば、抑制（抑制の最大値はマイナス１．０）、励起（励起の最大値はプラス１．０）を示す接続を識別することができる。接続のマグニチュード値が高ければ、接続が強いことを示す。各ノードの設計の中には、伝達関数も組み込まれている。典型的なＡＮＮでは３種類のニューロン、すなわち、入力ノード、隠れノード、出力ノードが存在する。

【0005】

入力ノードには、数値的に表現できる情報を取り込む。情報は活性化値として示され、各ノードには数値が与えられ、数値が大きいほどより大きな活性化をもたらす。次に、この情報は、ネットワーク全体に渡される。接続強度（重み）、抑制（または励起）、伝達関数に基づき、ノードからノードへ活性化値が渡される。各ノードはそれが受信された活性化値を合計する。次に、各ノードは、その伝達関数に基づいて値を変更する。活性化は、入力ノード、隠れ層を通って出力ノードに到達するまで流れる。出力ノードは、入力を意味ある方式で外部に反映させる。

【0006】

ニューラルネットワークには多くの種類があるが、大きく分けるとフィードフォワードネットワークとフィードバックネットワークとの２種類がある。フィードフォワードネットワークは、入力、出力、隠れ層を有する非再帰型ネットワークである。信号は一方向にのみに伝わることができる。入力データは、計算を行う処理要素の層に渡される。各処理要素は、その入力の加重和に基づいて計算を行う。次に、新たに計算された値は、次の層に与えられる新たな入力値になる。この処理は、全ての層を通過し、出力を判定するまで続けられる。出力層におけるニューロンの出力を定量化するために、閾値伝達関数が使用される場合がある。

【0007】

フィードバックネットワークは、フィードバック経路を含み、その信号はループを使用して両方向に移動することができることを意味する。ニューロンの間の全ての可能な接続は可能である。この種類のネットワークにはループが存在するため、ある操作の下では、平衡状態に達するまで連続的に変化する非線形力学系となり得る。フィードバックネットワークは、連想メモリおよび最適化問題でよく使用され、ネットワークは相互接続された要因の最適な配置を探す。

【0008】

ＡＮＮでは、スパイク生成関数は、一般に時間エンコーダまたはスパイク生成器と知られているコンポーネントによってモデル化することができる。したがって、これまで説明される生体神経系に関する知識を深め得る能力は、神経情報がスパイク型時間エンコーダの回帰型ネットワークでどのようにエンコードされるかをモデル化するＡＮＮの開発に依存する。時間エンコーダは、受信した信号を非同期に積分し、非同期パルス信号の後続のセットを生成することで、デジタルとアナログとの両方のエンコーディングに代わる情報を提供する。時間エンコーダネットワークのある構成では、ネットワークから出力されるパルスまたはスパイクのセットから、ネットワークに入力される信号のセットに関する情報を抽出することができる。

【発明の概要】

【0009】

本発明の実施形態は、クロスバーアレイを更新するための変更可能なビット長パルス生成のコンピュータ実装方法に向けられている。コンピュータ実装方法の非限定的な例は、クロスバーアレイのためのパルス生成を使用して、行列乗算に使用する、表される数値を受信することと、数値を表すための第１のビット長を受信し、ビット長が変更可能なビット長であることとを含む。コンピュータ実装方法は、数値を表すための第１のビット長を有するパルス配列におけるパルス位置を選択することと、プロセッサにより、パルス配列における選択されたパルス位置を使用して計算を実行することと、プロセッサにより、計算を使用してクロスバーアレイを更新することとも含む。

【0010】

本発明の実施形態は、クロスバーアレイを更新するための変更可能なビット長パルス生成についてのシステムに向けられている。システムの非限定的な例は、１つまたは複数のメモリスタのデバイスとプロセッサとを有するクロスバーアレイを備える。プロセッサは、クロスバーアレイのためのパルス生成を使用して、行列乗算に使用する、表される数値を受信することと、数値を表すためのビット長を受信し、ビット長が変更可能なビット長であることとを含むように構成されている。また、プロセッサは、数値を表すためのビット長を有するパルス配列におけるパルス位置を選択することと、パルス配列における選択されたパルス位置を使用して計算を実行することと、計算を使用してクロスバーアレイを更新し、クロスバーアレイを更新することが１つまたは複数のメモリスタのデバイスの重みを変化することとを含むように構成されている。

【0011】

本発明の実施形態は、クロスバーアレイを更新するための変更可能なビット長パルス生成のためのコンピュータプログラム製品に向けられ、コンピュータプログラム製品は、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含む。プログラム命令は、プロセッサに方法を実行させるためにプロセッサによって実行可能である。方法の非限定的な例は、クロスバーアレイのためのパルス生成を使用して、行列乗算に使用する、表される数値を受信することと、数値を表すための第１のビット長を受信し、ビット長が変更可能なビット長であることとを含む。方法は、数値を表すための第１のビット長を有するパルス配列におけるパルス位置を選択することと、プロセッサにより、パルス配列における選択されたパルス位置を使用して計算を実行することと、プロセッサにより、計算を使用してクロスバーアレイを更新することとも含む。

【0012】

さらなる技術的特徴および利益が本発明の技術によって実現される。本発明の実施形態および態様が本明細書において詳細に説明され、特許請求される主題の一部とみなされる。より良好な理解のために、詳細な説明および図面を参照する。

【図面の簡単な説明】

【0013】

本明細書で説明される排他的権利の詳細は、明細書末尾の特許請求の範囲において具体的に示され、明確に特許請求される。本発明の実施形態の前述および他の特徴および利点は、添付図面と併せて読まれると、以下の詳細な説明から明らかである。

【0014】

【図1】本発明の実施形態を使用してモデル化される生体ニューロンの入力および出力接続を示す図である。

【0015】

【図2】本発明の実施形態に関連して使用され得る、図１に示される生体ニューロンのモデルを示す図である。

【0016】

【図3】図２に示される生体神経モデルを組み込むＡＮＮのモデルを示す図である。

【0017】

【図4】本発明の実施形態に関連して使用され得る、知られている重み更新方法のブロック図を示す図である。

【0018】

【図5】本発明の１つまたは複数の実施形態において使用され得る計算方法のためのブロック図を示す図である。

【0019】

【図6】本発明の実施形態に関連して利用され得る受動的な２端子メムリストラの動作を支配する既知の方程式を示す図である。

【0020】

【図7】既知の２端子メモリスタのスイッチング特性と、本発明の実施形態に関連して利用され得る２端子ＲＰＵの非線形スイッチング特性との間の比較をグラフで示す図である。

【0021】

【図8】ＲＰＵの動作を示す電圧配列とともに、本発明の実施形態に係る２端子、非線性ＲＰＵデバイスのクロスバーアレイを示す図である。

【0022】

【図9】本発明の１つまたは複数の実施形態に係る例示的な２×２クロスバーアレイおよび重み行列を示す図である。

【0023】

【図10】本発明の１つまたは複数の実施形態に係るニューラルネットワークの重みを更新するために、パルス同時計数で乗算することを示す図である。

【0024】

【図11】本発明の１つまたは複数の実施形態に係る乗算マップおよび乗算表を示す図である。

【0025】

【図12】本発明の１つまたは複数の実施形態に係る、ビット長を変更し、ビットストリームにおけるビット位置を選択するアルゴリズムを示す図である。

【0026】

【図13】本発明の１つまたは複数の実施形態に係るグラフおよび乗算マップを示す図である。

【0027】

【図14】本発明の１つまたは複数の実施形態に係るグラフおよび乗算マップを示す図である。

【0028】

【図15】本発明の１つまたは複数の実施形態に係る、クロスバーアレイを更新するためのパルスを生成するための方法のフローチャートを示す図である。

【0029】

【図16】本明細書の教示を実施するための処理システムの一例を示すブロック図である。

【0030】

ここで示される図は例示的である。本発明の趣旨から逸脱することなく、図面または本明細書において説明される動作に対する多くの変形が存在し得る。例えば、アクションを異なる順序において実行することもできるし、アクションは、追加、消去または修正することもできる。また、「結合される（ｃｏｕｐｌｅｄ）」という用語およびその変形は、２つの要素間で通信経路を有することを記述し、要素同士の間に介在する要素／接続を伴わない、それらの間の直接接続を暗示しない。これらの変形の全てが本明細書の一部とみなされる。

【0031】

添付図面および本発明の実施形態の以下の詳細な説明において、図に示された様々な要素には２桁または３桁の参照符号が提供されている。わずかな例外を除き、各参照符号の左端の桁は、その要素が最初に示されている図に対応している。

【発明を実施するための形態】

【0032】

本発明の様々な実施形態は、関連する図面を参照して本明細書で説明される。本発明の代替的な実施形態は、本発明の範囲から逸脱することなく考案することができる。以下の説明および図面における要素間で、様々な接続関係および位置関係（例えば、上方、下方、隣接等）が記載される。これらの接続若しくは位置関係またはその両方は、特に明記しない限り、直接的または間接的であり得て、本発明は、この点で制限することを意図するものではない。したがって、エンティティ間の連結は、直接的または間接的な連結を指してよく、エンティティ間の位置関係は、直接的または間接的な位置関係であり得る。その上、本明細書において説明される様々なタスクおよびプロセス段階は、追加の段階または本明細書において詳細に説明されていない機能を有するより包括的な手順またはプロセスに組み込むことができる。

【0033】

以下の定義および略語は、特許請求の範囲および明細書の解釈のために使用され得る。本明細書で使用されるとき、「ｃｏｍｐｒｉｓｅｓ」、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅｓ」、「ｉｎｃｌｕｄｉｎｇ」、「ｈａｓ」、「ｈａｖｉｎｇ」、「ｃｏｎｔａｉｎｓ」、若しくは「ｃｏｎｔａｉｎｉｎｇ」という用語、またはそれらの任意の他の変形は、排他的でない包含を網羅することを意図している。例えば、要素のリストを含む組成物、混合物、プロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されず、明示的に列挙されていない、またはそのような組成物、混合物、プロセス、方法、物品、または装置に固有の他の要素を含み得る。

【0034】

さらに、用語「例示的」は、本明細書において、「例、インスタンス、または図として機能する」ことを意味するために使用される。本明細書において「例示的」として説明される本発明の任意の実施形態は、必ずしも、本発明の他の実施形態よりも好ましいまたは有利であると解釈されるものではない。「少なくとも１つ」および「１つまたは複数」という用語は、１より大きいまたはそれに等しい任意の整数、すなわち１、２、３、４などを含むと理解することができる。「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、２つ以上の任意の整数、すなわち、２、３、４、５など含むと理解され得る。「接続」という用語は、間接的な「接続」および直接的な「接続」の両方を含み得る。

【0035】

「約」、「実質的に」、「およそ」という用語、およびそれらの変形は、本願の出願の時点で利用可能な機器に基づく特定の量の測定値に関連付けられる誤差の程度を含むことが意図される。例えば、「約」は、与えられた値の±８％、または５％、または２％の範囲を含むことができる。

【0036】

簡潔さのために、本発明の態様の製造および使用に関する従来技術は、本明細書で詳細に説明される場合もあれば、されない場合もある。具体的には、コンピューティングシステム、および本明細書で説明される様々な技術的特徴を実装するための具体的なコンピュータプログラムの様々な態様は周知である。したがって、簡潔の目的で、多くの従来の実装の詳細は本明細書では簡潔にのみ言及されるか、あるいは、周知のシステム、若しくはプロセスまたはその両方の詳細を提供することなく完全に省略される。

【0037】

ここで本発明の態様により具体的に関連のある技術の概要を見ると、典型的なＡＮＮがどのように動作するかの説明はここで図１、図２および図３を参照して提供される。本明細書で上述したように、典型的なＡＮＮは人間の脳をモデル化しており、そこには約１０００億個のニューロンと呼ばれる相互接続された細胞が含まれている。図１は、図示のように構成および配置された、上流入力１１２、１１４、下流出力１１６および下流「他の」ニューロン１１８に接続する経路１０４、１０６、１０８、１１０を有する生体ニューロン１０２の簡易図を示している。各生体ニューロン１０２は、経路１０４、１０６、１０８、１１０を介して電気インパルスを送信および受信する。これらの電気インパルスの性質およびそれらは生体ニューロン１０２においてどのように処理されるかは主に脳の機能全体に関与している。生体ニューロンの間を接続する経路は強い、または弱いであることができる。所与のニューロンが入力インパルスを受信する場合、ニューロンは、ニューロンの関数により入力を処理し、関数の結果を下流出力、若しくは下流「他の」ニューロン、またはその組み合わせに送信する。

【0038】

生体ニューロン１０２は、図２に示された方程式によって表現された数学関数ｆ（ｘ）を含むノード２０２として、図２においてモデル化される。ノード２０２は、入力２１２、２１４から電気信号を取り、各入力２１２、２１４にそれぞれの接続経路２０４、２０６の強度を乗算し、入力の合計を取り、合計を関数ｆ（ｘ）を通して渡し、最終出力または別のノードへの入力、またはその両方になり得る結果２１６を生成する。本件の詳細な説明において、アスタリスク（＊）は乗算を表すことに使用される。弱い入力信号には非常に小さな接続強度の数値が乗算されるため、関数への弱い入力信号の影響は非常に小さい。同様に、強い入力信号にはより高い接続強度の数値が乗算されるため、関数への強い入力信号の影響はより大きい。関数ｆ（ｘ）は設計選択であり、様々な機能は使用され得る。ｆ（ｘ）に関する典型的な設計選択は双曲線正接関数であり、関数の以前の合計を取り、マイナス１とプラス１との間の数値を出力する。

【0039】

図３は、加重方向グラフとして編成された簡略化されたＡＮＮモデル３００を示し、人工ニューロンはノード（例えば、３０２、３０８、３１６）であり、加重方向エッジ（例えば、ｍ１～ｍ２０）がノードを接続する。ＡＮＮモデル３００は、ノード３０２、３０４、３０６が入力層ノードであり、ノード３０８、３１０、３１２、３１４が隠れ層ノードであり、ノード３１６、３１８が出力層ノードであるように編成される。各ノードは、接続経路によって隣接する層における全てのノードに接続され、接続強度ｍ１～ｍ２０を有する方向矢印として図３に示されている。１つの入力層、１つの隠れ層および１つの出力層のみが示されているが、実際に、複数の入力層、隠れ層および出力層が提供され得る。

【0040】

人間の脳の機能と同様に、ＡＮＮ３００の各入力層ノード３０２、３０４、３０６は直接に入力ｘ１、ｘ２、ｘ３をソース（図示せず）から接続強度調整無しおよびノード和算無しで受信する。それに応じて、図３の最下部で列挙された方程式によって示されたように、ｙ１＝ｆ（ｘ１）、ｙ２＝ｆ（ｘ２）およびｙ３＝ｆ（ｘ３）である。各隠れ層ノード３０８、３１０、３１２、３１４は、関連のある接続経路に関連付けられた接続強度によって、全ての入力層ノード３０２、３０４、３０６からその入力を受信する。したがって、隠れ層ノード３０８において、ｙ４＝ｆ（ｍ１＊ｙ１＋ｍ５＊ｙ２＋ｍ９＊ｙ３）であり、＊は乗算を表す。隠れ層ノード３１０、３１２、３１４および出力層ノード３１６、３１８についても、図３の最下部に示された関数ｙ５～ｙ９を定義する方程式で示されるように、同様の接続強度乗算およびノード和算が行われる。

【0041】

ＡＮＮモデル３００は、データ記録を一度に１つずつ処理し、当初任意に設定した記録の分類と既知の実際の記録の分類とを比較することにより「学習」する。「逆伝播」（すなわち、「誤差の逆方向伝搬」）と知られている訓練方法を使用すると、最初の記録の初期分類で生じた誤差がネットワークにフィードバックされ、２回目以降のネットワークの加重接続の変更に使用され、このフィードバック処理は何度も繰り返され続ける。ＡＮＮの訓練フェーズにおいて、各記録に関する正確な分類が既知であり、したがって、出力ノードには「正確な」値が割り当てられる。例えば、ノードに関する「１」（または０．９）であるノード値は正確なクラスに対応し、「０」（または０．１）であるノード値は他に対応する。したがって、各ノード（すなわち、「デルタ」ルール）に関する誤差項を計算するように、出力ノードに関するネットワークの計算値をこれらの「正確な」値に比較することができる。次に、次の反復において、出力値は「正確な」値により近くなるように、これらの誤差項は隠れ層における重みを調整するために使用される。

【0042】

消費電力が低くなる可能性はあるものの、オフライン訓練の実行は困難であり得、リソースの負荷が高い。なぜなら、一般的に、訓練中にＡＮＮモデルのかなりの数の調整可能なパラメータ（例えば、重み）を変更し、訓練データの入出力ペアに一致させる必要があるからである。図４は、ＣＰＵ／ＧＰＵコア（すなわち、シミュレーションされた「ニューロン」）がメモリ（すなわち、シミュレーションされた「シナプス」）を読み出して重みの更新処理動作を行い、更新された重みをメモリに書き戻す、典型的な読み出し－処理－書き込みの重み更新動作を簡略化された図で示す図である。それに応じて、ＡＮＮアーキテクチャのクロスポイントデバイスを簡略化し、省電力、オフライン学習技術を優先させると、訓練速度および訓練効率が最適化されないのが一般的に意味されている。

【0043】

確率計算とは、連続値をランダムビットのストリームで表現し、複雑な計算はそのストリームに対する単純なビット演算で計算され得る技術の集合である。具体的には、確率数値（すなわちベルヌーイ処理）と呼ばれるランダムで独立な２つのビットストリームＳ１、Ｓ２があり、第１のストリームで「１」が得られる確率をｐ、第２のストリームで「１」が得られる確率をｑとすると、図５に示すように、２つのストリームの論理ＡＮＤを取ることができる。出力ストリームに「１」が含まれる確率はｐｑである。出力ビットを十分に観測し、「１」の頻度を測定することで、ｐｑを任意の精度で推定することが可能である。「乗算および積算」演算は少数の論理ゲート／トランジスタで実装できる設計になっているため、ニューラルネットワークのハードウェア設計には確率計算がよく使用される。

【0044】

しかしながら、いくつかの確率的技術の中には、計算に必要な重みは外部の場所からシストリックアレイに供給し、重みの更新はアレイで実行されないものもある。これは、ニューラルネットワーク訓練時に多用されるベクトル－行列乗算または行列－行列乗算の演算の加速にのみ対処するものである。しかしながら、ローカルストレージを有しないシストリックアレイは、重みが外部メモリ場所に格納されるため、重み更新を並列に実行することができない。本明細書に記載の技術の実施形態によって提供されるように、全体的な学習アルゴリズムを加速するために、重み更新を加速することが必要である。

【0045】

また、ＡＮＮの訓練には多くの計算が行われる必要である。ノードの数値が増加すれば増加するほど、計算の複雑性および回数が増加し、訓練速度および精度がさらに非効率につながる可能性がある。重みの調整に使用する外積を計算するために、ｂ^２個のパルスを送信して外積を形成するのは非効率的であり、ｂはビット数を表す。

【0046】

ここで本発明の態様の概要を見ると、本発明の１つまたは複数の実施形態は、効率的なニューラルネットワーク訓練スキームを提供することによって従来技術の上記欠点に対処する。本明細書で説明される本発明の実施形態の技術により、ニューラルネットワークを訓練するために最適なビット長を選択することができる。また、ビット長は、ニューラルネットワーク訓練フェーズにおいて変更されることができる。また、本明細書に説明される本発明の実施形態の技術は、誤差を最小限に抑えながら正確な結果を取得することを保証するために、変更されたビット長に少なくとも部分的に基づいてパルス配列におけるパルス位置を選択する。外積ベースの更新における誤差は、パルス数の減少、若しくはパルス配列内のパルスの配置、またはその組み合わせによってもたらされる可能性がある。したがって、パルス配列内のパルスの選択された位置は非常に重要であり、ビット長が変更されても、値の真の乗算マップに示される輪郭を維持するように戦略的に選択する必要がある。

【0047】

本明細書で説明される本発明の実施形態の技術的効果および利点は、従来のニューラルネットワーク更新で行われる一致検出および更新を正確でコンパクトな表現を提供する。また、技術的効果および利点は、パルス配列のｂビットのみを使用して乗算を最小限の誤差でエンコードする効率的な方法を提供する。乗算を最適化するために、本発明の態様によるアルゴリズムは、クロスバーアレイの１つまたは複数のメモリスタを更新するための外積を計算するのに十分な最小の表現を提供する。また、アルゴリズムは、ｂビット未満を使用して更新のための値をエンコードするように構成されている。行列乗算で使用される値のパルス位置を生成するアルゴリズムを提供することは、ＡＮＮアーキテクチャの訓練の速度および効率を加速させ、また、ＡＮＮ全体の性能を向上させ、より幅広いＡＮＮアプリケーションを可能にすることができる。

【0048】

「メモリスタ」という用語は、受動的な２端子電気コンポーネントを説明するために使用され、デバイスの抵抗値は、デバイスに以前に印加された電圧の履歴に依存する。メモリスタの動作は、図６に示す方程式［１］および［２］によって支配され、ｉはデバイスを通過する電流、ｖはデバイスに印加される電圧、ｇはデバイスのコンダクタンス値（抵抗値の逆数）、ｓはコンダクタンス値を制御するデバイスの内部状態変数、ｆは内部状態変数ｓの時間発展を示す関数である。

【0049】

本発明の実施形態によるクロスバーアレイのメモリスタ挙動は、図７に示されている。理想的なメモリスタと、説明されるＲＰＵを実装するために使用することができる非理想的な非線形メモリスタとの間の相違点を説明するために、図７は、理想的なメモリスタと本発明の実施形態によるＲＰＵの電圧切り替え動作との間の比較を説明するグラフである。グラフの縦軸は、特定の電圧におけるデバイスの状態変化を表し、グラフの横軸は、印加された電圧を表す。理想的なメモリスタ動作では、抵抗値の変化は、デバイスに印加される電圧に線形に比例する。したがって、メモリスタに何らかの電圧がかかると同時に、その抵抗状態が変化する。これは曲線７０２で示され、低電圧でも状態変化が劇的であることを示している。

【0050】

曲線７０４で示されるような非線性ＲＰＵデバイスの場合、その内部抵抗状態を変化させるためにデバイスが経験する必要がある、十分に定義された設定電圧ＶＳＥＴが存在する。０．５ＶＳＥＴのバイアス電圧は、内部抵抗状態を変化させない。本発明の実施形態では、ＲＰＵデバイスのこの非線形特性を利用して、局所的に乗算を実行する。ｆ１が小さいと想定すると、０．５ＶＳＥＴのみ印加しても、デバイスは内部状態を変化させない。とりわけ、図７は、正電圧およびＲＰＵデバイスの抵抗状態への正の変化を示しているが、負電圧と負の抵抗変化との間にも同様の関係も存在することである。

【0051】

ここで本発明の態様のより詳細な説明を見ると、図８は、本発明の実施形態に係る、前方行列乗算、後方行列乗算および重み更新を実行する２次元（２Ｄ）クロスバーアレイ８００を示す図である。クロスバーアレイ８００は、導電性行線８０２、８０４、８０６のセットと、導電性行線８０２、８０４、８０６のセットに交差する導電性列線８０８、８１０、８１２、８１４のセットから形成されている。行線のセットと列線のセットとの間の交差点は、ＲＰＵによって分離されており、これらは、図８において、それぞれ、σ１１、σ２１、σ３１、σ４１、σ１２、σ２２、σ３２、σ４２、σ１３、σ２３、σ３３、σ４３として描かれている調整／更新可能な抵抗重みの抵抗素子として示されている。図示を容易にするため、図８では、１つのＲＰＵ８２０のみに参照番号を付している。前方行列乗算では、ＲＰＵに電圧を印加し、ＲＰＵを通過する電流を測定することによって、ＲＰＵの導通状態（すなわち、格納された重み）を読み出すことができる。

【0052】

入力電圧Ｖ１、Ｖ２、Ｖ３は、それぞれ行線８０２、８０４、８０６に印加される。各列線８０８、８１０、８１２、８１４は、特定の列線に沿った各ＲＰＵによって生成された電流Ｉ１、Ｉ２、Ｉ３、Ｉ４を合計している。例えば、図８に示すように、列線８１４が発生する電流Ｉ４は、Ｉ４＝Ｖ１σ４１＋Ｖ２σ４２＋Ｖ３σ４３の方程式による。したがって、アレイ８００は、電圧Ｖ１、Ｖ２、Ｖ３によって定義される行線入力によってＲＰＵに格納される値を乗算することによって、前方行列乗算を計算する。後方行列乗算は、非常に類似している。後方行列乗算では、電圧は列線８０８、８１０、８１２、８１４に印加され、次に行線８０２、８０４、８０６から読み出される。以下により詳細に説明される重み更新のために、電圧は列線および行線に同時に印加され、関連のあるＲＰＵデバイスに記憶されたコンダクタンス値８３６は全て並列に更新される。それに応じて、重み更新を実行するために必要な乗算および加算演算は、ＲＰＵデバイス自体に加えてアレイ８００の関連のある行線または列線を使用して、アレイ８００の各ＲＰＵ８２０において局所的に実行される。したがって、本発明の実施形態によれば、アレイ８００において、読み出し－更新－書き込みサイクル（図４に示す）は不要である。

【0053】

図８の図を続けて、本発明の１つまたは複数の実施形態によれば、導電性行線８０６および導電性列線８１２の交差点におけるＲＰＵ８２０およびその対応する重みσ３３に対する正の重み更新方法の動作が、ここで提供されるであろう。ＲＰＵ８２０の非線形特性を使用し、後述するような計算を使用してＲＰＵ８２０で局所的に乗算演算を行う。より具体的には、記載される方法は、ＲＰＵ８２０およびビットストリーム８３０、８３２の非線形スイッチング特性を使用して、他の回路素子を必要とせずにＲＰＵ８２０で局所的に乗算演算および必要な重み更新を実行する。更新発生器回路（図示せず）は、クロスバーアレイ８００の周辺に提供され、２Ｄクロスバーアレイ８００の全てのＲＰＵに並行して適用されるであろうビットストリーム（例えば、８３０、８３２）の形態で必要な電圧パルスを生成するために、周辺の「トランスレータ」として使用される。

【0054】

図７の図を簡単に参照すると、図８に示すＲＰＵ８２０のｆ_１は非常に小さく（例えば、ｆ_１＝０）、これは、ＲＰＵ８２０が、０．５ＶＳＥＴのみが印加されたときにその内部状態を変更しないことを意味するものと想定される。行線８０６に印加される行電圧配列またはビットストリーム８３０は、ゼロの電圧または＋０．５ＶＳＥＴの電圧を有する重み更新を表す電圧パルスの配列として示されている。列線８１４に印加される列電圧配列またはビットストリーム８３２は、ゼロの電圧または－０．５ＶＳＥＴの電圧のいずれかを有する重み更新も表す電圧パルスの配列として示されている。図８の例では、４／８は行電圧配列８３０によってエンコードされ、６／８は列電圧配列８３２によってエンコードされる。例示的な電圧配列８３０，８３２は、重み更新の正の抵抗変化段階を表す。正の重み更新が行われた後、それぞれの電圧の極性を反転させた配列の別のセットを使用して、そのような補正が必要な重みに対して負方向に重みを更新することができる。

【0055】

電圧配列８３４は、行電圧配列８３０と列電圧配列８３２との間の差から生じるＲＰＵ８２０に印加される電圧である。電圧配列８３４は、０Ｖ、０．５ＶＳＥＴ、およびＶＳＥＴの３つの電圧ステップを有することになる。しかしながら、ＲＰＵ８２０の抵抗σ４３は、ＶＳＥＴに達するデバイス電圧に対してのみ変化するので、列線または行線のいずれかを介して送信される単一パルスは、ＲＰＵ８２０の抵抗状態を変化させるのに十分ではない。列線が０．５ＶＳＥＴの電圧を送り、行線が－０．５ＶＳＥＴの電圧を送ると、結果として関連のあるＲＰＵに印加されるＶＳＥＴパルスは、デバイスの抵抗値を増分変化させることになる。それに応じて、ＲＰＵ８２０に印加される電圧パルスは、ＲＰＵ８２０で局所的にビットワイズＡＮＤ演算（例えば、図５に示すように）を実行するために、ＲＰＵ８２０の非線形スイッチング特性を利用する。したがって、ＲＰＵの格納された重み（例えば、σ４３）における結果として生じる変化は、クロスバーアレイ８００の周辺にある更新発生器回路によって「変換された」２つの数値の積（４／８＊６／８＝３／８）に比例している。

【0056】

ここで図９を参照すると、本発明の１つまたは複数の実施形態によるニューラルネットワークを更新するためのクロスバーアレイ９００と対応する重み行列ｗの２次元表現が示されている。クロスバーアレイ９００は、図９に示すように配置された４つの処理コンポーネント９１０を含む。重み行列ｗは、要素ｗ_１、ｗ_２、ｗ_３、ｗ_４を含む。ニューラルネットワーク訓練時に、処理コンポーネントに対応する重みの各々が更新され得る。また、図９には、重み行列ｗを更新するための方程式１が描かれている。方程式１に示すように、ｘとδとの外積演算が実行され、重み行列の重みが段階的に更新される。

【0057】

図１０は、本発明の１つまたは複数の実施形態によるクロスバーアレイ１０００を更新するためのパルス同時計数による乗算を示している。（後述の）アルゴリズム１２００で判定されるｘ値、δ値のパルス配列をクロスバーアレイ１０００に入力し、従来のネットワークの要素ごとの乗算を行うための乗算演算を近似的に行う。アルゴリズム１２００は、乗算演算と、ｘ値およびδ値に対するパルス配列内の選択されたパルス位置との間の正確な変換を定義する。

【0058】

図１１は、真の乗算マップ（更新マップとも称される）と、真の乗算マップを近似した結果から生じる粒状のマップとを示す図である。本明細書で説明する乗算マップは、外積に基づく更新を指すと理解されたい。一般に、乗算は、前方／後方パス（すなわち、ベクトル行列乗算）に関連して言及されることが多いが、本明細書に記載される本発明の実施形態において、乗算は、特に外積に基づく更新を意味する。真の乗算マップ１１１０および真の乗算表は、２の解像度ｂを有する２×２クロスバーアレイについて生成されている。しかしながら、真の乗算マップおよびテーブルは、異なる解像度ｂを有する任意のクロスバーアレイに対して生成され得ることを理解されたい。マップ１１３０に示されるように、近似は、粒状の結果を提供するｘおよびδの値について実行されている。粒状の結果は、ｘおよびδの値を表すパルス配列内のパルスの配置が正しくないことに起因し得る。この粒状近似はニューラルネットワーク訓練には不適切であり、分類性能の劣化につながる。

【0059】

図１２は、真の乗算表のコンパクトな表現を提供することになるｘおよびδの値について、パルス配列におけるパルス位置を判定する方法を提供するために、本発明の態様にしたがって構成および配置されたアルゴリズム１２００を示している。また、アルゴリズム１２００は、最小限の誤差を生成し、ニューラルネットワークの効率的な重み更新を実行するために必要な真の乗算演算の輪郭を維持することになる。また、アルゴリズム１２００は、ニューラルネットワーク訓練中に更新され得る柔軟なビット長ＢＬ、ｘ、δのための解像度ｂを提供する方法を含む。例えば、ｂ＝２であると、ｘ、δは［０，１］である。しかしながら、ｂ＝４であると、ｘ、δは［０，０．２５，０．５，１］である。ｂの値は図示のみであり、ｂを限定することを意図するものではないことを理解されたい。

【0060】

本発明の態様にしたがって、アルゴリズム１２００は、本発明の１つまたは複数の実施形態にしたがって、ニューラルネットワークを訓練するための変更可能なビット長を選択するためのスパースＸＯＲフラグ圧縮アルゴリズムである。圧縮は、乗算境界の配置を利用する。圧縮率＞ｂの場合（ｂよりも小さいＢＬを持ち、ここで

【数1】

）、合計ｂ個のスロットを使用するｘ、δ表現における１の数。これにより、ニューラルネットワーク回路を変更することなく、各ステップでビット長を決定することができる。また、アルゴリズム１２００は、ｘおよびδの値が真の乗算マップの輪郭に近似するためのパルスストリームにおけるパルスの配置を保証する。

【0061】

図１３は、本発明の１つまたは複数の実施形態による、クロスバーアレイを更新するためのスパースモディファイブルビット決定性パルス生成のための例示的な実装のための一連のグラフおよびマップを示す図である。この非限定的な例では、ｂビン（ｘ、δの解像度）があり、ｂビンは、重み行列ｗのｘおよびδの値がそれぞれ１００個の異なる値を取り得ることを示す。解像度ｂは１００、選択されたビット長（ＢＬ）は１００ビットである。従来は、ｘおよびδの異なる数値を表すために、各要素（ｘおよびδ）に対して要素ごとの乗算更新を行うため、ニューラルネットワークで使用する重みの更新を行うことにｂ^２ビット数が必要となる。図１２で説明した方法を使用すると、要素ごとの乗算と同様の結果を維持しつつ、圧縮によりｂ^２ビット数を削減することができる。図１２の方法は、ニューラルネットワーク訓練中に解像度ｂを選択または変更することを可能にする。

【0062】

図１３において、グラフ１３０２は、ニューラルネットワークのための更新を行う際に使用される重み行列のｘ値を表している。グラフ１３０２のｘ軸は、パルス配列におけるパルス位置、またはビットストリームにおけるビット位置を表している。グラフ１３０２のｙ軸は、パルス配列で表されるｘ値の数値を表している。パルス配列またはビットストリームは、一連の１と０で表すことができる。領域１３２０は１（ロジックハイ）を表し、領域１３３０は０（ロジックロー）を表す。例えば、グラフ１３０２において、ｘ値８０に対応する行は、ｘ軸に示される位置に提供されたパルスで数値８０が表されるパルス配列内の位置を示している。別の例においては、数値０に対応するグラフ１３０２の最下部の行は、パルス配列の１００個の０パルスで表され、１に対応する最上行は、パルス配列の１００個の１によって表される。

【0063】

ｘ値およびδデルタ値で生成されるパルス配列はかなり異なる。したがって、δ値のためのパルス配列は、ｘ値のためのパルス配列とは異なるように判定され、図１２を参照して説明したアルゴリズム１２００を使用して判定される。図１３において、グラフ１３０４は、δ値に対するパルス配列におけるパルス位置を表している。グラフ１３０２と同様に、グラフ１３０４のｘ軸はパルス位置を表し、ｙ軸は重みの更新のための計算で使用されるδ値の数値を表している。

【0064】

なお、図１３を参照すると、乗算マップ１３０６は、図１１に示すように、重み行列ｗの各要素（ｘ_ｉ，δ_ｊ）に対して要素ごとの乗算が行われる真の乗算マップを表している。真の乗算マップ１３０６は、要素ごとの乗算に対応する輪郭を提供する。この例においては、アナログクロスバーアレイの重みを更新するための行列乗算を行うための各数値を、ｘ値を１００ビット、δ値を１００ビットとして、１０，０００パルス／ビットを使用して表現している。ビット数が増加すると、計算の複雑性および回数が速くに増加する。

【0065】

また、図１３に示すのは、第１のパルス配列が表すｘ値の数値と第２のパルス配列が表すδ値の数値とについて外積を取ることで生成されるヒートマップ１３０８であり、δ値の第２のパルス配列は図１２に示すアルゴリズムから判定されたものである。ヒートマップ１３０８により、第１のパルス配列と第２のパルス配列との外積と、重み行列ｗの各要素の要素ごとの乗算との近似性を直感的に解析することができる。

【0066】

ヒートマップ１３０８に示すように、外積により、各要素に対して真の乗算をそれぞれ行う場合、要素ごとの乗算１０，０００ビットで表すところを、代わりに１００ビットのみでコンパクトに表すことが可能となる。乗算マップ１３０６とヒートマップ１３０８を比較し、対応する値の間の差を取ることで誤差を計算することができる。図１３に示すように、誤差マップ１３１０は計算され、提示されることができる。ヒートマップ１３０８の輪郭は、乗算マップ１３０６に示される輪郭と類似しており、その類似性は、外積を使用するニューラルネットワークに対して効率的な更新と正確な分類を提供する表現を示している。

【0067】

図１４においては、本発明の１つまたは複数の実施形態によるスパースモディファイ可能な圧縮を示す様々なグラフおよびマップが示されている。この特定の構成では、解像度ｂは１００で、ビット長は１０である。図１３と同様に、グラフ１４０２はｘ値ごとのパルス配列を表し、グラフ１４０４はニューラルネットワークの更新に使用されるδ値ごとのパルス配列を表している。領域１４２０、１４４０は１（ロジックハイ）を表し、領域１４３０、１４５０は０（ロジックロー）を表す。

【0068】

この例において、ビット長は削減された。本発明の１つまたは複数の実施形態において、ＢＬは、訓練フェーズ中に図１２のアルゴリズム１２００にしたがって変更される。アルゴリズム１２００にしたがってＢＬが選択される場合、ニューラルネットワークにおいて適切な重み更新が行われることになる。真の乗算マップのｘおよびδの値が多いほどＢＬが短くなるため、ヒートマップにある程度の粒度を導入することができる。この例においては、１０個のみの選択肢は提供されたが、ヒートマップの輪郭は類似で、誤差は最小であることが示されている。ビット長が１００から１０に減少したが、これは非限定的な例であり、本発明の１つまたは複数の実施形態にしたがって任意の他の値を使用できることを理解されたい。

【0069】

図１５は、本発明の１つまたは複数の実施形態による、クロスバーアレイを更新するためのパルス生成のための方法１５００のフローチャートを示している。方法１５００は、図４に示すようなプロセッサ、または図１６を参照して説明したプロセッサを使用して実施することができる。他の任意のコンピューティングデバイスを使用することができることを理解すべきである。方法１５００は、ブロック１５０２で開始し、プロセッサによって、クロスバーアレイのためのパルス生成を使用することを表すために行列乗算に使用される数値を受信することを提供するブロック１５０４に進む。ブロック１５０６は、数値を表すビット長を受信し、ビット長は変更可能なビット長である。本発明の１つまたは複数の実施形態において、ビット長は、ニューラルネットワークの訓練フェーズにおいて更新される。後続の計算において、ビット長は増加または減少することができる。プロセッサに提供されるビット長はニューラルネットワークから知られる。本発明の他の実施形態において、ビット長は、ニューラルネットワークの訓練フェーズの任意のフェーズで、ユーザによって入力または変更されることができる。ブロック１５０８は、数値を表すビット長を有するパルス配列におけるパルス位置を選択する。本発明の１つまたは複数の実施形態において、パルス位置は図９に提供されるアルゴリズムを使用して判定される。パルス配列におけるパルス位置はδ値のために判定される。ブロック１５１０は、パルス配列における選択されたパルス位置を使用して計算を行う。外積は、重み行列のδ値に対する第１のパルス配列と、ｘ値に対する第２のパルス配列とのために判定される。その結果をもとに、ニューラルネットワークを訓練させるための重みを調整するために、増分を追加または減算のいずれか一方に使用される。ブロック１５１２は、計算を使用してクロスバーアレイを更新する。本発明の１つまたは複数の実施形態では、その結果は、クロスバーアレイ内の１つまたは複数のメモリスタのデバイスのコンダクタンスを調整するために使用される。方法１５００はブロック１５１４で終了する。異なるステップまたは追加のステップの順序が方法１５００に含まれ得、図１５に示されるステップによって限定されることを意図するものではないことを理解されたい。

【0070】

図１６を参照すると、本明細書に記載される教示にしたがって本発明の態様を実施するための処理システム１６００が示されている。処理システムは、図４に示されるもののようなプロセッサ（ＣＰＵ／ＧＰＵコア）に実装され得る。本発明のこの実施形態では、システム１６００は、１つまたは複数の中央処理装置（プロセッサ）１６０１ａ、１６０１ｂ、１６０１ｃなど（総称的にまたは一般的にプロセッサ１６０１と称される）を有する。本発明のいくつかの実施形態においては、各プロセッサ１６０１は、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサを含むことができる。プロセッサ１６０１は、システムバス１６１３を介してシステムメモリ１６１４および様々な他のコンポーネントに結合される。リードオンリメモリ（ＲＯＭ）１６０２は、システムバス１６１３に結合され、システム１６００の特定の基本機能を制御する基本入出力システム（ＢＩＯＳ）を含むことができる。

【0071】

図１６はさらに、システムバス１６１３に結合された入力／出力（Ｉ／Ｏ）アダプタ１６０７およびネットワークアダプタ１６０６を示す。Ｉ／Ｏアダプタ１６０７は、ハードディスク１６０３若しくはテープストレージドライブ１６０５、またはその組み合わせ、または他の任意の同様のコンポーネントと通信するスモールコンピュータシステムインターフェース（ＳＣＳＩ：Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）アダプタとすることができる。Ｉ／Ｏアダプタ１６０７、ハードディスク１６０３、およびテープ記憶デバイス１６０５は、本明細書においてマスストレージ１６０４と総称される。処理システム１６００上で実行するためのオペレーティングシステム１６２０は、マスストレージ１６０４に格納することができる。ネットワークアダプタ１６０６は、バス１６１３を外部ネットワーク１６１６に相互接続し、データ処理システム１６００が他のそのようなシステムと通信することが可能になる。スクリーン（例えば、ディスプレイモニタ）１６１５は、ディスプレイアダプタ１６１２によってシステムバス１６１３に接続され、これは、グラフィックス集約型アプリケーションの性能を改善するためのグラフィックスアダプタおよびビデオコントローラを含むことができる。本発明のいくつかの実施形態においては、アダプタ１６０７、１６０６、および１６１２は、中間バスブリッジ（図示せず）を介してシステムバス１６１３に接続される１つまたは複数のＩ／Ｏバスに接続することが可能である。ハードディスクコントローラ、ネットワークアダプタ、およびグラフィックスアダプタなどの周辺デバイスを接続するための適したＩ／Ｏバスは通常、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）などの共通プロトコルを含む。追加の入力／出力デバイスは、ユーザインターフェースアダプタ１６０８およびディスプレイアダプタ１６１２を介してシステムバス１６１３に接続されるものとして示されている。キーボード１６０９、マウス１６１０、およびスピーカ１６１１は全て、ユーザインターフェースアダプタ１６０８を介してバス１６１３に相互接続され、これは、例えば、複数のデバイスアダプタを単一の集積回路に統合したスーパーＩ／Ｏチップを含むことができる。

【0072】

本発明の例示的な実施形態においては、処理システム１６００は、グラフィックス処理ユニット１６３０を含む。グラフィックス処理ユニット１６３０は、ディスプレイに出力するように意図されたフレームバッファ内での画像の作成を加速するためにメモリを操作および変更するように設計された特別な電子回路である。一般に、グラフィックス処理ユニット１６３０は、コンピュータグラフィックスの操作および画像処理に非常に効率的であり、並列性の高い構造を持つため、大きなデータブロックの処理を並行して行うアルゴリズムでは、汎用ＣＰＵよりも有効である。

【0073】

したがって、図１６のように構成されている場合、システム１６００には、プロセッサ１６０１の形態の処理能力、システムメモリ１６１４およびマスストレージ１６０４を含むストレージ機能、キーボード１６０９およびマウス１６１０などの入力手段、並びにスピーカ１６１１およびディスプレイ１６１５を含む出力機能が含まれる。本発明のいくつかの実施形態においては、システムメモリ１６１４およびマスストレージ１６０４の一部は、図１６に示す様々なコンポーネントの機能を調整するためのオペレーティングシステムを一括して格納する。

【0074】

本明細書で説明する本発明の実施形態は、ニューラルネットワーク訓練のための乗算に使用される数値のそれぞれを表現するためのビットストリーム内のビット位置を判定することによって、従来技術よりも改善される。また、本明細書で説明する本発明の実施形態は、ニューラルネットワークの訓練フェーズにおいてＢＬを変更することを可能にすることによって、従来技術よりも改善される。ＢＬは初期ＢＬから増加または低減させることができる。また、本明細書に記載される本発明の実施形態は、任意の重み更新を受け取る前にニューラルネットワークの初期値を提供することによって、これらの方法を使用するニューラルネットワークの訓練を加速することを提供する。

【0075】

本発明は、任意の可能な技術詳細レベルで統合化されたシステム、方法、若しくはコンピュータプログラム製品、またはその組み合わせであり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または複数の媒体）を含み得る。

【0076】

コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持および記憶し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述したものの任意の適した組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、次のもの、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、機械的にエンコードされたデバイス、例えば、パンチカードまたは命令を記録した溝内の隆起構造、および前述したものの任意の適した組み合わせを含む。コンピュータ可読記憶媒体は、本明細書において使用される場合、電波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号等の一時的な信号それ自体とは解釈されるべきではない。

【0077】

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてもよく、あるいは、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、若しくは無線ネットワーク、またはその組合せを介して、外部コンピュータまたは外部ストレージデバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、若しくはエッジサーバ、またはその組合せを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0078】

本発明の動作を実行するためのコンピュータ可読プログラム命令はアセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路に対する構成データ、または例えばＳｍａｌｌｔａｌｋ（登録商標）、またはＣ＋＋などのオブジェクト指向プログラミング言語、および例えば「Ｃ」プログラミング言語または類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソース・コード若しくはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行されてもよいし、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよいし、部分的にユーザのコンピュータ上で、かつ、部分的にリモートコンピュータ上で実行されてもよいし、リモートコンピュータ若しくはサーバ上で完全に実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され得るか、または、接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに行われ得る。幾つかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズしてよい。

【0079】

本発明の態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図若しくはブロック図またはその両方を参照して、説明されている。フローチャート図若しくはブロック図またはその両方の各ブロック、およびフローチャート図若しくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0080】

これらのコンピュータ可読プログラム命令を汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供して機械を生成してよく、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート若しくはブロック図、またはその両方の単数または複数のブロックで指定された機能／動作を実装する手段を作成するようになる。これらのコンピュータ可読プログラム命令はまた、命令が記憶されているコンピュータ可読記憶媒体が、フローチャート若しくはブロック図またはその両方の１つまたは複数のブロックに指定される機能／作用の態様を実装するための命令を含む製造物品を備えるべく、コンピュータ、プログラマブルデータ処理装置、または他のデバイスあるいはその組み合わせに特定のやり方で機能するように指示することができるコンピュータ可読記憶媒体に記憶されてもよい。

【0081】

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または、他のデバイスにロードして、コンピュータ、他のプログラマブル装置、または、他のデバイス上で一連の動作段階を実行させることでコンピュータ実装プロセスを作ることもでき、これにより、コンピュータ、他のプログラマブル装置、または、他のデバイス上で実行される命令が、フローチャート若しくはブロック図の、またはこれらの両方の１つまたは複数のブロックで指定される機能／動作を実装するようになる。

【0082】

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品の考えられる実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図における各ブロックは、指定される論理機能を実装する１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替的な実装形態において、ブロックに記されている機能は、図面に記されている順序とは異なる順序で行われ得る。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよいし、ブロックは、関与する機能に依存して逆の順序で実行される場合もあり得る。ブロック図若しくはフローチャート図、またはその両方の各ブロック、並びにブロック図若しくはフローチャート図、またはその両方におけるブロックの組み合わせは、指定された機能若しくは動作を実行するか、または専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースシステムによって実装することができることにも留意されたい。

【0083】

本開示の様々な実施形態の説明は、例示目的で提示されてきたが、包括的になること、または開示された実施形態に限定されることが意図されるものではない。説明される実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が、当業者には明らかであろう。本明細書において使用される専門用語は、実施形態の原理、市場で見られる技術の実用的な適用若しくはそれに対する技術的改善を最も良好に説明し、または、本明細書において説明される実施形態を他の当業者が理解することを可能にするように選択されている。
本明細書によれば、以下の各項目もまた開示される。
［項目１］
アナログクロスバーアレイを更新するためのパルス生成についてのコンピュータ実装方法であって、上記コンピュータ実装方法は、
プロセッサにより、クロスバーアレイについてのパルス生成を使用して表すための、行列乗算に使用する数値を受信する段階と、
上記プロセッサにより、上記数値を表すための第１のビット長を受信する段階であって、上記第１のビット長は、変更可能なビット長である、段階と、
上記プロセッサにより、上記数値を表すための上記第１のビット長を有するパルス配列におけるパルス位置を選択する段階と、
上記プロセッサにより、上記パルス配列における選択された上記パルス位置を使用して計算を実行する段階と、
上記プロセッサにより、上記計算を使用して上記クロスバーアレイを更新する段階と
を備える、コンピュータ実装方法。
［項目２］
第２のビット長を選択する段階であって、上記第２のビット長は上記第１のビット長とは異なる、段階と、
上記数値を表す上記第２のビット長を有する更新されたパルス配列のためにパルス位置を選択する段階と、
上記更新されたパルス配列における上記選択されたパルス位置を使用して後続の計算を実行する段階と、
上記後続の計算を使用して上記クロスバーアレイを更新する段階であって、上記クロスバーアレイを更新する段階は、上記計算および上記後続の計算に少なくとも部分的に基づき、上記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する段階を含む、段階と
をさらに備える、項目１に記載のコンピュータ実装方法。
［項目３］
ニューラルネットワークの訓練フェーズにおいて上記第１のビット長を第２のビット長に変更する段階をさらに備える、項目１または２に記載のコンピュータ実装方法。
［項目４］
上記計算は、上記行列乗算に使用する上記数値と上記行列乗算に使用する第２の数値との外積演算を実行する段階を備える、項目１から３のいずれか一項に記載のコンピュータ実装方法。
［項目５］
ヒートマップを生成する段階であって、生成された上記ヒートマップは、第１のパルス配列と第２のパルス配列との間のパルス同時計数に少なくとも部分的に基づき、上記第１のパルス配列または上記第２のパルス配列のうちの少なくとも１つは上記選択されたパルス位置を含み、少なくとも１つの第１のパルス配列は上記数値に対応し、上記第２のパルス配列は第２の数値に対応する、段階をさらに備える、項目１から４のいずれか一項に記載のコンピュータ実装方法。
［項目６］
上記選択されたパルス位置を使用して真の乗算マップと上記生成されたヒートマップとを比較する段階であって、上記真の乗算マップは各要素について要素ごとの乗算を実行する、段階をさらに備える、項目５に記載のコンピュータ実装方法。
［項目７］
真の乗算マップと生成されたヒートマップとの間の誤差を判定する段階と、
上記真の乗算マップと上記生成されたヒートマップとの間の上記誤差を提示する段階と
をさらに備える、項目１から６のいずれか一項に記載のコンピュータ実装方法。
［項目８］
クロスバーアレイを更新するためのパルス生成を実装するについてのシステムであって、上記システムは、
１つまたは複数のメモリスタのデバイスを有するクロスバーアレイと、
上記クロスバーアレイのためのパルス生成を使用して表すための、行列乗算に使用する数値を受信することと、
上記数値を表すためのビット長を受信することであって、上記ビット長は変更可能なビット長である、受信することと、
上記数値を表すための上記ビット長を有するパルス配列におけるパルス位置を選択することと、
上記パルス配列における上記選択されたパルス位置を使用して計算を実行することと、
上記計算を使用して上記クロスバーアレイを更新することであって、上記クロスバーアレイの更新は上記１つまたは複数のメモリスタのデバイスの重みを変化する、更新することと
を行うように構成されたプロセッサと
を備える、システム。
［項目９］
上記プロセッサは、
第２のビット長を選択し、上記第２のビット長は上記ビット長とは異なり、
上記数値を表す上記第２のビット長を有する更新されたパルス配列のためにパルス位置を選択し、
上記更新されたパルス配列における上記選択されたパルス位置を使用して後続の計算を実行し、
上記後続の計算を使用して上記クロスバーアレイを更新し、上記クロスバーアレイの更新は、上記計算および上記後続の計算に少なくとも部分的に基づき、上記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する
ように構成されている、項目８に記載のシステム。
［項目１０］
上記プロセッサは、ニューラルネットワークの訓練フェーズにおいて、上記ビット長を第２のビット長に変更するように構成されている、項目８または９に記載のシステム。
［項目１１］
上記計算は、上記行列乗算に使用する数値と上記行列乗算に使用する第２の数値との外積演算を実行する段階を備える、項目８から１０のいずれか一項に記載のシステム。
［項目１２］
上記パルス配列における上記選択されたパルス位置は上記ビット長に少なくとも部分的に基づく、項目８から１１のいずれか一項に記載のシステム。
［項目１３］
上記プロセッサはさらに、ヒートマップを生成するように構成されており、上記生成されたヒートマップは、第１のパルス配列と第２のパルス配列との間のパルス同時計数に少なくとも部分的に基づき、上記第１のパルス配列または上記第２のパルス配列のうちの少なくとも１つは上記選択されたパルス位置を含む、項目８から１２のいずれか一項に記載のシステム。
［項目１４］
上記選択されたパルス位置を使用して、真の乗算マップを上記生成されたヒートマップに比較する段階であって、上記真の乗算マップは各要素のための要素ごとの乗算を実行する、段階と、
上記真の乗算マップと上記生成されたヒートマップとの間の誤差を判定する段階と、
上記真の乗算マップと上記生成されたヒートマップとの間の上記誤差を提示する段階と
をさらに備える、項目１３に記載のシステム。
［項目１５］
アナログクロスバーアレイを更新するためのパルス生成についてのコンピュータプログラムであって、
プロセッサに、
クロスバーアレイのためのパルス生成を使用して表すための、行列乗算に使用する数値を受信する手順と、
上記数値を表すためのビット長を受信する手順であって、上記ビット長は変更可能なビット長である、手順と、
上記数値を表すための上記ビット長を有するパルス配列におけるパルス位置を選択する手順と、
上記パルス配列における選択された上記パルス位置を使用して計算を実行する手順と、
上記計算を使用して上記クロスバーアレイを更新する手順であって、上記クロスバーアレイを更新する手順は、上記計算に少なくとも部分的に基づいて、上記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する手順を含む、手順と
を実行させる、コンピュータプログラム。
［項目１６］
上記プロセッサに、
第２のビット長を選択する手順であって、上記第２のビット長は上記ビット長とは異なる、手順と、
上記数値を表すための上記第２のビット長を有する更新されたパルス配列のためのパルス位置を選択する手順と、
上記更新されたパルス配列における上記選択されたパルス位置を使用して後続の計算を実行する手順と、
上記後続の計算を使用して上記クロスバーアレイを更新する手順であって、上記クロスバーアレイを更新する手順は、上記計算および上記後続の計算に少なくとも部分的に基づき、上記クロスバーアレイの１つまたは複数のメモリスタのデバイスのコンダクタンス値を更新する手順を含む、手順と
を実行させる、項目１５に記載のコンピュータプログラム。
［項目１７］
上記プロセッサに、ニューラルネットワークの訓練フェーズにおいて上記ビット長を第２のビット長に変更する手順をさらに実行させる、項目１５または１６に記載のコンピュータプログラム。
［項目１８］
上記プロセッサに、ニューラルネットワークのための第１のパルス配列と第２のパルス配列との外積を判定する手順をさらに実行させる、項目１５から１７のいずれか一項に記載のコンピュータプログラム。
［項目１９］
上記プロセッサに、ヒートマップを生成する手順であって、上記生成されたヒートマップは、第１のパルス配列と第２のパルス配列との間のパルス同時計数に少なくとも部分的に基づき、上記第１のパルス配列または上記第２のパルス配列のうちの少なくとも１つは上記選択されたパルス位置を含む、手順をさらに実行させる、項目１５から１８のいずれか一項に記載のコンピュータプログラム。
［項目２０］
上記プロセッサに、
上記選択されたパルス位置を使用して真の乗算マップを生成されたヒートマップに比較する手順であって、上記真の乗算マップは各要素のための要素ごとの乗算を実行する手順と、
上記真の乗算マップと上記生成されたヒートマップとの間の誤差を判定する手順と、
上記真の乗算マップと上記生成されたヒートマップとの間の上記誤差を提示する手順と
を実行させる、項目１５から１９のいずれか一項に記載のコンピュータプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】