▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
特表2023-550308しきい値予測を伴う浮動小数点計算システム、方法、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-01
(54)【発明の名称】しきい値予測を伴う浮動小数点計算システム、方法、プログラム
(51)【国際特許分類】
G06F 7/487 20060101AFI20231124BHJP
G06F 17/16 20060101ALI20231124BHJP
G06G 7/60 20060101ALI20231124BHJP
G06N 3/02 20060101ALI20231124BHJP
【ＦＩ】
G06F7/487
G06F17/16 M
G06G7/60
G06N3/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023528073
(86)(22)【出願日】2021-11-02
(85)【翻訳文提出日】2023-05-10
(86)【国際出願番号】 IB2021060128
(87)【国際公開番号】W WO2022106944
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】17/101,605
(32)【優先日】2020-11-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(72)【発明者】
【氏名】カン、ミング
(72)【発明者】
【氏名】ウ、ソンフン
(72)【発明者】
【氏名】リー、エウン キュン
【テーマコード（参考）】
5B056
【Ｆターム（参考）】
5B056BB71
5B056CC01
(57)【要約】
システムは、第１の浮動小数点値および第２の浮動小数点値に従ってドット積演算を実施するように構成された浮動小数点計算ユニットと、浮動小数点計算ユニットに動作可能に結合された検出ロジックとを備える。検出ロジックは、第１の浮動小数点値および第２の浮動小数点値の指数部の固定小数点合計の間の差を計算し、計算された差に基づいて浮動小数点計算ユニットによるドット積演算の完了前に条件の存在を検出するように構成される。条件の存在の検出に応答して、検出ロジックは、通常ならドット積演算の一部として実施される計算のサブセットの実施を浮動小数点計算ユニットに回避させるようにさらに構成される。このような技術は、計算の回避されるサブセットの結果として２つの浮動小数点値のドット積がしきい値未満になったであろうことの予測器としての働きをする。
【特許請求の範囲】
【請求項1】
システムであって、第１の浮動小数点値および第２の浮動小数点値に従ってドット積演算を実施するように構成された浮動小数点計算ユニットと、
前記浮動小数点計算ユニットに動作可能に結合された検出ロジックと
を備え、
前記検出ロジックが、前記第１の浮動小数点値および前記第２の浮動小数点値の指数部の固定小数点合計の間の差を計算し、前記計算された差に基づいて前記浮動小数点計算ユニットによる前記ドット積演算の完了前に条件の存在を検出するように構成され、
前記条件の前記存在の検出に応答して、前記検出ロジックが、通常なら前記ドット積演算の一部として実施される計算のサブセットの実施を前記浮動小数点計算ユニットに回避させるようにさらに構成された、システム。
【請求項2】
検出される前記条件が、前記第１の浮動小数点値および前記第２の浮動小数点値の指数部の固定小数点合計の間の前記差の前記計算の結果がしきい値未満かどうかである、請求項１に記載のシステム。
【請求項3】
前記しきい値が正の値と０とのうちの一方である、請求項２に記載のシステム。
【請求項4】
前記検出される条件の前記存在が、計算の前記回避されるサブセットの結果として前記第１の浮動小数点値と前記第２の浮動小数点値とのドット積が前記しきい値未満になったであろうことの予測器としての働きをする、請求項２に記載のシステム。
【請求項5】
前記検出ロジックに動作可能に結合され、前記浮動小数点計算ユニットに関連する処理遅延に比例して前記検出ロジックの動作電圧を低減するように構成された、電圧スケーリング・コントローラをさらに備える、請求項１ないし４のいずれかに記載のシステム。
【請求項6】
前記ドット積演算が、人工知能システム中で使用されるニューラル・ネットワーク・モデルのための訓練段階の一部である、請求項１ないし５のいずれかに記載のシステム。
【請求項7】
１つまたは複数の集積回路の一部として実装される、請求項１ないし６のいずれかに記載のシステム。
【請求項8】
方法であって、第１の浮動小数点値および第２の浮動小数点値の指数部の固定小数点合計の間の差を計算するステップと、
前記第１の浮動小数点値および前記第２の浮動小数点値に従ってドット積演算を実施するように構成された浮動小数点計算ユニットによるドット積演算の完了前に、前記計算された差に基づいて条件の存在を検出するステップと、
前記条件の前記存在の検出に応答して、通常なら前記ドット積演算の一部として実施される計算のサブセットの実施を前記浮動小数点計算ユニットに回避させるステップと
を含み、
前記ステップのうちの１つまたは複数が、命令コードを実行するように構成された処理回路によって実行される、方法。
【請求項9】
検出される前記条件が、前記第１の浮動小数点値および前記第２の浮動小数点値の指数部の固定小数点合計の間の前記差の前記計算の結果がしきい値未満かどうかである、請求項８に記載の方法。
【請求項10】
前記しきい値が正の値と０とのうちの一方である、請求項９に記載の方法。
【請求項11】
前記検出される条件の前記存在が、計算の前記回避されるサブセットの結果として前記第１の浮動小数点値と前記第２の浮動小数点値とのドット積が前記しきい値未満になったであろうことの予測器としての働きをする、請求項９に記載の方法。
【請求項12】
前記第１の浮動小数点値および前記第２の浮動小数点値の指数部の固定小数点合計の間の前記差が【数1】
【請求項13】
前記ドット積演算が、人工知能システム中で使用されるニューラル・ネットワーク・モデルのための訓練段階の一部である、請求項８ないし１２のいずれかに記載の方法。
【請求項14】
装置であって、少なくとも１つのプロセッサと、
命令コードを含む少なくとも１つのメモリと
を備え、
前記少なくとも１つのメモリおよび前記命令コードが、前記少なくとも１つのプロセッサと共に、請求項８ないし１３のいずれかに記載のステップを前記装置に実施させるように構成された、装置。
【請求項15】
プロセッサによって実行されたときに請求項８ないし１３のいずれかに記載のステップを前記プロセッサに実施させる実行可能命令コードが組み入れられたコンピュータ可読記憶媒体を構成するコンピュータ・プログラム。
【請求項16】
システムであって、整流化線形ユニットと、
前記整流化線形ユニットに動作可能に結合され、第１の浮動小数点値および第２の浮動小数点値に従ってドット積演算を実施するように構成された、浮動小数点計算ユニットと、
前記浮動小数点計算ユニットに動作可能に結合された検出ロジックと
を備え、
前記検出ロジックが、前記第１の浮動小数点値および前記第２の浮動小数点値の指数部の固定小数点合計の間の差を計算し、前記計算された差に基づいて、前記計算された差をしきい値と比較することによって前記浮動小数点計算ユニットによる前記ドット積演算の完了前に条件の存在を検出するように構成され、
前記計算された差が前記しきい値未満であることに応答して、前記検出ロジックが、通常なら前記ドット積演算の一部として実施される計算のサブセットの実施を前記浮動小数点計算ユニットに回避させ、前記浮動小数点計算ユニットの出力を前記整流化線形ユニットに制御させるようにさらに構成された、システム。
【請求項17】
人工知能システムの一部として実装される、請求項１６に記載のシステム。
【請求項18】
１つまたは複数の集積回路の一部として実装される、請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、人工知能システムで使用するための浮動小数点計算を実施することに関する。
【背景技術】
【0002】
機械学習アルゴリズムは人工知能システムの例と考えられるが、この機械学習アルゴリズムは、改善された反復計算精度の利益を得る計算応用例で広く使用されつつある。ニューラル・ネットワークベースのアルゴリズムは、最も広く使用されているタイプの機械学習アルゴリズムの１つである。ニューラル・ネットワークは、人間の脳が動作する方式を模倣するプロセスを通してデータのセット中の基礎をなす関係を認識するモデルである。ニューラル・ネットワーク・モデルは、最初に、訓練データ・セットを使用して訓練され（訓練段階）、次いで、訓練されたニューラル・ネットワーク・モデルを使用してターゲット・データ・セット中の関係が認識される（推論段階）。推論段階は低精度の固定小数点算術計算に依拠し得るが、訓練段階は通常、浮動小数点算術計算を必要とする。
【発明の概要】
【0003】
例証的な一実施形態では、システムが、第１の浮動小数点値および第２の浮動小数点値に従ってドット積演算を実施するように構成された浮動小数点計算ユニットと、浮動小数点計算ユニットに動作可能に結合された検出ロジックとを備える。検出ロジックは、第１の浮動小数点値および第２の浮動小数点値の指数部の固定小数点合計の間の差を計算し、計算された差に基づいて、浮動小数点計算ユニットによるドット積演算の完了前に条件の存在を検出するように構成される。条件の存在の検出に応答して、検出ロジックは、通常ならドット積演算の一部として実施される計算のサブセットの実施を浮動小数点計算ユニットに回避させるようにさらに構成される。
【0004】
さらに他の例証的な実施形態は、命令コードを実行するように構成されたプロセッサおよびメモリを備える装置の形と、検出するステップおよび回避させるステップを実施するように構成された方法の形と、プロセッサによって実行されたときにこれらのステップをプロセッサに実施させる実行可能命令コードが組み入れられた非一過性プロセッサ可読記憶媒体の形とで、それぞれ提供される。
【0005】
有利にも、一例として、例証的な実施形態は、計算アルゴリズムをサポートするのに使用されるハードウェアに関して計算オーバヘッドを早い段階で省くために、内積が計算される前に、負の内積出力または許容可能に小さい正の内積出力を予測する。
【0006】
本明細書に記載の実施形態に関するこれらおよび他の特徴および利点は、添付図面および後続の詳細な説明からより明らかになるであろう。
【図面の簡単な説明】
【0007】
【図1A】１つまたは複数の例証的な実施形態がそれによって実装されることが可能な、浮動小数点数のフィールド・フォーマットを描いた図である。
【図1B】１つまたは複数の例証的な実施形態がそれによって実装されることが可能な、浮動小数点数の算術表現を描いた図である。
【図1C】１つまたは複数の例証的な実施形態がそれによって実装されることが可能な、浮動小数点ドット積計算に関連する計算カーネルを描いた図である。
【図2】１つまたは複数の例証的な実施形態がそれによって実装されることが可能な浮動小数点積和演算器ロジックを描いた図である。
【図3】例証的な実施形態による、浮動小数点ドット積計算のためのしきい値検出ロジックを描いた図である。
【図4】例証的な実施形態による、電圧スケーリングなし（Ａ）、あり（Ｂ）の処理フローを描いた図である。
【図5】例証的な実施形態による、浮動小数点ドット積計算のためのしきい値検出ロジックに関する方法を描いた図である。
【図6】例証的な実施形態による人工知能システムの例示的な実装形態を描いた図である。
【図7】例証的な実施形態による例示的なプロセッサ・システムを描いた図である。
【図8】例証的な実施形態によるクラウド・コンピューティング環境を描いた図である。
【図9】例証的な実施形態による抽象化モデル・レイヤを描いた図である。
【発明を実施するための形態】
【0008】
本明細書では、例示的なコンピューティング環境、クラウド・インフラストラクチャ、データ・リポジトリ、データ・センタ、データ処理システム、情報処理システム、コンピュータ・システム、データ記憶システム、ならびに関連するサーバ、コンピュータ、記憶ユニット、およびデバイスと、他の処理およびコンピューティング・デバイスとに関して、例証的な実施形態が記述されることがある。しかし、本発明の実施形態は、示される特定の例証的なシステムおよびデバイス構成と共に使用することに限られないことを了解されたい。さらに、本明細書における「クラウド・プラットフォーム」、「クラウド・コンピューティング環境」、「クラウド・インフラストラクチャ」、「データ・リポジトリ」、「データ・センタ」、「データ処理システム」、「情報処理システム」、「コンピュータ・システム」、「データ記憶システム」、「コンピューティング環境」などの文言は、例えば、プライベートまたはパブリックあるいはその両方のクラウド・コンピューティングまたは記憶システム、ならびに、分散仮想インフラストラクチャを含む他のタイプのシステムを包含するように広く解釈されるものとする。しかし、所与の実施形態が、より一般に、１つまたは複数の処理デバイスの任意の配置構成を含み得る。
【0009】
背景技術のセクションで上述されたように、人工知能（例えば、機械学習）システムで使用されるニューラル・ネットワーク・モデルの訓練段階は通常、浮動小数点算術計算を必要とする。一例として、このような浮動小数点算術は、「IEEE 754-2019: IEEE Standard for Floating-Point Arithmetic」という名称の米国電気電子学会（ＩＥＥＥ）規格において定義されている計算を含むことがある。ＩＥＥＥ７５４規格は、コンピュータ・プログラミング環境における２進法（基数２）および１０進法（基数１０）浮動小数点算術のための算術フォーマットおよび方法を指定している。ＩＥＥＥは、この規格に準拠する浮動小数点システムの実装形態が、完全にソフトウェアにおいて、完全にハードウェアにおいて、またはソフトウェアとハードウェアとの任意の組合せにおいて実現されることを示している。
【0010】
ＩＥＥＥ７５４は、数１つ当たり１６ビットを使用する半精度フォーマット、数１つ当たり３２ビットの単精度フォーマット、および数１つ当たり６４ビットの倍精度フォーマットを定義している。各フォーマットは、符号「ｓ」と、指数「ｅ」と、小数値「ｆ」として表される仮数とを含む（例えば、数は、先頭の１ビットと、それに続く、小数点の右側の有効値を含む小数部とを仮定することによって正規化される）。このように、仮数は、浮動小数点数の、その数の有効数字を表す部分であり、指数で累乗された基数がこの部分に掛けられて数の実際の値が与えられる。
【0011】
図１Ａは、ＩＥＥＥ７５４規格に合致し、１つまたは複数の例証的な実施形態がそれによって実装されることが可能な、浮動小数点数のフィールド・フォーマット１００を描いている。指数部および小数部のビットの数をそれぞれ示す変数ｎおよびｐは、選択された精度に依存する。図１Ｂは、図１Ａのフィールド・フォーマット１００に合致し、１つまたは複数の例証的な実施形態がそれによって実装されることが可能な、値（ｘ）として示される浮動小数点数の算術表現１１０を描いている。
【0012】
人工知能システムで使用されるニューラル・ネットワーク・モデルの訓練段階で実施される浮動小数点計算の１つは、浮動小数点ドット積計算である。ドット積計算は通常、人工知能システムの積和演算器（ＭＡＣ）ユニット中で実施される。ドット積は、長さの等しい２つの数列（例えば、２つの浮動小数点数）を入力して単一の数を返す代数的演算である。より詳細には、ドット積は、２つの数列の対応するエントリの積の合計である。２つの入力数がベクトルである場合、ドット積演算の結果（内積とも呼ばれる）は、スカラー値である。
【0013】
さらに、現代の人工知能システムにおける計算カーネルは、内積（浮動小数点ドット積演算の結果）をとり、内積に整流化線形ユニット（Ｒｅｌｕ）関数を適用する。図１Ｃは、２つの浮動小数点値ｘおよびｗについて計算された内積ｙ
にＲｅｌｕ関数を適用する計算カーネル１２０を描いている。Ｒｅｌｕ関数は、正の入力のみを通す。すなわち、ｙが０よりも大きい限り、Ｒｅｌｕ関数からｙが出力され、そうでない場合は、Ｒｅｌｕ関数は０を出力する。
【数1】
にＲｅｌｕ関数を適用する計算カーネル１２０を描いている。Ｒｅｌｕ関数は、正の入力のみを通す。すなわち、ｙが０よりも大きい限り、Ｒｅｌｕ関数からｙが出力され、そうでない場合は、Ｒｅｌｕ関数は０を出力する。
【0014】
本明細書では、ドット積
の全体を計算する前であっても負の値が検出されて、それによりこの内積を完全に計算することなく０の出力が提供されるようにすることができれば、エネルギー効率が高いであろうことが理解される。例証的な実施形態は、計算アルゴリズムをサポートするのに使用されるハードウェアに関して計算オーバヘッドを早い段階で省くために、内積が計算される前に（すなわち、内積計算が完了する前に）このような負の内積出力を予測する技術を提供する。
【数2】
の全体を計算する前であっても負の値が検出されて、それによりこの内積を完全に計算することなく０の出力が提供されるようにすることができれば、エネルギー効率が高いであろうことが理解される。例証的な実施形態は、計算アルゴリズムをサポートするのに使用されるハードウェアに関して計算オーバヘッドを早い段階で省くために、内積が計算される前に（すなわち、内積計算が完了する前に）このような負の内積出力を予測する技術を提供する。
【0015】
上で説明され図１Ａおよび１Ｂに示されたように、浮動小数点数は３つのフィールド、すなわち符号（ｓ）と指数（ｅ）と小数（ｆ）とを用いて表されることを想起されたい。ＩＥＥＥ７５４半精度フォーマットの場合、例えば、ｓ＝１ビット、ｅ＝５ビット、ｆ＝１０ビットである。浮動小数点数は、正規数の場合、値（ｘ）＝（－１）ｓ＊２［ｅ］＊（１．ｆ）として表される。明白なように、値の大きさは、ビット数がより少ない「ｅ」に主に依存し、より長いビット・ストリーム「ｆ」は、値の大きさを微調整する働きをする。例えば、数ｘの大きさは、「ｆ」の値にかかわらず、２［ｅ］≦｜ｘ｜＜２［ｅ＋１］の範囲内である。本明細書では、このプロパティが、例証的な実施形態によれば有利にも、ドット積計算における０予測のための重要な機会をもたらすことが理解される。
【0016】
２つの浮動小数点数ＸとＹとの積は、次のように制限される。
Ｘ＝（－１）ｓ＊２［ｅｘ］＊（１．ｆｘ） ＝＞ ２［ｅｘ］≦｜Ｘ｜＜２［ｅｘ＋１］
Ｙ＝（－１）ｓ＊２［ｅｙ］＊（１．ｆｙ） ＝＞ ２［ｅｙ］≦｜Ｙ｜＜２［ｅｙ＋１］
∴２［ｅｘ＋ｅｙ］≦｜ＸＹ｜＜２［ｅｘ＋ｅｙ＋２］
Ｘ＝（－１）ｓ＊２［ｅｘ］＊（１．ｆｘ） ＝＞ ２［ｅｘ］≦｜Ｘ｜＜２［ｅｘ＋１］
Ｙ＝（－１）ｓ＊２［ｅｙ］＊（１．ｆｙ） ＝＞ ２［ｅｙ］≦｜Ｙ｜＜２［ｅｙ＋１］
∴２［ｅｘ＋ｅｙ］≦｜ＸＹ｜＜２［ｅｘ＋ｅｙ＋２］
【0017】
本明細書ではさらに、例証的な実施形態によれば、積の最大および最小範囲の計算は、乗算を必要とせず、２つの浮動小数点値ＸおよびＹについての指数値の、１つの固定小数点加算、すなわちｅｘ＋ｅｙのみを必要とすることが理解される。ドット積計算では、多くの（Ｎ個の）このような積が合計され、例えば、
である。したがって、正の積のグループ（Ｓｐ）と負の積のグループ（Ｓｎ）とを区別することができる。
【数3】
である。したがって、正の積のグループ（Ｓｐ）と負の積のグループ（Ｓｎ）とを区別することができる。
【0018】
正および負のグループの合計の範囲は、次のとおりである。
正の積の合計：
負の積の合計：
正の積の合計：
【数4】
負の積の合計：
【数5】
【0019】
したがって、例証的な実施形態では、積の総計
であることを確認するために、次の条件がチェックされる。
【数6】
であることを確認するために、次の条件がチェックされる。
【数7】
【0020】
上の式（１）における必要とされる計算は、高価な乗算や浮動小数点計算なしに、固定小数点合計のみを含むことに留意されたい。有利にも、この計算的に安価な事前チェックにより、計算のほぼ５０パーセント（％）（負の数が生じるとき）が回避される。数が正の数であると判明した場合は、通常の浮動小数点計算が継続する。
【0021】
前述のように、浮動小数点ドット積計算は通常、人工知能システムに関連するＭＡＣハードウェア・ユニット中で実施される。図２は、１つまたは複数の例証的な実施形態がそれによって実装されることが可能な、ＭＡＣユニット２００に関連する浮動小数点積和演算器ロジックを描いている。ＭＡＣユニットは、値ＡとＢとのドット積に対して値Ｃを加算または減算することによって、３つの値ＡとＢとＣとを結合する。浮動小数点値の場合、ＭＡＣユニット２００は、入力ＥＡ、ＥＢ、およびＥＣを処理し、ここで、Ｅは、値Ａ、Ｂ、およびＣのそれぞれの指数部を指す。ＭＡＣユニット２００はまた、入力ＭＡ、ＭＢ、およびＭＣを処理し、ここで、Ｍは、値Ａ、Ｂ、およびＣのそれぞれの仮数（小数）部を指す。浮動小数点ＭＡＣユニット２００は、整合ロジック、加算器ロジック、乗算器ロジック、シフタ・ロジック、比較器ロジック、ならびに他の機能的ロジックを（図２に例証されるように）備え、比較的複雑である。浮動小数点ＭＡＣユニット２００などの積和演算器の従来のロジック動作は、当業者なら理解するであろうし、したがって本明細書ではこれ以上詳細に説明しない。
【0022】
固定小数点加算エネルギーが浮動小数点ベースのＭＡＣ動作の１０％であると仮定すると、本明細書では、１０％の予測オーバヘッドで負の数を予測することによってＭＡＣ計算の約４０％をスキップできることが理解される。一方、累算された数が事前チェック条件を満たさないことが判明した場合、１０％の予測オーバヘッドは無駄に費やされる。したがって、０．４＊（１００％の節約－１０％のオーバヘッド）＋０．６＊（－１０％のオーバヘッド）＝３０％のエネルギー節約である。
【0023】
いくつかの状況では、本明細書において、式（１）は、正の積の可能な最大の大きさが負の積の可能な最小の大きさと比較されるので、必要以上または所望以上に保守的である可能性があることが理解される。したがって、代替実施形態では、以下で式（２）に描かれるように、式（１）の右側の項の「０」をしきい値「Ｔｈ」で置き換えることによって事前チェック条件が緩和される。
【数8】
【0024】
Ｔｈ＞０であり、Ｔｈの大きさは一般に比較的小さく設定されることを理解されたい。このように、左の項は正の数だが、０に非常に近い場合には計算はスキップされることが可能である。Ｔｈ値を制御することによって、精度が許容可能な程度により低くなることを代償としてより高いエネルギー効率が達成される。すなわち、Ｔｈの設定に基づいて、計算の１０％を追加的に回避できる場合、エネルギー節約は、０．５＊（１００％の節約－１０％のオーバヘッド）＋０．５＊（－１０％のオーバヘッド）＝４０％のエネルギー節約である。
【0025】
図３は、例証的な実施形態による、浮動小数点ドット積計算のためのしきい値検出のロジック実装形態３００を描いている。ロジック実装形態３００は、上の式（２）のハードウェア実装形態の例証的な一実施形態を表す。代替実施形態は、他のロジック実装形態を有することがある。
【0026】
図示のように、ロジック実装形態３００は、浮動小数点ＭＡＣユニット３４０に動作可能に結合されたしきい値検出器３１０（検出ロジック）を備え、浮動小数点ＭＡＣユニット３４０は、マルチプレクサ３４２に動作可能に結合される。しきい値検出器３１０は、加算器３１２、加算器３１４、デマルチプレクサ３１６、レジスタ３２０、レジスタ３２２、マルチプレクサ３２４、排他的論理和（ＸＯＲ）ゲート３２６、加算器３２８、および比較器３３０を含むロジック構成要素を備える。データ入力、データ出力、選択ビット、制御ビット（またはデジタル信号）などが所与のロジック構成要素から入力されるかまたは出力されるかあるいはその両方がなされると言及される場合、これは、所与のロジック構成要素が、対応するそのような入力の受領またはそのような出力の送出あるいはその両方のために他のロジック構成要素との接続性を可能にする対応する端子を有すると想定する。
【0027】
上で説明されたように、２つの浮動小数点値ＸとＹとの積の最大および最小範囲の計算は、乗算を必要とせず、２つの浮動小数点値ＸおよびＹについての指数値の、１つの加算、すなわちｅｘ＋ｅｙのみを必要とすること、ならびに、ドット積計算では、多くの（Ｎ個の）このような積が合計され、例えば、
であることを想起されたい。したがって、図３のしきい値検出器３１０に示されるように、ＸおよびＹについての指数ビット（指数部）の対応する各対ｅｘｉおよびｅｙｉが加算器３１２に入力され、それにより、加算器３１２の出力はｅｘｉ＋ｅｙｉである。加算器３１２の出力は、マルチプレクサ３２４の出力と共に加算器３１４に入力される。加算器３１４の出力は、デマルチプレクサ３１６に入力される。
【数9】
であることを想起されたい。したがって、図３のしきい値検出器３１０に示されるように、ＸおよびＹについての指数ビット（指数部）の対応する各対ｅｘｉおよびｅｙｉが加算器３１２に入力され、それにより、加算器３１２の出力はｅｘｉ＋ｅｙｉである。加算器３１２の出力は、マルチプレクサ３２４の出力と共に加算器３１４に入力される。加算器３１４の出力は、デマルチプレクサ３１６に入力される。
【0028】
デマルチプレクサ３１６は、正の結果を表す、第１の出力上の
を生成し、負の結果を表す、第２の出力上の
を生成する。正の結果はレジスタ３２０に入力され、負の結果はレジスタ３２２に入力される。さらに、正の結果は正レジスタ３２０から出力され、負の結果はレジスタ３２２から出力され、両方はマルチプレクサ３２４に入力され、マルチプレクサ３２４は、前述のように加算器３１４への入力としての働きをする出力を生成する。
【数10】
を生成し、負の結果を表す、第２の出力上の
【数11】
を生成する。正の結果はレジスタ３２０に入力され、負の結果はレジスタ３２２に入力される。さらに、正の結果は正レジスタ３２０から出力され、負の結果はレジスタ３２２から出力され、両方はマルチプレクサ３２４に入力され、マルチプレクサ３２４は、前述のように加算器３１４への入力としての働きをする出力を生成する。
【0029】
図３にさらに示されるように、ＸＯＲゲート３２６は、それぞれ浮動小数点値ＸおよびＹについての符号ビットであるｓｘｉおよびｓｙｉを入力として受け取る。ｓｘとｓｙとが異なるとき、これは、ＸとＹとの積の符号が負であることを意味する。したがって、値は、負レジスタ３２２中の値と累算される。ｓｘとｓｙとが同じである場合、これは、ＸとＹとの積の符号が正であることを意味し、したがって、値は正レジスタ３２０中の値と累算される。ＸＯＲゲート３２６の出力は、したがって、適宜、デマルチプレクサ３１６およびマルチプレクサ３２４を制御するのに使用されることに留意されたい。
【0030】
正レジスタ３２０からの正の結果、およびレジスタ３２２からの負の結果はまた、加算器３２８にも入力され、加算器３２８の出力は、比較器３３０中でしきい値Ｔｈに対してチェックされる。ここが、式（２）の事前チェック条件が決定される場所である。比較器３３０の出力は、浮動小数点ＭＡＣユニット３４０のＥＮに入力として提供され、また、マルチプレクサ３４２に制御信号として提供され、マルチプレクサ３４２は、０である第１の入力と、浮動小数点ＭＡＣユニット３４０の出力である第２の入力とを有する。ＥＮは、比較器３３０の出力が論理１（ＥＮ＝１）のときにだけ浮動小数点ＭＡＣユニット３４０が動作するような、浮動小数点ＭＡＣユニット３４０のための有効化スイッチを表すことに留意されたい。したがって、浮動小数点ＭＡＣユニット３４０が図２の浮動小数点ＭＡＣユニット２００に示されるように構成されていると仮定すると、入力値（すなわち、ＥＡ、ＥＢ、ＭＡ、ＭＢ・・・）は、ＥＮ＝０の場合は入力レジスタ中で更新されないことになる。このようにして、図２のユニット２００の回路は、非アクティブであり前の計算ステータスを維持することになる。
【0031】
マルチプレクサ３４２は、前述のＲｅｌｕ関数を表す。したがって、
がしきい値Ｔｈ未満である場合は、マルチプレクサ３４２の出力は０であり、そうでない場合は、浮動小数点ＭＡＣユニット３４０の出力がマルチプレクサ３４２の出力として選択される。いくつかの実施形態では、しきい値Ｔｈは０とすることができ、他の実施形態では、しきい値Ｔｈは、比較的小さい何らかの許容可能な正の数とすることができることを想起されたい。例にすぎないが、小さい許容可能な正の数は、ドット積の最大値の約１％よりも小さい値であってよい。
【数12】
がしきい値Ｔｈ未満である場合は、マルチプレクサ３４２の出力は０であり、そうでない場合は、浮動小数点ＭＡＣユニット３４０の出力がマルチプレクサ３４２の出力として選択される。いくつかの実施形態では、しきい値Ｔｈは０とすることができ、他の実施形態では、しきい値Ｔｈは、比較的小さい何らかの許容可能な正の数とすることができることを想起されたい。例にすぎないが、小さい許容可能な正の数は、ドット積の最大値の約１％よりも小さい値であってよい。
【0032】
追加の実施形態では、エネルギー消費を省くためにしきい値検出器３１０が典型的な供給電圧未満で動作するように、しきい値検出器３１０中の回路は、電圧スケーリング機能付きで実装されることが可能であることを了解されたい。このような電圧スケーリング機能は、電圧スケーリング・コントローラ３４４によって制御される。コントローラ３４４は、必要または所望に依って電圧スケーリング機能を有効化または無効化するように構成される。
【0033】
図４Ａおよび４Ｂは、それぞれ、例証的な実施形態による、電圧スケーリングなしの処理フロー４００および電圧スケーリングありの処理フロー４１０を描いている。処理フロー４００および４１０は、しきい値検出器３１０および浮動小数点ＭＡＣユニット３４０に関連する順次データ（データ１、データ２、データ３、データ４など）の処理に対応する。例えば、浮動小数点ＭＡＣユニット３４０が所与のデータ（データ１）についての計算を実施するとき、しきい値検出器３１０は次のデータ（データ２）についての予測を（しきい値検出に基づいて）実施し、以下同様である。
【0034】
しきい値検出器３１０によって実施される予測段階計算は比較的単純なので、処理遅延は、ＭＡＣユニットの浮動小数点処理に関連する処理遅延と比較して相対的に小さく、例えば、この相対的な処理時間差は図４Ａで明白である。したがって、予測動作に電圧スケーリングを適用することができ、例えば、電圧スケーリング・コントローラ３４４は、しきい値検出器３１０の回路に供給されるロジック供給電圧ＶＤＤ（動作または基準電圧）のパーセント低減を引き起こす。いくつかの実施形態では、ＶＤＤは、典型的な（通常の）電圧動作レベルの３０％低減される。低減された電圧により、しきい値検出器３１０はそれに比例してより遅く動作する、すなわち処理遅延が増大する。この場合、図４Ｂの処理フロー４１０に描かれるように、浮動小数点計算のための時間期間（時間遅延）が予測段階によって完全に利用されることも可能である。例えば、データ２についての予測のための処理時間は、遅くなって、データ１についての浮動小数点計算のための処理時間のすべてまたはほとんどを占める。
【0035】
いくつかの実施形態では、予測動作のためのＶＤＤを低減することによって、オーバヘッドは半分に低減され（エネルギー＝Ｃ＊ＶＤＤ
２の式により、０．７＊０．７＝０．４９）、この結果、４５％のエネルギー節約になる。ディープ・ニューラル・ネットワークは複数の（例えば、５０個までの）レイヤからなり、各レイヤは畳込み、オプションのバッチ正規化、およびＲｅｌｕ関数を含むので、このようなエネルギー節約は重要である可能性がある。ＶＤＤのスケーリングは、任意の典型的な電圧制御メカニズムを使用してコントローラ３４４によって適用されることが可能である。
【0036】
図５は、例証的な実施形態による、浮動小数点ドット積計算のためのしきい値検出の方法５００を描いている。方法５００は、例えば、図３のロジック実装形態３００を含むシステムによって実施されることが可能であることを了解されたい。しかし、代替実施形態では、方法５００は、方法のステップを実施するように構成された他のシステムによって実施されることも可能である。
【0037】
ステップ５０２で、第１の浮動小数点値および第２の浮動小数点値の指数部の固定小数点合計の間の差を計算する。
【0038】
ステップ５０４で、第１の浮動小数点値および第２の浮動小数点値に従ってドット積演算を実施するように構成された浮動小数点計算ユニットによるドット積演算の完了前に、計算された差に基づいて条件の存在を検出する。
【0039】
ステップ５０６で、条件の存在の検出に応答して、通常ならドット積演算の一部として実施される計算のサブセットの実施を浮動小数点計算ユニットに回避させる。
【0040】
図６は、例証的な実施形態による、人工知能システム６００の例示的な実装形態を描いている。図示のように、システム６００は、訓練データ・セット６１０、ニューラル・ネットワーク・モデル６２０、しきい値検出ロジック６３０、浮動小数点ＭＡＣユニット６４０、および整流化線形ユニット６５０を備える。図３に描かれ上述された例示的なハードウェア実装形態に関して、加算器３１２、加算器３１４、デマルチプレクサ３１６、レジスタ３２０、レジスタ３２２、マルチプレクサ３２４、ＸＯＲゲート３２６、加算器３２８、比較器３３０、およびコントローラ３４４は、しきい値検出ロジック６３０の一部として実装されることが可能であることを了解されたい。さらに、浮動小数点ＭＡＣユニット３４０は、浮動小数点ＭＡＣユニット６４０によって実装されることが可能である。またさらに、マルチプレクサ３４２は、整流化線形ユニット６５０によって実装されることが可能である。しきい値検出ロジック６３０、浮動小数点ＭＡＣユニット６４０、および整流化線形ユニット６５０は、訓練データ・セット６１０に基づくニューラル・ネットワーク・モデル６２０の訓練中に計算を実施するのに使用されることを理解されたい。
【0041】
例示的な一実施形態では、人工知能システム６００のしきい値検出ロジック６３０、浮動小数点ＭＡＣユニット６４０、および整流化線形ユニット６５０は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）によって実装される。ＡＳＩＣは、特定の目的のために実行可能プログラム・コード（例えば、命令コード、コンピュータ・プログラム・コードなど）でプログラムされるかまたは他の方法で構成されるロジック（例えば、回路、プロセッサ、メモリなど）を備える、特定の目的のためにカスタマイズされる集積回路（ＩＣ）チップまたはデバイスである。この例示的な場合では、特定の目的は、人工知能システム（例えば、機械学習アルゴリズム）の、およびより具体的には、訓練データ・セット６１０を使用したニューラル・ネットワーク・モデル６２０の訓練段階の、実装および実行である。ＡＳＩＣはまた、システム・オン・チップ（ＳｏＣ）とも考えられる。１つまたは複数の例証的な実施形態と共に使用できるいくつかのＡＳＩＣ実装形態は、ユーザ選択可能な基本的なロジック機能（例えば、切替えや比較などの様々な機能を提供するように複数のＶＬＳＩトランジスタ・デバイスで構成されたマルチプレクサや比較器など）のセル・ライブラリを採用して、システムの構成（および再構成）を可能にする。
【0042】
人工知能システム６００およびその一部は、１つまたは複数のマルチコア中央処理装置（ＣＰＵ）、１つまたは複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ）、および１つまたは複数のフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）を含む技術など、代替的な回路／プロセッサベースの技術において実現されることが可能であることも、さらに了解されたい。いくつかの実施形態では、人工知能システム６００は、２つ以上の回路／プロセッサベースの技術（例えば、ＡＳＩＣ、ＣＰＵ、ＧＰＵ、ＦＰＧＡなど）の組合せとして実装されることが可能である。
【0043】
図１～６に描かれた技術はまた、本明細書に記載のように、システムを提供することを含むことができ、このシステムは個別ソフトウェア・モジュールを含み、個別ソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能記憶媒体に組み入れられる。モジュールのすべて（もしくはその任意のサブセット）が同じ媒体上にあることも可能であり、または、例えば各モジュールが異なる媒体上にあることも可能である。モジュールは、図に示されるかまたは本明細書で記述されるかあるいはその両方である構成要素のいずれかまたはすべてを含むことができる。本発明の一実施形態では、モジュールは、例えば、ハードウェア・プロセッサ上で稼働することができる。この場合、方法ステップは、ハードウェア・プロセッサ上で実行される前述のようなシステムの個別ソフトウェア・モジュールを使用して実施されることが可能である。さらに、コンピュータ・プログラム製品が、システムに個別ソフトウェア・モジュールをプロビジョニングすることを含めた本明細書に記載の少なくとも１つの方法ステップを実施するために実行されるように適応されたコードを有する有形のコンピュータ可読記録可能記憶媒体を含むことができる。
【0044】
加えて、図１～６に描かれた技術は、データ処理システム中のコンピュータ可読記憶媒体に記憶されたコンピュータ使用可能プログラム・コードを含むことが可能なコンピュータ・プログラム製品を介して実装されることが可能であり、コンピュータ使用可能プログラム・コードは、ネットワークを介してリモート・データ処理システムからダウンロードされたものである。また、本発明の一実施形態では、コンピュータ・プログラム製品は、サーバ・データ処理システム中のコンピュータ可読記憶媒体に記憶されたコンピュータ使用可能プログラム・コードを含むことができ、コンピュータ使用可能プログラム・コードは、リモート・システムを用いてコンピュータ可読記憶媒体中で使用されるために、ネットワークを介してリモート・データ処理システムにダウンロードされる。
【0045】
本発明またはその要素の一実施形態は、メモリと、メモリに結合され例示的な方法ステップを実施するように構成された少なくとも１つのプロセッサとを備える装置の形で実装されることが可能である。
【0046】
加えて、本発明の一実施形態は、コンピュータまたはワークステーション上で稼働するソフトウェアを利用することができる。図７を参照すると、このような実装形態は、例えば、プロセッサ７０２と、メモリ７０４と、ディスプレイ７０６およびキーボード７０８によって例えば形成される入出力インタフェースとを採用し得る。本明細書における用語「プロセッサ」は、例えば、マルチコアＣＰＵ、ＧＰＵ、ＦＰＧＡ、または、１つもしくは複数のＡＳＩＣなど他の形の処理回路、あるいはその組合せを含むものなど、任意の処理デバイスを含むものとする。さらに、用語「プロセッサ」は、１つよりも多い個々のプロセッサを指すこともある。用語「メモリ」は、例えば、ＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読取専用メモリ）、固定メモリ・デバイス（例えば、ハード・ドライブ）、取外し可能メモリ・デバイス（例えば、ディスケット）、フラッシュ・メモリなど、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣなど）に関連付けられるメモリを含むものとする。加えて、本明細書における文言「入出力インタフェース」は、例えば、データを処理ユニットに入力するためのメカニズム（例えば、マウス）、および、処理ユニットに関連する結果を提供するためのメカニズム（例えば、プリンタ）を含むものとする。プロセッサ７０２と、メモリ７０４と、ディスプレイ７０６やキーボード７０８などの入出力インタフェースとは、例えばバス７１０を介して、データ処理ユニット７１２の一部として相互接続されることが可能である。バス７１０を例えば介した適切な相互接続はまた、コンピュータ・ネットワークとインタフェースするために提供されることが可能なネットワーク・カードなどのネットワーク・インタフェース７１４にも提供されることが可能であり、また、メディア７１８とインタフェースするために提供されることが可能なディスケットやＣＤ－ＲＯＭドライブなどのメディア・インタフェース７１６にも提供されることが可能である。
【0047】
したがって、本明細書に記載のような本発明の方法を実施するための命令またはコードを含むコンピュータ・ソフトウェアが、関連するメモリ・デバイス（例えば、ＲＯＭ、固定または取外し可能メモリ）に記憶されてよく、利用される準備ができたときに部分的または全体的に（例えば、ＲＡＭに）ロードされてＣＰＵによって実装され得る。このようなソフトウェアは、次のものに限定されないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むことができる。
【0048】
プログラム・コードを記憶するかまたは実行するかあるいはその両方を行うのに適したデータ処理システムが、システム・バス７１０を通してメモリ要素７０４に直接または間接的に結合された少なくとも１つのプロセッサ７０２を備えることになる。メモリ要素は、プログラム・コードの実際の実装中に利用されるローカル・メモリと、バルク・ストレージと、実装中にコードがバルク・ストレージから取り出されなければならない回数を減らすために少なくともいくらかのプログラム・コードの一時記憶域を提供するキャッシュ・メモリとを含むことができる。
【0049】
入出力またはＩ／Ｏデバイス（次のものに限定されないが、キーボード７０８、ディスプレイ７０６、ポインティング・デバイスなどを含む）が、直接に（バス７１０などを介して）、あるいは介在するＩ／Ｏコントローラ（明確にするために省略されている）を通して、システムに結合されることが可能である。
【0050】
介在するプライベートまたはパブリック・ネットワークを通してデータ処理システムが他のデータ処理システムまたはリモートのプリンタもしくは記憶デバイスに結合されるのを可能にするために、ネットワーク・インタフェース７１４などのネットワーク・アダプタがシステムに結合されてもよい。モデム、ケーブル・モデム、およびイーサネット（Ｒ）カードは、現在利用可能なタイプのネットワーク・アダプタのほんの少数である。
【0051】
特許請求の範囲を含めた本明細書において、「サーバ」は、サーバ・プログラムを実行する物理的なデータ処理システム（例えば、図７に示されるシステム７１２）を含む。このような物理的サーバがディスプレイおよびキーボードを備える場合とそうでない場合とがあることは理解されるであろう。
【0052】
本発明は、任意の可能な技術的詳細の統合レベルにおける、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであり得る。コンピュータ・プログラム製品は、本発明の態様をプロセッサに実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（１つまたは複数）を含み得る。
【0053】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用されるための命令を保持および記憶できる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、次のものに限定されないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラム可能な読取専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、命令が記録されたパンチ・カードや溝の中の隆起構造など機械的にエンコードされるデバイス、およびこれらの任意の適切な組合せを含む。本明細書におけるコンピュータ可読記憶媒体は、電波もしくは他の自由伝搬する電磁波、導波路もしくは他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、またはワイヤを通して伝送される電気信号など、本質的に一過性の信号であると解釈されるべきではない。
【0054】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされることが可能であり、あるいは、ネットワークを介して、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくはワイヤレス・ネットワーク、またはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされることが可能である。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含み得る。各コンピューティング／処理デバイス中のネットワーク・アダプタ・カードまたはネットワーク・インタフェースが、ネットワークからコンピュータ可読プログラム命令を受け取り、これらのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶されるように転送する。
【0055】
本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データであり得、または、Ｓｍａｌｌｔａｌｋ（Ｒ）やＣ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語とを含む１つもしくは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードであり得る。コンピュータ可読プログラム命令は、全体がユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で実行されるか、スタンドアロン・ソフトウェア・パッケージとして実行されるか、一部はユーザのコンピュータ上で実行され一部はリモート・コンピュータ上で実行されるか、または全体がリモート・コンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続されてよく、または、外部コンピュータへの接続が（例えば、インターネット・サービス・プロバイダを使用してインターネットを通して）行われてよい。いくつかの実施形態では、プログラム可能ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を例えば含む電子回路が、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用してコンピュータ可読プログラム命令を実行して、電子回路を個人化し得る。
【0056】
本明細書では、本発明の態様が、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート例証またはブロック図あるいはその両方を参照しながら記述されている。フローチャート例証またはブロック図あるいはその両方の各ブロック、およびフローチャート例証またはブロック図あるいはその両方の中のブロックの組合せがコンピュータ可読プログラム命令によって実装されることが可能であることは、理解されるであろう。
【0057】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック中で指定される機能／行為を実装する手段を生み出すように、コンピュータまたは他のプログラム可能データ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック中で指定される機能／行為の態様を実装する命令を含む製造品を構成するように、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するよう指示することができるコンピュータ可読記憶媒体に記憶され得る。
【0058】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック中で指定される機能／行為を実装するように、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実施させてコンピュータ実装プロセスを作り出すものであってよい。
【0059】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例証する。これに関し、フローチャートまたはブロック図中の各ブロックは、命令のモジュール、セグメント、または部分を表すことがあり、これは、指定される論理機能を実装するための１つまたは複数の実行可能命令を含む。いくつかの代替実装形態では、ブロック中に記された機能は、図中に記された順序以外の順序で生じることがある。例えば、連続的に示される２つのブロックが、実際には、同時に実行されるかほぼ同時に実行されるか一部もしくは全部が一時的に重複する方式で実行される１つのステップとして達成されることがあり、または、ブロックは、関係する機能に依って逆の順序で実行されることも時としてある。また、ブロック図またはフローチャート例証あるいはその両方の各ブロック、およびブロック図またはフローチャート例証あるいはその両方におけるブロックの組合せは、指定される機能または行為を実施するかまたは専用ハードウェアおよびコンピュータ命令の組合せを実施する、専用ハードウェアベースのシステムによって実装されることが可能であることにも留意されるであろう。
【0060】
本明細書に記載の方法はいずれも、コンピュータ可読記憶媒体に組み入れられた個別ソフトウェア・モジュールを備えるシステムを提供する追加のステップを含むことができることに留意されたい。モジュールは、例えば、本明細書で詳述される構成要素のいずれかまたはすべてを含むことができる。この場合、方法ステップは、ハードウェア・プロセッサ７０２上で実行される前述のようなシステムの個別ソフトウェア・モジュールまたはサブモジュールあるいはその両方を使用して実施されることが可能である。さらに、コンピュータ・プログラム製品が、システムに個別ソフトウェア・モジュールをプロビジョニングすることを含めた本明細書に記載の少なくとも１つの方法ステップを実施するために実装されるように適応されたコードを有するコンピュータ可読記憶媒体を含むことができる。
【0061】
いずれの場合でも、本明細書で例証される構成要素は、様々な形のハードウェア、ソフトウェア、またはこれらの組合せにおいて、例えば、特定用途向け集積回路（ＡＳＩＣ）、機能的回路、関連するメモリを備える適切にプログラムされたデジタル・コンピュータなどおいて実装されることを理解されたい。本明細書で提供される本発明の教示が与えられれば、関連技術の当業者なら本発明の構成要素の他の実装形態を企図することができるであろう。
【0062】
本開示はクラウド・コンピューティングに関する詳細な記述を含むが、本明細書で具陳される教示の実装はクラウド・コンピューティング環境に限定されないことを理解されたい。そうではなく、本発明の実施形態は、現在知られているかまたは後に開発される他の任意のタイプのコンピューティング環境と共に実装されることが可能である。
【0063】
クラウド・コンピューティングは、最小限の管理労力でまたはサービスのプロバイダとの最小限の対話で、迅速にプロビジョニングおよび解放されることが可能な、構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの、好都合なオンデマンド・ネットワーク・アクセスを可能にするためのサービス送達モデルである。このクラウド・モデルは、少なくとも５つの特性と、少なくとも３つのサービス・モデルと、少なくとも４つの展開モデルとを含み得る。
【0064】
特性は次のとおりである。
【0065】
オンデマンド・セルフサービス：クラウド消費者は、サービスのプロバイダとの人間による対話を必要とすることなく自動的に、サーバ時間やネットワーク・ストレージなどのコンピューティング能力を必要に依って単方向的にプロビジョニングすることができる。
【0066】
広範なネットワーク・アクセス：能力は、ネットワークを介して利用可能であり、ヘテロジニアスなシンまたはシック・クライアント・プラットフォーム（例えば、モバイル・フォン、ラップトップ、およびＰＤＡ）による使用を促進する標準的なメカニズムを通してアクセスされる。
【0067】
リソース・プーリング：プロバイダのコンピューティング・リソースは、マルチテナント・モデルを使用して複数の消費者に役立つようにプールされ、需要に応じて異なる物理および仮想リソースが動的に割当ておよび再割当てされる。消費者は一般に、提供されるリソースの正確な場所に対してどんな制御も知識も有さないが、より高い抽象化レベルの場所（例えば、国、州、またはデータセンタ）を指定できることがあるという点で、場所自立感がある。
【0068】
迅速な弾力性：能力は、迅速かつ弾力的に、場合によっては自動的にプロビジョニングされて素早くスケールアウトし、迅速に解放されて素早くスケールインすることができる。消費者にとっては、プロビジョニングに利用可能な能力はしばしば無限であるように見え、いつでもどんな量でも購入することができる。
【0069】
測定されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブ・ユーザ・アカウント）にとって適切な何らかの抽象化レベルの計量能力を活用することによって、リソース使用を自動的に制御および最適化する。リソース使用は、監視、制御、および報告されることが可能であり、利用されるサービスのプロバイダと消費者との両方にとっての透明性を提供する。
【0070】
サービス・モデルは、次のとおりである。
【0071】
ソフトウェア・アズ・ア・サービス（ＳａａＳ）：消費者に提供される能力は、クラウド・インフラストラクチャ上で稼働するプロバイダのアプリケーションを使用することである。アプリケーションには、ウェブ・ブラウザなどのシン・クライアント・インタフェースを通して様々なクライアント・デバイスからアクセス可能である（例えば、ウェブベースの電子メール）。消費者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、さらには個々のアプリケーション能力を含めて、基礎をなすクラウド・インフラストラクチャを管理することや制御することはないが、限られたユーザ特有アプリケーション構成設定については例外である可能性がある。
【0072】
プラットフォーム・アズ・ア・サービス（ＰａａＳ）：消費者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、消費者によって作成または取得されたアプリケーションを、クラウド・インフラストラクチャ上に展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含めて、基礎をなすクラウド・インフラストラクチャを管理することや制御することはないが、展開されたアプリケーションに対する、および場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。
【0073】
インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク、および他の基礎的なコンピューティング・リソースをプロビジョニングすることであり、消費者は、オペレーティング・システムおよびアプリケーションを含む可能性のある自由裁量によるソフトウェアを展開および実行することができる。消費者は、基礎をなすクラウド・インフラストラクチャを管理することや制御することはないが、オペレーティング・システム、ストレージ、展開されたアプリケーションに対する制御を有し、場合によっては、限られたネットワーキング構成要素（例えば、ホスト・ファイアウォール）に対する限定的な制御を有する。
【0074】
展開モデルは次のとおりである。
【0075】
プライベート・クラウド：クラウド・インフラストラクチャは、もっぱら組織のために運営される。これは、組織または第三者によって管理されることがあり、オンプレミスまたはオフプレミスに存在することがある。
【0076】
コミュニティ・クラウド：クラウド・インフラストラクチャは、いくつかの組織によって共有され、共有の関心事（例えば、ミッション、セキュリティ要件、ポリシ、およびコンプライアンス考慮事項）を有する具体的なコミュニティをサポートする。これは、組織または第三者によって管理されることがあり、オンプレミスまたはオフプレミスに存在することがある。
【0077】
パブリック・クラウド：クラウド・インフラストラクチャは、一般大衆または大規模な産業グループに利用可能にされ、クラウド・サービスを販売する組織によって所有される。
【0078】
ハイブリッド・クラウド：クラウド・インフラストラクチャは、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成であり、２つ以上のクラウドは、固有のエンティティであり続けるが、データおよびアプリケーションの可搬性を可能にする標準化されたまたはプロプラエタリな技術（例えば、クラウド間の負荷均衡化のためのクラウド・バースティング）によってまとめられる。
【0079】
クラウド・コンピューティング環境はサービス指向であり、その焦点は、ステートレス性、低結合、モジュール性、およびセマンティック相互運用性に合わせられる。クラウド・コンピューティングの核心にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。
【0080】
次に図８を参照すると、例証的なクラウド・コンピューティング環境８５０が描かれている。図示のように、クラウド・コンピューティング環境８５０は、１つまたは複数のクラウド・コンピューティング・ノード８１０を含み、これらのノード８１０により、クラウド消費者によって使用されるローカル・コンピューティング・デバイス、例えば、パーソナル・デジタル・アシスタント（ＰＤＡ）もしくはセルラー電話機８５４Ａ、デスクトップ・コンピュータ８５４Ｂ、ラップトップ・コンピュータ８５４Ｃ、または自動車コンピュータ・システム８５４Ｎ、あるいはその組合せなどが通信し得る。ノード８１０は、相互と通信し得る。これらは、前述のようなプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはこれらの組合せなど、１つまたは複数のネットワーク中で、物理的または仮想的にグループ化されることがある（図示せず）。これにより、クラウド・コンピューティング環境８５０は、クラウド消費者がローカル・コンピューティング・デバイス上にリソースを維持する必要のないサービスとして、インフラストラクチャ、プラットフォーム、またはソフトウェア、あるいはその組合せを提供することができる。図８に示されるコンピューティング・デバイス８５４Ａ～Ｎのタイプは例証にすぎないものとすること、ならびに、コンピューティング・ノード８１０およびクラウド・コンピューティング環境８５０は任意のタイプのネットワークまたは（例えば、ウェブ・ブラウザを使用する）ネットワーク・アドレス指定可能接続あるいはその両方を介して任意のタイプのコンピュータ化デバイスと通信できることが理解される。
【0081】
次に図９を参照すると、クラウド・コンピューティング環境８５０（図８）によって提供される機能的抽象化レイヤのセットが示されている。図９に示される構成要素、レイヤ、および機能は例証にすぎないものとし、本発明の実施形態はこれに限定されないことを、あらかじめ理解されたい。描かれているように、以下のレイヤおよび対応する機能が提供される。
【0082】
ハードウェアおよびソフトウェア・レイヤ９６０は、ハードウェアおよびソフトウェア構成要素を含む。ハードウェア構成要素の例は、メインフレーム９６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャベースのサーバ９６２、サーバ９６３、ブレード・サーバ９６４、記憶デバイス９６５、ならびにネットワークおよびネットワーキング構成要素９６６を含む。いくつかの実施形態では、ソフトウェア構成要素は、ネットワーク・アプリケーション・サーバ・ソフトウェア９６７およびデータベース・ソフトウェア９６８を含む。
【0083】
仮想化レイヤ９７０は抽象化レイヤを提供し、この抽象化レイヤから、仮想エンティティの以下の例が提供され得る。すなわち、仮想サーバ９７１、仮想ストレージ９７２、仮想プライベート・ネットワークを含む仮想ネットワーク９７３、仮想アプリケーションおよびオペレーティング・システム９７４、ならびに仮想クライアント９７５である。一例では、管理レイヤ９８０は、以下に述べる機能を提供し得る。リソース・プロビジョニング９８１は、クラウド・コンピューティング環境内でタスクを実施するのに利用されるコンピューティング・リソースおよび他のリソースの動的調達を提供する。計量および価格設定９８２は、リソースがクラウド・コンピューティング環境内で利用されるのに伴うコスト追跡と、これらのリソースの消費に対する料金請求または送り状送付とを提供する。
【0084】
一例では、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことがある。セキュリティが、クラウド消費者およびタスクに対する識別検証、ならびに、データおよび他のリソースの保護を提供する。ユーザ・ポータル９８３は、クラウド・コンピューティング環境へのアクセスを消費者およびシステム管理者に提供する。サービス・レベル管理９８４は、必要とされるサービス・レベルが満たされるようなクラウド・コンピューティング・リソース割振りおよび管理を提供する。サービス・レベル・アグリーメント（ＳＬＡ）計画および達成９８５は、ＳＬＡに従って将来の要件が予期されるクラウド・コンピューティング・リソースの事前取決めおよび調達を提供する。
【0085】
作業負荷レイヤ９９０は、クラウド・コンピューティング環境が利用される機能の例を提供する。このレイヤから提供される作業負荷および機能の例は、本発明の１つまたは複数の実施形態による、マッピングおよびナビゲーション９９１、ソフトウェア開発およびライフサイクル管理９９２、仮想教室教育送達９９３、データ分析処理９９４、トランザクション処理９９５、ならびに人工知能アルゴリズム（しきい値検出および浮動小数点計算を含む）処理９９６を含む。
【0086】
本明細書で使用される術語は、特定の実施形態について記述するためのものにすぎず、本発明の限定とはしない。本明細書において、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、コンテキストが明確にそうでないと示さない限り、複数形も含むものとする。さらに、用語「ｃｏｍｐｒｉｓｅｓ」または「ｃｏｍｐｒｉｓｉｎｇ」あるいはその両方は、本明細書で使用されるとき、言明される特徴、ステップ、動作、要素、または構成要素、あるいはその組合せの存在を指定するが、別の特徴、ステップ、動作、要素、構成要素、またはこれらのグループ、あるいはその組合せの存在または追加を排除しないことも理解されるであろう。
【0087】
本発明の少なくとも１つの実施形態は、例えば、モデル復元ロジックの複雑な手動の（例えばカスタム構築される）開発に取って代わるフレームワーク（例えば、１つまたは複数のフレームワーク構成のセット）など、有益な効果を提供し得る。本明細書で例証的に述べたように、フレームワークは、障害検出構成要素および関連するモデル復元パイプラインのセットを用いて構成およびインスタンス化される。インスタンス化された後は、フレームワークは、ログを入力として使用して所与のライフサイクルにプラグインし、新しいモデル・バージョンのための新しいモデル・アーチファクトを既存のライフサイクル・パイプライン中に送達する。１つまたは複数の例証的な実施形態では、フレームワークは、ＡＩアプリケーションのエンドツーエンド開発およびライフサイクル管理のための、クラウドベースのフレームワークおよびプラットフォームである。
【0088】
本発明の様々な実施形態についての記述を例証のために提示したが、この記述は、網羅的なものとはせず、開示される実施形態に限定されるものともしない。述べた実施形態の範囲を逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書で使用される術語は、実施形態の原理、実際上の適用、もしくは市場で見られる技術に勝る技術的改善を最もよく説明するために、または本明細書に開示される実施形態を他の当業者が理解できるようにするために選ばれたものである。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】