特表2026-532065IP Force 特許公報全文掲載

ホーム > 特許ランキング > テキサス　インスツルメンツ　インコーポレイテッド > 特表2026-532065

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】
(54)【発明の名称】ニューラルネットワーク動作命令
(51)【国際特許分類】
   
【ＦＩ】
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】
(86)(22)【出願日】
(85)【翻訳文提出日】
(86)【国際出願番号】
(87)【国際公開番号】
(87)【国際公開日】
(31)【優先権主張番号】63/580,463
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(31)【優先権主張番号】18/643,336
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(81)【指定国・地域】
(71)【出願人】
【識別番号】507107291
【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド
(74)【代理人】
【識別番号】230129078
【弁護士】
【氏名又は名称】佐藤 仁
(72)【発明者】
【氏名】アツル レーレ
(72)【発明者】
【氏名】マヘシュ メヘンデール
(72)【発明者】
【氏名】ウリ ウェインリブ
(72)【発明者】
【氏名】アヌラグ チョウドゥハリ
(57)【要約】
ニューラルネットワーク動作を行うための命令及び関連するハードウェアに対する改善がここで開示される。一実施例において、処理デバイスが命令フェッチ回路要素（１０１）とデコーダ（１０３）とニューラルネットワーク動作回路要素（１１３）とを含む。命令フェッチ回路要素は、或る動作と動作群の動作の一つ又は複数と共に用いるためのニューラルネットワーク動作回路要素のサブ回路を有効化する値のセットとを特定する命令（１０５）をメモリからフェッチし、命令をデコーダに提供するよう構成されている。デコーダは、ニューラルネットワーク動作回路要素に、動作に基づいて、ニューラルネットワーク動作回路要素の第１のサブ回路と値のセットの第１のサブセットとを用いて畳み込み動作を実施させるか、又はニューラルネットワーク動作回路要素の第２のサブ回路と値のセットの第２のサブセットとを用いてバッチ正規化動作を実施させるよう構成されている。
【特許請求の範囲】
【請求項】
処理デバイスであって、
命令フェッチ回路要素と、
前記命令フェッチ回路要素に結合されているデコーダ回路要素と、
前記デコーダ回路要素に結合されているニューラルネットワーク動作回路要素と、
を含み、
前記命令フェッチ回路要素が、
メモリからニューラルネットワーク命令をフェッチし、
前記ニューラルネットワーク命令を前記デコーダ回路要素に提供する、
ように構成されており、
前記ニューラルネットワーク命令が、動作群のうちの或る動作とデータのセットとを特定し、
前記デコーダ回路要素が、前記ニューラルネットワーク動作回路要素に、前記動作に基づいて、前記ニューラルネットワーク動作回路要素の第１のサブ回路と前記データのセットとを用いて畳み込み動作を実施させるように、又は、前記ニューラルネットワーク動作回路要素の第２のサブ回路と前記データのセットとを用いてバッチ正規化動作を実施させるように構成されている、
処理デバイス。
【請求項】
請求項１に記載の処理デバイスであって、前記ニューラルネットワーク命令が、レジスタオペランド及びセレクタオペランドを特定することによって、前記データのセットを特定する、処理デバイス。
【請求項】
請求項２に記載の処理デバイスであって、
前記レジスタオペランドが、レジスタ位置に対応しており、
前記レジスタ位置が、入力データレジスタ、重みデータレジスタ、及び宛先データレジスタに関する位置を含む、
処理デバイス。
【請求項】
請求項３に記載の処理デバイスであって、前記デコーダ回路要素が、
前記畳み込み動作を特定する前記ニューラルネットワーク命令に基づいて、前記ニューラルネットワーク動作回路要素にレジスタ位置の第１のセットを提供し、
前記バッチ正規化動作を特定する前記ニューラルネットワーク命令に基づいて、前記ニューラルネットワーク動作回路要素にレジスタ位置の第２のセットを提供する、
ように更に構成されている、
処理デバイス。
【請求項】
請求項２に記載の処理デバイスであって、前記セレクタオペランドが、前記動作が前記畳み込み動作であることに基づいて第１の値を特定し、前記動作が前記バッチ正規化動作であることに基づいて第２の値を特定する、処理デバイス。
【請求項】
請求項１に記載の処理デバイスであって、前記デコーダ回路要素が、前記ニューラルネットワーク動作回路要素に、前記ニューラルネットワーク動作回路要素の前記第１のサブ回路を用いて前記畳み込み動作を単一のサイクルで実施させるように構成されている、処理デバイス。
【請求項】
請求項１に記載の処理デバイスであって、前記デコーダ回路要素が、前記ニューラルネットワーク動作回路要素に、前記ニューラルネットワーク動作回路要素の前記第２のサブ回路を用いて前記バッチ正規化動作を２サイクルで実施させるように構成されている、処理デバイス。
【請求項】
請求項１に記載の処理デバイスであって、前記ニューラルネットワーク動作回路要素が、マルチプレクサのセット、乗算器回路のセット、加算器回路のセット、シフタ回路のセット、符号付加回路のセット、及びクランプ回路のセットを含む、処理デバイス。
【請求項】
装置であって、
プログラム命令を格納するように構成されているメモリデバイスと、
ニューラルネットワーク動作を実施するように構成されているニューラルネットワーク動作回路要素と、
前記ニューラルネットワーク動作回路要素に結合されているデコーダ回路要素と、
前記メモリデバイスと前記デコーダ回路要素とに結合されており、前記メモリデバイスから前記プログラム命令をフェッチするように構成されている、命令フェッチ回路要素と、
を含み、
前記プログラム命令が、前記ニューラルネットワーク動作のうちの或る動作とデータのセットとを特定するニューラルネットワーク命令を含むとき、前記デコーダ回路要素が、前記ニューラルネットワーク動作回路要素のサブ回路に、前記データのセットを用いて前記動作を実施させるように構成されている、
装置。
【請求項】
請求項９に記載の装置であって、前記ニューラルネットワーク動作が、畳み込み動作及びバッチ正規化動作を含む、装置。
【請求項】
請求項１０に記載の装置であって、前記ニューラルネットワーク命令が、レジスタオペランド及びセレクタオペランドを特定することによって、前記データのセットを特定する、装置。
【請求項】
請求項１１に記載の装置であって、
前記レジスタオペランドが、レジスタ位置に対応しており、
前記レジスタ位置が、入力データレジスタ、重みデータレジスタ、及び宛先データレジスタに関する位置を含み、
前記セレクタオペランドが、前記動作が前記畳み込み動作であることに基づいて第１の値を特定し、前記動作が前記バッチ正規化動作であることに基づいて第２の値を特定する、
装置。
【請求項】
請求項１２に記載の装置であって、前記ニューラルネットワーク命令が前記畳み込み動作を特定するとき、前記デコーダ回路要素が、前記ニューラルネットワーク動作回路要素の第１のサブ回路に、前記値のセットの第１のサブセットを用いて前記畳み込み動作を実施させるように構成されている、装置。
【請求項】
請求項１３に記載の装置であって、前記ニューラルネットワーク動作回路要素の前記第１のサブ回路に、前記値のセットの前記第１のサブセットを用いて前記畳み込み動作を実施させるために、前記デコーダ回路要素が、レジスタ位置の第１のセットと前記セレクタオペランドによって特定された前記第１の値とを、前記第１のサブ回路に提供するように構成されている、装置。
【請求項】
請求項１２に記載の装置であって、前記ニューラルネットワーク命令が前記バッチ正規化動作を特定するとき、前記デコーダ回路要素が、前記ニューラルネットワーク動作回路要素の第２のサブ回路に、前記値のセットの第２のサブセットを用いて前記バッチ正規化動作を実施させるように構成されている、装置。
【請求項】
請求項１５に記載の装置であって、前記ニューラルネットワーク動作回路要素の前記第２のサブ回路に、前記値のセットの前記第２のサブセットを用いて前記バッチ正規化動作を実施させるために、前記デコーダ回路要素が、レジスタ位置の第２のセットと、前記セレクタオペランドによって特定された前記第２の値とを、前記第２のサブ回路に提供するように構成されている、装置。
【請求項】
一つ又は複数のコンピュータ可読ストレージ媒体であって、
前記一つ又は複数のコンピュータ可読ストレージ媒体が、格納されたプログラム命令を含み、
前記格納されたプログラム命令が、動作群のうちの或る動作とデータのセットとを特定するニューラルネットワーク命令を含み、前記格納されたプログラム命令が、処理システムによって読み取られて実行されると、
前記動作に基づいて、前記ニューラルネットワーク動作回路要素の第１のサブ回路と前記データのセットとを用いて畳み込み動作を実施するように、又は、前記ニューラルネットワーク動作回路要素の第２のサブ回路と前記データのセットとを用いてバッチ正規化動作を実施するように、
プロセッサに指示する、
一つ又は複数のコンピュータ可読ストレージ媒体。
【請求項】
請求項１７に記載の一つ又は複数のコンピュータ可読ストレージ媒体であって、前記値のセットが、レジスタオペランドとセレクタオペランドとを含む、一つ又は複数のコンピュータ可読ストレージ媒体。
【請求項】
請求項１８に記載の一つ又は複数のコンピュータ可読ストレージ媒体であって、
前記レジスタオペランドが、レジスタ位置に対応しており、
前記レジスタ位置が、入力データレジスタ、重みデータレジスタ、及び宛先データレジスタに関する位置を含み、
前記セレクタオペランドが、前記動作が前記畳み込み動作であることに基づいて第１の値を特定し、前記動作が前記バッチ正規化動作であることに基づいて第２の値を特定する、
一つ又は複数のコンピュータ可読ストレージ媒体。
【請求項】
請求項１７に記載の一つ又は複数のコンピュータ可読ストレージ媒体であって、前記プログラム命令が、前記畳み込み動作を単一のサイクルで実施し、前記バッチ正規化動作を２サイクルで実施するように、前記プロセッサに指示する、一つ又は複数のコンピュータ可読ストレージ媒体。

【発明の詳細な説明】
【技術分野】
【】
本開示の態様は、コンピュータハードウェア及びソフトウェアの分野に関し、ニューラルネットワーク計算のための新たなハードウェア命令
【背景技術】
【】
ディープニューラルネットワーク（ＤＮＮ）の実装は、ハイエンドのプロセッサにおける実装と比較して、ローエンドで低コストのマイクロコントローラなどのエッジノードにおいて困難な場合がある。ＤＮＮは、多くの場合、ＤＮＮの面積、コスト、及び性能間の最良トレードオフを生じさせるために、各々が異なる方式で最適化及び実装され得る、いくつかの関数及び層を含む。
【】
こうした関数のうちの２つは、行列積和（ＭＭＡ）関数を用いる畳み込み関数と、バッチ正規化とを含む。畳み込み関数は、２値（１ビット）及び３値（２ビット）の重みを用いることにより、活性化ストレージを削減し得、単一クロックサイクルにおける、より多数の畳み込み動作の性能を向上させることができる。しかしながら、そのような畳み込み関数（すなわち、１６×８畳み込み）を可能にするために、ＤＮＮは、８×８畳み込み（すなわち、８ビットのデータ及び８ビットの重み／活性化）と比較して、付加的なリソースを利用し得るが、精度の向上はもたらされない。バッチ正規化関数とは、ＤＮＮの訓練を高速化するために用いられる動作を指す。バッチ正規化関数に含まれる数学的動作は、スケール（乗算）、シフト（除算）、及びクランプ（最大閾値と最小閾値とを比較し、入力が範囲外である場合には最小値／最大値に飽和させる）動作を含む。既存のＤＮＮは、各タイプの関数に関して用いられる動作の相違を考慮して、異なる論理及びハードウェアを利用する。
【発明の概要】
【】
ニューラルネットワーク内で関数を高速化するための、低コスト、低電力、及び低レイテンシの解決策を提供する技術が、本明細書で開示される。種々の実装において、データに対して畳み込み動作又はバッチ正規化動作のいずれかを実施するために、そうした動作を複数のハードウェアアクセラレータにオフロードすることを必要とするのではなく、ニューラルネットワーク命令が、ＣＰＵの命令セットアーキテクチャ（ＩＳＡ）に追加される。
【】
一例の実装において、処理デバイスが、命令フェッチ回路要素と、命令フェッチ回路要素に結合されているデコーダ回路要素と、デコーダ回路要素に結合されているニューラルネットワーク動作回路要素とを含む。命令フェッチ回路要素は、メモリから、或る動作と、動作群の動作のうちの一つ又は複数と共に用いるためのニューラルネットワーク動作回路要素のサブ回路を有効化する値のセットとを特定するニューラルネットワーク命令をフェッチし、デコーダ回路要素にニューラルネットワーク命令を提供するように構成されている。デコーダ回路要素は、ニューラルネットワーク動作回路要素に、動作に基づいて、ニューラルネットワーク動作回路要素の第１のサブ回路と値のセットの第１のサブセットとを用いて、畳み込み動作を実施させるように、又は、ニューラルネットワーク動作回路要素の第２のサブ回路と値のセットの第２のサブセットとを用いて、バッチ正規化動作を実施させるように構成されている。
【】
本概要は、技術的開示において下記で更に説明されている構想の抜粋を、簡略化された形態で紹介するために提供されている。本概要は、特許請求される主題の主要な特徴又は本質的な特徴を特定することを意図するものでもなければ、特許請求される主題の範囲を限定するために用いられることを意図するものでもない点が理解され得る。
【図面の簡単な説明】
【】
以下の図面を参照して、本開示の多くの態様が、より良好に理解され得る。図面中の構成要素は、必ずしも正確な縮尺ではなく、その代わりに、本開示の原理を明確に示すことに重点が置かれている。また、図面において、同様の参照符号は、いくつかの図を通して、対応する部分を示している。いくつかの実施例が、これらの図面に関連して説明されているが、本明細書で開示される実施例に限定されるものではない。むしろ、意図するところは、全ての代替物、改変、及び等価物を包含することである。
【】
【図】一実装における処理システムを図示する。
【】
【図】一実装における処理システムを動作させる方法を図示する。
【】
【図】一実装における動作環境を図示する。
【】
【図】一実装における動作シーケンスを図示する。
【】
【図】一実装における動作アーキテクチャを図示する。
【図】一実装における動作アーキテクチャを図示する。
【】
【図】他の図に関して下記で論じられる種々の動作環境、動作アーキテクチャ、動作プロセス、動作シナリオ、及び動作シーケンスを実装するために適切な、コンピューティングシステムを図示する。
【発明を実施するための形態】
【】
ニューラルネットワークの畳み込み動作及びバッチ正規化動作を、複数の専用ハードウェアアクセラレータにオフロードすることを必要とせずに高速化する、システム、方法、及びデバイスが、本明細書で開示される。むしろ、双方のタイプのニューラルネットワーク動作をサポートするための単一の回路への共有のデータ経路を用いて、ＣＰＵによって直接復号及び実行され得る、ニューラルネットワーク命令が開示される。開示される技術は、畳み込み動作及びバッチ正規化動作を実行するシステムの、電力消費、コスト、及びレイテンシを低減する、高速化の方法を提供するために、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせの状況において実装され得る。種々の実装において、適切なコンピューティングシステムが、ニューラルネットワークの畳み込み動作及びバッチ正規化動作を実行するために、ニューラルネットワーク命令を介して、ニューラルネットワーク動作回路要素を採用する。
【】
一実装において、処理回路要素は、ニューラルネットワークの動作を実行するための実行パイプラインを介した、複数のデータ経路を含む。各データ経路は、命令のセットと、そうした命令のデータに対して実施される動作のセットとに関連付けられ得、他のデータ経路の実行回路要素と共有される実行回路要素と、他のデータ経路の実行回路要素とは異なる回路要素との組み合わせを含み得る。例えば、複数のデータ経路は、算術論理データ経路、浮動小数点データ経路、及びニューラルネットワーク動作データ経路を含み得る。動作において、デコーダが、そうした３つのデータ経路に関連する命令を受け取ることになる。これに応答して、デコーダは、命令を提供するための適切なデータ経路を識別するために、命令を復号する。デコーダはまた、命令に関連付けられているデータの位置を識別するために、命令を復号する。例えば、デコーダは、命令を実施するために必要とされるデータを格納しているレジスタの、レジスタアドレスを識別し得る。デコーダが、適切なデータ経路とデータのレジスタアドレスとの双方を識別すると、デコーダは、適切なデータ経路にレジスタアドレスを提供する。
【】
例えば、デコーダは、ニューラルネットワーク命令によって識別されたデータを格納しているレジスタに関するレジスタアドレスを、ニューラルネットワーク動作データ経路に提供し得る。これに応答して、ニューラルネットワーク動作データ経路は、ニューラルネットワーク動作回路要素を介して、ニューラルネットワーク命令によって識別されたデータに対して畳み込み動作又はバッチ正規化動作のいずれかを実施する。
【】
一実施例において、ニューラルネットワーク動作データ経路のニューラルネットワーク動作回路要素は、例えば、マルチプレクサ、加算器、シフタ、フリップフロップ及びラッチ、並びに、その他の論理ゲート及び論理デバイスなどの、複数のハードウェア構成要素を含む。ニューラルネットワーク動作回路要素は、畳み込み動作又はバッチ正規化動作の双方を実施するために用いられ得、そのため、面積及びコストの削減を改善する結果をもたらし得る。動作において、デコーダは、ニューラルネットワーク命令によって識別されたデータのレジスタ位置を、ニューラルネットワーク動作データ経路に提供する。これに応答して、ニューラルネットワーク動作データ経路は、ニューラルネットワーク命令によって識別されたデータに対して、いずれの動作をニューラルネットワーク命令が特定しているかに基づいて、畳み込み動作又はバッチ正規化動作のいずれかを実施する。いずれかの動作をニューラルネットワーク動作回路要素が実施することを可能にするために、ニューラルネットワーク命令は、動作のタイプと、特定された動作及び特定されたデータと共に用いるためのニューラルネットワーク動作回路要素のサブ回路を有効化する値のセットとを特定する。動作の出力は、ニューラルネットワーク命令によって識別されたような、処理回路要素の一つ又は複数の宛先レジスタに送られる。
【】
ニューラルネットワーク動作の結果は、ネットワークの次のノードへの入力を表し得る。つまり、ニューラルネットワーク動作の結果は、ニューラルネットワークの将来の動作のための入力として用いられ得る。代替として、ニューラルネットワーク動作の結果は、ニューラルネットワークの全体的な出力を表し得る。
【】
一実施例において、処理デバイスが、命令フェッチ回路要素と、命令フェッチ回路要素に結合されているデコーダ回路要素と、デコーダ回路要素に結合されているニューラルネットワーク動作回路要素とを含む。命令フェッチ回路要素は、メモリから、或る動作と、動作群の動作のうちの一つ又は複数と共に用いるためのニューラルネットワーク動作回路要素のサブ回路を有効化する値のセットとを特定する、ニューラルネットワーク命令をフェッチし、デコーダ回路要素にニューラルネットワーク命令を提供するように構成されている。デコーダ回路要素は、ニューラルネットワーク動作回路要素に、動作に基づいて、ニューラルネットワーク動作回路要素の第１のサブ回路と値のセットのうちの第１のサブセットとを用いて、畳み込み動作を実施させるように、又は、ニューラルネットワーク動作回路要素の第２のサブ回路と値のセットのうちの第２のサブセットとを用いて、バッチ正規化動作を実施させるように構成されている。
【】
別の実施例において、メモリデバイスと、ニューラルネットワーク動作回路要素と、デコーダ回路要素と、命令フェッチ回路要素とを含む装置が提供される。メモリデバイスは、プログラム命令を格納するように構成されている。ニューラルネットワーク動作回路要素は、ニューラルネットワーク動作を実施するように構成されている。デコーダ回路要素は、ニューラルネットワーク動作回路要素に結合されている。命令フェッチ回路要素は、メモリデバイスとデコーダ回路要素とに結合されており、メモリデバイスからプログラム命令をフェッチするように構成されている。デコーダ回路要素は、プログラム命令によって識別されたデータを、装置の計算回路要素へ提供させるように構成されており、プログラム命令が、ニューラルネットワーク動作のうちの或る動作と、ニューラルネットワーク動作回路要素のサブ回路を有効化する値のセットとを特定するニューラルネットワーク命令を含むとき、デコーダは、ニューラルネットワーク動作回路要素のサブ回路に、そうした動作を実施させるように構成されている。
【】
更に別の実施例において、格納されたプログラム命令を含む一つ又は複数のコンピュータ可読ストレージ媒体が提供され、プログラム命令は、動作群のうちの或る動作と、動作群の動作のうちの一つ又は複数と共に用いるためのニューラルネットワーク動作回路要素のサブ回路を有効化する値のセットとを特定するニューラルネットワーク命令を含み、処理システムによって読み取られて実行されると、プロセッサに、種々の関数を実施するように指示する。例えば、プログラム命令は、プロセッサに、動作に基づいて、ニューラルネットワーク動作回路要素の第１のサブ回路と値のセットのうちの第１のサブセットとを用いて、畳み込み動作を実施するように、又は、ニューラルネットワーク動作回路要素の第２のサブ回路と値のセットのうちの第２のサブセットとを用いて、バッチ正規化動作を実施するように指示し得る。
【】
ここで図を参照すると、図１は、本明細書では処理システム１００と称する、ニューラルネットワーク命令を実行するための処理システムを図示する。処理システム１００は、単一の処理デバイス内に実装され得るか、或いは、プログラム命令を実行する際に協働する複数の処理デバイス又はサブシステムにわたって分散され得る、プロセッサを表している。処理システム１００の例としては、一つ又は複数の中央処理装置が挙げられる。一実装において、処理システム１００は、改変されたＡｒｍ Ｃｏｒｔｅｘ Ｍ３３コアプロセッサを表している。処理システム１００は、命令フェッチ回路要素１０１、デコーダ１０３、計算ユニット１０７、及びレジスタ１１５を含むが、それらに限定されない。命令フェッチ回路要素１０１、デコーダ１０３、計算ユニット１０７、及びレジスタ１１５は、単一の集積回路チップに統合される場合もあれば、又は、複数の相互接続されたチップとして実装される場合もある。処理システム１００は、例えば、コンピュータビジョンシステムなどの、より大きい状況において実装され得る。
【】
命令フェッチ回路要素１０１は、関連するプログラムメモリから、命令（例えば、命令１０５）をフェッチし、そうした命令をデコーダ１０３に提供する、回路要素を表している。命令フェッチ回路要素１０１は、アドレスバス及びデータバス、命令キャッシュ、並びに制御ユニットなどの、構成要素を含み得る。命令フェッチ回路要素１０１は、シーケンシャルフェッチ回路要素、プリフェッチ回路要素、分岐予測回路要素、又はトレースキャッシュ回路要素などの、回路要素タイプを含み得る。
【】
デコーダ１０３は、符号化された入力を、読み取り可能な出力信号に変換する、多入力多出力論理回路を表している。デコーダ１０３は、ニューラルネットワークが動作を実行するための命令を送達するために、計算ユニット１０７に結合されている。一実装において、デコーダ１０３はまた、計算ユニット１０７に関連する命令を受け取るために、命令フェッチ回路要素１０１にも結合されている。動作において、デコーダ１０３は、命令フェッチ回路要素１０１から命令１０５を受け取り、命令バッファに命令１０５を格納する。次に、デコーダ１０３は、命令１０５が動作対象のデータ（例えば、オペランド）の位置を識別するために、命令１０５を復号する。一実装において、命令１０５は、命令１０５を実施するためのデータを格納している、一つ又は複数のレジスタアドレスを特定する。例えば、命令１０５を実施するために用いられるデータは、レジスタ１１５に格納され得る。代替として、命令１０５を実施するために用いられるデータは、オフチップメモリのレジスタファイルに格納されている場合もある。
【】
命令１０５はまた、データに対して実施される動作群のうちの或る動作を特定する。命令１０５は、算術論理動作、浮動小数点動作、又はニューラルネットワーク動作（例えば、畳み込み動作、バッチ正規化動作）を含む、３つのタイプの動作を表し得る。一実装において、命令１０５は、実施される動作、並びに、データを格納しているレジスタ、の双方を特定する。例えば、命令１０５は、レジスタ１１５によって格納されているデータに対してニューラルネットワーク動作を実施するために、ニューラルネットワーク動作回路要素１１３を採用する、ニューラルネットワーク命令を表し得る。より具体的には、ニューラルネットワーク命令は、動作及び対応するデータを特定し得、また、そうした動作及びデータと共に用いるためのニューラルネットワーク動作回路要素１１３のサブ回路を有効化する値のセットを特定し得る。動作群は、バッチ正規化動作及び畳み込み動作を含み得る。畳み込み動作には、行列積和（ＭＭＡ）関数を用いる、８ビット×８ビットの畳み込み動作が含まれ得る。バッチ正規化動作には、スケール関数、シフト関数、及び加算関数を用いる、バッチ正規化動作が含まれ得る。各動作は、ニューラルネットワーク動作回路要素１１３のサブ回路を用いることができる。
【】
一実装において、命令１０５によって特定されるレジスタは、入力データ、重みデータ、及び出力データを格納する、レジスタを表している。入力データは、画像データ、音響データ、振動データ、電流データ、電圧データ、又はそれらの組み合わせなどの、センサによって収集されたデータを表し得る。代替として、入力データは、センサによって収集された処理データなどの、ハードウェア及び／又はソフトウェアによって生成された計算データを表し得る。代替として、入力データは、ネットワークの前のノードによって生成された計算データを表し得る。重みデータは、ネットワークのノードによって入力データに適用される重み値を表している。出力データは、計算ユニット１０７によって生成された出力を表している。それゆえ、命令１０５は、出力データを格納するための宛先レジスタを識別する。一実装において、命令１０５によって識別されたデータは、レジスタ１１５によって格納される。別の実装において、データは、処理システム１００に関連付けられているメモリによって格納される。動作において、デコーダ１０３は、命令１０５を実施するためのデータのレジスタアドレスを識別し、そうしたデータのレジスタアドレスを、適切な計算ユニットにロードする。
【】
計算ユニット１０７は、データを処理するためにプロセッサにおいて利用可能な、計算ユニット１０７の実行回路要素を介した、様々なデータ経路を表している。計算ユニット１０７は、算術論理ユニット（ＡＬＵ）１０９、浮動小数点ユニット（ＦＰＵ）１１１、及びニューラルネットワーク動作回路要素１１３を含むが、それらに限定されない。ＡＬＵ １０９は、固定小数点数に対して算術動作及びビット動作を実行する構成要素を表している。ＡＬＵは、オペランドに対する単純な加算及び減算などの動作、並びに、ＡＮＤ及びＯＲなどの論理動作を実施するように構成されている回路要素を含む。ＦＰＵ １１１は、浮動小数点数に対して動作を遂行するように設計されている構成要素を表している。例示の動作としては、乗算、除算、及び平方根が挙げられる。最後に、ニューラルネットワーク動作回路要素１１３は、データに対してバッチ正規化動作及び畳み込み動作の双方を実行する構成要素を表している。一実施例において、いずれの動作が命令１０５によって特定されているかに基づいて、ニューラルネットワーク動作回路要素１１３の異なる要素が有効化され得る。ニューラルネットワーク動作回路要素１１３のいくつかの要素が、バッチ正規化動作及び畳み込み動作を実行するために共有され得る。
【】
一実装において、ニューラルネットワーク動作回路要素１１３は、畳み込み動作及びバッチ正規化動作（集合的にニューラルネットワーク動作と称する）を実施するように特別に設計されている回路要素を含む。例えば、ニューラルネットワーク動作回路要素１１３は、数ある回路及び構成要素の中でも特に、マルチプレクサ、乗算器回路、加算器回路、シフタ回路、符号付加回路、及びクランプ回路のうちの一つ又は複数のセットを含み得る。動作において、デコーダ１０３は、命令フェッチ回路要素１０１から、本明細書ではニューラルネットワーク命令と称する、ニューラルネットワーク動作のうちの一つに関する命令を受け取る。ニューラルネットワーク命令は、動作群（ニューラルネットワーク動作）のうちの或る動作と、動作に関するデータを格納しているレジスタアドレスと、特定された動作のうちの一つ又は複数と共に用いるためのニューラルネットワーク動作回路要素１１３のサブ回路を有効化する値のセットとを特定し得る。
【】
デコーダ１０３は、ニューラルネットワーク動作に関するデータを格納しているレジスタアドレスを決定するために、ニューラルネットワーク命令を復号する。例えば、ニューラルネットワーク命令は、ニューラルネットワーク動作に関するデータ値を格納しているレジスタを示し得る。また、ニューラルネットワーク命令は、ニューラルネットワーク動作の出力がロードされる、宛先レジスタのアドレスを示し得る。デコーダ１０３は、ニューラルネットワーク動作回路要素１１３に、デコーダ１０３によって識別されたレジスタによって格納されているデータに対して、バッチ正規化動作又は畳み込み動作のいずれかを実施させるために、識別されたレジスタアドレスをニューラルネットワーク動作回路要素１１３にロードする。
【】
ニューラルネットワーク命令が畳み込み動作を特定する例において、ニューラルネットワーク動作回路要素１１３は、ニューラルネットワーク動作回路要素１１３の畳み込みサブ回路を介して畳み込み動作を実施し、宛先レジスタに結果を出力する。同様に、ニューラルネットワーク命令がバッチ正規化動作を特定する例において、ニューラルネットワーク動作回路要素１１３は、ニューラルネットワーク動作回路要素１１３のバッチ正規化サブ回路を介してバッチ正規化動作を実施し、宛先レジスタに結果を出力する。一実装において、宛先レジスタは、レジスタ１１５内に位置している。いくつかの例において、ニューラルネットワーク動作に関連付けられた入力データを格納しているレジスタアドレス又はレジスタ位置は、３２ビットレジスタ及び６４ビットレジスタのうちの一つ又は複数、或いは、それらの組み合わせ又は変形を含み得る。また、宛先レジスタは、６４ビットレジスタを含み得る。しかしながら、他のサイズのレジスタも想到され得る。図５Ａ及び図５Ｂの動作アーキテクチャ５００は、畳み込みサブ回路及びバッチ正規化サブ回路の双方を含む、ニューラルネットワーク動作回路要素を表している。
【】
レジスタ１１５は、ニューラルネットワークの計算データを格納するために用いられるレジスタファイルを表している。レジスタ１１５の計算データは、関連するシステムによって収集された入力データ、計算ユニット１０７によって生成された出力データ、又は、ニューラルネットワークによって採用される重みデータを含み得る。
【】
動作において、デコーダ１０３は、実施される動作を決定するために、命令フェッチ回路要素１０１から命令１０５を受け取る。次に、デコーダ１０３は、データを格納しているレジスタを識別するために、命令１０５を復号する。例えば、命令１０５は、データを格納しているレジスタに関するレジスタアドレス、並びに、出力データを格納することになる宛先レジスタを識別し得る。命令１０５を復号すると、デコーダ１０３は、命令１０５の動作を実行するためのデータのレジスタアドレスを、適切な計算ユニットに通知する。算術動作に関連する命令は、ＡＬＵ １０９によって実行される。浮動小数点動作に関連する命令は、ＦＰＵ １１１によって実行される。ニューラルネットワーク動作に関連する命令は、ニューラルネットワーク動作回路要素１１３によって実行される。
【】
復号された命令を受け取ると、対応する計算ユニットは、復号された命令の動作を実施する。計算ユニット１０７の結果は、レジスタ１１５によって格納される。一実装において、計算ユニット１０７の結果は、ニューラルネットワークの次のノードへの入力を表している。別の実装において、計算ユニット１０７の結果は、ニューラルネットワークの全体的な出力を表す。
【】
図２は、図１の要素を参照する、本明細書では方法２００と称する、一実装における処理システム１００を動作させる方法を図示する。種々の例において、処理システム１００の要素が、方法２００の工程を実施し得る。したがって、方法２００は、ハードウェア、ソフトウェア、ファームウェア、或いは、それらの組み合わせ又は変形において実装され得る。
【】
動作２０５において、命令フェッチ回路要素１０１が、メモリから命令１０５をフェッチする。命令フェッチ回路要素１０１は、オンチップメモリ又はオフチップメモリから、命令１０５をフェッチし得る。種々の例において、命令１０５は、ニューラルネットワーク動作に関連するニューラルネットワーク命令を含む。ニューラルネットワーク命令は、動作群のうちの或る動作を特定し、値のセットを特定する。動作群は、畳み込み動作及びバッチ正規化動作を含み得る。値のセットは、動作が実施されるデータの位置と、そうした動作及びデータと共に用いるためのニューラルネットワーク動作回路要素１１３のサブ回路を有効化する一つ又は複数の値とを特定し得る。値のセットは、動作からの出力を格納することが可能な宛先レジスタに対応する、一つ又は複数のレジスタアドレスを更に特定し得る。
【】
動作２１０において、命令フェッチ回路要素１０１は、デコーダ１０３に命令１０５を提供する。一例において、命令１０５は、畳み込み命令が実施されることをデコーダ１０３に特定する値の第１のサブセットを含む。値の第１のサブセットは、畳み込み動作と、畳み込み動作が実施されるデータの位置と、畳み込み動作と共に用いるためのニューラルネットワーク動作回路要素１１３の畳み込みサブ回路を有効化するためのイネーブル値とを特定し得る。値の第１のサブセットに基づいて、デコーダ１０３は、動作２１５において、畳み込みサブ回路に畳み込み動作を実施させるように構成され得る。種々の例において、デコーダ１０３は、畳み込みサブ回路に、畳み込み動作を単一のサイクルで実施させ得る。畳み込み動作を実施するために、畳み込みサブ回路は、行列積和関数を用いることなどによって、データの様々な要素を畳み込む。例えば、データが、入力データ並びに重みデータを含み得ることにより、入力データは、重みデータと畳み込まれる。畳み込みサブ回路は、畳み込み動作を実施して、レジスタ１１５のうちの一つ又は複数の宛先レジスタに出力を格納するように指示され得る。一実装において、レジスタ１１５のデータは、ニューラルネットワークの次のノードへの入力を表す。別の実装において、レジスタ１１５のデータは、ニューラルネットワークの全体的な出力を表す。
【】
別の例において、命令１０５は、バッチ正規化が実施されることをデコーダ１０３に特定する値の第２のサブセットを含む。値の第２のサブセットは、バッチ正規化動作と、バッチ正規化が実施されるデータの位置（例えば、レジスタオペランド）と、バッチ正規化動作と共に用いるためのニューラルネットワーク動作回路要素１１３のバッチ正規化サブ回路を有効化するためのイネーブル値（例えば、セレクタオペランド）とを特定し得る。値の第２のサブセットに基づいて、デコーダ１０３は、動作２２０において、バッチ正規化サブ回路にバッチ正規化動作を実施させるように構成され得る。バッチ正規化サブ回路は、バッチ正規化動作を実施して、レジスタ１１５のうちの一つ又は複数の宛先レジスタに出力を格納するように指示され得る。バッチ正規化動作を実施することは、バッチ正規化サブ回路を介して、シフト関数、スケール関数、及び加算関数を実施することを含み得る。いくつかの例において、バッチ正規化動作において用いられる、データの位置、又はレジスタ位置のセットは、畳み込み動作において用いられるものと同じ位置、又は、同じ位置の少なくとも一部を含み得る。しかしながら、いくつかの例において、各動作において用いられるレジスタ位置は異なり得る。
【】
いくつかの例において、デコーダ１０３は、バッチ正規化サブ回路に、バッチ正規化動作を２サイクルで実施させ得る。第１のサイクルにおいて、デコーダ１０３は、命令１０５において特定されているイネーブル値のうちの一つに基づいて、ニューラルネットワーク動作回路要素１１３のバッチ正規化サブ回路の第１の部分を有効化し得る。第２のサイクルにおいて、デコーダ１０３は、命令１０５において特定されているイネーブル値のうちの異なる一つに基づいて、ニューラルネットワーク動作回路要素１１３のバッチ正規化サブ回路の第２の部分を有効化し得る。その結果、バッチ正規化動作を実施している間、サイクルごとに、ニューラルネットワーク動作回路要素１１３の異なる構成要素が用いられ得る。
【】
図３は、本明細書では動作環境３００と称する、一実装における動作環境を図示する。動作環境３００は、タスクを実行するためにニューラルネットワークの状況において用いられるシステムを表している。例えば、そのようなタスクには、キーワードスポッティング、音声認識、オブジェクト検出、画像分類などが含まれ得る。動作環境３００は、プログラムメモリ３０１、処理システム３０３、及びデータメモリ３２７を含む。動作環境３００は、コンピュータビジョンを利用する任意のシステムなどの、より大きい状況において実装され得る。
【】
プログラムメモリ３０１は、処理システム３０３によってアクセスされる、オンチップメモリ又はオフチップメモリを表している。この場合、プログラムメモリ３０１は、処理システム３０３のための高速アクセスメモリとして機能し、ニューラルネットワークの動作を実行するために処理システム３０３によって必要とされる命令をロードするよう命令フェッチユニット３０５に論理的に結合されている。プログラムメモリ３０１は、算術動作、浮動小数点動作、及びニューラルネットワーク動作（例えば、バッチ正規化動作、畳み込み動作）に関連する命令を格納している。例示の命令としては、算術論理命令（ＡＬＩ）、浮動小数点命令（ＦＰＩ）、及び、ニューラルネットワーク動作に関連するニューラルネットワーク命令（ＳＩ）が挙げられる。一実装において、プログラムメモリ３０１はまた、動作を実施するために必要とされるデータのレジスタアドレスも格納している。
【】
処理システム３０３は、プログラム命令を実行することが可能な中央処理装置を表している。例えば、処理システム３０３は、図１の処理システム１００を表し得る。処理システム３０３は、命令フェッチユニット３０５、デコーダ３０７、データユニット３１１、計算ユニット３１３、及びレジスタ３２５を含むが、それらに限定されない。いくつかの例において、処理システム３０３は、処理システム１００の一実装であり、命令フェッチユニット３０５は、命令フェッチ回路要素１０１と実質的に同様とし得る。デコーダ３０７は、デコーダ１０３と実質的に同様とし得る。計算ユニット３１３は、計算ユニット１０７と実質的に同様とし得る。レジスタ３２５は、レジスタ１１５と実質的に同様とし得る。処理システム３０３は、単一の処理デバイス内に実装される場合もあるが、プログラム命令を実行する際に協働する、複数の処理デバイス又はサブシステムにわたって分散される場合もある。
【】
命令フェッチユニット３０５は、プログラムメモリ３０１からデコーダ３０７に命令をロードするように構成されている回路要素を表している。動作において、命令フェッチユニット３０５は、プログラムメモリ３０１から命令をフェッチする。例えば、命令フェッチユニット３０５は、プログラムメモリ３０１から命令３０９をフェッチし得る。命令フェッチユニット３０５は、実行を開始するために、デコーダ３０７に命令３０９を送達する。
【】
デコーダ３０７は、符号化された入力を、計算ユニット３１３によって読み取り可能な出力信号に変換する論理回路を表している。一実装において、デコーダ３０７は、プログラムメモリ３０１からロードされた命令を格納するための、命令バッファを含む。例えば、デコーダ３０７は、命令フェッチユニット３０５から命令３０９を受け取ることができる。命令３０９は、ＡＬＩ、ＦＰＩ、又はＳＩのいずれかを表し得る。デコーダ３０７は、示されている動作に関して適切な計算ユニットを決定するために、命令３０９を復号する。例えば、命令３０９は、レジスタ３２５によって格納されているデータに対してニューラルネットワーク動作を実施するためにニューラルネットワーク動作回路要素３１９を採用するＳＩを表し得る。
【】
一実装において、デコーダ３０７はまた、命令３０９に関するデータの位置を決定するために、命令３０９を復号する。例えば、命令３０９は、命令３０９の動作に関するデータを格納しているレジスタ（例えば、レジスタ３２５）のアドレスを示し得る。一実装において、デコーダ３０７は、復号されたレジスタアドレスをデータユニット３１１に送る。これに応答して、データユニット３１１は、適切な計算ユニットがデータにアクセスすることを許可する。
【】
データユニット３１１は、計算ユニット３１３に対してデータを提供するように構成されている回路要素を表している。データユニット３１１は、データに関するレジスタ位置をデコーダ３０７から受け取る。これに応答して、データユニット３１１は、データが格納されている場所に応じて、レジスタ３２５又はデータメモリ３２７のいずれかからデータを取得することによって、適切な計算ユニットが、データを格納しているレジスタにアクセスして実行を開始することを許可する。
【】
データメモリ３２７は、処理システム３０３によってアクセスされる、オンチップメモリ又はオフチップメモリ（例えば、キャッシュ）を表している。この場合、データメモリ３２７は、処理システム３０３のための高速アクセスメモリとして機能し、データユニット３１１に論理的に結合されている。一実装において、データメモリ３２７は、計算ユニット３１３による動作を実施するためのデータを格納している。例えば、データメモリ３２７は、レジスタファイルを含み、レジスタファイルは、レジスタ３２５によって格納されていないデータを格納する。
【】
計算ユニット３１３は、プログラムメモリ３０１の命令を実行するために用いられる、様々なデータ経路を表している。計算ユニット３１３は、算術論理ユニット（ＡＬＵ）３１５、浮動小数点ユニット（ＦＰＵ）３１７、及びニューラルネットワーク動作回路要素３１９を含む。ＡＬＵ ３１５は、２値数に対して算術動作及びビット動作を実行する構成要素を表している。ＡＬＵ ３１５は、オペランドに対する単純な加算及び減算などの動作、並びに、ＡＮＤ及びＯＲなどの論理動作を実施するように構成されている回路要素を含む。ＦＰＵ ３１７は、浮動小数点数に対して動作を遂行するように設計されている構成要素を表している。例示の動作としては、乗算、除算、及び平方根が挙げられる。最後に、ニューラルネットワーク動作回路要素３１９は、畳み込み動作及びバッチ正規化動作などのニューラルネットワーク動作を、畳み込みサブ回路３２１及びバッチ正規化サブ回路３２３を介して実行する構成要素を表しており、畳み込みサブ回路３２１及びバッチ正規化サブ回路３２３は、それぞれ、ＳＩのオペランドに関してそれぞれのニューラルネットワーク動作を実施するように構成されている。畳み込み動作は、行列積和（ＭＭＡ）関数を用いる、８ビット×８ビットの畳み込み動作を含み得る。バッチ正規化動作は、スケール関数、シフト関数、及び加算関数を用いるバッチ正規化動作を含み得る。各動作は、ニューラルネットワーク動作回路要素３１９のサブ回路を用いることができる。一実施例において、いずれの動作が命令３０９によって特定されているかに基づいて、ニューラルネットワーク動作回路要素３１９の異なる要素が有効化され得る。ニューラルネットワーク動作回路要素３１９のいくつかの要素が、バッチ正規化動作及び畳み込み動作を実行するために共有され得る。
【】
一実装において、ニューラルネットワーク動作回路要素３１９は、図５Ａ及び図５Ｂの動作アーキテクチャ５００が表している、畳み込みサブ回路３２１及びバッチ正規化サブ回路３２３を含む。
【】
レジスタ３２５は、ニューラルネットワークの計算データを格納するレジスタファイルを表す。レジスタ３２５の計算データは、関連するシステムによって収集された入力データ、計算ユニット３１３によって生成された出力データ、又は、ニューラルネットワークによって採用される重みデータを含み得る。
【】
図４は、本明細書では動作シーケンス４００と称する、ニューラルネットワーク命令からの様々なニューラルネットワーク動作を実行するための、動作シーケンスを図示する。動作シーケンス４００は、ニューラルネットワークに関連する命令を、動作環境３００の構成要素がどのように実行するかを示している。動作シーケンス４００は、メモリ３０１、命令フェッチユニット３０５、デコーダ３０７、及びニューラルネットワーク動作回路要素３１９を含む。
【】
動作において、命令フェッチユニット３０５は、メモリ３０１からプログラム命令をフェッチし、命令をデコーダ３０７に送達する。デコーダ３０７は、命令を受け取り、命令のオペランド及びコード（例えば、動作、レジスタオペランド、セレクタオペランド、オペコード）を復号して、命令を実行するための適切な計算ユニットを識別し、命令において特定されている、動作及び対応するデータに関するレジスタの位置を識別する。プログラム命令は、ニューラルネットワーク動作の実行に関連するニューラルネットワーク命令を含み得る。ニューラルネットワーク命令は、ニューラルネットワーク動作群のうちの或るニューラルネットワーク動作を特定し得、また、そうしたニューラルネットワーク動作を或る計算ユニット又はそのサブ回路が実施することを可能にする値のセットを特定し得る。
【】
第１の例において、ニューラルネットワーク命令は、畳み込み動作と、値のセットとを特定し、値のセットは、ニューラルネットワーク回路要素３１９の畳み込みサブ回路を有効化し、畳み込み動作と共に用いるためのデータを保持している一つ又は複数のレジスタを識別する。ニューラルネットワーク命令を復号すると、デコーダ３０７は、ニューラルネットワーク回路要素３１９の畳み込みサブ回路３２１を有効化し、畳み込みサブ回路３２１にレジスタ位置を供給する。レジスタ３２５からのデータ（例えば、畳み込みデータ、重みデータ）にアクセスすると、畳み込みサブ回路３２１は、畳み込み動作を実施して、一つ又は複数の出力を生成し、畳み込みサブ回路３２１は、そうした出力を、格納するためにレジスタ３２５のうちの宛先レジスタに提供することができる。
【】
第２の例において、ニューラルネットワーク命令は、バッチ正規化動作と、値のセットとを特定し、値のセットは、ニューラルネットワーク回路要素３１９のバッチ正規化サブ回路を有効化し、バッチ正規化動作と共に用いるためのデータを保持している一つ又は複数のレジスタを識別する。ニューラルネットワーク命令を復号すると、デコーダ３０７は、ニューラルネットワーク回路要素３１９のバッチ正規化サブ回路３２３を有効化し、バッチ正規化サブ回路３２３にレジスタ位置を供給する。レジスタ３２５からのデータ（例えば、バッチ正規化データ、重みデータ）にアクセスすると、バッチ正規化サブ回路３２３は、バッチ正規化動作を実施して、一つ又は複数の出力を生成し、バッチ正規化サブ回路３２３は、そうした出力を、格納するためにレジスタ３２５のうちの宛先レジスタに提供することができる。
【】
図５Ａ及び図５Ｂは、一実装における動作アーキテクチャを図示する。図５Ａ及び図５Ｂは、図１のニューラルネットワーク回路要素１１３及び図３のニューラルネットワーク回路要素３１９などのニューラルネットワーク動作回路要素を表す、動作アーキテクチャ５００を示している。
【】
動作アーキテクチャ５００は、データ入力及びイネーブル入力に基づいて、畳み込み動作及びバッチ正規化動作を実施することが可能な、複数の構成要素を含む。動作、データ入力（又は、そのレジスタ位置）、及びイネーブル入力のうちの一つの指標が、ニューラルネットワーク命令によって特定され得る。ニューラルネットワーク命令は、命令フェッチ回路要素（例えば、図１の命令フェッチ回路要素１０１、図３の命令フェッチユニット３０５）によってデコーダ（例えば、図１のデコーダ１０３、図３のデコーダ３０７）に提供され得、デコーダによって復号され得、動作アーキテクチャ５００の適切な構成要素（例えば、図３の畳み込みサブ回路３２１及び／又はバッチ正規化サブ回路３２３）に提供され得る。
【】
動作アーキテクチャ５００は、マルチプレクサ５２０、５２１、５２２、５２３、５２４、５２５、５２７、５２９、５３１、５４１、５４２、５４３、５４４、５４５、５５５、及び５５６（集合的に「マルチプレクサ」）、乗算器５２６、５２８、５３０、及び５３２（集合的に「乗算器」）、シフタ５３３、５３４、５３７、５３８、５３９、及び５４０（集合的に「シフタ」）、加算器５３５及び５３６（集合的に「加算器」）、符号付加回路５４６、５４７、５４８、及び５４９（集合的に「符号付加回路」）、フリップフロップ回路５５４、並びに、クランプ回路５５０、５５１、５５２、及び５５３（集合的に「クランプ回路」）を含む。そのような構成要素に提供されるデータ入力は、畳み込み重み５０１、バッチ正規化データ５０２及び５０３、畳み込みデータ５０４、スケール入力５０５、シフト入力５０６、入力データ５０７、クランプ入力５０８、及び入力データ５０９を含む。そのような構成要素に提供されるイネーブル入力又は選択入力は、選択入力５１０、５１１、５１２、５１３、５１４、及び５１５を含む。ニューラルネットワーク動作を実施すると、動作アーキテクチャ５００の構成要素は、出力５１７、５１８－１、及び５１８－２（集合的に出力５１８と称する）を生成し得、こうした出力は、ニューラルネットワークの別のノードへの入力又はデータ、或いは、ニューラルネットワーク動作の後続のサイクルにおいて動作アーキテクチャ５００の構成要素に供給することが可能な入力又はデータを表し得る。
【】
マルチプレクサは、複数のデータ入力と、選択入力とを受信し、選択入力に基づいて、データ入力のうちの一つを含む出力を提供するように構成されている回路を表し得る。乗算器は、データ入力を掛け合わせて出力を生成するように構成されている回路を表し得る。シフタは、データ（入力及び／又は出力）のビットを左にシフトする（すなわち、乗算する）か、又は右にシフトする（すなわち、除算する）ように構成されている回路を表し得る。一例において、ビットを左にシフトするシフタは、最上位ビットをシフトし得る。加算器は、データ入力を合算して出力を生成するように構成されている回路を表し得る。符号付加回路は、符号の付加を実施するように構成されている回路を表し得る。フリップフロップ回路は、入力の値を格納するように構成されている、一つ又は複数のフリップフロップ又はラッチを表し得る。クランプ回路は、データに飽和論理動作を実施してデータをクランプし、出力を提供する（すなわち、最大閾値と最小閾値との間で比較し、入力が範囲外である場合、最小値／最大値に飽和させる）ように構成されている回路を表し得る。一実施例において、こうした回路の各々のうちのいくつかが、畳み込み動作を実施するために有効化されて用いられ得る一方、こうした回路の各々のうちのいくつかが、バッチ正規化動作を実施するために有効化されて用いられ得る。畳み込み動作に関して用いられる回路は、畳み込みサブ回路と称する場合があり、バッチ正規化動作に関して用いられる回路は、バッチ正規化サブ回路と称する場合がある。畳み込みサブ回路とバッチ正規化サブ回路との間で、回路が重複する場合がある。言い換えると、畳み込み動作に関して用いられるいくつかの回路はまた、バッチ正規化動作に関して用いられる場合があり、逆もまた同様であり、このことにより、有利にも、双方のタイプのニューラルネットワーク動作を実施するために別個の回路要素を含む解決策と比較して、より少ない構成要素が利用され得るため、設計面積要件及びコストを低減し得る。
【】
畳み込み重み５０１は、Ｗ［０］、Ｗ［１］、Ｗ［２］、及びＷ［３］によって示される４つの重みを含み得、各重みが８ビットを含む。バッチ正規化データ５０２及び５０３は各々、それぞれ、ＹＬ［０］、ＹＨ［０］、ＹＬ［１］、及びＹＨ［１］と、ＹＬ［２］、ＹＨ［２］、ＹＬ［３］、及びＹＨ［３］とによって示される、４つのデータ入力を含み得、各データ入力が８ビットの値を含み得る。畳み込みデータ５０４は、Ｘ［０］、Ｘ［１］、Ｘ［２］、及びＸ［３］によって示される、４つのデータ入力を含み得、各データ入力が８ビットの値を含む。スケール入力５０５は、Ｓｃａｌｅ［０］、Ｓｃａｌｅ［１］、Ｓｃａｌｅ［２］、及びＳｃａｌｅ［３］によって示される、４つのスケール入力を含み得、各スケール入力が８ビットの値を含む。シフト入力５０６は、Ｓｈｉｆｔ［０］、Ｓｈｉｆｔ［１］、Ｓｈｉｆｔ［２］、及びＳｈｉｆｔ［３］によって示される、４つのシフト入力を含み得、各シフト入力が５ビットの値を含む。入力データ５０７は、Ｙｉｎ［３：０］によって示される入力を含み得、入力が４ビットの値を含む。クランプ入力５０８は、Ｃｌａｍｐ Ｌｏｗ及びＣｌａｍｐ Ｈｉｇｈによって示される、２つのクランプ入力を含み得る。入力データ５０９は、Ｙ’［］によって示される入力を含み得、入力が８ビットの値を含む。選択入力の各々は、「０」又は「１」を含み得、動作アーキテクチャ５００の構成要素の動作を制御することができる。出力５１７は、ＹＬ［０］、ＹＨ［０］、ＹＬ［１］、及びＹＨ［１］によって示される、４つのデータ出力を含み得、各データ出力が８ビットの値を含み得る。出力５１８－１及び５１８－２は各々、それぞれ、Ｙ［０］及びＹ［１］と、Ｙ［２］及びＹ［３］とによって示される、２つのデータ出力を含み得、各データ出力が１６ビットの値を含み得る。
【】
種々の実施例において、マルチプレクサ５２０は、畳み込み重み５０１、バッチ正規化データ５０２、及び選択入力５１０を受信し、選択入力５１０の値（例えば、０、１）に基づいて、畳み込み重み５０１又はバッチ正規化データ５０２のいずれかの値を含む値を、マルチプレクサ５２１、５２２、５２３、及び５２４に出力するように構成され得る。マルチプレクサ５２１、５２２、５２３、及び５２４は、バッチ正規化データ５０３と、（選択入力５１０に基づく）畳み込み重み５０１又はバッチ正規化データ５０２のうちの一つと、選択入力５１１とを受信するように構成され得る。より具体的には、マルチプレクサ５２１は、バッチ正規化データ５０３のＹＨ［３］と、ＹＨ［１］又はＷ［３］のいずれかとを受信し得、マルチプレクサ５２２は、バッチ正規化データ５０３のＹＬ［３］と、ＹＬ［１］又はＷ［２］のいずれかとを受信し得、マルチプレクサ５２３は、バッチ正規化データ５０３のＹＨ［２］と、ＹＨ［０］又はＷ［１］のいずれかとを受信し得、マルチプレクサ５２４は、バッチ正規化データ５０３のＹＬ［２］と、ＹＬ［０］又はＷ［０］のいずれかとを受信し得る。マルチプレクサ５２１、５２２、５２３、及び５２４は、選択入力５１１に基づいて、畳み込み重み５０１、バッチ正規化データ５０２、又はバッチ正規化データ５０３の値を含む値を、それぞれ、乗算器５２６、５２８、５３０、及び５３２に出力することができる。行列積和（ＭＭＡ）動作（例えば、畳み込み動作）の場合、マルチプレクサ５２１、５２２、５２３、及び５２４は、下記で更に説明されるように、それぞれ、Ｗ［３］、Ｗ［２］、Ｗ［１］、及びＷ［０］を出力する。バッチ正規化動作の場合、マルチプレクサ５２１、５２２、５２３、及び５２４は、下記で更に説明されるように、第１の実行サイクルの間に、それぞれ、ＹＨ［１］、ＹＬ［１］、ＹＨ［０］、及びＹＬ［０］を出力し、第２の実行サイクルの間に、それぞれ、ＹＨ［３］、ＹＬ［３］、ＹＨ［２］、及びＹＬ［２］を出力する。
【】
マルチプレクサ５２５、５２７、５２９、及び５３１もまた、選択入力５１１に基づいて、それぞれ、乗算器５２６、５２８、５３０、及び５３２に出力を提供するように結合され得る。マルチプレクサ５２５、５２７、５２９、及び５３１は、畳み込みデータ５０４、スケール入力５０５、及び選択入力５１１を受信するように構成され得る。マルチプレクサ５２５、５２７、５２９、及び５３１は、選択入力５１１に基づいて、畳み込みデータ５０４又はスケール入力５０５の値を含む値を、乗算器５２６、５２８、５３０、及び５３２に出力することができる。
【】
より具体的には、マルチプレクサ５２５は、Ｘ［３］又はＳｃａｌｅ［３］と、Ｘ［１］又はＳｃａｌｅ［１］とを受信し得、マルチプレクサ５２７は、Ｘ［３］又はＳｃａｌｅ［３］と、Ｘ［１］又はＳｃａｌｅ［１］とを受信し得、マルチプレクサ５２９は、Ｘ［２］又はＳｃａｌｅ［２］と、Ｘ［０］又はＳｃａｌｅ［０］とを受信し得、マルチプレクサ５３１は、Ｘ［２］又はＳｃａｌｅ［２］と、Ｘ［０］又はＳｃａｌｅ［０］とを受信し得る。ＭＭＡ動作の場合、マルチプレクサ５２５、５２７、５２９、及び５３１は、下記で更に説明されるように、それぞれ、Ｘ［３］、Ｘ［１］、Ｘ［２］、及びＸ［０］を出力する。バッチ正規化動作の場合、マルチプレクサ５２５、５２７、５２９、及び５３１は、下記で更に説明されるように、第１の実行サイクルの間に、それぞれ、Ｓｃａｌｅ［３］、Ｓｃａｌｅ［３］、Ｓｃａｌｅ［２］、及びＳｃａｌｅ［２］を出力し、第２の実行サイクルの間に、それぞれ、Ｓｃａｌｅ［１］、Ｓｃａｌｅ［１］、Ｓｃａｌｅ［０］、及びＳｃａｌｅ［０］を出力する。乗算器５２６、５２８、５３０、及び５３２は、受信された入力を掛け合わせて、各々が出力を生成することができる。乗算器５２６は、シフタ５３３に出力を提供するように結合され得、乗算器５２８は、加算器５３５に出力を提供するように結合され得、乗算器５３０は、シフタ５３４に出力を提供するように結合され得、乗算器５３２は、加算器５３６に出力を提供するように結合され得る。
【】
加算器５３５は、シフタ５３７及び５３９に出力を提供するように結合され得、加算器５３６は、シフタ５３８及び５４０に出力を提供するように結合され得る。シフタ５３７、５３８、５３９、及び５４０はまた、シフト入力５０６のうちの一つを受信するように結合され得る。具体的には、シフタ５３７は、Ｓｈｉｆｔ［３］を受信するように結合され得、シフタ５３８は、Ｓｈｉｆｔ［２］を受信するように結合され得、シフタ５３９は、Ｓｈｉｆｔ［１］を受信するように結合され得、シフタ５４０は、Ｓｈｉｆｔ［０］を受信するように結合され得る。バッチ正規化動作の間などに、シフト動作を実施すると、シフタ５３７、５３８、５３９、及び５４０は、それぞれ、マルチプレクサ５４１、５４２、５４３、及び５４４に出力を提供するように結合され得る。
【】
マルチプレクサ５４１、５４２、５４３、及び５４４はまた、入力データ５０７及び選択入力５１２を受信するように構成され得る。マルチプレクサ５４１、５４２、５４３、及び５４４は、選択入力５１２に基づいて、それぞれ、符号付加回路５４６、５４７、５４８、及び５４９に出力を提供するように構成することができる。符号付加回路５４６、５４７、５４８、及び５４９は、選択入力５１４に基づいて、受信された出力に対して符号付加動作を実施するように構成され得る。符号付加回路５４６、５４７、５４８、及び５４９は各々、マルチプレクサ５４５から選択入力５１４を受信し得る。マルチプレクサ５４５は、入力データ５０９、入力データ５１６、及び選択入力５１３を受信し、選択入力５１３に基づいて、入力データ５０９又は入力データ５１６のいずれかの値を含む、選択入力５１４を出力するように構成され得る。符号付加回路５４６、５４７、５４８、及び５４９は、それぞれ、クランプ回路５５０、５５１、５５２、及び５５３に出力を提供するように結合され得る。
【】
クランプ回路５５０、５５１、５５２、及び５５３は、符号付加回路５４６、５４７、５４８、及び５４９からの出力と、クランプ入力５０８とを受信し、入力に対してクランプ動作又は飽和動作を実施して、出力を生成するように構成され得る。クランプ回路５５０は、出力５１７の第１の出力（ＹＨ［１］）を提供するように結合され得、クランプ回路５５１は、出力５１７の第２の出力（ＹＬ［１］）を提供するように結合され得、クランプ回路５５２は、マルチプレクサ５５５とフリップフロップ回路５５４とに第３の出力（ＹＨ［０］）を提供するように結合され得、クランプ回路５５３は、マルチプレクサ５５６とフリップフロップ回路５５４とに第４の出力（ＹＬ［０］）を提供するように結合され得る。フリップフロップ回路５５４は、例えば、バッチ正規化動作の間に、一つのサイクルの間の出力値を、別のサイクルにおいて用いるために格納するように構成され得る。フリップフロップ回路５５４は、格納されていた値を、マルチプレクサ５５５及び５５６に提供することができる。マルチプレクサ５５５及び５５６は、格納されていた値と選択入力５１５とを受信し、選択入力５１５に基づいて、それぞれ、ＹＨ［０］及びＹＬ［０］に対する値を出力するように構成され得る。しかしながら、畳み込み動作の間などのいくつかの例において、クランプ回路５５０、５５１、５５２、及び５５３は、出力５１８－１及び５１８－２を提供し得る。
【】
動作において、デコーダによって畳み込み動作を実施させられるとき、マルチプレクサ５２０は、「０」の値を有する選択入力５１０を受信し得、選択入力５１０は、マルチプレクサ５２０に、マルチプレクサ５２１、５２２、５２３、及び５２４へ畳み込み重み５０１を出力させ得る。マルチプレクサ５２１、５２２、５２３、及び５２４は、「０」の値を有する選択入力５１１を受信し得、選択入力５１１は、マルチプレクサ５２１、５２２、５２３、及び５２４に、乗算器５２６、５２８、５３０、及び５３２へ畳み込み重み５０１を出力させ得る。また、マルチプレクサ５２５、５２７、５２９、及び５３１（５２６、５２８、５３０、及び５３２？）は、「０」の値を有する選択入力５１１を受信し得、選択入力５１１は、マルチプレクサ５２５、５２７、５２９、及び５３１に、畳み込み重み５０１を、畳み込みデータ５０４と乗算させ得る。一実施例において、畳み込み動作を実施させられるとき、シフタ５３７、５３８、５３９、及び５４０は無効化され得、又は言い換えると、加算器５３５及び５３６によって提供される入力に対してシフト動作を実施し得ない。マルチプレクサ５４１、５４２、５４３、及び５４４は、「１」の値を有する選択入力５１２を受信し得、選択入力５１２は、マルチプレクサ５４１、５４２、５４３、及び５４４に、符号付加回路５４６、５４７、５４８、及び５４９へ入力データ５０７を出力させ得る。符号付加回路５４６、５４７、５４８、及び５４９は、「１」の値を有する選択入力５１３に基づいて、入力データ５０９の値を有する選択入力５１４を受信し得る。一実施例において、８×８畳み込み動作を実施させられる場合、クランプ回路５５０、５５１、５５２、及び５５３、並びに、フリップフロップ回路５５４、マルチプレクサ５５５、及びマルチプレクサ５５６は、無効化され得るか、又は他の方式でバイパスされ得る。したがって、符号付加回路５４６、５４７、５４８、及び５４９が、８ビットの値を含む出力５１７を提供し得る。一実施例において、１６×８畳み込み動作を実施させられる場合、クランプ回路５５０、５５１、５５２、及び５５３は、各々が１６ビットの値を含む、出力５１８－１及び５１８－２を生成するように有効化され得る。
【】
動作において、デコーダによってバッチ正規化動作を実施させられる場合、マルチプレクサ５２０は、「１」の値を有する選択入力５１０を受信し得、選択入力５１０は、マルチプレクサ５２０に、マルチプレクサ５２１、５２２、５２３、及び５２４へバッチ正規化データ５０２を出力させ得る。マルチプレクサ５２１、５２２、５２３、及び５２４は、「１」の値を有する選択入力５１１を受信し得、選択入力５１１は、マルチプレクサ５２１、５２２、５２３、及び５２４に、乗算器５２６、５２８、５３０、及び５３２へ、第１のサイクルの間に、バッチ正規化データ５０２を出力させ、第２のサイクルにおいて、バッチ正規化データ５０３を出力させ得る。また、マルチプレクサ５２５、５２７、５２９、及び５３１は、「１」の値を有する選択入力５１１を受信し得、選択入力５１１は、マルチプレクサ５２５、５２７、５２９、及び５３１に、第１のサイクルの間に、バッチ正規化データ５０２をスケール入力５０５と乗算させ、第２のサイクルの間に、バッチ正規化データ５０３をスケール入力５０５と乗算させ得る。バッチ正規化動作の間に、シフタ５３３及び５３４は、それぞれ、乗算器５２６及び５３０によって出力された値を、８ビット左にシフトするように構成され得る。しかしながら、他の値のシフトも想到され得る。シフタ５３７、５３８、５３９、及び５４０は、シフト入力５０６に基づいて、更なるシフトを実施し得る。マルチプレクサ５４１、５４２、５４３、及び５４４は、「０」の値を有する選択入力５１２を受信し得、選択入力５１２は、マルチプレクサ５４１、５４２、５４３、及び５４４に、それぞれ、シフトされた値を符号付加回路５４６、５４７、５４８、及び５４９に出力させ得る。マルチプレクサ５４５は、「０」の値を有する選択入力５１３を受信し得、選択入力５１３は、マルチプレクサ５４５に、入力データ５１６の値（「０」）を、符号付加回路５４６、５４７、５４８、及び５４９に出力させ得る。次に、バッチ正規化動作の第１のサイクルの間に、フリップフロップ回路５５４は、クランプ回路５５２及び５５３からの出力（それぞれ、ＹＬ［０］及びＹＬ［１］）を格納し得、そうした出力をマルチプレクサ５５５及び５５６に提供し得る。マルチプレクサ５５５及び５５６は、「１」の値を有する選択入力５１５を受信し得、選択入力５１５は、マルチプレクサ５５５及び５５６に、出力５１７を出力させ得る。
【】
したがって、動作アーキテクチャ５００の様々な要素が、ニューラルネットワーク命令と、いずれの動作及び値のセットがニューラルネットワーク命令によって特定されているかとに基づいて、無効化又は有効化され得ることになる。動作アーキテクチャ５００を用いて畳み込み動作及びバッチ正規化動作を実施するための、要素の他の変形又は組み合わせが想到され得る。
【】
前述の実装は、組み込みコンピューティングデバイス、産業用コンピュータ、パーソナルコンピュータ、サーバコンピュータ、オートモーティブコンピュータ、ＭＣＵなどを含むがそれらに限定されない、様々なコンピューティングデバイスの状況において実装され得る。それゆえ、本明細書で開示される技術はまた、本明細書で開示されるようなニューラルネットワーク命令を生成することが可能なコンパイラによって生成されるソフトウェア製品も想到している。すなわち、本明細書で開示される技術は、ニューラルネットワーク動作に関連するニューラルネットワーク命令を、そのプログラム命令の中に有する、コンパイル済みソフトウェアプログラムを含む。図６は、そのようなコンピュータを表しているコンピューティングデバイス６０１を図示する。
【】
コンピューティングデバイス６０１は、単一の装置、システム、又はデバイスとして実装される場合もあれば、或いは、複数の装置、システム、又はデバイスとして分散されて実装される場合もある。コンピューティングデバイス６０１は、処理システム６０２、ストレージシステム６０３、ソフトウェア６０５、通信インタフェースシステム６０７、及びユーザインタフェースシステム６０９（任意選択）を含むが、それらに限定されない。処理システム６０２は、ストレージシステム６０３、通信インタフェースシステム６０７、及びユーザインタフェースシステム６０９に動作可能に結合されている。
【】
処理システム６０２は、ストレージシステム６０３からソフトウェア６０５をロードして実行する。ソフトウェア６０５は、ニューラルネットワーク命令６０８を含む、プログラム命令６０６を含む。処理システム６０２によって実行されると、ソフトウェア６０５は、処理システム６０２に、少なくとも、前述の実装において説明された種々のプロセス、動作シナリオ、及びシーケンスに関して、本明細書で説明したように動作するように指示する。コンピューティングデバイス６０１は、簡潔化の目的ために説明されていない、付加的なデバイス、特徴、又は機能を、任意選択で含み得る。
【】
図６を更に参照すると、処理システム６０２は、マイクロプロセッサと、ストレージシステム６０３からソフトウェア６０５を取り出して実行する、ニューラルネットワーク動作回路要素６１１などの他の回路要素とを含み得る。処理システム６０２は、単一の処理デバイス内に実装される場合もあるが、プログラム命令を実行する際に協働する、複数の処理デバイス又はサブシステムにわたって分散される場合もある。処理システム６０２の例としては、一つ又は複数の汎用中央処理装置、グラフィックス処理装置、マイクロプロセッサ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、特定用途向けプロセッサ、処理回路要素、アナログ回路要素、デジタル回路要素、及び論理デバイス、並びに、任意の他のタイプの処理デバイス、それらの組み合わせ、又は変形が挙げられる。
【】
ストレージシステム６０３は、処理システム６０２によって読み取り可能であり、ソフトウェア６０５を格納することが可能な、任意のコンピュータ可読ストレージ媒体を含み得る。ストレージシステム６０３は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を格納するための、任意の方法又は技術で実装されている、揮発性及び不揮発性の、取り外し可能及び取り外し不可能な媒体を含み得る。ストレージ媒体の例としては、ランダムアクセスメモリ、読み出し専用メモリ、磁気ディスク、光ディスク、フラッシュメモリ、仮想メモリ及び非仮想メモリ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、或いは、任意の他の適切なストレージ媒体が挙げられる。いかなる場合においても、コンピュータ可読ストレージ媒体は伝搬信号ではない。
【】
コンピュータ可読ストレージ媒体に加えて、いくつかの実装において、ストレージシステム６０３はまた、コンピュータ可読通信媒体も含む場合があり、そうしたコンピュータ可読通信媒体を介して、ソフトウェア６０５の少なくとも一部が、内部又は外部に通信され得る。ストレージシステム６０３は、単一のストレージデバイスとして実装される場合もあるが、互いに共置されているか又は分散されている、複数のストレージデバイス又はサブシステムにわたって実装される場合もある。ストレージシステム６０３は、処理システム６０２又は場合によっては他のシステムと通信することが可能な、コントローラなどの付加的な要素を含み得る。
【】
ソフトウェア６０５は、プログラム命令６０６において実装されており、数ある機能の中でも特に、処理システム６０２によって実行されると、処理システム６０２に、本明細書で示されている種々の動作シナリオ、シーケンス、及びプロセスに関して説明したように動作するように指示し得る。特に、プログラム命令は、本明細書で説明されている種々のプロセス及び動作シナリオを遂行するために協働するか又は他の方式で相互作用する、種々の構成要素又はモジュールを含み得る。種々の構成要素又はモジュールは、コンパイル済み又は解釈済みの命令、或いは、命令の何らかの他の変形又は組み合わせにおいて具現化され得る。種々の構成要素又はモジュールは、同期して又は非同期で、直列又は並列に、単一スレッド環境又はマルチスレッド環境において、或いは、任意の他の適切な実行パラダイム、変形、又はそれらの組み合わせに従って、実行され得る。ソフトウェア６０５は、オペレーティングシステムソフトウェア、仮想化ソフトウェア、又は他のアプリケーションソフトウェアなどの、付加的なプロセス、プログラム、又は構成要素を含み得る。ソフトウェア６０５はまた、ファームウェア、又は、処理システム６０２によって実行可能な何らかの他の形態の機械可読処理命令を含み得る。
【】
概して、ソフトウェア６０５は、処理システム６０２にロードされて実行されると、適切な装置、システム、又はデバイス（コンピューティングデバイス６０１が表しているもの）全体を、汎用コンピューティングシステムから、バッチ正規化動作及び畳み込み動作などのニューラルネットワーク動作をサポートするようにカスタマイズされた特殊目的コンピューティングシステムへと変換し得る。実際に、ストレージシステム６０３上の符号化ソフトウェア６０５（及び、ニューラルネットワーク命令６０８）は、ストレージシステム６０３の物理的構造を変換し得る。物理的構造の具体的な変換は、本記載の様々な実装における種々の要因に依存し得る。そのような要因の例としては、ストレージシステム６０３のストレージ媒体を実装するために用いられる技術、及び、コンピュータストレージ媒体が一次又は二次のいずれとして特徴付けられるかなどを挙げることができるが、それらに限定されない。
【】
例えば、コンピュータ可読ストレージ媒体が、半導体ベースのメモリとして実装されている場合、ソフトウェア６０５は、そうしたメモリ内にプログラム命令が符号化されるときに、半導体メモリを構成しているトランジスタ、コンデンサ、又は他の個別回路素子の状態を変換することなどによって、半導体メモリの物理的状態を変換し得る。同様の変換が、磁気媒体又は光媒体に関しても成され得る。本記載の範囲から逸脱することなく、物理媒体の他の変換が可能であり、前述の例は、本論考を容易にするためにのみ提供されている。
【】
通信インタフェースシステム６０７は、通信ネットワーク（図示せず）を介して他のコンピューティングシステム（図示せず）との通信を可能にする、通信接続及び通信デバイスを含み得る。システム間通信を共に可能にする接続及びデバイスの例としては、ネットワークインタフェースカード、アンテナ、電力増幅器、ＲＦ回路要素、トランシーバ、及び他の通信回路要素を挙げることができる。接続及びデバイスは、金属、ガラス、空気、又は任意の他の適切な通信媒体などの、他のコンピューティングシステム又はシステムのネットワークと通信を交換するための通信媒体を介して、通信し得る。上述の媒体、接続、及びデバイスは周知であり、ここで詳細に論じる必要はない。
【】
コンピューティングデバイス６０１と他のコンピューティングシステム（図示せず）との間の通信は、通信ネットワーク又は複数の通信ネットワークを介して、種々の通信プロトコル、プロトコルの組み合わせ、又はそれらの変形に従って行われ得る。例としては、イントラネット、インターネット（internet）、インターネット（the Internet）、ローカルエリアネットワーク、ワイドエリアネットワーク、無線ネットワーク、有線ネットワーク、仮想ネットワーク、ソフトウェア定義ネットワーク、データセンタバス及びバックプレーン、或いは、任意の他のタイプのネットワーク、ネットワークの組み合わせ、又はそれらの変形が挙げられる。上述の通信ネットワーク及びプロトコルは周知であり、ここで詳細に論じる必要はない。
【】
本発明の諸態様は、システム、方法、又はコンピュータプログラム製品として具現化され得る。したがって、本発明の諸態様は、完全にハードウェアによる実装、完全にソフトウェアによる実装（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、或いは、本明細書では総じて「回路」、「モジュール」、又は「システム」と称する場合がある、ソフトウェア態様とハードウェア態様とを組み合わせた実装の形態を取り得る。また、本発明の諸態様は、コンピュータ可読プログラムコードが具現化されている一つ又は複数のコンピュータ可読媒体において具現化された、コンピュータプログラム製品の形態を取り得る。
【】
実際に、含まれている説明及び図は、どのようにして最良のモードを作製して用いるかを当業者に教示するための具体的な実装を示すものである。発明の原理を教示する目的のために、いくつかの従来の態様は、簡略化又は省略されている。当業者には、本開示の範囲内に含まれる、こうした実装からの変形が理解されるであろう。当業者にはまた、複数の実装を形成するために、上述の特徴が種々の方式で組み合わされ得ることも理解されるであろう。結果として、本発明は、上述の特定の実装に限定されるものではなく、特許請求の範囲及びその等価物によってのみ限定される。
【】
の説明及び関連する図は、本発明の最良のモードを教示する。下記の特許請求の範囲は、本発明の範囲を特定する。最良のモードのいくつかの態様は、特許請求の範囲によって特定されるような本発明の範囲内には含まれない場合がある点に留意されたい。当業者には、本発明の複数の変形を形成するために、上述の特徴を種々の方式で組み合わせることができる点が理解されるであろう。このように、本発明は、上述の特定の実施例に限定されるものではなく、以下の特許請求の範囲及びその等価物によってのみ限定される。

【図】
【図】
【図】
【図】
【図】
【図】
【図】
【国際調査報告】

［広告欄］

ログインすれば広告は減ります

ログインすれば広告は減ります

Copyright © Science Impact Inc. All Rights Reserved.