知財求人 - 知財ポータルサイト「IP Force」
特表2022-538750ニューラルネットワークのためのカウンタベースの乗算累算回路
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-06
(54)【発明の名称】ニューラルネットワークのためのカウンタベースの乗算累算回路
(51)【国際特許分類】
G06N 3/063 20060101AFI20220830BHJP
【ＦＩ】
G06N3/063
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021571013
(86)(22)【出願日】2020-06-19
(85)【翻訳文提出日】2022-01-24
(86)【国際出願番号】 US2020038782
(87)【国際公開番号】W WO2021003032
(87)【国際公開日】2021-01-07
(31)【優先権主張番号】16/460,719
(32)【優先日】2019-07-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】ライ， リャンジェン
(72)【発明者】
【氏名】チャン， ピアス イ－ジェン
(57)【要約】
本明細書の開示は、ニューラルネットワークの計算効率を改善するシステム、方法、および、デバイスを含む。一態様では、加算器回路類は、ニューラルネットワークの処理からの入力データとニューラルネットワークのための累算データの第１の数のビットとを加算して合計データを生成するように構成される。一態様では、マルチプレクサは、ｉ）累算データの第２の数のビットと、ｉｉ）所定の値だけインクリメントされた累算データの第２の数のビットを含むインクリメントされたデータとの間で、加算器回路類からの加算のキャリー値にしたがって選択を行うように構成される。累算データの第２の数のビット、または、インクリメントされたデータのうちの選択された１つが付加される合計データは、付加されたデータを形成し得る。
【選択図】図３Ａ
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
ニューラルネットワークのための乗算累算回路であって、前記ニューラルネットワークの処理からの入力データと、前記ニューラルネットワークのための累算データの第１の数のビットとを加算することによって合計データを生成するように構成された加算器回路類と、
ｉ）前記累算データの第２の数のビットと、ｉｉ）所定の値だけインクリメントされた前記累算データの前記第２の数のビットを含むインクリメントされたデータとの間で、前記加算器回路類による前記加算のキャリー値にしたがって選択を行うように構成されたマルチプレクサであって、前記累算データの前記第２の数のビットまたは前記インクリメントされたデータのうちの選択された１つが付加された前記合計データは、付加されたデータを形成する、マルチプレクサとを備える、乗算累算回路。
【請求項2】
前記マルチプレクサは、前記加算の前記キャリー値がゼロであることに応答して、前記累算データの前記第２の数のビットを選択するように構成される、請求項１に記載の乗算累算回路。
【請求項3】
前記マルチプレクサは、前記加算の前記キャリー値が１であることに応答して、前記インクリメントされたデータを選択するように構成される、請求項１または２に記載の乗算累算回路。
【請求項4】
前記加算器回路類は、前記付加されたデータの前記第１の数のビットを次のクロックサイクルの間の前記加算器回路類の入力に提供するように設定される、請求項１から３のいずれか一項に記載の乗算累算回路。
【請求項5】
前記マルチプレクサは、前記付加されたデータの前記第２の数のビットを次のクロックサイクルの間の前記マルチプレクサの入力に提供するように設定され、好ましくは、前記付加されたデータの前記第２の数のビットを１だけインクリメントして前記インクリメントされたデータを生成し、前記インクリメントされたデータを前記マルチプレクサの追加の入力に提供するように構成されるインクリメント回路類を更に備える、請求項１から４のいずれか一項に記載の乗算累算回路。
【請求項6】
前記マルチプレクサは、前記加算器回路類のキャリー出力に結合される制御入力を含み、前記マルチプレクサは、前記加算器回路類の前記キャリー出力から前記加算の前記キャリー値を前記制御入力において受信するように構成される、請求項１から５のいずれか一項に記載の乗算累算回路。
【請求項7】
前記加算器回路類の入力に結合された出力を含み、第１のデータと第２のデータとを乗算して前記入力データを生成するように構成される乗算器回路類を更に備え、好ましくは、前記第１のデータが前記ニューラルネットワークの重みであり、前記第２のデータが前記ニューラルネットワークの活性化値であり、かつ／または、好ましくは、前記第１のデータが第３の数のビットを有し、前記第２のデータが前記第３の数のビットを有し、前記第１の数は前記第３の数の２倍である、請求項１から６のいずれか一項に記載の乗算累算回路。
【請求項8】
ニューラルネットワークのための方法であって、前記ニューラルネットワークの処理からの入力データと、前記ニューラルネットワークのための累算データの第１の数のビットとを、加算器回路類によって加算して合計データを生成することと、
ｉ）前記累算データの第２の数のビットと、ｉｉ）所定の値だけインクリメントされた前記累算データの前記第２の数のビットを含むインクリメントされたデータとの間で、前記加算器回路類からの前記加算のキャリー値にしたがってマルチプレクサによって選択を行うことであって、前記累算データの前記第２の数のビットまたは前記インクリメントされたデータのうちの選択された一方が付加された前記合計データが、付加されたデータを形成する、選択を行うこととを含む、方法。
【請求項9】
前記選択を行うことが、前記マルチプレクサによって、前記加算の前記キャリー値がゼロであることに応答して、前記累算データの前記第２の数のビットを選択することを含む、請求項８に記載の方法。
【請求項10】
前記選択を行うことは、前記マルチプレクサによって、前記加算の前記キャリー値が１であることに応答して、前記インクリメントされたデータを選択することを含む、請求項８または９に記載の方法。
【請求項11】
前記加算器回路類の出力からの前記付加されたデータの前記第１の数のビットを、次のクロックサイクルの間の前記加算器回路類の入力に、前記加算器回路類によって提供することを更に含む、請求項８から１０のいずれか一項に記載の方法。
【請求項12】
前記マルチプレクサの出力からの前記付加されたデータの前記第２の数のビットを、次のクロックサイクルの間の前記マルチプレクサの入力に、前記マルチプレクサによって提供することを更に含み、好ましくは、前記マルチプレクサの前記出力からの前記累算データの前記第２の数のビットを、インクリメント回路類によって、１だけインクリメントして、前記インクリメントされたデータを生成することと、
前記インクリメント回路類によって、前記インクリメントされたデータを前記マルチプレクサの追加の入力に提供することと、を更に含む、請求項８から１１のいずれか一項に記載の方法。
【請求項13】
前記マルチプレクサの制御入力において、前記加算器回路類のキャリー出力からの前記加算の前記キャリー値を受信することを更に含む、請求項８から１２のいずれか一項に記載の方法。
【請求項14】
乗算器回路類によって、第１のデータと第２のデータとを乗算して前記入力データを生成することを更に含む、請求項８から１３のいずれか一項に記載の方法。
【請求項15】
前記第１のデータが前記ニューラルネットワークの重みであり、前記第２のデータが前記ニューラルネットワークの活性化値であり、かつ／または、好ましくは、前記第１のデータが第３の数のビットを有し、前記第２のデータが前記第３の数のビットを有し、前記第１の数は前記第３の数の２倍である、請求項１４に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、参照によりその内容全体が全ての目的のために本明細書に組み込まれている、２０１９年７月２日に出願の米国特許出願第１６／４６０，７１９号に基づく優先権を主張するものである。
本出願は、参照によりその内容全体が全ての目的のために本明細書に組み込まれている、２０１９年７月２日に出願の米国特許出願第１６／４６０，７１９号に基づく優先権を主張するものである。
【0002】
本開示は、全体として、カウンタまたはインクリメンタを用いるニューラルネットワークのための乗算累算回路を含むがそれらに限定されない、ニューラルネットワークのための処理機構に関する。
【背景技術】
【0003】
ニューラルネットワークの近年の発展により、例えば、コンピュータビジョン、音声認識、機械翻訳、ソーシャルネットワークフィルタリング、ボードゲームおよびビデオゲームのプレイ、ならびに、医学的診断、他のような、様々な人工知能（ＡＩ）タスクが自動的に実施され得る。一実現例では、ニューラルネットワークは、人間の脳のニューロンをモデル化する、複数のノードからなるネットワークを含む。ノードは、それらの入力に対する乗累算のような計算を実施し、計算結果をそれらの後続のノードに提供、送信、または、転送する場合がある。次いで、後続のノードは、それらの入力としてのそれらの前のノードからの計算結果に対して乗累算のような計算を実施し、追加の計算結果をそれらの後続のノードに提供、送信、または、転送する場合がある。（例えば、数千を超える、または、数百万を超えるものを含む）ノードからなる大規模ネットワークによる計算によってＡＩタスクは実施され得る。しかしながら、大きいノード数に対して乗累算を実施することは、計算量を大きなものとし、ＡＩタスクを遅延させる可能性がある。
【発明の概要】
【0004】
本明細書において開示される様々な実施形態は、ニューラルネットワークのための乗算累算回路に関する。いくつかの実施形態では、乗算累算回路は、ニューラルネットワークの処理からの入力データと、ニューラルネットワークのための累算データの第１の数のビットとを加算することによって合計データを生成するように構成された加算器回路類を含む。いくつかの実施形態では、乗算累算回路は、ｉ）累算データの第２の数のビットと、ｉｉ）所定の値だけインクリメントされた累算データの第２の数のビットを含むインクリメントされたデータとの間で、加算器回路類による加算のキャリー値によって、選択を行うように構成されたマルチプレクサを含む。いくつかの実施形態では、累算データの第２の数のビットまたはインクリメントされたデータのうちの選択された１つが付加された（ａｐｐｅｎｄｅｄ）合計データが、付加されたデータを形成する。
【0005】
いくつかの実施形態では、マルチプレクサは、ゼロである加算のキャリー値に応答して、累算データの第２の数のビットを選択するように構成される。いくつかの実施形態では、マルチプレクサは、１である加算のキャリー値に応答して、インクリメントされたデータを選択するように構成される。いくつかの実施形態では、加算器回路類は、付加されたデータの第１の数のビットを次のクロックサイクルの間の加算器回路類の入力に提供するように設定される。いくつかの実施形態では、マルチプレクサは、付加されたデータの第２の数のビットを次のクロックサイクルの間のマルチプレクサの入力に提供するように設定される。いくつかの実施形態では、乗算累算回路は、付加されたデータの第２の数のビットを１だけインクリメントしてインクリメントされたデータを生成し、インクリメントされたデータをマルチプレクサの追加の入力に提供するように構成されるインクリメント回路類を含む。いくつかの実施形態では、マルチプレクサは、加算器回路類のキャリー出力に結合され、加算器回路類のキャリー出力から加算のキャリー値を受信するように構成された制御入力を含む。
【0006】
いくつかの実施形態では、乗算累算回路は、加算器回路類の入力に結合された出力を含む乗算器回路類を含む。いくつかの実施形態では、乗算器回路類は、第１のデータと第２のデータとを乗算して入力データを生成するように構成される。いくつかの実施形態では、第１のデータはニューラルネットワークの重みで、第２のデータはニューラルネットワークの活性化値である。いくつかの実施形態では、第１のデータは第３の数のビットを有し、第２のデータは第３の数のビットを有し、第１の数は第３の数の２倍である。
【0007】
本明細書において開示される様々な実施形態は、ニューラルネットワークのための方法に関する。いくつかの実施形態では、方法は、ニューラルネットワークの処理からの入力データと、ニューラルネットワークのための累算データの第１の数のビットとを、加算器回路類によって加算して合計データを生成することを含む。いくつかの実施形態では、方法は、ｉ）累算データの第２の数のビットと、ｉｉ）所定の値だけインクリメントされた累算データの第２の数のビットを含むインクリメントされたデータとの間で、加算器回路類からの加算のキャリー値にしたがってマルチプレクサによって選択を行うことを含む。いくつかの実施形態では、累算データの第２の数のビットまたはインクリメントされたデータのうちの選択された一方が付加された合計データが、付加されたデータを形成する。
【0008】
いくつかの実施形態では、上記選択を行うことは、マルチプレクサによって、ゼロである加算のキャリー値に応答して、累算データの第２の数のビットを選択することを含む。いくつかの実施形態では、上記選択を行うことは、マルチプレクサによって、１である加算のキャリー値に応答して、インクリメントされたデータを選択することを含む。いくつかの実施形態では、方法は、加算器回路類の出力からの付加されたデータの第１の数のビットを、次のクロックサイクルの間の加算器回路類の入力に、加算器回路類によって提供することを含む。いくつかの実施形態では、方法は、マルチプレクサの出力からの付加されたデータの第２の数のビットを、次のクロックサイクルの間のマルチプレクサの入力に、マルチプレクサによって提供することを含む。いくつかの実施形態では、方法は、マルチプレクサの出力からの累算データの第２の数のビットを、インクリメント回路類によって、１だけインクリメントして、インクリメントされたデータを生成することを含む。いくつかの実施形態では、方法は、インクリメント回路類によって、インクリメントされたデータをマルチプレクサの追加の入力に提供することを含む。いくつかの実施形態では、方法は、マルチプレクサの制御入力において、加算器回路類のキャリー出力からの加算のキャリー値を受信することを含む。
【0009】
いくつかの実施形態では、方法は、乗算器回路類によって第１のデータと第２のデータとを乗算して、入力データを生成することを含む。いくつかの実施形態では、第１のデータはニューラルネットワークの重みであり、第２のデータはニューラルネットワークの活性化値である。いくつかの実施形態では、第１のデータは第３の数のビットを有し、第２のデータは第３の数のビットを有し、第１の数は第３の数の２倍である。
【0010】
上記および他の態様ならびに実現例について、以下で詳細に考察する。上述の情報および以下で詳述する説明は、様々な態様および実現例の実例を含み、特許請求する態様および実現例の性質ならびに特徴を理解するための概観または枠組みを提供する。本発明の１つまたは複数の態様および実施形態に組み込むのに好適なものとして、本明細書に記載される任意の特徴は、本開示のあらゆる態様および実施形態全体にわたって一般化できるものであることが意図されるものと理解されるであろう。図面は、様々な態様および実現例の例示ならびに更なる理解を提供し、本明細書に組み込まれるとともに本明細書の一部を構成する。
【0011】
添付図面は縮尺通りに描かれることを意図しない。様々な図面における同様の参照番号および記号は同様の要素を示す。明瞭にするため、全ての図面において全ての構成要素に符号が付されるわけではない。
【図面の簡単な説明】
【0012】
【図1A】本開示の例示の一実現例による、人工知能（ＡＩ）に関連する処理を実施するシステムの一実施形態を示すブロック図である。
【図1B】本開示の例示の一実現例による、ＡＩに関連する処理を実施するデバイスの一実施形態を示すブロック図である。
【図1C】本開示の例示の一実現例による、ＡＩに関連する処理を実施するデバイスの一実施形態を示すブロック図である。
【図1D】本開示の例示の一実現例によるコンピューティング環境を示すブロック図である。
【図4】本開示の例示の一実現例による、ニューラルネットワークのための乗累算を実施するプロセスを示すフローチャートである。
【発明を実施するための形態】
【0013】
特定の実施形態を詳細に示す図面に移る前に、本開示は、明細書に記載されるかまたは図面に例示される、詳細もしくは方法論に限定されないことが理解されるべきである。また、本明細書で使用する専門用語は、単に説明のためのものであって限定とみなされるべきでないことが理解されるべきである。
【0014】
以下の本発明の様々な実施形態についての説明を読むために、本明細書のセクションおよびそれらそれぞれの内容について、以下の説明が有用であり得る。
セクションＡは、本発明のシステム、方法、およびデバイスの一実施形態を実践または実現するのに有用な、環境、システム、構成、および／または、他の態様について記載する。
セクションＢは、カウンタまたはインクリメンタに基づくニューラルネットワークのための乗累算のためのデバイス、システム、および、方法の実施形態を記載する。
セクションＡは、本発明のシステム、方法、およびデバイスの一実施形態を実践または実現するのに有用な、環境、システム、構成、および／または、他の態様について記載する。
セクションＢは、カウンタまたはインクリメンタに基づくニューラルネットワークのための乗累算のためのデバイス、システム、および、方法の実施形態を記載する。
【0015】
Ａ．人工知能に関連する処理のための環境
システム、デバイス、および／または方法の実施形態の詳細についてセクションＢで考察する前に、システム、デバイス、および／または方法の特定の実施形態を実践もしくは実現するのに有用な、環境、システム、構成、および／または他の態様について考察するのが有用であり得る。ここで図１Ａを参照すると、人工知能（ＡＩ）に関連する処理を実施するためのシステムの一実施形態が示される。概要では、システムは、入力データ１１０を使用してＡＩに関連する処理を実施することができる、１つまたは複数のＡＩアクセラレータ１０８を含む。ＡＩアクセラレータ１０８として参照しているが、場合によっては、ニューラルネットワークアクセラレータ（ＮＮＡ）、ニューラルネットワークチップもしくはハードウェア、ＡＩプロセッサ、ＡＩチップなどと呼ばれる。ＡＩアクセラレータ１０８は、入力データ１１０および／またはパラメータ１２８（例えば、重みおよび／またはバイアス情報）にしたがって、ＡＩに関連する処理を実施して、出力データ１１２を出力または提供することができる。ＡＩアクセラレータ１０８は、１つもしくは複数のニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）、１つもしくは複数のプロセッサ２４、および／または１つもしくは複数の記憶デバイス１２６を含むことができ、ならびに／あるいは実装することができる。
システム、デバイス、および／または方法の実施形態の詳細についてセクションＢで考察する前に、システム、デバイス、および／または方法の特定の実施形態を実践もしくは実現するのに有用な、環境、システム、構成、および／または他の態様について考察するのが有用であり得る。ここで図１Ａを参照すると、人工知能（ＡＩ）に関連する処理を実施するためのシステムの一実施形態が示される。概要では、システムは、入力データ１１０を使用してＡＩに関連する処理を実施することができる、１つまたは複数のＡＩアクセラレータ１０８を含む。ＡＩアクセラレータ１０８として参照しているが、場合によっては、ニューラルネットワークアクセラレータ（ＮＮＡ）、ニューラルネットワークチップもしくはハードウェア、ＡＩプロセッサ、ＡＩチップなどと呼ばれる。ＡＩアクセラレータ１０８は、入力データ１１０および／またはパラメータ１２８（例えば、重みおよび／またはバイアス情報）にしたがって、ＡＩに関連する処理を実施して、出力データ１１２を出力または提供することができる。ＡＩアクセラレータ１０８は、１つもしくは複数のニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）、１つもしくは複数のプロセッサ２４、および／または１つもしくは複数の記憶デバイス１２６を含むことができ、ならびに／あるいは実装することができる。
【0016】
上述の要素または構成要素はそれぞれ、ハードウェア、またはハードウェアとソフトウェアの組み合わせの形で実装される。例えば、これらの要素または構成要素はそれぞれ、任意のアプリケーション、プログラム、ライブラリ、スクリプト、タスク、サービス、プロセス、あるいはデジタルおよび／またはアナログ要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子）を含むことができる回路類などのハードウェア上で実行する、任意のタイプおよび形態の実行可能命令を含むことができる。
【0017】
入力データ１１０は、ＡＩアクセラレータ１０８のニューラルネットワーク１１４を構成、調整、訓練、および／または活性化するための、ならびに／あるいはプロセッサ１２４によって処理するための、任意のタイプもしくは形態のデータを含むことができる。ニューラルネットワーク１１４は、場合によっては、人工ニューラルネットワーク（ＡＮＮ）と呼ばれる。ニューラルネットワークの構成、調整、および／または訓練は、履歴データなど、（例えば、入力データ１１０としての）訓練データセットがニューラルネットワークに提供されて処理される、機械学習のプロセスを指すかあるいは含むことができる。調整または構成は、ニューラルネットワーク１１４を訓練または処理して、ニューラルネットワークが精度を改善するのを可能にすることを指すかまたは含むことができる。ニューラルネットワーク１１４の調整または構成は、例えば、ニューラルネットワーク１１４に関する問題のタイプもしくは所望の目標に対して成功することが証明されているアーキテクチャを使用した、ニューラルネットワークの設計、形成、構築、合成、および／または確立を含むことができる。場合によっては、１つまたは複数のニューラルネットワーク１１４は、同じもしくは類似のベースラインモデルで開始してもよいが、調整、訓練、または学習プロセスの間、ニューラルネットワーク１１４の結果は、ベースラインモデルであるかあるいは異なる目標もしくは目的のために調整または訓練された異なるニューラルネットワークよりも高いレベルの精度および信頼性で、特定のタイプの入力を処理し、特定のタイプの出力を生成するように、各ニューラルネットワーク１１４を調整することができるような、十分に異なるものであることができる。ニューラルネットワーク１１４の調整は、各ニューラルネットワーク１１４に対して異なるパラメータ１２８を設定すること、各ニューラルネットワーク１１４に対してパラメータ１２８を異なるように微調整すること、または異なる重み（例えば、ハイパーパラメータ、もしくは学習率）、テンソルフローなどを割り当てることを含むことができる。したがって、ニューラルネットワークならびに／あるいはシステムの調整または訓練プロセスおよび目標に基づいて、ニューラルネットワーク１１４に対して適切なパラメータ１２８を設定することで、システム全体の性能を改善することができる。
【0018】
ＡＩアクセラレータ１０８のニューラルネットワーク１１４は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、深層畳み込みネットワーク、順伝播型ニューラルネットワーク（例えば、多層パーセプトロン（ＭＬＰ））、深層順伝播型ニューラルネットワーク、放射基底関数ニューラルネットワーク、コホネン自己組織化ニューラルネットワーク、回帰型ニューラルネットワーク、モジュール型ニューラルネットワーク、長期／短期メモリニューラルネットワークなど、任意のタイプのニューラルネットワークを含むことができる。ニューラルネットワーク１１４は、自然言語処理など、データ（例えば、画像、音声、映像）処理、オブジェクトもしくは特徴認識、レコメンダ機能、データもしくは画像分類、データ（例えば、画像）解析などを実施するために展開または使用することができる。
【0019】
一例として、また１つまたは複数の実施形態では、ニューラルネットワーク１１４は、畳み込みニューラルネットワークとして構成することができ、または畳み込みニューラルネットワークを含むことができる。畳み込みニューラルネットワークは、それぞれ異なる目的に役立ち得る、１つもしくは複数の畳み込みセル（またはプーリング層）およびカーネルを含むことができる。畳み込みニューラルネットワークは、畳み込みカーネル（場合によっては、単に「カーネル」と呼ばれる）を含み、組み込み、および／または使用することができる。畳み込みカーネルは入力データを処理することができ、プーリング層は、例えば、ｍａｘなどの非線形関数を使用して、データを単純化し、それによって不要な特徴を低減することができる。畳み込みニューラルネットワークを含むニューラルネットワーク１１４は、画像、音声、または任意のデータの認識もしくは他の処理を容易にすることができる。例えば、（例えば、センサからの）入力データ１１０を、ファンネルを形成する畳み込みニューラルネットワークの畳み込み層に渡して、入力データ１１０の検出された特徴を圧縮することができる。畳み込みニューラルネットワークの第１の層は第１の特性を検出することができ、第２の層は第２の特性を検出することができ、その先も同様である。
【0020】
畳み込みニューラルネットワークは、視覚心像、音声情報、および／または他の任意のタイプもしくは形態の入力データ１１０を解析するように構成された、深層順伝播型人工ニューラルネットワークのタイプであることができる。畳み込みニューラルネットワークは、最小限の前処理を使用するように設計された、多層パーセプトロンを含むことができる。畳み込みニューラルネットワークは、重み共有アーキテクチャおよび翻訳不変性特性に基づいて、シフト不変または空間不変人工ニューラルネットワークを含むことができ、またはそのように呼ぶことができる。畳み込みニューラルネットワークは、他のデータ分類／処理アルゴリズムと比較して相対的に少ない前処理を使用することができるので、畳み込みニューラルネットワークは、他のデータ分類／処理アルゴリズムのためにマニュアル設計されてもよいフィルタを自動的に学習して、ニューラルネットワーク１１４の構成、確立、またはセットアップと関連付けられた効率を改善することによって、他のデータ分類／処理技術と比べて技術的利点を提供することができる。
【0021】
ニューラルネットワーク１１４は、ニューロンもしくはノードの、入力層１１６および出力層１２２を含むことができる。ニューラルネットワーク１１４はまた、ニューロンもしくはノードの、畳み込み層、プーリング層、全結合層、および／または正規化層を含むことができる、１つまたは複数の隠れ層１１８、１１９を有することができる。ニューラルネットワーク１１４では、各ニューロンは、前の層におけるいくつかの位置から入力を受信することができる。全結合層では、各ニューロンは、前の層の全ての要素からの入力を受信することができる。
【0022】
ニューラルネットワーク１１４の各ニューロンは、前の層の受容野からの入力値に何らかの関数を適用することによって、出力値を計算することができる。入力値に適用される関数は、重みのベクトルおよびバイアス（一般的には実数）によって指定される。ニューラルネットワーク１１４における（例えば、訓練フェーズ中の）学習は、バイアスおよび／または重みを漸増的に調節することによって進行することができる。重みのベクトルおよびバイアスは、フィルタと呼ぶことができ、入力の何らかの特徴（例えば、特定の形状）を表すことができる。畳み込みニューラルネットワークの際立った特徴は、多くのニューロンが同じフィルタを共有できることである。これにより、各受容野が独自のバイアスおよび重みのベクトルを有するのではなく、単一のバイアスおよび重みの単一のベクトルを、該フィルタを共有する全ての受容野にわたって使用することができるので、メモリフットプリントが低減される。
【0023】
例えば、畳み込み層では、システムは、畳み込み演算を入力層１１６に適用して、結果を次の層に渡すことができる。畳み込みは、個々のニューロンの応答をエミュレートして刺激を入力することができる。各畳み込みニューロンは、その受容野に対してのみデータを処理することができる。畳み込み演算は、全結合順伝播型ニューラルネットワークと比較して、ニューラルネットワーク１１４で使用されるニューロンの数を低減することができる。したがって、畳み込み演算は、自由パラメータの数を低減して、より少ないパラメータでネットワークをより深層化することを可能にすることができる。例えば、入力データ（例えば、画像データ）サイズにかかわらず、同じ共有重みをそれぞれ有するサイズ５×５のタイリング領域は、２５個のみの学習可能パラメータを使用してもよい。このように、畳み込みニューラルネットワークを有する第１のニューラルネットワーク１１４は、逆伝播を使用することによって多くの層を有する従来の多層ニューラルネットワークを訓練する際の、勾配消失または発散の問題を解決することができる。
【0024】
ニューラルネットワーク１１４（例えば、畳み込みニューラルネットワークで構成される）は、１つまたは複数のプーリング層を含むことができる。１つまたは複数のプーリング層は、ローカルプーリング層またはグローバルプーリング層を含むことができる。プーリング層は、１つの層におけるニューロンクラスタの出力を組み合わせて、次の層における単一のニューロンとすることができる。例えば、最大プーリングは、前の層におけるニューロンのクラスタそれぞれからの最大値を使用することができる。別の例は、前の層におけるニューロンのクラスタそれぞれからの平均値を使用することができる、平均プーリングである。
【0025】
ニューラルネットワーク１１４（例えば、畳み込みニューラルネットワークで構成される）は、全結合層を含むことができる。全結合層は、１つの層の全てのニューロンを別の層の全てのニューロンに結合することができる。ニューラルネットワーク１１４は、畳み込み層で重みを共有して構成することができ、それは同じフィルタが層内の各受容野に使用されることを指すことができ、それにより、メモリフットプリントが低減され、第１のニューラルネットワーク１１４の性能が改善される。
【0026】
隠れ層１１８、１１９は、入力データ（例えば、仮想現実システムなどからのセンサデータ）に基づいて、情報を検出するように調整または構成されるフィルタを含むことができる。システムがニューラルネットワーク１１４（例えば、畳み込みニューラルネットワーク）の各層を通るにつれて、システムは、第１の層からの入力を翻訳し、変換された入力を第２の層に出力することができ、その先も同様である。ニューラルネットワーク１１４は、検出、処理、および／または計算されるオブジェクトもしくは情報のタイプ、ならびに入力データ１１０のタイプに基づいて、１つまたは複数の隠れ層１１８、１１９を含むことができる。
【0027】
いくつかの実施形態では、畳み込み層は、ニューラルネットワーク１１４（例えば、ＣＮＮとして構成される）のコアビルディングブロックである。層のパラメータ１２８は、小さい受容野を有するが、入力ボリュームの深さ全体を通って延在する、学習可能なフィルタ（またはカーネル）のセットを含むことができる。順方向パスの間、各フィルタは、入力ボリュームの幅および高さにわたって畳み込まれて、フィルタのエントリと入力との間のドット積を計算し、該フィルタの二次元活性化マップを作成する。結果として、ニューラルネットワーク１１４は、入力のある空間位置である特定のタイプの特徴を検出すると活性化する、フィルタを学習させることができる。深さ次元に沿って全てのフィルタの活性化マップを積み重ねることで、畳み込み層の全出力ボリュームが形成される。したがって、出力ボリュームの全てのエントリは、入力の小さい領域に注目し、同じ活性化マップのニューロンとパラメータを共有する、ニューロンの出力として解釈することもできる。畳み込み層では、ニューロンは、前の層の制限されたサブエリアから入力を受信することができる。一般的に、サブエリアは正方形形状のもの（例えば、サイズ５×５）である。ニューロンの入力エリアはその受容野と呼ばれる。そのため、全結合層では、受容野は前の層全体である。畳み込み層では、受容エリアは前の層全体よりも小さいものであり得る。
【0028】
第１のニューラルネットワーク１１４は、（例えば、入力データ１１０に基づいて、オブジェクト、イベント、ワード、および／または他の特徴の確率を検出もしくは決定することによって）入力データ１１０を検出、分類、セグメント化、および／または翻訳するように訓練することができる。例えば、ニューラルネットワーク１１４の第１の入力層１１６は、入力データ１１０を受信し、入力データ１１０を処理してデータを第１の中間出力に変換し、第１の中間出力を第１の隠れ層１１８に伝達することができる。第１の隠れ層１１８は、第１の中間出力を受信し、第１の中間出力を処理して第１の中間出力を第２の中間出力に変換し、第２の中間出力を第２の隠れ層１１９に伝達することができる。第２の隠れ層１１９は、第２の中間出力を受信し、第２の中間出力を処理して第２の中間出力を第３の中間出力に変換し、第３の中間出力を、例えば出力層１２２に伝達することができる。出力層１２２は、第３の中間出力を受信し、第３の中間出力を処理して第３の中間出力を出力データ１１２に変換し、出力データ１１２を（例えば、場合によっては、ユーザに対するレンダリングのため、格納のためなど、後処理エンジンに）伝達することができる。出力データ１１２は、例として、オブジェクト検出データ、強化／翻訳／拡張されたデータ、推奨、分類、および／またはセグメント化されたデータを含むことができる。
【0029】
再び図１Ａを参照すると、ＡＩアクセラレータ１０８は、１つまたは複数の記憶デバイス１２６を含むことができる。記憶デバイス１２６は、ＡＩアクセラレータ１０８と関連付けられた任意のタイプもしくは形態のデータを、格納、保持、または維持するように、設計または実装することができる。例えば、データは、ＡＩアクセラレータ１０８によって受信される入力データ１１０、および／または出力データ１１２（例えば、次のデバイスもしくは処理段階に出力される前）を含むことができる。データは、ニューラルネットワーク１１４および／またはプロセッサ１２４の処理段階のいずれかに使用される、またはいずれかからの、中間データを含むことができる。データは、記憶デバイス１２６から読み取るかまたはアクセスすることができる、ニューラルネットワーク１１４のニューロンに入力される、また該ニューロンで処理する、１つもしくは複数のオペランドを含むことができる。例えば、データは、記憶デバイス１２６に格納し、そこから読み取るかまたはアクセスすることができる、入力データ、重み情報、および／またはバイアス情報、活性化関数情報、ならびに／あるいは１つもしくは複数のニューロン（またはノード）のためのパラメータ１２８、および／またはニューラルネットワーク１１４の層を含むことができる。データは、記憶デバイス１２６に書き込み、またそこに格納することができる、ニューラルネットワーク１１４のニューロンからの出力データを含むことができる。例えば、データは、記憶デバイス１２６に転送するかもしくは書き込み、格納することができる、ニューラルネットワーク１１４の１つもしくは複数のニューロン（またはノード）および／または層のための、活性化データ、改良もしくは更新されたデータ（例えば、訓練段階などからの重み情報および／またはバイアス情報、活性化関数情報、および／または他のパラメータ１２８）を含むことができる。
【0030】
いくつかの実施形態では、ＡＩアクセラレータ１０８は１つまたは複数のプロセッサ１２４を含むことができる。１つまたは複数のプロセッサ１２４は、ニューラルネットワーク１１４またはＡＩアクセラレータ１０８のうち任意の１つもしくは複数に対する入力データを前処理するための、ならびに／あるいはニューラルネットワーク１１４またはＡＩアクセラレータ１０８のうち任意の１つもしくは複数に対する出力データを後処理するための、任意の論理、回路類、および／または処理構成要素（例えば、マイクロプロセッサ）を含むことができる。１つまたは複数のプロセッサ１２４は、ニューラルネットワーク１１４またはＡＩアクセラレータ１０８の１つもしくは複数の演算を構成、制御、および／または管理するための、論理、回路類、処理構成要素、および／または機能性を提供することができる。例えば、プロセッサ１２４は、ニューラルネットワーク１１４と関連付けられたデータまたは信号を受信して、（例えば、ニューラルネットワーク１１４の演算を実装する回路類に対するクロックゲート制御を介して）消費電力を制御または低減してもよい。別の例として、プロセッサ１２４は、（例えば、ＡＩアクセラレータ１０８の様々な構成要素における、例えば並列の）別個の処理のため、（例えば、ＡＩアクセラレータ１０８の同じ構成要素における、異なる時間もしくは段階での）逐次処理のため、あるいは記憶デバイスの異なるメモリスライスに、または異なる記憶デバイスに格納するため、データを区画化および／または再配置してもよい。いくつかの実施形態では、プロセッサ１２４は、特定の重み、活性化関数、および／またはパラメータ情報の識別、選択、ならびに／あるいはニューラルネットワーク１１４のニューロンおよび／または層へのロードによって、特定の文脈に対して演算を行い、特定のタイプの処理を提供し、ならびに／あるいは特定のタイプの入力データをアドレスするように、ニューラルネットワーク１１４を構成することができる。
【0031】
いくつかの実施形態では、ＡＩアクセラレータ１０８は、ディープラーニングおよび／またはＡＩワークロードを扱うかもしくは処理するように、設計および／または実装される。例えば、ＡＩアクセラレータ１０８は、人工ニューラルネットワーク、マシンビジョン、および機械学習を含む人工知能用途のため、ハードウェアアクセラレーションを提供することができる。ＡＩアクセラレータ１０８は、ロボティックス関連、物のインターネット（ＩｏＴ）関連、または他のデータ集約的もしくはセンサ駆動のタスクを扱う演算向けに構成することができる。ＡＩアクセラレータ１０８は、マルチコアまたは複数の処理要素（ＰＥ）設計を含んでもよく、人工現実（例えば、仮想、拡張、もしくは混合現実）システム、スマートフォン、タブレット、およびコンピュータなど、様々なタイプおよび形態のデバイスに組み込むことができる。ＡＩアクセラレータ１０８の特定の実施形態は、少なくとも１つのデジタル信号プロセッサ（ＤＳＰ）、コプロセッサ、マイクロプロセッサ、コンピュータシステム、プロセッサのヘテロジニアスコンピューティング構成、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または特定用途向け集積回路（ＡＳＩＣ）を含むかあるいはそれらを使用して実装することができる。ＡＩアクセラレータ１０８は、トランジスタベース、半導体ベース、および／または量子コンピューティングベースのデバイスであることができる。
【0032】
次に図１Ｂを参照すると、ＡＩに関連する処理を実施するためのデバイスの例示の一実施形態が示される。概要では、デバイスは、例えば、図１Ａに関連して上述した１つまたは複数の特徴を有する、ＡＩアクセラレータ１０８を含むかまたはそれに対応することができる。ＡＩアクセラレータ１０８は、１つまたは複数の記憶デバイス１２６（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイスなどのメモリ）、１つまたは複数のバッファ、複数の処理要素（ＰＥ）回路またはＰＥ回路のアレイ、他の論理または回路類（例えば、加算器回路類）、ならびに／あるいは他の構造または構成（例えば、相互接続、データバス、クロック回路類、電力ネットワーク）を含むことができる。上述の要素または構成要素はそれぞれ、ハードウェア、または少なくともハードウェアとソフトウェアの組み合わせの形で実装される。ハードウェアは、例えば、回路要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子、および／またはワイヤもしくは導電性コネクタ）を含むことができる。
【0033】
ＡＩアクセラレータ１０８において実装されたニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）では、ニューロンは、様々な形態を取ることができ、処理要素（ＰＥ）またはＰＥ回路と呼ぶことができる。ニューロンは、対応するＰＥ回路として実装することができ、ニューロンで起こり得る処理／活性化は、ＰＥ回路で実施することができる。ＰＥは接続されて、異なるパターンが異なる機能的目的に役立つ、特定のネットワークパターンまたはアレイとなる。人工ニューラルネットワークのＰＥは、（例えば、半導体の実現例の実施形態では）電気的に動作し、アナログ、デジタル、またはハイブリッドのいずれかであってもよい。生体シナプスの作用に匹敵するために、ＰＥ間の接続に、適正なシステム出力を作成するように校正または「訓練」することができる、乗法的な重みを割り当てることができる。
【0034】
ＰＥは、（例えば、ニューロンのマッカロック－ピッツモデルを表す）次式に関して定義することができる。
ζ＝Σｉｗｉｘｉ （１）
ｙ＝σ（ζ） （２）
式中、ζは入力の重み付き合計（例えば、入力ベクトルおよびタップ重みベクトルの内積）であり、σ（ζ）は重み付き合計の関数である。重みおよび入力要素がベクトルｗおよびｘを形成する場合、重み付き合計ζは単純なドット積となる。
ζ＝ｗ・ｘ （３）
これは、活性化関数（例えば、閾値比較の場合）または伝達関数のどちらかと呼ばれることがある。いくつかの実施形態では、１つまたは複数のＰＥはドット積エンジンと呼ばれる場合がある。ニューラルネットワーク１１４に対する入力（例えば、入力データ１１０）ｘは、入力空間からのものであることができ、出力（例えば、出力データ１１２）は出力空間の一部である。いくつかのニューラルネットワークでは、出力空間Ｙは、｛０，１｝のように単純なものであってもよく、または複雑な多次元（例えば、複数チャネル）空間（例えば、畳み込みニューラルネットワークの場合）であってもよい。ニューラルネットワークは、入力空間の自由度ごとに１つの入力、および出力空間の自由度ごとに１つの出力を有する傾向がある。
ζ＝Σｉｗｉｘｉ （１）
ｙ＝σ（ζ） （２）
式中、ζは入力の重み付き合計（例えば、入力ベクトルおよびタップ重みベクトルの内積）であり、σ（ζ）は重み付き合計の関数である。重みおよび入力要素がベクトルｗおよびｘを形成する場合、重み付き合計ζは単純なドット積となる。
ζ＝ｗ・ｘ （３）
これは、活性化関数（例えば、閾値比較の場合）または伝達関数のどちらかと呼ばれることがある。いくつかの実施形態では、１つまたは複数のＰＥはドット積エンジンと呼ばれる場合がある。ニューラルネットワーク１１４に対する入力（例えば、入力データ１１０）ｘは、入力空間からのものであることができ、出力（例えば、出力データ１１２）は出力空間の一部である。いくつかのニューラルネットワークでは、出力空間Ｙは、｛０，１｝のように単純なものであってもよく、または複雑な多次元（例えば、複数チャネル）空間（例えば、畳み込みニューラルネットワークの場合）であってもよい。ニューラルネットワークは、入力空間の自由度ごとに１つの入力、および出力空間の自由度ごとに１つの出力を有する傾向がある。
【0035】
いくつかの実施形態では、ＰＥは、シストリックアレイとして配置および／または実装することができる。シストリックアレイは、セルまたはノードと呼ばれる、ＰＥなどの結合されたデータ処理装置（ＤＰＵ）のネットワーク（例えば、ホモジニアスネットワーク）であることができる。各ノードまたはＰＥは、上流側の隣接するノードまたはＰＥから受信したデータの関数として、部分結果を独立して計算することができ、結果を自身に格納することができ、結果を例えば下流側に渡すことができる。シストリックアレイは、特定用途向けに構成されたハードワイヤードまたはソフトウェアであることができる。ノードまたはＰＥは、固定された同一のものであることができ、シストリックアレイの相互接続はプログラム可能であることができる。シストリックアレイは同期型データ転送に依存することができる。
【0036】
再び図１Ｂを参照すると、ＰＥ１２０に対する入力ｘは、記憶デバイス１２６（例えば、ＳＲＡＭ）から読み取られるかまたはアクセスされる、入力ストリーム１３２の一部であることができる。入力ストリーム１３２は、ＰＥの１つの行（水平のバンクもしくはグループ）に方向付けることができ、ＰＥのうち１つもしくは複数にわたって共有するか、またはそれぞれのＰＥに対する入力としてのデータ部分（重なり合うもしくは重なり合わないデータ部分）に区画化することができる。重みストリーム（例えば、記憶デバイス１２６から読み取られる）における重み１３４（もしくは重み情報）は、ＰＥの列（垂直のバンクもしくはグループ）に方向付けるかまたは提供することができる。列のＰＥはそれぞれ、同じ重み１３４を共有するか、または対応する重み１３４を受信してもよい。標的のＰＥそれぞれに対する入力および／または重みは、（例えば、他のＰＥを通過せずに）標的のＰＥに（例えば、記憶デバイス１２６から）直接ルーティングすることができ、あるいは１つもしくは複数のＰＥを通して（例えば、ＰＥの行もしくは列に沿って）ルーティングすることができる。各ＰＥの出力は、ＰＥアレイの外に（例えば、他のＰＥを通過せずに）直接ルーティングすることができ、あるいは１つもしくは複数のＰＥを通して（例えば、ＰＥの列に沿って）ＰＥアレイを出るようにルーティングすることができる。ＰＥの各列の出力は、それぞれの列の加算器回路類において合算または加算し、ＰＥのそれぞれの列に対するバッファ１３０に提供することができる。バッファ１３０は、受信した出力を記憶デバイス１２６に提供、転送、ルーティング、書込み、および／または格納することができる。いくつかの実施形態では、記憶デバイス１２６によって格納された出力（例えば、ニューラルネットワークの１つの層からの活性化データ）を、記憶デバイス１２６から検索するかまたは読み取り、後の時間における（ニューラルネットワークの後続層の）処理のため、ＰＥ１２０のアレイに対する入力として使用することができる。特定の実施形態では、記憶デバイス１２６によって格納された出力を、ＡＩアクセラレータ１０８に対する出力データ１１２として、記憶デバイス１２６から検索するかまたは読み取ることができる。
【0037】
次に図１Ｃを参照すると、ＡＩに関連する処理を実施するためのデバイスの例示の一実施形態が示される。概要では、デバイスは、例えば、図１Ａおよび図１Ｂに関連して上述した１つまたは複数の特徴を有する、ＡＩアクセラレータ１０８を含むかまたはそれに対応することができる。ＡＩアクセラレータ１０８は、１つまたは複数のＰＥ１２０、他の論理または回路類（例えば、加算器回路類）、ならびに／あるいは他の構造または構成（例えば、相互接続、データバス、クロック回路類、電力ネットワーク）を含むことができる。上述の要素または構成要素はそれぞれ、ハードウェア、または少なくともハードウェアとソフトウェアの組み合わせの形で実装される。ハードウェアは、例えば、回路要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子、および／またはワイヤもしくは導電性コネクタ）を含むことができる。
【0038】
いくつかの実施形態では、ＰＥ１２０は、１つもしくは複数の乗累算（ＭＡＣ）ユニットまたは回路１４０を含むことができる。１つまたは複数のＰＥは、場合によっては、（単独でまたは集合的に）ＭＡＣエンジンと呼ぶことができる。ＭＡＣユニットは、乗累算を実施するように構成される。ＭＡＣユニットは、乗算器回路、加算器回路、および／または累算器回路を含むことができる。乗累算は、２つの数字の積を計算し、その積を累算器に加える。ＭＡＣ演算は、累算器オペランドａ、ならびに入力ｂおよびｃに関連して、次のように表すことができる。
ａ←ａ＋（ｂ×ｃ） （４）
いくつかの実施形態では、ＭＡＣユニット１４０は、組み合わせ論理に実装された乗算器とそれに続く加算器（例えば、組み合わせ論理を含むもの）、ならびに結果を格納する累算器レジスタ（例えば、順序および／または組み合わせ論理を含むもの）を含んでもよい。累算器レジスタの出力は、加算器の１つの入力にフィードバックすることができるので、各クロックサイクルにおいて、乗算器の出力を累算器レジスタに加算することができる。
ａ←ａ＋（ｂ×ｃ） （４）
いくつかの実施形態では、ＭＡＣユニット１４０は、組み合わせ論理に実装された乗算器とそれに続く加算器（例えば、組み合わせ論理を含むもの）、ならびに結果を格納する累算器レジスタ（例えば、順序および／または組み合わせ論理を含むもの）を含んでもよい。累算器レジスタの出力は、加算器の１つの入力にフィードバックすることができるので、各クロックサイクルにおいて、乗算器の出力を累算器レジスタに加算することができる。
【0039】
上述したように、ＭＡＣユニット１４０は、乗算および加算両方の機能を実施することができる。ＭＡＣユニット１４０は２つの段階で演算することができる。ＭＡＣユニット１４０は、最初に、第１の段階で所与の数（入力）の積を計算し、結果を第２の段階の演算（例えば、加算および／または累算）のために転送することができる。ｎビットのＭＡＣユニット１４０は、ｎビット乗算器、２ｎビット加算器、および２ｎビット累算器を含むことができる。（例えば、ＰＥにおける）複数のＭＡＣユニット１４０またはＭＡＣユニットのアレイ１４０は、並列積分、畳み込み、相関、行列乗算、データ分類、および／またはデータ解析タスクのため、シストリックアレイの形で配置することができる。
【0040】
本明細書に記載する様々なシステムおよび／またはデバイスを、コンピューティングシステムに実装することができる。図１Ｄは、代表的なコンピューティングシステム１５０のブロック図を示している。いくつかの実施形態では、図１Ａのシステムは、コンピューティングシステム１５０の処理装置１５６（またはプロセッサ１５６）の少なくとも一部を形成することができる。コンピューティングシステム１５０は、例えば、スマートフォン、他の移動電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ、眼鏡、ヘッドマウントディスプレイ）、デスクトップコンピュータ、ラップトップコンピュータなどのデバイス（例えばコンシューマデバイス）として実装するか、あるいは分散型コンピューティングデバイスを実装することができる。コンピューティングシステム１５０は、ＶＲ、ＡＲ、ＭＲ体験を提供するために実装することができる。いくつかの実施形態では、コンピューティングシステム１５０は、プロセッサ１５６、記憶デバイス１５８、ネットワークインターフェース１５１、ユーザ入力デバイス１５２、およびユーザ出力デバイス１５４など、従来の専用またはカスタムのコンピュータ構成要素を含むことができる。
【0041】
ネットワークインターフェース１５１は、（ローカル／リモート）サーバまたはバックエンドシステムのネットワークインターフェースも接続される、ローカル／ワイドエリアネットワーク（例えば、インターネット）に対する接続を提供することができる。ネットワークインターフェース１５１は、有線インターフェース（例えば、イーサネット）、ならびに／あるいはＷｉ－Ｆｉ、ブルートゥース、またはセルラーデータネットワーク規格（例えば、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなど）などの様々なＲＦデータ通信規格を実装する無線インターフェースを含むことができる。
【0042】
ユーザ入力デバイス１５２は、ユーザがコンピューティングシステム１５０に信号を提供するのに用いることができる、任意のデバイス（または複数のデバイス）を含むことができ、コンピューティングシステム１５０は、特定のユーザ要求または情報を示すものとして信号を解釈することができる。ユーザ入力デバイス１５２は、キーボード、タッチパッド、タッチスクリーン、マウスもしくは他のポインティングデバイス、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、マイクロフォン、センサ（例えば、モーションセンサ、視線追跡センサなど）などのいずれかまたは全てを含むことができる。
【0043】
ユーザ出力デバイス１５４は、コンピューティングシステム１５０がユーザに情報を提供するのに用いることができる、任意のデバイスを含むことができる。例えば、ユーザ出力デバイス１５４は、コンピューティングシステム１５０によって生成されるかまたは該システムに送達される画像を表示する、ディスプレイを含むことができる。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システム、陰極線管（ＣＲＴ）などの様々な画像生成技術を、サポートしている電子部品（例えば、デジタル・アナログもしくはアナログ・デジタル変換器、信号プロセッサなど）とともに組み込むことができる。入力および出力両方のデバイスとして機能する、タッチスクリーンなどのデバイスを使用することができる。ユーザ出力デバイス１５４は、ディスプレイに加えてまたはディスプレイの代わりに提供することができる。例としては、インジケータ光、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどが挙げられる。
【0044】
いくつかの実現例としては、コンピュータプログラム命令を非一時的なコンピュータ可読記憶媒体に格納する、マイクロプロセッサ、記憶装置、およびメモリなどの電子構成要素が挙げられる。本明細書に記載する特徴の多くは、コンピュータ可読記憶媒体として符号化されたプログラム命令のセットとして指定される、プロセスとして実現することができる。これらのプログラム命令は、１つまたは複数のプロセッサによって実行されると、プログラム命令に示されている様々な動作をプロセッサに実施させる。プログラム命令またはコンピュータコードの例としては、コンパイラによって作成されるものなどの機械コード、およびインタープリタを使用してコンピュータ、電子構成要素、またはマイクロプロセッサによって実行される、より高次のコードを含むファイルが挙げられる。好適なプログラミングを通して、プロセッサ１５６は、コンピューティングシステム１５０に対して、サーバまたはクライアントによって実施されるものとして本明細書に記載する機能性、またはメッセージ管理サービスと関連付けられた他の機能性のいずれかを含む、様々な機能性を提供することができる。
【0045】
コンピューティングシステム１５０は例示であり、変形および修正が可能であることが認識されるであろう。本開示と関連して使用されるコンピュータシステムは、本明細書には具体的に記載しない他の能力を有することができる。更に、コンピューティングシステム１５０について、特定のブロックを参照して記載しているが、該ブロックは説明の便宜上定義されているものであり、構成部品の特定の物理的配置を示唆しようとするものではないことが理解されるべきである。例えば、異なるブロックを、同じ設備に、同じサーバラックに、または同じマザーボード上に配置することができる。更に、ブロックは必ずしも物理的に別個の構成要素に対応していなくてもよい。ブロックは、例えば、プロセッサをプログラミングするか、または適切な制御回路類を提供することによって、様々な動作を実施するように構成することができ、様々なブロックは、初期の構成がどのように得られるかに応じて再構成可能であってもなくてもよい。本開示の実現例は、回路類およびソフトウェアの任意の組み合わせを使用して実装される電子デバイスを含む、様々な装置で実現することができる。
【0046】
Ｂ．ニューラルネットワークのための乗累算のための方法およびデバイス
本明細書の開示は、カウンタまたはインクリメンタに基づくニューラルネットワークのための乗累算のためのシステム、方法、および、デバイスの実施形態を含む。いくつかの態様において、本開示はニューラルネットワークにおいて乗累算（ＭＡＣ）ユニットの累算の効率を改善することに向けられており、例えば、ＡＩアクセラレータに実装される。ＭＡＣユニットは、複数の重みと対応する活性化との乗算、および、複数の異なる乗算結果の累算を実施し得る。複数の異なる乗算結果の累算は多数のビットを含む場合があり、計算的に消耗的であり、電力的に非効率的である可能性がある。一態様では、累算加算器の出力は、最下位ビット（ＬＳＢ）部分および最上位ビット（ＭＳＢ）部分の２つの部分に分割され得る。ＬＳＢ部分には乗算結果が加算され得る。一方、マルチプレクサは、例えば、１（例えば、１ビットまたは他の値）だけインクリメントされたＭＳＢ部分の合計、および、ＭＳＢ部分を受信し得る。ＬＳＢ部分と乗算結果との合計のキャリー出力（合計を実施する累算加算器のオーバーフロー表示またはオーバーフロービットとして提供され得る）に応じて、マルチプレクサは、１だけインクリメントされたＭＳＢ部分の合計、または、ＭＳＢ部分を出力し得る。それから、マルチプレクサの出力は、累算加算器の出力として、ＬＳＢ部分および乗算結果の合計と組み合わされ得る。いくつかの実施形態では、キャリー出力にしたがった選択のためのマルチプレクサへ追加の入力（例えば、３つ以上の可能な値を有し得る）を提供するために、ＭＳＢ部分との合計のための複数の可能なインクリメント値が実装され得る。
本明細書の開示は、カウンタまたはインクリメンタに基づくニューラルネットワークのための乗累算のためのシステム、方法、および、デバイスの実施形態を含む。いくつかの態様において、本開示はニューラルネットワークにおいて乗累算（ＭＡＣ）ユニットの累算の効率を改善することに向けられており、例えば、ＡＩアクセラレータに実装される。ＭＡＣユニットは、複数の重みと対応する活性化との乗算、および、複数の異なる乗算結果の累算を実施し得る。複数の異なる乗算結果の累算は多数のビットを含む場合があり、計算的に消耗的であり、電力的に非効率的である可能性がある。一態様では、累算加算器の出力は、最下位ビット（ＬＳＢ）部分および最上位ビット（ＭＳＢ）部分の２つの部分に分割され得る。ＬＳＢ部分には乗算結果が加算され得る。一方、マルチプレクサは、例えば、１（例えば、１ビットまたは他の値）だけインクリメントされたＭＳＢ部分の合計、および、ＭＳＢ部分を受信し得る。ＬＳＢ部分と乗算結果との合計のキャリー出力（合計を実施する累算加算器のオーバーフロー表示またはオーバーフロービットとして提供され得る）に応じて、マルチプレクサは、１だけインクリメントされたＭＳＢ部分の合計、または、ＭＳＢ部分を出力し得る。それから、マルチプレクサの出力は、累算加算器の出力として、ＬＳＢ部分および乗算結果の合計と組み合わされ得る。いくつかの実施形態では、キャリー出力にしたがった選択のためのマルチプレクサへ追加の入力（例えば、３つ以上の可能な値を有し得る）を提供するために、ＭＳＢ部分との合計のための複数の可能なインクリメント値が実装され得る。
【0047】
有利であることに、この種の累算加算器は、演算速度を改善し、レイテンシを減らすことができる。例えば、従来のアプローチによる累算では、多数のビットによってキャリーを伝えることが必要である。多数のビットによってキャリーを伝えることは、累算のプロセスを遅延させ得る。例えば、ＬＳＢ部分だけに対して累算を実施し、ＬＳＢ部分の累算からのキャリー出力によって、ｉ）ＭＳＢ部分、または、ｉｉ）１だけインクリメントされたＭＳＢ部分のいずれかを選択することによって、キャリーは、従来のアプローチにおけるより少ない数のビットによって伝播され得る。それ故、より少ない数のビットによってキャリーを伝えることによって、累算を実施するためのクリティカルパスが減じられ得る。
【0048】
一態様では、入力データは、重みと対応する活性化値または活性化関数とを乗算した乗算結果である。付加されたデータは、次のクロックサイクルの間の累算データとして用いられ得る。それ故、一実施形態では、重みと対応する活性化値または活性化関数とを乗算した乗算結果は１クロックサイクルの間に加算され得、他の重みと対応する活性化値または活性化関数とを乗算した追加の乗算結果は次の１クロックサイクルの間に加算され得る。
【0049】
図２を参照すると、本開示の例示の一実現例による、図１Ｃの乗累算（ＭＡＣ）ユニット１４０のブロック図が示される。いくつかの実施形態では、ＭＡＣユニット１４０は、乗算器回路類２１０Ａ、２１０Ｂ、２１０Ｃ、．．．２１０Ｎ、加算器回路類２１５、累算器２２０、および、レジスタ２３０を含む。これらの構成要素は、式（４）に関して先に述べたように、例えば、重み２０５Ａ、２０５Ｂ、．．．２０５Ｎ、および、活性化値２０８Ａ、２０８Ｂ、．．．２０８Ｎをともに受信して、付加されたデータ２２５（「更新された累算データ２２５」とも称する）を生成するように動作する。他の実施形態では、ＭＡＣユニット１４０は、図２に示されるものより多い、とは異なる、または、より少ない構成要素を含む。例えば、またいくつかの実施形態では、加算器回路類２１５は省略され得、乗算器回路類２１０の出力は入力データとして累算器２２０に送られ得る。
【0050】
１つの構成では、各乗算器回路類２１０Ｘは重み２０５Ｘおよび活性化値２０８Ｘを受信して、重み２０５Ｘと活性化値２０８Ｘとを乗算して乗算結果２１２Ｘを生成し、乗算結果２１２Ｘを加算器回路類２１５に提供する。加算器回路類２１５は、乗算器回路類２１０Ａ～２１０Ｎからの乗算結果を加算して合計データ２１８を生成し、合計データ２１８を入力データとして累算器２２０に提供し得る。１つの構成では、累算器２２０は、加算器回路類２１５から合計データ２１８を、レジスタ２３０から累算データ２３５を受信し、付加されたデータ（または、更新された累算データ２２５）を生成し、付加されたデータ（または、更新された累算データ２２５）をレジスタ２３０に提供する。
【0051】
１つのアプローチでは、乗累算は各クロックサイクルごとに実施される。例えば、乗算器回路類２１０Ａ～２１０Ｎは、１クロックサイクルの間に、１セットの重み２０５Ａ～２０５Ｎ、および、活性化値２０８Ａ～２０８Ｎの対応する１セットを受信することができて、重み２０５Ａ～２０５Ｎの１セットに活性化値２０８Ａ～２０８Ｎの対応するセットを乗算して、このクロックサイクルの間に、１セットの乗算結果２１２Ａ～２１２Ｎを生成する。加算器回路類２１５は、乗算器回路類２１０Ａ～２１０Ｎからの乗算結果のセットを加算して合計データ２１８を生成して、このクロックサイクルの間に、合計データ２１８を累算器２２０に提供し得る。累算器２２０は、合計データ２１８を累算データ２３５に加えて更新された累算データ２２５を生成し、更新された累算データ２２５をレジスタ２３０に提供し得る。レジスタ２３０は、このクロックサイクルの間に受信した更新された累算データ２２５を、次のクロックサイクルの間の累算データ２３５として出力し得る。次のクロックサイクルの間に、乗算器回路類２１０Ａ～２１０Ｎ、加算器回路類２１５、累算器２２０、および、レジスタ２３０は、追加のセットの重みおよび対応するセットの活性化値２０８に対して上記のプロセスを繰り返すことができる。例えば、１個のニューロンまたはノードの入力が５０個のニューロンまたはノードの出力に結合されていると仮定すると、ＭＡＣユニット１４０は１クロックサイクルの間に並行して計算を実施し得る１０個の乗算器回路類２１０（例えば、Ｎは１０である）を使用することができ、その結果、ＭＡＣユニット１４０は５クロックサイクルにおいて５０の重みおよび５０個の活性化値に対する乗累算を実施し得る。
【0052】
一実現例では、累算器２２０による多数のビットの累算は計算として非効率であり得る。例えば、重み２０５が８ビットを有し活性化値が８ビットを有すると仮定すると、乗算結果２１２は１６ビットを有する。Ｎ個の加算に対しては、合計データ２１８はｃｅｉｌ（１６＋ｌｏｇ２Ｎ）に対応するＫ個のビットを有する。ここで、ｃｅｉｌ（）は天井関数である。更に、合計データ２１８を累算することにより、累算データ２３５は、Ｋ個のビットより多いＪ個のビット（例えば、２８ビット）を有するようになる。一実現例では、累算器２２０はＪ個の加算器を含み、固定のＫ個のビットを有する合計データ２１８を、Ｋ個のビットを有する累算データのＬＳＢ部分に加算し、累算データの残りのビットによってキャリーを伝える。しかしながら、Ｊ個の加算器による加算の実施は遅く、大量の電力を消費する可能性がある。
【0053】
有利であることに、開示された累算器２２０は、累算データを２つの部分に分離し、第１の部分は入力データに加算し、ｉ）第２の部分、または、ｉｉ）所定の値（例えば、「１」）だけ加えられた第２の部分のうちのいずれかが上記加算からのキャリー値によって選択される。これによって、計算の速度および効率を改善する。更に多くのビットについて加算または累算を未然に回避することによって、以下に図３Ａおよび図３Ｂについて後述するように、累算のためのクリティカルパスは減じられ得、演算速度を改善するか、または、電力効率を改善することができる。
【0054】
図３Ａを参照すると、本開示の例示の一実現例による、図２の累算器２２０Ａのブロック図が示されている。いくつかの実施形態では、累算器２２０Ａは、Ｋビット加算器回路類３１０、（Ｊ－Ｋ）ビットインクリメンタ３５０、および、（Ｊ－Ｋ）ビットマルチプレクサ３２０を含む。Ｊ－Ｋは、Ｊの値とＫの値との差を示し得る。これらの構成要素はともに動作して、入力データとして合計データ２１８または乗算結果２１２を、そして、累算データ２３５を受信し得、合計データ２１８および累算データ２３５の合計に等しい更新された累算データ２２５を生成し得る。いくつかの例示の実施形態では、Ｊは２８で、Ｋは１６～２０である。他の実施形態では、累算器２２０Ａは、図３Ａに示されるものより多い、より少ない、または、とは異なる構成要素を含む。
【0055】
Ｋビット加算器回路類３１０は、累算データ２３５Ａの第１の部分および入力データ２１８を受信し、累算データ２３５Ａの第１の部分に入力データ２１８を加算し、更新された累算データ２２５Ａの第１の部分を生成することができる、構成要素であるか、または、その構成要素を含む、例えば、Ｋビット加算器回路類３１０は、レジスタ２３０から累算データ２３５ＡのＫビットのＬＳＢ部分を、そして、加算器回路類２１５からＫビットを有する入力データ２１８を受信し、更新された累算データ２２５ＡのＫビットのＬＳＢ部分を生成する。Ｋビット加算器回路類３１０は、更新された累算データ２２５ＡのＫビットのＬＳＢ部分をレジスタ２３０に提供し得る。
【0056】
（Ｊ－Ｋ）ビットマルチプレクサ３２０は、Ｋビット加算器回路類３１０からの加算のキャリー値にしたがって、ｉ）累算データ２３５Ｂの第２の部分という入力と、ｉｉ）インクリメントされたデータ３５５という入力との間で選択して、出力として提供する構成要素、スイッチ、または、回路類であり得る、または、その構成要素、スイッチ、または、回路類を含み得る。一態様では、インクリメンタ３５０（または、カウンタ）は、累算データ２３５Ｂの第２の部分を受信して、所定の値（例えば、「１」、または、他の値）だけ累算データ２３５Ｂの第２の部分をインクリメントして、インクリメントされたデータ３５５を生成する。例えば、（Ｊ－Ｋ）ビットマルチプレクサ３２０は、累算データ２３５Ｂの（Ｊ－Ｋ）ビットのＭＳＢ部分、および、（Ｊ－Ｋ）ビットを有するインクリメントされたデータ３５５を受信し、キャリー値によって、ｉ）累算データ２３５Ｂの（Ｊ－Ｋ）ビットのＭＳＢ部分と、ｉｉ）（Ｊ－Ｋ）ビットを有するインクリメントされたデータ３５５との間で選択を行うことができる。１つの構成では、Ｋビット加算器回路類３１０の１ビットキャリー出力は、（Ｊ－Ｋ）ビットマルチプレクサ３２０の制御入力に結合され得る。「１」であるキャリー値に応答して、（Ｊ－Ｋ）ビットマルチプレクサ３２０はインクリメントされたデータ３５５を選択し得る。同様に、「０」であるキャリー値に応答して、（Ｊ－Ｋ）ビットマルチプレクサ３２０は累算データ２３５Ｂの第２の部分を選択し得る。
【0057】
並行して実施される２つの部分（例えば、ＬＳＢ部分およびＭＳＢ部分）に計算を分離することによって、加算または累算は、Ｋビット加算器回路類３１０によって、減らしたビット数に対して（例えば、ＬＳＢ部分に対して）実施され得、演算速度を改善し、計算効率化を達成することができる。具体的には、Ｋビット加算器回路３１０のクリティカルパスは、完全なＪビット加算器回路類と比較して、減じられ得る。一態様では、Ｊ－ＫはＫより小さくてもよく、Ｋビット加算器回路類３１０のキャリー出力のキャリー値が生成された直後にマルチプレクサ３２０の出力が選択され得る。したがって、累算器２２０Ａは累算のための低クリティカルパスを達成し、演算速度および電力効率を改善し得る。
【0058】
図３Ｂを参照すると、本開示の例示の一実現例による、図２の累算器２２０Ｂのブロック図が示されている。図３Ｂの累算器２２０Ｂは、以下の点以外は、図３Ａの累算器２２０Ａと類似している。即ち、加算器回路類３１０は、累算データ２３５Ａの第１の部分に、複数の乗算結果２１２（または、複数の合計データ２１８）を加算して複数のビットを有するキャリー値を生成し得、マルチプレクサ３２０は、複数のビットを有するキャリー値にしたがって３つ以上の入力データから１つを選択して出力し得る。
【0059】
１つの例示の一実現例では、加算器回路類３１０は、同時に、または、順次に、異なる乗算器２１０から３つまたは４つの乗算結果２１２を有する累算データ２３５Ａを加算し得る。累算データ２３５Ａに３つまたは４つの乗算結果２１２を加算することによって、加算器回路類３１０は２ビットを有するキャリー値を生成し得る。マルチプレクサ３２０は、累算データ２３５Ｂの第２の部分、そして、異なるインクリメンタ３５０Ａ、３５０Ｂ、３５０Ｃ（または、カウンタ）からインクリメントされたデータ３５５Ａ、３５５Ｂ、３５５Ｃを受信し得る。インクリメンタ３５０Ａは、累算データ２３５Ｂの第２の部分を受信し、「１」だけインクリメントし、インクリメントされたデータ３５５Ａを生成し得、インクリメンタ３５０Ｂは、累算データ２３５Ｂの第２の部分を受信し、「２」だけインクリメントし、インクリメントされたデータ３５５Ｂを生成し得、インクリメンタ３５０Ｃは、累算データ２３５Ｃの第２の部分を受信し、「３」だけインクリメントし、インクリメントされたデータ３５５Ｃを生成し得る。あるいは、その代わりに、インクリメンタ３５０Ａは、累算データ２３５Ｂの第２の部分を受信し、「１」（または、他の値）だけインクリメントし、インクリメントされたデータ３５５Ａを生成し得、インクリメンタ３５０Ｂは、インクリメントされたデータ３５５Ａを受信し、「１」（または、他の値）だけインクリメントし、インクリメントされたデータ３５５Ｂを生成し得、インクリメンタ３５０Ｃは、インクリメントされたデータ３５５Ｂを受信し、「１」（または、他の値）だけインクリメントし、インクリメントされたデータ３５５Ｃを生成し得るように、インクリメンタ３５０Ａ、３５０Ｂ、３５０Ｃは直列接続またはカスケード接続される。
【0060】
一態様では、マルチプレクサ３２０は、その制御入力のキャリー値によって、その複数の入力データから１つを選択し得る。例えば、キャリー値が「００」である場合、マルチプレクサ３２０は累算データ２３５Ｂの第２の部分を選択して出力し得る。他の１つの例では、キャリー値が「０１」である場合、マルチプレクサ３２０はインクリメントされたデータ３５５Ａを選択して出力し得る。他の１つの例では、キャリー値が「１０」である場合、マルチプレクサ３２０はインクリメントされたデータ３５５Ｂを選択して出力し得る。他の１つの例では、キャリー値が「１１」である場合、マルチプレクサ３２０はインクリメントされたデータ３５５Ｃを選択して出力し得る。複数の乗算結果２１２の累算を実施して、複数のビットを有するキャリー値にしたがってＭＳＢ部分を選択することによって、累算器２２０Ｂの演算速度は更に改善され得る。図３Ｂでは、マルチプレクサ３２０は２ビットを有するキャリー値を受信して、キャリー値にしたがって４つの入力２３５Ｂ、３５５Ａ、３５５Ｂ、および、３５５Ｃのうちの１つを選択し出力するが、他の実施形態では、マルチプレクサ３２０は、任意のビット数を有するキャリー値を受信して、キャリー値にしたがって任意の数の入力のうちの１つを選択し出力することができる。
【0061】
図４を参照すると、本開示の例示の一実現例による、ニューラルネットワークのための乗累算を実施するプロセス４００を例示するフローチャートが示されている。いくつかの実施形態では、プロセス４００は、図３Ａまたは図３Ｂの累算器２２０によって実施される。いくつかの実施形態では、プロセス４００は、１つまたは複数の他のエンティティによって実施される。いくつかの実施形態では、プロセス４００は、図４に示されるものより多い、より少ない、または、とは異なるステップを含む。
【0062】
１つのアプローチでは、累算器２２０は、入力データおよび累算データの第１の数のビットを加算する（４１０）。入力データは、ニューラルネットワークの処理から、生成、獲得、計算、または、受信され得る。例えば、入力データは、重みおよび対応する活性化値を乗算した結果でもよい。入力データはＫビットを有し得、累算データはＫビットより多いＪビットを有し得る。累算器２２０は、Ｋビットを有する入力データを有する累算データのＬＳＢ部分のＫビットを加算し得る。一態様では、Ｊ－Ｋ（例えば、Ｊの値とＫの値の差）はＫ以下である。
【0063】
１つのアプローチでは、累算器２２０は、ステップ４１０の加算からのキャリー値が選択を制御するための所定の閾値（例えば、「１」）であるかどうかを検査または確認することができる（４１５）。累算器２２０は、ｉ）累算データの第２の数のビットと、ｉｉ）インクリメントされたデータとの間で、ステップ４１０の加算からのキャリー値にしたがって、キャリー値「１」または「０」にしたがって、選択を行うことができる。１つのアプローチでは、累算器２２０は、累算データの第２の部分を受信して、所定の値（例えば、「１」）だけ累算データの第２の部分をインクリメントして、インクリメントされたデータを生成する。例えば、累算器２２０は、累算データの（Ｊ－Ｋ）ビットのＭＳＢ部分および（Ｊ－Ｋ）ビットを有するインクリメントされたデータを受信して、ｉ）累算データ２３５Ｂの（Ｊ－Ｋ）ビットのＭＳＢ部分と、ｉｉ）（Ｊ－Ｋ）ビットを有しているインクリメントされたデータ３５５との間で、キャリー値にしたがって選択を行う。例えば、「０」である、ステップ４１０の加算からのキャリー値に応答して、累算器２２０は、累算データ２３５Ｂの第２の部分を選択し得る（４２０）。例えば、「１」である、ステップ４１０の加算からのキャリー値に応答して、累算器２２０は、インクリメントされたデータ３５５を選択し得る（４３０）。
【0064】
１つのアプローチでは、累算器２２０は、ステップ４２０の選択されたデータとともにステップ４１０の加算の結果を、更新された累算データ、または、付加されたデータとして、出力し、生成し、および／または、提供し得る（４４０）。例えば、加算の結果は、付加されたデータのＬＳＢ部分のＫビットに対応するＫビットを有し、選択されたデータは、付加されたデータのＭＳＢ部分の（Ｊ－Ｋ）ビットに対応する（Ｊ－Ｋ）ビットを有する。累算器２２０は、付加されたデータをレジスタ（例えば、図２のレジスタ２３０であり、クロック信号によって動作させ得るレジスタの配列またはバンクであり得る）に、送信し、出力し、伝達し、向けて送り、かつ／または、提供し得る。一態様では、１クロックサイクルの間の付加されたデータは、次のクロックサイクルの累算データとして、レジスタを介して累算器２２０によって受信され得る。例えば、加算器回路類（例えば、図３Ａの加算器回路類３１０）の出力からの付加されたＫビットのデータは、レジスタを介して次のクロックサイクルの間の加算器回路類の入力に提供され得る。同様に、マルチプレクサ（例えば、図３Ａのマルチプレクサ３２０）の出力からの付加されたデータの（Ｊ－Ｋ）ビットは、レジスタを介して次のクロックサイクルの間のマルチプレクサの入力に、送信、供給、または、提供され得る。
【0065】
いくつかの実施形態では、入力データは、第１のデータおよび第２のデータを乗算することによって、作り出され、導出され、生成され、かつ／または、提供される。第１のデータは、ニューラルネットワークの（例えば、層のノードの）重みであり得るか、または、その重みを含み得、第２のデータは、ニューラルネットワークの（例えば、層のノードの）活性化値であり得る。一態様では、第１のデータはＭビットを有し、第２のデータはＭビットを有し、入力データは、Ｍビットの少なくとも２倍である、Ｋビットを有する。
【0066】
いくつかの例示的な実現例について記載してきたが、上記は例示であって限定ではなく、例として提示されていることが明白である。特に、本明細書に提示する例の多くには、方法行為またはシステム要素の特定の組み合わせが関与するが、それらの行為および要素は、同じ目的を遂行するために他の形で組み合わせることができる。１つの実現例に関連して考察される行為、要素、および特徴は、他の１つまたは複数の実現例における類似の役割から除外されないものとする。
【0067】
本明細書に開示する実施形態と関連して記載される、様々なプロセス、動作、例示の論理、論理ブロック、モジュール、および回路を実現するのに使用される、ハードウェアおよびデータ処理構成要素は、汎用シングルもしくはマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、離散的ゲートもしくはトランジスタ論理、離散的ハードウェア構成要素、または本明細書に記載の機能を実施するように設計された上記のものの任意の組み合わせを用いて、実現または実施されてもよい。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であってもよい。プロセッサはまた、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動した１つもしくは複数のマイクロプロセッサ、または他の任意のかかる構成など、コンピューティングデバイスの組み合わせとして実現されてもよい。いくつかの実施形態では、特定のプロセスおよび方法は、所与の機能に特異的な回路類によって実施されてもよい。メモリ（例えば、メモリ、メモリユニット、記憶デバイスなど）は、本開示に記載する様々なプロセス、層、およびモジュールを完成させるかもしくは容易にする、データおよび／またはコンピュータコードを格納する、１つまたは複数のデバイス（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク記憶装置など）を含んでもよい。メモリは、揮発性メモリもしくは不揮発性メモリであるかまたはそれらを含んでもよく、本開示に記載する様々なアクティビティおよび情報構造をサポートする、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、または他の任意のタイプの情報構造を含んでもよい。例示的実施形態によれば、メモリは、処理回路を介してプロセッサに通信可能に接続され、本明細書に記載の１つもしくは複数のプロセスを（例えば、処理回路および／またはプロセッサによって）実行するためのコンピュータコードを含む。
【0068】
本開示は、様々な動作を遂行するための任意の機械可読媒体上における、方法、システム、およびプログラム製品を想到する。本開示の実施形態は、既存のコンピュータプロセッサを使用して、またはこの目的もしくは別の目的のために組み込まれる、適切なシステムのための専用コンピュータプロセッサによって、または配線接続システムによって、実現されてもよい。本開示の範囲内の実施形態は、格納された機械実行可能命令もしくはデータ構造を保持するかまたは有する、機械可読媒体を備えるプログラム製品を含む。かかる機械可読媒体は、汎用もしくは専用コンピュータ、またはプロセッサを有する他の機械によってアクセスすることができる、任意の利用可能な媒体であることができる。例として、かかる機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、または他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、あるいは機械実行可能命令またはデータ構造の形態で所望のプログラムコードを保持または格納するのに使用することができ、汎用もしくは専用コンピュータまたはプロセッサを有する他の機械でアクセスすることができる、他の任意の媒体を含むことができる。上記のものの組み合わせはまた、機械可読媒体の範囲に含まれる。機械実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理機械に、特定の機能または機能群を実施させる、命令およびデータを含む。
【0069】
本明細書で使用する用語および専門用語は、説明のためのものであって限定とみなされるべきではない。本明細書における、「～を含む」、「～を備える」、「～を有する」、「～を含有する」、「～を伴う」、「～によって特徴付けられる」、「～を特徴とする」およびそれらの変形の使用は、該用語とともに列挙される項目、それらの等価物、および追加の項目、ならびに排他的に該用語とともに列挙される項目から成る代替実現例を網羅することを意味する。一実現例では、本明細書に記載するシステムおよび方法は、記載する要素、行為、または構成要素のうちの１つ、２つ以上の各組み合わせ、または全てから成る。
【0070】
単数形で言及される本明細書のシステムおよび方法の実現例または要素または行為に対する任意の言及は、複数のこれらの要素を含む実現例も包含することができ、本明細書の任意の実現例または要素または行為に対する複数形での任意の言及は、単一の要素のみを含む実現例も包含することができる。単数形または複数形での言及は、本明細書に開示されるシステムもしくは方法、それらの構成要素、行為、または要素を、単数または複数の構成に限定しようとするものではない。任意の情報、行為、または要素に基づいた任意の行為または要素に対する言及は、行為または要素が、任意の情報、行為、または要素に少なくとも部分的に基づく場合の実現例を含むことができる。
【0071】
本明細書に開示する任意の実現例は、他の任意の実現例または実施形態と組み合わせることができ、「ある実現例」、「いくつかの実現例」、「一実現例」などに対する言及は、必ずしも相互に排他的ではなく、実現例と関連して記載する特定の特徴、構造、または特性が、少なくとも１つの実現例または実施形態に含まれ得ることを示すものとする。かかる用語は、本明細書で使用するとき、必ずしも全てが同じ実現例を指すものではない。任意の実現例は、本明細書に開示する態様および実現例と一致する任意の手法で、他の任意の実現例と包括的または排他的に組み合わせることができる。
【0072】
図面、詳細な説明、または任意のクレームにおける技術的特徴に参照符号が付される場合、参照符号は、図面、詳細な説明、およびクレームの了解度を向上するために含まれるものである。したがって、参照符号が存在してもしなくても、任意のクレーム要素の範囲に対する限定的影響を何ら有さない。
【0073】
本明細書に記載するシステムおよび方法は、それらの特性から逸脱することなく、他の特定の形態で具体化されてもよい。「約」、「およそ」、「実質的に」、または他の程度を表す用語に対する言及は、別段の明示がない限り、所与の測定値、単位、または範囲から±１０％の変動を含む。結合された要素は、直接または介在要素を用いて、互いに電気的、機械的、または物理的に結合することができる。本明細書に記載するシステムおよび方法の範囲は、したがって、上述の記載ではなく添付のクレームによって示され、クレームの等価物の意味および範囲内にある変更は包含される。
【0074】
「結合された」という用語およびその変形は、２つの部材を直接または間接的に互いに接合することを含む。かかる接合は、静的（例えば、恒久的もしくは固定）または可動（例えば、除去可能もしくは解放可能）であってもよい。かかる接合は、互いに直接結合され、または互いに対して結合された２つの部材によって、別個の介在部材および互いに結合された任意の追加の中間部材を使用して互いに結合された２つの部材によって、あるいは２つの部材の一方とともに単一の単位体として一体的に形成された介在部材を使用して互いに結合された２つの部材によって、達成されてもよい。「結合された」またはその変形が、追加の用語によって修正された場合（例えば、直接結合された）、上述の「結合された」の包括的定義は、追加の用語の平易な言葉の意味によって修正され（例えば、「直接結合された」は、任意の別個の介在部材を有さない２つの部材の接合を意味する）、それによって上述の「結合された」の包括的定義よりも狭い定義になる。かかる結合は機械的、電気的、または流体的であってもよい。
【0075】
「または」に対する言及は包括的と解釈することができるので、「または」を使用して記載されるいずれの用語も、記載される用語の単一、２つ以上、および全てのいずれかを示すことができる。「『Ａ』および『Ｂ』のうち少なくとも１つ」は、「Ａ」のみ、「Ｂ」のみ、ならびに「Ａ」および「Ｂ」の両方を含むことができる。「備える」または他のオープンな用語と併せて使用されるかかる言及は、追加の項目を含むことができる。
【0076】
様々な要素のサイズ、寸法、構造、形状、および比率、パラメータの値、取付け構造、材料使用、色、向きにおける変形例など、記載される要素および行為の修正は、本明細書に開示する主題の教示および利点から実質的に逸脱することなく行うことができる。例えば、一体的に形成されるものとして示される要素は、複数の部分または要素で構築することができ、要素の位置を反転させるかまたは別の形で変動させることができ、離散的要素または位置の性質もしくは数を改変または変更することができる。他の置換、修正、変更、および省略も、本開示の範囲から逸脱することなく、開示の要素および動作の設計、動作条件、および配置に対して行うことができる。
【0077】
本明細書における要素の位置に対する言及（例えば、「上側」、「下側」、「上方」、「下方」）は単に、図面における様々な要素の向きを説明するために使用されるものである。様々な要素の向きは、他の例示的実施形態によって異なってもよく、かかる変形は本開示に包含されるものとする。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3A】
【図3B】
【図4】
【国際調査報告】