特表 2024-540139 ニューラルネットワークハードウェアアクセラレータデータ並列処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】ニューラルネットワークハードウェアアクセラレータデータ並列処理

(51)【国際特許分類】

   G06N 3/063 20230101AFI20241024BHJP

【ＦＩ】

G06N3/063

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525511

(86)(22)【出願日】2022-06-22

(85)【翻訳文提出日】2024-06-24

(86)【国際出願番号】 US2022034428

(87)【国際公開番号】W WO2023075867

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】17/510,397

(32)【優先日】2021-10-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520043615

【氏名又は名称】ＥＤＧＥＣＯＲＴＩＸ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ネズ、ニコライ

(72)【発明者】

【氏名】ハビン、オレグ

(72)【発明者】

【氏名】アハメド、タンヴィル

(72)【発明者】

【氏名】フートマン、イエンス

(72)【発明者】

【氏名】ダスグプタ、サキャシンガ

(57)【要約】

ニューラルネットワークハードウェアアクセラレーションデータ並列処理は、複数のメモリバンク、複数のメモリバンクのうちの各メモリバンクは、値を記憶し、記憶された値を伝送するように構成されている、複数の計算ユニット、複数の計算ユニットのうちの各計算ユニットは、入力データ値及び重み値に対する数学演算を実行して、結果データ値を生成するように構成された回路を含むプロセッサ、及び、値の伝送を１つよりも多くの計算ユニット又はメモリバンクによって受信させるように構成された計算コントローラ、を有する、を備える集積回路によって実行される。

【特許請求の範囲】

【請求項1】

複数のメモリバンク、前記複数のメモリバンクのうちの各メモリバンクは、値を記憶し、記憶された値を伝送するように構成されている；
複数の計算ユニット
を備え、前記複数の計算ユニットのうちの各計算ユニットは：
入力データ値及び重み値に対する数学演算を実行して、結果データ値を生成するように構成された回路を含むプロセッサ；及び
計算コントローラであって：
前記複数のメモリバンクのうちのいずれかから前記入力データ値を受信する
前記複数のメモリバンクのうちのいずれかから前記重み値を受信する
前記プロセッサに前記数学演算を実行させる、及び
前記結果データ値の単一の伝送が前記複数のメモリバンクのうちの少なくとも２つのメモリバンクによって実質的に同様の時刻に受信されるよう、前記少なくとも２つのメモリバンクに前記結果データ値を伝送する
ように構成された計算コントローラ
を有する、集積回路。

【請求項2】

ニューラルネットワーク推論を実行するための命令を受信するように構成されたコントローラを更に備える、請求項１に記載の集積回路。

【請求項3】

前記計算コントローラは、前記少なくとも２つのメモリバンクの各々に対してロックを設定するように更に構成されている、請求項１又は２に記載の集積回路。

【請求項4】

前記計算コントローラは、前記少なくとも２つのメモリバンクのうちの１つ又は複数についてバンクオフセットを適用するように更に構成されている、請求項１又は２に記載の集積回路。

【請求項5】

前記計算コントローラは、前記少なくとも２つのメモリバンクの各々に対するロックを解除するように更に構成されている、請求項１又は２に記載の集積回路。

【請求項6】

前記複数の計算ユニットのうちの第１の計算ユニットの前記計算コントローラは、
前記複数の計算ユニットのうちの第２の計算ユニットを同期させて、前記入力データ値又は前記重み値のうちの一方を受信する、及び
前記入力データ値又は前記重み値のうちの前記一方を記憶する前記メモリバンクが、前記計算コントローラ及び前記第２の計算ユニットによって実質的に同様の時刻に読み出されることになる前記入力データ値又は前記重み値のうちの前記一方の単一の伝送を行うよう、前記複数のメモリバンクのうちの、前記入力データ値又は前記重み値のうちの前記一方を記憶する前記メモリバンクから、前記入力データ値又は前記重み値のうちの前記一方を読み出す
ように更に構成されている、請求項１又は２に記載の集積回路。

【請求項7】

前記プロセッサは、点単位畳み込み又は深さ単位畳み込みを実行するように構成されている、請求項１又は２に記載の集積回路。

【請求項8】

前記複数のメモリバンクのうちの各メモリバンクは、対応するバンクマルチプレクサを通じて受信された値を記憶するように構成されている、請求項１又は２に記載の集積回路。

【請求項9】

前記バンクマルチプレクサは、前記複数の計算ユニットのうちの計算ユニット又は外部メモリに接続するように構成可能である、請求項８に記載の集積回路。

【請求項10】

前記複数の計算ユニットのうちの各計算ユニットは、前記複数のメモリバンクのうちの１つに接続するように構成可能な計算マルチプレクサを更に有する、請求項１又は２に記載の集積回路。

【請求項11】

ニューラルネットワーク推論を実行するように構成された集積回路内に備えられた複数の計算ユニットのうちの第１の計算ユニットが、前記集積回路内に備えられた複数のメモリバンクのうちの、入力データ値を記憶するメモリバンクから、前記入力データ値を取り出す段階；
前記第１の計算ユニットが、前記複数のメモリバンクのうちの、重み値を記憶するメモリバンクから、前記重み値を取り出す段階；
前記第１の計算ユニットが、前記入力データ値及び前記重み値に対する数学演算を実行して、結果データ値を生成する段階；及び
前記第１の計算ユニットが前記結果データ値の単一の伝送を行い、これが前記複数のメモリバンクのうちの少なくとも２つのメモリバンクによって実質的に同様の時刻に受信されるよう、前記第１の計算ユニットが、前記少なくとも２つのメモリバンクに前記結果データ値を伝送する段階
を備える、方法。

【請求項12】

前記集積回路が、ニューラルネットワークの推論を実行するための命令を受信する段階を更に備える、請求項１１に記載の方法。

【請求項13】

前記入力データ値を取り出す段階は、前記第１の計算ユニットに対応する第１のマルチプレクサを、前記入力データ値を記憶する前記メモリバンクに接続するように構成する段階を有し、前記重み値を取り出す段階は、前記第１のマルチプレクサを、前記重み値を記憶する前記メモリバンクに接続するように構成する段階を有する、請求項１１又は１２に記載の方法。

【請求項14】

前記結果データ値を伝送する段階は、前記少なくとも２つのメモリバンクの各々に対してロックを設定する段階を有する、請求項１１又は１２に記載の方法。

【請求項15】

前記結果データ値を伝送する段階は、前記少なくとも２つのメモリバンクのうちの１つ又は複数についてバンクオフセットを適用する段階を有する、請求項１１又は１２に記載の方法。

【請求項16】

前記結果データ値を伝送する段階は、前記少なくとも２つのメモリバンクのうちの各々に対するロックを解除する段階を有する、請求項１１又は１２に記載の方法。

【請求項17】

前記入力データ値又は前記重み値のうちの一方を取り出す段階は、
第２の計算ユニットを同期させて、前記入力データ値又は前記重み値のうちの前記一方を読み出す段階、及び
前記入力データ値又は前記重み値のうちの前記一方を記憶する前記メモリバンクが、前記第１の計算ユニット及び前記第２の計算ユニットによって実質的に同様の時刻に読み出される前記入力データ値又は前記重み値のうちの前記一方の単一の伝送を行うよう、前記第１の計算ユニットが、前記複数のメモリバンクのうちの、前記入力データ値又は前記重み値のうちの前記一方を記憶する前記メモリバンクから、前記入力データ値又は前記重み値のうちの前記一方を読み出す段階
を有する、請求項１１又は１２に記載の方法。

【請求項18】

複数のメモリバンク、前記複数のメモリバンクのうちの各メモリバンクは、値を記憶し、記憶された値を伝送するように構成されている；及び
複数の計算ユニット、前記複数の計算ユニットのうちの各計算ユニットは、
入力データ値及び重み値に対する数学演算を実行して、結果データ値を生成するように構成された回路を含むプロセッサ、及び、
計算コントローラ
を有し、ここで前記複数の計算ユニットのうちの第１の計算ユニットの前記計算コントローラは、
前記複数の計算ユニットのうちの第２の計算ユニットを同期させて、前記入力データ値又は前記重み値のうちの一方を受信する、及び
前記入力データ値又は前記重み値のうちの前記一方を記憶する前記メモリバンクが、前記計算コントローラ及び前記第２の計算ユニットによって実質的に同様の時刻に読み出されることになる前記入力データ値又は前記重み値のうちの前記一方の単一の伝送を行うよう、前記複数のメモリバンクのうちの、前記入力データ値又は前記重み値のうちの前記一方を記憶する前記メモリバンクから、前記入力データ値又は前記重み値のうちの前記一方を読み出す
ように構成されている
を備える、集積回路。

【請求項19】

前記計算コントローラは、
前記複数のメモリバンクのうちのいずれかから前記入力データ値を受信する
前記複数のメモリバンクのうちのいずれかから前記重み値を受信する
前記プロセッサに前記数学演算を実行させる、及び
前記結果データ値の単一の伝送が前記複数のメモリバンクのうちの少なくとも２つのメモリバンクによって実質的に同様の時刻に受信されるよう、前記少なくとも２つのメモリバンクに前記結果データ値を伝送する
ように更に構成されている、請求項１８に記載の集積回路。

【請求項20】

前記計算コントローラは、前記複数のメモリバンクのうちの少なくとも２つのメモリバンクの各々に対してロックを設定するように更に構成されている、請求項１８又は１９に記載の集積回路。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願の相互参照
本願は、２０２１年１０月２６日に出願された米国非仮出願第１７／５１０，３９７号に対する優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
リアルタイムニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＮＮ）推論は、自律車両、ロボット工学、スマートフォン、ポータブルヘルスケアデバイス、監視等のような応用についてのエッジデバイス上のコンピュータビジョン又は発話タスクのために広く普及しつつある。専用のＮＮ推論ハードウェアは、電力効率の良い推論を提供する主流の方法となっている。

【図面の簡単な説明】

【0002】

本開示の態様は、添付の図と共に読まれる場合、以下の発明を実施するための形態から最も良く理解される。産業における標準的な慣行に従い、様々な特徴は縮尺通りに描かれていないことに留意されたい。実際には、様々な特徴の寸法は、論述を明確にするために、任意に増加又は減少し得る。

【0003】

【図1】本発明の少なくとも１つの実施形態による、ニューラルネットワークハードウェアアクセラレーションデータ並列処理のための集積回路の概略図である。

【0004】

【図2】本発明の少なくとも１つの実施形態による、ニューラルネットワークハードウェアアクセラレーションデータ並列処理のための集積回路における計算ユニット及びメモリバンク相互接続の概略図である。

【0005】

【図3】本発明の少なくとも１つの実施形態による、ニューラルネットワークハードウェアアクセラレーテッド推論（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｅｄ ｉｎｆｅｒｅｎｃｅ）についての動作フローである。

【0006】

【図4】本発明の少なくとも１つの実施形態による、結果値の伝送についての動作フローである。

【0007】

【図5】本発明の少なくとも１つの実施形態による、データ並列記録中の計算ユニット及びメモリバンク相互接続の概略図である。

【0008】

【図6】本発明の少なくとも１つの実施形態による、共通メモリバンクからの読み出しの間における計算ユニットの動作及び時刻のグラフである。

【0009】

【図7】本発明の少なくとも１つの実施形態による、別個のメモリバンクからの読み出しの間における計算ユニットの動作及び時刻のグラフである。

【0010】

【図8】本発明の少なくとも１つの実施形態による、値の取り出しについての動作フローである。

【0011】

【図9】本発明の少なくとも１つの実施形態による、データ並列読み出し中の計算ユニット及びメモリバンク相互接続の概略図である。

【0012】

【図10A】本発明の実施形態による、深さ単位畳み込みプロセッサの例示的な構成を示す。

【0013】

【図10B】本発明の実施形態による、深さ単位畳み込みプロセッサについてのチャネル毎パイプラインの例示的な構成を示す。

【0014】

【図11】本発明の実施形態による、点単位畳み込みプロセッサの例示的な構成を示す。

【発明を実施するための形態】

【0015】

以下の開示は、提供される主題の異なる特徴を実装するための、多くの異なる実施形態又は例を提供する。構成要素、値、動作、材料又は配列等の具体例が、本開示を簡潔にするために以下で説明される。当然ながら、これらは単なる例であって、限定を意図するものではない。他の構成要素、値、動作、材料又は配列等が企図される。加えて、本開示は、様々な例において参照番号及び／又は文字を繰り返し得る。この繰り返しは、簡略化及び明確さを目的としており、それ自体が、論述される様々な実施形態及び／又は構成の間の関係を規定するものではない。

【0016】

一部のニューラルネットワークハードウェアアクセラレータは、複数のプロセッサ間で推論動作を分散させることにより、そのような動作を実行する。そのようなニューラルネットワークハードウェアアクセラレータは、動作間で様々な値を保持するための複数のメモリバンクをも備える。各プロセッサは、計算のためにメモリバンクのうちのいずれか１つから値を読み出すが、単一のメモリバンクは、１度に１つのプロセッサによってのみ読み出される。メモリバンクを読み出すプロセッサは、他のプロセッサが当該メモリバンクと相互作用すること、及び、場合によってはデータを破壊することを防止するため、当該メモリバンク上にロックを配置する。同様に、各プロセッサは、計算の結果として得られる値をメモリバンクのうちのいずれかに記録するが、単一のメモリバンクは、データ破壊を防止するために、１度に１つのプロセッサからのみ値を受信する。

【0017】

一部のタイプのニューラルネットワークの推論は、単一の計算の結果として得られる値に対して１つよりも多くの後続の計算を実行することを含む。複数のプロセッサを有するニューラルネットワークハードウェアアクセラレータに対する推論を実行するとき、異なるプロセッサは、後続の動作を同時に実行することができる。しかしながら、１度に１つのプロセッサのみが単一の計算の結果として得られる値を読み出すことができるため、プロセッサのうちの一方は、他方のプロセッサが値を読み出すのを待機しなければならないことから、一方の後続のプロセスは、他方の後続のプロセスと比較して遅延する。

【0018】

本明細書の少なくとも幾つかの実施形態において、複数のプロセッサ及び複数のメモリバンクを備えるニューラルネットワークハードウェアアクセラレータは、各プロセッサが１つよりも多くのメモリバンクに結果値を記録できるように構成される。少なくとも幾つかの実施形態において、ニューラルネットワークハードウェアアクセラレータは、１つよりも多くのメモリバンクに値を記録するように構成された外部メモリインタフェースを備える。少なくとも幾つかの実施形態において、ニューラルネットワークハードウェアアクセラレータは、少なくとも幾つかの命令の結果として得られる値のデータ並列記録を実行するように構成される。少なくとも幾つかの実施形態において、ニューラルネットワーク推論を実行しながら、少なくとも幾つかの結果値の各々を２つのメモリバンクに記録することで、プロセッサがメモリから値を読み出すための待機時間が短縮されることに起因して、推論タスクを完了させるためにニューラルネットワークハードウェアアクセラレータが必要とする時間量が著しく減少する結果となる。

【0019】

本明細書の少なくとも幾つかの実施形態において、複数のプロセッサ及び複数のメモリバンクを備えるニューラルネットワークハードウェアアクセラレータは、各プロセッサがメモリバンクからの値を読み出すことができるように構成され、それにより、他のプロセッサは、値が読み出されるときにメモリバンクからの値の伝送を受信するように構成される。
少なくとも幾つかの実施形態において、メモリバンクからの値の読み出しから同じ伝送を受信するように複数のプロセッサを構成することで、複数のプロセッサが同じメモリバンクから個々に値を読み出すための時間が短縮される。

【0020】

図１は、本発明の少なくとも１つの実施形態による、ニューラルネットワークハードウェアアクセラレーションデータ並列処理のための集積回路１００の概略図である。少なくとも幾つかの実施形態において、集積回路１００は、図１に示されるようにプログラミングされているフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）である。少なくとも幾つかの実施形態において、集積回路１００は、図１に示されるように専用回路を備える特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）である。集積回路１００は、データバス１０２、汎用コントローラ１０４、外部メモリインタフェース１０６、計算ユニット１１０などの複数の計算ユニット、及び、メモリバンク１２０などの複数のメモリバンクを備える。

【0021】

データバス１０２は、計算ユニット、メモリバンク、及び外部メモリインタフェース１０６を接続する複数のインターコネクトを有する。少なくとも幾つかの実施形態において、データバス１０２は、任意の計算ユニット又は外部メモリインタフェース１０６から任意のメモリバンクへの値の伝送を促進するように構成されている。少なくとも幾つかの実施形態において、データバス１０２は、任意のメモリバンクから任意の計算ユニット又は外部メモリインタフェース１０６への値の伝送を促進するように構成されている。少なくとも幾つかの実施形態において、データバス１０２は、パッシブインターコネクトを有する。

【0022】

少なくとも幾つかの実施形態において、集積回路１００は、ニューラルネットワーク推論を実行するための命令を受信するように構成された、汎用コントローラ１０４などのコントローラを備える。汎用コントローラ１０４は、集積回路１００にニューラルネットワーク推論を実行させるための命令を実行するように構成された回路を有する。少なくとも幾つかの実施形態において、汎用コントローラ１０４は、ホストプロセッサからコンパイルされた命令を受信するように構成されている。少なくとも幾つかの実施形態において、コンパイルされた命令は、動作のスケジュール、各動作を実行するための指定された計算ユニット、中間データを記憶するための指定されたメモリバンク及びアドレス、及び、集積回路がニューラルネットワーク推論を実行するために必要とされる任意の他の詳細を含む。

【0023】

外部メモリインタフェース１０６は、メモリバンク及び計算ユニットが外部メモリとデータを交換することを可能にするように構成された回路を含む。少なくとも幾つかの実施形態において、外部メモリは、ホストプロセッサと通信するＤＲＡＭメモリである。少なくとも幾つかの実施形態において、集積回路１００がニューラルネットワーク推論用のデータの小さな作業部分を記憶する一方で、ＤＲＡＭメモリは当該データの残りを記憶する。

【0024】

計算ユニット１１０などの計算ユニットは、メモリバンクに記憶された入力値及び記憶された重み値に対する数学演算を実行するように構成された回路を有する。少なくとも幾つかの実施形態において、計算ユニットは、部分和をメモリバンクに出力する。少なくとも幾つかの実施形態において、計算ユニットは、メモリバンクに記憶された既存の部分和を用いて累積を実行する。少なくとも幾つかの実施形態において、計算ユニットは、深さ単位畳み込み又は点単位畳み込みを実行するように構成された少なくとも１つのプロセッサを有する。少なくとも幾つかの実施形態において、計算ユニットは、ＭｏｂｉｌｅＮｅｔアーキテクチャにおける反転残差ブロック（Ｉｎｖｅｒｔｅｄ Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋｓ）などの、深さ単位畳み込み及び点単位畳み込み層の組み合わせをサポートする汎用畳み込みプロセッサを有する。少なくとも幾つかの実施形態において、計算ユニットは、ディープネットワーク又は任意の他のタイプのニューラルネットワークの推論のための他の動作を実行するように構成されたプロセッサを有する。少なくとも幾つかの実施形態において、集積回路１００は複数の計算ユニットを備え、複数の計算ユニットのうちの各計算ユニットは、入力データ値及び重み値に対する数学演算を実行して、結果データ値を生成するように構成された回路を含むプロセッサ、及び、計算コントローラを有する。少なくとも幾つかの実施形態において、計算ユニットは図２において示されるように構成され、これについては以下で説明される。

【0025】

メモリバンク１２０などのメモリバンクは、データを記憶するように構成された回路を有する。少なくとも幾つかの実施形態において、メモリバンクは、揮発性データストレージを有する。少なくとも幾つかの実施形態において、集積回路１００は複数のメモリバンクを備え、複数のメモリバンクのうちの各メモリバンクは、値を記憶し、記憶された値を伝送するように構成されている。少なくとも幾つかの実施形態において、メモリバンクは図２において示されるように構成され、これについては以下で説明される。

【0026】

図２は、本発明の少なくとも１つの実施形態による、ニューラルネットワークハードウェアアクセラレーションデータ並列処理のための集積回路における計算ユニット及びメモリバンク相互接続の概略図である。図２は、データバス２０２を通じて接続された計算ユニット２１０及びメモリユニット２２２を示す。

【0027】

計算ユニット２１０は、プロセッサ２１２、マルチプレクサ２１４、及び計算コントローラ２１６を有する。少なくとも幾つかの実施形態において、プロセッサ２１２は、数学演算を実行するように構成された回路を含む。少なくとも幾つかの実施形態において、プロセッサ２１２は、点単位畳み込み又は深さ単位畳み込みなどの畳み込み演算を実行するように構成されている。少なくとも幾つかの実施形態において、プロセッサ２１２は、点単位畳み込み又は深さ単位畳み込みを実行するように構成されている。少なくとも幾つかの実施形態において、プロセッサ２１２は、高さ（ＫＨ）×幅（ＫＷ）のカーネルサイズ、鉛直及び水平ストライド、拡張、パディング等のような、数学演算の異なるパラメータについて直接のサポートを提供するように構成されている。プロセッサ２１２は、マルチプレクサ２１４を通じてデータバス２０２に接続されたデータ入力を含み、かつ、データバス２０２に接続されたデータ出力を含む。

【0028】

マルチプレクサ２１４は、データバス２０２からの複数の入力、及び、プロセッサ２１２からの単一の出力を含む。少なくとも幾つかの実施形態において、マルチプレクサ２１４は、データバス２０２からプロセッサ２１２へのデータ入力接続を選択するように構成されている。少なくとも幾つかの実施形態において、マルチプレクサ２１４は、計算コントローラ２１６からの、信号などの選択命令に応答するように構成されている。少なくとも幾つかの実施形態において、マルチプレクサ２１４は、集積回路内の各メモリバンクに対するデータバス２０２からの入力を含む。少なくとも幾つかの実施形態において、各計算ユニットは、複数のメモリバンクのうちの１つに接続するように構成可能な計算マルチプレクサを含む。少なくとも幾つかの実施形態において、複数のメモリバンクのうちの各メモリバンクは、対応するバンクマルチプレクサを通じて受信された値を記憶するように構成されている。

【0029】

計算コントローラ２１６は、計算ユニット２１０を動作させるように構成された回路を含む。少なくとも幾つかの実施形態において、計算コントローラ２１６は、集積回路の汎用コントローラから信号を受信し、受信された信号に従って計算ユニット２１０を動作させるように構成されている。少なくとも幾つかの実施形態において、計算コントローラ２１６は、マルチプレクサ２１４に、プロセッサ２１２を特定のメモリバンクに接続させ、プロセッサ２１２に、接続されたメモリバンクから１つ又は複数の値を読み出させ、プロセッサ２１２に、当該１つ又は複数の値に対する数学演算を実行させ、次に、プロセッサ２１２に、１つ又は複数のメモリバンクに結果値を記録させる。少なくとも幾つかの実施形態において、計算コントローラ２１６は、複数のメモリバンクのうちのいずれかから入力データ値を受信する、複数のメモリバンクのうちのいずれかから重み値を受信する、プロセッサに数学演算を実行させる、及び、結果データ値の単一の伝送が少なくとも２つのメモリバンクによって実質的に同様の時刻に受信されるよう、複数のメモリバンクのうちの少なくとも２つのメモリバンクに結果データ値を伝送する、ように構成されている。
少なくとも幾つかの実施形態において、計算コントローラ２１６は、少なくとも２つのメモリバンクの各々に対してロックを設定するように更に構成されている。少なくとも幾つかの実施形態において、計算コントローラ２１６は、少なくとも２つのメモリバンクのうちの１つ又は複数についてバンクオフセットを適用するように更に構成されている。少なくとも幾つかの実施形態において、計算コントローラ２１６は、少なくとも２つのメモリバンクのうちの１つ又は複数についてバンクオフセットを適用するように更に構成されている。少なくとも幾つかの実施形態において、計算コントローラ２１６は、少なくとも２つのメモリバンクの各々に対するロックを解除するように更に構成されている。少なくとも幾つかの実施形態において、計算コントローラ２１６は、複数の計算ユニットのうちの第２の計算ユニットを同期させて、入力データ値又は重み値のうちの一方を受信する、及び、入力データ値又は重み値のうちの一方を記憶するメモリバンクが、計算コントローラ及び第２の計算ユニットによって実質的に同様の時刻に読み出されることになる入力データ値又は重み値のうちの一方の単一の伝送を行うよう、複数のメモリバンクのうちの、入力データ値又は重み値のうちの一方を記憶するメモリバンクから、入力データ値又は重み値のうちの一方を読み出す、ように更に構成されている。

【0030】

メモリユニット２２２は、メモリバンク２２０、マルチプレクサ２２４、及びメモリコントローラ２２６を有する。少なくとも幾つかの実施形態において、メモリバンク２２０は、以下の説明が異なる場合を除き、図１のメモリバンク１２０と実質的に同じ構造を有し、実質的に同じ機能を実行する。マルチプレクサ２２４は、データバス２０２からの複数の入力、及び、メモリバンク２２０への単一の出力を含む。少なくとも幾つかの実施形態において、マルチプレクサ２２４は、データバス２０２からメモリバンク２２０へのデータ入力接続を選択するように構成されている。少なくとも幾つかの実施形態において、マルチプレクサ２２４は、メモリコントローラ２２６からの、信号などの選択命令に応答するように構成されている。少なくとも幾つかの実施形態において、マルチプレクサ２２４は、外部メモリインタフェース、及び集積回路内の各計算ユニットに対するデータバス２０２からの入力を含む。少なくとも幾つかの実施形態において、各バンクマルチプレクサ２２４は、複数の計算ユニットのうちの計算ユニットのうちの１つ又は外部メモリに接続するように構成可能である。

【0031】

メモリコントローラ２２６は、メモリユニット２２２を動作させるように構成された回路を含む。少なくとも幾つかの実施形態において、メモリコントローラ２２６は、集積回路の汎用コントローラから信号を受信し、受信された信号に従ってメモリユニット２２２を動作させるように構成されている。少なくとも幾つかの実施形態において、メモリコントローラ２２６は、計算ユニットから受信された信号に応答してメモリバンク２２０をロックし、メモリバンク２２０に、記録された値を１つ又は複数の計算ユニットに伝送させる。少なくとも幾つかの実施形態において、メモリコントローラ２２６は、マルチプレクサ２２４に、メモリバンク２２０を特定の計算ユニットに接続させ、メモリバンク２２０に、当該接続された計算ユニットから伝送された１つ又は複数の値を記録させる。

【0032】

データバス２０２は、以下の説明が異なる場合を除き、図１のデータバス１０２と実質的に同じ構造を有し、実質的に同じ機能を実行する。データバス２０２は、計算ユニット、メモリバンク、及び外部メモリインタフェースを接続する、インターコネクト２０３などの複数のインターコネクトを有する。インターコネクト２０３は、メモリバンク２２０をマルチプレクサ２１４に接続する。少なくとも幾つかの実施形態において、インターコネクト２０３は、メモリバンク２２０を集積回路内の全ての他の計算ユニットのマルチプレクサに接続する線の一部である。

【0033】

図３は、本発明の少なくとも１つの実施形態による、ニューラルネットワークハードウェアアクセラレーテッド推論についての動作フローである。本動作フローは、ニューラルネットワークハードウェアアクセラレーションデータ並列処理のための方法を提供し得る。少なくとも幾つかの実施形態において、本方法は、図２において示される計算コントローラ２１６又は図１において示される汎用コントローラ１０４など、特定の動作を実行するためのセクションを含むコントローラによって実行される。

【0034】

Ｓ３３０で、受信セクションは、値に対する数学演算を実行するための命令を受信する。少なくとも幾つかの実施形態において、命令は、各値の位置を含み、各位置はメモリバンク識別子、及び、当該メモリバンク内のアドレスによって識別される。少なくとも幾つかの実施形態において、命令は、実行すべき１つ又は複数の数学演算を示す。少なくとも幾つかの実施形態において、命令は、結果値を記録するための１つ又は複数の位置を含み、各位置はメモリバンク識別子、及び、当該メモリバンク内のアドレスによって識別される。
少なくとも幾つかの実施形態において、受信セクションは、集積回路によって、ニューラルネットワークの推論を実行するための命令を受信する。少なくとも幾つかの実施形態において、推論を実行するための命令は、数学演算を実行するための複数の命令を含む。少なくとも幾つかの実施形態において、受信セクションは、計算ユニットによって、推論を実行するための命令に基づき、汎用コントローラから命令を受信する。

【0035】

Ｓ３３２で、取り出しセクション又はそのサブセクションは、データ値を取り出す。少なくとも幾つかの実施形態において、取り出しセクションは、データバスを通じて１つ又は複数のメモリバンクからデータ値を取り出す。少なくとも幾つかの実施形態において、取り出しセクションは、データ値を記憶するメモリバンクに接続するためにマルチプレクサの入力を選択する。少なくとも幾つかの実施形態において、取り出しセクションは、ニューラルネットワーク推論を実行するように構成された集積回路内に備えられた複数の計算ユニットのうちの第１の計算ユニットによって、当該集積回路内に備えられた複数のメモリバンクのうちの、入力データ値を記憶するメモリバンクから入力データ値を取り出す。少なくとも幾つかの実施形態において、取り出しセクションは、第１の計算ユニットに対応する第１のマルチプレクサを、入力データ値を記憶するメモリバンクに接続するように構成する。少なくとも幾つかの実施形態において、データ値の取り出しプロセスは、図８に関して以下で説明されるように実行される。

【0036】

Ｓ３３３で、取り出しセクション又はそのサブセクションは、重み値を取り出す。少なくとも幾つかの実施形態において、取り出しセクションは、データバスを通じて１つ又は複数のメモリバンクから重み値を取り出す。少なくとも幾つかの実施形態において、取り出しセクションは、重み値を記憶するメモリバンクに接続するためにマルチプレクサの入力を選択する。少なくとも幾つかの実施形態において、取り出しセクションは、第１の計算ユニットによって、複数のメモリバンクのうちの、重み値を記憶するメモリバンクから、重み値を取り出す。少なくとも幾つかの実施形態において、取り出しセクションは、重み値を記憶する１つのメモリバンクに接続するために第１のマルチプレクサを構成する。少なくとも幾つかの実施形態において、重み値の取り出しプロセスは、図８に関して以下で説明されるように実行される。

【0037】

Ｓ３３５で、演算セクション又はそのサブセクションは、数学演算を実行する。少なくとも幾つかの実施形態において、演算セクションは、Ｓ３３２で取り出されたデータ値及びＳ３３３で取り出された重み値に対する数学演算を実行する。少なくとも幾つかの実施形態において、演算セクションは、図２におけるプロセッサ２１２などのプロセッサに、数学演算を実行させる。少なくとも幾つかの実施形態において、演算セクションは、第１の計算ユニットによって、入力データ値及び重み値に対する数学演算を実行して、結果データ値を生成する。少なくとも幾つかの実施形態において、演算セクションは、Ｓ３３５における演算の先行する反復の結果データ値及びＳ３３３で取り出された重み値に対する数学演算を実行する。

【0038】

Ｓ３３６で、コントローラ又はそのサブセクションは、Ｓ３３０で受信された命令内の全ての演算が実行されたかどうかを判定する。少なくとも幾つかの実施形態において、Ｓ３３５での演算の結果値は、メモリバンクに記録される前に更なる演算の対象となる。コントローラが、命令が更なる演算を含むと判定した場合、動作フローは、Ｓ３３３における重み値の取り出しに戻る。コントローラが、命令内の全ての演算が実行されたと判定した場合、動作フローは、Ｓ３３８における結果値の伝送に進む。

【0039】

Ｓ３３８で、伝送セクション又はそのサブセクションは、結果値を１つ又は複数のメモリバンクに伝送する。少なくとも幾つかの実施形態において、伝送セクションは、データバスを通じて、１つ又は複数のメモリバンクに結果値を伝送する。少なくとも幾つかの実施形態において、伝送セクションは、計算ユニットに結果値を伝送させる。少なくとも幾つかの実施形態において、伝送セクションは、１つ又は複数のメモリバンクの各対応するメモリユニットのマルチプレクサに、記録のために計算ユニットに接続するよう命令する。少なくとも幾つかの実施形態において、結果値の伝送プロセスは、図４に関して以下で説明されるように実行される。

【0040】

図４は、本発明の少なくとも１つの実施形態による、結果値の伝送についての動作フローである。動作フローは、図３におけるＳ３３８で実行される動作など、結果値を伝送するための方法を提供し得る。少なくとも幾つかの実施形態において、本方法は、図２において示される計算コントローラ２１６又は図１において示される汎用コントローラ１０４などのコントローラの伝送セクションによって実行される。

【0041】

Ｓ４４０で、伝送セクション又はそのサブセクションは、伝送が結果値の１つ又は複数の重複を記録することを伴うかどうかを判定する。少なくとも幾つかの実施形態において、コントローラによって受信される命令は、重複記録を伴う伝送のための１つよりも多くのメモリ位置を示す。コントローラが、伝送が重複記録を伴わないと判定した場合、動作フローはＳ４４２における単一のバンクロックに進む。コントローラが、伝送が重複記録を伴うと判定した場合、動作フローはＳ４４５における複数のバンクロックに進む。

【0042】

Ｓ４４２で、伝送セクション又はそのサブセクションは、結果値が記録されることになる単一のメモリバンクをロックする。少なくとも幾つかの実施形態において、伝送セクションは、単一のメモリバンクに対してロックを設定する。少なくとも幾つかの実施形態において、伝送セクションは、対応するメモリユニットのメモリコントローラに、計算ユニットからの記録のためにメモリバンクをロックするよう命令する。

【0043】

Ｓ４４３で、伝送セクション又はそのサブセクションは、結果値が記録されることになる単一のメモリバンクにバンクオフセットを設定する。少なくとも幾つかの実施形態において、伝送セクションは、単一のメモリバンクについてバンクオフセットを適用する。少なくとも幾つかの実施形態において、命令は、１つ又は複数のバンクオフセットを含み、各バンクオフセットは、集積回路内のメモリバンクに対応する。単一のメモリバンクが命令内のバンクオフセットに関連付けられることに応答して、少なくとも幾つかの実施形態において、伝送セクションは、結果値が指定されたアドレスに記録されるよう、当該バンクオフセットに基づきメモリバンク内のアドレスを調整する。

【0044】

Ｓ４４５で、伝送セクション又はそのサブセクションは、結果値が記録されることになる複数のメモリバンクをロックする。少なくとも幾つかの実施形態において、伝送セクションは、少なくとも２つのメモリバンクの各々に対してロックを設定する。少なくとも幾つかの実施形態において、伝送セクションは、各対応するメモリユニットのメモリコントローラに、計算ユニットからの記録のためにメモリバンクをロックするよう命令する。

【0045】

Ｓ４４６で、伝送セクション又はそのサブセクションは、結果値が記録されることになる複数のメモリバンクにバンクオフセットを設定する。少なくとも幾つかの実施形態において、伝送セクションは、少なくとも２つのメモリバンクのうちの１つ又は複数についてバンクオフセットを適用する。少なくとも幾つかの実施形態において、命令は、１つ又は複数のバンクオフセットを含み、各バンクオフセットは、集積回路内のメモリバンクに対応する。メモリバンクのうちの１つ又は複数が命令内のバンクオフセットに関連付けられることに応答して、少なくとも幾つかの実施形態において、伝送セクションは、結果値が指定されたアドレスに記録されるよう、当該関連付けられたバンクオフセットに基づきそれらのメモリバンク内のアドレスを調整する。

【0046】

Ｓ４４８で、伝送セクション又はそのサブセクションは、Ｓ４４２又はＳ４４５で結果値を受信するようにロックされた１つ又は複数のバンクに結果値を伝送する。少なくとも幾つかの実施形態において、伝送セクションは、計算ユニットに結果値を伝送させる。少なくとも幾つかの実施形態において、伝送セクションは、第１の計算ユニットが結果データ値の単一の伝送を行い、これが少なくとも２つのメモリバンクによって実質的に同様の時刻に受信されるよう、第１の計算ユニットにより、複数のメモリバンクのうちの少なくとも２つのメモリバンクに結果データ値を伝送する。少なくとも幾つかの実施形態において、伝送セクションは、第１の計算ユニットにより、結果データ値を単一のメモリバンクに伝送する。

【0047】

Ｓ４４９で、伝送セクション又はそのサブセクションは、Ｓ４４２又はＳ４４５でロックされた１つ又は複数のバンクのロックを解除する。少なくとも幾つかの実施形態において、伝送セクションは、各対応するメモリユニットのメモリコントローラに、メモリバンクのロックを解除するよう命令する。少なくとも幾つかの実施形態において、伝送セクションは、少なくとも２つのメモリバンクの各々に対するロックを解除する。

【0048】

図５は、本発明の少なくとも１つの実施形態による、データ並列記録中の計算ユニット及びメモリバンク相互接続の概略図である。本図は、データバス５０２、計算ユニット５１０、メモリバンク５２０Ａ、及びメモリバンク５２０Ｂを含む集積回路５００を有する。データバス５０２、計算ユニット５１０、及びメモリバンク５２０Ａ及び５２０Ｂは、以下で説明が異なる場合を除き、それぞれ図１のデータバス１０２、計算ユニット１１０、及びメモリバンク１２０と実質的に同じ構造を有し、実質的に同じ機能を実行する。

【0049】

データ並列記録中に、複数のメモリバンクが結果値をその上に記録するように指定されている図４のＳ４４８における動作のように、結果値が複数のメモリバンクに伝送される。推論中に、計算ユニット５１０がメモリバンク５２０Ａ及びメモリバンク５２０Ｂに結果値を記録するよう命令される少なくとも幾つかの実施形態において、伝送セクションは、メモリバンク５２０Ａ及びメモリバンク５２０Ｂの各対応するメモリユニットのマルチプレクサに、記録のために計算ユニット５１０に接続するよう命令する。少なくとも幾つかの実施形態において、図５に示されるデータバス５０２を通じた相互接続は、計算ユニット５１０からの出力をメモリバンク５２０Ａ及びメモリバンク５２０Ｂにルーティングする。従って、計算ユニット５１０からの単一の伝送は、メモリバンク５２０Ａ及びメモリバンク５２０Ｂの両方によって受信される。少なくとも幾つかの実施形態において、伝送は、メモリバンク５２０Ｂによって同じ伝送が受信されるのと実質的に同様の時刻にメモリバンク５２０Ａによって受信される。少なくとも幾つかの実施形態において、メモリバンク５２０Ａ及びメモリバンク５２０Ｂの間における同じ伝送の受信の時間差は、計算ユニット５１０及びそれぞれのメモリバンクの間の物理的距離の差に起因する。少なくとも幾つかの実施形態において、受信の時間差は無視できるものである。少なくとも幾つかの実施形態において、受信の時間差に起因する伝送の受信におけるエラーは、集積回路のクロックタイムを短縮することによって解消される。

【0050】

図６は、本発明の少なくとも１つの実施形態による、共通メモリバンクからの読み出しの間における計算ユニットの動作及び時刻のグラフである。水平軸は計算ユニットを表し、一方、垂直軸は時刻を表す。

【0051】

Ｔ_０で、第１の計算ユニット６１０Ａは、６６０Ａ、６６２Ａ、６６４Ａ、６６６Ａ及び６６８Ａを含む一連の動作の実行を開始する。６６０Ａで、第１の計算ユニット６１０Ａは、第１の入力データ値を記憶するメモリバンクから第１の入力データ値を受信する。６６２Ａで、第１の計算ユニット６１０Ａは、重み値を記憶する第１のメモリバンクをロックする。６６４Ａで、第１の計算ユニット６１０Ａは、第１のメモリバンクから重み値を受信する。６６６Ａで、第１の計算ユニット６１０Ａは、第１の入力データ値及び重み値に対する計算を実行する。６６８Ａで、第１の計算ユニット６１０Ａは、第１のメモリバンクを解放する。Ｔ_２で、第１の計算ユニット６１０Ａによって実行される一連の動作が完了する。

【0052】

Ｔ_１で、第２の計算ユニット６１０Ｂは、６６０Ｂ、６６２Ｂ、６６４Ｂ、６６６Ｂ及び６６８Ｂを含む一連の動作の実行を開始する。６６０Ｂで、第２の計算ユニット６１０Ｂは、第２の入力データ値を記憶するメモリバンクから第２の入力データ値を受信する。少なくとも幾つかの実施形態において、６６０Ａ及び６６０Ｂにおける動作は同時に実行され、すなわち、Ｔ_０＝Ｔ_１である。少なくとも幾つかの実施形態において、６６０Ａにおける動作の実行及び６６０Ｂにおける動作の実行の間に遅延が存在する。少なくとも幾つかの実施形態において、第２の計算ユニット６１０Ｂが第２の入力データ値を記憶するメモリバンクから第２の入力データ値を受信すると、第２の計算ユニット６１０Ｂは次に、重み値の取り出しに移行する。しかしながら、重み値を記憶する第１のメモリバンクが第１の計算ユニット６１０Ａにロックされている間、第２の計算ユニット６１０Ｂは第１のメモリバンクから重み値を取り出すことができない。少なくとも幾つかの実施形態において、第２の計算ユニット６１０Ｂは、第１の計算ユニット６１０Ａが第１のメモリバンクに対するロックを解除するまで待機して、第１のメモリバンクから重み値を取り出す。

【0053】

Ｔ_２で、第２の計算ユニット６１０Ｂは、６６２Ｂで一連の動作の実行を継続する。６６２Ｂで、第２の計算ユニット６１０Ｂは、第１のメモリバンクをロックする。６６４Ｂで、第２の計算ユニット６１０Ｂは、第１のメモリバンクから重み値を受信する。６６６Ｂで、第２の計算ユニット６１０Ｂは、第２の入力データ値及び重み値に対する計算を実行する。６６８Ｂで、第２の計算ユニット６１０Ｂは、第１のメモリバンクを解放する。２つの計算ユニットが同じメモリバンクに記憶された同じ値に対して演算を実行する少なくとも幾つかの実施形態において、使用される時間の総量は、１つの計算ユニットが演算を実行するために使用する時間の量のほぼ２倍である。

【0054】

図７は、本発明の少なくとも１つの実施形態による、別個のメモリバンクからの読み出しの間における計算ユニットの動作及び時刻のグラフである。水平軸は計算ユニットを表し、一方、垂直軸は時刻を表す。

【0055】

Ｔ_０で、第１の計算ユニット７１０Ａは、７６０Ａ、７６２Ａ、７６４Ａ、７６６Ａ及び７６８Ａを含む一連の動作の実行を開始する。７６０Ａで、第１の計算ユニット７１０Ａは、第１の入力データ値を記憶するメモリバンクから第１の入力データ値を受信する。７６２Ａで、第１の計算ユニット７１０Ａは、重み値を記憶する第１のメモリバンクをロックする。７６４Ａで、第１の計算ユニット７１０Ａは、第１のメモリバンクから重み値を受信する。７６６Ａで、第１の計算ユニット７１０Ａは、第１の入力データ値及び重み値に対する計算を実行する。７６８Ａで、第１の計算ユニット７１０Ａは、第１のメモリバンクを解放する。Ｔ_２で、第１の計算ユニット７１０Ａによって実行される一連の動作が完了する。

【0056】

Ｔ_１で、第２の計算ユニット７１０Ｂは、７６０Ｂ、７６２Ｂ、７６４Ｂ、７６６Ｂ及び７６８Ｂを含む一連の動作の実行を開始する。７６０Ｂで、第２の計算ユニット７１０Ｂは、第２の入力データ値を記憶するメモリバンクから第２の入力データ値を受信する。少なくとも幾つかの実施形態において、７６０Ａ及び７６０Ｂにおける動作は同時に実行され、すなわち、Ｔ_０＝Ｔ_１である。少なくとも幾つかの実施形態において、７６０Ａにおける動作の実行及び７６０Ｂにおける動作の実行の間に遅延が存在する。少なくとも幾つかの実施形態において、第２の計算ユニット７１０Ｂが第２の入力データ値を記憶するメモリバンクから第２の入力データ値を受信すると、第２の計算ユニット７１０Ｂは次に、重み値の取り出しに移行する。少なくとも幾つかの実施形態において、重み値を記憶する第１のメモリバンクは第１の計算ユニット７１０Ａにロックされているが、第２の計算ユニット７１０Ｂは、第１の計算ユニット７１０Ａが第１のメモリバンクに対するロックを解除するまで待機することなく、第２のメモリバンクから重み値を取り出す。

【0057】

７６２Ｂで、第２の計算ユニット７１０Ｂは、第２のメモリバンクをロックする。７６４Ｂで、第２の計算ユニット７１０Ｂは、第２のメモリバンクから重み値を受信する。７６６Ｂで、第２の計算ユニット７１０Ｂは、第２の入力データ値及び重み値に対する計算を実行する。７６８Ｂで、第２の計算ユニット７１０Ｂは、第２のメモリバンクを解放する。２つの計算ユニットが別個のメモリバンクに記憶された同じ値に対して演算を実行する少なくとも幾つかの実施形態において、使用される時間の総量は僅かである、又は、１つの計算ユニットが演算を実行するために使用する時間の量以下である。少なくとも幾つかの実施形態において、複数のメモリバンクが結果値をその上に記録するように指定されている図４のＳ４４８における動作のように、結果値が複数のメモリバンクに伝送されるデータ並列記録は、２つの計算ユニットが別個のメモリバンクに記憶された同じ値に対して演算を実行することを可能にし、それにより、ニューラルネットワーク推論を完了させるために集積回路によって使用される全体の時間を短縮する。少なくとも幾つかの実施形態において、データ並列処理は、ダークシリコンを削減する。

【0058】

図８は、本発明の少なくとも１つの実施形態による、値の取り出しについての動作フローである。動作フローは、図３におけるＳ３３２又はＳ３３３で実行される動作など、値を取り出すための方法を提供し得る。少なくとも幾つかの実施形態において、本方法は、図２において示される計算コントローラ２１６又は図１において示される汎用コントローラ１０４などのコントローラの取り出しセクションによって実行される。

【0059】

Ｓ８７０で、取り出しセクション又はそのサブセクションは、一次計算ユニットがメモリバンクから値を取り出すことによって引き起こされるメモリバンクからの伝送を二次計算ユニットが読み出すことができるよう、取り出しがブロードキャストを伴うかどうかを判定する。少なくとも幾つかの実施形態において、コントローラによって受信される命令は、重複読み出しを伴う取り出しのための１つよりも多くの計算ユニットを示す。コントローラが、伝送が重複読み出しを伴わないと判定した場合、動作フローはＳ８７４におけるバンクロックに進む。コントローラが、伝送が重複読み出しを伴うと判定した場合、動作フローはＳ８７２における計算ユニット同期化に進む。

【0060】

Ｓ８７２で、取り出しセクション又はそのサブセクションは、計算ユニットを同期させる。少なくとも幾つかの実施形態において、取り出しセクションは、二次計算ユニットを一次計算ユニットと同期させる。少なくとも幾つかの実施形態において、取り出しセクションは、第２の計算ユニットを同期させて、入力データ値及び重み値のうちの一方を読み出す。少なくとも幾つかの実施形態において、取り出しセクションは、二次計算ユニットに、値を読み出すための準備をするよう命令する。少なくとも幾つかの実施形態において、取り出しセクションは、メモリバンクからの二次計算ユニットの物理的距離が、メモリバンクからの一次計算ユニットの物理的距離と著しく異なる場合に、二次計算ユニットについてタイミングオフセットを適用する。

【0061】

Ｓ８７４で、取り出しセクション又はそのサブセクションは、値が読み出されることになるメモリバンクをロックする。少なくとも幾つかの実施形態において、取り出しセクションは、一次計算ユニット及び二次計算ユニットの両方に関してメモリバンクに対するロックを設定する。少なくとも幾つかの実施形態において、伝送セクションは、対応するメモリユニットのメモリコントローラに、一次計算ユニット及び二次計算ユニットの両方による値の取り出しのためにメモリバンクをロックするよう命令する。

【0062】

Ｓ８７５で、取り出しセクション又はそのサブセクションは、値が読み出されることになるメモリバンクにバンクオフセットを設定する。少なくとも幾つかの実施形態において、取り出しセクションは、メモリバンクについてバンクオフセットを適用する。少なくとも幾つかの実施形態において、命令は、１つ又は複数のバンクオフセットを含み、各バンクオフセットは、集積回路内のメモリバンクに対応する。メモリバンクが命令内のバンクオフセットに関連付けられることに応答して、少なくとも幾つかの実施形態において、取り出しセクションは、値が指定されたアドレスから読み出されるよう、当該バンクオフセットに基づきメモリバンク内のアドレスを調整する。

【0063】

Ｓ８７７で、取り出しセクション又はそのサブセクションは、メモリバンクから値を読み出す。少なくとも幾つかの実施形態において、取り出しセクションは、一次計算ユニットに、メモリバンクから値を読み出させる。少なくとも幾つかの実施形態において、取り出しセクションは、入力データ値又は重み値のうちの一方を記憶するメモリバンクが、第１の計算ユニット及び第２の計算ユニットによって実質的に同様の時刻に読み出される入力データ値又は重み値のうちの一方の単一の伝送を行うよう、第１の計算ユニットによって、複数のメモリバンクのうちの、入力データ値又は重み値のうちの一方を記憶するメモリバンクから、入力データ値又は重み値のうちの一方を読み出す。

【0064】

Ｓ８７９で、取り出しセクション又はそのサブセクションは、Ｓ８７４でロックされたメモリバンクのロックを解除する。少なくとも幾つかの実施形態において、取り出しセクションは、対応するメモリユニットのメモリコントローラに、メモリバンクのロックを解除するよう命令する。少なくとも幾つかの実施形態において、取り出しセクションは、メモリバンクに対するロックを解除する。

【0065】

図９は、本発明の少なくとも１つの実施形態による、データ並列読み出し中の計算ユニット及びメモリバンク相互接続の概略図である。本図は、データバス９０２、計算ユニット９１０Ａ、計算ユニット９１０Ｂ、及びメモリバンク９２０を含む集積回路９００を有する。データバス９０２、計算ユニット９１０Ａ及び９１０Ｂ、及びメモリバンク９２０は、以下で説明が異なる場合を除き、それぞれ図１のデータバス１０２、計算ユニット１１０、及びメモリバンク１２０と実質的に同じ構造を有し、実質的に同じ機能を実行する。

【0066】

複数の計算ユニットが値を読み出すように指定されている図８のＳ８７７における動作のように、データ並列読み出しプロセス中に、複数の計算ユニットからの単一のメモリバンクから値が読み出される。推論中に、計算ユニット９１０Ａによって値が読み出されるときにメモリバンク９２０から値の伝送を受信するために、計算ユニット９１０Ａが計算ユニット９１０Ｂと同期するよう命令される少なくとも幾つかの実施形態において、伝送セクションは、計算ユニット９１０Ａ及び計算ユニット９１０Ｂの各々のマルチプレクサに、読み出しのためにメモリバンク９２０に接続するよう命令する。少なくとも幾つかの実施形態において、図９に示されるデータバス９０２を通じた相互接続は、メモリバンク９２０からの出力を計算ユニット９１０Ａ及び計算ユニット９１０Ｂにルーティングする。従って、メモリバンク９２０からの単一の伝送は、計算ユニット９１０Ａ及び計算ユニット９１０Ｂの両方によって受信される。少なくとも幾つかの実施形態において、伝送は、計算ユニット９１０Ｂによって同じ伝送が受信されるのと実質的に同様の時刻に計算ユニット９１０Ａによって受信される。少なくとも幾つかの実施形態において、計算ユニット９１０Ａ及び計算ユニット９１０Ｂの間における同じ伝送の受信の時間差は、メモリバンク９２０及びそれぞれの計算ユニットの間の物理的距離の差に起因する。少なくとも幾つかの実施形態において、受信の時間差は無視できるものである。少なくとも幾つかの実施形態において、受信の時間差に起因する伝送の受信におけるエラーは、集積回路のクロックタイムを短縮することによって解消される。

【0067】

図１０Ａは、本発明の実施形態による、深さ単位畳み込みプロセッサ１０１２の例示的な構成を示す。深さ単位畳み込みプロセッサ１０１２は、キュー１０１２Ｑ、主シーケンサ１０１２ＭＳ、窓シーケンサ１０１２ＷＳ、活性化フィーダ１０１２ＡＦ、重み付けフィーダ１０１２ＷＦ、パイプラインコントローラ１０１２ＰＣ、畳み込みパイプライン１０１２ＣＰ、外部累積ロジック１０１２Ａ及び累積メモリインタフェース１０１２ＡＩを含む。

【0068】

キュー１０１２Ｑは、命令を受信及び送信する。キュー１０１２Ｑは、図２の計算コントローラ２１６などの計算コントローラから命令を受信して、主シーケンサ１０１２ＭＳに当該命令を送信し得る。キュー１０１２Ｑは、ＦＩＦＯメモリ、又は命令をキューイングするのに好適な任意の他のメモリであり得る。

【0069】

主シーケンサ１０１２ＭＳは、畳み込みのための制御パラメータをシーケンスする。主シーケンサ１０１２ＭＳは、キュー１０１２Ｑから命令を受信し、窓シーケンサ１０１２ＷＳに命令を出力し得る。主シーケンサ１０１２ＭＳは、ＫＨｘＫＷの畳み込みを１ｘ＜窓＞のサイズのより小さな畳み込みに分割し、カーネル内の入力領域の順序に従って活性化データ及び重み値についての命令を準備する。ここで＜窓＞は線バッファ長を決定するアーキテクチャーパラメータを指す。

【0070】

窓シーケンサ１０１２ＷＳは、１つの１ｘ＜窓＞畳み込みのための制御パラメータをシーケンスする。窓シーケンサ１０１２ＷＳは、主シーケンサ１０１２ＭＳから命令を受信して、カーネル内の入力領域の順序に従った活性化データのデータシーケンスを活性化フィーダ１０１２ＡＦに、及び、カーネル内の入力領域の順序に従った重み値のデータシーケンスを重み付けフィーダ１０１２ＷＦに出力してよい。

【0071】

活性化フィーダ１０１２ＡＦは、データメモリインタフェース１０１２ＤＩを通じてメモリバンクからアクセスされた活性化データを、窓シーケンサ１０１２Ｓからのデータシーケンスにおいて示された活性化データに従って畳み込みパイプライン１０１２ＣＰに供給する。活性化フィーダ１０１２ＡＦは、１ｘ＜窓＞計算のために十分な活性化データを、メモリバンクから畳み込みパイプライン１０１２ＣＰの線バッファに読み出し得る。

【0072】

重み付けフィーダ１０１２ＷＦは、窓シーケンサ１０１２Ｓからのデータシーケンスにおいて示された重み値に従って、重み付けメモリインタフェース１０１２ＷＩを通じてメモリバンクからアクセスされた重み値を畳み込みパイプライン１０１２ＣＰにプリロードする。重み付けフィーダ１０１２ＷＦは、１ｘ＜窓＞計算のために十分な重み値を、重み付けメモリから畳み込みパイプライン１０１２ＣＰの重み付けバッファ内に読み出し得る。

【0073】

パイプラインコントローラ１０１２ＰＣは、畳み込みパイプライン１０１２ＣＰのデータ転送動作を制御する。現在の活性化バッファコンテンツが処理されると、パイプラインコントローラ１０１２ＰＣは、線バッファから畳み込みパイプライン１０１２ＣＰの活性化バッファへのデータの複製を開始し得る。パイプラインコントローラ１０１２ＰＣは、畳み込みパイプライン１０１２ＣＰの各チャネルパイプライン１０１２ＣＨによって実行される畳み込み計算を制御してよく、ここで、各チャネルパイプライン１０１２ＣＨは、深さ単位畳み込み層への入力の１つのチャネル上で動作する。

【0074】

畳み込みパイプライン１０１２ＣＰは、活性化フィーダ１０１２ＡＦから供給された活性化データ及び重み付けフィーダ１０１２ＷＦからプリロードされた重み値に対する数学演算を実行する。畳み込みパイプライン１０１２ＣＰは、チャネルパイプライン１０１２ＣＨに分割され、各チャネルパイプライン１０１２ＣＨは、１つのチャネルに対する数学演算を実行する。活性化フィーダ１０１２ＡＦ、重み付けフィーダ１０１２ＷＦ及びパイプラインコントローラ１０１２ＰＣと組み合わせて、畳み込みパイプラインは畳み込み計算を論理的に実行する。

【0075】

外部累積ロジック１０１２Ａは、畳み込みパイプライン１０１２ＣＰからデータを受信し、累積メモリインタフェース１０１２ＡＩを通じて、メモリバンクに当該データを記憶する。累積ロジック１０１２Ａは、各チャネルパイプライン１０１２ＣＨについての加算器１０１２Ｐを含む。累積ロジック１０１２Ａは、メモリバンクのコンテンツによる１ｘ＜窓＞畳み込みの結果の点単位の総和について使用され得る。

【0076】

この実施形態において、３つの窓パイプラインによって例示された３つのチャネルが存在する。しかしながら、他の実施形態は異なる数のチャネルを有してよい。可能ではあるが、この実施形態では主として簡潔にするために３つのチャネルを示している。多くの実施形態は、現実的なアプリケーションに対応すべく少なくとも１６チャネルを含む。

【0077】

図１０Ｂは、本発明の実施形態による、深さ単位畳み込みプロセッサについてのチャネル毎パイプラインの例示的な構成を示す。チャネルパイプライン１０１２ＣＨは、線バッファ１０１２ＬＢ、活性化バッファ１０１２ＡＢ、重み付けバッファ１０１２ＷＢ、複数の乗算器１０１２Ｘ、複数の加算器１０１２Ｐ、遅延レジスタ１０１２ＤＲ及び内部累積レジスタ１０１２ＮＢを含む。

【0078】

線バッファ１０１２ＬＢは、活性化フィーダ１０１２ＡＦから受信された活性化データを記憶する。線バッファ１０１２ＬＢは、活性化フィーダ１０１２ＡＦによって１サイクル当たり１ピクセルで読み出された活性化データを記憶するシフトレジスタを含んでよい。

【0079】

活性化バッファ１０１２ＡＢは、線バッファ１０１２ＬＢから受信された活性化データを記憶する。活性化バッファ１０１２ＡＢは、現行の畳み込み計算が適用される活性化データを記憶するレジスタのセットを含んでよい。

【0080】

重み付けバッファ１０１２ＷＢは、重み付けフィーダ１０１２ＷＦから受信された重み値を記憶する。重み付けバッファ１０１２ＷＢは、現行の畳み込み計算が適用される重み値を記憶するシフトレジスタを含んでよい。

【0081】

乗算器１０１２Ｘは、活性化バッファ１０１２ＡＢからの活性化データに重み付けバッファ１０１２ＷＢからの重み値を乗算する。この実施形態において、３つの乗算器１０１２Ｘが存在し、これは畳み込みカーネルの幅又は高さ次元の並列度が３であることを意味する。集合的に加算木を形成する加算器１０１２Ｐは、次に、活性化データ及び重み値の積を共に加算する。このプロセスの間、同じく加算木の一部とみなされる遅延レジスタ１０１２ＤＲは、加算木を平衡させる。内部累積レジスタ１０１２ＩＡは、部分和を記憶することにより加算を補助する。例えば、内部累積レジスタ１０１２ＩＡは、この実施形態においては６つであるバッファの窓の数並びに畳み込みフィルタの幅又は高さが、３である並列度よりも多いときに、部分和の累積のために使用されてよい。

【0082】

積が総和として全て共に加算されると、当該総和は累積ロジック１０１２Ａに出力され、これは次に、累積メモリインタフェース１０１２ＡＩを通じてメモリバンクにデータを記憶する。

【0083】

図１１は、本発明の実施形態による、点単位畳み込みプロセッサの例示的な構成を示す。点単位畳み込みプロセッサ１１１２は、キュー１１１２Ｑ、主シーケンサ１１１２Ｓ、重み付けメモリインタフェース１１１２ＷＩ、重み付けフィーダ１１１２ＷＦ、重み付けメモリインタフェース１１１２ＷＩ、活性化フィーダ１１１２ＡＦ、データメモリインタフェース１１１２ＤＩ、シストリックアレイ１１１２Ｓ、累積ロジック１１１２Ａ及び累積メモリインタフェース１１１２ＡＩを含む。

【0084】

キュー１１１２Ｑは、命令を受信及び送信する。キュー１１１２Ｑは、図２の計算コントローラ２１６などの計算コントローラから命令を受信して、主シーケンサ１１１２Ｓに当該命令を送信し得る。キュー１１１２Ｑは、ＦＩＦＯメモリ、又は、命令をキューイングするのに好適な任意の他のメモリであり得る。

【0085】

主シーケンサ１１１２Ｓは、畳み込みのための制御パラメータをシーケンスする。主シーケンサ１１１２Ｓは、キュー１１１２Ｑから命令を受信して、制御シーケンスを重み付けフィーダ１１１２ＷＦ及び活性化フィーダ１１１２ＡＦに、それぞれキューを通じて出力し得る。この実施形態において、主シーケンサ１１１２ＳはＫＨｘＫＷ畳み込みを一連の１ｘ１畳み込みのシーケンスに分割し、これらは制御パラメータとして重み付けフィーダ１１１２ＷＦ及び活性化フィーダ１１１２ＡＦに供給される。

【0086】

重み付けフィーダ１１１２ＷＦは、主シーケンサ１１１２Ｓからの制御パラメータにおいて示された活性化データに従って、重み付けメモリインタフェース１１１２ＷＩを通じてメモリバンクからアクセスされた重み値をシストリックアレイ１１１２ＳＡにプリロードする。

【0087】

活性化フィーダ１１１２ＡＦは、主シーケンサ１１１２Ｓからのデータシーケンスにおいて示された活性化データに従って、メモリバンクからデータメモリインタフェース１１１２ＤＩを通じてアクセスされる活性化データをシストリックアレイ１１１２ＳＡに供給する。

【0088】

シストリックアレイ１１１２ＳＡは、複数のＭＡＣ要素１１１２Ｍを含む。各ＭＡＣ要素１１１２Ｍは、計算開始前に、重み付けフィーダ１１１２ＷＦから重み値をプリロードされ、次に、活性化フィーダ１１１２Ｆから活性化値を受信する。計算及び重み値のプリロードの重複を可能にすべく、複数の重み付けバッファが使用され得る。ＭＡＣ要素１１１２Ｍは、先行するＭＡＣ要素１１１２Ｍから出力された活性化値及び重みの積が後続のＭＡＣ要素１１１２Ｍに入力されるよう、アレイ状に配列される。この実施形態において、あらゆるサイクルについて、各ＭＡＣ要素１１１２Ｍは、その左隣のＭＡＣ要素１１１２Ｍから出力された値にプリロードされた重み値１１１２Ｗを乗算した値に等しい累積値を出力し、その積は、その上隣のＭＡＣ要素１１１２Ｍから出力された値に加算される。最下行のＭＡＣ要素１１１２Ｍは、それらの積を累積ロジック１１１２Ａに出力する。

【0089】

累積ロジック１１１２Ａは、シストリックアレイ１１１２ＳＡから積を受信し、メモリバンクに当該積を記憶する。累積ロジック１１１２Ａは、最下行の各ＭＡＣ要素１１１２Ｍについての加算器１１１２Ｐを含む。この実施形態において、主シーケンサ１１１２Ｓによって必要とされる累積が、書き込まれることになるメモリ位置内の古い値を読み出す場合、累積ロジック１１１２Ａは、それを、新たな値との和によって上書きする。そうでなければ、累積ロジック１１１２Ａは、新たな値をそのまま書き込む。

【0090】

点単位畳み込みモジュール１１１２は、単一のＫＨｘＫＷ畳み込みを複数のＫＨｘＫＷ １ｘ１畳み込み分割することによって点単位畳み込みを実行する上で有用であり得る。例えば、４つの異なる１ｘ１畳み込みに対応するメモリバンクの領域において、２ｘ２畳み込みが置換され得る。点単位畳み込みモジュール１１１２は、各１ｘ１畳み込みを、ＭＡＣ要素における活性化値の行列及びＭＡＣ要素における重み値の行列のドット積として計算し、次に、当該１ｘ１畳み込みの結果を合計し得る。

【0091】

図１０Ａ、図１０Ｂ、及び図１１の畳み込みプロセッサは、畳み込みネットワークの推論を実行するように構成された少なくとも幾つかの実施形態において実装される。他のプロセッサは、他のタイプのディープネットワークを含む他のタイプのニューラルネットワークの推論を実行するように構成された少なくとも幾つかの他の実施形態において使用される。

【0092】

少なくとも幾つかの実施形態は、そのブロックが（１）動作が実行されるプロセスのステップ、又は（２）動作を実行することを担うコントローラのセクション、を表すフローチャート及びブロック図を参照して説明される。少なくとも幾つかの実施形態において、特定のステップ及びセクションは、専用回路、コンピュータ可読媒体の上に記憶されているコンピュータ可読命令を供給されたプログラマブル回路、及び／又はコンピュータ可読媒体上に記憶されるコンピュータ可読命令を供給されたプロセッサによって実装される。少なくとも幾つかの実施形態において、専用回路は、デジタル及び／又はアナログハードウェア回路を含み、集積回路（ＩＣ）及び／又はディスクリート回路を含む。少なくとも幾つかの実施形態において、プログラマブル回路は、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ及び他の論理動作、フリップフロップ、レジスタ、メモリ要素等を含む再構成可能ハードウェア回路、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等を有する。

【0093】

少なくとも幾つかの実施形態において、コンピュータ可読記憶媒体は、命令実行デバイスによる使用のために命令を維持及び記憶できる有形デバイスを含む。幾つかの実施形態において、コンピュータ可読記憶媒体は、例えば、限定されないが、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又は上記の任意の好適な組み合わせを含む。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、リードオンリメモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタルバーサタイルディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリスティック、フロッピディスク、命令がその上に記録されているパンチカード又は溝の中の隆起構造などの機械的にエンコードされたデバイス、及び上記の任意の好適な組み合わせを含む。本明細書で使用される場合、コンピュータ可読記憶媒体は、電波又は自由に伝搬する他の電磁波、導波路又は他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は、ワイヤを通って伝送される電気信号等の一時的な信号それ自体であるものとして解釈されるべきではない。

【0094】

少なくとも幾つかの実施形態において、本明細書で説明されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスへ、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して外部コンピュータ又は外部ストレージデバイスにダウンロード可能である。少なくとも幾つかの実施形態において、ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含む。少なくとも幾つかの実施形態において、各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0095】

少なくとも幾つかの実施形態において、上記で説明された動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、オブジェクト指向プログラミング言語、例えば、Ｓｍａｌｌｔａｌｋ（登録商標）又はＣ＋＋等、及び、従来の手続き型プログラミング言語、例えば、"Ｃ"プログラミング言語又は同様のプログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコード又はオブジェクトコードのいずれかである。少なくとも幾つかの実施形態において、コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行されるか、スタンドアロンのソフトウェアパッケージとして部分的にユーザのコンピュータ上で実行されるか、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で実行されるか、又は、リモートコンピュータ又はサーバ上で完全に実行される。少なくとも幾つかの実施形態において、後者のシナリオにおいては、リモートコンピュータはユーザのコンピュータに、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じて接続される、又は接続は、（例えば、インターネットサービスプロバイダを用いてインターネットを通じて）外部コンピュータに対して行われる。少なくとも幾つかの実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路を適合させるコンピュータ可読プログラム命令の状態情報を利用することにより、コンピュータ可読プログラム命令を実行する。

【0096】

本発明の実施形態が説明されたが、特許請求の範囲に記載のいかなる主題の技術的範囲も、上記で説明された実施形態に限定されない。当業者であれば、上記で説明された実施形態に対する様々な改変及び改良が可能であることを理解するであろう。当業者はまた、特許請求の範囲に記載の範囲からそのような改変又は改良を加えた実施形態が本発明の技術的範囲に含まれることを理解するであろう。

【0097】

特許請求の範囲、実施形態、又は図において示される装置、システム、プログラム、及び方法によって実行される各プロセスの動作、手順、ステップ、及びステージは、その順序が「に先立ち」又は「の前に」等によって示されていない限り、かつ、前のプロセスからの出力が後のプロセスにおいて使用されない限り、任意の順序で実行されることが可能である。特許請求の範囲、実施形態、又は図において、プロセスフローが「最初に」又は「次に」などの語句を用いて説明されている場合でも、そのような説明は、説明された順序においてプロセスが実行されなければならないことを必ずしも意味するものではない。

【0098】

ニューラルネットワークハードウェアアクセラレーションデータ並列処理は、複数のメモリバンク、複数のメモリバンクのうちの各メモリバンクは、値を記憶し、記憶された値を伝送するように構成されている、複数の計算ユニット、複数の計算ユニットのうちの各計算ユニットは、入力データ値及び重み値に対する数学演算を実行して、結果データ値を生成するように構成された回路を含むプロセッサ、及び、値の伝送を１つよりも多くの計算ユニット又はバンクによって受信させるように構成された計算コントローラ、を有する、を備える集積回路によって実行される。

【0099】

上記は、当業者が本開示の態様をより良く理解するように、幾つかの実施形態の特徴を概説したものである。当業者であれば、本開示が、本明細書において導入された実施形態と同じ目的を実行する、及び／又は同じ利点を実現するための他のプロセス及び構造を設計又は修正するための基礎として容易に使用可能であることを理解すべきである。当業者はまた、そのような均等な構成が本開示の趣旨及び範囲から逸脱しないこと、及び、本明細書の様々な変更、置換、及び改変が本開示の趣旨及び範囲から逸脱することなく可能であることを認識すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【国際調査報告】