知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
特表2023-542852ニューラル・ネットワークを用いたシステム、および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-12
(54)【発明の名称】ニューラル・ネットワークを用いたシステム、および方法
(51)【国際特許分類】
G06N 3/063 20230101AFI20231004BHJP
G06N 3/10 20060101ALI20231004BHJP
G06F 15/80 20060101ALI20231004BHJP
G06F 11/16 20060101ALN20231004BHJP
【ＦＩ】
G06N3/063
G06N3/10
G06F15/80
G06F11/16 629
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515696
(86)(22)【出願日】2021-07-27
(85)【翻訳文提出日】2023-03-08
(86)【国際出願番号】 CN2021108743
(87)【国際公開番号】W WO2022068343
(87)【国際公開日】2022-04-07
(31)【優先権主張番号】17/039,559
(32)【優先日】2020-09-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】100091568
【弁理士】
【氏名又は名称】市位 嘉宏
(72)【発明者】
【氏名】アコプヤン、フィリップ
(72)【発明者】
【氏名】アーサー、ジョン、バーノン
(72)【発明者】
【氏名】キャシディ、アンドリュー、ステファン
(72)【発明者】
【氏名】デボール、マイケル、ヴィンセント
(72)【発明者】
【氏名】ディ ノルフォ、カーメロ
(72)【発明者】
【氏名】フリックナー、マイロン ディー
(72)【発明者】
【氏名】クスニッツ、ジェフリー エー
(72)【発明者】
【氏名】モダ、ダルメンドラ エス
(72)【発明者】
【氏名】オルテガ オテロ、カルロス
(72)【発明者】
【氏名】澤田 潤
(72)【発明者】
【氏名】ショー、ベンジャミン ゴードン
(72)【発明者】
【氏名】タバ、ブライアン セイショー
【テーマコード（参考）】
5B034
【Ｆターム（参考）】
5B034AA00
5B034CC01
(57)【要約】
ニューラル・ネットワークを用いたシステムであって、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備え、ニューラル・ネットワーク処理コアがニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合される。活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を含むメモリ・マップが含まれ、さらにニューラル・ネットワーク・プロセッサ・システムと動作可能に接続されるインターフェースが含まれており、インターフェースはホストと通信するように、さらにメモリ・マップを露出するように適合される。
【特許請求の範囲】
【請求項1】
システムであって、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、前記ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合される、ニューラル・ネットワーク・プロセッサ・システムと、
前記活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を備えるメモリ・マップと、
前記ニューラル・ネットワーク・プロセッサ・システムに動作可能に接続されたインターフェースであり、前記インターフェースが、ホストと通信するように、さらに前記メモリ・マップを露出するように適合されるインターフェースと
を備えるシステム。
【請求項2】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供するように構成される、請求項１に記載のシステム。
【請求項3】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してＡＰＩを露出し、前記ＡＰＩは、前記インターフェースを介して前記ニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供するための方法を含む、請求項２に記載のシステム。
【請求項4】
前記インターフェースは、ＡＸＩ、ＰＣＩｅ、ＵＳＢ、イーサネット（Ｒ）、またはファイアワイヤ・インターフェースを含む、請求項１に記載のシステム。
【請求項5】
冗長ニューラル・ネットワーク処理コアをさらに備えており、前記冗長ニューラル・ネットワーク処理コアが、前記ニューラル・ネットワーク処理コアと並列してニューラル・ネットワーク・モデルを計算するように構成される、請求項１に記載のシステム。
【請求項6】
前記ニューラル・ネットワーク・プロセッサ・システムが、ニューラル・ネットワーク・モデルの冗長計算を提供するように構成される、請求項１に記載のシステム。
【請求項7】
前記ニューラル・ネットワーク・プロセッサ・システムが、ハードウェア、ソフトウェア、およびモデル・レベルの冗長性のうちの少なくとも１つを提供するように構成される、請求項１に記載のシステム。
【請求項8】
前記ニューラル・ネットワーク・プロセッサ・システムがプログラマブル・ファームウェアを備えており、前記プログラマブル・ファームウェアが前記入力データおよび出力データを処理するように構成可能である、請求項２に記載のシステム。
【請求項9】
前記処理がバッファリングを含む、請求項８に記載のシステム。
【請求項10】
前記ニューラル・ネットワーク・プロセッサ・システムが、不揮発性メモリを備える、請求項１に記載のシステム。
【請求項11】
前記ニューラル・ネットワーク・プロセッサ・システムが、構成または動作パラメータ、もしくはプログラム状態を格納するように構成される、請求項１０に記載のシステム。
【請求項12】
前記インターフェースが、リアルタイムまたはリアルタイムの動作より速く構成される、請求項１に記載のシステム。
【請求項13】
前記インターフェースが少なくとも１つのセンサまたはカメラに通信可能に結合される、請求項１に記載のシステム。
【請求項14】
ネットワークによって相互接続される、複数の請求項１に記載の前記システムを備えるシステム。
【請求項15】
ネットワークによって相互接続される、複数の請求項１に記載の前記システムと、複数の計算ノードとを備えるシステム。
【請求項16】
複数の互いに素のメモリ・マップであり、それぞれが前記複数の請求項１に記載のシステムのうちの１つに対応するメモリ・マップをさらに備える、請求項１５に記載のシステム。
【請求項17】
方法であって、前記方法は、ニューラル・ネットワーク・プロセッサ・システムにおけるニューラル・ネットワーク記述をホストからインターフェースを介して受信することを含み、
前記ニューラル・ネットワーク・プロセッサ・システムが、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、前記ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合され、
前記インターフェースが前記ニューラル・ネットワーク・プロセッサ・システムに動作可能に接続されており、
前記方法は、さらに、前記インターフェースを介してメモリ・マップを露出することを含み、前記メモリ・マップが、前記活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を備えており、
前記方法は、さらに、前記ニューラル・ネットワーク・プロセッサ・システムにおける入力データを前記インターフェースを介して受信することと、
前記ニューラル・ネットワーク・モデルに基づいて前記入力データから出力データを計算することと、
前記ニューラル・ネットワーク・プロセッサ・システムからの前記出力データを前記インターフェースを介して提供することと
を含む方法。
【請求項18】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供する、請求項１７に記載の方法。
【請求項19】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してＡＰＩを露出し、前記ＡＰＩは、前記インターフェースを介して前記ニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供するための方法を含む、請求項１７に記載の方法。
【請求項20】
前記インターフェースが、リアルタイムまたはリアルタイム速度より速く動作する、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、ニューラル推論のためのシステムに関し、より詳しくは、デプロイ可能な推論システムのためのメモリ・マップト・ニューラル・ネットワーク・アクセラレータに関する。
【発明の概要】
【0002】
本開示の実施形態によれば、システムであって、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合される、ニューラル・ネットワーク・プロセッサ・システムと、活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を備えるメモリ・マップと、ニューラル・ネットワーク・プロセッサ・システムに動作可能に接続されたインターフェースであり、インターフェースが、ホストと通信するように、さらにメモリ・マップを露出するように適合されるインターフェースとを備えるシステムの方法およびそのシステムのためのコンピュータ・プログラムが提供される。
【0003】
本開示の実施形態によれば、ニューラル・ネットワーク・プロセッサ・システムは、インターフェースを介してニューラル・ネットワーク記述を受信し、インターフェースを介して入力データを受信し、インターフェースを介して出力データを提供するように構成される。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムは、インターフェースを介してＡＰＩを露出し、ＡＰＩは、インターフェースを介してニューラル・ネットワーク記述を受信し、インターフェースを介して入力データを受信し、インターフェースを介して出力データを提供するための方法を含む。いくつかの実施形態では、インターフェースは、ＡＸＩ、ＰＣＩｅ、ＵＳＢ、イーサネット（Ｒ）、またはファイアワイヤ・インターフェースを含む。
【0004】
いくつかの実施形態では、システムが、冗長ニューラル・ネットワーク処理コアをさらに備えており、冗長ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク処理コアと並列してニューラル・ネットワーク・モデルを計算するように構成される。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムがニューラル・ネットワーク・モデルの冗長計算を提供するように構成され、またはハードウェア、ソフトウェア、およびモデル・レベルの冗長性のうちの少なくとも１つを提供するように構成される、あるいはその両方である。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムがプログラマブル・ファームウェアを備えており、プログラマブル・ファームウェアが入力データおよび出力データを処理するように構成可能である。いくつかの実施形態では、上記処理がバッファリングを含む。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムが、不揮発性メモリを含む。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムが、構成または動作パラメータ、もしくはプログラム状態を格納するように構成される。いくつかの実施形態では、インターフェースが、リアルタイムまたはリアルタイムの動作より速く構成される。いくつかの実施形態では、インターフェースが、少なくとも１つのセンサまたはカメラに通信可能に結合される。いくつかの実施形態では、システムは、ネットワークによって相互接続される、複数の上述したようなシステムを備える。いくつかの実施形態では、ネットワークによって相互接続される、複数の上述したようなシステムと、複数の計算ノードとを備えるシステムが提供される。いくつかの実施形態では、システムが、複数の互いに素のメモリ・マップであり、それぞれが複数の上述したようなシステムのうちの１つに対応するメモリ・マップをさらに備える。
【0005】
本開示の他の態様によれば、方法であって、方法は、ニューラル・ネットワーク・プロセッサ・システムにおけるニューラル・ネットワーク記述をホストからインターフェースを介して受信することを含み、ニューラル・ネットワーク・プロセッサ・システムが、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合され、インターフェースがニューラル・ネットワーク・プロセッサ・システムに動作可能に接続されており、方法は、さらに、インターフェースを介してメモリ・マップを露出することを含み、メモリ・マップが、活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を含み、方法は、さらに、ニューラル・ネットワーク・プロセッサ・システムにおける入力データをインターフェースを介して受信することと、ニューラル・ネットワーク・モデルに基づいて入力データから出力データを計算することと、ニューラル・ネットワーク・プロセッサ・システムからの出力データをインターフェースを介して提供することとを含む方法が提供される。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムは、インターフェースを介してニューラル・ネットワーク記述を受信し、インターフェースを介して入力データを受信し、インターフェースを介して出力データを提供する。いくつかの実施形態では、ニューラル・ネットワーク・プロセッサ・システムは、インターフェースを介してＡＰＩを露出し、ＡＰＩは、インターフェースを介してニューラル・ネットワーク記述を受信し、インターフェースを介して入力データを受信し、インターフェースを介して出力データを提供するための方法を含む。いくつかの実施形態では、インターフェースが、リアルタイムまたはリアルタイム速度より速く動作する。
【図面の簡単な説明】
【0006】
【図1】本開示の実施形態による例示的なメモリ・マップト（ＭＭ）システムを示す図である。
【図2】本開示の実施形態による例示的なメッセージ・パッシング（ＭＰ）システムを示す図である。
【図3】本開示の実施形態によるニューラル・コアを示す図である。
【図4】本開示の実施形態による例示的な推論処理ユニット（ＩＰＵ）を示す図である。
【図5】本開示の実施形態による例示的なマルチコアの推論処理ユニット（ＩＰＵ）を示す図である。
【図6】本開示の実施形態によるニューラル・コアおよび関連ネットワークを示す図である。
【図7】本開示の実施形態による、ホスト・システムとＩＰＵとの間の統合の方法を示す図である。
【図8】（Ａ）～（Ｃ）は、本開示の実施形態による冗長の例示的な方法を示す図である。
【図9】本開示の実施形態によるメモリ・マップト・ニューラル推論エンジンのシステム・アーキテクチャを示す図である。
【図10】本開示の実施形態による例示的なランタイム・ソフトウェア・スタックを示す図である。
【図11】本開示の実施形態による例示的な一連の実行を示す図である。
【図12】本開示の実施形態によるニューラル推論装置の例示的な統合を示す図である。
【図13】本開示の実施形態によるニューラル推論装置の例示的な統合を示す図である。
【図14】本開示の実施形態による、ニューラル推論装置がＰＣＩｅブリッジを介してホストと相互接続される例示的な構成を示す図である。
【図15】本開示の実施形態による、ニューラル・ネットワーク・プロセッサ・システムにおいてメモリ・マップを露出する方法のフローチャートである。
【図16】本開示の実施形態による計算ノードを示す図である。
【発明を実施するための形態】
【0007】
様々な従来の計算システムは、共有メモリ／メモリ・マップト（ＭＭ）パラダイムを介してシステム・コンポーネント間で通信を行う。対照的に、ニューロシナプティック・システムなどの様々な並列分散計算システムは、メッセージ・パッシング（ＭＰ）パラダイムによって相互通信を行う。本開示は、それらの２種類のシステム間に効率的なインターフェースを提供する。
【0008】
人工ニューロンは、出力が、その入力の線形結合の非線形関数である数学関数である。２つのニューロンのうちの一方の出力が他方への入力である場合に、その２つのニューロンは接続される。重みは、一方のニューロンの出力ともう一方のニューロンの入力との間の接続の強度を符号化したスカラ値である。
【0009】
ニューロンは、非線形活性化関数をその入力の加重和に対して適用することによって、活性化と呼ばれるその出力を計算する。加重和は、各入力に対応重みを乗算して積を蓄積することによって計算された中間結果である。部分和は、入力のサブセットの加重和である。全入力の加重和は、１つまたは複数の部分和を蓄積することによって段階において計算され得る。
【0010】
ニューラル・ネットワークは、１つまたは複数のニューロンの集合体である。ニューラル・ネットワークは、層と呼ばれるニューロン群に分割されることが多い。層は、全てが同一層から入力を受け取り、全てが出力を同一層へ送り、通常、同様の関数を実行する１つまたは複数のニューロンの集合体である。入力層は、ニューラル・ネットワークの外部のソースから入力を受け取る層である。出力層は、出力を、ニューラル・ネットワークの外部のターゲットへ送る層である。全ての他の層は、中間処理層である。多層ニューラル・ネットワークは、１層より多い層を有するニューラル・ネットワークである。深層ニューラル・ネットワークは、多くの層を有する多層ニューラル・ネットワークである。
【0011】
テンソルは、数値の多次元配列である。テンソル・ブロックは、テンソルにおける要素の連続した部分配列である。
【0012】
各ニューラル・ネットワーク層は、パラメータ・テンソルＶ、重みテンソルＷ、入力データ・テンソルＸ、出力データ・テンソルＹ、および中間データ・テンソルＺと関連付けられる。パラメータ・テンソルは、層におけるニューロン活性化関数σを制御するパラメータの全てを含む。重みテンソルは、入力を層に接続する重みの全てを含む。入力データ・テンソルは、層が入力として計算するデータの全てを含む。出力データ・テンソルは、層が出力として計算するデータの全てを含む。中間データ・テンソルは、層が部分和などの中間計算結果として生成する何らかのデータを含む。
【0013】
層のためのデータ・テンソル（入力、出力、および中間）は三次元でもよく、最初の２つの次元は、空間位置を符号化するとして解釈されてもよく、第３の次元は、異なる特徴を符号化すると解釈されてもよい。例えば、データ・テンソルがカラー画像を表現するとき、最初の２つの次元は画像内の垂直座標および水平座標を符号化し、第３の次元は、各位置における色を符号化する。入力データ・テンソルＸの各要素は、別個の重みによってそれぞれのニューロンに接続可能であり、それによって重みテンソルＷは全体として６次元を有し、入力データ・テンソルの３次元（入力行ａ，入力列ｂ，入力特徴ｃ）を出力データ・テンソルの３次元（出力行ｉ，出力列ｊ，出力特徴ｋ）と連結する。中間データ・テンソルＺは、出力データ・テンソルＹと同一形状を有する。パラメータ・テンソルＶは、３つの出力データ・テンソル次元を、活性化関数σのパラメータをインデックス化する追加次元ｏと連結する。いくつかの実施形態では、活性化関数σは、追加パラメータを必要とせず、その場合、追加次元は不要である。ただし、いくつかの実施形態では、活性化関数σは、次元ｏに出現する少なくとも１つの追加パラメータを必要とする。
【0014】
層の出力データ・テンソルＹの要素は、式１にあるように計算可能であり、ニューロン活性化関数σは、活性化関数パラメータＶ［ｉ，ｊ，ｋ，：］のベクトルによって構成され、加重和Ｚ［ｉ，ｊ，ｋ］は、式２にあるように計算可能である。
Ｙ［ｉ，ｊ，ｋ］＝σ（Ｖ［ｉ，ｊ，ｋ，：］；Ｚ［ｉ，ｊ，ｋ］）
式１
Ｙ［ｉ，ｊ，ｋ］＝σ（Ｖ［ｉ，ｊ，ｋ，：］；Ｚ［ｉ，ｊ，ｋ］）
式１
【数1】
【0015】
表記の簡略化のため、式２における加重和は、出力と呼ばれてもよく、線形活性化関数Ｙ［ｉ，ｊ，ｋ］＝σ（Ｚ［ｉ，ｊ，ｋ］）＝Ｚ［ｉ，ｊ，ｋ］の使用と等価であり、異なる活性化関数が使用されたときも、一般性を失わず、同様の記述があてはまることを理解されたい。
【0016】
様々な実施形態では、上述したような出力データ・テンソルの計算は、より小さい問題へと分解される。次いで、各問題は、１つまたは複数のニューラル・コア、または従来のマルチコア・システムの１つまたは複数のコアで並列に解かれてもよい。
【0017】
当然ながら、上記から、ニューラル・ネットワークは、並列の構造体である。所与の層におけるニューロンは、１つまたは複数の層または他の入力から要素ｘｉを有する入力Ｘを受け取る。各ニューロンは、その入力と、要素ｗｉを有する重みＷとに基づいて、その状態ｙ∈Ｙを計算する。様々な実施形態では、入力の加重和はバイアスｂによって調整され、その後、その結果が非線形性Ｆ（・）に渡される。例えば、単一のニューロン活性化は、ｙ＝Ｆ（ｂ＋Σｘｉｗｉ）のように表される。
【0018】
所与の層における全てのニューロンが同一層から入力を受け取り、それらの出力を独立して計算するため、ニューロン活性化は並列に計算可能である。ニューラル・ネットワーク全体の態様のため、並列に分散されたコアで計算を実行することは、計算全体を加速する。さらに、各コア内において、ベクトル演算が並列に計算可能である。例えば層がそれ自体に投影し返すときに繰り返し起こる入力の場合でも、全ニューロンが依然として同時に更新される。事実上、繰り返し起こる接続は、層への後続の入力と整列するために遅延される。
【0019】
図１を参照すると、例示的なメモリ・マップト・システム１００が示されている。メモリ・マップ１０１はセグメント化され、領域１０２～１０５は、様々なシステム・コンポーネントに対して割り当てられる。例えば１つまたは複数のチップ上のプロセッサ・コアなどの計算コア１０６～１０９は、バス１１０に接続される。各コア１０６～１０９はバス１１０に接続され、メモリ・マップ１０２～１０３のアドレス指定できる領域に対応する共有メモリ１１１～１１２を介して相互通信できる。各コア１０６～１０９は、メモリ・マップ１０１のアドレス指定できる領域１０４を介してサブシステム１１３と通信できる。同様に、各コア１０６～１０９は、メモリ・マップ１０１のアドレス指定できる領域１０５を介して外部システム１１４と通信できる。
【0020】
メモリ・マップ（ＭＭ）アドレスは、グローバル・メモリ・マップに関連しており、この例では、０ｘ００００００００から０ｘＦＦＦＦＦＦＦＦへと進む。
【0021】
図２を参照すると、例示的なメッセージ・パッシング（ＭＰ）システム２００が示されている。複数のコア２０１～２０９のそれぞれは、計算コア２１０と、メモリ２１１と、通信インターフェース２１２とを備える。コア２０１～２０９のそれぞれは、ネットワーク２１３によって接続される。通信インターフェース２１２は、ネットワーク２１３との間でパケットを投入および受け取るための入力バッファ２１４および出力バッファ２１５を備える。このように、コア２０１～２０９は、メッセージを交換することによって相互通信し得る。
【0022】
同様に、サブシステム２１６は、入力バッファ２１８および出力バッファ２１９を有する通信インターフェース２１７を介してネットワーク２１３へ接続され得る。外部システムは、インターフェース２２０を介してネットワーク２１３へ接続され得る。このように、コア２０１～２０９は、メッセージを交換することによってサブシステムおよび外部システムと通信し得る。
【0023】
メッセージ・パッシング（ＭＰ）アドレスは、コアにとってローカルなネットワーク・アドレスに関連する。例えば、個別コアは、チップ上のそのＸ、Ｙ位置によって識別されることができる一方、ローカル・アドレスは、個別コアにとってローカルなバッファまたはメモリのために使用され得る。
【0024】
次に図３を参照すると、本開示の実施形態によるニューラル・コアが示されている。ニューラル・コア３００は、出力テンソルの１ブロックを計算するタイリング可能計算ユニットである。ニューラル・コア３００は、Ｍ個の入力およびＮ個の出力を有する。様々な実施形態では、Ｍ＝Ｎである。出力テンソル・ブロックを計算するために、ニューラル・コアは、Ｍ×１入力テンソル・ブロック３０１にＭ×Ｎ重みテンソル・ブロック３０２を乗算し、その積を加重和になるように蓄積し、その加重和は、１×Ｎ中間テンソル・ブロック３０３に格納される。Ｏ×Ｎパラメータ・テンソル・ブロックは、１×Ｎ出力テンソル・ブロック３０５を生成するために、中間テンソル・ブロック３０３に適用されるＮニューロン活性化関数のそれぞれを指定するＯパラメータを含む。
【0025】
複数のニューラル・コアは、ニューラル・コア配列にタイリングされ得る。いくつかの実施形態では、その配列は二次元である。
【0026】
ニューラル・ネットワーク・モデルは、ニューラル・ネットワークによって実行される計算全体を集合的に指定する定数のセットであり、ニューロンおよび重みと、ニューロン毎の活性化関数パラメータとの間の接続のグラフを含む。訓練は、所望の関数を実行するように上記ニューラル・ネットワーク・モデルを修正するプロセスである。推論は、ニューラル・ネットワーク・モデルを修正せずに、ニューラル・ネットワークを入力に適用して出力を生成するプロセスである。
【0027】
推論処理ユニットは、ニューラル・ネットワーク推論を実行する一種のプロセッサである。ニューラル推論チップは、推論処理ユニットの特定の物理的インスタンスである。
【0028】
図４を参照すると、本開示の実施形態による、例示的な推論処理ユニット（ＩＰＵ）が示されている。ＩＰＵ４００は、ニューラル・ネットワーク・モデルのためのメモリ４０１を含む。上述したように、ニューラル・ネットワーク・モデルは、計算対象の、ニューラル・ネットワークのためのシナプス重みを含み得る。ＩＰＵ４００は、一過性であり得る活性化メモリ４０２を含む。活性化メモリ４０２は、入力領域および出力領域に分割されてもよく、処理のためのニューロン活性化を格納する。ＩＰＵ４００は、モデル・メモリ４０１からニューラル・ネットワーク・モデルをロードしたニューラル計算ユニット４０３を含む。入力活性化は、各計算ステップの前に、活性化メモリ４０２から提供される。ニューラル計算ユニット４０３からの出力は、同ニューラル計算ユニットまたは他のニューラル計算ユニットにおける処理のために活性化メモリ４０２に書き戻される。
【0029】
様々な実施形態では、マイクロエンジン４０４がＩＰＵ４００に含まれる。そのような実施形態では、ＩＰＵにおける全ての動作がマイクロエンジンによって指示される。以下に記載するように、様々な実施形態において、中央マイクロエンジンまたは分散マイクロエンジン、あるいはその両方が提供され得る。グローバル・マイクロエンジンはチップ・マイクロエンジンと呼ばれる場合があり、ローカル・マイクロエンジンは、コア・マイクロエンジンまたはローカル・コントローラと呼ばれる場合がある。様々な実施形態では、マイクロエンジンは、１つまたは複数のマイクロエンジン、マイクロコントローラ、状態遷移機械、ＣＰＵ、または他のコントローラを備える。
【0030】
図５を参照すると、本開示の実施形態によるマルチコアの推論処理ユニット（ＩＰＵ）が示されている。ＩＰＵ５００は、ニューラル・ネットワーク・モデルおよび命令のためのメモリ５０１を含む。いくつかの実施形態では、メモリ５０１は、重み部分５１１と命令部分５１２とに分割される。上述したように、ニューラル・ネットワーク・モデルは、計算対象の、ニューラル・ネットワークのためのシナプス重みを含み得る。ＩＰＵ５００は、一過性であり得る活性化メモリ５０２を含む。活性化メモリ５０２は、入力領域および出力領域に分割されてもよく、処理のためのニューロン活性化を格納する。
【0031】
ＩＰＵ５００は、ニューラル・コア５０３の配列５０６を含む。各コア５０３は、モデル・メモリ５０１からニューラル・ネットワーク・モデルがロードされベクトル計算を実行するように動作可能な計算ユニット５３３を含む。各コアは、さらに、ローカル活性化メモリ５３２を含む。入力活性化は、各計算ステップの前に、ローカル活性化メモリ５３２から提供される。計算ユニット５３３からの出力は、同計算ユニットまたは他の計算ユニットにおける処理のために活性化メモリ５３２に書き戻される。
【0032】
ＩＰＵ５００は、１つまたは複数のネットワーク・オン・チップ（ＮｏＣ）５０５を含む。いくつかの実施形態では、部分和ＮｏＣ５５１は、コア５０３を相互接続し、それらの間の部分和を運ぶ。いくつかの実施形態では、別個のパラメータ分散ＮｏＣ５５２は、重みおよび命令をコア５０３へ分散するためにコア５０３をメモリ５０１に接続する。当然のことながら、ＮｏＣ５５１および５５２の様々な構成は、本開示による使用に適している。例えば、ブロードキャスト・ネットワーク、ロウ・ブロードキャスト・ネットワーク（ｒｏｗ ｂｒｏａｄｃａｓｔ ｎｅｔｗｏｒｋ）、ツリー型ネットワーク、および交換網が使用されてもよい。
【0033】
様々な実施形態では、グローバル・マイクロエンジン５０４がＩＰＵ５００に含まれる。様々な実施形態では、ローカル・コア・コントローラ５３４が各コア５０３上に含まれる。そのような実施形態では、動作の指示は、グローバル・マイクロエンジン（チップ・マイクロエンジン）とローカル・コア・コントローラ（コア・マイクロエンジン）との間で共有される。特に、５１１で、計算命令は、グローバル・マイクロエンジン５０４によって、モデル・メモリ５０１から、各コア５０３のニューラル計算ユニット５３３へロードされる。５１２で、パラメータ（例えば、ニューラル・ネットワーク／シナプス重み）は、グローバル・マイクロエンジン５０４によって、モデル・メモリ５０１から、各コア５０３のニューラル計算ユニット５３３へロードされる。５１３で、ニューラル・ネットワーク活性化データは、ローカル・コア・コントローラ５３４によって、ローカル活性化メモリ５３２から、各コア５０３のニューラル計算ユニット５３３へロードされる。上述したように、活性化は、モデルによって定義された特定のニューラル・ネットワークのニューロンに対して提供され、同ニューラル計算ユニットまたは他のニューラル計算ユニットから、もしくはシステム外部から発生してもよい。５１４で、ニューラル計算ユニット５３３は、ローカル・コア・コントローラ５３４によって指示されると、出力ニューロン活性化を生成する計算を実行する。特に、この計算は、入力シナプス重みを入力活性化に適用することを含む。当然のことながら、上記のような計算を実行するために、インシリコ樹状突起およびベクトル乗算ユニットを含む様々な方法が利用可能である。５１５で、ローカル・コア・コントローラ５３４によって指示されると、計算の結果がローカル活性化メモリ５３２に格納される。上記で記載したように、各コアのニューラル計算ユニットの効率的使用を実現するために、上記の段階はパイプライン化され得る。また、当然ながら、入力および出力は、所与のニューラル・ネットワークの要件にしたがって、ローカル活性化メモリ５３２からグローバル活性化メモリ５０２へ転送され得る。
【0034】
したがって、本開示は、推論処理ユニット（ＩＰＵ）における動作のランタイム制御を実現する。いくつかの実施形態では、マイクロエンジンは集約化される（単一マイクロエンジン）。いくつかの実施形態では、ＩＰＵ計算は分散される（コア配列によって実行される）。いくつかの実施形態では、動作のランタイム制御は、階層的であり、中央マイクロエンジンと分散マイクロエンジンとの両方が関与する。
【0035】
１つまたは複数のマイクロエンジンは、ＩＰＵにおける全ての動作の実行を指示する。各マイクロエンジン命令は、いくつかのサブ動作（例えば、アドレス生成、ロード、計算、格納など）に対応する。分散されている場合、コア・マイクロコードは、コア・マイクロエンジン（例えば、５３４）上で実行される。このコア・マイクロコードは、単一テンソル動作全体を実行する命令を含む。例えば、重みテンソルとデータ・テンソルとの間の畳み込みである。単一コアの文脈において、コア・マイクロコードは、データ・テンソル（および部分和）のローカルに格納されたサブセットで単一のテンソル動作を実行する命令を含む。チップ・マイクロコードは、チップ・マイクロエンジン（例えば、５０４）上で実行される。マイクロコードは、ニューラル・ネットワークにおいてテンソル動作の全てを実行する命令を含む。
【0036】
次に図６を参照すると、本開示の実施形態による例示的なニューラル・コアおよび関連ネットワークが示されている。図３を参照して説明されたように具体化されるコア６０１は、ネットワーク６０２～６０４によって追加コアと相互接続される。本実施形態では、ネットワーク６０２は、重みまたは命令、あるいはその両方を分散する役割を担い、ネットワーク６０３は部分和を分散する役割を担い、ネットワーク６０４は活性化を分散する役割を担う。ただし、当然のことながら、本開示の様々な実施形態はそれらのネットワークを結合してもよく、またはさらにそれらのネットワークを複数の追加ネットワークに分離してもよい。
【0037】
入力活性化（Ｘ）は、コア外から活性化ネットワーク６０４を介して活性化メモリ６０５への分散コア６０１である。層命令は、コア外から重み／命令ネットワーク６０２を介して命令メモリ６０６への分散コア６０１である。層重み（Ｗ）またはパラメータ、あるいはその両方は、コア外から重み／命令ネットワーク６０２を介して重みメモリ６０７またはパラメータ・メモリ６０８あるいはその両方への分散コア６０１である。
【0038】
重み行列（Ｗ）は、ベクトル行列乗算（ＶＭＭ）ユニット６０９によって重みメモリ６０７から読み出される。活性化ベクトル（Ｖ）は、ベクトル行列乗算（ＶＭＭ）ユニット６０９によって活性化メモリ６０５から読み出される。ベクトル行列乗算（ＶＭＭ）ユニット６０９は、その後、ベクトル－行列乗算Ｚ＝ＸＴＷを計算し、ベクトル－ベクトル・ユニット６１０へ結果を提供する。ベクトル－ベクトル・ユニット６１０は、部分和メモリ６１１から追加部分和を読み出し、コア外から部分和ネットワーク６０３を介して追加部分和を受け取る。ベクトル－ベクトル動作は、ベクトル－ベクトル・ユニット６１０によって、それらのソース部分和から計算される。例えば、様々な部分和は、順に加算される。結果として得られるターゲット部分和は、部分和メモリ６１１に書き込まれ、部分和ネットワーク６０３を介してコア外に送信され、またはベクトル－ベクトル・ユニット６１０によるさらなる処理のために返されるか、あるいはその組み合わせが行われる。
【0039】
この部分和は、ベクトル－ベクトル・ユニット６１０から結果として得られ、所与の層の入力のための全ての計算が完了した後に、出力活性化の計算のために活性化ユニット６１２に提供される。活性化ベクトル（Ｙ）は、活性化メモリ６０５に書き込まれる。層活性化（活性化メモリに書き込まれた結果を含む）は、活性化メモリ６０５から活性化ネットワーク６０４を介してコアにわたって再分散される。受け取られると、層活性化は、受け取ったコア別にローカル活性化メモリに書き込まれる。所与のフレームのための処理が完了すると、出力活性化は、活性化メモリ６０５から読み出され、ネットワーク６０４を介してコア外に送信される。
【0040】
それに応じて、動作において、コア制御マイクロエンジン（例えば、６１３）は、コアのデータ移動と計算とをオーケストレーションする。マイクロエンジンは、入力活性化ブロックをベクトル－行列乗算ユニットにロードするために、読み出された活性化メモリ・アドレス動作を発行する。マイクロエンジンは、重みブロックをベクトル－行列乗算ユニットにロードするために、読み出された重みメモリ・アドレス動作を発行する。ベクトル－行列乗算ユニットの計算配列が部分和ブロックを計算するように、マイクロエンジンは、ベクトル－行列乗算ユニットに計算動作を発行する。
【0041】
マイクロエンジンは、部分和ソースから部分和データを読み出す、部分和演算ユニットを使用して計算する、または部分和ターゲットへ部分和データを書き込むうちの１つまたは複数を行うために、部分和読み出し／書き込みメモリ・アドレス動作、ベクトル計算動作、または部分和通信動作のうちの１つまたは複数を発行する。部分和ターゲットへの部分和データの書き込みは、部分和ネットワーク・インターフェースを介してコア外部と通信すること、または部分和データを活性化演算ユニットへ送信することを含み得る。
【0042】
活性化関数演算ユニットが出力活性化ブロックを計算するように、マイクロエンジンは、活性化関数計算動作を発行する。マイクロエンジンは書き込み活性化メモリ・アドレスを発行し、出力活性化ブロックは、活性化メモリ・インターフェースを介して活性化メモリに書き込まれる。
【0043】
したがって、多種多様なソース、ターゲット、アドレスタイプ、計算タイプ、および制御コンポーネントが所与のコアのために定義される。
【0044】
ベクトル－ベクトル・ユニット６１０のためのソースは、ベクトル行列乗算（ＶＭＭ）ユニット６０９と、活性化メモリ６０５と、パラメータ・メモリ６０８からの定数と、部分和メモリ６１１と、前のサイクルからの部分和結果（ＴＧＴ部分和）と、部分和ネットワーク６０３とを含む。
【0045】
ベクトル－ベクトル・ユニット６１０のためのターゲットは、部分和メモリ６１１と、後続のサイクルのための部分和結果（ＳＲＣ部分和）と、活性化ユニット６１２と、部分和ネットワーク６０３とを含む。
【0046】
したがって、所与の命令が活性化メモリ６０５から読み出され、または書き込み、重みメモリ６０７から読み出され、または部分和メモリ６１１から読み出され、または書き込んでもよい。コアによって実行される計算動作は、ＶＭＭユニット６０９によるベクトル行列乗算、ベクトル・ユニット６１０によるベクトル（部分和）動作、および活性化ユニット６１２による活性化関数を含む。
【0047】
制御動作は、プログラム・カウンタと、ループまたはシーケンスあるいはその両方のカウンタとを含む。
【0048】
それによって、メモリ動作は、重みメモリにおけるアドレスから重みを読み出し、パラメータ・メモリにおけるアドレスからパラメータを読み出し、活性化メモリにおけるアドレスから活性化を読み出し、部分和メモリにおけるアドレスに対して部分和を読み出す／書き込むために発行される。計算動作は、ベクトル－行列乗算、ベクトル－ベクトル動作、および活性化関数を実行するために発行される。通信動作は、ベクトル－ベクトル・オペランドを選択し、部分和ネットワーク上でメッセージをルーティングし、部分和ターゲットを選択するために発行される。層出力におけるループおよび層入力におけるループは、プログラム・カウンタ、ループ・カウンタ、およびシーケンス・カウンタを指定する制御動作によって制御される。
【0049】
様々な実施形態では、上記のようなＩＰＵがメモリ読み出しおよび書き込みによってホストと通信することを可能にするメモリ・マップト・アーキテクチャが実施される。図７を参照すると、ホスト・システムとＩＰＵとの間の例示的な統合方法が示されている。７０１で、ホストは、推論のためにデータを準備する。７０２で、ホストは、データが使用可能状態であることをＩＰＵに通知する。７０３で、ＩＰＵがデータを読み出す。７０４で、ＩＰＵがデータに関する計算を実行する。７０５で、ＩＰＵは、計算結果が使用可能状態であることをホストに通知する。７０６で、ホストはその結果を読み出す。
【0050】
図８（Ａ）～（Ｃ）を参照すると、例示的な冗長の方法が示されている。当然のことながら、本明細書で上述したようなものなどのニューロモルフィック・システムは、複数のセンサからのデータを同時に処理できる。複数のネットワークが存在でき、同時に実行されることが可能である。本明細書に記載するように、様々な実施形態では、ネットワーク結果は、高速Ｉ／Ｏインターフェースを使用して提供される。
【0051】
図８（Ａ）を参照すると、直接／ハードウェア冗長性が示されている。この例では、同一モデルが１回よりも多く実行され、出力が比較される。図８（Ｂ）を参照すると、モデル冗長性が示されている。この例では、異なるデータのアンサンブルまたは異なるデータ、あるいはその両方が実行され、統計モデル（例えば、モデル間の重み付け平均化）は、出力全体に到達するように適用される。図８（Ｃ）を参照すると、アプレンティス検証が示されている。この例では、アプレンティス・モデルは、制御モデル（またはドライバ）に対して検証される。
【0052】
本明細書で説明されるアーキテクチャの低電力要件は、システムにおける複数のチップが冗長ネットワークを実行できるようにする。同様に、冗長ネットワークは、チップのパーティション上で実行され得る。さらに、異常を検出／位置検出／回避するために、高速および部分的な再構成可能性が、駆動モードとテストモードとを切り換えるように提供される。
【0053】
当然のことながら、本明細書で記載するような推論処理ユニットは、多種多様なフォーム・ファクタに統合され得る。例えば、システム・オン・チップ（ＳｏＣ）が提供され得る。ＳｏＣは、面積量（ａｒｅａ ｂｕｄｇｅｔ）に対応するためのスケーリングを可能にする。このアプローチは、結果的な高速データ転送能力とのオン・ダイ統合を可能にする。ＳｏＣフォーム・ファクタもまた、様々な代替案よりもパッケージングが容易で安価であり得る。他の例では、システム・イン・パッケージ（ＳｉＰ）が提供され得る。ＳｉＰアプローチは、ＳｏＣコンポーネントをＩＰＵダイと結合し、異なる加工技術の統合をサポートする。既存のコンポーネントに対して必要な注入変更が最小限でよい。
【0054】
他の例では、ＰＣＩｅ（または他の拡張カード）が提供される。このアプローチでは、コンポーネント毎に、独立した開発サイクルが課され得る。これは、標準化された高速インターフェースを採用しモジュラー統合を可能にするという利点を有する。これは、早期のプロトタイプおよびデータ・センタに対して特に適している。同様に、電子制御ユニット（ＥＣＵ）が提供され得る。これは、安全性および冗長性に関する標準を含む自動車規格に準拠する。ＥＣＵモジュールは、車内デプロイに適しているが、一般に追加の研究開発時間を必要とする。
【0055】
次に図９を参照すると、本開示の実施形態によるメモリ・マップト・ニューラル推論エンジンのシステム・アーキテクチャが示されている。ニューラル推論エンジン９０１（上記で詳述されたものなど）は、システム・インターコネクト９０２に接続される。ホスト９０３もまた、システム・インターコネクト９０２に接続される。
【0056】
様々な実施形態では、システム・インターコネクト９０２は、Ａｄｖａｎｃｅｄ ｅＸｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ（ＡＸＩ）などのＡｄｖａｎｃｅｄ Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｂｕｓ Ａｒｃｈｉｔｅｃｔｕｒｅ （ＡＭＢＡ）に準拠する。様々な実施形態では、システム・インターコネクト９０２は、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バスまたは他のＰＣＩバスである。当然のことながら、本開示が属する分野で知られている多種多様な他のバス・アーキテクチャが、本明細書で記載するような使用に対して適している。それぞれの場合、システム・インターコネクト９０２は、ホスト９０３をニューラル推論エンジン９０１に接続し、ホストの仮想メモリにおけるニューラル推論エンジンのフラットなメモリ・マップト・ビューを提供する。
【0057】
ホスト９０３は、アプリケーション９０４およびＡＰＩ／ドライバ９０５を含む。様々な実施形態では、ＡＰＩは、メモリ・マップを介して自己完結的なニューラル・ネットワーク・プログラムをニューラル推論エンジン９０１へコピーするｃｏｎｆｉｇｕｒｅ（）、メモリ・マップを介して入力データをニューラル推論エンジン９０１にコピーして評価を開始するｐｕｓｈ（）、およびメモリ・マップを介してニューラル推論エンジン９０１から出力データを取り出すｐｕｌｌ（）という３つの関数を含む。
【0058】
いくつかの実施形態では、インターラプト９０６がニューラル推論エンジン９０１によって提供され、ネットワーク評価が完了したことがホスト９０３に信号伝達される。
【0059】
図１０を参照すると、様々な実施形態による例示的なランタイム・ソフトウェア・スタックが示されている。この例では、ライブラリ１００１がニューラル推論エンジン装置１００２とのインターフェース接続のために提供される。ＡＰＩコールは、ネットワークをロードするため、さらにメモリ管理（メモリ割り当ておよび解放、メモリへのコピー、およびメモリからの受け取りのための標準関数を含む）のために提供される。
【0060】
図１１を参照すると、本開示の実施形態による例示的な一連の実行が示されている。この例では、オフライン学習の結果として、ネットワーク定義ファイルｎｗ．ｂｉｎ１１１１が得られる。ネットワーク初期化１１０２中に、ニューラル推論装置が、例えばオープンＡＰＩコールによってアクセスされ、ネットワーク定義ファイル１１１１がロードされる。ランタイム動作段階１１０３中に、データ空間がニューラル推論装置上で割り当てられ、入力データ１１３１（例えば、画像データ）が装置メモリバッファへコピーされる。上記で詳述されたように、１つまたは複数の計算サイクルが実行される。計算サイクルが完了すると、出力が、例えばｒｃｖＡＰＩコールによって装置から受信され得る。
【0061】
ニューラル推論装置は、入力および出力のためにメモリ・マップされることが可能であり、ホスト命令なしで、さらにニューラル・ネットワーク・モデルまたは中間活性化のいずれかのために外部メモリを必要とせずに、その計算を実行する。これは、行列乗算などのコンポーネント動作のために個別命令を必要とするのではなく、ニューラル推論装置がニューラル・ネットワークを計算することが単純に命令される、合理化されたプログラミングモデルを提供する。特に、行列乗算への畳み込みの変換が存在せず、したがって変換し直す必要がない。また、ネットワークの新規層毎に新規コールが発行される必要もない。チップ設計全体に関して上述したように、層間ニューロン活性化が、チップ外に出ることはない。このアプローチを使用すると、新規のネットワーク・モデル・パラメータが、ランタイム中にロードされる必要がない。
【0062】
図１２を参照すると、ニューラル推論装置１２０１の例示的な統合が示されている。この例では、ＦＩＦＯバッファが、内部復号を有するデータ・パス上に提供される。これは、複数のマスタを有する必要がない、マルチチャネルＤＭＡ構成を提供する。代替として、複数のＡＸＩインターフェースはマスタが備えられてもよく、それにより、同時スループットを増加させる。
【0063】
ハードウェア側では、第１のＡＸＩスレーブが、ニューラル推論装置の活性化メモリへＦＩＦＯインターフェースを提供する。第２のＡＸＩスレーブが、ニューラル推論装置の活性化メモリからＦＩＦＯインターフェースを提供する。第３のＡＸＩスレーブは、４つのＦＩＦＯインターフェースを提供し、命令メモリへ１つ、命令メモリから１つ、パラメータ／制御レジスタへ１つ、パラメータ／制御レジスタから１つを提供する。
【0064】
ＡＸＩマスタは、ＭＣ－ＤＭＡを介して命令されるニューラル推論データ・パスとの間でのデータ移動を開始する。マルチチャネルＤＭＡコントローラ（ＭＣ－ＤＭＡ）は、複数のＡＸＩスレーブのためにデータ移動を同時に実行できるプログラマブルＤＭＡエンジンを提供する。
【0065】
この統合シナリオのために構築されたアプリケーションは、タスク（例えば、ｓｅｎｄＴｅｎｓｏｒ、ｒｅｃｖＴｅｎｓｏｒ）のためにＡＰＩルーチンを使用する。したがって、ランタイム・ライブラリは、特定のハードウェア・インスタンスにとって不可知である一方、ドライバが所与のハードウェア構成のために構築される。
【0066】
図１３を参照すると、ニューラル推論装置１３０１の例示的な統合が示されている。この例では、完全にメモリ・マップト・インターフェースが使用される。
【0067】
ハードウェア側では、第１のＡＸＩスレーブが、ニューラル推論装置の活性化メモリへメモリ・マップト・インターフェースを提供する。第２のＡＸＩスレーブが、ニューラル推論装置の活性化メモリからメモリ・マップト・インターフェースを提供する。第３のＡＸＩスレーブが、メモリ・マップト・インターフェースを提供し、１つが命令メモリ用、１つがグローバル・メモリ用、さらに１つがパラメータ／制御レジスタ用として提供する。
【0068】
ＡＸＩマスタは、ＭＣ－ＤＭＡを介して命令されるニューラル推論データ・パスとの間でのデータ移動を開始する。マルチチャネルＤＭＡコントローラ（ＭＣ－ＤＭＡ）は、複数のＡＸＩスレーブのためにデータ移動を同時に実行できるプログラマブルＤＭＡエンジンを提供する。
【0069】
この統合シナリオのために構築されたアプリケーションは、タスク（例えば、ｓｅｎｄＴｅｎｓｏｒ、ｒｅｃｖＴｅｎｓｏｒ）のためにＡＰＩルーチンを使用する。したがって、ランタイム・ライブラリは、特定のハードウェア・インスタンスにとって不可知である一方、ドライバが所与のハードウェア構成のために構築される。
【0070】
図１４を参照すると、ニューラル推論装置１４０１がＰＣＩｅブリッジを介してホストに相互接続される例示的な構成が示されている。
【0071】
いくつかの実施形態では、ランタイムが、アプリケーション層において提供される。そのような実施形態では、アプリケーションは、一次インターフェース（例えば、Ｃｏｎｆｉｇｕｒｅ、Ｐｕｔ Ｔｅｎｓｏｒ、Ｇｅｔ Ｔｅｎｓｏｒ）を他のアプリケーションに対して露出する。基本ソフトウェア層は、ＰＣＩｅドライバを介してニューラル推論装置と通信し、抽象層を創出する。ニューラル推論装置は、その後、周辺装置として高速インターフェースを介してシステムに接続される。
【0072】
いくつかの実施形態では、一次インターフェース（例えば、Ｃｏｎｆｉｇｕｒｅ、Ｐｕｔ Ｔｅｎｓｏｒ、Ｇｅｔ Ｔｅｎｓｏｒ）を他のＡＵＴＯＳＡＲアプリケーションに対して露出するランタイム・ドライバが提供される。ニューラル推論装置は、その後、周辺装置として高速インターフェースを介してシステムに接続される。
【0073】
上述した技術およびレイアウトは、多種多様な複数のニューラル推論装置モデルを可能にする。いくつかの実施形態では、複数のニューラル推論モジュールは、選択高速インターフェースを介して、ホストと通信する。いくつかの実施形態では、複数のニューラル推論チップは、高速インターフェースを介して、相互およびホストと通信し、この場合、グルー・ロジックの使用の可能性がある。いくつかの実施形態では、複数のニューラル推論ダイは、専用インターフェースを介して、ホストまたは他のニューラル推論ダイのいずれかと通信し、この場合、グルー・ロジックの使用の可能性がある（オン・チップ上またはインターポーザー上）。いくつかの実施形態では、複数のニューラル推論システム・イン・パッケージは、高速インターフェースを介して、相互に、またはオン・ダイのホストあるいはその両方と通信する。例示的なインターフェースは、ＰＣＩｅ ｇｅｎ４／５、ＡＸＩ４、ＳｅｒＤｅｓ、および特化インターフェースを含む。
【0074】
図１５を参照すると、ニューラル・ネットワーク・プロセッサ・システムにおけるニューラル・ネットワーク記述をホストからインターフェースを介して受信する１５０１ための方法１５００が示されており、ニューラル・ネットワーク・プロセッサ・システムが、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合され、インターフェースがニューラル・ネットワーク・プロセッサ・システムに動作可能に接続される。方法は、さらに、インターフェースを介してメモリ・マップを露出すること１５０２を含み、メモリ・マップが、活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を備える。方法は、さらに、ニューラル・ネットワーク・プロセッサ・システムにおける入力データをインターフェースを介して受信すること１５０３を含む。方法は、さらに、ニューラル・ネットワーク・モデルに基づいて入力データから出力データを計算すること１５０４を含む。方法は、さらに、ニューラル・ネットワーク・プロセッサ・システムからの出力データをインターフェースを介して提供すること１５０５を含む。いくつかの実施形態では、方法は、インターフェースを介してニューラル・ネットワーク記述を受信し、インターフェースを介して入力データを受信し、インターフェースを介して出力データを提供すること１５０６を含む。
【0075】
上記で記載したように、様々な実施形態では、ホスト、センサ、または他の推論エンジン、あるいはその組み合わせに対する通信のための周辺通信インターフェースを有する１つまたは複数のニューラル推論チップを備えるメモリ・マップト・ニューラル推論エンジンが提供される。いくつかの実施形態では、各ニューラル推論チップは、メモリ・マップされており、ｃｏｎｆｉｇｕｒｅ＿ｎｅｔｗｏｒｋ（）、ｐｕｓｈ＿ｄａｔａ（）、ｐｕｌｌ＿ｄａｔａ（）などの通信ＡＰＩプリミティブの減少されたセットを使用する。いくつかの実施形態では、ニューラル推論エンジンと通信するために、例えば、ＡＸＩ、ＰＣＩｅ、ＵＳＢ、イーサネット（Ｒ）、ファイアワイヤ、または無線など、入れ替え可能なインターフェースが使用される。いくつかの実施形態では、システム歩留まりの増加および正しいシステム動作のために、複数のレベルのハードウェア、ソフトウェア、およびモデル・レベルの冗長性が使用される。いくつかの実施形態では、ファームウェアは、性能改善のために、受信／発信データを操作してバッファに入れるために使用される。いくつかの実施形態では、ランタイム・プログラミング・モデルが、ニューラル・アクセラレータ・チップを制御するために使用される。いくつかの実施形態では、ハードウェア－ファームウェア－ソフトウェアのスタックは、ニューラル推論エンジン上で複数のアプリケーションを実装するために使用される。
【0076】
いくつかの実施形態では、システムは、システムの構成および動作パラメータを格納するため、または前の状態から再開するためにオン・ボードの不揮発性メモリ（フラッシュ・カードまたはＳＤカードなど）を組み込むことによってスタンド・アロン・モードで動作する。いくつかの実施形態では、上記のシステムおよび通信インフラストラクチャの性能は、リアルタイム動作と、ニューラル・アクセラレータ・チップとの通信とをサポートする。いくつかの実施形態では、上記のシステムおよび通信インフラストラクチャの性能は、ニューラル・アクセラレータ・チップとのリアルタイム動作および通信よりも高速でサポートする。
【0077】
いくつかの実施形態では、ニューラル推論チップ、ファームウェア、ソフトウェア、および通信プロトコルは、そのようなシステムが複数配列されて大規模システム（マルチチップ・システム、マルチボード・システム、ラック、データ・センタなど）とすることを可能にする。いくつかの実施形態では、ニューラル推論チップおよびマイクロプロセッサ・チップは、エネルギー効率の良いリアルタイム処理ハイブリッドのクラウド計算システムを構成する。いくつかの実施形態では、ニューラル推論チップは、センサベース、ニューラルベース、映像ベース、または音声ベース、あるいはその組み合わせをベースとしたアプリケーション、ならびにモデリング・アプリケーションのためのクラウド・システムで使用される。いくつかの実施形態では、インターフェース・コントローラは、様々な通信インターフェースを使用し得る他のクラウド・セグメント／ホストとの通信に対して使用される。
【0078】
いくつかの実施形態では、ファームウェア・スタックおよびソフトウェア・スタック（ドライバを含む）は、推論エンジン／マイクロプロセッサ、推論エンジン／ホスト、およびマイクロプロセッサ／ホストのインタラクションを実行する。いくつかの実施形態では、ニューラル推論チップとのロー・レベル・インタラクションを実行するランタイムＡＰＩが提供される。いくつかの実施形態では、オペレーティング・システムを含むソフトウェア・スタックが提供され、作業量およびユーザ・アプリケーションをシステムの装置に対して自動的にマッピングして順番に実行する。
【0079】
次に図１６を参照すると、計算ノードの例の概略が示されている。計算ノード１０は、適切な計算ノードの一例に過ぎず、本明細書で説明される発明の実施形態の使用または機能性の範囲に関してのあらゆる限定を示唆することが意図されない。ただし、計算ノード１０は、実施されること、または上記に記載の機能のいずれかを実行すること、あるいはその両方が可能である。
【0080】
計算ノード１０において、多数の他の汎用または専用計算システム環境または構成とともに動作可能なコンピュータ・システム／サーバ１２が存在する。コンピュータ・システム／サーバ１２との使用に適し得るよく知られた計算システム、環境、または構成、あるいはその組み合わせの例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ装置、マルチプロセッサ・システム、マイクロプロセッサをベースとするシステム、セット・トップ・ボックス、プログラマブル・コンシューマ・エレクトロニクス、ネットワークＰＣ、ミニ・コンピュータ・システム、メインフレーム・コンピュータ・システム、および上記システムまたは装置のいずれかを含む分散クラウド・コンピューティング環境などを含むが、これらに限定されない。
【0081】
コンピュータ・システム／サーバ１２は、コンピュータ・システムによって実行されている、プログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的な文脈において説明され得る。一般に、プログラム・モジュールは、特定のタスクを実行する、または特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造体などを含み得る。コンピュータ・システム／サーバ１２は、タスクが通信ネットワークによってリンクされるリモート処理装置によって実行される分散クラウド・コンピューティング環境において実践され得る。分散クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ格納装置を含むローカルおよびリモートの両方のコンピュータ・システムの格納媒体に配置され得る。
【0082】
図１６に示すように、計算ノード１０におけるコンピュータ・システム／サーバ１２は、汎用計算装置の形態で示されている。コンピュータ・システム／サーバ１２のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット１６、システム・メモリ２８、およびシステム・メモリ２８を含む様々なシステム・コンポーネントをプロセッサ１６に結合するバス１８を含むが、これらに限定されない。
【0083】
バス１８は、いくつかの種類のうちのいずれかの種類のバス構造体うちの１つまたは複数を表し、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、および多種多様なバス・アーキテクチャのいずれかを使用したプロセッサまたはローカル・バスを含む。一例として、限定ではなく、上記のようなアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダード・アソシエーション（ＶＥＳＡ）ローカル・バス、および周辺機器相互接続（ＰＣＩ）バスを含む。
【0084】
コンピュータ・システム／サーバ１２は、典型的に、多種多様なコンピュータ・システム可読媒体を含む。そのような媒体は、コンピュータ・システム／サーバ１２によってアクセス可能な任意の利用可能な媒体でよく、揮発性媒体および不揮発性媒体の両方、取り外し可能媒体および取り外し可能でない媒体の両方を含む。
【0085】
システム・メモリ２８は、ランダム・アクセス・メモリ（ＲＡＭ）３０またはキャッシュ・メモリ３２、あるいはその両方など、揮発性メモリの形態のコンピュータ・システム可読媒体を含み得る。コンピュータ・システム／サーバ１２は、さらに、他の取り外し可能／取り外し可能でない、揮発性／不揮発性のコンピュータ・システム格納媒体を含み得る。例に過ぎないが、取り外し可能でない不揮発性磁気媒体（図示しておらず、通常「ハード・ドライブ」と呼ばれる）から読み出され、そこに書き込むための格納システム３４が提供され得る。図示されていないが、取り外し可能で不揮発性の磁気ディスク（例えば、「フロッピー（Ｒ）・ディスク」）から読み出し、そこへ書き込むための磁気ディスク・ドライブと、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光学媒体などの取り外し可能で不揮発性の光ディスクから読み出し、またはそこに書き込むための光ディスク・ドライブが提供され得る。そのような事例において、それぞれは、１つまたは複数のデータ・メディア・インターフェースによってバス１８に接続され得る。図示され、以下にさらに説明されるように、メモリ２８は、本発明の実施形態の機能を実行するように構成されるプログラム・モジュールのセット（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含んでもよい。
【0086】
例として、限定ではなく、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データと同様に、プログラム・モジュール４２のセット（少なくとも１つ）を有するプログラム／ユーティリティ４０は、メモリ２８に格納されてもよい。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらの何らかの組み合わせのそれぞれは、ネットワーキング環境の実施を含み得る。プログラム・モジュール４２は、全般的に、本明細書で説明するような本発明の実施形態の機能または方法論、あるいはその両方を実行する。
【0087】
コンピュータ・システム／サーバ１２は、さらに、キーボード、ポインティング・デバイス、ディスプレイ２４などの１つまたは複数の外部装置１４、ユーザがコンピュータ・システム／サーバ１２とインタラクションを行うことができるようにする１つまたは複数の装置、またはコンピュータ・システム／サーバ１２が１つまたは複数の他の計算装置と通信できるようにする任意の装置（例えば、ネットワーク・カード、モデムなど）、あるいはその組み合わせと通信し得る。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行われ得る。さらに、コンピュータ・システム／サーバ１２は、ネットワーク・アダプタ２０を介して、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、または公衆網（例えば、インターネット）、あるいはその組み合わせなどの１つまたは複数のネットワークと通信可能である。上記で示したように、ネットワーク・アダプタ２０は、バス１８を介してコンピュータ・システム／サーバ１２の他の構成要素と通信する。なお、図示されていないが、他のハードウェアまたはソフトウェア、あるいはその両方のコンポーネントは、コンピュータ・システム／サーバ１２と併せて使用されることを理解されたい。例は、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ配列、ＲＡＩＤシステム、テープ・ドライブ、およびデータ超大容量記憶システムなどを含むが、これらに限定されない。
【0088】
本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせでもよい。このコンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読格納媒体（複数可）を含み得る。
【0089】
コンピュータ可読格納媒体は、命令実行装置によって使用される命令を保持および格納可能な有形装置であり得る。コンピュータ可読格納媒体は、例えば、電子格納装置、磁気格納装置、光学格納装置、電磁格納装置、半導体格納装置、または上記の任意の適切な組み合わせでもよいが、それに限定されない。コンピュータ可読格納媒体のより具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチ・カードまたは命令が記録された溝の隆起構造などの機械的暗号化装置、および上記の任意の適切な組み合わせを含む。本明細書で使用される場合、コンピュータ可読格納媒体は、それ自体、電波または他の自由に伝搬する電磁波、導波路または他の伝送媒体（例えば、光ファイバ・ケーブルを通過する光パルス）を通って伝搬する電磁波、または電線によって伝達される電気信号などの一過性信号であるとして解釈されるべきではない。
【0090】
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読格納媒体からそれぞれの計算／処理装置へ、または例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはワイヤレス・ネットワーク、あるいはその組み合わせなどのネットワークを介して外部コンピュータまたは外部格納装置へダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備え得る。各計算／処理装置におけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの計算／処理装置内のコンピュータ可読格納媒体における格納のために、そのコンピュータ可読プログラム命令を転送する。
【0091】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、１つまたは複数のプログラミング言語の任意の組む合わせで記述されたソース・コードまたはオブジェクト・コードのいずれかでもよく、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザのコンピュータにおいて全体的に、ユーザのコンピュータにおいて部分的に、スタンド・アロン・ソフトウェア・パッケージとして、ユーザのコンピュータで部分的に、さらにリモート・コンピュータで部分的に、またはリモート・コンピュータまたはサーバで全体的に実行されてもよい。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、もしくはその接続は、外部コンピュータ（例えば、インターネット・サービス・プロバイダを使用してインターネットを介する）へなされてもよい。いくつかの実施形態では、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して電子回路をパーソナライズし得る。
【0092】
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャートの図またはブロック図あるいはその両方を参照して、本明細書で説明される。フローチャートの図またはブロック図あるいはその両方の各ブロック、ならびにフローチャートの図またはブロック図あるいはその両方中のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施可能であることを理解されるであろう。
【0093】
コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令がフローチャートまたはブロック図あるいはその両方のブロックにおいて明示された機能／動作を実施するための手段を創出するように、上記のコンピュータ可読プログラム命令は、機械を製造するために、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令は、さらに、命令を格納したコンピュータ可読格納媒体がフローチャートまたはブロック図あるいはその両方のブロックに明示された機能／動作の態様を実施する命令を含む製品を備えるように、コンピュータ、プログラマブル・データ処理装置、または他の装置に特定のやり方あるいはその組み合わせで機能させ得るコンピュータ可読格納媒体に格納されてもよい。
【0094】
コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックにおいて明示された機能／動作を実施するように、上記のコンピュータ可読プログラム命令は、一連の動作ステップがコンピュータ実施プロセスを創出するようにコンピュータまたは他のプログラマブル装置または他の装置上で実行されるようにするためにコンピュータ、他のプログラマブル・データ処理装置、または他の装置にさらにロードされてもよい。
【0095】
図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能性のある実施のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図における各ブロックは、特化した論理機能を実施するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替の実施例では、ブロックに記載された機能は、図面に記載の順序とは異なる順序で発生し得る。例えば、連続して示される２つのブロックは、実際には、ほぼ同時に実行されてもよく、またはブロックは、場合によっては、関連する機能に応じて、逆の順序で実行されてもよい。また、ブロック図またはフローチャートの図、あるいはその両方の各ブロックおよびブロック図またはフローチャートの図、あるいはその両方のブロックの組み合わせは、特化した機能または動作を実行する、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェア・ベースのシステムによって実施可能であることが認識されるであろう。
【0096】
本発明の様々な実施形態の説明が例示目的で提供されたが、網羅的である、または開示された実施形態に限定されることは意図されない。多くの修正および変形は、説明された実施形態の範囲および思想から逸脱しない範囲で、当業者にとって明らかであろう。実施形態の原理、市場に存在する技術の実用化または技術的改良を最も良く説明するため、または本開示が属する分野の通常技量を有する他者が本明細書で開示される実施形態を理解できるようにするために、本明細書で使用される用語は選ばれた。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2023-04-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
システムであって、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、前記ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合される、ニューラル・ネットワーク・プロセッサ・システムと、
前記活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を備えるメモリ・マップと、
前記ニューラル・ネットワーク・プロセッサ・システムに動作可能に接続されたインターフェースであり、前記インターフェースが、ホストと通信するように、さらに前記メモリ・マップを露出するように適合されるインターフェースと
を備えるシステム。
【請求項2】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供するように構成される、請求項１に記載のシステム。
【請求項3】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してＡＰＩを露出し、前記ＡＰＩは、前記インターフェースを介して前記ニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供するための方法を含む、請求項２に記載のシステム。
【請求項4】
前記インターフェースは、ＡＸＩ、ＰＣＩｅ、ＵＳＢ、イーサネット（Ｒ）、またはファイアワイヤ・インターフェースを含む、請求項１に記載のシステム。
【請求項5】
冗長ニューラル・ネットワーク処理コアをさらに備えており、前記冗長ニューラル・ネットワーク処理コアが、前記ニューラル・ネットワーク処理コアと並列してニューラル・ネットワーク・モデルを計算するように構成される、請求項１に記載のシステム。
【請求項6】
前記ニューラル・ネットワーク・プロセッサ・システムが、ニューラル・ネットワーク・モデルの冗長計算を提供するように構成される、請求項１に記載のシステム。
【請求項7】
前記ニューラル・ネットワーク・プロセッサ・システムが、ハードウェア、ソフトウェア、およびモデル・レベルの冗長性のうちの少なくとも１つを提供するように構成される、請求項１に記載のシステム。
【請求項8】
前記ニューラル・ネットワーク・プロセッサ・システムがプログラマブル・ファームウェアを備えており、前記プログラマブル・ファームウェアが前記入力データおよび出力データを処理するように構成可能である、請求項２に記載のシステム。
【請求項9】
前記処理がバッファリングを含む、請求項８に記載のシステム。
【請求項10】
前記ニューラル・ネットワーク・プロセッサ・システムが、不揮発性メモリを備える、請求項１に記載のシステム。
【請求項11】
前記ニューラル・ネットワーク・プロセッサ・システムが、構成または動作パラメータ、もしくはプログラム状態を格納するように構成される、請求項１０に記載のシステム。
【請求項12】
前記インターフェースが、リアルタイムまたはリアルタイムの動作より速く構成される、請求項１に記載のシステム。
【請求項13】
前記インターフェースが少なくとも１つのセンサまたはカメラに通信可能に結合される、請求項１に記載のシステム。
【請求項14】
ネットワークによって相互接続される、複数の請求項１に記載の前記システムを備えるシステム。
【請求項15】
ネットワークによって相互接続される、複数の請求項１に記載の前記システムと、複数の計算ノードとを備えるシステム。
【請求項16】
複数の互いに素のメモリ・マップであり、それぞれが前記複数の請求項１に記載のシステムのうちの１つに対応するメモリ・マップをさらに備える、請求項１５に記載のシステム。
【請求項17】
方法であって、前記方法は、ニューラル・ネットワーク・プロセッサ・システムにおけるニューラル・ネットワーク記述をホストからインターフェースを介して受信することを含み、
前記ニューラル・ネットワーク・プロセッサ・システムが、少なくとも１つのニューラル・ネットワーク処理コアと、活性化メモリと、命令メモリと、少なくとも１つの制御レジスタとを備えており、前記ニューラル・ネットワーク処理コアが、ニューラル・ネットワーク計算、制御、および通信プリミティブを実施するように適合され、
前記インターフェースが前記ニューラル・ネットワーク・プロセッサ・システムに動作可能に接続されており、
前記方法は、さらに、前記インターフェースを介してメモリ・マップを露出することを含み、前記メモリ・マップが、前記活性化メモリ、命令メモリ、および少なくとも１つの制御レジスタのそれぞれに対応する領域を備えており、
前記方法は、さらに、前記ニューラル・ネットワーク・プロセッサ・システムにおける入力データを前記インターフェースを介して受信することと、
ニューラル・ネットワーク・モデルに基づいて前記入力データから出力データを計算することと、
前記ニューラル・ネットワーク・プロセッサ・システムからの前記出力データを前記インターフェースを介して提供することと
を含む方法。
【請求項18】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供する、請求項１７に記載の方法。
【請求項19】
前記ニューラル・ネットワーク・プロセッサ・システムは、前記インターフェースを介してＡＰＩを露出し、前記ＡＰＩは、前記インターフェースを介して前記ニューラル・ネットワーク記述を受信し、前記インターフェースを介して入力データを受信し、前記インターフェースを介して出力データを提供するための方法を含む、請求項１７に記載の方法。
【請求項20】
前記インターフェースが、リアルタイムまたはリアルタイム速度より速く動作する、請求項１７に記載の方法。
【国際調査報告】