特表 2024-515393 インテリジェント・ビデオ分析及びエッジ・コンピューティング・システムにおけるエンドツーエンド・アクション認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-10

(54)【発明の名称】インテリジェント・ビデオ分析及びエッジ・コンピューティング・システムにおけるエンドツーエンド・アクション認識

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240403BHJP

   G06T 7/00 20170101ALI20240403BHJP

   G06T 7/20 20170101ALI20240403BHJP

   G06V 10/764 20220101ALI20240403BHJP

   G06V 10/94 20220101ALI20240403BHJP

   G06N 3/082 20230101ALI20240403BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06T7/20 300Z

G06V10/764

G06V10/94

G06N3/082

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022525199

(86)(22)【出願日】2022-03-31

(85)【翻訳文提出日】2023-10-04

(86)【国際出願番号】 US2022022924

(87)【国際公開番号】W WO2022216528

(87)【国際公開日】2022-10-13

(31)【優先権主張番号】17/225,924

(32)【優先日】2021-04-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

３．ＬｏＲａＷＡＮ

４．ＳＩＧＦＯＸ

(71)【出願人】

【識別番号】501450960

【氏名又は名称】エヌビディア コーポレーション

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ラダークリシュナン、サブハシュリー

(72)【発明者】

【氏名】アグーダシ、ファルジン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096BA06

5L096CA04

5L096DA02

5L096EA35

5L096FA02

5L096FA18

5L096FA64

5L096FA69

5L096GA30

5L096GA51

5L096HA04

5L096HA05

5L096HA11

5L096JA11

5L096JA16

5L096JA22

5L096KA04

5L096KA15

5L096LA01

5L096LA13

(57)【要約】

アクション認識を実施するための装置、システム、及び技法。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークとハードウェア・アクセラレータとを使用してアクション認識が実施され、ここで、１つ又は複数のニューラル・ネットワークは、たとえば、１つ又は複数の量子化及びプルーニング・プロセスに基づいて処理される。

【特許請求の範囲】

【請求項1】

ビデオの複数のフレームを受信するステップと、
前記複数のフレームにおいて表される１つ又は複数の物体を決定するステップと、
並列処理ユニットに、前記複数のフレームのうちのフレームの間の１つ又は複数のピクセルにおいて表される前記１つ又は複数の物体の移動を計算させるステップと、
ニューラル・ネットワークに、前記計算された移動と前記決定された１つ又は複数の物体とに少なくとも部分的に基づいて、前記１つ又は複数の物体によって実施され、前記複数のフレームにおいて表される１つ又は複数のアクションを分類させるステップと
を含む、方法。

【請求項2】

前記複数のフレームにおいて表される前記１つ又は複数の物体に対応するバウンディング・ボックスのセットを生成するステップをさらに含む、請求項１に記載の方法。

【請求項3】

クロップされた移動の第１のセットを決定するために、前記バウンディング・ボックスのセットに基づいて、前記計算された移動に対してクロッピング動作の第１のセットを実施するステップと、
クロップされたフレームの第１のセットを決定するために、前記バウンディング・ボックスのセットに基づいて、前記複数のフレームに対してクロッピング動作の第２のセットを実施するステップと
をさらに含む、請求項２に記載の方法。

【請求項4】

前記ニューラル・ネットワークの１つ又は複数のカーネルに少なくとも部分的に基づいて１つ又は複数の値を決定するステップと、
前記１つ又は複数の値に少なくとも部分的に基づいて前記ニューラル・ネットワークからカーネルのセットを除去するステップと
をさらに含む、請求項１に記載の方法。

【請求項5】

前記１つ又は複数のアクションが、少なくとも、座るアクション、歩くアクション、走るアクション、又は階段を上るアクションを含む、請求項１に記載の方法。

【請求項6】

前記ニューラル・ネットワークが、１つ又は複数の量子化された重みを含む、請求項１に記載の方法。

【請求項7】

ビデオ・データから、１つ又は複数のフレームに示された１つ又は複数の物体を識別し、
前記ビデオ・データの前記１つ又は複数のフレームを使用して、前記１つ又は複数の物体に対応する１つ又は複数のフロー場と１つ又は複数のバウンディング・ボックスとを計算し、
前記１つ又は複数のフロー場と前記１つ又は複数のバウンディング・ボックスとに基づいて、前記１つ又は複数の物体によって実施される１つ又は複数のアクションについての１つ又は複数の分類を決定する
１つ又は複数の回路を備える、プロセッサ。

【請求項8】

前記１つ又は複数の回路が、さらに、
前記１つ又は複数のバウンディング・ボックスを計算するために第１のニューラル・ネットワークを使用し、
前記１つ又は複数の分類を決定するために第２のニューラル・ネットワークを使用する、請求項７に記載のプロセッサ。

【請求項9】

前記１つ又は複数の回路が、さらに、
前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークの１つ又は複数のカーネルの１つ又は複数のＬ１ノルム値を計算し、
前記１つ又は複数のＬ１ノルム値に少なくとも部分的に基づいて、前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークからカーネルのセットを除去する、請求項８に記載のプロセッサ。

【請求項10】

前記カーネルのセットが、しきい値を上回るＬ１ノルム値を有する、前記１つ又は複数のカーネルのうちのカーネルに対応する、請求項９に記載のプロセッサ。

【請求項11】

前記１つ又は複数の回路が、さらに、１つ又は複数のハードウェア・アクセラレータを使用して前記１つ又は複数のフロー場を計算する、請求項７に記載のプロセッサ。

【請求項12】

前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークが、量子化された重みのセットを含む、請求項８に記載のプロセッサ。

【請求項13】

前記ビデオ・データが、１つ又は複数の自律車両システムからキャプチャされる、請求項７に記載のプロセッサ。

【請求項14】

ハードウェア・アクセラレータと、
命令を備えるメモリと
を備えるコンピューティング・デバイスであって、前記命令は、少なくとも、
複数のフレームを受信し、
前記ハードウェア・アクセラレータに、前記複数のフレームに対応する１つ又は複数のベクトル場を決定させ、
第１のニューラル・ネットワークに少なくとも部分的に基づいて、前記複数のフレームにおいて表される１つ又は複数の物体を決定し、
第２のニューラル・ネットワークを使用して、前記１つ又は複数のベクトル場及び前記１つ又は複数の決定された物体に少なくとも部分的に基づいて、前記複数のフレームにおいて表される１つ又は複数のアクションを分類する
ために、前記コンピューティング・デバイスの１つ又は複数のプロセッサによって実行可能である、コンピューティング・デバイス。

【請求項15】

前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークが、１つ又は複数の量子化プロセスを通して処理される１つ又は複数の重みを含む、請求項１４に記載のコンピューティング・デバイス。

【請求項16】

前記１つ又は複数の量子化プロセスが、第１の表現から第２の表現への前記１つ又は複数の重みのコンバージョンを含む、請求項１５に記載のコンピューティング・デバイス。

【請求項17】

前記１つ又は複数の量子化プロセスが、１つ又は複数のカルバック・ライブラー・ダイバージェンス値に少なくとも部分的に基づく、請求項１５に記載のコンピューティング・デバイス。

【請求項18】

前記第１の表現が３２ビット浮動小数点表現であり、前記第２の表現が８ビット整数表現である、請求項１６に記載のコンピューティング・デバイス。

【請求項19】

前記命令が、前記コンピューティング・デバイスの１つ又は複数の画像キャプチャ・ハードウェアから前記複数のフレームを少なくとも取得するために、前記１つ又は複数のプロセッサによって実行可能な命令をさらに含む、請求項１４に記載のコンピューティング・デバイス。

【請求項20】

前記ハードウェア・アクセラレータが、１つ又は複数の並列処理ユニットを備える、請求項１４に記載のコンピューティング・デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、その内容の全体がすべての目的のために参照により本明細書に組み込まれる、２０２１年４月８日に出願された「ＥＮＤ ＴＯ ＥＮＤ ＡＣＴＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ ＩＮ ＩＮＴＥＬＬＩＧＥＮＴ ＶＩＤＥＯ ＡＮＡＬＹＳＩＳ ＡＮＤ ＥＤＧＥ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭＳ」と題する米国特許出願第１７／２２５，９２４号の優先権を主張する。

【0002】

少なくとも１つの実施例は、画像及びビデオ・フレームにおけるアクション認識（ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ）を実施し、容易にするために使用される処理リソースに関する。たとえば、少なくとも１つの実施例は、ニューラル・ネットワークを使用して画像におけるアクション認識を実施するために使用されるプロセッサ又はコンピューティング・システムに関する。

【背景技術】

【0003】

アクション認識は、ビデオ監視及び自律運転など、様々な環境において重要なタスクである。多くの場合、アクション認識は、実施するために大量のコンピューティング・リソースを必要とする。これは、特定のコンピューティング環境におけるいくつかのコンピューティング・デバイスがアクション認識を実施するための処理能力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）を有しないことがある状況を生じることがある。したがって、アクション認識を実施するために使用されるメモリ、時間、又はコンピューティング・リソースの量が改善され得る。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】“Taxonomy and Definitions for Terms Related to Driving Automation Systems for On Road Motor Vehicles” (e.g., Standard No. J3016 201806, published on June 15, 2018, Standard No. J3016 201609, published on September 30, 2016, and previous and future versions of this standard)

【図面の簡単な説明】

【0005】

【図1】少なくとも１つの実施例による、アクション認識のためのシステムの一実例を示す図である。

【図2】少なくとも１つの実施例による、ニューラル・ネットワークをプルーニングすることの一実例を示す図である。

【図3】少なくとも１つの実施例による、ニューラル・ネットワークの重みを量子化することの一実例を示す図である。

【図4】少なくとも１つの実施例による、アクション認識のためのシステムに関して画像を処理することの一実例を示す図である。

【図5】少なくとも１つの実施例による、アクション認識のためのエッジ・デバイス及びシステムの一実例を示す図である。

【図6】少なくとも１つの実施例による、アクション認識のためのシステムのためのプロセスの一実例を示す図である。

【図7A】少なくとも１つの実施例による、推論及び／又は訓練論理（ｔｒａｉｎｉｎｇ ｌｏｇｉｃ）を示す図である。

【図7B】少なくとも１つの実施例による、推論及び／又は訓練論理を示す図である。

【図8】少なくとも１つの実施例による、ニューラル・ネットワークの訓練及び導入を示す図である。

【図9】少なくとも１つの実施例による、例示的なデータ・センタ・システムを示す図である。

【図10A】少なくとも１つの実施例による、自律車両の一実例を示す図である。

【図10B】少なくとも１つの実施例による、図１０Ａの自律車両についてのカメラ・ロケーション及び視野の一実例を示す図である。

【図10C】少なくとも１つの実施例による、図１０Ａの自律車両のための例示的なシステム・アーキテクチャを示すブロック図である。

【図10D】少なくとも１つの実施例による、（１つ又は複数の）クラウド・ベースのサーバと図１０Ａの自律車両との間の通信のためのシステムを示す図である。

【図11】少なくとも１つの実施例による、コンピュータ・システムを示すブロック図である。

【図12】少なくとも１つの実施例による、コンピュータ・システムを示すブロック図である。

【図13】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図14】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図15A】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図15B】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図15C】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図15D】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図15E】少なくとも１つの実施例による、共有プログラミング・モデルを示す図である。

【図15F】少なくとも１つの実施例による、共有プログラミング・モデルを示す図である。

【図16】少なくとも１つの実施例による、例示的な集積回路及び関連するグラフィックス・プロセッサを示す図である。

【図17A】少なくとも１つの実施例による、例示的な集積回路及び関連するグラフィックス・プロセッサを示す図である。

【図17B】少なくとも１つの実施例による、例示的な集積回路及び関連するグラフィックス・プロセッサを示す図である。

【図18A】少なくとも１つの実施例による、追加の例示的なグラフィックス・プロセッサ論理を示す図である。

【図18B】少なくとも１つの実施例による、追加の例示的なグラフィックス・プロセッサ論理を示す図である。

【図19】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図20A】少なくとも１つの実施例による、並列プロセッサを示す図である。

【図20B】少なくとも１つの実施例による、パーティション・ユニットを示す図である。

【図20C】少なくとも１つの実施例による、処理クラスタを示す図である。

【図20D】少なくとも１つの実施例による、グラフィックス・マルチプロセッサを示す図である。

【図21】少なくとも１つの実施例による、マルチ・グラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）システムを示す図である。

【図22】少なくとも１つの実施例による、グラフィックス・プロセッサを示す図である。

【図23】少なくとも１つの実施例による、プロセッサのためのプロセッサ・マイクロアーキテクチャを示すブロック図である。

【図24】少なくとも１つの実施例による、深層学習アプリケーション・プロセッサを示す図である。

【図25】少なくとも１つの実施例による、例示的なニューロモーフィック・プロセッサを示すブロック図である。

【図26】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図27】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図28】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図29】少なくとも１つの実施例による、グラフィックス・プロセッサのグラフィックス処理エンジンのブロック図である。

【図30】少なくとも１つの実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分のブロック図である。

【図31A】少なくとも１つの実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理を示す図である。

【図31B】少なくとも１つの実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理を示す図である。

【図32】少なくとも１つの実施例による、並列処理ユニット（「ＰＰＵ」：ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を示す図である。

【図33】少なくとも１つの実施例による、汎用処理クラスタ（「ＧＰＣ」：ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｃｌｕｓｔｅｒ）を示す図である。

【図34】少なくとも１つの実施例による、並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニットを示す図である。

【図35】少なくとも１つの実施例による、ストリーミング・マルチプロセッサを示す図である。

【図36】少なくとも１つの実施例による、先進コンピューティング・パイプラインのための例示的なデータ・フロー図である。

【図37】少なくとも１つの実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練し、適応させ、インスタンス化し、導入するための例示的なシステムのためのシステム図である。

【図38】少なくとも１つの実施例による、撮像データを処理するための先進コンピューティング・パイプライン３７１０Ａの例示的な図を含む図である。

【図39A】少なくとも１つの実施例による、超音波デバイスをサポートする仮想機器の例示的なデータ・フロー図を含む図である。

【図39B】少なくとも１つの実施例による、ＣＴスキャナをサポートする仮想機器の例示的なデータ・フロー図を含む図である。

【図40A】少なくとも１つの実施例による、機械学習モデルを訓練するためのプロセスのためのデータ・フロー図である。

【図40B】少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャの例示的な図である。

【発明を実施するための形態】

【0006】

様々な実施例では、アクション認識は、実施するために大量のコンピューティング・リソースを必要とするリソース集約的タスクである。本明細書で説明される技法は、アクション認識のためのシステムであって、システムが、エッジ・デバイスなど、限られたコンピューティング・リソースをもつ様々なデバイスにおいて使用可能であるように、ビデオ・データに基づいて物体のアクションを効率的に分類し得る、システムに関する。詳細には、システムは、入力ビデオ・データに基づいて、ビデオ・データ中に表される１つ又は複数の物体のアクションを分類し得る。物体は、ビデオ・データ中に表される任意の好適なエンティティ又は物体を指し得る。アクションは、（限定はしないが）座ること、歩くこと、走ること、上ること、及び他の様々なアクションなど、運動アクション（ｍｏｔｏｒ ａｃｔｉｏｎ）を含み得る。システムは、それが、限られた処理能力（ｐｒｏｃｅｓｓｉｎｇ ｃａｐａｂｉｌｉｔｙ）をもつコンピューティング・デバイス上で導入可能であるように効率的であり得る。

【0007】

システムは、訓練の後に、様々なプルーニング・プロセスを受ける、物体検出及びアクション認識のための様々なニューラル・ネットワーク・モデルを利用し得る。様々な実施例では、それらのモデルは、それらのモデルのカーネルのＬ１ノルム値を計算することと、定義されたしきい値を下回るＬ１ノルム値をもつカーネルを除去することとによってプルーニングされる。また、性能をさらに改善するために、ニューラル・ネットワーク・モデルの重みが量子化され得る。プルーニング及び量子化されたネットワークは、物体検出及びアクション認識機能を効率的に実施し得る。

【0008】

追加として、システムは、ビデオ・データの物体のためのオプティカル・フロー・ベクトルを算出するためにハードウェア・アクセラレータを利用し得る。ハードウェア・アクセラレータは、詳細には、オプティカル・フロー算出のために構成され得、これは、システムの効率をさらに増加させる。システムは、ビデオ・データから物体のアクションを効率的に分類するために、ハードウェア・アクセラレータに関して、プルーニング及び量子化されたネットワークを利用し得る。システムは、プルーニング及び量子化されたネットワークとハードウェア・アクセラレータとのそれの利用により、リアルタイムで、及び様々なエッジ・デバイスにおいてなど、コンピューティング・リソースが限られていることがある様々な環境において、アクション認識を実施することができる。

【0009】

上記の説明及び以下の説明において、様々な技法が説明される。説明の目的で、技法を実装する可能なやり方の完全な理解を提供するために、具体的な構成及び詳細が記載される。ただし、以下で説明される技法が、具体的な詳細なしに異なる構成において実践され得ることも明らかであろう。さらに、よく知られている特徴は、説明されている技法を不明瞭にすることを回避するために省略又は簡略化され得る。

【0010】

本開示で説明及び示唆される技法は、システムの効率を増加させるために、プルーニング、量子化、及びハードウェア・アクセラレーションなど、様々な技法を使用してアクション認識を実施するシステムを提供することによって、特に、限られたコンピューティング・リソースを用いてアクション認識を実施するコンテキスト内での、アクション認識の分野を改善し得る。追加として、本開示で説明及び示唆される技法は、様々なコンピューティング・システム上でアクション認識の実施の速度を改善し得る。その上、本開示で説明及び示唆される技法は、特に、限られたコンピューティング・リソースを用いてリアルタイムでアクション認識を実施することに関して起こる問題を克服するために、コンピュータ技術に必然的に根ざしている。

【0011】

図１は、少なくとも１つの実施例による、アクション認識のためのシステムの実例１００を示す。一実施例では、アクション認識のためのシステム１０２が、（１つ又は複数の）アクション分類１２８を決定するためにビデオ・データ１０４を処理する。アクション認識のためのシステム１０２は、実行されたとき、ビデオ・データに基づいて１つ又は複数のアクション分類を決定する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合であり得る。いくつかの実例では、アクション認識のためのシステム１０２は、コンピュータ・ハードウェア上で実行しているソフトウェア・プログラム、コンピュータ・ハードウェア上で実行しているアプリケーション、及び／又はそれらの変形形態である。一実施例では、アクション認識のためのシステム１０２の１つ又は複数のプロセスは、任意の好適な処理システム又はユニット（たとえば、グラフィックス処理ユニット（ＧＰＵ）、並列処理ユニット（ＰＰＵ）、中央処理ユニット（ＣＰＵ））によって、並びに、連続、並列、及び／又はそれらの変形形態を含む任意の好適な様式で、実施される。

【0012】

アクション認識のためのシステム１０２は、ビデオ・データ１０４を取得するか、又はさもなければ受信し得る。一実施例では、ビデオ・データ１０４は、動く視覚画像（たとえば、ビデオ）の表現を符号化するデジタル・データである。ビデオ・データ１０４は、フレームとも呼ばれる、１つ又は複数の画像を備え得、それらは集合的にビデオを形成する。ビデオ・データ１０４は、アドバンスト・ビデオ・コーディング（ＡＶＣ：ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）、モーション・ピクチャ・エキスパート・グループ（ＭＰＥＧ：ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）フォーマット、及び／又はそれらの変形形態など、任意の好適なデジタル・ビデオ・フォーマットを使用して実装され得る。ビデオ・データ１０４は、任意の好適なラスタ画像ファイル・フォーマット（たとえば、ビットマップ画像ファイル、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：ジョイント・フォトグラフィック・エキスパート・グループ）ファイル）及び／又はベクトル画像ファイル・フォーマット（たとえば、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ：スケーラブル・ベクトル・グラフィックス）ファイル）の画像のシーケンスとして実装され得る。ビデオ・データ１０４は、圧縮又は非圧縮であり得る。ビデオ・データ１０４は、自律車両、ロボット、監視システム、医療撮像システム、衛星撮像システムなどの１つ又は複数のシステムなど、１つ又は複数のビデオ及び／又は画像キャプチャ・デバイスから生成され得る。ビデオ・データ１０４は、赤緑青（ＲＧＢ：ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）、白黒（ＢＷ：ｂｌａｃｋ－ａｎｄ－ｗｈｉｔｅ）、グレースケール、及び／又はそれらの変形形態など、任意の好適な配色のビデオを表し得る。

【0013】

アクション認識のためのシステム１０２は、様々なビデオ及び／又は画像キャプチャ・デバイスに関して１つ又は複数のシステムからビデオ・データ１０４を取得するか、又はさもなければ提供され得る。いくつかの実例では、アクション認識のためのシステム１０２は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアを備えるシステムの一部であり、ここで、アクション認識のためのシステム１０２は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアからビデオ・データ１０４を取得する。ビデオ・データ１０４は、物理的に（たとえば、アクション認識のためのシステム１０２に関連するデバイスへのワイヤード接続を介して）、リモートで（たとえば、アクション認識のためのシステム１０２に関連するデバイスへのワイヤレス通信ネットワークを介して）、及び／又はそれらの変形形態など、任意の好適な様式でアクション認識のためのシステム１０２によって取得されるか、又はさもなければ、そのシステムに提供され得る。

【0014】

アクション認識のためのシステム１０２のデコーダ１０６が、ビデオ・データ１０４を処理し得る。一実施例では、デコーダ１０６は、実行されたとき、１つ又は複数のビデオ処理動作を実施する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合である。デコーダ１０６は、ビデオ・データ１０４からフレームを決定し得る。いくつかの実例では、ビデオ・データ１０４は圧縮され、ここで、デコーダ１０６は、フレームを決定するためにビデオ・データ１０４を解凍する。デコーダ１０６は、ビデオ・データ１０４から画像状態１０８を決定し得る。画像状態１０８は、ビデオ・フレームを記憶するか、又はさもなければ符号化する、データ構造又はデータ・オブジェクトであり得る。画像状態１０８は、ビデオ・データ１０４の１つ又は複数のフレームを含み得る。ビデオ・データ１０４のフレームは、様々なラスタ・フォーマット及び／又はベクトル・フォーマットでなど、任意の好適な画像ファイル・フォーマットで表されるか、又はさもなければ記憶される画像であり得る。ビデオ・データ１０４のフレームは、画像状態１０８において圧縮形態又は非圧縮形態にあり得る。

【0015】

デコーダ１０６は、フレーム（たとえば、画像状態１０８のフレーム）をアクセラレータ１１０と検出器１１４とに出力し得る。いくつかの実例では、デコーダ１０６は、以下でさらに詳細に説明されるように、フレームを物体クロッピング１１８に出力する。検出器１１４は、デコーダ１０６によって出力されたフレームを処理し得る。一実施例では、検出器１１４は、実行されたとき、１つ又は複数の物体検出動作を実施する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合である。検出器１１４は、パーセプトロン・モデル、動径基底ネットワーク（ＲＢＮ：ｒａｄｉａｌ ｂａｓｉｓ ｎｅｔｗｏｒｋ）、オート・エンコーダ（ＡＥ：ａｕｔｏ ｅｎｃｏｄｅｒ）、ボルツマン・マシン（ＢＭ：Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、制限ボルツマン・マシン（ＲＢＭ：Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、深層信念ネットワーク（ＤＢＮ：ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、深層畳み込みネットワーク（ＤＣＮ：ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）、極端学習機械（ＥＬＭ：ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ）、深層残差ネットワーク（ＤＲＮ：ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）、及び／又はそれらの変形形態など、物体検出のための様々なニューラル・ネットワーク・モデルを利用し得る。検出器１１４は、画像状態１０８のフレームの特徴を決定し得る。検出器１１４は、画像状態１０８のフレームの物体のためのバウンディング・ボックスを決定し得る。物体は、人、環境の物体、車両、ロボット、及び／又はそれらの変形形態など、１つ又は複数のフレーム中に表されるシーンの任意の好適なエンティティ又は物体を指し得る。一実施例では、バウンディング・ボックスは、画像中に表されている物体のロケーション及び／又は位置の指示を指す。バウンディング・ボックスは、バウンディング・ボックスのコーナーに対応する座標のセットによって画定され得る。バウンディング・ボックスは、物体を含む画像（たとえば、フレーム）のエリア又は領域を示し得る。検出器１１４は、画像状態１０８の１つ又は複数のフレーム中に表される任意の数の物体のためのバウンディング・ボックスを決定し、決定されたバウンディング・ボックスを物体クロッピング１１８とオプティカル・フロー・クロッピング１２２とに出力し得る。

【0016】

いくつかの実例では、検出器１１４は、画像状態１０８の各フレームのためのバウンディング・ボックスを決定せず、画像状態１０８の１つ又は複数のフレームのためのバウンディング・ボックスのみを決定し、ここで、決定されたバウンディング・ボックスはトラッカー１１６に出力される。一実施例では、トラッカー１１６は、実行されたとき、１つ又は複数のコンピュータ・ビジョン・プロセスを実施する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合である。トラッカー１１６は、１つ又は複数のフレームのバウンディング・ボックスを、その１つ又は複数のフレームに対する１つ又は複数の前のフレーム及び／又はその１つ又はフレームに対する１つ又は複数の後のフレームのバウンディング・ボックスに基づいて決定する、１つ又は複数のコンピュータ・ビジョン・アルゴリズムを実施し得る。検出器１１４及び／又はトラッカー１１６は、追跡距離と呼ばれることがあるパラメータで構成され得、このパラメータは、画像状態１０８のどのフレームが検出器１１４及び／又はトラッカー１１６によって処理されるべきであるかを決定する。追跡距離は、検出器１１４によって処理されるべきであり、任意の好適な整数値であり得る、フレーム間のフレームの数を示すことができる。たとえば、０の値の追跡距離は、検出器１１４が画像状態１０８のあらゆるフレームを処理するべきであることを示し、１の値をもつ追跡距離は、検出器１１４が画像状態１０８の１つおきのフレームを処理するべきであることを示し、以下同様である。トラッカー１１６は、検出器１１４によって処理されない画像状態１０８の各フレームのためのバウンディング・ボックスを決定し得る。たとえば、検出器１１４は、画像状態１０８のフレームの１つおきのフレーム（たとえば、第１のフレーム、第３のフレーム、第５のフレームなど）のためのバウンディング・ボックスを決定し、ここで、トラッカー１１６は、画像状態１０８のフレームの残りのフレーム（たとえば、第２のフレーム、第４のフレーム、第６のフレームなど）のためのバウンディング・ボックスを決定する。トラッカー１１６は、フレーム中の物体のためのバウンディング・ボックスを、前のフレーム中のその物体のためのバウンディング・ボックス及び／又は後のフレーム中のその物体のためのバウンディング・ボックスに基づいて決定するために、１つ又は複数のカーネル・ベース追跡プロセス及び／又は輪郭追跡プロセスなど、様々な物体追跡プロセスを実施し得る。

【0017】

トラッカー１１６は、検出器１１４によって決定されたバウンディング・ボックスに基づいて、任意の好適な数のフレームの任意の数の物体のためのバウンディング・ボックスを決定し得る。物体クロッピング１１８は、フレーム中に表される物体を示し得る、検出器１１４及び／又はトラッカー１１６によって出力されたバウンディング・ボックスに基づいて、デコーダ１０６によって出力されたフレーム（たとえば、画像状態１０８のフレーム）を処理し得る。一実施例では、物体クロッピング１１８は、実行されたとき、１つ又は複数の画像クロッピング動作を実施する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合である。物体クロッピング１１８はフレームをクロップして、画像のセットを決定し得、ここで、画像のセットの各画像は、フレームのバウンディング・ボックスに対応する。物体クロッピング１１８はフレームを、（たとえば、検出器１１４及び／又はトラッカー１１６によって決定された）フレームのための１つ又は複数のバウンディング・ボックスに関してクロップして、１つ又は複数のバウンディング・ボックスに対応する１つ又は複数の画像を決定し得、ここで、１つ又は複数の画像の各画像は、１つ又は複数のバウンディング・ボックスの対応するバウンディング・ボックスによって示されるフレームのエリア又は領域を含む。

【0018】

たとえば、所与のフレーム（たとえば、画像状態１０８のフレーム）と、（たとえば、検出器１１４及び／又はトラッカー１１６によって決定された）そのフレームの第１の物体を示す第１のバウンディング・ボックスとについて、物体クロッピング１１８はフレームをクロップして、第１の物体を示す第１のバウンディング・ボックスによって示されるエリア又は領域を含むフレームからの第１の画像を決定し、フレームの他の物体を示す任意の数の他のバウンディング・ボックスについて、以下同様である。物体クロッピング１１８は特定のフレームをクロップして、特定のフレームのための任意の数のバウンディング・ボックスに対応する、クロップされたフレームとも呼ばれる画像のセットを決定し得る。クロップされたフレームは、フレーム中に表される物体のためのバウンディング・ボックスに基づいてフレームから決定される画像を指し得る。物体クロッピング１１８は、フレーム（たとえば、画像状態１０８のフレーム）から決定される１つ又は複数のクロップされたフレームを、物体ボックス・バッファ１２０に出力し得る。

【0019】

物体ボックス・バッファ１２０は、物体クロッピング１１８から出力された１つ又は複数のクロップされたフレームを記憶し得る。一実施例では、物体ボックス・バッファ１２０は、１つ又は複数の画像を記憶するデータ・バッファである。物体ボックス・バッファ１２０は、ソフトウェア及び／又はハードウェア・リソースを使用して実装され得る。物体ボックス・バッファ１２０は、アレイ又はリストなど、１つ又は複数のデータ構造を使用して実装され得る。物体ボックス・バッファ１２０は、画像状態１０８のフレームの１つ又は複数の物体の１つ又は複数のバウンディング・ボックスに対応する１つ又は複数の画像を記憶し得る。物体ボックス・バッファ１２０は、１つ又は複数の画像（たとえば、クロップされたフレーム）をアクション認識モデル１２６に出力し得る。

【0020】

一実施例では、オプティカル・フロー・アクセラレータとも呼ばれるアクセラレータ１１０は、オプティカル・フローを算出するためのハードウェア・アクセラレータ・コンピューティング・デバイスである。アクセラレータ１１０は、１つ又は複数のＰＰＵ、ＧＰＵなど、様々なハードウェア処理構成要素を備え得る。アクセラレータ１１０は、任意の好適なハードウェア・アクセラレータであり得る。一実施例では、ハードウェア・アクセラレータは、特に１つ又は複数のプロセスを実施するために利用されるコンピュータ・ハードウェアを指す。ハードウェア・アクセラレータは、汎用ＣＰＵを使用するソフトウェアなど、他のソフトウェア及び／又はハードウェア上で様々な機能を実施するために使用されるコンピューティング・リソースよりも少ないコンピューティング・リソースを使用して、様々な機能（たとえば、オプティカル・フロー算出プロセス）を実施し得る。

【0021】

オプティカル・フローは、視覚シーンにおける物体、表面及びエッジの明らかな動きのパターンを指し得る。オプティカル・フローは、オプティカル・フロー場を使用して表され得、オプティカル・フロー場は、画像フレーム間の物体の動きを示すベクトル場であり得る。一実施例では、２つ又はそれ以上の画像フレームのためのオプティカル・フロー場はベクトルの集合を含み、ここで、各ベクトルは、２つ又はそれ以上の画像フレームのうちのフレーム間の物体の動きを表す。たとえば、第１の画像が、第１の位置における第１の物体を示し、第２の画像が、第２の位置における第１の物体を示し、ここで、第１の画像と第２の画像とのためのオプティカル・フロー場が、第１の位置から第２の位置への第１の物体の移動を示すベクトルを含む。

【0022】

アクセラレータ１１０は、ベクトル場とも呼ばれる１つ又は複数のフロー場、オプティカル・フロー場及び／又はその変形形態を決定するために、デコーダ１０６によって出力されたフレーム（たとえば、画像状態１０８のフレーム）を処理し得る。アクセラレータ１１０は、特徴情報、バウンディング・ボックス情報、及び／又はその変形形態など、フロー場を決定するために検出器１１４によって決定された様々な情報を利用し得る。いくつかの実例では、アクセラレータ１１０は、フレームを、パッチとも呼ばれる１つ又は複数の領域又はブロックに分割し、フレームの対応する領域又はブロックに基づいてフロー場を決定する。たとえば、第１のフレームと第２のフレームとについて、アクセラレータ１１０は、フレームをブロックのセットに分割し、第１のフレームのブロックが、第２のフレームのブロックの物体に相関するか又はさもなければ対応する物体を含むと決定し、第１のフレームのブロックによって示される第１の位置から第２のフレームのブロックによって示される第２の位置への物体の移動を示す１つ又は複数のベクトルを含むフロー場を算出する。

【0023】

オプティカル・フロー状態１１２は、フロー場を記憶するか又はさもなければ符号化する、データ構造又はデータ・オブジェクトであり得る。アクセラレータ１１０は、１つ又は複数のフロー場を含むオプティカル・フロー状態１１２を決定し得る。一実施例では、オプティカル・フロー状態１１２の各フロー場は、画像状態１０８のフレームのペアに対応する。オプティカル・フロー状態１１２のフロー場は、画像状態１０８のフレームの物体の動きを示し得る。フロー場は、画像状態１０８のフレームの間のそれぞれのピクセルの移動を示し得、ここで、ピクセルは、フレーム中に表される１つ又は複数の物体に対応し得る。たとえば、オプティカル・フロー状態１１２の第１のフロー場は、第１の位置における第１の物体を示す第１のフレームと、第２の位置における第１の物体を示す第２のフレームとに対応し、ここで、第１のフロー場は、第１の位置から第２の位置への第１の物体の動きを示す１つ又は複数のベクトルを含む。オプティカル・フロー状態１１２のフロー場は、画像状態１０８のフレームの任意の数の物体の動きを示し得る。フロー場は、アクセラレータ１１０によってオプティカル・フロー・クロッピング１２２に出力され得る。

【0024】

オプティカル・フロー・クロッピング１２２は、オプティカル・フロー状態１１２のフロー場と、検出器１１４及び／又はトラッカー１１６から出力されたバウンディング・ボックスとを処理し得る。一実施例では、オプティカル・フロー・クロッピング１２２は、実行されたとき、１つ又は複数のフロー場クロッピング動作を実施する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合である。オプティカル・フロー・クロッピング１２２はフレーム（たとえば、画像状態１０８のフレーム）に対応するフロー場をクロップして、クロップされたフロー場のセットを決定し得、ここで、クロップされたフロー場のセットの各クロップされたフロー場は、フレームのバウンディング・ボックスに対応する。オプティカル・フロー・クロッピング１２２はフロー場を、フレームの対応するペアと、（たとえば、検出器１１４及び／又はトラッカー１１６によって決定された）フレームのペアのうちのフレームのための１つ又は複数のバウンディング・ボックスとに基づいてクロップして、１つ又は複数のバウンディング・ボックスに対応する１つ又は複数のクロップされたフロー場を決定し得、ここで、各クロップされたフロー場は、１つ又は複数のバウンディング・ボックスのうちの対応するバウンディング・ボックスによって示されるフレームのエリア又は領域に対応するフロー場のエリア又は領域に対応する。

【0025】

たとえば、第１のフレーム及び第２のフレーム（たとえば、画像状態１０８のフレーム）に対応する所与のフロー場と、（たとえば、検出器１１４及び／又はトラッカー１１６によって決定された）第１のフレームの第１の物体を示す第１のバウンディング・ボックスとについて、オプティカル・フロー・クロッピング１２２はフロー場をクロップして、第１の物体を示す第１のバウンディング・ボックスによって示される第１のフレームのエリア又は領域に対応するフロー場のエリア又は領域を含む第１のクロップされたフロー場を決定し、第１のフレームの他の物体を示す任意の数の他のバウンディング・ボックスについて、以下同様である。オプティカル・フロー・クロッピング１２２は、フレームの対応するペアの第１のフレーム及び／又は第２のフレームのための１つ又は複数のバウンディング・ボックスに基づいてフロー場をクロップして、１つ又は複数のバウンディング・ボックスに対応するクロップされたフロー場のセットを決定し得る。クロップされた移動とも呼ばれる、クロップされたフロー場は、１つ又は複数のフレーム中に表される（たとえば、バウンディング・ボックスによって示される）特定の物体の移動を示すフロー場を指し得る。一実施例では、物体のバウンディング・ボックスに対応するクロップされたフロー場は、物体の動きを示すベクトルを含む。オプティカル・フロー・クロッピング１２２は、フロー場（たとえば、オプティカル・フロー状態１１２のフロー場）から決定された１つ又は複数のクロップされたフロー場をオプティカル・フロー・ボックス・バッファ１２４に出力し得る。

【0026】

オプティカル・フロー・ボックス・バッファ１２４は、オプティカル・フロー・クロッピング１２２から出力された１つ又は複数のフロー場を記憶し得る。一実施例では、オプティカル・フロー・ボックス・バッファ１２４は、１つ又は複数のフロー場を記憶するデータ・バッファである。オプティカル・フロー・ボックス・バッファ１２４は、ソフトウェア及び／又はハードウェア・リソースを使用して実装され得る。オプティカル・フロー・ボックス・バッファ１２４は、アレイ又はリストなど、１つ又は複数のデータ構造を使用して実装され得る。オプティカル・フロー・ボックス・バッファ１２４は、画像状態１０８のフレームの１つ又は複数の物体の１つ又は複数のバウンディング・ボックスに対応する（たとえば、オプティカル・フロー状態１１２のフロー場から決定された）１つ又は複数のクロップされたフロー場を記憶し得る。オプティカル・フロー・ボックス・バッファ１２４は、１つ又は複数のフロー場をアクション認識モデル１２６に出力し得る。

【0027】

アクション認識モデル１２６は、物体ボックス・バッファ１２０から出力されたクロップされたフレームと、オプティカル・フロー・ボックス・バッファ１２４から出力されたクロップされたフロー場とを処理し得る。一実施例では、オプティカル・フロー・ボックス・バッファ１２４の各フロー場は、物体ボックス・バッファ１２０のクロップされたフレームに対応する。オプティカル・フロー・ボックス・バッファ１２４のクロップされたフロー場は、物体ボックス・バッファ１２０のクロップされたフレームが対応するバウンディング・ボックスの物体の動きを示し得る。たとえば、物体ボックス・バッファ１２０の第１のクロップされたフレームは、物体のバウンディング・ボックスに対応し、ここで、対応するクロップされたフロー場は、物体の動きを示すベクトルを含む。アクション認識モデル１２６は、物体ボックス・バッファ１２０から出力されたクロップされたフレームと、オプティカル・フロー・ボックス・バッファ１２４から出力されたクロップされたフロー場とに基づいて、画像状態１０８のフレームに示された物体のアクションを決定し得る。

【0028】

一実施例では、アクション認識モデル１２６は、実行されたとき、１つ又は複数のアクション認識分類プロセスを実施する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合である。アクション認識モデル１２６は、パーセプトロン・モデル、動径基底ネットワーク（ＲＢＮ）、オート・エンコーダ（ＡＥ）、ボルツマン・マシン（ＢＭ）、制限ボルツマン・マシン（ＲＢＭ）、深層信念ネットワーク（ＤＢＮ）、深層畳み込みネットワーク（ＤＣＮ）、極端学習機械（ＥＬＭ）、深層残差ネットワーク（ＤＲＮ）、及び／又はそれらの変形形態など、アクション認識のための様々なニューラル・ネットワーク・モデルを利用し得る。アクション認識モデル１２６は、ロジスティック回帰モデル、単純ベイズ・モデル、確率的勾配降下モデル（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｍｏｄｅｌ）、Ｋ近傍モデル、判定ツリー・モデル、ランダム・フォレスト・モデル、サポート・ベクター・マシン・モデル、及び／又はそれらの変形形態など、１つ又は複数の分類器ニューラル・ネットワーク・アルゴリズム及び／又はモデルを利用し得る。一実施例では、アクション認識モデル１２６は、１つ又は複数のゲート・リカレント・ユニット（ＧＲＵ：ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）モデルを含む。アクション認識モデル１２６は、フロー場（たとえば、オプティカル・フロー・ボックス・バッファ１２４のクロップされたフロー場）を処理するために第１のモデルを利用し得、画像（たとえば、物体ボックス・バッファ１２０のクロップされたフレーム）を処理するために第２のモデルを利用し得る。

【0029】

アクション認識モデル１２６は、（１つ又は複数の）アクション分類１２８を決定し得、（１つ又は複数の）アクション分類１２８は、ビデオ・データ１０４の１つ又は複数の物体によって実施されている１つ又は複数のアクションの１つ又は複数のラベルを含み得る。アクションは、アクションに対応するアクション分類を含むラベルによって示され得る。いくつかの実施例では、アクション分類は、アクションを示す分類又は他の識別子である。一実施例では、（１つ又は複数の）アクション分類１２８は、アクション認識モデル１２６の１つ又は複数のニューラル・ネットワーク・プロセスの結果を符号化する１つ又は複数のデータ構造及び／又はデータ・オブジェクトの集合である。（１つ又は複数の）アクション分類１２８は、アクション認識モデル１２６によって決定されたラベルを記憶し得る。

【0030】

アクション認識モデル１２６は、ビデオ・データ１０４のフレームであり得る、画像状態１０８のフレーム中に表される物体のアクションを分類し得る。アクション認識モデル１２６は、（たとえば、検出器１１４及び／又はトラッカー１１６によって決定された１つ又は複数のバウンディング・ボックスによって示され、物体クロッピング１１８によって決定された１つ又は複数の画像に示された）画像状態１０８のフレーム中に表される各物体のための単一のラベルを決定し得、その単一のラベルは、物体のアクション（たとえば、１つ又は複数のフレーム中の物体によって実施されるアクション）に対応する、アクション分類とも呼ばれる特定の分類又はクラスを示す。１つ又は複数のフレーム（たとえば、画像状態１０８のフレーム）中に表される物体のためのラベルは、物体のアクションに対応するアクション分類、及び／或いは１つ又は複数のフレーム中に表される物体の（たとえば、バウンディング・ボックス又は他の好適な指示を介した）ロケーション又は位置の指示を含み得る。アクション分類は、座ること、歩くこと、走ること、（たとえば、壁、階段、及び／又は、それらの変形形態などの障害物を）上ること、ジャンプすることなどのアクション、及び／又は任意の好適なアクションを示し得る。アクション分類は、現実世界の環境における人間又は他の物体によって実施され得る任意のアクションを示し得る。たとえば、アクション認識モデル１２６は、歩くことに対応するアクション分類を含むビデオ・データ１０４中に表される物体のためのラベルを決定し、これは、アクション認識モデル１２６が、ビデオ・データ１０４中に表される物体が歩くことのアクションを実施していると決定したことを示す。アクション認識モデル１２６は、任意の数の好適なアクションに対応する任意の数のアクション分類のうちのアクション分類に属するものとして、物体のアクションを（たとえば、ラベルを介して）分類し得る。

【0031】

いくつかの実例では、物体のためのラベルは、異なるアクション分類についての確率を含む。物体のためのラベルは、アクションの第１のクラスの確率を示す第１の値を含み、アクションの第２のクラスの確率を示す第２の値を含み、任意の数のアクションについて、以下同様であり得る。たとえば、物体のためのラベルは、歩くことに対応するアクション分類の９０％の確率と、立つことに対応するアクション分類の１０％の確率とを示し、これは、アクション認識モデル１２６が、物体によって実施されているアクションが、９０％の確率で歩くことのアクションであるか、又は１０％の確率で立つことのアクションであると決定したことを示す。様々な実施例では、複数のアクション分類及び確率をもつ物体について、最高又は最大確率をもつアクション分類が、物体のためのラベルのために利用される。

【0032】

一実施例では、アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワークは、１つ又は複数のプルーニング・プロセスを受ける。アクション認識のためのシステム１０２、及び／又は、訓練フレームワーク・システムなど、アクション認識のためのシステム１０２に関連するシステムは、検出器１１４の１つ又は複数のニューラル・ネットワーク・モデル及び／又はアクション認識モデル１２６に対して１つ又は複数のプルーニング・プロセスを実施し得る。様々な実施例では、システム（たとえば、アクション認識のためのシステム１０２、及び／又は、訓練フレームワーク・システムなど、アクション認識のためのシステム１０２に関連するシステム）は、アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワーク・モデルを訓練し、１つ又は複数のニューラル・ネットワーク・モデルに１つ又は複数のプルーニング・プロセスを適用し、プルーニングされた１つ又は複数のニューラル・ネットワーク・モデルに対して追加の訓練プロセスを実施する。１つ又は複数のプルーニング・プロセスは、重み、カーネル、及び／又はそれらの変形形態をプルーニングすることを伴うものなど、並びに、任意の好適な論理、ヒューリスティック、ルール、機能、及び／又はそれらの変形形態に基づく、任意の好適なプルーニング・プロセスを含み得る。いくつかの実例では、プルーニングは、アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワークのカーネルのＬ１ノルム値を計算することと、定義されたしきい値を下回るＬ１ノルム値をもつカーネルを除去することとによって、システムによって実施され、プルーニングに関するさらなる情報は、図２の説明において見つけられ得る。プルーニングされたニューラル・ネットワークは、プルーニングされていないニューラル・ネットワークが含むカーネルよりも少ないカーネルを含み得、したがって、プルーニングされていないニューラル・ネットワークがデータを処理するために必要とするコンピューティング・リソースよりも、データを処理するために少ないコンピューティング・リソースを必要とし得るので、プルーニングされたニューラル・ネットワークは、プルーニングされていないニューラル・ネットワークがデータを処理するために利用するコンピューティング・リソースよりも、データを処理するために少ないコンピューティング・リソースを利用し得る。

【0033】

一実施例では、アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワークは、１つ又は複数の量子化プロセスを受ける。アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワークは、量子化された重みを含み得る。アクション認識のためのシステム１０２、及び／又は、訓練フレームワーク・システムなど、アクション認識のためのシステム１０２に関連するシステムは、検出器１１４の１つ又は複数のニューラル・ネットワーク・モデル及び／又はアクション認識モデル１２６に対して１つ又は複数の量子化プロセスを実施し得る。様々な実施例では、システム（たとえば、アクション認識のためのシステム１０２、及び／又は、訓練フレームワーク・システムなど、アクション認識のためのシステム１０２に関連するシステム）は、アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワーク・モデルに、訓練中の１つ又は複数の量子化プロセス（たとえば、量子化認識訓練（ＱＡＴ：ｑｕａｎｔｉｚａｔｉｏｎ－ａｗａｒｅ ｔｒａｉｎｉｎｇ））、及び／又は訓練の後の１つ又は複数の量子化プロセス（たとえば、訓練後量子化（ＰＴＱ：ｐｏｓｔ－ｔｒａｉｎｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ））など、１つ又は複数の量子化プロセスを適用する。いくつかの実例では、量子化は、任意の好適な論理、ヒューリスティック、ルール、機能、及び／又はそれらの変形形態を使用して、アクション認識のためのシステム１０２の１つ又は複数のニューラル・ネットワークの１つ又は複数の重みを第１のデータ・タイプ表現（たとえば、浮動小数点３２ビット精度（ＦＰ３２））から第２のデータ・タイプ表現（たとえば、８ビット整数（ＩＮＴ８））にコンバートすることによって、システムによって実施され、量子化に関するさらなる情報は、図３の説明において見つけられ得る。量子化されたニューラル・ネットワークは、量子化されていないニューラル・ネットワークが含む重みのデータ・タイプ表現のビットよりも少ないビットのデータ・タイプ表現の重みを含み得、したがって、量子化されていないニューラル・ネットワークがデータを処理するために必要とするコンピューティング・リソースよりも、データを処理するために少ないコンピューティング・リソースを必要とし得るので、量子化されたニューラル・ネットワークは、量子化されていないニューラル・ネットワークがデータを処理するために利用するコンピューティング・リソースよりも、データを処理するために少ないコンピューティング・リソースを利用し得る。

【0034】

アクション認識のためのシステム１０２は、リアルタイムでアクション認識を実施し得る。一実施例では、リアルタイムは、入力が生成される時間間隔内に入力が処理される処理を指し得る。リアルタイム処理のための時間間隔は、ミリ秒、マイクロ秒、又は任意の好適な時間間隔のオーダーのものであり得る。アクション認識のためのシステム１０２は、（たとえば、１つ又は複数の画像及び／又はビデオ・キャプチャ・システムから）ビデオ・データ１０４が生成される時間間隔内に、ビデオ・データ１０４から（１つ又は複数の）アクション分類１２８を決定し得る。たとえば、アクション認識のためのシステム１０２は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアに関連するコンピューティング・システム（たとえば、エッジ・デバイス）の一部であり、ここで、ビデオ・データ１０４は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアから生成され、ここで、アクション認識のためのシステム１０２は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアから、ビデオ・データ１０４が生成された時間間隔内に、ビデオ・データ１０４から（１つ又は複数の）アクション分類１２８を決定する。

【0035】

様々な実施例では、アクション認識のためのシステム１０２は、車両（たとえば、手動車両、半自律車両、自律車両、又はドローン）、ロボット、エッジ・デバイス、又はニューラル・ネットワーク能力（ｃａｐａｂｉｌｉｔｙ）をもつ他のシステムなど、１つ又は複数のデバイス又はシステムの１つ又は複数のコンピューティング・システムを使用して実行されるソフトウェア・モジュールである。エッジ・デバイスは、モバイル・フォン、タブレット、ラップトップ、モノのインターネット（ＩｏＴ）デバイス（たとえば、センサ、組み込みデバイス）、及び／又はそれらの変形形態など、コンピューティング・デバイスを指し得る。一実施例では、エッジ・デバイスは、限られたメモリ及び／又は処理能力をもつコンピューティング・デバイスである。サーバ又はデータ・センタ・システムなど、１つ又は複数のコンピューティング・システムは、エッジ・デバイス上にアクション認識のためのシステム１０２を導入するか、又はさもなければ実装し得、ここで、エッジ・デバイスは、アクション認識のためのシステム１０２を使用して様々なアクション認識プロセスを実施し得る。エッジ・デバイスは、様々な環境においてアクション認識を実施するためにアクション認識のためのシステム１０２を利用し得る。アクション認識のためのシステムとともにエッジ・デバイスを利用することに関するさらなる情報は、図５の説明において見つけられ得る。

【0036】

図２は、少なくとも１つの実施例による、ニューラル・ネットワークをプルーニングすることの実例２００を示す。この実例２００では、１つ又は複数のニューラル・ネットワーク・モデルのカーネルであり得るカーネル２０２は、プルーニング２０４を受けてカーネル２０６を生じ、カーネル２０６は、１つ又は複数のプルーニング・プロセスの後のカーネル２０２であり得る。一実施例では、カーネル２０２及び／又はカーネル２０６は、図１のアクション認識のためのシステムに関して説明されたものなど、１つ又は複数のニューラル・ネットワーク・モデルの１つ又は複数のカーネルである。

【0037】

カーネル２０２は、図１に関して説明された、検出器の１つ又は複数のニューラル・ネットワーク・モデル及び／又はアクション認識モデルの１つ又は複数のカーネルであり得る。カーネルは、任意の好適な次元の１つ又は複数の重みのアレイを含み得る。一実施例では、カーネルの重みは、ニューラル・ネットワークの入力データを処理することの一部として、１つ又は複数の乗算プロセス中で使用されるカーネルの数値を指す。カーネルは、データの特徴及び／又は他の特性を決定するためにニューラル・ネットワークによって処理されているデータに適用され得る。フィルタは、カーネルのセットを含み得る。フィルタを形成する単一のカーネルは、フィルタと呼ばれることもある。図２を参照すると、カーネル２０２は、第１のカーネル２０２Ａ、第２のカーネル２０２Ｂ、第３のカーネル２０２Ｃ、第４のカーネル２０２Ｄ、第５のカーネル２０２Ｅ、及び／又は図２に示されていない様々な他のカーネルを含み得る。

【0038】

カーネル２０２の重みは、アクション認識のためのシステム（たとえば、図１のアクション認識のためのシステム１０２）、及び／又は、図８に関して説明される訓練フレームワーク・システムなどのアクション認識のためのシステムに関連するシステムなど、１つ又は複数のシステムによって、検出器のニューラル・ネットワーク・モデル及び／又はアクション認識モデルなど、１つ又は複数のニューラル・ネットワーク・モデルの１つ又は複数の訓練プロセスの一部として更新され得る。たとえば、カーネル２０２は、検出器（たとえば、図１の検出器１１４）の１つ又は複数のニューラル・ネットワーク・モデルのカーネルであり、ここで、検出器の１つ又は複数の訓練プロセスの一部として、カーネル２０２の重みは更新される。別の実例として、カーネル２０２は、アクション認識モデル（たとえば、図１のアクション認識モデル１２６）の１つ又は複数のニューラル・ネットワーク・モデルのカーネルであり、ここで、アクション認識モデルの１つ又は複数の訓練プロセスの一部として、カーネル２０２の重みは更新される。

【0039】

アクション認識のためのシステム、及び／又はアクション認識のためのシステムに関連するシステムなど、１つ又は複数のシステムは、カーネル２０２の各カーネルのための１つ又は複数の値を決定し得、１つ又は複数の値は、Ｌ１ノルム値、Ｌ２ノルム値、最大ノルム値、及び／又はそれらの変形形態などの値を含み得る。一実施例では、Ｌ１ノルム値は、カーネルの重みの絶対値の和として計算される数値を指す。一実施例では、Ｌ２ノルム値は、カーネルの重みの２乗値の和の平方根として計算される数値を指す。一実施例では、最大ノルム値は、カーネルの重みの最大値として計算される数値を指す。１つ又は複数のシステムは、カーネル２０２の各カーネルのためのＬ１ノルム値を計算し得る。図２はＬ１ノルム値を示すが、Ｌ２ノルム値、最大ノルム値、及び／又はそれらの変形形態など、任意の好適な値が利用され得ることに留意されたい。

【0040】

一実施例では、プルーニング２０４は、アクション認識のためのシステム及び／又はアクション認識のためのシステムに関連するシステムなど、１つ又は複数のシステムによって実施される１つ又は複数のニューラル・ネットワーク・プルーニング・プロセスを指す。プルーニング２０４は、１つ又は複数のシステムによって実施されるべきである命令のセットとして実装され得る。１つ又は複数のシステムは、カーネル２０２に対してプルーニング２０４を実施し得る。プルーニング２０４は、上記でさらに詳細に説明されたように、Ｌ１ノルム値がカーネルのために計算される１つ又は複数のプロセスを含み得る。プルーニング２０４は、プルーニングしきい値とも呼ばれるしきい値を上回るＬ１ノルム値をもつカーネルが除去される、１つ又は複数のプロセスを含み得る。プルーニング２０４の一部として利用されるプルーニングしきい値は、任意の好適な数値であり得る。いくつかの実例では、プルーニングしきい値は、１つ又は複数のニューラル・ネットワーク訓練プロセスに関して１つ又は複数のシステムによって決定される。プルーニングしきい値は、定義された論理ルール／機能、ニューラル・ネットワーク訓練／推論プロセス、及び／又はそれらの変形形態を通してなど、任意の好適なプロセスを通して１つ又は複数のシステムによって決定され得る。

【0041】

たとえば、カーネル２０２のうちの第１のカーネルのために計算される第１のＬ１ノルム値が、プルーニングしきい値を上回り、ここで、第１のカーネルは、プルーニング２０４の一部としてカーネル２０２から除去される。いくつかの実例では、カーネルのセットがフィルタを形成し、ここで、平均Ｌ１ノルム値が、カーネルのセットのうちの１つ又は複数のカーネルの１つ又は複数のＬ１ノルム値に基づいて（たとえば、１つ又は複数のＬ１ノルム値を加算することと、その和をカーネルの数で除算することとによって、又は任意の好適な方法によって）計算され、平均Ｌ１ノルム値は、フィルタを形成するカーネルのセットを除去すべきかどうかを決定するために利用され得る。たとえば、カーネル２０２のうちの第１のカーネルと第２のカーネルとがフィルタを形成し、ここで、第１のカーネルのＬ１ノルム値と第２のカーネルのＬ１ノルム値とに基づいて計算された平均Ｌ１ノルム値が、プルーニングしきい値を上回り、ここで、第１のカーネルと第２のカーネルとは、プルーニング２０４の一部としてカーネル２０２から除去される。

【0042】

プルーニング２０４はカーネル２０６を生じ得、カーネル２０６は、プルーニング２０４の１つ又は複数のプルーニング・プロセスの後のカーネル２０２であり得る。カーネル２０２の１つ又は複数のカーネル及び／又はフィルタは、１つ又は複数のカーネル及び／又はフィルタのための計算されたＬ１ノルム値がプルーニング２０４におけるプルーニングしきい値を上回る場合、除去されてカーネル２０６を生じ得る。たとえば、図２を参照すると、カーネル２０２Ａはカーネル２０６Ａに対応し、カーネル２０２Ｂはカーネル２０６Ｂに対応し、カーネル２０２Ｃはカーネル２０６Ｃに対応し、カーネル２０２Ｅはカーネル２０６Ｅに対応し、カーネル２０２Ｄのために計算されるＬ１ノルム値は、プルーニングしきい値を上回り、ここで、プルーニング２０４の一部として、カーネル２０２Ｄはカーネル２０２から除去されてカーネル２０６を生じる。

【0043】

カーネル２０６の重みは、アクション認識のためのシステム（たとえば、図１のアクション認識のためのシステム１０２）、及び／又は、図８に関して説明される訓練フレームワーク・システムなどのアクション認識のためのシステムに関連するシステムなど、１つ又は複数のシステムによって、検出器のニューラル・ネットワーク・モデル及び／又はアクション認識モデルなど、１つ又は複数のニューラル・ネットワーク・モデルの１つ又は複数の訓練プロセスの一部として更新され得る。たとえば、カーネル２０６は、１つ又は複数のプルーニング・プロセス（たとえば、プルーニング２０４）を通して決定される検出器（たとえば、図１の検出器１１４）の１つ又は複数のニューラル・ネットワーク・モデルのカーネルであり、ここで、検出器の１つ又は複数の訓練プロセスの一部として、カーネル２０６の重みは更新される。別の実例として、カーネル２０６は、１つ又は複数のプルーニング・プロセス（たとえば、プルーニング２０４）を通して決定されるアクション認識モデル（たとえば、図１のアクション認識モデル１２６）の１つ又は複数のニューラル・ネットワーク・モデルのカーネルであり、ここで、アクション認識モデルの１つ又は複数の訓練プロセスの一部として、カーネル２０６の重みは更新される。

【0044】

図３は、少なくとも１つの実施例による、ニューラル・ネットワークの重みを量子化することの実例３００を示す。実例３００は、１つ又は複数のニューラル・ネットワーク・モデルの重みであり得る重み３０２Ａ～３０２Ｆを含み得、重み３０２Ａ～３０２Ｆは、量子化３０４を受けて、量子化された重みとも呼ばれる重み３０６Ａ～３０６Ｆを生じ、重み３０６Ａ～３０６Ｆは、１つ又は複数の量子化プロセスの３０２Ａ～３０２Ｆの後の重みであり得る。一実施例では、重み３０２Ａ～３０２Ｆ及び／又は重み３０６Ａ～３０６Ｆは、図１のアクション認識のためのシステムに関して説明されたものなど、１つ又は複数のニューラル・ネットワーク・モデルの重みである。

【0045】

重み３０２Ａ～３０２Ｆは、図１に関して説明された、検出器の１つ又は複数のニューラル・ネットワーク・モデル及び／又はアクション認識モデルの重みであり得る。一実施例では、重みは、ニューラル・ネットワークの入力データを処理する１つ又は複数のプロセス中で使用される数値を指す。図３を参照すると、重み３０２Ａ～３０２Ｆは、第１の重み３０２Ａ、第２の重み３０２Ｂ、第３の重み３０２Ｃ、第４の重み３０２Ｄ、第５の重み３０２Ｅ、第６の重み３０２Ｆ、及び／又は図３に示されていない様々な他の重みを含み得る。一実施例では、重み３０２Ａ～３０２Ｆは、３２ビット浮動小数点数（ＦＰ３２）、又は任意の好適な数表現を通して表される。一実施例では、重み３０６Ａ～３０６Ｆは、８ビット整数（ＩＮＴ８）、又は任意の好適な数表現を通して表される。

【0046】

重み３０２Ａ～３０２Ｆは、量子化３０４の１つ又は複数のプロセスの一部として量子化され得る。一実施例では、量子化３０４は、アクション認識のためのシステム（たとえば、図１のアクション認識のためのシステム１０２）、及び／又は、図８に関して説明される訓練フレームワーク・システムなどのアクション認識のためのシステムに関連するシステムなど、１つ又は複数のシステムによって実施される１つ又は複数のニューラル・ネットワーク量子化プロセスを指す。量子化３０４は、１つ又は複数のシステムによって実施されるべきである命令のセットとして実装され得る。１つ又は複数のシステムは、重み３０２Ａ～３０２Ｆに対して量子化３０４を実施し得る。一実施例では、量子化３０４は、１つ又は複数のプロセスを含み、ここで、第１の表現で表される重み（たとえば、ＦＰ３２で表される重み３０２Ａ～３０２Ｆ）は、第２の表現で表される重み（たとえば、ＩＮＴ８で表される重み３０６Ａ～３０６Ｆ）にスケーリングされるか、コンバートされるか、又はさもなければマッピングされる。

【0047】

量子化３０４は１つ又は複数のプロセスを含み得、ここで、しきい値は、重み（たとえば、重み３０２Ａ～３０２Ｆ）について、（たとえば、範囲－｜しきい値｜～＋｜しきい値｜によって図３中に示される）値の第１の範囲のために定義され、ここで、値の第１の範囲の重み（たとえば、範囲－｜しきい値｜～＋｜しきい値｜内に入る重み３０２Ｂ～３０２Ｅ）は、（たとえば、範囲－１２７～＋１２７によって図３中に示される）値の第２の範囲にスケーリングされるか又はさもなければマッピングされる。たとえば、重み３０２Ｂは重み３０６Ｂにスケーリングされ、重み３０２Ｃは重み３０６Ｃにスケーリングされ、重み３０２Ｄは重み３０６Ｄにスケーリングされ、重み３０２Ｅは重み３０６Ｅにスケーリングされる。スケーリングは、スケーリング・ファクタ（たとえば、値の第１の範囲を値の第２の範囲にスケーリングするためのスケーリング・ファクタ）に基づいて入力データをスケーリングし得る１つ又は複数の線形スケーリング・プロセス、又は任意の好適なスケーリング・プロセスを含み得る。一実施例では、値の第１の範囲の最高値（たとえば、図３中の＋｜しきい値｜）を上回るか又はその最高値にある重みは、値の第２の範囲の最高値（たとえば、図３の＋１２７）にマッピングされ、値の第１の範囲の最低値（たとえば、－｜しきい値｜）を下回るか又はその最低値にある重みは、値の第２の範囲の最低値（たとえば、図３の－１２７）にマッピングされる。たとえば、重み３０２Ｆは、値の第１の範囲の最高値（たとえば、図３中の示される＋｜しきい値｜）を上回る値を有し、ここで、重み３０２Ｆは、値の第２の範囲の最高値の値（たとえば、図３中の＋１２７）をもつ重み３０６Ｆにマッピングされる。別の実例として、図３を参照すると、重み３０２Ａは、値の第１の範囲の（たとえば、図３中の－｜しきい値｜によって示される）最低値を下回る値を有し、ここで、重み３０２Ａは、値の第２の範囲の最低値の値（たとえば、図３中の－１２７）をもつ重み３０６Ａにマッピングされる。

【0048】

第１の表現の重みの第１のセット（たとえば、重み３０２Ａ～３０２Ｆ）を第２の表現の重みの第２のセット（たとえば、重み３０６Ａ～３０６Ｆ）にマッピングするために利用すべき重みの第１のセットのための値の範囲を決定するために、しきい値（たとえば、図３中のしきい値）が１つ又は複数のシステムによって決定され得る。量子化３０４において利用されるしきい値は、任意の好適な数値であり得る。いくつかの実例では、しきい値は、１つ又は複数のニューラル・ネットワーク訓練プロセスに関して１つ又は複数のシステムによって決定される。しきい値は、定義された論理ルール／機能、ニューラル・ネットワーク訓練／推論プロセス、及び／又はそれらの変形形態を通してなど、任意の好適なプロセスを通して１つ又は複数のシステムによって決定され得る。いくつかの実例では、相対エントロピー又はＫＬ発散とも呼ばれる、カルバック・ライブラー発散（Ｋｕｌｌｂａｃｋ Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）の値を最小限に抑えるしきい値が決定される。ＫＬ発散は、第１の確率分布と第２の確率分布との間の差の測度を指し得る。

【0049】

１つ又は複数のシステムは、計算されたＫＬ発散値に基づいてしきい値を決定し得る。ＫＬ発散値は、第１の分布（たとえば、重み３０２Ａ～３０２Ｆの分布）と、しきい値に基づく第２の分布（たとえば、しきい値によって示される－｜しきい値｜～＋｜しきい値｜の範囲に基づいて決定される重み３０６Ａ～３０６Ｆの分布）とに基づいて計算され得る。１つ又は複数のシステムは、しきい値のセットに基づいてＫＬ発散値のセットを計算し得る。たとえば、１つ又は複数のシステムは、第１の分布（たとえば、重み３０２Ａ～３０２Ｆの分布）と、第１のしきい値に基づく第２の分布（たとえば、第１のしきい値によって示される値の第１の範囲に基づいて値の第２の範囲にマッピングされた重み３０２Ａ～３０２Ｆの分布）とに基づいて第１のＫＬ発散値を計算し、任意の数のしきい値について、以下同様である。１つ又は複数のシステムは、ＫＬ発散値のセットの最小ＫＬ発散値のためのしきい値に基づいてしきい値を決定し得る。

【0050】

量子化３０４の１つ又は複数のプロセスは、訓練中に実施され（たとえば、ＱＡＴ）、訓練の後に実施され（たとえば、ＰＴＱ）、及び／又はそれらの変形形態で実施され得る。量子化３０４は１つ又は複数のステップを含み得る。第１のステップにおいて、ＱＡＴが、８ビット量子化が提供することができるよりも細かい粒度を表現において必要とする層（たとえば、回帰層）を除いて、ニューラル・ネットワーク・モデルのすべての重みとアクティブ化とを量子化することによって適用され得る。これは、混合精度ニューラル・ネットワーク・モデルを生じ得る。第２のステップにおいて、ＱＡＴによって決定されたアクティブ化の量子化が利用されないことがあり、ここで、次いで、ＰＴＱがＱＡＴモデルに対して実施され得る。ＱＡＴモデルの重みは再び量子化され得、アクティブ化のための範囲／スケール・ファクタが、ＰＴＱプロセスを使用して較正され得る。アクティブ化がＱＡＴプロセス中にそれらの分布の実行統計（ｒｕｎｎｉｎｇ－ｓｔａｔｉｓｔｉｃｓ）を使用して量子化されたが、アクティブ化は、較正データセットなど、ＱＡＴプロセスにおいて利用される１つ又は複数のデータセットに対して再びそれらの統計を計算することによって、再量子化され得る。ＱＡＴ量子化されたモデルに対してＰＴＱを適用することによって、次いで、ニューラル・ネットワーク・モデルのすべての層が量子化され得る。

【0051】

量子化３０４は、１つ又は複数のプロセスを含み得、ここで、図１に関して説明された、検出器の１つ又は複数のニューラル・ネットワーク・モデル及び／又はアクション認識モデルの重みであり得る重み３０２Ａ～３０２Ｆは、１つ又は複数のシステムによって量子化されて重み３０６Ａ～３０６Ｆを生じる。たとえば、重み３０２Ａ～３０２Ｆは、検出器（たとえば、図１の検出器１１４）の１つ又は複数のニューラル・ネットワーク・モデルの重みであり、ここで、１つ又は複数のシステムによる１つ又は複数の量子化プロセス（たとえば、量子化３０４）を通して、重み３０６Ａ～３０６Ｆは、検出器の１つ又は複数のニューラル・ネットワーク・モデルのための重み３０２Ａ～３０２Ｆから決定される。別の実例として、重み３０２Ａ～３０２Ｆは、アクション認識モデル（たとえば、図１のアクション認識モデル１２６）の１つ又は複数のニューラル・ネットワーク・モデルの重みであり、ここで、１つ又は複数のシステムによる１つ又は複数の量子化プロセス（たとえば、量子化３０４）を通して、重み３０６Ａ～３０６Ｆは、アクション認識モデルの１つ又は複数のニューラル・ネットワーク・モデルのための重み３０２Ａ～３０２Ｆから決定される。

【0052】

図４は、少なくとも１つの実施例による、アクション認識のためのシステムに関して画像を処理することの実例４００を示す。実例４００は、アクション分類視覚化４０８を決定するために画像４０２と画像４０４とを処理するアクション認識のためのシステム４０６を含み得る。一実施例では、アクション認識のためのシステム４０６及び画像４０２～４０４は、図１に関して説明されたものによるものである。

【0053】

画像４０２～４０４は、ビデオ・データのフレームであり得る。いくつかの実例では、画像４０２～４０４は、自律車両、ロボット、監視システム、医療撮像システム、衛星撮像システムなどの１つ又は複数のシステムなど、１つ又は複数のビデオ及び／又は画像キャプチャ・デバイスからキャプチャされた画像である。画像４０２及び／又は画像４０４は、赤緑青（ＲＧＢ）、白黒（ＢＷ）、グレースケール、及び／又はそれらの変形形態など、任意の好適な配色の画像であり得る。画像４０２及び／又は画像４０４は、様々なラスタ・フォーマット及び／又はベクトル・フォーマットなど、任意の好適な画像ファイル・フォーマットのものであり得る。画像４０２及び／又は画像４０４は、圧縮形態又は非圧縮形態にあり得る。一実施例では、画像４０２はビデオ・データの第１のフレームであり、画像４０４はビデオ・データの第２のフレームである。図４を参照すると、画像４０２は、第１の位置における第１の物体を示し得、画像４０４は、第２の位置における第１の物体を示し得る。

【0054】

アクション認識のためのシステム４０６は、実行されたとき、ビデオ・データに基づいて１つ又は複数のアクション分類を決定する命令をもつ１つ又は複数のハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合であり得る。いくつかの実例では、アクション認識のためのシステム４０６は、コンピュータ・ハードウェア上で実行しているソフトウェア・プログラム、コンピュータ・ハードウェア上で実行しているアプリケーション、及び／又はそれらの変形形態である。アクション認識のためのシステム４０６は、様々なビデオ及び／又は画像キャプチャ・デバイスに関して１つ又は複数のシステムから画像４０２～４０４を取得するか、又はさもなければ受信し得る。様々な実施例では、アクション認識のためのシステム４０６は、ビデオ・データ中で符号化された画像４０２～４０４を取得するか、又はさもなければ受信し、ここで、アクション認識のためのシステム４０６は、ビデオ・データから画像４０２～４０４を抽出するか、又はさもなければ復号する。いくつかの実例では、アクション認識のためのシステム４０６は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアを備えるシステムの一部であり、ここで、アクション認識のためのシステム４０６は、ビデオ・キャプチャ・ハードウェア及び／又はソフトウェアから画像４０２～４０４を取得する。画像４０２～４０４は、物理的に（たとえば、アクション認識のためのシステム４０６に関連するデバイスへのワイヤード接続を介して）、リモートで（たとえば、アクション認識のためのシステム４０６に関連するデバイスへのワイヤレス通信ネットワークを介して）、及び／又はそれらの変形形態など、任意の好適な様式でアクション認識のためのシステム４０６によって取得されるか、又はさもなければ受信され得る。

【0055】

アクション認識のためのシステム４０６は、画像４０２～４０４からアクション分類視覚化４０８を決定するために、様々なプロセスを実施し得る。アクション認識のためのシステム４０６は、画像４０２～４０４の物体のバウンディング・ボックスを決定し得る。たとえば、図４を参照すると、アクション認識のためのシステム４０６は、画像４０２に示される物体のための第１のバウンディング・ボックスと、画像４０４に示される物体のための第２のバウンディング・ボックスとを決定する。アクション認識のためのシステム４０６は、画像４０２～４０４のためのフロー場を決定し得る。いくつかの実施例では、アクション認識のためのシステム４０６は、１つ又は複数のＰＰＵを利用して、画像４０２～４０４のためのフロー場を決定する。フロー場は、物体の移動を示し得る。たとえば、画像４０２～４０４のためのフロー場は、画像４０２の第１の位置における物体の、画像４０４の第２の位置における物体への移動を示すベクトルを含む。

【0056】

アクション認識のためのシステム４０６は、バウンディング・ボックスに基づいて、決定されたフロー場と画像４０２～４０４とに対して様々なクロッピング・プロセスを実施し得る。アクション認識のためのシステム４０６は、１つ又は複数のニューラル・ネットワーク・モデルを利用して、クロップされたフロー場とクロップされた画像（たとえば、１つ又は複数のバウンディング・ボックスに基づいてクロップされた画像４０２及び／又は画像４０４）とを処理して、１つ又は複数のラベルを決定し得る。アクション認識のためのシステム４０６は、アクション分類を示す１つ又は複数のラベルを１つ又は複数の画像（たとえば、画像４０２及び／又は画像４０４）上に重ねて、アクション分類視覚化４０８を決定し得る。アクション分類視覚化４０８は、アクション分類を示すラベルの視覚描写であり得、これは、画像４０２～４０４の１つ又は複数の物体によって実施されている１つ又は複数のアクションを示し得る。アクションは、アクションに対応するアクション分類を含むラベルによって示され得る。ラベルは、アクションを実施する物体のロケーション及び／又は位置の指示を含み得る。いくつかの実施例では、アクション分類は、アクションを示す分類又は他の識別子である。図４を参照すると、アクション分類視覚化４０８は、画像４０２～４０４の物体によって実施されているアクションが歩くアクションであることを示す、歩くことに対応する（たとえば、「歩くこと」として図４に示される）アクション分類を示すラベルと、物体の（たとえば、物体を囲むボックスとして図４に示される）ロケーションとを含み得る。

【0057】

図５は、少なくとも１つの実施例による、アクション認識のためのエッジ・デバイス及びシステムの実例５００を示す。実例５００は、シーン５０６に基づいてアクション分類視覚化５０８を決定するためにアクション認識のためのシステム５０４を実装する、エッジ・デバイス５０２を含み得る。一実施例では、エッジ・デバイス５０２、アクション認識のためのシステム５０４、及びアクション分類視覚化５０８は、図１及び図４に関して説明されたものによるものである。

【0058】

いくつかの実例では、エッジ・デバイス５０２は、モバイル・フォン、タブレット、ラップトップ、モノのインターネット（ＩｏＴ）デバイス（たとえば、センサ、組み込みデバイス）、及び／又はそれらの変形形態など、コンピューティング・デバイスである。一実施例では、エッジ・デバイス５０２は、限られたメモリ及び／又は処理能力をもつコンピューティング・デバイスである。エッジ・デバイス５０２は、１つ又は複数のＣＰＵ、ＧＰＵ、ＰＰＵ、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び／又は他の処理ユニットなど、１つ又は複数のプロセッサを備え得る。エッジ・デバイス５０２は、様々なＧＰＵ、ＰＰＵ、視覚処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、深層学習アクセラレータ（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）などを備えることができる、様々なハードウェア・アクセラレータを備え得る。エッジ・デバイス５０２は、アクション認識のためのシステム５０４を実装し得る。様々な実施例では、アクション認識のためのシステム５０４は、エッジ・デバイス５０２上にソフトウェア・プログラムとして実装される。アクション認識のためのシステム５０４は、エッジ・デバイス５０２の１つ又は複数の処理ユニットによって実行されるアクション認識のためのシステム５０４の様々なプロセスのための命令のセットを含み得る。

【0059】

エッジ・デバイス５０２は、１つ又は複数のユーザによって動作され得る。エッジ・デバイス５０２は、様々な画像及び／又はビデオ・キャプチャ・ハードウェア及び／又はソフトウェアを含み得る。エッジ・デバイス５０２は、シーン５０６のビデオをキャプチャし得る。一実施例では、シーン５０６は、現実世界の環境である。シーン５０６は、様々なアクションを実施する様々な物体を含み得る。図５を参照すると、シーン５０６は、立つことのアクションを実施する第１の物体（たとえば、人）を含み得る。

【0060】

エッジ・デバイス５０２は、シーン５０６のビデオをキャプチャし、そのビデオをアクション認識のためのシステム５０４に提供し得る。いくつかの実例では、エッジ・デバイス５０２は、シーン５０６のビデオをキャプチャし、そのビデオをエッジ・デバイス５０２のアクション認識のためのシステム５０４に提供する、１つ又は複数のビデオ・キャプチャ・システムに関連する。アクション認識のためのシステム５０４は、シーン５０６のビデオからアクション分類視覚化５０８を決定するために、様々なプロセスを実施し得る。アクション認識のためのシステム５０４は、シーン５０６のビデオからフレームを抽出し得る。アクション認識のためのシステム５０４は、フレームの物体のバウンディング・ボックスを決定し得る。アクション認識のためのシステム５０４は、フレームのためのフロー場を決定し得る。いくつかの実施例では、アクション認識のためのシステム５０４は、エッジ・デバイス５０２の１つ又は複数のＰＰＵを利用して、フレームのためのフロー場を決定する。アクション認識のためのシステム５０４は、エッジ・デバイス５０２のハードウェア・アクセラレータと対話して、ハードウェア・アクセラレータの１つ又は複数のＰＰＵがフロー場を算出することを引き起こし得る。

【0061】

アクション認識のためのシステム５０４は、バウンディング・ボックスに基づいて、決定されたフロー場とシーン５０６のビデオからのフレームとに対して様々なクロッピング・プロセスを実施し得る。アクション認識のためのシステム５０４は１つ又は複数のニューラル・ネットワーク・モデルを利用して、クロップされたフロー場とクロップされたフレームとを処理して、１つ又は複数のラベルを決定し得る。アクション認識のためのシステム５０４は、アクション分類を示す１つ又は複数のラベルを１つ又は複数のフレーム（たとえば、シーン５０６のビデオの１つ又は複数のフレーム）上に重ねて、アクション分類視覚化５０８を決定し得る。アクション分類視覚化５０８は、アクション分類を示すラベルの視覚描写であり得、これは、シーン５０６のビデオのフレームの１つ又は複数の物体によって実施されている１つ又は複数のアクションを示し得る。アクションは、アクションに対応するアクション分類を含むラベルによって示され得る。ラベルは、アクションを実施する物体のロケーション及び／又は位置の指示を含み得る。いくつかの実施例では、アクション分類は、アクションを示す分類又は他の識別子である。図５を参照すると、アクション分類視覚化５０８は、シーン５０６のビデオのフレームの物体によって実施されているアクションが立つアクションであることを示す、立つことに対応する（たとえば、「立つこと」として図５に示される）アクション分類を示すラベルと、物体の（たとえば、物体を囲むボックスとして図５に示される）ロケーションとを含み得る。

【0062】

図６は、少なくとも１つの実施例による、アクション認識のためのシステムのためのプロセスの実例６００を示す。少なくとも１つの実施例では、プロセス６００の一部又は全部（又は本明細書で説明される任意の他のプロセス、或いはそれらの変形形態及び／又は組合せ）は、コンピュータ実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、ソフトウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、コンピュータ実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、１つ又は複数のプロセッサによって実行可能な複数のコンピュータ可読命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、非一時的コンピュータ可読媒体である。少なくとも１つの実施例では、プロセス６００を実施するために使用可能な少なくともいくつかのコンピュータ可読命令は、単に一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を使用して記憶されない。少なくとも１つの実施例では、非一時的コンピュータ可読媒体は、必ずしも一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（ｃｉｒｃｕｉｔｒｙ）（たとえば、バッファ、キャッシュ、及びキュー）を含むとは限らない。少なくとも１つの実施例では、プロセス６００は、本開示の他の場所で説明されるものなど、コンピュータ・システム上で少なくとも部分的に実施される。

【0063】

少なくとも１つの実施例では、プロセス６００の少なくとも一部を実施するシステムは、６０２において、ビデオの複数のフレームを受信するための実行可能コードを含む。システムは、ビデオから、任意の好適なビデオ・データであり得る複数のフレームを受信するか又はさもなければ取得し得る。ビデオ・データは、自律車両、ロボット、監視システム、医療撮像システム、衛星撮像システムなどの１つ又は複数のシステムなど、１つ又は複数のビデオ及び／又は画像キャプチャ・デバイスから生成され得る。ビデオ・データは、赤緑青（ＲＧＢ）、白黒（ＢＷ）、グレースケール、及び／又はそれらの変形形態など、任意の好適な配色のビデオを表し得、任意の好適なフォーマットのものであり得る。システムは、ビデオ・データを取得し、ビデオ・データから複数のフレームを決定し得る。システムは、１つ又は複数のデコーダ（たとえば、図１のデコーダ１０６）を利用して、複数のフレームを決定し得る。

【0064】

少なくとも１つの実施例では、プロセス６００の少なくとも一部を実施するシステムは、６０４において、複数のフレーム中に表されるの１つ又は複数の物体を決定するための実行可能コードを含む。システムは、複数のフレーム中に表される１つ又は複数の物体を示す１つ又は複数のバウンディング・ボックスを決定し得る。いくつかの実例では、各バウンディング・ボックスは、複数のフレームのうちのフレームに示された特定の物体を示す。バウンディング・ボックスは、フレームに対するバウンディング・ボックスのコーナーのロケーションに対応する座標のセットによって画定され得る。システムは、複数のフレームの各フレームのための１つ又は複数のバウンディング・ボックスを計算し得る。システムは、１つ又は複数の検出器及び／又はトラッカー（たとえば、図１の検出器１１４及び／又はトラッカー１１６）を利用して、バウンディング・ボックスを決定し得る。検出器及び／又はトラッカーは、第１のニューラル・ネットワークと呼ばれることがある。

【0065】

少なくとも１つの実施例では、プロセス６００の少なくとも一部を実施するシステムは、６０６において、並列処理ユニットが、複数のフレームのうちのフレームの間の１つ又は複数のピクセル中に表される１つ又は複数の物体の移動を計算することを引き起こすための実行可能コードを含む。並列処理ユニットは、ハードウェア・アクセラレータ、又は他のハードウェア・デバイス／システムの一部であり得る。システムは、並列処理ユニットが（たとえば、ハードウェア及び／又はソフトウェアを通してハードウェア・アクセラレータと対話することによって）複数のフレームのうちのフレームの間の１つ又は複数のピクセル中に表される１つ又は複数の物体の移動を示す１つ又は複数のフロー場を計算することを引き起こし得る。いくつかの実例では、ピクセルは、フレーム中に表されるか又はさもなければ示される１つ又は複数の物体に対応し、ここで、１つ又は複数のフロー場は、フレーム間の１つ又は複数の物体の移動を示す。システムは、並列処理ユニットが、複数のフレームのうちのフレームの各ペアのためのフロー場（たとえば、第１のフレーム及び第２のフレームのためのフロー場、第２のフレーム及び第３のフレームのためのフロー場など）を計算することを引き起こし得る。

【0066】

少なくとも１つの実施例では、プロセス６００の少なくとも一部を実施するシステムは、６０８において、ニューラル・ネットワークが、計算された移動と決定された１つ又は複数の物体とに少なくとも部分的に基づいて、１つ又は複数の物体によって実施され、複数のフレーム中に表される１つ又は複数のアクションを分類することを引き起こすための実行可能コードを含む。システムは、決定された物体に対応するバウンディング・ボックスに基づいて、計算された移動に対応するフロー場と、複数のフレームとに対して１つ又は複数のクロッピング動作を実施し得る。いくつかの実例では、フロー場は、フレームのペア間のそれぞれのピクセルの移動を示し、フレーム間の１つ又は複数の移動と呼ばれることがあり、ここで、クロップされたフロー場は、フレーム間の１つ又は複数のクロップされた移動と呼ばれる。システムは、フロー場をクロップするためにフロー場に対してクロッピング動作の第１のセットを実施して、バウンディング・ボックスによって示される対応するフレームのエリア又は領域に対応するクロップされたフロー場を生じ得る。システムは、フレームをクロップするために複数のフレームに対してクロッピング動作の第２のセットを実施して、バウンディング・ボックスによって示されるエリア又は領域に対応するクロップされたフレームを生じ得る。

【0067】

システムは、様々なアクション認識モデル（たとえば、図１のアクション認識モデル１２６）を利用して、クロップされた移動とクロップされたフレームとを処理し得る。アクション認識モデルは、第２のニューラル・ネットワークと呼ばれることもある。アクション認識モデルは、パーセプトロン・モデル、動径基底ネットワーク（ＲＢＮ）、オート・エンコーダ（ＡＥ）、ボルツマン・マシン（ＢＭ）、制限ボルツマン・マシン（ＲＢＭ）、深層信念ネットワーク（ＤＢＮ）、深層畳み込みネットワーク（ＤＣＮ）、極端学習機械（ＥＬＭ）、深層残差ネットワーク（ＤＲＮ）、及び／又はそれらの変形形態など、アクション認識のための様々なニューラル・ネットワーク・モデルを利用し得る。アクション認識モデルは、ロジスティック回帰モデル、単純ベイズ・モデル、確率的勾配降下モデル、Ｋ近傍モデル、判定ツリー・モデル、ランダム・フォレスト・モデル、サポート・ベクター・マシン・モデル、及び／又はそれらの変形形態など、１つ又は複数の分類器ニューラル・ネットワーク・アルゴリズム及び／又はモデルを利用し得る。

【0068】

システムは、様々なアクション認識モデルを利用して、１つ又は複数のアクション分類を通して１つ又は複数のアクションを分類し得る。アクション分類は、アクションを示す分類又は他の識別子であり得る。システムは、複数のフレーム中に表される各アクションのためのアクション分類を決定し得る。アクション分類によって示され得る複数のフレーム中に表されるアクションは、座るアクション、歩くアクション、走るアクション、上るアクション（たとえば、壁、階段、及び／又はそれらの変形形態などの障害物を上ること）、ジャンプするアクション、及び／又は任意の好適なアクションなどのアクションであり得る。たとえば、（たとえば、複数のフレーム中に表される物体によって実施されている）複数のフレーム中に表される歩くアクションは、「歩くこと」によって示されるアクション分類を含むラベル及び／又はそれらの変形形態によって示される。

【0069】

一実施例では、プロセス６００の少なくとも一部を実施するシステムによって利用される、及び／又はそのシステムに関連する１つ又は複数のニューラル・ネットワークは、１つ又は複数のプルーニング・プロセス及び量子化プロセスを受ける。１つ又は複数のプルーニング・プロセスは、重み、カーネル、及び／又はそれらの変形形態をプルーニングすることを伴うものなど、並びに、任意の好適な論理、ヒューリスティック、ルール、機能、及び／又はそれらの変形形態に基づく、任意の好適なプルーニング・プロセスを含み得る。いくつかの実例では、プルーニングは、１つ又は複数のニューラル・ネットワークのカーネルのＬ１ノルム値を計算することと、定義されたしきい値を下回るＬ１ノルム値をもつカーネルを除去することとによって、システムによって実施され、プルーニングに関するさらなる情報は、図２の説明において見つけられ得る。１つ又は複数の量子化プロセスは、様々なＱＡＴプロセス及び／又はＰＴＱプロセスなど、任意の好適な量子化プロセスを含み得る。いくつかの実例では、量子化は、任意の好適な論理、ヒューリスティック、ルール、機能、及び／又はそれらの変形形態を使用して、１つ又は複数のニューラル・ネットワークの１つ又は複数の重みを第１のデータ・タイプ（たとえば、浮動小数点３２ビット精度表現（ＦＰ３２））から第２のデータ・タイプ（たとえば、８ビット整数表現（ＩＮＴ８））にコンバートすることによって、システムによって実施され、量子化に関するさらなる情報は、図３の説明において見つけられ得る。

【0070】

プロセス６００の少なくとも一部を実施するシステムは、プロセス６００の１つ又は複数のプロセスをリアルタイムで実施し得る。一実施例では、リアルタイム又はリアルタイム処理は、入力が生成される時間間隔内に入力が処理される処理を指し得る。システムは、システムがビデオの複数のフレームを取得する時間間隔内に複数のフレーム中に表される１つ又は複数のアクションを分類するためにビデオの複数のフレームを処理し得、ここで、時間間隔は、ミリ秒、マイクロ秒、又は任意の好適な時間間隔のオーダーのものであり得る。

【0071】

プロセス６００の少なくとも一部を実施するシステムは、車両（たとえば、手動車両、半自律車両、自律車両、又はドローン）、ロボット、エッジ・デバイス、又はニューラル・ネットワーク能力をもつ他のシステムなど、１つ又は複数のデバイス又はシステムの１つ又は複数のコンピューティング・システムなどのコンピューティング・システムであり得る。エッジ・デバイスは、モバイル・フォン、タブレット、ラップトップ、ＩｏＴデバイス（たとえば、センサ、組み込みデバイス）、及び／又はそれらの変形形態など、コンピューティング・デバイスを指し得る。一実施例では、エッジ・デバイスは、限られたメモリ及び／又は処理能力をもつコンピューティング・デバイスである。エッジ・デバイスは、プロセス６００の１つ又は複数のプロセスを実施し得、その１つ又は複数のプロセスをリアルタイムで実施し得る。たとえば、エッジ・デバイスは、少なくとも、ビデオの複数のフレームを取得し、エッジ・デバイスに関連する処理ユニット（たとえば、並列処理ユニット）が、複数のフレームのうちのフレームの間のそれぞれのピクセルの移動を計算することを引き起こし、複数のフレーム中に表される物体を決定し、ニューラル・ネットワークが、計算された移動と決定された物体とに少なくとも部分的に基づいて、複数のフレーム中に表される１つ又は複数のアクションを分類することを引き起こす。

【0072】

プロセス６００のプロセス６０２～６０８はシーケンスとして示されているが、実施例は、プロセス６０２～６０８のうちのいくつかを省略し、並列になど、示されたもの以外の順序でプロセス６０２～６０８のうちのいくつかを実施し、又はプロセス６００に示されたものに加えて段階を含み得ることに留意されたい。したがって、図６に示された順序は、示された順序に準拠するもののみに潜在的実施例を限定する様式で解釈されるべきではない。

【0073】

推論及び訓練論理
図７Ａは、１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理７１５を示す。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。

【0074】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び／若しくは出力の重み及び／又は入力／出力データ、並びに／或いは他のパラメータを記憶するためのコード及び／又はデータ・ストレージ７０１を含み得る。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０１において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、そのようなコードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの順方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

【0075】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、静的なランダムにアドレス指定可能なメモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らか他のストレージ・タイプを含んでいるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0076】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び／若しくは出力の重み及び／又は入力／出力データを記憶するためのコード及び／又はデータ・ストレージ７０５を含み得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの逆方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０５において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。

【0077】

少なくとも１つの実施例では、グラフ・コードなどのコードは、そのようなコードが対応するニューラル・ネットワークのアーキテクチャに基づいて、プロセッサＡＬＵへの重み又は他のパラメータ情報のローディングを引き起こす。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ又は何らか他のストレージ・タイプを含んでいるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0078】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、組み合わせられたストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、部分的に組み合わせられ、部分的に別個であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

【0079】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、訓練及び／又は推論コード（たとえば、グラフ・コード）に少なくとも部分的に基づく、又はそれによって示される論理演算及び／又は数学演算を実施するための、整数及び／又は浮動小数点ユニットを含む、１つ又は複数の算術論理ユニット（「ＡＬＵ」）７１０を含み得、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値）を作り出し得、これらのアクティブ化は、コード及び／又はデータ・ストレージ７０１並びに／或いはコード及び／又はデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータ・データの関数である。少なくとも１つの実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して（１つ又は複数の）ＡＬＵ７１０によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び／又はデータ・ストレージ７０５並びに／或いはデータ・ストレージ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５又はコード及び／若しくはデータ・ストレージ７０１、或いはオンチップ又はオフチップの別のストレージに記憶され得る。

【0080】

少なくとも１つの実施例では、（１つ又は複数の）ＡＬＵ７１０は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、（１つ又は複数の）ＡＬＵ７１０は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路（たとえば、コプロセッサ）の外部にあり得る。少なくとも１つの実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ（たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど）間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なＡＬＵのバンク内に含まれ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５と、アクティブ化ストレージ７２０とは、プロセッサ或いは他のハードウェア論理デバイス又は回路を共有し得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び／又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去（ｒｅｔｉｒｅｍｅｎｔ）及び／又は他の論理回路を使用してフェッチ及び／又は処理され得る。

【0081】

少なくとも１つの実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ又は何らか他のストレージ・タイプを含んでいるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0082】

少なくとも１つの実施例では、図７Ａに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒＦｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）と併せて使用され得る。少なくとも１つの実施例では、図７Ａに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（「ＣＰＵ」）ハードウェア、グラフィックス処理ユニット（「ＧＰＵ」）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの他のハードウェアと併せて使用され得る。

【0083】

図７Ｂは、少なくとも１つの実施例による、推論及び／又は訓練論理７１５を示す。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース（ｃｏｍｐｕｔａｔｉｏｎａｌ ｒｅｓｏｕｒｃｅ）が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの１つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも１つの実施例では、図７Ｂに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒＦｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（ＡＳＩＣ）と併せて使用され得る。少なくとも１つの実施例では、図７Ｂに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（ＣＰＵ）ハードウェア、グラフィックス処理ユニット（ＧＰＵ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用され得る。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、コード及び／又はデータ・ストレージ７０１とコード及び／又はデータ・ストレージ７０５とを含み、それらは、コード（たとえば、グラフ・コード）、重み値、並びに／或いは、バイアス値、勾配情報、運動量値、及び／又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図７Ｂに示されている少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の各々は、それぞれ、算出ハードウェア７０２及び算出ハードウェア７０６など、専用算出リソースに関連する。少なくとも１つの実施例では、算出ハードウェア７０２及び算出ハードウェア７０６の各々は、線形代数関数などの数学関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実施する１つ又は複数のＡＬＵを備え、その結果が、アクティブ化ストレージ７２０に記憶される。

【0084】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１及び７０５の各々と、対応する算出ハードウェア７０２及び７０６とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び／又はデータ・ストレージ７０１と算出ハードウェア７０２との１つのストレージ／算出ペア７０１／７０２から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び／又はデータ・ストレージ７０５と算出ハードウェア７０６との次のストレージ／算出ペア７０５／７０６への入力として提供される。少なくとも１つの実施例では、ストレージ／算出ペア７０１／７０２及び７０５／７０６は、２つ以上のニューラル・ネットワーク層に対応し得る。少なくとも１つの実施例では、ストレージ／算出ペア７０１／７０２及び７０５／７０６の後に、又はそれらと並列に、追加のストレージ／算出ペア（図示せず）が、推論及び／又は訓練論理７１５中に含められ得る。

【0085】

少なくとも１つの実施例では、図７Ａ～図７Ｂに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図７Ａ～図７Ｂに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図７Ａ～図７Ｂに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0086】

ニューラル・ネットワーク訓練及び導入
図８は、少なくとも１つの実施例による、深層ニューラル・ネットワークの訓練及び導入を示す。少なくとも１つの実施例では、訓練されていないニューラル・ネットワーク８０６が、訓練データセット８０２を使用して訓練される。少なくとも１つの実施例では、訓練フレームワーク８０４はＰｙＴｏｒｃｈフレームワークであるが、他の実施例では、訓練フレームワーク８０４は、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、Ｍｉｃｒｏｓｏｆｔ Ｃｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも１つの実施例では、訓練フレームワーク８０４は、訓練されていないニューラル・ネットワーク８０６を訓練し、本明細書で説明される処理リソースを使用してそれが訓練されることを可能にして、訓練されたニューラル・ネットワーク８０８を生成する。少なくとも１つの実施例では、重みは、ランダムに選定されるか、又は、深層信念ネットワークを使用する事前訓練によって選定され得る。少なくとも１つの実施例では、訓練は、教師あり、一部教師あり、又は教師なしのいずれかの様式で実施され得る。

【0087】

少なくとも１つの実施例では、訓練されていないニューラル・ネットワーク８０６は、教師あり学習を使用して訓練され、訓練データセット８０２は、入力のための所望の出力とペアにされた入力を含むか、又は、訓練データセット８０２は、知られている出力を有する入力を含み、ニューラル・ネットワーク８０６の出力が手動で採点される。少なくとも１つの実施例では、訓練されていないニューラル・ネットワーク８０６は、教師あり様式で訓練され、訓練データセット８０２からの入力を処理し、得られた出力を、予想される又は所望の出力のセットと比較する。少なくとも１つの実施例では、次いで、訓練されていないニューラル・ネットワーク８０６を通してエラーが逆伝搬される。少なくとも１つの実施例では、訓練フレームワーク８０４は、訓練されていないニューラル・ネットワーク８０６を制御する重みを調節する。少なくとも１つの実施例では、訓練フレームワーク８０４は、訓練されていないニューラル・ネットワーク８０６が、新しいデータセット８１２などの入力データに基づいて、結果８１４などにおいて正しい答えを生成することに適した、訓練されたニューラル・ネットワーク８０８などのモデルに向かって、どれだけ良好に収束しているかを監視するためのツールを含む。少なくとも１つの実施例では、訓練フレームワーク８０４は、訓練されていないニューラル・ネットワーク８０６を繰り返し訓練し、損失関数、及び確率的勾配降下法（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）などの調節アルゴリズムを使用して、訓練されていないニューラル・ネットワーク８０６の出力を改良するように重みを調節する。少なくとも１つの実施例では、訓練フレームワーク８０４は、訓練されていないニューラル・ネットワーク８０６が所望の精度を達成するまで、訓練されていないニューラル・ネットワーク８０６を訓練する。少なくとも１つの実施例では、次いで、訓練されたニューラル・ネットワーク８０８が、任意の数の機械学習動作を実装するように導入され得る。

【0088】

少なくとも１つの実施例では、訓練されていないニューラル・ネットワーク８０６は、教師なし学習を使用して訓練され、訓練されていないニューラル・ネットワーク８０６は、ラベルなしデータを使用してそれ自体を訓練することを試みる。少なくとも１つの実施例では、教師なし学習訓練データセット８０２は、いかなる関連する出力データ又は「グランド・トゥルース」データもない入力データを含む。少なくとも１つの実施例では、訓練されていないニューラル・ネットワーク８０６は、訓練データセット８０２内でグループ化を学習することができ、個々の入力が、訓練されていないデータセット８０２にどのように関係するかを決定することができる。少なくとも１つの実施例では、新しいデータセット８１２の次元を低減する際に有用な動作を実施することが可能な訓練されたニューラル・ネットワーク８０８において、自己組織化マップを生成するために、教師なし訓練が使用され得る。少なくとも１つの実施例では、教師なし訓練は、異常検出を実施するためにも使用され得、異常検出は、新しいデータセット８１２の通常パターンから逸脱した、新しいデータセット８１２中のデータ・ポイントの識別を可能にする。

【0089】

少なくとも１つの実施例では、半教師あり学習が使用され得、半教師あり学習は、訓練データセット８０２中にラベル付きデータとラベルなしデータとの混合を含む技法である。少なくとも１つの実施例では、訓練フレームワーク８０４は、転移学習技法（ｔｒａｎｓｆｅｒｒｅｄ ｌｅａｒｎｉｎｇ ｔｅｃｈｎｉｑｕｅ）を通してなど、漸進的学習を実施するために使用され得る。少なくとも１つの実施例では、漸進的学習は、訓練されたニューラル・ネットワーク８０８が、初期訓練中に、訓練されたニューラル・ネットワーク８０８内に教え込まれた知識を忘れることなしに、新しいデータセット８１２に適応することを可能にする。

【0090】

少なくとも１つの実施例では、図８に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図８に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図８に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0091】

データ・センタ
図９は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ９００を示す。少なくとも１つの実施例では、データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０と、フレームワーク層９２０と、ソフトウェア層９３０と、アプリケーション層９４０とを含む。

【0092】

少なくとも１つの実施例では、図９に示されているように、データ・センタ・インフラストラクチャ層９１０は、リソース・オーケストレータ９１２と、グループ化されたコンピューティング・リソース９１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）９１６（１）～９１６（Ｎ）とを含み得、ここで、「Ｎ」は正の整数を表す（それは、他の図中で使用されるものとは異なる整数「Ｎ」であり得る）。少なくとも１つの実施例では、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・ストレージ・デバイス９１８（１）～９１８（Ｎ）（たとえば、動的読取り専用メモリ、ソリッド・ステート・ストレージ又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。

【0093】

少なくとも１つの実施例では、グループ化されたコンピューティング・リソース９１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。少なくとも１つの実施例では、グループ化されたコンピューティング・リソース９１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。

【0094】

少なくとも１つの実施例では、リソース・オーケストレータ９１２は、１つ又は複数のノードＣ．Ｒ．９１６（１）～９１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース９１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ９１２は、データ・センタ９００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータ７１２は、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。

【0095】

少なくとも１つの実施例では、図９に示されているように、フレームワーク層９２０は、ジョブ・スケジューラ９２２と、構成マネージャ９２４と、リソース・マネージャ９２６と、分散型ファイル・システム９２８とを含む。少なくとも１つの実施例では、フレームワーク層９２０は、ソフトウェア層９３０のソフトウェア９３２、及び／又はアプリケーション層９４０の１つ又は複数のアプリケーション９４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア９３２又は（１つ又は複数の）アプリケーション９４２は、それぞれ、アマゾン・ウェブ・サービス、Ｇｏｏｇｌｅ Ｃｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層９２０は、限定はしないが、大規模データ処理（たとえば、「ビック・データ」）のために分散型ファイル・システム９２８を利用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ９２２は、データ・センタ９００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ９２４は、ソフトウェア層９３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム９２８を含むフレームワーク層９２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ９２６は、分散型ファイル・システム９２８及びジョブ・スケジューラ９２２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層９１０において、グループ化されたコンピューティング・リソース９１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ９２６は、リソース・オーケストレータ９１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。

【0096】

少なくとも１つの実施例では、ソフトウェア層９３０中に含まれるソフトウェア９３２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）、グループ化されたコンピューティング・リソース９１４、及び／又はフレームワーク層９２０の分散型ファイル・システム９２８の少なくとも部分によって使用されるソフトウェアを含み得る。少なくとも１つの実施例では、１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。

【0097】

少なくとも１つの実施例では、アプリケーション層９４０中に含まれる（１つ又は複数の）アプリケーション９４２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）、グループ化されたコンピューティング・リソース９１４、及び／又はフレームワーク層９２０の分散型ファイル・システム９２８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。少なくとも１つの実施例では、１つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、アプリケーション、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む、機械学習アプリケーション、又は、１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。

【0098】

少なくとも１つの実施例では、構成マネージャ９２４、リソース・マネージャ９２６、及びリソース・オーケストレータ９１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ９００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。

【0099】

少なくとも１つの実施例では、データ・センタ９００は、１つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも１つの実施例では、機械学習モデルは、データ・センタ９００に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される１つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ９００に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。

【0100】

少なくとも１つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び／又は推論を実施するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用し得る。その上、上記で説明された１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。

【0101】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図９のシステムにおいて使用され得る。

【0102】

少なくとも１つの実施例では、図９に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図９に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図９に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0103】

自律車両
図１０Ａは、少なくとも１つの実施例による、自律車両１０００の一実例を示す。少なくとも１つの実施例では、自律車両１０００（代替的に、本明細書では「車両１０００」と呼ばれる）は、限定はしないが、車、トラック、バス、及び／又は１人又は複数の乗客を収容する別のタイプの車両など、乗用車（ｐａｓｓｅｎｇｅｒ ｖｅｈｉｃｌｅ）であり得る。少なくとも１つの実施例では、車両１０００は、貨物を運搬するために使用されるセミ・トラクタ・トレーラ・トラックであり得る。少なくとも１つの実施例では、車両１０００は、航空機、ロボット車両、又は他の種類の車両であり得る。

【0104】

自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の非特許文献１によって定義される自動化レベルという観点から説明され得る。少なくとも１つの実施例では、車両１０００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であり得る。たとえば、少なくとも１つの実施例では、車両１０００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であり得る。

【0105】

少なくとも１つの実施例では、車両１０００は、限定はしないが、シャーシ、車両本体、ホイール（たとえば、２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素など、構成要素を含み得る。少なくとも１つの実施例では、車両１０００は、限定はしないが、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別の推進システム・タイプなど、推進システム１０５０を含み得る。少なくとも１つの実施例では、推進システム１０５０は、車両１０００のドライブ・トレインに接続され得、ドライブ・トレインは、限定はしないが、車両１０００の推進を可能にするためのトランスミッションを含み得る。少なくとも１つの実施例では、推進システム１０５０は、（１つ又は複数の）スロットル／アクセラレータ１０５２から信号を受信したことに応答して制御され得る。

【0106】

少なくとも１つの実施例では、限定はしないが、ハンドルを含み得る操縦システム１０５４は、推進システム１０５０が動作しているときに（たとえば、車両１０００が動いているときに）車両１０００を（たとえば、所望の経路又はルートに沿って）操縦するために使用される。少なくとも１つの実施例では、操縦システム１０５４は、（１つ又は複数の）操縦アクチュエータ１０５６から信号を受信し得る。少なくとも１つの実施例では、ハンドルは、完全自動化（レベル５）機能性について随意であり得る。少なくとも１つの実施例では、（１つ又は複数の）ブレーキ・アクチュエータ１０４８及び／又はブレーキ・センサから信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１０４６が使用され得る。

【0107】

少なくとも１つの実施例では、限定はしないが、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）（図１０Ａに図示せず）及び／又は（１つ又は複数の）グラフィックス処理ユニット（「ＧＰＵ」）を含み得る（１つ又は複数の）コントローラ１０３６は、車両１０００の１つ又は複数の構成要素及び／又はシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６は、（１つ又は複数の）ブレーキ・アクチュエータ１０４８を介して車両ブレーキを動作させるための信号、（１つ又は複数の）操縦アクチュエータ１０５６を介して操縦システム１０５４を動作させるための信号、（１つ又は複数の）スロットル／アクセラレータ１０５２を介して推進システム１０５０を動作させるための信号を送出し得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６は、自律運転を可能にし、及び／又は人間のドライバが車両１０００を運転するのを支援するために、センサ信号を処理し、動作コマンド（たとえば、コマンドを表す信号）を出力する１つ又は複数の搭載（たとえば、一体型の）コンピューティング・デバイスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６は、自律運転機能のための第１のコントローラ、機能的安全機能のための第２のコントローラ、人工知能機能性（たとえば、コンピュータ・ビジョン）のための第３のコントローラ、インフォテイメント機能性のための第４のコントローラ、緊急事態における冗長性のための第５のコントローラ、及び／又は他のコントローラを含み得る。少なくとも１つの実施例では、単一のコントローラが、上記の機能性のうちの２つ又はそれ以上に対処し得、２つ又はそれ以上のコントローラが、単一の機能性に対処し得、及び／又はこれらの任意の組合せであり得る。

【0108】

少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６は、１つ又は複数のセンサから受信されたセンサ・データ（たとえば、センサ入力）に応答して、車両１０００の１つ又は複数の構成要素及び／又はシステムを制御するための信号を提供する。少なくとも１つの実施例では、センサ・データは、たとえば、限定はしないが、（１つ又は複数の）全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１０５８（たとえば、（１つ又は複数の）全地球測位システム・センサ）、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０、（１つ又は複数の）超音波センサ１０６２、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４、（１つ又は複数の）慣性測定ユニット（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１０６６（たとえば、（１つ又は複数の）加速度計、（１つ又は複数の）ジャイロスコープ、１つ又は複数の磁気コンパス、（１つ又は複数の）磁力計など）、（１つ又は複数の）マイクロフォン１０９６、（１つ又は複数の）ステレオ・カメラ１０６８、（１つ又は複数の）広角カメラ１０７０（たとえば、魚眼カメラ）、（１つ又は複数の）赤外線カメラ１０７２、（１つ又は複数の）周囲カメラ１０７４（たとえば、３６０度カメラ）、長距離カメラ（図１０Ａに図示せず）、（１つ又は複数の）中距離カメラ（図１０Ａに図示せず）、（たとえば、車両１０００のスピードを測定するための）（１つ又は複数の）スピード・センサ１０４４、（１つ又は複数の）振動センサ１０４２、（１つ又は複数の）操縦センサ１０４０、（たとえば、ブレーキ・センサ・システム１０４６の一部としての）（１つ又は複数の）ブレーキ・センサ、及び／又は他のセンサ・タイプから、受信され得る。

【0109】

少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６のうちの１つ又は複数は、車両１０００の計器クラスタ１０３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１０３４、可聴アナンシエータ、拡声器を介して、及び／又は車両１０００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供し得る。少なくとも１つの実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、高精細度地図（図１０Ａに図示せず））、ロケーション・データ（たとえば、地図上などの車両１０００のロケーション）、方向、他の車両のロケーション（たとえば、占有グリッド）、（１つ又は複数の）コントローラ１０３６によって感知された物体及び物体のステータスに関する情報など、情報を含み得る。たとえば、少なくとも１つの実施例では、ＨＭＩディスプレイ１０３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在に関する情報、及び／或いは、車両が行った、行っている、又はこれから行う運転操作に関する情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示し得る。

【0110】

少なくとも１つの実施例では、車両１０００はネットワーク・インターフェース１０２４をさらに含み、ネットワーク・インターフェース１０２４は、１つ又は複数のネットワークを介して通信するために（１つ又は複数の）ワイヤレス・アンテナ１０２６及び／又は（１つ又は複数の）モデムを使用し得る。たとえば、少なくとも１つの実施例では、ネットワーク・インターフェース１０２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、モバイル通信用グローバル・システム（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）ネットワークなどを介した通信が可能であり得る。また、少なくとも１つの実施例では、（１つ又は複数の）ワイヤレス・アンテナ１０２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ低エネルギー（「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ波、ＺｉｇＢｅｅなどの（１つ又は複数の）ローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのプロトコルなどの（１つ又は複数の）低電力ワイド・エリア・ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用して、環境内の物体（たとえば、車両、モバイル・デバイスなど）間の通信を可能にし得る。

【0111】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０Ａのシステムにおいて使用され得る。

【0112】

図１０Ｂは、少なくとも１つの実施例による、図１０Ａの自律車両１０００についてのカメラ・ロケーション及び視野の一実例を示す。少なくとも１つの実施例では、カメラ及びそれぞれの視野は、１つの例示的な実施例であり、限定するものではない。たとえば、少なくとも１つの実施例では、追加及び／又は代替のカメラが含まれ得、及び／又は、カメラは車両１０００上の異なるロケーションに位置し得る。

【0113】

少なくとも１つの実施例では、カメラについてのカメラ・タイプは、限定はしないが、車両１０００の構成要素及び／又はシステムとともに使用するために適応され得るデジタル・カメラを含み得る。少なくとも１つの実施例では、（１つ又は複数の）カメラは、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作し得る。少なくとも１つの実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートが可能であり得る。少なくとも１つの実施例では、カメラは、ローリング・シャッター、グローバル・シャッター、別のタイプのシャッター、又はそれらの組合せを使用することが可能であり得る。少なくとも１つの実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（「ＲＧＧＢ」）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。少なくとも１つの実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイをもつカメラなど、クリア・ピクセル・カメラが使用され得る。

【0114】

少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数が、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能を（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実施するために使用され得る。たとえば、少なくとも１つの実施例では、車線逸脱警告、交通標識支援及びインテリジェント・ヘッドライト制御を含む機能を提供するために、多機能モノ・カメラが設置され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録し、提供し得る。

【0115】

少なくとも１つの実施例では、１つ又は複数のカメラは、カメラ画像データ・キャプチャ・アビリティを妨げ得る迷光及び車両１０００内からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリにおいて取り付けられ得る。ドアミラー取付けアセンブリを参照すると、少なくとも１つの実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形状にマッチするように、カスタム３Ｄ印刷され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラは、ドアミラーに組み込まれ得る。少なくとも１つの実施例では、サイド・ビュー・カメラについて、（１つ又は複数の）カメラは、キャビンの各角にある４本のピラー内に組み込まれ得る。

【0116】

少なくとも１つの実施例では、車両１０００の前方の環境の部分を含む視野をもつカメラ（たとえば、正面カメラ）は、正面の経路及び障害物を識別するのを助け、並びに、（１つ又は複数の）コントローラ１０３６及び／又は制御ＳｏＣのうちの１つ又は複数の助けで、占有グリッドを生成すること及び／又は好ましい車両経路を決定することに不可欠な情報を提供するのを補助するために、周囲ビューのために使用され得る。少なくとも１つの実施例では、正面カメラは、限定はしないが、緊急ブレーキと、歩行者検出と、衝突回避とを含む、ＬＩＤＡＲと同様の多くのＡＤＡＳ機能を実施するために使用され得る。少なくとも１つの実施例では、正面カメラはまた、限定はしないが、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律走行制御（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

【0117】

少なくとも１つの実施例では、たとえば、ＣＭＯＳ（「相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）」）カラー・イメージャを含む単眼カメラ・プラットフォームを含む様々なカメラが、正面構成において使用され得る。少なくとも１つの実施例では、周辺からビューに入ってくる物体（たとえば、歩行者、横断する交通、又は自転車）を知覚するために、広角カメラ１０７０が使用され得る。図１０Ｂには１つの広角カメラ１０７０のみが示されているが、他の実施例では、車両１０００上に（ゼロを含む）任意の数の広角カメラがあり得る。少なくとも１つの実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、（１つ又は複数の）任意の数の長距離カメラ１０９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）長距離カメラ１０９８は、物体検出及び分類、並びに基本的な物体追跡のためにも使用され得る。

【0118】

少なくとも１つの実施例では、任意の数のステレオ・カメラ１０６８も、正面構成に含まれ得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ１０６８のうちの１つ又は複数は、スケーラブル処理ユニットを備える一体型制御ユニットを含み得、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット・インターフェースを単一のチップ上にもつプログラマブル論理（「ＦＰＧＡ」）及びマルチコア・マイクロプロセッサを提供し得る。少なくとも１つの実施例では、そのようなユニットは、画像内のすべてのポイントについての距離推定を含む、車両１０００の環境の３Ｄマップを生成するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ１０６８のうちの１つ又は複数は、限定はしないが、（１つ又は複数の）コンパクト・ステレオ・ビジョン・センサを含み得、このセンサは、限定はしないが、車両１０００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告機能をアクティブ化し得る２つのカメラ・レンズ（左及び右に１つずつ）及び画像処理チップを含み得る。少なくとも１つの実施例では、本明細書で説明されるものに加えて、又はその代替として、他のタイプの（１つ又は複数の）ステレオ・カメラ１０６８が使用され得る。

【0119】

少なくとも１つの実施例では、車両１０００の側方の環境の部分を含む視野をもつカメラ（たとえば、サイド・ビュー・カメラ）が、周囲ビューのために使用され、占有グリッドを作成及び更新し、並びに側面衝突警告を生成するために使用される情報を提供し得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ１０７４（たとえば、図１０Ｂに示されている４つの周囲カメラ）が、車両１０００上に位置決めされ得る。少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ１０７４は、限定はしないが、任意の数及び組合せの広角カメラ、（１つ又は複数の）魚眼カメラ、（１つ又は複数の）３６０度カメラ、及び／又は同様のカメラを含み得る。たとえば、少なくとも１つの実施例では、４つの魚眼カメラが、車両１０００の前方、後方、及び側方に位置決めされ得る。少なくとも１つの実施例では、車両１０００は、３つの周囲カメラ１０７４（たとえば、左、右、及び後方）を使用し得、第４の周囲ビュー・カメラとして、１つ又は複数の他のカメラ（たとえば、正面カメラ）を活用し得る。

【0120】

少なくとも１つの実施例では、車両１０００後方の環境の部分を含む視野をもつカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲ビュー、後方衝突警告、並びに占有グリッドの作成及び更新のために使用され得る。少なくとも１つの実施例では、限定はしないが、本明細書で説明されるように、（１つ又は複数の）正面カメラとしても好適なカメラ（たとえば、長距離カメラ１０９８、及び／又は（１つ又は複数の）中距離カメラ１０７６、（１つ又は複数の）ステレオ・カメラ１０６８、（１つ又は複数の）赤外線カメラ１０７２など）を含む、多種多様なカメラが使用され得る。

【0121】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０Ｂのシステムにおいて使用され得る。

【0122】

図１０Ｃは、少なくとも１つの実施例による、図１０Ａの自律車両１０００のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも１つの実施例では、図１０Ｃ中の車両１０００の構成要素、特徴、及びシステムの各々は、バス１００２を介して接続されるものとして示されている。少なくとも１つの実施例では、バス１００２は、限定はしないが、ＣＡＮデータ・インターフェース（代替的に、本明細書では「ＣＡＮバス」と呼ばれる）を含み得る。少なくとも１つの実施例では、ＣＡＮは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１０００の様々な特徴及び機能性の制御を補助するために使用される、車両１０００内部のネットワークであり得る。少なくとも１つの実施例では、バス１００２は、各々がそれ自体の一意の識別子（たとえば、ＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも１つの実施例では、バス１００２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも１つの実施例では、バス１００２は、ＡＳＩＬ Ｂに準拠したＣＡＮバスであり得る。

【0123】

少なくとも１つの実施例では、ＣＡＮに加えて、又はその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット・プロトコルが使用され得る。少なくとも１つの実施例では、バス１００２を形成する任意の数のバスがあり得、これらのバスは、限定はしないが、０個以上のＣＡＮバス、０個以上のＦｌｅｘＲａｙバス、０個以上のイーサネット・バス、及び／又は、異なるプロトコルを使用する０個以上の他のタイプのバスを含み得る。少なくとも１つの実施例では、２つ又はそれ以上のバスが、異なる機能を実施するために使用され得、及び／又は、冗長性のために使用され得る。たとえば、第１のバスが衝突回避機能性のために使用され得、第２のバスが作動制御のために使用され得る。少なくとも１つの実施例では、バス１００２の各バスは、車両１０００の構成要素のいずれかと通信し得、バス１００２のうちの２つ又はそれ以上のバスが、対応する構成要素と通信し得る。少なくとも１つの実施例では、（ＳｏＣ１００４（Ａ）及びＳｏＣ１００４（Ｂ）などの）任意の数のシステム・オン・チップ（「ＳｏＣ」）１００４の各々、（１つ又は複数の）コントローラ１０３６の各々、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１０００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通のバスに接続され得る。

【0124】

少なくとも１つの実施例では、車両１０００は、図１０Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ１０３６を含み得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６は、様々な機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１０３６は、車両１０００の様々な他の構成要素及びシステムのいずれかに結合され得、車両１０００、車両１０００の人工知能、車両１０００のためのインフォテイメント、及び／又は他の機能の制御のために使用され得る。

【0125】

少なくとも１つの実施例では、車両１０００は、任意の数のＳｏＣ１００４を含み得る。少なくとも１つの実施例では、ＳｏＣ１００４の各々は、限定はしないが、中央処理ユニット（「ＣＰＵ」）１００６、グラフィックス処理ユニット（「ＧＰＵ」）１００８、（１つ又は複数の）プロセッサ１０１０、（１つ又は複数の）キャッシュ１０１２、（１つ又は複数の）アクセラレータ１０１４、（１つ又は複数の）データ・ストア１０１６、並びに／又は示されていない他の構成要素及び特徴を含み得る。少なくとも１つの実施例では、車両１０００を様々なプラットフォーム及びシステムにおいて制御するために、（１つ又は複数の）ＳｏＣ１００４が使用され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４は、１つ又は複数のサーバ（図１０Ｃに図示せず）からネットワーク・インターフェース１０２４を介して地図のリフレッシュ及び／又は更新を取得し得る高精細度（「ＨＤ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）地図１０２２をもつシステム（たとえば、車両１０００のシステム）において組み合わせられ得る。

【0126】

少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６は、ＣＰＵクラスタ又はＣＰＵコンプレックス（代替的に、本明細書では「ＣＣＰＬＥＸ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６は、コヒーレントなマルチプロセッサ構成において８つのコアを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６は、４つのデュアル・コア・クラスタを含み得、各クラスタは、専用Ｌ２キャッシュ（たとえば、２メガバイト（ＭＢ）のＬ２キャッシュ）を有する。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６（たとえば、ＣＣＰＬＥＸ）は、（１つ又は複数の）ＣＰＵ１００６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時のクラスタ動作をサポートするように構成され得る。

【0127】

少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６のうちの１つ又は複数は、電力管理能力を実装し得、電力管理能力は、限定はしないが、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、動的電力を節約するために、アイドル時に自動的にクロック・ゲート制御され得る；各コア・クロックは、割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行によりそのようなコアが能動的に命令を実行していないとき、ゲート制御され得る；各コアが独立して電力ゲート制御され得る；各コア・クラスタは、すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、独立してクロック・ゲート制御され得る；及び／或いは、各コア・クラスタは、すべてのコアが電力ゲート制御されるとき、独立して電力ゲート制御され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１００６は、電力状態を管理するための拡張アルゴリズムをさらに実装し得、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸのための入るべき最良の電力状態がどれかを、ハードウェア／マイクロコードが決定する。少なくとも１つの実施例では、処理コアは、ワークがマイクロコードにオフロードされたソフトウェアにおける簡単な電力状態エントリ・シーケンスをサポートし得る。

【0128】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、統合されたＧＰＵ（代替的に、本明細書では「ｉＧＰＵ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、プログラマブルであり得、並列なワークロードについて効率的であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、拡張テンソル命令セットを使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば、少なくとも９６ＫＢのストレージ容量をもつＬ１キャッシュ）を含み得、２つ又はそれ以上のストリーミング・マイクロプロセッサは、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量をもつＬ２キャッシュ）を共有し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、少なくとも８つのストリーミング・マイクロプロセッサを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、（１つ又は複数の）コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、１つ又は複数の並列なコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡモデル）を使用し得る。

【0129】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８のうちの１つ又は複数は、自動車の及び組み込まれた使用事例における最良の性能のために電力最適化され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）回路要素上で作製され得る。少なくとも１つの実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされたいくつかの混合精度処理コアを組み込み得る。たとえば、限定はしないが、６４個のＰＦ３２コアと、３２個のＰＦ６４コアとは、４つの処理ブロックに区分けされ得る。少なくとも１つの実施例では、各処理ブロックは、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習行列算術のための２つの混合精度ＮＶＩＤＩＡ Ｔｅｎｓｏｒコア、レベル０（「Ｌ０」）命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを割り振られ得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、算出とアドレッシング計算との混合によるワークロードの効率的な実行を行うために、独立した並列の整数及び浮動小数点データ経路を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、並列スレッド間でよりきめ細かい同期及び協調を可能にするために、独立したスレッド・スケジューリング能力を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、性能を改善すると同時にプログラミングを簡単にするために、組み合わせられたＬ１データ・キャッシュ及び共有メモリ・ユニットを含み得る。

【0130】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８のうちの１つ又は複数は、いくつかの実例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供するために、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み得る。少なくとも１つの実施例では、ＨＢＭメモリに加えて、又はその代替として、グラフィックス・ダブル・データ・レート・タイプ・ファイブ同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）など、同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。

【0131】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、統一メモリ技術を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８が（１つ又は複数の）ＣＰＵ１００６のページ・テーブルに直接アクセスすることを可能にするために、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが使用され得る。少なくとも１つの実施例では、ＧＰＵ１００８メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）のＧＰＵがミスに遭遇したとき、アドレス・トランスレーション要求が（１つ又は複数の）ＣＰＵ１００６に送信され得る。少なくとも１つの実施例では、それに応答して、（１つ又は複数の）ＣＰＵ１００６のうちの２ＣＰＵは、それのページ・テーブルにおいて、アドレスのための仮想－物理マッピングを探し、トランスレーションを（１つ又は複数の）ＧＰＵ１００８に返送し得る。少なくとも１つの実施例では、統一メモリ技術は、（１つ又は複数の）ＣＰＵ１００６と（１つ又は複数の）ＧＰＵ１００８の両方のメモリについて単一の統一仮想アドレス空間を可能にし、それにより、（１つ又は複数の）ＧＰＵ１００８のプログラミングと、（１つ又は複数の）ＧＰＵ１００８へのアプリケーションの移植とを簡単にし得る。

【0132】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８は、他のプロセッサのメモリへの（１つ又は複数の）ＧＰＵ１００８のアクセスの頻度を追跡し得る任意の数のアクセス・カウンタを含み得る。少なくとも１つの実施例では、（１つ又は複数の）アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリにメモリ・ページが移動されることを確実にするのを助け、それにより、プロセッサ間で共有されるメモリ範囲の効率を改善し得る。

【0133】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数は、本明細書で説明されるものを含む、任意の数のキャッシュ１０１２を含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）キャッシュ１０１２は、（１つ又は複数の）ＣＰＵ１００６と（１つ又は複数の）ＧＰＵ１００８の両方にとって利用可能である（たとえば、（１つ又は複数の）ＣＰＵ１００６及び（１つ又は複数の）ＧＰＵ１００８に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも１つの実施例では、（１つ又は複数の）キャッシュ１０１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、ラインの状態を追跡し得るライト・バック・キャッシュを含み得る。少なくとも１つの実施例では、Ｌ３キャッシュは、実施例に応じて、４ＭＢ以上のメモリを含み得るが、より小さいキャッシュ・サイズが使用され得る。

【0134】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１０１４（たとえば、ハードウェア・アクセラレータ、ソフトウェア・アクセラレータ、又はそれらの組合せ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオンチップ・メモリを含み得るハードウェア加速クラスタを含み得る。少なくとも１つの実施例では、大型のオンチップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速することを可能にし得る。少なくとも１つの実施例では、ハードウェア加速クラスタは、（１つ又は複数の）ＧＰＵ１００８を補完し、（１つ又は複数の）ＧＰＵ１００８のタスクのうちのいくつかをオフロードするために（たとえば、他のタスクを実施するために（１つ又は複数の）ＧＰＵ１００８のサイクルをより多く解放するために）使用され得る。少なくとも１つの実施例では、加速を受け入れるのに十分なほど安定している対象のワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、リカレント・ニューラル・ネットワーク（「ＲＮＮ」：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために、アクセラレータ１０１４が使用され得る。少なくとも１つの実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出のために使用されるような）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含み得る。

【0135】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１０１４（たとえば、ハードウェア加速クラスタ）は、１つ又は複数の深層学習アクセラレータ（「ＤＬＡ」）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、限定はしないが、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）を含み得、１つ又は複数のＴｅｎｓｏｒ処理ユニットは、深層学習アプリケーション及び推論のために、追加の、毎秒１０兆の演算を提供するように構成され得る。少なくとも１つの実施例では、ＴＰＵは、（たとえば、ＣＮＮ、ＲＣＮＮなどのための）画像処理機能を実施するように構成され、そのために最適化されたアクセラレータであり得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のためにさらに最適化され得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡの設計は、一般的な汎用ＧＰＵよりも多くのミリメートル当たりの性能を提供し得、一般的には、ＣＰＵの性能をはるかに超える。少なくとも１つの実施例では、（１つ又は複数の）ＴＰＵは、たとえば、特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ・タイプをサポートする、単一インスタンスの畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、たとえば、限定はしないが、カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、並びに／或いはセキュリティ及び／又は安全関係イベントのためのＣＮＮを含む、様々な機能のいずれかのための処理された又は処理されていないデータに対して、ニューラル・ネットワーク、特にＣＮＮを、迅速に及び効率的に実行し得る。

【0136】

少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、（１つ又は複数の）ＧＰＵ１００８の任意の機能を実施し得、たとえば、推論アクセラレータを使用することによって、設計者は、任意の機能のために（１つ又は複数の）ＤＬＡ又は（１つ又は複数の）ＧＰＵ１００８のいずれかをターゲットにし得る。たとえば、少なくとも１つの実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理を（１つ又は複数の）ＤＬＡに集中させ、他の機能を（１つ又は複数の）ＧＰＵ１００８及び／又は（１つ又は複数の）アクセラレータ１０１４に任せ得る。

【0137】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１０１４は、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得、プログラマブル・ビジョン・アクセラレータは、本明細書では代替的にコンピュータ・ビジョン・アクセラレータと呼ばれることがある。少なくとも１つの実施例では、ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１０３８、自律運転、拡張現実（「ＡＲ」：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーション、及び／又は仮想現実（「ＶＲ」：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。少なくとも１つの実施例では、ＰＶＡは、性能とフレキシビリティとの間の均衡を提供し得る。たとえば、少なくとも１つの実施例では、各ＰＶＡは、たとえば、限定はしないが、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得る。

【0138】

少なくとも１つの実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書で説明される任意のカメラの画像センサ）、（１つ又は複数の）画像信号プロセッサなどと対話し得る。少なくとも１つの実施例では、各ＲＩＳＣコアは、任意の量のメモリを含み得る。少なくとも１つの実施例では、ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装され得る。たとえば、少なくとも１つの実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。

【0139】

少なくとも１つの実施例では、ＤＭＡは、ＰＶＡの構成要素が（１つ又は複数の）ＣＰＵ１００６とは無関係にシステム・メモリにアクセスすることを可能にし得る。少なくとも１つの実施例では、ＤＭＡは、限定はしないが、多次元アドレッシング及び／又はサーキュラ・アドレッシングをサポートすることを含む、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートし得る。少なくとも１つの実施例では、ＤＭＡは、６つ又はそれ以上のアドレッシング次元までをサポートし得、これらのアドレッシング次元は、限定はしないが、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る。

【0140】

少なくとも１つの実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計され得るプログラマブル・プロセッサであり、信号処理能力を提供し得る。少なくとも１つの実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションとを含み得る。少なくとも１つの実施例では、ＰＶＡコアは、プロセッサ・サブシステム、（１つ又は複数の）ＤＭＡエンジン（たとえば、２つのＤＭＡエンジン）、及び／又は他の周辺機器を含み得る。少なくとも１つの実施例では、ベクトル処理サブシステムは、ＰＶＡの１次処理エンジンとして動作し得、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」：ｖｅｃｔｏｒ ｍｅｍｏｒｙ）を含み得る。少なくとも１つの実施例では、ＶＰＵコアは、たとえば、単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）のデジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。少なくとも１つの実施例では、ＳＩＭＤとＶＬＩＷとの組合せが、スループット及びスピードを向上させ得る。

【0141】

少なくとも１つの実施例では、ベクトル・プロセッサの各々は、命令キャッシュを含み得、専用メモリに結合され得る。その結果、少なくとも１つの実施例では、ベクトル・プロセッサの各々は、他のベクトル・プロセッサとは無関係に実行するように構成され得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、データ並列処理を採用するように構成され得る。たとえば、少なくとも１つの実施例では、単一のＰＶＡ中に含まれる複数のベクトル・プロセッサは、共通のコンピュータ・ビジョン・アルゴリズムを、ただし画像の異なる領域上で実行し得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを１つの画像上で同時に実行するか、さらには、異なるアルゴリズムを連続した画像又は画像の部分上で実行し得る。少なくとも１つの実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタ中に含まれ得、任意の数のベクトル・プロセッサが各ＰＶＡ中に含まれ得る。少なくとも１つの実施例では、ＰＶＡは、システムの全体的な安全性を向上させるために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含み得る。

【0142】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１０１４は、（１つ又は複数の）アクセラレータ１０１４のための高帯域幅、低レイテンシのＳＲＡＭを提供するために、コンピュータ・ビジョン・ネットワーク・オンチップと、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）とを含み得る。少なくとも１つの実施例では、オンチップ・メモリは、たとえば、限定はしないが、８つのフィールド構成可能メモリ・ブロックを含む少なくとも４ＭＢのＳＲＡＭを含み得、これは、ＰＶＡとＤＬＡの両方によってアクセス可能であり得る。少なくとも１つの実施例では、メモリ・ブロックの各ペアは、先進周辺バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェースと、構成回路要素と、コントローラと、マルチプレクサとを含み得る。少なくとも１つの実施例では、任意のタイプのメモリが使用され得る。少なくとも１つの実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスし得る。少なくとも１つの実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえば、ＡＰＢを使用して）メモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

【0143】

少なくとも１つの実施例では、コンピュータ・ビジョン・ネットワーク・オンチップは、任意の制御信号／アドレス／データの送信の前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供すると決定するインターフェースを含み得る。少なくとも１つの実施例では、インターフェースは、制御信号／アドレス／データを送信するための別個の位相及び別個のチャネル、並びに継続的なデータ転送のためのバーストタイプ通信を提供し得る。少なくとも１つの実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠し得るが、他の規格及びプロトコルが使用され得る。

【0144】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数は、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータを含み得る。少なくとも１つの実施例では、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータは、ＲＡＤＡＲ信号解釈のための、音伝搬合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波形伝搬シミュレーションのための、ローカリゼーション及び／又は他の機能を目的としたＬＩＤＡＲデータとの比較のための、並びに／或いは他の使用法のための、リアルタイムの視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び範囲を迅速に及び効率的に決定するために使用され得る。

【0145】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１０１４は、自律運転のための多様な使用法を有することができる。少なくとも１つの実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両における主要な処理段階のために使用され得る。少なくとも１つの実施例では、ＰＶＡの能力は、低電力及び低レイテンシでの予測可能な処理を必要とするアルゴリズム・ドメインについて良好にマッチする。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能なランタイムを必要とし得る半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的算出に対して、小さいデータセット上でも、良好に機能する。少なくとも１つの実施例では、車両１０００中など、ＰＶＡは、それらが、物体検出及び整数数値の演算において効率的であり得るので、従来のコンピュータ・ビジョン・アルゴリズムを稼働するように設計され得る。

【0146】

たとえば、技術の少なくとも１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実施するために使用される。少なくとも１つの実施例では、いくつかの実例においてセミグローバルなマッチング・ベースのアルゴリズムが使用され得るが、これは、限定するものではない。少なくとも１つの実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、車線検出など）をオンザフライで使用する。少なくとも１つの実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実施し得る。

【0147】

少なくとも１つの実施例では、ＰＶＡは、高密度オプティカル・フローを実施するために使用され得る。たとえば、少なくとも１つの実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば、４Ｄの高速フーリエ変換を使用して）処理して、処理されたＲＡＤＡＲデータを提供することができる。少なくとも１つの実施例では、ＰＶＡは、たとえば、処理された飛行時間データを提供するために、未加工の飛行時間データを処理することによって、飛行時間の深度処理のために使用される。

【0148】

少なくとも１つの実施例では、ＤＬＡは、たとえば、限定はしないが、各物体検出についての信頼性の測度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を向上させるための任意のタイプのネットワークを稼働するために使用され得る。少なくとも１つの実施例では、信頼性は、他の検出と比較した各検出の確率として、又はその相対的な「重み」を提供するものとして表されるか、又は解釈され得る。少なくとも１つの実施例では、信頼性測度は、システムが、どの検出が偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）検出ではなく真陽性（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）検出と見なされるべきであるかに関して、さらなる判定を行うことを可能にする。少なくとも１つの実施例では、システムは、信頼性についてのしきい値を設定し、しきい値を超える検出のみを真陽性検出と見なし得る。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムが使用される実施例では、偽陽性検出は、車両が自動的に緊急ブレーキをかけることを引き起こし、これは明らかに望ましくない。少なくとも１つの実施例では、非常に信頼性の高い検出が、ＡＥＢのためのトリガと見なされ得る。少なくとも１つの実施例では、ＤＬＡは、信頼性値を回帰するためにニューラル・ネットワークを稼働し得る。少なくとも１つの実施例では、ニューラル・ネットワークは、とりわけ、バウンディング・ボックスの次元、（たとえば、別のサブシステムから）取得されたグランド・プレーン推定値、車両１０００の向きと相関する（１つ又は複数の）ＩＭＵセンサ１０６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４又は（１つ又は複数の）ＲＡＤＡＲセンサ１０６０）から取得された物体の３Ｄロケーション推定値など、パラメータの少なくとも一部のサブセットを、その入力としてとり得る。

【0149】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数は、（１つ又は複数の）データ・ストア１０１６（たとえば、メモリ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１０１６は、（１つ又は複数の）ＳｏＣ１００４のオンチップ・メモリであり得、このオンチップ・メモリは、（１つ又は複数の）ＧＰＵ１００８及び／又はＤＬＡ上で実行されるべきニューラル・ネットワークを記憶し得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１０１６は、容量が、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくなり得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１０１６は、（１つ又は複数の）Ｌ２又はＬ３キャッシュを備え得る。

【0150】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数は、（１つ又は複数の）任意の数のプロセッサ１０１０（たとえば、組み込みプロセッサ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、ブート電力並びに管理機能及び関係するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであり得る、ブート及び電力管理プロセッサを含み得る。少なくとも１つの実施例では、ブート及び電力管理プロセッサは、（１つ又は複数の）ＳｏＣ１００４のブート・シーケンスの一部であり得、ランタイム電力管理サービスを提供し得る。少なくとも１つの実施例では、ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、（１つ又は複数の）ＳｏＣ１００４の熱及び温度センサの管理、並びに／又は（１つ又は複数の）ＳｏＣ１００４の電力状態の管理を提供し得る。少なくとも１つの実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装され得、（１つ又は複数の）ＳｏＣ１００４は、リング発振器を使用して、（１つ又は複数の）ＣＰＵ１００６、（１つ又は複数の）ＧＰＵ１００８、及び／又は（１つ又は複数の）アクセラレータ１０１４の温度を検出し得る。少なくとも１つの実施例では、温度がしきい値を超えると決定された場合、ブート及び電力管理プロセッサは、温度障害ルーチンに入り、（１つ又は複数の）ＳｏＣ１００４を低電力状態にし、及び／又は車両１０００を運転手－安全停止モード（ｃｈａｕｆｆｅｕｒ ｔｏ ｓａｆｅ ｓｔｏｐ ｍｏｄｅ）にし（たとえば、車両１０００を安全停止させ）得る。

【0151】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、オーディオ処理エンジンとして働き得る組み込みプロセッサのセットをさらに含み得、オーディオ処理エンジンは、複数のインターフェースを介した多チャネル・オーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にする、オーディオ・サブシステムであり得る。少なくとも１つの実施例では、オーディオ処理エンジンは、専用ＲＡＭをもつデジタル信号プロセッサをもつ専用プロセッサ・コアである。

【0152】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、低電力センサ管理及び立ち上げ使用事例をサポートするのに必要なハードウェア特徴を提供し得る常時オン・プロセッサ・エンジンをさらに含み得る。少なくとも１つの実施例では、常時オン・プロセッサ・エンジンは、限定はしないが、プロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺機器、及びルーティング論理を含み得る。

【0153】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、安全クラスタ・エンジンをさらに含み得、安全クラスタ・エンジンは、限定はしないが、自動車用途のための安全管理に対処するための専用プロセッサ・サブシステムを含む。少なくとも１つの実施例では、安全クラスタ・エンジンは、限定はしないが、２つ又はそれ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ、割込みコントローラなど）、及び／又はルーティング論理を含み得る。安全モードでは、２つ又はそれ以上のコアは、少なくとも１つの実施例では、ロックステップ・モードで動作し、それらの動作間で何らかの差を検出するための比較論理をもつ単一コアとして機能し得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、リアルタイム・カメラ・エンジンをさらに含み得、リアルタイム・カメラ・エンジンは、限定はしないが、リアルタイム・カメラ管理に対処するための専用プロセッサ・サブシステムを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、高ダイナミック・レンジ信号プロセッサをさらに含み得、高ダイナミック・レンジ信号プロセッサは、限定はしないが、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る。

【0154】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１０１０は、ビデオ画像合成器を含み得、ビデオ画像合成器は、プレーヤ・ウィンドウのための最終画像を作り出すためにビデオ再生アプリケーションによって必要とされるビデオ後処理機能を実装する（たとえば、マイクロプロセッサ上に実装された）処理ブロックであり得る。少なくとも１つの実施例では、ビデオ画像合成器は、（１つ又は複数の）広角カメラ１０７０、（１つ又は複数の）周囲カメラ１０７４、及び／又は（１つ又は複数の）キャビン内監視カメラ・センサに対して、レンズゆがみ補正を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに応じて応答するように構成された、ＳｏＣ１００４の別のインスタンス上で稼働しているニューラル・ネットワークによって監視される。少なくとも１つの実施例では、キャビン内システムは、限定はしないが、セルラー・サービスをアクティブ化し、電話をかけ、電子メールを書き、車両の行き先を変更し、車両のインフォテイメント・システム及び設定をアクティブ化又は変更し、ボイス作動式のウェブ・サーフィンを提供するために、読唇を実施し得る。少なくとも１つの実施例では、いくつかの機能は、車両が自律モードで動作しているときにドライバにとって利用可能であり、他の場合に使用不可にされる。

【0155】

少なくとも１つの実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含み得る。たとえば、少なくとも１つの実施例では、ビデオ中で動きが発生した場合、ノイズ低減が空間情報に適切に重み付けし、隣接するフレームによって提供される情報の重みを減少させる。少なくとも１つの実施例では、画像又は画像の一部分が動きを含まない場合、ビデオ画像合成器によって実施される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像中のノイズを低減し得る。

【0156】

少なくとも１つの実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化（ｓｔｅｒｅｏ ｒｅｃｔｉｆｉｃａｔｉｏｎ）を実施するように構成され得る。少なくとも１つの実施例では、ビデオ画像合成器は、オペレーティング・システム・デスクトップが使用中であるとき、ユーザ・インターフェース合成のためにさらに使用され得、（１つ又は複数の）ＧＰＵ１００８は、新しい表面を継続的にレンダリングすることを必要とされない。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１００８が電源投入され、アクティブであり、３Ｄレンダリングを行っているとき、ビデオ画像合成器は、性能及び応答性を改善するために（１つ又は複数の）ＧＰＵ１００８をオフロードするために使用され得る。

【0157】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数のＳｏＣは、カメラからのビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、並びに／又はカメラ及び関係するピクセル入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数は、（１つ又は複数の）入力／出力コントローラをさらに含み得、（１つ又は複数の）入力／出力コントローラは、ソフトウェアによって制御され得、特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る。

【0158】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数のＳｏＣは、周辺機器、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他のデバイスとの通信を可能にするための広範囲の周辺インターフェースをさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット・チャネルを介して接続された）カメラからのデータ、センサ（たとえば、イーサネット・チャネルを介して接続され得る（１つ又は複数の）ＬＩＤＡＲセンサ１０６４、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０など）からのデータ、バス１００２からのデータ（たとえば、車両１０００のスピード、ハンドル位置など）、（たとえば、イーサネット・バス又はＣＡＮバスを介して接続された）（１つ又は複数の）ＧＮＳＳセンサ１０５８からのデータなどを処理するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４のうちの１つ又は複数のＳｏＣは、専用の高性能大容量ストレージ・コントローラをさらに含み得、この大容量ストレージ・コントローラは、それら自体のＤＭＡエンジンを含み得、ルーチン・データ管理タスクから（１つ又は複数の）ＣＰＵ１００６を解放するために使用され得る。

【0159】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャをもつエンドツーエンド・プラットフォームであり得、それにより、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に利用する包括的な機能的安全性アーキテクチャを提供し、フレキシブルで、信頼できる運転ソフトウェア・スタックのためのプラットフォームを、深層学習ツールとともに提供し得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４は、従来のシステムよりも高速で、信頼でき、さらにはエネルギー効率及び空間効率が高くなり得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１０１４は、（１つ又は複数の）ＣＰＵ１００６、（１つ又は複数の）ＧＰＵ１００８、及び（１つ又は複数の）データ・ストア１０１６と組み合わせられたとき、レベル３～５の自律車両のための高速で効率的なプラットフォームを提供し得る。

【0160】

少なくとも１つの実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行され得、このアルゴリズムは、多種多様な視覚データにわたって多種多様な処理アルゴリズムを実行するために、Ｃなどの高レベル・プログラミング言語を使用して構成され得る。しかしながら、少なくとも１つの実施例では、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関係する要件など、多くのコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。少なくとも１つの実施例では、多くのＣＰＵは、車両内ＡＤＡＳアプリケーション及び実際のレベル３～５の自律車両において使用される、複雑な物体検出アルゴリズムをリアルタイムで実行することができない。

【0161】

本明細書で説明される実施例は、複数のニューラル・ネットワークが同時に及び／又は順次実施されることを可能にし、レベル３～５の自律運転機能性を可能にするために結果が一緒に組み合わせられることを可能にする。たとえば、少なくとも１つの実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、（１つ又は複数の）ＧＰＵ１０２０）上で実行しているＣＮＮは、テキスト及び単語認識を含み得、ニューラル・ネットワークがそれについて特に訓練されていない標識を含む交通標識を読み、理解することを可能にする。少なくとも１つの実施例では、ＤＬＡは、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で稼働している経路計画モジュールに渡すことができる、ニューラル・ネットワークをさらに含み得る。

【0162】

少なくとも１つの実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に稼働され得る。たとえば、少なくとも１つの実施例では、電光とともに、「注意：点滅光は凍結状態（ｉｃｙ ｃｏｎｄｉｔｉｏｎ）を示す」と記載した警告標識が、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。少なくとも１つの実施例では、そのような警告標識自体は、第１の導入されたニューラル・ネットワーク（たとえば、訓練されたニューラル・ネットワーク）によって交通標識として識別され得、「点滅光は凍結状態を示す」というテキストは、第２の導入されたニューラル・ネットワークによって解釈され得、第２の導入されたニューラル・ネットワークは、点滅光が検出されたとき、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに知らせる。少なくとも１つの実施例では、点滅光は、第３の導入されたニューラル・ネットワークを複数のフレームにわたって動作させることによって識別され得、第３の導入されたニューラル・ネットワークが、車両の経路計画ソフトウェアに点滅光の存在（又は不在）を知らせる。少なくとも１つの実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又は（１つ又は複数の）ＧＰＵ１００８上などで同時に稼働し得る。

【0163】

少なくとも１つの実施例では、顔認識及び車両所有者識別のためのＣＮＮが、カメラ・センサからのデータを使用して、車両１０００の承認済みのドライバ及び／又は所有者の存在を識別し得る。少なくとも１つの実施例では、所有者がドライバ・ドアに近づき、ライトをオンにしたときに車両を解錠し、セキュリティ・モードでは、所有者がそのような車両から離れたときにそのような車両を使用不可にするために、常時オン・センサ処理エンジンが使用され得る。このようにして、（１つ又は複数の）ＳｏＣ１００４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを提供する。

【0164】

少なくとも１つの実施例では、緊急車両検出及び識別のためのＣＮＮが、マイクロフォン１０９６からのデータを使用して、緊急車両のサイレンを検出及び識別し得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１００４は、環境及び市街地の音を分類し、並びに視覚データを分類するために、ＣＮＮを使用する。少なくとも１つの実施例では、ＤＬＡ上で稼働しているＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえば、ドップラ効果を使用することによって）識別するように訓練される。少なくとも１つの実施例では、ＣＮＮは、（１つ又は複数の）ＧＮＳＳセンサ１０５８によって識別されるように、車両が動作している地域に特有の緊急車両を識別するようにも訓練され得る。少なくとも１つの実施例では、欧州で動作しているときは、ＣＮＮは欧州のサイレンを検出しようとし、北米にあるときは、ＣＮＮは北米のサイレンのみを識別しようとする。少なくとも１つの実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行し、車両の速度を落とし、道路脇に寄せ、車両を停止させ、及び／又は緊急車両が通過するまで、（１つ又は複数の）超音波センサ１０６２を併用して車両をアイドリングするために、制御プログラムが使用され得る。

【0165】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）ＣＰＵ１０１８（たとえば、（１つ又は複数の）個別ＣＰＵ、又は（１つ又は複数の）ｄＣＰＵ）を含み得、（１つ又は複数の）ＣＰＵ１０１８は、高速相互接続（たとえば、ＰＣＩｅ）を介して（１つ又は複数の）ＳｏＣ１００４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１０１８は、たとえばＸ８６プロセッサを含み得る。（１つ又は複数の）ＣＰＵ１０１８は、たとえば、ＡＤＡＳセンサと（１つ又は複数の）ＳｏＣ１００４との間で潜在的に一貫性のない結果を調停すること、並びに／或いは、（１つ又は複数の）コントローラ１０３６及び／又はチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１０３０のステータス及び健全性を監視することを含む、様々な機能のいずれかを実施するために使用され得る。

【0166】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）ＧＰＵ１０２０（たとえば、（１つ又は複数の）個別ＧＰＵ、又は（１つ又は複数の）ｄＧＰＵ）を含み得、（１つ又は複数の）ＧＰＵ１０２０は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫチャネル）を介して（１つ又は複数の）ＳｏＣ１００４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１０２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能性を提供し得、車両１０００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づいて、ニューラル・ネットワークを訓練及び／又は更新するために使用され得る。

【0167】

少なくとも１つの実施例では、車両１０００は、ネットワーク・インターフェース１０２４をさらに含み得、ネットワーク・インターフェース１０２４は、限定はしないが、（１つ又は複数の）ワイヤレス・アンテナ１０２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース１０２４は、他の車両及び／又はコンピューティング・デバイス（たとえば、乗客のクライアント・デバイス）との（たとえば、（１つ又は複数の）サーバ及び／又は他のネットワーク・デバイスとの）インターネット・クラウド・サービスへのワイヤレス接続性を可能にするために使用され得る。少なくとも１つの実施例では、他の車両と通信するために、車両１００と他の車両との間に直接リンクが確立され得、及び／又は（たとえば、ネットワークにわたって及びインターネットを介して）間接リンクが確立され得る。少なくとも１つの実施例では、直接リンクは、車両間通信リンクを使用して提供され得る。少なくとも１つの実施例では、車両間通信リンクは、車両１０００の近傍の車両（たとえば、車両１０００の前方、側方、及び／又は後方の車両）に関する情報を車両１０００に提供し得る。少なくとも１つの実施例では、そのような前述の機能性は、車両１０００の協調型適応走行制御機能性の一部であり得る。

【0168】

少なくとも１つの実施例では、ネットワーク・インターフェース１０２４は、変調及び復調機能性を提供し、（１つ又は複数の）コントローラ１０３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース１０２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含み得る。少なくとも１つの実施例では、周波数コンバージョンは、任意の技術的に実現可能な様式で実施され得る。たとえば、周波数コンバージョンは、よく知られているプロセスを通して、及び／又はスーパー・ヘテロダイン・プロセスを使用して実施され得る。少なくとも１つの実施例では、無線周波数フロント・エンド機能性は、別個のチップによって提供され得る。少なくとも１つの実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ波、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能性を含み得る。

【0169】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）データ・ストア１０２８をさらに含み得、（１つ又は複数の）データ・ストア１０２８は、限定はしないが、オフチップ（たとえば、（１つ又は複数の）ＳｏＣ１００４上にない）ストレージを含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１０２８は、限定はしないが、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ・メモリ、ハード・ディスク、並びに／或いは、少なくとも１ビットのデータを記憶し得る他の構成要素及び／又はデバイスを含む、１つ又は複数のストレージ要素を含み得る。

【0170】

少なくとも１つの実施例では、車両１０００は、マッピング、知覚、占有グリッド生成、及び／又は経路計画機能を支援するために、（１つ又は複数の）ＧＮＳＳセンサ１０５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）をさらに含み得る。少なくとも１つの実施例では、たとえば、限定はしないが、イーサネット－シリアル（たとえば、ＲＳ－２３２）ブリッジをもつＵＳＢコネクタを使用するＧＰＳを含む、任意の数のＧＮＳＳセンサ１０５８が使用され得る。

【0171】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０は、暗闇及び／又は厳しい気象条件においてさえ、長距離車両検出のために車両１０００によって使用され得る。少なくとも１つの実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであり得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０は、いくつかの実例では、未加工のデータにアクセスするためのイーサネット・チャネルへのアクセスとともに、制御のために（たとえば、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０によって生成されたデータを送信するために）、及び物体追跡データにアクセスするために、ＣＡＮバス及び／又はバス１００２を使用し得る。少なくとも１つの実施例では、多種多様なＲＡＤＡＲセンサ・タイプが使用され得る。たとえば、限定はしないが、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０のうちの１つ又は複数のセンサは、パルス・ドップラＲＡＤＡＲセンサである。

【0172】

少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０は、狭視野の長距離、広視野の短距離、短距離側方カバレージなど、異なる構成を含み得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲは、適応走行制御機能性のために使用され得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲシステムは、２５０ｍ（メートル）範囲内などの、２つ又はそれ以上の独立した走査によって実現される広い視野を提供し得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０は、静的物体と移動している物体とを区別するのを助け得、緊急ブレーキ支援及び前方衝突警告のためにＡＤＡＳシステム１０３８によって使用され得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲシステム中に含まれる（１つ又は複数の）センサ１０６０は、限定はしないが、複数の（たとえば、６つ又はそれ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースをもつモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。少なくとも１つの実施例では、６つのアンテナがある場合、中央の４アンテナは、隣接する車線におけるトラフィックからの干渉が最小の状態で、より高速で車両１０００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。少なくとも１つの実施例では、別の２つのアンテナは、視野を拡大し、これは、車両１０００の車線に入るか又はそこを出る車両を迅速に検出することを可能にし得る。

【0173】

少なくとも１つの実施例では、中距離ＲＡＤＡＲシステムは、一実例として、最高１６０ｍ（前方）又は８０ｍ（後方）の範囲と、最高４２度（前方）又は１５０度（後方）の視野とを含み得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、限定はしないが、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１０６０を含み得る。後方バンパの両端部に設置されたとき、少なくとも１つの実施例では、ＲＡＤＡＲセンサ・システムは、後方向及び車両の隣の死角を常に監視する２本のビームを作成し得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援のために、ＡＤＡＳシステム１０３８において使用され得る。

【0174】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）超音波センサ１０６２をさらに含み得る。少なくとも１つの実施例では、車両１０００の前方、後方、及び／又は側方ロケーションにおいて位置決めされ得る（１つ又は複数の）超音波センサ１０６２は、駐車支援のために、並びに／又は占有グリッドを作成及び更新するために、使用され得る。少なくとも１つの実施例では、多種多様な（１つ又は複数の）超音波センサ１０６２が使用され得、異なる検出範囲（たとえば、２．５ｍ、４ｍ）について（１つ又は複数の）異なる超音波センサ１０６２が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）超音波センサ１０６２は、機能的安全性レベルのＡＳＩＬ Ｂにおいて動作し得る。

【0175】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、並びに／又は他の機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４は、機能的安全性レベルＡＳＩＬ Ｂにおいて動作し得る。少なくとも１つの実施例では、車両１０００は、複数のＬＩＤＡＲセンサ１０６４（たとえば、２つ、４つ、６つなど）を含み得、それらのＬＩＤＡＲセンサ１０６４は、（たとえば、データをギガビット・イーサネット・スイッチに提供するために）イーサネット・チャネルを使用し得る。

【0176】

少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４は、３６０度の視野について、物体及びそれらの距離のリストを提供することが可能であり得る。少なくとも１つの実施例では、（１つ又は複数の）市販のＬＩＤＡＲセンサ１０６４は、たとえば、２ｃｍ～３ｃｍの精度をもつ、及び１００Ｍｂｐｓのイーサネット接続のサポートをもつ、ほぼ１００ｍの宣伝された範囲を有し得る。少なくとも１つの実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサが使用され得る。そのような実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４は、車両１０００の前方、後方、側方、及び／又は角ロケーションに組み込まれ得る小さいデバイスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４は、そのような実施例において、最高１２０度の水平視野と、３５度の垂直視野とを、低反射性物体についてさえ２００ｍの範囲で提供し得る。少なくとも１つの実施例では、（１つ又は複数の）前方に取り付けられたＬＩＤＡＲセンサ１０６４は、４５度から１３５度の間の水平視野のために構成され得る。

【0177】

少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用され得る。少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信ソースとして使用して、車両１０００の周囲を最高でほぼ２００ｍまで照射する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲユニットは、限定はしないが、レセプタを含み、レセプタは、レーザ・パルスの通過時間と各ピクセル上での反射光とを記録し、それらは、車両１０００から物体までの範囲に対応する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲは、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成されることを可能にする。少なくとも１つの実施例では、４つのフラッシュＬＩＤＡＲセンサが、車両１０００の各側面において１つ導入され得る。少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲシステムは、限定はしないが、ファン以外に可動部品のないソリッドステート３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）ＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を含む。少なくとも１つの実施例では、フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（眼に安全な）レーザ・パルスを使用し得、３Ｄ範囲のポイント・クラウド及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データとして反射レーザ光をキャプチャし得る。

【0178】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）ＩＭＵセンサ１０６６をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６は、車両１０００の後方車軸の中央に位置し得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６は、たとえば、限定はしないが、（１つ又は複数の）加速度計、（１つ又は複数の）磁力計、（１つ又は複数の）ジャイロスコープ、磁気コンパス、複数の磁気コンパス、及び／又は他のセンサ・タイプを含み得る。６軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６は、限定はしないが、加速度計とジャイロスコープとを含み得る。９軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６は、限定はしないが、加速度計と、ジャイロスコープと、磁力計とを含み得る。

【0179】

少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進Ｋａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する、小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６は、車両１０００が、速度の変化を直接観察し、それを、ＧＰＳから（１つ又は複数の）ＩＭＵセンサ１０６６に相関させることによって、磁気センサからの入力を必要とせずに車両１０００の方位を推定することを可能にする。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１０６６と（１つ又は複数の）ＧＮＳＳセンサ１０５８とは、単一の統合されたユニットにおいて組み合わせられ得る。

【0180】

少なくとも１つの実施例では、車両１０００は、車両１０００の中及び／又はその周りに置かれた（１つ又は複数の）マイクロフォン１０９６を含み得る。少なくとも１つの実施例では、（１つ又は複数の）マイクロフォン１０９６は、とりわけ、緊急車両検出及び識別のために使用され得る。

【0181】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）ステレオ・カメラ１０６８、（１つ又は複数の）広角カメラ１０７０、（１つ又は複数の）赤外線カメラ１０７２、（１つ又は複数の）周囲カメラ１０７４、（１つ又は複数の）長距離カメラ１０９８、（１つ又は複数の）中距離カメラ１０７６、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。少なくとも１つの実施例では、カメラは、車両１０００の全周辺の周りで画像データをキャプチャするために使用され得る。少なくとも１つの実施例では、どのタイプのカメラが使用されるかは、車両１０００に依存する。少なくとも１つの実施例では、車両１０００の周りで必要なカバレージを提供するために、カメラ・タイプの任意の組合せが使用され得る。少なくとも１つの実施例では、導入されるカメラの数は、実施例に応じて異なり得る。たとえば、少なくとも１つの実施例では、車両１０００は、６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。少なくとも１つの実施例では、カメラは、一実例として、限定はしないが、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット通信をサポートし得る。少なくとも１つの実施例では、各カメラは、図１０Ａ及び図１０Ｂに関して本明細書でより詳細に前に説明されたようなものであり得る。

【0182】

少なくとも１つの実施例では、車両１０００は、（１つ又は複数の）振動センサ１０４２をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）振動センサ１０４２は、（１つ又は複数の）車軸など、車両１０００の構成要素の振動を測定し得る。たとえば、少なくとも１つの実施例では、振動の変化は、路面の変化を示し得る。少なくとも１つの実施例では、２つ又はそれ以上の振動センサ１０４２が使用されるとき、路面の摩擦又はすべり量を決定するために振動の差が使用され得る（たとえば、振動の差が動力駆動車軸と自由回転車軸との間のものであるとき）。

【0183】

少なくとも１つの実施例では、車両１０００は、ＡＤＡＳシステム１０３８を含み得る。少なくとも１つの実施例では、ＡＤＡＳシステム１０３８は、限定はしないが、いくつかの実例では、ＳｏＣを含み得る。少なくとも１つの実施例では、ＡＤＡＳシステム１０３８は、限定はしないが、任意の数及び組合せの自律／適応／自動走行制御（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型適応走行制御（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面クラッシュ警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」）システム、車線逸脱警告（「ＬＤＷ」）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／或いは他のシステム、特徴、及び／又は機能性を含み得る。

【0184】

少なくとも１つの実施例では、ＡＣＣシステムは、（１つ又は複数の）ＲＡＤＡＲセンサ１０６０、（１つ又は複数の）ＬＩＤＡＲセンサ１０６４、及び／又は任意の数のカメラを使用し得る。少なくとも１つの実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含み得る。少なくとも１つの実施例では、縦方向ＡＣＣシステムは、車両１０００の直前の別の車両までの距離を監視及び制御し、車両１０００のスピードを自動的に調節して、前の車両からの安全な距離を維持する。少なくとも１つの実施例では、横方向ＡＣＣシステムは、距離の維持を実施し、必要なときに車線を変更するよう車両１０００に忠告する。少なくとも１つの実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなど、他のＡＤＡＳ用途に関係する。

【0185】

少なくとも１つの実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクを介して、又は間接的に、ネットワーク接続を介して（たとえば、インターネットを介して）、他の車両からネットワーク・インターフェース１０２４及び／又は（１つ又は複数の）ワイヤレス・アンテナ１０２６を介して受信され得る。少なくとも１つの実施例では、直接リンクは車両間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、間接リンクはインフラストラクチャ車両間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得る。一般に、Ｖ２Ｖ通信は、直前の先行車両（たとえば、車両１０００の直前で同じ車線にいる車両）に関する情報を提供し、Ｉ２Ｖ通信は、さらにその前の交通に関する情報を提供する。少なくとも１つの実施例では、ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースのいずれか又は両方を含み得る。少なくとも１つの実施例では、車両１０００の前の車両の情報があれば、ＣＡＣＣシステムは、より信頼できるものとなり得、それは、交通の流れの円滑さを改善し、道路上での渋滞を低減する可能性を有する。

【0186】

少なくとも１つの実施例では、ＦＣＷシステムは、危険物についてドライバにアラートするように設計され、それにより、そのようなドライバは是正アクションをとり得る。少なくとも１つの実施例では、ＦＣＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックを提供するように電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１０６０を使用する。少なくとも１つの実施例では、ＦＣＷシステムは、音、視覚的警告、振動及び／又はクイック・ブレーキ・パルスなどの形態で警告を提供し得る。

【0187】

少なくとも１つの実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、指定された時間又は距離パラメータ内にドライバが是正アクションをとらない場合、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された（１つ又は複数の）正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１０６０を使用し得る。少なくとも１つの実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは、通常、最初に、是正アクションをとって衝突を回避するようにドライバにアラートし、そのドライバが是正アクションをとらない場合、そのＡＥＢシステムは、予測される衝突を防ぐか、又は少なくともその衝撃を軽減するために、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、動的ブレーキ・サポート及び／又はクラッシュ直前ブレーキなどの技法を含み得る。

【0188】

少なくとも１つの実施例では、ＬＤＷシステムは、車両１０００が車線の目印に交差したときにドライバにアラートするために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的警告を提供する。少なくとも１つの実施例では、ＬＤＷシステムは、ドライバが方向指示器をアクティブ化することなどによって意図的な車線逸脱を示すとき、アクティブ化しない。少なくとも１つの実施例では、ＬＤＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックを提供するように電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面向きのカメラを使用し得る。少なくとも１つの実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。少なくとも１つの実施例では、ＬＫＡシステムは、車両１０００が車両１０００の車線から出始めた場合に車両１０００を是正するために操縦入力又はブレーキ制御を提供する。

【0189】

少なくとも１つの実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、その車両についてドライバに警告する。少なくとも１つの実施例では、ＢＳＷシステムは、合流すること又は車線を変更することが安全ではないことを示すために、視覚的、聴覚的、及び／又は触覚的なアラートを提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、（１つ又は複数の）背面向きのカメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１０６０を使用し得る。

【0190】

少なくとも１つの実施例では、ＲＣＴＷシステムは、車両１０００が後退しているときに物体が後方カメラの範囲外で検出されたとき、視覚的、聴覚的、及び／又は触覚的な通知を提供し得る。少なくとも１つの実施例では、ＲＣＴＷシステムは、クラッシュを回避するために車両ブレーキがかけられることを確実にするためのＡＥＢシステムを含む。少なくとも１つの実施例では、ＲＣＴＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックを提供するように電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の背面ＲＡＤＡＲセンサ１０６０を使用し得る。

【0191】

少なくとも１つの実施例では、従来のＡＤＡＳシステムは、偽陽性結果を出しがちなことがあり、これは、ドライバにとって迷惑であり、気が散るものであり得るが、従来のＡＤＡＳシステムが、ドライバにアラートし、そのドライバが、安全条件が本当に存在するかどうかを判定し、それに応じて行動することを可能にするので、通常は大したことにはならない。少なくとも１つの実施例では、車両１０００自体が、矛盾する結果の場合、１次コンピュータ（たとえば、コントローラ１０３６のうちの第１のコントローラ）からの結果に従うのか、２次コンピュータ（たとえば、コントローラ８３６のうちの第２のコントローラ）からの結果に従うのかを判定する。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム１０３８は、バックアップ・コンピュータ合理性モジュールに知覚情報を提供するためのバックアップ及び／又は２次コンピュータであり得る。少なくとも１つの実施例では、バックアップ・コンピュータ合理性モニタが、ハードウェア構成要素上の冗長な多様なソフトウェアを稼働して、知覚及び動的運転タスクの障害を検出し得る。少なくとも１つの実施例では、ＡＤＡＳシステム１０３８からの出力は、監督ＭＣＵ（ｓｕｐｅｒｖｉｓｏｒｙ ＭＣＵ）に提供され得る。少なくとも１つの実施例では、１次コンピュータからの出力と２次コンピュータからの出力とが矛盾する場合、監督ＭＣＵが、安全な動作を確実にするために矛盾をどのように調和させるかを決定する。

【0192】

少なくとも１つの実施例では、１次コンピュータは、選定された結果における１次コンピュータの信頼性を示す信頼性スコアを監督ＭＣＵに提供するように構成され得る。少なくとも１つの実施例では、その信頼性スコアがしきい値を超える場合、その２次コンピュータが、矛盾する又は一貫性のない結果を提供するかどうかにかかわらず、監督ＭＣＵは、その１次コンピュータの指示に従い得る。少なくとも１つの実施例では、信頼性スコアがしきい値を満たさない場合、及び１次コンピュータと２次コンピュータとが異なる結果（たとえば、矛盾）を示す場合、監督ＭＣＵは、コンピュータ間で調停して、適切な帰結を決定し得る。

【0193】

少なくとも１つの実施例では、監督ＭＣＵは、２次コンピュータが誤アラームを提供する条件を、１次コンピュータからの出力と２次コンピュータからの出力とに少なくとも部分的に基づいて決定するように訓練及び構成された（１つ又は複数の）ニューラル・ネットワークを稼働するように構成され得る。少なくとも１つの実施例では、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、２次コンピュータの出力がいつ信用でき得るかと、それがいつ信用できないかとを学習し得る。たとえば、少なくとも１つの実施例では、その２次コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、その監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、アラームをトリガする排水溝格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムがいつ識別しているかを学習し得る。少なくとも１つの実施例では、２次コンピュータがカメラ・ベースのＬＤＷシステムであるとき、監督ＭＣＵ中のニューラル・ネットワークは、自転車又は歩行者が存在し、車線逸脱が実際には最も安全な操作であるときにＬＤＷを無効にするように学習し得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ニューラル・ネットワークを、関連するメモリとともに稼働するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ＳｏＣ１００４の構成要素を備え、及び／又はその構成要素として含められ得る。

【0194】

少なくとも１つの実施例では、ＡＤＡＳシステム１０３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能性を実施する２次コンピュータを含み得る。少なくとも１つの実施例では、その２次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用し得、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークの存在が、信頼性、安全性及び性能を改善し得る。たとえば、少なくとも１つの実施例では、多様な実装及び意図的な非同一性が、システム全体を、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）機能性によって引き起こされる障害に対して、より障害耐性のあるものにする。たとえば、少なくとも１つの実施例では、１次コンピュータ上で稼働しているソフトウェアにおいてソフトウェア・バグ又はエラーがあり、２次コンピュータ上で稼働している非同一のソフトウェア・コードが、一貫性のある全体的な結果を提供する場合、監督ＭＣＵは、全体的な結果が正しく、その１次コンピュータ上のソフトウェア又はハードウェアにおけるバグが重大なエラーを引き起こしていないという、より高い信頼性を有し得る。

【0195】

少なくとも１つの実施例では、ＡＤＡＳシステム１０３８の出力は、１次コンピュータの知覚ブロック及び／又は１次コンピュータの動的運転タスク・ブロックにフィードされ得る。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム１０３８が、直前の物体により正面クラッシュ警告を示す場合、知覚ブロックは、物体を識別するときにこの情報を使用し得る。少なくとも１つの実施例では、２次コンピュータは、本明細書で説明されるように、訓練された、したがって偽陽性のリスクを低減する、それ自体のニューラル・ネットワークを有し得る。

【0196】

少なくとも１つの実施例では、車両１０００は、インフォテイメントＳｏＣ１０３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ））をさらに含み得る。ＳｏＣとして示され、説明されるが、インフォテイメント・システムＳｏＣ１０３０は、少なくとも１つの実施例では、ＳｏＣでないことがあり、限定はしないが、２つ又はそれ以上の個別の構成要素を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１０３０は、限定はしないが、ハードウェアとソフトウェアとの組合せを含み得、この組合せは、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続性（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報などの車両関係情報など）を車両１０００に提供するために使用され得る。たとえば、インフォテイメントＳｏＣ１０３０は、ラジオ、ディスク・プレーヤ、ナビゲーション・システム、ビデオ・プレーヤ、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続性、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー・ボイス制御、ヘッドアップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１０３４、テレマテックス・デバイス、（たとえば、様々な構成要素、特徴、及び／又はシステムを制御し、及び／又はそれらと対話するための）制御パネル、及び／又は他の構成要素を含むことができる。少なくとも１つの実施例では、インフォテイメントＳｏＣ１０３０は、ＡＤＡＳシステム１０３８からの情報、計画された車両操作、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、（たとえば、視覚的及び／又は聴覚的な）情報を車両１０００の（１人又は複数の）ユーザに提供するために、さらに使用され得る。

【0197】

少なくとも１つの実施例では、インフォテイメントＳｏＣ１０３０は、任意の量及びタイプのＧＰＵ機能性を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１０３０は、バス１００２を介して、車両１０００の他のデバイス、システム、及び／又は構成要素と通信し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１０３０は監督ＭＣＵに結合され得、それにより、（１つ又は複数の）１次コントローラ１０３６（たとえば、車両１０００の１次及び／又はバックアップ・コンピュータ）が故障した場合、インフォテイメント・システムのＧＰＵが、いくつかの自己運転機能を実施し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１０３０は、本明細書で説明されるように、車両１０００を運転手－安全停止モードにし得る。

【0198】

少なくとも１つの実施例では、車両１０００は、計器クラスタ１０３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）をさらに含み得る。少なくとも１つの実施例では、計器クラスタ１０３２は、限定はしないが、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。少なくとも１つの実施例では、計器クラスタ１０３２は、限定はしないが、スピードメータ、燃料レベル、油圧、タコメータ、オドメータ、方向インジケータ、シフトレバー位置インジケータ、（１つ又は複数の）シート・ベルト警告灯、（１つ又は複数の）駐車ブレーキ警告灯、（１つ又は複数の）エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、ライト制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計装セットを含み得る。いくつかの実例では、情報は表示され、及び／又は、インフォテイメントＳｏＣ１０３０と計器クラスタ１０３２との間で共有され得る。少なくとも１つの実施例では、計器クラスタ１０３２は、インフォテイメントＳｏＣ１０３０の一部として含められ得、その逆もまた同様である。

【0199】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０Ｃのシステムにおいて使用され得る。

【0200】

図１０Ｄは、少なくとも１つの実施例による、（１つ又は複数の）クラウド・ベースのサーバと図１０Ａの自律車両１０００との間の通信のためのシステムの図である。少なくとも１つの実施例では、システムは、限定はしないが、（１つ又は複数の）サーバ１０７８と、（１つ又は複数の）ネットワーク１０９０と、車両１０００を含む任意の数及びタイプの車両とを含み得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、限定はしないが、（総称して、本明細書ではＧＰＵ１０８４と呼ばれる）複数のＧＰＵ１０８４（Ａ）～１０８４（Ｈ）、（総称して、本明細書ではＰＣＩｅスイッチ１０８２と呼ばれる）ＰＣＩｅスイッチ１０８２（Ａ）～１０８２（Ｄ）、及び／又は（総称して、本明細書ではＣＰＵ１０８０と呼ばれる）ＣＰＵ１０８０（Ａ）～１０８０（Ｂ）を含み得る。少なくとも１つの実施例では、ＧＰＵ１０８４と、ＣＰＵ１０８０と、ＰＣＩｅスイッチ１０８２とは、たとえば、限定はしないが、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１０８８及び／又はＰＣＩｅ接続１０８６など、高速相互接続で相互接続され得る。少なくとも１つの実施例では、ＧＰＵ１０８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ１０８４とＰＣＩｅスイッチ１０８２とは、ＰＣＩｅ相互接続を介して接続される。８つのＧＰＵ１０８４と、２つのＣＰＵ１０８０と、４つのＰＣＩｅスイッチ１０８２とが示されているが、これは限定するものではない。少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８の各々は、限定はしないが、任意の数のＧＰＵ１０８４、ＣＰＵ１０８０、及び／又はＰＣＩｅスイッチ１０８２を任意の組合せで含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、各々、８つ、１６個、３２個、及び／又はそれ以上のＧＰＵ１０８４を含むことができる。

【0201】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、最近始まった道路工事など、予想外の又は変更された道路状態（ｒｏａｄ ｃｏｎｄｉｔｉｏｎ）を示す画像を表す画像データを、（１つ又は複数の）ネットワーク１０９０を介して、車両から受信し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、更新された又はそうではないニューラル・ネットワーク１０９２、及び／或いは、限定はしないが、交通及び道路状態に関する情報を含む、地図情報１０９４を、（１つ又は複数の）ネットワーク１０９０を介して、車両に送信し得る。少なくとも１つの実施例では、地図情報１０９４の更新は、限定はしないが、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１０２２についての更新を含み得る。少なくとも１つの実施例では、ニューラル・ネットワーク１０９２及び／又は地図情報１０９４は、環境中の任意の数の車両から受信されたデータにおいて表された新しい訓練及び／又は経験から、並びに／或いは、データ・センタにおいて（たとえば、（１つ又は複数の）サーバ１０７８及び／又は他のサーバを使用して）実施された訓練に少なくとも部分的に基づいて、生じていることがある。

【0202】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、訓練データに少なくとも部分的に基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）を訓練するために使用され得る。少なくとも１つの実施例では、訓練データは、車両によって生成され得、及び／又はシミュレーションにおいて（たとえば、ゲーム・エンジンを使用して）生成され得る。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習から恩恵を受ける場合）タグ付けされ、及び／又は他の前処理を受ける。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合）タグ付けされず、及び／又は前処理されない。少なくとも１つの実施例では、機械学習モデルが訓練されると、機械学習モデルは、車両によって使用（たとえば、（１つ又は複数の）ネットワーク１０９０を介して車両に送信）され得、及び／又は、機械学習モデルは、車両をリモートで監視するために（１つ又は複数の）サーバ１０７８によって使用され得る。

【0203】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、車両からデータを受信し、リアルタイム・インテリジェント推論のために最新のリアルタイム・ニューラル・ネットワークにデータを適用し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、（１つ又は複数の）ＧＰＵ１０８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含み得る。しかしながら、少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、ＣＰＵによって動くデータ・センタを使用する深層学習インフラストラクチャを含み得る。

【0204】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８の深層学習インフラストラクチャは、高速リアルタイム推論が可能であり得、その能力を使用して、車両１０００中のプロセッサ、ソフトウェア、及び／又は関連するハードウェアの健全性を評価及び確認し得る。たとえば、少なくとも１つの実施例では、深層学習インフラストラクチャは、一連の画像、及び／又は（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）その一連の画像において車両１０００が位置を特定した物体など、周期的な更新を車両１０００から受信し得る。少なくとも１つの実施例では、深層学習インフラストラクチャは、それ自体のニューラル・ネットワークを稼働して物体を識別し、それらを、車両１０００によって識別された物体と比較し得、結果がマッチせず、車両１０００中のＡＩが故障していると深層学習インフラストラクチャが結論付けた場合、（１つ又は複数の）サーバ１０７８は、車両１０００のフェイル・セーフ・コンピュータに、制御を掌握し、乗客に通知し、安全な駐車操作を完了するように命令する信号を、車両１０００に送信し得る。

【0205】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１０７８は、（１つ又は複数の）ＧＰＵ１０８４と、１つ又は複数のプログラマブル推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３デバイス）とを含み得る。少なくとも１つの実施例では、ＧＰＵによって動くサーバと推論の加速との組合せが、リアルタイム応答を可能にし得る。性能がそれほど重要ではない場合など、少なくとも１つの実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって動くサーバが、推論のために使用され得る。少なくとも１つの実施例では、１つ又は複数の実施例を実施するために、（１つ又は複数の）ハードウェア構造７１５が使用される。ハードウェア構造（ｘ）７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。

【0206】

少なくとも１つの実施例では、図１０Ａ～図１０Ｄに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１０Ａ～図１０Ｄに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１０Ａ～図１０Ｄに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0207】

コンピュータ・システム
図１１は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ）又はそれらの何らかの組合せをもつシステムであり得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ１１０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。

【0208】

実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも１つの実施例による１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。

【0209】

少なくとも１つの実施例では、コンピュータ・システム１１００は、限定はしないが、プロセッサ１１０２を含み得、プロセッサ１１０２は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び／又は推論を実施するための１つ又は複数の実行ユニット１１０８を含み得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム１１００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ１１０２は、限定はしないが、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ１１０２は、プロセッサ・バス１１１０に結合され得、プロセッサ・バス１１１０は、プロセッサ１１０２とコンピュータ・システム１１００中の他の構成要素との間でデータ信号を送信し得る。

【0210】

少なくとも１つの実施例では、プロセッサ１１０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）１１０４を含み得る。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。

【0211】

少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット１１０８も、プロセッサ１１０２中に存在し得る。少なくとも１つの実施例では、プロセッサ１１０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）をも含み得る。少なくとも１つの実施例では、実行ユニット１１０８は、パック命令セット１１０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット１１０９を、命令を実行するための関連する回路要素とともに汎用プロセッサの命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、プロセッサ１１０２中のパック・データを使用して実施され得る。少なくとも１つの実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、そのプロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。

【0212】

少なくとも１つの実施例では、実行ユニット１１０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム１１００は、限定はしないが、メモリ１１２０を含み得る。少なくとも１つの実施例では、メモリ１１２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ１１２０は、プロセッサ１１０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令１１１９及び／又はデータ１１２１を記憶し得る。

【0213】

少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス１１１０及びメモリ１１２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１１６を含み得、プロセッサ１１０２は、プロセッサ・バス１１１０を介してＭＣＨ１１１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ１１１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路１１１８をメモリ１１２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ１１１６は、プロセッサ１１０２と、メモリ１１２０と、コンピュータ・システム１１００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス１１１０と、メモリ１１２０と、システムＩ／Ｏインターフェース１１２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ１１１６は、高帯域幅メモリ経路１１１８を通してメモリ１１２０に結合され得、グラフィックス／ビデオ・カード１１１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続１１１４を介してＭＣＨ１１１６に結合され得る。

【0214】

少なくとも１つの実施例では、コンピュータ・システム１１００は、ＭＣＨ１１１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスとしてシステムＩ／Ｏインターフェース１１２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ１１３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ１１２０、チップセット、及びプロセッサ１１０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ１１２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）１１２８と、ワイヤレス・トランシーバ１１２６と、データ・ストレージ１１２４と、ユーザ入力及びキーボード・インターフェース１１２５を含んでいるレガシーＩ／Ｏコントローラ１１２３と、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどのシリアル拡張ポート１１２７と、ネットワーク・コントローラ１１３４とを含み得る。少なくとも１つの実施例では、データ・ストレージ１１２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。

【0215】

少なくとも１つの実施例では、図１１は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１１は、例示的なＳｏＣを示し得る。少なくとも１つの実施例では、図１１に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、コンピュータ・システム１１００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続される。

【0216】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１１のシステムにおいて使用され得る。

【0217】

少なくとも１つの実施例では、図１１に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１１に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１１に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0218】

図１２は、少なくとも１つの実施例による、プロセッサ１２１０を利用するための電子デバイス１２００を示すブロック図である。少なくとも１つの実施例では、電子デバイス１２００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。

【0219】

少なくとも１つの実施例では、電子デバイス１２００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１２１０を含み得る。少なくとも１つの実施例では、プロセッサ１２１０は、Ｉ^２Ｃバス、システム管理バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３など）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合される。少なくとも１つの実施例では、図１２は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１２は、例示的なＳｏＣを示し得る。少なくとも１つの実施例では、図１２に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１２の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。

【0220】

少なくとも１つの実施例では、図１２は、ディスプレイ１２２４、タッチ・スクリーン１２２５、タッチ・パッド１２３０、ニア・フィールド通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）１２４５、センサ・ハブ１２４０、熱センサ１２４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１２３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１２３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１２２２、ＤＳＰ１２６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１２２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）１２５０、Ｂｌｕｅｔｏｏｔｈユニット１２５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）１２５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット１２５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１２５４、及び／或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１２１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。

【0221】

少なくとも１つの実施例では、本明細書で説明される構成要素を通して、他の構成要素がプロセッサ１２１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１２４１と、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１２４２と、コンパス１２４３と、ジャイロスコープ１２４４とが、センサ・ハブ１２４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１２３９と、ファン１２３７と、キーボード１２３６と、タッチ・パッド１２３０とが、ＥＣ１２３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１２６３と、ヘッドフォン１２６４と、マイクロフォン（「ｍｉｃ」）１２６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスＤアンプ」）１２６２に通信可能に結合され得、オーディオ・ユニット１２６２は、ＤＳＰ１２６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１２６２は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１２５７は、ＷＷＡＮユニット１２５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１２５０及びＢｌｕｅｔｏｏｔｈユニット１２５２などの構成要素、並びにＷＷＡＮユニット１２５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）において実装され得る。

【0222】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１２のシステムにおいて使用され得る。

【0223】

少なくとも１つの実施例では、図１２に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１２に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１２に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0224】

図１３は、少なくとも１つの実施例による、コンピュータ・システム１３００を示す。少なくとも１つの実施例では、コンピュータ・システム１３００は、本開示全体を通して説明される様々なプロセス及び方法を実装するように構成される。

【0225】

少なくとも１つの実施例では、コンピュータ・システム１３００は、限定はしないが、少なくとも１つの中央処理ユニット（「ＣＰＵ」）１３０２を含み、少なくとも１つの中央処理ユニット１３０２は、ＰＣＩ（「Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ」：周辺構成要素相互接続）、周辺構成要素相互接続エクスプレス（「ＰＣＩ－Ｅｘｐｒｅｓｓ」：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）、ＡＧＰ（「アクセラレーテッド・グラフィックス・ポート」）、ハイパートランスポート、或いは任意の他のバス又は（１つ又は複数の）ポイントツーポイント通信プロトコルなど、任意の好適なプロトコルを使用して実装された通信バス１３１０に接続される。少なくとも１つの実施例では、コンピュータ・システム１３００は、限定はしないが、メイン・メモリ１３０４と（たとえば、ハードウェア、ソフトウェア、又はそれらの組合せとして実装される）制御論理とを含み、データは、ランダム・アクセス・メモリ（「ＲＡＭ」：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）の形態をとり得るメイン・メモリ１３０４に記憶される。少なくとも１つの実施例では、ネットワーク・インターフェース・サブシステム（「ネットワーク・インターフェース」）１３２２は、コンピュータ・システム１３００とともに他のシステムからデータを受信し、他のシステムにデータを送信するための他のコンピューティング・デバイス及びネットワークへのインターフェースを提供する。

【0226】

少なくとも１つの実施例では、コンピュータ・システム１３００は、少なくとも１つの実施例では、限定はしないが、入力デバイス１３０８と、並列処理システム１３１２と、ディスプレイ・デバイス１３０６とを含み、ディスプレイ・デバイス１３０６は、従来の陰極線管（「ＣＲＴ」：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、液晶ディスプレイ（「ＬＣＤ」：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（「ＬＥＤ」：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、プラズマ・ディスプレイ、又は他の好適なディスプレイ技術を使用して実装され得る。少なくとも１つの実施例では、ユーザ入力は、キーボード、マウス、タッチ・パッド、マイクロフォンなどの入力デバイス１３０８から受信される。少なくとも１つの実施例では、本明細書で説明される各モジュールは、処理システムを形成するために単一の半導体プラットフォーム上にあり得る。

【0227】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１３のシステムにおいて使用され得る。

【0228】

少なくとも１つの実施例では、図１３に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１３に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１３に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0229】

図１４は、少なくとも１つの実施例による、コンピュータ・システム１４００を示す。少なくとも１つの実施例では、コンピュータ・システム１４００は、限定はしないが、コンピュータ１４１０とＵＳＢスティック１４２０とを含み得る。少なくとも１つの実施例では、コンピュータ１４１０は、限定はしないが、任意の数及びタイプのプロセッサ（図示せず）と、メモリ（図示せず）とを含み得る。少なくとも１つの実施例では、コンピュータ１４１０は、限定はしないが、サーバと、クラウド・インスタンスと、ラップトップと、デスクトップ・コンピュータとを含む。

【0230】

少なくとも１つの実施例では、ＵＳＢスティック１４２０は、限定はしないが、処理ユニット１４３０と、ＵＳＢインターフェース１４４０と、ＵＳＢインターフェース論理１４５０とを含む。少なくとも１つの実施例では、処理ユニット１４３０は、命令を実行することが可能な任意の命令実行システム、装置、又はデバイスであり得る。少なくとも１つの実施例では、処理ユニット１４３０は、限定はしないが、任意の数及びタイプの処理コア（図示せず）を含み得る。少なくとも１つの実施例では、処理ユニット１４３０は、機械学習に関連する任意の量及びタイプの演算を実施するように最適化された特定用途向け集積回路（「ＡＳＩＣ」）を備える。たとえば、少なくとも１つの実施例では、処理ユニット１４３０は、機械学習推論演算を実施するように最適化されたテンソル処理ユニット（「ＴＰＣ」：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）である。少なくとも１つの実施例では、処理ユニット１４３０は、機械視覚及び機械学習推論演算を実施するように最適化された視覚処理ユニット（「ＶＰＵ」）である。少なくとも１つの実施例では、処理ユニット１４３０は、データ（たとえば、ネットワークを介して受信されるデータ）のストリームを処理することと、そのデータを１つ又は複数の他のプロセッサ（たとえば、限定はしないが、たとえば、ＧＰＵのメモリ）に直接ダイレクトすることとを行うために最適化されたデータ処理ユニット（「ＤＰＵ」）を含み得る。１つ又は複数の実施例では、ＤＰＵは、ネットワーク・インターフェース・デバイスと統合され得る。

【0231】

少なくとも１つの実施例では、ＵＳＢインターフェース１４４０は、任意のタイプのＵＳＢコネクタ又はＵＳＢソケットであり得る。たとえば、少なくとも１つの実施例では、ＵＳＢインターフェース１４４０は、データ及び電力のためのＵＳＢ３．０ Ｔｙｐｅ－Ｃソケットである。少なくとも１つの実施例では、ＵＳＢインターフェース１４４０は、ＵＳＢ３．０ Ｔｙｐｅ－Ａコネクタである。少なくとも１つの実施例では、ＵＳＢインターフェース論理１４５０は、処理ユニット１４３０がＵＳＢコネクタ１４４０を介してデバイス（たとえば、コンピュータ１４１０）とインターフェースすることを可能にする任意の量及びタイプの論理を含み得る。

【0232】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１４のシステムにおいて使用され得る。

【0233】

少なくとも１つの実施例では、図１４に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１４に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１４に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0234】

図１５Ａは、複数のＧＰＵ１５１０（１）～１５１０（Ｎ）が、高速リンク１５４０（１）～１５４０（Ｎ）（たとえば、バス、ポイントツーポイント相互接続など）を介して複数のマルチコア・プロセッサ１５０５（１）～１５０５（Ｍ）に通信可能に結合された例示的なアーキテクチャを示す。少なくとも１つの実施例では、高速リンク１５４０（１）～１５４０（Ｎ）は、４ＧＢ／秒、３０ＧＢ／秒、８０ＧＢ／秒、又はそれ以上の通信スループットをサポートする。少なくとも１つの実施例では、限定はしないが、ＰＣＩｅ４．０又は５．０及びＮＶＬｉｎｋ２．０を含む様々な相互接続プロトコルが使用され得る。様々な図において、「Ｎ」及び「Ｍ」は、正の整数を表し、その値は図ごとに異なり得る。

【0235】

さらに、少なくとも１つの実施例では、ＧＰＵ１５１０のうちの２つ又はそれ以上は、高速リンク１５２９（１）～１５２９（２）を介して相互接続され、高速リンク１５２９（１）～１５２９（２）は、高速リンク１５４０（１）～１５４０（Ｎ）のために使用されたものと同様の又は異なるプロトコル／リンクを使用して実装され得る。同様に、マルチコア・プロセッサ１５０５のうちの２つ又はそれ以上は、高速リンク１５２８を介して接続され得、高速リンク１５２８は、２０ＧＢ／秒、３０ＧＢ／秒、１２０ＧＢ／秒、又はそれ以上において動作する対称型マルチプロセッサ（ＳＭＰ：ｓｙｍｍｅｔｒｉｃ ｍｕｔｉ－ｐｒｏｃｅｓｓｏｒ）バスであり得る。代替的に、図１５Ａに示されている様々なシステム構成要素間のすべての通信は、同様のプロトコル／リンクを使用して（たとえば、共通の相互接続ファブリックを介して）実現され得る。

【0236】

少なくとも１つの実施例では、各マルチコア・プロセッサ１５０５は、それぞれ、メモリ相互接続１５２６（１）～１５２６（Ｍ）を介してプロセッサ・メモリ１５０１（１）～１５０１（Ｍ）に通信可能に結合され、各ＧＰＵ１５１０（１）～１５１０（Ｎ）は、それぞれ、ＧＰＵメモリ相互接続１５５０（１）～１５５０（Ｎ）を介してＧＰＵメモリ１５２０（１）～１５２０（Ｎ）に通信可能に結合される。少なくとも１つの実施例では、メモリ相互接続１５２６及び１５５０は、同様の又は異なるメモリ・アクセス技術を利用し得る。実例として、限定はしないが、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）とＧＰＵメモリ１５２０とは、（積層ＤＲＡＭを含む）ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、グラフィックスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであり得、及び／或いは３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであり得る。少なくとも１つの実施例では、プロセッサ・メモリ１５０１のある部分は揮発性メモリであり得、別の部分は、（たとえば、２レベル・メモリ（２ＬＭ：ｔｗｏ－ｌｅｖｅｌ ｍｅｍｏｒｙ）階層を使用する）不揮発性メモリであり得る。

【0237】

本明細書で説明されるように、様々なマルチコア・プロセッサ１５０５及びＧＰＵ１５１０は、それぞれ、特定のメモリ１５０１、１５２０に物理的に結合され得るが、及び／又は（「実効アドレス」空間とも呼ばれる）仮想システム・アドレス空間が様々な物理メモリ間で分散される統一メモリ・アーキテクチャが実装され得る。たとえば、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）は、各々、６４ＧＢのシステム・メモリ・アドレス空間を備え得、ＧＰＵメモリ１５２０（１）～１５２０（Ｎ）は、各々、３２ＧＢのシステム・メモリ・アドレス空間を備え得、これは、Ｍ＝２及びＮ＝４であるとき、合計２５６ＧＢのアドレス指定可能なメモリを生じる。Ｎ及びＭについて他の値が可能である。

【0238】

図１５Ｂは、１つの例示的な実施例による、マルチコア・プロセッサ１５０７とグラフィックス加速モジュール１５４６との間の相互接続について追加の詳細を示す。少なくとも１つの実施例では、グラフィックス加速モジュール１５４６は、高速リンク１５４０（たとえば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を介してプロセッサ１５０７に結合されるライン・カードに集積された１つ又は複数のＧＰＵチップを含み得る。少なくとも１つの実施例では、グラフィックス加速モジュール１５４６は、代替的に、プロセッサ１５０７をもつパッケージ又はチップに集積され得る。

【0239】

少なくとも１つの実施例では、プロセッサ１５０７は、複数のコア１５６０Ａ～１５６０Ｄを含み、その各々が、トランスレーション・ルックアサイド・バッファ（「ＴＬＢ」：ｔｒａｎｓｌａｔｉｏｎ ｌｏｏｋａｓｉｄｅ ｂｕｆｆｅｒ）１５６１Ａ～１５６１Ｄと、１つ又は複数のキャッシュ１５６２Ａ～１５６２Ｄとをもつ。少なくとも１つの実施例では、コア１５６０Ａ～１５６０Ｄは、命令を実行し、データを処理するための、示されていない様々な他の構成要素を含み得る。少なくとも１つの実施例では、キャッシュ１５６２Ａ～１５６２Ｄは、レベル１（Ｌ１）キャッシュとレベル２（Ｌ２）キャッシュとを備え得る。さらに、１つ又は複数の共有キャッシュ１５５６が、キャッシュ１５６２Ａ～１５６２Ｄ中に含まれ、コア１５６０Ａ～１５６０Ｄのセットによって共有され得る。たとえば、プロセッサ１５０７の一実施例は、２４個のコアを含み、その各々が、それ自体のＬ１キャッシュと、１２個の共有Ｌ２キャッシュと、１２個の共有Ｌ３キャッシュとをもつ。この実施例では、１つ又は複数のＬ２及びＬ３キャッシュが、２つの隣接するコアによって共有される。少なくとも１つの実施例では、プロセッサ１５０７とグラフィックス加速モジュール１５４６とは、システム・メモリ１５１４と接続し、システム・メモリ１５１４は、図１５Ａのプロセッサ・メモリ１５０１（１）～１５０１（Ｍ）を含み得る。

【0240】

少なくとも１つの実施例では、様々なキャッシュ１５６２Ａ～１５６２Ｄ、１５５６及びシステム・メモリ１５１４に記憶されたデータ及び命令について、コヒーレンス・バス１５６４上のコア間通信を介して、コヒーレンシが維持される。少なくとも１つの実施例では、たとえば、各キャッシュは、特定のキャッシュ・ラインに対する検出された読取り又は書込みに応答して、コヒーレンス・バス１５６４を介して通信するために、それに関連するキャッシュ・コヒーレンシ論理／回路要素を有し得る。少なくとも１つの実施例では、キャッシュ・アクセスをスヌープするために、コヒーレンス・バス１５６４を介してキャッシュ・スヌーピング・プロトコルが実装される。

【0241】

少なくとも１つの実施例では、プロキシ回路１５２５が、グラフィックス加速モジュール１５４６をコヒーレンス・バス１５６４に通信可能に結合し、これは、グラフィックス加速モジュール１５４６がコア１５６０Ａ～１５６０Ｄのピアとしてキャッシュ・コヒーレンス・プロトコルに参加することを可能にする。特に、少なくとも１つの実施例では、インターフェース１５３５は、高速リンク１５４０を介してプロキシ回路１５２５への接続性を提供し、インターフェース１５３７は、グラフィックス加速モジュール１５４６を高速リンク１５４０に接続する。

【0242】

少なくとも１つの実施例では、アクセラレータ統合回路１５３６は、グラフィックス加速モジュール１５４６の複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の代わりに、キャッシュ管理、メモリ・アクセス、コンテキスト管理、及び割込み管理サービスを提供する。少なくとも１つの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、各々、別個のグラフィックス処理ユニット（ＧＰＵ）を備え得る。少なくとも１つの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、代替的に、ＧＰＵ内に、グラフィックス実行ユニット、メディア処理エンジン（たとえば、ビデオ・エンコーダ／デコーダ）、サンプラ、及びｂｌｉｔエンジンなど、異なるタイプのグラフィックス処理エンジンを備え得る。少なくとも１つの実施例では、グラフィックス加速モジュール１５４６は、複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）をもつＧＰＵであり得、或いは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、共通のパッケージ、ライン・カード、又はチップに集積された個々のＧＰＵであり得る。

【0243】

少なくとも１つの実施例では、アクセラレータ統合回路１５３６は、（実効－実（ｅｆｆｅｃｔｉｖｅ－ｔｏ－ｒｅａｌ）メモリ・トランスレーションとも呼ばれる）仮想－物理メモリ・トランスレーションなど、様々なメモリ管理機能を実施するためのメモリ管理ユニット（ＭＭＵ）１５３９と、システム・メモリ１５１４にアクセスするためのメモリ・アクセス・プロトコルとを含む。少なくとも１つの実施例では、ＭＭＵ１５３９は、仮想／実効－物理／実アドレス・トランスレーションをキャッシュするためのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）（図示せず）をも含み得る。少なくとも１つの実施例では、キャッシュ１５３８は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）による効率的なアクセスのために、コマンド及びデータを記憶することができる。少なくとも１つの実施例では、キャッシュ１５３８及びグラフィックス・メモリ１５３３（１）～１５３３（Ｍ）に記憶されたデータは、場合によってはフェッチ・ユニット１５４４を使用して、コア・キャッシュ１５６２Ａ～１５６２Ｄ、１５５６及びシステム・メモリ１５１４とコヒーレントに保たれる。述べたように、これは、キャッシュ１５３８及びメモリ１５３３（１）～１５３３（Ｍ）の代わりにプロキシ回路１５２５を介して（たとえば、プロセッサ・キャッシュ１５６２Ａ～１５６２Ｄ、１５５６上のキャッシュ・ラインの修正／アクセスに関係するアップデートをキャッシュ１５３８に送出し、キャッシュ１５３８からアップデートを受信して）実現され得る。

【0244】

少なくとも１つの実施例では、レジスタ１５４５のセットが、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって実行されるスレッドのためのコンテキスト・データを記憶し、コンテキスト管理回路１５４８が、スレッド・コンテキストを管理する。たとえば、コンテキスト管理回路１５４８は、コンテキスト切替え中に様々なスレッドのコンテキストを保存及び復元するために、保存及び復元動作を実施し得る（たとえば、第２のスレッドがグラフィックス処理エンジンによって実行され得るように、第１のスレッドが保存され、第２のスレッドが記憶される）。たとえば、コンテキスト切替え時に、コンテキスト管理回路１５４８は、現在のレジスタ値を（たとえば、コンテキスト・ポインタによって識別された）メモリ中の指定領域に記憶し得る。コンテキスト管理回路１５４８は、次いで、コンテキストに戻るときにレジスタ値を復元し得る。少なくとも１つの実施例では、割込み管理回路１５４７は、システム・デバイスから受信された割込みを受信及び処理する。

【0245】

少なくとも１つの実施例では、グラフィックス処理エンジン１５３１からの仮想／実効アドレスは、ＭＭＵ１５３９によってシステム・メモリ１５１４中の実／物理アドレスにトランスレートされる。少なくとも１つの実施例では、アクセラレータ統合回路１５３６は、複数（たとえば、４個、８個、１６個）のグラフィックス・アクセラレータ・モジュール１５４６及び／又は他のアクセラレータ・デバイスをサポートする。少なくとも１つの実施例では、グラフィックス・アクセラレータ・モジュール１５４６は、プロセッサ１５０７上で実行される単一のアプリケーションに専用であり得るか、又は、複数のアプリケーション間で共有され得る。少なくとも１つの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のリソースが複数のアプリケーション又は仮想機械（ＶＭ）と共有される仮想化グラフィックス実行環境が存在する。少なくとも１つの実施例では、リソースは、「スライス」に細分化され得、スライスは、処理要件、並びにＶＭ及び／又はアプリケーションに関連する優先度に基づいて、異なるＶＭ及び／又はアプリケーションに割り振られる。

【0246】

少なくとも１つの実施例では、アクセラレータ統合回路１５３６は、グラフィックス加速モジュール１５４６のためのシステムへのブリッジとして機能し、アドレス・トランスレーション及びシステム・メモリ・キャッシュ・サービスを提供する。さらに、少なくとも１つの実施例では、アクセラレータ統合回路１５３６は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の仮想化、割込み、及びメモリ管理をホスト・プロセッサが管理するための仮想化設備を提供し得る。

【0247】

少なくとも１つの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のハードウェア・リソースは、ホスト・プロセッサ１５０７によって見られる実アドレス空間に明示的にマッピングされるので、いかなるホスト・プロセッサも、実効アドレス値を使用して、これらのリソースに直接アドレス指定することができる。少なくとも１つの実施例では、アクセラレータ統合回路１５３６の１つの機能は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）がシステムにとって独立したユニットに見えるように、それらを物理的に分離することである。

【0248】

少なくとも１つの実施例では、１つ又は複数のグラフィックス・メモリ１５３３（１）～１５３３（Ｍ）は、それぞれ、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の各々に結合され、Ｎ＝Ｍである。少なくとも１つの実施例では、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の各々によって処理されている命令及びデータを記憶する。少なくとも１つの実施例では、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）は、（積層ＤＲＡＭを含む）ＤＲＡＭ、ＧＤＤＲメモリ（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであり得、及び／或いは３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであり得る。

【0249】

少なくとも１つの実施例では、高速リンク１５４０を介したデータ・トラフィックを低減するために、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）に記憶されるデータが、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって最も頻繁に使用されることになり、好ましくはコア１５６０Ａ～１５６０Ｄによって使用されない（少なくとも頻繁には使用されない）データであることを確実にするために、バイアス技法が使用され得る。同様に、少なくとも１つの実施例では、バイアス機構は、コアによって必要とされる（好ましくは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって必要とされない）データを、キャッシュ１５６２Ａ～１５６２Ｄ、１５５６及びシステム・メモリ１５１４内に保つことを試みる。

【0250】

図１５Ｃは、アクセラレータ統合回路１５３６がプロセッサ１５０７内に組み込まれる別の例示的な実施例を示す。この実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、（この場合も、任意の形態のバス又はインターフェース・プロトコルであり得る）インターフェース１５３７及びインターフェース１５３５を介したアクセラレータ統合回路１５３６への高速リンク１５４０上で直接通信する。少なくとも１つの実施例では、アクセラレータ統合回路１５３６は、図１５Ｂに関して説明されたものと同様の動作を実施し得るが、コヒーレンス・バス１５６４及びキャッシュ１５６２Ａ～１５６２Ｄ、１５５６に近接していることを考えると、潜在的には、より高いスループットにおいて実施し得る。少なくとも１つの実施例は、アクセラレータ統合回路は、（グラフィックス加速モジュール仮想化のない）専用プロセス・プログラミング・モデルと、（仮想化のある）共有プログラミング・モデルとを含む異なるプログラミング・モデルをサポートし、それらのプログラミング・モデルは、アクセラレータ統合回路１５３６によって制御されるプログラミング・モデルと、グラフィックス加速モジュール１５４６によって制御されるプログラミング・モデルとを含み得る。

【0251】

少なくとも１つの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、単一のオペレーティング・システムの下で単一のアプリケーション又はプロセスに専用であり得る。少なくとも１つの実施例では、単一のアプリケーションは、他のアプリケーション要求をグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に集中させ、ＶＭ／パーティション内で仮想化を提供することができる。

【0252】

少なくとも１つの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、複数のＶＭ／アプリケーション・パーティションによって共有され得る。少なくとも１つの実施例では、共有モデルは、システム・ハイパーバイザを使用して、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を仮想化して、各オペレーティング・システムによるアクセスを可能にし得る。少なくとも１つの実施例では、ハイパーバイザのない単一パーティション・システムについて、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、オペレーティング・システムによって所有される。少なくとも１つの実施例では、オペレーティング・システムは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を仮想化して、各プロセス又はアプリケーションへのアクセスを提供することができる。

【0253】

少なくとも１つの実施例では、グラフィックス加速モジュール１５４６又は個々のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、プロセス・ハンドルを使用してプロセス要素を選択する。少なくとも１つの実施例では、プロセス要素は、システム・メモリ１５１４に記憶され、本明細書で説明される実効アドレス－実アドレス・トランスレーション技法を使用してアドレス指定可能である。少なくとも１つの実施例では、プロセス・ハンドルは、ホスト・プロセスのコンテキストをグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に登録する（すなわち、プロセス要素リンク・リストにプロセス要素を追加するためにシステム・ソフトウェアをコールする）ときにホスト・プロセスに提供される実装固有値であり得る。少なくとも１つの実施例では、プロセス・ハンドルの下位１６ビットは、プロセス要素リンク・リスト内のプロセス要素のオフセットであり得る。

【0254】

図１５Ｄは、例示的なアクセラレータ統合スライス１５９０を示す。少なくとも１つの実施例では、「スライス」は、アクセラレータ統合回路１５３６の処理リソースの指定部分を備える。少なくとも１つの実施例では、システム・メモリ１５１４内のアプリケーションの実効アドレス空間１５８２は、プロセス要素１５８３を記憶する。少なくとも１つの実施例では、プロセス要素１５８３は、プロセッサ１５０７上で実行されるアプリケーション１５８０からのＧＰＵ呼出し１５８１に応答して、記憶される。少なくとも１つの実施例では、プロセス要素１５８３は、対応するアプリケーション１５８０のプロセス状態を含んでいる。少なくとも１つの実施例では、プロセス要素１５８３に含まれているワーク記述子（ＷＤ：ｗｏｒｋ ｄｅｓｃｒｉｐｔｏｒ）１５８４は、アプリケーションによって要求される単一のジョブであり得るか、又はジョブのキューに対するポインタを含んでいることがある。少なくとも１つの実施例では、ＷＤ１５８４は、アプリケーションの実効アドレス空間１５８２におけるジョブ要求キューに対するポインタである。

【0255】

少なくとも１つの実施例では、グラフィックス加速モジュール１５４６及び／又は個々のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、システム中のプロセスのすべて又はサブセットによって共有され得る。少なくとも１つの実施例では、プロセス状態を設定し、ＷＤ１５８４をグラフィックス加速モジュール１５４６に送出して、仮想化環境中でジョブを開始するためのインフラストラクチャが、含められ得る。

【0256】

少なくとも１つの実施例では、専用プロセス・プログラミング・モデルは、実装固有である。少なくとも１つの実施例では、このモデルでは、単一のプロセスが、グラフィックス加速モジュール１５４６又は個々のグラフィックス処理エンジン１５３１を所有する。少なくとも１つの実施例では、グラフィックス加速モジュール１５４６が単一のプロセスによって所有されるとき、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路１５３６を初期化し、グラフィックス加速モジュール１５４６が割り当てられたとき、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路１５３６を初期化する。

【0257】

少なくとも１つの実施例では、動作時、アクセラレータ統合スライス１５９０中のＷＤフェッチ・ユニット１５９１は、グラフィックス加速モジュール１５４６の１つ又は複数のグラフィックス処理エンジンによって行われるべきであるワークの指示を含む、次のＷＤ１５８４をフェッチする。少なくとも１つの実施例では、示されているように、ＷＤ１５８４からのデータは、レジスタ１５４５に記憶され、ＭＭＵ１５３９、割込み管理回路１５４７、及び／又はコンテキスト管理回路１５４８によって使用され得る。たとえば、ＭＭＵ１５３９の一実施例は、ＯＳ仮想アドレス空間１５８５内のセグメント／ページ・テーブル１５８６にアクセスするためのセグメント／ページ・ウォーク回路要素を含む。少なくとも１つの実施例では、割込み管理回路１５４７は、グラフィックス加速モジュール１５４６から受信された割込みイベント１５９２を処理し得る。少なくとも１つの実施例では、グラフィックス動作を実施するとき、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって生成された実効アドレス１５９３は、ＭＭＵ１５３９によって実アドレスにトランスレートされる。

【0258】

少なくとも１つの実施例では、レジスタ１５４５が、各グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）、及び／又はグラフィックス加速モジュール１５４６について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化され得る。少なくとも１つの実施例では、これらの複製されたレジスタの各々は、アクセラレータ統合スライス１５９０中に含められ得る。ハイパーバイザによって初期化され得る例示的なレジスタが、表１に示されている。

【表1】

【0259】

オペレーティング・システムによって初期化され得る例示的なレジスタが、表２に示されている。

【表2】

【0260】

少なくとも１つの実施例では、各ＷＤ１５８４は、特定のグラフィックス加速モジュール１５４６及び／又はグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に固有である。少なくとも１つの実施例では、ＷＤ１５８４は、ワークを行うためにグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって必要とされるすべての情報を含んでいるか、又は、完了されるべきワークのコマンド・キューをアプリケーションが設定したメモリ・ロケーションに対するポインタであり得る。

【0261】

図１５Ｅは、共有モデルの例示的な一実施例の追加の詳細を示す。この実施例は、プロセス要素リスト１５９９が記憶されたハイパーバイザ実アドレス空間１５９８を含む。少なくとも１つの実施例では、ハイパーバイザ実アドレス空間１５９８は、オペレーティング・システム１５９５のためのグラフィックス加速モジュール・エンジンを仮想化するハイパーバイザ１５９６を介してアクセス可能である。

【0262】

少なくとも１つの実施例では、共有プログラミング・モデルは、システム中のパーティションのすべて又はサブセットからのプロセスのすべて又はサブセットが、グラフィックス加速モジュール１５４６を使用することを可能にする。少なくとも１つの実施例では、グラフィックス加速モジュール１５４６が複数のプロセス及びパーティションによって共有される２つのプログラミング・モデル、すなわち、時間スライス共有と、グラフィックス指定共有（ｇｒａｐｈｉｃｓ ｄｉｒｅｃｔｅｄ ｓｈａｒｅｄ）とがある。

【0263】

少なくとも１つの実施例では、このモデルでは、システム・ハイパーバイザ１５９６がグラフィックス加速モジュール１５４６を所有し、その機能をすべてのオペレーティング・システム１５９５にとって利用可能にする。少なくとも１つの実施例では、システム・ハイパーバイザ１５９６による仮想化をグラフィックス加速モジュール１５４６がサポートするために、グラフィックス加速モジュール１５４６は、（１）アプリケーションのジョブ要求が自律でなければならない（すなわち、ジョブ間で状態を維持する必要がない）か、又はグラフィックス加速モジュール１５４６が、コンテキスト保存及び復元機構を提供しなければならない、（２）アプリケーションのジョブ要求が、あらゆるトランスレーション障害も含めて、指定された時間量において完了するとグラフィックス加速モジュール１５４６によって保証されるか、又はグラフィックス加速モジュール１５４６が、ジョブの処理をプリエンプトするアビリティを提供する、及び（３）グラフィックス加速モジュール１５４６が、指定の共有プログラミング・モデルにおいて動作しているとき、プロセス間で公平性が保証されなければならないなど、いくつかの要件に従い得る。

【0264】

少なくとも１つの実施例では、アプリケーション１５８０は、グラフィックス加速モジュール・タイプ、ワーク記述子（ＷＤ）、権限マスク・レジスタ（ＡＭＲ：ａｕｔｈｏｒｉｔｙ ｍａｓｋ ｒｅｇｉｓｔｅｒ）値、及びコンテキスト保存／復元エリア・ポインタ（ＣＳＲＰ：ｃｏｎｔｅｘｔ ｓａｖｅ／ｒｅｓｔｏｒｅ ａｒｅａ ｐｏｉｎｔｅｒ）を伴って、オペレーティング・システム１５９５のシステム・コールを行うことを必要とされる。少なくとも１つの実施例では、グラフィックス加速モジュール・タイプは、システム・コールについて対象の加速機能を記述する。少なくとも１つの実施例では、グラフィックス加速モジュール・タイプは、システム固有値であり得る。少なくとも１つの実施例では、ＷＤは、グラフィックス加速モジュール１５４６のために特にフォーマット化され、グラフィックス加速モジュール１５４６のコマンド、ユーザ定義構造に対する実効アドレス・ポインタ、コマンドのキューに対する実効アドレス・ポインタ、又はグラフィックス加速モジュール１５４６によって行われるべきワークを記述するための任意の他のデータ構造の形態であり得る。

【0265】

少なくとも１つの実施例では、ＡＭＲ値は、現在のプロセスのために使用するためのＡＭＲ状態である。少なくとも１つの実施例では、オペレーティング・システムに渡される値が、ＡＭＲを設定するアプリケーションと同様である。少なくとも１つの実施例では、アクセラレータ統合回路１５３６（図示せず）実装形態とグラフィックス加速モジュール１５４６実装形態とが、ユーザ権限マスク・オーバーライド・レジスタ（ＵＡＭＯＲ：Ｕｓｅｒ Ａｕｔｈｏｒｉｔｙ Ｍａｓｋ Ｏｖｅｒｒｉｄｅ Ｒｅｇｉｓｔｅｒ）をサポートしない場合、オペレーティング・システムは、ハイパーバイザ・コールにおいてＡＭＲを渡す前に、ＡＭＲ値に現在のＵＡＭＯＲ値を適用し得る。少なくとも１つの実施例では、ハイパーバイザ１５９６は、随意に、ＡＭＲをプロセス要素１５８３に入れる前に、現在の権限マスク・オーバーライド・レジスタ（ＡＭＯＲ：Ａｕｔｈｏｒｉｔｙ Ｍａｓｋ Ｏｖｅｒｒｉｄｅ Ｒｅｇｉｓｔｅｒ）値を適用し得る。少なくとも１つの実施例では、ＣＳＲＰは、グラフィックス加速モジュール１５４６がコンテキスト状態を保存及び復元するためのアプリケーションの実効アドレス空間１５８２中のエリアの実効アドレスを含んでいるレジスタ１５４５のうちの１つである。少なくとも１つの実施例では、このポインタは、いかなる状態もジョブ間で保存されることを必要とされない場合又はジョブがプリエンプトされるとき、随意である。少なくとも１つの実施例では、コンテキスト保存／復元エリアは、ピン留めされたシステム・メモリであり得る。

【0266】

システム・コールを受信すると、オペレーティング・システム１５９５は、アプリケーション１５８０が登録され、グラフィックス加速モジュール１５４６を使用するための権限を与えられていることを確認し得る。少なくとも１つの実施例では、オペレーティング・システム１５９５は、次いで、表３に示されている情報を伴ってハイパーバイザ１５９６にコールする。

【表3】

【0267】

少なくとも１つの実施例では、ハイパーバイザ・コールを受信すると、ハイパーバイザ１５９６は、オペレーティング・システム１５９５が登録され、グラフィックス加速モジュール１５４６を使用するための権限を与えられていることを確認する。少なくとも１つの実施例では、ハイパーバイザ１５９６は、次いで、プロセス要素１５８３を、対応するグラフィックス加速モジュール１５４６タイプについてのプロセス要素リンク・リストに入れる。少なくとも１つの実施例では、プロセス要素は、表４に示されている情報を含み得る。

【表4】

【0268】

少なくとも１つの実施例では、ハイパーバイザは、複数のアクセラレータ統合スライス１５９０レジスタ１５４５を初期化する。

【0269】

図１５Ｆに示されているように、少なくとも１つの実施例では、物理プロセッサ・メモリ１５０１（１）～１５０１（Ｎ）及びＧＰＵメモリ１５２０（１）～１５２０（Ｎ）にアクセスするために使用される共通の仮想メモリ・アドレス空間を介してアドレス指定可能な統一メモリが使用される。この実装形態では、ＧＰＵ１５１０（１）～１５１０（Ｎ）上で実行される動作は、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）にアクセスするための同じ仮想／実効メモリ・アドレス空間を利用し、その逆もまた同様であり、それによりプログラマビリティを簡単にする。少なくとも１つの実施例では、仮想／実効アドレス空間の第１の部分はプロセッサ・メモリ１５０１（１）に割り振られ、第２の部分は第２のプロセッサ・メモリ１５０１（Ｎ）に割り振られ、第３の部分はＧＰＵメモリ１５２０（１）に割り振られ、以下同様である。少なくとも１つの実施例では、（実効アドレス空間と呼ばれることがある）仮想／実効メモリ空間全体は、それにより、プロセッサ・メモリ１５０１及びＧＰＵメモリ１５２０の各々にわたって分散され、いずれかのプロセッサ又はＧＰＵが、仮想アドレスが物理メモリにマッピングされた、いずれかの物理メモリにアクセスすることを可能にする。

【0270】

少なくとも１つの実施例では、ＭＭＵ１５３９Ａ～１５３９Ｅのうちの１つ又は複数内のバイアス／コヒーレンス管理回路要素１５９４Ａ～１５９４Ｅは、１つ又は複数のホスト・プロセッサ（たとえば、１５０５）のキャッシュとＧＰＵ１５１０のキャッシュとの間でキャッシュ・コヒーレンスを確実にし、バイアス技法を実装して、いくつかのタイプのデータが記憶されるべきである物理メモリを示す。少なくとも１つの実施例では、バイアス／コヒーレンス管理回路要素１５９４Ａ～１５９４Ｅの複数のインスタンスが図１５Ｆに示されているが、バイアス／コヒーレンス回路要素は、１つ又は複数のホスト・プロセッサ１５０５のＭＭＵ内及び／又はアクセラレータ統合回路１５３６内に実装され得る。

【0271】

一実施例は、ＧＰＵメモリ１５２０が、システム・メモリの一部としてマッピングされ、共有仮想メモリ（ＳＶＭ：ｓｈａｒｅｄ ｖｉｒｔｕａｌ ｍｅｍｏｒｙ）技術を使用して、ただし完全なシステム・キャッシュ・コヒーレンスに関連する性能の欠点を被ることなしに、アクセスされることを可能にする。少なくとも１つの実施例では、ＧＰＵメモリ１５２０が面倒なキャッシュ・コヒーレンス・オーバーヘッドなしにシステム・メモリとしてアクセスされるアビリティは、ＧＰＵオフロードのための有益な動作環境を提供する。少なくとも１つの実施例では、この仕組みは、ホスト・プロセッサ１５０５のソフトウェアが、従来のＩ／Ｏ ＤＭＡデータ・コピーのオーバーヘッドなしに、オペランドを設定し、算出結果にアクセスすることを可能にする。少なくとも１つの実施例では、そのような従来のコピーは、ドライバ・コール、割込み及びメモリ・マップドＩ／Ｏ（ＭＭＩＯ：ｍｅｍｏｒｙ ｍａｐｐｅｄ Ｉ／Ｏ）アクセスを伴い、それらはすべて、単純なメモリ・アクセスに対して非効率的である。少なくとも１つの実施例では、キャッシュ・コヒーレンス・オーバーヘッドなしにＧＰＵメモリ１５２０にアクセスするアビリティは、オフロードされた算出の実行時間に不可欠であり得る。少なくとも１つの実施例では、たとえば、かなりのストリーミング書込みメモリ・トラフィックがある場合に、キャッシュ・コヒーレンス・オーバーヘッドは、ＧＰＵ１５１０によって見られる有効な書込み帯域幅を著しく低減することができる。少なくとも１つの実施例では、オペランド設定の効率と、結果アクセスの効率と、ＧＰＵ算出の効率とは、ＧＰＵオフロードの有効性を決定する際に役立ち得る。

【0272】

少なくとも１つの実施例では、ＧＰＵバイアス及びホスト・プロセッサ・バイアスの選択は、バイアス・トラッカー・データ構造によって駆動される。少なくとも１つの実施例では、たとえば、バイアス・テーブルが使用され得、バイアス・テーブルは、ＧＰＵ付きメモリ・ページ当たり１ビット又は２ビットを含むページ粒度構造であり得る（たとえば、メモリ・ページの粒度において制御され得る）。少なくとも１つの実施例では、バイアス・テーブルは、（たとえば、バイアス・テーブルの頻繁に使用された／最近使用されたエントリをキャッシュするための）バイアス・キャッシュがＧＰＵ１５１０中にある状態又はない状態で、１つ又は複数のＧＰＵメモリ１５２０の奪われたメモリ範囲（ｓｔｏｌｅｎ ｍｅｍｏｒｙ ｒａｎｇｅ）において実装され得る。代替的に、少なくとも１つの実施例では、バイアス・テーブル全体が、ＧＰＵ内に維持され得る。

【0273】

少なくとも１つの実施例では、ＧＰＵ付きメモリ１５２０への各アクセスに関連するバイアス・テーブル・エントリが、ＧＰＵメモリへの実際のアクセスより前にアクセスされて、以下の動作を引き起こす。少なくとも１つの実施例では、ＧＰＵバイアス中で自らのページを見いだすＧＰＵ１５１０からのローカル要求が、対応するＧＰＵメモリ１５２０に直接フォワーディングされる。少なくとも１つの実施例では、ホスト・バイアスにおいて自らのページを見いだすＧＰＵからのローカル要求は、（たとえば、上記で説明された高速リンクを介して）プロセッサ１５０５にフォワーディングされる。少なくとも１つの実施例では、要求されたページをホスト・プロセッサ・バイアスにおいて見いだすプロセッサ１５０５からの要求は、通常のメモリ読取りのように要求を完了する。代替的に、ＧＰＵバイアス化ページを対象とする要求は、ＧＰＵ１５１０にフォワーディングされ得る。少なくとも１つの実施例では、ＧＰＵは、次いで、現在ページを使用していない場合、ホスト・プロセッサ・バイアスにページを移行し得る。少なくとも１つの実施例では、ページのバイアス状態は、ソフトウェア・ベースの機構、ハードウェア支援型ソフトウェア・ベースの機構のいずれかによって、又は限られた事例のセットについては、単にハードウェア・ベースの機構によって、変更され得る。

【0274】

少なくとも１つの実施例では、バイアス状態を変更するための１つの機構は、ＡＰＩコール（たとえば、ＯｐｅｎＣＬ）を採用し、ＡＰＩコールがＧＰＵのデバイス・ドライバをコールし、ＧＰＵのデバイス・ドライバが、バイアス状態を変更し、いくつかの移行については、ホストにおいてキャッシュ・フラッシング動作を実施するようにＧＰＵに指示するメッセージをＧＰＵに送出する（又はコマンド記述子をキューに加える）。少なくとも１つの実施例では、キャッシュ・フラッシング動作は、ホスト・プロセッサ１５０５バイアスからＧＰＵバイアスへの移行のために使用されるが、反対向きの移行のためには使用されない。

【0275】

少なくとも１つの実施例では、キャッシュ・コヒーレンシは、ホスト・プロセッサ１５０５によってキャッシュできないＧＰＵバイアス化ページを一時的にレンダリングすることによって、維持される。少なくとも１つの実施例では、これらのページにアクセスするために、プロセッサ１５０５は、ＧＰＵ１５１０にアクセスを要求し得、ＧＰＵ１５１０は、すぐにアクセスを許可することも許可しないこともある。少なくとも１つの実施例では、したがって、プロセッサ１５０５とＧＰＵ１５１０との間の通信を低減するために、ＧＰＵバイアス化ページが、ＧＰＵによって必要とされるがホスト・プロセッサ１５０５によって必要とされず、その逆も同様であるものであることを確実にすることは、有益である。

【0276】

１つ又は複数の実施例を実施するために、（１つ又は複数の）ハードウェア構造７１５が使用される。（１つ又は複数の）ハードウェア構造７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供され得る。

【0277】

少なくとも１つの実施例では、図１５Ａ～図１５Ｆに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１５Ａ～図１５Ｆに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１５Ａ～図１５Ｆに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0278】

図１６は、本明細書で説明される様々な実施例による、１つ又は複数のＩＰコアを使用して作製され得る例示的な集積回路及び関連するグラフィックス・プロセッサを示す。示されているものに加えて、少なくとも１つの実施例では、追加のグラフィックス・プロセッサ／コア、周辺インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれ得る。

【0279】

図１６は、少なくとも１つの実施例による、１つ又は複数のＩＰコアを使用して作製され得る例示的なシステム・オン・チップ集積回路１６００を示すブロック図である。少なくとも１つの実施例では、集積回路１６００は、１つ又は複数のアプリケーション・プロセッサ１６０５（たとえば、ＣＰＵ）、少なくとも１つのグラフィックス・プロセッサ１６１０を含み、追加として、画像プロセッサ１６１５及び／又はビデオ・プロセッサ１６２０を含み得、それらのいずれも、モジュール式ＩＰコアであり得る。少なくとも１つの実施例では、集積回路１６００は、ＵＳＢコントローラ１６２５、ＵＡＲＴコントローラ１６３０、ＳＰＩ／ＳＤＩＯコントローラ１６３５、及びＩ^２２Ｓ／Ｉ^２２Ｃコントローラ１６４０を含む周辺機器又はバス論理を含む。少なくとも１つの実施例では、集積回路１６００は、高精細度マルチメディア・インターフェース（ＨＤＭＩ（登録商標）：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）コントローラ１６５０及びモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ）ディスプレイ・インターフェース１６５５のうちの１つ又は複数に結合されたディスプレイ・デバイス１６４５を含むことができる。少なくとも１つの実施例では、フラッシュ・メモリとフラッシュ・メモリ・コントローラとを含むフラッシュ・メモリ・サブシステム１６６０によって、ストレージが提供され得る。少なくとも１つの実施例では、ＳＤＲＡＭ又はＳＲＡＭメモリ・デバイスへのアクセスのために、メモリ・コントローラ１６６５を介してメモリ・インターフェースが提供され得る。少なくとも１つの実施例では、いくつかの集積回路は、追加として、組み込みセキュリティ・エンジン１６７０を含む。

【0280】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために集積回路１６００において使用され得る。

【0281】

少なくとも１つの実施例では、図１６に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１６に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１６に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0282】

図１７Ａ～図１７Ｂは、本明細書で説明される様々な実施例による、１つ又は複数のＩＰコアを使用して作製され得る例示的な集積回路及び関連するグラフィックス・プロセッサを示す。示されているものに加えて、少なくとも１つの実施例では、追加のグラフィックス・プロセッサ／コア、周辺インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれ得る。

【0283】

図１７Ａ及び図１７Ｂは、本明細書で説明される実施例による、ＳｏＣ内での使用のための例示的なグラフィックス・プロセッサを示すブロック図である。図１７Ａは、少なくとも１つの実施例による、１つ又は複数のＩＰコアを使用して作製され得るシステム・オン・チップ集積回路の例示的なグラフィックス・プロセッサ１７１０を示す。図１７Ｂは、少なくとも１つの実施例による、１つ又は複数のＩＰコアを使用して作製され得るシステム・オン・チップ集積回路の追加の例示的なグラフィックス・プロセッサ１７４０を示す。少なくとも１つの実施例では、図１７Ａのグラフィックス・プロセッサ１７１０は、低電力グラフィックス・プロセッサ・コアである。少なくとも１つの実施例では、図１７Ｂのグラフィックス・プロセッサ１７４０は、より高性能のグラフィックス・プロセッサ・コアである。少なくとも１つの実施例では、グラフィックス・プロセッサ１７１０、１７４０の各々は、図１６のグラフィックス・プロセッサ１６１０の変形態であり得る。

【0284】

少なくとも１つの実施例では、グラフィックス・プロセッサ１７１０は、頂点プロセッサ１７０５と、１つ又は複数のフラグメント・プロセッサ１７１５Ａ～１７１５Ｎ（たとえば、１７１５Ａ、１７１５Ｂ、１７１５Ｃ、１７１５Ｄ～１７１５Ｎ－１、及び１７１５Ｎ）とを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１７１０は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ１７０５は、頂点シェーダ・プログラムのための動作を実行するように最適化され、１つ又は複数のフラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、フラグメント又はピクセル・シェーダ・プログラムのためのフラグメント（たとえば、ピクセル）シェーディング動作を実行する。少なくとも１つの実施例では、頂点プロセッサ１７０５は、３Ｄグラフィックス・パイプラインの頂点処理段階を実施し、プリミティブ及び頂点データを生成する。少なくとも１つの実施例では、（１つ又は複数の）フラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、頂点プロセッサ１７０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイス上に表示されるフレーム・バッファを作り出す。少なくとも１つの実施例では、（１つ又は複数の）フラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、ＯｐｅｎＧＬ ＡＰＩにおいて提供されるようなフラグメント・シェーダ・プログラムを実行するように最適化され、ＯｐｅｎＧＬ ＡＰＩは、Ｄｉｒｅｃｔ ３Ｄ ＡＰＩにおいて提供されるようなピクセル・シェーダ・プログラムと同様の動作を実施するために使用され得る。

【0285】

少なくとも１つの実施例では、グラフィックス・プロセッサ１７１０は、追加として、１つ又は複数のメモリ管理ユニット（ＭＭＵ）１７２０Ａ～１７２０Ｂと、（１つ又は複数の）キャッシュ１７２５Ａ～１７２５Ｂと、（１つ又は複数の）回路相互接続１７３０Ａ～１７３０Ｂとを含む。少なくとも１つの実施例では、１つ又は複数のＭＭＵ１７２０Ａ～１７２０Ｂは、頂点プロセッサ１７０５及び／又は（１つ又は複数の）フラグメント・プロセッサ１７１５Ａ～１７１５Ｎを含む、グラフィックス・プロセッサ１７１０のための仮想－物理アドレス・マッピングを提供し、それらは、１つ又は複数のキャッシュ１７２５Ａ～１７２５Ｂに記憶された頂点又は画像／テクスチャ・データに加えて、メモリに記憶された頂点又は画像／テクスチャ・データを参照し得る。少なくとも１つの実施例では、１つ又は複数のＭＭＵ１７２０Ａ～１７２０Ｂは、図１６の１つ又は複数のアプリケーション・プロセッサ１６０５、画像プロセッサ１６１５、及び／又はビデオ・プロセッサ１６２０に関連する１つ又は複数のＭＭＵを含む、システム内の他のＭＭＵと同期され得、それにより、各プロセッサ１６０５～１６２０は、共有又は統一仮想メモリ・システムに参加することができる。少なくとも１つの実施例では、１つ又は複数の回路相互接続１７３０Ａ～１７３０Ｂは、グラフィックス・プロセッサ１７１０が、ＳｏＣの内部バスを介して又は直接接続を介してのいずれかで、ＳｏＣ内の他のＩＰコアとインターフェースすることを可能にする。

【0286】

少なくとも１つの実施例では、図１７Ｂに示されているように、グラフィックス・プロセッサ１７４０は、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎ（たとえば、１７５５Ａ、１７５５Ｂ、１７５５Ｃ、１７５５Ｄ、１７５５Ｅ、１７５５Ｆ～１７５５Ｎ－１、及び１７５５Ｎ）を含み、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び／又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラマブル・シェーダ・コードを実行することができる統一シェーダ・コア・アーキテクチャを提供する。少なくとも１つの実施例では、シェーダ・コアの数は変動することができる。少なくとも１つの実施例では、グラフィックス・プロセッサ１７４０は、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ１７４５と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンについてのレンダリング動作が画像空間において細分化される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット１７５８とを含む。

【0287】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために集積回路１７Ａ及び／又は１７Ｂにおいて使用され得る。

【0288】

少なくとも１つの実施例では、図１７Ａ～図１７Ｂに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１７Ａ～図１７Ｂに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１７Ａ～図１７Ｂに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0289】

図１８Ａ～図１８Ｂは、本明細書で説明される実施例による、追加の例示的なグラフィックス・プロセッサ論理を示す。図１８Ａは、グラフィックス・コア１８００を示し、グラフィックス・コア１８００は、少なくとも１つの実施例では図１６のグラフィックス・プロセッサ１６１０内に含められ得、少なくとも１つの実施例では図１７Ｂの場合のように統一シェーダ・コア１７５５Ａ～１７５５Ｎであり得る。図１８Ｂは、少なくとも１つの実施例においてマルチチップ・モジュール上での導入に好適な高並列の汎用グラフィックス処理ユニット（「ＧＰＧＰＵ」：ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１８３０を示す。

【0290】

少なくとも１つの実施例では、グラフィックス・コア１８００は、共有命令キャッシュ１８０２と、テクスチャ・ユニット１８１８と、キャッシュ／共有メモリ１８２０とを含み、それらは、グラフィックス・コア１８００内の実行リソースに共通である。少なくとも１つの実施例では、グラフィックス・コア１８００は、複数のスライス１８０１Ａ～１８０１Ｎ、又は各コアについてのパーティションを含むことができ、グラフィックス・プロセッサは、グラフィックス・コア１８００の複数のインスタンスを含むことができる。少なくとも１つの実施例では、スライス１８０１Ａ～１８０１Ｎは、ローカル命令キャッシュ１８０４Ａ～１８０４Ｎと、スレッド・スケジューラ１８０６Ａ～１８０６Ｎと、スレッド・ディスパッチャ１８０８Ａ～１８０８Ｎと、レジスタのセット１８１０Ａ～１８１０Ｎとを含むサポート論理を含むことができる。少なくとも１つの実施例では、スライス１８０１Ａ～１８０１Ｎは、追加機能ユニット（ＡＦＵ：ａｄｄｉｔｉｏｎａｌ ｆｕｎｃｔｉｏｎ ｕｎｉｔ１８１２Ａ～１８１２Ｎ）、浮動小数点ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ－ｐｏｉｎｔ ｕｎｉｔ１８１４Ａ～１８１４Ｎ）、整数算術論理ユニット（ＡＬＵ１８１６Ａ～１８１６Ｎ）、アドレス算出ユニット（ＡＣＵ：ａｄｄｒｅｓｓ ｃｏｍｐｕｔａｔｉｏｎａｌ ｕｎｉｔ１８１３Ａ～１８１３Ｎ）、倍精度浮動小数点ユニット（ＤＰＦＰＵ：ｄｏｕｂｌｅ－ｐｒｅｃｉｓｉｏｎ ｆｌｏａｔｉｎｇ－ｐｏｉｎｔ ｕｎｉｔ１８１５Ａ～１８１５Ｎ）、及び行列処理ユニット（ＭＰＵ：ｍａｔｒｉｘ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ１８１７Ａ～１８１７Ｎ）のセットを含むことができる。

【0291】

少なくとも１つの実施例では、ＦＰＵ１８１４Ａ～１８１４Ｎは、単精度（３２ビット）及び半精度（１６ビット）の浮動小数点演算を実施することができ、ＤＰＦＰＵ１８１５Ａ～１８１５Ｎは、倍精度（６４ビット）の浮動小数点演算を実施する。少なくとも１つの実施例では、ＡＬＵ１８１６Ａ～１８１６Ｎは、８ビット、１６ビット、及び３２ビットの精度で可変精度整数演算を実施することができ、混合精度演算のために構成され得る。少なくとも１つの実施例では、ＭＰＵ１８１７Ａ～１８１７Ｎも、半精度浮動小数点演算と８ビット整数演算とを含む、混合精度行列演算のために構成され得る。少なくとも１つの実施例では、ＭＰＵ１８１７～１８１７Ｎは、加速汎用行列－行列乗算（ＧＥＭＭ：ｇｅｎｅｒａｌ ｍａｔｒｉｘ ｔｏ ｍａｔｒｉｘ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）のサポートを可能にすることを含む、機械学習アプリケーション・フレームワークを加速するための様々な行列演算を実施することができる。少なくとも１つの実施例では、ＡＦＵ１８１２Ａ～１８１２Ｎは、三角関数演算（たとえば、サイン、コサインなど）を含む、浮動小数点ユニット又は整数ユニットによってサポートされていない追加の論理演算を実施することができる。

【0292】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のためにグラフィックス・コア１８００において使用され得る。

【0293】

図１８Ｂは、汎用処理ユニット（ＧＰＧＰＵ：ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１８３０を示し、ＧＰＧＰＵ１８３０は、少なくとも１つの実施例において、高並列コンピュート動作がグラフィックス処理ユニットのアレイによって実施されることを可能にするように構成され得る。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、深層ニューラル・ネットワークについての訓練スピードを改善するためにマルチＧＰＵクラスタを作成するために、ＧＰＧＰＵ１８３０の他のインスタンスに直接リンクされ得る。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、ホスト・プロセッサとの接続を可能にするためのホスト・インターフェース１８３２を含む。少なくとも１つの実施例では、ホスト・インターフェース１８３２は、ＰＣＩエクスプレス・インターフェースである。少なくとも１つの実施例では、ホスト・インターフェース１８３２は、ベンダー固有の通信インターフェース又は通信ファブリックであり得る。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、ホスト・プロセッサからコマンドを受信し、グローバル・スケジューラ１８３４を使用して、それらのコマンドに関連する実行スレッドを、コンピュート・クラスタ１８３６Ａ～１８３６Ｈのセットに分散させる。少なくとも１つの実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈは、キャッシュ・メモリ１８３８を共有する。少なくとも１つの実施例では、キャッシュ・メモリ１８３８は、コンピュート・クラスタ１８３６Ａ～１８３６Ｈ内のキャッシュ・メモリのためのより高レベルのキャッシュとして働くことができる。

【0294】

少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、メモリ・コントローラ１８４２Ａ～１８４２Ｂのセットを介してコンピュート・クラスタ１８３６Ａ～１８３６Ｈと結合されたメモリ１８４４Ａ～１８４４Ｂを含む。少なくとも１つの実施例では、メモリ１８４４Ａ～１８４４Ｂは、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、又は、グラフィックス・ダブル・データ・レート（ＧＤＤＲ：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）などのグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。

【0295】

少なくとも１つの実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈは、各々、図１８Ａのグラフィックス・コア１８００などのグラフィックス・コアのセットを含み、グラフィックス・コアのセットは、機械学習算出に適したものを含む、様々な精度で算出動作を実施することができる複数のタイプの整数及び浮動小数点論理ユニットを含むことができる。たとえば、少なくとも１つの実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈの各々における浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実施するように構成され得、浮動小数点ユニットの異なるサブセットは、６４ビットの浮動小数点演算を実施するように構成され得る。

【0296】

少なくとも１つの実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、コンピュート・クラスタとして動作するように構成され得る。少なくとも１つの実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈによって同期及びデータ交換のために使用される通信は、実施例にわたって変動する。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、ホスト・インターフェース１８３２を介して通信する。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、Ｉ／Ｏハブ１８３９を含み、Ｉ／Ｏハブ１８３９は、ＧＰＧＰＵ１８３０を、ＧＰＧＰＵ１８３０の他のインスタンスへの直接接続を可能にするＧＰＵリンク１８４０と結合する。少なくとも１つの実施例では、ＧＰＵリンク１８４０は、ＧＰＧＰＵ１８３０の複数のインスタンス間での通信及び同期を可能にする専用ＧＰＵ－ＧＰＵブリッジに結合される。少なくとも１つの実施例では、ＧＰＵリンク１８４０は、他のＧＰＧＰＵ又は並列プロセッサにデータを送信及び受信するために高速相互接続と結合される。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、別個のデータ処理システムに位置し、ホスト・インターフェース１８３２を介してアクセス可能であるネットワーク・デバイスを介して通信する。少なくとも１つの実施例では、ＧＰＵリンク１８４０は、ホスト・インターフェース１８３２に加えて、又はその代替として、ホスト・プロセッサへの接続を可能にするように構成され得る。

【0297】

少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、ニューラル・ネットワークを訓練するように構成され得る。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、推論プラットフォーム内で使用され得る。ＧＰＧＰＵ１８３０が推論のために使用される少なくとも１つの実施例では、ＧＰＧＰＵ１８３０は、ＧＰＧＰＵ１８３０がニューラル・ネットワークを訓練するために使用されるときに対して、より少数のコンピュート・クラスタ１８３６Ａ～１８３６Ｈを含み得る。少なくとも１つの実施例では、メモリ１８４４Ａ～１８４４Ｂに関連するメモリ技術は、推論構成と訓練構成との間で異なり得、より高い帯域幅のメモリ技術が訓練構成に充てられる。少なくとも１つの実施例では、ＧＰＧＰＵ１８３０の推論構成は、推論固有命令をサポートすることができる。たとえば、少なくとも１つの実施例では、推論構成は、１つ又は複数の８ビット整数ドット積命令のサポートを提供することができ、これは、導入されたニューラル・ネットワークのための推論動作中に使用され得る。

【0298】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のためにＧＰＧＰＵ１８３０において使用され得る。

【0299】

少なくとも１つの実施例では、図１８Ａ～図１８Ｂに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１８Ａ～図１８Ｂに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１８Ａ～図１８Ｂに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0300】

図１９は、少なくとも１つの実施例による、コンピューティング・システム１９００を示すブロック図である。少なくとも１つの実施例では、コンピューティング・システム１９００は、メモリ・ハブ１９０５を含み得る相互接続経路を介して通信する１つ又は複数のプロセッサ１９０２とシステム・メモリ１９０４とを有する処理サブシステム１９０１を含む。少なくとも１つの実施例では、メモリ・ハブ１９０５は、チップセット構成要素内の別個の構成要素であり得るか、又は１つ又は複数のプロセッサ１９０２内に組み込まれ得る。少なくとも１つの実施例では、メモリ・ハブ１９０５は、通信リンク１９０６を介してＩ／Ｏサブシステム１９１１と結合する。少なくとも１つの実施例では、Ｉ／Ｏサブシステム１９１１は、コンピューティング・システム１９００が１つ又は複数の入力デバイス１９０８からの入力を受信することを可能にすることができるＩ／Ｏハブ１９０７を含む。少なくとも１つの実施例では、Ｉ／Ｏハブ１９０７は、１つ又は複数のプロセッサ１９０２中に含まれ得るディスプレイ・コントローラが、１つ又は複数のディスプレイ・デバイス１９１０Ａに出力を提供することを可能にすることができる。少なくとも１つの実施例では、Ｉ／Ｏハブ１９０７と結合された１つ又は複数のディスプレイ・デバイス１９１０Ａは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。

【0301】

少なくとも１つの実施例では、処理サブシステム１９０１は、バス又は他の通信リンク１９１３を介してメモリ・ハブ１９０５に結合された１つ又は複数の並列プロセッサ１９１２を含む。少なくとも１つの実施例では、通信リンク１９１３は、限定はしないがＰＣＩエクスプレスなど、任意の数の規格ベースの通信リンク技術又はプロトコルのうちの１つを使用し得るか、或いはベンダー固有の通信インターフェース又は通信ファブリックであり得る。少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１９１２は、メニー・インテグレーテッド・コア（ＭＩＣ：ｍａｎｙ ｉｎｔｅｇｒａｔｅｄ ｃｏｒｅ）プロセッサなど、多数の処理コア及び／又は処理クラスタを含むことができる、算出に集中した並列又はベクトル処理システムを形成する。少なくとも１つの実施例では、（１つ又は複数の）並列プロセッサ１９１２のうちのいくつか又はすべては、グラフィックス処理サブシステムを形成し、グラフィックス処理サブシステムは、Ｉ／Ｏハブ１９０７を介して結合された１つ又は複数のディスプレイ・デバイス１９１０Ａのうちの１つにピクセルを出力することができる。少なくとも１つの実施例では、（１つ又は複数の）並列プロセッサ１９１２はまた、ディスプレイ・コントローラと、１つ又は複数のディスプレイ・デバイス１９１０Ｂへの直接接続を可能にするためのディスプレイ・インターフェース（図示せず）とを含むことができる。

【0302】

少なくとも１つの実施例では、システム・ストレージ・ユニット１９１４は、Ｉ／Ｏハブ１９０７に接続して、コンピューティング・システム１９００のためのストレージ機構を提供することができる。少なくとも１つの実施例では、Ｉ／Ｏハブ１９０７と、プラットフォームに組み込まれ得るネットワーク・アダプタ１９１８及び／又はワイヤレス・ネットワーク・アダプタ１９１９などの他の構成要素、並びに１つ又は複数のアドイン・デバイス１９２０を介して追加され得る様々な他のデバイスとの間の接続を可能にするためのインターフェース機構を提供するために、Ｉ／Ｏスイッチ１９１６が使用され得る。少なくとも１つの実施例では、ネットワーク・アダプタ１９１８は、イーサネット・アダプタ又は別のワイヤード・ネットワーク・アダプタであり得る。少なくとも１つの実施例では、ワイヤレス・ネットワーク・アダプタ１９１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ニア・フィールド通信（ＮＦＣ）、又は１つ又は複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの１つ又は複数を含むことができる。

【0303】

少なくとも１つの実施例では、コンピューティング・システム１９００は、ＵＳＢ又は他のポート接続、光学ストレージ・ドライブ、ビデオ・キャプチャ・デバイスなどを含む、明示的に示されていない他の構成要素を含むことができ、また、Ｉ／Ｏハブ１９０７に接続され得る。少なくとも１つの実施例では、図１９中の様々な構成要素を相互接続する通信経路が、ＰＣＩ（周辺構成要素相互接続）ベースのプロトコル（たとえば、ＰＣＩ－Ｅｘｐｒｅｓｓ）などの任意の好適なプロトコル、或いはＮＶ－Ｌｉｎｋ高速相互接続などの他のバス又はポイントツーポイント通信インターフェース及び／又は（１つ又は複数の）プロトコル、或いは相互接続プロトコルを使用して、実装され得る。

【0304】

少なくとも１つの実施例では、（１つ又は複数の）並列プロセッサ１９１２は、たとえばビデオ出力回路要素を含むグラフィックス及びビデオ処理のために最適化された回路要素を組み込み、グラフィックス処理ユニット（ＧＰＵ）を構成する。少なくとも１つの実施例では、（１つ又は複数の）並列プロセッサ１９１２は、汎用処理のために最適化された回路要素を組み込む。少なくとも実施例では、コンピューティング・システム１９００の構成要素は、単一の集積回路上の１つ又は複数の他のシステム要素と統合され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）並列プロセッサ１９１２、メモリ・ハブ１９０５、（１つ又は複数の）プロセッサ１９０２、及びＩ／Ｏハブ１９０７は、システム・オン・チップ（ＳｏＣ）集積回路に組み込まれ得る。少なくとも１つの実施例では、コンピューティング・システム１９００の構成要素は、システム・イン・パッケージ（ＳＩＰ：ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）構成を形成するために、単一のパッケージに組み込まれ得る。少なくとも１つの実施例では、コンピューティング・システム１９００の構成要素の少なくとも一部分は、マルチチップ・モジュール（ＭＣＭ：ｍｕｌｔｉ－ｃｈｉｐ ｍｏｄｕｌｅ）に組み込まれ得、マルチチップ・モジュールは、他のマルチチップ・モジュールと相互接続されてモジュール式コンピューティング・システムにすることができる。

【0305】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１９００のシステムにおいて使用され得る。

【0306】

少なくとも１つの実施例では、図１９に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図１９に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図１９に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0307】

プロセッサ
図２０Ａは、少なくとも１つの実施例による、並列プロセッサ２０００を示す。少なくとも１つの実施例では、並列プロセッサ２０００の様々な構成要素は、プログラマブル・プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など、１つ又は複数の集積回路デバイスを使用して実装され得る。少なくとも１つの実施例では、示されている並列プロセッサ２０００は、例示的な実施例による、図１９に示されている１つ又は複数の並列プロセッサ１９１２の変形態である。

【0308】

少なくとも１つの実施例では、並列プロセッサ２０００は並列処理ユニット２００２を含む。少なくとも１つの実施例では、並列処理ユニット２００２は、並列処理ユニット２００２の他のインスタンスを含む、他のデバイスとの通信を可能にするＩ／Ｏユニット２００４を含む。少なくとも１つの実施例では、Ｉ／Ｏユニット２００４は、他のデバイスに直接接続され得る。少なくとも１つの実施例では、Ｉ／Ｏユニット２００４は、メモリ・ハブ２００５など、ハブ又はスイッチ・インターフェースの使用を介して他のデバイスと接続する。少なくとも１つの実施例では、メモリ・ハブ２００５とＩ／Ｏユニット２００４との間の接続は、通信リンク２０１３を形成する。少なくとも１つの実施例では、Ｉ／Ｏユニット２００４は、ホスト・インターフェース２００６及びメモリ・クロスバー２０１６と接続し、ホスト・インターフェース２００６は、処理動作を実施することを対象とするコマンドを受信し、メモリ・クロスバー２０１６は、メモリ動作を実施することを対象とするコマンドを受信する。

【0309】

少なくとも１つの実施例では、ホスト・インターフェース２００６が、Ｉ／Ｏユニット２００４を介してコマンド・バッファを受信したとき、ホスト・インターフェース２００６は、それらのコマンドを実施するためのワーク動作をフロント・エンド２００８に向けることができる。少なくとも１つの実施例では、フロント・エンド２００８はスケジューラ２０１０と結合し、スケジューラ２０１０は、コマンド又は他のワーク・アイテムを処理クラスタ・アレイ２０１２に分散させるように構成される。少なくとも１つの実施例では、スケジューラ２０１０は、処理クラスタ・アレイ２０１２のクラスタにタスクが分散される前に、処理クラスタ・アレイ２０１２が適切に構成され、有効な状態にあることを確実にする。少なくとも１つの実施例では、スケジューラ２０１０は、マイクロコントローラ上で実行しているファームウェア論理を介して実装される。少なくとも１つの実施例では、マイクロコントローラ実装スケジューラ２０１０は、複雑なスケジューリング及びワーク分散動作を、粗い粒度及び細かい粒度において実施するように構成可能であり、処理アレイ２０１２上で実行しているスレッドの迅速なプリエンプション及びコンテキスト切替えを可能にする。少なくとも１つの実施例では、ホスト・ソフトウェアは、処理クラスタ・アレイ２０１２上でのスケジューリングのためのワークロードを、複数のグラフィックス処理経路のうちの１つを介して証明することができる。少なくとも１つの実施例では、ワークロードは、次いで、スケジューラ２０１０を含むマイクロコントローラ内のスケジューラ２０１０論理によって、処理アレイ・クラスタ２０１２にわたって自動的に分散され得る。

【0310】

少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、最高「Ｎ」個の処理クラスタ（たとえば、クラスタ２０１４Ａ、クラスタ２０１４Ｂ～クラスタ２０１４Ｎ）を含むことができ、ここで、「Ｎ」は正の整数を表す（それは、他の図中で使用されるものとは異なる整数「Ｎ」であり得る）。少なくとも１つの実施例では、処理クラスタ・アレイ２０１２の各クラスタ２０１４Ａ～２０１４Ｎは、多数の同時スレッドを実行することができる。少なくとも１つの実施例では、スケジューラ２０１０は、様々なスケジューリング及び／又はワーク分散アルゴリズムを使用して処理クラスタ・アレイ２０１２のクラスタ２０１４Ａ～２０１４Ｎにワークを割り振ることができ、それらのアルゴリズムは、プログラム又は算出の各タイプについて生じるワークロードに応じて変動し得る。少なくとも１つの実施例では、スケジューリングは、スケジューラ２０１０によって動的に対処され得るか、又は処理クラスタ・アレイ２０１２による実行のために構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援され得る。少なくとも１つの実施例では、処理クラスタ・アレイ２０１２の異なるクラスタ２０１４Ａ～２０１４Ｎは、異なるタイプのプログラムを処理するために、又は異なるタイプの算出を実施するために割り振られ得る。

【0311】

少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、様々なタイプの並列処理動作を実施するように構成され得る。少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、汎用並列コンピュート動作を実施するように構成される。たとえば、少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、ビデオ及び／又はオーディオ・データをフィルタリングすること、物理動作を含むモデリング動作を実施すること、及びデータ変換を実施することを含む処理タスクを実行するための論理を含むことができる。

【0312】

少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、並列グラフィックス処理動作を実施するように構成される。少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、限定はしないが、テクスチャ動作を実施するためのテクスチャ・サンプリング論理、並びにテッセレーション論理及び他の頂点処理論理を含む、そのようなグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、限定はしないが、頂点シェーダ、テッセレーション・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなど、グラフィックス処理関係シェーダ・プログラムを実行するように構成され得る。少なくとも１つの実施例では、並列処理ユニット２００２は、処理のためにＩ／Ｏユニット２００４を介してシステム・メモリからデータを転送することができる。少なくとも１つの実施例では、処理中に、転送されたデータは、処理中にオンチップ・メモリ（たとえば、並列プロセッサ・メモリ２０２２）に記憶され、次いでシステム・メモリに書き戻され得る。

【0313】

少なくとも１つの実施例では、並列処理ユニット２００２がグラフィックス処理を実施するために使用されるとき、スケジューラ２０１０は、処理クラスタ・アレイ２０１２の複数のクラスタ２０１４Ａ～２０１４Ｎへのグラフィックス処理動作の分散をより良く可能にするために、処理ワークロードをほぼ等しいサイズのタスクに分割するように構成され得る。少なくとも１つの実施例では、処理クラスタ・アレイ２０１２の部分は、異なるタイプの処理を実施するように構成され得る。たとえば、少なくとも１つの実施例では、表示のために、レンダリングされた画像を作り出すために、第１の部分は、頂点シェーディング及びトポロジ生成を実施するように構成され得、第２の部分は、テッセレーション及びジオメトリ・シェーディングを実施するように構成され得、第３の部分は、ピクセル・シェーディング又は他のスクリーン空間動作を実施するように構成され得る。少なくとも１つの実施例では、クラスタ２０１４Ａ～２０１４Ｎのうちの１つ又は複数によって作り出された中間データは、中間データがさらなる処理のためにクラスタ２０１４Ａ～２０１４Ｎ間で送信されることを可能にするために、バッファに記憶され得る。

【0314】

少なくとも１つの実施例では、処理クラスタ・アレイ２０１２は、実行されるべき処理タスクをスケジューラ２０１０を介して受信することができ、スケジューラ２０１０は、処理タスクを定義するコマンドをフロント・エンド２００８から受信する。少なくとも１つの実施例では、処理タスクは、処理されるべきデータのインデックス、たとえば、表面（パッチ）データ、プリミティブ・データ、頂点データ、及び／又はピクセル・データ、並びに、データがどのように処理されるべきであるか（たとえば、どのプログラムが実行されるべきであるか）を定義する状態パラメータ及びコマンドを含むことができる。少なくとも１つの実施例では、スケジューラ２０１０は、タスクに対応するインデックスをフェッチするように構成され得るか、又はフロント・エンド２００８からインデックスを受信し得る。少なくとも１つの実施例では、フロント・エンド２００８は、入って来るコマンド・バッファ（たとえば、バッチ・バッファ、プッシュ・バッファなど）によって指定されるワークロードが始動される前に、処理クラスタ・アレイ２０１２が有効な状態に構成されることを確実にするように構成され得る。

【0315】

少なくとも１つの実施例では、並列処理ユニット２００２の１つ又は複数のインスタンスの各々は、並列プロセッサ・メモリ２０２２と結合することができる。少なくとも１つの実施例では、並列プロセッサ・メモリ２０２２は、メモリ・クロスバー２０１６を介してアクセスされ得、メモリ・クロスバー２０１６は、処理クラスタ・アレイ２０１２並びにＩ／Ｏユニット２００４からメモリ要求を受信することができる。少なくとも１つの実施例では、メモリ・クロスバー２０１６は、メモリ・インターフェース２０１８を介して並列プロセッサ・メモリ２０２２にアクセスすることができる。少なくとも１つの実施例では、メモリ・インターフェース２０１８は、複数のパーティション・ユニット（たとえば、パーティション・ユニット２０２０Ａ、パーティション・ユニット２０２０Ｂ～パーティション・ユニット２０２０Ｎ）を含むことができ、複数のパーティション・ユニットは、各々、並列プロセッサ・メモリ２０２２の一部分（たとえば、メモリ・ユニット）に結合することができる。少なくとも１つの実施例では、パーティション・ユニット２０２０Ａ～２０２０Ｎの数は、メモリ・ユニットの数に等しくなるように構成され、それにより、第１のパーティション・ユニット２０２０Ａは、対応する第１のメモリ・ユニット２０２４Ａを有し、第２のパーティション・ユニット２０２０Ｂは、対応するメモリ・ユニット２０２４Ｂを有し、第Ｎのパーティション・ユニット２０２０Ｎは、対応する第Ｎのメモリ・ユニット２０２４Ｎを有する。少なくとも１つの実施例では、パーティション・ユニット２０２０Ａ～２０２０Ｎの数は、メモリ・デバイスの数に等しくないことがある。

【0316】

少なくとも１つの実施例では、メモリ・ユニット２０２４Ａ～２０２４Ｎは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも１つの実施例では、メモリ・ユニット２０２４Ａ～２０２４Ｎは、限定はしないが高帯域幅メモリ（ＨＢＭ）を含む、３Ｄ積層メモリをも含み得る。少なくとも１つの実施例では、並列プロセッサ・メモリ２０２２の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット２０２４Ａ～２０２４Ｎにわたって記憶されて、パーティション・ユニット２０２０Ａ～２０２０Ｎが、各レンダー・ターゲットの部分を並列に書き込むことを可能にし得る。少なくとも１つの実施例では、ローカル・キャッシュ・メモリと併せてシステム・メモリを利用する統一メモリ設計に有利なように、並列プロセッサ・メモリ２０２２のローカル・インスタンスが除外され得る。

【0317】

少なくとも１つの実施例では、処理クラスタ・アレイ２０１２のクラスタ２０１４Ａ～２０１４Ｎのいずれか１つは、並列プロセッサ・メモリ２０２２内のメモリ・ユニット２０２４Ａ～２０２４Ｎのいずれかに書き込まれることになるデータを処理することができる。少なくとも１つの実施例では、メモリ・クロスバー２０１６は、各クラスタ２０１４Ａ～２０１４Ｎの出力を、出力に対して追加の処理動作を実施することができる任意のパーティション・ユニット２０２０Ａ～２０２０Ｎに転送するか、又は別のクラスタ２０１４Ａ～２０１４Ｎに転送するように構成され得る。少なくとも１つの実施例では、各クラスタ２０１４Ａ～２０１４Ｎは、様々な外部メモリ・デバイスから読み取るか、又はそれに書き込むために、メモリ・クロスバー２０１６を通してメモリ・インターフェース２０１８と通信することができる。少なくとも１つの実施例では、メモリ・クロスバー２０１６は、Ｉ／Ｏユニット２００４と通信するためのメモリ・インターフェース２０１８への接続、並びに、並列プロセッサ・メモリ２０２２のローカル・インスタンスへの接続を有し、これは、異なる処理クラスタ２０１４Ａ～２０１４Ｎ内の処理ユニットが、システム・メモリ、又は並列処理ユニット２００２にローカルでない他のメモリと通信することを可能にする。少なくとも１つの実施例では、メモリ・クロスバー２０１６は、クラスタ２０１４Ａ～２０１４Ｎとパーティション・ユニット２０２０Ａ～２０２０Ｎとの間でトラフィック・ストリームを分離するために、仮想チャネルを使用することができる。

【0318】

少なくとも１つの実施例では、並列処理ユニット２００２の複数のインスタンスは、単一のアドイン・カード上で提供され得るか、又は複数のアドイン・カードが相互接続され得る。少なくとも１つの実施例では、並列処理ユニット２００２の異なるインスタンスは、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び／又は他の構成の差を有する場合でも、相互動作するように構成され得る。たとえば、少なくとも１つの実施例では、並列処理ユニット２００２のいくつかのインスタンスは、他のインスタンスに対してより高い精度の浮動小数点ユニットを含むことができる。少なくとも１つの実施例では、並列処理ユニット２００２又は並列プロセッサ２０００の１つ又は複数のインスタンスを組み込んだシステムは、限定はしないが、デスクトップ、ラップトップ、又はハンドヘルド・パーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び／又は組み込みシステムを含む、様々な構成及びフォーム・ファクタにおいて実装され得る。

【0319】

図２０Ｂは、少なくとも１つの実施例による、パーティション・ユニット２０２０のブロック図である。少なくとも１つの実施例では、パーティション・ユニット２０２０は、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎのうちの１つのインスタンスである。少なくとも１つの実施例では、パーティション・ユニット２０２０は、Ｌ２キャッシュ２０２１と、フレーム・バッファ・インターフェース２０２５と、ＲＯＰ２０２６（ラスタ演算ユニット）とを含む。少なくとも１つの実施例では、Ｌ２キャッシュ２０２１は、メモリ・クロスバー２０１６及びＲＯＰ２０２６から受信されたロード動作及びストア動作を実施するように構成された読取り／書込みキャッシュである。少なくとも１つの実施例では、読取りミス及び至急の書戻し要求が、処理のためにＬ２キャッシュ２０２１によってフレーム・バッファ・インターフェース２０２５に出力される。少なくとも１つの実施例では、更新も、処理のためにフレーム・バッファ・インターフェース２０２５を介してフレーム・バッファに送出され得る。少なくとも１つの実施例では、フレーム・バッファ・インターフェース２０２５は、図２０の（たとえば、並列プロセッサ・メモリ２０２２内の）メモリ・ユニット２０２４Ａ～２０２４Ｎなど、並列プロセッサ・メモリ中のメモリ・ユニットのうちの１つとインターフェースする。

【0320】

少なくとも１つの実施例では、ＲＯＰ２０２６は、ステンシル、ｚテスト、ブレンディングなどのラスタ演算を実施する処理ユニットである。少なくとも１つの実施例では、ＲＯＰ２０２６は、次いで、グラフィックス・メモリに記憶された、処理されたグラフィックス・データを出力する。少なくとも１つの実施例では、ＲＯＰ２０２６は、メモリに書き込まれる深度又は色データを圧縮し、メモリから読み取られた深度又は色データを解凍するための圧縮論理を含む。少なくとも１つの実施例では、圧縮論理は、複数の圧縮アルゴリズムのうちの１つ又は複数を利用するロスレス圧縮論理であり得る。少なくとも１つの実施例では、ＲＯＰ２０２６によって実施される圧縮のタイプは、圧縮されるべきデータの統計的特性に基づいて変動することができる。たとえば、少なくとも１つの実施例では、深度及び色データに対して、タイルごとにデルタ色圧縮が実施される。

【0321】

少なくとも１つの実施例では、ＲＯＰ２０２６は、パーティション・ユニット２０２０内ではなく、各処理クラスタ（たとえば、図２０Ａのクラスタ２０１４Ａ～２０１４Ｎ）内に含まれる。少なくとも１つの実施例では、ピクセル・フラグメント・データではなく、ピクセル・データについての読取り及び書込み要求が、メモリ・クロスバー２０１６を介して送信される。少なくとも１つの実施例では、処理されたグラフィックス・データは、図１９の１つ又は複数のディスプレイ・デバイス１９１０のうちの１つなどのディスプレイ・デバイス上に表示され、（１つ又は複数の）プロセッサ１９０２によるさらなる処理のためにルーティングされるか、又は図２０Ａの並列プロセッサ２０００内の処理エンティティのうちの１つによるさらなる処理のためにルーティングされ得る。

【0322】

図２０Ｃは、少なくとも１つの実施例による、並列処理ユニット内の処理クラスタ２０１４のブロック図である。少なくとも１つの実施例では、処理クラスタは、図２０Ａの処理クラスタ２０１４Ａ～２０１４Ｎのうちの１つのインスタンスである。少なくとも１つの実施例では、処理クラスタ２０１４は、多くのスレッドを並列で実行するように構成され得、「スレッド」は、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも１つの実施例では、複数の独立した命令ユニットを提供することなしに多数のスレッドの並列実行をサポートするために、単一命令複数データ（ＳＩＭＤ）命令発行技法が使用される。少なくとも１つの実施例では、処理クラスタの各処理クラスタ内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド（ＳＩＭＴ：ｓｉｎｇｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅ－ｔｈｒｅａｄ）技法が使用される。

【0323】

少なくとも１つの実施例では、処理クラスタ２０１４の動作は、ＳＩＭＴ並列プロセッサに処理タスクを分散させるパイプライン・マネージャ２０３２を介して制御され得る。少なくとも１つの実施例では、パイプライン・マネージャ２０３２は、図２０Ａのスケジューラ２０１０から命令を受信し、グラフィックス・マルチプロセッサ２０３４及び／又はテクスチャ・ユニット２０３６を介してそれらの命令の実行を管理する。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかしながら、少なくとも１つの実施例では、異なるアーキテクチャの様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２０１４内に含められ得る。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４の１つ又は複数のインスタンスは、処理クラスタ２０１４内に含められ得る。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４はデータを処理することができ、処理されたデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの１つに分散させるために、データ・クロスバー２０４０が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ２０３２は、データ・クロスバー２０４０を介して分散されることになる処理されたデータのための宛先を指定することによって、処理されたデータの分散を容易にすることができる。

【0324】

少なくとも１つの実施例では、処理クラスタ２０１４内の各グラフィックス・マルチプロセッサ２０３４は、関数実行論理（たとえば、算術論理ユニット、ロード－ストア・ユニットなど）の同一のセットを含むことができる。少なくとも１つの実施例では、関数実行論理は、前の命令が完了する前に新しい命令が発行され得るパイプライン様式で構成され得る。少なくとも１つの実施例では、関数実行論理は、整数及び浮動小数点算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の算出を含む様々な演算をサポートする。少なくとも１つの実施例では、異なる演算を実施するために同じ関数ユニット・ハードウェアが活用され得、関数ユニットの任意の組合せが存在し得る。

【0325】

少なくとも１つの実施例では、処理クラスタ２０１４に送信される命令がスレッドを構成する。少なくとも１つの実施例では、並列処理エンジンのセットにわたって実行しているスレッドのセットが、スレッド・グループである。少なくとも１つの実施例では、スレッド・グループは、異なる入力データに対して共通のプログラムを実行する。少なくとも１つの実施例では、スレッド・グループ内の各スレッドは、グラフィックス・マルチプロセッサ２０３４内の異なる処理エンジンに割り当てられ得る。少なくとも１つの実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも少ないスレッドを含み得る。少なくとも１つの実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含むとき、処理エンジンのうちの１つ又は複数は、そのスレッド・グループが処理されているサイクル中にアイドルであり得る。少なくとも１つの実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも多いスレッドを含み得る。少なくとも１つの実施例では、スレッド・グループがグラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも多くのスレッドを含むとき、連続するクロック・サイクルにわたって処理が実施され得る。少なくとも１つの実施例では、複数のスレッド・グループが、グラフィックス・マルチプロセッサ２０３４上で同時に実行され得る。

【0326】

少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４は、ロード動作及びストア動作を実施するための内部キャッシュ・メモリを含む。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４は、内部キャッシュをやめ、処理クラスタ２０１４内のキャッシュ・メモリ（たとえば、Ｌ１キャッシュ２０４８）を使用することができる。少なくとも１つの実施例では、各グラフィックス・マルチプロセッサ２０３４はまた、パーティション・ユニット（たとえば、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎ）内のＬ２キャッシュへのアクセスをも有し、それらのＬ２キャッシュは、すべての処理クラスタ２０１４の間で共有され、スレッド間でデータを転送するために使用され得る。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４はまた、オフチップ・グローバル・メモリにアクセスし得、オフチップ・グローバル・メモリは、ローカル並列プロセッサ・メモリ及び／又はシステム・メモリのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、並列処理ユニット２００２の外部の任意のメモリが、グローバル・メモリとして使用され得る。少なくとも１つの実施例では、処理クラスタ２０１４は、グラフィックス・マルチプロセッサ２０３４の複数のインスタンスを含み、共通の命令及びデータを共有することができ、共通の命令及びデータは、Ｌ１キャッシュ２０４８に記憶され得る。

【0327】

少なくとも１つの実施例では、各処理クラスタ２０１４は、仮想アドレスを物理アドレスにマッピングするように構成されたＭＭＵ２０４５（メモリ管理ユニット）を含み得る。少なくとも１つの実施例では、ＭＭＵ２０４５の１つ又は複数のインスタンスは、図２０Ａのメモリ・インターフェース２０１８内に存在し得る。少なくとも１つの実施例では、ＭＭＵ２０４５は、仮想アドレスを、タイル及び随意にキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ（ＰＴＥ：ｐａｇｅ ｔａｂｌｅ ｅｎｔｒｙ）のセットを含む。少なくとも１つの実施例では、ＭＭＵ２０４５は、アドレス・トランスレーション・ルックアサイド・バッファ（ＴＬＢ）又はキャッシュを含み得、これらは、グラフィックス・マルチプロセッサ２０３４又はＬ１ ２０４８キャッシュ或いは処理クラスタ２０１４内に存在し得る。少なくとも１つの実施例では、物理アドレスが、表面データ・アクセスをローカルに分散させて、パーティション・ユニットの間での効率的な要求インターリーブを可能にするために処理される。少なくとも１つの実施例では、キャッシュ・ライン・インデックスが、キャッシュ・ラインについての要求がヒットであるのかミスであるのかを決定するために使用され得る。

【0328】

少なくとも１つの実施例では、処理クラスタ２０１４は、各グラフィックス・マルチプロセッサ２０３４が、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置を決定すること、テクスチャ・データを読み取ること、及びテクスチャ・データをフィルタリングすることを実施するためのテクスチャ・ユニット２０３６に結合されるように、構成され得る。少なくとも１つの実施例では、テクスチャ・データは、内部テクスチャＬ１キャッシュ（図示せず）から又はグラフィックス・マルチプロセッサ２０３４内のＬ１キャッシュから読み取られ、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも１つの実施例では、各グラフィックス・マルチプロセッサ２０３４は、処理されたタスクをデータ・クロスバー２０４０に出力して、処理されたタスクを、さらなる処理のために別の処理クラスタ２０１４に提供するか、或いは、処理されたタスクを、メモリ・クロスバー２０１６を介してＬ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに記憶する。少なくとも１つの実施例では、プレＲＯＰ２０４２（プレ・ラスタ演算ユニット）は、グラフィックス・マルチプロセッサ２０３４からデータを受信し、データをＲＯＰユニットにダイレクトするように構成され、ＲＯＰユニットは、本明細書で説明されるようなパーティション・ユニット（たとえば、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎ）とともに位置し得る。少なくとも１つの実施例では、プレＲＯＰ２０４２ユニットは、色ブレンディングのための最適化を実施して、ピクセル色データを組織化し、アドレス・トランスレーションを実施することができる。

【0329】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のためにグラフィックス処理クラスタ２０１４において使用され得る。

【0330】

図２０Ｄは、少なくとも１つの実施例による、グラフィックス・マルチプロセッサ２０３４を示す。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４は、処理クラスタ２０１４のパイプライン・マネージャ２０３２と結合する。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４は、限定はしないが、命令キャッシュ２０５２と、命令ユニット２０５４と、アドレス・マッピング・ユニット２０５６と、レジスタ・ファイル２０５８と、１つ又は複数の汎用グラフィックス処理ユニット（ＧＰＧＰＵ）コア２０６２と、１つ又は複数のロード／ストア・ユニット２０６６とを含む実行パイプラインを有する。少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２及びロード／ストア・ユニット２０６６は、メモリ及びキャッシュ相互接続２０６８を介してキャッシュ・メモリ２０７２及び共有メモリ２０７０と結合される。

【0331】

少なくとも１つの実施例では、命令キャッシュ２０５２は、実行すべき命令のストリームをパイプライン・マネージャ２０３２から受信する。少なくとも１つの実施例では、命令は、命令キャッシュ２０５２においてキャッシュされ、命令ユニット２０５４による実行のためにディスパッチされる。少なくとも１つの実施例では、命令ユニット２０５４は、命令をスレッド・グループ（たとえば、ワープ）としてディスパッチすることができ、スレッド・グループの各スレッドは、ＧＰＧＰＵコア２０６２内の異なる実行ユニットに割り当てられる。少なくとも１つの実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも１つの実施例では、アドレス・マッピング・ユニット２０５６は、統一アドレス空間中のアドレスを、ロード／ストア・ユニット２０６６によってアクセスされ得る個別メモリ・アドレスにトランスレートするために使用され得る。

【0332】

少なくとも１つの実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４の機能ユニットにレジスタのセットを提供する。少なくとも１つの実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４の機能ユニット（たとえば、ＧＰＧＰＵコア２０６２、ロード／ストア・ユニット２０６６）のデータ経路に接続された、オペランドのための一時的ストレージを提供する。少なくとも１つの実施例では、レジスタ・ファイル２０５８は、各機能ユニットがレジスタ・ファイル２０５８の専用部分を割り振られるように、機能ユニットの各々の間で分割される。一実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４によって実行されている異なるワープ間で分割される。

【0333】

少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２は、各々、グラフィックス・マルチプロセッサ２０３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理ユニット（ＡＬＵ）を含むことができる。少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２は、同様のアーキテクチャであることも異なるアーキテクチャであることもある。少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２の第１の部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、ＧＰＧＰＵコアの第２の部分は、倍精度ＦＰＵを含む。少なくとも１つの実施例では、ＦＰＵは、ＩＥＥＥ７５４－２００８規格浮動小数点算術を実装することができるか、又は、可変精度の浮動小数点算術を有効にすることができる。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２０３４は、追加として、矩形コピー動作又はピクセル・ブレンディング動作などの特定の機能を実施するための１つ又は複数の固定機能ユニット又は特殊機能ユニットを含むことができる。少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２のうちの１つ又は複数は、固定又は特別機能論理をも含むことができる。

【0334】

少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２は、データの複数のセットに対して単一の命令を実施することが可能なＳＩＭＤ論理を含む。少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６命令を物理的に実行し、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２命令を論理的に実行することができる。少なくとも１つの実施例では、ＧＰＧＰＵコアのためのＳＩＭＤ命令は、シェーダ・コンパイラによるコンパイル時に生成されるか、或いは、単一プログラム複数データ（ＳＰＭＤ：ｓｉｎｇｌｅ ｐｒｏｇｒａｍ ｍｕｌｔｉｐｌｅ ｄａｔａ）又はＳＩＭＴアーキテクチャのために書かれ、コンパイルされたプログラムを実行しているときに自動的に生成され得る。少なくとも１つの実施例では、ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行され得る。たとえば、少なくとも１つの実施例では、同じ又は同様の動作を実施する８つのＳＩＭＴスレッドが、単一のＳＩＭＤ８論理ユニットを介して並列に実行され得る。

【0335】

少なくとも１つの実施例では、メモリ及びキャッシュ相互接続２０６８は、グラフィックス・マルチプロセッサ２０３４の各機能ユニットをレジスタ・ファイル２０５８及び共有メモリ２０７０に接続する相互接続ネットワークである。少なくとも１つの実施例では、メモリ及びキャッシュ相互接続２０６８は、ロード／ストア・ユニット２０６６が、共有メモリ２０７０とレジスタ・ファイル２０５８との間でロード動作及びストア動作を実装することを可能にするクロスバー相互接続である。少なくとも１つの実施例では、レジスタ・ファイル２０５８は、ＧＰＧＰＵコア２０６２と同じ周波数において動作することができ、したがって、ＧＰＧＰＵコア２０６２とレジスタ・ファイル２０５８との間のデータ転送は、非常に低いレイテンシを有することができる。少なくとも１つの実施例では、共有メモリ２０７０は、グラフィックス・マルチプロセッサ２０３４内の機能ユニット上で実行するスレッド間の通信を可能にするために使用され得る。少なくとも１つの実施例では、キャッシュ・メモリ２０７２は、たとえば、機能ユニットとテクスチャ・ユニット２０３６との間で通信されるテクスチャ・データをキャッシュするために、データ・キャッシュとして使用され得る。少なくとも１つの実施例では、共有メモリ２０７０は、プログラム管理キャッシュとしても使用され得る。少なくとも１つの実施例では、ＧＰＧＰＵコア２０６２上で実行しているスレッドは、キャッシュ・メモリ２０７２内に記憶される自動的にキャッシュされるデータに加えて、データを共有メモリ内にプログラム的に記憶することができる。

【0336】

少なくとも１つの実施例では、本明細書で説明されるような並列プロセッサ又はＧＰＧＰＵは、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速するために、ホスト／プロセッサ・コアに通信可能に結合される。少なくとも１つの実施例では、ＧＰＵは、バス又は他の相互接続（たとえば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホスト・プロセッサ／コアに通信可能に結合され得る。少なくとも１つの実施例では、ＧＰＵは、コアとしてパッケージ又はチップに集積され、パッケージ又はチップの内部の内部プロセッサ・バス／相互接続を介してコアに通信可能に結合され得る。少なくとも１つの実施例では、ＧＰＵが接続される様式にかかわらず、プロセッサ・コアは、ワーク記述子中に含まれているコマンド／命令のシーケンスの形態で、ワークをそのようなＧＰＵに割り振り得る。少なくとも１つの実施例では、そのＧＰＵは、次いで、これらのコマンド／命令を効率的に処理するための専用回路要素／論理を使用する。

【0337】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のためにグラフィックス・マルチプロセッサ２０３４において使用され得る。

【0338】

少なくとも１つの実施例では、図２０Ａ～図２０Ｄに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２０Ａ～図２０Ｄに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２０Ａ～図２０Ｄに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0339】

図２１は、少なくとも１つの実施例による、マルチＧＰＵコンピューティング・システム２１００を示す。少なくとも１つの実施例では、マルチＧＰＵコンピューティング・システム２１００は、ホスト・インターフェース・スイッチ２１０４を介して複数の汎用グラフィックス処理ユニット（ＧＰＧＰＵ）２１０６Ａ～Ｄに結合されたプロセッサ２１０２を含むことができる。少なくとも１つの実施例では、ホスト・インターフェース・スイッチ２１０４は、プロセッサ２１０２をＰＣＩエクスプレス・バスに結合するＰＣＩエクスプレス・スイッチ・デバイスであり、ＰＣＩエクスプレス・バスを介して、プロセッサ２１０２は、ＧＰＧＰＵ２１０６Ａ～Ｄと通信することができる。少なくとも１つの実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、高速ポイントツーポイントＧＰＵツーＧＰＵリンク２１１６のセットを介して相互接続することができる。少なくとも１つの実施例では、ＧＰＵツーＧＰＵリンク２１１６は、専用ＧＰＵリンクを介してＧＰＧＰＵ２１０６Ａ～Ｄの各々に接続する。少なくとも１つの実施例では、Ｐ２Ｐ ＧＰＵリンク２１１６は、プロセッサ２１０２が接続されるホスト・インターフェース・バス２１０４を介した通信を必要とすることなしにＧＰＧＰＵ２１０６Ａ～Ｄの各々の間の直接通信を可能にする。少なくとも１つの実施例では、Ｐ２Ｐ ＧＰＵリンク２１１６にダイレクトされたＧＰＵツーＧＰＵトラフィックがある場合、ホスト・インターフェース・バス２１０４は、システム・メモリ・アクセスのために、又はたとえば１つ又は複数のネットワーク・デバイスを介してマルチＧＰＵコンピューティング・システム２１００の他のインスタンスと通信するために、利用可能なままである。少なくとも１つの実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、ホスト・インターフェース・スイッチ２１０４を介してプロセッサ２１０２に接続し、少なくとも１つの実施例では、プロセッサ２１０２は、Ｐ２Ｐ ＧＰＵリンク２１１６の直接サポートを含み、ＧＰＧＰＵ２１０６Ａ～Ｄに直接接続することができる。

【0340】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のためにマルチＧＰＵコンピューティング・システム２１００において使用され得る。

【0341】

少なくとも１つの実施例では、図２１に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２１に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２１に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0342】

図２２は、少なくとも１つの実施例による、グラフィックス・プロセッサ２２００のブロック図である。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２と、パイプライン・フロント・エンド２２０４と、メディア・エンジン２２３７と、グラフィックス・コア２２８０Ａ～２２８０Ｎとを含む。少なくとも１つの実施例では、リング相互接続２２０２は、グラフィックス・プロセッサ２２００を、他のグラフィックス・プロセッサ又は１つ又は複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、マルチコア処理システム内に組み込まれた多くのプロセッサのうちの１つである。

【0343】

少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２を介してコマンドのバッチを受信する。少なくとも１つの実施例では、入って来るコマンドは、パイプライン・フロント・エンド２２０４中のコマンド・ストリーマ２２０３によって解釈される。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、（１つ又は複数の）グラフィックス・コア２２８０Ａ～２２８０Ｎを介して３Ｄジオメトリ処理及びメディア処理を実施するためのスケーラブル実行論理を含む。少なくとも１つの実施例では、３Ｄジオメトリ処理コマンドについて、コマンド・ストリーマ２２０３は、コマンドをジオメトリ・パイプライン２２３６に供給する。少なくとも１つの実施例では、少なくともいくつかのメディア処理コマンドについて、コマンド・ストリーマ２２０３は、コマンドをビデオ・フロント・エンド２２３４に供給し、ビデオ・フロント・エンド２２３４はメディア・エンジン２２３７と結合する。少なくとも１つの実施例では、メディア・エンジン２２３７は、ビデオ及び画像後処理のためのビデオ品質エンジン（ＶＱＥ：Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｎｇｉｎｅ）２２３０と、ハードウェア加速メディア・データ符号化及び復号を提供するためのマルチ・フォーマット・エンコード／デコード（ＭＦＸ：ｍｕｌｔｉ－ｆｏｒｍａｔ ｅｎｃｏｄｅ／ｄｅｃｏｄｅ）２２３３エンジンとを含む。少なくとも１つの実施例では、ジオメトリ・パイプライン２２３６及びメディア・エンジン２２３７は、各々、少なくとも１つのグラフィックス・コア２２８０によって提供されるスレッド実行リソースのための実行スレッドを生成する。

【0344】

少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、各々が（コア・サブ・スライスと呼ばれることもある）複数のサブ・コア２２５０Ａ～５０Ｎ、２２６０Ａ～２２６０Ｎを有する、（モジュール式であり得、コア・スライスと呼ばれることもある）グラフィックス・コア２２８０Ａ～２２８０Ｎを特徴とするスケーラブル・スレッド実行リソースを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、任意の数のグラフィックス・コア２２８０Ａを有することができる。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、少なくとも第１のサブ・コア２２５０Ａ及び第２のサブ・コア２２６０Ａを有するグラフィックス・コア２２８０Ａを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、単一のサブ・コア（たとえば、２２５０Ａ）をもつ低電力プロセッサである。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、各々が第１のサブ・コア２２５０Ａ～２２５０Ｎのセットと第２のサブ・コア２２６０Ａ～２２６０Ｎのセットとを含む、複数のグラフィックス・コア２２８０Ａ～２２８０Ｎを含む。少なくとも１つの実施例では、第１のサブ・コア２２５０Ａ～２２５０Ｎ中の各サブ・コアは、少なくとも、実行ユニット２２５２Ａ～２２５２Ｎ及びメディア／テクスチャ・サンプラ２２５４Ａ～２２５４Ｎの第１のセットを含む。少なくとも１つの実施例では、第２のサブ・コア２２６０Ａ～２２６０Ｎ中の各サブ・コアは、少なくとも、実行ユニット２２６２Ａ～２２６２Ｎ及びサンプラ２２６４Ａ～２２６４Ｎの第２のセットを含む。少なくとも１つの実施例では、各サブ・コア２２５０Ａ～２２５０Ｎ、２２６０Ａ～２２６０Ｎは、共有リソース２２７０Ａ～２２７０Ｎのセットを共有する。少なくとも１つの実施例では、共有リソースは、共有キャッシュ・メモリ及びピクセル動作論理を含む。

【0345】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のためにグラフィックス・プロセッサ２２００において使用され得る。

【0346】

少なくとも１つの実施例では、図２２に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２２に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２２に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0347】

図２３は、少なくとも１つの実施例による、命令を実施するための論理回路を含み得るプロセッサ２３００のためのマイクロアーキテクチャを示すブロック図である。少なくとも１つの実施例では、プロセッサ２３００は、ｘ８６命令、ＡＭＲ命令、特定用途向け集積回路（ＡＳＩＣ）のための特別命令などを含む命令を実施し得る。少なくとも１つの実施例では、プロセッサ２３００は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎからの、ＭＭＸ技術で可能にされたマイクロプロセッサ中の６４ビット幅ＭＭＸ（商標）レジスタなど、パック・データを記憶するためのレジスタを含み得る。少なくとも１つの実施例では、整数形式と浮動小数点形式の両方で利用可能なＭＭＸレジスタは、単一命令複数データ（「ＳＩＭＤ」）及びストリーミングＳＩＭＤ拡張（「ＳＳＥ」：ｓｔｒｅａｍｉｎｇ ＳＩＭＤ ｅｘｔｅｎｓｉｏｎ）命令を伴うパック・データ要素で動作し得る。少なくとも１つの実施例では、ＳＳＥ２、ＳＳＥ３、ＳＳＥ４、ＡＶＸ、又はそれ以上（総称して「ＳＳＥｘ」と呼ばれる）技術に関係する１２８ビット幅ＸＭＭレジスタは、そのようなパック・データ・オペランドを保持し得る。少なくとも１つの実施例では、プロセッサ２３００は、機械学習アルゴリズム又は深層学習アルゴリズム、訓練、或いは推論を加速するために命令を実施し得る。

【0348】

少なくとも１つの実施例では、プロセッサ２３００は、実行されるべき命令をフェッチし、プロセッサ・パイプラインにおいて後で使用されるべき命令を準備するためのイン・オーダー・フロント・エンド（「フロント・エンド」）２３０１を含む。少なくとも１つの実施例では、フロント・エンド２３０１は、いくつかのユニットを含み得る。少なくとも１つの実施例では、命令プリフェッチャ２３２６が、メモリから命令をフェッチし、命令を命令デコーダ２３２８にフィードし、命令デコーダ２３２８が命令を復号又は解釈する。たとえば、少なくとも１つの実施例では、命令デコーダ２３２８は、受信された命令を、機械が実行し得る「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる（「マイクロ・オプ」又は「ｕｏｐ」とも呼ばれる）１つ又は複数のオペレーションに復号する。少なくとも１つの実施例では、命令デコーダ２３２８は、命令を、少なくとも１つの実施例による動作を実施するためにマイクロアーキテクチャによって使用され得るオプコード及び対応するデータ並びに制御フィールドに構文解析する。少なくとも１つの実施例では、トレース・キャッシュ２３３０は、復号されたｕｏｐを、実行のためにｕｏｐキュー２３３４においてプログラム順のシーケンス又はトレースにアセンブルし得る。少なくとも１つの実施例では、トレース・キャッシュ２３３０が複雑な命令に遭遇したとき、マイクロコードＲＯＭ２３３２が、動作を完了するために必要なｕｏｐを提供する。

【0349】

少なくとも１つの実施例では、単一のマイクロ・オプにコンバートされ得る命令もあれば、全動作を完了するためにいくつかのマイクロ・オプを必要とする命令もある。少なくとも１つの実施例では、命令を完了するために５つ以上のマイクロ・オプが必要とされる場合、命令デコーダ２３２８は、マイクロコードＲＯＭ２３３２にアクセスしてその命令を実施し得る。少なくとも１つの実施例では、命令は、命令デコーダ２３２８における処理のために少数のマイクロ・オプに復号され得る。少なくとも１つの実施例では、命令は、そのような動作を達成するためにいくつかのマイクロ・オプが必要とされる場合、マイクロコードＲＯＭ２３３２内に記憶され得る。少なくとも１つの実施例では、トレース・キャッシュ２３３０は、少なくとも１つの実施例によるマイクロコードＲＯＭ２３３２からの１つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ（「ＰＬＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを決定する。少なくとも１つの実施例では、マイクロコードＲＯＭ２３３２が命令のためにマイクロ・オプのシーケンシングを終えた後、機械のフロント・エンド２３０１は、トレース・キャッシュ２３３０からマイクロ・オプをフェッチすることを再開し得る。

【0350】

少なくとも１つの実施例では、アウト・オブ・オーダー実行エンジン（「アウト・オブ・オーダー・エンジン」）２３０３は、実行のために命令を準備し得る。少なくとも１つの実施例では、アウト・オブ・オーダー実行論理は、命令がパイプラインを下り、実行のためにスケジューリングされるときの性能を最適化するために、命令のフローをなめらかにし、それを並び替えるためのいくつかのバッファを有する。少なくとも１つの実施例では、アウト・オブ・オーダー実行エンジン２３０３は、限定はしないが、アロケータ／レジスタ・リネーマ２３４０と、メモリｕｏｐキュー２３４２と、整数／浮動小数点ｕｏｐキュー２３４４と、メモリ・スケジューラ２３４６と、高速スケジューラ２３０２と、低速／汎用浮動小数点スケジューラ（「低速／汎用ＦＰ（ｆｌｏａｔｉｎｇ ｐｏｉｎｔ）スケジューラ」）２３０４と、単純浮動小数点スケジューラ（「単純ＦＰスケジューラ」）２３０６とを含む。少なくとも１つの実施例では、高速スケジューラ２３０２、低速／汎用浮動小数点スケジューラ２３０４、及び単純浮動小数点スケジューラ２３０６は、総称して本明細書では「ｕｏｐスケジューラ２３０２、２３０４、２３０６」とも呼ばれる。少なくとも１つの実施例では、アロケータ／レジスタ・リネーマ２３４０は、実行するために各ｕｏｐが必要とする機械バッファ及びリソースを割り振る。少なくとも１つの実施例では、アロケータ／レジスタ・リネーマ２３４０は、レジスタ・ファイルへのエントリ時に論理レジスタをリネームする。少なくとも１つの実施例では、アロケータ／レジスタ・リネーマ２３４０はまた、メモリ・スケジューラ２３４６及びｕｏｐスケジューラ２３０２、２３０４、２３０６の前の、２つのｕｏｐキュー、すなわちメモリ動作のためのメモリｕｏｐキュー２３４２及び非メモリ動作のための整数／浮動小数点ｕｏｐキュー２３４４のうちの１つにおいて、各ｕｏｐのためのエントリを割り振る。少なくとも１つの実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、ｕｏｐがいつ実行する準備ができるかを、それらの従属入力レジスタ・オペランド・ソースが準備されていることと、それらの動作を完了するためにｕｏｐが必要とする実行リソースの利用可能性とに基づいて、決定する。少なくとも１つの実施例では、高速スケジューラ２３０２は、メイン・クロック・サイクルの半分ごとにスケジューリングし得、低速／汎用浮動小数点スケジューラ２３０４及び単純浮動小数点スケジューラ２３０６は、メイン・プロセッサ・クロック・サイクル当たりに１回スケジューリングし得る。少なくとも１つの実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、実行のためにｕｏｐをスケジューリングするためにディスパッチ・ポートを調停する。

【0351】

少なくとも１つの実施例では、実行ブロック２３１１は、限定はしないが、整数レジスタ・ファイル／バイパス・ネットワーク２３０８と、浮動小数点レジスタ・ファイル／バイパス・ネットワーク（「ＦＰレジスタ・ファイル／バイパス・ネットワーク」）２３１０と、アドレス生成ユニット（「ＡＧＵ」：ａｄｄｒｅｓｓ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ）２３１２及び２３１４と、高速算術論理ユニット（ＡＬＵ）（「高速ＡＬＵ」）２３１６及び２３１８と、低速算術論理ユニット（「低速ＡＬＵ」）２３２０と、浮動小数点ＡＬＵ（「ＦＰ」）２３２２と、浮動小数点移動ユニット（「ＦＰ移動」）２３２４とを含む。少なくとも１つの実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８及び浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、本明細書では「レジスタ・ファイル２３０８、２３１０」とも呼ばれる。少なくとも１つの実施例では、ＡＧＵ２３１２及び２３１４、高速ＡＬＵ２３１６及び２３１８、低速ＡＬＵ２３２０、浮動小数点ＡＬＵ２３２２、及び浮動小数点移動ユニット２３２４は、本明細書では「実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４」とも呼ばれる。少なくとも１つの実施例では、実行ブロック２３１１は、限定はしないが、（ゼロを含む）任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含み得る。

【0352】

少なくとも１つの実施例では、レジスタ・ネットワーク２３０８、２３１０は、ｕｏｐスケジューラ２３０２、２３０４、２３０６と、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４との間に配置され得る。少なくとも１つの実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、整数演算を実施する。少なくとも１つの実施例では、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、浮動小数点演算を実施する。少なくとも１つの実施例では、レジスタ・ネットワーク２３０８、２３１０の各々は、限定はしないが、バイパス・ネットワークを含み得、バイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属ｕｏｐにバイパス又はフォワーディングし得る。少なくとも１つの実施例では、レジスタ・ネットワーク２３０８、２３１０は、互いにデータを通信し得る。少なくとも１つの実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、限定はしないが、２つの別個のレジスタ・ファイル、すなわち低次３２ビットのデータのための１つのレジスタ・ファイル及び高次３２ビットのデータのための第２のレジスタ・ファイルを含み得る。少なくとも１つの実施例では、浮動小数点命令は、通常、６４～１２８ビット幅のオペランドを有するので、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、限定はしないが、１２８ビット幅のエントリを含み得る。

【0353】

少なくとも１つの実施例では、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４は、命令を実行し得る。少なくとも１つの実施例では、レジスタ・ネットワーク２３０８、２３１０は、マイクロ命令が実行する必要がある整数及び浮動小数点データ・オペランド値を記憶する。少なくとも１つの実施例では、プロセッサ２３００は、限定はしないが、任意の数及び組合せの実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４を含み得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、浮動小数点、ＭＭＸ、ＳＩＭＤ、ＡＶＸ及びＳＥＥ、又は特別な機械学習命令を含む他の演算を実行し得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２は、限定はしないが、除算、平方根、及び剰余マイクロ・オプを実行するための６４ビットずつの浮動小数点デバイダを含み得る。少なくとも１つの実施例では、浮動小数点値を伴う命令は、浮動小数点ハードウェアで対処され得る。少なくとも１つの実施例では、ＡＬＵ演算は、高速ＡＬＵ２３１６、２３１８に渡され得る。少なくとも１つの実施例では、高速ＡＬＵ２３１６、２３１８は、クロック・サイクルの半分の実効レイテンシを伴う高速演算を実行し得る。少なくとも１つの実施例では、低速ＡＬＵ２３２０は、限定はしないが、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを含み得るので、ほとんどの複雑な整数演算は低速ＡＬＵ２３２０に進む。少なくとも１つの実施例では、メモリ・ロード／ストア動作は、ＡＧＵ２３１２、２３１４によって実行され得る。少なくとも１つの実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、６４ビット・データ・オペランドで整数演算を実施し得る。少なくとも１つの実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、１６、３２、１２８、２５６などを含む様々なデータ・ビット・サイズをサポートするために実装され得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、ＳＩＭＤ及びマルチメディア命令と併せた１２８ビット幅のパック・データ・オペランドなど、様々なビット幅を有する様々なオペランドをサポートするために実装され得る。

【0354】

少なくとも１つの実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、親ロードが実行し終える前に従属演算をディスパッチする。少なくとも１つの実施例では、ｕｏｐは、プロセッサ２３００において投機的にスケジューリング及び実行され得るので、プロセッサ２３００は、メモリ・ミスに対処するための論理をも含み得る。少なくとも１つの実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータをもつスケジューラを通り過ぎたパイプラインにおいて、進行中の従属演算があり得る。少なくとも１つの実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも１つの実施例では、従属演算は、リプレイされる必要があり得、独立した演算は、完了することを可能にされ得る。少なくとも１つの実施例では、プロセッサの少なくとも１つの実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計され得る。

【0355】

少なくとも１つの実施例では、「レジスタ」は、オペランドを識別するための命令の一部として使用され得るオンボード・プロセッサ・ストレージ・ロケーションを指し得る。少なくとも１つの実施例では、レジスタは、（プログラマの視点から見て）プロセッサの外部から使用可能であり得るものであり得る。少なくとも１つの実施例では、レジスタは、特定のタイプの回路に限定されないことがある。むしろ、少なくとも１つの実施例では、レジスタは、データを記憶し、データを提供し、本明細書で説明される機能を実施し得る。少なくとも１つの実施例では、本明細書で説明されるレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に割り振られる物理レジスタ、専用物理レジスタと動的に割り振られる物理レジスタとの組合せなど、任意の数の異なる技法を使用して、プロセッサ内の回路要素によって実装され得る。少なくとも１つの実施例では、整数レジスタは、３２ビット整数データを記憶する。少なくとも１つの実施例のレジスタ・ファイルは、パック・データのための８つのマルチメディアＳＩＭＤレジスタをも含んでいる。

【0356】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、実行ブロック２３１１と、示されている又は示されていない他のメモリ又はレジスタとに組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、実行ブロック２３１１に示されているＡＬＵのうちの１つ又は複数を使用し得る。その上、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するための実行ブロック２３１１のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0357】

少なくとも１つの実施例では、図２３に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２３に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２３に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0358】

図２４は、少なくとも１つの実施例による、深層学習アプリケーション・プロセッサ２４００を示す。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサ２４００は、深層学習アプリケーション・プロセッサ２４００によって実行された場合、深層学習アプリケーション・プロセッサ２４００に、本開示全体を通して説明されるプロセス及び技法のいくつか又はすべてを実施させる命令を使用する。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサ２４００は、特定用途向け集積回路（ＡＳＩＣ）である。少なくとも１つの実施例では、アプリケーション・プロセッサ２４００は、１つ又は複数の命令又は両方を実施した結果としていずれもハードウェアに「ハード・ワイヤード」された行列乗算演算を実施する。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサ２４００は、限定はしないが、処理クラスタ２４１０（１）～２４１０（１２）と、チップ間リンク（「ＩＣＬ」：Ｉｎｔｅｒ－Ｃｈｉｐ Ｌｉｎｋ）２４２０（１）～２４２０（１２）と、チップ間コントローラ（「ＩＣＣ」：Ｉｎｔｅｒ－Ｃｈｉｐ Ｃｏｎｔｒｏｌｌｅｒ）２４３０（１）～２４３０（２）と、高帯域幅メモリ第２世代（「ＨＢＭ２」：ｈｉｇｈ－ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ）２４４０（１）～２４４０（４）と、メモリ・コントローラ（「Ｍｅｍ Ｃｔｒｌｒ」）２４４２（１）～２４４２（４）と、高帯域幅メモリ物理層（「ＨＢＭ ＰＨＹ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ ｐｈｙｓｉｃａｌ ｌａｙｅｒ）２４４４（１）～２４４４（４）と、管理－コントローラ中央処理ユニット（「管理－コントローラＣＰＵ」）２４５０と、シリアル周辺インターフェース、集積回路間、及び汎用入力／出力ブロック（「ＳＰＩ、Ｉ^２Ｃ、ＧＰＩＯ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ，Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ａｎｄ Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）２４６０と、周辺構成要素相互接続エクスプレス・コントローラ及びダイレクト・メモリ・アクセスブロック（「ＰＣＩｅコントローラ及びＤＭＡ」）２４７０と、１６レーン周辺構成要素相互接続エクスプレス・ポート（「ＰＣＩ Ｅｘｐｒｅｓｓ ｘ １６」）２４８０とを含む。

【0359】

少なくとも１つの実施例では、処理クラスタ２４１０は、本明細書で説明される技法を含む１つ又は複数の訓練技法を使用して計算された重みパラメータに基づいて、推論又は予測演算を含む深層学習演算を実施し得る。少なくとも１つの実施例では、各処理クラスタ２４１０は、限定はしないが、任意の数及びタイプのプロセッサを含み得る。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサ２４００は、任意の数及びタイプの処理クラスタ２４００を含み得る。少なくとも１つの実施例では、チップ間リンク２４２０は、双方向性である。少なくとも１つの実施例では、チップ間リンク２４２０及びチップ間コントローラ２４３０は、複数の深層学習アプリケーション・プロセッサ２４００が、１つ又は複数のニューラル・ネットワークにおいて具体化された１つ又は複数の機械学習アルゴリズムを実施したことから得られるアクティブ化情報を含む情報を交換することを可能にする。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサ２４００は、（ゼロを含む）任意の数及びタイプのＩＣＬ２４２０及びＩＣＣ２４３０を含み得る。

【0360】

少なくとも１つの実施例では、ＨＢＭ２ ２４４０は、合計３２ギガバイト（ＧＢ：Ｇｉｇａｂｙｔｅ）のメモリを提供する。少なくとも１つの実施例では、ＨＢＭ２ ２４４０（ｉ）は、メモリ・コントローラ２４４２（ｉ）とＨＢＭ ＰＨＹ２４４４（ｉ）の両方に関連し、ここで、「ｉ」は任意の整数である。少なくとも１つの実施例では、任意の数のＨＢＭ２ ２４４０が、任意のタイプ及び合計量の高帯域幅メモリを提供し得、（ゼロを含む）任意の数及びタイプのメモリ・コントローラ２４４２及びＨＢＭ ＰＨＹ２４４４に関連し得る。少なくとも１つの実施例では、ＳＰＩ、Ｉ^２Ｃ、ＧＰＩＯ２４６０、ＰＣＩｅコントローラ及びＤＭＡ２４７０、並びに／又はＰＣＩｅ２４８０は、任意の技術的に実現可能な様式で任意の数及びタイプの通信規格を有効にする任意の数及びタイプのブロックと置き換えられ得る。

【0361】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサは、深層学習アプリケーション・プロセッサ２４００に提供される情報を予測又は推論するために、ニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサ２４００は、別のプロセッサ又はシステムによって、或いは深層学習アプリケーション・プロセッサ２４００によって訓練された、訓練された機械学習モデル（たとえば、ニューラル・ネットワーク）に基づいて、情報を推論又は予測するために使用される。少なくとも１つの実施例では、プロセッサ２４００は、本明細書で説明される１つ又は複数のニューラル・ネットワーク使用事例を実施するために使用され得る。

【0362】

少なくとも１つの実施例では、図２４に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２４に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２４に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0363】

図２５は、少なくとも１つの実施例による、ニューロモーフィック・プロセッサ２５００のブロック図である。少なくとも１つの実施例では、ニューロモーフィック・プロセッサ２５００は、ニューロモーフィック・プロセッサ２５００の外部のソースから１つ又は複数の入力を受信し得る。少なくとも１つの実施例では、これらの入力は、ニューロモーフィック・プロセッサ２５００内の１つ又は複数のニューロン２５０２に送信され得る。少なくとも１つの実施例では、ニューロン２５０２及びその構成要素は、１つ又は複数の算術論理ユニット（ＡＬＵ）を含む回路要素又は論理を使用して、実装され得る。少なくとも１つの実施例では、ニューロモーフィック・プロセッサ２５００は、限定はしないが、ニューロン２５０２の数千又は数百万のインスタンスを含み得るが、任意の好適な数のニューロン２５０２が使用され得る。少なくとも１つの実施例では、ニューロン２５０２の各インスタンスは、ニューロン入力２５０４及びニューロン出力２５０６を含み得る。少なくとも１つの実施例では、ニューロン２５０２は出力を生成し得、この出力は、ニューロン２５０２の他のインスタンスの入力に送信され得る。たとえば、少なくとも１つの実施例では、ニューロン入力２５０４及びニューロン出力２５０６は、シナプス２５０８を介して相互接続され得る。

【0364】

少なくとも１つの実施例では、ニューロン２５０２とシナプス２５０８とは、ニューロモーフィック・プロセッサ２５００によって受信された情報を処理又は分析するようにニューロモーフィック・プロセッサ２５００が動作するように、相互接続され得る。少なくとも１つの実施例では、ニューロン２５０２は、ニューロン入力２５０４を通して受信された入力がしきい値を超えたとき、出力パルス（或いは「発火」又は「スパイク」）を送信し得る。少なくとも１つの実施例では、ニューロン２５０２は、ニューロン入力２５０４において受信された信号を合計又は積分し得る。たとえば、少なくとも１つの実施例では、ニューロン２５０２は、漏れ積分発火ニューロン（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ－ａｎｄ－ｆｉｒｅ ｎｅｕｒｏｎ）として実装され得、（「膜電位」と呼ばれる）合計がしきい値を超える場合、ニューロン２５０２は、シグモイド関数又はしきい値関数などの伝達関数を使用して出力（又は「発火」）を生成し得る。少なくとも１つの実施例では、漏れ積分発火ニューロンは、ニューロン入力２５０４において受信された信号を合計して膜電位にし得、また、減衰係数（又は漏れ）を適用して膜電位を低減し得る。少なくとも１つの実施例では、複数の入力信号が、しきい値を超えるほど十分に素早く（すなわち、膜電位減衰が低すぎて発火できなくなる前に）ニューロン入力２５０４において受信された場合、漏れ積分発火ニューロンが発火し得る。少なくとも１つの実施例では、ニューロン２５０２は、入力を受信し、入力を積分して膜電位にし、膜電位を減衰させる回路又は論理を使用して、実装され得る。少なくとも１つの実施例では、入力は平均化され得るか、又は任意の他の好適な伝達関数が使用され得る。さらに、少なくとも１つの実施例では、ニューロン２５０２は、限定はしないが、ニューロン入力２５０４に伝達関数を適用した結果がしきい値を超えたときにニューロン出力２５０６において出力スパイクを生成するコンパレータ回路又は論理を含み得る。少なくとも１つの実施例では、ニューロン２５０２は、発火すると、前に受信された入力情報を、たとえば膜電位を０又は別の好適なデフォルト値に再設定することによって、無視し得る。少なくとも１つの実施例では、膜電位が０にリセットされると、ニューロン２５０２は、好適な時間期間（又は不応期）の後に通常の動作を再開し得る。

【0365】

少なくとも１つの実施例では、ニューロン２５０２は、シナプス２５０８を通して相互接続され得る。少なくとも１つの実施例では、シナプス２５０８は、第１のニューロン２５０２の出力から第２のニューロン２５０２の入力に信号を送信するように動作し得る。少なくとも１つの実施例では、ニューロン２５０２は、シナプス２５０８の２つ以上のインスタンスを介して情報を送信し得る。少なくとも１つの実施例では、ニューロン出力２５０６の１つ又は複数のインスタンスは、シナプス２５０８のインスタンスを介して、同じニューロン２５０２中のニューロン入力２５０４のインスタンスに接続され得る。少なくとも１つの実施例では、シナプス２５０８のインスタンスを介して送信されるべき出力を生成するニューロン２５０２のインスタンスは、シナプス２５０８のそのインスタンスに対して「シナプス前ニューロン」と呼ばれることがある。少なくとも１つの実施例では、シナプス２５０８のインスタンスを介して送信される入力を受信するニューロン２５０２のインスタンスは、シナプス２５０８のそのインスタンスに対して「シナプス後ニューロン」と呼ばれることがある。少なくとも１つの実施例では、ニューロン２５０２のインスタンスは、シナプス２５０８の１つ又は複数のインスタンスから入力を受信し得、また、シナプス２５０８の１つ又は複数のインスタンスを介して出力を送信し得るので、ニューロン２５０２の単一のインスタンスは、したがって、シナプス２５０８の様々なインスタンスに対して「シナプス前ニューロン」と「シナプス後ニューロン」の両方であり得る。

【0366】

少なくとも１つの実施例では、ニューロン２５０２は、１つ又は複数の層に組織化され得る。少なくとも１つの実施例では、ニューロン２５０２の各インスタンスは、１つ又は複数のシナプス２５０８を通して１つ又は複数のニューロン入力２５０４にファン・アウトし得る１つのニューロン出力２５０６を有し得る。少なくとも１つの実施例では、第１の層２５１０中のニューロン２５０２のニューロン出力２５０６は、第２の層２５１２中のニューロン２５０２のニューロン入力２５０４に接続され得る。少なくとも１つの実施例では、層２５１０は、「フィード・フォワード層」と呼ばれることがある。少なくとも１つの実施例では、第１の層２５１０のインスタンスにおけるニューロン２５０２の各インスタンスは、第２の層２５１２中のニューロン２５０２の各インスタンスにファン・アウトし得る。少なくとも１つの実施例では、第１の層２５１０は、「完全に接続された（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）フィード・フォワード層」と呼ばれることがある。少なくとも１つの実施例では、第２の層２５１２のインスタンスにおけるニューロン２５０２の各インスタンスは、第３の層２５１４中のニューロン２５０２のすべてのインスタンスよりも少ないインスタンスにファン・アウトし得る。少なくとも１つの実施例では、第２の層２５１２は、「疎に接続された（ｓｐａｒｓｅｌｙ ｃｏｎｎｅｃｔｅｄ）フィード・フォワード層」と呼ばれることがある。少なくとも１つの実施例では、第２の層２５１２中のニューロン２５０２は、同じく第２の層２５１２中にあるニューロン２５０２を含む、複数の他の層中のニューロン２５０２にファン・アウトし得る。少なくとも１つの実施例では、第２の層２５１２は、「リカレント層」と呼ばれることがある。少なくとも１つの実施例では、ニューロモーフィック・プロセッサ２５００は、限定はしないが、限定はしないが疎に接続されたフィード・フォワード層と完全に接続されたフィード・フォワード層の両方を含む、リカレント層とフィード・フォワード層との任意の好適な組合せを含み得る。

【0367】

少なくとも１つの実施例では、ニューロモーフィック・プロセッサ２５００は、限定はしないが、シナプス２５０８をニューロン２５０２に接続するための再構成可能相互接続アーキテクチャ又は専用ハード・ワイヤード相互接続を含み得る。少なくとも１つの実施例では、ニューロモーフィック・プロセッサ２５００は、ニューラル・ネットワーク・トポロジ及びニューロン・ファン・イン／ファン・アウトに基づいて、必要に応じてシナプスが異なるニューロン２５０２に割り振られることを可能にする回路要素又は論理を含み得る。たとえば、少なくとも１つの実施例では、シナプス２５０８は、ネットワーク・オンチップなどの相互接続ファブリックを使用して、又は専用接続を用いて、ニューロン２５０２に接続され得る。少なくとも１つの実施例では、シナプス相互接続及びその構成要素は、回路要素又は論理を使用して実装され得る。

【0368】

少なくとも１つの実施例では、図２５に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２５に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２５に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0369】

図２６は、少なくとも１つの実施例による、処理システムのブロック図である。少なくとも１つの実施例では、システム２６００は、１つ又は複数のプロセッサ２６０２と１つ又は複数のグラフィックス・プロセッサ２６０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ２６０２又はプロセッサ・コア２６０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、システム２６００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

【0370】

少なくとも１つの実施例では、システム２６００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、システム２６００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム２６００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム２６００は、１つ又は複数のプロセッサ２６０２と、１つ又は複数のグラフィックス・プロセッサ２６０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。

【0371】

少なくとも１つの実施例では、１つ又は複数のプロセッサ２６０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア２６０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア２６０７の各々は、特定の命令シーケンス２６０９を処理するように構成される。少なくとも１つの実施例では、命令シーケンス２６０９は、複合命令セット・コンピューティング（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア２６０７は、各々、異なる命令シーケンス２６０９を処理し得、命令シーケンス２６０９は、他の命令シーケンスのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア２６０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含み得る。

【0372】

少なくとも１つの実施例では、プロセッサ２６０２はキャッシュ・メモリ２６０４を含む。少なくとも１つの実施例では、プロセッサ２６０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ２６０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ２６０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ：Ｌａｓｔ Ｌｅｖｅｌ Ｃａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア２６０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル２６０６がプロセッサ２６０２中に含まれ、レジスタ・ファイル２６０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル２６０６は、汎用レジスタ又は他のレジスタを含み得る。

【0373】

少なくとも１つの実施例では、１つ又は複数のプロセッサ２６０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ２６０２とシステム２６００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス２６１０と結合される。少なくとも１つの実施例では、インターフェース・バス２６１０は、ダイレクト・メディア・インターフェース（ＤＭＩ：Ｄｉｒｅｃｔ Ｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース・バス２６１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ２６０２は、統合されたメモリ・コントローラ２６１６と、プラットフォーム・コントローラ・ハブ２６３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ２６１６は、メモリ・デバイスとシステム２６００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（ＰＣＨ：ｐｌａｔｆｏｒｍ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）２６３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

【0374】

少なくとも１つの実施例では、メモリ・デバイス２６２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス２６２０は、１つ又は複数のプロセッサ２６０２がアプリケーション又はプロセスを実行するときの使用のためのデータ２６２２及び命令２６２１を記憶するために、システム２６００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ２６１６はまた、随意の外部グラフィックス・プロセッサ２６１２と結合し、外部グラフィックス・プロセッサ２６１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ２６０２中の１つ又は複数のグラフィックス・プロセッサ２６０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス２６１１は、（１つ又は複数の）プロセッサ２６０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス２６１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス２６１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を含むことができる。

【0375】

少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ２６３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス２６２０及びプロセッサ２６０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ２６４６と、ネットワーク・コントローラ２６３４と、ファームウェア・インターフェース２６２８と、ワイヤレス・トランシーバ２６２６と、タッチ・センサ２６２５と、データ・ストレージ・デバイス２６２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス２６２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又は周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ２６２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ２６２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース２６２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ：ｕｎｉｆｉｅｄ ｅｘｔｅｎｓｉｂｌｅ ｆｉｒｍｗａｒｅ ｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ２６３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス２６１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ２６４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、システム２６００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２：Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ ２））デバイスをシステム２６００に結合するための随意のレガシーＩ／Ｏコントローラ２６４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ２６３０は、キーボードとマウス２６４３との組合せ、カメラ２６４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ２６４２接続入力デバイスにも接続することができる。

【0376】

少なくとも１つの実施例では、メモリ・コントローラ２６１６及びプラットフォーム・コントローラ・ハブ２６３０のインスタンスが、外部グラフィックス・プロセッサ２６１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ２６３０及び／又はメモリ・コントローラ２６１６は、１つ又は複数のプロセッサ２６０２の外部にあり得る。たとえば、少なくとも１つの実施例では、システム２６００は、外部のメモリ・コントローラ２６１６とプラットフォーム・コントローラ・ハブ２６３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ２６０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。

【0377】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ２６０８に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、３Ｄパイプラインにおいて具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ２６０８のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0378】

少なくとも１つの実施例では、図２６に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２６に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２６に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0379】

図２７は、少なくとも１つの実施例による、１つ又は複数のプロセッサ・コア２７０２Ａ～２７０２Ｎと、統合されたメモリ・コントローラ２７１４と、統合されたグラフィックス・プロセッサ２７０８とを有するプロセッサ２７００のブロック図である。少なくとも１つの実施例では、プロセッサ２７００は、破線ボックスによって表される追加コア２７０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット２７０４Ａ～２７０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット２７０６へのアクセスを有する。

【0380】

少なくとも１つの実施例では、内部キャッシュ・ユニット２７０４Ａ～２７０４Ｎと共有キャッシュ・ユニット２７０６とは、プロセッサ２７００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット２７０４Ａ～２７０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット２７０６及び２７０４Ａ～２７０４Ｎ間でコヒーレンシを維持する。

【0381】

少なくとも１つの実施例では、プロセッサ２７００は、１つ又は複数のバス・コントローラ・ユニット２７１６とシステム・エージェント・コア２７１０とのセットをも含み得る。少なくとも１つの実施例では、バス・コントローラ・ユニット２７１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア２７１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア２７１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ２７１４を含む。

【0382】

少なくとも１つの実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア２７１０は、マルチスレッド処理中にコア２７０２Ａ～２７０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア２７１０は、追加として、電力制御ユニット（ＰＣＵ：ｐｏｗｅｒ ｃｏｎｔｒｏｌ ｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア２７０２Ａ～２７０２Ｎ及びグラフィックス・プロセッサ２７０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。

【0383】

少なくとも１つの実施例では、プロセッサ２７００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ２７０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ２７０８は、共有キャッシュ・ユニット２７０６、及び１つ又は複数の統合されたメモリ・コントローラ２７１４を含むシステム・エージェント・コア２７１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア２７１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ２７１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ２７１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ２７０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ２７０８内に組み込まれ得る。

【0384】

少なくとも１つの実施例では、プロセッサ２７００の内部構成要素を結合するために、リング・ベースの相互接続ユニット２７１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ２７０８は、Ｉ／Ｏリンク２７１３を介してリング相互接続２７１２と結合する。

【0385】

少なくとも１つの実施例では、Ｉ／Ｏリンク２７１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール２７１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎの各々と、グラフィックス・プロセッサ２７０８とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール２７１８を使用する。

【0386】

少なくとも１つの実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ａｒｃｈｉｔｅｃｔｕｒｅ）という観点から異種であり、ここで、プロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数の電力コアと結合する。少なくとも１つの実施例では、プロセッサ２７００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。

【0387】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ２７０８に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、３Ｄパイプライン、（１つ又は複数の）グラフィックス・コア２７０２、共有機能論理、又は図２７中の他の論理において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのプロセッサ２７００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0388】

少なくとも１つの実施例では、図２７に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２７に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２７に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0389】

図２８は、グラフィックス・プロセッサ２８００のブロック図であり、グラフィックス・プロセッサ２８００は、個別グラフィックス処理ユニットであり得るか、又は複数の処理コアと統合されたグラフィックス・プロセッサであり得る。少なくとも１つの実施例では、グラフィックス・プロセッサ２８００は、グラフィックス・プロセッサ２８００上のレジスタへのメモリ・マップドＩ／Ｏインターフェースを介して、及びメモリに入れられたコマンドを用いて、通信する。少なくとも１つの実施例では、グラフィックス・プロセッサ２８００は、メモリにアクセスするためのメモリ・インターフェース２８１４を含む。少なくとも１つの実施例では、メモリ・インターフェース２８１４は、ローカル・メモリ、１つ又は複数の内部キャッシュ、１つ又は複数の共有外部キャッシュ、及び／又はシステム・メモリへのインターフェースである。

【0390】

少なくとも１つの実施例では、グラフィックス・プロセッサ２８００はまた、ディスプレイ・デバイス２８２０へのディスプレイ出力データを駆動するためのディスプレイ・コントローラ２８０２を含む。少なくとも１つの実施例では、ディスプレイ・コントローラ２８０２は、ディスプレイ・デバイス２８２０のための１つ又は複数の重なり平面と、複数の層のビデオ又はユーザ・インターフェース要素の合成とのためのハードウェアを含む。少なくとも１つの実施例では、ディスプレイ・デバイス２８２０は、内部又は外部ディスプレイ・デバイスであり得る。少なくとも１つの実施例では、ディスプレイ・デバイス２８２０は、仮想現実（ＶＲ）ディスプレイ・デバイス又は拡張現実（ＡＲ）ディスプレイ・デバイスなどの頭部装着型ディスプレイ・デバイスである。少なくとも１つの実施例では、グラフィックス・プロセッサ２８００は、限定はしないが、ＭＰＥＧ－２などの動画エキスパート・グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマット、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣなどのアドバンスト・ビデオ・コーディング（ＡＶＣ）フォーマット、並びに映画テレビ技術者協会（ＳＭＰＴＥ：Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）４２１Ｍ／ＶＣ－１、及びＪＰＥＧなどのジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマット、及びモーションＪＰＥＧ（ＭＪＰＥＧ：Ｍｏｔｉｏｎ ＪＰＥＧ）フォーマットを含む、１つ又は複数のメディア符号化フォーマットに、それらのフォーマットから、又はそれらのフォーマット間で、メディアを符号化、復号、又はコード変換するためのビデオ・コーデック・エンジン２８０６を含む。

【0391】

少なくとも１つの実施例では、グラフィックス・プロセッサ２８００は、たとえばビット境界ブロック転送を含む２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｔｉｏｎａｌ）ラスタライザ動作を実施するためのブロック画像転送（ＢＬＩＴ：ｂｌｏｃｋ ｉｍａｇｅ ｔｒａｎｓｆｅｒ）エンジン２８０４を含む。しかしながら、少なくとも１つの実施例では、２Ｄグラフィックス動作は、グラフィックス処理エンジン（ＧＰＥ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｅｎｇｉｎｅ）２８１０の１つ又は複数の構成要素を使用して実施される。少なくとも１つの実施例では、ＧＰＥ２８１０は、３次元（３Ｄ）グラフィックス動作及びメディア動作を含むグラフィックス動作を実施するためのコンピュート・エンジンである。

【0392】

少なくとも１つの実施例では、ＧＰＥ２８１０は、３Ｄプリミティブ形状（たとえば、矩形、三角形など）に作用する処理機能を使用して３次元画像及びシーンをレンダリングするなど、３Ｄ動作を実施するための３Ｄパイプライン２８１２を含む。少なくとも１つの実施例では、３Ｄパイプライン２８１２は、プログラマブル及び固定機能要素を含み、この機能要素は、３Ｄ／メディア・サブシステム２８１５に対して様々なタスクを実施し、及び／又は実行スレッドをスポーンする。３Ｄパイプライン２８１２はメディア動作を実施するために使用され得るが、少なくとも１つの実施例では、ＧＰＥ２８１０は、ビデオ後処理及び画像強調などのメディア動作を実施するために使用されるメディア・パイプライン２８１６をも含む。

【0393】

少なくとも１つの実施例では、メディア・パイプライン２８１６は、ビデオ・コーデック・エンジン２８０６の代わりに、又はそれに代わって、ビデオ・デコード加速、ビデオ・インターレース解除、及びビデオ・エンコード加速などの１つ又は複数の特別なメディア動作を実施するための固定機能又はプログラマブル論理ユニットを含む。少なくとも１つの実施例では、メディア・パイプライン２８１６は、追加として、３Ｄ／メディア・サブシステム２８１５上での実行のためにスレッドをスポーンするためのスレッド・スポーニング（ｔｈｒｅａｄ ｓｐａｗｎｉｎｇ）・ユニットを含む。少なくとも１つの実施例では、スポーンされたスレッドは、３Ｄ／メディア・サブシステム２８１５中に含まれる１つ又は複数のグラフィックス実行ユニット上でメディア動作のための算出を実施する。

【0394】

少なくとも１つの実施例では、３Ｄ／メディア・サブシステム２８１５は、３Ｄパイプライン２８１２及びメディア・パイプライン２８１６によってスポーンされたスレッドを実行するための論理を含む。少なくとも１つの実施例では、３Ｄパイプライン２８１２及びメディア・パイプライン２８１６は、スレッド実行要求を３Ｄ／メディア・サブシステム２８１５に送出し、３Ｄ／メディア・サブシステム２８１５は、様々な要求を調停し、利用可能なスレッド実行リソースにディスパッチするためのスレッド・ディスパッチ論理を含む。少なくとも１つの実施例では、実行リソースは、３Ｄ及びメディア・スレッドを処理するためのグラフィックス実行ユニットのアレイを含む。少なくとも１つの実施例では、３Ｄ／メディア・サブシステム２８１５は、スレッド命令及びデータのための１つ又は複数の内部キャッシュを含む。少なくとも１つの実施例では、サブシステム２８１５はまた、スレッド間でデータを共有し、出力データを記憶するための、レジスタとアドレス指定可能メモリとを含む共有メモリをも含む。

【0395】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ２８００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、３Ｄパイプライン２８１２において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ２８００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0396】

少なくとも１つの実施例では、図２８に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２８に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２８に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0397】

図２９は、少なくとも１つの実施例による、グラフィックス・プロセッサのグラフィックス処理エンジン２９１０のブロック図である。少なくとも１つの実施例では、グラフィックス処理エンジン（ＧＰＥ）２９１０は、図２８に示されているＧＰＥ２８１０のバージョンである。少なくとも１つの実施例では、メディア・パイプライン２９１６は随意であり、ＧＰＥ２９１０内に明示的に含まれないことがある。少なくとも１つの実施例では、別個のメディア及び／又は画像プロセッサが、ＧＰＥ２９１０に結合される。

【0398】

少なくとも１つの実施例では、ＧＰＥ２９１０は、コマンド・ストリーマ２９０３に結合されるか、又はそれを含み、コマンド・ストリーマ２９０３は、３Ｄパイプライン２９１２及び／又はメディア・パイプライン２９１６にコマンド・ストリームを提供する。少なくとも１つの実施例では、コマンド・ストリーマ２９０３はメモリに結合され、メモリは、システム・メモリ、又は内部キャッシュ・メモリ及び共有キャッシュ・メモリのうちの１つ又は複数であり得る。少なくとも１つの実施例では、コマンド・ストリーマ２９０３は、メモリからコマンドを受信し、コマンドを３Ｄパイプライン２９１２及び／又はメディア・パイプライン２９１６に送出する。少なくとも１つの実施例では、コマンドは、リング・バッファからフェッチされた命令、プリミティブ、又はマイクロ・オペレーションであり、リング・バッファは、３Ｄパイプライン２９１２及びメディア・パイプライン２９１６のためのコマンドを記憶する。少なくとも１つの実施例では、リング・バッファは、追加として、複数のコマンドのバッチを記憶するバッチ・コマンド・バッファを含むことができる。少なくとも１つの実施例では、３Ｄパイプライン２９１２のためのコマンドはまた、限定はしないが、３Ｄパイプライン２９１２のための頂点及びジオメトリ・データ、並びに／又はメディア・パイプライン２９１６のための画像データ及びメモリ・オブジェクトなど、メモリに記憶されたデータへの参照を含むことができる。少なくとも１つの実施例では、３Ｄパイプライン２９１２及びメディア・パイプライン２９１６は、演算を実施することによって、又は１つ又は複数の実行スレッドをグラフィックス・コア・アレイ２９１４にディスパッチすることによって、コマンド及びデータを処理する。少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４は、グラフィックス・コア（たとえば、（１つ又は複数の）グラフィックス・コア２９１５Ａ、（１つ又は複数の）グラフィックス・コア２９１５Ｂ）の１つ又は複数のブロックを含み、各ブロックは、１つ又は複数のグラフィックス・コアを含む。少なくとも１つの実施例では、各グラフィックス・コアは、グラフィックス動作及びコンピュート動作を実施するための汎用及びグラフィックス固有実行論理、並びに、図７Ａ及び図７Ｂ中の推論及び／又は訓練論理７１５を含む、固定機能テクスチャ処理及び／又は機械学習及び人工知能加速論理を含む、グラフィックス実行リソースのセットを含む。

【0399】

少なくとも１つの実施例では、３Ｄパイプライン２９１２は、命令を処理し、実行スレッドをグラフィックス・コア・アレイ２９１４にディスパッチすることによって、頂点シェーダ、ジオメトリ・シェーダ、ピクセル・シェーダ、フラグメント・シェーダ、コンピュート・シェーダ、又は他のシェーダ・プログラムなどの１つ又は複数のシェーダ・プログラムを処理するための固定機能及びプログラマブル論理を含む。少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４は、シェーダ・プログラムを処理する際に使用するための実行リソースの統一ブロックを提供する。少なくとも１つの実施例では、グラフィック・コア・アレイ２９１４の（１つ又は複数の）グラフィックス・コア２９１５Ａ～２９１５Ｂ内の多目的実行論理（たとえば、実行ユニット）は、様々な３Ｄ ＡＰＩシェーダ言語のサポートを含み、複数のシェーダに関連する複数の同時実行スレッドを実行することができる。

【0400】

少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４はまた、ビデオ及び／又は画像処理など、メディア機能を実施するための実行論理を含む。少なくとも１つの実施例では、実行ユニットは、追加として、グラフィックス処理動作に加えて並列汎用算出動作を実施するようにプログラマブルである汎用論理を含む。

【0401】

少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４上で実行しているスレッドによって生成される出力データは、統一リターン・バッファ（ＵＲＢ：ｕｎｉｆｉｅｄ ｒｅｔｕｒｎ ｂｕｆｆｅｒ）２９１８中のメモリにデータを出力することができる。少なくとも１つの実施例では、ＵＲＢ２９１８は、複数のスレッドのためのデータを記憶することができる。少なくとも１つの実施例では、ＵＲＢ２９１８は、グラフィックス・コア・アレイ２９１４上で実行している異なるスレッド間でデータを送出するために使用され得る。少なくとも１つの実施例では、ＵＲＢ２９１８は、追加として、グラフィックス・コア・アレイ２９１４上のスレッドと、共有機能論理２９２０内の固定機能論理との間の同期のために使用され得る。

【0402】

少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４はスケーラブルであり、それにより、グラフィックス・コア・アレイ２９１４は、可変数のグラフィックス・コアを含み、各グラフィックス・コアが、ＧＰＥ２９１０のターゲット電力及び性能レベルに基づいて可変数の実行ユニットを有する。少なくとも１つの実施例では、実行リソースは動的にスケーラブルであり、それにより、実行リソースは、必要に応じて有効又は無効にされ得る。

【0403】

少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４は、グラフィックス・コア・アレイ２９１４中のグラフィックス・コア間で共有される複数のリソースを含む共有機能論理２９２０に結合される。少なくとも１つの実施例では、共有機能論理２９２０によって実施される共有機能は、専用の補足機能性をグラフィックス・コア・アレイ２９１４に提供するハードウェア論理ユニットにおいて具体化される。少なくとも１つの実施例では、共有機能論理２９２０は、限定はしないが、サンプラ・ユニット２９２１と、数理ユニット２９２２と、スレッド間通信（ＩＴＣ：ｉｎｔｅｒ－ｔｈｒｅａｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）論理２９２３とを含む。少なくとも１つの実施例では、１つ又は複数のキャッシュ２９２５が、共有機能論理２９２０中に含まれるか、又はそれに結合される。

【0404】

少なくとも１つの実施例では、専用の機能の需要が、グラフィックス・コア・アレイ２９１４内に含めるには不十分である場合、共有機能が使用される。少なくとも１つの実施例では、専用の機能を１つにインスタンス化したものが、共有機能論理２９２０において使用され、グラフィックス・コア・アレイ２９１４内の他の実行リソースの間で共有される。少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４によって広範囲にわたって使用される、共有機能論理２９２０内の特定の共有機能は、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６内に含まれ得る。少なくとも１つの実施例では、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６は、共有機能論理２９２０内のいくつか又はすべての論理を含むことができる。少なくとも１つの実施例では、共有機能論理２９２０内のすべての論理要素は、グラフィックス・コア・アレイ２９１４の共有機能論理２９２６内で複製され得る。少なくとも１つの実施例では、共有機能論理２９２０は、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６に有利なように除外される。

【0405】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ２９１０に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、３Ｄパイプライン２９１２、（１つ又は複数の）グラフィックス・コア２９１５、共有機能論理２９２６、共有機能論理２９２０、又は図２９中の他の論理において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ２９１０のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0406】

少なくとも１つの実施例では、図２９に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図２９に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図２９に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0407】

図３０は、本明細書で説明される少なくとも１つの実施例による、グラフィックス・プロセッサ・コア３０００のハードウェア論理のブロック図である。少なくとも１つの実施例では、グラフィックス・プロセッサ・コア３０００は、グラフィックス・コア・アレイ内に含まれる。少なくとも１つの実施例では、コア・スライスと呼ばれることもあるグラフィックス・プロセッサ・コア３０００は、モジュール式グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアであり得る。少なくとも１つの実施例では、グラフィックス・プロセッサ・コア３０００は、１つのグラフィックス・コア・スライスの例示であり、本明細書で説明されるグラフィックス・プロセッサは、ターゲット電力及び性能エンベロープに基づいて、複数のグラフィックス・コア・スライスを含み得る。少なくとも１つの実施例では、各グラフィックス・コア３０００は、汎用及び固定機能論理のモジュール式ブロックを含む、サブ・スライスとも呼ばれる複数のサブ・コア３００１Ａ～３００１Ｆと結合された固定機能ブロック３０３０を含むことができる。

【0408】

少なくとも１つの実施例では、固定機能ブロック３０３０は、たとえば、より低い性能及び／又はより低い電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ３０００中のすべてのサブ・コアによって共有され得るジオメトリ及び固定機能パイプライン３０３６を含む。少なくとも１つの実施例では、ジオメトリ及び固定機能パイプライン３０３６は、３Ｄ固定機能パイプラインと、ビデオ・フロント・エンド・ユニットと、スレッド・スポーナ（ｓｐａｗｎｅｒ）及びスレッド・ディスパッチャと、統一リターン・バッファを管理する統一リターン・バッファ・マネージャとを含む。

【0409】

少なくとも１つの実施例では、固定機能ブロック３０３０はまた、グラフィックスＳｏＣインターフェース３０３７と、グラフィックス・マイクロコントローラ３０３８と、メディア・パイプライン３０３９とを含む。少なくとも１つの実施例では、グラフィックスＳｏＣインターフェース３０３７は、グラフィックス・コア３０００と、システム・オン・チップ集積回路内の他のプロセッサ・コアとの間のインターフェースを提供する。少なくとも１つの実施例では、グラフィックス・マイクロコントローラ３０３８は、スレッド・ディスパッチと、スケジューリングと、プリエンプションとを含む、グラフィックス・プロセッサ３０００の様々な機能を管理するように構成可能であるプログラマブル・サブ・プロセッサである。少なくとも１つの実施例では、メディア・パイプライン３０３９は、画像及びビデオ・データを含むマルチメディア・データの復号、符号化、前処理、及び／又は後処理を容易にするための論理を含む。少なくとも１つの実施例では、メディア・パイプライン３０３９は、サブ・コア３００１Ａ～３００１Ｆ内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。

【0410】

少なくとも１つの実施例では、ＳｏＣインターフェース３０３７は、グラフィックス・コア３０００が汎用アプリケーション・プロセッサ・コア（たとえば、ＣＰＵ）及び／又はＳｏＣ内の他の構成要素と通信することを可能にし、ＳｏＣ内の他の構成要素は、共有ラスト・レベル・キャッシュ・メモリ、システムＲＡＭ、及び／或いは組み込みオンチップ又はオン・パッケージＤＲＡＭなどのメモリ階層要素を含む。少なくとも１つの実施例では、ＳｏＣインターフェース３０３７はまた、カメラ撮像パイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を可能にすることができ、グラフィックス・コア３０００とＳｏＣ内のＣＰＵとの間で共有され得るグローバル・メモリ・アトミックの使用を可能にし、及び／又はそれを実装する。少なくとも１つの実施例では、グラフィックスＳｏＣインターフェース３０３７はまた、グラフィックス・プロセッサ・コア３０００のための電力管理制御を実装し、グラフィックス・プロセッサ・コア３０００のクロック・ドメインとＳｏＣ内の他のクロック・ドメインとの間のインターフェースを可能にすることができる。少なくとも１つの実施例では、ＳｏＣインターフェース３０３７は、グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアの各々にコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャからのコマンド・バッファの受信を可能にする。少なくとも１つの実施例では、コマンド及び命令は、メディア動作が実施されるべきであるときにメディア・パイプライン３０３９にディスパッチされ得るか、又は、グラフィックス処理動作が実施されるべきであるときにジオメトリ及び固定機能パイプライン（たとえば、ジオメトリ及び固定機能パイプライン３０３６、並びに／又はジオメトリ及び固定機能パイプライン３０１４）にディスパッチされ得る。

【0411】

少なくとも１つの実施例では、グラフィックス・マイクロコントローラ３０３８は、グラフィックス・コア３０００のための様々なスケジューリング及び管理タスクを実施するように構成され得る。少なくとも１つの実施例では、グラフィックス・マイクロコントローラ３０３８は、サブ・コア３００１Ａ～３００１Ｆ内の実行ユニット（ＥＵ：ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）アレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆ内の様々なグラフィックス並列エンジンに対して、グラフィックスを実施し、及び／又はワークロード・スケジューリングを算出することができる。少なくとも１つの実施例では、グラフィックス・コア３０００を含むＳｏＣのＣＰＵコア上で実行しているホスト・ソフトウェアは、複数のグラフィックス・プロセッサ経路のうちの１つにワークロードをサブミットすることができ、この経路が、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも１つの実施例では、スケジューリング動作は、どのワークロードを次に稼働すべきかを決定することと、ワークロードをコマンド・ストリーマにサブミットすることと、エンジン上で稼働している既存のワークロードをプリエンプトすることと、ワークロードの進行を監視することと、ワークロードが完了したときにホスト・ソフトウェアに通知することとを含む。少なくとも１つの実施例では、グラフィックス・マイクロコントローラ３０３８はまた、グラフィックス・コア３０００のための低電力又はアイドル状態を促進して、オペレーティング・システム及び／又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態移行にわたってグラフィックス・コア３０００内のレジスタを保存及び復元するアビリティをグラフィックス・コア３０００に提供することができる。

【0412】

少なくとも１つの実施例では、グラフィックス・コア３０００は、示されているサブ・コア３００１Ａ～３００１Ｆよりも多い又はそれよりも少ない、Ｎ個までのモジュール式サブ・コアを有し得る。Ｎ個のサブ・コアの各セットについて、少なくとも１つの実施例では、グラフィックス・コア３０００はまた、共有機能論理３０１０、共有及び／又はキャッシュ・メモリ３０１２、ジオメトリ／固定機能パイプライン３０１４、並びに様々なグラフィックスを加速し、処理動作を算出するための追加の固定機能論理３０１６を含むことができる。少なくとも１つの実施例では、共有機能論理３０１０は、グラフィックス・コア３０００内の各Ｎ個のサブ・コアによって共有され得る論理ユニット（たとえば、サンプラ、数理、及び／又はスレッド間通信論理）を含むことができる。少なくとも１つの実施例では、共有及び／又はキャッシュ・メモリ３０１２は、グラフィックス・コア３０００内のＮ個のサブ・コア３００１Ａ～３００１Ｆのためのラスト・レベル・キャッシュであり得、また、複数のサブ・コアによってアクセス可能である共有メモリとして働き得る。少なくとも１つの実施例では、ジオメトリ／固定機能パイプライン３０１４は、固定機能ブロック３０３０内のジオメトリ／固定機能パイプライン３０３６の代わりに含まれ得、同様の論理ユニットを含むことができる。

【0413】

少なくとも１つの実施例では、グラフィックス・コア３０００は、グラフィックス・コア３０００による使用のための様々な固定機能加速論理を含むことができる追加の固定機能論理３０１６を含む。少なくとも１つの実施例では、追加の固定機能論理３０１６は、位置限定シェーディング（ｐｏｓｉｔｉｏｎ－ｏｎｌｙ ｓｈａｄｉｎｇ）において使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも２つのジオメトリ・パイプラインが存在するが、ジオメトリ及び固定機能パイプライン３０１４、３０３６内の完全ジオメトリ・パイプライン、並びに選別パイプライン（ｃｕｌｌ ｐｉｐｅｌｉｎｅ）においてであり、選別パイプラインは、追加の固定機能論理３０１６内に含まれ得る追加のジオメトリ・パイプラインである。少なくとも１つの実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも１つの実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも１つの実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、これは、いくつかのインスタンスにおいてシェーディングがより早く完了することを可能にする。たとえば、少なくとも１つの実施例では、選別パイプラインは、ピクセルの、フレーム・バッファへのラスタ化及びレンダリングを実施することなしに、頂点の位置属性をフェッチし、シェーディングするので、追加の固定機能論理３０１６内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、全体的に完全パイプラインよりも速く臨界結果（ｃｒｉｔｉｃａｌ ｒｅｓｕｌｔ）を生成する。少なくとも１つの実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、それらの三角形が選別されているかどうかにかかわらず、可視性情報を算出することができる。少なくとも１つの実施例では、（このインスタンスではリプレイ・パイプラインと呼ばれることがある）完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形のみをシェーディングすることができ、可視三角形は、最終的にラスタ化フェーズに渡される。

【0414】

少なくとも１つの実施例では、追加の固定機能論理３０１６はまた、機械学習訓練又は推論のための最適化を含む実装形態のために、固定機能行列乗算論理など、機械学習加速論理を含むことができる。

【0415】

少なくとも１つの実施例では、各グラフィックス・サブ・コア３００１Ａ～３００１Ｆ内に、実行リソースのセットを含み、実行リソースのセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムによる要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実施するために使用され得る。少なくとも１つの実施例では、グラフィックス・サブ・コア３００１Ａ～３００１Ｆは、複数のＥＵアレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆと、スレッド・ディスパッチ及びスレッド間通信（ＴＤ／ＩＣ：ｔｈｒｅａｄ ｄｉｓｐａｔｃｈ ａｎｄ ｉｎｔｅｒ－ｔｈｒｅａｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）論理３００３Ａ～３００３Ｆと、３Ｄ（たとえば、テクスチャ）サンプラ３００５Ａ～３００５Ｆと、メディア・サンプラ３００６Ａ～３００６Ｆと、シェーダ・プロセッサ３００７Ａ～３００７Ｆと、共有ローカル・メモリ（ＳＬＭ：ｓｈａｒｅｄ ｌｏｃａｌ ｍｅｍｏｒｙ）３００８Ａ～３００８Ｆとを含む。少なくとも１つの実施例では、ＥＵアレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆは、各々、複数の実行ユニットを含み、複数の実行ユニットは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数／固定小数点論理演算を実施することが可能な汎用グラフィックス処理ユニットである。少なくとも１つの実施例では、ＴＤ／ＩＣ論理３００３Ａ～３００３Ｆは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実施し、サブ・コアの実行ユニット上で実行しているスレッド間の通信を容易にする。少なくとも１つの実施例では、３Ｄサンプラ３００５Ａ～３００５Ｆは、テクスチャ又は他の３Ｄグラフィックス関係データをメモリに読み取ることができる。少なくとも１つの実施例では、３Ｄサンプラは、所与のテクスチャに関連する、構成されたサンプル状態及びテクスチャ・フォーマットに基づいて、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも１つの実施例では、メディア・サンプラ３００６Ａ～３００６Ｆは、メディア・データに関連するタイプ及びフォーマットに基づいて、同様の読取り動作を実施することができる。少なくとも１つの実施例では、各グラフィックス・サブ・コア３００１Ａ～３００１Ｆは、代替的に統一３Ｄ及びメディア・サンプラを含むことができる。少なくとも１つの実施例では、サブ・コア３００１Ａ～３００１Ｆの各々内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドがオンチップ・メモリの共通のプールを使用して実行することを可能にするために、各サブ・コア内の共有ローカル・メモリ３００８Ａ～３００８Ｆを利用することができる。

【0416】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ３０００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、３Ｄパイプライン、グラフィックス・マイクロコントローラ３０３８、ジオメトリ及び固定機能パイプライン３０１４及び３０３６、又は図３０中の他の論理において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ３０００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0417】

少なくとも１つの実施例では、図３０に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３０に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３０に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0418】

図３１Ａ～図３１Ｂは、少なくとも１つの実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３１００を示す。図３１Ａは、スレッド実行論理３１００が使用される少なくとも１つの実施例を示す。図３１Ｂは、少なくとも１つの実施例による、グラフィックス実行ユニット３１０８の例示的な内部詳細を示す。

【0419】

図３１Ａに示されているように、少なくとも１つの実施例では、スレッド実行論理３１００は、シェーダ・プロセッサ３１０２と、スレッド・ディスパッチャ３１０４と、命令キャッシュ３１０６と、複数の実行ユニット３１０７Ａ～３１０７Ｎ及び３１０８Ａ～３１０８Ｎを含むスケーラブル実行ユニット・アレイと、サンプラ３１１０と、データ・キャッシュ３１１２と、データ・ポート３１１４とを含む。少なくとも１つの実施例では、スケーラブル実行ユニット・アレイは、１つ又は複数の実行ユニット（たとえば、実行ユニット３１０８Ａ～Ｎ又は３１０７Ａ～Ｎのいずれか）を、たとえばワークロードの算出要件に基づいて有効又は無効にすることによって、動的にスケーリングすることができる。少なくとも１つの実施例では、スケーラブル実行ユニットは、各実行ユニットにリンクする相互接続ファブリックを介して相互接続される。少なくとも１つの実施例では、スレッド実行論理３１００は、命令キャッシュ３１０６、データ・ポート３１１４、サンプラ３１１０、及び実行ユニット３１０７又は３１０８のうちの１つ又は複数を通した、システム・メモリ又はキャッシュ・メモリなどのメモリへの１つ又は複数の接続を含む。少なくとも１つの実施例では、各実行ユニット（たとえば、３１０７Ａ）は、各スレッドについて複数のデータ要素を並列で処理しながら、複数の同時のハードウェア・スレッドを実行することが可能であるスタンドアロン・プログラマブル汎用算出ユニットである。少なくとも１つの実施例では、実行ユニット３１０７及び／又は３１０８のアレイは、任意の数の個々の実行ユニットを含めるようにスケーラブルである。

【0420】

少なくとも１つの実施例では、実行ユニット３１０７及び／又は３１０８は、シェーダ・プログラムを実行するために主に使用される。少なくとも１つの実施例では、シェーダ・プロセッサ３１０２は、様々なシェーダ・プログラムを処理し、シェーダ・プログラムに関連する実行スレッドを、スレッド・ディスパッチャ３１０４を介してディスパッチすることができる。少なくとも１つの実施例では、スレッド・ディスパッチャ３１０４は、グラフィックス及びメディア・パイプラインからのスレッド始動要求を調停し、要求されたスレッドを、実行ユニット３１０７及び／又は３１０８中の１つ又は複数の実行ユニット上でインスタンス化するための論理を含む。たとえば、少なくとも１つの実施例では、ジオメトリ・パイプラインは、頂点シェーダ、テッセレーション・シェーダ、又はジオメトリ・シェーダを、処理のためにスレッド実行論理にディスパッチすることができる。少なくとも１つの実施例では、スレッド・ディスパッチャ３１０４はまた、実行しているシェーダ・プログラムからのランタイム・スレッド・スポーニング要求を処理することができる。

【0421】

少なくとも１つの実施例では、実行ユニット３１０７及び／又は３１０８は、多くの標準的な３Ｄグラフィックス・シェーダ命令のネイティブ・サポートを含む命令セットをサポートし、それにより、グラフィックス・ライブラリ（たとえば、Ｄｉｒｅｃｔ ３Ｄ及びＯｐｅｎＧＬ）からのシェーダ・プログラムが、最小のトランスレーションで実行される。少なくとも１つの実施例では、実行ユニットは、頂点及びジオメトリ処理（たとえば、頂点プログラム、ジオメトリ・プログラム、及び／又は頂点シェーダ）と、ピクセル処理（たとえば、ピクセル・シェーダ、フラグメント・シェーダ）と、汎用処理（たとえば、コンピュート及びメディア・シェーダ）とをサポートする。少なくとも１つの実施例では、１つ又は複数の算術論理ユニット（ＡＬＵ）を含む実行ユニット３１０７及び／又は３１０８の各々は、多発行（ｍｕｌｔｉ－ｉｓｓｕｅ）単一命令複数データ（ＳＩＭＤ）実行が可能であり、マルチスレッド化された動作は、メモリ・アクセスのレイテンシがより高いにもかかわらず、効率的な実行環境を可能にする。少なくとも１つの実施例では、各実行ユニット内の各ハードウェア・スレッドは、専用高帯域幅レジスタ・ファイルと、関連する独立したスレッド状態とを有する。少なくとも１つの実施例では、実行は、整数演算、単精度及び倍精度の浮動小数点演算、ＳＩＭＤブランチ能力、論理演算、超越演算、及び他の種々の演算が可能なパイプラインに対するクロック当たり多発行である。少なくとも１つの実施例では、メモリ、又は共有機能のうちの１つからのデータを待っている間に、実行ユニット３１０７及び／又は３１０８内の従属論理は、要求されたデータが戻されるまで、待っているスレッドをスリープさせる。少なくとも１つの実施例では、待機スレッドがスリープしている間に、ハードウェア・リソースは他のスレッドを処理することに充てられ得る。たとえば、少なくとも１つの実施例では、頂点シェーダ動作に関連する遅延中に、実行ユニットは、ピクセル・シェーダ、フラグメント・シェーダ、又は異なる頂点シェーダを含む別のタイプのシェーダ・プログラムを実施することができる。

【0422】

少なくとも１つの実施例では、実行ユニット３１０７及び／又は３１０８中の各実行ユニットは、データ要素のアレイに対して動作する。少なくとも１つの実施例では、データ要素の数は、「実行サイズ」であるか、又は命令のためのチャネルの数である。少なくとも１つの実施例では、実行チャネルは、データ要素アクセス、マスキング、及び命令内のフロー制御のための実行の論理ユニットである。少なくとも１つの実施例では、チャネルの数は、特定のグラフィックス・プロセッサのための物理的な算術論理ユニット（ＡＬＵ）又は浮動小数点ユニット（ＦＰＵ）の数とは無関係であり得る。少なくとも１つの実施例では、実行ユニット３１０７及び／又は３１０８は、整数及び浮動小数点データ・タイプをサポートする。

【0423】

少なくとも１つの実施例では、実行ユニット命令セットは、ＳＩＭＤ命令を含む。少なくとも１つの実施例では、様々なデータ要素が、パック・データ・タイプとしてレジスタに記憶され得、実行ユニットは、要素のデータ・サイズに基づいて様々な要素を処理する。たとえば、少なくとも１つの実施例では、２５６ビット幅ベクトル上で動作しているとき、ベクトルの２５６ビットがレジスタに記憶され、実行ユニットは、４つの別個の６４ビット・パック・データ要素（クワッド・ワード（ＱＷ：Ｑｕａｄ－Ｗｏｒｄ）サイズ・データ要素）、８つの別個の３２ビット・パック・データ要素（ダブル・ワード（ＤＷ：Ｄｏｕｂｌｅ Ｗｏｒｄ）サイズ・データ要素）、１６個の別個の１６ビット・パック・データ要素（ワード（Ｗ：Ｗｏｒｄ）サイズ・データ要素）、又は３２個の別個の８ビット・データ要素（バイト（Ｂ：ｂｙｔｅ）サイズ・データ要素）としてベクトル上で動作する。しかしながら、少なくとも１つの実施例では、異なるベクトル幅及びレジスタ・サイズが可能である。

【0424】

少なくとも１つの実施例では、実行ユニット３１０７Ａを実行ユニット３１０８Ａと融合して融合実行ユニット３１０９Ａにするなど、１つ又は複数の実行ユニットを組み合わせて、融合ＥＵに共通であるスレッド制御論理（３１１１Ａ～３１１１Ｎ）を有する融合実行ユニット３１０９Ａ～３１０９Ｎにすることができる。少なくとも１つの実施例では、複数のＥＵを融合して、ＥＵグループにすることができる。少なくとも１つの実施例では、融合ＥＵグループ中の各ＥＵは、別個のＳＩＭＤハードウェア・スレッドを実行し、融合ＥＵグループ中のＥＵの数が様々な実施例に応じて場合によっては変動するように、構成され得る。少なくとも１つの実施例では、限定はしないがＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２を含む様々なＳＩＭＤ幅が、ＥＵごとに実施され得る。少なくとも１つの実施例では、各融合グラフィックス実行ユニット３１０９Ａ～３１０９Ｎは、少なくとも２つの実行ユニットを含む。たとえば、少なくとも１つの実施例では、融合実行ユニット３１０９Ａは、第１のＥＵ３１０７Ａと、第２のＥＵ３１０８Ａと、第１のＥＵ３１０７Ａと第２のＥＵ３１０８Ａに共通であるスレッド制御論理３１１１Ａとを含む。少なくとも１つの実施例では、スレッド制御論理３１１１Ａは、融合グラフィックス実行ユニット３１０９Ａ上で実行されるスレッドを制御して、融合実行ユニット３１０９Ａ～３１０９Ｎ内の各ＥＵが、共通の命令ポインタ・レジスタを使用して実行することを可能にする。

【0425】

少なくとも１つの実施例では、１つ又は複数の内部命令キャッシュ（たとえば、３１０６）は、実行ユニットについてスレッド命令をキャッシュするためにスレッド実行論理３１００中に含まれる。少なくとも１つの実施例では、１つ又は複数のデータ・キャッシュ（たとえば、３１１２）は、スレッド実行中にスレッド・データをキャッシュするために含まれる。少なくとも１つの実施例では、サンプラ３１１０は、３Ｄ動作のためのテクスチャ・サンプリングと、メディア動作のためのメディア・サンプリングとを提供するために含まれる。少なくとも１つの実施例では、サンプラ３１１０は、サンプリングされたデータを実行ユニットに提供する前にサンプリング処理中にテクスチャ又はメディア・データを処理するために、特別なテクスチャ又はメディア・サンプリング機能性を含む。

【0426】

実行中、少なくとも１つの実施例では、グラフィックス及びメディア・パイプラインは、スレッド始動要求を、スレッド・スポーニング及びディスパッチ論理を介してスレッド実行論理３１００に送出する。少なくとも１つの実施例では、幾何学的物体のグループが処理され、ピクセル・データにラスタ化されると、出力情報をさらに算出し、結果を出力面（たとえば、色バッファ、深度バッファ、ステンシル・バッファなど）に書き込ませるために、シェーダ・プロセッサ３１０２内のピクセル・プロセッサ論理（たとえば、ピクセル・シェーダ論理、フラグメント・シェーダ論理など）が呼び出される。少なくとも１つの実施例では、ピクセル・シェーダ又はフラグメント・シェーダは、ラスタ化された物体にわたって補間されるべきである様々な頂点属性の値を計算する。少なくとも１つの実施例では、次いで、シェーダ・プロセッサ３１０２内のピクセル・プロセッサ論理が、アプリケーション・プログラミング・インターフェース（ＡＰＩ）供給ピクセル又はフラグメント・シェーダ・プログラムを実行する。少なくとも１つの実施例では、シェーダ・プログラムを実行するために、シェーダ・プロセッサ３１０２は、スレッド・ディスパッチャ３１０４を介してスレッドを実行ユニット（たとえば、３１０８Ａ）にディスパッチする。少なくとも１つの実施例では、シェーダ・プロセッサ３１０２は、サンプラ３１１０中のテクスチャ・サンプリング論理を使用して、メモリに記憶されたテクスチャ・マップ中のテクスチャ・データにアクセスする。少なくとも１つの実施例では、テクスチャ・データ及び入力ジオメトリ・データに対する算術演算が、各幾何学的フラグメントについてのピクセル色データを算出するか、又は、さらに処理されないように１つ又は複数のピクセルを切り捨てる。

【0427】

少なくとも１つの実施例では、データ・ポート３１１４は、処理されたデータを、グラフィックス・プロセッサ出力パイプライン上でのさらなる処理のためにメモリに出力するために、スレッド実行論理３１００のためのメモリ・アクセス機構を提供する。少なくとも１つの実施例では、データ・ポート３１１４は、データ・ポートを介したメモリ・アクセスのためのデータをキャッシュするために、１つ又は複数のキャッシュ・メモリ（たとえば、データ・キャッシュ３１１２）を含むか、又はそれに結合する。

【0428】

図３１Ｂに示されているように、少なくとも１つの実施例では、グラフィックス実行ユニット３１０８は、命令フェッチ・ユニット３１３７と、汎用レジスタ・ファイル（ＧＲＦ：ｇｅｎｅｒａｌ ｒｅｇｉｓｔｅｒ ｆｉｌｅ）アレイ３１２４と、アーキテクチャ・レジスタ・ファイル（ＡＲＦ：ａｒｃｈｉｔｅｃｔｕｒａｌ ｒｅｇｉｓｔｅｒ ｆｉｌｅ）アレイ３１２６と、スレッド調停装置（ａｒｂｉｔｅｒ）３１２２と、送出ユニット３１３０と、ブランチ・ユニット３１３２と、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３１３４のセットと、専用整数ＳＩＭＤ ＡＬＵ３１３５のセットとを含むことができる。少なくとも１つの実施例では、ＧＲＦ３１２４及びＡＲＦ３１２６は、各同時ハードウェア・スレッドに関連する汎用レジスタ・ファイルとアーキテクチャ・レジスタ・ファイルとのセットを含み、同時ハードウェア・スレッドは、グラフィックス実行ユニット３１０８においてアクティブであり得る。少なくとも１つの実施例では、スレッドごとのアーキテクチャ状態が、ＡＲＦ３１２６において維持され、スレッド実行中に使用されるデータが、ＧＲＦ３１２４に記憶される。少なくとも１つの実施例では、各スレッドについての命令ポインタを含む各スレッドの実行状態は、ＡＲＦ３１２６中のスレッド固有レジスタにおいて保持され得る。

【0429】

少なくとも１つの実施例では、グラフィックス実行ユニット３１０８は、同時マルチスレッディング（ＳＭＴ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）ときめ細かいインターリーブ・マルチスレッディング（ＩＭＴ：Ｉｎｔｅｒｌｅａｖｅｄ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）との組合せであるアーキテクチャを有する。少なくとも１つの実施例では、アーキテクチャは、実行ユニット当たりの同時スレッドのターゲット数及びレジスタの数に基づいて設計時に微調整され得るモジュール式構成を有し、実行ユニット・リソースは、複数の同時スレッドを実行するために使用される論理にわたって分割される。

【0430】

少なくとも１つの実施例では、グラフィックス実行ユニット３１０８は複数の命令を共同発行することができ、複数の命令は各々異なる命令であり得る。少なくとも１つの実施例では、グラフィックス実行ユニット・スレッド３１０８のスレッド調停装置３１２２は、実行のために、送出ユニット３１３０、ブランチ・ユニット３１３２、又は（１つ又は複数の）ＳＩＭＤ ＦＰＵ３１３４のうちの１つに命令をディスパッチすることができる。少なくとも１つの実施例では、各実行スレッドは、ＧＲＦ３１２４内の１２８個の汎用レジスタにアクセスすることができ、各レジスタは、３２ビットのデータ要素のＳＩＭＤ８要素ベクトルとしてアクセス可能な３２バイトを記憶することができる。少なくとも１つの実施例では、各実行ユニット・スレッドは、ＧＲＦ３１２４内の４キロバイトへのアクセスを有するが、実施例はそのように限定されず、他の実施例ではより多い又はより少ないレジスタ・リソースが提供され得る。少なくとも１つの実施例では、最高７つのスレッドが同時に実行することができるが、実行ユニット当たりのスレッド数も、実施例に応じて変動することができる。７つのスレッドが４キロバイトにアクセスし得る少なくとも１つの実施例では、ＧＲＦ３１２４は、合計２８キロバイトを記憶することができる。少なくとも１つの実施例では、フレキシブルなアドレッシング・モードは、レジスタが、より幅広いレジスタを効率的に築くか、又はストライド設定された矩形ブロック・データ構造を表すために、一緒にアドレス指定されることを許すことができる。

【0431】

少なくとも１つの実施例では、メモリ動作、サンプラ動作、及び他のより長いレイテンシのシステム通信は、送出ユニット３１３０に渡るメッセージによって実行される「送出」命令を介してディスパッチされる。少なくとも１つの実施例では、ブランチ命令は、ＳＩＭＤ発散及び最終的な収束を容易にするために、ブランチ・ユニット３１３２にディスパッチされる。

【0432】

少なくとも１つの実施例では、グラフィックス実行ユニット３１０８は、浮動小数点演算を実施するための１つ又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３１３４を含む。少なくとも１つの実施例では、（１つ又は複数の）ＦＰＵ３１３４は、整数算出をもサポートする。少なくとも１つの実施例では、（１つ又は複数の）ＦＰＵ３１３４は、最高Ｍ個の３２ビット浮動小数点（又は整数）演算をＳＩＭＤで実行するか、或いは最高２Ｍ個の１６ビット整数演算又は１６ビット浮動小数点演算をＳＩＭＤで実行することができる。少なくとも１つの実施例では、少なくとも１つのＦＰＵは、高スループット超越数理関数と倍精度の６４ビット浮動小数点とをサポートするために、拡張数理能力を提供する。少なくとも１つの実施例では、８ビット整数ＳＩＭＤ ＡＬＵ３１３５のセットも存在し、機械学習算出に関連する動作を実施するように特に最適化され得る。

【0433】

少なくとも１つの実施例では、グラフィックス実行ユニット３１０８の複数のインスタンスのアレイが、グラフィックス・サブ・コア・グループ化（たとえば、サブ・スライス）においてインスタンス化され得る。少なくとも１つの実施例では、実行ユニット３１０８は、複数の実行チャネルにわたって命令を実行することができる。少なくとも１つの実施例では、グラフィックス実行ユニット３１０８上で実行される各スレッドは、異なるチャネル上で実行される。

【0434】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、スレッド実行論理３１００に組み込まれ得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するための実行論理３１００のＡＬＵスレッドを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0435】

少なくとも１つの実施例では、図３１Ａ～図３１Ｂに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３１Ａ～図３１Ｂに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３１Ａ～図３１Ｂに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0436】

図３２は、少なくとも１つの実施例による、並列処理ユニット（「ＰＰＵ」）３２００を示す。少なくとも１つの実施例では、ＰＰＵ３２００は、ＰＰＵ３２００によって実行された場合、ＰＰＵ３２００に、本開示全体を通して説明されるプロセス及び技法のいくつか又はすべてを実施させる機械可読コードで構成される。少なくとも１つの実施例では、ＰＰＵ３２００はマルチスレッド・プロセッサであり、マルチスレッド・プロセッサは、１つ又は複数の集積回路デバイス上で実装され、（機械可読命令又は単に命令とも呼ばれる）コンピュータ可読命令を複数のスレッド上で並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも１つの実施例では、スレッドは、実行のスレッドを指し、ＰＰＵ３２００によって実行されるように構成された命令のセットのインスタンス化である。少なくとも１つの実施例では、ＰＰＵ３２００は、液晶ディスプレイ（「ＬＣＤ」）デバイスなどのディスプレイ・デバイス上での表示のための２次元（「２Ｄ」）画像データを生成するために３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたグラフィックス処理ユニット（「ＧＰＵ」）である。少なくとも１つの実施例では、ＰＰＵ３２００は、線形代数演算及び機械学習演算などの算出を実施するために利用される。図３２は、単に例示を目的とした例示的な並列プロセッサを示し、本開示の範囲内で企図されるプロセッサ・アーキテクチャの非限定的な実例として解釈されるべきであり、同プロセッサを補完し、及び／又はそれを置換するために、任意の好適なプロセッサが採用され得ることとして、解釈されるべきである。

【0437】

少なくとも１つの実施例では、１つ又は複数のＰＰＵ３２００は、高性能コンピューティング（「ＨＰＣ」：Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）、データ・センタ、及び機械学習アプリケーションを加速するように構成される。少なくとも１つの実施例では、ＰＰＵ３２００は、以下の非限定的な実例を含む深層学習システム及びアプリケーションを加速するように構成される：自律車両プラットフォーム、深層学習、高精度音声、画像、テキスト認識システム、インテリジェント・ビデオ分析、分子シミュレーション、創薬、病気診断、天気予報、ビッグ・データ分析、天文学、分子動態シミュレーション、金融モデリング、ロボット工学、工場自動化、リアルタイム言語翻訳、オンライン検索最適化、及び個別化ユーザ推奨など。

【0438】

少なくとも１つの実施例では、ＰＰＵ３２００は、限定はしないが、入力／出力（「Ｉ／Ｏ」：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ユニット３２０６と、フロント・エンド・ユニット３２１０と、スケジューラ・ユニット３２１２と、ワーク分散ユニット３２１４と、ハブ３２１６と、クロスバー（「Ｘバー」：ｃｒｏｓｓｂａｒ）３２２０と、１つ又は複数の汎用処理クラスタ（「ＧＰＣ」）３２１８と、１つ又は複数のパーティション・ユニット（「メモリ・パーティション・ユニット」）３２２２とを含む。少なくとも１つの実施例では、ＰＰＵ３２００は、１つ又は複数の高速ＧＰＵ相互接続（「ＧＰＵ相互接続」）３２０８を介してホスト・プロセッサ又は他のＰＰＵ３２００に接続される。少なくとも１つの実施例では、ＰＰＵ３２００は、システム・バス３２０２を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも１つの実施例では、ＰＰＵ３２００は、１つ又は複数のメモリ・デバイス（「メモリ」）３２０４を備えるローカル・メモリに接続される。少なくとも１つの実施例では、メモリ・デバイス３２０４は、限定はしないが、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイスを含む。少なくとも１つの実施例では、１つ又は複数のＤＲＡＭデバイスは、複数のＤＲＡＭダイが各デバイス内で積層された高帯域幅メモリ（「ＨＢＭ」）サブシステムとして構成され、及び／又は構成可能である。

【0439】

少なくとも１つの実施例では、高速ＧＰＵ相互接続３２０８は、ワイヤ・ベースのマルチ・レーン通信リンクを指し得、ワイヤ・ベースのマルチ・レーン通信リンクは、１つ又は複数の中央処理ユニット（「ＣＰＵ」）と組み合わせられた１つ又は複数のＰＰＵ３２００をスケーリングし、含めるために、システムによって使用され、ＰＰＵ３２００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする。少なくとも１つの実施例では、データ及び／又はコマンドは、高速ＧＰＵ相互接続３２０８によって、ハブ３２１６を通して、１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図３２に明示的に示されていないこともある他の構成要素など、ＰＰＵ３２００の他のユニットに／から送信される。

【0440】

少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して（図３２に示されていない）ホスト・プロセッサから通信（たとえば、コマンド、データ）を送受信するように構成される。少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して直接、又は、メモリ・ブリッジなどの１つ又は複数の中間デバイスを通して、ホスト・プロセッサと通信する。少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介してＰＰＵ３２００のうちの１つ又は複数などの１つ又は複数の他のプロセッサと通信し得る。少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、周辺構成要素相互接続エクスプレス（「ＰＣＩｅ」）インターフェースを、ＰＣＩｅバスを介した通信のために実装する。少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、外部デバイスと通信するためのインターフェースを実装する。

【0441】

少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して受信されたパケットを復号する。少なくとも１つの実施例では、少なくともいくつかのパケットは、ＰＰＵ３２００に様々な動作を実施させるように構成されたコマンドを表す。少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６は、復号されたコマンドを、コマンドによって指定されるＰＰＵ３２００の様々な他のユニットに送信する。少なくとも１つの実施例では、コマンドは、フロント・エンド・ユニット３２１０に送信され、及び／或いは、ハブ３２１６、又は（図３２に明示的に示されていない）１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなど、ＰＰＵ３２００の他のユニットに送信される。少なくとも１つの実施例では、Ｉ／Ｏユニット３２０６はＰＰＵ３２００の様々な論理ユニット間で及びそれらの間で通信をルーティングするように構成される。

【0442】

少なくとも１つの実施例では、ホスト・プロセッサによって実行されるプログラムは、処理のためにワークロードをＰＰＵ３２００に提供するバッファにおいて、コマンド・ストリームを符号化する。少なくとも１つの実施例では、ワークロードは、命令と、それらの命令によって処理されるべきデータとを含む。少なくとも１つの実施例では、バッファは、ホスト・プロセッサとＰＰＵ３２００の両方によってアクセス（たとえば、読取り／書込み）可能であるメモリ中の領域であり、ホスト・インターフェース・ユニットは、Ｉ／Ｏユニット３２０６によってシステム・バス３２０２を介して送信されるメモリ要求を介して、システム・バス３２０２に接続されたシステム・メモリ中のそのバッファにアクセスするように構成され得る。少なくとも１つの実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始に対するポインタをＰＰＵ３２００に送信し、それにより、フロント・エンド・ユニット３２１０は、１つ又は複数のコマンド・ストリームに対するポインタを受信し、１つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをＰＰＵ３２００の様々なユニットにフォワーディングする。

【0443】

少なくとも１つの実施例では、フロント・エンド・ユニット３２１０は、１つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように様々なＧＰＣ３２１８を構成するスケジューラ・ユニット３２１２に結合される。少なくとも１つの実施例では、スケジューラ・ユニット３２１２は、スケジューラ・ユニット３２１２によって管理される様々なタスクに関係する状態情報を追跡するように構成され、状態情報は、ＧＰＣ３２１８のうちのどれにタスクが割り当てられるか、タスクがアクティブであるのか非アクティブであるのか、タスクに関連する優先レベルなどを示し得る。少なくとも１つの実施例では、スケジューラ・ユニット３２１２は、ＧＰＣ３２１８のうちの１つ又は複数上での複数のタスクの実行を管理する。

【0444】

少なくとも１つの実施例では、スケジューラ・ユニット３２１２は、ＧＰＣ３２１８上での実行のためのタスクをディスパッチするように構成されたワーク分散ユニット３２１４に結合される。少なくとも１つの実施例では、ワーク分散ユニット３２１４は、スケジューラ・ユニット３２１２から受信された、スケジューリングされたタスクの数を追跡し、ワーク分散ユニット３２１４は、ＧＰＣ３２１８の各々について、ペンディング・タスク・プール及びアクティブ・タスク・プールを管理する。少なくとも１つの実施例では、ペンディング・タスク・プールは、特定のＧＰＣ３２１８によって処理されるように割り当てられたタスクを含んでいるいくつかのスロット（たとえば、３２個のスロット）を備え、アクティブ・タスク・プールは、ＧＰＣ３２１８によってアクティブに処理されているタスクのためのいくつかのスロット（たとえば、４つのスロット）を備え得、それにより、ＧＰＣ３２１８のうちの１つがタスクの実行を完了したとき、ＧＰＣ３２１８のためのそのアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの他のタスクが選択され、ＧＰＣ３２１８上での実行のためにスケジューリングされる。少なくとも１つの実施例では、データ依存性が解決されるのを待っている間など、アクティブ・タスクがＧＰＣ３２１８上でアイドルである場合、そのアクティブ・タスクがＧＰＣ３２１８から排除され、そのペンディング・タスク・プールに戻され、その間に、そのペンディング・タスク・プール中の別のタスクが選択され、ＧＰＣ３２１８上での実行のためにスケジューリングされる。

【0445】

少なくとも１つの実施例では、ワーク分散ユニット３２１４は、Ｘバー３２２０を介して１つ又は複数のＧＰＣ３２１８と通信する。少なくとも１つの実施例では、Ｘバー３２２０は、ＰＰＵ３２００のユニットのうちの多くをＰＰＵ３２００の他のユニットに結合する相互接続ネットワークであり、ワーク分散ユニット３２１４を特定のＧＰＣ３２１８に結合するように構成され得る。少なくとも１つの実施例では、ＰＰＵ３２００の１つ又は複数の他のユニットも、ハブ３２１６を介してＸバー３２２０に接続され得る。

【0446】

少なくとも１つの実施例では、タスクはスケジューラ・ユニット３２１２によって管理され、ワーク分散ユニット３２１４によってＧＰＣ３２１８のうちの１つにディスパッチされる。少なくとも１つの実施例では、ＧＰＣ３２１８は、タスクを処理し、結果を生成するように構成される。少なくとも１つの実施例では、結果は、ＧＰＣ３２１８内の他のタスクによって消費されるか、Ｘバー３２２０を介して異なるＧＰＣ３２１８にルーティングされるか、又はメモリ３２０４に記憶され得る。少なくとも１つの実施例では、結果は、パーティション・ユニット３２２２を介してメモリ３２０４に書き込まれ得、パーティション・ユニット３２２２は、メモリ３２０４への／からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも１つの実施例では、結果は、高速ＧＰＵ相互接続３２０８を介して別のＰＰＵ又はＣＰＵに送信され得る。少なくとも１つの実施例では、図３４と併せて本明細書でさらに詳細に説明されるように、ＰＰＵ３２００は、限定はしないが、ＰＰＵ３２００に結合された別個の個別メモリ・デバイス３２０４の数に等しいＵ個のパーティション・ユニット３２２２を含む。

【0447】

少なくとも１つの実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、ドライバ・カーネルは、ホスト・プロセッサ上で実行している１つ又は複数のアプリケーションがＰＰＵ３２００上での実行のために動作をスケジューリングすることを可能にするアプリケーション・プログラミング・インターフェース（ＡＰＩ）を実装する。少なくとも１つの実施例では、複数のコンピュート・アプリケーションが、ＰＰＵ３２００によって同時に実行され、ＰＰＵ３２００は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質（「ＱｏＳ」：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、及び独立したアドレス空間を提供する。少なくとも１つの実施例では、アプリケーションは、ＰＰＵ３２００による実行のための１つ又は複数のタスクをドライバ・カーネルに生成させる（たとえば、ＡＰＩコールの形態の）命令を生成し、そのドライバ・カーネルは、ＰＰＵ３２００によって処理されている１つ又は複数のストリームにタスクを出力する。少なくとも１つの実施例では、各タスクは、ワープと呼ばれることがある関係スレッドの１つ又は複数のグループを備える。少なくとも１つの実施例では、ワープは、並列に実行され得る複数の関係スレッド（たとえば、３２個のスレッド）を備える。少なくとも１つの実施例では、連動スレッドは、タスクを実施するための命令を含み、共有メモリを通してデータを交換する、複数のスレッドを指すことができる。少なくとも１つの実施例では、スレッド及び連動スレッドは、図３４と併せてさらに詳細に説明される。

【0448】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサは、ＰＰＵ３２００に提供される情報を予測又は推論するために、ニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサは、別のプロセッサ又はシステムによって、或いはＰＰＵ３２００によって訓練された、訓練された機械学習モデル（たとえば、ニューラル・ネットワーク）に基づいて、情報を推論又は予測するために使用される。少なくとも１つの実施例では、ＰＰＵ３２００は、本明細書で説明される１つ又は複数のニューラル・ネットワーク使用事例を実施するために使用され得る。

【0449】

少なくとも１つの実施例では、図３２に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３２に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３２に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0450】

図３３は、少なくとも１つの実施例による、汎用処理クラスタ（「ＧＰＣ」）３３００を示す。少なくとも１つの実施例では、ＧＰＣ３３００は、図３２のＧＰＣ３２１８である。少なくとも１つの実施例では、各ＧＰＣ３３００は、限定はしないが、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各ＧＰＣ３３００は、限定はしないが、パイプライン・マネージャ３３０２、プレ・ラスタ演算ユニット（「ｐｒｅＲＯＰ」：ｐｒｅ－ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎ）３３０４、ラスタ・エンジン３３０８、ワーク分散クロスバー（「ＷＤＸ」：ｗｏｒｋ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｒｏｓｓｂａｒ）３３１６、メモリ管理ユニット（「ＭＭＵ」）３３１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）３３０６、及びパーツの任意の好適な組合せを含む。

【0451】

少なくとも１つの実施例では、ＧＰＣ３３００の動作は、パイプライン・マネージャ３３０２によって制御される。少なくとも１つの実施例では、パイプライン・マネージャ３３０２は、ＧＰＣ３３００に割り振られたタスクを処理するための１つ又は複数のＤＰＣ３３０６の構成を管理する。少なくとも１つの実施例では、パイプライン・マネージャ３３０２は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、１つ又は複数のＤＰＣ３３０６のうちの少なくとも１つを構成する。少なくとも１つの実施例では、ＤＰＣ３３０６は、プログラマブル・ストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉ－ｐｒｏｃｅｓｓｏｒ）３３１４上で頂点シェーダ・プログラムを実行するように構成される。少なくとも１つの実施例では、パイプライン・マネージャ３３０２は、少なくとも１つの実施例では、ワーク分散ユニットから受信されたパケットを、ＧＰＣ３３００内の適切な論理ユニットにルーティングするように構成され、いくつかのパケットは、ｐｒｅＲＯＰ３３０４中の固定機能ハードウェア・ユニット及び／又はラスタ・エンジン３３０８にルーティングされ得、他のパケットは、プリミティブ・エンジン３３１２又はＳＭ３３１４による処理のためにＤＰＣ３３０６にルーティングされ得る。少なくとも１つの実施例では、パイプライン・マネージャ３３０２は、ニューラル・ネットワーク・モデル及び／又はコンピューティング・パイプラインを実装するように、ＤＰＣ３３０６のうちの少なくとも１つを構成する。

【0452】

少なくとも１つの実施例では、ｐｒｅＲＯＰユニット３３０４は、少なくとも１つの実施例では、ラスタ・エンジン３３０８及びＤＰＣ３３０６によって生成されたデータを、図３２と併せて上記でより詳細に説明されたパーティション・ユニット３２２２中のラスタ演算（「ＲＯＰ」：Ｒａｓｔｅｒ Ｏｐｅｒａｔｉｏｎ）ユニットにルーティングするように構成される。少なくとも１つの実施例では、ｐｒｅＲＯＰユニット３３０４は、色ブレンディングのための最適化を実施すること、ピクセル・データを組織化すること、アドレス・トランスレーションを実施することなどを行うように構成される。少なくとも１つの実施例では、ラスタ・エンジン３３０８は、限定はしないが、少なくとも１つの実施例では、様々なラスタ演算を実施するように構成されたいくつかの固定機能ハードウェア・ユニットを含み、ラスタ・エンジン３３０８は、限定はしないが、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びそれらの任意の好適な組合せを含む。少なくとも１つの実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何学的プリミティブに関連する平面方程式を生成し、平面方程式は、プリミティブについてのカバレージ情報（たとえば、タイルのためのｘ、ｙカバレージ・マスク）を生成するために粗いラスタ・エンジンに送信され、粗いラスタ・エンジンの出力は選別エンジンに送信され、ｚテストに落ちたプリミティブに関連するフラグメントが選別され、クリッピング・エンジンに送信され、視錐台の外側にあるフラグメントがクリップされる。少なくとも１つの実施例では、クリッピング及び選別を通過したフラグメントは、セットアップ・エンジンによって生成された平面方程式に基づいてピクセル・フラグメントについての属性を生成するために、細かいラスタ・エンジンに渡される。少なくとも１つの実施例では、ラスタ・エンジン３３０８の出力は、ＤＰＣ３３０６内に実装されたフラグメント・シェーダによってなど、任意の好適なエンティティによって処理されるべきフラグメントを含む。

【0453】

少なくとも１つの実施例では、ＧＰＣ３３００中に含まれる各ＤＰＣ３３０６は、限定はしないが、Ｍパイプ・コントローラ（「ＭＰＣ」：Ｍ－Ｐｉｐｅ Ｃｏｎｔｒｏｌｌｅｒ）３３１０、プリミティブ・エンジン３３１２、１つ又は複数のＳＭ３３１４、及びそれらの任意の好適な組合せを含む。少なくとも１つの実施例では、ＭＰＣ３３１０は、ＤＰＣ３３０６の動作を制御して、パイプライン・マネージャ３３０２から受信されたパケットを、ＤＰＣ３３０６中の適切なユニットにルーティングする。少なくとも１つの実施例では、頂点に関連するパケットは、頂点に関連する頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン３３１２にルーティングされ、対照的に、シェーダ・プログラムに関連するパケットは、ＳＭ３３１４に送信され得る。

【0454】

少なくとも１つの実施例では、ＳＭ３３１４は、限定はしないが、いくつかのスレッドによって表されたタスクを処理するように構成されたプログラマブル・ストリーミング・プロセッサを含む。少なくとも１つの実施例では、ＳＭ３３１４はマルチスレッド化され、スレッドの特定のグループからの複数のスレッド（たとえば、３２個のスレッド）を同時に実行するように構成され、単一命令複数データ（「ＳＩＭＤ」）アーキテクチャを実装し、スレッドのグループ（たとえば、ワープ）中の各スレッドは、命令の同じセットに基づいてデータの異なるセットを処理するように構成される。少なくとも１つの実施例では、スレッドのグループ中のすべてのスレッドが命令の共通のセットを実行する。少なくとも１つの実施例では、ＳＭ３３１４は、単一命令複数スレッド（「ＳＩＭＴ」）アーキテクチャを実装し、スレッドのグループ中の各スレッドは、命令のその共通のセットに基づいて、データの異なるセットを処理するように構成されるが、スレッドのグループ中の個々のスレッドは、実行中に発散することを可能にされる。少なくとも１つの実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が、各ワープについて維持されて、ワープ内のスレッドが発散するときのワープ間の同時処理及びワープ内の直列実行を可能にする。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が、各個々のスレッドについて維持されて、すべてのスレッド間、ワープ内及びワープ間での等しい同時処理を可能にする。少なくとも１つの実施例では、実行状態が、各個々のスレッドについて維持され、共通の命令を実行しているスレッドが、より良い効率性のために収束され、並列に実行され得る。ＳＭ３３１４の少なくとも１つの実施例は、本明細書でさらに詳細に説明される。

【0455】

少なくとも１つの実施例では、ＭＭＵ３３１８は、ＧＰＣ３３００とメモリ・パーティション・ユニット（たとえば、図３２のパーティション・ユニット３２２２）との間のインターフェースを提供し、ＭＭＵ３３１８は、仮想アドレスから物理アドレスへのトランスレーションと、メモリ保護と、メモリ要求の調停とを提供する。少なくとも１つの実施例では、ＭＭＵ３３１８は、仮想アドレスからメモリ中の物理アドレスへのトランスレーションを実施するための１つ又は複数のトランスレーション・ルックアサイド・バッファ（「ＴＬＢ」）を提供する。

【0456】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサは、ＧＰＣ３３００に提供される情報を予測又は推論するために、ニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも１つの実施例では、ＧＰＣ３３００は、別のプロセッサ又はシステムによって、或いはＧＰＣ３３００によって訓練された、訓練された機械学習モデル（たとえば、ニューラル・ネットワーク）に基づいて、情報を推論又は予測するために使用される。少なくとも１つの実施例では、ＧＰＣ３３００は、本明細書で説明される１つ又は複数のニューラル・ネットワーク使用事例を実施するために使用され得る。

【0457】

少なくとも１つの実施例では、図３３に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３３に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３３に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0458】

図３４は、少なくとも１つの実施例による、並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニット３４００を示す。少なくとも１つの実施例では、メモリ・パーティション・ユニット３４００は、限定はしないが、ラスタ演算（「ＲＯＰ」）ユニット３４０２、レベル２（「Ｌ２」）キャッシュ３４０４、メモリ・インターフェース３４０６、及びそれらの任意の好適な組合せを含む。少なくとも１つの実施例では、メモリ・インターフェース３４０６はメモリに結合される。少なくとも１つの実施例では、メモリ・インターフェース３４０６は、高速データ転送のために、３２、６４、１２８、１０２４ビットのデータ・バスなどを実装し得る。少なくとも１つの実施例では、ＰＰＵは、Ｕが正の整数である、Ｕ個のメモリ・インターフェース３４０６を組み込み、パーティション・ユニット３４００のペア当たりに１つのメモリ・インターフェース３４０６があり、パーティション・ユニット３４００の各ペアは、対応するメモリ・デバイスに接続される。たとえば、少なくとも１つの実施例では、ＰＰＵは、高帯域幅メモリ・スタック、又はグラフィックス・ダブル・データ・レート、バージョン５、同期ダイナミック・ランダム・アクセス・メモリ（「ＧＤＤＲ５ ＳＤＲＡＭ」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ－ｄａｔａ－ｒａｔｅ，ｖｅｒｓｉｏｎ ５，ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）など、最高Ｙ個のメモリ・デバイスに接続され得る。

【0459】

少なくとも１つの実施例では、メモリ・インターフェース３４０６は、高帯域幅メモリ第２世代（「ＨＢＭ２」）メモリ・インターフェースを実装し、ＹはＵの半分に等しい。少なくとも１つの実施例では、ＨＢＭ２メモリ・スタックは、ＰＰＵをもつ物理パッケージ上に位置し、従来のＧＤＤＲ５ ＳＤＲＡＭシステムと比較してかなりの電力と面積の節約を提供する。少なくとも１つの実施例では、各ＨＢＭ２スタックは、限定はしないが、４つのメモリ・ダイを含み、Ｙ＝４であり、各ＨＢＭ２スタックが、１つのダイ当たりに２つの１２８ビット・チャネルを含み、合計で、８つのチャネル及び１０２４ビットのデータ・バス幅がある。少なくとも１つの実施例では、そのメモリは、データを保護するために、１ビット・エラー訂正２ビット・エラー検出（「ＳＥＣＤＥＤ」：Ｓｉｎｇｌｅ－Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｄｏｕｂｌｅ－Ｅｒｒｏｒ Ｄｅｔｅｃｔｉｎｇ）エラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）をサポートする。少なくとも１つの実施例では、ＥＣＣは、データ破損を受けやすいコンピュート・アプリケーションに、より高い信頼性を提供することができる。

【0460】

少なくとも１つの実施例では、ＰＰＵは、マルチ・レベル・メモリ階層を実装する。少なくとも１つの実施例では、メモリ・パーティション・ユニット３４００は、中央処理ユニット（「ＣＰＵ」）及びＰＰＵメモリに単一の統一仮想アドレス空間を提供するために統一メモリをサポートして、仮想メモリ・システム間でのデータ共有を可能にする。少なくとも１つの実施例では、より頻繁にページにアクセスしているＰＰＵの物理メモリにメモリ・ページが移動されることを確実にするために、他のプロセッサ上に位置するメモリへのＰＰＵによるアクセスの頻度が追跡される。少なくとも１つの実施例では、高速ＧＰＵ相互接続３２０８は、アドレス・トランスレーション・サービスをサポートして、ＰＰＵがＣＰＵのページ・テーブルに直接アクセスすることを可能にし、ＰＰＵによるＣＰＵメモリへのフル・アクセスを提供する。

【0461】

少なくとも１つの実施例では、コピー・エンジンは、複数のＰＰＵ間又はＰＰＵとＣＰＵとの間でデータを転送する。少なくとも１つの実施例では、コピー・エンジンは、ページ・テーブルにマッピングされないアドレスについてページ障害を生成することができ、次いで、メモリ・パーティション・ユニット３４００がページ障害に対応して、アドレスをページ・テーブルにマッピングし、その後、コピー・エンジンが転送を実施する。少なくとも１つの実施例では、メモリは、複数のプロセッサ間での複数のコピー・エンジン動作についてピン留めされて（たとえば、ページ移動不可能にされて）、利用可能なメモリを大幅に低減する。少なくとも１つの実施例では、ハードウェア・ページ障害がある場合、メモリ・ページが常駐であるかどうかにかかわらず、アドレスがコピー・エンジンに渡され得、コピー・プロセスは透過的である。

【0462】

少なくとも１つの実施例によれば、図３２のメモリ３２０４又は他のシステム・メモリからのデータは、メモリ・パーティション・ユニット３４００によってフェッチされ、Ｌ２キャッシュ３４０４に記憶され、Ｌ２キャッシュ３４０４は、オンチップで位置し、様々なＧＰＣ間で共有される。少なくとも１つの実施例では、各メモリ・パーティション・ユニット３４００は、限定はしないが、対応するメモリ・デバイスに関連するＬ２キャッシュの少なくとも一部分を含む。少なくとも１つの実施例では、より低いレベルのキャッシュが、ＧＰＣ内の様々なユニットにおいて実装される。少なくとも１つの実施例では、図３３中のＳＭ３３１４の各々は、レベル１（「Ｌ１」）キャッシュを実装し得、そのＬ１キャッシュは、特定のＳＭ３３１４に専用であるプライベート・メモリであり、Ｌ２キャッシュ３４０４からのデータは、フェッチされ、ＳＭ３３１４の機能ユニットでの処理のために各Ｌ１キャッシュに記憶される。少なくとも１つの実施例では、Ｌ２キャッシュ３４０４は、メモリ・インターフェース３４０６及び図３２に示されているＸバー３２２０に結合される。

【0463】

少なくとも１つの実施例では、ＲＯＰユニット３４０２は、色圧縮、ピクセル・ブレンディングなど、ピクセル色に関係するグラフィックス・ラスタ演算を実施する。ＲＯＰユニット３４０２は、少なくとも１つの実施例では、ラスタ・エンジン３３０８と併せて深度テストを実装して、ピクセル・フラグメントに関連するサンプル・ロケーションについての深度を、ラスタ・エンジン３３０８の選別エンジンから受信する。少なくとも１つの実施例では、深度は、フラグメントに関連するサンプル・ロケーションについての深度バッファにおける対応する深度に対してテストされる。少なくとも１つの実施例では、そのフラグメントがそのサンプル・ロケーションについての深度テストをパスした場合、ＲＯＰユニット３４０２は、深度バッファを更新し、その深度テストの結果をラスタ・エンジン３３０８に送信する。パーティション・ユニット３４００の数はＧＰＣの数とは異なり得、したがって、各ＲＯＰユニット３４０２は、少なくとも１つの実施例では、各ＧＰＣに結合され得ることが諒解されよう。少なくとも１つの実施例では、ＲＯＰユニット３４０２は、異なるＧＰＣから受信されたパケットを追跡し、ＲＯＰユニット３４０２によって生成された結果が、Ｘバー３２２０を通してルーティングされるべきであるかどうかを決定する。

【0464】

少なくとも１つの実施例では、図３４に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３４に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３４に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0465】

図３５は、少なくとも１つの実施例による、ストリーミング・マルチプロセッサ（「ＳＭ」）３５００を示す。少なくとも１つの実施例では、ＳＭ３５００は、図３３のＳＭである。少なくとも１つの実施例では、ＳＭ３５００は、限定はしないが、命令キャッシュ３５０２、１つ又は複数のスケジューラ・ユニット３５０４、レジスタ・ファイル３５０８、１つ又は複数の処理コア（「コア」）３５１０、１つ又は複数の特殊機能ユニット（「ＳＦＵ」：ｓｐｅｃｉａｌ ｆｕｎｃｔｉｏｎ ｕｎｉｔ）３５１２、１つ又は複数のロード／ストア・ユニット（「ＬＳＵ」ｌｏａｄ／ｓｔｏｒｅ ｕｎｉｔ）３５１４、相互接続ネットワーク３５１６、共有メモリ／レベル１（「Ｌ１」）キャッシュ３５１８、及び／又はそれらの任意の好適な組合せを含む。

【0466】

少なくとも１つの実施例では、ワーク分散ユニットは、並列処理ユニット（「ＰＰＵ」）の汎用処理クラスタ（「ＧＰＣ」）上での実行のためにタスクをディスパッチし、各タスクは、ＧＰＣ内の特定のデータ処理クラスタ（「ＤＰＣ」）に割り振られ、タスクがシェーダ・プログラムに関連する場合、そのタスクはＳＭ３５００のうちの１つに割り振られる。少なくとも１つの実施例では、スケジューラ・ユニット３５０４は、ワーク分散ユニットからタスクを受信し、ＳＭ３５００に割り当てられた１つ又は複数のスレッド・ブロックについて命令スケジューリングを管理する。少なくとも１つの実施例では、スケジューラ・ユニット３５０４は、並列スレッドのワープとしての実行のためにスレッド・ブロックをスケジューリングし、各スレッド・ブロックは、少なくとも１つのワープを割り振られる。少なくとも１つの実施例では、各ワープは、スレッドを実行する。少なくとも１つの実施例では、スケジューラ・ユニット３５０４は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを割り振り、次いで、複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット（たとえば、処理コア３５１０、ＳＦＵ３５１２、及びＬＳＵ３５１４）にディスパッチする。

【0467】

少なくとも１つの実施例では、連動グループは、通信するスレッドのグループを組織化するためのプログラミング・モデルを指し得、プログラミング・モデルは、スレッドが通信している粒度を開発者が表現することを可能にして、より豊富でより効率的な並列分解の表現を可能にする。少なくとも１つの実施例では、連動起動ＡＰＩは、並列アルゴリズムの実行のためにスレッド・ブロックの間の同期をサポートする。少なくとも１つの実施例では、従来のプログラミング・モデルのアプリケーションは、連動スレッドを同期するための単一の簡単な構築物、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア（たとえば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）を提供する。しかしながら、少なくとも１つの実施例では、プログラマは、スレッド・ブロックよりも小さい粒度においてスレッドのグループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形態で、より高い性能、設計のフレキシビリティ、及びソフトウェア再使用を可能にし得る。少なくとも１つの実施例では、連動グループは、プログラマが、サブ・ブロック（すなわち、単一スレッドと同じくらい小さい）粒度及びマルチ・ブロック粒度において、スレッドのグループを明示的に定義し、連動グループ中のスレッドに対する同期などの集合的な動作を実施することを可能にする。少なくとも１つの実施例では、そのプログラミング・モデルは、ソフトウェア境界にわたるクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数が、収束に関して仮定する必要なしにそれらのローカル・コンテキスト内で安全に同期することができる。少なくとも１つの実施例では、連動グループ・プリミティブは、限定はしないが、プロデューサ－コンシューマ並列性、日和見並列性（ｏｐｐｏｒｔｕｎｉｓｔｉｃ ｐａｒａｌｌｅｌｉｓｍ）、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を含む、新しいパターンの連動並列性を可能にする。

【0468】

少なくとも１つの実施例では、ディスパッチ・ユニット３５０６は、１つ又は複数の機能ユニットに命令を送信するように構成され、スケジューラ・ユニット３５０４は、限定はしないが、共通のワープからの２つの異なる命令が各クロック・サイクル中にディスパッチされることを可能にする２つのディスパッチ・ユニット３５０６を含む。少なくとも１つの実施例では、各スケジューラ・ユニット３５０４は、単一のディスパッチ・ユニット３５０６又は追加のディスパッチ・ユニット３５０６を含む。

【0469】

少なくとも１つの実施例では、各ＳＭ３５００は、少なくとも１つの実施例では、限定はしないが、ＳＭ３５００の機能ユニットにレジスタのセットを提供するレジスタ・ファイル３５０８を含む。少なくとも１つの実施例では、レジスタ・ファイル３５０８は、各機能ユニットがレジスタ・ファイル３５０８の専用部分を割り振られるように、各機能ユニットの間で分割される。少なくとも１つの実施例では、レジスタ・ファイル３５０８は、ＳＭ３５００によって実行されている異なるワープ間で分割され、レジスタ・ファイル３５０８は、機能ユニットのデータ経路に接続されたオペランドのための一時的ストレージを提供する。少なくとも１つの実施例では、各ＳＭ３５００は、限定はしないが、複数のＬ個の処理コア３５１０を含み、ここで、Ｌは正の整数である。少なくとも１つの実施例では、ＳＭ３５００は、限定はしないが、多数の（たとえば、１２８個以上の）個別の処理コア３５１０を含む。少なくとも１つの実施例では、各処理コア３５１０は、限定はしないが、完全にパイプライン化された、単精度の、倍精度の、及び／又は混合精度の処理ユニットを含み、これは、限定はしないが、浮動小数点算術論理ユニット及び整数算術論理ユニットを含む。少なくとも１つの実施例では、浮動小数点算術論理ユニットは、浮動小数点算術のためのＩＥＥＥ７５４－２００８規格を実装する。少なくとも１つの実施例では、処理コア３５１０は、限定はしないが、６４個の単精度（３２ビット）浮動小数点コアと、６４個の整数コアと、３２個の倍精度（６４ビット）浮動小数点コアと、８つのテンソル・コアとを含む。

【0470】

テンソル・コアは、少なくとも１つの実施例による行列演算を実施するように構成される。少なくとも１つの実施例では、１つ又は複数のテンソル・コアは、処理コア３５１０中に含まれる。少なくとも１つの実施例では、テンソル・コアは、ニューラル・ネットワーク訓練及び推論のための畳み込み演算など、深層学習行列算術を実施するように構成される。少なくとも１つの実施例では、各テンソル・コアは、４×４の行列で動作し、行列の積和演算（ｍａｔｒｉｘ ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｅ ｏｐｅｒａｔｉｏｎ）Ｄ＝Ａ×Ｂ＋Ｃを実施し、ここで、Ａ、Ｂ、Ｃ、及びＤは４×４の行列である。

【0471】

少なくとも１つの実施例では、行列乗算入力Ａ及びＢは、１６ビットの浮動小数点行列であり、和の行列Ｃ及びＤは、１６ビットの浮動小数点又は３２ビットの浮動小数点行列である。少なくとも１つの実施例では、テンソル・コアは、３２ビットの浮動小数点の和をもつ１６ビットの浮動小数点入力データで動作する。少なくとも１つの実施例では、１６ビットの浮動小数点乗算は、６４個の演算を使用し、結果的に完全精度の積をもたらし、次いで、完全精度の積が、４×４×４の行列乗算についての他の中間積との３２ビット浮動小数点加算を使用して加算される。少なくとも１つの実施例では、これらの小さい要素から築かれる、はるかに大きい２次元又はさらに高次元の行列演算を実施するために、テンソル・コアが使用される。少なくとも１つの実施例では、ＣＵＤＡ９Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも１つの実施例では、ＣＵＤＡレベルにおいて、ワープ・レベル・インターフェースは、ワープの３２個のスレッドすべてに及ぶ１６×１６サイズの行列を仮定する。

【0472】

少なくとも１つの実施例では、各ＳＭ３５００は、限定はしないが、特殊関数（たとえば、属性評価、逆数平方根など）を実施するＭ個のＳＦＵ３５１２を含む。少なくとも１つの実施例では、ＳＦＵ３５１２は、限定はしないが、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも１つの実施例では、ＳＦＵ３５１２は、限定はしないが、テクスチャ・マップ・フィルタリング動作を実施するように構成されたテクスチャ・ユニットを含む。少なくとも１つの実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ（たとえば、テクセルの２Ｄアレイ）をロードして、ＳＭ３５００によって実行されるシェーダ・プログラムにおける使用のためのサンプリングされたテクスチャ値を作り出すように構成される。少なくとも１つの実施例では、テクスチャ・マップは、共有メモリ／Ｌ１キャッシュ３５１８に記憶される。少なくとも１つの実施例では、テクスチャ・ユニットは、少なくとも１つの実施例によれば、ミップ・マップ（たとえば、詳細のレベルが異なるテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも１つの実施例では、各ＳＭ３５００は、限定はしないが、２つのテクスチャ・ユニットを含む。

【0473】

各ＳＭ３５００は、少なくとも１つの実施例では、限定はしないが、共有メモリ／Ｌ１キャッシュ３５１８とレジスタ・ファイル３５０８との間でロード及びストア動作を実装するＮ個のＬＳＵ３５１４を含む。少なくとも１つの実施例では、相互接続ネットワーク３５１６は、各機能ユニットをレジスタ・ファイル３５０８に接続し、ＬＳＵ３５１４をレジスタ・ファイル３５０８及び共有メモリ／Ｌ１キャッシュ３５１８に接続する。少なくとも１つの実施例では、相互接続ネットワーク３５１６はクロスバーであり、クロスバーは、任意の機能ユニットをレジスタ・ファイル３５０８中の任意のレジスタに接続し、ＬＳＵ３５１４をレジスタ・ファイル３５０８と共有メモリ／Ｌ１キャッシュ３５１８中のメモリ・ロケーションとに接続するように構成され得る。

【0474】

少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、少なくとも１つの実施例では、ＳＭ３５００とプリミティブ・エンジンとの間及びＳＭ３５００中のスレッド間でのデータ・ストレージ及び通信を可能にするオンチップ・メモリのアレイである。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、限定はしないが、１２８ＫＢのストレージ容量を備え、ＳＭ３５００からパーティション・ユニットへの経路中にある。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、少なくとも１つの実施例では、読取り及び書込みをキャッシュするために使用される。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ３５１８、Ｌ２キャッシュ、及びメモリのうちの１つ又は複数は、補助ストアである。

【0475】

少なくとも１つの実施例では、データ・キャッシュと共有メモリ機能性とを単一のメモリ・ブロックに組み合わせることは、両方のタイプのメモリ・アクセスについて改善された性能を提供する。少なくとも１つの実施例では、容量は、共有メモリが容量の半分を使用するように構成され、テクスチャ及びロード／ストア動作が残りの容量を使用することができる場合など、共有メモリを使用しないプログラムによってキャッシュとして使用されるか、又は使用可能である。少なくとも１つの実施例によれば、共有メモリ／Ｌ１キャッシュ３５１８内の統合は、共有メモリ／Ｌ１キャッシュ３５１８が、データをストリーミングするための高スループット管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供することを可能にする。少なくとも１つの実施例では、汎用並列算出のために構成されたとき、グラフィックス処理と比較してより簡単な構成が使用され得る。少なくとも１つの実施例では、固定機能グラフィックス処理ユニットがバイパスされて、はるかに簡単なプログラミング・モデルを作成する。汎用並列算出構成では、ワーク分散ユニットは、少なくとも１つの実施例においてスレッドのブロックをＤＰＣに直接割り当て、分散させる。少なくとも１つの実施例では、ブロック中のスレッドは、各スレッドが一意の結果を生成することを確実にするように、計算において一意のスレッドＩＤを使用して、共通のプログラムを実行し、ＳＭ３５００を使用してプログラムを実行し、計算を実施し、共有メモリ／Ｌ１キャッシュ３５１８を使用してスレッド間で通信し、ＬＳＵ３５１４を使用して、共有メモリ／Ｌ１キャッシュ３５１８及びメモリ・パーティション・ユニットを通してグローバル・メモリを読み取り、書き込む。少なくとも１つの実施例では、汎用並列算出のために構成されたとき、ＳＭ３５００は、ＤＰＣ上で新しいワークを起動するためにスケジューラ・ユニット３５０４が使用することができるコマンドを書き込む。

【0476】

少なくとも１つの実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレス・ハンドヘルド・デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭部装着型ディスプレイ、ハンドヘルド電子デバイスなどに含まれるか、又はそれらに結合される。少なくとも１つの実施例では、ＰＰＵは、単一の半導体基板上で具体化される。少なくとも１つの実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、縮小命令セット・コンピュータ（「ＲＩＳＣ」）ＣＰＵ、メモリ管理ユニット（「ＭＭＵ」）、デジタル－アナログ変換器（「ＤＡＣ」：ｄｉｇｉｔａｌ－ｔｏ－ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）などの１つ又は複数の他のデバイスとともにシステム・オン・チップ（「ＳｏＣ」）中に含まれる。

【0477】

少なくとも１つの実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィックス・カード上に含まれ得る。少なくとも１つの実施例では、そのグラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースするように構成され得る。少なくとも１つの実施例では、そのＰＰＵは、マザーボードのチップセット中に含まれる統合されたグラフィックス処理ユニット（「ｉＧＰＵ」：ｉｎｔｅｇｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であり得る。

【0478】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。少なくとも１つの実施例では、深層学習アプリケーション・プロセッサは、ＳＭ３５００に提供される情報を予測又は推論するために、ニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも１つの実施例では、ＳＭ３５００は、別のプロセッサ又はシステムによって、或いはＳＭ３５００によって訓練された、訓練された機械学習モデル（たとえば、ニューラル・ネットワーク）に基づいて、情報を推論又は予測するために使用される。少なくとも１つの実施例では、ＳＭ３５００は、本明細書で説明される１つ又は複数のニューラル・ネットワーク使用事例を実施するために使用され得る。

【0479】

少なくとも１つの実施例では、図３５に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３５に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３５に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0480】

医療用途における画像推論及び画像処理など、先進コンピューティングのための仮想化コンピューティング・プラットフォームに関係する実施例が開示される。限定はしないが、実施例は、放射線写真撮影、磁気共鳴撮像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、核医学、超音波、ソノグラフィ、エラストグラフィ、光音響撮像、トモグラフィ、心エコー、機能的近赤外分光法、及び磁性粒子撮像、又はそれらの組合せを含み得る。少なくとも１つの実施例では、本明細書で説明される仮想化コンピューティング・プラットフォーム及び関連するプロセスは、限定はしないが、法科学分析、表面下検出及び撮像（たとえば、石油探査、考古学、古生物学など）、地形学、海洋学、地質学、骨学、気象学、知能分野、又は物体追跡及び監視、センサ・データ処理（たとえば、ＲＡＤＡＲ、ＳＯＮＡＲ、ＬＩＤＡＲなど）、並びに／又はゲノミクス及び遺伝子シーケンシングにおいて、追加又は代替として使用され得る。

【0481】

図３６を参照すると、図３６は、少なくとも１つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス３６００のための例示的なデータ・フロー図である。少なくとも１つの実施例では、プロセス３６００は、医療施設、病院、ヘルスケア機関、クリニック、リサーチ又は診断の研究所など、１つ又は複数の施設３６０２において、撮像デバイス、処理デバイス、ゲノミクス・デバイス、遺伝子シーケンシング・デバイス、放射線デバイス、及び／又は他のデバイス・タイプとともに使用するために導入され得る。少なくとも１つの実施例では、プロセス３６００は、シーケンシング・データに対してゲノミクス分析及び推論を実施するために導入され得る。本明細書で説明されるシステム及びプロセスを使用して実施され得るゲノム分析の実例は、限定はしないが、バリアント・コール、変異検出、及び遺伝子発現の定量化を含む。

【0482】

少なくとも１つの実施例では、プロセス３６００は、訓練システム３６０４及び／又は導入システム３６０６内で実行され得る。少なくとも１つの実施例では、訓練システム３６０４は、導入システム３６０６における使用のための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装を実施するために使用され得る。少なくとも１つの実施例では、導入システム３６０６は、施設３６０２におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも１つの実施例では、導入システム３６０６は、施設３６０２において撮像デバイス（たとえば、ＭＲＩ、ＣＴスキャン、Ｘ線、超音波など）又はシーケンシング・デバイスとともに使用するための仮想機器を選択し、カスタマイズし、実装するための合理化されたプラットフォームを提供し得る。少なくとも１つの実施例では、仮想機器は、撮像デバイス、シーケンシング・デバイス、放射線デバイス、及び／又は他のデバイス・タイプによって生成された撮像データに対して１つ又は複数の処理動作を実施するためのソフトウェア定義アプリケーションを含み得る。少なくとも１つの実施例では、パイプライン中の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム３６０６のサービス（たとえば、推論、視覚化、コンピュート、ＡＩなど）を使用するか、又はコールし得る。

【0483】

少なくとも１つの実施例では、先進処理及び推論パイプラインにおいて使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実施するために機械学習モデル又は他のＡＩを使用し得る。少なくとも１つの実施例では、機械学習モデルは、施設３６０２において生成された（及び、施設３６０２において１つ又は複数のピクチャ・アーカイブ及び通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）サーバに記憶された）（撮像データなどの）データ３６０８を使用して、施設３６０２において訓練され得るか、１つ又は複数の別の施設（たとえば、異なる病院、研究所、クリニックなど）からの撮像又はシーケンシング・データ３６０８を使用して訓練され得るか、或いはそれらの組合せであり得る。少なくとも１つの実施例では、訓練システム３６０４は、導入システム３６０６のための実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースを提供するために使用され得る。

【0484】

少なくとも１つの実施例では、モデル・レジストリ３６２４は、バージョン管理及び物体メタデータをサポートし得る物体ストレージによってバックアップされ得る。少なくとも１つの実施例では、物体ストレージは、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図３７のクラウド３７２６）互換アプリケーション・プログラミング・インターフェース（ＡＰＩ）を通してアクセス可能であり得る。少なくとも１つの実施例では、モデル・レジストリ３６２４内の機械学習モデルは、システムの開発者又はパートナーがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除され得る。少なくとも１つの実施例では、ＡＰＩは、適切な資格をもつユーザがモデルをアプリケーションに関連付けることを可能にする方法へのアクセスを提供し得、それにより、モデルは、アプリケーションのコンテナ化されたインスタンス化の実行の一部として実行され得る。

【0485】

少なくとも１つの実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２がそれ自体の機械学習モデルを訓練しているか、或いは、最適化又は更新される必要がある既存の機械学習モデルを有するシナリオを含み得る。少なくとも１つの実施例では、（１つ又は複数の）撮像デバイス、シーケンシング・デバイス、及び／又は他のデバイス・タイプによって生成された撮像データ３６０８が受信され得る。少なくとも１つの実施例では、撮像データ３６０８が受信されると、機械学習モデルについてのグランド・トゥルース・データとして使用されるべき撮像データ３６０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション３６１０が使用され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション３６１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））を含み得、１つ又は複数の機械学習モデルは、（たとえば、いくつかのデバイスからの）いくつかのタイプの撮像データ３６０８及び／又は撮像データ３６０８中のいくつかのタイプの異常に対応するアノテーションを生成するように訓練され得る。少なくとも１つの実施例では、次いで、ＡＩ支援アノテーション３６１０は、グランド・トゥルース・データを生成するために、直接使用され得るか、或いは、（たとえば、研究者、臨床医、医師、科学者などによって）アノテーション・ツールを使用して調節又は微調整され得る。少なくとも１つの実施例では、いくつかの実例において、ラベル付きクリニック・データ３６１２（たとえば、臨床医、医師、科学者、技術者などによって提供されたアノテーション）が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション３６１０、ラベル付きクリニック・データ３６１２、又はそれらの組合せが、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル３６１６と呼ばれることがあり、本明細書で説明されるように、導入システム３６０６によって使用され得る。

【0486】

少なくとも１つの実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が、導入システム３６０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とするが、施設３６０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）シナリオを含み得る。少なくとも１つの実施例では、既存の機械学習モデルが、モデル・レジストリ３６２４から選択され得る。少なくとも１つの実施例では、モデル・レジストリ３６２４は、撮像データに対して様々な異なる推論タスクを実施するように訓練された機械学習モデルを含み得る。少なくとも１つの実施例では、モデル・レジストリ３６２４中の機械学習モデルは、施設３６０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、機械学習モデルは、１つのロケーション、２つのロケーション、又は任意の数のロケーションからの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、特定のロケーションからの撮像データに関して訓練されているとき、訓練は、そのロケーションにおいて行われ得るか、或いは少なくとも、（たとえば、ＨＩＰＰＡ規定、プライバシー規定などに準拠するように）撮像データの機密性を保護するか又は撮像データが構外へ転送されるのを制限する様式で、行われ得る。少なくとも１つの実施例では、１つのロケーションにおいてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ３６２４に追加され得る。少なくとも１つの実施例では、次いで、機械学習モデルは、任意の数の他の施設において再訓練又は更新され得、再訓練又は更新されたモデルが、モデル・レジストリ３６２４において利用可能にされ得る。少なくとも１つの実施例では、次いで、機械学習モデルは、モデル・レジストリ３６２４から選択され得、出力モデル３６１６と呼ばれることがあり、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施するために導入システム３６０６において使用され得る。

【0487】

少なくとも１つの実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が、導入システム３６０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とすることを含むが、施設３６０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）シナリオにおいて使用され得る。少なくとも１つの実施例では、モデル・レジストリ３６２４から選択された機械学習モデルは、母集団、遺伝的差異、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題における差異のために、施設３６０２において生成される撮像データ３６０８のために微調整又は最適化されないことがある。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用されるべき撮像データ３６０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション３６１０が使用され得る。少なくとも１つの実施例では、ラベル付きクリニック・データ３６１２（たとえば、臨床医、医師、科学者、技術者などによって提供されたアノテーション）が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練３６１４と呼ばれることがある。少なくとも１つの実施例では、モデル訓練３６１４、たとえばＡＩ支援アノテーション３６１０、ラベル付きクリニック・データ３６１２、又はそれらの組合せは、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用され得る。

【0488】

少なくとも１つの実施例では、導入システム３６０６は、ソフトウェア３６１８、サービス３６２０、ハードウェア３６２２、並びに／又は他の構成要素、特徴、及び機能性を含み得る。少なくとも１つの実施例では、導入システム３６０６は、ソフトウェア「スタック」を含み得、それにより、ソフトウェア３６１８は、サービス３６２０の上に築かれ得、サービス３６２０を使用して処理タスクのいくつか又はすべてを実施し得、サービス３６２０及びソフトウェア３６１８は、ハードウェア３６２２の上に築かれ、ハードウェア３６２２を使用して、導入システム３６０６の処理、ストレージ、及び／又は他のコンピュート・タスクを実行し得る。

【0489】

少なくとも１つの実施例では、ソフトウェア３６１８は、任意の数の異なるコンテナを含み得、各コンテナは、アプリケーションのインスタンス化を実行し得る。少なくとも１つの実施例では、各アプリケーションは、先進処理及び推論パイプライン中の１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実施し得る。少なくとも１つの実施例では、撮像デバイス（たとえば、ＣＴ、ＭＲＩ、Ｘ線、超音波、ソノグラフィ、心エコーなど）、シーケンシング・デバイス、放射線デバイス、ゲノミクス・デバイスなどの各タイプについて、デバイスによって生成された撮像データ３６０８（又は、本明細書で説明されるものなどの他のデータ・タイプ）に対してデータ処理タスクを実施し得る任意の数のコンテナがあり得る。少なくとも１つの実施例では、先進処理及び推論パイプラインは、（たとえば、施設３６０２におけるストレージ及び表示のために、医用におけるデジタル画像と通信（ＤＩＣＯＭ：ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ ｍｅｄｉｃｉｎｅ）データ、放射線医学情報システム（ＲＩＳ：ｒａｄｉｏｌｏｇｙ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ）データ、臨床情報システム（ＣＩＳ：ｃｌｉｎｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ）データ、リモート・プロシージャ・コール（ＲＰＣ：ｒｅｍｏｔｅ ｐｒｏｃｅｄｕｒｅ ｃａｌｌ）データ、表現状態転送（ＲＥＳＴ：ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｓｔａｔｅ ｔｒａｎｓｆｅｒ）インターフェースに実質的に準拠したデータ、ファイルベースのインターフェースに実質的に準拠したデータ、及び／又は生のデータなどの使用可能なデータ・タイプに出力を再コンバートするために）パイプラインを通して処理した後に、各コンテナによる使用及び／又は施設３６０２による使用のための撮像データを受信及び構成するコンテナに加えて、撮像データ３６０８を処理するために所望されるか又は必要とされる異なるコンテナの選択に基づいて、定義され得る。少なくとも１つの実施例では、（たとえば、パイプラインを作り上げる）ソフトウェア３６１８内のコンテナの組合せは、（本明細書でより詳細に説明されるように）仮想機器と呼ばれることがあり、仮想機器は、サービス３６２０及びハードウェア３６２２を活用して、コンテナにおいてインスタンス化されたアプリケーションのいくつか又はすべての処理タスクを実行し得る。

【0490】

少なくとも１つの実施例では、データ処理パイプラインは、推論要求（たとえば、臨床医、医師、放射線医など、導入システム３６０６のユーザからの要求）に応答して、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生、及び／又は他のフォーマットで入力データ（たとえば、撮像データ３６０８）を受信し得る。少なくとも１つの実施例では、入力データは、１つ又は複数の撮像デバイス、シーケンシング・デバイス、放射線デバイス、ゲノミクス・デバイス、及び／又は他のデバイス・タイプによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表し得る。少なくとも１つの実施例では、データは、１つ又は複数のアプリケーションによる処理のためにデータを準備するために、データ処理パイプラインの一部としての事前処理を受け得る。少なくとも１つの実施例では、次のアプリケーションのための出力データを準備するために、並びに／或いは、（たとえば、推論要求への応答としての）ユーザによる送信及び／又は使用のための出力データを準備するために、パイプラインの１つ又は複数の推論タスク又は他の処理タスクの出力に対して後処理が実施され得る。少なくとも１つの実施例では、推論タスクは、訓練システム３６０４の出力モデル３６１６を含み得る、訓練された又は導入されたニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実施され得る。

【0491】

少なくとも１つの実施例では、データ処理パイプラインのタスクは、（１つ又は複数の）コンテナ中にカプセル化され得、（１つ又は複数の）コンテナは、各々、アプリケーションの個別の完全に機能的なインスタンス化と、機械学習モデルを参照することが可能である仮想化コンピューティング環境とを表す。少なくとも１つの実施例では、コンテナ又はアプリケーションは、（本明細書でより詳細に説明される）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）エリアに公開され得、訓練された又は導入されたモデルは、モデル・レジストリ３６２４に記憶され、１つ又は複数のアプリケーションに関連し得る。少なくとも１つの実施例では、アプリケーションの画像（たとえば、コンテナ画像）は、コンテナ・レジストリにおいて利用可能であり得、パイプラインにおける導入のためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムによる使用のためのアプリケーションのインスタンス化のためのコンテナを生成するために使用され得る。

【0492】

少なくとも１つの実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実施するためのアプリケーションを（たとえばコンテナとして）開発、公開、及び記憶し得る。少なくとも１つの実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナがシステムに準拠するか又はシステムと互換性があることを確実にするために）システムに関連するソフトウェア開発キット（ＳＤＫ：ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ）を使用して実施され得る。少なくとも１つの実施例では、開発されたアプリケーションは、システム（たとえば、図３７のシステム３７００）としてサービス３６２０のうちの少なくともいくつかをサポートし得るＳＤＫを用いて、ローカルに（たとえば、第１の施設において、第１の施設からのデータに対して）テストされ得る。少なくとも１つの実施例では、ＤＩＣＯＭ物体は、１つから数百個の画像又は他のデータ・タイプをどこにでも含んでいることがあるので、及びデータの変動により、開発者は、入って来るＤＩＣＯＭデータの抽出及び準備を管理すること（たとえば、アプリケーションのための構築物を設定すること、事前処理をアプリケーションに組み込むことなど）について責任を負うことがある。少なくとも１つの実施例では、システム３７００によって（たとえば、精度、安全性、患者のプライバシーなどについて）検証されると、アプリケーションは、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクを実施するために、ユーザ（たとえば、病院、クリニック、研究所、ヘルスケア提供者など）による選択及び／又は実装のためにコンテナ・レジストリにおいて利用可能になり得る。

【0493】

少なくとも１つの実施例では、次いで、開発者は、アプリケーション又はコンテナを、システム（たとえば、図３７のシステム３７００）のユーザによるアクセス及び使用のためにネットワークを通して共有し得る。少なくとも１つの実施例では、完成した及び検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶され得、関連する機械学習モデルは、モデル・レジストリ３６２４に記憶され得る。少なくとも１つの実施例では、推論又は画像処理要求を提供する要求元エンティティ（たとえば、医療施設におけるユーザ）は、アプリケーション、コンテナ、データセット、機械学習モデルなどについてコンテナ・レジストリ及び／又はモデル・レジストリ３６２４をブラウズし、データ処理パイプライン中に含めるための要素の所望の組合せを選択し、撮像処理要求をサブミットし得る。少なくとも１つの実施例では、要求は、要求を実施するために必要である入力データ（及び、いくつかの実例では、関連する患者データ）を含み得、並びに／或いは、要求を処理する際に実行されるべき（１つ又は複数の）アプリケーション及び／又は機械学習モデルの選択を含み得る。少なくとも１つの実施例では、次いで、要求は、データ処理パイプラインの処理を実施するために導入システム３６０６（たとえば、クラウド）の１つ又は複数の構成要素に渡され得る。少なくとも１つの実施例では、導入システム３６０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ３６２４からの選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含み得る。少なくとも１つの実施例では、パイプラインによって結果が生成されると、結果は、参照のために（たとえば、ローカルの、構内のワークステーション又は端末上で実行している視聴アプリケーション・スイートにおいて視聴するために）ユーザに返され得る。少なくとも１つの実施例では、放射線医は、任意の数のアプリケーション及び／又はコンテナを含むデータ処理パイプラインから結果を受信し得、結果は、Ｘ線、ＣＴスキャン、ＭＲＩなどにおける異常検出を含み得る。

【0494】

少なくとも１つの実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を補助するために、サービス３６２０が活用され得る。少なくとも１つの実施例では、サービス３６２０は、コンピュート・サービス、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）サービス、視覚化サービス、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、サービス３６２０は、ソフトウェア３６１８中の１つ又は複数のアプリケーションに共通である機能性を提供し得、したがって、機能性は、アプリケーションによってコール又は活用され得るサービスに対して抽象化され得る。少なくとも１つの実施例では、サービス３６２０によって提供される機能性は、動的に及びより効率的に稼働し得、また、（たとえば、並列コンピューティング・プラットフォーム３７３０（図３７）を使用して）アプリケーションが並列にデータを処理することを可能にすることによって、良好にスケーリングし得る。少なくとも１つの実施例では、サービス３６２０によって与えられる同じ機能性を共有する各アプリケーションが、サービス３６２０のそれぞれのインスタンスを有することを必要とされるのではなく、サービス３６２０は、様々なアプリケーション間で及びそれらの間で共有され得る。少なくとも１つの実施例では、サービスは、非限定的な実例として、検出又はセグメント化タスクを実行するために使用され得る推論サーバ又はエンジンを含み得る。少なくとも１つの実施例では、機械学習モデル訓練及び／又は再訓練能力を提供し得るモデル訓練サービスが含まれ得る。少なくとも１つの実施例では、ＧＰＵ加速データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）抽出、リサイジング、スケーリング、及び／又は他の拡張を提供し得るデータ拡張サービスがさらに含まれ得る。少なくとも１つの実施例では、２次元（２Ｄ）及び／又は３次元（３Ｄ）のモデルにリアル感を追加するために、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を追加し得る視覚化サービスが使用され得る。少なくとも１つの実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを提供する仮想機器サービスが含まれ得る。

【0495】

少なくとも１つの実施例では、サービス３６２０がＡＩサービス（たとえば、推論サービス）を含む場合、異常検出（たとえば、腫瘍、発育異常、瘢痕化など）のためのアプリケーションに関連する１つ又は複数の機械学習モデルは、（１つ又は複数の）機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）を（たとえば、ＡＰＩコールとして）コールすることによって、実行され得る。少なくとも１つの実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、アプリケーションは、セグメント化タスクに関連する処理動作のうちの１つ又は複数を実施するための機械学習モデルを実行するように、推論サービスをコールし得る。少なくとも１つの実施例では、セグメント化アプリケーションと異常検出アプリケーションとを含む先進処理及び推論パイプラインを実装するソフトウェア３６１８は、１つ又は複数の推論タスクを実施するために各アプリケーションが同じ推論サービスをコールし得るので、合理化され得る。

【0496】

少なくとも１つの実施例では、ハードウェア３６２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸスーパーコンピュータ・システムなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含み得る。少なくとも１つの実施例では、異なるタイプのハードウェア３６２２が、導入システム３６０６中のソフトウェア３６１８及びサービス３６２０の効率的で専用のサポートを提供するために使用され得る。少なくとも１つの実施例では、画像処理、画像再構築、セグメント化、ＭＲＩ検査、脳卒中又は心臓発作の（たとえば、リアルタイムの）検出、レンダリングにおける画像品質などの効率、精度、及び有効性を改善するために、ＡＩ／深層学習システム内、クラウド・システム中、及び／又は導入システム３６０６の他の処理構成要素中で、ローカルで（たとえば、施設３６０２において）処理するためのＧＰＵ処理の使用が実装され得る。少なくとも１つの実施例では、施設は、撮像デバイス、ゲノミクス・デバイス、シーケンシング・デバイス、及び／又は他のデバイス・タイプを構内に含み得、これらのデバイスは、ＧＰＵを活用して、対象者の解剖学的組織を表す撮像データを生成し得る。

【0497】

少なくとも１つの実施例では、ソフトウェア３６１８及び／又はサービス３６２０は、非限定的な実例として、深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化され得る。少なくとも１つの実施例では、導入システム３６０６及び／又は訓練システム３６０４のコンピューティング環境の少なくとも一部は、データ・センタの１つ又は複数のスーパーコンピュータ又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアとの組合せ）を用いて実行され得る。少なくとも１つの実施例では、データ・センタは、ＨＩＰＡＡの条項に準拠し得、したがって、撮像データ及び／又は他の患者データの受信、処理、及び送信は、患者データのプライバシーに関して安全に取り扱われる。少なくとも１つの実施例では、ハードウェア３６２２は、任意の数のＧＰＵを含み得、それらのＧＰＵは、本明細書で説明されるように、データの並列処理を実施するためにコールされ得る。少なくとも１つの実施例では、クラウド・プラットフォームは、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化実行のためのＧＰＵ処理をさらに含み得る。少なくとも１つの実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステム上で提供される）（１つ又は複数の）ＡＩ／深層学習スーパーコンピュータ及び／又はＧＰＵ最適化ソフトウェアを、ハードウェア抽象化及びスケーリング・プラットフォームとして使用して、実行され得る。少なくとも１つの実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合し得る。

【0498】

少なくとも１つの実施例では、図３６に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３６に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３６に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0499】

図３７は、少なくとも１つの実施例による、撮像導入パイプラインを生成及び導入するための例示的なシステム３７００のためのシステム図である。少なくとも１つの実施例では、システム３７００は、図３６のプロセス３６００、並びに／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用され得る。少なくとも１つの実施例では、システム３７００は、訓練システム３６０４と導入システム３６０６とを含み得る。少なくとも１つの実施例では、訓練システム３６０４及び導入システム３６０６は、本明細書で説明されるように、ソフトウェア３６１８、サービス３６２０、及び／又はハードウェア３６２２を使用して実装され得る。

【0500】

少なくとも１つの実施例では、システム３７００（たとえば、訓練システム３６０４及び／又は導入システム３６０６）は、（たとえば、クラウド３７２６を使用する）クラウド・コンピューティング環境において実装され得る。少なくとも１つの実施例では、システム３７００は、ヘルスケア・サービス施設に関してローカルに、又はクラウド・コンピューティング・リソースとローカル・コンピューティング・リソースの両方の組合せとして、実装され得る。少なくとも１つの実施例では、クラウド・コンピューティングが実装される実施例では、患者データは、ＨＩＰＡＡ並びに／或いは他のデータ取扱い及びプライバシー規定又は法律に準拠していない処理をレンダリングするシステム３７００の１つ又は複数の構成要素から分離されるか、又はそれらによって処理されないことがある。少なくとも１つの実施例では、クラウド３７２６中のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを通して、許可されたユーザに限定され得る。少なくとも１つの実施例では、セキュリティ・プロトコルはウェブ・トークンを含み得、ウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）サービスによって署名され得、適切な許可を持ち得る。少なくとも１つの実施例では、（本明細書で説明される）仮想機器のＡＰＩ、又はシステム３７００の他のインスタンス化は、対話について検査又は許可されたパブリックＩＰのセットに限定され得る。

【0501】

少なくとも１つの実施例では、システム３７００の様々な構成要素は、ワイヤード及び／又はワイヤレス通信プロトコルを介して、限定はしないがローカル・エリア・ネットワーク（ＬＡＮ）及び／又はワイド・エリア・ネットワーク（ＷＡＮ）を含む様々な異なるネットワーク・タイプのいずれかを使用して、互いの間で通信し得る。少なくとも１つの実施例では、（たとえば、推論要求を送信するための、推論要求の結果を受信するためのなど）施設とシステム３７００の構成要素との間の通信は、１つ又は複数のデータ・バス、ワイヤレス・データ・プロトコル（Ｗｉ－Ｆｉ）、ワイヤード・データ・プロトコル（たとえば、イーサネット）などを介して通信され得る。

【0502】

少なくとも１つの実施例では、訓練システム３６０４は、図３６に関して本明細書で説明されたものと同様の訓練パイプライン３７０４を実行し得る。少なくとも１つの実施例では、１つ又は複数の機械学習モデルが導入システム３６０６によって導入パイプライン３７１０において使用されるべきである場合、訓練パイプライン３７０４は、１つ又は複数の（たとえば、事前訓練された）モデルを訓練又は再訓練し、並びに／或いは、事前訓練されたモデル３７０６のうちの１つ又は複数を（たとえば、再訓練又は更新の必要なしに）実装するために、使用され得る。少なくとも１つの実施例では、訓練パイプライン３７０４の結果として、（１つ又は複数の）出力モデル３６１６が生成され得る。少なくとも１つの実施例では、訓練パイプライン３７０４は、限定はしないが、（たとえば、ＤＩＣＯＭ画像を、Ｎｅｕｒｏｉｍａｇｉｎｇ Ｉｎｆｏｒｍａｔｉｃｓ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｉｔｉａｔｉｖｅ（ＮＩｆＴＩ）フォーマットなど、それぞれの機械学習モデルによる処理に好適な別のフォーマットにコンバートするために、ＤＩＣＯＭアダプタ３７０２Ａを使用する）撮像データ（又は他の入力データ）コンバージョン又は適応、ＡＩ支援アノテーション３６１０、ラベル付きクリニック・データ３６１２を生成するための撮像データ３６０８のラベル付け又はアノテーション付け、モデル・レジストリからのモデル選択、モデル訓練３６１４、モデルの訓練、再訓練、又は更新、及び／或いは他の処理ステップなど、任意の数の処理ステップを含み得る。少なくとも１つの実施例では、導入システム３６０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン３７０４が使用され得る。少なくとも１つの実施例では、図３６に関して説明された第１の実例と同様の訓練パイプライン３７０４は、第１の機械学習モデルのために使用され得、図３６に関して説明された第２の実例と同様の訓練パイプライン３７０４は、第２の機械学習モデルのために使用され得、図３６に関して説明された第３の実例と同様の訓練パイプライン３７０４は、第３の機械学習モデルのために使用され得る。少なくとも１つの実施例では、各それぞれの機械学習モデルについて何が必要とされるかに応じて、訓練システム３６０４内のタスクの任意の組合せが使用され得る。少なくとも１つの実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練され、導入の準備ができていることがあり、したがって、機械学習モデルは、訓練システム３６０４によるいかなる処理をも受けないことがあり、導入システム３６０６によって実装され得る。

【0503】

少なくとも１つの実施例では、（１つ又は複数の）出力モデル３６１６及び／又は（１つ又は複数の）事前訓練されたモデル３７０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含み得る。少なくとも１つの実施例では、及び限定はしないが、システム３７００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、判定ツリー、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、単純ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、ｋ平均クラスタリング、ランダム・フォレスト、次元低減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、リカレント、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態機械など）を使用する（１つ又は複数の）機械学習モデル、及び／又は他のタイプの機械学習モデルを含み得る。

【0504】

少なくとも１つの実施例では、訓練パイプライン３７０４は、少なくとも図４０Ｂに関して本明細書でより詳細に説明されるように、ＡＩ支援アノテーションを含み得る。少なくとも１つの実施例では、ラベル付きクリニック・データ３６１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成され得る。少なくとも１つの実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）プログラム、ラベル付けプログラム、グランド・トゥルースのためのアノテーション又はラベルを生成するのに好適な別のタイプのプログラム内で生成され得、及び／或いは、いくつかの実例では、手書きされ得る。少なくとも１つの実施例では、グランド・トゥルース・データは、合成的に作り出され（たとえば、コンピュータ・モデル又はレンダリングから生成され）、現実的に作り出され（たとえば、実世界のデータから設計され、作り出され）、（たとえば、データから特徴を抽出し、次いでラベルを生成するために、特徴分析及び学習を使用して）機械自動化され、人間によりアノテーション付けされ（たとえば、ラベラ、又はアノテーション専門家が、ラベルのロケーションを定義し）、及び／又はそれらの組合せであり得る。少なくとも１つの実施例では、撮像データ３６０８の各インスタンス（又は機械学習モデルによって使用される他のデータ・タイプ）について、訓練システム３６０４によって生成される対応するグランド・トゥルース・データがあり得る。少なくとも１つの実施例では、訓練パイプライン３７０４中に含まれるＡＩ支援アノテーションに加えて、又はその代わりにのいずれかで、導入パイプライン３７１０の一部としてＡＩ支援アノテーションが実行され得る。少なくとも１つの実施例では、システム３７００は多層プラットフォームを含み得、多層プラットフォームは、１つ又は複数の医療撮像及び診断機能を実施し得る診断アプリケーション（又は他のアプリケーション・タイプ）のソフトウェア層（たとえば、ソフトウェア３６１８）を含み得る。少なくとも１つの実施例では、システム３７００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合され得る。少なくとも１つの実施例では、システム３７００は、機械学習モデルを訓練すること、機械学習モデルを導入すること、画像処理、推論、及び／又は他の動作などの動作を実施するために、ＰＡＣＳサーバからのデータ（たとえば、ＤＩＣＯＭデータ、ＲＩＳデータ、生データ、ＣＩＳデータ、ＲＥＳＴ準拠データ、ＲＰＣデータ、生データなど）に（たとえば、ＤＩＣＯＭアダプタ３７０２、又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生などの別のデータ・タイプ・アダプタを介して）アクセスし、それを参照するように構成され得る。

【0505】

少なくとも１つの実施例では、ソフトウェア層は、セキュアな、暗号化された、及び／又は認証されたＡＰＩとして実装され得、このＡＰＩを通して、アプリケーション又はコンテナが、（１つ又は複数の）外部環境（たとえば、施設３６０２）から呼び出され（たとえば、コールされ）得る。少なくとも１つの実施例では、次いで、アプリケーションは、それぞれのアプリケーションに関連するコンピュート、ＡＩ、又は視覚化タスクを実施するために１つ又は複数のサービス３６２０をコール又は実行し得、ソフトウェア３６１８及び／又はサービス３６２０は、ハードウェア３６２２を活用して、処理タスクを有効で効率的な様式で実施し得る。

【0506】

少なくとも１つの実施例では、導入システム３６０６は、導入パイプライン３７１０を実行し得る。少なくとも１つの実施例では、導入パイプライン３７１０は任意の数のアプリケーションを含み得、それらのアプリケーションは、上記で説明されたように、ＡＩ支援アノテーションを含む、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のデータ・タイプ）に連続的に、非連続的に、又は他のやり方で適用され得る。少なくとも１つの実施例では、本明細書で説明されるように、個々のデバイスのための導入パイプライン３７１０は、デバイスのための仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれることがある。少なくとも１つの実施例では、デバイスによって生成されるデータから所望される情報に応じて、単一のデバイスについて、２つ以上の導入パイプライン３７１０があり得る。少なくとも１つの実施例では、異常の検出がＭＲＩマシンから所望される場合、第１の導入パイプライン３７１０があり得、画像強調がＭＲＩマシンの出力から所望される場合、第２の導入パイプライン３７１０があり得る。

【0507】

少なくとも１つの実施例では、導入パイプライン３７１０のために利用可能なアプリケーションは、デバイスからの撮像データ又は他のデータに対して処理タスクを実施するために使用され得る任意のアプリケーションを含み得る。少なくとも１つの実施例では、画像強調、セグメント化、再構築、異常検出、物体検出、特徴検出、処置計画、線量測定、ビーム計画（又は他の放射線処置プロシージャ）、及び／又は他の分析、画像処理、又は推論タスクについて、異なるアプリケーションが責任を負うことがある。少なくとも１つの実施例では、導入システム３６０６は、アプリケーションの各々についての構築を定義し得、それにより、導入システム３６０６のユーザ（たとえば、医療施設、研修所、クリニックなど）は、構築を理解し、自らのそれぞれの施設内での実装のためにアプリケーションを適応させ得る。少なくとも１つの実施例では、導入パイプライン３７１０中に含めるために、画像再構築のためのアプリケーションが選択され得るが、撮像デバイスによって生成されるデータ・タイプは、アプリケーション内で使用されるデータ・タイプとは異なり得る。少なくとも１つの実施例では、ＤＩＣＯＭアダプタ３７０２Ｂ（及び／又はＤＩＣＯＭリーダ）或いは別のデータ・タイプ・アダプタ又はリーダ（たとえば、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）が、導入システム３６０６内のアプリケーションによって使用可能な形態にデータをコンバートするために、導入パイプライン３７１０内で使用され得る。少なくとも１つの実施例では、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生、及び／又は他のデータ・タイプ・ライブラリへのアクセスは、データに対する任意の畳み込み、色補正、鮮明度、ガンマ、及び／又は他の拡張を、復号、抽出、及び／又は実施することを含めて、累積され、前処理され得る。少なくとも１つの実施例では、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、及び／又は生データは、順序なしであり得、収集されたデータを整理又はソートするために、事前パスが実行され得る。少なくとも１つの実施例では、様々なアプリケーションは共通の画像動作を共有し得るので、いくつかの実施例では、これらの動作を加速するために（たとえば、サービス３６２０のうちの１つとして）データ拡張ライブラリが使用され得る。少なくとも１つの実施例では、ＣＰＵ処理に依拠する従来の処理手法のボトルネックを回避するために、これらの処理タスクのＧＰＵ加速化のために並列コンピューティング・プラットフォーム３７３０が使用され得る。

【0508】

少なくとも１つの実施例では、画像再構築アプリケーションは、機械学習モデルの使用を含む処理タスクを含み得る。少なくとも１つの実施例では、ユーザは、ユーザ自身の機械学習モデルを使用すること、又はモデル・レジストリ３６２４から機械学習モデルを選択することを所望し得る。少なくとも１つの実施例では、ユーザは、処理タスクを実施するために、ユーザ自身の機械学習モデルを実装するか、又はアプリケーション中に含めるための機械学習モデルを選択し得る。少なくとも１つの実施例では、アプリケーションは選択可能及びカスタマイズ可能であり得、アプリケーションの構築を定義することによって、特定のユーザのためのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも１つの実施例では、サービス３６２０及びハードウェア３６２２など、システム３７００の他の特徴を活用することによって、導入パイプライン３７１０は、なお一層ユーザ・フレンドリになり、より容易な統合を提供し、より正確で、効率的で、タイムリーな結果を作り出し得る。

【0509】

少なくとも１つの実施例では、導入システム３６０６はユーザ・インターフェース３７１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含み得、ユーザ・インターフェース３７１４は、（１つ又は複数の）導入パイプライン３７１０中に含めるためのアプリケーションを選択し、アプリケーションを配置し、アプリケーション又はそのパラメータ若しくは構築を修正又は変更し、セットアップ及び／又は導入中に（１つ又は複数の）導入パイプライン３７１０を使用し、それと対話し、並びに／或いは他のやり方で導入システム３６０６と対話するために使用され得る。少なくとも１つの実施例では、訓練システム３６０４に関して示されていないが、ユーザ・インターフェース３７１４（又は異なるユーザ・インターフェース）は、導入システム３６０６における使用のためのモデルを選択するために、訓練システム３６０４において訓練又は再訓練するためのモデルを選択するために、及び／或いは訓練システム３６０４と他のやり方で対話するために使用され得る。

【0510】

少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン３７１０のアプリケーション又はコンテナと、サービス３６２０及び／又はハードウェア３６２２との間で対話を管理するために、アプリケーション・オーケストレーション・システム３７２８に加えてパイプライン・マネージャ３７１２が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ３７１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス３６２０への対話、及び／或いはアプリケーション又はサービスからハードウェア３６２２への対話を容易にするように構成され得る。少なくとも１つの実施例では、ソフトウェア３６１８中に含まれるように示されているが、これは限定を意図しておらず、（たとえば、図３８に示されている）いくつかの実例では、パイプライン・マネージャ３７１２は、サービス３６２０中に含まれ得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム３７２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含み得、コンテナ・オーケストレーション・システムは、アプリケーションを、協調、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン３７１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることよって、各アプリケーションは、自己完結型環境（たとえば、カーネル・レベル）において実行して、スピード及び効率を向上させ得る。

【0511】

少なくとも１つの実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入され得（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し得、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入し得）、これは、（１つ又は複数の）別のアプリケーション又は（１つ又は複数の）コンテナのタスクに邪魔されることなしに単一のアプリケーション及び／又は（１つ又は複数の）コンテナのタスクに集中し、注意を払うことを可能にする。少なくとも１つの実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ３７１２及びアプリケーション・オーケストレーション・システム３７２８によって補助され得る。少なくとも１つの実施例では、各コンテナ又はアプリケーションの予想される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構築に基づいて）システムによって知られている限り、アプリケーション・オーケストレーション・システム３７２８及び／又はパイプライン・マネージャ３７１２は、アプリケーション又はコンテナの各々の間の通信、及びそれらの間のリソースの共有を容易にし得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン３７１０中のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有し得るので、アプリケーション・オーケストレーション・システム３７２８は、様々なアプリケーション又はコンテナの間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定し得る。少なくとも１つの実施例では、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性を追跡するために、スケジューラが使用され得る。少なくとも１つの実施例では、したがって、スケジューラは、異なるアプリケーションにリソースを割り振り、システムの要件及び利用可能性を考慮してアプリケーションの間でリソースを分散させ得る。いくつかの実例では、スケジューラ（及び／又はアプリケーション・オーケストレーション・システム３７２８の他の構成要素）は、サービス品質（ＱｏＳ）、（たとえば、リアルタイム処理を実行すべきか遅延処理を実行すべきかを決定するための）データ出力を必要とする緊急度など、システムに課される制約（たとえば、ユーザ制約）に基づいて、リソースの利用可能性及び分散を決定し得る。

【0512】

少なくとも１つの実施例では、導入システム３６０６中のアプリケーション又はコンテナによって活用及び共有されるサービス３６２０は、コンピュート・サービス３７１６、ＡＩサービス３７１８、視覚化サービス３７２０、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、アプリケーションは、サービス３６２０のうちの１つ又は複数をコール（たとえば、実行）して、アプリケーションのための処理動作を実施し得る。少なくとも１つの実施例では、コンピュート・サービス３７１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ）タスクを実施するために、アプリケーションによって活用され得る。少なくとも１つの実施例では、アプリケーションのうちの１つ又は複数を通してデータを、及び／又は単一のアプリケーションの１つ又は複数のタスクを実質的に同時に処理するための（たとえば、並列コンピューティング・プラットフォーム３７３０を使用する）並列処理を実施するために、（１つ又は複数の）コンピュート・サービス３７１６が活用され得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム３７３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ３７２２）上での汎用コンピューティング（ＧＰＧＰＵ）を可能にし得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム３７３０のソフトウェア層は、コンピュート・カーネルの実行のために、仮想命令セット及びＧＰＵの並列算出要素へのアクセスを提供し得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム３７３０はメモリを含み得、いくつかの実施例では、メモリは、複数のコンテナの間で、及び／又は１つのコンテナ内の異なる処理タスクの間で共有され得る。少なくとも１つの実施例では、（たとえば、アプリケーションの複数の異なる段階又は複数のアプリケーションが同じ情報を処理している場合）並列コンピューティング・プラットフォーム３７３０のメモリの共有セグメントからの同じデータを使用するために、複数のコンテナについて及び／又はコンテナ内の複数のプロセスについて、プロセス間通信（ＩＰＣ：ｉｎｔｅｒ－ｐｒｏｃｅｓｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ）コールが生成され得る。少なくとも１つの実施例では、データのコピーをとり、データをメモリ中の異なるロケーションに移動すること（たとえば、読取り／書込み動作）ではなく、メモリの同じロケーション中の同じデータが、任意の数の処理タスクのために（たとえば、同じ時間、異なる時間などに）使用され得る。少なくとも１つの実施例では、データが使用されて、処理の結果として新しいデータが生成されるとき、データの新しいロケーションのこの情報は、様々なアプリケーション間で記憶及び共有され得る。少なくとも１つの実施例では、データのロケーションと、更新された又は修正されたデータのロケーションとは、コンテナ内でペイロードがどのように理解されるかの定義の一部であり得る。

【0513】

少なくとも１つの実施例では、ＡＩサービス３７１８は、アプリケーションに関連する（たとえば、アプリケーションの１つ又は複数の処理タスクを実施する役割を課された）（１つ又は複数の）機械学習モデルを実行するための推論サービスを実施するために活用され得る。少なくとも１つの実施例では、ＡＩサービス３７１８は、ＡＩシステム３７２４を活用して、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための（１つ又は複数の）機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン３７１０のアプリケーションは、訓練システム３６０４からの出力モデル３６１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データ（たとえば、ＤＩＣＯＭデータ、ＲＩＳデータ、ＣＩＳデータ、ＲＥＳＴ準拠データ、ＲＰＣデータ、生データなど）に関して推論を実施し得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム３７２８（たとえば、スケジューラ）を使用する推論の２つ又はそれ以上の実例が利用可能であり得る。少なくとも１つの実施例では、第１のカテゴリは、緊急時の至急の要求に関して推論を実施するための、又は診断時の放射線医のためのなど、より高いサービス・レベルの合意を達成し得る高優先度／低レイテンシ経路を含み得る。少なくとも１つの実施例では、第２のカテゴリは、至急でないことがある要求のために、又は分析が後で実施され得る場合に使用され得る標準優先度経路を含み得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム３７２８は、ＡＩサービス３７１８の異なる推論タスクのための優先度経路に基づいて、リソース（たとえば、サービス３６２０及び／又はハードウェア３６２２）を分散させ得る。

【0514】

少なくとも１つの実施例では、共有ストレージが、システム３７００内でＡＩサービス３７１８に取り付けられ得る。少なくとも１つの実施例では、共有ストレージは、キャッシュ（又は他のストレージ・デバイス・タイプ）として動作し得、アプリケーションからの推論要求を処理するために使用され得る。少なくとも１つの実施例では、推論要求がサブミットされたとき、要求は、導入システム３６０６のＡＰＩインスタンスのセットによって受信され得、要求を処理するために、１つ又は複数のインスタンスが（たとえば、最良な適合のために、ロード・バランシングのためになど）選択され得る。少なくとも１つの実施例では、要求を処理するために、要求がデータベースに入れられ得、機械学習モデルは、まだキャッシュにない場合、モデル・レジストリ３６２４から位置特定され得、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）にロードされ、及び／又はモデルのコピーがキャッシュに保存され得ることを確実にし得る。少なくとも１つの実施例では、アプリケーションがまだ稼働していない場合又はアプリケーションの十分なインスタンスがない場合、（たとえば、パイプライン・マネージャ３７１２の）スケジューラが、要求において参照されたアプリケーションを起動するために使用され得る。少なくとも１つの実施例では、モデルを実行するための推論サーバがまだ起動されていない場合、推論サーバが起動され得る。少なくとも１つの実施例では、任意の数の推論サーバがモデルごとに起動され得る。少なくとも１つの実施例では、推論サーバがクラスタ化されたプル・モデルにおいて、ロード・バランシングが有利であるときはいつでもモデルがキャッシュされ得る。少なくとも１つの実施例では、推論サーバは、対応する分散型サーバに静的にロードされ得る。

【0515】

少なくとも１つの実施例では、推論は、コンテナ中で稼働する推論サーバを使用して実施され得る。少なくとも１つの実施例では、推論サーバのインスタンスは、モデル（随意に、モデルの複数のバージョン）に関連し得る。少なくとも１つの実施例では、モデルに対して推論を実施するための要求が受信されたとき、推論サーバのインスタンスが存在しない場合、新しいインスタンスがロードされ得る。少なくとも１つの実施例では、推論サーバを開始するとき、モデルが推論サーバに渡され得、それにより、推論サーバが異なるインスタンスとして稼働している限り、異なるモデルにサービスするために同じコンテナが使用され得る。

【0516】

少なくとも１つの実施例では、アプリケーション実行中、所与のアプリケーションについての推論要求が受信され得、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていない場合）ロードされ得、開始プロシージャがコールされ得る。少なくとも１つの実施例では、コンテナ中の前処理論理が、（たとえば、（１つ又は複数の）ＣＰＵ及び／又は（１つ又は複数の）ＧＰＵを使用して）入って来るデータに対する任意の追加の前処理をロード、復号、及び／又は実施し得る。少なくとも１つの実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに関して推論を実施し得る。少なくとも１つの実施例では、これは、１つの画像（たとえば、手のＸ線）に対する単一の推論コールを含み得るか、又は何百もの画像（たとえば、胸のＣＴ）に関する推論を必要とし得る。少なくとも１つの実施例では、アプリケーションは、完了する前に結果を要約し得、これは、限定はしないが、単一の信頼性スコア、ピクセル・レベル・セグメント化、ボクセル・レベル・セグメント化、視覚化を生成すること、又は所見を要約するためにテキストを生成することを含み得る。少なくとも１つの実施例では、異なるモデル又はアプリケーションは、異なる優先度を割り当てられ得る。たとえば、リアルタイム（ＴＡＴ１分未満）の優先度を有するモデルもあれば、低優先度（たとえば、ＴＡＴ１０分未満）を有するモデルもある。少なくとも１つの実施例では、モデル実行時間は、要求元の機関又はエンティティから測定され得、パートナー・ネットワーク・トラバーサル時間、並びに推論サービスに対する実行を含み得る。

【0517】

少なくとも１つの実施例では、サービス３６２０と推論アプリケーションとの間での要求の転送は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠され得、キューを通してロバストなトランスポートが提供され得る。少なくとも１つの実施例では、個々のアプリケーション／テナントＩＤの組合せについて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも１つの実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供され得る。少なくとも１つの実施例では、キューを通した非同期通信は、その通信が、ワークが利用可能になったときに、アプリケーションの任意のインスタンスがそのワークをピックアップすることを可能にし得るので、有用であり得る。少なくとも１つの実施例では、結果は、データが失われないことを確実にするために、キューを通して返送され得る。少なくとも１つの実施例では、最高優先度のワークは、アプリケーションのほとんどのインスタンスがキューに接続された、キューに進み得、一方で、最低優先度のワークは、単一のインスタンスがキューに接続された、受信された順番にタスクを処理するキューに進み得るので、キューは、ワークをセグメント化するアビリティをも提供し得る。少なくとも１つの実施例では、アプリケーションは、クラウド３７２６において生成されたＧＰＵ加速インスタンス上で稼働し得、推論サービスは、ＧＰＵ上で推論を実施し得る。

【0518】

少なくとも１つの実施例では、視覚化サービス３７２０が、アプリケーション及び／又は（１つ又は複数の）導入パイプライン３７１０の出力を見るための視覚化を生成するために活用され得る。少なくとも１つの実施例では、視覚化を生成するために視覚化サービス３７２０によってＧＰＵ３７２２が活用され得る。少なくとも１つの実施例では、レイ・トレーシングなどのレンダリング効果が、より高品質の視覚化を生成するために視覚化サービス３７２０によって実装され得る。少なくとも１つの実施例では、視覚化は、限定はしないが、２Ｄ画像レンダリング、３Ｄボリューム・レンダリング、３Ｄボリューム再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを含み得る。少なくとも１つの実施例では、仮想化された環境が、システムのユーザ（たとえば、医師、看護師、放射線医など）による対話のための仮想インタラクティブ表示又は環境（たとえば、仮想環境）を生成するために使用され得る。少なくとも１つの実施例では、視覚化サービス３７２０は、内部ビジュアライザ、シネマティクス、及び／或いは他のレンダリング又は画像処理能力又は機能性（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含み得る。

【0519】

少なくとも１つの実施例では、ハードウェア３６２２は、ＧＰＵ３７２２、ＡＩシステム３７２４、クラウド３７２６、並びに／或いは訓練システム３６０４及び／又は導入システム３６０６を実行するために使用される任意の他のハードウェアを含み得る。少なくとも１つの実施例では、ＧＰＵ３７２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯ ＧＰＵ）は、任意の数のＧＰＵを含み得、任意の数のＧＰＵは、コンピュート・サービス３７１６、ＡＩサービス３７１８、視覚化サービス３７２０、他のサービス、及び／或いはソフトウェア３６１８の特徴又は機能性のいずれかの処理タスクを実行するために使用され得る。たとえば、ＡＩサービス３７１８に関して、ＧＰＵ３７２２が、撮像データ（又は機械学習モデルによって使用される他のデータ・タイプ）に対する前処理、機械学習モデルの出力に対する後処理を実施するために、及び／又は推論を実施するために（たとえば、機械学習モデルを実行するために）使用され得る。少なくとも１つの実施例では、クラウド３７２６、ＡＩシステム３７２４、及び／又はシステム３７００の他の構成要素は、ＧＰＵ３７２２を使用し得る。少なくとも１つの実施例では、クラウド３７２６は、深層学習タスクのためのＧＰＵ最適化プラットフォームを含み得る。少なくとも１つの実施例では、ＡＩシステム３７２４は、ＧＰＵを使用し得、クラウド３７２６、或いは深層学習又は推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム３７２４を使用して実行され得る。したがって、ハードウェア３６２２は個別構成要素として示されているが、これは、限定を意図しておらず、ハードウェア３６２２の任意の構成要素が、ハードウェア３６２２の任意の他の構成要素と組み合わせられ、それらによって活用され得る。

【0520】

少なくとも１つの実施例では、ＡＩシステム３７２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスクのために構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含み得る。少なくとも１つの実施例では、ＡＩシステム３７２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化ソフトウェア（たとえば、ソフトウェア・スタック）を含み得、ＧＰＵ最適化ソフトウェアは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、又は機能性に加えて、複数のＧＰＵ３７２２を使用して実行され得る。少なくとも１つの実施例では、１つ又は複数のＡＩシステム３７２４は、システム３７００のＡＩベースの処理タスクのいくつか又はすべてを実施するために、（たとえば、データ・センタにおいて）クラウド３７２６において実装され得る。

【0521】

少なくとも１つの実施例では、クラウド３７２６は、ＧＰＵ加速インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含み得、ＧＰＵ加速インフラストラクチャは、システム３７００の処理タスクを実行するためのＧＰＵ最適化プラットフォームを提供し得る。少なくとも１つの実施例では、クラウド３７２６は、システム３７００のＡＩベースのタスクのうちの１つ又は複数を実施するための（１つ又は複数の）ＡＩシステム３７２４を（たとえば、ハードウェア抽象化及びスケーリング・プラットフォームとして）含み得る。少なくとも１つの実施例では、クラウド３７２６は、アプリケーションとサービス３６２０との間でシームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵを活用してアプリケーション・オーケストレーション・システム３７２８と統合し得る。少なくとも１つの実施例では、クラウド３７２６は、本明細書で説明されるように、コンピュート・サービス３７１６、ＡＩサービス３７１８、及び／又は視覚化サービス３７２０を含む、システム３７００のサービス３６２０の少なくともいくつかを実行する役割を課され得る。少なくとも１つの実施例では、クラウド３７２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのＴＥＮＳＯＲ ＲＴを実行すること）を実施し、加速並列コンピューティングＡＰＩ及びプラットフォーム３７３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供し、アプリケーション・オーケストレーション・システム３７２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行し、（たとえば、より高品質のシネマティクスを作り出すためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法のための）グラフィックス・レンダリングＡＰＩ及びプラットフォームを提供し得、及び／又はシステム３７００のための他の機能性を提供し得る。

【0522】

少なくとも１つの実施例では、（たとえば、患者データ又は記録が構外で使用されることになる場合）患者の機密性を保つために、クラウド３７２６は、深層学習コンテナ・レジストリなどのレジストリを含み得る。少なくとも１つの実施例では、レジストリは、患者データに対する前処理、後処理、又は他の処理タスクを実施し得るアプリケーションのインスタンス化のためのコンテナを記憶し得る。少なくとも１つの実施例では、クラウド３７２６は、患者データ並びにセンサ・データをコンテナ中に含むデータを受信し、それらのコンテナにおいてセンサ・データについてのみ要求された処理を実施し、次いで、いずれも患者データを抽出、記憶、又は他のやり方でそれにアクセスする必要なしに、得られた出力及び／又は視覚化を適切なパーティ及び／又はデバイス（たとえば、視覚化又は診断のために使用される構内の医療デバイス）にフォワーディングし得る。少なくとも１つの実施例では、患者データの機密性は、ＨＩＰＡＡ及び／又は他のデータ規定に準拠して保たれる。

【0523】

少なくとも１つの実施例では、図３７に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３７に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３７に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0524】

図３８は、少なくとも１つの実施例による、撮像データを処理するための導入パイプライン３７１０Ａの例示的な図を含む。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン３７１０Ａをカスタマイズし、更新し、及び／又は１つ又は複数の生産（ｐｒｏｄｕｃｔｉｏｎ）環境に組み込むために、システム３７００、及び特に、導入システム３６０６が使用され得る。少なくとも１つの実施例では、図３８の導入パイプライン３７１０Ａは、施設において（たとえば、病院、クリニック、研究所、リサーチ環境などにおいて）特定のユーザ（又はユーザのチーム）によってカスタム定義され得る、導入パイプライン３７１０Ａの非限定的な実例を含む。少なくとも１つの実施例では、ＣＴスキャナ３８０２のための導入パイプライン３７１０Ａを定義するために、ユーザは、たとえば、コンテナ・レジストリから、ＣＴスキャナ３８０２によって生成された撮像データに関して特定の機能又はタスクを実施する１つ又は複数のアプリケーションを選択し得る。少なくとも１つの実施例では、アプリケーションは、システム３７００のサービス３６２０及び／又はハードウェア３６２２を活用し得るコンテナとして導入パイプライン３７１０Ａに適用され得る。さらに、導入パイプライン３７１０Ａは、アプリケーションによる使用のためのデータを準備するために実装され得る追加の処理タスク又はアプリケーションを含み得る（たとえば、ＤＩＣＯＭアダプタ３７０２Ｂ及びＤＩＣＯＭリーダ３８０６が、ＣＴ再構築３８０８、器官セグメント化３８１０などによる使用のためのデータを準備するために、導入パイプライン３７１０Ａにおいて使用され得る）。少なくとも１つの実施例では、導入パイプライン３７１０Ａは、一貫性のある導入、１回の使用のために、或いは別の頻度又は間隔のために、カスタマイズ又は選択され得る。少なくとも１つの実施例では、ユーザは、特定の間隔にわたって数人の対象者のためのＣＴ再構築３８０８及び器官セグメント化３８１０を有することを望み得、したがって、その時間期間の間パイプライン３７１０Ａを導入し得る。少なくとも１つの実施例では、ユーザは、システム３７００からの各要求について、ユーザがその要求についてそのデータに対して処理を実施することを希望するアプリケーションを選択し得る。少なくとも１つの実施例では、導入パイプライン３７１０Ａは、任意の間隔において調節され得、システム３７００内のコンテナ構造の適応性及びスケーラビリティのために、これはシームレスなプロセスであり得る。

【0525】

少なくとも１つの実施例では、図３８の導入パイプライン３７１０Ａは、患者又は対象者の撮像データを生成するＣＴスキャナ３８０２を含み得る。少なくとも１つの実施例では、ＣＴスキャナ３８０２からの撮像データは、ＣＴスキャナ３８０２を格納している施設に関連する（１つ又は複数の）ＰＡＣＳサーバ３８０４に記憶され得る。少なくとも１つの実施例では、（１つ又は複数の）ＰＡＣＳサーバ３８０４は、施設において撮像モダリティ（たとえば、ＣＴスキャナ３８０２）と直接インターフェースし得るソフトウェア及び／又はハードウェア構成要素を含み得る。少なくとも１つの実施例では、ＤＩＣＯＭアダプタ３７０２Ｂは、ＤＩＣＯＭプロトコルを使用したＤＩＣＯＭ物体の送出及び受信を可能にし得る。少なくとも１つの実施例では、ＤＩＣＯＭアダプタ３７０２Ｂは、導入パイプライン３７１０Ａによる使用のための（１つ又は複数の）ＰＡＣＳサーバ３８０４からのＤＩＣＯＭデータの準備又は構成を補助し得る。少なくとも１つの実施例では、ＤＩＣＯＭデータがＤＩＣＯＭアダプタ３７０２Ｂを通して処理されると、パイプライン・マネージャ３７１２は、導入パイプライン３７１０Ａにデータをルーティングし得る。少なくとも１つの実施例では、ＤＩＣＯＭリーダ３８０６は、ＤＩＣＯＭデータから画像ファイル及び任意の関連するメタデータ（たとえば、視覚化３８１６Ａに示されているような、生サイノグラム・データ）を抽出し得る。少なくとも１つの実施例では、抽出されたワーキング・ファイルは、導入パイプライン３７１０Ａ中の他のアプリケーションによるより速い処理のためにキャッシュに記憶され得る。少なくとも１つの実施例では、ＤＩＣＯＭリーダ３８０６がデータを抽出及び／又は記憶することを終了すると、完了の信号がパイプライン・マネージャ３７１２に通信され得る。少なくとも１つの実施例では、パイプライン・マネージャ３７１２は、次いで、導入パイプライン３７１０Ａ中の１つ又は複数の他のアプリケーション又はコンテナを始動するか、又はコールし得る。

【0526】

少なくとも１つの実施例では、ＣＴ再構築３８０８アプリケーション及び／又はコンテナは、データ（たとえば、生サイノグラム・データ）がＣＴ再構築３８０８アプリケーションによる処理のために利用可能になると、実行され得る。少なくとも１つの実施例では、ＣＴ再構築３８０８は、キャッシュから生サイノグラム・データを読み取り、（たとえば、視覚化３８１６Ｂに示されているように）生サイノグラム・データの中から画像ファイルを再構築し、得られた画像ファイルをキャッシュに記憶し得る。少なくとも１つの実施例では、再構築の完了において、パイプライン・マネージャ３７１２は、再構築タスクが完了したことをシグナリングされ得る。少なくとも１つの実施例では、再構築が完了し、再構築された画像ファイルがキャッシュ（又は他のストレージ・デバイス）に記憶され得ると、器官セグメント化３８１０アプリケーション及び／又はコンテナがパイプライン・マネージャ３７１２によってトリガされ得る。少なくとも１つの実施例では、器官セグメント化３８１０アプリケーション及び／又はコンテナは、キャッシュから画像ファイルを読み取り、画像ファイルを正規化するか又は推論に好適なフォーマットにコンバート（たとえば、画像ファイルを機械学習モデルの入力解像度にコンバート）し、正規化された画像に対して推論を稼働し得る。少なくとも１つの実施例では、正規化された画像に対して推論を稼働するために、器官セグメント化３８１０アプリケーション及び／又はコンテナはサービス３６２０に依拠し得、パイプライン・マネージャ３７１２及び／又はアプリケーション・オーケストレーション・システム３７２８は、器官セグメント化３８１０アプリケーション及び／又はコンテナによるサービス３６２０の使用を容易にし得る。少なくとも１つの実施例では、たとえば、器官セグメント化３８１０アプリケーション及び／又はコンテナは、正規化された画像に対して推論を実施するためにＡＩサービス３７１８を活用し得、ＡＩサービス３７１８は、ＡＩサービス３７１８を実行するためにハードウェア３６２２（たとえば、ＡＩシステム３７２４）を活用し得る。少なくとも１つの実施例では、推論の結果は、キャッシュ（又は他のストレージ・デバイス）に記憶され得る（たとえば、視覚化３８１６Ｃに示されているような）マスク・ファイルであり得る。

【0527】

少なくとも１つの実施例では、ＤＩＣＯＭデータ及び／又はＤＩＣＯＭデータから抽出されたデータを処理するアプリケーションが処理を完了すると、パイプライン・マネージャ３７１２のための信号が生成され得る。少なくとも１つの実施例では、パイプライン・マネージャ３７１２は、次いで、ＤＩＣＯＭライター３８１２を実行して、キャッシュ（又は他のストレージ・デバイス）から結果を読み取り、結果を、要求を生成した施設におけるユーザによる使用のためにＤＩＣＯＭフォーマットに（たとえば、ＤＩＣＯＭ出力３８１４として）パッケージ化し得る。少なくとも１つの実施例では、ＤＩＣＯＭ出力３８１４は、次いで、（たとえば、施設におけるＤＩＣＯＭビューアによる視聴のために）（１つ又は複数の）ＰＡＣＳサーバ３８０４に記憶するためのＤＩＣＯＭ出力３８１４を準備するために、ＤＩＣＯＭアダプタ３７０２Ｂに送信され得る。少なくとも１つの実施例では、再構築及びセグメント化についての要求に応答して、視覚化３８１６Ｂ及び３８１６Ｃが生成され、診断、リサーチのために、及び／又は他の目的のために、ユーザにとって利用可能になり得る。

【0528】

導入パイプライン３７１０Ａ中の連続するアプリケーションとして示されているが、ＣＴ再構築３８０８及び器官セグメント化３８１０アプリケーションは、少なくとも１つの実施例では並列に処理され得る。少なくとも１つの実施例では、アプリケーションが互いに依存性を有せず、（たとえば、ＤＩＣＯＭリーダ３８０６がデータを抽出した後に）データが各アプリケーションについて利用可能である場合、アプリケーションは、同じ時間において、実質的に同じ時間において、又はある程度重複して、実行され得る。少なくとも１つの実施例では、２つ又はそれ以上のアプリケーションが同様のサービス３６２０を必要とする場合、ロード・バランシングを行い、様々なアプリケーション間でコンピュート又は処理リソースを分散させるために、システム３７００のスケジューラが使用され得る。少なくとも１つの実施例では、いくつかの実施例において、導入パイプライン３７１０Ａのランタイムを減少させてリアルタイム結果を提供するために、アプリケーションについての並列処理を実施するために並列コンピューティング・プラットフォーム３７３０が使用され得る。

【0529】

少なくとも１つの実施例では、及び図３９Ａ～図３９Ｂに関して、導入システム３６０６は、撮像デバイス（たとえば、ＣＴスキャナ、Ｘ線機械、ＭＲＩ機械など）、シーケンシング・デバイス、ゲノミクス・デバイス、及び／又は他のデバイス・タイプを用いて、画像処理、セグメント化、強調、ＡＩ、視覚化、及び推論など、異なる機能性を実施するための、１つ又は複数の仮想機器として実装され得る。少なくとも１つの実施例では、システム３７００は、（１つ又は複数の）デバイスによって生成された生の／処理されていない入力データを受信し、処理された／再構築されたデータを出力し得るソフトウェア定義導入パイプライン３７１０を含み得る仮想機器の作成及び提供を可能にし得る。少なくとも１つの実施例では、仮想機器を表す導入パイプライン３７１０（たとえば、３７１０Ａ及び３７１０Ｂ）は、コンテナ化された推論サポートをシステムに提供するために、機械学習モデルを活用することなどによって、インテリジェンスをパイプラインに実装し得る。少なくとも１つの実施例では、仮想機器は、各々がアプリケーションのインスタンス化を含む、任意の数のコンテナを実行し得る。リアルタイム処理が望まれる場合など、少なくとも１つの実施例では、仮想機器を表す導入パイプライン３７１０は静的であり得（たとえば、コンテナ及び／又はアプリケーションが設定され得）、他の実例では、仮想機器のためのコンテナ及び／又はアプリケーションは、（たとえば、コンテナ・レジストリ内の）アプリケーション又はリソースのプールから（たとえば、要求ごとに）選択され得る。

【0530】

少なくとも１つの実施例では、システム３７００は、たとえば、放射線機械、撮像デバイス、及び／又は施設における別のデバイス・タイプの隣に導入されたか又はさもなければそれらと通信しているコンピューティング・システム中で、施設における構内の１つ又は複数の仮想機器としてインスタンス化又は実行され得る。少なくとも１つの実施例では、しかしながら、構内の設置は、デバイス自体のコンピューティング・システム（たとえば、撮像デバイスと一体のコンピューティング・システム）内で、ローカル・データ・センタ（たとえば、構内のデータ・センタ）中で、及び／又はクラウド環境中で（たとえば、クラウド３７２６中で）、インスタンス化又は実行され得る。少なくとも１つの実施例では、仮想機器として動作する導入システム３６０６は、いくつかの実例ではスーパーコンピュータ又は他のＨＰＣシステムによってインスタンス化され得る。少なくとも１つの実施例では、構内の設置は、リアルタイム処理のための（たとえば、イーサネットを介したＲＦ（ＲＦ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）など、より高いスループットのローカル通信インターフェースを介した）高帯域幅使用を可能にし得る。少なくとも１つの実施例では、リアルタイム又はほぼリアルタイムの処理は、正確な診断及び分析のために即時の視覚化が期待されるか又は必要とされる超音波デバイス又は他の撮像モダリティを仮想機器がサポートする場合、特に有用であり得る。少なくとも１つの実施例では、クラウド・コンピューティング・アーキテクチャは、ローカル需要が構内の容量又は能力を超えたとき、クラウド・コンピューティング・サービス・プロバイダ、又は他のコンピュート・クラスタに動的にバーストすることが可能であり得る。少なくとも１つの実施例では、クラウド・アーキテクチャは、実装されたとき、訓練システム３６０４に関して本明細書で説明されるように、訓練ニューラル・ネットワーク又は他の機械学習モデルについて調整され得る。少なくとも１つの実施例では、訓練パイプラインが所定の位置にある場合、機械学習モデルは、機械学習モデルがサポートするデバイスからの追加のデータを機械学習モデルが処理するとき、継続的に学習し、改善することがある。少なくとも１つの実施例では、仮想機器は、追加のデータ、新しいデータ、既存の機械学習モデル、及び／或いは新しい又は更新された機械学習モデルを使用して絶えず改善され得る。

【0531】

少なくとも１つの実施例では、コンピューティング・システムは、本明細書で説明されるハードウェア３６２２の一部又は全部を含み得、ハードウェア３６２２は、デバイス内で、デバイスに結合され、デバイスに近接して位置するコンピューティング・デバイスの一部として、施設におけるローカル・データ・センタ中で、及び／又はクラウド３７２６中でを含むいくつかのやり方のいずれかで、分散され得る。少なくとも１つの実施例では、導入システム３６０６及び関連するアプリケーション又はコンテナがソフトウェアにおいて（たとえば、アプリケーションの個別のコンテナ化されたインスタンス化として）作成されるので、仮想機器の挙動、動作、及び構成、並びに仮想機器によって生成される出力は、仮想機器がサポートするデバイスの生出力を変更又は改変する必要なしに、必要に応じて修正又はカスタマイズされ得る。

【0532】

少なくとも１つの実施例では、図３８に示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３８に示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３８に示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0533】

図３９Ａは、少なくとも１つの実施例による、超音波デバイスをサポートする仮想機器の例示的なデータ・フロー図を含む。少なくとも１つの実施例では、導入パイプライン３７１０Ｂは、システム３７００のサービス３６２０のうちの１つ又は複数を活用し得る。少なくとも１つの実施例では、導入パイプライン３７１０Ｂ及びサービス３６２０は、ローカルに又はクラウド３７２６中でのいずれかで、システムのハードウェア３６２２を活用し得る。少なくとも１つの実施例では、示されていないが、プロセス３９００は、パイプライン・マネージャ３７１２、アプリケーション・オーケストレーション・システム３７２８、及び／又は並列コンピューティング・プラットフォーム３７３０によって容易にされ得る。

【0534】

少なくとも１つの実施例では、プロセス３９００は、超音波デバイス３９０２からの撮像データの受信を含み得る。少なくとも１つの実施例では、撮像データは、ＤＩＣＯＭフォーマット（又は、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など、他のフォーマット）で（１つ又は複数の）ＰＡＣＳサーバに記憶され得、超音波デバイス３９０２のための仮想機器（たとえば、仮想超音波）として選択又はカスタマイズされる導入パイプライン３７１０を通して処理するためにシステム３７００によって受信され得る。少なくとも１つの実施例では、撮像データは、撮像デバイス（たとえば、超音波デバイス３９０２）から直接受信され、仮想機器によって処理され得る。少なくとも１つの実施例では、撮像デバイスと仮想機器との間で通信可能に結合されたトランスデューサ又は他の信号コンバータが、撮像デバイスによって生成された信号データを、仮想機器によって処理され得る画像データにコンバートし得る。少なくとも１つの実施例では、生データ及び／又は画像データは、導入パイプライン３７１０Ｂのアプリケーション又はコンテナによる使用のためのデータを抽出するためにＤＩＣＯＭリーダ３８０６に適用され得る。少なくとも１つの実施例では、ＤＩＣＯＭリーダ３８０６は、アプリケーション又はコンテナによる使用のためのデータを抽出し、リサイズし、再スケーリングし、及び／又はさもなければ準備するためのサービス３６２０として（たとえば、（１つ又は複数の）コンピュート・サービス３７１６のうちの１つとして）、データ拡張ライブラリ３９１４（たとえば、ＮＶＩＤＩＡのＤＡＬＩ（登録商標））を活用し得る。

【0535】

少なくとも１つの実施例では、データが準備されると、超音波デバイス３９０２からのデータを画像ファイルに再構築するために、再構築３９０６アプリケーション及び／又はコンテナが実行され得る。少なくとも１つの実施例では、再構築３９０６の後に、又は再構築３９０６と同時に、データに関係する異常検出、物体検出、特徴検出、及び／又は他の検出タスクのために、検出３９０８アプリケーション及び／又はコンテナが実行され得る。少なくとも１つの実施例では、再構築３９０６中に生成された画像ファイルは、異常、物体、特徴などを識別するために、検出３９０８中に使用され得る。少なくとも１つの実施例では、検出３９０８アプリケーションは、データに対して推論を実施して検出を生成するために、（たとえば、（１つ又は複数の）ＡＩサービス３７１８のうちの１つとして）推論エンジン３９１６を活用し得る。少なくとも１つの実施例では、（たとえば、訓練システム３６０４からの）１つ又は複数の機械学習モデルが、検出３９０８アプリケーションによって実行又はコールされ得る。

【0536】

少なくとも１つの実施例では、再構築３９０６及び／又は検出３９０８が完了すると、これらのアプリケーション及び／又はコンテナから出力されたデータが、ワークステーション又はディスプレイ端末上に表示される視覚化３９１２（たとえば、グレースケール出力）など、視覚化３９１０を生成するために使用され得る。少なくとも１つの実施例では、視覚化は、技術者又は他のユーザが超音波デバイス３９０２に対する導入パイプライン３７１０Ｂの結果を視覚化することを可能にし得る。少なくとも１つの実施例では、視覚化３９１０は、システム３７００のレンダー構成要素３９１８（たとえば、（１つ又は複数の）視覚化サービス３７２０のうちの１つ）を活用することによって実行され得る。少なくとも１つの実施例では、レンダー構成要素３９１８は、視覚化３９１２を生成するために、２Ｄ、ＯｐｅｎＧＬ、又はレイ・トレーシング・サービスを実行し得る。

【0537】

図３９Ｂは、少なくとも１つの実施例による、ＣＴスキャナをサポートする仮想機器の例示的なデータ・フロー図を含む。少なくとも１つの実施例では、導入パイプライン３７１０Ｃは、システム３７００のサービス３６２０のうちの１つ又は複数を活用し得る。少なくとも１つの実施例では、導入パイプライン３７１０Ｃ及びサービス３６２０は、ローカルに又はクラウド３７２６中でのいずれかで、システムのハードウェア３６２２を活用し得る。少なくとも１つの実施例では、示されていないが、プロセス３９２０は、パイプライン・マネージャ３７１２、アプリケーション・オーケストレーション・システム３７２８、及び／又は並列コンピューティング・プラットフォーム３７３０によって容易にされ得る。

【0538】

少なくとも１つの実施例では、プロセス３９２０は、（たとえば、直接、ＰＡＣＳサーバ３８０４を介して、処理の後になど）ＤＩＣＯＭリーダ３８０６によって受信され得る生データを生成するＣＴスキャナ３９２２を含み得る。少なくとも１つの実施例では、（導入パイプライン３７１０Ｃによってインスタンス化された）仮想ＣＴは、患者を監視するため（たとえば、患者移動検出ＡＩ３９２６）の、及び／或いは（たとえば、露出制御ＡＩ３９２４を使用して）ＣＴスキャナ３９２２の露出を調節又は最適化するための、第１のリアルタイム・パイプラインを含み得る。少なくとも１つの実施例では、アプリケーション（たとえば、３９２４及び３９２６）のうちの１つ又は複数は、（１つ又は複数の）ＡＩサービス３７１８など、サービス３６２０を活用し得る。少なくとも１つの実施例では、露出制御ＡＩ３９２４アプリケーション（又はコンテナ）及び／又は患者移動検出ＡＩ３９２６アプリケーション（又はコンテナ）の出力は、露出（又はＣＴスキャナ３９２２の他の設定）を調節し、及び／又はあまり移動しないように患者に知らせるための、ＣＴスキャナ３９２２及び／又は技術者へのフィードバックとして使用され得る。

【0539】

少なくとも１つの実施例では、導入パイプライン３７１０Ｃは、ＣＴスキャナ３９２２によって生成されたデータを分析するための非リアルタイム・パイプラインを含み得る。少なくとも１つの実施例では、第２のパイプラインは、ＣＴ再構築３８０８アプリケーション及び／又はコンテナ、粗い検出ＡＩ３９２８アプリケーション及び／又はコンテナと、（たとえば、粗い検出ＡＩ３９２８によっていくつかの結果が検出された場合の）細かい検出ＡＩ３９３２アプリケーション及び／又はコンテナ、視覚化３９３０アプリケーション及び／又はコンテナと、ＤＩＣＯＭライター３８１２（及び／又は、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など、他のデータ・タイプ・ライター）アプリケーション及び／又はコンテナとを含み得る。少なくとも１つの実施例では、ＣＴスキャナ３９２２によって生成された生データは、結果を生成するために（仮想ＣＴ機器としてインスタンス化された）導入パイプライン３７１０Ｃのパイプラインに通され得る。少なくとも１つの実施例では、ＤＩＣＯＭライター３８１２からの結果は、表示のために送信され得、及び／或いは、技術者、開業医、又は他のユーザが後で取り出すか、分析するか、又は表示するために、（１つ又は複数の）ＰＡＣＳサーバ３８０４に記憶され得る。

【0540】

少なくとも１つの実施例では、図３９Ａ～図３９Ｂに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図３９Ａ～図３９Ｂに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図３９Ａ～図３９Ｂに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0541】

図４０Ａは、少なくとも１つの実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス４０００のデータ・フロー図を示す。少なくとも１つの実施例では、プロセス４０００は、図３７のシステム３７００を非限定的な実例として使用して、実行され得る。少なくとも１つの実施例では、プロセス４０００は、本明細書で説明されるように、システム３７００のサービス３６２０及び／又はハードウェア３６２２を活用し得る。少なくとも１つの実施例では、プロセス４０００によって生成される改良されたモデル４０１２は、導入パイプライン３７１０中の１つ又は複数のコンテナ化アプリケーションのために、導入システム３６０６によって実行され得る。

【0542】

少なくとも１つの実施例では、モデル訓練３６１４は、新しい訓練データ（たとえば、顧客データセット４００６、及び／又は入力データに関連する新しいグランド・トゥルース・データなどの新しい入力データ）を使用して、初期モデル４００４（たとえば、事前訓練されたモデル）を再訓練又は更新することを含み得る。少なくとも１つの実施例では、初期モデル４００４を再訓練又は更新するために、初期モデル４００４の（１つ又は複数の）出力又は損失層がリセット又は削除され得、及び／或いは、（１つ又は複数の）更新された又は新しい出力又は損失層と置き換えられ得る。少なくとも１つの実施例では、初期モデル４００４は、前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有し得、したがって、訓練又は再訓練３６１４は、最初からモデルを訓練するほど長い時間がかからないか、又は多くの処理を必要としないことがある。少なくとも１つの実施例では、モデル訓練３６１４中に、初期モデル４００４の（１つ又は複数の）リセットされた又は置き換えられた出力又は損失層を有することによって、パラメータは、新しい顧客データセット４００６（たとえば、図３６の画像データ３６０８）に関して予測を生成する際の（１つ又は複数の）出力又は損失層の精度に関連する損失計算に基づいて、新しいデータセットのために更新又は再調整され得る。

【0543】

少なくとも１つの実施例では、事前訓練されたモデル３７０６は、データ・ストア又はレジストリ（たとえば、図３６のモデル・レジストリ３６２４）に記憶され得る。少なくとも１つの実施例では、事前訓練されたモデル３７０６は、少なくとも部分的に、プロセス４０００を実行する施設以外の１つ又は複数の施設において訓練されていることがある。少なくとも１つの実施例では、異なる施設の患者、対象者、顧客のプライバシー及び権利を保護するために、事前訓練されたモデル３７０６は、構内で生成された顧客又は患者データを使用して、構内で訓練されていることがある。少なくとも１つの実施例では、事前訓練されたモデル３７０６は、クラウド３７２６及び／又は他のハードウェア３６２２を使用して訓練され得るが、プライバシー保護された機密の患者データは、クラウド３７２６（又は他の構外のハードウェア）の任意の構成要素に転送されないか、それらの構成要素によって使用されないか、又はそれらの構成要素にとってアクセス不可能であり得る。少なくとも１つの実施例では、事前訓練されたモデル３７０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練されたモデル３７０６は、各施設について個々に訓練されてから、別の施設からの患者又は顧客データに関して訓練され得る。少なくとも１つの実施例では、顧客又は患者データが（たとえば、権利放棄によって、実験での使用のために、など）プライバシー問題から解放された場合、或いは、顧客又は患者データがパブリック・データセット中に含まれる場合など、任意の数の施設からの顧客又は患者データが、データ・センタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練されたモデル３７０６を訓練するために使用され得る。

【0544】

少なくとも１つの実施例では、導入パイプライン３７１０における使用のためのアプリケーションを選択するとき、ユーザは、特定のアプリケーションのために使用されるべき機械学習モデルをも選択し得る。少なくとも１つの実施例では、ユーザは、使用のためのモデルを有しないことがあり、したがって、ユーザは、アプリケーションとともに使用するために事前訓練されたモデル３７０６を選択し得る。少なくとも１つの実施例では、事前訓練されたモデル３７０６は、（たとえば、患者の多様性、人口統計、使用される医療撮像デバイスのタイプなどに基づいて）ユーザの施設の顧客データセット４００６に関して正確な結果を生成するために最適化されないことがある。少なくとも１つの実施例では、事前訓練されたモデル３７０６を、（１つ又は複数の）アプリケーションとともに使用するために導入パイプライン３７１０に導入する前に、事前訓練されたモデル３７０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整され得る。

【0545】

少なくとも１つの実施例では、ユーザは、更新、再訓練、及び／又は微調整されるべきである事前訓練されたモデル３７０６を選択し得、事前訓練されたモデル３７０６は、プロセス４０００内の訓練システム３６０４のための初期モデル４００４と呼ばれることがある。少なくとも１つの実施例では、顧客データセット４００６（たとえば、施設におけるデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のデータ・タイプ）が、初期モデル４００４に関して（限定はしないが、転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含み得る）モデル訓練３６１４を実施して、改良されたモデル４０１２を生成するために、使用され得る。少なくとも１つの実施例では、顧客データセット４００６に対応するグランド・トゥルース・データが、訓練システム３６０４によって生成され得る。少なくとも１つの実施例では、グランド・トゥルース・データは、（たとえば、図３６のラベル付きクリニック・データ３６１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成され得る。

【0546】

少なくとも１つの実施例では、グランド・トゥルース・データを生成するために、ＡＩ支援アノテーション３６１０がいくつかの実例において使用され得る。少なくとも１つの実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション３６１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を活用して、顧客データセットについて示唆又は予測されるグランド・トゥルース・データを生成し得る。少なくとも１つの実施例では、ユーザ４０１０は、コンピューティング・デバイス４００８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ））内でアノテーション・ツールを使用し得る。

【0547】

少なくとも１つの実施例では、ユーザ４０１０は、コンピューティング・デバイス４００８を介してＧＵＩと対話して、アノテーション又は自動アノテーションを編集又は微調整し得る。少なくとも１つの実施例では、ポリゴン編集特徴が、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動するために使用され得る。

【0548】

少なくとも１つの実施例では、顧客データセット４００６が、関連するグランド・トゥルース・データを有すると、（たとえば、ＡＩ支援アノテーション、手動ラベル付けなどからの）グランド・トゥルース・データが、改良されたモデル４０１２を生成するために、モデル訓練３６１４中によって使用され得る。少なくとも１つの実施例では、顧客データセット４００６は、初期モデル４００４に任意の回数適用され得、グランド・トゥルース・データは、改良されたモデル４０１２について、許容可能なレベルの精度が達成されるまで、初期モデル４００４のパラメータを更新するために使用され得る。少なくとも１つの実施例では、改良されたモデル４０１２が生成されると、改良されたモデル４０１２は、医療撮像データに対して１つ又は複数の処理タスクを実施するために、施設において１つ又は複数の導入パイプライン３７１０内で導入され得る。

【0549】

少なくとも１つの実施例では、改良されたモデル４０１２は、別の施設によって選択されるべきモデル・レジストリ３６２４において事前訓練されたモデル３７０６にアップロードされ得る。少なくとも１つの実施例では、このプロセスは任意の数の施設において完了され得、それにより、改良されたモデル４０１２は、より普遍的なモデルを生成するように新しいデータセットに関して任意の回数さらに改良され得る。

【0550】

図４０Ｂは、少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャ４０３２の例示的な図である。少なくとも１つの実施例では、ＡＩ支援アノテーション・ツール４０３６は、クライアントサーバ・アーキテクチャ４０３２に基づいてインスタンス化され得る。少なくとも１つの実施例では、撮像アプリケーション中のアノテーション・ツール４０３６は、放射線医が、たとえば、器官及び異常を識別するのを補助し得る。少なくとも１つの実施例では、撮像アプリケーションは、非限定的な実例として、（たとえば、３Ｄ ＭＲＩ又はＣＴスキャンにおける）生画像４０３４において、関心のある特定の器官上の数個の極値点をユーザ４０１０が識別するのを助け、特定の器官のすべての２Ｄスライスについて自動アノテーション付けされた結果を受信する、ソフトウェア・ツールを含み得る。少なくとも１つの実施例では、結果は、訓練データ４０３８としてデータ・ストアに記憶され、（たとえば、限定はしないが）訓練のためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、コンピューティング・デバイス４００８が、ＡＩ支援アノテーション３６１０のために極値点を送出するとき、たとえば、深層学習モデルがこのデータを入力として受信し、セグメント化された器官又は異常の推論結果を返し得る。少なくとも１つの実施例では、図４０Ｂ中のＡＩ支援アノテーション・ツール４０３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された、事前訓練されたモデル４０４２のセットを含み得るアノテーション支援サーバ４０４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール４０４４）を行うことによって、拡張され得る。少なくとも１つの実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実施するように事前訓練された、事前訓練されたモデル４０４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶し得る。少なくとも１つの実施例では、これらのモデルは、訓練パイプライン３７０４を使用することによって、さらに更新され得る。少なくとも１つの実施例では、事前インストールされたアノテーション・ツールは、新しいラベル付きクリニック・データ３６１２が追加されるにつれて、経時的に改善され得る。

【0551】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて本明細書で提供される。

【0552】

少なくとも１つの実施例では、図４０Ａ～図４０Ｂに示される１つ又は複数のシステムは、図１～図６に関して説明されたようなアクション認識のためのシステムを実装するために利用される。少なくとも１つの実施例では、図４０Ａ～図４０Ｂに示される１つ又は複数のシステムは、１つ又は複数のニューラル・ネットワークに対して１つ又は複数の量子化及びプルーニング・プロセスを実施するために利用される。少なくとも１つの実施例では、図４０Ａ～図４０Ｂに示される１つ又は複数のシステムは、１つ又は複数の量子化及びプルーニング・プロセスを通して処理されるハードウェア・アクセラレータ及び／又は１つ又は複数のニューラル・ネットワークを使用してアクション認識を実施するために利用される。

【0553】

本開示の少なくとも１つの実施例は、以下の条項を考慮して説明され得る。
条項１．
ビデオの複数のフレームを受信するステップと、
複数のフレーム中に表される１つ又は複数の物体を決定するステップと、
並列処理ユニットが、複数のフレームのうちのフレームの間の１つ又は複数のピクセル中に表される１つ又は複数の物体の移動を計算することを引き起こすステップと、
ニューラル・ネットワークが、計算された移動と決定された１つ又は複数の物体とに少なくとも部分的に基づいて、１つ又は複数の物体によって実施され、複数のフレーム中に表される１つ又は複数のアクションを分類することを引き起こすステップと
を含む、方法。
条項２． 複数のフレーム中に表される１つ又は複数の物体に対応するバウンディング・ボックスのセットを生成するステップをさらに含む、条項１に記載の方法。
条項３． クロップされた移動の第１のセットを決定するために、バウンディング・ボックスのセットに基づいて、計算された移動に対してクロッピング動作の第１のセットを実施するステップと、
クロップされたフレームの第１のセットを決定するために、バウンディング・ボックスのセットに基づいて、複数のフレームに対してクロッピング動作の第２のセットを実施するステップと
をさらに含む、条項１又は２に記載の方法。
条項４． ニューラル・ネットワークの１つ又は複数のカーネルに少なくとも部分的に基づいて１つ又は複数の値を決定するステップと、
１つ又は複数の値に少なくとも部分的に基づいてニューラル・ネットワークからカーネルのセットを除去するステップと
をさらに含む、条項１から３までのいずれか一項に記載の方法。
条項５． １つ又は複数のアクションが、少なくとも、座るアクション、歩くアクション、走るアクション、又は階段を上るアクションを含む、条項１から４までのいずれか一項に記載の方法。
条項６． ニューラル・ネットワークが１つ又は複数の量子化された重みを含む、条項１から５までのいずれか一項に記載の方法。
条項７． ビデオ・データから、１つ又は複数のフレームに示された１つ又は複数の物体を識別することと、
ビデオ・データの１つ又は複数のフレームを使用して、１つ又は複数の物体に対応する１つ又は複数のフロー場と１つ又は複数のバウンディング・ボックスとを計算することと、
１つ又は複数のフロー場と１つ又は複数のバウンディング・ボックスとに基づいて、１つ又は複数の物体によって実施される１つ又は複数のアクションについての１つ又は複数の分類を決定することと
を行うための１つ又は複数の回路
を備える、プロセッサ。
条項８． １つ又は複数の回路が、さらに、
１つ又は複数のバウンディング・ボックスを計算するために第１のニューラル・ネットワークを使用することと、
１つ又は複数の分類を決定するために第２のニューラル・ネットワークを使用することと
を行うためのものである、条項７に記載のプロセッサ。
条項９． １つ又は複数の回路が、さらに、
第１のニューラル・ネットワークと第２のニューラル・ネットワークとの１つ又は複数のカーネルの１つ又は複数のＬ１ノルム値を計算することと、
１つ又は複数のＬ１ノルム値に少なくとも部分的に基づいて、第１のニューラル・ネットワークと第２のニューラル・ネットワークとからカーネルのセットを除去することと
を行うためのものである、条項７又は８に記載のプロセッサ。
条項１０． カーネルのセットが、しきい値を上回るＬ１ノルム値をもつ１つ又は複数のカーネルのうちのカーネルに対応する、条項７から９までのいずれか一項に記載のプロセッサ。
条項１１． １つ又は複数の回路が、さらに、１つ又は複数のハードウェア・アクセラレータを使用して１つ又は複数のフロー場を計算することを行うためのものである、条項７から１０までのいずれか一項に記載のプロセッサ。
条項１２． 第１のニューラル・ネットワークと第２のニューラル・ネットワークとが量子化された重みのセットを含む、条項７から１１までのいずれか一項に記載のプロセッサ。
条項１３． ビデオ・データが１つ又は複数の自律車両システムからキャプチャされる、条項７から１２までのいずれか一項に記載のプロセッサ。
条項１４． コンピューティング・デバイスであって、
ハードウェア・アクセラレータと、
命令を備えるメモリと
を備え、命令は、少なくとも、
複数のフレームを受信することと、
ハードウェア・アクセラレータが、複数のフレームに対応する１つ又は複数のベクトル場を決定することを引き起こすことと、
第１のニューラル・ネットワークに少なくとも部分的に基づいて、複数のフレーム中に表される１つ又は複数の物体を決定することと、
第２のニューラル・ネットワークを使用して、１つ又は複数のベクトル場と１つ又は複数の決定された物体とに少なくとも部分的に基づいて、複数のフレーム中に表される１つ又は複数のアクションを分類することと
を行うためにコンピューティング・デバイスの１つ又は複数のプロセッサによって実行可能である、コンピューティング・デバイス。
条項１５． 第１のニューラル・ネットワークと第２のニューラル・ネットワークとが、１つ又は複数の量子化プロセスを通して処理される１つ又は複数の重みを含む、条項１４に記載のコンピューティング・デバイス。
条項１６． １つ又は複数の量子化プロセスが、第１の表現から第２の表現への１つ又は複数の重みのコンバージョンを含む、条項１４又は１５に記載のコンピューティング・デバイス。
条項１７． １つ又は複数の量子化プロセスが、１つ又は複数のカルバック・ライブラー・ダイバージェンス値に少なくとも部分的に基づく、条項１４から１６までのいずれか一項に記載のコンピューティング・デバイス。
条項１８． 第１の表現が３２ビット浮動小数点表現であり、第２の表現が８ビット整数表現である、条項１４から１７までのいずれか一項に記載のコンピューティング・デバイス。
条項１９． 命令が、コンピューティング・デバイスの１つ又は複数の画像キャプチャ・ハードウェアから複数のフレームを少なくとも取得するために１つ又は複数のプロセッサによって実行可能な命令をさらに含む、条項１４から１８までのいずれか一項に記載のコンピューティング・デバイス。
条項２０． ハードウェア・アクセラレータが１つ又は複数の並列処理ユニットを備える、条項１４から１９までのいずれか一項に記載のコンピューティング・デバイス。

【0554】

少なくとも１つの実施例では、単一の半導体プラットフォームは、単独で単体の半導体ベースの集積回路又はチップを指し得る。少なくとも１つの実施例では、マルチチップ・モジュールは、オンチップ動作をシミュレートする増加された接続性を伴って使用され得、従来の中央処理ユニット（「ＣＰＵ」）及びバス実装形態を利用することよりも大幅な改善を行い得る。少なくとも１つの実施例では、ユーザの希望に応じて、半導体プラットフォームとは別々に、又は半導体プラットフォームの様々な組合せで、様々なモジュールも設置され得る。

【0555】

少なくとも１つの実施例では、再び図１３を参照すると、機械可読実行可能コード又はコンピュータ制御論理アルゴリズムの形態のコンピュータ・プログラムが、メイン・メモリ１３０４及び／又は２次ストレージに記憶される。コンピュータ・プログラムは、１つ又は複数のプロセッサによって実行された場合、少なくとも１つの実施例による様々な機能をシステム１３００が実施することを可能にする。少なくとも１つの実施例では、メモリ１３０４、ストレージ、及び／又は任意の他のストレージが、コンピュータ可読媒体の考えられる実例である。少なくとも１つの実施例では、２次ストレージは、フロッピー・ディスク・ドライブ、磁気テープ・ドライブ、コンパクト・ディスク・ドライブ、デジタル多用途ディスク（「ＤＶＤ」：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）ドライブ、記録デバイス、ユニバーサル・シリアル・バス（「ＵＳＢ」）フラッシュ・メモリなどを表す、ハード・ディスク・ドライブ及び／又はリムーバブル・ストレージ・ドライブなどの任意の好適なストレージ・デバイス又はシステムを指し得る。少なくとも１つの実施例では、様々な前の図のアーキテクチャ及び／又は機能性は、ＣＰＵ１３０２、並列処理システム１３１２、ＣＰＵ１３０２と並列処理システム１３１２の両方の能力の少なくとも一部分が可能な集積回路、チップセット（たとえば、関係機能を実施するためのユニットとして機能し、販売されるように設計された集積回路のグループなど）、及び／又は（１つ又は複数の）集積回路の任意の好適な組合せの文脈において実装される。

【0556】

少なくとも１つの実施例では、様々な前の図のアーキテクチャ及び／又は機能性は、汎用コンピュータ・システム、回路板システム、エンタテイメント目的専用のゲーム・コンソール・システム、特定用途システムなどの文脈において実装される。少なくとも１つの実施例では、コンピュータ・システム１３００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレス・ハンドヘルド・デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭部装着型ディスプレイ、ハンドヘルド電子デバイス、モバイル・フォン・デバイス、テレビ、ワークステーション、ゲーム・コンソール、組み込みシステム、及び／又は任意の他のタイプの論理の形態をとり得る。

【0557】

少なくとも１つの実施例では、並列処理システム１３１２は、限定はしないが、複数の並列処理ユニット（「ＰＰＵ」）１３１４と、関連するメモリ１３１６とを含む。少なくとも１つの実施例では、ＰＰＵ１３１４は、相互接続１３１８及びスイッチ１３２０又はマルチプレクサを介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも１つの実施例では、並列処理システム１３１２は、算出タスクをＰＰＵ１３１４にわたって分散させ、これは、たとえば複数のグラフィックス処理ユニット（「ＧＰＵ」）スレッド・ブロックにわたる算出タスクの分散の一部として、並列化可能であり得る。少なくとも１つの実施例では、メモリは、ＰＰＵ１３１４のいくつか又はすべてにわたって共有され、（たとえば、読取り及び／又は書込みアクセスのために）アクセス可能であるが、そのような共有メモリは、ＰＰＵ１３１４に常駐しているローカル・メモリ及びレジスタの使用に対して、性能に不利益をもたらすことがある。少なくとも１つの実施例では、ＰＰＵ１３１４の動作は、＿ｓｙｎｃｔｈｒｅａｄｓ（）などのコマンドを使用することによって同期され、（たとえば、複数のＰＰＵ１３１４にわたって実行される）ブロック中のすべてのスレッドが、進行前にコードのある実行ポイントに到達する。

【0558】

他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。

【0559】

開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ，）」を意味する）と解釈されるべきである。「接続される」は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。少なくとも１つの実施例では、「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。

【0560】

「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。少なくとも１つの実施例では、複数である項目の数は、少なくとも２つであるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。

【0561】

本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形形態及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。少なくとも１つの実施例では、非一時的コンピュータ可読記憶媒体のセットは、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。

【0562】

したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。

【0563】

本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈ ａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。

【0564】

本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。

【0565】

明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。

【0566】

別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指すことが諒解され得る。

【0567】

同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。少なくとも１つの実施例では、「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。

【0568】

本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。少なくとも１つの実施例では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。少なくとも１つの実施例では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。少なくとも１つの実施例では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。少なくとも１つの実施例では、アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。

【0569】

本明細書の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義され得るが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。

【0570】

さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図15D】

【図15E】

【図15F】

【図16】

【図17A】

【図17B】

【図18A】

【図18B】

【図19】

【図20A】

【図20B】

【図20C】

【図20D】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31A】

【図31B】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39A】

【図39B】

【図40A】

【図40B】

【国際調査報告】