知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024050439
(43)【公開日】2024-04-10
(54)【発明の名称】把持姿勢予測
(51)【国際特許分類】
G06T 7/00 20170101AFI20240403BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023142723
(22)【出願日】2023-09-04
(31)【優先権主張番号】63/411,486
(32)【優先日】2022-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/219,031
(32)【優先日】2023-07-06
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ジョナサン トレンブレイ
(72)【発明者】
【氏名】スタンリー トーマス バーチフィールド
(72)【発明者】
【氏名】ヴァルツ ブルキス
(72)【発明者】
【氏名】ボーエン ウェン
(72)【発明者】
【氏名】ディーター フォックス
(72)【発明者】
【氏名】テヨプ イ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA05
5L096EA16
5L096EA39
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA30
5L096GA34
5L096GA40
5L096GA51
5L096HA11
(57)【要約】
【課題】把持プロポーザルを生成して選択するための、装置、システム、及び技法を提供すること。
【解決手段】少なくとも一実施例では、把持プロポーザルは、たとえば物体に対応する潜在コードに基づいて、１つ又は複数のニューラル・ネットワークを使用して生成され、選択される。
【選択図】図１
【解決手段】少なくとも一実施例では、把持プロポーザルは、たとえば物体に対応する潜在コードに基づいて、１つ又は複数のニューラル・ネットワークを使用して生成され、選択される。
【選択図】図１
【特許請求の範囲】
【請求項1】
システムであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによる実行に応答して、前記システムに、少なくとも
物体を描写する入力画像を得ることと、
前記物体に対応する潜在コードを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって画像の第１のセットを生成することと、
画像の前記第１のセット及び前記入力画像に少なくとも部分的に基づき、前記潜在コードを更新することと、
前記潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットを生成するために、第２のニューラル・ネットワークを使用することと、
前記第１のニューラル・ネットワーク及び前記潜在コードに少なくとも部分的に基づき、把持プロポーザルの前記セットから１つ又は複数の把持プロポーザルを選択することと
を行わせる命令を含む、少なくとも１つのメモリと
を備える、システム。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによる実行に応答して、前記システムに、少なくとも
物体を描写する入力画像を得ることと、
前記物体に対応する潜在コードを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって画像の第１のセットを生成することと、
画像の前記第１のセット及び前記入力画像に少なくとも部分的に基づき、前記潜在コードを更新することと、
前記潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットを生成するために、第２のニューラル・ネットワークを使用することと、
前記第１のニューラル・ネットワーク及び前記潜在コードに少なくとも部分的に基づき、把持プロポーザルの前記セットから１つ又は複数の把持プロポーザルを選択することと
を行わせる命令を含む、少なくとも１つのメモリと
を備える、システム。
【請求項2】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによる実行に応答して、前記システムに、少なくとも
前記１つ又は複数の把持プロポーザルに少なくとも部分的に基づき、ロボットに前記物体を把持させる
さらなる命令を含む、請求項１に記載のシステム。
前記１つ又は複数の把持プロポーザルに少なくとも部分的に基づき、ロボットに前記物体を把持させる
さらなる命令を含む、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによる実行に応答して、前記システムに、少なくとも
前記潜在コードに少なくとも部分的に基づき、色及び密度のうちの１つ又は複数の予測を生成するために、前記第１のニューラル・ネットワークを使用することと、
色及び密度のうちの少なくとも前記１つ又は複数の予測を使用して、画像の前記第１のセットを生成することと
を行わせるさらなる命令を含む、請求項１に記載のシステム。
前記潜在コードに少なくとも部分的に基づき、色及び密度のうちの１つ又は複数の予測を生成するために、前記第１のニューラル・ネットワークを使用することと、
色及び密度のうちの少なくとも前記１つ又は複数の予測を使用して、画像の前記第１のセットを生成することと
を行わせるさらなる命令を含む、請求項１に記載のシステム。
【請求項4】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによる実行に応答して、前記システムに、少なくとも
前記第１のニューラル・ネットワーク及び前記潜在コードを使用して、把持プロポーザルの前記セットに関連する密度の１つ又は複数の予測を生成することと、
密度の前記１つ又は複数の予測に少なくとも部分的に基づき、前記１つ又は複数の把持プロポーザルを選択することと
を行わせるさらなる命令を含む、請求項１に記載のシステム。
前記第１のニューラル・ネットワーク及び前記潜在コードを使用して、把持プロポーザルの前記セットに関連する密度の１つ又は複数の予測を生成することと、
密度の前記１つ又は複数の予測に少なくとも部分的に基づき、前記１つ又は複数の把持プロポーザルを選択することと
を行わせるさらなる命令を含む、請求項１に記載のシステム。
【請求項5】
前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークが、パラメータの同一のセットを利用する、請求項１に記載のシステム。
【請求項6】
前記第１のニューラル・ネットワークがデコーダを備える、請求項１に記載のシステム。
【請求項7】
方法であって、
物体を描写する入力画像を得ることと、
第１のニューラル・ネットワークに関連して生成された画像の第１のセット及び前記入力画像に少なくとも部分的に基づき、潜在コードを計算することと、
複数の把持プロポーザルを生成するために、少なくとも前記潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
前記潜在コード及び前記複数の把持プロポーザルに関連付けられる座標のセットを処理するために、前記第１のニューラル・ネットワークを少なくとも使用することによって、前記複数の把持プロポーザルのうち、１つ又は複数の把持プロポーザルを決定することと
を含む、方法。
物体を描写する入力画像を得ることと、
第１のニューラル・ネットワークに関連して生成された画像の第１のセット及び前記入力画像に少なくとも部分的に基づき、潜在コードを計算することと、
複数の把持プロポーザルを生成するために、少なくとも前記潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
前記潜在コード及び前記複数の把持プロポーザルに関連付けられる座標のセットを処理するために、前記第１のニューラル・ネットワークを少なくとも使用することによって、前記複数の把持プロポーザルのうち、１つ又は複数の把持プロポーザルを決定することと
を含む、方法。
【請求項8】
前記１つ又は複数の把持プロポーザルを、前記物体を含む環境に関連付けられるロボットに提供することと、
前記１つ又は複数の把持プロポーザルによって示される配向に少なくとも部分的に基づき、前記環境において前記ロボットに前記物体を把持させることと
をさらに含む、請求項７に記載の方法。
前記１つ又は複数の把持プロポーザルによって示される配向に少なくとも部分的に基づき、前記環境において前記ロボットに前記物体を把持させることと
をさらに含む、請求項７に記載の方法。
【請求項9】
点群及び前記複数の把持プロポーザルに少なくとも部分的に基づき、座標の前記セットを計算することと、
密度値のセットを計算するために、前記第１のニューラル・ネットワークを使用して、少なくとも座標の前記セットを処理することと、
密度値の前記セットに少なくとも部分的に基づき、前記１つ又は複数の把持プロポーザルを決定することと
をさらに含む、請求項７に記載の方法。
密度値のセットを計算するために、前記第１のニューラル・ネットワークを使用して、少なくとも座標の前記セットを処理することと、
密度値の前記セットに少なくとも部分的に基づき、前記１つ又は複数の把持プロポーザルを決定することと
をさらに含む、請求項７に記載の方法。
【請求項10】
前記入力画像の前記物体が、第１のカテゴリの物体であり、
前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークが、１つ又は複数のカテゴリの物体を描写する１つ又は複数の画像に関連して訓練される、請求項７に記載の方法。
前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークが、１つ又は複数のカテゴリの物体を描写する１つ又は複数の画像に関連して訓練される、請求項７に記載の方法。
【請求項11】
前記複数の把持プロポーザルに関連付けられる１つ又は複数の密度値、及び閾値に少なくとも部分的に基づき、前記１つ又は複数の把持プロポーザルを決定すること
をさらに含む、請求項７に記載の方法。
をさらに含む、請求項７に記載の方法。
【請求項12】
１つ又は複数の勾配降下プロセスを通じて、前記潜在コードを計算すること
をさらに含む、請求項７に記載の方法。
をさらに含む、請求項７に記載の方法。
【請求項13】
非一時的なコンピュータ読取り可能媒体であって、コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、前記コンピューティング・デバイスに、少なくとも
第１のニューラル・ネットワーク及び物体を描写する画像に少なくとも部分的に基づき、潜在コードを決定することと、
把持プロポーザルのセットを生成するために、少なくとも前記潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
前記第１のニューラル・ネットワーク及び把持プロポーザルの前記セットに関連付けられる座標のセットに少なくとも部分的に基づき、把持プロポーザルの前記セットから把持プロポーザルのサブセットを選択することと
を行わせる命令を含む、非一時的なコンピュータ読取り可能媒体。
第１のニューラル・ネットワーク及び物体を描写する画像に少なくとも部分的に基づき、潜在コードを決定することと、
把持プロポーザルのセットを生成するために、少なくとも前記潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
前記第１のニューラル・ネットワーク及び把持プロポーザルの前記セットに関連付けられる座標のセットに少なくとも部分的に基づき、把持プロポーザルの前記セットから把持プロポーザルのサブセットを選択することと
を行わせる命令を含む、非一時的なコンピュータ読取り可能媒体。
【請求項14】
前記コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、前記コンピューティング・デバイスに、少なくとも
把持プロポーザルの前記セットの把持プロポーザルに少なくとも部分的に基づき、ロボットに関連付けられる点群を少なくとも変換することによって、座標の前記セットの１つ又は複数の座標を計算すること
を行わせるさらなる命令を含む、請求書１３に記載の非一時的なコンピュータ読取り可能媒体。
把持プロポーザルの前記セットの把持プロポーザルに少なくとも部分的に基づき、ロボットに関連付けられる点群を少なくとも変換することによって、座標の前記セットの１つ又は複数の座標を計算すること
を行わせるさらなる命令を含む、請求書１３に記載の非一時的なコンピュータ読取り可能媒体。
【請求項15】
前記コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、前記コンピューティング・デバイスに、少なくとも
把持プロポーザルの前記サブセットの把持プロポーザルに少なくとも部分的に基づき、ロボット部品に前記物体を把持させること
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
把持プロポーザルの前記サブセットの把持プロポーザルに少なくとも部分的に基づき、ロボット部品に前記物体を把持させること
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
【請求項16】
前記コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、前記コンピューティング・デバイスに、少なくとも
安定な把持の確率を示す１つ又は複数のスコアに少なくとも部分的に基づき、把持プロポーザルの前記セットから把持プロポーザルの前記サブセットを選択すること
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
安定な把持の確率を示す１つ又は複数のスコアに少なくとも部分的に基づき、把持プロポーザルの前記セットから把持プロポーザルの前記サブセットを選択すること
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
【請求項17】
前記第１のニューラル・ネットワークの１つ又は複数の層が、前記第２のニューラル・ネットワークの１つ又は複数の層と同一パラメータを含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
【請求項18】
把持プロポーザルの前記セットの第１の把持プロポーザルが、少なくともスコア及び回転行列を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
【請求項19】
前記コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、前記コンピューティング・デバイスに、少なくとも
前記第１のニューラル・ネットワーク及び前記潜在コードを使用して１つ又は複数の画像を生成することと、
前記物体を描写する前記画像及び前記１つ又は複数の画像に少なくとも部分的に基づき、少なくとも損失を計算することによって、前記潜在コードを更新することと
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
前記第１のニューラル・ネットワーク及び前記潜在コードを使用して１つ又は複数の画像を生成することと、
前記物体を描写する前記画像及び前記１つ又は複数の画像に少なくとも部分的に基づき、少なくとも損失を計算することによって、前記潜在コードを更新することと
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
【請求項20】
前記コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、前記コンピューティング・デバイスに、少なくとも
１つ又は複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を使用して把持プロポーザルの前記セットを生成すること
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
１つ又は複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を使用して把持プロポーザルの前記セットを生成すること
を行わせるさらなる命令を含む、請求項１３に記載の非一時的なコンピュータ読取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２２年９月２９日に提出された「ＧＲＡＳＰ ＰＯＳＥ ＰＲＥＤＩＣＴＩＯＮ」と題される米国仮特許出願第６３／４１１，４８６号の利益を主張するものであり、その内容全体は参照により本明細書に組み込まれる。
【背景技術】
【0002】
ボットが物体を把持するための把持プロポーザルに関する。
【発明の概要】
【課題を解決するための手段】
【0003】
少なくとも一実施例は、ロボットが物体を把持するための把持プロポーザルを生成することに関する。たとえば、少なくとも一実施例は、本明細書に記載の様々な新規な技法により、ロボットが物体を把持するための把持プロポーザルを生成することに関する。
【0004】
ロボットが物体を把持するための把持プロポーザルを生成することは、多様なコンテキストにおいて重要なタスクである。把持プロポーザルを生成することには、複雑な物体などでは、かなりのコンピューティング・リソースの使用が伴う可能性がある。把持プロポーザルを生成するために使用されるメモリ、時間、又はコンピューティング・リソースの量は、改善することができる。
【図面の簡単な説明】
【0005】
【図1】少なくとも一実施例による、把持プロポーザルを生成するシステムの実例の図である。
【図2】少なくとも一実施例による、ロボット及び物体の実例の図である。
【図3】少なくとも一実施例による、ロボティクス物体操作システムの概観の実例の図である。
【図4】少なくとも一実施例による、把持姿勢を生成する実例の図である。
【図5】少なくとも一実施例による、把持プロポーザルを生成するプロセスの実例の図である。
【図6】少なくとも一実施例による、プロセッサの実例の図である。
【図7A】少なくとも一実施例による、論理を示す図である。
【図7B】少なくとも一実施例による、論理を示す図である。
【図8】少なくとも一実施例による、ニューラル・ネットワークの訓練及び導入を示す図である。
【図9】少なくとも一実施例による、実例データ・センタ・システムを示す図である。
【図10A】少なくとも一実施例による、自律車両の実例を示す図である。
【図11】少なくとも一実施例による、コンピュータ・システムを示すブロック図である。
【図12】少なくとも一実施例による、コンピュータ・システムを示すブロック図である。
【図13】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図14】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15A】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15B】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15C】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15D】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15E】少なくとも一実施例による、共有プログラミング・モデルを示す図である。
【図15F】少なくとも一実施例による、共有プログラミング・モデルを示す図である。
【図16】少なくとも一実施例による、例示的な集積回路及び関連するグラフィックス・プロセッサを示す図である。
【図17A】少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。
【図17B】少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。
【図18A】少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。
【図18B】少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。
【図19】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図20A】少なくとも一実施例による、並列プロセッサを示す図である。
【図20B】少なくとも一実施例による、パーティション・ユニットを示す図である。
【図20C】少なくとも一実施例による、処理クラスタを示す図である。
【図20D】少なくとも一実施例による、グラフィックス・マルチプロセッサを示す図である。
【図21】少なくとも一実施例による、マルチ・グラフィックス・プロセッシング・ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）システムを示す図である。
【図22】少なくとも一実施例による、グラフィックス・プロセッサを示す図である。
【図23】少なくとも一実施例による、プロセッサ用のプロセッサ・マイクロ・アーキテクチャを示すブロック図である。
【図24】少なくとも一実施例による、深層学習アプリケーション・プロセッサを示す図である。
【図25】少なくとも一実施例による、実例ニューロモーフィック・プロセッサを示すブロック図である。
【図26】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図27】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図28】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図29】少なくとも一実施例によるグラフィックス・プロセッサのグラフィックス処理エンジンのブロック図である。
【図30】少なくとも一実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分のブロック図である。
【図31A】少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理を示す図である。
【図31B】少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理を示す図である。
【図32】少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」：ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を示す図である。
【図33】少なくとも一実施例による、汎用処理クラスタ（「ＧＰＣ」：ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｃｌｕｓｔｅｒ）を示す図である。
【図34】少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニットを示す図である。
【図35】少なくとも一実施例による、ストリーミング・マルチプロセッサを示す図である。
【図36】少なくとも一実施例による、先進コンピューティング・パイプラインのための実例データ・フロー図である。
【図37】少なくとも一実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練、適応、インスタンス化、及び導入するための実例システムのシステム図である。
【図38】少なくとも一実施例による、撮像データを処理するための先進コンピューティング・パイプライン３７１０Ａの実例を含む図である。
【図39A】少なくとも一実施例による、超音波デバイスをサポートする仮想器具の実例データ・フロー図を含む図である。
【図39B】少なくとも一実施例による、ＣＴスキャナをサポートする仮想器具の実例データ・フロー図を含む図である。
【図40A】少なくとも一実施例による、機械学習モデルを訓練するためのプロセスのデータ・フロー図である。
【図40B】少なくとも一実施例による、事前訓練済みアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアント・サーバ・アーキテクチャの実例を示す図である。
【発明を実施するための形態】
【0006】
一実施例では、システムは、物体レンダリング、３Ｄ再構築、及び単一画像から推論され得る把持姿勢予測のための表現を利用する。システムは、多様なニューラル輝度場（ＮｅＲＦ：ｎｅｕｒａｌ ｒａｄｉａｎｃｅ ｆｉｅｌｄ）を利用することができ、新規な物体に対して最小データ及び時間でカテゴリレベルの事前設定（ｐｒｉｏｒ）及び微調整を利用することができる。システムは、コンパクトな形状表現を利用して、そこから把持姿勢などの追加的な情報を抽出することができる。システムは、単一視点（たとえば、ＲＧＢのみ）を使用して、ＮｅＲＦベースの表現から把持姿勢を直接検索することができる。システムは、物体再構築及び単一ＲＧＢ観察から把持姿勢を回帰することなど、多様なタスクに適用することが可能な表現を利用することができる。
【0007】
一実施例では、ロボティクス物体操作のためのニューラル・フィールド・システム（ＮｉＦＲ）とも称されるシステムは、ロボットのシステムなど１つ又は複数の他のシステムに関連して利用される際、入力として基本的な物体アノテーション（たとえば、物体姿勢及びボリューム）を有する単一画像を得て、シーンを再編集して（たとえば、物体の見えないビューをレンダリングする）その物体用の把持姿勢を検索するために利用することが可能な、物体の潜在コードを計算する。一実施例では、ＮｅＲＦは、ユークリッド空間での座標と方向ベクトルを、２つのスカラ量である、色と密度にマッピングする、ニューラル・ネットワークによってパラメータ化された機能である。ＮｅＲＦは、レイに沿った座標で照会し、あらゆる視点からシーンの画像をレンダリングすることができる。システムは、各物体に、本明細書に記載のような多様な最適化プロセスを通じて計算され得る潜在コードを割り当てることによって、シーンを表現することができる。システムは、物体潜在コードから把持を直接生成することができる。
【0008】
システムは、シーンを再レンダリングして把持姿勢を生成するために使用することが可能な表現を利用することができる。一実施例では、物体姿勢、ボリューム、及び学習された潜在コードが与えられると、システムはシーンを新規な構成でレンダリングして、各物体に把持姿勢をアノテーション付けする。把持を生成するために、システムは、各物体ボリュームをカバーするグリッド・サンプリング手法を利用することができる。システムは、デコーダを使用して把持配向及びスコアを予測することができる。システムは、最高信頼スコアをもたらす把持点を利用することができる。
【0009】
図１は、少なくとも一実施例による、把持プロポーザルを生成するシステムの実例１００を図示する。システムは、本明細書に記載のシステムに従うことができる。システムは、輝度場デコーダを利用することができる逆レンダラ１０４及び把持デコーダ１１０、並びに図１で図示され得ない多様な他のコンポーネントを含むことができる。システムは、把持プロポーザル１１２を生成するために入力画像１０２を処理することができる。システムは、把持プロポーザル１１２の把持プロポーザルを選択して、多様なプロセスに関連してその把持プロポーザルを利用することができる。
【0010】
少なくとも一実施例では、システムは、命令を伴ったハードウェア及び／又はソフトウェア・コンピューティング・リソースの集合であり、命令は実行されると、図１～図６に関連して説明されるような１つ又は複数のプロセスを実行させる。少なくとも一実施例では、システムは、ロボット・システム、コンピュータ・ビジョン・システム、及び／又はその変形に関連するシステムなど、任意の好適なシステム及び／又はシステムの集合の一部である。少なくとも一実施例では、システムは、コンピュータ・ハードウェアで実行することができるソフトウェア・プログラム、アプリケーション、又はモジュールである。一実施例では、システムは、本明細書に記載のプロセスなど、１つ又は複数のプロセスを、１つ又は複数のシステム及び／又は処理ユニットによって命令を少なくとも実行させることによって、実行する。
【0011】
少なくとも一実施例では、システムの１つ又は複数のプロセスは、Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＣＵＤＡ）モデル、Ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｃｏｍｐｕｔｅ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｏｒｔａｂｉｌｉｔｙ（ＨＩＰ）モデル、ｏｎｅＡＰＩモデル、多様なハードウェア・アクセラレータ・プログラミング・モデル、及び／又はそれらの変形などの１つ又は複数のプログラミング・モデルのシステムなど、任意の好適なシステム及び／又はシステムの集合によって実行される。少なくとも一実施例では、システムの１つ又は複数のプロセスは、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、及び／又はそれらの変形など、任意の好適な機械学習及び／又はニューラル・ネットワーク・フレームワークと関連して実行される。少なくとも一実施例では、システムの１つ又は複数のプロセスは、任意の好適な処理ユニット及び／又は処理ユニットの組合せ、たとえば１つ又は複数の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、並列処理ユニット（ＰＰＵ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、汎用ＧＰＵ（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ＧＰＵ）、及び／又は任意の好適な処理ユニットなどを使用して実行される。少なくとも一実施例では、システムは、図６に関連して説明されるようなプロセッサ及び／又は複数のプロセッサと関連して実行される。いくつかの実例では、システムは、システムの１つ又は複数のプロセスを実行するために１つ又は複数の回路と関連して実装される。
【0012】
システムは、入力画像１０２を得ることができる。入力画像１０２は、任意の好適なシステム及び／又はシステムの集合から、たとえばコンピュータ・ビジョン・システム、ロボット・システム、画像及び／若しくはビデオ・キャプチャ・システム、並びに／又はその変形などから、得ることができる。入力画像１０２は、ビデオのフレームであってもよい。入力画像１０２は、合成して生成された画像であってもよい。入力画像１０２は、任意の好適なファイル・フォーマット又は表現と関連して実装されてもよい。入力画像１０２は、シーンとも称される、ある環境内にある１つ又は複数の物体を描写することができる。いくつかの実例では、システムはロボットに関連付けられ、そのロボットにおいて、システムは、ロボット及び／又は１つ若しくは複数の物体を含み得るシーンに関連する画像及び／又はビデオ・キャプチャ・システムから、入力画像１０２を得る。ロボットは、１つ又は複数の物体を把持するために利用され得る、グリッパなどのロボット部品を含むことができる。システムは、物体潜在コード１０６を計算するために、逆レンダラ１０４と関連して、入力画像１０２を処理する。
【0013】
逆レンダラ１０４は、１つ又は複数の潜在コードを計算又は生成するために利用され得るシステムのコンポーネントであってもよい。一実施例では、逆レンダラ１０４は、システムの一部であるか、又は他のやり方でシステムに関連付けられる、ソフトウェア・プログラム、アプリケーション、システム、又はモジュールである。本明細書に記載のプロセスなど、逆レンダラ１０４の１つ又は複数のプロセスは、システムによって任意の好適なやり方で、また任意の好適な処理ユニットと関連して実行されてもよい。いくつかの実例では、逆レンダラ１０４は、１セットの命令として実装され得、システムによって実行又は他のやり方で利用され得る、１セットのプロセスである。逆レンダラ１０４は、物体潜在コード１０６を生成するために、入力画像１０２を処理することができる。逆レンダラ１０４は、輝度場デコーダを利用することができ、これは画像を生成するために利用され得る任意の好適な機械学習モデル・コンポーネントであってもよい。輝度場デコーダは、輝度場デコーダの構造、構成、及び／又は他の情報をエンコードする１つ又は複数のデータ構造を通じてなど、任意の好適なやり方で実装することができる。一実施例では、輝度場デコーダは、システムの一部であるか、又は他のやり方でシステムに関連付けられる、ソフトウェア・プログラム、アプリケーション、システム、又はモジュールである。輝度場デコーダは、物体潜在コードを利用してもよい。本明細書に記載のような物体潜在コードは、１つ若しくは複数のベクトルなどの１セットの値であってもよいし、又は画像中に描写される物体に対応し得る、若しくは他のやり方で物体を示し得る、１つ若しくは複数の値の任意の好適な表現であってもよい。輝度場デコーダは、それ自体が、１つ又は複数の物体潜在コードを生成するために利用され得る。一実施例では、輝度場デコーダは、１つ又は複数の物体潜在コードを生成するために（たとえば逆レンダラ１０４による）逆レンダリング・プロセスにおいて使用される。
【0014】
ニューラル輝度場デコーダとも称される輝度場デコーダは、物体潜在コードを生成することができる１つ又は複数のシステムから、物体潜在コードを得ることができる。逆レンダラ１０４は、物体潜在コードを生成することができる。物体潜在コードは、他の物体潜在コードに基づいて、以前に処理された物体潜在コードに基づいて、及び／又はその変形で、ランダムに生成される場合がある。輝度場デコーダは、少なくとも物体潜在コード、（たとえば、物体及び／又はシーンにおける場所に相当する）１つ又は複数の座標、及びビュー方向を処理することができ、ビュー方向を基準とした１つ又は複数の座標における密度及び／又は色の、１つ又は複数の予測を出力することができる。本明細書に記載のような座標又は座標値は、三次元（３Ｄ）座標値、二次元（２Ｄ）座標値、及び／又はその変形など、任意の好適な１つ又は複数の座標値を指すことがあり、これらは任意の好適な３Ｄ若しくは２Ｄ座標、又は画像及び／若しくはシーンの基準平面を基準とすることができる。
【0015】
逆レンダラ１０４は、画像を生成するために、密度及び／又は色の１つ又は複数の予測を利用することができる。説明的な実例として、逆レンダラ１０４は、密度及び／又は色の１つ又は複数の予測、並びにボリューメトリック・レンダリング方程式など任意の好適なレンダリング方程式及び／又は数式に少なくとも部分的に基づき、画像のピクセルを生成する。逆レンダラ１０４は、物体潜在コードを更新するために、画像と入力画像１０２とを、１つ又は複数の関数を通じて比較することができる。逆レンダラ１０４は、画像と入力画像１０２との差異を計算するために画像と入力画像１０２とを比較することができ、本明細書に記載のような１つ又は複数のプロセスを通じて、その差異に少なくとも部分的に基づき、物体潜在コードを更新することができる。差異は、本明細書に記載のような１つ又は複数の関数を通じて計算することができる。逆レンダラ１０４は、画像を生成するために輝度場デコーダに物体潜在コードを処理させるか、又は他のやり方でそのために輝度場デコーダを使用することができ、少なくとも部分的に、所定数であり得る任意の好適な反復数で生成された画像及び入力画像１０２に基づき、又は任意の好適な１つ若しくは複数の関数若しくはメトリクスに基づき、物体潜在コードを更新することができる。
【0016】
逆レンダラ１０４は、輝度場デコーダと関連して物体潜在コード１０６を計算又は他のやり方で決定することができる。物体潜在コード１０６は、輝度場デコーダ及び／又は逆レンダラ１０４と関連して１つ又は複数のプロセスを通じて更新された、本明細書に記載の物体潜在コードであってもよい。物体潜在コード１０６は、入力画像１０２中に描写される特定の物体に相当してもよいし、そのような物体を表現、又は他のやり方で示すことができる。一実施例では、システムは、シーンＳにおけるＭ個の物体のそれぞれをタプルｏ＝（Ｐｏ，Ｖｏ，ｆｏ）を用いて表現する。ただし、Ｐｏは、６Ｄ物体姿勢であり、Ｖｏは３Ｄ物体バウンディング・ボリュームであり、ｆｏは、学習された物体潜在コードである（たとえば、物体潜在コード１０６）。一実施例では、ｆｏは物体の形状、外観、及び把持姿勢をエンコードし、Ｖｏは高速レイ－ボリューム交差チェックをサポートする、球体又は配向したボックスなどの単純なボリュームである。物体は、単一のワールド・ノードを用いて平坦なシーン・グラフを形成することができ、このノードは個々の物体姿勢に対して直接的な制御を可能にして物体再配置の際シーンについての可視化又は理由付けをサポートすることができ、またこのノードは、様々な物体検出及び追跡タスクに関連し、多様なコンピュータ・ビジョン・システムと関連して利用することができる。
【0017】
システムは、ボリューメトリック・レンダリング及びロボット操作のための６ＤＯＦ把持の予測などの様々なタスクを実行するために、物体潜在コード１０６をニューラル・ネットワーク・ベースのデコーダに入力することができる。ボリューメトリック・レンダリングでは、システムは、Ψと表され得るニューラル輝度場デコーダを利用することができる。把持を予測するには、システムは、Φと表され得る把持デコーダ１１０を利用することができる。２つのデコーダは、その最初の２層のパラメータを共有することができる。システムは、操作対象となり得る物体ｏ＝（Ｐｏ，Ｖｏ，ｆｏ）に対して安定な把持を予測するために、把持デコーダ１１０を利用することができる。把持予測プロセスは、把持プロポーザル工程とフィルタリング工程を含むことができる。一実施例では、把持プロポーザル工程は、シーン表現を直接処理するニューラル・ネットワークΦ（たとえば、把持デコーダ１１０）と関連して実行され、フィルタリング工程は、輝度場デコーダΨの出力と関連して実行される。
【0018】
把持デコーダ１１０は、把持プロポーザルを生成することができる、任意の好適な機械学習モデル・コンポーネントであることができる。把持デコーダ１１０は、把持デコーダ１１０の構造、構成、及び／又は他の情報をエンコードする１つ又は複数のデータ構造を通じてなど、任意の好適なやり方で実装されてもよい。一実施例では、把持デコーダ１１０は、システムの一部であるか、又は他のやり方でシステムに関連付けられるソフトウェア・プログラム、アプリケーション、システム、又はモジュールである。把持デコーダ１１０は、把持プロポーザルを生成することができる。本明細書に記載のような把持プロポーザルは、特定の把持構成又はグリッパなどロボット部品の配向を示すデータを指すことができ、この場合ロボット部品は、特定の把持構成又は配向に従って（たとえば、ロボット部品に関連する１つ又は複数のシステムによって）構成又は配向されて、物体を把持することができる。把持プロポーザルは、把持スコアとも称される値を示すことができるか、又は他のやり方でこの値に関連付けることができ、この把持スコアは、把持プロポーザルによって示された特定の把持構成又は配向が、物体を把持するロボット部品と関連して利用された場合、物体の把持の成功又は安定した把持をもたらす確率を示す。把持プロポーザルは、１つ又は複数の（たとえば、物体の場所に対応する）座標値を示すことができるか、又は他のやり方でこのような座標値に関連付けられてもよい。把持プロポーザルは、任意の好適なデータ、データ構造、及び／又はその変形と関連して実装されてもよい。
【0019】
システムは、入力画像１０２中で描写される特定の物体の１つ又は複数の場所に相当する、１つ又は複数の座標値を示すデータであることができる、座標１０８を生成することができる。１つ又は複数の場所は、（たとえば、ロボット部品によって）特定の物体を把持するために利用することができる、特定の物体上の又はその近くの任意の好適な場所であってもよい。一実施例では、システムは、把持デコーダ１１０Φに入力として、３Ｄ座標
（たとえば、座標１０８）、及びシーン中で物体ｏを表現する潜在コードｆｏ（たとえば、物体潜在コード１０６）を提供する。把持デコーダ１１０は、把持スコアＳｇ及び回転行列Ｒｇを予測することができる。一実施例では、入力座標
（たとえば、座標１０８）は、物体関連の基準フレームＰｏである。スコアＳｇは、座標
において安定な把持が存在する確率を示すことができる。Ｒｇは、把持グリッパ配向を示すことができる、又は他のやり方でそれを表現することができる、３×３回転行列であることができる一実施例では、
が直交行列である（たとえば、純粋な回転をモデル化する）ことを保証するために、ニューラル・ネットワークは、２つの三次元ベクトルａ及び
を出力する。いくつかの実例では、システムは、回転行列Ｒｇ＝［ｂ ａ×ｂ ａ］を生成することができる。ただし、
であり、ａはグリッパ・アプローチ・ベクトルであり、ｂはグリッパ左をポイントするベクトルである。
【数1】
（たとえば、座標１０８）、及びシーン中で物体ｏを表現する潜在コードｆｏ（たとえば、物体潜在コード１０６）を提供する。把持デコーダ１１０は、把持スコアＳｇ及び回転行列Ｒｇを予測することができる。一実施例では、入力座標
【数2】
（たとえば、座標１０８）は、物体関連の基準フレームＰｏである。スコアＳｇは、座標
【数3】
において安定な把持が存在する確率を示すことができる。Ｒｇは、把持グリッパ配向を示すことができる、又は他のやり方でそれを表現することができる、３×３回転行列であることができる一実施例では、
【数4】
が直交行列である（たとえば、純粋な回転をモデル化する）ことを保証するために、ニューラル・ネットワークは、２つの三次元ベクトルａ及び
【数5】
を出力する。いくつかの実例では、システムは、回転行列Ｒｇ＝［ｂ ａ×ｂ ａ］を生成することができる。ただし、
【数6】
であり、ａはグリッパ・アプローチ・ベクトルであり、ｂはグリッパ左をポイントするベクトルである。
【0020】
システムは、把持プロポーザル１１２を生成するために、少なくとも物体潜在コード１０６及び座標１０８を把持デコーダ１１０に処理させることができるか、又は処理するために他のやり方で把持デコーダ１１０を使用することができる。システムは、６Ｄ物体姿勢及び／若しくは入力画像１０２中の物体に対応する３Ｄ物体バウンディング・ボリュームを、把持デコーダ１１０に処理させることができるか、又は処理するために他のやり方で把持デコーダ１１０を使用することができる。システムは、１つ若しくは複数のコンピュータ・ビジョン・システム、関数、アルゴリズム、並びに／又は任意の好適なシステム、関数、及び／若しくはアルゴリズムと関連して、６Ｄ物体姿勢及び／又は３Ｄ物体バウンディング・ボリュームを得ることができるか、又は他のやり方で生成することができる。把持プロポーザル１１２は、１つ又は複数の把持プロポーザルの集合であってもよい。把持プロポーザル１１２は、それぞれが座標１０８の各座標値に相当する、１つ又は複数の把持プロポーザルを含むことができる。
【0021】
把持プロポーザルは、特定の把持構成若しくは配向及び／又は確率値を示すか、又は他のやり方で表現する、任意の好適なデータであることができる。把持プロポーザルは、少なくとも把持スコアＳｇ及び／又は回転行列Ｒｇを通じて、表現又は他のやり方で実装され得る。説明的な実例として、（たとえば、物体の）特定の座標値に対応する把持プロポーザルは、（たとえば、任意の好適なデータ及び／又はデータ構造を通じて実装又は他のやり方で表現することが可能な、回転行列Ｒｇを通じて）特定の把持構成又は配向、及び特定の座標値によって示される物体の場所においてロボット部品と関連して利用された場合に（たとえば、任意の好適なデータ及び／又はデータ構造を通じて実装又は他のやり方で表現することが可能な、把持スコアＳｇを通じて）特定の把持構成又は配向が物体の安定な把持をもたらす確率を示す値を示すデータである。
【0022】
物体ｏに対する把持を予測するために、システムは、１セットの座標
を、ボリュームＶｏ内で軸当たり固定分解能ｒｅｓの密な３Ｄグリッド上に生成することができる。システムは、それぞれがスコア
、回転
、及び入力位置
を持つｒｅｓ３の把持プロポーザルを得るようΦを照会することができ、その中からシステムは最高スコアを持つ上位Ｋ個のプロポーザルを利用することができる。一実施例では、システムは、誤った把持プロポーザルを却下するために、１つ又は複数のフィルタリング・プロセスを実行する。システムは、開グリッパ・メッシュが物体と衝突しないが閉グリッパ・メッシュが物体と衝突する把持のみを、利用することができる。システムは、輝度場デコーダΨを照会することによって、物体－グリッパ衝突を計算することができる。システムは、各グリッパ・メッシュを、メッシュの表面において、１０００のランダムにサンプリングされた点、又は任意の好適な数の点の点群として表現することができる。システムは、点群を把持姿勢
に従って変形させ、変形した点ごとに、密度σで輝度場デコーダを照会することができる。システムは、１０００の点、又は任意の好適な数の点全体の合計密度が、開グリッパの任意の好適な値であり得る閾値Ｔｏｐｅｎを下回り、且つ閉グリッパの任意の好適な値であり得る閾値Ｔｃｌｏｓｅｄを上回る把持のみを利用することができる。
【数7】
を、ボリュームＶｏ内で軸当たり固定分解能ｒｅｓの密な３Ｄグリッド上に生成することができる。システムは、それぞれがスコア
【数8】
、回転
【数9】
、及び入力位置
【数10】
を持つｒｅｓ３の把持プロポーザルを得るようΦを照会することができ、その中からシステムは最高スコアを持つ上位Ｋ個のプロポーザルを利用することができる。一実施例では、システムは、誤った把持プロポーザルを却下するために、１つ又は複数のフィルタリング・プロセスを実行する。システムは、開グリッパ・メッシュが物体と衝突しないが閉グリッパ・メッシュが物体と衝突する把持のみを、利用することができる。システムは、輝度場デコーダΨを照会することによって、物体－グリッパ衝突を計算することができる。システムは、各グリッパ・メッシュを、メッシュの表面において、１０００のランダムにサンプリングされた点、又は任意の好適な数の点の点群として表現することができる。システムは、点群を把持姿勢
【数11】
に従って変形させ、変形した点ごとに、密度σで輝度場デコーダを照会することができる。システムは、１０００の点、又は任意の好適な数の点全体の合計密度が、開グリッパの任意の好適な値であり得る閾値Ｔｏｐｅｎを下回り、且つ閉グリッパの任意の好適な値であり得る閾値Ｔｃｌｏｓｅｄを上回る把持のみを利用することができる。
【0023】
システムは、把持プロポーザル１１２と関連して本明細書に記載のような、１つ又は複数のフィルタリング・プロセスを実行することができる。システムは、把持プロポーザル１１２のうち、任意の好適な値であり得る（たとえば、把持スコアによって示される）特定の数の最高又は最大スコアリングの把持プロポーザルを含む１つ又は複数の把持プロポーザルを決定することができ、把持プロポーザル１１２のうち残りの把持プロポーザルを削除又は他のやり方で除去することができる。システムは、把持プロポーザル１１２のうち、任意の好適な値であり得る特定の閾値を上回る把持スコアを持つ把持プロポーザルを計算することができ、把持プロポーザル１１２のうち他の把持プロポーザルを削除又は他のやり方で除去することができる。システムは、ロボット部品と関連して利用された場合に、把持プロポーザル１１２のうち、開把持構成は物体と衝突しないが、閉把持構成は物体と衝突する把持をもたらす把持プロポーザルを計算することができ、把持プロポーザル１１２のうち他の把持プロポーザルを削除又は他のやり方で除去することができる。
【0024】
システムは、点群などのロボット部品の表現、又は他の好適な表現を生成することができる。把持プロポーザル１１２の把持プロポーザルごとに、システムは、把持プロポーザルによって示される特定の把持構成又は配向に従うように表現を（たとえば、構成、又は配向することによって）変形することができる。次いで、システムは、把持プロポーザルが開把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらさないかどうか、及び／又は把持プロポーザルが閉把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらすかどうかを計算するために、少なくとも１つ又は複数の３Ｄ座標を、開把持構成及び／又は閉把持構成に変形された表現に対応する輝度場デコーダに入力することができる。いずれかの、又は両方の条件が満足されない場合（たとえば、把持プロポーザルが開把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらす、及び／又は把持プロポーザルが閉把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらさない）、システムは、その把持プロポーザルを利用しなくてもよく、把持プロポーザル１１２から把持プロポーザルを除去又は他のやり方で削除することができる。１つ又は複数の３Ｄ座標は、任意の好適な座標平面を基準とすることができる、変形された表現の場所又は点に対応することができる。開把持構成とは、ロボット部品が物体を把持することができる状態の、ロボット部品の構成を指すことができる（たとえば、ロボット部品がグリッパである場合、開把持構成は、開いたグリッパであることができる）。閉把持構成とは、ロボット部品が物体を把持することができる状態の、ロボット部品の構成を指すことができる（たとえば、ロボット部品がグリッパである場合、閉把持構成は、物体を把持するよう閉じたグリッパであることができる）。
【0025】
説明的な実例として、システムは、特定の把持プロポーザルに従ってロボット部品の表現を構成するか、又は他のやり方で配向する。実例をさらに続けると、特定の把持プロポーザルは、開把持構成にあるロボット部品と関連して利用された場合、構成された又は他のやり方で配向された表現の１つ又は複数の３Ｄ座標が開把持構成にあれば物体との衝突は生じず、輝度場デコーダと関連して処理されると、その１つ又は複数の３Ｄ座標において物体との衝突がない可能性があることを示し得る、任意の好適な値であり得る特定の閾値を下回る１つ又は複数の予測密度値をもたらす。実例をさらに続けると、特定の把持プロポーザルは、閉把持構成にあるロボット部品と関連して利用された場合、構成された又は他のやり方で配向された表現の１つ又は複数の３Ｄ座標が閉把持構成にあれば物体との衝突をもたらし、輝度場デコーダと関連して処理されると、その１つ又は複数の３Ｄ座標において物体との衝突があり得ることを示し得る、任意の好適な値であり得る特定の閾値を上回る１つ又は複数の予測密度値をもたらす。
【0026】
システムは、把持プロポーザル１１２を、ロボットに関連付けられる１つ又は複数のシステムに提供することができる。システムは、ロボット及びロボット部品（たとえば、グリッパ）に関連して、把持プロポーザル１１２を利用することができる。システムは、物体を把持するためにロボット部品と関連して１つ又は複数の把持プロポーザルをロボットが利用することができるように、把持プロポーザル１１２の１つ又は複数の把持プロポーザルを、ロボットに関連付けられた１つ又は複数のシステムに提供することができる。いくつかの実例では、システムは、把持プロポーザル１１２の把持プロポーザル（たとえば、最高把持スコアを持つ把持プロポーザル）を選択して、把持プロポーザルを使用してロボット部品に物体を把持させる。ロボット及び把持プロポーザルに関するさらなる情報は、図２の説明から分かる。
【0027】
システムの１つ又は複数のコンポーネント（たとえば、輝度場デコーダ及び／又は把持デコーダ１１０）は、任意の好適なシステム又はフレームワーク、たとえばＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、Ｍｉｃｒｏｓｏｆｔ Ｃｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、及び／又はその変形などに関連するシステム又はフレームワークと関連して訓練されてもよい。一実施例では、システムの１つ又は複数のコンポーネント（たとえば、輝度場デコーダ及び／又は把持デコーダ１１０）は、ＮｓｃｅｎｅｓシーンのデータセットＤと関連して訓練されてもよく、このＮｓｃｅｎｅｓシーンでは、各シーンはグラウンド・トゥルース・シーン・グラフ（たとえば、物体ボリュームＶ及び姿勢Ｐを有する）、ランダムなカメラ姿勢からレンダリングされたＮｖｉｅｗｓグラウンド・トゥルース画像、並びに把持位置ｐｇ、配向
、及びスコア
から構成される１セットの把持アノテーションを含み、各シーンは、高スコア及び低スコアのＮｇｒａｓｐｓ把持アノテーションを有する。１つ又は複数のシステムは、物体ごとに別個の潜在ｆをランダムに初期化することができる。デコーダΦ及びΨは、シーン及び物体全体で共有されてもよく、このことにより、訓練ディストリビューション及び／又はカテゴリ内のあらゆる物体をデコードすることができるユニバーサルなデコーダを与えることができる。
【数12】
、及びスコア
【数13】
から構成される１セットの把持アノテーションを含み、各シーンは、高スコア及び低スコアのＮｇｒａｓｐｓ把持アノテーションを有する。１つ又は複数のシステムは、物体ごとに別個の潜在ｆをランダムに初期化することができる。デコーダΦ及びΨは、シーン及び物体全体で共有されてもよく、このことにより、訓練ディストリビューション及び／又はカテゴリ内のあらゆる物体をデコードすることができるユニバーサルなデコーダを与えることができる。
【0028】
１つ又は複数のシステムは、ＮｅＲＦ再構築及び把持損失を、共同で最適化することができる。一実施例では、再構築損失Ｌｒｇｂは、再構築画像とグラウンド・トゥルース画像との間のピクセルワイズの平均二乗誤差である。一実施例では、把持損失は、２つの項、すなわち把持スコア損失Ｌｇｓｃｏｒｅと回転損失Ｌｇｒｏｔから構成される。この場合、予測された把持スコア及び回転Ｓｇ、Ｒｇ＝Φ（ｐｇ，ｆｏ）が与えられると、把持スコア損失は
であり、λはハイパーパラメータ＜＜１である。いくつかの実例では、位置ｐｇには複数の把持アノテーションが存在することができ、その一部は高スコアであり、一部は低スコアである。システムは、ｐｇにおける把持のいずれかが安定な場合、高把持スコアを予測することができ、これは重みλを使用して達成することができる。一実施例では、把持回転損失は、把持スコア
によって重み付けされた、予測された回転とグラウンド・トゥルース回転との間の平均二乗誤差であり、この場合、損失は位置ｐｇにおける予測された回転を高スコアリングのアノテーションに類似するよう促し、低スコアリングのアノテーションを無視する。事前訓練の間、１つ又は複数のシステムは、ＲＭＳｐｒｏｐオプティマイザなどのオプティマイザ又は任意の好適なオプティマイザを使用して、データセットＤに対してＬ＝Ｌｒｇｂ＋Ｌｇｓｃｏｒｅ＋Ｌｇｒｏｔを最適化することができる。システムは、大規模数の物体のために、マルチビュー画像のデータセットと関連して訓練されてもよい。
【数14】
であり、λはハイパーパラメータ＜＜１である。いくつかの実例では、位置ｐｇには複数の把持アノテーションが存在することができ、その一部は高スコアであり、一部は低スコアである。システムは、ｐｇにおける把持のいずれかが安定な場合、高把持スコアを予測することができ、これは重みλを使用して達成することができる。一実施例では、把持回転損失は、把持スコア
【数15】
によって重み付けされた、予測された回転とグラウンド・トゥルース回転との間の平均二乗誤差であり、この場合、損失は位置ｐｇにおける予測された回転を高スコアリングのアノテーションに類似するよう促し、低スコアリングのアノテーションを無視する。事前訓練の間、１つ又は複数のシステムは、ＲＭＳｐｒｏｐオプティマイザなどのオプティマイザ又は任意の好適なオプティマイザを使用して、データセットＤに対してＬ＝Ｌｒｇｂ＋Ｌｇｓｃｏｒｅ＋Ｌｇｒｏｔを最適化することができる。システムは、大規模数の物体のために、マルチビュー画像のデータセットと関連して訓練されてもよい。
【0029】
一実施例では、システムは、本明細書に記載のような１つ又は複数のプロセスを通じて訓練されたユニバーサルなデコーダ（たとえば、輝度場デコーダ及び／又は把持デコーダ１１０）が与えられると、以前に見たことがない物体に遭遇すると、システムは、その物体を表現する新しい潜在コードを計算することができる。一実施例では、システムは、ランダムな潜在コードｆを初期化し、勾配降下を使用して、デコーダΦとΨをフリーズさせたまま、それを最適化することができる。システムは、試験時には任意の把持アノテーションを想定しなくてもよい。システムは、単一画像（たとえば、入力画像１０２）に対して画像再構築損失Ｌｒｇｂを少なくとも最適化することによって、潜在コードｆを計算することができる。
【0030】
図２は、少なくとも一実施例による、ロボット及び物体の実例２００を図示する。ロボット２０２、物体２０４、入力画像２０６、ロボティクス物体操作システム２０８、及び把持プロポーザル２１０は、図１に関連して説明したそれぞれに従ったものであってもよい。ロボット２０２及び物体２０４は、あるシーン中に存在し得る。シーンは、現実世界環境、シミュレート環境、及び／又はその変形など、任意の好適な環境であってもよい。ロボット２０２は、１つ又は複数の物体を把持するために利用され得るグリッパなど、任意の好適なロボット部品を含むことができる。説明的な実例として、図２を参照すると、ロボット２０２は、物体２０４を把持するために利用され得るグリッパである、ロボット部品を含む。物体２０４は、多様な物理的性質を有する任意の好適な構造の任意の好適な物体であることができる。説明的な実例として、図２を参照すると、物体２０４は、ボトル状の物体である。
【0031】
ロボティクス物体操作のためのニューラル・フィールド・システムとも称される、ロボティクス物体操作システム２０８は、図１に関連して説明されるシステムであってもよい。ロボティクス物体操作システム２０８は、ロボット２０２の一部であってもよいし、又は他のやり方でロボット２０２に関連付けられてもよい。少なくとも一実施例では、ロボティクス物体操作システム２０８は、コンピュータ・ハードウェアで実行することができるソフトウェア・プログラム、アプリケーション、又はモジュールである。ロボティクス物体操作システム２０８は、本明細書に記載のような多様なプロセスを通じて入力画像２０６を処理して把持プロポーザル２１０を生成するために利用され得るハードウェア及び／又はソフトウェアの、任意の好適な集合であってもよい。
【0032】
ロボティクス物体操作システム２０８は、入力画像２０６を得ることができる。入力画像２０６は、任意の好適なシステム及び／又はシステムの集合から、たとえばコンピュータ・ビジョン・システム、ロボット・システム、画像及び／若しくはビデオ・キャプチャ・システム、並びに／又はその変形などから得ることができ、これらのシステムはロボット２０２、シーン、及び／又はロボティクス物体操作システム２０８に関連付けることができる。入力画像２０６は、ビデオのフレームであってもよい。コンピュータ・ビジョン・システム、ロボット・システム、画像及び／若しくはビデオ・キャプチャ・システム、並びに／又はその変形は、シーンを処理して、入力画像２０６を生成又は他のやり方でキャプチャすることができる。入力画像２０６は、特定の時刻におけるロボット２０２及び／又は物体２０４を描写することができる。
【0033】
ロボティクス物体操作システム２０８は、把持プロポーザル２１０を生成するために、入力画像２０６を処理することができる。ロボティクス物体操作システム２０８は、物体２０４に対応する潜在コードを計算するために利用され得る、図１に関連して説明されるような輝度場デコーダを含むことができるか、又は他のやり方で実装することができる。ロボティクス物体操作システム２０８は、潜在コードを処理して把持プロポーザル２１０を生成するために利用され得る、図１に関連して説明されるような把持デコーダを含むことができるか、又は他のやり方で実装することができる。把持プロポーザルの生成に関するさらなる情報は、図１の説明から分かる。
【0034】
ロボティクス物体操作システム２０８は、把持プロポーザル２１０と関連して本明細書に記載のような、１つ又は複数のフィルタリング・プロセスを実行することができる。ロボティクス物体操作システム２０８は、ロボット２０２のロボット部品と関連して利用された場合に、開把持構成は物体２０４と衝突しないが、閉把持構成は物体２０４と衝突する把持をもたらす、把持プロポーザル２１０の把持プロポーザルを計算することができ、把持プロポーザル２１０の他の把持プロポーザルを削除又は他のやり方で除去することができる。ロボティクス物体操作システム２０８は、把持プロポーザル２１０のうち、開把持構成にあるロボット２０２のロボット部品と関連して利用された場合に、物体２０４との衝突をもたらす把持プロポーザル、及び／又は把持プロポーザル２１０のうち、閉把持構成にあるロボット２０２のロボット部品と関連して利用された場合に、物体２０４との衝突を生じない把持プロポーザルを、削除又は他のやり方で除去することができる。把持プロポーザルのフィルタリングに関するさらなる情報は、図１の説明から分かる。
【0035】
ロボティクス物体操作システム２０８は、把持プロポーザル２１０を、ロボット２０２及び／又はロボット２０２に関連付けられる１つ若しくは複数のシステムに提供することができる。ロボット２０２及び／又はロボット２０２に関連付けられる１つ若しくは複数のシステムは、把持プロポーザル２１０の把持プロポーザルを使用して、ロボット部品に物体２０４を把持させることができる。いくつかの実例では、ロボティクス物体操作システム２０８は、把持プロポーザルを使用してロボット部品に物体２０４を把持させる。把持プロポーザルは、把持プロポーザル２１０の把持スコアのうち、最高把持スコアに関連する把持プロポーザルであってもよい。把持プロポーザルは、把持プロポーザル２１０からランダムに選択されてもよい。把持プロポーザルは、把持プロポーザル２１０のうち残りの把持プロポーザルの任意の好適な把持プロポーザルであってもよい。ロボット部品は、物体２０４を把持するために把持プロポーザルによって示される特定の把持構成又は配向を少なくとも利用することによって、把持プロポーザルを使用して物体２０４を把持することができる。説明的な実例として、ロボット部品は、物体２０４を把持するために把持プロポーザルによって示される特定の把持構成又は配向に従って、構成又は他のやり方で配向することができる。いくつかの実例では、ロボット２０２のロボット部品は、把持プロポーザル２１０の任意の好適な把持プロポーザルであり得る把持プロポーザル２１０の１つ又は複数の把持プロポーザルを使用して、物体２０４の１つ又は複数の把持を試行又は他のやり方で実行することができる。
【0036】
図３は、少なくとも一実施例による、ロボティクス物体操作システムの概観の実例３００を図示する。ロボティクス物体操作システムは、図１及び図２と関連して本明細書に記載のシステムなど、本明細書に記載のシステムに従っていることができ、図３に描写されるような１つ又は複数のコンポーネント及び／又はプロセスを含むことができるか、又は他のやり方で実装することができる。ロボティクス物体操作システムは、本明細書に記載のようなロボットと関連して利用することができる。ロボティクス物体操作システムは、入力として基本的な物体アノテーション（たとえば、物体姿勢及びボリューム）を有する単一画像を得ることができ、シーンを再編集して（たとえば、物体の見えないビューをレンダリングする）その物体用の把持姿勢を検索するために利用することが可能な、物体の潜在コードを計算することができる。
【0037】
ロボティクス物体操作システムは、シーンを再レンダリングして把持姿勢を生成するために利用することが可能な表現を利用することができる。説明的な実例として、図３を参照すると、（たとえば、左上部に描写される）物体姿勢、（たとえば、左上部に描写される）ボリューム、及び（たとえば、左下部に描写される）学習された潜在コードが与えられると、ロボティクス物体操作システムは、シーンを新規な構成でレンダリングして、各物体に把持姿勢をアノテーション付けする（たとえば、右側に描写される）。実例をさらに続けると、把持を生成するために、ロボティクス物体操作システムは、各物体ボリュームをカバーするグリッド・サンプリング手法を利用することができる。把持配向及びスコアは、ボリューメトリックなレンダリング・プロセスと部分的に共有され得るデコーダを使用して、予測することができる。ロボティクス物体操作システムは、最高信頼スコア（たとえば、把持スコア）をもたらす把持点を利用することができる。一実施例では、図３を参照すると、「ＦＣ」は、全結合層、又は任意の好適なニューラル・ネットワーク層を指す。
【0038】
ロボティクス物体操作システムは、適当なＣＵＤＡアクセラレーションを用いてＰｙＴｏｒｃｈ上で構築され得るＷＩＳＰフレームワークなど、任意の好適なフレームワークと関連して訓練されてもよい。ロボティクス物体操作システムは、多様なＣＵＤＡレイ・トレーシング・アクセラレーション・プロセスを利用することができる。ロボティクス物体操作システムの１つ又は複数のコンポーネントを訓練することは、任意の好適な処理ユニットと関連して、任意の好適な時間、たとえば約１２時間で８つのＮＶＩＤＩＡ ｖ１００ＧＰＵなどを実行することができる。ロボティクス物体操作システムは、任意の好適な処理ユニット及び／又はイメージング・ハードウェア、たとえばＲｅａｌＳｅｎｓｅカメラを伴ったＮＶＩＤＩＡ Ｔｉｔａｎ Ｘｐなどと関連して利用することができる。一実施例では、学習された物体潜在コードは、３２次元であり、ＭＬＰデコーダは、共有バックボーンに次元１２８の２つの隠れ層、及びデコーディング・ヘッドのそれぞれにさらなる２層を有するが、これらの値は任意の好適な値であることができる。
【0039】
ロボティクス物体操作システムは、１つ又は複数のシステムと関連して生成された訓練データセットと関連して、訓練することができる。データセットは、あるクラス又はカテゴリ（たとえば、靴、又は任意の好適なクラス／カテゴリの物体）内の複数の物体の多様なシーンの画像を含むことができ、これらは自己交差することなく配置することができ、たくさんの角度から見ることができる。訓練データセットは、任意の好適なデータセットからの３Ｄモデルを利用することができる。一実施例では、１つ又は複数のシステムは、ピクセル当たり２０００サンプル、又は任意の好適なサンプル数を有する、８００×８００又は任意の好適な分解能のピクセル画像をレンダリングするために、ＮＶｉＳＩＩなどのレイ・トレースされたレンダラ、又は任意の好適なレンダラを利用することができる。説明的な実例として、データセット中の靴それぞれについて、１つ又は複数のシステムは、原点から固定距離において３６０ビュー球体からサンプリングされた４００のランダムなビューをレンダリングするが、これらの値は任意の好適な値であることができる。実例をさらに続けると、これらのレンダリングに付随して、１つ又は複数のシステムは、３～５の靴がテーブル上に落ちている３２のシーンを生成するが、これらの値は任意の好適な値であることができる。これらのシーンのそれぞれについて、１つ又は複数のシステムは、４００又は任意の好適な数のビューを、シーンの原点から固定距離にある半球から、ランダムに選択することができる。
【0040】
一実施例では、データセット内の各靴について、１つ又は複数のシステムは、６～８ｃｍ幅のグリッパ、又は任意の好適なグリッパのための把持姿勢を、品質スコアとともに含む。１つ又は複数のシステムは、衝突がなく、アウトサイド・インから達成可能な手法を用いて、訓練物体点群に対して一様に把持位置をサンプリングすることができる。一実施例では、把持品質スコアＳｇ∈［０，１］を識別するために、把持ｇごとに、１つ又は複数のシステムは、Ｎ試行を実施して（たとえば、Ｎ＝５０、又は任意の好適な数）、Ｐｙｂｕｌｌｅｔ又は任意の好適な物理学エンジン若しくはシミュレータで成功する数を計算する。一実施例では、成功は、ＰｙＢｕｌｌｅｔライブラリ、又は任意の好適なライブラリ、物理学エンジン、及び／又はシミュレータを用いた物理シミュレーションの間、その把持姿勢
に対するランダムな力（たとえば、５ｍｍ未満、５°の大きさ、又は任意の好適な値）による揺乱後に物体がグリッパ・ハンドに留まることとして定義される。一実施例では、把持スコアは、次のように計算することができる：
ただし、Γ（・）は、把持成功についての物理シミュレーション・バイナリ結果を表現し、Δξｉは、各試行におけるランダムな把持姿勢揺乱である。一実施例では、ロバストな把持姿勢は、ＳＥ（３）においてその近傍周りで一貫して安定でなければならず、このことは連続的な把持品質スコアを取得するために有効であり得る。
【数16】
に対するランダムな力（たとえば、５ｍｍ未満、５°の大きさ、又は任意の好適な値）による揺乱後に物体がグリッパ・ハンドに留まることとして定義される。一実施例では、把持スコアは、次のように計算することができる：
【数17】
ただし、Γ（・）は、把持成功についての物理シミュレーション・バイナリ結果を表現し、Δξｉは、各試行におけるランダムな把持姿勢揺乱である。一実施例では、ロバストな把持姿勢は、ＳＥ（３）においてその近傍周りで一貫して安定でなければならず、このことは連続的な把持品質スコアを取得するために有効であり得る。
【0041】
図４は、少なくとも一実施例による、把持姿勢を生成する実例４００を図示する。一実施例では、図４を参照すると、「ＮｉＦＲ」は、図１～図３に関連して説明されるようなシステムなど、本明細書に記載のロボティクス物体操作システムを表し得る。システムは、ロボットに関して校正された画像を処理することができる。システムは、画像からの物体姿勢及び寸法を利用することができ、これらは、ＣｅｎｔｅｒＰｏｓｅ及び／又はその変形など、任意の好適なシステム又はアルゴリズムを使用して計算することができる。物体（たとえば、靴）を再構築できるようにするために、システムは、ＶｉＬＤなどのマスキング・アルゴリズム、及び／又は任意の好適なアルゴリズムを利用することができる。システムは、マスクされたＲＧＢ画像、物体姿勢、及びボリュームを利用することができる。システムは、物体のための好適な潜在コードを最適化するために、本明細書に記載のような１つ又は複数のプロセスを通じて、逆レンダリングを実施することができる。一実施例では、システムは、物体を異なる姿勢で再構築して、有効な３Ｄ再構築を生成し、把持姿勢を見つけることができる（たとえば、図４ではＢａｘｔｅｒのグリッパが参照されて描写されるが、任意の好適なグリッパ又はロボット部品を利用することができる）。
【0042】
システムは、図４と関連して描写されるような、多様な現実世界のロボティクス・システムと関連して、利用することができる。システムは、物体姿勢Ｐｏ及びボリュームＶｏを単一ＲＧＢ画像から計算するために、ＣｅｎｔｅｒＰｏｓｅ及び／又はその変形など、任意の好適なシステム又はアルゴリズムを利用することができる。システムは、どの物体とも交差しないレイをマスク除去するために、ＶｉＬＤなどの任意テキストの（ｏｐｅｎ－ｖｏｃａｂｕｌａｒｙ）物体検出器、及び／又は任意の好適なシステム若しくはアルゴリズムを使用して、物体のインスタンス・セグメンテーション・マスクを計算することができるシステムは、物体ｏごとに潜在コードｆｏを最適化又は他のやり方で計算するために、本明細書に記載のような１つ又は複数のプロセスを通じて微調整を実施して、完全なシーン表現Ｓを得ることができる。システムは、多様なＣＵＤＡアクセラレーション・プロセスを利用することができる。一実施例では、説明的な実例として、任意の好適なロボット及び／又はロボティック・システムが利用され得るが、システムと関連して、Ｂａｘｔｅｒロボットは、２回以内の把持試行で、スニーカ（たとえば、図４に関連して描写される）、ヒール付きブーツ、及び／又はその変形など、単一のＲＧＢ画像から複数の多様な物体をうまく把持できる場合がある。
【0043】
図５は、少なくとも一実施例による、把持プロポーザルを生成するプロセス５００の実例を図示する。少なくとも一実施例では、プロセス５００の一部又はすべて（又は本明細書に記載の任意の他のプロセス、又はその変形及び／若しくは組合せ）は、コンピュータ実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実行され、１つ又は複数のプロセッサ上で、ハードウェア、ソフトウェア、又はそれらの組合せによって集合的に実行されるコード（たとえば、コンピュータ実行可能な命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。少なくとも一実施例では、コードは、１つ又は複数のプロセッサによって実行可能な複数のコンピュータ読取り可能命令を含むコンピュータ・プログラムの形で、コンピュータ読取り可能ストレージ媒体に記憶される。少なくとも一実施例では、コンピュータ読取り可能ストレージ媒体は、非一時的なコンピュータ読取り可能媒体である。少なくとも一実施例では、プロセス５００を実行するために使用可能な少なくともいくつかのコンピュータ読取り可能命令は、一時的な信号（たとえば、伝播する一時的な電気又は電磁伝送）のみを使用して記憶されない。少なくとも一実施例では、非一時的なコンピュータ読取り可能媒体は、必ずしも一時的な信号の送受信機内に非一時的なデータ・ストレージ回路（たとえば、バッファ、キャッシュ、及びキュー）を含むとは限らない。
【0044】
少なくとも一実施例では、プロセス５００は、本開示において説明されるような１つ又は複数のシステムによって実行される。少なくとも一実施例では、プロセス５００は、図１～図４に関連して説明されるようなシステムによって実行される。少なくとも一実施例では、プロセス５００は、１つ又は複数のプログラミング・モデル（たとえば、ＣＵＤＡ、ＨＩＰ、ｏｎｅＡＰＩ、及び／又はその変形）のシステムによって実行される。少なくとも一実施例では、プロセス５００の１つ又は複数のプロセスは、順次、並列、及び／又はその変形を含め任意の好適な順序で、本明細書に記載のような任意の好適なシステムによって、またＣＰＵ、ＧＰＵ、ＰＰＵ、ＧＰＧＰＵ、及び／又はその変形などの任意の好適な処理ユニットを使用して、実行される。少なくとも一実施例では、プロセス５００は、図７～図４０に関連して説明されるような１つ又は複数のシステムによって実行される。
【0045】
少なくとも一実施例では、プロセス５００の少なくとも一部を実行するシステムは、物体を描写する画像を少なくとも得る５０２ための実行可能なコードを含む。画像は、入力画像と呼ばれてもよい。画像は、任意の好適なシステム及び／又はシステムの集合から、たとえばコンピュータ・ビジョン・システム、ロボット・システム、画像及び／若しくはビデオ・キャプチャ・システム、並びに／又はその変形などから得ることができる。画像は、シーン中で、又は他のやり方でシーンに関連して１つ又は複数のシステムから得ることができ、このシーンは、現実世界環境又はシミュレート環境など、任意の好適な環境を称することができる。画像は、ビデオのフレームであってもよい。画像は、シーン中の物体を描写することができる。物体は、シーン中に存在し得る、ロボットによって把持され得る任意の好適な物体であることができる。ロボットは、シーン中の物体を把持するためにロボットによって利用され得る、グリッパなどのロボット部品を含むことができる。いくつかの実施例では、画像の物体は、第１のカテゴリの物体であり、このカテゴリでは、第１のニューラル・ネットワーク及び第２のニューラル・ネットワークが、第１のカテゴリの物体を少なくとも描写する画像に関連して訓練される。
【0046】
少なくとも一実施例では、プロセス５００の少なくとも一部を実行するシステムは、物体に対応する潜在コードを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって画像の第１のセットを少なくとも生成する５０４ための実行可能コードを含む。物体潜在コードとも称される潜在コードは、１つ又は複数のベクトルなど、任意の好適な値の集合であってもよいし、画像中に描写される物体に対応し得る、そのような物体を表現し得る、又は他のやり方でそのような物体を示し得る、１つ又は複数の値の任意の好適な表現であってもよい。第１のニューラル・ネットワークは、図１～図２及び本開示の他箇所に関連して説明されるような輝度場デコーダであってもよい。システムは、潜在コードを生成することができるか、又は１つ若しくは複数のシステムから潜在コードを得ることができる。潜在コードは、他の既知の潜在コードに基づいて、以前に生成された潜在コードに基づいて、及び／又は任意の好適なやり方で、ランダムに生成される場合がある。
【0047】
システムは、密度及び／又は色の予測の第１のセットを生成するために、第１のニューラル・ネットワークを使用して少なくとも潜在コードを処理することができ、密度及び／又は色の予測の第１のセットに基づいて画像の第１のセットの第１の画像を生成することができる。システムは、少なくとも、第１のニューラル・ネットワークを使用して潜在コードを処理すること、及び第１のニューラル・ネットワークの出力を計算することによって、第１のニューラル・ネットワークを使用することができ、この出力は密度及び／又は色の予測の第１のセットであってもよい。輝度場デコーダに関連して画像を生成することに関するさらなる情報は、図１の説明から分かる。システムは、密度及び／又は色の予測の第１のセットの密度及び／又は色の予測を処理して第１の画像を生成するために、ボリューメトリック・レンダリング方程式を利用することができる。
【0048】
少なくとも一実施例では、プロセス５００の少なくとも一部を実行するシステムは、画像の第１のセット及び画像に少なくとも部分的に基づき、潜在コードを少なくとも更新する５０６ための、実行可能コードを含む。システムは、潜在コードを更新するために、第１の画像と画像とを、１つ又は複数の関数を通じて比較することができる。システムは、第１の画像と画像との差異を計算するために第１の画像と画像とを比較することができ、本明細書に記載のような１つ又は複数のプロセスを通じて、その差異に少なくとも部分的に基づき、潜在コードを更新することができる。差異は、本明細書に記載のような１つ又は複数の関数を通じて計算することができる。一実施例では、システムは、本明細書に記載のような少なくとも画像再構築損失を通じて差異を計算する。システムは、第１の画像及び画像を、１つ又は複数の画像再構築損失関数、又は任意の好適な損失関数を通じて処理し、第１の画像と画像との間の差異を計算することができる。差異は、第１の画像と画像との間の差異又は差異のレベルを示す、１つ又は複数の値として計算又は他のやり方で表現することができる。システムは、本明細書に記載のような任意の好適なプロセスを通じて、計算された差異を最小化するために潜在コードを更新することができる。システムは、１つ又は複数の勾配降下プロセスを通じて潜在コードを更新、決定、又は他のやり方で計算してもよい。
【0049】
いくつかの実例では、システムは、次いで更新した潜在コードを利用して、プロセス５０４に関連して説明した１つ又は複数のプロセスに従って画像の第１のセットの第２の画像を生成することができ、次いでプロセス５０６に関連して説明した１つ又は複数のプロセスに従って第２の画像に基づいて、更新された潜在コードを更新することができる。システムは、プロセス５０４に関連して説明した１つ若しくは複数のプロセスに従って潜在コードに基づいて画像の第１のセットの画像を生成するプロセス、及び／又はプロセス５０６に関連して説明した１つ若しくは複数のプロセスに従って画像に基づいて、潜在コードを更新するプロセスを、生成された画像と画像との間の計算された差異が定義された閾値を下回るまで、定義された反復数まで、及び／又は任意の好適な関数若しくはメトリックに基づいて、連続して実行することができる。
【0050】
少なくとも一実施例では、プロセス５００の少なくとも一部を実行するシステムは、少なくとも潜在コードを処理して把持プロポーザルのセットを生成するために、第２のニューラル・ネットワークを少なくとも使用する５０８ための実行可能コードを含む。第２のニューラル・ネットワークは、図１～図２及び本明細書の他箇所に関連して説明されるような把持デコーダであってもよい。第１のニューラル・ネットワーク及び第２のニューラル・ネットワークは、同一セットのパラメータを利用してもよい（たとえば、第１のニューラル・ネットワークの１つ又は複数の層は、第２のニューラル・ネットワークの１つ又は複数の層と同一の重み及び／又は他の好適なパラメータを含む）。システムは、第２のニューラル・ネットワークを使用して、潜在コード及び１つ又は複数の座標を処理し、把持プロポーザルのセットを生成することができる。システムは、第２のニューラル・ネットワークを使用して潜在コードを少なくとも処理すること、及び第２のニューラル・ネットワークの出力を計算することによって、第２のニューラル・ネットワークを使用することができ、この出力は把持プロポーザルのセットであってもよい。１つ又は複数の座標は、物体の１つ又は複数の特定の場所に対応することができ、画像及び／又はシーンの任意の好適な座標平面又は基準フレームを基準とすることができる。本明細書に記載のような把持プロポーザルは、ロボット部品の特定の把持構成又は配向を示すデータを指すことがあり、ロボット部品は、物体を把持しようと試行する又は他のやり方で把持するための特定の把持構成又は配向に従って、（たとえば、ロボット部品に関連する１つ又は複数のシステムによって）構成又は配向されてもよい。把持プロポーザルは、把持スコアとも称される値を示すことができるか、又は他のやり方でこの値に関連付けることができ、この把持スコアは、把持プロポーザルによって示された特定の把持構成又は配向が、また把持プロポーザルによって示され得る又は他のやり方で関連付けられ得る特定の場所で物体を把持するためにロボット部品と関連して利用された場合、物体の把持の成功又は安定した把持をもたらす確率を示す。把持プロポーザルは、少なくともスコア（たとえば、
）、回転行列（たとえば、
）、又はロボット部品の配向（たとえば、把持グリッパ配向）の任意の好適なインジケーション、入力位置（たとえば、
）、及び／又は本明細書に記載のような任意の好適なデータを示すことができるか、又はそのようなデータを含むことができる。いくつかの実例では、回転行列（たとえば、
）、又はロボット部品の配向（たとえば、把持グリッパ配向）の任意の好適なインジケーション、及び／又は把持プロポーザルの入力位置（たとえば、
）は、把持姿勢又は予測された把持姿勢と称される場合がある。
【数18】
）、回転行列（たとえば、
【数19】
）、又はロボット部品の配向（たとえば、把持グリッパ配向）の任意の好適なインジケーション、入力位置（たとえば、
【数20】
）、及び／又は本明細書に記載のような任意の好適なデータを示すことができるか、又はそのようなデータを含むことができる。いくつかの実例では、回転行列（たとえば、
【数21】
）、又はロボット部品の配向（たとえば、把持グリッパ配向）の任意の好適なインジケーション、及び／又は把持プロポーザルの入力位置（たとえば、
【数22】
）は、把持姿勢又は予測された把持姿勢と称される場合がある。
【0051】
少なくとも一実施例では、プロセス５００の少なくとも一部を実行するシステムは、第１のニューラル・ネットワーク及び潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットから１つ又は複数の把持プロポーザルを少なくとも選択する５１０ための実行可能コードを含む。システムは、図１に関連して説明されるような１つ又は複数のフィルタリング・プロセスを実行するために、第１のニューラル・ネットワーク及び潜在コードを使用して、把持プロポーザルのサブセットとも呼ばれてもよい１つ又は複数の把持プロポーザルを選択又は他のやり方で決定することができる。システムは、把持プロポーザルのセットのうち、任意の好適な値であり得る（たとえば、把持スコアによって示される）特定の数の最高又は最大スコアリングの把持プロポーザルを含む把持プロポーザルを決定することができ、把持プロポーザルのセットのうち残りの把持プロポーザルを削除又は他のやり方で除去することができる。システムは、把持プロポーザルのセットのうち、任意の好適な値であり得る特定閾値を上回る把持スコアを持つ把持プロポーザルを計算することができ、把持プロポーザルのセットのうち他の把持プロポーザルを削除又は他のやり方で除去することができる。システムは、潜在コードを処理するために第１のニューラル・ネットワークを使用し、１つ又は複数の把持プロポーザルを選択するために把持プロポーザルのセットに関連付けられる多様な座標を使用することができる。システムは、第１のニューラル・ネットワーク及び潜在コードを使用して、ロボット部品と関連して利用された場合に、把持プロポーザルのセットのうち、開把持構成は物体と衝突しないが、閉把持構成は物体と衝突する把持をもたらす把持プロポーザルを計算することができ、把持プロポーザルのセットのうち他の把持プロポーザルを削除又は他のやり方で除去することができる。
【0052】
システムは、第１のニューラル・ネットワーク及び潜在コードを使用して本明細書に記載のような多様なプロセスを少なくとも実行することによって、第１のニューラル・ネットワーク及び潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットから１つ又は複数の把持プロポーザルを選択することができる。システムは、点群などのロボット部品の表現、又は他の好適な表現を生成することができる。把持プロポーザルのセットの把持プロポーザルごとに、システムは、把持プロポーザルによって示される特定の把持構成又は配向に従うように表現を構成又は他のやり方で配向することができる。次いで、システムは、把持プロポーザルが開把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらさないかどうか、及び／又は把持プロポーザルが閉把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらすかどうかを計算するために、少なくとも１つ又は複数の３Ｄ座標及び潜在コードを第１のニューラル・ネットワークに入力することができ、この第１のニューラル・ネットワークでは１つ又は複数の３Ｄ座標は、開把持構成及び／又は閉把持構成に構成又は他のやり方で配向された表現に対応し得る。いずれかの、又は両方の条件が満足されない場合（たとえば、把持プロポーザルが、開把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらす、及び／又は把持プロポーザルが閉把持構成にあるロボット部品に関連して利用された場合に、物体との衝突をもたらさない）、システムは、その把持プロポーザルを利用しなくてもよく、把持プロポーザルのセットから把持プロポーザルを除去又は他のやり方で削除することができる。１つ又は複数の３Ｄ座標は、任意の好適な座標平面を基準とし得る、表現の任意の好適な場所又は点に対応することができる。
【0053】
説明的な実例として、把持プロポーザルは、開把持構成にあるロボット部品と関連して利用された場合、構成された又は他のやり方で配向された表現の１つ又は複数の３Ｄ座標が開把持構成にあれば物体との衝突は生じず、第１のニューラル・ネットワーク及び潜在コードと関連して処理されると、その１つ又は複数の３Ｄ座標において物体との衝突がないことを示し得る、任意の好適な値であり得る特定の閾値を下回る（たとえば、第１のニューラル・ネットワークによって予測された、又は他のやり方で生成された）１つ又は複数の密度値をもたらす。実例をさらに続けると、把持プロポーザルは、閉把持構成にあるロボット部品と関連して利用された場合、構成された又は他のやり方で配向された表現の１つ又は複数の３Ｄ座標が閉把持構成にあれば物体との衝突をもたらし、第１のニューラル・ネットワーク及び潜在コードと関連して処理されると、その１つ又は複数の３Ｄ座標において物体との衝突があることを示し得る、任意の好適な値であり得る特定の閾値を上回る（たとえば、第１のニューラル・ネットワークによって予測された、又は他のやり方で生成された）１つ又は複数の密度値をもたらす。
【0054】
システムは、把持プロポーザルのセットのうち残りの把持プロポーザルとする、１つ又は複数の把持プロポーザルを選択することができる。いくつかの実例では、システムは、把持プロポーザルのセットから除去する特定の把持プロポーザルを計算するために、本明細書に記載のような１つ又は複数のプロセスを実行し、除去対象となるこのような特定の把持プロポーザルを、誤った把持プロポーザルとして示すか又は他のやり方で分類し、誤っているとして示されなかった又は他のやり方で分類されなかった把持プロポーザルのセットのうち１つ又は複数の把持プロポーザルを含むように、１つ又は複数の把持プロポーザルを選択する。システムは、把持プロポーザルのセットから１つ又は複数の把持プロポーザルを選択して任意の好適な把持プロポーザルとしてよく、これは本明細書に記載のような任意の好適なフィルタリング・プロセスに基づくことができる。
【0055】
システムは、１つ又は複数の把持プロポーザルを、ロボット及び／又はロボット部品に関連付けられる１つ又は複数のシステムに提供することができる。システムは、ロボット及びロボット部品（たとえば、グリッパ）に関連して、１つ又は複数の把持プロポーザルを利用することができる。システムは、ロボットが物体を把持するためにロボット部品と関連して１つ又は複数の把持プロポーザルを利用することができるように、１つ又は複数の把持プロポーザルを、ロボットに関連付けられた１つ又は複数のシステムに提供することができる。システムは、１つ又は複数の把持プロポーザルを使用して、ロボット及び／又はロボット部品に、物体を把持させることができる。説明的な実例として、システム又は他の好適なシステムは、ロボット及び／又はロボット部品を、１つ又は複数の把持プロポーザルのうち１つの把持プロポーザルに従って構成又は他のやり方で配向されるようにし、次いでこの状態でシステム又は他の好適なシステムは、ロボット及び／又はロボット部品に物体を把持させることができる。ロボット及び把持プロポーザルに関するさらなる情報は、図２の説明から分かる。
【0056】
第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークは、任意の好適なシステム又はフレームワーク、たとえば、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、Ｍｉｃｒｏｓｏｆｔ Ｃｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、及び／又はその変形などに関連するシステム又はフレームワークと関連して訓練されてもよい。一実施例では、第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークは、ＮｓｃｅｎｅｓシーンのデータセットＤと関連して訓練されてもよく、Ｎｓｃｅｎｅｓシーンにおいて、各シーンはグラウンド・トゥルース・シーン・グラフ（たとえば、物体ボリュームＶ及び姿勢Ｐを有する）、ランダムなカメラ姿勢からレンダリングされたＮｖｉｅｗｓグラウンド・トゥルース画像、並びに把持位置ｐｇ、配向
、及びスコア
から構成される１セットの把持アノテーションを含み、各シーンは、高スコア及び低スコアのＮｇｒａｓｐｓ把持アノテーションを有する。データセットは、物体の特定のクラス又はカテゴリに特有であってもよく、このクラス又はカテゴリにおいて、特定のクラス又はカテゴリの物体及び／又は物体を描写する画像に関連して第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークを利用することができる。第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークは、本明細書に記載のような任意の好適なプロセスを通じて訓練することができる。説明的な実例として、１つ又は複数のシステムは、第１のニューラル・ネットワークを使用して本明細書に記載のような多様なプロセスを通じて１つ又は複数の画像を生成し、生成された画像及びグラウンド・トゥルース画像に少なくとも部分的に基づき、第１のニューラル・ネットワークを更新することができる。別の説明的な実例として、１つ又は複数のシステムは、第２のニューラル・ネットワークを使用して本明細書に記載のような多様なプロセスを通じて１つ又は複数の把持プロポーザルを生成し、生成された把持プロポーザル及び把持アノテーションに少なくとも部分的に基づき、第２のニューラル・ネットワークを更新することができる。訓練に関するさらなる情報は、図１と関連して見いだすことができる。
【数23】
、及びスコア
【数24】
から構成される１セットの把持アノテーションを含み、各シーンは、高スコア及び低スコアのＮｇｒａｓｐｓ把持アノテーションを有する。データセットは、物体の特定のクラス又はカテゴリに特有であってもよく、このクラス又はカテゴリにおいて、特定のクラス又はカテゴリの物体及び／又は物体を描写する画像に関連して第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークを利用することができる。第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークは、本明細書に記載のような任意の好適なプロセスを通じて訓練することができる。説明的な実例として、１つ又は複数のシステムは、第１のニューラル・ネットワークを使用して本明細書に記載のような多様なプロセスを通じて１つ又は複数の画像を生成し、生成された画像及びグラウンド・トゥルース画像に少なくとも部分的に基づき、第１のニューラル・ネットワークを更新することができる。別の説明的な実例として、１つ又は複数のシステムは、第２のニューラル・ネットワークを使用して本明細書に記載のような多様なプロセスを通じて１つ又は複数の把持プロポーザルを生成し、生成された把持プロポーザル及び把持アノテーションに少なくとも部分的に基づき、第２のニューラル・ネットワークを更新することができる。訓練に関するさらなる情報は、図１と関連して見いだすことができる。
【0057】
一実施例では、システムは、物体レンダリング、３Ｄ再構築、及び単一画像から推論され得る把持姿勢予測のための表現を利用するが、このとき表現は本明細書に記載のような潜在コードであってもよい。システムは、コンパクトな形状表現（たとえば、潜在コード）を利用して、そこから把持姿勢などの追加的な情報を把持プロポーザルの形態で抽出することができる。システムは、単一視点（たとえば、ＲＧＢのみの画像）を使用して、ＮｅＲＦベースの表現（たとえば、潜在コード）から把持姿勢を直接検索することができる。システムは、物体再構築及び単一ＲＧＢ観察から把持姿勢を回帰することなど、多様なタスクに関連して潜在コードを利用することができる。
【0058】
一実施例では、システムの機能性、第１のニューラル・ネットワーク、及び／又は第２のニューラル・ネットワークは、本明細書に記載のような１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を通じてアクセスすることができる。システム、第１のニューラル・ネットワーク、及び／又は第２のニューラル・ネットワークに関連付けられるＡＰＩへの入力には、図１～図５に関連して説明したような物体の画像が含まれ得る。入力はまた、ＡＰＩをコールする、又は他のやり方でＡＰＩを使用するエンティティに関連付けられる認証情報も含むことができる。ＡＰＩ応答には、本明細書に記載のような把持プロポーザルのセットが含まれ得る。ＡＰＩの使用時、１つ又は複数のシステムは、把持プロポーザルのセットを生成するために、第１のニューラル・ネットワーク及び／又は第２のニューラル・ネットワークに関連して、本明細書に記載のような１つ又は複数のプロセスを通じて、システムに画像を処理させることができる。システムはまた、把持プロポーザルのセットに関連して本明細書に記載のような多様なフィルタリング・プロセスを実行することもでき、このときＡＰＩ応答には、フィルタリング・プロセスに少なくとも部分的に基づいて決定された１つ又は複数の把持プロポーザルが含まれ得る。
【0059】
図６は、少なくとも一実施例による、プロセッサの実例６００を図示する。少なくとも一実施例では、プロセッサ６０２は、１つ又は複数の把持プロポーザルを生成するために、本明細書に記載のような１つ又は複数のプロセスを実行する。少なくとも一実施例では、プロセッサ６０２は、図１及び図２に関連して説明されるシステム、輝度場デコーダ、及び／又は把持デコーダの１つ又は複数のプロセスを実施する。少なくとも一実施例では、プロセッサ６０２は、図１～図５に関連して説明されるような１つ又は複数のプロセスを実行する。
【0060】
少なくとも一実施例では、プロセッサ６０２は、図２０～図３５に関連して説明されるような１つ又は複数のプロセッサを含む。少なくとも一実施例では、プロセッサ６０２は、１つ又は複数のＣＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＰＰＵ、及び／又はその変形など、任意の好適な処理ユニット及び／又は処理ユニットの組合せである。少なくとも一実施例では、プロセッサ６０２は、システム・モジュール６０４、輝度場デコーダ・モジュール６０６、及び把持デコーダ・モジュール６０８を含む。少なくとも一実施例では、システム・モジュール６０４、輝度場デコーダ・モジュール６０６、及び／又は把持デコーダ・モジュール６０８は、プロセッサ６０２及び／又は１つ若しくは複数の他のプロセッサの一部である。少なくとも一実施例では、システム・モジュール６０４、輝度場デコーダ・モジュール６０６、及び／又は把持デコーダ・モジュール６０８は、共有メモリへの書き込み、及び／又は本明細書に記載のような任意の好適な通信プロセスによって、バス、ネットワーク上で通信する複数のプロセッサ間で分散される。
【0061】
少なくとも一実施例では、本明細書に記載の任意の実装形態において使用される場合、そうではないことがコンテキストから明らかであるか又は反対に明示的に述べられない限り、モジュールとは、本明細書に記載の機能を実現するように構成されたソフトウェア論理、ファームウェア論理、ハードウェア論理、及び／又は回路の任意の組合せを指す。少なくとも一実施例では、ソフトウェアは、ソフトウェア・パッケージ、コード、及び／又は命令セット若しくは命令として具体化することができ、「ハードウェア」は、本明細書に記載の任意の実装形態で使用される場合、たとえば、単一又は任意の組合せのハードワイヤード回路、プログラム可能回路、状態機械回路、固定機能回路、実行ユニット回路、及び／又はプログラム可能回路によって実行される命令を記憶するファームウェアを含むことができる。少なくとも一実施例では、モジュールは、集合的に又は個別に、たとえば集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）など、より大きなシステムの一部を形成する回路として具体化されてもよい。少なくとも一実施例では、モジュールは、１つ又は複数のＣＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＰＰＵ、及び／又はその変形など、任意の好適な処理ユニット及び／又は処理ユニットの組合せに関連して、１つ又は複数のプロセスを実行する。
【0062】
少なくとも一実施例では、システム・モジュール６０４は、輝度場デコーダ・モジュール６０６及び／又は把持デコーダ・モジュール６０８に関連して多様なプロセスを実行するモジュールである。少なくとも一実施例では、システム・モジュール６０４は、（たとえば、プロセッサ６０２によって）前記１つ又は複数のプロセスの実行を生じさせるか、又は他のやり方でそのようなプロセスを実行するために利用することが可能な命令を少なくとも含むことによって、又は他のやり方でエンコードすることによって、本明細書に記載のような１つ又は複数のプロセスを実行する。システム・モジュール６０４は、物体を描写する画像を得て、輝度場デコーダ・モジュール６０６及び／又は把持デコーダ・モジュール６０８に関連して、１つ又は複数の把持プロポーザルを生成することができる。システム・モジュール６０４は、輝度場デコーダ・モジュール６０６及び／又は把持デコーダ・モジュール６０８に関連して本明細書に記載のような、１つ又は複数の訓練プロセスを実行することができる。システム・モジュール６０４は、図１～図２に関連して説明される、システムの１つ又は複数のプロセスを実行することができる。システム・モジュール６０４は、図６に関連して説明されるような１つ又は複数のプロセスを実行することができる。
【0063】
少なくとも一実施例では、輝度場デコーダ・モジュール６０６は、潜在コードに少なくとも部分的に基づいて多様なプロセスを実行するモジュールである。少なくとも一実施例では、輝度場デコーダ・モジュール６０６は、（たとえば、プロセッサ６０２によって）前記１つ又は複数のプロセスの実行を生じさせるか、又は他のやり方でそのようなプロセスを実行するために利用することが可能な命令を少なくとも含むことによって、又は他のやり方でエンコードすることによって、本明細書に記載のような１つ又は複数のプロセスを実行する。輝度場デコーダ・モジュール６０６は、少なくとも潜在コード（たとえば、画像中に描写される物体に相当する）、１つ又は複数の座標（たとえば、物体における場所に相当する）、及びビュー方向を得ることができ、ビュー方向を基準とした１つ又は複数の座標における密度及び／又は色の、１つ又は複数の予測を生成することができる。輝度場デコーダ・モジュール６０６は、図１及び本明細書の他箇所に関連して説明される輝度場デコーダのプロセスを実装すること又は他のやり方で実行することができる。輝度場デコーダ・モジュール６０６は、図６に関連して説明されるような１つ又は複数のプロセスを実行する。
【0064】
少なくとも一実施例では、把持デコーダ・モジュール６０８は、潜在コードに少なくとも部分的に基づいて把持プロポーザルを生成するモジュールである。少なくとも一実施例では、把持デコーダ・モジュール６０８は、（たとえば、プロセッサ６０２によって）前記１つ又は複数のプロセスの実行を生じさせるか、又は他のやり方でそのようなプロセスを実行するために利用することが可能な命令を少なくとも含むことによって、又は他のやり方でエンコードすることによって、本明細書に記載のような１つ又は複数のプロセスを実行する。把持デコーダ・モジュール６０８は、少なくとも潜在コード（たとえば、画像中に描写される物体に相当する）、及び１つ又は複数の座標（たとえば、物体における場所に相当する）を得ることができ、１つ又は複数の把持プロポーザルを生成することができる。把持デコーダ・モジュール６０８は、図１及び本明細書の他箇所に関連して説明される把持デコーダのプロセスを実装すること又は他のやり方で実行することができる。把持デコーダ・モジュール６０８は、図６に関連して説明されるような１つ又は複数のプロセスを実行することができる。
【0065】
論理
図７Ａは、少なくとも一実施例に従って本明細書において考察されるような動作を実施するために、１つ又は複数のデバイスにおいて使用することができる、本明細書の他箇所に関連して説明される論理７１５を図示する。少なくとも一実施例では、１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。少なくとも一実施例では、論理７１５は、推論及び／又は訓練論理である。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて以下に提供される。少なくとも一実施例では、論理とは、本明細書に記載の機能又は動作を提供するための、ソフトウェア論理、ハードウェア論理、及び／又はファームウェア論理の任意の組合せを指し、論理は、集合的に又は個別に、たとえば集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ）、又は１つ若しくは複数のプロセッサ（たとえば、ＣＰＵ、ＧＰＵ）の、より大きなシステムの一部を形成する回路として具体化されてもよい。
図７Ａは、少なくとも一実施例に従って本明細書において考察されるような動作を実施するために、１つ又は複数のデバイスにおいて使用することができる、本明細書の他箇所に関連して説明される論理７１５を図示する。少なくとも一実施例では、１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。少なくとも一実施例では、論理７１５は、推論及び／又は訓練論理である。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて以下に提供される。少なくとも一実施例では、論理とは、本明細書に記載の機能又は動作を提供するための、ソフトウェア論理、ハードウェア論理、及び／又はファームウェア論理の任意の組合せを指し、論理は、集合的に又は個別に、たとえば集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ）、又は１つ若しくは複数のプロセッサ（たとえば、ＣＰＵ、ＧＰＵ）の、より大きなシステムの一部を形成する回路として具体化されてもよい。
【0066】
少なくとも一実施例では、論理７１５は、１つ又は複数の実施例の態様において推論するように訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層を構成するための順方向及び／若しくは出力の重み、及び／若しくは入力／出力データ、及び／若しくは他のパラメータを記憶するためのコード並びに／又はデータ・ストレージ７０１を、限定することなく含んでもよい。少なくとも一実施例では、論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ７０１には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、こうしたコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを順伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
【0067】
少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、ダイナミック・ランダム・アドレス可能メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、スタティック・ランダム・アドレス可能メモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージを含むかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0068】
少なくとも一実施例では、論理７１５は、１つ又は複数の実施例の態様において推論するために訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層に対応した、逆方向及び／若しくは出力の重み、及び／若しくは入力／出力データを記憶するためのコード並びに／又はデータ・ストレージ７０５を、限定することなく含んでもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを逆伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ７０５には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。
【0069】
少なくとも一実施例では、グラフ・コードなどのコードは、こうしたコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードさせる。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、若しくは何らか他のタイプのストレージを含むかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0070】
少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５は、別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５は、組み合わされたストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５は、部分的に組み合わされ、部分的に別々であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５との任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
【0071】
少なくとも一実施例では、論理７１５は、訓練及び／又は推論コード（たとえばグラフ・コード）に少なくとも部分的に基づく、又はそれにより示される論理演算及び／又は算術演算を実行するための、整数及び／又は浮動小数点ユニットを含む１つ又は複数の算術論理演算ユニット（「ＡＬＵ」）７１０を、限定することなく含んでもよく、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層若しくはニューロンからの出力値）を生成してもよく、これらは、コード及び／若しくはデータ・ストレージ７０１、並びに／又はコード及び／若しくはデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータのデータの関数である。少なくとも一実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実行したことに応答して、ＡＬＵ７１０によって実行される線形代数計算及び又は行列ベースの計算に従って生成され、ここでコード及び／又はデータ・ストレージ７０５並びに／若しくはデータ・ストレージ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、又は他のパラメータ若しくはハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５、又はコード及び／若しくはデータ・ストレージ７０１、又はオン・チップ若しくはオフ・チップの別のストレージに記憶されてもよい。
【0072】
少なくとも一実施例では、ＡＬＵ７１０は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路内に含まれるが、別の実施例では、ＡＬＵ７１０は、それらを使用するプロセッサ又は他のハードウェア論理デバイス若しくは回路の外部にあってもよい（たとえばコプロセッサ）。少なくとも一実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれてもよく、又は他のやり方で同じプロセッサ内にあるか異なるタイプの異なるプロセッサ（たとえば、中央処理装置、グラフィックス・プロセッシング・ユニット、固定機能ユニットなど）の間で分散されているかのいずれかであるプロセッサの実行ユニットによりアクセス可能なＡＬＵバンク内に、含まれてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１、コード及び／又はデータ・ストレージ７０５、並びにアクティブ化ストレージ７２０は、プロセッサ又は他のハードウェア論理デバイス若しくは回路を共有してもよく、別の実施例では、それらは異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、或いは同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せにあってもよい。少なくとも一実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。さらに、推論及び／又は訓練コードが、プロセッサ又は他のハードウェア論理若しくは回路にアクセス可能な他のコードとともに記憶されてもよく、プロセッサのフェッチ、デコード、スケジューリング、実行、リタイア、及び／又は他の論理回路を使用してフェッチ及び／又は処理されてもよい。
【0073】
少なくとも一実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ若しくは複数のプロセッサ又は他の論理回路の内部にあってもよく、又は外部にあってもよい。少なくとも一実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、若しくは何らか他のタイプのストレージを含むかの選択は、オン・チップ対オフ・チップの利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0074】
少なくとも一実施例では、図７Ａに図示される論理７１５は、ＧｏｏｇｌｅによるＴｅｎｓｏｒＦｌｏｗ（登録商標） Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、Ｇｒａｐｈｃｏｒｅ（商標）による推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐによるＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）と併せて使用することができる。少なくとも一実施例では、図７Ａに図示される論理７１５は、中央処理装置（「ＣＰＵ」）ハードウェア、グラフィック処理ユニット（「ＧＰＵ」）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの他のハードウェアと併せて使用することができる。
【0075】
図７Ｂは、少なくとも一実施例による、論理７１５を図示する。少なくとも一実施例では、論理７１５は、推論及び／又は訓練論理である。少なくとも一実施例では、論理７１５は、ハードウェア論理を限定することなく含んでもよく、このハードウェア論理では、計算リソースが、ニューラル・ネットワーク内のニューロンの１つ若しくは複数の層に対応する重み値又は他の情報の専用のものであるか、又は他のやり方でそれらと併せてしか使用されない。少なくとも一実施例では、図７Ｂに図示される論理７１５は、ＧｏｏｇｌｅによるＴｅｎｓｏｒＦｌｏｗ（登録商標） Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、Ｇｒａｐｈｃｏｒｅ（商標）による推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐによるＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（「ＡＳＩＣ」）と併せて使用することができる。少なくとも一実施例では、図７Ｂに図示される論理７１５は、中央処理装置（ＣＰＵ）ハードウェア、グラフィックス・プロセッシング・ユニット（ＧＰＵ）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用することができる。少なくとも一実施例では、論理７１５は、限定することなく、コード及び／又はデータ・ストレージ７０１、並びにコード及び／又はデータ・ストレージ７０５を含み、これらを使用して、コード（たとえばグラフ・コード）、重み値、並びに／又はバイアス値、勾配情報、運動量値、及び／若しくは他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶してもよい。図７Ｂに図示される少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５のそれぞれは、それぞれ計算ハードウェア７０２及び計算ハードウェア７０６などの専用計算リソースに関連付けられる。少なくとも一実施例では、計算ハードウェア７０２及び計算ハードウェア７０６のそれぞれは、線形代数関数などの数学的関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実行する１つ又は複数のＡＬＵを備え、その結果は、アクティブ化ストレージ７２０に記憶される。
【0076】
少なくとも一実施例では、コード並びに／又はデータ・ストレージ７０１及び７０５のそれぞれ、並びに対応する計算ハードウェア７０２及び７０６は、ニューラル・ネットワークの異なる層にそれぞれ対応し、それにより、コード及び／又はデータ・ストレージ７０１並びに計算ハードウェア７０２との１つのストレージ／計算の対７０１／７０２から結果的に生じるアクティブ化は、ニューラル・ネットワークの概念的組織化を反映させるために、次のコード及び／又はデータ・ストレージ７０５並びに計算ハードウェア７０６とのストレージ／計算の対７０５／７０６への入力として提供される。少なくとも一実施例では、ストレージ／計算の対７０１／７０２、及び７０５／７０６のそれぞれは、２つ以上のニューラル・ネットワークの層に対応してもよい。少なくとも一実施例では、ストレージ／計算の対７０１／７０２、及び７０５／７０６の後に、又はそれと並列に、追加のストレージ／計算の対（図示せず）が、論理７１５に含まれてもよい。
【0077】
少なくとも一実施例では、図７Ａ～図７Ｂに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図７Ａ～図７Ｂに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図７Ａ～図７Ｂに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0078】
ニューラル・ネットワークの訓練及び導入
図８は、少なくとも一実施例による、ディープ・ニューラル・ネットワークの訓練及び導入を図示する。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６が、訓練データセット８０２を使用して訓練される。少なくとも一実施例では、訓練フレームワーク８０４は、ＰｙＴｏｒｃｈフレームワークであり、一方他の実施例では、訓練フレームワーク８０４は、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を訓練し、本明細書に記載の処理リソースを使用してそれが訓練されるのを可能にして、訓練済みニューラル・ネットワーク８０８を生成する。少なくとも一実施例では、重みは、ランダムに選択されてもよく、又はディープ・ビリーフ・ネットワークを使用した事前訓練によって選択されてもよい。少なくとも一実施例では、訓練は、教師あり、一部教師あり、又は教師なしのいずれかのやり方で実行されてもよい。
図８は、少なくとも一実施例による、ディープ・ニューラル・ネットワークの訓練及び導入を図示する。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６が、訓練データセット８０２を使用して訓練される。少なくとも一実施例では、訓練フレームワーク８０４は、ＰｙＴｏｒｃｈフレームワークであり、一方他の実施例では、訓練フレームワーク８０４は、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を訓練し、本明細書に記載の処理リソースを使用してそれが訓練されるのを可能にして、訓練済みニューラル・ネットワーク８０８を生成する。少なくとも一実施例では、重みは、ランダムに選択されてもよく、又はディープ・ビリーフ・ネットワークを使用した事前訓練によって選択されてもよい。少なくとも一実施例では、訓練は、教師あり、一部教師あり、又は教師なしのいずれかのやり方で実行されてもよい。
【0079】
少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は教師あり学習を使用して訓練され、ここで訓練データセット８０２は、入力に対する所望の出力と対になった入力を含み、又は訓練データセット８０２は、既知の出力を有する入力を含み、ニューラル・ネットワーク８０６の出力が手動で採点される。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は教師ありのやり方で訓練され、訓練データセット８０２からの入力を処理し、結果として得られた出力を、予想の又は所望の出力のセットと比較する。少なくとも一実施例では、次いで、誤差が、未訓練ニューラル・ネットワーク８０６を通って逆伝播される。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を制御する重みを調節する。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６が、新規データセット８１２などの入力データに基づき、結果８１４などにおいて正しい答えを生成するのに好適な訓練済みニューラル・ネットワーク８０８などのモデルに向かって、どれだけ良好に収束しているかを監視するツールを含む。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を繰り返し訓練する一方、損失関数、及び確率的勾配降下法などの調整アルゴリズムを使用して、未訓練ニューラル・ネットワーク８０６の出力を精緻化するように重みを調整する。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６が所望の精度に到達するまで未訓練ニューラル・ネットワーク８０６を訓練する。少なくとも一実施例では、次いで訓練済みニューラル・ネットワーク８０８を、任意の数の機械学習動作を実装するように導入することができる。
【0080】
少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は、教師なし学習を使用して訓練され、ここで未訓練ニューラル・ネットワーク８０６は、ラベルなしデータを使用して自らを訓練しようとする。少なくとも一実施例では、教師なし学習の訓練データセット８０２は、任意の関連出力データ又は「グラウンド・トゥルース」データもない入力データを含む。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は、訓練データセット８０２内でグループ化を学習することができ、個々の入力が、未訓練データセット８０２にどのように関係しているかを判定することができる。少なくとも一実施例では、新規データセット８１２の次元を低減するのに有用な動作を実行することができる訓練済みニューラル・ネットワーク８０８内で教師なし訓練を使用して、自己組織化マップを生成することができる。少なくとも一実施例では、教師なし訓練を使用して異常検出を実行することもでき、異常検出は、新規データセット８１２の通常のパターンから逸脱した、新規データセット８１２内のデータ点を識別できるようにする。
【0081】
少なくとも一実施例では、半教師あり学習が使用されてもよく、それは、訓練データセット８０２がラベル付きデータとラベルなしデータの混合を含む技法である。少なくとも一実施例では、訓練フレームワーク８０４を使用して、伝達学習技法などによる漸次的学習が実行されてもよい。少なくとも一実施例では、漸次的学習により、訓練済みニューラル・ネットワーク８０８は、初期訓練中に訓練済みニューラル・ネットワーク８０８内に教え込まれた知識を忘れることなく、新規データセット８１２に適合できるようになる。
【0082】
少なくとも一実施例では、訓練フレームワーク８０４は、ＯｐｅｎＶＩＮＯ（Ｏｐｅｎ Ｖｉｓｕａｌ Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｏｐｔｉｍｉｚａｔｉｏｎ）ツールキットなど、ソフトウェア開発ツールキットと関連して処理されるフレームワークである。少なくとも一実施例では、ＯｐｅｎＶＩＮＯツールキットは、カリフォルニア州サンタクララのインテルコーポレーションによって開発されたツールキットなどの、ツールキットである。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、本明細書に記載の動作を実行するために、論理７１５を含むか、又は論理７１５を使用する。少なくとも一実施例では、ＳｏＣ、集積回路、又はプロセッサは、本明細書に記載の動作を実行するために、ＯｐｅｎＶＩＮＯを使用する。
【0083】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、ヒューマン・ビジョン・エミュレーション、発話認識、自然言語処理、提案システム、及び／又はその変形など、多様なタスク及び動作について、アプリケーション、具体的にはニューラル・ネットワーク・アプリケーションの開発を促進するための、ツールキットである。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、再帰及び／若しくはアテンションベースのニューラル・ネットワーク、並びに／又は多様な他のニューラル・ネットワーク・モデルなど、ニューラル・ネットワークをサポートする。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、ＯｐｅｎＣＶ、ＯｐｅｎＣＬ、及び／又はその変形など、多様なソフトウェア・ライブラリをサポートする。
【0084】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、分類、セグメンテーション、物体検出、顔認識、発話認識、姿勢推定（たとえば、人間及び／又は物体）、単眼深度推定、画像修復、スタイル変換、アクション認識、カラー化及び／又はその変形など、多様なタスク及び動作について、ニューラル・ネットワーク・モデルをサポートする。
【0085】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、モデル・オプティマイザとも称される、モデル最適化のための１つ又は複数のソフトウェア・ツール及び／又はモジュールを含む。少なくとも一実施例では、モデル・オプティマイザは、ニューラル・ネットワーク・モデルの訓練と導入との間の遷移を容易にするコマンド・ライン・ツールである。少なくとも一実施例では、モデル・オプティマイザは、ＧＰＵ、ＣＰＵ、ＰＰＵ、ＧＰＧＰＵ、及び／又はその変形など、多様なデバイス及び／又は処理ユニットでの実行のためにニューラル・ネットワーク・モデルを最適化する。少なくとも一実施例では、モデル・オプティマイザは、モデルの内部表現を生成し、中間表現を生成するために前記モデルを最適化する。少なくとも一実施例では、モデル・オプティマイザは、モデルの層の数を低減する。少なくとも一実施例では、モデル・オプティマイザは、訓練に利用されるモデルの層を除去する。少なくとも一実施例では、モデル・オプティマイザは、モデルへの入力を改変する（たとえば、モデルへの入力をサイズ変更する）こと、モデルの入力のサイズを改変する（たとえば、モデルのバッチ・サイズを改変する）こと、モデル構造を改変する（たとえば、モデルの層を改変する）こと、正規化、標準化、量子化（たとえば、モデルの重みを、小数点など第１の表現から、整数などの第２の表現に変換すること）、及び／又はその変形など、多様なニューラル・ネットワーク動作を実行する。
【0086】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、推論エンジンとも称される、推論のための１つ又は複数のソフトウェア・ライブラリを含む。少なくとも一実施例では、推論エンジンは、Ｃ＋＋ライブラリ、又は任意の好適なプログラミング言語のライブラリである。少なくとも一実施例では、推論エンジンは、入力データを推論するために利用される。少なくとも一実施例では、推論エンジンは、入力データを推論して１つ又は複数の結果を生成するために、多様なクラスを実装する。少なくとも一実施例では、推論エンジンは、中間表現を処理し、入力及び／若しくは出力フォーマットをセットし、並びに／又は１つ若しくは複数のデバイスでモデルを実行するために、１つ又は複数のＡＰＩ関数を実装する。
【0087】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、１つ又は複数のニューラル・ネットワーク・モデルの異種な実行のための様々な能力を提供する。少なくとも一実施例では、異種な実行、又は異種なコンピューティングとは、１つ又は複数のタイプのプロセッサ及び／又はコアを利用する、１つ又は複数のコンピューティング・プロセス及び／又はシステムを指す。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、１つ又は複数のデバイスでプログラムを実行するために、様々なソフトウェア機能を提供する。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、異なるデバイスでプログラム及び／又はプログラムの一部を実行するために、様々なソフトウェア機能を提供する。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、たとえばコードの第１の部分をＣＰＵで実行し、コードの第２の部分をＧＰＵ及び／又はＦＰＧＡで実行するために、様々なソフトウェア機能を提供する。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、ニューラル・ネットワークの１つ又は複数の層を、１つ又は複数のデバイスで（たとえば、ＧＰＵなど第１のデバイスで第１のセットの層を、ＣＰＵなど第２のデバイスで第２のセットの層を）実行するために、様々なソフトウェア機能を提供する。
【0088】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、ＴｅｎｓｏｒＦｌｏｗ、ＰｙＴｏｒｃｈ、及び／又はその変形などのフレームワークに関連する多様なニューラル・ネットワーク・モデル動作など、ＣＵＤＡプログラミング・モデルに関連する機能に類似した多様な機能を含む。少なくとも一実施例では、１つ又は複数のＣＵＤＡプログラミング・モデル動作は、ＯｐｅｎＶＩＮＯを使用して実行される。少なくとも一実施例では、本明細書に記載の多様なシステム、方法、及び／又は技法は、ＯｐｅｎＶＩＮＯを使用して実装される。
【0089】
少なくとも一実施例では、図８に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図８に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図８に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0090】
データ・センタ
図９は、少なくとも一実施例が使用されてもよい実例データ・センタ９００を図示する。少なくとも一実施例では、データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及びアプリケーション層９４０を含む。
図９は、少なくとも一実施例が使用されてもよい実例データ・センタ９００を図示する。少なくとも一実施例では、データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及びアプリケーション層９４０を含む。
【0091】
図９に示すように、少なくとも一実施例では、データ・センタ・インフラストラクチャ層９１０は、リソース・オーケストレータ９１２と、グループ化済みコンピューティング・リソース９１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」）９１６（１）～９１６（Ｎ）とを含んでもよく、ここで「Ｎ」は正の整数を表す（他の図で使用されるものとは異なる整数「Ｎ」であってもよい）。少なくとも一実施例では、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・ストレージ・デバイス９１８（１）～９１８（Ｎ）（たとえば、ダイナミック読取り専用メモリ、ソリッド・ステート・ストレージ・ドライブ又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）、電源モジュール、及び冷却モジュールなどを含んでもよいが、これらに限定されない。少なくとも一実施例では、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上で言及したコンピューティング・リソースのうち１つ又は複数を有するサーバであってもよい。
【0092】
少なくとも一実施例では、グループ化済みコンピューティング・リソース９１４は、１つ若しくは複数のラック（図示せず）内に収容されたノードＣ．Ｒ．の別々のグループ、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタに収容された多数のラックを含んでもよい。少なくとも一実施例では、グループ化済みコンピューティング・リソース９１４内のノードＣ．Ｒ．の別々のグループは、１つ若しくは複数のワークロードをサポートするように構成又は配分されてもよいグループ化済みのコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含んでもよい。少なくとも一実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のラック内でグループ化されて、１つ又は複数のワークロードをサポートするためのコンピュート・リソースが提供されてもよい。少なくとも一実施例では、１つ又は複数のラックはまた、任意の数の電源モジュール、冷却モジュール、及びネットワーク・スイッチを任意の組合せで含んでもよい。
【0093】
少なくとも一実施例では、リソース・オーケストレータ９１２は、１つ又は複数のノードＣ．Ｒ．９１６（１）～９１６（Ｎ）及び／若しくはグループ化済みコンピューティング・リソース９１４を構成してもよく、又は他のやり方で制御してもよい。少なくとも一実施例では、リソース・オーケストレータ９１２は、データ・センタ９００用のソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含んでもよい。少なくとも一実施例では、リソース・オーケストレータ７１２は、ハードウェア、ソフトウェア、又はこれらの何らかの組合せを含んでもよい。
【0094】
図９に示すように、少なくとも一実施例では、フレームワーク層９２０は、ジョブ・スケジューラ９２２、構成マネージャ９２４、リソース・マネージャ９２６、及び分配ファイル・システム９２８を含む。少なくとも一実施例では、フレームワーク層９２０は、ソフトウェア層９３０のソフトウェア９３２、及び／又はアプリケーション層９４０の１つ若しくは複数のアプリケーション９４２をサポートするためのフレームワークを含んでもよい。少なくとも一実施例では、ソフトウェア９３２又はアプリケーション９４２はそれぞれ、アマゾン・ウェブ・サービス、グーグル・クラウド、及びマイクロソフト・アジュールによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含んでもよい。少なくとも一実施例では、フレームワーク層９２０は、大規模なデータ処理（たとえば「ビック・データ」）のために分配ファイル・システム９２８を使用することができるＡｐａｃｈｅ Ｓｐａｒｋ（登録商標）（以下「Ｓｐａｒｋ」）など、無料でオープン・ソースのソフトウェア・ウェブ・アプリケーション・フレームワークの一種であってもよいが、これに限定されない。少なくとも一実施例では、ジョブ・スケジューラ９２２は、データ・センタ９００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含んでもよい。少なくとも一実施例では、構成マネージャ９２４は、ソフトウェア層９３０、並びに大規模なデータ処理をサポートするためのＳｐａｒｋ及び分配ファイル・システム９２８を含むフレームワーク層９２０などの異なる層を構成することが可能であってもよい。少なくとも一実施例では、リソース・マネージャ９２６は、分配ファイル・システム９２８及びジョブ・スケジューラ９２２をサポートするようにマッピング若しくは配分されたクラスタ化済み又はグループ化済みのコンピューティング・リソースを管理することが可能であってもよい。少なくとも一実施例では、クラスタ化済み又はグループ化済みのコンピューティング・リソースは、データ・センタ・インフラストラクチャ層９１０にあるグループ化済みコンピューティング・リソース９１４を含んでもよい。少なくとも一実施例では、リソース・マネージャ９２６は、リソース・オーケストレータ９１２と連携して、これらのマッピング又は配分されたコンピューティング・リソースを管理してもよい。
【0095】
少なくとも一実施例では、ソフトウェア層９３０に含まれるソフトウェア９３２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）、グループ化済みコンピューティング・リソース９１４、及び／又はフレームワーク層９２０の分配ファイル・システム９２８のうちの少なくとも一部分によって使用されるソフトウェアを含んでもよい。少なくとも一実施例では、１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含んでもよいが、これらに限定されない。
【0096】
少なくとも一実施例では、アプリケーション層９４０に含まれるアプリケーション９４２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）、グループ化済みコンピューティング・リソース９１４、及び／又はフレームワーク層９２０の分配ファイル・システム９２８のうちの少なくとも一部分によって使用される１つ若しくは複数のタイプのアプリケーションを含んでもよい。少なくとも一実施例では、１つ若しくは複数のタイプのアプリケーションは、任意の数のゲノム学アプリケーション、認識コンピュート、並びに訓練若しくは推論のソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含むアプリケーション及び機械学習アプリケーション、又は１つ若しくは複数の実施例と併せて使用される他の機械学習アプリケーションを含んでもよいが、これらに限定されない。
【0097】
少なくとも一実施例では、構成マネージャ９２４、リソース・マネージャ９２６、及びリソース・オーケストレータ９１２のうちのいずれかは、任意の技術的に実行可能なやり方で取得された任意の量及びタイプのデータに基づき、任意の数及びタイプの自己修正措置を実装してもよい。少なくとも一実施例では、自己修正措置は、データ・センタ９００のデータ・センタ・オペレータが、場合によっては悪い構成決定を行わないようにし、十分に利用されていない且つ／又は性能の低いデータ・センタの部分を場合によっては回避しないようにしてもよい。
【0098】
少なくとも一実施例では、データ・センタ９００は、１つ若しくは複数の機械学習モデルを訓練し、又は本明細書に記載の１つ若しくは複数の実施例による１つ若しくは複数の機械学習モデルを使用して情報を予測若しくは推論するためのツール、サービス、ソフトウェア、又は他のリソースを含んでもよい。たとえば、少なくとも一実施例では、機械学習モデルは、データ・センタ９００に関して上述したソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練されてもよい。少なくとも一実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練済み機械学習モデルは、本明細書に記載の１つ又は複数の技法によって計算された重みパラメータを使用することにより、データ・センタ９００に関して上述したリソースを使用して、情報を推論又は予測するために使用されてもよい。
【0099】
少なくとも一実施例では、データ・センタは、上述したリソースを使用して訓練及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用してもよい。さらに、上述した１つ又は複数のソフトウェア及び／又はハードウェアのリソースは、画像認識、音声認識、又は他の人工知能サービスなどの情報の訓練又は推論の実行を、ユーザが行えるようにするためのサービスとして構成されてもよい。
【0100】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにデータ・センタ９００において使用されてもよい。
【0101】
少なくとも一実施例では、図９に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図９に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図９に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0102】
自律車両
図１０Ａは、少なくとも一実施例による自律車両１０００の実例を図示する。少なくとも一実施例では、自律車両１０００（或いは、本明細書において「車両１０００」と呼ばれる）は、限定することなく、車、トラック、バス、及び／又は１人若しくは複数の乗員を収容する別のタイプの車両などの乗用車とすることができる。少なくとも一実施例では、車両１０００は、貨物運搬用に使用されるセミ・トラクタのトレーラ・トラックであってもよい。少なくとも一実施例では、車両１０００は、航空機、ロボット車両、又は他の種類の車両であってもよい。
図１０Ａは、少なくとも一実施例による自律車両１０００の実例を図示する。少なくとも一実施例では、自律車両１０００（或いは、本明細書において「車両１０００」と呼ばれる）は、限定することなく、車、トラック、バス、及び／又は１人若しくは複数の乗員を収容する別のタイプの車両などの乗用車とすることができる。少なくとも一実施例では、車両１０００は、貨物運搬用に使用されるセミ・トラクタのトレーラ・トラックであってもよい。少なくとも一実施例では、車両１０００は、航空機、ロボット車両、又は他の種類の車両であってもよい。
【0103】
自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の「自動車用運転自動化システムのレベル分類及び定義（Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅｓ）」（たとえば、２０１８年６月１５日発行の規格Ｎｏ．Ｊ３０１６－２０１８０６、２０１６年９月３０日発行の規格Ｎｏ．Ｊ３０１６－２０１６０９、及びこの規格の旧版及び新版）により定義される自動化レベルという観点から説明されてもよい。少なくとも一実施例では、車両１０００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であってもよい。たとえば、少なくとも一実施例では、車両１０００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であってもよい。
【0104】
少なくとも一実施例では、車両１０００は、限定することなく、シャシ、車両本体、ホイール（２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素などの構成要素を含んでもよい。少なくとも一実施例では、車両１０００は、限定することなく、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別のタイプの推進システムなどの推進システム１０５０を含んでもよい。少なくとも一実施例では、推進システム１０５０は、車両１０００のドライブ・トレインに連結されてもよく、ドライブ・トレインは、限定することなく、車両１０００の推進を可能にするためのトランスミッションを含んでもよい。少なくとも一実施例では、推進システム１０５０は、スロットル／アクセル１０５２からの信号を受信したことに応答して、制御されてもよい。
【0105】
少なくとも一実施例では、限定することなくハンドルを含んでもよい操縦システム１０５４は、推進システム１０５０が動作しているときに（たとえば、車両１０００が動いているときに）車両１０００を（たとえば所望の経路又はルートに沿って）操縦するために使用される。少なくとも一実施例では、操縦システム１０５４は、操縦アクチュエータ１０５６から信号を受信してもよい。少なくとも一実施例では、ハンドルは、完全自動化（レベル５）の機能性に関しては任意選択であってもよい。少なくとも一実施例では、ブレーキ・アクチュエータ１０４８及び／又はブレーキ・センサからの信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１０４６が使用されてもよい。
【0106】
少なくとも一実施例では、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」）（図１０Ａには示さず）及び／若しくはグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）を限定することなく含んでもよいコントローラ１０３６は、車両１０００の１つ又は複数の構成要素及び／若しくはシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも一実施例では、コントローラ１０３６は、ブレーキ・アクチュエータ１０４８を介して車両ブレーキを動作させるための信号、操縦アクチュエータ１０５６を介して操縦システム１０５４を動作させるための信号、スロットル／アクセル１０５２を介して推進システム１０５０を動作させるための信号を送信してもよい。少なくとも一実施例では、コントローラ１０３６は、自律運転を可能にし、且つ／又は運転車両１０００において人間のドライバを支援するために、センサ信号を処理し、動作コマンド（たとえばコマンドを表す信号）を出力する１つ又は複数の搭載（たとえば一体型の）コンピューティング・デバイスを含んでもよい。少なくとも一実施例では、コントローラ１０３６は、自律運転機能のための第１のコントローラ、機能的安全機能のための第２のコントローラ、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ、インフォテイメント機能のための第４のコントローラ、緊急事態における冗長性のための第５のコントローラ、及び／又は他のコントローラを含んでもよい。少なくとも一実施例では、単一のコントローラが、上記機能性のうちの２つ以上に対処してもよく、２つ以上のコントローラが、単一の機能性に対処してもよく、且つ／又はこれらの何らかの組合せであってもよい。
【0107】
少なくとも一実施例では、コントローラ１０３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して、車両１０００の１つ又は複数の構成要素及び／若しくはシステムを制御するための信号を提供する。少なくとも一実施例では、センサ・データは、たとえば限定することなく、全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１０５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ１０６０、超音波センサ１０６２、ＬＩＤＡＲセンサ１０６４、慣性計測装置（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１０６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１０９６、ステレオ・カメラ１０６８、広角カメラ１０７０（たとえば、魚眼カメラ）、赤外線カメラ１０７２、周囲カメラ１０７４（たとえば、３６０度カメラ）、長距離カメラ（図１０Ａには示さず）、中距離カメラ（図１０Ａには示さず）、（たとえば、車両１０００のスピードを計測するための）スピード・センサ１０４４、振動センサ１０４２、操縦センサ１０４０、（たとえば、ブレーキ・センサ・システム１０４６の一部分としての）ブレーキ・センサ、及び／又は他のタイプのセンサから、受信されてもよい。
【0108】
少なくとも一実施例では、コントローラ１０３６のうちの１つ又は複数は、車両１０００の計器クラスタ１０３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１０３４、可聴アナンシエータ、拡声器を介して、且つ／又は車両１０００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供してもよい。少なくとも一実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、ハイ・デフィニション・マップ（図１０Ａには示さず））、ロケーション・データ（たとえば、地図上などの車両１０００のロケーション）、方向、他車両のロケーション（たとえば、占有グリッド）、コントローラ１０３６が感知した物体及び物体の状態についての情報などの情報を含んでもよい。たとえば、少なくとも一実施例では、ＨＭＩディスプレイ１０３４は、１つ若しくは複数の物体（たとえば、道路標識、警告標識、信号機の変化など）の存在についての情報、及び／又は車両が行った、行っている、又はこれから行う運転操作についての情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示してもよい。
【0109】
少なくとも一実施例では、車両１０００はさらにネットワーク・インターフェース１０２４を含み、このネットワーク・インターフェースは、１つ又は複数のネットワークを介して通信するためのワイヤレス・アンテナ１０２６及び／又はモデムを使用してもよい。たとえば、少なくとも一実施例では、ネットワーク・インターフェース１０２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、グローバル・システム・フォー・モバイル・コミュニケーション（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）ネットワークなどを介して通信可能であってもよい。また、少なくとも一実施例では、ワイヤレス・アンテナ１０２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのようなローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのような低電力広域ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）のプロトコルを使用して、環境内の物体同士間（たとえば車両、モバイル・デバイスなど）での通信を可能にしてもよい。
【0110】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために車両１０００において使用されてもよい。
【0111】
図１０Ｂは、少なくとも一実施例による図１０Ａの自律車両１０００についてカメラのロケーション及び視野の実例を図示する。少なくとも一実施例では、カメラ及びそれぞれの視野は、一例の実施例であり、限定するものではない。たとえば、少なくとも一実施例では、追加及び／又は代替のカメラが含まれてもよく、且つ／又はカメラが車両１０００の異なるロケーションに位置付けられてもよい。
【0112】
少なくとも一実施例では、カメラのカメラ・タイプは、車両１０００の構成要素及び／又はシステムとともに使用できるように適合されていてもよいデジタル・カメラを含んでもよいが、これに限定されない。少なくとも一実施例では、カメラは、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作してもよい。少なくとも一実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２２０ｆｐｓ、２４０ｆｐｓなど、任意の画像捕捉率が可能であってもよい。少なくとも一実施例では、カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はこれらの組合せを使用することが可能であってもよい。少なくとも一実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（「ＲＧＧＢ」）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含んでもよい。少なくとも一実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイを有するカメラなど、クリア・ピクセル・カメラが使用されてもよい。
【0113】
少なくとも一実施例では、カメラのうちの１つ又は複数を使用して、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）機能が（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実行されてもよい。たとえば、少なくとも一実施例では、多機能モノ・カメラが設置されて、車線逸脱警告、交通標識支援、及びインテリジェント・ヘッドライト制御を含む機能が提供されてもよい。少なくとも一実施例では、カメラのうちの１つ又は複数（たとえばすべてのカメラ）は、画像データ（たとえばビデオ）の記録と提供を同時に行ってもよい。
【0114】
少なくとも一実施例では、１つ又は複数のカメラは、カメラの画像データ捕捉性能を妨げる恐れのある迷光及び車両１０００内部からの反射（たとえば、ダッシュボードからフロントガラス・ミラーに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリに取り付けられてもよい。ドアミラー取付けアセンブリを参照すると、少なくとも一実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形に合うように、カスタムで３Ｄ印刷されてもよい。少なくとも一実施例では、カメラは、ドアミラーと一体であってもよい。少なくとも一実施例では、サイド・ビュー・カメラについて、カメラはまたキャビンの各角にある４本のピラーに一体化されてもよい。
【0115】
少なくとも一実施例では、車両１０００前方の環境の一部分を含む視野を有するカメラ（たとえば正面カメラ）は周囲のビューに対して使用されて、正面の経路及び障害物を識別しやすくするとともに、コントローラ１０３６及び／又は制御ＳｏＣのうちの１つ又は複数とともに使用されて、占有グリッドの生成及び／又は好ましい車両経路の判定に不可欠な情報の提供を補助してもよい。少なくとも一実施例では、正面カメラを使用して、緊急ブレーキ、歩行者検出、及び衝突回避を限定することなく含む、ＬＩＤＡＲと同様の多くのＡＤＡＳ機能が実行されてもよい。少なくとも一実施例では、正面カメラはまた、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇｓ）、自律クルーズ・コントロール（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を限定することなく含むＡＤＡＳの機能及びシステムのために使用されてもよい。
【0116】
少なくとも一実施例では、たとえばＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ（「相補型金属酸化膜半導体」）カラー撮像装置を含む単眼カメラのプラットフォームを含む様々なカメラが、正面構成で使用されてもよい。少なくとも一実施例では、周囲からビューに入ってくる物体（たとえば歩行者、クロス・トラフィック、又は自転車）を感知するために、広角カメラ１０７０が使用されてもよい。図１０Ｂには１つの広角カメラ１０７０しか図示していないが、他の実施例では、車両１０００には（ゼロを含む）任意の数の広角カメラが存在してもよい。少なくとも一実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、任意の数の長距離カメラ１０９８（たとえば、長距離ビューのステレオ・カメラの対）が使用されてもよい。少なくとも一実施例では、長距離カメラ１０９８はまた、物体検出及び分類、並びに基本的な物体追跡に使用されてもよい。
【0117】
少なくとも一実施例では、任意の数のステレオ・カメラ１０６８は、正面構成にも含まれてよい。少なくとも一実施例では、１つ又は複数のステレオ・カメラ１０６８は、拡張可能な処理ユニットを備えた一体型制御ユニットを含んでもよく、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット（登録商標）・インターフェースを単一チップ上に有するプログラム可能論理（「ＦＰＧＡ」）及びマルチ・コア・マイクロプロセッサを提供してもよい。少なくとも一実施例では、こうしたユニットは、画像内のすべての点に対する距離推定を含め、車両１０００の環境の３Ｄマップを生成するのに使用されてもよい。少なくとも一実施例では、ステレオ・カメラ１０６８のうちの１つ又は複数は、限定することなくコンパクト・ステレオ・ビジョン・センサを含んでもよく、このセンサは、車両１０００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告の機能をアクティブ化することができる２つのカメラ・レンズ（左右に１つずつ）及び画像処理チップを、限定することなく含んでもよい。少なくとも一実施例では、本明細書に記載のものに加えて、又はその代わりに、他のタイプのステレオ・カメラ１０６８が使用されてもよい。
【0118】
少なくとも一実施例では、車両１０００の側方の環境の一部分を含む視野を有するカメラ（たとえば、サイド・ビュー・カメラ）が、周囲のビューのために使用されて、占有グリッドの作製及び更新、並びに側面衝突警告の生成のために使用される情報を提供してもよい。たとえば、少なくとも一実施例では、周囲カメラ１０７４（たとえば図１０Ｂに図示するように４つの周囲カメラ）を、車両１０００に配置することができる。少なくとも一実施例では、周囲カメラ１０７４は、限定することなく、任意の数及び組合せの広角カメラ、魚眼カメラ、３６０度カメラ及び／又は同様のカメラを含んでもよい。たとえば、少なくとも一実施例では、４つの魚眼カメラが、車両１０００の前方、後方、及び側方に配置されてもよい。少なくとも一実施例では、車両１０００は、３つの周囲カメラ１０７４（たとえば、左、右、及び後方）を使用してもよく、第４の周囲カメラとして、１つ又は複数の他のカメラ（たとえば正面カメラ）を活用してもよい。
【0119】
少なくとも一実施例では、車両１０００後方の環境の一部分を含む視野を有するカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲のビュー、後方衝突警告のために使用されて、占有グリッドの作製及び更新がなされてもよい。少なくとも一実施例では、本明細書に記載の正面カメラとしても好適なカメラ（たとえば、長距離カメラ１０９８、及び／又は中距離カメラ１０７６、ステレオ・カメラ１０６８、赤外線カメラ１０７２など）を含むが、これらに限定されない多種多様なカメラが使用されてもよい。
【0120】
図１０Ｃは、少なくとも一実施例による図１０Ａの自律車両１０００の実例システム・アーキテクチャを図示するブロック図である。少なくとも一実施例では、図１０Ｃの車両１０００の構成要素、特徴、及びシステムのそれぞれは、バス１００２を介して接続されるものとして図示される。少なくとも一実施例では、バス１００２は、限定することなく、ＣＡＮデータ・インターフェース（或いは、本明細書において「ＣＡＮバス」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＡＮは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなどのような、車両１０００の様々な特徴及び機能の制御を補助するために使用される車両１０００内部のネットワークであってもよい。少なくとも一実施例では、バス１００２は、それぞれが独自の一意の識別子（たとえばＣＡＮ ＩＤ）を有する数十又はさらには数百のノードを有するように構成されてもよい。少なくとも一実施例では、バス１００２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状態インジケータを見いだすように読み取られてもよい。少なくとも一実施例では、バス１００２は、ＡＳＩＬのＢに準拠したＣＡＮバスであってもよい。
【0121】
少なくとも一実施例では、ＣＡＮに加えて、又はその代わりに、ＦｌｅｘＲａｙ及び／又はＥｔｈｅｒｎｅｔ（登録商標）プロトコルが使用されてもよい。少なくとも一実施例では、バス１００２を形成する任意の数のバスが存在してもよく、これには、限定することなく、ゼロ以上のＣＡＮバス、ゼロ以上のＦｌｅｘＲａｙバス、ゼロ以上のＥｔｈｅｒｎｅｔ（登録商標）バス、及び／又は異なるプロトコルを使用するゼロ以上の他のタイプのバスが含まれてもよい。少なくとも一実施例では、２つ以上のバスを使用して異なる機能が実行されてもよく、且つ／又はそれらを使用して冗長性が与えられてもよい。たとえば、第１のバスが衝突回避機能のために使用され、第２のバスが作動制御のために使用されてもよい。少なくとも一実施例では、バス１００２の各バスは、車両１０００の構成要素のいずれかと通信してもよく、バス１００２のうちの２つ以上のバスが対応する構成要素と通信してもよい。少なくとも一実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）１００４（ＳｏＣ１００４（Ａ）及びＳｏＣ１００４（Ｂ）など）のそれぞれ、コントローラ１０３６のそれぞれ、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１０００のセンサからの入力）にアクセス可能であってもよく、ＣＡＮバスのような共通のバスに接続されてもよい。
【0122】
少なくとも一実施例では、車両１０００は、図１０Ａに関して本明細書に記載するものなど、１つ又は複数のコントローラ１０３６を含んでもよい。少なくとも一実施例では、コントローラ１０３６は、様々な機能に使用されてもよい。少なくとも一実施例では、コントローラ１０３６は、車両１０００の様々な他の構成要素及びシステムのうちの任意のものに結合されてもよく、車両１０００、車両１０００の人工知能、車両１０００のインフォテイメント及び／又は他の機能の制御に使用されてもよい。
【0123】
少なくとも一実施例では、車両１０００は、任意の数のＳｏＣ１００４を含んでもよい。少なくとも一実施例では、ＳｏＣ１００４のそれぞれは、限定することなく、中央処理装置（「ＣＰＵ」）１００６、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）１００８、プロセッサ１０１０、キャッシュ１０１２、アクセラレータ１０１４、データ・ストア１０１６、及び／又は図示していない他の構成要素及び特徴を含んでもよい。少なくとも一実施例では、車両１０００を様々なプラットフォーム及びシステムにおいて制御するために、ＳｏＣ１００４が使用されてもよい。たとえば、少なくとも一実施例では、ＳｏＣ１００４は、１つ又は複数のサーバ（図１０Ｃには示さず）からネットワーク・インターフェース１０２４を介して地図のリフレッシュ及び／又は更新を得ることができるハイ・デフィニション（「ＨＤ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）マップ１０２２を有するシステム（たとえば車両１０００のシステム）に組み込まれてもよい。
【0124】
少なくとも一実施例では、ＣＰＵ１００６は、ＣＰＵクラスタ、又はＣＰＵコンプレックス（或いは本明細書において「ＣＣＰＬＥＸ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＰＵ１００６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含んでもよい。たとえば、少なくとも一実施例では、ＣＰＵ１００６は、コヒーレントなマルチプロセッサ構成において８つのコアを含んでもよい。少なくとも一実施例では、ＣＰＵ１００６は、４つのデュアル・コア・クラスタを含んでもよく、ここで各クラスタは、専用のＬ２キャッシュ（たとえば、２メガバイト（ＭＢ）のＬ２キャッシュ）を有する。少なくとも一実施例では、ＣＰＵ１００６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１００６のクラスタの任意の組合せを、任意の所与の時間にアクティブ化できるようにする同時のクラスタ動作をサポートするように構成されてもよい。
【0125】
少なくとも一実施例では、ＣＰＵ１００６のうちの１つ又は複数は、電力管理機能を実装してもよく、この機能は限定することなく、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、アイドル時に自動的にクロック・ゲート制御されて動的電力を節約することができる；割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行に起因してこうしたコアが能動的に命令を実行していないとき、各コア・クロックをゲート制御することができる；各コアを独立して電力ゲート制御することができる；すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、各コア・クラスタを独立してクロック・ゲート制御することができる；且つ／又はすべてのコアが電力ゲート制御されるとき、各コア・クラスタを独立して電力ゲート制御することができる。少なくとも一実施例では、ＣＰＵ１００６はさらに、電力状態を管理するための拡張アルゴリズムを実装してもよく、ここで、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸが入るべき最良の電力状態はどれかを、ハードウェア／マイクロコードが判定する。少なくとも一実施例では、処理コアは、作業がマイクロコードにオフロードされた状態で、電力状態に入る簡単なシーケンスをソフトウェアにおいてサポートしてもよい。
【0126】
少なくとも一実施例では、ＧＰＵ１００８は、統合されたＧＰＵ（或いは、本明細書において「ｉＧＰＵ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＧＰＵ１００８は、プログラム可能であってもよく、並列なワークロードに対して効率的であってもよい。少なくとも一実施例では、ＧＰＵ１００８は、拡張テンソル命令セットを使用してもよい。少なくとも一実施例では、ＧＰＵ１００８は、１つ又は複数のストリーミング・マイクロプロセッサを含んでもよく、ここで各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば少なくとも９６ＫＢのストレージ容量を有するＬ１キャッシュ）を含んでもよく、２つ以上のストリーミング・マイクロプロセッサは、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量を有するＬ２キャッシュ）を共有してもよい。少なくとも一実施例では、ＧＰＵ１００８は、少なくとも８つのストリーミング・マイクロプロセッサを含んでもよい。少なくとも一実施例では、ＧＰＵ１００８は、コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を使用してもよい。少なくとも一実施例では、ＧＰＵ１００８は、１つ又は複数の並列なコンピューティング・プラットフォーム、及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡモデル）を使用してもよい。
【0127】
少なくとも一実施例では、ＧＰＵ１００８のうちの１つ又は複数は、自動車用及び組み込まれたユース・ケースにおいて最良の性能になるように電力最適化されてもよい。たとえば、少なくとも一実施例では、ＧＰＵ１００８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）回路上で作製することができる。少なくとも一実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされた多数の混合精度の処理コアを組み込んでもよい。たとえば、限定することなく６４個のＰＦ３２コアと、３２個のＦＰ６４コアを、４つの処理ブロックに区分けすることができる。少なくとも一実施例では、各処理ブロックに、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習の行列演算用の２つの混合精度のＮＶＩＤＩＡ Ｔｅｎｓｏｒコア、レベルゼロ（「Ｌ０」）命令キャッシュ、スケジューラ（たとえば、ワープ・スケジューラ）若しくはシーケンサ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを配分することができる。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、整数と浮動小数点の独立した並列のデータ経路を含み、コンピュータ処理とアドレッシング計算を混用することによってワークロードの効率的な実行を実現してもよい。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、独立したスレッド・スケジューリング機能を含み、並列スレッド間でよりきめ細かい同期及び連携を可能にしてもよい。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、性能を向上させると同時にプログラミングを簡単にするために、Ｌ１データ・キャッシュと共有メモリの複合ユニットを含んでもよい。
【0128】
少なくとも一実施例では、ＧＰＵ１００８のうちの１つ又は複数は、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み、いくつかの実例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供してもよい。少なくとも一実施例では、ＨＢＭメモリに加えて、又はその代わりに、グラフィックス・ダブル・データ・レート・タイプ５の同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）などの同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用されてもよい。
【0129】
少なくとも一実施例では、ＧＰＵ１００８は、統合メモリ技術を含んでもよい。少なくとも一実施例では、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅｓ）サポートを使用して、ＧＰＵ１００８が、ＣＰＵ１００６のページ・テーブルに直接アクセスできるようにしてもよい。少なくとも一実施例では、ＧＰＵ１００８メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）のＧＰＵがミスに遭遇したときには、アドレス・トランスレーション要求が、ＣＰＵ１００６に送信されてもよい。少なくとも一実施例では、それに応答して、ＣＰＵ１００６のうちの２つのＣＰＵは、自らのページ・テーブルで、仮想から物理へのアドレスのマッピングを探し、トランスレーションをＧＰＵ１００８に送り返してもよい。少なくとも一実施例では、統合メモリ技術は、ＣＰＵ１００６とＧＰＵ１００８の両方のメモリに対して単一の統合された仮想アドレス空間を与えることを可能にし得、それにより、ＧＰＵ１００８のプログラミング、及びＧＰＵ１００８へのアプリケーションの移植を簡単にする。
【0130】
少なくとも一実施例では、ＧＰＵ１００８は、他のプロセッサのメモリへのＧＰＵ１００８のアクセス頻度を記録することができる任意の数のアクセス・カウンタを含んでもよい。少なくとも一実施例では、アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリに、メモリ・ページが確実に移動されるのを補助し、それにより、プロセッサ間で共有されるメモリ範囲の効率を向上させてもよい。
【0131】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、本明細書に記載のものを含む任意の数のキャッシュ１０１２を含んでもよい。たとえば、少なくとも一実施例では、キャッシュ１０１２は、ＣＰＵ１００６とＧＰＵ１００８の両方が利用可能な（たとえば、ＣＰＵ１００６とＧＰＵ１００８に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも一実施例では、キャッシュ１０１２は、キャッシュ・コヒーレンス・プロトコルなど（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することにより、線の状態を記録することができるライト・バック・キャッシュを含んでもよい。少なくとも一実施例では、Ｌ３キャッシュは、実施例に応じて４ＭＢのメモリ以上を含んでもよいが、より小さいキャッシュ・サイズが使用されてもよい。
【0132】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１０１４（たとえば、ハードウェア・アクセラレータ、ソフトウェアアクセラレータ、又はこれらの組合せ）を含んでもよい。少なくとも一実施例では、ＳｏＣ１００４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオン・チップ・メモリを含むことができるハードウェア加速クラスタを含んでもよい。少なくとも一実施例では、大型のオン・チップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速できるようにしてもよい。少なくとも一実施例では、ハードウェア加速クラスタを使用して、ＧＰＵ１００８を補完し、ＧＰＵ１００８のタスクのうちのいくつかをオフロードしてもよい（たとえば、他のタスクを実行するようにＧＰＵ１００８のサイクルをより多く解放してもよい）。少なくとも一実施例では、加速を受け入れるのに十分なほど安定している目的とするワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」）、再帰ニューラル・ネットワーク（「ＲＮＮ」：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために、アクセラレータ１０１４を使用することができる。少なくとも一実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出に使用される）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含んでもよい。
【0133】
少なくとも一実施例では、アクセラレータ１０１４（たとえば、ハードウェア加速クラスタ）は、１つ又は複数の深層学習アクセラレータ（「ＤＬＡ」：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよい。少なくとも一実施例では、ＤＬＡは、限定することなく、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）を含んでもよく、このユニットは、深層学習アプリケーション及び推論のために、さらに毎秒１０兆の演算を提供するように構成されてもよい。少なくとも一実施例では、ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなど）を実行するように構成され、そのために最適化されたアクセラレータであってもよい。少なくとも一実施例では、ＤＬＡはさらに、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のために最適化されてもよい。少なくとも一実施例では、ＤＬＡの設計により、典型的な汎用ＧＰＵよりもミリメートル当たりの性能を向上させることができ、典型的には、ＣＰＵの性能を大いに上回る。少なくとも一実施例では、ＴＰＵは、たとえば特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ型をサポートする単一インスタンスの畳み込み機能、並びにプロセッサ後機能を含む、いくつかの機能を実行してもよい。少なくとも一実施例では、ＤＬＡは、たとえば、限定することなく、カメラ・センサからのデータを使用した物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した距離推定のためのＣＮＮ、マイクロフォンからのデータを使用した緊急車両検出、及び識別、及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した顔認識及び車両所有者識別ためのＣＮＮ、並びに／又はセキュリティ及び／若しくは安全に関するイベントのためのＣＮＮを含め、様々な機能のうちのいずれかのための処理済み若しくは未処理のデータに対して、迅速且つ効率的にニューラル・ネットワーク、特にＣＮＮを実行してもよい。
【0134】
少なくとも一実施例では、ＤＬＡは、ＧＰＵ１００８の任意の機能を実行してもよく、たとえば推論アクセラレータを使用することにより、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１００８のいずれかをターゲットにしてもよい。たとえば、少なくとも一実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理をＤＬＡに集中させ、他の機能をＧＰＵ１００８及び／又はアクセラレータ１０１４に任せてもよい。
【0135】
少なくとも一実施例では、アクセラレータ１０１４は、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよく、このプログラマブル・ビジョン・アクセラレータは、本明細書において代替的にコンピュータ・ビジョン・アクセラレータと呼ばれてもよい。少なくとも一実施例では、ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１０３８、自律運転、拡張現実（「ＡＲ」：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーション、及び／又は仮想現実（「ＶＲ」：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成されてもよい。少なくとも一実施例では、ＰＶＡにより、性能と融通性との間の均衡が与えられてもよい。たとえば、少なくとも一実施例では、各ＰＶＡは、たとえば限定することなく、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含んでもよい。
【0136】
少なくとも一実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載の任意のカメラの画像センサ）、画像信号プロセッサなどと相互作用してもよい。少なくとも一実施例では、各ＲＩＳＣコアは、任意の量のメモリを含んでもよい。少なくとも一実施例では、ＲＩＳＣコアは、実施例に応じて複数のプロトコルのうちの任意のものを使用してもよい。少なくとも一実施例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行してもよい。少なくとも一実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装されてもよい。たとえば、少なくとも一実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。
【0137】
少なくとも一実施例では、ＤＭＡは、ＰＶＡの構成要素がＣＰＵ１００６とは無関係にシステム・メモリにアクセスできるようにしてもよい。少なくとも一実施例では、ＤＭＡは、多次元アドレッシング及び／又はサーキュラ・アドレッシングをサポートすることを含むがこれらに限定されない、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートしてもよい。少なくとも一実施例では、ＤＭＡは、６つ以上のアドレッシング次元までをサポートしてもよく、これには、限定することなく、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングが含まれてもよい。
【0138】
少なくとも一実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計されてもよいプログラム可能なプロセッサとすることができ、信号処理機能を提供する。少なくとも一実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションを含んでもよい。少なくとも一実施例では、ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば２つのＤＭＡエンジン）、及び／又は他の周辺装置を含んでもよい。少なくとも一実施例では、ベクトル処理サブシステムは、ＰＶＡの一次処理エンジンとして動作してもよく、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」）を含んでもよい。少なくとも一実施例では、ＶＰＵコアは、たとえば単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）のデジタル信号プロセッサなどのデジタル信号プロセッサを含んでもよい。少なくとも一実施例では、ＳＩＭＤとＶＬＩＷの組合せによって、スループット及びスピードが改善されてもよい。
【0139】
少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、命令キャッシュを含んでもよく、専用のメモリに結合されてもよい。その結果、少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、他のベクトル・プロセッサとは無関係に実行されるように構成されてもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成されてもよい。たとえば、少なくとも一実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、共通のコンピュータ・ビジョン・アルゴリズムを画像の異なる領域上で実行してもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを１つの画像上で同時に実行してもよく、又はさらには、異なるアルゴリズムを連続した画像上で、若しくは画像の部分上で実行してもよい。少なくとも一実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタに含まれてもよく、任意の数のベクトル・プロセッサが各ＰＶＡに含まれてもよい。少なくとも一実施例では、ＰＶＡは、システムの全体的な安全性を強化するために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含んでもよい。
【0140】
少なくとも一実施例では、アクセラレータ１０１４は、オン・チップのコンピュータ・ビジョン・ネットワーク、及びスタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）を含み、アクセラレータ１０１４のための高帯域幅、低レイテンシのＳＲＡＭを提供してもよい。少なくとも一実施例では、オン・チップ・メモリは、たとえば限定することなく、８つのフィールド設定可能なメモリ・ブロックを含む少なくとも４ＭＢのＳＲＡＭを含んでもよく、これは、ＰＶＡとＤＬＡの両方によってアクセス可能であってもよい。少なくとも一実施例では、メモリ・ブロックの各対は、アドバンスト・ペリフェラル・バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含んでもよい。少なくとも一実施例では、任意のタイプのメモリが使用されてもよい。少なくとも一実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスしてもよい。少なくとも一実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえばＡＰＢを使用して）メモリに相互接続するオン・チップのコンピュータ・ビジョン・ネットワークを含んでもよい。
【0141】
少なくとも一実施例では、オン・チップのコンピュータ・ビジョン・ネットワークは、任意の制御信号／アドレス／データを送信する前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供することを判定するインターフェースを含んでもよい。少なくとも一実施例では、インターフェースは、制御信号／アドレス／データを送信するための別々の位相及び別々のチャネル、並びに継続的なデータ転送のためのバースト型通信を提供してもよい。少なくとも一実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠してもよいが、他の規格及びプロトコルが使用されてもよい。
【0142】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、リアルタイム・レイトレーシングのハードウェア・アクセラレータを含んでもよい。少なくとも一実施例では、リアルタイム・レイトレーシングのハードウェア・アクセラレータを使用して、物体の（たとえば世界モデル内での）位置及び範囲が迅速且つ効率的に判定されて、ＲＡＤＡＲ信号解釈のため、音伝播合成及び／若しくは分析のため、ＳＯＮＡＲシステムのシミュレーションのため、一般波形の伝播シミュレーションのため、ローカリゼーション及び／若しくは他の機能を目的としたＬＩＤＡＲデータとの比較のため、並びに／又は他の使用法のためのリアルタイムの可視化シミュレーションが生成されてもよい。
【0143】
少なくとも一実施例では、アクセラレータ１０１４は、自律運転のための多様な使用法を有することができる。少なくとも一実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両の主要な処理ステージに使用することができる。少なくとも一実施例では、ＰＶＡの性能は、低電力及び低レイテンシの予測可能な処理を必要とするアルゴリズム・ドメインに良好に適合する。言い換えれば、ＰＶＡは、低レイテンシ及び低電力の予測可能なランタイムを必要とするかもしれない半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的計算に対して、データ・セットが小さくても良好に実行する。少なくとも一実施例では、車両１０００内など、古典的なコンピュータ・ビジョン・アルゴリズムを実行するようにＰＶＡが設計され得るが、これは、それらが、物体検出及び整数数値の演算に有効となり得るからである。
【0144】
たとえば、技術の少なくとも一実施例によれば、ＰＶＡを使用して、コンピュータ・ステレオ・ビジョンが実行されてもよい。少なくとも一実施例では、いくつかの実例においてセミ・グローバル・マッチングに基づくアルゴリズムが使用されてもよいが、これは限定するものではない。少なくとも一実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造化、歩行者認識、車線検出など）をオン・ザ・フライで使用する。少なくとも一実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実行してもよい。
【0145】
少なくとも一実施例では、ＰＶＡを使用して、高密度オプティカル・フローが実行されてもよい。たとえば、少なくとも一実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば４Ｄの高速フーリエ変換を使用して）処理して、処理済みＲＡＤＡＲデータを提供することができる。少なくとも一実施例では、ＰＶＡは、飛行時間の深度処理に使用され、たとえば未加工の飛行時間データを処理することにより、処理済みの飛行時間データが提供される。
【0146】
少なくとも一実施例では、たとえば限定することなく、物体検出ごとに信頼性の尺度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を強化するための任意のタイプのネットワークを実行するために、ＤＬＡが使用されてもよい。少なくとも一実施例では、信頼性は、他の検出と比較した各検出の確率として、若しくはその相対的な「重み」を提供するものとして表されても、又は解釈されてもよい。少なくとも一実施例では、信頼性尺度によって、どの検出を偽陽性検出ではなく真陽性検出とみなすべきかに関して、システムがさらなる判定を下せるようになる。少なくとも一実施例では、システムは、信頼性に対して閾値を設定し、閾値を超える検出だけを真陽性検出とみなしてもよい。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムが使用される実施例では、偽陽性検出によって車両は自動的に緊急ブレーキをかけることになり、これは明らかに望ましくない。少なくとも一実施例では、非常に信頼性の高い検出が、ＡＥＢのトリガとみなされてもよい。少なくとも一実施例では、ＤＬＡは、信頼値を回帰するようにニューラル・ネットワークを実行してもよい。少なくとも一実施例では、ニューラル・ネットワークは、とりわけ境界ボックスの次元、（たとえば別のサブシステムから）取得した地面推定、車両１０００の配向と相関しているＩＭＵセンサ１０６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１０６４若しくはＲＡＤＡＲセンサ１０６０）から取得した物体の３Ｄロケーション推定などのパラメータの少なくともいくつかのサブセットを、その入力として取ってもよい。
【0147】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、データ・ストア１０１６（たとえばメモリ）を含んでもよい。少なくとも一実施例では、データ・ストア１０１６は、ＳｏＣ１００４のオン・チップ・メモリであってもよく、このメモリは、ＧＰＵ１００８及び／又はＤＬＡ上で実行されるニューラル・ネットワークを記憶してもよい。少なくとも一実施例では、データ・ストア１０１６の容量は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくてもよい。少なくとも一実施例では、データ・ストア１０１６は、Ｌ２又はＬ３のキャッシュを備えてもよい。
【0148】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、任意の数のプロセッサ１０１０（たとえば、組み込みプロセッサ）を含んでもよい。少なくとも一実施例では、プロセッサ１０１０は、ブート電力並びに管理機能及び関連するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであってもよいブート及び電力管理プロセッサを含んでもよい。少なくとも一実施例では、ブート及び電力管理プロセッサは、ＳｏＣ１００４のブート・シーケンスの一部であってもよく、ランタイム電力管理サービスを提供してもよい。少なくとも一実施例では、ブート電力及び管理プロセッサは、クロックと電圧のプログラミング、システムの低電力状態への移行の支援、ＳｏＣ１００４の熱及び温度センサの管理、並びに／又はＳｏＣ１００４の電力状態の管理を提供してもよい。少なくとも一実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１００４は、リング発振器を使用して、ＣＰＵ１００６、ＧＰＵ１００８、及び／又はアクセラレータ１０１４の温度を検出してもよい。少なくとも一実施例では、温度が閾値を超えると判定された場合には、ブート及び電力管理プロセッサは、温度不良ルーチンに入り、ＳｏＣ１００４を低電力状態にし、且つ／又は車両１０００を運転手－安全停止モードにしても（たとえば、車両１０００を安全停止させる）よい。
【0149】
少なくとも一実施例では、プロセッサ１０１０はさらに、オーディオ処理エンジンとしての役割を果たすことができる組み込みプロセッサのセットを含んでもよく、これは、多重インターフェースを介した多チャネルのオーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にするオーディオ・サブシステムであってもよい。少なくとも一実施例では、オーディオ処理エンジンは、専用ＲＡＭのあるデジタル信号プロセッサを有する専用プロセッサ・コアである。
【0150】
少なくとも一実施例では、プロセッサ１０１０はさらに、低電力センサ管理及び立ち上げのユース・ケースをサポートするのに必要なハードウェア特徴を提供することができる常時オン・プロセッサ・エンジンを含んでもよい。少なくとも一実施例では、常時オン・プロセッサ・エンジンは、限定することなく、プロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含んでもよい。
【0151】
少なくとも一実施例では、プロセッサ１０１０はさらに安全クラスタ・エンジンを含んでもよく、このエンジンは限定することなく、自動車用途の安全管理に対処するための専用のプロセッサ・サブシステムを含む。少なくとも一実施例では、安全クラスタ・エンジンは、限定することなく、２つ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラなど）、及び／又はルーティング論理を含んでもよい。安全モードでは、少なくとも一実施例においてロックステップ・モードで２つ以上のコアが動作し、これらの動作間で何らかの差を検出するための比較論理を有する単一コアとして機能してもよい。少なくとも一実施例では、プロセッサ１０１０はさらにリアルタイム・カメラ・エンジンを含んでもよく、このエンジンは限定することなく、リアルタイムのカメラ管理に対処するための専用のプロセッサ・サブシステムを含んでもよい。少なくとも一実施例では、プロセッサ１０１０はさらに、高ダイナミック・レンジの信号プロセッサを含んでもよく、この信号プロセッサは、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを限定することなく含んでもよい。
【0152】
少なくとも一実施例では、プロセッサ１０１０は、ビデオ画像合成器を含んでもよく、この合成器は、再生装置のウインドウに最終画像を生成するのにビデオ再生アプリケーションが必要とするビデオ後処理機能を実装する（たとえばマイクロプロセッサに実装された）処理ブロックであってもよい。少なくとも一実施例では、ビデオ画像合成器は、広角カメラ１０７０、周囲カメラ１０７４、及び／又はキャビン内監視カメラ・センサに対して、レンズゆがみ補正を実行してもよい。少なくとも一実施例では、キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに適宜応答するように構成された、ＳｏＣ１００４の別のインスタンスで実行されているニューラル・ネットワークによって監視される。少なくとも一実施例では、キャビン内システムは、セルラー・サービスをアクティブ化し、電話をかけたり、電子メールを書いたり、車両の行き先を変更したり、車両のインフォテイメント・システム及び設定をアクティブ化又は変更したり、音声作動式のウェブ・サーフィンを提供したりするために、限定することなく読唇を実行してもよい。少なくとも一実施例では、ある一定の機能は、車両が自律モードで動作しているときにドライバにとって利用可能になり、それ以外のときには使用不可になる。
【0153】
少なくとも一実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含んでもよい。たとえば、少なくとも一実施例では、ビデオで動きが生じる場合には、ノイズ低減が空間情報に適切に重み付けして、隣接するフレームによって提供される情報の重みを軽くする。少なくとも一実施例では、画像又は画像の一部分が動きを含まない場合には、ビデオ画像合成器により実行される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像のノイズを低減してもよい。
【0154】
少なくとも一実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ修正を実行するように構成されてもよい。少なくとも一実施例では、ビデオ画像合成器はさらに、オペレーティング・システムのデスクトップが使用中のときに、ユーザ・インターフェースの合成のために使用されてもよく、ＧＰＵ１００８は、新規の表面を継続的にレンダリングする必要がなくなる。少なくとも一実施例では、ＧＰＵ１００８の電源が入れられ、アクティブで３Ｄレンダリングを行っているとき、性能及び応答性を向上させるために、ビデオ画像合成器を使用してＧＰＵ１００８をオフロードしてもよい。
【0155】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数のＳｏＣはさらに、ビデオ及びカメラからの入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）のカメラ直列インターフェース、高速インターフェース、並びに／又はカメラ及び関連ピクセルの入力機能に使用されてもよいビデオ入力ブロックを含んでもよい。少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数はさらに、入力／出力コントローラを含んでもよく、このコントローラはソフトウェアによって制御されてもよく、特定の役割に縛られていないＩ／Ｏ信号を受信するために使用されてもよい。
【0156】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数のＳｏＣはさらに、周辺装置、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他の装置との通信を可能にするための幅広い周辺装置インターフェースを含んでもよい。少なくとも一実施例では、ＳｏＣ１００４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）チャネルを介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）チャネルを介して接続されてもよいＬＩＤＡＲセンサ１０６４、ＲＡＤＡＲセンサ１０６０など）、バス１００２からのデータ（たとえば、車両１０００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）バス又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１０５８からのデータなどを処理するために使用されてもよい。少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数のＳｏＣはさらに、専用の高性能大容量ストレージ・コントローラを含んでもよく、このコントローラは独自のＤＭＡエンジンを含んでもよく、ルーチンのデータ管理タスクからＣＰＵ１００６を解放するために使用されてもよい。
【0157】
少なくとも一実施例では、ＳｏＣ１００４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャを有するエンドツーエンドのプラットフォームであってもよく、それにより、多様性及び冗長性を得るためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し効率的に利用する包括的な機能的安全性アーキテクチャが提供され、フレキシブルで、信頼性の高い運転ソフトウェア・スタックのプラットフォームが、深層学習ツールとともに提供される。少なくとも一実施例では、ＳｏＣ１００４は、従来のシステムより高速で、信頼性が高く、さらにはエネルギー効率及び空間効率がより高いものであり得る。たとえば、少なくとも一実施例では、アクセラレータ１０１４は、ＣＰＵ１００６、ＧＰＵ１００８、及びデータ・ストア１０１６と組み合わされると、レベル３～５の自律車両のための高速で効率的なプラットフォームを実現することができる。
【0158】
少なくとも一実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行されてもよく、このアルゴリズムは、Ｃなどの高レベル・プログラミング言語を使用して構成されて、多様な視覚データにわたって多様な処理アルゴリズムを実行してもよい。しかし、少なくとも一実施例では、ＣＰＵは、多くのコンピュータ・ビジョン・アプリケーションの性能要件、たとえば実行時間及び電力消費に関する要件などを満足できないことが多い。少なくとも一実施例では、多くのＣＰＵは、車両内のＡＤＡＳアプリケーション及び現実的なレベル３～５の自律車両において使用される複雑な物体検出アルゴリズムを、リアルタイムで実行することができない。
【0159】
本明細書に記載の実施例は、複数のニューラル・ネットワークを同時に且つ／又は順番に実行できるようにし、結果を一緒に組み合わせて、レベル３～５の自律運転機能を可能にすることができる。たとえば、少なくとも一実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、ＧＰＵ１０２０）上で実行しているＣＮＮは、テキスト及び単語認識を含んでもよく、ニューラル・ネットワークがそれについて特に訓練されてこなかった標識を含む交通標識を読み、理解できるようにする。少なくとも一実施例では、ＤＬＡはさらに、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で実行されている経路計画モジュールに渡すことができるニューラル・ネットワークを含んでもよい。
【0160】
少なくとも一実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に実行されてもよい。たとえば、少なくとも一実施例では、電光と併せて「注意：点滅時は凍結状態」と示される警告標識は、いくつかのニューラル・ネットワークによって別々に解釈されても、集合的に解釈されてもよい。少なくとも一実施例では、こうした警告標識自体は、第１の導入済みニューラル・ネットワーク（たとえば、訓練されてきたニューラル・ネットワーク）によって交通標識として識別されてもよく、「点滅時は凍結状態」という文字は、第２の導入済みニューラル・ネットワークによって解釈されてもよく、点滅光が検出された場合には、このニューラル・ネットワークが、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに通知する。少なくとも一実施例では、点滅光は、第３の導入済みニューラル・ネットワークを複数のフレームにわたって動作させることによって識別されてもよく、点滅光の存在（又は存在しないこと）が、車両の経路計画ソフトウェアに通知される。少なくとも一実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又はＧＰＵ１００８上などで同時に実行されてもよい。
【0161】
少なくとも一実施例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して、車両１０００の承認済みのドライバ及び／又は所有者の存在を識別してもよい。少なくとも一実施例では、常時オンのセンサ処理エンジンを使用して、所有者がドライバ用ドアに近づいてきたときに車両を解錠し、ライトを点灯させ、所有者がこうした車両から離れるときには、セキュリティ・モードでこうした車両を使用不可にしてもよい。こうして、ＳｏＣ１００４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを実現する。
【0162】
少なくとも一実施例では、緊急車両の検出及び識別のためのＣＮＮは、マイクロフォン１０９６からのデータを使用して、緊急車両のサイレンを検出及び識別してもよい。少なくとも一実施例では、ＳｏＣ１００４は、環境及び市街地の音を分類するとともに、視覚データを分類するためにＣＮＮを使用する。少なくとも一実施例では、ＤＬＡ上で実行されるＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえばドップラ効果を使用することによって）識別するように訓練される。少なくとも一実施例では、ＣＮＮはまた、ＧＮＳＳセンサ１０５８によって識別される、車両が稼働している地域に特有の緊急車両を識別するように訓練されてもよい。少なくとも一実施例では、欧州で稼働している場合には、ＣＮＮは欧州のサイレンを検出しようとし、北米の場合には、ＣＮＮは北米のサイレンだけを識別しようとする。少なくとも一実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行するための制御プログラムを使用して、車両の速度を落とし、道路脇に寄せ、車両を停止させ、且つ／又は緊急車両が通過するまで、超音波センサ１０６２に支援された車両をアイドリングにしてもよい。
【0163】
少なくとも一実施例では、車両１０００はＣＰＵ１０１８（たとえば、個別ＣＰＵ又はｄＣＰＵ）を含んでもよく、このＣＰＵは高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１００４に結合されてもよい。少なくとも一実施例では、ＣＰＵ１０１８は、たとえばＸ８６プロセッサを含んでもよい。ＣＰＵ１０１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１００４との間で潜在的に不整合な結果を調停すること、並びに／又はコントローラ１０３６及び／若しくはチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１０３０の状態及び健全性を監視することを含め、様々な機能のうちの任意の機能を実行するために使用されてもよい。少なくとも一実施例では、ＳｏＣ１００４は、１つ又は複数の相互接続を含み、相互接続は、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（ＰＣＩｅ）を含むことができる。
【0164】
少なくとも一実施例では、車両１０００はＧＰＵ１０２０（たとえば、個別ＧＰＵ又はｄＧＰＵ）を含んでもよく、このＧＰＵは高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫチャネル）を介してＳｏＣ１００４に結合されてもよい。少なくとも一実施例では、ＧＰＵ１０２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能を提供してもよく、車両１０００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づき、ニューラル・ネットワークを訓練及び／又は更新するために使用されてもよい。
【0165】
少なくとも一実施例では、車両１０００はさらに、ネットワーク・インターフェース１０２４を含んでもよく、このインターフェースは限定することなく、ワイヤレス・アンテナ１０２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコル向けの１つ又は複数のワイヤレス・アンテナ）を含んでもよい。少なくとも一実施例では、他の車両、及び／又はコンピューティング・デバイス（たとえば、乗員のクライアント・デバイス）とのインターネット・クラウド・サービス（たとえば、サーバ及び／又は他のネットワーク・デバイス）へのワイヤレス接続を可能にするために、ネットワーク・インターフェース１０２４が使用されてもよい。少なくとも一実施例では、他の車両と通信するために、車両１０００と他の車両との間に直接リンクが確立されてもよく、且つ／又は（たとえば、ネットワークにわたって、且つインターネットを介して）間接リンクが確立されてもよい。少なくとも一実施例では、直接リンクは、車車間通信リンクを使用して提供されてもよい。少なくとも一実施例では、車車間通信リンクは、車両１０００の近傍の車両（たとえば、車両１０００の前方、側方、及び／又は後方の車両）についての情報を車両１０００に提供してもよい。少なくとも一実施例では、こうした前述した機能は、車両１０００の協調型アダプティブ・クルーズ・コントロール機能の一部であってもよい。
【0166】
少なくとも一実施例では、ネットワーク・インターフェース１０２４は、変調及び復調の機能を提供し、コントローラ１０３６がワイヤレス・ネットワークを介して通信できるようにするＳｏＣを含んでもよい。少なくとも一実施例では、ネットワーク・インターフェース１０２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含んでもよい。少なくとも一実施例では、周波数変換は、任意の技術的に実行可能なやり方で実行されてもよい。たとえば、周波数変換は、よく知られたプロセスにより、且つ／又はスーパー・ヘテロダイン・プロセスを使用して実行することができる。少なくとも一実施例では、無線周波数フロント・エンド機能は、別個のチップによって提供されてもよい。少なくとも一実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含んでもよい。
【0167】
少なくとも一実施例では、車両１０００はさらにデータ・ストア１０２８を含んでもよく、このデータ・ストアは限定することなく、オフ・チップ（たとえばＳｏＣ１００４上にない）ストレージを含んでもよい。少なくとも一実施例では、データ・ストア１０２８は、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ・メモリ、ハード・ディスク、並びに／又は少なくとも１ビットのデータを記憶することができる他の構成要素及び／若しくはデバイスを含む１つ若しくは複数のストレージ要素を、限定することなく含んでもよい。
【0168】
少なくとも一実施例では、車両１０００はさらに、マッピング、知覚、占有グリッド生成、及び／又は経路計画の機能を支援するためのＧＮＳＳセンサ１０５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）を含んでもよい。少なくとも一実施例では、イーサネット（登録商標）からシリアル（たとえばＲＳ－２３２）へのブリッジを有するＵＳＢコネクタを使用するＧＰＳをたとえば限定することなく含む任意の数のＧＮＳＳセンサ１０５８が使用されてもよい。
【0169】
少なくとも一実施例では、車両１０００はさらに、ＲＡＤＡＲセンサ１０６０を含んでもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、暗闇及び／又は厳しい気象条件の中でも、長距離の車両検出を行うために車両１０００によって使用されてもよい。少なくとも一実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであってもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、制御のために（たとえば、ＲＡＤＡＲセンサ１０６０によって生成されたデータを送信するために）、また物体追跡データにアクセスするために、ＣＡＮバス及び／又はバス１００２を使用してもよく、いくつかの例では、未加工データにアクセスするためにイーサネット（登録商標）チャネルにアクセスできる。少なくとも一実施例では、多様なタイプのＲＡＤＡＲセンサが使用されてもよい。たとえば限定することなく、ＲＡＤＡＲセンサ１０６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であってもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０のうちの１つ又は複数のセンサは、パルス・ドップラＲＡＤＡＲセンサである。
【0170】
少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、狭視野の長距離、広視野の短距離、側面を網羅する短距離などのような、異なる構成を含んでもよい。少なくとも一実施例では、長距離ＲＡＤＡＲは、アダプティブ・クルーズ・コントロール機能のために使用されてもよい。少なくとも一実施例では、長距離ＲＡＤＡＲシステムは、２つ以上の独立した走査によって実現される２５０ｍ（メートル）の範囲内などの広視野を提供してもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、静的物体と移動している物体との間を区別しやすくしてもよく、緊急ブレーキ支援及び前方衝突警告を行うためにＡＤＡＳシステム１０３８によって使用されてもよい。少なくとも一実施例では、長距離ＲＡＤＡＲシステムに含まれるセンサ１０６０は、複数の（たとえば６つ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースを有するモノスタティックのマルチモードＲＡＤＡＲを、限定することなく含んでもよい。少なくとも一実施例では、６つのアンテナがある場合、中央の４つのアンテナは、隣接した車線内の交通からの干渉が最小の状態で、より高速で車両１０００の周囲を記録するように設計された集中したビーム・パターンを生成してもよい。少なくとも一実施例では、他の２つのアンテナは、視野を拡張してもよく、車両１０００の車線に入る又はそこから出る車両を迅速に検出するのを可能にする。
【0171】
少なくとも一実施例では、中距離ＲＡＤＡＲシステムは、一例として最大１６０ｍ（前方）、又は８０ｍ（後方）の範囲、及び最大４２度（前方）、又は１５０度（後方）の視野を含んでもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、限定することなく、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１０６０を含んでもよい。後方バンパの両端部に設置されたとき、少なくとも一実施例では、ＲＡＤＡＲセンサ・システムは、後方向及び車両隣の死角を常に監視する２本のビームを生成してもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援を行うために、ＡＤＡＳシステム１０３８において使用されてもよい。
【0172】
少なくとも一実施例では、車両１０００はさらに、超音波センサ１０６２を含んでもよい。少なくとも一実施例では、超音波センサ１０６２は、車両１０００の前方、後方、及び／又は側方位置に配置されてもよく、駐車支援のため、且つ／又は占有グリッドを生成し更新するために使用されてもよい。少なくとも一実施例では、多様な超音波センサ１０６２が使用されてもよく、異なる検出範囲（たとえば、２．５ｍ、４ｍ）には異なる超音波センサ１０６２が使用されてもよい。少なくとも一実施例では、超音波センサ１０６２は、機能的安全性レベルＡＳＩＬ Ｂで動作してもよい。
【0173】
少なくとも一実施例では、車両１０００は、ＬＩＤＡＲセンサ１０６４を含んでもよい。少なくとも一実施例では、ＬＩＤＡＲセンサ１０６４は、物体及び歩行者の検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用されてもよい。少なくとも一実施例では、ＬＩＤＡＲセンサ１０６４は、機能的安全性レベルＡＳＩＬ Ｂで動作してもよい。少なくとも一実施例では、車両１０００は、複数のＬＩＤＡＲセンサ１０６４（たとえば、２つ、４つ、６つなど）を含んでもよく、これらのセンサは、（たとえばデータをギガビット・イーサネット（登録商標）・スイッチに提供するために）イーサネット（登録商標）チャネルを使用してもよい。
【0174】
少なくとも一実施例では、ＬＩＤＡＲセンサ１０６４は、３６０度の視野について、物体及びそれらの距離のリストを提供可能であってもよい。少なくとも一実施例では、市販のＬＩＤＡＲセンサ１０６４は、たとえば宣伝された範囲がおおよそ１００ｍであり、精度が２ｃｍ～３ｃｍであり、１００Ｍｂｐｓのイーサネット（登録商標）接続をサポートしてもよい。少なくとも一実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサが使用されてもよい。こうした実施例では、ＬＩＤＡＲセンサ１０６４は、車両１０００の前方、後方、側方、及び／又は角位置に組み込むことができる小さいデバイスを含んでもよい。少なくとも一実施例では、こうした実施例のＬＩＤＡＲセンサ１０６４は、最大１２０度の水平視野、及び３５度の垂直視野を、低反射性の物体に対しても２００ｍの範囲で提供してもよい。少なくとも一実施例では、前方に取り付けられたＬＩＤＡＲセンサ１０６４は、４５度～１３５度の水平視野のために構成されてもよい。
【0175】
少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用されてよい。少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信源として使用して、車両１０００の周囲を最大でおおよそ２００ｍまで照射する。少なくとも一実施例では、フラッシュＬＩＤＡＲユニットは、限定することなくレセプタを含み、このレセプタは、レーザ・パルスの通過時間及び各ピクセルにおける反射光を記録し、それらは、車両１０００から物体までの範囲に対応する。少なくとも一実施例では、フラッシュＬＩＤＡＲによって、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成できるようになり得る。少なくとも一実施例では、４つのフラッシュＬＩＤＡＲセンサが、車両１０００の各側面に１つ導入されてもよい。少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲシステムは、ファン以外に可動部品のないソリッド・ステート３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）のＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を、限定することなく含む。少なくとも一実施例では、フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（目に安全な）レーザ・パルスを使用してもよく、３Ｄ範囲の点群及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データとして反射レーザ光を捕捉してもよい。
【0176】
少なくとも一実施例では、車両１０００はさらに、ＩＭＵセンサ１０６６を含んでもよい。少なくとも一実施例では、ＩＭＵセンサ１０６６は、車両１０００の後方車軸の中央に位置付けられてもよい。少なくとも一実施例では、ＩＭＵセンサ１０６６は、たとえば限定することなく、加速度計、磁力計、ジャイロスコープ、磁気コンパス、複数の磁気コンパス及び／又は他のタイプのセンサを含んでもよい。６軸の用途など少なくとも一実施例では、ＩＭＵセンサ１０６６は限定することなく、加速度計及びジャイロスコープを含んでもよい。９軸の用途など少なくとも一実施例では、ＩＭＵセンサ１０６６は限定することなく、加速度計、ジャイロスコープ、及び磁力計を含んでもよい。
【0177】
少なくとも一実施例では、ＩＭＵセンサ１０６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進のＫａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装されてもよい。少なくとも一実施例では、ＩＭＵセンサ１０６６により、車両１０００は、速度変化を直接観察しそれをＧＰＳからＩＭＵセンサ１０６６に相関させることによって、磁気センサからの入力を必要とせずに車両１０００の方位を推定できるようになる。少なくとも一実施例では、ＩＭＵセンサ１０６６及びＧＮＳＳセンサ１０５８は、単一の統合ユニットに組み合わされてもよい。
【0178】
少なくとも一実施例では、車両１０００は、車両１０００の中及び／又はその周りに設置されたマイクロフォン１０９６を含んでもよい。少なくとも一実施例では、マイクロフォン１０９６は、とりわけ緊急車両の検出及び識別のために使用されてもよい。
【0179】
少なくとも一実施例では、車両１０００はさらに、ステレオ・カメラ１０６８、広角カメラ１０７０、赤外線カメラ１０７２、周囲カメラ１０７４、長距離カメラ１０９８、中距離カメラ１０７６、及び／又は他のカメラ・タイプを含む任意の数のカメラ・タイプを含んでもよい。少なくとも一実施例では、カメラは、車両１０００の全周囲の周りで画像データを捕捉するために使用されてもよい。少なくとも一実施例では、どのタイプのカメラが使用されるかは、車両１０００に応じて異なる。少なくとも一実施例では、車両１０００の周りで必要な被写域を提供するために、カメラ・タイプの任意の組合せが使用されてもよい。少なくとも一実施例では、導入されるカメラの数は、実施例に応じて異なってもよい。たとえば、少なくとも一実施例では、車両１０００は６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。少なくとも一実施例では、カメラは、一例として限定することなく、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）通信をサポートしてもよい。少なくとも一実施例では、各カメラは、図１０Ａ及び図１０Ｂに関して本明細書でさらに詳細に上で説明されているようであり得る。
【0180】
少なくとも一実施例では、車両１０００はさらに、振動センサ１０４２を含んでもよい。少なくとも一実施例では、振動センサ１０４２は、車軸など、車両１０００の構成要素の振動を測定してもよい。たとえば、少なくとも一実施例では、振動の変化は、路面の変化を示すことがある。少なくとも一実施例では、２つ以上の振動センサ１０４２が使用される場合には、路面の摩擦又はすべり量を判定するために振動の差が使用されてもよい（たとえば、動力により駆動される車軸と自由回転する車軸との間に振動差がある場合）。
【0181】
少なくとも一実施例では、車両１０００は、ＡＤＡＳシステム１０３８を含んでもよい。少なくとも一実施例では、ＡＤＡＳシステム１０３８は、限定することなく、いくつかの例においてＳｏＣを含んでもよい。少なくとも一実施例では、ＡＤＡＳシステム１０３８は、限定することなく、任意の数及び任意の組合せの、自律／アダプティブ／自動のクルーズ・コントロール（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型アダプティブ・クルーズ・コントロール（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面衝突警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システム、車線逸脱警告（「ＬＤＷ」：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／又は他のシステム、特徴、及び／若しくは機能を含んでもよい。
【0182】
少なくとも一実施例では、ＡＣＣシステムは、ＲＡＤＡＲセンサ１０６０、ＬＩＤＡＲセンサ１０６４、及び／又は任意の数のカメラを使用してもよい。少なくとも一実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含んでもよい。少なくとも一実施例では、縦方向ＡＣＣシステムは、車両１０００の直前の別の車両までの距離を監視及び制御し、車両１０００のスピードを自動的に調節して、前の車両からの安全な距離を維持する。少なくとも一実施例では、横方向ＡＣＣシステムは、距離の維持を実行し、必要なときに車線変更するよう車両１０００に通知する。少なくとも一実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなどの他のＡＤＡＳ用途に関係する。
【0183】
少なくとも一実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクにより、又は間接的にネットワーク接続を介して（たとえばインターネットを介して）、他の車両からネットワーク・インターフェース１０２４及び／又はワイヤレス・アンテナ１０２６により受信されてもよい。少なくとも一実施例では、車車間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって直接リンクが提供されてもよく、一方インフラストラクチャ車間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって間接リンクが提供されてもよい。一般に、Ｖ２Ｖ通信は、すぐ前の先行車両（たとえば、車両１０００のすぐ前で同じ車線にいる車両）についての情報を提供し、Ｉ２Ｖ通信は、さらにその前の交通についての情報を提供する。少なくとも一実施例では、ＣＡＣＣシステムは、Ｉ２ＶとＶ２Ｖの情報源のいずれか又は両方を含んでもよい。少なくとも一実施例では、車両１０００の前の車両についての情報があれば、ＣＡＣＣシステムは信頼性をさらに高めることができ、交通の流れをより円滑にし、路上での渋滞を低減できる可能性を有する。
【0184】
少なくとも一実施例では、ＦＣＷシステムは、危険物に対してドライバに忠告するように設計され、それによりこうしたドライバは修正措置を取ることができる。少なくとも一実施例では、ＦＣＷシステムは正面カメラ及び／又はＲＡＤＡＲセンサ１０６０を使用し、これらは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックを提供するように電気的に結合されている専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＦＣＷシステムは、音、視覚的警告、振動、及び／又はクイック・ブレーキ・パルスの形などで警告を提供してもよい。
【0185】
少なくとも一実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った正面衝突を検出し、指定された時間内又は距離パラメータ内にドライバが修正措置を取らない場合には、自動でブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された正面カメラ及び／又はＲＡＤＡＲセンサ１０６０を使用してもよい。少なくとも一実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは通常、修正措置を取って衝突を避けるよう最初にドライバに忠告し、ドライバが修正措置を取らない場合には、ＡＥＢシステムは、予測される衝突を防ぐ又は少なくともその衝撃を軽減するために自動的にブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突直前ブレーキなどの技法を含んでもよい。
【0186】
少なくとも一実施例では、ＬＤＷシステムは、車両１０００が車線の目印に交差したときにドライバに忠告するために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的な警告を提供する。少なくとも一実施例では、ドライバが方向指示器を作動させることなどによって意図的な車線逸脱を示す場合には、ＬＤＷシステムは作動しない。少なくとも一実施例では、ＬＤＷシステムは、正面カメラを使用してもよく、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックを提供するように電気的に結合された専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。少なくとも一実施例では、ＬＫＡシステムは、車両１０００が車両１０００の車線からはみ出し始めた場合に、車両１０００を修正するように操縦入力又はブレーキ制御を提供する。
【0187】
少なくとも一実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、ドライバに警告する。少なくとも一実施例では、ＢＳＷシステムは、視覚的、聴覚的、及び／又は触覚的なアラートを提供して、合流又は車線変更が安全ではないことを示してもよい。少なくとも一実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供してもよい。少なくとも一実施例では、ＢＳＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された背面カメラ及び／又はＲＡＤＡＲセンサ１０６０を使用してもよく、これらの専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合されている。
【0188】
少なくとも一実施例では、ＲＣＴＷシステムは、車両１０００の後退時に、後方カメラの範囲外に物体が検出されたときに、視覚的、聴覚的、及び／又は触覚的な通知を提供してもよい。少なくとも一実施例では、ＲＣＴＷシステムは、衝突を回避するために確実に車両ブレーキがかけられるように、ＡＥＢシステムを含む。少なくとも一実施例では、ＲＣＴＷシステムは、１つ又は複数の背面ＲＡＤＡＲセンサ１０６０を使用してもよく、これはディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックを提供するように電気的に結合された専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。
【0189】
少なくとも一実施例では、従来のＡＤＡＳシステムは、偽陽性結果を出しがちなことがあり、これはドライバにとっては迷惑で気が散るものであり得るが、通常は大したことにはならない。なぜなら、従来のＡＤＡＳシステムは、ドライバに忠告し、安全を要する状態が本当に存在し、それに適宜対応するかどうかを、ドライバが判断できるようにするからである。少なくとも一実施例では、結果が矛盾する場合、一次コンピュータ又は二次コンピュータ（たとえば、コントローラ１０３６の第１のコントローラ又は第２のコントローラ）からの結果に従うかどうかを、車両１０００自体が判断する。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１０３８は、バックアップ・コンピュータの合理性モジュールに知覚情報を提供するための、バックアップ及び／又は二次コンピュータであってもよい。少なくとも一実施例では、バックアップ・コンピュータの合理性モニタが、ハードウェア構成要素上の冗長性の多様なソフトウェアを実行して、知覚の誤り及び動的な運転タスクを検出してもよい。少なくとも一実施例では、ＡＤＡＳシステム１０３８からの出力は、監視ＭＣＵに提供されてもよい。少なくとも一実施例では、一次コンピュータからの出力と二次コンピュータからの出力とが矛盾する場合には、監視ＭＣＵが、安全な動作を確保するために矛盾をどのように調和させるかを判定する。
【0190】
少なくとも一実施例では、一次コンピュータは、一次コンピュータの選択した結果の信頼性を示す信頼性スコアを、監視ＭＣＵに提供するように構成されてもよい。少なくとも一実施例では、信頼性スコアが閾値を超える場合には、二次コンピュータが矛盾する又は一貫性のない結果を提供しているかどうかに関わらず、監視ＭＣＵは一次コンピュータの指示に従ってもよい。少なくとも一実施例では、信頼性スコアが閾値を満足せず、一次コンピュータと二次コンピュータが異なる結果（たとえば、矛盾）を示す場合には、監視ＭＣＵは、コンピュータ同士を調停して、適切な結果を判定してもよい。
【0191】
少なくとも一実施例では、二次コンピュータが誤アラームを提供する条件を、一次コンピュータからの出力と二次コンピュータからの出力とに少なくとも部分的に基づき判定するように訓練及び構成されたニューラル・ネットワークを、監視ＭＣＵが実行するように構成されてもよい。少なくとも一実施例では、監視ＭＣＵのニューラル・ネットワークは、二次コンピュータの出力が信用されてもよいときと、信用できないときとを学習してもよい。たとえば、少なくとも一実施例では、二次コンピュータがＲＡＤＡＲベースのＦＣＷシステムである場合、監視ＭＣＵのニューラル・ネットワークは、アラームをトリガする排水溝の格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムが識別するときを学習してもよい。少なくとも一実施例では、二次コンピュータがカメラ・ベースのＬＤＷシステムである場合、自転車や歩行者が存在し、車線逸脱が実際には最も安全な操作であるときに、監視ＭＣＵのニューラル・ネットワークはＬＤＷを無効にするように学習してもよい。少なくとも一実施例では、監視ＭＣＵは、ニューラル・ネットワークを関連するメモリとともに実行するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含んでもよい。少なくとも一実施例では、監視ＭＣＵは、ＳｏＣ１００４の構成要素を備えても、且つ／又はその構成要素として含まれてもよい。
【0192】
少なくとも一実施例では、ＡＤＡＳシステム１０３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能を実行する二次コンピュータを含んでもよい。少なくとも一実施例では、二次コンピュータは、古典的なコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎルール）を使用してもよく、ニューラル・ネットワークが監視ＭＣＵに存在することによって、信頼性、安全性、及び性能が向上してもよい。たとえば、少なくとも一実施例では、多様な実装及び意図的な非同一性により、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）の機能によって生じる誤りに対し、システム全体の誤り耐性がより高まる。たとえば、少なくとも一実施例では、一次コンピュータ上で実行中のソフトウェアにソフトウェアバグ又はエラーがあり、二次コンピュータ上で実行中の非同一のソフトウェア・コードが、全体的に一貫性のある結果を提供する場合には、監視ＭＣＵは、全体的な結果が正しく、一次コンピュータ上のソフトウェア又はハードウェアのバグが重大なエラーを引き起こしていないという、より高い信頼性を有してもよい。
【0193】
少なくとも一実施例では、ＡＤＡＳシステム１０３８の出力は、一次コンピュータの知覚ブロック、及び／又は一次コンピュータの動的運転タスクブロックに供給されてもよい。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１０３８が、直前の物体に起因して正面衝突警告を示している場合には、知覚ブロックは、物体を識別するときにこの情報を使用してもよい。少なくとも一実施例では、二次コンピュータは、本明細書に記載するように、訓練済みの、したがって偽陽性のリスクを低減する独自のニューラル・ネットワークを有してもよい。
【0194】
少なくとも一実施例では、車両１０００はさらに、インフォテイメントＳｏＣ１０３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ）：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ）を含んでもよい。インフォテイメント・システム１０３０はＳｏＣとして図示及び説明されるが、少なくとも一実施例では、ＳｏＣではなくてもよく、限定することなく２つ以上の個別の構成要素を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、限定することなく、ハードウェアとソフトウェアの組合せを含んでもよく、この組合せを使用して、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、車両関連情報、たとえば燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報など）を車両１０００に提供してもよい。たとえば、インフォテイメントＳｏＣ１０３０は、ラジオ、ディスク再生装置、ナビゲーション・システム、ビデオ再生装置、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー音声制御、ヘッド・アップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１０３４、テレマテックス・デバイス、（たとえば、様々な構成要素、特徴、及び／若しくはシステムを制御及び／若しくは相互作用するための）制御パネル、並びに／又は他の構成要素を含むことができる。少なくとも一実施例では、さらにインフォテイメントＳｏＣ１０３０を使用して、ＡＤＡＳシステム１０３８からの情報、車両操作計画、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報などの（たとえば、視覚的及び／又は聴覚的な）情報が、車両１０００のユーザに提供されてもよい。
【0195】
少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、任意の量及びタイプのＧＰＵ機能を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、バス１００２を介して、車両１０００の他のデバイス、システム、及び／又は構成要素と通信してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は監視ＭＣＵに結合されてもよく、それにより、一次コントローラ１０３６（たとえば、車両１０００の一次及び／又はバックアップのコンピュータ）が故障したときに、インフォテイメント・システムのＧＰＵが、一部の自己運転機能を実行してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、本明細書に記載するように、車両１０００を運転手－安全停止モードにしてもよい。
【0196】
少なくとも一実施例では、車両１０００はさらに、計器クラスタ１０３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）を含んでもよい。少なくとも一実施例では、計器クラスタ１０３２は、限定することなく、コントローラ、及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含んでもよい。少なくとも一実施例では、計器クラスタ１０３２は、限定することなく、スピード・メータ、燃料レベル、油圧、タコメータ、オドメータ、方向指示器、シフトレバー位置インジケータ、シート・ベルト警告灯、パーキング・ブレーキ警告灯、エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、ライト制御、安全システム制御、ナビゲーション情報などのような、任意の数及び組合せの計器セットを含んでもよい。いくつかの例では、インフォテイメントＳｏＣ１０３０と計器クラスタ１０３２との間で、情報が表示及び／又は共有されてもよい。少なくとも一実施例では、計器クラスタ１０３２は、インフォテイメントＳｏＣ１０３０の一部として含まれてもよく、又はその逆であってもよい。
【0197】
図１０Ｄは、少なくとも一実施例による、クラウド・ベースのサーバと図１０Ａの自律車両１０００との間で通信するためのシステムの図である。少なくとも一実施例では、システムは、限定することなく、サーバ１０７８、ネットワーク１０９０、並びに車両１０００を含む任意の数及びタイプの車両を含んでもよい。少なくとも一実施例では、サーバ１０７８は、限定することなく、複数のＧＰＵ１０８４（Ａ）～１０８４（Ｈ）（本明細書ではまとめてＧＰＵ１０８４と呼ぶ）、ＰＣＩｅスイッチ１０８２（Ａ）～１０８２（Ｄ）（本明細書ではまとめてＰＣＩｅスイッチ１０８２と呼ぶ）、及び／又はＣＰＵ１０８０（Ａ）～１０８０（Ｂ）（本明細書ではまとめてＣＰＵ１０８０と呼ぶ）を含んでもよい。少なくとも一実施例では、ＧＰＵ１０８４、ＣＰＵ１０８０、及びＰＣＩｅスイッチ１０８２は、たとえば限定することなく、ＮＶＩＤＩＡにより開発されたＮＶＬｉｎｋインターフェース１０８８、及び／又はＰＣＩｅ接続１０８６などの高速相互接続によって、相互接続されてもよい。少なくとも一実施例では、ＧＰＵ１０８４同士は、ＮＶＬｉｎｋ及び／又はＮＶＳスイッチＳｏＣを介して接続され、ＧＰＵ１０８４とＰＣＩｅスイッチ１０８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ１０８４、２個のＣＰＵ１０８０、及び４個のＰＣＩｅスイッチ１０８２が図示してあるが、これは限定するものではない。少なくとも一実施例では、サーバ１０７８のそれぞれは、限定することなく、任意の数のＧＰＵ１０８４、ＣＰＵ１０８０、及び／又はＰＣＩｅスイッチ１０８２を任意の組合せで含んでもよい。たとえば、少なくとも一実施例では、サーバ１０７８は、それぞれが８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１０８４を含むことができる。
【0198】
少なくとも一実施例では、サーバ１０７８は、最近始まった道路工事などの予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１０９０を介して車両から受信してもよい。少なくとも一実施例では、サーバ１０７８は、更新済み若しくはそうではないニューラル・ネットワーク１０９２及び／又は、限定することなく交通状態及び道路状態に関する情報を含む地図情報１０９４を、ネットワーク１０９０を介して車両に送信してもよい。少なくとも一実施例では、地図情報１０９４の更新は、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１０２２に対する更新を、限定することなく含んでもよい。少なくとも一実施例では、ニューラル・ネットワーク１０９２及び／又は地図情報１０９４は、環境内の任意の数の車両から受信したデータに表された新しい訓練及び／又は経験から得られたものであってもよく、且つ／又は、データ・センタにおいて（たとえば、サーバ１０７８及び／又は他のサーバを使用して）実行された訓練に少なくとも部分的に基づき、得られたものであってもよい。
【0199】
少なくとも一実施例では、サーバ１０７８を使用して、訓練データに少なくとも部分的に基づき、機械学習モデル（たとえば、ニューラル・ネットワーク）が訓練されてもよい。少なくとも一実施例では、訓練データは車両によって生成されてもよく、且つ／又はシミュレーションで（たとえば、ゲーム・エンジンを使用して）生成されてもよい。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習により恩恵を受ける場合には）任意の量の訓練データがタグ付けされ、且つ／又は他の前処理を受ける。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合には）任意の量の訓練データはタグ付け及び／又は前処理されない。少なくとも一実施例では、機械学習モデルが訓練されると、機械学習モデルは車両によって使用されてもよく（たとえば、ネットワーク１０９０を介して車両に送信される）、且つ／又は機械学習モデルは、車両を遠隔監視するためにサーバ１０７８によって使用されてもよい。
【0200】
少なくとも一実施例では、サーバ１０７８は車両からデータを受信し、リアルタイムの知的推論のために、最新のリアルタイムのニューラル・ネットワークにデータを適用してもよい。少なくとも一実施例では、サーバ１０７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１０８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含んでもよい。しかし、少なくとも一実施例では、サーバ１０７８は、ＣＰＵにより動くデータ・センタを使用する深層学習インフラストラクチャを含んでもよい。
【0201】
少なくとも一実施例では、サーバ１０７８の深層学習インフラストラクチャは、高速のリアルタイムの推論が可能であってもよく、その機能を使用して、車両１０００のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの健全性を評価及び確認してもよい。たとえば、少なくとも一実施例では、深層学習インフラストラクチャは、一連の画像、及び／又はその一連の画像において（たとえば、コンピュータ・ビジョン及び／又は他の機械学習の物体分類技法により）車両１０００が位置特定した物体など、周期的な更新を車両１０００から受信してもよい。少なくとも一実施例では、深層学習インフラストラクチャは、独自のニューラル・ネットワークを実行して物体を識別し、それを車両１０００によって識別された物体と比較してもよく、結果が一致せず、車両１０００のＡＩが故障していると深層学習インフラストラクチャが結論づけた場合には、サーバ１０７８は、車両１０００のフェイル・セーフ・コンピュータに制御を掌握し、乗員に通知し、安全な停車操作を完了するよう命じる信号を車両１０００に送信してもよい。
【0202】
少なくとも一実施例では、サーバ１０７８は、ＧＰＵ１０８４、及び１つ又は複数のプログラム可能な推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３デバイス）を含んでもよい。少なくとも一実施例では、ＧＰＵにより動くサーバと、推論の加速とを組み合わせることによって、リアルタイムの応答を可能にすることができる。性能がそれほど重要ではない場合など、少なくとも一実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサにより動くサーバが、推論に使用されてもよい。少なくとも一実施例では、１つ又は複数の実施例を実行するために、ハードウェア構造体７１５が使用される。ハードウェア構造体７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。
【0203】
少なくとも一実施例では、図１０Ａ～図１０Ｄに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１０Ａ～図１０Ｄに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１０Ａ～図１０Ｄに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスなどを実装するために利用される。
【0204】
コンピュータ・システム
図１１は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれらの何らかの組合せを有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム１１００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ１１０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム１１００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム１１００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
図１１は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれらの何らかの組合せを有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム１１００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ１１０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム１１００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム１１００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
【0205】
実施例は、携帯型デバイス及び組み込みアプリケーションなど、他のデバイスで使用されてもよい。携帯型デバイスのいくつかの例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、及び携帯型ＰＣを含む。少なくとも一実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒｓ）、セット・トップ・ボックス、ネットワーク・ハブ、広域ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも一実施例による１つ又は複数の命令を実行することができる任意の他のシステムを含んでもよい。
【0206】
少なくとも一実施例では、コンピュータ・システム１１００は、限定することなくプロセッサ１１０２を含んでもよく、このプロセッサ１１０２は限定することなく、本明細書に記載の技法による機械学習モデルの訓練及び／又は推論を実行するための１つ又は複数の実行ユニット１１０８を含んでもよい。少なくとも一実施例では、コンピュータ・システム１１００は、シングル・プロセッサのデスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム１１００はマルチプロセッサ・システムであってもよい。少なくとも一実施例では、プロセッサ１１０２は、限定することなく、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は任意の他のプロセッサ・デバイス、たとえばデジタル信号プロセッサなどを含んでもよい。少なくとも一実施例では、プロセッサ１１０２は、プロセッサ・バス１１１０に結合されてもよく、このプロセッサ・バスは、プロセッサ１１０２とコンピュータ・システム１１００内の他の構成要素との間でデジタル信号を送信してもよい。
【0207】
少なくとも一実施例では、プロセッサ１１０２は、限定することなく、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）１１０４を含んでもよい。少なくとも一実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ１１０２の外部にあってもよい。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せも含んでよい。少なくとも一実施例では、レジスタ・ファイル１１０６は、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタを限定することなく含む様々レジスタに、異なるタイプのデータを記憶してもよい。
【0208】
少なくとも一実施例では、整数及び浮動小数点の演算を実行するための論理を限定することなく含む実行ユニット１１０８も、プロセッサ１１０２にある。少なくとも一実施例では、プロセッサ１１０２は、ある一定のマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）も含んでよい。少なくとも一実施例では、実行ユニット１１０８は、パック命令セット１１０９に対処する論理を含んでもよい。少なくとも一実施例では、パック命令セット１１０９を、命令を実行する関連回路とともに汎用プロセッサの命令セットに含めることにより、多くのマルチメディア・アプリケーションによって使用される演算を、プロセッサ１１０２のパック・データを使用して実行することができる。少なくとも一実施例では、プロセッサのデータ・バスの全幅を使用してパック・データの演算を実行することによって、多くのマルチメディア・アプリケーションを加速し、より効率的に実行することができ、これにより、１度に１つのデータ要素に対して１つ又は複数の演算を実行するためにプロセッサのデータ・バス間でより小さい単位のデータを転送する必要をなくすことができる。
【0209】
少なくとも一実施例では、実行ユニット１１０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用されてもよい。少なくとも一実施例では、コンピュータ・システム１１００は、限定することなくメモリ１１２０を含んでもよい。少なくとも一実施例では、メモリ１１２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスであってもよい。少なくとも一実施例では、メモリ１１２０は、プロセッサ１１０２によって実行されてもよいデータ信号によって表される命令１１１９、及び／又はデータ１１２１を記憶してもよい。
【0210】
少なくとも一実施例では、システム論理チップが、プロセッサ・バス１１１０及びメモリ１１２０に結合されてもよい。少なくとも一実施例では、システム論理チップは、限定することなく、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１１６を含んでもよく、プロセッサ１１０２は、プロセッサ・バス１１１０を介してＭＣＨ１１１６と通信してもよい。少なくとも一実施例では、ＭＣＨ１１１６は、命令及びデータ・ストレージのため、及びグラフィックス・コマンド、データ、及びテクスチャを記憶するために、高帯域幅メモリ経路１１１８をメモリ１１２０に提供してもよい。少なくとも一実施例では、ＭＣＨ１１１６は、プロセッサ１１０２と、メモリ１１２０と、コンピュータ・システム１１００の他の構成要素との間でデータ信号を導き、プロセッサ・バス１１１０と、メモリ１１２０と、システムＩ／Ｏインターフェース１１２２との間でデータ信号をブリッジしてもよい。少なくとも一実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供してもよい。少なくとも一実施例では、ＭＣＨ１１１６は、高帯域幅メモリ経路１１１８を介してメモリ１１２０に結合されてもよく、グラフィックス／ビデオカード１１１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続１１１４を介してＭＣＨ１１１６に結合されてもよい。
【0211】
少なくとも一実施例では、コンピュータ・システム１１００は、ＭＣＨ１１１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスとしてシステムＩ／Ｏインターフェース１１２２を使用してもよい。少なくとも一実施例では、ＩＣＨ１１３０は、ローカルのＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供してもよい。少なくとも一実施例では、ローカルＩ／Ｏバスは、周辺装置をメモリ１１２０、チップセット、及びプロセッサ１１０２に接続するための高速Ｉ／Ｏバスを、限定することなく含んでもよい。例としては、オーディオ・コントローラ１１２９、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）１１２８、ワイヤレス・トランシーバ１１２６、データ・ストレージ１１２４、ユーザ入力及びキーボードのインターフェース１１２５を含むレガシーＩ／Ｏコントローラ１１２３、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどのシリアル拡張ポート１１２７、及びネットワーク・コントローラ１１３４が、限定することなく含まれてもよい。少なくとも一実施例では、データ・ストレージ１１２４は、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備えてもよい。
【0212】
少なくとも一実施例では、図１１は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを図示するが、一方他の実施例では、図１１は例示的なＳｏＣを図示してもよい。少なくとも一実施例では、図１１で図示するデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、コンピュータ・システム１１００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続されてもよい。
【0213】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにコンピュータ・システム１１００において使用されてもよい。
【0214】
少なくとも一実施例では、図１１に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１１に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１１に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0215】
図１２は、少なくとも一実施例による、プロセッサ１２１０を利用するための電子デバイス１２００を図示するブロック図である。少なくとも一実施例では、電子デバイス１２００は、たとえば限定することなく、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであってもよい。
【0216】
少なくとも一実施例では、電子デバイス１２００は、任意の好適な数又は種類の構成要素、周辺装置、モジュール、若しくはデバイスに通信可能に結合されたプロセッサ１２１０を、限定することなく含んでもよい。少なくとも一実施例では、プロセッサ１２１０は、Ｉ２Ｃバス、システム・マネージメント・バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル・ペリフェラル・インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ハイ・デフィニション・オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３など）、又はユニバーサル非同期レシーバ／トランスミッタ（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなどのバス若しくはインターフェースを使用して結合される。少なくとも一実施例では、図１２は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを図示するが、一方他の実施例では、図１２は例示的なＳｏＣを図示してもよい。少なくとも一実施例では、図１２で図示するデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、図１２の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続されてもよい。
【0217】
少なくとも一実施例では、図１２は、ディスプレイ１２２４、タッチ画面１２２５、タッチ・パッド１２３０、近距離無線通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｕｎｉｔ）１２４５、センサ・ハブ１２４０、熱センサ１２４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１２３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１２３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１２２２、ＤＳＰ１２６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）若しくはハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１２２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ ｕｎｉｔ）１２５０、Ｂｌｕｅｔｏｏｔｈユニット１２５２、ワイヤレス広域ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ ｕｎｉｔ）１２５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット１２５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１２５４、及び／又は、たとえばＬＰＤＤＲ３規格に実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１２１５を含んでもよい。これらの構成要素は、それぞれ任意の好適なやり方で実装されてもよい。
【0218】
少なくとも一実施例では、本明細書に記載の構成要素を介して、他の構成要素がプロセッサ１２１０に通信可能に結合されてもよい。少なくとも一実施例では、加速度計１２４１、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１２４２、コンパス１２４３、及びジャイロスコープ１２４４が、センサ・ハブ１２４０に通信可能に結合されてもよい。少なくとも一実施例では、熱センサ１２３９、ファン１２３７、キーボード１２３６、及びタッチ・パッド１２３０が、ＥＣ１２３５に通信可能に結合されてもよい。少なくとも一実施例では、スピーカ１２６３、ヘッドフォン１２６４、及びマイクロフォン（「ｍｉｃ」）１２６５が、オーディオ・ユニット（「オーディオ・コーデック及びクラスＤアンプ」）１２６２に通信可能に結合されてもよく、このオーディオ・ユニットが、ＤＳＰ１２６０に通信可能に結合されてもよい。少なくとも一実施例では、オーディオ・ユニット１２６２は、たとえば限定することなく、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤアンプリファイアを含んでもよい。少なくとも一実施例では、ＳＩＭカード（「ＳＩＭ」）１２５７は、ＷＷＡＮユニット１２５６に通信可能に結合されてもよい。少なくとも一実施例では、ＷＬＡＮユニット１２５０及びＢｌｕｅｔｏｏｔｈユニット１２５２などの構成要素、並びにＷＷＡＮユニット１２５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）に実装されてもよい。
【0219】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために電子デバイス１２００において使用されてもよい。
【0220】
少なくとも一実施例では、図１２に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１２に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１２に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0221】
図１３は、少なくとも一実施例による、コンピュータ・システム１３００を図示する。少なくとも一実施例では、コンピュータ・システム１３００は、本開示全体を通して説明する様々なプロセス及び方法を実装するように構成される。
【0222】
少なくとも一実施例では、コンピュータ・システム１３００は、限定することなく、少なくとも１つの中央処理装置（「ＣＰＵ」）１３０２を含み、この処理装置は、ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（「ペリフェラル・コンポーネント・インターコネクト」）、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩ－Ｅｘｐｒｅｓｓ」：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）、ＡＧＰ：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（「アクセラレーテッド・グラフィックス・ポート」）、ハイパートランスポート、又は任意の他のバス若しくはポイントツーポイントの通信プロトコルなど、任意の好適なプロトコルを使用して実装された通信バス１３１０に接続される。少なくとも一実施例では、コンピュータ・システム１３００は、メイン・メモリ１３０４、及び（たとえば、ハードウェア、ソフトウェア、又はこれらの組合せとして実装される）制御論理を限定することなく含み、データは、ランダム・アクセス・メモリ（「ＲＡＭ」：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）の形をとってもよいメイン・メモリ１３０４に記憶される。少なくとも一実施例では、ネットワーク・インターフェース・サブシステム（「ネットワーク・インターフェース」）１３２２は、コンピュータ・システム１３００を有する他のシステムからデータを受信し、コンピュータ・システム１３００を有する他のシステムにデータを送信するための他のコンピューティング・デバイス及びネットワークとのインターフェースを提供する。
【0223】
少なくとも一実施例では、コンピュータ・システム１３００は、少なくとも一実施例では、限定することなく、入力デバイス１３０８、並列処理システム１３１２、及びディスプレイ・デバイス１３０６を含み、このディスプレイ・デバイスは、従来の陰極線管（「ＣＲＴ」：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、液晶ディスプレイ（「ＬＣＤ」：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（「ＬＥＤ」：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、プラズマ・ディスプレイ、又は他の好適なディスプレイ技術を使用して実装することができる。少なくとも一実施例では、ユーザ入力は、キーボード、マウス、タッチ・パッド、マイクロフォンなどのような入力デバイス１３０８から受け取る。少なくとも一実施例では、本明細書に記載の各モジュールを単一の半導体プラットフォームに置いて、処理システムを形成することができる。
【0224】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにコンピュータ・システム１３００において使用されてもよい。
【0225】
少なくとも一実施例では、図１３に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１３に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１３に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスなどを実装するために利用される。
【0226】
図１４は、少なくとも一実施例による、コンピュータ・システム１４００を図示する。少なくとも一実施例では、コンピュータ・システム１４００は、限定することなく、コンピュータ１４１０及びＵＳＢスティック１４２０を含んでもよい。少なくとも一実施例では、コンピュータ１４１０は、限定することなく、任意の数及びタイプのプロセッサ（図示せず）、並びにメモリ（図示せず）を含んでもよい。少なくとも一実施例では、コンピュータ１４１０は、限定することなく、サーバ、クラウド・インスタンス、ラップトップ、及びデスクトップ・コンピュータを含む。
【0227】
少なくとも一実施例では、ＵＳＢスティック１４２０は、限定することなく、処理ユニット１４３０、ＵＳＢインターフェース１４４０、及びＵＳＢインターフェース論理１４５０を含む。少なくとも一実施例では、処理ユニット１４３０は、命令を実行することができる任意の命令実行システム、装置、又はデバイスであってもよい。少なくとも一実施例では、処理ユニット１４３０は、限定することなく、任意の数及びタイプの処理コア（図示せず）を含んでもよい。少なくとも一実施例では、処理ユニット１４３０は、機械学習に関連付けられる任意の量及びタイプの演算を実行するように最適化された特定用途向け集積回路（「ＡＳＩＣ」）を備える。たとえば、少なくとも一実施例では、処理ユニット１４３０は、機械学習の推論演算を実行するように最適化されたテンソル処理ユニット（「ＴＰＣ」：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）である。少なくとも一実施例では、処理ユニット１４３０は、機械視覚及び機械学習の推論演算を実行するように最適化された視覚処理ユニット（「ＶＰＵ」）である。
【0228】
少なくとも一実施例では、ＵＳＢインターフェース１４４０は、任意のタイプのＵＳＢコネクタ又はＵＳＢソケットであってもよい。たとえば、少なくとも一実施例では、ＵＳＢインターフェース１４４０は、データ及び電源用のＵＳＢ３．０ Ｔｙｐｅ－Ｃのソケットである。少なくとも一実施例では、ＵＳＢインターフェース１４４０は、ＵＳＢ３．０ Ｔｙｐｅ－Ａのコネクタである。少なくとも一実施例では、ＵＳＢインターフェース論理１４５０は、処理ユニット１４３０がＵＳＢコネクタ１４４０を介してデバイス（たとえばコンピュータ１４１０）とインターフェースをとることを可能にする任意の量及びタイプの論理を含んでもよい。
【0229】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにコンピュータ・システム１４００において使用されてもよい。
【0230】
少なくとも一実施例では、図１４に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１４に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１４に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0231】
図１５Ａは、複数のＧＰＵ１５１０（１）～１５１０（Ｎ）が、高速リンク１５４０（１）～１５４０（Ｎ）（たとえば、バス、ポイントツーポイント相互接続など）を介して複数のマルチ・コア・プロセッサ１５０５（１）～１５０５（Ｍ）に通信可能に結合されている例示的なアーキテクチャを図示する。少なくとも一実施例では、高速リンク１５４０（１）～１５４０（Ｎ）は、４ＧＢ／秒、３０ＧＢ／秒、８０ＧＢ／秒、又はそれ以上の通信スループットをサポートする。少なくとも一実施例では、ＰＣＩｅ４．０又は５．０、及びＮＶＬｉｎｋ２．０を含むがこれらに限定されない様々な相互接続プロトコルが使用されてもよい。様々な図において、「Ｎ」及び「Ｍ」は、正の整数を表し、その値は図ごとに異なってもよい。少なくとも一実施例では、図１８Ａ及び図１８Ｂに開示されるように、複数のＧＰＵ１５１０（１）～１５１０（Ｎ）のうちの、１つ又は複数のＧＰＵは、１つ又は複数のグラフィックス・コア（単に「コア」とも称される）１８００を含む。少なくとも一実施例では、１つ又は複数のグラフィックス・コア１８００は、ストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ストリーム・プロセッサ（「ＳＰ」：ｓｔｒｅａｍ ｐｒｏｃｅｓｓｏｒ）、ストリーム処理ユニット（「ＳＰＵ」：ｓｔｒｅａｍ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、計算ユニット（「ＣＵ」：ｃｏｍｐｕｔｅ ｕｎｉｔ）、実行ユニット（「ＥＵ」：ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）、及び／又はスライスとも称される場合があり、このコンテキストにおいて、スライスとは処理ユニット中の処理リソースの一部を指すことができる（たとえば、１６コア、レイ・トレーシング・ユニット、スレッド・ディレクタ又はスケジューラ）。
【0232】
さらに、少なくとも一実施例では、ＧＰＵ１５１０のうちの２つ以上は高速リンク１５２９（１）～１５２９（２）を介して相互接続され、これらは、高速リンク１５４０（１）～１５４０（Ｎ）に使用されたものと同様の又は異なるプロトコル／リンクを使用して実装されてもよい。同様に、マルチ・コア・プロセッサ１５０５のうちの２つ以上は、高速リンク１５２８を介して接続されてもよく、この高速リンク１５２８は、２０ＧＢ／秒、３０ＧＢ／秒、１２０ＧＢ／秒、又はそれ以上で動作する対称型マルチプロセッサ（ＳＭＰ）バスとすることができる。或いは、図１５Ａに示す様々なシステム構成要素間のすべての通信は、同様のプロトコル／リンクを使用して（たとえば、共通の相互接続ファブリックを介して）実現されてもよい。
【0233】
少なくとも一実施例では、各マルチ・コア・プロセッサ１５０５は、それぞれメモリ相互接続１５２６（１）～１５２６（Ｍ）を介してプロセッサ・メモリ１５０１（１）～１５０１（Ｍ）に通信可能に結合され、各ＧＰＵ１５１０（１）～１５１０（Ｎ）は、それぞれＧＰＵメモリ・相互接続１５５０（１）～１５５０（Ｎ）を介してＧＰＵメモリ１５２０（１）～１５２０（Ｎ）に通信可能に結合される。少なくとも一実施例では、メモリ相互接続１５２６及び１５５０は、同様の又は異なるメモリ・アクセス技術を利用してもよい。例として、限定ではなく、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）及びＧＰＵメモリ１５２０は、（積層ＤＲＡＭを含む）ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、グラフィックスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。少なくとも一実施例では、（たとえば、２レベルのメモリ（２ＬＭ）階層を使用して）、プロセッサ・メモリ１５０１のいくつかの部分は揮発性メモリであってもよく、別の部分は不揮発性メモリであってもよい。
【0234】
本明細書に記載するように、様々なマルチ・コア・プロセッサ１５０５及びＧＰＵ１５１０は、それぞれ特定のメモリ１５０１、１５２０に物理的に結合されてもよい、及び／又は仮想システムのアドレス空間（「実効アドレス」空間とも呼ぶ）が様々な物理メモリ間に分配されている統合されたメモリ・アーキテクチャが実装されてもよいが。たとえば、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）はそれぞれ、６４ＧＢのシステム・メモリ・アドレス空間を備えてもよく、ＧＰＵメモリ１５２０（１）～１５２０（Ｎ）はそれぞれ、３２ＧＢのシステム・メモリ・アドレス空間を備えてもよく、Ｍ＝２でＮ＝４の場合、合計２５６ＧＢのアドレス指定可能メモリが得られる。Ｎ及びＭについて他の値が考えられる。
【0235】
図１５Ｂは、１つの例示的な実施例によるマルチ・コア・プロセッサ１５０７とグラフィックス加速モジュール１５４６との間の相互接続のさらなる詳細事項を図示する。少なくとも一実施例では、グラフィックス加速モジュール１５４６は、高速リンク１５４０（たとえば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を介してプロセッサ１５０７に結合されるライン・カードに集積された１つ又は複数のＧＰＵチップを含んでもよい。少なくとも一実施例では、或いは、グラフィックス加速モジュール１５４６は、プロセッサ１５０７を有するパッケージ又はチップに集積されてもよい。
【0236】
少なくとも一実施例では、プロセッサ１５０７は、複数のコア１５６０Ａ～１５６０Ｄ（「実行ユニット」とも呼ばれてもよい）を含み、それぞれのコアが、トランスレーション・ルックアサイド・バッファ（ＴＬＢ：ｔｒａｎｓｌａｔｉｏｎ ｌｏｏｋａｓｉｄｅ ｂｕｆｆｅｒ）１５６１Ａ～１５６１Ｄと、１つ又は複数のキャッシュ１５６２Ａ～１５６２Ｄとを有する。少なくとも一実施例では、コア１５６０Ａ～１５６０Ｄは、命令を実行しデータを処理するための、図示していない様々な他の構成要素を含んでもよい。少なくとも一実施例では、キャッシュ１５６２Ａ～１５６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）のキャッシュを備えてもよい。さらに、１つ又は複数の共有キャッシュ１５５６が、キャッシュ１５６２Ａ～１５６２Ｄに含まれ、コア１５６０Ａ～１５６０Ｄのセットによって共有されてもよい。たとえば、プロセッサ１５０７の一実施例は、２４個のコアを含み、各コアが、独自のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ、及び１２個の共有Ｌ３キャッシュを有する。この実施例では、１つ又は複数のＬ２及びＬ３のキャッシュが、２つの隣接するコアによって共有される。少なくとも一実施例では、プロセッサ１５０７及びグラフィックス加速モジュール１５４６は、システム・メモリ１５１４に接続されており、このシステム・メモリは、図１５Ａのプロセッサ・メモリ１５０１（１）～１５０１（Ｍ）を含んでもよい。
【0237】
少なくとも一実施例では、様々なキャッシュ１５６２Ａ～１５６２Ｄ、１５５６、及びシステム・メモリ１５１４に記憶されたデータ及び命令については、コヒーレンス・バス１５６４を介したコア間通信によって、コヒーレンスが維持される。少なくとも一実施例では、たとえば、各キャッシュは、特定のキャッシュ・ラインに対する読取り又は書込みを検出したことに応答して、コヒーレンス・バス１５６４を介して通信するために、それに関連付けられるキャッシュ・コヒーレンス論理／回路を有してもよい。少なくとも一実施例では、キャッシュ・アクセスを監視するために、コヒーレンス・バス１５６４を介してキャッシュ・スヌーピング・プロトコルが実装される。
【0238】
少なくとも一実施例では、プロキシ回路１５２５が、グラフィックス加速モジュール１５４６をコヒーレンス・バス１５６４に通信可能に結合して、グラフィックス加速モジュール１５４６がコア１５６０Ａ～１５６０Ｄのピアとしてキャッシュ・コヒーレンス・プロトコルに参加できるようにする。特に、少なくとも一実施例では、インターフェース１５３５は、高速リンク１５４０を介してプロキシ回路１５２５への接続を提供し、インターフェース１５３７は、グラフィックス加速モジュール１５４６を高速リンク１５４０に接続する。
【0239】
少なくとも一実施例では、アクセラレータ統合回路１５３６は、グラフィックス加速モジュール１５４６の複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の代わりに、キャッシュ管理、メモリ・アクセス、コンテンツ管理、及び割込み管理のサービスを提供する。少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）はそれぞれ、別個のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を備えてもよい。少なくとも一実施例では、グラフィックス加速モジュール１５４６の複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、図１８Ａ及び図１８Ｂに関連して考察したように、１つ又は複数のグラフィックス・コア１８００を含む。少なくとも一実施例では、或いは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、ＧＰＵの中に、グラフィックス実行ユニット、メディア処理エンジン（たとえば、ビデオ・エンコーダ／デコーダ）、サンプラ、及びブリット・エンジンなど、異なるタイプのグラフィックス処理エンジンを備えてもよい。少なくとも一実施例では、グラフィックス加速モジュール１５４６は、複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を有するＧＰＵであってもよく、又はグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、共通のパッケージ、ライン・カード、若しくはチップに集積された個々のＧＰＵであってもよい。
【0240】
少なくとも一実施例では、アクセラレータ統合回路１５３６は、仮想から物理のメモリ・トランスレーション（実効から実（ｅｆｆｅｃｔｉｖｅ－ｔｏ－ｒｅａｌ）のメモリ・トランスレーションとも呼ばれる）など、様々なメモリ管理機能を実行するためのメモリ管理ユニット（ＭＭＵ）１５３９、及びシステム・メモリ１５１４にアクセスするためのメモリ・アクセス・プロトコルを含む。少なくとも一実施例では、ＭＭＵ１５３９は、仮想／実効から物理／実へのアドレス・トランスレーションをキャッシュするためのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）（図示せず）も含むことができる。少なくとも一実施例では、キャッシュ１５３８は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）から効率的にアクセスできるように、コマンド及びデータを記憶することができる。少なくとも一実施例では、キャッシュ１５３８及びグラフィックス・メモリ１５３３（１）～１５３３（Ｍ）に記憶されたデータは、場合によりフェッチ・ユニット１５４４を使用して、コア・キャッシュ１５６２Ａ～１５６２Ｄ、１５５６、及びシステム・メモリ１５１４とコヒーレントに保たれる。述べたように、これは、キャッシュ１５３８及びメモリ１５３３（１）～１５３３（Ｍ）の代わりにプロキシ回路１５２５を介して（たとえば、プロセッサ・キャッシュ１５６２Ａ～１５６２Ｄ、１５５６におけるキャッシュ・ラインの修正／アクセスに関するアップデートをキャッシュ１５３８に送り、キャッシュ１５３８からのアップデートを受け取って）実現されてもよい。
【0241】
少なくとも一実施例では、レジスタ１５４５のセットが、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって実行されるスレッドのためのコンテキスト・データを記憶し、コンテキスト管理回路１５４８が、スレッド・コンテキストを管理する。たとえば、コンテキスト管理回路１５４８は、コンテキスト・スイッチ中に様々なスレッドのコンテキストを保存及び復元するために、保存及び復元の動作を実行してもよい（たとえば、ここで、第２のスレッドをグラフィックス処理エンジンによって実行できるように、第１のスレッドが保存され、第２のスレッドが記憶される）。たとえば、コンテキスト・スイッチ時に、コンテキスト管理回路１５４８は、現在のレジスタ値を（たとえば、コンテキスト・ポインタによって識別された）メモリの指定領域に記憶してもよい。次いで、コンテキストに戻るときに、コンテキスト管理回路１５４８がレジスタ値を復元してもよい。少なくとも一実施例では、割込み管理回路１５４７は、システム・デバイスから受け取った割込みを受け取り、処理する。
【0242】
少なくとも一実施例では、グラフィックス処理エンジン１５３１からの仮想／実効アドレスは、ＭＭＵ１５３９によってシステム・メモリ１５１４の実／物理アドレスにトランスレートされる。少なくとも一実施例では、アクセラレータ統合回路１５３６は、複数（たとえば、４個、８個、１６個）のグラフィックス・アクセラレータ・モジュール１５４６、及び／又は他のアクセラレータ・デバイスをサポートする。少なくとも一実施例では、グラフィックス・アクセラレータ・モジュール１５４６は、プロセッサ１５０７上で実行される単一のアプリケーション専用のものであってもよく、又は複数のアプリケーション間で共有されてもよい。少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のリソースが複数のアプリケーション又は仮想機械（ＶＭ）と共有される仮想化グラフィックス実行環境が存在する。少なくとも一実施例では、リソースは、「スライス」に細分化されてもよく、このスライスが、処理要件、並びにＶＭ及び／又はアプリケーションに関連付けられた優先度に基づき、異なるＶＭ及び／又はアプリケーションに割り振られる。
【0243】
少なくとも一実施例では、アクセラレータ統合回路１５３６は、グラフィックス加速モジュール１５４６のためのシステムへのブリッジとして実行し、アドレス・トランスレーション及びシステム・メモリのキャッシュ・サービスを提供する。さらに、少なくとも一実施例では、アクセラレータ統合回路１５３６は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の仮想化、割込み、及びメモリ管理をホスト・プロセッサが管理するための仮想化設備を提供してもよい。
【0244】
少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のハードウェア・リソースは、ホスト・プロセッサ１５０７が見る実アドレス空間に明示的にマッピングされるので、任意のホスト・プロセッサも、実効アドレス値を使用して、これらのリソースに直接アドレス指定することができる。少なくとも一実施例では、アクセラレータ統合回路１５３６の１つの機能は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を、システムにとって独立したユニットに見えるように物理的に分離することである。
【0245】
少なくとも一実施例では、１つ又は複数のグラフィックス・メモリ１５３３（１）～１５３３（Ｍ）はそれぞれ、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のそれぞれに結合され、Ｎ＝Ｍである 少なくとも一実施例では、グラフィックス処理メモ１５３３（１）～１５３３（Ｍ）は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のそれぞれによって処理される、命令及びデータを記憶することができる。少なくとも一実施例では、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）は、（積層ＤＲＡＭを含む）ＤＲＡＭ、ＧＤＤＲメモリ、（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。
【0246】
少なくとも一実施例では、高速リンク１５４０を介したデータ・トラフィックを低減するために、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）に記憶されるデータが、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって最も頻繁に使用されることになるデータであることを確実にし、好ましくはコア１５６０Ａ～１５６０Ｄによっては使用されない（少なくとも頻繁には使用されない）データであることを確実にするためのバイアス技法を使用することができる。同様に、少なくとも一実施例では、バイアス機構は、コアが必要とする（したがって、好ましくはグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）ではない）データを、キャッシュ１５６２Ａ～１５６２Ｄ、１５５６、及びシステム・メモリ１５１４の中に保つよう試みる。
【0247】
図１５Ｃは、アクセラレータ統合回路１５３６がプロセッサ１５０７内に一体化されている別の例示的な実施例を図示する。この実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、インターフェース１５３７及びインターフェース１５３５により、高速リンク１５４０を介して直接アクセラレータ統合回路１５３６と通信する（この場合も任意の形のバス又はインターフェース・プロトコルであり得る）。少なくとも一実施例では、アクセラレータ統合回路１５３６は、図１５Ｂに関して説明したのと同様の動作を実行してもよいが、コヒーレンス・バス１５６４及びキャッシュ１５６２Ａ～１５６２Ｄ、１５５６に近接していることを考えると、潜在的には、より高いスループットで実行してもよい。少なくとも一実施例では、アクセラレータ統合回路は、（グラフィックス加速モジュールの仮想化のない）専用プロセスのプログラミング・モデルと、（仮想化のある）共有プログラミング・モデルとを含む異なるプログラミング・モデルをサポートし、これらは、アクセラレータ統合回路１５３６によって制御されるプログラミング・モデルと、グラフィックス加速モジュール１５４６によって制御されるプログラミング・モデルとを含んでもよい。
【0248】
少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、単一のオペレーティング・システムの下で単一のアプリケーション又はプロセスに専用のものである。少なくとも一実施例では、単一のアプリケーションは、他のアプリケーション要求をグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に送り込み、ＶＭ／パーティション内で仮想化を実現することができる。
【0249】
少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、複数のＶＭ／アプリケーション・パーティションによって共有されてもよい。少なくとも一実施例では、共有モデルはシステム・ハイパーバイザを使用して、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を仮想化して、各オペレーティング・システムによるアクセスを可能にしてもよい。少なくとも一実施例では、ハイパーバイザのない単一パーティションのシステムでは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、オペレーティング・システムによって所有される。少なくとも一実施例では、オペレーティング・システムは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を仮想化して、各プロセス又はアプリケーションへのアクセスを提供することができる。
【0250】
少なくとも一実施例では、グラフィックス加速モジュール１５４６又は個々のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、プロセス・ハンドルを使用して、プロセス要素を選択する。少なくとも一実施例では、プロセス要素は、システム・メモリ１５１４に記憶されており、本明細書に記載の実効アドレスから実アドレスへのトランスレーション技法を使用してアドレス指定可能である。少なくとも一実施例では、プロセス・ハンドルは、ホスト・プロセスのコンテキストをグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に登録する（すなわち、プロセス要素リンク・リストにプロセス要素を追加するためのシステム・ソフトウェアをコールする）ときに、ホスト・プロセスに提供される実装固有の値であってもよい。少なくとも一実施例では、プロセス・ハンドルの下位１６ビットは、プロセス要素リンク・リスト内のプロセス要素のオフセットであってもよい。
【0251】
図１５Ｄは、例示的なアクセラレータ統合スライス１５９０を図示する。少なくとも一実施例では、「スライス」は、アクセラレータ統合回路１５３６の処理リソースの指定部分を備える。少なくとも一実施例では、システム・メモリ１５１４内のアプリケーション実効アドレス空間１５８２は、プロセス要素１５８３を記憶する。少なくとも一実施例では、プロセス要素１５８３は、プロセッサ１５０７上で実行されているアプリケーション１５８０からのＧＰＵ呼出し１５８１に応答して、記憶される。少なくとも一実施例では、プロセス要素１５８３は、対応するアプリケーション１５８０のプロセス状態を収容する。少なくとも一実施例では、プロセス要素１５８３に収容されたワーク記述子（ＷＤ）１５８４は、アプリケーションによって要求される単一のジョブとすることができ、又はジョブのキューに対するポインタを収容してもよい。少なくとも一実施例では、ＷＤ１５８４は、アプリケーションの実効アドレス空間１５８２におけるジョブ要求キューに対するポインタである。
【0252】
少なくとも一実施例では、グラフィックス加速モジュール１５４６及び／又は個々のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、システム内のプロセスのすべて又はサブセットによって共有されることが可能である。少なくとも一実施例では、プロセス状態を設定し、ＷＤ１５８４をグラフィックス加速モジュール１５４６に送信して、仮想化環境においてジョブを開始するためのインフラストラクチャが、含められてもよい。
【0253】
少なくとも一実施例では、専用のプロセス・プログラミング・モデルは、実装固有である。少なくとも一実施例では、このモデルでは、単一のプロセスが、グラフィックス加速モジュール１５４６又は個々のグラフィックス処理エンジン１５３１を所有する。少なくとも一実施例では、グラフィックス加速モジュール１５４６が単一のプロセスによって所有されるとき、グラフィックス加速モジュール１５４６が割り当てられたときに、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路１５３６を初期化し、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路１５３６を初期化する。
【0254】
少なくとも一実施例では、動作時、アクセラレータ統合スライス１５９０内のＷＤフェッチ・ユニット１５９１は、グラフィックス加速モジュール１５４６の１つ又は複数のグラフィックス処理エンジンによって行われることになるワークの表示を含む次のＷＤ１５８４をフェッチする。少なくとも一実施例では、図示してあるように、ＷＤ１５８４からのデータは、レジスタ１５４５に記憶され、ＭＭＵ１５３９、割込み管理回路１５４７、及び／又はコンテキスト管理回路１５４８によって使用されてもよい。たとえば、ＭＭＵ１５３９の一実施例は、ＯＳ仮想アドレス空間１５８５内のセグメント／ページ・テーブル１５８６にアクセスするためのセグメント／ページ・ウォーク回路を含む。少なくとも一実施例では、割込み管理回路１５４７は、グラフィックス加速モジュール１５４６から受け取った割込みイベント１５９２を処理してもよい。少なくとも一実施例では、グラフィックス動作を実行するとき、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって生成された実効アドレス１５９３は、ＭＭＵ１５３９によって実アドレスにトランスレートされる。
【0255】
少なくとも一実施例では、レジスタ１５４５が、各グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）、及び／又はグラフィックス加速モジュール１５４６について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化されてもよい。少なくとも一実施例では、これらの複製されたレジスタのそれぞれは、アクセラレータ統合スライス１５９０に含まれてもよい。ハイパーバイザによって初期化されてもよい例示的なレジスタを、表１に示す。
【表1】
【0256】
オペレーティング・システムによって初期化されてもよい例示的なレジスタを、表２に示す。
【表2】
【0257】
少なくとも一実施例では、各ＷＤ１５８４は、特定のグラフィックス加速モジュール１５４６及び／又はグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に固有のものである。少なくとも一実施例では、ＷＤ１５８４は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）がワークを行うために必要とするすべての情報を収容し、又は完了すべきワークのコマンド・キューをアプリケーションがセットアップした場所であるメモリ・ロケーションに対するポインタとすることができる。
【0258】
図１５Ｅは、共有モデルの例示的な一実施例のさらなる詳細事項を図示する。この実施例は、プロセス要素リスト１５９９が記憶されているハイパーバイザ実アドレス空間１５９８を含む。少なくとも一実施例では、ハイパーバイザ実アドレス空間１５９８は、オペレーティング・システム１５９５のグラフィックス加速モジュール・エンジンを仮想化するハイパーバイザ１５９６を介してアクセス可能である。
【0259】
少なくとも一実施例では、共有プログラミング・モデルは、システム内のすべて又はサブセットのパーティションからのすべて又はサブセットのプロセスが、グラフィックス加速モジュール１５４６を使用できるようにする。少なくとも一実施例では、グラフィックス加速モジュール１５４６が複数のプロセス及びパーティションによって共有される２つのプログラミング・モデルが、つまり時間スライス共有及びグラフィックス指定共有（ｇｒａｐｈｉｃｓ－ｄｉｒｅｃｔｅｄ ｓｈａｒｅｄ）が存在する。
【0260】
少なくとも一実施例では、このモデルでは、システム・ハイパーバイザ１５９６がグラフィックス加速モジュール１５４６を所有しており、その機能をすべてのオペレーティング・システム１５９５にとって利用可能にする。少なくとも一実施例では、システム・ハイパーバイザ１５９６による仮想化をグラフィックス加速モジュール１５４６がサポートするために、グラフィックス加速モジュール１５４６は、（１）アプリケーションのジョブ要求は自律でなくてはならず（すなわち、ジョブ間で状態を維持する必要はなく）、又はグラフィックス加速モジュール１５４６が、コンテキストの保存及び復元の機構を提供しなくてはならない、（２）アプリケーションのジョブ要求は、あらゆるトランスレーション誤りも含めて指定された時間量で完了するようグラフィックス加速モジュール１５４６によって保証され、又はグラフィックス加速モジュール１５４６が、ジョブの処理をプリエンプションする機能を提供する、及び（３）グラフィックス加速モジュール１５４６は、指定の共有プログラミング・モデルで動作しているとき、プロセス間で公平性が保証されなくてはならないなどのいくつかの要件に準拠してもよい。
【0261】
少なくとも一実施例では、アプリケーション１５８０は、グラフィックス加速モジュールのタイプ、ワーク記述子（ＷＤ）、権限マスク・レジスタ（ＡＭＲ）値、及びコンテキスト保存／復元エリア・ポインタ（ＣＳＲＰ）を伴って、オペレーティング・システム１５９５のシステム・コールを行う必要がある。少なくとも一実施例では、グラフィックス加速モジュールのタイプは、システム・コールで目的とする加速機能を記述している。少なくとも一実施例では、グラフィックス加速モジュールのタイプは、システム固有値であってもよい。少なくとも一実施例では、ＷＤは、グラフィックス加速モジュール１５４６のために特にフォーマット化されており、グラフィックス加速モジュール１５４６のコマンド、ユーザ定義の構造に対する実効アドレス・ポインタ、コマンドのキューに対する実効アドレス・ポインタ、又はグラフィックス加速モジュール１５４６によって行われるワークを記述するための任意の他のデータ構造の形とすることができる。
【0262】
少なくとも一実施例では、ＡＭＲ値は、現在のプロセスに使用するためのＡＭＲ状態である。少なくとも一実施例では、オペレーティング・システムに渡される値は、ＡＭＲをセッティングするアプリケーションと同様である。少なくとも一実施例では、アクセラレータ統合回路１５３６（図示せず）及びグラフィックス加速モジュール１５４６の実装形態が、ユーザ権限マスク・オーバーライド・レジスタ（ＵＡＭＯＲ）をサポートしていない場合、オペレーティング・システムは、ＡＭＲ値に現在のＵＡＭＯＲ値を適用してから、ハイパーバイザ・コールにＡＭＲを渡してもよい。少なくとも一実施例では、ハイパーバイザ１５９６は、任意選択で、現在の権限マスク・オーバーライド・レジスタ（ＡＭＯＲ）値を適用してから、ＡＭＲをプロセス要素１５８３に入れてもよい。少なくとも一実施例では、ＣＳＲＰは、グラフィックス加速モジュール１５４６がコンテキスト状態を保存及び復元するためのアプリケーションの実効アドレス空間１５８２内のエリアの実効アドレスを収容するレジスタ１５４５のうちの１つである。少なくとも一実施例では、ジョブ間で、又はジョブがプリエンプションされるときに、いかなる状態も保存する必要のない場合は、このポインタは任意選択である。少なくとも一実施例では、コンテキスト保存／復元エリアは、ピン留めされたシステム・メモリであってもよい。
【0263】
システム・コールを受け取ると、オペレーティング・システム１５９５は、アプリケーション１５８０が登録済みであり、グラフィックス加速モジュール１５４６を使用する権限が与えられていることを検証してもよい。少なくとも一実施例では、次いで、オペレーティング・システム１５９５は、表３に示す情報を伴ってハイパーバイザ１５９６にコールする。
【表3】
【0264】
少なくとも一実施例では、ハイパーバイザ・コールを受け取ると、ハイパーバイザ１５９６は、オペレーティング・システム１５９５が登録済みであり、グラフィックス加速モジュール１５４６を使用する権限が与えられていることを検証する。少なくとも一実施例では、次いでハイパーバイザ１５９６は、プロセス要素１５８３を、対応するグラフィックス加速モジュール１５４６のタイプのプロセス要素リンク・リストに入れる。少なくとも一実施例では、プロセス要素は、表４に示す情報を含んでもよい。
【表4】
【0265】
少なくとも一実施例では、ハイパーバイザは、複数のアクセラレータ統合スライス１５９０のレジスタ１５４５を初期化する。
【0266】
図１５Ｆに示すように、少なくとも一実施例では、物理プロセッサ・メモリ１５０１（１）～１５０１（Ｎ）及びＧＰＵメモリ１５２０（１）～１５２０（Ｎ）にアクセスするために使用される共通の仮想メモリ・アドレス空間を介してアドレス指定可能である統合メモリが使用される。この実装形態では、ＧＰＵ１５１０（１）～１５１０（Ｎ）で実行される動作は、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）にアクセスするのと同じ仮想／実効メモリ・アドレス空間を利用し、且つその逆も同様であり、それによりプログラマビリティが簡単になる。少なくとも一実施例では、仮想／実効アドレス空間の第１の部分はプロセッサ・メモリ１５０１（１）に割り振られ、第２の部分は第２のプロセッサ・メモリ１５０１（Ｎ）に割り振られ、第３の部分はＧＰＵメモリ１５２０（１）に割り振られるというように続く。少なくとも一実施例では、仮想／実効メモリ空間全体（実効アドレス空間と呼ばれることもある）は、これによりプロセッサ・メモリ１５０１及びＧＰＵメモリ１５２０のそれぞれにわたって分配されて、仮想アドレスが物理メモリにマッピングされた状態で、任意のプロセッサ又はＧＰＵが、任意の物理メモリにアクセスできるようになる。
【0267】
少なくとも一実施例では、ＭＭＵ１５３９Ａ～１５３９Ｅのうちの１つ又は複数の中のバイアス／コヒーレンス管理回路１５９４Ａ～１５９４Ｅは、１つ又は複数のホスト・プロセッサ（たとえば、１５０５）のキャッシュとＧＰＵ１５１０のキャッシュとの間でキャッシュ・コヒーレンスを確保し、バイアス技法を実装して、ある特定のタイプのデータが記憶されるべき物理メモリを示す。少なくとも一実施例では、バイアス／コヒーレンス管理回路１５９４Ａ～１５９４Ｅの複数のインスタンスが図１５Ｆに図示されるが、バイアス／コヒーレンス回路は、１つ又は複数のホスト・プロセッサ１５０５のＭＭＵ内に実装されてもよく、且つ／又はアクセラレータ統合回路１５３６内に実装されてもよい。
【0268】
一実施例は、ＧＰＵメモリ１５２０をシステム・メモリの一部としてマッピングできるようにし、共有仮想メモリ（ＳＶＭ）技法を使用してアクセス可能にすることができるが、完全なシステム・キャッシュ・コヒーレンスに関連付けられる性能の低下が生じることはない。少なくとも一実施例では、ＧＰＵメモリ１５２０が、面倒なキャッシュ・コヒーレンス・オーバーヘッドなく、システム・メモリとしてアクセス可能であることにより、ＧＰＵオフロードのための有益な動作環境が提供される。少なくとも一実施例では、この構成によって、従来のＩ／Ｏ ＤＭＡデータ・コピーのオーバーヘッドがなくても、ホスト・プロセッサ１５０５のソフトウェアがオペランドを設定し、計算結果にアクセスすることが可能になる。少なくとも一実施例では、こうした従来のコピーは、ドライバ・コール、割込み、及びメモリ・マップドＩ／Ｏ（ＭＭＩＯ）アクセスを必要とし、これらはすべて、単純なメモリ・アクセスより非効率的である。少なくとも一実施例では、キャッシュ・コヒーレンス・オーバーヘッドなしでＧＰＵメモリ１５２０にアクセスできることが、オフロードされた計算の実行時間に不可欠であり得る。少なくとも一実施例では、たとえば、かなりのストリーミング書込みメモリ・トラフィックがある場合には、キャッシュ・コヒーレンス・オーバーヘッドは、ＧＰＵ１５１０が見る有効な書込み帯域幅を大幅に低減することがある。少なくとも一実施例では、オペランド設定の効率、結果へのアクセスの効率、及びＧＰＵ計算の効率は、ＧＰＵオフロードの有効性を判定する際に役立つことがある。
【0269】
少なくとも一実施例では、ＧＰＵバイアス及びホスト・プロセッサ・バイアスの選択は、バイアス・トラッカー・データ構造によって決められる。少なくとも一実施例では、たとえばバイアス・テーブルが使用されてもよく、このテーブルは、ＧＰＵ付きメモリ・ページ当たり１ビット又は２ビットを含むページ粒度構造であってもよい（たとえば、メモリ・ページの粒度で制御されてもよい）。少なくとも一実施例では、バイアス・テーブルは、（たとえば、バイアス・テーブルの頻繁に使用された／最近使用されたエントリをキャッシュするための）バイアス・キャッシュがＧＰＵ１５１０にある状態又はない状態で、１つ又は複数のＧＰＵメモリ１５２０の奪われたメモリ範囲（ｓｔｏｌｅｎ ｍｅｍｏｒｙ ｒａｎｇｅ）において実装されてもよい。或いは、少なくとも一実施例では、バイアス・テーブル全体が、ＧＰＵ内に維持されてもよい。
【0270】
少なくとも一実施例では、ＧＰＵ付きメモリ１５２０への各アクセスに関連付けられたバイアス・テーブルのエントリが、ＧＰＵメモリへの実際のアクセスより先にアクセスされて、以下の動作を生じさせる。少なくとも一実施例では、ＧＰＵバイアス内での自らのページを見いだすＧＰＵ１５１０からのローカル要求が、対応するＧＰＵメモリ１５２０に直接転送される。少なくとも一実施例では、ホスト・バイアスにおいて自らのページを見いだすＧＰＵからのローカル要求は、（たとえば、上述した高速リンクを介して）プロセッサ１５０５に転送される。少なくとも一実施例では、要求されたページをホスト・プロセッサ・バイアスにおいて見いだすプロセッサ１５０５からの要求は、通常のメモリ読取りと同様に要求を完了させる。或いは、ＧＰＵバイアス化ページに向けられた要求は、ＧＰＵ１５１０に転送されてもよい。少なくとも一実施例では、次いでＧＰＵは、現在ページを使用していない場合、ホスト・プロセッサ・バイアスにページを移行してもよい。少なくとも一実施例では、ページのバイアス状態は、ソフトウェア・ベースの機構、ハードウェア支援型ソフトウェア・ベースの機構のいずれかによって、又は限られた事例のセットについては、単にハードウェア・ベースの機構によって、変更することができる。
【0271】
少なくとも一実施例では、バイアス状態を変更するための１つの機構は、ＡＰＩコール（たとえば、ＯｐｅｎＣＬ）を利用し、このＡＰＩコールが、ＧＰＵのデバイス・ドライバをコールし、このデバイス・ドライバが、ＧＰＵにメッセージを送って（又はコマンド記述子をキューに加えて）、バイアス状態を変更し、一部の移行については、ホストにおいてキャッシュ・フラッシング動作を実行するよう、ＧＰＵを導く。少なくとも一実施例では、キャッシュ・フラッシング動作は、ホスト・プロセッサ１５０５のバイアスからＧＰＵバイアスへの移行のために使用されるが、反対向きの移行には使用されない。
【0272】
少なくとも一実施例では、キャッシュ・コヒーレンスは、ホスト・プロセッサ１５０５によってキャッシュできないＧＰＵバイアス化ページを一時的にレンダリングすることによって、維持される。少なくとも一実施例では、これらのページにアクセスするために、プロセッサ１５０５は、ＧＰＵ１５１０からのアクセスを要求してもよく、ＧＰＵ１５１０は、すぐにアクセスを許可してもよく、又は許可しなくてもよい。少なくとも一実施例では、したがって、プロセッサ１５０５とＧＰＵ１５１０との間の通信を低減するために、ＧＰＵバイアス化ページが、ＧＰＵによって要求されるが、ホスト・プロセッサ１５０５によっては要求されないように確実にすること、又はその逆にすることが有益である。
【0273】
【0274】
少なくとも一実施例では、図１５Ａ～図１５Ｆに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１５Ａ～図１５Ｆに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１５Ａ～図１５Ｆに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0275】
図１６は、本明細書に記載の様々な実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを図示する。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、若しくは汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。
【0276】
図１６は、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができる例示的なシステム・オン・チップ集積回路１６００を示すブロック図である。少なくとも一実施例では、集積回路１６００は、１つ又は複数のアプリケーション・プロセッサ１６０５（たとえば、ＣＰＵ）、少なくとも１つのグラフィックス・プロセッサ１６１０を含み、さらに、画像プロセッサ１６１５及び／又はビデオ・プロセッサ１６２０を含んでもよく、これらのいずれもが、モジュール式ＩＰコアであってもよい。少なくとも一実施例では、集積回路１６００は、ＵＳＢコントローラ１６２５、ＵＡＲＴコントローラ１６３０、ＳＰＩ／ＳＤＩＯコントローラ１６３５、及びＩ２２Ｓ／Ｉ２２Ｃコントローラ１６４０を含む周辺装置又はバス論理を含む。少なくとも一実施例では、集積回路１６００は、ハイ・デフィニション・マルチメディア・インターフェース（ＨＤＭＩ（登録商標）：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ（登録商標））コントローラ１６５０及びモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ）ディスプレイ・インターフェース１６５５のうちの１つ又は複数に結合されるディスプレイ・デバイス１６４５を含むことができる。少なくとも一実施例では、フラッシュ・メモリ及びフラッシュ・メモリ・コントローラを含むフラッシュ・メモリ・サブシステム１６６０によって、ストレージが提供されてもよい。少なくとも一実施例では、ＳＤＲＡＭ又はＳＲＡＭメモリ・デバイスにアクセスするために、メモリ・コントローラ１６６５を介してメモリ・インターフェースが提供されてもよい。少なくとも一実施例では、いくつかの集積回路はさらに、組み込みセキュリティ・エンジン１６７０を含む。
【0277】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路１６００において使用されてもよい。
【0278】
少なくとも一実施例では、図１６に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１６に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１６に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0279】
図１７Ａ～図１７Ｂは、本明細書に記載の様々実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを図示する。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、若しくは汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。
【0280】
図１７Ａ～図１７Ｂは、本明細書に記載の実施例による、ＳｏＣ内で使用するための例示的なグラフィックス・プロセッサを示すブロック図である。図１７Ａは、少なくとも一実施例による、１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路の例示的なグラフィックス・プロセッサ１７１０を図示する。図１７Ｂは、少なくとも一実施例による、１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路のさらなる例示的なグラフィックス・プロセッサ１７４０を図示する。少なくとも一実施例では、図１７Ａのグラフィックス・プロセッサ１７１０は、低電力グラフィックス・プロセッサ・コアである。少なくとも一実施例では、図１７Ｂのグラフィックス・プロセッサ１７４０は、高性能グラフィックス・プロセッサ・コアである。少なくとも一実施例では、グラフィックス・プロセッサ１７１０、１７４０のそれぞれは、図１６のグラフィックス・プロセッサ１６１０の変形形態とすることができる。
【0281】
少なくとも一実施例では、グラフィックス・プロセッサ１７１０は、頂点プロセッサ１７０５と、１つ又は複数のフラグメント・プロセッサ１７１５Ａ～１７１５Ｎ（たとえば、１７１５Ａ、１７１５Ｂ、１７１５Ｃ、１７１５Ｄ～１７１５Ｎ－１、及び１７１５Ｎ）とを含む。少なくとも一実施例では、グラフィックス・プロセッサ１７１０は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ１７０５は、頂点シェーダ・プログラムのための動作を実行するように最適化され、一方、１つ又は複数のフラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、フラグメント又はピクセルのシェーダ・プログラムのためのフラグメント（たとえば、ピクセル）シェーディング動作を実行する。少なくとも一実施例では、頂点プロセッサ１７０５は、３Ｄグラフィックス・パイプラインの頂点処理ステージを実行し、プリミティブ及び頂点データを生成する。少なくとも一実施例では、フラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、頂点プロセッサ１７０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイスに表示されるフレーム・バッファを生成する。少なくとも一実施例では、フラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、ＯｐｅｎＧＬのＡＰＩにおいて提供されるフラグメント・シェーダ・プログラムを実行するように最適化され、ＯｐｅｎＧＬのＡＰＩは、Ｄｉｒｅｃｔ ３Ｄ ＡＰＩにおいて提供されるピクセル・シェーダ・プログラムと同様の動作を実行するために使用されてもよい。
【0282】
少なくとも一実施例では、グラフィックス・プロセッサ１７１０はさらに、１つ又は複数のメモリ管理ユニット（ＭＭＵ）１７２０Ａ～１７２０Ｂ、キャッシュ１７２５Ａ～１７２５Ｂ、及び回路相互接続１７３０Ａ～１７３０Ｂを含む。少なくとも一実施例では、１つ又は複数のＭＭＵ１７２０Ａ～１７２０Ｂは、頂点プロセッサ１７０５及び／又はフラグメント・プロセッサ１７１５Ａ～１７１５Ｎを含め、グラフィックス・プロセッサ１７１０のための仮想から物理のアドレス・マッピングを提供し、それらは、１つ又は複数のキャッシュ１７２５Ａ～１７２５Ｂに記憶された頂点又は画像／テクスチャのデータに加えて、メモリに記憶された頂点又は画像／テクスチャのデータを参照してもよい。少なくとも一実施例では、１つ又は複数のＭＭＵ１７２０Ａ～１７２０Ｂは、図１６の１つ若しくは複数のアプリケーション・プロセッサ１６０５、画像プロセッサ１６１５、及び／又はビデオ・プロセッサ１６２０に関連付けられた１つ若しくは複数のＭＭＵを含む、システム内の他のＭＭＵと同期されてもよく、それにより各プロセッサ１６０５～１６２０は、共有の又は統合された仮想メモリ・システムに参加することができる。少なくとも一実施例では、１つ又は複数の回路相互接続１７３０Ａ～１７３０Ｂは、グラフィックス・プロセッサ１７１０が、ＳｏＣの内部バスを介して、又は直接接続を介して、ＳｏＣ内の他のＩＰコアとインターフェースをとることができる。
【0283】
少なくとも一実施例では、図１７Ｂに示すように、グラフィックス・プロセッサ１７４０は、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎ（たとえば、１７５５Ａ、１７５５Ｂ、１７５５Ｃ、１７５５Ｄ、１７５５Ｅ、１７５５Ｆ～１７５５Ｎ－１、及び１７５５Ｎ）を含み、このシェーダ・コアは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び／又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラム可能なシェーダ・コードを実行することができる統合されたシェーダ・コア・アーキテクチャを提供する。少なくとも一実施例では、シェーダ・コアの数は変えることができる。少なくとも一実施例では、グラフィックス・プロセッサ１７４０は、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ１７４５と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンのレンダリング動作が画像空間において細分化される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット１７５８とを含む。
【0284】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィック・プロセッサ１７１０及び１７４０において使用されてもよい。
【0285】
少なくとも一実施例では、図１７Ａ～図１７Ｂに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１７Ａ～図１７Ｂに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１７Ａ～図１７Ｂに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0286】
図１８Ａ～図１８Ｂは、本明細書に記載の実施例による、さらなる例示的なグラフィックス・プロセッサ論理を図示する。少なくとも一実施例では、図１８Ａ～図１８Ｂに関連して図示される、及び説明されるコンポーネントは、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、ＳｏＣ、又は他のタイプのプロセッサなど、単一のシステムに統合される。図１８Ａは、グラフィックス・コア１８００を図示し、このグラフィックス・コア１８００は、少なくとも一実施例では図１６のグラフィックス・プロセッサ１６１０に含められてもよく、少なくとも一実施例では図１７Ｂのように、統合されたシェーダ・コア１７５５Ａ～１７５５Ｎであってもよい。図１８Ｂは、少なくとも一実施例におけるマルチ・チップ・モジュールに導入するのに適した高並列の汎用グラフィックス・プロセッシング・ユニット（「グラフィックス・プロセッシング・ユニット」とも呼ばれてもよい「ＧＰＧＰＵ」）１８３０を図示する。少なくとも一実施例では、グラフィックス・プロセッシング・ユニット１８３０は、グラフィックス・プロセッサを含むＧＰＧＰＵである。少なくとも一実施例では、集積回路１６００は、グラフィックス・コア１８００を含み、たとえば集積回路を形成する、並びに／又はそのような集積回路及び／若しくはＳｏＣが本明細書に記載の動作を実行するＳｏＣを形成する。
【0287】
少なくとも一実施例では、グラフィックス・コア１８００は、共有命令キャッシュ１８０２、テクスチャ・ユニット１８１８、及びキャッシュ／共有メモリ１８２０（たとえば、Ｌ１、Ｌ２、Ｌ３、ラスト・レベル・キャッシュ、又は他のキャッシュを含む）を含み、これらは、グラフィックス・コア１８００内の実行リソースに共通である。少なくとも一実施例では、グラフィックス・コア１８００は、複数のスライス１８０１Ａ～１８０１Ｎ、又はコアごとのパーティションを含むことができ、グラフィックス・プロセッサは、グラフィックス・コア１８００の複数のインスタンスを含むことができる。少なくとも一実施例では、各スライス１８０１Ａ～１８０１Ｎは、グラフィックス・コア１８００を指す。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、スライス１８０１Ａ～１８０１Ｎの一部であるサブスライスを有する。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、他のスライスとは独立であるか、又は他のスライスに従属的である。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、ローカル命令キャッシュ１８０４Ａ～１８０４Ｎ、スレッド・スケジューラ（シーケンサ）１８０６Ａ～１８０６Ｎ、スレッド・ディスパッチャ１８０８Ａ～１８０８Ｎ、及びレジスタのセット１８１０Ａ～１８１０Ｎを含むサポート論理を含むことができる。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、追加機能ユニット（ＡＦＵ１８１２Ａ～１８１２Ｎ）、浮動小数点ユニット（ＦＰＵ１８１４Ａ～１８１４Ｎ）、整数算術論理演算ユニット（ＡＬＵ１８１６Ａ～１８１６Ｎ）、アドレス計算ユニット（ＡＣＵ１８１３Ａ～１８１３Ｎ）、倍精度浮動小数点ユニット（ＤＰＦＰＵ１８１５Ａ～１８１５Ｎ）、及び行列処理ユニット（ＭＰＵ１８１７Ａ～１８１７Ｎ）のセットを含むことができる。少なくとも一実施例では、ＭＰＵ１８１７Ａ～１８１７Ｎは、行列エンジンと称される。
【0288】
少なくとも一実施例では、各スライス１８０１Ａ～１８０１Ｎは、浮動小数点及び整数ベクトル演算用の１つ又は複数のエンジン、並びにＡＩ、機械学習、又は大きなデータセット・ワークロードにおいて畳み込み及び行列演算を加速させるための１つ又は複数のエンジンを含む。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、ベクトルを計算するために（たとえば、ベクトルに対する数理演算を計算する）１つ又は複数のベクトル・エンジンを含む。少なくとも一実施例では、ベクトル・エンジンは、１６ビット浮動小数点（「ＦＰ１６」とも称される）、３２ビット浮動小数点（「ＦＰ３２」とも称される）、又は６４ビット浮動小数点（「ＦＰ６４」とも称される）で、ベクトル演算を計算することができる。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、行列／テンソル演算を計算するために１６の行列数理ユニットと対になった１６のベクトル・エンジンを含み、ベクトル・エンジンと数理ユニットは、行列拡張を介して明らかにされる。少なくとも一実施例では、スライス、処理ユニットの処理リソースのうち、指定された部分、たとえば、１６コア及びレイ・トレーシング・ユニット、又は８コア、スレッド・スケジューラ、スレッド・ディスパッチャ、及びプロセッサのための追加的な機能ユニット。少なくとも一実施例では、グラフィックス・コア１８００は、たとえばテンソル演算を計算する際、行列演算を計算するために、１つ又は複数の行列エンジンを含む。
【0289】
少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、レイ・トレーシング演算を計算するために、１つ又は複数のレイ・トレーシング・ユニットを含む（たとえば、スライス１８０１Ａ～１８０１Ｎのスライス１つ当たり１６のレイ・トレーシング・ユニット）。少なくとも一実施例では、レイ・トレーシング・ユニットは、レイ・トラバーサル、三角交差、バウンディング・ボックス交差、又は他のレイ・トレーシング演算を計算する。
【0290】
少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、メディア・スライスを含み、このメディア・スライスは、データをエンコード、デコード、及び／若しくはトランスコードする；データをスケーリング及び／若しくはフォーマット変換する；並びに／又はビデオ・データに対してビデオ品質演算を実行する。
【0291】
少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、Ｌ２キャッシュ及びメモリ・ファブリック、リンク・コネクタ、広帯域幅メモリ（ＨＢＭ）（たとえば、ＨＢＭ２ｅ、ＨＤＭ３）スタック、並びにメディア・エンジンにリンクされる。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、複数のコア（たとえば、１６コア）及び各コアと対にされた複数のレイ・トレーシング・ユニット（たとえば、１６）を含む。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、１つ又は複数のＬ１キャッシュを有する。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、以下を含む：１つ又は複数のベクトル・エンジン；命令を記憶する１つ又は複数の命令キャッシュ；データをキャッシュする１つ又は複数のＬ１キャッシュ；データ、たとえば命令に対応するデータを記憶する１つ又は複数の共有ローカル・メモリ（ＳＬＭ：ｓｈａｒｅｄ ｌｏｃａｌ ｍｅｍｏｒｙ）；データをサンプリングする１つ又は複数のサンプラ；レイ・トレーシング演算を実行する１つ又は複数のレイ・トレーシング・ユニット；ジオメトリ・パイプラインにおいて演算を実行する、及び／又は幾何学変換を頂点若しくはポリゴンに適用する１つ又は複数のジオメトリ；画像をベクタ・グラフィックス・フォーマット（たとえば、形状）で記述し、それをラスタ画像に転換する（たとえば、共に表示されると形状によって表現される画像を作り出す一連のピクセル、ドット、又は線）、１つ又は複数のラスタライザ；データをバッファするための１つ又は複数の階層深度バッファ（Ｈｉｚ：Ｈｉｅｒａｒｃｈｉｃａｌ Ｄｅｐｔｈ Ｂｕｆｆｅｒ）；並びに／或いは１つ又は複数のピクセル・バックエンド。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、メモリ・ファブリック、たとえばＬ２キャッシュを含む。
【0292】
少なくとも一実施例では、ＦＰＵ１８１４Ａ～１８１４Ｎは、単精度（３２ビット）及び半精度（１６ビット）の浮動小数点演算を実行することができ、ＤＰＦＰＵ１８１５Ａ～１８１５Ｎは、倍精度（６４ビット）の浮動小数点演算を実行する。少なくとも一実施例では、ＡＬＵ１８１６Ａ～１８１６Ｎは、８ビット、１６ビット、及び３２ビットの精度で可変精度の整数演算を実行することができ、混合精度の演算のために構成されることが可能である。少なくとも一実施例では、ＭＰＵ１８１７Ａ～１８１７Ｎも、半精度浮動小数点及び８ビット整数演算を含む混合精度の行列演算のために構成されることが可能である。少なくとも一実施例では、ＭＰＵ１８１７～１８１７Ｎは、汎用行列－行列乗算（ＧＥＭＭ：ｇｅｎｅｒａｌ ｍａｔｒｉｘ ｔｏ ｍａｔｒｉｘ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）の加速をサポートできるようにすることを含め、機械学習アプリケーション・フレームワークを加速するための様々な行列演算を実行することができる。少なくとも一実施例では、ＡＦＵ１８１２Ａ～１８１２Ｎは、三角関数演算（たとえば、サイン、コサインなど）を含む、浮動小数点ユニット又は整数ユニットにサポートされていない追加の論理演算を実行することができる。
【0293】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・コア１８００において使用されてもよい。
【0294】
少なくとも一実施例では、グラフィックス・コア１８００は、スイッチに取り付けられる相互接続及びリンク・ファブリック・サブレイヤ、並びに複数のグラフィックス・プロセッサ１８００にわたって互いに接着することなくロード／ストア・ユニット（ＬＳＵ：ｌｏａｄ／ｓｔｏｒｅ ｕｎｉｔ）、データ転送ユニット、及び同期セマンティクスを用いて複数のグラフィックス・プロセッサ１８００（たとえば、８）を内部リンクできるようにするＧＰＵ－ＧＰＵブリッジを含む。少なくとも一実施例では、相互接続は、標準相互接続（たとえば、ＰＣＩｅ）又はその何らかの組合せを含む。
【0295】
少なくとも一実施例では、グラフィックス・コア１８００は、複数のタイルを含む。少なくとも一実施例では、タイルは、個々のダイ、又は個々のダイが相互接続によって接続され得る（たとえば、埋め込み型マルチダイ相互接続ブリッジ（ＥＭＩＢ：ｅｍｂｅｄｄｅｄ ｍｕｌｔｉ－ｄｉｅ ｉｎｔｅｒｃｏｎｎｅｃｔ ｂｒｉｄｇｅ））１つ若しくは複数のダイである。少なくとも一実施例では、グラフィックス・コア１８００は、コンピュート・タイル、メモリ・タイル（たとえば、この場合メモリ・タイルは、Ｒａｍｂｏタイルなど異なるタイル又は異なるチップセットによって排他的にアクセスされ得る）、基板タイル、ベース・タイル、ＨＭＢタイル、リンク・タイル、及びＥＭＩＢタイルを含み、すべてのタイルは、ＧＰＵの一部としてグラフィックス・コア１８００内に共にパッケージ化される。少なくとも一実施例では、グラフィックス・コア１８００は、単一のパッケージに複数のタイルを含むことができる（「マルチ・タイル・パッケージ」とも称される）。少なくとも一実施例では、コンピュート・タイルは８グラフィックス・コア１８００、Ｌ１キャッシュを含むことができる。ベース・タイルは、ＰＣＩｅ５．０、ＨＢＭ２ｅ、ＭＤＦＩ及びＥＭＩＢとのホスト・インターフェースを有することができ、リンク・タイルは埋め込み型スイッチとの８リンク、８ポートを有することができる。少なくとも一実施例では、タイルは、フェイスツーフェイス（Ｆ２Ｆ）のチップオンチップ接合で、ファインピッチ化された、３６ミクロンのマイクロバンプ（たとえば、銅ピラー）を通じて接続される。少なくとも一実施例では、グラフィックス・コア１８００は、メモリを含み、複数のタイルからアクセス可能なタイルである、メモリ・ファブリックを含む。少なくとも一実施例では、グラフィックス・コア１８００は、それ自身のハードウェア・コンテキストを、メモリに記憶、アクセス、又はロードし、このときハードウェア・コンテキストは、プロセス再開前にレジスタからロードされる１組のデータであり、ハードウェア・コンテキストは、ハードウェアの状態（たとえば、ＧＰＵの状態）を示すことができる。
【0296】
少なくとも一実施例では、グラフィックス・コア１８００は、シリアルなデータ・ストリームを並列なデータ・ストリームに転換する、又は並列なデータ・ストリームをシリアルなデータ・ストリームに転換する、シリアライザ／デシリアライザ（ＳＥＲＤＥＳ：ｓｅｒｉａｌｉｚｅｒ／ｄｅｓｅｒｉａｌｉｚｅｒ）回路を含む。
【0297】
少なくとも一実施例では、グラフィックス・コア１８００は、高速でコヒーレントな統合ファブリック（ＧＰＵツーＧＰＵ）、ロード／ストア・ユニット、バルク・データ転送及び同期セマンティクス、並びに埋め込み型スイッチを通じて接続されたＧＰＵを含み、このときＧＰＵ－ＧＰＵブリッジは、コントローラによって制御される。
【0298】
少なくとも一実施例では、グラフィックス・コア１８００は、ＡＰＩを実行し、このとき前記ＡＰＩは、グラフィックス・コア１８００のハードウェアを抽象化し、命令を用いてライブラリにアクセスして、数理演算（たとえば、マス・カーネル・ライブラリ）、ディープ・ニューラル・ネットワーク演算（たとえば、ディープ・ニューラル・ネットワーク・ライブラリ）、ベクトル演算、コレクティブ・コミュニケーション、スレッド・ビルディング・ブロック、ビデオ処理、データ・アナリティクス・ライブラリ、及び／又はレイ・トレーシング演算を実行する。
【0299】
図１８Ｂは、ＧＰＧＰＵ１８３０を図示し、これは、少なくとも一実施例において、グラフィックス・プロセッシング・ユニットのアレイによる高並列の計算動作を実行可能にするように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ＧＰＧＰＵ１８３０の他のインスタンスに直接リンクされて、ディープ・ニューラル・ネットワークの訓練スピードを向上させるために複数のＧＰＵクラスタを生成することができる。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ホスト・プロセッサとの接続を可能にするためのホスト・インターフェース１８３２を含む。少なくとも一実施例では、ホスト・インターフェース１８３２は、ＰＣＩエクスプレス・インターフェースである。少なくとも一実施例では、ホスト・インターフェース１８３２は、ベンダー固有の通信インターフェース又は通信ファブリックとすることができる。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ホスト・プロセッサからコマンドを受け取り、グローバル・スケジューラ１８３４（スレッド・シーケンサ及び／又は非同期コンピュート・エンジンとも呼ばれてもよい）を使用して、これらのコマンドに関連付けられた実行スレッドを、コンピュート・クラスタ１８３６Ａ～１８３６Ｈのセットに分配する。少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈは、キャッシュ・メモリ１８３８を共有する。少なくとも一実施例では、キャッシュ・メモリ１８３８は、コンピュート・クラスタ１８３６Ａ～１８３６Ｈ内のキャッシュ・メモリ用の高レベル・キャッシュとして作用することができる。少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈは、スライスを含むか、又は「スライス」と称される。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、集積回路１６００の一部など（図１６）、ＳｏＣの一部である。
【0300】
少なくとも一実施例では、ＧＰＧＰＵ１８３０は、メモリ・コントローラ１８４２Ａ～１８４２Ｂ（たとえば、ＨＢＭ２ｅ用の１つ又は複数のコントローラ）のセットを介して、コンピュート・クラスタ１８３６Ａ～１８３６Ｈに結合されたメモリ１８４４Ａ～１８４４Ｂを含む。少なくとも一実施例では、メモリ１８４４Ａ～１８４４Ｂは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ）メモリを含め、同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。
【0301】
少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈはそれぞれ、図１８Ａのグラフィックス・コア１８００などのグラフィックス・コアのセットを含み、このグラフィックス・コアのセットは、機械学習計算に適したものを含め、様々な精度で計算動作を実行することができる複数のタイプの整数及び浮動小数点の論理ユニットを含むことができる。たとえば、少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈのそれぞれにおける浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するように構成されることが可能であり、一方、浮動小数点ユニットの異なるサブセットは、６４ビットの浮動小数点演算を実行するように構成されることが可能である。
【0302】
少なくとも一実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、コンピュート・クラスタとして動作するように構成されることが可能である。少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈにより同期及びデータ交換のために使用される通信は、実施例にわたって異なる。少なくとも一実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、ホスト・インターフェース１８３２を介して通信する。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、Ｉ／Ｏハブ１８３９を含み、このハブは、ＧＰＧＰＵ１８３０の他のインスタンスへの直接接続を可能にするＧＰＵリンク１８４０に、ＧＰＧＰＵ１８３０を結合する。少なくとも一実施例では、ＧＰＵリンク１８４０は、ＧＰＧＰＵ１８３０の複数のインスタンス間での通信及び同期を可能にするＧＰＵからＧＰＵへの専用のブリッジに結合される。少なくとも一実施例では、ＧＰＵリンク１８４０は、他のＧＰＧＰＵ又は並列プロセッサにデータを送受信するための高速相互接続に結合される。少なくとも一実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、別々のデータ処理システムに位置付けられ、ホスト・インターフェース１８３２を介してアクセス可能なネットワーク・デバイスを介して通信する。少なくとも一実施例では、ＧＰＵリンク１８４０は、ホスト・インターフェース１８３２に加えて、又はその代わりに、ホスト・プロセッサへの接続を可能にするように構成することができる。
【0303】
少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ニューラル・ネットワークを訓練するように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、推論プラットフォーム内で使用することができる。ＧＰＧＰＵ１８３０が推論のために使用される少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ＧＰＧＰＵ１８３０がニューラル・ネットワークの訓練に使用されるときよりも少数のコンピュート・クラスタ１８３６Ａ～１８３６Ｈを含んでもよい。少なくとも一実施例では、メモリ１８４４Ａ～１８４４Ｂに関連付けられるメモリ技術は、推論の構成と訓練の構成との間で異なってもよく、高帯域幅のメモリ技術が、訓練構成に当てられる。少なくとも一実施例では、ＧＰＧＰＵ１８３０の推論構成は、推論固有の命令をサポートすることができる。たとえば、少なくとも一実施例では、推論構成は、１つ又は複数の８ビットの整数のドット積命令をサポートすることができ、これは、導入済みニューラル・ネットワークの推論動作中に使用されてもよい。
【0304】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにＧＰＧＰＵ１８３０において使用されてもよい。
【0305】
少なくとも一実施例では、図１８Ａ～図１８Ｂに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１８Ａ～図１８Ｂに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１８Ａ～図１８Ｂに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0306】
図１９は、少なくとも一実施例によるコンピューティング・システム１９００を示すブロック図である。少なくとも一実施例では、コンピューティング・システム１９００は、メモリ・ハブ１９０５を含んでもよい相互接続経路を介して通信する１つ又は複数のプロセッサ１９０２とシステム・メモリ１９０４とを有する処理サブシステム１９０１を含む。少なくとも一実施例では、メモリ・ハブ１９０５は、チップセット構成要素内の別個の構成要素であってもよく、又は１つ若しくは複数のプロセッサ１９０２内に一体化されていてもよい。少なくとも一実施例では、メモリ・ハブ１９０５は、通信リンク１９０６を介してＩ／Ｏサブシステム１９１１に結合される。少なくとも一実施例では、Ｉ／Ｏサブシステム１９１１は、コンピューティング・システム１９００が１つ又は複数の入力デバイス１９０８からの入力を受け取れるようにすることができるＩ／Ｏハブ１９０７を含む。少なくとも一実施例では、Ｉ／Ｏハブ１９０７は、ディスプレイ・コントローラを有効にすることができ、このディスプレイ・コントローラは、１つ又は複数のプロセッサ１９０２に含まれて、１つ又は複数のディスプレイ・デバイス１９１０Ａに出力を提供してもよい。少なくとも一実施例では、Ｉ／Ｏハブ１９０７に結合された１つ又は複数のディスプレイ・デバイス１９１０Ａは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。
【0307】
少なくとも一実施例では、処理サブシステム１９０１は、バス又は他の通信リンク１９１３を介してメモリ・ハブ１９０５に結合された１つ又は複数の並列プロセッサ１９１２を含む。少なくとも一実施例では、通信リンク１９１３は、ＰＣＩエクスプレスなどであるがこれに限定されない任意の数の規格に基づく通信リンク技術若しくはプロトコルのうちの１つを使用することができ、又はベンダー固有の通信インターフェース若しくは通信ファブリックであってもよい。少なくとも一実施例では、１つ又は複数の並列プロセッサ１９１２は、メニー・インテグレーテッド・コア（ＭＩＣ：ｍａｎｙ ｉｎｔｅｇｒａｔｅｄ ｃｏｒｅ）プロセッサなど、多数の処理コア及び／又は処理クラスタを含むことのできる、計算に集中した並列又はベクトルの処理システムを形成する。少なくとも一実施例では、いくつか又はすべての並列プロセッサ１９１２は、グラフィックス処理サブシステムを形成し、このサブシステムは、Ｉ／Ｏハブ１９０７を介して結合された１つ又は複数のディスプレイ・デバイス１９１０Ａのうちの１つに、ピクセルを出力することができる。少なくとも一実施例では、並列プロセッサ１９１２はまた、１つ又は複数のディスプレイ・デバイス１９１０Ｂへの直接接続を可能にするディスプレイ・コントローラ及びディスプレイ・インターフェース（図示せず）を含むことができる。少なくとも一実施例では、並列プロセッサ１９１２は、本明細書において考察されるグラフィックス・コア１８００など、１つ又は複数のコアを含む。
【0308】
少なくとも一実施例では、システム・ストレージ・ユニット１９１４は、Ｉ／Ｏハブ１９０７に接続されて、コンピューティング・システム１９００のためのストレージ機構を提供することができる。少なくとも一実施例では、Ｉ／Ｏスイッチ１９１６を使用して、Ｉ／Ｏハブ１９０７と、プラットフォームに一体化されてもよいネットワーク・アダプタ１９１８及び／又はワイヤレス・ネットワーク・アダプタ１９１９などの他の構成要素、並びに１つ又は複数のアドイン・デバイス１９２０を介して加えることができる様々な他のデバイスとの通信を可能にするためのインターフェース機構を提供することができる。少なくとも一実施例では、ネットワーク・アダプタ１９１８は、イーサネット（登録商標）・アダプタ、又は別の有線ネットワーク・アダプタとすることができる。少なくとも一実施例では、ワイヤレス・ネットワーク・アダプタ１９１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、又は１つ若しくは複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの１つ又は複数を含むことができる。
【0309】
少なくとも一実施例では、コンピューティング・システム１９００は、ＵＳＢ又は他のポート接続、光学ストレージ・ドライブ、ビデオ・キャプチャ・デバイスなどを含む明示されていない他の構成要素を含むことができ、これらもＩ／Ｏハブ１９０７に接続されてもよい。少なくとも一実施例では、図１９の様々な構成要素を相互接続する通信経路が、ＰＣＩ（ペリフェラル・コンポーネント・インターコネクト）ベースのプロトコル（たとえば、ＰＣＩ－エクスプレス）などの任意の好適なプロトコル、又はＮＶ－Ｌｉｎｋ高速相互接続などの他のバス若しくはポイントツーポイント通信インターフェース及び／又はプロトコル、又は相互接続プロトコル、を使用して、実装されてもよい。
【0310】
少なくとも一実施例では、並列プロセッサ１９１２は、たとえばビデオ出力回路を含むグラフィックス及びビデオの処理に最適化された回路を組み込んでおり、グラフィックス・プロセッシング・ユニット（ＧＰＵ）を構成し、たとえば並列プロセッサ１９１２はグラフィックス・コア１８００を含む。少なくとも一実施例では、並列プロセッサ１９１２は、汎用処理に最適化された回路を組み込んでいる。少なくとも実施例では、コンピューティング・システム１９００の構成要素は、単一の集積回路上の１つ又は複数の他のシステム要素と一体化されてもよい。たとえば、少なくとも一実施例では、並列プロセッサ１９１２、メモリ・ハブ１９０５、プロセッサ１９０２、及びＩ／Ｏハブ１９０７を、システム・オン・チップ（ＳｏＣ）集積回路に一体化することができる。少なくとも一実施例では、コンピューティング・システム１９００の構成要素は、単一のパッケージに一体化されて、システム・イン・パッケージ（ＳＩＰ：ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）構成を形成することができる。少なくとも一実施例では、コンピューティング・システム１９００の構成要素の少なくとも一部分を、マルチ・チップ・モジュール（ＭＣＭ：ｍｕｌｔｉ－ｃｈｉｐ ｍｏｄｕｌｅ）に一体化することができ、このモジュールを、他のマルチ・チップ・モジュールと相互接続して、モジュール式コンピューティング・システムにすることができる。
【0311】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにコンピューティング・システム１９００において使用されてもよい。
【0312】
少なくとも一実施例では、図１９に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１９に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図１９に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0313】
プロセッサ
図２０Ａは、少なくとも一実施例による並列プロセッサ２０００を図示する。少なくとも一実施例では、並列プロセッサ２０００の様々な構成要素は、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを使用して実装されてもよい。少なくとも一実施例では、図示してある並列プロセッサ２０００は、例示的な実施例による図１９に示す１つ又は複数の並列プロセッサ１９１２の変形形態である。少なくとも一実施例では、並列プロセッサ２０００は、１つ又は複数のグラフィックス・コア１８００を含む。
図２０Ａは、少なくとも一実施例による並列プロセッサ２０００を図示する。少なくとも一実施例では、並列プロセッサ２０００の様々な構成要素は、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを使用して実装されてもよい。少なくとも一実施例では、図示してある並列プロセッサ２０００は、例示的な実施例による図１９に示す１つ又は複数の並列プロセッサ１９１２の変形形態である。少なくとも一実施例では、並列プロセッサ２０００は、１つ又は複数のグラフィックス・コア１８００を含む。
【0314】
少なくとも一実施例では、並列プロセッサ２０００は並列処理ユニット２００２を含む。少なくとも一実施例では、並列処理ユニット２００２は、並列処理ユニット２００２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２００４を含む。少なくとも一実施例では、Ｉ／Ｏユニット２００４は、他のデバイスに直接接続されてもよい。少なくとも一実施例では、Ｉ／Ｏユニット２００４は、メモリ・ハブ２００５などのハブ又はスイッチ・インターフェースの使用を介して、他のデバイスと接続される。少なくとも一実施例では、メモリ・ハブ２００５とＩ／Ｏユニット２００４との間の接続は、通信リンク２０１３を形成する。少なくとも一実施例では、Ｉ／Ｏユニット２００４は、ホスト・インターフェース２００６及びメモリ・クロスバー２０１６に接続され、ここでホスト・インターフェース２００６は、処理動作の実行を対象とするコマンドを受け取り、メモリ・クロスバー２０１６は、メモリ動作の実行を対象とするコマンドを受け取る。
【0315】
少なくとも一実施例では、ホスト・インターフェース２００６が、Ｉ／Ｏユニット２００４を介してコマンド・バッファを受け取るとき、ホスト・インターフェース２００６は、これらのコマンドを実行するためのワーク動作をフロント・エンド２００８に向けることができる。少なくとも一実施例では、フロント・エンド２００８はスケジューラ２０１０（シーケンサとも呼ばれてもよい）に結合され、このスケジューラは、コマンド又は他のワーク・アイテムを処理クラスタ・アレイ２０１２に分配するように構成される。少なくとも一実施例では、スケジューラ２０１０は、処理クラスタ・アレイ２０１２のクラスタにタスクが分配される前に、処理クラスタ・アレイ２０１２が適切に構成され、有効な状態にあることを確実にする。少なくとも一実施例では、スケジューラ２０１０は、マイクロコントローラで実行しているファームウェア論理を介して実装される。少なくとも一実施例では、マイクロコントローラ実装スケジューラ２０１０は、複雑なスケジューリング及びワーク分配動作を、粗い粒度と細かい粒度で実行するように構成可能であり、処理アレイ２０１２で実行しているスレッドの迅速なプリエンプション及びコンテキストのスイッチングを可能にする。少なくとも一実施例では、ホスト・ソフトウェアは、処理クラスタ・アレイ２０１２でのスケジューリングのワークロードを、複数のグラフィックス処理の経路のうちの１つを介して証明することができる。少なくとも一実施例では、次いで、スケジューラ２０１０を含むマイクロコントローラ内のスケジューラ２０１０論理によって、ワークロードを自動的に処理アレイ・クラスタ２０１２全体に分配することができる。
【0316】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、最大「Ｎ個」の処理クラスタ（たとえば、クラスタ２０１４Ａ、クラスタ２０１４Ｂ～クラスタ２０１４Ｎ）を含むことができ、ここで「Ｎ」は、正の整数を表す（他の図で使用されるものとは異なる整数「Ｎ」であってもよい）。少なくとも一実施例では、処理クラスタ・アレイ２０１２の各クラスタ２０１４Ａ～２０１４Ｎは、大量の同時スレッドを実行することができる。少なくとも一実施例では、スケジューラ２０１０は、様々なスケジューリング及び／又はワーク分配のアルゴリズムを使用して、処理クラスタ・アレイ２０１２のクラスタ２０１４Ａ～２０１４Ｎにワークを配分することができ、これらのアルゴリズムは、プログラム又は計算のタイプごとに生じるワークロードに応じて、異なってもよい。少なくとも一実施例では、スケジューリングは、スケジューラ２０１０によって動的に対処されてもよく、又は処理クラスタ・アレイ２０１２によって実行されるように構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援されてもよい。少なくとも一実施例では、処理クラスタ・アレイ２０１２の異なるクラスタ２０１４Ａ～２０１４Ｎは、異なるタイプのプログラムを処理するように、又は異なるタイプの計算を実行するように配分されることが可能である。
【0317】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、様々なタイプの並列処理動作を実行するように構成されることが可能である。少なくとも一実施例では、処理クラスタ・アレイ２０１２は、汎用の並列コンピュート動作を実行するように構成される。たとえば、少なくとも一実施例では、処理クラスタ・アレイ２０１２は、ビデオ及び／又はオーディオ・データのフィルタリング、物理動作を含むモデリング動作の実行、及びデータ変換の実行を含む処理タスクを実行するための論理を含むことができる。
【0318】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、並列グラフィックス処理動作を実行するように構成される。少なくとも一実施例では、処理クラスタ・アレイ２０１２は、テクスチャ動作を実行するためのテクスチャ・サンプリング論理、並びにモザイク論理、及び他の頂点処理論理を含むがこれらに限定されないこうしたグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも一実施例では、処理クラスタ・アレイ２０１２は、頂点シェーダ、モザイク・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなどであるが、これらに限定されないグラフィックス処理関連のシェーダ・プログラムを実行するように構成されることが可能である。少なくとも一実施例では、並列処理ユニット２００２は、処理するためにデータをシステム・メモリからＩ／Ｏユニット２００４を介して転送することができる。少なくとも一実施例では、処理中、転送されたデータを、処理中にオン・チップ・メモリ（たとえば、並列プロセッサ・メモリ２０２２）に記憶し、次いでシステム・メモリに書き戻すことができる。
【0319】
少なくとも一実施例では、並列処理ユニット２００２を使用してグラフィックス処理が実行される場合には、処理クラスタ・アレイ２０１２の複数のクラスタ２０１４Ａ～２０１４Ｎにグラフィックス処理動作をよりうまく分配できるようにするため、処理ワークロードをおおよそ等しい大きさのタスクに分割するようにスケジューラ２０１０を構成することができる。少なくとも一実施例では、処理クラスタ・アレイ２０１２の一部分は、異なるタイプの処理を実行するように構成されることが可能である。たとえば、少なくとも一実施例では、レンダリング画像を生成して表示するために、第１の部分は、頂点シェーディング及びトポロジ生成を実行するように構成されてもよく、第２の部分は、モザイク及びジオメトリのシェーディングを実行するように構成されてもよく、第３の部分は、ピクセル・シェーディング又は他の画面空間動作を実行するように構成されてもよい。少なくとも一実施例では、クラスタ２０１４Ａ～２０１４Ｎのうちの１つ又は複数によって生成される中間データをバッファに記憶して、さらなる処理のためにクラスタ２０１４Ａ～２０１４Ｎの間で中間データを送信できるようにしてもよい。
【0320】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、実行される処理タスクをスケジューラ２０１０を介して受け取ることができ、スケジューラ２０１０は、処理タスクを定義するコマンドをフロント・エンド２００８から受け取る。少なくとも一実施例では、処理タスクは、処理されるデータのインデックス、たとえば、表面（パッチ）データ、プリミティブ・データ、頂点データ、及び／又はピクセル・データ、並びに状態パラメータ、及びデータをどのように処理すべきかを定義するコマンド（たとえば、どのプログラムを実行すべきか）を含むことができる。少なくとも一実施例では、スケジューラ２０１０は、タスクに対応するインデックスをフェッチするように構成されてもよく、又はフロント・エンド２００８からインデックスを受け取ってもよい。少なくとも一実施例では、フロント・エンド２００８は、入ってくるコマンド・バッファ（たとえば、バッチ・バッファ、プッシュ・バッファなど）によって指定されるワークロードが開始される前に、処理クラスタ・アレイ２０１２が有効な状態に構成されていることを保証するように構成されることが可能である。
【0321】
少なくとも一実施例では、並列処理ユニット２００２の１つ又は複数のインスタンスのそれぞれは、並列プロセッサ・メモリ２０２２と結合することができる。少なくとも一実施例では、並列プロセッサ・メモリ２０２２には、メモリ・クロスバー２０１６を介してアクセスすることができ、メモリ・クロスバー２０１６は、処理クラスタ・アレイ２０１２並びにＩ／Ｏユニット２００４からメモリ要求を受け取ることができる。少なくとも一実施例では、メモリ・クロスバー２０１６は、メモリ・インターフェース２０１８を介して並列プロセッサ・メモリ２０２２にアクセスすることができる。少なくとも一実施例では、メモリ・インターフェース２０１８は、複数のパーティション・ユニット（たとえば、パーティション・ユニット２０２０Ａ、パーティション・ユニット２０２０Ｂ～パーティション・ユニット２０２０Ｎ）を含むことができ、これらのユニットはそれぞれ、並列プロセッサ・メモリ２０２２の一部分（たとえば、メモリ・ユニット）に結合することができる。少なくとも一実施例では、パーティション・ユニット２０２０Ａ～２０２０Ｎの数は、メモリ・ユニットの数と等しくなるように構成され、それにより、第１のパーティション・ユニット２０２０Ａは、対応する第１のメモリ・ユニット２０２４Ａを有し、第２のパーティション・ユニット２０２０Ｂは、対応するメモリ・ユニット２０２４Ｂを有し、Ｎ番目のパーティション・ユニット２０２０Ｎは、対応するＮ番目のメモリ・ユニット２０２４Ｎを有する。少なくとも一実施例では、パーティション・ユニット２０２０Ａ～２０２０Ｎの数は、メモリ・ユニットの数に等しくなくてもよい。
【0322】
少なくとも一実施例では、メモリ・ユニット２０２４Ａ～２０２４Ｎは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも一実施例では、またメモリ・ユニット２０２４Ａ～２０２４Ｎはまた、高帯域幅メモリ（ＨＢＭ）、ＨＢＭ２ｅ、又はＨＤＭ３を含むがこれに限定されない３Ｄ積層メモリを含んでもよい。少なくとも一実施例では、並列プロセッサ・メモリ２０２２の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット２０２４Ａ～２０２４Ｎにわたって記憶されて、パーティション・ユニット２０２０Ａ～２０２０Ｎが、各レンダー・ターゲットの部分を並列に書き込みできるようにしてもよい。少なくとも一実施例では、システム・メモリとローカル・キャッシュ・メモリを併用する統合メモリ設計に有利なように、並列プロセッサ・メモリ２０２２のローカル・インスタンスは除外されてもよい。
【0323】
少なくとも一実施例では、処理クラスタ・アレイ２０１２のクラスタ２０１４Ａ～２０１４Ｎのうちのいずれか１つは、並列プロセッサ・メモリ２０２２内のメモリ・ユニット２０２４Ａ～２０２４Ｎのいずれかに書き込まれることになるデータを処理することができる。少なくとも一実施例では、メモリ・クロスバー２０１６は、各クラスタ２０１４Ａ～２０１４Ｎの出力を、出力に対してさらなる処理動作を実行することができる任意のパーティション・ユニット２０２０Ａ～２０２０Ｎ、又は別のクラスタ２０１４Ａ～２０１４Ｎに転送するように構成されることが可能である。少なくとも一実施例では、各クラスタ２０１４Ａ～２０１４Ｎは、メモリ・クロスバー２０１６を通ってメモリ・インターフェース２０１８と通信して、様々な外部メモリ・デバイスからの読取り、又はそれへの書込みを行うことができる。少なくとも一実施例では、メモリ・クロスバー２０１６は、Ｉ／Ｏユニット２００４と通信するためのメモリ・インターフェース２０１８への接続部、並びに並列プロセッサ・メモリ２０２２のローカル・インスタンスへの接続部を有して、異なる処理クラスタ２０１４Ａ～２０１４Ｎ内の処理ユニットが、システム・メモリ、又は並列処理ユニット２００２のローカルにない他のメモリと通信できるようにする。少なくとも一実施例では、メモリ・クロスバー２０１６は、仮想チャネルを使用して、クラスタ２０１４Ａ～２０１４Ｎと、パーティション・ユニット２０２０Ａ～２０２０Ｎとの間でトラフィック・ストリームを分離することができる。
【0324】
少なくとも一実施例では、並列処理ユニット２００２の複数のインスタンスは、単一のアドイン・カードに提供されてもよく、又は複数のアドイン・カードが相互接続されてもよい。少なくとも一実施例では、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び／又は他の異なる構成を有する場合でも、並列処理ユニット２００２の異なるインスタンスは相互動作するように構成されることが可能である。たとえば、少なくとも一実施例では、並列処理ユニット２００２のいくつかインスタンスは、他のインスタンスに比べて高い精度の浮動小数点ユニットを含むことができる。少なくとも一実施例では、並列処理ユニット２００２又は並列プロセッサ２０００のうちの１つ又は複数のインスタンスを組み込んだシステムは、デスクトップ、ラップトップ、若しくは携帯型のパーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び／又は組み込みシステムを含むが、これらに限定されない様々な構成及びフォーム・ファクタで実装することができる。
【0325】
図２０Ｂは、少なくとも一実施例によるパーティション・ユニット２０２０のブロック図である。少なくとも一実施例では、パーティション・ユニット２０２０は、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎのうちの１つのパーティション・ユニットのインスタンスである。少なくとも一実施例では、パーティション・ユニット２０２０は、Ｌ２キャッシュ２０２１、フレーム・バッファ・インターフェース２０２５、及びＲＯＰ：ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ２０２６（ラスタ演算ユニット）を含む。少なくとも一実施例では、Ｌ２キャッシュ２０２１は、メモリ・クロスバー２０１６及びＲＯＰ２０２６から受け取ったロード及びストアの動作を実行するように構成された読取り／書込みキャッシュである。少なくとも一実施例では、読取りミス及び至急の書戻し要求が、処理のためにＬ２キャッシュ２０２１によってフレーム・バッファ・インターフェース２０２５に出力される。少なくとも一実施例では、更新も、処理のためにフレーム・バッファ・インターフェース２０２５を介してフレームに送ることができる。少なくとも一実施例では、フレーム・バッファ・インターフェース２０２５は、図２０Ａの（たとえば並列プロセッサ・メモリ２０２２内の）メモリ・ユニット２０２４Ａ～２０２４Ｎなど、並列プロセッサ・メモリのメモリ・ユニットのうちの１つとインターフェースをとる。
【0326】
少なくとも一実施例では、ＲＯＰ２０２６は、ステンシル、ｚテスト、ブレンディングなどのラスタ演算を実行する処理ユニットである。少なくとも一実施例では、次いでＲＯＰ２０２６は、グラフィックス・メモリに記憶された処理済みグラフィックス・データを出力する。少なくとも一実施例では、ＲＯＰ２０２６は、メモリに書き込まれる深度又は色データを圧縮し、メモリから読み取られた深度又は色データを解凍するための圧縮論理を含む。少なくとも一実施例では、圧縮論理は、複数の圧縮アルゴリズムのうちの１つ又は複数を利用するロスレス圧縮論理とすることができる。少なくとも一実施例では、ＲＯＰ２０２６によって実行される圧縮のタイプは、圧縮されるデータの統計的特徴に基づき変更することができる。たとえば、少なくとも一実施例では、深度及び色データに対してはタイルごとにデルタ色圧縮が実行される。
【0327】
少なくとも一実施例では、ＲＯＰ２０２６は、パーティション・ユニット２０２０内の代わりに、各処理クラスタ内（たとえば、図２０Ａのクラスタ２０１４Ａ～２０１４Ｎ）に含まれる。少なくとも一実施例では、ピクセル・フラグメント・データの代わりに、ピクセル・データの読取り及び書込み要求が、メモリ・クロスバー２０１６を介して送信される。少なくとも一実施例では、処理済みグラフィックス・データは、図１９の１つ又は複数のディスプレイ・デバイス１９１０のうちの１つなどのディスプレイ・デバイスに表示されてもよく、プロセッサ１９０２によってさらなる処理のためにルーティングされてもよく、又は図２０Ａの並列プロセッサ２０００内の処理エンティティのうちの１つによってさらなる処理のためにルーティングされてもよい。
【0328】
図２０Ｃは、少なくとも一実施例による並列処理ユニット内の処理クラスタ２０１４のブロック図である。少なくとも一実施例では、処理クラスタは、図２０Ａの処理クラスタ２０１４Ａ～２０１４Ｎのうちの１つの処理クラスタのインスタンスである。少なくとも一実施例では、処理クラスタ２０１４は、多数のスレッドを並列で実行するように構成されてもよく、ここで「スレッド」とは、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも一実施例では、複数の独立した命令ユニットを提供することなく、多数のスレッドの並列実行をサポートするために、単一命令複数データ（ＳＩＭＤ）の命令発行技法が使用される。少なくとも一実施例では、それぞれの処理クラスタ内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド（ＳＩＭＴ：ｓｉｎｇｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ－ｔｈｒｅａｄ）の技法が使用される。
【0329】
少なくとも一実施例では、処理クラスタ２０１４の動作は、ＳＩＭＴ並列プロセッサに処理タスクを分配するパイプライン・マネージャ２０３２を介して制御することができる。少なくとも一実施例では、パイプライン・マネージャ２０３２は、図２０Ａのスケジューラ２０１０から命令を受け取り、グラフィックス・マルチプロセッサ２０３４及び／又はテクスチャ・ユニット２０３６を介してこれらの命令の実行を管理する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかし、少なくとも一実施例では、アーキテクチャの異なる様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２０１４内に含まれてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４の１つ又は複数のインスタンスは、処理クラスタ２０１４内に含めることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４はデータを処理することができ、処理済みデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの１つに分配するためにデータ・クロスバー２０４０が使用されてもよい。少なくとも一実施例では、パイプライン・マネージャ２０３２は、データ・クロスバー２０４０を通して分配されることになる処理済みデータの宛先を指定することによって、処理済みデータの分配を容易にすることができる。
【0330】
少なくとも一実施例では、処理クラスタ２０１４内の各グラフィックス・マルチプロセッサ２０３４は、関数実行論理（たとえば、算術論理演算ユニット、ロード・ストア・ユニットなど）の同一のセットを含むことができる。少なくとも一実施例では、関数実行論理は、前の命令が完了する前に新規の命令を発行することができるパイプライン式に構成されることが可能である。少なくとも一実施例では、関数実行論理は、整数及び浮動小数点の算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の計算を含む様々な演算をサポートする。少なくとも一実施例では、同じ関数ユニットのハードウェアを活用して、異なる演算を実行することができ、関数ユニットの任意の組合せが存在してもよい。
【0331】
少なくとも一実施例では、処理クラスタ２０１４に送信される命令がスレッドを構成する。少なくとも一実施例では、並列処理エンジンのセットにわたって実行されているスレッドのセットが、スレッド・グループである。少なくとも一実施例では、スレッド・グループは、異なる入力データに対して共通のプログラムを実行する。少なくとも一実施例では、スレッド・グループ内の各スレッドを、グラフィックス・マルチプロセッサ２０３４内の異なる処理エンジンに割り当てることができる。少なくとも一実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも少ないスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含む場合、処理エンジンのうちの１つ又は複数は、そのスレッド・グループが処理されているサイクル中にはアイドルであってもよい。少なくとも一実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも多いスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループがグラフィックス・マルチプロセッサ２０３４内の処理エンジンの数より多くのスレッドを含む場合には、連続したクロック・サイクルにわたって処理を実行することができる。少なくとも一実施例では、複数のスレッド・グループを、グラフィックス・マルチプロセッサ２０３４上で同時に実行することができる。
【0332】
少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、ロード及びストアの動作を実行するための内部キャッシュ・メモリを含む。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、内部キャッシュをやめて、処理クラスタ２０１４内のキャッシュ・メモリ（たとえば、Ｌ１キャッシュ２０４８）を使用することができる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２０３４は、パーティション・ユニット（たとえば、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎ）内のＬ２キャッシュにもアクセスすることができ、これらのキャッシュが、すべての処理クラスタ２０１４間で共有され、スレッド間でデータを転送するために使用されてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、オフ・チップのグローバル・メモリにもアクセスすることができ、このメモリは、ローカル並列プロセッサ・メモリ及び／又はシステム・メモリのうちの１つ又は複数を含むことができる。少なくとも一実施例では、並列処理ユニット２００２の外部にある任意のメモリが、グローバル・メモリとして使用されてもよい。少なくとも一実施例では、処理クラスタ２０１４は、グラフィックス・マルチプロセッサ２０３４の複数のインスタンスを含み、共通の命令及びデータを共有することができ、これらはＬ１キャッシュ２０４８に記憶されてもよい。
【0333】
少なくとも一実施例では、各処理クラスタ２０１４は、仮想アドレスを物理アドレスにマッピングするように構成されたＭＭＵ２０４５（メモリ管理ユニット）を含んでもよい。少なくとも一実施例では、ＭＭＵ２０４５の１つ又は複数のインスタンスは、図２０Ａのメモリ・インターフェース２０１８内にあってもよい。少なくとも一実施例では、ＭＭＵ２０４５は、仮想アドレスを、タイル及び任意選択でキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ（ＰＴＥ）のセットを含む。少なくとも一実施例では、ＭＭＵ２０４５は、アドレスのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）又はキャッシュを含んでもよく、これらは、グラフィックス・マルチプロセッサ２０３４若しくはＬ１ ２０４８キャッシュ、又は処理クラスタ２０１４内にあってもよい。少なくとも一実施例では、表面データ・アクセスをローカルに分散するように物理アドレスを処理して、パーティション・ユニット間で要求の効率的なインターリーブが可能になる。少なくとも一実施例では、キャッシュ・ライン・インデックスを使用して、キャッシュ・ラインの要求がヒットかミスかが判定されてもよい。
【0334】
少なくとも一実施例では、各グラフィックス・マルチプロセッサ２０３４がテクスチャ・ユニット２０３６に結合されて、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置の判定、テクスチャ・データの読取り、及びテクスチャ・データのフィルタリングが実行されるように、処理クラスタ２０１４が構成されてもよい。少なくとも一実施例では、テクスチャ・データは、内部テクスチャＬ１キャッシュ（図示せず）から、又はグラフィックス・マルチプロセッサ２０３４内のＬ１キャッシュから読み取られ、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２０３４は、処理済みタスクをデータ・クロスバー２０４０に出力して、さらなる処理のために別の処理クラスタ２０１４に処理済みタスクを提供し、又はメモリ・クロスバー２０１６を介して、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに処理済みタスクを記憶する。少なくとも一実施例では、プレＲＯＰ２０４２（プレ・ラスタ演算ユニット）は、グラフィックス・マルチプロセッサ２０３４からデータを受け取り、ＲＯＰユニットにデータを仕向けるように構成されており、ＲＯＰユニットは、本明細書に記載のするように、パーティション・ユニット（たとえば、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎ）に位置付けられてもよい。少なくとも一実施例では、プレＲＯＰ２０４２ユニットは、色ブレンディングの最適化を実行し、ピクセル色データを組織化し、アドレス・トランスレーションを実行することができる。
【0335】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス処理クラスタ２０１４において使用されてもよい。
【0336】
図２０Ｄは、少なくとも一実施例によるグラフィックス・マルチプロセッサ２０３４を示す。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、処理クラスタ２０１４のパイプライン・マネージャ２０３２と結合する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、命令キャッシュ２０５２、命令ユニット２０５４、アドレス・マッピング・ユニット２０５６、レジスタ・ファイル２０５８、１つ又は複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）コア２０６２、及び１つ又は複数のロード／ストア・ユニット２０６６を含むがこれらに限定されない実行パイプラインを有し、このとき１つ又は複数のロード／ストア・ユニット２０６６は、動作の実行に対応する命令をロード／ストアするために、ロード／ストア動作を実行することができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２、及びロード／ストア・ユニット２０６６は、メモリ及びキャッシュ相互接続２０６８を介して、キャッシュ・メモリ２０７２及び共有メモリ２０７０に結合される。少なくとも一実施例では、ＧＰＧＰＵコア２０６２は、図１６の集積回路１６００の一部など、ＳｏＣの一部である。
【0337】
少なくとも一実施例では、命令キャッシュ２０５２は、実行すべき命令のストリームをパイプライン・マネージャ２０３２から受け取る。少なくとも一実施例では、命令は、命令キャッシュ２０５２にキャッシュされ、命令ユニット２０５４により実行するためにディスパッチされる。少なくとも一実施例では、命令ユニット２０５４は、命令をスレッド・グループ（たとえば、ワープ、ウェーブフロント、ウェーブ）としてディスパッチすることができ、スレッド・グループの各スレッドは、ＧＰＧＰＵコア２０６２内の異なる実行ユニットに割り当てられる。少なくとも一実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも一実施例では、アドレス・マッピング・ユニット２０５６を使用して、統一アドレス空間のアドレスを、ロード／ストア・ユニット２０６６がアクセスできる個別メモリ・アドレスにトランスレーションすることができる。
【0338】
少なくとも一実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４の機能ユニットにレジスタのセットを提供する。少なくとも一実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４の機能ユニット（たとえばＧＰＧＰＵコア２０６２、ロード／ストア・ユニット２０６６）のデータ経路に接続された、オペランドのための一時的なストレージを提供する。少なくとも一実施例では、レジスタ・ファイル２０５８は、レジスタ・ファイル２０５８の専用部分に各機能ユニットが配分されるように、それぞれの機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４によって実行されている異なるワープ（ウェーブフロント及び／又はウェーブとも呼ばれてもよい）間で分割される。
【0339】
少なくとも一実施例では、ＧＰＧＰＵコア２０６２はそれぞれ、グラフィックス・マルチプロセッサ２０３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理演算ユニット（ＡＬＵ）を含むことができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２同士は、同様のアーキテクチャであってもよく、又は異なるアーキテクチャであってもよい。少なくとも一実施例では、ＧＰＧＰＵコア２０６２の第１の部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、ＧＰＧＰＵコアの第２の部分は、倍精度ＦＰＵを含む。少なくとも一実施例では、ＦＰＵは、ＩＥＥＥ７５４－２００８規格浮動小数点演算を実装することができ、又は、可変精度の浮動小数点演算を有効にすることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４はさらに、矩形コピー又はピクセル・ブレンディングの動作などの特定の機能を実行するための、１つ若しくは複数の固定機能ユニット又は特別機能ユニットをさらに含むことができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２の１つ又は複数は、固定の又は特別な機能論理も含むことができる。
【0340】
少なくとも一実施例では、ＧＰＧＰＵコア２０６２は、複数のデータ・セットに対して単一の命令を実行することができるＳＩＭＤ論理を含む。少なくとも一実施例では、ＧＰＧＰＵコア２０６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６の命令を物理的に実行することができ、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２の命令を論理的に実行することができる。少なくとも一実施例では、ＧＰＧＰＵコアのためのＳＩＭＤ命令は、シェーダ・コンパイラによるコンパイル時に生成されてもよく、又は単一プログラム複数データ（ＳＰＭＤ：ｓｉｎｇｌｅ ｐｒｏｇｒａｍ ｍｕｌｔｉｐｌｅ ｄａｔａ）又はＳＩＭＴのアーキテクチャ向けに書かれコンパイルされたプログラムを実行しているときに、自動的に生成されてもよい。少なくとも一実施例では、ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行することができる。たとえば、少なくとも一実施例では、同じ又は同様の動作を実行する８個のＳＩＭＴスレッドを、単一のＳＩＭＤ８の論理ユニットを介して並列に実行することができる。
【0341】
少なくとも一実施例では、メモリ及びキャッシュ相互接続２０６８は、グラフィックス・マルチプロセッサ２０３４の各機能ユニットをレジスタ・ファイル２０５８及び共有メモリ２０７０に接続する相互接続ネットワークである。少なくとも一実施例では、メモリ及びキャッシュ相互接続２０６８は、ロード／ストア・ユニット２０６６が、共有メモリ２０７０とレジスタ・ファイル２０５８との間でロード及びストアの動作を実装できるようにするクロスバー相互接続である。少なくとも一実施例では、レジスタ・ファイル２０５８は、ＧＰＧＰＵコア２０６２と同じ周波数で動作することができ、したがって、ＧＰＧＰＵコア２０６２とレジスタ・ファイル２０５８との間のデータ転送は非常に低レイテンシを有し得る。少なくとも一実施例では、共有メモリ２０７０を使用して、グラフィックス・マルチプロセッサ２０３４内の機能ユニットで実行されるスレッド間の通信を可能にすることができる。少なくとも一実施例では、キャッシュ・メモリ２０７２を、たとえばデータ・キャッシュとして使用して、機能ユニットとテクスチャ・ユニット２０３６との間で通信されるテクスチャ・データをキャッシュすることができる。少なくとも一実施例では、共有メモリ２０７０は、プログラム管理キャッシュとしても使用することができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２で実行されているスレッドは、キャッシュ・メモリ２０７２内に記憶される自動キャッシュ・データに加えて、共有メモリ内にプログラム的にデータを記憶することができる。
【0342】
少なくとも一実施例では、本明細書に記載の並列プロセッサ又はＧＰＧＰＵは、ホスト／プロセッサ・コアに通信可能に結合されて、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速する。少なくとも一実施例では、ＧＰＵは、バス又は他の相互接続（たとえば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホスト・プロセッサ／コアに通信可能に結合されてもよい。少なくとも一実施例では、ＳｏＣは、本明細書に記載の並列プロセッサ又はＧＰＧＰＵを含み、前記並列プロセッサ又は前記ＧＰＧＰＵは、前記ＳｏＣ上で実行される。少なくとも一実施例では、ＧＰＵは、コアとしてパッケージ又はチップに一体化されてもよく、パッケージ又はチップの内部の内部プロセッサ・バス／相互接続を介してコアに通信可能に結合されてもよい。少なくとも一実施例では、ＧＰＵの接続方法に関わらず、プロセッサ・コアは、ワーク記述子に含まれたコマンド／命令のシーケンスの形でワークをこうしたＧＰＵに配分してもよい。少なくとも一実施例では、次いでＧＰＵは、これらのコマンド／命令を効率的に処理するために専用の回路／論理を使用する。
【0343】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・マルチプロセッサ２０３４において使用されてもよい。
【0344】
少なくとも一実施例では、図２０Ａ～図２０Ｄに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２０Ａ～図２０Ｄに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２０Ａ～図２０Ｄに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0345】
図２１は、少なくとも一実施例による、マルチＧＰＵコンピューティング・システム２１００を図示する。少なくとも一実施例では、マルチＧＰＵコンピューティング・システム２１００は、ホスト・インターフェース・スイッチ２１０４を介して複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）２１０６Ａ～Ｄに結合されたプロセッサ２１０２を含むことができる。少なくとも一実施例では、ホスト・インターフェース・スイッチ２１０４は、プロセッサ２１０２をＰＣＩエクスプレス・バスに結合するＰＣＩエクスプレス・スイッチ・デバイスであり、このＰＣＩエクスプレス・バスを介して、プロセッサ２１０２は、ＧＰＧＰＵ２１０６Ａ～Ｄと通信することができる。少なくとも一実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、高速ポイントツーポイントＧＰＵツーＧＰＵリンク２１１６のセットを介して相互接続することができる。少なくとも一実施例では、ＧＰＵツーＧＰＵリンク２１１６は、専用ＧＰＵリンクを介して、ＧＰＧＰＵ２１０６Ａ～Ｄのそれぞれに接続される。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク２１１６は、プロセッサ２１０２が接続されているホスト・インターフェース・バス２１０４を介した通信を必要とせずに、ＧＰＧＰＵ２１０６Ａ～Ｄのそれぞれの間で直接通信を可能にする。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク２１１６に仕向けられたＧＰＵツーＧＰＵトラフィックがあると、ホスト・インターフェース・バス２１０４は、システム・メモリへのアクセスができるように、又はたとえば１つ又は複数のネットワーク・デバイスを介して、マルチＧＰＵコンピューティング・システム２１００の他のインスタンスと通信するために、利用可能な状態に保たれる。少なくとも一実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、ホスト・インターフェース・スイッチ２１０４を介してプロセッサ２１０２に接続され、少なくとも一実施例では、プロセッサ２１０２は、Ｐ２ＰのＧＰＵリンク２１１６のための直接サポートを含み、ＧＰＧＰＵ２１０６Ａ～Ｄに直接接続することができる。少なくとも一実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、図１６の集積回路１６００の一部など、ＳｏＣの一部であり、ＧＰＧＰＵ２１０６Ａ～Ｄは、本明細書に記載の動作を実行する。
【0346】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにマルチＧＰＵコンピューティング・システム２１００において使用されてもよい。
【0347】
少なくとも一実施例では、マルチＧＰＵコンピューティング・システム２１００は、１つ又は複数のグラフィックス・コア１８００を含む。
【0348】
少なくとも一実施例では、図２１に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２１に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２１に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0349】
図２２は、少なくとも一実施例によるグラフィックス・プロセッサ２２００のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２、パイプライン・フロント・エンド２２０４、メディア・エンジン２２３７、及びグラフィックス・コア２２８０Ａ～２２８０Ｎを含む。少なくとも一実施例では、リング相互接続２２０２は、グラフィックス・プロセッサ２２００を、他のグラフィックス・プロセッサ又は１つ又は複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、マルチ・コア処理システム内に一体化された多数のプロセッサのうちの１つである。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、グラフィックス・コア１８００を含む。
【0350】
少なくとも一実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２を介してコマンドのバッチを受け取る。少なくとも一実施例では、入ってくるコマンドは、パイプライン・フロント・エンド２２０４のコマンド・ストリーマ２２０３によって解釈される。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、グラフィックス・コア２２８０Ａ～２２８０Ｎを介して３Ｄジオメトリ処理及びメディア処理を実行するためのスケーラブルな実行論理を含む。少なくとも一実施例では、３Ｄジオメトリ処理コマンドについては、コマンド・ストリーマ２２０３はコマンドをジオメトリ・パイプライン２２３６に供給する。少なくとも一実施例では、少なくとも一部のメディア処理コマンドについては、コマンド・ストリーマ２２０３はコマンドをビデオ・フロント・エンド２２３４に供給し、ビデオ・フロント・エンド２２３４はメディア・エンジン２２３７に結合される。少なくとも一実施例では、メディア・エンジン２２３７は、ビデオ及び画像の後処理のためのＶｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｎｇｉｎｅ（ＶＱＥ）２２３０と、ハードウェア加速されたメディア・データのエンコード及びデコードを提供するマルチ・フォーマット・エンコード／デコード（ＭＦＸ）２２３３エンジンとを含む。少なくとも一実施例では、ジオメトリ・パイプライン２２３６及びメディア・エンジン２２３７はそれぞれ、少なくとも１つのグラフィックス・コア２２８０によって提供されるスレッド実行リソースのための実行スレッドを生成する。
【0351】
少なくとも一実施例では、グラフィックス・プロセッサ２２００は、グラフィックス・コア２２８０Ａ～２２８０Ｎ（モジュール式であり得、コア・スライスと呼ばれることもある）を特徴とするスケーラブルなスレッド実行リソースを含み、それぞれのグラフィックス・コア２２８０Ａ～２２８０Ｎは、複数のサブ・コア２２５０Ａ～２２５０Ｎ、２２６０Ａ～２２６０Ｎ（コア・サブスライスと呼ばれることもある）を有する。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、任意の数のグラフィックス・コア２２８０Ａを有することができる。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、少なくとも第１のサブ・コア２２５０Ａ及び第２のサブ・コア２２６０Ａを有するグラフィックス・コア２２８０Ａを含む。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、単一のサブ・コア（たとえば、２２５０Ａ）を有する低電力プロセッサである。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、複数のグラフィックス・コア２２８０Ａ～２２８０Ｎを含み、このそれぞれが、第１のサブ・コア２２５０Ａ～２２５０Ｎのセット、及び第２のサブ・コア２２６０Ａ～２２６０Ｎのセットを含む。少なくとも一実施例では、第１のサブ・コア２２５０Ａ～２２５０Ｎの各サブ・コアは、少なくとも、実行ユニット２２５２Ａ～２２５２Ｎとメディア／テクスチャ・サンプラ２２５４Ａ～２２５４Ｎの第１のセットを含む。少なくとも一実施例では、第２のサブ・コア２２６０Ａ～２２６０Ｎの各サブ・コアは、少なくとも、実行ユニット２２６２Ａ～２２６２Ｎとサンプラ２２６４Ａ～２２６４Ｎの第２のセットを含む。少なくとも一実施例では、各サブ・コア２２５０Ａ～２２５０Ｎ、２２６０Ａ～２２６０Ｎは、共有リソース２２７０Ａ～２２７０Ｎのセットを共有する。少なくとも一実施例では、共有リソースは、共有キャッシュ・メモリ及びピクセル動作論理を含む。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、パイプライン・フロント・エンド２２０４にロード／ストア・ユニットを含む。
【0352】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・プロセッサ２２００において使用されてもよい。
【0353】
少なくとも一実施例では、図２２に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２２に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２２に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0354】
図２３は、少なくとも一実施例による、命令を実行するための論理回路を含んでもよいプロセッサ２３００のマイクロ・アーキテクチャを図示するブロック図である。少なくとも一実施例では、プロセッサ２３００は、ｘ８６命令、ＡＲＭ命令、特定用途向け集積回路（ＡＳＩＣ）用の特別命令などを含む命令を実行してもよい。少なくとも一実施例では、プロセッサ２３００は、カリフォルニア州サンタクララのインテルコーポレーションによる、ＭＭＸ（商標）技術で有効化されたマイクロプロセッサ内の６４ビット幅ＭＭＸレジスタなど、パック・データを記憶するためのレジスタを含んでもよい。少なくとも一実施例では、整数形式と浮動小数点形式の両方で利用可能なＭＭＸレジスタは、単一命令複数データ（「ＳＩＭＤ」）及びストリーミングＳＩＭＤ拡張（「ＳＳＥ」：ｓｔｒｅａｍｉｎｇ ＳＩＭＤ ｅｘｔｅｎｓｉｏｎｓ）命令を伴うパック・データ要素で動作してもよい。少なくとも一実施例では、ＳＳＥ２、ＳＳＥ３、ＳＳＥ４、ＡＶＸ、又はそれ以上（総称して「ＳＳＥｘ」と呼ばれる）の技術に関する１２８ビット幅のＸＭＭレジスタは、こうしたパック・データのオペランドを保持してもよい。少なくとも一実施例では、プロセッサ２３００は、機械学習若しくは深層学習のアルゴリズム、訓練、又は推論を加速するために命令を実行してもよい。
【0355】
少なくとも一実施例では、プロセッサ２３００は、実行すべき命令をフェッチし、プロセッサ・パイプラインで後に使用すべき命令を準備するイン・オーダ・フロント・エンド（「フロント・エンド」）２３０１を含む。少なくとも一実施例では、フロント・エンド２３０１は、いくつかのユニットを含んでもよい。少なくとも一実施例では、命令プリフェッチャ２３２６が、メモリから命令をフェッチし、命令デコーダ２３２８に命令を供給し、命令デコーダが、命令をデコード又は解釈する。たとえば、少なくとも一実施例では、命令デコーダ２３２８は、受け取った命令を、機械が実行することのできる「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる（「マイクロ・オプス」又は「ｕｏｐｓ」又は「μ－ｏｐｓ」とも呼ばれる）１つ又は複数のオペレーションにデコードする。少なくとも一実施例では、命令デコーダ２３２８は、命令を、オプコード及び対応するデータ、並びに制御フィールドに構文解析して、これらがマイクロ・アーキテクチャによって使用されて、少なくとも一実施例による動作が実行されてもよい。少なくとも一実施例では、トレース・キャッシュ２３３０は、デコードされたｕｏｐｓを、実行するためにｕｏｐキュー２３３４においてプログラム順のシーケンス又はトレースにアセンブルしてもよい。少なくとも一実施例では、トレース・キャッシュ２３３０が複雑な命令に遭遇すると、マイクロコードＲＯＭ２３３２が、動作の完了に必要なｕｏｐｓを提供する。
【0356】
少なくとも一実施例では、単一のマイクロ・オプスに変換できる命令もあれば、全動作を完了するためにいくつかのマイクロ・オプスを必要とする命令もある。少なくとも一実施例では、命令を完了するために５つ以上のマイクロ・オプスが要な場合、命令デコーダ２３２８は、マイクロコードＲＯＭ２３３２にアクセスして、命令を実行してもよい。少なくとも一実施例では、命令は、命令デコーダ２３２８において処理するために、少数のマイクロ・オプスにデコードされてもよい。少なくとも一実施例では、こうした動作を完了するのに多数のマイクロ・オプスが必要な場合には、命令は、マイクロコードＲＯＭ２３３２に記憶されてもよい。少なくとも一実施例では、トレース・キャッシュ２３３０は、少なくとも一実施例によるマイクロコードＲＯＭ２３３２からの１つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ（「ＰＬＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを判定する。少なくとも一実施例では、マイクロコードＲＯＭ２３３２が命令のためのマイクロ・オプスのシーケンシングを終了した後、機械のフロント・エンド２３０１は、トレース・キャッシュ２３３０からマイクロ・オプスのフェッチを再開してもよい。
【0357】
少なくとも一実施例では、アウト・オブ・オーダ実行エンジン（「アウト・オブ・オーダ・エンジン」）２３０３は、実行するための命令を準備してもよい。少なくとも一実施例では、アウト・オブ・オーダ実行論理は、命令のフローをなめらかにし、その順序を変更するために多数バッファを有し、命令がパイプラインを下り、実行するようにスケジューリングされるときの性能を最適化する。少なくとも一実施例では、アウト・オブ・オーダ実行エンジン２３０３は、限定することなく、アロケータ／レジスタ・リネーマ２３４０、メモリｕｏｐキュー２３４２、整数／浮動小数点ｕｏｐキュー２３４４、メモリ・スケジューラ２３４６、高速スケジューラ２３０２、低速／汎用浮動小数点スケジューラ（「低速／汎用ＦＰ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔスケジューラ」）２３０４、及び単純浮動小数点スケジューラ（「単純ＦＰスケジューラ」）２３０６を含む。少なくとも一実施例では、高速スケジューラ２３０２、低速／汎用浮動小数点スケジューラ２３０４、及び単純浮動小数点スケジューラ２３０６は、本明細書において集合的に「ｕｏｐスケジューラ２３０２、２３０４、２３０６」とも呼ばれる。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２３４０は、実行するために各ｕｏｐが必要とする機械バッファ及びリソースを配分する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２３４０は、レジスタ・ファイルへのエントリ時に論理レジスタの名前を変更する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２３４０はまた、メモリ・スケジューラ２３４６及びｕｏｐスケジューラ２３０２、２３０４、２３０６の前の、２つのｕｏｐキュー、すなわちメモリ動作のためのメモリｕｏｐキュー２３４２と非メモリ動作のための整数／浮動小数点ｕｏｐキュー２３４４のうちの１つに、各ｕｏｐのエントリを配分する。少なくとも一実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、ｕｏｐｓがいつ実行準備されるかを、それらの従属入力レジスタ・オペランドのソースが準備されていること、及びそれらの動作を完了するためにｕｏｐが必要とする実行リソースが利用可能であることに基づき、判定する。少なくとも一実施例では、高速スケジューラ２３０２は、メイン・クロック・サイクルの半分ごとにスケジューリングしてもよく、低速／汎用浮動小数点スケジューラ２３０４及び単純浮動小数点スケジューラ２３０６は、メイン・プロセッサのクロック・サイクル当たりに１回スケジューリングしてもよい。少なくとも一実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、実行するためにｕｏｐｓをスケジューリングするためにディスパッチ・ポートを調停する。
【0358】
少なくとも一実施例では、実行ブロック２３１１は、限定することなく、整数レジスタ・ファイル／バイパス・ネットワーク２３０８、浮動小数点レジスタ・ファイル／バイパス・ネットワーク（「ＦＰレジスタ・ファイル／バイパス・ネットワーク」）２３１０、アドレス生成ユニット（「ＡＧＵ」：ａｄｄｒｅｓｓ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔｓ）２３１２及び２３１４、高速算術論理演算ユニット（ＡＬＵ）（「高速ＡＬＵ」）２３１６及び２３１８、低速算術論理演算ユニット（「低速ＡＬＵ」）２３２０、浮動小数点ＡＬＵ（「ＦＰ」）２３２２、並びに浮動小数点移動ユニット（「ＦＰ移動」）２３２４を含む。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８及び浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、本明細書において「レジスタ・ファイル２３０８、２３１０」とも呼ばれる。少なくとも一実施例では、ＡＧＵＳ２３１２及び２３１４、高速ＡＬＵ２３１６及び２３１８、低速ＡＬＵ２３２０、浮動小数点ＡＬＵ２３２２、及び浮動小数点移動ユニット２３２４は、本明細書において「実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４」とも呼ばれる。少なくとも一実施例では、実行ブロック２３１１は、限定することなく、（ゼロを含む）任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含んでもよい。
【0359】
少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０は、ｕｏｐスケジューラ２３０２、２３０４、２３０６と、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４との間に配置されてもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、整数演算を実行する。少なくとも一実施例では、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、浮動小数点演算を実行する。少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０のそれぞれは、限定することなく、バイパス・ネットワークを含んでもよく、このバイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属ｕｏｐｓにバイパス又は転送してもよい。少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０は、互いにデータを通信してもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、限定することなく、２つの別々のレジスタ・ファイル、すなわち低次３２ビットのデータ用の１つのレジスタ・ファイル、及び高次３２ビットのデータ用の第２のレジスタ・ファイルを含んでもよい。少なくとも一実施例では、浮動小数点命令は、通常、６４～１２８ビット幅のオペランドを有することから、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、限定することなく、１２８ビット幅のエントリを含んでもよい。
【0360】
少なくとも一実施例では、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４は、命令を実行してもよい。少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０は、マイクロ命令が実行する必要のある整数及び浮動小数点のデータのオペランド値を記憶する。少なくとも一実施例では、プロセッサ２３００は、限定することなく、任意の数及び組合せの実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４を含んでよい。少なくとも一実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、浮動小数点、ＭＭＸ、ＳＩＭＤ、ＡＶＸ、及びＳＥＥ、又は特別な機械学習命令を含む他の演算を実行してもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２３２２は、限定することなく、６４ビットずつの浮動小数点デバイダを含み、除算、平方根、及び残りのマイクロ・オプスを実行してもよい。少なくとも一実施例では、浮動小数点値を含む命令は、浮動小数点ハードウェアによって対処されてもよい。少なくとも一実施例では、ＡＬＵ演算は、高速ＡＬＵ２３１６、２３１８に渡されてもよい。少なくとも一実施例では、高速ＡＬＵ２３１６、２３１８は、クロック・サイクルの半分の実効レイテンシで高速演算を実行してもよい。少なくとも一実施例では、低速ＡＬＵ２３２０は、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを、限定することなく含んでもよいことから、ほとんどの複雑な整数演算は低速ＡＬＵ２３２０に進む。少なくとも一実施例では、メモリのロード／ストア動作は、ＡＧＵ２３１２、２３１４によって実行されてもよい。少なくとも一実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、６４ビットのデータ・オペランドで整数演算を実行してもよい。少なくとも一実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、１６、３２、１２８、２５６などを含む様々なデータ・ビット・サイズをサポートするように実装されてもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、ＳＩＭＤ及びマルチメディア命令と併せた１２８ビット幅のパック・データ・オペランドなど様々なビット幅を有する幅広いオペランドをサポートするように実装されてもよい。
【0361】
少なくとも一実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、親ロードが実行を終了する前に、従属演算をディスパッチする。少なくとも一実施例では、ｕｏｐｓは、プロセッサ２３００において投機的にスケジューリング及び実行されてもよいので、プロセッサ２３００は、メモリ・ミスに対処するための論理も含んでよい。少なくとも一実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータを有するスケジューラを通り過ぎたパイプラインに、進行中の従属演算が存在してもよい。少なくとも一実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも一実施例では、従属演算は、リプレイされる必要があってもよく、独立した演算は、完了が許容されてもよい。少なくとも一実施例では、プロセッサの少なくとも一実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計されてもよい。
【0362】
少なくとも一実施例では、「レジスタ」は、オペランドを識別するための命令の一部として使用することができるオンボード・プロセッサのストレージ・ロケーションを指してもよい。少なくとも一実施例では、レジスタは、（プログラマの視点から見て）プロセッサの外部から使用可能であり得るものであってもよい。少なくとも一実施例では、レジスタは、特定のタイプの回路に限定されなくてもよい。むしろ、少なくとも一実施例では、レジスタは、データを記憶し、データを提供し、本明細書に記載の機能を実行してもよい。少なくとも一実施例では、本明細書に記載のレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に配分される物理レジスタ、専用物理レジスタと動的に配分される物理レジスタとの組合せなどのような、任意の数の異なる技法を使用して、プロセッサ内の回路によって実装されてもよい。少なくとも一実施例では、整数レジスタは、３２ビットの整数データを記憶する。少なくとも一実施例のレジスタ・ファイルは、パック・データのための８つのマルチメディアＳＩＭＤレジスタも含む。
【0363】
少なくとも一実施例では、プロセッサ２３００又はプロセッサ２３００の各コアは、１つ若しくは複数のプリフェッチャ、１つ若しくは複数のフェッチャ、１つ若しくは複数のプリデコーダ、データ（たとえば、命令）をデコードするための１つ若しくは複数のデコーダ、（たとえば、動作又はＡＰＩコールに対応する）命令を処理するための１つ若しくは複数の命令キュー、マイクロ・オペレーション（μＯＰ）を記憶するための１つ若しくは複数のマイクロ・オペレーション・キャッシュ、１つ若しくは複数のマイクロ・オペレーション（μＯＰ）キュー、イン・オーダ実行エンジン、１つ若しくは複数のロード・バッファ、１つ若しくは複数のストア・バッファ、１つ若しくは複数のリオーダ・バッファ、１つ若しくは複数のフィル・バッファ、アウト・オブ・オーダ実行エンジン、１つ若しくは複数のポート、１つ若しくは複数のシフト及び／若しくはシフタ・ユニット、１つ若しくは複数の融合積和演算（ＦＭＡ：ｆｕｓｅｄ ｍｕｌｔｉｐｌｙ ａｃｃｕｍｕｌａｔｅ）ユニット、動作を実行する（たとえば、ＡＰＩ、ＡＰＩコールを実行する）ためにデータ（たとえば、命令）をロード／ストアすることに対応するストア動作のロードを実行するための１つ若しくは複数のロード・ストア・ユニット（「ＬＳＵ」）、１つ若しくは複数の行列積和演算（ＭＭＡ：ｍａｔｒｉｘ ｍｕｌｔｉｐｌｙ ａｃｃｕｍｕｌａｔｅ）ユニット、並びに／又は前記プロセッサ２３００に対して本明細書にさらに記載の任意の機能を実行するための１つ若しくは複数のシャッフル・ユニットを含む。少なくとも一実施例では、プロセッサ２３００は、ＡＰＩをコールすることに対応する命令に、アクセスすること、使用すること、実施すること、又は実行することができる。
【0364】
少なくとも一実施例では、プロセッサ２３００は、たとえばポイントツーポイント・プロセッサ・インターコネクトである、１つ若しくは複数のウルトラ・パス・インターコネクト（ＵＰＩ）；１つ若しくは複数のＰＣＩｅ；計算若しくは演算を加速させるための１つ若しくは複数のアクセラレータ；並びに／又は１つ若しくは複数のメモリ・コントローラを含む。少なくとも一実施例では、プロセッサ２３００は、１つ又は複数のメモリ・コントローラに結合される共有ラスト・レベル・キャッシュ（ＬＬＣ：ｌａｓｔ ｌｅｖｅｌ ｃａｃｈｅ）を含み、これにより、プロセッサ・コアをまたいだ共有メモリ・アクセスが可能となる。
【0365】
少なくとも一実施例では、プロセッサ２３００又はプロセッサ２３００のコアはメッシュ・アーキテクチャを有し、このメッシュ・アーキテクチャでは、プロセッサ・コア、オン・チップ・キャッシュ、メモリ・コントローラ、及びＩ／Ｏコントローラは行と列にまとめられ、これらは各交点でワイヤ及びスイッチを用いて接続されてターンを可能にする。少なくとも一実施例では、プロセッサ２３００は、たとえばＤｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ５ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＤＤＲ５ ＳＤＲＡＭ） に、データを記憶するかデータをキャッシュする、１つ又は複数の高メモリ帯域幅（ＨＭＢ、たとえばＨＭＢｅ）を有する。少なくとも一実施例では、プロセッサ２３００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。少なくとも一実施例では、メモリ・コントローラは、「ｌｅａｓｔ ｒｅｃｅｎｔｌｙ ｕｓｅｄ」（ＬＲＵ）手法を使用して、何がキャッシュに記憶されたかを決定する。少なくとも一実施例では、プロセッサ２３００は、１つ又は複数のＰＣＩｅ（たとえば、ＰＣＩｅ５．０）を含む。
【0366】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、実行ブロック２３１１、及び図示してある若しくは図示していない他のメモリ又はレジスタに組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、実行ブロック２３１１に図示するＡＬＵのうちの１つ又は複数を使用してもよい。さらに、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行ブロック２３１１のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0367】
少なくとも一実施例では、図２３に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２３に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２３に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0368】
図２４は、少なくとも一実施例による深層学習アプリケーション・プロセッサ２４００を図示する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、深層学習アプリケーション・プロセッサ２４００によって実行される場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、深層学習アプリケーション・プロセッサ２４００に実行させる命令を使用する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、特定用途向け集積回路（ＡＳＩＣ）である。少なくとも一実施例では、アプリケーション・プロセッサ２４００は、１つ若しくは複数の命令又は両方を実行した結果としていずれもハードウェアに「ハードワイヤード」された行列乗算演算を実行する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、限定することなく、処理クラスタ２４１０（１）～２４１０（１２）、チップ間リンク（「ＩＣＬ」）２４２０（１）～２４２０（１２）、チップ間コントローラ（「ＩＣＣ」）２４３０（１）～２４３０（２）、高帯域幅メモリ第２世代（「ＨＢＭ２」）２４４０（１）～２４４０（４）、メモリ・コントローラ（「Ｍｅｍ Ｃｔｒｌｒｓ」）２４４２（１）～２４４２（４）、高帯域幅メモリ物理層（「ＨＢＭ ＰＨＹ」）２４４４（１）～２４４４（４）、管理－コントローラ中央処理装置（「管理－コントローラＣＰＵ」）２４５０、シリアル・ペリフェラル・インターフェース、集積回路間、及び汎用入力／出力ブロック（「ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ」）２４６０、周辺構成要素相互接続エクスプレス・コントローラ及びダイレクト・メモリ・アクセス・ブロック（「ＰＣＩｅコントローラ及びＤＭＡ」）２４７０、並びに１６レーン周辺構成要素相互接続エクスプレス・ポート（「ＰＣＩ Ｅｘｐｒｅｓｓｘ１６」）２４８０を含む。
【0369】
少なくとも一実施例では、処理クラスタ２４１０は、本明細書に記載の技法を含む１つ又は複数の訓練技法が計算された重みパラメータに基づき、推論又は予測の演算を含む深層学習演算を実行してもよい。少なくとも一実施例では、各処理クラスタ２４１０は、限定することなく、任意の数及びタイプのプロセッサを含んでもよい。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、任意の数及びタイプの処理クラスタ２４００を含んでもよい。少なくとも一実施例では、チップ間リンク２４２０は、双方向性である。少なくとも一実施例では、チップ間リンク２４２０及びチップ間コントローラ２４３０は、１つ又は複数のニューラル・ネットワークに具体化された１つ又は複数の機械学習アルゴリズムを実行した結果得られるアクティブ化情報を含む情報を、複数の深層学習アプリケーション・プロセッサ２４００が交換できるようにする。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、（ゼロを含む）任意の数及びタイプのＩＣＬ２４２０及びＩＣＣ２４３０を含んでもよい。
【0370】
少なくとも一実施例では、ＨＢＭ２ ２４４０は、合計３２ギガバイト（ＧＢ：Ｇｉｇａｂｙｔｅ）のメモリを提供する。少なくとも一実施例では、ＨＢＭ２ ２４４０（ｉ）は、メモリ・コントローラ２４４２（ｉ）とＨＢＭ ＰＨＹ２４４４（ｉ）の両方に関連付けられ、ここで「ｉ」は任意の整数である。少なくとも一実施例では、任意の数のＨＢＭ２ ２４４０が、任意のタイプ及び合計量の高帯域幅メモリを提供してもよく、（ゼロを含む）任意の数及びタイプのメモリ・コントローラ２４４２及びＨＢＭ ＰＨＹ２４４４に関連付けられてもよい。少なくとも一実施例では、ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ２４６０、ＰＣＩｅコントローラ及びＤＭＡ２４７０、並びに／又はＰＣＩｅ２４８０は、任意の技術的に実行可能なやり方で任意の数及びタイプの通信規格を有効にする任意の数及びタイプのブロックに置き換えられてもよい。
【0371】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、深層学習アプリケーション・プロセッサ２４００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、別のプロセッサ若しくはシステムによって、又は深層学習アプリケーション・プロセッサ２４００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、プロセッサ２４００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0372】
少なくとも一実施例では、図２４に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２４に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２４に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0373】
図２５は、少なくとも一実施例による、ニューロモーフィック・プロセッサ２５００のブロック図である。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、ニューロモーフィック・プロセッサ２５００の外部のソースから１つ又は複数の入力を受信してもよい。少なくとも一実施例では、これらの入力は、ニューロモーフィック・プロセッサ２５００内の１つ又は複数のニューロン２５０２に送信されてもよい。少なくとも一実施例では、ニューロン２５０２及びその構成要素は、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、限定することなく、ニューロン２５０２の数千又は数百万のインスタンスを含んでもよいが、任意の好適な数のニューロン２５０２が使用されてもよい。少なくとも一実施例では、ニューロン２５０２の各インスタンスは、ニューロン入力２５０４及びニューロン出力２５０６を含んでもよい。少なくとも一実施例では、ニューロン２５０２は出力を生成してもよく、この出力は、ニューロン２５０２の他のインスタンスの入力に送信されてもよい。たとえば、少なくとも一実施例では、ニューロン入力２５０４及びニューロン出力２５０６は、シナプス２５０８を介して相互接続されてもよい。
【0374】
少なくとも一実施例では、ニューロン２５０２とシナプス２５０８は、ニューロモーフィック・プロセッサ２５００が受信した情報をニューロモーフィック・プロセッサ２５００が動作して処理又は分析するように、相互接続されてもよい。少なくとも一実施例では、ニューロン２５０２は、ニューロン入力２５０４を介して受信した入力が、閾値を超えているとき、出力パルス（又は「発火」若しくは「スパイク」）を送信してもよい。少なくとも一実施例では、ニューロン２５０２は、ニューロン入力２５０４において受信した信号を合計又は積分してもよい。たとえば、少なくとも一実施例では、ニューロン２５０２は、漏れ積分発火ニューロン（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ－ａｎｄ－ｆｉｒｅ ｎｅｕｒｏｎ）として実装されてもよく、ここで、合計（「膜電位」と呼ばれる）が閾値を超える場合には、ニューロン２５０２は、シグモイド関数又は閾値関数などの伝達関数を使用して、出力（又は「発火」）を生成してもよい。少なくとも一実施例では、漏れ積分発火ニューロンは、ニューロン入力２５０４で受信した信号を合計して膜電位にしてもよく、また、崩壊因子（又は漏れ）を適用して膜電位を低減してもよい。少なくとも一実施例では、複数の入力信号が、閾値を超えるほど十分に素早く（すなわち、膜電位の崩壊が少なすぎて発火できなくなる前に）ニューロン入力２５０４において受信された場合には、漏れ積分発火ニューロンが発火してもよい。少なくとも一実施例では、ニューロン２５０２は、入力を受信し、入力を積分して膜電位にし、膜電位を崩壊させる回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、入力は平均化されてもよく、又は任意の他の好適な伝達関数が使用されてもよい。さらに、少なくとも一実施例では、ニューロン２５０２は、ニューロン入力２５０４に伝達関数を適用した結果が閾値を超えるとき、ニューロン出力２５０６において出力スパイクを生成するコンパレータ回路又は論理を、限定することなく含んでもよい。少なくとも一実施例では、ニューロン２５０２は発火すると、前に受信した入力情報を、たとえば膜電位を０又は他の好適なデフォルト値に再設定することによって、無視してもよい。少なくとも一実施例では、膜電位が０にリセットされると、ニューロン２５０２は、好適な期間（又は不応期）の後に通常の動作を再開してもよい。
【0375】
少なくとも一実施例では、ニューロン２５０２は、シナプス２５０８を通して相互接続されてもよい。少なくとも一実施例では、シナプス２５０８は、第１のニューロン２５０２の出力から第２のニューロン２５０２の入力に信号を送信するように動作してもよい。少なくとも一実施例では、ニューロン２５０２は、シナプス２５０８の２つ以上のインスタンスを介して情報を送信してもよい。少なくとも一実施例では、ニューロン出力２５０６の１つ又は複数のインスタンスは、シナプス２５０８のインスタンスを介して、同じニューロン２５０２のニューロン入力２５０４のインスタンスに接続されてもよい。少なくとも一実施例では、シナプス２５０８のインスタンスを介して送信されることになる出力を生成するニューロン２５０２のインスタンスは、シナプス２５０８のそのインスタンスに対して「シナプス前ニューロン」と呼ばれてもよい。少なくとも一実施例では、シナプス２５０８のインスタンスを介して送信されることになる入力を受信するニューロン２５０２のインスタンスは、シナプス２５０８のそのインスタンスに対して「シナプス後ニューロン」と呼ばれてもよい。少なくとも一実施例では、ニューロン２５０２のインスタンスは、シナプス２５０８の１つ又は複数のインスタンスから入力を受信してもよく、また、シナプス２５０８の１つ又は複数のインスタンスを介して出力を送信してもよいので、ニューロン２５０２の単一のインスタンスは、したがって、シナプス２５０８の様々なインスタンスに対して「シナプス前ニューロン」と「シナプス後ニューロン」の両方であってもよい。
【0376】
少なくとも一実施例では、ニューロン２５０２は、１つ又は複数の層に組織化されてもよい。少なくとも一実施例では、ニューロン２５０２の各インスタンスは、１つ又は複数のシナプス２５０８を通って１つ又は複数のニューロン入力２５０４にファン・アウトすることができる１つのニューロン出力２５０６を有してもよい。少なくとも一実施例では、第１の層２５１０のニューロン２５０２のニューロン出力２５０６は、第２の層２５１２のニューロン２５０２のニューロン入力２５０４に接続されてもよい。少なくとも一実施例では、層２５１０は、「フィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第１の層２５１０のインスタンスにおけるニューロン２５０２の各インスタンスは、第２の層２５１２におけるニューロン２５０２の各インスタンスにファン・アウトしてもよい。少なくとも一実施例では、第１の層２５１０は、「完全に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層２５１２のインスタンスにおけるニューロン２５０２の各インスタンスは、第３の層２５１４におけるニューロン２５０２の全インスタンスより少ないインスタンスにファン・アウトしてもよい。少なくとも一実施例では、第２の層２５１２は、「疎に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層２５１２のニューロン２５０２は、第２の層２５１２におけるニューロン２５０２を含め、複数の他の層のニューロン２５０２にファン・アウトしてもよい。少なくとも一実施例では、第２の層２５１２は、「回帰層」と呼ばれてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、疎に接続されたフィード・フォワード層と完全に接続されたフィード・フォワード層の両方を限定することなく含む、回帰層とフィード・フォワード層の任意の好適な組合せを限定することなく含んでもよい。
【0377】
少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、シナプス２５０８をニューロン２５０２に接続するための再構成可能相互接続アーキテクチャ、又は専用ハードワイヤード相互接続を、限定することなく含んでもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、ニューラル・ネットワーク・トポロジ、及びニューロンのファン・イン／ファン・アウトに基づき、必要に応じてシナプスを異なるニューロン２５０２に配分できるようにする回路又は論理を、限定することなく含んでもよい。たとえば、少なくとも一実施例では、シナプス２５０８は、ネットワーク・オン・チップなどの相互接続ファブリックを使用して、又は専用の接続を用いて、ニューロン２５０２に接続されてもよい。少なくとも一実施例では、シナプス相互接続及びその構成要素は、回路又は論理を使用して実装されてもよい。
【0378】
少なくとも一実施例では、図２５に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２５に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２５に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0379】
図２６は、少なくとも一実施例による処理システムのブロック図である。少なくとも一実施例では、システム２６００は、１つ又は複数のプロセッサ２６０２、及び１つ又は複数のグラフィックス・プロセッサ２６０８を含み、単一プロセッサのデスクトップ・システム、マルチプロセッサのワークステーション・システム、又は多数のプロセッサ２６０２若しくはプロセッサ・コア２６０７を有するサーバ・システムであってもよい。少なくとも一実施例では、システム２６００は、モバイル・デバイス、携帯型デバイス、又は組み込みデバイスで使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。少なくとも一実施例では、１つ又は複数のグラフィックス・プロセッサ２６０８は、１つ又は複数のグラフィックス・コア１８００を含む。
【0380】
少なくとも一実施例では、システム２６００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディアのコンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、携帯型ゲーム・コンソール、若しくはオンライン・ゲーム・コンソールを含んでもよく、又はそれらに組み込まれてもよい。少なくとも一実施例では、システム２６００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス、又はモバイル・インターネット・デバイスである。少なくとも一実施例では、処理システム２６００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、若しくは仮想現実デバイスなどのウェアラブル・デバイスを含んでもよく、それらに結合されてもよく、又はそれらの中に一体化されてもよい。少なくとも一実施例では、処理システム２６００は、１つ又は複数のプロセッサ２６０２と、１つ又は複数のグラフィックス・プロセッサ２６０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
【0381】
少なくとも一実施例では、１つ又は複数のプロセッサ２６０２はそれぞれ、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実行する命令を処理するための１つ又は複数のプロセッサ・コア２６０７を含む。少なくとも一実施例では、１つ又は複数のプロセッサ・コア２６０７のそれぞれは、特定の命令シーケンス２６０９を処理するように構成される。少なくとも一実施例では、命令シーケンス２６０９は、複合命令セット・コンピューティング（ＣＩＳＣ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にしてもよい。少なくとも一実施例では、プロセッサ・コア２６０７はそれぞれ、異なる命令シーケンス２６０９を処理してもよく、この命令セットは、他の命令シーケンスのエミュレーションを容易にする命令を含んでもよい。少なくとも一実施例では、プロセッサ・コア２６０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含んでもよい。
【0382】
少なくとも一実施例では、プロセッサ２６０２はキャッシュ・メモリ２６０４を含む。少なくとも一実施例では、プロセッサ２６０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ２６０２の様々な構成要素間で共有される。少なくとも一実施例では、プロセッサ２６０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ））（図示せず）を使用し、このキャッシュは、知られているキャッシュ・コヒーレンス技法を使用して、プロセッサ・コア２６０７間で共有されてもよい。少なくとも一実施例では、さらにレジスタ・ファイル２６０６がプロセッサ２６０２に含まれ、このレジスタ・ファイルは、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタ）を含んでもよい。少なくとも一実施例では、レジスタ・ファイル２６０６は、汎用レジスタ又は他のレジスタを含んでもよい。
【0383】
少なくとも一実施例では、１つ又は複数のプロセッサ２６０２は、１つ又は複数のインターフェース・バス２６１０に結合されて、アドレス、データ、又は制御信号などの通信信号を、プロセッサ２６０２とシステム２６００内の他の構成要素との間で送信する。少なくとも一実施例では、インターフェース・バス２６１０は、ダイレクト・メディア・インターフェース（ＤＭＩ）バスのバージョンなどのプロセッサ・バスとすることができる。少なくとも一実施例では、インターフェース２６１０は、ＤＭＩバスに限定されず、１つ又は複数のペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）、メモリ・バス、又は他のタイプのインターフェース・バスを含んでもよい。少なくとも一実施例では、プロセッサ２６０２は、統合メモリ・コントローラ２６１６、及びプラットフォーム・コントローラ・ハブ２６３０を含む。少なくとも一実施例では、メモリ・コントローラ２６１６は、メモリ・デバイスとシステム２６００の他の構成要素との間の通信を容易にし、一方でプラットフォーム・コントローラ・ハブ（ＰＣＨ）２６３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。
【0384】
少なくとも一実施例では、メモリ・デバイス２６２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとしての役割を果たすのに好適な性能を有する何らかの他のメモリ・デバイスとすることができる。少なくとも一実施例では、メモリ・デバイス２６２０は、システム２６００のためのシステム・メモリとして動作して、１つ又は複数のプロセッサ２６０２がアプリケーション若しくはプロセスを実行するときに使用するためのデータ２６２２及び命令２６２１を記憶することができる。少なくとも一実施例では、メモリ・コントローラ２６１６はまた、任意選択の外部グラフィックス・プロセッサ２６１２と結合しており、このグラフィックス・プロセッサは、プロセッサ２６０２内の１つ又は複数のグラフィックス・プロセッサ２６０８と通信して、グラフィックス及びメディアの動作を実行してもよい。少なくとも一実施例では、ディスプレイ・デバイス２６１１は、プロセッサ２６０２に接続することができる。少なくとも一実施例では、ディスプレイ・デバイス２６１１は、モバイル電子デバイス又はラップトップ・デバイスのような内部ディスプレイ・デバイス、又はディスプレイ・インターフェース（たとえば、ディスプレイ・ポートなど）を介して取り付けられる外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも一実施例では、ディスプレイ・デバイス２６１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションで使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ）を含むことができる。
【0385】
少なくとも一実施例では、プラットフォーム・コントローラ・ハブ２６３０は、周辺装置が高速Ｉ／Ｏバスを介してメモリ・デバイス２６２０及びプロセッサ２６０２に接続できるようにする。少なくとも一実施例では、Ｉ／Ｏ周辺装置は、オーディオ・コントローラ２６４６、ネットワーク・コントローラ２６３４、ファームウェア・インターフェース２６２８、ワイヤレス・トランシーバ２６２６、タッチ・センサ２６２５、データ・ストレージ・デバイス２６２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）を含むが、これらに限定されない。少なくとも一実施例では、データ・ストレージ・デバイス２６２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又はペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）などのペリフェラル・バスを介して、接続することができる。少なくとも一実施例では、タッチ・センサ２６２５は、タッチ画面センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも一実施例では、ワイヤレス・トランシーバ２６２６は、ＷｉＦｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、又は３Ｇ、４Ｇ、若しくはＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバとすることができる。少なくとも一実施例では、ファームウェア・インターフェース２６２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ）とすることができる。少なくとも一実施例では、ネットワーク・コントローラ２６３４は、有線ネットワークへのネットワーク接続を可能にすることができる。少なくとも一実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス２６１０と結合する。少なくとも一実施例では、オーディオ・コントローラ２６４６は、多チャネル・ハイ・デフィニション・オーディオ・コントローラである。少なくとも一実施例では、システム２６００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２））デバイスをシステム２６００に結合するための任意選択のレガシーＩ／Ｏコントローラ２６４０を含む。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ２６３０は、キーボードとマウス２６４３の組合せ、カメラ２６４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ２６４２の接続入力デバイスにも接続することができる。
【0386】
少なくとも一実施例では、メモリ・コントローラ２６１６及びプラットフォーム・コントローラ・ハブ２６３０のインスタンスは、外部グラフィックス・プロセッサ２６１２などの個別の外部グラフィックス・プロセッサに一体化されてもよい。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ２６３０及び／又はメモリ・コントローラ２６１６は、１つ又は複数のプロセッサ２６０２の外部にあってもよい。たとえば、少なくとも一実施例では、システム２６００は、外部のメモリ・コントローラ２６１６及びプラットフォーム・コントローラ・ハブ２６３０を含むことができ、これらは、プロセッサ２６０２と通信するシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺装置コントローラ・ハブとして構成されてもよい。
【0387】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２６０８に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプラインに具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ２６０８のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0388】
少なくとも一実施例では、図２６に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２６に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２６に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0389】
図２７は、少なくとも一実施例による、１つ又は複数のプロセッサ・コア２７０２Ａ～２７０２Ｎ、統合メモリ・コントローラ２７１４、及び統合グラフィックス・プロセッサ２７０８を有するプロセッサ２７００のブロック図である。少なくとも一実施例では、プロセッサ２７００は、破線の四角によって表される追加コア２７０２Ｎを含むそれ以下の数の追加コアを含むことができる。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎのそれぞれは、１つ又は複数の内部キャッシュ・ユニット２７０４Ａ～２７０４Ｎを含む。少なくとも一実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット２７０６にアクセスできる。少なくとも一実施例では、グラフィックス・プロセッサ２７０８は、１つ又は複数のグラフィックス・コア１８００を含む。
【0390】
少なくとも一実施例では、内部キャッシュ・ユニット２７０４Ａ～２７０４Ｎ、及び共有キャッシュ・ユニット２７０６は、プロセッサ２７００内のキャッシュ・メモリ階層を表す。少なくとも一実施例では、キャッシュ・メモリ・ユニット２７０４Ａ～２７０４Ｎは、各プロセッサ・コア内の命令及びデータのキャッシュの少なくとも１つのレベル、並びにレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含んでもよく、ここで外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも一実施例では、キャッシュ・コヒーレンス論理は、様々なキャッシュ・ユニット２７０６及び２７０４Ａ～２７０４Ｎ間でコヒーレンスを維持する。
【0391】
少なくとも一実施例では、プロセッサ２７００はまた、１つ又は複数のバス・コントローラ・ユニット２７１６とシステム・エージェント・コア２７１０のセットを含んでもよい。少なくとも一実施例では、バス・コントローラ・ユニット２７１６は、１つ又は複数のＰＣＩ若しくはＰＣＩエクスプレス・バスなどのペリフェラル・バスのセットを管理する。少なくとも一実施例では、システム・エージェント・コア２７１０は、様々なプロセッサ構成要素のための管理機能を提供する。少なくとも一実施例では、システム・エージェント・コア２７１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合メモリ・コントローラ２７１４を含む。
【0392】
少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも一実施例では、システム・エージェント・コア２７１０は、マルチスレッドの処理中にコア２７０２Ａ～２７０２Ｎを調整し動作させるための構成要素を含む。少なくとも一実施例では、システム・エージェント・コア２７１０はさらに、電力制御ユニット（ＰＣＵ）を含んでもよく、このユニットは、プロセッサ・コア２７０２Ａ～２７０２Ｎ及びグラフィックス・プロセッサ２７０８の１つ又は複数の電力状態を調整するための論理及び構成要素を含む。
【0393】
少なくとも一実施例では、プロセッサ２７００はさらに、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ２７０８を含む。少なくとも一実施例では、グラフィックス・プロセッサ２７０８は、共有キャッシュ・ユニット２７０６と、１つ又は複数の統合メモリ・コントローラ２７１４を含むシステム・エージェント・コア２７１０とに結合する。少なくとも一実施例では、システム・エージェント・コア２７１０はまた、１つ又は複数の結合されたディスプレイに対してグラフィックス・プロセッサの出力を駆動させるためのディスプレイ・コントローラ２７１１を含む。少なくとも一実施例では、ディスプレイ・コントローラ２７１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ２７０８に結合された別個のモジュールであってもよく、又はグラフィックス・プロセッサ２７０８内に一体化されていてもよい。
【0394】
少なくとも一実施例では、プロセッサ２７００の内部構成要素を結合するために、リング・ベースの相互接続ユニット２７１２が使用される。少なくとも一実施例では、ポイントツーポイント相互接続、スイッチ相互接続、又は他の技法などの代替的な相互接続ユニットが使用されてもよい。少なくとも一実施例では、グラフィックス・プロセッサ２７０８は、Ｉ／Ｏリンク２７１３を介してリング相互接続２７１２と結合する。
【0395】
少なくとも一実施例では、Ｉ／Ｏリンク２７１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール２７１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む多様なＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎのそれぞれ及びグラフィックス・プロセッサ２７０８は、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール２７１８を使用する。
【0396】
少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ）の観点から見れば異種であり、ここでプロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数は、共通の命令セットを実行するが、プロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、マイクロ・アーキテクチャの観点から見れば異種であり、ここで電力消費量が相対的に高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数のパワー・コアと結合する。少なくとも一実施例では、プロセッサ２７００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装することができる。
【0397】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２７０８に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン、グラフィックス・コア２７０２、共有機能論理、又は図２７の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練動作は、図７Ａ又は図７Ｂに図示する論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのプロセッサ２７００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0398】
少なくとも一実施例では、図２７に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２７に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２７に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0399】
図２８は、グラフィックス・プロセッサ２８００のブロック図であり、これは、個別グラフィックス・プロセッシング・ユニットであってもよく、又は複数の処理コアと統合されたグラフィックス・プロセッサであってもよい。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、メモリにマッピングされたＩ／Ｏインターフェースを介して、メモリに入れられたコマンドを用いて、グラフィックス・プロセッサ２８００のレジスタと通信する。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、メモリにアクセスするためのメモリ・インターフェース２８１４を含む。少なくとも一実施例では、メモリ・インターフェース２８１４は、ローカル・メモリ、１つ若しくは複数の内部キャッシュ、１つ若しくは複数の共有外部キャッシュ、及び／又はシステム・メモリへのインターフェースである。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、グラフィックス・コア１８００を含む。
【0400】
少なくとも一実施例では、グラフィックス・プロセッサ２８００はまた、ディスプレイ出力データをディスプレイ・デバイス２８２０に向けて駆動するためのディスプレイ・コントローラ２８０２も含む。少なくとも一実施例では、ディスプレイ・コントローラ２８０２は、ディスプレイ・デバイス２８２０用の１つ又は複数の重なり平面、及び多層のビデオ若しくはユーザ・インターフェース要素の合成のためのハードウェアを含む。少なくとも一実施例では、ディスプレイ・デバイス２８２０は、内部又は外部のディスプレイ・デバイスとすることができる。少なくとも一実施例では、ディスプレイ・デバイス２８２０は、仮想現実（ＶＲ）ディスプレイ・デバイス又は拡張現実（ＡＲ）ディスプレイ・デバイスなどの頭部装着型ディスプレイ・デバイスである。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、ＭＰＥＧ－２などの動画エキスパート・グループ（ＭＰＥＧ）フォーマット、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣなどのアドバンスト・ビデオ・コーディング（ＡＶＣ）フォーマット、並びに映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１、及びＪＰＥＧなどのジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）フォーマット、及びモーションＪＰＥＧ（ＭＪＰＥＧ）フォーマットを含むがこれらに限定されない１つ又は複数のメディア符号化フォーマットに、それらのフォーマットから、又はそれらのフォーマット間で、メディアをエンコード、デコード、又はコード変換するためのビデオ・コーデック・エンジン２８０６を含む。
【0401】
少なくとも一実施例では、グラフィックス・プロセッサ２８００は、たとえばビット境界ブロック転送を含む２次元（２Ｄ）ラスタライザ動作を実行するためのブロック画像転送（ＢＬＩＴ）エンジン２８０４を含む。しかし、少なくとも一実施例では、２Ｄグラフィックス動作は、グラフィックス処理エンジン（ＧＰＥ）２８１０の１つ又は複数の構成要素を使用して実行される。少なくとも一実施例では、ＧＰＥ２８１０は、３次元（３Ｄ）グラフィックス動作及びメディア動作を含むグラフィックス動作を実行するためのコンピュート・エンジンである。
【0402】
少なくとも一実施例では、ＧＰＥ２８１０は、３Ｄのプリミティブ形状（たとえば、矩形、三角形など）に作用する処理関数を使用して、３次元画像及びシーンをレンダリングするなど、３Ｄ動作を実行するための３Ｄパイプライン２８１２を含む。少なくとも一実施例では、３Ｄパイプライン２８１２は、プログラム可能で固定された関数要素を含み、これは、３Ｄ／メディア・サブシステム２８１５に対して様々なタスクを実行し、且つ／又は実行スレッドをスポーンする。３Ｄパイプライン２８１２を使用してメディア動作を実行できるが、少なくとも一実施例では、ＧＰＥ２８１０は、ビデオの後処理及び画像強調などのメディア動作を実行するために使用されるメディア・パイプライン２８１６も含む。
【0403】
少なくとも一実施例では、メディア・パイプライン２８１６は、ビデオ・コーデック・エンジン２８０６の代わりに、又はそれを代表して、ビデオ・デコード加速、ビデオ・インターレース解除、及びビデオ・エンコード加速などの１つ又は複数の特別なメディア動作を実行するための固定機能又はプログラム可能論理ユニットを含む。少なくとも一実施例では、メディア・パイプライン２８１６は、３Ｄ／メディア・サブシステム２８１５で実行するためのスレッドをスポーンするためのスレッド・スポーニング・ユニットをさらに含む。少なくとも一実施例では、スポーンされたスレッドは、３Ｄ／メディア・サブシステム２８１５に含まれた１つ又は複数のグラフィックス実行ユニット上で、メディア動作のための計算を実行する。
【0404】
少なくとも一実施例では、３Ｄ／メディア・サブシステム２８１５は、３Ｄパイプライン２８１２及びメディア・パイプライン２８１６によってスポーンされたスレッドを実行するための論理を含む。少なくとも一実施例では、３Ｄパイプライン２８１２及びメディア・パイプライン２８１６は、スレッド実行要求を３Ｄ／メディア・サブシステム２８１５に送信し、この３Ｄ／メディア・サブシステム２８１５は、様々な要求を調停し、利用可能なスレッド実行リソースにディスパッチするためのスレッド・ディスパッチ論理を含む。少なくとも一実施例では、実行リソースは、３Ｄ及びメディア・スレッドを処理するためのグラフィックス実行ユニットのアレイを含む。少なくとも一実施例では、３Ｄ／メディア・サブシステム２８１５は、スレッド命令及びデータのための１つ又は複数の内部キャッシュを含む。少なくとも一実施例では、サブシステム２８１５はまた、スレッド間でデータを共有し、出力データを記憶するための、レジスタ及びアドレス可能メモリを含む共有メモリも含む。
【0405】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２８００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン２８１２に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練動作は、図７Ａ又は図７Ｂに図示する論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ２８００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0406】
少なくとも一実施例では、図２８に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２８に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２８に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0407】
図２９は、少なくとも一実施例によるグラフィックス・プロセッサのグラフィックス処理エンジン２９１０のブロック図である。少なくとも一実施例では、グラフィックス処理エンジン（ＧＰＥ）２９１０は、図２８に示すＧＰＥ２８１０の１つのバージョンである。少なくとも一実施例では、メディア・パイプライン２９１６は任意選択であり、ＧＰＥ２９１０内に明示的に含まれなくてもよい。少なくとも一実施例では、別個のメディア及び／又は画像のプロセッサが、ＧＰＥ２９１０に結合される。
【0408】
少なくとも一実施例では、ＧＰＥ２９１０は、コマンド・ストリーマ２９０３に結合され、又はそれを含み、このコマンド・ストリーマは、３Ｄパイプライン２９１２及び／又はメディア・パイプライン２９１６にコマンド・ストリームを提供する。少なくとも一実施例では、コマンド・ストリーマ２９０３はメモリに結合され、このメモリは、システム・メモリであってもよく、又は内部キャッシュ・メモリ及び共有キャッシュ・メモリのうちの１つ若しくは複数であってもよい。少なくとも一実施例では、コマンド・ストリーマ２９０３は、メモリからコマンドを受信し、３Ｄパイプライン２９１２及び／又はメディア・パイプライン２９１６にコマンドを送信する。少なくとも一実施例では、コマンドは、リング・バッファからフェッチされる命令、プリミティブ、又はマイクロ・オペレーションであり、このリング・バッファは、３Ｄパイプライン２９１２及びメディア・パイプライン２９１６のためのコマンドを記憶する。少なくとも一実施例では、リング・バッファはさらに、複数のコマンドのバッチを記憶するバッチ・コマンド・バッファを含むことができる。少なくとも一実施例では、３Ｄパイプライン２９１２用のコマンドはまた、３Ｄパイプライン２９１２用の頂点及び形状のデータ、並びに／又はメディア・パイプライン２９１６用の画像データ及びメモリ・オブジェクトなどであるがこれらに限定されないメモリに記憶されたデータへの参照も含むことができる。少なくとも一実施例では、３Ｄパイプライン２９１２及びメディア・パイプライン２９１６は、演算を実行することにより、又は１つ若しくは複数の実行スレッドをグラフィックス・コア・アレイ２９１４にディスパッチすることにより、コマンド及びデータを処理する。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４は、グラフィックス・コア（たとえば、グラフィックス・コア２９１５Ａ、グラフィックス・コア２９１５Ｂ）の１つ又は複数のブロックを含み、各ブロックは、１つ又は複数のグラフィックス・コアを含む。少なくとも一実施例では、グラフィックス・コア２９１５Ａ、２９１５Ｂは、実行ユニット（「ＥＵ」）と呼ばれてもよい。少なくとも一実施例では、各グラフィックス・コアは、グラフィックス及びコンピュートの動作を実行するための汎用及びグラフィックス専用の実行論理、並びに、図７Ａ及び図７Ｂの推論及び／又は訓練論理７１５を含め、固定機能のテクスチャ処理及び／又は機械学習、及び人工知能の加速論理を含むグラフィックス実行リソースのセットを含む。
【0409】
少なくとも一実施例では、３Ｄパイプライン２９１２は、命令を処理し、実行スレッドをグラフィックス・コア・アレイ２９１４にディスパッチすることにより、頂点シェーダ、ジオメトリ・シェーダ、ピクセル・シェーダ、フラグメント・シェーダ、コンピュート・シェーダ、又は他のシェーダ・プログラムなどの１つ又は複数のシェーダ・プログラムを処理するための固定機能及びプログラム可能論理を含む。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４は、シェーダ・プログラムを処理する際に使用するための実行リソースの統合ブロックを提供する。少なくとも一実施例では、グラフィック・コア・アレイ２９１４のグラフィックス・コア２９１５Ａ～２９１５Ｂ内の多目的の実行論理（たとえば、実行ユニット）は、様々な３ＤのＡＰＩシェーダ言語のサポートを含み、複数のシェーダに関連付けられた複数の同時実行スレッドを実行することができる。
【0410】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４はまた、ビデオ及び／又は画像の処理など、メディア機能を実行するための実行論理も含む。少なくとも一実施例では、実行ユニットはさらに、グラフィックス処理動作に加えて並列の汎用計算動作を実行するようにプログラム可能な汎用論理を含む。
【0411】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４上で実行しているスレッドにより生成される出力データは、統合リターン・バッファ（ＵＲＢ）２９１８のメモリにデータを出力することができる。少なくとも一実施例では、ＵＲＢ２９１８は、複数のスレッド用のデータを記憶することができる。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４上で実行している異なるスレッド間でデータを送信するために、ＵＲＢ２９１８を使用してもよい。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４上のスレッドと、共有機能論理２９２０内の固定機能論理との間の同期のために、ＵＲＢ２９１８がさらに使用されてもよい。
【0412】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４はスケーラブルであり、それにより、グラフィックス・コア・アレイ２９１４は、可変数のグラフィックス・コアを含み、それぞれのグラフィックス・コアが、ＧＰＥ２９１０の目的とする電力及び性能のレベルに基づき可変数の実行ユニットを有する。少なくとも一実施例では、実行リソースは動的にスケーラブルであり、それにより実行リソースは、必要に応じて有効化又は無効化されてもよい。
【0413】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４は、グラフィックス・コア・アレイ２９１４のグラフィックス・コア間で共有される複数のリソースを含む共有機能論理２９２０に結合される。少なくとも一実施例では、共有機能論理２９２０によって実行される共有機能は、専用の補足機能をグラフィックス・コア・アレイ２９１４に提供するハードウェア論理ユニットに具体化される。少なくとも一実施例では、共有機能論理２９２０は、サンプラユニット２９２１、数理ユニット２９２２、及びスレッド間通信（ＩＴＣ）論理２９２３を含むが、これらに限定されない。少なくとも一実施例では、１つ又は複数のキャッシュ２９２５が、共有機能論理２９２０に含まれ、又はそれに結合される。
【0414】
少なくとも一実施例では、専用機能の需要がグラフィックス・コア・アレイ２９１４内に含めるほどではない場合に、共有機能が使用される。少なくとも一実施例では、専用機能を１つにインスタンス化したものが、共有機能論理２９２０において使用され、グラフィックス・コア・アレイ２９１４内の他の実行リソース間で共有される。少なくとも一実施例では、共有機能論理２９２０内の、グラフィックス・コア・アレイ２９１４によってのみ使用される特定の共有機能は、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６内に含まれてもよい。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６は、共有機能論理２９２０内の一部又はすべての論理を含むことができる。少なくとも一実施例では、共有機能論理２９２０内のすべての論理要素は、グラフィックス・コア・アレイ２９１４の共有機能論理２９２６内で複製されてもよい。少なくとも一実施例では、共有機能論理２９２０は、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６に有利なように除外される。
【0415】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２９１０に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン２９１２、グラフィックス・コア２９１５、共有機能論理２９２６、共有機能論理２９２０、又は図２９の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練動作は、図７Ａ又は図７Ｂに図示する論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ２９１０のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0416】
少なくとも一実施例では、図２９に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２９に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図２９に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0417】
図３０は、本明細書に記載の少なくとも一実施例によるグラフィックス・プロセッサ・コア３０００のハードウェア論理のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ・コア３０００は、グラフィックス・コア１８００を含む。少なくとも一実施例では、グラフィックス・プロセッサ・コア３０００は、グラフィックス・コア・アレイ内に含まれる。少なくとも一実施例では、コア・スライスと呼ばれることもあるグラフィックス・プロセッサ・コア３０００は、モジュール式グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアとすることができる。少なくとも一実施例では、グラフィックス・プロセッサ・コア３０００は、１つのグラフィックス・コア・スライスの例示であり、本明細書に記載のグラフィックス・プロセッサは、目的の電力及び性能のエンベロープに基づき、複数のグラフィックス・コア・スライスを含んでもよい。少なくとも一実施例では、各グラフィックス・コア３０００は、汎用及び固定の機能論理のモジュール式ブロックを含むサブスライスとも呼ばれる複数のサブ・コア３００１Ａ～３００１Ｆに結合された固定機能ブロック３０３０を含むことができる。
【0418】
少なくとも一実施例では、固定機能ブロック３０３０は、たとえば低性能及び／又は低電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ３０００内のすべてのサブ・コアが共有できるジオメトリ及び固定機能パイプライン３０３６を含む。少なくとも一実施例では、ジオメトリ及び固定機能パイプライン３０３６は、３Ｄ固定機能パイプライン、ビデオ・フロント・エンド・ユニット、スレッド・スポーナ（ｓｐａｗｎｅｒ）及びスレッド・ディスパッチャ、並びに統合リターン・バッファを管理する統合リターン・バッファ・マネージャを含む。
【0419】
少なくとも一実施例では、固定機能ブロック３０３０はまた、グラフィックスＳｏＣインターフェース３０３７、グラフィックス・マイクロコントローラ３０３８、及びメディア・パイプライン３０３９を含む。少なくとも一実施例では、グラフィックスＳｏＣインターフェース３０３７は、グラフィックス・コア３０００と、システム・オン・チップ集積回路内の他のプロセッサ・コアとの間のインターフェースを提供する。少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８は、スレッド・ディスパッチ、スケジューリング、及びプリエンプションを含め、グラフィックス・プロセッサ３０００の様々な機能を管理するように構成可能なプログラム可能サブ・プロセッサである。少なくとも一実施例では、メディア・パイプライン３０３９は、画像及びビデオのデータを含むマルチメディア・データのデコーディング、エンコーディング、前処理、及び／又は後処理を容易にする論理を含む。少なくとも一実施例では、メディア・パイプライン３０３９は、サブ・コア３００１Ａ～３００１Ｆ内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。
【0420】
少なくとも一実施例では、ＳｏＣインターフェース３０３７は、汎用アプリケーション・プロセッサ・コア（たとえば、ＣＰＵ）、及び／又はＳｏＣ内の他の構成要素と、グラフィックス・コア３０００が通信できるようにし、ＳｏＣ内の他の構成要素には、共有ラスト・レベル・キャッシュ・メモリ、システムＲＡＭ、及び／又は組み込みオン・チップ若しくはオン・パッケージのＤＲＡＭなどのメモリ階層要素が含まれる。少なくとも一実施例では、ＳｏＣインターフェース３０３７はまた、カメラ・イメージング・パイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を可能にし、グラフィックス・コア３０００とＳｏＣ内のＣＰＵとの間で共有することができるグローバル・メモリ・アトミックの使用を可能にし、且つ／又はそれを実装する。少なくとも一実施例では、グラフィックスＳｏＣインターフェース３０３７はまた、グラフィックス・プロセッサ・コア３０００の電力管理制御を実装することができ、グラフィックス・プロセッサ・コア３０００のクロック・ドメインと、ＳｏＣ内の他のクロック・ドメインとの間でインターフェースをとれるようにする。少なくとも一実施例では、ＳｏＣインターフェース３０３７は、グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアのそれぞれにコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャから、コマンド・バッファを受信できるようにする。少なくとも一実施例では、コマンド及び命令は、メディア動作が実行されるときにはメディア・パイプライン３０３９にディスパッチされることが可能であり、又はグラフィックス処理動作が実行されるときには、ジオメトリ及び固定機能パイプライン（たとえば、ジオメトリ及び固定機能パイプライン３０３６及び／又はジオメトリ及び固定機能パイプライン３０１４）にディスパッチされることが可能である。
【0421】
少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８は、グラフィックス・コア３０００のための様々なスケジューリング及び管理タスクを実行するように構成されることが可能である。少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８は、サブ・コア３００１Ａ～３００１Ｆ内の実行ユニット（ＥＵ）アレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆ内の様々なグラフィックス並列エンジンで、グラフィックスを実行し、且つ／又はワークロードのスケジューリングをコンピュートすることができる。少なくとも一実施例では、グラフィックス・コア３０００を含むＳｏＣのＣＰＵコア上で実行されているホスト・ソフトウェアは、複数のグラフィックス・プロセッサ経路のうちの１つにワークロードを送出することができ、この経路が、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも一実施例では、スケジューリング動作は、どのワークロードを次に実行すべきかを判定すること、コマンド・ストリーマにワークロードを送出すること、エンジン上で実行されている既存のワークロードをプリエンプションすること、ワークロードの進行を監視すること、及びワークロードが完了したときにホスト・ソフトウェアに通知することを含む。少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８はまた、グラフィックス・コア３０００の低電力又はアイドル状態を促進して、オペレーティング・システム及び／又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態の移行全体にわたってグラフィックス・コア３０００内のレジスタを保存及び復元する機能をグラフィックス・コア３０００に提供することができる。
【0422】
少なくとも一実施例では、グラフィックス・コア３０００は、図示してあるサブ・コア３００１Ａ～３００１Ｆより多くの、又はそれより少ない、Ｎ個までのモジュール式サブ・コアを有してもよい。Ｎ個のサブ・コアのセットごとに、少なくとも一実施例では、グラフィックス・コア３０００はまた、共有機能論理３０１０、共有及び／又はキャッシュ・メモリ３０１２、ジオメトリ／固定機能パイプライン３０１４、並びに様々なグラフィックスを加速し、処理動作をコンピュートするための追加の固定機能論理３０１６を含むことができる。少なくとも一実施例では、共有機能論理３０１０は、グラフィックス・コア３０００内の各Ｎ個のサブ・コアが共有できる論理ユニット（たとえば、サンプラ、数理、及び／又はスレッド間通信の論理）を含むことができる。少なくとも一実施例では、共有の、及び／又はキャッシュのメモリ３０１２は、グラフィックス・コア３０００内のＮ個のサブ・コア３００１Ａ～３００１Ｆのためのラスト・レベル・キャッシュとすることができ、また、複数のサブ・コアがアクセスできる共有メモリとしての役割も果たすことができる。少なくとも一実施例では、ジオメトリ／固定機能パイプライン３０１４は、固定機能ブロック３０３０内のジオメトリ／固定機能パイプライン３０３６の代わりに含まれてもよく、同様の論理ユニットを含むことができる。
【0423】
少なくとも一実施例では、グラフィックス・コア３０００は、グラフィックス・コア３０００が使用するための様々な固定機能加速論理を含むことができる追加の固定機能論理３０１６を含む。少なくとも一実施例では、追加の固定機能論理３０１６は、位置限定シェーディング（ｐｏｓｉｔｉｏｎ ｏｎｌｙ ｓｈａｄｉｎｇ）に使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも２つのジオメトリ・パイプラインが存在しているが、ジオメトリ及び固定機能パイプライン３０１４、３０３６内の完全ジオメトリ・パイプラインと選別パイプライン（ｃｕｌｌ ｐｉｐｅｌｉｎｅ）においてであり、この選別パイプラインは、追加の固定機能論理３０１６内に含まれてもよい追加のジオメトリ・パイプラインである。少なくとも一実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも一実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも一実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、いくつかのインスタンスにおいてシェーディングを早く完了させることができる。たとえば、少なくとも一実施例では、選別パイプラインは、ピクセルをフレーム・バッファにラスタ化及びレンダリングすることなく、頂点の位置属性をフェッチしシェーディングするので、追加の固定機能論理３０１６内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、完全パイプラインよりも全体的に早く臨界結果（ｃｒｉｔｉｃａｌ ｒｅｓｕｌｔ）を生成する。少なくとも一実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、これらの三角形が選別されているかどうかに関わらず、可視性情報をコンピュートすることができる。少なくとも一実施例では、（このインスタンスではリプレイ・パイプラインと呼ばれてもよい）完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形だけをシェーディングすることができ、この可視性三角形が、最終的にラスタ化フェーズに渡される。
【0424】
少なくとも一実施例では、追加の固定機能論理３０１６はまた、機械学習の訓練又は推論の最適化を含む実装形態のために、固定機能の行列乗算論理など、機械学習の加速論理を含むことができる。
【0425】
少なくとも一実施例では、各グラフィックス・サブ・コア３００１Ａ～３００１Ｆ内において、実行リソースのセットを含み、このセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムからの要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実行するために使用されてもよい。少なくとも一実施例では、グラフィックス・サブ・コア３００１Ａ～３００１Ｆは、複数のＥＵアレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆ、スレッド・ディスパッチ及びスレッド間通信（ＴＤ／ＩＣ：ｔｈｒｅａｄ ｄｉｓｐａｔｃｈ ａｎｄ ｉｎｔｅｒ－ｔｈｒｅａｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）論理３００３Ａ～３００３Ｆ、３Ｄ（たとえば、テクスチャ）サンプラ３００５Ａ～３００５Ｆ、メディア・サンプラ３００６Ａ～３００６Ｆ、シェーダ・プロセッサ３００７Ａ～３００７Ｆ、及び共有ローカル・メモリ（ＳＬＭ：ｓｈａｒｅｄ ｌｏｃａｌ ｍｅｍｏｒｙ）３００８Ａ～３００８Ｆを含む。少なくとも一実施例では、ＥＵアレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆはそれぞれ、複数の実行ユニットを含み、これらは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数／固定小数点の論理演算を実行することができる汎用グラフィックス・プロセッシング・ユニットである。少なくとも一実施例では、ＴＤ／ＩＣ論理３００３Ａ～３００３Ｆは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実行し、サブ・コアの実行ユニット上で実行されているスレッド間の通信を容易にする。少なくとも一実施例では、３Ｄサンプラ３００５Ａ～３００５Ｆは、テクスチャ又は他の３Ｄグラフィックス関連のデータをメモリに読み取ることができる。少なくとも一実施例では、３Ｄサンプラは、所与のテクスチャに関連付けられた構成済みサンプル状態及びテクスチャ・フォーマットに基づき、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも一実施例では、メディア・サンプラ３００６Ａ～３００６Ｆは、メディア・データに関連付けられたタイプ及びフォーマットに基づき、同様の読取り動作を実行することができる。少なくとも一実施例では、各グラフィックス・サブ・コア３００１Ａ～３００１Ｆは、代替的に３Ｄとメディアの統合サンプラを含むことができる。少なくとも一実施例では、各サブ・コア３００１Ａ～３００１Ｆ内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドが、オン・チップ・メモリの共通プールを使用して実行できるようにするために、各サブ・コア内の共有ローカル・メモリ３００８Ａ～３００８Ｆを利用することができる。
【0426】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ３０００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン、グラフィックス・マイクロコントローラ３０３８、ジオメトリ及び固定機能パイプライン３０１４及び３０３６、又は図３０の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練動作は、図７Ａ又は図７Ｂに図示する論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３０００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0427】
少なくとも一実施例では、図３０に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３０に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３０に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスなどを実装するために利用される。
【0428】
図３１Ａ～図３１Ｂは、少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３１００を図示する。図３１Ａは、スレッド実行論理３１００が使用される少なくとも一実施例を図示する。図３１Ｂは、少なくとも一実施例による、グラフィックス実行ユニット３１０８の例示的な内側細部を図示する。
【0429】
図３１Ａに示すように、少なくとも一実施例では、スレッド実行論理３１００は、シェーダ・プロセッサ３１０２、スレッド・ディスパッチャ３１０４、命令キャッシュ３１０６、複数の実行ユニット３１０７Ａ～３１０７Ｎ、３１０８Ａ～３１０８Ｎを含むスケーラブル実行ユニット・アレイ、サンプラ３１１０、データ・キャッシュ３１１２、及びデータ・ポート３１１４を含む。少なくとも一実施例では、スケーラブル実行ユニット・アレイは、１つ又は複数の実行ユニット（たとえば、実行ユニット３１０８Ａ～Ｎ又は３１０７Ａ～Ｎのうちのいずれか）を、たとえばワークロードの計算要件に基づき有効又は無効にすることによって、動的に拡大縮小することができる。少なくとも一実施例では、スケーラブル実行ユニットは、実行ユニットのそれぞれにリンクされる相互接続ファブリックを介して相互接続される。少なくとも一実施例では、スレッド実行論理３１００は、命令キャッシュ３１０６、データ・ポート３１１４、サンプラ３１１０、及び実行ユニット３１０７又は３１０８のうちの１つ又は複数を介した、システム・メモリ又はキャッシュ・メモリなどのメモリへの１つ又は複数の接続を含む。少なくとも一実施例では、各実行ユニット（たとえば、３１０７Ａ）は、スレッドごとに複数のデータ要素を並列で処理しながら、複数の同時のハードウェア・スレッドを実行することができるスタンドアロンのプログラム可能な汎用計算ユニットである。少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８のアレイは、任意の数の個々の実行ユニットを含むように拡大縮小可能である。
【0430】
少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８は、シェーダ・プログラムを実行するために主に使用される。少なくとも一実施例では、シェーダ・プロセッサ３１０２は、様々なシェーダ・プログラムを処理し、シェーダ・プログラムに関連付けられた実行スレッドを、スレッド・ディスパッチャ３１０４を介してディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３１０４は、グラフィックス及びメディア・パイプラインからのスレッド開始要求を調停し、要求されたスレッドを、実行ユニット３１０７及び／又は３１０８の１つ又は複数の実行ユニット上でインスタンス化するための論理を含む。たとえば、少なくとも一実施例では、ジオメトリ・パイプラインは、頂点シェーダ、モザイク・シェーダ、又はジオメトリ・シェーダを、処理するためにスレッド実行論理にディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３１０４はまた、実行しているシェーダ・プログラムからのランタイム・スレッド・スポーニング要求（ｓｐａｗｎｉｎｇ ｒｅｑｕｅｓｔ）を処理することができる。
【0431】
少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８は、多くの標準的な３Ｄグラフィックス・シェーダ命令のネイティブ・サポートを含む命令セットをサポートし、それにより、グラフィックス・ライブラリ（たとえば、Ｄｉｒｅｃｔ３Ｄ及びＯｐｅｎＧＬ）からのシェーダ・プログラムが、最小のトランスレーションで実行される。少なくとも一実施例では、実行ユニットは、頂点及びジオメトリの処理（たとえば、頂点プログラム、ジオメトリ・プログラム、及び／又は頂点シェーダ）、ピクセル処理（たとえば、ピクセル・シェーダ、フラグメント・シェーダ）、及び汎用処理（たとえば、コンピュート及びメディアのシェーダ）をサポートする。少なくとも一実施例では、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む各実行ユニット３１０７及び／又は３１０８のそれぞれは、単一命令複数データ（ＳＩＭＤ）の実行を複数発行することができ、マルチスレッド化された動作によって、メモリ・アクセスのレイテンシが高いにもかかわらず、効率的な実行環境が可能になる。少なくとも一実施例では、各実行ユニット内の各ハードウェア・スレッドは、専用の高帯域幅レジスタ・ファイル及び関連付けられる独立したスレッド状態を有する。少なくとも一実施例では、実行は、整数演算、単精度及び倍精度の浮動小数点演算、ＳＩＭＤブランチ性能、論理演算、超越演算、及び他の種々の演算を行うことができるパイプラインに対して、クロック当たり複数発行される。少なくとも一実施例では、メモリ、又は共有機能のうちの１つからのデータを待機している間に、実行ユニット３１０７及び／又は３１０８内の従属論理は、要求したデータが戻されるまで、待機スレッドをスリープ状態にする。少なくとも一実施例では、待機スレッドがスリープ状態の間に、ハードウェア・リソースは他のスレッドの処理に専念してもよい。たとえば、少なくとも一実施例では、頂点シェーダ動作に関連付けられる遅延中に、実行ユニットは、ピクセル・シェーダ、フラグメント・シェーダ、又は異なる頂点シェーダを含む別のタイプのシェーダ・プログラムのための動作を実行することができる。
【0432】
少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８の各実行ユニットは、データ要素のアレイに対して動作する。少なくとも一実施例では、データ要素の数は「実行サイズ」であり、又は命令に対するチャネルの数である。少なくとも一実施例では、実行チャネルは、データ要素のアクセス、マスキング、及び命令内のフロー制御に関する実行の論理ユニットである。少なくとも一実施例では、チャネルの数は、特定のグラフィックス・プロセッサのための物理的な算術論理演算ユニット（ＡＬＵ）又は浮動小数点ユニット（ＦＰＵ）の数とは無関係であってもよい。少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８は、整数及び浮動小数点のデータ・タイプをサポートしてもよい。
【0433】
少なくとも一実施例では、実行ユニット命令セットは、ＳＩＭＤ命令を含む。少なくとも一実施例では、様々なデータ要素が、パック・データ・タイプとしてレジスタに記憶されてもよく、実行ユニットは、要素のデータ・サイズに基づき様々な要素を処理する。たとえば、少なくとも一実施例では、２５６ビット幅ベクトルで動作しているとき、ベクトルの２５６ビットがレジスタに記憶され、実行ユニットは、４個の別々の６４ビット・パック・データ要素（クワッド・ワード（ＱＷ：Ｑｕａｄ－Ｗｏｒｄ）サイズのデータ要素）、８個の別々の３２ビット・パック・データ要素（ダブル・ワード（ＤＷ：Ｄｏｕｂｌｅ Ｗｏｒｄ）サイズのデータ要素）、１６個の別々の１６ビット・パック・データ要素（ワード（Ｗ：Ｗｏｒｄ）サイズのデータ要素）、又は３２個の別々の８ビット・データ要素（バイト（Ｂ：ｂｙｔｅ）サイズのデータ要素）としてベクトル上で動作する。しかし少なくとも一実施例では、異なるベクトル幅及びレジスタサイズが考えられる。
【0434】
少なくとも一実施例では、実行ユニット３１０７Ａを実行ユニット３１０８Ａと融合して融合実行ユニット３１０９Ａにするなど、１つ又は複数の実行ユニットを組み合わせて、融合ＥＵに共通のスレッド制御論理（３１１１Ａ～３１１１Ｎ）を有する融合実行ユニット３１０９Ａ～３１０９Ｎにすることができる。少なくとも一実施例では、複数のＥＵを融合して、ＥＵグループにすることができる。少なくとも一実施例では、融合ＥＵグループの各ＥＵは、融合ＥＵグループのＥＵの数が、様々な実施例に応じて異なっている可能性がある状態で、別々のＳＩＭＤハードウェア・スレッドを実行するように構成されることが可能である。少なくとも一実施例では、ＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２を含むがこれに限定されない様々なＳＩＭＤ幅を、ＥＵごとに実行することができる。少なくとも一実施例では、各融合グラフィックス実行ユニット３１０９Ａ～３１０９Ｎは、少なくとも２つの実行ユニットを含む。たとえば、少なくとも一実施例では、融合実行ユニット３１０９Ａは、第１のＥＵ３１０７Ａ、第２のＥＵ３１０８Ａ、及び第１のＥＵ３１０７Ａと第２のＥＵ３１０８Ａに共通のスレッド制御論理３１１１Ａを含む。少なくとも一実施例では、スレッド制御論理３１１１Ａは、融合グラフィックス実行ユニット３１０９Ａで実行されているスレッドを制御して、融合実行ユニット３１０９Ａ～３１０９Ｎ内の各ＥＵを、共通の命令ポインタ・レジスタを使用して実行できるようにする。
【0435】
少なくとも一実施例では、１つ又は複数の内部命令キャッシュ（たとえば、３１０６）は、実行ユニットに対するスレッド命令をキャッシュするためにスレッド実行論理３１００に含まれる。少なくとも一実施例では、１つ又は複数のデータ・キャッシュ（たとえば、３１１２）は、スレッド実行中にスレッド・データをキャッシュするために含まれる。少なくとも一実施例では、サンプラ３１１０は、３Ｄ動作のためのテクスチャ・サンプリング、及びメディア動作のためのメディア・サンプリングを実行するために含まれる。少なくとも一実施例では、サンプラ３１１０は、特別なテクスチャ又はメディア・サンプリング機能を含み、サンプリングされたデータを実行ユニットに提供する前に、サンプリング処理中にテクスチャ又はメディアのデータを処理する。
【0436】
実行中、少なくとも一実施例では、グラフィックス及びメディア・パイプラインは、スレッド開始要求を、スレッド・スポーニング及びディスパッチ論理を介してスレッド実行論理３１００に送る。少なくとも一実施例では、幾何学的物体のグループが処理され、ピクセル・データにラスタ化されたら、シェーダ・プロセッサ３１０２内のピクセル・プロセッサ論理（たとえば、ピクセル・シェーダ論理、フラグメント・シェーダ論理など）が呼び出されて、出力情報をさらにコンピュートし、結果を出力面（たとえば、色バッファ、深度バッファ、ステンシル・バッファなど）に書き込ませる。少なくとも一実施例では、ピクセル・シェーダ又はフラグメント・シェーダは、ラスタ化された物体間で補間されることになる様々な頂点属性の値を計算する。少なくとも一実施例では、次いで、シェーダ・プロセッサ３１０２内のピクセル・プロセッサ論理が、アプリケーション・プログラミング・インターフェース（ＡＰＩ）付きのピクセル・シェーダ・プログラム又はフラグメント・シェーダ・プログラムを実行する。少なくとも一実施例では、シェーダ・プログラムを実行するために、シェーダ・プロセッサ３１０２は、スレッド・ディスパッチャ３１０４を介してスレッドを実行ユニット（たとえば、３１０８Ａ）にディスパッチする。少なくとも一実施例では、シェーダ・プロセッサ３１０２は、サンプラ３１１０のテクスチャ・サンプリング論理を使用して、メモリに記憶されたテクスチャ・マップのテクスチャ・データにアクセスする。少なくとも一実施例では、テクスチャ・データ及び入力ジオメトリ・データに対する算術演算によって、各ジオメトリ・フラグメントのピクセル色データがコンピュートされ、又はさらなる処理から１つ又は複数のピクセルが切り捨てられる。
【0437】
少なくとも一実施例では、データ・ポート３１１４は、スレッド実行論理３１００のためのメモリ・アクセス機構を提供して、処理済みデータを、グラフィックス・プロセッサ出力パイプラインでさらに処理するためにメモリに出力する。少なくとも一実施例では、データ・ポート３１１４は、１つ又は複数のキャッシュ・メモリ（たとえば、データ・キャッシュ３１１２）を含み、又はそれに結合されて、データ・ポートを介したメモリ・アクセスのためのデータをキャッシュする。
【0438】
図３１Ｂに図示するように、少なくとも一実施例では、グラフィック実行ユニット３１０８は、命令フェッチ・ユニット３１３７、汎用レジスタ・ファイル・アレイ（ＧＲＦ：ｇｅｎｅｒａｌ ｒｅｇｉｓｔｅｒ ｆｉｌｅ ａｒｒａｙ）３１２４、アーキテクチャ・レジスタ・ファイル・アレイ（ＡＲＦ）３１２６、スレッド調停装置（ａｒｂｉｔｅｒ）３１２２、送信ユニット３１３０、ブランチ・ユニット３１３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３１３４のセット、及び専用整数ＳＩＭＤ ＡＬＵ３１３５のセットを含むことができる。少なくとも一実施例では、ＧＲＦ３１２４及びＡＲＦ３１２６は、各同時ハードウェア・スレッドに関連付けられた汎用レジスタ・ファイルとアーキテクチャ・レジスタ・ファイルのセットを含み、このハードウェア・スレッドは、グラフィックス実行ユニット３１０８においてアクティブであってもよい。少なくとも一実施例では、スレッドごとのアーキテクチャ状態が、ＡＲＦ３１２６において維持され、スレッド実行中に使用されるデータが、ＧＲＦ３１２４に記憶される。少なくとも一実施例では、各スレッドに対する命令ポインタを含む各スレッドの実行状態は、ＡＲＦ３１２６のスレッド専用レジスタに保持することが可能である。
【0439】
少なくとも一実施例では、グラフィックス実行ユニット３１０８は、同時マルチスレッディング（ＳＭＴ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）と微細化インターリーブ・マルチスレッディング（ＩＭＴ：Ｉｎｔｅｒｌｅａｖｅｄ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）の組合せであるアーキテクチャを有する。少なくとも一実施例では、アーキテクチャは、実行ユニット当たりの同時スレッドのターゲット数及びレジスタ数に基づき設計時に微調整することができるモジュール式構成を有し、ここで実行ユニットのリソースは、複数の同時スレッドを実行するために使用される論理にわたって分割される。
【0440】
少なくとも一実施例では、グラフィックス実行ユニット３１０８は複数の命令を共同発行することができ、この命令は、それぞれ異なる命令であってもよい。少なくとも一実施例では、グラフィックス実行ユニット・スレッド３１０８のスレッド調停装置３１２２は、送信ユニット３１３０、ブランチ・ユニット３１３２、又はＳＩＭＤ ＦＰＵ３１３４のうちの１つに命令をディスパッチして実行するようにすることができる。少なくとも一実施例では、各実行スレッドは、ＧＲＦ３１２４内の１２８個の汎用レジスタにアクセスすることができ、ここで各レジスタは、３２ビットのデータ要素のＳＩＭＤ８要素のベクトルとしてアクセス可能な３２バイトを記憶することができる。少なくとも一実施例では、各実行ユニット・スレッドは、ＧＲＦ３１２４内の４キロバイトにアクセスすることができるが、実施例はこのように限定されず、他の実施例ではより多くの、又はより少ないリソースが提供されてもよい。少なくとも一実施例では、最大７個のスレッドを同時に実行できるが、実行ユニット当たりのスレッド数も、実施例に応じて変えることができる。７個のスレッドが４キロバイトにアクセスできる少なくとも一実施例では、ＧＲＦ３１２４は、合計２８キロバイトを記憶することができる。少なくとも一実施例では、フレキシブルなアドレッシング・モードにより、複数のレジスタがともにアドレスされてより幅広いレジスタを効率的に構築したり、ストライド設定された矩形ブロック・データ構造を表したりできるようにすることができる。
【0441】
少なくとも一実施例では、メモリ動作、サンプラ動作、及び他のレイテンシの長いシステム通信は、送信ユニット３１３０へのメッセージ引渡しによって実行される「送信」命令を介してディスパッチされる。少なくとも一実施例では、ブランチ命令は、ＳＩＭＤの発散及び最終的な収束を容易にするために、ブランチ・ユニット３１３２にディスパッチされる。
【0442】
少なくとも一実施例では、グラフィックス実行ユニット３１０８は、浮動小数点演算を実行するための１つ又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３１３４を含む。少なくとも一実施例では、ＦＰＵ３１３４は、整数計算もサポートする。少なくとも一実施例では、ＦＰＵ３１３４は、最大Ｍ個の３２ビット浮動小数点（若しくは整数）演算をＳＩＭＤで実行し、又は最大で２Ｍ個の１６ビット整数演算、若しくは１６ビット浮動小数点演算をＳＩＭＤで実行することができる。少なくとも一実施例では、少なくとも１つのＦＰＵは、拡張数理機能を提供して、高スループットの超越数理関数、及び倍精度の６４ビット浮動小数点をサポートする。少なくとも一実施例では、８ビットの整数ＳＩＭＤ ＡＬＵ３１３５のセットも存在し、機械学習計算に関連付けられる動作を実行するように特に最適化されてもよい。
【0443】
少なくとも一実施例では、グラフィックス実行ユニット３１０８の複数のインスタンスのアレイが、グラフィックス・サブ・コア・グループ（たとえば、サブスライス）においてインスタンス化されてもよい。少なくとも一実施例では、実行ユニット３１０８は、複数の実行チャネルにわたって命令を実行することができる。少なくとも一実施例では、グラフィックス実行ユニット３１０８で実行される各スレッドは、異なるチャネルで実行される。
【0444】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、スレッド実行論理３１００に組み込まれてもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練動作は、図７Ａ又は図７Ｂに図示する論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行論理３１００のＡＬＵスレッドを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0445】
少なくとも一実施例では、図３１Ａ～図３１Ｂに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３１Ａ～図３１Ｂに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３１Ａ～図３１Ｂに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0446】
図３２は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）３２００を図示する。少なくとも一実施例では、ＰＰＵ３２００は、ＰＰＵ３２００によって実行された場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、ＰＰＵ３２００に実行させる機械可読コードで構成される。少なくとも一実施例では、ＰＰＵ３２００はマルチスレッド・プロセッサであり、このプロセッサは、１つ又は複数の集積回路デバイスに実装され、コンピュータ可読命令（機械可読命令若しくは単に命令とも呼ばれる）を、複数のスレッドで並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも一実施例では、ＰＰＵ３２００は、１つ又は複数のグラフィックス・コア１８００を含む。少なくとも一実施例では、スレッドとは、実行スレッドを指し、ＰＰＵ３２００によって実行されるように構成された命令のセットをインスタンス化したものである。少なくとも一実施例では、ＰＰＵ３２００は、液晶ディスプレイ（「ＬＣＤ」）デバイスなどのディスプレイ・デバイスに表示するための２次元（「２Ｄ」）画像データを生成するために、３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）である。少なくとも一実施例では、ＰＰＵ３２００を利用して、線形代数演算及び機械学習演算などの計算が実行される。図３２は、単に例示を目的とした実例の並列プロセッサを図示しており、本開示の範囲内で企図されるプロセッサ・アーキテクチャの非限定的な実例として解釈されるべきであり、同プロセッサに追加するため、且つ／又はそれを置き換えるために、任意の好適なプロセッサが利用されてもよいことが解釈されるべきである。
【0447】
少なくとも一実施例では、１つ又は複数のＰＰＵ３２００は、高性能コンピューティング（「ＨＰＣ」：Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）、データ・センタ、及び機械学習のアプリケーションを加速するように構成される。少なくとも一実施例では、ＰＰＵ３２００は、以下の非限定的な実例を含む深層学習システム及びアプリケーションを加速するように構成される：自律車両プラットフォーム、深層学習、高精度音声、画像、テキスト認識システム、インテリジェント・ビデオ分析、分子シミュレーション、創薬、病気診断、天気予報、ビッグ・データ分析、天文学、分子動態シミュレーション、金融モデリング、ロボット工学、工場自動化、リアルタイム言語翻訳、オンライン検索最適化、及び個別化ユーザ推奨など。
【0448】
少なくとも一実施例では、ＰＰＵ３２００は、限定することなく、入力／出力（「Ｉ／Ｏ」）ユニット３２０６、フロント・エンド・ユニット３２１０、スケジューラ（シーケンサ）・ユニット３２１２、ワーク分配ユニット３２１４、ハブ３２１６、クロスバー（「Ｘバー」：ｃｒｏｓｓｂａｒ）３２２０、１つ又は複数の汎用処理クラスタ（「ＧＰＣ」）３２１８、及び１つ又は複数のパーティション・ユニット（「メモリ・パーティション・ユニット」）３２２２を含む。少なくとも一実施例では、ＰＰＵ３２００は、１つ又は複数の高速ＧＰＵ相互接続（「ＧＰＵ相互接続」）３２０８を介してホスト・プロセッサ又は他のＰＰＵ３２００に接続される。少なくとも一実施例では、ＰＰＵ３２００は、システム・バス３２０２を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、ＰＰＵ３２００は、１つ又は複数のメモリ・デバイス（「メモリ」）３２０４を備えるローカル・メモリに接続される。少なくとも一実施例では、メモリ・デバイス３２０４は、限定することなく、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイスを含む。少なくとも一実施例では、１つ又は複数のＤＲＡＭデバイスは、複数のＤＲＡＭダイが各デバイス内で積層された高帯域幅メモリ（「ＨＢＭ」）サブシステムとして構成されても、且つ／又は構成可能であってもよい。
【0449】
少なくとも一実施例では、高速ＧＰＵ相互接続３２０８は、有線ベースのマルチ・レーン通信リンクを指してもよく、このリンクは、１つ又は複数の中央処理装置（「ＣＰＵ」）と組み合わされた１つ又は複数のＰＰＵ３２００をスケーリングし含むためにシステムによって使用され、高速ＧＰＵ相互接続３２０８は、ＰＰＵ３２００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする。少なくとも一実施例では、データ及び／又はコマンドは、高速ＧＰＵ相互接続３２０８により、ハブ３２１６を介して、１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図３２に明示されていないこともある他の構成要素などのＰＰＵ３２００の他のユニットに／から送信される。
【0450】
少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介してホスト・プロセッサ（図３２には示さず）から通信（たとえば、コマンド、データ）を送受信するように構成される。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して直接、又は１つ若しくは複数の、メモリ・ブリッジなどの中間デバイスを介して、ホスト・プロセッサと通信する。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介してＰＰＵ３２００のうちの１つ又は複数などの１つ又は複数の他のプロセッサと通信してもよい。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩｅ」）インターフェースを実装して、ＰＣＩｅバスを介して通信する。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、外部デバイスと通信するためのインターフェースを実装する。
【0451】
少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して受信したパケットをデコードする。少なくとも一実施例では、少なくともいくつかのパケットは、ＰＰＵ３２００に様々な動作を実行させるように構成されたコマンドを表す。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、デコードされたコマンドを、コマンドによって指定されるＰＰＵ３２００の様々な他のユニットに送信する。少なくとも一実施例では、コマンドは、フロント・エンド・ユニット３２１０に送信され、且つ／又はハブ３２１６、若しくは（図３２には明示していない）１つ若しくは複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなどのようなＰＰＵ３２００の他のユニットに送信される。少なくとも一実施例では、Ｉ／Ｏユニット３２０６はＰＰＵ３２００の様々な論理ユニット間で、通信をルーティングするように構成される。
【0452】
少なくとも一実施例では、ホスト・プロセッサによって実行されるプログラムは、ワークロードをＰＰＵ３２００に提供して処理するためにバッファにおいて、コマンド・ストリームをエンコードする。少なくとも一実施例では、ワークロードは、命令と、これらの命令によって処理されることになるデータとを含む。少なくとも一実施例では、バッファは、ホスト・プロセッサとＰＰＵ３２００の両方がアクセス（たとえば、書込み／読取り）可能なメモリ内の領域であり、ホスト・インターフェース・ユニットは、Ｉ／Ｏユニット３２０６によってシステム・バス３２０２を介して送信されるメモリ要求を介して、システム・バス３２０２に接続されたシステム・メモリ内のバッファにアクセスするように構成されてもよい。少なくとも一実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始点に対するポインタをＰＰＵ３２００に送信し、それによりフロント・エンド・ユニット３２１０は、１つ又は複数のコマンド・ストリームに対するポインタを受信し、１つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをＰＰＵ３２００の様々なユニットに転送する。
【0453】
少なくとも一実施例では、フロント・エンド・ユニット３２１０は、１つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように様々なＧＰＣ３２１８を構成するスケジューラ・ユニット３２１２（シーケンサ・ユニット、スレッド・シーケンサ、及び／又は非同期コンピュート・エンジンとも呼ばれてもよい）に結合される。少なくとも一実施例では、スケジューラ・ユニット３２１２は、スケジューラ・ユニット３２１２によって管理される様々タスクに関連する状態情報を追跡するように構成され、ここで状態情報は、どのＧＰＣ３２１８にタスクが割り当てられるか、タスクがアクティブか非アクティブか、タスクに関連付けられた優先レベルなどを示してもよい。少なくとも一実施例では、スケジューラ・ユニット３２１２は、ＧＰＣ３２１８のうちの１つ又は複数において、複数のタスクの実行を管理する。
【0454】
少なくとも一実施例では、スケジューラ・ユニット３２１２は、ＧＰＣ３２１８で実行するためのタスクをディスパッチするように構成されたワーク分配ユニット３２１４に結合される。少なくとも一実施例では、ワーク分配ユニット３２１４は、スケジューラ・ユニット３２１２から受信したスケジュール済みタスクの数を追跡し、ワーク分配ユニット３２１４は、ＧＰＣ３２１８のそれぞれについて、ペンディング・タスク・プール、及びアクティブ・タスク・プールを管理する。少なくとも一実施例では、ペンディング・タスク・プールは、特定のＧＰＣ３２１８によって処理されるように割り当てられたタスクを含むいくつかのスロット（たとえば、３２スロット）を備え、アクティブ・タスク・プールは、ＧＰＣ３２１８によりアクティブに処理されているタスクのためのいくつかのスロット（たとえば、４スロット）を備えてもよく、それにより、ＧＰＣ３２１８のうちの１つがタスクの実行を完了すると、ＧＰＣ３２１８のアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの別のタスクが選択され、ＧＰＣ３２１８で実行されるようにスケジューリングされる。少なくとも一実施例では、データ依存性が解決されるのを待機している間など、アクティブ・タスクがＧＰＣ３２１８上でアイドルである場合には、アクティブ・タスクがＧＰＣ３２１８から排除され、ペンディング・タスク・プールに戻され、その間に、ペンディング・タスク・プールの別のタスクが選択され、ＧＰＣ３２１８で実行されるようにスケジューリングされる。
【0455】
少なくとも一実施例では、ワーク分配ユニット３２１４は、Ｘバー３２２０を介して１つ又は複数のＧＰＣ３２１８と通信する。少なくとも一実施例では、Ｘバー３２２０は、ＰＰＵ３２００のユニットのうちの多くを、ＰＰＵ３２００の他のユニットに結合する相互接続ネットワークであり、ワーク分配ユニット３２１４を特定のＧＰＣ３２１８に結合するように構成されることが可能である。少なくとも一実施例では、ＰＰＵ３２００の１つ又は複数の他のユニットも、ハブ３２１６を介してＸバー３２２０に接続されてもよい。
【0456】
少なくとも一実施例では、タスクはスケジューラ・ユニット３２１２によって管理され、ワーク分配ユニット３２１４によってＧＰＣ３２１８のうちの１つにディスパッチされる。少なくとも一実施例では、ＧＰＣ３２１８は、タスクを処理し、結果を生成するように構成される。少なくとも一実施例では、結果は、ＧＰＣ３２１８内の他のタスクによって消費されてもよく、Ｘバー３２２０を介して異なるＧＰＣ３２１８にルーティングされてもよく、又はメモリ３２０４に記憶されてもよい。少なくとも一実施例では、結果を、パーティション・ユニット３２２２を介してメモリ３２０４に書き込むことができ、パーティション・ユニット３２２２は、メモリ３２０４への／からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも一実施例では、結果を、高速ＧＰＵ相互接続３２０８を介して別のＰＰＵ又はＣＰＵに送信することができる。少なくとも一実施例では、図３４と併せて本明細書でさらに詳細に説明されるように、ＰＰＵ３２００は、ＰＰＵ３２００に結合された別々で個別のメモリ・デバイス３２０４の数に等しいＵ個のパーティション・ユニット３２２２を、限定することなく含む。
【0457】
少なくとも一実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、このカーネルは、ホスト・プロセッサで実行されている１つ又は複数のアプリケーションがＰＰＵ３２００で実行するための動作をスケジューリングできるようにするアプリケーション・プログラミング・インターフェース（「ＡＰＩ」）を実装している。少なくとも一実施例では、複数のコンピュート・アプリケーションが、ＰＰＵ３２００によって同時に実行され、ＰＰＵ３２００は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質（「ＱｏＳ」：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、及び独立したアドレス空間を提供する。少なくとも一実施例では、アプリケーションは、ＰＰＵ３２００によって実行するための１つ又は複数のタスクをドライバ・カーネルに生成させる（たとえば、ＡＰＩコールの形の）命令を生成し、ドライバ・カーネルは、ＰＰＵ３２００によって処理されている１つ又は複数のストリームにタスクを出力する。少なくとも一実施例では、各タスクは、ワープ、ウェーブフロント、及び／又はウェーブと呼ばれてもよい関連スレッドの１つ又は複数のグループを備える。少なくとも一実施例では、ワープ、ウェーブフロント、及び／又はウェーブは、並列に実行することができる複数の関連スレッド（たとえば、３２個のスレッド）を備える。少なくとも一実施例では、連動スレッドとは、タスクを実行するための命令を含み、共有メモリを介してデータを交換する複数のスレッドを指してもよい。少なくとも一実施例では、スレッド及び連動スレッドは、図３４と併せてさらに詳細に説明される。
【0458】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＰＰＵ３２００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、別のプロセッサ若しくはシステムによって、又はＰＰＵ３２００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＰＰＵ３２００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0459】
少なくとも一実施例では、図３２に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３２に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３２に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0460】
図３３は、少なくとも一実施例による汎用処理クラスタ（「ＧＰＣ」）３３００を図示する。少なくとも一実施例では、ＧＰＣ３３００は、図３２のＧＰＣ３２１８である。少なくとも一実施例では、各ＧＰＣ３３００は、限定することなく、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各ＧＰＣ３３００は、限定することなく、パイプライン・マネージャ３３０２、プレ・ラスタ演算ユニット（「プレＲＯＰ」：ｐｒｅ－ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ）３３０４、ラスタ・エンジン３３０８、ワーク分配クロスバー（「ＷＤＸ」：ｗｏｒｋ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｒｏｓｓｂａｒ）３３１６、メモリ管理ユニット（「ＭＭＵ」）３３１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒｓ）３３０６、及びパーツの任意の好適な組合せを含む。
【0461】
少なくとも一実施例では、ＧＰＣ３３００の動作は、パイプライン・マネージャ３３０２によって制御される。少なくとも一実施例では、パイプライン・マネージャ３３０２は、ＧＰＣ３３００に配分されたタスクを処理するために１つ又は複数のＤＰＣ３３０６の構成を管理する。少なくとも一実施例では、パイプライン・マネージャ３３０２は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、１つ又は複数のＤＰＣ３３０６のうちの少なくとも１つを構成する。少なくとも一実施例では、ＤＰＣ３３０６は、プログラム可能なストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉ－ｐｒｏｃｅｓｓｏｒ）３３１４で頂点シェーダ・プログラムを実行するように構成される。少なくとも一実施例では、パイプライン・マネージャ３３０２は、少なくとも一実施例では、ワーク分配ユニットから受信したパケットを、ＧＰＣ３３００内の適切な論理ユニットにルーティングするように構成され、いくつかのパケットは、プレＲＯＰ３３０４の固定機能ハードウェア・ユニット及び／又はラスタ・エンジン３３０８にルーティングされてもよく、他のパケットは、プリミティブ・エンジン３３１２又はＳＭ３３１４によって処理されるようにＤＰＣ３３０６にルーティングされてもよい。少なくとも一実施例では、パイプライン・マネージャ３３０２は、ニューラル・ネットワーク・モデル及び／又はコンピューティング・パイプラインを実装するように、ＤＰＣ３３０６のうちの少なくとも１つを構成する。
【0462】
少なくとも一実施例では、プレＲＯＰユニット３３０４は、少なくとも一実施例では、ラスタ・エンジン３３０８及びＤＰＣ３３０６によって生成されたデータを、図３２と併せて上でより詳細に説明したパーティション・ユニット３２２２のラスタ動作（ＲＯＰ）ユニットにルーティングするように構成される。少なくとも一実施例では、プレＲＯＰユニット３３０４は、色ブレンディングの最適化を実行し、ピクセル・データを組織化し、アドレス・トランスレーションを実行し、その他の動作を行うように構成される。少なくとも一実施例では、ラスタ・エンジン３３０８は、少なくとも一実施例では様々なラスタ動作を実行するように構成されたいくつかの固定機能ハードウェア・ユニットを、限定することなく含み、ラスタ・エンジン３３０８は、限定することなく、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何プリミティブに関連付けられた平面方程式を生成し、平面方程式が、粗いラスタ・エンジンに送信されて、プリミティブに対するカバレッジ情報（たとえば、タイルのｘ、ｙカバレッジ・マスク）が生成され、粗いラスタ・エンジンの出力が、選別エンジンに送信され、ここでｚテストに落ちたプリミティブに関連付けられたフラグメントが選別され、クリッピング・エンジンに送信され、ここで視錐台の外側にあるフラグメントがクリップされる。少なくとも一実施例では、クリッピング及び選別を生き延びたフラグメントは、細かいラスタ・エンジンに渡されて、セットアップ・エンジンによって生成された平面方程式に基づき、ピクセル・フラグメントに対する属性が生成される。少なくとも一実施例では、ラスタ・エンジン３３０８の出力は、ＤＰＣ３３０６内に実装されたフラグメント・シェーダによってなど任意の好適なエンティティによって処理されることになるフラグメントを含む。
【0463】
少なくとも一実施例では、ＧＰＣ３３００に含まれる各ＤＰＣ３３０６は、限定することなく、Ｍパイプ・コントローラ（「ＭＰＣ」：Ｍ－Ｐｉｐｅ Ｃｏｎｔｒｏｌｌｅｒ）３３１０、プリミティブ・エンジン３３１２、１つ又は複数のＳＭ３３１４、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、ＭＰＣ３３１０は、ＤＰＣ３３０６の動作を制御して、パイプライン・マネージャ３３０２から受信したパケットを、ＤＰＣ３３０６内の適切なユニットにルーティングする。少なくとも一実施例では、頂点に関連付けられたパケットは、頂点に関連付けられた頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン３３１２にルーティングされ、対照的に、シェーダ・プログラムに関連付けられたパケットは、ＳＭ３３１４に送信されてもよい。
【0464】
少なくとも一実施例では、ＳＭ３３１４は、いくつかのスレッドにより表されたタスクを処理するように構成されたプログラム可能なストリーミング・プロセッサを、限定することなく含む。少なくとも一実施例では、ＳＭ３３１４はマルチスレッド化されており、スレッドの特定のグループからの複数のスレッド（たとえば、３２個のスレッド）を同時に実行するように構成され、単一命令複数データ（「ＳＩＭＤ」）アーキテクチャを実装し、ここでスレッドのグループ（ワープ、ウェーブフロント、ウェーブ）内の各スレッドは、同じ命令セットに基づき、異なるデータ・セットを処理するように構成される。少なくとも一実施例では、スレッド・グループ内のすべてのスレッドが命令の共通のセットを実行する。少なくとも一実施例では、ＳＭ３３１４は、単一命令複数スレッド（「ＳＩＭＴ」）アーキテクチャを実装し、ここで、スレッド・グループの各スレッドは、命令の共通セットに基づき、異なるデータ・セットを処理するように構成されるが、スレッド・グループ内の個々のスレッドは、実行中に発散することが許容される。少なくとも一実施例では、プログラム・カウンタ、コール・スタック、及び実行状態がワープ（ウェーブフロント及び／又はウェーブと呼ばれてもよい）ごとに維持されて、ワープ内のスレッドが発散するときに、ワープ間の同時処理、及びワープ内での直列実行が可能になる。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が個々のスレッドごとに維持されて、すべてのスレッド間、ワープ内、及びワープ間で等しい同時処理が可能になる。少なくとも一実施例では、実行状態が個々のスレッドごとに維持され、共通の命令を実行しているスレッドが、より効率的になるように収束され並列に実行されてもよい。ＳＭ３３１４の少なくとも一実施例は、本明細書でさらに詳細に説明される。
【0465】
少なくとも一実施例では、ＭＭＵ３３１８は、ＧＰＣ３３００とメモリ・パーティション・ユニット（たとえば、図３２のパーティション・ユニット３２２２）との間でインターフェースを提供し、ＭＭＵ３３１８は、仮想アドレスから物理アドレスへのトランスレーション、メモリ保護、及びメモリ要求の調停を提供する。少なくとも一実施例では、ＭＭＵ３３１８は、仮想アドレスからメモリの物理アドレスへのトランスレーションを実行するための１つ又は複数のトランスレーション・ルックアサイド・バッファ（「ＴＬＢ」）を提供する。
【0466】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＧＰＣ３３００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＧＰＣ３３００は、別のプロセッサ若しくはシステムによって、又はＧＰＣ３３００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＧＰＣ３３００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0467】
少なくとも一実施例では、図３３に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３３に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３３に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0468】
図３４は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニット３４００を図示する。少なくとも一実施例では、メモリ・パーティション・ユニット３４００は、限定することなく、ラスタ演算（「ＲＯＰ」）ユニット３４０２、レベル２（「Ｌ２」）キャッシュ３４０４、メモリ・インターフェース３４０６、及びそれらの任意の好適な組合せを含む。少なくとも一実施例では、メモリ・インターフェース３４０６はメモリに結合される。少なくとも一実施例では、メモリ・インターフェース３４０６は、高速データ転送のために、３２、６４、１２８、１０２４ビットのデータ・バスなどを実装してもよい。少なくとも一実施例では、ＰＰＵは、Ｕが正の整数である、Ｕ個のメモリ・インターフェース３４０６をパーティション・ユニット３４００の対当たりに１つのメモリ・インターフェース３４０６に組み込んでおり、ここでパーティション・ユニット３４００の各対は、対応するメモリ・デバイスに接続される。たとえば、少なくとも一実施例では、ＰＰＵは、高帯域幅メモリ・スタック、又はグラフィックス・ダブル・データ・レート、バージョン５、同期ダイナミック・ランダム・アクセス・メモリ（「ＧＤＤＲ５ ＳＤＲＡＭ」）など、最大Ｙ個のメモリ・デバイスに接続されてもよい。
【0469】
少なくとも一実施例では、メモリ・インターフェース３４０６は、高帯域幅メモリの第２世代（「ＨＢＭ２」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ）メモリ・インターフェースを実装し、ＹはＵの半分に等しい。少なくとも一実施例では、ＨＢＭ２メモリ・スタックは、ＰＰＵを有する物理パッケージに位置付けられて、従来のＧＤＤＲ５ ＳＤＲＡＭシステムに比べて実質的な電力と面積の節約を実現する。少なくとも一実施例では、各ＨＢＭ２スタックは、限定することなく４個のメモリ・ダイを含み、Ｙ＝４であり、各ＨＢＭ２スタックは、１つのダイ当たりに２つの１２８ビット・チャネルの合計８チャネル、及び１０２４ビットのデータ・バス幅を含む。少なくとも一実施例では、メモリは、１ビット・エラー訂正２ビット・エラー検出（「ＳＥＣＤＥＤ」：Ｓｉｎｇｌｅ－Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｄｏｕｂｌｅ－Ｅｒｒｏｒ Ｄｅｔｅｃｔｉｎｇ）エラー訂正コード（「ＥＣＣ」）をサポートしてデータを保護する。少なくとも一実施例では、ＥＣＣは、データ破損を受けやすいコンピュート・アプリケーションに、より高い信頼性を提供し得る。
【0470】
少なくとも一実施例では、ＰＰＵは、マルチ・レベルのメモリ階層を実装する。少なくとも一実施例では、メモリ・パーティション・ユニット３４００は、統合されたメモリをサポートして、中央処理装置（「ＣＰＵ」）及びＰＰＵメモリに単一の統合された仮想アドレス空間を提供し、仮想メモリ・システム間でのデータの共有を可能にする。少なくとも一実施例では、他のプロセッサに位置付けられたメモリにＰＰＵがアクセスする頻度を追跡して、より頻繁にページにアクセスしているＰＰＵの物理メモリに、メモリ・ページが確実に移動されるようにする。少なくとも一実施例では、高速ＧＰＵ相互接続３２０８は、アドレス・トランスレーション・サービスをサポートして、ＰＰＵが直接ＣＰＵのページ・テーブルにアクセスできるようにし、ＰＰＵによるＣＰＵメモリへのフル・アクセスを実現する。
【0471】
少なくとも一実施例では、コピー・エンジンは、複数のＰＰＵ間、又はＰＰＵとＣＰＵとの間で、データを転送する。少なくとも一実施例では、コピー・エンジンは、ページ・テーブルにマッピングされていないアドレスについてページ誤りを生成することができ、次いでメモリ・パーティション・ユニット３４００がページ誤りに対応して、アドレスをページ・テーブルにマッピングし、その後で、コピー・エンジンが転送を実行する。少なくとも一実施例では、メモリは、複数のプロセッサ間でコピー・エンジンの複数の動作についてピン留めされて（すなわち、ページ移動不可能にされて）、実質的に利用可能なメモリを低減させる。少なくとも一実施例では、ハードウェアのページ誤りがある場合、メモリ・ページが常駐であるかどうかに関わらず、アドレスをコピー・エンジンに渡すことができ、コピー・プロセスは透過的である。
【0472】
少なくとも一実施例によれば、図３２のメモリ３２０４又は他のシステム・メモリからのデータは、メモリ・パーティション・ユニット３４００によってフェッチされ、Ｌ２キャッシュ３４０４に記憶され、このＬ２キャッシュは、オン・チップに位置付けられ、様々なＧＰＣ間で共有される。少なくとも一実施例では、各メモリ・パーティション・ユニット３４００は、対応するメモリ・デバイスに関連付けられたＬ２キャッシュの少なくとも一部分を、限定することなく含む。少なくとも一実施例では、より低いレベルのキャッシュが、ＧＰＣ内の様々なユニットに実装される。少なくとも一実施例では、図３３のＳＭ３３１４のそれぞれは、レベル１（「Ｌ１」）キャッシュを実装してもよく、ここでＬ１キャッシュは、特定のＳＭ３３１４専用のプライベート・メモリであり、Ｌ２キャッシュ３４０４からのデータは、ＳＭ３３１４の機能ユニットで処理するために、Ｌ１キャッシュのそれぞれにフェッチされ記憶される。少なくとも一実施例では、Ｌ２キャッシュ３４０４は、メモリ・インターフェース３４０６及び図３２に示されるＸバー３２２０に結合される。
【0473】
少なくとも一実施例では、ＲＯＰユニット３４０２は、色圧縮、ピクセル・ブレンディングなど、ピクセル色に関係するグラフィックス・ラスタ演算を実行する。ＲＯＰユニット３４０２は、少なくとも一実施例では、ラスタ・エンジン３３０８と併せて深度テストを実装して、ピクセル・フラグメントに関連付けられたサンプル・ロケーションの深度を、ラスタ・エンジン３３０８の選別エンジンから受信する。少なくとも一実施例では、深度は、フラグメントに関連付けられたサンプル・ロケーションの深度バッファにおける対応する深度に対してテストされる。少なくとも一実施例では、フラグメントが、サンプル・ロケーションの深度テストを通過すると、ＲＯＰユニット３４０２は、深度バッファを更新し、深度テストの結果をラスタ・エンジン３３０８に送信する。パーティション・ユニット３４００の数はＧＰＣの数とは異なってもよく、したがって、各ＲＯＰユニット３４０２は、少なくとも一実施例では、ＧＰＣのそれぞれに結合されてもよいことが理解されよう。少なくとも一実施例では、ＲＯＰユニット３４０２は、異なるＧＰＣから受信したパケットを追跡し、ＲＯＰユニット３４０２によって生成された結果が、Ｘバー３２２０を通してルーティングされることになるかを判定する。
【0474】
少なくとも一実施例では、図３４に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３４に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３４に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0475】
図３５は、少なくとも一実施例による、ストリーミング・マルチプロセッサ（「ＳＭ」）３５００を図示する。少なくとも一実施例では、ＳＭ３５００は、図３３のＳＭである。少なくとも一実施例では、ＳＭ３５００は、限定することなく、命令キャッシュ３５０２、１つ又は複数のスケジューラ・ユニット３５０４（シーケンサ・ユニットと呼ばれてもよい）、レジスタ・ファイル３５０８、１つ又は複数の処理コア（「コア」）３５１０、１つ又は複数の特殊機能ユニット（「ＳＦＵ」：ｓｐｅｃｉａｌ ｆｕｎｃｔｉｏｎ ｕｎｉｔ）３５１２、１つ又は複数のロード／ストア・ユニット（「ＬＳＵ」）３５１４、相互接続ネットワーク３５１６、共有メモリ／レベル１（「Ｌ１」）キャッシュ３５１８、及び／又はこれらの任意の好適な組合せを含む。少なくとも一実施例では、ＬＳＵ３５１４は、ある動作を実行するために、データ（たとえば、命令）のロード／ストアに対応するストア動作のロードを実行する（たとえば、ＡＰＩ、ＡＰＩコールを実行する）。
【0476】
少なくとも一実施例では、ワーク分配ユニットは、並列処理ユニット（「ＰＰＵ」）の汎用処理クラスタ（「ＧＰＣ」）で実行するためにタスクをディスパッチし、各タスクは、ＧＰＣ内の特定のデータ処理クラスタ（「ＤＰＣ」）に配分され、タスクがシェーダ・プログラムに関連付けられる場合には、タスクはＳＭ３５００（ＣＵ及び／又はスライスと呼ばれてもよい）のうちの１つに配分される。少なくとも一実施例では、スケジューラ・ユニット３５０４（シーケンサ及び／又は非同期コンピュート・エンジンと呼ばれてもよい）は、ワーク分配ユニットからタスクを受信し、ＳＭ３５００に割り当てられた１つ又は複数のスレッド・ブロックについて命令スケジューリングを管理する。少なくとも一実施例では、スケジューラ・ユニット３５０４は、並列スレッドのワープ（ウェーブフロント及び／又はウェーブと呼ばれてもよい）として実行するためにスレッド・ブロックをスケジューリングし、ここで各スレッド・ブロックは、少なくとも１つのワープに配分される。少なくとも一実施例では、各ワープは、スレッドを実行する。少なくとも一実施例では、スケジューラ・ユニット３５０４は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを配分し、次いで複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット（たとえば、処理コア３５１０、ＳＦＵ３５１２、及びＬＳＵ３５１４）にディスパッチする。
【0477】
少なくとも一実施例では、連動グループ（ウェーブフロント及び／又はウェーブとも呼ばれてもよい）とは、通信するスレッドのグループを組織化するためのプログラミング・モデルを指してもよく、このモデルは、スレッドが通信する粒度をデベロッパが表せるようにして、より豊富でより効率的な並列分解の表現を可能にする。少なくとも一実施例では、連動した起動ＡＰＩは、並列アルゴリズムを実行するためにスレッド・ブロック間の同期をサポートする。少なくとも一実施例では、従来のプログラミング・モデルのアプリケーションは、連動スレッドを同期するための単一の簡単な構造、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア（たとえば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）を提供する。しかし、少なくとも一実施例では、プログラマは、スレッド・ブロックの粒度よりも小さいスレッド・グループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形で、より高い性能、設計の融通性、及びソフトウェア再利用を可能にしてもよい。少なくとも一実施例では、連動グループによって、プログラマは、サブ・ブロック（すなわち、単一スレッドと同じ大きさ）の粒度及びマルチ・ブロックの粒度において、スレッドのグループを明示的に定義し、連動グループ内のスレッドに対する同期などの集合的な動作を実行できるようになる。少なくとも一実施例では、プログラミング・モデルは、ソフトウェア境界を横切るクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数を、収束について仮定する必要なくそれらのローカルなコンテキスト内で安全に同期することができる。少なくとも一実施例では、連動グループのプリミティブは、プロデューサ－コンシューマ並列性、日和見並列性（ｏｐｐｏｒｔｕｎｉｓｔｉｃ ｐａｒａｌｌｅｌｉｓｍ）、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を限定することなく含む新しいパターンの連動並列性を可能にする。
【0478】
少なくとも一実施例では、ディスパッチ・ユニット３５０６は、１つ又は複数の機能ユニット及びスケジューラ・ユニット３５０４に命令を送信するように構成され、共通のワープからの２つの異なる命令を、各クロック・サイクル中にディスパッチできるようにする２つのディスパッチ・ユニット３５０６を限定することなく含む。少なくとも一実施例では、各スケジューラ・ユニット３５０４は、単一のディスパッチ・ユニット３５０６又は追加のディスパッチ・ユニット３５０６を含む。
【0479】
少なくとも一実施例では、各ＳＭ３５００（ＣＵ及び／又はスライスと呼ばれてもよい）は、少なくとも一実施例では、ＳＭ３５００の機能ユニットにレジスタのセットを提供するレジスタ・ファイル３５０８を限定することなく含む。少なくとも一実施例では、レジスタ・ファイル３５０８は、各機能ユニットがレジスタ・ファイル３５０８の専用部分に配分されるように、各機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル３５０８は、ＳＭ３５００によって実行されている異なるワープ間で分割され、レジスタ・ファイル３５０８は、機能ユニットのデータ経路に接続されたオペランド用の一時的なストレージを提供する。少なくとも一実施例では、各ＳＭ３５００は、限定することなく複数のＬ処理コア３５１０を含み、ここでＬは正の整数である。少なくとも一実施例では、ＳＭ３５００は、限定することなく、多数の（たとえば、１２８個以上の）個別の処理コア３５１０を含む。少なくとも一実施例では、各処理コア３５１０は、浮動小数点算術論理演算ユニット及び整数算術論理演算ユニットを限定することなく含む完全にパイプライン化された、単精度の、倍精度の、及び／又は混合精度の処理ユニットを限定することなく含む。少なくとも一実施例では、浮動小数点算術論理演算ユニットは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装する。少なくとも一実施例では、処理コア３５１０は、限定することなく、６４個の単精度（３２ビット）浮動小数点コア、６４個の整数コア、３２個の倍精度（６４ビット）浮動小数点コア、及び８個のテンソル・コアを含む。
【0480】
テンソル・コアは、少なくとも一実施例による行列演算を実行するように構成される。少なくとも一実施例では、１つ又は複数のテンソル・コアは、処理コア３５１０に含まれる。少なくとも一実施例では、テンソル・コアは、ニューラル・ネットワークの訓練及び推論のための畳み込み演算など、深層学習の行列演算を実行するように構成される。少なくとも一実施例では、各テンソル・コアは、４×４の行列で動作し、行列の積和演算（ｍａｔｒｉｘ ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｅ ｏｐｅｒａｔｉｏｎ）Ｄ＝Ａ×Ｂ＋Ｃを実行し、ここでＡ、Ｂ、Ｃ、及びＤは４×４の行列である。
【0481】
少なくとも一実施例では、行列乗算の入力Ａ及びＢは、１６ビットの浮動小数点行列であり、和の行列Ｃ及びＤは、１６ビットの浮動小数点又は３２ビットの浮動小数点行列である。少なくとも一実施例では、テンソル・コアは、３２ビットの浮動小数点の和を有する１６ビットの浮動小数点入力データで動作する。少なくとも一実施例では、１６ビットの浮動小数点乗算は、６４個の演算を使用し、結果的に完全精度の積をもたらし、次いでその積が、４×４×４の行列乗算の他の中間積との３２ビット浮動小数点加算を使用して加算される。テンソル・コアを使用して、少なくとも一実施例では、これらの小さい要素から構築される、はるかに大きい２次元又はさらに高次元の行列演算が実行される。少なくとも一実施例では、ＣＵＤＡ９Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも一実施例では、ＣＵＤＡレベルにおいて、ワープ・レベル・インターフェースは、ワープ（ウェーブフロント及び／又はウェーブと呼ばれてもよい）の３２スレッドすべてにわたる１６×１６のサイズの行列を仮定している。
【0482】
少なくとも一実施例では、各ＳＭ３５００は、特殊関数（たとえば、属性評価、逆数平方根など）を実行するＭ個のＳＦＵ３５１２を、限定することなく含む。少なくとも一実施例では、ＳＦＵ３５１２は、限定することなく、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも一実施例では、ＳＦＵ３５１２は、テクスチャ・マップのフィルタリング動作を実行するように構成されたテクスチャ・ユニットを、限定することなく含む。少なくとも一実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ（たとえば、テクセルの２Ｄアレイ）をロードして、ＳＭ３５００により実行されるシェーダ・プログラムで使用するためのサンプリングされたテクスチャ値を生成するように構成される。少なくとも一実施例では、テクスチャ・マップは、共有メモリ／レベル１キャッシュ３５１８に記憶される。少なくとも一実施例では、テクスチャ・ユニットは、少なくとも一実施例によれば、ミップ・マップ（たとえば、詳細さのレベルが異なるテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも一実施例では、各ＳＭ３５００は、限定することなく、２つのテクスチャ・ユニットを含む。
【0483】
各ＳＭ３５００は、少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８とレジスタ・ファイル３５０８の間でロード及びストア動作を実装するＮ個のＬＳＵ３５１４を、限定することなく含む。少なくとも一実施例では、相互接続ネットワーク３５１６は、各機能ユニットをレジスタ・ファイル３５０８に接続し、ＬＳＵ３５１４をレジスタ・ファイル３５０８及び共有メモリ／Ｌ１キャッシュ３５１８に接続する。少なくとも一実施例では、相互接続ネットワーク３５１６はクロスバーであり、このクロスバーは、任意の機能ユニットをレジスタ・ファイル３５０８の任意のレジスタに接続し、ＬＳＵ３５１４をレジスタ・ファイル３５０８と共有メモリ／Ｌ１キャッシュ３５１８のメモリ・ロケーションとに接続するように構成されてもよい。
【0484】
少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、少なくとも一実施例では、ＳＭ３５００とプリミティブ・エンジンとの間、及びＳＭ３５００のスレッド間でデータ・ストレージ及び通信を可能にするオン・チップ・メモリのアレイである。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、限定することなく、１２８ＫＢのストレージ容量を備え、ＳＭ３５００からパーティション・ユニットにへの経路にある。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、少なくとも一実施例では、読取り及び書込みをキャッシュするために使用される。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８、Ｌ２キャッシュ、及びメモリのうちの１つ又は複数は、補助ストレージである。
【0485】
少なくとも一実施例では、データ・キャッシュと共有メモリ機能とを単一のメモリ・ブロックに組み合わせることによって、両方のタイプのメモリ・アクセスについて性能が向上する。少なくとも一実施例では、容量は、共有メモリを使用しないプログラムによってキャッシュとして使用され、又は使用可能であり、それにより、共有メモリが容量の半分を使用するように構成されている場合、テクスチャ及びロード／ストア動作が、残りの容量を使用することができる。少なくとも一実施例によれば、共有メモリ／Ｌ１キャッシュ３５１８内に統合することによって、共有メモリ／Ｌ１キャッシュ３５１８が、データをストリームするための高スループットの管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供できるようになる。少なくとも一実施例では、汎用並列計算向けに構成されるときには、グラフィックス処理と比べてより簡単な構成を使用することができる。少なくとも一実施例では、固定機能のグラフィックス・プロセッシング・ユニットがバイパスされて、はるかに簡単なプログラミング・モデルが作製される。汎用並列計算の構成では、ワーク分配ユニットは、少なくとも一実施例においてスレッド・ブロックを直接ＤＰＣに割当て及び分配する。少なくとも一実施例では、ブロック内のスレッドは、各スレッドが確実に一意の結果を生成するように、計算において一意のスレッドＩＤを使用して共通のプログラムを実行し、ＳＭ３５００を使用して、プログラムを実行し計算を行い、共有メモリ／Ｌ１キャッシュ３５１８を使用してスレッド間で通信し、ＬＳＵ３５１４を使用して、共有メモリ／Ｌ１キャッシュ３５１８及びメモリ・パーティション・ユニットを介してグローバル・メモリを読み取り、書き込む。少なくとも一実施例では、汎用並列計算向けに構成されるときには、ＳＭ３５００は、ＤＰＣ上で新規のワークを起動するためにスケジューラ・ユニット３５０４が使用できるコマンドを書き込む。
【0486】
少なくとも一実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイスなどに含まれ、又はこれらに結合される。少なくとも一実施例では、ＰＰＵは、単一の半導体基板に具体化される。少なくとも一実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、縮小命令セット・コンピュータ（「ＲＩＳＣ」）ＣＰＵ、メモリ管理ユニット（「ＭＭＵ」）、デジタル－アナログ変換器（「ＤＡＣ」：ｄｉｇｉｔａｌ－ｔｏ－ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）などのような１つ又は複数の他のデバイスとともにシステム・オン・チップ（「ＳｏＣ」）に含まれる。
【0487】
少なくとも一実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィックス・カードに含まれてもよい。少なくとも一実施例では、グラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースをとるように構成されてもよい。少なくとも一実施例では、ＰＰＵは、マザーボードのチップセットに含まれる統合グラフィックス・プロセッシング・ユニット（「ｉＧＰＵ」：ｉｎｔｅｇｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。
【0488】
１つ又は複数の実施例に関連付けられる推論及び／又は訓練動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書において提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＳＭ３５００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＳＭ３５００は、別のプロセッサ若しくはシステムによって、又はＳＭ３５００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＳＭ３５００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0489】
少なくとも一実施例では、図３５に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３５に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３５に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0490】
医療用途における画像推論及び画像処理など、先進コンピューティングのための仮想化コンピューティング・プラットフォームに関する実施例が開示される。限定することなく、実施例は、放射線写真撮影、磁気共鳴撮像（ＭＲＩ）、核医学、超音波、ソノグラフィ、エラストグラフィ、光音響撮像、トモグラフィ、心エコー、機能的近赤外分光法、及び磁性粒子撮像、又はこれらの組合せを含んでもよい。少なくとも一実施例では、本明細書に記載の仮想化コンピューティング・プラットフォーム、及び関連付けられるプロセスは、限定することなく、法科学分析、表面下検出及び撮像（たとえば、石油探査、考古学、古生物学など）、地形学、海洋学、地質学、骨学、気象学、知能分野、又は物体追跡及び監視、センサ・データ処理（たとえば、ＲＡＤＡＲ、ＳＯＮＡＲ、ＬＩＤＡＲなど）、並びに／又はゲノミクス及び遺伝子配列において、追加的又は代替的に使用されてもよい。
【0491】
図３６を参照すると、図３６は、少なくとも一実施例による、画像処理及び推論のパイプラインを生成及び導入するプロセス３６００の実例データ・フロー図である。少なくとも一実施例では、プロセス３６００は、医療施設、病院、ヘルスケア機関、クリニック、リサーチ若しくは診断の研究所などのような１つ又は複数の施設３６０２において、撮像デバイス、処理デバイス、ゲノミクス・デバイス、遺伝子配列デバイス、放射線デバイス、及び／又は他のタイプのデバイスとともに使用するために導入されてもよい。少なくとも一実施例では、プロセス３６００は、シーケンシング・データについてゲノミクスの分析及び推論を実行するために導入されてもよい。本明細書に記載のシステム及びプロセスを使用して実行することができるゲノム分析の実例は、限定することなく、バリアント・コール、変異検出、及び遺伝子発現の定量化を含む。
【0492】
少なくとも一実施例では、プロセス３６００は、訓練システム３６０４内及び／又は導入システム３６０６内で実行されてもよい。少なくとも一実施例では、訓練システム３６０４を使用して、導入システム３６０６で使用するための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装が実行されてもよい。少なくとも一実施例では、導入システム３６０６は、処理及び計算のリソースを分散コンピューティング環境間でオフロードするように構成されて、施設３６０２におけるインフラストラクチャ要件を低減してもよい。少なくとも一実施例では、導入システム３６０６は、施設３６０２において撮像デバイス（たとえば、ＭＲＩ、ＣＴスキャン、Ｘ線、超音波など）又はシーケンシング・デバイスとともに使用するための仮想機器を選択し、カスタマイズし、実装するための合理化されたプラットフォームを提供してもよい。少なくとも一実施例では、仮想機器は、撮像デバイス、シーケンシング・デバイス、放射線デバイス、及び／又は他のタイプのデバイスによって生成された撮像データに対して１つ又は複数の処理動作を実行するためのソフトウェア定義アプリケーションを含んでもよい。少なくとも一実施例では、パイプライン内の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム３６０６のサービス（たとえば、推論、仮想化、計算、ＡＩなど）を使用又はコールしてもよい。
【0493】
少なくとも一実施例では、先進処理及び推論パイプラインで使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実行するために機械学習モデル又は他のＡＩを使用してもよい。少なくとも一実施例では、機械学習モデルは、施設３６０２で生成された（且つ、施設３６０２において１つ若しくは複数の画像アーカイブ及び通信システム（ＰＡＣＳ）サーバに記憶された）（撮像データなどの）データ３６０８を使用して、施設３６０２において訓練されてもよく、１つ又は複数の別の施設（たとえば、異なる病院、研究所、クリニックなど）からの撮像若しくはシーケンシングのデータ３６０８を使用して訓練されてもよく、又はそれらの組合せであってもよい。少なくとも一実施例では、訓練システム３６０４を使用して、導入システム３６０６向けの実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースが提供されてもよい。
【0494】
少なくとも一実施例では、モデル・レジストリ３６２４は、バージョン管理及び物体メタデータをサポートすることができる物体ストレージによってバックアップされてもよい。少なくとも一実施例では、物体ストレージには、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図３７のクラウド３７２６）の互換性アプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してアクセス可能であってもよい。少なくとも一実施例では、モデル・レジストリ３６２４内の機械学習モデルは、システムの開発者又はパートナがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除されてもよい。少なくとも一実施例では、ＡＰＩは、適切な資格を有するユーザがモデルをアプリケーションに関連付けできるようにする方法へのアクセスを提供してもよく、それによりアプリケーションのコンテナ化されたインスタンスを実行することの一部として、モデルを実行できるようになる。
【0495】
少なくとも一実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が独自の機械学習モデルを訓練している、又は最適化若しくは更新される必要がある既存の機械学習モデルを有しているシナリオを含んでもよい。少なくとも一実施例では、撮像デバイス、シーケンシング・デバイス、及び／又は他のタイプのデバイスによって生成された撮像データ３６０８が受信されてもよい。少なくとも一実施例では、撮像データ３６０８が受信されると、機械学習モデルのグラウンド・トゥルース・データとして使用されることになる撮像データ３６０８に対応するアノテーションの生成を支援するために、ＡＩ支援アノテーション３６１０が使用されてもよい。少なくとも一実施例では、ＡＩ支援アノテーション３６１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））を含んでもよく、これは（たとえば特定のデバイスからの）特定のタイプの撮像データ３６０８、及び／又は撮像データ３６０８内の特定のタイプの異常に対応するアノテーションを生成するように訓練されてもよい。少なくとも一実施例では、次いでＡＩ支援アノテーション３６１０は、グラウンド・トゥルース・データを生成するために直接使用されてもよく、又は（たとえば、研究者、臨床医、医師、科学者などによって）アノテーション・ツールを使用して調節若しくは微調整されてもよい。少なくとも一実施例では、いくつかの実例において、ラベル付けされたクリニック・データ３６１２（たとえば、臨床医、医師、科学者、技術者などによって提供されたアノテーション）が、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、ＡＩ支援アノテーション３６１０、ラベル付けされたクリニック・データ３６１２、又はこれらの組合せが、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、訓練済み機械学習モデルは出力モデル３６１６と呼ばれてもよく、本明細書に記載の導入システム３６０６によって使用されてもよい。
【0496】
少なくとも一実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が、導入システム３６０６内の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行する際に使用する機械学習モデルを必要としているが、施設３６０２は現在そのような機械学習モデルを有していないかもしれない（又はそうした目的のために最適化された、効率よい、若しくは有効なモデルを有していないかもしれない）という状況を含んでもよい。少なくとも一実施例では、既存の機械学習モデルが、モデル・レジストリ３６２４から選択されてもよい。少なくとも一実施例では、モデル・レジストリ３６２４は、撮像データに対して様々な異なる推論タスクを実行するように訓練された機械学習モデルを含んでもよい。少なくとも一実施例では、モデル・レジストリ３６２４の機械学習モデルは、施設３６０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データについて訓練されたものであってもよい。少なくとも一実施例では、機械学習モデルは、１つの場所、２つの場所、又は任意の数の場所からの撮像データについて訓練されたものであってもよい。少なくとも一実施例では、特定の場所からの撮像データについて訓練されるとき、訓練は、その場所で行われてもよく、又は少なくとも、撮像データの機密性を保護するようなやり方で、若しくは撮像データが構外へ転送されるのを制限するようなやり方で（たとえば、ＨＩＰＡＡ規定、プライバシー規定に準拠するように）行われてもよい。少なくとも一実施例では、１つの場所においてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ３６２４に加えられてもよい。少なくとも一実施例では、次いで機械学習モデルは、任意の数の他の施設において再訓練又は更新されてもよく、再訓練又は更新されたモデルが、モデル・レジストリ３６２４において利用可能にされてもよい。少なくとも一実施例では、次いで機械学習モデルは、モデル・レジストリ３６２４から選択されてもよく、出力モデル３６１６と呼ばれてもよく、導入システム３６０６において使用されて、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行してもよい。
【0497】
少なくとも一実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が、導入システム３６０６内の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行する際に使用する機械学習モデルを必要としていることを含むシナリオで使用することができるが、施設３６０２は現在そのような機械学習モデルを有していないかもしれない（又はそうした目的のために最適化された、効率よい、若しくは有効なモデルを有していないかもしれない）。少なくとも一実施例では、モデル・レジストリ３６２４から選択された機械学習モデルは、母集団、遺伝的差異、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題に違いがあることから、施設３６０２において生成される撮像データ３６０８向けに微調整又は最適化されていないことがある。少なくとも一実施例では、機械学習モデルを再訓練又は更新するためのグラウンド・トゥルース・データとして使用されることになる撮像データ３６０８に対応するアノテーションの生成を支援するために、ＡＩ支援アノテーション３６１０が使用されてもよい。少なくとも一実施例では、ラベル付けされたクリニック・データ３６１２（たとえば、臨床医、医師、科学者、技術者などによって提供されたアノテーション）が、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練３６１４と呼ばれてもよい。少なくとも一実施例では、モデル訓練３６１４、たとえばＡＩ支援アノテーション３６１０、ラベル付けされたクリニック・データ３６１２、又はこれらの組合せは、機械学習モデルを再訓練若しくは更新するためのグラウンド・トゥルース・データとして使用されてもよい。
【0498】
少なくとも一実施例では、導入システム３６０６は、ソフトウェア３６１８、サービス３６２０、ハードウェア３６２２、並びに／又は他の構成要素、特徴、及び機能を含んでもよい。少なくとも一実施例では、導入システム３６０６は、ソフトウェア「スタック」を含んでもよく、それによりソフトウェア３６１８は、サービス３６２０の上に構築されてもよく、サービス３６２０を使用して一部若しくはすべての処理タスクを実行してもよく、サービス３６２０及びソフトウェア３６１８は、ハードウェア３６２２の上に構築され、ハードウェア３６２２を使用して、導入システム３６０６の処理、ストレージ、及び／又は他の計算のタスクを実行してもよい。
【0499】
少なくとも一実施例では、ソフトウェア３６１８は、任意の数の異なるコンテナを含んでもよく、ここで各コンテナは、アプリケーションのインスタンス化を実行してもよい。少なくとも一実施例では、各アプリケーションは、先進処理及び推論パイプラインの１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実行してもよい。少なくとも一実施例では、撮像デバイス（たとえば、ＣＴ、ＭＲＩ、Ｘ線、超音波、ソノグラフィ、心エコーなど）、シーケンシング・デバイス、放射線デバイス、ゲノミクス・デバイスなどのタイプごとに、デバイスによって生成された撮像データ３６０８（又は、本明細書に記載のものなどの他のタイプのデータ）に対してデータ処理タスクを実行できる任意の数のコンテナが存在してもよい。少なくとも一実施例では、先進処理及び推論パイプラインは、（たとえば、医用におけるデジタル画像と通信（ＤＩＣＯＭ：ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ ｍｅｄｉｃｉｎｅ）データ、放射線医学情報システム（ＲＩＳ）データ、臨床情報システム（ＣＩＳ）データ、リモート・プロシージャ・コール（ＲＰＣ）データ、表現状態転送（ＲＥＳＴ）インターフェースに実質的に準拠したデータ、ファイルベースのインターフェースに実質的に準拠したデータ、及び／又は生のデータなどの使用可能なタイプのデータに出力を変換して戻し、施設３６０２において記憶及び表示するように）パイプラインを通して処理した後に、各コンテナによって使用される、且つ／又は施設３６０２によって使用される撮像データを受信及び構成するコンテナに加えて、撮像データ３６０８を処理するのに所望される又は必要とされる異なるコンテナの選択に基づき定義されてもよい。少なくとも一実施例では、（たとえばパイプラインを構成する）ソフトウェア３６１８内のコンテナの組合せは、（本明細書においてより詳細に記載する）仮想機器と呼ばれてもよく、仮想機器は、サービス３６２０及びハードウェア３６２２を利用して、コンテナにおいてインスタンス化されたアプリケーションの一部又はすべての処理タスクを実行してもよい。
【0500】
少なくとも一実施例では、データ処理パイプラインは、推論要求（たとえば、臨床医、医師、放射線医など、導入システム３６０６のユーザからの要求）に応答して、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生、及び／又は他のフォーマットで入力データ（たとえば、撮像データ３６０８）を受け取ってもよい。少なくとも一実施例では、入力データは、１つ又は複数の撮像デバイス、シーケンシング・デバイス、放射線デバイス、ゲノミクス・デバイス、及び／又は他のタイプのデバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表してもよい。少なくとも一実施例では、データは、データ処理パイプラインの一部としての事前処理を受けて、１つ又は複数のアプリケーションによって処理するためにデータが準備されてもよい。少なくとも一実施例では、パイプラインの１つ若しくは複数の推論タスク又は他の処理タスクの出力に対して後処理が実行されて、次のアプリケーション用に出力データが準備されてもよく、且つ／又は送信及び／若しくはユーザによる使用のために（たとえば、推論要求への応答として）出力データが準備されてもよい。少なくとも一実施例では、推論タスクは、訓練済み若しくは導入済みのニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実行されてもよく、このモデルは、訓練システム３６０４の出力モデル３６１６を含んでもよい。
【0501】
少なくとも一実施例では、データ処理パイプラインのタスクはコンテナにカプセル化されてもよく、コンテナはそれぞれ、アプリケーションの個別の完全に機能的なインスタンス化、及び機械学習モデルを参照できる仮想化コンピューティング環境を表す。少なくとも一実施例では、コンテナ又はアプリケーションは、（本明細書においてより詳細に記載する）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）区域に発行されてもよく、訓練済み又は導入済みのモデルは、モデル・レジストリ３６２４に記憶され、１つ又は複数のアプリケーションに関連付けられてもよい。少なくとも一実施例では、アプリケーションの画像（たとえば、コンテナの画像）は、コンテナ・レジストリにおいて入手可能であってもよく、パイプラインに導入するためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムで使用するためにアプリケーションをインスタンス化するためのコンテナを生成するために使用されてもよい。
【0502】
少なくとも一実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実行するために、アプリケーションを（たとえばコンテナとして）開発、公開、及び記憶してもよい。少なくとも一実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナが、確実にシステムに準拠するように、又はシステムと互換性があるようにするために）システムに関連付けられたソフトウェア開発キット（ＳＤＫ）を使用して実行されてもよい。少なくとも一実施例では、開発されたアプリケーションは、システム（たとえば図３７のシステム３７００）としてサービス３６２０の少なくとも一部をサポートすることができるＳＤＫを用いて、ローカルに（たとえば第１の施設において、第１の施設からのデータについて）テストされてもよい。少なくとも一実施例では、ＤＩＣＯＭ物体は、１個から数百個にわたる画像又は他のタイプのデータをどこにでも含むことができて、データのバリエーションがあることから、開発者は、入力されるＤＩＣＯＭデータの抽出及び準備を管理する（たとえば、アプリケーション用の構成を設定する、事前処理をアプリケーションに構築するなどの）責任を負うことがある。少なくとも一実施例では、システム３７００によって（たとえば、精度、安全性、患者のプライバシーなどが）検証されると、アプリケーションは、ユーザ（たとえば、病院、クリニック、研究所、ヘルスケア提供者など）によって選択及び／又は実装のためにコンテナ・レジストリにおいて利用可能にされて、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクが実行されてもよい。
【0503】
少なくとも一実施例では、次いで開発者は、アプリケーション又はコンテナを、システム（たとえば、図３７のシステム３７００）のユーザによってアクセス及び使用のためにネットワークを通して共有してもよい。少なくとも一実施例では、完成し検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶されてもよく、関連付けられる機械学習モデルは、モデル・レジストリ３６２４に記憶されてもよい。少なくとも一実施例では、推論又は画像処理の要求を出す要求元エンティティ（たとえば、医療施設のユーザ）は、コンテナ・レジストリ及び／又はモデル・レジストリ３６２４をブラウジングしてアプリケーション、コンテナ、データセット、機械学習モデルなどのために、データ処理パイプラインに含めるための要素の所望の組合せを選択し、撮像処理要求を送出してもよい。少なくとも一実施例では、要求は、要求を実行するために必要な入力データ（及びいくつかの実例では、関連付けられる患者データ）を含んでもよく、且つ／又は要求を処理する際に実行されることになるアプリケーション及び／又は機械学習モデルの選択を含んでもよい。少なくとも一実施例では、次いで要求は、導入システム３６０６（たとえばクラウド）の１つ又は複数の構成要素に渡されて、データ処理パイプラインの処理が実行されてもよい。少なくとも一実施例では、導入システム３６０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ３６２４から選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含んでもよい。少なくとも一実施例では、パイプラインによって結果が生成されると、結果がユーザに返されて参照されてもよい（たとえば、ローカルで、構内のワークステーション又は端末で実行している視聴アプリケーション・スイートで視聴されてもよい）。少なくとも一実施例では、放射線医は、任意の数のアプリケーション及び／又はコンテナを含むデータ処理パイプラインから結果を受信してもよく、ここで結果は、Ｘ線、ＣＴスキャン、ＭＲＩなどにおける異常検出を含んでもよい。
【0504】
少なくとも一実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を支援するために、サービス３６２０が利用されてもよい。少なくとも一実施例では、サービス３６２０は、計算サービス、人工知能（ＡＩ）サービス、視覚化サービス、及び／又は他のタイプのサービスを含んでもよい。少なくとも一実施例では、サービス３６２０は、ソフトウェア３６１８の１つ又は複数のアプリケーションに共通の機能を提供してもよく、それにより機能は、アプリケーションによってコール又は利用されることが可能なサービスに対して抽象化されてもよい。少なくとも一実施例では、サービス３６２０によって提供される機能は、動的でより効率的に実行されてもよく、それと同時に、（たとえば、並列コンピューティング・プラットフォーム３７３０（図３７）を使用して）アプリケーションが並列にデータを処理できるようにすることにより、良好にスケーリングされてもよい。少なくとも一実施例では、サービス３６２０により提供される同じ機能を共有する各アプリケーションに、サービス３６２０のそれぞれのインスタンスを有するよう要求するのではなく、サービス３６２０が、様々なアプリケーション間で共有されてもよい。少なくとも一実施例では、サービスは、非限定的な実例として、検出又はセグメント化のタスクを実行するために使用されてもよい推論のサーバ又はエンジンを含んでもよい。少なくとも一実施例では、機械学習モデルの訓練及び／又は再訓練の機能を提供することができるモデル訓練サービスが含まれてもよい。少なくとも一実施例では、ＧＰＵ加速化データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）の抽出、リサイズ、スケーリング、及び／又は他の拡張を提供することができるデータ拡張サービスがさらに含まれてもよい。少なくとも一実施例では、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などのような画像レンダリング効果を加えることができる視覚化サービスが使用されて、２次元（２Ｄ）及び／又は３次元（３Ｄ）のモデルにリアル感が付加されてもよい。少なくとも一実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを実現する仮想機器サービスが含まれてもよい。
【0505】
少なくとも一実施例では、サービス３６２０がＡＩサービス（たとえば、推論サービス）を含む場合、異常検出（たとえば、腫瘍、発育異常、瘢痕化など）のためのアプリケーションに関連付けられた１つ又は複数の機械学習モデルは、機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）に（たとえば、ＡＰＩコールとして）コールすることによって、実行されてもよい。少なくとも一実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、セグメント化タスクに関連付けられた処理動作のうちの１つ又は複数を実行するための機械学習モデルを実行するように、アプリケーションは推論サービスをコールしてもよい。少なくとも一実施例では、セグメント化アプリケーション及び異常検出アプリケーションを含む先進処理及び推論パイプラインを実装するソフトウェア３６１８は、１つ又は複数の推論タスクを実行するためにそれぞれのアプリケーションが同じ推論サービスをコールすることがあるので、合理化されてもよい。
【0506】
少なくとも一実施例では、ハードウェア３６２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸスーパーコンピュータ・システムなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含んでもよい。少なくとも一実施例では、異なるタイプのハードウェア３６２２を使用して、導入システム３６０６のソフトウェア３６１８及びサービス３６２０のための効率的で専用のサポートが提供されてもよい。少なくとも一実施例では、画像処理、画像再構築、セグメント化、ＭＲＩ検査、脳卒中又は心臓発作の（たとえばリアルタイムの）検出、レンダリングの画像品質などの効率、精度、及び有効性を向上させるために、ＡＩ／深層学習システム内、クラウド・システムにおいて、及び／又は導入システム３６０６の他の処理構成要素において、ローカルで（たとえば、施設３６０２で）処理を行うためのＧＰＵ処理の使用が実装されてもよい。少なくとも一実施例では、施設は、撮像デバイス、ゲノミクス・デバイス、シーケンシング・デバイス、及び／又は他のタイプのデバイスを構内に含んでもよく、これらは、ＧＰＵを利用して、対象者の解剖学的組織を表す撮像データを生成してもよい。
【0507】
少なくとも一実施例では、ソフトウェア３６１８及び／又はサービス３６２０は、非限定的な実例として深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化されてもよい。少なくとも一実施例では、導入システム３６０６及び／又は訓練システム３６０４のコンピューティング環境のうちの少なくとも一部は、データセンタの１つ若しくは複数のスーパーコンピュータ、又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアの組合せ）を用いて実行されてもよい。少なくとも一実施例では、データセンタは、ＨＩＰＡＡの条項に準拠してもよく、したがって、撮像データ及び／又は他の患者データの受信、処理、及び送信は、患者データのプライバシーに関して安全に取り扱われる。少なくとも一実施例では、ハードウェア３６２２は、任意の数のＧＰＵを含んでもよく、これらのＧＰＵは、本明細書に記載するように、データの並列処理を実行するためにコールされてもよい。少なくとも一実施例では、クラウド・プラットフォームはさらに、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化された実行のためのＧＰＵ処理を含んでもよい。少なくとも一実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステムによって提供される）ＡＩ／深層学習スーパーコンピュータ、及び／又はＧＰＵ最適化ソフトウェアをハードウェア抽象化及びスケーリングのプラットフォームとして使用して、実行されてもよい。少なくとも一実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合してもよい。
【0508】
少なくとも一実施例では、図３６に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３６に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３６に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0509】
図３７は、少なくとも一実施例による撮像導入パイプラインを生成及び導入するための実例システム３７００のためのシステム図である。少なくとも一実施例では、システム３７００は、図３６のプロセス３６００、及び／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用されてもよい。少なくとも一実施例では、システム３７００は、訓練システム３６０４及び導入システム３６０６を含んでもよい。少なくとも一実施例では、訓練システム３６０４及び導入システム３６０６は、本明細書に記載するように、ソフトウェア３６１８、サービス３６２０、及び／又はハードウェア３６２２を使用して実装されてもよい。
【0510】
少なくとも一実施例では、システム３７００（たとえば、訓練システム３６０４及び／又は導入システム３６０６）は、クラウド・コンピューティング環境（たとえば、クラウド３７２６の使用）において実装されてもよい。少なくとも一実施例では、システム３７００は、ヘルスケア・サービス施設に関してローカルに実装されてもよく、又はクラウドとローカル・コンピューティング・リソースの両方の組合せとして実装されてもよい。少なくとも一実施例では、クラウド・コンピューティングが実装される実施例では、ＨＩＰＡＡ並びに／又は他のデータ取扱い及びプライバシーの規定若しくは法律に準拠していない処理を提供するシステム３７００の１つ又は複数の構成要素から、患者データは分離されてもよく、又はそれらによって処理されなくてもよい。少なくとも一実施例では、クラウド３７２６のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを介して許可されたユーザに限定されてもよい。少なくとも一実施例では、セキュリティ・プロトコルはウェブ・トークンを含んでもよく、このウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）のサービスによって署名されてもよく、適切な許可を持っていてもよい。少なくとも一実施例では、（本明細書に記載の）仮想機器のＡＰＩ、又はシステム３７００の他のインスタンス化は、対話について検査済み又は許可済みのパブリックＩＰのセットに限定されてもよい。
【0511】
少なくとも一実施例では、システム３７００の様々な構成要素は、有線及び／又は無線の通信プロトコルを介して、ローカル・エリア・ネットワーク（ＬＡＮ）及び／又は広域ネットワーク（ＷＡＮ）を含むがこれらに限定されない様々な異なるタイプのネットワークのうちの任意のものを使用して、相互に通信してもよい。少なくとも一実施例では、（たとえば推論要求を送信するため、推論要求の結果を受信するためなど）施設とシステム３７００の構成要素との間の通信は、１つ又は複数のデータ・バス、無線データ・プロトコル（Ｗｉ－Ｆｉ）、有線データ・プロトコル（たとえば、イーサネット（登録商標））などを介して通信されてもよい。
【0512】
少なくとも一実施例では、訓練システム３６０４は、図３６に関して本明細書に記載したものと同様の訓練パイプライン３７０４を実行してもよい。少なくとも一実施例では、１つ又は複数の機械学習モデルが導入システム３６０６により導入パイプライン３７１０において使用されることになる場合、訓練パイプライン３７０４を使用して、１つ又は複数の（たとえば、事前訓練された）モデルが訓練若しくは再訓練されてもよく、且つ／又は事前訓練されたモデル３７０６のうちの１つ又は複数が（たとえば再訓練若しくは更新を必要とせずに）実装されてもよい。少なくとも一実施例では、訓練パイプライン３７０４の結果として、出力モデル３６１６が生成されてもよい。少なくとも一実施例では、訓練パイプライン３７０４は、（たとえばＤＩＣＯＭ画像を、それぞれの機械学習モデルによって処理するのに適した別のフォーマット、たとえばＮｅｕｒｏｉｍａｇｉｎｇ Ｉｎｆｏｒｍａｔｉｃｓ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｉｔｉａｔｉｖｅ（ＮＩｆＴＩ）フォーマットなどに変換するためのＤＩＣＯＭアダプタ３７０２Ａを使用した）撮像データ（若しくは他の入力データ）の変換若しくは適合、ＡＩ支援アノテーション３６１０、ラベル付きクリニック・データ３６１２を生成するための撮像データ３６０８のラベル付け又はアノテーション付け、モデル・レジストリからのモデル選択、モデル訓練３６１４、モデルの訓練、再訓練、若しくは更新、及び／又は他の処理ステップなどであるがこれらに限定されない任意の数の処理ステップを含んでもよい。少なくとも一実施例では、導入システム３６０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン３７０４が使用されてもよい。少なくとも一実施例では、図３６に関して記載した第１の実例と同様の訓練パイプライン３７０４は、第１の機械学習モデルに使用されてもよく、図３６に関して記載した第２の実例と同様の訓練パイプライン３７０４は、第２の機械学習モデルに使用されてもよく、図３６に関して記載した第３の実例と同様の訓練パイプライン３７０４は、第３の機械学習モデルに使用されてもよい。少なくとも一実施例では、それぞれの各機械学習モデルに要求されるものに応じて、訓練システム３６０４内のタスクの任意の組合せが使用されてもよい。少なくとも一実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練済みで導入の準備が整っていてもよく、それにより機械学習モデルは、訓練システム３６０４によるいかなる処理も受けなくてもよく、導入システム３６０６によって実装されてもよい。
【0513】
少なくとも一実施例では、出力モデル３６１６及び／又は事前訓練されたモデル３７０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含んでもよい。少なくとも一実施例では、限定することなく、システム３７００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、決定木、サポート・ベクター・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、再帰、パーセプトロン、長／短期メモリ（ＬＳＴＭ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、逆畳み込み、敵対的生成、液体状態マシンなど）を使用する機械学習モデル、及び／又は他のタイプの機械学習モデルを含んでもよい。
【0514】
少なくとも一実施例では、訓練パイプライン３７０４は、少なくとも図４０Ｂに関して、より詳細に本明細書に記載するＡＩ支援アノテーションを含んでもよい。少なくとも一実施例では、ラベル付きクリニック・データ３６１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成されてもよい。少なくとも一実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ）プログラム、ラベル付けプログラム、グラウンド・トゥルース用のアノテーション若しくはラベルの生成に適した別のタイプのプログラム内で生成されてもよく、且つ／又はいくつかの実例では、手書きされてもよい。少なくとも一実施例では、グラウンド・トゥルース・データは、合成により生成されてもよく（たとえば、コンピュータ・モデル又はレンダリングから生成されてもよく）、現実的に生成されてもよく（たとえば、実世界のデータから設計及び生成されてもよく）、機械自動化されてもよく（たとえば、特徴の分析及び学習を使用して、データから特徴を抽出し、次いでラベルを生成してもよく）、人間によりアノテーション付けされてもよく（たとえば、ラベラ、又はアノテーション専門家がラベルのロケーションを定義してもよく）、且つ／又はこれらの組合せであってもよい。少なくとも一実施例では、撮像データ３６０８のインスタンス（又は機械学習モデルによって使用される他のタイプのデータ）ごとに、訓練システム３６０４によって生成される対応するグラウンド・トゥルース・データが存在してもよい。少なくとも一実施例では、訓練パイプライン３７０４に含まれるＡＩ支援アノテーションに加えて又はその代わりに、導入パイプライン３７１０の一部としてＡＩ支援アノテーションが実行されてもよい。少なくとも一実施例では、システム３７００は多層プラットフォームを含んでもよく、このプラットフォームは、１つ又は複数の医療用撮像及び診断の機能を実行することができる診断アプリケーション（又は他のタイプのアプリケーション）のソフトウェア層（たとえば、ソフトウェア３６１８）を含んでもよい。少なくとも一実施例では、システム３７００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合されてもよい。少なくとも一実施例では、システム３７００は、ＰＡＣＳサーバからのデータ（たとえば、ＤＩＣＯＭデータ、ＲＩＳデータ、生データ、ＣＩＳデータ、ＲＥＳＴ準拠データ、ＲＰＣデータ、生データなど）に（たとえば、ＤＩＣＯＭアダプタ３７０２、又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生などのような別のタイプのデータ・アダプタを介して）アクセスし、それを参照するように構成されて、機械学習モデルの訓練、機械学習モデルの導入、画像処理、推論、及び／又は他の動作などの動作を実行してもよい。
【0515】
少なくとも一実施例では、ソフトウェア層は、セキュアな、暗号化された、且つ／又は認証されたＡＰＩとして実装されてもよく、これを介して、アプリケーション又はコンテナが、外部環境（たとえば、施設３６０２）から呼び出し（たとえばコール）されてもよい。少なくとも一実施例では、次いでアプリケーションは、それぞれのアプリケーションに関連付けられた計算、ＡＩ、又は視覚化のタスクを実行するために１つ又は複数のサービス３６２０をコール又は実行してもよく、ソフトウェア３６１８及び／又はサービス３６２０は、ハードウェア３６２２を利用して、処理タスクを有効且つ効率的なやり方で実行してもよい。
【0516】
少なくとも一実施例では、導入システム３６０６は、導入パイプライン３７１０を実行してもよい。少なくとも一実施例では、導入パイプライン３７１０は任意の数のアプリケーションを含んでもよく、これらは、上に記載のＡＩ支援アノテーションを含め、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のタイプのデータ）に連続的に、非連続的に、又は他のやり方で適用されてもよい。少なくとも一実施例では、本明細書に記載するように、個々のデバイス用の導入パイプライン３７１０は、デバイス用の仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれてもよい。少なくとも一実施例では、デバイスによって生成されるデータに必要な情報に応じて、１つのデバイスにつき２つ以上の導入パイプライン３７１０が存在してもよい。少なくとも一実施例では、異常検出がＭＲＩマシンに必要とされる場合、第１の導入パイプライン３７１０が存在してもよく、画像強調がＭＲＩマシンの出力に必要とされる場合、第２の導入パイプライン３７１０が存在してもよい。
【0517】
少なくとも一実施例では、導入パイプライン３７１０にとって利用可能なアプリケーションは、デバイスからの撮像データ又は他のデータに対して処理タスクを実行するために使用することができる任意のアプリケーションを含んでもよい。少なくとも一実施例では、画像強調、セグメント化、再構築、異常検出、物体検出、特徴検出、処置計画、線量測定、ビーム計画（又は他の放射線処置手順）、及び／又は他の分析、画像処理、又は推論のタスクを、異なるアプリケーションが担当してもよい。少なくとも一実施例では、導入システム３６０６は、それぞれのアプリケーションの構造を定義してもよく、それにより導入システム３６０６のユーザ（たとえば、医療施設、研究所、クリニックなど）は、構造を理解し、自らのそれぞれの施設内で実装するためにアプリケーションを適応させてもよい。少なくとも一実施例では、導入パイプライン３７１０に含めるために、画像再構築用のアプリケーションが選択されてもよいが、撮像デバイスによって生成されるデータのタイプは、アプリケーション内で使用されるデータのタイプとは異なってもよい。少なくとも一実施例では、ＤＩＣＯＭアダプタ３７０２Ｂ（及び／又はＤＩＣＯＭリーダ）は、又は別のタイプのデータ・アダプタ若しくはリーダ（たとえば、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）が導入パイプライン３７１０内で使用されて、導入システム３６０６内のアプリケーションによって使用可能な形にデータを変換してもよい。少なくとも一実施例では、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生、及び／又は他のタイプのデータ・ライブラリへのアクセスは、データに対する任意の畳み込み、色補正、鮮明度、ガンマ、及び／又は他の拡張を、デコード、抽出、及び／又は実行することを含め、累積され、事前処理されてもよい。少なくとも一実施例では、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、及び／又は生データは、順序なしであってもよく、収集されたデータを整理しソートするために、事前パスが実行されてもよい。少なくとも一実施例では、様々なアプリケーションは共通の画像動作を共有することがあるので、いくつかの実施例では、（たとえば、サービス３６２０の１つとして）データ拡張ライブラリを使用して、これらの動作が加速化されてもよい。少なくとも一実施例では、ＣＰＵ処理に依存する従来の処理手法のボトルネックを回避するために、並列コンピューティング・プラットフォーム３７３０を使用して、これらの処理タスクがＧＰＵ加速化されてもよい。
【0518】
少なくとも一実施例では、画像再構築アプリケーションは、機械学習モデルの使用を含む処理タスクを含んでもよい。少なくとも一実施例では、ユーザは、独自の機械学習モデルを使用すること、又はモデル・レジストリ３６２４から機械学習モデルを選択することを望む場合がある。少なくとも一実施例では、ユーザは、処理タスクを実行するために、独自の機械学習モデルを実装してもよく、又は機械学習モデルを選択してアプリケーションに含めてもよい。少なくとも一実施例では、アプリケーションは選択可能及びカスタマイズ可能であってもよく、アプリケーションの構造を定義することにより、特定のユーザ向けのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも一実施例では、システム３７００の他の特徴、たとえばサービス３６２０及びハードウェア３６２２などを利用することにより、導入パイプライン３７１０は、さらによりユーザ・フレンドリになることができ、より容易な統合を実現でき、より正確で、効率的で、タイムリーな結果を生み出すことができる。
【0519】
少なくとも一実施例では、導入システム３６０６はユーザ・インターフェース３７１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含んでもよく、これらは、アプリケーションを選択して導入パイプライン３７１０に含める、アプリケーションを構成する、アプリケーション又はそのパラメータ若しくは構造を修正又は変更する、セットアップ及び／又は導入中に導入パイプライン３７１０を使用しそれと対話する、且つ／又は他のやり方で導入システム３６０６と対話するために使用されてもよい。少なくとも一実施例では、訓練システム３６０４に関して図示されていないが、ユーザ・インターフェース３７１４（又は異なるユーザ・インターフェース）は、導入システム３６０６で使用するモデルを選択するため、訓練システム３６０４において訓練若しくは再訓練するモデルを選択するため、且つ／又は他のやり方で訓練システム３６０４と対話するために使用されてもよい。
【0520】
少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８に加えてパイプライン・マネージャ３７１２を使用して、導入パイプライン３７１０のアプリケーション又はコンテナと、サービス３６２０及び／又はハードウェア３６２２との間で対話が管理されてもよい。少なくとも一実施例では、パイプライン・マネージャ３７１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス３６２０への対話、及び／又はアプリケーション若しくはサービスからハードウェア３６２２への対話を容易にするように構成されてもよい。少なくとも一実施例では、ソフトウェア３６１８に含まれるように図示してあるが、これは限定を意図しておらず、（たとえば、図３８に示すものなど）いくつかの実例では、パイプライン・マネージャ３７１２は、サービス３６２０に含まれてもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含んでもよく、このシステムは、アプリケーションを、調整、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化することができる。少なくとも一実施例では、導入パイプライン３７１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることより、各アプリケーションは自己完結型環境内（たとえば、カーネル・レベルで）で実行して、スピード及び効率を向上させることができる。
【0521】
少なくとも一実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入されてもよく（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入してもよく、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入してもよく）、これにより、別のアプリケーション又はコンテナのタスクに邪魔されることなく、１つのアプリケーション及び／又はコンテナのタスクに集中し、注意を払うことが可能になる。少なくとも一実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ３７１２及びアプリケーション・オーケストレーション・システム３７２８によって支援されてもよい。少なくとも一実施例では、各コンテナ又はアプリケーションの予測される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構造に基づき）システムによって知られている限り、アプリケーション・オーケストレーション・システム３７２８及び／又はパイプライン・マネージャ３７１２は、アプリケーション又はコンテナのそれぞれ間の通信、及びそれらの間でのリソースの共有を容易にすることができる。少なくとも一実施例では、導入パイプライン３７１０のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有することができるので、アプリケーション・オーケストレーション・システム３７２８は、様々なアプリケーション間又はコンテナ間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定してもよい。少なくとも一実施例では、スケジューラを使用して、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性が追跡されてもよい。少なくとも一実施例では、こうしてスケジューラは、異なるアプリケーションにリソースを配分し、システムの要件及び利用可能性を考慮してアプリケーション間でリソースを分配してもよい。いくつかの実例では、スケジューラ（並びに／又は、シーケンサ及び／若しくは非同期コンピュート・エンジンなどのアプリケーション・オーケストレーション・システム３７２８の他の構成要素）は、サービスの品質（ＱｏＳ）、（たとえば、リアルタイム処理を実行するか、遅延処理を実行するかを決定するための）データ出力を必要とする緊急度などのような、システムに課される制約（たとえば、ユーザ制約）に基づき、リソースの利用可能性及び分配を決定してもよい。
【0522】
少なくとも一実施例では、導入システム３６０６のアプリケーション又はコンテナによって利用及び共有されるサービス３６２０は、計算サービス３７１６、ＡＩサービス３７１８、視覚化サービス３７２０、及び／又は他のタイプのサービスを含んでもよい。少なくとも一実施例では、アプリケーションは、サービス３６２０のうちの１つ又は複数をコール（たとえば実行）して、アプリケーションのための処理動作を実行してもよい。少なくとも一実施例では、計算サービス３７１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ）のタスクを実行するために、アプリケーションによって利用されてもよい。少なくとも一実施例では、アプリケーションのうちの１つ又は複数を介してデータを実質的に同時に処理するため、且つ／又は１つのアプリケーションの１つ又は複数のタスクを実質的に同時に処理するために、計算サービス３７１６を利用して（たとえば、並列コンピューティング・プラットフォーム３７３０を使用して）並列処理が実行されてもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム３７３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ３７２２）上での汎用コンピューティング（ＧＰＧＰＵ）を可能にしてもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム３７３０のソフトウェア層は、計算カーネルを実行するために仮想命令セット及びＧＰＵの並列計算要素へのアクセスを提供してもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム３７３０はメモリを含んでもよく、いくつかの実施例では、メモリは、複数のコンテナ間で、且つ／又は１つのコンテナ内の異なる処理タスク間で共有されてもよい。少なくとも一実施例では、複数のコンテナ、及び／又はコンテナ内の複数のプロセスが、並列コンピューティング・プラットフォーム３７３０のメモリの共有セグメントからの同じデータを使用するために（たとえば、アプリケーションの複数の異なるステージ、又は複数のアプリケーションが、同じ情報を処理する場合）、プロセス間通信（ＩＰＣ）コールが生成されてもよい。少なくとも一実施例では、データのコピーを作成し、データをメモリの異なるロケーションに移動（たとえば、読取り／書込みの動作）させるのではなく、メモリの同じロケーションの同じデータが、任意の数の処理タスクに（たとえば、同じ時間、異なる時間などに）使用されてもよい。少なくとも一実施例では、データが使用されて、処理の結果として新規データが生成されるとき、データの新規ロケーションのこの情報は、様々なアプリケーションに記憶され、それらの間で共有されてもよい。少なくとも一実施例では、データのロケーション及び更新済み又は修正済みのデータのロケーションは、コンテナ内でペイロードがどのように理解されるかという定義の一部であってもよい。
【0523】
少なくとも一実施例では、ＡＩサービス３７１８は、アプリケーションに関連付けられた（たとえば、アプリケーションの１つ又は複数の処理タスクを実行する役割を課された）機械学習モデルを実行するための推論サービスを実行するために利用されてもよい。少なくとも一実施例では、ＡＩサービス３７１８は、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行するために、ＡＩシステム３７２４を利用してもよい。少なくとも一実施例では、導入パイプライン３７１０のアプリケーションは、訓練システム３６０４からの出力モデル３６１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データ（たとえば、ＤＩＣＯＭデータ、ＲＩＳデータ、ＣＩＳデータ、ＲＥＳＴ準拠データ、ＲＰＣデータ、生データなど）について推論を実行してもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８（たとえば、スケジューラ、シーケンサ及び／又は非同期コンピュート・エンジン）を使用する推論の２つ以上の実例が利用可能であってもよい。少なくとも一実施例では、第１のカテゴリは、緊急時の緊急要求について推論を実行するため、又は診断時の放射線医のためなど、より高いサービス・レベル合意を達成できる高優先順位／低レイテンシの経路を含むことができる。少なくとも一実施例では、第２のカテゴリは、緊急ではない要求のため、又は分析が後で実行されてもよい場合に使用することができる標準優先順位の経路を含んでもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８は、ＡＩサービス３７１８の異なる推論タスク向けの優先順位経路に基づき、リソース（たとえば、サービス３６２０及び／又はハードウェア３６２２）を分配してもよい。
【0524】
少なくとも一実施例では、共有ストレージが、システム３７００内でＡＩサービス３７１８に取り付けられてもよい。少なくとも一実施例では、共有ストレージは、キャッシュ（又は他のタイプのストレージ・デバイス）として動作してもよく、アプリケーションからの推論要求を処理するために使用されてもよい。少なくとも一実施例では、推論要求が送出されたとき、要求は、導入システム３６０６のＡＰＩインスタンスのセットによって受信されてもよく、１つ又は複数のインスタンスが（たとえば、最良な適合のため、ロード・バランシングのためなどに）選択されて、要求が処理されてもよい。少なくとも一実施例では、要求を処理するために、要求がデータベースに入れられてもよく、機械学習モデルは、まだキャッシュにない場合には、モデル・レジストリ３６２４から特定されてもよく、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）に確実にロードされるようにしてもよく、且つ／又はモデルのコピーがキャッシュに保存されてもよい。少なくとも一実施例では、アプリケーションがまだ実行されていない場合、又はアプリケーションの充分なインスタンスが存在しない場合には、スケジューラ（たとえば、パイプライン・マネージャ３７１２）を使用して、要求において参照されたアプリケーションが起動されてもよい。少なくとも一実施例では、モデルを実行するための推論サーバがまだ起動されていない場合には、推論サーバが起動されてもよい。少なくとも一実施例では、任意の数の推論サーバがモデルごとに起動されてもよい。少なくとも一実施例では、推論サーバがクラスタ化済みであるプル・モデルでは、ロード・バランシングが有利な場合にはいつでもモデルがキャッシュされてもよい。少なくとも一実施例では、推論サーバは、対応する分散サーバに静的にロードされてもよい。
【0525】
少なくとも一実施例では、推論は、コンテナ内で実行される推論サーバを使用して実行されてもよい。少なくとも一実施例では、推論サーバのインスタンスは、モデルに（任意選択でモデルの複数のバージョンに）関連付けられてもよい。少なくとも一実施例では、モデルに対して推論を実行する要求が受信されたとき、推論サーバのインスタンスが存在しない場合には、新規のインスタンスがロードされてもよい。少なくとも一実施例では、推論サーバをスタートするとき、モデルが推論サーバに渡されてもよく、それにより、推論サーバが異なるインスタンスとして実行されている限り、同じコンテナを使用して異なるモデルにサービス提供されてもよい。
【0526】
少なくとも一実施例では、アプリケーションの実行中、所与のアプリケーションについて推論要求が受信されてもよく、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていなければ）ロードされてもよく、開始プロシージャがコールされてもよい。少なくとも一実施例では、コンテナの事前処理論理が、（たとえばＣＰＵ及び／又はＧＰＵを使用して）入力データに対する任意の追加的な事前処理をロード、デコード、及び／又は実行してもよい。少なくとも一実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに推論を実行してもよい。少なくとも一実施例では、これは１つの画像（たとえば手のＸ線）に対する単一の推論コールを含んでもよく、又は何百もの画像（たとえば胸のＣＴ）について推論を要求してもよい。少なくとも一実施例では、アプリケーションは、完了前に結果を要約してもよく、これは限定することなく、単一の信頼性スコア、ピクセル・レベルのセグメント化、ボクセル・レベルのセグメント化、視覚化の生成、又は所見を要約するためのテキストの生成を含んでもよい。少なくとも一実施例では、異なるモデル又はアプリケーションには、異なる優先順位が割り当てられてもよい。たとえば、リアルタイム（ＴＡＴ１分未満）の優先順位を有するモデルもあれば、低優先順位（たとえば、ＴＡＴ１０分未満）を有するモデルもある。少なくとも一実施例では、モデル実行時間は、要求元の施設又はエンティティから測定されてもよく、推論サービスに対する実行に加えてパートナ・ネットワーク横断時間を含んでもよい。
【0527】
少なくとも一実施例では、サービス３６２０と推論アプリケーションとの間での要求の移行は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠されてもよく、キューを通して頑健な移送が提供されてもよい。少なくとも一実施例では、個々のアプリケーション／テナントＩＤの組合せを求めて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも一実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供されてもよい。少なくとも一実施例では、キューを介した非同期の通信は、その通信が利用可能になったときに、その通信によって、アプリケーションの任意のインスタンスがワークをピックアップできるようになるので、有用な場合がある。少なくとも一実施例では、結果はキューを介して返送されて、データが失われないようにしてもよい。少なくとも一実施例では、最高優先順位のワークは、アプリケーションのほとんどのインスタンスがキューに接続された状態のキューに進むことができ、一方で最低優先順位のワークは、１つのインスタンスがキューに接続された状態の、受信した順番にタスクを処理するキューに進むことができるので、キューは、ワークをセグメント化する機能も提供することができる。少なくとも一実施例では、アプリケーションは、クラウド３７２６に生成されたＧＰＵ加速インスタンス上で実行されてもよく、推論サービスは、ＧＰＵ上で推論を実行してもよい。
【0528】
少なくとも一実施例では、視覚化サービス３７２０を利用して、アプリケーション及び／又は導入パイプライン３７１０の出力を見るための視覚化が生成されてもよい。少なくとも一実施例では、視覚化を生成するために、視覚化サービス３７２０によってＧＰＵ３７２２が利用されてもよい。少なくとも一実施例では、レイ・トレーシングなどのレンダリング効果が、視覚化サービス３７２０によって実装されて、より高品質の視覚化が生成されてもよい。少なくとも一実施例では、視覚化は、２Ｄ画像のレンダリング、３Ｄボリュームのレンダリング、３Ｄボリュームの再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを、限定することなく含んでもよい。少なくとも一実施例では、仮想化された環境を使用して、システムのユーザ（たとえば、医師、看護師、放射線医）が対話するための仮想のインタラクティブ表示又はインタラクティブ環境（たとえば、仮想環境）が生成されてもよい。少なくとも一実施例では、視覚化サービス３７２０は、内部ビジュアライザ、シネマティクス、及び／又は他のレンダリング若しくは画像処理の能力若しくは機能（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含んでもよい。
【0529】
少なくとも一実施例では、ハードウェア３６２２は、ＧＰＵ３７２２、ＡＩシステム３７２４、クラウド３７２６、並びに／又は訓練システム３６０４及び／若しくは導入システム３６０６を実行するために使用される任意の他のハードウェアを含んでもよい。少なくとも一実施例では、ＧＰＵ３７２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯのＧＰＵ）は、任意の数のＧＰＵを含んでもよく、これらは、計算サービス３７１６、ＡＩサービス３７１８、視覚化サービス３７２０、他のサービス、及び／又はソフトウェア３６１８の任意の特徴若しくは機能の処理タスクを実行するために使用されてもよい。たとえば、ＡＩサービス３７１８に関して、ＧＰＵ３７２２を使用して、撮像データ（又は機械学習モデルによって使用される他のタイプのデータ）に対して事前処理が実行されてもよく、機械学習モデルの出力に対して事後処理が実行されてもよく、且つ／又は推論が実行されてもよい（たとえば、機械学習モデルが実行されてもよい）。少なくとも一実施例では、クラウド３７２６、ＡＩシステム３７２４、及び／又はシステム３７００の他の構成要素は、ＧＰＵ３７２２を使用してもよい。少なくとも一実施例では、クラウド３７２６は、深層学習タスクのためにＧＰＵ最適化されたプラットフォームを含んでもよい。少なくとも一実施例では、ＡＩシステム３７２４は、ＧＰＵを使用してもよく、クラウド３７２６、又は深層学習若しくは推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム３７２４を使用して実行されてもよい。したがって、ハードウェア３６２２は、個別構成要素として図示されているが、これは限定を意図したものではなく、ハードウェア３６２２の任意の構成要素が、ハードウェア３６２２の任意の他の構成要素と組み合わされてもよく、それらによって利用されてもよい。
【0530】
少なくとも一実施例では、ＡＩシステム３７２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスク向けに構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含んでもよい。少なくとも一実施例では、ＡＩシステム３７２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化されたソフトウェア（たとえば、ソフトウェア・スタック）を含んでもよく、これは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、若しくは機能に加えて、複数のＧＰＵ３７２２を使用して実行されてもよい。少なくとも一実施例では、１つ又は複数のＡＩシステム３７２４は、システム３７００の一部又はすべてのＡＩベースの処理タスクを実行するために、（たとえば、データ・センタにおいて）クラウド３７２６に実装されてもよい。
【0531】
少なくとも一実施例では、クラウド３７２６は、ＧＰＵ加速化インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含んでもよく、これは、システム３７００の処理タスクを実行するためのＧＰＵ最適化されたプラットフォームを提供してもよい。少なくとも一実施例では、クラウド３７２６は、システム３７００のＡＩベースのタスクのうちの１つ又は複数を実行するためのＡＩシステム３７２４を（たとえば、ハードウェア抽象化及びスケーリングのプラットフォームとして）含んでもよい。少なくとも一実施例では、クラウド３７２６は、複数のＧＰＵを利用してアプリケーション・オーケストレーション・システム３７２８と統合されて、アプリケーションとサービス３６２０間でシームレスなスケーリング及びロード・バランシングを可能にしてもよい。少なくとも一実施例では、クラウド３７２６は、本明細書に記載する計算サービス３７１６、ＡＩサービス３７１８、及び／又は視覚化サービス３７２０を含むシステム３７００のサービス３６２０の少なくとも一部を実行する役割を課されてもよい。少なくとも一実施例では、クラウド３７２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのテンソルＲＴの実行）を実行してもよく、加速化された並列コンピューティングのＡＰＩ及びプラットフォーム３７３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供してもよく、アプリケーション・オーケストレーション・システム３７２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行してもよく、グラフィックス・レンダリングのＡＰＩ及びプラットフォーム（たとえば、高品質のシネマティクスを生成するためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法）を提供してもよく、且つ／又はシステム３７００のための他の機能を提供してもよい。
【0532】
少なくとも一実施例では、患者の機密性を保護するために（たとえば、患者のデータ又は記録が構外で使用されることになる場合）、クラウド３７２６は、深層学習コンテナ・レジストリなどのレジストリを含んでもよい。少なくとも一実施例では、レジストリは、患者データに対する事前処理、事後処理、又は他の処理タスクを実行できるアプリケーションのインスタンス化のためのコンテナを記憶してもよい。少なくとも一実施例では、クラウド３７２６は、患者データ並びにセンサ・データをコンテナに含むデータを受信してもよく、これらのコンテナにおいてセンサ・データについてのみ要求された処理を実行してもよく、次いで、いずれも患者データを抽出、記憶、又は他のやり方でそれにアクセスする必要なしに、結果の出力及び／又は視覚化を適切なパーティ及び／又はデバイス（たとえば、視覚化又は診断に使用される構内の医療デバイス）に転送してもよい。少なくとも一実施例では、患者データの機密性は、ＨＩＰＡＡ及び／又は他のデータ規定に準拠して保護される。
【0533】
少なくとも一実施例では、図３７に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３７に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３７に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0534】
図３８は、少なくとも一実施例による、撮像データを処理するための導入パイプライン３７１０Ａの実例の図を含む。少なくとも一実施例では、システム３７００、具体的には導入システム３６０６は、導入パイプライン３７１０Ａをカスタマイズ、更新、及び／又は統合して１つ若しくは複数の生成環境にするために使用されてもよい。少なくとも一実施例では、図３８の導入パイプライン３７１０Ａは、施設（たとえば、病院、クリニック、研究所、リサーチ環境など）において特定のユーザ（又はユーザのチーム）によってカスタム定義できる導入パイプライン３７１０Ａの非限定的な実例を含む。少なくとも一実施例では、ＣＴスキャナ３８０２用に導入パイプライン３７１０Ａを定義するために、ユーザは、ＣＴスキャナ３８０２によって生成される撮像データに対して特定の機能又はタスクを実行する１つ又は複数のアプリケーションを、たとえばコンテナ・レジストリから選択してもよい。少なくとも一実施例では、アプリケーションは、システム３７００のサービス３６２０及び／又はハードウェア３６２２を利用できるコンテナとして、導入パイプライン３７１０Ａに適用されてもよい。さらに、導入パイプライン３７１０Ａは、アプリケーションによって使用されるデータを準備するように実装することができる追加の処理タスク又はアプリケーションを含んでもよい（たとえば、ＤＩＣＯＭアダプタ３７０２Ｂ及びＤＩＣＯＭリーダ３８０６が、導入パイプライン３７１０Ａにおいて使用されて、ＣＴ再構築３８０８、器官セグメント化３８１０などによって使用されるデータを準備してもよい）。少なくとも一実施例では、導入パイプライン３７１０Ａは、一貫性のある導入、１回限りの使用、又は別の頻度若しくは間隔に合わせてカスタマイズ又は選択されてもよい。少なくとも一実施例では、ユーザは、特定の間隔で何人かの対象者について、ＣＴ再構築３８０８及び器官セグメント化３８１０を行いたいと思うことがあり、したがって、その期間にわたってパイプライン３７１０Ａを導入してもよい。少なくとも一実施例では、ユーザはシステム３７００からの要求ごとに、その要求のためにそのデータに対してユーザが実行したい処理のアプリケーションを選択してもよい。少なくとも一実施例では、導入パイプライン３７１０Ａは、任意の間隔で調節されてもよく、システム３７００内のコンテナ構造は適応性及びスケーラビリティがあるので、これはシームレスなプロセスとすることができる。
【0535】
少なくとも一実施例では、図３８の導入パイプライン３７１０Ａは、患者又は対象者の撮像データを生成するＣＴスキャナ３８０２を含んでもよい。少なくとも一実施例では、ＣＴスキャナ３８０２からの撮像データは、ＣＴスキャナ３８０２を収容する施設に関連付けられたＰＡＣＳサーバ３８０４に記憶されてもよい。少なくとも一実施例では、ＰＡＣＳサーバ３８０４は、ソフトウェア及び／又はハードウェアの構成要素を含んでもよく、これらは施設において撮像モダリティ（たとえば、ＣＴスキャナ３８０２）と直接インターフェースをとってもよい。少なくとも一実施例では、ＤＩＣＯＭアダプタ３７０２Ｂは、ＤＩＣＯＭプロトコルを使用してＤＩＣＯＭ物体の送信及び受信を可能にしてもよい。少なくとも一実施例では、ＤＩＣＯＭアダプタ３７０２Ｂは、導入パイプライン３７１０Ａによって使用するために、ＰＡＣＳサーバ３８０４からのＤＩＣＯＭデータの準備又は構成を支援してもよい。少なくとも一実施例では、ＤＩＣＯＭデータがＤＩＣＯＭアダプタ３７０２Ｂを介して処理されると、パイプライン・マネージャ３７１２は、導入パイプライン３７１０Ａを通るようにデータをルーティングしてもよい。少なくとも一実施例では、ＤＩＣＯＭリーダ３８０６は、画像ファイル及び関連する任意のメタデータをＤＩＣＯＭデータ（たとえば、視覚化３８１６Ａに示す生のシノグラム・データ）から抽出してもよい。少なくとも一実施例では、抽出された作業ファイルは、導入パイプライン３７１０Ａの他のアプリケーションによってより高速に処理できるようにキャッシュに記憶されてもよい。少なくとも一実施例では、ＤＩＣＯＭリーダ３８０６がデータの抽出及び／又は記憶を終了したら、完了信号がパイプライン・マネージャ３７１２に通信されてもよい。少なくとも一実施例では、次いでパイプライン・マネージャ３７１２は、導入パイプライン３７１０Ａ内の１つ又は複数の他のアプリケーション若しくはコンテナを開始してもよく、又はそれをコールしてもよい。
【0536】
少なくとも一実施例では、ＣＴ再構築３８０８のアプリケーションによる処理のためにデータ（たとえば、生のシノグラム・データ）が利用可能になると、ＣＴ再構築３８０８のアプリケーション及び／又はコンテナが実行されてもよい。少なくとも一実施例では、ＣＴ再構築３８０８は、生のシノグラム・データをキャッシュから読み取り、生のシノグラム・データから（たとえば、視覚化３８１６Ｂに示す）画像ファイルを再構築し、結果として生じる画像ファイルをキャッシュに記憶してもよい。少なくとも一実施例では、再構築の完了時、パイプライン・マネージャ３７１２は、再構築タスクが完了したことを通知されてもよい。少なくとも一実施例では、再構築が完了し、再構築された画像ファイルがキャッシュ（又は他のストレージ・デバイス）に記憶されると、器官セグメント化３８１０のアプリケーション及び／又はコンテナが、パイプライン・マネージャ３７１２によってトリガされてもよい。少なくとも一実施例では、器官セグメント化３８１０のアプリケーション及び／又はコンテナは、キャッシュから画像ファイルを読み取り、画像ファイルを推論に適したフォーマットに正規化又は変換し（たとえば、画像ファイルを機械学習モデルの入力解像度に変換し）、正規化された画像に対して推論を実行してもよい。少なくとも一実施例では、正規化された画像に対して推論を実行するために、器官セグメント化３８１０のアプリケーション及び／又はコンテナは、サービス３６２０に依存してもよく、パイプライン・マネージャ３７１２及び／又はアプリケーション・オーケストレーション・システム３７２８は、器官セグメント化３８１０のアプリケーション及び／又はコンテナによるサービス３６２０の使用を容易にしてもよい。少なくとも一実施例では、たとえば器官セグメント化３８１０のアプリケーション及び／又はコンテナは、ＡＩサービス３７１８を利用して正規化画像に対して推論を実行してもよく、ＡＩサービス３７１８はハードウェア３６２２（たとえば、ＡＩシステム３７２４）を利用してＡＩサービス３７１８を実行してもよい。少なくとも一実施例では、推論の結果は（たとえば、視覚化３８１６Ｃに示す）マスク・ファイルであってもよく、このファイルはキャッシュ（又は他のストレージ・デバイス）に記憶されてもよい。
【0537】
少なくとも一実施例では、ＤＩＣＯＭデータ及び／又はＤＩＣＯＭデータから抽出されたデータを処理するアプリケーションが処理を完了したら、パイプライン・マネージャ３７１２向けに信号が生成されてもよい。少なくとも一実施例では、次いでパイプライン・マネージャ３７１２は、ＤＩＣＯＭライタ３８１２を実行してキャッシュ（又は他のストレージ・デバイス）から結果を読み取り、要求を生成した施設のユーザによる使用のため、結果をＤＩＣＯＭフォーマットに（たとえば、ＤＩＣＯＭ出力３８１４として）パッケージ化してもよい。少なくとも一実施例では、次いでＤＩＣＯＭ出力３８１４は、ＤＩＣＯＭアダプタ３７０２Ｂに送信されて、（たとえば、施設のＤＩＣＯＭビューワによる視聴のために）ＰＡＣＳサーバ３８０４に記憶するようにＤＩＣＯＭ出力３８１４が準備されてもよい。少なくとも一実施例では、再構築及びセグメント化の要求に応答して、視覚化３８１６Ｂ及び３８１６Ｃが生成され、診断、リサーチ、及び／又は他の目的のためにユーザにとって利用可能にされてもよい。
【0538】
導入パイプライン３７１０Ａでは連続したアプリケーションとして示されているが、ＣＴ再構築３８０８及び器官セグメント化３８１０のアプリケーションは、少なくとも一実施例において並列で処理されてもよい。少なくとも一実施例では、アプリケーションが互いに依存性を有しておらず、（たとえば、ＤＩＣＯＭリーダ３８０６がデータを抽出した後に）アプリケーションごとにデータが利用可能である場合、アプリケーションは同時に、実質的に同時に、又は一部が重なって実行されてもよい。少なくとも一実施例では、２つ以上のアプリケーションが同様のサービス３６２０を要求する場合、システム３７００のスケジューラを使用して、様々なアプリケーション間で計算又は処理のリソースのロード・バランシングが行われ、それらを分散させてもよい。少なくとも一実施例では、いくつかの実施例において、導入パイプライン３７１０Ａのランタイムを短縮してリアルタイムの結果を提供するために、並列コンピューティング・プラットフォーム３７３０を使用してアプリケーションのための並列処理が実行されてもよい。
【0539】
少なくとも一実施例では、図３９Ａ～図３９Ｂを参照すると、導入システム３６０６は、画像処理、セグメント化、強調、ＡＩ、視覚化、及び推論などの異なる機能を、撮像デバイス（たとえば、ＣＴスキャナ、Ｘ線機械、ＭＲＩ機械など）、シーケンシング・デバイス、ゲノミクス・デバイス、及び／又は他のタイプのデバイスを用いて実行するための１つ又は複数の仮想機器として実装されてもよい。少なくとも一実施例では、システム３７００は、ソフトウェア定義された導入パイプライン３７１０を含むことができる仮想機器の生成及び提供を可能にしてもよく、この導入パイプライン３７１０は、デバイスによって生成された生／未処理の入力データを受信し、処理済み／再構築済みのデータを出力してもよい。少なくとも一実施例では、仮想機器を表す導入パイプライン３７１０（たとえば、３７１０Ａ及び３７１０Ｂ）は、機械学習モデルを利用することなどにより、知能をパイプラインに実装して、コンテナ化された推論サポートをシステムに提供してもよい。少なくとも一実施例では、仮想機器は、アプリケーションのインスタンスをそれぞれが含む任意の数のコンテナを実行してもよい。少なくとも一実施例では、リアルタイムの処理が望ましい場合などでは、仮想機器を表す導入パイプライン３７１０は静的であってもよく（たとえば、コンテナ及び／又はアプリケーションが設定されていてもよく）、一方他の実例では、仮想機器用のコンテナ及び／又はアプリケーションが、アプリケーション又はリソースのプール（たとえばコンテナ・レジストリ内）から（たとえば要求ごとに）選択されてもよい。
【0540】
少なくとも一実施例では、システム３７００は、たとえば施設の放射線機械、撮像デバイス、及び／又は別のタイプのデバイスに隣接して導入された、又は他のやり方でそれらと通信するコンピューティング・システムにおいて、施設構内の１つ又は複数の仮想機器としてインスタンス化されてもよく、又は実行されてもよい。しかし少なくとも一実施例では、構内でのインストールは、（たとえば、撮像デバイスに統合されたコンピューティング・システム）デバイス自体のコンピューティング・システム内で、ローカルなデータセンタ（たとえば、構内のデータセンタ）で、及び／又はクラウド環境で（たとえば、クラウド３７２６で）インスタンス化又は実行されてもよい。少なくとも一実施例では、仮想機器として動作する導入システム３６０６は、いくつかの実例においてスーパーコンピュータ又は他のＨＰＣシステムによってインスタンス化されてもよい。少なくとも一実施例では、構内でのインストールにより、リアルタイムの処理のために（たとえば、イーサネット（登録商標）を介したＲＦなど、高スループットのローカル通信インターフェースを介した）広帯域の使用が可能になる。少なくとも一実施例では、リアルタイム又はほぼリアルタイムの処理は、正確な診断及び分析のために即時の視覚化が期待又は必要とされる超音波デバイス又は他の撮像モダリティを仮想機器がサポートする場合に、特に有用なことがある。少なくとも一実施例では、ローカルな要求が構内の容量又は能力を超過するとき、クラウド・コンピューティング・アーキテクチャは、クラウド・コンピューティングのサービス・プロバイダ又は他の計算クラスタに対する動的バーストを実行することができる。少なくとも一実施例では、クラウド・アーキテクチャは、実装されると、訓練システム３６０４に関して本明細書に記載のニューラル・ネットワーク又は他の機械学習モデルを訓練するように調整されてもよい。少なくとも一実施例では、訓練パイプラインが定位置にあるとき、機械学習モデルは、それがサポートするデバイスからの追加データを処理するとき、継続的に学習及び改善してもよい。少なくとも一実施例では、仮想機器は、追加データ、新規データ、既存の機械学習モデル、及び／又は新規若しくは更新済みの機械学習モデルを使用して、継続的に改善されてもよい。
【0541】
少なくとも一実施例では、コンピューティング・システムは、本明細書に記載のハードウェア３６２２の一部又はすべてを含んでもよく、ハードウェア３６２２は、デバイス内、デバイスに結合され近位に位置するコンピューティング・デバイスの一部として、施設のローカル・データセンタ内、及び／又はクラウド３７２６内を含む複数のやり方のうちの任意のやり方で分散されてもよい。少なくとも一実施例では、導入システム３６０６及び関連付けられたアプリケーション又はコンテナは、ソフトウェアに（たとえば、アプリケーションの個別のコンテナ化インスタンスとして）生成されるので、仮想機器の挙動、動作、及び構成、並びに仮想機器によって生成される出力は、仮想機器がサポートするデバイスの生の出力を変える又は変更する必要なしに、望み通りに修正又はカスタマイズされることが可能である。
【0542】
少なくとも一実施例では、図３８に描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３８に描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３８に描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスなどを実装するために利用される。
【0543】
図３９Ａは、少なくとも一実施例による、超音波デバイスをサポートする仮想器具の実例データ・フローを含む。少なくとも一実施例では、導入パイプライン３７１０Ｂは、システム３７００のサービス３６２０のうちの１つ又は複数を利用してもよい。少なくとも一実施例では、導入パイプライン３７１０Ｂ及びサービス３６２０は、ローカルかクラウド３７２６のいずれかにおいて、システムのハードウェア３６２２を利用してもよい。少なくとも一実施例では、図示していないが、プロセス３９００は、パイプライン・マネージャ３７１２、アプリケーション・オーケストレーション・システム３７２８、及び／又は並列コンピューティング・プラットフォーム３７３０によって促進されてもよい。
【0544】
少なくとも一実施例では、プロセス３９００は、超音波デバイス３９０２から撮像データを受信することを含んでもよい。少なくとも一実施例では、撮像データは、ＤＩＣＯＭフォーマット（又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生などのような他のフォーマット）でＰＡＣＳサーバに記憶されてもよく、超音波デバイス３９０２用の仮想機器（たとえば仮想超音波）として選択又はカスタマイズされた導入パイプライン３７１０を通して処理するために、システム３７００によって受信されてもよい。少なくとも一実施例では、撮像データは、撮像デバイス（たとえば、超音波デバイス３９０２）から直接受信されてもよく、仮想機器によって処理されてもよい。少なくとも一実施例では、撮像デバイスと仮想機器との間に通信可能に結合されたトランスデューサ又は他の信号変換器は、撮像デバイスによって生成された信号データを、仮想機器によって処理することができる画像データに変換してもよい。少なくとも一実施例では、生データ及び／又は画像データは、導入パイプライン３７１０Ｂのアプリケーション又はコンテナによって使用されるデータを抽出するために、ＤＩＣＯＭリーダ３８０６に適用されてもよい。少なくとも一実施例では、ＤＩＣＯＭリーダ３８０６は、アプリケーション又はコンテナによって使用されるデータを抽出、リサイズ、リスケーリング、及び／又は他のやり方で準備するためのサービス３６２０として（たとえば、計算サービス３７１６のうちの１つとして）、データ拡張ライブラリ３９１４（たとえば、ＮＶＩＤＩＡのＤＡＬＩ（登録商標））を利用してもよい。
【0545】
少なくとも一実施例では、データが準備されると、再構築３９０６のアプリケーション及び／又はコンテナが実行されて、超音波デバイス３９０２からのデータが画像ファイルに再構築されてもよい。少なくとも一実施例では、再構築３９０６の後、又は再構築３９０６と同時に、検出３９０８のアプリケーション及び／又はコンテナが、異常検出、物体検出、特徴検出、及び／又はデータに関する他の検出タスクのために実行されてもよい。少なくとも一実施例では、再構築３９０６中に生成された画像ファイルは、検出３９０８中に使用されて、異常、物体、特徴などが識別されてもよい。少なくとも一実施例では、検出３９０８のアプリケーションは、推論エンジン３９１６を（たとえば、ＡＩサービス３７１８のうちの１つとして）利用して、データについて推論を実行して検出を生成してもよい。少なくとも一実施例では、（たとえば、訓練システム３６０４からの）１つ又は複数の機械学習モデルは、検出３９０８のアプリケーションによって実行又はコールされてもよい。
【0546】
少なくとも一実施例では、再構築３９０６及び／又は検出３９０８が完了すると、これらのアプリケーション及び／又はコンテナからのデータ出力を使用して、ワークステーション又はディスプレイ端末に表示される視覚化３９１２（たとえば、グレースケール出力）などの視覚化３９１０が生成されてもよい。少なくとも一実施例では、視覚化により、超音波デバイス３９０２に対する導入パイプライン３７１０Ｂの結果を、技術者又は他のユーザが視覚化できるようになる。少なくとも一実施例では、視覚化３９１０は、システム３７００のレンダリング構成要素３９１８（たとえば、視覚化サービス３７２０のうちの１つ）を利用することによって、実行されてもよい。少なくとも一実施例では、レンダリング構成要素３９１８は、２Ｄ、ＯｐｅｎＧＬ、又はレイ・トレーシングのサービスを実行して、視覚化３９１２を生成してもよい。
【0547】
図３９Ｂは、少なくとも一実施例による、ＣＴスキャナをサポートする仮想器具の実例データ・フロー図を含む。少なくとも一実施例では、導入パイプライン３７１０Ｃは、システム３７００のサービス３６２０のうちの１つ又は複数を利用してもよい。少なくとも一実施例では、導入パイプライン３７１０Ｃ及びサービス３６２０は、ローカルかクラウド３７２６のいずれかにおいて、システムのハードウェア３６２２を利用してもよい。少なくとも一実施例では、図示していないが、プロセス３９２０は、パイプライン・マネージャ３７１２、アプリケーション・オーケストレーション・システム３７２８、及び／又は並列コンピューティング・プラットフォーム３７３０によって促進されてもよい。
【0548】
少なくとも一実施例では、プロセス３９２０は、生データを生成するＣＴスキャナ３９２２を含んでもよく、この生データは、ＤＩＣＯＭリーダ３８０６によって（たとえば、直接、ＰＡＣＳサーバ３８０４を介して、処理後になど）受信されてもよい。少なくとも一実施例では、（導入パイプライン３７１０Ｃによってインスタンス化された）仮想ＣＴは、患者を監視するため（たとえば、患者動き検出ＡＩ３９２６）且つ／又はＣＴスキャナ３９２２の露出を（たとえば、露出制御ＡＩ３９２４を使用して）調節又は最適化するための、第１のリアルタイム・パイプラインを含んでもよい。少なくとも一実施例では、アプリケーションのうちの１つ又は複数（たとえば、３９２４及び３９２６）は、ＡＩサービス３７１８などのサービス３６２０を利用してもよい。少なくとも一実施例では、露出制御ＡＩ３９２４のアプリケーション（又はコンテナ）及び／又は患者動き検出ＡＩ３９２６のアプリケーション（又はコンテナ）の出力は、ＣＴスキャナ３９２２及び／又は技術者に対するフィードバックとして使用されて、露出（又はＣＴスキャナ３９２２の他の設定）が調節されてもよく、且つ／又は患者にあまり動かないように伝えられてもよい。
【0549】
少なくとも一実施例では、導入パイプライン３７１０Ｃは、ＣＴスキャナ３９２２によって生成されるデータを分析するための非リアルタイム・パイプラインを含んでもよい。少なくとも一実施例では、第２のパイプラインは、ＣＴ再構築３８０８のアプリケーション及び／又はコンテナ、粗検出ＡＩ３９２８のアプリケーション及び／又はコンテナ、（たとえば、粗検出ＡＩ３９２８によってある特定の結果が検出された場合の）精検出ＡＩ３９３２のアプリケーション及び／又はコンテナ、視覚化３９３０のアプリケーション及び／又はコンテナ、及びＤＩＣＯＭライタ３８１２（及び／又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生などのような他のデータ・タイプライタ）のアプリケーション及び／又はコンテナを含んでもよい。少なくとも一実施例では、ＣＴスキャナ３９２２によって生成された生データは、（仮想ＣＴ機器としてインスタンス化された）導入パイプライン３７１０Ｃのパイプラインに通されて、結果が生成されてもよい。少なくとも一実施例では、ＤＩＣＯＭライタ３８１２からの結果は、表示のために送信されてもよく、且つ／又は技術者、開業医、若しくは他のユーザによって後で検索、分析、又は表示できるようにＰＡＣＳサーバ３８０４に記憶されてもよい。
【0550】
少なくとも一実施例では、図３９Ａ～図３９Ｂに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３９Ａ～図３９Ｂに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図３９Ａ～図３９Ｂに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0551】
図４０Ａは、少なくとも一実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス４０００のデータ・フロー図を図示する。少なくとも一実施例では、プロセス４０００は、図３７のシステム３７００を非限定的な実例として使用して、実行されてもよい。少なくとも一実施例では、プロセス４０００は、本明細書に記載のシステム３７００のサービス３６２０及び／又はハードウェア３６２２を利用してもよい。少なくとも一実施例では、プロセス４０００によって生成される精緻化モデル４０１２は、導入パイプライン３７１０内の１つ又は複数のコンテナ化アプリケーションのために、導入システム３６０６によって実行されてもよい。
【0552】
少なくとも一実施例では、モデル訓練３６１４は、新規訓練データ（たとえば、顧客データセット４００６、及び／又は入力データに関連付けられた新規グラウンド・トゥルース・データなどの新規入力データ）を使用して、初期モデル４００４（たとえば、事前訓練済みモデル）を再訓練又は更新することを含んでもよい。少なくとも一実施例では、初期モデル４００４を再訓練又は更新するために、初期モデル４００４の出力又は損失層がリセットされてもよく、削除されてもよく、且つ／又は更新済み若しくは新規の出力若しくは損失層と置換されてもよい。少なくとも一実施例では、初期モデル４００４は、以前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有してもよく、それにより、訓練又は再訓練３６１４は、最初からモデルを訓練するほど長い時間がかからず、又は多くの処理を必要としなくても済む。少なくとも一実施例では、モデル訓練３６１４の間に、初期モデル４００４のリセット又は置換された出力又は損失層を有することにより、パラメータは、新規の顧客データセット４００６（たとえば、図３６の画像データ３６０８）について予測を生成する際の出力又は損失層の精度に関連付けられた損失計算に基づき、新規データ・セットのために更新又は再調整されてもよい。
【0553】
少なくとも一実施例では、事前訓練済みモデル３７０６は、データ・ストア又はレジストリ（たとえば、図３６のモデル・レジストリ３６２４）に記憶されてもよい。少なくとも一実施例では、事前訓練済みモデル３７０６は、少なくとも部分的に、プロセス４０００を実行する施設とは異なる１つ又は複数の施設において訓練済みであってもよい。少なくとも一実施例では、異なる施設の患者、対象者、顧客のプライバシー及び権利を保護するために、事前訓練済みモデル３７０６は、構内で生成された顧客又は患者のデータを使用して、構内で訓練されたものであってもよい。少なくとも一実施例では、事前訓練済みモデル３７０６は、クラウド３７２６及び／又は他のハードウェア３６２２を使用して訓練されてもよいが、プライバシー保護された機密の患者データは、クラウド３７２６（又は他の構外のハードウェア）の任意の構成要素に転送できず、それらの構成要素によって使用されず、又はアクセス不可能であってもよい。少なくとも一実施例では、事前訓練済みモデル３７０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練済みモデル３７０６は、各施設について個々に訓練されてから、別の施設からの患者若しくは顧客のデータについて訓練されてもよい。少なくとも一実施例では、顧客又は患者のデータが（たとえば、実験での使用を目的とした権利放棄などによって）プライバシー問題から解放されている場合、又は顧客若しくは患者のデータがパブリック・データ・セットに含まれる場合などには、任意の数の施設からの顧客又は患者のデータを使用して、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練済みモデル３７０６が訓練されてもよい。
【0554】
少なくとも一実施例では、導入パイプライン３７１０で使用するアプリケーションを選択するとき、ユーザは、特定のアプリケーションで使用することになる機械学習モデルも選択することができる。少なくとも一実施例では、ユーザは、使用するモデルを有していないことがあり、したがって、ユーザはアプリケーションとともに使用する事前訓練済みモデル３７０６を選択してもよい。少なくとも一実施例では、事前訓練済みモデル３７０６は、（たとえば、患者の多様性、人口統計、使用される医療用撮像デバイスのタイプなどに基づき）ユーザの施設の顧客データセット４００６について正確な結果を生成するように最適化されなくてもよい。少なくとも一実施例では、事前訓練済みモデル３７０６を、アプリケーションとともに使用するために導入パイプライン３７１０に導入する前に、事前訓練済みモデル３７０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整されてもよい。
【0555】
少なくとも一実施例では、ユーザは、更新、再訓練、及び／又は微調整されることになる事前訓練済みモデル３７０６を選択してもよく、事前訓練済みモデル３７０６は、プロセス４０００内でシステム３６０４を訓練するための初期モデル４００４と呼ばれてもよい。少なくとも一実施例では、顧客データセット４００６（たとえば、施設のデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のタイプのデータ）を使用して、初期モデル４００４について（限定することなく転送学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含んでもよい）モデル訓練３６１４が実行されて、精緻化モデル４０１２が生成されてもよい。少なくとも一実施例では、顧客データセット４００６に対応するグラウンド・トゥルース・データが、訓練システム３６０４によって生成されてもよい。少なくとも一実施例では、グラウンド・トゥルース・データは、（たとえば、図３６のラベル付けされたクリニック・データ３６１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成されてもよい。
【0556】
少なくとも一実施例では、ＡＩ支援アノテーション３６１０がいくつかの実例において使用されて、グラウンド・トゥルース・データが生成されてもよい。少なくとも一実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション３６１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を利用して、顧客データセットについて示唆又は予測されるグラウンド・トゥルース・データを生成してもよい。少なくとも一実施例では、ユーザ４０１０は、コンピューティング・デバイス４００８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ））内でアノテーション・ツールを使用してもよい。
【0557】
少なくとも一実施例では、ユーザ４０１０は、コンピューティング・デバイス４００８を介してＧＵＩと対話して、アノテーション又は自動アノテーションを編集又は微調整してもよい。少なくとも一実施例では、ポリゴン編集特徴を使用して、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動させてもよい。
【0558】
少なくとも一実施例では、顧客データセット４００６が、関連付けられたグラウンド・トゥルース・データを得ると、（たとえば、ＡＩ支援アノテーション、手動ラベリングなどからの）グラウンド・トゥルース・データが、モデル訓練３６１４中に使用されて、精緻化モデル４０１２が生成されてもよい。少なくとも一実施例では、顧客データセット４００６は、初期モデル４００４に任意の回数、適用されてもよく、グラウンド・トゥルース・データは、精緻化モデル４０１２について許容可能なレベルの精度が達成されるまで、初期モデル４００４のパラメータを更新するために使用されてもよい。少なくとも一実施例では、精緻化モデル４０１２が生成されると、精緻化モデル４０１２は、医療用撮像データに対して１つ又は複数の処理タスクを実行するために、施設において１つ又は複数の導入パイプライン３７１０内に導入されてもよい。
【0559】
少なくとも一実施例では、精緻化モデル４０１２は、別の施設によって選択されることになるモデル・レジストリ３６２４の事前訓練済みモデル３７０６にアップロードされてもよい。少なくとも一実施例では、このプロセスは任意の数の施設において完了されてもよく、それにより精緻化モデル４０１２は、新規データセットについて任意の回数さらに精緻化されて、より普遍的なモデルが生成されてもよい。
【0560】
図４０Ｂは、少なくとも一実施例による、事前訓練済みのアノテーション・モデルを用いてアノテーション・ツールを強化するためのクライアント・サーバのアーキテクチャ４０３２の実例の図である。少なくとも一実施例では、ＡＩ支援アノテーション・ツール４０３６は、クライアント・サーバのアーキテクチャ４０３２に基づきインスタンス化されてもよい。少なくとも一実施例では、撮像アプリケーションのアノテーション・ツール４０３６は、たとえば放射線医が器官及び異常を識別するのを支援してもよい。少なくとも一実施例では、撮像アプリケーションは、非限定的な実例として（たとえば、３ＤのＭＲＩ又はＣＴスキャンの）生画像４０３４において、特定の対象器官上の数少ない極値点をユーザ４０１０が識別するのを援助し、特定の器官の２Ｄスライスすべてについて自動アノテーション付けされた結果を受信するソフトウェア・ツールを含んでもよい。少なくとも一実施例では、結果は、訓練データ４０３８としてデータ・ストアに記憶されてもよく、（たとえば、限定することなく）訓練用のグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、コンピューティング・デバイス４００８が、ＡＩ支援アノテーション３６１０のために極値点を送るとき、たとえば深層学習モデルがこのデータを入力として受信してもよく、セグメント化された器官又は異常の推論結果を返してもよい。少なくとも一実施例では、図４０ＢのＡＩ支援アノテーション・ツール４０３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された事前訓練済みモデル４０４２のセットを含むことができるアノテーション支援サーバ４０４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール４０４４）を行うことによって、拡張されてもよい。少なくとも一実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実行するように事前訓練された事前訓練済みモデル４０４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶してもよい。少なくとも一実施例では、これらのモデルは、訓練パイプライン３７０４を使用することにより、さらに更新されてもよい。少なくとも一実施例では、事前インストールされたアノテーション・ツールは、ラベル付けされた新規クリニック・データ３６１２が加えられるにつれて、経時的に改善されてもよい。
【0561】
【0562】
少なくとも一実施例では、図４０Ａ～図４０Ｂに描かれる１つ又は複数のシステムは、把持プロポーザルのセットを生成することなど、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図４０Ａ～図４０Ｂに描かれる１つ又は複数のシステムは、輝度場デコーダ及び／又は把持デコーダの動作など、本明細書において考察される動作を実施するために利用される。少なくとも一実施例では、図４０Ａ～図４０Ｂに描かれる１つ又は複数のシステムは、図１～図６に関連して説明されるような、１つ又は複数のシステム、技法、及び／又はプロセスを実装するために利用される。
【0563】
本開示の少なくとも一実施例は、以下の条項を考慮して説明されてもよい。
条項１． システムであって、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
物体を描写する入力画像を得ることと、
物体に対応する潜在コードを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって画像の第１のセットを生成することと、
画像の第１のセット及び入力画像に少なくとも部分的に基づき、潜在コードを更新することと、
潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットを生成するために、第２のニューラル・ネットワークを使用することと、
第１のニューラル・ネットワーク及び潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットから１つ又は複数の把持プロポーザルを選択することと
を行わせる命令を含む、少なくとも１つのメモリと
を備える、システム。
条項２． 少なくとも１つのメモリが、少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
１つ又は複数の把持プロポーザルに少なくとも部分的に基づき、ロボットに物体を把持させる
さらなる命令を含む、条項１に記載のシステム。
条項３． 少なくとも１つのメモリが、少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
潜在コードに少なくとも部分的に基づき、色及び密度のうちの１つ又は複数の予測を生成するために、第１のニューラル・ネットワークを使用することと、
色及び密度のうちの少なくとも１つ又は複数の予測を使用して、画像の第１のセットを生成することと
を行わせるさらなる命令を含む、条項１又は２に記載のシステム。
条項４． 少なくとも１つのメモリが、少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
第１のニューラル・ネットワーク及び潜在コードを使用して、把持プロポーザルのセットに関連付けられる密度の１つ又は複数の予測を生成することと、
密度の１つ又は複数の予測に少なくとも部分的に基づき、１つ又は複数の把持プロポーザルを選択することと
を行わせるさらなる命令を含む、条項１から３までのいずれかに記載のシステム。
条項５． 第１のニューラル・ネットワーク及び第２のニューラル・ネットワークが、パラメータの同一のセットを利用する、条項１から４までのいずれかに記載のシステム。
条項６． 第１のニューラル・ネットワークがデコーダを備える、条項１から５までのいずれかに記載のシステム。
条項７． 方法であって、
物体を描写する入力画像を得ることと、
第１のニューラル・ネットワークに関連して生成された画像の第１のセット及び入力画像に少なくとも部分的に基づき、潜在コードを計算することと、
複数の把持プロポーザルを生成するために、少なくとも潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
潜在コード及び複数の把持プロポーザルに関連付けられる座標のセットを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって、複数の把持プロポーザルのうち、１つ又は複数の把持プロポーザルを決定することと
を含む、方法。
条項８． １つ又は複数の把持プロポーザルを、物体を含む環境に関連付けられるロボットに提供することと、
１つ又は複数の把持プロポーザルによって示される配向に少なくとも部分的に基づき、環境においてロボットに物体を把持させることと
をさらに含む、条項７に記載の方法。
条項９． 点群及び複数の把持プロポーザルに少なくとも部分的に基づき、座標のセットを計算することと、
密度値のセットを計算するために、第１のニューラル・ネットワークを使用して、少なくとも座標のセットを処理することと、
密度値のセットに少なくとも部分的に基づき、１つ又は複数の把持プロポーザルを決定することと
をさらに含む、条項７又は８に記載の方法。
条項１０． 入力画像の物体が、第１のカテゴリの物体であり、
第１のニューラル・ネットワーク及び第２のニューラル・ネットワークが、１つ又は複数のカテゴリの物体を描写する１つ又は複数の画像に関連して訓練される、条項７から９までのいずれかに記載の方法。
条項１１． 複数の把持プロポーザルに関連付けられる１つ又は複数の密度値、及び閾値に少なくとも部分的に基づき、１つ又は複数の把持プロポーザルを決定すること
をさらに含む、条項７から１０までのいずれかに記載の方法。
条項１２． １つ又は複数の勾配降下プロセスを通じて、潜在コードを計算すること
をさらに含む、条項７から１１までのいずれかに記載の方法。
条項１３． 非一時的なコンピュータ読取り可能媒体であって、コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
第１のニューラル・ネットワーク及び物体を描写する画像に少なくとも部分的に基づき、潜在コードを決定することと、
把持プロポーザルのセットを生成するために、少なくとも潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
第１のニューラル・ネットワーク及び把持プロポーザルのセットに関連付けられる座標のセットに少なくとも部分的に基づき、把持プロポーザルのセットから把持プロポーザルのサブセットを選択することと
を行わせる命令を含む、非一時的なコンピュータ読取り可能媒体。
条項１４． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
把持プロポーザルのセットの把持プロポーザルに少なくとも部分的に基づき、ロボットに関連付けられる点群を少なくとも変換することによって、座標のセットの１つ又は複数の座標を計算すること
を行わせるさらなる命令を含む、条項１３に記載の非一時的なコンピュータ読取り可能媒体。
条項１５． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
把持プロポーザルのサブセットの把持プロポーザルに少なくとも部分的に基づき、ロボット部品に物体を把持させること
を行わせるさらなる命令を含む、条項１３又は１４に記載の非一時的なコンピュータ読取り可能媒体。
条項１６． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
安定な把持の確率を示す１つ又は複数のスコアに少なくとも部分的に基づき、把持プロポーザルのセットから把持プロポーザルのサブセットを選択すること
を行わせるさらなる命令を含む、条項１３から１５までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１７． 第１のニューラル・ネットワークの１つ又は複数の層が、第２のニューラル・ネットワークの１つ又は複数の層と同一パラメータを含む、条項１３から１６までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１８． 把持プロポーザルのセットの第１の把持プロポーザルが、少なくともスコア及び回転行列を含む、条項１３から１７までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１９． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
第１のニューラル・ネットワーク及び潜在コードを使用して１つ又は複数の画像を生成することと、
物体を描写する画像及び１つ又は複数の画像に少なくとも部分的に基づき、少なくとも損失を計算することによって、潜在コードを更新することと
を行わせるさらなる命令を含む、条項１３から１８までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項２０． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
１つ又は複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を使用して把持プロポーザルのセットを生成すること
を行わせるさらなる命令を含む、条項１３から１９までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１． システムであって、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
物体を描写する入力画像を得ることと、
物体に対応する潜在コードを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって画像の第１のセットを生成することと、
画像の第１のセット及び入力画像に少なくとも部分的に基づき、潜在コードを更新することと、
潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットを生成するために、第２のニューラル・ネットワークを使用することと、
第１のニューラル・ネットワーク及び潜在コードに少なくとも部分的に基づき、把持プロポーザルのセットから１つ又は複数の把持プロポーザルを選択することと
を行わせる命令を含む、少なくとも１つのメモリと
を備える、システム。
条項２． 少なくとも１つのメモリが、少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
１つ又は複数の把持プロポーザルに少なくとも部分的に基づき、ロボットに物体を把持させる
さらなる命令を含む、条項１に記載のシステム。
条項３． 少なくとも１つのメモリが、少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
潜在コードに少なくとも部分的に基づき、色及び密度のうちの１つ又は複数の予測を生成するために、第１のニューラル・ネットワークを使用することと、
色及び密度のうちの少なくとも１つ又は複数の予測を使用して、画像の第１のセットを生成することと
を行わせるさらなる命令を含む、条項１又は２に記載のシステム。
条項４． 少なくとも１つのメモリが、少なくとも１つのプロセッサによる実行に応答して、システムに、少なくとも
第１のニューラル・ネットワーク及び潜在コードを使用して、把持プロポーザルのセットに関連付けられる密度の１つ又は複数の予測を生成することと、
密度の１つ又は複数の予測に少なくとも部分的に基づき、１つ又は複数の把持プロポーザルを選択することと
を行わせるさらなる命令を含む、条項１から３までのいずれかに記載のシステム。
条項５． 第１のニューラル・ネットワーク及び第２のニューラル・ネットワークが、パラメータの同一のセットを利用する、条項１から４までのいずれかに記載のシステム。
条項６． 第１のニューラル・ネットワークがデコーダを備える、条項１から５までのいずれかに記載のシステム。
条項７． 方法であって、
物体を描写する入力画像を得ることと、
第１のニューラル・ネットワークに関連して生成された画像の第１のセット及び入力画像に少なくとも部分的に基づき、潜在コードを計算することと、
複数の把持プロポーザルを生成するために、少なくとも潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
潜在コード及び複数の把持プロポーザルに関連付けられる座標のセットを処理するために、第１のニューラル・ネットワークを少なくとも使用することによって、複数の把持プロポーザルのうち、１つ又は複数の把持プロポーザルを決定することと
を含む、方法。
条項８． １つ又は複数の把持プロポーザルを、物体を含む環境に関連付けられるロボットに提供することと、
１つ又は複数の把持プロポーザルによって示される配向に少なくとも部分的に基づき、環境においてロボットに物体を把持させることと
をさらに含む、条項７に記載の方法。
条項９． 点群及び複数の把持プロポーザルに少なくとも部分的に基づき、座標のセットを計算することと、
密度値のセットを計算するために、第１のニューラル・ネットワークを使用して、少なくとも座標のセットを処理することと、
密度値のセットに少なくとも部分的に基づき、１つ又は複数の把持プロポーザルを決定することと
をさらに含む、条項７又は８に記載の方法。
条項１０． 入力画像の物体が、第１のカテゴリの物体であり、
第１のニューラル・ネットワーク及び第２のニューラル・ネットワークが、１つ又は複数のカテゴリの物体を描写する１つ又は複数の画像に関連して訓練される、条項７から９までのいずれかに記載の方法。
条項１１． 複数の把持プロポーザルに関連付けられる１つ又は複数の密度値、及び閾値に少なくとも部分的に基づき、１つ又は複数の把持プロポーザルを決定すること
をさらに含む、条項７から１０までのいずれかに記載の方法。
条項１２． １つ又は複数の勾配降下プロセスを通じて、潜在コードを計算すること
をさらに含む、条項７から１１までのいずれかに記載の方法。
条項１３． 非一時的なコンピュータ読取り可能媒体であって、コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
第１のニューラル・ネットワーク及び物体を描写する画像に少なくとも部分的に基づき、潜在コードを決定することと、
把持プロポーザルのセットを生成するために、少なくとも潜在コードを処理するために第２のニューラル・ネットワークを使用することと、
第１のニューラル・ネットワーク及び把持プロポーザルのセットに関連付けられる座標のセットに少なくとも部分的に基づき、把持プロポーザルのセットから把持プロポーザルのサブセットを選択することと
を行わせる命令を含む、非一時的なコンピュータ読取り可能媒体。
条項１４． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
把持プロポーザルのセットの把持プロポーザルに少なくとも部分的に基づき、ロボットに関連付けられる点群を少なくとも変換することによって、座標のセットの１つ又は複数の座標を計算すること
を行わせるさらなる命令を含む、条項１３に記載の非一時的なコンピュータ読取り可能媒体。
条項１５． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
把持プロポーザルのサブセットの把持プロポーザルに少なくとも部分的に基づき、ロボット部品に物体を把持させること
を行わせるさらなる命令を含む、条項１３又は１４に記載の非一時的なコンピュータ読取り可能媒体。
条項１６． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
安定な把持の確率を示す１つ又は複数のスコアに少なくとも部分的に基づき、把持プロポーザルのセットから把持プロポーザルのサブセットを選択すること
を行わせるさらなる命令を含む、条項１３から１５までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１７． 第１のニューラル・ネットワークの１つ又は複数の層が、第２のニューラル・ネットワークの１つ又は複数の層と同一パラメータを含む、条項１３から１６までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１８． 把持プロポーザルのセットの第１の把持プロポーザルが、少なくともスコア及び回転行列を含む、条項１３から１７までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項１９． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
第１のニューラル・ネットワーク及び潜在コードを使用して１つ又は複数の画像を生成することと、
物体を描写する画像及び１つ又は複数の画像に少なくとも部分的に基づき、少なくとも損失を計算することによって、潜在コードを更新することと
を行わせるさらなる命令を含む、条項１３から１８までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
条項２０． コンピューティング・デバイスの少なくとも１つのプロセッサによって実行されると、コンピューティング・デバイスに、少なくとも
１つ又は複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を使用して把持プロポーザルのセットを生成すること
を行わせるさらなる命令を含む、条項１３から１９までのいずれかに記載の非一時的なコンピュータ読取り可能媒体。
【0564】
少なくとも一実施例では、単一の半導体プラットフォームとは、単独で単体の半導体ベースの集積回路又はチップを指してもよい。少なくとも一実施例では、マルチ・チップ・モジュールは、オン・チップ動作をシミュレートする接続性が向上した状態で使用されてもよく、従来の中央処理装置（「ＣＰＵ」）及びバスの実装形態の利用を大幅に改善する。少なくとも一実施例では、ユーザの希望に応じて、半導体プラットフォームとは別々に、又は半導体プラットフォームとの様々な組合せで、様々なモジュールがさらに設置されてもよい。
【0565】
少なくとも一実施例では、図１３に戻って参照すると、機械読取り可能で実行可能なコード若しくはコンピュータ制御論理アルゴリズムの形のコンピュータ・プログラムが、メイン・メモリ１３０４及び／又は二次ストレージに記憶される。コンピュータ・プログラムは、１つ又は複数のプロセッサによって実行された場合に、少なくとも一実施例による様々な機能をシステム１３００が実行できるようにする。少なくとも一実施例では、メモリ１３０４、ストレージ、及び／又は任意の他のストレージが、コンピュータ読取り可能媒体の考えられる実例である。少なくとも一実施例では、二次ストレージとは、フロッピー（登録商標）・ディスク・ドライブ、磁気テープ・ドライブ、コンパクト・ディスク・ドライブ、デジタル多用途ディスク（「ＤＶＤ」：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）ドライブ、記録デバイス、ユニバーサル・シリアル・バス（「ＵＳＢ」）フラッシュ・メモリなどを表すハード・ディスク・ドライブ及び／若しくはリムーバブル・ストレージ・ドライブなどの任意の好適なストレージ・デバイス又はシステムを指してもよい。少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、ＣＰＵ１３０２、並列処理システム１３１２、ＣＰＵ１３０２と並列処理システム１３１２の両方の機能の少なくとも一部分を実現可能な集積回路、チップセット（たとえば、関連機能を実行するためのユニットとして機能し、販売されるように設計された集積回路のグループなど）、及び／又は集積回路の任意の好適な組合せの文脈において実装される。
【0566】
少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、汎用コンピュータ・システム、回路板システム、エンタテイメント目的専用のゲーム・コンソール・システム、及び特定用途システムなどの文脈において実装される。少なくとも一実施例では、コンピュータ・システム１３００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイス、モバイル・フォン・デバイス、テレビ、ワークステーション、ゲーム・コンソール、組み込みシステム、及び／又は任意の他のタイプの論理の形をとってもよい。少なくとも一実施例では、コンピュータ・システム１３００は、図７Ａ～図４０Ｂの任意のデバイスを含む、又は任意のデバイスを指す。
【0567】
少なくとも一実施例では、並列処理システム１３１２は、限定することなく、複数の並列処理ユニット（「ＰＰＵ」）１３１４、及び関連メモリ１３１６を含む。少なくとも一実施例では、ＰＰＵ１３１４は、相互接続１３１８及びスイッチ１３２０又はマルチプレクサを介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、並列処理システム１３１２は、計算タスクをＰＰＵ１３１４にわたって分配し、これは、たとえば複数のグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）のスレッド・ブロックにわたる計算タスクの分配の一部として、並列化可能とすることができる。少なくとも一実施例では、メモリは、ＰＰＵ１３１４の一部又は全部にわたって共有され、（たとえば、読取り及び／又は書込みアクセスのために）アクセス可能であるが、こうした共有メモリは、ＰＰＵ１３１４に常駐しているローカル・メモリ及びレジスタの使用に対して、性能に不利益をもたらすことがある。少なくとも一実施例では、ＰＰＵ１３１４の動作は、＿ｓｙｎｃｔｈｒｅａｄｓ（）などのコマンドを使用することによって同期され、ここで（たとえば、複数のＰＰＵ１３１４にわたって動作している）ブロック内のすべてのスレッドが、進行前にコードのある一定の実行ポイントに到達する。
【0568】
少なくとも一実施例では、本明細書に記載の１つ又は複数の技法は、ｏｎｅＡＰＩプログラミング・モデルを利用する。少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルとは、様々なコンピュート・アクセラレータ・アーキテクチャと対話するためのプログラミング・モデルを指す。少なくとも一実施例では、ｏｎｅＡＰＩとは、様々なコンピュート・アクセラレータ・アーキテクチャと対話するように設計されたアプリケーション・プログラミング・インターフェース（ＡＰＩ）を指す。少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルは、ＤＰＣ＋＋プログラミング言語を利用する。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語とは、データ並列プログラミング製造のための高次言語を指す。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、少なくとも部分的にＣ及び／又はＣ＋＋プログラミング言語に基づいている。少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルは、カリフォルニア州サンタクララにあるインテルコーポレーションによって開発されたプログラミング・モデルなどの、プログラミング・モデルである。
【0569】
少なくとも一実施例では、ｏｎｅＡＰＩ及び／又はｏｎｅＡＰＩプログラミング・モデルは、様々なアクセラレータ、ＧＰＵ、プロセッサ、及び／又はその変形のアーキテクチャと対話するために利用される。少なくとも一実施例では、ｏｎｅＡＰＩは、様々な機能性を実装するライブラリのセットを含む。少なくとも一実施例では、ｏｎｅＡＰＩは、少なくとも、ｏｎｅＡＰＩ ＤＰＣ＋＋ライブラリ、ｏｎｅＡＰＩマス・カーネル・ライブラリ、ｏｎｅＡＰＩデータ・アナリティクス・ライブラリ、ｏｎｅＡＰＩ深層ニューラル・ネットワーク・ライブラリ、ｏｎｅＡＰＩコレクティブ・コミュニケーション・ライブラリ、ｏｎｅＡＰＩスレッディング・ビルディング・ブロック、ｏｎｅＡＰＩビデオ処理ライブラリ、及び／又はその変形を含む。
【0570】
少なくとも一実施例では、ｏｎｅＤＰＬとも称されるｏｎｅＡＰＩ ＤＰＣ＋＋ライブラリは、ＤＰＣ＋＋カーネル・プログラミングを加速化するアルゴリズムと関数を実装するライブラリである。少なくとも一実施例では、ｏｎｅＤＰＬは、１つ又は複数の標準テンプレート・ライブラリ（ＳＴＬ）関数を実装する。少なくとも一実施例では、ｏｎｅＤＰＬは、１つ又は複数の並列ＳＴＬ関数を実装する。少なくとも一実施例では、ｏｎｅＤＰＬは、並列アルゴリズム、イテレータ、関数オブジェクト・クラス、レンジ・ベースのＡＰＩ、及び／又はその変形など、ライブラリ・クラスと関数のセットを用意する。少なくとも一実施例では、ｏｎｅＤＰＬは、Ｃ＋＋標準ライブラリの１つ又は複数のクラス及び／又は関数を実装する。少なくとも一実施例では、ｏｎｅＤＰＬは、１つ又は複数の乱数ジェネレータ関数を実装する。
【0571】
少なくとも一実施例では、ｏｎｅＭＫＬとも称されるｏｎｅＡＰＩマス・カーネル・ライブラリは、様々な数学関数及び／又は演算のために、様々な最適化及び並列化されたルーチンを実装するライブラリである。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の基本線形代数サブプログラム（ＢＬＡＳ：ｂａｓｉｃ ｌｉｎｅａｒ ａｌｇｅｂｒａ ｓｕｂｐｒｏｇｒａｍ）及び／又は線形代数パッケージ（ＬＡＰＡＣＫ：ｌｉｎｅａｒ ａｌｇｅｂｒａ ｐａｃｋａｇｅ）の密な線形代数ルーチンを実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の疎なＢＬＡＳ線形代数ルーチンを実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の乱数ジェネレータ（ＲＮＧ：ｒａｎｄｏｍ ｎｕｍｂｅｒ ｇｅｎｅｒａｔｏｒ）を実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、ベクトルに対する数理演算用の１つ又は複数のベクトル数理（ＶＭ：ｖｅｃｔｏｒ ｍａｔｈｅｍａｔｉｃｓ）ルーチンを実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）関数を実装する。
【0572】
少なくとも一実施例では、ｏｎｅＤＡＬとも称されるｏｎｅＡＰＩデータ・アナリティクス・ライブラリは、様々なデータ分析適用及び分散計算を実装するライブラリである。少なくとも一実施例では、ｏｎｅＤＡＬは、バッチ、オンライン、及び分散された計算の処理モードでの、データ・アナリティクスのための事前処理、変換、分析、モデリング、検証、及び意思決定のための様々なアルゴリズムを実装する。少なくとも一実施例では、ｏｎｅＤＡＬは、様々なＣ＋＋及び／又はＪａｖａ（登録商標） ＡＰＩ並びに１つ又は複数のデータ・ソースへの様々なコネクタを実装する。少なくとも一実施例では、ｏｎｅＤＡＬは、従来のＣ＋＋インターフェースへのＤＰＣ＋＋ＡＰＩ拡張を実装し、多様なアルゴリズムのＧＰＵ使用を可能にする。
【0573】
少なくとも一実施例では、ｏｎｅＤＮＮとも称されるｏｎｅＡＰＩ深層ニューラル・ネットワーク・ライブラリは、様々な深層学習関数を実装するライブラリである。少なくとも一実施例では、ｏｎｅＤＮＮは、様々なニューラル・ネットワーク、機械学習、及び深層学習関数、アルゴリズム、及び／又はその変形を実装する。
【0574】
少なくとも一実施例では、ｏｎｅＣＣＬとも称されるｏｎｅＡＰＩコレクティブ・コミュニケーション・ライブラリは、深層学習及び機械学習ワークロードのための様々なアプリケーションを実装するライブラリである。少なくとも一実施例では、ｏｎｅＣＣＬは、メッセージ・パッシング・インターフェース（ＭＰＩ：ｍｅｓｓａｇｅ ｐａｓｓｉｎｇ ｉｎｔｅｒｆａｃｅ）及びｌｉｂｆａｂｒｉｃなど、低次の通信ミドルウェアに構築される。少なくとも一実施例では、ｏｎｅＣＣＬは、優先順位付け、永続的演算、アウト・オブ・オーダ実行、及び／又はその変形など、深層学習特有の最適化のセットを可能にする。少なくとも一実施例では、ｏｎｅＣＣＬは、様々なＣＰＵ及びＧＰＵ関数を実装する。
【0575】
少なくとも一実施例では、ｏｎｅＴＢＢとも称されるｏｎｅＡＰＩスレッディング・ビルディング・ブロック・ライブラリは、様々なアプリケーションのための様々な並列化プロセスを実装するライブラリである。少なくとも一実施例では、ｏｎｅＴＢＢは、ホストにおけるタスク・ベースの共有された並列プログラミングに利用される。少なくとも一実施例では、ｏｎｅＴＢＢは一般的な並列アルゴリズムを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは同時実行（ｃｏｎｃｕｒｒｅｎｔ）コンテナを実装する。少なくとも一実施例では、ｏｎｅＴＢＢはスケーラブル・メモリ・アロケータを実装する。少なくとも一実施例では、ｏｎｅＴＢＢはｗｏｒｋ－ｓｔｅａｌｉｎｇタスク・スケジューラを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは低次同期プリミティブを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは、コンパイラ独立的であり、ＧＰＵ、ＰＰＵ、ＣＰＵ、及び／又はその変形など、様々なプロセッサで使用することができる。
【0576】
少なくとも一実施例では、ｏｎｅＶＰＬとも称されるｏｎｅＡＰＩビデオ処理ライブラリは、１つ又は複数のアプリケーションでビデオ処理を加速化するために利用される。少なくとも一実施例では、ｏｎｅＶＰＬは、様々なビデオのデコード、エンコード、及び処理関数を実装する。少なくとも一実施例では、ｏｎｅＶＰＬは、ＣＰＵ、ＧＰＵ、及び他のアクセラレータでのメディア・パイプライン用に、様々な関数を実装する。少なくとも一実施例では、ｏｎｅＶＰＬは、メディア中心的及びビデオ・アナリティクス・ワークロードにおける、デバイス・ディスカバリ及び選択を実装する。少なくとも一実施例では、ｏｎｅＶＰＬは、ゼロ・コピー・バッファ共有のためのＡＰＩプリミティブを実装する。
【0577】
少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルは、ＤＰＣ＋＋プログラミング言語を利用する。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、限定することなく、デバイス・コードを定義して、デバイス・コードとホスト・コードとを区別するための、ＣＵＤＡメカニズムの機能的に類似のバージョンを含むプログラミング言語である。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、ＣＵＤＡプログラミング言語の機能性のサブセットを含むことができる。少なくとも一実施例では、１つ又は複数のＣＵＤＡプログラミング・モデル動作は、ＤＰＣ＋＋プログラミング言語を使用したｏｎｅＡＰＩプログラミング・モデルを使用して実行される。
【0578】
少なくとも一実施例では、本明細書に記載の任意のアプリケーション・プログラミング・インターフェース（ＡＰＩ）は、コンパイラ、インタプリタ、又は他のソフトウェア・ツールによって、１つ又は複数の命令、演算、又は任意の他の信号にコンパイルされる。少なくとも一実施例では、コンパイルは、ソース・コードから、１つ又は複数の機械実行可能な命令、演算、及び他の信号を生成することを含む。少なくとも一実施例では、１つ又は複数の命令、演算、及び他の信号にコンパイルされたＡＰＩは、実行されると、グラフィックス・プロセッサ２８００、グラフィックス・コア１８００、並列プロセッサ２０００、プロセッサ２３００、プロセッサ・コア２３００、又は本明細書にさらに記載の任意の他の論理回路など、１つ又は複数のプロセッサに、１つ又は複数のコンピューティング動作を実行させる。
【0579】
本明細書に記載の実例の実施例は、ＣＵＤＡプログラミング・モデルに関することがあるが、本明細書に記載の技法は、ＨＩＰ、ｏｎｅＡＰＩ、及び／又はその変形など、任意の好適なプログラミング・モデルで利用することができることに留意されたい。
【0580】
他の変形形態は、本開示の範囲内にある。したがって、開示した技法は、様々な修正及び代替的な構成が可能であるが、それらのうち一定の例示的な実施例が図面に示され、上で詳細に説明されてきた。しかし、特定の１つ又は複数の開示された形に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲に定義される開示の趣旨及び範囲に入るすべての修正形態、代替的な構成、及び等価物を網羅することを意図していることが理解されるべきである。
【0581】
開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「収容する（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「含むが、これに限定されない」を意味する）と解釈される。「接続される」は、修飾されずに物理的接続を指している場合には、何か介在するものがあったとしても、部分的に又は完全に中に収容される、取り付けられる、又は互いに接合されるものとして解釈される。本明細書において値の範囲を詳述することは、本明細書において別段の記載がない限り、またそれぞれ別々の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に含まれるそれぞれ別々の値を個々に参照する簡潔な方法として機能することを単に意図しているにすぎない。少なくとも一実施例では、「セット」（たとえば、「アイテムのセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がない、又は否定されていない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がない、又は否定されていない限り、対応するセットの「サブセット」という用語は、対応するセットの適切なサブセットを必ずしも指すのではなく、サブセットと対応するセットは等しくてもよい。
【0582】
「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形の言い回しなどの結合語は、別段の具体的な記載のない限り、又は文脈によって明確に否定されていない限り、項目、用語などが、ＡかＢかＣである、又はＡとＢとＣのセットのいずれかの空でないサブセットであることを提示するために一般に使用される文脈で理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、こうした結合語は、ある一定の実施例が、少なくとも１つのＡ、少なくとも１つのＢ、及び少なくとも１つのＣのそれぞれの存在を必要とすることを全体的に暗示するものではない。さらに、別段の記載のない、又は文脈によって否定されていない限り、「複数」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。少なくとも一実施例では、複数である項目の数は、少なくとも２つであるが、明示的に、又は文脈によって示されている場合にはそれより多くてもよい。さらに、別段の記載のない、又は文脈からそうでないことが明らかでない限り、「～に基づく」という言い回しは、「少なくとも部分的に～に基づく」を意味し、「～だけに基づく」を意味しない。
【0583】
本明細書に記載のプロセスの動作は、本明細書に別段の記載のない、又は文脈によって明確に否定されない限り、任意の好適な順序で実行することができる。少なくとも一実施例では、本明細書に記載のプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実行され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行されるコード（たとえば、実行可能な命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。少なくとも一実施例では、コードは、たとえば１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形で、コンピュータ読取り可能ストレージ媒体に記憶される。少なくとも一実施例では、コンピュータ読取り可能ストレージ媒体は、一時的な信号（たとえば、伝播する一時的な電気若しくは電磁送信）を除外するが、一時的な信号のトランシーバ内の非一時的なデータ・ストレージ回路（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的なコンピュータ読取り可能ストレージ媒体である。少なくとも一実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的なコンピュータ読取り可能ストレージ媒体のセットに記憶され、このストレージ媒体には、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書に記載の動作を実行させる実行可能命令が記憶されている（又は、実行可能命令を記憶するための他のメモリを有する）。少なくとも一実施例では、非一時的なコンピュータ読取り可能ストレージ媒体のセットは、複数の非一時的なコンピュータ読取り可能ストレージ媒体を備え、複数の非一時的なコンピュータ読取り可能ストレージ媒体の個々の非一時的なストレージ媒体のうちの１つ又は複数には、すべてのコードがないが、複数の非一時的なコンピュータ読取り可能ストレージ媒体は、集合的にすべてのコードを記憶している。少なくとも一実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的なコンピュータ読取り可能ストレージ媒体は命令を記憶し、メインの中央処理装置（「ＣＰＵ」）は一部の命令を実行し、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも一実施例では、コンピュータ・システムの異なる構成要素は、別々のプロセッサを有し、異なるプロセッサは、命令の異なるサブセットを実行する。
【0584】
少なくとも一実施例では、算術論理演算ユニットは、１つ又は複数の入力を受け取って結果を作り出す、組合せ論理回路のセットである。少なくとも一実施例では、算術論理演算ユニットは、加算、減算、又は乗算など、数学演算を実施するためにプロセッサによって使用される。少なくとも一実施例では、算術論理演算ユニットは、論理ＡＮＤ／ＯＲ、又はＸＯＲなど、論理演算を実施するために使用される。少なくとも一実施例では、算術論理演算ユニットは、ステートレスであり、論理ゲートを形成するように配置された半導体トランジスタなど、物理的なスイッチング部品から作られる。少なくとも一実施例では、算術論理演算ユニットは、関連付けられるクロックを用いてステートフルな論理回路として内部的に動作することができる。少なくとも一実施例では、算術論理演算ユニットは、関連レジスタ・セットに内部状態が保持されない非同期論理回路として構築することができる。少なくとも一実施例では、算術論理演算ユニットは、プロセッサの１つ又は複数のレジスタに記憶されたオペランドを組み合わせて、プロセッサによって別のレジスタ又はメモリ場所に記憶することができる出力を作り出すために、プロセッサによって使用される。
【0585】
少なくとも一実施例では、プロセッサによって取り出された命令の処理の結果として、プロセッサは、１つ又は複数の入力又はオペランドを算術論理ユニットに提示し、算術論理ユニットの入力に与えられた命令コードに少なくとも部分的に基づき、算術論理ユニットに結果を作り出させる。少なくとも一実施例では、プロセッサによってＡＬＵに与えられる命令コードは、プロセッサによって実行される命令に少なくとも部分的に基づいている。少なくとも一実施例では、ＡＬＵ中の組合せ論理は、入力を処理し、プロセッサ内でバスに配置される出力を作り出す。少なくとも一実施例では、プロセッサは、プロセッサがクロックすることによって、ＡＬＵが作り出した結果が所望の場所に送り出されるように、宛先レジスタ、メモリ場所、出力デバイス、又は出力バスにおける出力記憶場所を選択する。
【0586】
本出願の範囲では、算術論理ユニット、すなわちＡＬＵという用語は、結果を作り出すためにオペランドを処理する、あらゆる計算論理回路を称するために使用される。たとえば、本文書では、ＡＬＵという用語は、浮動小数点ユニット、ＤＳＰ、テンソル・コア、シェーダ・コア、コプロセッサ、又はＣＰＵを指すことができる。
【0587】
少なくとも一実施例では、上記で開示されるシステム及び／又はプロセッサの１つ又は複数のコンポーネントは、１つ又は複数のＣＰＵ、ＡＳＩＣ、ＧＰＵ、ＦＰＧＡ、或いはたとえば画像をアップスケールするためのアップスケーラ若しくはアップサンプラ、画像を共にブレンド、ミックス若しくは加えるための画像ブレンダ若しくは画像ブレンダ・コンポーネント、画像をサンプリングするためのサンプラ（たとえば、ＤＳＰの一部として）、画像を（たとえば、低解像画像から高解像画像に）アップスケールするためにアップスケーラを実行するように構成されたニューラル・ネットワーク回路を含む、他のハードウェア、回路、又は集積回路コンポーネント、或いは画像、フレーム、又はビデオを修正又は生成してその解像度、サイズ、又はピクセルを調節する他のハードウェアと通信することができる；上記で開示されるシステム及び／又はプロセッサの１つ又は複数のコンポーネントは、本開示で説明されるコンポーネントを使用して、画像を生成又は修正する方法、動作、又は命令を実行することができる。
【0588】
したがって、少なくとも一実施例では、コンピュータ・システムは、本明細書に記載のプロセスの動作を単独で又は集合的に実行する１つ又は複数のサービスを実装するように構成され、こうしたコンピュータ・システムは、動作の実行を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも一実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、異なるやり方で動作する複数のデバイスを備える分散型のコンピュータ・システムであり、それにより単一のデバイスがすべての動作を実行しないように分散型のコンピュータ・システムが本明細書に記載の動作を実行する。
【0589】
本明細書に提供されるあらゆる実例、又は例示的な言葉（たとえば、「など」）の使用は、本開示の実施例をより明らかにすることだけを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
【0590】
本明細書に引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることがあたかも個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
【0591】
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用されてもよい。これらの用語は、互いに同義語として意図されていない場合があることを理解すべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用されてもよい。また「結合される」は、２つ以上の要素が直接互いに接触していないが、なお互いに連動又は相互作用することを意味してもよい。
【0592】
別段の具体的な記載のない限り、明細書全体を通して「処理する」、「コンピューティング」、「計算する」、又は「判定する」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータをコンピューティング・システムのメモリ、レジスタ、又は他のそのような情報ストレージ・デバイス、送信デバイス、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるよう操作及び／又は変換するコンピュータ若しくはコンピューティング・システム、又は同様の電子コンピューティング・デバイスの行為及び／又はプロセスを指すことが理解されよう。
【0593】
同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶することができる他の電子データに変換する任意のデバイス、又はデバイスの一部分を指してもよい。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであってもよい。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備えてもよい。本明細書で使用する「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実行するソフトウェア及び／又はハードウェアのエンティティを含んでもよい。また、各プロセスは、命令を直列で又は並列で連続的に又は断続的に実行するための複数のプロセスを指してもよい。少なくとも一実施例では、「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化することができ、方法がシステムと考えられてもよい場合に限り、本明細書において交換可能に使用される。
【0594】
本明細書では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又はそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及することができる。少なくとも一実施例では、アナログ・データ及びデジタル・データを得る、取得する、受信する、又は入力するプロセスは、関数呼出し、又はアプリケーション・プログラミング・インターフェースへの呼出しのパラメータとしてデータを受信するなど、様々なやり方で実現することができる。少なくとも一実施例では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、直列又は並列のインターフェースを介してデータを転送することによって実現することができる。少なくとも一実施例では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、提供するエンティティから取得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現することができる。少なくとも一実施例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示することにも言及することができる。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示するプロセスは、関数呼出しの入力又は出力のパラメータ、アプリケーション・プログラミング・インターフェース若しくはプロセス間通信機構のパラメータとしてデータを転送することによって実現することができる。
【0595】
本明細書の説明は、記載した技法の実例の実装形態について述べているが、記載した機能を実装するために他のアーキテクチャが使用されてもよく、この他のアーキテクチャは、本開示の範囲内にあることが意図される。さらに、説明を目的として、役割の具体的な分配が定義され得るが、様々な機能及び役割は、状況に応じて異なるやり方で分配及び分割されてもよい。
【0596】
さらに、主題は、構造的特徴及び／又は方法論的動作に特有の言語で説明されてきたが、添付の特許請求の範囲で特許請求される主題は、説明した特有の特徴又は動作に必ずしも限定されないことが理解されるべきである。むしろ、特有の特徴及び動作は、特許請求の範囲を実装する例示的な形として開示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20A】
【図20B】
【図20C】
【図20D】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31A】
【図31B】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39A】
【図39B】
【図40A】
【図40B】
【外国語明細書】