(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135577
(43)【公開日】2023-09-28
(54)【発明の名称】最適化推論対象のストリームの選択
(51)【国際特許分類】
G06V 10/774 20220101AFI20230921BHJP
G06T 7/00 20170101ALI20230921BHJP
【ＦＩ】
G06V10/774
G06T7/00 350B
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022079146
(22)【出願日】2022-05-13
(31)【優先権主張番号】17/695,718
(32)【優先日】2022-03-15
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
３．ＪＡＶＡ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】トゥシャール サントシュ キーンヴァサラ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA04
5L096DA01
5L096FA18
5L096FA52
5L096FA64
5L096FA77
5L096HA05
5L096HA11
5L096JA13
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
【課題】ヒューリスティックに少なくとも部分的に基づき、推論を展開させる対象となるストリームを選択する、装置、システム、及び手法を提供すること。
【解決手段】少なくとも一実施例では、ストリームに適用された１つ又は複数の機械学習モデルを使用して推論した情報に少なくとも部分的に基づき、ヒューリスティックが生成される。
【選択図】図１
【解決手段】少なくとも一実施例では、ストリームに適用された１つ又は複数の機械学習モデルを使用して推論した情報に少なくとも部分的に基づき、ヒューリスティックが生成される。
【選択図】図１
【特許請求の範囲】
【請求項1】
機械学習モデルを使用して、１つ又は複数のデータ・ストリームのうちの最初の１バッチ分のフレームについての推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を生成することと、
前記ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームのうちの２番目の１バッチ分のフレームの中から１つ又は複数のストリームを選択することと、
１つ又は複数の機械学習モデルを使用して、前記選択した１つ又は複数のストリームのうちの１つ又は複数のフレームについての情報を推論することと、
前記選択した１つ又は複数のストリームについての前記推論した情報に少なくとも部分的に基づき、前記ヒューリスティック情報を更新することと、を含む、コンピュータ実装方法。
前記ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームのうちの２番目の１バッチ分のフレームの中から１つ又は複数のストリームを選択することと、
１つ又は複数の機械学習モデルを使用して、前記選択した１つ又は複数のストリームのうちの１つ又は複数のフレームについての情報を推論することと、
前記選択した１つ又は複数のストリームについての前記推論した情報に少なくとも部分的に基づき、前記ヒューリスティック情報を更新することと、を含む、コンピュータ実装方法。
【請求項2】
前記コンピュータ実装方法が１つ又は複数の設定パラメータを得ることをさらに含み、前記２番目のバッチの中から１つ又は複数のストリームを前記選択することがさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、請求項１に記載の方法。
【請求項3】
前記１つ又は複数の設定パラメータがいくつかの検出されたオブジェクトを示す、請求項２に記載の方法。
【請求項4】
前記最初の１バッチ分のフレーム及び２番目の１バッチ分のフレームとしては、それぞれ、該当する一連の画像フレームが挙げられる、請求項１に記載の方法。
【請求項5】
１つ又は複数の他の機械学習モデルを使用して、前記２番目の１バッチ分のフレームのうちの前記１つ又は複数のフレームについてのさらなる情報を推論することをさらに含む、請求項１に記載の方法。
【請求項6】
前記ヒューリスティック情報を生成することが、前記２番目の１バッチ分のフレームに相当する前記１つ又は複数のデータ・ストリームに対してスキップ区間を決定することを含む、請求項１に記載の方法。
【請求項7】
１つ又は複数のプロセッサと、
命令を記憶するメモリとで構成されているシステムであって、前記命令が、前記１つ又は複数のプロセッサによって実行されると、前記システムに、
１つ又は複数の最初のデータ・ストリームのうちの１つ又は複数のフレームに適用された１つ又は複数の機械学習モデルを使用して推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を得させ、
前記ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数の処理演算がスキップされるべき１つ又は複数のフレームのサブセットを１つ又は複数の２番目のデータ・ストリームの中から決定させ、
前記１つ又は複数の２番目のデータ・ストリームのうちの前記１つ又は複数のフレームの前記サブセットに適用された前記１つ又は複数の機械学習モデルを使用して推論した情報に少なくとも部分的に基づき、前記ヒューリスティック情報を更新させる、システム。
命令を記憶するメモリとで構成されているシステムであって、前記命令が、前記１つ又は複数のプロセッサによって実行されると、前記システムに、
１つ又は複数の最初のデータ・ストリームのうちの１つ又は複数のフレームに適用された１つ又は複数の機械学習モデルを使用して推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を得させ、
前記ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数の処理演算がスキップされるべき１つ又は複数のフレームのサブセットを１つ又は複数の２番目のデータ・ストリームの中から決定させ、
前記１つ又は複数の２番目のデータ・ストリームのうちの前記１つ又は複数のフレームの前記サブセットに適用された前記１つ又は複数の機械学習モデルを使用して推論した情報に少なくとも部分的に基づき、前記ヒューリスティック情報を更新させる、システム。
【請求項8】
前記メモリがさらに、前記１つ又はプロセッサにより実行されることの結果として、前記システムに、１つ又は複数の設定パラメータを得させる命令を記憶し、前記１つ又は複数の２番目のデータ・ストリームの中からの前記１つ又は複数のフレームの前記サブセットの前記決定がさらに、前記設定パラメータに少なくとも部分的に基づく、請求項７に記載のシステム。
【請求項9】
前記設定パラメータがいくつかの検出されたオブジェクトを示す、請求項８に記載のシステム。
【請求項10】
前記設定パラメータがさらに、前記１つ又は複数の２番目のデータ・ストリームのうちの前記１つ又は複数のフレームの解像度、前記１つ又は複数の２番目のデータ・ストリームのうちの前記１つ又は複数のフレームを使用して表された１つ又は複数のオブジェクトのサイズ、前記１つ又は複数の２番目のデータ・ストリームのうちの１つ又は複数のフレームに表された１つ又は複数の関心領域（ＲＯＩ）の近接、のうちの少なくとも１つを示す、請求項８に記載のシステム。
【請求項11】
前記メモリがさらに、前記１つ又は複数のプロセッサによって実行されると、前記システムに、１つ又は複数の二次機械学習モデルを使用して、前記サブセットの一部ではない、前記１つ又は複数の２番目のデータ・ストリームのうちの１つ又は複数のフレームについての二次情報を推論させる、命令を記憶する、請求項７に記載のシステム。
【請求項12】
前記ヒューリスティック情報としては、前記１つ又は複数の２番目のデータ・ストリームの最初のスキップ区間が挙げられる、請求項７に記載のシステム。
【請求項13】
前記ヒューリスティック情報としては、前記最初のスキップ区間とは異なる、前記１つ又は複数の２番目のデータ・ストリームの前記サブセットの２番のスキップ区間が挙げられる、請求項１２に記載のシステム。
【請求項14】
命令のセットを記憶している非一時的機械可読媒体であって、命令の前記セットが、１つ又は複数のプロセッサによって行われると、前記１つ又は複数のプロセッサに、
１つ又は複数のデータ・ストリームから推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を決定させ、
前記ヒューリスティック情報に少なくとも部分的に基づき、前記１つ又は複数のデータ・ストリームのサブセットの少なくとも１つのデータ・ストリームにそれぞれが相当する、１つ又は複数のフレームに対して１つ又は複数の推論演算を行わせ、
前記１つ又は推論演算の結果に少なくとも部分的に基づき、前記ヒューリスティック情報を更新させる、機械可読媒体。
１つ又は複数のデータ・ストリームから推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を決定させ、
前記ヒューリスティック情報に少なくとも部分的に基づき、前記１つ又は複数のデータ・ストリームのサブセットの少なくとも１つのデータ・ストリームにそれぞれが相当する、１つ又は複数のフレームに対して１つ又は複数の推論演算を行わせ、
前記１つ又は推論演算の結果に少なくとも部分的に基づき、前記ヒューリスティック情報を更新させる、機械可読媒体。
【請求項15】
命令の前記セットとしては、前記１つ又は複数のプロセッサによって行われると、前記１つ又は複数のプロセッサに、１つ又は複数の設定パラメータを得させる命令が挙げられ、前記１つ又は複数のデータ・ストリームのサブセットに対して行われる前記１回又は複数回の推論演算がさらに、前記１つ又は複数の設定パラメータに少なくとも部分的に基づく、請求項１４に記載の機械可読媒体。
【請求項16】
前記１つ又は複数の設定パラメータが、いくつかの検出されたオブジェクトを示す、請求項１５に記載の機械可読媒体。
【請求項17】
前記ヒューリスティック情報としては、前記１つ又は複数のデータ・ストリームの最初のスキップ区間が挙げられる、請求項１４に記載の機械可読媒体。
【請求項18】
前記ヒューリスティック情報としては、前記１つ又は複数のデータ・ストリームの前記最初のスキップ区間よりも短い、前記１つ又は複数のデータ・ストリームの前記サブセットの２番目のスキップ区間が挙げられる、請求項１７に記載の機械可読媒体。
【請求項19】
命令の前記セットとしてはさらに、前記１つ又は複数のプロセッサによって行われると、前記１つ又は複数のプロセッサに、前記ヒューリスティック情報に少なくとも部分的に基づき、前記１つ又は複数のデータ・ストリームの第２のサブセットのうちの１つ又は複数のフレームに対して１回又は複数回の２番目の推論演算を行わせる、命令が挙げられ、前記ヒューリスティック情報としては、前記１つ又は複数のデータ・ストリームの３番目のスキップ区間が挙げられる、請求項１７に記載の機械可読媒体。
【請求項20】
前記１つ又は複数のフレームとしては、一連の画像フレームが挙げられる、請求項１４に記載の機械可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
少なくとも一実施例は、本明細書に記載の様々な新規技法によるヒューリスティックに少なくとも部分的に基づき、推論の対象となるストリームを選択するのに使用されるプロセッサ又はコンピューティング・システムに関するものである。
【背景技術】
【0002】
複数のデータ・ストリームに対して推論を展開させることは、様々な領域で使用され得る。たとえば、１つ又は複数のカメラは、１つ又は複数のオブジェクトを検出するか、特定するか、又は追跡するのに、入口ゲート、ガレージ、道路、又は工場ラインのビデオ監視に基づいて、画像フレーム及び／又はオーディオ・フレームの複数のストリームを提供し得る。１つ又は複数のオブジェクトを検出するか、識別するか、又は追跡するのに、システム又はアプリケーションでは、機械学習モデルを使用して、複数のデータ・ストリームに対して推論を展開させることができる。機械学習モデルを使用して複数のデータ・ストリームに対して推論を展開させることは、複雑であり場合があり、大量のコンピューティング・リソースを使用する必要があり得る。
【発明の概要】
【課題を解決するための手段】
【0003】
以下の説明では、少なくとも一実施例がより十分に理解できるように、多数の具体的な詳細を明示している。しかし、本発明の概念がこれらの具体的な詳細のうちの１つ又は複数がなくても実施され得る、ということが当業者であれば分かるであろう。
【図面の簡単な説明】
【0004】
【図1】少なくとも一実施例による、複数のデータ・ストリームを処理するシステムを示す図である。
【図2】少なくとも一実施例による、複数のデータ・ストリームを処理するシステムを示す図である。
【図3】少なくとも一実施例による、ヒューリスティックに基づき、推論の対象となるデータ・ストリームを選択することを示す例示的なブロック図である。
【図4】少なくとも一実施例による、ヒューリスティック及びユーザ定義パラメータに基づき、推論の対象となるデータ・ストリームを選択する手順例を示す図である。
【図5】少なくとも一実施例による、推論の対象となるデータ・ストリームを選択することの実例を示す図である。
【図6】少なくとも一実施例による、推論の前にデータ・ストリームを処理する手順例を示す図である。
【図7A】少なくとも一実施例による、論理を示す図である。
【図7B】少なくとも一実施例による、論理を示す図である。
【図8】少なくとも一実施例による、ニューラル・ネットワークの訓練及び展開を示す図である。
【図9】少なくとも一実施例による、例示的データ・センタ・システムを示す図である。
【図10A】少なくとも一実施例による、自律車両の実例を示す図である。
【図11】少なくとも一実施例による、コンピュータ・システムを示すブロック図である。
【図12】少なくとも一実施例による、コンピュータ・システムを示すブロック図である。
【図13】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図14】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15A】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15B】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15C】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15D】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図15E】少なくとも一実施例による、共有プログラミング・モデルを示す図である。
【図15F】少なくとも一実施例による、共有プログラミング・モデルを示す図である。
【図16】少なくとも一実施例による、例示的な集積回路及び関連するグラフィックス・プロセッサを示す図である。
【図17A】少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。
【図17B】少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。
【図18A】少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。
【図18B】少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。
【図19】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図20A】少なくとも一実施例による、並列プロセッサを示す図である。
【図20B】少なくとも一実施例による、パーティション・ユニットを示す図である。
【図20C】少なくとも一実施例による、処理クラスタを示す図である。
【図20D】少なくとも一実施例による、グラフィックス・マルチプロセッサを示す図である。
【図21】少なくとも一実施例による、マルチ・グラフィックス・プロセッシング・ユニット（ＧＰＵ）システムを示す図である。
【図22】少なくとも一実施例による、グラフィックス・プロセッサを示す図である。
【図23】少なくとも一実施例による、プロセッサ用のプロセッサ・マイクロ・アーキテクチャを示すブロック図である。
【図24】少なくとも一実施例による、深層学習アプリケーション・プロセッサを示す図である。
【図25】少なくとも一実施例による、例示的ニューロモーフィック・プロセッサを示すブロック図である。
【図26】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図27】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図28】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図29】少なくとも一実施例によるグラフィックス・プロセッサのグラフィックス処理エンジンのブロック図である。
【図30】少なくとも一実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分のブロック図である。
【図31A】少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理を示す図である。
【図31B】少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理を示す図である。
【図32】少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」）を示す図である。
【図33】少なくとも一実施例による、汎用処理クラスタ（「ＧＰＣ」）を示す図である。
【図34】少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニットを示す図である。
【図35】少なくとも一実施例による、ストリーミング・マルチプロセッサを示す図である。
【図36】少なくとも一実施例による、先進コンピューティング・パイプラインのための実例データ・フロー図である。
【図37】少なくとも一実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練、適応、インスタンス化、及び導入するための実例システムのシステム図である。
【図38】少なくとも一実施例による、撮像データを処理するための先進コンピューティング・パイプラインの実例を含む図である。
【図39A】少なくとも一実施例による、超音波デバイスをサポートする仮想器具の実例データ・フローを含む図である。
【図39B】少なくとも一実施例による、ＣＴスキャナをサポートする仮想器具の実例データ・フローを含む図である。
【図40A】少なくとも一実施例による、機械学習モデルを訓練するためのプロセスのデータ・フロー図である。
【図40B】少なくとも一実施例による、事前訓練済みアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアント・サーバ・アーキテクチャの実例を示す図である。
【発明を実施するための形態】
【0005】
少なくとも一実施例では、本明細書に記載の技法を採用するシステムは、一定数のフレームで１つ又は複数のデータ・ストリームから情報を推論するために、１つ又は複数の機械学習モデルを用いてヒューリスティック情報を生成し、且つ／又は修正する。１つ又は複数の実施例では、このシステムは、入力として様々なフォーマット及びフレーム解像度を要求するカスケード式の機械学習モデル、ニューラル・ネットワーク、又はコンピュータ・ビジョン・アルゴリズムを伴うパイプラインを用いて、又はそれを含んで実装され得る。１つ又は複数の機械学習モデル、ニューラル・ネットワーク、又はコンピュータ・ビジョン・アルゴリズムを使用して、一定フレーム数で１つ又は複数のデータ・ストリームから情報を推論すると、１つの一連のデータ・ストリームから一定数のフレームでいくつかのオブジェクトを検出する結果になり得るが、別の一連のデータ・ストリームからその一定のフレーム数におけるそれより少ない数のオブジェクトを検出しない結果になり得る。別の実例では、ユーザ定義パラメータが、推論の対象となるデータ・ストリームを選択することの閾値として検出されるいくつかのオブジェクトを定義し得る。その結果、ヒューリスティック情報とユーザ定義パラメータの両方が、一定のフレーム数で推論を展開させるのがどの一連のデータ・ストリームかを判断し得る。
【0006】
少なくとも一実施例では、ユーザ定義パラメータの他の実例としては、検出されるオブジェクトのサイズが挙げられる。そのサイズとしては、１つの境界ボックス又は複数の境界ボックスの高さ、幅、又はその両方を挙げることができる。一実例では、ユーザが関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を決定し得る。ＲＯＩは、ユーザの好みに応じて動的であり得る。さらに、ユーザは、マルチ・クラス・ニューラル・ネットワークにおいてクラスを明示して優先順位を付けるためのパラメータを設定し得る。ユーザ定義パラメータとしては、入ってくるデータ・ストリームからのフレームの解像度を決定すること又は優先順位付けすることも挙げることができる。
【0007】
少なくとも一実施例では、システムは、ヒューリスティック情報及び／又は様々なユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数のデータ・ストリームでスキップするのがいくつのフレームであるかを判断する。システムは、ヒューリスティック情報及び／又は様々なユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数のデータ・ストリームにおいて検出されるオブジェクトが多くなると、１つ又は複数のデータ・ストリームのスキップ区間が短くなっていると、判断することができる。或いは、システムは、ヒューリスティック情報及び／又は様々なユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数のデータ・ストリームからの１つ又は複数のフレームにおいて検出されるオブジェクトが少なくなると、１つ又は複数のデータ・ストリームのスキップ区間が長くなっていると判断することができる。一実例では、１００個のデータ・ストリームのうち３０個のデータ・ストリームでは、３０個のデータ・ストリームからのフレームで一定数のオブジェクトが検出されたことから、そのスキップ区間が短くなっており、１００個のデータ・ストリームのうちの残りのデータ・ストリームでは、残りのデータ・ストリームからのフレームでその一定数より少ないオブジェクトが検出されたことから、そのスキップ区間が長くなっている。別の実例では、各ストリームからのフレームで検出されるオブジェクトの数が異なることから、すべてのデータ・ストリームのスキップ区間は異なっている。一実施例では、データ・ストリームごとに、そのスキップ区間が同じであってもよいが、データ・ストリームごとのスキップ区間は、ヒューリスティック情報及び／又はユーザ定義パラメータに少なくとも部分的に基づき変わってもよい。１つ又は複数のデータ・ストリームに対して様々なスキップ区間を動的に選択することは、ＧＰＵリソースの節約に寄与し得る。
【0008】
少なくとも一実施例では、特定のデータ・ストリームのフレームから選択的に推論することによって節約されたＧＰＵリソースは、コンピューティング・デバイスによって実行されるアプリケーションの他の作業で使用され得る。一実例では、アプリケーションには、ビデオを入力として受け取り、ビデオ分析を行うパイプラインが含まれる。アプリケーションには、節約されたＧＰＵリソースを活かすことによって、パイプラインで二次機械学習モデルを使用することが含まれる。二次機械学習モデルとしては、検出されたオブジェクトを分類する分類子と、前の１バッチ分のフレームで検出されたオブジェクトを追跡するトラッカーとを挙げることができる。パイプラインにおける様々な構成要素では、様々な入力を処理する際の要件が別々であり得る。このような要件を満たすために、一実例としては、１バッチ分のフレームの１つ又は複数のフレームを、推論を行うのに使用されるニューラル・ネットワークにより適した即ち適合する解像度又はカラー・フォーマットに変換することであってもよい。さらに、ニューラル・ネットワークによって適した即ち適合する解像度にフレームを変換することには、アップスケーリング及びダウンスケーリングが含まれ得る。システムは、選択的推論によって節約されたＧＰＵリソースを使用してさまざまな演算を展開させることにより、１バッチ分又は複数バッチ分のフレームの最適な処理を達成し得る。
【0009】
図１は、少なくとも一実施例による、複数のデータ・ストリームを処理するシステム１００を示す。システム１００は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ビデオ画像コンポジタ（ＶＩＣ：Ｖｉｄｅｏ Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｏｒ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、データ処理ユニット（ＤＰＵ： Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ： Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）若しくは特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの他のハードウェアを含む１つ又は複数のプロセッサを活かして、トラフィック・カメラ・データである防犯カメラ映像を分析する、又は全般的に、１つ又は複数の処理パイプラインを実行して複数のソースからのデータを分析する、コンピュータ・システムであり得る。
【0010】
少なくとも一実施例では、システム１００によって実行される処理パイプラインは、たとえば、限定することなく、データ・ストリーム１０２、１０４、１０６、１０８を受信する複数のデコーダ１１２、１１４、１１６、１１８、ストリーム・マルチプレクサ１２０、及び一次検出装置１３０と言った複数の構成要素で構成されている。文脈からそうではないことが明らかでない限り、又は反対のことが明確に述べられない限り、システム１００内の処理パイプラインの各構成要素は、本明細書に記載の機能をもたらするように構成されたソフトウェア論理、ファームウェア論理、ハードウェア論理、及び／又は回路の如何なる組合せのことでもある。ソフトウェアは、ソフトウェア・パッケージ、コード、及び／又は、中央処理装置（ＣＰＵ）、ビデオ画像コンポジタ（ＶＩＣ）、グラフィック処理ユニット（ＧＰＵ）、データ処理ユニット（ＤＰＵ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）若しくは特定用途向け集積回路（ＡＳＩＣ）などの他のハードウェアを含む１つ又は複数のプロセッサによって実行される結果として、システムに１つ又は複数のビデオ処理作業を行わせる命令セット若しくは命令として具体化され得、本明細書に記載の如何なる実装形態でも使用される「ハードウェア」としては、たとえば、単独又は如何なる組合せでも、ハードワイヤード回路、プログラマブル回路、状態マシン回路、固定機能回路、実行ユニット回路、及び／又は、１つ又は複数のビデオ処理作業を行うよう求める、プログラマブル回路によって実行される命令を記憶するファームウェアを挙げることができる。構成要素は、集合的に又は個別に、たとえば、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システム・オン・チップ（ＳｏＣ：Ｓｙｓｔｅｍ ｏｎ－Ｃｈｉｐ）などのより大きなシステムの一部を成す回路として具体化され得る。実施例において、システム１００は、図２と併せて説明したシステム２００に関連している。
【0011】
少なくとも一実施例では、システム１００は、データ・ストリーム１０２、１０４、１０６、１０８を受信する。一方、システム１００は、データ・ストリーム１０２しか受信することができない。データ・ストリーム１０２、１０４、１０６、１０８は、カメラなどのセンサ（マイクロフォン、レーダー、ＬｉＤＡＲ、超音波など）を使用して、ネットワークから、又はローカル・ファイル・システムから生成され得る。複数のカメラを使用して、データ・ストリーム１０２、１０４、１０６、１０８、１１０でデータを捕捉し、提供することができる。カメラとしては、特定のレンズ・タイプ（たとえば、ピンホール、魚眼）、又は構成若しくは配向（たとえば、モノラル、ステレオ、深度）を問わず如何なるカメラでも挙げることができる。実施例において、データ・ストリームは、様々なソースから来てもよい。たとえば、データ・ストリーム１０２は、カメラなどのセンサ（マイクロフォン、レーダー、ＬｉＤＡＲ、超音波など）を使用して生成されてもよく、データ・ストリーム１０４は、ネットワーク又はローカル・ファイル・システムから来てもよい。中央処理装置（ＣＰＵ）がデータ・ストリーム１０２、１０４、１０６、１０８を捕捉することができ、メモリ・デバイスが捕捉したデータ・ストリーム１０２、１０４、１０６、１０８を記憶することができる。データ・ストリーム１０２、１０４、１０６、１０８は、たとえば、限定することなく、Ｈ．２６４、Ｈ．２６５、オーディオ・ビデオ・インタリーブ（ＡＶＩ：Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、モーションＪＰＥＧ（ＭＪＰＥＧ）、又は米国映画テレビ技術者協会（ＳＭＰＴＥ：Ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）４２１Ｍ／ＶＣ－１フォーマットなどの様々なフォーマットでエンコードされ得る。
【0012】
少なくとも一実施例では、システム１００は、データ・ストリーム１０２、１０４、１０６、１０８からのフレームを、対応するデコーダ１１２、１１４、１１６、１１８に送信する。デコーダ１１２、１１４、１１６、１１８は、上記フォーマットでエンコードされているデータ・ストリーム１０２、１０４、１０６、１０８からの対応するフレームをストリーム・マルチプレクサ１２０に受け取り可能なフォーマットに変換することができる。ストリーム・マルチプレクサ１２０に受け取り可能なフォーマット例としては、カラー・データが入っているＮＶ１２などのバイトのストリームを挙げることができる。カラー・データは、ＹＵＶ、ＲＧＢ、又はＨＳＬによって表現され得る。デコーダ１１２、１１４、１１６、１１８は、データ・ストリーム１０２、１０４、１０６、１０８を解凍することによって、対応するデータ・ストリーム１０２、１０４、１０６、１０８からフレームを得ることができる。
【0013】
少なくとも一実施例では、ストリーム・マルチプレクサ１２０が、デコーダ１１２、１１４、１１６、１１８からデコードされたフレームを受信する。ストリーム・マルチプレクサ１２０がデコードされたフレームを受信する前に、システム１００は、図６と関連して説明されているように、デコードされたフレームを事前処理することができる。ストリーム・マルチプレクサ１２０は、Ｎ個のデータ・ストリームから各フレームを受信することによって、サイズＮの１バッチ分のフレームを形成し得る。実施例において、１バッチ分のフレームのサイズは、いくつかのデータ・ストリームよりも小さくてもよい。別の実施例において、１バッチ分のフレームのサイズは、１つ又は複数のデータ・ストリームからの複数のフレームが１バッチ分のフレームに成るように、いくつかのデータ・ストリームも大きくてもよい。一実施例において、ストリーム・マルチプレクサ１２０は、データ・ストリーム１つだけからフレームを受信することによって、１バッチ分のフレームを形成し得る。ストリーム・マルチプレクサ１２０は、一定数の連続するフレームで、デコードされたフレームから１バッチ分のフレームを形成し得る。ストリーム・マルチプレクサ１２０では、ラウンド・ロビン・アルゴリズムを使用して、デコードされたフレームからフレームを集めることができる。ストリーム・マルチプレクサ１２０は、１バッチ分におけるすべてのフレームの解像度を同じにすることができる。ユーザ定義パラメータにより、解像度を決定することができ、ストリーム・マルチプレクサ１２０は、必要なフレームをユーザ定義解像度にスケーリングすることができる。一実施例において、１バッチ分のフレームは、バッファで形成され得る。別の実施例において、ストリーム・マルチプレクサ１２０は、バッファ・プールを作り出し、バッファを割り当てて、必要なフレームを一定の解像度にスケーリングする。
【0014】
少なくとも一実施例では、一次検出装置１３０が、ストリーム・マルチプレクサ１２０から１バッチ分又は複数バッチ分のフレームを受信する。一次検出装置１３０は、一定数のデータ・ストリームから１バッチ分のフレームであるバッファを受信することができる。一実施例において、一次検出装置１３０のバッチ・サイズは、推論を展開させるのに必要なバッチ・サイズであり得る。一次検出装置１３０は、必要なバッチ・サイズよりも大きいバッチ・サイズである１バッチ分のフレームを受信することができ、一次検出装置１３０は、受信したバッチの全てのフレームが処理されるまで、推論を複数回展開させることができる。或いは、一次検出装置１３０は、必要なバッチ・サイズよりも小さいバッチ・サイズである１バッチ分のフレームを受信し得る。一次検出器１３０は、そのフレーム内のオブジェクトを検出するように、１バッチ分のフレームを処理することができる。
【0015】
少なくとも一実施例では、一次検出装置１３０は、１つ又は複数の機械学習モデルを使用することによって、１バッチ分のフレームに対して推論を展開させる。１つ又は複数の機械学習モデルとしては、たとえば、限定することなく、１つ又は複数のニューラル・ネットワーク１８０を挙げることができる。一実施例において、１つ又は複数のニューラル・ネットワーク１８０は、たとえば、限定することなく、マルチクラス物体検出、マルチラベル分類、セマンティック・セグメント化、インスタンス・セグメント化、放射基底ネットワーク（ＲＢＮ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｎｅｔｗｏｒｋ）、オート・エンコーダ（ＡＥ：Ａｕｔｏ Ｅｎｃｏｄｅｒ）、ボルツマン・マシン（ＢＭ：Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、制約付きボルツマン・マシン（ＲＢＭ：Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ディープ・ビリーフ・ネットワーク（ＤＢＮ：Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ディープ畳み込みネットワーク（ＤＣＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、極限学習機械（ＥＬＭ：Ｅｘｔｒｅｍｅ Ｌｅａｒｎｉｎｇ Ｍａｃｈｉｎｅ）、ディープ残差ネットワーク（ＤＲＮ：Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、及び／又はその変形形態に対応し得る。一実施例において、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームからのフレームに対して推論を展開させることは、データ・ストリームのサブセットからのフレームにおいていくつかのオブジェクトを検出する結果となり得る。或いは、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることは、データ・ストリームの別のサブセットからのフレームにおいて何もオブジェクトを検出しない結果となり得る。
【0016】
少なくとも一実施例では、一次検出装置１３０は、１つ又は複数のフレームに表された１つ又は複数のオブジェクトに対して１つ又は複数の境界ボックスを決定する。オブジェクトとは、実施例によっては、人、環境オブジェクト、車両、ロボット、及び／又はそれらの変形形態など、１つ又は複数のフレームに表されるシーンの適切な如何なるエンティティ又はオブジェクトのことでもあり得る。また、境界ボックスとは、画像に表されるオブジェクトのロケーション及び／又は位置の表示のことでもあり得る。たとえば、境界ボックスは、１つ又は複数のフレームに描かれたオブジェクトのすべて又は一部に及ぶ特定の境界ボックスの角に対応する座標のセットを画定し得る。さらに、境界ボックスは、実施例による、オブジェクトの描写を含むフレームのエリア又は領域を示し得る。様々な実施例において、一次検出装置１３０が、１つ又は複数のフレームに表される幾つものオブジェクトに対して境界ボックスを決定することができ、境界ボックス及び／又は境界ボックス情報（たとえば、境界ボックスを表す座標などの幾何情報）をオブジェクトに対して出力する。一次検出装置１３０は、フレームごとに境界ボックスを決定することができ、フレームのサブセットに対してのみ境界ボックスを決定する。
【0017】
少なくとも一実施例では、一次検出装置１３０は、１つ又は複数のカメラなどのセンサ、ネットワーク、又はローカル・ファイル・システムを使用することによって生成した１つ又は複数のデータ・ストリームから最初の１バッチ分のフレームを受信する。最初の１バッチ分のフレームを受信した後、一次検出装置１３０は、１つ又は複数の機械学習モデルを使用することによって、最初の１バッチ分のフレームに対して推論を展開させることができる。一次検出装置１３０は、最初の１バッチ分のフレームから推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を生成することができる。次に、一次検出装置１３０は、１つ又は複数のカメラなどのセンサ、ネットワーク、又はローカル・ファイル・システムを使用して、データ・ストリームから、さらなる１バッチ分又は複数バッチ分のフレームを受信することができる。一次検出装置１３０は、１つ又は複数の機械学習モデルを用いて推論を展開させる対象の１つ又は複数のフレームをさらなる数バッチ分のフレームから選択することができる。一次検出装置１３０は、１つ又は複数の選択したフレームから推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を更新することができる。一次検出装置１３０は、システム１００に推論した情報を提供することができる。一実施例において、ヒューリスティック情報を生成し、更新することは、システム１００の他の構成要素において行われ得る。
【0018】
少なくとも一実施例では、一次検出装置１３０は、一次モード及び事前処理済み入力モードなどの複数のモードを含む。一次モードは、ストリーム・マルチプレクサ１２０からの数バッチ分のフレームを事前処理し、数バッチ分のフレームに対して推論を展開させることができる。事前処理済み入力モードでは、数バッチ分のフレームに対して推論を展開させる前に、事前処理をスキップし得る。
【0019】
少なくとも一実施例では、一次検出装置１３０が設定パラメータを受信し、この設定パラメータとしては、たとえば、限定することなく、１つ又は複数のニューラル・ネットワーク１８０によって検出されるクラスの数、ピクセル正規化係数、モデル・ファイルのパス名、プロトテキスト・ファイルのパス名、浮動小数点３２モデルによるダイナミック・レンジ調整用の整数８較正ファイルのバス名、１バッチ分でまとめて推論されるフレーム又はオブジェクトの数、メタデータの形態としての推論した情報、推論した情報のサイズ、シリーズ化モデル・エンジン・ファイルのパス名、Ｕｎｉｖｅｒｓａｌ Ｆｉｌｅ Ｆｏｒｍａｔ（ＵＦＦ）モデル・ファイルのパス名、Ｏｐｅｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｅｘｃｈａｎｇｅ（ＯＮＮＥ）ファイルのパス名、ノイズ・アルゴリズムで密度ベースの適用空間クラスタリングを使用するどうかの指標、モデルのラベルが入っているテキスト・ファイルのパス名、Ｐｅｒｔａｂｌｅ Ｐｉｘｅｌ Ｍａｐ（ＰＰＭ）フォーマットの平均値データ・ファイルのパス名、推論時にスキップされるいくつかの途切れのないバッチを明示するＧＰＵ推論エンジンに割り当てられる一意識別子、ＵＦＦモデルの規模、推論に使用されるデータ・フォーマット、各ピクセルから引き算される色成分の平均値配列、出力層名配列、カスタム境界ボックス・解析機能の名前、カスタム・インスタンス・セグメント化解析機能の名前、カスタム・モデルのカスタム・メソッド実装が入っているライブラリの絶対パス名、検出オブジェクト及び非同期メタデータ・アタッチメントに対する推論を可能にするモデルが必要とするカラー・フォーマット、一次モード又は事前処理済み入力モードの構成、最小限の閾値ラベル確率、ＵＦＦファイルにおける入力ｂｌｏｂの名前、オブジェクトに対する再推論区間、推論するのに深層学習アクセラレータを使用するかどうかの表示、ニューラル・ネットワーク１８０タイプ、入力をスケーリングする間にアスペクト比を維持するかどうかの表示、入力をスケーリングする間に画像を左右対称にするかどうかの表示、カスタム分類子解析機能の名前、カスタム・ネットワークの設定ファイルのパス名、ツールキット・エンコード・モデルのパス名、ツールキット・エンコード・モデル用の鍵、ピクセルに有効なクラスを出力するセグメント化モデルに対する信頼閾値、セグメント化ネットワーク出力層順序、エンジンが使用するワークスペース規模、画像入力層に設定する規模を拘束する、暗黙のバッチ規模モードの表示、ＵＦＦ入力層順序、使用すべきクラスタリング・アルゴリズムのタイプ、フレームをスケーリングするのに使用すべきフィルタ、フレームをスケーリングするのに使用すべきコンピュータ・ハードウェア、データ・タイプの仕様、ネットワークにおけるデバイス・タイプの仕様及び任意の層の精度、又はネットワーク入力層順序が挙げられる。
【0020】
少なくとも一実施例では、一次検出装置１３０は、他のパラメータを受信し、このパラメータとしては、たとえば、限定することなく、検出閾値、イプシロン値、群閾値、ノイズ・アルゴリズムで密度ベースの適用空間クラスタリングに密な領域を形成するのに必要とされる最低限の点数、それが有効なクラスタと見なされるに必要なクラスタにおける近傍のすべての最低限の信頼和、和集合閾値の最大限の交差、関心領域のオフセット値、検出オブジェクトのピクセルにおける最低限の幅若しくは高さ、又は最も高い検出スコアに少なくとも部分的に基づき検出されるいくつかのオブジェクトが挙げられる。
【0021】
少なくとも一実施例では、一次検出装置１３０は、パラメータを自動的に変え、パラメータとしては、たとえば、限定することなく、設定ファイルの絶対パス名、一次モード又は事前処理済み入力モードの設定、メタデータの一意識別子、ＧＰＵ推論エンジンに割り当てられる一意識別子、モード用の事前生成された直列化エンジン・ファイルの絶対パス名、１バッチ分でまとめて推論されるフレーム／オブジェクトの数、推論の際にスキップされる立て続けのバッチの数、事前処理又は推論に使用するＧＰＵのデバイス識別子、生推論出力ファイルのパス名、生出力生成コールバック関数へのポインタ、生出力生成コールバックが提供されるユーザ・データへのポインタ、推論出力をメタデータとして添付するかどうかの表示、又は事前処理済み入力をメタデータとして使用するかどうかの表示が挙げられる。一実施例において、一次検出装置１３０は、ヒューリスティック情報に少なくとも部分的に基づき、上記パラメータを変えることができ、ヒューリスティック情報は、図４又は図５と併せて説明した１つ又は複数のステップを行うことによって生成される。
【0022】
少なくとも一実施例では、一次検出装置１３０は、クラスタリング・アルゴリズムに対応している。クラスタリング・アルゴリズムは、矩形等価基準を用いて、同様のサイズ及びロケーションの矩形を作り出すことができる。一実例では、クラスタリング・アルゴリズムは、重なりの程度に基づいて、重なる矩形をフィルタ掛けすることができる。信頼性スコアが最も高い重なる矩形が最初に保存され得る一方、閾値よりも大きく重なる矩形は、繰り返し取り除かれる可能性がある。一次検出装置１３０は、矩形等価基準を用いて同様のサイズ及びロケーションの矩形をクラスタリングすることも、重なりの程度に基づき重なる矩形をフィルタ掛けすることも起こすハイブリッド・クラスタリング・アルゴリズムに対応することができ、重なりは、閾値として使用され得る。
【0023】
図２には、少なくとも一実施例による、複数のビデオ・ストリームを処理するシステム２００を示す。システム２００は、中央処理装置（ＣＰＵ）、ビデオ画像コンポジタ（ＶＩＣ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、データ処理ユニット（ＤＰＵ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）若しくは特定用途向け集積回路（ＡＳＩＣ）などの他のハードウェアを含む１つ又は複数のプロセッサを活かして、トラフィック・カメラ・データである防犯カメラ映像を分析する、又は全般的に、１つ又は複数の処理パイプラインを実行して複数のソースからのデータを分析する、コンピュータ・システムであり得る。
【0024】
少なくとも一実施例では、システム２００内の処理パイプラインは、たとえば、限定することなく、一次検出装置２１０、オブジェクト・トラッカー２２０、二次分類子２３０、ビジュアライザ２４０、ローカル・ディスク２５０、クラウド２６０、又は画面２７０などの複数の構成要素で構成されている。文脈からそうではないことが明らかでない限り、又は反対のことが明確に述べられない限り、システム２００内の処理パイプラインの各構成要素とは、本明細書に記載の機能をもたらす構成されたソフトウェア論理、ファームウェア論理、ハードウェア論理、及び／又は回路の如何なる組合せのことでもある。ソフトウェアは、ソフトウェア・パッケージ、コード、及び／又は、中央処理装置（ＣＰＵ）、ビデオ画像コンポジタ（ＶＩＣ）、グラフィック処理ユニット（ＧＰＵ）、データ処理ユニット（ＤＰＵ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）若しくは特定用途向け集積回路（ＡＳＩＣ）などの他のハードウェアを含む１つ又は複数のプロセッサによって実行される結果として、システムに１つ又は複数のビデオ処理作業を行わせる命令セット若しくは命令として具体化され得、本明細書に記載の如何なる実装形態でも使用される「ハードウェア」としては、たとえば、単独又は如何なる組合せでも、ハードワイヤード回路、プログラマブル回路、状態マシン回路、固定機能回路、実行ユニット回路、及び／又は、１つ又は複数のビデオ処理作業を行うよう求める、プログラマブル回路によって実行される命令を記憶するファームウェアを挙げることができる。構成要素は、集合的に又は個別に、たとえば、集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ）などのより大きなシステムの一部を成す回路として具体化され得る。少なくとも一実施例では、システム２００は、図１と併せて説明したシステム１００に関連している。
【0025】
少なくとも一実施例では、一次検出装置２１０は、図１と併せて説明した通りの入って来た数バッチ分のフレームを事前処理すること、１つ又は複数のニューラル・ネットワーク２８０を含む１つ又は複数の機械学習モデルに基づく１バッチ分のフレームに対して推論を展開させること、また様々なパラメータを受信し、変えることに限らない様々な作業を行うことができる一次検出装置１３０と同じである。
【0026】
少なくとも一実施例では、オブジェクト・トラッカー２２０は、一次検出装置２１０から推論した情報（たとえば、１つ又は複数のフレームで検出されたオブジェクトの数）を得る。オブジェクト・トラッカー２２０は、たとえば、１つ又は複数のフレームの境界ボックスを決定する１つ又は複数のコンピュータ・ビジョン・アルゴリズムを実行して、隣接するフレームにわたる複数のオブジェクトのロケーションを追跡することができる。一次検出装置２１０及び／又はオブジェクト・トラッカー２２０は、どのフレームが一次検出装置２１０及び／又はオブジェクト・トラッカー２２０によって処理されることになるかを判断するパラメータ（たとえば、追跡距離）を用いて構成され得る。たとえば、追跡距離は、一次検出装置２１０によって処理されることになるフレーム間のいくつかのフレームを示すことができる。追跡距離は、適切な如何なる整数値でもあり得る。
【0027】
少なくとも一実施例では、オブジェクト・トラッカー２２０は、永続する又は一意の同定により１つ又は複数のフレーム内の検出されたオブジェクトを追跡する。追跡は、ユーザから１つ又は複数のパラメータを受信することによって行われ得る。一実施例において、オブジェクト・トラッカー２２０は、一次検出装置２１０によって処理されないデータ・ストリームのフレームから境界ボックスを定める。たとえば、一次検出装置２１０は、１つ又は複数のデータ・ストリームの１つ置きのフレーム（たとえば、最初のフレーム、３番目のフレーム、５番目のフレームなど）に対して境界ボックスを定めることができ、オブジェクト・トラッカー２２０は、１つ又は複数のデータ・ストリームの残りのフレーム（たとえば、２番目のフレーム、４番目のフレーム、６番目のフレームなど）に対して境界ボックスを定める。様々な実施例において、オブジェクト・トラッカー２２０は、１つ又は複数のカーネルベースのトラッキング処理及び／又は輪郭トラッキング処理などの様々なオブジェクト・トラッキング処理を行い、先行フレームにおけるオブジェクトに対する境界ボックス及び／又は後続フレームにおけるオブジェクトに対する境界ボックスに基づいて、フレーム内のオブジェクトに対して境界ボックスを定める。
【0028】
少なくとも一実施例では、オブジェクト・トラッカー２２０は、一次検出装置２１０によって定められた境界ボックスに基づき、適切な幾つものフレームのオブジェクトに対して境界ボックスを定める。オブジェクト・トラッカー２２０は、視覚的オブジェクトの追跡能力に対して識別学習アルゴリズムに対応し得る。オブジェクト・トラッカー２２０は、Ｒｅ－ＩＤニューラル・ネットワークによる深層コサイン距離学習を使用する追跡アルゴリズムに対応し得る。追跡アルゴリズムでは、２つの連続するフレーム間の検出装置の境界ボックス間の和集合値上の交差を使用して、それらの間の関連付けを行うか、又は一致が見つからなかった場合に新しいターゲット識別子を割り当て得る。
【0029】
少なくとも一実施例では、一次検出装置２１０及び／又はオブジェクト・トラッカー２２０は、二次分類子２３０に情報（たとえば、境界ボックス）を提供する。二次分類子２３０としては、たとえば、パーセプトロン・モデル、放射基底ネットワーク（ＲＢＮ）、オート・エンコーダ（ＡＥ）、ボルツマン・マシン（ＢＭ）、制約付きボルツマン・マシン（ＲＢＭ）、ディープ・ビリーフ・ネットワーク（ＤＢＮ）、ディープ畳み込みネットワーク（ＤＣＮ）、極限学習機械（ＥＬＭ）、ディープ残差ネットワーク（ＤＲＮ）、ロジスティック回帰モデル、単純ベイズ・モデル、確率的勾配降下モデル、Ｋ近傍モデル、決定木モデル、ランダム・フォレスト・モデル、サポート・ベクター・マシン・モデル、及び／又はそれらの変形形態など、画像（たとえば、フレーム）に描かれたオブジェクトを識別し且つ／又は分類する様々な機械学習モデルを挙げることができる。
【0030】
少なくとも一実施例では、ビジュアライザ２４０としては、一次検出装置２１０、オブジェクト・トラッカー２２０、及び／又は二次分類子２３０からバッチを受信するタイラーが挙げられる。一実施例において、タイラーは、ユーザ定義パラメータに基づいて実行され得る。その結果、タイラーは、データ・ストリーム識別子に少なくとも部分的に基づき、受信したバッチから２次元タイルを合成することができる。また、データ・ストリーム識別子は、ソース０から始まり、最上行にわたって左から右に、そして次の行にわたる、行優先順で得られ得る。各フレームは，タイル化出力バッファにおける対応するロケーションにスケーリングされ得る。タイラーは、新しいフレームが加えられ、タイルに割り当てられたスペースを超えた場合、再構成され得る。タイラーは、あるデータ・ストリームのフレーム・レートが他のデータ・ストリームより低い場合、古いフレームのキャッシュを維持し、表示のちらつきを避けることができる。
【0031】
少なくとも一実施例では、ビジュアライザ２４０は、一次検出装置２１０、オブジェクト・トラッカー２２０、又は二次分類子２３０からバッチを受信し、境界ボックス、テキスト、及び関心領域多角形を描く。ビジュアライザ２４０は、ユーザ定義パラメータに少なくとも部分的に基づき、１バッチ分のフレームをレンダリングして、一定の出力をレンダリングすることができる。
【0032】
少なくとも一実施例では、システム２００は、一次検出装置２１０、オブジェクト・トラッカー２２０、二次分類子２３０、又はビジュアライザ２４０から出力データを受信する。システム２００は、出力データをローカル・ディスク２５０又はクラウド２６０に提供するか、又は画面２７０に出力をレンダリングすることができる。
【0033】
図３には、少なくとも一実施例による、ヒューリスティックに基づきデータ・ストリームからフレームを選択する手順例を示す。プロセス例３００は、一連のステップ又は工程として描かれているが、プロセス３００の実施例が、あるステップ又は工程の出力が別のステップ又は工程では入力として使用される場合など、明示的に示されるか又は論理的に必要とされる場合を除き、改められた又は並べ替えられたステップ又は工程を含んでもよく、いくつかのステップ又は工程を省いてもよい、ということが理解されよう。本明細書に記載のプロセス３００の各ブロックは、図１及び／又は図２と併せて説明したシステムで行われ得る。別の実施例において、プロセス３００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行されてよい。たとえば、様々な機能は、プロセッサがメモリに記憶された命令を実行することによって実行されてよい。また、方法は、コンピュータ・ストレージ媒体に記憶されたコンピュータ使用可能命令として具体化されてよいか、又はスタンドアロン・アプリケーション、（スタンドアロン又は別のホスト・サービスとの組み合わされた）サービス若しくはホスト・サービスによって提供されてよい。
【0034】
少なくとも一実施例では、プロセス３００は、１つ又は複数のデータ・ストリームに対して推論を展開させるシステムにおいて行われる。３０２において、システムは、最初の１バッチ分のフレームを受信し得る。最初の１バッチ分のフレームは、１つ又は複数のカメラからのものであり得る。或いは、システムは、１つ又は複数のデータ・ストリームからのもので、また１つ又は複数のカメラ、他のモダリティのセンサ、ネットワーク、又はローカル・ファイル・システムを使用して生成した最初の１バッチ分のフレームを受信することができる。１つ又は複数のプロセッサは、システムが１バッチ分のフレームを受信する前に、その１バッチ分のフレームを事前処理することができる。最初の１バッチ分のフレームは、図６と併せて説明した１つ又は複数のステップによって前事処理され得る。最初の１バッチ分のフレームは、図１と併せて説明しているようにエンコードされるか又はデコードされ得る。最初の１バッチ分のフレームは、たとえば、限定することなく、Ｈ．２６４、Ｈ．２６５、オーディオ・ビデオ・インタリーブ（ＡＶＩ）、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、モーションＪＰＥＧ（ＭＪＰＥＧ）又は米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１のフォーマットなどの様々なフォーマットでエンコードされ得る。或いは、システムが最初の１バッチ分のフレームを受信する前に、エンコードされたデータ・ストリームがデコードされ得る。最初の１バッチ分のフレームの解像度は同じであり得る。少なくとも一実施例では、システムは、図１と併せて説明しているように、最初の１バッチ分のフレームを受信する。
【0035】
３０４において、少なくとも一実施例では、システムが、最初の１バッチ分のフレームに対して推論を展開させる。一実施例において、図１と併せて説明した一次検出装置１３０が、１つ又は複数の機械学習モデルを使用することによって、最初の１バッチ分のフレームに対して推論を展開させることができる。機械学習モデルとしては、たとえば、限定することなく、１つ又は複数のニューラル・ネットワークを挙げることができる。１つ又は複数のニューラル・ネットワークは、訓練を必要とし得る。ニューラル・ネットワークを訓練することの成果としては、ニューラル・ネットワークの１つ又は複数のニューロンに重みを割り当てることを挙げることができる。
【0036】
少なくとも一実施例では、１つ又は複数のニューラル・ネットワークは、たとえば、限定することなく、マルチクラス物体検出、マルチラベル分類、セマンティック・セグメント化インスタンス・セグメント化、放射状基底ネットワーク（ＲＢＮ）、オート・エンコーダ（ＡＥ）、ボルツマン・マシン（ＢＭ）、制約付きボルツマン・マシン（ＲＢＭ）、ディープ・ビリーフ・ネットワーク（ＤＢＮ）、ディープ畳み込みネットワーク（ＤＣＮ）、極限学習機械（ＥＬＭ）、ディープ残差ネットワーク（ＤＲＮ）、及び／又はそれらの変形形態に対応している。ニューラル・ネットワークは、それまでのデータの知識が何もなければ、パターン又はデータセットを組織化し、事前定義クラスにし、所与の入力から予測される出力を予測し、データの固有の特徴を識別し、分類するか、又は新しいデータセットを最も比較可能なバージョンに関連付けることによってパターンを記憶することができる。
【0037】
少なくとも一実施例では、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに関する情報を推論することは、データ・ストリームのうちの１つ又は複数の、１つ又は複数のフレームにおいて検出されたいくつかのオブジェクトに関する情報を検出し、識別し、そうでなければ推論することをもたらす。或いは、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることは、別のデータ・ストリームのセットからのフレームにおいて何もオブジェクトが見つからない結果になる場合がある。別の実例において、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることは、１つ又は複数のデータ・ストリームからのフレームにおいて関心領域内のいくつかのオブジェクトを見つけるという結果になる場合がある。関心領域の形状は、多角形の形状であることがある。１つ又は複数のオブジェクトは、１つ又は複数のオブジェクト上に線を引き、１つ又は複数のオブジェクト上の線が、四角い箱又は如何なる多角形でもあり得る関心領域を横切るかどうかを判断することによって検出され得る。一実例では、１つ又は複数の機械学習モデルが、左上及び右下のピクセルが関心領域の内部にあるかどうかを判断して、オブジェクトが検出されているかどうかを判断することができる。
【0038】
３０６において、少なくとも一実施例では、システムが、ヒューリスティック情報を生成する。一実施例において、システムは、３０４で生成した推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を生成することができる。推論した情報は、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して１つ又は複数の機械学習モデルを使用することに基づくものであり得る。或いは、ヒューリスティック情報は、１つ又は複数の機械学習モデルを使用して、図１と併せて説明した１つ又は複数のパラメータ及び／又は設定データに基づき、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることに少なくとも部分的に基づき得る。一実例では、ヒューリスティック情報としては、一定数のフレームを対象に各フレームに対して検出されたオブジェクトの数を挙げることができる。さらに、ヒューリスティック情報としては、１つ又は複数のデータ・ストリームにおいて検出された１つ又は複数のオブジェクトのタイプ又は分類を挙げることができる。また、ヒューリスティック情報としては、一定数のフレームの１つ又は複数のデータ・ストリームに明示された関心領域で検出されたいくつかのオブジェクト、又はオブジェクトのタイプを挙げることができる。その他、ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの関心領域を挙げることができる。少なくとも一実施例では、ヒューリスティック情報は、プロセッサによって生成され、プロセッサとメモリの両方がＧＰＵとは異なるというメモリに記憶される。
【0039】
３０８において、少なくとも一実施例では、前記システムが、１つ又は複数のデータ・ストリームからさらなる数バッチ分のフレームを受信する。一実施例において、システムは、１つ又は複数のカメラ、又は他のモダリティのセンサから、１つ又は複数のデータ・ストリームを受信することができる。或いは、システムは、ネットワーク又はローカル・ファイル・システムから１つ又は複数のデータ・ストリームを受信し得る。また、システムがさらなる数バッチ分のフレームを受信する前に、１つ又は複数のプロセッサが事前処理され得る。さらなる最初の数バッチ分のフレームは、図６と併せて説明しているように事前処理され得る。メモリ・デバイスが、さらなる数バッチ分のフレームを記憶することができる。システムは、さらなる数バッチ分のフレームを、たとえば、限定することなく、Ｈ．２６４、Ｈ．２６５、オーディオ・ビデオ・インタリーブ（ＡＶＩ）、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、モーションＪＰＥＧ（ＭＪＰＥＧ）、又は米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１のフォーマットなどの様々なフォーマットにエンコードすることができる。或いは、システムがさらなる数バッチ分のフレームを受信する前に、システムは、フレームのデータ・ストリームをエンコードすることができる。さらなる数バッチ分のフレームにおけるすべてのフレームの解像度は同じであり得る。システムは、図１と併せて説明しているように、さらなる数バッチ分のフレームを受信することができる。さらなる数バッチ分のフレームは、３０２における最初の１バッチ分のフレームとは異なるソース（たとえば、カメラ、他のモダリティのセンサ、又はサーバ）からのものであり得る。また、さらなる数バッチ分のフレームは、３０２における最初の１バッチ分のフレームとは違うようにエンコードされ且つ／又はデコードされ得る。
【0040】
３１０において、少なくとも一実施例では、システムは、３０６で生成したヒューリスティック情報に少なくとも部分的に基づき、さらなる１バッチ分又は複数バッチ分のフレームからフレームを選択する。システムは、一定数のフレームでスキップする対象の１つ又は複数のデータ・ストリームからのフレームを決めることがあり得る。また、１つ又は複数のデータ・ストリームからのフレームのヒューリスティック情報に少なくとも部分的に基づくスキップ区間が、まちまちである場合がある。たとえば、一定数のフレームで５個より多いオブジェクトが検出された第１のデータ・ストリームは、必ず、推論の対象に選択され得る。一定数のフレームで３つのオブジェクトが検出された第２のデータ・ストリームのスキップ区間には、５フレームのスキップ区間であり得る。一定数のフレームで何もオブジェクトが検出されなかった第３のデータ・ストリームのスキップ区間は、１０フレームのスキップ区間であり得る。システムは、１つ又は複数のデータ・ストリームからのフレームのスキップ区間を変えることができる。或いは、システムは、推論を展開させるのに１つ又は複数のデータ・ストリームのすべてを選択することができ、これは、システムが、さらなる数バッチ分のフレームからのすべてのフレームに対して推論を展開させると決めることができることを意味する。
【0041】
３１２において、少なくとも一実施例では、システムは、選択したデータ・ストリームの１つ又は複数のフレームに対して推論を展開させる。図１と併せて説明した一次検出装置１３０が、１つ又は複数の機械学習モデルを使用することによって、最初の１バッチ分のフレームに対して推論を展開させることができる。実施例において、最初の１バッチ分のフレームのフレームのいくつかは、ヒューリスティック情報に少なくとも部分的に基づいて、推論に対してスキップされたデータ・ストリームからのものである。１つ又は複数の機械学習モデルとしては、訓練を必要とする場合がある１つ又は複数のニューラル・ネットワークを挙げることができる。また、ニューラル・ネットワークを訓練することによって、ニューラル・ネットワークの１つ又は複数のニューロンに重みを割り当てることが起こり得る。一実施例において、３０６で説明した様々なニューラル・ネットワークは、選択したデータ・ストリームに対して推論を展開させるのに使用され得る。一実施例において、推論を展開させるのに使用される１つ又は複数の機械学習モデルは、３０６で使用される機械学習モデルとは異なり得る。様々な実施例において、ＧＰＵリソースは、推論には選択されない１つ又は複数のデータ・ストリームをスキップすることによって節約され得る。
【0042】
３１４では、少なくとも一実施例では、システムが、ヒューリスティックを更新する。システムは、３１２で生成した推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を更新することができる。一実例では、システムは、３１２で生成したヒューリスティック情報を３０６で生成したヒューリスティック情報とを比較することができる。その結果、システムは、３１２で生成したヒューリスティック情報を選択することがあり得る。或いは、システムは、３１２で生成したヒューリスティック情報を３０６で生成したヒューリスティック情報とを比較した後、３０６で生成したヒューリスティック情報を選択することがあり得る。システムは、ステップ３０８に戻って、さらなる数バッチ分のフレームを受信し、さらなる数バッチ分のフレームからの１つ又は複数のフレームに対して推論を展開させることによって、ヒューリスティック情報を生成する且つ／又は更新することができる。少なくとも一実施例では、システムは、プロセスを終了させるか、一時停止させるかのいずれかを行い、推論した情報に少なくとも部分的に基づき出力を生成する。
【0043】
図４には、少なくとも一実施例による、ヒューリスティック及びユーザ定義パラメータに基づき、データ・ストリームからフレームを選択する手順例を示す。プロセス例４００は、一連のステップ又は工程として描かれているが、プロセス４００の実施例が、あるステップ又は工程の出力が別のステップ又は工程では入力として使用される場合など、明示的に示されるか又は論理的に必要な場合を除き、改められるか又は並べ替えられたステップ又は工程を含んでもよく、いくつかのステップ又は工程を省いてもよい、ということが理解されよう。本明細書に記載のプロセス４００の各ブロックは、図１及び／又は図２と併せて説明したシステムで実行されてよい。或いは、プロセス４００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行されてよい。たとえば、様々な機能は、プロセッサがメモリに記憶された命令を実行することによって実行されてよ。また、方法は、コンピュータ・ストレージ媒体に記憶されたコンピュータ使用可能命令として具体化されてよいか、又はスタンドアロン・アプリケーション、（スタンドアロン又は別のホスト・サービスとの組み合わされた）サービス若しくはホスト・サービスによって提供されよい。
【0044】
少なくとも一実施例では、プロセス４００は、１つ又は複数のデータ・ストリームからの１バッチ分又は複数バッチ分のフレームにして推論を展開させるシステムにおいて行われる。４０２において、少なくとも一実施例では、システムは、１つ又は複数のデータ・ストリームから最初の１バッチ分のフレームを受信する。システムは、１つ又は複数のカメラを使用して生成した１つ又は複数のデータ・ストリームから最初の１バッチ分のフレームを受信することができる。或いは、システムは、他のモダリティの他のセンサ、ネットワーク、又はローカル・ファイル・システムを使用して捕捉したか又は生成した１つ又は複数のデータ・ストリームから最初の１バッチ分のフレームを受信することができる。１つ又は複数のフレームは、システムが１バッチ分のフレームを受信する前に事前処理され得る。最初の１バッチ分のフレームは、図６と併せて説明しているように事前処理され得る。システムは、入って来た最初の１バッチ分のフレームを、たとえば、限定することなく、Ｈ．２６４、Ｈ．２６５、オーディオ・ビデオ・インタリーブ（ＡＶＩ）、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、モーションＪＰＥＧ（ＭＪＰＥＧ）、又は米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１のフォーマットなどの様々なフォーマットにエンコードすることができる。或いは、システムは、システムが最初の１バッチ分のフレームを形成する前に、１つ又は複数のデータ・ストリームをデコードすることができる。一実施例において、最初の１バッチ分のフレームにおけるすべてのフレームの解像度は、同じであり得る。一実施例において、システムは、図１と併せて説明している１つ又は複数のステップを行うことによって、最初の１バッチ分のフレームを受信することができる。
【0045】
４０４において、少なくとも一実施例では、システムは、最初の１バッチ分のフレームに対して推論を展開させる。図１と併せて説明した一次検出装置１３０が、１つ又は複数の機械学習モデルを使用することによって、最初の１バッチ分のフレームに対して推論を展開させることができる。１つ又は複数の機械学習モデルとしては、１つ又は複数のニューラル・ネットワークを挙げることができる。１つ又は複数のニューラル・ネットワークには、訓練を必要とする場合がある。ニューラル・ネットワークを訓練することの１つの成果としては、ニューラル・ネットワークの１つ又は複数のニューロンに重みを割り当てることを挙げることができる。
【0046】
少なくとも一実施例では、１つ又は複数のニューラル・ネットワークは、たとえば、限定することなく、マルチクラス物体検出、マルチラベル分類、セマンティック・セグメント化、インスタンス・セグメント化、放射状基底ネットワーク（ＲＢＮ）、オート・エンコーダ（ＡＥ）、ボルツマン・マシン（ＢＭ）、制約付きボルツマン・マシン（ＲＢＭ）、ディープ・ビリーフ・ネットワーク（ＤＢＮ）、ディープ畳み込みネットワーク（ＤＣＮ）、極限学習機械（ＥＬＭ）、ディープ残差ネットワーク（ＤＲＮ）、及び／又はそれらの変形形態に対応している。上に挙げたニューラル・ネットワークのうちの１つ又は複数は、それまでのデータについて何も知らなければ、パターン又はデータセットを組織化して事前定義クラスにし、所与の入力から予測される出力を予測し、データの固有の特徴を識別し、分類するか、又は新しいデータセットを最も匹敵するバージョンに関連付けることによってパターンを記憶することができる。
【0047】
少なくとも一実施例では、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることは、データ・ストリームのうちの１つ又は複数の、１つ又は複数のフレームにおいて検出されたいくつかのオブジェクトを検出するという結果となる。或いは、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることは、別の一連のデータ・ストリームのフレームにおいて何もオブジェクトが見つからないという結果になる場合がある。別の実例において、１つ又は複数の機械学習モデルを使用して、一定数のフレームを対象に１つ又は複数のデータ・ストリームに対して推論を展開させることは、１つ又は複数のデータ・ストリームからの１つ又は複数のフレームの関心領域内にいくつかのオブジェクトを見つけるという結果になる場合がある。関心領域の形状は、多角形の形状であることがある。１つ又は複数のオブジェクトは、１つ又は複数のオブジェクト上に線を引き、１つ又は複数のオブジェクト上の線が、四角い箱又は如何なる多角形でもあり得る関心領域を横切るかどうかを判断することによって検出され得る。一実例では、１つ又は複数の機械学習モデルは、左上及び右下のピクセルが関心領域の内部にあるかどうかを判断して、オブジェクトが検出されるかどうかを判断することができる。
【0048】
少なくとも一実施例では、ユーザ定義パラメータが、１つ又は複数のデータ・ストリームからのフレームに対して推論を展開させるのに使用される。ユーザ定義パラメータとしては、１つ又は複数のデータ・ストリームに対して推論を展開させる対象の１つ又は複数の関心領域、或いは、１つ又は複数の機械学習モデルを使用して１つ又は複数のデータ・ストリームのフレームに対して推論を展開させることによって検出されるオブジェクトの長さ及び高さを挙げることができる。さらに、ユーザ定義パラメータとしては、機械学習モデルに必要な解像度を挙げることができる。１つ若しくは複数の機械学習モデル又は１つ若しくは複数のニューラル・ネットワークの解像度は、まちまちであることがあるので、ユーザ定義パラメータにより、１つ又は複数のデータ・ストリームからのフレームに対して推論を展開させるのに使用され得る１つ又は複数の機械学習モデル即ち１つ又は複数のニューラル・ネットワークに優先順位を決めることがあり得る。少なくとも一実施例では、ユーザ定義パラメータは、図１及び図２と併せて説明したパラメータ及び設定データと併せたものである。
【0049】
４０６において、少なくとも一実施例では、システムは、ヒューリスティック情報を生成する。一実施例では、システムは、４０４で生成された推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を生成することができる。推論した情報は、一定数のフレームを対象に１つ又は複数のデータ・ストリームからのフレームに対して１つ又は複数の機械学習モデルを使用することに基づくものであり得る。或いは、ヒューリスティック情報は、１つ又は複数の機械学習モデルを使用して、図１と併せて説明した１つ若しくは複数のパラメータ及び／又は設定データに基づき、一定数のフレームを対象に１つ又は複数のデータ・ストリームからのフレームに対して推論を展開させることに基づくものであり得る。一実例では、ヒューリスティック情報としては、検出されたオブジェクトの数を挙げることができる。さらに、ヒューリスティック情報としては、１つ又は複数のフレームにおいて検出された１つ又は複数のオブジェクトのタイプ又は分類を挙げることができる。また、ヒューリスティック情報としては、一定数の立て続けのフレームを対象とした１つ又は複数のデータ・ストリームに明示された関心領域で検出されたオブジェクトの数、又はオブジェクトのタイプを挙げることができる。その他、ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの関心領域を挙げることができる。少なくとも一実施例では、ヒューリスティック情報は、プロセッサとメモリの両方がＧＰＵとは異なるという、プロセッサによって生成され且つ／又は更新され、メモリに記憶され得る。
【0050】
４０８において、少なくとも一実施例では、システムが、ユーザ定義パラメータを確認する。たとえば、システムは、４０４で１つ又は複数のデータ・ストリームからのフレームに対して推論を展開させるのに使用されたユーザ定義パラメータとは異なるユーザ定義パラメータを受信する場合がある。
【0051】
４１０において、少なくとも一実施例では、前記システムは、さらなる１バッチ分又は複数バッチ分のフレームを受信する。システムは、１つ又は複数のカメラを使用して生成されたデータ・ストリームからさらなる数バッチ分のフレームを受信し得る。或いは、システムは、１つ又は複数の他のセンサ・タイプ、ネットワーク、又はローカル・ファイル・システムを使用して生成されたデータ・ストリームからさらなる１バッチ分又は複数バッチ分のフレームを受信する。さらに、１つ又は複数のフレームは、システムがさらなる数バッチ分のフレームを受信する前に事前処理され得る。さらなる数バッチ分のフレームの最初の１バッチ分は、図６に表している１つ又は複数のステップを行うことによって事前処理され得る。メモリ・デバイスが、さらなる数バッチ分のフレームを記憶することができる。システムは、たとえば、限定することなく、Ｈ．２６４、Ｈ．２６５、オーディオ・ビデオ・インタリーブ（ＡＶＩ）、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、モーションＪＰＥＧ（ＭＪＰＥＧ）、又は米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１のフォーマットにさらなる数バッチ分のフレームをエンコードすることができる。或いは、システムがさらなる数バッチ分のフレームを受信するか又は形成する前に、システムは、エンコードされたフレームをデコードすることができる。さらなる数バッチ分のフレームからの１つ又は複数のフレームの解像度は、同じである場合がある。システムは、図１と併せて説明しているようにさらなる数バッチ分のフレームを受信することができる。さらなる数バッチ分のフレームは、４０２における最初の１バッチ分のフレームとは異なるソースからのものであることがあり得る。また、さらなる数バッチ分のフレームは、４０２とは違うようにエンコードされ且つ／又はデコードされることがあり得る。
【0052】
４１２において、少なくとも一実施例では、システムは、４０６で生成されたヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数のデータ・ストリームを選択する。一実例では、システムは、一定数のフレームでスキップする対象の１つ又は複数のデータ・ストリームからの１つ又は複数のフレームを決めることがあり得る。別の実例では、１つ又は複数のデータ・ストリームのヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づくスキップ区間が、まちまちである場合がある。たとえば、一定数のフレームで５個よりも多いオブジェクトが検出された第１のデータ・ストリームは、必ず、４０６で生成されたヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、推論の対象に選択され得る。一定数のフレームで３つのオブジェクトが検出された第２のデータ・ストリームのスキップ区間は、４０６で生成されたヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づく５フレームのスキップ区間であり得る。一定数のフレームで何もオブジェクトが検出されなかった第３のデータ・ストリームのスキップ区間は、４０６で生成されたヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づく１０フレームのスキップ区間であり得る。少なくとも一実施例では、スキップ区間は、１つ又は複数のデータ・ストリームで検出される１つ又は複数のオブジェクトのサイズに少なくとも部分的に基づいている場合がある。たとえば、サイズ情報としては、幅、長さ、及び高さを挙げることができる。一実施例では、システムは、１つ又は複数のデータ・ストリームのステップ区間を変えることができる。一実施例では、システムは、推論を展開させる対象にすべてのデータ・ストリームを選択することがあり得、これは、１バッチ分のフレームのすべてのフレームが推論対象に選択される、ということを意味する。一実施例では、ユーザ定義パラメータ及び４０６で生成されたヒューリスティック情報により、一定数の立て続けのフレームで、５０個のデータ・ストリームをスキップすると決まることがあり得る。言い換えれば、システムは、一定数のさらなる数バッチ分のフレームからのフレームの半分に対して推論を展開させることができない。少なくとも一実施例では、１つ又は複数のオブジェクトを検出するのに使用される関心領域は、ヒューリスティック情報及び／又はユーザ定義情報に少なくとも部分的に基づき動的に変わる。実例では、ヒューリスティック情報としては、１つ又は複数の関心領域内で検出されるオブジェクトの数を挙げることができる。
【0053】
４１４において、少なくとも一実施例では、システムは、選択したデータ・ストリームからのフレームに対して推論を展開させる。一実施例では、図１と併せて説明している一次検出装置１３０が、１つ又は複数の機械学習モデルを使用して、最初の１バッチ分のフレームに対して推論を展開させることができる。１つ又は複数の機械学習モデルとしては、１つ又は複数のニューラル・ネットワークを挙げることができる。１つ又は複数の実施例において、訓練によって、ニューラル・ネットワークの１つ又は複数のニューロンで、重みが更新される。実施例において、４０６で説明した様々なニューラル・ネットワークが、選択したデータ・ストリームからのフレームに対して推論を展開させるのに使用され得る。或いは、推論を展開させるのに使用される１つ又は複数の機械学習モデルは、４０６で使用される機械学習モデルとは異なるものであってもよい。一実施例では、推論の対象に選択されない１つ又は複数のデータ・ストリームからのフレームをスキップすることによって、ＧＰＵリソースが節約され得る。
【0054】
４１６において、少なくとも一実施例では、システムは、ヒューリスティック情報を更新する。システムは、４１４で生成された推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を更新することができる。一実例では、システムは、４１４で生成されたヒューリスティック情報を４０６で生成されたヒューリスティック情報と比較することができる。その結果、システムは、４１４で生成されたヒューリスティック情報を選択することがあり得る。或いは、システムは、４１４で起きたヒューリスティック情報を４０６で生成されたヒューリスティック情報と比較した後、４０６で生成されたヒューリスティック情報を選択することがあり得る。一実施例では、システムは、ステップ４０８に戻って、推論を展開させる対象のさらなる１バッチ分又は複数バッチ分のフレームを受信することができる。或いは、システムは、プロセスを終わらせるか又は一時停止させ、推論した情報に少なくとも部分的に基づき、出力を生成することができる。
【0055】
図５には、少なくとも一実施例による、推論する対象のフレームをデータ・ストリームから選択することの実例を示す。実例５００は、図１及び／又は図２と併せて説明したシステムにおいて行われ得る。実例５００は、図３及び図４と併せて説明したプロセス３００及び／又はプロセス４００として行われ得る。システムは、一定数のフレームで、データ・ストリーム１ ５１０、データ・ストリーム２ ５２０、データ・ストリーム３ ５３０を受信することができる。それにより、システムは、フレームＡ５０１におけるデータ・ストリーム１ ＦＡ５１１、データ・ストリーム２ ＦＡ５２１、及びデータ・ストリーム３ ＦＡ５３１に対して推論を展開させると決めることがあり得る。また、この決定は、ヒューリスティック情報及び／又はユーザ定義パラメータに少なくとも部分的に基づくものであってもよい。ユーザ定義パラメータとしては、図１と併せて説明した様々なパラメータ及び設定データを挙げることができる。ヒューリスティック情報は、図１、図３、及び／又は図４と併せて説明しているように得られ得る。一実施例では、データ・ストリーム１ ＦＡ５１１は、データ・ストリーム５１０からの１つ又は複数のフレームで構成され得、データ・ストリーム２ ＦＡ５２１は、データ・ストリーム２ ５２０からの１つ又は複数のフレームで構成され得、データ・ストリーム３ ＦＡ５３１は、データ・ストリーム３ ５３０からの１つ又は複数のフレームで構成され得る。様々な実施例において、フレームＡ５０１は、１つ又は複数のフレームであってもよい。様々な実施例において、フレームＡ５０１のフレーム数は、データ・ストリーム１ ＦＡ５１１、データ・ストリーム２ ＦＡ５２１、データ・ストリーム３ ＦＡ５３１で、まちまちであることがあり得る。
【0056】
少なくとも一実施例では、システムは、ヒューリスティック情報及び／又は設定データを更新する。システムは、フレームＢ５０２において、データ・ストリーム２ ＦＢ５２２からの１つ又は複数のフレームに対して推論を展開させるが、データ・ストリーム１ ＦＢ５１２及びデータ・ストリーム３ ＦＢ５３２はスキップすると決めることがあり得る。またこの決定は、ヒューリスティック情報及び／又はユーザ定義パラメータに少なくとも部分的に基づくものであってもよい。ユーザ定義パラメータとしては、図１と併せて説明した様々なパラメータ及び設定データを挙げることができる。ヒューリスティック情報は、図１、図３、及び／又は図４と併せて説明しているように得られ／更新され得る。一実施例では、データ・ストリーム１ ＦＡ５１２は、データ・ストリーム１ ５１０からの１つ又は複数のフレームで構成され得、データ・ストリーム２ ＦＢ５２２は、データ・ストリーム２ ５２０からの１つ又は複数のフレームで構成され得、ストリーム３ ＦＢ５３２は、データ・ストリーム３ ５３０からの１つ又は複数のフレームで構成され得る。様々な実施例において、フレームＢ５０２は、１つ又は複数のフレームであってもよい。様々な実施例において、フレームＢ５０２のフレーム数は、データ・ストリーム１ ＦＢ５１２、データ・ストリーム２ ＦＢ５２２、及びデータ・ストリーム３ ＦＢ５３２で、まちまちであることがあり得る。様々な実施例において、フレームＢ５０２のフレーム数は、フレームＡ５０１のフレーム数とは異なることがあり得る。
【0057】
少なくとも一実施例では、システムは、ヒューリスティック情報及び／又は設定データを更新する。システムは、ヒューリスティック情報及び／又はユーザ定義パラメータに少なくとも部分的に基づき、フレームＣ５０３において、データ・ストリーム１ ＦＣ５１３及びデータ・ストリーム２ ＦＣ５２３からの１つ又は複数のフレームに対して推論を展開させるが、データ・ストリーム３ ＦＣ５３３はスキップすると決めることがあり得る。ユーザ定義パラメータとしては、図１と併せて説明した様々なパラメータ及び設定データを挙げることができる。ヒューリスティック情報は、図１、図３、及び／又は図４と併せて説明しているように得られ／更新され得る。一実施例では、データ・ストリーム１ ＦＣ５１３は、データ・ストリーム１ ５１０からの１つ又は複数のフレームで構成され得、データ・ストリーム２ ＦＣ５２３は、データ・ストリーム２ ５２０からの１つ又は複数のフレームで構成され得、データ・ストリーム３ ＦＣ５３３は、データ・ストリーム３ ５３０からの１つ又は複数のフレームで構成され得る。様々な実施例において、フレームＣ５０３は、１つ又は複数のフレームであってもよい。様々な実施例において、フレームＣ５０３のフレーム数は、データ・ストリーム１ ＦＣ５１３、データ・ストリーム２ ＦＣ５２３、及びデータ・ストリーム３ ＦＣ５３３で、まちまちであることがあり得る。様々な実施例において、フレームＣ５０３のフレーム数は、フレームＡ５０１及び／又はフレームＢ５０２のフレーム数とは異なることがあり得る。
【0058】
少なくとも一実施例では、システムは、ヒューリスティック情報及び／又は設定データを更新する。システムは、フレームＤ５０４において、データ・ストリーム２ ＦＤ５２４からの１つ又は複数のフレームに対して推論を展開させるが、データ・ストリーム１ ＦＤ５１４及びデータ・ストリーム３ ＦＤ５３４はスキップすると決めることがあり得る。また、この決定は、ヒューリスティック情報及び／又はユーザ定義パラメータに少なくとも部分的に基づくものであってもよい。ユーザ定義パラメータとしては、図１と併せて説明した様々なパラメータ及び設定データを挙げることができる。ヒューリスティック情報は、図１、図３、及び／又は図４と併せて説明しているように得られ／更新され得る。一実施例では、データ・ストリーム１ ＦＤ５１４は、データ・ストリーム１ ５１０からの１つ又は複数のフレームで構成され得、データ・ストリーム２ ＦＤ５２４は、データ・ストリーム２ ５２０からの１つ又は複数のフレームで構成され得、ストリーム３ ＦＤ５３４は、データ・ストリーム３ ５３０からの１つ又は複数のフレームで構成され得る。様々な実施例において、フレームＤ５０４は、１つ又は複数のフレームであってもよい。様々な実施例において、フレームＤ５０４のフレーム数は、ストリーム１ ５１０、ストリーム２ ５２０、及びストリーム３ ５３０で、まちまちであることがあり得る。様々な実施例において、フレームＤ５０４のフレーム数は、フレームＡ５０１、フレームＢ５０２、及び／又はフレームＣ５０３のフレーム数とは異なることがあり得る。
【0059】
図６には、少なくとも一実施例による、推論する前にデータ・ストリームを処理する際の手順例を示す。プロセス例６００は、一連のステップ又は工程として描かれているが、プロセス６００の実施例では、あるステップ又は工程の出力が別のステップ又は工程では入力として使用される場合など、明示的に示されるか又は論理的に必要とされる場合を除き、ステップ又は工程が改められても並べ替えられてもよく、いくつかのステップ又は工程を省いてもよい、ということが理解されよう。一実施例では、プロセス６００の各ブロックは、図１及び／又は図２と併せてシステムにおいて行われ得る。或いは、プロセス６００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの如何なる組合せでも使用して行われ得る。たとえば、様々な機能は、プロセッサがメモリに記憶された命令を実行することによって実行されてよい。また、方法は、コンピュータ・ストレージ媒体に記憶されたコンピュータ使用可能命令として具体化されてよいか、又はスタンドアロン・アプリケーション、（スタンドアロン又は別のホスト・サービスとの組み合わされた）サービス若しくはホスト・サービスによって提供されてよい。別の実施例では、プロセス６００は、システムにおいて、１つ又は複数のデータ・ストリームからのフレームに対して推論を展開させるように行われ得る。少なくとも一実施例では、プロセス６００は、図３及び図４と併せて説明したプロセス３００及び／又はプロセス４００により行われる。
【0060】
６０２において、少なくとも一実施例では、システムは、ヒューリスティック情報及び／又はユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数のデータ・ストリームから１バッチ分のフレームを受信する。６０４において、１つの実施例では、システムは、１つ又は複数のデータ・ストリームからの１つ又は複数のフレームに対して作業を行うことがあり得る。１つ又は複数のニューラル・ネットワークは、推論を展開させることができるように、入力フレームに一定の解像度を必要とする場合があるので、受信したフレームに対する１つ又は複数の作業としては、一定の解像度にアップスケーリングするか又はダウンスケーリングすることを挙げることができる。たとえば、受信したフレームの解像度が１９２０Ｘ１０８０であれば、ニューラル・ネットワークが、解像度が６４４ｘ４８０である画像フレームに対して推論を展開させるように構成されても、最適化されても、較正されても、別のやり方で推論を展開させることができるものにしてもよいので、システムは、１９２０ｘ１０８０から６４４ｘ４８０に受信したフレームをダウンスケーリングするように１つ又は複数の作業を行うことがあり得る。別の実例では、１つ又は複数の機械学習モデル内の１つ又は複数のニューラル・ネットワークには、フレームに対して推論を展開させるのに特定のカラー・フォーマット又はカラー・エンコーディングが必要となる場合がある。また、受信したフレームに対する作業としては、カラー変換を挙げることができる。たとえば、受信したフレームに対する１つ又は複数の作業では、たとえば、限定することなく、ＮＶ１２、ＮＶ２１、Ｉ４２０、Ｐ０１０＿１０ＬＥ、ＢＧＲｘ、ＲＧＢＡ、ＹＵＹ、ＡＢ６４、ＡＲ３０、及びＲＡを挙げることができるカラー・フォーマットに変換することができる。他の作業としては、異なるカラー・フォーマットに変換しながら１つ又は複数のフレームをクロッピングすること、異なるカラー・フォーマットに変換しながら１つ又は複数のフレームを回すかフリッピングすること、及び１つ又は複数のフレームをデワーピングすることを挙げることができる。図３及び／又は図４と併せて説明したプロセス又はステップの結果として節約されたＧＰＵリソースを活かして、受信したデータ・ストリームに対して作業を行うことができる。図３及び／又は図４と併せて説明しているプロセス３００及び／又はプロセス４００によって選択されたデータ・ストリームからのフレームしか事前処理しないことによって、さらなるＧＰＵリソースが節約され得る。６０６において、少なくとも一実施例では、システムは、処理済みデータ・ストリームからのフレームに対して推論を展開させる。少なくとも一実施例では、システムは、図３及び／又は図４と併せて説明している１つ又は複数のステップを行うことによって、処理済みデータ・ストリームからのフレームに対して推論を展開させる。
【0061】
論理
図７Ａには、少なくとも一実施例による、本明細書の他の個所で説明しているように、本明細書で述べているものなどの作業を行うのに１つ又は複数のデバイスで使用され得る、論理７１５を示す。少なくとも一実施例では、論理７１５は、１つ又は複数の実施例に伴う推論演算及び／又は訓練演算を行うのに使用される。少なくとも一実施例では、論理７１５は、推論論理及び／又は訓練論理である。論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下に示す。少なくとも一実施例では、論理とは、本明細書に記載の機能又は工程をもたらす、ソフトウェア論理、ハードウェア論理、及び／又はファームウェア論理の如何なる組合せのことでもあり、論理は、まとめてでも個々にでも、それより大きなシステム、たとえば、集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ）、又は１つ若しくは複数のプロセッサ（たとえば、ＣＰＵ、ＧＰＵ）の一部を成す回路として具体化され得る。
図７Ａには、少なくとも一実施例による、本明細書の他の個所で説明しているように、本明細書で述べているものなどの作業を行うのに１つ又は複数のデバイスで使用され得る、論理７１５を示す。少なくとも一実施例では、論理７１５は、１つ又は複数の実施例に伴う推論演算及び／又は訓練演算を行うのに使用される。少なくとも一実施例では、論理７１５は、推論論理及び／又は訓練論理である。論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下に示す。少なくとも一実施例では、論理とは、本明細書に記載の機能又は工程をもたらす、ソフトウェア論理、ハードウェア論理、及び／又はファームウェア論理の如何なる組合せのことでもあり、論理は、まとめてでも個々にでも、それより大きなシステム、たとえば、集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ）、又は１つ若しくは複数のプロセッサ（たとえば、ＣＰＵ、ＧＰＵ）の一部を成す回路として具体化され得る。
【0062】
少なくとも一実施例では、論理７１５は、１つ又は複数の実施例の態様において推論するように訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層を構成するための順伝播及び／若しくは出力の重み、及び／若しくは入力／出力データ、及び／若しくは他のパラメータを記憶するためのコード並びに／又はデータ・ストレージ７０１を、限定することなく含んでもよい。少なくとも一実施例では、論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ７０１には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、こうしたコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを順伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
【0063】
少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、ダイナミック・ランダム・アドレス可能メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、スタティック・ランダム・アドレス可能メモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージを含むかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0064】
少なくとも一実施例では、論理７１５は、１つ又は複数の実施例の態様において推論するために訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層に対応した、逆伝播及び／若しくは出力の重み、及び／若しくは入力／出力データを記憶するためのコード並びに／又はデータ・ストレージ７０５を、限定することなく含んでもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを逆伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ７０５には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。
【0065】
少なくとも一実施例では、グラフ・コードなどのコードは、こうしたコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードさせる。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ又は複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、若しくは何らか他のタイプのストレージを含むかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0066】
少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５は、別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５は、組み合わされたストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５は、部分的に組み合わされ、部分的に別々であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５との任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
【0067】
少なくとも一実施例では、論理７１５は、訓練及び／又は推論コード（たとえばグラフ・コード）に少なくとも部分的に基づく、又はそれにより示される論理演算及び／又は算術演算を実行するための、整数及び／又は浮動小数点ユニットを含む１つ又は複数の算術論理演算ユニット（「ＡＬＵ」）７１０を、限定することなく含んでもよく、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層若しくはニューロンからの出力値）を生成してもよく、これらは、コード及び／若しくはデータ・ストレージ７０１、並びに／又はコード及び／若しくはデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータのデータの関数である。少なくとも一実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実行したことに応答して、ＡＬＵ７１０によって実行される線形代数計算及び又は行列ベースの計算に従って生成され、ここでコード及び／又はデータ・ストレージ７０５及び／又はデータ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、又は他のパラメータ若しくはハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５、又はコード及び／若しくはデータ・ストレージ７０１、又はオン・チップ若しくはオフ・チップの別のストレージに記憶されてもよい。
【0068】
少なくとも一実施例では、ＡＬＵ７１０は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路内に含まれるが、別の実施例では、ＡＬＵ７１０は、それらを使用するプロセッサ又は他のハードウェア論理デバイス若しくは回路の外部にあってもよい（たとえばコプロセッサ）。少なくとも一実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれてもよく、又は同じプロセッサ内にあるか異なるタイプの異なるプロセッサ（たとえば、中央処理装置、グラフィックス・プロセッシング・ユニット、固定機能ユニットなど）の間で分散されているかのいずれかであるプロセッサの実行ユニットによりアクセス可能なＡＬＵバンク内に、他のやり方で含まれてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１、コード及び／又はデータ・ストレージ７０５、並びにアクティブ化ストレージ７２０は、プロセッサ又は他のハードウェア論理デバイス若しくは回路を共有してもよく、別の実施例では、それらは異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、或いは同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せにあってもよい。少なくとも一実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。さらに、推論及び／又は訓練コードが、プロセッサ又は他のハードウェア論理若しくは回路にアクセス可能な他のコードとともに記憶されてもよく、プロセッサのフェッチ、デコード、スケジューリング、実行、リタイア、及び／又は他の論理回路を使用してフェッチ及び／又は処理されてもよい。
【0069】
少なくとも一実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ若しくは複数のプロセッサ又は他の論理回路の内部にあってもよく、又は外部にあってもよい。少なくとも一実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、若しくは何らか他のタイプのストレージを含むかの選択は、オン・チップ対オフ・チップの利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0070】
少なくとも一実施例では、図７Ａに示す論理７１５は、グーグルからのＴｅｎｓｏｒＦｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（「ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ」）と併せて使用されてもよい。少なくとも一実施例では、図７Ａに示す論理７１５は、中央処理装置（「ＣＰＵ」：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）など他のハードウェアと併せて使用されてもよい。
【0071】
図７Ｂには、少なくとも一実施例による論理７１５を示す。少なくとも一実施例では、論理７１５は、推論論理及び／又は訓練論理である。少なくとも一実施例では、論理７１５としては、限定することなく、計算リソースがニューラル・ネットワーク内の１つ又は複数のニューロン層に対応する重み値又は他の情報に専用であるか、そうでなければその重み値又は他の情報とのみ併用される、というハードウェア論理を挙げることができる。少なくとも一実施例では、図７Ｂに示す論理７１５は、グーグルからのＴｅｎｓｏｒＦｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はインテルコーポレーションからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（ＡＳＩＣ）と併せて使用されてもよい。少なくとも一実施例では、図７Ｂに示す論理７１５は、中央処理装置（ＣＰＵ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など他のハードウェアと併せて使用されてもよい。少なくとも一実施例では、論理７１５は、限定することなく、コード及び／又はデータ・ストレージ７０１、並びにコード及び／又はデータ・ストレージ７０５を含み、これらを使用して、コード（たとえばグラフ・コード）、重み値、並びに／又はバイアス値、勾配情報、運動量値、及び／若しくは他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶してもよい。図７Ｂに示す少なくとも一実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５のそれぞれは、それぞれ計算ハードウェア７０２及び計算ハードウェア７０６などの専用計算リソースに関連付けられる。少なくとも一実施例では、計算ハードウェア７０２及び計算ハードウェア７０６のそれぞれは、線形代数関数などの数学的関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実行する１つ又は複数のＡＬＵを備え、その結果は、アクティブ化ストレージ７２０に記憶される。
【0072】
少なくとも一実施例では、コード並びに／又はデータ・ストレージ７０１及び７０５のそれぞれ、並びに対応する計算ハードウェア７０２及び７０６は、ニューラル・ネットワークの異なる層にそれぞれ対応し、それにより、コード及び／又はデータ・ストレージ７０１並びに計算ハードウェア７０２との１つのストレージ／計算の対７０１／７０２から結果的に生じるアクティブ化は、ニューラル・ネットワークの概念的組織化を反映させるために、次のコード及び／又はデータ・ストレージ７０５並びに計算ハードウェア７０６とのストレージ／計算の対７０５／７０６への入力として提供される。少なくとも一実施例では、ストレージ／計算の対７０１／７０２、及び７０５／７０６は、２つ以上のニューラル・ネットワークの層に対応してもよい。少なくとも一実施例では、ストレージ／計算の対７０１／７０２、及び７０５／７０６の後に、又はそれと並列に、追加のストレージ／計算の対（図示せず）が、論理７１５に含まれてもよい。
【0073】
ニューラル・ネットワークの訓練及び導入
図８は、少なくとも一実施例による、ディープ・ニューラル・ネットワークの訓練及び導入を示す。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６が、訓練データ・セット８０２を使用して訓練される。少なくとも一実施例では、訓練フレームワーク８０４は、ＰｙＴｏｒｃｈフレームワークであり、一方他の実施例では、訓練フレームワーク８０４は、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を訓練し、本明細書に記載の処理リソースを使用してそれが訓練されるのを可能にして、訓練済みニューラル・ネットワーク８０８を生成する。少なくとも一実施例では、重みは、ランダムに選択されてもよく、又はディープ・ビリーフ・ネットワークを使用した事前訓練によって選択されてもよい。少なくとも一実施例では、訓練は、教師あり、一部教師あり、又は教師なしのいずれかのやり方で実行されてもよい。
図８は、少なくとも一実施例による、ディープ・ニューラル・ネットワークの訓練及び導入を示す。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６が、訓練データ・セット８０２を使用して訓練される。少なくとも一実施例では、訓練フレームワーク８０４は、ＰｙＴｏｒｃｈフレームワークであり、一方他の実施例では、訓練フレームワーク８０４は、ＴｅｎｓｏｒＦｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を訓練し、本明細書に記載の処理リソースを使用してそれが訓練されるのを可能にして、訓練済みニューラル・ネットワーク８０８を生成する。少なくとも一実施例では、重みは、ランダムに選択されてもよく、又はディープ・ビリーフ・ネットワークを使用した事前訓練によって選択されてもよい。少なくとも一実施例では、訓練は、教師あり、一部教師あり、又は教師なしのいずれかのやり方で実行されてもよい。
【0074】
少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は教師あり学習を使用して訓練され、ここで訓練データ・セット８０２は、入力に対する所望の出力と対になった入力を含み、又は訓練データ・セット８０２は、既知の出力を有する入力を含み、未訓練ニューラル・ネットワーク８０６の出力が手動で採点される。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は教師ありのやり方で訓練され、訓練データ・セット８０２からの入力を処理し、結果として得られた出力を、予想の又は所望の出力のセットと比較する。少なくとも一実施例では、次いで、誤差が、未訓練ニューラル・ネットワーク８０６を通って逆伝播される。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を制御する重みを調節する。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６が、新規データ・セット８１２などの入力データに基づき、結果８１４などにおいて正しい答えを生成するのに好適な訓練済みニューラル・ネットワーク８０８などのモデルに向かって、どれだけ良好に収束しているかを監視するツールを含む。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６を繰り返し訓練する一方、損失関数、及び確率的勾配降下法などの調整アルゴリズムを使用して、未訓練ニューラル・ネットワーク８０６の出力を精緻化するように重みを調整する。少なくとも一実施例では、訓練フレームワーク８０４は、未訓練ニューラル・ネットワーク８０６が所望の精度に到達するまで未訓練ニューラル・ネットワーク８０６を訓練する。少なくとも一実施例では、次いで訓練済みニューラル・ネットワーク８０８を、任意の数の機械学習動作を実装するように導入することができる。
【0075】
少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は、教師なし学習を使用して訓練され、ここで未訓練ニューラル・ネットワーク８０６は、ラベルなしデータを使用して自らを訓練しようとする。少なくとも一実施例では、教師なし学習の訓練データ・セット８０２は、いかなる関連出力データ又は「グラウンド・トゥルース」データもない入力データを含む。少なくとも一実施例では、未訓練ニューラル・ネットワーク８０６は、訓練データ・セット８０２内でグループ化を学習することができ、個々の入力が、未訓練データ・セット８０２にどのように関係しているかを判定することができる。少なくとも一実施例では、新規データ・セット８１２の次元を低減するのに有用な動作を実行することができる訓練済みニューラル・ネットワーク８０８内で教師なし訓練を使用して、自己組織化マップを生成することができる。少なくとも一実施例では、教師なし訓練を使用して異常検出を実行することもでき、異常検出は、新規データ・セット８１２の通常のパターンから逸脱した、新規データ・セット８１２内のデータ点を識別できるようにする。
【0076】
少なくとも一実施例では、半教師あり学習が使用されてもよく、それは、ラベル付きデータとラベルなしデータが訓練データ・セット８０２に混在している技法である。少なくとも一実施例では、訓練フレームワーク８０４を使用して、伝達学習技法などによる漸次的学習が実行されてもよい。少なくとも一実施例では、漸次的学習により、訓練済みニューラル・ネットワーク８０８は、初期訓練中に訓練済みニューラル・ネットワーク８０８内に教え込まれた知識を忘れることなく、新規データ・セット８１２に適合できるようになる。
【0077】
少なくとも一実施例では、訓練フレームワーク８０４は、ＯｐｅｎＶＩＮＯ（オープン・ビジュアル・インファレンス・アンド・ニューラル・ネットワーク・オプティマイゼーション）ツールキットなどのソフトウェア開発ツールキットと連携して処理されるフレームワークである。少なくとも一実施例では、ＯｐｅｎＶＩＮＯツールキットは、カリフォルニア州サンタクララのインテル社によって開発されたものなどのツールキットである。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、論理７１５で構成されているか、又は論理７１５を使用して、本明細書に記載の作業を行う。少なくとも一実施例では、ＳｏＣ、集積回路、又はプロセッサでは、ＯｐｅｎＶＩＮＯを使用して、本明細書に記載の作業を行う。
【0078】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、人間の視覚エミュレーション、音声認識、自然言語処理、推奨システム、及び／又はそれらの変形形態など、様々なタスク及び動作のためのアプリケーション、特にニューラル・ネットワーク・アプリケーションの開発を容易にするためのツールキットである。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、畳み込みニューラル・ネットワーク（ＣＮＮ）、回帰型及び／若しくはアテンション型のニューラル・ネットワーク、並びに／又は様々な他のニューラル・ネットワーク・モデルなどのニューラル・ネットワークをサポートする。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、ＯｐｅｎＣＶ、ＯｐｅｎＣＬ、及び／又はそれらの変形形態などの様々なソフトウェアライブラリをサポートする。
【0079】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、分類、セグメント化、物体検出、顔認識、音声認識、姿勢推定（たとえば、人間及び／又は物体）、単眼深度推定、画像修復、スタイル転送、動作認識、カラー化、及び／又はそれらの変形形態など、様々なタスク及び動作のためのニューラル・ネットワーク・モデルをサポートする。
【0080】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、モデル・オプティマイザとも呼ばれるモデル最適化のための１つ又は複数のソフトウェア・ツール及び／又はモジュールを備えている。少なくとも一実施例では、モデル・オプティマイザは、ニューラル・ネットワーク・モデルの訓練と導入との間の移行を容易にするコマンド・ライン・ツールである。少なくとも一実施例では、モデル・オプティマイザは、ＧＰＵ、ＣＰＵ、ＰＰＵ、ＧＰＧＰＵ、及び／又はその変形形態などの様々なデバイス及び／又は処理ユニット上で実行できるように、ニューラル・ネットワーク・モデルを最適化する。少なくとも一実施例では、モデル・オプティマイザは、モデルの内部表現を生成し、前記モデルを最適化して中間表現を生成する。少なくとも一実施例では、モデル・オプティマイザは、モデルの層の数を減らす。少なくとも一実施例では、モデル・オプティマイザは、訓練に利用されるモデルの層を除去する。少なくとも一実施例では、モデル・オプティマイザは、モデルへの入力を修正（たとえば、モデルへの入力のサイズ変更）すること、モデルの入力のサイズを修正（たとえば、モデルのバッチサイズを修正）すること、モデル構造を修正（たとえば、モデルの層を修正）すること、正規化、標準化、量子化（たとえば、モデルの重みを、浮動小数点などの第１の表現から整数などの第２の表現に変換すること）、及び／又はその変形形態など、様々なニューラル・ネットワーク動作を実行する。
【0081】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、推論エンジンとも呼ばれる推論のための１つ又は複数のソフトウェアライブラリを備えている。少なくとも一実施例では、推論エンジンは、Ｃ＋＋ライブラリであるか、任意の好適なプログラミング言語ライブラリである。少なくとも一実施例では、推論エンジンは、入力データの推論に利用される。少なくとも一実施例では、推論エンジンは、入力データを推論し１つ又は複数の結果を生成するために様々なクラスを実装する。少なくとも一実施例では、推論エンジンは、中間表現を処理し、入力及び／又は出力のフォーマットを設定し、且つ／又は１つ若しくは複数のデバイスでモデルを実行するために１つ又は複数のＡＰＩ関数を実装する。
【0082】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、１つ又は複数のニューラル・ネットワーク・モデルの異種実行のための様々な機能を提供する。少なくとも一実施例では、異種実行又は異種計算とは、１つ又は複数の種類のプロセッサ及び／又はコアを利用する１つ又は複数の計算プロセス及び／又はシステムのことを指す。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、１つ又は複数のデバイス上でプログラムを実行するための様々なソフトウェア関数を提供する。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、異なるデバイス上でプログラム及び／又はプログラムの一部分を実行するための様々なソフトウェア関数を提供する。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、たとえば、ＣＰＵ上でコードの第１の部分を走らせ、且つＧＰＵ及び／又はＦＰＧＡ上でコードの第２の部分を走らせるための様々なソフトウェア関数を提供する。少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、１つ又は複数のデバイス上で１つ又は複数の層のニューラル・ネットワークを実行する（たとえば、ＧＰＵなどの第１のデバイス上で層の第１のセットを実行し、ＣＰＵなどの第２のデバイス上で層の第２のセットを実行する）ための様々なソフトウェア関数を提供する。
【0083】
少なくとも一実施例では、ＯｐｅｎＶＩＮＯは、ＴｅｎｓｏｒＦｌｏｗ、ＰｙＴｏｒｃｈ、及び／又はこれらの変形形態などのフレームワークに関連付けられた、様々なニューラル・ネットワーク・モデル動作などのＣＵＤＡプログラミング・モデルに関連付けられた機能と同様の様々な機能を含む。少なくとも一実施例では、１つ又は複数のＣＵＤＡプログラミング・モデル動作は、ＯｐｅｎＶＩＮＯを使用して実行される。少なくとも一実施例では、本明細書に記載の様々なシステム、方法、及び／又は技法は、ＯｐｅｎＶＩＮＯを使用して実装される。
【0084】
データ・センタ
図９は、少なくとも一実施例が使用されてもよい例示的なデータ・センタ９００を示す。少なくとも一実施例では、データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及びアプリケーション層９４０を含む。
図９は、少なくとも一実施例が使用されてもよい例示的なデータ・センタ９００を示す。少なくとも一実施例では、データ・センタ９００は、データ・センタ・インフラストラクチャ層９１０、フレームワーク層９２０、ソフトウェア層９３０、及びアプリケーション層９４０を含む。
【0085】
図９に示すように、少なくとも一実施例では、データセンタ・インフラストラクチャ層９１０は、リソース・オーケストレータ９１２と、グループ化済みコンピューティング・リソース９１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」）９１６（１）～９１６（Ｎ）とを含んでもよく、ここで「Ｎ」は正の整数を表す（他の図で使用されるものとは異なる整数「Ｎ」であってもよい）。少なくとも一実施例では、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・ストレージ・デバイス９１８（１）～９１８（Ｎ）（たとえば、ダイナミック読取り専用メモリ、半導体ストレージ・ドライブ又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）、電源モジュール、及び冷却モジュールを含んでもよいが、これらに限定されない。少なくとも一実施例では、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）のうち１つ又は複数のノードＣ．Ｒ．は、上述したコンピューティング・リソースのうちの１つ又は複数を有するサーバであってもよい。
【0086】
少なくとも一実施例では、グループ化済みコンピューティング・リソース９１４は、１つ若しくは複数のラック（図示せず）内に収容されたノードＣ．Ｒ．の別々のグループ、又は様々なグラフィカル・ロケーション（同じく図示せず）においてデータ・センタに収容された多数のラックを含んでもよい。少なくとも一実施例では、グループ化済みコンピューティング・リソース９１４内のノードＣ．Ｒ．の別々のグループは、１つ若しくは複数のワークロードをサポートするように構成又は配分されてもよいグループ化済みのコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含んでもよい。少なくとも一実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のラック内でグループ化されて、１つ又は複数のワークロードをサポートするためのコンピュート・リソースが提供されてもよい。少なくとも一実施例では、１つ又は複数のラックはまた、任意の数の電源モジュール、冷却モジュール、及びネットワーク・スイッチを任意の組合せで含んでもよい。
【0087】
少なくとも一実施例では、リソース・オーケストレータ９１２は、１つ又は複数のノードＣ．Ｒ．９１６（１）～９１６（Ｎ）及び／若しくはグループ化済みコンピューティング・リソース９１４を構成してもよく、又は他のやり方で制御してもよい。少なくとも一実施例では、リソース・オーケストレータ９１２は、データ・センタ９００用のソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含んでもよい。少なくとも一実施例では、リソース・オーケストレータ７１２は、ハードウェア、ソフトウェア、又はこれらの何らかの組合せを含んでもよい。
【0088】
図９に示す少なくとも一実施例では、フレームワーク層９２０は、ジョブ・スケジューラ９２２、構成マネージャ９２４、リソース・マネージャ９２６、及び分配ファイル・システム９２８を含む。少なくとも一実施例では、フレームワーク層９２０は、ソフトウェア層９３０のソフトウェア９３２、及び／又はアプリケーション層９４０の１つ若しくは複数のアプリケーション９４２をサポートするためのフレームワークを含んでもよい。少なくとも一実施例では、ソフトウェア９３２又はアプリケーション９４２はそれぞれ、アマゾン・ウェブ・サービス、グーグル・クラウド、及びマイクロソフト・アジュールによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含んでもよい。少なくとも一実施例では、フレームワーク層９２０は、大規模なデータ処理（たとえば「ビック・データ」）のために分配ファイル・システム９２８を使用することができるＡｐａｃｈｅ Ｓｐａｒｋ（登録商標）（以下「Ｓｐａｒｋ」）など、無料でオープン・ソースのソフトウェア・ウェブ・アプリケーション・フレームワークの一種であってもよいが、これに限定されない。少なくとも一実施例では、ジョブ・スケジューラ９２２は、データ・センタ９００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含んでもよい。少なくとも一実施例では、構成マネージャ９２４は、ソフトウェア層９３０、並びに大規模なデータ処理をサポートするためのＳｐａｒｋ及び分配ファイル・システム９２８を含むフレームワーク層９２０などの異なる層を構成することが可能であってもよい。少なくとも一実施例では、リソース・マネージャ９２６は、分配ファイル・システム９２８及びジョブ・スケジューラ９２２をサポートするようにマッピング若しくは配分されたクラスタ化済み又はグループ化済みのコンピューティング・リソースを管理することが可能であってもよい。少なくとも一実施例では、クラスタ化済み又はグループ化済みのコンピューティング・リソースは、データ・センタ・インフラストラクチャ層９１０にあるグループ化済みコンピューティング・リソース９１４を含んでもよい。少なくとも一実施例では、リソース・マネージャ９２６は、リソース・オーケストレータ９１２と連携して、これらのマッピング又は配分されたコンピューティング・リソースを管理してもよい。
【0089】
少なくとも一実施例では、ソフトウェア層９３０に含まれるソフトウェア９３２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）、グループ化済みコンピューティング・リソース９１４、及び／又はフレームワーク層９２０の分配ファイル・システム９２８のうちの少なくとも一部分によって使用されるソフトウェアを含んでもよい。少なくとも一実施例では、１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含んでもよいが、これらに限定されない。
【0090】
少なくとも一実施例では、アプリケーション層９４０に含まれるアプリケーション９４２は、ノードＣ．Ｒ．９１６（１）～９１６（Ｎ）、グループ化済みコンピューティング・リソース９１４、及び／又はフレームワーク層９２０の分配ファイル・システム９２８のうちの少なくとも一部分によって使用される１つ若しくは複数のタイプのアプリケーションを含んでもよい。少なくとも一実施例では、１つ若しくは複数のタイプのアプリケーションは、任意の数のゲノム学アプリケーション、認識コンピュート、並びに訓練若しくは推論のソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含むアプリケーション及び機械学習アプリケーション、又は１つ若しくは複数の実施例と併せて使用される他の機械学習アプリケーションを含んでもよいが、これらに限定されない。
【0091】
少なくとも一実施例では、構成マネージャ９２４、リソース・マネージャ９２６、及びリソース・オーケストレータ９１２のうちのいずれかは、任意の技術的に実行可能なやり方で取得された任意の量及びタイプのデータに基づき、任意の数及びタイプの自己修正措置を実装してもよい。少なくとも一実施例では、自己修正措置は、データ・センタ９００のデータ・センタ演算子が、不良の恐れのある構成を決定しないようにし、十分に利用されていない且つ／又は性能の低いデータ・センタの部分をなくせるようにしてもよい。
【0092】
少なくとも一実施例では、データ・センタ９００は、１つ若しくは複数の機械学習モデルを訓練し、又は本明細書に記載の１つ若しくは複数の実施例による１つ若しくは複数の機械学習モデルを使用して情報を予測若しくは推論するためのツール、サービス、ソフトウェア、又は他のリソースを含んでもよい。たとえば、少なくとも一実施例では、機械学習モデルは、データ・センタ９００に関して上述したソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練されてもよい。少なくとも一実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練済み機械学習モデルは、本明細書に記載の１つ又は複数の技法によって計算された重みパラメータを使用することにより、データ・センタ９００に関して上述したリソースを使用して、情報を推論又は予測するために使用されてもよい。
【0093】
少なくとも一実施例では、データ・センタは、上述したリソースを使用して訓練及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用してもよい。さらに、上述した１つ又は複数のソフトウェア及び／又はハードウェアのリソースは、画像認識、音声認識、又は他の人工知能サービスなどの情報の訓練又は推論の実行を、ユーザが行えるようにするためのサービスとして構成されてもよい。
【0094】
論理７１５を使用して、１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作が実行される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図９のシステムにおいて使用されてもよい。
【0095】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0096】
自律車両
図１０Ａは、少なくとも一実施例による自律車両１０００の例を示す。少なくとも一実施例では、自律車両１０００（或いは、本明細書において「車両１０００」と呼ばれる）は、限定することなく、車、トラック、バス、及び／又は１人若しくは複数の乗員を収容する別のタイプの車両などの乗用車とすることができる。少なくとも一実施例では、車両１０００は、貨物運搬用のセミ・トラクタのトレーラ・トラックであってもよい。少なくとも一実施例では、車両１０００は、航空機、ロボット車両、又は他の種類の車両であってもよい。
図１０Ａは、少なくとも一実施例による自律車両１０００の例を示す。少なくとも一実施例では、自律車両１０００（或いは、本明細書において「車両１０００」と呼ばれる）は、限定することなく、車、トラック、バス、及び／又は１人若しくは複数の乗員を収容する別のタイプの車両などの乗用車とすることができる。少なくとも一実施例では、車両１０００は、貨物運搬用のセミ・トラクタのトレーラ・トラックであってもよい。少なくとも一実施例では、車両１０００は、航空機、ロボット車両、又は他の種類の車両であってもよい。
【0097】
自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の「自動車用運転自動化システムのレベル分類及び定義（Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅｓ）」（たとえば、２０１８年６月１５日発行の規格Ｎｏ．Ｊ３０１６－２０１８０６、２０１６年９月３０日発行の規格Ｎｏ．Ｊ３０１６－２０１６０９、及びこの規格の旧版及び新版）により定義される自動化レベルという観点から説明されてもよい。少なくとも一実施例では、車両１０００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であってもよい。たとえば、少なくとも一実施例では、車両１０００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であってもよい。
【0098】
少なくとも一実施例では、車両１０００は、限定することなく、シャシ、車両本体、ホイール（２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素などの構成要素を含んでもよい。少なくとも一実施例では、車両１０００は、限定することなく、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別のタイプの推進システムなどの推進システム１０５０を含んでもよい。少なくとも一実施例では、推進システム１０５０は、車両１０００のドライブ・トレインに連結されてもよく、ドライブ・トレインは、限定することなく、車両１０００の推進を可能にするためのトランスミッションを含んでもよい。少なくとも一実施例では、推進システム１０５０は、スロットル／アクセル１０５２からの信号を受信したことに応答して、制御されてもよい。
【0099】
少なくとも一実施例では、限定することなくハンドルを含んでもよい操縦システム１０５４は、推進システム１０５０が動作しているときに（たとえば、車両１０００が動いているときに）車両１０００を（たとえば所望の経路又はルートに沿って）操縦するために使用される。少なくとも一実施例では、操縦システム１０５４は、操縦アクチュエータ１０５６から信号を受信してもよい。少なくとも一実施例では、ハンドルは、完全自動化（レベル５）の機能性に関しては任意選択であってもよい。少なくとも一実施例では、ブレーキ・アクチュエータ１０４８及び／又はブレーキ・センサからの信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１０４６が使用されてもよい。
【0100】
少なくとも一実施例では、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）（図１０Ａには示さず）及び／若しくはグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）を限定することなく含んでもよいコントローラ１０３６は、車両１０００の１つ又は複数の構成要素及び／若しくはシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも一実施例では、コントローラ１０３６は、ブレーキ・アクチュエータ１０４８を介して車両ブレーキを動作させるための信号、操縦アクチュエータ１０５６を介して操縦システム１０５４を動作させるための信号、スロットル／アクセル１０５２を介して推進システム１０５０を動作させるための信号を送信してもよい。少なくとも一実施例では、コントローラ１０３６は、自律運転を可能にし、且つ／又は運転車両１０００において人間のドライバを支援するために、センサ信号を処理し、動作コマンド（たとえばコマンドを表す信号）を出力する１つ又は複数の搭載（たとえば一体型の）コンピューティング・デバイス（たとえば、スーパーコンピュータ）を含んでもよい。少なくとも一実施例では、コントローラ１０３６は、自律運転機能のための第１のコントローラ、機能的安全機能のための第２のコントローラ、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ、インフォテイメント機能のための第４のコントローラ、緊急事態における冗長性のための第５のコントローラ、及び／又は他のコントローラを含んでもよい。少なくとも一実施例では、単一のコントローラが、上記機能性のうちの２つ以上に対処してもよく、２つ以上のコントローラが、単一の機能性に対処してもよく、且つ／又はこれらの何らかの組合せであってもよい。
【0101】
少なくとも一実施例では、コントローラ１０３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して、車両１０００の１つ又は複数の構成要素及び／若しくはシステムを制御するための信号を提供する。少なくとも一実施例では、センサ・データは、たとえば限定することなく、全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１０５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ１０６０、超音波センサ１０６２、ＬＩＤＡＲセンサ１０６４、慣性計測装置（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１０６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１０９６、ステレオ・カメラ１０６８、広角カメラ１０７０（たとえば、魚眼カメラ）、赤外線カメラ１０７２、周囲カメラ１０７４（たとえば、３６０度カメラ）、長距離カメラ（図１０Ａには示さず）、中距離カメラ（図１０Ａには示さず）、（たとえば、車両１０００のスピードを計測するための）スピード・センサ１０４４、振動センサ１０４２、操縦センサ１０４０、（たとえば、ブレーキ・センサ・システム１０４６の一部分としての）ブレーキ・センサ、及び／又は他のタイプのセンサから、受信されてもよい。
【0102】
少なくとも一実施例では、コントローラ１０３６のうちの１つ又は複数は、車両１０００の計器クラスタ１０３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１０３４、可聴アナンシエータ、拡声器を介して、且つ／又は車両１０００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供してもよい。少なくとも一実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、ハイ・デフィニション・マップ（図１０Ａには示さず））、ロケーション・データ（たとえば、地図上などの車両１０００のロケーション）、方向、他車両のロケーション（たとえば、占有グリッド）、コントローラ１０３６が感知した物体及び物体の状態についての情報などの情報を含んでもよい。たとえば、少なくとも一実施例では、ＨＭＩディスプレイ１０３４は、１つ若しくは複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在についての情報、及び／又は車両が行った、行っている、又はこれから行う運転操作についての情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示してもよい。
【0103】
少なくとも一実施例では、車両１０００はさらにネットワーク・インターフェース１０２４を含み、このネットワーク・インターフェースは、１つ又は複数のネットワークを介して通信するためのワイヤレス・アンテナ１０２６及び／又はモデムを使用してもよい。たとえば、少なくとも一実施例では、ネットワーク・インターフェース１０２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、グローバル・システム・フォー・モバイル・コミュニケーションズ（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）ネットワークなどを介して通信可能であってもよい。また、少なくとも一実施例では、ワイヤレス・アンテナ１０２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ （「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの低電力広域ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用して、環境内の物体同士間（たとえば車両、モバイル・デバイスなど）での通信を可能にしてもよい。
【0104】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１０Ａのシステムにおいて使用されてもよい。
【0105】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のストリームを選択させることが挙げられる。
【0106】
図１０Ｂは、少なくとも一実施例による図１０Ａの自律車両１０００についてカメラのロケーション及び視野の例を示す。少なくとも一実施例では、カメラ及びそれぞれの視野は、一例の実施例であり、限定するものではない。たとえば、少なくとも一実施例では、追加及び／又は代替のカメラが含まれてもよく、且つ／又はカメラが車両１０００の異なるロケーションに位置付けられてもよい。
【0107】
少なくとも一実施例では、カメラのカメラ・タイプは、車両１０００の構成要素及び／又はシステムとともに使用できるように適合されていてもよいデジタル・カメラを含んでもよいが、これに限定されない。少なくとも一実施例では、カメラは、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作してもよい。少なくとも一実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２２０ｆｐｓ、２４０ｆｐｓなど、任意の画像捕捉率に対応可能であってもよい。少なくとも一実施例では、カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はこれらの組合せを使用することが可能であってもよい。少なくとも一実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（ＲＧＧＢ）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含んでもよい。少なくとも一実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイを有するカメラなど、クリア・ピクセル・カメラが使用されてもよい。
【0108】
少なくとも一実施例では、カメラのうちの１つ又は複数を使用して、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）機能が（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実行されてもよい。たとえば、少なくとも一実施例では、多機能モノ・カメラが設置されて、車線逸脱警告、交通標識支援、及びインテリジェント・ヘッドライト制御を含む機能が提供されてもよい。少なくとも一実施例では、カメラのうちの１つ又は複数（たとえばすべてのカメラ）は、画像データ（たとえばビデオ）の記録と提供を同時に行ってもよい。
【0109】
少なくとも一実施例では、１つ又は複数のカメラは、カメラの画像データ捕捉性能を妨げる恐れのある迷光及び車両１０００内部からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリに取り付けられてもよい。ドアミラー取付けアセンブリを参照すると、少なくとも一実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形の合うように、カスタムで３Ｄ印刷されてもよい。少なくとも一実施例では、カメラは、ドアミラーと一体であってもよい。少なくとも一実施例では、サイド・ビュー・カメラについて、カメラはこの場合もキャビンの各角にある４本のピラーに一体化されてもよい。
【0110】
少なくとも一実施例では、車両１０００前方の環境の一部分を含む視野を有するカメラ（たとえば正面カメラ）は周囲のビューに対して使用されて、正面の経路及び障害物を識別しやすくするとともに、コントローラ１０３６及び／又は制御ＳｏＣのうちの１つ又は複数とともに使用されて、占有グリッドの生成及び／又は好ましい車両経路の判定に不可欠な情報の提供を補助してもよい。少なくとも一実施例では、正面カメラを使用して、緊急ブレーキ、歩行者検出、及び衝突回避を限定することなく含む、ＬＩＤＡＲと同様のＡＤＡＳ機能のうちの多くが実行されてもよい。少なくとも一実施例では、正面カメラはまた、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇｓ）、自律クルーズ・コントロール（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を限定することなく含むＡＤＡＳの機能及びシステムのために使用されてもよい。
【0111】
少なくとも一実施例では、たとえばＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ（「相補型金属酸化膜半導体」）カラー撮像装置を含む単眼カメラのプラットフォームを含む様々なカメラが、正面構成で使用されてもよい。少なくとも一実施例では、周囲からビューに入ってくる物体（たとえば歩行者、クロス・トラフィック、又は自転車）を感知するために、広角カメラ１０７０が使用されてもよい。図１０Ｂには１つの広角カメラ１０７０しか示していないが、他の実施例では、車両１０００には（ゼロを含む）任意の数の広角カメラが存在してもよい。少なくとも一実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、任意の数の長距離カメラ１０９８（たとえば、長距離ビューのステレオ・カメラの対）が使用されてもよい。少なくとも一実施例では、長距離カメラ１０９８はまた、物体検出及び分類、並びに基本的な物体追跡に使用されてもよい。
【0112】
少なくとも一実施例では、任意の数のステレオ・カメラ１０６８は、正面構成にも含まれてよい。少なくとも一実施例では、１つ又は複数のステレオ・カメラ１０６８は、拡張可能な処理ユニットを備えた一体型制御ユニットを含んでもよく、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット（登録商標）・インターフェースを単一チップ上に有するプログラム可能論理（「ＦＰＧＡ」）及びマルチ・コア・マイクロプロセッサを提供してもよい。少なくとも一実施例では、こうしたユニットは、画像内のすべての点に対する距離推定を含め、車両１０００の環境の３Ｄマップを生成するのに使用されてもよい。少なくとも一実施例では、ステレオ・カメラ１０６８のうちの１つ又は複数は、限定することなくコンパクト・ステレオ・ビジョン・センサを含んでもよく、このセンサは、車両１０００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告の機能をアクティブ化することができる２つのカメラ・レンズ（左右に１つずつ）及び画像処理チップを、限定することなく含んでもよい。少なくとも一実施例では、本明細書に記載のものに加えて、又はその代わりに、他のタイプのステレオ・カメラ１０６８が使用されてもよい。
【0113】
少なくとも一実施例では、車両１０００の側方の環境の一部分を含む視野を有するカメラ（たとえば、サイド・ビュー・カメラ）が、周囲のビューのために使用されて、占有グリッドの作製及び更新、並びに側面衝突警告の生成のために使用される情報を提供してもよい。たとえば、少なくとも一実施例では、周囲カメラ１０７４（たとえば図１０Ｂに示すように４つの周囲カメラ）を、車両１０００に配置することができる。少なくとも一実施例では、周囲カメラ１０７４は、限定することなく、任意の数及び組合せの広角カメラ、魚眼カメラ、３６０度カメラ及び／又は同様のカメラを含んでもよい。たとえば、少なくとも一実施例では、４つの魚眼カメラが、車両１０００の前方、後方、及び側方に配置されてもよい。少なくとも一実施例では、車両１０００は、３つの周囲カメラ１０７４（たとえば、左、右、及び後方）を使用してもよく、第４の周囲カメラとして、１つ又は複数の他のカメラ（たとえば正面カメラ）を活用してもよい。
【0114】
少なくとも一実施例では、車両１０００後方の環境の一部分を含む視野を有するカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲のビュー、後方衝突警告のために使用されて、占有グリッドの作製及び更新がなされてもよい。少なくとも一実施例では、本明細書に記載の正面カメラとしても好適なカメラ（たとえば、長距離カメラ１０９８、及び／又は中距離カメラ１０７６、ステレオ・カメラ１０６８、赤外線カメラ１０７２など）を含むが、これらに限定されない多種多様なカメラが使用されてもよい。
【0115】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１０Ｂのシステムにおいて使用されてもよい。
【0116】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0117】
図１０Ｃは、少なくとも一実施例による図１０Ａの自律車両１０００の例示的システム・アーキテクチャを示すブロック図である。少なくとも一実施例では、図１０Ｃの車両１０００の構成要素、特徴、及びシステムのそれぞれは、バス１００２を介して接続されるものとして示される。少なくとも一実施例では、バス１００２は、限定することなく、ＣＡＮデータ・インターフェース（或いは、本明細書において（ＣＡＮバス）と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＡＮは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１０００の様々な特徴及び機能の制御を補助するために使用される車両１０００内部のネットワークであってもよい。少なくとも一実施例では、バス１００２は、それぞれが独自の一意の識別子（たとえばＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成されてもよい。少なくとも一実施例では、バス１００２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状態インジケータを見いだすように読み取られてもよい。少なくとも一実施例では、バス１００２は、ＡＳＩＬのＢに準拠したＣＡＮバスであってもよい。
【0118】
少なくとも一実施例では、ＣＡＮに加えて、又はその代わりに、ＦｌｅｘＲａｙ及び／又はＥｔｈｅｒｎｅｔ（登録商標）プロトコルが使用されてもよい。少なくとも一実施例では、バス１００２を形成する任意の数のバスが存在してもよく、これには、限定することなく、ゼロ以上のＣＡＮバス、ゼロ以上のＦｌｅｘＲａｙバス、ゼロ以上のＥｔｈｅｒｎｅｔ（登録商標）バス、及び／又は他のプロトコルを使用するゼロ以上の他のタイプのバスが含まれてもよい。少なくとも一実施例では、２つ以上のバスを使用して異なる機能が実行されてもよく、且つ／又はそれらを使用して冗長性が与えられてもよい。たとえば、第１のバスが衝突回避機能のために使用され、第２のバスが作動制御のために使用されてもよい。少なくとも一実施例では、バス１００２の各バスは、車両１０００の構成要素のいずれかと通信してもよく、バス１００２のうちの２つ以上のバスが対応する構成要素と通信してもよい。少なくとも一実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）１００４（ＳｏＣ１００４（Ａ）及びＳｏＣ１００４（Ｂ）など）のそれぞれ、コントローラ１０３６のそれぞれ、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１０００のセンサからの入力）にアクセス可能であってもよく、ＣＡＮバスなどの共通のバスに接続されてもよい。
【0119】
少なくとも一実施例では、車両１０００は、図１０Ａに関して本明細書に記載するものなど、１つ又は複数のコントローラ１０３６を含んでもよい。少なくとも一実施例では、コントローラ１０３６は、様々な機能に使用されてもよい。少なくとも一実施例では、コントローラ１０３６は、車両１０００の様々な他の構成要素及びシステムのうちの任意のものに結合されてもよく、車両１０００、車両１０００の人工知能、車両１０００のインフォテイメント及び／又は他の機能の制御に使用されてもよい。
【0120】
少なくとも一実施例では、車両１０００は、任意の数のＳｏＣ１００４を含んでもよい。少なくとも一実施例では、ＳｏＣ１００４のそれぞれは、限定することなく、中央処理装置（「ＣＰＵ」）１００６、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）１００８、プロセッサ１０１０、キャッシュ１０１２、アクセラレータ１０１４、データ・ストア１０１６、及び／又は図示していない他の構成要素及び特徴を含んでもよい。少なくとも一実施例では、車両１０００を様々なプラットフォーム及びシステムにおいて制御するために、ＳｏＣ１００４が使用されてもよい。たとえば、少なくとも一実施例では、ＳｏＣ１００４は、１つ又は複数のサーバ（図１０Ｃには示さず）からネットワーク・インターフェース１０２４を介して地図のリフレッシュ及び／又は更新を得ることができるハイ・デフィニション（「ＨＤ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）マップ１０２２を有するシステム（たとえば車両１０００のシステム）に組み込まれてもよい。
【0121】
少なくとも一実施例では、ＣＰＵ１００６は、ＣＰＵクラスタ、又はＣＰＵコンプレックス（或いは本明細書において「ＣＣＰＬＥＸ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＰＵ１００６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含んでもよい。たとえば、少なくとも一実施例では、ＣＰＵ１００６は、コヒーレントなマルチプロセッサ構成において８つのコアを含んでもよい。少なくとも一実施例では、ＣＰＵ１００６は、４つのデュアル・コア・クラスタを含んでもよく、ここで各クラスタは、専用のＬ２キャッシュ（たとえば、２メガバイト（ＭＢ）のＬ２キャッシュ）を有する。少なくとも一実施例では、ＣＰＵ１００６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１００６のクラスタの任意の組合せを、任意の所与の時間にアクティブ化できるようにする同時のクラスタ動作をサポートするように構成されてもよい。
【0122】
少なくとも一実施例では、ＣＰＵ１００６のうちの１つ又は複数は、電力管理機能を実装してもよく、この機能は限定することなく、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、アイドル時に自動的にクロック・ゲート制御されて動的電力を節約することができる；割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行に起因してコアが能動的に命令を実行していないとき、各コア・クロックをゲート制御することができる；各コアを独立して電力ゲート制御することができる；すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、各コア・クラスタを独立してクロック・ゲート制御することができる；且つ／又はすべてのコアが電力ゲート制御されるとき、各コア・クラスタを独立して電力ゲート制御することができる。少なくとも一実施例では、ＣＰＵ１００６はさらに、電力状態を管理するための拡張アルゴリズムを実装してもよく、ここで、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸが入るべき最良の電力状態はどれかを、ハードウェア／マイクロコードが判定する。少なくとも一実施例では、処理コアは、作業がマイクロコードにオフロードされた状態で、電力状態に入る簡単なシーケンスをソフトウェアにおいてサポートしてもよい。
【0123】
少なくとも一実施例では、ＧＰＵ１００８は、統合されたＧＰＵ（或いは、本明細書において「ｉＧＰＵ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＧＰＵ１００８は、プログラム可能であってもよく、並列なワークロードに対して効率的であってもよい。少なくとも一実施例では、ＧＰＵ１００８は、拡張テンソル命令セットを使用してもよい。少なくとも一実施例では、ＧＰＵ１００８は、１つ又は複数のストリーミング・マイクロプロセッサを含んでもよく、ここで各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば少なくとも９６ＫＢのストレージ容量を有するＬ１キャッシュ）を含んでもよく、２つ以上のストリーミング・マイクロプロセッサは、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量を有するＬ２キャッシュ）を共有してもよい。少なくとも一実施例では、ＧＰＵ１００８は、少なくとも８つのストリーミング・マイクロプロセッサを含んでもよい。少なくとも一実施例では、ＧＰＵ１００８は、コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を使用してもよい。少なくとも一実施例では、ＧＰＵ１００８は、１つ又は複数の並列なコンピューティング・プラットフォーム、及び／又はプログラミング・モジュール（たとえば、ＮＶＩＤＩＡのＣＵＤＡモデル）を使用してもよい。
【0124】
少なくとも一実施例では、ＧＰＵ１００８のうちの１つ又は複数は、自動車用及び組み込まれたユース・ケースにおいて最良の性能になるように電力最適化されてもよい。たとえば、少なくとも一実施例では、ＧＰＵ１００８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）回路上で作製することができる。少なくとも一実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされた多数の混合精度の処理コアを組み込んでもよい。たとえば、限定することなく６４個のＰＦ３２コアと、３２個のＰＦ６４コアを、４つの処理ブロックに区分けすることができる。少なくとも一実施例では、各処理ブロックに、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習の行列演算用の２つの混合精度のＮＶＩＤＩＡ Ｔｅｎｓｏｒコア、レベルゼロ（「Ｌ０」）命令キャッシュ、スケジューラ（たとえば、ワープ・スケジューラ）又はシーケンサ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを配分することができる。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、整数と浮動小数点の独立した並列のデータ経路を含み、コンピュータ処理とアドレッシング計算を混用することによってワークロードの効率的な実行を実現する。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、独立したスレッド・スケジューリング機能を含み、並列スレッド間でよりきめ細かい同期及び連携を可能にしてもよい。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、性能を向上させると同時にプログラミングを簡単にするために、Ｌ１データ・キャッシュと共有メモリ・ユニットの組合せを含んでもよい。
【0125】
少なくとも一実施例では、ＧＰＵ１００８のうちの１つ又は複数は、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み、いくつかの例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供してもよい。少なくとも一実施例では、ＨＢＭメモリに加えて、又はその代わりに、グラフィックス・ダブル・データ・レート・タイプの５つの同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）などの同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用されてもよい。
【0126】
少なくとも一実施例では、ＧＰＵ１００８は、統合メモリ技術を含んでもよい。少なくとも一実施例では、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅｓ）サポートを使用して、ＧＰＵ１００８が、ＣＰＵ１００６のページ・テーブルに直接アクセスできるようにしてもよい。少なくとも一実施例では、ＧＰＵ１００８メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）のＧＰＵがミスに遭遇したときには、アドレス・トランスレーション要求が、ＣＰＵ１００６に送信されてもよい。少なくとも一実施例では、それに応答して、ＣＰＵ１００６のうちの２つのＣＰＵは、自らのページ・テーブルで、仮想から物理へのアドレスのマッピングを探し、トランスレーションをＧＰＵ１００８に送り返してもよい。少なくとも一実施例では、統合メモリ技術は、ＣＰＵ１００６とＧＰＵ１００８の両方のメモリに対して単一の統合された仮想アドレス空間を与えることを可能にし、それにより、ＧＰＵ１００８のプログラミング、及びＧＰＵ１００８へのアプリケーションの移植を簡単にする。
【0127】
少なくとも一実施例では、ＧＰＵ１００８は、他のプロセッサのメモリへのＧＰＵ１００８のアクセス頻度を記録することができる任意の数のアクセス・カウンタを含んでもよい。少なくとも一実施例では、アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリに、メモリ・ページが確実に移動されるのを補助し、それにより、プロセッサ間で共有されるメモリ範囲の効率を向上させてもよい。
【0128】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、本明細書に記載のものを含む任意の数のキャッシュ１０１２を含んでもよい。たとえば、少なくとも一実施例では、キャッシュ１０１２は、ＣＰＵ１００６もＧＰＵ１００８も利用可能な（たとえば、ＣＰＵ１００６とＧＰＵ１００８の両方に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも一実施例では、キャッシュ１０１２は、キャッシュ・コヒーレンス・プロトコルなど（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することにより、線の状態を記録することができるライト・バック・キャッシュを含んでもよい。少なくとも一実施例では、Ｌ３キャッシュは、実施例に応じて４ＭＢのメモリ以上を含んでもよいが、より小さいキャッシュ・サイズが使用されてもよい。
【0129】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１０１４（たとえば、ハードウェア・アクセラレータ、ソフトウェアアクセラレータ、又はこれらの組合せ）を含んでもよい。少なくとも一実施例では、ＳｏＣ１００４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオン・チップ・メモリを含むことができるハードウェア加速クラスタを含んでもよい。少なくとも一実施例では、大型のオン・チップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速できるようにしてもよい。少なくとも一実施例では、ハードウェア加速クラスタを使用して、ＧＰＵ１００８を補完し、ＧＰＵ１００８のタスクのうちのいくつかをオフロードしてもよい（たとえば、他のタスクを実行できるようにＧＰＵ１００８のサイクルをより多く解放してもよい）。少なくとも一実施例では、加速を受け入れるのに十分なほど安定している目的とするワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、再帰ニューラル・ネットワーク（「ＲＮＮ」：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために、アクセラレータ１０１４を使用することができる。少なくとも一実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出に使用される）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含んでもよい。
【0130】
少なくとも一実施例では、アクセラレータ１０１４（たとえば、ハードウェア加速クラスタ）は、１つ又は複数の深層学習アクセラレータ（「ＤＬＡ」：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよい。少なくとも一実施例では、ＤＬＡは、限定することなく、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）を含んでもよく、このユニットは、深層学習アプリケーション及び推論のために、さらに毎秒１０兆の演算を提供するように構成されてもよい。少なくとも一実施例では、ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなど）を実行するように構成され、そのために最適化されたアクセラレータであってもよい。少なくとも一実施例では、ＤＬＡはさらに、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のために最適化されてもよい。少なくとも一実施例では、ＤＬＡの設計により、典型的な汎用ＧＰＵよりもミリメートル当たりの性能を向上させることができ、典型的には、ＣＰＵの性能を大いに上回る。少なくとも一実施例では、ＴＰＵは、たとえば特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ型をサポートする単一インスタンスの畳み込み関数、並びに後処理関数を含む、いくつか関数を実行してもよい。少なくとも一実施例では、ＤＬＡは、たとえば、限定することなく、カメラ・センサからのデータを使用した物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した距離推定のためのＣＮＮ、マイクロフォンからのデータを使用した緊急車両検出、及び識別、及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した顔認識及び車両所有者識別ためのＣＮＮ、並びに／又はセキュリティ及び／若しくは安全に関するイベントのためのＣＮＮを含め、様々な機能のうちのいずれかのための処理済み若しくは未処理のデータに対して、迅速且つ効率的にニューラル・ネットワーク、特にＣＮＮを実行してもよい。
【0131】
少なくとも一実施例では、ＤＬＡは、ＧＰＵ１００８の任意の機能を実行してもよく、たとえば推論アクセラレータを使用することにより、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１００８のいずれかをターゲットにしてもよい。たとえば、少なくとも一実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理をＤＬＡに集中させ、他の機能をＧＰＵ１００８及び／又は他のアクセラレータ１０１４に任せてもよい。
【0132】
少なくとも一実施例では、アクセラレータ１０１４は、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよく、このプログラマブル・ビジョン・アクセラレータは、本明細書において代替的にコンピュータ・ビジョン・アクセラレータと呼ばれてもよい。少なくとも一実施例では、ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１０３８、自律運転、拡張現実（「ＡＲ」：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーション、及び／又は仮想現実（「ＶＲ」：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成されてもよい。少なくとも一実施例では、ＰＶＡにより、性能と融通性との均衡が保たれてもよい。たとえば、少なくとも一実施例では、各ＰＶＡは、たとえば限定することなく、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含んでもよい。
【0133】
少なくとも一実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載の任意のカメラの画像センサ）、画像信号プロセッサなどと相互作用してもよい。少なくとも一実施例では、各ＲＩＳＣコアは、任意の量のメモリを含んでもよい。少なくとも一実施例では、ＲＩＳＣコアは、実施例に応じて複数のプロトコルのうちの任意のものを使用してもよい。少なくとも一実施例では、ＲＩＳＣコアは、リアル・タイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行してもよい。少なくとも一実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装されてもよい。たとえば、少なくとも一実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。
【0134】
少なくとも一実施例では、ＤＭＡは、ＰＶＡの構成要素がＣＰＵ１００６とは無関係にシステム・メモリにアクセスできるようにしてもよい。少なくとも一実施例では、ＤＭＡは、多次元アドレッシング、及び／又はサーキュラ・アドレッシングを含むがこれらに限定されない、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートしてもよい。少なくとも一実施例では、ＤＭＡは、６つ以上のアドレッシング次元までをサポートしてもよく、これには、限定することなく、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングが含まれてもよい。
【0135】
少なくとも一実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計されてもよいプログラム可能なプロセッサとすることができ、信号処理機能を提供する。少なくとも一実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションを含んでもよい。少なくとも一実施例では、ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば２つのＤＭＡエンジン）、及び／又は他の周辺装置を含んでもよい。少なくとも一実施例では、ベクトル処理サブシステムは、ＰＶＡの一次処理エンジンとして動作してもよく、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」）を含んでもよい。少なくとも一実施例では、ＶＰＵは、たとえば単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）のデジタル信号プロセッサなどのデジタル信号プロセッサを含んでもよい。少なくとも一実施例では、ＳＩＭＤとＶＬＩＷの組合せによって、スループット及びスピードが改善されてもよい。
【0136】
少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、命令キャッシュを含んでもよく、専用のメモリに結合されてもよい。その結果、少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、他のベクトル・プロセッサとは無関係に実行されるように構成されてもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成されてもよい。たとえば、少なくとも一実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、共通のコンピュータ・ビジョン・アルゴリズムを画像の異なる領域上で実行してもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを１つの画像上で同時に実行してもよく、又はさらには、異なるアルゴリズムを連続した画像上で、若しくは画像の部分上で実行してもよい。少なくとも一実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタに含まれてもよく、任意の数のベクトル・プロセッサが各ＰＶＡに含まれてもよい。少なくとも一実施例では、ＰＶＡは、システムの全体的な安全性を強化するために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含んでもよい。
【0137】
少なくとも一実施例では、アクセラレータ１０１４は、オン・チップのコンピュータ・ビジョン・ネットワーク、及びスタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）を含み、アクセラレータ１０１４のための高帯域幅、低レイテンシのＳＲＡＭを提供してもよい。少なくとも一実施例では、オン・チップ・メモリは、たとえば限定することなく、８つのフィールド設定可能なメモリ・ブロックを含む少なくとも４ＭＢのＳＲＡＭを含んでもよく、これは、ＰＶＡからもＤＬＡからもアクセス可能であってもよい。少なくとも一実施例では、メモリ・ブロックの各対は、アドバンスト・ペリフェラル・バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含んでもよい。少なくとも一実施例では、任意のタイプのメモリが使用されてもよい。少なくとも一実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスしてもよい。少なくとも一実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえばＡＰＢを使用して）メモリに相互接続するオン・チップのコンピュータ・ビジョン・ネットワークを含んでもよい。
【0138】
少なくとも一実施例では、オン・チップのコンピュータ・ビジョン・ネットワークは、何らかの制御信号／アドレス／データを送信する前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供することを判定するインターフェースを含んでもよい。少なくとも一実施例では、インターフェースは、制御信号／アドレス／データを送信するための別々の位相及び別々のチャネル、並びに継続的なデータ転送のためのバースト型通信を提供してもよい。少なくとも一実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠してもよいが、他の規格及びプロトコルが使用されてもよい。
【0139】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、リアル・タイム・レイ・トレーシングのハードウェア・アクセラレータを含んでもよい。少なくとも一実施例では、リアル・タイム・レイ・トレーシングのハードウェア・アクセラレータを使用して、物体の（たとえば世界モデル内での）位置及び範囲が迅速且つ効率的に判定されて、ＲＡＤＡＲ信号解釈のため、音伝播合成及び／若しくは分析のため、ＳＯＮＡＲシステムのシミュレーションのため、一般波形の伝播シミュレーションのため、ローカリゼーション及び／若しくは他の機能を目的としたＬＩＤＡＲデータとの比較のため、並びに／又は他の使用法のためのリアル・タイムの可視化シミュレーションが生成されてもよい。
【0140】
少なくとも一実施例では、アクセラレータ１０１４は、自律運転のための多様な使用法を有することができる。少なくとも一実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両の主要な処理ステージに使用することができる。少なくとも一実施例では、ＰＶＡの性能は、低電力及び低レイテンシの予測可能な処理を必要とするアルゴリズム・ドメインに良好に適合する。言い換えれば、ＰＶＡは、低レイテンシ及び低電力の予測可能なラン・タイムを必要とするかもしれない半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的計算に対して、データ・セットが小さくても良好に機能する。少なくとも一実施例では、車両１０００内など、従来のコンピュータ・ビジョン・アルゴリズムを実行するようにＰＶＡが設計され得るが、これは、それらが、物体検出及び整数数値の演算に有効となり得るからである。
【0141】
たとえば、技術の少なくとも一実施例によれば、ＰＶＡを使用して、コンピュータ・ステレオ・ビジョンが実行されてもよい。少なくとも一実施例では、いくつかの例においてセミ・グローバル・マッチングに基づくアルゴリズムが使用されてもよいが、これは限定するものではない。少なくとも一実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造化、歩行者認識、車線検出など）をオン・ザ・フライで使用する。少なくとも一実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実行してもよい。
【0142】
少なくとも一実施例では、ＰＶＡを使用して、高密度オプティカル・フローが実行されてもよい。たとえば、少なくとも一実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば４Ｄの高速フーリエ変換を使用して）処理して、処理済みＲＡＤＡＲデータを提供することができる。少なくとも一実施例では、ＰＶＡは、飛行時間の深度処理に使用され、たとえば未加工の飛行時間データを処理することにより、処理済みの飛行時間データが提供される。
【0143】
少なくとも一実施例では、たとえば限定することなく、物体検出ごとに信頼性の尺度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を強化するための任意のタイプのネットワークを実行するために、ＤＬＡが使用されてもよい。少なくとも一実施例では、信頼性は、他の検出と比較した各検出の確率として、若しくはその相対的な「重み」を提供するものとして表されても、又は解釈されてもよい。少なくとも一実施例では、信頼性尺度によって、どの検出を誤検出ではなく正検出とみなすべきかに関して、システムがさらなる判定を下せるようになる。少なくとも一実施例では、システムは、信頼性に対して閾値を設定し、閾値を超える検出だけを正検出とみなしてもよい。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）が使用される実施例では、誤検出によって車両は自動的に緊急ブレーキをかけることになり、これは明らかに望ましくない。少なくとも一実施例では、非常に信頼性の高い検出が、ＡＥＢのトリガとみなされてもよい。少なくとも一実施例では、ＤＬＡは、信頼値を回帰するようにニューラル・ネットワークを実行してもよい。少なくとも一実施例では、ニューラル・ネットワークは、とりわけ境界ボックスの次元、（たとえば別のサブシステムから）取得した地面推定、車両１０００の配向と相関しているＩＭＵセンサ１０６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１０６４若しくはＲＡＤＡＲセンサ１０６０）から取得した物体の３Ｄロケーション推定などのパラメータの少なくともいくつかのサブセットを、その入力として取ってもよい。
【0144】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、データ・ストア１０１６（たとえばメモリ）を含んでもよい。少なくとも一実施例では、データ・ストア１０１６は、ＳｏＣ１００４のオン・チップ・メモリであってもよく、このメモリは、ＧＰＵ１００８及び／又はＤＬＡ上で実行されるニューラル・ネットワークを記憶してもよい。少なくとも一実施例では、データ・ストア１０１６の容量は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくてもよい。少なくとも一実施例では、データ・ストア１０１６は、Ｌ２又はＬ３のキャッシュを備えてもよい。
【0145】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数は、任意の数のプロセッサ１０１０（たとえば、組み込みプロセッサ）を含んでもよい。少なくとも一実施例では、プロセッサ１０１０は、ブート電力並びに管理機能及び関連するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであってもよいブート及び電力管理プロセッサを含んでもよい。少なくとも一実施例では、ブート及び電力管理プロセッサは、ＳｏＣ１００４のブート・シーケンスの一部であってもよく、ラン・タイム電力管理サービスを提供してもよい。少なくとも一実施例では、ブート電力及び管理プロセッサは、クロックと電圧のプログラミング、システムの低電力状態への移行の支援、ＳｏＣ１００４の熱及び温度センサの管理、並びに／又はＳｏＣ１００４の電力状態の管理を提供してもよい。少なくとも一実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１００４は、リング発振器を使用して、ＣＰＵ１００６、ＧＰＵ１００８、及び／又はアクセラレータ１０１４の温度を検出してもよい。少なくとも一実施例では、温度が閾値を超えると判定された場合には、ブート及び電力管理プロセッサは、温度不良ルーチンに入り、ＳｏＣ１００４を低電力状態にし、且つ／又は車両１０００を運転手－安全停止モードにしても（たとえば、車両１０００を安全停止させる）よい。
【0146】
少なくとも一実施例では、プロセッサ１０１０はさらに、オーディオ処理エンジンとしての役割を果たすことができる組み込みプロセッサのセットを含んでもよく、これは、多重インターフェースを介した多チャネルのオーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にするオーディオ・サブシステムであってもよい。少なくとも一実施例では、オーディオ処理エンジンは、専用ＲＡＭのあるデジタル信号プロセッサを有する専用プロセッサ・コアである。
【0147】
少なくとも一実施例では、プロセッサ１０１０はさらに、低電力センサ管理及び立ち上げのユース・ケースをサポートするのに必要なハードウェア特徴を提供することができる常時オン・プロセッサ・エンジンを含んでもよい。少なくとも一実施例では、常時オン・プロセッサ・エンジンは、限定することなく、プロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含んでもよい。
【0148】
少なくとも一実施例では、プロセッサ１０１０はさらに安全クラスタ・エンジンを含んでもよく、このエンジンは限定することなく、自動車用途の安全管理に対処するための専用のプロセッサ・サブシステムを含む。少なくとも一実施例では、安全クラスタ・エンジンは、限定することなく、２つ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラなど）、及び／又はルーティング論理を含んでもよい。安全モードでは、少なくとも一実施例においてロックステップ・モードで２つ以上のコアが動作し、これらの動作間で何らかの差を検出するための比較論理を有する単一コアとして機能してもよい。少なくとも一実施例では、プロセッサ１０１０はさらにリアル・タイム・カメラ・エンジンを含んでもよく、このエンジンは限定することなく、リアル・タイムのカメラ管理に対処するための専用のプロセッサ・サブシステムを含んでもよい。少なくとも一実施例では、プロセッサ１０１０はさらに、高ダイナミック・レンジの信号プロセッサを含んでもよく、この信号プロセッサは、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを限定することなく含んでもよい。
【0149】
少なくとも一実施例では、プロセッサ１０１０は、ビデオ画像合成器を含んでもよく、この合成器は、再生装置のウインドウに最終画像を生成するのにビデオ再生アプリケーションが必要とするビデオ後処理機能を実装する（たとえばマイクロプロセッサに実装された）処理ブロックであってもよい。少なくとも一実施例では、ビデオ画像合成器は、広角カメラ１０７０、周囲カメラ１０７４、及び／又はキャビン内監視カメラ・センサに対して、レンズゆがみ補正を実行してもよい。少なくとも一実施例では、キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに適宜応答するように構成された、ＳｏＣ１００４の別のインスタンスで実行されているニューラル・ネットワークによって監視される。少なくとも一実施例では、キャビン内システムは、セルラー・サービスをアクティブ化し、電話をかけたり、電子メールを書いたり、車両の行き先を変更したり、車両のインフォテイメント・システム及び設定をアクティブ化又は変更したり、音声作動式のウェブ・サーフィンを提供したりするために、限定することなく読唇を実行してもよい。少なくとも一実施例では、ある一定の機能は、車両が自律モードで動作しているときにドライバにとって利用可能になり、それ以外のときには使用不可になる。
【0150】
少なくとも一実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含んでもよい。たとえば、少なくとも一実施例では、ビデオで動きが生じる場合には、ノイズ低減が空間情報に適切に重み付けして、隣接するフレームによって提供される情報の重みを軽くする。少なくとも一実施例では、画像又は画像の一部分が動きを含まない場合には、ビデオ画像合成器により実行される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像のノイズを低減してもよい。
【0151】
少なくとも一実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化を実行するように構成されてもよい。少なくとも一実施例では、ビデオ画像合成器はさらに、オペレーティング・システムのデスクトップが使用中のときに、ユーザ・インターフェースを合成するために使用されてもよく、ＧＰＵ１００８は、新規の表面を継続的にレンダリングする必要がなくなる。少なくとも一実施例では、ＧＰＵ１００８の電源が入れられ、アクティブで３Ｄレンダリングを行っているとき、性能及び応答性を向上させるために、ビデオ画像合成器を使用してＧＰＵ１００８をオフロードしてもよい。
【0152】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数のＳｏＣはさらに、ビデオ及びカメラからの入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）のカメラ直列インターフェース、高速インターフェース、並びに／又はカメラ及び関連ピクセルの入力機能に使用されてもよいビデオ入力ブロックを含んでもよい。少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数はさらに、入力／出力コントローラを含んでもよく、このコントローラはソフトウェアによって制御されてもよく、特定の役割に縛られていないＩ／Ｏ信号を受信するために使用されてもよい。
【0153】
少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数のＳｏＣはさらに、周辺装置、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他の装置との通信を可能にするための幅広い周辺装置インターフェースを含んでもよい。少なくとも一実施例では、ＳｏＣ１００４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）チャネルを介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）チャネルを介して接続されてもよいＬＩＤＡＲセンサ１０６４、ＲＡＤＡＲセンサ１０６０など）からのデータ、バス１００２からのデータ（たとえば、車両１０００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）バス又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１０５８からのデータなどを処理するために使用されてもよい。少なくとも一実施例では、ＳｏＣ１００４のうちの１つ又は複数のＳｏＣはさらに、専用の高性能大容量ストレージ・コントローラを含んでもよく、このコントローラは独自のＤＭＡエンジンを含んでもよく、ルーチンのデータ管理タスクからＣＰＵ１００６を解放するために使用されてもよい。
【0154】
少なくとも一実施例では、ＳｏＣ１００４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャを有するエンドツーエンドのプラットフォームであってもよく、それにより、多様性及び冗長性を得るためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し効率的に利用する包括的な機能的安全性アーキテクチャが提供され、フレキシブルで、信頼性の高い運転ソフトウェア・スタックが、深層学習ツールとともに提供される。少なくとも一実施例では、ＳｏＣ１００４は、従来のシステムより高速で、信頼性が高く、さらにはエネルギー効率及び空間効率が高い。たとえば、少なくとも一実施例では、アクセラレータ１０１４は、ＣＰＵ１００６、ＧＰＵ１００８、及びデータ・ストア１０１６と組み合わされると、レベル３～５の自律車両のための高速で効率的なプラットフォームを実現することができる。
【0155】
少なくとも一実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行されてもよく、このアルゴリズムは、Ｃなどの高レベル・プログラミング言語を使用して構成されて、多様な視覚データにわたって多様な処理アルゴリズムを実行してもよい。しかし、少なくとも一実施例では、ＣＰＵは、多くのコンピュータ・ビジョン・アプリケーションの性能要件、たとえば実行時間及び電力消費に関する要件などを満足できないことが多い。少なくとも一実施例では、多くのＣＰＵは、車両内のＡＤＡＳアプリケーション及び現実的なレベル３～５の自律車両において使用される複雑な物体検出アルゴリズムを、リアル・タイムで実行することができない。
【0156】
本明細書に記載の実施例は、複数のニューラル・ネットワークを同時に且つ／又は順番に実行できるようにし、結果を組み合わせて、レベル３～５の自律運転機能を可能にすることができる。たとえば、少なくとも一実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、ＧＰＵ１０２０）上で実行しているＣＮＮは、テキスト及び単語認識を含んでもよく、ニューラル・ネットワークがそれについて特に訓練されてこなかった標識を含む交通標識を読み、理解できるようにする。少なくとも一実施例では、ＤＬＡはさらに、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で実行されている経路計画モジュールに渡すことができるニューラル・ネットワークを含んでもよい。
【0157】
少なくとも一実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に実行されてもよい。たとえば、少なくとも一実施例では、電光と併せて「注意：点滅時は凍結状態」と示される警告標識は、いくつかのニューラル・ネットワークによって別々に解釈されても、集合的に解釈されてもよい。少なくとも一実施例では、こうした警告標識自体は、第１の導入済みニューラル・ネットワーク（たとえば、訓練されてきたニューラル・ネットワーク）によって交通標識として識別されてもよく、「点滅時は凍結状態」という文字は、第２の導入済みニューラル・ネットワークによって解釈されてもよく、点滅光が検出された場合には、このニューラル・ネットワークが、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに通知する。少なくとも一実施例では、点滅光は、第３の導入済みニューラル・ネットワークを複数のフレームにわたって動作させることによって識別されてもよく、点滅光の存在（又は存在しないこと）が、車両の経路計画ソフトウェアに通知される。少なくとも一実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又はＧＰＵ１００８上などで同時に実行されてもよい。
【0158】
少なくとも一実施例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して、車両１０００の承認済みのドライバ及び／又は所有者の存在を識別してもよい。少なくとも一実施例では、常時オンのセンサ処理エンジンを使用して、所有者がドライバ用ドアに近づいてきたときに車両を解錠し、ライトを点灯させ、所有者がこうした車両から離れるときには、セキュリティ・モードでこうした車両を使用不可にしてもよい。こうして、ＳｏＣ１００４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを実現する。
【0159】
少なくとも一実施例では、緊急車両の検出及び識別のためのＣＮＮは、マイクロフォン１０９６からのデータを使用して、緊急車両のサイレンを検出及び識別してもよい。少なくとも一実施例では、ＳｏＣ１００４は、環境及び市街地の音を分類するとともに、視覚データを分類するためにＣＮＮを使用する。少なくとも一実施例では、ＤＬＡ上で実行されるＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえばドップラ効果を使用することによって）識別するように訓練される。少なくとも一実施例では、ＣＮＮはまた、ＧＮＳＳセンサ１０５８によって識別される、車両が稼働している地域に特有の緊急車両を識別するように訓練されてもよい。少なくとも一実施例では、欧州で稼働している場合には、ＣＮＮは欧州のサイレンを検出しようとし、北米の場合には、北米のサイレンだけを識別しようとする。少なくとも一実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行するための制御プログラムを使用して、車両の速度を落とし、道路脇に寄せ、車両を停止させ、且つ／又は緊急車両が通過するまで、超音波センサ１０６２を併用して車両をアイドリングにしてもよい。
【0160】
少なくとも一実施例では、車両１０００はＣＰＵ１０１８（たとえば、個別ＣＰＵ又はｄＣＰＵ）を含んでもよく、このＣＰＵは高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１００４に結合されてもよい。少なくとも一実施例では、ＣＰＵ１０１８は、たとえばＸ８６プロセッサを含んでもよい。ＣＰＵ１０１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１００４の間で潜在的に不整合な結果を調停すること、並びに／又はコントローラ１０３６及び／若しくはチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１０３０の状態及び健全性を監視することを含め、様々な機能のうちの任意の機能を実行するために使用されてもよい。少なくとも一実施例では、ＳｏＣ１００４としては、１つ又は複数の相互接続が挙げられ、相互接続としては、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（ＰＣＩｅ）を挙げることができる。
【0161】
少なくとも一実施例では、車両１０００はＧＰＵ１０２０（たとえば、個別ＧＰＵ又はｄＧＰＵ）を含んでもよく、このＧＰＵは高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫチャネル）を介してＳｏＣ１００４に結合されてもよい。少なくとも一実施例では、ＧＰＵ１０２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能を提供してもよく、車両１０００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づき、ニューラル・ネットワークを訓練及び／又は更新するために使用されてもよい。
【0162】
少なくとも一実施例では、車両１０００はさらに、ネットワーク・インターフェース１０２４を含んでもよく、このインターフェースは限定することなく、ワイヤレス・アンテナ１０２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコル向けの１つ又は複数のワイヤレス・アンテナ）を含んでもよい。少なくとも一実施例では、他の車両、及び／又はコンピューティング・デバイス（たとえば、乗員のクライアント・デバイス）とのインターネット・クラウド・サービス（たとえば、サーバ及び／又は他のネットワーク・デバイス）へのワイヤレス接続を可能にするために、ネットワーク・インターフェース１０２４が使用されてもよい。少なくとも一実施例では、他の車両と通信するために、車両１００と他の車両との間に直接リンクが確立されてもよく、且つ／又は（たとえば、ネットワークにわたって、且つインターネットを介して）間接リンクが確立されてもよい。少なくとも一実施例では、直接リンクは、車車間通信リンクを使用して提供されてもよい。少なくとも一実施例では、車車間通信リンクは、車両１０００の近傍の車両（たとえば、車両１０００の前方、側方、及び／又は後方の車両）についての情報を車両１０００に提供してもよい。少なくとも一実施例では、こうした前述した機能は、車両１０００の協調型アダプティブ・クルーズ・コントロール機能の一部であってもよい。
【0163】
少なくとも一実施例では、ネットワーク・インターフェース１０２４は、変調及び復調の機能を提供し、コントローラ１０３６がワイヤレス・ネットワークを介して通信できるようにするＳｏＣを含んでもよい。少なくとも一実施例では、ネットワーク・インターフェース１０２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含んでもよい。少なくとも一実施例では、周波数変換は、任意の技術的に実行可能なやり方で実行されてもよい。たとえば、周波数変換は、よく知られたプロセスにより、且つ／又はスーパー・ヘテロダイン・プロセスを使用して実行することができる。少なくとも一実施例では、無線周波数フロント・エンド機能は、別個のチップによって提供されてもよい。少なくとも一実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含んでもよい。
【0164】
少なくとも一実施例では、車両１０００はさらにデータ・ストア１０２８を含んでもよく、このデータ・ストアは限定することなく、オフ・チップ（たとえばＳｏＣ１００４上にない）ストレージを含んでもよい。少なくとも一実施例では、データ・ストア１０２８は、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ・メモリ、ハード・ディスク、並びに／又は少なくとも１ビットのデータを記憶することができる他の構成要素及び／若しくはデバイスを含む１つ若しくは複数のストレージ要素を、限定することなく含んでもよい。
【0165】
少なくとも一実施例では、車両１０００はさらに、マッピング、知覚、占有グリッド生成、及び／又は経路計画の機能を支援するためのＧＮＳＳセンサ１０５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）を含んでもよい。少なくとも一実施例では、イーサネット（登録商標）からシリアル（たとえばＲＳ－２３２）へのブリッジを有するＵＳＢコネクタを使用するＧＰＳをたとえば限定することなく含む任意の数のＧＮＳＳセンサ１０５８が使用されてもよい。
【0166】
少なくとも一実施例では、車両１０００はさらに、ＲＡＤＡＲセンサ１０６０を含んでもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、暗闇及び／又は厳しい気象条件の中でも、長距離の車両検出を行うために車両１０００によって使用されてもよい。少なくとも一実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであってもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、制御のために（たとえば、ＲＡＤＡＲセンサ１０６０によって生成されたデータを送信するために）、また物体追跡データにアクセスするために、ＣＡＮバス及び／又はバス１００２を使用してもよく、いくつかの例では、未加工データにアクセスするためにイーサネット（登録商標）チャネルにアクセスできる。少なくとも一実施例では、多様なタイプのＲＡＤＡＲセンサが使用されてもよい。たとえば限定することなく、ＲＡＤＡＲセンサ１０６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であってもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０のうちの１つ又は複数のセンサは、パルス・ドップラＲＡＤＡＲセンサである。
【0167】
少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、狭視野の長距離、広視野の短距離、側面を網羅する短距離など、異なる構成を含んでもよい。少なくとも一実施例では、長距離ＲＡＤＡＲは、アダプティブ・クルーズ・コントロール機能のために使用されてもよい。少なくとも一実施例では、長距離ＲＡＤＡＲシステムは、２つ以上の独立した走査によって実現される２５０ｍ（メートル）の範囲内などの広視野を提供してもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１０６０は、静的物体と移動している物体とを区別しやすくしてもよく、緊急ブレーキ支援及び前方衝突警告を行うためにＡＤＡＳシステム１０３８によって使用されてもよい。少なくとも一実施例では、長距離ＲＡＤＡＲシステムに含まれるセンサ１０６０は、複数の（たとえば６つ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースを有するモノスタティックのマルチモードＲＡＤＡＲを、限定することなく含んでもよい。少なくとも一実施例では、６つのアンテナがある場合、中央の４つのアンテナは、隣接した車線からの干渉が最小の状態で、より高速で車両１０００の周囲を記録するように設計された集中したビーム・パターンを生成してもよい。少なくとも一実施例では、他の２つのアンテナは、視野を拡張してもよく、車両１０００の車線に入る又はそこから出る車両を迅速に検出するのを可能にする。
【0168】
少なくとも一実施例では、中距離ＲＡＤＡＲシステムは、一例として最大１６０ｍ（前方）、又は８０ｍ（後方）の範囲、及び最大４２度（前方）、又は１５０度（後方）の視野を含んでもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、限定することなく、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１０６０を含んでもよい。後方バンパの両端部に設置されたとき、少なくとも一実施例では、ＲＡＤＡＲセンサ・システムは、後方向及び車両隣の死角を常に監視する２本のビームを生成してもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援を行うために、ＡＤＡＳシステム１０３８において使用されてもよい。
【0169】
少なくとも一実施例では、車両１０００はさらに、超音波センサ１０６２を含んでもよい。少なくとも一実施例では、超音波センサ１０６２は、車両１０００の前方、後方、及び／又は側方位置に配置されてもよく、駐車支援のため、且つ／又は占有グリッドを生成し更新するために使用されてもよい。少なくとも一実施例では、多様な超音波センサ１０６２が使用されてもよく、異なる検出範囲（たとえば、２．５ｍ、４ｍ）には異なる超音波センサ１０６２が使用されてもよい。少なくとも一実施例では、超音波センサ１０６２は、機能的安全性レベルＡＳＩＬ Ｂで動作してもよい。
【0170】
少なくとも一実施例では、車両１０００は、ＬＩＤＡＲセンサ１０６４を含んでもよい。少なくとも一実施例では、ＬＩＤＡＲセンサ１０６４は、物体及び歩行者の検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用されてもよい。少なくとも一実施例では、ＬＩＤＡＲセンサ１０６４は、機能的安全性レベルＡＳＩＬ Ｂで動作してもよい。少なくとも一実施例では、車両１０００は、複数のＬＩＤＡＲセンサ１０６４（たとえば、２つ、４つ、６つなど）を含んでもよく、これらのセンサは、（たとえばデータをギガビット・イーサネット（登録商標）・スイッチに提供するために）イーサネット（登録商標）チャネルを使用してもよい。
【0171】
少なくとも一実施例では、ＬＩＤＡＲセンサ１０６４は、３６０度の視野について、物体及びそれらの距離のリストを提供可能であってもよい。少なくとも一実施例では、市販のＬＩＤＡＲセンサ１０６４は、たとえば宣伝された範囲がおおよそ１００ｍであり、精度が２ｃｍ～３ｃｍであり、１００Ｍｂｐｓのイーサネット（登録商標）接続をサポートしてもよい。少なくとも一実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサが使用されてもよい。こうした実施例では、ＬＩＤＡＲセンサ１０６４は、車両１０００の前方、後方、側方、及び／又は角位置に組み込むことができる小さいデバイスを含んでもよい。少なくとも一実施例では、こうした実施例のＬＩＤＡＲセンサ１０６４は、最大１２０度の水平視野、及び３５度の垂直視野を、低反射性の物体に対しても２００ｍの範囲で提供してもよい。少なくとも一実施例では、前方に取り付けられたＬＩＤＡＲセンサ１０６４は、４５度～１３５度の水平視野をもたらすように構成されてもよい。
【0172】
少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用されてよい。少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信源として使用して、車両１０００の周囲を最大でおおよそ２００ｍまで照射する。少なくとも一実施例では、フラッシュＬＩＤＡＲユニットは、限定することなくレセプタを含み、このレセプタは、レーザ・パルスの通過時間及び各ピクセルにおける反射光を記録し、それらは、車両１０００から物体までの範囲に対応する。少なくとも一実施例では、フラッシュＬＩＤＡＲによって、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成できるようになる。少なくとも一実施例では、４つのフラッシュＬＩＤＡＲが、車両１０００の各側面に１つ導入されてもよい。少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲシステムは、ファン以外に可動部品のない半導体３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）のＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を、限定することなく含む。少なくとも一実施例では、フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（目に安全な）レーザ・パルスを使用してもよく、３Ｄ範囲の点群及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データとして反射レーザ光を捕捉してもよい。
【0173】
少なくとも一実施例では、車両１０００はさらにＩＭＵセンサ１０６６を含んでもよい。少なくとも一実施例では、ＩＭＵセンサ１０６６は、車両１０００の後方車軸の中央に位置付けられてもよい。少なくとも一実施例では、ＩＭＵセンサ１０６６は、たとえば限定することなく、加速度計、磁力計、ジャイロスコープ、磁気コンパス、複数の磁気コンパス及び／又は他のタイプのセンサを含んでもよい。６軸の用途など少なくとも一実施例では、ＩＭＵセンサ１０６６は限定することなく、加速度計及びジャイロスコープを含んでもよい。９軸の用途など少なくとも一実施例では、ＩＭＵセンサ１０６６は限定することなく、加速度計、ジャイロスコープ、及び磁力計を含んでもよい。
【0174】
少なくとも一実施例では、ＩＭＵセンサ１０６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進のＫａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装されてもよい。少なくとも一実施例では、ＩＭＵセンサ１０６６により、車両１０００は、速度変化を直接観察しそれをＧＰＳからＩＭＵセンサ１０６６に相関させることによって、磁気センサからの入力を必要とせずに車両１０００の方位を推定できるようになる。少なくとも一実施例では、ＩＭＵセンサ１０６６及びＧＮＳＳセンサ１０５８は、単一の統合ユニットに組み合わされてもよい。
【0175】
少なくとも一実施例では、車両１０００は、車両１０００の中及び／又はその周りに設置されたマイクロフォン１０９６を含んでもよい。少なくとも一実施例では、マイクロフォン１０９６は、とりわけ緊急車両の検出及び識別のために使用されてもよい。
【0176】
少なくとも一実施例では、車両１０００はさらに、ステレオ・カメラ１０６８、広角カメラ１０７０、赤外線カメラ１０７２、周囲カメラ１０７４、長距離カメラ１０９８、中距離カメラ１０７６、及び／又は他のカメラ・タイプを含む任意の数のカメラ・タイプを含んでもよい。少なくとも一実施例では、カメラは、車両１０００の全周囲の周りで画像データを捕捉するために使用されてもよい。少なくとも一実施例では、どのタイプのカメラが使用されるかは、車両１０００に応じて異なる。少なくとも一実施例では、車両１０００の周りで必要な被写域を提供するために、カメラ・タイプの任意の組合せが使用されてもよい。少なくとも一実施例では、導入されるカメラの数は、実施例に応じて異なってもよい。たとえば、少なくとも一実施例では、車両１０００は６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。少なくとも一実施例では、カメラは、一例として限定することなく、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）通信をサポートしてもよい。少なくとも一実施例では、各カメラは、図１０Ａ及び図１０Ｂに関して本明細書でさらに詳細に上で説明されているようであり得る。
【0177】
少なくとも一実施例では、車両１０００はさらに、振動センサ１０４２を含んでもよい。少なくとも一実施例では、振動センサ１０４２は、車軸など、車両１０００の構成要素の振動を測定してもよい。たとえば、少なくとも一実施例では、振動の変化は、路面の変化を示すことがある。少なくとも一実施例では、２つ以上の振動センサ１０４２が使用される場合には、路面の摩擦又はすべり量を判定するために振動の差が使用されてもよい（たとえば、動力により駆動される車軸と自由回転する車軸との間に振動差がある場合）。
【0178】
少なくとも一実施例では、車両１０００は、ＡＤＡＳシステム１０３８を含んでもよい。少なくとも一実施例では、ＡＤＡＳシステム１０３８は、限定することなく、いくつかの例においてＳｏＣを含んでもよい。少なくとも一実施例では、ＡＤＡＳシステム１０３８は、限定することなく、任意の数及び任意の組合せの、自律／アダプティブ／自動のクルーズ・コントロール（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型アダプティブ・クルーズ・コントロール（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面衝突警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システム、車線逸脱警告（「ＬＤＷ」：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／又は他のシステム、特徴、及び／若しくは機能を含んでもよい。
【0179】
少なくとも一実施例では、ＡＣＣシステムは、ＲＡＤＡＲセンサ１０６０、ＬＩＤＡＲセンサ１０６４、及び／又は任意の数のカメラを使用してもよい。少なくとも一実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含んでもよい。少なくとも一実施例では、縦方向ＡＣＣシステムは、車両１０００の直前の別の車両までの距離を監視及び制御し、車両１０００のスピードを自動的に調節して、前の車両からの安全な距離を維持する。少なくとも一実施例では、横方向ＡＣＣシステムは、距離の維持を実行し、必要なときに車線変更するよう車両１０００に通知する。少なくとも一実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなどの他のＡＤＡＳ用途に関係する。
【0180】
少なくとも一実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクにより、又は間接的にネットワーク接続を介して（たとえばインターネットを介して）、他の車両からネットワーク・インターフェース１０２４及び／又はワイヤレス・アンテナ１０２６により受信されてもよい。少なくとも一実施例では、車車間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって直接リンクが提供されてもよく、一方インフラストラクチャ車間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって間接リンクが提供されてもよい。一般に、Ｖ２Ｖ通信は、すぐ前の先行車両（たとえば、車両１０００のすぐ前で同じ車線にいる車両）についての情報を提供し、Ｉ２Ｖ通信は、さらにその前の交通についての情報を提供する。少なくとも一実施例では、ＣＡＣＣシステムは、Ｉ２ＶとＶ２Ｖの情報源のいずれか又は両方を含んでもよい。少なくとも一実施例では、車両１０００の前の車両についての情報があれば、ＣＡＣＣシステムは信頼性をさらに高めることができ、交通の流れをより円滑にし、路上での渋滞を低減できる可能性を有する。
【0181】
少なくとも一実施例では、ＦＣＷシステムは、危険物に対してドライバに忠告するように設計され、それによりこうしたドライバは修正措置を取ることができる。少なくとも一実施例では、ＦＣＷシステムは正面カメラ及び／又はＲＡＤＡＲセンサ１０６０を使用し、これらは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックを提供するように電気的に結合されている専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＦＣＷシステムは、音、視覚的警告、振動、及び／又はクイック・ブレーキ・パルスなどの形で警告を提供してもよい。
【0182】
少なくとも一実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った正面衝突を検出し、指定された時間内又は距離パラメータ内にドライバが修正措置を取らない場合には、自動でブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された正面カメラ及び／又はＲＡＤＡＲセンサ１０６０を使用してもよい。少なくとも一実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは通常、修正措置を取って衝突を避けるよう最初にドライバに忠告し、ドライバが修正措置を取らない場合には、ＡＥＢシステムは、予測される衝突を防ぐ又は少なくともその衝撃を軽減するために自動的にブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突直前ブレーキなどの技法を含んでもよい。
【0183】
少なくとも一実施例では、ＬＤＷシステムは、車両１０００が車線の目印に交差したときにドライバに忠告するために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的な警告を提供する。少なくとも一実施例では、ドライバが方向指示器を作動させることなどによって意図的な車線逸脱を示す場合には、ＬＤＷシステムは作動しない。少なくとも一実施例では、ＬＤＷシステムは、正面カメラを使用してもよく、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックを提供するように電気的に結合することができる専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。少なくとも一実施例では、ＬＫＡシステムは、車両１０００が車両１０００の車線からはみ出し始めた場合に、車両１０００を修正するように操縦入力又はブレーキ制御を提供する。
【0184】
少なくとも一実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、ドライバに警告する。少なくとも一実施例では、ＢＳＷシステムは、視覚的、聴覚的、及び／又は触覚的なアラートを提供して、合流又は車線変更が安全ではないことを示してもよい。少なくとも一実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供してもよい。少なくとも一実施例では、ＢＳＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された背面カメラ及び／又はＲＡＤＡＲセンサ１０６０を使用してもよく、これらの専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合されている。
【0185】
少なくとも一実施例では、ＲＣＴＷシステムは、車両１０００の後退時に、後方カメラの範囲外に物体が検出されたときに、視覚的、聴覚的、及び／又は触覚的な通知を提供してもよい。少なくとも一実施例では、ＲＣＴＷシステムは、衝突を回避するために確実に車両ブレーキがかけられるように、ＡＥＢシステムを含む。少なくとも一実施例では、ＲＣＴＷシステムは、１つ又は複数の背面ＲＡＤＡＲセンサ１０６０を使用してもよく、これはディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックを提供するように電気的に結合された専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。
【0186】
少なくとも一実施例では、従来のＡＤＡＳシステムは、誤検出結果を出しがちなことがあり、これはドライバにとっては迷惑で気が散るものであり得るが、通常は大したことにはならない。なぜなら、従来のＡＤＡＳシステムは、ドライバに忠告し、安全を要する状態が本当に存在し、それに適宜対応するかどうかを、ドライバが判断できるようにするからである。少なくとも一実施例では、結果が矛盾する場合、一次コンピュータ（たとえば、コントローラ１０３６の第１のコントローラ）からの結果に従うか、又は二次コンピュータ（たとえば、コントローラ１０３６の第２のコントローラ）からの結果に従うかどうかを、車両１０００自体が判断する。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１０３８は、バックアップ・コンピュータの合理性モジュールに知覚情報を抵抗するための、バックアップ及び／又は二次コンピュータであってもよい。少なくとも一実施例では、バックアップ・コンピュータの合理性モニタが、ハードウェア構成要素上の冗長性の多様なソフトウェアを実行して、知覚の誤り及び動的な運転タスクを検出してもよい。少なくとも一実施例では、ＡＤＡＳシステム１０３８からの出力は、監視ＭＣＵに提供されてもよい。少なくとも一実施例では、一次コンピュータからの出力と二次コンピュータからの出力とが矛盾する場合には、監視ＭＣＵが、安全な動作を確保するために矛盾をどのように調和させるかを判定する。
【0187】
少なくとも一実施例では、一次コンピュータは、一次コンピュータの選択した結果の信頼性を示す信頼性スコアを、監視ＭＣＵに提供するように構成されてもよい。少なくとも一実施例では、信頼性スコアが閾値を超える場合には、二次コンピュータが矛盾する又は一貫性のない結果を提供しているかどうかに関わらず、監視ＭＣＵは一次コンピュータの指示に従ってもよい。少なくとも一実施例では、信頼性スコアが閾値を満足せず、一次コンピュータと二次コンピュータが異なる結果（たとえば、矛盾）を示す場合には、監視ＭＣＵは、コンピュータ同士を調停して、適切な結果を判定してもよい。
【0188】
少なくとも一実施例では、二次コンピュータが誤アラームを提供する条件を、一次コンピュータからの出力と二次コンピュータからの出力とに少なくとも部分的に基づき判定するように訓練及び構成されたニューラル・ネットワークを、監視ＭＣＵが実行するように構成されてもよい。少なくとも一実施例では、監視ＭＣＵのニューラル・ネットワークは、二次コンピュータの出力が信用されてもよいときと、信用できないときとを学習してもよい。たとえば、少なくとも一実施例では、二次コンピュータがＲＡＤＡＲベースのＦＣＷシステムである場合、監視ＭＣＵのニューラル・ネットワークは、アラームをトリガする排水溝の格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムが識別するときを学習してもよい。少なくとも一実施例では、二次コンピュータがカメラ・ベースのＬＤＷシステムである場合、自転車や歩行者が存在し、車線逸脱が実際には最も安全な操作であるときに、監視ＭＣＵのニューラル・ネットワークはＬＤＷを無効にするように学習してもよい。少なくとも一実施例では、監視ＭＣＵは、ニューラル・ネットワークを関連するメモリとともに実行するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含んでもよい。少なくとも一実施例では、監視ＭＣＵは、ＳｏＣ１００４の構成要素を備えても、且つ／又はその構成要素として含まれてもよい。
【0189】
少なくとも一実施例では、ＡＤＡＳシステム１０３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能を実行する二次コンピュータを含んでもよい。少なくとも一実施例では、二次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎルール）を使用してもよく、ニューラル・ネットワークが監視ＭＣＵに存在することによって、信頼性、安全性、及び性能が向上してもよい。たとえば、少なくとも一実施例では、多様な実装及び意図的な非同一性により、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）の機能によって生じる誤りに対し、システム全体の誤り耐性が高まる。たとえば、少なくとも一実施例では、一次コンピュータ上で実行中のソフトウェアにバグ又はエラーがあり、二次コンピュータ上で実行中の非同一のソフトウェア・コードが、全体的に一貫性のある結果を提供する場合には、監視ＭＣＵは、全体的な結果が正しく、一次コンピュータ上のソフトウェア又はハードウェアのバグが重大なエラーを引き起こしていないという、より高い信頼性を有してもよい。
【0190】
少なくとも一実施例では、ＡＤＡＳシステム１０３８の出力は、一次コンピュータの知覚ブロック、及び／又は一次コンピュータの動的運転タスクブロックに供給されてもよい。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１０３８が、直前の物体に起因して正面衝突警告を示している場合には、知覚ブロックは、物体を識別するときにこの情報を使用してもよい。少なくとも一実施例では、二次コンピュータは、本明細書に記載するように、訓練済みの、したがって誤検出のリスクを低減する独自のニューラル・ネットワークを有してもよい。
【0191】
少なくとも一実施例では、車両１０００はさらに、インフォテイメントＳｏＣ１０３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ）：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ）を含んでもよい。インフォテイメント・システム１０３０はＳｏＣとして図示及び説明されるが、少なくとも一実施例では、ＳｏＣではなくてもよく、限定することなく２つ以上の個別の構成要素を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、限定することなく、ハードウェアとソフトウェアの組合せを含んでもよく、この組合せを使用して、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、車両関連情報、たとえば燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報など）を車両１０００に提供してもよい。たとえば、インフォテイメントＳｏＣ１０３０は、ラジオ、ディスク再生装置、ナビゲーション・システム、ビデオ再生装置、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー音声制御、ヘッド・アップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１０３４、テレマテックス・デバイス、（たとえば、様々な構成要素、特徴、及び／若しくはシステムを制御及び／若しくは相互作用するための）制御パネル、並びに／又は他の構成要素を含むことができる。少なくとも一実施例では、さらにインフォテイメントＳｏＣ１０３０を使用して、ＡＤＡＳシステム１０３８からの情報、車両操作計画、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報などの（たとえば、視覚的及び／又は聴覚的な）情報が、車両１０００のユーザに提供されてもよい。
【0192】
少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、任意の量及びタイプのＧＰＵ機能を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、バス１００２を介して、車両１０００の他のデバイス、システム、及び／又は構成要素と通信してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は監視ＭＣＵに結合されてもよく、それにより、一次コントローラ１０３６（たとえば、車両１０００の一次及び／又はバックアップのコンピュータ）が故障したときに、インフォテイメント・システムのＧＰＵが、一部の自己運転機能を実行してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１０３０は、本明細書に記載するように、車両１０００を運転手－安全停止モードにしてもよい。
【0193】
少なくとも一実施例では、車両１０００はさらに、計器クラスタ１０３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）を含んでもよい。少なくとも一実施例では、計器クラスタ１０３２は、限定することなく、コントローラ、及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含んでもよい。少なくとも一実施例では、計器クラスタ１０３２は、限定することなく、スピード・メータ、燃料レベル、油圧、タコメータ、オドメータ、方向指示器、シフトレバー位置インジケータ、シート・ベルト警告灯、バーキング・ブレーキ警告灯、エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、ライト制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計器セットを含んでもよい。いくつかの例では、インフォテイメントＳｏＣ１０３０と計器クラスタ１０３２との間で、情報が表示及び／又は共有されてもよい。少なくとも一実施例では、計器クラスタ１０３２は、インフォテイメントＳｏＣ１０３０の一部として含まれてもよく、又はその逆であってもよい。
【0194】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１０Ｃのシステムにおいて使用されてもよい。
【0195】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0196】
図１０Ｄは、少なくとも一実施例による、クラウド・ベースのサーバと図１０Ａの自律車両１０００との間で通信するためのシステムの図である。少なくとも一実施例では、システムは、限定することなく、サーバ１０７８、ネットワーク１０９０、並びに車両１０００を含む任意の数及びタイプの車両を含んでもよい。少なくとも一実施例では、サーバ１０７８は、限定することなく、複数のＧＰＵ１０８４（Ａ）～１０８４（Ｈ）（本明細書ではまとめてＧＰＵ１０８４と呼ぶ）、ＰＣＩｅスイッチ１０８２（Ａ）～１０８２（Ｄ）（本明細書ではまとめてＰＣＩｅスイッチ１０８２と呼ぶ）、及び／又はＣＰＵ１０８０（Ａ）～１０８０（Ｂ）（本明細書ではまとめてＣＰＵ１０８０と呼ぶ）を含んでもよい。少なくとも一実施例では、ＧＰＵ１０８４、ＣＰＵ１０８０、及びＰＣＩｅスイッチ１０８２は、たとえば限定することなく、ＮＶＩＤＩＡにより開発されたＮＶＬｉｎｋインターフェース１０８８、及び／又はＰＣＩｅ接続１０８６などの高速相互接続によって、相互接続されてもよい。少なくとも一実施例では、ＧＰＵ１０８４同士は、ＮＶＬｉｎｋ及び／又はＮＶＳスイッチＳｏＣを介して接続され、ＧＰＵ１０８４とＰＣＩｅスイッチ１０８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ１０８４、２個のＣＰＵ１０８０、及び４個のＰＣＩｅスイッチ１０８２が図示してあるが、これは限定するものではない。少なくとも一実施例では、サーバ１０７８のそれぞれは、限定することなく、任意の数のＧＰＵ１０８４、ＣＰＵ１０８０、及び／又はＰＣＩｅスイッチ１０８２を任意の組合せで含んでもよい。たとえば、少なくとも一実施例では、サーバ１０７８は、それぞれが８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１０８４を含むことができる。
【0197】
少なくとも一実施例では、サーバ１０７８は、最近始まった道路工事などの予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１０９０を介して車両から受信してもよい。少なくとも一実施例では、サーバ１０７８は、更新済み若しくはそうではないニューラル・ネットワーク１０９２及び／又は、限定することなく交通状態及び道路状態に関する情報を含む地図情報１０９４を、ネットワーク１０９０を介して車両に送信してもよい。少なくとも一実施例では、地図情報１０９４の更新は、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１０２２に対する更新を、限定することなく含んでもよい。少なくとも一実施例では、ニューラル・ネットワーク１０９２及び／又は地図情報１０９４は、環境内の任意の数の車両から受信したデータに表された新しい訓練及び／又は経験から得られたものであってもよく、且つ／又は、データ・センタにおいて（たとえば、サーバ１０７８及び／又は他のサーバを使用して）実行された訓練に少なくとも部分的に基づき、得られたものであってもよい。
【0198】
少なくとも一実施例では、サーバ１０７８を使用して、訓練データに少なくとも部分的に基づき、機械学習モデル（たとえば、ニューラル・ネットワーク）が訓練されてもよい。少なくとも一実施例では、訓練データは車両によって生成されてもよく、且つ／又はシミュレーションで（たとえば、ゲーム・エンジンを使用して）生成されてもよい。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習により恩恵を受ける場合には）任意の量の訓練データがタグ付けされ、且つ／又は他の前処理を受ける。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合には）任意の量の訓練データはタグ付け及び／又は前処理されない。少なくとも一実施例では、機械学習モデルが訓練されると、機械学習モデルは車両によって使用されてもよく（たとえば、ネットワーク１０９０を介して車両に送信されてもよく、且つ／又は機械学習モデルは、車両を遠隔監視するためにサーバ１０７８によって使用されてもよい。
【0199】
少なくとも一実施例では、サーバ１０７８は車両からデータを受信し、リアル・タイムの知的推論ができるように、最新のリアル・タイムのニューラル・ネットワークにデータを適用してもよい。少なくとも一実施例では、サーバ１０７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１０８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含んでもよい。しかし、少なくとも一実施例では、サーバ１０７８は、ＣＰＵにより動くデータ・センタを使用する深層学習インフラストラクチャを含んでもよい。
【0200】
少なくとも一実施例では、サーバ１０７８の深層学習インフラストラクチャは、高速のリアル・タイムの推論が可能であってもよく、その機能を使用して、車両１０００のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの健全性を評価及び確認してもよい。たとえば、少なくとも一実施例では、深層学習インフラストラクチャは、一連の画像、及び／又はその一連の画像において（たとえば、コンピュータ・ビジョン及び／又は他の機械学習の物体分類技法により）車両１０００が位置特定した物体など、周期的な更新を車両１０００から受信してもよい。少なくとも一実施例では、深層学習インフラストラクチャは、独自のニューラル・ネットワークを実行して物体を識別し、それを車両１０００によって識別された物体と比較してもよく、結果が一致せず、車両１０００のＡＩが故障していると深層学習インフラストラクチャが結論づけた場合には、サーバ１０７８は、車両１０００のフェイル・セーフ・コンピュータに制御を掌握し、乗員に通知し、安全な停車操作を完了するよう命じる信号を車両１０００に送信してもよい。
【0201】
少なくとも一実施例では、サーバ１０７８は、ＧＰＵ１０８４、及び１つ又は複数のプログラム可能な推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３デバイス）を含んでもよい。少なくとも一実施例では、ＧＰＵにより動くサーバと、推論の加速とを組み合わせることによって、リアル・タイムの応答を可能にすることができる。性能がそれほど重要ではない場合など、少なくとも一実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサにより動くサーバが、推論に使用されてもよい。少なくとも一実施例では、１つ又は複数の実施例を実行するために、ハードウェア構造体７１５が使用される。ハードウェア構造体７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。
【0202】
コンピュータ・システム
図１１は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれらの何らかの組合せを有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム１１００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ１１０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム１１００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、ＸｅｏｎＴＭ、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅＴＭ及び／又はＳｔｒｏｎｇＡＲＭＴＭ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム１１００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
図１１は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれらの何らかの組合せを有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム１１００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ１１０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム１１００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、ＸｅｏｎＴＭ、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅＴＭ及び／又はＳｔｒｏｎｇＡＲＭＴＭ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム１１００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
【0203】
実施例は、携帯型デバイス及び組み込みアプリケーションなど、他のデバイスで使用されてもよい。携帯型デバイスのいくつかの例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、及び携帯型ＰＣを含む。少なくとも一実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒｓ）、セット・トップ・ボックス、ネットワーク・ハブ、広域ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも一実施例による１つ又は複数の命令を実行することができる任意の他のシステムを含んでもよい。
【0204】
少なくとも一実施例では、コンピュータ・システム１１００は、限定することなくプロセッサ１１０２を含んでもよく、このプロセッサ１１０２は限定することなく、本明細書に記載の技法による機械学習モデルの訓練及び／又は推論を実行するための１つ又は複数の実行ユニット１１０８を含んでもよい。少なくとも一実施例では、コンピュータ・システム１１００は、シングル・プロセッサのデスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム１１００はマルチプロセッサ・システムであってもよい。少なくとも一実施例では、プロセッサ１１０２は、限定することなく、複合命令セット・コンピュータ（「ＣＩＳＣ」：complex instruction set computer）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は任意の他のプロセッサ・デバイス、たとえばデジタル信号プロセッサなどを含んでもよい。少なくとも一実施例では、プロセッサ１１０２は、プロセッサ・バス１１１０に結合されてもよく、このプロセッサ・バスは、プロセッサ１１０２とコンピュータ・システム１１００内の他の構成要素との間でデジタル信号を送信してもよい。
【0205】
少なくとも一実施例では、プロセッサ１１０２は、限定することなく、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）１１０４を含んでもよい。少なくとも一実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ１１０２の外部にあってもよい。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せも含んでよい。少なくとも一実施例では、レジスタ・ファイル１１０６は、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタを限定することなく含む様々レジスタに、異なるタイプのデータを記憶してもよい。
【0206】
少なくとも一実施例では、整数及び浮動小数点の演算を実行するための論理を限定することなく含む実行ユニット１１０８も、プロセッサ１１０２にある。少なくとも一実施例では、プロセッサ１１０２は、ある一定のマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）も含んでよい。少なくとも一実施例では、実行ユニット１１０８は、パック命令セット１１０９に対処する論理を含んでもよい。少なくとも一実施例では、パック命令セット１１０９を、命令を実行する関連回路とともに汎用プロセッサの命令セットに含めることにより、多くのマルチメディア・アプリケーションによって使用される演算を、プロセッサ１１０２のパック・データを使用して実行することができる。少なくとも一実施例では、プロセッサのデータ・バスの全幅を使用してパック・データの演算を実行することによって、多くのマルチメディア・アプリケーションを加速し、より効率的に実行することができ、これにより、１度に１つのデータ要素に対して１つ又は複数の演算を実行するためにプロセッサのデータ・バス間でより小さい単位のデータを転送する必要をなくすことができる。
【0207】
少なくとも一実施例では、実行ユニット１１０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用されてもよい。少なくとも一実施例では、コンピュータ・システム１１００は、限定することなくメモリ１１２０を含んでもよい。少なくとも一実施例では、メモリ１１２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスであってもよい。少なくとも一実施例では、メモリ１１２０は、プロセッサ１１０２によって実行されてもよいデータ信号によって表される命令１１１９、及び／又はデータ１１２１を記憶してもよい。
【0208】
少なくとも一実施例では、システム論理チップが、プロセッサ・バス１１１０及びメモリ１１２０に結合されてもよい。少なくとも一実施例では、システム論理チップは、限定することなく、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１１６を含んでもよく、プロセッサ１１０２は、プロセッサ・バス１１１０を介してＭＣＨ１１１６と通信してもよい。少なくとも一実施例では、ＭＣＨ１１１６は、命令及びデータを記憶するため、及びグラフィックス・コマンド、データ、及びテクスチャを記憶するために、高帯域幅メモリ経路１１１８をメモリ１１２０に提供してもよい。少なくとも一実施例では、ＭＣＨ１１１６は、プロセッサ１１０２と、メモリ１１２０と、コンピュータ・システム１１００の他の構成要素との間でデータ信号を導き、プロセッサ・バス１１１０と、メモリ１１２０と、システムＩ／Ｏインターフェース１１２２との間でデータ信号をブリッジしてもよい。少なくとも一実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供してもよい。少なくとも一実施例では、ＭＣＨ１１１６は、高帯域幅メモリ経路１１１８を介してメモリ１１２０に結合されてもよく、グラフィックス／ビデオカード１１１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続１１１４を介してＭＣＨ１１１６に結合されてもよい。
【0209】
少なくとも一実施例では、コンピュータ・システム１１００は、ＭＣＨ１１１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスとしてシステムＩ／Ｏインターフェース１１２２を使用してもよい。少なくとも一実施例では、ＩＣＨ１１３０は、ローカルのＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供してもよい。少なくとも一実施例では、ローカルＩ／Ｏバスは、周辺装置をメモリ１１２０、チップセット、及びプロセッサ１１０２に接続するための高速Ｉ／Ｏバスを、限定することなく含んでもよい。例としては、オーディオ・コントローラ１１２９、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）１１２８、ワイヤレス・トランシーバ１１２６、データ・ストレージ１１２４、ユーザ入力及びキーボードのインターフェース１１２５を含むレガシーＩ／Ｏコントローラ１１２３、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどのシリアル拡張ポート１１２７、及びネットワーク・コントローラ１１３４が、限定することなく含まれてもよい。少なくとも一実施例では、データ・ストレージ１１２４は、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備えてもよい。
【0210】
少なくとも一実施例では、図１１は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図１１は例示的なＳｏＣを示してもよい。少なくとも一実施例では、図１１で示すデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、コンピュータ・システム１１００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続されてもよい。
【0211】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１１のシステムにおいて使用されてもよい。
【0212】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0213】
図１２は、少なくとも一実施例による、プロセッサ１２１０を利用するための電子デバイス１２００を示すブロック図である。少なくとも一実施例では、電子デバイス１２００は、たとえば限定することなく、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであってもよい。
【0214】
少なくとも一実施例では、電子デバイス１２００は、任意の好適な数又は種類の構成要素、周辺装置、モジュール、若しくはデバイスに通信可能に結合されたプロセッサ１２１０を、限定することなく含んでもよい。少なくとも一実施例では、プロセッサ１２１０は、Ｉ２Ｃバス、システム・マネージメント・バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル・ペリフェラル・インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ハイ・デフィニション・オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３など）、又はユニバーサル非同期レシーバ／トランスミッタ（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなどのバス若しくはインターフェースを使用して結合される。少なくとも一実施例では、図１２は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図１２は例示的なＳｏＣを示してもよい。少なくとも一実施例では、図１２に示すデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、図１２の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続されてもよい。
【0215】
少なくとも一実施例では、図１２は、ディスプレイ１２２４、タッチ画面１２２５、タッチ・パッド１２３０、近距離無線通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｕｎｉｔ）１２４５、センサ・ハブ１２４０、熱センサ１２４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１２３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１２３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１２２２、ＤＳＰ１２６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）若しくはハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１２２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ ｕｎｉｔ）１２５０、Ｂｌｕｅｔｏｏｔｈユニット１２５２、ワイヤレス広域ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ ｕｎｉｔ）１２５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット１２５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１２５４、及び／又は、たとえばＬＰＤＤＲ３規格に実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１２１５を含んでもよい。これらの構成要素は、それぞれ任意の好適なやり方で実装されてもよい。
【0216】
少なくとも一実施例では、上述した構成要素を介して、他の構成要素がプロセッサ１２１０に通信可能に結合されてもよい。少なくとも一実施例では、加速度計１２４１、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１２４２、コンパス１２４３、及びジャイロスコープ１２４４が、センサ・ハブ１２４０に通信可能に結合されてもよい。少なくとも一実施例では、熱センサ１２３９、ファン１２３７、キーボード１２３６、及びタッチ・パッド１２３０が、ＥＣ１２３５に通信可能に結合されてもよい。少なくとも一実施例では、スピーカ１２６３、ヘッドフォン１２６４、及びマイクロフォン（「ｍｉｃ」）１２６５が、オーディオ・ユニット（オーディオ・コーデック及びクラスＤアンプ）１２６２に通信可能に結合されてもよく、このオーディオ・ユニットが、ＤＳＰ１２６０に通信可能に結合されてもよい。少なくとも一実施例では、オーディオ・ユニット１２６２は、たとえば限定することなく、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤアンプリファイアを含んでもよい。少なくとも一実施例では、ＳＩＭカード（「ＳＩＭ」）１２５７は、ＷＷＡＮユニット１２５６に通信可能に結合されてもよい。少なくとも一実施例では、ＷＬＡＮユニット１２５０及びＢｌｕｅｔｏｏｔｈユニット１２５２などの構成要素、並びにＷＷＡＮ１２５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）に実装されてもよい。
【0217】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１２のシステムにおいて使用されてもよい。
【0218】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0219】
図１３は、少なくとも一実施例による、コンピュータ・システム１３００を示す。少なくとも一実施例では、コンピュータ・システム１３００は、本開示全体を通して説明する様々なプロセス及び方法を実装するように構成される。
【0220】
少なくとも一実施例では、コンピュータ・システム１３００は、限定することなく、少なくとも１つの中央処理装置（「ＣＰＵ」）１３０２を含み、この処理装置は、ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（「ペリフェラル・コンポーネント・インターコネクト」）、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩ－Ｅｘｐｒｅｓｓ」：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）、ＡＧＰ：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（「アクセラレーテッド・グラフィックス・ポート」）、ハイパートランスポート、又は任意の他のバス若しくはポイントツーポイントの通信プロトコルなど、任意の好適なプロトコルを使用して実装された通信バス１３１０に接続される。少なくとも一実施例では、コンピュータ・システム１３００は、メイン・メモリ１３０４、及び（たとえば、ハードウェア、ソフトウェア、又はこれらの組合せとして実装される）制御論理を限定することなく含み、データは、ランダム・アクセス・メモリ（「ＲＡＭ」：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）の形をとってもよいメイン・メモリ１３０４に記憶される。少なくとも一実施例では、ネットワーク・インターフェース・サブシステム（「ネットワーク・インターフェース」）１３２２は、コンピュータ・システム１３００を有する他のシステムからデータを受信し、コンピュータ・システム１３００を有する他のシステムにデータを送信するための他のコンピューティング・デバイス及びネットワークとのインターフェースを提供する。
【0221】
少なくとも一実施例では、コンピュータ・システム１３００は、少なくとも一実施例では、限定することなく、入力デバイス１３０８、パラレル処理システム１３１２、及びディスプレイ・デバイス１３０６を含み、このディスプレイ・デバイスは、従来の陰極線管（「ＣＲＴ」：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、液晶ディスプレイ（「ＬＣＤ」：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（「ＬＥＤ」：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、プラズマ・ディスプレイ、又は他の好適なディスプレイ技術を使用して実装することができる。少なくとも一実施例では、ユーザ入力は、キーボード、マウス、タッチ・パッド、マイクロフォンなどの入力デバイス１３０８から受け取る。少なくとも一実施例では、本明細書に記載の各モジュールを単一の半導体プラットフォームに置いて、処理システムを形成することができる。
【0222】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１３のシステムにおいて使用されてもよい。
【0223】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0224】
図１４は、少なくとも一実施例によるコンピュータ・システム１４００を示す。少なくとも一実施例では、コンピュータ・システム１４００は、限定することなく、コンピュータ１４１０及びＵＳＢスティック１４２０を含んでもよい。少なくとも一実施例では、コンピュータ・システム１４１０は、限定することなく、任意の数及びタイプのプロセッサ（図示せず）、並びにメモリを含んでもよい。少なくとも一実施例では、コンピュータ１４１０は、限定することなく、サーバ、クラウド・インスタンス、ラップトップ、及びデスクトップ・コンピュータを含む。
【0225】
少なくとも一実施例では、ＵＳＢスティック１４２０は、限定することなく、処理ユニット１４３０、ＵＳＢインターフェース１４４０、及びＵＳＢインターフェース論理１４５０を含む。少なくとも一実施例では、処理ユニット１４３０は、命令を実行することができる任意の命令実行システム、装置、又はデバイスであってもよい。少なくとも一実施例では、処理ユニット１４３０は、限定することなく、任意の数及びタイプの処理コア（図示せず）を含んでもよい。少なくとも一実施例では、処理ユニット１４３０は、機械学習に関連する任意の量及びタイプの演算を実行するように最適化された特定用途向け集積回路（「ＡＳＩＣ」）を備える。たとえば、少なくとも一実施例では、処理ユニット１４３０は、機械学習の推論演算を実行するように最適化されたテンソル処理ユニット（「ＴＰＣ」：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）である。少なくとも一実施例では、処理ユニット１４３０は、機械視覚及び機械学習の推論演算を実行するように最適化された視覚処理ユニット（「ＶＰＵ」）である。
【0226】
少なくとも一実施例では、ＵＳＢインターフェース１４４０は、任意のタイプのＵＳＢコネクタ又はＵＳＢソケットであってもよい。たとえば、少なくとも一実施例では、ＵＳＢインターフェース１４４０は、データ及び電源用のＵＳＢ３．０ Ｔｙｐｅ－Ｃのソケットである。少なくとも一実施例では、ＵＳＢインターフェース１４４０は、ＵＳＢ３．０ Ｔｙｐｅ－Ａのコネクタである。少なくとも一実施例では、ＵＳＢインターフェース論理１４５０は、処理ユニット１４３０がＵＳＢコネクタ１４４０を介してデバイス（たとえばコンピュータ１４１０）と又はインターフェースをとることを可能にする任意の量及びタイプの論理を含んでもよい。
【0227】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１４のシステムにおいて使用されてもよい。
【0228】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しく複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0229】
図１５Ａは、複数のＧＰＵ１５１０（１）～１５１０（Ｎ）が、高速リンク１５４０（１）～１５４０（Ｎ）（たとえば、バス、ポイントツーポイント相互接続など）を介して複数のマルチ・コア・プロセッサ１５０５（１）～１５０５（Ｍ）に通信可能に結合されている例示的なアーキテクチャを示す。少なくとも一実施例では、高速リンク１５４０（１）～１５４０（Ｎ）は、４ＧＢ／秒、３０ＧＢ／秒、８０ＧＢ／秒、又はそれ以上の通信スループットをサポートする。少なくとも一実施例では、ＰＣＩｅ４．０又は５．０及びＮＶＬｉｎｋ２．０を含むがこれらに限定されない様々な相互接続プロトコルが使用されてもよい。様々な図において、「Ｎ」及び「Ｍ」は、正の整数表し、その値は図ごとに異なってもよい。少なくとも一実施例では、複数のＧＰＵ１５１０（１）～１５１０（Ｎ）における１つ又は複数のＧＰＵとしては、図１８Ａ及び１８Ｂに開示している通りの１つ又は複数のグラフィックス・コア（単に「コア」ともされる）が挙げられる。少なくとも一実施例では、１つ又は複数のグラフィックス・コア１８００は、ストリーミング・マルチプロセッサ（「ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ」）、ストリーム・プロセッサ（「ＳＰ：Ｓｔｒｅａｍ Ｐｒｏｃｅｓｓｏｒ」）、ストリーム処理ユニット（「ＳＰＵ：Ｓｔｒｅａｍ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」）、計算ユニット（「ＣＵ：Ｃｏｍｐｕｔｅ Ｕｎｉｔ」）、実行ユニット（「ＥＵ：Ｅｘｅｃｕｔｉｏｎ Ｕｎｉｔ」）、及び／又はスライスとされる場合があり、この場合のスライスとは、処理ユニットにおける処理リソースの一部（たとえば、１６個のコア、レイ・トレーシング・ユニット、スレッド・ディレクタ又はスレッド・スケジューラ）のことであってもよい。
【0230】
さらに、少なくとも一実施例では、ＧＰＵ１５１０のうちの２つ以上は高速リンク１５２９（１）～１５２９（２）を介して相互接続され、これらは、高速リンク１５４０（１）～１５４０（Ｎ）に使用されたものと同様の又は異なるプロトコル／リンクを使用して実装されてもよい。同様に、マルチ・コア・プロセッサ１５０５のうちの２つ以上は、高速リンク１５２８を介して接続されてもよく、この高速リンク１５２８は、２０ＧＢ／秒、３０ＧＢ／秒、１２０ＧＢ／秒、又はそれ以上で動作する対称型マルチプロセッサ（ＳＭＰ）バスとすることができる。或いは、図１５Ａに示す様々なシステム構成要素間のすべての通信は、同様のプロトコル／リンクを使用して（たとえば、共通の相互接続ファブリックを介して）実現されてもよい。
【0231】
少なくとも一実施例では、各マルチ・コア・プロセッサ１５０５は、それぞれメモリ相互接続１５２６（１）～１５２６（Ｍ）を介してプロセッサ・メモリ１５０１（１）～１５０１（Ｍ）に通信可能に結合され、各ＧＰＵ１５１０（１）～１５１０（Ｎ）は、それぞれＧＰＵメモリ・相互接続１５５０（１）～１５５０（Ｎ）を介してＧＰＵメモリ１５２０（１）～１５２０（Ｎ）に通信可能に結合される。少なくとも一実施例では、メモリ相互接続１５２６及び１５５０は、同様の又は異なるメモリ・アクセス技術を利用してもよい。例として、限定ではなく、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）及びＧＰＵメモリ１５２０は、（積層ＤＲＡＭを含む）ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、グラフィックスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。少なくとも一実施例では、（たとえば、２レベルのメモリ（２ＬＭ）階層を使用して）、プロセッサ・メモリ１５０１のいくつかの部分は揮発性メモリであってもよく、別の部分は不揮発性メモリであってもよい。
【0232】
本明細書に記載するように、様々なマルチ・コア・プロセッサ１５０５及びＧＰＵ１５１０は、それぞれ特定のメモリ１５０１、１５２０に物理的に結合されてもよい、及び／又は仮想システムのアドレス空間（「実効アドレス」空間とも呼ぶ）が様々な物理メモリ間に分配されている統合されたメモリ・アーキテクチャが実装されてもよい。たとえば、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）はそれぞれ、６４ＧＢのシステム・メモリ・アドレス空間を備えてもよく、ＧＰＵメモリ１５２０（１）～１５２０（Ｎ）はそれぞれ、３２ＧＢのシステム・メモリ・アドレス空間を備えてもよく、Ｍ＝２でＮ＝４の場合、合計２５６ＧＢのアドレス指定可能メモリが得られる。Ｎ及びＭについて他の値が考えられる。
【0233】
図１５Ｂは、１つの例示的な実施例によるマルチ・コア・プロセッサ１５０７とグラフィックス加速モジュール１５４６との相互接続のさらなる詳細事項を示す。少なくとも一実施例では、グラフィックス加速モジュール１５４６は、高速リンク１５４０（たとえば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を介してプロセッサ１５０７に結合されるライン・カードに集積された１つ又は複数のＧＰＵチップを含んでもよい。少なくとも一実施例では、或いは、グラフィックス加速モジュール１５４６は、プロセッサ１５０７を有するパッケージ又はチップに集積されてもよい。
【0234】
少なくとも一実施例では、プロセッサ１５０７には、複数のコア１５６０Ａ～１５６０Ｄ（「実行ユニット」とされてもよい）が含まれ、各コアはトランスレーション・ルックアサイド・バッファ（「ＴＬＢ：Ｔｒａｎｓｌａｔｉｏｎ Ｌｏｏｋａｓｉｄｅ Ｂｕｆｆｅｒ）と１つ又は複数のキャッシュ１５６２Ａ～１５６２Ｄとで構成されている。少なくとも一実施例では、コア１５６０Ａ～１５６０Ｄは、命令を実行しデータを処理するための、図示していない様々な他の構成要素を含んでもよい。少なくとも一実施例では、キャッシュ１５６２Ａ～１５６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）のキャッシュを備えてもよい。さらに、１つ又は複数の共有キャッシュ１５５６が、キャッシュ１５６２Ａ～１５６２Ｄに含まれ、コア１５６０Ａ～１５６０Ｄのセットによって共有されてもよい。たとえば、プロセッサ１５０７の一実施例は、２４個のコアを含み、各コアが、独自のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ、及び１２個の共有Ｌ３キャッシュを有する。この実施例では、１つ又は複数のＬ２及びＬ３のキャッシュが、２つの隣接するコアによって共有される。少なくとも一実施例では、プロセッサ１５０７及びグラフィックス加速モジュール１５４６は、システム・メモリ１５１４に接続されており、このシステム・メモリは、図１５Ａのプロセッサ・メモリ１５０１（１）～１５０１（Ｍ）を含んでもよい。
【0235】
少なくとも一実施例では、様々なキャッシュ１５６２Ａ～１５６２Ｄ、１５５６、及びシステム・メモリ１５１４に記憶されたデータ及び命令については、コヒーレンス・バス１５６４を介したコア間通信によって、コヒーレンスが維持される。少なくとも一実施例では、たとえば、各キャッシュは、特定のキャッシュ・ラインに対する読取り又は書込みを検出したことに応答して、コヒーレンス・バス１５６４を介して通信するために、それに関連するキャッシュ・コヒーレンス論理／回路を有してもよい。少なくとも一実施例では、キャッシュ・アクセスを監視するために、コヒーレンス・バス１５６４を介してキャッシュ・スヌーピング・プロトコルが実装される。
【0236】
少なくとも一実施例では、プロキシ回路１５２５が、グラフィックス加速モジュール１５４６をコヒーレンス・バス１５６４に通信可能に結合して、グラフィックス加速モジュール１５４６がコア１５６０Ａ～１５６０Ｄのピアとしてキャッシュ・コヒーレンス・プロトコルに参加できるようにする。特に、少なくとも一実施例では、インターフェース１５３５は、高速リンク１５４０を介してプロキシ回路１５２５への接続を提供し、インターフェース１５３７は、グラフィックス加速モジュール１５４６を高速リンク１５４０に接続する。
【0237】
少なくとも一実施例では、アクセラレータ統合回路１５３６は、グラフィックス加速モジュール１５４６の複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の代わりに、キャッシュ管理、メモリ・アクセス、コンテンツ管理、及び割込み管理のサービスを提供する。少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、それぞれ、別々のグラフィックス処理ユニット（ＧＰＵ）で構成され得る。少なくとも一実施例では、グラフィックス・アクセラレーション・モジュール１５４６の複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）には、図１８Ａ及び１８Ｂと併せて述べた際の１つ又は複数のグラフィックス・コア１８００が含まれる。少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）としては、或いは、グラフィックス実行ユニット、メディア処理エンジン（たとえば、ビデオ・エンコーダ／デコーダ）、サンプラ、及びブリット・エンジンなど、ＧＰＵ内の様々なタイプのグラフィックス処理エンジンを挙げることができる。少なくとも一実施例では、グラフィックス加速モジュール１５４６は、複数のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を有するＧＰＵであってもよく、又はグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、共通のパッケージ、ライン・カード、若しくはチップに集積された個々のＧＰＵであってもよい。
【0238】
少なくとも一実施例では、アクセラレータ統合回路１５３６は、仮想から物理のメモリ・トランスレーション（実効から実（ｅｆｆｅｃｔｉｖｅ－ｔｏ－ｒｅａｌ）のメモリ・トランスレーションとも呼ばれる）など、様々なメモリ管理機能を実行するためのメモリ管理ユニット（ＭＭＵ）１５３９、及びシステム・メモリ１５１４にアクセスするためのメモリ・アクセス・プロトコルを含む。少なくとも一実施例では、ＭＭＵ１５３９は、仮想／実効から物理／実へのアドレス・トランスレーションをキャッシュするためのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）（図示せず）も含むことができる。少なくとも一実施例では、キャッシュ１５３８は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）から効率的にアクセスできるように、コマンド及びデータを記憶することができる。少なくとも一実施例では、キャッシュ１５３８及びグラフィックス・メモリ１５３３（１）～１５３３（Ｍ）に記憶されたデータは、場合によりフェッチ・ユニット１５４４を使用して、コア・キャッシュ１５６２Ａ～１５６２Ｄ、１５５６、及びシステム・メモリ１５１４とコヒーレントに保たれる。述べたように、これは、キャッシュ１５３８及びメモリ１５３３（１）～１５３３（Ｍ）の代わりにプロキシ回路１５２５を介して（たとえば、プロセッサ・キャッシュ１５６２Ａ～１５６２Ｄ、１５５６におけるキャッシュ・ラインの修正／アクセスに関するアップデートをキャッシュ１５３８に送り、キャッシュ１５３８からのアップデートを受け取って）実現されてもよい。
【0239】
少なくとも一実施例では、レジスタ１５４５のセットが、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって実行されるスレッドのためのコンテキスト・データを記憶し、コンテキスト管理回路１５４８が、スレッド・コンテキストを管理する。たとえば、コンテキスト管理回路１５４８は、コンテキスト・スイッチ中に様々なスレッドのコンテキストを保存及び復元するために、保存及び復元の動作を実行してもよい（たとえば、ここで、第２のスレッドをグラフィックス処理エンジンによって実行できるように、第１のスレッドが保存され、第２のスレッドが記憶される）。たとえば、コンテキスト・スイッチ時に、コンテキスト管理回路１５４８は、現在のレジスタ値を（たとえば、コンテキスト・ポインタによって識別された）メモリの指定領域に記憶してもよい。次いで、コンテキストに戻るときに、コンテキスト管理回路１５４８がレジスタ値を復元してもよい。少なくとも一実施例では、割込み管理回路１５４７は、システム・デバイスから受け取った割込みを受け取り、処理する。
【0240】
少なくとも一実施例では、グラフィックス処理エンジン１５３１からの仮想／実効アドレスは、ＭＭＵ１５３９によってシステム・メモリ１５１４の実／物理アドレスにトランスレートされる。少なくとも一実施例では、アクセラレータ統合回路１５３６の一実施例は、複数（たとえば、４個、８個、１６個）のグラフィックス・アクセラレータ・モジュール１５４６、及び／又は他のアクセラレータ・デバイスをサポートする。少なくとも一実施例では、グラフィックス・アクセラレータ・モジュール１５４６は、プロセッサ１５０７上で実行される単一のアプリケーション専用のものであってもよく、又は複数のアプリケーション間で共有されてもよい。少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のリソースが複数のアプリケーション又は仮想機械（ＶＭ）と共有される仮想化グラフィックス実行環境が存在する。少なくとも一実施例では、リソースは、「スライス」に細分化されてもよく、このスライスが、処理要件、並びにＶＭ及び／又はアプリケーションに関連付けられた優先度に基づき、異なるＶＭ及び／又はアプリケーションに割り振られる。
【0241】
少なくとも一実施例では、アクセラレータ統合回路１５３６は、グラフィックス加速モジュール１５４６のためのシステムへのブリッジとして機能し、アドレス・トランスレーション及びシステム・メモリのキャッシュ・サービスを提供する。さらに、少なくとも一実施例では、アクセラレータ統合回路１５３６は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）の仮想化、割込み、及びメモリ管理をホスト・プロセッサが管理するための仮想化設備を提供してもよい。
【0242】
少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のハードウェア・リソースは、ホスト・プロセッサ１５０７が見る実アドレス空間に明示的にマッピングされるので、いかなるホスト・プロセッサも、実効アドレス値を使用して、これらのリソースに直接アドレス指定することができる。少なくとも一実施例では、アクセラレータ統合回路１５３６の１つの機能は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を、システムにとって独立したユニットに見えるように物理的に分離することである。
【0243】
少なくとも一実施例では、１つ又は複数のグラフィックス・メモリ１５３３（１）～１５３３（Ｍ）はそれぞれ、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）のそれぞれに結合され、Ｎ＝Ｍである。少なくとも一実施例では、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）は、それぞれのグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって処理される命令及びデータを記憶する。少なくとも一実施例では、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）は、（積層ＤＲＡＭを含む）ＤＲＡＭ、ＧＤＤＲメモリ、（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。
【0244】
少なくとも一実施例では、高速リンク１５４０を介したデータ・トラフィックを低減するために、グラフィックス・メモリ１５３３（１）～１５３３（Ｍ）に記憶されるデータが、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって最も頻繁に使用されることになるデータであるようにし、好ましくはコア１５６０Ａ～１５６０Ｄによっては使用されない（少なくとも頻繁には使用されない）データであるようにするためのバイアス技法が使用され得る。同様に、少なくとも一実施例では、バイアス機構は、コアが必要とする（したがって、好ましくはグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は必要としない）データを、コアのキャッシュ１５６２Ａ～１５６２Ｄ、１５５６、及びシステム・メモリ１５１４の中に保つよう試みる。
【0245】
図１５Ｃは、アクセラレータ統合回路１５３６がプロセッサ１５０７内に一体化されている別の例示的な実施例を示す。少なくともこの実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、インターフェース１５３７及びインターフェース１５３５により、高速リンク１５４０を介して直接アクセラレータ統合回路１５３６と通信する（この場合も任意の形のバス又はインターフェース・プロトコルであり得る）。少なくとも一実施例では、アクセラレータ統合回路１５３６は、図１５Ｂに関して説明したのと同様の動作を実行してもよいが、コヒーレンス・バス１５６４及びキャッシュ１５６２Ａ～１５６２Ｄ、１５５６に近接していることを考えると、潜在的には、より高いスループットで動作してもよい。少なくとも一実施例は、アクセラレータ統合回路は、（グラフィックス加速モジュールの仮想化のない）専用プロセスのプログラミング・モデルと、（仮想化のある）共有プログラミング・モデルとを含む異なるプログラミング・モデルをサポートし、これらは、アクセラレータ統合回路１５３６によって制御されるプログラミング・モデルと、グラフィックス加速モジュール１５４６によって制御されるプログラミング・モデルとを含んでもよい。
【0246】
少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、単一のオペレーティング・システムの下で単一のアプリケーション又はプロセスに専用のものである。少なくとも一実施例では、単一のアプリケーションは、他のアプリケーション要求をグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に集中させて、ＶＭ／パーティション内で仮想化を実現することができる。
【0247】
少なくとも一実施例では、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、複数のＶＭ／アプリケーション・パーティションによって共有されてもよい。少なくとも一実施例では、共有モデルはシステム・ハイパーバイザを使用して、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を仮想化して、各オペレーティング・システムによるアクセスを可能にしてもよい。少なくとも一実施例では、ハイパーバイザのない単一パーティションのシステムでは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、オペレーティング・システムによって所有される。少なくとも一実施例では、オペレーティング・システムは、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）を仮想化して、各プロセス又はアプリケーションへのアクセスを提供することができる。
【0248】
少なくとも一実施例では、グラフィックス加速モジュール１５４６又は個々のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、プロセス・ハンドルを使用して、プロセス要素を選択する。少なくとも一実施例では、プロセス要素は、システム・メモリ１５１４に記憶されており、本明細書に記載の実効アドレスから実アドレスへのトランスレーション技法を使用してアドレス指定可能である。少なくとも一実施例では、プロセス・ハンドルは、ホスト・プロセスのコンテキストをグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に登録する（すなわち、プロセス要素リンク・リストにプロセス要素を追加するためのシステム・ソフトウェアをコールする）ときに、ホスト・プロセスに提供される実装固有の値であってもよい。少なくとも一実施例では、プロセス・ハンドルの下位１６ビットは、プロセス要素リンク・リスト内のプロセス要素のオフセットであってもよい。
【0249】
図１５Ｄは、例示的なアクセラレータ統合スライス１５９０を示す。少なくとも一実施例では、「スライス」は、アクセラレータ統合回路１５３６の処理リソースの指定部分を備える。少なくとも一実施例では、システム・メモリ１５１４内のアプリケーション実効アドレス空間１５８２は、プロセス要素１５８３を記憶する。少なくとも一実施例では、プロセス要素１５８３は、プロセッサ１５０７上で実行されているアプリケーション１５８０からのＧＰＵ呼出し１５８１に応答して、記憶される。少なくとも一実施例では、プロセス要素１５８３は、対応するアプリケーション１５８０のプロセス状態を収容する。少なくとも一実施例では、プロセス要素１５８３に収容されたワーク記述子（ＷＤ）１５８４は、アプリケーションによって要求される単一のジョブとすることができ、又はジョブのキューに対するポインタを収容してもよい。少なくとも一実施例では、ＷＤ１５８４は、アプリケーションの実効アドレス空間１５８２におけるジョブ要求キューに対するポインタである。
【0250】
少なくとも一実施例では、グラフィックス加速モジュール１５４６及び／又は個々のグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）は、システム内のプロセスのすべて又はサブセットによって共有されることが可能である。少なくとも一実施例では、プロセス状態を設定し、ＷＤ１５８４をグラフィックス加速モジュール１５４６に送信して、仮想化環境においてジョブを開始するためのインフラストラクチャが、含められてもよい。
【0251】
少なくとも一実施例では、専用のプロセス・プログラミング・モデルは、実装固有である。少なくとも一実施例では、このモデルでは、単一のプロセスが、グラフィックス加速モジュール１５４６又は個々のグラフィックス処理エンジン１５３１を所有する。少なくとも一実施例では、グラフィックス加速モジュール１５４６が単一のプロセスによって所有されるとき、グラフィックス加速モジュール１５４６が割り当てられたときに、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路１５３６を初期化し、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路１５３６を初期化する。
【0252】
少なくとも一実施例では、動作時、アクセラレータ統合スライス１５９０内のＷＤフェッチ・ユニット１５９１は、グラフィックス加速モジュール１５４６の１つ又は複数のグラフィックス処理エンジンによって行われることになるワークの表示を含む次のＷＤ１５８４をフェッチする。少なくとも一実施例では、図示してあるように、ＷＤ１５８４からのデータは、レジスタ１５４５に記憶され、ＭＭＵ１５３９、割込み管理回路１５４７、及び／又はコンテキスト管理回路１５４８によって使用されてもよい。たとえば、ＭＭＵ１５３９の一実施例は、ＯＳ仮想アドレス空間１５８５内のセグメント／ページ・テーブル１５８６にアクセスするためのセグメント／ページ・ウォーク回路を含む。少なくとも一実施例では、割込み管理回路１５４７は、グラフィックス加速モジュール１５４６から受け取った割込みイベント１５９２を処理してもよい。少なくとも一実施例では、グラフィックス動作を実行するとき、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）によって生成された実効アドレス１５９３は、ＭＭＵ１５３９によって実アドレスにトランスレートされる。
【0253】
少なくとも一実施例では、レジスタ１５４５が、各グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）、及び／又はグラフィックス加速モジュール１５４６について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化されてもよい。少なくとも一実施例では、これらの複製されたレジスタのそれぞれは、アクセラレータ統合スライス１５９０に含まれてもよい。ハイパーバイザによって初期化されてもよい例示的なレジスタを、表１に示す。
【表1】
【0254】
オペレーティング・システムによって初期化されてもよい例示的なレジスタを、表２に示す。
【表2】
【0255】
少なくとも一実施例では、各ＷＤ１５８４は、特定のグラフィックス加速モジュール１５４６及び／又はグラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）に固有のものである。少なくとも一実施例では、ＷＤ１５８４は、グラフィックス処理エンジン１５３１（１）～１５３１（Ｎ）がワークを行うために必要とするすべての情報を収容し、又は完了すべきワークのコマンド・キューをアプリケーションがセットアップした場所であるメモリ・ロケーションを指すポインタとすることができる。
【0256】
図１５Ｅは、共有モデルの例示的な一実施例のさらなる詳細事項を示す。この実施例は、プロセス要素リスト１５９９が記憶されているハイパーバイザ実アドレス空間１５９８を含む。少なくとも一実施例では、ハイパーバイザ実アドレス空間１５９８は、オペレーティング・システム１５９５のグラフィックス加速モジュール・エンジンを仮想化するハイパーバイザ１５９６を介してアクセス可能である。
【0257】
少なくとも一実施例では、共有プログラミング・モデルは、システム内のすべて又はサブセットのパーティションからのすべて又はサブセットのプロセスが、グラフィックス加速モジュール１５４６を使用できるようにする。少なくとも一実施例では、グラフィックス加速モジュール１５４６が複数のプロセス及びパーティションによって共有されるプログラミング・モデルが、２つ、つまり時間スライス共有及びグラフィックス指定共有（ｇｒａｐｈｉｃｓ－ｄｉｒｅｃｔｅｄ ｓｈａｒｅｄ）が存在する。
【0258】
少なくとも一実施例では、このモデルでは、システム・ハイパーバイザ１５９６がグラフィックス加速モジュール１５４６を所有しており、その機能をすべてのオペレーティング・システム１５９５にとって利用可能にする。少なくとも一実施例では、システム・ハイパーバイザ１５９６による仮想化をグラフィックス加速モジュール１５４６がサポートするために、グラフィックス加速モジュール１５４６は、１）アプリケーションのジョブ要求は自律でなくてはならず（すなわち、ジョブ間で状態を維持する必要はなく）、又はグラフィックス加速モジュール１５４６が、コンテキストの保存及び復元の機構を提供しなくてはならない、２）アプリケーションのジョブ要求は、あらゆるトランスレーション誤りも含めて指定された時間量で完了するようグラフィックス加速モジュール１５４６によって保証され、又はグラフィックス加速モジュール１５４６が、ジョブの処理をプリエンプションする機能を提供する、及び３）グラフィックス加速モジュール１５４６は、指定の共有プログラミング・モデルで動作しているとき、プロセス間で公平性が保証されなくてはならないなどのいくつかの要件に準拠してもよい。
【0259】
少なくとも一実施例では、アプリケーション１５８０は、グラフィックス加速モジュールのタイプ、ワーク記述子（ＷＤ）、権限マスク・レジスタ（ＡＭＲ）値、及びコンテキスト保存／復元エリア・ポインタ（ＣＳＲＰ）を伴って、オペレーティング・システム１５９５のシステム・コールを行う必要がある。少なくとも一実施例では、グラフィックス加速モジュールのタイプは、システム・コールで目的とする加速機能を記述している。少なくとも一実施例では、グラフィックス加速モジュールのタイプは、システム固有値であってもよい。少なくとも一実施例では、ＷＤは、グラフィックス加速モジュール１５４６のために特にフォーマット化されており、グラフィックス加速モジュール１５４６のコマンド、ユーザ定義の構造を指す実効アドレス・ポインタ、コマンドのキューを指す実効アドレス・ポインタ、又はグラフィックス加速モジュール１５４６によって行われるワークを記述するための任意の他のデータ構造の形とすることができる。
【0260】
少なくとも一実施例では、ＡＭＲ値は、現在のプロセスに使用するためのＡＭＲ状態である。少なくとも一実施例では、オペレーティング・システムに渡される値は、ＡＭＲをセッティングするアプリケーションと同様である。少なくとも一実施例では、アクセラレータ統合回路１５３６（図示せず）及びグラフィックス加速モジュール１５４６の実装形態が、ユーザ権限マスク・オーバーライド・レジスタ（ＵＡＭＯＲ）をサポートしていない場合、オペレーティング・システムは、ＡＭＲ値に現在のＵＡＭＯＲ値を適用してから、ハイパーバイザ・コールにＡＭＲを渡してもよい。少なくとも一実施例では、ハイパーバイザ１５９６は、任意選択で、現在の権限マスク・オーバーライド・レジスタ（ＡＭＯＲ）値を適用してから、ＡＭＲをプロセス要素１５８３に入れてもよい。少なくとも一実施例では、ＣＳＲＰは、グラフィックス加速モジュール１５４６がコンテキスト状態を保存及び復元するためのアプリケーションの実効アドレス空間１５８２内のエリアの実効アドレスを収容するレジスタ１５４５のうちの１つである。少なくとも一実施例では、ジョブ間で、又はジョブがプリエンプションされるときに、いかなる状態も保存する必要のない場合は、このポインタは任意選択である。少なくとも一実施例では、コンテキスト保存／復元エリアは、ピン留めされたシステム・メモリであってもよい。
【0261】
システム・コールを受け取ると、オペレーティング・システム１５９５は、アプリケーション１５８０が登録済みであり、グラフィックス加速モジュール１５４６を使用する権限が与えられていることを検証してもよい。少なくとも一実施例では、次いで、オペレーティング・システム１５９５は、表３に示す情報を伴ってハイパーバイザ１５９６にコールする。
【表3】
【0262】
少なくとも一実施例では、ハイパーバイザ・コールを受け取ると、ハイパーバイザ１５９６は、オペレーティング・システム１５９５が登録済みであり、グラフィックス加速モジュール１５４６を使用する権限が与えられていることを検証する。少なくとも一実施例では、次いでハイパーバイザ１５９６は、プロセス要素１５８３を、対応するグラフィックス加速モジュール１５４６のタイプのプロセス要素リンク・リストに入れる。少なくとも一実施例では、プロセス要素は、表４に示す情報を含んでもよい。
【表4】
【0263】
少なくとも一実施例では、ハイパーバイザは、複数のアクセラレータ統合スライス１５９０のレジスタ１５４５を初期化する。
【0264】
図１５Ｆに示すように、少なくとも一実施例では、物理プロセッサ・メモリ１５０１（１）～１５０１（Ｎ）及びＧＰＵメモリ１５２０（１）～１５２０（Ｎ）にアクセスするために使用される共通の仮想メモリ・アドレス空間を介してアドレス指定可能である統合メモリが使用される。この実装形態では、ＧＰＵ１５１０（１）～１５１０（Ｎ）で実行される動作は、プロセッサ・メモリ１５０１（１）～１５０１（Ｍ）にアクセスするのと同じ仮想／実効メモリ・アドレス空間を利用し、且つその逆も同様であり、それによりプログラマビリティが簡単になる。少なくとも一実施例では、仮想／実効アドレス空間の第１の部分はプロセッサ・メモリ１５０１（１）に割り振られ、第２の部分は第２のプロセッサ・メモリ１５０１（Ｎ）に割り振られ、第３の部分はＧＰＵメモリ１５２０（１）に割り振られるというように続く。少なくとも一実施例では、仮想／実効メモリ空間全体（実効アドレス空間と呼ばれることもある）は、これによりプロセッサ・メモリ１５０１及びＧＰＵメモリ１５２０のそれぞれにわたって分配されて、仮想アドレスが物理メモリにマッピングされた状態で、いずれかのプロセッサ又はＧＰＵが、いずれかの物理メモリにアクセスできるようになる。
【0265】
少なくとも一実施例では、ＭＭＵ１５３９Ａ～１５３９Ｅのうちの１つ又は複数の中のバイアス／コヒーレンス管理回路１５９４Ａ～１５９４Ｅは、１つ又は複数のホスト・プロセッサ（たとえば、１５０５）のキャッシュとＧＰＵ１５１０のキャッシュとの間でキャッシュ・コヒーレンスを確保し、バイアス技法を実装して、ある特定のタイプのデータが記憶されるべき物理メモリを示す。少なくとも一実施例では、バイアス／コヒーレンス管理回路１５９４Ａ～１５９４Ｅの複数のインスタンスが図１５Ｆに示されるが、バイアス／コヒーレンス回路は、１つ又は複数のホスト・プロセッサ１５０５のＭＭＵ内に実装されてもよく、且つ／又はアクセラレータ統合回路１５３６内に実装されてもよい。
【0266】
一実施例は、ＧＰＵメモリ１５２０をシステム・メモリの一部としてマッピングできるようにし、共有仮想メモリ（ＳＶＭ）技法を使用してアクセス可能にすることができるが、完全なシステム・キャッシュ・コヒーレンスに関連する性能の低下が生じることはない。少なくとも一実施例では、ＧＰＵメモリ１５２０が、面倒なキャッシュ・コヒーレンス・オーバーヘッドなく、システム・メモリとしてアクセス可能であることにより、ＧＰＵオフロードのための有益な動作環境が提供される。少なくとも一実施例では、この構成によって、従来のＩ／Ｏ ＤＭＡデータ・コピーのオーバーヘッドがなくても、ホスト・プロセッサ１５０５ソフトウェアがオペランドを設定し、計算結果にアクセスすることが可能になる。少なくとも一実施例では、こうした従来のコピーは、ドライバ・コール、割込み、及びメモリ・マップドＩ／Ｏ（ＭＭＩＯ）アクセスを必要とし、これらはすべて、単純なメモリ・アクセスより非効率的である。少なくとも一実施例では、キャッシュ・コヒーレンス・オーバーヘッドなしでＧＰＵメモリ１５２０にアクセスできることが、オフロードされた計算の実行時間に不可欠であり得る。少なくとも一実施例では、たとえば、かなりのストリーミング書込みメモリ・トラフィックがある場合には、キャッシュ・コヒーレンス・オーバーヘッドは、ＧＰＵ１５１０が見る有効な書込み帯域幅を大幅に低減することある。少なくとも一実施例では、オペランド設定の効率、結果へのアクセスの効率、及びＧＰＵ計算の効率は、ＧＰＵオフロードの有効性を判定する際に役立つことがある。
【0267】
少なくとも一実施例では、ＧＰＵバイアス及びホスト・プロセッサ・バイアスの選択は、バイアス・トラッカー・データ構造によって決められる。少なくとも一実施例では、たとえばバイアス・テーブルが使用されてもよく、このテーブルは、ＧＰＵ付きメモリ・ページ当たり１ビット又は２ビットを含むページ粒度構造であってもよい（たとえば、メモリ・ページの粒度で制御されてもよい）。少なくとも一実施例では、バイアス・テーブルは、（たとえば、バイアス・テーブルの頻繁に使用された／最近使用されたエントリをキャッシュするための）バイアス・キャッシュがＧＰＵ１５１０にある状態又はない状態で、１つ又は複数のＧＰＵメモリ１５２０の奪われたメモリ範囲（ｓｔｏｌｅｎ ｍｅｍｏｒｙ ｒａｎｇｅ）において実装されてもよい。或いは、少なくとも一実施例では、バイアス・テーブル全体が、ＧＰＵ内に維持されてもよい。
【0268】
少なくとも一実施例では、ＧＰＵ付きメモリ１５２０への各アクセスに関連付けられたバイアス・テーブルのエントリが、ＧＰＵメモリへの実際のアクセスより先にアクセスされて、以下の動作を生じさせる。少なくとも一実施例では、ＧＰＵバイアス内での自らのページを見いだすＧＰＵ１５１０からのローカル要求が、対応するＧＰＵメモリ１５２０に直接転送される。少なくとも一実施例では、ホスト・バイアスにおいて自らのページを見いだすＧＰＵからのローカル要求は、（たとえば、上述した高速リンクを介して）プロセッサ１５０５に転送される。少なくとも一実施例では、要求されたページをホスト・プロセッサ・バイアスにおいて見いだすプロセッサ１５０５からの要求は、通常のメモリ読取りと同様に要求を完了させる。或いは、ＧＰＵバイアス化ページに向けられた要求は、ＧＰＵ１５１０に転送されてもよい。少なくとも一実施例では、次いでＧＰＵは、現在ページを使用していない場合、ホスト・プロセッサ・バイアスにページを移行してもよい。少なくとも一実施例では、ページのバイアス状態は、ソフトウェア・ベースの機構、ハードウェア支援型ソフトウェア・ベースの機構のいずれかによって、又は限られた事例のセットについては、単にハードウェア・ベースの機構によって、変更することができる。
【0269】
少なくとも一実施例では、バイアス状態を変更するための１つの機構は、ＡＰＩコール（たとえば、ＯｐｅｎＣＬ）を利用し、このＡＰＩコールが、ＧＰＵのデバイス・ドライバをコールし、このデバイス・ドライバが、ＧＰＵにメッセージを送って（又はコマンド記述子をキューに加えて）、バイアス状態を変更し、一部の移行については、ホストにおいてキャッシュ・フラッシング動作を実行するよう、ＧＰＵを導く。少なくとも一実施例では、キャッシュ・フラッシング動作は、ホスト・プロセッサ１５０５のバイアスからＧＰＵバイアスへの移行のために使用されるが、反対向きの移行には使用されない。
【0270】
少なくとも一実施例では、キャッシュ・コヒーレンスは、ホスト・プロセッサ１５０５によってキャッシュできないＧＰＵバイアス化ページを一時的にレンダリングすることによって、維持される。少なくとも一実施例では、これらのページにアクセスするために、プロセッサ１５０５は、ＧＰＵ１５１０からのアクセスを要求してもよく、ＧＰＵ１５１０は、すぐにアクセスを許可してもよく、又は許可しなくてもよい。少なくとも一実施例では、したがって、プロセッサ１５０５とＧＰＵ１５１０との間の通信を低減するために、ＧＰＵバイアス化ページが、ＧＰＵによって要求されるが、ホスト・プロセッサ１５０５によっては要求されないようにすること、又はその逆にすることが有益である。
【0271】
【0272】
図１６は、本明細書に記載の様々な実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを示す。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、若しくは汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。
【0273】
図１６は、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができる例示的なシステム・オン・チップ集積回路１６００を示すブロック図である。少なくとも一実施例では、集積回路１６００は、１つ又は複数のアプリケーション・プロセッサ１６０５（たとえば、ＣＰＵ）、少なくとも１つのグラフィックス・プロセッサ１６１０を含み、さらに、画像プロセッサ１６１５及び／又はビデオ・プロセッサ１６２０を含んでもよく、これらのいずれもが、モジュール式ＩＰコアであってもよい。少なくとも一実施例では、集積回路１６００は、ＵＳＢコントローラ１６２５、ＵＡＲＴコントローラ１６３０、ＳＰＩ／ＳＤＩＯコントローラ１６３５、及びＩ２２Ｓ／Ｉ２２Ｃコントローラ１６４０を含む周辺装置又はバス論理を含む。少なくとも一実施例では、集積回路１６００は、ハイ・デフィニション・マルチメディア・インターフェース（ＨＤＭＩ（登録商標）：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ（登録商標））コントローラ１６５０及びモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ）ディスプレイ・インターフェース１６５５のうちの１つ又は複数に結合されるディスプレイ・デバイス１６４５を含むことができる。少なくとも一実施例では、フラッシュ・メモリ及びフラッシュ・メモリ・コントローラを含むフラッシュ・メモリ・サブシステム１６６０によって、ストレージが提供されてもよい。少なくとも一実施例では、ＳＤＲＡＭ又はＳＲＡＭメモリ・デバイスにアクセスするために、メモリ・コントローラ１６６５を介してメモリ・インターフェースが提供されてもよい。少なくとも一実施例では、いくつかの集積回路はさらに、組み込みセキュリティ・エンジン１６７０を含む。
【0274】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路１６００において使用されてもよい。
【0275】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ若しくは複数のプロセッサ、回路、又はシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0276】
図１７Ａ～図１７Ｂは、本明細書に記載の様々実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを示す。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。
【0277】
図１７Ａ～図１７Ｂは、本明細書に記載の実施例による、ＳｏＣ内で使用するための例示的なグラフィックス・プロセッサを示すブロック図である。図１７Ａは、少なくとも一実施例による、１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路の例示的なグラフィックス・プロセッサ１７１０を示す。図１７Ｂは、少なくとも一実施例による、１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路のさらなる例示的なグラフィックス・プロセッサ１７４０を示す。少なくとも一実施例では、図１７Ａのグラフィックス・プロセッサ１７１０は、低電力グラフィックス・プロセッサ・コアである。少なくとも一実施例では、図１７Ｂのグラフィックス・プロセッサ１７４０は、高性能グラフィックス・プロセッサ・コアである。少なくとも一実施例では、グラフィックス・プロセッサ１７１０、１７４０のそれぞれは、図１６のグラフィックス・プロセッサ１６１０の変形形態とすることができる。
【0278】
少なくとも一実施例では、グラフィックス・プロセッサ１７１０は、頂点プロセッサ１７０５と、１つ又は複数のフラグメント・プロセッサ１７１５Ａ～１７１５Ｎ（たとえば、１７１５Ａ、１７１５Ｂ、１７１５Ｃ、１７１５Ｄ～１７１５Ｎ－１、及び１７１５Ｎ）とを含む。少なくとも一実施例では、グラフィックス・プロセッサ１７１０は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ１７０５は、頂点シェーダ・プログラムのための動作を実行するように最適化され、一方、１つ又は複数のフラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、フラグメント又はピクセルのシェーダ・プログラムのためのフラグメント（たとえば、ピクセル）シェーディング動作を実行する。少なくとも一実施例では、頂点プロセッサ１７０５は、３Ｄグラフィックス・パイプラインの頂点処理ステージを実行し、プリミティブ及び頂点データを生成する。少なくとも一実施例では、フラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、頂点プロセッサ１７０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイスに表示されるフレーム・バッファを生成する。少なくとも一実施例では、フラグメント・プロセッサ１７１５Ａ～１７１５Ｎは、ＯｐｅｎＧＬのＡＰＩにおいて提供されるフラグメント・シェーダ・プログラムを実行するように最適化され、ＯｐｅｎＧＬのＡＰＩは、Ｄｉｒｅｃｔ ３Ｄ ＡＰＩにおいて提供されるピクセル・シェーダ・プログラムと同様の動作を実行するために使用されてもよい。
【0279】
少なくとも一実施例では、グラフィックス・プロセッサ１７１０はさらに、１つ又は複数のメモリ管理ユニット（ＭＭＵ）１７２０Ａ～１７２０Ｂ、キャッシュ１７２５Ａ～１７２５Ｂ、及び回路相互接続１７３０Ａ～１７３０Ｂを含む。少なくとも一実施例では、１つ又は複数のＭＭＵ１７２０Ａ～１７２０Ｂは、頂点プロセッサ１７０５及び／又はフラグメント・プロセッサ１７１５Ａ～１７１５Ｎを含め、グラフィックス・プロセッサ１７１０のための仮想から物理のアドレス・マッピングを提供し、それらは、１つ又は複数のキャッシュ１７２５Ａ～１７２５Ｂに記憶された頂点又は画像／テクスチャのデータに加えて、メモリに記憶された頂点又は画像／テキストのデータを参照してもよい。少なくとも一実施例では、１つ又は複数のＭＭＵ１７２０Ａ～１７２０Ｂは、図１６の１つ若しくは複数のアプリケーション・プロセッサ１６０５、画像プロセッサ１６１５、及び／又はビデオ・プロセッサ１６２０に関連付けられた１つ若しくは複数のＭＭＵを含む、システム内の他のＭＭＵと同期されてもよく、それにより各プロセッサ１６０５～１６２０は、共有の又は統合された仮想メモリ・システムに参加することができる。少なくとも一実施例では、１つ又は複数の回路相互接続１７３０Ａ～１７３０Ｂは、グラフィックス・プロセッサ１７１０が、ＳｏＣの内部バスを介して、又は直接接続を介して、ＳｏＣ内の他のＩＰコアとインターフェースをとることができるようにする。
【0280】
少なくとも一実施例では、図１７Ｂに示すように、グラフィックス・プロセッサ１７４０は、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎ（たとえば、１７５５Ａ、１７５５Ｂ、１７５５Ｃ、１７５５Ｄ、１７５５Ｅ、１７５５Ｆ～１７５５Ｎ－１、及び１７５５Ｎ）を含み、このシェーダ・コアは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び／又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラム可能なシェーダ・コードを実行することができる統合されたシェーダ・コア・アーキテクチャを提供する。少なくとも一実施例では、シェーダ・コアの数は変えることができる。少なくとも一実施例では、グラフィックス・プロセッサ１７４０は、１つ又は複数のシェーダ・コア１７５５Ａ～１７５５Ｎに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ１７４５と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンのレンダリング動作が画像空間において細分化される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット１７５８とを含む。
【0281】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路１７Ａ及び／又は１７Ｂにおいて使用されてもよい。
【0282】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0283】
図１８Ａ及び図１８Ｂには、本明細書に記載の実施例による、別の例示的なグラフィックス・プロセッサ論理を示す。少なくとも一実施例では、図１８Ａ及び図１８Ｂに示し、それと併せて説明する構成要素は、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、ＳｏＣ、又は別のタイプのプロセッサなどのただ１つのシステムに一体化している。図１８Ａには、少なくとも一実施例では、図１６のグラフィックス・プロセッサ１６１０内に含まれることがあり、また少なくとも一実施例では、図１７Ａに見られるような統合シェーダ・コア１７５５Ａ～１７５５Ｎであることがあるグラフィックス・コア１８００を示す。図１８Ｂには、少なくとも一実施例では、マルチ・チップ・モジュール上の導入に適した高並列の汎用グラフィックス・プロセッシング・ユニット（「グラフィックス・プロセッシング・ユニット」と言われることもある「ＧＰＧＰＵ」）１８３０を示す。少なくとも一実施例では、グラフィックス・プロセッシング・ユニット１８３０は、グラフィクス・プロセッサで構成されているＧＰＧＰＵである。少なくとも一実施例では、集積回路１６００は、グラフィックス・コア１８００で構成され、たとえば、集積回路を形成し且つ／又はＳｏＣを形成し、このような集積回路及び／又はこのようなＳｏＣは、本明細書に記載の工程を行う。
【0284】
少なくとも一実施例では、グラフィクス・コア１８００は、共有命令キャッシュ１８０２、テクスチャ・ユニット１８１８、及びキャッシュ／共有メモリ１８２０（たとえば、Ｌ１、Ｌ２、Ｌ３、最終レベルのキャッシュなどのキャッシュを含む）が含み、これらはグラフィックス・コア１８００内の実行リソースに共通である。少なくとも一実施例では、グラフィクス・コア１８００には、複数のスライス１８０１Ａ～１８０１Ｎ、又はコアごとのパーティションが含まれ得、グラフィックス・プロセッサには、グラフィックス・コア１８００の複数のインスタンスが含まれ得る。少なくとも一実施例では、各スライス１８０１Ａ～１８０１Ｎとは、グラフィックス・コア１８００のことである。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎには、スライス１８０１Ａ～１８０１Ｎの一部であるサブ・スライスがある。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、他のスライスとは無関係であるか、他のスライスによって決まるものである。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、ローカル命令キャッシュ１８０４Ａ～１８０４Ｎ、スレッド・スケジューラ（シーケンサ）１８０６Ａ～１８０６Ｎ、スレッド・ディスパッチャ１８０８Ａ～１８０８Ｎ、及びレジスタのセット１８１０Ａ～１８１０Ｎを含むサポート論理を含むことができる。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎは、追加機能ユニット（ＡＦＵ１８１２Ａ～１８１２Ｎ）、浮動小数点ユニット（ＦＰＵ１８１４Ａ～１８１４Ｎ）、整数算術論理演算ユニット（ＡＬＵ１８１６～１８１６Ｎ）、アドレス計算ユニット（ＡＣＵ１８１３Ａ～１８１３Ｎ）、倍精度浮動小数点ユニット（ＤＰＦＰＵ１８１５Ａ～１８１５Ｎ）、及び行列処理ユニット（ＭＰＵ１８１７Ａ～１８１７Ｎ）のセットを含むことができる。少なくとも一実施例では、ＭＰＵ１８１７Ａ～１８１７Ｎは、行列エンジンとされる。
【0285】
少なくとも一実施例では、各スライス１８０１Ａ～１８１０Ｎとしては、浮動小数点演算及び整数ベクトル演算用のエンジンと、ＡＩ、機械学習、又は大きなデータセットのワークロードにおいて畳み込み演算及び行列演算を加速させる１つ又は複数のエンジンと、が挙げられる。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８１０Ｎとしては、ベクトルをコンピュートする（たとえば、ベクトルに対して数学的演算をコンピュートする）１つ又は複数のベクトル・エンジンが挙げられる。少なくとも一実施例では、ベクトル・エンジンは、１６ビット浮動小数点（「ＦＰ１６」ともされる）、３２ビット浮動小数点（「ＦＰ３２」ともされる）、又は６４ビット浮動小数点（「ＦＰ６４」ともされる）において、ベクトル演算をコンピュートすることができる。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎとしては、行列／テンソル演算をコンピュートする、１６個の行列数学単位と対になっている１６個のベクトル・エンジンが挙げられ、ベクトル・エンジン及び数学単位は、行列拡張を経て露呈される。少なくとも一実施例では、スライスは、処理ユニットの処理リソースの規定の部分、たとえば、プロセッサ用の１６個のコア及びレイ・トレーシング・ユニット又は８個のコア、スレッド・スケジューラ、スレッド・ディスパッチャ、並びにさらなる機能ユニットである。少なくとも一実施例では、グラフィックス・コア１８００としては、たとえばテンソル演算をコンピュートする際、行列演算をコンピュートする１つ又は複数の行列エンジンが挙げられる。
【0286】
少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎとしては、レイ・トレーシング演算をコンピュートする１つ又は複数のレイ・トレーシング・ユニットが挙げられる（たとえば、スライス１８０１Ａ～１８０１Ｎのスライス当たり１６個のレイ・トレーシング・ユニット）。少なくとも一実施例では、レイ・トレーシング・ユニットは、レイ・トラバーサル演算、三角形交点演算、境界ボックス交点演算などのレイ・トレーシング演算をコンピュートする。
【0287】
少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎとしては、データをエンコードし、デコードし、且つ／又はトランスコードし、またデータをスケーリングし且つ／又はフォーマット変換し、且つ／又はビデオ・データに対してビデオ品質演算を行う、メディア・スライスが挙げられる。
【0288】
少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、Ｌ２キャッシュ及びメモリ・ファブリックにつなげられ、コネクタ、高帯域幅メモリ（ＨＢＭ：Ｈｉｇｈ－Ｂａｎｄｗｉｄｔｈ Ｍｅｍｏｒｙ）（たとえば、ＨＢＭ２ｅ、ＨＤＭ３）スタック、及びメディア・エンジンをつなげる。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎとしては、複数のコア（たとえば、１６個のコア）及び各コアと対になった複数のレイ・トレーシング・ユニット（たとえば、１６個）が挙げられる。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎは、１つ又は複数のＬ１キャッシュを備えている。少なくとも一実施例では、１つ又は複数のスライス１８０１Ａ～１８０１Ｎとしては、１つ又は複数のベクトル・エンジン、命令を記憶する１つ又は複数の命令キャッシュ、データをキャッシュに入れる１つ又は複数のＬ１キャッシュ、たとえば命令に相当するデータを記憶する１つ又は複数の共有ローカル・メモリ（ＳＬＭ：Ｓｈａｒｅｄ Ｌｏｃａｌ Ｍｅｍｏｒｙ）、データを標本抽出する１つ又は複数のサンプラ、レイ・トレーシング演算を行う１つ又は複数のレイ・トレーシング・ユニット、ジオメトリ・パイプラインにおいて演算を行い且つ／又は幾何学的変換を頂点又は多角形に掛ける１つ又は複数のジオメトリ、ベクトル・グラフィックス・フォーマット（たとえば、形状）で画像を描写し、それをラスタ画像（たとえば、一緒に表示されると、形状で表される画像に成る、一連のピクセル、ドット、又は線）に変換する１つ又は複数のラスタライザ、データをバッファに入れる１つ又は複数の階層型深度バッファ（Ｈｉｚ：Ｈｉｅｒａｒｃｈｉｃａｌ Ｄｅｐｔｈ Ｂｕｆｆｅｒ）、及び／又は１つ若しくは複数のピクセル・バックエンドが挙げられる。少なくとも一実施例では、スライス１８０１Ａ～１８０１Ｎとしては、メモリ・ファブリック、たとえばＬ２キャッシュが挙げられる。
【0289】
少なくとも一実施例では、ＦＰＵ１８１４Ａ～１８１４Ｎが、単精度（３２ビット）浮動小数点演算及び半精度（１６ビット）浮動小数点演算を行うことができる一方、ＤＰＦＰＵ１８１５Ａ～１８１５Ｎが、倍精度（６４ビット）浮動小数点演算を行う。少なくとも一実施例では、ＡＬＵ１８１６Ａ～１８１６Ｎが、８ビット、１６ビット、及び３２ビットの精度で可変精度の整数演算を行うことができ、混合精度演算用に構成され得る。少なくとも一実施例では、ＭＰＵ１８１７Ａ～１８１７Ｎも、。半精度浮動小数点演算及び８ビット整数演算を含む、混合精度の行列演算用に構成され得る。少なくとも一実施例では、ＭＰＵ１８１７Ａ～１８１７Ｎが、汎用行列－行列乗算（ＧＥＭＭ：Ｇｅｎｅｒａｌ Ｍａｔｒｉｘ ｔｏ Ｍａｔｒｉｘ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）の加速をサポートできるようにすることを含む、機械学習アプリケーション・フレームワークを加速させる様々な行列演算を行うことができる。少なくとも一実施例では、ＡＦＵ１８１２Ａ～１８１２Ｎが三角法演算（たとえば、正弦、論理７１５を使用して、１つ又は複数の実施例に伴う推論演算及び／又は訓練演算を行う）を含む、浮動小数点ユニット又は整数ユニットが対応していないさらなる論理演算を行うことができる。論理７１５に関する詳細は、本明細書では、図７Ａ及び／又は７Ｂと併せて示している。少なくとも一実施例では、論理７１５は、グラフィックス・コア１８００において、本明細書に記載のニューラル・ネットワーク訓練演算、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク・ユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づく推論演算又は予測演算に使用され得る。
【0290】
少なくとも一実施例では、グラフィクス・コア１８００としては、相互接続と、スイッチ、及び複数のグラフィックス・プロセッサ１８００（たとえば、８個）が、複数のグラフィックス・プロセッサ１８００にわたって、互いに接合せずに、ロード／ストア・ユニット（ＬＳＵ）、データ転送ユニット、及び同期セマンティクスにつなぎ合わせられるのを可能にするＧＰＵ－ＧＰＵブリッジに取り付けられているリンク・ファブリックと、が挙げられる。少なくとも一実施例では、相互接続としては、標準相互接続（たとえば、ＰＣＩｅ）又はその何らかの組合せが挙げられる。
【0291】
少なくとも一実施例では、グラフィクス・コア１８００としては、複数のタイルが挙げられる。少なくとも一実施例では、タイルは、個々のダイ又は１つ若しくは複数のダイであり、個々のダイは、相互接続（たとえば、埋め込み型マルチダイ相互接続ブリッジ（ＥＭＩＢ：Ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ－ｄｉｅ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｂｒｉｄｇｅ）によりつなげられ得る。少なくとも一実施例では、グラフィック・コア１８００として、計算タイル、メモリ・タイル（たとえば、メモリ・タイルは、Ｒａｍｂｏタイルなどの様々なタイル又は様々なチップセットだけがアクセスすることができる）、基板タイル、基礎タイル、ＨＭＢタイル、リンク・タイル、及びＥＭＩＢタイルを挙げることができ、すべてのタイルがＧＰＵの一部として、グラフィックス・コア１８００に共にパッケージ化されている。少なくとも一実施例では、グラフィックス・コア１８００としては、パッケージ１つだけにまとまった複数のタイル（「マルチ・タイル・パッケージ」ともされる）を挙げることができる。少なくとも一実施例では、計算タイルには、８個のグラフィックス・コア１８００、すなわちＬＩキャッシュが備わっていることがあり、基礎タイルには、ＰＣＩｅ５．０、ＨＢＭ２ｅ、ＭＤＦＩ、及びＥＭＩＢとのホスト・インターフェース、８個のリンク付きリンク・タイル、埋め込み型スイッチ付き８個のポートが備わっていることがある。少なくとも一実施例では、タイルは、ファインピッチの３６ミクロンのマイクロパンプ（たとえば、銅ピラー）を通して、フェイス・ツー・フェイス（Ｆ２Ｆ：Ｆａｃｅ－ｔｏ－Ｆａｃｅ）チップーオン－チップ接合によりつながっている。少なくとも一実施例では、グラフィックス・コア１８００としては、メモリを含むメモリ・ファブリックが挙げられ、グラフィックス・コア１８００は、複数のタイルがアクセスすることができるタイルである。少なくとも一実施例では、グラフィクス・コア１８００は、それ自身のハードウェア・コンテキストをメモリに記憶し、それにアクセスし、又はそれを読み込み、このハードウェア・コンテキストは、プロセス再開の前にレジスタから読み込まれたデータのセットであり、ハードウェア・コンテキストは、ハードウェアの状態（たとえば、ＧＰＵの状態）を示すことができる。
【0292】
少なくとも一実施例では、グラフィクス・コア１８００として、シリアル・データ・ストリームをパラレル・データ・ストリームに変換し、又はパラレル・データ・ストリームをシリアル・データ・ストリームに変換する、シリアライザ／デシリアライザ（ＳＥＲＤＥＳ）回路が挙げられる。
【0293】
少なくとも一実施例では、グラフィクス・コア１８００として、高速コヒーレント・ユニファイド・ファブリック（ＧＰＵ対ＧＰＵ）、ロード／ストア・ユニット、バルク・データ・トランスファ及び同期セマンティクス、またＧＰＵ－ＧＰＵブリッチがコントローラによって制御されるという、埋め込み型スイッチを通して接続されたＧＰＵが挙げられる。
【0294】
少なくとも一実施例では、グラフィックス・コア１８００がＡＰＩを行い、このＡＰＩは、グラフィックス・コア１８００と数学的演算を行うよう求める命令が入っているアクセス・ライブラリ（たとえば、マス・カーネル・ライブラリ）とのハードウェア、ディープ・ニューラル・ネットワーク演算（たとえば、ディープ・ニューラル・ネットワーク・ライブラリ）、ベクトル演算、集合通信、スレッド・ビルディング・ブロック、ビデオ処理、データ分析ライブラリ、及び／又はレイ・トレーシング演算を抽象化する。
【0295】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0296】
図１８Ｂには、少なくとも一実施例では、高並列計算演算がグラフィックス・プロセッシング・ユニットのアレイによって行われるのを可能にするように構成され得る汎用処理ユニット（ＧＰＧＰＵ）１８３０を示す。少なくとも一実施例では、ＧＰＧＰＵ１８３０をＧＰＧＰＵ１８３０の他のインスタンスに直につなげて、マルチＧＰＵクラスタを生み出し、ディープ・ニューラル・ネットワークに対する訓練速さを高めることができる。少なくとも一実施例では、ＧＰＧＰＵ１８３０には、ホスト・プロセッサとの接続を可能にするホスト・インターフェース１８３２が含まれる。少なくとも一実施例では、ホスト・インターフェース１８３２は、ＰＣＩエクスプレス・インターフェースである。少なくとも一実施例では、ホスト・インターフェース１８３２は、ベンダー独自の通信インターフェース又は通信ファブリックである。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ホスト・プロセッサからコマンドを受信し、グローバル・スケジューラ１８３４（スレッド・シーケンサ及び／又は非同期計算エンジンとされてもよい）を使用して、計算クラスタのセット１８３６Ａ～１８３６Ｈに、これらのコマンドに伴う実行スレッドを配分する。少なくとも一実施例では、計算クラスタ１８３６Ａ～１８３６Ｎがキャッシュ・メモリ１８３８を共有する。少なくとも一実施例では、キャッシュ・メモリ１８３８が、計算クラスタ１８３６Ａ～１８３６Ｈ内のキャッシュ・メモリに対して上位キャッシュとして働くことができる。少なくとも一実施例では、計算クラスタ１８３６Ａ～１８３６Ｈが、１つ又は複数のスライスで構成され、「スライス」ともされる。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、集積回路１６００の一部などのＳｏＣの一部である（図１６）。
【0297】
少なくとも一実施例では、ＧＰＧＰＵ１８３０には、メモリ・コントローラのセット１８４２Ａ及び１８４２Ｂ（たとえば、ＨＢＭ２ｅ用の１つ又は複数のコントローラ）を介して計算クラスタ１８３６Ａ～１８３６Ｈと結合されたメモリ１８４４Ａ及び１８４４Ｂが含まれる。少なくとも一実施例では、メモリ１８４４Ａ～１８４４Ｂは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。
【0298】
少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈはそれぞれ、図１８Ａのグラフィックス・コア１８００などのグラフィックス・コアのセットを含み、このグラフィックス・コアのセットは、機械学習計算に適したものを含め、様々な精度で計算動作を実行することができる複数のタイプの整数及び浮動小数点の論理ユニットを含むことができる。たとえば、少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈのそれぞれにおける浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するように構成されることが可能であり、一方、浮動小数点ユニットの別のサブセットは、６４ビットの浮動小数点演算を実行するように構成されることが可能である。
【0299】
少なくとも一実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、コンピュート・クラスタとして動作するように構成されることが可能である。少なくとも一実施例では、コンピュート・クラスタ１８３６Ａ～１８３６Ｈにより同期及びデータ交換のために使用される通信は、実施例にわたって異なる。少なくとも一実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、ホスト・インターフェース１８３２を介して通信する。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、Ｉ／Ｏハブ１８３９を含み、このハブは、ＧＰＧＰＵ１８３０の他のインスタンスへの直接接続を可能にするＧＰＵリンク１８４０に、ＧＰＧＰＵ１８３０を結合する。少なくとも一実施例では、ＧＰＵリンク１８４０は、ＧＰＧＰＵ１８３０の複数のインスタンス間での通信及び同期を可能にするＧＰＵからＧＰＵへの専用のブリッジに結合される。少なくとも一実施例では、ＧＰＵリンク１８４０は、他のＧＰＧＰＵ又は並列プロセッサにデータを送受信するための高速相互接続に結合される。少なくとも一実施例では、ＧＰＧＰＵ１８３０の複数のインスタンスは、別々のデータ処理システムに位置付けられ、ホスト・インターフェース１８３２を介してアクセス可能なネットワーク・デバイスを介して通信する。少なくとも一実施例では、ＧＰＵリンク１８４０は、ホスト・インターフェース１８３２に加えて、又はその代わりに、ホスト・プロセッサへの接続を可能にするように構成することができる。
【0300】
少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ニューラル・ネットワークを訓練するように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ１８３０は、推論プラットフォーム内で使用することができる。ＧＰＧＰＵ１８３０が推論のために使用される少なくとも一実施例では、ＧＰＧＰＵ１８３０は、ＧＰＧＰＵ１８３０がニューラル・ネットワークの訓練に使用されるときよりも少数のコンピュート・クラスタ１８３６Ａ～１８３６Ｈを含んでもよい。少なくとも一実施例では、メモリ１８４４Ａ～１８４４Ｂに関連するメモリ技術は、推論の構成と訓練の構成とで異なってもよく、高帯域幅のメモリ技術が、訓練構成に当てられる。少なくとも一実施例では、ＧＰＧＰＵ１８３０の推論構成は、推論固有の命令をサポートすることができる。たとえば、少なくとも一実施例では、推論構成は、１つ又は複数の８ビットの整数のドット積命令をサポートすることができ、これは、導入済みニューラル・ネットワークの推論動作中に使用されてもよい。
【0301】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにＧＰＧＰＵ１８３０において使用されてもよい。
【0302】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0303】
図１９は、少なくとも一実施例によるコンピューティング・システム１９００を示すブロック図である。少なくとも一実施例では、コンピューティング・システム１９００は、メモリ・ハブ１９０５を含んでもよい相互接続経路を介して通信する１つ又は複数のプロセッサ１９０２とシステム・メモリ１９０４とを有する処理サブシステム１９０１を含む。少なくとも一実施例では、メモリ・ハブ１９０５は、チップセット構成要素内の別個の構成要素であってもよく、又は１つ若しくは複数のプロセッサ１９０２内に一体化されていてもよい。少なくとも一実施例では、メモリ・ハブ１９０５は、通信リンク１９０６を介してＩ／Ｏサブシステム１９１１に結合される。少なくとも一実施例では、Ｉ／Ｏサブシステム１９１１は、コンピューティング・システム１９００が１つ又は複数の入力デバイス１９０８からの入力を受け取れるようにすることができるＩ／Ｏハブ１９０７を含む。少なくとも一実施例では、Ｉ／Ｏハブ１９０７は、ディスプレイ・コントローラを有効にすることができ、このディスプレイ・コントローラは、１つ又は複数のプロセッサ１９０２に含まれて、１つ又は複数のディスプレイ・デバイス１９１０Ａに出力を提供してもよい。少なくとも一実施例では、Ｉ／Ｏハブ１９０７に結合された１つ又は複数のディスプレイ・デバイス１９１０Ａは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。
【0304】
少なくとも一実施例では、処理サブシステム１９０１は、バス又は他の通信リンク１９１３を介してメモリ・ハブ１９０５に結合された１つ又は複数の並列プロセッサ１９１２を含む。少なくとも一実施例では、通信リンク１９１３は、ＰＣＩエクスプレスなどであるがこれに限定されない任意の数の規格に基づく通信リンク技術若しくはプロトコルのうちの１つを使用することができ、又はベンダー固有の通信インターフェース若しくは通信ファブリックであってもよい。少なくとも一実施例では、１つ又は複数の並列プロセッサ１９１２は、メニー・インテグレーテッド・コア（ＭＩＣ：ｍａｎｙ ｉｎｔｅｇｒａｔｅｄ ｃｏｒｅ）プロセッサなど、多数の処理コア及び／又は処理クラスタを含むことのできる、計算に集中した並列又はベクトルの処理システムを形成する。少なくとも一実施例では、いくつか又はすべての並列プロセッサ１９１２は、グラフィックス処理サブシステムを形成し、このサブシステムは、Ｉ／Ｏハブ１９０７を介して結合された１つ又は複数のディスプレイ・デバイス１９１０Ａのうちの１つに、ピクセルを出力することができる。少なくとも一実施例では、並列プロセッサ１９１２はまた、１つ又は複数のディスプレイ・デバイス１９１０Ｂへの直接接続を可能にするディスプレイ・コントローラ及びディスプレイ・インターフェース（図示せず）を含むことができる。少なくとも一実施例では、並列プロセッサ１９１２には、本明細書に記載のグラフィックス・コア１８００などの１つ又は複数のコアが含まれる。
【0305】
少なくとも一実施例では、システム・ストレージ・ユニット１９１４は、Ｉ／Ｏハブ１９０７に接続されて、コンピューティング・システム１９００のためのストレージ機構を提供することができる。少なくとも一実施例では、Ｉ／Ｏスイッチ１９１６を使用して、Ｉ／Ｏハブ１９０７と、プラットフォームに一体化されてもよいネットワーク・アダプタ１９１８及び／又はワイヤレス・ネットワーク・アダプタ１９１９などの他の構成要素、並びに１つ又は複数のアドイン・デバイス１９２０を介して加えることができる様々な他のデバイスとの通信を可能にするためのインターフェース機構を提供することができる。少なくとも一実施例では、ネットワーク・アダプタ１９１８は、イーサネット（登録商標）・アダプタ、又は別の有線ネットワーク・アダプタとすることができる。少なくとも一実施例では、ワイヤレス・ネットワーク・アダプタ１９１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、又は１つ若しくは複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの１つ又は複数を含むことができる。
【0306】
少なくとも一実施例では、コンピューティング・システム１９００は、ＵＳＢ又は他のポート接続、光学ストレージ・ドライブ、ビデオ捕捉デバイスなどを含む明示されていない他の構成要素を含むことができ、これらもＩ／Ｏハブ１９０７に接続されてもよい。少なくとも一実施例では、図１９における様々な構成要素を相互接続する通信経路が、ＰＣＩ（ペリフェラル・コンポーネント・インターコネクト）ベースのプロトコル（たとえば、ＰＣＩ－エクスプレス）など、任意の好適なプロトコル、又はＮＶ－Ｌｉｎｋ高速相互接続などの他のバス若しくはポイントツーポイント通信インターフェース、又は相互接続プロトコルを使用して実装されてもよい。
【0307】
少なくとも一実施例では、並列プロセッサ１９１２には、たとえば、ビデオ出力回路を含むグラフィックス及びビデオを処理するのに最適化された回路が組み込んでおり、並列プロセッサ１９１２は、グラフィックス・プロセッシング・ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ ＰｒｏｓｅｓｓｉｎｇＵｎｉｔ）を構成し、たとえば、並列プロセッサ１９１２には、グラフィックス・コア１８００が含まれる。少なくとも一実施例では、並列プロセッサ１９１２は、汎用処理に最適化された回路を組み込んでいる。少なくとも実施例では、コンピューティング・システム１９００の構成要素は、単一の集積回路上の１つ又は複数の他のシステム要素と一体化されてもよい。たとえば、少なくとも一実施例では、並列プロセッサ１９１２、メモリ・ハブ１９０５、プロセッサ１９０２、及びＩ／Ｏハブ１９０７を、システム・オン・チップ（ＳｏＣ）集積回路に一体化することができる。少なくとも一実施例では、コンピューティング・システム１９００の構成要素は、単一のパッケージに一体化されて、システム・イン・パッケージ（ＳＩＰ：ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）構成を形成することができる。少なくとも一実施例では、コンピューティング・システム１９００の構成要素の少なくとも一部分を、マルチ・チップ・モジュール（ＭＣＭ：ｍｕｌｔｉ－ｃｈｉｐ ｍｏｄｕｌｅ）に一体化することができ、このモジュールを、他のマルチ・チップ・モジュールと相互接続して、モジュール式コンピューティング・システムにすることができる。
【0308】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１９００のシステムにおいて使用されてもよい。
【0309】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0310】
プロセッサ
図２０Ａは、少なくとも一実施例による並列プロセッサ２０００を示す。少なくとも一実施例では、並列プロセッサ２０００の様々な構成要素は、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを使用して実装されてもよい。少なくとも一実施例では、図示してある並列プロセッサ２０００は、例示的な実施例による図１９に示す１つ又は複数の並列プロセッサ１９１２の変形形態である。少なくとも一実施例では、並列プロセッサ２０００には、１つ又は複数のグラフィックス・コア１８００が含まれる。
図２０Ａは、少なくとも一実施例による並列プロセッサ２０００を示す。少なくとも一実施例では、並列プロセッサ２０００の様々な構成要素は、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを使用して実装されてもよい。少なくとも一実施例では、図示してある並列プロセッサ２０００は、例示的な実施例による図１９に示す１つ又は複数の並列プロセッサ１９１２の変形形態である。少なくとも一実施例では、並列プロセッサ２０００には、１つ又は複数のグラフィックス・コア１８００が含まれる。
【0311】
少なくとも一実施例では、並列プロセッサ２０００には、並列処理ユニット２００２が含まれる。少なくとも一実施例では、並列処理ユニット２００２は、並列処理ユニット２００２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２００４を含む。少なくとも一実施例では、Ｉ／Ｏユニット２００４は、他のデバイスに直接接続されてもよい。少なくとも一実施例では、Ｉ／Ｏユニット２００４は、メモリ・ハブ２００５などのハブ又はスイッチ・インターフェースの使用を介して、他のデバイスと接続される。少なくとも一実施例では、メモリ・ハブ２００５とＩ／Ｏユニット２００４との間の接続は、通信リンク２０１３を形成する。少なくとも一実施例では、Ｉ／Ｏユニット２００４は、ホスト・インターフェース２００６及びメモリ・クロスバー２０１６に接続され、ここでホスト・インターフェース２００６は、処理動作の実行を対象とするコマンドを受け取り、メモリ・クロスバー２０１６は、メモリ動作の実行を対象とするコマンドを受け取る。
【0312】
少なくとも一実施例では、ホスト・インターフェース２００６が、Ｉ／Ｏユニット２００４を介してコマンド・バッファを受け取るとき、ホスト・インターフェース２００６は、これらのコマンドを実行するためのワーク動作をフロント・エンド２００８に向けることができる。少なくとも一実施例では、フロント・エンド２００８は、スケジューラ２０１０（シーケンサとしてもよい）に結合され、コマンド他のワーク・アイテムを処理クラスタ・アレイ２０１２に分配するように構成される。少なくとも一実施例では、スケジューラ２０１０は、処理クラスタ・アレイ２０１２のクラスタにタスクが分配される前に、処理クラスタ・アレイ２０１２が適切に構成され、有効な状態にあることを確実にする。少なくとも一実施例では、スケジューラ２０１０は、マイクロコントローラで実行しているファームウェア論理を介して実装される。少なくとも一実施例では、マイクロコントローラ実装スケジューラ２０１０は、複雑なスケジューリング及びワーク分配動作を、粗い粒度と細かい粒度で実行するように構成可能であり、処理アレイ２０１２で実行しているスレッドの迅速なプリエンプション及びコンテキストのスイッチングを可能にする。少なくとも一実施例では、ホスト・ソフトウェアは、処理クラスタ・アレイ２０１２でのスケジューリングのワークロードを、複数のグラフィックス処理の経路のうちの１つを介して証明することができる。少なくとも一実施例では、次いで、スケジューラ２０１０を含むマイクロコントローラ内のスケジューラ２０１０論理によって、ワークロードを自動的に処理クラスタ・アレイ２０１２全体に分配することができる。
【0313】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、最大「Ｎ個」の処理クラスタ（たとえば、クラスタ２０１４Ａ、クラスタ２０１４Ｂ～クラスタ２０１４Ｎ）を含むことができ、ここで「Ｎ」は、正の整数を表す（他の図で使用されるものとは異なる整数「Ｎ」であってもよい）。少なくとも一実施例では、処理クラスタ・アレイ２０１２の各クラスタ２０１４Ａ～２０１４Ｎは、大量の同時スレッドを実行することができる。少なくとも一実施例では、スケジューラ２０１０は、様々なスケジューリング及び／又はワーク分配のアルゴリズムを使用して、処理クラスタ・アレイ２０１２のクラスタ２０１４Ａ～２０１４Ｎにワークを配分することができ、これらのアルゴリズムは、プログラム又は計算のタイプごとに生じるワークロードに応じて、異なってもよい。少なくとも一実施例では、スケジューリングは、スケジューラ２０１０によって動的に対処されてもよく、又は処理クラスタ・アレイ２０１２によって実行されるように構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援されてもよい。少なくとも一実施例では、処理クラスタ・アレイ２０１２の異なるクラスタ２０１４Ａ～２０１４Ｎは、異なるタイプのプログラムを処理するように、又は異なるタイプの計算を実行するように配分されることが可能である。
【0314】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、様々なタイプの並列処理動作を実行するように構成されることが可能である。少なくとも一実施例では、処理クラスタ・アレイ２０１２は、汎用の並列コンピュート動作を実行するように構成される。たとえば、少なくとも一実施例では、処理クラスタ・アレイ２０１２は、ビデオ及び／又はオーディオ・データのフィルタリング、物理動作を含むモデリング動作の実行、及びデータ変換の実行を含む処理タスクを実行するための論理を含むことができる。
【0315】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、並列グラフィックス処理動作を実行するように構成される。少なくとも一実施例では、処理クラスタ・アレイ２０１２は、テクスチャ動作を実行するためのテクスチャ・サンプリング論理、並びにモザイク論理、及び他の頂点処理論理を含むがこれらに限定されないこうしたグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも一実施例では、処理クラスタ・アレイ２０１２は、頂点シェーダ、モザイク・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなどであるが、これらに限定されないグラフィックス処理関連のシェーダ・プログラムを実行するように構成されることが可能である。少なくとも一実施例では、並列処理ユニット２００２は、処理できるようにデータをシステム・メモリからＩ／Ｏユニット２００４を介して転送することができる。少なくとも一実施例では、処理中、転送されたデータを、処理中にオン・チップ・メモリ（たとえば、並列プロセッサ・メモリ２０２２）に記憶し、次いでシステム・メモリに書き戻すことができる。
【0316】
少なくとも一実施例では、並列処理ユニット２００２を使用してグラフィックス処理が実行される場合には、処理クラスタ・アレイ２０１２の複数のクラスタ２０１４Ａ～２０１４Ｎにグラフィックス処理動作をよりうまく分配できるようにするため、処理ワークロードをおおよそ等しい大きさのタスクに分割するようにスケジューラ２０１０を構成することができる。少なくとも一実施例では、処理クラスタ・アレイ２０１２の一部分は、異なるタイプの処理を実行するように構成されることが可能である。たとえば、少なくとも一実施例では、レンダリング画像を生成して表示するために、第１の部分は、頂点シェーディング及びトポロジ生成を実行するように構成されてもよく、第２の部分は、モザイク及びジオメトリのシェーディングを実行するように構成されてもよく、第３の部分は、ピクセル・シェーディング又は他の画面空間動作を実行するように構成されてもよい。少なくとも一実施例では、クラスタ２０１４Ａ～２０１４Ｎのうちの１つ又は複数によって生成される中間データをバッファに記憶して、さらなる処理ができるようにクラスタ２０１４Ａ～２０１４Ｎの間で中間データを送信できるようにしてもよい。
【0317】
少なくとも一実施例では、処理クラスタ・アレイ２０１２は、実行される処理タスクをスケジューラ２０１０を介して受け取ることができ、スケジューラ２０１０は、処理タスクを定義するコマンドをフロント・エンド２００８から受け取る。少なくとも一実施例では、処理タスクは、処理されるデータのインデックス、たとえば、表面（パッチ）データ、プリミティブ・データ、頂点データ、及び／又はピクセル・データ、並びに状態パラメータ、及びデータをどのように処理すべきかを定義するコマンド（たとえば、どのプログラムを実行すべきか）を含むことができる。少なくとも一実施例では、スケジューラ２０１０は、タスクに対応するインデックスをフェッチするように構成されてもよく、又はフロント・エンド２００８からインデックスを受け取ってもよい。少なくとも一実施例では、フロント・エンド２００８は、入ってくるコマンド・バッファ（たとえば、バッチ・バッファ、プッシュ・バッファなど）によって指定されるワークロードが開始される前に、処理クラスタ・アレイ２０１２が有効な状態に構成されていることを保証するように構成されることが可能である。
【0318】
少なくとも一実施例では、並列処理ユニット２００２の１つ又は複数のインスタンスのそれぞれは、並列プロセッサ・メモリ２０２２と結合することができる。少なくとも一実施例では、並列プロセッサ・メモリ２０２２には、メモリ・クロスバー２０１６を介してアクセスすることができ、メモリ・クロスバー２０１６は、処理クラスタ・アレイ２０１２並びにＩ／Ｏユニット２００４からメモリ要求を受け取ることができる。少なくとも一実施例では、メモリ・クロスバー２０１６は、メモリ・インターフェース２０１８を介して並列プロセッサ・メモリ２０２２にアクセスすることができる。少なくとも一実施例では、メモリ・インターフェース２０１８は、複数のパーティション・ユニット（たとえば、パーティション・ユニット２０２０Ａ、パーティション・ユニット２０２０Ｂ～パーティション・ユニット２０２０Ｎ）を含むことができ、これらのユニットはそれぞれ、並列プロセッサ・メモリ２０２２の一部分（たとえば、メモリ・ユニット）に結合することができる。少なくとも一実施例では、パーティション・ユニット２０２０Ａ～２０２０Ｎの数は、メモリ・ユニットの数と等しくなるように構成され、それにより、第１のパーティション・ユニット２０２０Ａは、対応する第１のメモリ・ユニット２０２４Ａを有し、第２のパーティション・ユニット２０２０Ｂは、対応するメモリ・ユニット２０２４Ｂを有し、Ｎ番目のパーティション・ユニット２０２０Ｎは、対応するＮ番目のメモリ・ユニット２０２４Ｎを有する。少なくとも一実施例では、パーティション・ユニット２０２０Ａ～２０２０Ｎの数は、メモリ・デバイスの数に等しくなくてもよい。
【0319】
少なくとも一実施例では、メモリ・ユニット２０２４Ａ～２０２４Ｎは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも一実施例では、またメモリ・ユニット２０２４Ａ～２０２４Ｎはまた、高帯域幅メモリ（ＨＢＭ）、ＨＢＭ２ｅ、又はＨＤＭ３を含むがこれに限定されない３Ｄ積層メモリを含んでもよい。少なくとも一実施例では、並列プロセッサ・メモリ２０２２の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット２０２４Ａ～２０２４Ｎにわたって記憶されて、パーティション・ユニット２０２０Ａ～２０２０Ｎが、各レンダー・ターゲットの部分を並列に書き込みできるようにしてもよい。少なくとも一実施例では、システム・メモリとローカル・キャッシュ・メモリを併用する統合メモリ設計に有利なように、並列プロセッサ・メモリ２０２２のローカル・インスタンスは除外されてもよい。
【0320】
少なくとも一実施例では、処理クラスタ・アレイ２０１２のクラスタ２０１４Ａ～２０１４Ｎのうちのいずれか１つは、並列プロセッサ・メモリ２０２２内のメモリ・ユニット２０２４Ａ～２０２４Ｎのいずれかに書き込まれることになるデータを処理することができる。少なくとも一実施例では、メモリ・クロスバー２０１６は、各クラスタ２０１４Ａ～２０１４Ｎの出力を、出力に対してさらなる処理動作を実行することができる任意のパーティション・ユニット２０２０Ａ～２０２０Ｎ、又は別のクラスタ２０１４Ａ～２０１４Ｎに転送するように構成されることが可能である。少なくとも一実施例では、各クラスタ２０１４Ａ～２０１４Ｎは、メモリ・クロスバー２０１６を通ってメモリ・インターフェース２０１８と通信して、様々な外部メモリ・デバイスからの読取り、又はそれへの書込みを行うことができる。少なくとも一実施例では、メモリ・クロスバー２０１６は、Ｉ／Ｏユニット２００４と通信するためのメモリ・インターフェース２０１８への接続部、並びに並列プロセッサ・メモリ２０２２のローカル・インスタンスへの接続部を有して、異なる処理クラスタ２０１４Ａ～２０１４Ｎ内の処理ユニットが、システム・メモリ、又は並列処理ユニット２００２のローカルにない他のメモリと通信できるようにする。少なくとも一実施例では、メモリ・クロスバー２０１６は、仮想チャネルを使用して、クラスタ２０１４Ａ～２０１４Ｎと、パーティション・ユニット２０２０Ａ～２０２０Ｎとの間でトラフィック・ストリームを分離することができる。
【0321】
少なくとも一実施例では、並列処理ユニット２００２の複数のインスタンスは、単一のアドイン・カードに提供されてもよく、又は複数のアドイン・カードが相互接続されてもよい。少なくとも一実施例では、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び／又は他の異なる構成を有する場合でも、並列処理ユニット２００２の異なるインスタンスは相互動作するように構成されることが可能である。たとえば、少なくとも一実施例では、並列処理ユニット２００２のいくつかインスタンスは、他のインスタンスに比べて高い精度の浮動小数点ユニットを含むことができる。少なくとも一実施例では、並列処理ユニット２００２又は並列プロセッサ２０００のうちの１つ又は複数のインスタンスを組み込んだシステムは、デスクトップ、ラップトップ、若しくは携帯型のパーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び／又は組み込みシステムを含むが、これらに限定されない様々な構成及びフォーム・ファクタで実装することができる。
【0322】
図２０Ｂは、少なくとも一実施例によるパーティション・ユニット２０２０のブロック図である。少なくとも一実施例では、パーティション・ユニット２０２０は、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎのうちの１つのパーティション・ユニットのインスタンスである。少なくとも一実施例では、パーティション・ユニット２０２０は、Ｌ２キャッシュ２０２１、フレーム・バッファ・インターフェース２０２５、及びＲＯＰ：ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ２０２６（ラスタ演算ユニット）を含む。少なくとも一実施例では、Ｌ２キャッシュ２０２１は、メモリ・クロスバー２０１６及びＲＯＰ２０２６から受け取ったロード及びストアの動作を実行するように構成された読取り／書込みキャッシュである。少なくとも一実施例では、読取りミス及び至急の書戻し要求が、処理されるようにＬ２キャッシュ２０２１によってフレーム・バッファ・インターフェース２０２５に出力される。少なくとも一実施例では、更新も、処理されるようにフレーム・バッファ・インターフェース２０２５を介してフレームに送られる。少なくとも一実施例では、フレーム・バッファ・インターフェース２０２５は、図２０の（たとえば並列プロセッサ・メモリ２０２２内の）メモリ・ユニット２０２４Ａ～２０２４Ｎなど、並列プロセッサ・メモリのメモリ・ユニットのうちの１つとインターフェースをとる。
【0323】
少なくとも一実施例では、ＲＯＰ２０２６は、ステンシル、ｚテスト、ブレンディングなどのラスタ演算を実行する処理ユニットである。少なくとも一実施例では、次いでＲＯＰ２０２６は、グラフィックス・メモリに記憶された処理済みグラフィックス・データを出力する。少なくとも一実施例では、ＲＯＰ２０２６は、メモリに書き込まれる深度又は色データを圧縮し、メモリから読み取られた深度又は色データを解凍するための圧縮論理を含む。少なくとも一実施例では、圧縮論理は、複数の圧縮アルゴリズムのうちの１つ又は複数を利用するロスレス圧縮論理とすることができる。少なくとも一実施例では、ＲＯＰ２０２６によって実行される圧縮のタイプは、圧縮されるデータの統計的特徴に基づき変更することができる。たとえば、少なくとも一実施例では、深度及び色データに対してはタイルごとにデルタ色圧縮が実行される。
【0324】
少なくとも一実施例では、ＲＯＰ２０２６は、パーティション・ユニット２０２０内ではなく、各処理クラスタ内（たとえば、図２０Ａのクラスタ２０１４Ａ～２０１４Ｎ）に含まれる。少なくとも一実施例では、ピクセル・フラグメント・データではなく、ピクセル・データの読取り及び書込み要求が、メモリ・クロスバー２０１６を介して送信される。少なくとも一実施例では、処理済みグラフィックス・データは、図１９の１つ又は複数のディスプレイ・デバイス１９１０のうちの１つなどのディスプレイ・デバイスに表示されてもよく、プロセッサ１９０２によってさらに処理できるようにルーティングされてもよく、又は図２０Ａの並列プロセッサ２０００内の処理エンティティのうちの１つによってさらに処理できるようにルーティングされてもよい。
【0325】
図２０Ｃは、少なくとも一実施例による並列処理ユニット内の処理クラスタ２０１４のブロック図である。少なくとも一実施例では、処理クラスタは、図２０Ａの処理クラスタ２０１４Ａ～２０１４Ｎのうちの１つの処理クラスタのインスタンスである。少なくとも一実施例では、処理クラスタ２０１４は、多数のスレッドを並列で実行するように構成されてもよく、ここで「スレッド」とは、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも一実施例では、複数の独立した命令ユニットを提供することなく、多数のスレッドの並列実行をサポートするために、単一命令複数データ（ＳＩＭＤ）の命令発行技法が使用される。少なくとも一実施例では、それぞれの処理クラスタ内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド（ＳＩＭＴ：ｓｉｎｇｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ－ｔｈｒｅａｄ）の技法が使用される。
【0326】
少なくとも一実施例では、処理クラスタ２０１４の動作は、ＳＩＭＴ並列プロセッサに処理タスクを分配するパイプライン・マネージャ２０３２を介して制御することができる。少なくとも一実施例では、パイプライン・マネージャ２０３２は、図２０Ａのスケジューラ２０１０から命令を受け取り、グラフィックス・マルチプロセッサ２０３４及び／又はテクスチャ・ユニット２０３６を介してこれらの命令の実行を管理する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかし、少なくとも一実施例では、アーキテクチャの異なる様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２０１４内に含まれてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４の１つ又は複数のインスタンスは、処理クラスタ２０１４内に含めることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４はデータを処理することができ、処理済みデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの１つに分配するためにデータ・クロスバー２０４０が使用されてもよい。少なくとも一実施例では、パイプライン・マネージャ２０３２は、データ・クロスバー２０４０を通して分配されることになる処理済みデータの宛先を指定することによって、処理済みデータの分配を容易にすることができる。
【0327】
少なくとも一実施例では、処理クラスタ２０１４内の各グラフィックス・マルチプロセッサ２０３４は、関数実行論理（たとえば、算術論理演算ユニット、ロード・ストア・ユニットなど）の同一のセットを含むことができる。少なくとも一実施例では、関数実行論理は、前の命令が完了する前に新規の命令を発行することができるパイプライン式に構成されることが可能である。少なくとも一実施例では、関数実行論理は、整数及び浮動小数点の算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の計算を含む様々な演算をサポートする。少なくとも一実施例では、同じ関数ユニットのハードウェアを活用して、異なる演算を実行することができ、関数ユニットの任意の組合せが存在してもよい。
【0328】
少なくとも一実施例では、処理クラスタ２０１４に送信される命令がスレッドを構成する。少なくとも一実施例では、並列処理エンジンのセットにわたって実行されているスレッドのセットが、スレッド・グループである。少なくとも一実施例では、スレッド・グループは、異なる入力データに対して共通のプログラムを実行する。少なくとも一実施例では、スレッド・グループ内の各スレッドを、グラフィックス・マルチプロセッサ２０３４内の異なる処理エンジンに割り当てることができる。少なくとも一実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも少ないスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含む場合、処理エンジンのうちの１つ又は複数は、そのスレッド・グループが処理されているサイクル中にはアイドルであってもよい。少なくとも一実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ２０３４内の処理エンジンの数よりも多いスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループがグラフィックス・マルチプロセッサ２０３４内の処理エンジンの数より多くのスレッドを含む場合には、連続したクロック・サイクルにわたって処理を実行することができる。少なくとも一実施例では、複数のスレッド・グループを、グラフィックス・マルチプロセッサ２０３４上で同時に実行することができる。
【0329】
少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、ロード及びストアの動作を実行するための内部キャッシュ・メモリを含む。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、内部キャッシュをやめて、処理クラスタ２０１４内のキャッシュ・メモリ（たとえば、Ｌ１キャッシュ２０４８）を使用することができる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２０３４は、パーティション・ユニット（たとえば、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎ）内のＬ２キャッシュにもアクセスすることができ、これらのキャッシュが、すべての処理クラスタ２０１４間で共有され、スレッド間でデータを転送するために使用されてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、オフ・チップのグローバル・メモリにもアクセスすることができ、このメモリは、ローカル並列プロセッサ・メモリ及び／又はシステム・メモリのうちの１つ又は複数を含むことができる。少なくとも一実施例では、並列処理ユニット２００２の外部にある任意のメモリが、グローバル・メモリとして使用されてもよい。少なくとも一実施例では、処理クラスタ２０１４は、グラフィックス・マルチプロセッサ２０３４の複数のインスタンスを含み、共通の命令及びデータを共有することができ、これらはＬ１キャッシュ２０４８に記憶されてもよい。
【0330】
少なくとも一実施例では、各処理クラスタ２０１４は、仮想アドレスを物理アドレスにマッピングするように構成されたＭＭＵ２０４５（メモリ管理ユニット）を含んでもよい。少なくとも一実施例では、ＭＭＵ２０４５の１つ又は複数のインスタンスは、図２０Ａのメモリ・インターフェース２０１８内にあってもよい。少なくとも一実施例では、ＭＭＵ２０４５は、仮想アドレスを、タイル及び任意選択でキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ（ＰＴＥ）のセットを含む。少なくとも一実施例では、ＭＭＵ２０４５は、アドレスのトランスレーション・ルックアサイド・バッファ（ＴＬＢ：ｔｒａｎｓｌａｔｉｏｎ ｌｏｏｋａｓｉｄｅ ｂｕｆｆｅｒ）又はキャッシュを含んでもよく、これらは、グラフィックス・マルチプロセッサ２０３４若しくはＬ１ ２０４８キャッシュ、又は処理クラスタ２０１４内にあってもよい。少なくとも一実施例では、表面データ・アクセスをローカルに分散するように物理アドレスを処理して、パーティション・ユニット間で要求の効率的なインターリーブが可能になる。少なくとも一実施例では、キャッシュ・ライン・インデックスを使用して、キャッシュ・ラインの要求がヒットかミスかが判定されてもよい。
【0331】
少なくとも一実施例では、各グラフィックス・マルチプロセッサ２０３４がテクスチャ・ユニット２０３６に結合されて、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置の判定、テクスチャ・データの読取り、及びテクスチャ・データのフィルタリングが実行されるように、処理クラスタ２０１４が構成されてもよい。少なくとも一実施例では、テクスチャ・データは、内部テクスチャＬ１キャッシュ（図示せず）から、又はグラフィックス・マルチプロセッサ２０３４内のＬ１キャッシュから読み取られ、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２０３４は、処理済みタスクをデータ・クロスバー２０４０に出力して、さらなる処理ができるように別の処理クラスタ２０１４に処理済みタスクを提供し、又はメモリ・クロスバー２０１６を介して、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに処理済みタスクを記憶する。少なくとも一実施例では、プレＲＯＰ２０４２（プレ・ラスタ演算ユニット）は、グラフィックス・マルチプロセッサ２０３４からデータを受け取り、ＲＯＰユニットにデータを仕向けるように構成されており、ＲＯＰユニットは、本明細書に記載のするように、パーティション・ユニット（たとえば、図２０Ａのパーティション・ユニット２０２０Ａ～２０２０Ｎ）内に位置付けられてもよい。少なくとも一実施例では、プレＲＯＰ２０４２ユニットは、色ブレンディングの最適化を実行し、ピクセル色データを組織化し、アドレス・トランスレーションを実行することができる。
【0332】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス処理クラスタ２０１４において使用されてもよい。
【0333】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0334】
図２０Ｄには、少なくとも一実施例によるグラフィックス・マルチプロセッサ２０３４を示す。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４は、処理クラスタ２０１４のパイプライン・マネージャ２０３２に結合されている。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４には、実行パイプラインがあり、実行パイプラインには、命令キャッシュ２０５２、命令ユニット２０５４、アドレス・マッピング・ユニット２０５６，レジスタ・ファイル２０５８、１つ又は複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）コア２０６２、及び／又はロード／ストア・ユニット２０６６が含まれるが、これらに限るわけではなく、１つ又は複数のロード／ストア・ユニット２０６６は、作業を行うことに対応する命令を読み込み／記憶する。読み込み／記憶作業を行うことができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２及びロード／ストア・ユニット２０６６は、キャッシ・メモリ２０７２及び共有メモリ２０７０に、メモリ及びキャッシュ相互接続２０６８を介して結合されている。少なくとも一実施例では、ＧＰＧＰＵコア２０６２は、図１６における集積回路１６００の一部などのＳｏＣの一部である。
【0335】
少なくとも一実施例では、命令キャッシュ２０５２は、実行すべき命令のストリームをパイプライン・マネージャ２０３２から受け取る。少なくとも一実施例では、命令は、命令キャッシュ２０５２にキャッシュされ、命令ユニット２０５４により実行されるようにディスパッチされる。少なくとも一実施例では、命令ユニット２０５４は、命令をスレッド・グループ（たとえば、ワープ、波面、波）としてディスパッチすることができ、アスレッド・グループの各スレッドは、ＧＰＧＰＵコア２０６２内の異なる実行ユニットに割り当てられる。少なくとも一実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも一実施例では、アドレス・マッピング・ユニット２０５６を使用して、統一アドレス空間のアドレスを、ロード／ストア・ユニット２０６６がアクセスできる個別メモリ・アドレスにトランスレーションすることができる。
【0336】
少なくとも一実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４の機能ユニットにレジスタのセットを提供する。少なくとも一実施例では、レジスタ・ファイル２０５８は、グラフィックス・マルチプロセッサ２０３４の機能ユニット（たとえばＧＰＧＰＵコア２０６２、ロード／ストア・ユニット２０６６）のデータ経路に接続された、オペランドのための一時的なストレージを提供する。少なくとも一実施例では、レジスタ・ファイル２０５８は、レジスタ・ファイル２０５８の専用部分に各機能ユニットが配分されるように、それぞれの機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル２０５８が、グラフィックス・マルチプロセッサ２０３４によって実行される異なるワープ（波面及び又は波としてもよい）間に分けられる。
【0337】
少なくとも一実施例では、ＧＰＧＰＵコア２０６２はそれぞれ、グラフィックス・マルチプロセッサ２０３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理演算ユニット（ＡＬＵ）を含むことができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２同士は、同様のアーキテクチャであってもよく、又は異なるアーキテクチャであってもよい。少なくとも一実施例では、ＧＰＧＰＵコア２０６２の第１の部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、ＧＰＧＰＵコアの第２の部分は、倍精度ＦＰＵを含む。少なくとも一実施例では、ＦＰＵは、ＩＥＥＥ７５４－２００８規格浮動小数点演算を実装することができ、又は、可変精度の浮動小数点演算を有効にすることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２０３４はさらに、矩形コピー又はピクセル・ブレンディングの動作などの特定の機能を実行するための、１つ若しくは複数の固定機能ユニット又は特別機能ユニットをさらに含むことができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２の１つ又は複数は、固定の又は特別な機能論理も含むことができる。
【0338】
少なくとも一実施例では、ＧＰＧＰＵコア２０６２は、複数のデータ・セットに対して単一の命令を実行することができるＳＩＭＤ論理を含む。少なくとも一実施例では、ＧＰＧＰＵコア２０６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６の命令を物理的に実行することができ、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２の命令を論理的に実行することができる。少なくとも一実施例では、ＧＰＧＰＵコアのためのＳＩＭＤ命令は、シェーダ・コンパイラによるコンパイル時に生成されてもよく、又は単一プログラム複数データ（ＳＰＭＤ：ｓｉｎｇｌｅ ｐｒｏｇｒａｍ ｍｕｌｔｉｐｌｅ ｄａｔａ）又はＳＩＭＴのアーキテクチャ向けに書かれコンパイルされたプログラムを実行しているときに、自動的に生成されてもよい。少なくとも一実施例では、ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行することができる。たとえば、少なくとも一実施例では、同じ又は同様の動作を実行する８個のＳＩＭＴスレッドを、単一のＳＩＭＤ８の論理ユニットを介して並列に実行することができる。
【0339】
少なくとも一実施例では、メモリ及びキャッシュ相互接続２０６８は、グラフィックス・マルチプロセッサ２０３４の各機能ユニットをレジスタ・ファイル２０５８及び共有メモリ２０７０に接続する相互接続ネットワークである。少なくとも一実施例では、メモリ及びキャッシュ相互接続２０６８は、ロード／ストア・ユニット２０６６が、共有メモリ２０７０とレジスタ・ファイル２０５８の間でロード及びストアの動作を実装できるようにするクロスバー相互接続である。少なくとも一実施例では、レジスタ・ファイル２０５８は、ＧＰＧＰＵコア２０６２と同じ周波数で動作することができ、したがって、ＧＰＧＰＵコア２０６２とレジスタ・ファイル２０５８の間のデータ転送は非常に低レイテンシを有し得る。少なくとも一実施例では、共有メモリ２０７０を使用して、グラフィックス・マルチプロセッサ２０３４内の機能ユニットで実行されるスレッド間の通信を可能にすることができる。少なくとも一実施例では、キャッシュ・メモリ２０７２を、たとえばデータ・キャッシュとして使用して、機能ユニットとテクスチャ・ユニット２０３６の間で通信されるテクスチャ・データをキャッシュすることができる。少なくとも一実施例では、共有メモリ２０７０は、プログラム管理キャッシュとしても使用することができる。少なくとも一実施例では、ＧＰＧＰＵコア２０６２で実行されているスレッドは、キャッシュ・メモリ２０７２内に記憶される自動キャッシュ・データに加えて、共有メモリ内にプログラム的にデータを記憶することができる。
【0340】
少なくとも一実施例では、本明細書に記載の並列プロセッサ又はＧＰＧＰＵは、ホスト／プロセッサ・コアに通信可能に結合されて、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速する。少なくとも一実施例では、ＧＰＵは、バス又は他の相互接続（たとえば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホスト・プロセッサ／コアに通信可能に結合されてもよい。少なくとも一実施例では、ＳｏＣは、並列プロセッサ、すなわち本明細書に記載のＧＰＧＰＵで構成され、前記並列プロセッサすなわち前記ＳｏＣは、演算を行う。少なくとも一実施例では、ＧＰＵは、コアとしてパッケージ又はチップに一体化されてもよく、パッケージ又はチップの内部の内部プロセッサ・バス／相互接続を介してコアに通信可能に結合されてもよい。少なくとも一実施例では、ＧＰＵの接続方法に関わらず、プロセッサ・コアは、ワーク記述子に含まれたコマンド／命令のシーケンスの形でワークをこうしたＧＰＵに配分してもよい。少なくとも一実施例では、次いでＧＰＵは、これらのコマンド／命令を効率的に処理するために専用の回路／論理を使用する。
【0341】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・マルチプロセッサ２０３４において使用されてもよい。
【0342】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0343】
図２１は、少なくとも一実施例による、マルチＧＰＵコンピューティング・システム２１００を示す。少なくとも一実施例では、マルチＧＰＵコンピューティング・システム２１００は、ホスト・インターフェース・スイッチ２１０４を介して複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）２１０６Ａ～Ｄに結合されたプロセッサ２１０２を含むことができる。少なくとも一実施例では、ホスト・インターフェース・スイッチ２１０４は、プロセッサ２１０２をＰＣＩエクスプレス・バスに結合するＰＣＩエクスプレス・スイッチ・デバイスであり、このＰＣＩエクスプレス・バスを介して、プロセッサ２１０２は、ＧＰＧＰＵ２１０６Ａ～Ｄと通信することができる。少なくとも一実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、高速ポイントツーポイントＧＰＵツーＧＰＵリンク２１１６のセットを介して相互接続することができる。少なくとも一実施例では、ＧＰＵツーＧＰＵリンク２１１６は、専用ＧＰＵリンクを介して、ＧＰＧＰＵ２１０６Ａ～Ｄのそれぞれに接続される。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク２１１６は、プロセッサ２１０２が接続されているホスト・インターフェース・バス２１０４を介した通信を必要とせずに、ＧＰＧＰＵ２１０６Ａ～Ｄのそれぞれの間で直接通信を可能にする。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク２１１６に仕向けられたＧＰＵツーＧＰＵトラフィックがあると、ホスト・インターフェース・バス２１０４は、システム・メモリへのアクセスができるように、又はたとえば１つ又は複数のネットワーク・デバイスを介して、マルチＧＰＵコンピューティング・システム２１００の他のインスタンスと通信するために、利用可能な状態に保たれる。少なくとも一実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、ホスト・インターフェース・スイッチ２１０４を介してプロセッサ２１０２に接続され、少なくとも一実施例では、プロセッサ２１０２は、Ｐ２ＰのＧＰＵリンク２１１６のための直接サポートを含み、ＧＰＧＰＵ２１０６Ａ～Ｄに直接接続することができる。少なくとも一実施例では、ＧＰＧＰＵ２１０６Ａ～Ｄは、図１６における集積回路１６００の一部などのＳｏＣの一部であり、本明細書に記載の工程を行う。
【0344】
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにマルチＧＰＵコンピューティング・システム２１００において使用されてもよい。
【0345】
少なくとも一実施例では、マルチＧＰＵコンピューティング・システム２１００には、１つ又は複数のグラフィックス・コア１８００が含まれる。
【0346】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0347】
図２２は、少なくとも一実施例によるグラフィックス・プロセッサ２２００のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２、パイプライン・フロント・エンド２２０４、メディア・エンジン２２３７、及びグラフィックス・コア２２８０Ａ～２２８０Ｎを含む。少なくとも一実施例では、リング相互接続２２０２は、グラフィックス・プロセッサ２２００を、他のグラフィックス・プロセッサ又は１つ又は複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、マルチ・コア処理システム内に一体化された多数のプロセッサのうちの１つである。少なくとも一実施例では、グラフィックス・プロセッサ２２００には、グラフィックス・コア１８００が含まれる。
【0348】
少なくとも一実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２を介してコマンドのバッチを受け取る。少なくとも一実施例では、入ってくるコマンドは、パイプライン・フロント・エンド２２０４のコマンド・ストリーマ２２０３によって解釈される。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、グラフィックス・コア２２８０Ａ～２２８０Ｎを介して３Ｄジオメトリ処理及びメディア処理を実行するためのスケーラブルな実行論理を含む。少なくとも一実施例では、３Ｄジオメトリ処理コマンドについては、コマンド・ストリーマ２２０３はコマンドをジオメトリ・パイプライン２２３６に供給する。少なくとも一実施例では、少なくとも一部のメディア処理コマンドについては、コマンド・ストリーマ２２０３はコマンドをビデオ・フロント・エンド２２３４に供給し、ビデオ・フロント・エンド２２３４はメディア・エンジン２２３７に結合される。少なくとも一実施例では、メディア・エンジン２２３７は、ビデオ及び画像の後処理のためのＶｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｎｇｉｎｅ（ＶＱＥ）２２３０と、ハードウェア加速されたメディア・データのエンコード及びデコードを提供するマルチ・フォーマット・エンコード／デコード（ＭＦＸ）２２３３エンジンとを含む。少なくとも一実施例では、ジオメトリ・パイプライン２２３６及びメディア・エンジン２２３７はそれぞれ、少なくとも１つのグラフィックス・コア２２８０によって提供されるスレッド実行リソースのための実行スレッドを生成する。
【0349】
少なくとも一実施例では、グラフィックス・プロセッサ２２００は、グラフィックス・コア２２８０Ａ～２２８０Ｎ（モジュール式であり得、コア・スライスと呼ばれることもある）を特徴とするスケーラブルなスレッド実行リソースを含み、それぞれのグラフィックス・コア２２８０Ａ～２２８０Ｎは、複数のサブ・コア２２５０Ａ～５０Ｎ、２２６０Ａ～２２６０Ｎ（コア・サブ・スライスと呼ばれることもある）を有する。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、任意の数のグラフィックス・コア２２８０Ａを有することができる。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、少なくとも第１のサブ・コア２２５０Ａ及び第２のサブ・コア２２６０Ａを有するグラフィックス・コア２２８０Ａを含む。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、単一のサブ・コア（たとえば、２２５０Ａ）を有する低電力プロセッサである。少なくとも一実施例では、グラフィックス・プロセッサ２２００は、複数のグラフィックス・コア２２８０Ａ～２２８０Ｎを含み、このそれぞれが、第１のサブ・コア２２５０Ａ～２２５０Ｎのセット、及び第２のサブ・コア２２６０Ａ～２２６０Ｎのセットを含む。少なくとも一実施例では、第１のサブ・コア２２５０Ａ～２２５０Ｎの各サブ・コアは、少なくとも、実行ユニット２２５２Ａ～２２５２Ｎとメディア／テクスチャ・サンプラ２２５４Ａ～２２５４Ｎの第１のセットを含む。少なくとも一実施例では、第２のサブ・コア２２６０Ａ～２２６０Ｎの各サブ・コアは、少なくとも、実行ユニット２２６２Ａ～２２６２Ｎとサンプラ２２６４Ａ～２２６４Ｎの第２のセットを含む。少なくとも一実施例では、各サブ・コア２２５０Ａ～２２５０Ｎ、２２６０Ａ～２２６０Ｎは、共有リソース２２７０Ａ～２２７０Ｎのセットを共有する。少なくとも一実施例では、共有リソースは、共有キャッシュ・メモリ及びピクセル動作論理を含む。少なくとも一実施例では、グラフィックス・プロセッサ２２００には、パイプライン・フロント・エンド２２０４におけるロード／ストア・ユニットが含まれる。
【0350】
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・プロセッサ２２００において使用されてもよい。
【0351】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0352】
図２３は、少なくとも一実施例による、命令を実行するための論理回路を含んでもよいプロセッサ２３００のマイクロ・アーキテクチャを示すブロック図である。少なくとも一実施例では、プロセッサ２３００は、ｘ８６命令、ＡＭＲ命令、特定用途向け集積回路（ＡＳＩＣ）用の特別命令などを含む命令を実行してもよい。少なくとも一実施例では、プロセッサ２３００は、カリフォルニア州サンタクララのインテルコーポレーションによる、ＭＭＸ技術で有効化されたマイクロプロセッサ内の６４ビット幅ＭＭＸＴＭレジスタなど、パック・データを記憶するためのレジスタを含んでもよい。少なくとも一実施例では、整数形式と浮動小数点形式の両方で利用可能なＭＭＸレジスタは、単一命令複数データ（「ＳＩＭＤ」）及びストリーミングＳＩＭＤ拡張（「ＳＳＥ」：ｓｔｒｅａｍｉｎｇ ＳＩＭＤ ｅｘｔｅｎｓｉｏｎｓ）命令を伴うパック・データ要素で動作してもよい。少なくとも一実施例では、ＳＳＥ２、ＳＳＥ３、ＳＳＥ４、ＡＶＸ、又はそれ以上（総称して「ＳＳＥｘ」と呼ばれる）の技術に関する１２８ビット幅のＸＭＭレジスタは、こうしたパック・データのオペランドを保持してもよい。少なくとも一実施例では、プロセッサ２３００は、機械学習若しくは深層学習のアルゴリズム、訓練、又は推論を加速するために命令を実行してもよい。
【0353】
少なくとも一実施例では、プロセッサ２３００は、実行すべき命令をフェッチし、プロセッサ・パイプラインで後に使用すべき命令を準備するイン・オーダ・フロント・エンド（「フロント・エンド」）２３０１を含む。少なくとも一実施例では、フロント・エンド２３０１は、いくつかのユニットを含んでもよい。少なくとも一実施例では、命令プリフェッチャ２３２６が、メモリから命令をフェッチし、命令デコーダ２３２８に命令を供給し、命令デコーダが、命令をデコード又は解釈する。たとえば、少なくとも一実施例では、命令デコーダ２３２８は、受け取った命令を、機械が実行することのできる「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる（「マイクロ・オプス」又は「ｕｏｐｓ」又は「ｕ－ｏｐｓ」とも呼ばれる）１つ又は複数のオペレーションにデコードする。少なくとも一実施例では、命令デコーダ２３２８は、命令を、オプコード及び対応するデータ、並びに制御フィールドに構文解析して、これらがマイクロ・アーキテクチャによって使用されて、少なくとも一実施例による動作が実行されてもよい。少なくとも一実施例では、トレース・キャッシュ２３３０は、デコードされたｕｏｐｓを、実行できるようにｕｏｐキュー２３３４においてプログラム順のシーケンス又はトレースにアセンブルしてもよい。少なくとも一実施例では、トレース・キャッシュ２３３０が複雑な命令に遭遇すると、マイクロコードＲＯＭ２３３２が、動作の完了に必要なｕｏｐｓを提供する。
【0354】
少なくとも一実施例では、単一のマイクロ・オプスに変換できる命令もあれば、全動作を完了するためにいくつかのマイクロ・オプスを必要とする命令もある。少なくとも一実施例では、命令を完了するために５つ以上のマイクロ・オプスが要な場合、命令デコーダ２３２８は、マイクロコードＲＯＭ２３３２にアクセスして、命令を実行してもよい。少なくとも一実施例では、命令は、命令デコーダ２３２８において処理できるように、少数のマイクロ・オプスにデコードされてもよい。少なくとも一実施例では、こうした動作を完了するのに多数のマイクロ・オプスが必要な場合には、命令は、マイクロコードＲＯＭ２３３２に記憶されてもよい。少なくとも一実施例では、トレース・キャッシュ２３３０は、少なくとも一実施例によるマイクロコードＲＯＭ２３３２からの１つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ（「ＰＬＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを判定する。少なくとも一実施例では、マイクロコードＲＯＭ２３３２が命令のためのマイクロ・オプスのシーケンシングを終了した後、機械のフロント・エンド２３０１は、トレース・キャッシュ２３３０からマイクロ・オプスのフェッチを再開してもよい。
【0355】
少なくとも一実施例では、アウト・オブ・オーダ実行エンジン（「アウト・オブ・オーダ・エンジン」）２３０３は、実行できるように命令を準備してもよい。少なくとも一実施例では、アウト・オブ・オーダ実行論理は、命令のフローをなめらかにし、その順序を変更するために多数バッファを有し、命令がパイプラインを下り、実行されるようにスケジューリングされるときの性能を最適化する。少なくとも一実施例では、アウト・オブ・オーダ実行エンジン２３０３は、限定することなく、アロケータ／レジスタ・リネーマ２３４０、メモリｕｏｐキュー２３４２、整数／浮動小数点ｕｏｐキュー２３４４、メモリ・スケジューラ２３４６、高速スケジューラ２３０２、低速／汎用浮動小数点スケジューラ（「低速／汎用ＦＰ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔスケジューラ」）２３０４、及び単純浮動小数点スケジューラ（「単純ＦＰスケジューラ」）２３０６を含む。少なくとも一実施例では、高速スケジューラ２３０２、低速／汎用浮動小数点スケジューラ２３０４、及び単純浮動小数点スケジューラ２３０６は、本明細書において集合的に「ｕｏｐスケジューラ２３０２、２３０４、２３０６」とも呼ばれる。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２３４０は、実行するために各ｕｏｐが必要とする機械バッファ及びリソースを配分する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２３４０は、レジスタ・ファイルへのエントリ時に論理レジスタの名前を変更する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２３４０はまた、メモリ・スケジューラ２３４６及びｕｏｐスケジューラ２３０２、２３０４、２３０６の前の、２つのｕｏｐキュー、すなわちメモリ動作のためのメモリｕｏｐキュー２３４２と非メモリ動作のための整数／浮動小数点ｕｏｐキュー２３４４のうちの１つに、各ｕｏｐのエントリを配分する。少なくとも一実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、ｕｏｐｓがいつ実行準備されるかを、それらの従属入力レジスタ・オペランドのソースが準備されていること、及びそれらの動作を完了するためにｕｏｐが必要とする実行リソースが利用可能であることに基づき、判定する。少なくとも一実施例では、高速スケジューラ２３０２は、メイン・クロック・サイクルの半分ごとにスケジューリングしてもよく、低速／汎用浮動小数点スケジューラ２３０４及び単純浮動小数点スケジューラ２３０６は、メイン・プロセッサのクロック・サイクル当たりに１回スケジューリングしてもよい。少なくとも一実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、実行できるようにｕｏｐｓをスケジューリングするためにディスパッチ・ポートを調停する。
【0356】
少なくとも一実施例では、実行ブロック２３１１は、限定することなく、整数レジスタ・ファイル／バイパス・ネットワーク２３０８、浮動小数点レジスタ・ファイル／バイパス・ネットワーク（「ＦＰレジスタ・ファイル／バイパス・ネットワーク」）２３１０、アドレス生成ユニット（「ＡＧＵ」：ａｄｄｒｅｓｓ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔｓ）２３１２及び２３１４、高速算術論理演算ユニット（ＡＬＵ）（「高速ＡＬＵ」）２３１６及び２３１８、低速算術論理演算ユニット（「低速ＡＬＵ」）２３２０、浮動小数点ＡＬＵ（「ＦＰ」）２３２２、並びに浮動小数点移動ユニット（「ＦＰ移動」）２３２４を含む。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８及び浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、本明細書において「レジスタ・ファイル２３０８、２３１０」とも呼ばれる。少なくとも一実施例では、ＡＧＵ２３１２及び２３１４、高速ＡＬＵ２３１６及び２３１８、低速ＡＬＵ２３２０、浮動小数点ＡＬＵ２３２２、及び浮動小数点移動ユニット２３２４は、本明細書において「実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４」とも呼ばれる。少なくとも一実施例では、実行ブロック２３１１は、限定することなく、（ゼロを含む）任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含んでもよい。
【0357】
少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０は、ｕｏｐスケジューラ２３０２、２３０４、２３０６と、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４との間に配置されてもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、整数演算を実行する。少なくとも一実施例では、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、浮動小数点演算を実行する。少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０のそれぞれは、限定することなく、バイパス・ネットワークを含んでもよく、このバイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属ｕｏｐｓにバイパス又は転送してもよい。少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０は、互いにデータを通信してもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、限定することなく、２つの別々のレジスタ・ファイル、すなわち低次３２ビットのデータ用の１つのレジスタ・ファイル、及び高次３２ビットのデータ用の第２のレジスタ・ファイルを含んでもよい。少なくとも一実施例では、浮動小数点命令は、通常、６４～１２８ビット幅のオペランドを有することから、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、限定することなく、１２８ビット幅のエントリを含んでもよい。
【0358】
少なくとも一実施例では、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４は、命令を実行してもよい。少なくとも一実施例では、レジスタ・ネットワーク２３０８、２３１０は、マイクロ命令が実行する必要のある整数及び浮動小数点のデータのオペランド値を記憶する。少なくとも一実施例では、プロセッサ２３００は、限定することなく、任意の数及び組合せの実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４を含んでよい。少なくとも一実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、浮動小数点、ＭＭＸ、ＳＩＭＤ、ＡＶＸ、及びＳＥＥ、又は特別な機械学習命令を含む他の演算を実行してもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２３２２は、限定することなく、６４ビットずつの浮動小数点デバイダを含み、除算、平方根、及び残りのマイクロ・オプスを実行してもよい。少なくとも一実施例では、浮動小数点値を含む命令は、浮動小数点ハードウェアによって対処されてもよい。少なくとも一実施例では、ＡＬＵ演算は、高速ＡＬＵ２３１６、２３１８に渡されてもよい。少なくとも一実施例では、高速ＡＬＵ２３１６、２３１８は、クロック・サイクルの半分の実効レイテンシで高速演算を実行してもよい。少なくとも一実施例では、低速ＡＬＵ２３２０は、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを、限定することなく含んでもよいことから、ほとんどの複雑な整数演算は低速ＡＬＵ２３２０に進む。少なくとも一実施例では、メモリのロード／ストア動作は、ＡＧＵＳ２３１２、２３１４によって実行されてもよい。少なくとも一実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、６４ビットのデータ・オペランドで整数演算を実行してもよい。少なくとも一実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、１６、３２、１２８、２５６などを含む様々なデータ・ビット・サイズをサポートするように実装されてもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、ＳＩＭＤ及びマルチメディア命令と併せた１２８ビット幅のパック・データ・オペランドなど様々なビット幅を有する幅広いオペランドをサポートするように実装されてもよい。
【0359】
少なくとも一実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、親ロードが実行を終了する前に、従属演算をディスパッチする。少なくとも一実施例では、ｕｏｐｓは、プロセッサ２３００において投機的にスケジューリング及び実行されてもよいので、プロセッサ２３００は、メモリ・ミスに対処するための論理も含んでよい。少なくとも一実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータを有するスケジューラを通り過ぎたパイプラインに、進行中の従属演算が存在してもよい。少なくとも一実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも一実施例では、従属演算は、リプレイされる必要があってもよく、独立した演算は、完了が許容されてもよい。少なくとも一実施例では、プロセッサの少なくとも一実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計されてもよい。
【0360】
少なくとも一実施例では、「レジスタ」は、オペランドを識別するための命令の一部として使用することができるオンボード・プロセッサのストレージ・ロケーションを指してもよい。少なくとも一実施例では、レジスタは、（プログラマの視点から見て）プロセッサの外部から使用可能であり得るものであってもよい。少なくとも一実施例では、レジスタは、特定のタイプの回路に限定されなくてもよい。むしろ、少なくとも一実施例では、レジスタは、データを記憶し、データを提供し、本明細書に記載の機能を実行してもよい。少なくとも一実施例では、本明細書に記載のレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に配分される物理レジスタ、専用物理レジスタと動的に配分される物理レジスタとの組合せなど、任意の数の異なる技法を使用して、プロセッサ内の回路によって実装されてもよい。少なくとも一実施例では、整数レジスタは、３２ビットの整数データを記憶する。少なくとも一実施例のレジスタ・ファイルは、パック・データのための８つのマルチメディアＳＩＭＤレジスタも含む。
【0361】
少なくとも一実施例では、プロセッサ２３００又はプロセッサ２３００の各コアには、前記プロセッサ２３００に関して本明細書にさらに記載の如何なる機能も果たす、１つ又は複数のプリフェッチャ、１つ又は複数のフェッチャ、１つ又は複数のプレデコーダ、データ（たとえば、命令）をデコードする１つ又は複数のデコーダ、命令（たとえば、オペレーション又はＡＰＩ呼出しに対応する）を処理する１つ又は複数の命令キュー、μＯＰを記憶する１つ又は複数のマイクロ・オペレーション（μＯＰ）キャッシュ、イン・オーダー実行エンジン、１つ又は複数のロード・バッファ、１つ又は複数のストア・バッファ、１つ又は複数のリオーダ・バッファ、１つ又は複数のフィル・バッファ、アウト・オブ・オーダ実行エンジン、１つ又は複数のポート、１つ又は複数のシフト及び／若しくはシフタ・ユニット、１つ又は複数の融合積和（ＦＭＡ：Ｆｕｓｅｄ Ｍｕｌｔｉｐｌｙ Ａｃｃｕｍｕｌａｔｅ）ユニット、演算を行う（たとえば、ＡＰＩ、ＡＰＩ呼出しを行う）よう求めるデータ（たとえば、命令）を読み込み／記憶することに対応するストア・オペレーションの読み込みを行う１つ又は複数の１つ又は複数のロード及びストア・ユニット（「ＬＳＵ」：Ｌｏａｄ ａｎｄ Ｓｔｏｒｅ Ｕｎｉｔ）、１つ又は複数の行列積和（ＭＭＡ：Ｍａｔｒｉｘ Ｍｕｌｔｉｐｌｙ Ａｃｃｕｍｕｌａｔｅ）ユニット、及び／又は１つ又は複数のシャッフル・ユニットが含まれる。少なくとも一実施例では、プロセッサ２３００は、ＡＰＩを呼び出すのに対応する、命令にアクセスする、命令を使用する、命令を行う、又は命令を実行することができる。
【0362】
少なくとも一実施例では、プロセッサ２３００には、１つ又は複数のウルトラ・パス相互接続（ＵＰＩ：Ｕｌｔｒａ Ｐａｔｈ Ｉｎｔｅｒｃｏｎｎｅｃｔ）が含まれ、これは、たとえば、ポイントツーポイント・プロセッサ相互接続、１つ又は複数のＰＣＩｅ、計算又は演算を加速させる１つ又は複数のアクセラレータ、及び／又は１つ若しくは複数のメモリ・コントローラである。少なくとも一実施例では、プロセッサ２３００には、プロセッサ・コアにわたる共有メモリ・アクセスを可能にすることができる、１つ又は複数のメモリ・コントローラに結合された共有ラスト・レベル・キャッシュ（ＬＬＣ：Ｌａｓｔ Ｌｅｖｅｌ Ｃｈａｃｈｅ）が含まれる。
【0363】
少なくとも一実施例では、プロセッサ２３００又はプロセッサ２３００の各コアのアーキテクチャは、プロセッサ・コア、オン・チップ・キャッシュ、メモリ・コントローラ、及びＩ／Ｏコントローラが行列に構造化され、ワイヤとスイッチがそれらを、向きを変えることができるように各交差点で接続している、というメッシュ・アーキテクチャである。少なくとも一実施例では、プロセッサ２３００のメモリ帯域幅は、たとえば、ダブル・データ・レート５同期ダイナミック・ランダム・アクセス・メモリ（ＤＤ５ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ５ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）においてデータを記憶する又はデータをキャッシュに入れるのより高い１つ又は複数のメモリ帯域幅（ＨＭＢ、たとえばＨＭＢｅ）である。少なくとも一実施例では、プロセッサ２３００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：Ｃｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ）相互接続を使用して相互接続される。少なくとも一実施例では、メモリ・コントローラでは、「ｌｅａｓｔ ｒｅｃｅｎｔｌｙ ｕｓｅｄ」（ＬＲＵ）手法を使用して、キャッシュに記憶されている何を手に入れるかを判断する。少なくとも一実施例では、プロセッサには、１つ又は複数のＰＣＩｅ（たとえば、ＰＣＩｅ５．０）が含まれる。
【0364】
１つ又は複数の実施例に伴う推論及び／又は訓練演算を行うのに、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、実行ブロック２３１１、及び図示してある若しくは図示していない他のメモリ又はレジスタに組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、実行ブロック２３１１に示すＡＬＵのうちの１つ又は複数を使用してもよい。さらに、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行ブロック２３１１のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0365】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0366】
図２４は、少なくとも一実施例による深層学習アプリケーション・プロセッサ２４００を示す。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、深層学習アプリケーション・プロセッサ２４００によって実行される場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、深層学習アプリケーション・プロセッサ２４００に実行させる命令を使用する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、特定用途向け集積回路（ＡＳＩＣ）である。少なくとも一実施例では、アプリケーション・プロセッサ２４００は、１つ若しくは複数の命令又は両方を実行した結果としていずれもハードウェアに「ハード・ワイヤード」された行列乗算演算を実行する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、限定することなく、処理クラスタ２４１０（１）～２４１０（１２）、チップ間リンク（「ＩＣＬ」）２４２０（１）～２４２０（１２）、チップ間コントローラ（「ＩＣＣ」）２４３０（１）～２４３０（２）、高帯域幅メモリ第２世代（「ＨＢＭ２」）２４４０（１）～２４４０（４）、メモリ・コントローラ（「Ｍｅｍ Ｃｔｒｌｒｓ」）２４４２（１）～２４４２（４）、高帯域幅メモリ物理層（「ＨＢＭ ＰＨＹ」）２４４４（１）～２４４４（４）、管理－コントローラ中央処理装置（「管理－コントローラＣＰＵ」）２４５０、シリアル・ペリフェラル・インターフェース、集積回路間、及び汎用入力／出力ブロック（「ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ」）２４６０、周辺構成要素相互接続エクスプレス・コントローラ及びダイレクト・メモリ・アクセス・ブロック（「ＰＣＩｅコントローラ及びＤＭＡ」）２４７０、並びに１６レーン周辺構成要素相互接続エクスプレス・ポート（「ＰＣＩ Ｅｘｐｒｅｓｓｘ１６」）２４８０を含む。
【0367】
少なくとも一実施例では、処理クラスタ２４１０は、本明細書に記載の技法を含む１つ又は複数の訓練技法を使用して計算された重みパラメータに基づき、推論又は予測の演算を含む深層学習演算を実行してもよい。少なくとも一実施例では、各処理クラスタ２４１０は、限定することなく、任意の数及びタイプのプロセッサを含んでもよい。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、任意の数及びタイプの処理クラスタ２４００を含んでもよい。少なくとも一実施例では、チップ間リンク２４２０は、双方向性である。少なくとも一実施例では、チップ間リンク２４２０及びチップ間コントローラ２４３０は、１つ又は複数のニューラル・ネットワークに具体化された１つ又は複数の機械学習アルゴリズムを実行した結果得られるアクティブ化情報を含む情報を、複数の深層学習アプリケーション・プロセッサ２４００が交換できるようにする。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、（ゼロを含む）任意の数及びタイプのＩＣＬ２４２０及びＩＣＣ２４３０を含んでもよい。
【0368】
少なくとも一実施例では、ＨＢＭ２ ２４４０は、合計３２ギガバイト（ＧＢ：Ｇｉｇａｂｙｔｅ）のメモリを提供する。少なくとも一実施例では、ＨＢＭ２ ２４４０（ｉ）は、メモリ・コントローラ２４４２（ｉ）とＨＢＭ ＰＨＹ２４４４（ｉ）の両方に関連付けられ、ここで「ｉ」は任意の整数である。少なくとも一実施例では、任意の数のＨＢＭ２ ２４４０が、任意のタイプ及び合計量の高帯域幅メモリを提供してもよく、（ゼロを含む）任意の数及びタイプのメモリ・コントローラ２４４２及びＨＢＭ ＰＨＹ２４４４に関連付けられてもよい。少なくとも一実施例では、ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ２４６０、ＰＣＩｅコントローラ及びＤＭＡ２４７０、並びに／又はＰＣＩｅ２４８０は、任意の技術的に実行可能なやり方で任意の数及びタイプの通信規格を有効にする任意の数及びタイプのブロックに置き換えられてもよい。
【0369】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、深層学習アプリケーション・プロセッサ２４００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ２４００は、別のプロセッサ若しくはシステムによって、又は深層学習アプリケーション・プロセッサ２４００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、プロセッサ２４００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0370】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0371】
図２５は、少なくとも一実施例による、ニューロモーフィック・プロセッサ２５００のブロック図である。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、ニューロモーフィック・プロセッサ２５００の外部のソースから１つ又は複数の入力を受信する。少なくとも一実施例では、これらの入力は、ニューロモーフィック・プロセッサ２５００内の１つ又は複数のニューロン２５０２に送信されてもよい。少なくとも一実施例では、ニューロン２５０２及びその構成要素は、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、限定することなく、ニューロン２５０２の数千又は数百万のインスタンスを含んでもよいが、任意の好適な数のニューロン２５０２が使用されてもよい。少なくとも一実施例では、ニューロン２５０２の各インスタンスは、ニューロン入力２５０４及びニューロン出力２５０６を含んでもよい。少なくとも一実施例では、ニューロン２５０２は出力を生成してもよく、この出力は、ニューロン２５０２の他のインスタンスの入力に送信されてもよい。たとえば、少なくとも一実施例では、ニューロン入力２５０４及びニューロン出力２５０６は、シナプス２５０８を介して相互接続されてもよい。
【0372】
少なくとも一実施例では、ニューロン２５０２とシナプス２５０８は、ニューロモーフィック・プロセッサ２５００が受信した情報をニューロモーフィック・プロセッサ２５００が動作して処理又は分析するように、相互接続されてもよい。少なくとも一実施例では、ニューロン２５０２は、ニューロン入力２５０４を介して受信した入力が、閾値を超えているとき、出力パルス（又は「発火」若しくは「スパイク」）を送信してもよい。少なくとも一実施例では、ニューロン２５０２は、ニューロン入力２５０４において受信した信号を合計又は積分してもよい。たとえば、少なくとも一実施例では、ニューロン２５０２は、漏れ積分発火ニューロン（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ－ａｎｄ－ｆｉｒｅ ｎｅｕｒｏｎ）として実装されてもよく、ここで、合計（「膜電位」と呼ばれる）が閾値を超える場合には、ニューロン２５０２は、シグモイド関数又は閾値関数などの伝達関数を使用して、出力（又は「発火」）を生成してもよい。少なくとも一実施例では、漏れ積分発火ニューロンは、ニューロン入力２５０４で受信した信号を合計して膜電位にしてもよく、また、崩壊因子（又は漏れ）を適用して膜電位を低減してもよい。少なくとも一実施例では、複数の入力信号が、閾値を超えるほど十分に素早く（すなわち、膜電位の崩壊が少なすぎて発火できなくなる前に）ニューロン入力２５０４において受信された場合には、漏れ積分発火ニューロンが発火してもよい。少なくとも一実施例では、ニューロン２５０２は、入力を受信し、入力を積分して膜電位にし、膜電位を崩壊させる回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、入力は平均化されてもよく、又は任意の他の好適な伝達関数が使用されてもよい。さらに、少なくとも一実施例では、ニューロン２５０２は、ニューロン２５０４に伝達関数を適用した結果が閾値を超えるとき、ニューロン２５０６において出力スパイクを生成するコンパレータ回路又は論理を、限定することなく含んでもよい。少なくとも一実施例では、ニューロン２５０２は発火すると、前に受信した入力情報を、たとえば膜電位を０又は他の好適なデフォルト値に再設定することによって、無視してもよい。少なくとも一実施例では、膜電位が０にリセットされると、ニューロン２５０２は、好適な期間（又は不応期）の後に通常の動作を再開してもよい。
【0373】
少なくとも一実施例では、ニューロン２５０２は、シナプス２５０８を通して相互接続されてもよい。少なくとも一実施例では、シナプス２５０８は、第１のニューロン２５０２の出力から第２のニューロン２５０２の入力に信号を送信するように動作してもよい。少なくとも一実施例では、ニューロン２５０２は、シナプス２５０８の２つ以上のインスタンスを介して情報を送信してもよい。少なくとも一実施例では、ニューロン出力２５０６の１つ又は複数のインスタンスは、シナプス２５０８のインスタンスを介して、同じニューロン２５０２のニューロン入力２５０４のインスタンスに接続されてもよい。少なくとも一実施例では、シナプス２５０８のインスタンスを介して送信されることになる出力を生成するニューロン２５０２のインスタンスは、シナプス２５０８のそのインスタンスに対して「シナプス前ニューロン」と呼ばれてもよい。少なくとも一実施例では、シナプス２５０８のインスタンスを介して送信されることになる入力を受信するニューロン２５０２のインスタンスは、シナプス２５０８のそのインスタンスに対して「シナプス後ニューロン」と呼ばれてもよい。少なくとも一実施例では、ニューロン２５０２のインスタンスは、シナプス２５０８の１つ又は複数のインスタンスから入力を受信してもよく、また、シナプス２５０８の１つ又は複数のインスタンスを介して出力を送信してもよいので、ニューロン２５０２の単一のインスタンスは、したがって、シナプス２５０８の様々なインスタンスに対して「シナプス前ニューロン」と「シナプス後ニューロン」の両方であってもよい。
【0374】
少なくとも一実施例では、ニューロン２５０２は、１つ又は複数の層に組織化されてもよい。少なくとも一実施例では、ニューロン２５０２の各インスタンスは、１つ又は複数のシナプス２５０８を通って１つ又は複数のニューロン入力２５０４にファン・アウトすることができる１つのニューロン出力２５０６を有してもよい。少なくとも一実施例では、第１の層２５１０のニューロン２５０２のニューロン出力２５０６は、第２の層２５１２のニューロン２５０２のニューロン入力２５０４に接続されてもよい。少なくとも一実施例では、層２５１０は、「フィード・フォワード」層と呼ばれてもよい。少なくとも一実施例では、第１の層２５１０のインスタンスにおけるニューロン２５０２の各インスタンスは、第２の層２５１２におけるニューロン２５０２の各インスタンスにファン・アウトしてもよい。少なくとも一実施例では、第１の層２５１０は、「完全に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層２５１２のインスタンスにおけるニューロン２５０２の各インスタンスは、第３の層２５１４におけるニューロン２５０２の全インスタンスより少ないインスタンスにファン・アウトしてもよい。少なくとも一実施例では、第２の層２５１２は、「疎に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層２５１２のニューロン２５０２は、第２の層２５１２におけるニューロン２５０２を含め、複数の他の層のニューロン２５０２にファン・アウトしてもよい。少なくとも一実施例では、第２の層２５１２は、「回帰層」と呼ばれてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、疎に接続されたフィード・フォワード層と完全に接続されたフィード・フォワード層の両方を限定することなく含む、回帰層とフィード・フォワード層の任意の好適な組合せを限定することなく含んでもよい。
【0375】
少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、シナプス２５０８をニューロン２５０２に接続するための再構成可能相互接続アーキテクチャ、又は専用ハード・ワイヤード相互接続を、限定することなく含んでもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ２５００は、ニューラル・ネットワーク・トポロジ、及びニューロンのファン・イン／ファン・アウトに基づき、必要に応じてシナプスを異なるニューロン２５０２に配分できるようにする回路又は論理を、限定することなく含んでもよい。たとえば、少なくとも一実施例では、シナプス２５０８は、ネットワーク・オン・チップなどの相互接続ファブリックを使用して、又は専用の接続を用いて、ニューロン２５０２に接続されてもよい。少なくとも一実施例では、シナプス相互接続及びその構成要素は、回路又は論理を使用して実装されてもよい。
【0376】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0377】
図２６は、少なくとも一実施例による処理システムのブロック図である。少なくとも一実施例では、システム２６００は、１つ又は複数のプロセッサ２６０２、及び１つ又は複数のグラフィックス・プロセッサ２６０８を含み、単一プロセッサのデスクトップ・システム、マルチプロセッサのワークステーション・システム、又は多数のプロセッサ２６０２若しくはプロセッサ・コア２６０７を有するサーバ・システムであってもよい。少なくとも一実施例では、システム２６００は、モバイル・デバイス、携帯型デバイス、又は組み込みデバイスで使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。少なくとも一実施例では、１つ又は複数のグラフィックス・プロセッサ２６０８には、１つ又は複数のグラフィックス・コア１８００が含まれる。
【0378】
少なくとも一実施例では、システム２６００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディアのコンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、携帯型ゲーム・コンソール、若しくはオンライン・ゲーム・コンソールを含んでもよく、又はそれらに組み込まれてもよい。少なくとも一実施例では、システム２６００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス、又はモバイル・インターネット・デバイスである。少なくとも一実施例では、処理システム２６００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、若しくは仮想現実デバイスなどのウェアラブル・デバイスを含んでもよく、それらに結合されてもよく、又はそれらの中に一体化されてもよい。少なくとも一実施例では、処理システム２６００は、１つ又は複数のプロセッサ２６０２と、１つ又は複数のグラフィックス・プロセッサ２６０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
【0379】
少なくとも一実施例では、１つ又は複数のプロセッサ２６０２はそれぞれ、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実行する命令を処理するための１つ又は複数のプロセッサ・コア２６０７を含む。少なくとも一実施例では、１つ又は複数のプロセッサ・コア２６０７のそれぞれは、特定の命令シーケンス２６０９を処理するように構成される。少なくとも一実施例では、命令シーケンス２６０９は、複合命令セット・コンピューティング（ＣＩＳＣ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にしてもよい。少なくとも一実施例では、プロセッサ・コア２６０７はそれぞれ、異なる命令シーケンス２６０９を処理してもよく、この命令セットは、他の命令シーケンスのエミュレーションを容易にする命令を含んでもよい。少なくとも一実施例では、プロセッサ・コア２６０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含んでもよい。
【0380】
少なくとも一実施例では、プロセッサ２６０２はキャッシュ・メモリ２６０４を含む。少なくとも一実施例では、プロセッサ２６０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ２６０２の様々な構成要素間で共有される。少なくとも一実施例では、プロセッサ２６０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ））（図示せず）を使用し、このキャッシュは、知られているキャッシュ・コヒーレンス技法を使用して、プロセッサ・コア２６０７間で共有されてもよい。少なくとも一実施例では、さらにレジスタ・ファイル２６０６がプロセッサ２６０２に含まれ、このレジスタ・ファイルは、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタ）を含んでもよい。少なくとも一実施例では、レジスタ・ファイル２６０６は、汎用レジスタ又は他のレジスタを含んでもよい。
【0381】
少なくとも一実施例では、１つ又は複数のプロセッサ２６０２は、１つ又は複数のインターフェース・バス２６１０に結合されて、アドレス、データ、又は制御信号などの通信信号を、プロセッサ２６０２とシステム２６００内の他の構成要素との間で送信する。少なくとも一実施例では、インターフェース・バス２６１０は、一実施例では、ダイレクト・メディア・インターフェース（ＤＭＩ）バスのバージョンなどのプロセッサ・バスとすることができる。少なくとも一実施例では、インターフェース２６１０は、ＤＭＩバスに限定されず、１つ又は複数のペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）、メモリ・バス、又は他のタイプのインターフェース・バスを含んでもよい。少なくとも一実施例では、プロセッサ２６０２は、統合メモリ・コントローラ２６１６、及びプラットフォーム・コントローラ・ハブ２６３０を含む。少なくとも一実施例では、メモリ・コントローラ２６１６は、メモリ・デバイスとシステム２６００の他の構成要素との間の通信を容易にし、一方でプラットフォーム・コントローラ・ハブ（ＰＣＨ）２６３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。
【0382】
少なくとも一実施例では、メモリ・デバイス２６２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとしての役割を果たすのに好適な性能を有する何らかの他のメモリ・デバイスとすることができる。少なくとも一実施例では、メモリ・デバイス２６２０は、システム２６００のためのシステム・メモリとして動作して、１つ又は複数のプロセッサ２６０２がアプリケーション若しくはプロセスを実行するときに使用するためのデータ２６２２及び命令２６２１を記憶することができる。少なくとも一実施例では、メモリ・コントローラ２６１６はまた、任意選択の外部グラフィックス・プロセッサ２６１２と結合しており、このグラフィックス・プロセッサは、プロセッサ２６０２内の１つ又は複数のグラフィックス・プロセッサ２６０８と通信して、グラフィックス及びメディアの動作を実行してもよい。少なくとも一実施例では、ディスプレイ・デバイス２６１１は、プロセッサ２６０２に接続することができる。少なくとも一実施例では、ディスプレイ・デバイス２６１１は、モバイル電子デバイス又はラップトップ・デバイスのような内部ディスプレイ・デバイス、又はディスプレイ・インターフェース（たとえば、ディスプレイ・ポートなど）を介して取り付けられる外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも一実施例では、ディスプレイ・デバイス２６１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションで使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ）を含むことができる。
【0383】
少なくとも一実施例では、プラットフォーム・コントローラ・ハブ２６３０は、周辺装置が高速Ｉ／Ｏバスを介してメモリ・デバイス２６２０及びプロセッサ２６０２に接続できるようにする。少なくとも一実施例では、Ｉ／Ｏ周辺装置は、オーディオ・コントローラ２６４６、ネットワーク・コントローラ２６３４、ファームウェア・インターフェース２６２８、ワイヤレス・トランシーバ２６２６、タッチ・センサ２６２５、データ・ストレージ・デバイス２６２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）を含むが、これらに限定されない。少なくとも一実施例では、データ・ストレージ・デバイス２６２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又はペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）などのペリフェラル・バスを介して、接続することができる。少なくとも一実施例では、タッチ・センサ２６２５は、タッチ画面センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも一実施例では、ワイヤレス・トランシーバ２６２６は、ＷｉＦｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、又は３Ｇ、４Ｇ、若しくはＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバとすることができる。少なくとも一実施例では、ファームウェア・インターフェース２６２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ）とすることができる。少なくとも一実施例では、ネットワーク・コントローラ２６３４は、有線ネットワークへのネットワーク接続を可能にすることができる。少なくとも一実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス２６１０と結合する。少なくとも一実施例では、オーディオ・コントローラ２６４６は、多チャネル・ハイ・デフィニション・オーディオ・コントローラである。少なくとも一実施例では、システム２６００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２））デバイスをシステム２６００に結合するための任意選択のレガシーＩ／Ｏコントローラ２６４０を含む。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ２６３０は、キーボードとマウス２６４３の組合せ、カメラ２６４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ２６４２の接続入力デバイスにも接続することができる。
【0384】
少なくとも一実施例では、メモリ・コントローラ２６１６及びプラットフォーム・コントローラ・ハブ２６３０のインスタンスは、外部グラフィックス・プロセッサ２６１２などの個別の外部グラフィックス・プロセッサに一体化されてもよい。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ２６３０及び／又はメモリ・コントローラ２６１６は、１つ又は複数のプロセッサ２６０２の外部にあってもよい。たとえば、少なくとも一実施例では、システム２６００は、外部のメモリ・コントローラ２６１６及びプラットフォーム・コントローラ・ハブ２６３０を含むことができ、これらは、プロセッサ２６０２と通信するシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺装置コントローラ・ハブとして構成されてもよい。
【0385】
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２６０８に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプラインに具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ２６０８のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示している又は図示せず）に記憶されてもよい。
【0386】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0387】
図２７は、少なくとも一実施例による、１つ又は複数のプロセッサ・コア２７０２Ａ～２７０２Ｎ、統合メモリ・コントローラ２７１４、及び統合グラフィックス・プロセッサ２７０８を有するプロセッサ２７００のブロック図である。少なくとも一実施例では、プロセッサ２７００は、破線の四角によって表される追加コア２７０２Ｎを含むそれ以下の数の追加コアを含むことができる。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎのそれぞれは、１つ又は複数の内部キャッシュ・ユニット２７０４Ａ～２７０４Ｎを含む。少なくとも一実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット２７０６にアクセスできる。少なくとも一実施例では、グラフィクス・プロセッサ２７０８には、１つ又は複数のグラフィックス・コア１８００が含まれる。
【0388】
少なくとも一実施例では、内部キャッシュ・ユニット２７０４Ａ～２７０４Ｎ、及び共有キャッシュ・ユニット２７０６は、プロセッサ２７００内のキャッシュ・メモリ階層を表す。少なくとも一実施例では、キャッシュ・メモリ・ユニット２７０４Ａ～２７０４Ｎは、各プロセッサ・コア内の命令及びデータのキャッシュの少なくとも１つのレベル、並びにレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含んでもよく、ここで外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも一実施例では、キャッシュ・コヒーレンス論理は、様々なキャッシュ・ユニット２７０６及び２７０４Ａ～２７０４Ｎ間でコヒーレンスを維持する。
【0389】
少なくとも一実施例では、プロセッサ２７００はまた、１つ又は複数のバス・コントローラ・ユニット２７１６とシステム・エージェント・コア２７１０のセットを含んでもよい。少なくとも一実施例では、バス・コントローラ・ユニット２７１６は、１つ又は複数のＰＣＩ若しくはＰＣＩエクスプレス・バスなどのペリフェラル・バスのセットを管理する。少なくとも一実施例では、システム・エージェント・コア２７１０は、様々なプロセッサ構成要素のための管理機能を提供する。少なくとも一実施例では、システム・エージェント・コア２７１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合メモリ・コントローラ２７１４を含む。
【0390】
少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも一実施例では、システム・エージェント・コア２７１０は、マルチスレッドの処理中にコア２７０２Ａ～２７０２Ｎを調整し動作させるための構成要素を含む。少なくとも一実施例では、システム・エージェント・コア２７１０はさらに、電力制御ユニット（ＰＣＵ）を含んでもよく、このユニットは、プロセッサ・コア２７０２Ａ～２７０２Ｎ及びグラフィックス・プロセッサ２７０８の１つ又は複数の電力状態を調整するための論理及び構成要素を含む。
【0391】
少なくとも一実施例では、プロセッサ２７００はさらに、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ２７０８を含む。少なくとも一実施例では、グラフィックス・プロセッサ２７０８は、共有キャッシュ・ユニット２７０６と、１つ又は複数の統合メモリ・コントローラ２７１４を含むシステム・エージェント・コア２７１０とに結合する。少なくとも一実施例では、システム・エージェント・コア２７１０はまた、１つ又は複数の結合されたディスプレイに対してグラフィックス・プロセッサの出力を行わせるためのディスプレイ・コントローラ２７１１を含む。少なくとも一実施例では、ディスプレイ・コントローラ２７１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ２７０８に結合された別個のモジュールであってもよく、又はグラフィックス・プロセッサ２７０８内に一体化されていてもよい。
【0392】
少なくとも一実施例では、プロセッサ２７００の内部構成要素を結合するために、リング・ベースの相互接続ユニット２７１２が使用される。少なくとも一実施例では、ポイントツーポイント相互接続、スイッチ相互接続、又は他の技法などの代替的な相互接続ユニットが使用されてもよい。少なくとも一実施例では、グラフィックス・プロセッサ２７０８は、Ｉ／Ｏリンク２７１３を介してリング相互接続２７１２と結合する。
【0393】
少なくとも一実施例では、Ｉ／Ｏリンク２７１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール２７１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む多様なＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎのそれぞれ及びグラフィックス・プロセッサ２７０８は、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール２７１８を使用する。
【0394】
少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ）の観点から見れば異種であり、ここでプロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数は、共通の命令セットを実行するが、プロセッサ・コア２７０２Ａ～２７０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも一実施例では、プロセッサ・コア２７０２Ａ～２７０２Ｎは、マイクロ・アーキテクチャの観点から見れば異種であり、ここで電力消費量が相対的に高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数のコアと結合する。少なくとも一実施例では、プロセッサ２７００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装することができる。
【0395】
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２７０８に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン、グラフィックス・コア２７０２、共有機能論理、又は図２７の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのプロセッサ２７００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示している又は図示せず）に記憶されてもよい。
【0396】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0397】
図２８は、グラフィックス・プロセッサ２８００のブロック図であり、これは、個別グラフィックス・プロセッシング・ユニットであってもよく、又は複数の処理コアと統合されたグラフィックス・プロセッサであってもよい。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、メモリにマッピングされたＩ／Ｏインターフェースを介して、メモリに入れられたコマンドを用いて、グラフィックス・プロセッサ２８００のレジスタと通信する。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、メモリにアクセスするためのメモリ・インターフェース２８１４を含む。少なくとも一実施例では、メモリ・インターフェース２８１４は、ローカル・メモリ、１つ若しくは複数の内部キャッシュ、１つ若しくは複数の共有外部キャッシュ、及び／又はシステム・メモリへのインターフェースである。少なくとも一実施例では、グラフィックス・プロセッサ２８００には、グラフィックス・コア１８００が含まれる。
【0398】
少なくとも一実施例では、グラフィックス・プロセッサ２８００はまた、ディスプレイ出力データをディスプレイ・デバイス２８２０に向けて駆動するためのディスプレイ・コントローラ２８０２も含む。少なくとも一実施例では、ディスプレイ・コントローラ２８０２は、ディスプレイ・デバイス２８２０用の１つ又は複数の重なり平面、及び多層のビデオ若しくはユーザ・インターフェース要素の合成のためのハードウェアを含む。少なくとも一実施例では、ディスプレイ・デバイス２８２０は、内部又は外部のディスプレイ・デバイスとすることができる。少なくとも一実施例では、ディスプレイ・デバイス２８２０は、仮想現実（ＶＲ）ディスプレイ・デバイス又は拡張現実（ＡＲ）ディスプレイ・デバイスなどの頭部装着型ディスプレイ・デバイスである。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、ＭＰＥＧ－２などの動画エキスパート・グループ（ＭＰＥＧ）フォーマット、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣなどのアドバンスト・ビデオ・コーディング（ＡＶＣ）フォーマット、並びに映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１、及びＪＰＥＧなどのジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）フォーマット、及びモーションＪＰＥＧ（ＭＪＰＥＧ）フォーマットを含むがこれらに限定されない１つ又は複数のメディア符号化フォーマットに、それらのフォーマットから、又はそれらのフォーマット間で、メディアをエンコード、デコード、又はコード変換するためのビデオ・コーデック・エンジン２８０６を含む。
【0399】
少なくとも一実施例では、グラフィックス・プロセッサ２８００は、たとえばビット境界ブロック転送を含む２次元（２Ｄ）ラスタライザ動作を実行するためのブロック画像転送（ＢＬＩＴ）エンジン２８０４を含む。しかし、少なくとも一実施例では、２Ｄグラフィックス動作は、グラフィックス処理エンジン（ＧＰＥ）２８１０の１つ又は複数の構成要素を使用して実行される。少なくとも一実施例では、ＧＰＥ２８１０は、３次元（３Ｄ）グラフィックス動作及びメディア動作を含むグラフィックス動作を実行するためのコンピュート・エンジンである。
【0400】
少なくとも一実施例では、ＧＰＥ２８１０は、３Ｄのプリミティブ形状（たとえば、矩形、三角形など）に作用する処理関数を使用して、３次元画像及びシーンをレンダリングするなど、３Ｄ動作を実行するための３Ｄパイプライン２８１２を含む。少なくとも一実施例では、３Ｄパイプライン２８１２は、プログラム可能で固定された関数要素を含み、これは、３Ｄ／メディア・サブシステム２８１５に対して様々なタスクを実行し、且つ／又は実行スレッドをスポーンする。３Ｄパイプライン２８１２を使用してメディア動作を実行できるが、少なくとも一実施例では、ＧＰＥ２８１０は、ビデオの後処理及び画像強調などのメディア動作を実行するために使用されるメディア・パイプライン２８１６も含む。
【0401】
少なくとも一実施例では、メディア・パイプライン２８１６は、ビデオ・コーデック・エンジン２８０６の代わりに、又はそれを代表して、ビデオ・デコード加速、ビデオ・インターレース解除、及びエンコード加速などの１つ又は複数の特別なメディア動作を実行するための固定機能又はプログラム可能論理ユニットを含む。少なくとも一実施例では、メディア・パイプライン２８１６は、３Ｄ／メディア・サブシステム２８１５で実行するためのスレッドをスポーンするためのスレッド・スポーニング・ユニットをさらに含む。少なくとも一実施例では、スポーンされたスレッドは、３Ｄ／メディア・サブシステム２８１５に含まれた１つ又は複数のグラフィックス実行ユニット上で、メディア動作のための計算を実行する。
【0402】
少なくとも一実施例では、３Ｄ／メディア・サブシステム２８１５は、３Ｄパイプライン２８１２及びメディア・パイプライン２８１６によってスポーンされたスレッドを実行するための論理を含む。少なくとも一実施例では、３Ｄパイプライン２８１２及びメディア・パイプライン２８１６は、スレッド実行要求を３Ｄ／メディア・サブシステム２８１５に送信し、この３Ｄ／メディア・サブシステム２８１５は、様々な要求を調停し、利用可能なスレッド実行リソースにディスパッチするためのスレッド・ディスパッチ論理を含む。少なくとも一実施例では、実行リソースは、３Ｄ及びメディア・スレッドを処理するためのグラフィックス実行ユニットのアレイを含む。少なくとも一実施例では、３Ｄ／メディア・サブシステム２８１５は、スレッド命令及びデータのための１つ又は複数の内部キャッシュを含む。少なくとも一実施例では、サブシステム２８１５はまた、スレッド間でデータを共有し、出力データを記憶するための、レジスタ及びアドレス可能メモリを含む共有メモリも含む。
【0403】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２８００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン２８１２に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ２８００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0404】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0405】
図２９は、少なくとも一実施例によるグラフィックス・プロセッサのグラフィックス処理エンジン２９１０のブロック図である。少なくとも一実施例では、グラフィックス処理エンジン（ＧＰＥ）２９１０は、図２８に示すＧＰＥ２８１０の１つのバージョンである。少なくとも一実施例では、メディア・パイプライン２９１６は任意選択であり、ＧＰＥ２９１０内に明示的に含まれなくてもよい。少なくとも一実施例では、別個のメディア及び／又は画像のプロセッサが、ＧＰＥ２９１０に結合される。
【0406】
少なくとも一実施例では、ＧＰＥ２９１０は、コマンド・ストリーマ２９０３に結合され、又はそれを含み、このコマンド・ストリーマは、３Ｄパイプライン２９１２及び／又はメディア・パイプライン２９１６にコマンド・ストリームを提供する。少なくとも一実施例では、コマンド・ストリーマ２９０３はメモリに結合され、このメモリは、システム・メモリであってもよく、又は内部キャッシュ・メモリ及び共有キャッシュ・メモリのうちの１つ若しくは複数であってもよい。少なくとも一実施例では、コマンド・ストリーマ２９０３は、メモリからコマンドを受信し、３Ｄパイプライン２９１２及び／又はメディア・パイプライン２９１６にコマンドを送信する。少なくとも一実施例では、コマンドは、リング・バッファからフェッチされる命令、プリミティブ、又はマイクロ・オペレーションであり、このリング・バッファは、３Ｄパイプライン２９１２及びメディア・パイプライン２９１６のためのコマンドを記憶する。少なくとも一実施例では、リング・バッファはさらに、複数のコマンドのバッチを記憶するバッチ・コマンド・バッファを含むことができる。少なくとも一実施例では、３Ｄパイプライン２９１２用のコマンドはまた、３Ｄパイプライン２９１２用の頂点及び形状のデータ、並びに／又はメディア・パイプライン２９１６用の画像データ及びメモリ・オブジェクトなどであるがこれらに限定されないメモリに記憶されたデータへの参照も含むことができる。少なくとも一実施例では、３Ｄパイプライン２９１２及びメディア・パイプライン２９１６は、演算を実行することにより、又は１つ若しくは複数の実行スレッドをグラフィックス・コア・アレイ２９１４にディスパッチすることにより、コマンド及びデータを処理する。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４は、グラフィックス・コア（たとえば、グラフィックス・コア２９１５Ａ、グラフィックス・コア２９１５Ｂ）の１つ又は複数のブロックを含み、各ブロックは、１つ又は複数のグラフィックス・コアを含む。少なくとも一実施例では、グラフィックス・コア２９１５Ａ、２９１５Ｂは、実行ユニット（「ＥＵ」）とされてもよい。少なくとも一実施例では、各グラフィックス・コアは、グラフィックス及びコンピュートの動作を実行するための汎用及びグラフィックス専用の実行論理、並びに、図７Ａ及び図７Ｂの推論及び／又は訓練論理７１５を含め、固定機能のテクスチャ処理及び／又は機械学習、及び人工知能の加速論理を含むグラフィックス実行リソースのセットを含む。
【0407】
少なくとも一実施例では、３Ｄパイプライン２９１２は、命令を処理し、実行スレッドをグラフィックス・コア・アレイ２９１４にディスパッチすることにより、頂点シェーダ、ジオメトリ・シェーダ、ピクセル・シェーダ、フラグメント・シェーダ、コンピュート・シェーダ、又は他のシェーダ・プログラムなどの１つ又は複数のシェーダ・プログラムを処理するための固定機能及びプログラム可能論理を含む。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４は、シェーダ・プログラムを処理する際に使用するための実行リソースの統合ブロックを提供する。少なくとも一実施例では、グラフィック・コア・アレイ２９１４のグラフィックス・コア２９１５Ａ～２９１５Ｂ内の多目的の実行論理（たとえば、実行ユニット）は、様々な３ＤのＡＰＩシェーダ言語のサポートを含み、複数のシェーダに関連付けられた複数の同時実行スレッドを実行することができる。
【0408】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４はまた、ビデオ及び／又は画像の処理など、メディア機能を実行するための実行論理も含む。少なくとも一実施例では、実行ユニットはさらに、グラフィックス処理動作に加えて並列の汎用計算動作を実行するようにプログラム可能な汎用論理を含む。
【0409】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４上で実行しているスレッドにより生成される出力データは、統合リターン・バッファ（ＵＲＢ）２９１８のメモリにデータを出力することができる。少なくとも一実施例では、ＵＲＢ２９１８は、複数のスレッド用のデータを記憶することができる。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４上で実行している異なるスレッド間でデータを送信するために、ＵＲＢ２９１８を使用してもよい。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４上のスレッドと、共有機能論理２９２０内の固定機能論理との間の同期のために、ＵＲＢ２９１８がさらに使用されてもよい。
【0410】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４はスケーラブルであり、それにより、グラフィックス・コア・アレイ２９１４は、可変数のグラフィックス・コアを含み、それぞれのグラフィックス・コアが、ＧＰＥ２９１０の目的とする電力及び性能のレベルに基づき可変数の実行ユニットを有する。少なくとも一実施例では、実行リソースは動的にスケーラブルであり、それにより実行リソースは、必要に応じて有効化又は無効化されてもよい。
【0411】
少なくとも一実施例では、グラフィックス・コア・アレイ２９１４は、グラフィックス・コア・アレイ２９１４のグラフィックス・コア間で共有される複数のリソースを含む共有機能論理２９２０に結合される。少なくとも一実施例では、共有機能論理２９２０によって実行される共有機能は、専用の補足機能をグラフィックス・コア・アレイ２９１４に提供するハードウェア論理ユニットに具体化される。少なくとも一実施例では、共有機能論理２９２０は、サンプラユニット２９２１、数理ユニット２９２２、及びスレッド間通信（ＩＴＣ）論理２９２３を含むが、これらに限定されない。少なくとも一実施例では、１つ又は複数のキャッシュ２９２５が、共有機能論理２９２０に含まれ、又はそれに結合される。
【0412】
少なくとも一実施例では、専用機能の需要が不十分でグラフィックス・コア・アレイ２９１４内に含められない場合に、共有機能が使用される。少なくとも一実施例では、専用機能を１つにインスタンス化したものが、共有機能論理２９２０において使用され、グラフィックス・コア・アレイ２９１４内の他の実行リソース間で共有される。少なくとも一実施例では、共有機能論理２９２０内の、グラフィックス・コア・アレイ２９１４によってのみ使用される特定の共有機能は、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６内に含まれてもよい。少なくとも一実施例では、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６は、共有機能論理２９２０内の一部又はすべての論理を含むことができる。少なくとも一実施例では、共有機能論理２９２０内のすべての論理要素は、グラフィックス・コア・アレイ２９１４の共有機能論理２９２６内で複製されてもよい。少なくとも一実施例では、共有機能論理２９２０は、グラフィックス・コア・アレイ２９１４内の共有機能論理２９２６に有利なように除外される。
【0413】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ２９１０に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン２９１２、グラフィックス・コア２９１５Ａ、共有機能論理２９２６、共有機能論理２９２０、又は図２９の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ２９１０のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0414】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0415】
図３０は、本明細書に記載の少なくとも一実施例による、グラフィックス・プロセッサ・コア３００のハードウェア論理のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ・コア３０００としては、グラフィックス・コア１８００がある。少なくとも一実施例では、グラフィックス・プロセッサ・コア３０００は、グラフィックス・コア・アレイ内に含まれる。少なくとも一実施例では、コア・スライスと呼ばれることもあるグラフィックス・プロセッサ・コア３０００は、モジュール式グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアとすることができる。少なくとも一実施例では、グラフィックス・プロセッサ・コア３０００は、１つのグラフィックス・コア・スライスの例示であり、本明細書に記載のグラフィックス・プロセッサは、目的の電力及び性能のエンベロープに基づき、複数のグラフィックス・コア・スライスを含んでもよい。少なくとも一実施例では、各グラフィックス・コア３０００は、汎用及び固定の機能論理のモジュール式ブロックを含むサブ・スライスとも呼ばれる複数のサブ・コア３００１Ａ～３００１Ｆに結合された固定機能ブロック３０３０を含むことができる。
【0416】
少なくとも一実施例では、固定機能ブロック３０３０は、たとえば低性能及び／又は低電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ３０００内のすべてのサブ・コアが共有できるジオメトリ及び固定機能パイプライン３０３６を含む。少なくとも一実施例では、ジオメトリ及び固定機能パイプライン３０３６は、３Ｄ固定機能パイプライン、ビデオ・フロント・エンド・ユニット、スレッド・スポーナ（ｓｐａｗｎｅｒ）及びスレッド・ディスパッチャ、並びに統合リターン・バッファを管理する統合リターン・バッファ・マネージャを含む。
【0417】
少なくとも一実施例では、固定機能ブロック３０３０はまた、グラフィックスＳｏＣインターフェース３０３７、グラフィックス・マイクロコントローラ３０３８、及びメディア・パイプライン３０３９を含む。少なくとも一実施例では、グラフィックスＳｏＣインターフェース３０３７は、グラフィックス・コア３０００と、システム・オン・チップ集積回路内の他のプロセッサ・コアとのインターフェースを提供する。少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８は、スレッド・ディスパッチ、スケジューリング、及びプリエンプションを含め、グラフィックス・プロセッサ３０００の様々な機能を管理するように構成可能なプログラム可能サブ・プロセッサである。少なくとも一実施例では、メディア・パイプライン３０３９は、画像及びビデオのデータを含むマルチメディア・データのデコーディング、エンコーディング、前処理、及び／又は後処理を容易にする論理を含む。少なくとも一実施例では、メディア・パイプライン３０３９は、サブ・コア３００１～３００１Ｆ内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。
【0418】
少なくとも一実施例では、ＳｏＣインターフェース３０３７は、汎用アプリケーション・プロセッサ・コア（たとえば、ＣＰＵ）、及び／又はＳｏＣ内の他の構成要素と、グラフィックス・コア３０００が通信できるようにし、ＳｏＣ内の他の構成要素には、共有ラスト・レベル・キャッシュ・メモリ、システムＲＡＭ、及び／又は組み込みオン・チップ若しくはオン・パッケージのＤＲＡＭなどのメモリ階層要素が含まれる。少なくとも一実施例では、ＳｏＣインターフェース３０３７はまた、カメラ・イメージング・パイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を可能にし、グラフィックス・コア３０００とＳｏＣ内のＣＰＵとの間で共有することができるグローバル・メモリ・アトミックの使用を可能にし、且つ／又はそれを実装する。少なくとも一実施例では、グラフィックスＳｏＣインターフェース３０３７はまた、グラフィックス・プロセッサ・コア３０００の電力管理制御を実装することができ、グラフィックス・プロセッサ・コア３０００のクロック・ドメインと、ＳｏＣ内の他のクロック・ドメインとの間でインターフェースをとれるようにする。少なくとも一実施例では、ＳｏＣインターフェース３０３７は、グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアのそれぞれにコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャから、コマンド・バッファを受信できるようにする。少なくとも一実施例では、コマンド及び命令は、メディア動作が実行されるときにはメディア・パイプライン３０３９にディスパッチされることが可能であり、又はグラフィックス処理動作が実行されるときには、ジオメトリ及び固定機能パイプライン（たとえば、ジオメトリ及び固定機能パイプライン３０３６及び／又はジオメトリ及び固定機能パイプライン３０１４）にディスパッチされることが可能である。
【0419】
少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８は、グラフィックス・コア３０００のための様々なスケジューリング及び管理タスクを実行するように構成されることが可能である。少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８は、サブ・コア３００１Ａ～３００１Ｆ内の実行ユニット（ＥＵ：ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）アレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆ内の様々なグラフィックス並列エンジンで、グラフィックスを実行し、且つ／又はワークロードのスケジューリングをコンピュートすることができる。少なくとも一実施例では、グラフィックス・コア３０００を含むＳｏＣのＣＰＵコア上で実行されているホスト・ソフトウェアは、複数のグラフィックス・プロセッサ経路のうちの１つにワークロードを送出することができ、この経路が、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも一実施例では、スケジューリング動作は、どのワークロードを次に実行すべきかを判定すること、コマンド・ストリーマにワークロードを送出すること、エンジン上で実行されている既存のワークロードをプリエンプションすること、ワークロードの進行を管理すること、及びワークロードが完了したときにホスト・ソフトウェアに通知することを含む。少なくとも一実施例では、グラフィックス・マイクロコントローラ３０３８はまた、グラフィックス・コア３０００の低電力又はアイドル状態を促進して、オペレーティング・システム及び／又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態の移行全体にわたってグラフィックス・コア３０００内のレジスタを保存及び復元する機能をグラフィックス・コア３０００に提供することができる。
【0420】
少なくとも一実施例では、グラフィックス・コア３０００は、図示してあるサブ・コア３００１Ａ～３００１Ｆより多くの、又はそれより少ない、Ｎ個までのモジュール式サブ・コアを有してもよい。Ｎ個のサブ・コアのセットごとに、少なくとも一実施例では、グラフィックス・コア３０００はまた、共有機能論理３０１０、共有及び／又はキャッシュ・メモリ３０１２、ジオメトリ／固定機能パイプライン３０１４、並びに様々なグラフィックスを加速し、処理動作をコンピュートするための追加の固定機能論理３０１６を含むことができる。少なくとも一実施例では、共有機能論理３０１０は、グラフィックス・コア３０００内の各Ｎ個のサブ・コアが共有できる論理ユニット（たとえば、サンプラ、数理、及び／又はスレッド間通信の論理）を含むことができる。少なくとも一実施例では、共有の、及び／又はキャッシュのメモリ３０１２は、グラフィックス・コア３０００内のＮ個のサブ・コア３００１Ａ～３００１Ｆのためのラスト・レベル・キャッシュとすることができ、また、複数のサブ・コアがアクセスできる共有メモリとしての役割も果たすことができる。少なくとも一実施例では、ジオメトリ／固定機能パイプライン３０１４は、固定機能ブロック３０３０内のジオメトリ／固定機能パイプライン３０３６の代わりに含まれてもよく、同様の論理ユニットを含むことができる。
【0421】
少なくとも一実施例では、グラフィックス・コア３０００は、グラフィックス・コア３０００が使用するための様々な固定機能加速論理を含むことができる追加の固定機能論理３０１６を含む。少なくとも一実施例では、追加の固定機能論理３０１６は、位置限定シェーディング（ｐｏｓｉｔｉｏｎ ｏｎｌｙ ｓｈａｄｉｎｇ）に使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも２つのジオメトリ・パイプラインが存在しているが、ジオメトリ及び固定機能パイプライン３０１４、３０３６内の完全ジオメトリ・パイプラインと選別パイプライン（ｃｕｌｌ ｐｉｐｅｌｉｎｅ）においてであり、この選別パイプラインは、追加の固定機能論理３０１６内に含まれてもよい追加のジオメトリ・パイプラインである。少なくとも一実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも一実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも一実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、いくつかのインスタンスにおいてシェーディングを早く完了させることができる。たとえば、少なくとも一実施例では、選別パイプラインは、ピクセルをフレーム・バッファにラスタ化及びレンダリングすることなく、頂点の位置属性をフェッチしシェーディングするので、追加の固定機能論理３０１６内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、完全パイプラインよりも全体的に早く臨界結果（ｃｒｉｔｉｃａｌ ｒｅｓｕｌｔ）を生成する。少なくとも一実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、これらの三角形が選別されているかどうかに関わらず、可視性情報をコンピュートすることができる。少なくとも一実施例では、（このインスタンスではリプレイ・パイプラインと呼ばれてもよい）完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形だけをシェーディングすることができ、この可視性三角形が、最終的にラスタ化フェーズに渡される。
【0422】
少なくとも一実施例では、追加の固定機能論理３０１６はまた、機械学習の訓練又は推論の最適化を含む実装形態のために、固定機能の行列乗算論理など、機械学習の加速論理を含むことができる。
【0423】
少なくとも一実施例では、各グラフィックス・サブ・コア３００１Ａ～３００１Ｆ内において、実行リソースのセットを含み、このセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムからの要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実行するために使用されてもよい。少なくとも一実施例では、グラフィックス・サブ・コア３００１Ａ～３００１Ｆは、複数のＥＵアレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆ、スレッド・ディスパッチ及びスレッド間通信（ＴＤ／ＩＣ：ｔｈｒｅａｄ ｄｉｓｐａｔｃｈ ａｎｄ ｉｎｔｅｒ－ｔｈｒｅａｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）論理３００３Ａ～３００３Ｆ、３Ｄ（たとえば、テクスチャ）サンプラ３００５Ａ～３００５Ｆ、メディア・サンプラ３００６Ａ～３００６Ｆ、シェーダ・プロセッサ３００７Ａ～３００７Ｆ、及び共有ローカル・メモリ（ＳＬＭ：ｓｈａｒｅｄ ｌｏｃａｌ ｍｅｍｏｒｙ）３００８Ａ～３００８Ｆを含む。少なくとも一実施例では、ＥＵアレイ３００２Ａ～３００２Ｆ、３００４Ａ～３００４Ｆはそれぞれ、複数の実行ユニットを含み、これらは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数／固定小数点の論理演算を実行することができる汎用グラフィックス・プロセッシング・ユニットである。少なくとも一実施例では、ＴＤ／ＩＣ論理３００３Ａ～３００３Ｆは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実行し、サブ・コアの実行ユニット上で実行されているスレッド間の通信を容易にする。少なくとも一実施例では、３Ｄサンプラ３００５Ａ～３００５Ｆは、テクスチャ又は他の３Ｄグラフィックス関連のデータをメモリに読み取ることができる。少なくとも一実施例では、３Ｄサンプラは、所与のテクスチャに関連付けられた構成済みサンプル状態及びテクスチャ・フォーマットに基づき、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも一実施例では、メディア・サンプラ３００６Ａ～３００６Ｆは、メディア・データに関連付けられたタイプ及びフォーマットに基づき、同様の読取り動作を実行することができる。少なくとも一実施例では、各グラフィックス・サブ・コア３００１Ａ～３００１Ｆは、代替的に３Ｄとメディアの統合サンプラを含むことができる。少なくとも一実施例では、各サブ・コア３００１Ａ～３００１Ｆ内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドが、オン・チップ・メモリの共通プールを使用して実行できるようにするために、各サブ・コア内の共有ローカル・メモリ３００８Ａ～３００８Ｆを利用することができる。
【0424】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、グラフィックス・プロセッサ３０００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン、グラフィックス・マイクロコントローラ３０３８、ジオメトリ及び固定機能パイプライン３０１４及び３０３６、又は図３０の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３０００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0425】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0426】
図３１Ａ～図３１Ｂは、少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３１００を示す。図３１Ａは、スレッド実行論理３１００が使用される少なくとも一実施例を示す。図３１Ｂは、少なくとも一実施例による、グラフィックス実行ユニット３１０８の例示的な内側細部を示す図である。
【0427】
図３１Ａに示すように、少なくとも一実施例では、スレッド実行論理３１００は、シェーダ・プロセッサ３１０２、スレッド・ディスパッチャ３１０４、命令キャッシュ３１０６、複数の実行ユニット３１０７Ａ～３１０７Ｎ、３１０８Ａ～３１０８Ｎを含むスケーラブル実行ユニット・アレイ、サンプラ３１１０、データ・キャッシュ３１１２、及びデータ・ポート３１１４を含む。少なくとも一実施例では、スケーラブル実行ユニット・アレイは、１つ又は複数の実行ユニット（たとえば、実行ユニット３１０８Ａ～Ｎ又は３１０７Ａ～Ｎのうちのいずれか）を、たとえばワークロードの計算要件に基づき有効又は無効にすることによって、動的に拡大縮小することができる。少なくとも一実施例では、スケーラブル実行ユニットは、実行ユニットのそれぞれにリンクされる相互接続ファブリックを介して相互接続される。少なくとも一実施例では、スレッド実行論理３１００は、命令キャッシュ３１０６、データ・ポート３１１４、サンプラ３１１０、及び実行ユニット３１０７又は３１０８のうちの１つ又は複数を介した、システム・メモリ又はキャッシュ・メモリなどのメモリへの１つ又は複数の接続を含む。少なくとも一実施例では、各実行ユニット（たとえば、３１０７Ａ）は、スレッドごとに複数のデータ要素を並列で処理しながら、複数の同時のハードウェア・スレッドを実行することができるスタンドアロンのプログラム可能な汎用計算ユニットである。少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８のアレイは、任意の数の個々の実行ユニットを含むように拡大縮小可能である。
【0428】
少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８は、シェーダ・プログラムを実行するために主に使用される。少なくとも一実施例では、シェーダ・プロセッサ３１０２は、様々なシェーダ・プログラムを処理し、シェーダ・プログラムに関連付けられた実行スレッドを、スレッド・ディスパッチャ３１０４を介してディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３１０４は、グラフィックス及びメディア・パイプラインからのスレッド開始要求を調停し、要求されたスレッドを、実行ユニット３１０７及び／又は３１０８の１つ又は複数の実行ユニット上でインスタンス化するための論理を含む。たとえば、少なくとも一実施例では、ジオメトリ・パイプラインは、頂点シェーダ、モザイク・シェーダ、又はジオメトリ・シェーダを、処理できるようにスレッド実行論理にディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３１０４はまた、実行しているシェーダ・プログラムからのラン・タイム・スレッド・スポーニング要求（ｓｐａｗｎｉｎｇ ｒｅｑｕｅｓｔ）を処理することができる。
【0429】
少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８は、多くの標準的な３Ｄグラフィックス・シェーダ命令のネイティブ・サポートを含む命令セットをサポートし、それにより、グラフィックス・ライブラリ（たとえば、Ｄｉｒｅｃｔ３Ｄ及びＯｐｅｎＧＬ）からのシェーダ・プログラムが、最小のトランスレーションで実行される。少なくとも一実施例では、実行ユニットは、頂点及びジオメトリの処理（たとえば、頂点プログラム、ジオメトリ・プログラム、及び／又は頂点シェーダ）、ピクセル処理（たとえば、ピクセル・シェーダ、フラグメント・シェーダ）、及び汎用処理（たとえば、コンピュート及びメディアのシェーダ）をサポートする。少なくとも一実施例では、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む各実行ユニット３１０７及び／又は３１０８のそれぞれは、単一命令複数データ（ＳＩＭＤ）の実行を複数発行することができ、マルチスレッド化された動作によって、メモリ・アクセスのレイテンシが高いにもかかわらず、効率的な実行環境が可能になる。少なくとも一実施例では、各実行ユニット内の各ハードウェア・スレッドは、専用の高帯域幅レジスタ・ファイル及び関連する独立したスレッド状態を有する。少なくとも一実施例では、実行は、整数演算、単精度及び倍精度の浮動小数点演算、ＳＩＭＤブランチ性能、論理演算、超越演算、及び他の種々の演算を行うことができるパイプラインに対して、クロック当たり複数発行される。少なくとも一実施例では、メモリ、又は共有機能のうちの１つからのデータを待機している間に、実行ユニット３１０７及び／又は３１０８内の従属論理は、要求したデータが戻されるまで、待機スレッドをスリープ状態にする。少なくとも一実施例では、待機スレッドがスリープ状態の間に、ハードウェア・リソースは他のスレッドの処理に専念してもよい。たとえば、少なくとも一実施例では、頂点シェーダ動作に関連する遅延中に、実行ユニットは、ピクセル・シェーダ、フラグメント・シェーダ、又は異なる頂点シェーダを含む別のタイプのシェーダ・プログラムを実行することができる。
【0430】
少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８の各実行ユニットは、データ要素のアレイに対して動作する。少なくとも一実施例では、データ要素の数は「実行サイズ」であり、又は命令に対するチャネルの数である。少なくとも一実施例では、実行チャネルは、データ要素のアクセス、マスキング、及び命令内のフロー制御に関する実行の論理ユニットである。少なくとも一実施例では、チャネルの数は、特定のグラフィックス・プロセッサのための物理的な算術論理演算ユニット（ＡＬＵ）又は浮動小数点ユニット（ＦＰＵ）の数とは無関係であってもよい。少なくとも一実施例では、実行ユニット３１０７及び／又は３１０８は、整数及び浮動小数点のデータ・タイプをサポートしてもよい。
【0431】
少なくとも一実施例では、実行ユニット命令セットは、ＳＩＭＤ命令を含む。少なくとも一実施例では、様々なデータ要素が、パック・データ・タイプとしてレジスタに記憶されてもよく、実行ユニットは、要素のデータ・サイズに基づき様々な要素を処理する。たとえば、少なくとも一実施例では、２５６ビット幅ベクトルで動作しているとき、ベクトルの２５６ビットがレジスタに記憶され、実行ユニットは、４個の別々の６４ビット・パック・データ要素（クワッド・ワード（ＱＷ：Ｑｕａｄ－Ｗｏｒｄ）サイズのデータ要素）、８個の別々の３２ビット・パック・データ要素（ダブル・ワード（ＤＷ：Ｄｏｕｂｌｅ Ｗｏｒｄ）サイズのデータ要素）、１６個の別々の１６ビット・パック・データ要素（ワード（Ｗ：Ｗｏｒｄ）サイズのデータ要素）、又は３２個の別々の８ビット・データ要素（バイト（Ｂ：ｂｙｔｅ）サイズのデータ要素）としてベクトル上で動作する。しかし少なくとも一実施例では、異なるベクトル幅及びレジスタサイズが考えられる。
【0432】
少なくとも一実施例では、実行ユニット３１０７Ａを実行ユニット３１０８Ａと融合して融合実行ユニット３１０９Ａにするなど、１つ又は複数の実行ユニットを組み合わせて、融合ＥＵに共通のスレッド制御論理（３１１１Ａ～３１１１Ｎ）を有する融合実行ユニット３１０９Ａ～３１０９Ｎにすることができる。少なくとも一実施例では、複数のＥＵを融合して、ＥＵグループにすることができる。少なくとも一実施例では、融合ＥＵグループの各ＥＵは、融合ＥＵグループのＥＵの数が、様々な実施例に応じて異なっている可能性がある状態で、別々のＳＩＭＤハードウェア・スレッドを実行するように構成されることが可能である。少なくとも一実施例では、ＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２を含むがこれに限定されない様々なＳＩＭＤ幅を、ＥＵごとに実行することができる。少なくとも一実施例では、各融合グラフィックス実行ユニット３１０９Ａ～３１０９Ｎは、少なくとも２つの実行ユニットを含む。たとえば、少なくとも一実施例では、融合実行ユニット３１０９Ａは、第１のＥＵ３１０７Ａ、第２のＥＵ３１０８Ａ、及び第１のＥＵ３１０７Ａと第２のＥＵ３１０８Ａに共通のスレッド制御論理３１１１Ａを含む。少なくとも一実施例では、スレッド制御論理３１１１Ａは、融合グラフィックス実行ユニット３１０９Ａで実行されているスレッドを制御して、融合実行ユニット３１０９Ａ～３１０９Ｎ内の各ＥＵを、共通の命令ポインタ・レジスタを使用して実行できるようにする。
【0433】
少なくとも一実施例では、１つ又は複数の内部命令キャッシュ（たとえば、３１０６）は、実行ユニットに対するスレッド命令をキャッシュするためにスレッド実行論理３１００に含まれる。少なくとも一実施例では、１つ又は複数のデータ・キャッシュ（たとえば、３１１２）は、スレッド実行中にスレッド・データをキャッシュするために含まれる。少なくとも一実施例では、サンプラ３１１０は、３Ｄ動作のためのテクスチャ・サンプリング、及びメディア動作のためのメディア・サンプリングを実行するために含まれる。少なくとも一実施例では、サンプラ３１１０は、特別なテクスチャ又はメディア・サンプリング機能を含み、サンプリングされたデータを実行ユニットに提供する前に、サンプリング処理中にテクスチャ又はメディアのデータを処理する。
【0434】
実行中、少なくとも一実施例では、グラフィックス及びメディア・パイプラインは、スレッド開始要求を、スレッド・スポーニング及びディスパッチ論理を介してスレッド実行論理３１００に送る。少なくとも一実施例では、幾何学的物体のグループが処理され、ピクセル・データにラスタ化されたら、シェーダ・プロセッサ３１０２内のピクセル・プロセッサ論理（たとえば、ピクセル・シェーダ論理、フラグメント・シェーダ論理など）が呼び出されて、出力情報をさらにコンピュートし、結果を出力面（たとえば、色バッファ、深度バッファ、ステンシル・バッファなど）に書き込ませる。少なくとも一実施例では、ピクセル・シェーダ又はフラグメント・シェーダは、ラスタ化された物体間で補間されることになる様々な頂点属性の値を計算する。少なくとも一実施例では、次いで、シェーダ・プロセッサ３１０２内のピクセル・プロセッサ論理が、アプリケーション・プログラミング・インターフェース（ＡＰＩ）付きのピクセル・シェーダ・プログラム又はフラグメント・シェーダ・プログラムを実行する。少なくとも一実施例では、シェーダ・プログラムを実行するために、シェーダ・プロセッサ３１０２は、スレッド・ディスパッチャ３１０４を介してスレッドを実行ユニット（たとえば、３１０８Ａ）にディスパッチする。少なくとも一実施例では、シェーダ・プロセッサ３１０２は、サンプラ３１１０のテクスチャ・サンプリング論理を使用して、メモリに記憶されたテクスチャ・マップのテクスチャ・データにアクセスする。少なくとも一実施例では、テクスチャ・データ及び入力ジオメトリ・データに対する算術演算によって、各ジオメトリ・フラグメントのピクセル色データがコンピュートされ、又はさらに処理されないように１つ又は複数のピクセルが切り捨てられる。
【0435】
少なくとも一実施例では、データ・ポート３１１４は、スレッド実行論理３１００のためのメモリ・アクセス機構を提供して、処理済みデータを、グラフィックス・プロセッサ出力パイプラインでさらに処理できるようにメモリに出力する。少なくとも一実施例では、データ・ポート３１１４は、１つ又は複数のキャッシュ・メモリ（たとえば、データ・キャッシュ３１１２）を含み、又はそれに結合されて、データ・ポートを介したメモリ・アクセスのためのデータをキャッシュする。
【0436】
図３１Ｂに示してあるように、少なくとも一実施例では、グラフィック実行ユニット３１０８は、命令フェッチ・ユニット３１３７、汎用レジスタ・ファイル・アレイ（ＧＲＦ：ｇｅｎｅｒａｌ ｒｅｇｉｓｔｅｒ ｆｉｌｅ ａｒｒａｙ）３１２４、アーキテクチャ・レジスタ・ファイル・アレイ（ＡＲＦ）３１２６、スレッド調停装置（ａｒｂｉｔｅｒ）３１２２、送信ユニット３１３０、ブランチ・ユニット３１３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３１３４のセット、及び専用整数ＳＩＭＤ ＡＬＵ３１３５のセットを含むことができる。少なくとも一実施例では、ＧＲＦ３１２４及びＡＲＦ３１２６は、各同時ハードウェア・スレッドに関連付けられた汎用レジスタ・ファイルとアーキテクチャ・レジスタ・ファイルのセットを含み、このハードウェア・スレッドは、グラフィックス実行ユニット３１０８においてアクティブであってもよい。少なくとも一実施例では、スレッドごとのアーキテクチャ状態が、ＡＲＦ３１２６において維持され、スレッド実行中に使用されるデータが、ＧＲＦ３１２４に記憶される。少なくとも一実施例では、各スレッドに対する命令ポインタを含む各スレッドの実行状態は、ＡＲＦ３１２６のスレッド専用レジスタに保持することが可能である。
【0437】
少なくとも一実施例では、グラフィックス実行ユニット３１０８は、同時マルチスレッディング（ＳＭＴ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）と微細化インターリーブ・マルチスレッディング（ＩＭＴ：Ｉｎｔｅｒｌｅａｖｅｄ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）の組合せであるアーキテクチャを有する。少なくとも一実施例では、アーキテクチャは、実行ユニット当たりの同時スレッドのターゲット数及びレジスタ数に基づき設計時に微調整することができるモジュール式構成を有し、ここで実行ユニットのリソースは、複数の同時スレッドを実行するために使用される論理にわたって分割される。
【0438】
少なくとも一実施例では、グラフィックス実行ユニット３１０８は複数の命令を共同発行することができ、この命令は、それぞれ異なる命令であってもよい。少なくとも一実施例では、グラフィックス実行ユニット・スレッド３１０８のスレッド調停装置３１２２は、送信ユニット３１３０、ブランチ・ユニット３１３２、又はＳＩＭＤ ＦＰＵ３１３４のうちの１つに命令をディスパッチして実行できるようにすることができる。少なくとも一実施例では、各実行スレッドは、ＧＲＦ３１２４内の１２８個の汎用レジスタにアクセスすることができ、ここで各レジスタは、３２ビットのデータ要素のＳＩＭＤ８要素のベクトルとしてアクセス可能な３２バイトを記憶することができる。少なくとも一実施例では、各実行ユニット・スレッドは、ＧＲＦ３１２４内の４キロバイトにアクセスすることができるが、実施例はこのように限定されず、他の実施例ではより多くの、又はより少ないリソースが提供されてもよい。少なくとも一実施例では、最大７個のスレッドを同時に実行できるが、実行ユニット当たりのスレッド数も、実施例に応じて変えることができる。７個のスレッドが４キロバイトにアクセスできる少なくとも一実施例では、ＧＲＦ３１２４は、合計２８キロバイトを記憶することができる。少なくとも一実施例では、フレキシブルなアドレッシング・モードにより、複数のレジスタがともにアドレスされてより幅広いレジスタを構築したり、ストライド設定された矩形ブロック・データ構造を表したりできるようにすることができる。
【0439】
少なくとも一実施例では、メモリ動作、サンプラ動作、及び他のレイテンシの長いシステム通信は、メッセージ引渡し送信ユニット３１３０によって実行される「送信」命令を介してディスパッチされる。少なくとも一実施例では、ブランチ命令は、ＳＩＭＤの発散及び最終的な収束を容易にするために、ブランチ・ユニット３１３２にディスパッチされる。
【0440】
少なくとも一実施例では、グラフィックス実行ユニット３１０８は、浮動小数点演算を実行するための１つ又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３１３４を含む。少なくとも一実施例では、ＦＰＵ３１３４は、整数計算もサポートする。少なくとも一実施例ではＦＰＵ３１３４は、最大Ｍ個の３２ビット浮動小数点（若しくは整数）演算をＳＩＭＤで実行し、又は最大で２Ｍ個の１６ビット整数演算、若しくは１６ビット浮動小数点演算をＳＩＭＤで実行することができる。少なくとも一実施例では、少なくとも１つのＦＰＵは、拡張数理機能を提供して、高スループットの超越数理関数、及び倍精度の６４ビット浮動小数点をサポートする。少なくとも一実施例では、８ビットの整数ＳＩＭＤ ＡＬＵ３１３５のセットも存在し、機械学習計算に関連する動作を実行するように特に最適化されてもよい。
【0441】
少なくとも一実施例では、グラフィックス実行ユニット３１０８の複数のインスタンスのアレイが、グラフィックス・サブ・コア・グループ（たとえば、サブ・スライス）においてインスタンス化されてもよい。少なくとも一実施例では、実行ユニット３１０８は、複数の実行チャネルにわたって命令を実行することができる。少なくとも一実施例では、グラフィックス実行ユニット３１０８で実行される各スレッドは、異なるチャネルで実行される。
【0442】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、論理７１５の一部又はすべてが、スレッド実行論理３１００に組み込まれてもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行論理３１００のＡＬＵスレッドを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
【0443】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0444】
図３２は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）３２００を示す。少なくとも一実施例では、ＰＰＵ３２００は、ＰＰＵ３２００によって実行された場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、ＰＰＵ３２００に実行させる機械可読コードで構成される。少なくとも一実施例では、ＰＰＵ３２００はマルチスレッド・プロセッサであり、このプロセッサは、１つ又は複数の集積回路デバイスに実装され、コンピュータ可読命令（機械可読命令若しくは単に命令とも呼ばれる）を、複数のスレッドで並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも一実施例では、ＰＰＵ３２００には、１つ又は複数のグラフィックス・コア１８００が含まれる。少なくとも一実施例では、スレッドとは、実行スレッドを指し、ＰＰＵ３２００によって実行されるように構成された命令のセットをインスタンス化したものである。少なくとも一実施例では、ＰＰＵ３２００は、液晶ディスプレイ（「ＬＣＤ」）デバイスなどのディスプレイ・デバイスに表示できるように２次元（「２Ｄ」）画像データを生成するために、３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）である。少なくとも一実施例では、ＰＰＵ３２００を利用して、線形代数演算及び機械学習演算などの計算が実行される。図３２は、単に例示を目的とした例示的な並列プロセッサを示しており、本開示の範囲内で企図されるプロセッサ・アーキテクチャの非限定的な例として解釈されるべきであり、同プロセッサに追加するため、且つ／又はそれを置き換えるために、任意の好適なプロセッサが利用されてもよいことが解釈されるべきである。
【0445】
少なくとも一実施例では、１つ又は複数のＰＰＵ３２００は、高性能コンピューティング（「ＨＰＣ」：Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）、データ・センタ、及び機械学習のアプリケーションを加速するように構成される。少なくとも一実施例では、ＰＰＵ３２００は、以下の非限定的な例を含む深層学習システム及びアプリケーションを加速するように構成される：自律車両プラットフォーム、深層学習、高精度音声、画像、テキスト認識システム、インテリジェント・ビデオ分析、分子シミュレーション、創薬、病気診断、天気予報、ビッグ・データ分析、天文学、分子動態シミュレーション、金融モデリング、ロボット工学、工場自動化、リアル・タイム言語翻訳、オンライン検索最適化、及び個別化ユーザ推奨など。
【0446】
少なくとも一実施例では、ＰＰＵ３２００は、限定することなく、入力／出力（「Ｉ／Ｏ」）ユニット３２０６、フロント・エンド・ユニット３２１０、スケジューラ（シーケンサ）・ユニット３２１２、ワーク分配ユニット３２１４、ハブ３２１６、クロスバー（「Ｘｂａｒ」：ｃｒｏｓｓｂａｒ）３２２０、１つ又は複数の汎用処理クラスタ（「ＧＰＣ」：ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｃｌｕｓｔｅｒ）３２１８、及び１つ又は複数のパーティション・ユニット（「メモリ・パーティション・ユニット」）３２２２を含む。少なくとも一実施例では、ＰＰＵ３２００は、１つ又は複数の高速ＧＰＵ相互接続（「ＧＰＵ相互接続」）３２０８を介してホスト・プロセッサ又は他のＰＰＵ３２００に接続される。少なくとも一実施例では、ＰＰＵ３２００は、システム・バス３２０２を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、ＰＰＵ３２００は、１つ又は複数のメモリ・デバイス（「メモリ」）３２０４を備えるローカル・メモリに接続される。少なくとも一実施例では、メモリ・デバイス３２０４は、限定することなく、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイスを含む。少なくとも一実施例では、１つ又は複数のＤＲＡＭデバイスは、複数のＤＲＡＭダイが各デバイス内で積層された高帯域幅メモリ（「ＨＢＭ」）サブシステムとして構成されても、且つ／又は構成可能であってもよい。
【0447】
少なくとも一実施例では、高速ＧＰＵ相互接続３２０８は、有線ベースのマルチ・レーン通信リンクを指してもよく、このリンクは、拡張縮小するためにシステムによって使用され、１つ又は複数の中央処理装置（「ＣＰＵ」）と組み合わされた１つ又は複数のＰＰＵ３２００を含み、ＰＰＵ３２００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする。少なくとも一実施例では、データ及び／又はコマンドは、高速ＧＰＵ相互接続３２０８により、ハブ３２１６を介して、１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図３２に明示されていないこともある他の構成要素などのＰＰＵ３２００の別のユニットに／から送信される。
【0448】
少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介してホスト・プロセッサ（図３２には示さず）から通信（たとえば、コマンド、データ）を送受信するように構成される。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して直接、又は１つ若しくは複数の、メモリ・ブリッジなどの中間デバイスを介して、ホスト・プロセッサと通信する。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介してＰＰＵ３２００のうちの１つ又は複数などの１つ又は複数の他のプロセッサと通信してもよい。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩｅ」）インターフェースを実装して、ＰＣＩｅバスを介して通信できるようにする。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、外部デバイスと通信するためのインターフェースを実装する。
【0449】
少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、システム・バス３２０２を介して受信したパケットをデコードする。少なくとも一実施例では、少なくともいくつかのパケットは、ＰＰＵ３２００に様々な動作を実行させるように構成されたコマンドを表す。少なくとも一実施例では、Ｉ／Ｏユニット３２０６は、デコードされたコマンドを、コマンドによって指定されるＰＰＵ３２００の様々な他のユニットに送信する。少なくとも一実施例では、コマンドは、フロント・エンド・ユニット３２１０に送信され、且つ／又はハブ３２１６、若しくは（図３２には明示していない）１つ若しくは複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなどのＰＰＵ３２００の他のユニットに送信される。少なくとも一実施例では、Ｉ／Ｏユニット３２０６はＰＰＵ３２００の様々な論理ユニット間で、通信をルーティングするように構成される。
【0450】
少なくとも一実施例では、ホスト・プロセッサによって実行されるプログラムは、ワークロードをＰＰＵ３２００に提供して処理できるようにするバッファにおいて、コマンド・ストリームをエンコードする。少なくとも一実施例では、ワークロードは、命令と、これらの命令によって処理されることになるデータとを含む。少なくとも一実施例では、バッファは、ホスト・プロセッサとＰＰＵ３２００の両方がアクセス（たとえば、書込み／読取り）可能なメモリ内の領域であり、ホスト・インターフェース・ユニットは、Ｉ／Ｏユニット３２０６によってシステム・バス３２０２を介して送信されるメモリ要求を介して、システム・バス３２０２に接続されたシステム・メモリ内のバッファにアクセスするように構成されてもよい。少なくとも一実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始点を指すポインタをＰＰＵ３２００に送信し、それによりフロント・エンド・ユニット３２１０は、１つ又は複数のコマンド・ストリームを指すポインタを受信し、１つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをＰＰＵ３２００の様々なユニットに転送する。
【0451】
少なくとも一実施例では、フロント・エンド・ユニット３２１０が、スケジューラ・ユニット３２１２（シーケンサ・ユニット、スレッド・シーケンサ、及び／又は非同期計算エンジンとされてもよい）に結合され、スケジューラ・ユニット３２１２は、様々なＧＰＣ３２１８を、１つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように構成する。少なくとも一実施例では、スケジューラ・ユニット３２１２は、スケジューラ・ユニット３２１２によって管理される様々タスクに関連する状態情報を追跡するように構成され、ここで状態情報は、どのＧＰＣ３２１８にタスクが割り当てられるか、タスクがアクティブか非アクティブか、タスクに関連付けられた優先レベルなどを示してもよい。少なくとも一実施例では、スケジューラ・ユニット３２１２は、ＧＰＣ３２１８のうちの１つ又は複数において、複数のタスクの実行を管理する。
【0452】
少なくとも一実施例では、スケジューラ・ユニット３２１２は、ＧＰＣ３２１８で実行するためのタスクをディスパッチするように構成されたワーク分配ユニット３２１４に結合される。少なくとも一実施例では、ワーク分配ユニット３２１４は、スケジューラ・ユニット３２１２から受信したスケジュール済みタスクの数を追跡し、ワーク分配ユニット３２１４は、ＧＰＣ３２１８のそれぞれについて、ペンディング・タスク・プール、及びアクティブ・タスク・プールを管理する。少なくとも一実施例では、ペンディング・タスク・プールは、特定のＧＰＣ３２１８によって処理されるように割り当てられたタスクを含むいくつかのスロット（たとえば、３２スロット）を備え、アクティブ・タスク・プールは、ＧＰＣ３２１８によりアクティブに処理されているタスクのためのいくつかのスロット（たとえば、４スロット）を備え、それにより、ＧＰＣ３２１８のうちの１つがタスクの実行を完了すると、ＧＰＣ３２１８のアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの他のタスクが選択され、ＧＰＣ３２１８で実行されるようにスケジューリングされる。少なくとも一実施例では、データ依存性が解決されるのを待機している間など、アクティブ・タスクがＧＰＣ３２１８上でアイドルである場合には、アクティブ・タスクがＧＰＣ３２１８から排除され、ペンディング・タスク・プールに戻され、その間に、ペンディング・タスク・プールの別のタスクが選択され、ＧＰＣ３２１８で実行されるようにスケジューリングされる。
【0453】
少なくとも一実施例では、ワーク分配ユニット３２１４は、Ｘバー３２２０を介して１つ又は複数のＧＰＣ３２１８と通信する。少なくとも一実施例では、Ｘバー３２２０は、ＰＰＵ３２００のユニットのうちの多くを、ＰＰＵ３２００の別のユニットに結合する相互接続ネットワークであり、ワーク分配ユニット３２１４を特定のＧＰＣ３２１８に結合するように構成されることが可能である。少なくとも一実施例では、ＰＰＵ３２００の１つ又は複数の他のユニットも、ハブ３２１６を介してＸバー３２２０に接続されてもよい。
【0454】
少なくとも一実施例では、タスクはスケジューラ・ユニット３２１２によって管理され、ワーク分配ユニット３２１４によってＧＰＣ３２１８のうちの１つにディスパッチされる。少なくとも一実施例では、ＧＰＣ３２１８は、タスクを処理し、結果を生成するように構成される。少なくとも一実施例では、結果は、ＧＰＣ３２１８内の他のタスクによって消費されてもよく、Ｘバー３２２０を介して異なるＧＰＣ３２１８にルーティングされてもよく、又はメモリ３２０４に記憶されてもよい。少なくとも一実施例では、結果を、パーティション・ユニット３２２２を介してメモリ３２０４に書き込むことができ、パーティション・ユニット３２２２は、メモリ３２０４への／からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも一実施例では、結果を、高速ＧＰＵ相互接続３２０８を介して別のＰＰＵ又はＣＰＵに送信することができる。少なくとも一実施例では、図３４と併せて本明細書でさらに詳細に説明されるように、ＰＰＵ３２００は、ＰＰＵ３２００に結合された別々の個別メモリ・デバイス３２０４の数に等しいＵ個のパーティション・ユニット３２２２を、限定することなく含む。
【0455】
少なくとも一実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、このカーネルは、ホスト・プロセッサで実行されている１つ又は複数のアプリケーションがＰＰＵ３２００で実行するための動作をスケジューリングできるようにするアプリケーション・プログラミング・インターフェース（ＡＰＩ）を実装している。少なくとも一実施例では、複数のコンピュート・アプリケーションが、ＰＰＵ３２００によって同時に実行され、ＰＰＵ３２００は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質（「ＱｏＳ」：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、及び独立したアドレス空間を提供する。少なくとも一実施例では、アプリケーションは、ＰＰＵ３２００によって実行するための１つ又は複数のタスクをドライバ・カーネルに生成させる（たとえば、ＡＰＩコールの形の）命令を生成し、ドライバ・カーネルは、ＰＰＵ３２００によって処理されている１つ又は複数のストリームにタスクを出力する。少なくとも一実施例では、各タスクは、ワープ、波面、及び／又は波と呼ばれてもよい関連スレッドの１つ又は複数のグループを備える。少なくとも一実施例では、ワープ、波面、及び／又は波は、並列に実行することができる複数の関連スレッド（たとえば、３２個のスレッド）を備える。少なくとも一実施例では、連動スレッドとは、タスクを実行するための命令を含み、共有メモリを介してデータを交換する複数のスレッドを指してもよい。少なくとも一実施例では、スレッド及び連動スレッドは、図３４と併せてさらに詳細に説明される。
【0456】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＰＰＵ３２００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、別のプロセッサ若しくはシステムによって、又はＰＰＵ３２００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＰＰＵ３２００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0457】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0458】
図３３は、少なくとも一実施例による汎用処理クラスタ（「ＧＰＣ」）３３００を示す。少なくとも一実施例では、ＧＰＣ３３００は、図３２のＧＰＣ３２１８である。少なくとも一実施例では、各ＧＰＣ３３００は、限定することなく、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各ＧＰＣ３３００は、限定することなく、パイプライン・マネージャ３３０２、プレ・ラスタ演算ユニット（「ｐｒｅＲＯＰ」：ｐｒｅ－ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ）３３０４、ラスタ・エンジン３３０８、ワーク分配クロスバー（「ＷＤＸ」：ｗｏｒｋ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｒｏｓｓｂａｒ）３３１６、メモリ管理ユニット（「ＭＭＵ」）３３１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒｓ）３３０６、及びパーツの任意の好適な組合せを含む。
【0459】
少なくとも一実施例では、ＧＰＣ３３００の動作は、パイプライン・マネージャ３３０２によって制御される。少なくとも一実施例では、パイプライン・マネージャ３３０２は、ＧＰＣ３３００に配分されたタスクを処理するために１つ又は複数のＤＰＣ３３０６の構成を管理する。少なくとも一実施例では、パイプライン・マネージャ３３０２は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、１つ又は複数のＤＰＣ３３０６のうちの少なくとも１つを構成する。少なくとも一実施例では、ＤＰＣ３３０６は、プログラム可能なストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉ－ｐｒｏｃｅｓｓｏｒ）３３１４で頂点シェーダ・プログラムを実行するように構成される。少なくとも一実施例では、パイプライン・マネージャ３３０２は、少なくとも一実施例では、ワーク分配ユニットから受信したパケットを、ＧＰＣ３３００内の適切な論理ユニットにルーティングするように構成され、いくつかのパケットは、ｐｒｅＲＯＰ３３０４の固定機能ハードウェア・ユニット及び／又はラスタ・エンジン３３０８にルーティングされてもよく、他のパケットは、プリミティブ・エンジン３３１２又はＳＭ３３１４によって処理されるようにＤＰＣ３３０６にルーティングされてもよい。少なくとも一実施例では、パイプライン・マネージャ３３０２は、ニューラル・ネットワーク・モデル及び／又はコンピューティング・パイプラインを実装するように、ＤＰＣ３３０６のうちの少なくとも１つを構成する。
【0460】
少なくとも一実施例では、ｐｒｅＲＯＰユニット３３０４は、少なくとも一実施例では、ラスタ・エンジン３３０８及びＤＰＣ３３０６によって生成されたデータを、図３２と併せて上でより詳細に説明したパーティション・ユニット３２２２のラスタ動作（ＲＯＰ）ユニットにルーティングするように構成される。少なくとも一実施例では、ｐｒｅＲＯＰユニット３３０４は、色ブレンディングの最適化を実行し、ピクセル・データを組織化し、アドレス・トランスレーションを実行し、その他の動作を行うように構成される。少なくとも一実施例では、ラスタ・エンジン３３０８は、少なくとも一実施例では様々なラスタ動作を実行するように構成されたいくつかの固定機能ハードウェア・ユニットを、限定することなく含み、ラスタ・エンジン３３０８は、限定することなく、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何プリミティブに関連付けられた平面方程式を生成し、平面方程式が、粗いラスタ・エンジンに送信されて、プリミティブに対するカバレッジ情報（たとえば、タイルのｘ、ｙカバレッジ・マスク）が生成され、粗いラスタ・エンジンの出力が、選別エンジンに送信され、ここでｚテストに落ちたプリミティブに関連付けられたフラグメントが選別され、クリッピング・エンジンに送信され、ここで視錐台の外側にあるフラグメントがクリップされる。少なくとも一実施例では、クリッピング及び選別を通過したフラグメントは、細かいラスタ・エンジンに渡されて、セットアップ・エンジンによって生成された平面方程式に基づき、ピクセル・フラグメントに対する属性が生成される。少なくとも一実施例では、ラスタ・エンジン３３０８の出力は、ＤＰＣ３３０６内に実装されたフラグメント・シェーダによってなど任意の好適なエンティティによって処理されることになるフラグメントを含む。
【0461】
少なくとも一実施例では、ＧＰＣ３３００に含まれる各ＤＰＣ３３０６は、限定することなく、Ｍパイプ・コントローラ（「ＭＰＣ」：Ｍ－Ｐｉｐｅ Ｃｏｎｔｒｏｌｌｅｒ）３３１０、プリミティブ・エンジン３３１２、１つ又は複数のＳＭ３３１４、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、ＭＰＣ３３１０は、ＤＰＣ３３０６の動作を制御して、パイプライン・マネージャ３３０２から受信したパケットを、ＤＰＣ３３０６内の適切なユニットにルーティングする。少なくとも一実施例では、頂点に関連付けられたパケットは、頂点に関連付けられた頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン３３１２にルーティングされ、対照的に、シェーダ・プログラムに関連付けられたパケットは、ＳＭ３３１４に送信されてもよい。
【0462】
少なくとも一実施例では、ＳＭ３３１４は、いくつかのスレッドにより表されたタスクを処理するように構成されたプログラム可能なストリーミング・プロセッサを、限定することなく含む。少なくとも一実施例では、ＳＭ３３１４はマルチスレッド化されており、スレッドの特定のグループからの複数のスレッド（たとえば、３２個のスレッド）を同時に実行するように構成され、単一命令複数データ（「ＳＩＭＤ」）アーキテクチャを実装し、ここでスレッドのグループ（たとえば、ワープ、波面、波）内の各スレッドは、同じ命令セットに基づき、異なるデータ・セットを処理するように構成される。少なくとも一実施例では、スレッド・グループ内のすべてのスレッドが命令の共通のセットを実行する。少なくとも一実施例では、ＳＭ３３１４は、単一命令複数スレッド（「ＳＩＭＴ」）アーキテクチャを実装し、ここで、スレッド・グループの各スレッドは、命令の共通セットに基づき、異なるデータ・セットを処理するように構成されるが、スレッド・グループ内の個々のスレッドは、実行中に発散することが許容される。少なくとも一実施例では、プログラム・カウンタ、コール・スタック、及び実行状態がワープ（波面及び／又は波としてもよい）ごとに維持されて、ワープ内のスレッドが発散するときに、ワープ間の同時処理、及びワープ内での直列実行が可能になる。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が個々のスレッドごとに維持されて、すべてのスレッド間、ワープ内、及びワープ間で等しい同時処理が可能になる。少なくとも一実施例では、実行状態が個々のスレッドごとに維持され、共通の命令を実行しているスレッドが、より効率的になるように収束され並列に実行されてもよい。ＳＭ３３１４の少なくとも一実施例は、本明細書でさらに詳細に説明される。
【0463】
少なくとも一実施例では、ＭＭＵ３３１８は、ＧＰＣ３３００とメモリ・パーティション・ユニット（たとえば、図３２のパーティション・ユニット３２２２）との間でインターフェースを提供し、ＭＭＵ３３１８は、仮想アドレスから物理アドレスへのトランスレーション、メモリ保護、及びメモリ要求の調停を提供する。少なくとも一実施例では、ＭＭＵ３３１８は、仮想アドレスからメモリの物理アドレスへのトランスレーションを実行するための１つ又は複数のトランスレーション・ルックアサイド・バッファ（「ＴＬＢ」）を提供する。
【0464】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＧＰＣ３３００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＧＰＣ３３００は、別のプロセッサ若しくはシステムによって、又はＧＰＣ３３００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＧＰＣ３３００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0465】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0466】
図３４は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニット３４００を示す。少なくとも一実施例では、パーティション・ユニット３４００は、限定することなく、ラスタ演算（「ＲＯＰ」）ユニット３４０２、レベル２（「Ｌ２」）キャッシュ３４０４、メモリ・インターフェース３４０６、及びそれらの任意の好適な組合せを含む。少なくとも一実施例では、メモリ・インターフェース３４０６がメモリに結合されている。少なくとも一実施例では、メモリ・インターフェース３４０６は、高速データ転送のために、３２、６４、１２８、１０２４ビットのデータ・バスなどを実装してもよい。少なくとも一実施例では、ＰＰＵは、Ｕが正の整数である、Ｕ個のメモリ・インターフェース３４０６をパーティション・ユニット３４００の対当たりに１つのメモリ・インターフェース３４０６に組み込んでおり、ここでパーティション・ユニット３４００の各対は、対応するメモリ・デバイスに接続される。たとえば、少なくとも一実施例では、ＰＰＵは、高帯域幅メモリ・スタック、又はグラフィックス・ダブル・データ・レート、バージョン５、同期ダイナミック・ランダム・アクセス・メモリ（「ＧＤＤＲ５ ＳＤＲＡＭ」）など、最大Ｙ個のメモリ・デバイスに接続されてもよい。
【0467】
少なくとも一実施例では、メモリ・インターフェース３４０６は、高帯域幅メモリの第２世代（「ＨＢＭ２」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ）メモリ・インターフェースを実装し、ＹはＵの半分に等しい。少なくとも一実施例では、ＨＢＭ２メモリ・スタックは、ＰＰＵを有する物理パッケージに位置付けられて、従来のＧＤＤＲ５ ＳＤＲＡＭシステムに比べて実質的な電力と面積の節約を実現する。少なくとも一実施例では、各ＨＢＭ２スタックは、限定することなく４個のメモリ・ダイを含み、Ｙ＝４であり、各ＨＢＭ２スタックは、１つのダイ当たりに２つの１２８ビット・チャネルの合計８チャネル、及び１０２４ビットのデータ・バス幅を含む。少なくとも一実施例では、メモリは、１ビット・エラー訂正２ビット・エラー検出（「ＳＥＣＤＥＤ」：Ｓｉｎｇｌｅ－Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｄｏｕｂｌｅ－Ｅｒｒｏｒ Ｄｅｔｅｃｔｉｎｇ）エラー訂正コード（「ＥＣＣ」）をサポートしてデータを保護する。少なくとも一実施例では、ＥＣＣは、データ破損を受けやすいコンピュート・アプリケーションに、より高い信頼性を提供し得る。
【0468】
少なくとも一実施例では、ＰＰＵは、マルチ・レベルのメモリ階層を実装する。少なくとも一実施例では、メモリ・パーティション・ユニット３４００は、統合されたメモリをサポートして、中央処理装置（「ＣＰＵ」）及びＰＰＵメモリに単一の統合された仮想アドレス空間を提供し、仮想メモリ・システム間でのデータの共有を可能にする。少なくとも一実施例では、他のプロセッサに位置付けられたメモリにＰＰＵがアクセスする頻度を追跡して、より頻繁にページにアクセスしているＰＰＵの物理メモリに、メモリ・ページが確実に移動されるようにする。少なくとも一実施例では、高速ＧＰＵ相互接続３２０８は、アドレス・トランスレーション・サービスをサポートして、ＰＰＵが直接ＣＰＵのページ・テーブルにアクセスできるようにし、ＰＰＵによるＣＰＵメモリへのフル・アクセスを実現する。
【0469】
少なくとも一実施例では、コピー・エンジンは、複数のＰＰＵ間、又はＰＰＵとＣＰＵの間で、データを転送する。少なくとも一実施例では、コピー・エンジンは、ページ・テーブルにマッピングされていないアドレスについてページ誤りを生成することができ、次いでメモリ・パーティション・ユニット３４００がページ誤りに対応して、アドレスをページ・テーブルにマッピングし、その後で、コピー・エンジンが転送を実行する。少なくとも一実施例では、メモリは、複数のプロセッサ間でコピー・エンジンの複数の動作についてピン留めされて（たとえば、ページ移動不可能にされて）、実質的に利用可能なメモリを低減させる。少なくとも一実施例では、ハードウェアのページ誤りがある場合、メモリ・ページが常駐であるかどうかに関わらず、アドレスをコピー・エンジンに渡すことができ、コピー・プロセスは透過的である。
【0470】
少なくとも一実施例によれば、図３２のメモリ３２０４又は他のシステム・メモリからのデータは、メモリ・パーティション・ユニット３４００によってフェッチされ、Ｌ２キャッシュ３４０４に記憶され、このＬ２キャッシュは、オン・チップに位置付けられ、様々ＧＰＣ間で共有される。少なくとも一実施例では、各メモリ・パーティション・ユニット３４００は、対応するメモリ・デバイスに関連付けられたＬ２キャッシュの少なくとも一部分を、限定することなく含む。少なくとも一実施例では、より低いレベルのキャッシュが、ＧＰＣ内の様々なユニットに実装される。少なくとも一実施例では、図３３のＳＭ３３１４のそれぞれは、レベル１（「Ｌ１」）キャッシュを実装してもよく、ここでＬ１キャッシュは、特定のＳＭ３３１４専用のプライベート・メモリであり、Ｌ２キャッシュ３４０４からのデータは、ＳＭ３３１４の機能ユニットで処理するために、Ｌ１キャッシュのそれぞれにフェッチされ記憶される。少なくとも一実施例では、Ｌ２キャッシュ３４０４は、メモリ・インターフェース３４０６及び図３２に示されるＸバー３２２０に結合される。
【0471】
少なくとも一実施例では、ＲＯＰユニット３４０２は、色圧縮、ピクセル・ブレンディングなど、ピクセル色に関係するグラフィックス・ラスタ演算を実行する。ＲＯＰユニット３４０２は、少なくとも一実施例では、ラスタ・エンジン３３０８と併せて深度テストを実装して、ピクセル・フラグメントに関連付けられたサンプル・ロケーションの深度を、ラスタ・エンジン３３０８の選別エンジンから受信する。少なくとも一実施例では、深度は、フラグメントに関連付けられたサンプル・ロケーションの深度バッファにおける対応する深度と比べてテストされる。少なくとも一実施例では、フラグメントが、サンプル・ロケーションの深度テストを通過すると、ＲＯＰユニット３４０２は、深度バッファを更新し、深度テストの結果をラスタ・エンジン３３０８に送信する。パーティション・ユニット３４００の数はＧＰＣの数とは異なってもよく、したがって、各ＲＯＰユニット３４０２は、少なくとも一実施例では、ＧＰＣのそれぞれに結合されてもよいことが理解されよう。少なくとも一実施例では、ＲＯＰユニット３４０２は、異なるＧＰＣから受信したパケットを追跡し、ＲＯＰユニット３４０２によって生成された結果が、Ｘバー３２２０を通してルーティングされることになるかを判定する。
【0472】
図３５は、少なくとも一実施例による、ストリーミング・マルチ－プロセッサ（「ＳＭ」）３５００を示す。少なくとも一実施例では、ＳＭ３５００は、図３３のＳＭである。少なくとも一実施例では、ＳＭ３５００は、限定することなく、命令キャッシュ３５０２、１つ又は複数のスケジューラ・ユニット３５０４（シーケンサ・ユニットとされてもよい）、レジスタ・ファイル３５０８、１つ又は複数の処理コア（「コア」）３５１０、１つ又は複数の特殊機能ユニット（「ＳＦＣ」：Ｓｐｅｃｉａｌ Ｆｕｎｃｔｉｏｎ Ｕｎｉｔ）３５１２、１つ又は複数のロード／ストア・ユニット（「ＬＳＵ」：Ｌｏａｄ／Ｓｔｏｒｅ Ｕｎｉｔ）３５１４、相互接続ネットワーク３５１６、共有メモリ／レベル１（「Ｌ１」）キャッシュ３５１８、及び／又はこれらの任意の好適な組合せも含まれる。少なくとも一実施例では、ＬＳＵ３５１４が、作業を行う（たとえば、ＡＰＩ、ＡＰＩ呼出しを行う）よう求めるデータ（たとえば、命令）の読み込み／記憶に相当する記憶作業の読み込みを行う。
【0473】
少なくとも一実施例では、ワーク分配ユニットが、並列処理ユニット（「ＰＰＵ」：Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の汎用処理クラスタ（「ＧＰＵ」：Ｇｅｎｅｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）で実行するためにタクスをディスパッチし、各タスクは、ＧＰＣ内で特定のデータ・処理クラスタ（「ＤＰＣ」：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）に配分され、タスクがシェーダ・プログラムに関連するばあいには、そのタスクは、ＳＭ３５００（ＣＵ及び／又はスライスとされてもよい）のうちの１つに配分される。少なくとも一実施例では、スケジューラ・ユニット３５０４（シーケンサ及び／又は非同期計算エンジンとされてもよい）がワーク分配ユニットからタスクを受信し、ＳＭ３５００に割り当てられた１つ又は複数のスレッド・ブロックに対して命令スケジューリングを管理する。少なくとも一実施例では、スケジューラ・ユニット３５０４が、並列スレッドのワープ（波面及び／又は波としてもよい）としての実行できるようにスレッド・ブロックをスケジュールし、ここで各スレッド・ブロックに少なくとも１つのワープが配分される。少なくとも一実施例では、各ワープは、スレッドを実行する。少なくとも一実施例では、スケジューラ・ユニット３５０４は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを配分し、次いで複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット（たとえば、処理コア３５１０、ＳＦＵ３５１２、及びＬＳＵ３５１４）にディスパッチする。
【0474】
少なくとも一実施例では、連動グループ（波面及び／又は波としてもよい）とは、通信するスレッドのグループを組織化するためのプログラミング・モデルを指し、このモデルは、デベロッパが、スレッドが通信する粒度を表せるようにして、よりより豊富でより効率的な並列分解の表現を可能にする。少なくとも一実施例では、連動した起動ＡＰＩは、並列アルゴリズムを実行できるようにスレッド・ブロック間の同期をサポートする。少なくとも一実施例では、従来のプログラミング・モデルのアプリケーションは、連動スレッドを同期するための単一の簡単な構造、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア（たとえば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）を提供する。しかし、少なくとも一実施例では、プログラマは、スレッド・ブロックの粒度よりも小さいスレッド・グループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形で、より高い性能、設計の融通性、及びソフトウェア再利用を可能にしてもよい。少なくとも一実施例では、連動グループによって、プログラマは、サブ・ブロック（すなわち、単一スレッドと同じ大きさ）の粒度及びマルチ・ブロックの粒度において、スレッドのグループを明示的に定義し、連動グループ内のスレッドに対する同期などの集合的な動作を実行できるようになる。少なくとも一実施例では、プログラミング・モデルは、ソフトウェア境界を横切るクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数を、収束について仮定する必要なくそれらのローカルなコンテキスト内で安全に同期することができる。少なくとも一実施例では、連動グループのプリミティブは、プロデューサ－コンシューマ並列性、日和見並列性（ｏｐｐｏｒｔｕｎｉｓｔｉｃ ｐａｒａｌｌｅｌｉｓｍ）、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を限定することなく含む新しいパターンの連動並列性を可能にする。
【0475】
少なくとも一実施例では、ディスパッチ・ユニット３５０６は、１つ又は複数の機能ユニットに命令を送信するように構成され、スケジューラ・ユニット３５０４は、共通のワープからの２つの異なる命令を、各クロック・サイクル中にディスパッチできるようにする２つのディスパッチ・ユニット３５０６を限定することなく含む。少なくとも一実施例では、各スケジューラ・ユニット３５０４は、単一のディスパッチ・ユニット３５０６又は追加のディスパッチ・ユニット３５０６を含む。
【0476】
少なくとも一実施例では、限定することなく、各ＳＭ３５００（ＣＵ及び／又はスライスとしてもよい）としては、少なくとも一実施例では、ＳＭ３５００の機能ユニットにレジスタのセットを提供するレジスタ・ファイル３５０８が挙げられる。少なくとも一実施例では、レジスタ・ファイル３５０８は、各機能ユニットがレジスタ・ファイル３５０８の専用部分に配分されるように、各機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル３５０８は、ＳＭ３５００によって実行されている異なるワープ間で分割され、レジスタ・ファイル３５０８は、機能ユニットのデータ経路に接続されたオペランド用の一時的なストレージを提供する。少なくとも一実施例では、各ＳＭ３５００は、限定することなく複数のＬ処理コア３５１０を含み、ここでＬは正の整数である。少なくとも一実施例では、各ＳＭ３５００は、限定することなく、多数の（たとえば、１２８個以上の）個別の処理コア３５１０を含む。少なくとも一実施例では、各処理コア３５１０は、浮動小数点算術論理演算ユニット及び整数算術論理演算ユニットを限定することなく含む完全にパイプライン化された、単精度の、倍精度の、及び／又は混合精度の処理ユニットを限定することなく含む。少なくとも一実施例では、浮動小数点算術論理演算ユニットは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装する。少なくとも一実施例では、処理コア３５１０は、限定することなく、６４個の単精度（３２ビット）浮動小数点コア、６４個の整数コア、３２個の倍精度（６４ビット）浮動小数点コア、及び８個のテンソル・コアを含む。
【0477】
テンソル・コアは、少なくとも一実施例による行列演算を実行するように構成される。少なくとも一実施例では、１つ又は複数のテンソル・コアは、処理コア３５１０に含まれる。少なくとも一実施例では、テンソル・コアは、ニューラル・ネットワークの訓練及び推論のための畳み込み演算など、深層学習の行列演算を実行するように構成される。少なくとも一実施例では、各テンソル・コアは、４×４の行列で動作し、行列の積和演算（ｍａｔｒｉｘ ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｅ ｏｐｅｒａｔｉｏｎ）Ｄ＝Ａ×Ｂ＋Ｃを実行し、ここでＡ、Ｂ、Ｃ、及びＤは４×４の行列である。
【0478】
少なくとも一実施例では、行列乗算の入力Ａ及びＢは、１６ビットの浮動小数点行列であり、和の行列Ｃ及びＤは、１６ビットの浮動小数点又は３２ビットの浮動小数点行列である。少なくとも一実施例では、テンソル・コアは、３２ビットの浮動小数点の和を有する１６ビットの浮動小数点入力データで動作する。少なくとも一実施例では、１６ビットの浮動小数点乗算は、６４個の演算を使用し、結果的に完全精度の積をもたらし、次いでその積が、４×４×４の行列乗算の他の中間積との３２ビット浮動小数点加算を使用して加算される。テンソル・コアを使用して、少なくとも一実施例では、これらの小さい要素から構築される、はるかに大きい２次元又はさらに高次元の行列演算が実行される。少なくとも一実施例では、ＣＵＤＡ９Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも一実施例では、ＣＵＤＡレベルでは、ワープ・レベル・インターフェースがワープの３２スレッド（波面及び／又は波としてもよい）すべてにわたる１６ｘ１６のサイズの行列を仮定している。
【0479】
少なくとも一実施例では、各ＳＭ３５００は、特殊関数（たとえば、属性評価、逆数平方根など）を実行するＭ個のＳＦＵ３５１２を、限定することなく含む。少なくとも一実施例では、ＳＦＵ３５１２は、限定することなく、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも一実施例では、ＳＦＵ３５１２は、テクスチャ・マップのフィルタリング動作を実行するように構成されたテクスチャ・ユニットを、限定することなく含む。少なくとも一実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ（たとえば、テクセルの２Ｄアレイ）をロードして、ＳＭ３５００により実行されるシェーダ・プログラムで使用するためのサンプリングされたテクスチャ値を生成するように構成される。少なくとも一実施例では、テクスチャ・マップは、共有メモリ／レベル１キャッシュ３５１８に記憶される。少なくとも一実施例では、テクスチャ・ユニットは、少なくとも一実施例によれば、ミップ・マップ（たとえば、詳細さのレベルが異なるテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも一実施例では、各ＳＭ３５００は、限定することなく、２つのテクスチャ・ユニットを含む。
【0480】
各ＳＭ３５００は、少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８とレジスタ・ファイル３５０８の間でロード及びストア動作を実装するＮ個のＬＳＵ３５１４を、限定することなく含む。少なくとも一実施例では、相互接続ネットワーク３５１６は、各機能ユニットをレジスタ・ファイル３５０８に接続し、ＬＳＵ３５１４をレジスタ・ファイル３５０８及び共有メモリ／Ｌ１キャッシュ３５１８に接続する。少なくとも一実施例では、相互接続ネットワーク３５１６はクロスバーであり、このクロスバーは、任意の機能ユニットをレジスタ・ファイル３５０８の任意のレジスタに接続し、ＬＳＵ３５１４をレジスタ・ファイル３５０８と共有メモリ／Ｌ１キャッシュ３５１８のメモリ・ロケーションとに接続するように構成されてもよい。
【0481】
少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、少なくとも一実施例では、ＳＭ３５００とプリミティブ・エンジンの間、及びＳＭ３５００のスレッド間でデータ・ストレージ及び通信を可能にするオン・チップ・メモリのアレイである。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、限定することなく、１２８ＫＢのストレージ容量を備え、ＳＭ３５００からパーティション・ユニットに向かう経路にある。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８は、少なくとも一実施例では、読取り及び書込みをキャッシュするために使用される。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ３５１８、Ｌ２キャッシュ、及びメモリのうちの１つ又は複数は、補助ストレージである。
【0482】
少なくとも一実施例では、データ・キャッシュと共有メモリ機能とを単一のメモリ・ブロックに組み合わせることによって、両方のタイプのメモリ・アクセスについて性能が向上する。少なくとも一実施例では、容量は、共有メモリを使用しないプログラムによってキャッシュとして使用され、又は使用可能であり、それにより、共有メモリが容量の半分を使用するように構成されている場合、テクスチャ及びロード／ストア動作が、残りの容量を使用することができる。少なくとも一実施例によれば、共有メモリ／Ｌ１キャッシュ３５１８内に統合することによって、共有メモリ／Ｌ１キャッシュ３５１８が、データをストリームするための高スループットの管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供できるようになる。少なくとも一実施例では、汎用並列計算向けに構成されるときには、グラフィックス処理と比べてより簡単な構成を使用することができる。少なくとも一実施例では、固定機能のグラフィックス・プロセッシング・ユニットがバイパスされて、はるかに簡単なプログラミング・モデルが作製される。汎用並列計算の構成では、ワーク分配ユニットは、少なくとも一実施例においてスレッド・ブロックを直接ＤＰＣに割当て及び分配する。少なくとも一実施例では、ブロック内のスレッドは、各スレッドが確実に一意の結果を生成するように、計算において一意のスレッドＩＤを使用して共通のプログラムを実行し、ＳＭ３５００を使用して、プログラムを実行し計算を行い、共有メモリ／Ｌ１キャッシュ３５１８を使用してスレッド間で通信し、ＬＳＵ３５１４を使用して、共有メモリ／Ｌ１キャッシュ３５１８及びメモリ・パーティション・ユニットを介してグローバル・メモリを読み取り、書き込む。少なくとも一実施例では、汎用並列計算向けに構成されるときには、ＳＭ３５００は、ＤＣＰ上で新規のワークを起動するためにスケジューラ・ユニット３５０４が使用できるコマンドを書き込む。
【0483】
少なくとも一実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイスなどに含まれ、又はこれらに結合される。少なくとも一実施例では、ＰＰＵは、単一の半導体基板に具体化される。少なくとも一実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、縮小命令セット・コンピュータ（「ＲＩＳＣ」）ＣＰＵ、メモリ管理ユニット（「ＭＭＵ」）、デジタル－アナログ変換器（「ＤＡＣ」：ｄｉｇｉｔａｌ－ｔｏ－ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）などの１つ又は複数の他のデバイスとともにシステム・オン・チップ（「ＳｏＣ」）に含まれる。
【0484】
少なくとも一実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィックス・カードに含まれてもよい。少なくとも一実施例では、グラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースをとるように構成されてもよい。少なくとも一実施例では、ＰＰＵは、マザーボードのチップセットに含まれる統合グラフィックス・プロセッシング・ユニット（「ｉＧＰＵ」：ｉｎｔｅｇｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。
【0485】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、論理７１５が使用される。論理７１５に関する詳細事項は、図７Ａ及び／又は図７Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＳＭ３５００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＳＭ３５００は、別のプロセッサ若しくはシステムによって、又はＳＭ３５００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＳＭ３５００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
【0486】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0487】
医療用途における画像推論及び画像処理など、先進コンピューティングのための仮想化コンピューティング・プラットフォームに関する実施例が開示される。限定することなく、実施例は、放射線写真撮影、磁気共鳴撮像（ＭＲＩ）、核医学、超音波、ソノグラフィ、エラストグラフィ、光音響撮像、トモグラフィ、心エコー、機能的近赤外分光法、及び磁性粒子撮像、又はこれらの組合せを含んでもよい。少なくとも一実施例では、本明細書に記載の仮想化コンピューティング・プラットフォーム、及び関連するプロセスは、限定することなく、法科学分析、表面下検出及び撮像（たとえば、石油探査、考古学、古生物学など）、地形学、海洋学、地質学、骨学、気象学、知能分野、又は物体追跡及び監視、センサ・データ処理（たとえば、ＲＡＤＡＲ、ＳＯＮＡＲ、ＬＩＤＡＲなど）、並びに／又はゲノミクス及び遺伝子配列において、追加的又は代替的に使用されてもよい。
【0488】
図３６を参照すると、図３６は、少なくとも一実施例による、画像処理及び推論のパイプラインを生成及び導入するプロセス３６００の実例データ・フロー図である。少なくとも一実施例では、プロセス３６００は、医療施設、病院、ヘルスケア機関、クリニック、リサーチ若しくは診断の研究所などの１つ又は複数の施設３６０２において、撮像デバイス、処理デバイス、ゲノミクス・デバイス、遺伝子配列デバイス、放射線デバイス、及び／又は他のタイプのデバイスとともに使用するために導入されてもよい。少なくとも一実施例では、プロセッサ３６００は、シーケンシング・データについてゲノミクスの分析及び推論を実行するために導入されてもよい。本明細書に記載のシステム及びプロセスを使用して実行することができるゲノム分析の実例は、限定することなく、バリアント・コール、変異検出、及び遺伝子発現の定量化を含む。
【0489】
少なくとも一実施例では、プロセス３６００は、訓練システム３６０４内及び／又は導入システム３６０６内で実行されてもよい。少なくとも一実施例では、訓練システム３６０４を使用して、導入システム３６０６で使用するための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装が実行されてもよい。少なくとも一実施例では、導入システム３６０６は、処理及び計算のリソースを分散コンピューティング環境間でオフロードするように構成されて、施設３６０２におけるインフラストラクチャ要件を低減してもよい。少なくとも一実施例では、導入システム３６０６は、施設３６０２において撮像デバイス（たとえば、ＭＲＩ、ＣＴスキャン、Ｘ線、超音波など）又はシーケンシング・デバイスとともに使用するための仮想機器を選択し、カスタマイズし、実装するための合理化されたプラットフォームを提供してもよい。少なくとも一実施例では、仮想機器は、撮像デバイス、シーケンシング・デバイス、放射線デバイス、及び／又は他のタイプのデバイスによって生成された撮像データに対して１つ又は複数の処理動作を実行するためのソフトウェア定義アプリケーションを含んでもよい。少なくとも一実施例では、パイプライン内の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム３６０６のサービス（たとえば、推論、仮想化、計算、ＡＩなど）を使用又はコールしてもよい。
【0490】
少なくとも一実施例では、先進処理及び推論パイプラインで使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実行するために機械学習モデル又は他のＡＩを使用してもよい。少なくとも一実施例では、機械学習モデルは、施設３６０２で生成された（且つ、施設３６０２において１つ若しくは複数の画像アーカイブ及び通信システム（ＰＡＣＳ）サーバに記憶された）（撮像データなどの）データ３６０８を使用して、施設３６０２において訓練されてもよく、１つ又は複数の別の施設（たとえば、異なる病院、研究所、クリニックなど）からの撮像若しくはシーケンシングのデータ３６０８を使用して訓練されてもよく、又はそれらの組合せであってもよい。少なくとも一実施例では、訓練システム３６０４を使用して、導入システム３６０６向けの実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースが提供されてもよい。
【0491】
少なくとも一実施例では、モデル・レジストリ３６２４は、バージョン管理及び物体メタデータをサポートすることができる物体ストレージによってバックアップされてもよい。少なくとも一実施例では、物体ストレージには、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図３７のクラウド３７２６）の互換性アプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してアクセス可能であってもよい。少なくとも一実施例では、モデル・レジストリ３６２４内の機械学習モデルは、システムの開発者又はパートナがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除されてもよい。少なくとも一実施例では、ＡＰＩは、適切な資格を有するユーザがモデルをアプリケーションに関連付けできるようにする方法へのアクセスを提供してもよく、それによりアプリケーションのコンテナ化されたインスタンスを実行することの一部として、モデルを実行できるようになる。
【0492】
少なくとも一実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が独自の機械学習モデルを訓練している状況、又は最適化若しくは更新される必要がある既存の機械学習モデルを有している状況を含んでもよい。少なくとも一実施例では、撮像デバイス、シーケンシング・デバイス、及び／又は他のタイプのデバイスによって生成された撮像データ３６０８が受信されてもよい。少なくとも一実施例では、撮像データ３６０８が受信されると、機械学習モデルのグラウンド・トゥルース・データとして使用されることになる撮像データ３６０８に対応するアノテーションの生成を支援するために、ＡＩ支援アノテーション３６１０が使用されてもよい。少なくとも一実施例では、ＡＩ支援アノテーション３６１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））を含んでもよく、これは（たとえば特定のデバイスからの）特定のタイプの撮像データ３６０８、及び／又は撮像データ３６０８内の特定のタイプの異常に対応するアノテーションを生成するように訓練されてもよい。少なくとも一実施例では、次いでＡＩ支援アノテーション３６１０は、グラウンド・トゥルース・データを生成するために直接使用されてもよく、又は（たとえば、研究者、臨床医、医師、科学者などによって）アノテーション・ツールを使用して調節若しくは微調整されてもよい。少なくとも一実施例では、いくつかの実例において、ラベル付けされたクリニック・データ３６１２（たとえば、臨床医、医師、科学者、技術者などによって提供されたアノテーション）が、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、ＡＩ支援アノテーション３６１０、ラベル付けされたクリニック・データ３６１２、又はこれらの組合せが、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、訓練済み機械学習モデルは出力モデル３６１６と呼ばれてもよく、本明細書に記載の導入システム３６０６によって使用されてもよい。
【0493】
少なくとも一実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が、導入システム３６０６内の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行する際に使用する機械学習モデルを必要としているが、施設３６０２は現在そのような機械学習モデルを有していないかもしれない（又はそうした目的のために最適化された、効率よい、若しくは有効なモデルを有していないかもしれない）という状況を含んでもよい。少なくとも一実施例では、既存の機械学習モデルが、モデル・レジストリ３６２４から選択されてもよい。少なくとも一実施例では、モデル・レジストリ３６２４は、撮像データに対して様々な異なる推論タスクを実行するように訓練された機械学習モデルを含んでもよい。少なくとも一実施例では、モデル・レジストリ３６２４の機械学習モデルは、施設３６０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データについて訓練されたものであってもよい。少なくとも一実施例では、機械学習モデルは、１つの場所、２つの場所、又は任意の数の場所からの撮像データについて訓練されたものであってもよい。少なくとも一実施例では、特定の場所からの撮像データについて訓練されるとき、訓練は、その場所で行われてもよく、又は少なくとも、撮像データの機密性を保護するようなやり方で、若しくは撮像データが構外へ転送されるのを制限するようなやり方で（たとえば、ＨＩＰＰＡ規定、プライバシー規定に準拠するように）行われてもよい。少なくとも一実施例では、１つの場所においてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ３６２４に加えられてもよい。少なくとも一実施例では、次いで機械学習モデルは、任意の数の他の施設において再訓練又は更新されてもよく、再訓練又は更新されたモデルが、モデル・レジストリ３６２４において利用可能にされてもよい。少なくとも一実施例では、次いで機械学習モデルは、モデル・レジストリ３６２４から選択されてもよく、出力モデル３６１６と呼ばれてもよく、導入システム３６０６において使用されて、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行してもよい。
【0494】
少なくとも一実施例では、訓練パイプライン３７０４（図３７）は、施設３６０２が、導入システム３６０６内の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行する際に使用する機械学習モデルを必要としているが、施設３６０２は現在そのような機械学習モデルを有していないかもしれない（又はそうした目的のために最適化された、効率よい、若しくは有効なモデルを有していないかもしれない）という状況を含むシナリオで使用することができる。少なくとも一実施例では、モデル・レジストリ３６２４から選択された機械学習モデルは、母集団、遺伝的差異、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題に違いがあることから、施設３６０２において生成される撮像データ３６０８向けに微調整又は最適化されていないことがある。少なくとも一実施例では、機械学習モデルを再訓練又は更新するためのグラウンド・トゥルース・データとして使用されることになる撮像データ３６０８に対応するアノテーションの生成を支援するために、ＡＩ支援アノテーション３６１０が使用されてもよい。少なくとも一実施例では、ラベル付けされたクリニック・データ３６１２（たとえば、臨床医、医師、科学者、技術者などによって提供されたアノテーション）が、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練３６１４と呼ばれてもよい。少なくとも一実施例では、モデル訓練３６１４、たとえばＡＩ支援アノテーション３６１０、ラベル付けされたクリニック・データ３６１２、又はこれらの組合せは、機械学習モデルを再訓練若しくは更新するためのグラウンド・トゥルース・データとして使用されてもよい。
【0495】
少なくとも一実施例では、導入システム３６０６は、ソフトウェア３６１８、サービス３６２０、ハードウェア３６２２、並びに／又は他の構成要素、特徴、及び機能を含んでもよい。少なくとも一実施例では、導入システム３６０６は、ソフトウェア「スタック」を含んでもよく、それによりソフトウェア３６１８は、サービス３６２０の上に構築されてもよく、サービス３６２０を使用して一部若しくはすべての処理タスクを実行してもよく、サービス３６２０及びソフトウェア３６１８は、ハードウェア３６２２の上に構築され、ハードウェア３６２２を使用して、導入システム３６０６の処理、ストレージ、及び／又は他の計算のタスクを実行してもよい。
【0496】
少なくとも一実施例では、ソフトウェア３６１８は、任意の数の異なるコンテナを含んでもよく、ここで各コンテナは、アプリケーションのインスタンス化を実行してもよい。少なくとも一実施例では、各アプリケーションは、先進処理及び推論パイプラインの１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実行してもよい。少なくとも一実施例では、撮像デバイス（たとえば、ＣＴ、ＭＲＩ、Ｘ線、超音波、ソノグラフィ、心エコーなど）、シーケンシング・デバイス、放射線デバイス、ゲノミクス・デバイスなどのタイプごとに、デバイスによって生成された撮像データ３６０８（又は、本明細書に記載のものなどの他のタイプのデータ）に対してデータ処理タスクを実行できる任意の数のコンテナが存在してもよい。少なくとも一実施例では、先進処理及び推論パイプラインは、（たとえば、医用におけるデジタル画像と通信（ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ ｍｅｄｉｃｉｎｅ：ＤＩＣＯＭ）データ、放射線医学情報システム（ＲＩＳ）データ、臨床情報システム（ＣＩＳ）データ、リモート・プロシージャ・コール（ＲＰＣ）データ、表現状態転送（ＲＥＳＴ）インターフェースに実質的に準拠したデータ、ファイルベースのインターフェースに実質的に準拠したデータ、及び／又は生のデータなどの使用可能なタイプのデータに出力を再変換して、施設３６０２において記憶及び表示するように）パイプラインを通して処理した後に、各コンテナによって使用される、且つ／又は施設３６０２によって使用される撮像データを受信及び構成するコンテナに加えて、撮像データ３６０８を処理するのに所望される又は必要とされる異なるコンテナの選択に基づき定義されてもよい。少なくとも一実施例では、（たとえばパイプラインを構成する）ソフトウェア３６１８内のコンテナの組合せは、（本明細書においてより詳細に記載する）仮想機器と呼ばれてもよく、仮想機器は、サービス３６２０及びハードウェア３６２２を利用して、コンテナにおいてインスタンス化されたアプリケーションの一部又はすべての処理タスクを実行してもよい。
【0497】
少なくとも一実施例では、データ処理パイプラインは、推論要求（たとえば、臨床医、医師、放射線医など、導入システム３６０６のユーザからの要求）に応答して、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生、及び／又は他のフォーマットで入力データ（たとえば、撮像データ３６０８）を受け取ってもよい。少なくとも一実施例では、入力データは、１つ又は複数の撮像デバイス、シーケンシング・デバイス、放射線デバイス、ゲノミクス・デバイス、及び／又は他のタイプのデバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表してもよい。少なくとも一実施例では、データは、データ処理パイプラインの一部としての事前処理を受けて、１つ又は複数のアプリケーションによって処理できるようにデータが準備されてもよい。少なくとも一実施例では、パイプラインの１つ若しくは複数の推論タスク又は他の処理タスクの出力に対して後処理が実行されて、次のアプリケーション用に出力データが準備されてもよく、且つ／又は送信及び／若しくはユーザによる使用のために（たとえば、推論要求への応答として）出力データが準備されてもよい。少なくとも一実施例では、推論タスクは、訓練済み若しくは導入済みのニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実行されてもよく、このモデルは、訓練システム３６０４の出力モデル３６１６を含んでもよい。
【0498】
少なくとも一実施例では、データ処理パイプラインのタスクはコンテナにカプセル化されてもよく、コンテナはそれぞれ、アプリケーションの個別の完全に機能的なインスタンス化、及び機械学習モデルを参照できる仮想化コンピューティング環境を表す少なくとも一実施例では、コンテナ又はアプリケーションは、（本明細書においてより詳細に記載する）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）区域に発行されてもよく、訓練済み又は導入済みのモデルは、モデル・レジストリ３６２４に記憶され、１つ又は複数のアプリケーションに関連付けられてもよい。少なくとも一実施例では、アプリケーションの画像（たとえば、コンテナの画像）は、コンテナ・レジストリにおいて入手可能であってもよく、パイプラインに導入するためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムで使用できるようにアプリケーションをインスタンス化するためのコンテナを生成するために使用されてもよい。
【0499】
少なくとも一実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実行するために、アプリケーションを（たとえばコンテナとして）開発、公開、及び記憶してもよい。少なくとも一実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナが、確実にシステムに準拠するように、又はシステムと互換性があるようにするために）システムに関連付けられたソフトウェア開発キット（ＳＤＫ）を使用して実行されてもよい。少なくとも一実施例では、開発されたアプリケーションは、システム（たとえば図３７のシステム３７００）としてサービス３６２０の少なくとも一部をサポートすることができるＳＤＫを用いて、ローカルに（たとえば第１の施設において、第１の施設からのデータについて）テストされてもよい。少なくとも一実施例では、ＤＩＣＯＭ物体は、１個から数百個にわたる画像又は他のタイプのデータをどこにでも含むことができるうえに、データのバリエーションがあることから、開発者は、入力されるＤＩＣＯＭデータの抽出及び準備を管理する（たとえば、アプリケーション用の構成を設定する、事前処理をアプリケーションに構築するなどの）責任を負うことがある。少なくとも一実施例では、システム３７００によって（たとえば、精度、安全性、患者のプライバシーなどが）検証されると、アプリケーションは、ユーザ（たとえば、病院、クリニック、研究所、ヘルスケア提供者など）によって選択及び／又は実装できるようにコンテナ・レジストリにおいて利用可能にされて、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクが実行されてもよい。
【0500】
少なくとも一実施例では、次いで開発者は、アプリケーション又はコンテナを、システム（たとえば、図３７のシステム３７００）のユーザによってアクセス及び使用できるようにネットワークを通して共有してもよい。少なくとも一実施例では、完成し検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶されてもよく、関連する機械学習モデルは、モデル・レジストリ３６２４に記憶されてもよい。少なくとも一実施例では、推論又は画像処理の要求を出す要求元エンティティ（たとえば、医療施設のユーザ）は、コンテナ・レジストリ及び／又はモデル・レジストリ３６２４をブラウジングしてアプリケーション、コンテナ、データセット、機械学習モデルなどを探し、データ処理パイプラインに含めるための要素の所望の組合せを選択し、撮像処理要求を送出してもよい。少なくとも一実施例では、要求は、要求を実行するために必要な入力データ（及びいくつかの実例では、関連する患者データ）を含んでもよく、且つ／又は要求を処理する際に実行されることになるアプリケーション及び／又は機械学習モデルの選択を含んでもよい。少なくとも一実施例では、次いで要求は、導入システム３６０６（たとえばクラウド）の１つ又は複数の構成要素に渡されて、データ処理パイプラインの処理が実行されてもよい。少なくとも一実施例では、導入システム３６０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ３６２４から選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含んでもよい。少なくとも一実施例では、パイプラインによって結果が生成されると、結果がユーザに返されて参照されてもよい（たとえば、ローカルで、構内のワークステーション又は端末で実行している視聴アプリケーション・スイートで視聴されてもよい）。少なくとも一実施例では、放射線医は、任意の数のアプリケーション及び／又はコンテナを含むデータ処理パイプラインから結果を受信してもよく、ここで結果は、Ｘ線、ＣＴスキャン、ＭＲＩなどにおける異常検出を含んでもよい。
【0501】
少なくとも一実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を支援するために、サービス３６２０が利用されてもよい。少なくとも一実施例では、サービス３６２０は、計算サービス、人工知能（ＡＩ）サービス、視覚化サービス、及び／又は他のタイプのサービスを含んでもよい。少なくとも一実施例では、サービス３６２０は、ソフトウェア３６１８の１つ又は複数のアプリケーションに共通の機能を提供してもよく、それにより機能は、アプリケーションによってコール又は利用されることが可能なサービスに対して抽象化されてもよい。少なくとも一実施例では、サービス３６２０によって提供される機能は、動的でより効率的に実行されてもよく、それと同時に、（たとえば、並列コンピューティング・プラットフォーム３７３０（図３７）を使用して）アプリケーションが並列にデータを処理できるようにすることにより、良好にスケーリングされてもよい。少なくとも一実施例では、サービス３６２０により提供される同じ機能を共有する各アプリケーションに、サービス３６２０のそれぞれのインスタンスを有するよう要求するのではなく、サービス３６２０が、様々なアプリケーション間で共有されてもよい。少なくとも一実施例では、サービスは、非限定的な実例として、検出又はセグメント化のタスクを実行するために使用されてもよい推論のサーバ又はエンジンを含んでもよい。少なくとも一実施例では、機械学習モデルの訓練及び／又は再訓練の機能を提供することができるモデル訓練サービスが含まれてもよい。少なくとも一実施例では、ＧＰＵ加速化データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）の抽出、リサイズ、スケーリング、及び／又は他の拡張を提供することができるデータ拡張サービスがさらに含まれてもよい。少なくとも一実施例では、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を加えることができる視覚化サービスが使用されて、２次元（２Ｄ）及び／又は３次元（３Ｄ）のモデルにリアル感が付加されてもよい。少なくとも一実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを実現する仮想機器サービスが含まれてもよい。
【0502】
少なくとも一実施例では、サービス３６２０がＡＩサービス（たとえば、推論サービス）を含む場合、異常検出（たとえば、腫瘍、発育異常、瘢痕化など）のためのアプリケーションに関連付けられた１つ又は複数の機械学習モデルは、機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）に（ＡＰＩコールとして）コールすることによって、実行されてもよい。少なくとも一実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、セグメント化タスクに関連付けられた処理動作のうちの１つ又は複数を実行するための機械学習モデルを実行するように、アプリケーションは推論サービスをコールしてもよい。少なくとも一実施例では、セグメント化アプリケーション及び異常検出アプリケーションを含む先進処理及び推論パイプラインを実装するソフトウェア３６１８は、１つ又は複数の推論タスクを実行するためにそれぞれのアプリケーションが同じ推論サービスをコールすることがあるので、合理化されてもよい。
【0503】
少なくとも一実施例では、ハードウェア３６２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸスーパーコンピュータ・システムなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含んでもよい。少なくとも一実施例では、異なるタイプのハードウェア３６２２を使用して、導入システム３６０６のソフトウェア３６１８及びサービス３６２０のための効率的で専用のサポートが提供されてもよい。少なくとも一実施例では、画像処理、画像再構築、セグメント化、ＭＲＩ検査、脳卒中又は心臓発作の（たとえばリアルタイムの）検出、レンダリングの画像品質などの効率、精度、及び有効性を向上させるために、ＡＩ／深層学習システム内、クラウド・システム、及び／又は導入システム３６０６の他の処理構成要素において、ローカルで（たとえば、施設３６０２で）処理を行うためのＧＰＵ処理の使用が実装されてもよい。少なくとも一実施例では、施設は、撮像デバイス、ゲノミクス・デバイス、シーケンシング・デバイス、及び／又は他のタイプのデバイスを構内に含んでもよく、これらは、ＧＰＵを利用して、対象者の解剖学的組織を表す撮像データを生成してもよい。
【0504】
少なくとも一実施例では、ソフトウェア３６１８及び／又はサービス３６２０は、非限定的な実例として深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化されてもよい。少なくとも一実施例では、導入システム３６０６及び／又は訓練システム３６０４のコンピューティング環境のうちの少なくとも一部は、データセンタの１つ若しくは複数のスーパーコンピュータ、又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアの組合せ）を用いて実行されてもよい。少なくとも一実施例では、データセンサは、ＨＩＰＡＡの条項に準拠してもよく、したがって、撮像データ及び／又は他の患者データの受信、処理、及び送信は、患者データのプライバシーに関して安全に取り扱われる。少なくとも一実施例では、ハードウェア３６２２は、任意の数のＧＰＵを含んでもよく、これらのＧＰＵは、本明細書に記載するように、データの並列処理を実行するためにコールされてもよい。少なくとも一実施例では、クラウド・プラットフォームはさらに、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化された実行のためのＧＰＵ処理を含んでもよい。少なくとも一実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステムによって提供される）ＡＩ／深層学習スーパーコンピュータ、及び／又はＧＰＵ最適化ソフトウェアをハードウェア抽象化及びスケーリングのプラットフォームとして使用して、実行されてもよい。少なくとも一実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合してもよい。
【0505】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0506】
図３７は、少なくとも一実施例による撮像導入パイプラインを生成及び導入するための実例システム３７００を示すシステム図である。少なくとも一実施例では、システム３７００は、図３６のプロセス３６００、及び／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用されてもよい。少なくとも一実施例では、システム３７００は、訓練システム３６０４及び導入システム３６０６を含んでもよい。少なくとも一実施例では、訓練システム３６０４及び導入システム３６０６は、本明細書に記載するように、ソフトウェア３６１８、サービス３６２０、及び／又はハードウェア３６２２を使用して実装されてもよい。
【0507】
少なくとも一実施例では、システム３７００（たとえば、訓練システム３６０４及び／又は導入システム３６０６）は、クラウド・コンピューティング環境（たとえば、クラウド３７２６）において実装されてもよい。少なくとも一実施例では、システム３７００は、ヘルスケア・サービス施設に関してローカルに実装されてもよく、又はクラウドとローカル・コンピューティング・リソースとの組合せとして実装されてもよい。少なくとも一実施例では、クラウド・コンピューティングが実装される実施例では、ＨＩＰＡＡ並びに／又は他のデータ取扱い及びプライバシーの規定若しくは法律に準拠していない処理を提供するシステム３７００の１つ又は複数の構成要素から、患者データは分離されてもよく、又はそれらによって処理されなくてもよい。少なくとも一実施例では、クラウド３７２６のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを介して許可されたユーザに限定されてもよい。少なくとも一実施例では、セキュリティ・プロトコルはウェブ・トークンを含んでもよく、このウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）のサービスによって署名されてもよく、適切な許可を持っていてもよい。少なくとも一実施例では、（本明細書に記載の）仮想機器のＡＰＩ、又はシステム３７００の他のインスタンス化は、対話について検査済み又は許可済みのパブリックＩＰのセットに限定されてもよい。
【0508】
少なくとも一実施例では、システム３７００の様々な構成要素は、有線及び／又は無線の通信プロトコルを介して、ローカル・エリア・ネットワーク（ＬＡＮ）及び／又は広域ネットワーク（ＷＡＮ）を含むがこれらに限定されない様々な異なるタイプのネットワークのうちの任意のものを使用して、相互に通信してもよい。少なくとも一実施例では、（たとえば推論要求を送信するため、推論要求の結果を受信するためなど）施設とシステム３７００の構成要素との間の通信は、１つ又は複数のデータ・バス、無線データ・プロトコル（Ｗｉ－Ｆｉ）、有線データ・プロトコル（たとえば、イーサネット（登録商標））などを介して通信されてもよい。
【0509】
少なくとも一実施例では、訓練システム３６０４は、図３６に関して本明細書に記載したものと同様の訓練パイプライン３７０４を実行してもよい。少なくとも一実施例では、１つ又は複数の機械学習モデルが導入システム３６０６により導入パイプライン３７１０において使用されることになる場合、訓練パイプライン３７０４を使用して、１つ又は複数の（たとえば、事前訓練された）モデルが訓練若しくは再訓練されてもよく、且つ／又は事前訓練されたモデル３７０６のうちの１つ又は複数が（たとえば再訓練若しくは更新を必要とせずに）実装されてもよい。少なくとも一実施例では、訓練パイプライン３７０４の結果として、出力モデル３６１６が生成されてもよい。少なくとも一実施例では、訓練パイプライン３７０４は、（たとえばＤＩＣＯＭ画像を、それぞれの機械学習モデルによって処理するのに適した別のフォーマット、たとえばＮｅｕｒｏｉｍａｇｉｎｇ Ｉｎｆｏｒｍａｔｉｃｓ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｉｔｉａｔｉｖｅ（ＮＩｆＴＩ）フォーマットなどに変換するためのＤＩＣＯＭアダプタ３７０２Ａを使用した）撮像データ（若しくは他の入力データ）の変換若しくは適合、ＡＩ支援アノテーション３６１０、ラベル付きクリニック・データ３６１２を生成するための撮像データ３６０８のラベル付け又はアノテーション付け、モデル・レジストリからのモデル選択、モデル訓練３６１４、モデルの訓練、再訓練、若しくは更新、及び／又は他の処理ステップなどであるがこれらに限定されない任意の数の処理ステップを含んでもよい。少なくとも一実施例では、導入システム３６０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン３７０４が使用されてもよい。少なくとも一実施例では、図３６に関して記載した第１の実例と同様の訓練パイプライン３７０４は、第１の機械学習モデルに使用されてもよく、図３６に関して記載した第２の実例と同様の訓練パイプライン３７０４は、第２の機械学習モデルに使用されてもよく、図３６に関して記載した第３の実例と同様の訓練パイプライン３７０４は、第３の機械学習モデルに使用されてもよい。少なくとも一実施例では、それぞれの各機械学習モデルに要求されるものに応じて、訓練システム３６０４内のタスクの任意の組合せが使用されてもよい。少なくとも一実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練済みで導入の準備が整っていてもよく、それにより機械学習モデルは、訓練システム３６０４によるいかなる処理も受けなくてもよく、導入システム３６０６によって実装されてもよい。
【0510】
少なくとも一実施例では、出力モデル３６１６及び／又は事前訓練されたモデル３７０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含んでもよい。少なくとも一実施例では、限定することなく、システム３７００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、決定木、サポート・ベクター・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ近傍法（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ：Ｋｎｎ）、ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、再帰、パーセプトロン、長／短期メモリ（ＬＳＴＭ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、逆畳み込み、敵対的生成、液体状態マシンなど）を使用する機械学習モデル、及び／又は他のタイプの機械学習モデルを含んでもよい。
【0511】
少なくとも一実施例では、訓練パイプライン３７０４は、少なくとも図４０Ｂに関して、より詳細に本明細書に記載するＡＩ支援アノテーションを含んでもよい。少なくとも一実施例では、ラベル付きクリニック・データ３６１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成されてもよい。少なくとも一実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ）プログラム、ラベル付けプログラム、グラウンド・トゥルース用のアノテーション若しくはラベルの生成に適した別のタイプのプログラム内で生成されてもよく、且つ／又はいくつかの実例では、手書きされてもよい。少なくとも一実施例では、グラウンド・トゥルース・データは、合成により生成されてもよく（たとえば、コンピュータ・モデル又はレンダリングから生成されてもよく）、現実的に生成されてもよく（たとえば、実世界のデータから設計及び生成されてもよく）、機械自動化されてもよく（たとえば、特徴の分析及び学習を使用して、データから特徴を抽出し、次いでラベルを生成してもよく）、人間によりアノテーション付けされてもよく（たとえば、ラベラ、又はアノテーション専門家がラベルのロケーションを定義してもよく）、且つ／又はこれらの組合せであってもよい。少なくとも一実施例では、撮像データ３６０８のインスタンス（又は機械学習モデルによって使用される他のタイプのデータ）ごとに、訓練システム３６０４によって生成される対応するグラウンド・トゥルース・データが存在してもよい。少なくとも一実施例では、訓練パイプライン３７０４に含まれるＡＩ支援アノテーションに加えて又はその代わりに、導入パイプライン３７１０の一部としてＡＩ支援アノテーションが実行されてもよい。少なくとも一実施例では、システム３７００は多層プラットフォームを含んでもよく、このプラットフォームは、１つ又は複数の医療用撮像及び診断の機能を実行することができる診断アプリケーション（又は他のタイプのアプリケーション）のソフトウェア層（たとえば、ソフトウェア３６１８）を含んでもよい。少なくとも一実施例では、システム３７００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合されてもよい。少なくとも一実施例では、システム３７００は、ＰＡＣＳサーバからのデータ（たとえば、ＤＩＣＯＭデータ、ＲＩＳデータ、生データ、ＣＩＳデータ、ＲＥＳＴ準拠データ、ＲＰＣデータ、生データなど）に（たとえば、ＤＩＣＯＭアダプタ３７０２、又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など別のタイプのデータ・アダプタを介して）アクセスし、それを参照するように構成されて、機械学習モデルの訓練、機械学習モデルの導入、画像処理、推論、及び／又は他の動作などの動作を実行してもよい。
【0512】
少なくとも一実施例では、ソフトウェア層は、セキュアな、暗号化された、且つ／又は認証されたＡＰＩとして実装されてもよく、これを介して、アプリケーション又はコンテナが、外部環境（たとえば、施設３６０２）から呼び出し（たとえばコール）されてもよい。少なくとも一実施例では、次いでアプリケーションは、それぞれのアプリケーションに関連付けられた計算、ＡＩ、又は視覚化のタスクを実行するために１つ又は複数のサービス３６２０をコール又は実行してもよく、ソフトウェア３６１８及び／又はサービス３６２０は、ハードウェア３６２２を利用して、処理タスクを有効且つ効率的なやり方で実行してもよい。
【0513】
少なくとも一実施例では、導入システム３６０６は、導入パイプライン３７１０を実行してもよい。少なくとも一実施例では、導入パイプライン３７１０は任意の数のアプリケーションを含んでもよく、これらは、上に記載のＡＩ支援アノテーションを含め、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のタイプのデータ）に連続的に、非連続的に、又は他のやり方で適用されてもよい。少なくとも一実施例では、本明細書に記載するように、個々のデバイス用の導入パイプライン３７１０は、デバイス用の仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれてもよい。少なくとも一実施例では、デバイスによって生成されるデータに必要な情報に応じて、１つのデバイスにつき２つ以上の導入パイプライン３７１０が存在してもよい。少なくとも一実施例では、異常検出がＭＲＩマシンに必要とされる場合、第１の導入パイプライン３７１０が存在してもよく、画像強調がＭＲＩマシンの出力に必要とされる場合、第２の導入パイプライン３７１０が存在してもよい。
【0514】
少なくとも一実施例では、導入パイプライン３７１０にとって利用可能なアプリケーションは、デバイスからの撮像データ又は他のデータに対して処理タスクを実行するために使用することができる任意のアプリケーションを含んでもよい。少なくとも一実施例では、画像強調、セグメント化、再構築、異常検出、物体検出、特徴検出、処置計画、線量測定、ビーム計画（又は他の放射線処置手順）、及び／又は他の分析、画像処理、又は推論のタスクを、異なるアプリケーションが担当してもよい。少なくとも一実施例では、導入システム３６０６は、それぞれのアプリケーションの構造を定義してもよく、それにより導入システム３６０６のユーザ（たとえば、医療施設、研修所、クリニックなど）は、構造を理解し、自らのそれぞれの施設内で実装できるようにアプリケーションを適応させてもよい。少なくとも一実施例では、導入パイプライン３７１０に含めるために、画像再構築用のアプリケーションが選択されてもよいが、撮像デバイスによって生成されるデータのタイプは、アプリケーション内で使用されるデータのタイプとは異なってもよい。少なくとも一実施例では、ＤＩＣＯＭアダプタ３７０２Ｂ（及び／又はＤＩＣＯＭリーダ）は、又は別のタイプのデータ・アダプタ若しくはリーダ（たとえば、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）が導入パイプライン３７１０内で使用されて、導入システム３６０６内のアプリケーションによって使用可能な形にデータを変換してもよい。少なくとも一実施例では、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生、及び／又は他のタイプのデータ・ライブラリへのアクセスは、データに対する任意の畳み込み、色補正、鮮明度、ガンマ、及び／又は他の拡張を、デコード、抽出、及び／又は実行することを含め、累積され、事前処理されてもよい。少なくとも一実施例では、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、及び／又は生データは、順序なしであってもよく、収集されたデータを整理しソートするために、事前パスが実行されてもよい。少なくとも一実施例では、様々なアプリケーションは共通の画像動作を共有することがあるので、いくつかの実施例では、（たとえば、サービス３６２０の１つとして）データ拡張ライブラリを使用して、これらの動作が加速化されてもよい。少なくとも一実施例では、ＣＰＵ処理に依存する従来の処理手法のボトルネックを回避するために、並列コンピューティング・プラットフォーム３７３０を使用して、これらの処理タスクがＧＰＵ加速化されてもよい。
【0515】
少なくとも一実施例では、画像再構築アプリケーションは、機械学習モデルの使用を含む処理タスクを含んでもよい。少なくとも一実施例では、ユーザは、独自の機械学習モデルを使用すること、又はモデル・レジストリ３６２４から機械学習モデルを選択することを望む場合がある。少なくとも一実施例では、ユーザは、処理タスクを実行するために、独自の機械学習モデルを実装してもよく、又は機械学習モデルを選択してアプリケーションに含めてもよい。少なくとも一実施例では、アプリケーションは選択可能及びカスタマイズ可能であってもよく、アプリケーションの構造を定義することにより、特定のユーザ向けのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも一実施例では、システム３７００の他の特徴、たとえばサービス３６２０及びハードウェア３６２２などを利用することにより、導入パイプライン３７１０は、さらによりユーザ・フレンドリになることができ、より容易な統合を実現でき、より正確で、効率的で、タイムリーな結果を生み出すことができる。
【0516】
少なくとも一実施例では、導入システム３６０６はユーザ・インターフェース３７１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含んでもよく、これらは、アプリケーションを選択して導入パイプライン３７１０に含める、アプリケーションを構成する、アプリケーション又はそのパラメータ若しくは構造を修正又は変更する、セットアップ及び／又は導入中に導入パイプライン３７１０を使用しそれと対話する、且つ／又は他のやり方で導入システム３６０６と対話するために使用されてもよい。少なくとも一実施例では、訓練システム３６０４に関して図示されていないが、ユーザ・インターフェース３７１４（又は異なるユーザ・インターフェース）は、導入システム３６０６で使用するモデルを選択するため、訓練システム３６０４において訓練若しくは再訓練するモデルを選択するため、且つ／又は他のやり方で訓練システム３６０４と対話するために使用されてもよい。
【0517】
少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８に加えてパイプライン・マネージャ３７１２を使用して、導入パイプライン３７１０のアプリケーション又はコンテナと、サービス３６２０及び／又はハードウェア３６２２との間で対話が管理されてもよい。少なくとも一実施例では、パイプライン・マネージャ３７１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス３６２０への対話、及び／又はアプリケーション若しくはサービスからハードウェア３６２２への対話を容易にするように構成されてもよい。少なくとも一実施例では、ソフトウェア３６１８に含まれるように図示してあるが、これは限定を意図しておらず、（たとえば、図３８に示すものなど）いくつかの事例では、パイプライン・マネージャ３７１２は、サービス３６２０に含まれてもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含んでもよく、このシステムは、アプリケーションを、調整、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化することができる。少なくとも一実施例では、導入パイプライン３７１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることより、各アプリケーションは自己完結型環境内（たとえば、カーネル・レベル）で実行して、スピード及び効率を向上させることができる。
【0518】
少なくとも一実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入されてもよく（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入してもよく）、これにより、別のアプリケーション又はコンテナのタスクに邪魔されることなく、１つのアプリケーション及び／又はコンテナのタスクに集中し、注意を払うことが可能になる。少なくとも一実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ３７１２及びアプリケーション・オーケストレーション・システム３７２８によって支援されてもよい。少なくとも一実施例では、各コンテナ又はアプリケーションの予測される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構造に基づき）システムによって知られている限り、アプリケーション・オーケストレーション・システム３７２８及び／又はパイプライン・マネージャ３７１２は、アプリケーション又はコンテナのそれぞれ間の通信、及びそれらの間でのリソースの共有を容易にすることができる。少なくとも一実施例では、導入パイプライン３７１０のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有することができるので、アプリケーション・オーケストレーション・システム３７２８は、様々なアプリケーション間又はコンテナ間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定してもよい。少なくとも一実施例では、スケジューラを使用して、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性が追跡されてもよい。少なくとも一実施例では、こうしてスケジューラは、異なるアプリケーションにリソースを配分し、システムの要件及び利用可能性を考慮してアプリケーション間でリソースを分配してもよい。いくつかの実例では、スケジューラ（及び／又は、シーケンサ及び／又は非同期計算エンジンなどのアプリケーション・オーケストレーション・システム３７２８の他の構成要素）が、サービスの質（ＱｏＳ）、（たとえば、リアルタイム処理を実行するか、遅延処理を実行するかを決定するための）データ出力を必要とする緊急度など、システムに課せられる制約（たとえば、ユーザ制約）に基づき、リソースの利用可能性と分配を決定してもよい。
【0519】
少なくとも一実施例では、導入システム３６０６のアプリケーション又はコンテナによって利用及び共有されるサービス３６２０は、計算サービス３７１６、ＡＩサービス３７１８、視覚化サービス３７２０、及び／又は他のタイプのサービスを含んでもよい。少なくとも一実施例では、アプリケーションは、サービス３６２０のうちの１つ又は複数をコール（たとえば実行）して、アプリケーションのための処理動作を実行してもよい。少なくとも一実施例では、計算サービス３７１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ）のタスクを実行するために、アプリケーションによって利用されてもよい。少なくとも一実施例では、アプリケーションのうちの１つ又は複数を介してデータを実質的に同時に処理するため、且つ／又は１つのアプリケーションの１つ又は複数のタスクを実質的に同時に処理するために、計算サービス３７１６を利用して（たとえば、並列コンピューティング・プラットフォーム３７３０を使用して）並列処理が実行されてもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム３７３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ３７２２）上での汎用コンピューティング（ＧＰＧＰＵ）を可能にしてもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム３７３０のソフトウェア層は、計算カーネルを実行するために仮想命令セット及びＧＰＵの並列計算要素へのアクセスを提供してもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム３７３０はメモリを含んでもよく、いくつかの実施例では、メモリは、複数のコンテナ間で、且つ／又は１つのコンテナ内の異なる処理タスク間で共有されてもよい。少なくとも一実施例では、複数のコンテナ、及び／又はコンテナ内の複数のプロセスが、並列コンピューティング・プラットフォーム３７３０のメモリの共有セグメントからの同じデータを使用するために（たとえば、アプリケーションの複数の異なるステージ、又は複数のアプリケーションが、同じ情報を処理する場合）、プロセス間通信（ＩＰＣ）コールが生成されてもよい。少なくとも一実施例では、データのコピーを作成し、データをメモリの異なるロケーションに移動（たとえば、読取り／書込みの動作）させるのではなく、メモリの同じロケーションの同じデータが、任意の数の処理タスクに（たとえば、同じ時間、異なる時間などに）使用されてもよい。少なくとも一実施例では、データが使用されて、処理の結果として新規データが生成されるとき、データの新規ロケーションのこの情報は、様々なアプリケーションに記憶され、それらの間で共有されてもよい。少なくとも一実施例では、データのロケーション及び更新済み又は修正済みのデータのロケーションは、コンテナ内でペイロードがどのように理解されるかという定義の一部であってもよい。
【0520】
少なくとも一実施例では、ＡＩサービス３７１８は、アプリケーションに関連付けられた（たとえば、アプリケーションの１つ又は複数の処理タスクを実行する役割を課された）機械学習モデルを実行するための推論サービスを実行するために利用されてもよい少なくとも一実施例では、ＡＩサービス３７１８は、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行するために、ＡＩシステム３７２４を利用してもよい。少なくとも一実施例では、導入パイプライン３７１０のアプリケーションは、訓練システム３６０４からの出力モデル３６１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データ（たとえば、ＤＩＣＯＭデータ、ＲＩＳデータ、ＣＩＳデータ、ＲＥＳＴ準拠データ、ＲＰＣデータ、生データなど）について推論を実行してもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８（たとえば、スケジューラ、シーケンサ、及び／又は非同期計算エンジン）を使用する推論の２つ以上の実例が利用可能である。少なくとも一実施例では、第１のカテゴリは、緊急時の緊急要求について推論を実行するため、又は診断時の放射線医のためなど、より高いサービス・レベル合意を達成できる高優先順位／低レイテンシの経路を含むことができる。少なくとも一実施例では、第２のカテゴリは、緊急ではない要求のため、又は分析が後で実行されてもよい場合に使用することができる標準優先順位の経路を含んでもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム３７２８は、ＡＩサービス３７１８の異なる推論タスク向けの優先順位経路に基づき、リソース（たとえば、サービス３６２０及び／又はハードウェア３６２２）を分配してもよい。
【0521】
少なくとも一実施例では、共有ストレージが、システム３７００内でＡＩサービス３７１８に取り付けられてもよい。少なくとも一実施例では、共有ストレージは、キャッシュ（又は他のタイプのストレージ・デバイス）として動作してもよく、アプリケーションからの推論要求を処理するために使用されてもよい。少なくとも一実施例では、推論要求が送出されたとき、要求は、導入システム３６０６のＡＰＩインスタンスのセットによって受信されてもよく、１つ又は複数のインスタンスが（たとえば、最良な適合のため、ロード・バランシングのためなどに）選択されて、要求が処理されてもよい。少なくとも一実施例では、要求を処理するために、要求がデータベースに入れられてもよく、機械学習モデルは、まだキャッシュにない場合には、モデル・レジストリ３６２４から特定されてもよく、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）に確実にロードされるようにしてもよく、且つ／又はモデルのコピーがキャッシュに保存されてもよい。少なくとも一実施例では、アプリケーションがまだ実行されていない場合、又はアプリケーションの充分なインスタンスが存在しない場合には、スケジューラ（たとえば、パイプライン・マネージャ３７１２）を使用して、要求において参照されたアプリケーションが起動されてもよい。少なくとも一実施例では、モデルを実行するための推論サーバがまだ起動されていない場合には、推論サーバが起動されてもよい。少なくとも一実施例では、任意の数の推論サーバがモデルごとに起動されてもよい。少なくとも一実施例では、推論サーバがクラスタ化済みであるプル・モデルでは、ロード・バランシングが有利な場合にはいつでもモデルがキャッシュされてもよい。少なくとも一実施例では、推論サーバは、対応する分散サーバに静的にロードされてもよい。
【0522】
少なくとも一実施例では、推論は、コンテナ内で実行される推論サーバを使用して実行されてもよい。少なくとも一実施例では、推論サーバのインスタンスは、モデルに（任意選択でモデルの複数のバージョンに）関連付けられてもよい。少なくとも一実施例では、モデルに対して推論を実行する要求が受信されたとき、推論サーバのインスタンスが存在しない場合には、新規のインスタンスがロードされてもよい。少なくとも一実施例では、推論サーバをスタートするとき、モデルが推論サーバに渡されてもよく、それにより、推論サーバが異なるインスタンスとして実行されている限り、同じコンテナを使用して異なるモデルにサービス提供されてもよい。
【0523】
少なくとも一実施例では、アプリケーションの実行中、所与のアプリケーションについて推論要求が受信されてもよく、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていなければ）ロードされてもよく、開始プロシージャがコールされてもよい。少なくとも一実施例では、コンテナの事前処理論理が、（たとえばＣＰＵ及び／又はＧＰＵを使用して）入力データに対する任意の追加的な事前処理をロード、デコード、及び／又は実行してもよい。少なくとも一実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに推論を実行してもよい。少なくとも一実施例では、これは１つの画像（たとえば手のＸ線）に対する単一の推論コールを含んでもよく、又は何百もの画像（たとえば胸のＣＴ）について推論を要求してもよい。少なくとも一実施例では、アプリケーションは、完了前に結果を要約してもよく、これは限定することなく、単一の信頼性スコア、ピクセル・レベルのセグメント化、ボクセル・レベルのセグメント化、視覚化の生成、又は所見を要約するためのテキストの生成を含んでもよい。少なくとも一実施例では、異なるモデル又はアプリケーションには、異なる優先順位が割り当てられてもよい。たとえば、リアルタイム（ＴＡＴ１分未満）の優先順位を有するモデルもあれば、低優先順位（たとえば、ＴＡＴ１０分未満）を有するモデルもある。少なくとも一実施例では、モデル実行時間は、要求元の施設又はエンティティから測定されてもよく、推論サービスに対する実行に加えてパートナ・ネットワーク横断時間を含んでもよい。
【0524】
少なくとも一実施例では、サービス３６２０と推論アプリケーションの間での要求の移行は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠されてもよく、キューを通して頑健な移送が提供されてもよい。少なくとも一実施例では、個々のアプリケーション／テナントＩＤの組合せを求めて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも一実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供されてもよい。少なくとも一実施例では、キューを介した非同期の通信は、その通信が利用可能になったときに、その通信によって、アプリケーションの任意のインスタンスがワークをピックアップできるようになるので、有用な場合がある。少なくとも一実施例では、結果はキューを介して返送されて、データが失われないようにしてもよい。少なくとも一実施例では、最高優先順位のワークは、アプリケーションのほとんどのインスタンスがキューに接続された状態のキューに進むことができ、一方で最低優先順位のワークは、１つのインスタンスがキューに接続された状態の、受信した順番にタスクを処理するキューに進むことができるので、キューは、ワークをセグメント化する機能も提供することができる。少なくとも一実施例では、アプリケーションは、クラウド３７２６に生成されたＧＰＵ加速インスタンス上で実行されてもよく、推論サービスは、ＧＰＵ上で推論を実行してもよい。
【0525】
少なくとも一実施例では、視覚化サービス３７２０を利用して、アプリケーション及び／又は導入パイプライン３７１０の出力を見るための視覚化が生成されてもよい。少なくとも一実施例では、視覚化を生成するために、視覚化サービス３７２０によってＧＰＵ３７２２が利用されてもよい。少なくとも一実施例では、レイ・トレーシングなどのレンダリング効果が、視覚化サービス３７２０によって実装されて、より高品質の視覚化が生成されてもよい。少なくとも一実施例では、視覚化は、２Ｄ画像のレンダリング、３Ｄボリュームのレンダリング、３Ｄボリュームの再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを、限定することなく含んでもよい。少なくとも一実施例では、仮想化された環境を使用して、システムのユーザが対話するための仮想のインタラクティブ表示又はインタラクティブ環境（たとえば、仮想環境）が生成されてもよい。少なくとも一実施例では、視覚化サービス３７２０は、内部ビジュアライザ、シネマティクス、及び／又は他のレンダリング若しくは画像処理の能力若しくは機能（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含んでもよい。
【0526】
少なくとも一実施例では、ハードウェア３６２２は、ＧＰＵ３７２２、ＡＩシステム３７２４、クラウド３７２６、並びに／又は訓練システム３６０４及び／若しくは導入システム３６０６を実行するために使用される任意の他のハードウェアを含んでもよい。少なくとも一実施例では、ＧＰＵ３７２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯのＧＰＵ）は、任意の数のＧＰＵを含んでもよく、これらは、計算サービス３７１６、ＡＩサービス３７１８、視覚化サービス３７２０、他のサービス、及び／又はソフトウェア３６１８の任意の特徴若しくは機能の処理タスクを実行するために使用されてもよい。たとえば、ＡＩサービス３７１８に関して、ＧＰＵ３７２２を使用して、撮像データ（又は機械学習モデルによって使用される他のタイプのデータ）に対して事前処理が実行されてもよく、機械学習モデルの出力に対して事後処理が実行されてもよく、且つ／又は推論が実行されてもよい（たとえば、機械学習モデルが実行されてもよい）。少なくとも一実施例では、クラウド３７２６、ＡＩシステム３７２４、及び／又はシステム３７００の他の構成要素は、ＧＰＵ３７２２を使用してもよい。少なくとも一実施例では、クラウド３７２６は、深層学習タスクのためにＧＰＵ最適化されたプラットフォームを含んでもよい。少なくとも一実施例では、ＡＩシステム３７２４は、ＧＰＵを使用してもよく、クラウド３７２６、又は深層学習若しくは推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム３７２４を使用して実行されてもよい。したがって、ハードウェア３６２２は、個別構成要素として示されているが、これは限定を意図したものではなく、ハードウェア３６２２の任意の構成要素が、ハードウェア３６２２の任意の他の構成要素と組み合わされてもよく、それらによって利用されてもよい。
【0527】
少なくとも一実施例では、ＡＩシステム３７２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスク向けに構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含んでもよい。少なくとも一実施例では、ＡＩシステム３７２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化されたソフトウェア（たとえば、ソフトウェア・スタック）を含んでもよく、これは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、若しくは機能に加えて、複数のＧＰＵ３７２２を使用して実行されてもよい。少なくとも一実施例では、１つ又は複数のＡＩシステム３７２４は、システム３７００の一部又はすべてのＡＩベースの処理タスクを実行するために、（たとえば、データセンタにおいて）クラウド３７２６に実装されてもよい。
【0528】
少なくとも一実施例では、クラウド３７２６は、ＧＰＵ加速化インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含んでもよく、これは、システム３７００の処理タスクを実行するためのＧＰＵ最適化されたプラットフォームを提供してもよい。少なくとも一実施例では、クラウド３７２６は、システム３７００のＡＩベースのタスクのうちの１つ又は複数を実行するためのＡＩシステム３７２４を（たとえば、ハードウェア抽象化及びスケーリングのプラットフォームとして）含んでもよい。少なくとも一実施例では、クラウド３７２６は、複数のＧＰＵを利用してアプリケーション・オーケストレーション・システム３７２８と統合されて、アプリケーションとサービス３６２０の間でシームレスなスケーリング及びロード・バランシングを可能にしてもよい。少なくとも一実施例では、クラウド３７２６は、本明細書に記載する計算サービス３７１６、ＡＩサービス３７１８、及び／又は視覚化サービス３７２０を含むシステム３７００のサービス３６２０の少なくとも一部を実行する役割を課されてもよい。少なくとも一実施例では、クラウド３７２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのテンソルＲＴの実行）を実行してもよく、加速化された並列コンピューティングのＡＰＩ及びプラットフォーム３７３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供してもよく、アプリケーション・オーケストレーション・システム３７２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行してもよく、グラフィックス・レンダリングのＡＰＩ及びプラットフォーム（たとえば、高品質のシネマティクスを生成するためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法）を提供してもよく、且つ／又はシステム３７００のための他の機能を提供してもよい。
【0529】
少なくとも一実施例では、患者の機密性を保護するために（たとえば、患者のデータ又は記録が構外で使用されることになる場合）、クラウド３７２６は、深層学習コンテナ・レジストリなどのレジストリを含んでもよい。少なくとも一実施例では、レジストリは、患者データに対する事前処理、事後処理、又は他の処理タスクを実行できるアプリケーションのインスタンス化のためのコンテナを記憶してもよい。少なくとも一実施例では、クラウド３７２６は、患者データ並びにセンサ・データをコンテナに含むデータを受信してもよく、これらのコンテナにおいてセンサ・データについてのみ要求された処理を実行してもよく、次いで、いずれも患者データを抽出、記憶、又は他のやり方でそれにアクセスする必要なしに、結果の出力及び／又は視覚化を適切なパーティ及び／又はデバイス（たとえば、視覚化又は診断に使用される構内の医療デバイス）に転送してもよい。少なくとも一実施例では、患者データの機密性は、ＨＩＰＡＡ及び／又は他のデータ規定に準拠して保護される。
【0530】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0531】
図３８は、少なくとも一実施例による、撮像データを処理するための導入パイプライン３７１０Ａの実例の図を含む。少なくとも一実施例では、システム３７００、具体的には導入システム３６０６は、導入パイプライン３７１０Ａをカスタマイズ、更新、及び／又は統合して１つ若しくは複数の生成環境にするために使用されてもよい。少なくとも一実施例では、図３８の導入パイプライン３７１０Ａは、施設（たとえば、病院、クリニック、研究所、リサーチ環境など）において特定のユーザ（又はユーザのチーム）によってカスタム定義できる導入パイプライン３７１０Ａの非限定的な実例を含む。少なくとも一実施例では、ＣＴスキャナ３８０２用に導入パイプライン３７１０Ａを定義するために、ユーザは、ＣＴスキャナ３８０２によって生成される撮像データに対して特定の機能又はタスクを実行する１つ又は複数のアプリケーションを、たとえばコンテナ・レジストリから選択してもよい。少なくとも一実施例では、アプリケーションは、システム３７００のサービス３６２０及び／又はハードウェア３６２２を利用できるコンテナとして、導入パイプライン３７１０Ａに適用されてもよい。さらに、導入パイプライン３７１０Ａは、アプリケーションによって使用されるデータを準備するように実装することができる追加の処理タスク又はアプリケーションを含んでもよい（たとえば、ＤＩＣＯＭアダプタ３７０２Ｂ及びＤＩＣＯＭリーダ３８０６が、導入パイプライン３７１０Ａにおいて使用されて、ＣＴ再構築３８０８、器官セグメント化３８１０などによって使用されるデータを準備してもよい）。少なくとも一実施例では、導入パイプライン３７１０Ａは、一貫性のある導入、１回限りの使用、又は別の頻度若しくは間隔に合わせてカスタマイズ又は選択されてもよい。少なくとも一実施例では、ユーザは、特定の間隔で何人かの対象者について、ＣＴ再構築３８０８及び器官セグメント化３８１０を行いたいと思うことがあり、したがって、その期間にわたってパイプライン３７１０Ａを導入してもよい。少なくとも一実施例では、ユーザはシステム３７００からの要求ごとに、その要求のためにそのデータに対してユーザが実行したい処理のアプリケーションを選択してもよい。少なくとも一実施例では、導入パイプライン３７１０Ａは、任意の間隔で調節されてもよく、システム３７００内のコンテナ構造は適応性及びスケーラビリティがあるので、これはシームレスなプロセスとすることができる。
【0532】
少なくとも一実施例では、図３８の導入パイプライン３７１０Ａは、患者又は対象者の撮像データを生成するＣＴスキャナ３８０２を含んでもよい。少なくとも一実施例では、ＣＴスキャナ３８０２からの撮像データは、ＣＴスキャナ３８０２を収容する施設に関連付けられたＰＡＣＳサーバ３８０４に記憶されてもよい。少なくとも一実施例では、ＰＡＣＳサーバ３８０４は、ソフトウェア及び／又はハードウェアの構成要素を含んでもよく、これらは施設において撮像モダリティ（たとえば、ＣＴスキャナ３８０２）と直接インターフェースをとってもよい。少なくとも一実施例では、ＤＩＣＯＭアダプタ３７０２Ｂは、ＤＩＣＯＭプロトコルを使用してＤＩＣＯＭ物体の送信及び受信を可能にしてもよい。少なくとも一実施例では、ＤＩＣＯＭアダプタ３７０２Ｂは、導入パイプライン３７１０Ａによって使用するために、ＰＡＣＳサーバ３８０４からのＤＩＣＯＭデータの準備又は構成を支援してもよい。少なくとも一実施例では、ＤＩＣＯＭデータがＤＩＣＯＭアダプタ３７０２Ｂを介して処理されると、パイプライン・マネージャ３７１２は、導入パイプライン３７１０Ａを通るようにデータをルーティングしてもよい。少なくとも一実施例では、ＤＩＣＯＭリーダ３８０６は、画像ファイル及び関連する任意のメタデータをＤＩＣＯＭデータ（たとえば、視覚化３８１６Ａに示す生のシノグラム・データ）から抽出してもよい。少なくとも一実施例では、抽出された作業ファイルは、導入パイプライン３７１０Ａの他のアプリケーションによってより高速に処理できるようにキャッシュに記憶されてもよい。少なくとも一実施例では、ＤＩＣＯＭリーダ３８０６がデータの抽出及び／又は記憶を終了したら、完了信号がパイプライン・マネージャ３７１２に通信されてもよい。少なくとも一実施例では、次いでパイプライン・マネージャ３７１２は、導入パイプライン３７１０Ａ内の１つ又は複数の他のアプリケーション若しくはコンテナを開始してもよく、又はそれをコールしてもよい。
【0533】
少なくとも一実施例では、ＣＴ再構築３８０８のアプリケーションによる処理のためにデータ（たとえば、生のシノグラム・データ）が利用可能になると、ＣＴ再構築３８０８のアプリケーション及び／又はコンテナが実行されてもよい。少なくとも一実施例では、ＣＴ再構築３８０８は、生のシノグラム・データをキャッシュから読み取り、生のシノグラム・データから（たとえば、視覚化３８１６Ｂに示す）画像ファイルを再構築し、結果として生じる画像ファイルをキャッシュに記憶してもよい。少なくとも一実施例では、再構築の完了時、パイプライン・マネージャ３７１２は、再構築タスクが完了したことを通知されてもよい。少なくとも一実施例では、再構築が完了し、再構築された画像ファイルがキャッシュ（又は他のストレージ・デバイス）に記憶されると、器官セグメント化３８１０のアプリケーション及び／又はコンテナが、パイプライン・マネージャ３７１２によってトリガされてもよい。少なくとも一実施例では、器官セグメント化３８１０のアプリケーション及び／又はコンテナは、キャッシュから画像ファイルを読み取り、画像ファイルを推論に適したフォーマットに正規化又は変換し（たとえば、画像ファイルを機械学習モデルの入力解像度に変換し）、正規化された画像に対して推論を実行してもよい。少なくとも一実施例では、正規化された画像に対して推論を実行するために、器官セグメント化３８１０のアプリケーション及び／又はコンテナは、サービス３６２０に依存してもよく、パイプライン・マネージャ３７１２及び／又はアプリケーション・オーケストレーション・システム３７２８は、器官セグメント化３８１０のアプリケーション及び／又はコンテナによるサービス３６２０の使用を容易にしてもよい。少なくとも一実施例では、たとえば器官セグメント化３８１０のアプリケーション及び／又はコンテナは、ＡＩサービス３７１８を利用して正規化画像に対して推論を実行してもよく、ＡＩサービス３７１８はハードウェア３６２２（たとえば、ＡＩシステム３７２４）を利用してＡＩサービス３７１８を実行してもよい。少なくとも一実施例では、推論の結果は（たとえば、視覚化３８１６Ｃに示す）マスク・ファイルであってもよく、このファイルはキャッシュ（又は他のストレージ・デバイス）に記憶されてもよい。
【0534】
少なくとも一実施例では、ＤＩＣＯＭデータ及び／又はＤＩＣＯＭデータから抽出されたデータを処理するアプリケーションが処理を完了したら、パイプライン・マネージャ３７１２向けに信号が生成されてもよい。少なくとも一実施例では、次いでパイプライン・マネージャ３７１２は、ＤＩＣＯＭライタ３８１２を実行してキャッシュ（又は他のストレージ・デバイス）から結果を読み取り、要求を生成した施設のユーザによる使用のため、結果をＤＩＣＯＭフォーマットに（たとえば、ＤＩＣＯＭ出力３８１４として）パッケージ化してもよい。少なくとも一実施例では、次いでＤＩＣＯＭ出力３８１４は、ＤＩＣＯＭアダプタ３７０２Ｂに送信されて、（たとえば、施設のＤＩＣＯＭビューワによる視聴のために）ＰＡＣＳサーバ３８０４に記憶するようにＤＩＣＯＭ出力３８１４が準備されてもよい。少なくとも一実施例では、再構築及びセグメント化の要求に応答して、視覚化３８１６Ｂ及び３８１６Ｃが生成され、診断、リサーチ、及び／又は他の目的のためにユーザにとって利用可能にされてもよい。
【0535】
導入パイプライン３７１０Ａでは連続したアプリケーションとして示されているが、ＣＴ再構築３８０８及び器官セグメント化３８１０のアプリケーションは、少なくとも一実施例において並列で処理されてもよい。少なくとも一実施例では、アプリケーションが互いに依存性を有しておらず、（たとえば、ＤＩＣＯＭリーダ３８０６がデータを抽出した後に）アプリケーションごとにデータが利用可能である場合、アプリケーションは同時に、実質的に同時に、又は一部が重なって実行されてもよい。少なくとも一実施例では、２つ以上のアプリケーションが同様のサービス３６２０を要求する場合、システム３７００のスケジューラを使用して、様々なアプリケーション間で計算又は処理のリソースのロード・バランシングが行われ、それらを分散させてもよい。少なくとも一実施例では、いくつかの実施例において、導入パイプライン３７１０Ａのランタイムを短縮してリアルタイムの結果を提供するために、並列コンピューティング・プラットフォーム３７３０を使用してアプリケーションのための並列処理が実行されてもよい。
【0536】
少なくとも一実施例では、図３９Ａ～図３９Ｂを参照すると、導入システム３６０６は、画像処理、セグメント化、強調、ＡＩ、視覚化、及び推論などの異なる機能を、撮像デバイス（たとえば、ＣＴスキャナ、Ｘ線機械、ＭＲＩ機械など）、シーケンシング・デバイス、ゲノミクス・デバイス、及び／又は他のタイプのデバイスを用いて実行するための１つ又は複数の仮想機器として実装されてもよい。少なくとも一実施例では、システム３７００は、ソフトウェア定義された導入パイプライン３７１０を含むことができる仮想機器の生成及び提供を可能にしてもよく、この導入パイプライン３７１０は、デバイスによって生成された生／未処理の入力データを受信し、処理済み／再構築済みのデータを出力してもよい。少なくとも一実施例では、仮想機器を表す導入パイプライン３７１０（たとえば、３７１０Ａ及び３７１０Ｂ）は、機械学習モデルを利用することなどにより、知能をパイプラインに実装して、コンテナ化された推論サポートをシステムに提供してもよい。少なくとも一実施例では、仮想機器は、アプリケーションのインスタンスをそれぞれが含む任意の数のコンテナを実行してもよい。少なくとも一実施例では、リアルタイムの処理が望ましい場合などでは、仮想機器を表す導入パイプライン３７１０は静的であってもよく（たとえば、コンテナ及び／又はアプリケーションが設定されていてもよく）、一方他の実例では、仮想機器用のコンテナ及び／又はアプリケーションが、アプリケーション又はリソースのプール（たとえばコンテナ・レジストリ内）から（たとえば要求ごとに）選択されてもよい。
【0537】
少なくとも一実施例では、システム３７００は、たとえば施設の放射線機械、撮像デバイス、及び／又は別のタイプのデバイスに隣接して導入された、又は他のやり方でそれらと通信するコンピューティング・システムにおいて、施設構内の１つ又は複数の仮想機器としてインスタンス化されてもよく、又は実行されてもよい。しかし少なくとも一実施例では、構内でのインストールは、デバイス自体（たとえば、撮像デバイスに統合されたコンピューティング・システム）内で、ローカルなデータセンタ（たとえば、構内のデータセンタ）で、及び／又はクラウド環境（たとえば、クラウド３７２６）でインスタンス化又は実行されてもよい。少なくとも一実施例では、仮想機器として動作する導入システム３６０６は、いくつかの実例においてスーパーコンピュータ又は他のＨＰＣシステムによってインスタンス化されてもよい。少なくとも一実施例では、構内でのインストールにより、リアルタイムの処理のために（たとえば、イーサネット（登録商標）を介したＲＦなど、高スループットのローカル通信インターフェースを介した）広帯域の使用が可能になる。少なくとも一実施例では、リアルタイム又はほぼリアルタイムの処理は、正確な診断及び分析のために即時の視覚化が期待され必要とされる超音波デバイス又は他の撮像モダリティを仮想機器がサポートする場合に、特に有用なことがある。少なくとも一実施例では、ローカルな要求が構内の容量又は能力を超過するとき、クラウド・コンピューティング・アーキテクチャは、クラウド・コンピューティングのサービス・プロバイダ又は他の計算クラスタに対する動的バーストを実行することができる。少なくとも一実施例では、クラウド・アーキテクチャは、実装されると、訓練システム３６０４に関して本明細書に記載のニューラル・ネットワーク又は他の機械学習モデルを訓練するように調整されてもよい。少なくとも一実施例では、訓練パイプラインが定位置にあるとき、機械学習モデルは、それがサポートするデバイスからの追加データを処理するとき、継続的に学習及び改善されてもよい。少なくとも一実施例では、仮想機器は、追加データ、新規データ、既存の機械学習モデル、及び／又は新規若しくは更新済みの機械学習モデルを使用して、継続的に改善されてもよい。
【0538】
少なくとも一実施例では、コンピューティング・システムは、本明細書に記載のハードウェア３６２２の一部又はすべてを含んでもよく、ハードウェア３６２２は、デバイス内、デバイスに結合され近位に位置するコンピューティング・デバイスの一部として、施設のローカル・データセンタ内、及び／又はクラウド３７２６内を含む複数のやり方のうちの任意のやり方で分散されてもよい。少なくとも一実施例では、導入システム３６０６及び関連付けられたアプリケーション又はコンテナは、ソフトウェアに（たとえば、アプリケーションの個別のコンテナ化インスタンスとして）生成されるので、仮想機器の挙動、動作、及び構成、並びに仮想機器によって生成される出力は、仮想機器がサポートするデバイスの生の出力を変える又は変更する必要なしに、望み通りに修正又はカスタマイズされることが可能である。
【0539】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0540】
図３９Ａは、少なくとも一実施例による、超音波デバイスをサポートする仮想器具の実例データ・フロー図を含む。少なくとも一実施例では、導入パイプライン３７１０Ｂは、システム３７００のサービス３６２０のうちの１つ又は複数を利用してもよい。少なくとも一実施例では、導入パイプライン３７１０Ｂ及びサービス３６２０は、ローカルかクラウド３７２６のいずれかにおいて、システムのハードウェア３６２２を利用してもよい。少なくとも一実施例では、図示していないが、プロセス３９００は、パイプライン・マネージャ３７１２、アプリケーション・オーケストレーション・システム３７２８、及び／又は並列コンピューティング・プラットフォーム３７３０によって促進されてもよい。
【0541】
少なくとも一実施例では、プロセス３９００は、超音波デバイス３９０２から撮像データを受信することを含んでもよい。少なくとも一実施例では、撮像データは、ＤＩＣＯＭフォーマット（又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生などの他のフォーマット）でＰＡＣＳサーバに記憶されてもよく、超音波デバイス３９０２用の仮想機器（たとえば仮想超音波）として選択又はカスタマイズされた導入パイプライン３７１０を通して処理するために、システム３７００によって受信されてもよい。少なくとも一実施例では、撮像データは、撮像デバイス（たとえば、超音波デバイス３９０２）から直接受信されてもよく、仮想機器によって処理されてもよい。少なくとも一実施例では、撮像デバイスと仮想機器の間に通信可能に結合されたトランスデューサ又は他の信号変換器は、撮像デバイスによって生成された信号データを、仮想機器によって処理することができる画像データに変換してもよい。少なくとも一実施例では、生データ及び／又は画像データは、導入パイプライン３７１０Ｂのアプリケーション又はコンテナによって使用されるデータを抽出するために、ＤＩＣＯＭリーダ３８０６に適用されてもよい。少なくとも一実施例では、ＤＩＣＯＭリーダ３８０６は、アプリケーション又はコンテナによって使用されるデータを抽出、リサイズ、リスケーリング、及び／又は他のやり方で準備するためのサービス３６２０として（たとえば、計算サービス３７１６のうちの１つとして）、データ拡張ライブラリ３９１４（たとえば、ＮＶＩＤＩＡのＤＡＬＩ（登録商標））を利用してもよい。
【0542】
少なくとも一実施例では、データが準備されると、再構築３９０６のアプリケーション及び／又はコンテナが実行されて、超音波デバイス３９０２からのデータが画像ファイルに再構築されてもよい。少なくとも一実施例では、再構築３９０６の後、又は再構築３９０６と同時に、検出３９０８のアプリケーション及び／又はコンテナが、異常検出、物体検出、特徴検出、及び／又はデータに関する他の検出タスクのために実行されてもよい。少なくとも一実施例では、再構築３９０６中に生成された画像ファイルは、検出３９０８中に使用されて、異常、物体、特徴などが識別されてもよい。少なくとも一実施例では、検出３９０８のアプリケーションは、推論エンジン３９１６を（たとえば、ＡＩサービス３７１８のうちの１つとして）利用して、データについて推論を実行して検出を生成してもよい。少なくとも一実施例では、（たとえば、訓練システム３６０４からの）１つ又は複数の機械学習モデルは、検出３９０８のアプリケーションによって実行又はコールされてもよい。
【0543】
少なくとも一実施例では、再構築３９０６及び／又は検出３９０８が完了すると、これらのアプリケーション及び／又はコンテナからのデータ出力を使用して、ワークステーション又はディスプレイ端末に表示される視覚化３９１２（たとえば、グレースケール出力）などの視覚化３９１０が生成されてもよい。少なくとも一実施例では、視覚化により、超音波デバイス３９０２に対する導入パイプライン３７１０Ｂの結果を、技術者又は他のユーザが視覚化できるようになる。少なくとも一実施例では、視覚化３９１０は、システム３７００のレンダリング構成要素３９１８（たとえば、視覚化サービス３７２０のうちの１つ）を利用することによって、実行されてもよい。少なくとも一実施例では、レンダリング構成要素３９１８は、２Ｄ、ＯｐｅｎＧＬ、又はレイ・トレーシングのサービスを実行して、視覚化３９１２を生成してもよい。
【0544】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0545】
図３９Ｂは、少なくとも一実施例による、ＣＴスキャナをサポートする仮想器具の実例データ・フロー図を含む。少なくとも一実施例では、導入パイプライン３７１０Ｃは、システム３７００のサービス３６２０のうちの１つ又は複数を利用してもよい。少なくとも一実施例では、導入パイプライン３７１０Ｃ及びサービス３６２０は、ローカルかクラウド３７２６のいずれかにおいて、システムのハードウェア３６２２を利用してもよい。少なくとも一実施例では、図示していないが、プロセス３９２０は、パイプライン・マネージャ３７１２、アプリケーション・オーケストレーション・システム３７２８、及び／又は並列コンピューティング・プラットフォーム３７３０によって促進されてもよい。
【0546】
少なくとも一実施例では、プロセス３９２０は、生データを生成するＣＴスキャナ３９２２を含んでもよく、この生データは、ＤＩＣＯＭリーダ３８０６によって（たとえば、直接、ＰＡＣＳサーバ３８０４を介して、処理後になど）受信されてもよい。少なくとも一実施例では、（導入パイプライン３７１０Ｃによってインスタンス化された）仮想ＣＴは、患者を監視するため（たとえば、患者動き検出ＡＩ３９２６）且つ／又はＣＴスキャナ３９２２の露出を（たとえば、露出制御ＡＩ３９２４を使用して）調節又は最適化するための、第１のリアルタイム・パイプラインを含んでもよい。少なくとも一実施例では、アプリケーションのうちの１つ又は複数（たとえば、３９２４及び３９２６）は、ＡＩサービス３７１８などのサービス３６２０を利用してもよい。少なくとも一実施例では、露出制御ＡＩ３９２４のアプリケーション（又はコンテナ）及び／又は患者動き検出ＡＩ３９２６のアプリケーション（コンテナ）の出力は、ＣＴスキャナ３９２２及び／又は技術者に対するフィードバックとして使用されて、露出（又はＣＴスキャナ３９２２の他の設定）が調節されてもよく、且つ／又は患者にあまり動かないように伝えられてもよい。
【0547】
少なくとも一実施例では、導入パイプライン３７１０Ｃは、ＣＴスキャナ３９２２によって生成されるデータを分析するための非リアルタイム・パイプラインを含んでもよい。少なくとも一実施例では、第２のパイプラインは、ＣＴ再構築３８０８のアプリケーション及び／又はコンテナ、粗検出ＡＩ３９２８のアプリケーション及び／又はコンテナ、（たとえば、粗検出ＡＩ３９２８によってある特定の結果が検出された場合の）精検出ＡＩ３９３２のアプリケーション及び／又はコンテナ、視覚化３９３０のアプリケーション及び／又はコンテナ、及びＤＩＣＯＭライタ３８１２（及び／又はＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など他のデータ・タイプライタ）のアプリケーション及び／又はコンテナを含んでもよい。少なくとも一実施例では、ＣＴスキャナ３９２２によって生成された生データは、（仮想ＣＴ機器としてインスタンス化された）導入パイプライン３７１０Ｃのパイプラインに通されて、結果が生成されてもよい。少なくとも一実施例では、ＤＩＣＯＭライタ３８１２からの結果は、表示のために送信されてもよく、且つ／又は技術者、開業医、若しくは他のユーザによって後で検索、分析、又は表示できるようにＰＡＣＳサーバ３８０４に記憶されてもよい。
【0548】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0549】
図４０Ａは、少なくとも一実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス４０００のデータ・フロー図を示す。少なくとも一実施例では、プロセス４０００は、図３７のシステム３７００を非限定的な実例として使用して、実行されてもよい。少なくとも一実施例では、プロセス４０００は、本明細書に記載のシステム３７００のサービス３６２０及び／又はハードウェア３６２２を利用してもよい。少なくとも一実施例では、プロセス４０００によって生成される精緻化モデル４０１２は、導入パイプライン３７１０内の１つ又は複数のコンテナ化アプリケーションのために、導入システム３６０６によって実行されてもよい。
【0550】
少なくとも一実施例では、モデル訓練３６１４は、新規訓練データ（たとえば、顧客データセット４００６、及び／又は入力データに関連付けられた新規グラウンド・トゥルース・データなどの新規入力データ）を使用して、初期モデル４００４（たとえば、事前訓練済みモデル）を再訓練又は更新することを含んでもよい。少なくとも一実施例では、初期モデル４００４を再訓練又は更新するために、初期モデル４００４の出力又は損失層がリセットされてもよく、削除されてもよく、且つ／又は更新済み若しくは新規の出力若しくは損失層と置換されてもよい。少なくとも一実施例では、初期モデル４００４は、以前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有してもよく、それにより、訓練又は再訓練３６１４は、最初からモデルを訓練するほど長い時間がかからず、又は多くの処理を必要としなくても済む。少なくとも一実施例では、モデル訓練３６１４の間に、初期モデル４００４のリセット又は置換された出力又は損失層を有することにより、パラメータは、新規の顧客データセット４００６（たとえば、図３６の画像データ３６０８）について予測を生成する際の出力又は損失層の精度に関連付けられた損失計算に基づき、新規データセットのために更新又は再調整されてもよい。
【0551】
少なくとも一実施例では、事前訓練済みモデル３７０６は、データ・ストア又はレジストリ（たとえば、図３６のモデル・レジストリ３６２４）に記憶されてもよい。少なくとも一実施例では、事前訓練済みモデル３７０６は、少なくとも部分的に、プロセス４０００を実行する施設とは異なる１つ又は複数の施設において訓練済みであってもよい。少なくとも一実施例では、異なる施設の患者、対象者、顧客のプライバシー及び権利を保護するために、事前訓練済みモデル３７０６は、構内で生成された顧客又は患者のデータを使用して、構内で訓練されたものであってもよい。少なくとも一実施例では、事前訓練済みモデル３７０６は、クラウド３７２６及び／又は他のハードウェア３６２２を使用して訓練されてもよいが、プライバシー保護された機密の患者データは、クラウド３７２６（又は他の構外のハードウェア）の任意の構成要素に転送できず、それらの構成要素によって使用されず、又はアクセス不可能であってもよい。少なくとも一実施例では、事前訓練済みモデル３７０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練済みモデル３７０６は、各施設について個々に訓練されてから、別の施設からの患者若しくは顧客のデータについて訓練されてもよい。少なくとも一実施例では、顧客又は患者のデータが（たとえば、実験での使用を目的とした権利放棄などによって）プライバシー問題から解放されている場合、又は顧客若しくは患者のデータがパブリック・データセットに含まれる場合などには、任意の数の施設からの顧客又は患者のデータを使用して、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練済みモデル３７０６が訓練されてもよい。
【0552】
少なくとも一実施例では、導入パイプライン３７１０で使用するアプリケーションを選択するとき、ユーザは、特定のアプリケーションで使用することになる機械学習モデルも選択することができる。少なくとも一実施例では、ユーザは、使用するモデルを有していないことがあり、したがって、ユーザはアプリケーションとともに使用する事前訓練済みモデル３７０６を選択してもよい。少なくとも一実施例では、訓練済みモデル３７０６は、（たとえば、患者の多様性、人口統計、使用される医療用撮像デバイスのタイプなどに基づき）ユーザの施設の顧客データセット４００６について正確な結果を生成するように最適化されてもよい。少なくとも一実施例では、事前訓練済みモデル３７０６を、アプリケーションとともに使用するために導入パイプライン３７１０に導入する前に、事前訓練済みモデル３７０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整されてもよい。
【0553】
少なくとも一実施例では、ユーザは、更新、再訓練、及び／又は微調整されることになる事前訓練済みモデル３７０６を選択してもよく、事前訓練済みモデル３７０６は、プロセス４０００内でシステム３６０４を訓練するための初期モデル４００４と呼ばれてもよい。少なくとも一実施例では、顧客データセット４００６（たとえば、施設のデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のタイプのデータ）を使用して、初期モデル４００４について（限定することなく転送学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含んでもよい）モデル訓練３６１４が実行されて、精緻化モデル４０１２が生成されてもよい。少なくとも一実施例では、顧客データセット４００６に対応するグラウンド・トゥルース・データが、訓練システム３６０４によって生成されてもよい。少なくとも一実施例では、グラウンド・トゥルース・データは、（たとえば、図３６のラベル付けされたクリニック・データ３６１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成されてもよい。
【0554】
少なくとも一実施例では、ＡＩ支援アノテーション３６１０がいくつかの実例において使用されて、グラウンド・トゥルース・データが生成されてもよい。少なくとも一実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション３６１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を利用して、顧客データセットについて示唆又は予測されるグラウンド・トゥルース・データを生成してもよい。少なくとも一実施例では、ユーザ４０１０は、コンピューティング・デバイス４００８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ））内でアノテーション・ツールを使用してもよい。
【0555】
少なくとも一実施例では、ユーザ４０１０は、コンピューティング・デバイス４００８を介してＧＵＩと対話して、アノテーション又は自動アノテーションを編集又は微調整してもよい。少なくとも一実施例では、ポリゴン編集特徴を使用して、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動させてもよい。
【0556】
少なくとも一実施例では、顧客データセット４００６が、関連付けられたグラウンド・トゥルース・データを得ると、（たとえば、ＡＩ支援アノテーション、手動ラベリングなどからの）グラウンド・トゥルース・データが、モデル訓練３６１４中に使用されて、精緻化モデル４０１２が生成されてもよい。少なくとも一実施例では、顧客データセット４００６は、初期モデル４００４に任意の回数、適用されてもよく、グラウンド・トゥルース・データは、精緻化モデル４０１２について許容可能なレベルの精度が達成されるまで、初期モデル４００４のパラメータを更新するために使用されてもよい。少なくとも一実施例では、精緻化モデル４０１２が生成されると、精緻化モデル４０１２は、医療用撮像データに対して１つ又は複数の処理タスクを実行するために、施設において１つ又は複数の導入パイプライン３７１０内に導入されてもよい。
【0557】
少なくとも一実施例では、精緻化モデル４０１２は、別の施設によって選択されることになるモデル・レジストリ３６２４の事前訓練済みモデル３７０６にアップロードされてもよい。少なくとも一実施例では、このプロセスは任意の数の施設において完了されてもよく、それにより精緻化モデル４０１２は、新規データセットについて任意の回数さらに精緻化されて、より普遍的なモデルが生成されてもよい。
【0558】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0559】
図４０Ｂは、少なくとも一実施例による、事前訓練済みのアノテーション・モデルを用いてアノテーション・ツールを強化するためのクライアント・サーバのアーキテクチャの実例の図である。少なくとも一実施例では、ＡＩ支援アノテーション・ツール４０３６は、クライアント・サーバのアーキテクチャ４０３２に基づきインスタンス化されてもよい。少なくとも一実施例では、撮像アプリケーションのアノテーション・ツール４０３６は、たとえば放射線医が器官及び異常を識別するのを支援してもよい。少なくとも一実施例では、撮像アプリケーションは、非限定的な実例として（たとえば、３ＤのＭＲＩ又はＣＲスキャンの）生画像４０３４において、特定の対象器官上の数少ない極値点をユーザ４０１０が識別するのを援助し、特定の器官の２Ｄスライスすべてについて自動アノテーション付けされた結果を受信するソフトウェア・ツールを含んでもよい。少なくとも一実施例では、結果は、訓練データ４０３８としてデータ・ストアに記憶されてもよく、（たとえば、限定することなく）訓練用のグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、コンピューティング・デバイス４００８が、ＡＩ支援アノテーション３６１０のために極値点を送るとき、たとえば深層学習モデルがこのデータを入力として受信してもよく、セグメント化された器官又は異常の推論結果を返してもよい。少なくとも一実施例では、図４０ＢのＡＩ支援アノテーション・ツール４０３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された事前訓練済みモデル４０４２のセットを含むことができるアノテーション支援サーバ４０４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール４０４４）を行うことによって、拡張されてもよい。少なくとも一実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実行するように事前訓練された事前訓練済みモデル４０４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶してもよい。少なくとも一実施例では、これらのモデルは、訓練パイプライン３７０４を使用することにより、さらに更新されてもよい。少なくとも一実施例では、事前インストールされたアノテーション・ツールは、ラベル付けされた新規クリニック・データ３６１２が加えられるにつれて、経時的に改善されてもよい。
【0560】
【0561】
少なくとも一実施例では、前記形態に合致する実施例としては、１つ又は複数のプロセッサ、回路、若しくはシステムに、ヒューリスティック情報及びユーザ定義パラメータに少なくとも部分的に基づき、１つ又は複数の機械学習モデルを使用して推論を展開させる対象となる１つ又は複数のデータ・ストリームを選択させることが挙げられる。
【0562】
本開示の少なくとも一実施例は、以下の節を考慮して説明されてもよい。
１．機械学習モデルを使用して、１つ又は複数のデータ・ストリームからの最初の１バッチ分のフレームについての推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を生成することと、
ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームからの２番目の１バッチ分のフレームの中から１つ又は複数のストリームを選択することと、
１つ又は複数の機械学習モデルを使用して、選択する１つ又は複数のストリームからの１つ又は複数のフレームについての情報を推論することと、
選択した１つ又は複数のストリームについての推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を更新することと、を含む、コンピュータ実装方法。
２．前記コンピュータ実装方法が１つ又は複数の設定パラメータを得ることをさらに含み、２番目のバッチの中から１つ又は複数のストリームを選択することがさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、節１に記載の方法。
３．１つ又は複数の設定パラメータがいくつかの検出されたオブジェクトを示す、節２に記載の方法。
４．最初の１バッチ分のフレーム及び２番目の１バッチ分のフレームとしては、それぞれ、該当する一連の画像フレームで構成されたビデオ・フレームが挙げられる、節１から３までのいずれか１節に記載の方法。
５．１つ又は複数の他の機械学習モデルを使用して、２番目の１バッチ分のフレームのからの１つ又は複数のフレームについての別の情報を推論することをさらに含む、節１から４までのいずれか１節に記載の方法。
６．ヒューリスティック情報を生成することが、２番目の１バッチ分のフレームに相当する１つ又は複数のデータ・ストリームに対してスキップ区間を定めることを含む、節１から５までのいずれか１節に記載の方法。
７．１つ又は複数のプロセッサと、
命令を記憶するメモリとで構成されているシステムであって、命令が、１つ又は複数のプロセッサによって実行されると、システムに、
１つ又は複数の最初のデータ・ストリームからの１つ又は複数のフレームに適用された１つ又は複数の機械学習モデルを使用して推論された情報に少なくとも部分的に基づき、ヒューリスティック情報を得させ、
ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数の処理演算がスキップされることになる１つ又は複数のフレームのサブセットを１つ又は複数の２番目のデータ・ストリームの中から決定させ、
１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームのサブセットに適用された１つ又は複数の機械学習モデルを使用して推論された情報に少なくとも部分的に基づき、ヒューリスティック情報を更新させる、システム。
８．メモリがさらに、１つ又はプロセッサにより実行されることの結果として、システムに、１つ又は複数の設定パラメータを得させる、命令を記憶し、１つ又は複数の２番目のデータ・ストリームの中からの１つ又は複数のフレームのサブセットの決定がさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、節７に記載のシステム。
９．設定パラメータがいくつかの検出されたオブジェクトを示す、節８に記載システム。
１０．設定パラメータがさらに、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームの解像度、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームを使用して表された１つ又は複数のオブジェクトのサイズ、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームに表された１つ又は複数の関心領域（ＲＯＩ）の近接、のうちの少なくとも１つを示す、節８又は９に記載のシステム。
１１．メモリがさらに、１つ又は複数のプロセッサによって実行されると、システムに、１つ又は複数の二次機械学習モデルを使用して、サブセットの一部ではない、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームについての二次情報を推論させる、命令をさらに記憶する、節８から１０までのいずれか１節に記載のシステム。
１２．ヒューリスティック情報としては、１つ又は複数の２番目のデータ・ストリームの最初のスキップ区間が挙げられる、節８から１１までのいずれか１節に記載のシステム。
１３．ヒューリスティック情報としては、最初のスキップ区間とは異なる、１つ又は複数の２番目のデータ・ストリームのサブセットの２番のスキップ区間が挙げられる、節８から１２までのいずれか１節に記載のシステム。
１４．命令のセットを記憶している非一時的機械可読媒体であって、命令のセットが、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
１つ又は複数のデータ・ストリームから推論された情報に少なくとも部分的に基づき、ヒューリスティック情報を決定させ、
ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームのサブセットのうちの少なくとも１つのデータ・ストリームにそれぞれが相当する、１つ又は複数のフレームに対して１回又は複数回の推論演算を行わせ、
１つ又は推論演算の結果に少なくとも部分的に基づき、ヒューリスティック情報を更新させる、機械可読媒体。
１５．命令のセットとしてはさらに、１つ又は複数のプロセッサによって行われると、１つ又は複数のプロセッサに、１つ又は複数の設定パラメータを得させる命令が挙げられ、１つ又は複数のデータ・ストリームのサブセットに対して行われる１回又は複数回の推論演算がさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、節１４に記載の機械可読媒体。
１６．１つ又は複数の設定パラメータが、いくつかの検出されたオブジェクトを示す、節１５に記載の機械可読媒体。
１７．ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの最初のスキップ区間が挙げられる、節１４又は１５に記載の機械可読媒体。
１８．ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの最初のスキップ区間よりも短い、１つ又は複数のデータ・ストリームのサブセットの２番目のスキップ区間が挙げられる、節１５から１７までに記載の機械可読媒体。
１９．命令のセットとしてはさらに、１つ又は複数のプロセッサによって行われると、１つ又は複数のプロセッサに、ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームの２番目のサブセットからの１つ又は複数のフレームに対して１回又は複数回の２番目の推論演算を行わせる、命令が挙げられ、ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの３番目のスキップ区間が挙げられる、節１５から１８までの記載の機械可読媒体。
２０．１つ又は複数のフレームとしては、一連の画像フレームが挙げられる、節１４から１９までに記載の機械可読媒体。
１．機械学習モデルを使用して、１つ又は複数のデータ・ストリームからの最初の１バッチ分のフレームについての推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を生成することと、
ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームからの２番目の１バッチ分のフレームの中から１つ又は複数のストリームを選択することと、
１つ又は複数の機械学習モデルを使用して、選択する１つ又は複数のストリームからの１つ又は複数のフレームについての情報を推論することと、
選択した１つ又は複数のストリームについての推論した情報に少なくとも部分的に基づき、ヒューリスティック情報を更新することと、を含む、コンピュータ実装方法。
２．前記コンピュータ実装方法が１つ又は複数の設定パラメータを得ることをさらに含み、２番目のバッチの中から１つ又は複数のストリームを選択することがさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、節１に記載の方法。
３．１つ又は複数の設定パラメータがいくつかの検出されたオブジェクトを示す、節２に記載の方法。
４．最初の１バッチ分のフレーム及び２番目の１バッチ分のフレームとしては、それぞれ、該当する一連の画像フレームで構成されたビデオ・フレームが挙げられる、節１から３までのいずれか１節に記載の方法。
５．１つ又は複数の他の機械学習モデルを使用して、２番目の１バッチ分のフレームのからの１つ又は複数のフレームについての別の情報を推論することをさらに含む、節１から４までのいずれか１節に記載の方法。
６．ヒューリスティック情報を生成することが、２番目の１バッチ分のフレームに相当する１つ又は複数のデータ・ストリームに対してスキップ区間を定めることを含む、節１から５までのいずれか１節に記載の方法。
７．１つ又は複数のプロセッサと、
命令を記憶するメモリとで構成されているシステムであって、命令が、１つ又は複数のプロセッサによって実行されると、システムに、
１つ又は複数の最初のデータ・ストリームからの１つ又は複数のフレームに適用された１つ又は複数の機械学習モデルを使用して推論された情報に少なくとも部分的に基づき、ヒューリスティック情報を得させ、
ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数の処理演算がスキップされることになる１つ又は複数のフレームのサブセットを１つ又は複数の２番目のデータ・ストリームの中から決定させ、
１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームのサブセットに適用された１つ又は複数の機械学習モデルを使用して推論された情報に少なくとも部分的に基づき、ヒューリスティック情報を更新させる、システム。
８．メモリがさらに、１つ又はプロセッサにより実行されることの結果として、システムに、１つ又は複数の設定パラメータを得させる、命令を記憶し、１つ又は複数の２番目のデータ・ストリームの中からの１つ又は複数のフレームのサブセットの決定がさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、節７に記載のシステム。
９．設定パラメータがいくつかの検出されたオブジェクトを示す、節８に記載システム。
１０．設定パラメータがさらに、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームの解像度、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームを使用して表された１つ又は複数のオブジェクトのサイズ、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームに表された１つ又は複数の関心領域（ＲＯＩ）の近接、のうちの少なくとも１つを示す、節８又は９に記載のシステム。
１１．メモリがさらに、１つ又は複数のプロセッサによって実行されると、システムに、１つ又は複数の二次機械学習モデルを使用して、サブセットの一部ではない、１つ又は複数の２番目のデータ・ストリームからの１つ又は複数のフレームについての二次情報を推論させる、命令をさらに記憶する、節８から１０までのいずれか１節に記載のシステム。
１２．ヒューリスティック情報としては、１つ又は複数の２番目のデータ・ストリームの最初のスキップ区間が挙げられる、節８から１１までのいずれか１節に記載のシステム。
１３．ヒューリスティック情報としては、最初のスキップ区間とは異なる、１つ又は複数の２番目のデータ・ストリームのサブセットの２番のスキップ区間が挙げられる、節８から１２までのいずれか１節に記載のシステム。
１４．命令のセットを記憶している非一時的機械可読媒体であって、命令のセットが、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
１つ又は複数のデータ・ストリームから推論された情報に少なくとも部分的に基づき、ヒューリスティック情報を決定させ、
ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームのサブセットのうちの少なくとも１つのデータ・ストリームにそれぞれが相当する、１つ又は複数のフレームに対して１回又は複数回の推論演算を行わせ、
１つ又は推論演算の結果に少なくとも部分的に基づき、ヒューリスティック情報を更新させる、機械可読媒体。
１５．命令のセットとしてはさらに、１つ又は複数のプロセッサによって行われると、１つ又は複数のプロセッサに、１つ又は複数の設定パラメータを得させる命令が挙げられ、１つ又は複数のデータ・ストリームのサブセットに対して行われる１回又は複数回の推論演算がさらに、１つ又は複数の設定パラメータに少なくとも部分的に基づく、節１４に記載の機械可読媒体。
１６．１つ又は複数の設定パラメータが、いくつかの検出されたオブジェクトを示す、節１５に記載の機械可読媒体。
１７．ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの最初のスキップ区間が挙げられる、節１４又は１５に記載の機械可読媒体。
１８．ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの最初のスキップ区間よりも短い、１つ又は複数のデータ・ストリームのサブセットの２番目のスキップ区間が挙げられる、節１５から１７までに記載の機械可読媒体。
１９．命令のセットとしてはさらに、１つ又は複数のプロセッサによって行われると、１つ又は複数のプロセッサに、ヒューリスティック情報に少なくとも部分的に基づき、１つ又は複数のデータ・ストリームの２番目のサブセットからの１つ又は複数のフレームに対して１回又は複数回の２番目の推論演算を行わせる、命令が挙げられ、ヒューリスティック情報としては、１つ又は複数のデータ・ストリームの３番目のスキップ区間が挙げられる、節１５から１８までの記載の機械可読媒体。
２０．１つ又は複数のフレームとしては、一連の画像フレームが挙げられる、節１４から１９までに記載の機械可読媒体。
【0563】
少なくとも一実施例では、単一の半導体プラットフォームとは、単独で単体の半導体ベースの集積回路又はチップを指してもよい。少なくとも一実施例では、マルチ・チップ・モジュールは、オン・チップ動作をシミュレートする接続性が向上した状態で使用されてもよく、従来の中央処理装置（「ＣＰＵ」）及びバスの実装形態の利用を大幅に改善する。少なくとも一実施例では、ユーザの希望に応じて、半導体プラットフォームとは別々に、又は半導体プラットフォームとの様々な組合せで、様々なモジュールがさらに設置されてもよい。
【0564】
少なくとも一実施例では、図１３に戻って参照すると、機械読取り可能で実行可能なコード若しくはコンピュータ制御論理アルゴリズムの形のコンピュータ・プログラムが、メイン・メモリ１３０４及び／又は二次ストレージに記憶される。コンピュータ・プログラムは、１つ又は複数のプロセッサによって実行された場合に、少なくとも一実施例による様々な機能をシステム１３００が実行できるようにする。少なくとも一実施例では、メモリ１３０４、ストレージ、及び／又は任意の他のストレージが、コンピュータ読取り可能媒体の考えられる例である。少なくとも一実施例では、二次ストレージとは、フロッピー（登録商標）・ディスク・ドライブ、磁気テープ・ドライブ、コンパクト・ディスク・ドライブ、デジタル多用途ディスク（「ＤＶＤ」：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）ドライブ、記録デバイス、ユニバーサル・シリアル・バス（「ＵＳＢ」）フラッシュ・メモリなどを表すハード・ディスク・ドライブ及び／若しくはリムーバブル・ストレージ・ドライブなどの任意の好適なストレージ・デバイス又はシステムを指してもよい。少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、ＣＰＵ１３０２、並列処理システム１３１２、ＣＰＵ１３０２と並列処理システム１３１２の両方の機能の少なくとも一部分を実現可能な集積回路、チップセット（たとえば、関連機能を実行するためのユニットとして機能し、販売されるように設計された集積回路のグループなど）、及び／又は集積回路の任意の好適な組合せの文脈において実装される。
【0565】
少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、汎用コンピュータ・システム、回路板システム、エンタテイメント目的専用のゲーム・コンソール・システム、及び特定用途システムなどの文脈において実装される。少なくとも一実施例では、コンピュータ・システム１３００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイス、モバイル・フォン・デバイス、テレビ、ワークステーション、ゲーム・コンソール、組み込みシステム、及び／又は任意の他のタイプの論理の形をとってもよい。少なくとも一実施例では、コンピュータ・システム１３００としては、図７Ａ～４０Ｂにおける如何なるデバイスでも挙げることができ、如何なるデバイスのことでもある。
【0566】
少なくとも一実施例では、並列処理システム１３１２は、限定することなく、複数の並列処理ユニット（「ＰＰＵ」）１３１４、及び関連メモリ１３１６を含む。少なくとも一実施例では、ＰＰＵ１３１４は、相互接続１３１８及びスイッチ１３２０又はマルチプレクサを介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、並列処理システム１３１２は、計算タスクをＰＰＵ１３１４にわたって分配し、これは、たとえば複数のグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）のスレッド・ブロックにわたる計算タスクの分配の一部として、並列化可能とすることができる。少なくとも一実施例では、メモリは、ＰＰＵ１３１４の一部又は全部にわたって共有され、（たとえば、読取り及び／又は書込みアクセスのために）アクセス可能であるが、こうした共有メモリは、ＰＰＵ１３１４に常駐しているローカル・メモリ及びレジスタの使用に対して、性能に不利益をもたらすことがある。少なくとも一実施例では、ＰＰＵ１３１４の動作は、＿ｓｙｎｃｔｈｒｅａｄｓ（）などのコマンドを使用することによって同期され、ここで（たとえば、複数のＰＰＵ１３１４にわたって動作している）ブロック内のすべてのスレッドが、進行前にコードのある一定の実行ポイントに到達する。
【0567】
少なくとも一実施例では、本明細書に記載の１つ又は複数の技法は、ｏｎｅＡＰＩプログラミング・モデルを利用する。少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルとは、様々な計算アクセラレータ・アーキテクチャと対話するためのプログラミング・モデルのことを指す。少なくとも一実施例では、ｏｎｅＡＰＩとは、様々な計算アクセラレータ・アーキテクチャと対話するたに設計されたアプリケーション・プログラミング・インターフェース（ＡＰＩ）のことを指す。少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルは、ＤＰＣ＋＋プログラミング言語を利用する。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、データの並列プログラミング生産性のための高レベル言語のことを指す。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、Ｃ及び／又はＣ＋＋プログラミング言語に少なくとも部分的に基づいている。少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルは、カリフォルニア州サンタクララのインテル社によって開発されたものなどのプログラミング・モデルである。
【0568】
少なくとも一実施例では、ｏｎｅＡＰＩ及び／又はｏｎｅＡＰＩのプログラミング・モデルは、様々なアクセラレータ、ＧＰＵ、プロセッサ、及び／又はそれらの変形形態、アーキテクチャと対話するために利用される。少なくとも一実施例では、ｏｎｅＡＰＩは、様々な機能を実装するライブラリのセットを含む。少なくとも一実施例では、ｏｎｅＡＰＩは、少なくともｏｎｅＡＰＩ ＤＰＣ＋＋ライブラリ、ｏｎｅＡＰＩマス・カーネル・ライブラリ、ｏｎｅＡＰＩデータ分析ライブラリ、ｏｎｅＡＰＩディープ・ニューラル・ネットワーク・ライブラリ、ｏｎｅＡＰＩ集合通信ライブラリ、ｏｎｅＡＰＩスレッディング構築ブロック・ライブラリ、ｏｎｅＡＰＩ映像処理ライブラリ、及び／又はそれらの変形形態を含む。
【0569】
少なくとも一実施例では、ｏｎｅＤＰＬとも呼ばれるｏｎｅＡＰＩ ＤＰＣ＋＋ライブラリは、ＤＰＣ＋＋カーネル・プログラミングを加速するためのアルゴリズム及び関数を実装するライブラリである。少なくとも一実施例では、ｏｎｅＤＰＬは、１つ又は複数の標準テンプレート・ライブラリ（ＳＴＬ）関数を実装する。少なくとも一実施例では、ｏｎｅＤＰＬは、１つ又は複数の並列ＳＴＬ関数を実装する。少なくとも一実施例では、ｏｎｅＤＰＬは、並列のアルゴリズム、反復子、関数オブジェクト・クラス、領域ベースのＡＰＩ、及び／又はそれらの変形形態など、ライブラリ、クラス、及び関数のセットを提供する。少なくとも一実施例では、ｏｎｅＤＰＬは、Ｃ＋＋標準ライブラリの１つ又は複数のクラス及び／又は関数を実装する。少なくとも一実施例では、ｏｎｅＤＰＬは、１つ又は複数の乱数生成関数を実装する。
【0570】
少なくとも一実施例では、ｏｎｅＭＫＬとも呼ばれるｏｎｅＡＰＩマス・カーネル・ライブラリは、様々な数学関数及び／又は演算について最適化及び並列化された様々なルーチンを実装するライブラリである。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の基本線形代数サブプログラム（ＢＬＡＳ）及び／又は線形代数パッケージ（ＬＡＰＡＣＫ）の稠密な線形代数ルーチンを実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の疎なＢＬＡＳ線形代数ルーチンを実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の乱数生成器（ＲＮＧ）を実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、ベクトルに対する数学演算のための１つ又は複数のベクトル数学ルーチン（ＶＭ）を実装する。少なくとも一実施例では、ｏｎｅＭＫＬは、１つ又は複数の高速フーリエ変換（ＦＦＴ）関数を実装する。
【0571】
少なくとも一実施例では、ｏｎｅＤＡＬとも呼ばれるｏｎｅＡＰＩデータ分析ライブラリは、様々なデータ分析アプリケーション及び分散計算を実装するライブラリである。少なくとも一実施例では、ｏｎｅＤＡＬは、データ分析の事前処理、変換、分析、モデル化、検証、及び意志決定のための様々なアルゴリズムを、バッチで、オンラインで、及び分散処理計算モードで実装する。少なくとも一実施例では、ｏｎｅＤＡＬは、様々なＣ＋＋及び／又はＪａｖａのＡＰＩと、１つ若しくは複数のデータ・ソースへの様々なコネクタとを実装する。少なくとも一実施例では、ｏｎｅＤＡＬは、従来のＣ＋＋インターフェースへのＤＰＣ＋＋のＡＰＩ拡張を実装し、ＧＰＵが様々なアルゴリズムを使用できるようにする。
【0572】
少なくとも一実施例では、ｏｎｅＤＮＮとも呼ばれるｏｎｅＡＰＩディープ・ニューラル・ネットワーク・ライブラリは、様々な深層学習関数を実装するライブラリである。少なくとも一実施例では、ｏｎｅＤＮＮは、様々なニューラル・ネットワーク、機械学習、及び深層学習関数、アルゴリズム、及び／又はそれらの変形形態を実装する。
【0573】
少なくとも一実施例では、ｏｎｅＣＣＬとも呼ばれるｏｎｅＡＰＩ集合通信ライブラリは、深層学習及び機械学習のワークロードについて様々なアプリケーションを実装するライブラリである。少なくとも一実施例では、ｏｎｅＣＣＬは、メッセージ・パッシング・インターフェース（ＭＰＩ）及びリブファブリクス（ｌｉｂｆａｂｒｉｃｓ）などの低レベル通信ミドルウェア上に構築される。少なくとも一実施例では、ｏｎｅＣＣＬは、優先順位付け、持続演算、順不同実行、及び／又はそれらの変形形態など、深層学習固有の最適化のセットを有効にする。少なくとも一実施例では、ｏｎｅＣＣＬは、様々なＣＰＵ及びＧＰＵの関数を実装する。
【0574】
少なくとも一実施例では、ｏｎｅＴＢＢとも呼ばれるｏｎｅＡＰＩスレッディング構築ブロック・ライブラリは、様々なアプリケーション用の様々な並列化プロセスを実装するライブラリである。少なくとも一実施例では、ｏｎｅＴＢＢは、ホスト上でのタスクベースの共有並列プログラミングのために利用される。少なくとも一実施例では、ｏｎｅＴＢＢは、汎用並列アルゴリズムを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは、同時コンテナを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは、スケーラブル・メモリ・アロケータを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは、ワーク・スティーリング・タスク・スケジューラを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは、低レベル同期プリミティブを実装する。少なくとも一実施例では、ｏｎｅＴＢＢは、コンパイラに依存せず、ＧＰＵ、ＰＰＵ、ＣＰＵ、及び／又はそれらの変形形態など、様々なプロセッサ上で使用可能である。
【0575】
少なくとも一実施例では、ｏｎｅＶＰＬとも呼ばれるｏｎｅＡＰＩ映像処理ライブラリは、１つ又は複数のアプリケーションにおいて映像処理を加速するために利用されるライブラリである。少なくとも一実施例では、ｏｎｅＶＰＬは、様々な映像の復号、符号化、及び処理関数を実装する。少なくとも一実施例では、ｏｎｅＶＰＬは、ＣＰＵ、ＧＰＵ、及び他のアクセラレータ上でメディア・パイプライン用の様々な機能を実装する。少なくとも一実施例では、ｏｎｅＶＰＬは、メディア中心の映像分析ワークロードにおいて、デバイスの発見及び選択を実装する。少なくとも一実施例では、ｏｎｅＶＰＬは、ゼロコピー・バッファ共有のためのＡＰＩプリミティブを実装する。
【0576】
少なくとも一実施例では、ｏｎｅＡＰＩプログラミング・モデルは、ＤＰＣ＋＋プログラミング言語を利用する。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、デバイス・コードを規定し、デバイス・コードとホスト・コードとを区別するための、機能的に類似したＣＵＤＡ機構のバージョンを限定することなく含むプログラミング言語である。少なくとも一実施例では、ＤＰＣ＋＋プログラミング言語は、ＣＵＤＡプログラミング言語の機能のサブセットを含んでもよい。少なくとも一実施例では、１つ又は複数のＣＵＤＡプログラミング・モデル演算は、ＤＰＣ＋＋プログラミング言語を使用するｏｎｅＡＰＩプログラミング・モデルを使用して実行される。
【0577】
少なくとも一実施例では、本明細書に記載の如何なるアプリケーション・プログラミング・インターフェース（ＡＰＩ）でも、コンパイラ、インタープリタ、又は他のソフトウェア・ツールによってコンパイルされ、１つ又は複数の命令、演算などの信号に成る。少なくとも一実施例では、コンパイルは、ソース・コードからの機械可読命令、演算などの信号を含む。少なくとも一実施例では１つ又は複数の命令、演算などの信号にコンパイルされたＡＰＩは、行われると、本明細書でさらに説明している、グラフィックス・プロセッサ２８００、グラフィックス・コア１８００、並列プロセッサ２０００、プロセッサ２３００、プロセッサ・コア２３００などの論理回路などの１つ又は複数のプロセッサに、１つ又は複数の演算処理を行わせる。
【0578】
本明細書に記載の例示的実施例は、ＣＵＤＡプログラミング・モデルに関するものであってよいが、本明細書に記載の技法は、ＨＩＰ、ｏｎｅＡＰＩ、及び／又はそれらの変形形態など、任意の好適なプログラミング・モデルとともに利用されることが可能である。
【0579】
他の変形形態は、本開示の範囲内にある。したがって、開示した技法は、様々な修正及び代替的な構成が可能であるが、それらのうち一定の例示的な実施例が図面に示され、上で詳細に説明されてきた。しかし、特定の１つ又は複数の開示された形に本開示を限定する意図はなく、その反対に、特許請求の範囲に定義される開示の趣旨及び範囲に入るすべての修正形態、代替的な構成、及び等価物を網羅することを意図している。
【0580】
開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「収容する（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「含むが、これに限定されない」を意味する）と解釈される。「接続される」は、修飾されずに物理的接続を指している場合には、何か介在するものがあったとしても、部分的に又は完全に中に収容される、取り付けられる、又は互いに接合されるものとして解釈される。本明細書において値の範囲を詳述することは、本明細書において別段の記載がない限り、またそれぞれ別々の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に含まれるそれぞれ別々の値を個々に参照する簡潔な方法として機能することを単に意図しているにすぎない。少なくとも一実施例では、「セット」（たとえば、「アイテムのセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がない、又は否定されていない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がない、又は否定されていない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すのではなく、サブセットと対応するセットは等しくてもよい。
【0581】
「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形の言い回しなどの結合語は、別段の具体的な記載のない限り、又は文脈によって明確に否定されていない限り、項目、用語などが、ＡかＢかＣである、又はＡとＢとＣのセットのいずれかの空でないサブセットであることを提示するために一般に使用される文脈で理解される。たとえば、３つの部材を有するセットの説明的な例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、こうした結合語は、ある一定の実施例が、少なくとも１つのＡ、少なくとも１つのＢ、及び少なくとも１つのＣのそれぞれの存在を必要とすることを全体的に暗示するものではない。さらに、別段の記載のない、又は文脈によって否定されていない限り、「複数」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。少なくとも一実施例では、複数である項目の数は、少なくとも２つであるが、明示的に、又は文脈によって示されている場合にはそれより多くてもよい。さらに、別段の記載のない、又は文脈からそうでないことが明らかでない限り、「～に基づく」という言い回しは、「少なくとも部分的に～に基づく」を意味し、「～だけに基づく」を意味しない。
【0582】
本明細書に記載のプロセスの動作は、本明細書に別段の記載のない、又は文脈によって明確に否定されない限り、任意の好適な順序で実行することができる。少なくとも一実施例では、本明細書に記載のプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実行され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行されるコード（たとえば、実行可能な命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。少なくとも一実施例では、コードは、たとえば１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形で、コンピュータ読取り可能ストレージ媒体に記憶される。少なくとも一実施例では、コンピュータ読取り可能ストレージ媒体は、一時的な信号（たとえば、伝播する一時的な電気若しくは電磁送信）を除外するが、一時的な信号のトランシーバ内の非一時的なデータ・ストレージ回路（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的なコンピュータ読取り可能ストレージ媒体である。少なくとも一実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的なコンピュータ読取り可能ストレージ媒体のセットに記憶され、このストレージ媒体には、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書に記載の動作を実行させる実行可能命令が記憶されている（又は、実行可能命令を記憶するための他のメモリを有する）。少なくとも一実施例では、非一時的なコンピュータ読取り可能ストレージ媒体のセットは、複数の非一時的なコンピュータ読取り可能ストレージ媒体を備え、複数の非一時的なコンピュータ読取り可能ストレージ媒体の個々の非一時的なストレージ媒体のうちの１つ又は複数には、すべてのコードがないが、複数の非一時的なコンピュータ読取り可能ストレージ媒体は、集合的にすべてのコードを記憶している。少なくとも一実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的なコンピュータ読取り可能ストレージ媒体は命令を記憶し、メインの中央処理装置（「ＣＰＵ」）は一部の命令を実行し、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも一実施例では、コンピュータ・システムの異なる構成要素は、別々のプロセッサを有し、異なるプロセッサは、命令の異なるサブセットを実行する。
【0583】
少なくとも一実施例では、算術論理演算ユニットは、１つ又は複数の入力を取って結果を生成する組合せ論理回路のセットである。少なくとも一実施例では、算術論理演算ユニットは、加法、減法、又は乗法などの数学的演算を実装するためにプロセッサによって使用される。少なくとも一実施例では、算術論理演算ユニットは、論理ＡＮＤ／ＯＲ又はＸＯＲなどの論理演算を実装するために使用される。少なくとも一実施例では、算術論理演算ユニットは、ステートレスであり、論理ゲートを形成するように配置された半導体トランジスタなどの物理的スイッチ構成要素から構成される。少なくとも一実施例では、算術論理演算ユニットは、関連クロックを有するステートフル論理回路として内部で動作してよい。少なくとも一実施例では、算術論理演算ユニットは、関連するレジスタ・セットに内部状態が維持されない非同期論理回路として構築されてよい。少なくとも一実施例では、算術論理演算ユニットは、プロセッサの１つ又は複数のレジスタに記憶されたオペランドを組み合わせ、プロセッサによって別のレジスタ又はメモリ・ロケーションに記憶されることが可能な出力を生成するために、プロセッサによって使用される。
【0584】
少なくとも一実施例では、プロセッサによって検索された命令を処理した結果、プロセッサは、１つ又は複数の入力若しくはオペランドを算術論理演算ユニットに提示して、算術論理演算ユニットの入力に提供された命令コードに少なくとも部分的に基づき、算術論理演算ユニットに結果を生成させる。少なくとも一実施例では、プロセッサによってＡＬＵに提供された命令コードは、プロセッサによって実行された命令に少なくとも部分的に基づく。少なくとも一実施例では、ＡＬＵの組合せ論理が、入力を処理し、プロセッサ内のバスに入れられる出力を生成する。少なくとも一実施例では、プロセッサをクロック制御することにより、ＡＬＵによって生成された結果が所望のロケーションに送信されるように、プロセッサは、宛先レジスタ、メモリ・ロケーション、出力デバイス、又は出力バスの出力ストレージ・ロケーションを選択する。
【0585】
この出願の範囲において、算術論理演算ユニットすなわちＡＬＵという用語は、オペランドを処理して結果を生成する任意の計算論理回路を指すために使用される。たとえば、本明細書において、ＡＬＵという用語は、浮動小数点ユニット、ＤＳＰ、テンソル・コア、シェーダ・コア、コプロセッサ、又はＣＰＵを指すことができる。
【0586】
したがって、少なくとも一実施例では、コンピュータ・システムは、本明細書に記載のプロセスの動作を単独で又は集合的に実行する１つ又は複数のサービスを実装するように構成され、こうしたコンピュータ・システムは、動作の実行を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも一実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、異なるやり方で動作する複数のデバイスを備える分散型のコンピュータ・システムであり、それにより単一のデバイスがすべての動作を実行しないように分散型のコンピュータ・システムが本明細書に記載の動作を実行する。
【0587】
本明細書に提供されるあらゆる例、又は例示的な言葉（たとえば、「など」）の使用は、本開示の実施例をより明らかにすることだけを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
【0588】
本明細書に引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることがあたかも個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
【0589】
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用されてもよい。これらの用語は、互いに同義語として意図されていない場合があることを理解すべきである。むしろ、特定の例では、「接続される」又は「結合される」は、２つ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用されてもよい。また「結合される」は、２つ以上の要素が直接互いに接触していないが、なお互いに連動又は相互作用することを意味してもよい。
【0590】
別段の具体的な記載のない限り、明細書全体を通して「処理する」、「コンピューティング」、「計算する」、又は「判定する」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータをコンピューティング・システムのメモリ、レジスタ、又は他のそのような情報ストレージ・デバイス、送信デバイス、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるよう操作及び／又は変換するコンピュータ若しくはコンピューティング・システム、又は同様の電子コンピューティング・デバイスの行為及び／又はプロセスを指す。
【0591】
同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶することができる他の電子データに変換する任意のデバイス、又はデバイスの一部分を指してもよい。非限定的な例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであってもよい。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備えてもよい。本明細書で使用する「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実行するソフトウェア及び／又はハードウェアのエンティティを含んでもよい。また、各プロセスは、命令を直列で又は並列で連続的に又は断続的に実行するための複数のプロセスを指してもよい。少なくとも一実施例では、「システム」及び「方法」は、１つ又は複数の方法をシステムが具体化することができ、方法がシステムと考えられてもよい場合に限り、本明細書において交換可能に使用される。
【0592】
本明細書では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又はそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及することができる。少なくとも一実施例では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、関数呼出し、又はアプリケーション・プログラミング・インターフェースへの呼出しのパラメータとしてデータを受信するなど、様々なやり方で実現することができる。少なくとも一実施例では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、直列又は並列のインターフェースを介してデータを転送することによって実現することができる。少なくとも一実施例では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、提供するエンティティから取得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現することができる。また、少なくとも一実施例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示することにも言及することができる。様々な例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示するプロセスは、関数呼出しの入力又は出力のパラメータ、アプリケーション・プログラミング・インターフェース若しくはプロセス間通信機構のパラメータとしてデータを転送することによって実現することができる。
【0593】
本明細書の記載は、記載した技法の例示的な実装形態について述べているが、記載した機能を実装するために他のアーキテクチャが使用されてもよく、この他のアーキテクチャは、本開示の範囲内にあることが意図される。さらに、説明を目的として、役割の具体的な分配が定義され得るが、様々な機能及び役割は、状況に応じて異なるやり方で分配及び分割されてもよい。
【0594】
さらに、主題は、構造的特徴及び／又は方法論的動作に特有の言語で説明されてきたが、添付の特許請求の範囲で特許請求される主題は、説明した特有の特徴又は動作に必ずしも限定されないことが理解されるべきである。むしろ、特有の特徴及び動作は、特許請求の範囲を実装する例示的な形として開示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20A】
【図20B】
【図20C】
【図20D】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31A】
【図31B】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39A】
【図39B】
【図40A】
【図40B】
【外国語明細書】