(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023165383
(43)【公開日】2023-11-15
(54)【発明の名称】機械学習モデルのためのデータ・セット生成及び拡張
(51)【国際特許分類】
G06T 7/00 20170101AFI20231108BHJP
G06V 10/774 20220101ALI20231108BHJP
G06N 20/00 20190101ALI20231108BHJP
G06N 3/02 20060101ALI20231108BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 660A
G06V10/774
G06N20/00
G06N3/02
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022090040
(22)【出願日】2022-06-02
(31)【優先権主張番号】17/661,706
(32)【優先日】2022-05-02
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ユジュオ レン
(72)【発明者】
【氏名】ウェイリー、ニー
(72)【発明者】
【氏名】アラシュ ヴァーダット
(72)【発明者】
【氏名】アニマシュリー アナンドクマール
(72)【発明者】
【氏名】ニシャント プーリ
(72)【発明者】
【氏名】ニランジャン、アヴァダーナム
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA02
5L096DA02
5L096GA34
5L096HA11
5L096KA04
(57)【要約】
【課題】機械学習モデルのためのデータ・セットの属性制御可能な生成を提供する。
【解決手段】機械学習モデル（ＭＬＭ）が、トレーニング及び評価され得る。属性ベースのパフォーマンス・メトリックが、それぞれがサンプル内に存在するときにＭＬＭが閾値未満で実行している属性を識別するために分析され得る。生成ニューラル・ネットワーク（ＧＮＮ）が、属性の合成を含むサンプルを生成するために使用され得、サンプルが、ＭＬＭをトレーニングするために使用されるデータを拡張するために使用され得る。これは、１つ又は複数の基準が満たされるまで、繰り返され得る。様々な実例において、データ・セットのサンプルを形成し得る、ビデオのフレームなどのデータ項目の経時的シーケンスが、生成され得る。属性値のセットが、データ・セットにおいて表されることになる１つ又は複数の経時的シナリオに基づいて、決定され得、１つ又は複数のＧＮＮが、属性値に対応する情報を描写するためのシーケンスを生成するために使用され得る。
【選択図】図１
【解決手段】機械学習モデル（ＭＬＭ）が、トレーニング及び評価され得る。属性ベースのパフォーマンス・メトリックが、それぞれがサンプル内に存在するときにＭＬＭが閾値未満で実行している属性を識別するために分析され得る。生成ニューラル・ネットワーク（ＧＮＮ）が、属性の合成を含むサンプルを生成するために使用され得、サンプルが、ＭＬＭをトレーニングするために使用されるデータを拡張するために使用され得る。これは、１つ又は複数の基準が満たされるまで、繰り返され得る。様々な実例において、データ・セットのサンプルを形成し得る、ビデオのフレームなどのデータ項目の経時的シーケンスが、生成され得る。属性値のセットが、データ・セットにおいて表されることになる１つ又は複数の経時的シナリオに基づいて、決定され得、１つ又は複数のＧＮＮが、属性値に対応する情報を描写するためのシーケンスを生成するために使用され得る。
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つの機械学習モデル（ＭＬＭ）に適用される１つ又は複数のデータ・サンプルの１つ又は複数の属性を評価するステップと、
前記評価することに少なくとも基づいて前記１つ又は複数の属性のうちの少なくとも１つの属性の少なくとも１つの値を識別するステップと、
少なくとも１つの入力を１つ又は複数の生成ＭＬＭに適用して、前記少なくとも１つの値に対応する１つ又は複数の追加のデータ・サンプルを生成するステップと、
前記１つ又は複数の追加のデータ・サンプルを使用して前記少なくとも１つのＭＬＭをトレーニングするステップと
を含む、方法。
前記評価することに少なくとも基づいて前記１つ又は複数の属性のうちの少なくとも１つの属性の少なくとも１つの値を識別するステップと、
少なくとも１つの入力を１つ又は複数の生成ＭＬＭに適用して、前記少なくとも１つの値に対応する１つ又は複数の追加のデータ・サンプルを生成するステップと、
前記１つ又は複数の追加のデータ・サンプルを使用して前記少なくとも１つのＭＬＭをトレーニングするステップと
を含む、方法。
【請求項2】
前記１つ又は複数の生成ＭＬＭが、前記１つ又は複数の属性の複数の属性の合成として前記１つ又は複数のサンプルを生成する合成的ジェネレータを含む、請求項１に記載の方法。
【請求項3】
前記１つ又は複数の属性を前記評価するステップが、前記少なくとも１つの属性についての前記少なくとも１つのＭＬＭの推論精度に対応する少なくとも１つのパフォーマンス・メトリックを使用して前記１つ又は複数の属性を評価するステップを含み、前記識別するステップが、前記推論精度が閾値精度レベル未満であることに少なくとも基づく、請求項１に記載の方法。
【請求項4】
前記少なくとも１つの属性の前記少なくとも１つの値が、属性の第１のセットの１つ又は複数の値であり、前記評価するステップが、前記属性の第２のセットの１つ又は複数の値に対する前記第１のセットの１つ又は複数の値の前記少なくとも１つのＭＬＭの推論精度に対応する少なくとも１つのパフォーマンス・メトリックを使用して前記１つ又は複数の属性を評価するステップを含む、請求項１に記載の方法。
【請求項5】
前記１つ又は複数のデータ・サンプル及び前記１つ又は複数の追加のデータ・サンプルが、１つ又は複数の物体を描写する画像を含み、前記１つ又は複数の属性が、前記１つ又は複数の物体の属性である、請求項１に記載の方法。
【請求項6】
前記評価するステップが、複数の前記１つ又は複数のデータ・サンプルにわたる前記少なくとも１つの属性の１つ又は複数の値によって表される経時的パターンの前記少なくとも１つのＭＬＭの推論精度に対応する少なくとも１つのパフォーマンス・メトリックを使用して前記１つ又は複数の属性を評価するステップを含み、少なくとも１つの属性の前記少なくとも１つの値が、前記経時的パターンを含む、請求項１に記載の方法。
【請求項7】
前記経時的パターンが、前記少なくとも１つの属性の前記値を使用して表される１つ又は複数のイベントの頻度、振幅、速度、又は持続期間のうちの１つ又は複数に対応する、請求項６に記載の方法。
【請求項8】
前記少なくとも１つの属性が、
人の年齢、前記人の民族性、前記人の髪の長さ、前記人の頭部の位置、前記人が眼鏡をかけているかどうか、前記人がひげを生やしているかどうか、前記人の感情、前記人の瞬目率、前記人のまぶたの開きの程度、前記人のアイ・メイク、前記人のまばたきの振幅、前記人のまばたきの持続期間、前記人の顔のパターン、前記人がマスクをしているかどうか、前記人の照明条件、前記人の顔の表情、前記人が前記１つ若しくは複数の画像において強調されているかどうか、前記人の背景が前記１つ若しくは複数の画像において強調されているかどうか、又は前記人の前景が前記１つ若しくは複数の画像において強調されているかどうか
のうちの１つ又は複数を、前記１つ又は複数の画像において描写された前記人について、定義する、請求項１に記載の方法。
人の年齢、前記人の民族性、前記人の髪の長さ、前記人の頭部の位置、前記人が眼鏡をかけているかどうか、前記人がひげを生やしているかどうか、前記人の感情、前記人の瞬目率、前記人のまぶたの開きの程度、前記人のアイ・メイク、前記人のまばたきの振幅、前記人のまばたきの持続期間、前記人の顔のパターン、前記人がマスクをしているかどうか、前記人の照明条件、前記人の顔の表情、前記人が前記１つ若しくは複数の画像において強調されているかどうか、前記人の背景が前記１つ若しくは複数の画像において強調されているかどうか、又は前記人の前景が前記１つ若しくは複数の画像において強調されているかどうか
のうちの１つ又は複数を、前記１つ又は複数の画像において描写された前記人について、定義する、請求項１に記載の方法。
【請求項9】
前記１つ又は複数の生成ＭＬＭが、無条件の生成モデルを含み、前記少なくとも１つの入力が、前記少なくとも１つの属性の第１の属性の意味論を定義する第１のエネルギ関数及び前記少なくとも１つの属性の第２の属性の意味論を定義する第２のエネルギ関数を使用して前記１つ又は複数のサンプルを生成する際に前記無条件の生成モデルを導く、請求項１に記載の方法。
【請求項10】
少なくとも１つの機械学習モデル（ＭＬＭ）に適用された第１の１つ又は複数の画像において描写された１つ又は複数の物体の１つ又は複数の属性に対応する１つ又は複数のパフォーマンス・メトリック値を生成することと、
前記パフォーマンス・メトリック値の前記１つ又は複数を使用して、前記少なくとも１つのＭＬＭのパフォーマンスが前記１つ又は複数の属性のうちの少なくとも１つの属性の少なくとも１つの値の１つ又は複数の閾値未満であると判定することと、
前記パフォーマンスが前記少なくとも１つの値の前記１つ又は複数の閾値未満であることに少なくとも基づいて、前記少なくとも１つの値を有する前記少なくとも１つの属性を描写する第２の１つ又は複数の画像を生成するために少なくとも１つの入力を１つ又は複数の生成ＭＬＭに適用することと、
少なくとも前記第２の１つ又は複数の画像を使用して前記少なくとも１つのＭＬＭの少なくとも１つのパラメータを更新することと
を含む動作を実行するための１つ又は複数の処理ユニット
を備える、システム。
前記パフォーマンス・メトリック値の前記１つ又は複数を使用して、前記少なくとも１つのＭＬＭのパフォーマンスが前記１つ又は複数の属性のうちの少なくとも１つの属性の少なくとも１つの値の１つ又は複数の閾値未満であると判定することと、
前記パフォーマンスが前記少なくとも１つの値の前記１つ又は複数の閾値未満であることに少なくとも基づいて、前記少なくとも１つの値を有する前記少なくとも１つの属性を描写する第２の１つ又は複数の画像を生成するために少なくとも１つの入力を１つ又は複数の生成ＭＬＭに適用することと、
少なくとも前記第２の１つ又は複数の画像を使用して前記少なくとも１つのＭＬＭの少なくとも１つのパラメータを更新することと
を含む動作を実行するための１つ又は複数の処理ユニット
を備える、システム。
【請求項11】
前記１つ又は複数の生成ＭＬＭが、前記１つ又は複数の属性の複数の属性の合成として前記第２の１つ又は複数の画像のそれぞれを生成する合成的ジェネレータを含む、請求項１０に記載のシステム。
【請求項12】
前記少なくとも１つの属性の前記少なくとも１つの値が、属性の第１のセットの１つ又は複数の値であり、前記少なくとも１つのパフォーマンス・メトリックが、前記属性の第２のセットの１つ又は複数の値に対する前記第１のセットの１つ又は複数の値の前記少なくとも１つのＭＬＭの推論精度に対応する、請求項１０に記載のシステム。
【請求項13】
前記少なくとも１つのパフォーマンス・メトリックが、前記第１の１つ又は複数の画像の複数の画像にわたる前記少なくとも１つの属性の値によって表される経時的パターンの前記少なくとも１つのＭＬＭの推論精度に対応し、少なくとも１つの属性の前記少なくとも１つの値が、前記経時的パターンを含む、請求項１０に記載のシステム。
【請求項14】
前記経時的パターンが、前記少なくとも１つの属性の前記値を使用して表された１つ又は複数のイベントの頻度、振幅、速度、又は持続期間のうちの１つ又は複数に対応する、請求項１３に記載のシステム。
【請求項15】
前記システムが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための認知システム、
シミュレーション動作を実行するためのシステム、
デジタル・ツイン動作を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、
３次元（３Ｄ）コンテンツのための共同作成プラットフォームを含むシステム、又は、
クラウドの計算資源を使用して少なくとも部分的に実装されるシステム
のうちの少なくとも１つに含まれる、請求項１０に記載のシステム。
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための認知システム、
シミュレーション動作を実行するためのシステム、
デジタル・ツイン動作を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、
３次元（３Ｄ）コンテンツのための共同作成プラットフォームを含むシステム、又は、
クラウドの計算資源を使用して少なくとも部分的に実装されるシステム
のうちの少なくとも１つに含まれる、請求項１０に記載のシステム。
【請求項16】
少なくとも１つの属性の少なくとも１つの値をキャプチャする入力データの生成を制御し、前記少なくとも１つのＭＬＭのパフォーマンスが前記少なくとも１つの属性の１つ又は複数の精度閾値未満であると判定することに少なくとも基づいて前記入力データを使用して少なくとも１つのＭＬＭをトレーニングするために、１つ又は複数の生成ニューラル・ネットワークを使用するための１つ又は複数の回路
を備える、プロセッサ。
を備える、プロセッサ。
【請求項17】
前記１つ又は複数の回路が、前記１つ又は複数の属性の複数の属性の合成として前記入力データのサンプルを生成する合成的ジェネレータに前記少なくとも１つの値に対応する１つ又は複数の入力を適用することに少なくとも基づいて前記入力データを生成する、請求項１６に記載のプロセッサ。
【請求項18】
前記少なくとも１つの属性の前記少なくとも１つの値が、属性の第１のセットの１つ又は複数の値であり、前記パフォーマンスが、前記属性の第２のセットの１つ又は複数の値に対する前記第１のセットの１つ又は複数の値の前記少なくとも１つのＭＬＭの推論精度に対応する、請求項１６に記載のプロセッサ。
【請求項19】
前記パフォーマンス・メトリックが、複数のサンプルにわたる前記少なくとも１つの属性の値によって表される経時的パターンの前記少なくとも１つのＭＬＭの推論精度に対応し、少なくとも１つの属性の前記少なくとも１つの値が、前記経時的パターンを含む、請求項１６に記載のプロセッサ。
【請求項20】
前記プロセッサが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための認知システム、
シミュレーション動作を実行するためのシステム、
デジタル・ツイン動作を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、
３次元（３Ｄ）コンテンツのための共同作成プラットフォームを含むシステム、又は、
クラウドの計算資源を使用して少なくとも部分的に実装されるシステム
のうちの少なくとも１つに含まれる、請求項１６に記載のプロセッサ。
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための認知システム、
シミュレーション動作を実行するためのシステム、
デジタル・ツイン動作を実行するためのシステム、
深層学習動作を実行するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、
３次元（３Ｄ）コンテンツのための共同作成プラットフォームを含むシステム、又は、
クラウドの計算資源を使用して少なくとも部分的に実装されるシステム
のうちの少なくとも１つに含まれる、請求項１６に記載のプロセッサ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習モデルのためのデータ・セットの生成及び拡張を提供することに関する。
【背景技術】
【0002】
機械学習モデル（ＭＬＭ）、たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）のパフォーマンスは、ＭＬＭのアーキテクチャ又はＭＬＭをトレーニングするために使用されるデータを修正することを通して改善され得る。既存の解決法では、より多くのデータを収集することによって、ＭＬＭをトレーニングするために使用されるデータを改善しようと試みる。しかしながら、現実世界のデータを収集することは、数え切れない人的及び計算資源を必要とする、骨の折れる、費用と時間のかかるタスクである。大量のデータを収集することができても、堅固な及び一般化されたモデルを製作するためにキャプチャされるべきある特定のシナリオは、めったになく、低いパーセンテージのデータを構成し得る。したがって、ＭＬＭは、これらの少数しか存在しないシナリオではまだ十分に機能しないことがある。
【0003】
データ拡張技法は、ＭＬＭをトレーニングするために収集される必要がある現実世界のデータの量を減らすために、実行され得る。既存のデータ拡張技法は、画像の回転、反転、クロップ、又は既存のデータを他の方法で修正することを含む。これらの手法は、トレーニングされたＭＬＭによってこれらの変更形態が観測されるとき、ＭＬＭ精度を改善することができる。しかしながら、これらの手法は、少数しか存在しないシナリオに関連する精度問題に対処できないことがある。たとえば、トレーニング・データ・セット内のデータ（たとえば、顔）が十分に変化に富んでいない場合、又はある特定の特性がトレーニング・データ・セットにおいて過剰提示若しくは過少提示される場合、顔検出ネットワークは、より低い精度を有し得る。したがって、より多くのデータが、従来のデータ収集及び拡張技法を使用して取得され得るが、既存の解決法は、特定のタイプのどのくらいのデータが堅固な及び一般化されたモデルを得るために必要とされるかを説明することができない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願第１６／１０１，２３２号
【発明の概要】
【0005】
本開示の実施形態は、機械学習モデルのためのデータ・セットの属性制御可能な生成に関する。実施形態において、生成ニューラル・ネットワーク（ＧＮＮ：ｇｅｎｅｒａｔｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が、トレーニング、検証、及び／又は試験データの属性の分布に少なくとも基づいて１つ又は複数の属性を有する少なくとも１つのクラスのサンプルを生成するために使用され得る。
【0006】
前述のものなどの従来の手法とは対照的に、開示される手法は、どのようなタイプのデータが及びどのくらいの特定のタイプのデータがＭＬＭのトレーニング、検証、及び／又は試験に必要とされるかを決定するための技法を提供する。本開示による実施形態において、ＭＬＭは、トレーニング及び評価され得、並びに１つ又は複数の属性ベースのパフォーマンス・メトリックが、ＭＬＭが絶対的及び／又は相対的なパフォーマンス閾値未満で実行している１つ又は複数の属性及び／又は属性の組合せを識別するために、分析され得る。ＧＮＮは、複数の属性の合成を含む１つ又は複数のサンプルを有する追加のトレーニング・データを生成するために使用され得、新しく生成されたトレーニング・データは、ＭＬＭをトレーニングするために使用されるデータ・セットにおいて既存のデータを拡張するために使用され得る。少なくとも１つの実施形態において、このプロセスは、１つ又は複数の基準が満たされるまで、繰り返され得る。本開示の態様はまた、データ・セットにおいて表されることになる少なくとも１つのクラスに関連する特定の属性（たとえば、属性のリスト、属性のインジケータなど）に少なくとも基づいてＭＬＭのためのデータ・セットを生成することを実現する。本開示はさらに、データ・セットの１つ又は複数のサンプルを形成し得る、ビデオのフレームなどのデータ項目の経時的シーケンスを生成することを実現する。属性値のセットが、データ・セットにおいて表されることになる１つ又は複数の経時的シナリオに少なくとも基づいて、決定され得、１つ又は複数のＧＮＮが、属性値に対応する情報を描写するためのシーケンスを生成するために使用され得る。
【0007】
機械学習モデルのためのデータ・セットの属性制御可能な生成のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
【図面の簡単な説明】
【0008】
【図1】本開示のいくつかの実施形態による、１つ又は複数のデータ・セットの属性制御可能な生成を使用して１つ又は複数の機械学習モデルを評価するために使用され得る例示的プロセスの図示である。
【図2】本開示のいくつかの実施形態による、１つ又は複数の属性に基づいて１つ又は複数の機械学習モデルのデータを制御可能に生成するために実行され得る例示的プロセスの図示である。
【図3】本開示のいくつかの実施形態による、１つ又は複数の機械学習モデルの１つ又は複数の属性の１つ又は複数のパフォーマンス・メトリックを評価することに少なくとも基づいて１つ又は複数のサンプルを制御可能に生成するための方法を示すフロー図である。
【図4】本開示のいくつかの実施形態による、１つ又は複数のパフォーマンス・メトリック値を使用して１つ又は複数の属性の１つ又は複数のサンプルを制御可能に生成するための方法を示すフロー図である。
【図5】本開示のいくつかの実施形態による、１つ又は複数の属性の経時的パターンに基づいて１つ又は複数の機械学習モデルのデータを制御可能に生成するために実行され得る例示的プロセスの図示である。
【図6】本開示のいくつかの実施形態による、経時的シナリオの少なくとも一部をキャプチャするために生成され得るフレームの一実例の図示である。
【図7】本開示のいくつかの実施形態による、１つ又は複数の経時的パターンが参照データ・セットからどのように抽出され得るかの実例を説明するために使用される図示である。
【図8】本開示のいくつかの実施形態による、１つ又は複数の経時的パターンを１つ又は複数の経時的シナリオと関連付けることに少なくとも基づく１つ又は複数のサンプルを制御可能に生成するための方法を示すフロー図である。
【図9】本開示のいくつかの実施形態による、１つ又は複数のデータ・セットの属性制御可能な生成のために使用され得る例示的プロセスの図示である。
【図10】本開示のいくつかの実施形態による、入力データを分析することに少なくとも基づく１つ又は複数のサンプルを制御可能に生成するための方法を示すフロー図である。
【図11A】本開示のいくつかの実施形態による、例示的自律型車両の図示である。
【図12】本開示のいくつかの実施形態の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。
【図13】本開示のいくつかの実施形態の実装において使用するのに適した例示的データ・センタのブロック図である。
【発明を実施するための形態】
【0009】
トレーニング、検証、及び試験機械学習モデルのためのデータの属性制御可能な生成に関して、システム及び方法が、開示される。本開示は、例示的自律型車両１１００（或いは本明細書で「車両１１００」又は「エゴ車両１１００」とも称され、その実例が図１１Ａ～１１Ｄに関して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット若しくはロボティクス・プラットフォーム、倉庫車両、オフロード車両、１つ若しくは複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電動若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、並びに／又は、他の車両タイプによって使用されてもよいが、これらに限定されない。加えて、本開示は、顔識別、顔検出、顔のランドマーク検出、目に基づいた眠気検出、及び／又は目の開閉検出若しくは分類に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、シミュレーション及びデジタル・ツイン、自律若しくは半自律マシン・アプリケーション、並びに／又は機械学習モデルが使用され得る任意の他の技術空間において使用され得る。
【0010】
実施形態において、生成ニューラル・ネットワーク（ＧＮＮ）、たとえば、敵対的生成ネットワーク（ＧＡＮ：ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）がトレーニング、検証、及び／又は試験データの属性の分布に少なくとも基づいて１つ又は複数の属性を有する少なくとも１つのクラスのサンプルを生成するために使用され得る。
【0011】
前述のものなどの従来の手法とは対照的に、開示される手法は、どのようなタイプのデータが及びどのくらいの特定のタイプのデータがＭＬＭをトレーニング、検証、及び／又は試験するために必要とされるかを決定するための技法を提供する。少なくとも１つの実施形態において、ＭＬＭは、トレーニング・データ・セットを使用してトレーニングされ、評価され得る。ＭＬＭの全体的なパフォーマンスを評価するのではなくて、ＭＬＭのパフォーマンスは、特定の属性及び／又は属性の組合せに関してＭＬＭパフォーマンスを数値化する１つ又は複数のキー・パフォーマンス・インジケータ（ＫＰＩ：ｋｅｙ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｄｉｃａｔｏｒ）を使用して、評価され得る。属性ベースのＫＰＩは、ＭＬＭが絶対的及び／又は相対的なパフォーマンス閾値（たとえば、推論の精度閾値）未満で実行している、１つ又は複数の属性及び／又は属性の組合せを識別するために分析され得る。ＧＮＮは、識別された属性に対応する追加のトレーニング・データを生成するために使用され得る。たとえば、ＧＮＮは、各サンプルが複数の属性の合成を含み得る、１つ又は複数のサンプルを生成し得る。トレーニング・データは、ＭＬＭをトレーニングする際にトレーニング・データ・セットを拡張するために使用され得る。少なくとも１つの実施形態において、このプロセスは、ＫＰＩが、ＭＬＭが各属性及び／又は属性の組合せのパフォーマンス閾値以上で実行していることを示すなど、１つ又は複数の基準が満たされるまで、繰り返され得る。
【0012】
非限定的実例として、１つ又は複数の属性は、１つ又は複数の画像において描写された人の１つ又は複数の部分、たとえば、その人の年齢、その人の髪の長さ、その人の頭部の位置、その人が眼鏡をかけているかどうか、その人がひげを生やしているかどうか、その人の感情、その人の瞬目率、その人の瞼開度、その人のアイ・メイク、その人のまばたきの振幅、その人のまばたきの持続期間、その人の顔のパターン、その人がマスクをしているかどうか、その人の照明条件、又はその人の顔の表情を定義する１つ又は複数の属性、に関し得る。属性の他の実例には、物体背景及び／又は前景強調（たとえば、視覚的強調及び／又は焦点）が含まれる。
【0013】
１つ又は複数の画像において描写された人並びに／又は他の物体の内容及び／若しくは部分は、アプリケーションに応じて変化し得る。たとえば、顔識別、顔検出又は顔のランドマーク検出のためにＭＬＭをトレーニングするために、ＧＮＮによって生成され得る（又はＧＮＮによって生成されたより大きい画像からクロップされ得る）、全体の顔画像が使用され得る。目に基づいた眠気検出又は目の開閉検出のためにＭＬＭをトレーニングするために、目クロップ領域が、ＧＮＮによって生成され得る（又は、ＧＮＮによって生成されたより大きい画像からクロップされ得る）。これらのＭＬＭの出力は、車両、たとえば車両１１００、の１つ又は複数の動作（たとえば、運転者注意モニタリング、乗客プロファイル／アカウント管理など）を制御するために有用であり得るが、遥かに広い適応性を有する。
【0014】
本開示の態様はまた、ＭＬＭがトレーニングされた（たとえば、ＭＬＭをトレーニングするために使用されたトレーニング・データ・セットを拡張することを超えて）かどうかにかかわらず、ＭＬＭのためのデータ・セットを生成することを実現し得る。たとえば、初期トレーニング・データ・セットのうちの少なくともいくらかは、データ・セットにおいて表されることになる少なくとも１つのクラスに関連する特定の属性に少なくとも基づいて、生成され得る。追加で又は別法として、検証及び／又は試験データ・セットのうちの少なくともいくらかは、データ・セットにおいて表されることになる少なくとも１つのクラスに関連する特定の属性に少なくとも基づいて、生成され得る。
【0015】
１つ又は複数の実施形態において、ＧＮＮは、１セットの属性に少なくとも基づいてトレーニング、検証、及び／又は試験データ・セットの１つ又は複数の部分を生成するために使用され得る。たとえば、ＧＮＮは、トレーニング、検証、若しくは試験データ・セット及び／又はそれらのデータ・セットのうちの１つ又は複数がそこから形成される全体的データ・セットの望ましい属性及び／又は属性の組合せの分布に従ってトレーニング・データ・セットを生成するために使用され得る。そのような分布の一実例には属性及び／又は属性の組合せの均一な分布が含まれる。そのような手法を使用して、データ・セットは、属性に関連する特定のシナリオ向けにカスタマイズされ得る。
【0016】
開示される手法は、トレーニング、検証、及び／又は試験のために使用されるデータ・セットにおいて属性及び／又は属性の組合せの分布を定義及び／又は変更するために使用され得る。限定ではなく実例として、データの少なくとも８０％は、トレーニング（たとえば、９５％）のために予約され得、任意の残りのデータは、検証及び／又は試験のために使用され得る（たとえば、５％）。検証及び／又は試験データ・セットは、それらのシナリオの十分な試験データを含むように、少数しか存在しない属性及び／又はその組合せに対応する追加の１つ又は複数のサンプルを含むようにＧＮＮを使用して拡張され得る。
【0017】
本開示はさらに、トレーニング、検証、及び／又は試験データ・セットの１つ又は複数のサンプルを形成し得るビデオのフレームなどのデータ項目の経時的シーケンスを生成することを実現する。少なくとも１つの実施形態において、フレームのシーケンスのフレーム（又はより一般的にはサンプル）は、フレーム内で描写される（又はより一般的にはサンプルによって表される若しくは実施される）ことになる１つ又は複数の属性値の割り当てられたセットでもよい。属性値のセットは、１つ又は複数の属性値を使用して表されることになる１つ又は複数の経時的シナリオに少なくとも基づいて、決定され得る。たとえば、経時的シナリオが、フレームの属性値にマップされ得、１つ又は複数のＧＮＮが、フレームを生成して属性値に対応する視覚的情報を描写するために、使用され得る。経時的シナリオの非限定的実例には、１つ若しくは複数の瞬目パターン（たとえば、まばたきの頻度、振幅、速度、持続期間など）、１つ若しくは複数の顔のパターン（たとえば、あくびをしている、あくびをしていないなど）、及び／又は１つ若しくは複数の頭部位置（たとえば、うたた寝、警戒など）を含むシナリオが含まれる。
【0018】
少なくとも１つの実施形態において、経時的シナリオは、生成されたサンプルに少なくとも基づいてＭＬＭによって行われることになる１つ又は複数のグラウンド・トゥルース推論に対応し得る。限定ではなく実例として、ＭＬＭが、眠気レベルを推論することになる場合、眠気レベルは、１つ又は複数の属性値のセットにマップされ得る。様々な手法が、１つ又は複数のグラウンド・トゥルース推論に基づいて１つ又は複数の属性の経時的パターンを判定するために使用され得る。たとえば、属性及び／又は属性の組合せの経時的パターンは、現実世界の対応する経時的パターン、又は１つ若しくは複数のグラウンド・トゥルース推論に対応する観測データを分析すること及び／又は識別することに少なくとも基づいて、判定され得る。
【0019】
本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット若しくはロボティクス・プラットフォーム、倉庫車両、オフロード車両、１つ若しくは複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電動若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は、他の車両タイプによって使用されてもよいが、これらに限定されない。さらに、本明細書に記載のシステム及び方法は、様々な目的のために、限定ではなく実例として、マシン制御、マシン移動、マシン運転、合成データ生成、モデル・トレーニング、認知、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律又は半自律マシン・アプリケーション、深層学習、環境シミュレーション、物体若しくは行為者シミュレーション及び／若しくはデジタル・ツイン、データ・センタ処理、対話型ＡＩ、光輸送シミュレーション（たとえば、レイトレーシング、進路トレーシングなど）、３Ｄ資産の共同コンテンツ作成、クラウド・コンピューティング並びに／又は任意の他の適切なアプリケーションのために、使用され得る。
【0020】
開示される実施形態は、自動車システム（たとえば、自律又は半自律マシンの制御システム、自律又は半自律マシンの認知システム）、ロボットを使用して実装されるシステム、航空システム、医療システム、船舶システム、スマート・エリア・モニタリング・システム、深層学習動作を実行するためのシステム、シミュレーション動作を実行するためのシステム、デジタル・ツイン動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、１つ若しくは複数の仮想マシン（ＶＭ）を組み込むシステム、合成データ生成動作を実行するためのシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、対話型ＡＩ動作を実行するためのシステム、光輸送シミュレーションを実行するためのシステム、３Ｄ資産の共同コンテンツ作成を実行するためのシステム、クラウドの計算資源を少なくとも部分的に使用して実装されるシステム、及び／又は他のタイプのシステムなどの様々な異なるシステムに含まれ得る。
【0021】
図１を参照すると、図１は、本開示のいくつかの実施形態による、１つ又は複数のデータ・セットの属性制御可能な生成を用いて１つ又は複数の機械学習モデルを評価するために使用され得る例示的プロセス１００の図示である。様々な構成要素は、本明細書の図１及び他の図に示されている。本明細書に記載のこの構成及び他の構成は単なる実例として記載されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用されてもよく、いくつかの要素は、ともに除外されてもよい。さらに、本明細書に記載の要素の多数は、離散された若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施形態において、本明細書に記載のシステム、方法、及びプロセスは、図１１Ａ～１１Ｄの例示的自律型車両１１００、図１２の例示的計算デバイス１２００、及び／又は図１３の例示的データ・センタ１３００のそれらに類似の構成要素、特徴、及び／又は機能性を使用して実行され得る。
【0022】
図１は、１つ又は複数の機械学習モデル（ＭＬＭ）１０４、出力分析器１０８、データ・セット判定器１１２、１つ又は複数の生成ＭＬＭ１１６、及びＭＬＭトレーナ１２０を含み得る、システムの構成要素を示す。
【0023】
高いレベルにおいて、プロセス１００は、ＭＬＭ１０４が１つ又は複数の入力、たとえば、データ・セット１２２（たとえば、トレーニング・データ・セット）の１つ又は複数のサンプル、を受信することと１つ又は複数の出力、たとえば、１つ又は複数の入力からの出力データ１２４（たとえば、テンソル・データ）、を生成することとを含み得る。図１に示すように、データ・セット１２２は、ＭＬＭトレーナ１２０によってＭＬＭ１０４に適用されてもよい。しかしながら、データ・セット１２２は、異なるＭＬＭトレーナによってＭＬＭ１０４に適用されてもよい。プロセス１００はまた、出力分析器１０８が１つ又は複数の入力、たとえば、出力データ１２４、を受信することと１つ又は複数の出力、たとえば、１つ又は複数の入力からのパフォーマンス・データ１２８（たとえば、少なくとも１つの属性の１つ又は複数のパフォーマンス・メトリックを表す）、を生成することとを含み得る。データ・セット判定器１１２は、１つ又は複数の入力、たとえば、パフォーマンス・データ１２８、を受信し、１つ又は複数の出力、たとえば、１つ又は複数の入力からの制御データ１３０（たとえば、少なくとも１つの属性の少なくとも１つの値に対応する少なくとも１つの入力）、を生成し得る。生成ＭＬＭ１１６は、１つ又は複数の入力、たとえば、制御データ１３０、を受信し、１つ又は複数の出力、たとえば、１つ又は複数の入力からの生成されたデータ・セット１３２、を生成し得る。プロセス１００は、任意の数の反復を繰り返し得る。その後の反復について、ＭＬＭトレーナ１２０は、１つ又は複数の前の反復から生成されたデータ・セット１３２の少なくとも一部をＭＬＭ１０４に適用してＭＬＭ１０４をトレーニングする及び／又は精緻化することができる。少なくとも１つの実施形態において、データ・セット判定器１１２は、ＭＬＭ１０４のパフォーマンスが十分であること及び／又は生成されたデータ・セット１３２を生成することなしに他の方法でプロセス１００を終了することをプロセス１００の任意のインスタンスにおいて判定し得る。ＭＬＭ１０４は、その判定に少なくとも基づいて、追加の検証、試験、及び／若しくは適応に配備されることができ、並びに／又はそれを受けることができる。
【0024】
ＭＬＭ１０４及び本明細書に記載の他のＭＬＭは、任意のタイプの機械学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ最近傍（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均法クラスタリング、ランダム・フォレスト、次元縮退アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ（ＬＳＴＭ）、ホップフィールド、ボルツマン、深層信念、デコンボリューション、敵対的生成、液体状態マシンなど）を使用する機械学習モデル、及び／又は他のタイプの機械学習モデル、を含み得る。様々な実例において、ＭＬＭは、１つ又は複数の畳み込みニューラル・ネットワークを含み得る。
【0025】
限定ではなく実例として、ＭＬＭ１０４は、１つ又は複数の顔検出ネットワーク、顔識別ネットワーク、顔のランドマーク検出ネットワーク、目の開閉分類ネットワーク、感情分類ネットワーク、及び／又は眠気検出ネットワークを含み得る。たとえば、ＭＬＭ１０４は、顔識別、顔検出、顔のランドマーク検出、目に基づいた眠気検出、及び／又は目の開閉検出若しくは分類のために、ＭＬＭトレーナ１２０を少なくとも部分的に使用して、トレーニングされ得る。
【0026】
データ・セット１２２は、トレーニング、検証、又は試験データを含み得る。たとえば、データ・セット１２２は、ＭＬＭ１０４をトレーニングするために、ＭＬＭ１０４を検証するために、又はＭＬＭ１０４を試験するためにＭＬＭトレーナ１２０によって使用され得る。同様に、プロセス１００の１つ又は複数の反復から生成されたデータ・セット１３２は、ＭＬＭ１０４をトレーニングするために、ＭＬＭ１０４を検証するために、又はＭＬＭ１０４及び／若しくは１つ或いは複数の他のＭＬＭを試験するために、ＭＬＭトレーナ１２０によって使用され得る。生成されたデータ・セット１３２は、プロセスの次の反復において適用され得、より一般的には、生成されたデータ・セット１３２からの１つ若しくは複数のサンプルが、ＭＬＭ１０４に適用され得、及び／又はＭＬＭ１０４に適用された１つ若しくは複数のサンプルを生成するために使用され得る。少なくとも１つの実施形態において、生成されたデータ・セット１３２からの１つ又は複数のサンプルが、データ・セット１２２及び／又は前にＭＬＭ１０４をトレーニングするために使用されたデータ・セットの１つ又は複数のサンプルを拡張するためにＭＬＭトレーナ１２０によって使用されてもよい。たとえば、ＭＬＭトレーナ１２０は、生成されたデータ・セット１３２からのサンプル及び前にＭＬＭ１０４をトレーニングするために使用されたデータ・セットからのサンプルを含む拡張されたデータ・セットを使用してＭＬＭ１０４を再トレーニングする（又は異なるＭＬＭをトレーニングする）ことができ、或いは、生成されたデータ・セット１３２からのサンプルを使用して、トレーニングされたＭＬＭ１０４を精緻化することができる。
【0027】
生成されたデータ・セット１３２のそのような適用は、プロセス１００の反復にわたって周期的に、連続して、順次に、又は任意の適切な規則性で生じ得る。１つ又は複数の実施形態において、データ・セット１２２は、トレーニング、検証、及び／又は試験のためのＭＬＭ１０４及び／若しくは１つ或いは複数の他のＭＬＭから選択され得る、並びに／又はそれらへの適用のために結合され得る、生成されたデータ・セット１３２の複数のインスタンスへのプロセス１００のいくつかの反復にわたりＭＬＭ１０４に適用され得る。
【0028】
１つ又は複数の実施形態において、データ・セット１２２及び／又は生成されたデータ・セット１３２は、プロセス１００においてＭＬＭトレーナ１２０によってＭＬＭ１０４に適用される１つ又は複数のサンプルを定義し得る。サンプルは、１つ又は複数の属性を有する少なくとも１つのクラス（たとえば、ＭＬＭ１０４の出力クラス）に対応し得る。顔の画像（たとえば、写真又はレンダリング）に関する推論を生成するために使用されている機械学習モデルの属性の実例には、限定ではなく実例として、年齢、民族性、長い／短い髪、髪の長さ、目の開閉、目の開き具合、眼鏡がある／ない、ひげがある／ない、頭部（又は他の体の部位）又は体の方向又はポーズ、照明条件（たとえば、陰になった、明るい、照明色、照明量など）、感情（たとえば、嬉しい、悲しい、ニュートラル（ｎｅｕｔｒａｌ）など）、アイ・メイクの存在及び／又はタイプ、及び／又は眠気レベルが含まれ得る。
【0029】
出力分析器１０８は、出力データ１２４を使用してパフォーマンス・データ１２８を生成するように構成され得る。出力データ１２４は、ＭＬＭ１０４からの１つ又は複数の出力を表し得る。少なくとも１つの実施形態において、出力データ１２４は、ＭＬＭ１０４からのテンソル・データの少なくとも一部を含み得る。出力分析器１０８は、出力データ１２４を分析することに少なくとも基づいて、パフォーマンス・データ１２８を生成し得る。出力データ１２４の分析は、様々な手法を使用して実行され得る。少なくとも１つの実施形態において、出力分析器１０８は、たとえば、ＭＬＭ１０４の１つ又は複数の推論された又は予測された出力（たとえば、ＭＬＭ１０４が推論するようにトレーニングされた又はトレーニングされている、１つ又は複数の出力）を決定するために、出力データ１２４のうちの少なくともいくらかを後処理することができる。出力分析器１０８は、後処理されたデータを分析してパフォーマンス・データ１２８を判定することができる。追加で又は別法として、出力分析器１０８は、出力データ１２４に少なくとも部分的に基づいてパフォーマンス・データ１２８を予測するようにトレーニングされた１つ又は複数のＭＬＭを使用して出力データ１２４の１つ又は複数の部分を分析することができる。
【0030】
少なくとも１つの実施形態において、出力分析器１０８は、出力データ１２４の分析に少なくとも基づいて、パフォーマンス・データ１２８の少なくとも一部によって表される１つ又は複数のパフォーマンス・メトリックを決定及び／又は生成することができる。出力分析器１０８を使用して決定されたパフォーマンス・メトリックは、出力データ１２４を生成するためにＭＬＭ１０４に適用されるサンプルの１つ又は複数の属性についてでもよく、サンプルのうちの少なくとも１つに対応してもよい。たとえば、ＭＬＭ１０４の全体的パフォーマンスを評価するのではなくて、出力分析器１０８は、特定の属性及び／又は属性の組合せの１つ又は複数の値に関してＭＬＭ１０４のパフォーマンスを数値化する及び／又はこれに対応する、１つ又は複数のキー・パフォーマンス・インジケータ（ＫＰＩ）を使用してＭＬＭ１０４のパフォーマンスを評価することができる。たとえば、顔検出ネットワークについて、ＫＰＩは、入力サンプルがマスクなしの人対マスクありの人（たとえば、存在する又は存在しないを表す値を有する第１の属性）、及び／又は短いひげを有する対長いひげを有する（たとえば、１つ又は複数のひげの長さを表す値を有する第２の属性）を描写したとき、顔は存在したとＭＬＭ１０４がどのくらい正確に予測したかに対応することができる。
【0031】
少なくとも１つの実施形態において、出力分析器１０８は、サンプルのグラウンド・トゥルース予測を使用してサンプルを評価して、ＭＬＭ１０４が１つ又は複数の対応するサンプルに関して正確な予測を行ったか不正確な予測を行ったかを示す１つ又は複数のパフォーマンス・メトリックを決定することができる。少なくとも１つの実施形態において、出力分析器１０８は、サンプルのグラウンド・トゥルース予測を使用してサンプルを評価して、ＭＬＭ１０４によって行われた予測が１つ又は複数の対応するサンプルの１つ又は複数のグラウンド・トゥルース予測にどのくらい近いかを示す１つ又は複数のパフォーマンス・メトリックを決定することができる。１つ又は複数のパフォーマンス・メトリックは、本明細書に記載のように、１つ又は複数の属性に対応し得る。たとえば、１つ又は複数の属性の１つ又は複数の値が、パフォーマンス・メトリックに対応する１つ又は複数のサンプルによって実施されると決定される及び／又は決定されたとき、１つ又は複数の属性のパフォーマンス・メトリックは、パフォーマンスを説明することができる。
【0032】
少なくとも１つの実施形態において、出力分析器１０８は、１つ又は複数のサンプルは１つ又は複数の属性及び／又はその値を表すことを示し得る、１つ又は複数のサンプルの属性ラベルを使用することができる。たとえば、各サンプルは、サンプルによって実施される又はサンプルに関連すると判定された１つ又は複数の属性及び／又は属性値でラベル付けされ得る。出力分析器１０８は、属性に対応する属性ラベルを有するサンプルを使用して、その属性に少なくとも部分的に基づくパフォーマンス・メトリックを計算することができる。属性ラベルのうちの１つ又は複数は、人のラベル付け及び／又はマシンのラベル付けを使用して（たとえば、１つ又は複数の属性及び／又はその値を予測するために１つ又は複数のＭＬＭを使用して）サンプルのうちの１つ又は複数に割り当てられ得る。
【0033】
様々なタイプのパフォーマンス・メトリックが、使用され得る。非限定的実例には、平均二乗誤差（ＭＳＥ：ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）、正規化されたＭＳＥ、ルートＭＳＥ、Ｒの二乗、真陽性率、偽陽性率、Ｆスコア又はＦ値、精度、適合率（ｐｒｅｃｉｓｉｏｎ）、再現性（ｒｅｃａｌｌ）、和集合に関する共通部分又はジャッカード係数、平均パーセンテージ・エラー、エラー率などに少なくとも基づくものが含まれる。単純な実例として、属性の５０％のパフォーマンス・メトリック値は、ＭＬＭ１０４はサンプルが属性に対応した（たとえば、対応する属性ラベルを有した）ときの時間の５０％の正確な予測を提供したことを出力分析器１０８が決定することに基づき得る。
【0034】
データ・セット判定器１１２は、パフォーマンス・データ１２８を分析して生成ＭＬＭ１１６の制御データ１３０を生成することができる。たとえば、データ・セット判定器１１２は、出力分析器１０８を使用して判定されるパフォーマンス・メトリック（たとえば、属性ベースのＫＰＩ）のうちの１つ又は複数に少なくとも基づいて制御データ１３０を生成することができる。データ・セット判定器１１２は、パフォーマンス・データ１２８の分析に少なくとも基づいて生成されたデータ・セット１３２の１つ又は複数の特性を判定し、生成されたデータ・セット１３２を製作するように１つ又は複数の特性に対応する制御データ１３０を提供することができる。
【0035】
少なくとも１つの実施形態において、データ・セット判定器１１２は、１つ又は複数のパフォーマンス・メトリックを分析してＭＬＭ１０４が絶対的及び／又は相対的パフォーマンス閾値未満で実行している１つ又は複数の属性及び／又は属性の組合せ及び／又は属性値を識別する。たとえば、属性（及び／又は属性値）は、少なくとも１つの他の属性のパフォーマンス・メトリックの値に対する属性（及び／又は属性値）のより低いパフォーマンスを示す属性（及び／又は属性値）のパフォーマンス・メトリックの値に少なくとも基づいてデータ・セット判定器１１２によって識別又は選択され得る。一実例では、属性及び／又は属性値を実行する３つの最悪のものであることに少なくとも基づいて及び／又は複数の属性及び／又は属性値のパフォーマンスに基づいて計算される閾値未満であるパフォーマンスに対応することに少なくとも基づいて属性又は属性値を選択する。追加で又は別法として、属性（及び／又は属性値）は、考慮されている属性（及び／又は属性値）に特有でなくてもよい、閾値に対する属性（及び／又は属性値）のより低いパフォーマンスを示す属性（及び／又は属性値）のパフォーマンス・メトリックの値に少なくとも基づいてデータ・セット判定器１１２によって識別又は選択され得る。一実例では、対応する推論精度が６５％未満であることに少なくとも基づいて任意の属性（及び／又は属性値）又は属性（及び／又は属性値）の組合せを選択する。
【0036】
追加で又は別法として、データ・セット判定器１１２は、パフォーマンス・データ１２８及び／又は出力データ１２４のパフォーマンスの１つ又は複数の部分、たとえば、１つ又は複数のパフォーマンス・メトリック及び／又は出力データ１２４又はＭＬＭへの入力としてそこから生成されたデータの１つ又は複数の部分、に少なくとも基づいて、１つ又は複数の特性を判定する及び／又は制御データ１３０を生成するようにトレーニングされた１つ又は複数のＭＬＭを含んでもよい。
【0037】
１つ又は複数の特性の一実例には、１つ又は複数の属性及び／又は属性（及び／又は属性値）の組合せを含むための生成されたデータ・セット１３２における大量のサンプルが含まれる。たとえば、属性（及び／又は属性値）のサンプルの数量は、その属性（及び／又は属性値）のパフォーマンス・メトリックの値に少なくとも基づき得る。限定ではなく実例として、数量は、閾値、たとえば、属性（及び／又は属性値）を識別又は選択するために使用される閾値、からの値の距離とともに増え得、或いはそうでなければ閾値からの値の距離に少なくとも基づき得る。追加で又は別法として、１つ又は複数の特性は、生成ＭＬＭ１１６を使用して生成されるサンプルの分布へのサンプルの割り当てを含み得る。たとえば、生成ＭＬＭ１１６を使用して生成されることになる固定の又は計算された数のサンプルが、属性、属性値、及び／又は属性の組合せの間で割り当てられ得る（たとえば、１つ又は複数のパフォーマンス・メトリックの対応する値に少なくとも基づいて）。限定ではなく実例として、属性（及び／又は属性値）の割り当ては、１つ又は複数の他の属性（及び／又は属性値）の値に対する属性（及び／又は属性値）のパフォーマンス・メトリックの値とともに増え得、或いはそうでなければ、パフォーマンス・メトリックの値に少なくとも基づき得る。属性について本明細書で説明されるものはまた、単一の属性又は属性の組合せ（合成属性）を参照してもよい。さらに属性値について本明細書で説明されるものは、単一の属性値又は属性の組合せ値を参照してもよい。
【0038】
様々な実例において、データ・セット判定器１１２は、属性の組合せによって形成された合成属性を不十分に実行することを識別するために、属性を横断してパフォーマンス・データ１２８（たとえば、１つ又は複数のパフォーマンス・メトリック）を分析し得る。それを行うことは、ＭＬＭ１０４をトレーニングするために使用されるデータにおいて十分に表されていないことがあるエッジケース又はコーナーケースを不十分に実行することを識別することを可能にし得る。たとえば、ＭＬＭ１０４は、子供が画像ＭＬＭ１０４に入力される画像内にいるとき、全体に上手く機能することができ、及び眼鏡をかけた人が画像ＭＬＭ１０４に入力される画像内にいるときに全体に上手く機能することができる。しかしながら、ＭＬＭ１０４は、眼鏡をかけた子供がＭＬＭ１０４に入力される画像内にいるとき、上手く機能しないことがある。実例として、ここで「子供」は、年齢属性に関するパフォーマンスを分析することに基づいてデータ・セット判定器１１２によって識別された特定の範囲の年齢値を参照し得る。別の実例として、「子供」は、子供が存在するか否かを示す及びデータ・セット判定器１１２によって識別される属性の２進値を参照し得る。このタイプの合成トレーニング・データは、ＭＬＭ１０４をトレーニングするために使用されるデータにおいて少数しか存在しなかった可能性がある。属性を横断してパフォーマンス・データ１２８を分析することによって、データ・セット判定器１１２は、これらのケースの１つ又は複数の追加のサンプルを生成することを判定し得る。
【0039】
本明細書に記載のように、少なくとも１つの実施形態において、データ・セット判定器１１２は、プロセス１００の任意のインスタンスにおいて、ＭＬＭ１０４のパフォーマンスは十分であること並びに／又はそうでなければプロセス１００及び／若しくはその反復は任意のポイントにおいて終了し得ること（たとえば、生成されたデータ・セット１３２を生成することなしに）を判定し得る。たとえば、パフォーマンス・データ１２８の分析は、データ・セット判定器１１２が生成されたデータ・セット１３２の属性及び／又は属性の組合せを選択しない結果をもたらし得、ＭＬＭ１０４は閾値レベルのパフォーマンスに達し得、プロセス１００が閾値の回数の反復を実行され得、及び／又は閾値の個数のサンプルが生成され得る。
【0040】
１つ又は複数の実施形態において、生成ＭＬＭ１１６の制御データ１３０は、少なくとも１つの値を有する少なくとも１つの属性を実施する１つ又は複数のサンプルを生成ＭＬＭ１１６に生成させる、少なくとも１つの属性に対応する生成ＭＬＭ１１６への少なくとも１つの入力を表し得る。眼鏡をかけた子供の実例を使用して、少なくとも１つの入力は、眼鏡をかけた子供を描写する１つ又は複数の画像を生成ＭＬＭ１１６に生成させ得る。少なくとも１つの値が、値の範囲に対応する場合、制御データ１３０は、ランダムにサンプリングする、範囲を示す、又は範囲から選択されるサンプルを他の方法で生成させることができる。１つ又は複数の実施形態において、生成ＭＬＭ１１６は、潜在空間における属性の合成的生成（たとえば、分布の合成）を実行し得る。
【0041】
任意の適切な生成ＭＬＭ及びプロセスが、生成されたデータ・セット１３２を生成するために使用され得るが、図２は、適切な手法の一実例を提供する。ここで図２を参照すると、図２は、本開示のいくつかの実施形態による、１つ又は複数の属性に基づいて１つ又は複数の機械学習モデルのデータを制御可能に生成するために使用され得る例示的プロセス２００の図示である。図２は、無条件のジェネレータ２０２、制御可能なジェネレータ２０４、及び属性分類子２０６を含み得る、システムの構成要素を示す。１つ又は複数の実施形態において、無条件のジェネレータ２０２、制御可能なジェネレータ２０４、及び属性分類子２０６は、図１の生成ＭＬＭ１１６の少なくとも一部を形成し得る。
【0042】
高いレベルにおいて、プロセス２００は、無条件のジェネレータが１つ又は複数の入力、たとえば、制御データ１３０の少なくとも一部（たとえば、１つ又は複数のサンプルを生成するために使用される１つ又は複数の入力）、を受信することと１つ又は複数の出力、１つ又は複数の入力からの出力データ２１２のような出力、を生成することとを含み得る。プロセス２００が、様々なセンサ様式、限定ではなく、たとえば、ＲＧＢセンサ、ＩＲセンサ、熱センサなど、において画像又はビデオを生成するために使用され得る。プロセス１００はまた、属性分類子２０６が１つ又は複数の入力、たとえば、出力データ２１２、を受信することと、１つ又は複数の出力、たとえば、属性ラベル２２０、を生成することとを含み得る。プロセス１００はまた、制御可能なジェネレータ２０４が１つ又は複数の入力、たとえば、出力データ２１２及び属性ラベル２２０、を受信することと、生成されたデータ・セット１３２の少なくとも一部を含み得る１つ又は複数の出力、たとえば、生成データ２１４、を生成することとを含み得る。
【0043】
少なくとも１つの実施形態において、少なくとも１つの入力は、サンプルによって実施されることになる属性の意味論を定義するエネルギ関数を使用してサンプルを生成する際に無条件のジェネレータ２０２（無条件の生成モデル）を導く。たとえば、エネルギベースのモデル（ＥＢＭ：ｅｎｅｒｇｙ－ｂａｓｅｄ ｍｏｄｅｌ）は、１セットの属性にわたる合成的生成を処理するために使用され得る。これは、合成画像ジェネレータを形成するために異なる意味論を表すＥＢＭにおいてエネルギ関数を結合する能力に少なくとも部分的に起因し得る。ＥＢＭは、公式化が事前トレーニングされた生成モデル、たとえば、無条件のジェネレータ２０２、の潜在空間において使用され得る、高解像度画像生成にそれらを拡張可能にすることを除いては、高解像度画像上の画素空間においてトレーニングすることが難しい可能性がある。無条件のジェネレータ２０２の非限定的実例には、１つ又は複数のスタイルＧＡＮ（ＳｔｙｌｅＧＡＮ：Ｓｔｙｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）が含まれる。１つ又は複数の実施形態において、無条件のジェネレータ２０２は、潜在空間内のポイントを中間潜在空間にマップするためにマッピング・ネットワークを含み得る。中間潜在空間が、無条件のジェネレータ２０２のジェネレータ・モデル内の各ポイントにおけるスタイルを制御するため、及びジェネレータ・モデル内の各ポイントにおける変動源としてのノイズの導入を制御するために使用され得る。
【0044】
事前トレーニングされたジェネレータを所与として、制御可能な生成は、属性分類子２０６をトレーニングすることによって、少なくとも部分的に、取得され得、そこで、制御可能なジェネレータ２０４は、潜在空間において効率的にサンプリングを実行し得る。新しい属性を導入するときにはいつでも、新しい属性のエネルギ関数は、スクラッチから生成モデルをトレーニングすることなしに新しいＥＢＭを形成するために、既存のエネルギ関数と結合され得る。そのようなプラグ・アンド・プレイの方法は、合成的生成における優れたパフォーマンスを有して、比較的単純で、トレーニングするのが速く、制御可能なジェネレータ２０４がサンプリングするのに効率的であり得る。
【0045】
１つ又は複数の実施形態において、ＥＢＭは、限界データ分布が黙示的分布によって示される、データ及び属性の結合空間において構築され得（たとえば、事前トレーニングされたＧＡＮジェネレータ）、そして、属性の条件的分布、所与のデータ、が、属性分類子２０６によって表される。再パラメータ化を使用して、ＥＢＭの公式化は、潜在的分布が知られているこの潜在空間（標準ガウス分布）において結合エネルギ関数を誘導し得る。属性分類子２０６は、次いで、この潜在空間において制御可能なジェネレータ２０４によって実行されるサンプリングで、たとえば、常微分方程式（ＯＤＥ）解法を使用して、このデータ空間においてトレーニングされるだけでよい可能性がある。したがって、制御可能性を追加することは、属性の意味論に基づいて属性分類子２０６をトレーニングすることのみを必要とし得る。
【0046】
ここで図３を参照すると、方法３００の各ブロック、及び本明細書に記載の他の方法は、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。方法は、実例として、特定のシステム及び／又はプロセスに関して説明されることがある。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又は任意の組合せのシステムによって追加で又は別法として実行され得る。
【0047】
図３は、本開示のいくつかの実施形態による、１つ又は複数の機械学習モデルの１つ又は複数の属性の１つ又は複数のパフォーマンス・メトリックを評価することに少なくとも基づいて１つ又は複数のサンプルを制御可能に生成するための方法３００を示すフロー図である。方法３００は、ブロックＢ３０２において、少なくとも１つのＭＬＭの出力に対応するデータを分析することを含む。たとえば、出力分析器１０８は、出力データ１２４を分析し得る。
【0048】
方法３００は、ブロックＢ３０４において、１つ又は複数のパフォーマンス・メトリックを評価することを含む。たとえば、データ・セット判定器１１２は、出力データ１２４を生成するためにＭＬＭ１０４に適用されるサンプルの１つ又は複数の属性の１つ又は複数のパフォーマンス・メトリックを、分析することに少なくとも基づいて、評価するために、パフォーマンス・データ１２８を使用し得る。
【0049】
方法３００は、ブロックＢ３０６において、少なくとも１つの属性の少なくとも１つの値を識別することを含む。たとえば、データ・セット判定器１１２は、評価することに少なくとも基づいて１つ又は複数の属性のうちの少なくとも１つの属性の少なくとも１つの値を識別し得る。
【0050】
方法３００は、ブロックＢ３０８において、少なくとも１つの入力を１つ又は複数の生成ＭＬＭに適用して少なくとも１つの値に対応する１つ又は複数のサンプルを生成することを含む。たとえば、データ・セット判定器１１２は、識別することに少なくとも基づいて、制御データ１３０を生成ＭＬＭ１１６に適用して少なくとも１つの値に対応する１つ又は複数のサンプルを生成し得る。
【0051】
方法３００は、ブロックＢ３１０において、１つ又は複数のサンプルを使用して少なくとも１つのＭＬＭをトレーニングすることを含む。たとえば、ＭＬＭトレーナ１２０は、１つ又は複数のサンプルをＭＬＭ１０４に適用することに少なくとも基づいてＭＬＭ１０４をトレーニングし得る。
【0052】
ここで図４を参照すると、図４は、本開示のいくつかの実施形態による、１つ又は複数のパフォーマンス・メトリック値を使用して１つ又は複数の属性の１つ又は複数のサンプルを制御可能に生成するための方法４００を示すフロー図である。方法４００は、ブロックＢ４０２において、少なくとも１つのＭＬＭに関連する１つ又は複数のパフォーマンス・メトリック値を生成することを含む。たとえば、出力分析器１０８は、ＭＬＭ１０４に適用された第１の１つ又は複数の画像において描写された１つ又は複数の物体の１つ又は複数の属性に対応する１つ又は複数のパフォーマンス・メトリック値を生成し得る。
【0053】
方法４００は、ブロックＢ４０４において、少なくとも１つのＭＬＭのパフォーマンスは少なくとも１つの属性の１つ又は複数の閾値未満であると判定することを含む。たとえば、データ・セット判定器１１２は、パフォーマンス・メトリック値のうちの１つ又は複数を使用して、ＭＬＭ１０４のパフォーマンスは１つ又は複数の属性のうちの少なくとも１つの属性の少なくとも１つの値の１つ又は複数の閾値未満であると判定し得る。
【0054】
方法４００は、ブロックＢ４０６において、少なくとも１つの入力を１つ又は複数の生成ＭＬＭに適用して少なくとも１つの属性に対応する１つ又は複数のサンプルを生成することを含む。たとえば、データ・セット判定器１１２は、制御データ１３０を生成ＭＬＭ１１６に適用して、パフォーマンスが少なくとも１つの値の１つ又は複数の閾値未満であることに少なくとも基づいて少なくとも１つの値に対応する１つ又は複数のサンプルを生成し得る。
【0055】
方法４００は、ブロックＢ４０８において、１つ又は複数のサンプルを使用して少なくとも１つのＭＬＭをトレーニングすることを含む。たとえば、ＭＬＭトレーナ１２０は、１つ又は複数のサンプルを使用してＭＬＭ１０４をトレーニングし得る。
【0056】
ここで図５を参照すると、図５は、本開示のいくつかの実施形態による、１つ又は複数の属性の経時的パターンに基づいて１つ又は複数の機械学習モデルのデータを制御可能に生成するために実行され得る例示的プロセス５００の図示である。
【0057】
プロセス５００は、拡張、トレーニング、検証、及び／又は試験データ・セット、たとえば、生成されたデータ・セット１３２又は本明細書に記載の他のデータ・セット、の１つ又は複数のサンプルを形成し得る、ビデオのフレームなどのデータ項目の経時的シーケンスを生成するために使用され得る。少なくとも１つの実施形態において、データ・セット判定器１１２は、フレーム内で描写されることになる１つ又は複数の属性値のフレーム・セットのシーケンスのフレームを割り当て得る。属性値のセットは、１つ又は複数の属性値を使用して表されることになる１つ又は複数の経時的シナリオに少なくとも基づいて決定され得る。たとえば、データ・セット判定器１１２は、経時的シナリオをフレームの属性値にマップし得、生成ＭＬＭ１１６が、属性値に対応する視覚的情報を描写するためのフレームを生成するために、使用され得る。
【0058】
ここで図６を参照すると、図６は、本開示のいくつかの実施形態による、経時的シナリオの少なくとも一部をキャプチャするために生成され得るフレームの一実例の図示である。たとえば、図６は、フレームへの属性値割り当ての属性値セットを使用して、生成ＭＬＭ、たとえば、生成ＭＬＭ１１６、を使用して生成され得る、フレーム６１０Ａ、６１０Ｂ、６１０Ｃ、６１０Ｄ、及び６１０Ｄ（「フレーム６１０」とも称される）のシーケンスを含むビデオ６００を示す。１つ又は複数の実施形態において、フレーム６１０のフレームのうちの少なくとも１つが、補間を使用して、生成され得る。フレーム６１０は、アニメーションを形成し得、そこで、属性値のうちの少なくともいくつかが、フレーム６１０を横断して、ビデオ６００の１つ又は複数の態様をアニメーション化させるように構成され得る。限定ではなく実例として、フレーム６１０の属性値は、頭部位置及び閉眼のパーセンテージの値を含む。これらの属性が、フレーム３１０を横断する１つ又は複数の経時的シナリオ、たとえば、眠気、をシミュレーションするために使用され得る。たとえば、眠気は、うたた寝をシミュレーションするために頭部位置及びまばたき又は他の目のパターンを制御することに少なくとも基づいてシミュレーションされ得る。少なくとも１つの実施形態において、ＭＬＭ１０４及び／又は別のＭＬＭが、シミュレーションされた経時的シナリオを使用して経時的シナリオ（たとえば、存在、可能性、レベルなど）の１つ又は複数の態様を予測する又は推論するようにトレーニングされ得る。限定ではなく実例として、プロセス５００は、経時的シナリオに関連する属性の経時的パターン及び／又は他の特性を識別するために使用され得る。
【0059】
図５は、データ・セット分析器５０２及びフレーム属性判定器５０４を含み得る、システムの構成要素を示す。高いレベルにおいて、プロセス５００は、データ・セット分析器５０２が１つ又は複数の入力、たとえば、参照データ・セット５０８（たとえば、１つ又は複数の経時的シナリオを表すことが知られ得る、現実世界のデータ・セット）の１つ又は複数のサンプル、を受信することと、１つ又は複数の出力、たとえば、１つ又は複数の入力からの経時的パターン５１２、を生成することとを含み得る。プロセス５００はまた、フレーム属性判定器５０４が１つ又は複数の入力、たとえば、経時的パターン５１２、を受信することと、１つ又は複数の出力、たとえば、１つ又は複数の入力からのフレーム属性５１６（たとえば、１つ又は複数のフレームの）、を生成することとを含み得る。フレーム属性５１６に対応する、生成されたデータ・セット５３２が、製作され得る。少なくとも１つの実施形態において、フレーム属性判定器５０４は、図１のデータ・セット判定器１１２の一部でもよい。したがって、生成されたデータ・セット５３２は、図１の生成されたデータ・セット１３２に対応し得る。しかしながら、１つ又は複数の実施形態において、プロセス５００は、プロセス１００と一緒に使用される必要はない。任意の実施形態において、生成ＭＬＭ１１６が、生成されたデータ・セット５３２を製作するために使用され得る。
【0060】
１つ又は複数の実施形態において、参照データ・セット５０８は、現実世界のデータ及び／又はシミュレーションされたデータを含み得る。限定ではなく実例として、参照データ・セット５０８は、１つ又は複数の経時的シナリオ、たとえば、眠気又は眠たさ、をキャプチャし得る、疲労又は眠気データを含み得る。たとえば、参照データ・セット５０８は、フレームの各セットが経時的シナリオ及び／又は経時的シナリオの１つ又は複数の値でラベル付けされている又は他の方法でそれと関連付けられている、ビデオを形成するフレームのセット（たとえば、２４フレーム／秒、３０フレーム／秒、６０フレーム／秒などで１分の長さにわたる）を含み得る。本実例では、１つ又は複数の値は、カロリンスカ眠気尺度（ＫＳＳ：Ｋａｒｏｌｉｎｓｋａ Ｓｌｅｅｐｉｎｅｓｓ Ｓｃａｌｅ）、エプワース眠気尺度（ＥＳＳ：Ｅｐｗｏｒｔｈ Ｓｌｅｅｐｉｎｅｓｓ Ｓｃａｌｅ）、スタンフォード眠気尺度（ＳＳＳ：Ｓｔａｎｆｏｒｄ Ｓｌｅｅｐｉｎｅｓｓ Ｓｃａｌｅ）、ジョン眠気尺度（ＪＤＳ：Ｊｏｈｎｓ Ｄｒｏｗｓｉｎｅｓｓ Ｓｃａｌｅ）、及び／又は観測者格付け眠気（ＯＲＤ：Ｏｂｓｅｒｖｅｒ Ｒａｔｅｄ Ｄｒｏｗｓｉｎｅｓｓ）に対応する値、状態、及び／又はレベルを描写してもよく、並びにそれらと関連付けられてもよく、及び／又はそれらを割り当てられてもよい。データ・セット分析器５０２が、生成ＭＬＭを使用して参照データ・セット５０８のそれらの態様をシミュレーションするためにフレーム属性５１６を生成するようにそれらの経時的シナリオ及び／又は値に対応する１つ又は複数の属性の１つ又は複数の経時的パターンを決定するために使用され得る。たとえば、フレーム属性判定器５０４は、ビデオ６００を生成するために、データ・セット分析器５０２がＫＳＳレベルの８及び／又はＯＲＤ状態の「眠くない」と関連付けた、経時的パターン５１２を使用して、フレームのフレーム属性５１６を決定し得る。ビデオ６００は、次いで、ビデオを使用してＫＳＳレベル及び／又はＯＲＤ状態を予測するために、たとえば、ＭＬＭ１０４などの１つ又は複数のＭＬＭをトレーニングするために、使用され得る。１つ又は複数の実施形態において、フレーム属性５１６を決定するために使用されるＫＳＳレベル及び／又はＯＲＤ状態が、ビデオのグラウンド・トゥルースとして使用され得る。
【0061】
図５は、経時的パターン５１２の非限定的実例を示し、その実例には瞬目率５１２Ａ、閉眼パーセンテージ５１２Ｂ、まばたきの振幅５１２Ｃ、あくびの頻度５１２Ｄ、まばたきの持続期間５１２Ｅ、及び目の速度２１２Ｆが含まれる。ここで図７を参照すると、図７は、本開示のいくつかの実施形態による、経時的パターン５１２のうちの１つ又は複数が参照データ・セット５０８からどのように抽出され得るかの実例を説明するために使用される図示である。
【0062】
図７は、参照データ・セット５０８のビデオに属し得る、及び経時的パターン５１２のうちの１つ又は複数を決定するためにデータ・セット分析器５０２を使用して分析され得る、フレーム７００のフレーム７００Ａ及びフレーム７００Ｂを示す。少なくとも１つの実施形態において、データ・セット分析器５０２は、フレーム７００内の１つ又は複数のランドマークを決定し、フレーム７００のうちの１つ又は複数にわたり１つ又は複数のランドマークを測定又はそうでなければ追跡若しくは監視して１つ又は複数の経時的パターンを決定するようにしてもよい。ランドマークの実例には、フレームのうちの１つ又は複数の１つ又は複数の属性（たとえば、フレームにわたる経時的パターン）を決定するために測定及び／又は評価され得る、ランドマーク・ポイントＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ６、及びＰ６が含まれる。ランドマーク・ポイントは、任意の適切な手法、たとえば、ランドマークを識別するようにトレーニングされたランドマークＭＬＭ、を使用して、決定され得る。
【0063】
少なくとも１つの実施形態において、データ・セット分析器５０２は、１つ又は複数のフレームの１つ又は複数の属性値を決定し、次いで、属性値を経時的に分析して経時的パターンのうちの１つ又は複数を決定することができる。たとえば、図７は、経時的な属性の属性値７１０のグラフ７０４を示す。少なくとも１つの実施形態において、属性値７１０は、式（１）を使用してデータ・セット分析器５０２によって計算され得る：
【数1】
【0064】
データ・セット分析器５０２は、単位秒あたりのまばたきの数として瞬目率５１２Ａを計算するために属性値７１０を使用し得、フレーム３及び７は、データ・セット分析器５０２が属性値７１０からまばたきについて識別し得る開始及び終わり時間の実例である。別の実例として、データ・セット分析器５０２は、属性値７１０が閉じた目を示すフレーム７００、たとえば、フレーム７００Ｂ、のパーセンテージとして閉眼パーセンテージ５１２Ｂを計算するために、属性値７１０を使用し得る。データ・セット分析器５０２は、まばたきの測定された持続期間７２０に少なくとも基づいてまばたきの振幅５１２Ｃを計算するために、属性値７１０を使用し得る。たとえば、まばたきの振幅５１２Ｃは、式（２）を使用して計算され得る：
そこで、Ａｓｔａｒｔは、まばたきの開始における属性値であり、Ａｂｏｔｔｏｍは、まばたきの下限における属性値であり、Ａｅｎｄは、まばたきの終わりにおける属性値である。
【数2】
そこで、Ａｓｔａｒｔは、まばたきの開始における属性値であり、Ａｂｏｔｔｏｍは、まばたきの下限における属性値であり、Ａｅｎｄは、まばたきの終わりにおける属性値である。
【0065】
データ・セット分析器５０２は、まばたきの測定された開始、下限、及び終わりのフレームに少なくとも基づいて目の速度５１２Ｆを計算するために、属性値７１０を使用し得る。たとえば、目の速度５１２Ｆは、式（３）を使用して計算され得る：
【数3】
【0066】
類似の手法が、たとえば、うなずくパターンの頭部のポーズ、あくびパターンの口のランドマークなどを使用して、他の経時的パターンを決定するために使用され得る。開示される実施形態は、フレーム又は画像に対応するサンプルに関して主に説明されているが、開示される手法は、他の形のサンプル及び／又は経時的シーケンス、たとえば、オーディオ・サンプル、マルチメディア・サンプル、及び／又はＭＬＭへの入力として適用され得る任意の形のサンプル、に適用され得る。
【0067】
ここで図８を参照すると、図８は、本開示のいくつかの実施形態による、１つ又は複数の経時的パターンを１つ又は複数の経時的シナリオと関連付けることに少なくとも基づいて１つ又は複数のサンプルを制御可能に生成するための方法８００を示すフロー図である。方法８００は、ブロックＢ８０２において、１つ又は複数の属性の１つ又は複数の経時的パターンを１つ又は複数の経時的シナリオと関連付けることを含む。たとえば、データ・セット分析器５０２は、経時的シナリオ（及び／又はその値）の参照データ・セット５０８を分析して経時的シナリオに関連する経時的パターン５１２を決定し得る。
【0068】
方法８００は、ブロックＢ８０４において、１つ又は複数の経時的属性が１つ又は複数の経時的シナリオに関連していることに少なくとも基づいて１つ又は複数の属性の値をサンプルのシーケンスに割り当てることを含む。たとえば、フレーム属性判定器５０４は、経時的シナリオに関連する経時的パターン５１２を使用して１つ又は複数のシーケンスのフレームのフレーム属性５１６を判定し、フレーム属性５１６を１つ又は複数のシーケンスのフレームの各フレームに割り当て得る。
【0069】
方法８００は、ブロックＢ８０６において、割り当てられた値を使用するサンプルのシーケンスを、１つ又は複数の生成ＭＬＭを使用して、生成することを含む。たとえば、生成ＭＬＭ、たとえば生成ＭＬＭ１１６など、がフレームの１つ又は複数のシーケンスを生成するために使用されてもよい。
【0070】
方法８００は、ブロックＢ８０８において、サンプルのシーケンスを使用して少なくとも１つのＭＬＭをトレーニングすることを含む。たとえば、ＭＬＭ１０４及び／又は別のＭＬＭが、フレームの１つ又は複数のシーケンスを使用して、トレーニングされてもよい。
【0071】
図９は、本開示のいくつかの実施形態による、１つ又は複数のデータ・セットの属性制御可能な生成のために使用され得る例示的プロセス９００の図示である。プロセス９００は、１つ又は複数のデータ・セットの属性制御可能な生成のために使用され得る一般的手法を提供する。様々な実例において、プロセス９００が、拡張、試験、トレーニング（初期トレーニング及び／又は再トレーニング）、及び／又は検証のための生成されたデータ・セット９３２の１つ又は複数のサンプルを生成するために、使用され得る。たとえば、プロセス９００は、入力データ９０２が制御データ１３０を生成するためにデータ・セット判定器１１２に提供されることと、制御データ１３０が生成されたデータ・セット９３２を製作するために生成ＭＬＭ１１６に適用されることとを含む。
【0072】
図１に示すように、プロセス９００は、プロセス１００に含まれてもよく、そこで、入力データ９０２は、パフォーマンス・データ１２８を含み、生成されたデータ・セット９３２は、生成されたデータ・セット１３２を含む。また、図５に示すように、プロセス９００は、プロセス５００に含まれてもよく、そこで、入力データ９０２は、参照データ・セット５０８及び／又は経時的パターン５１２を含み、生成されたデータ・セット５３２は、生成されたデータ・セット１３２を含む。たとえば、データ・セット判定器１１２は、データ・セット分析器５０２及び／又はフレーム属性判定器５０４を含んでもよい。プロセス５００は、経時的パターンを含むが、プロセス５００は、経時的パターン５１２を含んでもよく、含まなくてもよい、参照データ・セットの１つ又は複数の特性（たとえば、属性分布、属性ｐｒｅｓｅｎｔ、コーナーケースなど）を決定するためにデータ・セット分析器５０２分析器、参照データ・セット５０８をより一般には含み得る。さらに、フレーム属性判定器５０４は、より一般的には、１つ又は複数の特性に少なくとも基づいて１つ又は複数のサンプルの１つ又は複数の属性を判定するために使用され得る。
【0073】
本明細書に記載のように、入力データ９０２は、生成されたデータ・セット９３２に含まれることになる属性のセットを含む及び／又は示すことができる。パフォーマンス・データ１２８は、生成されたデータ・セット９３２に含まれることになる属性のセットを示す入力データ９０２の一実例である。さらなる実例として、入力データ９０２は、属性のリストを含み得る。たとえば、コンプライアンス試験において、試験のために使用されることになる属性のセットが、多くの場合提供される。他の実例において、入力データ９０２は、ＫＳＳ９に達する運転者の眠気レベルなどの少数しか存在しない（たとえば、１データ・セット内に）試験シナリオを含んでもよい。開示される手法を使用して、データ・セット判定器１１２は、属性のセットを含む生成されたデータ・セット９３２を製作するために、制御データ１３０を判定し得る。たとえば、データ・セット判定器１１２は、トレーニング、検証、及び／若しくは試験データ・セット並びに／又はそれらのデータ・セットのうちの１つ又は複数がそこから形成されるデータ・セット全体にとって望ましい属性の分布及び／又は属性の組合せに従ってデータ・セットを生成するために、生成ＭＬＭ１１６を使用し得る。そのような分布の一実例には、属性の均一な分布及び／又は属性の組合せが含まれる。そのような手法を使用して、データ・セットは、属性に関連する特定のシナリオに合わせてカスタマイズされ得る。
【0074】
追加で又は別法として、データ・セット判定器１１２は、生成されたデータ・セット９３２を製作するために、並びに拡張、トレーニング、検証、及び／又は試験のために使用されるデータ・セットにおける属性の分布及び／又は属性の組合せを定義するため及び／又は変更するために、生成ＭＬＭ１１６を使用し得る。限定ではなく実例として、データの少なくとも８０％が、トレーニングのために予約され得（たとえば、９５％）、任意の残りのデータが、検証及び／又は試験のために使用され得る（たとえば、５％）。検証及び／又は試験データ・セットは、それらのシナリオの十分な試験データを含むように少数しか存在しない属性及び／又はその組合せに対応する追加の１つ又は複数のサンプルを含むようにＧＮＮを使用して拡張され得る。
【0075】
少なくとも１つの実施形態において、入力データ９０２は、たとえば、１つ又は複数のクラスの１つ又は複数のサブジェクト（たとえば、ランダムに生成され得る及び／又は現実世界のデータからでもよい、異なる顔）を含み得る、１つ又は複数のサンプルを含み得る。データ・セット判定器１１２は、各サブジェクトについて、生成されたデータ・セットのための対応するサンプルを製作するためにサブジェクトの１つ又は複数の属性を変更し得る。たとえば、１セットのサブジェクト及び属性について、データ・セット判定器１１２は、生成ＭＬＭ１１６を使用して、属性のそれぞれの可能な組合せのサンプルを、各サブジェクトについて、製作し得る。生成されたデータ・セット９３２は、拡張、試験、トレーニング（初期トレーニング及び／又は再トレーニング）、及び／又は検証のために使用され得る。たとえば、ＭＬＭ１０４は、サブジェクトを使用して初期トレーニングされ得、次いで生成されたデータ・セット９３２を使用してトレーニングされ得、或いはＭＬＭ１０４は、生成されたデータ・セット９３２からの少なくとも１つ又は複数のサンプルを使用して、最初にトレーニングされ得る。
【0076】
ここで図１０を参照すると、図１０は、本開示のいくつかの実施形態による、入力データを分析することに少なくとも基づいて１つ又は複数のサンプルを制御可能に生成するための方法１０００を示すフロー図である。方法１０００は、ブロックＢ１００２において、入力データを受信することを含む。たとえば、データ・セット判定器１１２は、入力データ９０２を受信し得る。方法１０００は、ブロックＢ１００４において、入力データを分析することを含む。たとえば、データ・セット判定器１１２は、入力データ９０２を分析してもよい。方法１０００は、ブロックＢ１００６において、分析に少なくとも基づいて１つ又は複数のサンプルを、１つ又は複数の生成ＭＬＭを使用して、生成することを含む。たとえば、データ・セット判定器１１２は、分析に少なくとも基づいて、生成ＭＬＭ１１６を使用して、生成されたデータ・セット９３２の１つ又は複数のサンプルを生成してもよい。方法１０００は、ブロックＢ１００８において、サンプルのうちの１つ又は複数を少なくとも１つのＭＬＭに適用することを含む。たとえば、サンプルのうちの１つ又は複数は、トレーニング、検証、及び／又は試験のためにＭＬＭ１０４に適用されてもよい。
【0077】
（例示的自律型車両）
図１１Ａは、本開示のいくつかの実施形態による、例示的自律型車両１１００の図示である。自律型車両１１００（或いは、本明細書で「車両１１００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトルバス、電動若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両１１００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。車両１１００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性の能力を有し得る。たとえば、車両１１００は、実施形態に応じて、運転者支援（レベル１）、部分的自動化（レベル２）、条件的自動化（レベル３）、高い自動化（レベル４）、及び／又は完全な自動化（レベル５）の能力を有し得る。本明細書では「自律」という用語は、車両１１００又は他のマシンの任意の及び／又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
図１１Ａは、本開示のいくつかの実施形態による、例示的自律型車両１１００の図示である。自律型車両１１００（或いは、本明細書で「車両１１００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトルバス、電動若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両１１００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。車両１１００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性の能力を有し得る。たとえば、車両１１００は、実施形態に応じて、運転者支援（レベル１）、部分的自動化（レベル２）、条件的自動化（レベル３）、高い自動化（レベル４）、及び／又は完全な自動化（レベル５）の能力を有し得る。本明細書では「自律」という用語は、車両１１００又は他のマシンの任意の及び／又はすべてのタイプの自律性、たとえば、完全に自律していること、高度に自律していること、条件的に自律していること、部分的に自律していること、補助的自律を提供すること、半自律していること、主として自律していること、又は他の指定、を含み得る。
【0078】
車両１１００は、車両のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両１１００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム１１５０を含み得る。推進システム１１５０は、車両１１００の推進力を有効にするために、トランスミッションを含み得る、車両１１００のドライブ・トレインに接続され得る。推進システム１１５０は、スロットル／加速装置１１５２からの信号の受信に応答して制御され得る。
【0079】
ハンドルを含み得る、ステアリング・システム１１５４は、推進システム１１５０が動作しているときに（たとえば、車両が移動中のときに）車両１１００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム１１５４は、ステアリング・アクチュエータ１１５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
【0080】
ブレーキ・センサ・システム１１４６は、ブレーキ・アクチュエータ１１４８及び／又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
【0081】
１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）１１０４（図１１Ｃ）及び／又はＧＰＵを含み得る、コントローラ１１３６は、車両１１００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ１１４８を介して車両ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ１１５６を介してステアリング・システム１１５４を動作させて、１つ又は複数のスロットル／加速装置１１５２を介して推進システム１１５０を動作させるために、信号を送ることができる。コントローラ１１３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の車両１１００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ１１３６は、自律運転機能のための第１のコントローラ１１３６、機能的安全性機能のための第２のコントローラ１１３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１１３６、インフォテインメント機能のための第４のコントローラ１１３６、緊急状態における冗長性のための第５のコントローラ１１３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ１１３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ１１３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
【0082】
コントローラ１１３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して車両１１００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、限定ではなく実例として、全地球的航法衛星システム・センサ１１５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ１１６０、超音波センサ１１６２、ＬＩＤＡＲセンサ１１６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１１６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１１９６、ステレオ・カメラ１１６８、ワイド・ビュー・カメラ１１７０（たとえば、魚眼カメラ）、赤外線カメラ１１７２、サラウンド・カメラ１１７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ１１９８、スピード・センサ１１４４（たとえば、車両１１００のスピードを測定するための）、振動センサ１１４２、ステアリング・センサ１１４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム１１４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
【0083】
コントローラ１１３６のうちの１つ又は複数のコントローラは、車両１１００の計器群１１３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１１３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は車両１１００の他の構成要素を介して提供することができる。出力は、車両速度、スピード、時間、マップ・データ（たとえば、図１１ＣのＨＤマップ１１２２）、位置データ（たとえば、マップ上などの、車両の１１００の位置）、方向、他の車両の位置（たとえば、占有グリッド）、コントローラ１１３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ１１３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は車両が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
【0084】
車両１１００はさらに、１つ若しくは複数のワイヤレス・アンテナ１１２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース１１２４を含む。たとえば、ネットワーク・インターフェース１１２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ１１２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、車両、モバイル・デバイスなど）の間の通信を可能にすることができる。
【0085】
図１１Ｂは、本開示のいくつかの実施形態による、図１１Ａの例示的自律型車両１１００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施形態であり、限定することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは車両１１００の異なる位置に置かれ得る。
【0086】
カメラのカメラ・タイプは、車両１１００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施形態に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施形態では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
【0087】
いくつかの実例では、カメラのうちの１つ又は複数が、先進運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
【0088】
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
【0089】
車両１１００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物を識別するのを助け、１つ若しくは複数のコントローラ１１３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい車両進路の決定に不可欠な情報を提供するのを助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキング、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律的クルーズ制御（ＡＣＣ：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
【0090】
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー撮像装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からの視界に入る物体を把握するために使用され得るワイド・ビュー・カメラ１１７０でもよい。図１１Ｂにはワイド・ビュー・カメラは１つだけ示されているが、車両１１００には任意の数のワイド・ビュー・カメラ１１７０が存在し得る。加えて、長距離カメラ１１９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）は、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ１１９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
【0091】
１つ又は複数のステレオ・カメラ１１６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ１１６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の３Ｄマップを生成するために使用され得る。代替となるステレオ・カメラ１１６８は、２個のカメラ・レンズ（左と右に１個ずつ）と、車両から対象物体までの距離を測定する並びに生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキング及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ１１６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
【0092】
車両１１００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側方衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ１１７４（たとえば、図１１Ｂに示されるような４個のサラウンド・カメラ１１７４）は、車両１１００上に位置付けられ得る。サラウンド・カメラ１１７４は、ワイド・ビュー・カメラ１１７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、３個のサラウンド・カメラ１１７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
【0093】
車両１１００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ１１９８、ステレオ・カメラ１１６８、赤外線カメラ１１７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
【0094】
図１１Ｃは、本開示のいくつかの実施形態による、図１１Ａの例示的自律型車両１１００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの配置及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、離散された若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
【0095】
図１１Ｃの車両１１００の構成要素、特徴、及びシステムのそれぞれは、バス１１０２を介して接続されるものとして図示されている。バス１１０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、本明細書では「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキング、ステアリング、フロントガラス・ワイパなどの作動など、車両１１００の様々な特徴及び機能の制御を助けるために使用される車両１１００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状況インジケータを見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
【0096】
バス１１０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは限定することを意図されていない。たとえば、ＣＡＮバスに加えて、又はその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス１１０２を表すために使用されているが、これは限定することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス１１０２が存在し得る。いくつかの実例では、２個以上のバス１１０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス１１０２は衝突回避機能のために使用されてもよく、第２のバス１１０２は作動制御のために使用されてもよい。任意の実例において、各バス１１０２は、車両１１００の構成要素のいずれかと通信し得、２個以上のバス１１０２が同じ構成要素と通信し得る。いくつかの実例では、車両内の各ＳｏＣ１１０４、各コントローラ１１３６、及び／又は各コンピュータは、同じ入力データ（たとえば、車両１１００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
【0097】
車両１１００は、図１１Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ１１３６を含み得る。コントローラ１１３６は、様々な機能のために使用され得る。コントローラ１１３６は、車両１１００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両１１００、車両１１００の人工知能、車両１１００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
【0098】
車両１１００は、システム・オン・チップ（ＳｏＣ）１１０４を含み得る。ＳｏＣ１１０４は、ＣＰＵ１１０６、ＧＰＵ１１０８、プロセッサ１１１０、キャッシュ１１１２、加速装置１１１４、データ・ストア１１１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ１１０４は、様々なプラットフォーム及びシステム内の車両１１００を制御するために使用され得る。たとえば、ＳｏＣ１１０４は、１つ又は複数のサーバ（たとえば、図１１Ｄのサーバ１１７８）からネットワーク・インターフェース１１２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ１１２２を有するシステム（たとえば、車両１１００のシステム）において結合され得る。
【0099】
ＣＰＵ１１０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、本明細書では「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ１１０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施形態では、ＣＰＵ１１０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施形態では、ＣＰＵ１１０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ１１０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１１０６のクラスタの任意の組合せが所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
【0100】
ＣＰＵ１１０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ１１０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
【0101】
ＧＰＵ１１０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ１１０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ１１０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ１１０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、Ｌ２キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施形態では、ＧＰＵ１１０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ１１０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ１１０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡ（登録商標）のＣＵＤＡ）を使用することができる。
【0102】
ＧＰＵ１１０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ１１０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは限定することを意図されておらず、ＧＰＵ１１０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合適合率処理コアを組み込むことができる。限定ではなく実例として、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合適合率ＮＶＩＤＩＡ ＴＥＮＳＯＲ ＣＯＲＥｓ、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつパフォーマンスを向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
【0103】
ＧＰＵ１１０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
【0104】
ＧＰＵ１１０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ１１０８がＣＰＵ１１０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ１１０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ１１０６に送信され得る。応答して、ＣＰＵ１１０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ１１０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ１１０６とＧＰＵ１１０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ１１０８へのアプリケーションのＧＰＵ１１０８プログラミング及びポーティングを単純化する。
【0105】
加えて、ＧＰＵ１１０８は、他のプロセッサのメモリへのＧＰＵ１１０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
【0106】
ＳｏＣ１１０４は、本明細書に記載のものを含む任意の数のキャッシュ１１１２を含み得る。たとえば、キャッシュ１１１２は、ＣＰＵ１１０６とＧＰＵ１１０８との両方に利用可能な（たとえば、ＣＰＵ１１０６とＧＰＵ１１０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ１１１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施形態に応じて、４ＭＢ以上を含み得る。
【0107】
ＳｏＣ１１０４は、車両１１００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ１１０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ若しくは数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ１１０６及び／又はＧＰＵ１１０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
【0108】
ＳｏＣ１１０４は、１つ又は複数の加速装置１１１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ１１０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ１１０８を補完するために及びＧＰＵ１１０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ１１０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置１１１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
【0109】
加速装置１１１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
【0110】
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、並びに／又は、セキュリティ及び／若しくは安全性関連イベントのためのＣＮＮ。
【0111】
ＤＬＡは、ＧＰＵ１１０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１１０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ１１０８及び／又は他の加速装置１１１４に任せることができる。
【0112】
加速装置１１１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、先進運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
【0113】
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施形態に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
【0114】
ＤＭＡは、ＣＰＵ１１０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
【0115】
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
【0116】
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施形態では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
【0117】
加速装置１１１４（たとえば、ハードウェア加速クラスタ）は、加速装置１１１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、限定ではなく実例として、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
【0118】
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
【0119】
いくつかの実例では、ＳｏＣ１１０４は、２０１８年８月１０日に出願された特許文献１に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施形態では、１つ又は複数のツリー・トラバース・ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
【0120】
加速装置１１１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
【0121】
たとえば、本技術の１つの実施形態によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは限定することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
【0122】
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、未加工の飛行時間のデータを処理して、処理済みの飛行時間のデータを提供することにより、飛行時間の深度処理に使用される。
【0123】
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又はさらなる検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関する他の決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動緊急ブレーキング（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、車両に緊急ブレーキングを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１１６４又はＲＡＤＡＲセンサ１１６０）から取得された物体の車両１１００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１１６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
【0124】
ＳｏＣ１１０４は、データ・ストア１１１６（たとえば、メモリ）を含み得る。データ・ストア１１１６は、ＳｏＣ１１０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア１１１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア１１１２は、Ｌ２又はＬ３キャッシュ１１１２を備え得る。データ・ストア１１１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置１１１４に関連するメモリの参照を含み得る。
【0125】
ＳｏＣ１１０４は、１つ又は複数のプロセッサ１１１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ１１１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ１１０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ１１０４熱及び温度センサの管理、及び／又はＳｏＣ１１０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１１０４は、リング発振器を使用してＣＰＵ１１０６、ＧＰＵ１１０８、及び／又は加速装置１１１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ１１０４をより低い電力状態に置く及び／又は車両１１００を安全停止のための運転代行モードにする（たとえば、車両１１００を安全停止させる）ことができる。
【0126】
プロセッサ１１１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
【0127】
プロセッサ１１１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
【0128】
プロセッサ１１１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
【0129】
プロセッサ１１１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
【0130】
プロセッサ１１１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
【0131】
プロセッサ１１１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイド・ビュー・カメラ１１７０で、サラウンド・カメラ１１７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする若しくは変更する、又は音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
【0132】
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
【0133】
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ１１０８は、新しい面を連続してレンダリングするために必要とされない。ＧＰＵ１１０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ１１０８をオフロードしてパフォーマンス及び応答性を向上させるために使用され得る。
【0134】
ＳｏＣ１１０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、並びに／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ１１０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
【0135】
ＳｏＣ１１０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ１１０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ１１６４、ＲＡＤＡＲセンサ１１６０など）、バス１１０２からのデータ（たとえば、車両１１００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１１５８からのデータを処理するために使用され得る。ＳｏＣ１１０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ１１０６を解放するために使用され得る専用の高パフォーマンス大容量記憶コントローラをさらに含み得る。
【0136】
ＳｏＣ１１０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ１１０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置１１１４が、ＣＰＵ１１０６と結合されるとき、ＧＰＵ１１０８、及びデータ・ストア１１１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
【0137】
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションのパフォーマンス要件を満たすことができない。具体的には、多数のＣＰＵは、車両内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
【0138】
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ１１２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
【0139】
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、「点滅光は、凍った状態を示す」というテキストは、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ１１０８上などで、同時に実行することができる。
【0140】
いくつかの実例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して車両１１００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、ＳｏＣ１１０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
【0141】
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン１１９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ１１０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施形態では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ１１５８によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ１１６２の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び／又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
【0142】
車両は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１１０４に連結され得るＣＰＵ１１１８（たとえば、離散されたＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ１１１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ１１１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１１０４との間の潜在的に不整合の結果を調停すること、並びに／又はコントローラ１１３６及び／若しくはインフォテインメントＳｏＣ１１３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
【0143】
車両１１００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ１１０４に連結され得るＧＰＵ１１２０（たとえば、離散されたＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ１１２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的な人工知能機能をもたらすことができ、車両１１００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
【0144】
車両１１００は、１つ又は複数のワイヤレス・アンテナ１１２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース１１２４をさらに含み得る。ネットワーク・インターフェース１１２４は、インターネットを介するクラウドとの（たとえば、サーバ１１７８及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが２個の車両の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両１１００に近接する車両（たとえば、車両１１００の前の、横の、及び／又は後ろの車両）に関する車両１１００の情報を提供することができる。この機能は、車両１１００の協調適応クルーズ制御機能の一部でもよい。
【0145】
ネットワーク・インターフェース１１２４は、変調及び復調機能を提供する及びコントローラ１１３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース１１２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
【0146】
車両１１００は、チップ外の（たとえば、ＳｏＣ１１０４外の）ストレージを含み得るデータ・ストア１１２８をさらに含み得る。データ・ストア１１２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
【0147】
車両１１００は、ＧＮＳＳセンサ１１５８をさらに含み得る。ＧＮＳＳセンサ１１５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ１１５８が、使用され得る。
【0148】
車両１１００は、ＲＡＤＡＲセンサ１１６０をさらに含み得る。ＲＡＤＡＲセンサ１１６０は、暗闇及び／又は厳しい気象条件においても、長距離車両検出のために車両１１００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ１１６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ１１６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス１１０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。限定ではなく、たとえば、ＲＡＤＡＲセンサ１１６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
【0149】
ＲＡＤＡＲセンサ１１６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ１１６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両１１００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、車両１１００のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。
【0150】
一実例として、中距離ＲＡＤＡＲシステムは、１１６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は１１５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、車両の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
【0151】
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
【0152】
車両１１００は、超音波センサ１１６２をさらに含み得る。車両１１００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ１１６２は、駐車アシストのために並びに／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ１１６２が使用され得、異なる超音波センサ１１６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ１１６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
【0153】
車両１１００はＬＩＤＡＲセンサ１１６４を含み得る。ＬＩＤＡＲセンサ１１６４は、物体及び歩行者検出、緊急ブレーキング、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ１１６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、車両１１００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ１１６４を含み得る。
【0154】
いくつかの実例では、ＬＩＤＡＲセンサ１１６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ１１６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、１１００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１１００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ１１６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ１１６４は、車両１１００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ１１６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ１１６４は、４５度と１３５度との間の水平視野向けに構成され得る。
【0155】
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、車両１１００の各側面に１個ずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ１１６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
【0156】
車両は、ＩＭＵセンサ１１６６をさらに含み得る。一部の実例では、ＩＭＵセンサ１１６６は、車両１１００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ１１６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ１１６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ１１６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
【0157】
一部の実施形態では、ＩＭＵセンサ１１６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、速度、及び姿勢の推定値を提供する小型の高パフォーマンスＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ１１６６は、ＧＰＳからＩＭＵセンサ１１６６までの速度の変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両１１００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ１１６６及びＧＮＳＳセンサ１１５８は、単一の統合されたユニットにおいて結合され得る。
【0158】
車両は、車両１１００内及び／又は周囲に置かれたマイクロフォン１１９６を含み得る。マイクロフォン１１９６は、中でも、緊急車両検出及び識別のために使用され得る。
【0159】
車両は、ステレオ・カメラ１１６８、ワイド・ビュー・カメラ１１７０、赤外線カメラ１１７２、サラウンド・カメラ１１７４、長距離及び／若しくは中距離カメラ１１９８、並びに／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両１１００の全周の画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両１１００の実施形態及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両１１００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施形態に応じて異なり得る。たとえば、車両は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含んでもよい。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図１１Ａ及び図１１Ｂに関連して本明細書においてさらに詳しく説明される。
【0160】
車両１１００は、振動センサ１１４２をさらに含み得る。振動センサ１１４２は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ１１４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
【0161】
車両１１００は、ＡＤＡＳシステム１１３８を含み得る。一部の実例では、ＡＤＡＳシステム１１３８は、ＳｏＣを含み得る。ＡＤＡＳシステム１１３８は、自律／適応／オート・クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、協調適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキング（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交錯交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
【0162】
ＡＣＣシステムは、ＲＡＤＡＲセンサ１１６０、ＬＩＤＡＲセンサ１１６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦のＡＣＣ及び／又は横のＡＣＣを含み得る。縦のＡＣＣは、車両１１００の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横のＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように車両１１００にアドバイスする。横のＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
【0163】
ＣＡＣＣは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース１１２４及び／又はワイヤレス・アンテナ１１２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の車両（たとえば、車両１１００と同じレーン内にある、車両１１００の直ぐ前の車両）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。車両１１００の前方の車両の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
【0164】
運転者が修正の行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１１６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
【0165】
ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正の行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１１６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正の行動を取るように運転者に警告し、運転者が修正の行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突緊急ブレーキングなどの技法を含み得る。
【0166】
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、車両１１００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
【0167】
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、車両１１００が車線をはみ出し始めた場合に車両１１００を修正するためにステアリング入力又はブレーキングを提供する。
【0168】
ＢＳＷシステムは、自動車の死角において車両の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ１１６０を使用することができる。
【0169】
ＲＣＴＷシステムは、車両１１００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ１１６０を使用することができる。
【0170】
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を苛立たせ、及び気を散らせ得る誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両１１００では、結果が矛盾する場合には、車両１１００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ１１３６又は第２のコントローラ１１３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施形態では、ＡＤＡＳシステム１１３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長で多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム１１３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
【0171】
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、並びに１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
【0172】
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物体をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施形態では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施形態において、監督ＭＣＵは、ＳｏＣ１１０４の構成要素を備え得る、及び／又はＳｏＣ１１０４の構成要素として含まれ得る。
【0173】
他の実例において、ＡＤＡＳシステム１１３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及びパフォーマンスを向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
【0174】
いくつかの実例では、ＡＤＡＳシステム１１３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム１１３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
【0175】
車両１１００は、インフォテインメントＳｏＣ１１３０（たとえば、車両内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の離散された構成要素を含み得る。インフォテインメントＳｏＣ１１３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの車両関連情報）を車両１１００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ１１３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１１３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／若しくはシステムを制御する並びに／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ１１３０は、ＡＤＡＳシステム１１３８からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、車両のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
【0176】
インフォテインメントＳｏＣ１１３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ１１３０は、バス１１０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両１１００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ１１３６（たとえば、車両１１００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ１１３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ１１３０は、本明細書に記載のように、車両１１００を安全停止のための運転代行モードにすることができる。
【0177】
車両１１００は、計器群１１３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群１１３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、離散されたコントローラ又はスーパーコンピュータ）を含み得る。計器群１１３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ１１３０及び計器群１１３２の間で表示及び／又は共有され得る。言い換えれば、計器群１１３２は、インフォテインメントＳｏＣ１１３０の一部として含まれてもよく、逆もまた同様である。
【0178】
図１１Ｄは、本開示のいくつかの実施形態による、図１１Ａのクラウドベースのサーバと例示的自律型車両１１００との間の通信のシステム図である。システム１１７６は、サーバ１１７８、ネットワーク１１９０、及び、車両１１００を含む車両を含み得る。サーバ１１７８は、複数のＧＰＵ１１８４（Ａ）～１１８４（Ｈ）（本明細書でＧＰＵ１１８４と総称される）、ＰＣＩｅスイッチ１１８２（Ａ）～１１８２（Ｈ）（本明細書でＰＣＩｅスイッチ１１８２と総称される）、及び／又はＣＰＵ１１８０（Ａ）～１１８０（Ｂ）（本明細書でＣＰＵ１１８０と総称される）を含み得る。ＧＰＵ１１８４、ＣＰＵ１１８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１１８８及び／又はＰＣＩｅ接続１１８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ１１８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ１１８４及びＰＣＩｅスイッチ１１８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ１１８４、２個のＣＰＵ１１８０、及び２個のＰＣＩｅスイッチが図示されているが、これは限定を意図されていない。実施形態に応じて、それぞれのサーバ１１７８は、任意の数のＧＰＵ１１８４、ＣＰＵ１１８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ１１７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１１８４を含んでもよい。
【0179】
サーバ１１７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１１９０を介して、車両から、受信することができる。サーバ１１７８は、ニューラル・ネットワーク１１９２、更新されたニューラル・ネットワーク１１９２、並びに／又は、交通及び道路状態に関する情報を含むマップ情報１１９４をネットワーク１１９０を介して車両に送信することができる。マップ情報１１９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１１２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク１１９２、更新されたニューラル・ネットワーク１１９２、及び／又はマップ情報１１９４は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ１１７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて生じた可能性がある。
【0180】
サーバ１１７８は、トレーニング・データに基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスの機械学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づく機械学習、異常検出、及びそれらの変更形態若しくは組合せ。機械学習モデルがトレーニングされた後は、機械学習モデルは、車両によって使用され得（たとえば、ネットワーク１１９０を介して車両に送信される）、及び／又は、機械学習モデルは、車両を遠隔監視するために、サーバ１１７８によって使用され得る。
【0181】
いくつかの実例では、サーバ１１７８は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ１１７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１１８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ１１７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
【0182】
サーバ１１７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両１１００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両１１００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、車両１１００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、車両１１００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両１１００内のＡＩは正常に機能していないという結論を下した場合、サーバ１１７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両１１００のフェイルセーフ・コンピュータに命じる車両１１００への信号を送信することができる。
【0183】
推論のために、サーバ１１７８は、ＧＰＵ１１８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの応答性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
【0184】
（例示的計算デバイス）
図１２は、本開示のいくつかの実施形態の実装に使用するのに適した計算デバイス１２００の一実例のブロック図である。計算デバイス１２００は、以下のデバイスを直接的に又は間接的につなぐ相互接続システム１２０２を含み得る：メモリ１２０４、１つ又は複数の中央処理装置（ＣＰＵ）１２０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）１２０８、通信インターフェース１２１０、入力／出力（Ｉ／Ｏ）ポート１２１２、入力／出力構成要素１２１４、電力供給装置１２１６、１つ又は複数の提示構成要素１２１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１２２０。少なくとも１つの実施形態において、計算デバイス１２００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ１２０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ１２０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット１２２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス１２００は、離散された構成要素（たとえば、計算デバイス１２００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス１２００専用のＧＰＵの一部）、又はその組合せを含み得る。
図１２は、本開示のいくつかの実施形態の実装に使用するのに適した計算デバイス１２００の一実例のブロック図である。計算デバイス１２００は、以下のデバイスを直接的に又は間接的につなぐ相互接続システム１２０２を含み得る：メモリ１２０４、１つ又は複数の中央処理装置（ＣＰＵ）１２０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）１２０８、通信インターフェース１２１０、入力／出力（Ｉ／Ｏ）ポート１２１２、入力／出力構成要素１２１４、電力供給装置１２１６、１つ又は複数の提示構成要素１２１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１２２０。少なくとも１つの実施形態において、計算デバイス１２００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ１２０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ１２０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット１２２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス１２００は、離散された構成要素（たとえば、計算デバイス１２００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス１２００専用のＧＰＵの一部）、又はその組合せを含み得る。
【0185】
図１２の様々なブロックは、線で相互接続システム１２０２を介して接続しているように示されているが、これは限定することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施形態では、ディスプレイ・デバイスなどの提示構成要素１２１８は、Ｉ／Ｏ構成要素１２１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ１２０６及び／又はＧＰＵ１２０８はメモリを含み得る（たとえば、メモリ１２０４は、ＧＰＵ１２０８、ＣＰＵ１２０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図１２の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図１２の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
【0186】
相互接続システム１２０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はそれらの組合せ、を表し得る。相互接続システム１２０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施形態では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ１２０６は、メモリ１２０４に直接接続され得る。さらに、ＣＰＵ１２０６は、ＧＰＵ１２０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム１２０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス１２００に含まれる必要はない。
【0187】
メモリ１２０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス１２００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、並びに取り外し可能な及び取り外し不可能な媒体を含んでもよい。限定ではなく実例として、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
【0188】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体並びに／又は取り外し可能な及び取り外し不可能な媒体の両方を含んでもよい。たとえば、メモリ１２０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ若しくは他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス１２００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
【0189】
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。限定ではなく実例として、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【0190】
ＣＰＵ１２０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１２００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ１２０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含んでもよい。ＣＰＵ１２０６は、任意のタイプのプロセッサを含んでもよく、実装された計算デバイス１２００のタイプに応じて、異なるタイプのプロセッサを含んでもよい（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス１２００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス１２００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサに加えて、１つ又は複数のＣＰＵ１２０６を含み得る。
【0191】
ＣＰＵ１２０６に加えて又はその代わりに、ＧＰＵ１２０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１２００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ１２０８のうちの１つ若しくは複数は、統合されたＧＰＵでもよく（たとえば、ＣＰＵ１２０６のうちの１つ又は複数とでもよい）、及び／又はＧＰＵ１２０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施形態では、ＧＰＵ１２０８のうちの１つ又は複数は、ＣＰＵ１２０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ１２０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス１２００によって使用され得る。たとえば、ＧＰＵ１２０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ１２０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ１２０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ１２０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ１２０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえばディスプレイ・メモリ、を含み得る。ディスプレイ・メモリは、メモリ１２０４の一部として含まれ得る。ＧＰＵ１２０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ１２０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
【0192】
ＣＰＵ１２０６及び／又はＧＰＵ１２０８に加えて又はその代わりに、論理ユニット１２２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１２００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施形態では、ＣＰＵ１２０６、ＧＰＵ１２０８、及び／又は論理ユニット１２２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット１２２０のうちの１つ若しくは複数は、ＣＰＵ１２０６及び／若しくはＧＰＵ１２０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、並びに／又は、論理ユニット１２２０のうちの１つ若しくは複数は、ＣＰＵ１２０６及び／若しくはＧＰＵ１２０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施形態では、論理ユニット１２２０のうちの１つ又は複数は、ＣＰＵ１２０６のうちの１つ若しくは複数及び／又はＧＰＵ１２０８のうちの１つ若しくは複数のコプロセッサでもよい。
【0193】
論理ユニット１２２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ツリー・トラバース・ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
【0194】
通信インターフェース１２１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス１２００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース１２１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。１つ又は複数の実施形態において、論理ユニット１２２０及び／又は通信インターフェース１２１０は、ネットワークを介して及び／又は相互接続システム１２０２を通して受信されるデータを１つ又は複数のＧＰＵ１２０８（たとえば、そのメモリ）に直接送信するために１つ又は複数のデータ処理装置（ＤＰＵ）を含み得る。
【0195】
Ｉ／Ｏポート１２１２は、そのうちのいくつかは計算デバイス１２００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素１２１４、提示構成要素１２１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス１２００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素１２１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素１２１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス１２００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス１２００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ・スクリーン技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス１２００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス１２００によって使用され得る。
【0196】
電力供給装置１２１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置１２１６は、計算デバイス１２００の構成要素が動作することを可能にするために計算デバイス１２００に電力を提供することができる。
【0197】
提示構成要素１２１８は、ディスプレイ（たとえば、モニタ、タッチ・スクリーン、テレビジョン画面、ヘッドアップ・ディスプレイ・デバイス（ＨＵＤ）、他のディスプレイタイプ、又はそれらの組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素１２１８は、他の構成要素（たとえば、ＧＰＵ１２０８、ＣＰＵ１２０６、ＤＰＵなど）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
【0198】
（例示的データ・センタ）
図１３は、本開示の少なくとも１つの実施形態において使用され得る例示的データ・センタ１３００を示す。データ・センタ１３００は、データ・センタ・インフラストラクチャ層１３１０、フレームワーク層１３２０、ソフトウェア層１３３０、及び／又はアプリケーション層１３４０を含み得る。
図１３は、本開示の少なくとも１つの実施形態において使用され得る例示的データ・センタ１３００を示す。データ・センタ１３００は、データ・センタ・インフラストラクチャ層１３１０、フレームワーク層１３２０、ソフトウェア層１３３０、及び／又はアプリケーション層１３４０を含み得る。
【0199】
図１３に示すように、データ・センタ・インフラストラクチャ層１３１０は、資源オーケストレータ１３１２、グループ化された計算資源１３１４、及びノード計算資源（「ノードＣ．Ｒ．」）１３１６（１）～１３１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の正の整数を表す。少なくとも１つの実施形態において、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）は、任意の数の中央処理装置（ＣＰＵ）又は他のプロセッサ（ＤＰＵ、加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッドステート若しくはディスク・ドライブ）、ネットワーク入力／出力（ＮＷ Ｉ／Ｏ）デバイス、ネットワーク・スイッチ、仮想マシン（ＶＭ）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施形態において、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施形態において、ノードＣ．Ｒ．１３１６（１）～１３１６１（Ｎ）は、１つ若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得る、並びに／又は、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。
【0200】
少なくとも１つの実施形態において、グループ化された計算資源１３１４は、１つ又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．１３１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源１３１４内の別個のグループのノードＣ．Ｒ．１３１６は、１つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施形態において、ＣＰＵ、ＧＰＵ、ＤＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．１３１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。
【0201】
資源オーケストレータ１３１２は、１つ若しくは複数のノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）及び／又はグループ化された計算資源１３１４を構成又は他の方法で制御することができる。少なくとも１つの実施形態において、資源オーケストレータ１３１２は、データ・センタ１３００のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。資源オーケストレータ１３１２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
【0202】
少なくとも１つの実施形態において、図１３に示すように、フレームワーク層１３２０は、ジョブ・スケジューラ１３３３、構成マネージャ１３３４、資源マネージャ１３３６、及び／又は分散型ファイル・システム１３３８を含み得る。フレームワーク層１３２０は、ソフトウェア層１３３０のソフトウェア１３３２及び／又はアプリケーション層１３４０の１つ若しくは複数のアプリケーション１３４２をサポートするためにフレームワークを含み得る。ソフトウェア１３３２又はアプリケーション１３４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（登録商標）、Ｇｏｏｇｌｅ Ｃｌｏｕｄ及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層１３２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム１３３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施形態において、ジョブ・スケジューラ１３３３は、データ・センタ１３００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ１３３４は、異なる層、たとえば、ソフトウェア層１３３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１３３８を含むフレームワーク層１３２０、を構成する能力を有し得る。資源マネージャ１３３６は、分散型ファイル・システム１３３８及びジョブ・スケジューラ１３３３のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施形態において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層１３１０にグループ化された計算資源１３１４を含み得る。資源マネージャ１３３６は、資源オーケストレータ１３１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
【0203】
少なくとも１つの実施形態において、ソフトウェア層１３３０に含まれるソフトウェア１３３２は、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）の少なくとも部分、グループ化された計算資源１３１４、及び／又はフレームワーク層１３２０の分散型ファイル・システム１３３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
【0204】
少なくとも１つの実施形態において、アプリケーション層１３４０に含まれるアプリケーション１３４２は、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）の少なくとも部分、グループ化された計算資源１３１４、及び／又はフレームワーク層１３２０の分散型ファイル・システム１３３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施形態と併せて使用される他の機械学習アプリケーションを含む、機械学習アプリケーションを含み得るが、これらに限定されない。
【0205】
少なくとも１つの実施形態において、構成マネージャ１３３４、資源マネージャ１３３６、及び資源オーケストレータ１３１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ１３００のデータ・センタ・オペレータを解放し得る。
【0206】
データ・センタ１３００は、１つ又は複数の機械学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施形態による１つ又は複数の機械学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、機械学習モデルは、データ・センタ１３００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施形態において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備された機械学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ１３００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
【0207】
少なくとも１つの実施形態において、データ・センタ１３００は、前述の資源を使用するトレーニング及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
【0208】
（例示的ネットワーク環境）
本開示の実施形態の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図１２の計算デバイス１２００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス１２００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ１３００の一部として含まれ得、その実例は、図１３に関して本明細書でさらに詳述される。
本開示の実施形態の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図１２の計算デバイス１２００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス１２００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ１３００の一部として含まれ得、その実例は、図１３に関して本明細書でさらに詳述される。
【0209】
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又は複数のネットワークのうちの１つのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。
【0210】
互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
【0211】
少なくとも１つの実施形態において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施形態において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
【0212】
クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）セントラル又はコア・サーバから複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部をエッジ・サーバに指定し得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。
【0213】
クライアント・デバイスは、図１２に関して本明細書に記載の例示的計算デバイス１２００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。限定ではなく実例として、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレイヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）若しくはデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス若しくはシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス若しくはシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、又は任意の他の適切なデバイスとして実施され得る。
【0214】
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々なシステム構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
【0215】
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
【0216】
本開示の発明は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を限定することは意図されていない。そうではなくて、本発明者は、請求項に記載された発明が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図12】
【図13】
【外国語明細書】