特表2023-507695自律運転アプリケーションのための３次元交差点構造予測
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-27
(54)【発明の名称】自律運転アプリケーションのための３次元交差点構造予測
(51)【国際特許分類】
G06T 7/00 20170101AFI20230217BHJP
G06V 10/82 20220101ALI20230217BHJP
G06V 20/56 20220101ALI20230217BHJP
G08G 1/16 20060101ALI20230217BHJP
【ＦＩ】
G06T7/00 650A
G06T7/00 350C
G06T7/00 C
G06V10/82
G06V20/56
G08G1/16 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021575363
(86)(22)【出願日】2020-12-09
(85)【翻訳文提出日】2022-01-13
(86)【国際出願番号】 US2020063945
(87)【国際公開番号】W WO2021138010
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】62/956,025
(32)【優先日】2019-12-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/116,138
(32)【優先日】2020-12-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
２．ブルートゥース
３．ＺＩＧＢＥＥ
４．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ファム、トラング
(72)【発明者】
【氏名】ロドリゲス エルヴァス、ベルタ
(72)【発明者】
【氏名】パク、ミンウ
(72)【発明者】
【氏名】ニスター、デイヴィッド
(72)【発明者】
【氏名】クヴィジェティック、ネダ
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181AA05
5H181AA06
5H181AA07
5H181AA26
5H181AA27
5H181BB04
5H181BB05
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF22
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096FA03
5L096FA13
5L096FA62
5L096FA67
5L096FA69
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
様々な実例において、深層ニューラル・ネットワーク（ＤＮＮ）を使用して、２次元（２Ｄ）入力データを処理することに基づいて、３次元（３Ｄ）交差点構造が予測され得る。２Ｄ入力から３Ｄ交差点構造を正確に予測するようにＤＮＮをトレーニングするために、ＤＮＮは、－２Ｄ空間への変換後の－ＤＮＮの３Ｄ出力を、２Ｄグラウンド・トゥルース・データと比較する第１の損失関数と、１つ又は複数の幾何学的制約を考慮してＤＮＮの３Ｄ予測を分析する第２の損失関数とを使用してトレーニングされ得る－たとえば、交差点の幾何学的知識を使用して、既知の交差点及び／又は道路構造の幾何形状と一致しないＤＮＮの予測にペナルティを課すことができる。そのようなものとして、自律又は半自律型車両のライブの知覚が、２Ｄ入力から交差点構造の３Ｄ位置を検出するためにＤＮＮによって使用され得る。
【特許請求の範囲】
【請求項1】
少なくとも１つのセンサの視野内の交差点を表すセンサ・データをニューラル・ネットワークに適用するステップと、前記ニューラル・ネットワークを使用して、前記センサ・データに少なくとも部分的に基づいて、前記交差点に対応する３次元（３Ｄ）世界空間位置と意味論的情報に対応する１つ又は複数の信頼性値とを表すデータを計算するステップと、
前記３Ｄ世界空間位置を表す前記データを復号して、１つ又は複数の線分の位置を決定するステップと、
前記１つ又は複数の信頼性値を表す前記データを復号して、前記１つ又は複数の線分の関連する意味論的情報を決定するステップと、
前記１つ又は複数の線分の前記位置及び前記関連する意味論的情報に少なくとも部分的に基づいて、自律マシンによって１つ又は複数の動作を実行するステップと
を含む、方法。
【請求項2】
前記３Ｄ世界空間位置を表す前記データが、前記線分に対応するキー点の３Ｄ世界空間位置を含み、前記キー点が、前記線分のうちの１つ又は複数について、前記１つ又は複数の線分の端点又は中心点のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項3】
前記１つ又は複数の線分のうちの１つの線分の前記キー点が中心点を含み、前記ニューラル・ネットワークがさらに、前記線分に関連する走行方向を示す前記中心点に対応する方向ベクトルを計算する、請求項２に記載の方法。
【請求項4】
前記線分のうちの２つ以上の前記キー点に関連する方向ベクトルに少なくとも部分的に基づいて、前記２つ以上の線分間に１つ又は複数の潜在的進路を生成するステップをさらに含み、前記１つ又は複数の動作を前記実行するステップが、前記１つ又は複数の潜在的進路のうちの１つを選択するステップを含む、請求項２に記載の方法。
【請求項5】
前記ニューラル・ネットワークが、前記ニューラル・ネットワークの予測出力を２Ｄ空間に変換すること、及び損失関数を使用して前記２Ｄ空間の前記予測出力を２Ｄグラウンド・トゥルース・データと比較することに少なくとも部分的に基づいてトレーニングされる、請求項１に記載の方法。
【請求項6】
前記ニューラル・ネットワークが、損失関数を使用して前記ニューラル・ネットワークの３Ｄ出力を交差点に関連する１つ又は複数の幾何学的整合性制約と比較することに少なくとも部分的に基づいてトレーニングされる、請求項１に記載の方法。
【請求項7】
前記３Ｄ世界空間位置が、前記自律マシン上の位置に対応する原点を有する対象空間内で予測され、前記対象空間のサイズが、複数の交差点の分析に少なくとも部分的に基づいて決定される、請求項１に記載の方法。
【請求項8】
前記ニューラル・ネットワークが、前記センサ・データを処理して潜在空間ベクトルを計算するエンコーダ部分を含み、前記ニューラル・ネットワークが、前記潜在空間ベクトルを処理して、前記交差点に対応する前記３Ｄ世界空間位置と前記意味論的情報に対応する前記信頼性値とを表す前記データを生成するデコーダ部分を含む、請求項１に記載の方法。
【請求項9】
前記少なくとも１つのセンサが、前記センサ・データの第１のサブセットを生成する第１のセンサと、前記センサ・データの第２のサブセットを生成する第２のセンサとを含み、前記ニューラル・ネットワークの前記エンコーダ部分が、前記センサ・データの前記第１のサブセットを処理して前記潜在空間ベクトルの第１の部分を生成する第１のエンコーダ・インスタンスと、前記センサ・データの前記第２のサブセットを処理して前記潜在空間ベクトルの第２の部分を生成する第２のエンコーダ・インスタンスとを含み、前記潜在空間ベクトルが、前記第１の部分と前記第２の部分を連結することに少なくとも部分的に基づいて生成される、請求項８に記載の方法。
【請求項10】
前記第１のエンコーダ・インスタンス及び前記第２のエンコーダ・インスタンスが、１つ又は複数の並行処理ユニットを使用して並行して実行される、請求項９に記載の方法。
【請求項11】
２次元（２Ｄ）空間を表すデータをニューラル・ネットワークに適用するステップであって、前記データが、少なくとも１つのセンサを使用して生成される、ステップと、前記ニューラル・ネットワークを使用して、前記データに少なくとも部分的に基づいて、３次元（３Ｄ）世界空間位置の表現を計算するステップと、
前記３Ｄ世界空間位置を前記２Ｄ空間に変換して、２Ｄ空間位置を生成するステップと、
前記２Ｄ空間位置を、前記センサ・データに関連する２Ｄ空間グラウンド・トゥルース位置と比較するステップと、
前記比較するステップに少なくとも部分的に基づいて、前記ニューラル・ネットワークの１つ又は複数のパラメータを更新するステップと
を含む、方法。
【請求項12】
前記比較するステップが、損失関数を使用して実行され、前記方法がさらに、別の損失関数を使用して前記３Ｄ世界空間位置を１つ又は複数の幾何学的整合性制約と比較するステップを含み、前記ニューラル・ネットワークの前記１つ又は複数のパラメータを前記更新するステップがさらに、前記３Ｄ世界空間位置を前記１つ又は複数の幾何学的整合性制約と前記比較するステップに少なくとも部分的に基づく、請求項１１に記載の方法。
【請求項13】
前記３Ｄ世界空間位置が、交差点の線分に対応し、前記１つ又は複数の幾何学的整合性制約が、前記線分に対応する平滑性制約、前記線分に対応する直線制約、又は前記線分に対応するレーン幅制約のうちの少なくとも１つを含む、請求項１２に記載の方法。
【請求項14】
前記変換するステップが、前記少なくとも１つのセンサの固有のパラメータ又は付帯的パラメータのうちの少なくとも１つに少なくとも部分的に基づく、請求項１１に記載の方法。
【請求項15】
前記ニューラル・ネットワークが、前記センサ・データを処理して潜在空間ベクトルを計算するエンコーダ部分を含み、前記ニューラル・ネットワークが、前記潜在空間ベクトルを処理して、前記３Ｄ世界空間位置を表す前記データを生成するデコーダ部分を含む、請求項１１に記載の方法。
【請求項16】
少なくとも１つのセンサの視野内の交差点を表すセンサ・データをニューラル・ネットワークに適用し、前記ニューラル・ネットワークを使用して、前記センサ・データに少なくとも部分的に基づいて、前記交差点の線分に対応する３次元（３Ｄ）世界空間位置を表すデータを計算し、
前記線分に対応する前記３Ｄ世界空間位置に少なくとも部分的に基づいて、自律マシンの制御に関連する１つ又は複数の動作を実行する
ための１つ又は複数の回路を備える、プロセッサ。
【請求項17】
前記ニューラル・ネットワークが、前記センサ・データを処理して潜在空間ベクトルを計算するエンコーダ部分を含み、前記ニューラル・ネットワークが、前記潜在空間ベクトルを処理して、前記交差点の線分に対応する前記３Ｄ世界空間位置を表す前記データを生成するデコーダ部分を含む、請求項１６に記載のプロセッサ。
【請求項18】
前記少なくとも１つのセンサが、前記センサ・データの第１のサブセットを生成する第１のセンサと、前記センサ・データの第２のサブセットを生成する第２のセンサとを含み、前記ニューラル・ネットワークの前記エンコーダ部分が、前記センサ・データの前記第１のサブセットを処理して前記潜在空間ベクトルの第１の部分を生成する第１のエンコーダ・インスタンスと、前記センサ・データの前記第２のサブセットを処理して前記潜在空間ベクトルの第２の部分を生成する第２のエンコーダ・インスタンスとを含み、前記潜在空間ベクトルが、前記第１の部分と前記第２の部分を連結することに少なくとも部分的に基づいて生成される、請求項１７に記載のプロセッサ。
【請求項19】
前記ニューラル・ネットワークが、前記ニューラル・ネットワークの予測出力を２Ｄ空間に変換すること、及び損失関数を使用して前記２Ｄ空間の前記予測出力を２Ｄグラウンド・トゥルース・データと比較することに少なくとも部分的に基づいてトレーニングされる、請求項１６に記載のプロセッサ。
【請求項20】
前記ニューラル・ネットワークが、損失関数を使用して前記ニューラル・ネットワークの３Ｄ出力を交差点に関連する１つ又は複数の幾何学的整合性制約と比較することに少なくとも部分的に基づいてトレーニングされる、請求項１６に記載のプロセッサ。
【請求項21】
プロセッサが、自律又は半自律マシンのための制御システム、自律又は半自律マシンのための知覚システム、シミュレーション動作を実行するためのシステム、深層学習動作を実行するためのシステム、エッジ・デバイスを使用して実装されたシステム、ロボットを使用して実装されたシステム、１つ又は複数の仮想マシン（ＶＭ）を組み込んだシステム、データ・センタに少なくとも部分的に実装されたシステム、又はクラウド・コンピューティング・リソースを少なくとも部分的に使用して実装されたシステムのうちの少なくとも１つに含まれる、請求項１６に記載のプロセッサ。
【発明の詳細な説明】
【背景技術】
【0001】
自律運転システム及び高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）は、様々なタスク－たとえば、レーン保持、レーン変更、レーン指定、カメラ較正、方向転換、進路プランニング、及びローカリゼーション－を実行するために、カメラなどのセンサを活用し得る。たとえば、自律及びＡＤＡＳシステムが独立して及び効率的に動作するために、リアルタイム又はほぼリアルタイムでの車両の周辺環境の理解がなされ得る。この理解は、様々な分界、たとえば、レーン、道路境界線、交差線、及び／又は同類のもの、に対する環境内の物体、障害物、レーン及び／又は交差点の位置に関する情報を含み得る。周辺環境の情報は、どの進路又は軌道を辿るかなどの決定を行うときに車両によって使用され得る。
【0002】
一実例として、自律又は半自律型車両の環境内の交差点の位置及びレイアウトに関する情報は、進路計画、障害物回避、及び／又は制御－たとえば、どこで停止するか、交差点を安全に横断するためにどの進路を使用するか、他の車両又は歩行者がいる可能性のある場所、及び／又は同類のもの－の決定を行うときに有益であることが判明し得る。車両が都市及び／又は準都市の運転環境で動作している場合、そのような環境では、高速道路の運転環境に比べて変数の数が増加することに起因して交差点のシーンの理解及び進路計画が不可欠となり、交差点の位置及びレイアウトに関する情報は特に重要である。たとえば、車両が双方向の複数レーンの運転環境で交差点を左折する場合、他のレーンの位置及び方向性を決定すること、並びに横断歩道又は自転車道の位置を決定することは、安全且つ効率的な自律及び／又は半自律運転に不可欠である。
【0003】
従来のシステムでは、交差点は、車両の運転面の事前に記憶された高精細（ＨＤ：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ）３次元（３Ｄ）マップから補間され得る。たとえば、ＨＤマップから、交差点及びその周辺エリアの構造及び向きが収集され得る。しかしながら、交差点の識別及びナビゲーションにＨＤマップを使用するには、車両が遭遇する可能性のある各交差点を事前に識別してＨＤマップに記録する必要があり、これは時間と手間のかかる困難なタスクである。たとえば、車両が様々な領域で独立して効率的に運転できるようにするために、より大きい地理的領域（たとえば、都市、州、国）に手動でラベル付けする必要がある場合、マップ更新プロセスは、ロジスティック的により複雑になる可能性がある。
【0004】
他の従来のシステムでは、深層ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）をトレーニングして２次元（２Ｄ）画像空間で交差点情報を予測することができ、これらの予測を３Ｄ世界空間座標に変換することができる。しかしながら、２Ｄから３Ｄへの座標変換は、平地想定が必要であるため、本質的に不正確である。多くの道路－特に、より都会的な環境内の－は平坦ではなく、運転面の傾斜又は勾配を考慮しない場合、２Ｄ予測が３Ｄ世界空間に正確にマッピングされないことがある。これを考慮するために、一部のＤＮＮは、３Ｄグラウンド・トゥルース・データを使用して３Ｄ世界空間の交差点情報を予測するようにトレーニングされる。しかしながら、ＤＮＮを効果的にトレーニングするのに十分な量の正確で信頼性の高い（たとえば、ＬＩＤＡＲデータからの）３Ｄグラウンド・トゥルース・データを生成することは費用がかかり、グラウンド・トゥルース情報を生成するためにＬＩＤＡＲデータに注釈付けすることは困難なタスクである。たとえば、ＬＩＤＡＲ点群から交差線、境界、及び／又は他の情報を識別することは、信頼性が低く、トレーニング・データのインスタンスごとに広範囲に及ぶ人間によるラベル付け及び注釈付けが必要である。結果として、これらの従来のＤＮＮのエンド・ツー・エンドのトレーニング・プロセスにはかなりの時間がかかり、その結果、車両への展開を最適化するのに時間がかかる不正確なＤＮＮとなる可能性がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願第１６／８４８，１０２号
【特許文献2】米国特許出願第１６／９１１，００７号
【特許文献3】米国特許出願第１６／８１４，３５１号
【発明の概要】
【課題を解決するための手段】
【0006】
本開示の実施例は、自律運転アプリケーションのための３次元（３Ｄ）交差点構造予測に関する。深層ニューラル・ネットワーク（ＤＮＮ）を使用して、画像空間内の２次元（２Ｄ）画像データから世界空間内の３Ｄ交差点構造－たとえば、進入線（ｅｎｔｒｙ ｌｉｎｅ）、退出線（ｅｘｉｔ ｌｉｎｅ）、歩行者用交差路（ｐｅｄｅｓｔｒｉａｎ ｃｒｏｓｓｉｎｇ）、自転車レーンなど－を予測するシステム及び方法が開示される。そのようなものとして、従来の手法とは対照的に、本システム及び方法は、ＤＮＮが、センサ・プラットフォームのライブ知覚能力を使用して２Ｄ入力データから交差点構造の３Ｄ位置を検出し、この情報を活用して、たとえば、車両又は機械のために、交差点をナビゲートするための進路を生成するための技法を提供する。この手法は、ＨＤマップ生成のために各交差点に個別に手動でラベル付けする負担、平地想定を使用して２Ｄ知覚結果から３Ｄ交差点構造を計算することによって生じる不正確さ、３Ｄグラウンド・トゥルース生成のためにＬＩＤＡＲ点群を生成して正確にラベル付けするという難題を伴うことなく、様々なタイプの交差点を処理するためのスケーラビリティを向上させる。いくつかの実施例において、冗長性を提供し、知覚ベースの手法の結果をさらに検証するために、－たとえば、高品質のマップ・データが利用可能である場合－ライブ知覚手法をマップベースの手法と組み合わせて実行してもよい。
【0007】
たとえば、２Ｄ画像から３Ｄ交差点構造を正確に予測するようにＤＮＮをトレーニングするには、２Ｄグラウンド・トゥルース・データに対応する第１の損失関数、及び３Ｄの幾何学的整合性に対応する第２の損失関数を使用してＤＮＮをトレーニングすることができる。第１の損失関数は、－センサの固有の及び／又は付帯的パラメータを使用して２Ｄ画像空間に変換した後の－ＤＮＮの３Ｄ出力を、２Ｄグラウンド・トゥルース・データと比較してもよい。第２の損失関数は、１つ又は複数の幾何学的制約を考慮して、ＤＮＮの３Ｄ予測を分析してもよい。たとえば、交差点の幾何学的知識を使用して、既知の幾何形状と一致しないＤＮＮの予測にペナルティを課することができる。そのようなものとして、－たとえば、物理的な３Ｄ現実世界では量子飛躍が不可能であるという理由で－ＤＮＮの３Ｄ出力がスムーズでない場合、出力にペナルティを課すことができる。別の実例として、交差点の進入線又は退出線が直線ではない－又は直線であるという何らかの閾値内にある－という予測にペナルティが課せられるように、直線制約が課されてもよい。さらに、レーン幅の何らかの閾値範囲外であるという予測にペナルティを課すために、既知のレーン幅である可能性の範囲がＤＮＮの出力に強制されるように、レーン幅の制約が課されてもよい。そのようなものとして、ＤＮＮは、車両でトレーニング及び展開されると、２Ｄセンサ・データから３Ｄ交差点構造を正確に予測することができる。
【0008】
自律運転アプリケーションのための３次元（３Ｄ）交差点構造予測のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
【図面の簡単な説明】
【0009】
【図1】本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするための例示的プロセスを示す例示的データ流れ図である。
【図2A】本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するための例示的注釈のイラストレーションである。
【図2B】本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するための例示的注釈のイラストレーションである。
【図3A】本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するための例示的注釈のイラストレーションである。
【図3B】本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するための例示的注釈のイラストレーションである。
【図4】本開示のいくつかの実施例による、ニューラル・ネットワークをトレーニングするために３Ｄ予測から２次元（２Ｄ）空間に変換する例示的イラストレーションである。
【図5】本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするための例示的方法を示す流れ図である。
【図6A】本開示のいくつかの実施例による、ニューラル・ネットワークを使用して３Ｄ世界空間内の交差点構造を検出するための例示的プロセスを示すデータ流れ図である。
【図6B】本開示のいくつかの実施例による、交差点構造を計算する際に使用するための例示的ニューラル・ネットワークのイラストレーションである。
【図7】本開示のいくつかの実施例による、ニューラル・ネットワークを使用して３Ｄ世界空間内の交差点構造を検出するための例示的方法を示す流れ図である。
【図8A】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。
【図9】本開示のいくつかの実施例の実装において使用するのに適した例示的計算デバイスのブロック図である。
【図10】本開示のいくつかの実施例の実装に使用するのに適した例示的データ・センタのブロック図である。
【発明を実施するための形態】
【0010】
自律運転アプリケーションのための３次元（３Ｄ）交差点構造予測に関するシステム及び方法が開示される。本開示は、例示的自律型車両８００（或いは「車両８００」又は「エゴ車両８００」と称され、その実例は、図８Ａ～８Ｄに関して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、限定せずに、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、操縦式及び非操縦式ロボット若しくはロボット・プラットフォーム、倉庫車両、オフロード車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、並びに／又は他の車両タイプによって、使用され得る。加えて、本開示は、車両アプリケーションの交差点構造に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、並びに／又は、交差点若しくは他の環境構造及び／若しくは姿勢の検出が使用され得る、任意の他の技術空間において使用され得る。
【0011】
展開において、自律又は半自律型車両に位置する又は他の方法で配置されたセンサ（たとえば、カメラ、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサなど）を使用して、センサ・データ（たとえば、２Ｄ画像、ビデオなど）が受信及び／又は生成され得る。センサ・データによって表される道路標識、道路境界線、交差点、及び／又は同類のもの（たとえば、隆起した路面標示、ランブル・ストリップ、色付きのレーン仕切り、歩道、横断歩道、脇道など）に関連する関心エリア、並びにそれらに関連する意味論的情報及び／又は方向情報を識別するようにトレーニングされたニューラル・ネットワーク（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などの深層ニューラル・ネットワーク（ＤＮＮ））に、センサ・データが適用され得る。より具体的には、ＤＮＮは、３Ｄ交差点姿勢を定義する線分に対応する１つ又は複数のキー点を含む２次元（２Ｄ）入力データ（たとえば、画像、距離画像、又は他の２Ｄセンサ・データ表現）から３Ｄ交差点姿勢を計算するように、またそこから生成されたキー点及び／又は線分に対応する意味論的情報（たとえば、横断歩道、横断歩道進入、横断歩道退出、交差点進入、交差点退出など、若しくはその組合せ）及び／又は他の情報を識別する出力を生成するようにトレーニングされ得る。いくつかの実例において、計算されるキー点は、歩行者用交差路（たとえば、横断歩道）進入線、交差点進入線、交差点退出線、停止線、自転車レーン、及び／又は歩行者用交差路退出線などの交差点特徴又は線分の中心点及び／若しくは端点が位置している３Ｄ世界空間位置でもよい。そのようなものとして、交差点の３Ｄ構造及び姿勢は、キー点、線分、及び／又は関連する（たとえば、意味論的）情報を使用して決定され得、３Ｄ構造は、レーン、レーンのタイプ、キー点、線分、横断歩道、方向性、進行方向、及び／又は交差点に対応する他の情報についての表現を含み得る。
【0012】
トレーニング中、ＤＮＮは、レーン、横断歩道、進入線、退出線、自転車レーン、交差点エリアなどを表す線分でラベル付け又は注釈付けされた２Ｄ画像又は他のセンサ・データ表現を用いてトレーニングされ得、さらに、それに対応する意味論的情報を含み得る。いくつかの実例において、キー点は、中心点及び／又は幅情報から推論され得る、レーンの角点又は端点（たとえば、交差点構造のレーン・セグメントを表す線分）を含むようにラベル付けされ得る。結果として、線分注釈及び意味論的情報を使用して情報が決定され得るので、交差点構造は、限られたラベル付けしか必要としないこれらのキー点及び／又は線分を使用して符号化され得る。いくつかの実例において、２Ｄ交差点構造のグラウンド・トゥルースは、交差点内の潜在的な関心エリアに対応する１組のポリゴン及びそれに対応する意味論的情報（たとえば、交差点の内側、交差点の外側など）によって定義され得る。次いで、ラベル付けされた線分及び意味論的情報は、（たとえば、３Ｄ世界空間から２Ｄ画像空間への変換後）ＤＮＮの計算された出力と－たとえば、損失関数を使用して－比較するために使用され得る。
【0013】
２Ｄ入力画像から３Ｄ交差点構造を予測するようにＤＮＮをトレーニングするために、ＤＮＮの３Ｄ交差点構造予測が、－たとえば、２Ｄ画像を生成したセンサの固有の及び／又は付帯的パラメータを使用して－２Ｄ画像空間に投影され得る。次いで、損失関数を使用して、２Ｄ交差グラウンド・トゥルース・データの画素と３Ｄ予測の２Ｄ投影との間の距離を測定することができる。この距離を、損失関数を使用して最小化し、ＤＮＮの正確性又は精度を向上させることができる。そのようなものとして、ＤＮＮは、２Ｄ画像と世界空間内の３Ｄ交差点構造との間のマッピングを学習するようにトレーニングされ得る。
【0014】
さらに、１つ又は複数の３Ｄ幾何学的整合性制約を－たとえば、損失関数を介して－ＤＮＮの３Ｄ予測に適用して、幾何学的制約を考慮して３Ｄ交差点構造をより正確に予測するようにＤＮＮをトレーニングすることができる。現実世界の交差点及びその設計に関する知識を使用して、３Ｄ幾何学的整合性制約を決定することができる。たとえば、ＤＮＮの出力を評価するための幾何学的制約として、平滑性制約、直線制約、及び／又はレーン幅の統計的変動性が使用されてもよい。３Ｄ幾何学的整合性制約に対応する損失関数を使用して、これらの制約と一致しない出力にペナルティを課すことができる。その場合、総損失は、３Ｄ幾何学的整合性の損失及び２Ｄグラウンド・トゥルースの損失を含み得る。２Ｄ画像入力に基づいて３Ｄ交差点構造を正確且つ効率的に予測するために、総損失を最小限に抑えるようにＤＮＮをトレーニングすることができる。
【0015】
ＤＮＮがトレーニングされると、ＤＮＮは、線分、キー点、交差点エリア、３Ｄ交差点構造、及び／又は２Ｄ入力データに対応する他の出力に対応する３Ｄ世界空間において出力を予測することができる。いくつかの実施例において、キー点の３Ｄ位置は、各線分の１つ又は複数の端点、予測された線分の中心点、又はその組合せとして決定され得る。次いで、これらのキー点の３Ｄ位置は、車両が交差点をナビゲート又は横断する際に使用するための３Ｄ交差点構造を構築するために、－たとえば、ポストプロセッサによって－使用され得る。
【0016】
いくつかの実施例において、キー点の３Ｄ位置が決定されると、最終的に「ドット（又はキー点）を接続」し、交差点をナビゲートするための進路を生成するために、任意の数の追加の後処理動作が実行され得る。たとえば、キー点を接続して、交差点を横断するための潜在的進路を表すポリラインを生成することができる。最終進路には、車両の場所、キー点の位置、及び／又は同類のものなどに関連して決定され得る進路タイプが割り当てられ得る。潜在的な非限定的進路タイプには、左折、右折、レーンの切り替え、及び／又はレーンの継続が含まれる。潜在的進路の自然な運転曲線を最も正確に反映する最終的な形状を決定するために、曲線フィッティングも実装され得る。曲線フィッティングは、ポリライン・フィッティング、多項式フィッティング、クロソイド・フィッティング、及び／又は他のタイプの曲線フィッティング・アルゴリズムを使用して実行され得る。潜在的進路の形状は、位置、進行方向ベクトル（たとえば、角度）、意味論的情報、及び／又は接続されるキー点に関連する他の情報に基づいて決定され得る。曲線フィッティング・プロセスは、車両が交差点をナビゲートするために辿ることができるすべての可能な進路を生成するために、潜在的に互いに接続され得るすべてのキー点に対して繰り返され得る。いくつかの実例において、実行不可能な進路は、そのような進路に関連する交通規則及び物理的制限に基づいて検討から除外され得る。
【0017】
いくつかの実施例において、キー点を接続し、車両が交差点をナビゲートするための潜在的進路を生成するために、マッチング・アルゴリズムが使用され得る。そのような実例では、マッチング・スコアは、キー点の位置、進行方向ベクトル、意味論的情報、及び／又はキー点のペア間の近似曲線の形状に基づいて、キー点のペアごとに決定され得る。いくつかの実例において、ハンガリ・マッチング・アルゴリズムなどの線形マッチング・アルゴリズムが使用され得る。他の実例において、キー点のペアを接続するために、スペクトル・マッチング・アルゴリズムなどの非線形マッチング・アルゴリズムが使用され得る。
【0018】
いずれの実例においても、交差点を通る進路が決定されると、この情報を使用して、車両による１つ又は複数の動作を実行することができる。たとえば、世界モデル・マネージャは、交差点のナビゲートを支援するために世界モデルを更新することができ、自律運転ソフトウェア・スタックの進路計画層は、交差点情報を使用して、（たとえば、決定された潜在的進路のうちの１つに沿って）交差点を通る進路を決定することができ、及び／又は制御構成要素は、決定された進路に従って交差点をナビゲートするための車両の制御を決定することができる。
【0019】
３Ｄ交差点構造を計算するためのＤＮＮのトレーニング
図１を参照すると、図１は、本開示のいくつかの実施例による、交差点を検出するように深層ニューラル・ネットワーク（ＤＮＮ）１０４をトレーニングするための例示的プロセス１００を示す例示的データ流れ図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、プロセス１００によるニューラル・ネットワークのトレーニングは、図９の例示的計算デバイス９００及び／又は図１０の例示的データ・センタ１０００に関して本明細書に記載されるものと同様の構成要素、特徴、及び／又は機能を少なくとも部分的に使用して、実装され得る。
図１を参照すると、図１は、本開示のいくつかの実施例による、交差点を検出するように深層ニューラル・ネットワーク（ＤＮＮ）１０４をトレーニングするための例示的プロセス１００を示す例示的データ流れ図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、プロセス１００によるニューラル・ネットワークのトレーニングは、図９の例示的計算デバイス９００及び／又は図１０の例示的データ・センタ１０００に関して本明細書に記載されるものと同様の構成要素、特徴、及び／又は機能を少なくとも部分的に使用して、実装され得る。
【0020】
プロセス１００は、１つ又は複数のセンサからのセンサ・データ１０２を生成及び／又は受信することを含み得る。センサ・データ１０２は、非限定的実例として、車両（たとえば、本明細書に記載の図８Ａ～８Ｃの車両８００）の１つ又は複数のセンサから受信され得る。センサ・データ１０２は、少なくとも部分的に２Ｄ入力データ（たとえば、カメラ画像）から３Ｄの交差点を検出するように１つ又は複数のＤＮＮ１０４をトレーニングするために、車両によって、プロセス１００内で、使用され得る。トレーニング中、センサ・データ１０２は、ＤＮＮ１０４などのＤＮＮをトレーニングするためのセンサ・データを生成する１つ又は複数のデータ収集車両を使用して生成され得る、及び／又は事前に生成され、トレーニング・データ・セットに含まれ得る。トレーニング中に使用されるセンサ・データ１０２は、追加で又は別法として、シミュレーションされたセンサ・データ（たとえば、仮想環境内の仮想車両の１つ又は複数の仮想センサを使用して生成されたセンサ・データ）を使用して生成され得る。車両８００内でトレーニング及び展開されると、センサ・データ１０２は、車両８００の１つ又は複数のセンサによって生成され、３Ｄ交差点構造、意味論的情報、及び／又は交差点に対応する方向情報を計算するようにＤＮＮ１０４によって処理され得る。
【0021】
そのようなものとして、センサ・データ１０２は、たとえば、図８Ａ～８Ｃを参照すると、ＲＡＤＡＲセンサ８６０、超音波センサ８６２、ＬＩＤＡＲセンサ８６４、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０（たとえば、魚眼カメラ）、赤外線カメラ（ｓ）８７２、サラウンド・カメラ８７４（たとえば、３６０度カメラ）、長距離及び／若しくは中距離カメラ８７８、並びに／又は他のセンサ・タイプを含む車両のセンサのいずれかからのセンサ・データ１０２を含み得るが、これに限定されない。別の実例として、センサ・データ１０２は、仮想（たとえば、テスト）環境内の仮想車両又は他の仮想オブジェクトの任意の数のセンサから生成された仮想（たとえば、シミュレーション又は拡張された）センサ・データを含み得る。そのような実例において、仮想センサは、シミュレーションされた環境（たとえば、ニューラル・ネットワーク・パフォーマンスを試験、トレーニング、及び／又は検証するために使用される）内の仮想車両又は他の仮想物体に対応し得、仮想センサ・データは、シミュレーションされた又は仮想の環境内の仮想センサによってキャプチャされたセンサ・データを表し得る。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載のＤＮＮ１０４は、シミュレーションされた環境内のシミュレーションされたデータ又は拡張されたデータを使用してテスト、トレーニング、及び／又は検証され得、これにより、そのようなテストの安全性がより低い可能性がある現実世界環境の外で、より極端なシナリオをテストすることが可能になり得る。
【0022】
いくつかの実施例において、センサ・データ１０２は、画像を表す画像データ、ビデオを表す画像データ（たとえば、ビデオのスナップショット）、及び／又はセンサの知覚フィールドの表現（たとえば、ＬＩＤＡＲセンサの深度図、超音波センサの値グラフなど）を表すセンサ・データを含み得る。センサ・データ１０２が画像データを含む場合、任意のタイプの画像データ・フォーマット、たとえば、限定せずに、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又は輝度／クロミナンス（ＹＵＶ：Ｌｕｍｉｎａｎｃｅ／Ｃｈｒｏｍｉｎａｎｃｅ）フォーマット、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）若しくはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの圧縮ビデオ・フォーマットから生じるフレーム・ストリーミングのような圧縮画像、ＲＣＣＢ（Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、ＲＣＣＣ（Ｒｅｄ Ｃｌｅａｒ）、若しくは他のタイプの画像センサなどに由来する未加工画像、及び／又は他のフォーマットなどが使用され得る。加えて、いくつかの実例において、センサ・データ１０２は、前処理なしに（たとえば、未加工の又はキャプチャされたフォーマットにおいて）プロセス１００内で使用され得、他の実例において、センサ・データ１０２は、前処理（たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、クロップ、拡張、ホワイト・バランシング、トーン・カーブ調整など、たとえば、センサ・データ・プリプロセッサ（図示せず）を使用する）を受け得る。本明細書では、センサ・データ１０２は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。
【0023】
トレーニングに使用されるセンサ・データ１０２は、センサ・データ１０２は、最初の画像（たとえば、１つ又は複数の画像センサによってキャプチャされたものとしての）、ダウン・サンプリングされた画像、アップサンプリングされた画像、クロップされた若しくは関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）画像、他の方法で拡張された画像、及び／又はその組合せを含み得る。ＤＮＮ１０４は、画像（及び／又は他のセンサ・データ１０２）並びに対応するグラウンド・トゥルース・データ－たとえば、２Ｄグラウンド・トゥルース・データ１１６－を使用してトレーニングされ得る。グラウンド・トゥルース・データは、注釈、ラベル、マスク、及び／又は同類のものを含み得る。たとえば、いくつかの実施例において、２Ｄグラウンド・トゥルース・データは、－たとえば、図２Ａ～２Ｂ及び図３Ａ～３Ｂに関して説明したように－交差点エリア若しくは線分の注釈、交差点エリア若しくは線分の分類、及び／又はそれに関連する方向情報に対応し得る。いくつかの実施例において、２Ｄグラウンド・トゥルース・データ１１６は、２０２０年４月１４日に出願された特許文献１、２０２０年６月２４日に出願された特許文献２、及び／又は２０２０年３月１０日に出願された特許文献３に記載されたグラウンド・トゥルース・データに類似している場合があり、これらはそれぞれ、参照によりその全体が本明細書に組み込まれる。
【0024】
２Ｄグラウンド・トゥルース・データ１１６を生成するために注釈が使用される場合、いくつかの実例において、注釈は、描画プログラム（たとえば、注釈プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）プログラム、ラベリング・プログラム、注釈の生成に適した別のタイプのプログラム内で生成され得る、及び／又は手描きであり得る。任意の実例において、２Ｄグラウンド・トゥルース・データ１１６は、合成的に生成され得る（たとえば、コンピュータ・モデル又はレンダリングから生成される）、実際に生成され得る（たとえば、現実世界のデータから設計及び生成される）、機械自動化され得る（たとえば、特徴分析を使用すること、及びデータから特徴を抽出し、次いでラベルを生成するように学習すること）、人間により注釈付けされ得る（たとえば、ラベラー又は注釈エキスパートがラベルの位置を定義する）、及び／又はその組合せであり得る（たとえば、人間が中心点又は原点並びにエリアの寸法を識別し、機械が交差点エリアのポリゴン及び／又はラベルを生成する）。
【0025】
交差点エリアは、交差の関心エリアを描出する境界形状－たとえば、ポリゴンなど－に対応する注釈、又は他のラベル・タイプを含み得る。いくつかの実例において、交差点エリアは、歩行者用交差路エリア、交差点進入エリア、交差点退出エリア、不明確エリア、レーンなしエリア、交差点内部エリア、部分的に見えるエリア、全体的に見えるエリアなどに対応する１つ又は複数のポリゴンによって、－たとえば、センサ・データ１０２のセンサ・データ表現内で－センサ・データ１０２に描出され得る。ポリゴンは、境界ボックスとして生成され得る。２Ｄグラウンド・トゥルース・データ１１６に対応する意味論的情報（たとえば、分類）は、ＤＮＮ１０４をトレーニングするために使用されるセンサ・データ１０２によって表される画像ごとに、及び／又は画像内の１つ又は複数のポリゴンごとに生成され得る。分類の数は、ＤＮＮ１０４が予測するようにトレーニングされている特徴の数及び／若しくはタイプ、又はそれぞれの画像内の交差点エリアの数及び／若しくは特徴のタイプに対応し得る。
【0026】
実施例に応じて、意味論的情報は、特徴タイプ又は交差点エリアのクラス、たとえば、しかし限定せずに、歩行者用交差路エリア、交差点進入エリア、交差点退出エリア、不明確エリア、レーンなしエリア、交差点内部エリア、部分的に見えるエリア、全体的に見えるエリア及び／又は同類のものに対応する分類又はタグに対応し得る。いくつかの実例において、分類は、最初に交差点内部エリア及び／又は交差点外部エリアに対応し得る。交差点内部エリア分類は、交差点を様々な方向に横断する車両の進路が交差し得る交差点内のエリアを含む交差点エリアを指し得る。交差点外部エリア分類は、交差点内部エリアの外側のエリアを含む交差点エリアを指し得る。
【0027】
交差点外部エリアとして分類された交差点エリアは、歩行者用交差路エリア、交差点進入エリア、交差点退出エリア、不明確エリア、レーンなしエリア、及び／又は同類のものを含むがこれらに限定されない、交差点退出エリアの特徴タイプに対応する属性に対応する分類でさらにラベル付けされ得る。具体的には、交差点進入の属性は、１つ又は複数の車両が様々な異なる方向から対応する交差点に進入しようとしている交差点エリアに対応し得る。交差点退出エリアは、直近に交差点を様々な方向に退出した１つ又は複数の車両が位置し得る交差点エリアに対応し得る。車両８００が交差点を安全に横断するためには交差点退出エリアを安全に横断しなければならないので、交差点退出エリアに関する情報が特に重要である可能性があることを理解されたい。同様に、歩行者用交差路エリアは、交差点内部エリアの外側に位置する歩行者用交差路に対応する交差点エリアを指し得る。「レーンなしエリア」として分類されるエリアは、車両が横断することを許可されていない交差点エリアたとえば、自転車レーン、歩行者通路、及び／又は同類のものに対応し得る。「不明確エリア」属性は、車両の走行方向が不明確である交差点エリアに対応し得る。加えて、交差点内部エリア及び交差点外部エリア・クラスの分類はまた、全体的に見えるエリア及び／又は部分的に見えるエリアの属性のうちの１つを含み得る。実例において、分類が、全体的に見えるエリアの属性又はクラス・ラベルを含む場合、対応する交差点エリアは、たとえば、障害物のない、全体的に見える表面を含み得る。対照的に、分類が、部分的に見えるエリアの属性又はクラス・ラベルを含む場合、対応する交差点エリアは、対応するセンサ・データ１０２においてエリア内の運転面が部分的にしか見えないような遮蔽などの障害物を含み得る。本明細書に記載のラベリング・オントロジーは、例示のみを目的としており、本開示の範囲を逸脱せずに、追加の及び／又は代替のクラス・ラベルが使用され得る。
【0028】
非限定的実例として図２Ａ～２Ｂを参照すると、図２Ａ～２Ｂは、本開示のいくつかの実施例による、交差点を検出するようにＤＮＮをトレーニングするためのグラウンド・トゥルース生成において使用するためのセンサ・データ１０２に対応する例示的注釈を示す。たとえば、図２Ａは、図１のトレーニング・プロセス１００に従ってグラウンド・トゥルース・データを生成するために使用され得る画像２００Ａの（たとえば、意味論的情報に対応する）例示的ラベル付けを示す。画像内の交差点エリア又は交差領域は、交差点エリア（たとえば、エリア２０４Ａ、２０４Ｂ、２０６、２０８、２１０Ａ、及び２１０Ｂ）並びに対応する分類（たとえば、「交差点内部」、「部分的に見える」、「車両退出」、「車両進入」、「部分的に見える」、「歩行者用交差路」など）によって、注釈付けされ得る。たとえば、交差点エリア２０４Ａは、ポリゴンを使用してラベル付けされ、「交差点進入」及び「部分的に見える」などの１つ又は複数の属性を有するものとして分類され得る。同様に、交差点エリア２０４Ｂ、２０６、２０８、２１０Ａ、及び２１０Ｂもポリゴンを使用してラベル付けされ得、交差点２０４Ｂは「車両進入」及び「部分的に見える」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２０６は「歩行者用交差路」及び「部分的に見える」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２０８は「交差点内部」及び「部分的に見える」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２１０Ａは「車両退出」及び「部分的に見える」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２１０Ｂは、「車両退出」及び「全体的に見える」などの１つ又は複数の属性を有するものとして分類され得る。いくつかの実例において、共通のクラス又は分類に属する各交差点エリアに、一致する色のポリゴン（又は、意味論的情報の何らかの他の視覚的表示）を注釈付けすることもできる。たとえば、交差点エリア２０４Ａ及び２０４Ｂのポリゴンは、それらが両方とも車両進入分類として分類されるので、同じ色及び／又はスタイルであり得る。同様に、交差点エリア２１０Ａ及び２１０Ｂのポリゴンは、それらが両方とも車両退出分類として分類されるので、同じ色及び／又はスタイルを使用して注釈付けされ得る。これらのラベル付け又は注釈スタイルは、特定のクラスに対応するものとしてシステム１００に認識され得、この情報は、ＤＮＮ１０４をトレーニングするための符号化されたグラウンド・トゥルース・データを生成するために使用され得る。
【0029】
ここで図２Ｂを参照すると、図２Ｂは、本発明のいくつかの実施例による、交差点エリアを検出するようにＤＮＮ１０４をトレーニングするためにセンサ・データに適用される注釈の別の実例を示す。ここに図示されているように、交差点エリア２２２Ａ～２２２Ｃ、２２４Ａ～２２４Ｃ、２２６Ａ～２２６Ｂ、２２８Ａ～２２８Ｂ、及び２３０は、ポリゴン及び対応する分類（たとえば、「交差点内部」、「部分的に見える」、「車両退出」、「車両進入」、「部分的に見える」、「歩行者用交差路」など）で注釈付けされ得る。たとえば、交差点エリア２２２Ａ、２２２Ｂ、及び２２２Ｃは、同様の色及び／又はスタイルのポリゴンを使用してラベル付けされ、「車両進入」及び「部分的に見える」のうちの１つ又は複数として分類され得る。同様に、交差点エリア２２４Ａ、２２４Ｂ、及び２２４Ｃは、同様の色及び／又はスタイルのポリゴンを使用してラベル付けされ、「歩行者用交差路」、「全体的に見える」、及び「部分的に見える」のうちの１つ又は複数として分類され得る。交差点エリア２２６Ａ及び２２６Ｂは、同様の色及び／又はスタイルのポリゴンを使用してラベル付けされ、「レーンなし」、「全体的に見える」、及び「部分的に見える」のうちの１つ又は複数として分類され得る。交差点エリア２２８Ａ及び２２８Ｂは、同様の色及び／又はスタイルのポリゴンを使用してラベル付けされ、「車両退出」、「全体的に見える」、及び「部分的に見える」のうちの１つ又は複数として分類され得る。交差点エリア２３０は、ポリゴンを使用してラベル付けされ、「交差点内部」及び「部分的に見える」のうちの１つ又は複数として分類され得る。
【0030】
注釈は、同じ分類に対して同様の視覚的表現であり得る。図示のように、交差点エリア２２２Ａ、２２２Ｂ、及び２２２Ｃは、車両退出エリアとして分類され得る。このようにして、画像の同様に分類された特徴は、同様の方法で注釈付けされ得る。さらに、分類が複合名詞であり得ることに留意されたい。図２Ｂでは、異なる分類を表すために、異なる分類ラベルが実線、破線などによって表され得る。さらに、異なる分類ラベルは、名詞及び／又は複合名詞であり得る。これは限定を意図しておらず、画像内の特徴（たとえば、交差点エリア）の分類ラベルの違いを説明するために、分類の任意の命名規則が使用されてもよい。
【0031】
２Ｄグラウンド・トゥルース・データ１１６の生成のための追加の又は代替のオプションとして、センサ・データ１０２に関連して、レーン（又は線）ラベルが生成され得る。たとえば、交差点に対応する特徴又は関心エリアに対応する注釈又は他のラベル・タイプが生成され得る。いくつかの実例において、交差点構造は、センサ・データ１０２内のレーン、横断歩道、進入線、退出線、自転車レーンなどに対応する１組の線分として定義され得る。線分は、ポリラインとして生成され得、各ポリラインの中心は、対応する線分の中心として定義される。意味論的情報（たとえば、分類）は、ＤＮＮ１０４をトレーニングするために使用されるセンサ・データ１０２によって表される画像（及び／又は他のセンサ・データ表現）ごとに、並びに／又は画像内の線分及び中心のうちの１つ又は複数ごとに生成され得る。上記と同様に、分類の数は、ＤＮＮ１０４が予測するようにトレーニングされている特徴の数及び／若しくはタイプ、又はそれぞれの画像内のレーンの数及び／若しくは特徴のタイプに対応し得る。実施例に応じて、分類は、横断歩道、横断歩道進入、横断歩道退出、交差点進入、交差点退出、及び／又は自転車レーンなどであるがこれらに限定されない、特徴タイプに対応する分類又はタグに対応し得る。
【0032】
いくつかの実例において、交差点構造は、注釈に基づいて決定され得る。そのような実例では、レーン・ラベルから１組のキー点が決定され得、各キー点は、レーンを横切って延在する対応する線分の中心（又は左端、又は右端など）に対応する。キー点は、主にレーン・セグメントの中心点に関して説明されているが、これは限定を意図するものではなく、いくつかの実例では、センサ・データ１０２のそれぞれのインスタンスのキー点として、各レーンの角又は端点も決定され得る。たとえば、各レーンの角又は端点は、中心キー点及びレーンの方向性から、又はレーンのラベル若しくは注釈自体から推論され得る。加えて、レーン又は線分の数、及び各レーンからの各線分に対応する進行方向、方向性、幅、及び／又は他の幾何形状が、注釈から－たとえば、レーンのラベル及び分類から－決定され得る。結果として、注釈が特定の交差点構造又は姿勢情報－進行方向、レーン幅、及び／又はレーンの方向性など－を直接示していない場合でも、この情報を決定するために注釈が分析又は処理され得る。
【0033】
たとえば、第１のレーン・ラベルがレーンの幅に沿って延在し、「横断歩道進入」の分類を含み、第２のレーン・ラベルが同じレーンの幅に沿って延在し、「横断歩道退出＿交差点進入」の分類を含む場合、この情報を使用して、レーンの進行方向（たとえば、第１のレーン・ラベルから第２のレーン・ラベルまで）が決定され得る（たとえば、車両は、第１のレーン・ラベルを横切って第２のレーン・ラベルに向かう方向に走行する）。加えて、レーン・ラベルは、レーンの方向性（たとえば、角度）を示す場合があり、この情報から、－レーン・ラベルの法線を計算することなどによって－進行方向（たとえば、角度）が決定され得る。
【0034】
ここで図３Ａ～３Ｂを参照すると、図３Ａ～３Ｂは、本開示のいくつかの実施例による、交差点構造及び姿勢を検出するようにＤＮＮ１０４をトレーニングするための２Ｄグラウンド・トゥルース・データ１１６の生成に使用するための、センサ・データ１０２に適用される例示的注釈を示す。たとえば、図３Ａは、図１のトレーニング・プロセス１００に従って２Ｄグラウンド・トゥルース・データ１１６を生成するために使用され得る画像３００Ａの例示的ラベル付け（たとえば、注釈に対応する）を示す。画像内のレーンには、レーン・ラベル（たとえば、レーン３０４、３０６、３１０、及び３１２）及び対応する分類（たとえば、歩行者進入、交差点退出、交差点進入、歩行者退出、レーンなし）で注釈付けされ得る。たとえば、レーン３０４は、線分を使用してラベル付けされ、交差点進入及び歩行者進入のうちの１つ又は複数として分類され得る。同様に、レーン３０６、レーン３０８、及びレーン３１０も、線分を使用してラベル付けされ得、レーン３０６は、交差点進入及び歩行者退出のうちの１つ又は複数として分類され得、レーン３０８は、交差点進入及び歩行者退出のうちの１つ又は複数として分類され得、レーン３１２は、レーンなしとして分類され得る。
【0035】
さらに、レーン３０４、３０６、及び３０８のラベルは、矢印３０２Ａ～３０２Ｖによって示されるように、対応する進行方向でさらに注釈付けされ得る。進行方向は、特定のレーンに関連する交通の方向を表し得る。いくつかの実例において、進行方向は、その対応するレーン・ラベルの中心（又はキー）点に関連付けられ得る。たとえば、進行方向３０２Ｓは、レーン３０４の中心点に関連付けられ得る。図３Ａでは、異なる分類を表すために、異なる分類ラベルが異なる線種－たとえば、実線、破線など－によって表され得る。しかしながら、これは限定を意図しておらず、レーン・ラベル及びその分類のいずれの視覚化も、画像内の特徴（たとえば、レーン）の分類ラベルの違いを示すための異なる形状、パターン、塗りつぶし、色、記号、及び／又は他の識別子を含み得る。
【0036】
ここで図３Ｂを参照すると、図３Ｂは、本発明のいくつかの実施例による、交差点構造及び姿勢を検出するように機械学習モデルをトレーニングするためのセンサ・データに適用される注釈の別の実例を示す。ここでは、画像３００Ｂ内のレーン３２２Ａ及び３２２Ｂは、線分で注釈付けされ得る。レーン３２２Ｂに対応する線分は、車両上に延在するように注釈付けされ得る。これは、実際の位置が遮蔽されている可能性がある場合でも、キー点の位置を予測するようにＤＮＮ１０４をトレーニングするのに役立ち得る。結果として、車道内の車両又は他の物体の存在が、交差点を通る提案進路を生成するシステムの能力を損なうことがない可能性がある。注釈は、同じ分類に対して同様の視覚的表現であり得る。図示のように、レーン３２２Ａ及び３２２Ｂは、交差点進入線停止線として分類され得る。このようにして、画像の同様に分類された特徴は、同様の方法で注釈付けされ得る。さらに、分類が、複合名詞を使用して表され得ることに留意されたい。図３Ｂでは、異なる分類を表すために、異なる分類ラベルが実線、破線などによって表され得る。さらに、異なる分類ラベルは、名詞及び／又は複合名詞であり得る。これは限定を意図しておらず、画像内の特徴（たとえば、レーン）の分類ラベルの違いを説明するために、分類の任意の命名規則が使用されてもよい。
【0037】
エンコーダは、交差点構造及び姿勢に対応する２Ｄグラウンド・トゥルース・データ１１６を、注釈を使用して符号化するように構成され得る。たとえば、本明細書に記載のように、注釈がレーンのラベル及び分類に限定され得る場合でも、キー点、レーンの数、進行方向、方向性、並びに／又は他の構造及び姿勢情報などの情報は、注釈から決定され得る。この情報が決定されると、情報は、２Ｄグラウンド・トゥルース・データ１１６を生成するために、エンコーダによって符号化され得る。たとえば、レーンに対応する進行方向角は、レーンに対応する線分の方向の法線を使用して決定され得、進行方向は、意味論的情報又は分類情報を使用して決定され得る（たとえば、線分が横断歩道進入に対応し、その線分の後の次の線分が横断歩道退出及び交差点進入に対応する場合、進行方向は、線分から次の線分に向かって、交差点に進んでいると決定され得る）。注釈から方向性（たとえば、レーンの角度又は他の幾何形状）が決定されると、方向ベクトルが決定され、線分－線分を表すキー点（たとえば、中心キー点）など－に帰属し得る。同様に、（たとえば、方向性から－その法線として－又はその他の方法で）進行方向が決定されると、進行方向ベクトルが決定され、線分－線分を表すキー点など－に帰属し得る。たとえば、進行方向（たとえば、レーンに沿った車両の走行方向に対応する角度）が決定されると、進行方向ベクトルが決定され、線分－線分を表すキー点など－に帰属し得る。
【0038】
センサ・データ１０２のインスタンスごとに（たとえば、センサ・データ１０２が画像データを含む画像ごとに）２Ｄグラウンド・トゥルース・データ１１６が生成されると、ＤＮＮ１０４は、２Ｄグラウンド・トゥルース・データ１１６を使用して（交差の線分の位置及びそれに関連する意味論的情報を含む）３Ｄ交差点構造を直接計算するようにトレーニングされ得る。たとえば、ＤＮＮ１０４は、出力１０６を生成することができ、出力１０６は、－損失関数１１４を使用して－センサ・データ１０２及び／又は３Ｄ幾何学的整合性制約１１８のそれぞれのインスタンスに対応する２Ｄグラウンド・トゥルース・データ１１６と比較され得る。たとえば、２Ｄグラウンド・トゥルース・データ１１６に関して、ＤＮＮ１０４の３Ｄ出力１０８は、１つ又は複数の損失関数１１４を使用した２Ｄグラウンド・トゥルース・データ１１６との比較のために、－たとえば、３Ｄ対２Ｄ変換器１１２を使用して－２Ｄ空間に変換され得る。
【0039】
ＤＮＮ１０４は、最初に、３Ｄ世界空間における（ｘ，ｙ，ｚ）座標の任意に初期化された値（たとえば、３Ｄ出力１０８）を出力することができ、この値は、損失関数１１４を使用して時間とともに改善することになる。たとえば、３Ｄ出力１０８は、センサ・データ１０２（たとえば、２Ｄカメラ画像、又は他の２Ｄ画像データ表現）に描写された交差点を描出する線分に対応するキー点の３Ｄ世界空間位置に対応し得る。そのようなものとして、交差点に対応する線分を生成するために、中心キー点及び／又は終了キー点－それぞれ、車両８００の、原点（たとえば、車軸の中心、車両の最前点、車両の最上点などの車両上の点）を基準にした３Ｄ世界空間内の対応する（ｘ，ｙ，ｚ）位置を含む－が使用（たとえば、接続）され得る。たとえば、３Ｄ出力１０８は、３Ｄ世界空間内の各点の（たとえば、対象空間又は設計空間内の各（ｘ，ｙ，ｚ）座標）の、点がキー点（及び／又は線分）に対応するかどうかに関する信頼性として計算され得る。意味論的情報１１０を組み込む場合、３Ｄ世界空間内の各点は、意味論的クラスの各タイプに関連する信頼性を有し得、閾値信頼性は、閾値信頼性を超える意味論的クラスを有さない点を除外するために使用され得る。そのようなものとして、点が任意のクラスについて閾値を超える信頼性を有する場合、その位置にキー点（又は線分）があり、キー点（又は線分）が閾値信頼性を超えるクラスのものであり得る、という予測になり得る。
【0040】
しかしながら、正確で信頼できる３Ｄグラウンド・トゥルース・データを十分に大量に生成することは困難であり得るので、プロセス１００は、２Ｄグラウンド・トゥルース・データ１１６を使用してＤＮＮ１０４をトレーニングすることができる。そのようなものとして、交差キー点－又は、それに対応する線分－の３Ｄ世界空間内の予測位置は、３Ｄ対２Ｄ変換器を使用して２Ｄ空間に変換され得る。たとえば、３Ｄ対２Ｄ変換器は、センサ・データ１０２のインスタンスを生成したセンサの固有のパラメータ（たとえば、光学的中心、焦点距離、非対称係数など）及び／又は付帯的パラメータ（たとえば、３Ｄ世界空間内の（たとえば、車両８００の原点に対する）センサ位置、回転、並進、３Ｄ世界空間から３Ｄカメラ座標系への変換など）を使用して、値を３Ｄ世界空間から２Ｄ画像空間に変換する。
【0041】
次いで、交差キー点（又は、そこから構築された線分）の３Ｄから２Ｄに変換された位置は、２Ｄグラウンド・トゥルース・データ１１６内のキー点（又は線分）の既知の２Ｄ位置と比較され得る。たとえば、２Ｄグラウンド・トゥルース・データ１１６は、（たとえば、図３Ａ～３Ｂに関して説明したように）それに対応する意味論的情報及び／若しくは方向情報を有する１組のポリライン・セグメント、並びに／又は（たとえば、図２Ａ～２Ｂに関して説明したように）対応する意味論的情報を伴う交差点での潜在的な競合エリアを示す１組のポリゴン・エリアを含み得る。いくつかの実施例において、本明細書に記載の２Ｄグラウンド・トゥルース・データ１１６フォーマットに加えて又は別法として、他の２Ｄグラウンド・トゥルース・データ１１６フォーマット又はスタイルを、本開示の範囲を逸脱せずに使用することができる。任意の実施例において、ＤＮＮ１０４の３Ｄ座標予測（たとえば、３Ｄ出力１０８）は、２Ｄグラウンド・トゥルース・データ１１６と同じ２Ｄ（たとえば、画像）空間に投影され得、２Ｄグラウンド・トゥルース・データ１１６と交差点特徴の変換された２Ｄ位置との間の距離を比較するために、損失関数１１４が使用され得る。距離を最小化することによって、ＤＮＮ１０４の予測の正確性が向上し、時間の経過とともに、ＤＮＮ１０４は、（たとえば、２Ｄ）センサ・データ１０２から抽出された２Ｄ交差点構造情報と３Ｄ世界空間内の３Ｄ交差点構造との間のマッピングを学習する。加えて、キー点及び／又は線分ごとに、ＤＮＮ１０４によって出力された意味論的情報１１０が、２Ｄグラウンド・トゥルース・データ１１６からの意味論的情報と比較され得る。さらに、３Ｄ出力１０８は、方向ベクトルを含み得、及び／又は意味論的情報１１０は、キー点及び／又は線分に対応する方向を示し得る。そのようなものとして、出力１０６からのこの情報は、（図３Ａ～３Ｂなどに関して本明細書に記載のように）２Ｄグラウンド・トゥルース・データ１１６からの方向ベクトル及び／又は進行方向情報と比較され得るキー点及び／又は線分に関連する方向を決定するために使用され得る。
【0042】
一実例として図４を参照すると、図４は、本開示のいくつかの実施例による、ニューラル・ネットワークをトレーニングするために３Ｄ出力１０８を２Ｄ空間に変換する例示的イラストレーションである。たとえば、３Ｄ出力１０８Ａは、センサ・データ１０２のインスタンス－たとえば、図３Ａ及び図４の画像３００Ａの２Ｄグラウンド・トゥルース・データ１１６に対応するインスタンスに対応する、ＤＮＮ１０４の３Ｄ出力１０８の視覚化に対応し得る。３Ｄ出力１０８Ａは、車両上のある原点に対応する原点（０，０，０）を含み得、最大で設計空間又は対象空間の範囲まで横方向に左から右に、設計空間の範囲まで縦方向に前後に、設計空間の範囲まで垂直方向に上下に（上から下への視点であるため、描写せず）、延在し得る。非限定的実施例において、設計空間は、幅４０メートル（たとえば、ｘ軸）、長さ１００メートル（たとえば、ｙ軸）、及び高さ３メートル（たとえば、ｚ軸）であり得る。しかしながら、任意の設計空間が使用されてもよい。設計空間が、少なくとも車両が横切る可能性のある任意の交差点と同じ大きさである可能性が高くなるように、設計空間は、交差点の寸法に対応する代表値、平均値、又は他の値を決定するための複数（たとえば、数百、数千など）の交差点の分析に基づいて選択され得る。図４の例示的視覚化において、示されている横方向（ｘ軸）の範囲は－１６メートルから＋１６メートルに及び、示されている縦方向（ｙ軸）の範囲は０メートルから２８メートルに及び、垂直方向の範囲（上から下への視覚化であるため、描写せず）は０から３メートルに及ぶ。そのようなものとして、ＤＮＮ１０４の３Ｄ出力１０８は設計空間内で予測され得る。図４の実例において、視覚化４００に示されるように、３Ｄ出力は、３Ｄ対２Ｄ変換器１１２を使用して２Ｄ画像空間に変換され得る。たとえば、視覚化４００は、画像３００Ａ上にオーバーレイされたＤＮＮ１０４の２Ｄ変換された予測を含み得、画像３００Ａは、画像に対応する２Ｄグラウンド・トゥルース・データ１１６を含み得る。そのようなものとして、２Ｄグラウンド・トゥルース・データ１１６に対応する損失関数１１４を使用して、ＤＮＮ１０４の変換された出力の距離及び／又は意味論的情報を２Ｄグラウンド・トゥルース・データ１１６と比較することができる。図４に示すように、２Ｄ変換された出力は、破線領域４０２内に不正確さが存在することを示している。たとえば、視覚化４００の３Ｄから２Ｄに変換された出力内の線分４０４Ａ～４０４Ｄは、画像３００Ａ内のそれぞれの線分４０４Ａ～４０４Ｄと方向的に一致しない。同様に、線分４０４Ｂに関連付けられた意味論的情報は、２Ｄグラウンド・トゥルース・データ１１６からの線分４０４Ｂの意味論的情報と一致しない。そのようなものとして、損失関数１１４を使用して、位置、方向性、意味論的情報、並びに／又は３Ｄから２Ｄに変換された出力及び２Ｄグラウンド・トゥルース・データ１１６の他の情報間の距離及び／又は差を計算することができる。
【0043】
いくつかの実施例において、２Ｄグラウンド・トゥルース・データ１１６の損失関数に加えて又は別法として、３Ｄ幾何学的整合性制約１１８の損失関数を使用することができる。たとえば、現実世界の交差点及び交差設計の経験的知識に基づいて、様々な３Ｄ幾何学的制約が決定され、ＤＮＮ１０４の計算された３Ｄ出力１０８との比較のために使用され得る。たとえば、マクロ・スケールでは物理的３Ｄ現実世界に量子飛躍がないので、３Ｄ幾何学的整合性制約１１８は、平滑性の項を含み得る。そのようなものとして、非平滑予測－たとえば、完全に分離している線分、ｘ、ｙ、及び／若しくはｚ方向のいずれかで互いにオフセットされた線分、並びに／又はそれ以外の非平滑線分－を含む３Ｄ出力１０８は、３Ｄ幾何学的整合性に対応する損失関数１１４を使用してペナルティが課せられ得る。別の３Ｄ幾何学的整合性制約１１８は、現実世界の交差点が直線の進入／退出線を有するように設計されており、交差点の線分が一般に線形である、という知識に基づく直線制約を含み得る。そのようなものとして、非直線セグメントを含む３Ｄ出力１０８は（たとえば、キー点を使用して線分を生成した後）、３Ｄ幾何学的整合性に対応する損失関数１１４を使用してペナルティが課され得る。同様に、レーン幅の統計的変動性を３Ｄ幾何学的整合性制約１１８として使用することができ、その結果、実例において、レーン幅の統計的変動性に起因する閾値長さより長い線分にペナルティを課すことができ、レーン幅の統計的変動性に起因する閾値長さより短い線分にペナルティを課すことができ、差が大きいほど、より多くのペナルティを課すことができる。たとえば、米国では、平均レーン幅が３．５メートルである可能性があり、したがって、非限定的実例として、統計的変動性によって許容範囲は３．２５メートルから３．７５メートルとなり得る。そのようなものとして、３Ｄ出力１０８が２．５メートル又は５メートルのレーンを示す場合、これらの出力は、３Ｄ幾何学的整合性制約１１８の損失関数１１４を使用してペナルティが課され得る。本明細書に記載の３Ｄ幾何学的整合性制約１１８は、限定を意図しておらず、本開示の範囲を逸脱せずに追加又は代替の制約を使用することができる。
【0044】
そのようなものとして、ＤＮＮ１０４が許容可能な又は望ましい正確さに収束するまで、損失関数１１４からのフィードバックを使用して、２Ｄグラウンド・トゥルース・データ１１６及び／又は３Ｄ幾何学的整合性制約１１８を考慮してＤＮＮ１０４のパラメータ（たとえば、重み及びバイアス）を更新することができる。プロセス１００を使用することによって、ＤＮＮ１０４は、損失関数１１４、２Ｄグラウンド・トゥルース・データ１１６、及び３Ｄ幾何学的整合性制約を使用して、センサ・データ１０２から、出力１０６－たとえば、３Ｄ出力１０８及び／又は意味論的情報１１０－を正確に予測するようにトレーニングされ得る。本明細書に記載のように、いくつかの実例において、異なる損失関数１１４を使用して、異なる出力１０６を予測するようにＤＮＮ１０４をトレーニングすることができる。たとえば、第１の損失関数１１４は、３Ｄから２Ｄに変換された出力１０６を２Ｄグラウンド・トゥルース・データと比較するために使用され得、第２の損失関数１１４は、３Ｄ出力を３Ｄ幾何学的整合性制約１１８と比較するために使用され得る。そのような実例では、ＤＮＮ１０４のパラメータを更新するために使用され得る最終的な損失値を生成するために、２つ以上の損失関数１１４が（たとえば、同様に、異なる方法で、などで）重み付けされ得る。
【0045】
ここで図５を参照すると、本明細書に記載の方法５００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法５００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法５００は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。さらに、方法５００は、例として、図１のプロセス１００に関して説明される。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのプロセス及び／若しくは任意の１つのシステム、又は任意の組合せのプロセス及び／若しくはシステムによって、追加で又は別法として実行され得る。
【0046】
図５は、本開示のいくつかの実施例による、交差点を検出するようにニューラル・ネットワークをトレーニングするための例示的方法５００を示す流れ図である。方法５００は、ブロックＢ５０２において、２Ｄ空間内のセンサ・データ表現を表すセンサ・データをニューラル・ネットワークに適用することを含む。たとえば、画像（又は他のセンサ・データ表現）を表すセンサ・データ１０２が、ＤＮＮ１０４に適用され得る。
【0047】
方法５００は、ブロックＢ５０４において、ニューラル・ネットワークを使用して、センサ・データに少なくとも部分的に基づいて、３Ｄ世界空間位置を表すデータを計算することを含む。たとえば、ＤＮＮ１０４は、センサ・データ１０２を処理した後に、出力１０６－具体的には、実施例では３Ｄ出力１０８－を計算することができる。
【0048】
方法５００は、ブロックＢ５０６において、３Ｄ世界空間位置を２Ｄ空間に変換して、２Ｄ空間位置を生成することを含む。たとえば、３Ｄ対２Ｄ変換器１１２は、センサ・データ１０２を生成したセンサの固有の及び／又は付帯的パラメータを使用して、３Ｄ出力１０８を２Ｄ（画像）空間に変換することができる。
【0049】
方法５００は、ブロックＢ５０８において、第１の損失関数を使用して、２Ｄ空間位置を、センサ・データに関連する２Ｄ空間グラウンド・トゥルース位置と比較することを含む。たとえば、ＤＮＮ１０４の３Ｄから２Ｄに変換された出力は、第１の損失関数１１４を使用して、２Ｄグラウンド・トゥルース・データ１１６と比較され得る。
【0050】
方法５００は、ブロックＢ５１０において、第２の損失関数を使用して、３Ｄ世界空間位置を、１つ又は複数の幾何学的整合性制約と比較することを含む。たとえば、ＤＮＮ１０４の３Ｄ出力１０８は、第２の損失関数を使用して、３Ｄ幾何学的整合性制約１１８と比較され得る。
【0051】
方法５００は、ブロックＢ５１２において、２Ｄ空間位置と２Ｄ空間グラウンド・トゥルース位置との比較、及び３Ｄ世界空間位置と１つ又は複数の幾何学的整合性制約との比較に少なくとも部分的に基づいて、ニューラル・ネットワークの１つ又は複数のパラメータを更新することを含む。たとえば、ＤＮＮ１０４は、トレーニング・エンジン又はオプティマイザを使用して、第１の損失関数及び第２の損失関数の出力に基づいて更新され得る。このプロセスは、ＤＮＮが許容可能なレベルの正確さに収束するまで、ＤＮＮ１０４のトレーニングに使用されるセンサ・データ１０２のインスタンスごとに、繰り返され得る。
【0052】
３Ｄ交差点構造を計算するためのＤＮＮの展開
ここで図６Ａを参照すると、図６は、本開示のいくつかの実施例による、ニューラル・ネットワークを使用して３Ｄ世界空間内の交差点構造を検出するための例示的プロセス６００を示すデータ流れ図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、プロセスによるニューラル・ネットワーク１００のトレーニングは、図９の例示的計算デバイス９００及び／又は図１０の例示的データ・センタ１０００に関して本明細書に記載されるものと同様の構成要素、特徴、及び／又は機能を少なくとも部分的に使用して、実装され得る。
ここで図６Ａを参照すると、図６は、本開示のいくつかの実施例による、ニューラル・ネットワークを使用して３Ｄ世界空間内の交差点構造を検出するための例示的プロセス６００を示すデータ流れ図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、プロセスによるニューラル・ネットワーク１００のトレーニングは、図９の例示的計算デバイス９００及び／又は図１０の例示的データ・センタ１０００に関して本明細書に記載されるものと同様の構成要素、特徴、及び／又は機能を少なくとも部分的に使用して、実装され得る。
【0053】
プロセス６００は、センサ・データ１０２を受信すること及び／又は生成することを含み得る。たとえば、センサ・データ１０２は、図１に関して説明されたセンサ・データ１０２と同様であり得る。たとえば、センサ・データ１０２は、車両８００の１つ又は複数のセンサ・タイプを使用して、車両８００の動作中に生成され得る。センサ・データ１０２－たとえば、２Ｄセンサ・データ－は、ＤＮＮ１０４に適用され得、ＤＮＮ１０４は、出力１０６を計算し得る。出力１０６は、図１に関して本明細書で説明するように、３Ｄ出力１０８、３Ｄ出力に対応する意味論的情報、及び／又は３Ｄ出力に対応する方向情報（たとえば、各キー点及び／又は線分に関連する方向及び／又は進行方向）を含み得る。
【0054】
ＤＮＮ１０４は、センサ・データ１０２を使用して出力１０６を計算することができ、出力１０６は、最終的に、キー点、分類、レーンの数、レーンの進行方向、レーンの方向性及び／又は他の情報を生成するために、デコーダ又は１つ若しくは複数の他の後処理構成要素に適用され得る。本明細書において、実例は、深層ニューラル・ネットワーク（ＤＮＮ）、具体的には畳み込みニューラル・ネットワーク（ＣＮＮ）の使用に関して説明されているが、これは限定を意図していない。たとえば、限定されないが、ＤＮＮ１０４は、線形回帰、ロジスティック回帰、決定木、サポート・ベクタ・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ最近傍法（Ｋｎｎ）、Ｋ平均法クラスタリング、ランダム・フォレスト、次元削減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、自動エンコーダ、畳み込み、再帰、パーセプトロン、長期／短期記憶／ＬＳＴＭ：ｌｏｎｇ／ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態マシンなど）、レーン検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムを使用する機械学習モデル及び／又は他のタイプの機械学習モデルなど、任意のタイプの機械学習モデルを含み得る。
【0055】
一実例として、たとえば、ＤＮＮ１０４がＣＮＮを含む場合、ＤＮＮ１０４は、任意の数の層を含み得る。１つ又は複数の層は、入力層を含み得る。入力層は、（たとえば、後処理の前又は後に）センサ・データ１０２に関連する値を保持し得る。たとえば、センサ・データ１０２が画像である場合、入力層は、画像の未加工の画素値を表す値をボリューム（たとえば、３２×３２×３などの幅、高さ、及び色チャネル（たとえば、ＲＧＢ））として保持し得る。
【0056】
１つ又は複数の層は、畳み込み層を含み得る。畳み込み層は、入力層内の局所領域に接続されているニューロンの出力を計算することができ、各ニューロンは、それらの重みと入力ボリューム内のそれらが接続されている小さい領域との間の内積を計算する。畳み込み層の結果は、次元のうちの１つが、適用されたフィルタの数に基づいた、別のボリュームになり得る（たとえば、１２がフィルタの数である場合、３２×３２×１２などの幅、高さ、及びフィルタの数）。
【0057】
１つ又は複数の層は、逆畳み込み層（又は転置畳み込み層）を含み得る。たとえば、逆畳み込み層の結果は、逆畳み込み層で受信されたデータの入力次元よりも高い次元を有する別のボリュームになり得る。
【0058】
１つ又は複数の層は、正規化線形ユニット（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層を含み得る。ＲｅＬＵ層は、たとえば、最大（０，ｘ）などの要素ごとの活性化関数を適用し、ゼロで閾値化し得る。結果として生じるＲｅＬＵ層のボリュームは、ＲｅＬＵ層の入力のボリュームと同じになり得る。
【0059】
１つ又は複数の層は、プーリング層を含み得る。プーリング層は、空間次元（たとえば、高さ及び幅）に沿ってダウン・サンプリング動作を実行することができ、その結果、プーリング層の入力よりも小さいボリューム（たとえば、３２×３２×１２から１６×１６×１２の入力ボリューム）をもたらし得る。
【0060】
１つ又は複数の層は、１つ又は複数の全結合層を含み得る。全結合層内の各ニューロンは、前のボリューム内の各ニューロンに結合され得る。全結合層は、クラス・スコアを計算することができ、結果として生じるボリュームは、１×１×クラス数になり得る。いくつかの実例において、ＣＮＮは、ＣＮＮの１つ又は複数の層の出力がＣＮＮの全結合層への入力として提供され得るような全結合層を含み得る。いくつかの実例において、ＤＮＮ１０４によって１つ又は複数の畳み込みストリームが実装され得、畳み込みストリームのいくつか又はすべてが、それぞれの全結合層を含み得る。
【0061】
いくつかの非限定的実施例において、ＤＮＮ１０４は、画像特徴抽出を容易にするための一連の畳み込み層及び最大プーリング層、それに続いて、グローバル・コンテキスト特徴抽出を容易にするためのマルチスケール拡張畳み込み層及びアップサンプリング層を含み得る。
【0062】
本明細書ではＤＮＮ１０４に関して、入力層、畳み込み層、プーリング層、ＲｅＬＵ層、及び全結合層が説明されているが、これは限定を意図していない。たとえば、ＤＮＮ１０４において、正規化層、ソフトマックス層、及び／又は他の層タイプなどの追加の又は代替の層が使用されてもよい。
【0063】
ＤＮＮ１０４がＣＮＮを含む実施例では、実施例に応じて、ＣＮＮの異なる順序及び数の層が使用されてもよい。言い換えれば、ＤＮＮ１０４の層の順序及び数は、任意の１つのアーキテクチャに限定されない。
【0064】
加えて、畳み込み層及び全結合層などの一部の層は、パラメータ（たとえば、重み及び／又はバイアス）を含む場合があり、ＲｅＬＵ層及びプーリング層など他の層はパラメータを含まない場合がある。いくつかの実例において、パラメータは、トレーニング中にＤＮＮ１０４によって学習され得る。さらに、畳み込み層、全結合層、及びプーリング層などの一部の層は、追加のハイパ・パラメータ（たとえば、学習率、ストライド、エポックなど）を含む場合があり、ＲｅＬＵ層などの他の層は、追加のハイパ・パラメータを含まない場合がある。パラメータ及びハイパ・パラメータは限定されるものではなく、実施例に応じて異なる可能性がある。
【0065】
ＤＮＮの一実例として、図６Ｂは、本開示のいくつかの実施例による、交差点構造を計算する際に使用するための例示的ＤＮＮ１０４Ａを示す。たとえば、ＤＮＮ１０４Ａは、エンコーダ－デコーダ・タイプのＤＮＮ１０４－たとえば、第１の２Ｄエンコーダ・ネットワーク６０８及び第２の３Ｄデコーダ・ネットワーク６１２－を含み得る。たとえば、トレーニング中、センサ・データ１０２－たとえば、入力画像６０２－は、潜在空間表現６１０（たとえば、潜在空間内のベクトル）において表される潜在変数（たとえば、画像全体又は他のセンサ・データ表現の記述子）を学習する２Ｄエンコーダ・ネットワーク６０８の１組の畳み込み層を通過し得る。実施例において、潜在空間表現６１０は、いくつかの数のメンバ（たとえば、５１２、１０２４など）を有する高次元空間ベクトルに対応し得る。画像再構成タスクと同様に、潜在空間表現６１０は、センサ・データ１０２の全体的なインスタンスを表し得る（たとえば、画素から識別された特徴だけではない）。そのようなものとして、エンコーダ・ネットワーク６０８の畳み込み層は、潜在変数を抽出し得る。次いで、この中間結果－たとえば、潜在空間表現６１０－は、３Ｄデコーダ・ネットワーク６１２を使用して、３Ｄ出力１０８の対象空間又は設計空間に逆畳み込みされ得る。結果として、３Ｄ出力は、３Ｄ世界空間内で１：１のマッピングを有する可能性があり、したがって、対象空間又は設計空間内の交差点構造を直接表すことができる。したがって、２Ｄ出力が３Ｄ空間に変換される従来のシステム－平地想定に依存する、困難で不正確なプロセス－とは対照的に、ＤＮＮ１０４Ａは、３Ｄ出力１０８を直接計算することができる。たとえば、図４の３Ｄ出力１０８Ａと同様に、３Ｄ交差点構造６１４は、２Ｄ画像空間入力画像１０２Ａを処理した後のＤＮＮ１０４Ａの出力１０６の正確な表現に対応し得る。本明細書に記載のように、３Ｄ交差点構造６１４の視覚化における異なるライン・ラベルは、計算された３Ｄ出力１０８を使用して（たとえば、キー点位置を使用して）生成される線分のそれぞれに関連する異なる意味論的情報１１０に対応し得る。
【0066】
センサ・データ１０２Ａの単一のインスタンスを処理する単一の２Ｄエンコーダ・ネットワーク６０８のみが示されているが、これは限定を意図していない。たとえば、任意の数の２Ｄエンコーダ・ネットワーク６０８が、任意の数のセンサからの任意の数のセンサ・データ１０２のインスタンスを処理してもよい。たとえば、任意の時間インスタンス又はフレームにおいて、第１のセンサ（たとえば、第１のカメラ、ＬＩＤＡＲセンサなど）が、第１の潜在空間表現６１０を計算するために（たとえば、特定のタイプのセンサ・データ入力用にトレーニングされた）２Ｄエンコーダ・ネットワーク６０８の第１のインスタンスによって処理される、第１のセンサ・データ１０２を生成することができ、第２のセンサ（たとえば、第２のカメラ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサなど）が、第２の潜在空間表現６１０を計算するために（たとえば、特定のタイプのセンサ・データ入力用にトレーニングされた）２Ｄエンコーダ・ネットワーク６０８の第２のインスタンスによって処理される、第２のセンサ・データ１０２を生成することができ、以下同様である。次いで、所与の時間インスタンス又はフレームの複数の潜在空間表現６１０が組み合わされ（たとえば、連結され）得、単一の組み合わされた潜在空間表現６１０は、３Ｄ交差点構造６１４を計算するために３Ｄデコーダ・ネットワーク６１２によって処理され得る。いくつかの実施例において、２Ｄエンコーダ・ネットワーク６０８のうちの２つ以上は、車両８００の並行処理ユニットを使用して並行して処理され得る。結果として、任意の数の２Ｄエンコーダ・ネットワーク６０８の処理時間は、２Ｄエンコーダ・ネットワーク６０８の単一のインスタンスのみの処理と同様又は同じであり得、それにより、３Ｄ交差点構造６１４を生成する際に追加情報（たとえば、複数からのセンサ・データ１０２）を処理することが可能になる。
【0067】
再び図６Ａを参照すると、出力１０６は、ポストプロセッサ６０２を使用して処理され得る。たとえば、時間的な後処理を使用して、予測のロバスト性及び正確性をさらに高めることができる。そのような実例では、更新された時間的に平滑化された結果を生成するために、ＤＮＮ１０４の１つ又は複数の以前のインスタンスからの出力１０６が、ＤＮＮ１０４の現在のインスタンスからの現在の出力１０６と比較され得る（たとえば、重み付けされ得る）。
【0068】
出力１０６は－後処理の前又は後－、交差点をナビゲートするために車両８００が辿る進路及び／又は軌道を生成する進路生成器６０４に適用され得る。たとえば、３Ｄ交差点構造からの線分に関連する意味論的情報及び／又は方向情報（たとえば、方向ベクトル、進行方向など）を使用して、交差点を通る潜在的進路を決定することができる。実施例において、進路生成器６０４は、線分に対応する（中心）キー点を、それらの３Ｄ世界空間座標に従って接続して、車両８００による交差点の横断のための潜在的進路を表すポリラインをリアルタイム又はほぼリアルタイムで生成することができる。最終進路には、車両の位置、キー点の位置、及び／又はレーンの進行方向（たとえば、角度）に関連して決定された進路タイプが割り当てられ得る。潜在的進路タイプは、左折、右折、レーンの切り替え、及び／又はレーンの継続が含まれ得るが、これらに限定されない。
【0069】
いくつかの実例において、進路生成器６０４は、潜在的進路の自然な曲線を最も正確に反映する最終的な形状を決定するために、曲線フィッティングを実装し得る。ポリライン・フィッティング、多項式フィッティング、及び／又はクロソイド・フィッティングなど、これらに限定されない任意の既知の曲線フィッティング・アルゴリズムが使用され得る。潜在的進路の形状は、キー点の位置、及び接続されるキー点に関連付けられた対応するレーン進行方向に基づいて決定され得る。いくつかの実例において、潜在的進路の形状は、接続されるキー点の位置で進行方向ベクトルの接線と整列され得る。曲線フィッティング・プロセスは、車両８００が交差点をナビゲートするために辿ることができるすべての可能な進路を生成するために、潜在的に互いに接続され得るすべてのキー点に対して繰り返され得る。いくつかの実例において、実行不可能な進路は、そのような進路に関連する交通規則及び物理的制限に基づいて検討から除外され得る。残りの潜在的進路は、車両８００が交差点を横断するために辿ることができる実行可能な３Ｄ進路又は軌道であると決定され得る。
【0070】
いくつかの実施例において、進路生成器６０４は、マッチング・アルゴリズムを使用してキー点を接続し、車両８００が交差点をナビゲートするための潜在的進路を生成し得る。そのような実例では、マッチング・スコアは、キー点の位置、キー点に対応するレーン進行方向（たとえば、異なる走行方向に対応する２つのキー点は接続されない）、キー点のペア間の近似曲線の形状に基づいて、キー点のペアごとに決定され得る。交差点進入に対応する各キー点は、交差点退出に対応する複数のキー点に接続され得、それにより、車両８００のための複数の潜在的進路を生成する。いくつかの実例において、ハンガリ・マッチング・アルゴリズムなどの線形マッチング・アルゴリズムが使用され得る。他の実例において、キー点のペアを接続するために、スペクトル・マッチング・アルゴリズムなどの非線形マッチング・アルゴリズムが使用され得る。
【0071】
交差点を通る進路は、車両８００の自律運転ソフトウェア・スタック６０６（或いは、本明細書では「運転スタック６０６」と呼ばれる）によって１つ又は複数の動作を実行するために使用され得る。いくつかの実例において、進路に関連する情報によって、レーン・グラフが拡張され得る。レーン・グラフは、様々な計画タスク及び制御タスクを実行するために、車両８００の１つ又は複数の制御構成要素に入力され得る。たとえば、世界モデル・マネージャは、交差点のナビゲートを支援するために世界モデルを更新することができ、運転スタック６０６の進路計画層は、交差点情報を使用して、（たとえば、決定された潜在的進路のうちの１つに沿って）交差点を通る進路を決定することができ、及び／又は制御構成要素は、決定された進路に従って交差点をナビゲートするための車両の制御を決定することができる。
【0072】
ここで図７を参照すると、本明細書に記載の方法７００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法７００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法７００は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。さらに、方法７００は、例として、図６のプロセス６００に関して説明される。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのプロセス及び／若しくは任意の１つのシステム、又はプロセス及び／若しくはシステムの任意の組合せによって、追加で又は別法として実行され得る。
【0073】
図７は、本開示のいくつかの実施例による、ニューラル・ネットワークを使用して３Ｄ世界空間内の交差点構造を検出するための例示的方法７００を示す流れ図である。方法７００は、ブロックＢ７０２において、自律マシンの少なくとも１つのセンサの視野内の交差点の２Ｄセンサ・データ表現を表すセンサ・データをニューラル・ネットワークに適用することを含む。たとえば、センサ・データ１０２（たとえば、交差点を描写する画像）は、ＤＮＮ１０４に適用され得る。
【0074】
方法７００は、ブロックＢ７０４において、ニューラル・ネットワークを使用して、センサ・データに少なくとも部分的に基づいて、交差点に対応する３Ｄ世界空間位置と意味論的情報に対応する信頼性値とを表すデータを計算することを含む。たとえば、ＤＮＮ１０４は、センサ・データ１０２を使用して、出力１０６－たとえば、３Ｄ出力１０８及び意味論的情報１１０－を計算し得る。
【0075】
方法７００は、ブロックＢ７０６において、３Ｄ世界空間位置を表すデータを復号して、交差点に関連する線分の線分位置を決定することを含む。たとえば、３Ｄ出力１０８は、キー点の位置に対応し得、キー点は、交差点の線分の３Ｄ位置を示し得る。
【0076】
方法７００は、ブロックＢ７０８において、信頼性値を表すデータを復号して、各線分の関連する意味論的情報を決定することを含む。たとえば、意味論的情報１１０は、複数の異なるクラス・タイプ（本明細書に記載のものなどであるがこれに限定されない）に対応する信頼性（又は確率）として計算され得、信頼性値は、意味論的情報１１０を決定するために使用され得る－たとえば、最も高い信頼性値（又は、閾値を超える信頼性値）を有するクラスは、特定のキー点及び／又は線分に帰属し得る。
【0077】
方法７００は、ブロックＢ７１０において、線分位置及び関連する意味論的情報に少なくとも部分的に基づいて、自律マシンによって１つ又は複数の動作を実行することを含む。たとえば、出力１０６は、交差点を通る車両８００の進路を生成するために進路生成器６０４によって使用され得、並びに／又は、出力１０６若しくは進路は、世界モデル管理、進路計画、制御、及び／若しくは他の動作を実行するために運転スタック６０６によって使用され得る。
【0078】
例示的自律型車両
図８Ａは、本開示のいくつかの実施例による、例示的自律型車両８００のイラストレーションである。自律型車両８００（或いは本明細書で「車両８００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両８００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、車両８００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
図８Ａは、本開示のいくつかの実施例による、例示的自律型車両８００のイラストレーションである。自律型車両８００（或いは本明細書で「車両８００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両８００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、車両８００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
【0079】
車両８００は、車両のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両８００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム８５０を含み得る。推進システム８５０は、車両８００の推進力を有効にするために、トランスミッションを含み得る、車両８００のドライブ・トレインに接続され得る。推進システム８５０は、スロットル／加速装置８５２からの信号の受信に応答して制御され得る。
【0080】
ハンドルを含み得る、ステアリング・システム８５４は、推進システム８５０が動作しているときに（たとえば、車両が移動中のときに）車両８００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム８５４は、ステアリング・アクチュエータ８５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
【0081】
ブレーキ・センサ・システム８４６は、ブレーキ・アクチュエータ８４８及び／又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
【0082】
１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）８０４（図８Ｃ）及び／又はＧＰＵを含み得る、コントローラ８３６は、車両８００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ８４８を介して車両ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ８５６を介してステアリング・システム８５４を動作させて、１つ又は複数のスロットル／加速装置８５２を介して推進システム８５０を動作させるために、信号を送ることができる。コントローラ８３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の車両８００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ８３６は、自律運転機能のための第１のコントローラ８３６、機能的安全性機能のための第２のコントローラ８３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ８３６、インフォテインメント機能のための第４のコントローラ８３６、緊急状態における冗長性のための第５のコントローラ８３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ８３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ８３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
【0083】
コントローラ８３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して車両８００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ８５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ８６０、超音波センサ８６２、ＬＩＤＡＲセンサ８６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ８６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン８９６、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０（たとえば、魚眼カメラ）、赤外線カメラ８７２、サラウンド・カメラ８７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ８９８、スピード・センサ８４４（たとえば、車両８００のスピードを測定するための）、振動センサ８４２、ステアリング・センサ８４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム８４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
【0084】
コントローラ８３６のうちの１つ又は複数のコントローラは、車両８００の計器群８３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ８３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は車両８００の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ（たとえば、図８ＣのＨＤマップ８２２）、位置データ（たとえば、マップ上などの、車両８００の位置）、方向、他の車両の位置（たとえば、占有グリッド）、コントローラ８３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ８３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は車両が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
【0085】
車両８００はさらに、１つ若しくは複数のワイヤレス・アンテナ８２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース８２４を含む。たとえば、ネットワーク・インターフェース８２４は、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ８２６はまた、ブルートゥース、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、車両、モバイル・デバイスなど）の間の通信を可能にすることができる。
【0086】
図８Ｂは、本開示のいくつかの実施例による、図８Ａの例示的自律型車両８００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは車両８００の異なる位置に置かれ得る。
【0087】
カメラのカメラ・タイプは、車両８００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
【0088】
いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
【0089】
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
【0090】
車両８００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ８３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
【0091】
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ８７０でもよい。図８Ｂにはワイドビュー・カメラは１つだけ示されているが、車両８００には任意の数のワイドビュー・カメラ８７０が存在し得る。加えて、長距離カメラ８９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ８９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
【0092】
１つ又は複数のステレオ・カメラ８６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ８６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ８６８は、２個のカメラ・レンズ（左と右に１つずつ）と、車両から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ８６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
【0093】
車両８００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ８７４（たとえば、図８Ｂに示されるような４個のサラウンド・カメラ８７４）は、車両８００上に位置付けられ得る。サラウンド・カメラ８７４は、ワイドビュー・カメラ８７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、３個のサラウンド・カメラ８７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
【0094】
車両８００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ８９８、ステレオ・カメラ８６８）、赤外線カメラ８７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
【0095】
図８Ｃは、本開示のいくつかの実施例による、図８Ａの例示的自律型車両８００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
【0096】
図８Ｃの車両８００の構成要素、特徴、及びシステムのそれぞれは、バス８０２を介して接続されるものとして図示されている。バス８０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、車両８００の様々な特徴及び機能の制御を助けるために使用される車両８００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
【0097】
バス８０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス８０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス８０２が存在し得る。いくつかの実例では、２個以上のバス８０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス８０２は衝突回避機能のために使用されてもよく、第２のバス８０２は作動制御のために使用されてもよい。任意の実例において、各バス８０２は、車両８００の構成要素のいずれかと通信し得、２個以上のバス８０２が同じ構成要素と通信し得る。いくつかの実例では、車両内の各ＳｏＣ８０４、各コントローラ８３６、及び／又は各コンピュータは、同じ入力データ（たとえば、車両８００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
【0098】
車両８００は、図８Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ８３６を含み得る。コントローラ８３６は、様々な機能のために使用され得る。コントローラ８３６は、車両８００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両８００、車両８００の人工知能、車両８００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
【0099】
車両８００は、システム・オン・チップ（ＳｏＣ）８０４を含み得る。ＳｏＣ８０４は、ＣＰＵ８０６、ＧＰＵ８０８、プロセッサ８１０、キャッシュ８１２、加速装置８１４、データ・ストア８１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ８０４は、様々なプラットフォーム及びシステム内の車両８００を制御するために使用され得る。たとえば、ＳｏＣ８０４は、１つ又は複数のサーバ（たとえば、図８Ｄのサーバ８７８）からネットワーク・インターフェース８２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ８２２を有するシステム（たとえば、車両８００のシステム）において結合され得る。
【0100】
ＣＰＵ８０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ８０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ８０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ８０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ８０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ８０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
【0101】
ＣＰＵ８０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ８０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
【0102】
ＧＰＵ８０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ８０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ８０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ８０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ８０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ８０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ８０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
【0103】
ＧＰＵ８０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ８０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ８０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
【0104】
ＧＰＵ８０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
【0105】
ＧＰＵ８０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ８０８がＣＰＵ８０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ８０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ８０６に送信され得る。応答して、ＣＰＵ８０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ８０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ８０６とＧＰＵ８０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ８０８へのアプリケーションのＧＰＵ８０８プログラミング及び移植を単純化する。
【0106】
加えて、ＧＰＵ８０８は、他のプロセッサのメモリへのＧＰＵ８０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
【0107】
ＳｏＣ８０４は、本明細書に記載のものを含む任意の数のキャッシュ８１２を含み得る。たとえば、キャッシュ８１２は、ＣＰＵ８０６とＧＰＵ８０８との両方に利用可能な（たとえば、ＣＰＵ８０６とＧＰＵ８０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ８１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
【0108】
ＳｏＣ８０４は、車両８００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ８０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ８０６及び／又はＧＰＵ８０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
【0109】
ＳｏＣ８０４は、１つ又は複数の加速装置８１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ８０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ８０８を補完するために及びＧＰＵ８０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ８０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置８１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
【0110】
加速装置８１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
【0111】
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
【0112】
ＤＬＡは、ＧＰＵ８０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ８０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ８０８及び／又は他の加速装置８１４に任せることができる。
【0113】
加速装置８１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
【0114】
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
【0115】
ＤＭＡは、ＣＰＵ８０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
【0116】
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
【0117】
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
【0118】
加速装置８１４（たとえば、ハードウェア加速クラスタ）は、加速装置８１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
【0119】
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
【0120】
いくつかの実例では、ＳｏＣ８０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
【0121】
加速装置８１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
【0122】
たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
【0123】
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
【0124】
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を回帰するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ８６４又はＲＡＤＡＲセンサ８６０）から取得された物体の車両８００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ８６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
【0125】
ＳｏＣ８０４は、データ・ストア８１６（たとえば、メモリ）を含み得る。データ・ストア８１６は、ＳｏＣ８０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア８１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア８１２は、Ｌ２又はＬ３キャッシュ８１２を備え得る。データ・ストア８１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置８１４に関連するメモリの参照を含み得る。
【0126】
ＳｏＣ８０４は、１つ又は複数のプロセッサ８１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ８１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ８０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ８０４熱及び温度センサの管理、及び／又はＳｏＣ８０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ８０４は、リング発振器を使用してＣＰＵ８０６、ＧＰＵ８０８、及び／又は加速装置８１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ８０４をより低い電力状態に置く及び／又は車両８００をショーファーの安全停止モードにする（たとえば、車両８００を安全停止させる）ことができる。
【0127】
プロセッサ８１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
【0128】
プロセッサ８１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
【0129】
プロセッサ８１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
【0130】
プロセッサ８１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
【0131】
プロセッサ８１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
【0132】
プロセッサ８１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ８７０で、サラウンド・カメラ８７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
【0133】
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
【0134】
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ８０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ８０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ８０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
【0135】
ＳｏＣ８０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ８０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
【0136】
ＳｏＣ８０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ８０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ８６４、ＲＡＤＡＲセンサ８６０など）、バス８０２からのデータ（たとえば、車両８００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ８５８からのデータを処理するために使用され得る。ＳｏＣ８０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ８０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
【0137】
ＳｏＣ８０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ８０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置８１４が、ＣＰＵ８０６と結合されるとき、ＧＰＵ８０８、及びデータ・ストア８１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
【0138】
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、車両内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
【0139】
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ８２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
【0140】
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ８０８上などで、同時に実行することができる。
【0141】
いくつかの実例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して車両８００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、ＳｏＣ８０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
【0142】
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン８９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ８０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ８５８によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ８６２の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び／又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
【0143】
車両は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ８０４に連結され得るＣＰＵ８１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ８１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ８１８は、たとえば、ＡＤＡＳセンサとＳｏＣ８０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ８３６及び／又はインフォテインメントＳｏＣ８３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
【0144】
車両８００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ８０４に連結され得るＧＰＵ８２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ８２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両８００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
【0145】
車両８００は、１つ又は複数のワイヤレス・アンテナ８２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース８２４をさらに含み得る。ネットワーク・インターフェース８２４は、インターネットを介するクラウドとの（たとえば、サーバ８７８及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが２個の車両の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両８００に近接する車両（たとえば、車両８００の前の、横の、及び／又は後ろの車両）に関する車両８００情報を提供することができる。この機能は、車両８００の共同適応クルーズ制御機能の一部でもよい。
【0146】
ネットワーク・インターフェース８２４は、変調及び復調機能を提供する及びコントローラ８３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース８２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
【0147】
車両８００は、チップ外の（たとえば、ＳｏＣ８０４外の）ストレージを含み得るデータ・ストア８２８をさらに含み得る。データ・ストア８２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
【0148】
車両８００は、ＧＮＳＳセンサ８５８をさらに含み得る。ＧＮＳＳセンサ８５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ８５８が、使用され得る。
【0149】
車両８００は、ＲＡＤＡＲセンサ８６０をさらに含み得る。ＲＡＤＡＲセンサ８６０は、暗闇及び／又は厳しい気象条件においても、長距離車両検出のために車両８００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ８６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ８６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス８０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ８６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
【0150】
ＲＡＤＡＲセンサ８６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ８６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両８００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、車両８００のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。
【0151】
一実例として、中距離ＲＡＤＡＲシステムは、８６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は８５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、車両の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
【0152】
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
【0153】
車両８００は、超音波センサ８６２をさらに含み得る。車両８００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ８６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ８６２が使用され得、異なる超音波センサ８６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ８６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
【0154】
車両８００はＬＩＤＡＲセンサ８６４を含み得る。ＬＩＤＡＲセンサ８６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ８６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、車両８００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ８６４を含み得る。
【0155】
いくつかの実例では、ＬＩＤＡＲセンサ８６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ８６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、８００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約８００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ８６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ８６４は、車両８００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ８６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ８６４は、４５度と１３５度との間の水平視野向けに構成され得る。
【0156】
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、車両８００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ８６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
【0157】
車両は、ＩＭＵセンサ８６６をさらに含み得る。一部の実例では、ＩＭＵセンサ８６６は、車両８００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ８６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ８６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ８６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
【0158】
一部の実施例では、ＩＭＵセンサ８６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ８６６は、ＧＰＳからＩＭＵセンサ８６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両８００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ８６６及びＧＮＳＳセンサ８５８は、単一の統合されたユニットにおいて結合され得る。
【0159】
車両は、車両８００内及び／又は周囲に置かれたマイクロフォン８９６を含み得る。マイクロフォン８９６は、中でも、緊急車両検出及び識別のために使用され得る。
【0160】
車両は、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０、赤外線カメラ８７２、サラウンド・カメラ８７４、長距離及び／又は中距離カメラ８９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両８００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両８００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両８００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図８Ａ及び図８Ｂに関連して本明細書においてさらに詳しく説明される。
【0161】
車両８００は、振動センサ８４２をさらに含み得る。振動センサ８４２は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ８４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
【0162】
車両８００は、ＡＤＡＳシステム８３８を含み得る。一部の実例では、ＡＤＡＳシステム８３８は、ＳｏＣを含み得る。ＡＤＡＳシステム８３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
【0163】
ＡＣＣシステムは、ＲＡＤＡＲセンサ８６０、ＬＩＤＡＲセンサ８６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、車両８００の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように車両８００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
【0164】
ＣＡＣＣは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース８２４及び／又はワイヤレス・アンテナ８２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の車両（たとえば、車両１１００と同じレーン内にある、車両８００の直ぐ前の車両）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。車両８００の前方の車両の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
【0165】
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ８６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
【0166】
ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ８６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
【0167】
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、車両８００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
【0168】
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、車両８００が車線をはみ出し始めた場合に車両８００を修正するためにステアリング入力又はブレーキを提供する。
【0169】
ＢＳＷシステムは、自動車の死角において車両の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ８６０を使用することができる。
【0170】
ＲＣＴＷシステムは、車両８００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ８６０を使用することができる。
【0171】
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両８００では、結果が矛盾する場合には、車両８００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ８３６又は第２のコントローラ８３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム８３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム８３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
【0172】
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
【0173】
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ１１０４の構成要素を備え得る、及び／又はＳｏＣ８０４の構成要素として含まれ得る。
【0174】
他の実例において、ＡＤＡＳシステム８３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
【0175】
いくつかの実例では、ＡＤＡＳシステム８３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム８３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
【0176】
車両８００は、インフォテインメントＳｏＣ８３０（たとえば、車両内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ８３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの車両関連情報）を車両８００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ８３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ８３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ８３０は、ＡＤＡＳシステム８３８からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、車両のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
【0177】
インフォテインメントＳｏＣ８３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ８３０は、バス８０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両８００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ８３６（たとえば、車両８００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ８３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ８３０は、本明細書に記載のように、車両８００をショーファーの安全停止モードにすることができる。
【0178】
車両８００は、計器群８３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群８３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群８３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ８３０及び計器群８３２の間で表示及び／又は共有され得る。言い換えれば、計器群８３２は、インフォテインメントＳｏＣ８３０の一部として含まれてもよく、逆もまた同様である。
【0179】
図８Ｄは、本開示のいくつかの実施例による、図８Ａのクラウドベースのサーバと例示的自律型車両８００との間の通信のシステム図である。システム８７６は、サーバ８７８、ネットワーク８９０、及び、車両８００を含む車両を含み得る。サーバ８７８は、複数のＧＰＵ８８４（Ａ）～８８４（Ｈ）（本明細書でＧＰＵ８８４と総称される）、ＰＣＩｅスイッチ８８２（Ａ）～８８２（Ｈ）（本明細書でＰＣＩｅスイッチ８８２と総称される）、及び／又はＣＰＵ８８０（Ａ）～８８０（Ｂ）（本明細書でＣＰＵ８８０と総称される）を含み得る。ＧＰＵ８８４、ＣＰＵ８８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース８８８及び／又はＰＣＩｅ接続８８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ８８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ８８４及びＰＣＩｅスイッチ８８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ８８４、２個のＣＰＵ８８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ８７８は、任意の数のＧＰＵ８８４、ＣＰＵ８８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ８７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ８８４を含み得る。
【0180】
サーバ８７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク８９０を介して、車両から、受信することができる。サーバ８７８は、ニューラル・ネットワーク８９２、更新されたニューラル・ネットワーク８９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報８９４をネットワーク８９０を介して車両に送信することができる。マップ情報８９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ８２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク８９２、更新されたニューラル・ネットワーク８９２、及び／又はマップ情報８９４は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ８７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
【0181】
サーバ８７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得（たとえば、ネットワーク８９０を介して車両に送信される）、及び／又は、マシン学習モデルは、車両を遠隔監視するために、サーバ８７８によって使用され得る。
【0182】
いくつかの実例では、サーバ８７８は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ８７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ８８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ８７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
【0183】
サーバ８７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両８００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両８００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、車両８００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、車両８００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両８００内のＡＩは正常に機能していないという結論を下した場合、サーバ８７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両８００のフェイルセーフ・コンピュータに命じる車両８００への信号を送信することができる。
【0184】
推論のために、サーバ８７８は、ＧＰＵ８８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
【0185】
例示的計算デバイス
図９は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス９００の一実例のブロック図である。計算デバイス９００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム９０２を含み得る：メモリ９０４、１つ又は複数の中央処理装置（ＣＰＵ）９０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）９０８、通信インターフェース９１０、入力／出力（Ｉ／Ｏ）ポート９１２、入力／出力構成要素９１４、電力供給装置９１６、１つ又は複数の提示構成要素９１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット９２０。少なくとも１つの実施例において、計算デバイス９００は１つ若しくは複数の仮想マシン（ＶＭ）を含み得、及び／又は、その構成要素のいずれかは仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例において、ＧＰＵ９０８のうちの１つ若しくは複数は、１つ若しくは複数のｖＧＰＵを含み得、ＣＰＵ９０６のうちの１つ若しくは複数は、１つ若しくは複数のｖＣＰＵを含み得、及び／又は、論理ユニット９２０のうちの１つ若しくは複数は、１つ若しくは複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス９００は、個別の構成要素（たとえば、計算デバイス９００専用のフルＧＰＵ）、仮想構成要素（たとえば、計算デバイス９００専用のＧＰＵの一部）、又はその組合せを含み得る。
図９は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス９００の一実例のブロック図である。計算デバイス９００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム９０２を含み得る：メモリ９０４、１つ又は複数の中央処理装置（ＣＰＵ）９０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）９０８、通信インターフェース９１０、入力／出力（Ｉ／Ｏ）ポート９１２、入力／出力構成要素９１４、電力供給装置９１６、１つ又は複数の提示構成要素９１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット９２０。少なくとも１つの実施例において、計算デバイス９００は１つ若しくは複数の仮想マシン（ＶＭ）を含み得、及び／又は、その構成要素のいずれかは仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例において、ＧＰＵ９０８のうちの１つ若しくは複数は、１つ若しくは複数のｖＧＰＵを含み得、ＣＰＵ９０６のうちの１つ若しくは複数は、１つ若しくは複数のｖＣＰＵを含み得、及び／又は、論理ユニット９２０のうちの１つ若しくは複数は、１つ若しくは複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス９００は、個別の構成要素（たとえば、計算デバイス９００専用のフルＧＰＵ）、仮想構成要素（たとえば、計算デバイス９００専用のＧＰＵの一部）、又はその組合せを含み得る。
【0186】
図９の様々なブロックは、線で相互接続システム９０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素９１８は、Ｉ／Ｏ構成要素９１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ９０６及び／又はＧＰＵ９０８はメモリを含み得る（たとえば、メモリ９０４は、ＧＰＵ９０８、ＣＰＵ９０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図９の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図９の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
【0187】
相互接続システム９０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム９０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ９０６は、メモリ９０４に直接接続され得る。さらに、ＣＰＵ９０６は、ＧＰＵ９０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム９０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス９００に含まれる必要はない。
【0188】
メモリ９０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス９００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
【0189】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ９０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス９００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
【0190】
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【0191】
ＣＰＵ９０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ９０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ９０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス９００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス９００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス９００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ９０６を含み得る。
【0192】
ＣＰＵ９０６に加えて又はその代わりに、ＧＰＵ９０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ９０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ９０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ９０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ９０８のうちの１つ又は複数は、ＣＰＵ９０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ９０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス９００によって使用され得る。たとえば、ＧＰＵ９０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ９０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ９０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ９０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ９０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ９０４の一部として含まれ得る。ＧＰＵ９０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ９０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
【0193】
ＣＰＵ９０６及び／又はＧＰＵ９０８に加えて又はその代わりに、論理ユニット９２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ９０６、ＧＰＵ９０８、及び／又は論理ユニット９２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット９２０のうちの１つ若しくは複数は、ＣＰＵ９０６及び／若しくはＧＰＵ９０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット９２０のうちの１つ若しくは複数は、ＣＰＵ９０６及び／若しくはＧＰＵ９０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット９２０のうちの１つ又は複数は、ＣＰＵ９０６のうちの１つ若しくは複数及び／又はＧＰＵ９０８のうちの１つ若しくは複数のコプロセッサでもよい。
【0194】
論理ユニット９２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
【0195】
通信インターフェース９１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス９００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース９１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
【0196】
Ｉ／Ｏポート９１２は、そのうちのいくつかは計算デバイス９００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素９１４、提示構成要素９１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス９００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素９１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素９１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス９００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス９００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス９００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス９００によって使用され得る。
【0197】
電力供給装置９１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置９１６は、計算デバイス９００の構成要素が動作することを可能にするために計算デバイス９００に電力を提供することができる。
【0198】
提示構成要素９１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素９１８は、他の構成要素（たとえば、ＧＰＵ９０８、ＣＰＵ９０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。サブセクションの小見出し
【0199】
例示的データ・センタ
図１０は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ１０００を示す。データ・センタ１０００は、データ・センタ・インフラストラクチャ層１０１０、フレームワーク層１０２０、ソフトウェア層１０３０、及び／又はアプリケーション層１０４０を含み得る。
図１０は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ１０００を示す。データ・センタ１０００は、データ・センタ・インフラストラクチャ層１０１０、フレームワーク層１０２０、ソフトウェア層１０３０、及び／又はアプリケーション層１０４０を含み得る。
【0200】
図１０に示すように、データ・センタ・インフラストラクチャ層１０１０は、リソース・オーケストレータ１０１２、グループ化されたコンピューティング・リソース１０１４、及びノード・コンピューティング・リソース（「ノードＣ．Ｒ．」）１０１６（１）～１０１６（Ｎ）を含み得、「Ｎ」は、任意の正の整数を表す。少なくとも１つの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は他のプロセッサ（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ又はグラフィックス処理ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的読み取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート・ドライブ又はディスク・ドライブ）、ネットワーク入出力（「ＮＷ Ｉ／Ｏ」）デバイス、ネットワーク・スイッチ、仮想マシン（「ＶＭ」）、電源モジュール、及び／又は冷却モジュールなどを含み得るが、これに限定されない。いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の中の１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６１（Ｎ）は、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のものなどの１つ若しくは複数の仮想構成要素を含み得、並びに／又は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。
【0201】
少なくとも１つの実施例において、グループ化されたコンピューティング・リソース１０１４は、１つ若しくは複数のラック（図示せず）、又は様々な地理的位置のデータ・センタに収容された多くのラック（同様に図示せず）内に収容された、ノードＣ．Ｒ．１０１６の別個のグループを含み得る。グループ化されたコンピューティング・リソース１０１４内のノードＣ．Ｒ．１０１６の別個のグループは、１つ又は複数のワークロードをサポートするように構成され得る又は割り当てられ得る、グループ化された計算、ネットワーク、メモリ、又はストレージのリソースを含み得る。少なくとも１つの実施例において、ＣＰＵ、ＧＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．１０１６は、１つ又は複数のワークロードをサポートするための計算リソースを提供するために１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の数の電源モジュール、冷却モジュール、及び／又はネットワーク・スイッチを任意の組合せで含み得る。
【0202】
リソース・オーケストレータ１０２２は、１つ若しくは複数のノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース１０１４を構成し得る、又は別の方法で制御し得る。少なくとも１つの実施例において、リソース・オーケストレータ１０２２は、データ・センタ１０００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。リソース・オーケストレータ１０２２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
【0203】
少なくとも１つの実施例において、図１０に示すように、フレームワーク層１０２０は、ジョブ・スケジューラ１０３２、構成マネージャ１０３４、リソース・マネージャ１０３６、及び／又は分散ファイル・システム１０３８を含み得る。フレームワーク層１０２０は、ソフトウェア層１０３０のソフトウェア１０３２、及び／又はアプリケーション層１０４０の１つ又は複数のアプリケーション１０４２をサポートするためのフレームワークを含み得る。ソフトウェア１０３２又はアプリケーション１０４２は、それぞれ、アマゾン・ウェブ・サービス、グーグル・クラウド、及びマイクロソフト・アズールによって提供されるものなどのウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。フレームワーク層１０２０は、大規模なデータ処理（たとえば、「ビッグ・データ」）のために分散ファイル・システム１０３８を利用することができるＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下、Ｓｐａｒｋ）など、一種のフリーでオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークであり得るが、これに限定されない。少なくとも１つの実施例において、ジョブ・スケジューラ１０３２は、データ・センタ１０００の様々な層によってサポートされるワークロードのスケジューリングを容易にするためのＳｐａｒｋドライバを含み得る。構成マネージャ１０３４は、ソフトウェア層１０３０、及び大規模データ処理をサポートするためのＳｐａｒｋ及び分散ファイル・システム１０３８を含むフレームワーク層１０２０などの異なる層を構成する能力を有し得る。リソース・マネージャ１０３６は、分散ファイル・システム１０３８及びジョブ・スケジューラ１０３２のサポートのためにマッピングされた又は割り当てられたクラスタ化又はグループ化されたコンピューティング・リソースを管理する能力を有し得る。少なくとも１つの実施例において、クラスタ化又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層１０１０に、グループ化されたコンピューティング・リソース１０１４を含み得る。リソース・マネージャ１０３６は、リソース・オーケストレータ１０１２と連携して、これらのマッピングされた又は割り当てられたコンピューティング・リソースを管理し得る。
【0204】
少なくとも１つの実施例において、ソフトウェア層１０３０に含まれるソフトウェア１０３２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）、グループ化されたコンピューティング・リソース１０１４、及び／又はフレームワーク層１０２０の分散ファイル・システム１０３８の少なくとも一部によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これに限定されない。
【0205】
少なくとも１つの実施例において、アプリケーション層１０４０に含まれるアプリケーション１０４２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）、グループ化されたコンピューティング・リソース１０１４、及び／又はフレームワーク層１０２０の分散ファイル・システム１０３８の少なくとも一部によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピューティング、並びに、トレーニング若しくは推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施例と組み合わせて使用される他の機械学習アプリケーションを含む機械学習アプリケーションを含み得るが、これに限定されない。
【0206】
少なくとも１つの実施例において、構成マネージャ１０３４、リソース・マネージャ１０３６、及びリソース・オーケストレータ１０１２のいずれも、任意の技術的に実行可能な方法で取得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正行動を実装し得る。自己修正行動は、データ・センタ１０００のデータ・センタ・オペレータを、場合によっては不良な構成決定を行うことから、また場合によってはデータ・センタの十分に活用されていない及び／又はパフォーマンスが不十分な部分を回避することから、解放することができる。
【0207】
データ・センタ１０００は、本明細書に記載の１つ又は複数の実施例による、１つ若しくは複数の機械学習モデルをトレーニングするか、又は１つ若しくは複数の機械学習モデルを使用して情報を予測若しくは推論するための、ツール、サービス、ソフトウェア、又は他のリソースを含み得る。たとえば、機械学習モデルは、データ・センタ１０００に関して上述したソフトウェア及び／又はコンピューティング・リソースを使用して、ニューラル・ネットワークアーキテクチャに従って重みパラメータを算出することによってトレーニングされ得る。少なくとも１つの実施例において、１つ又は複数のニューラル・ネットワークに対応するトレーニング又は展開された機械学習モデルは、本明細書に記載されているものなどであるがこれに限定されない１つ又は複数のトレーニング技法を通じて算出された重みパラメータを使用することによって、データ・センタ１０００に関して上述したリソースを使用して情報を推論又は予測するために、使用され得る。
【0208】
少なくとも１つの実施例において、データ・センタ１０００は、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくは、それに対応する仮想計算リソース）を使用して、上記のリソースを使用するトレーニング及び／又は推論を実行し得る。さらに、上記の１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、ユーザが画像認識、音声認識、又は他の人工知能サービスなどの情報の推論をトレーニング又は実行することを可能にするサービスとして構成され得る。
【0209】
例示的ネットワーク環境
本開示の実施例の実装に使用するのに適したネットワーク環境は、１つ又は複数のクライアント・デバイス、サーバ、ネットワーク接続ストレージ（ＮＡＳ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図９の計算デバイス９００の１つ又は複数のインスタンス上に実装されてもよい－たとえば、各デバイスは、計算デバイス９００の同様の構成要素、特徴、及び／又は機能を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が実装される場合、バックエンド・デバイスは、データ・センタ１０００の一部として含まれてもよく、その一実例は、図１０に関して本明細書でより詳細に説明されている。
本開示の実施例の実装に使用するのに適したネットワーク環境は、１つ又は複数のクライアント・デバイス、サーバ、ネットワーク接続ストレージ（ＮＡＳ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図９の計算デバイス９００の１つ又は複数のインスタンス上に実装されてもよい－たとえば、各デバイスは、計算デバイス９００の同様の構成要素、特徴、及び／又は機能を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が実装される場合、バックエンド・デバイスは、データ・センタ１０００の一部として含まれてもよく、その一実例は、図１０に関して本明細書でより詳細に説明されている。
【0210】
ネットワーク環境の構成要素は、有線、無線、又はその両方であり得るネットワークを介して、相互に通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ又は複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ又は複数のローカル・エリア・ネットワーク（ＬＡＮ）、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）などの１つ若しくは複数のパブリック・ネットワーク、及び／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが無線通信ネットワークを含む場合、基地局、通信塔、さらにはアクセス・ポイント（及び、他の構成要素）などの構成要素は、無線接続を提供し得る。
【0211】
互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境－ネットワーク環境にサーバが含まれない場合－と、１つ又は複数のクライアントサーバ・ネットワーク環境－ネットワーク環境に１つ又は複数のサーバが含まれる場合－とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書で説明する機能は、任意の数のクライアント・デバイスに実装され得る。
【0212】
少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型コンピューティング環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る１つ若しくは複数のサーバに実装された、フレームワーク層、ジョブ・スケジューラ、リソース・マネージャ、並びに分散ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするためのフレームワークを含み得る。ソフトウェア又はアプリケーションはそれぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る。フレームワーク層は、大規模なデータ処理（たとえば、「ビッグ・データ」）のために分散ファイル・システムを使用することができるような、一種のフリーでオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークであり得るが、これに限定されない。
【0213】
クラウドベースのネットワーク環境は、本明細書に記載のコンピューティング機能及び／又はデータ・ストレージ機能（又は、その１つ又は複数の部分）の任意の組合せを実行する、クラウド・コンピューティング及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれかは、（たとえば、州、地域、国、地球などにわたって分布し得る１つ又は複数のデータ・センタの）中央サーバ又はコア・サーバから複数の位置に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続がエッジ・サーバに比較的近い場合、コア・サーバは機能の少なくとも一部をエッジ・サーバに指定し得る。クラウドベースのネットワーク環境は、プライベートであり得（たとえば、単一の組織に限定される）、パブリックであり得（たとえば、多くの組織で利用可能である）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）であり得る。
【0214】
クライアント・デバイスは、図９に関して本明細書で説明される例示的計算デバイス９００の構成要素、特徴、及び機能のうちの少なくともいくつかを含み得る。限定ではなく実例として、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレイヤ、仮想現実ヘッドセット、グローバル・ポジショニング・システム（ＧＰＳ）若しくはデバイス、ビデオ・プレイヤ、ビデオ・カメラ、監視デバイス若しくはシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーム・デバイス若しくはシステム、エンターテインメント・システム、車両コンピュータ・システム、組み込みシステム・コントローラ、リモート・コントロール、電化製品、家庭用電子デバイス、ワークステーション、エッジ・デバイス、これらの詳述したデバイスの任意の組合せ、又は任意の他の適切なデバイスとして実施され得る。
【0215】
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
【0216】
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
【0217】
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10】
【国際調査報告】