特許 7424866 環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240123BHJP

   G06T 7/60 20170101ALI20240123BHJP

   G08G 1/16 20060101ALI20240123BHJP

【ＦＩ】

G06T7/00 650A

G06T7/60 200J

G08G1/16 C

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2020036424

(22)【出願日】2020-03-04

(65)【公開番号】P2021026752

(43)【公開日】2021-02-22

【審査請求日】2022-12-13

(31)【優先権主張番号】16/535,440

(32)【優先日】2019-08-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】501450960

【氏名又は名称】エヌビディア コーポレーション

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ジョシュ アボット

(72)【発明者】

【氏名】ミゲル サインツ セラ

(72)【発明者】

【氏名】チャオティン イー

(72)【発明者】

【氏名】デビッド ニスター

【審査官】片岡 利延

(56)【参考文献】

【文献】国際公開第２０１８／２１６１７７（ＷＯ，Ａ１）

【文献】特表２０１８－５２３８７７（ＪＰ，Ａ）

【文献】特開平１１－１５３４０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

画像内に描かれたオブジェクトに対応する境界形状を表す第１のデータを受信するステップと、
走行可能な自由空間を含むと決定された前記境界形状の少なくとも一部を表す第２のデータを受信するステップと、
前記境界形状の前記一部を切り取って、前記境界形状内からオブジェクト・フェンスを生成するステップと、
前記画像内の複数のレーン・ラインの位置を表す第３のデータを受信するステップと、
前記第３のデータを使用してレーン・マスクを生成するステップと、
前記オブジェクト・フェンスと、前記レーン・マスクによって画定された前記画像内の１つ又は複数のレーンとの間の重複を決定するステップと、
前記重複に少なくとも部分的に基づいて前記１つ又は複数のレーンのうちの少なくとも１つに前記オブジェクトを割り当てるステップと
を含む、方法。

【請求項2】

前記境界の前記一部を前記切り取るステップが、
前記境界形状の第１の部分を切り取って、トリミングされた境界形状を生成するステップと、
前記境界形状の第２の部分を切り取って、前記トリミングされた境界形状からオブジェクト・フェンスを生成するステップと
を含む、請求項１に記載の方法。

【請求項3】

前記重複を前記決定するステップが、
前記複数のレーン・ラインのうちのレーン・ラインに対応する画素と前記１つ又は複数のレーンのうちのレーン内の前記オブジェクト・フェンスの複数の頂点のそれぞれとの間の距離を決定するステップと、
前記距離の和を計算するステップと、
前記距離の前記和を使用して、前記重複を少なくとも部分的に決定するステップと
を含む、請求項１に記載の方法。

【請求項4】

前記重複を前記決定するステップは、前記画像内の前記オブジェクト・フェンスに対応する少なくとも１つのフェンス画素が前記１つ又は複数のレーンのうちのレーンに対応する少なくとも１つのレーン画素と同じ画素であると決定するステップを含む、請求項１に記載の方法。

【請求項5】

前記第３のデータが、レーン検出アルゴリズム又はマップ・アプリケーションからの第４のデータのうちの少なくとも１つから決定される、請求項１に記載の方法。

【請求項6】

前記重複を前記決定するステップにおいて、前記オブジェクト・フェンスと前記１つ又は複数のレーンのうちのレーンとの間で共有される画素の数が画素の閾値を超える、請求項１に記載の方法。

【請求項7】

１つ又は複数のプロセッサを備えるシステムであって、
前記１つ又は複数のプロセッサは、
画像内に描かれたオブジェクトに対応する境界形状を表す第１のデータを受信することと、
走行可能な自由空間を含むと決定された前記境界形状の少なくとも一部を表す第２のデータを受信することと、
前記境界形状の前記一部を切り取って、前記境界形状内からオブジェクト・フェンスを生成することと、
前記画像内の複数のレーン・ラインの位置を表す第３のデータを受信することと、
前記第３のデータを使用してレーン・マスクを生成することと、
前記オブジェクト・フェンスと、前記レーン・マスクによって画定された前記画像内の１つ又は複数のレーンとの間の重複を決定することと、
前記重複に少なくとも部分的に基づいて前記１つ又は複数のレーンのうちの少なくとも１つに前記オブジェクトを割り当てることと
を実行するように構成された、システム。

【請求項8】

前記境界の前記一部を前記切り取ることが、
前記境界形状の第１の部分を切り取って、トリミングされた境界形状を生成することと、
前記境界形状の第２の部分を切り取って、前記トリミングされた境界形状からオブジェクト・フェンスを生成することと
を含む、請求項７に記載のシステム。

【請求項9】

前記重複を前記決定することが、
前記複数のレーン・ラインのうちのレーン・ラインに対応する画素と前記１つ又は複数のレーンのうちのレーン内の前記オブジェクト・フェンスの複数の頂点のそれぞれとの間の距離を決定することと、
前記距離の和を計算することと、
前記距離の前記和を使用して、前記重複を少なくとも部分的に決定することと
を含む、請求項７に記載のシステム。

【請求項10】

前記重複を前記決定することは、前記画像内の前記オブジェクト・フェンスに対応する少なくとも１つのフェンス画素が前記１つ又は複数のレーンのうちのレーンに対応する少なくとも１つのレーン画素と同じ画素であると決定することを含む、請求項７に記載のシステム。

【請求項11】

前記第３のデータが、レーン検出アルゴリズム又はマップ・アプリケーションからの第４のデータのうちの少なくとも１つから決定される、請求項７に記載のシステム。

【請求項12】

前記重複を前記決定することにおいて、前記オブジェクト・フェンスと前記１つ又は複数のレーンのうちのレーンとの間で共有される画素の数が画素の閾値を超える、請求項７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

【背景技術】

【0002】

自律運転システム及び高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）は、レーン保持、レーン変更、レーン割り当て、カメラ較正、及びローカリゼーションなど様々なタスクを実行するために、カメラなどのセンサを活用し得る。たとえば、自律システム及びＡＤＡＳシステムが独立して効率的に動作するように、車両の周辺環境の理解－リアルタイム又はほぼリアルタイム－が生成され得る。この理解は、レーン、道路境界、交差点など、様々な境界設定に関する環境内のオブジェクト及び／又は障害物の位置に関する情報を含み得る。周辺環境の情報は、どの進路又は軌道を辿るか、速度を上げるか下げるか、レーン変更又は他の操作が現在安全であるかどうかなどの決定を行うときに車両によって使用され得る。

【0003】

従来のシステムでは、オブジェクト（たとえば、車両、歩行者など）のためのレーン（又は他の位置）割り当ては、様々なコンピュータ・ビジョン又は機械学習技法を使用して処理されたリアルタイム画像から（たとえば、画像処理を介して識別された視覚的インジケータから）内挿され得る。たとえば、レーン及び車両を含めて走行表面のキャプチャされた画像が、車両とレーンとの間の相関関係を決定するために、分析され得る。しかしながら、レーンと車両全体の相互作用が使用され得るので、車両の道程の実際のレーンは、従来のシステムでは不正確に識別されることがある。たとえば、画像空間では、カメラの視点に応じて、車両が実際には単一のレーン内にあるときでも、車両は、隣接するレーン内に伸びるように見えることがある（たとえば、カメラがその左側に車両の視点を有するとき、車両の最上部が車両の左側に隣接するレーン内に伸びるように見えることがある）。これにより、周辺環境を理解しようとするときに自律及び／又はＡＤＡＳシステムによって使用するための最も正確な結果をもたらさない－したがって、この環境情報の有効性及び信頼性全体を低下させる－ことがある。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施例は、環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用に関する。環境のそれぞれのレーン又は他の画定された部分にオブジェクトを効率的且つ正確に割り当てるためにオブジェクト検出、自由空間検出、オブジェクト・フェンス検出、及び／又はレーン検出の活用を行うシステム及び方法が開示される。前述の手法などの従来の手法とは対照的に、本システムは、リアルタイム又はほぼリアルタイムで車両の複数のセンサ（たとえば、カメラ、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサなど）からの出力を使用してオブジェクトを検出しレーンに割り当てるための技法を提供する。本開示の実施例は、進路検出、レーン検出、及び／又はオブジェクト若しくは障害物検出のための様々なコンピュータ・ビジョン又は機械学習アルゴリズムの出力を結合してオブジェクトを車両の周囲のレーンに割り当てることができる。たとえば、本システムは、任意の数のセンサからのセンサ・データを使用して、オブジェクトによって占有された、画像空間内の、画素及び対応するレーンを検出することを学習することができる。オブジェクトの画素占有率が、レーンを実際に占有するオブジェクトの部分に対応するオブジェクト・フェンス、又は領域、を使用して、決定され得る。たとえば、オブジェクトの足跡は、オブジェクトによって占有されている空間の決定においてその足跡のみが使用されるように、決定され得る。オブジェクトのオブジェクト・フェンス、又は足跡、をより正確に識別することによって、低減された数の画素（たとえば、車両全体ではない、オブジェクト・フェンスの画素）が、レーン割り当てを決定するために分析されるので、レーン割り当ての決定プロセスは、相対的に、計算費用が低くなり得る。見返りに、計算費用の低減は、オブジェクトのためのレーン割り当ての決定の負荷を減らすことができ、それにより、ランタイムを同時に減らしつつ、他の高度運転者支援システム（ＡＤＡＳ）又は自律タスクのために処理電力を解放する。

【0005】

環境内のオブジェクトのレーン割り当てを決定するために障害物及びレーン検出を活用する本システム及び方法は、添付の図面を参照して、詳しく後述される。

【図面の簡単な説明】

【0006】

【図1】本開示のいくつかの実施例による、環境内のオブジェクトのレーン割り当てを決定するための例示的プロセスを示す例示的データ流れ図である。

【図2A】本開示のいくつかの実施例による、車両センサによって生成された画像において検出された車両の例示的境界形状予測の図である。

【図2B】本開示のいくつかの実施例による、画像において検出された車両の例示的なトリミングされた（ｃｒｏｐ）境界形状の図である。

【図2C】本開示のいくつかの実施例による、環境内の例示的な走行可能な自由空間予測の図である。

【図2D】本開示のいくつかの実施例による、走行可能な自由空間予測及び境界形状予測を使用して生成された車両のオブジェクト・フェンスの図である。

【図3】本開示のいくつかの実施例による、環境内のオブジェクトのレーン割り当てを決定するための例示的プロセスを説明する流れ図である。

【図4】本開示のいくつかの実施例による、フェンス生成アルゴリズムによって生成された車両のオブジェクト・フェンスの図である。

【図5】本開示のいくつかの実施例による、環境内のオブジェクトのレーン割り当てを決定するための例示的プロセスを説明する流れ図である。

【図6A】本開示のいくつかの実施例による、レーン検出アルゴリズムによって生成されるものとしてのレーンを画定するポリポイントの図である。

【図6B】本開示のいくつかの実施例による、レーン検出アルゴリズムによって生成されるものとしてのレーンを画定するポリポイントを繋ぐポリラインの図である。

【図6C】本開示のいくつかの実施例による、レーン・マスクを生成するために、検出されたレーンで実行されるレーン三角形分割の図である。

【図6D】本開示のいくつかの実施例による、レーン・データを使用して生成されたレーン・マスクの図である。

【図6E】本開示のいくつかの実施例による、レーンを拡張するためにレーン・マスクで実行されるレーン拡張の図である。

【図7A】本開示のいくつかの実施例による、レーン・マスクのレーンとのオブジェクト・フェンスの重複を決定するためにオブジェクト・フェンスに生成される頂点の図である。

【図7B】本開示のいくつかの実施例による、オブジェクト・フェンスがレーン・ラインを横切るときにレーン・マスクのレーンとのオブジェクト・フェンスの重複を決定するためにオブジェクト・フェンスに生成される頂点の図である。

【図8】本開示のいくつかの実施例による、環境内のオブジェクトと２つのレーンとの画素重複の割合を決定するための例示的プロセスの流れ図である。

【図9A】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。

【図9B】本開示のいくつかの実施例による、図９Ａの例示的自律型車両のカメラ位置及び視野の実例である。

【図9C】本開示のいくつかの実施例による、図９Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。

【図9D】本開示のいくつかの実施例による、クラウドベースのサーバと図９Ａの例示的自律型車両との間の通信のシステム図である。

【図10】本開示のいくつかの実施例の実装において使用するのに適した例示的計算デバイスのブロック図である。

【発明を実施するための形態】

【0007】

環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用に関して、システム及び方法が開示される。本明細書に記載のシステム及び方法は、拡張現実、仮想現実、ロボット工学、セキュリティ及び監視、医用画像、自律機械アプリケーション、及び／又は、オブジェクト検出及び割り当てが実施され得る任意の他の技術空間において、使用され得る。本開示は、実例の自律車両９００（本明細書で「車両９００」又は「自律車両９００」と別称され、その実例が図９Ａ～９Ｄに関連して説明される）に関連して説明されることがあるが、このことは制限を意図されていない。たとえば、本明細書に記載のシステム及び方法は、非自律車両、半自律車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ））、ロボット、倉庫車両、オフロード用車両、飛行船舶、ボート、シャトル、緊急対応車両、バイク、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は他の車両タイプによって使用され得るが、これに限定されない。加えて、本明細書に記載の検出は、主に、車両及び／又は歩行者などのオブジェクトに関するが、本開示は、これらの検出のみに制限されることは意図されていない。非限定的な実例として、本明細書に記載のプロセスは、道路標識、航空機、ボート、シャトル、自転車、バイク、信号機、手荷物、標識、ポール、動物、木、キャラクタ、文字、アイテム、製品、デジタル透かし、及び／又は解剖学的オブジェクトなどの、これらに限定されない、任意のオブジェクト又は特徴の検出のために使用され得る。

【0008】

前述のように、従来のシステムとは対照的に、本システムは、リアルタイム又はほぼリアルタイムで車両の複数のセンサ（たとえば、カメラ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、ＳＯＮＡＲセンサなど）からの出力を使用してレーンを検出してオブジェクトに割り当てるための正確で計算効率のよい手法を提供する。たとえば、レーン割り当てに先立って、オブジェクト・フェンス又は足跡が決定され得る。いくつかの実施例では、オブジェクト・フェンスは、入力の組合せを使用して決定され得る。たとえば、オブジェクト検出入力は、機械学習モデル（たとえば、オブジェクトを検出するようにトレーニングされたコンボリューショナル・ニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び／又はコンピュータ・ビジョン・オブジェクト検出アルゴリズムを使用して生成され得る。オブジェクト検出入力は、オブジェクトに対応する、ボックスなどの境界形状を含み得る。いくつかの実例では、境界形状の少なくとも一部は、非限定的実例において、たとえば、境界形状をその形状の５分の１の下部に減らすように、トリミングされ得る。別の入力は、機械学習モデル及び／又はコンピュータ・ビジョン・アルゴリズムを使用して同様に生成され得る走行可能な自由空間入力を含み得る。走行可能な自由空間入力は、走行可能な自由空間に対応する境界形状の一部をトリミングする（又はさらにトリミングする）或いは区画に分けるために使用され得る。結果として、境界形状の残りの部分（たとえば、区画に分けられた走行可能な自由空間内の境界形状）は、２次元（２Ｄ）画像空間におけるオブジェクト・フェンス又は足跡と呼ばれ得る。このプロセスは、自車のセンサの視界又は知覚フィールド内の各オブジェクトについて実行され得る。この方法を使用して、オブジェクトの最上部又は上部が世界空間内のレーンと実際に交差する可能性は低くなり得るので（それは画像空間においてレーンと交差するように見えることはあるが、従来の手法の欠点）、誤検出のレーン割り当ては減少し得る。

【0009】

いくつかの実例では、オブジェクト・フェンスは、オブジェクトを検出する及びオブジェクトのためのフェンスを生成するように具体的にプログラムされた（又は、アルゴリズムが機械学習モデルである実例では、トレーニングされた）フェンス検出アルゴリズムを使用して、生成され得る。たとえば、任意の数のセンサ（たとえば、カメラ、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサ、ＳＯＮＡＲセンサなど）からのセンサ・データが、フェンス検出アルゴリズムへの入力として使用され得、フェンス検出アルゴリズムが、世界空間（たとえば、３次元世界空間）においてオブジェクト・フェンスを生成する。オブジェクト・フェンスは、センサ・データを生成したセンサの内的及び／又は外的パラメータを使用する２Ｄ画像空間に３次元（３Ｄ）世界空間から変換され得る。

【0010】

いくつかの実施例において、環境におけるオブジェクトの未来の位置は、オブジェクト・フェンスに加えてセンサ・データ（たとえば、ＬＩＤＡＲデータ、ＳＯＮＡＲデータ、画像データ、ＲＡＤＡＲデータなど）を使用して、決定され得る。たとえば、オブジェクト・フェンスが決定された後は、センサ・データが、環境におけるオブジェクトの進路又は軌道を決定して１つ又は複数の未来の位置（たとえば、０．５秒未来、１秒未来など）を決定するために使用され得、そして、オブジェクト・フェンスが、未来の位置において適用され得る。そのようなものとして、オブジェクトの現在の位置とオブジェクトに対応するベロシティ及び／又は加速データとを使用して、１つ又は複数のアルゴリズム及び／又は機械学習モデルが、オブジェクトの未来の位置ひいては未来の位置におけるオブジェクトの対応するオブジェクト・フェンスの位置を決定するために使用され得る。いくつかの実例では、オブジェクトの未来の位置が車両の位置に対して変化するときに、倍率が使用され得る（たとえば、オブジェクトがさらに離れて行くとき、オブジェクト・フェンスは、現在のサイズより小さくなり得、オブジェクトが、減速の結果として近づくとき、たとえば、オブジェクト・フェンスのサイズは大きくなり得る、など）。この情報は、次いで、車両の軌道若しくは進路計画立案、障害物回避、及び／又は他の操作に役立つように、オブジェクトが未来の時間に位置し得る環境のレーン又は他の部分を車両に知らせるために使用され得る。

【0011】

オブジェクト・フェンスは、次いで、環境（たとえば、走行表面）におけるレーンとのオブジェクト・フェンスの重複を決定する－結果として、各オブジェクトに関連するレーンを決定する－ために、レーン・データと組み合わせて使用され得る。レーン・データは、レーン・グラフ及び／又はマップ（たとえば、ナビゲーション・レベル・マップ、高精細（ＨＤ：ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）マップなど）の形で、受信され得る。レーン・データは、各レーンに対応する２Ｄ画像空間内の画素を表すレーン・マスクを生成するために使用され得る。いくつかの実例では、レーン・グラフ、マップ、及び／又はその組合せは、環境内のレーンの数及び位置を決定するために使用され得る。たとえば、入力としてレーン・データを受信するレーン・マスク・アルゴリズムが、使用され得、レーン・マスクを生成し得る。実施例において、レーンが、ポリライン（たとえば、レーンを画定する線に沿った点を含む）によって、画定され得る。そのようなものとして、ポリラインからマスクを生成するために、三角形分割方法が、いくつかの実施例において、使用され得る。三角形分割方法は、ポリラインに沿った点を接続し得る（たとえば、各レーンの１つのポリラインから他方のポリラインへ十字の形で、１つおきの点）。非限定的実例として、三角形分割方法は、単調ポリゴン三角形分割を含み得る。所与のレーンのポリゴン内の各画素が、そのレーンに対応すると決定されるように、三角形分割の結果は、２Ｄ画像空間内にポリゴンを含むことができ、それぞれがレーンに対応する。

【0012】

いくつかの実例では、レーンの完全な又は使用可能な範囲は、レーン・マスク生成中に決定されないことがある。そのような実例では、レーンは、レーン拡張アルゴリズム（たとえば、曲線の当てはめ、レーン外挿など）を使用して拡張され得る。レーンを拡張することによって、誤検出は低減され得る。他の実例では、システムによって使用するためのレーン検出データが存在しないことがある。そのような実例では、仮想レーンが生成され得る。たとえば、いくつかの実施例では、自己のレーン（たとえば、自車のレーン）及び両側の隣接するレーンを含む、少なくとも３つのレーンが、生成され得る。仮想レーンを生成することによって、完全に正確ではない場合でも、オブジェクトは、自車の進路（たとえば、自己のレーン）に対するオブジェクトの位置の自車へのより良い理解をもたらすために、仮想レーンに割り当てられ得る。

【0013】

オブジェクト・フェンス及びレーン・マスクが決定された後は、オブジェクトは、２Ｄ画像空間内のオブジェクト・フェンスとレーン・マスクとの画素間の重複を決定することによって、レーンに関連付けられ得る。オブジェクトは、レーン・マスク内のレーン画素とオブジェクト・フェンス内の画素の重複に基づいてレーン・マスク内のレーンに割り当てられ得る。いくつかの実例では、各オブジェクトは、単純な画素カウントに基づいて、レーンに割り当てられ得る。他の実例では、オブジェクト・フェンスは、オブジェクト・フェンスの外周に沿った頂点（又はその対応する画素）によって表され得る。オブジェクトが単一のレーン内にある場合、各組の２つの外周画素の間の画素距離が、計算され、合計され、正規化されて、単一のレーンについて１／１になるであろう、レーンごとの交点の比率を生み出すことができる。オブジェクトが２つ以上のレーン内にある場合、レーン・ラインを横断する１組の点が、決定され得る。２つの画素が決定された後は、新しい頂点が、２つの画素の間の交差部において生成され得る。この画素は、次いで、新しい頂点と交差部の両側の互いの外周画素若しくは頂点との間の距離を決定するために使用され得る。新しい頂点と第１のレーンの第１の組の外周画素との距離の第１の和が計算され得、新しい頂点と第２のレーンの第２の組の外周画素との距離の第２の和が計算され得る。いくつかの実施例では、これらの和は、次いで、正規化され得る。最終的に、レーンごとの交点の比率が、第１の和及び第２の和を使用して、決定され得る。交点の比率、及びフレームごとにその比率がどのように変わるかを知ることは、オブジェクトの軌道（たとえば、レーンの切り替え、急に向きを変えること、レーン保持など）の指示をもたらし得る。

【0014】

いくつかの実施例において、時間的平滑化が、オブジェクトの以前のフレームの事前レーン割り当てを活用するために使用され得る。たとえば、レーン割り当ては、オブジェクトが車両に近づくときに、より正確になり得るので、車両が離れて行くとき、レーンが２Ｄ画像空間において融合して見える傾向がある場合、事前レーン割り当ては、さらなる距離におけるオブジェクトレーン割り当てのより正確な予測を提供するために、活用され得る。

【0015】

最終的に、オブジェクトのためのレーン割り当てを表すデータは、次いで、コンパイルされ、自律運転ソフトウェア・スタックの認知層、世界モデル管理層、計画立案層、制御層、及び／又は別の層に送信されて、安全で効果的な走行表面のナビゲートにおいて自律車両及び／又はＡＤＡＳ対応車両を支援することができる。

【0016】

図１を参照すると、図１は、本開示のいくつかの実施例による、環境内のオブジェクトのレーン割り当てを決定するための例示的プロセス１００を示す例示的データ流れ図である。図１に関して説明される検出タイプはレーン検出であり、これは限定を意図されておらず、単に例示を目的とする。たとえば、プロセス１００は、本開示の範囲を逸脱せずに、環境の進路、跡、列、線、及び／又は他の部分を検出するために、及びそのオブジェクトを割り当てるために、使用され得る。

【0017】

プロセス１００は、センサ・データ１０２を生成すること及び／又は車両９００の１つ又は複数のセンサから受信することを含み得る。センサ・データ１０２は、環境のレーン又は他の画定された領域にリアルタイム又はほぼリアルタイムでオブジェクトを割り当てるために、車両９００によって、プロセス１００内で、使用され得る。センサ・データ１０２は、車両９００（及び／又は、いくつかの実例では、他の車両又はオブジェクト、たとえば、ロボット・デバイス、ＶＲシステム、ＡＲシステムなど）のセンサのいずれかからのセンサ・データ１０２を含み得るが、これに限定されない。たとえば、図９Ａ～９Ｃを参照すると、センサ・データ１０２は、全地球的航法衛星システム（ＧＮＳＳ：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ９５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ９６０、超音波センサ９６２、ＬＩＤＡＲセンサ９６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ９６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン９９６、ステレオ・カメラ９６８、ワイドビュー・カメラ９７０（たとえば、魚眼カメラ）、赤外線カメラ９７２、サラウンド・カメラ９７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ９９８、速度センサ９４４（たとえば、車両９００の速度を測定するための）、及び／又は他のセンサ・タイプによって生成されたデータを含み得るが、これに限定されない。

【0018】

いくつかの実例では、センサ・データ１０２は、カメラ（たとえば、中央又は中央付近に取り付けられたカメラ）及び／又は他のセンサ・タイプ（たとえば、バンパに取り付けられたＲＡＤＡＲセンサ）など、１つ又は複数の前向きのセンサによって生成されたセンサ・データを含み得る。前向きのカメラは、車両９００の道程の現在のレーン、車両９００の道程の隣接するレーン、及び／又は走行表面の境界の両方を含む視界（たとえば、図９Ｂの前向きのステレオ・カメラ９６８及び／又はワイドビュー・カメラ９７０の視界）を含み得るので、このセンサ・データ１０２は、ナビゲートするときに－たとえば、レーン内、レーン変更を通して、曲がり角を通って、交点を通ってなど－コンピュータ・ビジョン及び／又は認知のために有用になり得る。いくつかの実例では、前向きのセンサに加えて、サイドビュー・センサ及び／又はリアビュー・センサが、レーン割り当てが車両９００の横に及び／又は車両９００の後ろにオブジェクトを含むことになる場合などに使用され得る。いくつかの実例では、２つ以上のカメラ又は他のセンサ（たとえば、ＬＩＤＡＲセンサ９６４、ＲＡＤＡＲセンサ９６０など）が、複数の視界（たとえば、図８Ｂの長距離カメラ８９８、前向きのステレオ・カメラ８６８、及び／又は前向きのワイドビュー・カメラ８７０の視界）及び／又は知覚フィールド（たとえば、ＬＩＤＡＲセンサ９６４、ＲＡＤＡＲセンサ９６０などの）を組み込むために使用され得る。

【0019】

センサ・データ１０２は、画像を表す画像データ、ビデオを表す画像データ（たとえば、ビデオのスナップショット）、及び／又はセンサの知覚フィールドの表現を表すセンサ・データ（たとえば、ＬＩＤＡＲセンサの深度マップ、超音波センサの値グラフなど）を含み得る。センサ・データ１０２が画像データを含む場合、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又は輝度／クロミナンス（ＹＵＶ：Ｌｕｍｉｎａｎｃｅ／Ｃｈｒｏｍｉｎａｎｃｅ）フォーマットなどの圧縮画像、Ｈ．２６４／高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）又はＨ．２６５／高性能ビデオ符号化（ＨＥＶＣ）などの圧縮ビデオフォーマットに由来するフレームのような圧縮画像、ＲＣＣＢ（Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、ＲＣＣＣ（Ｒｅｄ Ｃｌｅａｒ）、若しくは他のタイプの画像センサなどに由来する未加工画像、及び／又は他のフォーマットなどの、しかしこれに限定されない、任意のタイプの画像データ・フォーマットが使用され得る。加えて、いくつかの実例では、センサ・データ１０２は、前処理（たとえば、未加工の又はキャプチャされたフォーマットにおける）なしにプロセス１００で使用され得るが、他の実例では、センサ・データ１０２は、前処理（たとえば、センサ・データ・プレプロセッサ（図示せず）を使用するなどした、ノイズ・バランシング、デモザイク処理、スケーリング、トリミング、拡張、ホワイト・バランシング、トーン・カーブ調節など）を受け得る。本明細書では、センサ・データ１０２は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。

【0020】

センサ・データ１０２は、車両９００のセンサによってキャプチャされた環境内の１つ又は複数のオブジェクトのオブジェクト・フェンス１１０を生成するために使用され得る。オブジェクト・フェンス１１０は、本明細書に記載のものなどの、しかしこれに限定されない、いくつかの異なる方法のいずれかを使用して、生成され得る。いくつかの実例では、オブジェクト・フェンス１１０は、自由空間検出１０６とオブジェクト検出１０４との組合せを使用して生成され得るが、他の実例では、オブジェクト・フェンス１１０は、フェンス生成アルゴリズム１０８を使用して生成され得る。どちらの実例でも、オブジェクト・フェンス１１０は、プロセス１００内のレーン検出及び割り当てのための入力として使用され得る。

【0021】

オブジェクト・フェンス１１０を生成するためにオブジェクト検出１０４及び自由空間検出１０６が使用される実施例では、センサ・データ１０２は、オブジェクト検出１０４及び自由空間検出１０６の両方への入力として使用され得る。たとえば、オブジェクト検出１０４は、センサ・データ１０２（たとえば、１つ又は複数のカメラからの画像データ、１つ又は複数のＬＩＤＡＲセンサからのＬＩＤＡＲデータ、１つ又は複数のＲＡＤＡＲセンサからのＲＡＤＡＲデータなど）を使用してオブジェクト（たとえば、車両、歩行者、自転車、瓦礫など）を検出し、検出されたオブジェクトの境界形状（たとえば、境界ボックス、円、ポリゴンなど）を生成することができる。オブジェクト検出１０４は、機械学習モデル（たとえば、コンボリューショナル・ニューラル・ネットワーク（ＣＮＮ）などのディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ））、コンピュータ・ビジョン・アルゴリズム、及び／又は別のオブジェクト検出アルゴリズム・タイプを使用してオブジェクトを検出し、オブジェクトの境界形状を生成することができる。機械学習モデルがオブジェクト検出１０４のために使用される場合、機械学習モデルは、線形回帰、ロジスティック回帰、決定木、サポート・ベクタ・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ）、ナイーブ・ヘイズ、ｋ最近傍（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、自動エンコーダ、コンボリューション、反復、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホットフィールド、ボルツマン、ディープ・ビリーフ、デコンボリューション、コンボリューション、敵対的生成、液体状態機械など）を使用する機械学習モデル、及び／又は他のタイプの機械学習モデルを含み得るが、これらに限定されない。

【0022】

オブジェクト検出１０４を使用する境界形状出力は、オブジェクト（たとえば、車両９００の走行表面上の）に対応する画像の部分（センサ・データ１０２によって表される）を表し得る。たとえば、図２Ａの視覚化２００を参照すると、境界形状２０４は、車両２０２に対応する画像の一部を識別するために－オブジェクト検出１０４を使用して－車両２０２のために生成され得る。非限定的実例において、オブジェクト検出１０４の出力は、オブジェクトが位置していると決定された画像内の点（たとえば、画素）を含み得る。そのような実例では、それらの点は、境界形状内のそれぞれの点又は画素を含み得る。そのようなものとして、境界形状内で生成されたオブジェクト・マスクに加えて、境界形状は、オブジェクトに対応するそれぞれの画素を画定し得る。オブジェクト検出１０４のこのプロセスは、各フレーム内の任意の数のオブジェクトについて実施され得る。

【0023】

いくつかの実施例において、オブジェクト・フェンス１１０を決定するために、各検出されたオブジェクトの境界形状の少なくとも一部が、トリミングされ得る。たとえば、境界線形状内のオブジェクトのうちの少なくともいくらかは、走行表面上のオブジェクトの足跡に対応しないことがある（たとえば、２Ｄ画像空間では、車両２０２の上部分は、移動のレーンを越えて伸び得る）ので、境界形状の少なくとも一部が、トリミングされ得る。図２Ｂの視覚化２２０に示すように、境界形状２０４は、車両２０２に対応するトリミングされた境界形状２２２生成するために、トリミングされ得る。いくつかの実例では、たとえば、境界形状の上半分、上４分の３、上５分の４、上４分の２及び下４分の１などを含むがこれらに限定されない、境界形状の事前に定められた部分、量、又はパーセンテージが、トリミングされ得る。境界形状の少なくとも一部をトリミングすることによって、結果として生じるトリミングされた境界形状は、走行表面上の車両の足跡により正確に対応し得るので、検出漏れは低減され得る。オブジェクト足跡に関する正確性のメリットに加えて、境界形状の一部のトリミングはまた、オブジェクト・フェンス１１０を決定するための計算の費用（たとえば、自由空間検出１０６の適用のための有効エリアを減らすことによって）及び／又はレーン割り当てのためにオブジェクト・フェンス１１０を利用すること（たとえば、計算で使用され得る境界形状の外へトリミングされた部分の画素の数を減らすことによって）を減らすことができる。

【0024】

本明細書に記載のように、自由空間検出１０６の出力は、オブジェクト検出１０４の間に生成された境界形状及び／又はトリミングされた境界形状と組み合わせて使用され得る。たとえば、センサ・データ１０２は、車両９００のセンサの視界及び／又は知覚フィールド内の環境の部分を決定するために、１つ又は複数のコンピュータ・ビジョン・アルゴリズム、機械学習モデルｓ、及び／又は走行可能な自由空間のための他の検出アルゴリズムによって使用され得る。自由空間検出１０６のために使用され得る機械学習モデルは、（たとえば、前述の、オブジェクト検出１０４に関して）本明細書に記載されたものを含み得るが、これに限定されない。非限定的な実例として、走行可能な自由空間は、２０１９年３月１５日に出願された、参照することによって本明細書に組み込まれる、米国非仮出願第１６／３５５，３２８号に記載された方法を使用して決定され得る。

【0025】

自由空間検出１０６の出力は、走行表面上の走行可能な自由空間及び／又は走行不可能な空間に対応する－車両９００のカメラによってキャプチャされた画像内に表された－環境の部分を表し得る。走行可能な自由空間は、車両９００によって通過可能な又は走行可能な環境の部分並びに走行不可能な空間（たとえば、建造物、公園など）を表し得る（たとえば、道路は走行可能になり得るが、歩道又は建造物は走行可能になり得る）。図２Ｃの視覚化２３０は、トリミングされた境界形状２２２に適用されるものとしての自由空間検出１０６の少なくとも一部を表し得る。たとえば、自由空間検出１０６の間に決定された走行可能な自由空間２３２の部分は、オブジェクト・フェンス１１０（図２Ｄの視覚化２４０に表されるような）を生成するために、トリミングされた境界形状２２２からトリミングされ得る。したがって、図２Ｃに関して、オブジェクト・フェンス１１０は、走行可能な自由空間２３２が外へトリミングされた後のトリミングされた境界形状２２２内の走行不可能な空間２３４を表し得る。完全な境界形状２０４が使用される実例では、完全な境界形状２０４内の走行可能な自由空間が、外へトリミングされ得る。いくつかの実例では、自由空間検出１０６は、走行可能な自由空間及び／又は走行不可能な空間が検出される画像内の点（たとえば、画素）を含むことができ、そして、境界形状のトリミング及び／又はオブジェクト・フェンス１１０の生成が、それらの点を使用して実行され得る。そのような実例において、走行可能な自由空間に対応する点は、オブジェクト・フェンス１１０を生成するために、境界形状（又はそのトリミングされたバージョン）に対応する点から取り除かれ得る。トリミング・アウト・プロセスは、車両９００のセンサの視界又は知覚フィールドを表す入力画像において検出された各オブジェクトについて実行され得る。

【0026】

いくつかの実施例において、オブジェクト検出１０４及び自由空間検出１０６の使用に加えて、或いはそれに代わって、オブジェクト・フェンス１１０が、フェンス生成アルゴリズム１０８を使用して、生成され得る。フェンス生成アルゴリズム１０８は、機械学習モデル、コンピュータ・ビジョン・アルゴリズム、及び／又はオブジェクト検出アルゴリズムを含み得る。機械学習モデルが使用される場合、機械学習モデルは、本明細書に記載の機械学習モデル（たとえば、前述の、オブジェクト検出１０４に関する）を含み得るが、これに限定されない。フェンス生成アルゴリズム１０８は、オブジェクトを検出するための入力としてセンサ・データ１０２を使用し、各検出されたオブジェクトのためのオブジェクト・フェンス１１０（たとえば、図２Ｄに示すような）を生成するようにトレーニング及び／又はプログラムされ得る。たとえば、任意の数のセンサ（たとえば、カメラ、ＲＡＤＡＲセンサ９６０、ＬＩＤＡＲセンサ９６４、超音波センサ９６２など）からのセンサ・データ１０２は、フェンス生成アルゴリズム１０８への入力として使用され得る。いくつかの実施例において、フェンス生成アルゴリズム１０８は、２Ｄ又は３Ｄ世界空間においてオブジェクト・フェンス１１０を生成し、センサ・データ１０２を生成した対応するセンサの内的及び／又は外的パラメータは、世界空間から画像空間にオブジェクト・フェンス１１０を変換するために使用され得る。たとえば、世界空間座標と画像座標との間の関係を正確に決定するために、３Ｄから２Ｄへの投影が使用され得る。たとえば、センサは、１つ又は複数の内的（たとえば、焦点距離、ｆ、光心（ｕ_ｏ、ｖ_ｏ）、画素アスペクト比、α、スキュー、ｓなど）及び／又は外的（たとえば、３Ｄ回転、Ｒ、変換、ｔなど）カメラ・パラメータを使用して較正され得る。加えて、いくつかの非限定的な実例では、走行表面の接地面上に３Ｄの点がいつもあることを必要とするなど、１つ又は複数の制約が課され得る。いくつかの実例では、センサのパラメータのうちの１つ又は複数は動的になり得（たとえば、振動、運動、向きなどにより）、そして、３Ｄから２Ｄへの投影は、結果として動的に更新され得る。

【0027】

いくつかの実施例において、オブジェクト・フェンス１１０が、オブジェクト・フェンス１１０に対応するポリゴンの点（たとえば、画素及び／又は頂点）として生成され得る。そのようなものとして、頂点を接続することによって、オブジェクト・フェンス１１０に対応するポリゴンが生成され得、そして、オブジェクト・フェンス１１０内の画素は、レーン割り当てのためのオブジェクトに対応すると決定され得る。オブジェクト・フェンス１１０が、走行表面上のオブジェクトの形状又は足跡をより緊密に定めることによって、レーン割り当て予測の精度及び信頼性を向上させるために－本明細書に記載されているものなどの任意の方法を使用して－レーン割り当て１２０に先立って、生成され得る。たとえば、オブジェクト・フェンス１１０が決定された後は、オブジェクト・フェンス１１０は、レーン割り当て１２０のための重複決定１１８を行うために－レーン・マスク１１６と組み合わせて－使用され得る。

【0028】

いくつかの実施例において、環境内のオブジェクトの未来の位置及び／又は割り当てが、センサ・データ１０２（たとえば、ＬＩＤＡＲデータ、ＳＯＮＡＲデータ、画像データ、ＲＡＤＡＲデータなど）及びオブジェクト・フェンス１１０を使用して、決定され得る。たとえば、オブジェクト・フェンス１１０が決定された後は、速度、ベロシティ、加速、ヨー・レートなどを表すセンサ・データ１０２が、環境におけるオブジェクトの未来の進路又は軌道を決定して１つ又は複数の未来の位置（たとえば、０．５秒未来、１秒未来など）を決定するために、使用され得る。たとえば、線形動的モデル（たとえば、未来の位置＝現在の位置＋（ベロシティ×時間））、定加速度モデル、定ターン率モデル、機械学習モデル、別のアルゴリズム・タイプ、及び／又はその組合せが、オブジェクトの未来の位置（たとえば、世界空間における）を決定するために、センサ・データ（又は、それによって表されるデータ）を使用し得る。未来の位置が知られた後は、オブジェクト・フェンス１１０が、未来の位置及びオブジェクト・フェンス１１０情報を使用して、生成され得る（たとえば、画像空間において）。いくつかの実例では、オブジェクトの未来の位置が車両９００の位置に対して変化するとき、倍率が使用され得る（たとえば、オブジェクトがさらに離れて行くとき、オブジェクト・フェンス１１０は現在のサイズより小さくなり得る、減速の結果としてオブジェクトが近づくとき、たとえば、オブジェクト・フェンス１１０のサイズは大きくなり得る、など）。この情報は、車両の軌道若しくは進路計画立案、障害物回避、及び／又は他の動作を支援するために、オブジェクトが未来の時間において位置し得るレーン又は環境の他の部分を車両９００に知らせるために使用され得る。レーン割り当て１２０の決定は、現在のオブジェクト・フェンス位置に関する未来のオブジェクト・フェンス位置について類似し得、車両の現在のオブジェクト・フェンス１１０及び未来のオブジェクト・フェンス１１０の組合せは、経時的に（たとえば、次の１秒、２秒などにわたり）オブジェクトが占有すると予測される環境内のエリア及び体積のより詳細な理解をもたらし得る。

【0029】

レーン検出１１２は、走行表面の１つ又は複数のレーン、区分、分割、及び／又は境界線の位置を決定するために、センサ・データ１０２及び／又はレーン・データ１２６を使用し得る。たとえば、レーン検出１１２は、走行表面のレーン（若しくはレーン・ライン）、区分、分割、境界線、及び／又は他の領域の位置を決定するためのコンピュータ・ビジョン・アルゴリズム、機械学習モデル、及び／又はオブジェクト検出アルゴリズムを使用し得る。機械学習モデルが使用される場合、機械学習モデルは、（たとえば、前述の、オブジェクト検出１０４に関して）本明細書に記載された機械学習モデルを含み得るが、これに限定されない。非限定的実例としては、２０１９年２月１５日に出願された米国非仮出願第１６／２８６，３２９号及び２０１９年７月１７日に出願された米国非仮出願第１６／５１４，４０４号に記載されているものなどの方法があり、これらの出願のそれぞれは、参照することによってその全部が本明細書に組み込まれる。

【0030】

いくつかの実例では、レーン検出１１２は、レーン・データ２２６を使用し得、そこで、レーン・データ２２６は、レーン・グラフ及び／又はマップ（たとえば、ナビゲーション・レベル・マップ、高精細（ＨＤ）マップ）を含み得る。たとえば、レーン・データ２２６は、環境内の走行表面上のいくつかのレーン及び／又は出口ランプ、合流、分割、及び／又は他の特徴を表し得る。そのようなものとして、レーン検出１１２は、センサ・データ１０２、レーン・データ２２６、又はその組合せを使用して、生成され得る。たとえば、１つ又は複数のレーンは、レーン検出アルゴリズム又は機械学習モデルと組み合わせてセンサ・データ１０２を使用して、識別され得、そして、１つ又は複数の追加のレーンが、レーン・データ２２６（たとえば、マップ・アプリケーションからの）を使用して、識別され得る。レーン検出の出力は走行表面のレーン・ライン、境界線、合流ライン、区分ライン、及び／又は他のラインに対応するライン（たとえば、複数の頂点によって表されるポリライン）を含み得る。

【0031】

非限定的実例において、レーン検出１１２の出力は、レーン境界（たとえば、図６Ａの視覚化６００のポリポイント６０２Ａ～６０２Ｈ及び６０４Ａ～６０４Ｆ）が位置すると決定された画像内の点（たとえば、画素）を含み得る。ポリライン（たとえば、図６Ｂの視覚化６２０のポリライン６２２Ａ～６２２Ｇ及び６２４Ａ～６２４Ｅ）が、それぞれのレーン及び／又は境界の隣接するポリポイントを接続することによって、生成され得、そこで、ポリライン間の接続は、画像のレーン・ライン又は境界の範囲を定め得る。そのようなものとして、ポリポイント及び／又はポリラインは、センサ・データ１０２（たとえば、画像）及び／又はマップ・データ２２６（たとえば、レーン・グラフ及び／又はマップ）によって表されるものとしての環境内の検出されたレーン、オフランプ、オンランプ、境界、及び／又は他の特徴を画定する又は線引きすることができる。

【0032】

いくつかの実施例において、レーン・マスク１１６を決定するために、レーン三角形分割１１４が実行され得る。たとえば、レーン検出１１２の出力（たとえば、ポリラインに対応するポリポイント）を使用して、レーン三角形分割１１４が、レーン・マスク１１６を生成するために、使用され得る。そのような実例において、レーン三角形分割１１４は、十字パターンなどのパターンで隣接するポリラインの間のポリポイントを接続し得る。非限定的実例では、図６Ｃに示すように、あらゆるポリポイントは、同じラインに対応する隣接するポリラインのポリポイントに十字型に接続され得る（たとえば、左側のレーン・ラインからのポリポイントは、右側のレーン・ラインからのポリポイントに接続され得る）。図６Ｃの視覚化６４０に示すように、それぞれのポリポイントが三角形を形成するように接続されるまで、第１のポリラインの第１のポリポイント（たとえば、最も下のポリポイント）が、第２のポリラインからの第１の（又は第２の）ポリポイントに接続され得、第２のポリラインからの第１の（又は第２の）ポリポイントが、第１のポリラインからの第２のポリポイントに接続され得る、など。いくつかの非限定的な実例において、レーン三角形分割１１４は、単調ポリゴン三角形分割を使用してレーン・マスク１１６を生成し得る。ポリラインは、少なくとも１つの軸（たとえば、方向）において単調であり及び非曲線であると想定され得る。ベクトルが、それぞれのレーンにおける終了ポリライン点と開始ポリライン点との間で決定され得る。ベクトルは、次いで、走行表面の各レーン、オフランプ、オンランプ、又は他の画定された部分に対応する画像内の画素を決定するためにレーン・マスク１１６をレンダリングするための三角形（たとえば、図６Ｄの三角形６４２Ａ～６４２Ｘ）を生成するために使用され得る。

【0033】

いくつかの実施例において、レーン回帰アルゴリズムが、レーン・マスク１１６を生成するために、レーン三角形分割１１４のために使用され得る。レーン回帰アルゴリズムは、ポリラインを通してラインを逆行して三角形を生成することができる。たとえば、任意の知られている回帰アルゴリズムが、三角形を生成するために使用され得る。レーン・マスク１１６が、レーン三角形分割１１６によって各レーンのために生成された三角形を使用して、生成され得る。レンダリングされた三角形の組合せは、画像空間内のポリゴンを形成し得、そこで、各ポリゴンは、レーンに対応し得る。

【0034】

レーン三角形分割１１４及び／又は別のマスク生成手法の結果として、レーン・マスク１１６は、走行表面のレーン又は他の部分に対応する画像空間内の画素を表すように生成され得る。いくつかの実例では、レーン・マスク１１６内の各画素は、それぞれのレーンに対応する色としてインデックスを付けられ得る（たとえば、図６Ｄの視覚化６６０に関して、左のレーン６６２の画素は第１の色又はパターンになり得、中央の又は自己のレーン６６４の画素は第２の色又はパターンになり得、そして、第３のレーン６６６の画素は第３の色又はパターンになり得る）。

【0035】

実施例において、倍率が、レーン・マスク１１６を縮小するために使用され得る。たとえば、レーン・マスクは、性能を向上させる又はランタイムを減らすために、所定の倍率（たとえば、２分の１、４分の１など）によって縮小され得る。実施例では、センサ・データ１０２内の各画素が倍率によって縮小され得る－それにより、より低い、縮小された分解能においてでもより高い空間分解能からの情報を保持する－ように、探索が縮尺比に基づいて実行され得るので、スケーリングの後でも、レーン・マスク１１６は、レーン・マスク１１６を生成するために使用されるソース画像、マップ及び／又はグラフの忠実性を保持し得る。そのような実例において、センサ・データ１０２が、レーン三角形分割１１４の前に縮小され得、ラスタライザが、センサ・データ１０２（たとえば、画像）を縮小するために使用され得る。縮小されたセンサ・データ１０２は、次いで、レーン三角形分割１１４のために使用され得る。そのような実施例では、オブジェクト・フェンス１１０（たとえば、オブジェクト・フェンス１１０の画素）もまた、同じ倍率によって縮小され得る。

【0036】

いくつかの実例では、レーン拡張１２２及び／又は仮想レーン生成１２４が、検出されたレーンを拡張する及び／又はレーン・マスク１１６内にレーンを生成するために使用され得る－レーンの完全な又は使用可能な範囲がレーン検出１１２及び／又はレーン三角形分割１１４の結果としてレーン・マスク１１６のために生成されない場合など。レーンの所定の長さが、レーンを拡張するためにレーン拡張１２２が実行され得るかどうかを決定するために、使用され得る。そのような実例では、レーン拡張アルゴリズム又は機械学習モデル（本明細書に記載されているものなど）が、レーンを拡張するために使用され得る。任意の知られているレーン拡張アルゴリズム－曲線の当てはめ及び／又はレーン外挿などの、しかしこれに限定されない－が、レーン拡張（たとえば、図６Ｅの視覚化６８０内のレーン拡張６８２、６８４、６８６、及び６８８）を生成するために使用され得る。そのようなレーン拡張は、レーン・マスク１１６のさらなる奥行きを生成することによって、検出されたオブジェクトのレーン割り当ての誤検出を減らすことができる。さらに、いくつかの実例では、レーン拡張アルゴリズムは、拡張が別のレーン境界と交差するときにレーン拡張を制限するように構成され得る。

【0037】

仮想レーン生成１２４は、１つ又は複数のレーン（たとえば、閾値数未満のレーン）が検出されない場合に、実行され得る。そのようなものとして、仮想レーン生成１２４は、レーン検出１１２のための制限されたレーン・データ１２６及び／又はセンサ・データ１０２が存在するときに、使用され得る。実施例において、所定の数のレーンが、仮想レーンが生成されるべきかどうかを決定するために、使用され得る。たとえば、閾値が３つのレーンである場合、３つのレーンが検出されないとき、仮想レーンが、ギャップを埋めるために生成され得る。そのような実例において、３つのレーンは、車両９００の少なくとも自己のレーンと、自己のレーンのいずれかの側にある隣接するレーンとを含み得る。レーン拡張１２２に類似して、アルゴリズム又は機械学習モデルは、生成されることになるいくつかの仮想レーンと、生成されることになる仮想レーンの位置とを決定するために使用され得る。仮想レーンを生成することによって、実際の検出ほど正確でない場合でも、オブジェクトは、自車の進路に対するオブジェクトの位置の車両９００へのより良い理解の提供ために、仮想レーンに割り当てられ得る。

【0038】

オブジェクト・フェンス１１０及びレーン・マスク１１６が生成された後は、重複決定１１８が、どのオブジェクト・フェンス－又はその部分－が環境のそれぞれのレーン又は他の画定された部分内にあるかを決定するために、実行され得る。そのようなものとして、重複決定１１８は、レーン・マスク１１６及びオブジェクト・フェンス１１０を使用して、オブジェクト・フェンス１１０の画素及び／又は境界とレーン・マスク１１６（たとえば、２Ｄ画像空間における）との間の重複を決定することができる。

【0039】

いくつかの実例では、オブジェクトが、レーン・マスク１１６内のレーン画素とのオブジェクト・フェンス１１０内の画素の重複に基づいて－レーン割り当て１２０の間に－レーン・マスク内のレーンに割り当てられ得る。対応するオブジェクト・フェンス１１０を有する各オブジェクトが、画素カウントに基づいて１つ又は複数のレーンに割り当てられ得るように、画素カウンティング１３２が、オブジェクト・フェンス１１０の画素とレーン・マスク１１６との間の重複を決定するために使用され得る。オブジェクト１１０フェンスの全体内の画素が、レーン・マスク１１６内の各レーンのレーン画素に対してマッチさせられ得、オブジェクトが、各レーン内のオブジェクト・フェンス１１０画素の画素カウントに基づいて、１つ又は複数のレーンに割り当てられ得る。レーン・マスク１１６に関連付けられた画素インデックス（たとえば、図６Ｄに関して記載されたような、色又はパターン）は、次いで、特定の画素がどのレーンと重複するかを決定するために使用され得る。いくつかの実例では、オブジェクトをレーンと関連付けるために、重複している画素の数が閾値を超えることが必要とされ得る（たとえば、２０より多い画素、４０より多い画素、オブジェクト・フェンス１１０の画素の１０パーセントより多いなど）。閾値を使用することによって、レーンとわずかに重複するオブジェクト・フェンス１１０（オブジェクト・フェンス１１０における何らかの不正確性を構成し得る）はカウントしないことが可能であるので、誤検出は低減され得る。

【0040】

いくつかの実施例では、画素カウンティング１３２に加えて又はその代替として、境界スコアリング１３４が、オブジェクト・フェンス１１０の画素とレーン・マスク１１６との間の重複を決定するために実行され得る。そのような実例では、オブジェクト・フェンス１１０は、オブジェクト・フェンスの外周１１０に沿った頂点（たとえば、画素）（たとえば、頂点７０２Ａ、７０２Ｂ、７０２Ｃ、…、７０２Ｎ）として表され得る。画素距離が、重複を決定するために、オブジェクト・フェンス１１０の頂点の間で決定され得る。たとえば、オブジェクトが単一のレーン内にある場合、各組の２つの外周画素の間の画素距離が、計算され、合計され、正規化されてレーンごとの交点の比率－単一のレーンでは１／１になるであろう－を生み出す。

【0041】

オブジェクトが２つ以上のレーン内にあり得る実例では、レーン境界を横断する１組の点が、決定され得る。たとえば、頂点７０２Ｂと頂点７０２Ｃとはレーン・ラインに沿って分けられていると決定され得る。そのようなものとして、クロス・ポイント７２２Ａ（又は新しい頂点）が、レーン・ライン上にある頂点７０２Ｂと頂点７０２Ｃとの間の点を発見することによって、決定され得る。クロス・ポイント又は新しい頂点が、次いで、新しい頂点と交差部のいずれかの側のオブジェクト・フェンス１１０の互いの外周画素若しくは頂点との間の距離（たとえば、画素距離、直線に沿う、オブジェクト・フェンス１００の境界に沿うなど）を決定するために使用され得る。新しい頂点と第１のレーン内のオブジェクト・フェンス１１０に対応する第１の組の外周画素との間の距離の第１の和が計算され得、新しい頂点と第２のレーン内のオブジェクト・フェンス１１０に対応する第２の組の外周画素との間の距離の第２の和が計算され得る。いくつかの実施例において、これらの和は、次いで、正規化され得る。最終的に、レーンごとの交点の比率が、距離の第１の和及び距離の第２の和に基づいて、決定され得る。交点の比率と、その比率がフレームごとにどのように変わるかとを知ることは、オブジェクトの軌道（たとえば、レーンの切り替え、急に向きを変えること、レーン保持など）の指示をもたらし得る。加えて、交点の比率は、レーン割り当て１２０の間に複数のレーンにオブジェクトを割り当てるために使用され得る。

【0042】

重複決定１１８は、それぞれのオブジェクト・フェンス１１０を有するそれぞれのオブジェクトのためのレーン割り当て１２０を決定するために使用され得る。いくつかの実例では、画素カウンティング１３２は、レーン・マスク１１６画素と重複しているオブジェクト・フェンス１１０画素の画素カウントを提供し得、重複は、レーン割り当てを決定するために使用され得る。もう１つの実例として、オブジェクト・フェンス１１０のレーンごとの交点の比率－境界スコアリング１３４によって決定されるものとしての－は、２つ以上のレーンにオブジェクトを割り当てるために使用され得る。レーン割り当て１２０は、対応するオブジェクトの道程の現在のレーンを表し得る。レーン割り当て１２０は、車両９００がどの進路又は軌道を辿るべきか若しくは辿り得るか、ブレーキを掛ける、加速する、若しくはレーンを変更するかどうか、及び／又は他の決定タイプなどの決定を行うときに、車両９００によって使用され得る。

【0043】

いくつかの実施例において、時間的平滑化１４２は、オブジェクトの前のフレーム及び／又は画像の事前レーン割り当て１２０を活用して後続のフレーム及び／又は画像内のオブジェクトの位置及び／又はレーン割り当てを推定するために、実行され得る。たとえば、オブジェクトが車両９００のセンサに近くなるときに、レーン割り当てはより正確になり得るので、オブジェクトが離れて行くとき、事前レーン割り当て１２０は、さらなる距離－たとえば、レーンが画像空間において合流するように見える場合－におけるオブジェクト位置及びレーン割り当てのより正確な予測を提供するために活用され得る。そのような実例では、事前予測は、レーン割り当て１２０の現在の予測に関して重み付けされ得る（たとえば、現在の予測の９０％／事前予測の１０％、現在の予測の７０％／直前の予測の２０％／２つの予測前の１０％など）。したがって、時間的平滑化は、事前予測を活用してプロセス１００内のレーン割り当て１２０の精度を改善することができる。

【0044】

ここで図２Ａ～２Ｄを参照すると、図２Ａ～２Ｄは、本開示のいくつかの実施例による、オブジェクト検出１０４及び自由空間検出１０６を使用する画像内の車両のオブジェクト・フェンスの生成のためのプロセスを示す。図２Ａは、車両センサによって生成された画像内で検出された車両の境界形状を示す。境界形状２０４は、オブジェクト検出アルゴリズム及び／又は機械学習モデルを使用して－視覚化２０２に表されるものとして－車両２０２について生成され得る。いくつかの実例では、境界形状２０４は、車両２０２の周囲の境界ボックスでもよい。境界形状２０４は、境界形状２０４に対応するそれぞれの画素、境界形状２０４の外周に沿った頂点、又はその組合せなど、車両２０２が潜在的に位置する入力画像２００内の点（たとえば、画素）として表され得る。

【0045】

図２Ｂは、本開示のいくつかの実施例による、画像内で検出された車両２０２のトリミングされた境界形状２２２を示す。たとえば、境界形状の少なくとも一部２０４は、本明細書に記載のように、トリミングされた境界形状２２２を生成するためにトリミングされ得る。

【0046】

図２Ｃは、本開示のいくつかの実施例による、走行可能な自由空間決定を使用するオブジェクト・フェンスの画定を示す。たとえば、走行可能な自由空間２３２－本明細書に記載のような－が、オブジェクト・フェンス１１０を生成するために、境界形状２０４及び／又はトリミングされた境界形状２２２からトリミングされ得る。図２Ｃのトリミングされた境界形状２２２内の走行可能な自由空間３２３及び走行不可能な空間２３４としてのみ示されているが、これは限定を意図されていない。いくつかの実例では、各画像の一部又はすべてが、走行可能な自由空間又は走行不可能な空間として画定され得、境界形状２０４及び／又はトリミングされた境界形状２２２に対応するこの出力の部分が、オブジェクト・フェンス１１０を生成するために使用され得る。

【0047】

図２Ｄは、本開示のいくつかの実施例による、オブジェクト境界形状から走行可能な自由空間を取り除くことによって生成された車両のオブジェクト・フェンスを示す。図２Ｄに示すように、走行可能な自由空間２３２は、オブジェクト・フェンス１１０を生成するために、トリミングされた境界形状２２２からトリミングされ得る。

【0048】

ここで図３を参照すると、本明細書に記載の方法３００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行することができる計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。本方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ実行可能命令として実施され得る。本方法は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型、又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって、提供され得る。加えて、方法３００は、実例として、図１の環境内のオブジェクトのレーン割り当てを決定するためのプロセス１００に関して説明されている。しかしながら、本方法は、本明細書に記載されているものを含むがこれに限定されない、任意の１つのシステム、又はシステムの任意の組合せによって、追加で又は代替的に実行され得る。

【0049】

図３は、本開示のいくつかの実施例による、環境内のオブジェクトのレーン割り当てを決定するための方法３００を示す流れ図である。方法３００は、ブロックＢ３０２において、画像内に描かれたオブジェクトに対応する境界形状を表すオブジェクト検出データを受信することを含む。たとえば、画像（たとえば、センサ・データ１０２によって表されるものとしての）内に描かれたオブジェクト（たとえば、車両、歩行者、瓦礫など）に対応する境界形状は、オブジェクト検出１１２の後に受信され得る。いくつかの実例では、境界形状は、境界形状の一部分を表すトリミングされた境界形状（たとえば、図２Ｂのトリミングされた境界形状２２２）でもよい。

【0050】

方法３００は、ブロックＢ３０４において、走行可能な自由空間を含むと決定された境界形状の少なくとも一部を表す自由空間データを受信することを含む。たとえば、走行可能な自由空間を含むと決定された境界形状の少なくとも一部を表す自由空間データは、自由空間検出１０６がセンサ・データ１０２で実行された後に、受信され得る。

【0051】

方法３００は、ブロックＢ３０６において、境界形状の一部を切り取って（ｃｒｏｐ ｏｕｔ）、境界形状内からオブジェクト・フェンスを生成することを含む。たとえば、オブジェクト・フェンス１１０は、自由空間決定１０６からの自由空間データを表すオブジェクト検出１０２からの境界形状の一部をトリミングして出すことによって、生成され得る。

【0052】

方法３００は、ブロックＢ３０８において、画像内の複数のレーン・ラインの位置を表すレーン・データを受信することを含む。たとえば、センサ・データ１０２及び／又はレーン・データ１２６内の複数のレーン・ラインの位置を表すレーン・データが、レーン検出１１２が実行された後に、受信され得る。

【0053】

方法３００は、ブロックＢ３１０において、レーン・データを使用してレーン・マスクを生成することを含む。たとえば、レーン・マスク１１６は、レーン検出１１２から受信されたレーン・データから生成され得る－たとえば、レーン三角形分割１１４を使用して。

【0054】

方法３００は、ブロックＢ３１２において、オブジェクト・フェンスと、レーン・マスクによって画定された１つ又は複数のレーンとの間の重複を決定することを含む。たとえば、オブジェクト・フェンス１１０とレーン・マスク１１６によって画定された１つ又は複数のレーンとの間の重複が、画素カウンティング１３２及び／又は境界スコアリング１３４を使用する重複決定１１０によって決定され得る。

【0055】

方法３００は、ブロックＢ３１４において、その重複に少なくとも部分的に基づいて１つ又は複数のレーンのうちの少なくとも１つにオブジェクトを割り当てることを含む。たとえば、レーン割り当て１２０は、レーン・マスク１１６からの１つ又は複数のレーンのうちの少なくとも１つにオブジェクトを割り当てるために使用され得る。

【0056】

図４を参照すると、図４は、本開示のいくつかの実施例による、フェンス生成アルゴリズムによって生成された車両のオブジェクト・フェンス４０４を示す。本明細書に記載のような、フェンス生成アルゴリズム１０８は、車両４０２のオブジェクト・フェンスを生成するために使用され得る。

【0057】

ここで図５を参照すると、本明細書に記載の方法５００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行することができる計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能な命令として実施され得る。方法は、少し例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって、提供され得る。加えて、方法５００が、実例として、図１の環境内のオブジェクトのレーン割り当てを決定するためのプロセスに関して、説明される。しかしながら、方法は、追加で又は別法として、本明細書に記載のものを含むがこれらに限定されない、任意の１個のシステム又はシステムの任意の組合せによって実施され得る。

【0058】

図５は、本開示のいくつかの実施例による、環境内のオブジェクトのレーン割り当てを決定するための方法００を示す流れ図である。方法５００は、ブロックＢ５０２において、オブジェクト・フェンス生成アルゴリズムに１つ又は複数のセンサによって生成されたセンサ・データを適用することを含む。たとえば、１つ又は複数のセンサによって生成されたセンサ・データ１０２は、フェンス生成アルゴリズム１０８に適用され得る。

【0059】

方法５００は、ブロックＢ５０４において、１つ又は複数のセンサのうちの少なくとも１つのセンサの知覚フィールド内のオブジェクトの世界空間オブジェクト・フェンスを、オブジェクト・フェンス・アルゴリズムを使用して、識別することを含む。たとえば、オブジェクト・フェンス・アルゴリズム１０８は、センサ・データ１０２がそこから受信される１つ又は複数のセンサのうちの少なくとも１つのセンサの知覚フィールド内のオブジェクトの世界空間においてオブジェクト・フェンス１１０を識別するために使用され得る。

【0060】

方法５００は、ブロックＢ５０６において、１つ又は複数のセンサのうちの少なくとも１つに対応するセンサ・パラメータに少なくとも部分的に基づいて世界空間オブジェクト・フェンスを画像空間オブジェクト・フェンスに変換することを含む。たとえば、フェンス生成アルゴリズム１０８は、１つ又は複数のセンサのうちの少なくとも１つに対応するセンサ・パラメータに少なくとも部分的に基づいて世界空間から画像空間にオブジェクト・フェンス１１０を変換するために使用され得る。

【0061】

方法５００は、ブロックＢ５０８において、センサ・データによって表される画像内の複数のレーン・ラインの位置を表すレーン・データを受信することを含む。たとえば、センサ・データ１０２によって表される画像内の複数のレーン・ラインの位置を表すレーン・データは、レーン検出１１２を介して受信され得る。

【0062】

方法５００は、ブロックＢ５１０において、レーン・データを使用してレーン・マスクを生成することを含む。たとえば、レーン・マスク１１６は、レーン検出１１２の後に受信されるレーン・データを使用して－たとえば、レーン三角形分割１１４を使用して－生成され得る。

【0063】

方法５００は、ブロックＢ５１２において、画像空間オブジェクト・フェンスと、レーン・マスクによって画定された１つ又は複数のレーンとの間の重複を決定することを含む。たとえば、オブジェクト・フェンス１１０とレーン・マスク１１６によって画定された１つ又は複数のレーンとの間の重複が、画素カウンティング１３２及び／又は境界スコアリング１３４を使用する重複決定１１０によって決定され得る。

【0064】

方法５００は、ブロックＢ５１４において、重複に少なくとも部分的に基づいて１つ又は複数のレーンのうちの少なくとも１つにオブジェクトを割り当てることを含む。たとえば、レーン割り当て１２０は、オブジェクトをレーン・マスク１１６内の１つ又は複数のレーンのうちの少なくとも１つに割り当てるために使用され得る。

【0065】

ここで、図６Ａ～６Ｅを参照すると、図６Ａ～６Ｅは、本開示のいくつかの実施例による、レーン・データを使用してレーン・マスクを生成するためのプロセスを示す。図６Ａは、レーン検出アルゴリズムによって生成されるものとしてのレーンを画定するポリポイントを示す。レーン検出アルゴリズムは、センサ・データ１０２からの入力画像内のレーン・ラインを検出することができる。レーン・ラインは、車両９００の走行表面上のレーンを画定するポリポイント６０２Ａ～６０２Ｈ及び６０４Ａ～６０４Ｆを含み得る。ポリポイントは、レーン・ラインに沿った点（たとえば、画素）でもよい。

【0066】

図６Ｂは、本開示のいくつかの実施例による、レーン検出アルゴリズムによって生成されるものとしてのレーンを画定するポリポイントを繋ぐポリラインを示す。レーン検出アルゴリズムは、それぞれ、各レーンのレーン・ライン上の隣接するポリポイント６０２Ａ～６０２Ｈ及び６０４Ａ～６０４Ｆを繋ぐことによって、ポリライン６２２Ａ～６２２Ｇ及び６２４Ａ～６２４Ｅを生成し得る。ポリラインは、車両９００の走行表面を表す画像においてレーン境界（たとえば、ライン）を表し得る。

【0067】

図６Ｃは、本開示のいくつかの実施例による、検出されたレーンで実行されてレーン・マスクを生成するレーン三角形分割を示す。三角形（たとえば、三角形６２０Ａ～６２０Ｌ、及び番号を付けられていない他のもの）は、レーン三角形分割１１４を使用する十字型の隣接するレーン境界のポリポイント６０４Ａ～６０４Ｚとレーン境界のポリポイント６０２Ａ～６０２Ｚを繋ぐことによって、生成され得る。各レーンは、レーンを画定するために、それぞれのレーン境界の間に三角形を生成することによって、レーン三角形分割を受け得る。

【0068】

図６Ｄは、本開示のいくつかの実施例による、レーン・データを使用して生成されたレーン・マスク６６０を示す。レーン・マスク６６０は、三角に分けられたレーン６６２、６６４、及び６６８を含み得る。各レーンは、異なる色を有するインデックスで表され得る。各レーン内の画素は、それぞれのレーン色の下でインデックスに記憶され得る。レーン・マスク６６０は、車両９００の走行表面上のレーンの一部又はすべてを表す。

【0069】

図６Ｅは、本開示のいくつかの実施例による、レーンを拡張するためにレーン・マスク６８０上で実行されるレーン拡張を示す。たとえば、レーン拡張１２２は、レーンの完全な又は使用可能な範囲が決定されない場合にレーン・マスク内の検出されたレーンを拡張するために使用され得る（レーン拡張６８２、６８４、６８６、及び６８８によって示されるように）。

【0070】

ここで図７Ａ～７Ｂを参照すると、図７Ａ～７Ｂは、本開示のいくつかの実施例による、レーン・マスク内のレーンとのオブジェクト・フェンスの重複を決定するためにオブジェクト・フェンスのために生成された頂点を示す。図７Ａは、オブジェクト・フェンスが特定のフレームに関して１つのレーン内にあるときにレーン・マスク内のレーンとのオブジェクト・フェンスの重複を決定するためにオブジェクト・フェンスのために生成された頂点を示す。オブジェクト・フェンス７０６は、画像内の車両７０４のオブジェクト・フェンス７０６の外周に沿った頂点（たとえば、画素）７０２Ａ、７０２Ｂ、７０２Ｃ、…、７０２Ｎによって表され得る。画素距離が、オブジェクト・フェンスとレーン・マスクのレーン７０８との間の重複を決定するために、オブジェクト・フェンス７０６の頂点７０２の間で決定され得る。たとえば、オブジェクトが単一のレーン内にある場合、各組の２つの外周画素の間の画素距離が、計算され、合計され、正規化されて、単一のレーンについて１／１になるであろうレーンごとの交点の比率を生み出す。

【0071】

図７Ｂは、本開示のいくつかの実施例による、オブジェクト・フェンスがレーン境界を横断するときにレーン・マスク内のレーンとのオブジェクト・フェンスの重複を決定するためにオブジェクト・フェンスのために生成された頂点を示す。車両７０４が２つ以上のレーン（たとえば、レーン７０８及び７１０）内にある場合、レーン境界を横断する１組の点、クロス・ポイント７２２Ａ及び７２２Ｂ、が、決定され得る。クロス・ポイント７２２が決定された後は、これらの新しい頂点は、次いで、本明細書に記載のように、新しい頂点と交差部のいずれかの側のオブジェクト・フェンスの互いの外周画素若しくは頂点との間の距離を決定するために使用され得る。

【0072】

ここで図８を参照すると、本明細書に記載の方法８００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。本方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ実行可能命令として実施され得る。本方法は、数例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型、若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって提供され得る。加えて、方法８００は、図１の環境内のオブジェクトのレーン割り当てを決定するためのプロセス１００に関して、実例として、説明されている。しかしながら、本方法は、本明細書に記載されているものを含むがこれに限定されない、任意の１つのシステム、又はシステムの任意の組合せによって、追加で又は代替的に実行され得る。

【0073】

図８は、本開示のいくつかの実施例による、環境内のオブジェクトと２つのレーンとの間の画素重複の比率を決定するための方法８００を示す流れ図である。方法８００は、ブロックＢ８０２において、オブジェクト・フェンスは第１のレーン及び第２のレーンのそれぞれと部分的に重複すると、オブジェクト・フェンスと第１のレーン及び第２のレーンを表すレーン・マスクとに少なくとも部分的に基づいて、決定することを含む。たとえば、重複決定１１８は、オブジェクト・フェンス１１０はレーン・マスク１１６内の少なくとも２つのレーンと重複すると決定し得る。

【0074】

方法８００は、ブロックＢ８０４において、第１のレーンと第２のレーンを分けるレーン・ラインによって区切られた、オブジェクト・フェンスの頂点に対応する、画素のペアを識別することを含む。たとえば、第１のレーン（たとえば、図７Ｂのレーン７０８）と第２のレーン（たとえば、図７Ｂのレーン７１０）を分けるレーン・ライン（たとえば、レーン境界）によって区切られたオブジェクト・フェンス（たとえば、オブジェクト・フェンス１１０、オブジェクト・フェンス７０６）の画素のペア（たとえば、図７Ｂの頂点７０２Ａ及び７０２Ｂ）が、重複決定１１８を介して識別され得る。

【0075】

方法８００は、ブロックＢ８０６において、ペアの画素間のレーン・ラインに対応する画素を決定することを含む。たとえば、ペアの画素（たとえば、図７Ｂの頂点７０２Ａ及び７０２Ｂ）間のレーン・ラインに対応する画素（たとえば、図７Ｂのクロス・ポイント７２２Ａ）が、境界スコアリング１３４によって決定され得る。

【0076】

方法８００は、ブロックＢ８０８において、その画素と第１のレーン内のオブジェクト・フェンスの第１の複数の頂点のそれぞれとの間の距離の第１の和と、その画素と第２のレーン内のオブジェクト・フェンスの第２の複数の頂点のそれぞれとの間の距離の第２の和とを計算することを含む。たとえば、境界スコアリング１３４は、その画素（たとえば、図７Ｂのクロス・ポイント７２２Ａ）と第１のレーン（たとえば、図７Ｂのレーン７０８）内のオブジェクト・フェンス（たとえば、オブジェクト・フェンス１１０、オブジェクト・フェンス７０６）の第１の複数の頂点のそれぞれとの間の距離の第１の和と、その画素と第２のレーン（たとえば、図７Ｂのレーン７１０）内のオブジェクト・フェンスの第２の複数の頂点のそれぞれとの間の距離の第２の和とを計算することができる。

【0077】

方法８００は、ブロックＢ８１０において、距離の第１の和に少なくとも部分的に基づく第１のレーン内のオブジェクト・フェンスの重複の第１の比率と距離の第２の和に少なくとも部分的に基づく第２のレーン内のオブジェクト・フェンスの重複の第２の比率とを決定することを含む。たとえば、境界スコアリング１３４は、距離の第１の和に少なくとも部分的に基づく第１のレーン（たとえば、図７Ｂのレーン７０８）内のオブジェクト・フェンス１１０（又は図７Ｂのオブジェクト・フェンス７０６）の重複の第１の比率と、距離の第２の和に少なくとも部分的に基づく第２のレーン（たとえば、図７Ｂのレーン７１０）内のオブジェクト・フェンスの重複の第２の比率とを決定することができる。

【0078】

方法８００は、ブロックＢ８１２において、重複の第１の比率及び重複の第２の比率に少なくとも部分的に基づいて少なくとも１つの動作を実行することを含む。たとえば、レーン割り当て１２０は、境界スコアリング１３４を介して決定されるような重複の第１の比率及び重複の第２の比率に基づいてレーンにオブジェクトを割り当てることができる。

【0079】

例示的自律型車両
図９Ａは、本開示のいくつかの実施例による、例示的自律型車両９００のイラストレーションである。自律車両９００（或いは、本明細書においては「車両９００」と称される）は、限定はしないが、自動車、トラック、バス、緊急対応車両、シャトル、電気又は原動機付自転車、バイク、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人又は複数の乗客を乗せた）などの乗用車を含み得る。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車９００は、自律運転レベルのレベル３～レベル５のうちの１個又は複数による機能の能力を有し得る。たとえば、移動車９００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。

【0080】

移動車９００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車９００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム９５０を含み得る。推進システム９５０は、移動車９００の推進力を有効にするために、トランスミッションを含み得る、移動車９００のドライブ・トレインに接続され得る。推進システム９５０は、スロットル／加速装置９５２からの信号の受信に応答して制御され得る。

【0081】

ハンドルを含み得る、ステアリング・システム９５４は、推進システム９５０が動作しているときに（たとえば、移動車が移動中のときに）移動車９００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム９５４は、ステアリング・アクチュエータ９５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。

【0082】

ブレーキ・センサ・システム９４６は、ブレーキ・アクチュエータ９４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。

【0083】

１個又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）９０４（図９Ｃ）及び／又はＧＰＵを含み得る、コントローラ９３６は、移動車９００の１個若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１個又は複数のブレーキ・アクチュエータ９４８を介して移動車ブレーキを動作させて、１個又は複数のステアリング・アクチュエータ９５６を介してステアリング・システム９５４を動作させて、１個又は複数のスロットル／加速装置９５２を介して推進システム９５０を動作させるために、信号を送ることができる。コントローラ９３６は、センサ信号を処理する、並びに自律的運転を可能にするために及び／又は運転者の移動車９００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１個又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ９３６は、自律運転機能のための第１のコントローラ９３６、機能的安全性機能のための第２のコントローラ９３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ９３６、インフォテインメント機能のための第４のコントローラ９３６、緊急状態における冗長性のための第５のコントローラ９３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ９３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ９３６が、単一の機能、及び／又はその任意の組合せを処理することができる。

【0084】

コントローラ９３６は、１個又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車９００の１個又は複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ９５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ９６０、超音波センサ９６２、ＬＩＤＡＲセンサ９６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ９６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン９９６、ステレオ・カメラ９６８、ワイドビュー・カメラ９７０（たとえば、魚眼カメラ）、赤外線カメラ９７２、サラウンド・カメラ９７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ９９８、スピード・センサ９４４（たとえば、移動車９００のスピードを測定するための）、振動センサ９４２、ステアリング・センサ９４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム９４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。

【0085】

コントローラ９３６のうちの１個又は複数のコントローラは、移動車９００の計器群９３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ９３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車９００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図９ＣのＨＤマップ９２２）、位置データ（たとえば、マップ上などの、移動車の９００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ９３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ９３４は、１個又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。

【0086】

移動車９００はさらに、１個又は複数のワイヤレス・アンテナ９２６及び／又はモデムを使用して１個又は複数のネットワークを介して通信することができるネットワーク・インターフェース９２４を含む。たとえば、ネットワーク・インターフェース９２４は、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ９２６はまた、ブルートゥース、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。

【0087】

図９Ｂは、本開示のいくつかの実施例による、図９Ａの例示的自律型車両９００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１個の例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車９００の異なる位置に置かれ得る。

【0088】

カメラのカメラ・タイプは、移動車９００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、９２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。

【0089】

いくつかの実例では、カメラのうちの１個又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１個又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。

【0090】

カメラのうちの１個又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。

【0091】

移動車９００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１個又は複数のコントローラ９３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

【0092】

様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ９７０でもよい。図９Ｂにはワイドビュー・カメラは１個だけ示されているが、移動車９００には任意の数のワイドビュー・カメラ９７０が存在し得る。加えて、長距離カメラ９９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ９９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。

【0093】

１個又は複数のステレオ・カメラ９６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ９６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ９６８は、２個のカメラ・レンズ（左と右に１個ずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ９６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。

【0094】

移動車９００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ９７４（たとえば、図９Ｂに示されるような４個のサラウンド・カメラ９７４）は、移動車９００上に位置付けられ得る。サラウンド・カメラ９７４は、ワイドビュー・カメラ９７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ９７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１個又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。

【0095】

移動車９００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ９９８、ステレオ・カメラ９６８）、赤外線カメラ９７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。

【0096】

図９Ｃは、本開示のいくつかの実施例による、図９Ａの例示的自律型車両９００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素は共に除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

【0097】

図９Ｃの移動車９００の構成要素、特徴、及びシステムのそれぞれは、バス９０２を介して接続されるものとして図示されている。バス９０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、移動車９００の様々な特徴及び機能の制御を助けるために使用される移動車９００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。

【0098】

バス９０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス９０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１個又は複数のＣＡＮバス、１個又は複数のＦｌｅｘＲａｙバス、１個又は複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１個若しくは複数の他のタイプのバスを含み得る、任意の数のバス９０２が存在し得る。いくつかの実例では、２個以上のバス９０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス９０２は衝突回避機能のために使用されてもよく、第２のバス９０２は作動制御のために使用されてもよい。任意の実例において、各バス９０２は、移動車９００の構成要素のいずれかと通信し得、２個以上のバス９０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ９０４、各コントローラ９３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車９００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。

【0099】

移動車９００は、図９Ａに関して本明細書で説明されるものなど、１個又は複数のコントローラ９３６を含み得る。コントローラ９３６は、様々な機能のために使用され得る。コントローラ９３６は、移動車９００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車９００、移動車９００の人工知能、移動車９００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。

【0100】

移動車９００は、システム・オン・チップ（ＳｏＣ）９０４を含み得る。ＳｏＣ９０４は、ＣＰＵ９０６、ＧＰＵ９０８、プロセッサ９１０、キャッシュ９１２、加速装置９１４、データ・ストア９１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ９０４は、様々なプラットフォーム及びシステム内の移動車９００を制御するために使用され得る。たとえば、ＳｏＣ９０４は、１個又は複数のサーバ（たとえば、図９Ｄのサーバ９７８）からネットワーク・インターフェース９２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ９２２を有するシステム（たとえば、移動車９００のシステム）において結合され得る。

【0101】

ＣＰＵ９０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ９０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ９０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ９０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ９０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ９０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。

【0102】

ＣＰＵ９０６は、以下の特徴のうちの１個又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ９０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。

【0103】

ＧＰＵ９０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ９０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ９０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ９０８は、１個又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ９０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ９０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ９０８は、１個又は複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。

【0104】

ＧＰＵ９０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ９０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ９０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。

【0105】

ＧＰＵ９０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。

【0106】

ＧＰＵ９０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ９０８がＣＰＵ９０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ９０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ９０６に送信され得る。応答して、ＣＰＵ９０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ９０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ９０６とＧＰＵ９０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ９０８へのアプリケーションのＧＰＵ９０８プログラミング及び移植を単純化する。

【0107】

加えて、ＧＰＵ９０８は、他のプロセッサのメモリへのＧＰＵ９０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。

【0108】

ＳｏＣ９０４は、本明細書に記載のものを含む任意の数のキャッシュ９１２を含み得る。たとえば、キャッシュ９１２は、ＣＰＵ９０６とＧＰＵ９０８との両方に利用可能な（たとえば、ＣＰＵ９０６とＧＰＵ９０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ９１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。

【0109】

ＳｏＣ９０４は、１個又は複数の加速装置９１４（たとえば、ハードウェア加速装置、ソフトウェア加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ９０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ９０８を補完するために及びＧＰＵ９０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ９０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置９１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。

【0110】

加速装置９１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１個又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。

【0111】

ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。

【0112】

ＤＬＡは、ＧＰＵ９０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ９０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ９０８及び／又は他の加速装置９１４に任せることができる。

【0113】

加速装置９１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。

【0114】

ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１個又は複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリデバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。

【0115】

ＤＭＡは、ＣＰＵ９０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。

【0116】

ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。

【0117】

それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。

【0118】

加速装置９１４（たとえば、ハードウェア加速クラスタ）は、加速装置９１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

【0119】

コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャンネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。

【0120】

いくつかの実例では、ＳｏＣ９０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。

【0121】

加速装置９１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。

【0122】

たとえば、本技術の１個の実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。

【0123】

いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。

【0124】

ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ９６４又はＲＡＤＡＲセンサ９６０）から取得された物体の移動車９００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ９６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。

【0125】

ＳｏＣ９０４は、データ・ストア９１６（たとえば、メモリ）を含み得る。データ・ストア９１６は、ＳｏＣ９０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア９１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア９１２は、Ｌ２又はＬ３キャッシュ９１２を備え得る。データ・ストア９１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置９１４に関連するメモリの参照を含み得る。

【0126】

ＳｏＣ９０４は、１個又は複数のプロセッサ９１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ９１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ９０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ９０４熱及び温度センサの管理、及び／又はＳｏＣ９０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ９０４は、リング発振器を使用してＣＰＵ９０６、ＧＰＵ９０８、及び／又は加速装置９１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ９０４をより低い電力状態に置く及び／又は移動車９００をショーファーの安全停止モードにする（たとえば、移動車９００を安全停止させる）ことができる。

【0127】

プロセッサ９１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャンネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。

【0128】

プロセッサ９１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。

【0129】

プロセッサ９１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。

【0130】

プロセッサ９１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。

【0131】

プロセッサ９１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。

【0132】

プロセッサ９１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ９７０で、サラウンド・カメラ９７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。

【0133】

ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。

【0134】

ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ９０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ９０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ９０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。

【0135】

ＳｏＣ９０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ９０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。

【0136】

ＳｏＣ９０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ９０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ９６４、ＲＡＤＡＲセンサ９６０など）、バス９０２からのデータ（たとえば、移動車９００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ９５８からのデータを処理するために使用され得る。ＳｏＣ９０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ９０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

【0137】

ＳｏＣ９０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ９０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置９１４が、ＣＰＵ９０６と結合されるとき、ＧＰＵ９０８、及びデータ・ストア９１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。

【0138】

したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。

【0139】

従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ９２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。

【0140】

別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ９０８上などで、同時に実行することができる。

【0141】

いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車９００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ９０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。

【0142】

別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン９９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ９０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ９５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ９６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。

【0143】

移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ９０４に連結され得るＣＰＵ９１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ９１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ９１８は、たとえば、ＡＤＡＳセンサとＳｏＣ９０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ９３６及び／又はインフォテインメントＳｏＣ９３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。

【0144】

移動車９００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ９０４に連結され得るＧＰＵ９２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ９２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車９００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。

【0145】

移動車９００は、１個又は複数のワイヤレス・アンテナ９２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１個又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース９２４をさらに含み得る。ネットワーク・インターフェース９２４は、インターネットを介するクラウドとの（たとえば、サーバ９７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車９００に近接する移動車（たとえば、移動車９００の前の、横の、及び／又は後ろの移動車）に関する移動車９００情報を提供することができる。この機能は、移動車９００の共同適応クルーズ制御機能の一部でもよい。

【0146】

ネットワーク・インターフェース９２４は、変調及び復調機能を提供する及びコントローラ９３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース９２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。

【0147】

移動車９００は、チップ外の（たとえば、ＳｏＣ９０４外の）ストレージを含み得るデータ・ストア９２８をさらに含み得る。データ・ストア９２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１個又は複数の記憶素子を含み得る。

【0148】

移動車９００は、ＧＮＳＳセンサ９５８をさらに含み得る。マッピング、知覚、占有グリッド生成、及び／又は進路計画立案機能を支援するための、ＧＮＳＳセンサ９５８（たとえば、ＧＰＳ及び／又は補助装置付きＧＰＳセンサ）。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ９５８が、使用され得る。

【0149】

移動車９００は、ＲＡＤＡＲセンサ９６０をさらに含み得る。ＲＡＤＡＲセンサ９６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車９００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ９６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ９６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス９０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ９６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。

【0150】

ＲＡＤＡＲセンサ９６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ９６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車９００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車９００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。

【0151】

一実例として、中距離ＲＡＤＡＲシステムは、９６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は９５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。

【0152】

短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。

【0153】

移動車９００は、超音波センサ９６２をさらに含み得る。移動車９００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ９６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ９６２が使用され得、異なる超音波センサ９６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ９６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。

【0154】

移動車９００はＬＩＤＡＲセンサ９６４を含み得る。ＬＩＤＡＲセンサ９６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ９６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、移動車９００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ９６４を含み得る。

【0155】

いくつかの実例では、ＬＩＤＡＲセンサ９６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ９６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、９００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約９００ｍの広告された範囲を有し得る。いくつかの実例では、１個又は複数の非突出しＬＩＤＡＲセンサ９６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ９６４は、移動車９００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ９６４は、低反射物体についても２００ｍの範囲を有し、９２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ９６４は、４５度と１３５度との間の水平視野向けに構成され得る。

【0156】

いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車９００の各側面に１個ずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ９６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

【0157】

移動車は、ＩＭＵセンサ９６６をさらに含み得る。一部の実例では、ＩＭＵセンサ９６６は、移動車９００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ９６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ９６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ９６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。

【0158】

一部の実施例では、ＩＭＵセンサ９６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ９６６は、ＧＰＳからＩＭＵセンサ９６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車９００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ９６６及びＧＮＳＳセンサ９５８は、単一の統合されたユニットにおいて結合され得る。

【0159】

移動車は、移動車９００内及び／又は周囲に置かれたマイクロフォン９９６を含み得る。マイクロフォン９９６は、中でも、緊急車両検出及び識別のために使用され得る。

【0160】

移動車は、ステレオ・カメラ９６８、ワイドビュー・カメラ９７０、赤外線カメラ９７２、サラウンド・カメラ９７４、長距離及び／又は中距離カメラ９９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車９００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車９００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車９００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図９Ａ及び図９Ｂに関連して本明細書においてさらに詳しく説明される。

【0161】

移動車９００は、振動センサ９４２をさらに含み得る。振動センサ９４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ９４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。

【0162】

移動車９００は、ＡＤＡＳシステム９３８を含み得る。一部の実例では、ＡＤＡＳシステム９３８は、ＳｏＣを含み得る。ＡＤＡＳシステム９３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。

【0163】

ＡＣＣシステムは、ＲＡＤＡＲセンサ９６０、ＬＩＤＡＲセンサ９６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車９００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車９００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

【0164】

ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース９２４及び／又はワイヤレス・アンテナ９２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車９００と同じレーン内にある、移動車９００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車９００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。

【0165】

運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ９６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。

【0166】

ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ９６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。

【0167】

ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車９００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。

【0168】

ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車９００が車線をはみ出し始めた場合に移動車９００を修正するためにステアリング入力又はブレーキを提供する。

【0169】

ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。本システムは、運転者が方向指示器を使用するときに追加の警報を提供することができる。ＢＳＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ９６０を使用することができる。

【0170】

ＲＣＴＷシステムは、移動車９００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、移動車ブレーキが衝突を回避するために適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、１個又は複数の後ろを向いたＲＡＤＡＲセンサ９６０を使用することができる。

【0171】

従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両９００では、結果が矛盾する場合には、移動車９００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ９３６又は第２のコントローラ９３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム９３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム９３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。

【0172】

いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。

【0173】

監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１個を含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ９０４の構成要素を備え得る、及び／又はＳｏＣ９０４の構成要素として含まれ得る。

【0174】

他の実例において、ＡＤＡＳシステム９３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。

【0175】

いくつかの実例では、ＡＤＡＳシステム９３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム９３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。

【0176】

移動車９００は、インフォテインメントＳｏＣ９３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ９３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ９３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ９３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ９３０は、ＡＤＡＳシステム９３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。

【0177】

インフォテインメントＳｏＣ９３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ９３０は、バス９０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車９００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ９３６（たとえば、移動車９００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ９３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ９３０は、本明細書に記載のように、移動車９００をショーファーの安全停止モードにすることができる。

【0178】

移動車９００は、計器群９３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群９３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群９３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ９３０及び計器群９３２の間で表示及び／又は共有され得る。言い換えれば、計器群９３２は、インフォテインメントＳｏＣ９３０の一部として含まれてもよく、逆もまた同様である。

【0179】

図９Ｄは、本開示のいくつかの実施例による、図９Ａのクラウドベースのサーバと例示的自律型車両９００との間の通信のシステム図である。システム９７６は、サーバ９７８、ネットワーク９９０、及び、移動車９００を含む移動車を含み得る。サーバ９７８は、複数のＧＰＵ９８４（Ａ）～９８４（Ｈ）（本明細書でＧＰＵ９８４と総称される）、ＰＣＩｅスイッチ９８２（Ａ）～９８２（Ｈ）（本明細書でＰＣＩｅスイッチ９８２と総称される）、及び／又はＣＰＵ９８０（Ａ）～９８０（Ｂ）（本明細書でＣＰＵ９８０と総称される）を含み得る。ＧＰＵ９８４、ＣＰＵ９８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬＩＮＫインターフェース９８８及び／又はＰＣＩｅ接続９８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ９８４は、ＮＶＬＩＮＫ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ９８４及びＰＣＩｅスイッチ９８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ９８４、２個のＣＰＵ９８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ９７８は、任意の数のＧＰＵ９８４、ＣＰＵ９８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ９７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ９８４を含み得る。

【0180】

サーバ９７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク９９０を介して、移動車から、受信することができる。サーバ９７８は、ニューラル・ネットワーク９９２、更新されたニューラル・ネットワーク９９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報９９４をネットワーク９９０を介して移動車に送信することができる。マップ情報９９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ９２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク９９２、更新されたニューラル・ネットワーク９９２、及び／又はマップ情報９９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ９７８及び／又は他のサーバを使用する）データセンタにおいて実行されたトレーニングに基づいて、生じた可能性がある。

【0181】

サーバ９７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク９９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ９７８によって使用され得る。

【0182】

いくつかの実例では、サーバ９７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ９７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ９８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ９７８は、ＣＰＵ電源式データセンタのみを使用する深層学習インフラストラクチャを含み得る。

【0183】

サーバ９７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車９００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車９００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車９００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車９００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車９００内のＡＩは正常に機能していないという結論を下した場合、サーバ９７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車９００のフェイルセーフ・コンピュータに命じる移動車９００への信号を送信することができる。

【0184】

推論のために、サーバ９７８は、ＧＰＵ９８４及び１個又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。

【0185】

例示的計算デバイス
図１０は、本開示のいくつかの実施例の実装に使用するのに適した例示的計算デバイス１０００のブロック図である。計算デバイス１０００は、以下のデバイスを間接的に又は直接的につなぐバス１００２を含み得る：メモリ１００４、１個又は複数の中央処理装置（ＣＰＵ）１００６、１個又は複数のグラフィック処理ユニット（ＧＰＵ）１００８、通信インターフェース１０１０、入力／出力（Ｉ／Ｏ）ポート１０１２、入力／出力構成要素１０１４、電力供給装置１０１６、及び１個又は複数の提示構成要素１０１８（たとえば、ディスプレイ）。

【0186】

図１０の様々なブロックは、線でバス１００２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素１０１８は、Ｉ／Ｏ構成要素１０１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ１００６及び／又はＧＰＵ１００８はメモリを含み得る（たとえば、メモリ１００４は、ＧＰＵ１００８、ＣＰＵ１００６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図１０の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図１０の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。

【0187】

バス１００２は、アドレス・バス、データ・バス、制御バス、又はその組合せなど、１個又は複数のバスを表し得る。バス１００２は、ＩＳＡ（ｉｎｄｕｓｔｒｉａｌ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｉａｌ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄ ａｓｓｏｃｉａｔｉｏｎ）バス、ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒ ｃｏｎｎｅｃｔ）バス、ＰＣＩｅ（ＰＣＩ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバスなど、１個又は複数のバス・タイプを含み得る。

【0188】

メモリ１００４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス１０００によってアクセスし得る任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。

【0189】

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ１００４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス１０００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。

【0190】

通信媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１個又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、通信媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

【0191】

ＣＰＵ１００６は、コンピュータ可読命令を実行して計算デバイス１０００の１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。ＣＰＵ１００６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１個又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ１００６は、任意のタイプのプロセッサを含み得、実装された計算デバイス１０００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス１０００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡＲＭプロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス１０００は、計算コプロセッサなど、１個又は複数のマイクロプロセッサ又は補助コプロセッサ内の１個又は複数のＣＰＵ１００６を含み得る。

【0192】

ＧＰＵ１００８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングするために、計算デバイス１０００によって使用され得る。ＧＰＵ１００８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ１００８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ１００６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ１００８は、画素データを記憶するための、ディスプレイ・メモリなどの、グラフィックス・メモリを含み得る。ディスプレイ・メモリは、メモリ１００４の一部として含まれ得る。ＧＰＵ７０８は、（たとえば、リンクを介して）並行して動作する２個以上のＧＰＵを含み得る。結合されると、各ＧＰＵ１００８は、出力画像の異なる部分の又は異なる出力画像の画素データを（たとえば、第１のＧＰＵは第１の画像のために及び第２のＧＰＵは第２の画像のために）生成し得る。各ＧＰＵは、独自のメモリを含み得、他のＧＰＵとメモリを共用し得る。

【0193】

計算デバイス１０００がＧＰＵ１００８を含まない実例において、ＣＰＵ１００６は、グラフィックスをレンダリングするために使用され得る。

【0194】

通信インターフェース１０１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス７００が他の計算デバイスと通信することを可能にする、１個又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース１０１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。

【0195】

Ｉ／Ｏポート１０１２は、そのうちのいくつかは計算デバイス１０００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素１０１４、提示構成要素１０１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス１０００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素１０１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素１０１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス１０００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス１０００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス１０００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス１０００によって使用され得る。

【0196】

電力供給装置１０１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置１０１６は、計算デバイス１０００の構成要素が動作することを可能にするために計算デバイス１０００に電力を提供することができる。

【0197】

提示構成要素１０１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素１０１８は、他の構成要素（たとえば、ＧＰＵ１００８、ＣＰＵ１００６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。

【0198】

本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。

【0199】

本明細書では、２個以上の要素に関する「及び／又は」の記述は、１個の要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１個」は、要素Ａの少なくとも１個、要素Ｂの少なくとも１個、或いは、要素Ａの少なくとも１個及び要素Ｂの少なくとも１個を含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つと要素Ｂのうちの少なくとも１つ、を含み得る。

【0200】

本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図10】