特許 7604402 画像からの奥行の精緻化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】画像からの奥行の精緻化

(51)【国際特許分類】

   G06T 7/50 20170101AFI20241216BHJP

   G06T 7/00 20170101ALI20241216BHJP

   G06T 7/70 20170101ALI20241216BHJP

   G08G 1/16 20060101ALI20241216BHJP

   B60W 40/02 20060101ALI20241216BHJP

   B60W 60/00 20200101ALI20241216BHJP

【ＦＩ】

G06T7/50

G06T7/00 350C

G06T7/70 A

G08G1/16 C

B60W40/02

B60W60/00

【請求項の数】 15

(21)【出願番号】P 2021574983

(86)(22)【出願日】2020-06-25

(65)【公表番号】

(43)【公表日】2022-09-05

(86)【国際出願番号】 US2020039633

(87)【国際公開番号】W WO2020264168

(87)【国際公開日】2020-12-30

【審査請求日】2023-06-26

(31)【優先権主張番号】16/452,304

(32)【優先日】2019-06-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】プラヴィーン スリニヴァサン

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２４３０７０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００５６４９８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０３５０９３０（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０２３３２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ４０／０２

Ｂ６０Ｗ ６０／００

(57)【特許請求の範囲】

【請求項1】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数のコンピュータ可読媒体と、を備え、前記命令が、実行されると、システムに、
車両のセンサによってキャプチャされた画像に表されるオブジェクトの第１の奥行を決定することと、
前記オブジェクトに関連付けられた前記画像の少なくとも一部を機械学習モデルへ入力することと、
前記機械学習モデルから、前記オブジェクトに近接する環境属性を示す出力を受信することと、
前記機械学習モデルから受信した前記環境属性を示す前記出力および前記環境属性に関連付けられたマップデータに少なくとも部分的に基づいて、前記オブジェクトの第２の奥行を決定することと、
前記第１の奥行および前記第２の奥行に少なくとも部分的に基づいて、前記オブジェクトの精緻化された奥行を決定することと、
を含む操作を実行させる、システム。

【請求項2】

前記操作が、前記オブジェクトの前記精緻化された奥行に少なくとも部分的に基づいて、環境を走行するように前記車両を制御することをさらに含む、請求項１に記載のシステム。

【請求項3】

前記第１の奥行が第１の分布に少なくとも部分的に基づき、前記第２の奥行が第２の分布に少なくとも部分的に基づく、請求項１に記載のシステム。

【請求項4】

前記操作が、前記第１の分布および前記第２の分布を組み合わせて、前記オブジェクトの奥行に関連付けられたマルチモーダル分布にすることと、
前記奥行に関連付けられた前記マルチモーダル分布を３次元の位置にマッピングすることと、
をさらに含む、請求項３に記載のシステム。

【請求項5】

前記操作が、
前記第１の分布および前記第２の分布を組み合わせてマルチモーダル分布にすることと、
前記マルチモーダル分布に少なくとも部分的に基づいて、最尤奥行推定を決定することと、
をさらに含む、請求項３または請求項４に記載のシステム。

【請求項6】

前記オブジェクトの前記第１の奥行が、前記画像からの単眼の奥行推定に少なくとも部分的に基づく、請求項１から請求項５のいずれか１項に記載のシステム。

【請求項7】

前記操作が前記環境属性に対する前記オブジェクトの位置を決定することをさらに含み、前記環境属性に対する前記オブジェクトの前記位置を決定することは、前記オブジェクトの前記第１の奥行に関連付けられた不正確性を決定することに基づく、請求項１から請求項６のいずれか１項に記載のシステム。

【請求項8】

環境内のオブジェクトを示す画像を受信することと
前記画像に少なくとも部分的に基づいて、前記オブジェクトまでの第１の距離を決定することと、
前記オブジェクトに関連付けられた前記画像の少なくとも一部を機械学習モデルへ入力することと、
前記機械学習モデルから、前記オブジェクトに近接する環境属性を示す出力を受信することと、
前記出力および前記環境属性に関連付けられたマップデータに少なくとも部分的に基づいて、前記オブジェクトまでの第２の距離を決定することと、
前記第１の距離および前記第２の距離に少なくとも部分的に基づいて、前記オブジェクトの精緻化された距離を決定することと、
を含む、方法。

【請求項9】

前記オブジェクトの前記第１の距離は、前記画像からの単眼の奥行推定に少なくとも部分的に基づく、請求項８に記載の方法。

【請求項10】

前記オブジェクトまでの前記第１の距離を決定することは、
画像から前記環境の表面の奥行を予測するように訓練されたニューラルネットワークに前記画像を入力することと、
前記画像のピクセルに対応する前記表面の予測された奥行を受信することと、
を含み、
前記第１の距離が、前記画像に示された前記オブジェクトに関連付けられた前記予測された奥行の１つの予測された奥行に少なくとも部分的に基づいている、
請求項８または請求項９に記載の方法。

【請求項11】

前記環境属性に対する前記オブジェクトの位置を決定することをさらに含み、前記第２の距離を決定することがさらに、前記環境属性に対する前記オブジェクトの前記位置に基づく、請求項８から請求項１０のいずれか１項に記載の方法。

【請求項12】

前記オブジェクトが第１の車両であり、前記機械学習モデルは、環境属性を
前記オブジェクトまでの前記距離が決定される第２の車両に対する対向車線である第１の車線、
前記第２の車両と前記第１の車両が共有する第２の車線、
前記第２の車両と同じ方向に走行し、前記第２の車線とは異なる第３の車線、
駐車場、または
車道、
の１つまたは複数に分類するように訓練された分類子を含む、請求項８から請求項１１のいずれか１項に記載の方法。

【請求項13】

前記オブジェクトが歩行者であり、前記機械学習モデルは、環境属性を
車両の進行方向に平行な第１の歩道、
前記車両の前記進行方向に垂直な第２の歩道、
コーナー、
横断歩道、または
車線、
の１つまたは複数に分類するように訓練された分類子を含む、請求項８から請求項１２のいずれか１項に記載の方法。

【請求項14】

前記オブジェクトが二輪車であり、前記機械学習モデルは、環境属性を
自転車専用レーン、
コーナー、
歩道、または
車線、
の１つまたは複数に分類するように訓練された分類子を含む、請求項８から請求項１３のいずれか１項に記載の方法。

【請求項15】

コンピュータ上で実行されると、請求項８から請求項１４のいずれか１項に記載の方法を実施する命令を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
この出願は、２０１９年６月２５日に出願された「画像からの奥行の精緻化」と題された米国特許出願第１６／４５２，３０４号の優先権を主張し、その全内容は参照により本明細書に組み込まれる。

【背景技術】

【0002】

様々な方法、装置、システムが、複数の静的および動的オブジェクトを含む環境を通じて、自律車両を誘導するために利用される。例えば、自律車両は、ルートプランニング方法、装置、およびシステムを利用して、他の移動および静止している車両（自律またはそれ以外）、人々、建物、およびその他のオブジェクトなどを有する過密エリアを通じて、自律車両を誘導する。いくつかの例では、自律車両は、環境を走行する間、乗客および周囲の人およびオブジェクトの安全を確実にするための決定を行い得る。様々なセンサを使用して、周囲の環境内のオブジェクトに関する情報を収集し得、これは、どのように環境を走行するかの決定を行うために、自律車両によって使用され得る。環境内のオブジェクトの奥行（例えば、自律車両からのオブジェクトの距離）を正確に予測することは、場合によっては、課題であり得る。

【図面の簡単な説明】

【0003】

詳細な説明は添付の図面を参照して説明される。図面において、参照番号の左端の数字は参照番号が最初に現れる図を特定している。異なる図面における同じ参照番号の使用は、本開示の例による、類似または同一の項目もしくは機能を示す。

【0004】

【図1】図１は、本開示の例による、環境属性を使用して車両からのオブジェクトの奥行推定を精緻化する図解付きのフローチャートである。

【図2】図２は、本開示の例による、車両が奥行推定を決定および精緻化し得る環境内で検出されたオブジェクトの図解である。

【図3】図３は、本開示の例による、図２に示される環境内のオブジェクトを含む３次元点群、および環境内のオブジェクトの奥行推定の図解である。

【図4】図４は、本開示の例による、環境属性の位置をさらに示す、図３の３次元点群の図解である。

【図5】図５は、本開示の例による、環境属性の位置に基づくオブジェクトの精緻化された奥行推定をさらに示している、図３の３次元点群の図解である。

【図6】図６は、本開示の例による、オブジェクトの奥行推定を更新するために使用される環境属性を識別する機械学習モデルの使用の図解である。

【図7】図７は、本明細書で説明される技術を実装するための例示的なシステムのブロック図を示す。

【図8】図８は、本開示の例による、機械学習モデルを使用して環境属性を識別し、マップデータから環境属性の位置を決定し、環境属性の位置を使用して車両からのオブジェクトの奥行の決定を精緻化するための例示的なプロセスを示す。

【発明を実施するための形態】

【0005】

この開示は、環境内の１つまたは複数の他の属性を考慮に入れることによって、環境内のオブジェクトの奥行を正確に決定するための技術に関する。いくつかの例では、技術は、オブジェクトに近接する環境属性の位置を使用して、１つまたは複数のセンサ（例えば、車両、自律車両の）によってなされたオブジェクトの初期の奥行推定を精緻化することを含むことができる。いくつかの例では、環境属性は、通常、環境内の同じ場所に残る特徴であり、ここで、環境属性の場所は既知である（例えば、環境のマップデータに格納された）。環境属性の例は、例えば、歩道、横断歩道、自転車専用車線、運転可能な表面の車線マーカー、標識、フェンス、草、またはその他のグランドカバー材料などの特徴を含み得る。

【0006】

環境属性に近接するオブジェクトのキャプチャされた画像を解析して、オブジェクトが環境属性に対してどこに位置しているか（例えば、上、後ろ、前、隣など）を決定し得る。次に、環境属性に対するオブジェクトの位置を使用して、例えば、画像の個々のピクセルに対応する単眼の奥行推定（例えば、機械学習モデルを使用した）によって決定されるオブジェクトの奥行推定を精緻化し得る。いくつかのケースでは、単一の画像から生成されたデータを使用してなされたオブジェクトの奥行推定は、画像をキャプチャしたカメラから離れるほど測定精度が低下する（不確実性が高まる）など、さまざまな理由で不正確性を有し得る。わずかな奥行の不正確さ（例えば、数インチまたはセンチメートル）さえ、歩道または通りにいる歩行者、金網フェンスの前方または後方にいる子供、自転車専用車線または車線にいる自転車等の間の差となり得る。したがって、奥行推定を精緻化するための追加のメカニズム、環境属性を使用する本明細書に記載されている技術などの、さまざまな異なるシナリオにおいて自律車両の安全性を向上する。

【0007】

自律車両によってキャプチャされたセンサデータは、個々の画像、ビデオなどの、カメラセンサによってキャプチャされたデータ、ならびに、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、飛行時間センサ（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｓｅｎｓｏｒｓ）、ｓｏｎａｒセンサなどの他のセンサによってキャプチャされたデータ、を含むことができる。いくつかのケースでは、センサデータを、環境内のオブジェクトのタイプ（例えば、車両、歩行者、自転車、オートバイ、動物、駐車中の車、樹木、建物など）を決定または分類するように構成された知覚システムに提供できる。さらに、いくつかの例では、画像などのセンサデータを使用して、車両の周囲の環境内のオブジェクトの奥行、例えば、車両から環境内の様々なオブジェクトまでの距離を決定し得る。

【0008】

センサデータは、自律車両が環境を走行するときに自律車両によってキャプチャされ得る。いくつかの例では、自律車両は、他のセンサの中でも、周囲環境の画像（例えば、個々の画像および／またはビデオ）をキャプチャするように構成された１つまたは複数のカメラを含み得る。１つまたは複数のカメラによってキャプチャされた画像を解析して、車両の他のセンサによるオブジェクトの検出とは独立して、またはそれと組み合わせて、オブジェクトを検出し得る。検出されると、いくつかの例では、画像は、例えば、個々のオブジェクトを囲むサイズ（センチメートル、ピクセルなど）に基づいて、オブジェクトを囲むバウンディングボックスに基づいて、オブジェクトの周囲の関心領域にトリミングされ得る。カメラによってキャプチャされた画像内で検出されたオブジェクトは、歩行者、自転車、車両などの動的オブジェクトであり得、一般に、環境のマップデータに組み込まれるほど長く静止し続けない。いくつかの例では、自律車両からのオブジェクトの初期の奥行予測は、オブジェクトの画像を、画像の個々のピクセルで示されるまたは表現される表面の奥行を予測するように訓練された、ディープニューラルネットワークなどの機械学習モデルに入力することによって決定され得る。代替的または追加的に、１つまたは複数のモダリティからのセンサデータを、カルマンフィルターおよび／またはディープニューラルネットワークなどの、データ融合技術を使用して組み合わせ、自律車両からのオブジェクトの初期の奥行予測を決定し得る。しかしながら、画像に示された表面からの初期の奥行予測の決定が省略され得る例が考慮され、奥行推定は、以下に説明されるように、オブジェクトの位置と環境属性との比較に基づき得る。代替的または追加的に、単一の機械学習モデルは、いくつかの例では、単一の操作において、画像に示される両方の表面からの単一の奥行推定を、環境属性に対するオブジェクトの相対位置とともに決定するように構成され得る。

【0009】

自律車両の属性識別子コンポーネントは、画像に示されている（および／または画像のトリミングされた部分に示されている）オブジェクトに近接する環境属性を決定し得る。属性識別子コンポーネントは、いくつかのケースでは、画像を意味的にセグメント化し、環境属性のラベルに関連付けられている画像のピクセルにラベルを付けることによって、環境属性を決定し得る。環境属性は、画像に示されているように環境属性がオブジェクトと交差する場合、または閾値距離内（例えば、数ピクセル、数センチメートルなど）にある場合、オブジェクトに「近接」していると見なされ得る。いくつかのケースでは、機械学習モデルを訓練して、機械学習モデルに入力された画像に示されている歩道、横断歩道、自転車レーン、フェンスなどの環境属性を分類し得る。例えば、機械学習モデルは、画像に示されているオブジェクトに近接する環境属性を出力し得る、および／または環境属性に対するオブジェクトの相対位置（例えば、上、後ろ、前、隣など）を提供し得る。環境属性に対するオブジェクトの相対位置は、ベクトル、座標、または機械学習モデルによって出力されたときにエンティティ間の相対位置を伝達するその他のメカニズムとして表され得る。

【0010】

自律車両の位置決定コンポーネントは、マップデータから環境属性の位置を決定し得る。いくつかの例では、位置決定コンポーネントは、道路、歩道、建物、標識、横断歩道などの様々な環境属性を含む１つまたは複数のマップへのアクセスを有し得る。位置決定コンポーネントは、機械学習モデルから受信した環境属性を、マップデータに含まれる環境属性に関連付け得る。いくつかの例では、位置決定コンポーネントは、マップデータ内の環境属性の位置に基づいて、オブジェクトの位置の確率を決定し得る。例えば、位置決定コンポーネントは、自転車（例えば、オブジェクト）が車線マーカー（例えば、環境属性）の後ろにあるという機械学習モデルからの表示を受信し得る。マップ上の車線マーカーの位置に基づいて、位置決定コンポーネントは、自転車が車両に対してレーンマーカーの後ろの自転車レーン内におり、車両に対してレーンマーカーの前の車線ないではないことを決定し得る。

【0011】

例では、位置決定コンポーネントは、例えば、環境属性に関連する、オブジェクトの位置の確率に基づいて、オブジェクトの奥行推定を精緻化する。例えば、車両は、車両の既知の位置（例えば、同時位置測定およびマッピング（ＳＬＡＭ）などのシステムから決定される）、およびマップデータからの環境属性の位置を利用して、オブジェクトの奥行推定を更新し得る。上記の例を続けると、車両は、３次元の点群を使用して車両からの表面の奥行を予測し、９メートルの自転車の初期の奥行推定を決定し得る。車両がレーンマーカーの環境属性を車両から９．５メートルの距離であると決定した場合、車両は、自転車がレーンマーカーの後ろにあることを認識して、自転車の奥行推定を車両から１０メートルに精緻化し得る。

【0012】

本明細書で説明される技術は、いくつかの手法でコンピューティングデバイスの機能を改善できる。上記のように、属性識別子コンポーネントは、わずかな単一の画像（または単一の画像のトリミングされた部分）を使用して、車両の周囲の環境内のオブジェクトの信頼可能な奥行推定を行い得る。その結果、オブジェクトの奥行を決定するための、複数のカメラおよび／または他のセンサによってキャプチャされた画像に適用される複雑な画像解析アルゴリズムを必要とする従来の技術と比較して、使用される処理リソースが大幅に少なくなる。奥行決定は単一のカメラからの画像から行うことができるため、位置決定コンポーネントは、複数のカメラからの画像が必要な場合に可能であるよりも、環境内のより多くのオブジェクトの奥行を決定し得る。いくつかのケースでは、上記説明されたように、説明された手法は他の奥行測定メカニズムよりも正確である。例えば、単眼画像からの奥行推定は範囲が制限され、画像のキャプチャに使用されるカメラから表面が離れるにつれて精度が低下し得る。これらの推定は、本明細書で説明されるように、オブジェクトに近接する環境属性の既知の位置へのオブジェクトの相対的な位置に基づいて、オブジェクトの初期の奥行推定を精緻化することで改善され得る。データ融合を利用してオブジェクトの奥行を推定する例では、初期の奥行推定および精緻化された奥行推定を、奥行を推定するための制約および／またはコストとして使用し得る。画像データから決定されたオブジェクトの奥行に部分的に基づいて車両を制御することにより、車両の安全性をオブジェクトの奥行をより速くおよびより早く決定することによって改善することができ、したがって車両がより早く軌道決定を行うことを可能にする。加えて、説明したように、画像からオブジェクトの奥行を決定することに部分的に基づいて車両を制御することは処理リソースを削減でき、奥行の決定中に一度に処理リソースによって評価される画像はわずか１枚である。さらに、環境属性を使用して画像からオブジェクトの奥行を決定することに部分的に基づいて車両を制御するための技術は、車両がより早くより正確に奥行を決定することによって対向車および／または歩行者との衝突を回避できる信頼性を高めることができ、これは、安全性の結果、パフォーマンス、および／または精度を向上し得る。コンピュータの機能に対するこれらおよびその他の改善を本明細書で説明する。

【0013】

本明細書で説明される技術を、いくつかのやり方で実装できる。以下、図を参照しながら例示の実施形態を提示する。自律車両のコンテキストで説明されるが、本明細書で説明される方法、装置、およびシステムは、様々なシステム（例えば、センサシステム、またはロボットプラットフォーム）に適用でき、自律車両に限定されない。一例では、本明細書に記載の技術は、そのようなシステムが様々な操作を実行することが安全であるかどうかの指示を車両の運転者に提供し得る運転者制御車両において利用され得る。別の例において、航空もしくは航海のコンテキストにおいて、またはシステムに対して未知の動作に関連付けられ得るオブジェクトもしくはエンティティに関与する任意のシステムにおいて、技術を利用できる。このような技術はまた、例えば、製造および組み立てのコンテキストで使用して、コンポーネントが組み立てラインを下るときにコンポーネントを検査し得る。加えて、本明細書で説明される技術は実データ（例えばセンサを使用してキャプチャされた）、シミュレートデータ（例えばシミュレーターによって生成された）、またはその２つの任意の組合せで使用できる。

【0014】

図１は、本開示の例による、環境属性を使用して車両からのオブジェクトの奥行推定を精緻化する図解付きのフローチャート１００である。

【0015】

操作１０２は、環境内のオブジェクトの奥行推定を決定することを含む。奥行推定は、オブジェクトの画像をディープニューラルネットワークまたは画像の個々のピクセルにて画像に示される表面の奥行を予測するように構成された他の機械学習モデルに入力することによって、決定され得る。例えば、例１０４は、周囲環境の情報をキャプチャするように構成され得るセンサ１０８を有する車両１０６を含む。いくつかの例では、車両１０６は、センサ１０８によってキャプチャされたデータに基づいて、車両１０６からのオブジェクト１１２の奥行１１０を決定し得る。例えば、センサ１０８は、オブジェクト１１２を示す車両１０６の周囲の環境の画像をキャプチャするカメラであり得る。車両１０６は、画像からの光線を環境の３次元表面メッシュに投影解除し得、これをオブジェクト１１２の投影された位置の推定として使用できる。車両１０６は、オブジェクト１１２の投影位置を使用して、ＳＬＡＭなどのシステムを使用する車両１０６の既知の位置に基づくなど、車両１０６からのオブジェクト１１２の初期の奥行推定を決定し得る。

【0016】

操作１１４は、オブジェクトに近接する環境属性を決定することを含む。いくつかの例では、環境属性は、車両１０６のセンサ１０８によってキャプチャされた画像から決定され得、画像は、オブジェクト１１２およびオブジェクト１１２の周囲の環境の少なくとも一部を示す。例えば、車両１０６のセンサ１０８によってキャプチャされたオブジェクト１１２を示す例示的な画像１１６を検討する。画像１１６は、センサ１０８によってキャプチャされ得る、またはいくつかのケースでは、例えば、オブジェクト１１２を囲む事前定義された全体サイズおよび／または事前定義された境界サイズに基づく、オブジェクト１１２を取り囲むエリアへの画像のトリミングされた部分であり得る。

【0017】

例では、オブジェクト１１２に近接する環境属性１１８は、異なる環境属性を識別するように訓練された機械学習モデルに画像１１６を入力することによって決定され得る。例えば、機械学習モデルは、歩道、自転車専用車線、車線、横断歩道などの環境属性を検出するための分類子として訓練され得る。いくつかのケースでは、機械学習モデルは、画像１１６などの入力画像に示されているオブジェクトのタイプに従って、異なる環境属性を分類するように訓練され得る。例えば、入力画像に示されているオブジェクトが歩行者である場合、機械学習モデルは環境属性を歩行者に関連する１つまたは複数の分類、車両１０６の進行方向に平行な第１の歩道、車両１０６の進行方向に垂直な第２の歩道、横断歩道（例えば、車両の進行方向に平行または垂直）、特定の交通の車線など、に分類し得る。別の例では、入力画像に示されているオブジェクトが別の車両である場合、機械学習モデルは、環境属性を車両に関連する１つまたは複数の分類、いくつか例を挙げると、車両１０６に関連する対向車線、車両１０６と他の車両とが共有する車線、車両１０６と同じ方向に走行する車線（車両１０６と共有される必要はないが）、駐車スペース、または車道など、に分類し得る。少なくともいくつかの例では、マップに格納されたコンテキスト部分（例えば、環境属性１１８の位置および範囲）は、関連する奥行情報とともに、画像１１６に投影され得る。次に、そのような奥行情報は（本明細書でさらに定義されるように）オブジェクト１１２に関連付けられ、推定を精緻化し得る。入力画像に示されているオブジェクトが自転車、オートバイ、スクーターなどの二輪車である場合、機械学習モデルは、環境属性を、例えば、自転車専用車線、歩道、または車線などの二輪車に関連する１つまたは複数の分類に分類し得る。もちろん、これらの環境属性の例は非限定的であり、任意の環境属性を機械学習モデルによって分類として使用し得る。

【0018】

機械学習モデルは環境属性１１８を出力し得、いくつかのケースでは、環境属性１１８に対するオブジェクト１１２の位置を出力もし得る。例えば、機械学習モデルは、オブジェクト１１２が環境属性１１８の上にある、および／または環境属性１１８の一部の後ろにあるという表示を出力し得る。この例では、オブジェクト１１２は歩行者であり、環境属性１１８は歩道であり、歩行者は歩道の上におり、歩道の縁石または縁の後ろにいるのであり、歩道（例えば、通り内）の前にいるのではない。環境属性１１８に対するオブジェクト１１２の位置に関するそのような情報は、説明されるように環境のマップデータと共に利用される場合、奥行を検出するために様々なカメラからの複数の画像を必要とせずに、奥行推定を大幅に改善し得る。

【0019】

例えば、操作１２０は、マップデータからの環境属性の位置に少なくとも部分的に基づいて、オブジェクトの位置の確率を決定することを含む。車両１０６は、周囲環境の１つまたは複数のマップへのアクセスを有し得、これは、マップデータの一部として環境属性１１８の位置を提供し得る。機械学習モデルから環境属性１１８の表示を受け取った後、車両１０６は、マップデータを利用して、オブジェクト１１２の環境属性１１８への近接性に基づいて、オブジェクト１１２の可能性のある位置を決定し得る。さらに、オブジェクト１１２の位置の確率は、説明したように、機械学習モデルによって出力される環境属性１１８に対するオブジェクト１１２の位置とともに（例えば、オブジェクト１１２は、環境属性１１８の前方、後方、上、下、左、右などにある）、増加し得る。したがって、オブジェクト１１２の位置の確率は、マップデータに基づく環境内のオブジェクト１１２の位置に対応し得る。

【0020】

操作１２２は、位置の確率に少なくとも部分的に基づいて、オブジェクトの奥行推定を精緻化することを含む。例えば、例１２４は、第１の奥行推定に基づく位置にあるオブジェクト１１２、および精緻化された奥行推定（または精緻化された距離推定）に基づく位置にあるオブジェクト１１２に対応するオブジェクト１２６と共に、車両１０６を示す。例１２４は、環境属性１１８に対するオブジェクト１１２の位置に基づいて、オブジェクト１１２の奥行推定がどのように精緻化されているかを示している。いくつかの例では、奥行推定を精緻化することは、オブジェクトの位置確率から決定された第２の奥行推定を使用すること、例えば、第１の奥行推定を第２の奥行推定で置き換えることを含み得る。しかし、いくつかのケースでは、第１の奥行推定と第２の奥行推定を組み合わせ得（例えば、加重平均に基づく）、第１の奥行推定の尤度と第２の奥行推定の尤度を比較して、最終的な奥行推定時の第１のまたは第２の奥行推定などを選択し得る。図６に関連して説明されるように、奥行推定を精緻化するための他の技術が考慮される。車両１０６は、操作１２２で決定された精緻化された奥行推定に基づいて制御され、車両１０６からのオブジェクト１２６の精緻化された奥行推定に基づいて従うべき軌道を選択するなどをし得る

【0021】

図２は、本開示の例による、車両が奥行推定を決定および精緻化し得る環境内で検出されたオブジェクトの例示的な画像２００の図解である。例えば、例示的な画像２００は、車両２０２が環境を走行するときに、カメラなどの車両２０２のセンサによってキャプチャされた画像であり得る。

【0022】

例示的な画像２００は、オブジェクト２０４、横断歩道２０６など、環境全体に渡る様々なオブジェクトを含み得る。いくつかの例では、車両２０２は、オブジェクト２０４の奥行を決定し車両２０２の前に示されたジャンクションなどの環境の部分をどのように走行するかをさらに決定したい場合がある。例えば、オブジェクト２０４が歩道上にある場合、車両２０２は、ジャンクションを通って進むことを決定し得るが、オブジェクト２０４が横断歩道２０６内にある場合、次に、車両２０２は、ジャンクションに入ることなくその現在の位置を停止および維持することを決定し、例えば、ジャンクションを通って垂直方向に移動する交通を妨害することを回避し得る。いくつかの例では、車両２０２は、例示的な画像２００のクロップ２０８を生成し得、これを機械学習モデルに入力して、オブジェクト２０４に近接する環境属性を決定し得る。このように、画像全体ではなく、オブジェクト２０４の位置に関連する環境属性を有する画像の一部を解析することによって、処理リソースを節約し得る。

【0023】

図３は、本開示の例による、図２に示される環境内のオブジェクトを含む３次元点群、および環境内のオブジェクトの奥行推定の図解３００である。

【0024】

例えば、例示的な画像２００は、画像内のピクセルの個々に対して画像に示される表面の奥行を予測するように訓練されたディープニューラルネットワークまたは他のタイプの機械学習モデルなどの機械学習モデルに入力され得る。いくつかの例では、機械学習モデルは、入力画像の個々のピクセルで予測された奥行に対応する３次元点群３０２を出力し得る。図解３００は、２次元の、例示的な画像２００に対応する点群のトップダウンビューを提供する。

【0025】

例えば、インジケータ３０４は、３次元点群３０２から生成された、車両２０２からの例示的な画像２００に示されるオブジェクト２０４の奥行推定を示す。いくつかの例では、オブジェクト２０４がインジケータ３０４の正確な位置にある確率は、例えば、車両２０２上の例示的な画像２００をキャプチャするために使用されるカメラからのオブジェクト２０４の距離に基づいて、比較的低くてもよい。したがって、オブジェクト２０４の奥行推定を改善するために、環境属性の既知の位置を利用して、奥行推定を精緻化し、精度を高め得る。

【0026】

例えば、本開示の例による、環境属性の位置をさらに示す、図３の３次元点群３０２の図解４００である図４を検討する。図解４００は、図２の横断歩道２０６に対応し得る環境属性４０２を含む。例では、本明細書で説明されるように、機械学習モデルを使用して、横断歩道を、クロップ２０８からオブジェクト２０４に近接する環境属性として識別し得る。例えば、機械学習モデルは、オブジェクト２０４を画像空間内の属性に関連付けて、環境属性に対するオブジェクト２０４の相対的な位置を決定し得る。車両２０２は横断歩道２０６の既知の位置を含むマップデータを取得し得、これを使用して、３次元点群３０２に対する環境属性４０２の位置を決定し得る。示されるように、３次元点群３０２に基づくオブジェクト２０４の奥行推定は、インジケータ３０４を環境属性４０２のすぐ後ろの位置に配置する。換言すれば、３次元点群３０２に基づくオブジェクト２０４の奥行推定は、オブジェクト２０４が横断歩道２０６の後ろにあり、車線内にあることを示している。

【0027】

しかし、本開示の例による、環境属性４０２の位置に基づくオブジェクトの精緻化された奥行推定をさらに示す、図３の３次元点群３０２の図解５００である図５を検討する。本明細書に説明されるように、オブジェクト２０４の位置は、例えば、オブジェクト２０４および横断歩道２０６がクロップ２０８においてどのように示されるかに基づいて、横断歩道２０６に対して決定され得る。例えば、機械学習モデルは、クロップ２０８に基づいて、オブジェクト２０４が、横断歩道２０６の前、横断歩道２０６の後ろなどではなく、横断歩道２０６内にあるという表示を出力し得る。車両２０２が環境属性４０２の位置を示すマップデータへのアクセスを有するので、車両２０２は、環境属性４０２の既知の位置（例えば、横断歩道２０６）および環境属性４０２に対するオブジェクト２０４の位置（例えば、横断歩道２０６「内」）に基づいて、オブジェクト２０４の位置の確率を決定できる。したがって、車両２０２は、環境属性４０２「内」のインジケータ３０４からインジケータ５０２までの奥行推定を更新し得、これは、横断歩道２０６「内」にあるオブジェクト２０４に対応する。

【0028】

図３、４、および５に関連して説明された例は横断歩道内の歩行者を含むが、相対的な場所を利用する他の例も検討される。いくつかの例では、環境属性４０２に対するオブジェクト２０４の相対位置は、地面、駆動可能な表面、および／またはオブジェクト２０４と環境属性４０２とのエッジまたは交差などの追加の環境属性をさらに考慮に入れ得る。例えば、横断歩道２０６のエッジがオブジェクト２０４と交差する場合、オブジェクト２０４が横断歩道２０６内にあるとの決定を行い得る。

【0029】

図６は、本開示の例による、オブジェクトの奥行推定を更新するために使用される環境属性を識別する機械学習モデルの使用の図解６００である。

【0030】

例６０２は、環境を走行する車両６０４の上面図、および車両６０４から奥行６０６にあることが検出されたオブジェクト６０８（例えば、図１の実施例１０４と同様）を示す。奥行６０６は、図３に関連して上記で説明されたような単眼の奥行推定に基づくなど、車両６０４からの環境内のオブジェクト６０８の位置の確率の推定であり得る。例えば、例６１０は、概して、オブジェクト６０８の位置にある楕円６１２を示し、ここでは、楕円６１２は、環境内のオブジェクト６０８の潜在的な位置（例えば、そのような機械学習された奥行推定から出力され得る不確実性）に対応し得る。第１のオブジェクトの位置確率６１４は、楕円６１２の長軸に沿ったオブジェクト６０８の潜在的な位置のガウスまたは正規分布に対応し得る。第１のオブジェクトの位置確率６１４のｘ軸は、楕円６１２の長軸に沿った位置または場所に対応し得、一方、第１のオブジェクトの位置確率６１４のｙ軸は、オブジェクト６０８が特定の位置または場所にある確率に対応し得る。

【0031】

車両６０４によってキャプチャされたオブジェクト６０８およびオブジェクト６０８の周囲の環境の少なくとも一部を示す画像は、機械学習モデル６１６に入力され得る。機械学習モデル６１６は、画像に示される環境属性を分類するように構成され得、さらに、本明細書に記載されるように、環境属性（例えば、後方、前方、隣など）に対するオブジェクトの位置を出力するように構成され得る。例えば、例６１８は、機械学習モデル６１６によって識別される環境属性６２０とともに、車両６０４によってキャプチャされたオブジェクト６０８の画像に対応し得る。機械学習モデル６１６はまた、オブジェクト６０８が歩道の上、縁石の後ろ、または同様のものにあるという表示を出力して、車両６０４からオブジェクト６０８までの初期の奥行６０６を精緻化するための追加情報を提供し得る。いくつかのケースでは、機械学習モデル６１６は、オブジェクト６０８と環境属性６２０との間の推定距離、オブジェクト６０８と環境属性６２０との間の角度、およびオブジェクト６０８の奥行をさらに精緻化するために使用され得るその他などの、オブジェクト６０８および環境属性６２０の相対位置に関する追加情報をさらに決定し得る。さらに、いくつかの例では、マップデータは、奥行を決定するのに役立ち得る環境属性が画像に隠れている場合のケースなど、オブジェクト６０８の画像とともに機械学習モデルに入力され得る。

【0032】

例６２２は、例６１０に関連して説明されるような車両６０４および楕円６１２を示し、さらに、楕円６１２からの環境内のオブジェクト６０８の潜在的な位置の精緻化された推定を示す楕円６２４を示す。第２のオブジェクト位置確率６２６は、楕円６２４の軸に沿ったオブジェクト６０８の潜在的な位置のガウスまたは正規分布に対応し得る。上記と同様に、第２のオブジェクト位置確率６２６のｘ軸は、楕円６２４の長軸に沿った位置または場所に対応し得、一方、第２のオブジェクト位置確率６２６のｙ軸は、オブジェクト６０８が特定の位置または場所にある確率に対応し得る。第２のオブジェクト位置確率６２６を第１のオブジェクトの位置確率６１４と比較する場合、最も高い確率を有するオブジェクト６０８の位置または場所がｘ軸に沿って移動し、一方、オブジェクト６０８が特定の位置または場所にある確率はより高い。したがって、この例では、環境内のオブジェクト６０８の位置は、車両６０４によって決定された初期の奥行６０６よりも車両６０４から遠く離れている可能性が高い。

【0033】

いくつかの例では、第１のオブジェクトの位置確率６１４および第２のオブジェクト位置確率６２６は、マルチモーダル位置確率６２８に組み合わされ得る。概して、マルチモーダル分布は複数のモードを有する（例えば、モードは特定の位置の閾値確率を超えて発生する）。第１のオブジェクトの位置確率６１４と第２のオブジェクト位置確率６２６を組み合わせることによって。車両６０４は、位置または場所の推定のどれがオブジェクト６０８に対して最も可能性が高いかを評価し得（例えば、最尤奥行推定）、次に、最も可能性の高い位置または場所の推定を使用して、修正された奥行推定を計算し得る。他の例では、第１のオブジェクトの位置確率６１４および／または第２のオブジェクト位置確率６２６は、平均化され得る（例えば、加重平均によって）、またはそうでなければ組み合わされて、修正された奥行推定を決定し得る。

【0034】

さらに、第１のオブジェクトの位置確率６１４、第２のオブジェクト位置確率６２６、および／またはマルチモーダル位置確率６２８のうちの１つまたは複数は、ボクセルスペースなどの３次元位置にマッピングされ、車両６０４に周囲環境の３次元画像を提供し得る。次に、車両６０４は、ボクセルグリッド内の占有の確率を決定する際に、占有の確率を、ｌｉｄａｒ、ｒａｄａｒ、飛行時間（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）などの他のセンサモダリティからの情報と組み合わせることなどで、ボクセル空間内のオブジェクト６０８の奥行の確率を使用し得る。このようにして、車両６０４は、その周囲のより完全かつ正確な理解を発展させ、車両６０４がより安全にそしてより良い結果で環境を通って進むことを可能にし得る。

【0035】

図７は、本明細書で説明される技術を実装するための例示的なシステム７００のブロック図を示す。少なくとも１つの例では、システム７００は、自律型、半自律型、または手動で制御される車両などの車両７０２を含むことができる。

【0036】

車両７０２は、車両コンピューティングデバイス７０４、１つまたは複数のセンサシステム７０６、１つまたは複数のエミッタ７０８、１つまたは複数の通信接続部７１０、少なくとも１つの直接接続部７１２、および１つまたは複数の駆動システム７１４を含むことができる。

【0037】

車両コンピューティングデバイス７０４は、１つまたは複数のプロセッサ７１６および１つまたは複数のプロセッサ７１６と通信可能に結合されたメモリ７１８を含むことができる。図示の例では、車両７０２は自律車両であるが、車両７０２は、他の任意のタイプの車両またはロボットプラットフォームであることができる。図示の例では、車両コンピューティングデバイス７０４のメモリ７１８は、位置測定コンポーネント７２０、知覚コンポーネント７２２、１つまたは複数のマップ７２４、１つまたは複数のシステムコントローラ７２６、奥行決定コンポーネント７２８、属性識別子コンポーネント７３０、位置決定コンポーネント７３２、および計画コンポーネント７３４を格納する。例示の目的でメモリ７１８に存在するように図７に示されているが、位置測定コンポーネント７２０、知覚コンポーネント７２２、１つまたは複数のマップ７２４、１つまたは複数のシステムコントローラ７２６、奥行決定コンポーネント７２８、属性識別子コンポーネント７３０、位置決定コンポーネント７３２、および計画コンポーネント７３４は、追加的に、または代替的に、車両７０２にアクセス可能であり得る（例えば、車両７０２から離れたメモリに格納されているか、そうでなければアクセス可能である）ことが企図される。

【0038】

少なくとも１つの例では、位置測定コンポーネント７２０は、センサシステム７０６からデータを受信して、車両７０２の位置および／または方向（例えば、１つまたは複数のｘ、ｙ、ｚ位置、ロール、ピッチ、またはヨー）を決定する機能を含むことができる。例えば、位置測定コンポーネント７２０は、環境のマップを含むことおよび／または要求／受信することができ、マップ内の自律車両の位置および／または方向を継続的に決定できる。いくつかの例では、位置測定コンポーネント７２０は、ＳＬＡＭ（同時位置測定およびマッピング）、ＣＬＡＭＳ（較正、位置測定およびマッピングを同時に）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ｌｉｄａｒデータ、ｒａｄａｒデータ、飛行時間データ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｄａｔａ）、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定できる。いくつかの例では、位置測定コンポーネント７２０は、本明細書で論じられるように、軌道を生成するため、マップデータを検索することを決定するために、車両７０２の様々なコンポーネントにデータを提供し、自律車両の初期位置を決定できる。

【0039】

いくつかの例では、知覚コンポーネント７２２は、オブジェクトの検出、セグメンテーション、および／または分類を実行するための機能を含むことができる。いくつかの例では、知覚コンポーネント７２２は、車両７０２に近接するエンティティおよびオブジェクトの存在および／またはエンティティタイプ（例えば、自動車、ホイール、歩行者、自転車、動物、建物、木、路面、縁石、歩道、信号機、一時停止標識、レーンマーカー、不明など）としてのエンティティの分類を示す処理済みセンサデータを提供できる。追加または代替の例では、知覚コンポーネント７２２は、検出されたエンティティ（例えば、追跡されたオブジェクト）および／またはエンティティが位置している環境に関連付けられた１つまたは複数の特性を示す処理されたセンサデータを提供できる。いくつかの例では、限定しないが、エンティティに関連付けられた特性は、ｘ位置（グローバルおよび／またはローカル位置）、ｙ位置（グローバルおよび／またはローカル位置）、ｚ位置（グローバルおよび／またはローカル位置）、方向（例えば、ロール、ピッチ、ヨー）、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（サイズ）などを含むことができる。環境に関連付けられた特性は、限定しないが、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができる。

【0040】

知覚コンポーネント７２２が検出を実行するこれらの例では、知覚コンポーネント７２２は、画像内で検出されたオブジェクトおよび／または近接するオブジェクトの関連する環境属性の検出を出力し得る。そのような検出は、二次元境界ボックス（後で画像をトリミングするために使用され得る）および／または検出されたオブジェクトのマスクを含み得る。いくつかの例では、そのような検出は、機械学習アプローチ（例えば、スケール不変特徴変換（ＳＩＦＴ）、方向付けられた勾配のヒストグラム（ＨＯＧ）など）とそれに続くサポートベクターマシン（ＳＶＭ）を利用して、センサシステム７０６のカメラから受信した画像に示されたオブジェクトを分類し得る。代替的または追加的に、検出は、畳み込みニューラルネットワーク（ＣＮＮ）に基づく深層学習アプローチを利用して、センサシステム７０６のカメラから受信した画像に示されたオブジェクトを分類し得る。例では、検出は、説明された技術に従って、１つまたは複数のオブジェクト検出技術（またはその他）を利用して、画像に示されたオブジェクトを検出し、および／または画像に示された環境属性（例えば、オブジェクトに近接する）を検出し得る。

【0041】

メモリ７１８は、車両７０２が環境内をナビゲートするために、および／または環境属性の位置を決定するために使用することができる１つまたは複数のマップ７２４をさらに含むことができる。説明を目的として、マップは、これらに限定されないが、トポロジー（交差点など）、通り、山脈、道路、地形、および一般的な環境などの環境についての情報を提供することが可能である、２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とすることができる。いくつかの例では、マップは、限定しないが、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、ラボ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ｌｉｄａｒ情報、ｒａｄａｒ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができる。一例では、マップは環境の３次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の個別の部分を表すように、マップをタイルフォーマットで格納でき、必要に応じて作業メモリにロードできる。少なくとも１つの例では、１つまたは複数のマップ７２４は、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例では、車両７０２を、マップ７２４に少なくとも部分的に基づいて制御できる。すなわち、マップ７２４を位置測定コンポーネント７２０、知覚コンポーネント７２２、奥行決定コンポーネント７２８、または計画コンポーネント７３４と関連して使用して、車両７０２の位置を決定する、環境内のオブジェクトおよび／もしくは環境属性を識別する、ならびに／または環境内をナビゲートするためのルートおよび／もしくは軌道を生成することができる。

【0042】

いくつかの例では、１つまたは複数のマップ７２４は、ネットワーク７３６を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス７３８など）に格納できる。いくつかの例では、複数のマップ７２４は、例えば、特性（例えば、エンティティのタイプ、時刻、曜日、季節など）に基づいて格納できる。複数のマップ７２４を格納することは、同様のメモリ要件を有することができるが、マップ内のデータにアクセスすることができる速度を増加させる。いくつかの例では、１つまたは複数のマップ７２４は、環境内の個々の場所に関連付けられたオブジェクトのサイズまたは寸法を格納できる。例えば、車両７０２が環境を走行すると、および車両７０２に近接する領域を表すマップがメモリにロードされると、位置に関連付けられたオブジェクトの１つまたは複数のサイズまたは寸法もメモリにロードできる。

【0043】

一般に、奥行決定コンポーネント７２８は、車両７０２の周囲の環境内のオブジェクトの奥行を推定し、センサシステム７０６によって提供されるデータに基づいて環境属性の位置を使用して奥行推定を精緻化できる。いくつかの例では、奥行決定コンポーネント７２８は、属性識別子コンポーネント７３０および／または位置決定コンポーネント７３２によって生成された情報を計画コンポーネント７３４に提供して、いつおよび／またはどのように環境を走行するように車両７０２を制御するかを決定できる。本明細書で説明されるように、奥行決定コンポーネント７２８は、画像データ、マップデータ、ｌｉｄａｒデータなどを受信して、環境内のオブジェクトに関する情報を決定できる。

【0044】

属性識別子コンポーネント７３０は、オブジェクトの画像（またはトリミングされた画像）から、オブジェクトに近接する環境属性の分類を決定でき、いくつかのケースでは、環境属性に対するオブジェクトの位置を決定もし得る。例えば、属性識別子コンポーネント７３０は、いくつかの例を挙げれば、環境属性を、歩道、自転車レーン、横断歩道、または車線などのカテゴリに分類するように訓練された機械学習モデルを利用し得る。いくつかの例では、属性識別子コンポーネント７３０は画像内で識別された特定のオブジェクトに基づいて、車両の分類の第１のセット（例えば、対向車線、車両７０２と同じ方向に走行する車線、駐車スペース、車道など）、歩行者の分類の第２のセット（例えば、車両７０２の進行方向に平行な歩道、車両７０２の進行方向に垂直な歩道、横断歩道、交通の車線など）、自転車、オートバイ、および／またはスクーターなどの二輪車の分類の３番目のセット（例えば、自転車専用車線、歩道、車線など）、などの異なる分類を決定し得る。さらに、属性識別子コンポーネント７３０は、機械学習モデルによって提供される予測された環境属性を、周囲環境のマップデータ（例えば、マップ７２４によって提供される）に示される環境属性と比較することによって、機械学習モデルのパラメータを精緻化して、環境属性をより正確に分類し得る。いくつかの例では、属性識別子コンポーネント７３０は、環境属性および／または環境属性に対するオブジェクトの位置に関する情報を、車両７０２を制御する際に使用するために、計画コンポーネント７３４に提供できる。

【0045】

位置決定コンポーネント７３２は、環境属性から、いくつかのケースでは環境属性に対するオブジェクトの位置から、車両７０２からのオブジェクトの修正された奥行推定を決定できる。例えば、位置決定コンポーネントは、オブジェクトに近接する環境属性の既知の位置、および環境属性に対するオブジェクトの位置に少なくとも部分的に基づいて、オブジェクトの位置確率を決定し得る。さらに、位置決定コンポーネント７３２は、環境の画像の個々のピクセルの奥行推定を予測するニューラルネットワークによって提供される奥行推定を更新し得る。例えば、位置決定コンポーネント７３２は、第１の奥行推定およびオブジェクトと環境属性との関係からの奥行推定から提供されるオブジェクトの位置の確率のマルチモーダル分布を利用し得る。いくつかの例における位置決定コンポーネント７３２は、マルチモーダル分布において最大のモードを有する位置を、オブジェクトの予測位置として選択し得るが、他の例が企図および／または説明される。次に、位置決定コンポーネント７３２は、車両の既知の位置（例えば、ＳＬＡＭまたはＣＬＡＭＳを使用して決定される）およびオブジェクトの予測位置を使用して、車両７０２からのオブジェクトの奥行を計算し得る。

【0046】

一般に、計画コンポーネント７３４は環境を走行するために車両７０２が辿る経路を決定できる。例えば、計画コンポーネント７３４は、様々なルートおよび軌道、ならびに様々なレベルの詳細を決定することができる。例えば、計画コンポーネント７３４は第１の位置（例えば現在の位置）から第２の位置（例えば目標の位置）へ走行するルートを決定することができる。本説明の目的のために、ルートは２つの位置の間を走行するための一連の経由地点とすることができる。非限定的な例として、経由地点は、道路、交差点、全地球測位システム（ＧＰＳ）座標などが含まれる。さらに、計画コンポーネント７３４は、第１の位置から第２の位置へのルートの少なくとも一部に沿って自律車両を誘導するための命令を生成できる。少なくとも１つの例では、計画コンポーネント７３４は一連の経由地点内の第１の経由地点から一連の経由地点の第２の経由地点まで自律車両をどのように誘導するかを決定できる。いくつかの例では、命令は軌道または軌道の一部とすることができる。いくつかの例では、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ技術に従って、複数の軌道を実質的に同時に（例えば、技術的許容範囲内で）生成することができ、複数の軌道のうちの１つが車両７０２の走行のために選択される。

【0047】

いくつかの例では、計画コンポーネント７３４は、本明細書で論じられるように、環境属性から決定される環境内のオブジェクトの推定奥行に少なくとも部分的に基づいて、車両７０２の１つまたは複数の軌道を生成できる。いくつかの例では、計画コンポーネント７３４は、線形時間論理および／または信号時間論理などの時間論理を使用して、車両７０２の１つまたは複数の軌道を評価できる。

【0048】

少なくとも１つの例において、車両コンピューティングデバイス７０４は１つまたは複数のシステムコントローラ７２６を含むことができ、これは車両７０２のステアリング、推進、制動、安全性、エミッタ、通信、および他のシステムを制御するように構成できる。これらのシステムコントローラ７２６は、駆動システム７１４および／または車両７０２の他のコンポーネントの対応するシステムと通信および／または制御できる。

【0049】

理解できるように、本明細書で説明されるコンポーネント（例えば、位置測定コンポーネント７２０、知覚コンポーネント７２２、１つまたは複数のマップ７２４、１つまたは複数のシステムコントローラ７２６、奥行決定コンポーネント７２８、属性識別子コンポーネント７３０、位置決定コンポーネント７３２、および計画コンポーネント７３４）は、説明の目的で分割されて説明されている。しかし、さまざまなコンポーネントによって実行される操作は、他の任意のコンポーネントと組み合わす、または他の任意のコンポーネントで実行できる。例として、奥行決定コンポーネント７２８、属性識別子コンポーネント７３０、および／または位置決定コンポーネント７３２に関連して説明される機能を、知覚コンポーネント７２２によって実行して、システムによって転送されるデータの量を減らし得る。

【0050】

少なくとも１つの例では、センサシステム７０６は、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、超音波トランスデューサー、ｓｏｎａｒセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵｓ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えばＲＧＢ、ＩＲ、強度、奥行、飛行時間など）、マイク、ホイールエンコーダ、環境センサ（例えば温度センサ、湿度センサ、光センサ、圧力センサなど）など、を含むことができる。センサシステム７０６は、これらまたは他のタイプのセンサのそれぞれの複数の実例を含むことができる。例えば、ｌｉｄａｒセンサは、車両７０２の角部、前部、後部、側面、および／または上部に位置する個々のｌｉｄａｒセンサを含むことができる。別の例として、カメラセンサは車両７０２の外部および／または内部の周りの様々な位置に配置された複数のカメラを含むことができる。センサシステム７０６は、車両コンピューティングデバイス７０４に入力を提供できる。追加的または代替的に、センサシステム７０６は、所定の期間が経過した後、ほぼ実時間で、特定の周波数にて１つまたは複数のコンピューティングデバイスに、１つまたは複数のネットワーク７３６を介して、センサデータを送信できる。

【0051】

車両７０２はまた、上記のように、光および／または音を発する１つまたは複数のエミッタ７０８を含むことができる。この例のエミッタ７０８は車両７０２の乗客と通信するための内部オーディオおよびビジュアルエミッタを含む。例示の目的で、限定ではなく、内部エミッタは、スピーカー、ライト、標識、ディスプレイ画面、タッチ画面、触覚エミッタ（例えば、振動および／またはフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。この例のエミッタ７０８はまた外部エミッタを含む。限定ではなく例として、この例示の外部エミッタは、走行の方向または車両の作動の他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）を信号で送るためのライト、および音響ビームステアリング技術を備える１つまたは複数の歩行者または他の近くの車両と音声で通信するための１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。

【0052】

車両７０２はまた、車両７０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続部７１０を含むことができる。例えば、通信接続部７１０は車両７０２および／または駆動システム７１４上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部７１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にできる。通信接続部７１０はまた、車両７０２が遠隔操作コンピューティングデバイスまたは他の遠隔サービスと通信することを可能にする。

【0053】

通信接続部７１０は、車両コンピューティングデバイス７０４を別のコンピューティングデバイスまたはネットワーク７３６などのネットワークに接続するための物理的および／または論理的インターフェースを含むことができる。例えば、通信接続部７１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈなどの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線または無線通信プロトコルを可能にできる。

【0054】

少なくとも１つの例では、車両７０２は１つまたは複数の駆動システム７１４を含むことができる。いくつかの例では、車両７０２は単一の駆動システム７１４を有することができる。少なくとも１つの例では、車両７０２が複数の駆動システム７１４を有する場合、個々の駆動システム７１４は車両７０２の両端部（例えば前部および後部など）に位置付けできる。少なくとも１つの例では、駆動システム７１４は駆動システム７１４および／または車両７０２の周囲の状態を検出するための１つまたは複数のセンサシステムを含むことができる。限定ではなく例として、センサシステムは、駆動モジュールのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えばロータリーエンコーダ）、駆動モジュールの向きと加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたはその他の画像センサ、駆動システムの周囲のオブジェクトを音響的に検出するための超音波センサ、ＬＩＤＡＲセンサ、ｒａｄａｒセンサなど、を含むことができる。一部のセンサ、ホイールエンコーダなど、は駆動システム７１４に固有とすることができる。いくつかのケースでは、駆動システム７１４上のセンサシステムは車両７０２の対応するシステム（例えばセンサシステム７０６）と重複または補足できる。

【0055】

駆動システム７１４は、高電圧バッテリー、車両を推進するモーター、バッテリーからの直流を他の車両システムで使用する交流に変換するインバーター、ステアリングモーターおよびステアリングラック（電動とすることができる）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば車両の外部環境を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネント）を含む多くの車両システムを含むことができる。さらに、駆動システム７１４は、センサシステムからデータを受信し事前処理し、様々な車両システムの操作を制御できる駆動システムコントローラを含むことができる。いくつかの例では、駆動システムコントローラは、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサと通信可能に結合されたメモリを含むことができる。メモリは駆動システム７１４の様々な機能を実行する１つまたは複数のコンポーネントを格納できる。さらに、駆動システム７１４はまた、それぞれの駆動システムによる１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続部を含む。

【0056】

少なくとも１つの例では、直接接続部７１２は１つまたは複数の駆動システム７１４を車両７０２の本体と結合するための物理的インターフェースを提供できる。例えば、直接接続部７１２は、駆動システム７１４と車両との間のエネルギー、流体、空気、データなどの転送を可能にできる。いくつかの例では、直接接続部７１２はさらに駆動システム７１４を車両７０２の本体に着脱可能に固定できる。

【0057】

少なくとも１つの例では、位置測定コンポーネント７２０、知覚コンポーネント７２２、１つまたは複数のマップ７２４、１つまたは複数のシステムコントローラ７２６、奥行決定コンポーネント７２８、属性識別子コンポーネント７３０、位置決定コンポーネント７３２、および計画コンポーネント７３４は、上記のようにセンサデータを処理でき、それぞれの出力を、１つまたは複数のネットワーク７３６を介して、１つまたは複数のコンピューティングデバイス７３８に送信できる。少なくとも１つの例では、位置測定コンポーネント７２０、知覚コンポーネント７２２、１つまたは複数のマップ７２４、１つまたは複数のシステムコントローラ７２６、奥行決定コンポーネント７２８、属性識別子コンポーネント７３０、位置決定コンポーネント７３２、および計画コンポーネント７３４は、特定の周波数で所定の期間の経過後、ほぼリアルタイムなどで、それぞれの出力をコンピューティングデバイス７３８に送信できる。

【0058】

いくつかの例では、車両７０２はセンサデータを、ネットワーク７３６を介して、１つまたは複数のコンピューティングデバイス７３８に送信できる。いくつかの例では、車両７０２は未処理のセンサデータをコンピューティングデバイス７３８に送信できる。他の例では、車両７０２は、処理されたセンサデータおよび／またはセンサデータの表現をコンピューティングデバイス７３８に送信できる。いくつかの例では、車両７０２は、特定の周波数で、所定の期間の経過後、ほぼ実時間などで、センサデータをコンピューティングデバイス７３８に送信できる。いくつかのケースでは、車両７０２はセンサデータ（未処理または処理済み）を１つまたは複数のログファイルとしてコンピューティングデバイス７３８に送信できる。

【0059】

コンピューティングデバイス７３８は、プロセッサ７４０および訓練コンポーネント７４４を格納するメモリ７４２を含むことができる。

【0060】

いくつかの例では、訓練コンポーネント７４４は、オブジェクトおよび／または環境属性を検出するために１つまたは複数のモデルを訓練する、オブジェクトおよび／または環境属性を決定（分類または回帰）する、環境属性に対するオブジェクトの位置を決定するなどの、機能を含むことができる。いくつかの例では、訓練コンポーネント７４４は、１つまたは複数のモデルによって生成された情報を車両コンピューティングデバイス７０４に通信して、様々な状況に応じて車両７０２をどのように制御するかを修正できる。

【0061】

例えば、本明細書で説明されるコンポーネントの一部またはすべての様態は、任意のモデル、アルゴリズム、および／または機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ７４２（および上記で説明されるメモリ７１８）内のコンポーネントをニューラルネットワークとして実装できる。いくつかの例では、訓練コンポーネント７４４は、ニューラルネットワークを利用して、１つまたは複数のモデルを生成および／または実行して、車両７０２の軌道計画で使用するためのオブジェクト軌道推定の様々な側面を改善できる。

【0062】

本明細書で説明されるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する生物学的に着想をエタ、アルゴリズムである。ニューラルネットワークの各層はまた別のニューラルネットワークを含むことができる、または任意の数の層（畳み込みかどうかに関係なく）を含むことができる。本開示のコンテキストで理解できるように、ニューラルネットワークは機械学習を利用でき、これは、訓練されたパラメータに基づいて出力が生成されるそのようなアルゴリズムの広範囲のクラスを指すことができる。

【0063】

ニューラルネットワークのコンテキストで説明されているが、任意のタイプの機械学習を、本開示と一致して使用できる。例えば限定しないが、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定されたスカープロット平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木））、ベイジアンアルゴリズム（例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均１依存推定量（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、ディープラーニングアルゴリズム（例えばディープボルツマンマシーン（ＤＢＭ）、ディープブリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタック・オートエンコーダ）、次元数削減アルゴリズム（例えば主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集計（バギング）、アダブースト、スタック一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースティング回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などの方法を含むことができる。

【0064】

アーキテクチャの追加の例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。

【0065】

車両７０２のプロセッサ７１６およびコンピューティングデバイス７３８のプロセッサ７４０は、本明細書で説明されるように、データを処理し操作を実施するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ７１６および７４０は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または電子データを処理して電子データをレジスタまたはメモリに格納できる他の電子データに変換する任意の他のデバイスまたはデバイスの一部、を備えることができる。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスはまた、それらが符号化された命令を実装するよう構成される限り、プロセッサと見なすことができる。

【0066】

メモリ７１８および７４２は、非一時的コンピュータ可読媒体の例である。メモリ７１８およびメモリ７４２は、本明細書に記載の方法および様々なシステムに起因する機能を実装する、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納できる。様々な実装では、メモリを、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な任意の他のタイプのメモリなど、任意の適切なメモリ技術を用いて実装できる。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、添付図面に図示されるそれらは、本明細書での説明に関連する単なる例にすぎない。

【0067】

図７は分散システムとして示されているが、代替の例では、車両７０２のコンポーネントをコンピューティングデバイス７３８に関連付けることができ、および／またはコンピューティングデバイス７３８のコンポーネントを車両７０２に関連付けることができる、という事に留意すべきである。すなわち、車両７０２はコンピューティングデバイス７３８に関連付けられた機能のうちの１つまたは複数を実行でき、逆もまた同様である。さらに、奥行決定コンポーネント７２８および／または計画コンポーネント７３４の態様は、本明細書で説明されるデバイスのいずれかで実行できる。

【0068】

図８は、本開示の例による、機械学習モデルを使用して環境属性を識別し、マップデータから環境属性の位置を決定し、環境属性の位置を使用して車両からのオブジェクトの奥行を精緻化するための例示的なプロセス８００を示す。例えば、プロセス８００の一部またはすべては、本明細書で説明されるように、図７における１つまたは複数のコンポーネントによって実行できる。例えば、プロセス８００の一部またはすべては、車両コンピューティングデバイス７０４、コンピューティングデバイス７３８、または任意の他のコンピューティングデバイスもしくはコンピューティングデバイスの組み合わせによって実行できる。さらに、例示的なプロセス８００に記載されている操作のいずれも、並行して、プロセス８００に示されているのとは異なる順序で、省略して、他のプロセスと組み合わされて、などで、実行され得る。

【0069】

操作８０２で、プロセスは、環境内のオブジェクトを示す画像をキャプチャすることを含むことができる。例えば、画像は、環境を走行する車両のカメラなどのセンサによってキャプチャされ得る。

【0070】

操作８０４において、プロセスは、車両からのオブジェクトの第１の奥行を決定することを含むことができる。いくつかの例では、第１の奥行は、画像内の個々のピクセルに示される表面の奥行を予測するように訓練されたニューラルネットワークに画像を入力し、ニューラルネットワークからオブジェクトの位置で予測された奥行を受信することによって、決定され得る。

【0071】

操作８０６において、プロセスは、画像の少なくとも一部を環境属性に関連付けることを含むことができる。少なくともいくつかの例では、そのような関連付けは、画像の少なくとも一部を、環境属性を決定するように訓練された機械学習モデルに入力することによって、実行され得る。例えば、環境属性は、本明細書で説明され、さらに考慮されるように、歩道、横断歩道、車線、自転車専用車線およびその他などのオブジェクトであり得る。いくつかの例では、環境属性は、一般に、環境内の永続的なオブジェクトであり得る。

【0072】

操作８０８で、プロセスは、機械学習モデルから、画像に示されたオブジェクトに関連付けられた環境属性を受信することを含むことができる。例えば、環境属性は、機械学習された分類子を検出するように訓練されている１つまたは複数の環境属性であり得る。いくつかのケースでは、機械学習モデルはまた、いくつか例を挙げると、オブジェクトが環境属性の上、下、隣、前方、および／または後方にあることを示すなど、環境属性に対するオブジェクトの位置を出力し得る。環境属性に対するオブジェクトの相対位置は、ベクトル、座標、または機械学習モデルによって出力されたときにエンティティ間の相対位置を伝達するその他のメカニズムとして表され得る。

【0073】

操作８１０において、環境属性がマップデータに含まれるかどうかに関して決定がなされる。いくつかのケースでは、環境属性が、環境に新たに追加される、一部の方法で変更される、遮られる、またはそうでなければ、オブジェクトの奥行を決定するために使用するのに不適切であり得る。そのようなケースでは、プロセスは、操作８１２に進み得て、ここで、第１の奥行推定を使用してオブジェクトの奥行を決定する、または別の環境属性が選択される。例えば、マップデータにまだ追加されていない道路に新しい車線マーカーがペイントされている場合、プロセスは、マップデータに含まれる歩道などの別の環境属性を選択して、第１の奥行推定を精緻化し得る。

【0074】

そうでなければ、操作８１４で、プロセスは、マップデータ内の環境属性の位置に少なくとも部分的に基づいて、環境内のオブジェクトの位置の確率を決定することを含むことができる。いくつかの例では、オブジェクトの位置の確率は、環境属性に対するオブジェクトの位置によって決定される、オブジェクトの位置の確率と組み合わされた、第１の奥行推定によって決定されたオブジェクトの位置の確率のマルチモーダル分布に基づき得る。

【0075】

操作８１６において、プロセスは、第１の奥行およびオブジェクトの位置の確率に少なくとも部分的に基づいて、車両からのオブジェクトの第２の奥行を決定することを含むことができる。例えば、マルチモーダル分布の最高モードは、オブジェクトの第１の奥行から精緻化された、オブジェクトの第２の奥行として選択され得る。いくつかの例では、オブジェクトの第２の奥行を使用して、本明細書で説明されるように、オブジェクトの相対位置を環境属性と比較することなどによって、オブジェクトの第１の奥行に関連付けられた不確実性を決定し得る。オブジェクトの精緻化された奥行を使用して、精緻化された奥行に基づいてオブジェクトとの衝突を回避するように環境を走行するように、車両を制御し得る。

【0076】

［例示的な発明内容］
Ａ：１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数のコンピュータ可読媒体と、を備え、前記命令が、実行されると、システムに、自律車両のセンサから、環境内のオブジェクトを示す画像を受信することと前記オブジェクトの第１の奥行を決定することと、前記オブジェクトに関連付けられた前記画像の少なくとも一部を、１つまたは複数の環境属性と、機械学習モデルに入力された画像に表現されたオブジェクトとの関連性を出力するように訓練された前記機械学習モデルへ入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた環境属性を示す出力を受信することと、前記出力および前記環境属性に関連付けられたマップデータに少なくとも部分的に基づいて、前記環境内の前記オブジェクトの位置に関連付けられた第２の奥行を決定することと、前記環境の前記オブジェクトの前記位置に関連付けられた前記第１の奥行および前記第２の奥行に少なくとも部分的に基づいて、前記オブジェクトの推定される奥行を決定することと、を含む操作を実行させる、システム。

【0077】

Ｂ：前記操作が前記オブジェクトの前記推定される奥行に少なくとも部分的に基づいて、前記環境を走行するように前記自律車両を制御することをさらに含む、段落Ａに記載のシステム。

【0078】

Ｃ：前記第１の奥行が第１の分布に少なくとも部分的に基づき、前記第２の奥行が第２の分布に少なくとも部分的に基づく、請求項Ａに記載のシステム。

【0079】

Ｄ：前記操作が、前記第１の分布および前記第２の分布を組み合わせて、前記オブジェクトの奥行に関連付けられたマルチモーダル分布にすることと、前記奥行に関連付けられた前記マルチモーダル分布を３次元の位置にマッピングすることと、をさらに含む、段落Ｃに記載のシステム。

【0080】

Ｅ：環境内のオブジェクトを示す画像を受信することと、前記画像に少なくとも部分的に基づいて、前記オブジェクトまでの第１の距離を決定することと、前記オブジェクトに関連付けられた前記画像の少なくとも一部を機械学習モデルへ入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた環境属性を示す出力を受信することと、前記出力および前記環境属性に関連付けられたマップデータに少なくとも部分的に基づいて、前記オブジェクトまでの第２の距離を決定することと、前記第１の距離および前記第２の距離に少なくとも部分的に基づいて、前記オブジェクトの精緻化された距離を決定することと、を含む、方法。

【0081】

Ｆ：前記オブジェクトの前記第１の距離は、前記画像からの単眼の奥行推定に少なくとも部分的に基づく、段落Ｅに記載の方法。

【0082】

Ｇ：前記オブジェクトまでの前記第１の距離を決定することは、画像から前記環境の表面の奥行を予測するように訓練されたニューラルネットワークに画前記像を入力することと、前記画像のピクセルに対応する前記表面の予測された奥行を受信することと、を含み、前記第１の距離が、前記画像に示された前記オブジェクトに関連付けられた前記予測された奥行の１つの予測された奥行に少なくとも部分的に基づいている、段落Ｅに記載の方法。

【0083】

Ｈ：前記環境属性に対する前記オブジェクトの位置を決定することをさらに含み、前記第２の距離を決定することがさらに、前記環境属性に対する前記オブジェクトの前記位置に基づく、段落Ｅに記載の方法。

【0084】

Ｉ：前記オブジェクトが第１の車両であり、前記機械学習モデルは、環境属性を、対向車線である第１の車線、第１の車両と第２の車両が共有する第２車線、第２の車両と同じ方向に走行する第３の車線、駐車場、または車道、の１つまたは複数に分類するように訓練された分類子を含む、段落Ｅに記載の方法。

【0085】

Ｊ：前記オブジェクトが歩行者であり、前記機械学習モデルは、環境属性を、車両の進行方向に平行な第１の歩道、前記車両の前記進行方向に垂直する第２の歩道、コーナー、横断歩道、または車線、の１つまたは複数に分類するように訓練された分類子を含む、段落Ｅに記載の方法。

【0086】

Ｋ：前記オブジェクトが二輪車であり、前記機械学習モデルは、環境属性を、自転車専用レーン、コーナー、歩道、または車線、の１つまたは複数に分類するように訓練された分類子を含む、段落Ｅに記載の方法。

【0087】

Ｌ：１つまたは複数のプロセッサによって実行されると、車両のセンサによってキャプチャされた画像に表されるオブジェクトの第１の奥行を決定することと、前記オブジェクトに関連付けられた前記画像の少なくとも一部を機械学習モデルへ入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた環境属性を示す出力を受信することと、前記機械学習モデルから受信した前記環境属性を示す前記出力および前記環境属性に関連付けられたマップデータに少なくとも部分的に基づいて、前記オブジェクトの第２の奥行を決定することと、前記第１の奥行および前記第２の奥行に少なくとも部分的に基づいて、前記オブジェクトの精緻化された奥行を決定することと、を含む操作を行う命令を格納した１つまたは複数のコンピュータ可読媒体。

【0088】

Ｍ：前記第１の奥行が第１の分布に関連付けられ、前記第２の奥行が第２の分布に関連付けられている、段落Ｌに記載の１つまたは複数のコンピュータ可読媒体。

【0089】

Ｎ：前記操作が、前記第１の分布および前記第２の分布を組み合わせて、マルチモーダル分布にすることと、前記マルチモーダル分布を３次元の位置にマッピングすることと、
をさらに含む、段落Ｍに記載の１つまたは複数のコンピュータ可読媒体。

【0090】

Ｏ：前記操作が、第１の分布および前記第２の分布を組み合わせてマルチモーダル分布にすることと、前記マルチモーダル分布に少なくとも部分的に基づいて、最尤奥行推定を決定ことと、をさらに含む、段落Ｍに記載の１つまたは複数のコンピュータ可読媒体。

【0091】

Ｐ：前記オブジェクトの前記第１の奥行は前記画像からの単眼の奥行推定に少なくとも部分的に基づく、段落Ｌに記載の１つまたは複数のコンピュータ可読媒体。

【0092】

Ｑ：前記オブジェクトの前記第１の奥行を決定することは、画像から前記環境の表面の奥行を予測するように訓練されたニューラルネットワークに画前記像を入力することと、前記画像のピクセルに対応する前記表面の予測された奥行を受信することと、を含み、前記単眼奥行推定が、前記画像に示された前記オブジェクトに関連付けられた前記予測された奥行の１つの予測された奥行に少なくとも部分的に基づいている、段落Ｐに記載の１つまたは複数のコンピュータ可読媒体。

【0093】

Ｒ：前記操作が前記環境属性に対する前記オブジェクトの位置を決定することをさらに含み、前記オブジェクトの前記第１の奥行に関連付けられた不正確性を決定することがさらに、前記環境属性に対する前記オブジェクトの前記位置に基づく、段落Ｌに記載の１つまたは複数のコンピュータ可読媒体。

【0094】

Ｓ：前記機械学習モデルは、環境属性を、歩道、自転車専用レーン、コーナー、車線、または横断歩道、の１つまたは複数に分類するように訓練された分類子を含む、段落Ｌに記載の１つまたは複数のコンピュータ可読媒体。

【0095】

Ｔ：前記操作がさらに、前記オブジェクトの前記精緻化された奥行に少なくとも部分的に基づいて、環境を走行するように前記車両を制御することを含む、段落Ｌに記載の１つまたは複数のコンピュータ可読媒体。

【0096】

上述の例示の発明内容は１つの特定の実装に関して説明されているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システムおよび／またはコンピュータ可読媒体、および／またはその他の実装を介して実装できることを理解されたい。さらに、例示ＡからＴのいずれかは、単独で、または他の１つまたは複数の例ＡからＴと組み合わせて実装され得る。

【0097】

［結論］
本明細書で説明する技術の１つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。

【0098】

例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは請求される主題の具体的な例を例示として示す。他の例を使用でき、構造的変更などの変更または代替を行うことできることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。個々の例は、特定の特徴または構成要素を有するものとして本明細書で説明されているが、個々の例の特徴および構成要素は、組み合わせて一緒に使用することができる。本明細書の操作は特定の順序で提示できるが、いくつかのケースでは、説明されたシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順はまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】