特許 7140840 センサーデータにおけるエラーの検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-12

(45)【発行日】2022-09-21

(54)【発明の名称】センサーデータにおけるエラーの検出

(51)【国際特許分類】

   G01D 3/00 20060101AFI20220913BHJP

   G01D 21/02 20060101ALI20220913BHJP

   G08G 1/16 20060101ALI20220913BHJP

   G06T 7/00 20170101ALI20220913BHJP

   G01C 3/06 20060101ALI20220913BHJP

   G01S 7/40 20060101ALI20220913BHJP

   G01S 7/497 20060101ALI20220913BHJP

   G01S 13/931 20200101ALI20220913BHJP

   G01S 17/931 20200101ALI20220913BHJP

   B60W 40/02 20060101ALI20220913BHJP

【ＦＩ】

G01D3/00 B

G01D21/02

G08G1/16 C

G06T7/00 650B

G01C3/06 110V

G01S7/40

G01S7/497

G01S13/931

G01S17/931

B60W40/02

【請求項の数】 15

(21)【出願番号】P 2020554228

(86)(22)【出願日】2019-04-03

(65)【公表番号】

(43)【公表日】2021-10-21

(86)【国際出願番号】 US2019025497

(87)【国際公開番号】W WO2019195363

(87)【国際公開日】2019-10-10

【審査請求日】2021-04-05

(31)【優先権主張番号】15/944,240

(32)【優先日】2018-04-03

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジェシー ソル レヴィンソン

(72)【発明者】

【氏名】ニテーシュ シュロフ

【審査官】森 雅之

(56)【参考文献】

【文献】特許第６９６２９２６（ＪＰ，Ｂ２）

【文献】特表２０１８－５３８６４７（ＪＰ，Ａ）

【文献】特開２０１１－１８０８７３（ＪＰ，Ａ）

【文献】特開平１０－０１９６１４（ＪＰ，Ａ）

【文献】特開２０１７－１７４４１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２６６４７２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｄ

Ｂ６０Ｗ

Ｇ０８Ｇ

Ｇ０６Ｔ

Ｇ０１Ｓ

(57)【特許請求の範囲】

【請求項1】

１つまたは複数のプロセッサー（３１６）によって、第１のセンサー（１０４）から第１の信号を受信するステップであって、前記第１の信号は、環境（１０８）を表す第１のセンサーデータ（１１２）を含む、ステップと、
前記１つまたは複数のプロセッサー（３１６）によって、前記第１のセンサーデータ（１１２）に少なくとも部分的に基づいて、第１のオブジェクトのグループ（１２８）に関連付けられた第１のパラメーターを決定するステップと、
前記１つまたは複数のプロセッサー（３１６）によって、第２のセンサー（１０２）から第２の信号を受信するステップであって、前記第２の信号は、前記環境（１０８）を表す第２のセンサーデータ（１１０）を含む、ステップと、
前記１つまたは複数のプロセッサー（３１６）によって、前記第２のセンサーデータ（１１０）に少なくとも部分的に基づいて、第２のオブジェクトのグループ（１３０）に関連付けられた第２のパラメーターを決定するステップと、
前記１つまたは複数のプロセッサー（３１６）によって、前記第１のセンサーデータ（１１２）および前記第２のセンサーデータ（１１０）に少なくとも部分的に基づいて、第３のオブジェクトのグループ（１３２）に関連付けられた第３のパラメーターを決定するステップと、
前記１つまたは複数のプロセッサー（３１６）によって、前記第３のパラメーターと前記第１のパラメーターまたは前記第２のパラメーターを比較して、前記第３のパラメーターと前記第１のパラメーターまたは前記第２のパラメーターとの間の差異を特定するステップと、
前記差異が特定されると、前記１つまたは複数のプロセッサー（３１６）によって、前記１つまたは複数のプロセッサー（３１６）と通信状態の機械学習システム（３４４）に、前記第１の信号または前記第２の信号のうちの少なくとも１つを含む信号を提供するステップであって、前記機械学習システム（３４４）は、前記提供された信号に基づいてセンサーモダリティのトレーニングを支援する、ステップと
を備えることを特徴とする方法。

【請求項2】

前記第１のセンサー（１０４）は、ＬＩＤＡＲセンサー（１０４）を含み、
前記第１のセンサーデータ（１１２）は、ＬＩＤＡＲセンサーデータ（１１２）を含み、
前記第１のパラメーターは、前記環境（１０８）におけるオブジェクト（１２２）の第１の分類を含み、
前記第２のセンサー（１０２）は、画像取り込みデバイス（１０２）を含み、
前記第２のセンサーデータ（１１０）は、画像データ（１１０）を含み、
前記第２のパラメーターは、前記オブジェクト（１２２）の第２の分類を含み、
前記第３のパラメーターは、前記オブジェクト（１２２）の第３の分類を含み、
前記差異は、前記第１の分類または前記第２の分類と前記第３の分類との間の差異を含む
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記第１のセンサー（１０４）は、ＬＩＤＡＲセンサー（１０４）を含み、
前記第１のセンサーデータ（１１２）は、ＬＩＤＡＲセンサーデータ（１１２）を含み、
前記第１のパラメーターは、前記環境（１０８）におけるオブジェクト（１２２）の実在に関する第１の決定を含み、
前記第２のセンサー（１０２）は、画像取り込みデバイス（１０２）を含み、
前記第２のセンサーデータ（１１０）は、画像データ（１１０）を含み、
前記第２のパラメーターは、前記環境（１０８）における前記オブジェクト（１２２）の前記実在に関する第２の決定を含み、
前記第３のパラメーターは、前記環境（１０８）における前記オブジェクト（１２２）の前記実在に関する第３の決定を含み、
前記差異は、前記第１の決定または前記第２の決定と前記第３の決定との間の差異を含む
ことを特徴とする請求項１または２に記載の方法。

【請求項4】

期間にわたって複数の前記第１のセンサーデータ（１１２）を収集するステップと、
前記１つまたは複数のプロセッサー（３１６）によって、前記複数の前記第１のセンサーデータ（１１２）に基づいて第１の統計情報を決定するステップと、
前記１つまたは複数のプロセッサー（３１６）によって、格納された統計情報と前記第１の統計情報を比較するステップと、
前記比較することに少なくとも部分的に基づいて応答（１２６）を開始するステップと
をさらに備えることを特徴とする請求項１または２に記載の方法。

【請求項5】

前記第１のセンサー（１０４）および前記第２のセンサー（１０２）は、車両（３０２）に配置され、
前記応答（１２６）は、前記第１のセンサーデータ（１１２）の一部を無視することか、前記第２のセンサーデータ（１１０）の一部を無視することか、前記第１の信号に関連付けられた第１の重みを修正することか、前記第２の信号に関連付けられた第２の重みを修正することか、前記第１のセンサー（１０４）に関連付けられたトレーニングデータ（５２８）を修正することか、前記第２のセンサー（１０２）に関連付けられたトレーニングデータ（５２８）を修正することか、検証要求を生成することか、前記車両（３０２）に方向を変えさせることかのうちの少なくとも１つを含む
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記第１のパラメーター、前記第２のパラメーター、または前記第３のパラメーターのうちの少なくとも１つは、オブジェクト（１２２）のロケーション、前記オブジェクト（１２２）の向き、オブジェクトの数、不確実性、前記オブジェクト（１２２）の存在の決定、または前記オブジェクト（１２２）の分類を含むことを特徴とする請求項４に記載の方法。

【請求項7】

第３のセンサー（１０６）から第３の信号を受信するステップであって、前記第３の信号は、前記環境（１０８）を表す第３のセンサーデータ（１１４）を含む、ステップと、
前記第３のセンサーデータ（１１４）に少なくとも部分的に基づいて、第４のオブジェクトのグループ（１２０）に関連付けられた第４のパラメーターを決定するステップと、
前記第４のパラメーターと前記第１のパラメーターまたは前記第２のパラメーターとの間の差異を特定するステップと
をさらに備え、
前記第１のセンサーは、画像取り込みデバイス（１０２）を含み、
前記第２のセンサーは、ＬＩＤＡＲセンサー（１０４）を含み、
前記第３のセンサーは、ＲＡＤＡＲセンサー（１０６）を含む
ことを特徴とする請求項４に記載の方法。

【請求項8】

前記第１のセンサーデータ（１１２）は、第１の時間に前記第１のセンサー（１０４）によって検出され、
前記第２のセンサーデータ（１１０）は、前記第１の時間に前記第２のセンサー（１０２）によって検出され、
前記方法は、
前記第１のセンサー（１０４）または前記第２のセンサー（１０２）によって、前記第１の時間よりも後の第２の時間に収集される追加のデータに少なくとも部分的に基づいて前記差異を特定するステップをさらに備える
ことを特徴とする請求項１または２に記載の方法。

【請求項9】

前記差異を特定するステップは、オブジェクト（１２２）が、前記第１のオブジェクトのグループ（１２８）または前記第２のオブジェクトのグループ（１３０）のうちの少なくとも１つにない、または誤分類されていると決定するステップを含むことを特徴とする請求項１または２に記載の方法。

【請求項10】

前記第１のオブジェクトのグループ（１２８）および前記第２のオブジェクトのグループ（１３０）は、共通のオブジェクト（１２２）を含み、
前記第１のパラメーターは、前記共通のオブジェクト（１２２）の第１のロケーションを含み、
前記第２のパラメーターは、前記共通のオブジェクト（１２２）の第２のロケーションを含み、
前記差異は、前記第１のロケーションと前記第２のロケーションとの間の差異を含む
ことを特徴とする請求項１または２に記載の方法。

【請求項11】

前記第１のパラメーターを決定するステップは、第１の機械学習されたモデルを使用して前記第１のパラメーターを決定するステップを含み、前記第２のパラメーターを決定するステップは、第２の機械学習されたモデルを使用して前記第２のパラメーターを決定するステップを含み、前記機械学習システム（３４４）は、前記第１の機械学習されたモデルまたは前記第２の機械学習されたモデルを含み、
前記方法は、
前記差異を特定することに少なくとも部分的に基づいて、前記機械学習システム（３４４）をトレーニングするステップをさらに備え、前記機械学習システム（３４４）をトレーニングするステップは、グランドトゥルースとして前記第１のセンサーデータ（１１２）、前記第２のセンサーデータ（１１０）、または前記第３のオブジェクトのグループ（１３２）のうちの少なくとも１つを使用して、前記第１の機械学習されたモデルまたは前記第２の機械学習されたモデルをトレーニングするステップをさらに備える
ことを特徴とする請求項１０に記載の方法。

【請求項12】

前記第１のパラメーターは、第１の信頼レベルに関連付けられ、
前記第２のパラメーターは、第２の信頼レベルに関連付けられ、
前記応答（１２６）は、前記第１の信頼レベルまたは前記第２の信頼レベルを修正することを含む
ことを特徴とする請求項４に記載の方法。

【請求項13】

１つまたは複数のプロセッサー（３１６）によって実行されると、前記１つまたは複数のプロセッサー（３１６）に、請求項１または２のいずれか一項に記載の前記方法を行わせる命令を有することを特徴とする１つまたは複数のコンピューター読み取り可能な記録媒体（３１８）。

【請求項14】

１つまたは複数のプロセッサー（３１６）と、
前記１つまたは複数のプロセッサー（３１６）によって実行されると、前記１つまたは複数のプロセッサー（３１６）に、
第１のセンサー（１０４）から第１の信号を受信させ、前記第１の信号は、環境（１０８）を表す第１のセンサーデータ（１１２）を含み、
前記第１のセンサーデータ（１１２）に少なくとも部分的に基づいて、第１のオブジェクトのグループ（１２８）に関連付けられた第１のパラメーターを決定させ、
第２のセンサー（１０２）から第２の信号を受信させ、前記第２の信号は、前記環境（１０８）を表す第２のセンサーデータ（１１０）を含み、
前記第２のセンサーデータ（１１０）に少なくとも部分的に基づいて、第２のオブジェクトのグループ（１３０）に関連付けられた第２のパラメーターを決定させ、
前記第１のセンサーデータ（１１２）および前記第２のセンサーデータ（１１０）に少なくとも部分的に基づいて、第３のオブジェクトのグループ（１３２）に関連付けられた第３のパラメーターを決定させ、
前記第３のパラメーターと前記第１のパラメーターまたは前記第２のパラメーターとの間の差異を特定させ、
前記差異が特定されると、前記１つまたは複数のプロセッサー（３１６）と通信状態の機械学習システム（３４４）に、前記第１の信号または前記第２の信号のうちの少なくとも１つを含む信号を提供させ、前記機械学習システム（３４４）は、前記提供された信号に基づいてセンサーモダリティのトレーニングを支援する
格納されたコンピューター実行可能な命令を有する１つまたは複数のコンピューター読み取り可能な記録媒体（３１８）と
を備えたことを特徴とするシステム（１１６）。

【請求項15】

前記第１のセンサーは、車両（３０２）に配置された画像取り込みデバイス（１０２）を含み、
前記第２のセンサーは、前記車両（３０２）に配置されたＬＩＤＡＲセンサー（１０４）を含み、
前記コンピューター実行可能な命令は、前記１つまたは複数のプロセッサー（３１６）によって実行されると、前記１つまたは複数のプロセッサー（３１６）に、さらに、
前記車両（３０２）に配置された第３のセンサー（１０６）から第３の信号を受信させ、前記第３のセンサー（１０６）は、ＲＡＤＡＲセンサー（１０６）を含み、前記第３の信号は、前記環境（１０８）を表す第３のセンサーデータ（１１４）を含み、
前記第３のセンサーデータ（１１４）に少なくとも部分的に基づいて、第４のオブジェクトのグループ（１２０）に関連付けられた第４のパラメーターを決定させ、前記差異を特定することは、前記第３のパラメーターと、前記第１のパラメーター、前記第２のパラメーター、または前記第４のパラメーターとの間の差異を特定すること含む
ことを特徴とする請求項１４に記載のシステム（１１６）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センサーデータに関し、より詳細には、センサーデータにおけるエラーの検出に関する。

【背景技術】

【0002】

本特許出願は、「センサーデータにおけるエラーの検出」と題され、２０１８年４月３日に提出の米国特許出願第１５／９４４，２４０号の利益および優先権を主張し、全体が参照により本明細書に組み入れられる。

【0003】

センサーは、環境中のオブジェクトを示すセンサーデータを生成するために使用され得る。例えば、複数のセンサーは、センサーデータを、機械の自律動作を容易にするように構成された認知システム（perception system）に提供し得る。認知システムは、環境中に存在するオブジェクトのグループ（group of object）を、センサーデータに基づいて特定し得る。しかしながら、環境条件、損傷、誤校正（miscalibration）、および他の要因は、１つまたは複数の上記のセンサーの有効性を妨げることが可能である。追加として、特定のセンサーモダリティ（sensor modality）に対する不適当なトレーニングデータは、環境中に配置されたオブジェクトを検出するセンサーモダリティの失敗に帰着し得る。特に、今述べた状況は、例えば、運転者なしに動作する自律車両が、適切な動作のためにセンサーによって生成されるデータに少なくとも部分的に頼るときに問題があり得る。１つまたは複数のセンサーが、認知システムによって特定されるオブジェクトのグループと異なる、および／またはそうでなければ一致しないセンサーデータを供給するならば、自律車両は、通過して進んでいる環境に関係のある不正確な情報に基づいて行動を起こし得る。今述べたことは、上記の車両または機械の動作を妨げることがある。

【0004】

詳細な説明は、添付の図面を参照して説明される。図面において、参照符号の最も左の数字（複数可）は、参照符号が最初に現れる図面を特定する。異なる図面における同一の参照符号は、同様のまたは同じアイテムを示す。

【図面の簡単な説明】

【0005】

【図1】環境中のオブジェクトまたはオブジェクトのグループを特定し、１つまたは複数のセンサーモダリティから受信したデータが、オブジェクトまたはオブジェクトのグループに関連付けられたエラーを含むと決定するための例示的な処理を例示する絵のフロー図である。例えば、上記の処理は、オブジェクトが、個々のセンサーによって生成されたデータに関連付けられたオブジェクトのグループにない、または誤分類されていると決定することを含むことがある。

【図2】例示的な車両が通過して進んでいてセンサーデータを取り込んでいる例示的な環境を例示する。

【図3】オブジェクトを特定し反応を開始するための例示的なシステムを例示する。

【図4A】複数のセンサータイプを有する例示的な車両の側面図を例示する。

【図4B】図４Ａに示す例示的な車両の上面図を例示する。

【図5】環境中のオブジェクトまたはオブジェクトのグループを特定し、１つまたは複数のセンサーモダリティから受信したデータが、オブジェクトまたはオブジェクトのグループに関連付けられたエラーを含むと決定するための別の例示的な処理を例示する絵のフロー図である。上記の例示的な処理は、オブジェクトが、個々のセンサーによって生成されたデータに関連付けられたオブジェクトのグループにない、または誤分類されていると決定することを含むことがある。

【図6】環境中の検出可能なオブジェクトを特定し反応を開始するための例示的な処理を例示するフローチャートである。

【図7】環境中の検出可能なオブジェクトを特定し反応を開始するための別の例示的な処理を例示するフローチャートである。

【発明を実施するための形態】

【0006】

上に述べたように、自律車両および他の機械は、自律車両または機械の周囲の環境において、オブジェクトを検出する認知システムに入力を提供する複数のセンサーに頼る。環境中のオブジェクトを検出する１つまたは複数のセンサーの故障は、上記の車両または機械の動作を妨げ、もしかすると安全ではない動作状態を引き起こし得る。しかしながら、個々のセンサーモダリティのセンサーデータが適切に動作していないこと、またはセンサーモダリティから出力されるデータが異常であることは、すぐに明らかにならないことがある。

【0007】

本出願は、個々のセンサーモダリティ（たとえば、画像データ、ＬＩＤＡＲ（light detection and ranging）センサーデータ、ＲＡＤＡＲ（light detection and ranging）データ、ＳＯＮＡＲ（sound navigation and ranging）データなど）によって生成されたデータを使用して、それぞれのオブジェクトのグループを特定することによって個々のセンサーモダリティに関連付けられたエラーを特定し、それぞれのオブジェクトのグループ（たとえば、処理されたセンサーデータ）を、認知システムの出力と比較することに対する技法を説明する。認知システムの出力は、複数のセンサーからの融合データを含むことがあり、上記の融合データは、環境中に存在しているとして、認知システムによって予測されるオブジェクトのグループを包含するおよび／または含むことがある。上記の比較を使用して、誤動作している、修理の必要がある、および／または校正の必要があるセンサーを特定し得る。追加として、いくつかの例において、認知システムによって生成された融合センサーデータ（fused sensor data）は、個々のセンサーモダリティの性能をさらに改善するために、例えば、機械学習モジュールにより、個々のセンサーモダリティをトレーニングすると、グランドトゥルースとして使用され得る。

【0008】

例示的な実施態様において、本開示の１つまたは複数のシステムは、車両、例えば、自律車両などに配置され、１つまたは複数のプロセッサーおよび／またはリモートコンピューティングデバイスに動作可能に連結された複数のセンサーを含むことがある。１つまたは複数のプロセッサーは、第１の信号を、車両に配置された第１のセンサーから受信し得る。第１のセンサーは、画像取り込みデバイスを含むことがあり、第１の信号は、第１のシーンであり得る、画像取り込みデバイスによって取り込まれるシーン（すなわち、例えば、視野によって決定され得るような、画像センサーに見える環境の一部）を表す画像データを含むことがある。例えば、上記の画像データは、第１のセンサーおよび／または車両が存在する環境において、検出可能な第１のオブジェクトのグループを例示するおよび／または含むことを示し得る。例えば、上記の画像データは、画像取り込みデバイスによって取り込まれ、環境を示す複数の画像を含むことがある。上記の各画像は、環境において、画像取り込みデバイスによって検出可能なそれぞれのオブジェクトのグループを含むことがある。上記の例において、１つまたは複数のプロセッサーは、第１のセンサーから受信される各信号を分析して、各信号に含まれる画像データによって示されるそれぞれのオブジェクトのグループを特定し得る。

【0009】

さらに、システムは、車両上に配置される第２のセンサーを含むこともあり、第２のセンサーは、ＬＩＤＡＲセンサーを含むことがある。１つまたは複数のプロセッサーは、第２の信号をＬＩＤＡＲセンサーから受信するように構成されることがあり、第２の信号は、ＬＩＤＡＲセンサーデータを含むことがある。上記のＬＩＤＡＲセンサーデータは、上に説明した画像データと同時に取り込まれ得る。上記の例において、ＬＩＤＡＲセンサーデータは、上に説明した画像データと同時に、ＬＩＤＡＲセンサーによって取り込まれるそれぞれの第２のシーン（すなわち、ＬＩＤＡＲセンサーに見える環境の一部）を表し得る。例えば、上記のＬＩＤＡＲセンサーデータは、環境内の検出可能な第２のオブジェクトのグループを含む、ＬＩＤＡＲセンサーによって取り込まれる第２のシーンを示し得る。上記の例において、１つまたは複数のプロセッサーは、ＬＩＤＡＲセンサーから受信される各信号を分析して、各信号に含まれるＬＩＤＡＲセンサーデータによって示されるそれぞれのオブジェクトのグループを特定し得る。ＬＩＤＡＲセンサーデータの正確度および／または忠実度に従う、例えば、第２のオブジェクトのグループに含まれるオブジェクトは、画像取り込みデバイスによって検出可能な第１のオブジェクトのグループに含まれるオブジェクトと同一であることがあり、少なくとも第１のオブジェクトのグループの一部と第２のオブジェクトのグループの一部とは、画像およびＬＩＤＡＲセンサーにおいて同時に共に見えることがいえる。

【0010】

さらに、例示的なシステムは、車両上に配置され、車両の環境中のオブジェクトを検出するように構成された１つまたは複数の追加のセンサー（たとえば、ＲＡＤＡＲセンサー、ＳＯＮＡＲセンサー、デプスセンシング（depth sensing）カメラ、タイムオブフライト（time of flight）センサーなど）を含むこともある。１つまたは複数の追加のセンサーは、１つまたは複数のそれぞれの信号を、１つまたは複数のプロセッサーに出力し得る。例えば、１つまたは複数のプロセッサーは、追加のセンサーのうちの少なくとも１つから第３の信号を受信することがあり、第３の信号は、追加のセンサーのうちの少なくとも１つからのセンサーデータを含むことがある。上記のセンサーデータは、上に説明した画像データおよび／またはＬＩＤＡＲセンサーデータと同時に取り込まれ得る。上記の例において、センサーデータは、上に説明した画像データおよび／またはＬＩＤＡＲセンサーデータと同時に、追加のセンサーによって取り込まれるそれぞれの第３のシーン（すなわち、追加のセンサーに見える環境の一部）を表し得る。上記の第３のシーンは、例えば、画像取り込みデバイスおよび／またはＬＩＤＡＲセンサーによって取り込まれる実質的に同一のオブジェクトを含むことがある。例えば、上記のセンサーデータは、環境内の検出可能な第３のオブジェクトのグループを含む、追加のセンサーによって取り込まれる第３のシーンを示し得る。上記の例において、１つまたは複数のプロセッサーは、追加のセンサーから受信される各信号を分析して、各信号に含まれるセンサーデータによって示されるそれぞれのオブジェクトのグループを特定し得る。追加のセンサーから受信されるセンサーデータの正確度および／または忠実度に従う、第３のオブジェクトのグループに含まれる少なくともいくつかのオブジェクトは、画像取り込みデバイスによって検出可能な第１のオブジェクトのグループに含まれる少なくともいくつかのオブジェクトと同一、および／またはＬＩＤＡＲセンサーによって検出可能な第２のオブジェクトのグループに含まれる少なくともいくつかのオブジェクトと同一であり得る。以下に、より詳細に説明するように、本開示の１つまたは複数の例示的なシーン、例えば、それぞれ、画像取り込みデバイス、ＬＩＤＡＲセンサー、および追加のセンサーに関して上に説明した第１、第２、および／または第３のシーンなどは、それぞれのセンサーが位置される環境の実質的に同時の表現を含むことがある。したがって、本開示の１つまたは複数の例示的なシーンは、それぞれのセンサーによって検出される、取り込まれる、感知される、および／またはそうでなければ観測されるような環境の表現を含むことがある。

【0011】

本明細書に説明される例のどれにおいても、１つまたは複数のプロセッサー、および／または１つまたは複数のリモートコンピューティングデバイスは、上に説明した種々のセンサーから受信される１つまたは複数の信号に少なくとも部分的に基づいて、さらなるオブジェクトのグループを特定する、および／または決定することがある。例えば、１つまたは複数のデータ融合処理を通じて、本開示の認知システムは、環境を表す融合センサーデータを生成し得る。例えば、上記の融合センサーデータは、個々のセンサーモダリティから受信されるセンサーデータに少なくとも部分的に基づいて、環境内に存在するとして、認知システムによって予測される、決定される、および／またはそうでなければ示される１つまたは複数のオブジェクトに関する特定のグループを含む、および／または特定し得る。本開示の１つまたは複数のプロセッサーおよび／またはリモートコンピューティングデバイスは、少なくとも、オブジェクトのグループが、複数のソースからの情報を使用して決定され、結果として個々の各センサーモダリティと比較して正確度が相対的に高い可能性を有するので、オブジェクト認識（object recognition）をトレーニングするために、および／または個々のセンサーモダリティの分類処理のために、融合センサーデータをグランドトゥルースとして扱うことがある。

【0012】

いくつかの例において、１つまたは複数のプロセッサーおよび／またはリモートコンピューティングデバイスは、それぞれのセンサーモダリティから受信される信号の各々に含まれるおよび／または関連付けられた情報を、融合センサーデータと（たとえば、融合センサーデータに含まれる特定のオブジェクトのグループと）比較して、それぞれのセンサー信号によって示されるオブジェクトのグループおいて認知されるどんなエラーでも特定し得る。例えば、１つまたは複数のプロセッサーおよび／またはリモートコンピューティングデバイスは、各センサーモダリティの出力を、特定のオブジェクトおよび／または特定のロケーションと相関させ得る。上記のデータの関連付けおよび／またはオブジェクトの特徴付けの技法を使用して、本明細書に説明される各々のセンサーの出力は、比較されることが可能である。上記の比較を通じて、１つまたは複数のプロセッサーおよび／またはリモートコンピューティングデバイスは、融合センサーデータに含まれるが、それぞれのセンサー信号に関連付けられたオブジェクトのグループのうちの少なくとも１つにない、または誤分類されている１つまたは複数のオブジェクトを特定し得る。他の例において、それぞれのセンサー信号における追加のおよび／または異なるエラーは、識別されることがあり、上記の追加のおよび／または異なるエラーは、特に、体勢の違い、体勢の不確実性の違い、オブジェクトの大きさの違い、オブジェクトのロケーションの違い、オブジェクトの範囲（object extent）の違いなどを含むことがある。上記の例において、それぞれのセンサー信号の１つまたは複数に含まれるデータに関連付けられたエラーを特定する、および／またはそうでなければ決定すると（たとえば、融合センサーデータに含まれる特定のオブジェクトが、それぞれのセンサー信号に示されるオブジェクトのグループの少なくとも１つにない、または誤分類されていると決定すると）、本開示のレスポンスシステム（response system）は、今述べたエラーを訂正する、および／または車両の動作の間じゅう、上記のエラーの影響を軽減するように意図される応答を開始し得る。上記の例示的な応答は、本明細書に説明される処理が、車両の動作の間じゅう行われる実施態様において、および／または上記の処理が、オフラインで（たとえば、トレーニング、プログラミング、および／または機械学習訓練の間じゅう）行われる実施態様において開始され得る。追加としてまたは代替として、本明細書に説明される例のどれにおいても、上に説明した種々のセンサーから受信される１つまたは複数の信号は、および／または本明細書に説明されるオブジェクトのグループのどれでも、本開示の機械学習システムに供給され得る。上記の情報を機械学習システムに供給することは、上記のシステムによって利用されるトレーニングデータの正確度を改善するのを支援し、それによって、一般に、システムの性能および／または車両の動作をさらに強化し得る。上記の情報は、本明細書に説明される処理が、車両の動作の間じゅう行われる実施態様において、および／または上記の処理が、オフラインで（たとえば、トレーニング、プログラミング、および／または機械学習訓練の間じゅう）行われる実施態様において機械学習システムに供給され得る。

【0013】

本明細書に説明される技法およびシステムは、多くのやり方において実装され得る。例示的な実装は、図面を参照して以下に提供される。

【0014】

図１は、個々のセンサーデータを融合センサーデータと比較し、それぞれのセンサー信号の１つまたは複数に含まれるデータに関連付けられたエラーを決定すること（たとえば、融合センサーデータに含まれる少なくとも１つのオブジェクトが、個々のセンサーから受信されるデータに少なくとも部分的に基づいて決定されるオブジェクトのグループにない、または誤分類されていると決定すること）に少なくとも部分的に基づいて応答を開始するための例示的な処理に関する絵のフロー図１００である。図１に示すように、例示的なセンサーは、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／または環境１０８を示す信号を生成するように構成されたセンサーのいずれかのタイプであり得る１つもしくは複数の他のセンサー１０６を含むことがある。例えば、上記の環境１０８は、１つまたは複数のオブジェクトを含むことがあり、例えば、上記のセンサー１０６は、ＲＡＤＡＲセンサー、例えばＳＯＮＡＲセンサーなどの超音波トランスデューサー、タイムオブフライトセンサーを、他のセンサーも同様に含むことがある。画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、およびセンサー１０６は、車両に接続されることがあり、車両が、環境１０８を通過して進んでいる間、センサーデータを取り込むことがある。例えば、車両は、少なくとも図２に関して本明細書に説明される例示的な車両などのような、自律車両であり得る。画像取り込みデバイス１０２は、たとえば、１つまたは複数のカメラ（たとえば、ＲＧＢカメラ、モノクロカメラ、強度（グレースケール）カメラ、赤外線カメラ、紫外線カメラ、深度カメラ、ステレオカメラ等）などのような、環境１０８を表す画像を取り込むように構成された画像取り込みデバイスのどんな種類でもあり得る。ＬＩＤＡＲセンサー１０４は、どんなタイプのＬＩＤＡＲセンサーでもあることがあり、いくつかの例は、単一のタイプのセンサーのみ、または環境を表すデータを生成するように構成された異なるタイプのセンサーのどんな組み合わせでも含むことがある。さらに、例示的な目的のために単一のセンサーとして描くが、どんな個数の画像取り込みデバイス（複数可）１０２、ＬＩＤＡＲセンサー（複数可）１０４、および／または他のセンサー１０６（複数可）でも予想される。

【0015】

図１に示される例において、画像取り込みデバイス１０２は、画像データ１１０を取り込んでいるとして描かれる。上記の画像データ１１０は、画像取り込みデバイスによって、１つまたは複数の信号のかたちにおいて、本開示の１つまたは複数のプロセッサーおよび／または他のシステムコンポーネントに提供され得る。例えば、上記の信号は、環境１０８を表す画像データ１１０を含むことがある。例えば、画像データ１１０は、環境１０８を例示する、示す、および／またはそうでなければ表す１つまたは複数の画像を含むことがある。いくつかの例において、画像データ１１０は、画像取り込みデバイス１０２によって取り込まれた１つまたは複数の画像を含むことがあり、画像データ１１０は、特定の時間に、画像取り込みデバイス１０２によって検出された環境１０８に関して対応するオブジェクトのグループを含むシーンＡを例示する、示す、および／またはそうでなければ表すことがある。以下に説明するように、いくつかの例において、画像データ１１０は、他のセンサー（たとえば、ＬＩＤＡＲセンサー１０４、追加のセンサー１０６など）から受信された追加のセンサーデータに融合されて、環境１０８に関して、より完全なまたは正確な表現を生成し得る。

【0016】

図１に示される例示的なＬＩＤＡＲセンサー１０４は、ＬＩＤＡＲセンサーデータ１１２を取り込んでいるとして描かれる。上記のＬＩＤＡＲセンサーデータ１１２は、ＬＩＤＡＲセンサー１０４によって、１つまたは複数の信号のかたちにおいて、本開示の１つまたは複数のプロセッサーおよび／または他のシステムコンポーネントに提供され得る。例えば、上記の信号は、環境１０８を表すＬＩＤＡＲセンサーデータ１１２を含むことがある。ＬＩＤＡＲセンサーデータ１１２は、特定の時間に、ＬＩＤＡＲセンサー１０４によって検出されるようなそれぞれのオブジェクトのグループを含むシーンＢを例示する、示す、および／またはそうでなければ表し得る。ＬＩＤＡＲセンサーデータ１１２が画像データ１１０と同時に取り込まれる例において、シーンＢに含まれるおよび／または表されるオブジェクトのグループは、画像取り込みデバイスに関連付けられたシーンＡに含まれるオブジェクトのグループと実質的に同一であり得る。上記の例において、ＬＩＤＡＲセンサー１０４の各データ取得は、それぞれのシーンを表すＬＩＤＡＲセンサーデータ１１２に帰着し得る。

【0017】

いくつかの例において、ＬＩＤＡＲセンサーデータ１１２は、時が経つにつれ、ＬＩＤＡＲセンサー１０４の複数のデータ取得に対応することがあり、ＬＩＤＡＲセンサーデータ１１２は、他のセンサーからのデータ（たとえば、画像データ１１０、センサーデータ１１４など）に融合されて、環境１０８に関して、より完全なまたは正確な表現を生成し得る。ＬＩＤＡＲセンサー１０４は、１つまたは複数のレーザーが、（たとえば、実質的に垂直な軸の周りを）回転するように取り付けられ、それによって、たとえば、環境１０８に関連付けられたＬＩＤＡＲセンサーデータ１１２を取り込むように、レーザーに、３６０度のスウィープをさせるように構成されることがある。例えば、ＬＩＤＡＲセンサー１０４は、光エミッターおよび光センサーを有し、光エミッターが、レンジが予想されることを決定するどんな他の発光および光検出でも（たとえば、フラッシュＬＩＤＡＲ、ＭＥＭＳ ＬＩＤＡＲ、ソリッドステートＬＩＤＡＲなど）通じて、光を光センサーに反射するオブジェクトまたは表面に、高度に集束された光を向ける１つまたは複数のレーザーを含むことがある。ＬＩＤＡＲセンサー１０４の測定値は、ＬＩＤＡＲセンサー１０４によって取り込まれた位置または距離に対応する座標（たとえば、デカルト座標、極座標など）を有する３次元のＬＩＤＡＲセンサーデータとして表され得る。例えば、３次元のＬＩＤＡＲセンサーデータは、３次元の地図またはポイントクラウドを含むことがあり、光エミッターから出て、オブジェクトまたは表面で終わる複数のベクトルとして表され得る。いくつかの例において、変換の動作を使用して、３次元のＬＩＤＡＲセンサーデータを、マルチチャネルの２次元データに変換し得る。いくつかの例において、ＬＩＤＡＲセンサーデータ１１２は、自動的に分割されることがあり、例えば、分割されたＬＩＤＡＲセンサーデータは、自律車両に対して軌跡を決定するための入力として使用され得る。

【0018】

図１に示される例示的なセンサー１０６は、センサーデータ１１４を取り込むように構成され得る。上記のセンサーデータ１１４は、センサー１０６によって、１つまたは複数の信号のかたちにおいて、本開示の１つまたは複数のプロセッサーおよび／または他のシステムコンポーネントに提供され得る。例えば、上記の信号は、環境１０８を表すセンサーデータ１１４を含むことがある。センサーデータ１１４は、特定の時間に、センサー１０６によって検出されるようなそれぞれのオブジェクトのグループを含むシーンＣを例示する、示す、および／またはそうでなければ表し得る。センサーデータ１１４が画像データ１１０と同時に取り込まれる例において、シーンＣに含まれるおよび／または表されるオブジェクトのグループは、画像取り込みデバイスに関連付けられたシーンＡに含まれるオブジェクトのグループと実質的に同一であり得る。同様に、センサーデータ１１４が、ＬＩＤＡＲセンサーデータ１１２と同時に取り込まれる例において、シーンＣに含まれるオブジェクトのグループは、シーンＢに含まれるオブジェクトのグループと実質的に同一であり得る。いくつかの例において、センサーデータ１１４は、他のセンサー（たとえば、ＬＩＤＡＲセンサー１０４、画像取り込みデバイス１０２など）から受信される追加のセンサーデータに融合されて、環境１０８に関して、より完全なまたは正確な表現を生成し得る。

【0019】

いくつかの例において、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／またはセンサー１０６は、環境１０８に関して異なる視野を取り込むことがある。結果として、各シーンＡ、Ｂ、Ｃは、それぞれのセンサーによって感知される、環境１０８のそれぞれのオブジェクトのグループを含むことがある。例えば、画像取り込みデバイス１０２によって生成される信号は、第１のシーンＡを表す画像データ１１０を含むことがあり、図１に示すように、第１のシーンＡは、特定の時間において、画像取り込みデバイス１０２によって検出される、対応する第１のオブジェクトのグループ１２８を例示するおよび／またはそうでなければ含むことがある。同様に、ＬＩＤＡＲセンサー１０４によって生成される信号は、第２のシーンＢを表すＬＩＤＡＲセンサーデータ１１２を含むことがあり、第２のシーンＢは、特定の時間において、ＬＩＤＡＲセンサー１０４によって検出される、対応する第２のオブジェクトのグループ１３０を含むことがある。同じように、センサー１０６によって生成される信号は、第３のシーンＣを表すセンサーデータ１１４を含むことがあり、第３のシーンＣは、特定の時間において、センサー１０６によって検出される、対応する第３のオブジェクトのグループ１３２を含むことがある。上述のように、本明細書に説明される例のどれにおいても、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４は、それぞれのセンサー１０２、１０４、１０６によって、実質的に同時に取り込まれ得る。上記の例において、実質的に同時に、シーンＡ、Ｂ、Ｃは、環境１０８の表現を含むことがある。追加として上記の例において、第１のオブジェクトのグループ１２８は、第２および第３のオブジェクトのグループ１３０、１３２と実質的に同一のオブジェクトを含むことがある。同じように、第２のオブジェクトのグループ１３０は、第１および第３のオブジェクトのグループ１２８、１３２と実質的に同一のオブジェクトを含むことがある。同様に、第３のオブジェクトのグループ１３２は、第１および第２のオブジェクトのグループ１２８、１３０と実質的に同一のオブジェクトを含むことがある。

【0020】

図１に示すように、例示的な処理１００は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４を、上記のデータに少なくとも部分的に基づいて環境１０８に存在する１つまたは複数のオブジェクトおよび／または１つまたは複数のオブジェクトのグループを特定するように構成された１つまたは複数のプロセッサーに、伝達することを含むことがある。いくつかの例において、１つまたは複数のプロセッサーは、認知システム１１６を含むことがあり、および／または認知システム１１６と通信状態であり得る。１つまたは複数のプロセッサーおよび／または認知システム１１６は、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／またはセンサー１０６から、それぞれの信号を受信するように構成され得る。さらに、１つまたは複数のプロセッサーおよび／または認知システム１１６は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、およびセンサーデータ１１４に少なくとも部分的に基づいて、それぞれ、オブジェクトのグループ１２８、１３０、１３２を特定するように構成されることもある。

【0021】

さらに、１つまたは複数のプロセッサーおよび／または認知システム１１６は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、およびセンサーデータ１１４に少なくとも部分的に基づいて、融合センサーデータ１３４を生成するように構成され得る。上記の融合センサーデータ１３４は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４に関連付けられた特定の時間において、環境１０８内に存在するとして、認知システム１１６によって予測される、決定される、および／または示されるオブジェクトのグループ１２０を包含するおよび／または含むことがある。例示的なオブジェクトのグループ１２０は、融合センサーデータ１３４および／または認知システム１１６のどんな他の出力にでも含まれることがあり、環境１０８内に存在するとして、認知システム１１６によって決定される１つまたは複数のオブジェクト１２２を含むおよび／または特定することがある。いくつかの例において、認知システム１１６は、１つまたは複数のそれぞれのセンサー信号に含まれるデータに関連付けられたエラーを決定し得る。例えば、認知システム１１６は、融合センサーデータ１３４に含まれる（たとえば、特定のオブジェクトのグループ１２０に含まれる）オブジェクト１２２が、画像データ１１０に関連付けられた（たとえば、に基づいて決定される）オブジェクトのグループ１２８、ＬＩＤＡＲセンサーデータ１１２に関連付けられた（たとえば、に基づいて決定される）オブジェクトのグループ１３０、および／またはセンサーデータ１１４に関連付けられた（たとえば、に基づいて決定される）オブジェクトのグループ１３２にないか、または誤分類されているかどうかを決定し得る。追加としてまたは代替として、本明細書に説明される例のどれにおいても、認知システム１１６は、上記のその他のエラーのどれでも決定し得る。例えば、さらに、認知システム１１６によって決定される上記のエラーは、特に、体勢の違い、体勢の不確実性の違い、オブジェクトの大きさの違い、オブジェクトのロケーションの違い、オブジェクトの範囲の違いなどを含むこともある。依然としてさらなる例において、認知システム１１６は、画像データ１１０においてエラーまたは他の不一致を特定するおよび／またはそうでなければ決定するために、画像データ１１０を、ＬＩＤＡＲセンサーデータ１１２と、および／またはセンサーデータ１１４と比較し得る。追加としてまたは代替として、認知システム１１６は、ＬＩＤＡＲセンサーデータ１１２においてエラーまたは他の不一致を特定するおよび／またはそうでなければ決定するために、ＬＩＤＡＲセンサーデータ１１２を、画像データ１１０と、および／またはセンサーデータ１１４と比較し得る。さらに、認知システム１１６は、センサーデータ１１４においてエラーまたは他の不一致を特定するおよび／またはそうでなければ決定するために、センサーデータ１１４を、画像データ１１０と、および／またはＬＩＤＡＲセンサーデータ１１２と比較し得る。

【0022】

いくつかの実施態様において、認知システム１１６は、１つまたは複数のアルゴリズム、ニューラルネットワーク、および／または他のコンポーネントを利用して、オブジェクトのグループ１２０に含まれる各オブジェクト、および／または各オブジェクトのパラメーター（たとえば、各パラメーターに関連付けられた範囲、大きさ、向きなど、および／または不確実性）を特定し得る。例えば、認知システム１１６は、１つまたは複数のデータ関連付けエンジン、オブジェクト認識エンジン、オブジェクト分類エンジン、および／または他のコンポーネントを使用して、本明細書に説明される個々のセンサーモダリティの出力を、特定のオブジェクトに相関させ、それによって、オブジェクトまたはオブジェクトのグループを特定し得る。追加として、認知システム１１６に関連付けられたオブジェクト検出システム１１８は、対応する時間において、環境１０８内の各それぞれの特定されたオブジェクトに関して特定のロケーションを検出する、および／またはそうでなければ決定することがある。例えば、オブジェクト検出システム１１８は、オブジェクトのグループ１２０に含まれるオブジェクト１２２の特定のロケーションＬを、オブジェクト１２２がロケーションＬに配置される／配置された特定の時間も同様に、決定し得る。上記のロケーションＬは、オブジェクト１２２の位置を特定する座標（たとえば、デカルト座標、極座標、ＧＰＳなど）を有し得る。いくつかの例において、オブジェクトのグループ１２８を示す画像データ１１０は、第１の時間に画像取り込みデバイス１０２によって決定され得る。追加として、オブジェクトのグループ１３０を示すＬＩＤＡＲセンサーデータ１１２は、画像データ１１０とともに同時に（たとえば、第１の時間に）ＬＩＤＡＲセンサー１０４によって決定され得る。上記の例において、オブジェクト検出システム１１８は、オブジェクト１２２を特定することがあり、第１の時間に対応するオブジェクト１２２の特定のロケーションＬを決定し得る。

【0023】

いくつかの例において、さらに、認知システム１１６は、レスポンスシステム１２４と通信状態であることもあり、いくつかの上記の例において、認知システム１１６が、オブジェクトのグループ１２０を含む融合センサーデータ１３４を生成すると、オブジェクトのグループ１２０を示す１つまたは複数の信号は、認知システム１１６によってレスポンスシステム１２４に伝達され得る。レスポンスシステム１２４は、融合センサーデータ１３４、オブジェクトのグループ１２０、および／または特定されたオブジェクト１２２を示す１つまたは複数の信号に少なくとも部分的に基づいて、応答を開始する、および／またはどんな他の作動１２６でも開始するように構成され得る。例えば、図１に示すように、レスポンスシステム１２４は、認知システム１１６が、１つまたは複数の決定されたオブジェクトのグループ１２８、１３０、１３２に関連付けられた、および／または画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、もしくはセンサーデータ１１４のうちの少なくとも１つに関連付けられた１つまたは複数のエラーを特定する影響を軽減するように意図される作動１２６を伝達するように構成され得る。例えば、上記の作動１２６は、融合センサーデータ１３４に含まれるが、オブジェクトのグループ１２８、１３０、１３２の１つまたは複数にない、または誤分類されているオブジェクト１２２を特定する認知システム１１６に関する影響を軽減し得る。追加としてまたは代替として、少なくとも図５に関して、以下に説明するように、さらに認知システム１１６は、機械学習システムと通信状態であることもあり、いくつかの上記の例において、認知システム１１６が、１つまたは複数の決定されたオブジェクトのグループ１２８、１３０、１３２に関連付けられた、および／または画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、もしくはセンサーデータ１１４のうちの少なくとも１つに関連付けられた１つまたは複数のエラーを特定すると、認知システム１１６は、エラーを示す１つまたは複数の信号を、機械学習システムに提供し得る。例えば、上記の実施態様において、認知システム１１６は、１つまたは複数の決定されたオブジェクトのグループ１２８、１３０、１３２を示す、および／または画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、もしくはセンサーデータ１１４のうちの少なくとも１つを含む信号を、機械学習システムに提供し得る。機械学習システムは、上記の信号に含まれる情報を使用して、決定されたエラーに対応するセンサーモダリティをトレーニングするのを支援し得る。

【0024】

上述のように、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、およびセンサー１０６の各々は、それぞれの信号を生成することがあり、上記の信号を、認知システム１１６に提供し得る。いくつかの例において、上記の信号は、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／またはセンサー１０６よって、実質的に連続して生成され得る。他の例において、上記の信号は、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／またはセンサー１０６よって、規則的なまたは不規則的な時間間隔にて生成され得る。

【0025】

さらに上記されるように、画像取り込みデバイス１０２によって生成される第１の信号は、環境１０８を示すシーンＡを表す画像データ１１０を含むことがある。第１の信号に含まれるシーンＡおよび／または画像データ１１０は、画像取り込みデバイス１０２が存在する環境１０８において検出される（たとえば、認知システム１１６が第１の信号を処理して決定し得る）第１のオブジェクトのグループ１２８を含む、および／または示すことがある。同様に、ＬＩＤＡＲセンサー１０４によって生成される第２の信号は、環境１０８を示すシーンＢを表す画像データ１１０を含むことがある。第２の信号に含まれるシーンＢおよび／またはＬＩＤＡＲセンサーデータ１１２は、環境１０８において検出される（たとえば、認知システム１１６が第２の信号を処理して決定し得る）第２のオブジェクトのグループ１３０を含む、および／または示すことがある。同じように、追加のセンサー１０６によって生成される第３の信号は、環境１０８を示すシーンＣを表すセンサーデータ１１４を含むことがある。第３の信号に含まれるシーンＣおよび／またはセンサーデータ１１４は、環境１０８において検出される（たとえば、認知システム１１６が第３の信号を処理して決定し得る）第３のオブジェクトのグループ１３２を含む、および／または示すことがある。上記の例において、さらに、認知システム１１６は、本明細書に説明される１つまたは複数の例示的な融合技法を使用して、第１の信号、第２の信号、および／または第３の信号に基づいて、融合センサーデータ１３４を生成することもある。さらに、認知システム１１６、オブジェクトのグループ１２０を決定する、および／または１つまたは複数の受信信号に含まれる画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４に少なくとも部分的に基づいて、環境１０８に存在する１つまたは複数の特定のオブジェクト１２２を特定することもある。さらに、認知システム１１６は、少なくとも１つのオブジェクト１２２が、融合センサーデータ１３４に含まれ、第１のオブジェクトのグループ１２８、第２のオブジェクトのグループ１３０、または第３のオブジェクトのグループ１３２のうちの少なくとも１つにない、または誤分類されていると決定することもある。上記の決定は、次々に、上記の不一致を訂正するために、応答を開始するおよび／またはどんな他の動作１２６でも開始することがある、レスポンスシステム１２４に伝達され得る。さらに、上記の決定は、本明細書に説明される機械学習システムに伝達されることもある。上記の決定および／また対応する情報は、本明細書に説明される処理が、オンラインで（たとえば、車両の動作の間じゅう、車両に配置された１つまたは複数のプロセッサーによって）行われる実施態様において、および／または上記の処理が、オフラインで（たとえば、上記の車両に関連付けられたトレーニング、プログラミング、および／または機械学習訓練の間じゅう、１つまたは複数のリモートコンピューティングデバイスによって）行われる実施態様において、レスポンスシステム１２４に伝達され得ることが理解される。同じように、上記の決定および／または対応する情報は、本明細書に説明される処理がオンラインで行われる実施態様において、および／または上記の処理がオフラインで行われる実施態様において、機械学習システムに供給され得る。

【0026】

本明細書に説明される例のどれにおいても、種々のセンサーモダリティは、各々、そこに関連付けられた信頼の対応するレベルを有し得る。例えば、画像取り込みデバイス１０２によって提供される信号および／または画像データ１１０は、相対的に高い第１の信頼レベル（または対応して低い不確実性）によって特徴付けられ得る。例えば、上記の信号および／または画像データ１１０は、約９０％から約９８％までの間の第１の信頼レベルによって特徴付けられ得る。追加として、例えば、ＬＩＤＡＲセンサー１０４によって提供される信号および／またはＬＩＤＡＲセンサーデータ１１２は、画像取り込みデバイス１０２によって提供される信号および／または画像データ１１０に関連付けられた第１の信頼レベルよりも低い第２の信頼レベルを有し得る。例えば、上記の信号および／またはＬＩＤＡＲセンサーデータ１１２は、約８５％から約９０％までの間の第２の信頼レベルによって特徴付けられ得る。単に、前述の信頼レベルは、例であり、さらに実施態様において、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４は、上に特定された信頼レベルよりも、より大きいまたはより小さい信頼レベルによって特徴付けられ得る。特定のオブジェクトが、認知システム１１６によって、画像取り込みデバイス１０２に関連付けられたオブジェクトのグループ１２８に含まれるとして決定されるが、認知システム１１６によって、ＬＩＤＡＲセンサー１０４に関連付けられたオブジェクトのグループ１３０にない、または誤分類されているとして決定される例において、認知システム１１６は、上記の特定のオブジェクトを、第１の信頼レベルまたは第２の信頼レベルのうちの少なくとも１つに少なくとも部分的に基づいて、融合センサーデータ１３４に含むことがある（たとえば、オブジェクトのグループ１２０における特定のオブジェクトを含むことがある）。上述のように、追加の例において、認知システム１１６は、１つまたは複数のそれぞれのセンサー信号に含まれるデータに関連付けられた１つまたは複数の追加のおよび／または異なるエラーを決定し得る。

【0027】

依然としてさらなる例において、統計情報は、認知システム１１６によってアクセス可能な、および／またはそうでなければ１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、またはセンサー１０６に関連付けられたメモリーに格納され得る。例えば、上記の統計情報は、センサーのそれぞれの１つに関連付けられ、センサーによって取り込まれたデータの正確度および／または一貫性を示す集約された実測データを含むことがある。例えば、ＬＩＤＡＲセンサー１０４は、特定のオブジェクトを約１０ｍ未満の距離から感知しているとき、約９５％正確であるＬＩＤＡＲセンサーデータ１１２を取り込むことがある。上記の例において、認知システム１１６は、特定のオブジェクトを、９５％の正確度を有するセンサーデータ１１２を使用して特定し得る。追加としてまたは代替として、ＬＩＤＡＲセンサー１０４は、特定のオブジェクトを、約１０ｍより遠く約３０ｍより近い距離から感知しているとき、約９０％正確であるＬＩＤＡＲセンサーデータ１１２を取り込むことがある。上記の例において、認知システム１１６は、特定のオブジェクトを、９０％の正確度を有するセンサーデータ１１２を使用して特定し得る。上記の正確度の百分率および距離は、単に例示的である。さらにその上、上記の正確度の百分率および／または他の統計情報は、１つまたは複数の環境１０８において、ＬＩＤＡＲセンサー１０４の繰り返される使用に基づく期間にわたって決定され得る。追加としてまたは代替として、上記の正確度の百分率および／または他の統計情報は、ＬＩＤＡＲセンサー１０４の試験を通じて実測として決定され得る。

【0028】

さらに、上記の例において、認知システム１１６および／または車両の１つまたは複数のプロセッサーに関連付けられた他のコンポーネントは、上記の格納された統計情報と、車両の使用の間じゅう、期間にわたって収集された集約される統計情報との間の確率的な比較または他の比較を行うことがある。例えば、認知システム１１６および／または車両の１つまたは複数のプロセッサーに関連付けられた他のコンポーネントは、車両の使用の間じゅう、１つまたは複数のセンサーに対応する正確度の百分率および／または他の統計情報を集約し得る。上記の例において、認知システム１１６および／または車両の１つまたは複数のプロセッサーに関連付けられた他のコンポーネントは、上記の「使用中」の統計情報を、対応するセンサーモダリティに関連付けられた格納された統計情報と比較し得る（たとえば、ＬＩＤＡＲセンサー１０４の使用中の統計情報が、格納されたＬＩＤＡＲセンサーの統計情報と確率的に比較され得る）。上記の例において、使用中の統計情報（たとえば、正確度の百分率）が、車両の使用の間じゅう、格納された統計情報の予め決められたレンジ（たとえば、＋／－３％）外であるならば、上記の決定は、次々に、上記の不一致を訂正するために、応答を開始するおよび／またはどんな他の動作１２６でも開始することがある、レスポンスシステム１２４に伝達され得る。追加としてまたは代替として、上記の決定は、ＬＩＤＡＲセンサー１０４を使用して収集されたＬＩＤＡＲセンサーデータ１１２に、種々のセンサーモダリティのトレーニングにおいて使用されなくさせることがある。たとえば、上記の決定は、ＬＩＤＡＲセンサー１０４を使用して収集されたＬＩＤＡＲセンサーデータ１１２に、上に説明した機械学習システムに提供されなくさせることがある。

【0029】

図２は、例示的な車両２０２が通過して進んでいる例示的な環境２００を示す。例示的な車両２０２は、例えば、ドライバー（または乗員）がいかなる時点においても車両を制御することが期待されない、全行程にすべてのセーフティクリティカルの機能を実行する性能がある車両を記述する、米国連邦道路交通安全局によって発行されるレベル５分類に応じて、動作するように構成された自律車両などのような無人運転車両であることがある。そのような例においては、車両２０２が、すべての駐車機能を含む、行程の開始から完了までのすべての機能を制御するように構成されることがあるので、それは、ドライバー、ならびに／または、ハンドル、アクセルペダル、および／もしくはブレーキペダルなど、車両２０２を運転するための制御を含まないことがある。今述べたことは、単に例であり、本明細書に説明されるシステムおよび方法は、常にドライバーによって手動により制御される必要がある車両から、部分的にまたは完全に自律的に制御される車両までに及ぶ車両を含む、陸上輸送の、航空輸送の、または水上輸送のどんな車両にでも組み入れられることがある。

【0030】

例示的な車両２０２は、例えば、バン、スポーツユーティリティービークル、クロスオーバービークル、トラック、バス、農業車両、および建設車両など、どんな構成の車両でもあり得る。車両２０２は、１つもしくは複数の内燃機関、１つもしくは複数の電気モーター、水素動力、それらのどんな組み合わせでも、および／または他の適したどんな動力源によってでも、動力供給されることがある。例示的な車両２０２が４つの車輪２０４を有するが、本明細書に説明されるシステムおよび方法は、より少ないまたはより多い数の車輪、タイヤ、および／またはトラックを有する車両に組み入れられ得る。例示的な車両２０２は、四輪操舵を有することがあり、一般に、たとえば、車両２０２の第１の端部２０６が、第１の方向２０８に進むと車両２０２の前方端部であるような、および第１の端部２０６が、図２に示すように、反対の第２の方向２１０に進むと車両２０２の後方端部になるような、すべての方向において等しい性能特性を有して動作することがある。同様にして、車両２０２の第２の端部２１２は、第２の方向２１０に進むと車両２０２の前方端部であり、および反対の第１の方向２０８に進むと、第２の端部２１２が、車両２０２の後方端部になるようである。今までに述べた例示的な特性は、たとえば、駐車場および都市エリアなど、狭いスペースまたは混雑した環境において、より高い操縦性を容易にすることがある。

【0031】

車両２０２は、車両２０２の軌道を決定するために、環境２００におけるオブジェクトを示すセンサーデータに少なくとも部分的に頼りながら、環境２００を通過して進むことがある。例えば、車両２０２が環境２００を通過して進みながら、１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／または他の種類のセンサー１０６は、検出されるオブジェクト（例えば、図２に示される車両２１４、および／または歩行者、建物、障壁、道路標識など）に関連付けられたデータを取り込む。例えば、取り込まれたデータは、車両２０２の軌道を決定するための入力として使用され得る。図２に概略的に描くように、図１に関して上述のように、車両２０２は、１つまたは複数のセンサー（たとえば、画像取り込みデバイス（複数可）１０２、ＬＩＤＡＲセンサー（複数可）１０４、および／または他の種類のセンサー（複数可）１０６）から、それぞれの信号を受信するように構成された認知システム１１６を含むことがある。いくつかの例において、認知システム１１６は、１つまたは複数の上記の信号に少なくとも部分的に基づいて、１つまたは複数のオブジェクト（たとえば、図２に例示される１つまたは複数の車両２１４、図１に関して説明された１つまたは複数のオブジェクトのグループ１２８、１３０、１３２など）を特定するように構成され得る。さらに、認知システム１１６は、オブジェクトのグループ１２０を含む融合センサーデータ１３４を生成するように構成されることもある。上記の例において、さらに、認知システム１１６は、１つまたは複数のそれぞれのセンサー信号に含まれるデータに、および／または１つまたは複数のオブジェクトのグループ１２８、１３０、１３２に関連付けられたエラーを決定するように構成されることもある。例えば、認知システム１１６に関連付けられたオブジェクト検出システム１１８は、オブジェクトのグループ１２８、１３０、１３２の１つまたは複数にない、または誤分類されているオブジェクトのグループ１２０の１つまたは複数のオブジェクト１２２を特定するように構成され得る。上記の例において、認知システム１１６に関連付けられたレスポンスシステムは、上記の不一致を訂正するために、応答および／またはどんな他の動作でも開始し得る。

【0032】

図３は、本明細書に説明される例示的な処理のうちの１つまたは複数を実装するための例示的なシステム３００を例示するブロック図である。例えば、システム３００は、本明細書に説明されるセンサーデータに少なくとも部分的に基づいて、オブジェクトを特定し応答を開始するように構成され得る。少なくとも１つの例において、システム３００は、図２を参照して上に説明された車両２０２と同一車両であることが可能である車両３０２を含むことが可能である。

【0033】

車両３０２は、車両コンピューティングデバイス３０４、１つまたは複数のセンサーシステム３０６、１つまたは複数のエミッター３０８、１つまたは複数の通信接続３１０、少なくとも１つの直接接続３１２、および１つまたは複数のドライブモジュール３１４を含むことが可能である。

【0034】

車両コンピューティングデバイス３０４は、１つまたは複数のプロセッサー３１６と、１つまたは複数のプロセッサー３１６に通信接続されたメモリー３１８とを含むことが可能である。例示された例において、車両３０２は、自律車両であるが、しかしながら、車両３０２は、どんな他の種類の車両でもあることが可能であろう。例示される例において、車両コンピューティングデバイス３０４のメモリー３１８は、ローカリゼーションシステム３２０、認知システム３２２（たとえば、図１および２に関して上に説明され、検出システム１１８を含む認知システム１１６）、プランニングシステム３２４、１つまたは複数のシステムコントローラー３２６、予測システム３２８、およびレスポンスシステム３３０（たとえば、図１および２に関して上に説明されたレスポンスシステム１２４）を格納する。例示の目的のために図３においてメモリー３１８にあるように描かれるが、追加としてまたは代替として、認知システム３２２、レスポンスシステム３３０、および／または車両コンピューティングデバイス３０４の他のコンポーネントは、車両３０２にアクセス可能であり得る（たとえば、リモートとして格納される）ことが予想される。

【0035】

少なくとも１つの例において、ローカリゼーションシステム３２０は、車両３０２が、センサーシステム（複数可）３０６と、センサーシステム（複数可）３０６から受信されるセンサーデータに少なくとも部分的に基づいて、実体の検出、分割（segmentation）、および／または分類を行う認知システム３２２と、センサーシステム（複数可）３０６から受信されるセンサーデータに少なくとも部分的に基づいて、車両３０２を制御するのに使用されるルートおよび／または軌道を決定するプランニングシステム３２４とから受信されるセンサーデータに少なくとも部分的に基づいて、ローカルおよび／またはグローバルのマップに関している場所を決定することが可能である。使用可能なローカライザーシステム、認知システム、およびプランニングシステムの追加の詳細は、「Adaptive Mapping to Navigate Autonomous Vehicle Responsive to Physical Environment Changes」と題され、２０１５年１１月４日に提出の米国特許出願第１４／９３２，９６３号、および「Trajectory Generation and Execution Architecture」と題され、２０１７年６月２３日に提出の第１５／６３２，２０８号に見つけられることが可能であり、両方が参照により本明細書に組み入れられる。車両３０２が自律車両ではない例において、１つまたは複数の上記のコンポーネントは、車両３０２から省略されることが可能である。

【0036】

少なくとも１つの例において、ローカリゼーションシステム３２０、認知システム３２２、および／またはプランニングシステム３２４は、センサーシステム（複数可）から受信したセンサーデータを処理することが可能であり、それぞれの出力を、１つまたは複数のネットワーク（複数可）３３２を介して、１つまたは複数のリモートコンピューティングデバイス３３４（たとえば、１つまたは複数のサーバーコンピューターまたは他のコンピューティングデバイス）に送ることが可能である。上記の例において、センサーシステム（複数可）３０６は、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／または上に説明された１つまたは複数の追加のセンサー１０６を含むことがある。少なくとも１つの例にて、ローカリゼーションシステム３２０、認知システム３２２、および／またはプランニングシステム３２４は、それらのそれぞれの出力を、特定の周波数において、予め決められた時の経過後において、ほぼリアルタイムにおいてなど、１つまたは複数のリモートコンピューティングデバイス（複数可）３３４に送ることが可能である。

【0037】

少なくとも１つの例において、１つまたは複数のシステムコントローラー（複数可）３２６は、車両３０２の操舵、推進、制動、安全、エミッター、通信、および他のシステムを制御するように構成されることが可能である。今述べたシステムコントローラー（複数可）３２６は、車両３０２のドライブモジュール（複数可）３１４および／または他のコンポーネントの対応するシステムに対して通信するおよび／または制御することが可能である。

【0038】

少なくとも１つの例において、予測システム３２８は、センサーデータを、センサーシステム（複数可）３０６から直に、および／または他のシステムのうちの１つ（たとえば、ローカリゼーションシステム３２０、認知システム３２２など）から受信することが可能である。いくつかの例において、予測システム３２８が、センサーデータをセンサーシステム（複数可）３０６から受信するならば、センサーデータは、生のセンサーデータであることが可能である。追加および／または代替の例において、予測システム３２８が、センサーデータを他のシステムのうちの１つから受信するならば、センサーデータは、処理されたセンサーデータであることが可能である。たとえば、例において、ローカリゼーションシステム３２０は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４を処理して、車両３０２がローカルおよび／またはグローバルのマップに関している場所を決定することが可能であり、上記の情報を示す処理されたセンサーデータ（たとえば、ロケーションデータ）を出力することが可能である。追加としてまたは代替として、認知システム３２２は、センサーデータを処理して、オブジェクトの検出、分割、および／または分類を行うことが可能である。いくつかの例において、認知システム３２２は、車両３０２に最も近いオブジェクト（たとえば、図１に関して上に説明されたオブジェクト１２２）の存在（presence）、および／またはオブジェクトの種類（たとえば、車、歩行者、サイクリスト、障壁、道路標識、不明など）としてのオブジェクトの分類を示す処理されたセンサーデータを提供することが可能である。追加および／または代替の例において、認知システム３２２は、検出される実体および／または実体が置かれる環境に関連付けられた１つまたは複数の特性を示す処理されたセンサーデータを提供することが可能である。いくつかの例において、認知システム３２２によって特定されるオブジェクト１２２に関連付けられた特性は、制限しないが、ｘ位置（グローバルポジション）、ｙ位置（グローバルポジション）、ｚ位置（グローバルポジション）、向き、オブジェクトの種類（たとえば、分類）、オブジェクトの速度などを含むことが可能である。環境に関連付けられた特徴は、制限しないが、環境における別のオブジェクトの存在、環境における別のオブジェクトの状態、時刻、曜日、季節、気象条件、闇／光のインディケーションなどを含むことが可能である。

【0039】

例えば、センサーシステム（複数可）３０６は、画像取り込みデバイス１０２を、例えば、どんなカメラ（たとえば、ＲＧＢカメラ、モノクロカメラ、強度（グレースケール）カメラ、赤外線カメラ、紫外線カメラ、深度カメラ、ステレオカメラ等）でも、含むことがある。上記の画像取り込みデバイス１０２は、オブジェクトのグループ１２８を示す画像データ１１０を取り込むことがあり、センサーシステム（複数可）３０６は、画像データ１１０を、後続の処理のために、認知システム３２２に、および／または車両コンピューティングデバイス３０４の他のシステムに送信し得る。

【0040】

同じように、センサーシステム（複数可）３０６は、本明細書に説明されるように、使用のためのＬＩＤＡＲセンサーデータ１１２を取り込むように構成された１つまたは複数のＬＩＤＡＲセンサー１０４を含むことがある。例えば、センサーシステム（複数可）３０６は、複数のＬＩＤＡＲセンサー１０４からのＬＩＤＡＲデータを結合してまたは合成して、複数のＬＩＤＡＲセンサー１０４によって生成されるＬＩＤＡＲセンサーデータ１１２であり得る、ＬＩＤＡＲデータのメタスピン（meta spin）を生成するように構成され得る。ＬＩＤＡＲデータのメタスピンの場合に、センサーシステム（複数可）３０６は、メタスピンデータ（meta spin data）の仮想の原点（たとえば、共通の原点）を決定するように構成され得る。いくつかの例において、センサーシステム（複数可）３０６は、ＬＩＤＡＲセンサー１０４と、オブジェクトまたは表面の点との間のレンジを決定するように構成されることがあり、いくつかの例において、センサーシステム（複数可）３０６は、それぞれのＬＩＤＡＲセンサー１０４によって取り込まれるおよび／または感知される各点に対して、表面法線ベクトルを決定するように構成され得る。制限でない例として、上記の表面法線の決定は、点から、その点に最も近い近傍の点のうちの２点までの方向を示すベクトルの外積の法線を計算することによって行われることがある。本開示の文脈において理解され得るように、センサーシステム（複数可）３０６は、どんな上記のＬＩＤＡＲセンサーデータ１１２でも、後続の処理のために、認知システム３２２に、および／または車両コンピューティングデバイス３０４の他のシステムに送信し得る。

【0041】

いくつかの例において、センサーシステム（複数可）３０６は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／または他のセンサーデータ１１４を、データを組み合わせる、融合する、分割する、分類する、ラベリングする、合成する、および／またはそうでなければ処理するために、車両コンピューティングデバイス３０４に提供し得る。いくつかの例において、さらに、車両コンピューティングデバイス３０４のメモリー３１８は、試験するときに部分的に使用するために、コンピューターシミュレーションアルゴリズムによって生成された、シミュレートされたデータを格納することもある。いくつかの例において、シミュレートされたデータは、例えば、画像データ、センサーデータ（たとえば、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、および／またはＳＯＮＡＲデータ）、ＧＰＳデータなどのような、どんなタイプのシミュレートされたデータでも含むことがある。いくつかの例において、車両３０２は、動作を検証するために、および／または機械学習システムによって実行可能なモデルをトレーニングするために、シミュレートされたデータ上の変換の動作を修正、変形、および／または行うように構成されることがある。

【0042】

いくつかの例において、予測システム３２８は、メモリー３１８に格納されたヒートマップおよび／または他の情報にアクセスすることが可能であり、上記の情報を使用してルックアップを行って、特定されたオブジェクト１２２の将来の挙動を予測するのを支援することが可能である。少なくとも１つの例において、メモリー３１８に格納されたヒートマップおよび／または他の情報は、オブジェクトの種類（たとえば、車、歩行者、サイクリスト、障壁、道路標識、不明など）に関連付けられることが可能である。少なくとも１つの例において、予測システム３２８は、ルックアップを行って、検出されたオブジェクトの種類に関連付けられた挙動パターンを決定することが可能である。少なくとも１つの例において、予測システム３２８は、オブジェクトのロケーション、および１つまたは複数の特性を利用して、ヒートマップにおいてセルを特定することが可能である。すなわち、セルは、オブジェクトのロケーションと、オブジェクトに、および／またはオブジェクトが存在する環境に関連付けられた１つまたは複数の特性とを含む一意的なインデックスを示すことが、またはそうでなければ一意的なインデックスによって参照されることが可能である。いくつかの例において、セルは、オブジェクトおよび／または環境に関する同一の１つまたは複数の特性を有するロケーションにおいて、（同じオブジェクトの種類の）１つまたは複数のオブジェクトに関する挙動パターンを示すデータに関連付けられることが可能である。予測システム３２８は、セルに関連付けられた挙動パターンを示すデータを検索することが可能であり、挙動パターンを示すデータを利用して、オブジェクトの予測挙動を決定することが可能である。

【0043】

オブジェクトの予測挙動を決定することに少なくとも部分的に基づいて、予測システム３２８は、予測挙動のインディケーションを、車両コンピューティングデバイス３０４の他のシステムに提供することが可能である。少なくとも１つの例において、予測挙動は、オブジェクトの検出、分割、および／または分類を行うための認知システム３２２に通知するために使用されることが可能である（たとえば、例において、ヒートマップおよび／または特定されたオブジェクト１２２に関係のある他の情報は、オブジェクトの種類を決定する逆ルックアップを行うために使用されることが可能である）。追加としてまたは代替として、プランニングシステム３２４は、車両３０２が進むことが可能である軌道を決定するために、予測挙動を利用することが可能である。プランニングシステム３２４は、（たとえば、自律車両の例において）軌道を実行して、車両３０２に軌道に沿って運転させることが可能であるシステムコントローラー３２６に、軌道を送ることが可能である。追加としてまたは代替として、予測挙動は、車両３０２を制御するのに使用するルートおよび／または軌道を決定することが可能であるプランニングシステム３２４によって生成された軌道を重み付けするために、使用されることが可能である。さらにその上、予測挙動を使用して、エンティティー（複数可）の挙動（複数可）を予測するのに使用されることが可能であるニューラルネットワークを通知することが可能である。

【0044】

少なくとも１つの例において、センサーシステム（複数可）３０６は、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、超音波トランスデューサー、ＳＯＮＡＲセンサー、ロケーションセンサー（たとえば、ＧＰＳ、方位磁針など）、慣性センサー（たとえば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラおよび／または他の画像取り込みデバイス（たとえば、ＲＧＢ、ＩＲ、強度、深度など）、マイクロフォン、ホイールエンコーダー、環境センサー（たとえば、温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含むことが可能である。センサーシステム（複数可）３０６は、今述べたまたは他の種類のセンサーの各々に関する複数のインスタンスを含むことが可能である。たとえば、ＬＩＤＡＲセンサーは、車両３０２の角、前面、後面、側面、および／または上面に位置される個々のＬＩＤＡＲセンサーを含むことが可能である。別の例において、カメラおよび／または他の画像取り込みデバイスは、車両３０２の外部および／または内部のあちこちに、種々のロケーションに配置された複数のカメラを含むことが可能である。

【0045】

センサーシステム（複数可）３０６は、信号を、車両コンピューティングデバイス３０４に提供することが可能である。例えば、センサーシステム（複数可）３０６に含まれる各々のセンサーは、それぞれの信号を、車両コンピューティングデバイス３０４に送るように構成されることがあり、上記の信号は、それぞれのセンサーによって検出されるオブジェクトのグループを示すデータを含むことがある。いくつかの例において、センサーシステム（複数可）３０６の画像取り込みデバイス１０２は、第１の信号を、車両コンピューティングデバイス３０４に提供することがあり、第１の信号は、画像取り込みデバイス１０２が存在する環境１０８において検出可能な第１のオブジェクトのグループ１２８を示す画像データ１１０を含むことがある。追加として、センサーシステム（複数可）３０６のＬＩＤＡＲセンサー１０４は、第２の信号を、車両コンピューティングデバイス３０４に提供することがあり、第２の信号は、環境１０８において検出可能な第２のオブジェクトのグループ１３０を示すＬＩＤＡＲセンサーデータ１１２を含むことがある。さらに、センサーシステム（複数可）３０６に関するＲＡＤＡＲセンサーまたは１つもしくは複数の追加のセンサー１０６は、第３の信号を、車両コンピューティングデバイス３０４に提供することがあり、第３の信号は、環境１０８において検出可能な第３のオブジェクトのグループ１３２を示すセンサーデータ１１４を含むことがある。上記の例において、認知システム３２２（たとえば、上に説明されたオブジェクト検出システム１１８）は、オブジェクトのグループ１２０が、センサーシステム（複数可）３０６から受信される１つまたは複数の信号に少なくとも部分的に基づいて、環境１０８に存在することを確認する、および／または決定することがある。例えば、認知システム３２２（たとえば、オブジェクト検出システム１１８）は、少なくとも１つのオブジェクト１２２が、センサーシステム（複数可）３０６から受信される１つまたは複数の信号に少なくとも部分的に基づいて、環境１０８に存在することを確認し得る。さらに、認知システム３２２は、１つまたは複数のそれぞれのセンサー信号に含まれるデータに関連付けられたエラーを特定する、および／またはそうでなければ決定する（たとえば、特定されたオブジェクト１２２が、受信信号に関連付けられた１つまたは複数のオブジェクトのグループ１２８、１３０、１３２にないか、または誤分類されているかどうかを決定する）こともある。

【0046】

認知システム３２２が、オブジェクト１２２がオブジェクトのグループ１２８、１３０、１３２の少なくとも１つにない、または誤分類されていると決定する例において、レスポンスシステム３３０は、上記の決定に少なくとも部分的に基づいて、応答１２６および／またはどんな他の作動でも開始し得る。いくつかの例において、上記の応答および／または他の作動１２６は、特に、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４の一部を無視することのうちの少なくとも１つを含むことがある。さらに、上記の応答および／または他の作動１２６は、１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６、センサーシステム（複数可）３０６の他のセンサー、および／またはセンサーシステム（複数可）３０６のそれぞれのセンサーから受信された信号に関連付けられた重み、信頼値、および／または他のメトリックを修正することを含むこともある。さらに、上記の応答および／または他の作動１２６は、１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６、センサーシステム（複数可）３０６の他のセンサーに関連付けられたトレーニングデータを修正することを含むことがある。

【0047】

いくつかの例において、さらに、上記の応答および／または他の作動１２６は、検証要求を生成すること、および／または通信接続（複数可）３１０を使用して、人間のオペレーター（例えば、テレオペレーター）による検討のために上記の検証要求をサービスセンターに送ることを含むこともある。上記のテレオペレーターは、問題のセンサーが誤動作しているという１つまたは複数のインディケーションを提供することがある、提案されたソリューションおよび／または軽減の作動を確かめることがある、またはそうでなければセンサーエラーのインディケーションを受信することに応答して、制御データを車両３０２に伝達することがある。さらに、上記の応答および／または他の作動１２６は、ドライブモジュール（複数可）３１４を制御して、車両３０２の速さ、方向、および／または他の動作パラメーターを変えることを含むこともある。追加としてまたは代替として、センサーシステム（複数可）３０６は、１つまたは複数のネットワーク３３２を介して、本明細書に説明される信号および／またはセンサーデータのどれでも、特定の周波数において、予め決められた時の経過後において、ほぼリアルタイムにおいてなど、１つまたは複数のリモートコンピューティングデバイス（複数可）３３４に送ることが可能である。上記の例において、１つまたは複数のリモートコンピューティングデバイス（複数可）３３４（たとえば、１つまたは複数のプロセッサー（複数可）３３６）は、本明細書に説明される１つまたは複数の処理を行うことがある。

【0048】

さらに、車両３０２は、上に説明したように、光および／または音を発するための１つまたは複数のエミッター３０８を含むことも可能である。今述べた例におけるエミッター３０８は、車両３０２の乗客と通信する内部のオーディオおよびビジュアルのエミッターを含む。例として制限しないが、内部のエミッターは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚に関するエミッター（例えば、振動および／またはフォースフィードバック）、メカニカルアクチュエーター（たとえば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含むことが可能である。さらに、今述べた例におけるエミッター３０８は、外部のエミッターも含む。例として制限しないが、今述べた例における外部のエミッターは、進行方向または車両の作動に関する他のインディケーション（たとえば、インジケーターライト、サイン、ライトアレイなど）を合図するライト、および歩行者または他の近くの車と聞こえるほどに通信する１つまたは複数のオーディオエミッター（たとえば、スピーカー、スピーカーアレイ、ホーンなど）を含む。

【0049】

さらに、車両３０２は、車両３０２と、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイス（複数可）との間の通信を可能にする１つまたは複数の通信接続（複数可）３１０を含むことも可能である。たとえば、通信接続（複数可）３１０は、車両３０２上の他のローカルコンピューティングデバイス（複数可）との、および／またはドライブモジュール（複数可）３１４との通信を容易にすることが可能である。さらに、通信接続（複数可）３１０は、車両３０２が、他の近くのコンピュータデバイス（複数可）（たとえば、他の近くの車両、交通信号機など）と通信できるようにすることも可能である。さらに、通信接続（複数可）３１０は、車両３０２が、リモート遠隔操作コンピューティングデバイス、リモートサービスセンター、または他のリモートサービスと通信できるようにもする。

【0050】

通信接続（複数可）３１０は、車両コンピューティングデバイス３０４を、別のコンピューティングデバイスに、または例えば、ネットワーク（複数可）３３２などのネットワークに接続するための物理および／または論理インターフェイスを含むことが可能である。例えば、通信接続（複数可）３１０は、例えば、ＩＥＥＥ８０２．１１規格によって定義された周波数、Ｂｌｕｅｔｏｏｔｈ（商標登録）などのようなショートレンジの無線周波数、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイス（複数可）とインターフェイスできるようにするどんな適切な有線または無線の通信プロトコルでも介してなど、Ｗｉ－Ｆｉベースの通信を可能にすることが可能である。

【0051】

少なくとも１つの例において、車両３０２は、１つまたは複数のドライブモジュール３１４を含むことが可能である。いくつかの例において、車両３０２は、単一のドライブモジュール３１４を有することが可能である。少なくとも１つの例において、車両３０２が複数のドライブモジュール３１４を有するならば、個々のドライブモジュール３１４は、車両３０２の向き合う端部（たとえば、前方および後方など）に置かれることが可能である。少なくとも１つの例において、ドライブモジュール（複数可）３１４は、ドライブモジュール（複数可）３１４の状態を、および／または車両３０２の周囲の状態を検出する１つまたは複数のセンサーシステムを含むことが可能である。例として制限しないが、センサーシステム（複数可）は、ドライブモジュールの車輪の回転を感知する１つまたは複数のホイールエンコーダー（たとえば、ロータリーエンコーダー）、ドライブモジュールの向きおよび加速度を測定する慣性センサー（たとえば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサー、ドライブモジュールの周囲のオブジェクトを聴覚的に検出する超音波センサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサーなどを含むことが可能である。いくつかのセンサー、例えば、ホイールエンコーダーなどは、ドライブモジュール（複数可）３１４に一意的であることが可能である。いくつかの場合において、ドライブモジュール（複数可）３１４上のセンサーシステム（複数可）は、車両３０２の対応するシステム（たとえば、センサーシステム（複数可）３０６）に対して重ねる、または補うことが可能である。

【0052】

ドライブモジュール（複数可）３１４は、高電圧バッテリー、車両を推進するモーター、他の車両システムによる使用のためにバッテリーからの直流を交流に変換するインバーター、（電気で動くことが可能である）ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエーターを含むブレーキングシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、けん引のロスを軽減し制御を維持するブレーキ力を分配するための安全制御システム、ＨＶＡＣシステム、ライティング（たとえば、車両の外部の周囲を照らすヘッド／テールライトなどのようなライティング）、および１つまたは複数の他のシステム（たとえば、冷却システム、安全システム、オンボード充電システム、例えば、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気コンポーネント）を含む、多くの車両システムを含むことが可能である。追加として、ドライブモジュール（複数可）３１４は、センサーシステム（複数可）からのデータを受信し前処理することが可能であり、種々の車両システムの動作を制御するためのドライブモジュールコントローラーを含むことが可能である。いくつかの例において、ドライブモジュールコントローラーは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーに通信接続されたメモリーとを含むことが可能である。メモリーは、ドライブモジュール（複数可）３１４の種々の機能性を行う１つまたは複数のモジュールを格納することが可能である。さらにその上、ドライブモジュール（複数可）３１４は、それぞれのドライブモジュールによる１つまたは複数の他のローカルまたはリモートのコンピューティングデバイス（複数可）との通信を可能にする１つまたは複数の通信接続（複数可）を含むことも可能である。

【0053】

上に説明したように、車両３０２は、信号および／またはセンサーデータを、ネットワーク（複数可）３３２を介して１つまたは複数のリモートコンピューティングデバイス（複数可）３３４に送ることが可能である。いくつかの例において、車両３０２は、生のセンサーデータを、リモートコンピューティングデバイス（複数可）３３４に送ることが可能である。他の例において、車両３０２は、処理されたセンサーデータおよび／またはセンサーデータの表現を、リモートコンピューティングデバイス（複数可）３３４に送ることが可能である。いくつかの例において、車両３０２は、センサーデータを、特定の周波数において、予め決められた時の経過後において、ほぼリアルタイムにおいてなど、１つまたは複数のリモートコンピューティングデバイス（複数可）３３４に送ることが可能である。

【0054】

リモートコンピューティングデバイス（複数可）３３４は、（生のまたは処理された）信号および／またはセンサーデータを受信することが可能であり、信号および／またはセンサーデータに少なくとも部分的に基づいて、本明細書に説明される処理のどれでも行うことが可能である。少なくとも１つの例において、リモートコンピューティングデバイス（複数可）３３４は、１つまたは複数のプロセッサー３３６と、１つまたは複数のプロセッサー３３６に通信接続されたメモリー３３８とを含むことが可能である。例示された例において、リモートコンピューティングデバイス（複数可）３３４のメモリー３３８は、センサーデータストア３４０、センサーデータ処理システム３４２、および機械学習システム３４４を格納する。

【0055】

センサーデータストア３４０は、１つまたは複数の車両、例えば、車両３０２などから受信した（生のまたは処理された）センサーデータを格納することが可能である。センサーデータストア３４０におけるセンサーデータは、１つまたは複数のオンボードセンサーシステム（たとえば、オンボードセンサーシステム（複数可）３０６など）、または他のセンサーシステム（複数可）によって、前のとき（複数可）に収集されたセンサーデータ（たとえば、以前に連結されたセンサーデータ）を表すことが可能である。いくつかの例において、センサーデータは、ロケーション、オブジェクトの種類、および／または他のタイプの特性と共に格納されることが可能である。加えて、少なくとも１つの例において、センサーデータから決定される挙動は、センサーデータストア３４０に格納されることが可能である。すなわち、個々のオブジェクトの挙動は、挙動が決定された特定のセンサーデータに関連付けられることが可能である。

【0056】

少なくとも１つの例において、センサーデータ処理システム３４２は、１つまたは複数の車両、例えば、車両３０２などから（生のまたは処理された）センサーデータを受信することが可能である。上に説明したように、車両３０２は、センサーデータを含む信号を、特定の周波数において、予め決められた時の経過後において、ほぼリアルタイムにおいてなど、１つまたは複数のリモートコンピューティングデバイス（複数可）３３４に送ることが可能である。加えて、センサーデータ処理システム３４２は、センサーデータを、特定の周波数において、予め決められた時の経過後において、ほぼリアルタイムにおいてなど、受信することが可能である。追加のおよび／または代替の例において、センサーデータ処理システム３４２は、（例えば、車両に関連付けられていない）追加のおよび／または代替のセンサーシステム（複数可）からデータを受信することが可能である。いくつかの例において、センサーデータ処理システム３４２は、センサーデータを、格納のためにセンサーデータストア３４０に送ることが可能である。

【0057】

少なくとも１つの例において、センサーデータ処理システム３４２は、センサーデータを処理することが可能である。いくつかの例において、センサーデータ処理システム３４２は、特定のオブジェクトの種類に関連付けられたオブジェクトの挙動を、センサーデータに基づいて決定することが可能である。すなわち、センサーデータ処理システム３４２は、特定の期間に関連付けられたセンサーデータを分析して、環境に存在するオブジェクト（複数可）が、期間の間じゅう、どのように挙動するかを決定することが可能である。少なくとも１つの例において、センサーデータストア３４０は、挙動を決定するのに利用されるセンサーデータにセンサーデータストア３４０において関連付けられることが可能である、オブジェクトの種類に関連付けられるオブジェクトの挙動を示すデータを格納することが可能である。少なくとも１つの例において、センサーデータから決定されるような、オブジェクトの種類に関連付けられたオブジェクトの挙動を示すデータは、観測結果に関連付けられることが可能である。上記の観測結果は、センサーデータストア３４０に格納されることが可能である。

【0058】

上述のように、ローカリゼーションシステム３２０、認知システム３２２、および／または車両コンピューティングデバイス３０４の他のコンポーネントは、外側のオブジェクトを、例えば、歩行者、自転車に乗る人、犬、他の車両などを検出し分類するように構成され得る。外側のオブジェクトの分類に少なくとも部分的に基づいて、外側のオブジェクトは、動的なオブジェクトまたは静的なオブジェクトとしてラベル付けされ得る。例えば、認知システム３２２は、木を静的なオブジェクトとしてラベル付けするように構成されることがあり、歩行者を動的なオブジェクトとしてラベル付けするように構成され得る。外側のオブジェクトについてのさらなるデータは、外側のオブジェクトをトラッキングすることによって生成されることがあり、オブジェクト分類のタイプは、いくつかの例において、外側のオブジェクトが、プランニングされた道に沿って進む車両３０２を妨害し得る可能性を予測する、または決定する予測システム３２８によって使用され得る。例えば、歩行者として分類される外側のオブジェクトは、最大の速さおよび／または平均の速さに関連付けられ得る。ローカリゼーションシステム３２０、認知システム３２２、車両コンピューティングデバイス３０４のセグメンテーションシステム、センサーデータ処理システム３４２、および／またはリモートコンピューティングデバイス３３４の他のコンポーネントは、例えば、ニューラルネットワークなど、どんな１つまたは複数の機械学習アルゴリズムでも実行して、分類の動作を行うことがある機械学習システム３４４を使用し得る。

【0059】

機械学習システム３４４によって利用されるニューラルネットワークは、入力されたデータを、一連の連結された層を通じて渡して、出力を生成する生物学的にインスパイアされたアルゴリズムを含むことがある。ニューラルネットワークの一例は、ＣＮＮ（畳み込みニューラルネットワーク）である。さらに、ＣＮＮの各層は、別のＣＮＮを含むこともある、またはどんな数の層でも含むこともある。ニューラルネットワークは、出力が学習パラメーターに基づいて生成される上記のアルゴリズムの幅広いクラスである機械学習を利用し得る。

【0060】

ニューラルネットワークの文脈において述べられるが、機械学習のどのタイプでも、本開示と矛盾することなく使用され得る。例えば、機械学習アルゴリズムは、制限しないが、回帰アルゴリズム（たとえば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロット平滑化法（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（たとえば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、ディシジョンツリーアルゴリズム（たとえば、分類および回帰ツリー（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定断端、条件付きディシジョンツリー））、ベイジアンアルゴリズム（たとえば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（たとえば、ｋ－平均法、ｋ－メジアン、期待値最大化（ＥＭ）、階層クラスタリング）、相関ルール学習アルゴリズム（たとえば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（たとえば、ディープボルツマンマシン（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元縮退アルゴリズム（たとえば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、投影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（たとえば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、スタックドジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン））、教師あり学習、教師なし学習、準教師あり学習など含むことがある。

【0061】

いくつかの例においては、複数のタイプの機械学習システムを使用して、使用される機械学習のタイプの各々にそれぞれの結果を提供することがある。いくつかの例において、信頼スコアは、結果の各々に関連付けられることがあり、信頼される結果は、結果に関連付けられた信頼スコアに少なくとも部分的に基づくことがある。たとえば、最も高い信頼スコアに関連付けられている結果は、他の結果に優先して選択されることがあり、または結果は、信頼スコアに基づいて、たとえば、加重平均等などのような統計的な方法に基づいて、結合されることがある。加えて、機械学習システム３４４が、メモリー３３８のコンポーネントとして例示されるが、他の例において、機械学習システム３４４および／または少なくともその一部は、車両コンピューティングデバイス３０４のメモリー３１８のコンポーネントを含むことがある。

【0062】

車両３０２のプロセッサー（複数可）３１６およびリモートコンピューティングデバイス（複数可）３３４のプロセッサー（複数可）３３６は、本明細書に説明されるように、データを処理し、動作を行う命令を実行する性能があるどんな適切なプロセッサーでもあることが可能である。例として制限しないが、プロセッサー（複数可）３１６および３３６は、１つまたは複数のＣＰＵ（中央処理装置）、ＧＰＵ（Graphics Processing Unit）、または電子データを処理して、その電子データを、レジスターおよび／もしくはメモリーに格納されることが可能である他の電子データに変換するどんな他のデバイスもしくはデバイスの部分でも含むことが可能である。いくつかの例において、さらに、集積回路（たとえば、ＡＳＩＣなど）、ゲートアレイ（たとえば、ＦＰＧＡなど）、および他のハードウェアデバイスは、エンコードされた命令を実装するように構成される限り、プロセッサーと考えられることも可能である。

【0063】

メモリー３１８およびメモリー３３８は、非一時的なコンピューター読み取り可能な媒体の例である。メモリー３１８およびメモリー３３８は、本明細書に説明される方法と、種々のシステムに帰する機能とを実装するためのオペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納することが可能である。種々の実装において、メモリーは、どんな適切なメモリー技術でも、例えば、ＳＲＡＭ（スタティックＲＡＭ）、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）、不揮発性／フラッシュ型メモリー、または情報を格納する性能があるどんな他のタイプのメモリーでも使用して、実装されることが可能である。本明細書に説明されるアーキテクチャー、システム、および個々の要素は、多くの他の論理的な、プログラム的な、および物理的なコンポーネントを含むことが可能であり、添付の図面に示されるそれらは、本明細書の議論に関係する単なる例である。

【0064】

図３が分散システムとして例示される一方、代替の例において、車両３０２のコンポーネントは、リモートコンピューティングデバイス（複数可）３３４に関連付けられることが可能であり、および／またはリモートコンピューティングデバイス（複数可）３３４のコンポーネントは、車両３０２に関連付けられることが可能であることに注意すべきである。すなわち、車両３０２は、リモートコンピューティングデバイス（複数可）３３４に関連付けられた１つまたは複数の機能を行い、逆もまた同様であることが可能である。

【0065】

図４Ａは、例示的な車両２０２（たとえば、図３に関して説明した車両３０２）に取り付けられたまたは例示的な車両２０２によって運ばれる複数のセンサーアセンブリを有する車両２０２の側面図４００である。いくつかの例において、複数のセンサーアセンブリからのデータセットは、メタスピン（たとえば、複数のＬＩＤＡＲセンサーを表すＬＩＤＡＲデータ）を形成するために結合もしくは合成されることがあり、または分割、分類、予測、プランニング、軌跡生成などに対して正確度もしくは処理を改善するためにセンサー融合技術を使用して、結合されるもしくは融合されることがある。

【0066】

側面図４００に示すように、車両２０２は、センサーに関して、何個でも、どんな組み合わせまたは構成でも含むことがある。例えば、車両２０２は、少なくともセンサー４０２、４０４、および４０６を含む。場合によって、センサー４０２は、θ₁として例示される垂直の視野を有するＲＡＤＡＲセンサーを含むことがある。センサー４０４は、車両２０２のルーフ上に取り付けられるＬＩＤＡＲセンサーを含み、センサー４０４が、θ₂として例示される垂直の視野を有することがある。場合によって、センサー４０６は、垂直の視野_θ3を有するカメラセンサーを含むことがある。もちろん車両２０２は、センサーに関して、何個でもどのタイプでも含むことがあり、図４Ａに提供される例に制限されない。

【0067】

図４Ｂは、例示的な車両２０２に取り付けられた複数のセンサーアセンブリを有する例示的な車両２０２の上からの平面図４０８を描く。例えば、センサー４０２、４０４、および４０６は、追加のセンサー４１０、４１２、４１４、および４１６も同様に、図４Ｂに見られることが可能である。例えば、センサー４０６および４１６は、一緒に位置されるまたは互いに最も近く位置されることがあるが、異なる視野を有する異なるセンサータイプまたはセンサーモダリティを含むことがある。場合によって、センサー４１０、４１２、４１４、および４１６は、追加のＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、および／または画像取り込みデバイスを含むことがある。本開示の文脈において理解され得るように、車両２０２は、センサーに関して、何個でもどのタイプでも含むことがある。図４Ｂにおいて示されているように、センサー４０２は、水平の視野θ₄を含むことがあり、センサー４０４は、水平の視野θ₅を含むことがあり、センサー４０６は、水平の視野θ₆を含むことがあり、センサー４１０は、水平の視野θ₇を含むことがあり、センサー４１２は、水平の視野θ₈を含むことがあり、センサー４１４は、水平の視野θ₉を含むことがあり、センサー４１６は、水平の視野θ₁₀を含むことがある。本開示の文脈において理解され得るように、取り付けるロケーションおよび視野は、いくつもの構成を含むことがある。

【0068】

追加として、本明細書に説明される１つまたは複数のセンサーを使用して、車両２０２および／またはセンサーが存在する環境内に位置される１つまたは複数のオブジェクト４１８を検出し得る。例えば、センサー４０４がＬＩＤＡＲセンサー（たとえば、ＬＩＤＡＲセンサー１０４）を含む実施態様にて、センサー４０４は、センサー４０４が存在する環境（たとえば、図１に例示される環境１０８）において検出可能なオブジェクトのグループ１３０を示すＬＩＤＡＲセンサーデータ１１２を含む信号を生成するように構成され得る。いくつかの例において、ＬＩＤＡＲセンサー４０４によって生成される信号は、オブジェクト４１８から反射される光の検出を示すＬＩＤＡＲセンサー４０４の第１の光センサーからの信号（たとえば、第１の信号）を含むことがあり、オブジェクト４１８は、センサーデータ１１２によって示されるオブジェクトのグループ１３０に含まれ得る。上記の例において、さらに、ＬＩＤＡＲセンサー４０４によって生成される信号は、オブジェクト４１８から反射される光の検出を示す１つまたは複数の追加の信号（たとえば、少なくとも、ＬＩＤＡＲセンサー４０４の第２の光センサーからの第２の信号）を含むこともあり、オブジェクト４１８は、オブジェクトのグループ１３０に含まれ得る。どんな上記の信号でも、車両コンピューティングデバイス３０４に関する認知システム３２２および／または他のコンポーネントに提供され得る。いくつかの例において、認知システム３２２は、ＬＩＤＡＲセンサー４０４によって生成される１つまたは複数の信号に少なくとも部分的に基づいて、オブジェクト４１８を特定することがあり、上に説明したオブジェクト１２２が、１つまたは複数のオブジェクトのグループ１２８、１３０、１３２にないか、または誤分類されているか（たとえば、ＬＩＤＡＲセンサーデータ１１２に対応するオブジェクトのグループ１３０にないか、または誤分類されているか）どうかを、オブジェクトのグループ１３０に含まれるオブジェクト４１８を特定することに少なくとも部分的に基づいて、決定し得る。

【0069】

センサー４０６がカメラまたは他の画像取り込みデバイス（たとえば、画像取り込みデバイス１０２）を含むさらなる実施態様にて、センサー４０６は、センサー４０６が存在する環境（たとえば、図１に例示される環境１０８）において検出可能なオブジェクトのグループ１２８を示す画像データ１１０を含む信号を生成するように構成され得る。いくつかの例において、センサー４０６によって生成される信号は、オブジェクト４１８を例示する、示す、および／またはそうでなければ含む、センサー４０６によって取り込まれる１つまたは複数の画像を含む信号（たとえば、第１の信号）を含むことがあり、オブジェクト４１８は、画像データ１１０によって示されるオブジェクトのグループ１２８に含まれ得る。上記の例において、センサー４０６によって生成されるどんな信号でも、車両コンピューティングデバイス３０４に関する認知システム３２２および／または他のコンポーネントに提供され得る。いくつかの例において、認知システム３２２は、センサー４０６によって生成される１つまたは複数の信号に少なくとも部分的に基づいて、オブジェクト４１８を特定し得る。たとえば、認知システム３２２は、１つまたは複数のそれぞれのセンサー信号に含まれるデータに関連付けられたエラーを特定する、および／またはそうでなければ決定し得る。上記の例において、認知システム３２２は、上に説明したオブジェクト１２２が、１つまたは複数のオブジェクトのグループ１２８、１３０、１３２にないか、または誤分類されているか（たとえば、画像データ１１０に対応するオブジェクトのグループ１２８にないか、または誤分類されているか）どうかを、オブジェクトのグループ１２８に含まれるオブジェクト４１８を特定することに少なくとも部分的に基づいて、決定し得る。さらに、認知システム３２２は、類似した処理を、本明細書に説明されるどの他のセンサー（たとえば、センサー１０６、センサー４０２、センサーシステム（複数可）３０６に関連付けられたセンサーなど）からでも受信される信号および／またはセンサーデータ１１４に対して行うこともあることが理解される。

【0070】

図５は、個々のセンサーデータを融合センサーデータと比較し、それぞれのセンサー信号の１つまたは複数に含まれるデータに関連付けられたエラーを決定すること（たとえば、融合センサーデータに含まれる少なくとも１つのオブジェクトが、個々のセンサーから受信されるデータに関連付けられたオブジェクトのグループにない、または誤分類されていると決定すること）に少なくとも部分的に基づいて応答を開始するための例示的な処理に関する例示的な絵のフロー図５００である。図１と類似して、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／または別のセンサー１０６を含むことがあるセンサーは、環境１０８を通過して進む車両に接続され得る。画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、およびセンサー１０６は、それぞれ、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、およびセンサーデータ１１４を取り込み、上記のデータを認知システム１１６に伝達し得る。上述のように、画像取り込みデバイス１０２からの信号は、画像データ１１０を含むことがあり、上記の画像データ１１０は、環境１０８において検出可能な第１のオブジェクトのグループ１２８（図１）を含むおよび／またはそうでなければ示すシーンを表し得る。同じように、ＬＩＤＡＲセンサー１０４からの信号は、ＬＩＤＡＲセンサーデータ１１２を含むことがあり、上記のＬＩＤＡＲセンサーデータ１１２は、環境１０８において検出可能な第２のオブジェクトのグループ１３０（図１）を含むおよび／またはそうでなければ示すシーンを表し得る。さらに、センサー１０６からの信号は、センサーデータ１１４を含むことがあり、上記のセンサーデータ１１４は、環境１０８において検出可能な第３のオブジェクトのグループ１３２（図１）を含むおよび／またはそうでなければ示すシーンを表し得る。

【0071】

図５に例示するように、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、およびセンサー１０６は、上記の画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、およびセンサーデータ１１４を、実質的に連続して、および／または規則的なもしくは不規則的な時間間隔において、取り込むことがある。上記の例において、画像取り込みデバイス１０２によって取り込まれる画像データ１１０は、１つまたは複数の連続的なシーンＤを示す、例示する、および／または表すことがある。上記の例において、連続的なシーンＤの各々は、それぞれ、異なる（たとえば、連続的な）時間Ｔ₁、Ｔ₂、Ｔ₃において、画像取り込みデバイス１０２によって検出されるそれぞれのオブジェクトのグループ５０２、５０４、５０６を含むことがある。３つの連続的なシーンＤ、および３つの対応するオブジェクトのグループ５０２、５０４、５０６が、図５において例示されるが、３つより多いまたは少ないシーンおよび／またはオブジェクトのグループは、異なる（たとえば、連続的な）それぞれの時間または時間間隔において、動作の間じゅう、画像取り込みデバイス１０２によって検出され得ることが理解される。各オブジェクトのグループ５０２、５０４、５０６は、図１に関して上に説明されたオブジェクトのグループ１２８と類似する、および／または同一であることがある。上記の例において、画像取り込みデバイス１０２は、画像データ１１０を認知システム１１６に送ることがあり、認知システム１１６は、本明細書に説明される１つまたは複数のオブジェクトのグループ５０２、５０４、５０６を、受信した画像データ１１０に少なくとも部分的に基づいて特定し得る。

【0072】

同様に、ＬＩＤＡＲセンサー１０４によって取り込まれるＬＩＤＡＲセンサーデータ１１２は、１つまたは複数の連続的なシーンＥを示す、例示する、および／または表すことがある。上記の例において、連続的なシーンＥの各々は、異なる（たとえば、連続的な）時間Ｔ₁、Ｔ₂、Ｔ₃において、ＬＩＤＡＲセンサー１０４によって検出されるそれぞれのオブジェクトのグループ５０８、５１０、５１２を含むことがある。３つの連続的なシーンＥ、および３つのオブジェクトのグループ５０８、５１０、５１２が、図５において例示されるが、３つより多いまたは少ないシーンおよび／またはオブジェクトのグループは、異なる（たとえば、連続的な）それぞれの時間または時間間隔において、動作の間じゅう、ＬＩＤＡＲセンサー１０４によって検出され得ることが理解される。各オブジェクトのグループ５０８、５１０、５１２は、図１に関して上に説明されたオブジェクトのグループ１３０と類似する、および／または同一であることがある。上記の例において、ＬＩＤＡＲセンサー１０４は、ＬＩＤＡＲセンサーデータ１１２を認知システム１１６に送ることがあり、認知システム１１６は、本明細書に説明される１つまたは複数のオブジェクトのグループ５０８、５１０、５１２を、受信したＬＩＤＡＲセンサーデータ１１２に少なくとも部分的に基づいて特定し得る。

【0073】

さらに、１つまたは複数の追加のセンサー１０６によって取り込まれるセンサーデータ１１４は、１つまたは複数の連続的なシーンＦを示す、例示する、および／または表すことがある。上記の例において、連続的なシーンＦの各々は、異なる（たとえば、連続的な）時間Ｔ₁、Ｔ₂、Ｔ₃において、センサー１０６によって検出されるそれぞれのオブジェクトのグループ５１４、５１６、５１８を含むことがある。３つのシーンＦおよびオブジェクトのグループ５１４、５１６、５１８が、図５において例示されるが、３つより多いまたは少ないシーンおよび／またはオブジェクトのグループは、異なる（たとえば、連続的な）それぞれの時間または時間間隔において、動作の間じゅう、センサー１０６によって検出され得ることが理解される。各オブジェクトのグループ５１４、５１６、５１８は、図１に関して上に説明されたオブジェクトのグループ１３２と類似する、および／または同一であることがある。上記の例において、センサー１０６は、センサーデータ１１４を認知システム１１６に送ることがあり、認知システム１１６は、本明細書に説明される１つまたは複数のオブジェクトのグループ５１４、５１６、５１８を、受信したセンサーデータ１１４に少なくとも部分的に基づいて特定し得る。

【0074】

図５にて例示した処理において、認知システム１１６は、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、およびセンサー１０６から信号を受信するように構成されることがあり、上記の信号は、図５に関して上に説明した画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、およびセンサーデータ１１４を含むことがある。示される例において、認知システム１１６は、１つまたは複数の信号に少なくとも部分的に基づいて、対応するオブジェクトのグループ５２２、５２４、５２６を決定するように構成され得る。例えば、認知システム１１６は、時間Ｔ₁の環境１０８に存在するオブジェクトのグループ５２２を、時間Ｔ₁に対応するオブジェクトのグループ５０２、５０８、５１４に少なくとも部分的に基づいて、生成する、特定する、定義する、および／またはそうでなければ決定するように構成され得る。さらに、認知システム１１６は、時間Ｔ₂の環境１０８に存在するオブジェクトのグループ５２４を、時間Ｔ₂に対応するオブジェクトのグループ５０４、５１０、５１６に少なくとも部分的に基づいて、決定することがあり、時間Ｔ₃の環境１０８に存在するオブジェクトのグループ５２６を、時間Ｔ₃に対応するオブジェクトのグループ５０６、５１２、５１８に少なくとも部分的に基づいて決定し得る。上記の例において、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、およびセンサーデータ１１４の使用を介して、認知システム１１６によって決定されるオブジェクトのグループ５２２、５２４、５２６は、個々にまたは集団として、融合センサーデータ１３４と考えられ得る。さらに、認知システム１１６は、データ関連付け、オブジェクト認識、データ特徴付け、および／または本明細書に説明される他の技法のうちのどれでも使用して、それぞれのオブジェクトのグループ５２２、５２４、５２６のうちのどのオブジェクトが同一であるかを決定し得る。

【0075】

上記の例において、さらに、認知システム１１６は、後の時間に収集されるセンサーデータを使用して、および／またはそうでなければ後の時間に収集されるセンサーデータに少なくとも部分的に基づいて、１つまたは複数のオブジェクト１２２を特定する、および／または１つまたは複数のオブジェクトのグループ５２２、５２４、５２６を決定するように構成されることもある。例えば、時間Ｔ₂に関連付けられたオブジェクトのグループ５０４、５１０、５１６（たとえば、オブジェクトのグループ５０２、５０８、５１４に関連付けられたＴ₁よりも後の時間に観測される）および／または時間Ｔ₃に関連付けられたオブジェクトのグループ５０６、５１２、５１８（たとえば、オブジェクトのグループ５０２，５０８、５１４に関連付けられた時間Ｔ₁よりも後の時間に観測される）は、認知システム１１６によって示されるオブジェクトのグループ５２２を、時間Ｔ₁の環境１０８に存在するとして決定する認知システム１１６および／またはオブジェクト検出システム１１８によって使用され得る。さらに、認知システム１１６および／またはオブジェクト検出システム１１８は、第１の時間（たとえば、時間Ｔ₁）に観測されたオブジェクトのグループに関連付けられたエラーを、第１の時間よりも後の第２の時間（たとえば、時間Ｔ₂）において観測されるセンサーデータおよび／またはオブジェクトのグループに少なくとも部分的に基づいて、特定するおよび／またはそうでなければ決定することもある。例えば、認知システム１１６および／またはオブジェクト検出システム１１８は、特定のオブジェクトを、上記の融合センサーデータ１３４に含まれるが、時間Ｔ₂において観測されるオブジェクトのグループ５０４、５１０、５１６および／または時間Ｔ₃において観測されるオブジェクトのグループ５０６、５１２、５１８に少なくとも部分的に基づいて、１つまたは複数のオブジェクトのグループ（たとえば、時間Ｔ₁において観測されるオブジェクトのグループ５０８）にない、または誤分類されているとして特定し得る。上記の後に観測される（たとえば、将来の）センサーデータ、および対応するオブジェクトのグループは、認知システム１１６によって、時間Ｔ₁の環境１０８において存在するとして示される１つまたは複数のオブジェクトのグループ５２２を含む融合センサーデータ１３４を生成するときに、および／または時間Ｔ₁の環境１０８において存在する１つまたは複数のオブジェクト１２２を特定するときに、高いレベルの信頼を与え得る。さらに、上記の後に観測される（たとえば、将来の）センサーデータ、および対応するオブジェクトのグループは、例えば、オフラインの機械学習処理において種々のセンサーモダリティをトレーニングするログデータとして使用されることもある。

【0076】

いくつかの例において、認知システム１１６は、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、センサーデータ１１４、融合センサーデータ１３４（たとえば、１つまたは複数のオブジェクトのグループ５２２、５２４、５２６）、および／または認知システム１１６の他の出力のうちのどれでも、機械学習システム３４４（たとえば、ＣＮＮ（畳み込みニューラルネットワーク））、例えば、図３に関して上に説明した機械学習システム３４４などに提供し得る。例えば、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、および／またはセンサー１０６は、環境１０８に関連付けられたそれぞれの連続的なシーンを表すデータを含む１つまたは複数の信号を、認知システム１１６に伝達し得る。認知システム１１６および／またはオブジェクト検出システム１１８は、１つまたは複数の信号を、機械学習システム３４４に伝達することがあり、データが、機械学習システム３４４を使用して分割され得る（たとえば、画像データ１１０が分割され得る）。上記の例において、機械学習システム３４４に提供される信号または情報のうちのどれでも、機械学習システム３４４をトレーニングするために、グランドトゥルースとして使用され得る。同一のまたは類似したアルゴリズムを使用して、どんな１つまたは複数のその他のセンサーモダリティでも分割し得る。いくつかの例にて、機械学習システム３４４は、単独か、認知システム１１６のオブジェクト検出システム１１８または他のコンポーネントとの組み合わせかのいずれかにおいて、分割モデルまたはトレーニングされた他のコンポーネントを実行する、および／またはデータのオブジェクトを分割することがある。いくつかの例において、分割に、ならびに／またはデータ関連付け、オブジェクト認識、データ特徴付け、および／もしくは本明細書に説明される他の処理のうちのどれにでも、少なくとも部分的に基づいて、機械学習システム３４４は、融合センサーデータ１３４に含まれる（たとえば、１つまたは複数のオブジェクトのグループ５２２、５２４、５２６に含まれる）が、他のデータ分割に矛盾する少なくとも１つのデータ分割を特定することによって、オブジェクトのグループ５０２～５１８のうちの少なくとも１つにない、または誤分類されているオブジェクト１２２を特定するように構成され得る。いくつかの例において、今述べたやり方によるオブジェクト１２２の識別は、例えば、本明細書に説明される他の方法に従って、確かめられる、または割り引いて考えられることがある。たとえば、上述のように、後に観測される（たとえば、将来の）センサーデータ、および対応するオブジェクトのグループは、機械学習システム３４４によって使用されて、オブジェクト１２２の識別を確かめる、オブジェクト１２２のロケーションを確かめる、および／またはオブジェクト１２２に関連付けられたどんな他のパラメーターでも確かめることがある。さらに、上述のように、本開示は、１つまたは複数の上記のシーンにない、または誤分類されている１つまたは複数のオブジェクト１２２を特定することに制限されない。代わりに、追加の例示的な処理は、１つまたは複数のそれぞれのセンサー信号に含まれるデータに関連付けられた１つまたは複数の追加のおよび／または異なるエラーを決定することを含むことがある。

【0077】

機械学習システム３４４は、本明細書に説明されるどんなタイプの機械学習システムでも含むことがある。例えば、機械学習システム３４４は、ＣＮＮであることがある。いくつかの例においては、機械学習システム３４４は、複数の機械学習システムを含むことがある。本明細書において説明されているように、複数のタイプの機械学習が使用されて、使用されている機械学習のタイプの各々にそれぞれの結果を提供することがある。いくつかの例において、信頼スコアは、結果の各々に関連付けられることがあり、信頼される結果は、結果に関連付けられた信頼スコアに少なくとも部分的に基づくことがある。たとえば、最も高い信頼スコアに関連付けられている結果は、他の結果に優先して選択されることがあり、または結果は、信頼スコアに基づいて、たとえば、加重平均等などのような統計的な方法に基づいて、結合されることがある。

【0078】

有効な出力を生成するために、機械学習システム３４４、例えば、ＣＮＮなどは、はじめにパラメーターのセットを学習しなければならない、または「トレーニングされ（trained）」なければならない。トレーニングは、トレーニングデータ５２８を機械学習システム３４４に入力することによって達成され、トレーニングデータ５２８が、予期される出力値に関連付けられる。一般に、今述べた予期される出力値は、「グランドトゥルース（ground truth）」といわれることがある。例えば、グランドトゥルースは、画像における特定のオブジェクトの識別を、オブジェクトに関連付けられた（たとえば、オブジェクトを車または建物として特定するおよびラベル付けする）意味論的な分類またはラベルも同様に、含むことがある。機械学習システム３４４の正確度は、トレーニングデータ５２８において提供されるデータの量および／または正確度に基づくことがある。結果として、分割されたセンサーデータを出力するように機械学習システム３４４をトレーニングするための適切なデータセットは、センサーデータが既知のまたは以前に決定された分割を含むだろう。いくつかの例において、トレーニングデータ５２８は、現実世界のシーンを表す１つまたは複数のセンサーデータセットに相関する現実世界のシーンを表す１つまたは複数の分割された画像を含むことがあり得て、手作業によって、または、センサーデータセットにおけるオブジェクトを分割する、検出する、分類する、および／もしくはラベル付けするように構成される１つもしくは複数のアルゴリズムを介して、注釈を付けられることがある。いくつかの例において、トレーニングデータ５２８は、注釈を付けられたオブジェクトを含む、またはコンピューターアルゴリズムによって注釈を付けられた（たとえば、コンピューターによって生成された）合成のデータを含むことがある。トレーニングは、オフラインおよび／またはオンラインのデータ、ならびに上述のように後に観測される（たとえば、将来の）センサーデータを使用して、行われることが可能であり、対応するオブジェクトのグループは、上記のトレーニングおよび／または機械学習訓練に使用され得る。本明細書に説明される例のどれにおいても、融合センサーデータ１３４は、機械学習システム３４４に提供されることがあり、および／またはトレーニングデータ５２８として使用されることがある。追加として、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４は、機械学習システム３４４に提供されることがあり、および／またはトレーニングデータ５２８として使用されることがある。

【0079】

トレーニング（たとえば、機械学習）、オブジェクト分類、および／または他の処理がオンラインで（たとえば、車両３０２の車両コンピューティングデバイス３０４および／または他のコンポーネントを使用して）行われる例において、車両コンピューティングデバイス３０４に関するメモリー３１８の容量、プロセッサー（複数可）３１６の速さ／電力、および／または他のパラメーターは、上記の処理が行われる速さに制限があることがあり、さらに、ニューラルネットワーク、アルゴリズム、および／または使用される他のコンポーネントの高度化に制限があることもある。トレーニング（たとえば、機械学習）、オブジェクト分類、および／または他の処理がオフラインで（たとえば、リモートコンピューティングデバイス（複数可）３３４のプロセッサー（複数可）３３６および／または他のコンポーネントを使用して）行われる例において、メモリー３３８の容量は、メモリー３１８の容量よりも大きいことがある。同じように、プロセッサー（複数可）３３６の速さ／電力および／またはリモートコンピューティングデバイス（複数可）３３４の他のパラメーターは、対応するプロセッサー（複数可）３１６の速さ／電力よりも大きいことがある。結果として、相対的に高度化されたニューラルネットワーク、アルゴリズム、および／または他のコンポーネントは、オフラインの処理において使用されることがある。さらにその上、本明細書に説明される例のどれにおいても、上記のオフラインシステムの相対的なロバストネスのために、リモートコンピューティングデバイス３３４に関連付けられたオフラインの３次元認知のパイプラインを利用して、例えば、車両３０２のオンラインセンサーをトレーニングすることがある。

【0080】

さらにその上、いくつかの例において、上記オフラインの機械学習の技法は、オブジェクトの過去のロケーションについての、および／またはオブジェクトの識別／分類についての決定、および／または予測をする時間において、後に獲得されるデータの使用を含むことがある。例えば、ログデータおよび／または他の履歴データは、センサーデータストア３４０に格納されることがあることが理解される。例えば、上記のログデータは、種々の時点における特定のオブジェクトの感知されたロケーション、上記のオブジェクトの特徴付けおよび／または識別などを示す情報を含むことがある。いくつかの例において、上記の履歴データは、車両３０２の１つまたは複数のセンサーをトレーニングするのを支援する種々の前方および後方のルーピングプロセス（looping process）において使用されることがある。例えば、上記の履歴データを使用して、本開示のデータ関連付けおよび／またはオブジェクトトラッキング処理の間じゅう、なされる予測を確かめることがある。結果として、オフラインの機械学習訓練の間じゅう、車両３０２の１つまたは複数のセンサーパイプラインをトレーニングするのを支援するために履歴データを使用することは、車両コンピューティングデバイス３０４の認知システム３２２および／または他のコンポーネントによってなされるオンラインの決定の正確度を改善することがある。

【0081】

損失関数を使用して、トレーニングの間じゅう、機械学習システム３４４の内部パラメーターを調整することがある。損失関数は、トレーニングデータ５２８に対して予期される出力（またはグランドトゥルース）の値、およびネットワークによって出力される値の関数である。損失関数に含まれた情報は、内部パラメーターを調整するために逆伝搬として機械学習システム３４４を通じて送られ、それによって、機械学習システム３４４を調整して有効な出力を提供することがある。ほかのすべてが等しいなら、機械学習システム３４４をトレーニングするために使用されるトレーニングデータ５２８が多ければ多いほど、（たとえば、正確な分割および／または分類を提供するときに）より信頼できる機械学習システム３４４であることがある。

【0082】

例えば、上記の損失関数は、サポートベクターマシン（ＳＶＭ）損失、ヒンジ損失などを含むことがある。上記の損失関数は、センサーデータを分割するように機械学習システム３４４をトレーニングするのに使用されることがあるが、予期される、またはグランドトゥルースの、分割されたデータを有する入力データの他のどんな関数でも考えられる。

【0083】

上に参照された例のどれにおいても、１つセンサーモダリティは、どんな他のセンサーモダリティでも通知することがある。制限でない例として、ＬＩＤＡＲセンサーデータ１１２は、例えば、ＬＩＤＡＲ特徴トラッキング（LIDAR feature tracking）、ＬＩＤＡＲ分割（LIDAR segmentation）、ＬＩＤＡＲ分類（LIDAR classification）などに基づいて決定されることがある、車両に最も近い、環境１０８におけるオブジェクト（静的か動的かどうか）を示すことがある。上記の例にて、ＬＩＤＡＲセンサーデータ１１２において決定されるオブジェクトを使用して、残りのセンサーモダリティにおいて（たとえば、他のＬＩＤＡＲセンサーにおいて、画像データ１１０、またはセンサーデータ１１４において）予期されるセンサーリターンを決定することがある。予期されるオブジェクトの検出とデータの測定との間の不一致は、それぞれのセンサーの故障、それぞれのセンサーの誤校正などを示すことがある。本明細書に説明される例のどれにおいても、１つまたは複数の信号および／または対応する画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４は、機械学習システム３４４に入力されることがあり、レスポンスシステム１２４は、少なくとも部分的に機械学習システム３４４の出力に基づいて、対応する応答および／または他の作動１２６を開始することがある。機械学習システム３４４および／またはトレーニングデータ５２８は、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、センサー１０６、および／または本明細書に説明されるその他のセンサーモダリティのうちのどれでもトレーニングするように構成されるおよび／または利用されることがあると理解される。

【0084】

図５の参照を続けて、いくつかの例において、信頼レベルは、オブジェクト１２２の識別に関連付けられることがあり、上記の例において、レスポンスシステム１２４は、オブジェクト１２２の識別に関連付けられた信頼レベルが、しきい値の信頼レベルに下がると、応答および／またはどんな他の作動１２６でも開始するように構成されることがある。例えば、本明細書に説明される１つまたは複数の応答および／またはどんな他の作動１２６でもなど、これらは、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４に関連付けられたに不正確さを考慮に入れるのに使用されることがあり、車両２０２の動作を改善することがある。

【0085】

いくつかの例において、認知システム１１６は、（たとえば、物理的にか、通信システムを介してかのいずれか）車両に接続されることがあり、応答および／またはどんな他の作動１２６でも開始することは、例えば、通信接続（複数可）３１０（図３）を介して、車両の動作を支援するように構成されたテレオペレーションシステム５３０と通信を開始すること、または検証要求を生成することのうちの１つまたは複数を含むことがある。いくつかの例において、上記の検証要求を生成することは、１つまたは複数の特定されるオブジェクト１２２が障害物でないことに関する車両サービスセンター５３２の通知を開始することを含むことがある。例えば、車両は、支援モードに従って動作するように構成されることがあり、ここで、車両から遠隔に位置されることがあるテレオペレーションシステム５３０は、（たとえば、通信接続（複数可）３１０および／または関連する通信ネットワークを介して）動作に関して車両から１つまたは複数の信号を受信することがある。例えば、テレオペレーションシステム５３０は、例えば、テレオペレーター、および／または本明細書に説明される１つまたは複数の方法を介して、車両から受信される１つまたは複数の信号に基づいて、環境１０８におけるオブジェクト１２２の存在または非存在を検証するように構成されることがある。テレオペレーションシステム５３０は、車両に、本明細書に説明されるように、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４に関連付けられた不正確さを考慮に入れる応答および／またはどんな他の作動１２６でも開始させる１つまたは複数の信号を、車両に送るように構成されることがある。制限でない例として、上記のテレオペレーターの作動は、車両を停止させるコマンドを送ること、種々のセンサーモダリティに割り当てられた重みを調整すること、エラーを解消するおよび／または軽減するコマンドを送ることなどを含むことがある。

【0086】

上述のように、いくつかの例において、応答および／または他の作動１２６を開始することは、例えば、ドライブモジュール（複数可）３１４（図３）との通信によって、車両の進行方向を反対にすることを含むことがある。いくつかの例において、車両は、例えば、本明細書に説明されるように、第１の方向か第２の反対方向かのいずれかにおいて、一般に等しい性能により動作するように構成された双方向車両であることがある。上記の例において、車両は、少なくとも類似したセンサーを車両の両端に有することがあり、ドライブモジュール（複数可）３１４は、認知システム１１６および／またはオブジェクト検出システム１１８が、オブジェクト１２２を環境１０８において存在するとして特定し、（たとえば、特定されるオブジェクト１２２が、上述の１つまたは複数のオブジェクトのグループにないまたは誤分類されていると決定する）認知システム１１６によって受信された１つまたは複数のそれぞれのセンサー信号に含まれるデータに関連付けられた、対応するエラーを決定するならば、車両に、反対の進行方向に動作させるように構成されることがある。

【0087】

さらにその上、上述のように、上記の応答および／または他の作動１２６は、特に、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４の一部を無視することのうちの少なくとも１つを含むことがある。さらに、上記の応答および／または他の作動１２６は、１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６、センサーシステム（複数可）３０６（図３）の他のセンサー、および／またはセンサーシステム（複数可）３０６のそれぞれのセンサーから受信された信号に関連付けられた重み、信頼値、および／または他のメトリックを修正することを含むこともある。さらに、上記の応答および／または他の作動１２６は、上に説明されたトレーニングデータ５２８を修正することを含むことがある。

【0088】

さらに、本明細書に説明される例のどれにおいても、認知システム１１６、オブジェクト検出システム１１８、機械学習システム３４４、および／または本開示の他のシステムは、上に説明した種々のオブジェクトのグループを互いと比較するように構成されることがあり、上記の比較に少なくとも部分的に基づいて、応答および／または他の作動１２６を開始することがある。例えば、認知システム１１６は、オブジェクトのグループ５０２、５０８、５１４、および／または時間Ｔ₁において収集されたセンサーデータに関連付けられた他のオブジェクトのグループを、互いと比較するように構成されることがある。認知システム１１６のオブジェクト検出システム１１８は、例えば、どんな違いが、オブジェクトのグループ５０２、５０８、５１４の間に、および／またはオブジェクトのグループ５０２、５０８、５１４に関連付けられたどんなパラメーター間でも、存在するかどうかを決定するように構成されることがある。例えば、オブジェクト検出システム１１８は、オブジェクトのグループ５０２に含まれる１つまたは複数のオブジェクトが、オブジェクトのグループ５０８および／またはオブジェクトのグループ５１４にない（たとえば、フォールスネガティブ）と決定するように構成されることがある。さらなる例において、オブジェクト検出システム１１８は、オブジェクトのグループ５０２に含まれる１つまたは複数のオブジェクトが、オブジェクトのグループ５０８および／またはオブジェクトのグループ５１４に含まれる対応するオブジェクトと異なる（たとえば、フォールスポジティブまたは誤分類）と決定するように構成されることがある。上記の例において、レスポンスシステム１２４は、上記の決定に少なくとも部分的に基づいて、応答および／またはどんな他の作動でも開始することがある。さらに、認知システム１１６は、オブジェクトのグループ５０４、５１０、５１６、および／または時間Ｔ₂において収集された他のオブジェクトのグループを、互いと比較するなどのように構成されることがあると理解される。本明細書に説明される例のどれにおいても、オブジェクトのグループ（たとえば、オブジェクトのグループ５０２、５０８、５１４）を互いと比較すること、および／またはそれぞれのオブジェクトのグループ（たとえば、オブジェクトのグループ５０２、５０８、５１４）のうちのどれでも融合センサーデータ１３４と比較することは、比較の目的のために、それぞれのオブジェクトのグループに含まれる個々のオブジェクトを互いに関連付けることを含むことがある。いくつかの例において、上記の「オブジェクトアソシエーション」処理は、あるセンサーデータセットからのデータまたはオブジェクトを、その他に投影することを含むことがある。制限でない例として、画像データ１１０に含まれるオブジェクトのグループ５０２を示すデータは、オブジェクトのグループ５０８を含むＬＩＤＡＲセンサーデータ１１２に、および／またはオブジェクトのグループ５１４を含むセンサーデータ１１４に投影されて（またはそうでなければ関連付けられて）、環境において同一のオブジェクトに対応する、グループのオブジェクトを決定することがある。追加としてまたは代替として、融合センサーデータ１３４の少なくとも一部（たとえば、オブジェクトのグループ５２２に含まれる１つまたは複数のオブジェクト）は、画像データ１１０の一部、ＬＩＤＡＲセンサーデータ１１２の一部、および／またはセンサーデータ１１４の一部に関連付けられて、融合センサーデータ１３４に検出されたオブジェクトのグループ５２２においてどのオブジェクトが、オブジェクトのグループ５０２、５０８、および／または５１４のオブジェクトに対応するかを決定することがある。例えば、上記のオブジェクトアソシエーション処理の一部として、認知システム１１６は、オブジェクトのグループ５２２に含まれる１つまたは複数のオブジェクトを、シーンＤ、Ｅ、および／またはＦに投影して（またはそうでなければ関連付けて）、もしあれば、オブジェクトのグループ５２２のどのオブジェクトが、オブジェクトのグループ５０２、５０８、５１４のどれかに対応するかを決定することがある。代替として、それぞれのオブジェクトのグループ５０２、５０８、５１４に含まれる、および／または特定される１つまたは複数のオブジェクトは、融合センサーデータ１３４（たとえば、オブジェクトのグループ５２２）に投影されることがある。上記のオブジェクトアソシエーション処理は、認知システム１１６によって、１つまたは複数のデータアライメント、フィーチャーマッチング、および／または他のデータマッピング技法を使用して行われることがある。どんな上記のオブジェクトアソシエーション処理においても、認知システム１１６は、各センサーモダリティの出力を、特定のオブジェクトと、および／またはそれぞれのロケーションと相関させることがある。結果として、それぞれのセンサーモダリティに関する個々の出力は、忠実度と比較されることが可能である。いくつかの例において、上に説明されたオブジェクトアソシエーション処理のうちのどれでも、認知システム１１６によって、１つまたは複数のデータアソシエーション、オブジェクト認識、オブジェクト特徴付け特性評価、および／または本明細書に説明される他の処理のうちの一部として行われることがある。

【0089】

図６は、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装されることが可能である動作のシーケンスを表す、ロジカルフローグラフにおけるブロックの集まりとして例示される例示的な処理６００のフロー図である。ソフトウェアのコンテキストにおいては、ブロックは、１つまたは複数のコンピューター読み取り可能な記録媒体に格納されたコンピューター実行可能な命令を表し、１つまたは複数のプロセッサーによって実行されると、引用される動作を実行する。一般に、コンピューター実行可能な命令は、特定の機能を実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記述されている順序は、制限として解釈されることを意図せず、プロセスを実装するために、記述されているブロックをいくつでも、どんな順序でもおよび／または並列に組み合わされることが可能である。

【0090】

いくつかの例において、図６の処理６００は、個々のセンサーデータを融合センサーデータと比較し、認知システム１１６によって受信される１つまたは複数のそれぞれのセンサーデータに含まれるデータに関連付けられたエラーを特定する、および／またはそうでなければ決定する（たとえば、融合センサーデータに存在するが、種々のセンサー信号に関連付けられた１つまたは複数のオブジェクトのグループにない、または誤分類されている特定のオブジェクトを決定する）のに採用されることがある。さらに、上記の処理６００は、上記のエラーが、（たとえば、上記のオブジェクトを特定することに少なくとも部分的に基づいて）存在すると決定することに少なくとも部分的に基づいて、応答または他の作動を開始することを含むこともある。追加としてまたは代替として、上記の処理６００は、上記のエラーが存在すると決定することに少なくとも部分的に基づいて、機械学習システムをトレーニングすることを含むことがある。処理６００に関連付けられたステップのうちのどれでも、オンラインで（たとえば、車両３０２に配置される１つまたは複数のプロセッサー３１６によって）、および／またはオフラインで（たとえば、１つまたは複数のリモートコンピューティングデバイス３３４によって）行われることがある。６０２において、例示的な処理６００は、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４（たとえば、１つまたは複数のサーバーコンピューターまたは他のリモートコンピューティングデバイス）の他のコンポーネントによって、第１の信号を第１のセンサーから受信することを含むことがある。上記の例において、第１のセンサーは、特に、１つまたは複数の画像取り込みデバイス１０２、および／またはセンサーシステム（複数可）３０６に関して本明細書に説明される１つまたは複数の他のセンサーを含むことがある。追加として、上記の第１のセンサーは、車両３０２に配置される、および／またはそうでなければ連結されることがある。いくつかの例において、車両３０２は、自律車両、半自律車両（semi-autonomous vehicle）、および／または業界に既知のどんな他の車両でも含むことがある。６０２において受信される第１の信号は、第１のデータ（たとえば、画像データ１１０）および／または環境１０８を表す他のデータを含むことがある。例えば、６０２において受信される画像データ１１０は、画像取り込みデバイス１０２によって検出される第１のシーンＡを表すことがある。少なくとも図１に関して上述したように、いくつかの例において、上記の第１のシーンＡは、第１のセンサーが存在する環境１０８に検出される第１のオブジェクトのグループ１２８を含むことがある。特に、第１のシーンＡは、環境１０８において、第１のセンサー（たとえば、画像取り込みデバイス１０２）によって実際に検出される第１のオブジェクトのグループ１２８を含むことがある。本明細書に説明される例のどれにおいても、６０２にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第１のデータ（たとえば、画像データ１１０）に少なくとも部分的に基づいて、１つまたは複数の分割、分類、および／または他のデータ分析処理を使用して、第１のオブジェクトのグループ１２８を決定することがある。

【0091】

６０４において、例示的な処理６００は、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントによって、第２の信号を、車両３０２に配置される第２のセンサー（たとえば、ＬＩＤＡＲセンサー１０４）から受信することを含むことがある。上記の例において、６０４にて受信される第２の信号は、第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）および／または環境１０８を表す他のデータを含むことがある。例えば、６０４において受信されるＬＩＤＡＲセンサーデータ１１２は、ＬＩＤＡＲセンサー１０４によって検出される第２のシーンＢを表すことがある。いくつかの例において、第２のシーンＢは、第１のシーンＡが第１のセンサーによって検出されるのと同じ時間にて（たとえば、実質的に同時に）、第２のセンサーによって検出されることがある。追加として、図１に関して上に説明したように、第２のシーンＢは、環境１０８に検出可能な第２のオブジェクトのグループ１３０を含むことがある。特に、シーンＢは、環境１０８において、第２のセンサー（たとえば、ＬＩＤＡＲセンサー１０４）によって実際に検出される第２のオブジェクトのグループ１３０を含むことがある。シーンＡが第１のセンサーによって検出されるのと同じ時間において、シーンＢが第２のセンサーによって検出される例にて、第１のオブジェクトのグループ１２８は、第２のオブジェクトのグループ１３０と実質的に同一であることがある。本明細書に説明される例のどれにおいても、６０４にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）に少なくとも部分的に基づいて、１つまたは複数の分割、分類、および／または他のデータ分析処理を使用して、第２のオブジェクトのグループ１３０を決定することがある。

【0092】

さらなる例において、６０６にて、例示的な処理６００は、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントによって、第３の信号を、車両３０２に配置される１つまたは複数の追加のセンサー１０６（たとえば、ＲＡＤＡＲセンサー）から受信することを含むことがある。上記の例において、６０６にて受信される第３の信号は、第３のデータ（たとえば、センサーデータ１１４）および／または環境１０８を表す他のデータを含むことがある。例えば、６０６において受信されるセンサーデータ１１４（たとえば、ＲＡＤＡＲセンサーデータ）は、１つまたは複数の追加のセンサー１０６によって（たとえば、ＲＡＤＡＲセンサーによって）検出される第３のシーンＣを表すことがある。第３のシーンＣは、第１のシーンＡが第１のセンサーによって検出される、および／または第２のシーンＢが第２のセンサーによって検出されるのと同じ時間にて（たとえば、実質的に同時に）、１つまたは複数の追加のセンサー１０６によって検出されることがある。追加として、図１に関して説明したように、第３のシーンＣは、環境１０８に検出可能な第３のオブジェクトのグループ１３２を含むことがある。特に、シーンＣは、環境１０８において、１つまたは複数の追加のセンサー１０６によって実際に検出される第３のオブジェクトのグループ１３２を含むことがある。シーンＡが第１のセンサーによって検出されるのと同じ時間において、シーンＣが１つまたは複数の追加のセンサー１０６によって検出される例にて、第３のオブジェクトのグループ１３２は、第１のオブジェクトのグループ１２８と実質的に同一である、または少なくともいくつものデータを共通に（たとえば、オーバーラップする視野を有することによって）有することがある。シーンＢが第２のセンサーによって検出されるのと同じ時間において、シーンＣが１つまたは複数の追加のセンサー１０６によって検出される例にて、第３のオブジェクトのグループ１３２は、第２のオブジェクトのグループ１３０と実質的に同一である、または少なくともいくつものデータを共通に（たとえば、オーバーラップする視野を有することによって）有することがある。本明細書に説明される例のどれにおいても、６０６にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第３のデータ（たとえば、センサーデータ１１４）に少なくとも部分的に基づいて、１つまたは複数の分割、分類、および／または他のデータ分析処理を使用して、第３のオブジェクトのグループ１３２を決定することがある。

【0093】

６０８において、認知システム１１６は、６０２にて受信される第１のデータ（たとえば、画像データ１１０）、６０４にて受信される第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）、および／または６０６にて受信される第３のデータ（たとえば、センサーデータ１１４）に少なくとも部分的に基づいて、第４のオブジェクトのグループ１２０を決定することがある。例えば、６０８において、認知システム１１６は、認知システム１１６によって予測される、決定される、および／または示される融合センサーデータ１３４を、環境１０８内に存在するとして、生成するおよび／またはそうでなければ決定することがある。認知システム１１６は、本明細書に説明される融合技法のどれでも使用して、６０２、６０４、および／または６０６にて受信される１つまたは複数の信号に含まれる情報に少なくとも部分的基づいて、６０８において上記の融合センサーデータ１３４を生成することがある。例えば、認知システム１１６は、受信される画像データ１１０、受信されるＬＩＤＡＲセンサーデータ１１２、および／または受信されるセンサーデータ１１４に少なくとも部分的に基づいて、上記の融合センサーデータ１３４を生成することがあり、６０８にて生成される融合センサーデータ１３４は、上に説明した第４のオブジェクトのグループ１２０を含むことがある。上記の例において、オブジェクトのグループ１２０（たとえば、融合センサーデータ１３４）は、認知システム１１６によって予測される、決定される、および／または示されるオブジェクトを、環境１０８内に存在するとして含むことがある。本明細書に説明されるように、上記の融合センサーデータ１３４は、認知システム１１６によって、および／または機械学習システム３４４によって、個々のセンサーモダリティをトレーニングするためにグランドトゥルース情報として使用されることがある。

【0094】

６１０において、認知システム１１６は、不一致が、融合センサーデータ１３４と、個々のセンサーモダリティから受信されるデータとの間に存在するかどうかを決定するために、６０２にて受信される第１のデータ（たとえば、画像データ１１０）、６０４にて受信される第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）、６０６にて受信される第３のデータ（たとえば、センサーデータ１１４）、および／または６０２、６０４、および／または６０６において受信される１つまたは複数の信号に含まれるどんな他のデータでも、６０８において生成される融合センサーデータ１３４と比較することがある。例えば、６１０において、認知システム１１６は、第１のオブジェクトのグループ１２８、第２のオブジェクトのグループ１３０、および第３のオブジェクトのグループ１３２を、６０８にて決定される第４のオブジェクトのグループ１２０と比較して、１つまたは複数のエラーが、それぞれのオブジェクトのグループ１２８、１３０、１３２に存在するかどうかを決定することがある。上記の比較において、第４のオブジェクトのグループ１２０は、第４のオブジェクトのグループ１２０が、複数のソース（たとえば、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６など）からのデータ（たとえば、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、センサーデータ１１４など）を使用して、生成されたので、グランドトゥルースとして扱われることがある。

【0095】

６１２において、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第１のオブジェクトのグループ１２８、第２のオブジェクトのグループ１３０、および／または第３のオブジェクトのグループ１３２が、オブジェクトのグループ１２０に関する（たとえば、仮定されたグランドトゥルースに関する）エラーを含むかどうかを決定することがある。例えば、６１２において、１つまたは複数のプロセッサー（複数可）３１６および／または車両コンピューティングデバイス３０４の他のコンポーネントは、融合センサーデータ１３４に含まれる１つまたは複数のオブジェクト１２２（たとえば、オブジェクトのグループ１２０に含まれる１つまたは複数のオブジェクト１２２）が、それぞれ、６０２、６０４、６０６において受信される信号に対応するオブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つにない、または誤分類されているかどうかを決定することがある。例えば、６１２において、オブジェクト検出システム１１８および／または認知システム１１６は、オブジェクトのグループ１２０に含まれる１つまたは複数のオブジェクト（たとえば、オブジェクト１２２）が、オブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つにない（たとえば、オブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つに関連付けられたフォールスネガティブである）と決定するように構成されることがある。さらなる例にて、６１０において、オブジェクト検出システム１１８および／または認知システム１１６は、オブジェクトのグループ１２０に含まれる１つまたは複数のオブジェクト（たとえば、オブジェクト１２２）が、オブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つに含まれる対応するオブジェクトと異なる（たとえば、オブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つにおけるオブジェクトに関連付けられたフォールスポジティブまたは誤分類である）と決定するように構成されることがある。依然としてさらなる例にて、６１０において、オブジェクト検出システム１１８および／または認知システムは、本明細書に説明されるその他のエラーのどれでも決定するおよび／または特定するように構成されることがある。どの上記の例においても、６１２において、オブジェクト検出システム１１８および／または認知システム１１６は、「はい」、エラーが存在すると決定することがある。例えば、６１２において、認知システム１１６は、「はい」、融合センサーデータ１３４に含まれる（たとえば、オブジェクトのグループ１２０に含まれる）オブジェクト（たとえば、オブジェクト１２２）がオブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つにない、または誤分類されていると決定することがあり、システムは、６１４および／または６１６に進むことがある。代替として、６１２において、オブジェクト検出システム１１８および／または認知システム１１６は、「いいえ」、エラーが存在しないと決定することがある。例えば、６１２において、認知システム１１６は、「いいえ」、オブジェクトのグループ１２８、１３０、１３２にない、または誤分類されている、融合センサーデータ１３４に含まれる（たとえば、オブジェクトのグループ１２０に含まれる）オブジェクトがない（たとえば、オブジェクトのグループ１２８、１３０、１３２に確認されるオブジェクトが、各々、オブジェクトのグループ１２０に含まれる）と決定することがある。上記の例において、システムは、６０２に進むことがある。

【0096】

６１４において、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、６０２、６０４、および／または６０６にて受信される１つまたは複数の信号に含まれる情報を、上に説明された機械学習システム３４４をトレーニングするときにグランドトゥルースとして使用することがある。例えば、６１４において、認知システム１１６は、６０２、６０４、６０６にて受信される信号のどれが、決定されたエラーに対応するのか、および／または上記の信号のどれが、機械学習システム３４４をトレーニングするのに有用であることがある情報を含むのかを特定することがある。上記の情報は、６１４において、機械学習システム３４４をトレーニングするためのグランドトゥルースの例として、使用されることがある。いくつかの例にて、機械学習システム３４４は、単独か、認知システム１１６のオブジェクト検出システム１１８または他のコンポーネントとの組み合わせかのいずれかにおいて、シーン（たとえば、上に説明された１つまたは複数のシーンＡ～Ｇなど）に検出されるすべてのオブジェクトを特定する、分類する、および／またはカテゴライズすることがあり、１つまたは複数の上記のシーンにない、または誤分類されている１つまたは複数のオブジェクト１２２を特定することがある。いくつかの例において、６１４に関連付けられた処理は、オフラインまたはオンラインで行われることがある。

【0097】

６１６において、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、６１２にてエラーを決定することに少なくとも部分的に基づいて、応答、および／またはどんな他の作動１２６でも開始することがある。例えば、６１６において、１つまたは複数のプロセッサー（複数可）３１６および／または車両コンピューティングデバイス３０４の他のコンポーネントは、６１２にて特定されるオブジェクト１２２が、オブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つにない、または誤分類されていると決定することがある。例えば、６１２において、認知システム１１６は、オブジェクト１２２が、オブジェクトのグループ１３０にないこと、およびオブジェクト１２２が、オブジェクトのグループ１２８とオブジェクトのグループ１３２とに含まれていることを決定することがある。上記の決定に少なくとも部分的に基づいて、６１６において、レスポンスシステム１２４は、上に説明された応答のどれでも開始することがある。例えば、上記の応答は、特に、画像データ１１０、ＬＩＤＡＲセンサーデータ１１２、および／またはセンサーデータ１１４の一部を無視することのうちの少なくとも１つを含むことがある。さらに、６１６にて開始された上記の応答および／または他の作動１２６は、１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６、センサーシステム（複数可）３０６の他のセンサー、および／またはセンサーシステム（複数可）３０６のそれぞれのセンサーから受信された信号に関連付けられた重み、信頼値、および／または他のメトリックを修正することを含むこともある。さらに、６１６にて開始された上記の応答および／または他の作動１２６は、１つまたは複数の画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６、センサーシステム（複数可）３０６の他のセンサーに関連付けられたトレーニングデータ５２８を修正することを含むことがある。いくつかの例において、さらに、６１６にて開始された上記の応答および／または他の作動１２６は、検証要求を生成すること、および／または通信接続（複数可）３１０を使用して、人間のオペレーターおよび／またはテレオペレーターによる検討のために上記の検証要求をサービスセンター５３２および／またはテレオペレーションシステム５３０に送ることを含むこともある。さらに、６１６にて開始された上記の応答および／または他の作動１２６は、１つまたは複数のドライブモジュール（複数可）３１４を制御して、車両３０２の速さ、方向、および／または他の動作パラメーターを変えることを含むこともある。いくつかの例において、６１６に関連付けられた処理は、オフラインまたはオンラインで行われることがある。

【0098】

上述のように、方法６００は、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装されることが可能である動作のシーケンスを表す、ロジカルフローグラフにおけるブロックの集まりとして例示される。ソフトウェアのコンテキストにおいては、ブロックは、１つまたは複数のコンピューター読み取り可能な記録媒体に格納されたコンピューター実行可能な命令を表し、１つまたは複数のプロセッサーによって実行されると、引用される動作を実行する。一般に、コンピューター実行可能な命令は、特定の機能を実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記述されている順序は、制限として解釈されることを意図せず、プロセスを実装するために、記述されているブロックをいくつでも、どんな順序でもおよび／または並列に組み合わされることが可能である。いくつかの実施態様において、処理の１つまたは複数のブロックは、完全に省略されることがある。さらにその上、方法６００は、全体的または部分的に、他の方法と組み合わされることがある。

【0099】

図７は、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装されることが可能である動作のシーケンスを表す、ロジカルフローグラフにおけるブロックの集まりとして例示される別の例示的な処理７００のフロー図である。ソフトウェアのコンテキストにおいては、ブロックは、１つまたは複数のコンピューター読み取り可能な記録媒体に格納されたコンピューター実行可能な命令を表し、１つまたは複数のプロセッサーによって実行されると、引用される動作を実行する。一般に、コンピューター実行可能な命令は、特定の機能を実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記述されている順序は、制限として解釈されることを意図せず、プロセスを実装するために、記述されているブロックをいくつでも、どんな順序でもおよび／または並列に組み合わされることが可能である。いくつかの点において、実質的に、処理７００は、図６に関して上に説明された処理６００と類似する、および／または同一であることがある。可能なら、同様のアイテムの数字を、以下に使用して、実質的に、処理６００の対応するアスペクトと類似するおよび／または同一である処理７００のアスペクトを説明するだろう。

【0100】

いくつかの例において、図７の処理７００は、センサーデータに関連付けられたそれぞれのオブジェクトのグループに関連付けられたパラメーターを決定するのに採用されることがある。処理７００は、種々のパラメーターを比較して、１つまたは複数の差異が、上記のパラメーターの間に存在するかどうかを決定することを含むことがある。さらに、上記の処理７００は、上記の差異が存在すると決定することに少なくとも部分的に基づいて、応答または他の作動を開始することを含むことがある。追加としてまたは代替として、上記の処理７００は、上記の差異が存在すると決定することに少なくとも部分的に基づいて、機械学習システムをトレーニングすることを含むことがある。処理７００に関連付けられたステップのうちのどれでも、オンラインで（たとえば、車両３０２に配置される１つまたは複数のプロセッサー３１６によって）、および／またはオフラインで（たとえば、１つまたは複数のリモートコンピューティングデバイス３３４によって）行われることがある。

【0101】

７０２において、例示的な処理７００は、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４（たとえば、１つまたは複数のサーバーコンピューターまたは他のリモートコンピューティングデバイス）の他のコンポーネントによって、第１の信号を第１のセンサーから受信することを含むことがある。上記の例において、第１のセンサーは、特に、１つまたは複数の画像取り込みデバイス１０２、および／またはセンサーシステム（複数可）３０６に関して本明細書に説明される１つまたは複数の他のセンサーを含むことがある。追加として、上記の第１のセンサーは、車両３０２に配置される、および／またはそうでなければ連結されることがある。いくつかの例において、車両３０２は、自律車両、半自律車両（semi-autonomous vehicle）、および／または業界に既知のどんな他の車両でも含むことがある。７０２において受信される第１の信号は、第１のデータ（たとえば、画像データ１１０）および／または環境１０８を表す他のデータを含むことがある。例えば、７０２において受信される画像データ１１０は、画像取り込みデバイス１０２によって検出される第１のシーンＡを表すことがある。本明細書に説明される例のどれにおいても、７０２にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第１のデータ（たとえば、画像データ１１０）に少なくとも部分的に基づいて、１つまたは複数の検出、分割、分類、および／または他のデータ分析処理を使用して、第１のオブジェクトのグループ１２８を決定することがある。

【0102】

さらに、７０２にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第１のオブジェクトのグループ１２８に関連付けられた１つまたは複数のパラメーター（たとえば、第１のパラメーター）を、第１のデータを使用して決定することがある。本明細書に説明される例のどれにおいても、上記のパラメーターは、特に、環境１０８のオブジェクトの分類、環境１０８のオブジェクトの実在（existence）および／または存在（presence）に関する決定（すなわち、検出）、環境１０８のオブジェクトのロケーション（たとえば、ロケーションＬ）、オブジェクトの向き、オブジェクトの数、不確実性、および／または上記のオブジェクトのどんな他の特性、メトリック、またはアスペクトでも含むことがある。

【0103】

７０４において、例示的な処理７００は、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントによって、第２の信号を、車両３０２に配置される第２のセンサー（たとえば、ＬＩＤＡＲセンサー１０４、またはセンサーシステム（複数可）３０６のうちのどんな他のセンサーでも）から受信することを含むことがある。上記の例において、７０４にて受信される第２の信号は、第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）および／または環境１０８を表す他のデータを含むことがある。例えば、７０４において受信されるＬＩＤＡＲセンサーデータ１１２は、ＬＩＤＡＲセンサー１０４によって検出される第２のシーンＢを表すことがある。図１に関して上に説明したように、第２のシーンＢは、環境１０８に検出可能な第２のオブジェクトのグループ１３０を含むことがある。特に、シーンＢは、環境１０８において、第２のセンサー（たとえば、ＬＩＤＡＲセンサー１０４）によって実際に検出される第２のオブジェクトのグループ１３０を含むことがある。シーンＡが第１のセンサーによって検出されるのと同じ時間において、シーンＢが第２のセンサーによって検出される例にて、第１のオブジェクトのグループ１２８のうちの少なくとも１つは、第２のオブジェクトのグループ１３０のうちの少なくとも１つと実質的に同一であることがある。本明細書に説明される例のどれにおいても、７０４にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）に少なくとも部分的に基づいて、１つまたは複数の検出、分割、分類、および／または他のデータ分析処理を使用して、第２のオブジェクトのグループ１３０を決定することがある。さらに、７０４にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第２のオブジェクトのグループ１３０に関連付けられた１つまたは複数のパラメーター（たとえば、第２のパラメーター）を、第２のデータを使用して決定することがある。本明細書に説明される例のどれにおいても、上記のパラメーターは、７０２に関して上に説明されたパラメーターのうちのどれでも含むことがある。

【0104】

さらなる例において、７０６にて、例示的な処理７００は、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントによって、第３の信号を、車両３０２に配置される１つまたは複数の追加のセンサー１０６（たとえば、ＲＡＤＡＲセンサー、またはセンサーシステム（複数可）３０６のどんな他のセンサーでも）から受信することを含むことがある。上記の例において、７０６にて受信される第３の信号は、第３のデータ（たとえば、センサーデータ１１４）および／または環境１０８を表す他のデータを含むことがある。例えば、７０６において受信されるセンサーデータ１１４（たとえば、ＲＡＤＡＲセンサーデータ）は、１つまたは複数の追加のセンサー１０６によって（たとえば、ＲＡＤＡＲセンサーによって）検出される第３のシーンＣを表すことがある。図１に関して説明したように、第３のシーンＣは、環境１０８に検出可能な第３のオブジェクトのグループ１３２を含むことがある。特に、シーンＣは、環境１０８において、１つまたは複数の追加のセンサー１０６によって実際に検出される第３のオブジェクトのグループ１３２を含むことがある。本明細書に説明される例のどれにおいても、７０６にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第３のデータ（たとえば、センサーデータ１１４）に少なくとも部分的に基づいて、１つまたは複数の検出、分割、分類、および／または他のデータ分析処理を使用して、第３のオブジェクトのグループ１３２を決定することがある。さらに、７０６にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、第３のオブジェクトのグループ１３２に関連付けられた１つまたは複数のパラメーター（たとえば、第３のパラメーター）を決定することがある。本明細書に説明される例のどれにおいても、上記のパラメーターは、７０２に関して上に説明されたパラメーターのうちのどれでも含むことがある。

【0105】

７０８において、認知システム１１６は、７０２にて受信される第１のデータ（たとえば、画像データ１１０）、７０４にて受信される第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）、および／または７０６にて受信される第３のデータ（たとえば、センサーデータ１１４）に少なくとも部分的に基づいて、第４のオブジェクトのグループに関連付けられた第４のパラメーターを決定することがある。例えば、７０８において、認知システム１１６は、認知システム１１６によって予測される、決定される、および／または示される融合センサーデータ１３４を、環境１０８内に存在するとして、生成するおよび／またはそうでなければ決定することがある。認知システム１１６は、本明細書に説明される融合技法のどれでも使用して、７０２、７０４、および／または７０６にて受信される１つまたは複数の信号に含まれる情報に少なくとも部分的基づいて、７０８において上記の融合センサーデータ１３４を生成することがある。例えば、認知システム１１６は、受信される画像データ１１０、受信されるＬＩＤＡＲセンサーデータ１１２、および／または受信されるセンサーデータ１１４に少なくとも部分的に基づいて、上記の融合センサーデータ１３４を生成することがあり、７０８にて生成される融合センサーデータ１３４は、第４のオブジェクトのグループ１２０を含むことがある。上記の例において、オブジェクトのグループ１２０（たとえば、融合センサーデータ１３４）は、認知システム１１６によって予測される、決定される、および／または示されるオブジェクトを、環境１０８内に存在するとして含むことがある。従って、７０８にて、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、オブジェクトのグループ１２０に関連付けられた１つまたは複数のパラメーター（たとえば、第４のパラメーター）を決定することがある。本明細書に説明される例のどれにおいても、上記のパラメーターは、７０２に関して上に説明されたパラメーターのうちのどれでも含むことがある。

【0106】

７１０において、認知システム１１６は、オブジェクトのグループ１２０、１２８、１３０、１３２の間にて、１つまたは複数の対応するオブジェクトを決定することがある。次に、認知システム１１６は、対応するオブジェクト（すなわち、環境中の同一のオブジェクトを表す検出されたオブジェクト）に対して、７０８にて決定される第４のパラメーターと、７０２にて決定される第１のパラメーター、７０４にて決定される第２のパラメーター、および／または７０６にて決定される第３のパラメーターを、上記のパラメーターに差異があるかどうか（および／または上記の差異がしきい値を超えるかどうか）を決定するために、比較することがある。たとえば、７１０において、認知システム１１６は、環境１０８のオブジェクトの分類（上記の分類に関する確実性のインディケーションを含む）、環境１０８のオブジェクトの実在および／または存在に関する決定（上記の検出に関する不確実性を含む）、環境１０８のオブジェクトのロケーション（たとえば、ロケーションＬ）（上記のロケーションに関する不確実性を含む）、オブジェクトの向き（上記の不確実性に関する不確実性を含む）、オブジェクトの数、不確実性、および／または７０２にて決定されるどんな他の第１のパラメーターでも、７０８にて決定されるオブジェクトの対応するパラメーターと比較することがある。７１０において、さらに、認知システム１１６は、７０４および７０６にて決定される第２および第３のパラメーターの間における類似した比較を、７０８にて決定される対応するパラメーターによって行うこともある。

【0107】

追加の例にて、７１０において、認知システムは、不一致が、融合センサーデータ１３４と、個々のセンサーモダリティから受信されるデータとの間に存在するかどうかを決定するために、７０２にて受信される第１のデータ（たとえば、画像データ１１０）、７０４にて受信される第２のデータ（たとえば、ＬＩＤＡＲセンサーデータ１１２）、７０６にて受信される第３のデータ（たとえば、センサーデータ１１４）、および／または７０２、７０４、および／または７０６において受信される１つまたは複数の信号に含まれるどんな他のデータでも、上に説明された融合センサーデータ１３４と比較することがある。上記の例において、７１０にて、認知システム１１６は、第１のオブジェクトのグループ１２８、第２のオブジェクトのグループ１３０、および第３のオブジェクトのグループ１３２を、７０８にて決定される第４のオブジェクトのグループ１２０と比較して、差異が、オブジェクトのグループ１２８、１３０、１３２とオブジェクトのグループ１２０との間において存在するかどうかを決定する、および／または１つまたは複数のエラーが、それぞれのオブジェクトのグループ１２８、１３０、１３２に存在するかどうかを決定することがある。

【0108】

７１２において、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、差異が、７０８にて決定されるパラメーターと、７０２、７０４、および／または７０６にて決定されるパラメーターのどれかとの間に存在するかどうか（および／または差異がしきい値を超えるかどうか）を決定することがある。たとえば、７０２にて決定される第１のパラメーターが環境１０８におけるオブジェクト１２２の第１の分類を含み、７０４にて決定される第２のパラメーターがオブジェクト１２２の第２の分類を含み、７０６にて決定される第３のパラメーターがオブジェクト１２２の第３の分類を含み、７０８にて決定される第４のパラメーターがオブジェクト１２２の第４の分類を含む例において、７１２にて特定される上記の差異は、第１、第２、または第３の分類と、第４の分類との間の差異、および／または上記の分類の決定に関する不確実性における差異を含むことがある。同様に、７０２にて決定される第１のパラメーターが環境１０８におけるオブジェクト１２２の実在に関する第１の決定を含み、７０４にて決定される第２のパラメーターがオブジェクト１２２の実在に関する第２の決定を含み、７０６にて決定される第３のパラメーターがオブジェクト１２２の実在に関する第３の決定を含み、７０８にて決定される第４のパラメーターがオブジェクト１２２の実在に関する第４の決定を含む例において、７１２にて特定される上記の差異は、第１、第２、または第３の決定と、第４の決定の間の差異、および／または上記の決定に関連付けられた不確実性を含むことがある。本明細書に説明される例のどれにおいても、７１２にて特定される１つまたは複数のパラメーターの差異は、収集されるデータに少なくとも部分的に基づいて、例えば、７０２にて受信される第１の信号に関連付けられた第１のデータ、７０４にて受信される第２の信号に関連付けられた第２のデータ、および／または７０６にて受信される信号に関連付けられた第３のデータが収集される特定の時間よりも後の時点にて、画像取り込みデバイス１０２、ＬＩＤＡＲセンサー１０４、１つまたは複数の追加のセンサー１０６、および／または本開示のどんな他のセンサーによっても決定されることがある。例えば、いくつかの実施態様において、第１の信号に含まれる画像データ１１０によって示される第１のオブジェクトのグループ1２８は、画像取り込みデバイス１０２によって、第１の時間ｔ₁に検出されることがある。上記の実施態様において、第２の信号に含まれるＬＩＤＡＲセンサーデータ１１２によって示される第２のオブジェクトのグループ1３０は、ＬＩＤＡＲセンサー１０４によって、第１の時間Ｔ₁に検出されることがある。上記の例において、７１２にて、パラメーターの差異は、第１の時間Ｔ₁よりも後の第２の時間Ｔ₂に検出される追加の画像データ１１０、および／または追加のＬＩＤＡＲセンサーデータ１１２に少なくとも部分的に基づいて、特定されることがある。

【0109】

依然としてさらなる例において、７１２にて、１つまたは複数のプロセッサー（複数可）３１６、および／または車両コンピューティングデバイス３０４の他のコンポーネントは、融合センサーデータ１３４に含まれる１つまたは複数のオブジェクト１２２（たとえば、オブジェクトのグループ１２０に含まれる１つまたは複数のオブジェクト１２２）が、それぞれ、７０２、７０４、７０６において受信される信号に対応するオブジェクトのグループ１２８、１３０、１３２のうちの少なくとも１つにない、または誤分類されているかどうかを決定することによって、パラメーターの差異が存在するかどうかを決定することがある。依然としてさらなる例において、本明細書に説明される２つ以上のオブジェクトのグループ１２８、１３０、１３２は、少なくとも１つの共通のオブジェクトを含むことがあることが理解される。上記の例において、処理７００は、種々の別個のセンサーによって同時に収集されるデータに少なくとも部分的に基づいて、共通のオブジェクトを特定することを含むことがある。追加としてまたは代替として、上記の共通のオブジェクトは、１つまたは複数のセンサーによって、別個のそれぞれの時間に収集されるデータに少なくとも部分的に基づいて、特定されることがある。いくつかの例において、７０２にて決定される第１のパラメーターは、共通のオブジェクト（たとえば、オブジェクト１２２）の第１のロケーションを含むことがあり、７０４にて決定される第２のパラメーターは、共通のオブジェクトの第２のロケーションを含むことがあり、７０６にて決定される第３のパラメーターは、共通のオブジェクトの第３のロケーションを含むことがあり、７０８にて決定される第４のパラメーターは、共通のオブジェクトの第４のロケーションを含むことがある。従って、上記の例において、７１２にて特定される差異は、上記の決定における少なくとも２つの上記のロケーション間および／または不確実性間の差異を含むことがある。例えば、７１２にて特定される差異は、第１のロケーションと、第２のロケーションとの間の差異を含むことがある。依然としてさらなる例において、７１２にて特定される差異は、第１のロケーションと、第４のロケーションとの間の差異を含むことがある。

【0110】

図７の参照を続けて、上に説明された例のどれにおいても、７１２において、オブジェクト検出システム１１８および／または認知システム１１６は、「はい」、比較されている種々のパラメーターに差異が存在する（および／またはしきい値以上である）と決定することがある。例えば、７１２において、認知システム１１６は、「はい」、第１のオブジェクトのグループ１２８に関連付けられたオブジェクトの第１の分類（たとえば、第１のパラメーター）が、第４のオブジェクトのグループ１２０に関連付けられたオブジェクトの第４の分類（たとえば、第４のパラメーター）と異なると決定することがあり、システムは、７１４および／または７１６に進むことがある。代替として、７１２において、オブジェクト検出システム１１８および／または認知システム１１６は、「いいえ」、比較されている種々のパラメーターに差異が存在しないと決定することがある。例えば、７１２において、認知システム１１６は、「いいえ」、オブジェクトのグループ１２０に関連付けられた対応するオブジェクトの分類とは異なる、オブジェクトのグループ１２８、１３０、１３２に関連付けられたオブジェクトの分類がないと決定することがある。上記の例において、システムは、７０２に進むことがある。

【0111】

７１４において、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、７０２、７０４、７０６にて受信される１つまたは複数の信号に含まれる情報を、上に説明された機械学習システム３４４をトレーニングするときにグランドトゥルースとして使用することがある。例えば、７１４において、認知システム１１６は、７０２、７０４、７０６にて受信される１つまたは複数の信号のうちのどれが、７１２にて特定される差異に関連付けられるかを特定することがある。７１４において、さらに、認知システムは、７０２、７０４、７０６にて受信される１つまたは複数の信号のうちのどれが、機械学習システム３４４をトレーニングするのに有用であることがある情報を含むのかを特定することもある。上記の情報は、７１４において、機械学習システム３４４をトレーニングするためのグランドトゥルースの例として、使用されることがある。いくつかの例にて、機械学習システム３４４は、単独か、認知システム１１６のオブジェクト検出システム１１８または他のコンポーネントとの組み合わせかのいずれかにおいて、シーンに検出されるすべてのオブジェクトを特定する、分類する、および／またはカテゴライズすることがある。

【0112】

７１６において、１つまたは複数のプロセッサー（複数可）３１６、ならびに／または車両コンピューティングデバイス３０４および／もしくはリモートコンピューティングデバイス３３４の他のコンポーネントは、７１２にて差異の実在を決定することに少なくとも部分的に基づいて、応答、および／またはどんな他の作動１２６でも開始することがある。実質的に、上記の応答は、少なくとも図６に関して上に説明された１つまたは複数の応答と類似する、および／または同一であることがある。

【0113】

上述のように、処理７００は、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装されることが可能である動作のシーケンスを表す、ロジカルフローグラフにおけるブロックの集まりとして例示される。ソフトウェアのコンテキストにおいては、ブロックは、１つまたは複数のコンピューター読み取り可能な記録媒体に格納されたコンピューター実行可能な命令を表し、１つまたは複数のプロセッサーによって実行されると、引用される動作を実行する。一般に、コンピューター実行可能な命令は、特定の機能を実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記述されている順序は、制限として解釈されることを意図せず、プロセスを実装するために、記述されているブロックをいくつでも、どんな順序でもおよび／または並列に組み合わされることが可能である。いくつかの実施態様において、処理の１つまたは複数のブロックは、完全に省略されることがある。さらにその上、処理７００は、全体的または部分的に、他の処理と、例えば、処理６００などと組み合わされることがある。同じように、処理６００は、全体的または部分的に、処理７００と組み合わされることがある。

【0114】

本明細書に説明されるシステム、モジュール、および方法は、ソフトウェアおよび／またはハードウェアの要素のどの組み合わせでも使用して、実装されることがある。本明細書に説明されるシステム、モジュール、および方法は、単独において、または他のひとつとの組み合わせにおいて動作する１つまたは複数の仮想マシンを使用して、実装されることがある。どんな適用可能な仮想化ソリューションでも使用して、物理的なコンピューティングマシンプラットフォームを、ハードウェアコンピューティングプラットフォームまたはホスト上に走らせる仮想化ソフトウェアの制御の下に実行される仮想マシンとして実装することがある。

【0115】

例示的な箇条
Ａ．例示的なシステムは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーと通信接続され、１つまたは複数のプロセッサーによって、第１の信号を画像取り込みデバイスから受信し、第１の信号が、環境の第１の部分を表す画像データを含み、画像データに少なくとも部分的に基づいて、環境に関連付けられた第１のオブジェクトのグループを決定し、第２の信号をＬＩＤＡＲ（light detection and ranging）センサーから受信し、第２の信号が、環境の第２の部分を表すＬＩＤＡＲセンサーデータを含み、第２の部分が、少なくとも部分的に第１の部分とオーバーラップし、ＬＩＤＡＲセンサーデータに少なくとも部分的に基づいて、環境に関連付けられた第２のオブジェクトのグループを決定し、第３のオブジェクトのグループを画像データおよびＬＩＤＡＲセンサーデータに少なくとも部分的に基づいて決定し、第３のオブジェクトのグループに含まれる第１のオブジェクトを特定し、第１のオブジェクトが、環境の第１の部分および第２の部分に存在し、第１のオブジェクトのグループまたは第２のオブジェクトのグループのうちの少なくとも１つにないまたは誤分類され、第１のオブジェクトを特定することに少なくとも部分的に基づいて応答を開始するか、第１の信号または第２の信号に少なくとも部分的に基づいて、１つまたは複数のプロセッサーと通信状態にある機械学習システムをトレーニングするかのうちの少なくとも１つをするために実行可能な命令を格納する１つまたは複数のコンピューター読み取り可能な記録媒体と、を含む。

【0116】

Ｂ．箇条Ａのシステムは、さらに命令が、１つまたは複数のプロセッサーによって、第３の信号を追加のセンサーから受信し、第３の信号が、環境の第３の部分を表す追加のセンサーデータを含み、追加のセンサーデータに少なくとも部分的に基づいて、環境に関連付けられた第４のオブジェクトのグループを決定し、第１のオブジェクトが、環境の第３の部分におよび第４のオブジェクトのグループに存在する、ために実行可能である。

【0117】

Ｃ．箇条ＡまたはＢのシステムは、画像センサーおよびＬＩＤＡＲセンサーが、自律車両に配置され、応答が、画像データまたはＬＩＤＡＲセンサーデータの一部を無視することと、画像データまたはＬＩＤＡＲセンサーデータに関連付けられた重みを修正することと、機械学習システムによって使用されるトレーニングデータを修正して、検証要求を生成するまたは自律車両に方向を変えさせる画像取り込みセンサーまたはＬＩＤＡＲセンサーをトレーニングすることとを含む。

【0118】

Ｄ．方法は、１つまたは複数のプロセッサーによって、第１の信号を第１のセンサーから受信し、第１の信号が、環境を表す第１のセンサーデータを含むことと、１つまたは複数のプロセッサーによって、第１のセンサーデータに少なくとも部分的に基づいて、第１のオブジェクトのグループに関連付けられた第１のパラメーターを決定することと、１つまたは複数のプロセッサーによって、第２の信号を第２のセンサーから受信し、第２の信号が、環境を表す第２のセンサーデータを含むことと、１つまたは複数のプロセッサーによって、第２のセンサーデータに少なくとも部分的に基づいて、第２のオブジェクトのグループに関連付けられた第２のパラメーターを決定することと、１つまたは複数のプロセッサーによって、第１のセンサーデータおよび第２のセンサーデータに少なくとも部分的に基づいて、第３のオブジェクトのグループに関連付けられた第３のパラメーターを決定することと、１つまたは複数のプロセッサーによって、第１のパラメーターまたは第２のパラメーターを第３のパラメーターと比較して、第３のパラメーターと第１のパラメーターまたは第２のパラメーターとの間の差異を特定することと、１つまたは複数のプロセッサーによって、差異を特定することに少なくとも部分的に基づいて応答を開始することか、第１の信号または第２の信号に少なくとも部分的に基づいて、１つまたは複数のプロセッサーと通信状態にある機械学習システムをトレーニングすることかのうちの少なくとも１つ、を含む。

【0119】

Ｅ．箇条Ｄの方法は、第１のセンサーが、ＬＩＤＡＲセンサーを含み、第１のセンサーデータが、ＬＩＤＡＲセンサーデータを含み、第１のパラメーターが、環境におけるオブジェクトの第１の分類を含み、第２のセンサーが、画像取り込みデバイスを含み、第２のセンサーデータが、画像データを含み、第２のパラメーターが、オブジェクトの第２の分類を含み、第３のパラメーターが、オブジェクトの第３の分類を含み、差異が、第１の分類または第２の分類と第３の分類との間の差異を含む。

【0120】

Ｆ．箇条ＤまたはＥの方法は、第１のセンサーが、ＬＩＤＡＲセンサーを含み、第１のセンサーデータが、ＬＩＤＡＲセンサーデータを含み、第１のパラメーターが、環境におけるオブジェクトの実在に関する第１の決定を含み、第２のセンサーが、画像取り込みデバイスを含み、第２のセンサーデータが、画像データを含み、第２のパラメーターが、環境におけるオブジェクトの実在に関する第２の決定を含み、第３のパラメーターが、環境におけるオブジェクトの実在に関する第３の決定を含み、差異が、第１の決定または第２の決定と第３の決定との間の差異を含む。

【0121】

Ｇ．箇条Ｄ、ＥまたはＦの方法は、さらに、複数の第１のセンサーデータを期間にわたって収集することと、１つまたは複数のプロセッサーによって、第１の統計情報を複数の第１のセンサーデータに基づいて決定することと、１つまたは複数のプロセッサーによって、格納された統計情報と第１の統計情報を比較することと、比較することに少なくとも部分的に基づいて応答を開始することと、を含む。

【0122】

Ｈ．箇条Ｄ、Ｅ、ＦまたはＧの方法は、第１のセンサーおよび第２のセンサーが、車両に配置され、応答が、第１のセンサーデータの一部を無視することと、第２のセンサーデータの一部を無視することと、第１の信号に関連付けられた第１の重みを修正することと、第２の信号に関連付けられた第２の重みを修正することと、第１のセンサーに関連付けられたトレーニングデータを修正することと、第２のセンサーに関連付けられたトレーニングデータを修正することと、検証要求を生成することと、または車両に方向を変えさせることとのうちの少なくとも１つを含む。

【0123】

Ｉ．箇条Ｄ、Ｅ、Ｆ、ＧまたはＨの方法は、第１のパラメーター、第２のパラメーター、または第３のパラメーターのうちの少なくとも１つが、オブジェクトのロケーション、オブジェクトの向き、オブジェクトの数、不確実性、オブジェクトの存在の決定、またはオブジェクトの分類を含む。

【0124】

Ｊ．箇条Ｄ、Ｅ、Ｆ、Ｇ、ＨまたはＩの方法は、さらに、第３の信号を第３のセンサーから受信し、第３の信号が、環境を表す第３のセンサーデータを含むことと、第３のセンサーデータに少なくとも部分的に基づいて、第４のオブジェクトのグループに関連付けられた第４のパラメーターを決定することと、第４のパラメーターと第１のパラメーターまたは第２のパラメーターとの間の差異を特定することとを含み、第１のセンサーが、画像取り込みデバイスを含み、第２のセンサーが、ＬＩＤＡＲセンサーを含み、第３のセンサーが、ＲＡＤＡＲセンサーを含む。

【0125】

Ｋ．箇条Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、ＩまたはＪの方法は、第１のセンサーデータが、第１のセンサーによって第１の時間に検出され、第２のセンサーデータが、第２のセンサーによって第１の時間に検出され、方法が、さらに、第１のセンサーまたは第２のセンサーによって、収集される追加のデータに少なくとも部分的に基づいて、第１の時間よりも後の第２の時間に差異を特定することを含む。

【0126】

Ｌ．箇条Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、ＪまたはＫの方法は、差異を特定することが、オブジェクトが第１のオブジェクトのグループまたは第２のオブジェクトのグループのうちの少なくとも１つにない、または誤分類されていることを決定することを含む。

【0127】

Ｍ．箇条Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、ＫまたはＬの方法は、第１のオブジェクトのグループおよび第２のオブジェクトのグループが、共通のオブジェクトを含み、第１のパラメーターが、共通のオブジェクトの第１のロケーションを含み、第２のパラメーターが、共通のオブジェクトの第２のロケーションを含み、差異が、第１のロケーションと第２のロケーションとの間の差異を含む。

【0128】

Ｎ．箇条Ｍの方法は、第１のパラメーターを決定することが、第１のパラメーターを第１の機械学習されたモデルを使用して決定することを含み、第２のパラメーターを決定することが、第２のパラメーターを第２の機械学習されたモデルを使用して決定することを含み、機械学習システムが、第１の機械学習されたモデルまたは第２の機械学習されたモデルを含み、方法が、さらに、機械学習システムを、差異を特定することに少なくとも部分的に基づいてトレーニングすることを含み、機械学習システムをトレーニングすることが、第１のセンサーデータ、第２のセンサーデータ、または第３のオブジェクトのグループのうちの少なくとも１つをグランドトゥルースとして使用して、第１の機械学習されたモデルまたは第２の機械学習されたモデルをトレーニングすることを含む。

【0129】

Ｏ．箇条Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、ＭまたはＮの方法は、第１のパラメーターが、第１の信頼レベルに関連付けられ、第２のパラメーターが、第２の信頼レベルに関連付けられ、応答が、第１の信頼レベルまたは第２の信頼レベルを修正することを含む。

【0130】

Ｐ．コンピューター読み取り可能な記録媒体は、コンピューターによって実行されると、コンピューターに、第１の信号を第１のセンサーから受信させ、第１の信号が、環境を表す第１のセンサーデータを含み、第１のセンサーデータに少なくとも部分的に基づいて、第１のオブジェクトのグループに関連付けられた第１のパラメーターを決定させ、第２の信号を第２のセンサーから受信させ、第２の信号が、環境を表す第２のセンサーデータを含み、第２のセンサーデータに少なくとも部分的に基づいて、第２のオブジェクトのグループに関連付けられた第２のパラメーターを決定させ、第１のセンサーデータおよび第２のセンサーデータに少なくとも部分的に基づいて、第３のオブジェクトのグループに関連付けられた第３のパラメーターを決定させ、第３のパラメーターと第１のパラメーターまたは第２のパラメーターとの間の差異を特定させ、１つまたは複数のプロセッサーによって、差異を特定することに少なくとも部分的に基づいて応答を開始することか、第１の信号または第２の信号に少なくとも部分的に基づいて、１つまたは複数のプロセッサーと通信状態にある機械学習システムをトレーニングすることかのうちの少なくとも１つをさせる、格納されたコンピューター実行可能な命令を有する。

【0131】

Ｑ．箇条Ｐのコンピューター読み取り可能な記録媒体は、第１のセンサーが、車両に配置された画像取り込みデバイスを含み、第２のセンサーが、車両に配置されたＬＩＤＡＲセンサーを含み、コンピューター実行可能な命令が、コンピューターによって実行されると、さらに、コンピューターに、車両に配置された第３のセンサーから第３の信号を受信させ、第３のセンサーが、ＲＡＤＡＲセンサーを含み、第３の信号が、環境を表す第３のセンサーデータを含み、第３のセンサーデータに少なくとも部分的に基づいて、第４のオブジェクトのグループに関連付けられた第４のパラメーターを決定させ、差異を特定することが、第３のパラメーターと、第１のパラメーター、第２のパラメーター、または第４のパラメーターとの間の差異を特定することを含む。

【0132】

Ｒ．箇条ＰまたはＱのコンピューター読み取り可能な記録媒体は、第１のオブジェクトのグループおよび第２のオブジェクトのグループが、共通のオブジェクトを含み、第１のパラメーターが、共通のオブジェクトの第１の分類を含み、第２のパラメーターが、共通のオブジェクトの第２の分類を含み、差異が、第１の分類と第２の分類との間の差異を含む。

【0133】

Ｓ．箇条Ｐ、ＱまたはＲのコンピューター読み取り可能な記録媒体は、第１のパラメーター、第２のパラメーター、または第３のパラメーターのうちの少なくとも１つが、オブジェクトのロケーション、オブジェクトの向き、オブジェクトの数、不確実性、オブジェクトの存在の決定、またはオブジェクトの分類を含む。

【0134】

Ｔ．箇条Ｐ、Ｑ、ＲまたはＳのコンピューター読み取り可能な記録媒体は、第１のセンサーおよび第２のセンサーが、車両に配置され、応答が、第１のセンサーデータの一部を無視することと、第２のセンサーデータの一部を無視することと、第１の信号に関連付けられた第１の重みを修正することと、第２の信号に関連付けられた第２の重みを修正することと、第１のセンサーに関連付けられたトレーニングデータを修正することと、第２のセンサーに関連付けられたトレーニングデータを修正することと、検証要求を生成することと、または車両に方向を変えさせることとのうちの少なくとも１つを含む。

【0135】

終結
本明細書に説明される種々の技法は、コンピューター読み取り可能なストレージに格納され、例えば、図に例示されるような１つまたは複数のコンピューターまたは他のデバイスのプロセッサー（複数可）によって実行されるコンピューター実行可能な命令またはソフトウェア、例えば、プログラムモジュールなどの文脈において実装されることがある。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、および特定のタスクを行うための動作ロジックを定義するまたは特定の抽象データ型を実装する。

【0136】

他のアーキテクチャーは、説明される機能性を実装するのに使用され、本開示の範囲内にあることが意図される。さらにその上、責任の特定の配分が、議論の目的のために上に定義されるが、種々の機能および責任は、状況に従って、異なるやり方において配分され分割されることがあるだろう。

【0137】

同様に、ソフトウェアは、種々のやり方においておよび異なる手段を使用して、格納され配分されることがあり、上に説明された特定のソフトウェアの格納および実行の構成は、多くの異なるやり方において様々であることがある。従って、上に説明される技法を実装するソフトウェアは、種々のタイプのコンピューター読み取り可能な媒体に配分され、具体的に説明されるメモリーのかたちに制限されないことがある。

【0138】

上の議論が、説明される技法の例示的な実装を述べるが、他のアーキテクチャーは、説明される機能性を実装するのに使用され、本開示の範囲内にあることが意図される。さらにその上、主題が、構造的な特徴および／または方法論的な作動に特有の言葉において説明されたが、添付の特許請求の範囲において定義される主題が、説明される特定の特徴または作動に必ずしも制限されないということは、理解されることである。むしろ、特定の特徴および作動は、特許請求の範囲を実装する例示的なかたちとして開示される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】