特許 7645258 マップデータの更新

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-05

(45)【発行日】2025-03-13

(54)【発明の名称】マップデータの更新

(51)【国際特許分類】

   G08G 1/00 20060101AFI20250306BHJP

   G01C 21/28 20060101ALI20250306BHJP

   G09B 29/00 20060101ALI20250306BHJP

【ＦＩ】

G08G1/00 A

G01C21/28

G09B29/00 Z

【請求項の数】 15

(21)【出願番号】P 2022530858

(86)(22)【出願日】2020-11-23

(65)【公表番号】

(43)【公表日】2023-02-01

(86)【国際出願番号】 US2020061768

(87)【国際公開番号】W WO2021108299

(87)【国際公開日】2021-06-03

【審査請求日】2023-11-13

(31)【優先権主張番号】16/698,366

(32)【優先日】2019-11-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】クリストファー ジェームズ ギブソン

(72)【発明者】

【氏名】カイ ジェンユー ワン

【審査官】池田 匡利

(56)【参考文献】

【文献】特開２０１８－０１３４９７（ＪＰ，Ａ）

【文献】特開２０１８－０８１２５２（ＪＰ，Ａ）

【文献】特開２００５－２０２７６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０９Ｂ ２９／００

(57)【特許請求の範囲】

【請求項1】

第１のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、
マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、
第２のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、
前記表現に基づいて、グラフィック要素を前記第２のセンサデータに関連付けることと、
ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、
ユーザ入力を受信することと、
前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータを更新することと、
を含む方法。

【請求項2】

前記交通オブジェクト特性は、
交通信号、
交通信号方向、
交通信号状態、
交通標識、
車線インジケータ、または
横断歩道、
の１つまたは複数を含む、請求項１に記載の方法。

【請求項3】

前記ユーザ入力は確認を含み、
前記マップデータを更新することは、
前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、
前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップデータに関連付けることと、
を含む、請求項１または２に記載の方法。

【請求項4】

第３のセンサデータにおいて前記交通オブジェクトを検出することと、
前記交通オブジェクトの第２の提案された特性を決定することと、
前記第２のセンサデータにおいて表示されるべき前記第２の提案された特性の第２の表現を決定することと、
前記第２の表現に基づいて、第２のグラフィック要素を前記第２のセンサデータに関連付けることと、
前記ディスプレイに、前記第２のグラフィック要素を前記ユーザに対して表示させることと、
をさらに含む、請求項１または２に記載の方法。

【請求項5】

前記ユーザ入力を受信することは、
前記提案された特性を拒否する第１のユーザ入力を受信することと、
前記第２の提案された特性を承認する第２のユーザ入力を受信することと、
を含み、
前記マップデータを更新することは、
前記第２の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの１つまたは複数を含む、
請求項４に記載の方法。

【請求項6】

前記第１のセンサデータは第１のデバイスによって取得された第１の画像を含み、前記第２のセンサデータは第２のデバイスによって取得された画像を含む、請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記第１のセンサデータは第１の画像センサによってキャプチャされた第１の画像を含み、
前記第２のセンサデータは第２の画像センサによってキャプチャされた第２の画像を含み、
前記交通オブジェクトは交通信号を含み、
前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、
グラフィック要素を前記第２のセンサデータに関連付けることは、前記マップデータに対する前記第１の画像センサの方向と、前記マップデータに対する前記第２の画像センサの第２の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第２の画像に投影することを含む、
請求項６に記載された方法。

【請求項8】

マップデータを更新することは更新されたマップデータを決定することを含み、
前記第１のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記方法は、
前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、
をさらに含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

１つまたは複数のプロセッサによって実行されると、１つまたは複数のコンピューティングデバイスに請求項１乃至８のいずれか一項に記載の方法を実行させる命令を格納した１つまたは複数の非一時的コンピュータ可読媒体。

【請求項10】

１つまたは複数のプロセッサと、
１つまたは複数のプロセッサによって実行可能な命令を格納した１つまたは複数のコンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記１つまたは複数のプロセッサに、
第１のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、
マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、
第２のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、
前記表現に基づいて、グラフィック要素を前記第２のセンサデータに関連付けることと、
ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、
ユーザ入力を受信することと、
前記ユーザ入力に少なくとも部分的に基づいて、更新されたマップデータとして、前記マップデータを更新することと、
を含む動作を実行させる、システム。

【請求項11】

前記ユーザ入力は確認を含み、
前記マップデータを更新することは、
前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、
前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップデータに関連付けることと、
を含む、請求項１０に記載のシステム。

【請求項12】

前記動作は、
第３のセンサデータにおいて前記交通オブジェクトを検出することと、
前記交通オブジェクトの第２の提案された特性を決定することと、
第２の画像において表示されるべき前記第２の提案された特性の第２の表現を決定することと、
前記第２の表現に基づいて、第２のグラフィック要素を前記第２の画像に関連付けることと、
前記ディスプレイに、前記第２のグラフィック要素を前記ユーザに対して表示させることと、
をさらに含む、請求項１０に記載のシステム。

【請求項13】

前記ユーザ入力を受信することは、
前記提案された特性を拒否する第１のユーザ入力を受信することと、
前記第２の提案された特性を承認する第２のユーザ入力を受信することと、
を含み、
前記マップデータを更新することは、
前記第２の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの１つまたは複数を含む、
請求項１２に記載のシステム。

【請求項14】

前記第１のセンサデータは第１のデバイスの第１の画像センサによってキャプチャされた第１の画像を含み、
前記第２のセンサデータは第２のデバイスの第２の画像センサによってキャプチャされた第２の画像を含み、
前記交通オブジェクトは交通信号を含み、
前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、
グラフィック要素を前記第２のセンサデータに関連付けることは、前記マップデータに対する前記第１の画像センサの方向と、前記マップデータに対する前記第２の画像センサの第２の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第２の画像に投影することを含む、
請求項１１乃至１３のいずれか一項に記載のシステム。

【請求項15】

前記第１のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記動作は前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、
請求項１１乃至１４のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マップデータの更新に関する。

【0002】

［関連出願の相互参照］
本ＰＣＴ国際出願は、２０１９年１１月２７日に出願された米国特許出願第１６／６９８，３６６号の優先権の利益を主張し、この開示は参照により本明細書に組み込まれる。

【背景技術】

【0003】

データを環境内でキャプチャして、環境のマップとして表すことができる。多くの場合、そのようなマップを、環境内をナビゲートする車両によって使用できるが、マップを様々な目的のために使用できる。いくつかのケースでは、マップが環境を正確に反映しないように環境が変化し得、これは、マップデータを使用に適さなくし得る。環境の変化を反映するためにマップデータを更新することは困難または費用かかり得る。

【図面の簡単な説明】

【0004】

詳細な説明は添付の図面を参照して説明される。図面において、参照番号の最も左の桁は参照番号が最初に現れる図面を識別する。異なる図面における同じ参照番号は類似または同一の項目を示す。

【0005】

【図1】図１は、環境内のオブジェクトを検出し、それに基づいてマップデータを更新する例示的な自律車両システムを示す図である。

【図2A】図２Ａは、異なる時間にキャプチャされた交差点の一連の画像、および知覚コンポーネントによる一連の画像内のオブジェクトの検出およびトラッキングの例を示す。

【図2B】図２Ｂは、異なる時間にキャプチャされた交差点の一連の画像、および知覚コンポーネントによる一連の画像内のオブジェクトの検出およびトラッキングの例を示す。

【図2C】図２Ｃは、異なる時間にキャプチャされた交差点の一連の画像、および知覚コンポーネントによる一連の画像内のオブジェクトの検出およびトラッキングの例を示す。

【図3A】図３Ａは、知覚コンポーネントによって検出およびトラッキングされたオブジェクトに対する提案されたオブジェクト位置インジケータを有する図２Ａ乃至図２Ｃの例示的な画像を示す。

【図3B】図３Ｂは、知覚コンポーネントによって検出およびトラッキングされたオブジェクトに対する提案されたオブジェクト位置インジケータを有する図２Ａ乃至図２Ｃの例示的な画像を示す。

【図3C】図３Ｃは、知覚コンポーネントによって検出およびトラッキングされたオブジェクトに対する提案されたオブジェクト位置インジケータを有する図２Ａ乃至図２Ｃの例示的な画像を示す。

【図4】図４は、マップ更新システムによる処理のために環境内のオブジェクトを検出し、トラッキングし、フラグを立てるための例示的なプロセスのフロー図を示す。

【図5】図５は、環境内のオブジェクトを検出し、トラッキングすることに基づいてマップデータを更新するための例示的なプロセスのフロー図を示す。

【0006】

［詳細な説明］
本開示は、例えば、環境内でナビゲートする自律車両によって使用されるマップデータを更新するためのシステムおよび技術を対象とする。例えば、本開示によるシステムおよび技術は、現在のマップデータを利用して車両によって取得された画像データに基づいて環境のマップデータを更新することを可能にし得る。

【0007】

現在のマップデータを利用して車両によって取得された画像データは、（１）画像データ内で検出されたオブジェクトがマップデータ内のオブジェクトに対応しない、（２）マップデータ内のオブジェクトが画像データ内で検出されない、または（３）画像データ内のオブジェクトがマップデータ内のオブジェクトに対応するように現れるが、異なる位置を有する（例えば、交通信号アセンブリ上で移動または再配置された交通信号）場合、例えば、車両の搭載コンピュータによってフラグを立てられ得る。フラグが立てられた画像データは、中央制御システムの一部であり得るマップ更新システムに提供され得、これは、画像データを分析し、システムオペレータ（例えば、レビューするユーザ）に提供され得るマップデータに対する提案された変更を生成するように動作し得る。

【0008】

いくつかの例では、マップ更新システムの知覚コンポーネントは、画像データ中のオブジェクトを検出し得る。検出されたオブジェクトは、複数の画像フレーム（例えば、ビデオの複数のフレームまたは複数の静止画像フレーム）にわたってトラッキングされ得る。トラッキングに基づいて、マップデータの座標システムにおけるオブジェクトについての提案された位置（本明細書では候補位置または初期位置とも呼ばれる）が生成され得る。知覚システムはまた、検出されたオブジェクトを（例えば、道路標識、交通信号などとして）分類し得る。マップ更新システムのマップコンポーネントは、マップデータが提案された位置において決定された分類のオブジェクトを含むか否かを決定するように構成され得る。

【0009】

検出されたオブジェクトがマップデータ内に現れない、または移動したマップデータ内のオブジェクトに対応するケースにおいて（例えば、分類の新しいオブジェクトが検出された、および同じ分類の以前にマッピングされたオブジェクトが欠落している）、マップ更新システムの投影コンポーネントは、提案された位置インジケータを、検出されたオブジェクトのビューを含む画像フレーム内に投影し得る。いくつかの例では、投影コンポーネントは、検出されたオブジェクトの提案された位置の３次元座標に対応する各画像の２次元画像の空間内の位置において、提案された位置インジケータおよび対応する識別子を複数の画像へ投影すること、を実行し得る。

【0010】

同様に、マップデータが画像データに現れないオブジェクトを含むケースにおいて、マップ更新システムの投影コンポーネントは、位置インジケータを画像フレームに投影して、欠落しているオブジェクトの以前の位置を示し得る。

【0011】

位置インジケータを含む画像フレームは、レビューするユーザに表示され得る。レビューするユーザは、位置インジケータに関するフィードバックを提供し得る。例えば、レビューするユーザは、提案された位置を承認または拒否し得る。次いで、マップコンポーネントは、承認され提案された位置について、マップデータにオブジェクトを追加し得る。加えて、レビューするユーザは、提案された位置が拒否されたオブジェクトについて、追加の提案された位置を要求し得る（例えば、追加の画像データに基づいて）。いくつかの実施形態では、マップ更新システムがその一部であり得る中央制御システムは、１つまたは複数の自律車両に、関心のあるオブジェクトの位置まで走行して追加の画像データをキャプチャするように命令し得る。以前の位置インジケータのケースでは、レビューするユーザは、マップデータ内のオブジェクトが以前の位置にもはや存在しないことを確認するフィードバックを提供し得る。

【0012】

本明細書で説明されるマップ更新技術は、低減された困難性およびコストで自律車両を制御するために後続の動作を実行するための環境の変化を反映する更新されたマップデータを提供することによって、自律車両システムなどのコンピューティングデバイスの機能を改善できる。例えば、更新されたマップデータは、より少ない手動介入および/または中断を必要としながら、位置推定、知覚（例えば、検出、識別、セグメント化、分類、トラッキングなど）、ルート計画、軌道生成などの後続のプロセスがより正確に実行されることを可能にできる。例えば、いくつかの例では、自律車両の軌道をより迅速に生成する際に、より高速および／またはより正確なマップ更新を使用でき、環境の変化に対処するために手動オーバーライドが必要とされ得る混乱およびより短いウィンドウを低減し、自律車両の乗員の安全性を向上できる（例えば、マップデータが不正確である、または古いマップデータを変化した環境に不正確に適用することに基づいて自律車両が不適切な動作を実行し得る、ウィンドウを低減することによって）。コンピュータの機能に対するこれらおよび他の改善について、本明細書で説明する。

【0013】

［例示的なアーキテクチャ］
図１は、環境内のオブジェクトを検出し、それに基づいてマップデータを更新する例示的な自律車両システム１００を示す。いくつかの例では、自律車両１０２は、米国国道交通安全局（National Highway Traffic Safety Administration）によって発行されたレベル５分類に従って動作するように構成された自律車両であり得、これは、運転者（または乗員）の常時車両制御を期待せず、走行全体にわたってすべての安全上重要な機能を実行可能な車両を記載している。しかし、他の例では、自律車両１０２は、任意の他のレベルまたは分類を有する完全にまたは部分的に自律車両であり得る。さらに、いくつかの例では、本明細書で説明される誘導隔離技術（the guidance isolation techniques）は、非自律車両によっても使用可能であり得る。本明細書で説明される技術は、自律車両などのためのロボット制御以上のものに適用され得ることが企図される。例えば、本明細書で説明される技術は、ビデオゲーム、製造、拡張現実などに適用され得る。

【0014】

本明細書で説明される技術によれば、自律車両１０２は、自律車両１０２のセンサ１０４からセンサデータを受信し得る。例えば、センサデータは、位置信号（例えば、ＧＰＳ信号）、慣性信号（例えば、加速度計信号、ジャイロスコープ信号など）、磁力計信号、ホイールエンコーダ信号、速度計信号、蓄積されたＬＩＤＡＲおよび／またはＲＡＤＡＲポイントのポイントクラウド、画像（または複数の画像）、音声信号、および／または肥満（bariatric）または他の環境信号などを含み得る。例えば、自律車両１０２は、センサ１０４から画像１０６（１）乃至１０６（Ｍ）（集合的に「画像１０６」）を受信し得、ここで、Ｍは１より大きい任意の整数である。本明細書の説明は、簡単にするために、主に画像について説明するが、本技術は、オブジェクトを離散的に表す能力を有する任意のセンサデータ（例えば、オブジェクトを表すポイントを含むポイントクラウド）に適用され得ることが企図される。

【0015】

いくつかの例では、自律車両は、位置推定コンポーネント１１０、知覚コンポーネント１１２、計画コンポーネント１１４、マップコンポーネント１１６、および／または制御システムインターフェース１１８を含み得るコンピューティングデバイス１０８を含み得る。

【0016】

少なくとも１つの例では、位置推定コンポーネント１１０は、車両１０２の位置を決定するためにセンサシステム１０４からデータ（本明細書では位置推定データとも呼ばれる）を受信する機能を含むことができる。例えば、位置推定コンポーネント１１０は、環境のマップを含む、および／または要求／受信でき（例えば、マップコンポーネント１１６から）、マップ内の自律車両の位置を連続的に決定できる（例えば、グローバルマップおよび／またはローカルマップ上の自律車両１０２の位置を推定する）。いくつかの例では、位置推定コンポーネント１１０は、ＳＬＡＭ（同時位置推定およびマッピング）またはＣＬＡＭＳ（同時較正、位置推定およびマッピング）を利用して、画像データ、ＬＩＤＡＲデータ、ｒａｄａｒデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信して、自律車両の位置を正確に決定できる。いくつかの例では、位置推定コンポーネント１１０は、本明細書で説明されるように、候補軌道を生成するための自律車両の初期位置を決定するために、車両１０２の様々なコンポーネントに位置推定データを提供できる。

【0017】

知覚コンポーネント１１２は、自律車両１０２の環境から収集されたセンサデータからオブジェクトを検出、識別、セグメント化、分類、および／またはトラッキングするための１つまたは複数のＭＬモデルおよび／または他のコンピュータ実行可能命令を含み得る。いくつかの例では、知覚コンポーネント１１２は、自律車両１０２のセンサ１０４からセンサデータおよび位置推定コンポーネントから位置推定データを受信すること、センサデータから知覚データを決定し、１つまたは複数の軌道を決定する、および／または経路またはルートを横断するように、自律車両１０２の動きを制御するために、計画コンポーネント１１４による使用のために、計画コンポーネント１１４に知覚データを送信し得るが、任意のそのような動作は、様々な他のコンポーネントにおいて実行され得る。いくつかの事例では、知覚データは、画像内で検出されたオブジェクトに関連付けられた関心領域（「ＲＯＩ」）および／またはトラッキングを含み得る。計画コンポーネント１１４は、ＲＯＩおよび／またはトラッキングに少なくとも部分的に基づいて、自律車両１０２の動作を制御するための命令を決定し得る。

【0018】

例えば、知覚コンポーネント１１２は、環境内のオブジェクトを検出し、オブジェクト（例えば、「交通信号」、「四輪車両」、「セミトラック」、「歩行者」、「動物」、「建設車両」）を分類し得る。図示された例では、自律車両１０２は、２つの交通信号の表現を含む画像１０６（１）を含む画像１０６を受信し得る。知覚コンポーネント１１２は、ＲＯＩ１２２（１）および１２２（２）を生成し得、各々は、画像１０６（１）に表されるそれぞれの交通信号に対応する。図示された例では、ＲＯＩ１２２は境界ボックスとして表されているが、ＲＯＩを識別するための他の技術が企図される。

【0019】

いくつかの例では、知覚コンポーネント１１２はまた、ＲＯＩ１２２に対応する交通信号などのオブジェクトをトラッキングし得る。いくつかの例では、トラッキングは、２つの異なる画像において検出されたオブジェクト間の関連付けを含み得る。したがって、トラッキングは、知覚コンポーネント１１２が２つのオブジェクトの検出を同じオブジェクトに対応するものとして識別していることを示し得る。いくつかの例では、トラッキングは、追加または代替として、現在の、予測された、および／または過去の位置、進行方向、速度、加速度、距離、ＲＯＩ、および／またはオブジェクトの中心を含み得る。いくつかの例では、これらの特性のいずれかは、実世界値（例えば、メートル毎秒、キロメートル毎時の実世界におけるオブジェクトの速度、画像をキャプチャしたセンサに対する進行方向）および／または画像関連特性（例えば、ピクセル毎秒の画像にわたるオブジェクトの表現の動きに関連付けられた速度）、画像内のオブジェクトの表現の動きの角度を識別する進行方向）であり得る。当然、オブジェクトのトラッキング情報は、任意のデータ構造および／またはフォーマットを含み得る。

【0020】

いくつかの例では、位置推定コンポーネント１１０は、自律車両１０２の位置を決定し得る（例えば、自律車両１０２を位置推定するために任意のセンサデータを使用して）。知覚コンポーネント１１２は、自律車両１０２の近傍のオブジェクトに関連するデータ、車両の目的地を指定するルートデータ、道路の特性（例えば、自律車両を位置推定するために有用な異なるセンサモダリティにおいて検出可能な特徴）を識別するグローバルマップデータ、車両に近接して検出された特性（例えば、建物、木、フェンス、消火栓、停止標識、および様々なセンサモダリティにおいて検出可能な任意の他の特徴の場所および/または寸法）を識別するローカルマップデータなどを決定し得る。知覚コンポーネント１１２によって生成されたデータは、集合的に「知覚データ」と呼ばれ得る。いくつかの例では、マップデータは、マップコンポーネント１１６によって取り出され、提供され得る。より詳細には、自律車両１０２の位置に基づいて、マップコンポーネント１１６は、画像からオブジェクトを検出および分類する際に知覚コンポーネント１１２によって使用するためのローカルマップデータおよびグローバルマップデータを、メモリまたはネットワークからロードする、またはそうでなければ取り出し得る。知覚コンポーネント１１２が画像からオブジェクトを識別および／またはセグメント化し、および／または他の知覚データを決定すると、知覚は、オブジェクトの検出および／またはインスタンスセグメンテーションを含む、知覚データを計画コンポーネント１１４に提供し得る。

【0021】

いくつかの例では、計画コンポーネント１１４は、自律車両１０２の動作を制御するための命令を生成するために、ＲＯＩ、トラッキング、および／またはセグメンテーション（以下でさらに説明される）を含む知覚データを使用し得る。例えば、計画コンポーネント１１４は、第１の位置から第２の位置への自律車両１０２のルートを決定し、receding horizon技術（例えば、１マイクロ秒、１／２秒、２秒、８秒など）に従って、ＲＯＩ、トラッキング、および／またはセグメンテーションに少なくとも部分的に基づいて、自律車両１０２の動きを制御するための複数の潜在的な軌道を実質的に同時に生成して、ルートを横断するように車両を制御し、自律車両１０２の駆動コンポーネントに送信され得る駆動制御信号を生成するために使用され得る自律車両１０２の軌道として、潜在的な軌道の１つを選択し得る。

【0022】

加えて、知覚コンポーネント１１２は、（１）画像データ内で検出されたオブジェクトがマップデータ内のオブジェクトに対応しない、（２）マップデータ内のオブジェクトが画像データ内で検出されない、または（３）画像データ内のオブジェクトがマップデータ内のオブジェクトに対応するように見えるが、異なる位置を有する（例えば、交通信号アセンブリ上で移動または再配置された交通信号）、を決定し得る。そうである場合、知覚コンポーネント１１２は、複数の画像フレーム内の検出されたオブジェクトにフラグを立て、制御システムインターフェース１１８に、フラグが立てられたオブジェクトの画像を１つまたは複数のネットワーク１２０を介してマップ更新システム１３０に送信させ得る。

【0023】

上述したように、および本開示全体にわたって説明するように、車両１０２は、１つまたは複数のネットワーク１２０を介して、画像データを１つまたは複数のコンピューティングデバイス１２４に送信できる。いくつかの例では、車両１０２は、生センサデータ（例えば、メタデータまたは検出されたオブジェクトの識別を伴わない画像または他の生センサデータ）をコンピューティングデバイス１２４に送信できる。他の例では、コンピューティングデバイス１２４は、処理されたセンサデータおよび／またはセンサデータの表現（例えば、その存在が画像にフラグを立てさせた検出されたオブジェクトを識別するメタデータまたは他の追加データを伴う、例えば、処理された画像または他の処理されたセンサデータ）をコンピューティングデバイス１２４に送信できる。いくつかのケースでは、車両１０２は、センサデータ（生または処理済み）を１つまたは複数のログファイルとしてコンピューティングデバイス１２４に送信できる。理解を容易にするために、以下の説明では、センサデータを画像データと呼び得る。しかし、実施形態はそのように限定されず、上記で説明したような他のセンサデータが、画像データに加えてまたは代わりに利用され得る。

【0024】

少なくともいくつかの例では、車両１０２は、そのような交通オブジェクトを検出し、および／またはそのような検出された情報とマップデータに含まれる情報との間の不一致を特徴的に決定し得る。そのような不一致の検出は、確認および／または検証のためにそのようなデータをコンピューティングデバイス１２４に送信するためのトリガとして使用され得る。少なくともいくつかのそのような例では、車両１０２は、環境を通る軌道を計画し続けるために、不一致（安全停止に至るなどの）に基づいて、ならび／またはそのような検出の寄与を上および／もしくは下に重み付けすることに基づいて、１つまたは複数の操縦を実行し得る。

【0025】

コンピューティングデバイス１２４は、画像データを受信し得、画像データに基づいてマップデータを生成および／または更新し得る。少なくとも１つの例では、コンピューティングデバイス１２４は、１つまたは複数のプロセッサ１２６と、１つまたは複数のプロセッサ１２６と通信可能に結合されたメモリ１２８とを含むことができる。図示された例では、コンピューティングデバイス１２４のメモリ１２８は、知覚および位置推定コンポーネント１３２（以下、知覚コンポーネント１３２）、マップコンポーネント１３４、投影コンポーネント１３６、およびユーザインターフェースコンポーネント１３８の機能を含むまたは利用し得るマップ更新システム１３０を格納する。少なくとも１つの例において、コンピューティングデバイス１２４は、複数の自律車両１０２の動作を管理する自律車両制御システムまたはその一部であり得る。

【0026】

上述したように、マップ更新システム１３０は、ネットワーク１２０を介して画像データを受信し得る。マップ更新システム１３０は、受信した画像データに基づいてマップを更新するように構成され得る。

【0027】

いくつかの例では、マップ更新システム１３０の知覚コンポーネント１３２は、画像データに知覚処理を実行して、画像データ内のオブジェクトを検出し得る。検出されたオブジェクトは、複数の画像フレーム（例えば、ビデオの複数のフレームまたは複数の静止画像フレーム）にわたってトラッキングされ得る。情報は、マップデータの座標システムにおける位置推定情報（例えば、画像キャプチャセンサの位置）をさらに含み得る、またはそうでなければマップ更新システム１３０は位置推定情報を決定し得る。より詳細には、位置推定情報は、環境における車両（または画像キャプチャセンサ）を位置推定し得、様々な技術（例えば、ＳＬＡＭ）を使用して、および潜在的に多くのタイプのセンサデータ（ｌｉｄａｒ、ｇｐｓ、画像、ＩＭＵ）を使用して生成され得る。位置推定情報はまた、カメラの姿勢（位置、方向など）を含み得る。

【0028】

トラッキングおよび位置推定情報に基づいて、マップデータの座標システムにおけるオブジェクトの提案された位置が生成され得る。例えば、車両位置およびカメラ姿勢に基づいて、画像データ内の各ピクセルに関連付けられたＵＴＭ（ユニバーサル横メルカトル)の位置（または緯度および経度などの他の位置）および高さが決定され得る。一連のフレームにわたって、知覚コンポーネント１３２は、環境内のトラッキングされたオブジェクトの位置を三角測量し、十分な確実性で各フレームのＵＴＭおよび／または高さ情報を決定し得る。換言すれば、いくつかの実施形態では、知覚コンポーネント１３２は、カメラ原点から画像内の各ピクセルに光線を投影し、経時的に位置を三角測量し得る。いくつかの実施形態では、このプロセスは深度データなしで実行され得る。一連のフレームにわたって決定されたトラッキングされたオブジェクトの中心に関連付けられたＵＴＭおよび／または高さ情報は、提案された位置として利用され得る。

【0029】

知覚コンポーネント１３２はまた、検出されたオブジェクトを分類し得る（例えば、道路標識、交通信号などとして）。いくつかの例において、知覚コンポーネント１３２は、知覚コンポーネント１１２に関して上述したものと同様の機能および／または同様の方法で実行し得る。

【0030】

マップ更新システム１３０のマップコンポーネント１３４は、画像データがキャプチャされた環境、エリア、または地理的位置について提供されたマップデータを取り出し得る。一例では、画像データがキャプチャされた環境、エリア、または地理的位置は、受信した画像データにメタデータとして提供され得、またはそうでなければ画像データをキャプチャするシステムによって提供され得る。

【0031】

知覚コンポーネント１３２によって検出されたオブジェクトの位置および／または分類と、画像データがキャプチャされた環境、エリア、または地理的位置について提供されたマップデータとに基づいて、マップ更新システム１３０の知覚コンポーネント１３２は、マップデータが提案された位置において決定された分類のオブジェクトを含むか否かを決定し得る。

【0032】

検出されたオブジェクトがマップデータ内に現れない、または移動したマップデータ内のオブジェクトに対応するケースにおいて、マップ更新システムの投影コンポーネント１３６は、提案された位置インジケータを、検出されたオブジェクトのビューを含む画像フレーム内に投影し得る。いくつかの例では、投影コンポーネント１３６は、検出されたオブジェクトの提案された位置の３次元座標に対応する各画像の２次元画像の空間内の位置において、提案された位置インジケータおよび対応する識別子を複数の画像内へオーバーレイすることによって、投影を実行し得る。例えば、トラッキングされたオブジェクトの中心に関連付けられたＵＴＭおよび／または高さ情報は、提案された位置として利用され、ＵＴＭおよび高さ情報の３Ｄ座標から画像空間内の２Ｄ位置に投影される。

【0033】

本明細書で説明するこの、または任意の他の例では、投影コンポーネント１３６は、（車両が環境内で正しく位置推定されている限り）任意の車両によってキャプチャされた任意の画像またはビデオ内にインジケータを投影し得る。換言すれば、提案された位置インジケータが投影される画像は、検出および位置決定のために使用される同じ画像、全く異なる画像、またはそれらのいつくかの混合であり得る。さらに、提案された位置インジケータが投影される画像は、検出および位置決定のために使用される画像とは異なる時間にキャプチャされ得る。

【0034】

同様に、マップデータが画像データに現れないオブジェクトを含むケースにおいて、マップ更新システム１３０の投影コンポーネント１３６は、以前の位置インジケータを画像フレームに投影して、欠落しているオブジェクトの以前の位置を示し得る。

【0035】

ユーザインターフェースコンポーネント１３８は、位置インジケータを含む画像フレームをレビューするユーザに表示し得る。レビューするユーザは、位置インジケータに関するフィードバックをユーザインターフェースコンポーネント１３８に提供し得る。例えば、レビューするユーザは、提案された位置を承認または拒否するフィードバックを提供する。以前の位置インジケータのケースにおいて、レビューするユーザは、マップデータ内のオブジェクトが以前の位置にもはや存在しないことを確認または拒否するフィードバックを提供し得る。

【0036】

フィードバックに基づいて、マップコンポーネント１３４は、承認された提案された位置についてのマップデータにオブジェクトを追加し得る。オブジェクトが以前の位置にもはや存在しないことをユーザが確認したケースにおいて、マップコンポーネント１３４は、オブジェクトをマップデータから削除するように構成され得る。提案された位置が拒否される場合、レビューするユーザは、提案された位置が拒否されたオブジェクトについて追加の提案された位置を要求し得る（例えば、追加の画像データに基づいて）。いくつかの実施形態では、マップ更新システム１３０がその一部であり得る制御システムは、１つまたは複数の自律車両に、追加の画像データをキャプチャするために関心のあるオブジェクトの位置まで移動するように命令し得る。

【0037】

図１の例示的なシステムは、自律車両によってキャプチャされた画像データに基づいて動作するが、実施形態はそのように限定されず、画像データのソースは様々であり得る。他の変形形態または特徴がいくつかの実施形態に組み込まれ得る。例えば、いくつかの実施形態は、新しい、欠落している、または変更されたオブジェクトに関するキャプチャされたデータと既存のマップデータとの間の差を決定するように構成されたフィルタリング機能を組み込み得る。フィルタリング機能は、差が閾値を上回るかどうかを決定し投影およびレビュープロセスを破棄する、またはそうでなければ、差が閾値を下回る場合、実行し得ない。これは、誤較正されたセンサまたは同様の要因などの問題によって引き起こされる誤検知（false positives）の数を低減し得る。

【0038】

さらに、本明細書で説明する例は、位置インジケータを画像データに投影することに関するが、実施形態はそのように限定されない。例えば、それに加えてまたはその代わりに、投影コンポーネント１３６は、他の情報を画像に投影し得る。画像に投影され得るいくつかの他の非限定的なタイプの情報は、検出されたオブジェクトの範囲、寸法および方向、状態などを含み得る。例えば、方向情報は、信号機のヨー、ピッチ、およびロールを含み得る。特定の例では、交通信号のヨーを画像に投影して、交通信号に関連付けられた進入道路または車線を決定する際のレビューするユーザを支援し得る。

【0039】

図２Ａ乃至図２Ｃは、異なる時間にキャプチャされた交差点の一連の画像２００、２２０、および２４０と、知覚コンポーネント１３２による一連の画像に対する例示的な検出およびトラッキングを示す。より詳細には、図２Ａは、第１の時間にキャプチャされた交差点の画像２００（画像フレームまたはフレームとも呼ばれる）を示し、図２Ｂは、第２の時間にキャプチャされた交差点の画像２２０を示し、図２Ｃは、第３の時間にキャプチャされた交差点の画像２４０を示す。

【0040】

図示および説明を容易にするために、図中のオブジェクトの検出およびトラッキングは、交通信号に限定される。実施形態は交通信号に限定されず、マップデータに含まれる任意の他のオブジェクトが同様のプロセスで検出およびトラッキングされ得る。例えば、マップデータに含まれ得る他のオブジェクトは、他の標識および道路特徴を含み得る。より詳細には、そのようなオブジェクトは、横断歩道の信号（歩行および／またはハンドインジケータ）、速度制限標識、一時停止標識、譲歩標識、街路名表示板、一方通行道路標識、方向転換ポリシー標識（例えば、赤信号ではない、Ｕターンではない、進入および逆走ではない、左折ではないなど）などの標識および信号を含み得る。マップデータに含まれ得る道路特徴は、横断歩道、停止線、レーンマーキングなどのペイントされたマーキングを含み得る。同様に、そのような検出は、より一般的には、交通制御に使用される環境内のオブジェクトの特性を含み得る。非限定的な例として、そのような特性は、交通信号のサイズ、範囲、方向（ヨー角など）、または状態（赤、黄、緑など）などを含み得るが、これらに限定されない。

【0041】

さらに、３つの画像フレームが図２Ａ乃至２Ｃに示される例に示されているが、より多くのまたはより少ない画像フレームが利用され得、以下の説明では、過剰な混乱を回避するために図示されていない追加のフレームがフレーム２００と２２０と、および２２０と２４０と、の間で処理されると仮定する。しかし、実施形態は任意の数のフレームを利用し得る。

【0042】

図２Ａにおいて、知覚コンポーネント１３２は、画像２００に対して検出およびトラッキング処理を実行し得る。知覚コンポーネント１３２は、対応する関心領域（ＲＯＩ）内の交通信号に対応する３つのオブジェクト、トラッキングされたオブジェクト１ ２０２、トラッキングされたオブジェクト２ ２０４、およびトラッキングされたオブジェクト３ ２０６を検出し得る。各検出されたオブジェクトは、本明細書で説明されるように、分類および／またはオブジェクトトラッキングに関連付けられ得る。

【0043】

図２Ｂにおいて、知覚コンポーネント１３２は、画像２２０に対して検出およびトラッキング処理を実行し得る。図２Ａと同様に、知覚コンポーネント１３２は、最も左および最も右の交通信号をトラッキングされたオブジェクト１ ２０２およびトラッキングされたオブジェクト３ ２０６として検出およびトラッキングし得る。しかし、様々な理由のいずれかに起因して、知覚コンポーネント１３２は、中央の交通信号を検出するが、トラッキングされたオブジェクト２ ２０４のトラッキングに割り当てないことがある。例えば、中央の交通信号は、画像フレーム２００と２２０との間の１つまたは複数の画像フレームにおいて検出されていない可能性があり、トラッキングの損失をもたらす、または図２Ｂにおいて検出された位置が、知覚コンポーネント１３２が新しいトラッキングを開始する図２Ａにおいて検出された位置と十分に異なる可能性がある。より詳細には、中央の交通信号は、新しいオブジェクトとして検出され、トラッキングされたオブジェクト４ ２０８として新しいトラッキングを割り当てられ得る。

【0044】

図２Ｃでは、知覚コンポーネント１３２は、画像２４０に対して検出およびトラッキング処理を実行し得る。特に、知覚コンポーネント１３２は、図２Ｂからの各交通信号のトラッキングを、それぞれトラッキングされたオブジェクト１ ２０２、トラッキングされたオブジェクト４ ２０８、およびトラッキングされたオブジェクト３ ２０６として検出および維持し得る。

【0045】

画像２００、２２０、および２４０の各々がキャプチャされたときの検出およびトラッキングならびにカメラの位置に基づいて、知覚コンポーネントは、各トラッキングされたオブジェクト２０２乃至２０８の位置を推定し得る（例えば、画像２００、２２０、および２４０の各々をキャプチャしたときのカメラの位置、ならびにトラッキングされたオブジェクト２０２乃至２０８のカメラに対する相対的な位置に基づいて）。カメラが各画像をキャプチャしたときのマップデータの座標システムにおけるカメラの位置は、メタデータとして画像に含まれ得、またはマップ更新システム１３０が位置情報を決定し得る。知覚コンポーネント１３２はまた、検出されたオブジェクトを（例えば、道路標識、交通信号などとして）分類し得る。オブジェクト位置および分類を決定するための技術およびシステムのさらなる説明は、「Pose Determination From Contact Points」と題された米国特許出願第15/814,870号に提供されており、その全体は、参照することによって本明細書に組み込まれる。

【0046】

マップ更新システム１３０のマップコンポーネント１３４は、画像データがキャプチャされた環境、エリア、または地理的位置に提供されたマップデータを取り出し得る。一例では、画像データがキャプチャされた環境、エリア、または地理的な位置は、受信された画像データへのメタデータとして提供、またはそうでなければ画像データを取り込むシステムによって提供され得る。

【0047】

知覚コンポーネント１３２によって検出されたトラッキングされたオブジェクト２０２乃至２０８の位置および／または分類と、マップコンポーネント１３４によって提供されたマップデータとに基づいて、知覚コンポーネント１３２は、マップデータが、提案された位置において決定された分類の対応するオブジェクトを含むかどうかを決定し得る。

【0048】

検出されたオブジェクトがマップデータに現れないケースにおいて、マップ更新システムの投影コンポーネント１３６は、提案された位置インジケータを、トラッキングされたオブジェクトのビューを含む画像フレームに投影し得る。上述したように、投影コンポーネント１３６は、検出されたオブジェクトの提案された位置の３次元座標に対応する各画像の２次元画像の空間内の位置において、提案された位置インジケータおよび対応する識別子を複数の画像内へオーバーレイすることによって、投影を実行し得る。より一般的には、そのような検出された交通特性は、ディスプレイ上に提示されるべきグラフィック要素に関連付けられ得る。例えば、非限定的な例として、交通信号のヨー表示は矢印インジケータとして提示され得、範囲は境界ボックスとして提示され得、交通信号の状態は色（例えば、赤、緑、黄）などに関連付けられ得る。３次元空間における位置に対応する画像空間内の位置にインジケータまたは他の情報を投影するための技術およびシステムのさらなる説明は、「Pose Determination From Contact Points」と題された米国特許出願第15/814,870号に提供されており、その全体は参照によって本明細書に組み込まれる。

【0049】

図３Ａ乃至図３Ｃは、図２Ａ乃至図２Ｃからの一連の画像フレームを、知覚コンポーネント１３２によって検出およびトラッキングされたトラッキングされたオブジェクトに対する例示的な提案された位置インジケータ（対応する識別子を有する）とともに示す。そのような画像フレームは、ユーザインターフェースコンポーネント１３８によってレビューするユーザに表示され得、レビューするユーザはそれに基づいてフィードバック（例えば、示された提案された位置を承認、拒否、および／または修正する）を提供し得る。さらに、図３Ａ乃至３Ｃに示す例では３つの画像フレームが示されているが、より多くのまたはより少ない画像フレームが利用され得、以下の説明では、余分な混乱を避けるために図示されていない、フレーム３００と３２０と、およびフレーム３２０と３４０と、の間で、追加のフレームが処理されてユーザに表示され得ると仮定する。しかし、実施形態は１よりも大きい任意の数のフレームを利用し得る。

【0050】

より詳細には、画像３００のビューにおいて、トラッキングされたオブジェクト１ ２０２に対応する提案されたオブジェクト位置１ ３０２は、識別子「６」と、左端の交通信号の中心上の「ｘ」によって示される提案された位置と、を有するものとして示されている。トラッキングされたオブジェクト２ ２０４に対応する提案されたオブジェクト位置２ ３０４は、識別子「４」と、中央の交通信号の中心上の「ｘ」によって示される提案された位置と、を有するものとして示されている。トラッキングされたオブジェクト３ ２０６に対応する提案されたオブジェクト位置３ ３０６は、「５」という識別子と、右端の交通信号の中心上の「ｘ」によって示される提案された位置と、を有するものとして示されている。トラッキングされたオブジェクト４ ２０８に対応する提案されたオブジェクト位置４ ３０８は、識別子「１０」と、は中央の交通信号の中心の上の第２の「ｘ」によって示される提案された位置とを有するように示されている。

【0051】

図３Ｂおよび図３Ｃは画像２２０および２４０に対応する画像３２０および３４０を示す。画像３２０および３４０の各々はまた、それぞれの画像のビューに投影されるような提案されたオブジェクト位置３０２乃至３０８を含む。図示されるように、提案されたオブジェクト位置１ ３０２、３ ３０６、および４ ３０８は、画像３００から３４０の画像ビュー内の交通信号に対するそれらの位置を維持する。提案されたオブジェクト位置３０２、３０６、および３０８に対応するインジケータは、対応する交通信号に対する位置を維持するので、レビューするユーザは、提案された位置が正しいと決定し得る。一方、提案されたオブジェクト位置２ ３０４に対応するインジケータは、画像３００から画像３２０へ、および画像３２０から画像３４０へ、中央の交通信号から離れてずれる（drifts）。これは、提案されたオブジェクト位置２ ３０４のための提案された位置が不正確であることを示し、レビューしているユーザがそれを決定し得る。実際に、提案されたオブジェクト位置２ ３０４の提案された位置は、マップデータの座標空間において中央の交通信号の後ろにあり（例えば、交通信号と交通信号の後ろのオーバーパスとの間の位置）、中央の交通信号に対する提案された位置インジケータのずれ（drifting）をもたらす。したがって、レビューするユーザは、提案されたオブジェクト位置２ ３０４を拒否するフィードバックを提供し得る。

【0052】

図示されていないが、マップデータが画像データに現れないオブジェクトを含むケースにおいて、マップ更新システム１３０の投影コンポーネント１３６は、欠落しているオブジェクトの以前の位置を示すために、以前の位置インジケータを画像フレームに投影し得る。画像フレームをレビューする際に、ユーザは、以前の位置インジケータを利用して、オブジェクトが示された位置に依然として位置していることを決定し得る（例えば、インジケータが画像フレーム内の検出されていないオブジェクトに対してその位置を維持している場合、検出は失敗している可能性があり、オブジェクトは依然として存在している可能性がある）。

【0053】

上述のように、ユーザインターフェースコンポーネント１３８は、提案されたオブジェクト位置３０２乃至３０８を含む画像フレーム３００、３２０、および３４０をレビューするユーザに表示し得る。レビューするユーザは、位置インジケータに関して上述したようなフィードバックをユーザインターフェースコンポーネント１３８に提供し得る。例えば、レビューするユーザは、提案された位置を承認または拒否するフィードバックを提供し得る。以前の位置インジケータのケースにおいて、レビューするユーザは、マップデータ内のオブジェクトが以前の位置にもはや存在しないことを確認または拒否するフィードバックを提供し得る。

【0054】

フィードバックに基づいて、マップコンポーネント１３４は、承認された提案されたオブジェクト位置についてのマップデータにオブジェクトを追加し得る。ユーザが、オブジェクトが以前の位置にもはや存在しないことを確認した場合、マップコンポーネント１３４は、マップデータからオブジェクトを削除するように構成され得る。提案されたオブジェクト位置が拒否される場合、レビューするユーザは、その提案された位置が拒否されたオブジェクトのための追加の提案された位置を要求し得る（例えば、追加の画像データに基づいて）。

【0055】

［例示的なプロセス］
図４は、マップ更新システムによる処理のためにマップデータに現れない環境内のオブジェクトを検出し、トラッキングし、フラグを立てるための例示的なプロセス４００を示す。いくつかの例において、プロセス４００は、システム１００のコンポーネントによって達成され得る。いくつかの例において、例示的なプロセス４００は、自律車両１０２の搭載コンピュータシステムによって実行され得、またはコンピューティングデバイス１２４の態様によって全体的もしくは部分的に実行され得る。図４は、交通信号および交通信号の特定のコンテキストで説明されているが、いくつかの実施形態は、マップデータ内に表される環境内の任意のタイプのオブジェクトに関して同様の動作を実行し得る。

【0056】

動作４０２において、自律車両（またはセンサデータをキャプチャする任意の車両またはシステム）のセンサは、自律車両の動作中に画像をキャプチャし得る。動作４０４において、自律車両に搭載されたコンピューティングデバイスは、キャプチャされた画像に対してオブジェクトの検出および分類を実行し得る。画像内の検出および分類されたオブジェクトは、次いで、４０６において、マップデータ内のオブジェクトと比較され得る。

【0057】

動作４０８において、搭載コンピューティングデバイスは、任意の検出されたオブジェクトが交通信号として分類され、マップデータ内に含まれていない、または異なって位置しているかどうかを決定し得る。そうである場合、プロセスは４１０に進み得る。そうでない場合、プロセスは動作４１４に進み、終了し得る。

【0058】

動作４１０において、搭載コンピューティングデバイスは、メタデータまたは他のデータにおいて、交通信号として分類され、マップデータ内に含まれていない、または異なって位置している検出されたオブジェクトに、フラグを立て得る。次に、４１２において、搭載コンピューティングデバイスは、フラグが立てられたオブジェクトの複数の画像と、検出されフラグが立てられたオブジェクトに関するメタデータまたは他のデータとをマップ更新システムに送信し得る。

【0059】

例示的なプロセス４００は連続的な動作として示されているが、本明細書で説明する動作は、異なる順序で、同時に、および／または１つもしくは複数のデバイスによって実行され得ることが理解されることに留意されたい。さらに、プロセス４００は自律車両上で行われるものとして説明されているが、実施形態はそのように限定されない。例えば、いくつかの実施形態では、マップ更新のためのオブジェクトの検出およびフラグ立ては、上記で説明した動作を実行する搭載センサおよびコンピューティングデバイスシステムを有する手動運転車両によって実行され得る。さらに、いくつかの実施形態では、上記で説明した動作を実行するセンサおよびコンピューティングデバイスは、車両に搭載されなくても、または任意の手段で車両に関連付けられていなくてもよい。さらに、他の実施形態では、すべての画像が、処理およびフラグ立てなしにマップ更新システムにアップロードされ得る。

【0060】

図５は、環境内のオブジェクト（例えば、交通信号）の検出およびトラッキングに基づいてマップデータを更新するための例示的なプロセス５００を示す。いくつかの例において、例示的なプロセス５００は、システム１００のコンポーネントによって達成され得る。いくつかの例において、プロセス５００は、自律車両制御システムのマップ更新システム１３０によって実行され得る。図５は、交通信号および交通信号の特定のコンテキストにおいて説明されているが、いくつかの実施形態は、マップデータにおいて表される環境内の任意のタイプのオブジェクトに関して同様の動作を実行し得る。

【0061】

動作５０２において、マップ更新システムは、検出に関する情報とともに、マップデータに含まれていないかまたは異なる位置にある交通信号として分類されたオブジェクトの複数の画像を含む自律車両に関連付けられたデータを受信し得る。しかし、上述したように、実施形態は自律車両から受信される入力に限定されない。他の実施形態では、入力は、生センサデータ、または、フラグを立てられたもしくは処理された画像データの別のソースであり得る。

【0062】

５０４において、マップ更新システムは、オブジェクトの検出、トラッキングおよび分類を実行し得る。次いで、５０６において、画像内の検出されたオブジェクトは、マップデータ内のオブジェクトと比較され得る。５０８において、マップ更新システムは、任意の検出されたオブジェクトが、交通信号として分類され、マップデータ内に含まれない、または異なって位置しているかどうかを決定し得る。そうである場合、プロセスは５１０に進み得る。そうでない場合、プロセスは５１８に進み、終了し得る。

【0063】

５１０において、マップ更新システムは、交通信号として分類され、マップデータ内に含まれないまたは異なって位置している検出されたオブジェクトの提案された位置の３次元座標に対応する２次元画像の空間内の位置において、識別子および位置インジケータを複数の画像内に投影し得る。５１２において、マップ更新システムは、投影された識別子および位置インジケータを含む複数の画像を、レビューするユーザによるレビューのためにユーザインターフェースに出力または表示し得る。

【0064】

５１４において、マップ更新システムは、提案された位置に関するフィードバックを、ユーザインターフェースを介して受信し得る。例えば、受信したフィードバックは、提案された位置の受諾（acceptance）または拒否を示し得る。例えば、検出されたオブジェクトに対する位置インジケータが、複数のフレームにわたって検出されたオブジェクトに「取り付けられた」または上にある場合、および／または異なる距離もしくは角度から撮影された画像に投影された場合、レビューするユーザは提案された位置が正しいと決定し、提案を承認するフィードバックを提供し得る。

【0065】

５１６にて、フィードバックに応答して、マップ更新システムは、提案されたオブジェクト位置に基づいてマップデータ内の１つまたは複数のオブジェクトレコードを追加または更新し得る。

【0066】

例示的なプロセス５００は連続的な動作として示されているが、本明細書で説明される動作は、異なる順序で、同時に、および／または１つもしくは複数のデバイスによって実行され得ることが理解されることに留意されたい。さらに、プロセス５００は、自律車両から画像データを受信するものとして、または自律車両制御システムの一部として、または自律車両によって使用されるマップデータを更新するものとして、説明されているが、実施形態はそのように限定されない。例えば、いくつかの実施形態では、オブジェクトの検出およびそれに基づくマップデータの更新は、上記で説明した動作を実行する搭載センサおよびコンピューティングデバイスシステムを備えた手動運転車両を使用してキャプチャされた画像を利用し得る。さらに、いくつかの実施形態では、画像データをキャプチャするために使用されるセンサおよびコンピューティングデバイスは、車両に搭載されていなくてもよく、または任意の手段で車両に関連付けられていなくてもよい。

【0067】

［例示的な発明内容］
Ａ．第１の画像において交通信号を検出することと、前記第１の画像において検出された前記交通信号に少なくとも部分的に基づいて、マップデータに関連付けられた３次元座標システムにおける前記交通信号の提案された３次元位置を決定することと、前記提案された３次元位置を第２の画像に投影して、前記第２の画像における前記交通信号の２次元位置を決定することと、注釈付き画像として、前記交通信号に関連付けられた提案された交通信号位置インジケータを用いて前記第２の画像に注釈を付けることと、ディスプレイに、前記注釈付き画像をユーザに対して表示させることと、前記注釈付き画像に関連付けられたユーザ入力を受信することと、更新されたマップデータとして、前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータに前記交通信号の位置を含めるように前記マップデータを更新することと、を含む方法。

【0068】

Ｂ．前記第１の画像は自律車両の画像センサに関連付けられており、前記方法は、前記マップデータに対する画像センサの方向に少なくとも部分的に基づいて、前記交通信号の前記提案された３次元位置を決定することと、前記更新されたマップデータを前記自律車両に送信することと、をさらに含む、例Ａに記載の方法。

【0069】

Ｃ．第３の画像において前記交通信号を検出することと、前記３次元座標システムにおいて前記交通信号の第２の提案された３次元位置を決定することと、前記第２の提案された３次元位置を前記第２の画像に投影して、前記第２の画像において前記交通信号の第２の２次元位置を決定することと、注釈付き画像として、前記交通信号に関連付けられた第２の提案された交通信号位置インジケータをさらに含むように第２の画像に注釈を付けることであって、前記第２の画像における前記第２の提案された交通信号位置インジケータの位置は、前記交通信号の前記第２の２次元位置に少なくとも部分的に基づいている、ことと、をさらに含む、例Ａに記載の方法。

【0070】

Ｄ．前記ユーザ入力を受信することは、前記提案された３次元位置を拒否する第１のユーザ入力を受信することと、前記第２の提案された３次元位置を承認する第２のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第２の提案された３次元位置に基づいて、前記交通信号に対応する前記マップデータにマップオブジェクトを追加することと、を含む、例Ｃに記載の方法。

【0071】

Ｅ．前記第１の画像が、前記第３の画像とは異なるデバイスによってキャプチャされる、例Ｃに記載の方法。

【0072】

Ｆ．前記第２の画像に注釈を付けることが、前記提案された３次元位置に対応する前記第２の画像の２次元画像の空間において、前記提案された信号機位置インジケータを前記第２の画像にオーバーレイすることを含む、例Ａに記載の方法。

【0073】

Ｇ．１つまたは複数のプロセッサと、プロセッサ実行可能命令を格納するメモリと、
を含むシステムであって、前記プロセッサ実行可能命令は、前記１つまたは複数のプロセッサによって実行されると、システムに、第１のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、第２のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、前記表現に基づいて、グラフィック要素を前記第２のセンサデータに関連付けることと、ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、ユーザ入力を受信することと、前記ユーザ入力に少なくとも部分的に基づいて、前記マップデータを更新することと、を含む動作を実行させる、システム。

【0074】

Ｈ．前記交通オブジェクト特性は、交通信号、交通信号方向、交通信号状態、交通標識、車線インジケータ、または横断歩道の１つまたは複数を含む、例Ｇに記載のシステム。

【0075】

Ｉ．前記ユーザ入力は確認を含み、前記マップデータを更新することは、前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップに関連付けることと、を含む、例Ｇに記載のシステム。

【0076】

Ｊ．前記動作は、第３のセンサデータにおいて前記交通オブジェクトを検出することと、前記交通オブジェクトの第２の提案された特性を決定することと、前記第２のセンサデータにおいて表示されるべき前記第２の提案された特性の第２の表現を決定することと、前記第２の表現に基づいて、第２のグラフィック要素を前記第２のセンサデータに関連付けることと、前記ディスプレイに、前記第２のグラフィック要素を前記ユーザに対して表示させることと、をさらに含む、例Ｇに記載のシステム。

【0077】

Ｋ．
前記ユーザ入力を受信することは、前記提案された特性を拒否する第１のユーザ入力を受信することと、前記第２の提案された特性を承認する第２のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第２の提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを含むように前記マップデータを追加または更新することの１つまたは複数を含む、例Ｊに記載のシステム。

【0078】

Ｌ．前記第１のセンサデータは第１のデバイスによって取得された第１の画像を含み、前記第２のセンサデータは第２のデバイスによって取得された画像を含む、例Ｇに記載のシステム。

【0079】

Ｍ．前記第１のセンサデータは第１の画像センサによってキャプチャされた第１の画像を含み、前記第２のセンサデータは第２の画像センサによってキャプチャされた第２の画像を含み、前記交通オブジェクトは交通信号を含み、前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、グラフィカル要素を前記第２のセンサデータに関連付けることは、前記マップデータに対する画像センサの方向と、前記マップデータに対する前記第２の画像センサの第２の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第２の画像に投影することを含む、例Ｌに記載のシステム。

【0080】

Ｎ．マップデータを更新することは更新されたマップデータを決定することを含み、
前記第１のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、
前記動作は、前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、例Ｇに記載のシステム。

【0081】

Ｏ．プロセッサ実行可能命令を格納する１つまたは複数の非一時的コンピュータ可読媒体であって、前記プロセッサ実行可能命令は、１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、第１のセンサデータにおいて交通オブジェクトを検出することであって、前記交通オブジェクトは交通オブジェクト特性に関連付けられている、ことと、マップデータに関連付けられた座標システムにおいて前記交通オブジェクトの提案された特性を決定することと、第２のセンサデータにおいて表示されるべき前記提案された特性の表現を決定することと、前記表現に基づいて、グラフィック要素を前記第２のセンサデータに関連付けることと、ディスプレイに、前記グラフィック要素をユーザに対して表示させることと、ユーザ入力を受信することと、前記ユーザ入力に少なくとも部分的に基づいて、更新されたマップデータとして、前記マップデータを更新することと、を含む動作を実行させる、１つまたは複数の非一時的コンピュータ可読媒体

【0082】

Ｐ．前記オブジェクトは交通オブジェクトであり、前記ユーザ入力は確認を含み、前記マップデータを更新することは、前記マップデータが前記交通オブジェクトに関連付けられた交通インジケータを含まないことを決定することと、前記提案された特性に少なくとも部分的に基づいて、前記交通オブジェクトを前記マップデータに関連付けることと、を含む、例Ｏに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0083】

Ｑ．前記動作は、第３のセンサデータにおいて前記オブジェクトを検出することと、前記オブジェクトの第２の提案された特性を決定することと、前記第２の画像において表示されるべき前記第２の提案された特性の第２の表現を決定することと、前記第２の表現に基づいて、第２のグラフィック要素を前記第２の画像に関連付けることと、前記ディスプレイに、前記第２のグラフィック要素を前記ユーザに対して表示させることと、をさらに含む、例Ｏの１つまたは複数の非一時的コンピュータ可読媒体。

【0084】

Ｒ．前記ユーザ入力を受信することは、前記提案された特性を拒否する第１のユーザ入力を受信することと、前記第２の提案された特性を承認する第２のユーザ入力を受信することと、を含み、前記マップデータを更新することは、前記第２の提案された特性に少なくとも部分的に基づいて、前記オブジェクトを含むように前記マップデータを追加または更新することの１つまたは複数を含む、例Ｑに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0085】

Ｓ．前記第１のセンサデータは第１のデバイスの第１の画像センサによってキャプチャされた第１の画像を含み、前記第２のセンサデータは第２のデバイスの第２の画像センサによってキャプチャされた第２の画像を含み、前記オブジェクトは交通信号を含み、前記提案された特性は前記マップデータに対する前記交通信号の提案された位置を含み、グラフィカル要素を前記第２のセンサデータに関連付けることは、前記マップデータに対する前記第２の画像センサの方向と、前記マップデータに対する前記第２の画像センサの第２の方向と、に少なくとも部分的に基づいて、前記提案された位置を前記第２の画像に投影することを含む、例Ｏに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0086】

Ｔ．前記第１のセンサデータは自律車両に関連付けられたデバイスによってキャプチャされ、前記動作は前記更新されたマップデータを前記自律車両に送信することであって、前記自律車両は前記更新されたマップデータに少なくとも部分的に基づいて環境を横断するように構成されている、ことと、をさらに含む、例１５に記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0087】

上記で説明した例示的な発明内容は、１つの特定の実施形態に関して説明されているが、本明細書のコンテキストにおいて、例示的な発明内容の内容は、方法、デバイス、システム、コンピュータ可読媒体、および／または別の実施形態を介して実装することもできることを理解されたい。加えて、例Ａ乃至Ｔのいずれも、単独で、または例Ａ乃至Ｔの任意の他の１つまたは複数と組み合わせて実装され得る。

【0088】

主題は、構造的特徴および／または方法論的行為に特有の言語で説明されてきたが、添付の特許請求の範囲において定義される主題は、説明される特定の特徴または行為に必ずしも限定されないことを理解されたい。むしろ、特定の特徴および行為は、特許請求の範囲を実装する例示的な形態として開示される。

【0089】

本明細書で説明されるコンポーネントは、任意のタイプのコンピュータ可読媒体に格納され得る、ソフトウェアおよび／またはハードウェアで実装され得る命令を表す。上記で説明した方法およびプロセスのすべては、１つまたは複数のコンピュータもしくはプロセッサ、ハードウェア、またはそれらのいくつかの組合せによって実行されるソフトウェアコードコンポーネントおよび／またはコンピュータ実行可能命令において具現化され、それらを介して完全に自動化され得る。方法のいくつかまたはすべては、代替的に、専用コンピュータハードウェアにおいて具現化され得る。

【0090】

特に「し得る（ｍａｙ）」、「できる（ｃｏｕｌｄ）」、「し得る（ｍａｙ）」または「し得る（ｍｉｇｈｔ）」などの条件付き言語は、特に明記しない限り、コンテキスト内で、特定の例が特定の特徴、要素および／またはステップを含み、他の例を含まないことを示すと理解される。したがって、そのような条件付き言語は、一般に、特定の特徴、要素および／またはステップが１つまたは複数の例に対して任意の手段で必要とされること、あるいは１つまたは複数の例が、ユーザ入力またはプロンプトを用いてまたは用いずに、特定の特徴、要素および／またはステップが任意の特定の例において含まれるまたは実行されるべきかを決定するための論理を必然的に含むことを暗示することを意図するものではない。

【0091】

「Ｘ、Ｙ、またはＺの少なくとも１つ」という句などの接続的言語は、別段に具体的に述べられない限り、項目、用語などが、Ｘ、Ｙ、もしくはＺのいずれ、または複数の各要素を含むそれらの任意の組合せであり得ることを提示すると理解されるべきである。単数形として明示的に記載されていない限り、「ａ」は単数形および複数形を意味する。

【0092】

本明細書に記載されたおよび／または添付の図面に示されたフロー図における任意のルーチンの説明、要素またはブロックは、ルーチンにおいて特定の論理機能または要素を実装するための１つまたは複数のコンピュータ実行可能命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すものとして理解されるべきである。代替の実施形態は、本明細書で説明される例の範囲内に含まれ、要素または機能は、当業者によって理解されるように、関与する機能に応じて、実質的に同期して、逆の順序で、追加の動作を伴って、または動作を省略することを含めて、図示または説明される順序とは異なる順序で削除または実行され得る。

【0093】

上述の例に対して多くの変形および修正を行い得、その要素は、他の許容可能な例の中にあるものとして理解されるべきである。すべてのそのような修正および変形は、本開示の範囲内で本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図される。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4】

【図5】