特表 2025-532067 動的オブジェクトの自動交通認識セマンティックアノテーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-09-29

(54)【発明の名称】動的オブジェクトの自動交通認識セマンティックアノテーション

(51)【国際特許分類】

   B60W 30/095 20120101AFI20250919BHJP

   B60W 60/00 20200101ALI20250919BHJP

   B60W 50/06 20060101ALI20250919BHJP

   G08G 1/00 20060101ALI20250919BHJP

【ＦＩ】

B60W30/095

B60W60/00

B60W50/06

G08G1/00 D

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2025516051

(86)(22)【出願日】2023-08-10

(85)【翻訳文提出日】2025-03-17

(86)【国際出願番号】 EP2023072147

(87)【国際公開番号】W WO2024074238

(87)【国際公開日】2024-04-11

(31)【優先権主張番号】22199642.4

(32)【優先日】2022-10-04

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】524292743

【氏名又は名称】エイアイモーティブ、コルラートルト、フェレレーシュシェーギュー、タールシャシャーグ

【氏名又は名称原語表記】ａｉＭｏｔｉｖｅ Ｋｆｔ．

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(72)【発明者】

【氏名】ヤーノシュ、ルダン

(72)【発明者】

【氏名】オスカール、アルベルト、サボー

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA31

3D241BA32

3D241BA62

3D241BB31

3D241BB37

3D241BC01

3D241BC02

3D241CC01

3D241CC08

3D241CC17

3D241CE02

3D241CE04

3D241CE08

3D241DB01Z

3D241DB02Z

3D241DC01Z

3D241DC21Z

3D241DC25Z

3D241DC31Z

3D241DC37Z

3D241DC41Z

3D241DD11Z

5H181AA01

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181EE02

5H181FF04

5H181FF10

5H181FF27

(57)【要約】

コンピュータで実現される、複数の時点で車両の周囲から記録されるセンサデータのアノテーションをする方法であって、
前記センサデータ内のオブジェクトを決定すること、
前記オブジェクトでカバーされる現在の時点のオブジェクトエリアを決定し、前記車両の将来の車両軌道を決定すること、及び
前記オブジェクトエリアが前記将来の車両軌道を妨げると決定される場合は、前記オブジェクトを関連があるとするアノテーションをすること、を含む、
方法。

【特許請求の範囲】

【請求項1】

コンピュータで実現される、複数の時点で車両(101, 201, 301, 401)の周囲から記録されるセンサデータのアノテーションをする方法であって、
前記センサデータ内のオブジェクト(102-104, 202, 203, 302-305, 403)を決定すること、
前記オブジェクト(102-104, 202, 203, 302-305, 403)でカバーされる現在の時点のオブジェクトエリア(201a, 202a, 203a, 312-315)を決定し、前記車両(101, 201, 301, 401)の将来の車両軌道(110b, 210b)を決定すること、及び
前記オブジェクトエリア(201a, 202a, 203a, 312-315)が前記将来の車両軌道(110b, 210b)を妨げると決定される場合は、前記オブジェクト(102-104, 202, 203, 302-305, 403)を関連があるとするアノテーションをすること、を含む、
方法。

【請求項2】

前記オブジェクトエリア(201a, 202a, 203a, 312-315)が前記将来の車両軌道(110b, 210b)から所定距離の内に入る場合は、前記オブジェクトエリア(201a, 202a, 203a, 312-315)は、前記将来の車両軌道(110b, 210b)を妨げると決定される、
請求項１に記載の方法。

【請求項3】

前記センサデータは、カメラデータ、ＬＩＤＡＲ、及び／又はＲＡＤＡＲを含む、
請求項１又は２に記載の方法。

【請求項4】

専用の位置センサ、特にＧＰＳセンサを用いて車両(101, 201, 301, 401)の位置及び／又は方向データを経時的に収集することか、又は
前記車両(101, 201, 301, 401)の周囲からセンサデータを収集し、及び前記車両(101, 201, 301, 401)の前記位置及び／又は方向を経時的に得るために前記センサデータを後処理することか、に基づいて、
前記車両(101, 201, 301, 401)の軌道(110, 210)を決定するステップをさらに含む、
請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記オブジェクト(102-104, 202, 203, 302-305, 403)でカバーされるオブジェクトエリア(201a, 202a, 203a, 312-315)を前記決定することは、前記センサデータから３Ｄ空間へのマッピングを行うことを含み、前記将来の車両軌道(110b, 210b)は、前記３Ｄ空間に格納される、
請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記車両軌道は、前記センサデータに基づく前記複数の時点の前記車両(101, 201, 301, 401)の位置を含む、
請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記オブジェクト(102-104, 202, 203, 302-305, 403)を関連があるとする前記アノテーションをすることは、
前記現在の時点の後の将来の時点のオブジェクトエリア(201a, 202a, 203a, 312-315)が、前記将来の車両軌道(110b, 210b)とオーバラップすると決定される場合は、前記オブジェクト(102-104, 202, 203, 302-305, 403)を将来の関連があるとするアノテーションをすることを含む、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記将来の時点は、前記現在の時点から所定の時間内である、
請求項７に記載の方法。

【請求項9】

前記オブジェクト(102-104, 202, 203, 302-305, 403)でカバーされる前記オブジェクトエリア(201a, 202a, 203a, 312-315)を決定することは、
前記センサデータから前記オブジェクト(102-104, 202, 203, 302-305, 403)の位置及び／又は方向を決定すること、及び、
センサデータから前記オブジェクト(102-104, 202, 203, 302-305, 403)の寸法を決定することか、
又は前記センサデータから前記オブジェクト(102-104, 202, 203, 302-305, 403)の種類を決定し所定の寸法を用いて前記オブジェクト(102-104, 202, 203, 302-305, 403)の寸法を推論することであって、前記所定の寸法は、前記決定されるオブジェクト(102-104, 202, 203, 302-305, 403)種類に基づいて決定されることかを含む、
請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

前記オブジェクトエリア(201a, 202a, 203a, 312-315)は確率的なエリアであり、かつ／又は前記車両軌道は確率的な軌道であり、また、前記オブジェクトエリア(201a, 202a, 203a, 312-315)と前記車両軌道との交差の確率が所定の交差確率閾値よりも大きい場合はオーバラップが決定される、
請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

前記オブジェクト(102-104, 202, 203, 302-305, 403)を関連があるとする前記アノテーションをすることは、複数のオブジェクト(102-104, 202, 203, 302-305, 403)を関連があるとするアノテーションをすることを含み、前記方法は、リード関連オブジェクト(103, 202, 304)が前記将来の車両軌道(110b, 210b)に沿って前記車両(101, 201, 301, 401)と最小の距離を有する場合は、前記複数の関連があるオブジェクトの１つをリード関連オブジェクト(103, 202, 304)としてアノテーションをすることをさらに含む、
請求項１乃至１０のいずれか一項に記載の方法。

【請求項12】

前記オブジェクトエリア(201a, 202a, 203a, 312-315)は、前記オブジェクト(102-104, 202, 203, 302-305, 403)の中心の周囲の所定のエリアとして決定される、
請求項１乃至１１のいずれか一項に記載の方法。

【請求項13】

前記オブジェクトエリア(201a, 202a, 203a, 312-315)のサイズは、前記車両(101, 201, 301, 401)の速度に依存する、
請求項１２に記載の方法。

【請求項14】

請求項１乃至１３のいずれか一項に記載の方法を実行するように構成される、
センサデータのアノテーションデバイス。

【請求項15】

コンピュータによって実行されたときに、前記コンピュータに請求項１乃至１３のいずれか一項に記載の方法を実行させる複数の命令を含む、
コンピュータ読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の時点で車両の周囲から記録されるセンサデータのアノテーションをするための、コンピュータで実現される方法、及びセンサデータのアノテーションデバイスに関する。

【0002】

本発明はまた、プログラムコードを格納するコンピュータ読取可能な記録媒体に関し、プログラムコードは、そのような方法を実行するための命令を含む。

【背景技術】

【0003】

自動及び自律運転においては、他のオブジェクト（例えば、車両又は弱い道路使用者）との衝突を回避するという意味の交通安全が極めて重要である。都市環境の交通状況は非常に複雑であり、自動車両に考慮される必要がある多数の交通参加者を含む。よって、十分に大きなトレーニングデータセットは、自動及び自律運転に関する機械学習アルゴリズムにとって非常に重要である。

【0004】

先行技術では、自律運転の教師あり学習のトレーニングデータセットを構築するための様々なアノテーション方法が知られている。しかしながら、既存の方法（例えば、獲得されたセンサデータの手動ラベリングを含むもの）は時間がかかりすぎ、最新アルゴリズムをトレーニングするために要求される大量の（ラベリングされた）トレーニングデータを提供するには十分ではない。

【0005】

トレーニングデータを獲得するためだけでなく、以前に獲得されたトレーニングデータをラベリングするための改善された方法が必要である。

【発明の概要】

【0006】

本発明の目的は、先行技術の上述の問題の１つ以上に対処するために、自律運転における、センサデータのアノテーションをするための及び効率的にアノテーションがされたデータでトレーニングデータセットを構築するためのコンピュータで実現される方法を提供することである。

【0007】

発明の第１の態様は、コンピュータで実現される、複数の時点で車両の周囲から記録されるセンサデータのアノテーションをする方法であって、
センサデータ内のオブジェクトを決定すること、
オブジェクトでカバーされる現在の時点のオブジェクトエリアを決定し、車両の将来の車両軌道を決定すること、及び
オブジェクトエリアが将来の車両軌道を妨げると決定される場合は、オブジェクトを関連があるとするアノテーションをすること、を含む、
方法を提供する。

【0008】

第１の態様の方法は、センサデータ内の複数のオブジェクトをそれらの関係性に応じてアノテーションができる。関連オブジェクトと関連しないオブジェクトとを区別することで、関連性指向のアノテーションでトレーニングデータセットが作成可能である。アノテーションがされたトレーニングデータセットは、次に、例えば、自動運転（ＡＤ：Automated Driving）における、学習に基づく方法のための教師ありトレーニングを最適化するために使用可能である。好ましくは、第１の態様の方法は、センサデータが記憶された後に、例えば、センサが備えられた車両群によって実行される。車両群は、人間のドライバーによって運転されるが、しかし、このようにして獲得されたセンサデータは、提示された方法で定めるアノテーションとともに、（半）自動運転のトレーニング方法の入力として用いられてもよい。

【0009】

センサデータは、車両の周囲の記録を含む車両のカメラデータを含んでもよい。センサデータは、また、車両の周囲、及び／又は、車両の状態及び／又は動きを記録するための車両のセンサから取得されたいずれのデータを含んでもよい。センサデータは、アノテーション方法のオフライン演算が可能な事前収集されたデータベースを含んでもよい。

【0010】

オブジェクトは静的オブジェクトでも動的オブジェクトでもよい。特に、動的オブジェクトは、車両の周囲における、他の移動している車両、あるいは自転車運転者、オートバイ運転者、又は歩行者などの他の移動している交通参加者を含んでもよい。静的オブジェクトには、移動していない車両、又は他の静止した交通参加者が含まれる場合がある。

【0011】

将来の車両軌道という用語は、ここでは、現在の時点よりも後の時点の車両の軌道を指す。現在の時点は、複数の時点のうちの１つである場合がある。センサデータは、好ましくは事前に記録されたデータであるため、「時点」は記録されている時点、つまり、記録が作成されたときの時点を指す場合がある。言い換えれば、第１の態様の方法の実施形態は、一時点一時点で記録されたセンサデータを調べることと考えることもできる。

【0012】

センサデータ内で関連があると決定されたオブジェクトをアノテーションすることにより、オブジェクト、例えば、衝突を回避するために重要なもの、を識別できる。これにより、関連性に応じてアノテーションされたデータを伴うトレーニングデータセットが作成される。

【0013】

第１の態様による方法の第１の実装形態では、オブジェクトエリアが将来の車両軌道から所定距離の内に入る場合は、オブジェクトエリアは将来の車両軌道を妨げると決定される。所定距離を含めることにより、安全バッファが考慮される。これは、車両間の距離が小さくなり、車両と物体との潜在的な衝突が予測されることに基づく事情では有利になりえる。オブジェクトを関連があるとしてアノテーションをすることは、最終的には交通安全に関する関連性を意味するからである。所定の距離は、記録されたデータから抽出されたさまざまな要因、例えば自車両速度、オブジェクトの速度、オブジェクトの距離、オブジェクトの種類、環境要因、又は他の検討事項等のうえで予め決定される場合がある。例えば、より早い車両の速度は、より大きな距離に対応する場合がある。これは、速度がより速いとき、車両が他のオブジェクトとより大きな距離を保つ必要があるときにおいて、他のオブジェクトが関連があるとしてより容易に認識されるという利点を有する。

【0014】

第１の態様による方法のさらなる実装形態では、センサデータはカメラデータを含む。好ましくは、センサデータは、車両の周囲の動的オブジェクトを記録するために、LIDAR、RGBD、ステレオカメラ、またはこれらのセンサの融合を用いて生成される場合がある。

【0015】

好ましくは、その方法は、専用のセンサ、特にＧＰＳセンサを用いて、車両の位置及び／又は方向のデータを経時的に収集することに基づいて、車両の軌道を決定するステップをさらに含む。任意に、車両の軌道を決定するステップは、車両の周囲からのセンサデータ、及び／又は車両に統合されたセンサ、例えば、ＩＭＵデバイス及び／又はホイールティックセンサ、からのセンサデータを収集することに基づくものであってもよい。それらのセンサデータは、車両の位置及び／又は方向を経時的に得るために後処理される。これは、センサデータに基づくオフライン演算が可能にする。車両の位置は、現実世界の座標内の絶対位置、例えば、ＧＰＳセンサによって決定されるもの、であってもよい。

【0016】

第１の態様による方法のさらなる実装形態では、オブジェクトでカバーされるオブジェクトエリアを決定することは、センサデータから３Ｄ空間へのマッピングを行うことを含み、将来の車両軌道は、３Ｄ空間に格納される。アノテーションされたデータは、種々のＡＤＡＳ及びＡＤ機能の最適化のために用いられてもよい。

【0017】

第１の態様による方法のさらなる実装形態では、車両軌道は、センサデータに基づく複数の時点の車両の位置を含む。

【0018】

第１の態様による方法のさらなる実装形態では、オブジェクトを関連があるとするアノテーションをすることは、現在の時点の後の将来の時点のオブジェクトエリアが、将来の車両軌道とオーバラップすると決定される場合は、オブジェクトを将来の関連があるとするアノテーションをすることを含む。例えば、後方から別のオブジェクトが車両に接近している場合は、その現在の位置は将来の車両軌道（車両が前進している場合、車両の前方にある）とオーバラップしないため、「現在の関連がある」として考慮されないかもしれない。しかしながら、その将来の位置（車両に接近したとき又は追い越したとき）は将来の車両軌道とオーバラップするであろうから、「将来の関連がある」ものになりうる。したがって、「将来の関連がある」オブジェクトは特に重要な場合がある（そして、それらは、例えば車両の後方に面するセンサによって、認識される場合がある）。

【0019】

将来の時点を考慮することにより、運転手順の基礎であり、車両の運転挙動に影響を有する先見の側面が、ここで考慮に入れられる。例えば、上述のように、後方から急速に接近している車両は「将来の関連がある」ことが認識可能であり、そのことは特に重要として考慮される場合さえある。関連性に応じたセンサデータのアノテーションは重要でないオブジェクトを重要なものから分離したトレーニングデータセットを提供するため、先見の側面は自動運転の機能性にとって極めて重要である。

【0020】

特に、将来の関連オブジェクトのアノテーション中に考慮される将来の時点は、現在の時点から所定の時間内であってもよい。例えば、所定の時間は、０秒から６秒の間、好ましくは、０．５秒から３秒の間の定数である所定の時間であってもよい。

【0021】

第１の態様による方法のさらなる実装形態では、オブジェクトでカバーされるオブジェクトエリアを決定することは、
センサデータからオブジェクトの位置及び／又は方向を決定すること、及び、
センサデータからオブジェクトの寸法を決定することか、
又はセンサデータからオブジェクトの種類を決定し所定の寸法を用いてオブジェクトの寸法を推論することであって、所定の寸法は、決定されるオブジェクトの種類に基づいて決定されることかを含む。

【0022】

車両の１つ以上のセンサから取得されるものとしてのセンサデータに加えて、オブジェクトの種類（例えば、車両の種類）などの追加のアノテーションが利用可能である場合がある。この情報はオブジェクトエリアをより正確に決定することに役立つ場合がある。データセットもまた、詳細な情報、例えば、オブジェクトの特定の寸法及びオブジェクトのさらなる特性など、を含む場合がある。代わりに、オブジェクトの種類は、センサデータに基づく方法によって決定される場合がある。

【0023】

第１の態様による方法のさらなる実装形態では、オブジェクトエリアは確率的なエリアであり、かつ／又は将来の車両軌道は確率的な軌道であり、また、オブジェクトエリアと将来の車両軌道との交差の確率が所定の交差確率閾値よりも大きい場合は、オーバラップが決定される。車両の運転プロセス及び車両の周囲におけるオブジェクトの移動挙動に影響を与えうる様々な不確実な要因が関係しているため、車両の挙動に影響を与える可能性がある将来の傾向を考慮するために、車両軌道及びオブジェクトエリアの双方にとって確率的な要因を考慮することが有利である。確率的な軌道は、例えばＧＰＳ信号を高速で獲得しているときの誤りに起因する位置についての不確実性によって、影響される場合がある。

【0024】

第１の態様による方法のさらなる実装形態では、オブジェクトを関連があるとするアノテーションをすることは、複数のオブジェクトを関連があるとするアノテーションをすることを含み、その方法は、リード関連オブジェクトが将来の車両軌道に沿って車両と最小の距離を有する場合は、複数の関連オブジェクトの１つをリード関連オブジェクトとしてアノテーションをすることをさらに含む。関連があるオブジェクト（以下、関連オブジェクトとも呼ぶ）をさらに区別することにより、関連性のヒエラルキーが作成されてもよく、また、関連オブジェクトの中から最も関連があるオブジェクトがリード関連があるとして決定されてもよい。特に、リード関連オブジェクトはリード車両であってもよい、というのも、リード車両は典型的には将来の車両軌道の上を走行しており、すなわち、常に関連があるからである。

【0025】

本発明の別の態様は、上記の方法を実行するように構成されたセンサデータのアノテーションデバイスに関する。

【0026】

発明のさらなる態様は、プログラムコードを格納しているコンピュータ読取可能な記憶媒体を指し、そのプログラムコードは、プロセッサによって実行されたときに第２の態様の方法又は第２の態様の複数の実装形態の１つを実行する命令を含む。

【図面の簡単な説明】

【0027】

添付の図面は、本発明のさらなる理解を提供することを意図する。この点で、添付の図面は方法の様々なステップ及び段階を図示し、説明に加えて、発明のコンセプトを説明する。言及された多くの利点は、図面の参照とともに明らかになる。図面に示された要素は、必ずしも互いに対する縮尺を示すものではない。

【図1】図１は、複数の車両の位置及び複数の車両のオブジェクトエリアを示す概略図であり、車両のうちの１つがリード車両として識別されている。

【図2a】図２ａは、第１の車両が第２の車両を追い越そうとしているシナリオ内の現在の時点における複数の車両の位置及び複数の車両のオブジェクトエリアを示す概略図である。

【図2b】図２ｂは、図２ａのシナリオの概略図であるが、将来の時点における車両の場所を考慮している。

【図3】図３は、図１、図２ａ、図２ｂ内で示されたものと同様のシナリオを示すが、異なる形状のオブジェクトエリアを伴う。

【図4】図４は、センサデータの獲得中に車両を取り囲んでセンシングしているセンサを有する車両を示す。

【発明の詳細な説明】

【0028】

（実施形態の詳細な説明）
上述の説明は、本発明の実装方法にすぎず、本発明の範囲はこれに限定されない。いかなる変形又は置き換えも、当業者によって容易に行われうる。そのため、本発明の保護範囲は添付される請求の範囲の保護範囲に従うべきである。

【0029】

図１は、現在の時点ｔにおける道路100の上の、以下では自車両とも呼ばれる、車両101を示す。自車両にはセンサが備えられており、周囲、特に動的オブジェクト102～104（それらは、自車両101を取り囲んでいる他の車両又は他の動的な交通参加者であってもよい）を記録する。自車両101は、過去の車両軌道110a及び将来の車両軌道110bを含む軌道110に沿って移動している。自車両101は、自車両101の周囲のセンサデータを収集するセンサを含む。

【0030】

自車両は、第２、第３、及び第４の車両102、103、及び104によって取り囲まれている。図１で図示される好ましい実施形態では、オブジェクト（ここでは、車両）のオブジェクトエリアは車両が占有する現実のエリアに対応し、すなわち、図１で示す車両は車両のオブジェクトエリアに対応する。最初の時点では、第３の車両103のオブジェクトエリアは、将来の車両軌道110bとオーバラップする。そのため、第３の車両103は関連オブジェクトとしてラベリングされる。第４の車両104も、将来の車両軌道110bとオーバラップし、そのため、関連オブジェクトとしてラベリングされる。第２の車両102のオブジェクトエリアは、車両軌道とオーバラップせず、そのため関連があるものとはみなされない。

【0031】

将来の車両軌道110bに沿って自車両101に最も接近している関連オブジェクトは車両103であることにより、それがリード関連オブジェクトとみなされる。図１から、自車両が第３の車両103の追い越しにおいてさらに前進したとき、その将来の軌道はもはや車両103とオーバラップしないとさらに予測されてもよい。そのとき、第４の車両104は新しいリード関連オブジェクトになる。

【0032】

実際には、オブジェクトエリアはオブジェクト自身よりも大きいと定義されてもよいと理解される。例えば、図２ａで示されるシナリオは、オブジェクトエリアがオブジェクト201、202、203の中心の周囲の円形のオブジェクトエリア201a、202a、203aとして定義される実施形態を図示する。これは、直接には自車両の将来の軌道上にはないが、例えば隣接する車線上などを走行していて、そのため重要な可能性があるオブジェクトを検出することにとって、特に適切であることがある。

【0033】

図２ａは、自車両201が道路200の中央車線上を走行しているところのシナリオを示す（車線標示は、その方法の動作のためには必要とされないことに注意されたい）。自車両201は、同じ車線及び隣接する車線を走行している第２及び第３の車両202、203によって取り囲まれている。図２ａで示されるシナリオは、自車両201による追い越し手順のはじまりに対応する、最初の時点に対応する。自車両201は中央車線上を走行しており、そのドライバーは中央車線上で自車両201の前方を走行している第２の車両202を追い越そうとしている。自車両201の軌道210は、車両が現在の時点までに通過した軌道である過去の車両軌道210aと、現在の時点の後に車両が通過する軌道の一部である将来の車両軌道210bとに分割できる。

【0034】

自車両の将来の軌道210bは、左の車線への変更と、第２の車両の追い越しとの過程を反映している。

【0035】

左の車線上には、第３の車両203がいる。現在の時点において、将来の軌道210bは、第２の車両202のオブジェクトエリアと、第３の車両203のオブジェクトエリアとにオーバラップしている。第２の車両202は第３の車両203よりも接近しているから、第２の車両がリード関連車両である。

【0036】

図２ａで描写した時点を時間Ｔとして表記しよう。図２ａにおいて、そのオブジェクトエリアが将来の車両軌道と交差しているため、車両202及び203が、関連オブジェクトとして表示されることに注意されたい。

【0037】

図２ｂは、図２ａと同じ道路200及び同じ車両を示すが、より早い時点を示す。このより早い時点を時間Ｔ－tauとして表記しよう、ここでtauはその時点より所定時間前の、好ましくは０秒前から３秒前の、ことをいう。図２ｂにおいてより早い時点が表記されていることを考慮すると、自車両201はその過去の軌道における位置201’に現れている。

【0038】

図２ｂで表現される、より早い時点Ｔ－tauにおいて、第２の車両202’のオブジェクトエリアは将来の軌道210b’と交差しない、なぜならこの時点において第２の車両はまだ中央車線に移動していないためである。したがって、Ｔ－tauにおいて第２の車両は（まだ）関連オブジェクトではない。しかしながら、図２ａにおいて表記される次の時点Ｔにおいて関連オブジェクトになるので、将来の関連オブジェクトとしてマークされる。

【0039】

図２ｂで表現される時点Ｔ－tauにおいて、第３の車両203’のオブジェクトエリアはＴ－tauにおいて与えられる将来の軌道と交差し、したがって、関連オブジェクトとしてマークされる。それに加えて、図２ａにおいて表記される次の時点Ｔにおいて関連オブジェクトになるので、将来の関連オブジェクトとしてもマークされる。言い換えれば、第３の車両203’は関連オブジェクトであり、将来の関連オブジェクトであり、リード関連オブジェクトでもある。

【0040】

上記の実施形態において、オブジェクトエリアはオブジェクトによってカバーされる現実のエリアに対応する。しかしながら、これは必須ではない。他の実施形態において、オブジェクトエリアは、例えば、車両の中心の周囲の円形のエリアであってもよい。さらに他の実施形態において、オブジェクトエリアの形状は円形ではなく、いずれの幾何学的な形状であってもよい。図３は、オブジェクトエリアがオブジェクトの中心の周囲に配置される矩形形状である実装形態を示す。矩形形状はオブジェクトの種類及び寸法に基づいて様々なサイズに変更されてもよい。オブジェクトエリアの形状及びサイズは、最小ヘッドウェイ等の所定の安全パラメータに基づくものであってもよい。円形形状は、安全上の理由のため広いバッファエリアが必要な歩行者又は自転車運転者のためにも、適していることがある。図３はまた、車両302～305が、それらの周囲の矩形形状を有するオブジェクトエリア312～315を持ってもよいと図示している。これらの形状は、オブジェクトの中心から前方にシフトしてもよい。これは、オブジェクトエリアがオブジェクトにカバーされる現実のエリアに限らず、「危険」とみなされる空間に属するエリアも反映できるという利点を有する。例えば、自車両がその他の車両の前方の５メートル以内又はその他の車両の側面の１メートル以内に入る場合は、危険とみなされる。同様に、車両軌道310は幅322の安全マージン320を含んでもよいし、安全マージン320は第４の車両304のオブジェクトエリア314とオーバラップするため、第４の車両304は将来の車両軌道310を妨げるとみなされてもよい。

【0041】

例えば車両の種類などの、オブジェクトの種類に基づく所定の寸法である車両のエリアが、将来の車両の軌道を妨げると決定される場合は、「他の車両」は関連があるとしてアノテーションされてもよい。そのうえ、オブジェクトを関連があるとしてアノテーションすることは、現在の時点の後の将来の時点におけるオブジェクトエリアが将来の車両軌道とオーバラップすると決定される場合はオブジェクトを将来の関連があるとしてアノテーションすることを含んでもよく、ここで、好ましくは将来の車両軌道が現在時点と比較して将来における時点に対応する場所を含むものとして定義される。

【0042】

図４は、自車両401と外部のエンティティとの間の様々な相互関係を示す。車両401は、車両の左側及び右側のエリア410a及び410bと、車両の前方のエリア412とから記録を取得するセンサを含む。図４では図示されない後方に面する追加のセンサがある場合がある。

【0043】

車両軌道は、ＧＰＳ信号420から位置及び方向データを受信することによって直接的に取得されるか、又は、センサデータから車両の位置及び／又は方向が経時的に計算できるように、自車両401の周囲からのセンサデータを後処理することによって間接的に取得されるか、どちらで取得されてもよい。図４において視覚化されるように、自車両の周囲はオブジェクト402、403を含み、それらは自車両がセンサデータ及び車両軌道の取得を完了した後に（好ましくはオフラインで）関連がある車両、将来の関連がある車両、及び／又はリード車両としてアノテーションされてもよい。

【0044】

その方法は、いかなるネットワークへの接続もなくオフラインで実行されてもよい、すなわち、前もって記録されたデータに完全に依存してもよい。

【0045】

既知の方法では通常、瞬間的な（フレームごとの）データを加工するか、又は近い過去に収集されたデータ（周囲の動的オブジェクトから記録されたデータと自車両自身の動きに関するものとの間の時間的結合（同期性）が維持されている間の、直近の数サンプル）を加工する。このようにして、これらの方法は履歴データを用いて周囲の動的オブジェクトについて推論することができる。また、例えば自車線におけるオブジェクトにフォーカスする等により、より重要性が高い動的オブジェクトを個別に識別するために、静的な世界(検出された車線標示、道路の端など)からの情報を用いることが普通である。

【0046】

提示された方法は、セマンティックラベル、特に、関連のあるもの、リード関連があるもの、または将来の関連があるものを、基本のアノテーションに追加できる。これらのセマンティックラベルは与えられた交通状況に関するオブジェクトの関連性を反映できる。

【0047】

方法は、時間同期データ（周囲の動的オブジェクトの計測値と、記録された自車両の現実の動作と）の分離に基づく。与えられた時間サンプルにおける周囲の動的オブジェクトの基本のアノテーションと、全部の記録にわたるその全体的な経路を与える自車両の統合された動作とから構築されたシーンを考慮しよう。自己の動作データの基本特性を活用することで、この経路の過去又は将来のいかなるセクションも、選択されたシーン内に投影されうる。マージされたシーンを作成することは、もとの記録時間とは独立に、与えられたシーンの動的な当事者と、選択された経路のセクションとの間の過去及び将来の対応関係について推論する機会を与える。

【0048】

提示された方法では、我々は動的オブジェクトの関連性を決定するためにこのマージされたシーンを使用する。交通認識のセマンティックアノテーションは、将来の経路データに基づく動的オブジェクトに追加することができる。この方法は、動的オブジェクトの基本のアノテーションのみを必要とし、車線標示、道路の端などの周囲の静的なオブジェクトのアノテーションは必要としないことに注意されたい。

【0049】

好ましい実施形態において、基本のアノテーションの連続的な時系列からリードオブジェクトの特性を抽出することは、下記のように実装されうる。

【0050】

（１）自車両の将来の軌道を、オブジェクトの現在のアノテーション上にオーバラップすることにより、どのオブジェクトが自車両の将来の軌道と交差するかが決定されうる。これらのオブジェクトから、将来の車両軌道に最も近いオブジェクトがリードオブジェクトとみなされうる、そしてこの情報はアノテーション内でマークされる。

【0051】

（２）与えられた時点t₀において、リードオブジェクトとしてマークされたオブジェクトを考慮しよう。この特定のオブジェクトが過去のt_0-xにおいて基本のアノテーション内に存在している場合、それをｘ秒の予想範囲があるt_0-xにおける将来のリードオブジェクトとしてマークしよう。このように、オブジェクトは、時間予測機能を追加する将来のリードオブジェクトとしてアノテーションされうる。

【0052】

リードオブジェクトの特性以外に、例えば複数のオブジェクト（車両）が１列になって１つの出口に接近している密集した高速道路の交通状況のような、様々な関連性の側面が同様の方法でアノテーションされうる。このような車両の列に合流する場合、アノテーション中に、後方に合流するための安全な間隔がある車両をマークできる。よって、合流手順を補助するセマンティックアノテーションを取得できる。

【0053】

複数レーンの交通状況では、それらの車線変更手順を計画するとき又はドライバーに車線変更の提案を提供するときに考慮されるべきオブジェクト／車両をマークできる。

【0054】

我々が関連オブジェクトを基本のアノテーションから識別できるなら、その方法は関連オブジェクトの検出及び状態の推定に特にフォーカスするよう拡張されうる。セマンティックアノテーションされたデータ上で学習ベースの方法をトレーニングすることによって、アテンションに似たソリューション（attention-like solution）が出現でき、その方法は入力のどの部分がより重要であるかを識別できる、つまり、関連オブジェクト（又は、上述の例のように、リードオブジェクト）は他よりもより高い重要性を有する場合がある。このような集中的な方法を手にすることは、（例えば、関連のないオブジェクトの検出及び追跡の除外によって）演算の必要性が減る、出力がより明確で構造化されたものになる、方法の精度の測定がより正確になりうる等、様々な利益がある場合がある。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【国際調査報告】