特表 2024-523199 車両の安全に関連する物体を認識する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-28

(54)【発明の名称】車両の安全に関連する物体を認識する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240621BHJP

   G08G 1/16 20060101ALI20240621BHJP

   G08G 1/00 20060101ALI20240621BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 650Z

G08G1/16 C

G08G1/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023575509

(86)(22)【出願日】2022-04-20

(85)【翻訳文提出日】2024-02-06

(86)【国際出願番号】 EP2022060418

(87)【国際公開番号】W WO2022258250

(87)【国際公開日】2022-12-15

(31)【優先権主張番号】102021002918.6

(32)【優先日】2021-06-07

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】598051819

【氏名又は名称】メルセデス・ベンツ グループ アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｍｅｒｃｅｄｅｓ－Ｂｅｎｚ Ｇｒｏｕｐ ＡＧ

【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １２０，７０３７２ Ｓｔｕｔｔｇａｒｔ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100176946

【弁理士】

【氏名又は名称】加藤 智恵

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】ステューダー ステファン

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF10

5L096BA04

5L096BA18

5L096CA01

5L096FA67

5L096HA13

5L096JA28

(57)【要約】

本発明は、車両（１）の周辺における車両（１）の安全に関連する物体（Ｏ１～Ｏ４）を認識する方法に関する。
周辺及びこの周辺にある物体（Ｏ１～Ｏ４）が、車両（１）の周辺センサ系（１．１）の検出信号から検知される。車両（１）の車両乗員の視線が所定の最小視線持続時間よりも長く各物体（Ｏ１～Ｏ４）に留まることが車両側の視線検出装置（１．４）により認識されると、車両（１）の物体認識装置（１．２）により認識された、最初は車両（１）の安全に関連しないと分類された各物体（Ｏ１～Ｏ４）が潜在的に関連するものとして分類され、車両乗員の検出された視線方向から、分類された各移動物体（Ｏ１、Ｏ２）が車両乗員によって所定期間追跡されると判定され、車両（１）により各物体（Ｏ１、Ｏ２）に対して反応が必要な場合、分類された各移動物体（Ｏ１、Ｏ２）の軌道（Ｔ）が所定期間の経過後に車両（１）の安全に関連するものとして識別される。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両（１）の周辺における前記車両（１）の安全に関連する物体（Ｏ１～Ｏ４）を認識する方法であって、前記周辺及び前記周辺にある物体（Ｏ１～Ｏ４）が、前記車両（１）の周辺センサ系（１．１）の検出信号をもとにして検知される方法において、
－前記車両（１）の少なくとも１人の車両乗員の視線が所定の最小視線持続時間よりも長く前記それぞれの物体（Ｏ１～Ｏ４）にとどまることが車両側の視線検出装置（１．４）により認識される場合、前記車両（１）の物体認識装置（１．２）により認識された、最初は前記車両（１）の安全に関連しないものとして分類された前記それぞれの物体（Ｏ１～Ｏ４）が潜在的に関連するものとして分類され、
－前記少なくとも１人の車両乗員の検出された視線方向をもとにして、潜在的に関連するものとして分類されたそれぞれの移動物体（Ｏ１、Ｏ２）が前記少なくとも１人の車両乗員によって少なくとも所定期間追跡されると判定され、
－前記車両（１）により前記それぞれの物体（Ｏ１、Ｏ２）に対して反応されることが必要な場合、前記車両（１）にとって潜在的に関連するものとして分類された、前記検出されたそれぞれの移動物体（Ｏ１、Ｏ２）の軌道（Ｔ）が前記所定期間の経過後に前記車両（１）の安全に関連するものとして識別される
ことを特徴とする、方法。

【請求項2】

安全に関連するものとして識別された移動物体（Ｏ１、Ｏ２）の前記それぞれの軌道（Ｔ）が、安全に関連する交通案内として前記車両（１）のデジタルマップ及び／又は前記車両（１）とデータ技術的に結合された計算ユニットに保存される
ことを特徴とする、請求項１に記載の方法。

【請求項3】

前記車両（１）及び／又は前記計算ユニットに保存された前記デジタルマップが他の車両に提供される
ことを特徴とする、請求項２に記載の方法。

【請求項4】

後の時点に検出された別の物体は、前記保存された安全に関連する交通案内のうちの１つにおける前記別の物体の存在に応じて関連するものとして分類される
ことを特徴とする、請求項２又は３に記載の方法。

【請求項5】

ランドマーク及び／又は関心のある場所を認識するために、モデルを用いて潜在的に関連するものとしてのそれぞれの静止物体（Ｏ３、Ｏ４）が分類され、前記潜在的に関連するものとして分類されたそれぞれの静止物体（Ｏ３、Ｏ４）が少なくとも１人の車両乗員に表示され、前記車両乗員は、潜在的に関連するものとして分類された前記それぞれの静止物体（Ｏ３、Ｏ４）をランドマーク及び／又は関心のある場所として等級付けする
ことを特徴とする、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記潜在的に関連するものとして分類された静止物体（Ｏ３、Ｏ４）は、ランドマーク及び／又は関心のある場所として前記デジタルマップに保存される
ことを特徴とする、請求項５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺における車両の安全に関連する物体を認識する方法に関し、周辺及び周辺にある物体が、車両の周辺センサ系の検出信号をもとにして検知される。

【背景技術】

【0002】

独国特許出願公開第１０２０１９００４０７５号明細書から、自動車の運転者支援システムを用いて、自動車との自動車の周辺における物体の関連性を決定する方法及びそのような運転者支援システムが知られている。この方法は、自動車の周辺における運転者支援システムの検出装置によって検出された物体が、運転者支援システムの電子計算器によって運転者支援システムの記憶装置に記憶されている物体と比較され、比較に応じて、電子計算器によって物体が特徴付けられることを企図する。この場合、自動車の運転者の視線方向が運転者支援システムの視線方向検出器によって検出され、検出された視線方向に応じて、特徴付けられた物体との関連性が決定される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、車両の安全に関連する物体を認識する方法を提供するという課題に基づいている。

【課題を解決するための手段】

【0004】

この課題は、本発明における、請求項１に示されている特徴を有する方法によって解決される。

【0005】

本発明の有利な実施形態は、従属請求項の主題である。

【0006】

車両の周辺における車両の安全に関連する物体、特に交通案内、ランドマーク、及び関心のある場所を認識する方法は、周辺及びここにある物体が、車両の周辺センサ系の検出信号をもとにして検知されることを企図する。本発明によれば、車両の少なくとも１人の車両乗員、特に車両の全ての乗員の視線が所定の最小視線持続時間よりも長くそれぞれの物体にとどまることが車両側の視線検出装置により認識される場合、車両の物体認識装置により認識された、最初は車両の安全に関連しないものとして分類されたそれぞれの物体が潜在的に関連するものとして分類される。それに加えて、少なくとも１人の車両乗員、特に全ての車両乗員の検出された視線方向をもとにして、潜在的に関連するものとして分類されたそれぞれの移動物体が少なくとも１人の車両乗員によって、特に全ての乗員によって、少なくとも所定期間追跡されると判定され、車両により、例えばステアリング運動並びに／或いは運転者又は運転者支援システムによる制動又は加速によって、それぞれの物体に対して反応されることが必要な場合、車両にとって潜在的に関連するものとして分類された、検出されたそれぞれの移動物体の軌道が所定期間の経過後に車両の安全に関連するものとして識別される。

【0007】

この方法を適用することにより、特に運転者支援システムの機能に関して、安全に関連する軌道上の物体に注意を払うことによって安全性を高めることができる。その場合、それぞれの物体の関連性は、車両の運転タスクに関連する。

【0008】

この方法をもってすれば、識別された安全に関連する軌道上において、物体を車両の安全に関連するものとして簡単に識別することができる。特に、以前の時点に安全に関連するものとして識別された軌道上に物体がある場合、これらの物体は安全に関連するものとして認識される。

【0009】

方法の一実施形態では、安全に関連するものとして識別された移動物体のそれぞれの軌道が、安全に関連する交通案内として車両のデジタルマップ、及び／又は車両とデータ技術的に結合された計算ユニットに保存される。このために、物体が安全に関連するものとして等級付けされる場合にはいつも、軌道が位置情報と共にデジタルマップに記録され、例えばプロットされることにより、比較的多くの走行に関するそのような情報が更にデジタルマップに集められる。すなわち、交通案内の関連性は、この関連性自体がデジタルマップに保存される前に数回にわたって確認されてから、この交通案内は安全に関連するものとしてデジタルマップに記憶される。

【0010】

方法の一発展形態では、車両及び／又は計算ユニットに保存されたデジタルマップが他の車両に提供される。その場合、運転者支援システムに軌道が提供され、それにより将来、これらの軌道上の物体を車両及び他の車両の運転タスクに関連するものとして見なすことができる。

【0011】

このために、別の実施形態では、後の時点に検出された物体は、保存された安全に関連する交通案内のうちの１つにおけるこの物体の存在に応じて関連するものとして分類される。後から検出された物体が以前に安全に関連するものとして決定された軌道上にある場合、この物体は車両の安全に関連する移動物体を表す。

【0012】

更に、方法の考えられる実施形態は、ランドマーク及び／又は関心のある場所を認識するために、モデルを用いて潜在的に関連するものとしてのそれぞれの静止物体が分類され、潜在的に関連するものとして分類されたそれぞれの静止物体が少なくとも１人の車両乗員に表示され、車両乗員は、潜在的に関連するものとして分類されたそれぞれの静止物体をランドマーク及び／又は関心のある場所として等級付けすることを企図する。すなわち、ランドマークと関心のある場所とが区別され、ランドマークをナビゲーションのために用いること、及び関心のある場所により運転経験を向上させ得ることが企図されている。

【0013】

更に、方法の一発展形態では、潜在的に関連するものとして分類された静止物体が、ランドマーク及び／又は関心のある場所としてデジタルマップに保存される。それによって、それぞれのランドマーク及び／又はそれぞれの関心のある場所が車両に表示され、例えばラリー走行時に、ナビゲーションのために、及び、例えば関心のある場所まで運転することによって、運転経験を向上させるために用いることができる。

【0014】

以下では、本発明の実施例を、図面に基づき詳細に説明する。

【図面の簡単な説明】

【0015】

【図1】２つの対向車線と右側車線を走行する車両を含む道路部分の概略図である。

【発明を実施するための形態】

【0016】

図１は、２つの対向車線Ｆ１、Ｆ２を有する道路部分Ｆを示す。右側車線Ｆ１を車両１が走行し、その前を第１の車両２が走行し、これらの車両に対向して第２の車両３が左側車線Ｆ２を走行する。

【0017】

道路部分Ｆの車両１の直ぐ前に位置する区間において、右側車線Ｆ１への進入路Ｆ３が合流し、第１の物体Ｏ１としての第３の車両４が右側車線Ｆ１に進入しようとしている。左側車線Ｆ２から農道Ｆ４が延び、この農道Ｆ４を、第２の物体Ｏ２としてのトラクタ５が左側車線Ｆ２の方向に走行する。

【0018】

右側車線Ｆ１の隣には２つの別の物体Ｏ３、Ｏ４があり、第３の物体Ｏ３はヤシの木６であり、第４の物体Ｏ４は展望タワー７である。

【0019】

車両１は、車両１に配置された、詳しく図示されない複数の検出ユニットを含む周辺センサ系１．１を有する。例えば、検出ユニットは、ライダベース、レーダベース、超音波ベースのセンサ及び／又は多機能カメラとして設計されている。

【0020】

周辺センサ系１．１は視野Ｓ１を有し、車両１の乗員の別の視野Ｓ２は周辺センサ系１．１の視野Ｓ１又はその一部にほぼ相当する。特に、車両１内には２人の車両乗員がいる。

【0021】

周辺センサ系１．１の検出信号をもとにして、車両１の周辺及びそこにある物体Ｏ１～Ｏ４が検知され、車両１の物体認識装置１．２によって複数の物体Ｏ１～Ｏ４が認識される。

【0022】

その場合、個々の認識された物体Ｏ１～Ｏ４に関するコンテキスト情報がなければ、車両１にとってのそれらの物体の関連性を評価できないか、又は不十分に評価される可能性があるという問題が生じ得る。その場合、この関連性は、ナビゲーションのために、及び／又は関心のある場所として、運転タスクと物体Ｏ３、Ｏ４の両方に関連する。

【0023】

車両１にとってのそれぞれの物体Ｏ１～Ｏ４の関連性を決定するために、以下に説明する方法が企図される。

【0024】

この方法によれば、詳しく図示されない車両１の運転者支援システムによって運転タスクに関連しないものとして分類される、認識された全ての物体Ｏ１～Ｏ４が選択される。これらの物体Ｏ１～Ｏ４は、最初に、潜在的に関連するものとして分類される。

【0025】

運転者支援システムは、衛星に基づく測位ユニット、ナビゲーションデータ、周辺センサ系１．１、物体認識装置１．２、及び視線検出装置１．４を含む室内カメラ１．３を有する。運転者支援システムは、通常、物体Ｏ１～Ｏ４を選択し、例えば計算時間を短縮するために他の物体を破棄する。考えられる実施形態では、これは車両１の自動化された、例えば高度に自動化された運転操作のための運転者支援システムであり得る。

【0026】

特に、所定期間の時点ｔ_１に車両１の車両乗員の視線が所定の最小視線持続時間よりも長くそれぞれの物体Ｏ１～Ｏ４にとどまることが車両側の視線検出装置１．４により認識される場合、これらの物体Ｏ１～Ｏ４は、潜在的に関連するものとして分類される。このための前提条件は、周辺センサ系１．１の視野Ｓ１が車両乗員の視野（周辺センサ系１．１の視野Ｓ１とは別の視野）Ｓ２に実質的に相当することである。

【0027】

車両１の安全に関連する交通案内の認識に関しては、移動物体Ｏ１、Ｏ２が認識された場合、それぞれの物体Ｏ１、Ｏ２の移動及び車両１の移動により、すなわちその後の経過において、この物体が車両１の運転タスクに関して関連することになるかどうかが観察されることが企図されている。例えば、第２の物体Ｏ２としてのトラクタ５は、農道Ｆ４から来て道路部分Ｆに向かって走行し、所定期間が経過する別の時点ｔ_２に車両１の安全に関連することになる可能性がある。

【0028】

進入路Ｆ３上の第１の移動物体Ｏ１としての第３の車両４も、別の時点ｔ_２に車両１にとって関連がある可能性がある。特に、第３の車両４及び／又はトラクタ５の軌道Ｔに基づいて、車両１が、例えばステアリング運動並びに／或いは運転者又は運転者支援システムによる制動又は加速によって、それぞれの物体Ｏ１、Ｏ２に対して反応することが必要な場合、車両１にとって潜在的に関連するものとして分類された、検出されたそれぞれの移動物体Ｏ１、Ｏ２の軌道Ｔが所定期間の経過後に車両１の安全に関連するものとして識別される。

【0029】

安全に関連するものとして識別された移動物体Ｏ１、Ｏ２の軌道Ｔは、車両１が属する車両群の詳しく図示されない他の車両の運転タスクにとっての関連性を数回にわたって確認した後、安全に関連する交通案内としてデジタルマップに保存される。

【0030】

このデジタルマップは、車両１及び／又は車両１とデータ技術的に結合された詳しく図示されない計算ユニットに保存されている。例えば、デジタルマップを保存された安全に関連する交通案内と共に、車両１及び／又は計算ユニットを介して他の車両に提供することができる。例えば、この提供は、特に、それぞれの別の車両が対応する道路部分Ｆにある場合に行われる。特に、安全に関連する交通案内は、運転者支援システムに提供される。

【0031】

ランドマーク及び／又は関心のある場所の認識に関しては、この方法は、保存されたモデル、特に機械学習モデルを用いて、物体認識装置１．２により認識されたそれぞれの物体Ｏ３、Ｏ４がヤシの木６及び展望タワー７の形態の静止物体Ｏ３、Ｏ４として分類されることを企図する。

【0032】

その場合、それぞれの物体Ｏ３、Ｏ４は、車両１の車両乗員に、特に、表示ユニットに、例えば計器パネルの領域に表示される。その場合、１人の車両乗員又は複数の車両乗員は、それぞれの物体Ｏ３、Ｏ４をランドマーク及び／又は関心のある場所として等級付けることが可能である。例えば、このために、表示ユニットに質問が表示される。その場合、このようなランドマークは、特に車両１のナビゲーション、例えばランドマークによりナビゲートされるラリー走行に関連する。

【0033】

この場合も、ランドマーク及び関心のある場所はデジタルマップに保存され、したがって車両１及び場合によっては、少なくとも同じ車両群の他の車両に提供されることが企図されている。

【先行技術文献】

【特許文献】

【0034】

【特許文献1】独国特許出願公開第１０２０１９００４０７５号明細書

【図1】

【手続補正書】

【提出日】2024-02-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車両（１）の周辺における前記車両（１）の安全に関連する物体（Ｏ１～Ｏ４）を認識する方法であって、前記周辺及び前記周辺にある物体（Ｏ１～Ｏ４）が、前記車両（１）の周辺センサ系（１．１）の検出信号をもとにして検知される方法において、
－前記車両（１）の少なくとも１人の車両乗員の視線が所定の最小視線持続時間よりも長く前記それぞれの物体（Ｏ１～Ｏ４）にとどまることが車両側の視線検出装置（１．４）により認識される場合、前記車両（１）の物体認識装置（１．２）により認識された、最初は前記車両（１）の安全に関連しないものとして分類された前記それぞれの物体（Ｏ１～Ｏ４）が潜在的に関連するものとして分類され、
－前記少なくとも１人の車両乗員の検出された視線方向をもとにして、潜在的に関連するものとして分類されたそれぞれの移動物体（Ｏ１、Ｏ２）が前記少なくとも１人の車両乗員によって少なくとも所定期間追跡されると判定され、
－前記車両（１）により前記それぞれの物体（Ｏ１、Ｏ２）に対して反応されることが必要な場合、前記車両（１）にとって潜在的に関連するものとして分類された、前記検出されたそれぞれの移動物体（Ｏ１、Ｏ２）の軌道（Ｔ）が前記所定期間の経過後に前記車両（１）の安全に関連するものとして識別される
ことを特徴とする、方法。

【請求項2】

安全に関連するものとして識別された移動物体（Ｏ１、Ｏ２）の前記それぞれの軌道（Ｔ）が、安全に関連する交通案内として前記車両（１）のデジタルマップ及び／又は前記車両（１）とデータ技術的に結合された計算ユニットに保存される
ことを特徴とする、請求項１に記載の方法。

【請求項3】

前記車両（１）及び／又は前記計算ユニットに保存された前記デジタルマップが他の車両に提供される
ことを特徴とする、請求項２に記載の方法。

【請求項4】

後の時点に検出された別の物体は、前記保存された安全に関連する交通案内のうちの１つにおける前記別の物体の存在に応じて関連するものとして分類される
ことを特徴とする、請求項２に記載の方法。

【請求項5】

ランドマーク及び／又は関心のある場所を認識するために、モデルを用いて潜在的に関連するものとしてのそれぞれの静止物体（Ｏ３、Ｏ４）が分類され、前記潜在的に関連するものとして分類されたそれぞれの静止物体（Ｏ３、Ｏ４）が少なくとも１人の車両乗員に表示され、前記車両乗員は、潜在的に関連するものとして分類された前記それぞれの静止物体（Ｏ３、Ｏ４）をランドマーク及び／又は関心のある場所として等級付けする
ことを特徴とする、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記潜在的に関連するものとして分類された静止物体（Ｏ３、Ｏ４）は、ランドマーク及び／又は関心のある場所として前記デジタルマップに保存される
ことを特徴とする、請求項５に記載の方法。

【国際調査報告】