特許 7583958 駐車支援システムを動作させるための方法、コンピュータプログラム製品、駐車支援システムおよび車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】駐車支援システムを動作させるための方法、コンピュータプログラム製品、駐車支援システムおよび車両

(51)【国際特許分類】

   G06T 7/246 20170101AFI20241107BHJP

   G06T 7/00 20170101ALI20241107BHJP

   G06T 7/20 20170101ALI20241107BHJP

   G06T 7/60 20170101ALI20241107BHJP

   G06T 7/90 20170101ALI20241107BHJP

   G06V 20/58 20220101ALI20241107BHJP

   B60W 30/06 20060101ALI20241107BHJP

   B60W 40/02 20060101ALI20241107BHJP

【ＦＩ】

G06T7/246

G06T7/00 650Z

G06T7/20 100

G06T7/60 150S

G06T7/90 A

G06V20/58

B60W30/06

B60W40/02

【請求項の数】 11

(21)【出願番号】P 2023558551

(86)(22)【出願日】2022-03-24

(65)【公表番号】

(43)【公表日】2024-03-19

(86)【国際出願番号】 EP2022057727

(87)【国際公開番号】W WO2022200482

(87)【国際公開日】2022-09-29

【審査請求日】2023-10-23

(31)【優先権主張番号】102021107523.8

(32)【優先日】2021-03-25

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】508108903

【氏名又は名称】ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100198029

【弁理士】

【氏名又は名称】綿貫 力

(72)【発明者】

【氏名】ウサマ、モハマド

【審査官】菊池 伸郎

(56)【参考文献】

【文献】国際公開第２０１９／０１６１１４（ＷＯ，Ａ１）

【文献】特表２０２０－５３５０５４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９１４００（ＷＯ，Ａ１）

【文献】渡邊 睦，"明度分布パラメータ推定に基づくシーン状態変化の動的認識"，電子情報通信学会論文誌，第J85-D-II巻, 第2号，日本，社団法人電子情報通信学会，2002年02月01日，pp.272-281

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

Ｂ６０Ｗ ３０／０６

Ｂ６０Ｗ ４０／０２

(57)【特許請求の範囲】

【請求項1】

車両（１００）のための駐車支援システム（１１０）であって、訓練モード（ＭＯＤ０）において、訓練されるべき軌跡を捕捉し、記憶するように構成され、追従モード（ＭＯＤ１）において、前記車両（１００）によって、前記記憶された軌跡に追従するように構成された駐車支援システム（１１０）を動作させるための方法であって、
前記訓練モード（ＭＯＤ０）は、
Ａ１）前記軌跡に沿って前記車両（１００）を手動で運転すること（Ｓ１）と、
Ａ２）手動運転中の前記車両（１００）の環境（２００）の少なくとも１つの画像（ＩＭＧ）を受信すること（Ｓ２）と、
Ａ３）前記受信された画像（ＩＭＧ）内の複数の光学的特徴（Ｆ１～Ｆ８）を確認すること（Ｓ３）であって、各光学的特徴（Ｆ１～Ｆ８）が少なくとも１つのパラメータ（ｘ，ｙ，ｐ）によって特徴付けられる、確認すること（Ｓ３）と、
Ａ４）前記確認された光学的特徴（Ｆ１～Ｆ８）を備えるデータセットを記憶すること（Ｓ４）と、を備え、
前記追従モード（ＭＯＤ１）は、
Ｂ１）追従プロセス中に前記車両（１００）の前記環境（２００）の少なくとも１つの現在の画像（ＩＭＧ）を受信すること（Ｓ５）と、
Ｂ２）前記受信された現在の画像（ＩＭＧ）内の前記光学的特徴（Ｆ１～Ｆ８）を確認すること（Ｓ６）と、
Ｂ３）前記記憶されたデータセットに基づいて前記パラメータ（ｘ，ｙ，ｐ）のうちの少なくとも１つの第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））を確認し、前記現在の画像（ＩＭＧ）の前記確認された光学的特徴（Ｆ１～Ｆ８）に基づいて前記パラメータ（ｘ，ｙ，ｐ）の第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））を確認すること（Ｓ７）と、
Ｂ４）前記第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））と前記第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））との間の類似度を確認すること（Ｓ８）と、
Ｂ５）前記確認された類似度が所定の更新閾値以下である場合、前記記憶されたデータセットを更新すること（Ｓ９）と、を備え、
前記訓練モード（ＭＯＤ０）において、ステップＡ２）～Ａ４）が、訓練されるべき前記軌跡に沿った複数の位置について実行され、その結果、前記位置の各々について、対応するデータセットが記憶され、前記追従モード（ＭＯＤ１）において、ステップＢ３）およびＢ４）が、すべての記憶されたデータセットについて実行され、ステップＢ５）が、その前記第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））が、所定の類似度閾値を上回る前記第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））との類似度を有する、データセットについて実行されることを特徴とする、方法。

【請求項2】

前記光学的特徴（Ｆ１～Ｆ８）の前記パラメータ（ｘ，ｙ，ｐ）が、前記画像（ＩＭＧ）内の各特徴のそれぞれの位置、前記それぞれの特徴の分類、前記それぞれの特徴の色、前記それぞれの特徴の幾何学的形状、および／または前記それぞれの特徴のコントラスト値を備えることを特徴とする、請求項１に記載の方法。

【請求項3】

前記第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））と前記第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））との間の前記類似度が、バタチャリヤ距離および／またはカルバックライブラ距離に基づいて確認されることを特徴とする、請求項１または２に記載の方法。

【請求項4】

前記類似度閾値が、前記更新閾値よりも低い類似度に対応することを特徴とする、請求項１に記載の方法。

【請求項5】

ステップＢ５）が、前記軌跡のすべてのデータセットと比較して、前記第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））との類似度が最も大きい第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））を有する前記データセットについてのみ実行されることを特徴とする、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記訓練モード（ＭＯＤ０）において受信された前記画像（ＩＭＧ）のそれぞれのタイムスタンプに基づいて、前記少なくとも１つのパラメータ（ｘ，ｙ，ｐ）の前記第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））の第１の確率的プロセスが確認され、前記追従モード（ＭＯＤ１）において受信された前記画像（ＩＭＧ）の前記それぞれのタイムスタンプに基づいて、前記パラメータ（ｘ，ｙ，ｐ）の前記第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））の第２の確率的プロセスが確認され、ステップＢ５）が、追加および／または代替として、前記第１の確率的プロセスと前記第２の確率的プロセスとの間の類似度に基づいて実行されることを特徴とする、請求項１から５のいずれか一項に記載の方法。

【請求項7】

ステップＢ５）における前記データセットの更新が、ステップＢ２）において確認された前記光学的特徴（Ｆ１～Ｆ８）に基づいて実行されることを特徴とする、請求項１から６のいずれか一項に記載の方法。

【請求項8】

ステップＢ５）における前記データセットの更新が、前記データセットを現在のデータセットと置き換えること、および／または前記記憶されたデータセットに含まれている少なくとも１つの光学的特徴（Ｆ１～Ｆ８）を置き換えること、および／または前記記憶されたデータセットに含まれている光学的特徴（Ｆ１～Ｆ８）の少なくとも１つのパラメータ（ｘ，ｙ，ｐ）を更新することを備えることを特徴とする、請求項１から７のいずれか一項に記載の方法。

【請求項9】

コンピュータに請求項１から８のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

【請求項10】

請求項１から８のいずれか一項に記載の方法を実行する、車両（１００）のための駐車支援システム（１１０）であって、訓練モード（ＭＯＤ０）において、訓練されるべき軌跡を捕捉し、記憶するように構成され、追従モード（ＭＯＤ１）において、前記車両（１００）によって、前記記憶された軌跡に追従するように構成された駐車支援システム（１１０）であって、
前記駐車支援システム（１１０）は、
前記訓練モード（ＭＯＤ０）において、前記車両が訓練されるべき前記軌跡に沿って進行する間に前記車両（１００）の環境（２００）の少なくとも１つの画像（ＩＭＧ）を受信するための受信ユニット（１１１）と、
前記受信された画像（ＩＭＧ）内の複数の光学的特徴（Ｆ１～Ｆ８）を確認するための第１の確認ユニット（１１２）であって、各光学的特徴（Ｆ１～Ｆ８）が少なくとも１つのパラメータ（ｘ，ｙ，ｐ）によって特徴付けられる、第１の確認ユニット（１１２）と、
前記確認された光学的特徴（Ｆ１～Ｆ８）を備えるデータセットを記憶するための記憶ユニット（１１３）と、を備え、
前記受信ユニット（１１１）は、前記車両（１００）が前記追従モード（ＭＯＤ１）において前記軌跡に沿って進行する間に前記車両（１００）の前記環境（２００）の少なくとも１つの現在の画像（ＩＭＧ）を受信するように構成され、
前記第１の確認ユニット（１１２）は、前記受信された現在の画像（ＩＭＧ）内の前記光学的特徴（Ｆ１～Ｆ８）を確認するように構成され、
前記駐車支援システム（１１０）は、
前記記憶されたデータセットに基づいて前記パラメータ（ｘ，ｙ，ｐ）のうちの少なくとも１つの第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））を確認し、前記現在の画像（ＩＭＧ）の前記確認された光学的特徴（Ｆ１～Ｆ８）に基づいて前記パラメータ（ｘ，ｙ，ｐ）の第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））を確認するための第２の確認ユニット（１１４）と、
前記第１の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ１（ｘ））と前記第２の分布（Ｐ（ｘ），Ｐ（ｙ），Ｐ（ｐ）；Ｐ２（ｘ））との間の類似度を確認するための比較ユニット（１１５）と、
前記確認された類似度が所定の更新閾値以下である場合、前記記憶されたデータセットを更新するための更新ユニット（１１６）と、をも備える、駐車支援システム（１１０）。

【請求項11】

前記車両（１００）の前記環境（２００）の画像（ＩＭＧ）を捕捉し出力するための少なくとも１つのカメラ（１２０）を有し、請求項１０に記載の駐車支援システム（１１０）を有する、車両（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、駐車支援を動作させるための方法、コンピュータプログラム製品、駐車支援システムおよび車両に関する。

【背景技術】

【0002】

追従されるべき特定の軌跡を学習することができる駐車支援システムが知られており、訓練モードにおいて、車両は、後で追従されるべき軌跡に沿って手動で運転される。この訓練走行中に、環境データが車両センサを介して捕捉され、記憶され、これは、後続の追従ステップ中に車両が位置特定されることを可能にするはずである。これは、たとえばＶＳＬＡＭによって行われ得、カメラ画像が獲得され、評価され、したがって、車両の現在位置が確認される。

【0003】

この方法では、記憶された環境データが現在のものであることが重要であり、そうでなければ位置特定は可能でない。環境が時間とともに変化し得るため、たとえば、移動している物体が除去、追加、または再配置されるため、あるいは周囲エリアにおいて建設作業が行われているため、環境データがその現在性を失い得るという問題が生じる。位置特定を正常に実行し続けるために、記憶された環境データの更新が実行されなければならない。

【0004】

独国特許出願公開第１０２０１７１１５９９１号明細書は、自動車両のための運転者支援システムを動作させるための方法を開示し、運転者支援システムの訓練段階において、自動車両が軌跡に沿って手動で運転者によって操縦される間、その軌跡が記憶され、自動車両のカメラを用いて提供された少なくとも１つの画像に基づいて、複数の物体特徴が記憶される。運転者支援システムの動作段階において、自動車両は、記憶された軌跡および記憶された物体特徴に基づいて、記憶された軌跡に沿って半自律的に操縦される。動作モードにおいて、複数の物体特徴が検出され、検出された物体特徴は、記憶された物体特徴に割り当てられる。割当てに基づいて、物体特徴および／または軌跡を再び記憶する必要があるかどうかに関して決定が行われる。

【先行技術文献】

【特許文献】

【0005】

【文献】独国特許出願公開第１０２０１７１１５９９１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

こうした背景の下で、本発明の目的は、駐車支援システムの動作を改善することである。

【課題を解決するための手段】

【0007】

第１の態様によれば、車両のための駐車支援システムを動作させるための方法が提案される。駐車支援システムは、訓練モードにおいて、訓練されるべき軌跡を捕捉し、記憶するように構成され、追従モードにおいて、車両によって、記憶された軌跡に追従するように構成される。訓練モードは、
Ａ１）軌跡に沿って車両を手動で運転することと、
Ａ２）手動運転中の車両の環境の少なくとも１つの画像を受信することと、
Ａ３）受信された画像内の複数の光学的特徴を確認することであって、各光学的特徴が少なくとも１つのパラメータによって特徴付けられる、確認することと、
Ａ４）確認された特徴を備えるデータセットを記憶することと、
を備える。
追従モードは、
Ｂ１）追従動作中に車両の環境の少なくとも１つの現在の画像を受信することと、
Ｂ２）受信された現在の画像内の光学的特徴を確認することと、
Ｂ３）記憶されたデータセットに基づいてパラメータのうちの少なくとも１つの第１の分布を確認し、現在の画像の確認された光学的特徴に基づいてパラメータの第２の分布を確認することと、
Ｂ４）第１の分布と第２の分布との間の類似度を確認することと、
Ｂ５）確認された類似度が所定の更新閾値以下である場合、記憶されたデータセットを更新することと、
を備える。

【0008】

この方法は、追従モードにおいて車両の位置を特定するために使用される光学的特徴を有する記憶されたデータセットの更新が、必要な更新の統計的有意性が確認された場合にのみ更新されるという利点を有する。一方では、これは、環境のわずかな変化の場合でも更新が実行される可能性を回避し、したがって、これに必要な、駐車支援システムまたは車両の別の計算ユニットによって提供されなければならない計算能力は、消費されない。これは、処理能力が他のプロセスのために利用可能であることを意味し、これは、たとえば、他の走行プロセスのセキュリティ、信頼性および／または速度の向上に寄与する。他方では、本方法は、特定のデータセットの更新が有用であるかどうか、すなわち、たとえば車両の改善された位置特定に著しく寄与するかどうかを確実に査定するために、純粋に統計に基づく、信頼できる尺度を生成する。

【0009】

訓練モードにおいて、車両は、特に車両のユーザによって、手動で動かされる。これは、ユーザが常に車両の制御を行使することを意味する。しかしながら、これは、車両の遠隔制御および／または自動操舵および／または自動運転システムが使用される可能性を排除せず、進行方向の変更に関するセンサ支援決定さえ、車両によって提案および／または実行され得る。

【0010】

受信された画像は、特に、車載カメラ、たとえばフロントカメラによって受信された画像である。それはまた、異なるカメラからの複数の画像および／または異なる時間に獲得された画像で構成された画像であり得る。受信された画像は、特に拡張スペクトル範囲を備え得、たとえば、画像は、近赤外範囲およびＵＶ範囲内の光情報を備え得る。たとえば、画像は、２５００ｎｍ～１５０ｎｍのスペクトル情報を含んでいる。さらに、画像は、たとえば、それぞれの画像内の光学的特徴を確認するためにコントラストを最適化することができる適切な帯域またはラインフィルタを使用して獲得された、１つまたは複数の鋭く区切られたスペクトル範囲内の情報を含んでいることがある。受信された画像は、特に、二次元画素行列の形態で表され得るデジタル画像であり、画素行列は複数の平面を備えることができ、各平面は、たとえば、特定のスペクトル範囲からの情報を含んでいる。たとえば、カラー画像の場合、それは、３つの捕捉されたカラーチャネル、特に、赤、緑、および青（ＲＧＢ）に対応する３つの層を備え得る。

【0011】

画像内で確認された光学的特徴は、たとえば、隣接する画素間のおよび／または複数の画素にわたる、あるコントラスト、円形、角のある形状、細長い形状、波形など、ある形状など、いくつかの特性を有する。異なる画像処理方法および／または画像変換が、光学的特徴を確認するために使用され得、異なる順序で組み合わせられ得る。さらに、特に画像内で見える物体の物体分類を実行するために、ニューラルネットワークが使用され得る。

【0012】

特定の特徴は、特に複数のパラメータによって特徴付けられる。これらのパラメータは、特に、画像内の特徴の位置を含み、位置は、少なくとも２つの座標、たとえばｘ値およびｙ値、特徴の「色」、特徴の形状、特徴の大きさによって定義され、これらは、たとえば、特徴がカバーする画素の数、特徴の分類などによって指定され得る。特定の特徴の「色」は、たとえば、特定の波長で、または特定のフィルタについて、特徴の強度（輝度情報）を指定することによって、指定され得る。たとえば、強度は、画素に関連する画素行列エントリの値によって決定される。パラメータがとり得る可能な値の数は、バイナリ（「０」または「１」）から上限および／または下限のない準連続にわたる。「準連続」は、この場合のデータがデジタル的に処理され、そのために、対応するパラメータ自体が連続性質のものである場合でも、パラメータ値が量子化されるからである。

【0013】

単一の画像において、好ましくは、少なくとも５０個の光学的特徴および最大５０００個の光学的特徴が確認される。データセットを記憶するために、より多数の光学的特徴は対応してより大量のメモリを必要とすることに留意されたい。他方では、位置特定の精度は光学的特徴の数とともに向上するが、この向上は、数が増加するにつれて横ばいになる。好ましくは、１００～５００個の光学的特徴が画像ごとに確認され、データセットに記憶される。

【0014】

たとえば、データセットは、光学的特徴のリストまたはテーブルを備え、各特徴が、対応するパラメータ値を割り当てられる。確認されたすべての光学的特徴が、各可能なパラメータについての対応する値を必ずしも含まなければならないとは限らないか、または、それらは、パラメータを「未定義」として識別する値を有する。

【0015】

画像の受信および光学的特徴の確認は、特に、訓練モードおよび追従モードにおいて同じ様式で実行され、たとえば、同じ画像処理方法が使用される。しかしながら、個々のまたは複数の計算動作が実行される精度は、たとえば、利用可能なシステムリソースに応じて変動し得る。これは、新しいおよび／または他の画像処理ステップおよび方法が、システム更新などの一部として駐車支援システムの耐用寿命の間に追加され得る可能性を排除しない。システム更新が実行された後に、これらは、訓練モードおよび追従モードについて同じ様式で再び使用される。これは、訓練モードおよび追従モードにおいて同じ品質および／またはタイプの結果が達成されることを保証する。

【0016】

現在受信された画像について光学的特徴が確認された場合、パラメータのうちの少なくとも１つの第１および第２の分布が次のステップにおいて確認される。この場合に確認される分布は、特に、確率分布である。パラメータの値は、所与の画像のすべての光学的特徴にわたってランダムに分布しており、したがって、パラメータはランダム変数を形成すると言われることもある。このランダム変数の分布は、所与の画像の特性である。

【0017】

確認された分布は、一次元であることも、多次元であることもある。たとえば、二次元画像内の光学的特徴の局所的な分布は、二次元分布として確認され得る。多次元分布は（ロケーション座標などの）同じタイプのパラメータに限定されないが、多次元分布はまた、パラメータ「ロケーション座標」およびパラメータ「色」ならびに／あるいは他のおよび／または追加のパラメータに基づいて確認され得る。

【0018】

２つの分布を比較することによって、分布の類似度が確認され得る。分布の類似度は、たとえば、分布の交点、共通集合または重なりに対応する。多次元分布の場合、類似度は、分布の異なる次元（パラメータ）について別々に確認され得る。

【0019】

取得された分布の類似度に応じて、次いで、記憶されたデータセットが更新されるか否かが確認される。特に、取得された類似度は更新閾値と比較され得、取得された類似度が更新閾値を下回る場合、更新が実行される。

【0020】

それぞれの第１および第２の分布が複数のパラメータについて確認され、類似度が確認された場合、取得された複数の類似度に基づいて、全体的な類似度が確認され得る。異なるパラメータの分布の類似度値は、様々な程度まで考慮され得る。たとえば、ｙ位置（垂直位置）の分布の類似度は、ｘ位置（水平位置）の分布の類似度よりも大きい程度まで考慮され得、またはその逆も可能である。

【0021】

駐車支援システムは、特に車両の部分的に自律的または完全に自律的な動作のために設計され、それは、たとえば追従モードにおいて、訓練された軌跡に沿って自動的に運転する。半自律運転は、たとえば、駐車支援システムがステアリング装置および／または自動ギア選択システムを制御することを意味すると理解される。完全自律運転は、たとえば、駐車支援システムがさらにドライブデバイスおよびブレーキデバイスをも制御することを意味すると理解される。車両の方向づけおよび／または位置特定は、特に、確認された光学的特徴と記憶されたデータセットとの比較に基づいて実行される。確認された光学的特徴の互いに対する絶対的および／または相対的配置から、訓練走行中のそれぞれの位置に対する車両の現在位置の変位または相対位置が確認され得、車両は、訓練された軌跡に従って、および訓練された軌跡に沿って制御され得る。

【0022】

本方法の一実施形態によれば、光学的特徴のパラメータは、画像内の各特徴のそれぞれの位置、それぞれの特徴の分類、それぞれの特徴の色、それぞれの特徴の幾何学的形状、それぞれの特徴のコントラスト値などを備える。

【0023】

すでに上記で示されたように、パラメータ「色」は、たとえば、特定の波長における、特定の波長帯域における、および／または複数の波長における強度（輝度）を意味する。さらに、パラメータ「色」は、異なる波長における２つ以上の強度の比を含み得る。

【0024】

コントラスト値パラメータは、純粋な強度コントラストを含むことができるが、それは、色コントラストをも含むことができる。

【0025】

特定の光学的特徴は、割り当てられたまたは関連するパラメータ値の指定によって一意に特徴付けられる。たとえば、パラメータ値はパラメータベクトルにおいて配置され得、ベクトルにおける位置はパラメータを識別する。

【0026】

本方法の別の実施形態によれば、第１の分布と第２の分布との間の類似度は、バタチャリヤ距離および／またはカルバックライブラ距離に基づいて確認される。

【0027】

本方法の別の実施形態によれば、ステップＡ２）～Ａ４）は、訓練されるべき軌跡に沿った複数の位置について実行され、その結果、位置の各々について、対応するデータセットが記憶される。追従モードにおいて、ステップＢ３）～Ｂ５）は、対応する位置が、所定の距離閾値以下である車両の現在位置からの距離にある、記憶されたデータセットに基づいて実行される。

【0028】

この実施形態では、訓練された軌跡は、確認された光学的特徴を有する複数のデータセットを割り当てられ、その各々は、軌跡に沿った異なる位置において捕捉された画像に基づいて確認された。現在の車両位置は、２つの分布を互いに比較することが理にかなっているかどうかの有用な指標である。なぜなら、光学的特徴を確認するために使用されるまたは使用された画像の位置があまりにも異なる場合、画像が環境の異なる部分または領域を示し得るため、分布は類似していないと仮定されるからである。この場合、位置を比較することによって確実に回避され得る更新を実行することは、有害であろう。この実施形態は、比較されるべきデータセットまたは分布を選択するための選択方法と呼ばれることもある。

【0029】

車両の位置は、特にＧＰＳなどの位置センサを使用することによって、確認され得る。代替または追加として、それぞれの位置を確認するためにオドメトリが使用され得る。この例における「位置」という用語は、たとえば地球の磁場および／または人工水平線に対する、磁場センサによって確認され得る車両の方向づけをも含むことに留意されたい。

【0030】

実施形態では、追従モードにおいて、軌跡の他の記憶されたデータセットと比較して、車両の現在位置からの距離が最も小さい対応する位置を有する記憶されたデータセットのみが使用される。

【0031】

本方法の別の実施形態によれば、ステップＡ２）～Ａ４）は、訓練されるべき軌跡に沿った複数の位置について実行され、その結果、位置の各々について、対応するデータセットが記憶される。追従モードにおいて、ステップＢ３）およびＢ４）は、すべての記憶されたデータセットについて実行され、ステップＢ５）は、その第１の分布が、所定の類似度閾値を上回る第２の分布との類似度を有する、データセットについて実行される。

【0032】

この実施形態では、訓練された軌跡は、決定された光学的特徴を有する複数のデータセットを割り当てられ、その各々は、軌跡に沿った異なる位置において捕捉された画像に基づいて決定された。この実施形態では、分布の類似度は、それぞれの分布の基礎をなす環境の画像が、環境からの同等の部分または領域を示すか否かを確認するための基礎として使用される。この実施形態は、特に位置に基づく選択方法と組み合わせられ得る。

【0033】

したがって、この実施形態では、類似度についての２つの所定の閾値、すなわち、更新閾値および類似度閾値が存在する。

【0034】

本方法の別の実施形態によれば、所定の類似度閾値は、所定の更新閾値よりも低い類似度に対応する。

【0035】

これは、類似度閾値を上回るが同時に更新閾値を下回る類似度を有するデータセットが更新されることを意味する。

【0036】

たとえば、類似度閾値は６５％～７５％の値を有し、更新閾値は８０％～９５％の値を有する。類似度が７５％～８０％である場合、対応するデータセットが更新される必要があることが確認される。１００％の値は、２つの比較された分布が同一であることを意味し、０％の値は、２つの比較された分布がまったく交点または共通性を有さないことを意味する。

【0037】

本方法のさらなる実施形態によれば、ステップＢ５）は、軌跡のすべてのデータセットと比較して、第２の分布との類似度が最も大きい第１の分布を有するデータセットについてのみ実行される。

【0038】

本方法のさらなる実施形態によれば、訓練モードにおいて受信された画像のそれぞれのタイムスタンプに基づいて、少なくとも１つのパラメータの第１の分布の第１の確率的プロセスが確認され、追従モードにおいて受信された画像のそれぞれのタイムスタンプに基づいて、パラメータの第２の分布の第２の確率的プロセスが確認され、ステップＢ５）は、追加および／または代替として、第１の確率的プロセスと第２の確率的プロセスとの間の類似度に基づいて実行される。

【0039】

この実施形態では、パラメータの分布の時間的進展は、軌跡に沿って決定され、これは、軌跡に沿った車両の位置と車速を介して結合され、更新に関係する決定は、これに関連付けられる。この場合、時間は追加のパラメータとして扱われ、その結果、たとえば、ロケーション座標の分布の時間的進展が二次元分布の形態で表され得ると言われることもある。

【0040】

本方法の別の実施形態によれば、ステップＢ５）におけるデータセット更新は、ステップＢ２）において確認された光学的特徴に基づいて実行される。

【0041】

本方法のさらなる実施形態によれば、ステップＢ５）におけるデータセット更新は、データセットを現在のデータセットと置き換えること、および／または記憶されたデータセットに含まれている少なくとも１つの光学的特徴を置き換えること、および／または記憶されたデータセットに含まれている光学的特徴の少なくとも１つのパラメータを更新することを備える。

【0042】

第２の態様によれば、プログラムがコンピュータによって実行されると、前記コンピュータに第１の態様による方法を実行するように促すコマンドを備えるコンピュータプログラム製品が提案される。

【0043】

たとえばコンピュータプログラム手段など、コンピュータプログラム製品は、たとえば、たとえばメモリカード、ＵＳＢスティック、ＣＤ－ＲＯＭ、ＤＶＤなどの記憶媒体として、あるいはダウンロード可能ファイルの形態で、ネットワーク内のサーバによって提供または供給され得る。これは、たとえば、ワイヤレス通信ネットワークにおいて、コンピュータプログラム製品またはコンピュータプログラム手段を含んでいる対応するファイルを送信することによって行われ得る。

【0044】

第３の態様によれば、車両のための駐車支援システムが提案される。駐車支援システムは、訓練モードにおいて、訓練されるべき軌跡を捕捉し、記憶するように構成され、追従モードにおいて、車両によって、記憶された軌跡に追従するように構成される。駐車支援システムは、
訓練モードにおいて、車両が訓練されるべき軌跡に沿って進行する間に前記車両の環境の少なくとも１つの画像を受信するための受信ユニットと、
受信された画像内の複数の光学的特徴を確認するための第１の確認ユニットであって、各光学的特徴が少なくとも１つのパラメータによって特徴付けられる、第１の確認ユニットと、
確認された光学的特徴を備えるデータセットを記憶するための記憶ユニットと、を備え、
受信ユニットは、車両が追従モードにおいて軌跡に沿って進行する間に車両の環境の少なくとも１つの現在の画像を受信するように構成され、第１の確認ユニットは、受信された現在の画像内の光学的特徴を決定するように構成される。駐車支援システムは、
記憶されたデータセットに基づいてパラメータのうちの少なくとも１つの第１の分布を確認し、現在の画像の確認された光学的特徴に基づいてパラメータの第２の分布を確認するための第２の確認ユニットと、
第１の分布と第２の分布との間の類似度を確認するための比較ユニットと、
確認された類似度が所定の更新閾値以下である場合、記憶されたデータセットを更新するための更新ユニットと、をも備える。

【0045】

この駐車支援システムは、第１の態様による方法について説明されたものと同じ利点を有する。第１の態様による方法について記載された実施形態および定義は、必要な変更を加えて駐車支援システムに適用される。

【0046】

駐車支援システムのユニットの各々は、ハードウェアおよび／またはソフトウェアで実装され得る。ハードウェアでの実装の場合、それぞれのユニットは、たとえば、コンピュータまたはマイクロプロセッサの形態であり得る。ソフトウェアでの実装の場合、それぞれのユニットは、コンピュータプログラム製品、関数、ルーチン、アルゴリズム、プログラムコードの一部、または実行可能オブジェクトの形態であり得る。さらに、ここで言及されるユニットの各々はまた、中央制御システムおよび／またはＥＣＵ（エンジン制御ユニット）など、車両の上位制御システムの一部の形態であり得る。

【0047】

第４の態様によれば、車両の環境の画像を検出し出力するための少なくとも１つのカメラを有し、第３の態様による駐車支援システムを有する車両が提案される。

【0048】

車両は、たとえば、自動車、さらにはトラックである。好ましくは、車両は、車両の運転状態を捕捉し、車両の周囲を捕捉するように構成された、いくつかのセンサユニットを備える。車両のそのようなセンサユニットの例は、カメラ、レーダー（無線検出および測距）またはライダー（光検出および測距）、超音波センサ、ロケーションセンサ、車輪角度センサおよび／または車輪速度センサなど、画像捕捉デバイスである。センサユニットは、各々、たとえば、捕捉されたセンサ信号に基づいて部分的に自律的または完全に自律的な運転を実行する駐車支援システムまたは運転者支援システムに、センサ信号を出力するように構成される。

【0049】

本発明のさらなる可能な実装形態はまた、例示的な実施形態に関して上記で説明されたまたは以下で説明される特徴または実施形態の、明示的に言及されない組合せを備える。当業者はまた、この場合、本発明のそれぞれの基本形態に対する改善または追加として、個々の態様を追加する。

【0050】

本発明のさらなる有利な構成および態様は、従属請求項の、および以下で説明される本発明の例示的な実施形態の主題である。本発明は、添付の図面を参照しながら好ましい実施形態に基づいて以下でより詳細に説明される。

【図面の簡単な説明】

【0051】

【図1】俯瞰で見た車両の例示的な実施形態の概略図である。

【図2】いくつかの光学的特徴が含まれている受信された画像の概略図である。

【図3】それぞれのパラメータのそれぞれの分布の例としての３つの図である。

【図4】類似度を確認するための２つの分布の比較の一例を示す図である。

【図5】駐車支援システムの例示的な実施形態の概略ブロック図である。

【図6】駐車支援システムを動作させるための方法の例示的な実施形態の概略フロー図である。

【発明を実施するための形態】

【0052】

特に明記しない限り、同一または機能的に同一の要素は、図面において同じ参照符号が付されている。

【0053】

図１は、俯瞰で見た車両１００の概略図を示す。車両１００は、たとえば、周囲２００に配置された自動車である。自動車１００は、たとえば制御ユニットの形態である駐車支援システム１１０を有する。さらに、自動車１００はフロントカメラ１２０を備え、フロントカメラ１２０は、この例では、フロントガラスの上縁に配置されている。カメラ１２０は、環境２００の画像を捕捉するように構成される。捕捉された画像は、たとえば、駐車支援システム１１０に出力され、駐車支援システム１１０は、図２～図６を参照しながら以下で詳細に説明されるように、それを受信し、さらに処理する。

【0054】

駐車支援システム１１０は、半自律的に、さらには完全に自律的に自動車１００を運転するように構成される。図１に示されているカメラ１２０に加えて、車両１００は、様々なさらなるセンサデバイスを有することができる。これらの例は、超音波センサ、ライダー、レーダー、ＧＰＳ受信機、加速度センサ、電磁的に送信可能なデータ信号を受信するための受信機、マイクロフォンなどである。

【0055】

図２は、いくつかの光学的特徴Ｆ１～Ｆ８が含まれている受信された画像ＩＭＧの概略図を示す。この例では、画像ＩＭＧは、２つの空間次元を有する画像であり、すなわち、それは、画素の二次元アレイを備える。実施形態では、それはまた、各画素についての深度情報をさらに備える３つの空間次元を有する画像であり得る。画像ＩＭＧの各画素は、画像ＩＭＧ内のそれのそれぞれの座標によって一意に決定され、ここで、これらは２つのロケーション座標ｘ、ｙである。座標ｘ、ｙは、たとえば画像ＩＭＧの角のうちの１つに由来する画像座標系（図示せず）に関係する。したがって、図示の例示的な光学的特徴Ｆ１～Ｆ８は、それぞれの光学的特徴のｘ、ｙ座標に対応する２つのロケーションパラメータを有する。この例では、明確さのために、光学的特徴Ｆ１～Ｆ８は画像ＩＭＧ内で点としてのみ示されているが、特定の光学的特徴は大きさを有することもあることに留意されたい。

【0056】

ロケーション座標ｘ、ｙに加えて、光学的特徴Ｆ１～Ｆ８は、たとえば光学的特徴Ｆ１～Ｆ８の色値である第３のパラメータｐによって特徴付けられる。したがって、この例では、特定の光学的特徴は、３つのパラメータｘ、ｙ、ｐの指定によって一意に特徴付けられる。たとえば、光学的特徴Ｆ１は、指定Ｆ１（ｘ１，ｙ１，ｐ１）によって表され得、ここで、ｘ１、ｙ１、Ｐ１は、光学的特徴Ｆ１についてのそれぞれのパラメータのそれぞれの値である。

【0057】

特定の光学的特徴Ｆ１～Ｆ８は、４つ以上のパラメータによって特徴付けられ得ることに留意されたい。画像ＩＭＧ内で、好ましくは、８つを大幅に超える光学的特徴Ｆ１～Ｆ８、たとえば２００～５００個の光学的特徴が確認されることにも留意されたい。

【0058】

各光学的特徴Ｆ１～Ｆ８は、特に、たとえばコントラストの形態で確認され得る、受信された画像ＩＭＧ内の特徴的な構造である。

【0059】

図３は、所与のパラメータｘ、ｙ、ｐのそれぞれの分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）の例として３つの図を示す。分布は、各々、確率分布または頻度分布を表し、縦軸Ｐは確率または頻度を示し、それぞれの横軸ｘ、ｙ、ｐは、それぞれのパラメータｘ、ｙ、ｐの値を示す。

【0060】

この例では、分布Ｐ（ｘ）およびＰ（ｙ）は（準）連続分布として表され、分布Ｐ（ｐ）は離散分布として表される。パラメータｘ、ｙ、ｐがとり得るそれぞれの値は、特に、駐車支援システムの確認ユニットによる確認中に量子化されるため、すべての分布は、たとえば、離散的であるが、準連続分布と呼ばれることもある。ここで、たとえば、「ビニング」手順の形態で実行されるデータ低減も有利であり得、ある間隔にあるすべての値が（たとえば、パラメータについてのビット深度の低減の場合）平均値に割り当てられる。

【0061】

図４は、パラメータｘについての２つの分布Ｐ１（ｘ）、Ｐ２（ｘ）を含んでいる図を示す。図４は、２つの分布Ｐ１（ｘ）、Ｐ２（ｘ）の類似度によって意味されるものを示すのに役立つ。たとえば、第１の分布Ｐ１（ｘ）は、記憶されたデータセットに基づいて確認されたパラメータｘの第１の分布であり、分布Ｐ２（ｘ）は、受信された現在の画像ＩＭＧ（図２参照）の確認された光学的特徴Ｆ１～Ｆ８（図２参照）に基づいて確認された、同じパラメータｘの第２の分布である。２つの分布Ｐ１（ｘ）とＰ２（ｘ）との間の類似度は、２つの分布Ｐ１（ｘ）、Ｐ２（ｘ）の交点Ｕ（Ｐ１；Ｐ２）として示され得る。たとえば、２つの分布Ｐ１（ｘ）、Ｐ２（ｘ）における等しいパラメータ値ｘの数をカウントし、光学的特徴Ｆ１～Ｆ８の総数で除算して、類似度を確認することができる。有利には、２つの分布Ｐ１（ｘ）とＰ２（ｘ）との間の類似度は、バタチャリヤ距離および／またはカルバックライブラ距離に基づいて確認される。類似度の他の既知の尺度も使用され得る。

【0062】

図５は、駐車支援システム１１０、たとえば、図１の車両１００の駐車支援システムの例示的な実施形態の概略ブロック図を示す。駐車支援システム１１０は、訓練モードＭＯＤ０（図６参照）において、訓練されるべき軌跡を捕捉し、記憶するように構成され、追従モードＭＯＤ１（図６参照）において、車両１００によって、記憶された軌跡に追従するように構成される。駐車支援システム１１０は、車両１００が、訓練モードＭＯＤ０において、訓練されるべき軌跡に沿って進行する間に、車両１００の環境２００（図１参照）の少なくとも１つの画像ＩＭＧ（図２参照）を受信するための受信ユニット１１１と、受信された画像ＩＭＧ内の複数の光学的特徴Ｆ１～Ｆ８（図２参照）を確認するための第１の確認ユニット１１２であって、各光学的特徴Ｆ１～Ｆ８が少なくとも１つのパラメータｘ、ｙ、ｐ（図２または図３参照）によって特徴付けられる、第１の確認ユニット１１２と、確認された光学的特徴Ｆ１～Ｆ８を備えるデータセットを記憶するための記憶ユニット１１３と、を備える。

【0063】

受信ユニット１１１はまた、車両１００が追従モードＭＯＤ１において軌跡に沿って進行する間に、車両１００の環境２００の少なくとも１つの現在の画像ＩＭＧを受信するように構成され、第１の確認ユニット１１２はまた、受信された現在の画像ＩＭＧ内の光学的特徴Ｆ１～Ｆ８を確認するように構成される。駐車支援システム１１０は、記憶されたデータセットに基づいてパラメータｘ、ｙ、ｐのうちの少なくとも１つの第１の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ１（ｘ）（図３または図４参照）を確認し、現在の画像ＩＭＧの確認された光学的特徴Ｆ１～Ｆ８に基づいてパラメータｘ、ｙ、ｐの第２の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ２（ｘ）（図３または図４参照）を確認するための第２の確認ユニット１１４と、第１の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ１（ｘ）と第２の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ２（ｘ）との間の類似度を確認するための比較ユニット１１５と、確認された類似度が所定の更新閾値以下である場合、記憶されたデータセットを更新するための更新ユニット１１６とをさらに備える。

【0064】

図６は、駐車支援システム１１０、たとえば、図５の車両１の駐車支援システム１１０を動作させるための方法の例示的な実施形態の概略フロー図を示す。本方法は、訓練されるべき軌跡が捕捉され、記憶される訓練モードＭＯＤ０を備え、記憶された軌跡が車両によって追従される追従モードを備える。

【0065】

訓練モードＭＯＤ０は、特にステップＳ１～Ｓ４を備え、第１のステップＳ１において、車両１００は、軌跡に沿って手動で運転され、第２のステップＳ２において、車両１００の環境２００（図１参照）の少なくとも１つの画像ＩＭＧ（図２参照）が手動運転ステップ中に受信され、第３のステップＳ３において、受信された画像ＩＭＧ内の複数の光学的特徴Ｆ１～Ｆ８（図２参照）が確認され、それぞれの光学的特徴Ｆ１～Ｆ８は、少なくとも１つのパラメータｘ、ｙ、ｐ（図２または図３参照）によって特徴付けられ、第４のステップＳ４において、確認された光学的特徴Ｆ１～Ｆ８を備えるデータセットが記憶される。

【0066】

追従モードは、特にステップＳ５～Ｓ９を備え、第５のステップＳ５において、車両１００の環境２００の少なくとも１つの現在の画像ＩＭＧは、追従プロセス中に受信され、第６のステップＳ６において、受信された現在の画像ＩＭＧ内の光学的特徴Ｆ１～Ｆ８が確認され、第７のステップＳ７において、パラメータｘ、ｙ、ｐのうちの少なくとも１つの第１の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ１（ｘ）（図３または図４参照）が、記憶されたデータセットに基づいて確認され、パラメータｘ、ｙ、ｐの第２の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ２（ｘ）（図３または図４参照）が、現在の画像ＩＭＧの確認された光学的特徴Ｆ１～Ｆ８に基づいて確認され、第８のステップＳ８において、第１の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ１（ｘ）と第２の分布Ｐ（ｘ）、Ｐ（ｙ）、Ｐ（ｐ）、Ｐ２（ｘ）との類似度が確認され、第９のステップＳ９において、確認された類似度が所定の更新閾値以下である場合、記憶されたデータセットが更新される。

【0067】

特定の軌跡のための訓練モードＭＯＤ０は、特に１回だけ実行され、追従モードＭＯＤ１は、訓練された軌跡に基づいて、所望される回数実行され得ることに留意されたい。

【0068】

追従モードＭＯＤ１は、たとえば、駐車支援システム１１０による車両１００の制御に関係するさらなるステップを備え得ることにも留意されたい。

【0069】

本発明は例示的な実施形態に基づいて説明されたが、本発明は多くの方法で修正され得る。

【符号の説明】

【0070】

１００ 車両
１１０ 駐車支援システム
１１１ 受信ユニット
１１２ 確認ユニット
１１３ 記憶ユニット
１１４ 確認ユニット
１１５ 比較ユニット
１１６ 更新ユニット
１２０ カメラ
Ｆ１～Ｆ８ 光学的特徴
ＩＭＧ 画像
ＭＯＤ０ 訓練モード
ＭＯＤ１ 追従モード
ｐ パラメータ
ｐ１～ｐ８ パラメータ値
Ｐ 確率
Ｐ（ｐ） 確率分布
Ｐ（ｘ） 確率分布
Ｐ１（ｘ） 第１の分布
Ｐ２（ｘ） 第２の分布
Ｐ（ｙ） 確率分布
Ｓ１～Ｓ９ 方法ステップ
Ｕ（Ｐ１；Ｐ２） 交点
ｘ 座標
ｘ１～ｘ８ ｘ位置（パラメータの一例）
ｙ 座標
ｙ１～ｙ８ ｙ位置（パラメータの一例）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】