特許 6073358 車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6073358

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20170123BHJP

   B60R 21/00 20060101ALI20170123BHJP

   G06T 1/00 20060101ALI20170123BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 622F

   B60R21/00 626B

   G06T1/00 330A

【請求項の数】15

【全頁数】10

(21)【出願番号】特願2014-545155(P2014-545155)

(86)(22)【出願日】2012年11月16日

(65)【公表番号】特表2015-507776(P2015-507776A)

(43)【公表日】2015年3月12日

(86)【国際出願番号】EP2012072873

(87)【国際公開番号】WO2013083384

(87)【国際公開日】20130613

【審査請求日】2014年6月9日

(31)【優先権主張番号】102011087894.7

(32)【優先日】2011年12月7日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100099483

【弁理士】

【氏名又は名称】久野 琢也

(72)【発明者】

【氏名】フォルカー ニームツ

【審査官】 田中 純一

(56)【参考文献】

【文献】 特開２００７−１８３４３２（ＪＰ，Ａ）

【文献】 特開２００４−０９８９８１（ＪＰ，Ａ）

【文献】 特開２００７−０２２２９０（ＪＰ，Ａ）

【文献】 特開２０１０−１８１９２８（ＪＰ，Ａ）

【文献】 特開２０１１−１５０６８８（ＪＰ，Ａ）

【文献】 特開２００４−３０２６０９（ＪＰ，Ａ）

【文献】 特開２００４−０９０８６９（ＪＰ，Ａ）

【文献】 特開２００１−３４１５９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１４３９６７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／０１１７８１２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｂ６０Ｒ ２１／００ − ２１／１３

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０６Ｔ ９／００ − ９／４０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車体部及び／又は車輪（７０，８０，９０，１００）と、少なくとも１つの対象物（１２０）との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法であって、
車両周囲のカメラ画像の評価に基づいて前記少なくとも１つの対象物（１２０）を識別し、
識別された前記少なくとも１つの対象物（１２０）と前記車体部及び／又は車輪（７０，８０，９０，１００）との衝突の可能性が存在する場合、ドライバーへ警報を出力し、及び／又は、車両ダイナミクスへ能動的に介入する方法において、
車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）で撮影された画像を評価することにより、前記少なくとも１つの対象物（１２０）を含まない現在の周囲道路（１１０）の代表的なパターンを求め、
前記少なくとも１つの対象物（１２０）を識別するために、前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）で撮影された別の画像において、求められた前記現在の周囲道路（１１０）のパターンとの差を評価する
ことを特徴とする方法。

【請求項2】

前記現在の周囲道路（１１０）のパターンを求めるために、前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）のうち前方カメラ（３０）及び／又は後方カメラ（６０）によって道路部分の少なくとも１つの画像を撮影し、前記少なくとも１つの対象物（１２０）を識別するために、前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）のうち側方カメラ（４０，５０）で撮影された、少なくとも１つの車両周囲の画像と相関させる、請求項１記載の方法。

【請求項3】

前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）で撮影された、少なくとも１つの車両周囲の画像を評価して、相応の反復構造を識別することにより、前記現在の周囲道路（１１０）のパターンを求める、請求項１又は２記載の方法。

【請求項4】

前記現在の周囲道路（１１０）のパターンを求める際に、車両部分の直接前方の車両周囲領域（１１２）及び／又は車両部分の直接側方の車両周囲領域（１１３）を、前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）の画像のうち予め定められた画像部分において評価する、請求項１記載の方法。

【請求項5】

前記車両部分の直接前方の車両周囲領域（１１２）及び／又は前記車両部分の直接側方の車両周囲領域（１１３）は、所定の車両部分に隣接する領域である、請求項４記載の方法。

【請求項6】

前記所定の車両部分に隣接する領域は、車輪（７０，８０，９０，１００）に隣接する領域である、請求項５記載の方法。

【請求項7】

前記車輪（７０，８０，９０，１００）に隣接する領域は、サイドスカート（４２）の前方の領域である、請求項６記載の方法。

【請求項8】

前記少なくとも１つの対象物（１２０）を識別する際に、前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）で撮影された、少なくとも１つの車両周囲の画像の評価による対象物識別及び／又は対象物追跡を付加的に行い、及び／又は、前記車両（１０）に設けられたステレオカメラ及び／又はラインカメラで撮影された、少なくとも１つの車両周囲の画像を評価することにより、前記少なくとも１つの対象物（１２０）の高さを付加的に求める、請求項１から７までのいずれか１項記載の方法。

【請求項9】

識別された前記少なくとも１つの対象物（１２０）をクラシフィケータによって分類し、障害物として分類された前記少なくとも１つの対象物（１２０）を、類似の障害物の検出のためにパターンとして前記クラシフィケータへ供給する、請求項１から８までのいずれか１項記載の方法。

【請求項10】

前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）は、前記車両（１０）に設けられている少なくとも１つの側方カメラ（４０，５０）である、請求項３から９までのいずれか１項記載の方法。

【請求項11】

前記少なくとも１つの対象物（１２０）は、少なくとも１つの縁石（１２０）である、請求項１から１０までのいずれか１項記載の方法。

【請求項12】

請求項１から１１までのいずれか１項記載の方法を実行するための車両支援システム（２０）において、
車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）で撮影された、少なくとも１つの車両周囲の画像につき、現在の周囲道路のパターン認識を含む評価を行うことによって、少なくとも１つの対象物（１２０）を識別し、識別された前記少なくとも１つの対象物（１２０）と車体部及び／又は車輪（７０，８０，９０，１００）との衝突の可能性が存在する場合、警報信号及び／又は制御信号を形成するように構成された評価ユニットと、
前記評価ユニットによって形成された前記警報信号が存在する場合に能動的警報を出力するように構成された警報ユニット、及び／又は、前記評価ユニットによって形成された前記制御信号が存在する場合に車両ダイナミクスへ能動的に介入するように構成された制御ユニットと、
を備える
ことを特徴とする車両支援システム（２０）。

【請求項13】

前記評価ユニットは、さらに、
前記車両（１０）に設けられている少なくとも１つのカメラ（３０，４０，５０，６０）で撮影された、少なくとも１つの車両周囲の画像の評価によって前記少なくとも１つの対象物（１２０）を識別するための対象物識別及び／又は対象物追跡を付加的に行う、及び／又は、
前記車両（１０）に設けられた少なくとも１つのステレオカメラ及び／又はラインカメラで撮影された、少なくとも１つの車両周囲の画像を評価することにより、前記識別された少なくとも１つの対象物（１２０）の高さを付加的に求める
ように構成されている、
請求項１２記載の車両支援システム（２０）。

【請求項14】

前記評価ユニットは、識別された前記少なくとも１つの対象物（１２０）をクラシフィケータによって分類し、障害物として分類された前記少なくとも１つの対象物（１２０）を、類似の障害物の検出のためにパターンとして前記クラシフィケータへ供給するように構成されている、請求項１２又は１３記載の車両支援システム（２０）。

【請求項15】

請求項１２から１４までのいずれか１項記載の車両支援システム（２０）を備えていることを特徴とする車両（１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車体部及び／又は車輪と少なくとも１つの縁石および／またはその他類似の対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法、並びに、この方法を実行するための車両支援システムに関する。また本発明は、こうした車両支援システムを備えた車両にも関する。

【0002】

一連の純粋な後進カメラ装置が市販されている。当該後進カメラ装置は後方の事象の実像をドライバーに対して出力する。

【0003】

こうした装置のほか、より強力なマルチカメラシステムも市販されている。こうした装置によって俯瞰的な（トップビューによる）車両環境の表示が可能となる。

【0004】

将来的には、直接に車両周囲を表示するだけでは充分でなく、市場ではドライバーの車両利用に際して種々の状況を支援できるシステムが所望されている。

【0005】

ここで、車両側方、特にホイールエッジもしくはミラーケーシングに取り付けられた側方カメラによって、車両の側方領域を充分に検出することができる。

【0006】

図１には、従来技術から公知の典型的な構成を有するマルチカメラシステム２０を備えた車両（自動車）１０の上面図が示されている。

【0007】

車両１０の側方、特にホイールエッジもしくはミラーケーシング４５，５５に取り付けられた側方カメラ４０，５０によって、車両１０の側方領域を充分に検出することができる。この車両１０には別のカメラ、例えば前方カメラ３０及び後方カメラ６０を設けることもできる。図１には車両１０の車輪７０，８０，９０，１００も示されている。

【0008】

図２には、図１に対応するマルチカメラシステム２０を備えた車両１０の部分側面図が示されている。道路１１０の走行中はつねに、車両１０側方の直接領域１１１（約１ｍ）において縁石の有無が検査される。これは例えば、検出された勾配を評価することによって（例えばSobelオペレータによる勾配識別によって）簡単に行える。当該勾配は相応に定義されたクラシフィケータによって比較される。

【0009】

識別された縁石の位置は実際の車両運動と比較される。ここで、車両の前進時に後輪が縁石に衝突しそうな場合、又は、車両の後進時に前輪が縁石に衝突しそうな場合、ドライバーは適時に警報を受けることができる。

【0010】

また、走行目標方向でのステアリングショックを活用して、相応の衝突を回避することもできる。

【0011】

図３には、縁石衝突の典型的な事象が示されている。ここでは、変形した車輪８０と縁石１２０とが見て取れる。

【0012】

急カーブもしくは狭いカーブがあると、特に縁石衝突が発生しやすい。図４ａ−図４ｃには、図１の車両１０が道路１１０の突き当たりにある狭いカーブを走行する際の３つの異なる位置が示されている。ドライバーはカーブを狭い半径で走行する。ここで、前輪８０はカーブを通過したが、後輪９０は縁石１２０に衝突している。これによって後輪（タイヤ、ホイール）９０は著しい損傷を受け、走行快適性が大きく損なわれる。

【0013】

従来技術の文献、特に独国公開第１０２００５０３７２７３号明細書及び独国公開第１０２００５０１５４６３号明細書から、カメラベースで動作し、対象物検出に基づいて縁石を識別して縁石衝突を回避するナビゲーション支援装置が公知である。しかし、ここでは、検出された対象物を記憶された既知のパターンと比較する一般的なパターン認識が行われているのみである。この場合、従来技術から公知のナビゲーション支援装置は、多数の既知のパターンを記憶するのに充分なメモリスペースを有さない、及び／又は、多数の既知のパターンとの比較を短時間で行って、危険状況に適切かつ迅速に対応するのに充分な高度な計算能力を有さない、という欠点を有する。

【0014】

発明の開示
本発明の、車体部及び／又は車輪と縁石及び／又は他の類似の対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法では、車両に設けられた少なくとも１つのカメラで撮影された車両周囲画像の評価に基づいて少なくとも１つの対象物が識別される。少なくとも１つの識別された対象物と車体部及び／又は車輪との衝突の可能性が存在する場合、能動的警報が出力され、及び／又は、車両ダイナミクス、特にステアリング装置への能動的な介入が行われる。ここで、本発明の方法によれば、車両に設けられている少なくとも１つのカメラで撮影された少なくとも１つの車両周囲画像を評価することにより現在の周囲道路のパターンが求められ、車両の側方に設けられている少なくとも１つのカメラで撮影された少なくとも１つの車両周囲画像において、求められた現在の周囲道路のパターンとの差が評価され、対象物が識別される。

【0015】

本発明は、さらに、上記方法を実行する車両支援システムに関する。本発明の車両支援システムは、特に車両の側方に設けられている少なくとも１つのカメラで撮影された少なくとも１つの車両周囲画像につき、現在の周囲道路のパターン認識を含む評価を行うことによって、少なくとも１つの縁石及び／又は他の類似の対象物を識別し、識別された少なくとも１つの対象物と車体部及び／又は車輪との衝突の可能性が存在する場合、警報信号及び／又は制御信号を形成するように構成された評価ユニットを含む。さらに、本発明の車両支援システムは、評価ユニットによって形成された警報信号が存在する場合に警報を出力するように構成された警報ユニット、及び／又は、評価ユニットによって形成された制御信号が存在する場合に車両ダイナミクス、特にステアリング装置へ能動的に介入するように構成された制御ユニットを含む。

【0016】

本発明の有利な実施形態は従属請求項から得られる。

【0017】

本発明によれば、ホイールもしくはタイヤが縁石及び／又は他の類似の対象物と接触するのを回避するために能動的警報及び／又はナビゲーション支援を行うことができる。本発明の方法では、車両周囲画像の評価に基づいて、現在の道路のパターンが求められる。その時点での周囲道路のパターンとの比較により、車両側方に延在する車両周囲領域の画像において、車両側方の障害物、例えば縁石及び／又は他の類似の対象物の有無が検査される。このように、本発明では、簡単な計算で迅速に実行可能な、障害物、例えば縁石及び／又は他の類似の対象物の識別法が使用される。本発明の方法によれば、長い時間がかかり集中的な計算が必要な、多数の既知パターンとの比較による障害物識別を省略できる。また、本発明の現在の周囲道路のパターン認識では、走行される道路の少なくとも一部を表す車両周囲画像を連続的に多数撮影して、長い時間のかかる集中的な計算によって評価を行う必要もなくなる。

【0018】

よって、本発明の方法を実行する車両支援システムは、高い計算能力を有する関連の付加的モジュールを必要としない。通常の車両支援システムには少なくとも１つのカメラ及び評価ユニットが存在しているので、大抵の場合、本発明の障害物識別を実行するための追加の装置を設ける必要はない。

【0019】

有利には、本発明の方法では、道路部分の少なくとも１つの画像が、車両に設けられている前方カメラ及び／又は後方カメラによって、現在の周囲道路のパターンを求めるために撮影され、少なくとも１つの側方カメラで撮影された少なくとも１つの車両周囲画像と相関されて、少なくとも１つの対象物が識別される。

【0020】

本発明の方法では、画像の縁近傍のピクセルが道路もしくは障害物に相当するか否かが検査される。前方カメラ及び／又は後方カメラ（後進カメラ）が用いられる場合、まず、直接周囲に障害物が存在するか否かが検査される。当該検査はパークパイロットもしくはビデオセンサ装置を介して行われる。対象物が検出されなければ、バンパの直接後方もしくは直接前方の画像領域が周囲道路の代表パターンとして記憶ユニットに記憶される。ついで、道路部分の記憶画像が側方カメラの画像と相関される。このとき、露光状況が種々に異なるため、場合によってはヒストグラム補償の実行が必要である。当該ステップにより、その時点の周囲道路のパターンが既知となり、画像の縁近傍の領域においてそれぞれの道路パターンとの有意な差を評価することができる。それぞれの道路パターンとの差は、画像内に道路が映っておらず、縁石もしくは他の障害物のみが識別される場合、正確に検出される。

【0021】

本発明の別の有利な実施形態では、特に車両の側方に設けられている少なくとも１つのカメラで撮影された車両周囲画像内の相応の反復構造を識別することにより、現在の周囲道路のパターンが簡単に求められる。

【0022】

これにより、前方カメラ及び／又は後方カメラの画像と側方カメラの画像とのパターン比較に代えて、相応の反復構造によって道路を簡単に識別することができる。

【0023】

特に、本発明の現在の周囲道路のパターン認識では、少なくとも１つの側方カメラで撮影された車両周囲画像のうち予め定められた少なくとも１つの画像部分が表される。この場合、予め定められた画像部分において、車両部分の直接前方の領域及び／又は直接側方の領域、特に車両部分に接する領域もしくは特にサイドスカートのぎりぎり前方の領域が評価される。

【0024】

本発明の地面パターンの識別プロセスは、サイドスカートのぎりぎり前方の直接の画像部分を使用しているので、きわめて簡単かつ迅速に実行可能である。なお、サイドスカートもカメラによって検出可能であり、車体部も取り付けられているミラーによって観察可能である。

【0025】

これにより、自動駐車支援装置は縁石の位置の知識を得ることができる。

【0026】

有利には、本発明で少なくとも１つの対象物が検出される際には、車両に設けられた少なくとも１つのカメラで撮影された車両周囲画像の評価による対象物識別及び／又は対象物追跡が利用される。

【0027】

本発明の方法では、前方へ配向されたカメラによって識別された対象物の対象物追跡（トラッキング）を行うことができる。これに代えてもしくはこれに加えて、後方カメラによって識別された対象物を使用して、特に道路又は道路に沿って延在する障害物が識別された場合にこの対象物を前方へ外挿することができる。ＧＰＳによる外挿支援も可能である。この場合の外挿長さはＧＰＳマップでのその時点の車両周囲の表示に依存する。前方距離が短い場合や、すぐ先に急カーブがある場合には、きわめて僅かな量だけ後方画像を外挿してもよい。逆にまっすぐな道路の場合には大きな外挿が可能である。これにより、車両周囲の構造物が正確に検査されるので、縁石の検出確度が高まる。

【0028】

特に、本発明によれば、少なくとも１つの対象物の高さが特に車両に取り付けられているステレオカメラ及び／又はラインカメラによって撮影された少なくとも１つの車両周囲画像の評価によって求められる。これにより、別の特徴も利用できるようになるので、縁石の検出確度がいっそう高まる。

【0029】

本発明の別の有利な実施形態では、障害物として識別された少なくとも１つの対象物、特に障害物として識別された少なくとも１つの縁石が、類似の障害物の検出のためのパターンとしてクラシフィケータへ供給される。

【0030】

本発明によれば、クラシフィケータは学習を行う。駐車支援装置（パーキングステアリングコントロール）による自動駐車の試行中、車両は自動的に縁石に沿った縦列駐車スペースへ配向される。つまり、駐車支援装置には縁石の存在とその位置とが既知である。当該情報は画像処理アルゴリズムによって直接に利用され、画像内の相応の対象物が自動的にクラシフィケータへ供給される。これはクラシフィケータでの画像内の縁石表現の自動学習機能に相当する。

【0031】

さらに、クラシフィケータは否定的経験によって学習することもできる。危険対象物として分類されなかった障害物を通過した場合、車体部乃至車輪の相応の衝撃運動が生じる。当該衝撃運動は種々のセンサ（タイヤ圧センサ、平衡センサ、長手方向加速度及び横方向加速度のセンサ、及び／又は、ヨーレートセンサ）によって識別される。

【0032】

これにより、クラシフィケータには特に、頻繁に走行される実際の環境内に存在する障害物の情報が供給される。相応の学習を経たクラシフィケータを用いれば、頻繁に走行される環境から検出された障害物と、クラシフィケータ内の、特定の環境の障害物に相当する少数のパターンとを比較するだけで済む。よって、比較アルゴリズムに関連する計算コストとこの比較にかかる時間とを大幅に低減できる。

【0033】

また、本発明は、上述した車両支援システムを備えた車両にも関する。

【0034】

本発明の車両支援システム及び本発明の車両の利点は上述した本発明の方法の利点にほぼ対応する。このため繰り返しての説明は省略する。

【0035】

以下に、添付の図を参照しながら本発明の実施例を詳細に説明する。

【図面の簡単な説明】

【0036】

【図1】従来技術のマルチカメラシステムを備えた車両の上面図である。

【図2】図１の従来技術のマルチカメラシステムを備えた車両の側面図である。

【図3】縁石衝突を起こした車輪を示す図である。

【図4a】図１の車両が狭いカーブを走行する場合の第１の位置を示す図である。

【図4b】図１の車両が狭いカーブを走行する場合の第２の位置を示す図である。

【図4c】図１の車両が狭いカーブを走行する場合の第３の位置を示す図である。

【図5】本発明の第１の実施例の車両支援システムを備えた車両の上面図である。

【図6】本発明の第２の実施例の車両支援システムを備えた車両の側面図である。

【0037】

図５には、本発明の第１の実施例の車両支援システム２０を備えた車両１０の上面図が示されている。

【0038】

車両１０の側方、特にホイールエッジもしくはミラーケーシング４５，５５に取り付けられた側方カメラ４０，５０によって、車両１０の側方領域が充分に検出される。車両１０には前方カメラ３０及び後方カメラ６０などの別のカメラも設けられる。図５には車両１０の車輪７０，８０，９０，１００も示されている。

【0039】

車輪７０，８０，９０，１００と縁石及び／又は他の類似の対象物との衝突回避を目的とした能動的警報及び／又はナビゲーション補助のための本発明の車両支援システム２０では、車両１０に設けられているカメラ３０，４０，５０，６０において、縁石が識別されるか否かが検査される。本発明の車両支援システム２０により、衝突の可能性が存在する場合には、ドライバーに対して警報が出力され、及び／又は、ステアリング装置への能動的な介入が行われる。本発明の第１の実施例の車両支援システム２０では、対象物識別が特にパターン認識によって行われる。これは、前方カメラ３０及び／又は後方カメラ６０によって道路部分を撮影し、これを側方カメラ４０，５０の画像と相関させて、縁石もしくは他の障害物を識別することによって達成される。

【0040】

図６には、本発明の第２の実施例の車両支援システム２０を備えた車両１０の側面図が示されている。ここでは、道路１１０を走行中、定常的に、車両１０の直接側方の領域１１１について、縁石の有無が検査される。現在の周囲道路のパターン認識は、相応の反復構造を識別することによって可能となる。また、車両部分、特に車輪８０の近傍の車両周囲領域１１２、及び／又は、サイドスカート４２のぎりぎり前方の車両周囲領域１１３を表す直接画像部分を用いることもできる。

【0041】

上述した説明に加え、本発明はさらに図５，図６に補充的に示されている。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図5】

【図6】