特許 6261513 あらかじめ定められた駐車位置の位置特定方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6261513

(24)【登録日】2017年12月22日

(45)【発行日】2018年1月17日

(54)【発明の名称】あらかじめ定められた駐車位置の位置特定方法および装置

(51)【国際特許分類】

   B60R 21/00 20060101AFI20180104BHJP

   G06T 7/60 20170101ALI20180104BHJP

   G08G 1/16 20060101ALI20180104BHJP

【ＦＩ】

   B60R21/00 628D

   G06T7/60 200J

   G08G1/16 C

【請求項の数】10

【全頁数】9

(21)【出願番号】特願2014-545153(P2014-545153)

(86)(22)【出願日】2012年11月15日

(65)【公表番号】特表2015-508350(P2015-508350A)

(43)【公表日】2015年3月19日

(86)【国際出願番号】EP2012072689

(87)【国際公開番号】WO2013083379

(87)【国際公開日】20130613

【審査請求日】2014年6月6日

【審判番号】不服2016-9193(P2016-9193/J1)

【審判請求日】2016年6月21日

(31)【優先権主張番号】102011087797.5

(32)【優先日】2011年12月6日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】フローリアン ライシュ

(72)【発明者】

【氏名】ヴォルフガング ニーゼン

(72)【発明者】

【氏名】ヨヘン ヴィングバーミューレ

(72)【発明者】

【氏名】フォルカー ニームツ

(72)【発明者】

【氏名】トーマス エンゲルベルク

(72)【発明者】

【氏名】シュテファン ズィーモン

(72)【発明者】

【氏名】ミヒャエル ヘルムレ

【合議体】

【審判長】 氏原 康宏

【審判官】 尾崎 和寛

【審判官】 島田 信一

(56)【参考文献】

【文献】 特開２０１０−２３２７２３（ＪＰ，Ａ）

【文献】 特開２００９−９６２７４（ＪＰ，Ａ）

【文献】 特開２０１１−１６５１４（ＪＰ，Ａ）

【文献】 特開２００８−２２７６４６（ＪＰ，Ａ）

【文献】 特開平１０−２０８０４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

B60R 21/00

B60R 1/00

G06T 7/60

(57)【特許請求の範囲】

【請求項1】

車両を自動駐車するための駐車ロボットにおいて、
前記駐車ロボットは、あらかじめ定められた駐車位置を位置特定する方法のステップを実行するように構成されたプロセッサを備えており、
前記方法は、
光学式２Ｄカメラシステム（２）によって地面領域を検出するステップと、
前記カメラ画像（４）内であらかじめ定めた複数の評価ライン（５ａ，５ｂ）上で複数の輝度経過を求めるステップと、
求めた複数の前記輝度経過において複数の輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）を求めるステップと、
複数の前記輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）が、あらかじめ定めた個数を上回って１つの直線上にある場合に、当該直線に対応する駐車スペースマーク（６，９）および／または歩道縁石エッジ（１２）が存在すると判定するステップと、
を有する、
ことを特徴とする、車両を自動駐車するための駐車ロボット。

【請求項2】

請求項１に記載の駐車ロボットにおいて、
前記方法は、さらに、
前記車両を基準にして、複数の前記評価ライン（５ａ，５ｂ）上に結像される前記地面領域の位置を求めるステップを有する、
ことを特徴とする駐車ロボット。

【請求項3】

請求項１または２に記載の駐車ロボットにおいて、
前記方法は、さらに、
複数の前記輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）が、あらかじめ定めた個数を上回って平行な２つの直線上にある場合に、当該２つの直線に対応する駐車スペースマークが存在すると判定するステップを有する、
ことを特徴とする駐車ロボット。

【請求項4】

請求項１から３までのいずれか１項に記載の駐車ロボットにおいて、
少なくとも２つのカメラ画像（４）によって複数の前記輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）を求める、
ことを特徴とする駐車ロボット。

【請求項5】

請求項４に記載の駐車ロボットにおいて、
前記少なくとも２つのカメラ画像（４）は、前記２Ｄカメラシステム（２）の相異なる位置において撮影したカメラ画像（４）である、
ことを特徴とする駐車ロボット。

【請求項6】

車両を自動駐車するための駐車ロボットにおいて、
前記駐車ロボットは、あらかじめ定められた駐車位置を位置特定する装置を備えており、
該装置は、
車両ベースの２Ｄカメラシステム（２）と、
評価ユニット（３）とを有しており、
前記２Ｄカメラシステム（２）は、地面領域を検出するように構成されており、
前記評価ユニット（３）は、
前記カメラ画像（４）内であらかじめ定めた複数の評価ライン上の複数の輝度経過を求め、複数の前記あらかじめ定めた評価ライン（５ａ，５ｂ）上での複数の輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）を求め、
複数の前記輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）が、あらかじめ定めた個数を上回って１つの直線上にある場合に、当該直線に対応する駐車スペースマーク（６，９）および／または歩道縁石エッジ（１２）が存在すると判定する
ように構成されている、
ことを特徴とする、車両を自動駐車するための駐車ロボット。

【請求項7】

請求項６に記載の駐車ロボットにおいて、
前記評価ユニット（３）はさらに、
前記車両を基準にして、複数の前記評価ライン（５ａ，５ｂ）上に結像される前記地面領域の位置を求めるように構成されている、
ことを特徴とする駐車ロボット。

【請求項8】

請求項６または７に記載の駐車ロボットにおいて、
前記評価ユニット（３）はさらに、
複数の前記輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）が、あらかじめ定めた個数を上回って平行な２つの直線上にある場合に、当該２つの直線に対応する駐車スペースマーク（６，９）が存在すると判定するように構成されている、
ことを特徴とする駐車ロボット。

【請求項9】

請求項６から８までのいずれか１項に記載の駐車ロボットにおいて、
少なくとも２つのカメラ画像（４）によって複数の前記輝度跳躍（７ａ，８ａ，１０ａ，１１ａ）を求める、
ことを特徴とする駐車ロボット。

【請求項10】

請求項９に記載の駐車ロボットにおいて、
前記少なくとも２つのカメラ画像（４）は、前記２Ｄカメラシステム（２）の相異なる位置において撮影したカメラ画像（４）である、
ことを特徴とする駐車ロボット。

【発明の詳細な説明】

【技術分野】

【0001】

従来の技術
本発明は、つぎのような方法および対応する装置に関しており、この方法ないしはこの装置によれば、車両はあらかじめ定められた駐車位置を識別することができるか、ないしはあらかじめ定められた駐車位置に対して自車の相対位置および配向を確認することができる。したがって本発明が対象とするものは、ドライバアシストシステムにおいて駐車時にドライバをサポートするために使用するのに適しており、ならび、車両を自動的に駐車するためのシステムに使用するのに適しているのである。

【0002】

EP 2 093 129 A2には、駐車アシストシステムおよび対応する方法が示されており、ここでは駐車スペースマークを識別するための手段が設けられており、この手段により、駐車スペースマークの方向を識別することができる。

【0003】

US 2008/0140286 A1には、駐車スペース境界線を抽出する手段を有する駐車スペースマーク識別装置が示されており、この識別装置は、車両尾部からカメラ画像を受け取る。ここでは比較ユニットにより、３次元的な突き合わせよって駐車スペース境界線の方程式を求める。

【0004】

公知の従来技術から出発して本発明が課題とするのは、できる限り少ない記憶コストおよび計算コストで、またコスト的に有利なハードウェアで駐車スペース境界部の位置を求められるようにする方法および装置を提供することである。

【0005】

発明の開示
本発明の課題は、請求項１の特徴部分に記載した特徴的構成を有する、あらかじめ定められた駐車位置を位置特定する方法により、また請求項５に記載した対応する装置によって解決される。本発明の範囲内において駐車位置とは、駐車場として識別できるようにマーキングされたあらかじめ定められた駐車位置のことである。これは一般的に複数の直線の境界線によって定められ、これらの境界線は、車道の表面コーティングに依存して、着色されたマーキング、異なる色の石（玉石舗装の場合ないしは複数の個別部材からなる別の車道表面コーティング）、ならびに、例えばアルミニウム製のマーキング鋲などの付加的に車道表面に被着された部材によって実現される。歩道縁石のエッジが、あらかじめ定められる駐車スペースの側方または前方の境界線を構成することも多い。本発明において、あらかじめ定められた駐車位置の位置特定とは、車両を基準にして上記のあらかじめ定められた駐車位置の位置および向きを求める過程のことである。本発明では、車両周囲の地面領域を光学式２Ｄカメラシステムによって撮影する（すなわち「写真複写する」）。このため、例えば、駐車アシスタントを目的としていずれにせよ設けられているバックカメラ、ないしは交通標識識別用または別のドライバアシストシステム用に車両フロント領域に配置されたカメラを使用する。本発明ではさらに、上記のカメラ画像内のあらかじめ定めた複数の評価ライン上で、個々の「フレーム」すなわち複数の画像において輝度経過を求めるようにする。これらの評価ラインは有利には上記のカメラ画像の実質的な領域をカバーして、例えばマーク鋲によって駐車位置境界部が途切れている場合でも、十分な個数の評価ラインにより、駐車スペース境界の領域が検出されるようにする。実践的には上記のライン間の間隔は、検出される車道表面の１メートル当たりに約６個から２０個の、有利には８個から１４個の評価ラインを設ければよいことが実証されている。引き続いて上記のあらかじめ定めた評価ライン上にある画素の輝度経過を求める。ここで本発明が利用するのは、駐車位置境界線というものは一般的に、残りの車道表面コーティングに対する光学的なコントラストの最小尺度により、ドライバも識別できるようにマーキングされていることである。これらのマーキングが、周囲の車道表面コーティングよりも明るいかまたは暗いかはこの際に重要ではない。あらかじめ定めた評価ライン上で輝度跳躍を求める際、従来の境界線の場合には、第１の輝度値から第２の輝度値への第１の輝度跳躍に接近して、第２の輝度値から第１の輝度値に戻る跳躍が続くことが予想されている。１つの方向において十分な個数の輝度跳躍が確認される場合に仮定することができるのは、これらの輝度跳躍が、駐車スペース境界線の長手方向に対応することである。複数の輝度跳躍がこれとは逆方向に平行に存在する場合、仮定することができるのは、これらの輝度跳躍が、駐車スペース境界線の反対側に対応することである。したがって複数の評価ライン上の複数の輝度経過から、車道ないしは舗道表面と、駐車スペース境界線との間の境界を求めることができ、この際に２Ｄカメラ画像からラインの幾何学形状を抽出するための複雑なアルゴリズムを実行する必要はないのである。

【0006】

従属請求項には、本発明の有利な実施形態が示されている。

【0007】

本発明による方法はさらに、車両を基準にして、上記の複数の評価ライン上に結像される地面領域の位置を求めるステップを有することができる。上記の複数の評価ラインがカメラ画像内で固定されており、このカメラが車両に対して固定されている場合、この車両が４つのすべてのホイールで１つの平坦な地面上にあることを仮定すると、上記の複数の評価ラインと、結像される地面領域との対応付けは殊に容易に行うことができる。このような配置構成において、上記のカメラ画像内の複数の評価ラインはつねに、結像される複数の地面領域上にあり、これらの地面領域は、車両に対して同じ位置を有する。したがってカメラ画像内の複数の評価ラインからなる群は、複数の１次方程式によってマッピングすることができ、これらの１次方程式を用いれば１つの輝度跳躍と、２Ｄカメラシステムによって検出した１つの地面領域とを一意に対応付けることができるのである。

【0008】

十分な個数の評価ラインに対して１つの輝度跳躍が求められ、求めた複数の輝度跳躍が、地面領域上の１つのラインに対応付けられるようにこれらの求めた輝度跳躍が互いに位置する場合、１つの駐車スペース境界（駐車スペースマークおよび／または歩道縁石エッジ）が存在することを判定することができる。このようにして識別される駐車スペース境界は、車両の駐車およびドライバアシストシステムにおいて、あらかじめ定められた駐車位置を位置特定するために使用することができる。

【0009】

有利にはさらに、１つの評価ライン上の複数の輝度跳躍をチェックして、あらかじめ定めた間隔領域に、上記の評価ライン上に逆方向の輝度跳躍が（明から暗ないしは暗から明の）あるか否かについて判定するようにすることが可能である。上記のあらかじめ定めた間隔領域は、例えば、式として決定することができる（例えば２ｍ＜ｘ＜４ｍ）。これにより、地面領域における複数の輝度跳躍によって識別したラインの妥当性検査を行って、これが実際に駐車スペース境界部ないしは歩道縁石に対応付けることができるか否か、または第２の駐車スペースマークに対する対応する形状を対象としない（例えばゼブラゾーンまたは導流帯）ようにすることができる。したがってあらかじめ定めた閾値を上回る上記の複数の輝度領域があらかじめ定めた間隔領域内で互いに並んでいる場合だけ、対応する第２の駐車スペース境界を推定するのである。

【0010】

有利にはさらに、複数の輝度跳躍を上記のカメラシステムの１つ以上の画像にわたって求めることができる。車両が移動する場合には多くのエラー（例えばカメラレンズの汚れ、ピクセルエラー）を補正することができ、これは、地面領域の対応する複数の点を、カメラ画像の相異なる複数の点にマッピングすることによって行われる。この際には車両のオドメトリデータを使用して画像の相関付けをサポートする。

【0011】

本発明の別の態様によれば、あらかじめ定められた駐車位置を位置特定する装置が提案される。この装置には、車両ベースの２Ｄカメラシステムおよび評価ユニットが含まれている。この車両ベースの２Ｄカメラシステムは、バックカメラおよび／または交通標識検出のためのカメラを含むことができ、または上記の評価ユニットは、車両に設けられている制御装置、例えばヘッドユニットによって構成することができる。したがって本発明の上記の具体的な特徴的構成は別の目的にも適しており、車両における別の目的に対しても設けることができるため、例えば、上記のヘッドユニット内に実施されるプログラムコードの形態でロジックを実現することにより、本発明にしたがって上記のコンポーネントを構成することを制限することができる。本発明の上記の複数のステップは、本発明による方法の上で説明した方法ステップに相応する。

【0012】

本発明の別の態様によれば、駐車時にドライバをサポートするドライバアシストシステムまたは自動駐車のためのシステムが提供される。このシステムは、本発明の方法により、あらかじめ定められた駐車位置の位置特定を実行する。このため、上記のドライバアシストシステムは、あらかじめ定められた駐車位置を位置特定する本発明の装置を含むか、またはこのような装置を使用することが可能である。

【図面の簡単な説明】

【0013】

【図1】駐車スペースの前にある、本発明の装置が備え付けられた車両の斜視図である。

【図2】図１の駐車スペースの像の基本図である。

【図3】図２の評価ライン５ａに沿った輝度特性図（３ａ）および評価ライン５ｂに沿った輝度特性図（３ｂ）である。

【図4】本発明による方法の１つの実施例によるステップを視覚的に説明する流れ図である。

【0014】

以下では添付の図面を参照して本発明の実施例を詳しく説明する。

【0015】

本発明の実施形態
図１には２Ｄカメラシステム２が備え付けられた車両１が示されている。この２Ｄカメラシステム２は、車両１の尾部領域に配置されており、またこの車両の後方にある（地面）領域に配向されている。さらに車両１には、評価ユニット３が設けられており、この評価ユニットは、カメラシステム２の画像信号を受信する。評価ユニット３は、記憶手段１４に接続されており、また分析のため、殊にフレーム間にわたる相関付けを行うため、カメラ画像をこの記憶手段に記憶し、またここから再び呼び出すことができる。車両の後方には、平行な２つの駐車スペースマーク６，９と、これらの駐車スペースマーク６，９に対して実質的に垂直に配置された歩道縁石１２とがある。第１の駐車スペースマーク６は、第１の辺７および第２の辺８を有しており、駐車スペースマーク６は、これらの辺においてアスファルトの表面に接している。これと同様に第２の駐車スペースマーク９は、第１の辺１０および第２の辺１１を有しており、これらの辺においてその下にあるアスファルトの表面に接している。

【0016】

図２には、図１のカメラシステム２の見え方の例が示されている。図１に関連して説明した上記のあらかじめ定められた駐車位置の構成部分の他に、この図には複数の評価ライン５が重ね合わされている。図示の実施例において水平方向の複数の評価ライン５ａおよび垂直方向の複数の評価ライン５ｂはそれぞれ互いに平行に配向されており、カメラ画像全体を貫いている。

【0017】

図３ａには１つの評価ライン５ａに沿った輝度経過の例が示されている。横軸には上記の位置が負の車両横向きにプロットされているのに対し、縦軸には光強度がプロットされている。さらに輝度閾値１３の１つの例が、破線として書き込まれている。この破線は、輝度跳躍をおそらく駐車スペースマーキングに属し得ると分類するために使用することができる。一般的な測定ノイズないしは地面の色の不均一性を無視すれば、第２の駐車スペースマークの第１の辺の輝度跳躍が識別でき、ここでは、閾値１３を上回る大きな輝度を有する領域が続いている。これには第２の駐車スペースマークの第１の辺の負の輝度跳躍１０ａが続いており、この第２の駐車スペースマーク以降、上記の輝度は閾値１３を下回り、アスファルトに相応する輝度に低下している。駐車スペース境界線の間隔に対応する間隔の後、閾値１３を上回る強度値の正の輝度跳躍８ａを識別することができ、この強度値の後、この強度レベルは、第２の負の輝度跳躍７に達すると、再び閾値１３を下回って通常値に低下する。

【0018】

図３ｂには、図２の１つの評価ライン５ｂに沿った輝度経過が示されている。評価ライン５ｂは、歩道縁石１２の像だけと交差しており、その輝度特性１２ａは、歩道縁石１２の垂直方向の辺だけに対して閾値１３を上回っている。歩道縁石は一般的に車線マークないしは駐車スペースマーク６，９よりもやや暗いため、この輝度特性１２ａは、かろうじて駐車スペース境界として識別ないしは分類される。

【0019】

図４には、本発明による方法の１つの実施例のステップを視覚的に説明する流れが示されている。この方法は、例えば、ドライバないしは上記のシステムのユーザによる点火のスイッチオンないしはリバースギアに入れる動作または機能の操作によって開始され、これによってドライバないしはユーザはその望みを表明して、本発明による方法を実行することができる。当然のことながらこのような命令は、この車両に組み込まれたドライバアシストシステムまたは駐車ロボットによって与えることも可能である。ステップ１００では２Ｄカメラシステム２によって画像が撮影され、評価ユニット３に伝送される。ステップ２００では評価ユニット３においてこのカメラ画像に複数の評価ラインが重ね合わされ、これらの評価ライン上でカメラ画像の輝度経過が求められる。例えば、評価ラインはそれぞれ、２Ｄカメラシステム２内の画像センサの並んで配置される複数のピクセルに相応することが可能である。ステップ３００では、あらかじめ定めた閾値１３を上回るコントラストを有する十分な個数の輝度跳躍が上記のカメラ画像に含まれているか否かがチェックされる。これが存在しない場合（Ｎ）、この方法はステップ１００において改めてカメラ画像の撮影を行う。上記のカメラ画像内に十分な個数の輝度跳躍が求められた場合（Ｙ）、ステップ４００において、互いに対応する２つの輝度跳躍（すなわちそれぞれ「明」から「暗」へのないしは「暗」から「明」への輝度跳躍）が、写真複写した地面領域における１つの直線に対応するか否かチェックされる。言い換えると、ステップ４００で求められるのは、上記の複数の輝度跳躍を１つの駐車スペースマークないしは１つの歩道縁石に対応付けることができるか否かである。対応付けることができない場合（Ｎ）、この方法はステップ１００において継続される。十分な個数の輝度跳躍が、地面領域の１つの直線に対応付けられる場合（Ｙ）、ステップ５００で求められるのは、あらかじめ定めた間隔領域内で、上記の求めた複数の１つの方向の輝度跳躍と、これとは平行に配置された複数の逆方向の輝度跳躍とを対応付けることができるか否かである。言い換えると、ステップ５００で求められるのは、駐車スペース境界の求めた上記の直線的な輝度経過と、所定の幅とを対応付けることができるか否かが求められるのである。対応付けられない場合（Ｎ）、この方法はステップ１００において継続される。あらかじめ定めた濃さで駐車スペース境界が求められる場合、上記の評価ユニットは、求めた駐車スペース境界の位置および長さを求めて、これらの情報を場合によってはドライバアシストシステムないしは駐車ロボットに伝送することができる。引き続いてステップ７００において、あらかじめ定めた中断条件が満たされるか否かをチェックすることができる。この中断は、例えば、車両１の点火を遮断するか、またはユーザ入力により、本発明による方法を停止したいというユーザの望みを識別させることによって行うことができる。最終的には、あらかじめ定められた駐車位置を位置特定する本発明の方法を使用する、後置接続された上記のドライバアシストシステムないしは駐車ロボットも、対応する中断条件を送信することができる。中断条件が満たされない場合（Ｎ）、この方法にステップ１００において新たに開始される。この中断条件が満たされる場合（Ｙ）、この方法は終了する。

【0020】

本発明の核心をなすアイデアは、２Ｄカメラ画像を使用してあらかじめ定められた駐車位置を識別し、これを駐車スペースマークないしは駐車スペース境界部を抽出する１次元システムに還元することである。このために、カメラ画像内のあらかじめ定めかつ既知の複数の評価ラインに基づいて複数の輝度経過を測定し、駐車スペース境界の、その他の車道表面コーティングないしは舗装に対する光学的なコントラストを使用して、駐車スペース境界を識別するのである。ここでは１次元の複数の輝度経過から、あらかじめ定めた駐車位置の有無を推定するために種々異なるアルゴリズムが提案される。

【0021】

上で述べた本発明の特徴的構成および態様を添付の図面に基づいて詳しく説明したが、当業者は上記の方法ないしは装置の多くの修正および拡張が可能である。これらの修正および拡張はすべて、添付の特許請求の範囲だけによって規定される本発明の方法の範囲にあると見なすべきである。

【図1】

【図2】

【図3a】

【図3b】

【図4】