【文献】
岩佐 和真 Kazumasa Iwasa,駐車車両検出のためのテンプレート画像の自動作成 Automatic Generation of Template Images for Detecting Vehicles in Parking Lots,電気学会論文誌C Vol.127,No.3 IEEJ,日本,(社)電気学会 The Institute of Electrical Engineers of Japan,2007年3月1日,第127巻,338−344ページ
(58)【調査した分野】(Int.Cl.,DB名)
前記駐車区画補正部は、前記目標駐車区画に隣接する駐車区画のうち、前記車両に近接した側の駐車区画の検出結果に基づいて、前記目標駐車区画の位置を補正することを特徴とする請求項1または請求項2に記載の車両用駐車区画認識装置。
前記駐車区画補正部は、設定された前記目標駐車区画に隣接する駐車区画を含む複数の駐車区画をそれぞれ構成する各駐車区画線の検出結果に基づいて、前記目標駐車区画の位置を補正することを特徴とする請求項1または請求項2に記載の車両用駐車区画認識装置。
前記車両に備えられて、前記車両の周囲において路面から高さのある物体を検出する物体検出部を有し、前記物体によって前記目標駐車区画が隠蔽されているときには、前記駐車区画補正部において前記目標駐車区画の位置の補正を行わないことを特徴とする請求項1から請求項4のいずれか1項に記載の車両用駐車区画認識装置。
設定された前記目標駐車区画に対して、前記車両の現在位置から前記目標駐車区画の近傍に至る初期経路を生成する初期経路生成部を有し、前記目標駐車区画が位置の補正がなされた目標駐車区画であるときには、前記車両が前記初期経路に沿って移動した後で、移動後の位置において再度撮像された前記車両周囲の画像の中から前記駐車区画検出部が前記目標駐車区画を再検出して、再検出された前記目標駐車区画の位置と方位に基づいて前記目標駐車区画に駐車させる際の駐車経路を算出することを特徴とする請求項1から請求項6のいずれか1項に記載の車両用駐車区画認識装置。
【発明を実施するための形態】
【0011】
以下、本発明に係る車両用駐車区画認識装置の具体的な実施形態について、図面を参照して説明する。
【実施例1】
【0012】
本実施例は、設定された目標駐車区画に車両を自動的に駐車させるものである。
【0013】
(ハードウェア構成の説明)
まず、本装置のハードウェア構成について
図1と
図2を用いて説明する。本実施例の車両用駐車区画認識装置10aは、
図1に示す車両100に実装されている。車両100の前後左右には、
図1に示すように複数の小型カメラが備えられている。
【0014】
具体的には、車両100のフロントバンパまたはフロントグリルには、車両100の前方に向けて前方カメラ20aが装着されている。また、車両100のリアバンパまたはリアガーニッシュには、車両100の後方に向けて後方カメラ20bが装着されている。そして、車両100の左ドアミラーには、車両100の左側方に向けて左側方カメラ20cが装着されており、車両100の右ドアミラーには、車両100の右側方に向けて右側方カメラ20dが装着されている。
【0015】
前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、4台のカメラで車両100の周囲の路面を含む領域を漏れなく観測することができるようになっている。
【0016】
さらに、
図1に示すように、車両100の前後左右には、ソナー30a,30b,30c,30d,30e,30fからなる測距装置が装着されている。
【0017】
具体的には、車両100のフロントバンパやフロントグリルには、車両100の前方に向けてソナー30aが装着されている。また、車両100の左側方部には、車両100の左側方に向けてソナー30b,30cが装着されている。そして、車両100のリアバンパやリアガーニッシュには、車両100の後方に向けてソナー30dが装着されており、車両100の右側方部には、車両100の右側方に向けてソナー30e,30fが装着されている。
【0018】
これらのソナー30a〜30fは、それぞれ水平方向に広がった測距範囲を有しており、全てのソナー30a〜30fを合わせて、車両100の周囲を漏れなく測距できるようになっている。
【0019】
なお、ソナー30a〜30fの代わりに、ミリ波レーダ等のレーダ装置を設置しても構わない。一般に、レーダはソナーに対して遠方の測距性能に優れるため、自動駐車を行う際に必要となる車両100の周囲の距離範囲の大きさに基づいて、使用するセンサを適宜選択すればよい。
【0020】
車両用駐車区画認識装置10aは、
図2に示す各ユニットから構成される。すなわち、車両用駐車区画認識装置10aは、車両100に搭載された、前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dと、これらのカメラを制御するとともに、駐車区画の検出,目標駐車区画の設定,駐車区画の位置補正等の処理を行うカメラECU22と、前述したソナー30a〜30fと、これらのソナー30a〜30fを制御するとともに車両100の周囲の障害物の検出を行うソナーECU32を有する。また、車両用駐車区画認識装置10aを動作させた際に必要な情報を表示する、タッチパネル機能を有するモニター41を備えている。
【0021】
さらに、車両用駐車区画認識装置10aは、自動駐車の開始を指示する自動駐車開始スイッチ29を備えるとともに、カメラECU22およびソナーECU32で検出された情報に基づいて、自動駐車を行う際の目標駐車区画候補を決定して、さらに、車両100が採るべき進入方向を決定する車両制御ECU64を有する。そして、車両制御ECU64で決定した車両制御情報に基づいて、車両100の操舵角を制御するステアリング制御ユニット70と、車両100のスロットルを制御するスロットル制御ユニット80と、車両100のブレーキを制御するブレーキ制御ユニット90と、を備えている。
【0022】
また、車両用駐車区画認識装置10aは、車両100の現在位置を特定するために必要な情報および自動駐車を行う際に車両100の車速と操舵角を制御するために必要な情報を取得する車輪速センサ93,舵角センサ94,ヨーレートセンサ95,シフト位置センサ96をそれぞれ備えている。
【0023】
ステアリング制御ユニット70は、パワステアクチュエータ72を駆動して、車両100の操舵角を制御する。
【0024】
スロットル制御ユニット80は、スロットルアクチュエータ82を駆動して、車両100のスロットルを制御する。
【0025】
ブレーキ制御ユニット90は、ブレーキアクチュエータ92を駆動して、車両100のブレーキを制御する。
【0026】
なお、カメラECU22およびソナーECU32と、車両制御ECU64との間は、車両100の車内に敷設されたネットワークである、例えばCAN(登録商標)(Controller Area Network)で構成されたセンサ情報系ネットワーク55に接続されている。また、ステアリング制御ユニット70,スロットル制御ユニット80,ブレーキ制御ユニット90と、車両制御ECU64との間は、車両100の車内に敷設されたネットワークである、例えばCAN(登録商標)で構成された車両情報系ネットワーク56に接続されている。
【0027】
ここで、
図2において、ソナー30a〜30fの代わりに、
図2に非図示のレーダを設置しても構わない。なお、レーダを設置したときは、レーダを制御するとともに、車両100の周囲の障害物の検出を行う、
図2に非図示のレーダECUが設置される。
【0028】
ソナー30a〜30fとレーダは、それぞれ測距範囲が異なるため、もちろん、両者を混在させても構わない。また、測距機能を実現するために、前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dで、異なる時間に撮像された画像同士をそれぞれ比較することによって障害物を検出する、いわゆるモーションステレオ機能を実装しても構わない。以後、説明を簡単にするため、車両用駐車区画認識装置10aには、測距手段としてソナー30a〜30fとソナーECU32のみが実装されているものとする。
【0029】
(実施例1の機能構成の説明)
次に、
図3を用いて、車両用駐車区画認識装置10aの機能構成について説明する。車両用駐車区画認識装置10aは、車両100に搭載された、撮像部20と、距離計測部30と、俯瞰変換部40と、画像合成部42と、白線検出部44と、駐車区画検出部46と、目標駐車区画設定部48と、駐車区画補正部50と、駐車経路生成部60と、自動駐車実行部62と、からなる。
【0030】
撮像部20は、
図1,
図2に示した前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dからなり、車両100の周囲の画像を撮像する。
【0031】
距離計測部30(物体検出部)は、
図1,
図2に示したソナー30a,30b,30c,30d,30e,30fからなり、車両100の周囲の測距を行い、路面と異なる高さにある物体を検出する。
【0032】
俯瞰変換部40は、撮像部20を構成する各カメラ(前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20d)で撮像された画像を、それぞれ、路面を真上から俯瞰した俯瞰画像に変換する。
【0033】
画像合成部42は、俯瞰変換部40において変換された各俯瞰画像を1枚の画像に合成する。
【0034】
白線検出部44は、画像合成部42で生成された画像の中から、駐車区画の境界線を構成する白線や黄色線を検出する。詳しい処理の内容は後述する。
【0035】
駐車区画検出部46は、白線検出部44における白線や黄色線の検出結果に基づいて、これらの白線や黄色線によって形成される駐車区画を検出する。詳しい処理の内容は後述する。
【0036】
目標駐車区画設定部48は、車両100を駐車させる目標駐車区画を設定する。詳しい処理の内容は後述する。
【0037】
駐車区画補正部50は、設定された駐車区画の端点位置と方位のうち少なくとも一方を補正する。詳しい処理の内容は後述する。
【0038】
駐車経路生成部60は、車両100の現在位置から目標駐車区画までの駐車経路を生成する。詳しい処理の内容は後述する。
【0039】
自動駐車実行部62は、駐車経路生成部60で生成された駐車経路に沿うように、車両制御ECU64(
図2)の指示によって車両100の車速,操舵角,ブレーキをそれぞれ制御して車両100の自動駐車を実行する。詳しい処理の内容は後述する。
【0040】
(実施例1における処理の流れの説明)
以下、車両用駐車区画認識装置10aで行われる処理の全体の流れについて、
図4を用いて説明する。
【0041】
(ステップS10)俯瞰変換部40(
図3)において俯瞰画像の生成処理を行う。
【0042】
(ステップS20)白線検出部44(
図3)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。
【0043】
(ステップS50)駐車区画検出部46(
図3)において、駐車区画を検出する駐車区画検出処理を行う。
【0044】
(ステップS100)目標駐車区画設定部48(
図3)において、目標駐車区画を設定する目標駐車区画設定処理を行う。
【0045】
(ステップS150)駐車区画補正部50(
図3)において、必要に応じて、駐車区画の位置と方位の補正を行う駐車区画補正処理を行う。
【0046】
(ステップS200)駐車経路生成部60(
図3)において、車両100の現在位置から目標駐車区画に至る駐車経路を生成する。
【0047】
(ステップS250)自動駐車実行部62(
図3)において、車両100を目標駐車区画PFに自動駐車させる。
【0048】
なお、
図4のフローチャートには記載していないが、距離計測部30(物体検出部)によって路面と異なる高さにある物体(例えば、路面上にある障害物、あるいは路面に生じた穴等)が検出されて、なおかつ、その物体が目標駐車区画の駐車区画線を隠蔽する位置にあるときは、目標駐車区画の位置補正を行わないようにして、別の目標駐車区画を設定する旨を、車両100の乗員に提示する。あるいは、車両100の周囲で障害物が検出されたときには、その障害物の近傍では白線検出部44による白線検出を行わないようにしてもよい。
【0049】
以下、
図4に記載した各ステップで行われる処理の詳細な内容について、順を追って説明する。
【0050】
(俯瞰画像の生成処理の説明)
図5Aは、車両100に設置された前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20d(
図3の撮像部20)でそれぞれ撮像される画像の例を示す図である。
図5Aに示すように、各カメラには、車両100の周囲の路面を含む画像が、透視変換された状態で観測される。なお各カメラには、できるだけ広範囲を撮像することができるように、魚眼レンズや超広角レンズ等の画角の広いレンズが装着されている。
【0051】
図5Bは、
図5Aに示した各画像(If(x,y),Il(x,y),Ir(x,y),Ib(x,y))を、それぞれ車両100を真上から見下ろした俯瞰画像(Ife(x,y),Ile(x,y),Ire(x,y),Ibe(x,y))に変換して、さらに各俯瞰画像を合成して、1枚の俯瞰合成画像Ie(x,y)を生成した例を示す図である。
【0052】
撮像部20で撮像された画像は、上空の予め決められた位置に設けた視点位置から、所定距離だけ下にある平面状の路面を観測しているものと仮定して座標変換を行うことによって、俯瞰画像に変換される。そして、各カメラ(前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20d)の設置位置の相対関係は予めわかっているため、各俯瞰画像は所定の位置関係になるように合成されて、1枚の俯瞰合成画像Ie(x,y)とすることができる。そして、俯瞰合成画像Ie(x,y)の中心部分は死角になるため、車両100を真上から見下ろした状態を示すアイコン110が表示される。
【0053】
(白線検出処理の説明)
図6は、実施例1における白線検出処理(
図4のステップS20)の流れを示すフローチャートである。ここでいう白線とは、駐車区画の境界線を構成する白線のことである。なお、駐車区画の境界線は白線以外の、例えば黄色線によって形成される場合もあるため、ここで検出される白線は「白い線」に限定されるものではない。すなわち、一般に、路面との間にコントラストを有する境界線を検出する処理が行われる。以下、
図6に示す各ステップの処理内容について、順を追って説明する。
【0054】
(ステップS22)先に生成した俯瞰合成画像Ie(x,y)を読み出す。
【0055】
(ステップS24)俯瞰合成画像Ie(x,y)の中からエッジを検出する。
【0056】
(ステップS26)エッジが検出された画像を一定方向(例えば、
図5Bの俯瞰合成画像Ie(x,y)を
図5Bのx軸方向)にスキャンして、画像の濃淡値が所定値以上の差をもってより明るく変化する立上りエッジ位置と、逆により暗く変化する立下がりエッジ位置をそれぞれ抽出する。なお、スキャンの方向は、路面に引かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、駐車区画線が車両を表すアイコン110と直交する方向に延びているときには、
図5Bにおいてy軸方向にスキャンするのが望ましい。一般には、駐車区画線が延びている方向は未知であるため、
図5Bにおけるx軸方向とy軸方向にそれぞれ沿って、2回に分けてスキャンしてもよい。
【0057】
(ステップS28)同じスキャンライン上にある立上りエッジ位置と立下がりエッジ位置のペアを探す。
【0058】
(ステップS30)ステップS28で抽出された立上りエッジ位置と立下がりエッジ位置のペアをグルーピングする。
【0059】
(ステップS32)連続する立上りエッジ位置同士で構成される線分および連続する立下がりエッジ位置同士で構成される線分の長さによるフィルタリングを行い、所定の長さに満たない、連続する立上りエッジ位置および連続する立下がりエッジ位置を除去する。この処理によって、
図8に示す駐車区画線K1,K2が検出される。
【0060】
(ステップS34)長さによるフィルタリングの結果残った、連続する立上りエッジ位置同士で構成される線分および連続する立下がりエッジ位置同士で構成される線分の各端点位置を算出する。その後、
図6の処理を終了してメインルーチン(
図4)に戻る。
【0061】
(駐車区画検出処理の説明)
図7は、実施例1における駐車区画検出処理(
図4のステップS50)の流れを示すフローチャートである。また、
図8は、駐車区画検出結果の一例を示す図である。以下、
図7に示す各ステップの処理内容について、
図8を参照しながら順を追って説明する。
【0062】
(ステップS52)白線検出処理(
図6)によって検出された線分のうち、駐車区画を形成する可能性のある隣接する2本の線分を選択する。ここで選択される2本の線分は、駐車区画を仕切る駐車区画線の延伸方向の左右両端を構成する線分である。すなわち、立上りエッジ位置同士で構成される線分と、連続する立下がりエッジ位置同士で構成される線分である。
【0063】
(ステップS54)選択された2本の線分の角度θL(1),θR(1)(
図8)の差が、しきい値Th_θmax以下であるか否かを判定する。条件を満足するときはステップS56に進み、それ以外のときはステップS64に進む。
【0064】
(ステップS56)選択された2本の線分の間隔W(
図8)が、しきい値Th_Wmin以上、かつしきい値Th_Wmax以下であるか否かを判定する。条件を満足するときはステップS58に進み、それ以外のときはステップS64に進む。
【0065】
(ステップS58)選択された2本の線分の下端のずれB(
図8)が、しきい値Th_Bmin以上、かつしきい値Th_Bmax以下であるか否かを判定する。条件を満足するときはステップS60に進み、それ以外のときはステップS64に進む。
【0066】
(ステップS60)2本の線分を左右端として構成される領域を駐車区画PF(i)として駐車区画検出部46(
図3)に登録する。
図8にあっては、駐車区画PF(1)が登録される。
【0067】
(ステップS62)左右両端の端点位置である駐車区画線位置(PL(i),PR(i))および駐車区画線の方位θm(i)を、それぞれ駐車区画検出部46(
図3)に登録する。
図8にあっては、駐車区画線位置(PL(1),PR(1))および駐車区画線の方位θm(1)がそれぞれ登録される。
【0068】
(ステップS64)全ての線分の組み合わせに対して確認を行ったか否かを判定する。条件を満足するときは
図7の処理を終了してメインルーチン(
図4)に戻る。それ以外のときはステップS52に戻る。
【0069】
(目標駐車区画設定処理の説明)
図9は、実施例1における駐車区画検出処理(
図4のステップS50)の流れを示すフローチャートである。以下、
図9に示す各ステップの処理内容について、順を追って説明する。
【0070】
(ステップS102)駐車区画検出処理(
図4のステップS50)によって検出された車両周囲の駐車区画をモニター41(
図2)に表示する。
【0071】
(ステップS104)ユーザが駐車区画PF(i)を1つ選択したか否かを判定する。条件を満足するときはステップS106に進み、それ以外のときはステップS108に進む。なお、駐車区画PF(i)の選択は、例えば、モニター41(
図2)が有するタッチパネル機能を利用して、所望の駐車区画PF(i)の位置を押下することによって行う。
【0072】
(ステップS106)選択された駐車区画PF(i)を目標駐車区画PFに設定する。その後、
図9の処理を終了してメインルーチン(
図4)に戻る。
【0073】
(ステップS108)車両100の前輪車軸中心に最も近い駐車区画PF(i)を目標駐車区画PFに設定する。その後、
図9の処理を終了してメインルーチン(
図4)に戻る。
【0074】
(駐車区画補正処理の説明)
図10は、実施例1における駐車区画補正処理(
図4のステップS150)の流れを示すフローチャートである。また、
図11A,
図11Bは、駐車区画補正処理の一例を示す図である。以下、
図10に示す各ステップの処理内容について、
図11A,
図11Bを参照しながら順を追って説明する。
【0075】
(ステップS152)目標駐車区画設定処理(
図9)で設定された目標駐車区画PFおよび駐車区画検出処理(
図7)で検出された駐車区画PF(i)を読み出す。ここでは、
図11Aに記載した駐車区画PF(3)が目標駐車区画PFとして設定されたものとして説明を行う。
【0076】
(ステップS154)目標駐車区画PFの自車両側に複数の駐車区画PF(i)が検出されているか否かを判定する。条件を満足するときはステップS156に進み、それ以外のときはステップS170に進む。例えば
図11Bにあっては、目標駐車区画PFとして設定された駐車区画PF(3)の自車両側に複数の駐車区画PF(1),PF(2)が検出されているため、ステップS156に進む。
【0077】
(ステップS156)複数の駐車区画PF(i)の平均方位θmを算出する。例えば
図11Aにあっては、駐車区画PF(1),PF(2)の各方位θm(1),θm(2)(
図8参照)の平均値として平均方位θmが算出される。
【0078】
(ステップS158){θm−θL(i)}の絶対値がしきい値TH_θよりも大きいか否かを判定する。条件を満足するときはステップS160に進み、それ以外のときはステップS162に進む。例えば
図11Aにあっては、{θm−θL(i)}の絶対値がしきい値TH_θよりも小さいものとする。すなわち、ステップS162に進む。
【0079】
(ステップS160)θL(i)をθmに補正する。
【0080】
(ステップS162){θm−θR(i)}の絶対値がしきい値TH_θよりも大きいか否かを判定する。条件を満足するときはステップS164に進み、それ以外のときはステップS166に進む。例えば
図11Aにあっては、{θm−θR(i)}の絶対値がしきい値TH_θよりも小さいものとする。すなわち、ステップS166に進む。
【0081】
(ステップS164)θR(i)をθmに補正する。
【0082】
(ステップS166)検出された複数の端点位置である駐車区画線位置(PL(i),PR(i),i=0,1,2,…)によって定まる基準直線Lを最小二乗法によって決定する。例えば
図11Bにあっては、基準直線Lが決定される。
【0083】
(ステップS168)基準直線Lに基づいて、目標駐車区画PFの端点の位置を補正して、駐車区画補正部50(
図3)に記憶する。例えば
図11Bにあっては、駐車区画線位置PR(3)が、駐車区画線位置PR(3)を含む駐車区画線の内側をなす線分の延長線Mが基準直線Lと交わる位置、すなわち、
図11Bに示す駐車区画線位置PR’(3)に補正される。その後、
図10の処理を終了してメインルーチン(
図4)に戻る。
【0084】
(ステップS170)目標駐車区画PFの端点の位置は補正しない。その後、
図10の処理を終了してメインルーチン(
図4)に戻る。
【0085】
(駐車経路生成処理の説明)
駐車経路生成部60(
図3)は、駐車区画補正処理を行った目標駐車区画PFに対して、車両100を現在位置から目標駐車区画PFまで移動させる駐車経路を生成する。生成される駐車経路には、駐車を完了するまでの距離が最短になる駐車経路、車両100の前端から駐車する駐車経路、切り返し回数ができるだけ少ない駐車経路等、様々なバリエーションが考えられるため、車両100の乗員から、生成する経路に関する条件提示を行って、適切な駐車経路を選択するようにしてもよい。
【0086】
(自動駐車実行処理の説明)
自動駐車実行部62(
図3)は、駐車経路生成部60で生成された駐車経路に沿うように車両100の車速,操舵角,ブレーキをそれぞれ制御して、車両100の自動駐車を実行する。具体的には、
図2において、車両100のシフト位置をシフト位置センサ96で検出し、車速を車輪速センサ93で検出し、操舵角を舵角センサ94で検出して,スロットルアクチュエータ82とブレーキアクチュエータ92をそれぞれ制御して車速をコントロールする。さらに、パワステアクチュエータ72を制御して操舵角をコントロールする。このようにして、生成された駐車経路に沿って車両100を移動させることによって、自動駐車が実行される。
【0087】
その際、
図3に示した撮像部20と距離計測部30によって車両100の周囲を逐次観測し、必要に応じて障害物の回避を行う等して駐車経路を修正しながら、車両100を目標駐車区画PFに向けて移動させる。そして、目標駐車区画PFの位置に到達したことを確認して、自動駐車が完了したものと判断する。
【0088】
以下、本発明に係る車両用駐車区画認識装置の第2の具体的な実施形態について、図面を参照して説明する。
【実施例2】
【0089】
本実施例は、設定された目標駐車区画に車両を自動的に駐車させるものである。特に、車両の移動に応じて車両周囲の空間マップを自動的に生成する機能を有して、生成された車両周囲の空間マップの中から目標駐車区画を選択し、必要に応じてその位置と方位を補正した上で、目標駐車区画に対して自動駐車を実行するものである。
【0090】
(実施例2の機能構成の説明)
図12を用いて、車両用駐車区画認識装置10bの機能構成について説明する。車両用駐車区画認識装置10bは、車両100に搭載された、撮像部20と、距離計測部30と、俯瞰変換部40と、画像合成部42と、白線検出部44と、駐車区画検出部46と、空間マップ生成部47と、目標駐車区画設定部48と、駐車区画補正部50と、駐車経路生成部60と、自動駐車実行部62と、車両情報取得部66と、デッドレコニング演算部68と、からなる。なお、実施例2のハードウェア構成は、実施例1のハードウェア構成(
図2)と同じである。
【0091】
なお、
図12に示す各構成部位のうち、実施例1の機能構成(
図3)と共通する部位は、互いに同じ機能を有している。
【0092】
実施例2のみが有する構成部位のうち、車両情報取得部66は、車両の挙動を検出するために必要な情報である、車輪速,舵角,ヨーレート,シフト位置を検出する。
【0093】
デッドレコニング演算部68は、車両情報取得部66が取得した情報を用いて、車両100の現在位置と方位を算出する。
【0094】
空間マップ生成部47は、デッドレコニング演算部68で算出された車両100の挙動に基づいて、過去に検出された駐車区画の位置と、現在検出された駐車区画の位置を1枚のマップに統合して、車両100の周囲の空間マップを生成する。
【0095】
(実施例2における処理の流れの説明)
以下、車両用駐車区画認識装置10bで行われる処理の全体の流れについて、
図13を用いて説明する。
【0096】
(ステップS300)俯瞰変換部40(
図12)において俯瞰画像の生成処理を行う。
【0097】
(ステップS350)白線検出部44(
図12)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。
【0098】
(ステップS400)駐車区画検出部46(
図12)において、駐車区画を検出する駐車区画検出処理を行う。
【0099】
(ステップS450)空間マップ生成部47(
図12)において、車両100の周囲の空間マップを生成する空間マップ生成処理を行う。
【0100】
(ステップS500)目標駐車区画設定部48(
図12)において、目標駐車区画を設定する目標駐車区画設定処理を行う。
【0101】
(ステップS550)駐車区画補正部50(
図12)において、必要に応じて、駐車区画の位置と方位の補正を行う駐車区画補正処理を行う。
【0102】
(ステップS600)駐車経路生成部60(
図12)において、車両100の現在位置から目標駐車区画に至る駐車経路を生成する。
【0103】
(ステップS650)自動駐車実行部62(
図12)において車両100を目標駐車区画に自動駐車させる。
【0104】
なお、
図13のフローチャートには記載していないが、実施例1と同様に、距離計測部30(物体検出部)によって路面と異なる高さにある物体が検出されて、なおかつ、その物体が目標駐車区画の駐車区画線を隠蔽する位置にあるときは、目標駐車区画の位置補正を行わないようにして、別の目標駐車区画を設定する旨を、車両100の乗員に提示する。
【0105】
以下、
図13に記載した各ステップで行われる処理の詳細な内容について、実施例1で行われる処理とは異なる処理についてのみ説明する。
【0106】
(空間マップ生成処理の説明)
図14は、実施例2における空間マップ生成処理(
図13のステップS450)の流れを示すフローチャートである。また、
図17A(a)〜(c)は、時刻tにおける空間マップS(t)が生成される様子を示す図である。以下、
図14に示す各ステップの処理内容について、
図17A(a)〜(c)を参照しながら順を追って説明する。
【0107】
(ステップS452)デッドレコニング演算部68(
図12)において、車両100の挙動情報として、車輪速,舵角,ヨーレート,シフト位置をそれぞれ取得する。例えば、
図17A(a),(b)において、時刻t3=t1−2Δtから時刻t2=t1−Δtの間の車両100の挙動情報を取得する。ここで、時間間隔Δtは、駐車区画の検出を行う時間間隔である。デッドレコニング演算部68は、車両100の挙動情報に基づいて、車両100の現在位置と方位を演算する。そのため、車両100の挙動情報として得た車輪速,舵角,ヨーレートをそれぞれ積分する必要がある。したがって、これらの挙動情報は、駐車区画を検出する時間間隔Δtに対して、より短い時間間隔で取得される。
【0108】
(ステップS454)デッドレコニング演算部68(
図12)の演算結果に基づいて、車両100の現在位置と方位を算出する。ここで算出された現在位置と方位が、空間マップにおける車両100の現在位置と方位になる。例えば、
図17A(b)において、時刻t2=t1−Δtにおける車両100の現在位置と方位が算出される。
【0109】
(ステップS456)駐車区画検出部46から、時刻t2=t1−Δtにおいて検出された駐車区画PF(i)_t2を読み出す。以降、時刻tにおける駐車区画の検出結果をPF(i)_tで表すことにする。
【0110】
(ステップS458)駐車区画検出処理(
図13のステップS400)で検出された、時刻t2=t1−Δtにおける駐車区画と同一の駐車区画が、既に作成されている空間マップS(t3)内にあるか否かを判定する。なお、同一の駐車区画であるか否かは、例えば、現在の時刻であるt2=t1−Δtにおける駐車区画の検出結果と、その1周期前の検出タイミング、すなわちt3=t1−2Δtにおける駐車区画の検出結果を比較して、駐車区画の位置と方位および隣接する駐車区画同士の並び順等を勘案して判定すればよい。同一の駐車区画が見つかったときはステップS460に進み、それ以外のときはステップS464に進む。例えば、
図17A(c)に示すように、時刻t3=t1−2Δtにおいて検出された駐車区画と、時刻t2=t1−Δtにおいて検出された駐車区画が比較されて、駐車区画PF(2)_t3と駐車区画PF(1)_t2が同一の駐車区画であると判定される。
【0111】
(ステップS460)ステップS458で検出された2つの駐車区画が、空間マップS(t2)上で互いに接近しているか否かを判定する。互いに接近しているときはステップS462に進み、それ以外のときは、
図14の処理を終了してメインルーチン(
図13)に戻る。例えば
図17A(a),(b)にあっては、時刻t3=t1−2Δtにおいて検出された駐車区画PF(2)_t3と、時刻t2=t1−Δtにおいて検出された駐車区画PF(1)_t2が互いに接近した位置にあると判定される。また、
図17A(b),(c)にあっては、時刻t2=t1−Δtにおいて検出された駐車区画PF(2)_t2と、時刻t1において検出された駐車区画PF(1)_t1が互いに接近した位置にあると判定される。
【0112】
(ステップS462)空間マップ生成部47(
図12)において、最新の(現在の)駐車区画PF(i)の検出結果を、過去の駐車区画PF(i)の検出結果に上書き登録する。例えば
図17A(b)にあっては、時刻t3=t1−2Δtにおいて検出された駐車区画PF(2)_t3が、時刻t2=t1−Δtにおいて検出された駐車区画PF(1)_t2によって上書きされる。また、
図17A(c)にあっては、時刻t2=t1−Δtにおいて検出された駐車区画PF(2)_t2が、時刻t1において検出された駐車区画PF(1)_t1によって上書きされる。その後、
図14の処理を終了してメインルーチン(
図13)に戻る。
【0113】
(ステップS464)空間マップ生成部47(
図12)において、最新の(現在の)駐車区画PF(i)を新規駐車区画として登録する。例えば
図17A(b)にあっては、時刻t2において新たに検出された駐車区画PF(2)_t2が、空間マップS(t2)に新規登録される。また、
図17A(c)にあっては、時刻t1において新たに検出された駐車区画PF(2)_t1が、空間マップS(t1)に新規登録される。その後、
図14の処理を終了してメインルーチン(
図13)に戻る。
【0114】
(目標駐車区画設定処理の説明)
図15は、実施例2における目標駐車区画設定処理(
図13のステップS500)の流れを示すフローチャートである。以下、
図15に示す各ステップの処理内容について、順を追って説明する。
【0115】
(ステップS502)駐車区画検出処理(
図13のステップS400)によって検出された空間マップにおける車両周囲の駐車区画をモニター41(
図2)に表示する。
【0116】
(ステップS504)ユーザが駐車区画PF(i)(以後、断りのない限り、空間マップに登録された駐車区画は、その駐車区画が検出された時間を表す情報を省略して、単にPF(i)と表記する)を1つ選択したか否かを判定する。条件を満足するときはステップS506に進み、それ以外のときはステップS508に進む。なお、駐車区画PF(i)の選択は、例えば、モニター41(
図2)が有するタッチパネル機能を利用して、所望の駐車区画PF(i)の位置を押下することによって行う。
【0117】
(ステップS506)選択された駐車区画PF(i)を目標駐車区画に設定する。その後、
図15の処理を終了してメインルーチン(
図13)に戻る。
【0118】
(ステップS508)車両100の前輪車軸中心に最も近い駐車区画PF(i)を目標駐車区画に設定する。その後、
図15の処理を終了してメインルーチン(
図13)に戻る。
【0119】
(駐車区画補正処理の説明)
図16は、実施例2における駐車区画補正処理(
図13のステップS550)の流れを示すフローチャートである。また、
図17Bは、時刻t1における駐車区画補正処理の動作を説明する図である。以下、
図16に示す各ステップの処理内容について、
図17Bを参照しながら順を追って説明する。
【0120】
(ステップS552)目標駐車区画設定処理(
図13のステップS500)で設定された目標駐車区画PFおよび駐車区画検出処理(
図13のステップS400)で検出された駐車区画PF(i)を読み出す。なお、ここでは、
図17Bに記載した駐車区画PF(3)が目標駐車区画PFとして設定されたものとして説明を行う。
【0121】
(ステップS554)空間マップS(t1)内において、目標駐車区画PFの自車両側に複数の駐車区画PF(i)が検出されているか否かを判定する。条件を満足するときはステップS556に進み、それ以外のときはステップS564に進む。例えば
図17B(a)にあっては、目標駐車区画PFとして設定された駐車区画PF(3)の自車両側に複数の駐車区画PF(2),PF(1),PF(0)が検出されているため、ステップS556に進む。
【0122】
(ステップS556)複数の駐車区画PF(i)の平均方位θmを算出する。例えば
図17B(a)にあっては、駐車区画PF(2),PF(1),PF(0)の平均方位が算出される。
【0123】
(ステップS558)必要に応じて、目標駐車区画PFの方位を修正する。例えば
図7B(a)にあっては、目標駐車区画PF(PF(3))の方位と、先に算出した平均方位との間に所定値以上の差がないものと判定されて、目標駐車区画PFの方位の修正は行われない。
【0124】
(ステップS560)検出された複数の端点位置である駐車区画線位置(PL(i),PR(i),i=0,1,2,…)によって定まる基準直線Lを最小二乗法によって決定する。例えば
図17B(b)にあっては、基準直線Lが決定される。
【0125】
(ステップS562)基準直線Lに基づいて、目標駐車区画PFの端点の位置を補正して、駐車区画補正部50(
図3)に記憶する。例えば
図17B(b)にあっては、駐車区画線位置PR(3)が、駐車区画線位置PR(3)を含む駐車区画線の内側をなす線分の延長線Mが基準直線Lと交わる位置、すなわち、駐車区画線位置PR’(3)に補正される。その後、
図16の処理を終了してメインルーチン(
図13)に戻る。
【0126】
(ステップS564)目標駐車区画PFの端点の位置は補正しない。その後、
図16の処理を終了してメインルーチン(
図13)に戻る。
【0127】
なお、
図13のフローチャートに示した処理のうち、ここに説明しない処理については、実施例1と同様に作用するものとする。
【0128】
以下、本発明に係る車両用駐車区画認識装置の第3の具体的な実施形態について、図面を参照して説明する。
【実施例3】
【0129】
本実施例は、設定された目標駐車区画に車両を自動的に駐車させるものである。特に、目標駐車区画を設定した後、その目標駐車区画の近傍に至る初期経路を設定して、車両を目標駐車区画の近傍まで移動させた後で、目標駐車位置の近傍で再度目標駐車区画の検出を行って、再検出された目標駐車区画に対して自動駐車を実行するものである。
【0130】
(実施例3の機能構成の説明)
図18を用いて、車両用駐車区画認識装置10cの機能構成について説明する。車両用駐車区画認識装置10cは、車両100に搭載された、撮像部20と、距離計測部30と、俯瞰変換部40と、画像合成部42と、白線検出部44と、駐車区画検出部46と、空間マップ生成部47と、目標駐車区画設定部48と、駐車区画補正部50と、初期経路生成部52と、目標駐車区画再設定部54と、駐車経路生成部60と、自動駐車実行部62と、車両情報取得部66と、デッドレコニング演算部68と、からなる。なお、実施例3のハードウェア構成は、実施例1のハードウェア構成(
図2)と同じである。
【0131】
なお、
図18に示す各構成部位のうち、実施例1の機能構成(
図3)、実施例2の機能構成(
図12)と共通する部位は、互いに同じ機能を有している。
【0132】
実施例3のみが有する構成部位のうち、初期経路生成部52は、車両100を現在位置から目標駐車区画PFの近傍まで移動させる初期経路Rを生成する。
【0133】
目標駐車区画再設定部54は、目標駐車区画PFが補正された駐車区画であるときに、目標駐車区画PFの近傍において再検出された目標駐車区画PF’を目標駐車区画として再設定する。
【0134】
(実施例3における処理の流れの説明)
以下、車両用駐車区画認識装置10cで行われる処理の全体の流れについて、
図19を用いて説明する。なお、
図22A〜
図22Eは、本実施例3の動作例を説明する図である。以下、
図19に示す各ステップの処理内容について、必要に応じて
図22A〜
図22Eを参照しながら順を追って説明する。
【0135】
(ステップS700)俯瞰変換部40(
図18)において、俯瞰画像の生成処理を行う。
【0136】
(ステップS720)白線検出部44(
図18)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。
【0137】
(ステップS740)駐車区画検出部46(
図18)において、駐車区画を検出する駐車区画検出処理を行う。
【0138】
(ステップS760)空間マップ生成部47(
図18)において、車両100の周囲の空間マップを生成する空間マップ生成処理を行う。この処理によって、例えば
図22Aに示す空間マップS(t1)が得られる。
【0139】
(ステップS780)目標駐車区画設定部48(
図18)において、目標駐車区画を設定する目標駐車区画設定処理を行う。例えば、
図22Aにおいて、駐車区画PF(3)が目標駐車区画に設定されたものとする。なお、このとき、駐車区画PF(3)のうち、車両100から遠方側の駐車区画線位置PR(3)は、駐車区画線の汚れやかすれによって途切れて検出されたものとする。
【0140】
(ステップS800)駐車区画補正部50(
図18)において、必要に応じて、駐車区画の位置と方位の補正を行う駐車区画補正処理を行う。この処理によって、例えば
図22Bに示すように、目標駐車区画PFの位置が補正される。すなわち、駐車区画線位置PR(3)が駐車区画線位置PR’(3)に補正されて目標駐車区画PFとされる。
【0141】
(ステップS820)初期経路生成部52(
図18)において、車両100の現在位置から目標駐車区画PFの近傍に至る初期経路を生成する初期経路生成処理を行う。この処理によって、例えば
図22Cに示す初期経路Rが生成される。
【0142】
(ステップS900)目標駐車区画再設定部54(
図18)において、目標駐車区画PFの近傍において再検出された目標駐車区画PF’を目標駐車区画に再設定する目標駐車区画再設定処理を行う。この処理によって、例えば
図22Eに示すように、目標駐車区画PFが目標駐車区画PF’に更新される。このような再設定処理を行うのは、遠方から検出されて、なおかつ位置が補正されている目標駐車区画PFを、その目標駐車区画PFに接近した状態、すなわち近接した位置から再検出することにより、駐車区画線の汚れやかすれによって生じる途切れの影響が軽減されることによって、目標駐車区画の位置をより確実に検出することができるためである。
【0143】
(ステップS920)駐車経路生成部60(
図18)において、車両100の現在位置から目標駐車区画に至る駐車経路を生成する。この処理によって、例えば
図22Eに示す駐車経路S1,S2が生成される。
【0144】
(ステップS940)自動駐車実行部62(
図18)において、車両100を目標駐車区画PFに自動駐車させる。例えば
図22Eにあっては、生成された駐車経路S1,S2に沿って車両100を移動させることにより、車両100を目標駐車区画PF’に確実に駐車させることができる。
【0145】
以下、
図19に記載した各ステップで行われる処理の詳細な内容について、実施例1,実施例2で行われる処理とは異なる処理についてのみ説明する。
【0146】
(初期経路生成処理の説明)
図20は、実施例3における初期経路生成処理(
図19のステップS820)の流れを示すフローチャートである。また、
図22A〜
図22Eは、本実施例3の動作例を説明する図である。以下、
図20に示す各ステップの処理内容について、
図22A〜
図22Dを参照しながら順を追って説明する。
【0147】
(ステップS822)目標駐車区画設定処理(
図19のステップS780)で設定された目標駐車区画PFを読み出す。例えば
図22Aにおいて、駐車区画PF(3)が目標駐車区画PFとして設定されたものとして、以後の説明を行う。
【0148】
(ステップS824)設定された目標駐車区画PFが、補正された目標駐車区画であるか否かを判定する。補正された目標駐車区画であるときはステップS826に進み、それ以外のときは、
図20の処理を終了してメインルーチン(
図19)に戻る。例えば
図22A〜
図22Dにあっては、
図22Bに示すように目標駐車区画PFは補正されているため、ステップS826に進む。
【0149】
(ステップS826)車両100の現在位置から設定された目標駐車区画PFの近傍に至る初期経路Rを生成する。例えば
図22A〜
図22Dにあっては、
図22Cに示す初期経路Rが生成される。
【0150】
(ステップS828)初期経路Rに沿って車両100を移動させる。そして、車両が初期経路Rの終端、すなわち目標駐車区画PFの近傍に達すると、
図20の処理を終了してメインルーチン(
図19)に戻る。例えば
図22A〜
図22Dにあっては、
図22Dに示すように、車両100を、前輪車軸中心Qが目標駐車区画PFの近傍に達するところまで移動させる。
【0151】
(目標駐車区画再設定処理の説明)
図21は、実施例3における目標駐車区画再設定処理(
図19のステップS900)の流れを示すフローチャートである。以下、
図21に示す各ステップの処理内容について、
図22Eを参照しながら順を追って説明する。
【0152】
(ステップS902)車両100が初期経路Rの終点に到達したか否かを判定する。条件を満足するときはステップS904に進み、それ以外のときはステップS902を繰り返す。
【0153】
(ステップS904)俯瞰変換部40(
図3)において俯瞰画像の生成処理を行う。
【0154】
(ステップS906)白線検出部44(
図3)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。
【0155】
(ステップS908)駐車区画検出部46(
図3)において、駐車区画を検出する駐車区画検出処理を行う。例えば
図22Eにあっては、目標駐車区画設定処理(
図19のステップS780)によって設定された目標駐車区画PF(
図22D)が再検出される。こうして再検出された目標駐車区画PF’(
図22E)とする。
【0156】
(ステップS910)目標駐車区画再設定部54において、目標駐車区画PFの認識結果が更新されているか否か、すなわち、目標駐車区画PFは補正された駐車区画であるか否かを判定する。条件を満足するときはステップS912に進み、それ以外のときは
図21の処理を終了してメインルーチン(
図19)に戻る。例えば
図22Bにあっては、目標駐車区画PFは、前記した駐車区画補正処理(
図19のステップS800)によってその位置が補正されているため、ステップS912に進む。
【0157】
(ステップS912)目標駐車区画PFを目標駐車区画PF’に更新する。例えば
図22Eにあっては、再検出された目標駐車区画PF’が、新たな目標駐車区画に設定される。その後、
図21の処理を終了してメインルーチン(
図19)に戻る。
【0158】
以上説明したように、実施例1に記載の車両用駐車区画認識装置10aによれば、撮像部20が撮像した画像の中から駐車区画検出部46が駐車区画PF(i)を検出して、検出された駐車区画の中から目標駐車区画設定部48が目標駐車区画PFを設定し、駐車区画補正部50が、設定された目標駐車区画PFの位置を補正するため、駐車区画PF(i)の境界線が汚れて見えにくくなっている場合であっても、適切な目標駐車区画PFを設定することができる。
【0159】
また、実施例1に記載の車両用駐車区画認識装置10aによれば、駐車区画補正部50は、撮像部20が撮像した画像の中において、目標駐車区画PFの駐車区画線位置PL(i),PR(i)(端点位置)と目標駐車区画PFの方位θm(i)のうち少なくとも一方を補正するため、補正のための演算を低い計算コストで実行することができる。すなわち、より短時間で補正を行うことができる。
【0160】
そして、実施例1に記載の車両用駐車区画認識装置10aによれば、駐車区画補正部50は、目標駐車区画PFに隣接する駐車区画PF(i)のうち、車両100に近接した側の駐車区画PF(i)の検出結果に基づいて、目標駐車区画PFの位置を補正するため、車両100により近接した側で検出された駐車区画PF(i)の駐車区画線位置PL(i),PR(i)と方位θm(i)に基づく補正、すなわちより正確な情報に基づく補正がなされるため、目標駐車区画PFの補正の精度を向上させることができる。
【0161】
さらに、実施例1に記載の車両用駐車区画認識装置10aによれば、駐車区画補正部50は、設定された目標駐車区画PFに隣接する駐車区画PF(i)を含む複数の駐車区画PF(i)をそれぞれ構成する各駐車区画線位置PL(i),PR(i)の検出結果に基づいて目標駐車区画PFの位置を補正するため、複数の駐車区画線位置PL(i),PR(i)と方位θm(i)に基づく補正がなされることによって、目標駐車区画PFの補正の精度を向上させることができる。
【0162】
また、実施例1に記載の車両用駐車区画認識装置10aによれば、車両100に備えられて、車両100の周囲において路面から高さのある物体を検出する距離計測部30(物体検出部)が、物体によって目標駐車区画PFの一部が隠蔽されていると判定されたときには、駐車区画補正部50において目標駐車区画PFの位置の補正を行わないため、障害物によって隠蔽された駐車区画線を途切れと判断して誤って補正することを防止できる。したがって、駐車区画の検出精度を向上させることができる。
【0163】
そして、実施例2に記載の車両用駐車区画認識装置10bによれば、デッドレコニング演算部68(車両挙動検出部)が検出した車両100の挙動に基づいて、空間マップ生成部47が、撮像部20で異なる時刻に撮像された各画像からそれぞれ検出された駐車区画PF(i)の中から同一駐車区画を特定して、異なる複数の時刻に検出された各駐車区画PF(i)の空間配置を1枚の空間マップS(t)に統合して、統合された空間マップS(t)の中に設定された目標駐車区画PFの位置を必要に応じて補正するようにしたため、車両100から離れた位置にある駐車区画PF(i)を目標駐車区画PFに設定することができる。
【0164】
さらに、実施例3に記載の車両用駐車区画認識装置10cによれば、初期経路生成部52が、車両100の現在位置から目標駐車区画PFの近傍に至る初期経路Rを生成して、目標駐車区画PFが位置の補正がなされた目標駐車区画であるときには、車両100が初期経路Rに沿って移動した後で、移動後の位置において再度撮像された車両100周囲の画像の中から駐車区画検出部46が目標駐車区画PF’を再検出して、再検出された目標駐車区画PF’の位置と方位に基づいて目標駐車区画PF’に駐車させる際の駐車経路S1,S2を算出するため、駐車区画線の汚れやかすれによって生じる途切れの影響が軽減されて、目標駐車区画PF’の位置をより確実に検出することができる。
【0165】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【0166】
例えば、実施例1から実施例3にあっては、距離計測部30(物体検出部)の出力に基づいて、路面から高さのある物体を検出するものとしたが、これは、距離計測部30を用いずに撮像部20で撮像した画像のみを用いて、時間の経過とともに移動する立体物の3次元位置を特定する、いわゆる移動ステレオ法(モーションステレオ法)を用いる構成としてもよい。あるいは、距離計測部30と移動ステレオ法を併用する構成としてもよい。
【0167】
また、実施例1から実施例3を通して記載した各フローチャートは、処理の流れの一例を示すものであって、処理の順序は適宜変更してもよい。例えば、各実施例において、目標駐車区画PFを決定した後で、決定した目標駐車区画PFの位置または方位の補正を行うものとしたが、これは、例えば、駐車区画PF(i)の検出が行われた後で、各駐車区画PF(i)の位置の補正を行い、補正された結果に基づいて目標駐車区画PFを設定する構成としてもよい。