(58)【調査した分野】(Int.Cl.,DB名)
前記設定部は、検出された前記区画線の位置、及び、予め設定された複数の設定間隔に基づいて、複数の異なる位置に、前記他の区画線を探索する前記探索領域の位置を設定する
請求項1に記載の駐車支援装置。
【発明を実施するための形態】
【0017】
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
【0018】
<第1実施形態>
図1は、第1実施形態の車両10の平面図である。
図1に示すように、車両10は、車体12と、4個の撮像部14a、14b、14c、14dとを有する。撮像部14a、14b、14c、14dを区別する必要がない場合、撮像部14と記載する。
【0019】
車体12は、乗員が乗車する車室を構成する。車体12は、車輪13及び撮像部14等の車両10の構成を収容または保持する。
【0020】
撮像部14は、例えば、CCD(Charge Coupled Device)、または、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部14は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部14は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の140°〜190°の範囲を撮影することができる。撮像部14の光軸は、斜め下方に向けて設定されている。従って、撮像部14は、周辺の路面を含む車両10の周辺を撮像した撮像画像のデータを出力する。
【0021】
撮像部14は、車体12の周囲に設けられている。例えば、撮像部14aは、車体12の前端部の左右方向の中央部(例えば、フロントバンパー)に設けられている。撮像部14aは、車両10の前方の周辺を撮像した撮像画像を生成する。撮像部14bは、車体12の後端部の左右方向の中央部(例えば、リアバンパー)に設けられている。撮像部14bは、車両10の後方の周辺を撮像した撮像画像を生成する。撮像部14cは、車体12の左端部の前後方向の中央部(例えば、左側のサイドミラー12a)に設けられている。撮像部14cは、車両10の左方の周辺を撮像した撮像画像を生成する。撮像部14dは、車体12の右端部の前後方向の中央部(例えば、右側のサイドミラー12b)に設けられている。撮像部14dは、車両10の右方の周辺を撮像した撮像画像を生成する。
【0022】
図2は、車両10に搭載される駐車支援システム20の構成を説明するブロック図である。
図2に示すように、駐車支援システム20は、車輪速センサ22と、操舵角センサ24と、自動運転部32と、モニタ装置34と、駐車支援装置36と、車内ネットワーク38とを備える。
【0023】
車輪速センサ22は、例えば、車輪13の近傍に設けられたホール素子等を含む。車輪速センサ22は、検出した車輪13の回転数を示す車輪速パルス数をセンサ値として車内ネットワーク38へ出力する。
【0024】
操舵角センサ24は、ステアリングホイールまたはハンドル等の操舵部に設けられている。操舵角センサ24は、運転者の操作による操舵部の回転量または回転角である操舵角を検出する。操舵角センサ24は、例えば、ロータリーエンコーダ等である。操舵角センサ24は、検出した操舵角を車内ネットワーク38へ出力する。
【0025】
自動運転部32は、駐車支援装置36からの指示に基づいて、アクセル、ブレーキ、及び、ハンドル等を制御して、駐車時に車両10を自動運転する。
【0026】
モニタ装置34は、車室内のダッシュボード等に設けられている。モニタ装置34は、表示部40と、音声出力部42と、操作入力部44とを有する。
【0027】
表示部40は、駐車支援装置36が送信した画像データに基づいて、画像を表示する。表示部40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、または、有機ELディプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部40は、例えば、自動運転における車両10を駐車する領域の候補である駐車候補領域を重畳させた撮像画像を表示する。
【0028】
音声出力部42は、駐車支援装置36が送信した音声データに基づいて音声を出力する。音声出力部42は、例えば、スピーカである。音声出力部42は、表示部40と異なる車室内の位置に設けられていてもよい。
【0029】
操作入力部44は、乗員の入力を受け付ける。操作入力部44は、例えば、タッチパネルである。操作入力部44は、表示部40の表示画面に設けられている。操作入力部44は、表示部40が表示する画像を透過可能に構成されている。これにより、操作入力部44は、表示部40の表示画面に表示される画像を乗員に視認させることができる。操作入力部44は、表示部40の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、駐車支援装置36へ送信する。例えば、操作入力部44は、表示部40が表示している駐車候補領域の位置を乗員が触れて選択した場合、駐車指示を駐車支援装置36へ出力する。
【0030】
駐車支援装置36は、ECU(Electronic Control Unit)等のマイクロコンピュータを含むコンピュータである。駐車支援装置36は、撮像部14から撮像画像のデータを取得する。駐車支援装置36は、撮像画像等に基づいて生成した画像または音声に関するデータをモニタ装置34へ送信する。駐車支援装置36は、自動運転部32を制御して、駐車時に車両10を自動運転して支援する。駐車支援装置36は、CPU(Central Processing Unit)36aと、ROM(Read Only Memory)36bと、RAM(Random Access Memory)36cと、表示制御部36dと、音声制御部36eと、SSD(Solid State Drive)36fとを備える。CPU36a、ROM36b及びRAM36cは、同一パッケージ内に集積されていてもよい。
【0031】
CPU36aは、ハードウェアプロセッサの一例であって、ROM36b等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。CPU36aは、例えば、表示部40に表示させる駐車支援用の画像等の画像処理を実行する。
【0032】
ROM36bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM36cは、CPU36aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部36dは、駐車支援装置36での演算処理のうち、主として、撮像部14で得られた画像の画像処理、表示部40に表示させる表示用の画像のデータ変換等を実行する。音声制御部36eは、駐車支援装置36での演算処理のうち、主として、音声出力部42に出力させる音声の処理を実行する。SSD36fは、書き換え可能な不揮発性の記憶部であって、駐車支援装置36の電源がオフされた場合にあってもデータを維持する。
【0033】
車内ネットワーク38は、例えば、CAN(Controller Area Network)である。車内ネットワーク38は、車輪速センサ22と、操舵角センサ24と、自動運転部32と、駐車支援装置36と、操作入力部44とを互いに信号及び情報を送受信可能に電気的に接続する。
【0034】
本実施形態では、駐車支援装置36は、ハードウェアとソフトウェア(制御プログラム)が協働することにより、車両10の駐車支援処理を司る。駐車支援装置36は、撮像部14が撮像した周辺の画像を含む撮像画像から駐車場の駐車領域を区画する区画線を検出して、1または複数の駐車候補領域を設定する。駐車支援装置36は、自動運転部32を制御することにより、乗員が選択した駐車候補領域内へと移動させて、駐車を支援する。
【0035】
図3は、駐車支援装置36の機能を説明する機能ブロック図である。
図3に示すように、駐車支援装置36は、制御部50と、記憶部52とを有する。
【0036】
制御部50は、例えば、CPU36a等の機能として実現される。制御部50は、設定部54と、検出部56と、運転制御部58とを有する。制御部50は、記憶部52に格納された駐車支援プログラム70を読み込むことによって、設定部54、検出部56、及び、運転制御部58の機能を実現してよい。尚、設定部54、検出部56、及び、運転制御部58の一部または全ては、ASIC(Application Specific Integrated Circuit)を含む回路等のハードウェアによって構成されてもよい。
【0037】
設定部54は、移動中の車両10の周辺を撮像した撮像画像を撮像部14から取得する。例えば、設定部54は、撮像部14から時間的に異なる動画の複数のフレーム画像を撮像画像として取得する。設定部54は、撮像画像内に駐車領域を区画する区画線を探索するための探索領域を設定して、検出部56へ出力する。尚、設定部54は、複数の撮像画像(即ち、フレーム画像)の全てに探索領域を設定しなくてもよく、例えば、数フレーム毎に探索領域を設定してもよく、先に設定した探索領域に対する処理が終了してから取得した撮像画像に次の探索領域を設定してもよい。設定部54は、長方形または平行四辺形の形状の探索領域を設定する。区画線の一例は、駐車場の地面に設けられた白線である。ここで、設定部54は、後述する検出部56が区画線を検出するまでは、予め設定されて記憶部52に格納された初期座標データ72が示す1または複数の初期座標に基づいて、撮像画像内のそれぞれに探索領域を設定する。具体的には、設定部54は、区画線が検出されるまでは、現実世界において車両10と探索領域との相対位置が初期座標となるように設定する。次に、設定部54は、予め設定された座標変換用のマッピングテーブル等によって現実世界の座標系から撮像画像の座標系に変換することによって、車両10の移動に伴って変化する複数の撮像画像のそれぞれに探索領域を設定する。換言すれば、設定部54は、撮像画像を拡大等しない場合、撮像画像内の同じ位置(即ち、同じ座標)に探索領域を設定する。
【0038】
更に、設定部54は、検出した区画線の情報を検出部56から取得すると、当該検出された区画線に基づいて、他の区画線を探索する探索領域の位置を新たに設定する。尚、区画線の検出後も、設定部54は、探索領域を現実世界の位置に設定した後、マッピングテーブル等によって、撮像画像内の位置に変換することによって、探索領域の位置を設定する。例えば、設定部54は、検出部56から取得した複数の区画線の情報に基づいて、他の区画線を探索する探索領域を設定する。具体的には、設定部54は、区画線と隣接する区画線との間の間隔である検出間隔を算出する。設定部54は、最後に検出した区画線の長手方向と垂直な方向(以下、垂線方向)に沿って、最後に検出した区画線の前後方向における中心を検出間隔だけ移動させた位置を、前後方向における中心とする新たな探索領域として設定してよい。または、設定部54は、最後に区画線を検出した探索領域を、垂線方向に沿って、検出間隔だけ移動させた位置に新たな探索領域を設定してもよい。設定部54は、複数の区画線の情報を検出部56から取得した場合、駐車候補領域を隣接する区画線の間に設定して、運転制御部58へ出力する。
【0039】
検出部56は、設定部54が撮像画像内に設定した探索領域内を探索して、区画線を検出する。更に、検出部56は、設定部54が複数の撮像画像のそれぞれに設定した複数の探索領域内を探索して複数の区画線を検出する。検出部56は、検出した1または複数の区画線の情報を設定部54へ出力する。
【0040】
運転制御部58は、設定部54が設定して乗員が選択した駐車候補領域及び検出部56が検出した区画線に基づいて、自動運転部32を制御して、車両10を自動運転することによって、車両10を駐車候補領域へ駐車させる。
【0041】
記憶部52は、ROM36b、RAM36c及びSSD36f等の機能として実現される。記憶部52は、制御部50が実行する駐車支援プログラム70及び駐車支援プログラム70の実行において探索領域を設定するための座標を示す初期座標データ72等を記憶する。
【0042】
図4は、複数の区画線90を検出するまでの現実世界における探索領域SAの設定を説明する平面図である。複数の探索領域SA1L、SA1R・・・のそれぞれを区別する必要がない場合、探索領域SAと表記する。車両10の複数の位置CP1、CP2・・・を区別する必要がない場合、位置CPと表記する。
【0043】
図4は、車両10が、位置CP1から矢印に沿って位置CP2、CP3を経て、実線で示す位置CP4まで移動した場合を想定している。車両10の位置は、太線の十字で示すように、車両10の後輪軸の中心とする。また、車両10の位置を原点とし、車両10の左右方向をX方向(左方向を+X方向)とし、車両10の前後方向をZ方向(後方を+Z方向)とする。従って、原点及びXZ方向は、車両10が移動及び進行方向を変更すると、周囲の環境に対して変化する。
【0044】
この場合、設定部54は、位置CP1で撮像画像を取得すると、予め設定された初期座標データ72が示す左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて車両10の左右両側に探索領域SA1L、SA1Rを設定する。具体的には、車両10の位置CP1を原点とする左側初期座標(+Dx、Dz)の位置に探索領域SA1Lを設定する。車両10の位置CP1を原点とする右側初期座標(−Dx、Dz)の位置に探索領域SA1Rを設定する。尚、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)は、X座標の正負の符号以外同じであってよい。探索領域SA1L、SA1R内には区画線90がないので、検出部56は、位置CP1では、区画線90を検出できない。
【0045】
設定部54は、位置CP2で新たな撮像画像を取得すると、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて、車両10の左右両側に探索領域SA2L、SA2Rを設定する。探索領域SA2L、SA2R内には区画線90がないので、検出部56は、位置CP2では、区画線90を検出できない。この後、設定部54は、検出部56が区画線90を検出するまで、位置CP1及び位置CP2での処理を繰り返して探索領域SAを設定する。
【0046】
従って、設定部54は、位置CP3及び位置CP4のそれぞれで、位置CP2及び位置CP1と同様の処理を実行して、探索領域SA3L、SA3R、SA4L、SA4Rを設定する。検出部56は、探索領域SA3L、SA3R、SA4L、SA4Rで区画線90を検出する。検出部56は、検出した区画線90の位置及び方向等の情報を設定部54へ出力する。設定部54は、車両10の左側または右側の同じ側で複数の区画線90が検出されると、自動運転における車両10の駐車領域の候補である左側の駐車候補領域PAL及び右側の駐車候補領域PARを設定する。尚、左側の駐車候補領域PAL及び右側の駐車候補領域PARを区別する必要がない場合、駐車候補領域PAと記載する。
【0047】
図5は、複数の区画線90を検出した後の現実世界における第1実施形態による探索領域SAの設定を説明する平面図である。
図5に示すように、設定部54は、複数の区画線90に関する情報を検出部56から取得して、新たな撮像画像を取得すると、複数の区画線90に基づいて、他の区画線90を探索する探索領域SAの位置を設定する。
【0048】
具体的には、設定部54は、探索領域SA3L、SA3R、SA4L、SA4R内で検出された区画線90のうち、左右の同じ側で検出された区画線90と隣接する区画線90との間の間隔である検出間隔Ddを算出する。次に、設定部54は、最後に検出した区画線90(ここでは、探索領域SA4L、SA4R内の区画線90)の位置から区画線90の垂線方向(ここでは、−Z方向)に検出間隔Ddだけずらした現実世界の位置に探索領域SA5L、SA5Rを設定する。尚、設定部54は、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて、探索領域SAのX方向の位置を設定してよい。
【0049】
これにより、設定部54は、車両10の車速の増減及び移動距離等によらず、現実世界の区画線90の垂線方向における同じ位置であって、周期的に配列される区画線90の存在する確率の高い位置に探索領域SAを設定することになる。この後、設定部54は、探索領域SAを設定する現実世界の同じ位置が撮像画像内に含まれる限り、車両10が移動及び進行方向を変えても(例えば、位置CP6、CP7)、現実世界における区画線90の垂線方向の同じ位置に探索領域SAを設定する。
【0050】
次に、現実世界の座標系について説明する。
【0051】
図6は、車両10の移動を説明する平面図である。
図6に示すように、車両10が、位置CP11から右方向に曲がりながら位置CP12まで移動した場合を想定する。
【0052】
図7は、車両10の後輪軸中心を原点とする現実世界の座標系(以下、後輪軸座標系)を説明する平面図である。後輪軸座標系は、車両10の左右方向をX方向(左方向を+X方向)とし、車両10の前後方向をZ方向(後方を+Z方向)とし、回転方向をθ方向(左回転方向を+θ方向)とする。
【0053】
車両10が、
図6に示すように位置CP11から位置CP12まで移動した場合、後輪軸座標系では、
図7に示すように現実世界の目標地点TPは、位置CP11aから位置CP12aまで車両10に対して相対的に移動する。この場合、設定部54は、車輪速センサ22及び操舵角センサ24から取得した車輪速及び操舵角に基づいて、位置CP12aの目標地点TPが、現実世界において、移動前の位置CP11aからX方向に距離Xc及びZ方向に距離Zc移動し、θ方向に角度θc回転したと判定する。設定部54は、後輪軸座標系における車両10の移動量、車両10の回転角及び予め設定された座標変換用のマッピングテーブル等に基づいて、現実世界の座標を撮像画像の座標に変換する。
【0054】
図8は、第1実施形態における駐車支援処理のフローチャートである。制御部50は、乗員からの指示等に基づいて、記憶部52に格納された駐車支援プログラム70を読み込むことによって、駐車支援処理を実行する。
【0055】
図8に示すように、駐車支援処理では、制御部50の設定部54は、撮像部14bから撮像画像を取得する(S102)。次に、設定部54は、
図4に示すように、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて、撮像画像に探索領域SAを設定して、撮像画像及び探索領域SAの情報を検出部56へ出力する(S104)。検出部56は、撮像画像内に設定された探索領域SA内に区画線90を探索して、検出できたか否かを判定する(S106)。検出部56が探索領域SA内に区画線90を検出できない場合(S106:No)、設定部54は、新たな撮像画像を取得して(S102)、ステップS104以降を繰り返す。
【0056】
検出部56は、探索領域SA内に区画線90を検出すると(S106:Yes)、区画線90の位置及び形状等の情報を設定部54へ出力する。設定部54は、区画線90の情報を取得すると、当該区画線90を含めて複数の区画線90を左右の同じ側で検出したか否かを判定する(S108)。設定部54は、今回検出した区画線90が最初の区画線90であって、まだ、複数の区画線90を検出していないと判定すると(S108:No)、ステップS102以降を繰り返す。
【0057】
一方、設定部54は、複数の区画線90を検出したと判定すると(S108:Yes)、
図4に示すように複数の区画線90間に駐車候補領域PAを設定して、運転制御部58へ出力する(S110)。設定部54は、区画線90と隣接する区画線90の間の検出間隔Ddを算出する(S112)。
【0058】
設定部54は、乗員から駐車指示を取得したか否かを判定する(S114)。例えば、設定部54は、撮像画像に駐車候補領域PAを重畳させた画像を表示部40に表示させた状態で、当該駐車候補領域PA上の操作入力部44を乗員がタッチした場合、駐車指示を取得したと判定する。設定部54は、駐車指示を取得したと判定すると(S114:Yes)、運転制御部58へ自動運転指示を出力する。
【0059】
設定部54は、駐車指示を取得しなかった場合(S114:No)、撮像部14bから新たな撮像画像を取得する(S116)。設定部54は、検出間隔Ddに基づいて、新たな撮像画像内に探索領域SAを、設定可能か否かを判定する(S118)。例えば、設定部54は、最後に設定した探索領域SAの位置から区画線90の垂線方向に検出間隔Ddだけずらした位置が、新たに取得した撮像画像内に含まれるか否かを判定することによって、探索領域SAを撮像画像内に設定可能か否かを判定する。尚、左右の一方の側のみに複数の区画線90が検出されている場合、ステップS118以降の処理は、複数の区画線90が検出された側のみに実行してよい。
【0060】
例えば、ステップS116以降を複数回繰り返し、車両10が最後に区画線90を検出した位置から大きく移動した場合、設定部54は、新たな撮像画像内に探索領域SAを設定できないと判定して(S118:No)、ステップS102以降を再度実行する。
【0061】
設定部54は、新たに取得した撮像画像内に探索領域SAを設定可能と判定すると(S118:Yes)、
図5に示すように、最後に設定した探索領域SAの位置から検出間隔Ddだけ移動させた現実世界の位置に基づいて、新たに取得した撮像画像内に探索領域SAを設定して、検出部56へ出力する(S120)。
【0062】
検出部56は、探索領域SA内で区画線90を探索して、検出できたか否かを判定する(S122)。検出部56は、区画線90を検出できなかった場合(S122:No)、未検出である旨を設定部54へ出力する。検出部56は、探索領域SA内に区画線90を検出できた場合(S122:Yes)、区画線90の情報を設定部54へ出力する。設定部54は、新たに検出された区画線90とその前に検出された区画線90との間に駐車候補領域PAを設定する(S124)。設定部54は、区画線90が未検出である旨を検出部56から取得した場合、または、駐車候補領域PAを設定すると、乗員から駐車指示を取得したか否かを判定する(S126)。設定部54は、駐車指示を取得していないと判定すると(S126:No)、ステップS116以降を繰り返す。この後、設定部54は、駐車指示を取得せず、かつ、検出間隔Ddによる撮像画像内の位置に探索領域SAを設定できる限り、ステップS116以降を繰り返す。
【0063】
一方、設定部54は、駐車指示を取得すると(S126:Yes、S114:Yes)、運転制御部58に自動運転指示を出力する。運転制御部58は、自動運転指示を取得すると、自動運転部32を制御して、車両10を自動運転する(S130)。これにより、運転制御部58は、乗員が選択した駐車候補領域PAへと車両10を移動させて、駐車支援処理を終了する。
【0064】
上述したように、第1実施形態の駐車支援装置36では、検出部56が区画線90を検出すると、設定部54は、他の区画線90を検出するための探索領域SAを検出した区画線90に基づいて設定する。これにより、駐車支援装置36は、車両10の移動方向等に関わらず、周期的に配列される区画線90を検出するための探索領域SAを撮像画像内の適切な位置に設定できるので、区画線90の検出精度を向上させることができる。
【0065】
駐車支援装置36では、設定部54が、検出部56が複数の区画線90を検出すると、区画線90と隣接する区画線90との間隔である検出間隔Ddに基づいて、他の区画線90を検出するための探索領域SAを設定する。これにより、設定部54は、周期的に配列される区画線90を検出するための探索領域SAを更に適切な位置に設定できる。
【0066】
<第2実施形態>
次に、第1実施形態の探索領域SAの設定方法を変更した第2実施形態について説明する。
図9は、区画線90を検出した後の現実世界における第2実施形態による探索領域SAの設定を説明する平面図である。
【0067】
図9に示すように、設定部54は、車両10が位置CP21を走行中に、車両10が位置CP21を原点として、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)の現実世界の位置に探索領域SA21L、SA21Rを設定する。検出部56が探索領域SA21L、SA21R内で区画線90を検出したとする。この後、設定部54は、検出された区画線90の位置及び予め設定されて記憶部52に格納された設定間隔Sdに基づいて、他の区画線を探索するための探索領域の位置を設定する。具体的には、設定部54は、車両10が次の位置CP22まで移動した状態で新たな撮像画像を取得すると、最後に検出した区画線90(ここでは、探索領域SA21L、SA21R内の区画線90)から予め設定された設定間隔Sdだけ区画線90の垂線方向(ここでは、−Z方向)にずらした現実世界の位置に新たな探索領域SA22L、SA22Rを設定する。
【0068】
設定間隔Sdは、一般的な駐車場の区画線90の間隔に基づいて設定してよく、例えば、1900mmから2400mmの間の値である。尚、設定部54は、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて、探索領域SAのX方向の位置を設定してよい。これにより、設定部54は、車両10の車速の増減及び移動距離等によらず、現実世界の区画線90の垂線方向において、同じ位置であって、次の区画線90が存在する確率の高い位置に探索領域SAを設定することになる。この後、設定部54は、現実世界の同じ位置が撮像画像内に含まれる限り、車両10が移動しても(例えば、位置CP23)、現実世界における区画線90の垂線方向の同じ位置に探索領域SAを設定する。設定部54は、複数の区画線90が検出されると、複数の区画線90の間に駐車候補領域PAL、PARを設定する。
【0069】
図10は、第2実施形態における駐車支援処理のフローチャートである。第1実施形態の駐車支援処理と同様の処理については、同じステップ番号を付与して説明を簡略化する。
【0070】
図10に示すように、第2実施形態の駐車支援処理では、設定部54及び検出部56が、ステップS102、S104、S106、S110、S114、S116を実行する。設定部54は、設定間隔Sdに基づいて、新たな撮像画像内に探索領域SAを、設定可能か否かを判定する(S218)。例えば、設定部54は、最後に設定した探索領域SAの位置から区画線90の垂線方向に設定間隔Sdだけずらした位置が、新たに取得した撮像画像内に含まれるか否かを判定することによって、探索領域SAを撮像画像内に設定可能か否かを判定する。
【0071】
設定部54は、新たな撮像画像内に探索領域SAを設定できないと判定すると(S218:No)、ステップS102以降を再度実行する。
【0072】
設定部54は、新たな撮像画像内に探索領域SAを設定できると判定すると(S218:Yes)、
図9に示すように、最後に検出した区画線90から区画線90の垂線方向に設定間隔Sdずらした現実世界の位置に基づいて、新たな撮像画像内に探索領域SAを設定する(S220)。
【0073】
設定部54、検出部56、及び、運転制御部58は、ステップS122以降を実行する。
【0074】
上述したように、第2実施形態の駐車支援装置36では、一般的な駐車場の区画線90の間隔に基づいて予め設定された設定間隔Sdによって、区画線90を検出した後の探索領域SAの位置を設定している。これにより、第2実施形態の駐車支援装置36は、検出間隔Ddを算出する場合に比べて、処理の負担を低減することができる。
【0075】
<第3実施形態>
次に、第2実施形態の探索領域SAの設定方法を変更した第3実施形態について説明する。
図11は、区画線90を検出した後の現実世界における第3実施形態による探索領域SAの設定を説明する平面図である。第3実施形態では、設定部54が、検出された区画線90の位置及び予め設定されて記憶部52に格納された複数の設定間隔Sd1、Sd2に基づいて、現実世界の複数の異なる位置に、他の区画線を探索するための探索領域SAの位置を設定する。
【0076】
図11に示すように、設定部54は、車両10が位置CP31を走行中に、車両10が位置CP31を原点として、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)の現実世界の位置に探索領域SA31L、SA31Rを設定する。検出部56が探索領域SA31L、SA31R内で区画線90を検出したとする。この後、設定部54は、車両10が次の位置CP32まで移動した状態で新たな撮像画像を取得すると、最後に検出した区画線90(ここでは、探索領域SA31L、SA31R内で検出された区画線90)から予め設定された設定間隔Sd1だけ区画線90の垂線方向にずらした現実世界の位置に新たな探索領域SA32L、SA32Rの位置を設定する。設定間隔Sd1は、一般的な駐車場の区画線90の間隔に基づいて設定してよく、例えば、2000mmである。設定部54は、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて、探索領域SA32L、SA32RのX方向の位置を設定してよい。
【0077】
次に、設定部54は、車両10が次の位置CP33まで移動した状態で新たな撮像画像を取得すると、最後に検出した区画線90(ここでは、探索領域SA31L、SA31R内で検出された区画線90)から予め設定された設定間隔Sd2だけ区画線90の垂線方向にずらした現実世界の位置に新たな探索領域SA33L、SA33Rを設定する。設定間隔Sd2は、一般的な駐車場の区画線90の間隔に基づいて設定間隔Sd1と異なる値に設定してよく、例えば、2300mmである。即ち、設定部54は、複数の設定間隔Sd1、Sd2に基づいて、現実世界における複数の異なる位置に、探索領域SA32L、SA32R、SA33L、SA33Rを設定する。設定部54は、左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に基づいて、探索領域SA33L、SA33RのX方向の位置を設定してよい。
【0078】
この後、設定部54は、車両10が位置CP34及び位置CP35に移動すると、設定間隔Sd1及び設定間隔Sd2を交互に採用して、撮像画像内に設定できる限り、現実世界の探索領域SA33L、SA33Rと同じ位置に探索領域SAを設定する。これにより、設定部54は、車両10の車速の増減及び移動距離等によらず、現実世界の区画線90の垂線方向において、複数の探索領域SA33L、SA33Rの位置と同じ位置であって、次の区画線90が存在する確率の高い位置に探索領域SAを設定することになる。
【0079】
第3実施形態の駐車支援処理は、第2実施形態の駐車支援処理のステップS220において、複数の設定間隔Sd1、Sd2を交互に採用する以外は同様の処理なので、フローチャートによる説明を省略する。
【0080】
上述したように、第3実施形態の駐車支援装置36では、一般的な駐車場の区画線90の間隔に基づいて予め設定された複数の設定間隔Sd1、Sd2によって、区画線90を検出した後の探索領域SAの位置を設定している。これにより、第3実施形態の駐車支援装置36は、検出間隔Ddを算出する場合に比べて、処理の負担を低減しつつ、区画線90の間隔の異なる駐車場でも適切に探索領域SAの位置を設定できる。
【0081】
<第4実施形態>
第4実施形態の設定部54は、区画線90を検出した後、後述する左右判定処理を実行することによって、車両10の両側、左側または右側のいずれかに探索領域SAを設定するかを判定する。具体的には、設定部54は、検出された区画線90が右側であり、かつ、車両10が左折している場合、車両10の右側にのみ探索領域SAを設定する。また、設定部54は、検出された区画線90が左側であり、かつ、車両10が右折している場合、車両10の左側にのみ探索領域SAを設定する。これら以外の場合、設定部54は、車両10の両側に探索領域SAを設定する。
【0082】
設定部54が実行する左右判定処理について説明する。
図12は、第4実施形態の左右判定処理のフローチャートである。設定部54は、例えば、ステップS120またはステップS220の前に左右判定処理を実行してよい。
【0083】
図12に示すように、設定部54は、検出部56から検出した区画線90の情報を取得すると、区画線90が車両10の右側か否かを判定する(S302)。設定部54は、区画線90が車両10の右側であると判定すると(S302:Yes)、操舵角センサ24が検出した操舵角を車内ネットワーク38から取得して、当該操舵角に基づいて、車両10が左折しているか否かを判定する(S304)。例えば、設定部54は、操舵角が予め設定された左折操舵角閾値以上であれば、車両10が左折と判定し、左折操舵角閾値未満であれば左折でないと判定してよい。左折操舵角閾値の一例は、+45°である。尚、操舵角は、左周りを正として、右回りを負とする。設定部54は、車両10が左折していないと判定すると(S304:No)、後述するステップS314を実行する。一方、設定部54は、車両10が左折していると判定すると(S304:Yes)、車両10の右側のみ探索領域SAを設定するように(S306)、ステップS120またはステップS220以降の処理を実行する。
【0084】
一方、設定部54は、検出部56が検出した区画線90が右側でないと判定すると(S302:No)、区画線90が左側か否かを判定する(S308)。設定部54は、区画線90が左側でないと判定すると(S308:No)、後述するステップS314を実行する。一方、設定部54は、区画線90が左側であると判定すると(S308:Yes)、操舵角センサ24が検出した操舵角を車内ネットワーク38から取得して、当該操舵角に基づいて、車両10が右折しているか否かを判定する(S310)。例えば、設定部54は、操舵角が予め設定された右折操舵角閾値未満であれば、車両10が右折と判定し、右折操舵角閾値より大きければ右折でないと判定してよい。右折操舵角閾値の一例は、−45°である。設定部54は、車両10が右折していないと判定すると(S310:No)、後述するステップS314を実行する。一方、設定部54は、車両10が右折していると判定すると(S310:Yes)、車両10の左側のみ探索領域SAを設定するように(S312)、ステップS120またはステップS220以降の処理を実行する。
【0085】
設定部54は、ステップS314において、車両10の両側に探索領域SAを設定するように、ステップS120またはステップS220以降の処理を実行する。
【0086】
第4実施形態では、設定部54が、2つの条件(区画線90の位置、及び、車両10の進行方向)を満たしたと判定した場合、左右のいずれか一方にのみ探索領域SAを設定する例を挙げたが、これに限定されない。例えば、設定部54は、車両10が左折している場合、右側にのみ探索領域SAを設定して、車両10が右折している場合、左側にのみ探索領域SAを設定してもよい。
【0087】
上述したように、第4実施形態の駐車支援装置36では、2つの条件である検出した区画線90の左右の位置、及び、車両10の左右の進行方向を満たす場合に、左右の一方にのみ、検出後の探索領域SAを設定している。従って、第4実施形態の駐車支援装置36は、区画線90の誤検知等による探索領域SAを設定する側の判定ミスを低減して、左右のいずれか一方のみに区画線90が存在するか否かの精度を上げるとともに、条件を満たした場合に左右の一方のみに探索領域SAを設定することにより、探索領域SAの設定の処理の負担を低減できる。
【0088】
<第5実施形態>
第5実施形態では、設定部54が、車両10の左右方向において、複数の位置に探索領域SAを設定する。即ち、上述の実施形態では、設定部54は、車両10の左側ではDxの位置に探索領域SAを設定し、車両10の右側では−Dxの位置に探索領域SAを設定したが、第5実施形態では、車両10の左右の側において複数の異なる位置に探索領域SAを設定する。
【0089】
図13は、第5実施形態の設定部54が、複数の区画線90を検出するまでの現実世界における探索領域SAの設定を説明する平面図である。
図13は、車両10が、一点鎖線で示す位置CP41から矢印に沿って位置CP42、CP43を経て、実線で示す位置CP44まで移動した場合を想定している。
【0090】
第5実施形態の設定部54は、位置CP41で撮像画像を取得して、予め設定された初期座標(+Dx、Dz)、及び、初期座標(−Dx、Dz)に基づいて車両10の左右両側に探索領域SA41L、SA41Rを設定する。具体的には、設定部54は、車両10の位置CP41を原点とする左側初期座標(+Dx、Dz)に探索領域SA41Lを設定する。設定部54は、車両10の位置CP41を原点とする右側初期座標(−Dx、Dz)に探索領域SA41Rを設定する。
【0091】
次に、設定部54は、位置CP42で新たな撮像画像を取得して、左側初期座標(+Dx、Dz)、及び、右側初期座標(−Dx、Dz)及び予め設定された左右オフセット値dxに基づいて、車両10の左右両側に探索領域SA42L、SA42Rを設定する。具体的には、設定部54は、車両10の位置CP42を原点として、左側初期座標(+Dx、Dz)を左右オフセット値dxだけ右側(+側)にオフセットさせた左側オフセット座標(+Dx+dx、Dz)に探索領域SA42Lを設定する。設定部54は、車両10の位置CP42を原点として、右側初期座標(−Dx、Dz)を左右オフセット値dxだけ右側(−側)にオフセットさせた右側オフセット座標(−Dx−dx、Dz)に探索領域SA42Rを設定する。即ち、設定部54は、位置CP42では、位置CP41で設定した探索領域SA41L、SA41Rとは異なる左右方向の位置に探索領域SA42L、SA42Rを設定する。
【0092】
設定部54は、位置CP43で新たな撮像画像を取得して、位置CP41と同様に、車両10の位置CP43を原点とする左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に探索領域SA43L、SA43Rを設定する。即ち、設定部54は、検出部56が区画線90を検出するまで、位置CP41及び位置CP42での処理を繰り返して探索領域SAを設定する。
【0093】
この後、設定部54は、位置CP44で新たな撮像画像を取得して、位置CP42と同様に、車両10の位置CP44を原点とする左側オフセット座標(+Dx+dx、Dz)及び右側オフセット座標(−Dx−dx、Dz)のそれぞれに探索領域SA44L、SA44Rを設定する。検出部56は、探索領域SA44L、SA44Rのそれぞれで区画線90を検出する。この後の処理は、上述した実施形態と同様の処理を実行してよい。尚、区画線90を検出した後、設定部54は、車両10の左右の位置(X方向の位置)に関しては、左右オフセット値dxを適用して設定してもよい。
【0094】
第5実施形態では、設定部54が、1つの左右オフセット値dxに基づいて探索領域SAを設定する例を挙げて説明したが、これに限定されない。例えば、設定部54は、複数の左右オフセット値dxに基づいて探索領域SAを設定してもよい。
【0095】
上述したように、第5実施形態の駐車支援装置36では、設定部54が、車両10の左右方向において複数の位置に探索領域SAを設定するので、車両10と区画線90との距離に関わらず適切な位置に探索領域SAを設定して、区画線90の検出精度を向上させることができる。
【0096】
<第6実施形態>
第6実施形態では、設定部54が、車両10の後方向において、複数の位置に探索領域SAを設定する。即ち、上述の実施形態では、設定部54は、車両10の後方のDzの位置に探索領域SAを設定したが、第6実施形態では、車両10の後方において複数の異なる位置に探索領域SAを設定する。
【0097】
図14は、第6実施形態の設定部54が、複数の区画線90を検出するまでの現実世界における探索領域SAの設定を説明する平面図である。
図14は、車両10が、一点鎖線で示す位置CP51から矢印に沿って位置CP52、CP53を経て、実線で示す位置CP54まで移動した場合を想定している。
【0098】
第6実施形態の設定部54は、位置CP51で撮像画像を取得して、予め設定された初期座標(+Dx、Dz)、及び、初期座標(−Dx、Dz)に基づいて車両10の左右両側に探索領域SA51L、SA51Rを設定する。具体的には、設定部54は、車両10の位置CP51を原点とする左側初期座標(+Dx、Dz)に探索領域SA51Lを設定する。設定部54は、車両10の位置CP51を原点とする右側初期座標(−Dx、Dz)に探索領域SA51Rを設定する。
【0099】
次に、設定部54は、位置CP52で新たな撮像画像を取得して、左側初期座標(+Dx、Dz)、及び、右側初期座標(−Dx、Dz)及び予め設定された前後オフセット値dzに基づいて、車両10の左右両側に探索領域SA52L、SA52Rを設定する。具体的には、設定部54は、車両10の位置CP52を原点として、左側初期座標(+Dx、Dz)を前後オフセット値dzだけ後方にオフセットさせた左側オフセット座標(+Dx、Dz+dz)に探索領域SA52Lを設定する。設定部54は、車両10の位置CP52を原点として、右側初期座標(−Dx、Dz)を前後オフセット値dzだけ後方にオフセットさせた右側オフセット座標(−Dx、Dz+dz)に探索領域SA52Rを設定する。即ち、設定部54は、位置CP52では、位置CP51で設定した探索領域SA51L、SA51Rとは異なる前後方向の位置に探索領域SA52L、SA52Rを設定する。
【0100】
設定部54は、位置CP53で新たな撮像画像を取得して、位置CP51と同様に、車両10の位置CP53を原点とする左側初期座標(+Dx、Dz)及び右側初期座標(−Dx、Dz)に探索領域SA53L、SA53Rを設定する。即ち、設定部54は、検出部56が区画線90を検出するまで、位置CP51及び位置CP52での処理を繰り返して探索領域SAを設定する。
【0101】
この後、設定部54は、位置CP54で新たな撮像画像を取得して、位置CP52と同様に、車両10の位置CP54を原点とする左側オフセット座標(+Dx、Dz+dz)及び右側オフセット座標(−Dx、Dz+dz)のそれぞれに探索領域SA54L、SA54Rを設定する。検出部56は、探索領域SA54L、SA54Rのそれぞれで区画線90を検出する。この後の処理は、上述した実施形態と同様の処理を実行してよい。
【0102】
第6実施形態では、設定部54が、1つの前後オフセット値dzに基づいて探索領域SAを設定する例を挙げて説明したが、これに限定されない。例えば、設定部54は、複数の前後オフセット値dzに基づいて探索領域SAを設定してもよい。
【0103】
上述したように、第6実施形態の駐車支援装置36では、設定部54が、車両10の後方向において複数の位置に探索領域SAを設定するので、区画線90の間隔によらず適切な位置に探索領域SAを設定して、区画線90の検出精度を向上させることができる。
【0104】
<第7実施形態>
第7実施形態では、設定部54が、複数の区画線90を検出した後に、検出間隔Ddに基づいて探索領域SAを設定するとともに、検出間隔Ddを用いずに初期座標に基づいて探索領域SAを設定する。
【0105】
図15は、第7実施形態の設定部54が、複数の区画線90を検出するまでの現実世界における探索領域SAの設定を説明する平面図である。
図15は、検出部56が区画線90a、90b、90cを検出した後、車両10が、矢印に沿って右折しつつ移動している場合を想定している。第7実施形態では、左右判定処理によって、左側にのみ探索領域SAを設定する例を挙げて説明する。
【0106】
図15に示すように、第7実施形態の設定部54は、検出部56が区画線90a、90b、90cを検出した後、複数の撮像画像のそれぞれに、検出間隔Ddに基づく探索領域SA66L、SA67L、及び、左側初期座標(+Dx、Dz)に基づく探索領域SA61L、SA62L、SA63L、SA64L、SA65Lのいずれかを設定する。即ち、第7実施形態の設定部54は、区画線90を検出した後も、左側初期座標(+Dx、Dz)に基づく探索領域SA61L、SA62L、SA63L、SA64L、SA65Lを設定する。これにより、検出部56が区画線90a、90b、90cを検出した後、探索領域SA66L、SA67L内で区画線90dを検出できるとともに、区画線90a、90b、90cの検出が誤検出であっても、探索領域SA61L〜SA65Lによって新たな区画線90を検出できる可能性を向上させることができる。
【0107】
ここで、設定部54は、複数の前後オフセット値dzを用いることで、探索領域SAの位置を前後させてもよい。具体的には、設定部54は、探索領域SA61L、SA65L、SA62L、SA64L、SA63Lの順で設定した後、探索領域SA66L、SA67Lの順で設定してもよい。
【0108】
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
【0109】
上述の実施形態では、車両10の後側に設置された撮像部14が撮像した撮像画像を用いた例を挙げたが、これに限定されない。例えば、設定部54は、車両10の前側または左右の側部に設けられた撮像部14からの撮像画像に探索領域SAを設定してもよく、複数の撮像部14から取得した撮像画像を合成した合成画像に探索領域SAを設定してもよい。
【0110】
上述の実施形態では、区画線90が、駐車場の道路とほぼ直交する例を挙げて説明したが、これに限定されない。例えば、高速道路のパーキングエリア等のように区画線が駐車場の道路に対して傾斜している場合に上述の各実施形態を適用してもよい。この場合、探索領域SAは、車両10の前後方向(X方向)に対して、傾斜させることが好ましい。更に、設定部54は、区画線90を検出間隔Ddに基づいて、設定する場合、検出した複数の区画線90の車両10側の端部を連結した方向に検出間隔Ddだけずらした位置に探索領域SAを設定してよい。