(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下に、本発明にかかる駐車支援装置および駐車支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【0010】
[1.駐車支援方法]
図1は、本発明の実施形態に係る駐車支援方法を示す説明図であり、かかる駐車支援方法は、例えば、車両100に搭載される駐車支援装置1によって実行される。
【0011】
図1(a)に示す状態において、車両100の運転手が車両100の後方にある空きスペースに駐車しようとして駐車支援装置1の駐車ボタン(図示せず)を操作すると、駐車支援装置1は、車両100を駐車する際に障害となる障害物が車両100の後方に存在する場合、かかる障害物を検出する。
【0012】
駐車支援装置1は、車両100を駐車する際に障害となる複数種類の障害物を検出することができ、
図1(a)に示す例では、車両100以外の自動車101、102(以下、他車両101、102と記載する)に加え、木103を検出することができる。
【0013】
かかる障害物の検出結果に基づいて、駐車支援装置1は、車両100の後方の空きスペースを検出する。検出する障害物の種類が「自動車」のみである場合、他車両101、102間の空きスペースは、木103を含むことになることから、空きスペースを適切に検出できないおそれがある。一方、駐車支援装置1は、検出する障害物の種類として「木」を含むことから、他車両101、102間の空きスペースを適切に検出することができる。
【0014】
空きスペースの検出が終了すると、駐車支援装置1は、かかる空きスペースに車両100の駐車スペースがあるか否かを判定する。
図1(b)に示すように、他車両101と平行な領域Aを駐車スペースとすると、領域A内に木103が存在することから、車両100を駐車することが難しい。
【0015】
一方、他車両102と平行な領域Bを駐車スペースとすると、領域B内に木103が存在しないことから、障害物にぶつかることなく車両100を駐車スペースに駐車することが可能である。そこで、駐車支援装置1は、空きスペースに領域Bの駐車スペースがあると判定し、かかる判定結果を運転者へ提供する。
【0016】
例えば、駐車支援装置1は、車両100の後方を撮像する撮像部(図示せず)の撮像画像に領域Bを示す駐車枠を合成した画像を表示部(図示せず)に表示することによって、空きスペースに駐車スペースがあることを示す情報を提供する。
【0017】
このように、駐車支援装置1は、自動車以外の種類の障害物を検出し、かかる検出結果に基づいて空きスペースを検出することから、例えば、駐車枠がない上述したような異型の空きスペースであっても駐車スペースを適切に検出することができる。
【0018】
また、駐車支援装置1は、空きスペースに対する駐車方向が異なる複数の駐車スペースが空きスペースに存在しうるかを判定することから、異型の空きスペースであっても駐車スペースをより適切に検出することができる。
【0019】
また、駐車支援装置1は、他車両や木の他、例えば、縁石、電柱、案内標識、地面(路面を含む)の湾曲や凸凹などについても、車両100を駐車する際に障害となる障害物として検出することができ、検出する障害物の種類を適切に設定することで、駐車スペースをさらに適切に検出することができる。以下、駐車支援装置1についてさらに詳細に説明する。
【0020】
[2.駐車支援装置1]
図2は、本発明の実施形態に係る駐車支援装置1の構成例を示す図である。
図2に示すように、駐車支援装置1は、撮像装置2と、主装置3とを備える。
【0021】
撮像装置2は、
図3に示すように、車両100の前方に配置された前方撮像部2aと、車両100の後方に配置された後方撮像部2bと、車両100の右方に配置された右方撮像部2cと、車両100の左方に配置された左方撮像部2dとを備える。
図3は、撮像部2a〜2dの配置例を示す図である。
【0022】
撮像部2a〜2dは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、かかる撮像素子によって撮像した車両100周辺の画像(以下、撮像画像と記載する)を主装置3へ出力する。なお、撮像部2a〜2dは、車両100の前方、後方、右方および左方をそれぞれ撮像方向として撮像を行う。
【0023】
また、撮像部2a〜2dのレンズには魚眼レンズなどの広角レンズが採用され、各撮像部2a〜2dは180度以上の画角を有しており、これらの撮像部2a〜2dを利用することで、車両100の全周囲を撮影することが可能である。
【0024】
主装置3は、情報提供部4と、情報生成部5と、入力部6と、受付部7と、位置情報取得部8と、情報生成機能起動部9とを備え、車両100の乗員(以下、ユーザと記載する)に各種の情報を提供する。
【0025】
[2.1.情報提供部4]
情報提供部4は、撮像装置2から取得した撮像画像や情報生成部5から取得した画像に基づいてユーザに各種の情報を提供する。かかる情報提供部4は、画像取得部11と、画像変換部12と、合成部13と、表示部14と備える。
【0026】
画像取得部11は、撮像部2a〜2dからそれぞれ撮像画像のデータを取得する。かかる画像取得部11は、表示部14に表示させる画像の種類に応じて、撮像部2a〜2dの撮像画像の中から一つ以上の撮像画像を選択して出力する。表示部14に表示させる画像の種類は、例えば、入力部6へのユーザの入力操作によって選択され、また、車両100のギアの状態(進行方向)などによって選択される。なお、入力部6への入力操作は、例えば、表示部14上へのタッチ操作を含む。
【0027】
画像変換部12は、画像取得部11から出力される撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像のデータを合成部13へ出力する。
【0028】
かかる座標変換処理において、画像変換部12は、例えば、撮像画像を所定の投影面に投影(マッピング)し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
【0029】
例えば、画像変換部12は、撮像部2a〜2dの撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像部2a〜2dの撮像画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
【0030】
かかる所定の投影面は、例えば、略半球状(例えば、お椀形状)をしており、その中心領域(例えば、お椀の底部分)は車両100の位置であり、車両100の位置の外側(例えば、お椀の底部分以外の部分)は、車両100の周辺の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。
【0031】
合成部13は、画像取得部11から出力される撮像画像に情報生成部5から取得した画像をクロマキー合成したり、画像変換部12によって生成された仮想視点画像に情報生成部5から取得した画像をクロマキー合成したりすることができる。
【0032】
合成部13は、クロマキー合成した画像(以下、合成画像と記載する)を表示部14に表示させる。なお、合成部13は、画像取得部11から出力される撮像画像や画像変換部12によって生成された仮想視点画像を情報生成部5から取得した画像と合成することなく、表示部14へ出力して表示させることもできる。
【0033】
表示部14は、LCD(Liquid Crystal Display)を備え、合成部13から取得した画像のデータに基づき、撮像画像、仮想視点画像または合成画像を表示することができる。かかる表示部14はタッチパネル式ディスプレイであり、かかる表示部14は、入力部6の機能を備えるが、表示部14はタッチパネル式ディスプレイでなくてもよい。
【0034】
[2.2.情報生成部5]
情報生成部5は、合成部13によって撮像画像や仮想視点画像にクロマキー合成するための合成用画像を生成し、情報提供部4へ出力する。かかる情報生成部5は、障害物検出部21と、検出対象情報記憶部22と、空きスペース判定部23と、駐車スペース判定部24と、駐車枠モデル記憶部25と、駐車対象判定部26と、寄せ情報記憶部27と、画像生成部28と、誘導経路設定部29とを備える。
【0035】
[2.2.1.障害物判定処理]
まず、障害物検出部21による障害物検出処理について説明する。障害物検出部21は、車両100の周辺において車両100の走行や駐車の際に障害となる複数種類の障害物を検出する。障害物検出部21は、情報提供部4から出力される撮像画像内の障害物を例えば背景差分法および特徴点法によって検出することができる。
【0036】
例えば、障害物検出部21は、背景差分法を用いて撮像画像から障害物の候補を検出する。かかる処理において、障害物検出部21は、情報提供部4から出力される現在の撮像画像とその直前の撮像画像との各画素を比較し、差分が抽出された領域に直前の撮像画像では見られなかった物体が存在するものとし、その物体を障害物の候補になるものとして画像内から検出する。
【0037】
また、障害物検出部21は、特徴点法を用いて障害物の候補の中から障害物を検出する。かかる処理において、障害物検出部21は、例えば、障害物の候補の特徴点を判定し、かかる特徴点を検出対象情報記憶部22に記憶している各種の障害物のテンプレート画像の特徴点と比較することによって、障害物の候補にマッチングする障害物を判定する。
【0038】
図4は、検出対象情報記憶部22に記憶されている検出対象テーブルの一例を示す図であり、
図4に示す検出対象テーブルは、「障害物種別」と「検出フラグ」と「テンプレート画像」とが関連付けられた情報である。
【0039】
「障害物種別」は、障害物検出部21において検出可能な障害物の種類を示す情報であり、
図4に示す例では、「自動車」、「木」、「電柱」、「縁石」、「案内標識」、「バイク」、・・・、「地面(路面)の湾曲」、「地面(路面)の凸凹」などである。
【0040】
「検出フラグ」は、障害物検出部21の検出対象にするか否かを示す情報であり、かかる検出フラグが「1」である場合、障害物検出部21による検出対象になり、検出フラグが「0」である場合、障害物検出部21による検出対象にはならない。
【0041】
かかる検出フラグは、例えば、ユーザによる入力部6への入力操作によって設定することができる。画像生成部28は、例えば、検出対象にする障害物の種類を選択するための選択画像(図示せず)を合成部13経由または直接に表示部14に表示する。ユーザは、表示部14に表示された選択画像から検出対象にする障害物の種類を入力部6への入力操作によって選択することができる。
【0042】
なお、障害物検出部21による障害物の検出方法は、上述した方法に限定されるものではなく、例えば、障害物検出部21は、空間微分法による物体検出や顕著性算出法による物体検出を行うことができ、また、特徴点以外によるマッチングを行うこともできる。
【0043】
なお、上述した例では、障害物検出部21は、撮像装置2の撮像画像に基づいて障害物を検出するものとして説明したが、障害物検出部21は、測距センサなどの反射型センサ(図示せず)によって車両100の周辺を走査(スキャン)することによって障害物を検出することもできる。かかる反射型センサを用いることによって、例えば、地面(路面を含む)の湾曲や凸凹の検出を容易に行うことができる。
【0044】
[2.2.2.空きスペース判定処理]
次に、
図2に示す空きスペース判定部23は、障害物検出部21の検出結果に基づいて車両100周辺の空きスペースを検出する。
図5は、空きスペース判定部23による空きスペースの検出方法の一例を示す図である。
【0045】
図5に示すように、空きスペース判定部23は、例えば、障害物検出部21によって検出された障害物である他車両101、102や木103の外形をそれぞれ枠W1〜W3(以下、障害物枠W1〜W3と記載する)で囲い、かかる障害物枠W1〜W3と平行な仮想直線X1〜X4、Y1〜Y3を設定する。
【0046】
この場合、空きスペース判定部23は、仮想直線X1、X4、Y1、Y3で囲まれる領域のうち、障害物枠W3が存在する領域(仮想直線X2、X3、Y1、Y2で囲まれる領域)を除く領域を空きスペースとして判定する。
【0047】
なお、
図5に示す仮想直線の配置は、一例であり、空きスペースを検出するために適切に仮想直線を配置するものであればよく、空きスペース判定部23は、例えば、
図5における障害物枠W3の紙面上方と平行な仮想直線を配置することもできる。また、空きスペース判定部23は、障害物枠に沿った仮想直線ではなく、障害物枠の角部分間を結ぶ仮想直線を配置することもできる。また、障害物枠は、必ずしも矩形状に限定されるものではなく、障害物全体を囲う形状であれば、矩形以外の多角形状や円状であってもよい。
【0048】
このように、空きスペース判定部23は、車両100周辺に存在する複数種類の障害物に囲まれた領域を空きスペースとして検出することができる。そのため、例えば、隣接する他車両間に障害物があるような異型のスペースであっても、空きスペースとして検出することができ、空きスペースの検出精度を向上させることができる。
【0049】
なお、空きスペース判定部23は、障害物に囲まれた領域ではなく、例えば、車両100周辺に障害物が複数存在していない場合であっても、障害物に隣接する領域を空きスペースとして判定することもできる。また、空きスペース判定部23は、撮像画像に駐車枠が含まれる場合、駐車枠内の領域から障害物を除く領域を空きスペースとして判定することもできる。
【0050】
また、空きスペース判定部23は、位置情報取得部8によって取得された位置情報に基づき、車両100の周囲に駐車場が存在すると判定すると、かかる駐車場の領域から障害物を除いた領域を空きスペースとして判定することもできる。
【0051】
この場合、空きスペース判定部23は、例えば、駐車場などの駐車用領域と位置情報とを関連付けて記憶しておき、かかる情報に基づいて駐車場などの駐車用領域の存在を判定することができる。なお、上述した例では、仮想直線を配置して空きスペースを検出したが、仮想直線に加えまたは代えて、仮想曲線を配置して空きスペースを検出することもできる。
【0052】
[2.2.3.駐車スペース判定処理]
次に、駐車スペース判定処理について説明する。駐車スペース判定処理は、
図2に示す駐車スペース判定部24の処理と
図2に示す駐車対象判定部26の処理とを含む。
【0053】
駐車スペース判定部24は、駐車枠モデル記憶部25に記憶された仮想駐車枠VFのモデルに基づいて、空きスペース判定部23によって検出された空きスペースに車両100の駐車スペースがあるか否かを判定する。
【0054】
図6は、駐車枠モデル記憶部25に記憶された仮想駐車枠VFのモデルの一例を示す図である。
図6に示すように、仮想駐車枠VFは、車両100の外形(自車外形)に対して前後左右方向でそれぞれマージンαを加えた矩形状の枠である。なお、マージンαは、前後左右方向でそれぞれ異なる値にすることもできる。
【0055】
仮想駐車枠VFのマージンαは、例えば、ユーザが入力部6への入力操作によって設定することができる。画像生成部28は、マージンαを設定するための画像(図示せず)を合成部13経由または直接に表示部14に表示することができ、ユーザは、表示部14に表示された画像を参照しながら入力部6への入力操作によってマージンαを設定することができる。
【0056】
また、駐車スペース判定部24は、例えば、空きスペースの状態に応じて仮想駐車枠VFのマージンαを増減することができる。例えば、駐車スペース判定部24は、空きスペースの異型度合いが高い場合(例えば、空きスペースの形状が複雑である場合)、仮想駐車枠VFのマージンαを増加させ、空きスペースの異型度合いが低い場合、仮想駐車枠VFのマージンαを低減させることができる。
【0057】
また、駐車スペース判定部24は、ユーザの運転レベルに応じて仮想駐車枠VFのマージンαを増減することもできる。例えば、駐車スペース判定部24は、ユーザの運転レベルが基準レベルよりも低い場合、仮想駐車枠VFのマージンαを増加させ、ユーザの運転レベルが基準レベルよりも高い場合、仮想駐車枠VFのマージンαを低減させることができる。
【0058】
なお、ユーザの運転レベルは、例えば、急ハンドルの頻度、急ブレーキの頻度、走行速度の変化など種々の運転操作履歴に基づいて判定することができ、駐車スペース判定部24は、運転操作履歴を車両100に搭載された種々のセンサから取得することができる。
【0059】
駐車スペース判定部24は、空きスペース判定部23によって検出された空きスペース内に仮想駐車枠VFが収まる場合に、空きスペースに車両100の駐車スペースがあると判定することができる。
【0060】
図7は、駐車スペース判定部24による駐車スペースの有無の判定処理の説明図である。
図7に示すように、駐車スペース判定部24は、空きスペースにおいて仮想駐車枠VFを平行移動したり回転したりすることによって、空きスペース判定部23によって検出された空きスペース内に仮想駐車枠VFが収まるか否かを判定することができる。なお、仮想駐車枠VFの平行移動は、前後左右(
図7の上下左右)に行うことができ、また、仮想駐車枠VFの回転は、例えば、仮想駐車枠VFの中心または四隅のいずれかを中心として行うことができる。
【0061】
かかる処理において、駐車スペース判定部24は、空きスペースの仮想駐車枠VFへ車両100が進入できるか否かを判定することができる。例えば、空きスペースに仮想駐車枠VFが入る場合であっても、車両100が障害物枠にぶつかることなく仮想駐車枠VFに進入できない場合、空きスペースの仮想駐車枠VFへ車両100が進入することが困難であるとする。この場合、駐車スペース判定部24は、空きスペースへ車両100が進入できないと判定し、かかる判定結果に基づき、空きスペースに車両100の駐車スペースがないと判定することができる。
【0062】
駐車スペース判定部24は、車両100の操舵角に応じた車両100の移動領域パターンの情報を記憶しており、かかる情報に基づいて空きスペースへ車両100が進入できるか否かを判定することができる。移動領域パターンは、例えば、車両100の移動軌跡を示す領域であり、移動領域パターンの幅は、例えば、仮想駐車枠VFの幅に設定される。
【0063】
駐車スペース判定部24は、例えば、
図8に示すテーブルを記憶しており、かかるテーブルに設定された1以上の移動領域パターンを組み合わせてつなぎ合わせることにより車両100の移動領域を設定し、かかる移動領域に基づいて空きスペースへ車両100が進入できるか否かを判定することができる。
図8は、車両100の移動領域パターンを車両100の操舵角毎に対応付けたテーブルの一例を示す図である。
図8に示すテーブルでは、各移動領域パターンにおいて、距離が長い方の長さY
1、Y
2、・・・、Y
10、・・・が移動領域パターン間で等しくなるように設定されている。
【0064】
なお、仮想移動領域パターンが設定されるテーブルは、車両100の操舵角に代えて、ハンドル操作角と移動領域パターンを関連付けたテーブルであってもよい。また、駐車スペース判定部24は、移動領域パターンをつなぎ合せることができるように、移動領域パターンの平行移動、回転および反転などを行うことができる。
【0065】
図9は、駐車スペース判定部24による空きスペースへの車両の進入可否判定の説明図である。駐車スペース判定部24は、車両100が停止または走行している道路に面する進入口があるか否かを判定する。駐車スペース判定部24は、進入口があると判定した場合、
図9に示すように、かかる進入口から空きスペースの駐車スペースまでを複数の角度に対応する移動領域パターンをつなぎ合わせて車両100の移動領域を設定していき、障害物に接触することなく駐車スペースまでの移動領域を設定することができるか否かを判定する。
図9に示す例では、3つの0°の移動領域パターンと、3つの15°の移動領域パターンと、3つの10°の移動領域パターンを順次つなぎ合わせており、障害物に接触することなく駐車スペースまでの移動領域を設定することができている。
【0066】
駐車スペース判定部24は、障害物に接触することなく駐車スペースまでの移動領域を移動領域パターンによって形成することができると判定すると、空きスペースへ車両100が進入できると判定する。なお、ここでは、移動領域パターンを組み合わせる例を説明したが、かかる例に限定されるものではない。例えば、駐車スペース判定部24は、車両100からの駐車スペースの位置関係毎に駐車スペースまでの移動領域のパターンを記憶することもでき、この場合、駐車スペースまでの移動領域のパターンを設定した場合に、かかる移動領域に障害物が含まれるか否かによって空きスペースへ車両100が進入できるか否かを判定することもできる。
【0067】
駐車スペース判定部24は、空きスペースに車両100の駐車スペースがあると判定すると、空きスペースにおける仮想駐車枠VFの配置候補PF(以下、枠配置候補PFと記載する場合がある)を決定する。駐車スペース判定部24は、位置や傾きの異なる複数の枠配置候補PFを設定することができる。
【0068】
図10は、枠配置候補PFの一例を示す図である。
図10に示す例では、駐車スペース判定部24は、空きスペースにおける複数の枠配置候補PF1〜PF3を設定している。
【0069】
枠配置候補PF1は、障害物枠W1に平行かつ障害物枠W1寄りの駐車スペースを示す。枠配置候補PF2は、障害物枠W2に平行かつ障害物枠W2寄りの駐車スペースを示す。枠配置候補PF3は、障害物枠W1に平行かつ障害物枠W1、W2の中間位置にある駐車スペースを示す。
【0070】
駐車スペース判定部24は、例えば、空きスペースにおいて互いの領域の重複率が所定値(例えば、50%)以下になるような複数の駐車スペースを配置できる場合、これら複数の駐車スペースに対応する枠配置候補PFを設定することができる。
【0071】
また、駐車スペース判定部24は、空きスペースにおいて傾きが所定角度以上異なる複数の駐車スペースが配置できる場合、これら複数の駐車スペースに対応する枠配置候補PFを設定することができる。
【0072】
また、駐車スペース判定部24は、例えば、寄せ情報記憶部27に記憶された寄せ情報に基づいて、枠配置候補PFを調整または設定することができる。
【0073】
寄せ情報記憶部27に記憶される寄せ情報は、寄せ幅の情報と寄せ方向の情報とを含む。寄せ幅の情報は、障害物と枠配置候補PFとの間の距離Wを示す情報である。例えば、駐車スペース判定部24は、
図10に示す枠配置候補PF1の配置を、障害物枠W3との間の距離が距離Wになるように、
図10に示す枠配置候補PF2の配置を、障害物枠W2との間の距離が距離Wになるようにそれぞれ調整または設定する。
【0074】
また、寄せ方向の情報は、空きスペースのうちのどの方向に寄せるかを示す情報である。駐車スペース判定部24は、寄せ方向が左方向に設定されている場合、例えば、
図10に示す枠配置候補PF1〜PF3のうち枠配置候補PF1のみを設定し、寄せ方向が右方向に設定されている場合、例えば、
図10に示す枠配置候補PF1〜PF3のうち枠配置候補PF2のみを設定することができる。
【0075】
駐車スペース判定部24は、駐車対象判定部26によって判定された駐車対象に応じた寄せ情報を寄せ情報記憶部27から取得し、このように取得した寄せ情報に基づいて枠配置候補PFを調整または設定することができる。なお、寄せ情報記憶部27に記憶される寄せ情報は、例えば、ユーザによる入力部6への入力操作によって駐車対象毎に設定することができ、これにより、ユーザが意図する位置に駐車することができる。
【0076】
駐車対象判定部26は、情報提供部4から取得した撮像画像や位置情報取得部8によって取得された位置情報に基づいて、駐車シーンや駐車種別などの駐車対象を判定する。駐車シーンは、例えば、駐車する場所が一般道路であるか駐車場であるかなどを示す情報である。
【0077】
駐車対象判定部26は、例えば、位置情報取得部8によって取得された位置情報に基づき、現在の位置が一般道路上である場合に駐車対象のシーンが一般道路であると判定し、現在の位置が駐車場である場合に駐車対象のシーンが駐車場であると判定する。なお、駐車対象判定部26は、情報提供部4から取得した撮像画像から駐車シーンを判定することもできる。
【0078】
駐車種別は、例えば、駐車対象の種別が並列駐車であるか、車庫入れであるか、縦列駐車であるかなどを示す情報である。駐車対象判定部26は、例えば、進行方向の撮像画像に車庫が検出される場合に、駐車対象の種別を車庫入れと判定することができる。
【0079】
また、駐車対象判定部26は、例えば、駐車シーンが一般道路であり、進行方向の撮像画像に路肩に寄せて駐車されている他車両が検出された場合に縦列駐車であると判定することができる。さらに、駐車対象判定部26は、例えば、駐車シーンが駐車場である場合に、駐車種別が並列駐車であると判定することができる。
【0080】
寄せ情報記憶部27には、上述した寄せ情報が駐車対象毎に記憶される。駐車スペース判定部24は、上述したように、駐車対象判定部26によって判定された駐車対象に応じた寄せ情報を寄せ情報記憶部27から取得し、かかる寄せ情報に基づいて枠配置候補PFを調整または設定する。これにより、駐車対象に応じた適切な寄せ幅や寄せ方向の枠配置候補PFを設定することができる。
【0081】
例えば、駐車シーンが一般道路で路上駐車を行う場合、路肩(日本であれば左側)を寄せ方向として路肩からの寄せ幅が設定され、これにより、路肩に寄せるように枠配置候補PFを調整することができる。また、駐車シーンが駐車場である場合、寄せ方向が中央寄せとして設定され、これにより、例えば、障害物間の中央に枠配置候補PFを調整することができる。
【0082】
なお、駐車スペース判定部24は、駐車対象判定部26によって判定された駐車対象に関わらず、ユーザによって設定された寄せ情報または予めデフォルトで設定された寄せ情報を寄せ情報記憶部27から取得して枠配置候補PFを調整することもできる。
【0083】
また、駐車スペース判定部24は、空きスペースにおける複数の枠配置候補PFを設定した場合、これら複数の枠配置候補PFのうち推奨する枠配置候補PF(以下、推奨枠配置候補RPFと記載する)を設定することができる。
【0084】
駐車スペース判定部24は、車両100が駐車し易い駐車スペースや車両100が発進し易い駐車スペースに対応する枠配置候補PFを推奨枠配置候補RPFとして設定することができる。
【0085】
例えば、駐車スペース判定部24は、複数の枠配置候補PFのうち、舵角が最も緩やか、すなわち、最も緩やかなハンドル操作によって駐車や発進できる駐車スペースに対応する枠配置候補PFを推奨枠配置候補RPFとして選択することができる。
【0086】
図11は、推奨枠配置候補RPFの選択例を示す図である。
図11に示すように、複数の枠配置候補PF1〜PF3がある場合、
図11に示す車両100の位置から最も緩やかなハンドル操作によって駐車できる駐車スペースに対応する枠配置候補PFは、枠配置候補PF2である。そこで、駐車スペース判定部24は、複数の枠配置候補PF1〜PF3のうち枠配置候補PF2を推奨枠配置候補RPFとして設定する。
【0087】
また、駐車スペース判定部24は、
図11に示す車両100の位置へ向かって駐車スペースから発進する場合、複数の枠配置候補PF1〜PF3のうち枠配置候補PF2に対応する駐車スペースから最も緩やかなハンドル操作によって発進することができる。そこで、駐車スペース判定部24は、複数の枠配置候補PF1〜PF3のうち枠配置候補PF2を推奨枠配置候補RPFとして設定する。
【0088】
なお、駐車スペース判定部24は、車両100が発進する方向を例えば、車両100が空きスペース付近にどの方向から到達したかによって決定することができる。また、例えば、駐車スペース判定部24は、入力部6へのユーザ操作による発進方向の指定によって車両100が発進する方向を決定することもできる。
【0089】
また、駐車スペース判定部24は、駐車がし易く且つ発進がし易い駐車スペースに対応する枠配置候補PFを推奨枠配置候補RPFとすることができ、駐車のし易さと発進のし易さの一方の駐車スペースに対応する枠配置候補PFを推奨枠配置候補RPFにすることができる。また、駐車スペース判定部24は、入力部6へのユーザ操作に基づき、駐車のし易さと発進のし易さのいずれを優先するかを決定することができる。
【0090】
また、駐車スペース判定部24は、駐車や発進のし易さに加えまたは代えて、車両100の左右の所定範囲(例えば、1m)に障害物がない駐車スペースに対応する枠配置候補PFを推奨枠配置候補RPFとすることができる。なお、駐車スペース判定部24は、車両100のドア付近の左右の所定範囲に障害物がない駐車スペースに対応する枠配置候補PFを推奨枠配置候補RPFとすることができる。
【0091】
[2.2.4.画像生成処理]
次に、画像生成処理について説明する。画像生成部28は、例えば、駐車スペース判定部24によって設定された枠配置候補PFを示す画像(以下、仮想駐車枠画像と記載する)を生成し、情報提供部4へ出力する。
【0092】
画像生成部28は、駐車スペース判定部24によって設定された枠配置候補PFのうち推奨枠配置候補RPFを強調表示するように推奨枠配置候補RPFの画像を生成する。
【0093】
強調表示の方法は、例えば、推奨枠配置候補RPFの枠線画像を他の枠配置候補PFの枠線画像よりも太くしたり、色を目立つようにしたりすることによって行われる。なお、画像生成部28は、推奨枠配置候補RPFの画像に例えば「推奨」の文字を含むようにすることもできる。
【0094】
情報提供部4の合成部13は、撮像画像や仮想視点画像に仮想駐車枠画像をクロマキー合成し、かかる合成画像を表示部14に表示する。これにより、ユーザは周辺画像に仮想駐車枠画像が合成された画像を視認することができ、仮想駐車枠画像に基づいて駐車操作を行うことができる。
【0095】
画像生成部28は、撮像画像に合成する仮想駐車枠画像を生成する場合、枠配置候補PFを撮像画像に対応する座標に変換して仮想駐車枠画像を生成する。また、画像生成部28は、仮想視点画像に合成する仮想駐車枠画像を生成する場合、枠配置候補PFを仮想視点画像に対応する座標に変換して仮想駐車枠画像を生成する。
【0096】
図12は、表示部14に表示される合成画像50の一例を示す図であり、かかる合成画像50は、車両100の上方からみた仮想視点画像上に仮想駐車枠画像を合成した画像である。
図12に示すように、表示部14には、枠配置候補PF1〜PF3の画像がそれぞれ表示され、枠配置候補PF2が推奨枠配置候補RPFであることが分かるように強調表示されている。
【0097】
このように合成画像50が表示部14に表示されている状態でユーザによる入力部6への操作によって枠配置候補PF1〜PF3の中から一つの枠配置候補PFが選択された場合、駐車スペース判定部24は、選択された枠配置候補PF以外の枠配置候補PFの設定を取り消す。
【0098】
これにより、画像生成部28は、選択されていない枠配置候補PFに対応する仮想駐車枠画像の生成を停止し、表示部14には、枠配置候補PF1〜PF3のうち選択された枠配置候補PFに対応する仮想駐車枠画像のみが表示される。
【0099】
駐車支援装置1の誘導経路設定部29(
図2参照)は、選択された枠配置候補PFに対応する駐車スペースへの誘導経路を演算し、かかる誘導経路の画像を画像生成部28に生成させる。これにより、ユーザは、表示部14に表示された誘導経路の画像に基づいて、選択した枠配置候補PFに対応する駐車スペースへの駐車を適切に行うことができる。
【0100】
ところで、駐車支援装置1は、ユーザによって枠配置候補PFが選択された後であっても、選択された枠配置候補PFの位置を調整することができる。例えば、駐車スペース判定部24は、ユーザによる入力部6への操作によって、選択された枠配置候補PFに対する位置の変更が要求された場合、選択された枠配置候補PFの位置をユーザ操作に基づいて変更することができる。
【0101】
図13および
図14は、ユーザ操作によって変更される枠配置候補PFを示す図であり、
図13は枠配置候補PF2が選択された枠配置候補PFであり、
図14は枠配置候補PF3が選択された枠配置候補PFである。
【0102】
図13に示すように、ユーザ操作に基づいて駐車スペース判定部24は枠配置候補PF2の左右方向(横方向)の位置を例えば、枠配置候補PF2−1、PF2−2、PF2−3のいずれにも変更することができる。
【0103】
また、
図14に示すように、ユーザ操作に基づいて駐車スペース判定部24は枠配置候補PF3の上下方向(縦方向)の位置を枠配置候補PF3−1、PF3−2、PF3−3のいずれにも変更することができる。なお、
図14において、枠配置候補PF3−1、PF3−2、PF3−3は、便宜上、見やすくするために左右方向にずらしている。
【0104】
駐車スペース判定部24は、例えば、表示部14に対するユーザのタッチ位置に基づいて枠配置候補PFの左右方向や上下方向の位置を変更することができる。また、画像生成部28は、例えば、寄せ幅を変更するためのインジケータの画像を生成して表示部14に表示させ、駐車スペース判定部24は、インジケータへのユーザのタッチ操作によって寄せ幅を設定することができる。
【0105】
このように、ユーザは、枠配置候補PFを選択した後、選択した枠配置候補PFの位置を調整することができることから、枠配置候補PFをユーザの好みにあった位置に調整することができる。
【0106】
[2.2.5.情報生成機能起動処理]
次に、情報生成機能起動処理について説明する。情報生成部5によって仮想駐車枠画像を生成する機能である情報生成機能は、入力部6へのユーザ操作や情報生成機能起動部9によって起動される。
【0107】
例えば、入力部6へのユーザ操作によって情報生成機能を起動する操作が行われた場合、情報生成部5は仮想駐車枠画像の生成を開始する。入力部6へのユーザ操作は、例えば、表示部14に表示された駐車ボタン(図示せず)をタッチ操作することによって行われる。また、表示部14に駐車ボタンを表示することに代えてまたは加えて、物理的な駐車ボタンを駐車支援装置1に配置することもできる。
【0108】
また、情報生成機能起動部9は、車両100の周囲環境や車両100の状態などによって情報生成部5の情報生成機能を起動し、情報生成部5に仮想駐車枠画像の生成を開始させる。
【0109】
例えば、情報生成機能起動部9は、位置情報取得部8によって取得された位置情報に基づき、駐車場までの距離が所定閾値(例えば、5m)以下である場合に、情報生成部5の情報生成機能を起動し、情報生成部5に仮想駐車枠画像の生成を開始させることができる。また、情報生成機能起動部9は、駐車場までの距離が所定閾値以下である場合、さらに、車両100の速度が所定閾値(例えば、10km/h)以下である場合に情報生成部5の情報生成機能を起動することもできる。
【0110】
また、情報生成機能起動部9は、例えば、画像取得部11によって取得された撮像画像に地面(路面を含む)上に形成された駐車枠が含まれる場合に、情報生成部5の情報生成機能を起動することもできる。また、この場合も、情報生成機能起動部9は、さらに、車両100の速度が所定閾値以下である場合に情報生成部5の情報生成機能を起動することもできる。
【0111】
また、情報生成機能起動部9は、例えば、進行方向の撮像画像に車庫が検出される場合に情報生成部5の情報生成機能を起動することもでき、この場合も、情報生成機能起動部9は、さらに、車両100の速度が所定閾値以下である場合に情報生成部5の情報生成機能を起動することもできる。
【0112】
[3.駐車支援装置1の画像処理]
次に、
図15を参照して駐車支援装置1によって実行される画像処理について説明する。
図15は、駐車支援装置1が実行する画像処理手順を示すフローチャートであり、かかる画像処理手順は駐車支援装置1によって繰り返し実行される。
【0113】
図15に示すように、駐車支援装置1の画像取得部11は、撮像装置2から撮像画像を取得する(ステップS1)。駐車支援装置1の障害物検出部21は、画像取得部11によって取得された撮像画像に基づいて障害物を検出する(ステップS2)。
【0114】
次に、駐車支援装置1の空きスペース判定部23は、障害物検出部21によって判定された障害物の情報に基づいて空きスペースを判定する(ステップS3)。このように判定された空きスペースに基づき、駐車スペース判定部24は、駐車スペース判定処理を行う(ステップS4)。かかる駐車スペース判定処理は、
図16に示すステップS10〜S15の処理であり、後で詳述する。
【0115】
次に、駐車支援装置1の画像生成部28は、駐車スペース判定部24によって設定された枠配置候補PFを示す画像である仮想駐車枠画像を生成し、情報提供部4へ出力する(ステップS5)。かかる処理において、画像生成部28は、枠配置候補PFに推奨枠配置候補RPFが含まれる場合には、推奨枠配置候補RPFを強調表示するように推奨枠配置候補RPFの画像を生成する。
【0116】
次に、駐車支援装置1の情報提供部4は情報提供処理を行う(ステップS6)。かかる処理において、情報提供部4の合成部13は、撮像画像や仮想視点画像に仮想駐車枠画像をクロマキー合成し、合成後の画像を表示部14に表示する。これにより、例えば、駐車枠がない上述したような異型の空きスペースであっても駐車スペースの情報を提供することができる。
【0117】
次に、
図15に示すステップS4の駐車スペース判定処理について、
図16を参照して詳細に説明する。
図16は、駐車スペース判定処理手順を示すフローチャートである。
【0118】
図16に示すように、駐車スペース判定部24は、空きスペース判定部23によって検出された空きスペースに車両100の駐車スペースがあるか否かを判定する(ステップS10)。
【0119】
空きスペースに駐車スペースがあると判定した場合(ステップS10;Yes)、駐車スペース判定部24は、空きスペースへ車両100が進入できるか否かを判定する(ステップS11)。かかる処理において、空きスペースへ車両100が進入できると判定すると(ステップS11;Yes)、駐車スペース判定部24は、仮想駐車枠VFの配置候補PFを設定する(ステップS12)。
【0120】
次に、駐車スペース判定部24は、寄せ情報記憶部27に記憶された寄せ情報に基づいて、ステップS12において設定された仮想駐車枠VFの配置候補PFを調整する(ステップS13)。かかる処理において、駐車スペース判定部24は、例えば、寄せ情報を寄せ情報記憶部27から取得し、かかる寄せ情報に基づいて枠配置候補PFを調整することができる。
【0121】
次に、駐車スペース判定部24は、設定された仮想駐車枠VFの配置候補PFが複数あるか否かを判定する(ステップS14)。設定された仮想駐車枠VFの配置候補PFが複数ある場合(ステップS14;Yes)、駐車スペース判定部24は、複数の仮想駐車枠VFの配置候補PFのうち、推奨する仮想駐車枠VFの配置候補PFを設定する(ステップS15)。
【0122】
ステップS15の処理が終了した場合、ステップS10において、空きスペースに駐車スペースがないと判定した場合(ステップS10;No)、ステップS11において、空きスペースへ車両100が進入できないと判定した場合(ステップS11;No)、および、ステップS14において、設定された仮想駐車枠VFの配置候補PFが複数ない場合(ステップS14;No)、駐車スペース判定部24は、
図16に示す処理を終了する。
【0123】
上述したように、実施形態に係る駐車支援装置1は、障害物検出部21と、空きスペース判定部23と、駐車スペース判定部24とを備える。障害物検出部21は、車両100の周辺において車両100を駐車する際に障害となる複数種類の障害物を検出し、空きスペース判定部23は、障害物検出部21の検出結果に基づいて車両100周辺の空きスペースを検出する。また、駐車スペース判定部24は、空きスペース判定部23によって検出された空きスペースに車両100の駐車スペースがあるか否かを判定する。
【0124】
このように、駐車支援装置1は、自動車以外の種類の障害物を検出し、かかる検出結果に基づいて空きスペースを検出することから、例えば、駐車枠がない異型の空きスペースであっても駐車スペースを適切に判定することができる。
【0125】
また、情報提供部4は、駐車スペース判定部24による判定結果に基づいて、空きスペースにおける駐車スペースの情報を提供する。これにより、例えば、駐車枠がない異型の空きスペースであっても駐車スペースの情報を適切に提供することができる。
【0126】
また、駐車スペース判定部24は、駐車スペースへ車両100が進入できるか否かを判定し、車両100が進入できない駐車スペースの情報は提供しない。これにより、空きスペースに駐車スペースが収まるような場合であっても、車両100が進入できない駐車スペースの情報は、ユーザに提供しないようにすることができる。
【0127】
また、駐車支援装置1は、駐車スペースの位置を示す駐車枠の画像である仮想駐車枠画像を生成する画像生成部28を備え、情報提供部4は、画像生成部28によって生成された画像を表示部14に表示する。これにより、ユーザは、駐車スペースの位置を適切に把握することができる。
【0128】
また、駐車スペース判定部24は、空きスペースにおいて位置および/または傾きが異なる複数の駐車スペースを設定し、画像生成部28は、複数の駐車スペースの位置を示す駐車枠の画像である仮想駐車枠画像を生成する。これにより、ユーザは、複数の駐車スペースの候補から駐車スペースを選択することができ、ユーザの利便性を向上させることができる。
【0129】
また、駐車スペース判定部24は、空きスペースに位置および/または傾きが異なる複数の駐車スペースがある場合、これら複数の駐車スペースのうち駐車および/または発進が最もしやすい駐車スペースを判定し、画像生成部28は、駐車スペース判定部24の判定結果に基づいて駐車スペースの位置を示す駐車枠の画像である仮想駐車枠画像を生成する。これにより、ユーザは、複数の駐車スペースの中からの選択判断がし易くなり、ユーザの利便性を向上させることができる。
【0130】
また、駐車支援装置1は、障害物に対する車両100の寄せ幅および/または寄せ方向の指定を受け付ける受付部7を備える。駐車スペース判定部24は、受付部7によって受け付けられた寄せ幅および/または寄せ方向の設定に基づいて、空きスペースにおける車両100の駐車スペースを調整する。これにより、例えば、ユーザの要望に沿った寄せ幅および/または寄せ方向の駐車スペースの位置を示す画像を提供することができ、また、車両100のドア開閉時にドアが障害物にぶつかってしまうリスクを低減することもできる。
【0131】
また、駐車支援装置1は、障害物に対する車両100の寄せ幅および/または寄せ方向の情報を複数の駐車対象のそれぞれに関連付けて記憶する寄せ情報記憶部27と、駐車対象を判定する駐車対象判定部26とを備える。駐車スペース判定部24は、駐車対象判定部26によって判定された駐車対象に対応する寄せ幅および/または寄せ方向の情報を寄せ情報記憶部27から取得し、かかる取得結果に基づいて空きスペースにおける車両100の駐車スペースを調整する。これにより、例えば、駐車シーンや駐車種別に応じた寄せ幅および/または寄せ方向の駐車スペースを設定することができる。
【0132】
また、駐車支援装置1は、障害物検出部21によって検出させる障害物の種類の設定を受け付ける受付部7と、受付部7によって受け付けられた障害物の種類の設定(検出の有無:検出フラグ)を記憶する検出対象情報記憶部22を備える。障害物検出部21は、検出対象情報記憶部22に記憶されて設定された種類の障害物を検出対象として検出する。このように障害物としての検出対象を変更することができることから、例えば、車両100の種類やユーザの好みなどに応じて適切な空きスペースを判定することができる。例えば、車両100がSUV(Sport Utility Vehicle)などの場合には、地面の凸凹や湾曲を検出対象とせず、車両100がセダンやクーペなどの場合には、地面の凸凹や湾曲を検出対象とすることができる。
【0133】
なお、駐車スペース判定部24は、車両100が駐車し難い駐車スペースや車両100が発進し難い駐車スペースを枠配置候補PFから除外することができる。例えば、駐車スペース判定部24は、舵角が所定以上、すなわち、ハンドルを所定以上回さないと駐車や発進ができないような駐車スペースを枠配置候補PFにする駐車スペースから除外することができる。また、駐車スペース判定部24は、舵角が最大にしても駐車や発進ができないような駐車スペースを枠配置候補PFにする駐車スペースから除外することもできる。
【0134】
また、上述した実施形態では、駐車支援装置1は、車両100に設けられるものとして説明したが、駐車支援装置1の一部の機能(例えば、情報生成部5)を外部サーバに担わせることもできる。
【0135】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。