(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-15
(45)【発行日】2023-06-23
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/60 20170101AFI20230616BHJP
H04N 7/18 20060101ALI20230616BHJP
【ＦＩ】
G06T7/60 200J
H04N7/18 J
【請求項の数】
8
(21)【出願番号】P 2019081069
(22)【出願日】2019-04-22
(65)【公開番号】P2020177568
(43)【公開日】2020-10-29
【審査請求日】2022-03-02
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】金子 貴之
(72)【発明者】
【氏名】久保田 守
(72)【発明者】
【氏名】近藤 俊輔
【審査官】伊知地 和之
(56)【参考文献】
【文献】国際公開第２０１９／００８７５７（ＷＯ，Ａ１）
【文献】特開２０１７－０５２４７１（ＪＰ，Ａ）
【文献】特開２０００－０７９８６０（ＪＰ，Ａ）
【文献】特開２０１３－１１６６９６（ＪＰ，Ａ）
【文献】Changmu SEO et al.，“Vision-based Approach in Finding Multitype Parking Stall Entrance”，2018 International Conference on Network Infrastructure and Digital Content (IC-NIDC)，IEEE，2018年08月，pp.352-357，DOI: 10.1109/ICNIDC.2018.8525525
【文献】植中裕史他，駐車支援システムインテリジェントパーキングアシストの紹介，計測と制御，日本，公益社団法人計測自動制御学会，2015年11月10日，第54巻 第11号，pp.836-840
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０８Ｇ １／００ － ９９／００
Ｈ０４Ｎ ７／１８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
車載カメラにより撮影された画像に基づいて、車両が駐車しようとする駐車区画に対応した、駐車の目標である駐車枠を設定する画像処理装置であって、前記画像に対してエッジ検出処理を施すことにより、立ち上がりエッジと立下りエッジとの対となる、前記駐車区画の、車幅方向に隣り合う他の駐車区画との境界線である側線を検出するとともに、前記対が途切れる直前の前記側線の端点を求める側線検出部と、
前記側線検出部により求められた前記端点のうち前記車両から遠い側の端点に基づいて、前記駐車区画の後端縁を特定する後端縁特定部と、
前記側線検出部により検出された２本の前記側線と前記後端縁特定部により特定された前記後端縁とに基づいて、前記駐車区画を特定し、前記駐車区画に基づいて前記駐車枠を設定する駐車枠設定部と、を備え、
前記後端縁特定部は、２つの前記端点を結んだ仮想の直線が、２本の前記側線に直交するか否かを判定し、直交しないと判定したときは、２つの前記端点の近傍において、前記側線に直交する直線を探索し、前記直交する直線を検出したときは、前記直交する直線を前記後端縁として特定する画像処理装置。
【請求項2】
前記後端縁特定部は、２本の前記側線における２つの前記端点を結んだ仮想の直線が、２本の前記側線に直交するか否かを判定し、直交すると判定したときは、前記仮想の直線を前記後端縁として特定する請求項１に記載の画像処理装置。
【請求項3】
前記後端縁特定部は、２つの前記端点の近傍において、２つの前記端点を結んだ仮想の直線に沿った直線を探索し、前記仮想の直線に沿った直線を検出したときは、その直線を前記後端縁として特定する請求項１又は２に記載の画像処理装置。
【請求項4】
前記後端縁特定部は、２本の前記側線のうち一方の側線の前記端点の先の、前記側線の延長線上に、前記側線に沿って延びる延長側線を探索し、前記延長側線を検出したときは、前記延長側線における端点と、２本の前記側線のうち他方の側線の前記端点とを結んだ仮想の直線に沿い、かつ前記側線に直交する直線を探索し、前記仮想の直線に沿い、かつ前記側線に直交する直線を検出したときは、その直線を前記後端縁として特定する請求項１から３のうちいずれか１項に記載の画像処理装置。
【請求項5】
車載カメラにより撮影された画像に基づいて、車両が駐車しようとする駐車区画に対応した、駐車の目標である駐車枠を設定する画像処理方法であって、前記画像に対してエッジ検出処理を施すことにより、立ち上がりエッジと立下りエッジとの対となる、前記駐車区画の、車幅方向に隣り合う他の駐車区画との境界線である側線を検出するとともに、前記対が途切れる直前の前記側線の端点を求め、
求められた前記端点のうち前記車両から遠い側の端点に基づいて、前記駐車区画の後端縁を特定し、
検出された２本の前記側線と特定された前記後端縁とに基づいて、前記駐車区画を特定し、前記駐車区画に基づいて前記駐車枠を設定し、
２つの前記端点を結んだ仮想の直線が、２本の前記側線に直交するか否かを判定し、直交しないと判定したときは、２つの前記端点の近傍において、前記側線に直交する直線を探索し、前記直交する直線を検出したときは、前記直交する直線を前記後端縁として特定する画像処理方法。
【請求項6】
２本の前記側線における２つの前記端点を結んだ仮想の直線が、２本の前記側線に直交するか否かを判定し、直交すると判定したときは、前記仮想の直線を前記後端縁として特定する請求項５に記載の画像処理方法。
【請求項7】
２つの前記端点の近傍において、２つの前記端点を結んだ仮想の直線に沿った直線を探索し、前記仮想の直線に沿った直線を検出したときは、その直線を前記後端縁として特定する請求項５又は６に記載の画像処理方法。
【請求項8】
２本の前記側線のうち一方の側線の前記端点の先の、前記側線の延長線上に、前記側線に沿って延びる延長側線を探索し、前記延長側線を検出したときは、前記延長側線における端点と、２本の前記側線のうち他方の側線の前記端点とを結んだ仮想の直線に沿い、かつ前記側線に直交する直線を探索し、前記仮想の直線に沿い、かつ前記側線に直交する直線を検出したときは、その直線を前記後端縁として特定する請求項５から７のうちいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
カメラで撮影された画像に基づいて、車両を駐車するために仕切られた駐車区画を自動的に検出する技術が知られている。このような駐車区画は、例えば、車両の前後方向に対応して延びた白線等の境界線で仕切られている。そして、駐車区画の自動的な検出は、境界線を検出することで行われる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１９０２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、駐車区画における車幅方向の境界は上述した境界線であるが、駐車区画における車両前後方向の後端を特定する手法は確立されていない。そして、例えば、車両を駐車区画内に自動的に駐車させる制御を行う場合、駐車区画の後端（駐車動作中における進行方向前方の端部（後退で駐車した場合の車両の後端に対応する端部））を適切に特定する必要がある。特に、後端に輪止めブロック等の、物理的に車両の進行を停止させる部材が設けられていない場合は、駐車区画の後端の特定が必須となる。
【0005】
本発明は上記事情に鑑みなされたものであり、駐車区画の後端を適切に特定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１は、車載カメラにより撮影された画像に基づいて、車両が駐車しようとする駐車区画に対応した、駐車の目標である駐車枠を設定する画像処理装置であって、前記画像に対してエッジ検出処理を施すことにより、立ち上がりエッジと立下りエッジとの対となる、前記駐車区画の、車幅方向に隣り合う他の駐車区画との境界線である側線を検出するとともに、前記対が途切れる直前の前記側線の端点を求める側線検出部と、前記側線検出部により求められた前記端点のうち前記車両から遠い側の端点に基づいて、前記駐車区画の後端縁を特定する後端縁特定部と、前記側線検出部により検出された２本の前記側線と前記後端縁特定部により特定された前記後端縁とに基づいて、前記駐車区画を特定し、前記駐車区画に基づいて前記駐車枠を設定する駐車枠設定部と、を備えた画像処理装置である。
【0007】
本発明の第２は、車載カメラにより撮影された画像に基づいて、車両が駐車しようとする駐車区画に対応した、駐車の目標である駐車枠を設定する画像処理方法であって、前記画像に対してエッジ検出処理を施すことにより、立ち上がりエッジと立下りエッジとの対となる、前記駐車区画の、車幅方向に隣り合う他の駐車区画との境界線である側線を検出するとともに、前記対が途切れる直前の前記側線の端点を求め、求められた前記端点のうち前記車両から遠い側の端点に基づいて、前記駐車区画の後端縁を特定し、検出された２本の前記側線と特定された前記後端縁とに基づいて、前記駐車区画を特定し、前記駐車区画に基づいて前記駐車枠を設定する画像処理方法である。
【発明の効果】
【0008】
本発明に係る画像処理装置及び画像処理方法によれば、駐車区画の後端を適切に特定することができる。
【図面の簡単な説明】
【0009】
【図1】本発明に係る画像処理装置の一実施形態である画像処理装置を用いた駐車支援装置の概略構成を示すブロック図である。
【図2】駐車支援装置におけるカメラ（前方カメラ、後方カメラ、左側方カメラ、右側方カメラ）の配置の一例を示す図である。
【図3】本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【図4】駐車区画及び駐車枠を示す模式図である。
【図7】側線である白線と後端線である白線とによって駐車区画が形成されているが、白線が掠れているなどして部分的に途切れている様子を示す模式図である。
【図8】車幅方向の境界線である２本の白線（側線）と、これら２本の白線の後側の端点同士を結んだ後端線である白線とで仕切られた駐車区画を示す模式図である。
【図9】車幅方向に対して傾いた方向に配列されていて、側線である白線と、この白線に直交する後端線である白線とで仕切られ駐車区画であって、側線である白線の途中に、隣接する駐車区画の後端線である白線が繋がっているものの模式図である。
【発明を実施するための形態】
【0010】
以下、本発明に係る画像処理装置及び画像処理方法の具体的な実施の形態について、図面を参照して説明する。
【0011】
［駐車支援装置の概略構成］
図１は、本発明に係る画像処理装置の一実施形態である画像処理装置１００を用いた駐車支援装置１の概略構成を示すブロック図、図２は駐車支援装置１におけるカメラ２０（前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄ）の配置の一例を示す図である。
図１は、本発明に係る画像処理装置の一実施形態である画像処理装置１００を用いた駐車支援装置１の概略構成を示すブロック図、図２は駐車支援装置１におけるカメラ２０（前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄ）の配置の一例を示す図である。
【0012】
図１に示した駐車支援装置１は、図２に示した車両Ｖに搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、図２に示す車載のカメラ２０（撮像装置）で撮影された画像に基づいて、車両Ｖの周囲の駐車領域である駐車区画を認識し、その認識した駐車区画に対応した駐車枠を設定して、その駐車枠に車両Ｖを誘導するように車両Ｖの動作を制御する車両制御ＥＣＵ４０に対して必要な信号を出力する。
【0013】
駐車支援装置１は、図１に示すように、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ及び右側方カメラ２０ｄと、カメラＥＣＵ２２と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３４とを有する。
【0014】
図２に示すように、前方カメラ２０ａは、車両Ｖのフロントバンパ又はフロントグリルに、車両Ｖの前端を含む前方の領域を撮影するように前方に向けて装着されている。後方カメラ２０ｂは、車両Ｖのリアバンパ又はリアガーニッシュに、車両Ｖの後端を含む後方の領域を撮影するように後方に向けて装着されている。左側方カメラ２０ｃは、車両Ｖの左ドアミラーに、車両Ｖの左側方の領域を撮影するように左側方に向けて装着されている。右側方カメラ２０ｄは、車両Ｖの右ドアミラーに、車両Ｖの右側方の領域を撮影するように右側方に向けて装着されている。
【0015】
これらのカメラ２０ａ～２０ｄには、例えば１８０［°］程度の広い範囲を撮影できるように広い画角の広角レンズや魚眼レンズが装着されており、これら４台のカメラ２０ａ～２０ｄによって車両Ｖの周囲の路面を含んだ全周の領域を漏れなく撮影することができるようになっている。
【0016】
以下、これら４つのカメラ２０ａ～２０ｄを区別しない場合や総称する場合は、カメラ２０という。
【0017】
カメラＥＣＵ２２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ等からなるマイクロコンピュータ（マイコン）を主体として構成される。カメラＥＣＵ２２は、カメラ２０の動作を制御するとともに、カメラ２０が撮影した画像情報を用いて、俯瞰画像の生成処理や、駐車区画を検知する検知処理などを行う画像処理装置１００を備えている。
【0018】
ナビゲーション装置３０は画像表示機能を有するモニタ３１を備えている。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有し、この地図データ等及び図示を略したＧＰＳ装置等により測位された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニタ３１に表示される。
【0019】
車輪速センサ３２は、車両Ｖの車輪速を検知する。車輪速センサ３２により検知された車輪速は車両制御ＥＣＵ４０に入力され、車両制御ＥＣＵ４０による車両Ｖの動作の制御に用いられる。
【0020】
操舵角センサ３４は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を０［度］（中立位置）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３４で検知された操舵角は、車両制御ＥＣＵ４０に入力され、車両制御ＥＣＵ４０による車両Ｖの動作の制御に用いられる。
【0021】
さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。
【0022】
車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ等からなるマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４から入力された各情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。
【0023】
すなわち、例えば、運転者が、図示を略した自動駐車開始スイッチ等を操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２２によって取得された駐車区画に、車両Ｖを自動運転で駐車させる自動駐車処理を実行する。
【0024】
自動駐車処理において、ステアリング制御ユニット５０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、パワーステアリング（パワステ）アクチュエータ５２の駆動を制御することにより、車両Ｖの操舵角を制御する。
【0025】
また、自動駐車処理において、スロットル制御ユニット６０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、スロットルアクチュエータ６２の駆動を制御することにより、車両Ｖのスロットル開度を制御する。
【0026】
また、自動駐車処理において、ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、ブレーキアクチュエータ７２の駆動を制御することにより、車両Ｖのブレーキを制御する。
【0027】
なお、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４と、車両制御ＥＣＵ４０とは、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network；登録商標）８０によって接続されている。
【0028】
また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０とは、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８２によって接続される。
【0029】
［画像処理装置の機能構成］
図３は本実施形態の画像処理装置１００の概略構成を示す機能ブロック図、図４は駐車区画２５０及び駐車枠３００を示す模式図である。また、図５は図３に示した画像処理装置１００が駐車枠３００を設定する処理の流れを示すフローチャート、図６は図５に示した後端縁を特定する処理における詳細を示すフローチャートである。
図３は本実施形態の画像処理装置１００の概略構成を示す機能ブロック図、図４は駐車区画２５０及び駐車枠３００を示す模式図である。また、図５は図３に示した画像処理装置１００が駐車枠３００を設定する処理の流れを示すフローチャート、図６は図５に示した後端縁を特定する処理における詳細を示すフローチャートである。
【0030】
画像処理装置１００は、図４に示すように、検出した駐車区画２５０に対応して駐車枠３００を設定し、その設定した駐車枠３００に関する情報（駐車枠３００の位置や形状等）１２１を、車両制御ＥＣＵ４０に出力する。
【0031】
そして、駐車枠３００に関する情報１２１を取得した車両制御ＥＣＵ４０は、設定した駐車枠３００に車両Ｖを誘導して駐車動作させるように、予め記憶されたプログラムに従って、車輪速センサ３２及び操舵角センサ３４によって検出された情報を参照しつつ、パワステアクチュエータ５２、スロットルアクチュエータ６２及びブレーキアクチュエータ７２を制御する。これにより、車両Ｖは、設定された駐車枠３００に適切に駐車される。
【0032】
画像処理装置１００は、図３に示すように、制御部１１０と、記憶部１２０とを有する。
【0033】
制御部１１０は、カメラＥＣＵ２２のＣＰＵから主に構成されており、画像処理装置１００全体の制御を行う。制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。
【0034】
記憶部１２０は、カメラＥＣＵ２２のＲＯＭ、ＲＡＭ及びフラッシュメモリ等から主に構成されている。記憶部１２０は、図示を省略した制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。また、記憶部１２０には、制御部１１０での処理の途中に検出された、端点等のデータを含むパラメータ１２２や、駐車枠３００に関する情報１２１等が記憶される。
【0035】
特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
【0036】
制御部１１０は、視点変換部１１１と、エッジ検出部１１２と、マーカ検出部１１３と、駐車枠設定部１１４と、表示制御部１１５と、を備えている。
【0037】
視点変換部１１１は、４つのカメラ２０がそれぞれ車両Ｖの周囲の路面を撮像した画像（以下、スルー画像ということもある。）を取得し（図５におけるステップ１（Ｓ１））、このスルー画像を、例えば図４に示した俯瞰画像（車両Ｖの上方から鉛直方向に平行な視線で見下ろしたと仮定して得られる画像）に変換する（図５におけるＳ２）。
【0038】
なお、視点変換部１１１は、視点変換とともに、４つのカメラ２０が撮像したスルー画像に対応した４つの俯瞰画像を、車両Ｖを中心とした単一の俯瞰画像に合成する処理（Ｓ２において括弧書きで示す）を行ってもよい。
【0039】
エッジ検出部１１２は、視点変換部１１１から出力された俯瞰画像のうち、例えば車両Ｖの後方領域に相当する俯瞰画像Ｐ（図４参照）に対して、一定方向（例えば、図４のｘ方向（車両Ｖの車幅方向に対応））やｘ方向に直交するｙ方向等に走査を行うことで、エッジの検出処理を行う（図５におけるＳ３）。エッジは、その画像の空間的に狭い領域で明暗（画素の値（画像信号値））が急激に変化する部分である。
【0040】
以下、画像信号値が相対的に小さい値から大きい値に変化するエッジ（立ち上がりエッジ）をプラスエッジ（＋エッジと略す。）、画像信号値が相対的に大きい値から小さい値に変化するエッジ（立下りエッジ）をマイナスエッジ（－エッジと略す。）という。エッジ検出部１１２は、＋エッジと－エッジをそれぞれ検出する。
【0041】
駐車区画２５０の境界線である白線２００は、路面の他の部分に比べて明るい（輝度値が高い）ため、エッジ検出部１１２は、白線２００以外の路面から白線２００に切り替わる部分で＋エッジを検出し、白線２００から白線２００以外の路面に切り替わる部分で－エッジを検出する。
【0042】
なお、駐車区画２５０の境界線の色は白色に限らず黄色等の場合もあるが、以下の説明では、これら白色以外の黄色等の色の境界線も含めて、路面の部分より明るい境界線を白線という。なお、白線には、路面の部分より暗い境界線を含まない。
【0043】
エッジ検出部１１２は、上述したｘ方向への走査を、その走査方向（ｘ方向）とは異なる方向（例えば、ｘ方向に直交するｙ方向（車両Ｖの前後方向））にずらして複数回行い、＋エッジが所定方向に並んで検出されれば、その所定方向に延びた＋エッジの線分２００ａを検出する。－エッジの線分２００ｂについても同様である。
【0044】
マーカ検出部１１３は、駐車区画２５０の境界となるマーカを検出する。本実施形態におけるマーカ検出部１１３は、一定長さ以上の直線状の白線２００をマーカとして検出する（図５におけるＳ４）。
【0045】
マーカ検出部１１３は、エッジ検出部１１２によって検出された＋エッジの線分２００ａ及び－エッジの線分２００ｂに基づいて、駐車区画２５０の、車幅方向に隣り合う他の駐車区画２５０との境界線である側線としての、一定方向に直線状に延びた白線２００を検出する。
【0046】
具体的には、＋エッジの線分２００ａと－エッジの線分２００ｂとが所定の一定間隔ｄで対（ペア）になって、かつ一定長さ以上であるものを白線２００と判定し、検出する。
【0047】
ここで、一定間隔ｄの値は、駐車区画２５０の境界線として用いられている白線２００の幅の一般的な寸法範囲に設定されていて、単一値ではなく、最小値から最大値までの範囲を有するものとして設定されている。
【0048】
一方、例えば、＋エッジの線分２００ａのみが検出され、その＋エッジの線分２００ａと対になるべき－エッジの線分２００ｂが一定間隔ｄの範囲で検出されていないときは、マーカ検出部１１３は、白線２００は存在しないと判定し、検出しない。
【0049】
そのような状況としては、例えば路面上に車両Ｖ等の影が投影されて、その影から日向（ひなた）に切り替わる部分などが想定され、その切り替わる部分では＋エッジの線分２００ａが検出されるが、対になるべき－エッジの線分２００ｂは検出されないため、マーカ検出部１１３は白線２００が存在しないと判定する。
【0050】
同様に、例えば、－エッジの線分２００ｂのみが検出された場合も、マーカ検出部１１３は、白線２００は存在しないと判定する。－エッジの線分２００ｂのみが検出された場合の例としては、例えば路面上に車両Ｖ等の影が投影されて、日向からその影に切り替わる部分などが想定され、マーカ検出部１１３は白線２００が存在しないと判定する。
【0051】
なお、例えば、電信柱の影が日向の路面に投影されている場合は、－のエッジの線分２００ｂと＋のエッジの線分２００ａとが一定間隔ｄで対になるが、この場合も、マーカ検出部１１３は、白線２００は存在しないと判定する。電信柱の影は日向の路面よりも暗いため、路面よりも暗い線として認識され得るが、暗い線は、路面よりも明るい白線２００に該当しない。
【0052】
つまり、マーカ検出部１１３は、＋エッジの線分２００ａから一定間隔ｄで－エッジの線分２００ｂが存在した場合に白線２００と判定するのであり、－エッジの線分２００ｂから一定間隔ｄで＋エッジの線分２００ａが存在した場合に白線２００と判定しない。これにより、マーカ検出部１１３は、上述した電信柱の影のような暗い線を、誤って白線２００として検出することがなく、そのようなノイズの誤検出を排除することができる。
【0053】
なお、ｘ方向に走査して検出された＋エッジの線分２００ａ及び－エッジの線分２００ｂは、ｘ方向に交差する方向に延びているため、これらの＋エッジの線分２００ａと－エッジの線分２００ｂとによって白線と判定された白線２００は、前後方向に延びた、駐車区画２５０の車幅方向の境界線、つまり側線である。
【0054】
図４に示す俯瞰画像Ｐの場合は、マーカ検出部１１３は俯瞰画像Ｐ中に２本の側線である白線２００を検出する。マーカ検出部１１３は、検出した２本の白線２００の後端の各端点２００ｃを検出し、検出した端点２００ｃを記憶部１２０に記憶する。白線２００の端点２００ｃは、＋エッジの線分２００ａと－エッジの線分２００ｂとの対が形成されたｙ方向における端の部分であり、＋エッジの線分２００ａと－エッジの線分２００ｂとの対が途切れる直前の部分である。
【0055】
このように、エッジ検出部１１２及びマーカ検出部１１３は、俯瞰画像Ｐに対してエッジ検出処理を施すことにより、＋エッジの線分２００ａと－エッジの線分２００ｂとが対となる側線としての白線２００を検出するとともに、対が途切れる直前の白線２００の端点を求める。したがって、エッジ検出部１１２及びマーカ検出部１１３は、側線検出部の一例である。
【0056】
なお、俯瞰画像Ｐの範囲から白線２００がはみ出すことによって、白線２００が途切れている場合は、マーカ検出部１１３は、その途切れている直前の部分を白線２００の端点２００ｃとはみなさない。
【0057】
さらに、マーカ検出部１１３は、隣り合う２本の白線２００，２００の間隔Ｗ（厳密には、２本の白線２００，２００のうち最短のエッジ間の距離、つまり、２本の白線２００，２００で挟んだ領域に存在する一方の白線２００の－エッジの線分２００ｂから他方の白線２００の＋エッジの線分２００ａまでの距離）を検出する。そして、この間隔Ｗが、車両Ｖを駐車するのに適した寸法範囲にあるか否かを判定する。
【0058】
具体的には、マーカ検出部１１３は、隣り合う２本の白線２００，２００の間隔Ｗが、車両Ｖの車幅よりも大きい、駐車区画２５０として一般的な幅の範囲であるか否かを判定する。そして、マーカ検出部１１３は、間隔Ｗが駐車区画２５０として一般的な幅の範囲であると判定したときは、その２本の白線２００，２００を側線とする駐車用のスペースである駐車区画２５０であると判定する（図５におけるＳ５）。
【0059】
一方、マーカ検出部１１３は、間隔Ｗが駐車区画２５０として一般的な幅の範囲でないと判定したときは、その２本の白線２００，２００を側線とする駐車区画２５０ではないと判定する。
【0060】
また、エッジ検出部１１２は、俯瞰画像Ｐに対してｘ方向とは異なる方向に走査してエッジ検出処理を施すことにより、白線２００とは異なる方向に延びた＋エッジや－エッジを検出し、マーカ検出部１１３は、既に求められた白線２００の端点のうち車両Ｖから遠い側の端点に基づいて、駐車区画２５０の後端縁を特定する。したがって、エッジ検出部１１２及びマーカ検出部１１３は、後端縁特定部の一例である。
【0061】
すなわち、エッジ検出部１１２及びマーカ検出部１１３は、２本の白線２００，２００を側線とする駐車区画２５０であると判定したときは、判定した駐車区画２５０の後端縁を特定する処理を行う（図５におけるＳ６及び図６）。
【0062】
［駐車区画の後端縁を特定する処理の例］
マーカ検出部１１３は、記憶部１２０に記憶された２本の白線２００，２００の端点２００ｃ同士を直線状の線分２５０ａで仮想的に結び（図６におけるステップ１１（Ｓ１１））、この仮想的に結んだ線分２５０ａが各白線２００に対して直交するか否かを判定する（図６におけるＳ１２）。
マーカ検出部１１３は、記憶部１２０に記憶された２本の白線２００，２００の端点２００ｃ同士を直線状の線分２５０ａで仮想的に結び（図６におけるステップ１１（Ｓ１１））、この仮想的に結んだ線分２５０ａが各白線２００に対して直交するか否かを判定する（図６におけるＳ１２）。
【0063】
例えば、駐車区画２５０が、図４に示すように、車幅方向の境界線である前後方向に延びた白線２００（側線）のみを以て仕切られ、２本の白線２００，２００の長さ方向に沿った端点２００ｃ，２００ｃの位置が一致している場合は、マーカ検出部１１３は、この仮想の線分２５０ａが白線２００に直交すると判定する（Ｓ１２においてＹＥＳ）。
【0064】
この場合、マーカ検出部１１３は、この仮想の線分２５０ａを、駐車区画２５０の後端縁として特定し（図６におけるＳ１３）、後端縁を特定する処理を終了する。
【0065】
図７は側線である白線２００と後端線である白線２１０とによって駐車区画２５０が形成されているが、白線２００が掠れているなどして部分的に途切れている様子を示す模式図である。
【0066】
これに対して、例えば、駐車区画２５０が、図７に示すように、側線である白線２００と、この白線２００に直交し、駐車区画２５０の後端縁を示す後端線である白線２１０とで仕切られているが、側線である白線２００（図７において、右側の白線２００）が掠れているなどして部分的に途切れている場合は、その途切れている部分が端点２００ｃとして記憶部１２０に記憶されている。
【0067】
したがって、２本の白線２００，２００の長さ方向に沿った端点２００ｃ，２００ｃの位置が一致しない。このため、マーカ検出部１１３は、２本の白線２００の端点同士を仮想的に結んだ線分２５０ａは白線２００に直交しないと判定する（図６におけるＳ１２においてＮＯ）。
【0068】
この場合、エッジ検出部１１２が、両端点２００ｃの近くを、最初の走査方向（ｘ方向）に直交する方向（ｙ方向）、すなわち側線である白線２００に沿った方向に走査して、＋エッジの線分２１０ａ、－エッジの線分２１０ｂを探索し、マーカ検出部１１３が＋エッジの線分２１０ａ、－エッジの線分２１０ｂとの対を探索する（図６におけるＳ１４）。
【0069】
そして、側線である白線２００を検出した場合と同様に、マーカ検出部１１３は、一定間隔ｄの＋エッジの線分２１０ａと－エッジの線分２１０ｂとの対を検出して、白線２００に直交する白線２１０の有無を判定する（図６におけるＳ１５）。
【0070】
【0071】
図８は車幅方向の境界線である２本の白線２００（側線）と、これら２本の白線２００の後側の端点２００ｃ，２００ｃ同士を結んだ後端線である白線２１０とで仕切られた駐車区画２５０を示す模式図である。
【0072】
これに対して、例えば、駐車区画２５０が、図８に示すように、車幅方向に対して傾いた方向に配列されている場合、すなわち、駐車区画２５０は、車幅方向の境界線である２本の白線２００（側線）と、これら２本の白線２００の後側の端点２００ｃ，２００ｃ同士を結んで形成された、後端線である白線２１０とで仕切られている場合、側線である白線２００に直交する白線２１０は検出されない（図６におけるＳ１５においてＮＯ）。
【0073】
【0074】
具体的には、エッジ検出部１１２が、両端点２００ｃの近くにおいて、線分２５０ａに直交する方向（ｘ方向に交差する方向）に走査して、線分２５０ａに沿って延びる＋エッジの線分２１０ａ、－エッジの線分２１０ｂを探索し、マーカ検出部１１３が＋エッジの線分２１０ａ、－エッジの線分２１０ｂとの対を探索する（図６におけるＳ１７）。
【0075】
そして、側線である白線２００を検出した場合と同様に、マーカ検出部１１３は、一定間隔ｄの＋エッジの線分２１０ａと－エッジの線分２１０ｂとの対を検出して、白線２００に交差する白線２１０の有無を判定する（図６におけるＳ１８）。
【0076】
【0077】
図９は車幅方向に対して傾いた方向に配列されていて、側線である白線２００と、この白線２００に直交する後端線である白線２１０とで仕切られ駐車区画２５０であって、白線２００の途中に、隣接する駐車区画２５０の白線２１０が繋がっているものの模式図である。
【0078】
これに対して、例えば、駐車区画２５０が、図９に示すように、車幅方向に対して傾いた方向に配列されていて、側線である白線２００と、この白線２００に直交し、駐車区画２５０の後端縁を示す後端線である白線２１０とで仕切られている場合、線分２５０ａに沿って延びる白線２１０が検出されない（図６におけるＳ１８においてＮＯ）。
【0079】
つまり、この駐車区画２５０は、一方の側線である白線２００（図９において右側の白線２００）は、長さ方向の途中に、隣接する駐車区画２５０の後端線である白線２１０が繋がっている。したがって、この白線２００は、＋エッジの線分２００ａに対となるべき－エッジの線分２００ｂが、白線２１０の繋がっている部分で途切れる。このため、この白線２００の端点２００ｃは、白線２１０の繋がっている直前の部分ということになる。
【0080】
【0081】
この場合、マーカ検出部１１３は、端点２００ｃの先の、白線２００の延長線上に、白線２００と同じ方向に延びる白線２００′（延長側線）の有無を探索する（図６においてＳ２０）。
【0082】
具体的には、エッジ検出部１１２が、端点２００ｃの先において、白線２００に直交する方向に走査して、白線２００を延長した方向に沿って延びる＋エッジの線分２００ａ′、－エッジの線分２００ｂ′を探索し、マーカ検出部１１３が＋エッジの線分２００ａ′、－エッジの線分２００ｂ′との対を探索する（図６におけるＳ２０）。
【0083】
そして、白線２００を検出した場合と同様に、マーカ検出部１１３は、一定間隔ｄの＋エッジの線分２００ａ′と－エッジの線分２００ｂ′との対を検出して、白線２００の延長線である白線２００′の有無を判定する（図６におけるＳ２１）。
【0084】
白線２００を延長した白線２００′を検出した場合（図６におけるＳ２１においてＹＥＳ）は、その延長した白線２００′の端点２００ｃ′と、隣り合う側線である白線２００（図９において左側の白線２００）の端点２００ｃとを結んだ仮想の線分２５０ａ′に沿い、かつ白線２００に直交する白線２１０を探索する（図６におけるＳ２２）。
【0085】
具体的には、エッジ検出部１１２が、仮想の線分２５０ａ′に直交する方向に走査して、＋エッジの線分２１０ａ、－エッジの線分２１０ｂを探索し、マーカ検出部１１３が＋エッジの線分２１０ａ、－エッジの線分２１０ｂとの対を探索する（図６におけるＳ２２）。
【0086】
そして、白線２００を検出した場合と同様に、マーカ検出部１１３は、一定間隔ｄの＋エッジの線分２１０ａと－エッジの線分２１０ｂとの対を検出して、仮想の線分２５０ａ′に沿った白線２１０の有無を判定する（図６におけるＳ２３）。
【0087】
線分２５０ａ′に沿って延び、かつ白線２００に直交する白線２１０を検出した場合（図６におけるＳ２３においてＹＥＳ）は、その白線２１０を、駐車区画２５０の後端縁として特定し（図６におけるＳ２４）、後端縁を特定する処理を終了する。
【0088】
これに対して、白線２００を延長した白線２００′が検出されなかった場合（図６におけるＳ２１においてＮＯ）と、線分２５０ａ′に沿って延びる白線２１０が検出されなかった場合（図６におけるＳ２３においてＮＯ）は、後端縁を特定しない（図６におけるＳ２５）で、後端縁を特定する処理を終了する。
【0089】
以上のようにして、駐車区画２５０の後端縁を特定する処理により、後端縁が特定されたときは、画像処理装置１００の駐車枠設定部１１４が、２本の側線である白線２００，２００と、特定された後端縁と、後端縁から白線２００に沿って前方に車両Ｖの長さ分だけ伸ばした位置に、後端縁と平行に設定した前端縁とで仕切られる駐車枠３００（図４参照）を設定し（図５におけるＳ７）、記憶部１２０のその駐車枠３００に関する情報１２１を記憶するとともに、その駐車枠３００に関する情報１２１を、車両制御ＥＣＵに出力する。
【0090】
駐車枠３００に関する情報１２１を取得した車両制御ＥＣＵ４０は、自動駐車処理によって車両Ｖを駐車枠３００に誘導して、自動的に駐車させる。
【0091】
また、画像処理装置１００の表示制御部１１５は、ナビゲーション装置３０のモニタ３１に、俯瞰画像及び設定された駐車枠３００を重畳表示し、これにより、駐車枠に車両Ｖが誘導されていく様子を、ドライバに視認させることができる。
【0092】
以上のように、本実施形態の画像処理装置１００及び画像処理方法によれば、駐車区画の後端縁を適切に特定して駐車枠３００を設定することができる。
【0093】
すなわち、
（１）側線である白線２００のみによって駐車区画２５０が形成されている場合（図４）、
（２）後端線である白線２１０が設定されているが、側線である白線２００の一部が途切れている場合（図７）、
（３）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、後端縁である白線２１０が側線である白線２００に対して直交しないで形成されている場合（図８）、
（４）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、隣接する駐車区画２５０の後端縁である白線２１０が側線である白線２００の途中に繋がって形成されている場合（図９）、
といった通常の駐車区画（例えば、２本の側線である白線２００と後端線である白線２００とが、いずれも途切れなく直交して形成されているもの）とは異なる駐車区画２５０であっても、後端縁を適切に特定することができる。
（１）側線である白線２００のみによって駐車区画２５０が形成されている場合（図４）、
（２）後端線である白線２１０が設定されているが、側線である白線２００の一部が途切れている場合（図７）、
（３）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、後端縁である白線２１０が側線である白線２００に対して直交しないで形成されている場合（図８）、
（４）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、隣接する駐車区画２５０の後端縁である白線２１０が側線である白線２００の途中に繋がって形成されている場合（図９）、
といった通常の駐車区画（例えば、２本の側線である白線２００と後端線である白線２００とが、いずれも途切れなく直交して形成されているもの）とは異なる駐車区画２５０であっても、後端縁を適切に特定することができる。
【0094】
これにより、２本の側線である白線２００，２００と後端線である白線２１０とで仕切られる駐車枠３００を適切に設定することができる。
【0095】
なお、駐車動作中における駐車区画２５０の前端線については、後端線に比べて、特定する重要性は低いため、後端線を基準にして、車両Ｖの長さ分だけ側線の方向に延ばして形成すれば十分であるが、他の手法によって特定してもよい。
【0096】
本実施形態の画像処理装置１００及び画像処理方法は、視点変換部１１１を備えて、視点変換部１１１により視点変換して得られた俯瞰画像に対して処理を施すものであるため、白線２００等を、遠近によってサイズが変化しない直交座標系上で演算処理することができる。
【0097】
したがって、本実施形態の画像処理装置１００及び画像処理方法は、俯瞰画像に対しての処理ではなく、遠近に応じてサイズが変化する、視点変換前のスルー画像に対しての処理に比べて、演算負荷を抑制することができ、時々刻々と変化する駐車動作中の画像に対する処理として、好適である。
【0098】
ただし、本発明に係る画像処理装置及び画像処理方法は、俯瞰画像に対する処理に限定されるものではなく、視点変換前のスルー画像や、その他の処理が施された後の画像に対して処理を行うものであってもよい。
【0099】
本実施形態の画像処理装置１００及び画像処理方法は、上述した
（１）側線である白線２００のみによって駐車区画２５０が形成されている場合（図４）、
（２）後端線である白線２１０が設定されているが、側線である白線２００の一部が途切れている場合（図７）、
（３）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、後端縁である白線２１０が側線である白線２００に対して直交しないで形成されている場合（図８）、
（４）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、隣接する駐車区画２５０の後端縁である白線２１０が側線である白線２００の途中に繋がって形成されている場合（図９）、
の駐車区画２５０を順次特定するものであるが、上記（１）～（４）の駐車区画２５０のいずれか１つの形態の駐車区画２５０を特定するものであってもよく、これにより、従来は特定することができなかった駐車区画２５０を特定することが可能となる。
（１）側線である白線２００のみによって駐車区画２５０が形成されている場合（図４）、
（２）後端線である白線２１０が設定されているが、側線である白線２００の一部が途切れている場合（図７）、
（３）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、後端縁である白線２１０が側線である白線２００に対して直交しないで形成されている場合（図８）、
（４）駐車区画２５０が車幅方向に対して傾いた方向に配列されて、隣接する駐車区画２５０の後端縁である白線２１０が側線である白線２００の途中に繋がって形成されている場合（図９）、
の駐車区画２５０を順次特定するものであるが、上記（１）～（４）の駐車区画２５０のいずれか１つの形態の駐車区画２５０を特定するものであってもよく、これにより、従来は特定することができなかった駐車区画２５０を特定することが可能となる。
【符号の説明】
【0100】
２０ カメラ
１００ 画像処理装置
１１２ エッジ検出部
１１３ マーカ検出部
１１４ 駐車枠設定部
１１５ 表示制御部
２００ 白線（側線）
２００ａ プラスエッジの線分
２００ｂ マイナスエッジの線分
２００ｃ 端点
２１０ 白線（後端線）
２５０ 駐車区画
３００ 駐車枠
Ｖ 車両
１００ 画像処理装置
１１２ エッジ検出部
１１３ マーカ検出部
１１４ 駐車枠設定部
１１５ 表示制御部
２００ 白線（側線）
２００ａ プラスエッジの線分
２００ｂ マイナスエッジの線分
２００ｃ 端点
２１０ 白線（後端線）
２５０ 駐車区画
３００ 駐車枠
Ｖ 車両
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
