(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-17
(45)【発行日】2023-02-28
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/12 20170101AFI20230220BHJP
G06T 7/00 20170101ALI20230220BHJP
B60R 99/00 20090101ALI20230220BHJP
B60W 30/06 20060101ALI20230220BHJP
【ＦＩ】
G06T7/12
G06T7/00 650A
B60R99/00 321
B60R99/00 330
B60W30/06
【請求項の数】
6
(21)【出願番号】P 2019024147
(22)【出願日】2019-02-14
(65)【公開番号】P2020135084
(43)【公開日】2020-08-31
【審査請求日】2022-01-04
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】金子 貴之
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１８－１８５５８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１３０６４０（ＵＳ，Ａ１）
【文献】国際公開第２０１４／０８３８２４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／１２
Ｇ０６Ｔ ７／００
Ｂ６０Ｒ ９９／００
Ｂ６０Ｗ ３０／０６
(57)【特許請求の範囲】
【請求項1】
駐車区画線マーカーと、斜線部を有するマーカーとで仕切られた駐車場の駐車スペースを検出する画像処理装置であって、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づく画像を、所定方向に走査し、前記画像信号が低い値から高い値に変化する所定長さの第１のエッジ及び前記画像信号が高い値から低い値に変化する所定長さの第２のエッジを検出し、検出された各エッジの中から、所定間隔で隣り合う前記第１のエッジ及び前記第２のエッジのペアを抽出し、抽出された各ペアに基づいて、前記駐車区画線マーカーを検出するマーカー検出部と、
前記マーカー検出部で前記ペアとして抽出されなかった所定長さの前記第１のエッジ又は前記第２のエッジを単独エッジと認定し、前記単独エッジの側方の所定の開始点から当該単独エッジに沿う方向にエッジを検出して前記斜線部の有無を判定し、前記斜線部が存在すると判定された前記単独エッジに基づいて直線部を検出し、当該直線部を、前記斜線部を有するマーカーに属するみなし直線部と認定する斜線検出部と、
前記駐車区画線マーカーの前記第１のエッジ及び前記第２のエッジ、並びに前記みなし直線部の前記単独エッジから、隣り合う前記エッジを検出し、これらエッジ間の距離に基づいて、前記駐車スペースを検出する駐車枠検出部と、を有することを特徴とする画像処理装置。
【請求項2】
前記斜線検出部は、前記画像信号が低い値から高い値に変化するエッジと、高い値から低い値に変化するエッジが、所定間隔で少なくとも１回検出されたとき、又は複数回連続して検出されたとき、前記斜線部が存在すると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記斜線検出部は、前記斜線部を検出する際に、前記単独エッジの、前記画像信号が高い値となる側方を走査することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
前記マーカー検出部及び前記斜線検出部は、前記画像信号の輝度パターン又は濃淡パターンに基づいて前記エッジを検出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項5】
前記駐車区画線マーカーの基準長さ、線幅、延在方向の角度及び駐車スペース幅が設定された記憶部を備えたことを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。
【請求項6】
駐車区画線マーカーと、斜線部を有するマーカーとで仕切られた駐車場の駐車スペースを検出する画像処理方法であって、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づく画像を、所定方向に走査し、前記画像信号が低い値から高い値に変化する所定長さの第１のエッジ及び前記画像信号が高い値から低い値に変化する所定長さの第２のエッジを検出し、検出された各エッジの中から、所定間隔で隣り合う前記第１のエッジ及び前記第２のエッジのペアを抽出し、抽出された各ペアに基づいて、前記駐車区画線マーカーを検出する工程と、
前記マーカー検出部で前記ペアとして抽出されなかった所定長さの前記第１のエッジ又は前記第２のエッジを単独エッジと認定し、前記単独エッジの側方の所定の開始点から当該単独エッジに沿う方向にエッジを検出して前記斜線部の存在を判定し、前記斜線部が存在すると判定された前記単独エッジに基づいて直線部を検出し、当該直線部を、前記斜線部を有するマーカーに属するみなし直線部と認定する工程と、
前記駐車区画線マーカーの前記第１のエッジ及び前記第２のエッジ、並びに前記みなし直線部の前記単独エッジから、隣り合う前記エッジを検出し、これらエッジ間の距離に基づいて、前記駐車スペースを検出する工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠を推定する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【0002】
モニターに表示された複数の駐車枠の形状のいずれかをユーザの操作に基づいて選択し、選択した駐車枠の形状に基づいて、カメラ画像から駐車枠を認識し、認識された駐車枠に基づいて、駐車枠で区画される駐車スペースへ車両を誘導する駐車支援装置は公知である（例えば特許文献１参照）。しかしながら、特許文献１に開示された技術では、ユーザが駐車枠の形状を選択する手動操作が必要であった。
【0003】
これに対して、駐車場に設けられた駐車枠を、この駐車枠の端部に相当する路面に描かれたマーカーのエッジを抽出することにより自動で検出し、この駐車枠に関する情報を車内のモニターに提供し、あるいは車両に設けられたソナーや操舵装置等の制御装置に提供して車両の駐車を支援する駐車支援装置も公知である（例えば特許文献２参照）。
【0004】
ところで、駐車場の駐車スペースには、車両の立ち入りや駐停車を禁止する領域が隣接していることがある。この駐停車禁止領域は、路面に描かれた複数の平行な斜線部で表されている（以下、「斜線領域」という。）。この斜線領域と駐車区画線とで挟まれた領域、或いは２つの斜線領域で挟まれた領域も、駐車スペースとして利用可能である。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１３－０１８４０６号公報
【文献】特開２０１２－２１０８６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら特許文献２に開示された技術では、左サイドカメラで撮影された画像から、画像の横方向に対して傾斜した基準角度に略沿った傾斜エッジのみを絞り込んで抽出し、この抽出された傾斜エッジに基づいて駐車枠の像を認識している。このため、特許文献２に開示された技術では、斜線領域ではエッジが極端に短く検出されてしまい、斜線領域を認識できず、これに隣接する駐車スペースを検出できないという問題がある。
【0007】
そこで、本発明は、駐車場等の路面に設けられた駐車スペースの検出を迅速かつ確実に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
前記目的を達成するために、本発明の画像処理装置は、駐車区画線マーカーと、斜線部を有するマーカーとで仕切られた駐車場の駐車スペースを検出する画像処理装置であって、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づく画像を、所定方向に走査し、前記画像信号が低い値から高い値に変化する所定長さの第１のエッジ及び前記画像信号が高い値から低い値に変化する所定長さの第２のエッジを検出し、検出された各エッジの中から、所定間隔で隣り合う前記第１のエッジ及び前記第２のエッジのペアを抽出し、抽出された各ペアに基づいて、前記駐車区画線マーカーを検出するマーカー検出部と、前記マーカー検出部で前記ペアとして抽出されなかった所定長さの前記第１のエッジ又は前記第２のエッジを単独エッジと認定し、前記単独エッジの側方の所定の開始点から当該単独エッジに沿う方向にエッジを検出して前記斜線部の有無を判定し、前記斜線部が存在すると判定された前記単独エッジに基づいて直線部を検出し、当該直線部を、前記斜線部を有するマーカーに属するみなし直線部と認定する斜線検出部と、前記駐車区画線マーカーの前記第１のエッジ及び前記第２のエッジ、並びに前記みなし直線部の前記単独エッジから、隣り合う前記エッジを検出し、これらエッジ間の距離に基づいて、前記駐車スペースを検出する駐車枠検出部と、を有することを特徴とする。
【発明の効果】
【0009】
このように構成された本発明の画像処理装置では、撮影された画像からエッジを検出し、所定長さの第１のエッジ及び第２のエッジを抽出している。これにより、ノイズとなる短いエッジを除去できる。さらに、隣り合う距離に基づいて、ペアのエッジを抽出し、駐車区画線マーカーを検出している。そして、ペアとして抽出されなかった単独エッジについて斜線部の有無を検出することで、斜線部を有するマーカーに属し駐車区画線として機能し得る直線部のエッジのみを抽出し、それ以外のノイズとなる長いエッジを除去できる。そして、抽出されたペアの第１のエッジ及び第２エッジ、並びに単独エッジに基づいて駐車スペースを検出することで、斜線部を有するマーカーに隣接する駐車スペースも、取りこぼすことなく検出できる。
【0010】
このようにすることで、駐車場等の路面に設けられた駐車スペースの検出を迅速かつ確実に行うことが可能となる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。
【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。
【図4】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。
【図5】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図6】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図7】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図8】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図9】実施の形態である画像処理装置の動作の一例を説明するための図である。
【発明を実施するための形態】
【0012】
（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図、図２は実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図、図２は実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
【0013】
図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。
【0014】
車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。
【0015】
具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。
【0016】
前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ～２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測することができるようになっている。これらカメラ２０ａ～２０ｄにより、車両Ｖの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ～２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。
【0017】
図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２２と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３４とを有する。
【0018】
カメラＥＣＵ２２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２２は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検知する検知処理や、検知した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。
【0019】
ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。
【0020】
車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。
【0021】
操舵角センサ３４は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３４で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。
【0022】
さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。
【0023】
車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。
【0024】
すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２２が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。
【0025】
ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワステアクチュエータ５２を駆動して、車両Ｖの操舵角を制御する。
【0026】
スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６２を駆動して、車両Ｖのスロットルを制御する。
【0027】
ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７２を駆動して、車両Ｖのブレーキを制御する。
【0028】
なお、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（登録商標）（Controller Area Network）８０によって接続される。
【0029】
また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８２によって接続される。
【0030】
以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２２により主に構成されている。
【0031】
（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。
【0032】
本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２２のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２２のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。
【0033】
制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述するマーカー検出部１１１、斜線検出部１１２及び駐車枠検出部１１３により検出、推定された駐車スペースを区画する境界線としてのマーカーや駐車スペースに基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。
【0034】
車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３４（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワステアクチュエータ５２、スロットルアクチュエータ６２及びブレーキアクチュエータ７２（図３ではアクチュエータとのみ図示している）を駆動制御する。
【0035】
制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。
【0036】
画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
【0037】
制御部１１０は、マーカー検出部１１１、斜線検出部１１２、駐車枠検出部１１３、表示制御部１１４、及びエッジ検出部１１５を有する。
【0038】
マーカー検出部１１１は、車両Ｖの周囲の路面を撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出を行って路面上の駐車領域を区画する駐車区画線マーカーを検出する。ここでいう駐車区画線マーカーとは、主に路面上に設けられた駐車領域を区画する境界線（直線）として描かれたマーカーのことであり、一般的には白線で示される。なお、駐車区画線マーカーは、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、マーカー検出部１１１によって検出される駐車区画線マーカーは、「白線」に限定されるものではなく、一般に、路面との間にコントラストを有する境界線（直線）を駐車区画線として検出すればよい。
【0039】
マーカー検出部１１１は、エッジ検出部１１５によって、画像信号に基づく画像中のエッジを検出する。このエッジ検出部１１５は、画像を所定方向に走査（スキャン）して、画像信号が所定値以上の差を持って変化する位置をエッジとして検出する。エッジ検出部１１５は、画像信号の輝度パターンや濃度パターンに基づいてエッジを検出することが好ましい。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣接する画素間で、画像信号の強度を比較していくことをいう。
【0040】
なお、走査の方向は、路面に引かれた駐車区画線マーカーに直交する方向に設定するのが望ましい。すなわち、図５に示すように、駐車区画線マーカー２００が車両Ｖの進行方向と直交する方向に延在しているときには、進行方向に沿って走査するのが望ましく、図６に示すように、駐車区画線マーカー２００が車両Ｖの進行方向に沿って延在しているときは、進行方向と直交する方向に走査するのが望ましい。一般には、駐車区画線マーカーが延びている方向は未知であるため、マーカー検出部１１１は、車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査するようにエッジ検出部１１５を制御してもよい。
【0041】
そして、マーカー検出部１１１は、エッジ検出部１１５により検出されたエッジから、画像信号が所定値以上の差を持って低い値から高い値に変化するプラスエッジ（「立上りエッジ」ともいう）と、逆に高い値から低い値に変化するマイナスエッジ（「立下がりエッジ」ともいう）の位置とをそれぞれ抽出する。
【0042】
ここで、輝度値に基づいてエッジを抽出する場合は、プラスエッジは、輝度が低く暗い画素（例えば黒い画素）から輝度が高く明るい画素（例えば白い画素）に変化したエッジをいう。つまり、走査位置が路面から駐車区画線と思われるものに切替わったことを示す。マイナスエッジは、輝度が高く明るい画素から輝度が低く暗い画素に変化したエッジをいう。つまり、走査位置が駐車区画線と思われるものから路面に切替わったことを示す。
【0043】
これに対して、濃淡値に基づいてエッジを抽出する場合は、路面の濃度が高く（濃い）、駐車区画線マーカーの濃度は低い（淡い）ため、濃度が高い画素から濃度が低い画素に変化したエッジがプラスエッジとなり、濃度が低い画素から濃度が高い画素に変化したエッジがマイナスエッジとなる。また、路面よりも駐車区画線マーカーの輝度が低い（或いは濃度が濃い）場合は、輝度値や濃淡値の変化は逆転する。いずれの場合でも駐車区画線マーカーでは、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。
【0044】
上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分を、プラスエッジ（第１のエッジ）の線分として抽出する。さらに連続するマイナスエッジで構成される線分を、マイナスエッジ（第２のエッジ）の線分として抽出する。抽出したプラスエッジの線分及びマイナスエッジの線分に対して、基準長さＴに従って長さによるフィルタリングを行い、基準長さＴに満たないプラスエッジの線分及びマイナスエッジの線分を除去する。また、長さに加えて、線分が延びる方向（角度）によってフィルタリングしてもよい。
【0045】
次いで、マーカー検出部１１１は、フィルタリングの結果残った、プラスエッジの線及びマイナスエッジの各端点の位置（座標）を算出し、この位置に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分のペアを抽出する。そして、このように所定間隔で隣接するプラスエッジの線分とマイナスエッジの線分のペアで規定される直線を、駐車区画線マーカーと認定する。つまり、隣り合うプラスエッジの線分とマイナスエッジの線分との距離が、所定の線幅Ｗ±閾値の範囲内であれば、当該プラスエッジの線分とマイナスエッジの線分は、駐車区画線マーカーの両側縁の少なくとも一部のエッジであることがわかる。これらペアのエッジの線分で規定される直線を、駐車区画線マーカーとして認定できる。
【0046】
線幅Ｗとは、駐車区画線マーカー等の線幅である。この線幅は、一般的には１５～２０ｃｍであるが、駐車場によっては、駐車区画線の幅が３０ｃｍ程度となる場合もある。よって本発明を適用する駐車場の駐車区画線マーカーの線幅に応じた適宜の値を、パラメータデータ１２２として記憶部１２０に記憶し、駐車場の状態に応じた好適な値を選択することが望ましい。
【0047】
斜線検出部１１２は、マーカー検出部１１１により検出されたプラスエッジの線及びマイナスエッジの線のうち、ペアとして抽出されなかったエッジ（単独エッジ）の線分を、「片エッジの線」と認定し、記憶部１２０に一時的に登録する。そして、斜線検出部１１２は、エッジ検出部１１５を用いて、この「片エッジの線」の側方の所定の開始点から、片エッジの線に沿う方向に、画像を走査する。この走査によって、斜線部（走査方向に交差する線）の有無を検出し、斜線部が検出されたときは、当該「片エッジの線」に基づいて、直線部を検出し、この直線部を、斜線部を有するマーカー（本実施形態では、例えば、図５等に示す駐停車禁止マーカー３００）に属し、駐車区画線として機能し得る「みなし直線部」（図５等の直線部３０１ｃ）と認定する。
【0048】
例えば、斜線検出部１１２は、画像信号の輝度パターンに基づいて、片エッジの線に沿って画素を比較して、輝度値が低輝度→高輝度→低輝度→・・・に、所定の間隔で変化するか否か（濃淡値の場合は、濃→淡→濃→・・・に変化するか否か）で斜線部の有無を判定する。輝度値等の信号強度の変化は１回、すなわち１本の斜線部を表す輝度値の変化が検出できればよいが、複数回の変化、すなわち複数本の斜線部を表す輝度値の変化を検出すれば、駐停車禁止領域の検出精度をより向上できる。この繰り返しの回数や間隔は、パラメータデータ１２２として記憶部１２０に設定しておくことが望ましい。また、走査する長さ（画素数）を記憶しておき、この長さに応じて輝度値の変化を検出してもよい。また、片エッジの線に沿って一ライン（一列）の走査を行うことで、輝度値の変化を検出できるが、複数ライン（複数列）の走査を行えば、検出精度をより向上できる。
【0049】
なお、斜線部を検出する際の片エッジの線の「側方」とは、斜線部が存在する可能性のある側方であり、具体的には、プラスエッジ及びマイナスエッジのいずれも輝度値が高い側（濃淡値の場合は、濃度が低い（淡い）側）である。
【0050】
駐車枠検出部１１３は、マーカー検出部１１１により検出された駐車区画線マーカーのプラスエッジの線分及びマイナスエッジの線分、並びにみなし直線部の片エッジの線の中から、駐車スペースを構成する可能性のある隣り合うエッジの線分を検出し、これらエッジの線分間の距離に基づいて、駐車スペースを検出する。
【0051】
より具体的には、駐車枠検出部１１３は、まず、複数の駐車区画線マーカーのペアのプラスエッジの線及びマイナスエッジの線のうち、駐車スペースを構成する可能性のある隣り合う２本の線を選択する。ここで選択される２本の線は、駐車スペースを仕切る一対の駐車区画線の左右両端を構成する線であり、所定の駐車区画線マーカー（例えば、図８に示すＫ１）のマイナスエッジの線（Ｅｍ３）と、これに向かい合う駐車区画線のマーカー（図８に示すＫ２）のプラスエッジの線（Ｅｐ４）である。
【0052】
そして、駐車枠検出部１１３は、選択された２本のエッジの線の距離（隣り合う駐車区画線マーカーの内法寸法）を、各エッジの端点の座標に基づいて算出し、算出された距離が、所定範囲内にあるか判定する。この距離が所定の駐車スペース幅Ｌ±閾値の範囲内であれば、２本のエッジの線で仕切られた領域を駐車スペースとして検出する。駐車スペース幅Ｌとしては、普通自動車や小型貨物車用の駐車スペースであれば２ｍ～３ｍが望ましい。大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。
【0053】
また、駐車枠検出部１１３は、斜線検出部１１２によって検出されたみなし直線部の片エッジの線と、これと隣り合う駐車区画線マーカー２００のプラスエッジの線分若しくはマイナスエッジの線分、又は他のみなし直線部の片エッジの線を選択する。これらエッジの線分間の距離が所定の駐車スペース幅Ｌ±閾値の範囲内であれば、２本のエッジの線分で仕切られた領域を駐車スペースとして検出することができる。
【0054】
なお、みなし直線部の片エッジの線に隣り合うエッジの線分を検出する場合は、斜線部３０１ｂが検出された側とは反対方向、つまり輝度値が低い方向（路面方向）に向かって検索する。これにより、駐停車禁止領域Ａ３（例えば、図８の線分Ｅｐ１とＥｍ１の間、Ｅｐ２とＥｍ２の間）が駐車スペースとして誤検知されるのを抑制できる。
【0055】
そして、駐車枠検出部１１３は、検出された駐車スペースに基づいて、駐車スペースの形状、つまり駐車枠（図５等に示す２０２）を推定し、その座標値を駐車枠登録データ１２１として記憶部１２０に登録する。
【0056】
表示制御部１１４は、カメラ２０により撮像された車両Ｖ周辺の路面画像や、駐車枠検出部１１３により検出、推定された駐車枠を示す画像をこの路面画像に適宜重複して、あるいは単独でナビゲーション装置（表示装置）３０のモニター３１に表示させるための表示制御信号をナビゲーション装置３０に送出する。
【0057】
主に車両制御ＥＣＵ４０から構成される記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。
【0058】
また、記憶部１２０には駐車枠登録データ１２１が格納される。この駐車枠登録データ１２１は、駐車枠検出部１１３により検出、推定された駐車枠に関するデータである。また、記憶部１２０にはパラメータデータ１２２が格納されている。このパラメータデータ１２２は、マーカー検出部１１１、斜線検出部１１２、駐車枠検出部１１３及びエッジ検出部１１５が使用する予め決められた各種パラメータに関するデータである。パラメータデータ１２２としては、例えば、駐車区画線マーカーの線幅Ｗ、基準長さＴ、駐車区画線マーカーの延在方向の角度Ｄ、駐車スペース幅Ｌ、斜線検出部１１２が斜線部を検出する際の走査開始点Ｓの座標、斜線部の幅、及びこれらの閾値、等が挙げられる。これらのパラメータデータ１２２は、駐車支援装置１が使用される国、地域、さらには駐車スペース（駐車枠）の形状、大きさ、駐車区画線の幅、長さ、延在角度等に基づき、任意に設定及び変更できる。また、様々なマーカーに対応して、複数のパラメータを格納し、駐車スペースの検出対象の駐車場に応じた適切なパラメータを選択する構成とすることもできる。
【0059】
【0060】
【0061】
ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖ周囲の路面の画像信号を取得する。
【0062】
ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（俯瞰画像）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を生成する技術は公知であり、一例として、特開平３－９９９５２号公報や特開２００３－１１８５２２号公報に開示された技術が知られている。
【0063】
なお、ステップＳ２において画像合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における画像合成作業を行ってもよい。しかしながら、俯瞰画像を生成してからプラスエッジとマイナスエッジの抽出作業を行うほうが画像処理装置１００の処理負担が低減できる。
【0064】
ステップＳ３では、前述したように、マーカー検出部１１１がステップＳ２で合成した画像を所定方向に走査し、画像信号の輝度値に基づいて、画像中のプラスエッジ及びマイナスエッジを抽出する。
【0065】
駐車場等の路面に描かれたマーカーの一例を、図５を参照して説明する。図５に示す駐車場Ｐは、車両Ｖを駐車させる駐車領域Ａ１と、車両Ｖの通行用として設けられた通路領域Ａ２と、車両Ｖの立ち入りや駐停車を禁止する領域（以下、「駐停車禁止領域Ａ３」という）と、を有する。駐停車禁止領域Ａ３は斜線で表されるため、「斜線領域」や「ゼブラゾーン」等と呼ばれることもある。そして、この駐車場Ｐの路面には、駐車領域Ａ１と通路領域Ａ２と駐停車禁止領域Ａ３とを区分する境界部分に複数のマーカー（駐車区画線マーカー２００、駐停車禁止マーカー３００）が描かれている。
【0066】
図５に示す駐車区画線マーカー２００は、駐車区画線を表すマーカーであり、通路領域Ａ２における車両Ｖの進行方向（図中矢印で示す）に交差する方向、つまり駐車領域Ａ１に向かって延びている。図５に示す例では、駐車区画線マーカー２００は、進行方向に対して略直角に延びるように描かれている。
【0067】
図５に示す駐停車禁止マーカー３００は、駐停車禁止領域Ａ３を表すマーカーであり、駐停車禁止領域Ａ３を囲む略矩形状の外周線３０１ａと、この外周線３０１ａ内に描かれた複数の斜線部３０１ｂと、を有する。外周線３０１ａは、駐車スペースに沿って延びる２つの直線部３０１ｃと、この２つの直線部３０１ｃの互いに対向する端部を連結する１つ又は２つの連結線３０１ｄと、を有する。２つの直線部３０１ｃは、進行方向に対して略直角に延びるように描かれている。また、複数の斜線部３０１ｂは、２つの直線部３０１ｃ間に、これらに対して傾斜して描かれている。
【0068】
なお、図５に示す例では、駐停車禁止マーカー３００が略矩形状に描かれているが、これに限定されることはなく、駐車場Ｐの形状等に対応して、略三角形、半円形、長円形等、様々な形状に描かれたものであってもよい。駐車スペースを構成するためには、駐停車禁止マーカー３００は、直線部３０１ｃを少なくとも１つと、この直線部３０１ｃから傾斜して延びる複数の斜線部３０１ｂを有していればよい。もう１つの直線部３０１ｃ及び連結線３０１ｄは、必ずしもなくてもよく、また、これらが必ずしも進行方向に沿って又は垂直に延びている必要はなく、傾斜していてもよいし、曲線であってもよい。
【0069】
そして、隣り合うマーカー２００，３００により挟まれた領域に、車両Ｖを駐車すべき駐車スペースがある。この駐車スペースを囲う枠が、駐車枠２０２である。駐車枠２０２は、図示例では上面視した状態で車両Ｖの外形にほぼ外接する矩形状の枠である。しかし、駐車枠２０２は駐車場Ｐの路面に描かれているとは限らない。図５に示す例では駐車枠２０２を表す線が図示されているが、実際には路面に描かれてはいない。従って、駐車支援装置１がこの駐車枠２０２を目標として車両Ｖを駐車する駐車支援動作を行うためには、路面上の駐車区画線マーカー２００及び駐停車禁止マーカー３００の直線部３０１ｃを確実に検出し、これらに基づいて駐車枠２０２を認識する必要がある。
【0070】
また、図６に、車両Ｖの進行方向又は後退方向に駐車区画線マーカー２００、駐停車禁止マーカー３００及び駐車枠２０２が存在する場合の路面の様子を示す。また、図７に、車両Ｖの進行方向に対して斜めに駐車区画線マーカー２００、駐停車禁止マーカー３００及び駐車枠２０２が存在する場合の路面の様子を示す。本実施形態では、複数のカメラ２０により撮像された画像信号、又はこれらの画像信号を合成した俯瞰画像を用いることから、図５～図７の例は勿論、車両Ｖの周囲の所望の方向に存在する駐車スペース及びその駐車枠２０２を高精度に検出できる。
【0071】
マーカー検出部１１１により、図５に示すような駐車区画線マーカー２００及び駐停車禁止マーカー３００を含む画像中のエッジ検出の動作の詳細について図８及び図９（ａ）を参照して説明する。図８は、図５の紙面右側の駐車領域Ａ１部分の拡大図であり、図９（ａ）は図８に示す駐停車禁止マーカー３００の拡大図である。
【0072】
一例として、図８に示すように、Ｘ軸（ここでは車両Ｖの走行方向に沿う方向であって駐車区画線マーカー２００の延在方向に直交する方向）を図中の左右方向に設定し、Ｙ軸（ここでは駐車領域Ａ１の方向であって駐車区画線マーカー２００の延在方向）を図中の上下方向に設定する。マーカー検出部１１１は、エッジ検出部１１５に指示して、図８に矢印で示すように、所定の検知範囲Ｏを、駐車区画線マーカー２００及び直線部３０１ｃの延在方向に直交する方向であって図中の左から右（Ｘ軸正方向）に向けて走査する。これにより、画像中のプラス（＋）エッジ及びマイナス（－）エッジを検出していく。
【0073】
図８に、検出されたプラスエッジを太破線で示し、マイナスエッジを太実線で示した。この図８に示すように、２つの駐停車禁止マーカー３００の外周部分であって、各々の一方の直線部３０１ｃの左側（走査元）にプラスエッジの線分Ｅｐ１，Ｅｐ２が検出され、他方の直線部３０１ｃの右側（走査先）にマイナスエッジの線分Ｅｍ１，Ｅｍ２が検出された。また、２つの駐車区画線マーカー２００の左側にプラスエッジの線分Ｅｐ３，Ｅｐ４が検出され、右側にマイナスエッジの線分Ｅｍ３，Ｅｍ４が検出された。さらに、駐停車禁止マーカー３００の斜線部３０１ｂの両側、直線部３０１ｃの内側、直線部３０１ｃと連結線３０１ｄの境界部分にも、それぞれ短いプラスエッジ及びマイナスエッジが検出された。このとき、路面上での光の反射や、ゴミや汚れ等がある場合、これらのエッジもノイズとして検出されることがある。なお、図中の右から左、つまりＸ軸負方向に画素を走査した場合は、プラスエッジとマイナスエッジは逆転する。
【0074】
図４に戻って、ステップＳ４では、マーカー検出部１１１がパラメータデータ１２２に格納された駐車区画線に関するパラメータ（基準長さＴ、角度Ｄ等）に基づき、ステップＳ３で検出したプラスエッジ及びマイナスエッジのフィルタリングを行う。このフィルタリングは、次のステップＳ５のペアの抽出の後に行ってもよいが、ペアの抽出の前に行って、ノイズを除去することで、画像処理を高速化できる。
【0075】
まず、マーカー検出部１１１は基準長さＴ以上の長さを有し、かつ角度Ｄ方向に延びるプラスエッジの線分及びマイナスエッジの線分を抽出する。基準長さＴは、例えば、車両Ｖの車長分（例えば５ｍ）の長さが設定されているが、図８のような検知範囲Ｏを走査するときは、車長よりも短い長さが設定されている。角度Ｄは、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度が設定されている。図５の場合は、駐車区画線マーカー２００は、走行方向に対して駐車領域Ａ１に向かって略直角に延びる直線であるため、角度Ｄ＝９０°が設定されている。
【0076】
この処理により、図８において矩形で囲った所定長さで所定方向へ延在するエッジ、つまり駐車区画線マーカー２００の両側縁を表すエッジの線分（線分Ｅｐ３，Ｅｐ４，Ｅｍ３，Ｅｍ４）と、駐停車禁止マーカー３０１の直線部３０１ｃの外縁を表すエッジの線分（線分Ｅｐ１，Ｅｐ２，Ｅｍ１，Ｅｍ２）が抽出される。これに対して、斜線部３０１ｂの両側、直線部３０１ｃの内側及び直線部３０１ｃと連結線３０１ｄの境界部分に検出された短いエッジは抽出されず、破棄される。また、路面の反射やゴミ等の存在によって検知された短いエッジや、垂直方向以外に延びる長いエッジも抽出されず、ノイズとして破棄される。
【0077】
次のステップＳ５で、マーカー検出部１１１は、抽出された複数のエッジの線分から、プラスエッジの線分とマイナスエッジの線分のペアを抽出する。このとき、画像に基づき路面上で隣り合うプラスエッジとマイナスエッジの距離（図８の例ではＷ１，Ｗ２，Ｗ３,Ｗ４）を算出し、この距離が所定の線幅Ｗ±閾値の範囲内であれば、これらをペアと認定する。このようにして抽出された各ペアに基づき、駐車区画線マーカー２００を検出することができる。
【0078】
図８の例では、距離Ｗ３，Ｗ４＝線幅Ｗであるため、プラスエッジの線分Ｅｐ３とマイナスエッジの線分Ｅｍ３、プラスエッジの線分Ｅｐ４とマイナスエッジの線分Ｅｍ４が、それぞれペアとして抽出される。これにより、駐車区画線マーカー２００（Ｋ１，Ｋ２）が検出できる。これに対して、距離Ｗ１，Ｗ２＞線幅Ｗであるため、プラスエッジの線分Ｅｐ１、マイナスエッジの線分Ｅｍ１、プラスエッジの線分Ｅｐ２及びマイナスエッジの線分Ｅｍ２は、ペアとして抽出されない。
【0079】
次に、ステップＳ６では、マーカー検出部１１１は、ステップＳ５でペアとして抽出されなかったプラスエッジの線分及びマイナスエッジの線分を、「片エッジの線」として記憶部１２０に一時的に登録する。
【0080】
次のステップＳ７では、駐車枠検出部１１３が、ステップＳ５で抽出された駐車区画線マーカー２００に基づいて、駐車スペース及び駐車枠を検出する。それには、前述したように駐車スペースを構成する可能性のある隣り合う駐車区画線マーカー２００の、向かい合うプラスエッジの線分とマイナスエッジの線分間の距離を算出する。この距離がパラメータとして設定された所定の駐車スペース幅Ｌ±閾値の範囲であれば、この２つの駐車区画線マーカー２００間の領域が駐車スペースであると判定する。図８の例では、２つの駐車区画線マーカー２００の向かい合うマイナスエッジの線分Ｅｍ３とプラスエッジの線分Ｅｐ４との間の距離Ｌ１＝Ｌであり、これらの間に駐車スペースが検出される。そして、検出された駐車スペースを構成する向かい合うプラスエッジの線分とマイナスエッジの線分に沿った線を長辺とし、向かい合う両端をそれぞれ結んだ線を短辺とする矩形状の枠が駐車枠２０２（図５参照）であると推定できる。
【0081】
駐車枠検出部１１３は、各駐車枠２０２を構成する向かい合うプラスエッジの線分及びマイナスエッジの線分の端点の座標値を各々算出し、駐車枠登録データ１２１として記憶部１２０に登録する。このとき、駐車枠２０２の少なくとも通路領域Ａ２に近い側の２つの端点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠２０２を特定できるが、４点の座標値を登録してもよい。また、駐車区画線マーカー２００の角度Ｄを、駐車枠２０２の角度として駐車枠登録データ１２１に加えてもよい。
【0082】
次に、片エッジの線に対する処理を実行すべく、ステップＳ８で、片エッジの線が検出されたか否かを判定する。片エッジの線が検出されたと判定された場合（ＹＥＳ）、ステップＳ９に進む。これに対して、片エッジの線が検出されなかったと判定された場合（ＮＯ）、すべての駐車スペースが検出できており、駐車枠２０２の推定と登録もできているとして、ステップＳ９～Ｓ１２をスキップして処理を終了する。
【0083】
ステップＳ９では、ステップＳ６で検出された片エッジの線の周囲に斜線部が存在するか否かを判定するため、斜線検出部１１２が斜線部３０１ｂの検出処理を行う。つまり、片エッジの線の周囲に斜線部３０１ｂが存在する場合は、当該片エッジの線は、駐停車禁止領域Ａ３に描かれた駐停車禁止マーカー３００の直線部３０１ｃのエッジであると判断できる。これに対して、斜線部が存在しない場合は、片エッジの線が、路面で光の反射等によるノイズであると判断できる。
【0084】
図９（ａ）を用いて、ステップＳ９の斜線部３０１ｂの検出処理の具体的手順の一例を説明する。片エッジの線が駐停車禁止マーカー３００の直線部３０１ｃのエッジである場合、高い輝度値に切り替わる方向に斜線部が存在する。つまり、片エッジの線がプラスエッジの線分（例えば、線分Ｅｐ１）の場合は、その右側（Ｘ軸正方向）に斜線部３０１ｂが存在し、マイナスエッジの線分（例えば、線分Ｅｍ１）の場合は、その左側（Ｘ軸負方向）に斜線部３０１ｂが存在する。そのため、プラスエッジの右側又はマイナスエッジの左側の、予め決められた走査開始点Ｓの画素から、斜線部３０１ｂが存在する方向、図９（ａ）の場合は、エッジに沿ったＹ軸正方向（矢印方向）へ画素を走査していく。図９（ａ）の斜線部３０１ｂの外縁に付した太破線は、Ｙ軸正方向に走査したときに検出されるプラスエッジを表し、太実線はマイナスエッジを表す。
【0085】
走査開始点Ｓの座標は、例えば、エッジの始点（端点）に対する相対的な座標の値が、パラメータデータ１２２として記憶部１２０に格納されている。駐停車禁止マーカー３００では、斜線部３０１ｂは、直線部３０１ｃの内側に存在することから、この直線部３０１ｃの所定の線幅Ｗよりも、エッジの始点と走査開始点Ｓとの距離が長くなるように、Ｘ座標が設定されている。また、走査開始点ＳのＹ座標は、エッジの始点から、連結線３０１ｄの外周縁までの距離ｗよりも外側（Ｙ軸負方向）に設定されている。
【0086】
また、図９（ｂ）に、駐停車禁止マーカー３００の直線部３０１ｃが、Ｙ軸に対して傾斜して描かれている場合の走査開始点Ｓ及び走査の方向を示す。この図９（ｂ）の場合でも、片エッジの線のＹ軸に対する傾斜角度、片エッジの線の始点及び終点の位置座標に基づいて、走査開始点Ｓを設定し、この走査開始点Ｓから、片エッジの線の延在方向に沿って画素の走査を実行する。これにより、斜線部３０１ｂの有無を高精度に検出できる。
【0087】
走査開始点Ｓからの画素の走査の結果、例えば、輝度値が低輝度（例えば、黒）→高輝度（例えば、白）→低輝度→高輝度→低輝度→・・・と変化し、かつ高輝度と低輝度との間隔が、パラメータデータ１２２として設定された所定の間隔で、繰り返し現れたときに、斜線部３０１ｂが存在すると判定できる。これに対して、走査の結果、輝度値の変化がない場合は、斜線部３０１ｂが存在しないと判定できる。
【0088】
図４に戻り、次のステップＳ１０では、ステップＳ９での走査の結果に基づいて、斜線部３０１ｂが検出された片エッジの線が存在するか否かを判定する。斜線部３０１ｂが検出された片エッジの線が存在する場合（ＹＥＳ）、ステップＳ１１に進む。これに対して、斜線部３０１ｂが検出された片エッジの線が存在しない場合（ＮＯ）、駐車区画線として機能する直線部３０１ｃが存在しないことから、検出された片エッジの線はノイズとして破棄し、ステップＳ１１、Ｓ１２をスキップして処理を終了する。
【0089】
ステップＳ１１では、斜線部３０１ｂが検出された片エッジの線を、駐停車禁止マーカー３００を構成する直線部３０１ｃを構成するエッジであるとみなし、この片エッジの線に基づいて、直線部３０１ｃを検出し、これを「みなし直線部」と認定する。
【0090】
ステップＳ１２では、駐車枠検出部１１３が、ステップＳ１１で特定された直線部３０１ｃに基づいて、駐車スペース及び駐車枠２０２を検出する。それには、駐車枠検出部１１３は、直線部３０１ｃの片エッジの線の側方（斜線部３０１ｂが検出された側とは異なる側）を検索し、隣り合う駐車区画線マーカー２００又は直線部３０１ｃを検出する。そして、上記ステップＳ７での処理と同様に、片エッジの線と、これと向かい合うエッジの線分との間の距離を算出し、この距離が所定の駐車スペース幅Ｌ±閾値の範囲であれば、これらエッジの線分間の領域を駐車スペースとして検出する。この処理を、斜線部３０１ｂが検出された片エッジの線の分だけ実行する。これにより、例えば、図８の例では、片エッジの線（線分Ｅｍ１）と、片エッジの線（線分Ｅｐ２）との間、及び片エッジの線（線分Ｅｍ２）と駐車区画線マーカー２００のプラスエッジの線分Ｅｐ３との間に、それぞれ駐車スペースが検出される。
【0091】
駐車枠検出部１１３は、駐車スペースを構成する向かい合うプラスエッジの線分とマイナスエッジの線分に沿った線を長辺とし、向かい合う両端をそれぞれ結んだ線を短辺とする矩形状の枠を駐車枠２０２と推定する。以上により、駐停車禁止領域Ａ３に隣接する駐車枠２０２を、取りこぼすことなく確実に検出することができる。
【0092】
そして、検出された駐停車禁止領域Ａ３に隣接する駐車枠２０２について、各駐車枠２０２を構成する向かい合うプラスエッジの線分及びマイナスエッジの線分の端点の座標値を各々算出し、駐車枠登録データ１２１として記憶部１２０に登録する。なお、ステップＳ７の駐車区画線マーカー２００に基づく駐車スペース及び駐車枠２０２の検出並びに登録も、このステップＳ１１で実行してもよいが、このステップＳ７の処理を先に行い、その後に片エッジの線に対するステップＳ８以降の処理を実行するほうが、処理が効率的となり、画像処理全体の処理スピードを速くできる。
【0093】
（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、マーカー検出部１１１が、撮影された画像から、エッジ検出によって所定長さのプラスエッジ及びマイナスエッジを検出し、この中から所定間隔で隣り合うエッジのペアを抽出し、抽出された各ペアに基づいて、前記駐車区画線マーカー２００を検出している。また、斜線検出部１１２が、ペアとして抽出されなかった片エッジの線に対して、エッジ検出によって斜線部３０１ｂの有無を判定し、斜線部３０１ｂが検出された片エッジの線に基づいて、直線部を検出し、これを駐停車禁止マーカー３００に属し駐車区画線として機能し得る「みなし直線部」と認定する。そして、駐車枠検出部１１３が、抽出された駐車区画線マーカー２００のプラスエッジ及びマイナスエッジ、並びにみなし直線部の片エッジの線に基づいて駐車スペースを検出する。
以上のように構成された本実施の形態である画像処理装置１００では、マーカー検出部１１１が、撮影された画像から、エッジ検出によって所定長さのプラスエッジ及びマイナスエッジを検出し、この中から所定間隔で隣り合うエッジのペアを抽出し、抽出された各ペアに基づいて、前記駐車区画線マーカー２００を検出している。また、斜線検出部１１２が、ペアとして抽出されなかった片エッジの線に対して、エッジ検出によって斜線部３０１ｂの有無を判定し、斜線部３０１ｂが検出された片エッジの線に基づいて、直線部を検出し、これを駐停車禁止マーカー３００に属し駐車区画線として機能し得る「みなし直線部」と認定する。そして、駐車枠検出部１１３が、抽出された駐車区画線マーカー２００のプラスエッジ及びマイナスエッジ、並びにみなし直線部の片エッジの線に基づいて駐車スペースを検出する。
【0094】
従って、上述した従来の画像処理装置と異なり、本実施の形態では、駐車区画線マーカー２００で挟まれた駐車スペースだけでなく、駐停車禁止領域Ａ３に隣接する駐車スペース確実に検出することができ、駐車スペースの高い検出率を得ることができる。
【0095】
また、駐停車禁止領域Ａ３に描かれた駐停車禁止マーカー３００を、パターンマッチングで検出する手法もあるが、駐停車禁止領域Ａ３は、矩形、三角形、半円形等、様々な形状を呈し、大きさも様々である。そのため、複数のパターンを記憶しておき、これらとマッチングしたり、さらにエッジを検出したりする必要があり、演算処理に膨大な時間がかかる。これに対して、パターンマッチングを用いていない本実施形態の画像処理装置１００及び画像処理方法では、演算処理コストを低減できる。以上より、駐車場Ｐ等の路面に設けられた駐車スペースの検出を迅速かつ確実に行うことが可能となる。
【0096】
また、斜線検出部１１２は、画像信号が低い値から高い値に変化するエッジと、高い値から低い値に変化するエッジが、所定間隔で少なくとも１回検出されたとき、又は複数回連続して検出されたとき、斜線部３０１ｂが存在すると判定している。これにより、斜線部３０１ｂの有無を、より高速かつより高精度に検出できる。さらに斜線検出部１１２は、斜線部３０１ｂを検出する際に、片エッジの線の、画像信号が高い値となる側方を走査している。これにより、駐停車禁止領域Ａ３が駐車スペースとして誤検知されるのを抑制でき、駐車スペースの検出精度の向上及び演算理処理の高速化が可能となる。
【0097】
また、マーカー検出部１１１及び斜線検出部１１２は、画像信号の輝度パターン又は濃淡パターンに基づいてエッジを検出するものとすれば、プラスエッジ及びマイナスエッジを、より高速かつより精度よく検出できる。
【0098】
また、本実施形態では、駐車区画線マーカー２００の基準長さＴ、線幅Ｗ、延在方向の角度Ｄ及び駐車スペース幅Ｌが設定された記憶部１２０を備えている。このとき、駐車場Ｐの駐車枠２０２の形状や大きさ等に応じた適切な値を設定することで、駐車場Ｐの状態に合致し、より適切かつより高精度な駐車枠２０２の検出が可能となる。
【0099】
また、駐停車禁止領域Ａ３では、斜線との交差部分のエッジが極端に短く検出され、短いエッジを直線部のエッジとして登録すると、ゴミや光の反射により検出されたエッジ（ノイズ）との区別がつきにくい。また、短いエッジを連結して所定長さの片エッジの線とすることも考えられるが、処理時間がかかり、この場合もノイズのエッジも連結してしまう可能性もあり、結果的に駐車枠の検出精度や処理速度に影響する。
【0100】
これに対して、本実施形態に係る画像処理装置１００では、所定長さのプラスエッジ及びマイナスエッジのみを抽出することで、ノイズとなる短いエッジを破棄している。さらにペアとして抽出されなかった所定長さの片エッジの線に対して、斜線部３０１ｂの有無を判定し、斜線部が存在すると判定された片エッジの線に基づいて、みなし直線部を検出している。そして、斜線部が存在しないと判定された片エッジの線は破棄している。そのため、みなし直線部の検出精度が向上し、駐停車禁止マーカー３００に隣接する駐車枠２０２の検出率を著しく向上させることができる。
【0101】
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【0102】
例えば、上述の実施の形態である画像処理装置１００では、画像の輝度値や濃淡値により画像信号の高低差の判定を行っていたが、画像のＲＧＢ値から画像信号の高低差の判定を行ってもよい。
【符号の説明】
【0103】
Ｖ 車両
Ｐ 駐車場
１ 駐車支援装置
２０ カメラ（撮像装置）
２２ カメラＥＣＵ
１００ 画像処理装置
１１０ 制御部
１１１ マーカー検出部
１１２ 斜線検出部
１１３ 駐車枠検出部
２００ 駐車区画線マーカー
２０２ 駐車枠
３００ 駐停車禁止マーカー
３０１ｂ 斜線部
３０１ｃ 直線部（みなし直線部）
Ｐ 駐車場
１ 駐車支援装置
２０ カメラ（撮像装置）
２２ カメラＥＣＵ
１００ 画像処理装置
１１０ 制御部
１１１ マーカー検出部
１１２ 斜線検出部
１１３ 駐車枠検出部
２００ 駐車区画線マーカー
２０２ 駐車枠
３００ 駐停車禁止マーカー
３０１ｂ 斜線部
３０１ｃ 直線部（みなし直線部）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
