特開 2021-180382 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-180382(P2021-180382A)

(43)【公開日】2021年11月18日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20211022BHJP

   B60R 99/00 20090101ALI20211022BHJP

   G06T 7/00 20170101ALI20211022BHJP

【ＦＩ】

   H04N7/18 J

   B60R99/00 321

   G06T7/00 650A

   B60R99/00 330

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2020-84007(P2020-84007)

(22)【出願日】2020年5月12日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】金子 貴之

(72)【発明者】

【氏名】羽下 陽亮

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA05

5C054FC04

5C054FC08

5C054FC12

5C054FC14

5C054FD03

5C054FE13

5C054FE14

5C054GB16

5C054HA30

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096HA08

(57)【要約】

【課題】駐車枠の属性に応じて、駐車枠を適切に検出することが可能な画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置１００は、車両の周囲を撮像するカメラ２０が取得した画像信号に基づく俯瞰画像から、区画線を検出する区画線検出部１１２と、検出した区画線に基づいて、駐車枠を検出する駐車枠検出部１１３と、検出した駐車枠を構成する区画線の向かい合う一対の辺の一方の端点を互いに結んだ一方の線分及び他方の端点を互いに結んだ他方の線分を各々所定比率で分割して分割点を取得し、取得した一方及び他方の分割点を通るように俯瞰画像を走査してエッジを検出する駐車枠内走査部１１５と、検出したエッジの状態に基づいて、駐車枠の属性を判定する判定部１１５と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の周囲を撮像する撮像装置が取得した画像信号に基づく画像を用いて区画線を検出する区画線検出部と、
検出した前記区画線を用いて駐車枠を検出する駐車枠検出部と、
前記駐車枠を構成する前記区画線の向かい合う一対の辺のそれぞれについて、所定の割合で分割する分割点を取得し、取得した前記分割点を通るように前記画像を走査してエッジを検出する駐車枠内走査部と、
エッジの状態と、駐車枠の属性とが対応して記憶されている記憶部と、
検出した前記エッジの状態と、前記記憶部に記憶されている前記エッジの状態に対応した前記駐車枠の属性と、を用いて、前記駐車枠の属性を判定する判定部と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記記憶部に記憶されている前記エッジの状態と、前記駐車枠の属性とは、前記駐車枠の駐車形態に応じて設定されていることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記記憶部に記憶されている前記エッジの状態が、前記属性に応じて前記駐車枠内に表示されたマーカーの線のエッジに基づく線幅差、本数、線間隔、及び線間隔差の少なくとも何れかであることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記駐車枠の属性が、駐車禁止領域、優先駐車枠及び電気自動車用駐車枠の何れかであることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。

【請求項5】

前記駐車枠内走査部は、前記駐車枠を構成する前記区画線の向かい合う一対の辺のそれぞれについて、所定の割合で分割する分割点を複数取得し、取得した複数の前記分割点を通るように前記画像を走査してエッジを検出することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。

【請求項6】

前記画像と、前記駐車枠の属性を示す識別子とを重畳して表示するように表示部を制御する表示制御部を備えたことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。

【請求項7】

前記駐車枠検出部が検出した前記駐車枠の位置情報と、前記判定部が判定した前記属性とを、前記記憶部に登録する駐車枠登録部を、備えたことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。

【請求項8】

車両の周囲を撮像する撮像装置が取得した画像信号に基づく画像を用いて区画線を検出する区画線検出工程と、
検出した前記区画線を用いて駐車枠を検出する駐車枠検出工程と、
前記駐車枠を構成する区画線の向かい合う一対の辺のそれぞれについて、所定の割合で分割する分割点を取得し、取得した前記分割点を通るように前記画像を走査してエッジを検出する駐車枠内走査工程と、
エッジの状態と、駐車枠の属性とを対応して記憶部に記憶する記憶工程と、
検出した前記エッジの状態と、前記記憶部に記憶されている前記エッジの状態に対応した前記駐車枠の属性と、を用いて、前記駐車枠の属性を判定する判定工程と、
を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲を撮像する撮像装置から出力される画像信号に基づいて、駐車枠を推定する画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

車両を所定の駐車区画に駐車する際に、駐車目標とする駐車枠を自動的に検出して、車両の駐車支援を行う駐車支援装置が実用化されている（例えば、特許文献１参照）。この特許文献１に開示の技術では、撮像部で撮像された撮像画像等に基づいて駐車枠を検出し、検出した駐車枠の形状等の特性に応じた駐車支援を実行可能としている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２１７４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、駐車枠には、誰でも駐車可能な一般的な駐車枠のほかに、車両の立ち入りや駐停車を禁止する駐停車禁止領域、車椅子使用者等が優先して使用する優先駐車枠、電気自動車が充電するための電気自動車用駐車枠等、様々な種類がある。このため、このような駐車枠の種類（属性）に対応した適切な駐車支援が行われることが望まれている。しかしながら、従来技術では、このような駐車枠の属性等を考慮して駐車枠を検出することは開示がなかった。

【0005】

そこで、本発明は、駐車枠の属性に応じて、駐車枠を適切に検出することが可能な画像処理装置及び画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本発明の画像処理装置は、車両の周囲を撮像する撮像装置が取得した画像信号に基づく画像を用いて区画線を検出する区画線検出部と、検出した前記区画線を用いて駐車枠を検出する駐車枠検出部と、前記駐車枠を構成する前記区画線の向かい合う一対の辺のそれぞれについて、所定の割合で分割する分割点を取得し、取得した前記分割点を通るように前記画像を走査してエッジを検出する駐車枠内走査部と、エッジの状態と、駐車枠の属性とが対応して記憶されている記憶部と、検出した前記エッジの状態と、前記記憶部に記憶されている前記エッジの状態に対応した前記駐車枠の属性と、を用いて、前記駐車枠の属性を判定する判定部と、を備えたことを特徴とする。

【発明の効果】

【0007】

このように構成された本発明の画像処理装置では、駐車枠検出部が検出した駐車枠内を、駐車枠内走査部が走査してエッジを検出する。検出したエッジの状態と、記憶部に記憶されているエッジの状態に対応した駐車枠の属性と、を用いて、判定部が駐車枠の属性を判定する。したがって、駐車枠の属性に応じて、駐車枠を適切に検出することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。

【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。

【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。

【図4】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。

【図5】実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた区画線及び駐車禁止マーカーの一例を示す。

【図6】実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像に、検出されたエッジの線分を模式的に示した図である。

【図7A】実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像に、検出された駐車枠を模式的に示した図である。

【図7B】実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像に、駐車枠アイコンと駐車禁止アイコンと重畳した状態を模式的に示した図である。

【図8】実施の形態である画像処理装置の動作の一例を説明するための図であり、（ａ）〜（ｃ）はそれぞれ第１〜第３駐車禁止マーカーの具体例を示す図である。

【図9】実施の形態である画像処理装置の動作の一例を説明するための図であり、駐車枠走査部による駐車枠の走査手順を説明するための図である。

【図10】実施の形態である画像処理装置の動作の一例を説明するための図であり、判定部による駐車禁止マーカーの判定手順を説明するための図である。

【図11】実施の形態である画像処理装置の動作の一例を説明するための図であり、パラメータデータのデータ構造を説明するための説明図である。

【図12】属性及び状態の異なる駐車枠が設けられた駐車場の例であり、（ａ）は縦列駐車用であって優先駐車枠が設けられた駐車場の一例を示し、（ｂ）は縦列駐車用であって電気自動車用駐車枠が設けられた駐車場の一例を示し、（ｃ）は並列駐車用であって駐車禁止領域、優先駐車枠が設けられた駐車場の一例を示し、（ｄ）は並列かつ斜め駐車用であって駐車禁止領域、優先駐車枠が設けられた駐車場の一例を示す。

【発明を実施するための形態】

【0009】

（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。

【0010】

図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。

【0011】

車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。

【0012】

前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ〜２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ２０ａ〜２０ｄにより、車両Ｖの周囲の状況（本実施の形態では、車両Ｖの周囲の路面Ｒ）を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ〜２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。

【0013】

図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２１と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３３とを有する。

【0014】

カメラＥＣＵ２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２１は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠の属性を判定したり、検出した駐車枠に車両Ｖを駐車できるか否かを判定したりする判定処理等を行う。

【0015】

ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。

【0016】

車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。

【0017】

操舵角センサ３３は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３３で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。

【0018】

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

【0019】

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

【0020】

すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２１が駐車可と判定した駐車枠、又はカメラＥＣＵ２１が検出した駐車枠及びその属性に基づいて車両制御ＥＣＵ４０が駐車可能と判定した駐車枠に、車両Ｖを自動で駐車させる自動駐車処理を実行する。

【0021】

ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワーステアリングアクチュエータ５１を駆動して、車両Ｖの操舵角を制御する。

【0022】

スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６１を駆動して、車両Ｖのスロットルを制御する。

【0023】

ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７１を駆動して、車両Ｖのブレーキを制御する。

【0024】

なお、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network）８０によって接続される（「ＣＡＮ」は登録商標）。

【0025】

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ８１によって接続される。

【0026】

以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２１を含んでいる。

【0027】

（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。

【0028】

制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述する駐車枠検出部１１３により検出された駐車枠や、駐車枠内走査部１１４及び判定部１１５により検出された駐車枠の属性に基づいて、車両Ｖを駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置情報、属性、形状等）をこの車両制御ＥＣＵ４０に送出する。

【0029】

車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３３（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワーステアリングアクチュエータ５１、スロットルアクチュエータ６１及びブレーキアクチュエータ７１（図３ではアクチュエータとのみ図示している）を駆動制御する。

【0030】

制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

【0031】

記憶部１２０には、駐車枠登録データ１２１、パラメータデータ１２２、条件データ１２３が格納（記憶）される。駐車枠登録データ１２１は、検出した駐車枠の位置情報、属性、その他の情報である。パラメータデータ１２２は、画像処理装置１００が使用する各種パラメータである。条件データ１２３は、エッジの状態を判定するための条件に関する情報であり、エッジの状態と、駐車枠の属性とを対応させた情報である。

【0032】

パラメータデータ１２２は、図１１に示すように、探索パラメータテーブル１２２ａと、状態判定パラメータテーブル１２２ｂに格納されたデータを含んでいる。探索パラメータテーブル１２２ａには、駐車枠内の走査時に用いるパラメータｔ１〜ｔ３が予め格納されている。ｔ１はエッジの検出時の輝度差の閾値であり、ｔ２はプラスエッジとマイナスエッジで構成される線幅の最小値であり、ｔ３は線幅の最大値である。

【0033】

状態判定パラメータテーブル１２２ｂには、エッジの状態に基づく駐車枠の属性判定時に用いるパラメータｓ１〜ｓ６が予め格納されている。ｓ１は第１の駐車禁止マーカーの線幅差の許容範囲であり、ｓ２は第１の駐車区禁止マーカーの探索ライン上で検出される線の本数であり、ｓ３は第２の駐車禁止マーカーの探索ライン上で検出される線の本数であり、ｓ４は第２、第３の駐車禁止マーカーの探索ライン上で検出される線の本数である。ｓ５は第１の駐車禁止マーカーの線間隔の最小値であり、ｓ６は第２、第３の駐車禁止マーカーの線間隔差の許容範囲である。これらのパラメータｓ１〜ｓ６は、本実施の形態では、縦列駐車用の駐車枠に適した数値が格納されているが、駐車枠の駐車形態に応じて、適宜の数値を設定できる。例えば、駐車形態が、並列駐車や斜め駐車である場合は、並列駐車枠、斜め駐車枠に描かれるマーカーのエッジの状態に適した数値を格納できる。また、これら複数の駐車形態ごとに、パラメータｓ１〜ｓ６を格納しておくこともできる。

【0034】

上記以外にも、記憶部１２０にはパラメータデータ１２２として、区画線のエッジの走査時に用いる輝度又は色のパラメータの閾値、区画線の基準長さ、駐車スペース幅及びその閾値等を変更可能に格納してもよい。さらに、区画線の幅、延在方向の角度等、画像処理装置１００が使用する様々なパラメータを変更可能に格納してもよい。また、駐車支援装置１が使用される国、地域、駐車スペース（駐車枠）の形状や大きさ等に対応して、複数のパラメータを格納し、適切なパラメータを選択する構成とすることもできる。

【0035】

条件データ１２３は、図１１に示すように、条件データテーブル１２３ａに格納されたデータを含んでいる。条件データテーブル１２３ａには、複数の条件（線幅差ΔＬ、線の本数Ｎ、線間隔差ΔＷ等）に関する条件式が、マーカーの種類別に設定されている。なお、これらの条件式は、条件データ１２３として記憶部１２０に記憶することなく、プログラムに組み込んでもよい。図１１の例では、条件データテーブル１２３ａに第１の駐車禁止マーカー、第２の駐車禁止マーカー、第３の駐車禁止マーカーの条件式が設定されているが、これらに限定されることはない。他のマーカー（例えば、優先駐車マーカー、充電器案内マーカー等）の条件式を格納しておくこともできる。条件式に用いられるパラメータは、パラメータデータ１２２の状態判定パラメータテーブル１２２ｂの各パラメータｓ１〜ｓ６が用いられる。よって、条件データテーブル１２３ａの条件式を変更することなく、駐車枠の状態に応じて状態判定パラメータテーブル１２２ｂを適宜変更するだけで、本実施の形態の画像処理装置１００を、何れのマーカーが描かれ、かつ、何れの駐車形態の駐車枠及びその属性の検出にも適用できる。

【0036】

また、記憶部１２０には図略の制御用プログラムが格納されている。この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施の形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0037】

この図３に示すように、制御部１１０は、エッジ検出部１１１、区画線検出部１１２、駐車枠検出部１１３、駐車枠内走査部１１４、判定部１１５、駐車枠登録部１１６及び表示制御部１１７を有する。

【0038】

エッジ検出部１１１は、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出により駐車場Ｐ等の路面Ｒ上に描かれた区画線２００のエッジを検出する。ここでいう区画線２００とは、主に路面Ｒ上に設けられた駐車領域を区画する境界線（直線）として描かれた線のことである。図５に、車両Ｖと、この車両Ｖが駐車を行おうとしている駐車場Ｐの路面Ｒ上に描かれた区画線２００の一例を示す。区画線２００の間が、駐車スペースを表す駐車枠２０１である。図５の例では、区画線２００は、縦列駐車用の駐車枠２０１を示す線である。また、図５には、駐車禁止領域であることを示す第１の駐車禁止マーカー３００も描かれている。

【0039】

また、図６は、カメラ２０で撮影された画像信号を合成して生成された俯瞰画像Ｇと、この俯瞰画像Ｇから検出されたエッジを模式的に示した図である。図６に示される俯瞰画像Ｇは、カメラ２０ａ〜２０ｄで撮影された画像信号に基づいて、それぞれ車両Ｖを真上から見下ろした俯瞰画像ｇ１，ｇ２，ｇ３，ｇ４に変換して、さらに各俯瞰画像ｇ１〜ｇ４を合成して生成された画像である。俯瞰画像Ｇの中心部分には、車両Ｖを真上から見下ろした状態を示すアイコンＩが表示される。

【0040】

区画線２００は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、エッジ検出部１１１によってエッジが検出される区画線２００は、「白線」に限定されるものではなく、一般に、路面Ｒとの間にコントラストを有する境界線を、区画線２００として検出すればよい。

【0041】

エッジ検出部１１１は、画像を所定方向に走査（スキャン）して、画像信号に含まれる輝度値又は色のパラメータ情報（例えば、ＲＧＢ、ＲＧＢＡ等）が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。検出したエッジは、輝度又は色のパラメータの変化の方向（傾向）に応じて、プラスエッジ又はマイナスエッジとする。

【0042】

なお、走査の方向は、路面Ｒに描かれた区画線２００に直交する方向に設定するのが望ましい。すなわち、図５に示すように、区画線２００が車両Ｖの進行方向（図５の矢印参照）と直交する方向に延在しているときには、俯瞰画像Ｇ（図６参照）上で車両Ｖの進行方向に沿って走査するのが望ましい。これに対して、区画線２００が車両Ｖの進行方向に沿って延在しているときは、俯瞰画像Ｇ上で進行方向と直交する方向に走査するのが望ましい。一般には、区画線２００が延びている方向は未知であるため、エッジ検出部１１１は、俯瞰画像Ｇ上で車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査することが望ましい。

【0043】

輝度値に基づいてエッジを抽出する場合は、エッジ検出部１１１は、輝度が低く暗い画素（例えば黒い画素）から、閾値よりも大きな差を持って輝度が高く明るい画素（例えば白い画素）に変化するエッジ、つまり隣り合った画素の輝度差がプラス方向に所定値よりも大きくなるエッジを、プラスエッジ（「立上りエッジ」ともいう）として検出する。このプラスエッジの検出は、走査位置が路面Ｒの像から区画線２００の像と推定されるものに切替わったことを示す。

【0044】

また、エッジ検出部１１１は、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化したエッジ、つまり隣り合った画素の輝度差がマイナス方向に所定値よりも大きくなるエッジを、マイナスエッジ（「立下がりエッジ」ともいう）として検出する。このマイナスエッジの検出は、走査位置が区画線２００の像と推定されるものから路面Ｒの像に切替わったことを示す。

【0045】

これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面Ｒの像の色のパラメータと、区画線２００の像の色のパラメータとを比較する。エッジ検出部１１１は、色のパラメータの値が大きくなる方向に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。また、路面Ｒの画像よりも区画線２００の画像の輝度が低い（或いは色のパラメータが大きい）場合は、輝度値や色のパラメータの変化は逆転する。いずれの場合でも区画線２００の像では、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。

【0046】

上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分（画素列）を、プラスエッジの線分として抽出する。さらに連続するマイナスエッジで構成される線分（画素列）を、マイナスエッジの線分として抽出する。

【0047】

図６の例では、俯瞰画像Ｇにおける車両Ｖの走行方向に沿う方向であって区画線２００の延在方向に直交する方向（図６の紙面上下方向）をＸ軸とし、区画線２００の延在方向（図５Ｂの紙面左右方向）をＹ軸とする。エッジ検出部１１１は、車両Ｖの走行方向に直交する方向であってＸ軸正方向（図中の下から上）に向けて俯瞰画像Ｇを走査し、プラスエッジ及びマイナスエッジを検出していく。なお、図中の上から下、つまりＸ軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ（階調）の変化に基づいてこれらを検出する。

【0048】

区画線検出部１１２は、エッジ検出部１１１が検出したエッジに基づいて、区画線を検出する。より詳細には、区画線検出部１１２は、検出したプラスエッジの線分及びマイナスエッジの線分に対して、予め決められた基準長さ以上の長さを有し、かつ予め決められた方向（角度）に延びるプラスエッジの線分及びマイナスエッジの線分を抽出する。これに対して、基準長さより短いエッジや、垂直方向以外に延びるエッジの線分は抽出しない。これにより、路面Ｒ上での光の反射や、ゴミや汚れ等によるノイズのエッジが除去される。

【0049】

基準長さは、例えば、図５に示すように縦列駐車用の駐車枠を区画する区画線２００の場合は車両Ｖの車幅分（例えば２〜３ｍ）の長さとすることができる。また、並列駐車用の駐車枠を区画する区画線２００の場合は車両Ｖの車長分（例えば５ｍ）の長さとすることができる。なお、カメラ２０による撮影範囲や撮影状況に応じて、基準長さは、車長や車幅よりも短い長さとすることもできる。角度は、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度としている。図５の場合は、区画線２００は、走行方向に対して駐車スペースに向かって略直角に延びる直線であるため、角度＝９０°±閾値としている。

【0050】

区画線検出部１１２は、抽出された複数のプラスエッジの線分及びマイナスエッジの線分の各々の始点及び終点の位置情報（座標値）を算出し、この位置情報に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、区画線を構成するエッジのペアであると判定する。例えば、プラスエッジとマイナスエッジの距離が、区画線の線幅±閾値の範囲内であるときに、これらをペアと判定する。

【0051】

図６の俯瞰画像Ｇ上に、抽出された基準長さ以上で、かつ所定の角度で延びるプラスエッジの線分Ｅｐ（太実線）と、マイナスエッジの線分Ｅｍ（太破線）を模式的に示す。この図６の例では、区画線２００の像（以下、「区画線像」という。）Ｋ（Ｋ１〜Ｋ４）の両側縁部分に、それぞれプラスエッジの線分Ｅｐとマイナスエッジの線分Ｅｍのペア（Ｅｐ１とＥｍ１、Ｅｐ２とＥｍ２、Ｅｐ３とＥｍ３及びＥｐ４とＥｍ４）が抽出された。言い換えれば、これらのエッジの線分のペアで構成される線が、区画線像Ｋ１〜Ｋ４として検出される。

【0052】

駐車枠検出部１１３は、区画線検出部１１２により検出された区画線像Ｋ（Ｋ１〜Ｋ４）を構成するエッジのペアに基づいて、俯瞰画像Ｇ上で駐車枠（駐車スペース）を検出する。まず、駐車枠検出部１１３は、複数のペアのプラスエッジの線分Ｅｐ及びマイナスエッジの線分Ｅｍの中から、駐車スペースを構成する可能性のある向かい合う２本のエッジ（プラスエッジとマイナスエッジ）の線分を選択する。ここで選択される２本のエッジの線分は、駐車スペースを仕切る一対の区画線像Ｋの両側縁を構成する線である。

【0053】

そして、駐車枠検出部１１３は、選択された２本のエッジの線の距離（隣り合う区画線像Ｋの内法寸法）を、各エッジの端点の座標値に基づいて算出し、算出された距離が所定範囲内にあるか判定する。この距離が所定の駐車スペース幅±閾値の範囲内であれば、２本のエッジの線で仕切られた領域を駐車スペースとして検出し、この駐車スペースを囲む枠を駐車枠とする。駐車スペース幅としては、縦列駐車用であって普通自動車や小型貨物車用の駐車スペースであれば２ｍ〜３ｍが望ましく、大型貨物車やバス用の駐車スペースであれば、１０ｍ以上が望ましい。また、並列駐車用であって普通自動車や小型貨物車用の駐車スペースであれば２ｍ〜３ｍが望ましく、大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。

【0054】

駐車枠検出部１１３は、検出した駐車枠の駐車枠情報を、一時記憶部１２４に一時的に格納（記憶）する。駐車枠情報としては、駐車枠の位置情報、例えば、駐車枠を構成する向かい合うプラスエッジの線分Ｅｐとマイナスエッジの線分Ｅｍの少なくとも各々の始点の座標値が望ましく、各々の始点及び終点の座標値がより望ましいが、これらに限定されない。

【0055】

図７Ａに仮想線で示すように、俯瞰画像Ｇでは、区画線像Ｋ２とＫ３との間に駐車枠ｐ１が検出され、さらに区画線像Ｋ３とＫ４との間の駐車禁止領域にも、駐車枠ｑ１が検出される。このように、駐車禁止領域が駐車枠ｑ１として検出されると、その駐車枠登録データ１２１を取得した車両制御ＥＣＵ４０が、駐車枠ｑ１を駐車支援に用いることがある。

【0056】

これを回避すべく、本実施の形態の画像処理装置１００は、検出した各駐車枠ｐ１，ｑ１の属性（駐車枠、駐車禁止領域、等）を判定している。すなわち、駐車枠内走査部１１４が、駐車枠内を走査してエッジを検出し、判定部１１５が、検出したエッジの状態に基づいて、駐車枠の属性（種類）を判定する。

【0057】

駐車枠の属性としては、例えば、駐車枠、駐車禁止領域、優先駐車枠、電気自動車用駐車枠、等が挙げられるが、これらに限定されることはない。駐車枠は、何れの車両Ｖでも（つまり、誰でも）利用できる駐車枠である。この駐車枠は、例えば、図５の駐車枠２０１のように、区画線２００や、区画線２００を含む矩形の枠で仕切られた領域（駐車スペース）内に、特殊なマーカー（駐車枠の番号等以外のマーカー）の表示（ペイント）がない駐車枠である。駐車禁止領域は、車両Ｖの駐停車や侵入を禁止する領域であって、所定の駐車禁止マーカー（例えば、図５の第１の駐車禁止マーカー３００等）が表示（ペイント）されている。

【0058】

優先駐車枠（「障がい者用駐車枠」等とも呼ばれることがある。）は、車椅子使用者、身体の不自由な人、妊婦、高齢者等が優先して駐車できる駐車枠であって、所定の優先駐車マーカー（例えば、図１２の優先駐車マーカー３３０、「障がい者マーカー」等とも呼ばれる。）が表示されている。この他にも、優先駐車枠として、軽自動車を優先して駐車するための軽自動車優先マーカーが表示された軽自動車用駐車枠や、貨物車を優先して駐車するための貨物車優先マーカーが表示された貨物車用駐車枠等も挙げられる。電気自動車用駐車枠は、電気自動車が充電するために駐車する駐車枠であって充電器の所在を示す充電器案内マーカー（例えば、図１２の充電器案内マーカー３４０）が表示されている。

【0059】

本実施の形態では、判定部１１５は、属性として、駐車禁止領域か、駐車可能な駐車枠かを判定している。すなわち、駐車可能な駐車枠は、何れの車両Ｖでも駐車可能な駐車枠、優先駐車枠、電気自動車用駐車枠を区別することなく、単に「駐車枠」と判定する。

【0060】

図８（ａ）〜図８（ｃ）に、駐車禁止マーカーの具体例を示す。これらの図に示す第１〜第３の駐車禁止マーカー３００，３００Ａ，３００Ｂは、駐車禁止領域を囲むように設けられた２本の短辺３０１及び２本の長辺３０２を有する矩形状の区画部３０３と、この区画部３０３内に設けられた斜線３０４を有する斜線部３０５と、から構成される。図８（ａ）に示す第１の駐車禁止マーカー３００の斜線部３０５は、いわゆるバツ（×）状に交差した２本の斜線３０４からなる。図８（ｂ）に示す第２の駐車禁止マーカー３００Ａの斜線部３０５は、平行に配置された複数の斜線３０４からなる。図８（ｃ）に示す第３の駐車禁止マーカー３００Ｂの斜線部３０５は、ジグザク状（Ｗ状）に配置された複数の斜線３０４からなる。

【0061】

このような駐車禁止マーカー３００〜３００Ｂでは、縦列駐車の場合は２本の短辺３０１が区画線２００として機能し、並列駐車の場合は２本の長辺３０２が、区画線２００として機能する。なお、駐車禁止マーカーが、これらの例に限定されることはなく、車両Ｖの侵入や駐停車を禁止するためのマーカーであれば、他の何れのマーカーであってもよい。また、図８（ａ）〜図８（ｃ）の各例では、区画部３０３は２本の短辺３０１及び２本の長辺３０２を有する矩形状であるが、この形状に限定されない。例えば、区画部３０３が２本の短辺３０１のみからなる場合や、２本の長辺３０２のみからなる場合もある。

【0062】

以下、本実施の形態における駐車枠内走査部１１４及び判定部１１５の処理の詳細を説明する。駐車枠内走査部１１４は、駐車枠内を走査すべく、まず走査（スキャン）するライン（以下、「探索ライン」という。）を設定する。この探索ラインの設定手順を、図９を参照しながら説明する。図９には、第１の駐車禁止マーカーが表示された駐車枠（駐車禁止領域）を走査する例を示している。この図９に示すように、駐車枠内走査部１１４は、駐車枠を構成する向かい合う２本の区画線像Ｋの向かい合う辺であるプラスエッジの線分Ｅｐとマイナスエッジの線分Ｅｍを、それぞれ一方の線分Ｌ１及び他方の線分Ｌ２とする。駐車枠内走査部１１４は、一方及び他方の線分Ｌ１，Ｌ２のそれぞれについて、所定の割合で分割する分割点を取得する。図９の例では、駐車枠内走査部１１４は、一方及び他方の線分Ｌ１，Ｌ２を２５％（１／４）の割合で分割し、線分Ｌ１，Ｌ２の各端点ｄ１〜ｄ４から２５％の位置にある４つの分割点を取得し、これらを探索点Ｄ１〜Ｄ４としている。そして、駐車枠内走査部１１４は、これらの探索点Ｄ１〜Ｄ４の俯瞰画像Ｇ上における位置座標を算出する。

【0063】

なお、本実施の形態では、分割時の割合を２５％としているが、これに限定されることはなく、駐車枠の矩形の縦横比、駐車禁止マーカーの種類、カメラ２０の撮影範囲や分解能等に応じて、適宜に設定できる。また、この比率をパラメータデータ１２２として、記憶部１２０に変更自在に格納しておくこともできる。

【0064】

そして、駐車枠内走査部１１４は、区画線像Ｋに交差する方向において向かい合う一方の探索点Ｄ１とＤ２、他方の探索点Ｄ３とＤ４とを互いに結んで、探索ラインＴＬ１，ＴＬ２を設定する。ここで、探索点Ｄ１，Ｄ３側を、走査を開始する「始点」とし、探索点Ｄ２，Ｄ４側を、走査を終了する「終点」とする。なお、探索ラインの本数は１本とすることもできるが、複数本として複数個所を走査することで、マーカーの線に掠れや影等があっても、エッジの状態の検出精度を向上できる。そして、本実施の形態のように探索ラインＴＬ１，ＴＬ２の本数を２本とすることで、エッジの状態の検出精度の向上を可能としつつ、さらに演算効率やロバスト性に優れるエッジの検出が可能となる。

【0065】

次に、駐車枠内走査部１１４は、設定した探索ラインＴＬ１，ＴＬ２に沿って、始点から終点に向かって画像を走査（スキャン）し、プラスエッジとマイナスエッジとを検出する。このとき、隣り合う画素の輝度（又は色のパラメータ）がプラス方向に閾値よりも大きく変化する部分をプラスエッジとして検出し、隣り合う画素の輝度（又は色のパラメータ）がマイナス方向に閾値よりも大きく変化する部分をマイナスエッジとして検出する。

【0066】

この閾値は、記憶部１２０において、パラメータデータ１２２の探索パラメータテーブル１２２ａにパラメータｔ１として格納されている。本実施の形態では、輝度差の閾値のパラメータｔ１＝９０[pix]が格納されているが、この数値又は輝度差に限定されない。図９には、探索ラインＴＬ１の走査イメージと、走査によって検出されたプラスエッジ（＋エッジ）とマイナスエッジ（−エッジ）のイメージ示す。プラスエッジとマイナスエッジとの間がマーカーの線と推定される。

【0067】

次に、駐車枠内走査部１１４は、検出したプラスエッジ及びマイナスエッジ分に対して、プラスエッジとマイナスエッジとの間の距離、つまりマーカーと推測される部分の線幅が、マーカーを表す線として許容範囲内か否かを判定する。駐車枠内走査部１１４は、線幅が許容範囲内であると判定した場合は、これらを有効なエッジとし、許容範囲外であれば、これらを破棄する。許容範囲は、探索パラメータテーブル１２２ａに格納されているパラメータｔ２からｔ３の間である。本実施の形態では、ｔ２＝５[pix]、ｔ３＝２３[pix]が設定されている。線幅の許容範囲を５〜２３[pix]とすることで、マーカーの線幅や形状、俯瞰画像Ｇの歪み等によらず、マーカー部分を適切に検出できる。なお、パラメータｔ２、ｔ３が、これらの数値に限定されることはなく、適宜に設定できる。

【0068】

判定部１１５は、駐車枠内走査部１１４が検出したプラスエッジ及びマイナスエッジの状態が、条件データテーブル１２３ａの条件式を満たすか否かを判定する。判定手順の具体例を、図９、図１０の説明図、及び図１１のパラメータデータのデータ構造を参照しながら説明する。

【0069】

エッジの状態が、下記条件式（図１１参照）を満たす場合は、判定部１１５は、駐車枠の属性が第１の駐車禁止マーカー３００が表示された駐車禁止領域（図１０（ａ）参照）であると判定する。
・線幅差ΔＬが許容範囲か（ΔＬ≧ｓ１（６[pix]））。
・線の本数Ｎが所定本数か（Ｎ＝ｓ２（２[本]）。
・線間隔Ｗが最小線間隔を超えているか（Ｗ＞ｓ５（（３８[pix]）。

【0070】

線幅差ΔＬは、探索ライン上で検出された隣接する線どうしの線幅Ｌの差である。線幅Ｌは、図９に示すように、プラスエッジとマイナスエッジとの間の距離である。図１０（ａ）に、検出された線を四角で囲って示したが、線幅差ΔＬは、例えば１番目の線の線幅Ｌと２番目の線の線幅Ｌとの差である。線の本数Ｎは、探索ライン上で検出された線（斜線）の数であり、図１０（ａ）に示すように、第１の駐車禁止マーカー３００の場合は、探索ラインＴＬ１，ＴＬ２上で各々２つ検出される。線間隔Ｗは、図１０（ａ）に矢印で示すように、隣接する線どうしの間隔（より具体的には一方の線のマイナスエッジと他方の線のプラスエッジとの間隔）である。

【0071】

エッジの状態が、下記条件式を満たす場合は、判定部１１５は、駐車枠の属性が第２の駐車禁止マーカー３００Ａが表示された駐車禁止領域（図１０（ｂ）参照）であると判定する。
・線の本数Ｎが所定本数か（Ｎ＝ｓ２（３[本]）又はＮ＝ｓ３（４[本]）。
・線間隔差ΔＷが許容範囲か（ΔＷ＜ｓ６（３[pix]）。

【0072】

第２の駐車禁止マーカー３００Ａは、複数の平行な斜線３０４を有するので、探索ラインＴＬ１，ＴＬ２上で検出される線は複数本（３又は４本）である。斜線３０４の線間隔は、ほぼ等間隔であるため、探索ラインＴＬ１，ＴＬ２上で検出される線の線間隔Ｗ１もほぼ等間隔となり、線間隔差ΔＷも小さい（３[pix]未満）。

【0073】

エッジの状態が、下記条件式を満たす場合は、判定部１１５は、駐車枠の属性が第３の駐車禁止マーカー３００Ｂが表示された駐車禁止領域（図１０（ｃ）参照）であると判定する。
・線の本数Ｎが所定本数か（Ｎ＝ｓ２（３[本]））。
・線間隔差ΔＷが許容範囲か（ΔＷ≧ｓ６（３[pix]）。

【0074】

第２の駐車禁止マーカー３００Ａは、ジグザグに（Ｗ状に）配置された複数の斜線３０４を有するので、探索ラインＴＬ１，ＴＬ２上で検出される線は複数本（３本）である。画像中の探索ラインＴＬ１，ＴＬ２上では、広い線間隔Ｗ１と狭い線間隔Ｗ２とが交互に検出されるため、隣接する線間隔どうしの差ΔＷは、第２の駐車禁止マーカー３００Ａの場合よりも大きい（３[pix]以上）。

【0075】

そして、条件データテーブル１２３ａの何れの条件をも満たさない場合は、判定部１１５は、当該駐車枠の属性を、車両Ｖを駐車可能な「駐車枠」であると判定する。このため、駐車禁止マーカー３００等とは異なるマーカー（例えば、優先駐車マーカー等）の線は、上記条件を満たさないため、当該マーカーを有する駐車枠は、「駐車枠」と判定される。もちろん、条件データテーブル１２３ａに、優先駐車マーカー等の他のマーカーの条件を格納しておき、判定部１１５がこれらの条件を満たすか判定し、判定結果に応じて駐車枠の属性（優先駐車枠、電気自動車用駐車枠等）を判定してもよい。

【0076】

判定部１１５は、駐車枠の属性が「駐車禁止領域」である場合は、駐車枠検出部１１３が一時記憶部１２４に一時的に格納した駐車枠情報を、記憶部１２０から削除する。なお、この削除処理に限定されることはなく、他の異なる実施形態として、記憶部１２０の駐車枠登録データ１２１の格納領域に、位置情報等を格納する領域に加えて、フラグ領域を設けてもよい。そして、判定部１１５は、当該駐車枠が駐車可能な駐車枠であると判定したときは、フラグ領域を初期状態のままとし（フラグオフ）、当該駐車枠が駐車禁止領域であると判定したときは、フラグをオンにするようにしてもよい。

【0077】

駐車枠登録部１１６は、一時記憶部１２４に一時的に格納されていた駐車枠情報を、駐車枠登録データ１２１として記憶部１２０に登録する。この記憶部１２０に記憶された駐車枠登録データ１２１は、車両制御ＥＣＵ４０に送出され、駐車支援に用いられる。これに対して、駐車禁止領域に検出された駐車枠情報は、一時記憶部１２４から削除されているため、記憶部１２０の駐車枠登録データ１２１の記憶領域に記憶されない。このため、車両制御ＥＣＵ４０が駐車禁止領域を駐車枠と認識するのを抑制できる。

【0078】

また、判定部１１５が、駐車禁止領域の駐車枠情報を削除せず、フラグ領域のフラグをオンにする態様の場合は、駐車枠登録部１１６は、フラグ領域を参照してフラグがオフになっている駐車枠、すなわち、車両Ｖを駐車可能な駐車枠情報を、駐車枠登録データ１２１として記憶部１２０に記憶する。これに対して、フラグがオンになっている駐車枠、すなわち駐車禁止領域に検出された駐車枠の場合は、駐車枠登録部１１６は、当該駐車枠の駐車枠登録データ１２１を記憶部１２０に記憶しないようにする。また、他の異なる実施形態として、駐車枠登録部１１６は、駐車可能な駐車枠及び駐車禁止領域の駐車枠の双方の駐車枠情報を登録するものとし、その際に各駐車枠の属性を、駐車枠登録データ１２１に含めて記憶部１２０に記憶してもよい。

【0079】

表示制御部１１７は、モニター３１に画像を表示させるための表示制御信号を、ナビゲーション装置３０に送出し、モニター３１を制御する。具体的には、カメラ２０により撮像された車両Ｖ周辺の路面画像又はこれらを合成した俯瞰画像Ｇをモニター３１に表示させるための表示制御信号を送出する。また、表示制御部１１７は、判定部１１５によって駐車枠と判定された駐車枠を示す識別子を、路面画像又は俯瞰画像Ｇに重畳して表示させるための表示制御信号を送出してもよい。さらに、表示制御部１１７は、駐車禁止領域を示す識別子を路面画像又は俯瞰画像Ｇに重畳して表示させるための表示制御信号を送出してもよい。

【0080】

図７Ｂに、モニター３１に表示される俯瞰画像Ｇに、識別子として、駐車枠アイコンＰＩと、駐車禁止アイコンＮＩを重畳した例を示す。これらの表示により、ドライバは、駐車支援装置１が駐車枠を検出するとともに駐車禁止領域を識別していることを認識でき、ドライバに安心感を与えられる。なお、本実施の形態では、駐車禁止領域の駐車枠情報を削除しているので、俯瞰画像Ｇには駐車枠アイコンＰＩのみが表示され、駐車禁止アイコンＮＩは表示されない。

【0081】

（画像処理装置の動作）
次に、本実施の形態である画像処理装置１００の動作の一例を図４のフローチャートに従って説明する。

【0082】

図４は画像処理装置１００の動作を説明するためのフローチャートである。図４のフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。

【0083】

ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖの周囲の画像信号を取得する。

【0084】

ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（俯瞰画像Ｇ）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を生成する技術は公知であり、一例として、特開平３−９９９５２号公報や特開２００３−１１８５２２号公報に開示された技術が知られている。

【0085】

なお、ステップＳ２において画像合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における画像合成作業を行うこともできる。しかしながら、俯瞰画像Ｇを生成してからプラスエッジとマイナスエッジの抽出作業を行うほうが画像処理装置１００の処理負担が低減できる。

【0086】

ステップＳ３（エッジ検出工程）では、前述したように、エッジ検出部１１１がステップＳ２で合成した俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度に基づいて、画像中のプラスエッジ及びマイナスエッジを抽出する。

【0087】

図５に示す例では、エッジ検出部１１１は、俯瞰画像Ｇを、Ｘ軸正方向に向けて走査し、画像中のプラスエッジ及びマイナスエッジを検出していく。この結果、図６に太実線で示すプラスエッジの線分Ｅｐ（Ｅｐ１〜Ｅｐ４）と、太破線で示すマイナスエッジの線分Ｅｍ（Ｅｍ１〜Ｅｍ４）が検出された。

【0088】

次のステップＳ４では、エッジ検出部１１１は、ステップＳ３で検出したプラスエッジの線分Ｅｐ及びマイナスエッジの線分Ｅｍについて、前述したように基準長さに基づいてフィルタリングを行う。これにより、路面上での光の反射や、ゴミや汚れ等によるノイズとなる短いエッジが破棄される。このフィルタリングは、次のステップＳ５のペアの抽出の後に行うこともできるが、ペアの抽出の前に行ってノイズを除去することで、画像処理を高速化できる。

【0089】

次のステップＳ５（区画線検出工程）で、区画線検出部１１２は、ステップＳ４で検出された複数のエッジの線分から、隣接するプラスエッジの線分Ｅｐとマイナスエッジの線分Ｅｍのペアを抽出する。このとき、区画線検出部１１２は、俯瞰画像Ｇに基づき路面上で隣り合うプラスエッジの線分Ｅｐとマイナスエッジの線分Ｅｍの距離を算出し、この距離が所定の線幅±閾値の範囲内であれば、区画線を構成するエッジのペアと判定する。図６に示す例では、Ｅｐ１とＥｍ１、Ｅｐ２とＥｍ２、Ｅｐ３とＥｍ３及びＥｐ４とＥｍ４のペア間に、区画線（区画線像Ｋ１〜Ｋ４）が検出された。

【0090】

次のステップＳ６（駐車枠検出工程）では、駐車枠検出部１１３が、ステップＳ５で検出した区画線を構成するプラスエッジの線分Ｅｐエッジのペアに基づいて、前述したような手順で駐車枠及び駐車スペースを検出する。図７Ａに示す例では、実際の駐車枠に対応する駐車枠ｐ１と、駐車禁止領域に対応する駐車枠ｑ１が検出された。駐車枠検出部１１３は、検出した駐車枠の位置情報（エッジの始点及び／又は終点の座標値）を、駐車枠情報として一時記憶部１２４に一時的に記憶する。

【0091】

次のステップＳ７〜Ｓ１４の駐車枠ループ処理により、駐車枠内走査部１１４が、検出した駐車枠内を走査してエッジを検出する駐車枠内走査工程を実行し、判定部１１５が、エッジの状態に基づいて駐車枠の属性を判定する判定工程を実行する。このステップＳ７〜Ｓ１４の処理は、ステップＳ６で検出したすべての駐車枠に対して処理を行ったと判定した場合に終了する。

【0092】

まず、駐車枠内走査工程では、ステップＳ８（探索ライン設定工程）で、駐車枠内走査部１１４は、前述したように、処理対象の駐車枠を構成する区画線の向かい合うプラスエッジの線分Ｅｍとマイナスエッジの線分Ｅｐ（線分Ｌ１，Ｌ２）のそれぞれについて、所定の割合で分割する探索点（分割点）Ｄ１〜Ｄ４を取得する。次いで、駐車枠内走査部１１４は、向かい合う一方の探索点Ｄ１とＤ２、他方の探索点Ｄ３とＤ４とを互いに結んで、探索ラインＴＬ１，ＴＬ２を設定する（図９参照）。

【0093】

次に、ステップＳ９（エッジ検出工程）で、駐車枠内走査部１１４は、ステップＳ８で設定した探索ラインＴＬ１，ＴＬ２に沿って俯瞰画像Ｇを走査し、探索パラメータテーブル１２２ａの閾値（ｔ１）、線幅の許容範囲（ｔ２〜ｔ３）に基づいて、有効なプラスエッジとマイナスエッジとを検出する。

【0094】

次の判定工程において、ステップＳ１０（エッジの状態比較工程）では、判定部１１５は、前述したように、ステップＳ９で検出したプラスエッジ及びマイナスエッジの状態と、条件データテーブル１２３ａに格納された条件データに基づくエッジの状態とを比較する。ステップＳ１１で、判定部１１５は、比較結果に基づいて駐車枠の属性を判定する。図７Ａの例では、駐車枠ｐ１は、条件を何ら満たさないため「駐車枠」と判定され、駐車枠ｑ１は第１の駐車領域マーカー３００が表示された「駐車禁止領域」と判定される。

【0095】

次のステップＳ１２では、判定部１１５は、駐車枠の属性が駐車禁止領域であるか判定する。駐車禁止領域であると判定したときは（ＹＥＳ）、ステップＳ１３へ進み、判定部１１５は当該駐車枠（図７Ａでは駐車枠ｑ１）の情報を、一時記憶部１２４から削除し、プログラムはステップＳ１４へ進む。これに対して、駐車枠が駐車禁止領域でないと判定したときは（ＮＯ）、プログラムはステップＳ１３をスキップしてステップＳ１４へ進む。

【0096】

ステップＳ１４では、制御部１１０は、次に処理すべき駐車枠があるか判定し、駐車枠があると判定したときはステップＳ７へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がないと判定したときは、ループを終了して、ステップＳ１５へと進む。

【0097】

ステップＳ１５（駐車枠登録工程）では、駐車枠登録部１１６が、一時記憶部１２４に登録されている駐車枠（駐車スペース）の情報を記憶部１２０に登録する。具体的には、駐車枠登録部１１６は、駐車枠を構成する向かい合うプラスエッジの線分の端点とマイナスエッジの線分の端点の座標値を、駐車枠の始点又は終点の座標値として、駐車枠登録データ１２１として記憶部１２０に登録する。このとき、駐車枠の少なくとも２つの始点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠を特定できるが、４点の座標値を登録してもよい。図７Ａの例では、駐車枠ｐ１の駐車枠情報のみが登録される。一方、駐車枠の属性を登録する態様の場合は、駐車枠登録部１１６はフラグ情報（つまり、属性）も駐車枠登録データ１２１に含めて記憶部１２０に登録してもよいし、駐車枠ｑ１の駐車枠情報も記憶部１２０に記憶してもよい。また、駐車枠登録部１１６は、区画線２００の角度（延在方向）、その他自動駐車処理に必要な情報を駐車枠登録データ１２１に加えて登録してもよい。

【0098】

ステップＳ１６（表示制御工程）では、表示制御部１１７が、記憶部１２０に登録された駐車枠を示す駐車枠アイコンＰＩ（図７Ｂ参照）を、俯瞰画像Ｇに重畳して表示させるための表示制御信号を生成する。一方、駐車禁止領域を示す駐車禁止アイコンＮＩ（図７Ｂ参照）を表示させる態様では、駐車禁止アイコンＮＩも含めた表示制御信号を生成する。表示制御部１１７は、生成した表示制御信号をナビゲーション装置３０に送出する。これにより、図７Ｂに示すように、駐車枠アイコンＰＩ（さらには駐車禁止アイコンＮＩ）が俯瞰画像Ｇに重畳された画像がモニター３１に表示される。

【0099】

また、記憶部１２０に登録された駐車枠登録データ１２１が、車両制御ＥＣＵ４０に送出され、車両Ｖの駐車を支援する各種処理が実行される。このとき、駐車禁止領域を示すフラグ情報も駐車枠登録データ１２１に含めて登録する態様の場合は、車両制御ＥＣＵ４０は、このフラグ情報を参照することで、当該駐車枠を駐車目標から外したり、駐車禁止を表す識別子表示をしたりするなど、属性に応じた駐車支援を行うことができる。

【0100】

（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、区画線検出部１１２が、車両Ｖの周囲を撮像する撮像装置（カメラ２０）が取得した画像信号に基づく画像（俯瞰画像Ｇ）から、区画線（区画線像Ｋ）を検出する（区画線検出工程）。駐車枠検出部１１３が、検出した区画線に基づいて、駐車枠（例えば、駐車枠ｐ１，ｐ２）を検出する（駐車枠検出工程）。駐車枠内走査部１１４が、駐車枠を構成する区画線の向かい合う一対の辺（一方の線分Ｌ１及び他方の線分Ｌ２）のそれぞれについて、所定の割合で分割する分割点（探索点Ｄ１〜Ｄ４）を取得し、取得した分割点を通るように画像を走査してエッジを検出する（駐車枠内走査工程）。記憶部１２０には、エッジの状態と、駐車枠の属性とが対応して記憶されている（記憶工程）。そして、判定部１１５が、検出したエッジの状態と、記憶部１２０に記憶されているエッジの状態に対応した駐車枠の属性と、を用いて、駐車枠の属性を判定する（判定工程）。

【0101】

これにより、駐車枠の属性に応じて、駐車枠を適切に検出することが可能な画像処理装置１００及び画像処理方法を提供できる。また、この画像処理装置１００又は画像処理方法を備えることで、駐車枠の属性に応じた適切な駐車支援が可能な駐車支援装置１及び駐車支援方法を提供できる。

【0102】

また、本実施の形態では、駐車枠内走査部１１４は、隣り合った画素の輝度又は色のパラメータが閾値よりもプラス方向に変化する部分をプラスエッジとして検出し、隣り合った画素の輝度又は色のパラメータが閾値よりもマイナス方向に変化する部分をマイナスエッジとして検出する。判定部１１５は、プラスエッジ及びマイナスエッジの状態と、駐車枠の属性ごとに予め設定されたエッジの状態とを比較し、比較結果に基づいて属性を判定する。これにより、画像処理装置１００は、駐車枠の属性をより詳細かつより適切に判定できる。

【0103】

また、記憶部１２０に記憶されているエッジの状態と、駐車枠の属性とは、駐車枠の駐車形態（例えば、縦列駐車、並列駐車、斜め駐車、等）に応じて設定されるものとすれば、駐車形態に応じた適切な属性の判定が可能となる。また、本実施の形態では、属性に応じて駐車枠内に表示されたマーカー（例えば、駐車禁止マーカー３００〜３００Ａ）の線のエッジに基づく線の線幅差、本数、線間隔、及び線間隔差の何れかである。これにより、駐車枠内に描かれた様々なマーカー（例えば、駐車禁止マーカー、優先駐車マーカー、充電器案内マーカー等）をより適切に検出し、属性のバリエーションが広がるとともに、属性に応じたより適切な処理を行える。

【0104】

また、駐車枠の属性が、何れの車両Ｖでも駐車可能な駐車枠、駐車禁止マーカー３００〜３００Ｂが表示された駐車禁止領域、優先駐車マーカー３３０が表示された優先駐車枠及び充電器案内マーカー３４０が表示された電気自動車用駐車枠の何れかであれば、これらの属性に好適な駐車支援等が可能となる。例えば、駐車禁止領域であれば、駐車目標から除外し、優先駐車枠であれば、車椅子使用者等が乗車又は運転する車両Ｖの場合のみ、当該駐車枠を駐車目標に含め、電気自動車用駐車枠であれば、車両Ｖが電気自動車の場合のみ、当該駐車枠を駐車目標に含めることができる。

【0105】

また、上記実施の形態の画像処理装置１００では、駐車枠内走査部１１４は、駐車枠を構成する区画線の向かい合う一対の辺（線分Ｌ１，Ｌ２）のそれぞれについて、所定の割合で分割する分割割点（Ｄ１〜Ｄ４）を複数取得し、取得した複数の分割点を通るように画像（俯瞰画像Ｇ）を走査してエッジを検出している。これにより、マーカーの線に掠れや影等による途切れがあっても、エッジの状態を高精度に検出でき、属性の判定をより適切かつ高精度に行える。

【0106】

また、本実施の形態の画像処理装置１００は、画像（俯瞰画像Ｇ）と、駐車枠の属性を示す識別子（例えば、駐車枠アイコンＰＩ、駐車禁止アイコンＮＩ）とを重畳して表示するように表示部（モニター３１）を制御する表示制御部１１７を備えている。このため、ドライバはモニター３１を視認することで、駐車枠の属性（例えば、駐車可能な駐車枠か、駐車禁止か等）を明確に認識できる。また、駐車支援が適切に行われていることをドライバに示すことができ、ドライバに信頼感や安心感を与えられる。

【0107】

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

【0108】

例えば、上記実施の形態では、縦列駐車枠における駐車可能な駐車枠及び駐車禁止領域の検出の動作を説明している。これに対して、前述したように、本実施の形態の画像処理装置１００は、駐車禁止領域以外の駐車枠の属性の判定にも適用できるとともに、並列駐車や斜め駐車等の縦列駐車以外の駐車形態の駐車枠の属性の判定にも適用できる。図１２に属性及び駐車形態の異なる駐車枠の例を示す。

【0109】

図１２（ａ）は縦列駐車用であって、優先駐車マーカー３３０が描かれた優先駐車枠が設けられた駐車場の一例を示す。図１２（ｂ）は縦列駐車用であって、充電器案内マーカー３４０が描かれた電気自動車用駐車枠を有する駐車場の一例を示す。また、図１２（ｃ）は並列駐車用であって、第２の駐車禁止マーカー３００Ａが描かれた駐車禁止領域、優先駐車マーカー３３０が描かれた優先駐車枠を有する駐車場の一例を示す。図１２（ｄ）は並列かつ斜め駐車用であって、第２の駐車禁止マーカー３００Ａが描かれた駐車禁止領域、優先駐車マーカー３３０が描かれた優先駐車枠を有する駐車場の一例を示す。図１２（ａ）〜図１２（ｄ）に示す矢印は、駐車枠内走査部１１４が各駐車枠を走査する際の探索ラインと走査方向とを表している。探索ラインの位置及び本数、走査により検出したエッジの状態を判定する際の条件等は、特に限定されることはなく、駐車枠の属性、マーカーの位置、駐車形態等に応じて適切に設定できる。

【0110】

また、図１２のように、様々なマーカーが描かれた駐車枠を検出する場合、例えば、判定部１１５は、一時記憶部１２４に駐車枠情報を登録する際に、フラグ領域に駐車枠の属性に応じたデータ、例えば、何れの車両Ｖでも駐車可能な駐車枠であれば「１」、駐車禁止領域であれば「２」、優先駐車枠であれば「３」、電気自動車用駐車枠であれば「４」等を設定する。さらに、駐車禁止領域の場合は、第１〜第３の駐車禁止マーカー３００〜３００Ｂを区別する数値を設定してもよいし、優先駐車枠の場合は、障がい者用駐車枠、軽自動車用駐車枠、貨物車用駐車枠を区別する数値を設定してもよい。

【0111】

そして、駐車枠登録部１１６は、駐車枠登録データ１２１を記憶部１２０に登録する際に、駐車枠の属性が駐車禁止領域であれば、当該駐車枠情報を記憶部１２０に登録しないようにするか、又は駐車禁止領域のフラグ情報を付加して記憶部１２０に記憶してもよい。また、駐車枠の属性が優先駐車枠や電気自動車用駐車枠である場合は、当該駐車枠情報に、属性に対応したフラグ情報を付加して記憶部１２０に登録する。これにより、車両制御ＥＣＵ４０は、車両Ｖの状態（一般人が運転する車両Ｖか、車椅子使用者等が乗車又は運転する車両Ｖか、等）と、駐車枠の属性とに基づいて、目標とする駐車枠を選択し、駐車支援を適切に行うことができる。

【0112】

また、上記実施の形態では、画像の輝度や色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報の変化の大きさ及び変化の方向（プラス方向又はマイナス方向）に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。

【符号の説明】

【0113】

２０ カメラ（撮像装置） ２０ａ 前方カメラ（撮像装置）
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） １００ 画像処理装置
１１２ 区画線検出部 １１３ 駐車枠検出設定部
１１４ 駐車枠内走査部 １１５ 判定部
１１６ 駐車枠登録部 １１７ 表示制御部
１２０ 記憶部 ２００ 区画線
Ｄ１〜Ｄ４ 探索点（分割点） Ｇ 俯瞰画像（画像）
Ｌ 線幅 Ｌ１，Ｌ２ 線分（辺）
Ｖ 車両 Ｗ，Ｗ１，Ｗ２ 線間隔
ΔＬ 線幅差 ΔＷ 線間隔差

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】