知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240312BHJP
G08G 1/16 20060101ALI20240312BHJP
G06T 7/60 20170101ALI20240312BHJP
【ＦＩ】
G06T7/00 650A
G08G1/16 C
G06T7/60 200J
【請求項の数】
8
(21)【出願番号】P 2020018480
(22)【出願日】2020-02-06
(65)【公開番号】P2021124996
(43)【公開日】2021-08-30
【審査請求日】2023-01-05
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】金子 貴之
(72)【発明者】
【氏名】近藤 俊輔
(72)【発明者】
【氏名】久保田 守
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１３－１２０４５８（ＪＰ，Ａ）
【文献】特開２０１５－１６５３７６（ＪＰ，Ａ）
【文献】特開２０１４－１０６７４０（ＪＰ，Ａ）
【文献】特開２０１７－０１００７８（ＪＰ，Ａ）
【文献】特開２０１９－０９６０２７（ＪＰ，Ａ）
【文献】特開２０１６－００４２８７（ＪＰ，Ａ）
【文献】特開２００２－１７５５３４（ＪＰ，Ａ）
【文献】胡振程 外１名，一般道路状況を考慮した道路平面線形モデルの構築，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1998年04月25日，第Ｊ８１－Ａ巻 第４号，pp.590～598
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０８Ｇ １／００ － ９９／００
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
路面に描かれたマーカーを検出する画像処理装置であって、車両の周囲の前記路面を撮像する撮像装置から出力される画像信号に基づく画像を所定方向に走査して、複数のエッジを検出するエッジ検出部と、
前記複数のエッジの各々に対して、当該エッジとの距離が最短となるエッジを検出し、当該エッジと前記当該エッジとの距離が最短となるエッジの端点間の距離が閾値以下であるとき、２つのエッジを接続して一のエッジとするエッジ接続部と、
前記複数のエッジに基づいて、前記マーカーを検出するマーカー検出部と、を備え、
前記エッジ接続部は、前記当該エッジを延長した直線と前記当該エッジとの距離が最短となるエッジの始点との距離と、前記当該エッジを延長した線と前記当該エッジの最近接エッジの終点との距離がそれぞれ閾値以下のとき、前記当該エッジと、前記当該エッジとの距離が最短となるエッジとを接続して一のエッジとすることを特徴とする画像処理装置。
【請求項2】
前記エッジ接続部は、前記当該エッジを延長した直線と、前記当該エッジとの距離が最短となるエッジの始点との距離が第１の閾値以下であり、かつ、前記当該エッジを延長した直線と、前記当該エッジとの距離が最短となるエッジの終点との距離が前記第１の閾値よりも大きい第２の閾値以下であること、及び前記当該エッジを延長した直線と、前記当該エッジとの距離が最短となるエッジの始点との距離が前記第２の閾値以下であり、かつ、前記当該エッジを延長した直線と、前記当該エッジとの距離が最短となるエッジの終点との距離が前記第１の閾値以下であること、の何れかを満たすときに、前記当該エッジと、前記当該エッジとの距離が最短となるエッジとを接続して一のエッジとすることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記エッジ接続部は、前記当該エッジと、前記当該エッジとの距離が最短となるエッジとの端点間を、前記当該エッジが延びる方向に応じた方向で走査して、前記当該エッジと前記当該エッジとの距離が最短となるエッジとの間に、前記マーカーと判定できる情報が含まれているか否かを判定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
前記エッジ接続部は、当該エッジから所定距離の範囲内にある他のエッジの数をカウントし、カウント数が所定数以上のときは、当該エッジを前記他のエッジと接続しないことを特徴とする請求項１～３の何れか一項に記載の画像処理装置。
【請求項5】
前記エッジ接続部は、前記当該エッジとの距離が最短となるエッジに近い端点とは反対側にある前記当該エッジの端点を、前記一のエッジの始点の座標とし、前記当該エッジを延長した直線と、前記当該エッジに近い、前記当該エッジとの距離が最短となるエッジの端点とは反対側の端点のｘ座標との距離が閾値以内のとき、前記当該エッジとの距離が最短となるエッジの終点を、前記一のエッジの終点の座標とし、前記当該エッジを延長した直線と、前記当該エッジとの距離が最短となるエッジの終点のｘ座標との距離が閾値より大きいときは、前記当該エッジを延長した直線と、前記当該エッジとの距離が最短となるエッジの終点を通り前記当該エッジを延長した直線と垂直に交わる垂線との交点を、前記一のエッジの終点の座標とすることを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。
【請求項6】
前記マーカーは、駐車スペースを区画する駐車区画線であり、前記マーカー検出部によって検出された前記マーカーに基づいて、駐車枠を検出する駐車枠検出部を、備えたことを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
【請求項7】
前記マーカーは、走行車線を区画する車線境界線であり、前記マーカー検出部によって検出された前記マーカーに基づいて、前記走行車線を検出する走行車線検出部を、備えたことを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
【請求項8】
路面に描かれたマーカーを検出する画像処理方法であって、車両の周囲の前記路面を撮像する撮像装置から出力される画像信号に基づく画像を所定方向に走査して、複数のエッジを検出するエッジ検出工程と、
前記複数のエッジの各々に対して、当該エッジとの距離が最短となるエッジを検出し、当該エッジと前記当該エッジとの距離が最短となるエッジの端点間の距離が閾値以下であるとき、２つのエッジを接続して一のエッジとするエッジ接続工程と、
前記複数のエッジに基づいて、前記マーカーを検出するマーカー検出工程と、を含み、
前記エッジ接続工程は、前記当該エッジを延長した直線と前記当該エッジとの距離が最短となるエッジの始点との距離と、前記当該エッジを延長した線と前記当該エッジの最近接エッジの終点との距離がそれぞれ閾値以下のとき、前記当該エッジと、前記当該エッジとの距離が最短となるエッジとを接続して一のエッジとすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠や走行車線を推定する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【0002】
昨今、車両を所定の駐車区画に駐車する際に、駐車目標とする駐車スペースを自動的に検出して、車両を自動駐車させる車両用駐車支援装置が実用化されている。駐車スペースを検出する際には、車両に搭載したカメラで車両周辺を撮影した画像に基づいて、駐車区画線を検出し、駐車区画線で囲まれた領域を駐車スペースとして検出する。また、車両の走行の際に、車両周辺を撮影した画像に基づいて、走行車線（走行レーン）を区画する車線境界線を自動的に検出して、車両を自動運転させる走行支援装置も実用化されている。
【0003】
このような駐車区画線や車線境界線等としての白線を検出する技術として、車両周辺を撮影した画像からエッジを検出し、検出したエッジに基づいて白線を検出する白線検出装置や白線検出方法が開示されている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平８－１６７０２３号公報
【文献】特開２００７－１７９３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術では、自車両、他車両、壁、フェンス等の比較的大きな影や、木漏れ日、道路照明灯等による光の反射等によって、駐車区画線等が不検出となることがある。特に、影と影以外の領域とでは、駐車区画線の輝度や輝度差が異なるため、駐車区画線のエッジが検出されないことがあった。このため、駐車区画線等の検出精度、さらには駐車スペースや走行車線の検出精度を向上させるべく、エッジの誤検出や不検出を抑制できる技術の開発が望まれていた。
【0006】
そこで、本発明は、駐車区画線や車線境界線等、路面に描かれたマーカーの検出を、高精度に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本発明の画像処理装置は、路面に描かれたマーカーを検出する画像処理装置であって、車両の周囲の前記路面を撮像する撮像装置から出力される画像信号に基づく画像を所定方向に走査して、複数のエッジを検出するエッジ検出部と、前記複数のエッジの各々に対して、当該エッジとの距離が最短となるエッジを検出し、当該エッジと前記当該エッジとの距離が最短となるエッジの端点間の距離が閾値以下であるとき、２つのエッジを接続して一のエッジとするエッジ接続部と、前記複数のエッジに基づいて、前記マーカーを検出するマーカー検出部と、を備えたことを特徴とする。
【発明の効果】
【0008】
このように構成された本発明の画像処理装置では、撮影された画像から検出された複数のエッジについて、当該エッジとの距離が最短となるエッジを検出し、当該エッジと当該エッジとの距離が最短となるエッジの端点間の距離が閾値以下であるとき、２つのエッジを接続して一のエッジとする。これにより、影や照明等によるマーカーのエッジの途切れを抑制し、エッジの端点及びエッジの角度を、より高精度に検出できる。
【0009】
このことにより、駐車区画線や車線境界線等、路面に描かれたマーカーの検出を、高精度に行うことが可能となる。この結果、駐車場等の路面に設けられた駐車枠の検出や、車線境界線によって区画された走行車線の検出等を、高精度に行うことが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。
【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。
【図4A】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。
【図4B】エッジ接続部の動作の一例を説明するためのフローチャートである。
【図5】実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた駐車区画線の一例を示す。
【図6A】実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像及び俯瞰画像から検出されたエッジを模式的に示した図である。
【図6B】実施の形態である画像処理装置の動作の一例を説明するための図であり、影によって途切れたエッジが接続されたイメージを示す。
【図7】実施の形態である画像処理装置の動作の一例を説明するための図であり、(a)は影によって途切れた駐車区画線のエッジを示し、（ｂ）は木漏れ日の影響によって検出されたエッジを示す。
【図8】実施の形態である画像処理装置の動作の一例を説明するための図であり、（ａ）はエッジＡと所定距離の範囲内で抽出されたエッジＢの概略図であり、（ｂ）は２つのエッジＡ、Ｂの端点間の走査手順を説明するための図である。
【図9】実施の形態である画像処理装置の動作の一例を説明するための図であり、（ａ）は短エッジＡ１と長エッジＢ１との組を示す図であり、（ｂ）は長エッジＡ２と短エッジＢ２との組を示す図である。
【図10】実施の形態である画像処理装置の動作の一例を説明するための図であり、（ａ）は長エッジＡ３と短エッジＢ３との組を示す図であり、（ｂ）は短エッジＡ４と長エッジＢ４との組を示す図である。
【発明を実施するための形態】
【0011】
（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。なお、以下では、駐車支援装置について説明するが、本発明の実施の形態である画像処理装置が適用される装置は駐車支援装置に限定されることはなく、走行車線を走行する車両の走行を支援する走行支援装置等にも適用できる。
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。なお、以下では、駐車支援装置について説明するが、本発明の実施の形態である画像処理装置が適用される装置は駐車支援装置に限定されることはなく、走行車線を走行する車両の走行を支援する走行支援装置等にも適用できる。
【0012】
図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。
【0013】
車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。
【0014】
具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。
【0015】
前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ～２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ２０ａ～２０ｄにより、車両Ｖの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ～２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。
【0016】
図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２１と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３３とを有する。
【0017】
カメラＥＣＵ２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２１は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。
【0018】
ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。
【0019】
車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。
【0020】
操舵角センサ３３は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３３で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。
【0021】
さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。
【0022】
車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。
【0023】
すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２１が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。
【0024】
ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワステアクチュエータ５１を駆動して、車両Ｖの操舵角を制御する。
【0025】
スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６１を駆動して、車両Ｖのスロットルを制御する。
【0026】
ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７１を駆動して、車両Ｖのブレーキを制御する。
【0027】
なお、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network）８０によって接続される（「ＣＡＮ」は登録商標）。
【0028】
また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ８１によって接続される。
【0029】
以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２１により主に構成されている。
【0030】
（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。
【0031】
制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述するエッジ検出部１１１、エッジ接続部１１２、マーカー検出部１１３、及び駐車枠検出部１１４により検出、推定された駐車スペースを区画する駐車区画線や駐車スペースに基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。
【0032】
車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３３（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワステアクチュエータ５１、スロットルアクチュエータ６１及びブレーキアクチュエータ７１（図３ではアクチュエータとのみ図示している）を駆動制御する。
【0033】
制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。
【0034】
画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
【0035】
この図３に示すように、制御部１１０は、エッジ検出部１１１、エッジ接続部１１２、マーカー検出部１１３、駐車枠検出部１１４、及び表示制御部１１５を有する。なお、画像処理装置１００及び画像処理方法を、走行支援装置及び走行支援方法に適用する場合は、図３の駐車枠検出部１１４に代えて走行車線検出部を有する構成とすることで、走行車線を検出する画像処理装置及び画像処理方法が得られる。
【0036】
エッジ検出部１１１は、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出により駐車場等の路面上の駐車区画線のエッジを検出する。また、走行支援装置に適用されるときは、エッジ検出部１１１は、路面上の車線境界線等のマーカーのエッジを検出する。ここでいうマーカーとは、駐車区画線や走行車線等の境界線をいう。駐車区画線とは、主に路面Ｒ上に設けられた駐車領域を区画する境界線（直線）として描かれた線のことである。図５に、車両Ｖと、この車両Ｖが駐車を行おうとしている駐車場Ｐの路面Ｒ上に描かれた駐車区画線２００の一例を示す。駐車区画線２００の間が、駐車スペースを表す駐車枠２０１である。
【0037】
また、走行車線を検出する場合は、車線境界線は、主に路面上に設けられた走行車線（走行レーン）を区画する境界線として描かれ、途切れのない実線（直線又は曲線）、又は所定長さの短い線分が連続する破線（直線又は曲線）である。なお、マーカーは、駐車区画線や走行車線に限定されることはなく、例えば、駐停車禁止領域を表す斜線、横断歩道、車椅子マーク等も、マーカーとして挙げられる。
【0038】
駐車区画線及び車線区画線は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、エッジ検出部１１１によって検出される駐車区画線や車線境界線は、「白線」に限定されるものではなく、一般に、路面との間にコントラストを有する境界線を駐車区画線や車線境界線として検出すればよい。
【0039】
エッジ検出部１１１は、画像を所定方向に走査（スキャン）して、画像信号に含まれる輝度値又は色のパラメータ情報（例えば、ＲＧＢ、ＲＧＢＡ等）が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。
【0040】
なお、走査の方向は、路面Ｒに描かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、図５に示すように、駐車区画線２００が車両Ｖの進行方向と直交する方向に延在しているときには、俯瞰画像Ｇ上で進行方向に沿って走査するのが望ましい。これに対して、駐車区画線２００が車両Ｖの進行方向に沿って延在しているときは、俯瞰画像Ｇ上で進行方向と直交する方向に走査するのが望ましい。一般には、駐車区画線２００が延びている方向は未知であるため、エッジ検出部１１１は、俯瞰画像Ｇ上で車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査することが望ましい。
【0041】
輝度値に基づいてエッジを抽出する場合は、エッジ検出部１１１は、輝度が低く暗い画素（例えば黒い画素）から、閾値よりも大きな差を持って輝度が高く明るい画素（例えば白い画素）に変化するエッジ、つまり隣り合った画素の輝度差がプラス方向に所定値よりも大きくなるエッジを、プラスエッジ（「立上りエッジ」ともいう）として検出する。このプラスエッジの検出は、走査位置が路面Ｒから駐車区画線２００と推定されるものに切替わったことを示す。
【0042】
また、エッジ検出部１１１は、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化したエッジ、つまり隣り合った画素の輝度差がマイナス方向に所定値よりも大きくなるエッジを、マイナスエッジ（「立下がりエッジ」ともいう）として検出する。このマイナスエッジの検出は、走査位置が駐車区画線２００と推定されるものから路面Ｒに切替わったことを示す。
【0043】
これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面Ｒの色のパラメータと、駐車区画線２００の色のパラメータとを比較する。エッジ検出部１１１は、色のパラメータの値が大きくなる方向に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。また、路面よりも駐車区画線の輝度が低い（或いは色のパラメータが大きい）場合は、輝度値や色のパラメータの変化は逆転する。いずれの場合でも駐車区画線等のマーカーでは、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。
【0044】
上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分（画素列）を、プラスエッジの線分として抽出する。さらに連続するマイナスエッジで構成される線分（画素列）を、マイナスエッジの線分として抽出する。
【0045】
図６Ａに、俯瞰画像Ｇ及び俯瞰画像Ｇから検出されたエッジ（太直線と太破線）を模式的に示す。図６Ａの例では、俯瞰画像ＧのＸ軸（ここでは車両Ｖの走行方向に沿う方向であって駐車区画線２００の延在方向に直交する方向）を図中の左右方向に設定し、Ｙ軸（ここでは駐車区画線２００の延在方向）を図中の上下方向に設定する。エッジ検出部１１１は、俯瞰画像Ｇを、車両Ｖの走行方向に直交する方向であって図中の左から右（Ｘ軸正方向）に向けて走査し、プラスエッジ及びマイナスエッジを検出していく。なお、図中の右から左、つまりＸ軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ（階調）の変化に基づいてこれらを検出する。
【0046】
ところで、車両Ｖの影等の大きな影が駐車区画線２００に重なると、俯瞰画像Ｇ上でエッジを検出したときに、図６Ａに示すように、一の駐車区画線のエッジが路面Ｒと影との境界近傍で途切れてしまうことがある。これは、影になっていない日向部分と、影になった日陰部分とで、路面の輝度が互いに異なるとともに、駐車区画線の輝度も互いに異なることに起因する。
【0047】
このため、日向部分と日陰部分での路面と駐車区画線との輝度差の値や、エッジの角度（方向）が異なって検出され、連続性がないことから、日向部分のエッジと日陰部分とのエッジとが別々のエッジとして検出される。また日向と日陰の境界近傍のエッジが不検出となることもある。この結果、駐車区画線のエッジが途切れて検出され、駐車枠の検出や車線検出の精度に影響することがある。また、道路照明灯やヘッドライト等で駐車区画線の一部が強く照明された場合、この強い照明部分と非照明部分とで、画像中の路面や駐車区画線の輝度差の値等が異なったり、白飛びが生じたりするため、同様の現象が起こり得る。
【0048】
このような検出精度への影響を回避するため、エッジ接続部１１２によって、途切れたエッジ同士を接続する処理を行っている。本実施の形態では、エッジ接続部１１２は、エッジ検出部１１１によって検出された複数のエッジの各々に対して、当該エッジとの距離が最短となるエッジを検出し、当該エッジと当該エッジとの距離が最短となるエッジを、接続の候補となるエッジの組として検出する。また、当該エッジとは、複数のエッジから順に一つずつ選択し、所定距離の範囲内にある他のエッジを検出する対象となるエッジをいう。
【0049】
エッジ接続部１１２は、検出された各エッジの組に対して、当該エッジと当該エッジとの距離が最短となるエッジの端点間の距離が閾値以下であるとき、２つのエッジを接続して一のエッジ（以下、「接続エッジ」ということがある。）とする。エッジ接続部１１２は、当該エッジと、当該エッジとの距離が最短となるエッジとの端点間を、当該エッジが延びる方向に応じた方向で走査して、当該エッジと当該エッジとの距離が最短となるエッジとの間に、マーカーと判定できる情報が含まれているか否かを判定する。エッジ接続部１１２はマーカーと判定できる情報が含まれていると判定した場合は、当該エッジと当該エッジとの距離が最短となるエッジとを接続するが、含まれていないと判定した場合は、これらを接続しない。
【0050】
本実施の形態のエッジ接続部１１２での処理を、より具体的に説明する。本明細書では、各エッジの線分の２つの端点のうち、エッジ検出で先に検出された端点（Ｙ座標が原点に近い側）を「始点」といい、後に検出された端点（Ｙ座標が原点から遠い側）を「終点」という。
【0051】
当該エッジとの距離が最短となるエッジの検出手順について、図７を参照して説明する。図７（ａ）は図６Ａの俯瞰画像Ｇにおいて、影によって途切れた駐車区画線のエッジを示し、図７（ｂ）は木漏れ日の影響によって検出されたエッジを示す。この図７（ｂ）及び図６Ａに示すように、木漏れ日等の影響により、複数のエッジ（ノイズ）が密集して検出されることがある。このようなノイズとなるエッジを接続すると、駐車区画線以外の線が駐車区画線として検出され、検出効率や検出精度に影響する。
【0052】
これを抑制するため、エッジ接続部１１２は、複数のエッジの各々に対して、当該エッジから所定距離の範囲内にある他のエッジの数をカウントする。カウント数が所定数（閾値）以上のときは、当該エッジを他のエッジと接続しないようにしている。
【0053】
例えば、図７（ａ）に示す例では、プラスエッジの線分Ａの終点Ｅ１から、所定距離の範囲内（図中に円で示す範囲）にある他のプラスエッジを検索していくと、プラスエッジの線分Ｂが検出される。この場合、カウント数が１個（閾値未満）となり、プラスエッジの線分Ａとプラスエッジの線分Ｂとが接続候補のエッジの組となる。なお、エッジの線分が複数個（ただし、閾値未満）検出された場合は、プラスエッジの線分Ａとの距離が最短となるエッジの線分Ｂが、接続先のエッジの線分となる。
【0054】
これに対して、影等（建物の影や木漏れ日等）によりノイズのエッジが検出された場合は、図７（ｂ）に示すように、プラスエッジの線分Ａ’に対して、その終点Ｅ’から所定距離の範囲内にある他のエッジを検索していくと、多数のエッジが検出され、カウント数が所定数（閾値）以上となる。つまり、当該エッジの線分Ａ’もノイズの一つであると判定でき、当該エッジの線分Ａ’を他のエッジと接続しない。これにより、光の反射やゴミ等によるノイズのエッジが不測に接続されることはなく、その後のフィルタリング等でノイズが除去され、マーカーの検出効率及び検出精度の向上が図られる。
【0055】
また、エッジ接続部１１２は、当該エッジの線分Ａと、抽出された当該エッジの線分Ａから所定距離の範囲内にあるエッジの成分Ｂのすべての始点及び終点との距離を算出する。その算出手順を、図８（ａ）を参照して説明する。図８（ａ）には、当該エッジの線分Ａ（以下、「エッジＡ」という。）と、所定距離の範囲内で抽出されたエッジの成分Ｂ（以下、「エッジＢ」という。）の概略図である。エッジＡの始点をＳａとし、終点をＥａとし、エッジＢの始点をＳｂとし、終点をＥｂとする。
【0056】
そして、エッジＡを含む直線Ｌ（エッジＡを延長した直線）の式を算出し、この式と、エッジＢの始点Ｓｂ及び終点Ｅｂの画像上での位置座標に基づいて、直線ＬとエッジＢの始点Ｓｂとの距離Ｄｓと、直線ＬとエッジＢの終点Ｅｂとの距離Ｄｅとを算出する。この直線Ｌとの距離Ｄｓ、Ｄｅが、所定値（閾値）以下であるか否かを判定する。閾値を超えたと判定された場合は、このエッジＢはノイズである可能性があるため破棄する。以上の距離の算出と判定とを、当該エッジＡに対して抽出されたすべてのエッジＢについて行う。
【0057】
そして、距離Ｄｓ、Ｄｅが、所定値（閾値）以下であるエッジＢが存在する場合は、この条件を満たすエッジＢの中から、エッジＡとの距離が最短となるエッジＢを取得し、エッジＡとの接続の候補とする。
【0058】
次に、エッジＡと、エッジＡとの距離が最短となるエッジＢとの組の、互いに対向する端点間の走査手順について、図８（ｂ）を参照して説明する。図８（ｂ）は、２つのエッジＡとエッジＢの端点間の走査手順を説明するための図である。
【0059】
エッジＡの終点ＥａとエッジＢの始点Ｓｂとの間を、エッジＡ及びエッジＢの延びる方向と交差する方向に、所定長さ分走査する。この「所定長さ」は、駐車区画線の幅の長さ（又は画素数）＋閾値とすることで、途切れた部分の駐車区画線のエッジを、より精度よく検出できる。
【0060】
このとき、終点Ｅａと始点Ｓｂを含む画素のラインは、必ず走査することが望ましい。しかし、終点Ｅａ１と始点Ｓｂ１との間は、必ずしもすべての画素のラインを走査する必要はなく、Ｙ軸方向において所定間隔で複数ラインを走査すればよい。この走査での輝度差や方向の閾値は、エッジ検出部１１１がエッジを検出する際の輝度差や方向の閾値よりも小さくてよい。
【0061】
この走査によって、輝度の立上り（プラスエッジ）と立下がり（マイナスエッジ）が検出されたとき、マーカーと判定できる情報が検出されたと判定する。この図８（ｂ）に、走査するラインと方向を矢印で示す。また、検出されたプラスエッジを白丸で示し、マイナスエッジを黒丸で示す。
【0062】
ここで、輝度の立上がりと立下りが、終点Ｅａ、始点Ｓｂをそれぞれ含む画素のライン及び他のすべてのラインでも検出された場合は、駐車区画線が検出されたと判定する。なお、他のラインの中で、１ライン程度が輝度の立上がりと立下りが検出されなかった場合でも、駐車区画線が検出されたと判定する。いずれの条件も満たさないときは、駐車区画線が検出されないと判定する。これにより、駐車区画線の検出精度が向上する。
【0063】
そして、２つのエッジの端点間に駐車区画線が検出され、かつ２つのエッジ間の距離が閾値以下である場合は、２つのエッジを接続して一のエッジ（接続エッジ）とする。つまり、図８（ｂ）の例では、エッジＡの始点を接続エッジの始点とし、エッジＢの終点を接続エッジの終点とした接続エッジの情報を記憶部１２０に記憶する。よって、エッジＡとエッジＢの情報は記憶部１２０から削除される。
【0064】
これに対して、２つのエッジの端点間に線のエッジが検出されないか、２つのエッジ間の距離が閾値超である場合は、互いに異なる物体から検出されたエッジ、もともと分離したエッジであることから、接続を行わない。よって、エッジＡとエッジＢの情報（始点、終点の座標情報）は、そのまま記憶部１２０へ記憶される。
【0065】
ところで、接続候補のエッジの組は、同じ駐車区画線のエッジであるため、２つのエッジの延びる方向（角度）は原則同じであるが、撮影画像のゆがみ補正や俯瞰画像への変換処理の影響で角度に差を生じる場合がある。この角度差が大きいと、２つのエッジを連結したときに、駐車区画線の検出精度に影響するため、接続しないほうがよい場合がある。
【0066】
このため、本実施の形態では、接続候補とされたエッジの組の、当該エッジと、当該エッジとの距離が最短となるエッジの端点間の距離を算出し、その距離が閾値以下であるか否かを判定し、この判定結果に基づいて、両エッジを接続するか否かを判定している。両エッジの角度差が大きい程、これらの距離が大きくなる。
【0067】
すなわち、エッジ接続部１１２は、接続の候補とされたエッジの組の２つのエッジのうち、長いエッジを長エッジとし、短いエッジを短エッジとし、長エッジが構成する直線の式を算出する。そして、下記（１）、（２）の条件の何れかを満たすときに、長エッジと短エッジとを接続して一のエッジとする。
【0068】
（１）長エッジで構成される直線と短エッジの始点との距離が第１の閾値以下であり、かつ、この直線と短エッジの終点との距離が第２の閾値（ただし、第１の閾値＜第２の閾値）以下である。
（２）長エッジの直線と短エッジの始点との距離が第２の閾値以下であり、かつ、この直線と短エッジの終点との距離が第１の閾値以下である。
（２）長エッジの直線と短エッジの始点との距離が第２の閾値以下であり、かつ、この直線と短エッジの終点との距離が第１の閾値以下である。
【0069】
図９（ａ）は、短エッジＡ１と長エッジＢ１の組において、上記（１）の条件を満たす場合の例である。長エッジＢ１を延長した直線（破線）Ｌ１と、短エッジＡ１の始点Ｓａ１との距離Ｄ１が、第１の閾値（厳しめの閾値）以下であり、かつ、直線Ｌ１と短エッジＡ１の終点Ｅａ１との距離Ｄ１が、第２の閾値（緩めの閾値）以下である。
【0070】
図９（ｂ）は、短エッジＡ２と長エッジＢ２の組において、上記（２）の条件を満たす場合の例である。長エッジＢ２を延長した直線（破線）Ｌ２と、短エッジＡ２の始点Ｓａ２との距離Ｄ３が、第２の閾値（緩めの閾値）以下であり、かつ、直線Ｌ２と短エッジＡ２の終点Ｅａ２との距離Ｄ４が、第１の閾値（厳しめの閾値）以下である。
【0071】
また、上記条件（１）又は（２）を満足する２つのエッジを接続する場合、実際の駐車区画線の端縁の角度により近づけるため、本実施形態のエッジ接続部１１２は、当該エッジとの距離が最短となるエッジに近い端点とは反対側にある当該エッジの端点を、一のエッジの始点の座標とする。また、当該エッジを延長した直線と、当該エッジに近い、当該エッジとの距離が最短となるエッジの端点とは反対側の端点のｘ座標との距離が閾値以内のとき、当該エッジとの距離が最短となるエッジの終点を、一のエッジの終点の座標とする。これに対して、当該エッジを延長した直線と、当該エッジとの距離が最短となるエッジの終点のｘ座標との距離が閾値より大きいときは、当該エッジとの距離が最短となるエッジの終点のｘ座標から当該エッジを延長した直線へ垂直に向かった交点を、一のエッジの終点の座標とする。より詳細には、以下の処理を行っている。
【0072】
エッジ接続部１１２は、（３）長エッジの終点と短エッジの始点とが対向している場合は、長エッジの始点の座標を、接続した一のエッジの始点の座標とする。終点の座標は、以下の条件に応じて設定する。
【0073】
（３－１）長エッジを延長した直線と短エッジの終点のｘ座標との距離（差分）が第３の閾値（厳しめの閾値）以下であり、かつ直線と短エッジの終点との距離が第４の閾値（緩めの閾値）以下である条件を満たすとき、短エッジの終点の座標を、一のエッジの終点の座標とする。
（３－２）上記（３－１）の条件を満たさない場合は、短エッジの終点のｘ座標から直線へ垂直に向かった交点の座標を、一のエッジの終点の座標とする。
（３－２）上記（３－１）の条件を満たさない場合は、短エッジの終点のｘ座標から直線へ垂直に向かった交点の座標を、一のエッジの終点の座標とする。
【0074】
これに対して、（４）長エッジの始点と短エッジの終点とが対向している場合は、長エッジの終点座標を、一のエッジの終点座標とし、短エッジの始点座標を、一のエッジの始点座標とする。
【0075】
図１０に具体例を示す。図１０（ａ）は、上記（３）の条件を満たす具体例である。当該エッジであるエッジＡ３が長エッジであり、エッジＡ３との距離が最短となるエッジＢ３が短エッジである。長エッジＡ３の終点Ｅａ３と、短エッジＢ３の始点Ｓｂ３とが対向している。この場合において、長エッジＡ３が構成する直線Ｌ３と、短エッジＢ３の終点Ｅｂ３のＸ座標の差分をｍとし、直線Ｌ３と短エッジＢ３の終点Ｅｂ３との距離をＤ５とする。
【0076】
長エッジＡ３と短エッジＢ３を接続した一のエッジ（接続エッジ）の始点の座標は、長エッジＡ３の始点Ｓａ３の座標（ｘ3，ｙ3）となる。また、差分ｍ、距離Ｄ５が、（３－１）の条件：差分ｍ≦第３の閾値、かつ距離Ｄ５≦第４の閾値を満たす場合は、短エッジＢ３の終点Ｅｂ３の座標（ｘ4，ｙ4）が、接続エッジの終点の座標となる。これに対して、（３－２）場合、短エッジＢ３の終点Ｅｂ３からの垂線ｈと直線Ｌ３との交点の座標（ｘ5，ｙ5）が、接続エッジの終点の座標となり、終点の位置が補正される。
【0077】
図１０（ｂ）は、上記（４）の条件を満たす具体例であり、当該エッジであるエッジＡ４が短エッジであり、エッジＢが長エッジである。短エッジＡ４の終点Ｅａ４と、長エッジＢ４（距離が最短となるエッジ）の始点Ｓｂ４とが対向している。この場合は、短エッジＡ４の始点Ｓａ４の座標（ｘ6，ｙ6）が接続エッジの始点の座標となる。また、長エッジＢ４の終点Ｅｂ４の座標（ｘ9，ｙ9）が接続エッジの終点の座標となる。
【0078】
このように当該エッジと、当該エッジとの距離が最短となるエッジとの長短の相違、長エッジの直線と短エッジの終点との距離に応じて、接続エッジの始点と端点の座標を設定する。また、何れかの距離が閾値を超えたときは、接続エッジの終点に、補正した座標を設定する。これにより、接続エッジの端点を、より正確な位置に設定できる。
【0079】
以上のエッジ接続部１１２の動作により、途切れたエッジが接続される。図６Ｂに、エッジ接続部１１２によって途切れたエッジが接続されたイメージを示す。
【0080】
マーカー検出部１１３は、エッジ検出部１１１によって検出されたエッジ、及びエッジ接続部１１２によって接続されたエッジに基づいて、マーカーとしての駐車区画線を検出する。より詳細には、まず、予め決められた基準長さ以上の長さを有し、かつ予め決められた方向（角度）に延びるプラスエッジの線分及びマイナスエッジの線分を抽出する。
【0081】
基準長さは、例えば、車両Ｖの車長分（例えば５ｍ）の長さとすることができるが、駐車区画線が短い場合等は、車長よりも短い長さとしている。角度は、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度としている。図６の場合は、駐車区画線は、走行方向に対して駐車スペースに向かって略直角に延びる直線であるため、角度＝９０°±閾値としている。
【0082】
次いで、抽出された複数のプラスエッジの線分及びマイナスエッジの線分の各々の始点及び終点の位置（座標）を算出し、この位置に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、駐車区画線を構成するエッジのペアであると判定する。例えば、プラスエッジとマイナスエッジの距離が、例えば、駐車区画線の線幅±閾値の範囲内であるときに、これらをペアと判定する。これに対して、基準長さより短いエッジや、垂直方向以外に延びる長いエッジの線分、ペアの見つからないエッジの線分はノイズとして破棄する。図６Ｂに示す例では、駐車区画線Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｋ６が検出される。
【0083】
駐車枠検出部１１４は、マーカー検出部１１３により検出された駐車区画線に基づいて、駐車枠及び駐車スペースを検出し、駐車枠登録データ１２１を記憶部１２０に記憶する。
【0084】
より具体的には、駐車枠検出部１１４は、まず、マーカー検出部１１３で検出された複数の駐車区画線のプラスエッジの線分及びマイナスエッジの線分のペアの中で、駐車スペースを構成する可能性のある向い合う２本の線を選択する。ここで選択される２本の線は、駐車スペースを仕切る一対の駐車区画線の左右両端を構成する線であり、所定の駐車区画線（例えば、図６Ｂに示すＫ３）のマイナスエッジの線分と、これに向かい合う駐車区画線（図６Ｂに示すＫ４）のプラスエッジの線分である。
【0085】
そして、駐車枠検出部１１４は、選択された２本のエッジの線分間の距離（隣り合う駐車区画線の内法寸法）を、各エッジの端点の座標に基づいて算出する。算出された距離が、所定範囲内（例えば、駐車スペース幅幅±閾値の範囲内）にあるか判定する。この距離が所定範囲内であれば、２本のエッジの線分で仕切られた領域を駐車スペースとして検出する。駐車スペース幅としては、普通自動車や小型貨物車用の駐車スペースであれば２ｍ～３ｍが望ましい。大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。
【0086】
検出された駐車スペースを構成する向かい合うプラスエッジの線分とマイナスエッジの線分に沿った線を長辺とし、向かい合う両端をそれぞれ結んだ線を短辺とする矩形状の枠が駐車枠２０１（図５参照）であり、その内部が駐車スペースであると推定できる。
【0087】
エッジ接続部１１２によってエッジが高精度に検出され、その後のマーカー検出部１１３の処理によって駐車区画線が高精度に行われているので、駐車枠検出部１１４による駐車スペースの検出も高精度に行うことができる。つまり、影によって途切れた駐車区画線の端点がより正確な位置に補正され、駐車枠及び駐車スペースの形状や位置もより正確に検出できる。
【0088】
そして、駐車枠検出部１１４は、駐車スペースを区画する駐車枠２０１を構成する向かい合うプラスエッジの線分及びマイナスエッジの線分の端点の座標値を各々算出し、駐車枠登録データ１２１として記憶部１２０に登録する。このとき、駐車枠２０１の少なくとも車両Ｖに近い側の２つの端点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠２０１を特定できるが、４点の座標値を登録してもよい。また、駐車区画線２００の角度（延在方向）、その他自動駐車処理に必要な情報を駐車枠登録データ１２１に加えることもできる。
【0089】
また、駐車枠検出部１１４は、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行うこともできる。例えば、検出された駐車スペースに他車両や障害物等が存在するときには、駐車ができないと判断して、駐車枠登録データ１２１として記憶部１２０に登録しないようにする。また、駐車枠検出部１１４は、車両Ｖから近い駐車枠、又は駐車し易い駐車枠を、駐車可能な駐車枠と判定し、駐車枠登録データ１２１として記憶部１２０に登録することもできる。
【0090】
表示制御部１１５は、カメラ２０により撮像された車両Ｖの周囲の路面画像や、駐車枠検出部１１４により検出、推定された駐車枠を示す画像をこの路面画像に適宜重複して、あるいは単独でナビゲーション装置（表示装置）３０のモニター３１に表示させるための表示制御信号をナビゲーション装置３０に送出する。
【0091】
記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。
【0092】
また、前述したように、記憶部１２０には、駐車枠登録データ１２１、パラメータデータ１２２が格納される。パラメータデータ１２２として、エッジ検出時の閾値、当該エッジとの距離が最短となるエッジを検出する際のエッジ間の距離の閾値、エッジの直線とエッジの始点、端点間の各種距離の閾値（第１、第２、第３、第４の閾値、）、カウント数の閾値、駐車区画線や車線境界線等、マーカーとしての境界線の基準長さ、駐車スペース幅及びその閾値等を格納できる。さらに、境界線の幅、延在方向の角度等、画像処理装置１００が使用する様々なパラメータを格納できる。また、駐車支援装置１が使用される国、地域、駐車スペース（駐車枠）の形状や大きさ、走行車線間の距離や車線境界線の形状等に対応して、複数のパラメータを格納し、適切なパラメータを選択する構成とすることもできる。
【0093】
【0094】
図４は画像処理装置１００の動作を説明するためのフローチャートであり、図４Ｂはエッジ接続部１１２の動作の一例を説明するためのフローチャートである。図４Ａ、図４Ｂのフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。
【0095】
図４Ａに示すステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖの周囲の路面Ｒの画像信号を取得する。
【0096】
ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成して生成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（俯瞰画像）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を表示するための信号を生成する技術は公知であり、一例として、特開平３－９９９５２号公報や特開２００３－１１８５２２号公報に開示された技術が知られている。
【0097】
図６は、合成して生成された信号に基づく俯瞰画像Ｇの一例である。この俯瞰画像Ｇは、カメラ２０ａ～２０ｄで撮影された画像信号に基づいて、それぞれ車両Ｖを真上から見下ろした俯瞰画像ｇ１，ｇ２，ｇ３，ｇ４を表示するための画像信号に変換して、さらに各画像信号を合成して生成された信号に基づいて表示される画像である。俯瞰画像Ｇの中心部分には、車両Ｖを真上から見下ろした状態を示すアイコンＩが表示される。
【0098】
なお、ステップＳ２において、俯瞰画像Ｇを表示するための信号合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における信号合成作業を行うこともできる。しかしながら、信号合成作業を行ってからプラスエッジとマイナスエッジの抽出作業を行うほうが画像処理装置１００の処理負担が低減できる。
【0099】
ステップＳ３（エッジ検出工程）では、前述したように、エッジ検出部１１１がステップＳ２で合成した俯瞰画像Ｇを所定方向に走査し、画像信号の輝度値に基づいて、画像中のプラスエッジ及びマイナスエッジを検出する（図６Ａ参照）。
【0100】
次のステップＳ４（エッジ接続工程）では、エッジ接続部１１２が途切れたエッジ同士を接続する。エッジ接続部１１２によるエッジ接続工程の詳細を、図４Ｂのフローチャートを参照しながら説明する。
【0101】
エッジ接続工程では、図４Ｂに示すように、ステップＳ４０１～Ｓ４０５の近傍（「所定距離の範囲内」を意味する。）のエッジＢの検出ループ処理を実行して、エッジ検出部１１１によって検出された複数のエッジ（エッジＡ）に対して、近傍に存在するエッジを抽出する。このステップＳ４０１～Ｓ４０５のループ処理は、すべてのエッジＡに対する処理が終了するまで繰り返す。
【0102】
まず、ステップＳ４０２で、複数のエッジの中から、１つのエッジを選択し、これを当該エッジ（エッジＡ）とする。このエッジＡの端点を中心として、所定距離の範囲内にあるエッジ（エッジＢ）を抽出する。エッジＢを抽出したら、エッジ点数をカウントアップする。
【0103】
ステップＳ４０３で、所定距離の範囲内にあるエッジＢが検出されたか判定し、検出された(エッジ点数＞０)と判定したときは（ＹＥＳ）、エッジ点数と、検出したエッジＢの情報を、エッジＡの情報と対応して記憶部１２０に登録する。一方、１つも検出されない(エッジ点数＝０)と判定したときは（ＮＯ）、ステップＳ４０４の処理をスキップし、Ｓ４０２に戻って、次のエッジＡについて処理を行う。
【0104】
すべてのエッジＡに対する処理が終了して、近傍のエッジＢの検出ループ処理が終了したら、ステップＳ４０６へ進む。そして、ステップＳ４０６～ＳＳ４１６のエッジの接続ループ処理を実行して、影や照明等によって途切れたエッジを接続する。このステップＳ４０６～Ｓ４１６のループ処理は、すべてのエッジＡとエッジＢとの組み合わせに対する処理が終了するまで繰り返す。
【0105】
まず、ステップＳ４０７で、エッジＡと１以上のエッジＢとの組み合わせの中から、順番に選択された一組の組み合わせに関して、エッジ点数が閾値以下か否かを判定する。エッジ点数が閾値以下であると判定した場合は（ＹＥＳ）、ノイズが少なく、エッジＡと接続可能なエッジＢが存在し得るとして、ステップＳ４０８へと進む。
【0106】
これに対して、エッジ点数が閾値を超えたと判定した場合は（ＮＯ）、エッジＢは木漏れ日等による多くのノイズであると推定され、当該エッジＡをエッジの接続対象とせず、ステップＳ４０８以降の処理をスキップする。次のエッジＡとエッジＢとの組み合わせが存在すれば、ステップＳ４０７へ戻り、存在しない場合はエッジの接続ループを終了する。
【0107】
次のステップＳ４０８では、エッジＡの直線と、すべてのエッジＢの始点、終点との距離を算出する（図８（ａ）参照）。次のステップＳ４０９で、エッジＡの直線とエッジＢの始点、終点との距離が閾値以下のものが存在するか否かを判定する。閾値以下のものが存在すると判定した場合には（ＹＥＳ）、ステップＳ４１０へと進む。これに対して、閾値以下のものが存在しないと判定した場合には（ＮＯ）、ステップＳ４１０以降の処理をスキップする。次のエッジＡとエッジＢとの組み合わせが存在すれば、ステップＳ４０７へ戻り、存在しない場合はエッジの接続ループを終了する。
【0108】
ステップＳ４１０では、ステップＳ４０８で算出された距離に基づいて、エッジＡとの距離が最短のエッジＢを抽出する。次に、ステップＳ４１１で、エッジＡの終点と、エッジＢの始点との間を走査し、プラスエッジ及びマイナスエッジ（つまり、駐車区画線と判定できる情報）を検出する。ステップＳ４１２で、駐車区画線が検出されたと判定した場合は（ＹＥＳ）、ステップＳ４１３へと進む。前述のように、端点間の走査によってプラスエッジとマイナスエッジとが検出されたら、駐車区画線が検出されたと判定する。これに対して、駐車区画線が検出されなかった場合、つまりエッジが検出されなかった場合は（ＮＯ）、エッジＡとエッジＢとは互いに異なる物体から検出されたエッジであることから、接続対象から除外すべく、ステップＳ４１３以降の処理をスキップする。次のエッジＡとエッジＢとの組み合わせが存在すれば、ステップＳ４０７へ戻り、存在しない場合はエッジの接続ループを終了する。
【0109】
ステップＳ４１３では、エッジＡとエッジＢとを比較して、長いほうを長エッジとし、短いほうを短エッジとする。そして、図９（ａ）、図９（ｂ）を用いて上記で説明したように、長エッジの直線の式を算出し、長エッジの直線と、短エッジの始点及び終点との距離を算出する。
【0110】
そして、ステップＳ４１４で、算出した各々の距離が、閾値以下か否かを判定する。より具体的には、長エッジで構成される直線と短エッジの始点との距離が第１の閾値以下であり、かつ、この直線と短エッジの終点との距離が第２の閾値（ただし、第１の閾値＜第２の閾値）以下であるか、若しくは、直線と短エッジの始点との距離が第２の閾値以下であり、かつ、直線と短エッジの終点との距離が第１の閾値以下であるか判定する。
【0111】
このステップＳ４１４で、上記何れかの条件を満たすと判定した場合は（ＹＥＳ）、ステップＳ４１５へと進み、長エッジと短エッジとを接続し、一のエッジ（接続エッジ）として記憶部１２０に登録する。具体的には、上記で条件（３）、（４）、図１０（ａ）、図１０（ｂ）を用いて説明したように、条件に応じて一方のエッジの始点を接続エッジの始点とし、他方のエッジの終点を接続エッジの終点として、各々の位置座標を記憶部１２０に登録する。次のエッジＡとエッジＢとの組み合わせが存在すれば、ステップＳ４０７へ戻り、存在しない場合はエッジの接続ループを終了する。
【0112】
これに対して、ステップＳ４１４で、上記何れの条件も満たさないと判定した場合は（ＮＯ）、ステップＳ４１５の処理をスキップし、エッジの接続を行わない。次のエッジＡとエッジＢとの組み合わせが存在すれば、ステップＳ４０７へ戻り、存在しない場合はエッジの接続ループを終了する。
【0113】
以上により、影や照明等によって途切れたエッジが適切に接続される。また、エッジが３以上に分断されている場合にも、これらが適切に接続される。つまり、１つ目のエッジについてエッジ接続処理を実行すると、１つ目と２つ目のエッジが接続されて接続エッジが生成される。その後、３つ目のエッジについてエッジ接続処理が実行されることで、３つ目のエッジに接続エッジが接続され、新たな接続エッジが生成される。同様に、４つ目以降のエッジと接続エッジとが接続されていき、複数に分断されたエッジが、最終的に一のエッジとなる。
【0114】
上記ステップＳ４のエッジ接続工程が終了したら、図４Ａに戻り、次のステップＳ５へと進む。このステップＳ５（マーカー（駐車区画線）検出工程）では、エッジ検出部１１１によって検出された複数のプラスエッジ及びマイナスエッジ、並びに、エッジ接続部１１２によって接続されたプラスエッジ及びマイナスエッジに基づいて、前述したような手順で、マーカー検出部１１３がマーカーとしての駐車区画線を検出する。すなわち、所定の基準長さ以上の長さを有し、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分のペアを検出し、駐車区画線を構成するペアと判定する。これに対して、木漏れ日やゴミ等によって検出されたノイズのエッジや、ペアが見つからないエッジは、駐車区画線のエッジとして抽出されず、破棄される。
【0115】
次いで、ステップＳ６で、マーカー検出部１１３は、プラスエッジの線分及びマイナスエッジの線分の始点及び終点の座標情報を、駐車区画線のデータとして記憶部１２０に登録する。
【0116】
その後、ステップＳ７へと進み、駐車枠検出部１１４は、記憶部１２０に登録された駐車区画線（図６Ｂの例では、駐車区画線Ｋ１～Ｋ６）に基づいて、前述したような手順で駐車枠及び駐車スペースを検出する。
【0117】
次のステップＳ８では、駐車枠検出部１１４が、各駐車枠２０１を構成する向かい合うプラスエッジの線分及びマイナスエッジの線分の端点の座標値を各々算出し、駐車枠登録データ１２１として記憶部１２０に登録する。記憶部１２０には、検出したすべての駐車枠登録データ１２１を登録してもよいし、駐車に適した駐車枠登録データ１２１のみを登録してもよい。
【0118】
以上により、画像処理装置１００による処理が終了する。画像処理装置１００によって検出された駐車枠登録データ１２１が、車両制御ＥＣＵ４０に送出され、車両Ｖの駐車を支援する各種処理が実行される。
【0119】
（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、エッジ検出部１１１が複数のエッジを検出し、エッジ接続部１１２が影や照明等によって途切れたエッジを接続する。そして、検出された複数のエッジ及び接続されたエッジに基づいて、マーカー検出部１１３がマーカーとしての駐車区画線を検出する。これにより、各エッジの端点が、より正確な位置に検出される。また、エッジの延びる方向(角度)もより真値に近い値とすることができる。したがって、路面に描かれたマーカーとしての駐車区画線の検出を、高精度に行うことが可能な画像処理装置１００及び画像処理方法を提供できる。
以上のように構成された本実施の形態である画像処理装置１００では、エッジ検出部１１１が複数のエッジを検出し、エッジ接続部１１２が影や照明等によって途切れたエッジを接続する。そして、検出された複数のエッジ及び接続されたエッジに基づいて、マーカー検出部１１３がマーカーとしての駐車区画線を検出する。これにより、各エッジの端点が、より正確な位置に検出される。また、エッジの延びる方向(角度)もより真値に近い値とすることができる。したがって、路面に描かれたマーカーとしての駐車区画線の検出を、高精度に行うことが可能な画像処理装置１００及び画像処理方法を提供できる。
【0120】
また、エッジ接続部１１２は、当該エッジと、当該エッジとの距離が最短となるエッジとの端点間を、当該エッジが延びる方向に応じた方向で走査して、当該エッジと当該エッジとの距離が最短となるエッジとの間に、マーカーと判定できる情報が含まれているか否かを判定する。これにより、マーカーと判定できる情報が含まれている場合に、当該エッジと当該エッジとの距離が最短となるエッジとが接続され、途切れたマーカーを確実に接続でき、マーカーの端点座標をより真値に近い値とすることができる。よって、マーカーをより高精度に検出できる。
【0121】
また、エッジ接続部１１２は、当該エッジから所定距離の範囲内にある他のエッジの数をカウントし、カウント数が所定数以上のときは、当該エッジを他のエッジと接続しない構成である。これにより、影（建物の影や木漏れ日等）や光の反射によって検出されたノイズとなるエッジを接続の対象から除外でき、処理効率及び処理精度を向上できる。
【0122】
また、エッジ接続部１１２は、当該エッジとの距離が最短となるエッジに近い端点とは反対側にある当該エッジの端点を、一のエッジの始点の座標とする。また、当該エッジを延長した直線と、当該エッジに近い、当該エッジとの距離が最短となるエッジの端点とは反対側の端点のｘ座標との距離が閾値以内のとき、当該エッジとの距離が最短となるエッジの終点を、一のエッジの終点の座標とする。これに対して、当該エッジを延長した直線と、当該エッジとの距離が最短となるエッジの終点のｘ座標との距離が閾値より大きいときは、当該エッジとの距離が最短となるエッジの終点のｘ座標から当該エッジを延長した直線へ垂直に向かった交点を、一のエッジの終点の座標とする。この構成により、一のエッジの端点を、より正確に検出できるとともに、一のエッジの延びる方向を、実際のマーカーの延びる方向に、より近づけることができ、マーカーの検出精度を向上できる。
【0123】
また、マーカーが、駐車スペースを区画する駐車区画線である場合は、マーカー検出部１１３によって検出されたマーカーに基づいて、駐車枠を検出する駐車枠検出部１１４を備える構成とすることで、駐車枠をより高精度に検出可能となる。このため、画像処理装置１００及び画像処理方法を、駐車支援装置及び駐車支援方法に適用することで、最終的な駐車位置の精度の向上が図られ、より適切な駐車支援が可能となる。
【0124】
また、マーカーが、走行車線を区画する車線境界線である場合は、マーカー検出部１１３によって検出されたマーカーに基づいて、走行車線を検出する走行車線検出部を備える構成とすることで、走行車線をより高精度に検出可能となる。このため、画像処理装置１００及び画像処理方法を、走行支援装置及び走行支援方法に好適に用いることができ、より適切な走行支援が可能となる。
【0125】
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【0126】
例えば、上述の実施の形態である画像処理装置１００では、画像信号に含まれる輝度や色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報の変化の大きさ及び変化の方向（プラス方向又はマイナス方向）に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。
【符号の説明】
【0127】
２０ カメラ（撮像装置） ２０ａ 前方カメラ（撮像装置）
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） １００ 画像処理装置
１１１ エッジ検出部 １１２ エッジ接続部
１１３ マーカー検出部 １１４ 駐車枠検出部
２００ 駐車区画線（マーカー） ２０１ 駐車枠
Ａ エッジ（当該エッジ） Ｂ エッジ（距離が最短となるエッジ）
Ｅ 終点 Ｇ 俯瞰画像（画像）
Ｌ エッジを延長した直線 Ｒ 路面
Ｓ 始点 Ｖ 車両
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） １００ 画像処理装置
１１１ エッジ検出部 １１２ エッジ接続部
１１３ マーカー検出部 １１４ 駐車枠検出部
２００ 駐車区画線（マーカー） ２０１ 駐車枠
Ａ エッジ（当該エッジ） Ｂ エッジ（距離が最短となるエッジ）
Ｅ 終点 Ｇ 俯瞰画像（画像）
Ｌ エッジを延長した直線 Ｒ 路面
Ｓ 始点 Ｖ 車両
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
