特許 7446851 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240304BHJP

   B60R 99/00 20090101ALI20240304BHJP

   G08G 1/16 20060101ALI20240304BHJP

   H04N 7/18 20060101ALI20240304BHJP

【ＦＩ】

G06T7/60 200J

B60R99/00 321

G08G1/16 C

H04N7/18 J

【請求項の数】 3

(21)【出願番号】P 2020027982

(22)【出願日】2020-02-21

(65)【公開番号】P2021131801

(43)【公開日】2021-09-09

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】金子 貴之

(72)【発明者】

【氏名】近藤 俊輔

(72)【発明者】

【氏名】久保田 守

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１７－０５２４７１（ＪＰ，Ａ）

【文献】特開平０５－３０３６２５（ＪＰ，Ａ）

【文献】特開２０１７－０１００７８（ＪＰ，Ａ）

【文献】特開２０１９－１３９７２９（ＪＰ，Ａ）

【文献】特開２００３－０６７７５２（ＪＰ，Ａ）

【文献】特開２００６－３１１２９９（ＪＰ，Ａ）

【文献】特開２０１８－０９７４３１（ＪＰ，Ａ）

【文献】特開２０１５－１５３１６３（ＪＰ，Ａ）

【文献】特開２００１－０２２９３４（ＪＰ，Ａ）

【文献】岩佐和真 外３名，駐車車両検出のためのテンプレート画像の自動作成，電気学会論文誌Ｃ，日本，（社）電気学会 ，2007年03月01日，第127巻 第3号，pp.338～344

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｂ６０Ｒ ９９／００

Ｇ０８Ｇ １／００ － ９９／００

Ｈ０４Ｎ ７／１８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

車両の周囲の状況を撮像する撮像装置から出力される画像信号に基づく画像から、駐車区画線を検出する駐車区画線検出部と、
前記駐車区画線の延びる方向に基づいて、所定距離だけ離れた位置から、前記駐車区画線の延長線上に続きの駐車区画線があるかどうかを判定し、前記続きの駐車区画線が検出されたときに、最初に検出された前記駐車区画線と、次に検出された前記続きの駐車区画線とを接続して一の駐車区画線とする補正部と、
前記補正部で接続された前記一の駐車区画線を用いて、駐車枠を設定する駐車枠設定部と、を備え、
前記補正部は、前記駐車区画線検出部が検出した前記駐車区画線の端部を基準にして、前記駐車区画線検出部が検出した前記駐車区画線の延びる方向に沿って、隣り合った画素の輝度差を算出し、算出した輝度差の絶対値が所定値よりも大きい場合、前記駐車区画線が分断されていると判定して、前記駐車区画線の延びる方向に所定長さ分だけ離れた位置から、前記駐車区画線の延びる方向と直交方向に走査して、前記駐車区画線の延長線上に前記続きの駐車区画線があるかどうかを判定することを特徴とする画像処理装置。

【請求項2】

前記補正部が前記駐車区画線検出部が検出した前記駐車区画線の端部を基準にして走査するときの輝度差の閾値は、前記駐車区画線を検出するために前記画像を走査するときの輝度差の閾値よりも小さいことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

車両の周囲の状況を撮像する撮像装置から出力される画像信号に基づく画像から、駐車区画線を検出する駐車区画線検出工程と、
前記駐車区画線の延びる方向に基づいて、所定距離だけ離れた位置から、前記駐車区画線の延長線上に続きの駐車区画線があるかどうかを判定し、前記続きの駐車区画線が検出されたときに、最初に検出された前記駐車区画線と、次に検出された前記続きの駐車区画線とを接続して一の駐車区画線とする補正工程と、
前記補正工程で接続された前記一の駐車区画線を用いて、駐車枠を設定する駐車枠設定工程と、を含み、
前記補正工程は、前記駐車区画線検出工程で検出した前記駐車区画線の端部を基準にして、前記駐車区画線検出工程で検出した前記駐車区画線の延びる方向に沿って、隣り合った画素の輝度差を算出し、算出した輝度差の絶対値が所定値よりも大きい場合、前記駐車区画線が分断されていると判定して、前記駐車区画線の延びる方向に所定長さ分だけ離れた位置から、前記駐車区画線の延びる方向と直交方向に走査して、前記駐車区画線の延長線上に前記続きの駐車区画線があるかどうかを判定することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠や走行車線を推定する画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

車両を所定の駐車区画に駐車する際に、駐車目標とする駐車枠を自動的に検出して、車両を自動駐車させる駐車支援装置が実用化されている（例えば、特許文献１参照）。この特許文献１に開示の技術では、撮像部で撮像された撮像画像等から駐車区画線を検出し、一対の駐車区画線で囲まれる領域を駐車可能な駐車目標位置、すなわち駐車枠と認識している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１６６８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術では、車両、壁、フェンス等の比較的大きな影や、木漏れ日、道路照明灯等による光の反射、かすれ、障害物の存在等によって、駐車区画線が不検出となることがある。特に、影と影以外の領域とでは、駐車区画線の輝度や輝度差が異なるため、駐車区画線のエッジが適切に検出されず、駐車区画線の一部が不検出となったり、駐車区画線が分断されて検出されたりすることがあり、駐車枠の端点の位置にずれを生じることがあった。

【0005】

そこで、本発明は、駐車枠の検出を高精度に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本発明の画像処理装置は、車両の周囲の状況を撮像する撮像装置から出力される画像信号に基づく画像から、駐車区画線を検出する駐車区画線検出部と、前記駐車区画線の延びる方向に基づいて、所定距離だけ離れた位置から、前記駐車区画線の延長線上に続きの駐車区画線があるかどうかを判定し、前記続きの駐車区画線が検出されたときに、最初に検出された前記駐車区画線と、次に検出された前記続きの駐車区画線とを接続して一の駐車区画線とする補正部と、前記補正部で接続された前記一の駐車区画線を用いて、駐車枠を設定する駐車枠設定部と、を備えたことを特徴とする。

【発明の効果】

【0007】

このように構成された本発明の画像処理装置では、影等の影響により、駐車区画線の一部が不検出となったり、分断されて検出されたりしても、駐車枠の端点を真値により近い適切な位置に補正できる。したがって、駐車枠の検出を高精度に行うことが可能となる。この結果、検出された駐車枠を利用した、高精度な駐車支援が可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。

【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。

【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。

【図4】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。

【図5】実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた駐車区画線の一例を示す。

【図6A】実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像と、俯瞰画像から検出されたエッジと、駐車枠とを模式的に示した図である。

【図6B】実施の形態である画像処理装置の動作の一例を説明するための図であり、端点が適切に補正されたエッジと、駐車枠を模式的に示した図である。

【図7】実施の形態である画像処理装置の動作の一例を説明するための図であり、（ａ）は、分断された駐車区画線が存在する場合の補正処理手順を説明するための図であり、（ｂ）は分断された駐車区画線が存在しない場合の補正処理手順を説明するための図である。

【図8】実施の形態である画像処理装置の動作の一例を説明するための図であり、分断された駐車区画線が存在する場合の補正処理手順を説明するための図である。

【図9】実施の形態である画像処理装置の動作の一例を説明するための図であり、分断された駐車区画線が存在する場合の補正処理手順を説明するための図である。

【発明を実施するための形態】

【0009】

（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。なお、以下では、駐車支援装置について説明するが、本発明の実施の形態である画像処理装置が適用される装置は駐車支援装置に限定されることはなく、走行車線を走行する車両の走行を支援する走行支援装置等にも適用できる。

【0010】

図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。

【0011】

車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。

【0012】

前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ～２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ２０ａ～２０ｄにより、車両Ｖの周囲の状況（本実施の形態では、車両Ｖの周囲の路面Ｒ）を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ～２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。

【0013】

図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２１と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３３とを有する。

【0014】

カメラＥＣＵ２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２１は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。

【0015】

ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。

【0016】

車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。

【0017】

操舵角センサ３３は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３３で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。

【0018】

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

【0019】

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

【0020】

すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２１が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。

【0021】

ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワーステアリングアクチュエータ５１を駆動して、車両Ｖの操舵角を制御する。

【0022】

スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６１を駆動して、車両Ｖのスロットルを制御する。

【0023】

ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７１を駆動して、車両Ｖのブレーキを制御する。

【0024】

なお、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network）８０によって接続される（「ＣＡＮ」は登録商標）。

【0025】

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ８１によって接続される。

【0026】

以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２１を含んでいる。

【0027】

（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。

【0028】

制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述するエッジ検出部１１１、駐車区画線検出部１１２、駐車枠設定部１１３、及び補正部１１４により検出、設定された駐車スペースを区画する駐車区画線や駐車スペースに基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。

【0029】

車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３３（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワーステアリングアクチュエータ５１、スロットルアクチュエータ６１及びブレーキアクチュエータ７１（図３ではアクチュエータとのみ図示している）を駆動制御する。

【0030】

制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

【0031】

画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0032】

この図３に示すように、制御部１１０は、エッジ検出部１１１、駐車区画線検出部１１２、駐車枠設定部１１３、補正部１１４、及び表示制御部１１５を有する。

【0033】

エッジ検出部１１１は、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出により駐車場Ｐ等の路面Ｒ上の駐車区画線等のマーカーのエッジを検出する。ここでいうマーカーとは、駐車区画線や走行車線等の境界線をいう。駐車区画線とは、主に路面Ｒ上に設けられた駐車領域を区画する境界線（直線）として描かれた線のことである。図５に、車両Ｖと、この車両Ｖが駐車を行おうとしている駐車場Ｐの路面Ｒ上に描かれた駐車区画線２００の一例を示す。駐車区画線２００の間が、駐車スペースを表す駐車枠２０１である。

【0034】

本明細書では、車両Ｖに近い側を、駐車枠２０１の「前方」、「前」等といい、その反対側を「奥」、「後方」等という。そして、駐車枠の矩形を構成する４つの頂点（端点）、つまり、駐車区画線に沿う駐車枠の２つの側辺のそれぞれ２つの端点のうち、車両Ｖに近い側の端点を「始点」といい、後方の端点を「終点」という。

【0035】

駐車区画線は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、エッジ検出部１１１によって検出される駐車区画線は、「白線」に限定されるものではなく、一般に、路面との間にコントラストを有する境界線を駐車区画線として検出すればよい。

【0036】

エッジ検出部１１１は、画像を所定方向に走査（スキャン）して、画像信号に含まれる輝度値又は色のパラメータ情報（例えば、ＲＧＢ、ＲＧＢＡ等）が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。検出したエッジは、輝度又は色のパラメータの変化の方向（傾向）に応じて、プラスエッジ又はマイナスエッジとする。

【0037】

なお、走査の方向は、路面に描かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、図５に示すように、駐車区画線２００が車両Ｖの進行方向（図５の矢印参照）と直交する方向に延在しているときには、俯瞰画像Ｇ（図６参照）上で進行方向に沿って走査するのが望ましい。これに対して、駐車区画線２００が車両Ｖの進行方向に沿って延在しているときは、俯瞰画像Ｇ上で進行方向と直交する方向に走査するのが望ましい。一般には、駐車区画線２００が延びている方向は未知であるため、エッジ検出部１１１は、俯瞰画像Ｇ上で車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査することが望ましい。

【0038】

輝度値に基づいてエッジを抽出する場合は、エッジ検出部１１１は、輝度が低く暗い画素（例えば黒い画素）から、閾値よりも大きな差を持って輝度が高く明るい画素（例えば白い画素）に変化するエッジ、つまり隣り合った画素の輝度差がプラス方向に所定値よりも大きくなるエッジを、プラスエッジ（「立上りエッジ」ともいう）として検出する。このプラスエッジの検出は、走査位置が路面Ｒから駐車区画線２００と推定されるものに切替わったことを示す。

【0039】

また、エッジ検出部１１１は、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化したエッジ、つまり隣り合った画素の輝度差がマイナス方向に所定値よりも大きくなるエッジを、マイナスエッジ（「立下がりエッジ」ともいう）として検出する。このマイナスエッジの検出は、走査位置が駐車区画線２００と推定されるものから路面Ｒに切替わったことを示す。

【0040】

これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面Ｒの色のパラメータと、駐車区画線２００の色のパラメータとを比較する。エッジ検出部１１１は、色のパラメータの値が大きくなる方向に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。また、路面よりも駐車区画線の輝度が低い（或いは色のパラメータが大きい）場合は、輝度値や色のパラメータの変化は逆転する。いずれの場合でも駐車区画線等のマーカーでは、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。

【0041】

上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分（画素列）を、プラスエッジの線分として抽出する。さらに連続するマイナスエッジで構成される線分（画素列）を、マイナスエッジの線分として抽出する。

【0042】

図６Ａの例では、俯瞰画像ＧのＸ軸（ここでは車両Ｖの走行方向に沿う方向であって駐車区画線２００の延在方向に直交する方向）を図中の左右方向に設定し、Ｙ軸（ここでは駐車区画線２００の延在方向）を図中の上下方向に設定する。エッジ検出部１１１は、俯瞰画像Ｇを、車両Ｖの走行方向に直交する方向であって図中の左から右（Ｘ軸正方向）に向けて走査し、プラスエッジ及びマイナスエッジを検出していく。なお、図中の右から左、つまりＸ軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ（階調）の変化に基づいてこれらを検出する。

【0043】

駐車区画線検出部１１２は、エッジ検出部１１１が検出したエッジに基づいて、駐車区画線を検出する。より詳細には、駐車区画線検出部１１２は、検出したプラスエッジの線分及びマイナスエッジの線分に対して、予め決められた基準長さ以上の長さを有し、かつ予め決められた方向（角度）に延びるプラスエッジの線分及びマイナスエッジの線分を抽出する。これに対して、基準長さより短いエッジや、垂直方向以外に延びるエッジの線分は抽出しない。これにより、路面上での光の反射や、ゴミや汚れ等によるノイズのエッジが除去される。

【0044】

基準長さは、例えば、車両Ｖの車長分（例えば５ｍ）の長さとすることができるが、駐車区画線が短い場合等は、車長よりも短い長さとしている。角度は、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度としている。図６の場合は、駐車区画線は、走行方向に対して駐車スペースに向かって略直角に延びる直線であるため、角度＝９０°±閾値としている。

【0045】

駐車区画線検出部１１２は、抽出された複数のプラスエッジの線分及びマイナスエッジの線分の各々の始点及び終点の位置（座標値）を算出し、この位置に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、駐車区画線を構成するエッジのペアであると判定する。例えば、プラスエッジとマイナスエッジの距離が、駐車区画線の線幅±閾値の範囲内であるときに、これらをペアと判定する。

【0046】

図６Ａの俯瞰画像Ｇ上に、抽出された基準長さ以上で、かつ所定の角度で延びるプラスエッジの線分Ｅｐ（太実線）と、マイナスエッジの線分Ｅｍ（太破線）を模式的に示す。この図６Ａの例では、駐車区画線（実際には、駐車区画線画像）Ｋ１～Ｋ６の両側縁部分に、それぞれプラスエッジの線分Ｅｐ１～Ｅｐ６と、マイナスエッジの線分Ｅｍ１～Ｅｍ６のペアが抽出された。

【0047】

ここで、駐車区画線Ｋ４，Ｋ５については、影Ｓによってエッジの線分が分断され、基準長さより長いプラスエッジの線分Ｅｐ４，Ｅｐ５及びマイナスエッジの線分Ｅｍ４，Ｅｍ５のペアの他に、基準長より短いプラスエッジの線分Ｅｐ７，Ｅｐ８とプラスエッジの線分Ｅｍ７，Ｅｍ８とが検出される。また、線分Ｅｐ４とＥｐ７の間等、分断されたエッジ間に、さらに別のエッジが検出される場合もある。これらのエッジの線分Ｅｐ７，Ｅｐ８，Ｅｍ７，Ｅｍ８等は、基準長さ以下である場合はフィルタリングによって破棄される。しかし、基準長さ以上であれば、エッジの線分Ｅｐ４とＥｍ４のペア、Ｅｐ５とＥｍ５のペアとは別のエッジのペアとして抽出されることもある。また、駐車区画線Ｋ６については、影Ｓによって実際の駐車区画線Ｋ６の長さよりも短いプラスエッジの線分Ｅｐ６とマイナスエッジの線分Ｅｍ６とのペアが抽出されている。

【0048】

このような現象は、影になっていない日向部分と、影になった日陰部分とで、路面の輝度が互いに異なるとともに、駐車区画線の輝度も互いに異なることに起因して発生する。つまり、日向部分と日陰部分での路面と駐車区画線との輝度差の値や、エッジの角度（方向）が異なって検出され、連続性がないことから、日向部分のエッジと日陰部分とのエッジとが別々のエッジとして検出されることがある。また日向と日陰の境界近傍のエッジが不検出となることもある。また、道路照明灯やヘッドライト等で駐車区画線の一部が強く照明された場合、この強い照明部分と非照明部分とで、画像中の路面や駐車区画線の輝度差の値等が異なったり、白飛びが生じたりするため、同様の現象が起こり得る。

【0049】

これにより、駐車区画線のエッジの長さが実際とは異なる長さで検出されたり、複数に分断して検出された駐車区画線に基づいて、一つの駐車スペースに対して複数の駐車枠が設定されたりして、駐車枠の検出精度に影響することがある。このため、本実施の形態では、補正部１１４が駐車枠を構成する駐車区画線の端点位置を補正している。本実施の形態では、駐車区画線検出部１１２が駐車区画線を検出し、検出した駐車区画線に基づいて駐車枠設定部１１３が駐車枠を設定した後に、補正部１１４による補正を行っている。

【0050】

駐車枠設定部１１３は、駐車区画線検出部１１２が検出した駐車区画線を構成するエッジのペアに基づいて、駐車枠を設定する。より詳細には、駐車枠設定部１１３は、複数のペアのプラスエッジの線分及びマイナスエッジの線分の中から、駐車スペースを構成する可能性のある隣り合う２本のエッジの線分を選択する。ここで選択される２本のエッジの線分は、駐車スペースを仕切る一対の駐車区画線の左右の側辺を構成する線である。例えば、図６Ａに示す駐車区画線Ｋ１のマイナスエッジの線分Ｅｍ１と、これに隣り合う駐車区画線Ｋ２のプラスエッジの線分Ｅｐ２である。

【0051】

駐車枠設定部１１３は、選択した２本のエッジの線分間の距離（隣り合う駐車区画線の内法寸法）を、各エッジの端点の座標値に基づいて算出する。算出された距離が、所定範囲内（例えば、駐車スペース幅幅±閾値の範囲内）にあるか判定する。この距離が所定範囲内であれば、２本のエッジの線分で仕切られた領域を駐車スペースとして検出する。駐車スペース幅としては、普通自動車や小型貨物車用の駐車スペースであれば２ｍ～３ｍが望ましい。大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。

【0052】

検出した駐車スペースを構成する隣り合うプラスエッジの線分とマイナスエッジの線分に沿った線を長辺（側辺）とし、向かい合う両端をそれぞれ結んだ線を短辺とする矩形状の枠が駐車枠であり、その内部が駐車スペースであると推定できる。駐車枠設定部１１３は、プラスエッジの線分の２つの端点と、マイナスエッジの線分の２つの端点を、駐車枠の４つの端点とし、補正部１１４に渡すべく、その位置（座標値）を記憶部１２０のワークエリアに登録する。

【0053】

また、駐車枠設定部１１３は、設定した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行うこともできる。例えば、検出された駐車スペースに他車両や障害物等が存在するときには、駐車ができないと判断して、この駐車枠については記憶部１２０に登録しないようにする。また、駐車枠設定部１１３は、車両Ｖから近い駐車枠、又は駐車し易い駐車枠を、駐車可能な駐車枠と判定し、記憶部１２０に登録することもできる。

【0054】

図６Ａの例では、各駐車区画線Ｋ１～Ｋ６の間に、３つの駐車枠Ａ１，Ａ２，Ａ３が設定される。しかしながら、駐車区画線Ｋ４～Ｋ６のエッジが短く検出され、端点位置にずれを生じたことから、駐車枠Ａ２，Ａ３が長方形ではなく、台形状又は平行四辺形状に変形して検出される。

【0055】

これを是正するため、補正部１１４は、駐車枠設定部１１３が設定したすべての駐車枠について、駐車枠を構成する駐車区画線の延びる方向に基づいて、所定距離だけ離れた位置から、駐車区画線の延長線上に続きの駐車区画線があるかどうかを判定する。つまり、検出された駐車区画線の延長線上に（駐車区画線の先に）、さらに駐車区画線が存在しているかどうかの判定を行う。補正部１４は、続きの駐車区画線が検出されたときに、最初に検出された駐車区画線と、次に検出された続きの駐車区画線とを接続して一の駐車区画線とする。その後、この補正部１１４で接続された一の駐車区画線に基づいて、駐車枠設定部１１３が、駐車枠を設定（補正）する。

【0056】

より具体的に説明すると、補正部１１４は、当該駐車枠を構成する駐車区画線のエッジが影等で分断されているか判定すべく、影等があるかどうかを判定する。それには、駐車区画線検出部１１２が検出した駐車区画線の端部を基準にして、補正部１１４は、駐車区画線のエッジの端点から所定方向側（プラスエッジの場合は走査元側、マイナスエッジの場合は走査先側）に所定量（「影探索オフセット量α」という）オフセットした位置の画素を挟んで、駐車区画線の延びる方向に沿って所定長さ（「影探索長さβ」という）で俯瞰画像Ｇを走査し、隣り合った画素の輝度差を算出する。走査した結果、隣り合った画素の輝度差の絶対値が所定値以上あったかどうかを判定し、所定値以上あった場合は、影やかすれ等によって駐車区画線が分断されていると判定する。輝度差の絶対値が所定値未満であると判定した場合は、駐車区画線が分断されていないと判定する。このとき、隣り合った画素間で輝度差（コントラスト）があることが認識できればよいため、補正部１１４が抽出された駐車区画線の端部を基準として走査するときには、エッジ検出部１１１がエッジを検出する際の輝度差の閾値よりも小さい閾値で輝度差を比較すればよく、また、角度（方向）を比較する必要はない。

【0057】

駐車区画線が分断されていると判定したときは、補正部１１４は、駐車区画線の延びる方向に、駐車区画線から所定長さ（「再探索開始位置オフセット量γ」という）で離れた位置に接続すべき駐車区画線があるか否かを判定する。具体的には、駐車区画線の延びる方向に再探索開始位置オフセット量γで離れた位置から、駐車区画線の延びる方向と交差方向に、所定長さ（「再探索成功判定長さδ」という）で俯瞰画像Ｇを走査して、隣り合った画素の輝度差がプラス方向に所定値よりも大きくなるエッジと、隣り合った画素の輝度差がマイナス方向に所定値よりも大きくなるエッジとのペアが存在するか否かを判定する。この場合も、エッジ検出部１１１がエッジを検出する際の輝度差の閾値よりも小さい閾値で輝度差を比較すればよく、また、角度（方向）を比較する必要はない。

【0058】

プラスとマイナスのエッジのペアを検出した場合は、補正部１１４は、当該駐車区画線と接続すべき、分断された駐車区画線（続きの駐車区画線）が検出されたと判定し、走査を続行して、分断された駐車区画線の端部（端点）を検出する。そして、当該駐車区画線のエッジの一方の端点と、分断された駐車区画線のエッジの走査先側の端点を、駐車枠の一方及び他方の端点とし、これらの端点の位置（座標値）を、ワークエリアに登録して駐車枠の情報を補正（更新）する。この更新されたワークエリア上の駐車枠の情報を、駐車枠設定部１１３が、駐車枠登録データ１２１として記憶部１２０に登録する。

【0059】

これに対して、俯瞰画像Ｇを再探索成功判定長さδだけ走査しても、上記エッジのペアが検出されなかったとき、又は、エッジのペアの長さがδ未満であったとき、補正部１１４は走査を中止する。この場合、当該駐車区画線に関しては、分断された駐車区画線は存在しないと判定して、補正部１１４はワークエリアの補正（更新）を行わない。この結果、駐車枠設定部１１３は、当該駐車区画線（最初に検出された駐車区画線）のエッジの線分の一方及び他方の端点の位置（座標値）を、駐車枠登録データ１２１として記憶部１２０に登録する。

【0060】

影等の探索及び分断された駐車区画線のエッジの探索は、駐車枠を構成する隣り合うプラスエッジの線分とマイナスエッジの線分の、一方の端点側と、他方の端点側とについて各々行うことが望ましい。これにより、駐車枠の４つの端点の位置（座標値）を、真値により近い適切な位置に補正できる。

【0061】

上記α～δの値は、特に限定されるものではなく、画像処理に用いる関数、エッジを検出する手法、さらには画像の解像度、撮影範囲、駐車場Ｐの環境（建物、フェンス、照明等の有無、サイズ等）等に応じて適宜の値を設定できる。具体的には、例えば、影探索オフセット量αを５ピクセルとし、影探索長さβを１５ピクセルとすれば、影等の有無を適切に判定できる。

【0062】

また、再探索開始位置オフセット量γを１０ピクセル、再探索成功判定長さδを５ピクセルとすれば、最終長さが１５ピクセル以上の分断された駐車区画線が検出され、当該駐車区画線と接続される。これに対して、最終長さが１５ピクセル未満の分断された駐車区画線は、当該駐車区画線と接続されずに破棄される。本実施の形態では、画像の１００ピクセルは、３ｍに相当する。したがって、４５ｃｍ以上の長さで駐車区画線が分断されているときは、駐車区画線及び駐車枠の端点が補正され、その結果、長さが適切に補正される。これに対して、分断された長さが４５ｃｍ未満の場合は、駐車区画線及び駐車枠の端点が補正されず、長さも補正されない。

【0063】

しかし、駐車枠の端点の誤差が１５ピクセル（４５ｃｍ）以内であれば、画像処理等で補正可能な許容範囲内の誤差であり、モニター３１の表示画像上に未補正の駐車枠を示すマークを表示した場合でも、ユーザに違和感を与えることがなく、また、駐車支援等への影響を抑制できる。駐車区画線の基準長さを５ｍとした場合、γは１０ピクセル＝３０ｃｍ、再探索成功判定長さδは５ピクセル＝１５ｃｍであり、それぞれ駐車区画線の６％、３％の長さである。このことから、再探索開始位置オフセット量γは、駐車区画線の長さの６％以下、再探索成功判定長さδを駐車区画線の長さの４％以下とすることで、分断された駐車区画線を、高精度かつ高速で検出できる。

【0064】

図６（ｂ）に、補正部１１４による補正処理により、端点が適切に補正されたエッジと、駐車枠Ａ２，Ａ３を模式的に示す。この図６（ｂ）に示されるように、プラスエッジの線分Ｅｐ４，Ｅｐ５とマイナスエッジの線分Ｅｍ４，Ｅｍ５の始点（アイコンＩに近い側）と、プラスエッジの線分Ｅｐ６とマイナスエッジの線分Ｅｍ６の終点（アイコンＩから遠い側）の位置が、真値により近い位置に適切に補正された。この結果、駐車枠Ａ２，Ａ３の端点の位置も適切な位置に補正され、駐車枠の検出精度を向上できる。

【0065】

以下、補正部１１４による駐車枠の補正手順を、図７、図８を参照しながら説明する。図７(ａ)は、分断された駐車区画線（続きの駐車区画線）が存在する場合の補正処理手順を説明するための図であり、図７（ｂ）は分断された駐車区画線（続きの駐車区画線）が存在しない場合の補正処理手順を説明するための図である。図８、図９は、図７（ａ）とは異なる状態で分断された駐車区画線（続きの駐車区画線）が存在する場合の補正処理手順を説明するための図である。これらの図では、図６Ａにならって、駐車区画線Ｋと直交する方向をＸ軸とし、駐車区画線の延びる方向をＹ軸として説明する。また、分断された駐車区画線の検出先の端部であって、図示した駐車区画線Ｋの一方の端部を「先端」とし、図示を省略した反対側の端部を「後端」として説明する。

【0066】

図７（ａ）は、駐車枠を構成する駐車区画線Ｋの先端側が影Ｓで分断されて不検出となった例を示している。この場合、影Ｓで分断されているか否かを判定するため、エッジの線分（ここでは、マイナスエッジの線分Ｅｍを例にとって説明する。）の端点ｄから走査元側（Ｘ軸正方向）に、影探索オフセット量αでオフセットした位置の画素を挟んで、マイナスエッジの線分Ｅｍが延びる方向（Ｙ軸負方向）に影探索長さβ分、画像を走査し、隣り合った画素の輝度差を算出する。この走査によって、隣り合った画素の輝度差の絶対値が所定値以上あったかどうかを判定する。この図７（ａ）の例では、走査領域が路面Ｒから影Ｓに切り替わるので、この切り替わりの境界で隣り合った画素の輝度差の絶対値が所定値以上となる。したがって、影Ｓによって駐車区画線のエッジが分断されていると判定する。

【0067】

次に、マイナスエッジの線分Ｅｍの端点ｄから、その延長線上に再探索開始位置オフセット量γだけオフセットした位置から、Ｘ軸正方向に走査を実施する。このとき、Ｘ軸方向においては駐車区画線の幅＋閾値の幅（長さ）で、Ｙ軸方向に１ピクセル（１ライン）ずつ走査する。オフセット位置から、再探索成功判定長さδ分走査して、プラスエッジとマイナスエッジのペアが検出されたときに、分断された駐車区画線Ｋ’があると判定する。図７（ａ）の例では、影になっている部分のプラスエッジ（黒丸で示す）とマイナスエッジ（白丸で示す）が、δ以上の長さで検出される。また、この走査は、プラスエッジとマイナスエッジが検出されなくなるまで、つまり、分断された駐車区画線Ｋ’の先端部に到達するまで行う。そして、駐車枠設定部１１３は、この分断された駐車区画線Ｋ’のマイナスエッジの先端側の端点を、駐車枠の一側辺の始点（又は終点）とし、当該駐車区画線の後端側の端点を、駐車枠の一側の終点（又は始点）とし、それぞれの位置（座標値）を駐車枠登録データ１２１として記憶部１２０に登録する。以上の処理は、このマイナスエッジと隣り合って駐車枠の他側を構成するプラスエッジについても行うことで、駐車枠の４つの端点の位置を適切に補正できる。以降の例でも同様である。

【0068】

これに対して、図７（ｂ）に示すように、影等で駐車区画線Ｋが分断されていない場合には、影探索オフセット量αでオフセットして、影探索長さβ分走査すると、隣り合った画素の輝度差の絶対値が所定値未満と判定される。このため、当該駐車区画線Ｋには、接続すべき分断された駐車区画線は存在しないと判定する。駐車枠設定部１１３は、駐車枠の一側の始点と終点の位置（駐車枠登録データ１２１）として、当該駐車区画線Ｋのマイナスエッジの始点と終点の位置（座標値）を記憶部１２０に登録する。

【0069】

また、図８、図９は、駐車区画線の一部が影となって、２つに分断された例を示している。この場合、先端側のエッジがノイズとして破棄されたり、別々の駐車区画線として検出されたりすることがある。また、図８、図９に示す例でも、マイナスエッジの線分Ｅｍから影探索オフセット量αでオフセットした位置で、影探索長さβ分走査することで、影Ｓと路面Ｒとの境界で隣り合った画素の輝度差の絶対値が所定値以上あると判定される。

【0070】

図８の例では、端点ｄより再探索開始位置オフセット量γだけオフセットした位置から、Ｘ軸正方向に走査を実施すると、再探索成功判定長さδ以上のプラスエッジとマイナスエッジが検出され、分断された駐車区画線Ｋ’が検出される。この場合、駐車枠設定部１１３は、新たに検出された分断された駐車区画線Ｋ’のマイナスエッジの端点の位置（座標値）と、駐車区画線Ｋのマイナスエッジの他方の端点の位置（座標値）を、駐車枠の一側の始点及び終点の位置（駐車枠登録データ１２１）として記憶部１２０に登録する。

【0071】

これに対して、図９の例では、端点ｄより再探索開始位置オフセット量γだけオフセットした位置から、Ｘ軸正方向に走査を実施すると、プラスエッジとマイナスエッジは検出されるが、検出長さが再探索成功判定長さδ未満である。この場合は、駐車枠を補正する必要がなく、分断された駐車区画線が存在しないと判定する。駐車枠設定部１１３は、駐車区画線Ｋのマイナスエッジの両端点の位置（座標値）を、駐車枠の一側の始点及び終点の位置（駐車枠登録データ１２１）として記憶部１２０に登録する。

【0072】

以上のように、駐車枠設定部１１３は、駐車枠２０１を構成する隣り合うプラスエッジの線分及びマイナスエッジの線分の端点の座標値（補正部１１４によって補正された場合は補正後の座標値）を、駐車枠登録データ１２１として記憶部１２０に登録し、車両制御ＥＣＵ等が参照できるようにする。このとき、駐車枠２０１の少なくとも車両Ｖに近い側の２つの端点（始点）の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠２０１を特定できる。これに対して、４つの端点（始点及び終点）の座標値を登録してもよく、前向き駐車、後ろ向き駐車の何れでも適切な駐車支援が可能となる。また、駐車区画線２００の角度（延在方向）、その他の自動駐車処理に必要な情報を駐車枠登録データ１２１に加えることもでき、より適切な駐車支援が可能となる。

【0073】

表示制御部１１５は、カメラ２０により撮像された車両Ｖの周囲の路面画像や、駐車枠設定部１１３により設定され、補正部１１４によって補正された駐車枠を示す画像をこの路面画像に適宜重複して、あるいは単独でナビゲーション装置（表示装置）３０のモニター３１に表示させるための表示制御信号をナビゲーション装置３０に送出する。

【0074】

記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。

【0075】

また、前述したように、記憶部１２０には、駐車枠登録データ１２１、パラメータデータ１２２が格納される。パラメータデータ１２２として、エッジ検出時の閾値、駐車区画線の分断の判定や分断された駐車区画線の検出に用いる各種設定値（α～δ）、駐車区画線や車線境界線等の境界線の基準長さ、駐車スペース幅及びその閾値、等を格納できる。さらに、境界線の幅、延在方向の角度等、画像処理装置１００が使用する様々なパラメータを格納できる。また、駐車支援装置１が使用される国、地域、駐車スペース（駐車枠）の形状や大きさ、走行車線間の距離や車線境界線の形状等に対応して、複数のパラメータを格納し、適切なパラメータを選択する構成とすることもできる。

【0076】

（画像処理装置の動作）
次に、本実施の形態である画像処理装置１００の動作の一例を、図４のフローチャート及び図６Ａ、図６Ｂを参照しながら説明する。

【0077】

図４は画像処理装置１００の動作を説明するためのフローチャートである。図４のフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。

【0078】

ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖ周囲の路面Ｒの画像信号を取得する。

【0079】

ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成して生成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（図６Ａ等の「俯瞰画像Ｇ」参照。）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を表示するための信号を生成する技術は公知であり、一例として、特開平３－９９９５２号公報や特開２００３－１１８５２２号公報に開示された技術が知られている。

【0080】

なお、ステップＳ２において、俯瞰画像Ｇを表示するための信号合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における画像合成作業を行うこともできる。しかしながら、信号合成作業を行ってからステップＳ３の処理を行うほうが、画像処理装置１００の処理負担を低減できる。

【0081】

ステップＳ３（エッジ検出工程）では、前述したように、エッジ検出部１１１がステップＳ２で合成した俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度に基づいて、俯瞰画像Ｇ中のプラスエッジ及びマイナスエッジを抽出する。

【0082】

次のステップＳ４では、駐車区画線検出部１１２が、ステップＳ３で検出したプラスエッジ及びマイナスエッジについて、前述したように基準長さに基づいてフィルタリングを行う。これにより、路面上での光の反射や、ゴミや汚れ等によるノイズとなる短いエッジが破棄される。このフィルタリングは、次のステップＳ５のペアの抽出の後に行うこともできるが、ペアの抽出の前に行ってノイズを除去することで、画像処理を高速化できる。図６Ａに示す例では、プラスエッジの線分Ｅｐ１～Ｅｐ８と、マイナスエッジの線分Ｅｍ１～Ｅｍ８が抽出される。

【0083】

次のステップＳ５（駐車区画線検出工程）で、駐車区画線検出部１１２は、ステップＳ４で検出した複数のエッジの線分から、隣接するプラスエッジの線分とマイナスエッジの線分のペアを抽出する。このとき、俯瞰画像Ｇに基づき路面上で隣り合うプラスエッジとマイナスエッジの距離を算出し、この距離が所定の線幅±閾値の範囲内であれば、駐車区画線を構成するエッジのペアと判定する。

【0084】

次のステップＳ６（駐車枠設定工程）では、駐車枠設定部１１３が、ステップＳ４で判定した駐車区画線を構成するエッジのペアに基づいて、前述したような手順で駐車枠及び駐車スペースを設定する。設定した駐車枠の情報（座標値）は、記憶部１２０に一時的に記憶される。図６Ａに示す例では、仮想線で示すように、駐車枠Ａ１が適切に設定され、駐車枠Ａ２，Ａ３は変形して設定される。

【0085】

次のステップＳ７～Ｓ１４の補正のループ処理（補正工程）により、補正部１１４が、駐車枠を構成する駐車区画線が影等で分断されているか否かを判定し、分断されているときは、駐車枠の端点の位置を適切な位置に補正する。このステップＳ７～Ｓ１４の処理は、ステップＳ６で設定したすべての駐車枠に対して処理を行ったと判定した場合に終了する。

【0086】

まず、ステップＳ８で、補正部１１４は、処理対象の駐車枠を構成する駐車区画線の隣り合うプラスエッジの線分とマイナスエッジの線分の各々の端点（始点、終点）の位置（座標値）を取得する。ステップＳ９で、駐車区画線の各エッジの線分の一方の端点から、所定方向側に所定量（α）オフセットした位置の画素を挟んで、駐車区画線（エッジ）の延びる方向に所定長さ（β）で画像を走査する。

【0087】

次のステップＳ１０で、走査した結果、隣り合った画素の輝度差の絶対値が所定値以上あったかどうかを判定し、所定値以上あった場合は（ＹＥＳ）、影等によって駐車区画線が分断されていると推定されるため、ステップＳ１１へと進む。

【0088】

これに対して、輝度差の絶対値が所定値未満である（ＮＯ）と判定した場合は、影等による駐車区画線の分断がないと推定され、駐車枠の端点の位置を補正する必要がないため、ステップＳ１１～Ｓ１４をスキップし、ステップＳ１５へと進む。

【0089】

ステップＳ１１では、分断された駐車区画線を探索すべく、駐車区画線の延びる方向に、駐車区画線より所定長さ（γ）で離れた位置から、所定長さ（δ）で駐車区画線と直交方向（Ｘ軸方向）に俯瞰画像Ｇを走査する。

【0090】

ステップＳ１２で、走査の結果、所定長さ（δ）以上のプラスエッジの線分とマイナスエッジの線分が検出されたか判定する。検出された（ＹＥＳ）と判定した場合、つまり分断された駐車区画線が存在すると判定した場合は、ステップＳ１２へと進む。

【0091】

これに対して、ステップＳ１２で、検出されない（ＮＯ）と判定した場合、つまり分断された駐車区画線が存在しないと判定した場合は、駐車枠の端点の位置を補正する必要がないため、ステップＳ１３～Ｓ１４をスキップし、ステップＳ１５へと進む。

【0092】

ステップＳ１３では、走査を続行して分断された駐車区画線の端部を検出する。次いで、ステップＳ１４へと進み、ステップＳ６で記憶部１２０のワークエリアに一時的に登録された駐車枠の一側辺の一方の端点の位置（座標値）を、分断された駐車区画線のエッジの端点の位置（座標値）に補正する。

【0093】

一方、ステップＳ１１で、所定長さ（δ）以上のプラスエッジの線分とマイナスエッジの線分が検出されない（ＮＯ）と判定した場合は、駐車枠の端点の位置を補正する必要がないため、ステップＳ１２～Ｓ１３をスキップして、ステップＳ１４へと進む。

【0094】

なお、ステップＳ８～Ｓ１４の処理は、少なくとも駐車枠を構成する隣り合うプラスエッジの線分の始点と、マイナスエッジの線分の始点に対して行うことで、駐車枠の２つの始点の位置を適切に設定できる。より好ましくは、ステップＳ８～Ｓ１３の処理を、プラスエッジ及びマイナスエッジの各始点と終点に対して行うことで、駐車枠の４つの端点（２つの始点と２つの終点）の位置を適切に設定できる。

【0095】

ステップＳ１５では、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップＳ７へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップＳ１６へと進む。

【0096】

ステップＳ１６では、駐車枠設定部１１３が、記憶部１２０のワークエリアに一時的に登録されている各駐車枠の端点（２つの始点又は４つの端点）の位置（座標値）を、駐車枠登録データ１２１として記憶部１２０に登録する。各駐車枠の端点の位置は、ステップＳ８～Ｓ１４の補正処理によって、適切に補正されている。これにより、例えば、図６Ａに示す例では、実際の駐車枠とは異なる形状で設定された駐車枠Ａ２，Ａ３の端点の位置が適切に補正され、図６Ｂに示すように実際の駐車枠に近い長方形に設定される。

【0097】

そして、記憶部１２０に登録された駐車枠登録データ１２１が、車両制御ＥＣＵ４０に送出され、車両Ｖの駐車を支援する各種処理が実行される。

【0098】

（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、駐車区画線検出部１１２が、車両Ｖの周囲の状況を撮像する撮像装置から出力される画像信号に基づく俯瞰画像Ｇから、駐車区画線を検出する。補正部１１４が、車区画線の延びる方向に基づいて、所定距離（再探索開始位置オフセット量γ）だけ離れた位置から、駐車区画線の延長線上に続きの駐車区画線があるかどうかを判定し、続きの駐車区画線が検出されたときに、最初に検出された駐車区画線（Ｋ）と、次に検出された続きの駐車区画線（Ｋ’）とを接続して一の駐車区画線とする。駐車枠設定部１１３が、補正部１１４で接続された一の駐車区画線を用いて、駐車枠を設定する。

【0099】

これにより、影、光の反射、障害物の存在、線のかすれ、レンズのゆがみ等の影響により、駐車区画線が不検出又は誤検出となり、駐車枠の端点が適切に設定されなかった場合でも、駐車枠の端点を真値により近い適切な位置に補正できる。したがって、駐車枠の検出を高精度に行うことが可能な画像処理装置１００及び画像処理方法を提供できる。また、この画像処理装置１００又は画像処理方法を備えることで、駐車支援を高精度に行うことが可能な駐車支援装置、駐車支援方法を提供できる。

【0100】

また、本実施の形態では、俯瞰画像Ｇを所定方向に走査して、画像信号に含まれる輝度が閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出するエッジ検出部１１１、を備える。そして、駐車区画線検出部１１２は、エッジ検出部１１１が検出した複数のエッジに基づいて、駐車区画線を検出する。このため、演算速度が向上し、駐車区画線をより高精度、かつより高速に検出できる。

【0101】

また、補正部１１４は、駐車区画線検出部１１２が検出した駐車区画線の端部を基準にして、駐車区画線検出部１１２が検出した駐車区画線の延びる方向に沿って、隣り合った画素の輝度差を算出する。算出した輝度差の絶対値が所定値よりも大きい場合、駐車区画線が分断されていると判定して、駐車区画線の延びる方向に所定長さ分（再探索開始位置オフセット量γ）だけ離れた位置から、駐車区画線の延びる方向と直交方向に走査して、駐車区画線の延長線上に続きの駐車区画線があるかどうかを判定する。この構成により、続きの駐車区画線があるかどうかを効率的に判定でき、また、駐車枠の端点の位置を、真値により近い適切な位置に補正でき、駐車枠の検出精度をより向上できる。

【0102】

また、補正部１１４が駐車区画線検出部１１２が検出した駐車区画線の端部を基準にして走査するときの輝度差の閾値は、エッジ検出部１１１が俯瞰画像Ｇを走査するときの輝度差の閾値よりも小さいことが望ましい。これにより、影等の存在を適切に検出できるとともに、影になった駐車区画線のエッジも精度よく検出できる。これにより、駐車枠を高精度に検出できる。

【0103】

また、続きの駐車区画線を検出するときの駐車区画線の延びる方向における所定長さ（再探索開始位置オフセット量γ）は、駐車区画線の６％以下の長さであり、検出される続きの駐車区画線の所定長さ（再探索成功判定長さδ）は、駐車区画線の３％以下の長さであることが望ましい。これにより、駐車枠の端点の位置の誤差が許容範囲内であれば、画像処理等で誤差を補正でき、許容範囲を超えている場合は、補正部１１４によって端点を適切に補正できる。

【0104】

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

【0105】

例えば、上述の実施の形態である画像処理装置１００では、画像の輝度や色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報の変化の大きさ及び変化の方向（プラス方向又はマイナス方向）に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。

【0106】

また、上述の実施の形態である画像処理装置１００では、駐車区画線検出部１１２が検出した駐車区画線に基づいて駐車枠設定部１１３が駐車枠を設定した後に、設定した駐車枠に対して補正部１１４が端点の位置を補正して分断された駐車区画線を一の駐車区画線とし、この一の駐車区画線を用いて駐車枠設定部１１３が最終的に駐車枠の登録を行っている。しかし、この構成に限定されることはなく、駐車区画線検出部１１２が駐車区画線を検出した後に、検出した駐車区画線に対して、補正部１１４が端点の位置を適切に補正した上で、補正された駐車区画線に基づいて駐車枠設定部１１３が駐車枠を設定する構成とすることもできる。この構成によっても、駐車枠の端点の位置を適切に設定できる。

【符号の説明】

【0107】

２０ カメラ（撮像装置） ２０ａ 前方カメラ（撮像装置）
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） １００ 画像処理装置
１１１ エッジ検出部 １１２ 駐車区画線検出部
１１３ 駐車枠設定部 １１４ 補正部
２００ 駐車区画線 ２０１ 駐車枠
Ｇ 俯瞰画像（画像） Ｒ 路面
Ｖ 車両 ｄ 端点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】