特許 7466324 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-04

(45)【発行日】2024-04-12

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240405BHJP

   G08G 1/16 20060101ALI20240405BHJP

【ＦＩ】

H04N7/18 J

G08G1/16 C

【請求項の数】 6

(21)【出願番号】P 2020021396

(22)【出願日】2020-02-12

(65)【公開番号】P2021129157

(43)【公開日】2021-09-02

【審査請求日】2023-01-06

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】金子 貴之

(72)【発明者】

【氏名】近藤 俊輔

(72)【発明者】

【氏名】久保田 守

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１６－０１６６８１（ＪＰ，Ａ）

【文献】国際公開第２０１７／０６８７０１（ＷＯ，Ａ１）

【文献】特開２０１８－０７７７０５（ＪＰ，Ａ）

【文献】特開２０１４－１０７６８９（ＪＰ，Ａ）

【文献】特開２０１９－２０６２０８（ＪＰ，Ａ）

【文献】国際公開第２０１４／０８３８２４（ＷＯ，Ａ１）

【文献】特開２０１１－０５１４０３（ＪＰ，Ａ）

【文献】特開２０１３－１５４７３０（ＪＰ，Ａ）

【文献】特開２０１２－１０５０３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００３４７６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出部と、
検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定部と、
設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択部と、
前記駐車枠選択部で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部と、
を備え、
前記駐車枠選択部は、前記駐車枠の一方の側辺と、他方の側辺とが、次式
（一方の側辺の長さ／他方の側辺の長さ） ≧ 閾値
（他方の側辺の長さ／一方の側辺の長さ） ≧ 閾値
のすべてを満足するとき、前記駐車枠を表示対象と判定し、少なくとも何れか一方を満足しないとき、前記駐車枠を表示対象外と判定することを特徴とする画像処理装置。

【請求項2】

車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出部と、
検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定部と、
設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択部と、
前記駐車枠選択部で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部と、
を備え、
前記駐車枠選択部は、前記駐車枠の車両側の端点が、前記画像上の前記車両の位置から所定距離以上離れた位置にあるときは、前記駐車枠を表示対象外と判定することを特徴とする画像処理装置。

【請求項3】

前記表示制御部は、前記駐車枠選択部により表示対象外と判定された場合には、すでに表示対象と判定された前記駐車枠を示す前記駐車枠画像を、前記画像に重畳して表示するように前記表示部を制御することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記画像を所定方向に走査し、前記画像の画像信号に含まれる輝度又は色のパラメータが閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出するエッジ検出部、を備え、前記駐車区画線検出部は、前記エッジ検出部により検出された前記エッジに基づいて、前記駐車区画線を検出することを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出工程と、
検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定工程と、
設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択工程と、
前記駐車枠選択工程で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示させるための表示制御信号を送出する表示制御工程と、
を含み、
前記駐車枠選択工程は、前記駐車枠の一方の側辺と、他方の側辺とが、次式
（一方の側辺の長さ／他方の側辺の長さ） ≧ 閾値
（他方の側辺の長さ／一方の側辺の長さ） ≧ 閾値
のすべてを満足するとき、前記駐車枠を表示対象と判定し、少なくとも何れか一方を満足しないとき、前記駐車枠を表示対象外と判定することを特徴とする画像処理方法。

【請求項6】

車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出工程と、
検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定工程と、
設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択工程と、
前記駐車枠選択工程で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示させるための表示制御信号を送出する表示制御工程と、
を含み、
前記駐車枠選択工程は、前記駐車枠の車両側の端点が、前記画像上の前記車両の位置から所定距離以上離れた位置にあるときは、前記駐車枠を表示対象外と判定することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠を推定する画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

車両を所定の駐車区画に駐車する際に、駐車目標とする駐車枠を自動的に検出して、車両を自動駐車させる駐車支援装置が実用化されている（例えば、特許文献１参照）。この特許文献１に開示の技術では、撮像部で撮像された撮像画像等から駐車区画線を検出し、一対の駐車区画線で囲まれる領域を駐車可能な駐車目標位置、すなわち駐車枠として検出し、検出された駐車枠を示す駐車枠画像と、撮像画像とを重畳して表示部に表示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１６６８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、駐車区画線の検出に際して、車両、壁、フェンス等の比較的大きな影や、木漏れ日、道路照明灯等による光の反射、障害物の存在等によって、駐車区画線が不検出となったり、駐車区画線等以外の線が駐車区画線として検出される誤検出となったりすることがある。このような場合、検出した駐車区画線に基づいて駐車枠を車載装置のディスプレイに表示すると、駐車枠の検出タイミングでの検出状況によって、駐車枠がゆらいで表示されてしまい、ドライバにとって見づらい表示になっていた。また、駐車枠の検出に影響してしまっていた。よって、このような影響を解消できる技術の開発が望まれている。

【0005】

そこで、本発明は、駐車枠を見易く表示し、また、駐車枠の検出を高精度に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本発明の画像処理装置は、車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出部と、検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定部と、設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択部と、前記駐車枠選択部で表示対象と判定された駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部と、を備えたことを特徴とする。

【発明の効果】

【0007】

このように構成された本発明の画像処理装置では、隣り合う両側辺の長さ比が所定の範囲外にある駐車枠は、表示対象外と判定される。このため、影、光の反射、障害物の存在等の影響により、適切な形状や大きさで検出されなかった駐車枠や、実際の駐車領域以外の場所から検出された駐車枠等が表示対象外となって破棄される。そして、適切な形状や大きさで検出された駐車枠のみが駐車に適した駐車枠として登録され、表示部に表示される。したがって、駐車枠の検出タイミングによって、駐車枠がゆらいで表示されることがなくなり、駐車枠を見易くなる。また、駐車枠の検出を高精度に行うことが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。

【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。

【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。

【図4】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。

【図5】実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた駐車区画線の一例を示す。

【図6】実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像と、俯瞰画像から検出されたエッジとを模式的に示した図である。

【図7】実施の形態である画像処理装置の動作の一例を説明するための図であり、駐車枠選択部による駐車枠選択処理の手順を説明するための図である。

【図8】実施の形態である画像処理装置の動作の一例を説明するための図であり、車両の移動に伴って変化する俯瞰画像と駐車枠画像とを示す。

【図9】実施の形態である画像処理装置の駐車枠選択処理を行わない場合での、車両の移動に伴って変化する俯瞰画像と駐車枠画像とを示す。

【発明を実施するための形態】

【0009】

（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。なお、以下では、駐車支援装置について説明するが、本発明の実施の形態である画像処理装置が適用される装置は駐車支援装置に限定されることはなく、走行車線を走行する車両の走行を支援する走行支援装置等にも適用できる。

【0010】

図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。

【0011】

車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。

【0012】

前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ～２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ２０ａ～２０ｄにより、車両Ｖの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ～２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。

【0013】

図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２１と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３３とを有する。

【0014】

カメラＥＣＵ２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２１は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。

【0015】

ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。

【0016】

車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。

【0017】

操舵角センサ３３は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３３で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。

【0018】

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

【0019】

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

【0020】

すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２１が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。

【0021】

ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワーステアリングアクチュエータ５１を駆動して、車両Ｖの操舵角を制御する。

【0022】

スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６１を駆動して、車両Ｖのスロットルを制御する。

【0023】

ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７１を駆動して、車両Ｖのブレーキを制御する。

【0024】

なお、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（登録商標）（Controller Area Network）８０によって接続される。

【0025】

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８１によって接続される。

【0026】

以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２１により主に構成されている。

【0027】

（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。

【0028】

制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述するエッジ検出部１１１、駐車区画線検出部１１２、駐車枠設定部１１３及び駐車枠選択部１１４により検出、推定された駐車スペースを区画する駐車区画線や駐車スペースに基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。

【0029】

車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３３（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワーステアリングアクチュエータ５１、スロットルアクチュエータ６１及びブレーキアクチュエータ７１（図３ではアクチュエータとのみ図示している）を駆動制御する。

【0030】

制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

【0031】

画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0032】

この図３に示すように、制御部１１０は、エッジ検出部１１１、駐車区画線検出部１１２、駐車枠設定部１１３、駐車枠選択部１１４及び表示制御部１１５を有する。

【0033】

エッジ検出部１１１は、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出により駐車場Ｐ等の路面Ｒ上の駐車区画線２００のエッジを検出する。ここでいう駐車区画線２００とは、主に路面Ｒ上に設けられた駐車領域を区画する境界線（直線）として描かれた線のことである。図５に、車両Ｖと、この車両Ｖが駐車を行おうとしている駐車場Ｐの路面Ｒ上に描かれた駐車区画線２００の一例を示す。駐車区画線２００の間が、駐車スペースを表す駐車枠２０１である。

【0034】

また、図６は、カメラ２０で撮影された画像信号を合成して生成された俯瞰画像Ｇと、この俯瞰画像Ｇから検出されたエッジを模式的に示した図である。図６の俯瞰画像Ｇでは、車両Ｖの走行方向に沿う方向であって駐車区画線の延在方向に直交する方向をＸ軸とし、駐車区画線の延在方向をＹ軸としている。

【0035】

図６に示される俯瞰画像Ｇは、カメラ２０ａ～２０ｄで撮影された画像信号に基づいて、それぞれ車両Ｖを真上から見下ろした俯瞰画像ｇ１，ｇ２，ｇ３，ｇ４に変換して、さらに各俯瞰画像ｇ１を合成して生成された画像である。俯瞰画像Ｇの中心部分には、車両Ｖを真上から見下ろした状態を示すアイコンＩが表示される。

【0036】

駐車区画線は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、エッジ検出部１１１によって検出される駐車区画線は、「白線」に限定されるものではなく、一般に、路面との間にコントラストを有する境界線を駐車区画線として検出すればよい。

【0037】

エッジ検出部１１１は、画像を所定方向に走査（スキャン）して、画像信号に含まれる輝度又は色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。検出したエッジは、輝度又は色のパラメータの変化の方向（傾向）に応じて、第１のエッジ又は第２のエッジとする。

【0038】

なお、走査の方向は、路面Ｒに描かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、図５に示すように、駐車区画線２００が車両Ｖの進行方向（図５の矢印参照）と直交する方向に延在しているときには、俯瞰画像Ｇ（図６参照）上で進行方向に沿って走査するのが望ましい。これに対して、駐車区画線２００が車両Ｖの進行方向に沿って延在しているときは、俯瞰画像Ｇ上で進行方向と直交する方向に走査するのが望ましい。一般には、駐車区画線２００が延びている方向は未知であるため、エッジ検出部１１１は、俯瞰画像Ｇ上で車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査することが望ましい。

【0039】

そして、エッジ検出部１１１は、検出した複数のエッジから、隣り合った画素の輝度差又は色のパラメータ差がプラス方向に所定値よりも大きくなるエッジを第１のエッジ（「プラスエッジ」、「立上りエッジ」ともいう）として検出し、隣り合った画素の輝度差又は色のパラメータ差がマイナス方向に所定値よりも大きくなるエッジを第２のエッジ（「マイナスエッジ」、「立下がりエッジ」ともいう）として検出する。

【0040】

ここで、輝度に基づいてエッジを抽出する場合は、輝度が低く暗い画素（例えば黒い画素）から、閾値よりも大きな差を持って輝度が高く明るい画素（例えば白い画素）に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。つまり、走査位置が路面Ｒから駐車区画線と推定されるものに切替わったことを示す。また、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出する。つまり、走査位置が駐車区画線と推定されるものから路面Ｒに切替わったことを示す。

【0041】

これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面の色のパラメータと、駐車区画線の色のパラメータとを比較する。エッジ検出部１１１は、色のパラメータの値が大きくなる方向に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。また、路面よりも駐車区画線の輝度が低い（或いは色のパラメータが大きい）場合は、輝度や色のパラメータの変化は逆転する。いずれの場合でも駐車区画線等の境界線では、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。

【0042】

上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分（画素の並び、画素列）を、プラスエッジ（第１のエッジ）の線分として抽出する。さらに連続するマイナスエッジで構成される線分（画素列）を、マイナスエッジ（第２のエッジ）の線分として抽出する。抽出したプラスエッジの線分及びマイナスエッジの線分に対して、基準長さに従って長さによるフィルタリングを行い、基準長さに満たないプラスエッジの線分及びマイナスエッジの線分を破棄する。また、長さに加えて、線分が延びる方向（角度）によってフィルタリングしてもよい。

【0043】

基準長さは、例えば、車両Ｖの車長分（例えば５ｍ）の長さとすることができるが、駐車区画線が短い場合等は、車長よりも短い長さとしている。角度は、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度としている。図６の場合は、駐車区画線は、走行方向に対して駐車スペースに向かって略直角に延びる直線であるため、角度＝９０°±閾値としている。

【0044】

図６に、俯瞰画像Ｇから検出されたプラスエッジを太実線で、マイナスエッジを太破線で模式的に示す。この図６の例では、車両Ｖ（アイコンＩ）の右側の駐車区画線（実際には、駐車区画線画像）Ｋ１～Ｋ４と、左側の駐車区画線ｋ１～ｋ４の両側縁部分の、Ｘ軸方向における走査元側にプラスエッジの線分Ｅｐが検出され、走査先側にマイナスエッジの線分Ｅｍが検出された。駐車区画線Ｋ１，Ｋ３，ｋ４については、実際の駐車枠線よりも短いエッジが検出され、駐車区画線Ｋ２については、実際の駐車枠線よりも車両Ｖ側に突出した長いエッジが検出される。また、駐車区画線以外の部分にも、プラスエッジの線分Ｅｐ’と、マイナスエッジの線分Ｅｍ’が検出される。これらは、例えば、影、光の反射、障害物の存在等によって、駐車枠線の途切れ、ノイズの線との結合、ノイズの誤検出等によるものと推測される。また、カメラ２０のレンズのゆがみ補正や画像の俯瞰変換による影響で、駐車区画線の検出に誤差を生じた可能性もある。

【0045】

駐車区画線検出部１１２は、エッジ検出部１１１によって検出されたエッジに基づいて、駐車区画線を検出する。より詳細には、駐車区画線検出部１１２は、フィルタリングの結果残った、プラスエッジの線分Ｅｐ及びマイナスエッジの線分Ｅｍの各々の始点及び終点の位置（座標）を算出する。算出した位置に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、駐車区画線を構成するエッジのペアであると判定する。例えば、プラスエッジとマイナスエッジの距離が、例えば、駐車区画線の線幅±閾値の範囲内であるときに、これらをペアと判定する。これに対して、垂直方向以外に延びる長いエッジの線分、ペアの見つからないエッジの線分はノイズとして破棄する。

【0046】

図６の例では、駐車区画線Ｋ１～Ｋ４と駐車区画線ｋ１～ｋ４が検出される。さらに、ノイズである２対のプラスエッジの線分Ｅｐ’とマイナスエッジの線分Ｅｍ’の間にも駐車区画線が検出される。

【0047】

駐車枠設定部１１３は、駐車区画線検出部１１２により検出された駐車区画線を構成するエッジのペアに基づいて駐車枠を推定し、俯瞰画像Ｇ上に設定する。まず、駐車枠設定部１１３は、複数のペアのプラスエッジの線分及びマイナスエッジの線分の中から、駐車スペースを構成する可能性のある隣り合う２本のエッジの線分を選択する。ここで選択される２本のエッジの線分は、駐車スペースを仕切る一対の駐車区画線の左右両端を構成する線である。例えば、図６に示す駐車区画線Ｋ１のマイナスエッジの線分Ｅｍと、これに隣り合う駐車区画線Ｋ２のプラスエッジの線分Ｅｐである。

【0048】

そして、駐車枠設定部１１３は、選択された２本のエッジの線の距離（隣り合う駐車区画線の内法寸法）を、各エッジの端点の座標値に基づいて算出し、算出された距離が所定範囲内にあるか判定する。この距離が所定の駐車スペース幅±閾値の範囲内であれば、２本のエッジの線で仕切られた領域を駐車スペースとして検出する。駐車スペース幅としては、普通自動車や小型貨物車用の駐車スペースであれば２ｍ～３ｍが望ましい。大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。

【0049】

図７に、図６に示す俯瞰画像Ｇから検出されたエッジに基づいて検出された駐車枠を模式的に示す。この図７に示すように、駐車区画線Ｋ１とＫ２の間にＡ２、Ｋ３とＫ４の間にＡ３、ｋ１とｋ２の間にＢ１、ｋ３とｋ４の間にＢ２の駐車枠が検出された。さらに、ノイズのエッジの線分（Ｅｐ’，Ｅｍ’）の間にも駐車枠Ａ１が検出された。

【0050】

駐車枠Ｂ１は、実際の駐車枠に近い適切な形状（長方形）や大きさに設定されている。駐車枠Ｂ２及び駐車枠Ａ３は、後方又は前方が変形しており、形状や大きさが実際とは多少異なっているが、駐車に影響が少なく、許容範囲内である。これに対して、駐車枠Ａ２は、右側が車両Ｖに向かって大きく突出し、左側は後退して、形状や大きさが実際の駐車枠と異なっている。さらに、駐車枠Ａ１は、実際の駐車スペースとは異なる場所に設定されている。このような駐車枠Ａ１，Ａ２が、車両制御ＥＣＵ４０に送出されたり、モニター３１に表示されたりすると、駐車支援に影響したり、駐車枠の表示にゆらぎ（駐車枠が静止しておらず、微妙に移動してゆれて見えること）が生じたりすることがある。

【0051】

これを回避するため、駐車枠選択部１１４が、駐車枠設定部１１３によって設定された駐車枠に対して、表示対象とするか（つまり駐車枠として記憶部１２０に登録するか）、或いは、表示対象外とするか（つまり駐車枠として記憶部１２０に登録しないか）を判定する。

【0052】

本実施の形態では、（１）駐車枠の始点の位置に基づく判定と、（２）駐車枠の両側辺の長さ比に基づく判定とを行い、駐車枠として適切なもののみを選択している。なお、（２）の判定は少なくとも行えばよく、（１）の判定は必ずしも行う必要はない。この場合、演算速度を向上できる。これに対して、（１）、（２）の両判定を行うことで、駐車枠の検出精度をより向上できる。また、本実施の形態では、（１）→（２）の順で判定を行っているが、この順に限定されることはなく、（２）→（１）の順で判定を行ってもよい。連携する他のシステムとの関係、仕様、客先の要求等に応じて、所望の判定を所望の順番で行うことができる。

【0053】

本明細書では、車両Ｖに近い側を、駐車枠の「前方」、「前」等といい、その反対側を「奥」、「後方」等という。そして、駐車枠の矩形を構成する４つの頂点（端点）、つまり、駐車区画線に沿う駐車枠の２つの両側辺のそれぞれ２つの端点のうち、車両Ｖに近い側の端点を「始点」といい、後方の端点を「終点」という。また、車両Ｖ側から駐車枠を見たときを基準に、左右を決定する。このため、図５の例では、車両Ｖの進行方向（矢印方向）に向かって右側に位置する駐車枠２０１と、左側に位置する駐車枠２０１とでは、左右が反対となる。

【0054】

以下、（１）、（２）の判定の詳細について、図７を参照しながら説明する。図７は、俯瞰画像Ｇに、駐車枠設定部１１３によって検出された駐車枠Ａ１～Ａ３、Ｂ１～Ｂ２を仮想で描いたイメージ図であり、実際に俯瞰画像Ｇ上に駐車枠の線や端点が表示されているわけではない。

【0055】

（１）駐車枠の始点の位置に基づく判定
駐車枠選択部１１４は、各駐車枠Ａ１～Ｂ２の各両側辺の２つの始点の位置（座標）を算出する。そして、２つの始点のうち、少なくとも１つの位置が俯瞰画像Ｇ上の所定領域よりも離れた位置にあるとき、つまり、車両Ｖ（アイコンＩ）から左右方向において閾値（図７に破線で示す範囲）以上離れた位置にあるとき、当該駐車枠を表示対象外と判定する。

【0056】

本実施の形態では、閾値を１００pix（ピクセル）としている。画像上の１００pixは、実際の３ｍに相当するが、これを閾値としてもよい。なお、閾値がこの数値に限定されることはなく、カメラ２０の仕様や、画像の解像度等に対応させて、適宜の数値を設定できる。

【0057】

図７に示す例では、駐車枠Ａ２，Ａ３，Ｂ１，Ｂ２については、左右の始点（Ｌ２とＲ２、Ｌ３とＲ３，ｌ１とｒ１、ｌ２とｒ２）は、閾値以内にあるので、表示対象外とは判定されず、これらの位置情報は記憶部１２０に登録されたままとなる。これに対して、駐車枠Ａ１については、左右の始点（Ｌ１とＲ１）のうち、右の始点Ｒ１が、閾値以上離れた位置にある。このため、駐車枠Ａ１は、表示対象外と判定され、その位置情報は駐車枠選択部１１４により記憶部１２０から削除される。これにより、駐車領域以外から誤検出された駐車枠Ａ１を、駐車対象や表示対象から除去できる。

【0058】

（２）駐車枠の両側辺の長さ比に基づく判定
駐車枠選択部１１４は、各駐車枠Ａ１～Ｂ２の２つの始点及び終点の座標値に基づいて、一方の側辺（左側辺）及び他方の側辺（右側辺）の長さを算出し、算出した長さに基づいて、長さ比を算出する。これらの長さ比が、下記式（ａ）、（ｂ）のすべてを満足する場合は、当該駐車枠を表示対象と判定する。これに対して、下記式（ａ）、（ｂ）のいずれか一方でも満足しない場合は、当該駐車枠を表示対象外と判定する。

【0059】

（一方の側辺の長さ／他方の側辺の長さ） ≧ 閾値 （ａ）
（他方の側辺の長さ／一方の側辺の長さ） ≧ 閾値 （ｂ）

【0060】

閾値は、例えば、０．４とすれば、高精度な判定が可能となるが、閾値が０．４に限定されることはなく、画像の解像度、撮影範囲等に応じて適宜の閾値を設定できる。なお、駐車枠の始点と終点は、駐車枠を構成する駐車区画線の、向かい合うプラスエッジの線分及びマイナスエッジの線分の両端点である。

【0061】

また、駐車枠選択部１１４は、表示対象と判定した駐車枠の情報（座標値）を、駐車枠登録データ１２１として記憶部１２０に登録する。これに対して、表示対象外と判定した駐車枠については、駐車枠登録データ１２１として記憶部１２０に登録しない。

【0062】

図７に示す駐車枠Ａ２，Ａ３について、判定手順を具体的に説明する。図７に示すように、駐車枠Ａ３の右側辺ＲＡ３が８０pix、左側辺ＬＡ３が１００pixであるとする。この駐車枠Ａ３は、下記のとおり、式（ａ）、（ｂ）の何れも満足する。よって、駐車枠Ａ３は、表示対象と判定され、その座標値が記憶部１２０に登録される。

【0063】

ＲＡ３／ＬＡ３＝８０／１００＝０．８ ＞ ０．４
ＬＡ３／ＲＡ３＝１００／８０＝１．２５ ＞ ０．４

【0064】

これに対して、駐車枠Ａ２の右側辺ＲＡ２が４０pix、左側辺ＬＡ２が１２０pixであるとする。この駐車枠Ａ２は、下記のとおり、式（ａ）を満足しない。よって、駐車枠Ａ２は、表示対象外と判定され、記憶部１２０に登録されない。この結果、駐車支援や駐車枠の表示に影響しそうな駐車枠Ａ２を、駐車対象や表示対象から除去できる。

【0065】

ＲＡ２／ＬＡ２＝４０／１２０＝０．３３ ＜ ０．４
ＬＡ２／ＲＡ２＝１２０／４０＝３．０ ＞ ０．４

【0066】

表示制御部１１５は、モニター３１に画像を表示させるための表示制御信号を、ナビゲーション装置３０に送出し、モニター３１を制御する。具体的には、カメラ２０により撮像された車両Ｖ周辺の路面画像又はこれらを合成した俯瞰画像Ｇをモニター３１に表示させるための表示制御信号を送出する。また、駐車枠選択部１１４により表示対象として選択された駐車枠を示す駐車枠画像２０２を、路面画像又は俯瞰画像Ｇに重畳して表示させるための表示制御信号を送出する。

【0067】

図８（ａ）に、モニター３１に表示される俯瞰画像Ｇと駐車枠画像２０２とを重畳した画像の例を示す。図８（ａ）に実線で示すように、駐車枠選択部１１４によって表示対象と判定された駐車枠Ａ３，Ｂ１，Ｂ２の駐車枠画像２０２は、モニター３１に表示される。このとき、駐車枠Ａ３，Ｂ２については、ナビゲーション装置３０によって形状が適切に補正された駐車枠画像２０２が表示される。これに対して、図８（ａ）に仮想線で示すように、駐車枠選択部１１４によって表示対象外とされた駐車枠Ａ１，Ａ２は、モニター３１に表示されない。

【0068】

また、エッジ検出部１１１、駐車区画線検出部１１２、駐車枠設定部１１３、駐車枠選択部１１４による駐車枠の設定と選択、及び表示制御部１１５による表示制御は、車両Ｖが走行してカメラ２０で撮影される画像が更新されるたびに実行される。このため、最初に表示対象と判定された駐車枠が、次の処理の際に、影等の影響で表示対象外と判定された場合は、先に表示されていた駐車枠画像がモニター３１上から消え、駐車対象からも除外されることがある。

【0069】

このような事態を抑制するため、画像処理装置１００では、表示対象と判定された駐車枠を、追尾（トラッキング）して、駐車枠画像２０２を適切に表示し続けるように制御している。すなわち、表示制御部１１５は、駐車枠選択部１１４により表示対象外と判定された場合には、すでに表示対象と判定された駐車枠を示す駐車枠画像２０２を、俯瞰画像Ｇに重畳して表示させるための表示制御信号をナビゲーション装置３０に送出し、モニター３１を制御する。これにより、いったん適切に駐車枠が検出されれば、その後に駐車枠が適切に検出されない場合でも、適切な駐車枠画像が表示され続けることとなり、駐車支援を適切に行えるとともに、ドライバに見づらさや違和感を与えることもない。

【0070】

記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。

【0071】

また、前述したように、記憶部１２０には、駐車枠登録データ１２１、パラメータデータ１２２が格納される。パラメータデータ１２２として、閾値、駐車区画線の基準長さ、駐車スペース幅及びその閾値等を格納できる。さらに、駐車区画線の幅、延在方向の角度等、画像処理装置１００が使用する様々なパラメータを格納できる。また、駐車支援装置１が使用される国、地域、駐車スペース（駐車枠）の形状や大きさ等に対応して、複数のパラメータを格納し、適切なパラメータを選択する構成とすることもできる。

【0072】

ここで、駐車枠選択部１１４による駐車枠選択処理の効果を、図８、図９を参照しながら説明する。図８は、駐車枠選択処理を行った場合での、車両Ｖの移動に伴って変化する俯瞰画像Ｇと駐車枠画像２０２とを示す図である。図９は、同処理を行わない場合での、車両Ｖの移動に伴って変化する俯瞰画像Ｇと駐車枠画像２０２とを示す図である。

【0073】

従来のように駐車枠選択処理を行わない場合は、図９（ａ）に示すように、適切に検出された駐車枠Ａ３，Ｂ１，Ｂ２に対応する駐車枠画像２０２だけでなく、実際は駐車領域ではない駐車枠Ａ１に対応する駐車枠画像２０２も表示される。また、始点が誤検出された駐車枠Ａ２では、駐車枠画像２０２がアイコンＩ側に実際よりも突出して表示される。

【0074】

次いで、車両Ｖが駐車場Ｐを進行して、図９（ｂ）に示すように、駐車枠Ａ２の横に位置したとき、影等の影響が解消され、駐車枠Ａ２が適切に検出され、かつ駐車枠Ａ１は検出されなかったとする。この場合、検出された駐車枠Ａ２の駐車枠画像２０２が表示されるため、ドライバの眼には、駐車枠Ａ２が引っ込んだように映る。また、駐車枠Ａ１の駐車枠画像２０２は画面から消える。その後、車両Ｖが進行して、図９（ｃ）のように位置したとき、再度影等の影響で駐車枠Ａ２が、仮想線で示すように適切でない形状で検出されたとする。この場合、駐車枠画像２０２がアイコンＩ側に突出して表示され、ドライバの眼には、駐車枠Ａ２が飛び出したように映る。このように駐車枠がゆらいで表示されてしまうと、ドライバにとって見づらい表示になり、違和感を与えるとともに、駐車支援にも影響する場合がある。

【0075】

これに対して、本実施の形態のように駐車枠選択処理を行った場合には、図８（ａ）に示すように、駐車枠Ａ１と駐車枠Ａ２の駐車枠画像２０２は表示されず、適切に検出された駐車枠Ａ３，Ｂ１，Ｂ２の駐車枠画像２０２のみが表示される。次いで、駐車枠Ａ２が適切に検出された場合は、図８（ｂ）に示すように、俯瞰画像Ｇ上に駐車枠Ａ２の駐車枠画像２０２も適切に表示される。その後、駐車枠Ａ２が適切でない形状で検出され、表示対象外と判定された場合は、図８（ｂ）に示す過去の俯瞰画像Ｇから検出された適切な駐車枠Ａ２の駐車枠画像２０２が表示され続ける（図８（ｃ））。したがって、駐車枠がゆらいで表示されることがなく、ドライバが駐車枠を見易くなり、違和感を与えることがなく、駐車支援も高精度に行える。

【0076】

（画像処理装置の動作）
次に、本実施の形態である画像処理装置１００の動作の一例を図４のフローチャート及び図６～図８を参照して説明する。

【0077】

図４は画像処理装置１００の動作を説明するためのフローチャートである。図４のフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。

【0078】

ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖ周囲の路面Ｒの画像信号を取得する。

【0079】

ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（俯瞰画像Ｇ）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を生成する技術は公知であり、一例として、特開平３－９９９５２号公報や特開２００３－１１８５２２号公報に開示された技術が知られている。

【0080】

なお、ステップＳ２において画像合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における画像合成作業を行うこともできる。しかしながら、俯瞰画像Ｇを生成してからプラスエッジとマイナスエッジの抽出作業を行うほうが画像処理装置１００の処理負担が低減できる。

【0081】

ステップＳ３（エッジ検出工程）では、前述したように、エッジ検出部１１１がステップＳ２で合成した俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度に基づいて、画像中のプラスエッジ及びマイナスエッジを抽出する。

【0082】

図６に示す例では、エッジ検出部１１１は、俯瞰画像Ｇを、Ｘ軸正方向に向けて走査し、画像中のプラス（＋）エッジ及びマイナス（－）エッジを検出していく。この結果、図６に太実線で示すプラスエッジの線分Ｅｐと、太破線で示すマイナスエッジの線分Ｅｍが検出された。なお、Ｘ軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ（階調）の変化に基づいてこれらを検出する。

【0083】

次のステップＳ４では、エッジ検出部１１１がステップＳ３で検出したプラスエッジ及びマイナスエッジについて、前述したように基準長さに基づいてフィルタリングを行う。これにより、路面上での光の反射や、ゴミや汚れ等によるノイズとなる短いエッジが破棄される。このフィルタリングは、次のステップＳ５のペアの抽出の後に行うこともできるが、ペアの抽出の前に行ってノイズを除去することで、画像処理を高速化できる。

【0084】

次のステップＳ５（駐車区画線検出工程）で、駐車区画線検出部は、ステップＳ４で検出された複数のエッジの線分から、隣接するプラスエッジの線分とマイナスエッジの線分のペアを抽出する。このとき、俯瞰画像Ｇに基づき路面上で隣り合うプラスエッジとマイナスエッジの距離を算出し、この距離が所定の線幅±閾値の範囲内であれば、駐車区画線を構成するエッジのペアと判定する。

【0085】

次のステップＳ６（駐車枠設定工程）では、駐車枠設定部１１３が、駐車区画線を構成するエッジのペアに基づいて、前述したような手順で駐車枠及び駐車スペースを検出する。検出した駐車枠の情報（座標値）は、記憶部１２０に一時的に記憶される。図７に示す例では、実際の駐車枠に対応する駐車枠Ａ２，Ａ３，Ｂ１，Ｂ２と、実際の駐車枠ではない駐車枠Ａ１が検出されている。

【0086】

次のステップＳ７～Ｓ１１の駐車枠選択のループ処理（駐車枠選択工程）により、駐車枠選択部１１４が、適切な駐車枠のみを表示対象とし、適切でない駐車枠を表示対象外として除去する。このステップＳ７～Ｓ１３の処理は、ステップＳ６で検出したすべての駐車枠に対して処理を行ったと判定した場合に終了する。

【0087】

まず、ステップＳ８で、駐車枠選択部１１４は、処理対象の駐車枠の２つの始点の位置（座標）を取得し、ステップＳ９で、２つの始点の座標が、車両Ｖ（アイコンＩ）から閾値以内に位置するかを判定する。閾値以内であると判定された場合（ＹＥＳ）、次のステップＳ１０へと進む。

【0088】

これに対して、２つの始点の座標の何れか一方でも閾値以上離れた位置にあると判定された場合（ＮＯ）、当該駐車枠は表示対象外であるとして、ステップＳ１０～Ｓ１２をスキップし、ステップＳ１３へと進んで、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップＳ７へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップＳ１４へと進む。

【0089】

上記ステップＳ８、Ｓ９の処理により、図７に示す駐車枠Ａ１のように、実際の駐車領域以外の場所から検出された駐車枠等が表示対象外となり、かつ、駐車枠として登録されずに破棄される。

【0090】

次のステップＳ１０では、駐車枠選択部１１４が、駐車枠の２つの始点と終点の座標値に基づいて、駐車枠の左側辺と右側辺の長さを算出し、長さ比（左側辺／右側辺、右側辺／左側辺）を算出する。次いで、ステップＳ１１で、長さ比が閾値以上か判定する。

【0091】

２つの長さ比がいずれも閾値以上であると判定した場合（ＹＥＳ）、当該駐車枠は表示対象であるとして、ステップＳ１２へと進む。一方、長さ比のいずれか一方又は双方が閾値未満であると判定した場合（ＮＯ）、当該駐車枠を表示対象外と判定し、ステップＳ１２をスキップし、ステップＳ１３へと進んで、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップＳ７へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップＳ１４へと進む。

【0092】

このステップＳ１１の処理により、例えば、図７の駐車枠Ａ２のように、実際の駐車枠の形状と許容範囲以上に異なる形状で検出された駐車枠等が、表示対象外となり、かつ、駐車枠として登録されずに破棄される。

【0093】

ステップＳ１２では、表示対象とされた駐車枠（駐車スペース）を、記憶部１２０に登録する。具体的には、駐車枠を構成する向かい合うプラスエッジの線分の端点とマイナスエッジの線分の端点の座標値を、駐車枠の始点又は終点の座標値として、駐車枠登録データ１２１として記憶部１２０に登録する。このとき、駐車枠の少なくとも２つの始点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠を特定できるが、４点の座標値を登録してもよい。また、駐車区画線２００の角度（延在方向）、その他自動駐車処理に必要な情報を駐車枠登録データ１２１に加えることもできる。

【0094】

次いで、ステップＳ１３へと進んで、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップＳ７へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップＳ１４へと進む。

【0095】

ステップＳ１４（表示制御工程）では、表示制御部１１５が、表示対象と判定され、かつ、記憶部１２０に登録された駐車枠を示す駐車枠画像２０２を、俯瞰画像Ｇに重畳して表示させるための表示制御信号を生成し、ナビゲーション装置３０に送出する。これにより、図８（ａ）に示すように、駐車枠Ａ３，Ｂ１，Ｂ２の駐車枠画像２０２が俯瞰画像Ｇに重畳された画像がモニター３１に表示される。

【0096】

また、記憶部１２０に登録された駐車枠登録データ１２１が、車両制御ＥＣＵ４０に送出され、車両Ｖの駐車を支援する各種処理が実行される。

【0097】

以上のステップＳ１～Ｓ１４の処理を、カメラ２０から画像信号を取得するたびに繰り返す。これにより、車両Ｖが駐車場Ｐを進行して、駐車枠Ａ３，Ｂ１，Ｂ２に加えて、駐車枠Ａ２が適切に検出されたときは、図８（ｂ）に示すように、駐車枠Ａ３，Ｂ１，Ｂ２の駐車枠画像２０２と、駐車枠Ａ２の駐車枠画像２０２が表示される。その後、車両Ｖが進行することで、駐車枠Ａ３，Ａ４，Ｂ１，Ｂ２，Ｂ３が適切に検出されると、図８（ｃ）に示すように、これらの駐車枠画像２０２が俯瞰画像Ｇに重畳されて表示される。このとき、駐車枠Ａ２が再度表示対象外と判定された場合でも、すでに（過去に）表示対象と判定された駐車枠画像２０２（図８（ｂ）参照）が、俯瞰画像Ｇに重畳されて表示される。

【0098】

（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、駐車区画線検出部１１２が、車両Ｖの周囲の路面を撮像するカメラ２０が取得した画像から、駐車区画線を検出する。駐車枠設定部１１３が、検出された駐車区画線に基づいて、駐車枠を設定する。駐車枠選択部１１４が、設定された駐車枠の隣り合う両側辺の長さ比を算出し、長さ比が所定の範囲内にあるときは、駐車枠を表示対象と判定し、長さ比が所定の範囲外にあるときは、駐車枠を表示対象外と判定する。そして、表示制御部１１５が、駐車枠選択部１１４で表示対象と判定された駐車枠を示す駐車枠画像２０２を、俯瞰画像Ｇに重畳して表示するようにモニター３１を制御する。

【0099】

これにより、影、光の反射、障害物の存在、レンズのゆがみ等の影響により、適切な形状や大きさで検出されなかった駐車枠や、実際の駐車領域以外の場所から検出された駐車枠等が表示対象外となって破棄される。これに対して、適切な形状や大きさで検出された駐車枠のみが駐車に適した駐車枠として登録され、その駐車枠画像２０２が俯瞰画像Ｇと重畳してモニター３１に表示される。したがって、駐車枠を見易く表示でき、また、駐車枠の検出を高精度に行うことが可能な画像処理装置１００及び画像処理方法を提供できる。

【0100】

また、この画像処理装置１００又は画像処理方法を備えることで、駐車枠の検出や走行車線の検出を高精度に行うことが可能な駐車支援装置、駐車支援方法、走行支援装置及び走行支援方法を提供できる。

【0101】

また、本実施の形態では、駐車枠選択部１１４は、駐車枠の一方の側辺と、他方の側辺とが、次式
（一方の側辺の長さ／他方の側辺の長さ） ≧ 閾値
（他方の側辺の長さ／一方の側辺の長さ） ≧ 閾値
のすべてを満足するとき、駐車枠を表示対象と判定し、少なくとも何れか一方を満足しないとき、駐車枠を表示対象外と判定する。これにより、駐車枠の検出精度をより向上できる。

【0102】

さらに、本実施の形態では、駐車枠選択部１１４は、駐車枠の車両側の端点が、画像上の車両の位置から所定距離以上離れた位置にあるときは、駐車枠を表示対象外と判定する。これにより、駐車枠の検出精度をさらに向上できる。

【0103】

また、本実施の形態では、表示制御部１１５は、駐車枠選択部１１４により表示対象外と判定された場合には、すでに表示対象と判定された駐車枠を示す駐車枠画像２０２を、俯瞰画像Ｇに重畳して表示するようにモニター３１を制御する。これにより、駐車支援をより高精度に行えるとともに、ドライバが駐車枠を見易くなり、違和感を与えることがなく、快適な運転が可能となる。

【0104】

また、本実施の形態では、エッジ検出部１１１が、俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度又は色のパラメータが閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。そして、駐車区画線検出部１１２は、エッジ検出部１１１により検出されたエッジに基づいて、駐車区画線を検出する。これにより、駐車区画線を高精度に検出でき、演算速度も向上する。この結果、駐車枠をより高精度、かつより高速に検出できる。

【0105】

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

【0106】

例えば、上述の実施の形態である画像処理装置１００では、画像の輝度や色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報の変化の大きさ及び変化の方向（プラス方向又はマイナス方向）に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。

【符号の説明】

【0107】

２０ カメラ（撮像装置） ２０ａ 前方カメラ（撮像装置）
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） １００ 画像処理装置
１１１ エッジ検出部 １１２ 駐車区画線検出部
１１３ 駐車枠設定部 １１４ 駐車枠選択部
１１５ 表示制御部 ２００ 駐車区画線
２０１ 駐車枠 ２０２ 駐車枠画像
Ｇ 俯瞰画像（画像） Ｒ 路面
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】