特許 7446830 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240304BHJP

   G08G 1/16 20060101ALI20240304BHJP

   G06T 7/60 20170101ALI20240304BHJP

   H04N 7/18 20060101ALI20240304BHJP

【ＦＩ】

G06T7/00 650A

G08G1/16 C

G06T7/60 200J

H04N7/18 J

【請求項の数】 9

(21)【出願番号】P 2020013467

(22)【出願日】2020-01-30

(65)【公開番号】P2021120768

(43)【公開日】2021-08-19

【審査請求日】2023-01-05

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】金子 貴之

(72)【発明者】

【氏名】久保田 守

(72)【発明者】

【氏名】近藤 俊輔

【審査官】伊知地 和之

(56)【参考文献】

【文献】国際公開第２０１４／０８４１１８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０６８６９９（ＷＯ，Ａ１）

【文献】特開２０１９－０１２３０９（ＪＰ，Ａ）

【文献】特開２０１９－０２０９５７（ＪＰ，Ａ）

【文献】特開平１１－２１９４３５（ＪＰ，Ａ）

【文献】特開２０１３－１８５８５７（ＪＰ，Ａ）

【文献】実吉敬二，ステレオカメラによる自動車運転支援システム，情報処理学会研究報告 ２０１２（平成２４）年度（５） ［ＣＤ－ＲＯＭ］ ，日本，一般社団法人情報処理学会，2013年02月15日，pp.1～6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０８Ｇ １／００ － ９９／００

Ｈ０４Ｎ ７／１８

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

路面の所定領域を区画する境界線を検出する画像処理装置であって、
車両の周囲の前記路面を撮像する撮像装置から出力される画像信号に基づく画像を、所定方向に走査し、前記画像信号に含まれる輝度が閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出するエッジ検出部と、
前記エッジ検出部で検出した第１のエッジの所定方向側にある画素列の中から選択した複数の画素の輝度の平均値と、前記第１のエッジとは異なる第２のエッジの、前記第１のエッジの所定方向側とは反対方向側にある画素列の中から選択した複数の画素の輝度の平均値と、を比較して、輝度差が所定値以下となる場合、前記第１のエッジ及び前記第２のエッジを、境界線を構成するエッジのペアであると判定する比較部と、を備えたことを特徴とする画像処理装置。

【請求項2】

前記第１のエッジと、前記第２のエッジは、隣り合った画素の輝度差がプラス方向に所定値よりも大きくなるプラスエッジと、隣り合った画素の輝度差がマイナス方向に所定値よりも大きくなるマイナスエッジであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記比較部は、前記第１のエッジの所定方向側にある画素の輝度と、前記第２のエッジの、前記第１のエッジの所定方向側と反対方向側にある画素の輝度と、を比較するとき、前記第１のエッジ及び前記第２のエッジから所定量オフセットした画素を用いて比較することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記第１のエッジの所定方向側にある画素の並びを、延在方向に沿って等分割した複数の分割点における前記画素の輝度を平均した平均値をＹｐとし、
前記第２のエッジの、前記第１のエッジの所定方向側とは反対方向側にある画素の並びを、延在方向に沿って等分割した複数の分割点における前記画素の輝度を平均した平均値をＹｍとしたとき、
前記比較部は、次式
｜Ｙｐ － Ｙｍ｜ ≦ 閾値
を満たす場合、前記第１のエッジ及び前記第２のエッジを、前記境界線を構成するエッジのペアであると判定することを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記エッジ検出部は、輝度に代えて、前記画像信号に含まれる色のパラメータに基づいて前記エッジを検出することを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記エッジ検出部及び前記比較部で用いられるパラメータ及び閾値が、予め設定されている記憶部を備えたことを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

前記境界線が、駐車スペースを区画する駐車区画線であり、
前記比較部によって判定された前記境界線を構成するエッジのペアの中から、隣り合う前記ペアを検出し、隣り合う前記ペア間の距離に基づいて、駐車枠を検出する駐車枠検出部を、備えたことを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。

【請求項8】

前記境界線が、走行車線を区画する車線境界線であり、
前記比較部によって判定された前記境界線を構成するエッジのペアに基づいて、前記走行車線を検出する走行車線検出部を、備えたことを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。

【請求項9】

路面の所定領域を区画する境界線を検出する画像処理方法であって、
車両の周囲の前記路面を撮像する撮像装置から出力される画像信号に基づく画像を、所定方向に走査し、前記画像信号に含まれる輝度が閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出するエッジ検出工程と、
前記エッジ検出工程で検出した第１のエッジの所定方向側にある画素列の中から選択した複数の画素の輝度の平均値と、前記第１のエッジとは異なる第２のエッジの、前記第１のエッジの所定方向側とは反対方向側にある画素列の中から選択した複数の画素の輝度の平均値と、を比較して、輝度差が所定値以下となる場合、前記第１のエッジ及び前記第２のエッジを、境界線を構成するエッジのペアであると判定する比較工程と、
を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠や走行車線を推定する画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

昨今、車両を所定の駐車区画に駐車する際に、駐車目標とする駐車スペースを自動的に検出して、車両を自動駐車させる車両用駐車支援装置が実用化されている。駐車スペースを検出する際には、車両に搭載したカメラで車両周辺を撮影した画像に基づいて、駐車区画線を検出し、駐車区画線で囲まれた領域を駐車スペースとして検出する。また、車両の走行の際に、車両周辺を撮影した画像に基づいて、走行車線（走行レーン）を区画する車線境界線を自動的に検出して、車両を自動運転させる走行支援装置も実用化されている。

【0003】

このような駐車区画線や車線境界線等としての白線を検出する技術として、車両周辺を撮影した画像からエッジを検出し、検出したエッジに基づいて白線を検出する白線検出装置や白線検出方法が開示されている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平８－１６７０２３号公報

【文献】特開２００７－１７９３８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記従来技術では、カメラのエッジ強調機能により、路面上に長尺に延びる影の境界、日向と日陰との境界等のエッジが強調され、駐車区画線や車線境界線以外の部分も白線として検出されることがあった。

【0006】

そこで、本発明は、駐車区画線や車線境界線等の路面を区画する境界線の検出を、高精度に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の画像処理装置は、路面の所定領域を区画する境界線を検出する画像処理装置である。車両の周囲の前記路面を撮像する撮像装置から出力される画像信号に基づく画像を、所定方向に走査し、前記画像信号に含まれる輝度が閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出するエッジ検出部と、前記エッジ検出部で検出した第１のエッジの所定方向側にある画素の輝度と、前記第１のエッジとは異なる第２のエッジの、前記第１のエッジの所定方向側とは反対方向側にある画素の輝度と、を比較して、輝度の差が所定値以下となる場合、前記第１のエッジ及び前記第２のエッジを、境界線を構成するエッジのペアであると判定する比較部と、を備えたことを特徴とする。

【発明の効果】

【0008】

このように構成された本発明の画像処理装置では、撮影された画像から、輝度が閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。そして、検出した第１のエッジの所定方向側にある画素と、これとは異なる第２のエッジの、第１のエッジの所定方向側とは反対方向側にある画素の輝度の差が所定値以下となる場合、これら第１のエッジ及び第２のエッジを、境界線を構成するエッジのペアと判定する。これにより、路面上に延びる木やポールの影等を、境界線と認識するのを抑制できる。

【0009】

このことにより、駐車区画線や車線境界線等の路面を区画する境界線の検出を、高精度に行うことが可能となる。この結果、駐車場等の路面に設けられた駐車枠の検出や、車線境界線によって区画された走行車線の検出を、高精度に行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。

【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。

【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。

【図4】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。

【図5】実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた駐車区画線の一例を示す。

【図6】実施の形態である画像処理装置の動作の一例を説明するための図であり、（ａ）は俯瞰画像を模式的に示した図であり、（ｂ）は俯瞰画像から検出されたエッジを模式的に示した図である。

【図7】実施の形態である画像処理装置の動作の一例を説明するための図であり、図６（ｂ）の領域Ａの拡大図である。

【図8】実施の形態である画像処理装置の動作の一例を説明するための図であり、図６（ｂ）の領域Ｂの拡大図である。

【発明を実施するための形態】

【0011】

（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。なお、以下では、駐車支援装置について説明するが、本発明の実施の形態である画像処理装置が適用される装置は駐車支援装置に限定されることはなく、走行車線を走行する車両の走行を支援する走行支援装置等にも適用できる。

【0012】

図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。

【0013】

車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。

【0014】

具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。

【0015】

前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ～２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ２０ａ～２０ｄにより、車両Ｖの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ～２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。

【0016】

図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２１と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３３とを有する。

【0017】

カメラＥＣＵ２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２１は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。

【0018】

ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。

【0019】

車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。

【0020】

操舵角センサ３３は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３３で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。

【0021】

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

【0022】

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

【0023】

すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２１が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。

【0024】

ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワーステアリングアクチュエータ５１を駆動して、車両Ｖの操舵角を制御する。

【0025】

スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６１を駆動して、車両Ｖのスロットルを制御する。

【0026】

ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７１を駆動して、車両Ｖのブレーキを制御する。

【0027】

なお、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（登録商標）（Controller Area Network）８０によって接続される。

【0028】

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８１によって接続される。

【0029】

以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２１により主に構成されている。

【0030】

（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。

【0031】

制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述するエッジ検出部１１１、比較部１１２及び駐車枠検出部１１３により検出、推定された駐車スペースを区画する駐車区画線や駐車スペースに基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。

【0032】

車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３３（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワーステアリングアクチュエータ５１、スロットルアクチュエータ６１及びブレーキアクチュエータ７１（図３ではアクチュエータとのみ図示している）を駆動制御する。

【0033】

制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

【0034】

画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0035】

この図３に示すように、制御部１１０は、エッジ検出部１１１、比較部１１２、駐車枠検出部１１３、及び表示制御部１１４を有する。なお、画像処理装置１００及び画像処理方法を、走行支援装置及び走行支援方法に適用する場合は、図３の駐車枠検出部１１３に代えて走行車線検出部を有する構成とすることで、走行車線を検出する画像処理装置及び画像処理方法が得られる。

【0036】

エッジ検出部１１１は、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出により駐車場等の路面上の駐車区画線のエッジを検出する。また、走行支援装置に適用されるときは、エッジ検出部１１１は、路面上の車線境界線等のエッジを検出する。ここでいう駐車区画線とは、主に路面Ｒ上に設けられた駐車領域を区画する境界線（直線）として描かれた線のことである。図５に、車両Ｖと、この車両Ｖが駐車を行おうとしている駐車場Ｐの路面Ｒ上に描かれた駐車区画線２００の一例を示す。駐車区画線２００の間が、駐車スペースを表す駐車枠２０１である。また、図６（ａ）は、カメラ２０で撮影された画像信号を合成して生成された俯瞰画像Ｇを模式的に示した図であり、図６（ｂ）は俯瞰画像Ｇから検出されたエッジを模式的に示した図である。

【0037】

また、車線境界線は、主に路面上に設けられた走行車線（走行レーン）を区画する境界線として描かれ、途切れのない実線（直線又は曲線）、又は所定長さの短い線分が連続する破線（直線又は曲線）である。

【0038】

駐車区画線及び車線区画線は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、エッジ検出部１１１によって検出される駐車区画線や車線境界線は、「白線」に限定されるものではなく、一般に、路面との間にコントラストを有する境界線を駐車区画線や車線境界線として検出すればよい。

【0039】

エッジ検出部１１１は、画像を所定方向に走査（スキャン）して、画像信号に含まれる輝度又は色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。検出したエッジは、輝度又は色のパラメータの変化の方向（傾向）に応じて、第１のエッジ又は第２のエッジとする。

【0040】

なお、走査の方向は、路面Ｒに描かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、図５に示すように、駐車区画線２００が車両Ｖの進行方向と直交する方向に延在しているときには、図６（ａ）に示す俯瞰画像Ｇ上で進行方向に沿って走査するのが望ましい。これに対して、駐車区画線２００が車両Ｖの進行方向に沿って延在しているときは、俯瞰画像Ｇ上で進行方向と直交する方向に走査するのが望ましい。一般には、駐車区画線２００が延びている方向は未知であるため、エッジ検出部１１１は、俯瞰画像Ｇ上で車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査することが望ましい。

【0041】

そして、エッジ検出部１１１は、検出した複数のエッジから、隣り合った画素の輝度差又は色のパラメータ差がプラス方向に所定値よりも大きくなるエッジを第１のエッジ（「プラスエッジ」、「立上りエッジ」ともいう）として検出し、隣り合った画素の輝度差又は色のパラメータ差がマイナス方向に所定値よりも大きくなるエッジを第２のエッジ（「マイナスエッジ」、「立下がりエッジ」ともいう）として検出する。

【0042】

ここで、輝度に基づいてエッジを抽出する場合は、輝度が低く暗い画素（例えば黒い画素）から、閾値よりも大きな差を持って輝度が高く明るい画素（例えば白い画素）に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。つまり、走査位置が路面Ｒから駐車区画線と推定されるものに切替わったことを示す。また、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出する。つまり、走査位置が駐車区画線と推定されるものから路面Ｒに切替わったことを示す。

【0043】

これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面の色のパラメータと、駐車区画線の色のパラメータとを比較する。エッジ検出部１１１は、色のパラメータの値が大きくなる方向に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。また、路面よりも駐車区画線の輝度が低い（或いは色のパラメータが大きい）場合は、輝度や色のパラメータの変化は逆転する。いずれの場合でも駐車区画線等の境界線では、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。

【0044】

上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分（画素の並び、画素列）を、プラスエッジ（第１のエッジ）の線分として抽出する。さらに連続するマイナスエッジで構成される線分（画素列）を、マイナスエッジ（第２のエッジ）の線分として抽出する。抽出したプラスエッジの線分及びマイナスエッジの線分に対して、基準長さに従って長さによるフィルタリングを行い、基準長さに満たないプラスエッジの線分及びマイナスエッジの線分を破棄する。また、長さに加えて、線分が延びる方向（角度）によってフィルタリングしてもよい。

【0045】

次いで、エッジ検出部１１１は、フィルタリングの結果残った、プラスエッジの線分及びマイナスエッジの線分の各端点の位置（座標）を算出し、この位置に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分のペアを抽出する。

【0046】

ところで、使用するカメラ２０によっては、エッジ強調機能によって、駐車区画線と路面の境界以外の長尺に延びる部分、例えば、ポール等の影と路面との境界、日陰と日向との境界、路面テクスチャ等が白く浮かび上がることがある。特に、画像を俯瞰変換した場合、カメラ２０から離れた位置を撮影した画像信号はエッジ強調の影響を受け易い。すると、画像中に本来はない不自然な白線（以下、「偽白線」という。）が映し出されることがあり、エッジ走査によって、本来の駐車区画線等のエッジだけでなく、このような偽白線のエッジも検出され、駐車区画線等と誤認識されることがある。この結果、駐車枠の検出や車線検出の精度にも影響することがある。

【0047】

このような誤認識を回避するため、比較部１１２は、エッジ検出部１１１で抽出された各ペアのエッジ周辺の画像信号に含まれる輝度を比較して、複数のペアの中から、駐車区画線を構成するエッジのペアのみを抽出し、それ以外のペアは偽白線のエッジのペアとして破棄する。

【0048】

このため、比較部１１２は、各ペアに対して、プラスエッジの所定方向側にある画素の輝度と、マイナスエッジの、プラスエッジの所定方向側とは反対方向側にある画素の輝度と、を比較する。より詳細には、プラスエッジから走査元側に、所定のオフセット値でオフセットした画素の輝度と、マイナスエッジから走査先側に、所定のオフセット値でオフセットした画素の輝度とを比較する。輝度差分が所定値以下となる場合、このプラスエッジとマイナスエッジを、駐車区画線を構成するエッジのペアであると判定する。所定値を超えたペアは、駐車区画線以外の線分のエッジを構成するものとして、破棄する。ここでいうオフセットとは、プラス又はマイナスのエッジを構成する画素から、所定方向（プラスエッジは走査元側、マイナスエッジは走査先側）に、オフセット値の分だけ、平行移動することである。この平行移動先の画素をそれぞれ比較する。

【0049】

輝度を比較する際に、プラスエッジとマイナスエッジのそれぞれの平行移動先の画素列の中から、少なくとも１画素ずつを選択して比較すればよい。より好ましくは、画素列の中から複数の画素を任意若しくは所定間隔で選択するか、又は画素列を等間隔で分割した複数の分割点の画素を選択し、これらの輝度の平均値を互いに比較する。これにより、輝度の比較の精度が向上し、駐車区画線を構成するペアの判定精度を向上できる。

【0050】

駐車区画線の外側は、通常は路面であるため、駐車区画線から検出されるプラスエッジから走査元側にオフセットした画素の輝度と、マイナスエッジから走査先側にオフセットした画素の輝度とは、ともに路面の輝度である。このため、これらの画素の輝度には殆ど差が生じない。よって、輝度差が所定値以下であれば、当該ペアは駐車区画線を構成するペアであると判定する。

【0051】

これに対して、例えば、カメラ２０のエッジ強調機能によってポール等の影と路面との境界に偽白線が現れ、エッジのペアが検出された場合、一方のエッジからオフセットした画素からは、路面の輝度が取得される。他方のエッジからオフセットした画素からは、路面よりも暗い影の輝度が取得される。よって、これらの画素の輝度差は大きくなる。このため、輝度差が所定値を超えた場合は、当該ペアは駐車区画線以外の偽白線を構成するものと判定する。このような偽白線を構成するエッジのペアを、破棄することで、後述の駐車枠検出部１１３での駐車枠検出の精度を向上できる。

【0052】

本実施の形態では、具体的に次の手順で輝度を比較している。まず、プラスエッジを構成する画素列（線分）を、走査元側にオフセット値に基づいてオフセットした画素列（線分）を、延在方向に沿って等分割した複数の分割点における画素の輝度を取得し、平均値Ｙｐを算出する。

【0053】

また、マイナスエッジを構成する画素列（線分）から、走査先側にオフセット値に基づいてオフセットした画素列（線分）を、延在方向に沿って等分割した複数の分割点における画素の輝度を取得し、平均値Ｙｍを算出する。

【0054】

そして、比較部１１２は、算出した平均値Ｙｐ、Ｙｍが、下記式（１）を満たす場合、プラスエッジ及びマイナスエッジを、駐車区画線を構成するエッジのペアであると判定する。

【0055】

｜Ｙｐ － Ｙｍ｜ ≦ 閾値 （１）

【0056】

また、オフセットした画素の比較は、輝度に代えて色のパラメータに基づいて行ってもよい。また、輝度差又は色のパラメータ差の閾値としては、特に限定されることはなく、使用するカメラ２０の画像信号の状態に応じて、適宜設定できる。また、オフセット値についても、特に限定されることはなく、カメラ２０のエッジ強調の程度や解像度等に応じて、エッジ近傍の部位の輝度又は色のパラメータの比較を適切に行うことができる位置にオフセットできる値を適宜設定できる。オフセット値は、例えば、画素数（pixel）とすることができる。また、輝度又は色のパラメータの比較に用いる画素の数も、特に限定されることはなく、解像度等に応じて適宜の数を設定できる。また、線分の長さ（画素数）等に応じて、輝度又は色のパラメータの比較に用いる画素の数を増減することもできる。

【0057】

本実施の形態では、画素の比較を輝度に基づいて行い、輝度差（絶対値）の閾値を４５としている。また、オフセット値を、２pixelとしている。また、輝度を比較する画素の数を１０個（１０点）としている。すなわち、各エッジの線分からオフセットした位置の線分を９等分して、当該線分の始点と終点とを含む分割点１０点に対応する１０個の画素の輝度を各々取得し、平均値を算出している。

【0058】

また、閾値、オフセット値、輝度の比較に用いる画素の数や分割数は、記憶部１２０にパラメータデータ１２２として予め設定されている。これらのパラメータデータ１２２は、固定的に設定されていてもよいが、製造元やユーザが任意に設定できるようにしてもよい。例えば、ナビゲーション装置３０の初期設定画面等から設定する仕様としてもよいし、ソフトウェアやデータのバージョンアップ時に設定する仕様としてもよい。カメラ２０の仕様に応じて適切に設定できることから、例えば、本実施の形態の画像処理装置１００のみを車両Ｖに新たに搭載すればよく、カメラ２０等は既存のものを使用でき、汎用性に優れる画像処理装置１００を提供できる。

【0059】

駐車枠検出部１１３は、比較部１１２により駐車区画線を構成するエッジのペアであると判定されたペアのプラスエッジの線分及びマイナスエッジの線分の中から、駐車枠を構成する可能性のある隣り合うエッジの線分を検出する。検出したエッジの線分間の距離に基づいて、駐車枠（つまり、駐車枠で区画された駐車スペース）を検出する。

【0060】

より具体的には、駐車枠検出部１１３は、まず、複数の駐車区画線のペアのプラスエッジの線及びマイナスエッジの線のうち、駐車スペースを構成する可能性のある隣り合う２本の線を選択する。ここで選択される２本の線は、駐車スペースを仕切る一対の駐車区画線の左右両端を構成する線であり、所定の駐車区画線（例えば、図６（ｂ）に示すＫ１）のマイナスエッジの線（Ｅｍ１）と、これに向かい合う駐車区画線（図６（ｂ）に示すＫ２）のプラスエッジの線（Ｅｐ２）である。

【0061】

そして、駐車枠検出部１１３は、選択された２本のエッジの線の距離（隣り合う駐車区画線の内法寸法）を、各エッジの端点の座標に基づいて算出し、算出された距離が、所定範囲内にあるか判定する。この距離が所定の駐車スペース幅±閾値の範囲内であれば、２本のエッジの線で仕切られた領域を駐車スペースとして検出する。駐車スペース幅としては、普通自動車や小型貨物車用の駐車スペースであれば２ｍ～３ｍが望ましい。大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。

【0062】

比較部１１２によって駐車区画線以外の偽白線から検出されたエッジが破棄されているので、駐車枠検出部１１３による駐車スペースの検出を高精度に行うことができる。つまり、駐車区画線と影との間（例えば、図６（ｂ）のエッジの線分Ｅｍ３とＥｐ４の間等）が駐車スペースとして誤検知されるのを抑制できる。

【0063】

そして、駐車枠検出部１１３は、検出された駐車スペースに基づいて、駐車スペースの形状、つまり駐車枠（図５に示す２０１）を推定し、その座標値を駐車枠登録データ１２１として記憶部１２０に登録する。

【0064】

表示制御部１１４は、カメラ２０により撮像された車両Ｖ周辺の路面画像や、駐車枠検出部１１３により検出、推定された駐車枠を示す画像をこの路面画像に適宜重複して、あるいは単独でナビゲーション装置（表示装置）３０のモニター３１に表示させるための表示制御信号をナビゲーション装置３０に送出する。

【0065】

記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。

【0066】

また、前述したように、記憶部１２０には、駐車枠登録データ１２１、パラメータデータ１２２が格納される。パラメータデータ１２２として、閾値、オフセット値、輝度の比較に用いる画素の数や分割数等の他に、駐車区画線や車線境界線等の境界線の基準長さ、駐車スペース幅及びその閾値等を格納することもできる。さらに、境界線の幅、延在方向の角度等、画像処理装置１００が使用する様々なパラメータを格納することもできる。また、駐車支援装置１が使用される国、地域、駐車スペース（駐車枠）の形状や大きさ、走行車線間の距離や車線境界線の形状等に対応して、複数のパラメータを格納し、適切なパラメータを選択する構成とすることもできる。

【0067】

（画像処理装置の動作）
次に、本実施の形態である画像処理装置１００の動作の一例を図４のフローチャート及び図５～図８を参照して説明する。

【0068】

図４は画像処理装置１００の動作を説明するためのフローチャートである。図４のフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。

【0069】

ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖ周囲の路面Ｒの画像信号を取得する。

【0070】

ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（俯瞰画像）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を生成する技術は公知であり、一例として、特開平３－９９９５２号公報や特開２００３－１１８５２２号公報に開示された技術が知られている。

【0071】

図６（ａ）は、合成した信号に基づく俯瞰画像Ｇの一例である。この俯瞰画像Ｇは、カメラ２０ａ～２０ｄで撮影された画像信号に基づいて、それぞれ車両Ｖを真上から見下ろした俯瞰画像ｇ１，ｇ２，ｇ３，ｇ４に変換して、さらに各俯瞰画像ｇ１を合成して生成された画像である。俯瞰画像Ｇの中心部分には、車両Ｖを真上から見下ろした状態を示すアイコンＩが表示される。

【0072】

なお、ステップＳ２において画像合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における画像合成作業を行うこともできる。しかしながら、俯瞰画像Ｇを生成してからプラスエッジとマイナスエッジの抽出作業を行うほうが画像処理装置１００の処理負担が低減できる。

【0073】

ステップＳ３（エッジ検出工程）では、前述したように、エッジ検出部１１１がステップＳ２で合成した俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度に基づいて、画像中のプラスエッジ及びマイナスエッジを抽出する。

【0074】

一例として、図６（ａ）に示すように、俯瞰画像ＧのＸ軸（ここでは、図５に矢印で示す車両Ｖの走行方向に沿う方向であって駐車区画線２００の延在方向に直交する方向）を図中の左右方向に設定し、Ｙ軸（ここでは駐車区画線２００の延在方向）を図中の上下方向に設定する。エッジ検出部１１１は、俯瞰画像Ｇを、車両Ｖの走行方向に直交する方向であって図中の左から右（Ｘ軸正方向）に向けて走査する。これにより、画像中のプラス（＋）エッジ及びマイナス（－）エッジを検出していく。なお、図中の右から左、つまりＸ軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ（階調）の変化に基づいてこれらを検出する。

【0075】

図６（ｂ）に、俯瞰画像Ｇで検出されたプラスエッジを太線で、マイナスエッジを太破線で模式的に示した。この図６（ｂ）に示すように、４本の駐車区画線の外周部分であって、左側（走査元）にプラスエッジの線分Ｅｐ１，Ｅｐ２，Ｅｐ３，Ｅｐ６が検出され、右側（走査先）にマイナスエッジの線分Ｅｍ１，Ｅｍ２，Ｅｍ３，Ｅｍ６が検出された。この他に、エッジ強調機能の影響により、長尺に延びる物体（ポール）の影の両側に、それぞれプラスエッジの線分Ｅｐ４，Ｅｐ５と、マイナスエッジの線分Ｅｍ４，Ｅｍ５が検出された。

【0076】

また、この他にも、路面上での光の反射や、ゴミや汚れ等がある場合、これらのエッジもノイズ（短いエッジ）として検出されることがある。これらのノイズは、次のステップＳ４のフィルタリングによって破棄される。

【0077】

次のステップＳ４では、エッジ検出部１１１がステップＳ３で検出したプラスエッジ及びマイナスエッジのフィルタリングを行う。このフィルタリングは、次のステップＳ５のペアの抽出の後に行うこともできるが、ペアの抽出の前に行って、ノイズを除去することで、画像処理を高速化できる。

【0078】

まず、エッジ検出部１１１は予め決められた基準長さ以上の長さを有し、かつ予め決められた方向に延びるプラスエッジの線分及びマイナスエッジの線分を抽出する。基準長さは、例えば、車両Ｖの車長分（例えば５ｍ）の長さとしているが、駐車区画線が短い場合等は、車長よりも短い長さとしている。角度は、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度としている。図６の場合は、駐車区画線は、走行方向に対して駐車スペースに向かって略直角に延びる直線であるため、角度＝９０°±閾値としている。

【0079】

この処理により、プラスエッジの線分Ｅｐ１～Ｅｐ６と、マイナスエッジの線分Ｅｍ１～Ｅｍ６が抽出される。これに対して、路面の反射やゴミ等の存在によって検知された短いエッジや、垂直方向以外に延びる長いエッジの線分は抽出されず、ノイズとして破棄される。

【0080】

次のステップＳ５で、エッジ検出部１１１は、抽出された複数のエッジの線分から、隣接するプラスエッジの線分とマイナスエッジの線分のペアを抽出する。このとき、俯瞰画像Ｇに基づき路面上で隣り合うプラスエッジとマイナスエッジの距離を算出し、この距離が所定の線幅±閾値の範囲内であれば、これらをペアと判定する。

【0081】

図６（ａ）の例では、プラスエッジの線分Ｅｐ１とマイナスエッジの線分Ｅｍ１のペアが抽出される。以下、同様にＥｐ２とＥｍ２、Ｅｐ３とＥｍ３、Ｅｐ４とＥｍ４、Ｅｐ５とＥｍ５、Ｅｐ６とＥｍ６が、それぞれペアとして抽出される。つまり、駐車区画線以外の偽白線のエッジも、駐車区画線を構成するエッジのペアの候補として抽出されてしまう。

【0082】

そこで、次のステップＳ６～Ｓ１１の駐車区画線抽出のループ処理（比較工程）によって、駐車区画線を構成するエッジのペアのみを抽出し、偽白線を構成するエッジのペアを破棄している。このステップＳ６～Ｓ１１の処理は、すべてのペアの処理を行ったと判定した場合に、終了する。

【0083】

まず、ステップＳ７で、処理対象のペアのプラスエッジの線分から、走査元側にオフセットした１０点の画素の輝度を取得し、その平均値Ｙｐを算出する。次いで、ステップＳ８で、処理対象のペアのマイナスエッジの線分から、走査先側にオフセットした１０点の画素の輝度を取得し、その平均値Ｙｍを算出する。

【0084】

次いで、ステップＳ９で、輝度の平均値Ｙｐ、Ｙｍの差分が閾値以下か否か、すなわち、前述の式（１）を満足するか否かを判定する。式（１）を満足する場合（差分が閾値以下）は、当該ペアが駐車区画線を構成するペアであると判定し、ステップＳ１０へ進み、当該プラスエッジとマイナスエッジのペアで挟まれた線分を、駐車区画線として記憶部１２０に登録する。その後、処理すべき次のペアが存在する場合は、ステップＳ７へ戻り、処理すべきペアが存在しない場合は、ループを終了してステップＳ１２へと進む。

【0085】

一方、式（１）を満足しない場合（差分が閾値超）は、当該ペアが駐車区画線以外の偽白線を構成するペアであると判定し、ステップＳ１０をスキップして、当該ペアを破棄する。これにより、偽白線が除去される。その後、処理すべき次のペアが存在する場合は、ステップＳ７へ戻り、処理すべきペアが存在しない場合は、ループを終了してステップＳ１２へと進む。

【0086】

以下、ステップＳ７～Ｓ１０の処理の具体例を、図７、図８を参照しながら説明する。図７は、図６（ｂ）の領域Ａの拡大図であり、駐車区画線の外周に検出されたプラスエッジの線分Ｅｐ１とマイナスエッジの線分Ｅｍ１のペアを示す。図８は、図６（ｂ）の領域Ｂの拡大図であり、偽白線の外周に検出されたプラスエッジの線分Ｅｐ４とマイナスエッジの線分Ｅｍ４のペア、及びプラスエッジの線分Ｅｐ５とマイナスエッジの線分Ｅｍ５のペアを示す。

【0087】

図７に示す例では、プラスエッジの線分Ｅｐ１から走査元側に２pixel（２pix）平行移動（オフセット）した画素列の線分Ｌｐ１と、マイナスエッジの線分Ｅｍ１から走査先側に２pixel（２pix）平行移動（オフセット）した画素列の線分Ｌｍ１を抽出する。各線分Ｌｐ１，Ｌｍ１を９等分し、各線分Ｌｐ１，Ｌｍ１の両端（始点と終点）を含む１０点の画素Ｑの輝度を取得する。取得した複数の輝度を平均して平均値Ｙｐ，Ｙｍ（以下、「Ｙｐ１」，「Ｙｍ１」のように、線分と同じ番号を付与して区別する。）を算出する。

【0088】

同様にして、図８に示す例では、プラスエッジの線分Ｅｐ４とマイナスエッジの線分Ｅｍ４のペアに基づいて、線分Ｌｐ４，Ｌｍ４が抽出され、これらを９等分して得られる１０点の画素Ｑの輝度の平均値Ｙｐ４，Ｙｍ４が算出される。また、プラスエッジの線分Ｅｐ５とマイナスエッジの線分Ｅｍ５のペアに基づいて、線分Ｌｐ５，Ｌｍ５が抽出され、これらを９等分して得られる１０点の画素Ｑの輝度の平均値Ｙｐ５，Ｙｍ５が算出される。

【0089】

図７に示す線分Ｅｐ１，Ｅｍ１のペアは駐車区画線を構成するペアであるため、線分Ｌｐ１，Ｌｍ１においては路面の輝度が取得され、これらの平均値Ｙｐ１，Ｙｍ１の差分は閾値以下となる。このため、式（１）を満足し、エッジの線分Ｅｐ１，Ｅｍ１は、駐車区画線を構成するエッジのペアと判定され、駐車区画線として記憶部１２０に登録される。

【0090】

一方、図８に示す線分Ｅｐ４，Ｅｍ４のペア及び線分Ｅｐ５，Ｅｍ５のペアは、エッジ強調機能により影の周囲に現れる偽白線のエッジである。このため、線分Ｌｐ４，Ｌｍ５においては路面の輝度が取得され、線分Ｌｍ４，Ｌｐ５においては路面よりも暗い影の輝度が取得される。よって、平均値Ｙｐ４と平均値Ｙｍ４、及び平均値Ｙｐ５と平均値Ｙｍ５との差分が大きくなり、式（１）を満足せず、これらのペアは破棄される。

【0091】

以上から、図６（ｂ）の例では、プラスエッジの線分とマイナスエッジの線分のペア（Ｅｐ１とＥｍ１、Ｅｐ２とＥｍ２、Ｅｐ３とＥｍ３及びＥｐ６とＥｍ６）で構成される駐車区画線Ｋ１～Ｋ４が記憶部１２０に登録される。

【0092】

図４に戻り、ステップＳ６～Ｓ１１の駐車区画線抽出のループ処理を抜けると、次のステップＳ１２では、駐車枠検出部１１３が記憶部１２０に登録された駐車区画線（図６（ｂ）の例では、駐車区画線Ｋ１～Ｋ４）に基づいて、駐車枠及び駐車スペースを検出する。それには、前述したように駐車スペースを構成する可能性のある隣り合う駐車区画線Ｋ１～Ｋ４の、向かい合うプラスエッジの線分とマイナスエッジの線分間の距離を算出する。この距離が所定の駐車スペース幅±閾値の範囲であれば、この２つの駐車区画線で間の領域が駐車スペースであると判定する。図６（ｂ）の例では、プラス又はマイナスエッジの線分Ｅｍ１と線分Ｅｐ２間、線分Ｅｍ２と線分Ｅｐ３間、線分Ｅｍ３と線分Ｅｐ６間が、駐車スペースとして検出される。そして、検出された駐車スペースを構成する向かい合うプラスエッジの線分とマイナスエッジの線分に沿った線を長辺とし、向かい合う両端をそれぞれ結んだ線を短辺とする矩形状の枠が駐車枠２０１（図５参照）であると推定できる。

【0093】

ステップＳ１３では、駐車枠検出部１１３が、各駐車枠２０１を構成する向かい合うプラスエッジの線分及びマイナスエッジの線分の端点の座標値を各々算出し、駐車枠登録データ１２１として記憶部１２０に登録する。このとき、駐車枠２０１の少なくとも車両Ｖに近い側の２つの端点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠２０１を特定できるが、４点の座標値を登録してもよい。また、駐車区画線２００の角度（延在方向）、その他自動駐車処理に必要な情報を駐車枠登録データ１２１に加えることもできる。

【0094】

また、駐車枠検出部１１３は、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。例えば、検出された駐車スペースに他車両や障害物等が存在するときには、駐車ができないと判断して、駐車枠登録データ１２１として記憶部１２０に登録しないようにする。また、駐車枠検出部１１３は、車両Ｖから近い駐車枠、又は駐車し易い駐車枠を、駐車可能な駐車枠と判定し、駐車枠登録データ１２１として記憶部１２０に登録することもできる。

【0095】

以上のようにして検出された駐車枠登録データ１２１が、車両制御ＥＣＵ４０に送出され、車両Ｖの駐車を支援する各種処理が実行される。

【0096】

（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、エッジ検出部１１１が、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づく画像を、所定方向に走査し、画像信号に含まれる輝度が閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。そして、比較部１１２が、エッジ検出部１１１で検出した第１のエッジの所定方向側にある画素の輝度と、第２のエッジの、第１のエッジの所定方向側とは反対方向側にある画素の輝度と、を比較して、輝度差が所定値以下となる場合、この第１のエッジ及び第２のエッジを、境界線を構成するエッジのペアであると判定する。

【0097】

本実施の形態では、第１のエッジと、第２のエッジは、隣り合った画素の輝度差がプラス方向に所定値よりも大きくなるプラスエッジと、隣り合った画素の輝度差がマイナス方向に所定値よりも大きくなるマイナスエッジである。

【0098】

これにより、カメラ２０のエッジ強調機能によりエッジが強調された路面上に延びる木やポールの影等を構成するエッジのペアが除外され、境界線と判定されるのを抑制できる。この結果、駐車区画線や車線境界線等の路面を区画する境界線の検出を、高精度に行うことが可能な画像処理装置及び画像処理方法を提供できる。この結果、カメラ２０が有する機能に左右されることなく、何れのカメラ２０を備えた車両Ｖにも適用可能な画像処理装置１００及び画像処理方法を提供できる。

【0099】

また、この画像処理装置１００又は画像処理方法を備えることで、駐車枠の検出や走行車線の検出を高精度に行うことが可能な駐車支援装置、駐車支援方法、走行支援装置及び走行支援方法を提供できる。

【0100】

また、比較部１１２は、第１のエッジ（プラスエッジ）の所定方向側にある画素の輝度と、第２のエッジ（マイナスエッジ）の、第１のエッジの所定方向側と反対方向側にある画素の輝度と、を比較するとき、第１のエッジ及び第２のエッジから所定量オフセットした画素を用いて比較することが望ましい。これにより、例えば、輝度が明確に異なる路面部分の輝度と影部分の輝度とを比較でき、境界線の検出精度をより向上できる。

【0101】

また、本実施の形態では、比較部１１２は下記式を満たす場合、第１のエッジ及び第２のエッジを、境界線を構成するエッジのペアであると判定する。これにより、境界線以外の影等のエッジのペアを破棄し、境界線を構成するエッジのペアのみを高精度に抽出できる。

【0102】

｜Ｙｐ － Ｙｍ｜ ≦ 閾値
上記式中、Ｙｐは、プラスエッジの所定方向側にある画素の並びを、延在方向に沿って等分割した複数の分割点における輝度を平均した平均値である。Ｙｍは、マイナスエッジの、プラスエッジの所定方向側とは反対方向側にある画素の並びを、延在方向に沿って等分割した複数の分割点における画素の輝度を平均した平均値である。

【0103】

また、エッジ検出部１１１は、輝度に代えて、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてエッジを検出してもよく、この場合でも、第１のエッジ（プラスエッジ）と、これと異なる第２のエッジ（マイナスエッジ）を、より高速かつより精度よく検出できる。

【0104】

また、エッジ検出部１１１及び比較部１１２で用いられるオフセット値等のパラメータ及び各種閾値が、予め設定されている記憶部１２０を備える構成としてもよい。この構成により、使用するカメラ２０の機能や駐車場や走行車線の状態（長尺な影を作り易いポール、木、建物等の有無、天候、季節、時間等。）に基づいてオフセット値や閾値を任意に設定したり、更新したりでき、境界線の検出をより適切に行えるとともに、画像処理装置１００や画像処理方法の汎用性も向上する。

【0105】

また、境界線が、駐車スペースを区画する駐車区画線である場合は、比較部１１２によって判定された境界線を構成するエッジのペアの中から、隣り合うペアを検出し、隣り合うペア間の距離に基づいて、駐車枠を検出する駐車枠検出部１１３を備える構成とすることで、駐車枠をより高精度に検出可能となる。よって、画像処理装置１００及び画像処理方法を、駐車支援装置及び駐車支援方法に好適に用いることができる。

【0106】

また、境界線が、走行車線を区画する車線境界線である場合は、比較部１１２によって判定された境界線を構成するエッジのペアに基づいて、走行車線を検出する走行車線検出部を備えた構成とすることで、走行車線を高精度に検出可能となる。よって、画像処理装置１００及び画像処理方法を、走行支援装置及び走行支援方法に好適に用いることができる。

【0107】

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

【0108】

例えば、上述の実施の形態である画像処理装置１００では、画像の輝度や色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報の変化の大きさ及び変化の方向（プラス方向又はマイナス方向）に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。

【符号の説明】

【0109】

２０ カメラ（撮像装置） ２０ａ 前方カメラ（撮像装置）
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） １００ 画像処理装置
１１１ エッジ検出部 １１２ 比較部
１１３ 駐車枠検出部 １２０ 記憶部
２００ 駐車区画線 ２０１ 駐車枠
Ｅｍ１～Ｅｍ６ マイナスエッジの線分（第２のエッジ）
Ｅｐ１～Ｅｐ６ プラスエッジの線分（第１のエッジ）
Ｇ 俯瞰画像（画像） Ｒ 路面
Ｖ 車両 Ｙｍ 平均値（第２のエッジ）
Ｙｐ 平均値（第１のエッジ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】