特許 7226986 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-13

(45)【発行日】2023-02-21

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230214BHJP

   G06T 7/00 20170101ALI20230214BHJP

   B60R 99/00 20090101ALI20230214BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

B60R99/00 321

【請求項の数】 7

(21)【出願番号】P 2018234807

(22)【出願日】2018-12-14

(65)【公開番号】P2020095630

(43)【公開日】2020-06-18

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】金武 純

(72)【発明者】

【氏名】佐野 裕明

(72)【発明者】

【氏名】吉村 亮

(72)【発明者】

【氏名】吉原 篤

(72)【発明者】

【氏名】山本 徹夫

(72)【発明者】

【氏名】倭文 知騎

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１４－１０６７３１（ＪＰ，Ａ）

【文献】特開２０１３－００８０７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｂ６０Ｒ ９９／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された撮像装置により連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定し、
前記複数の画像のうちの前記第１画像よりも時間的に後に撮像される第２画像の中で前記区画線が検出される第２領域を前記第１領域に基づいて予測し、
前記車両の旋回を検出すると、設定中の前記第１領域をリセットする制御部
を備える画像処理装置。

【請求項2】

前記制御部は、
前記第１画像における位置が固定の前記第１領域を設定し、
前記第１画像よりも時間的に後に撮像される複数の前記第２画像毎に、前記第２画像における位置が変動する前記第２領域を前記第１画像に基づいて予測する
請求項１に記載の画像処理装置。

【請求項3】

前記制御部は、
前記第２領域で検出された前記区画線の位置に基づいて、当該区画線が検出された画像よりも時間的に後に撮像される前記第２画像の中で前記第２領域を予測する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記制御部は、
設定中の前記第１領域がない状態で前記区画線が検出された場合に、当該区画線が検出された領域を前記第１領域として設定する
請求項１～３のいずれか一つに記載の画像処理装置。

【請求項5】

前記制御部は、
新たな区画線が検出される第３領域の位置を既に検出された前記区画線の間隔に基づいて予測する
請求項１～４のいずれか一つに記載の画像処理装置。

【請求項6】

前記制御部は、
前記第１画像の中で他の領域よりも分解能が高い高分解能領域を探索して前記区画線を検出し、前記第２画像の中で前記第２領域を選択的に探索して前記区画線を検出する
請求項１～５のいずれか一つに記載の画像処理装置。

【請求項7】

車両に搭載された撮像装置により連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定する設定工程と、
前記複数の画像のうちの前記第１画像よりも時間的に後に撮像される第２画像の中で前記区画線が検出される第２領域を前記第１領域に基づいて予測する予測工程と、
前記車両が旋回した場合に、設定中の前記第１領域をリセットするリセット工程とを含む
制御部が実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像から車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、画像から駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。

【0003】

かかる画像処理装置は、画像を撮像するカメラが搭載された車両が駐車場内を移動する場合、移動しながら連続して撮像される複数の各画像から区画線を検出して、駐車枠を検出する必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－８７７５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、例えば、連続して撮像される複数の各画像内の全領域を探索して区画線を検出する場合、区画線の検出に要する処理時間が嵩む。

【0006】

実施形態の一態様は、上記に鑑みてなされたものであって、連続して撮像される複数の各画像から検出する区画線の検出精度を維持しつつ、区画線の検出に要する処理時間を短縮することができる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の一態様に係る画像処理装置は、設定部と、予測部とを備える。設定部は、移動しながら連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定する。予測部は、前記複数の画像のうちの前記第１画像よりも時間的に後に撮像される第２画像の中で前記区画線が検出される第２領域を前記第１領域に基づいて予測する。

【発明の効果】

【0008】

実施形態の一態様に係る画像処理装置および画像処理方法は、連続して撮像される複数の各画像から検出する区画線の検出精度を維持しつつ、区画線の検出に要する処理時間を短縮することができる。

【図面の簡単な説明】

【0009】

【図1A】図１Ａは、画像処理装置の搭載例を示す図である。

【図1B】図１Ｂは、画像処理方法の概要を示す図である。

【図2】図２は、画像処理装置のブロック図である。

【図3】図３は、駐車枠管理部のブロック図である。

【図4A】図４Ａは、第１領域の設定手順の説明図である。

【図4B】図４Ｂは、第１領域の設定手順の説明図である。

【図5】図５は、第２領域の設定手順の説明図である。

【図6】図６は、第３領域の設定手順の説明図である。

【図7】図７は、駐車枠管理部が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

【0011】

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図１Ａに示す画像処理装置１によって実行される。

【0012】

図１Ａに示すように、実施形態に係る画像処理装置１は、車載カメラ１０が搭載された自車両（以下、車両Ｃと記載する）に搭載され、車載カメラ１０によって撮像された撮像画像（以下、単に画像と記載する）から駐車枠ＰＳを検出する。

【0013】

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する単眼式の撮像装置である。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用される。これにより、車載カメラ１０は、図１Ａに示すような広角の撮像領域Ｒ内に存在する駐車枠ＰＳを撮像することができる。

【0014】

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

【0015】

画像処理装置１は、駐車枠ＰＳの検出を行う場合、まず、画像から各駐車枠ＰＳを区画する区画線の候補となる区画線候補を検出し、検出した区画線候補に基づいて各駐車枠ＰＳを検出する。このとき、例えば、区画線候補が離散して検出される場合や、不連続的に検出される場合、駐車枠ＰＳを検出できないおそれがある。

【0016】

そこで、実施形態に係る画像処理装置１は、検出した区画線候補を所定の統合条件に基づいて統合する。これにより、実施形態に係る画像処理装置１では、駐車枠ＰＳの検出精度を向上させることが可能となる。

【0017】

具体的には、図１Ｂに示すように、画像処理装置１は、まず、第１画像Ｉ１から区画線候補Ｌｃを検出する（ステップＳ１）。例えば、画像処理装置１は、第１画像Ｉ１に対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて区画線候補Ｌｃを検出する。

【0018】

そして、画像処理装置１は、第１画像Ｉ１において、区画線と路面との境界に対応するエッジ線を区画線候補Ｌｃとして検出する。すなわち、区画線候補Ｌｃは、区画線の幅方向の左右両端に対応するエッジ線のペアである。

【0019】

続いて、画像処理装置１は、ステップＳ１において、検出した区画線候補Ｌｃを所定の統合条件に基づいて統合し、区画線Ｌｉ１，Ｌｉ２を検出する（ステップＳ２）。これにより、画像処理装置１では、一対の区画線Ｌｉ１，Ｌｉ２によって挟まれた領域を駐車枠ＰＳとして検出することができる。

【0020】

かかる画像処理装置１は、移動しながら連続して撮像される複数の画像から、それぞれの画像に写る区画線Ｌｉ１，Ｌｉ２を検出することで、移動する車両Ｃに対する区画線Ｌｉ１，Ｌｉ２の位置および角度を算出することができる。

【0021】

このとき、画像処理装置１は、各画像における全領域を探索して区画線Ｌｉ１，Ｌｉ２を検出する場合、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間が嵩む。そこで、画像処理装置１は、区画線Ｌｉ１，Ｌｉ２を検出した場合、その後に順次撮像される画像については、各画像における全領域の中で、区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い領域に限定して区画線Ｌｉ１，Ｌｉ２を検出する処理を行う。

【0022】

具体的には、画像処理装置１は、移動しながら連続して撮像される複数の画像のうち、図１Ｂに示す第１画像Ｉ１から区画線Ｌｉ１，Ｌｉ２を検出した場合、区画線Ｌｉ１，Ｌｉ２を検出した領域を第１領域Ａ１として設定する（ステップＳ３）。

【0023】

その後、画像処理装置１は、第１画像Ｉ１よりも時間的に後に順次連続して撮像される複数の第２画像Ｉ２，Ｉ３，Ｉ４については、第１領域Ａ１に基づいて区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い第２領域Ａ２を順次予測する（ステップＳ４）。

【0024】

このとき、画像処理装置１は、例えば、第１画像Ｉ１における第１領域Ａ１の位置、車載カメラ１０のシャッタースピード、および車両Ｃの移動速度等に基づいて、第２領域Ａ２を順次予測する。

【0025】

そして、画像処理装置１は、各第２画像Ｉ２，Ｉ３，Ｉ４の全領域の中で、第２領域Ａ２について選択的にエッジ処理を行い、第２領域Ａ２以外の領域についてはエッジ処理を行わずに、区画線候補Ｌｃを検出して区画線Ｌｉ１，Ｌｉ２を検出する。

【0026】

これにより、画像処理装置１は、各第２画像Ｉ２，Ｉ３，Ｉ４の全領域内を探索して区画線Ｌｉ１，Ｌｉ２を検出する場合に比べて、区画線Ｌｉ１，Ｌｉ２の検出精度を維持しつつ、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間を短縮することができる。なお、第１領域Ａ１の設定手順については、図４Ａおよび図４Ｂを参照して後述し、第２領域Ａ２の予測手順については、図５を参照して後述する。

【0027】

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。

【0028】

図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ（Electronic Control Unit）５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

【0029】

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

【0030】

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

【0031】

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線候補検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。

【0032】

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0033】

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

【0034】

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0035】

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0036】

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以下の場合）に、後述する駐車枠の検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

【0037】

線分抽出部２１は、車載カメラ１０から入力される画像から各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像をグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像における各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

【0038】

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

【0039】

かかる線分抽出部２１は、記憶部３に記憶される後述の第２領域情報３２および第３領域情報３３に基づき、画像中の一部の領域を選択的に探索して検出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

【0040】

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠を構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

【0041】

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

【0042】

区画線候補検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。具体的には、区画線候補検出部２３は、互いに略平行であり、その間隔が区画線の幅に応じた所定範囲に収まるエッジ線同士を区画線候補として検出する。

【0043】

すなわち、区画線候補検出部２３は、各区画線の幅方向の左右両端に対応するエッジ線を区画線候補として検出する。区画線候補検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。

【0044】

なお、区画線候補検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線候補検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷を抑えることが可能となる。

【0045】

除外判定部２４は、区画線候補検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

【0046】

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

【0047】

また、除外判定部２４は、路面標識等の駐車枠の検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線候補検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像に含まれる各路面標識を検出することができる。

【0048】

除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

【0049】

駐車枠検出部２５は、区画線候補検出部２３によって検出された区画線候補に基づき、駐車枠を検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される区画線候補について駐車枠として検出する。

【0050】

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠を検出することができる。

【0051】

すなわち、ゼブラゾーン等を避けて駐車枠を検出することができる。駐車枠検出部２５は、駐車枠を検出すると、駐車枠に関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠として検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

【0052】

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠を時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

【0053】

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠との相対的な位置関係を車両Ｃの移動に伴って随時更新する。

【0054】

かかる駐車枠管理部２６は、上記の線分抽出部２１によってエッジ線の検出処理を行わせる領域（以下、検出領域と記載する場合がある）の設定を行う。例えば、駐車枠管理部２６は、移動しながら連続して撮像される画像から駐車枠検出部２５によって区画線が検出された場合、画像における区画線が検出された領域に基づき、次に撮像される画像において区画線が写り込む可能性が高い領域を予測する。

【0055】

そして、駐車枠管理部２６は、予測した領域を次に撮像された画像において線分抽出部２１にエッジ線を検出させる検出領域として設定する。これにより、線分抽出部２１は、次に撮像された画像の中で駐車枠管理部２６によって予測されて設定された検出領域においてのみ、エッジ線の検出処理を行えばよいので、エッジ線の検出処理に要する時間を短縮することができる。その結果、画像処理装置１は、区画線の検出精度を維持しつつ、区画線の検出に要する処理時間を短縮することができる。

【0056】

また、駐車枠管理部２６は、複数の駐車枠がそれぞれ連続して配置されると仮定して、新たに検出される駐車枠の検出領域を設定することも可能である。例えば、駐車枠管理部２６は、ある画像から駐車枠検出部２５によって検出された１つの駐車枠を基準とし、かかる駐車枠と連続して複数の駐車枠が存在すると予測する。

【0057】

そして、駐車枠管理部２６は、予測した駐車枠の位置を次に撮像された画像における検出領域として設定する。これにより、線分抽出部２１は、新たな区画線を構成するエッジ線を検出する場合に、駐車枠管理部２６によって設定された検出領域においてのみ、エッジ線の検出処理を行えばよいので、エッジ線の検出処理に要する時間を短縮することができる。かかる駐車枠管理部２６の構成および動作については、図３～図６を参照して後述する。

【0058】

停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車両の幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。

【0059】

停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

【0060】

次に、図３～図６を用いて、実施形態に係る駐車枠管理部２６について具体的に説明する。図３は、駐車枠管理部２６のブロック図である。図４Ａおよび図４Ｂは、第１領域の設定手順を示す説明図である。図５は、第２領域の設定手順を示す説明図である。図６は、第３領域の設定手順を示す説明図である。

【0061】

なお、図３には、駐車枠管理部２６が備える構成のうち、線分抽出部２１によってエッジ線を検出させる検出領域を設定する構成を選択的に示しており、その他の構成については図示を省略している。

【0062】

図３に示すように、駐車枠管理部２６は、設定部２６１と、予測部２６２とを備える。設定部２６１は、移動しながら連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定する処理部である。

【0063】

また、予測部２６２は、連続して撮像される複数の画像のうちの第１画像よりも時間的に後に撮像される第２画像の中で区画線が検出される第２領域を第１領域に基づいて予測する処理部である。

【0064】

また、記憶部３は、第１領域情報３１、第２領域情報３２、および第３領域情報３３を記憶する。第１領域情報３１は、設定部２６１によって設定されて記憶部３に登録される第１画像中の第１領域の位置を示す情報である。第２領域情報３２および第３領域情報３３は、予測部２６２によって予測されて記憶部３に登録される各第２画像中の第２領域および後述する第３領域の位置を示す情報である。

【0065】

ここで、前述したように、車載カメラ１０は、広角レンズが採用されているため、撮像する画像の中央に近いほど分解能が高く、画像の中央から外側に行くにつれて分解能が低下して解像度が粗くなる。

【0066】

このため、図４Ａに示すように、設定部２６１は、区画線の検出が開始される場合、まず、第１画像Ｉ１における中央の高分解能領域Ａ０を検出領域に設定する。つまり、設定部２６１は、第１画像Ｉ１における中央の高分解能領域Ａ０を対象領域、注目領域、または関心領域等と称されるＲＯＩ（Region Of Interest）に設定する。

【0067】

この時点では、まだ、区画線Ｌｉ１，Ｌｉ２は、検出されていない。このため、記憶部３には、第１領域情報３１、第２領域情報３２、および第３領域情報３３が登録されていない。かかる状態が、高分解能領域Ａ０が検出領域に設定されている状態である。

【0068】

設定部２６１は、例えば、車両Ｃの走行速度が３０Ｋｍ／ｈ以下になり区画線の検出が開始される場合に、記憶部３に登録されている第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットすることで、高分解能領域Ａ０を検出領域に設定する。

【0069】

また、設定部２６１は、例えば、駐車場を走行中の車両Ｃが旋回することで、それまで検出されていた区画線が検出されなくなる場合にも、第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットして高分解能領域Ａ０を検出領域に設定する。

【0070】

線分抽出部２１は、記憶部３に第１領域情報３１、第２領域情報３２、および第３領域情報３３が登録されていない場合、つまり、高分解能領域Ａ０が検出領域に設定されている場合に、高分解能領域Ａ０内を探索して第１画像Ｉ１からエッジ線を抽出する。これにより、駐車枠検出部２５は、高分解能領域Ａ０内から検出されたエッジ線から高精度に区画線Ｌｉ１，Ｌｉ２を検出することができる。

【0071】

続いて、設定部２６１は、図４Ｂに示すように、第１画像Ｉ１における区画線Ｌｉ１，Ｌｉ２が検出された領域を包含する破線で示した領域を第１領域Ａ１として設定し、第１画像Ｉ１における第１領域Ａ１の位置を示す第１領域情報３１を記憶部３に登録する。

【0072】

かかる第１領域情報３１は、設定部２６１によってリセットされるまで記憶部３に保持される。つまり、設定部２６１は、第１画像Ｉ１における位置が固定の第１領域Ａ１を設定する。

【0073】

このように、設定部２６１は、設定中の第１領域がない状態で区画線Ｌｉ１，Ｌｉ２が検出された場合に、区画線Ｌｉ１，Ｌｉ２が検出された領域を第１領域として設定する。これにより、設定部２６１は、区画線の検出が開始される場合に、毎回最初に区画線Ｌｉ１，Ｌｉ２が検出された正確な領域を第１領域として設定することができる。

【0074】

その後、図５および図６に示すように、予測部２６２は、第１画像Ｉ１よりも後に撮像される複数の第２画像Ｉ２，Ｉ３の中で区画線Ｌｉ１，Ｌｉ２が検出される第２領域Ａ２を第１領域Ａ１に基づいて予想する。

【0075】

例えば、車載カメラ１０によって車両Ｃの左側方が撮像される場合に、車両Ｃが前進すると、図５に示すように、第２画像Ｉ２では、第１画像Ｉ１で区画線Ｌｉ１，Ｌｉ２が検出された第１領域Ａ１よりも左側に区画線Ｌｉ１，Ｌｉ２が写り込む。

【0076】

そこで、予測部２６２は、第２画像Ｉ２の中で区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い点線で示す領域を第１領域Ａ１の位置に基づき第２領域Ａ２として設定し、第２領域Ａ２の位置を示す第２領域情報３２を記憶部３に登録する。

【0077】

このとき、予測部２６２は、第１画像Ｉ１における第１領域Ａ１の位置と、車両Ｃの走行速度から算出される移動量、舵角、および広角レンズによる画像の歪みとに基づいて、第２画像Ｉ２における第２領域Ａ２を設定する。

【0078】

このため、線分抽出部２１は、第２画像Ｉ２における第２領域Ａ２以外の領域を探索することなく、第２領域Ａ２内だけを探索してエッジ線を検出する。そして、駐車枠検出部２５は、第２領域Ａ２内から検出されたエッジ線から区画線Ｌｉ１，Ｌｉ２を検出する。これにより、画像処理装置１は、区画線Ｌｉ１，Ｌｉ２の検出精度を維持しつつ、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間を短縮することができる。

【0079】

また、図６に示すように、予測部２６２は、図５に示す第２画像Ｉ２の次に撮像される第２画像Ｉ３についても同様に、区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い点線で示す領域を第１領域Ａ１に基づき第２領域Ａ２として設定する。そして、予測部２６２は、第２領域Ａ２の位置を示す第２領域情報３２を記憶部３に登録する。

【0080】

これにより、画像処理装置１は、図５に示す第２画像Ｉ２のときと同様に、区画線Ｌｉ１，Ｌｉ２の検出精度を維持しつつ、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間を短縮することができる。

【0081】

なお、予測部２６２は、第２領域Ａ２で区画線Ｌｉ１，Ｌｉ２を検出したときは、その検出された最新の区画線の位置に基づいて、次に撮像される第２画像の中で区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い領域を第２領域Ａ２として設定してもよい。

【0082】

これによれば、常に最新の区画線の位置に基づき次に撮像される第２画像における第２領域が設定されるため、第２領域Ａ２をより精度よく設定することができ、区画線Ｌｉ１，Ｌｉ２の検出精度をより向上することができる。

【0083】

また、予測部２６２は、複数の第２画像Ｉ２，Ｉ３毎に、第２画像Ｉ２，Ｉ３における位置が変動する第２領域Ａ２を位置が固定の第１領域Ａ１に基づいて予測する。このように、予測部２６２は、基準とする第１領域Ａ１の位置が固定であるため、複数の第２画像Ｉ２，Ｉ３内で変動する第２領域Ａ２を簡易な処理によって予測することができる。

【0084】

また、車両Ｃが走行を続けると、図６に示すように、第２画像Ｉ３には、これまで検出されていた区画線Ｌｉ１，Ｌｉ２に加え、新たな区画線Ｌｉ３が写り込むことがある。そこで、予測部２６２は、新たな区画線Ｌｉ３が検出される第３領域Ａ３を既に検出された区画線Ｌｉ１，Ｌｉ２の間隔Ｄ１に基づいて予測する。

【0085】

このとき、予測部２６２は、既に検出された一対の区画線Ｌｉ１，Ｌｉ２の間隔Ｄ１と同一の間隔で、新たに検出される区画線Ｌｉ３が設けられていると仮定する。予測部２６２は、広角レンズによる画像の歪みに基づき、第２画像Ｉ３内で既に検出された区画線Ｌｉ２から間隔Ｄ１を空けた位置に新たな区画線Ｌｉ３が写り込むと予測して、一点鎖線で示す領域を第３領域Ａ３として設定する。そして、予測部２６２は、第３領域Ａ３の位置を示す第３領域情報３３を記憶部３に登録する。

【0086】

線分抽出部２１は、記憶部３に第３領域情報３３が登録されている場合に、第２領域Ａ２に加えて第３領域Ａ３内を探索してエッジ線を検出する。そして、駐車枠検出部２５は、第３領域Ａ３内から検出されたエッジ線から、新たな区画線Ｌｉ３を検出する。これにより、画像処理装置１は、区画線Ｌｉ１，Ｌｉ２と同様に、検出精度を維持しつつ、新たな区画線Ｌｉ３の検出に要する処理時間を短縮することができる。

【0087】

その後、予測部２６２は、例えば、車両Ｃが旋回した場合、それまでの第１領域Ａ１を基準とする予測では、区画線Ｌｉ１，Ｌｉ２，Ｌｉ３が検出される領域を正しく予測することができなくなる。

【0088】

そこで、設定部２６１は、車両Ｃが旋回した場合に、記憶部３に登録されている第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットする。これにより、高分解能領域Ａ０が検出領域に設定された状態となる。

【0089】

このため、線分抽出部２１は、次に撮像される画像については、高分解能領域Ａ０からエッジ線を検出する。そして、駐車枠検出部２５は、高分解能領域Ａ０から検出されたエッジ線から区画線を検出する。これにより、画像処理装置１は、車両Ｃが旋回した後も区画線の検出精度を維持することができる。

【0090】

次に、図７を参照し、駐車枠管理部２６が実行する処理について説明する。図７は、駐車枠管理部２６が実行する処理の一例を示すフローチャートである。駐車枠管理部２６は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、図７に示す処理を繰り返し実行する。

【0091】

具体的には、図７に示すように、駐車枠管理部２６は、まず、設定された第１領域がないか否かを判定する（ステップＳ１０１）。そして、駐車枠管理部２６は、設定された第１領域があると判定した場合（ステップＳ１０１，Ｎｏ）、処理をステップＳ１０５へ移す。

【0092】

また、駐車枠管理部２６は、設定された第１領域がないと判定した場合（ステップＳ１０１，Ｙｅｓ）、高分解能領域を検出領域に設定し（ステップＳ１０２）、区画線が検出されたか否かを判定する（ステップＳ１０３）。

【0093】

そして、駐車枠管理部２６は、区画線が検出されないと判定した場合（ステップＳ１０３，Ｎｏ）、処理を終了し、次に撮像された画像について、ステップＳ１０１から処理を開始する。

【0094】

また、駐車枠管理部２６は、区画線が検出されたと判定した場合（ステップＳ１０３，Ｙｅｓ）、区画線が検出された領域を包含する領域を第１領域として設定する（ステップＳ１０４）。その後、駐車枠管理部２６は、第１領域に基づき第２領域を予測し（ステップＳ１０５）、予測した第２領域を設定する（ステップＳ１０６）。

【0095】

続いて、駐車枠管理部２６は、検出された区画線の間隔から第３領域を予測し（ステップＳ１０７）、第３領域を設定する（ステップＳ１０８）。なお、駐車枠管理部２６は、区画線が１本しか検出されておらず、区画線の間隔を検出できないときは、第３領域の設定を行わない。その後、駐車枠管理部２６は、車両Ｃが旋回したか否かを判定する（ステップＳ１０９）。

【0096】

そして、駐車枠管理部２６は、旋回していないと判定した場合（ステップＳ１０９，Ｎｏ）、処理を終了し、次に撮像された画像について、ステップＳ１０１から処理を開始する。また、駐車枠管理部２６は、旋回したと判定した場合（ステップＳ１０９，Ｙｅｓ）、記憶部３に登録されている第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットし（ステップＳ１１０）、処理を終了して次に撮像された画像について、ステップＳ１０１から処理を開始する。

【0097】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0098】

１００ 駐車支援システム
１０ 車載カメラ
１ 画像処理装置
２ 制御部
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線候補検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
２６１ 設定部
２６２ 予測部
３ 記憶部
３１ 第１領域情報
３２ 第２領域情報
３３ 第３領域情報
５０ 上位ＥＣＵ
Ｓｃ センサ群

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】