特許 5981322 車載画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5981322

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月31日

(54)【発明の名称】車載画像処理装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160818BHJP

   B60R 1/00 20060101ALI20160818BHJP

   B60R 21/00 20060101ALI20160818BHJP

   H04N 5/225 20060101ALI20160818BHJP

【ＦＩ】

   G06T1/00 330Z

   B60R1/00 A

   B60R21/00 628D

   H04N5/225 C

【請求項の数】12

【全頁数】28

(21)【出願番号】特願2012-258696(P2012-258696)

(22)【出願日】2012年11月27日

(65)【公開番号】特開2014-106703(P2014-106703A)

(43)【公開日】2014年6月9日

【審査請求日】2015年9月11日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(74)【代理人】

【識別番号】100082670

【弁理士】

【氏名又は名称】西脇 民雄

(74)【代理人】

【識別番号】100180068

【弁理士】

【氏名又は名称】西脇 怜史

(72)【発明者】

【氏名】宇田川 玲

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】鈴木 智史

(72)【発明者】

【氏名】村松 彰二

(72)【発明者】

【氏名】早川 泰久

(72)【発明者】

【氏名】深田 修

(72)【発明者】

【氏名】森本 明

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００２−９４９７８（ＪＰ，Ａ）

【文献】 特開２０１２−１７５４８３（ＪＰ，Ａ）

【文献】 特開２０１２−８０４９７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／６０

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
前記撮像部によって撮像された画像の中から、駐車枠を構成すると考えられる白線候補領域を検出する白線候補領域検出部と、
検出された前記白線候補領域の中から、その白線候補領域の中で所定の方向に近接する画素の輝度が所定値よりも大きく明るく変化する正のエッジと、前記正のエッジから所定距離以内にある、前記所定の方向に近接する画素の輝度が所定値よりも大きく暗く変化する負のエッジと、の中点同士を連結した中心線の二つの端点の位置を検出する端点位置検出部と、
前記車両の挙動を計測する車両挙動計測部と、
前記車両挙動計測部で計測された車両の挙動に基づいて、前記端点位置検出部で検出された前記二つの端点の位置が、所定時間差の間に移動すると考えられる前記画像内の位置を予測する端点移動位置予測部と、
前記端点移動位置予測部で予測された端点の位置と、前記端点位置検出部で検出された端点の位置との差を求めて、前記端点の位置の差が所定の値よりも大きいか否かを判断する端点移動量判断部と、
前記端点移動量判断部において、前記端点の位置の差が所定の値よりも大きいと判断されたときに、当該端点の移動前の位置を記憶する端点位置記憶部と、
前記白線候補領域の位置に基づいて駐車枠を検出する駐車枠検出部と、
前記端点位置検出部で検出された端点、または前記端点を有する線素と前記端点位置記憶部に記憶された端点の位置との距離を算出する距離算出部と、を有し、前記距離算出部で算出された距離が所定値よりも小さいときには、前記駐車枠検出部が、駐車枠の検出を行う際に、前記端点位置検出部で検出された端点を含む白線候補領域の寄与度を低くすることを特徴とする車載画像処理装置。

【請求項2】

前記車両挙動計測部で計測された前記車両の車速が高いほど、前記所定時間差をより短く設定することを特徴とする請求項１に記載の車載画像処理装置。

【請求項3】

前記所定時間差の間に前記車両が所定距離移動したときは、前記端点移動位置予測部において、前記車両が前記所定距離移動した時点の前記端点の位置を予測することを特徴とする請求項１または請求項２に記載の車載画像処理装置。

【請求項4】

前記距離算出部にて算出された距離が、所定時間に亘って所定値以内であると判断したときに、前記端点位置記憶部に記憶された前記端点の位置をクリアする端点位置忘却判断部を有することを特徴とする請求項１から請求項３のいずれか１項に記載の車載画像処理装置。

【請求項5】

前記端点位置忘却判断部は、前記車両の車速が所定の車速範囲の中にあって、なおかつ、前記車速が高い状態にあるときほど、前記端点位置記憶部に記憶された前記端点の位置を短時間でクリアするものであることを特徴とする請求項４に記載の車載画像処理装置。

【請求項6】

前記端点位置忘却判断部は、前記端点位置記憶部に記憶された前記端点が、前記画像の中央に近い位置にあるときほど、前記端点位置記憶部に記憶された前記端点の位置を短時間でクリアするものであることを特徴とする請求項４に記載の車載画像処理装置。

【請求項7】

前記端点位置忘却判断部は、前記距離算出部にて算出された距離が近いときほど、前記端点位置記憶部に記憶された前記端点の位置を短時間でクリアするものであることを特徴とする請求項４に記載の車載画像処理装置。

【請求項8】

前記端点位置忘却判断部は、前記白線候補領域の延びる方向が前記画像の水平方向に近いときほど、前記端点位置記憶部に記憶された前記端点の位置を短時間でクリアするものであることを特徴とする請求項４に記載の車載画像処理装置。

【請求項9】

前記画像の中で、前記撮像部からの距離が所定距離以上の領域においては、前記撮像部からの距離が所定距離未満の領域に対して、前記所定時間差をより長く設定することを特徴とする請求項１から８のいずれか１項に記載の車載画像処理装置。

【請求項10】

前記撮像部に付着物が付着する可能性を判定する付着物判定部を有し、前記付着物が付着する可能性が高いと判断されたときには、前記所定時間差を変更することを特徴とする請求項１から請求項９のいずれか１項に記載の車載画像処理装置。

【請求項11】

前記撮像部で撮像した画像を、前記車両を真上から見下ろした俯瞰画像に変換する画像変換部を有し、前記撮像部からの距離が所定距離以内である領域は、前記画像変換部で変換された画像を用いて駐車枠の検出を行い、前記撮像部からの距離が所定距離以上である領域は、前記撮像部で撮像した画像を、前記画像変換部で変換せずに駐車枠の検出を行うことを特徴とする請求項１から請求項１０のいずれか１項に記載の車載画像処理装置。

【請求項12】

前記距離算出部で算出された距離が所定値よりも小さいときには、前記駐車枠検出部において駐車枠の検出を行う際に、前記端点位置検出部で検出された端点を有する白線候補領域を含む駐車枠を検出する際に、前記駐車枠を検出するしきい値を厳しくすることを特徴とする請求項１から請求項１１のいずれか１項に記載の車載画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラによって、路面に描かれた駐車枠の位置を検出する車載画像処理装置に関するものである。

【背景技術】

【0002】

近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、路面に引かれた白線や黄線によって区分された駐車枠の位置を検出して、こうして検出された駐車枠の位置に基づいて車両の位置と車線の位置との関係を算出して、駐車動作を支援する装置が研究開発されている。

【0003】

このようなシステムは、屋外にて風雨に晒された状態で使用されるため、カメラのレンズに汚れが付着する可能性が高い。そして汚れが付着すると、肝心な対象物が見えにくくなってしまうため、レンズが汚れたことを検知して報知するようにしている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１６６７０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された車載カメラ用異物付着判定装置では、長尺状の所定の対象部を検出して、その検出状態に基づいて、レンズへの異物の付着を判定していた。

【0006】

しかしながら、特許文献１に開示された発明によると、長尺状の所定の対称物の一定性の有無に基づいて、レンズへの異物の付着を判定しているため、撮像された画像の中に、長い白線や多くの駐車枠、あるいは横断歩道の路面パターン等、できるだけ多くの特徴点が含まれていないとレンズが汚れたことを確実に認識できないという問題があった。

【0007】

本発明は、上記課題に鑑みてなされたもので、カメラのレンズに汚れが付着した場合であっても、その汚れに影響されずに、路面に描かれた駐車枠の位置を安定して確実に検出することができる車載画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る車載画像処理装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部によって撮像された画像を第１方向にスキャンしながら、輝度が暗から明に変化する第１の点の位置と前記第１の点から前記第１方向に所定距離以内にある、輝度が明から暗に変化する第２の点の位置を検出し、前記第１方向に直交する第２方向に亘って検出された複数の第１の点からなる線素の両端点と複数の第２の点からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線の候補領域として検出する白線候補領域検出部と、前記白線候補領域の中から、所定の方向に近接する前記第１の点と前記第２の点の中点同士を連結した中心線の両端点の位置、前記複数の第１の点からなる線素の両端点の位置、または複数の第２の点からなる線素の両端点の位置、を白線候補領域の端点として検出する端点位置検出部と、前記車両の挙動を計測する車両挙動計測部と、ある時間において前記端点検出部で検出された端点が、前記時間を起点として、所定の時間間隔の間に移動する位置を、前記車両の挙動に基づいて予測する端点移動位置予測部と、前記端点移動位置予測部で予測した時刻において前記端点位置検出部で検出された端点の位置と、前記端点移動位置予測部において予測された端点の位置と、の差が所定の値よりも大きいか否かを判断する端点移動量判断部と、前記端点移動量判断部において、前記差が所定の値よりも大きいと判断されたときに、前記端点の移動前の位置を記憶する端点位置記憶部と、前記白線候補領域の位置と前記画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出する駐車枠検出部と、前記端点位置検出部で検出された端点、または前記端点を有する線素と前記端点位置記憶部に記憶された端点の位置との距離を算出する距離算出部と、を有し、前記距離算出部で算出された距離が所定値よりも小さいときに、前記駐車枠検出部で駐車枠の検出を行う際に、前記端点位置検出部で検出された端点を含む白線候補領域の寄与度を低くすることを特徴とする。

【0009】

このように構成された本発明に係る車載画像処理装置によれば、車両に設置された撮像部が、車両の周囲の、少なくとも路面を含む画像を撮像して、白線候補領域検出部が、撮像された画像の中から駐車枠を構成する可能性がある白線候補領域を検出して、端点位置検出部が、こうして検出された白線候補領域の中から、所定の方向に近接する第１の点と第２の点の中点同士を連結した中心線の両端点の位置、複数の第１の点からなる線素の両端点の位置、または複数の第２の点からなる線素の両端点の位置、を白線候補領域の端点として検出して、端点移動位置予測部が、車両挙動計測部で計測された車両の挙動に基づいて、画像の中で、端点位置検出部で検出された端点の位置が移動すると予測される位置を算出して、端点移動量判断部が、端点移動位置予測部で予測された端点の位置と、端点移動位置予測部で予測した時刻において、実際に端点位置検出部で検出された端点の位置の差を求めて、この差が所定の値よりも大きいときに、その端点の移動前の位置を端点位置記憶部に記憶して、駐車枠検出部が、白線候補領域のうち、距離算出部において、その白線候補領域の端点、またはその端点を有する線素が、端点位置記憶部に記憶された端点の位置から所定距離以内にあると判断された白線候補領域の寄与度を下げて、画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出するため、撮像部に汚れが付着して白線候補領域に途切れが生じた場合であっても、路面に描かれた駐車枠の位置を安定して確実に検出することができる。

【発明の効果】

【0010】

本発明に係る車載画像処理装置によれば、カメラのレンズに汚れが付着した場合であっても、その汚れに影響されずに、路面に描かれた駐車枠の位置を安定して確実に検出することができる。

【図面の簡単な説明】

【0011】

【図1】本発明に係る車載画像処理装置の実施例１が実装された車両について説明する図である。

【図2】本発明の実施例１の全体構成を示すブロック図である。

【図3】本発明の実施例１における端点位置忘却判断部の詳細な構成を示すブロック図である。

【図4】（ａ）は本発明の実施例１において撮像された画像の一例を示す図である。（ｂ）は（ａ）の画像の中のラインＡＢ上の輝度分布を示す図である。

【図5】検出された白線候補領域の構造について説明する図である。

【図6】車両の移動に伴って発生する白線候補領域の端点の位置の移動について説明する図であり、（ａ）は、車両が点線状に引かれた白線の横を走行している様子を示す図である。（ｂ）は、（ａ）に示した車両から観測された白線が、時間間隔Δｔの間に移動するパターンを説明する図である。（ｃ）は、（ｂ）において撮像部に汚れが付着しているときの、白線の移動パターンを説明する図である。

【図7】固着点の忘却判断を行う方法について説明する図であり、（ａ）は車速に応じた中心線観測回数カウンタの設定例である。（ｂ）は固着点の忘却判断カウンタの設定例である。（ｃ）は車速条件に基づいて固着点の忘却を行う手順について説明する図である。

【図8】固着点の忘却判断を行うために利用する中心線観測回数カウンタの設定例であり、（ａ）は画像の中の端点の位置に基づく中心線観測回数カウンタの設定例である。（ｂ）は中心線方向に基づく中心線観測回数カウンタの設定例である。（ｃ）は固着点と端点の距離に基づく中心線観測回数カウンタの設定例である。

【図9】端点リストの内容について説明する図である。

【図10】固着点リストの内容について説明する図である。

【図11】本発明の実施例１の処理の流れを説明するフローチャートである。

【図12】図１１のフローチャートの中で、固着点の忘却判断を行う処理の流れを説明するフローチャートである。

【図13】本発明の実施例２の全体構成を示すブロック図である。

【図14】本発明の実施例２において、処理対象となる画像の範囲について説明する図である。

【図15】本発明の実施例２の処理の流れを説明するフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明に係る車載画像処理装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値のことを輝度値と呼ぶ。また、画像Ｉの画素（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ）で表すものとする。

【実施例1】

【0013】

本実施例は、本発明の車載画像処理装置を、運転者が、路面に駐車枠が描かれた駐車場で駐車動作を行っているときに、ブレーキペダルを踏むべきタイミングで、誤ってアクセルペダルを踏んでしまうことにより、車両が予期せぬタイミングで突然発進する、所謂ペダル踏み間違いによる急発進を防止するシステムに適用した例である。

【0014】

まず、図１から図３を用いて、本車載画像処理装置の動作を説明する。本車載画像処理装置は、車両１に実装されて、図１に示すように、車両１の前方を撮像する前方カメラ１０Ａと、車両１の左ドアミラーに装着されて、車両の左方向を撮像する左方カメラ１０Ｂと、車両１の右ドアミラーに装着されて、車両の右方向を撮像する右方カメラ１０Ｃと、車両１の後方を撮像する後方カメラ１０Ｄを有している。そして、これら４台のカメラによって構成された撮像部１０によって、車両１の周囲の路面を観測できるようになっている。なお、各カメラは、レンズ等の集光機能を有する光学系とＣ−ＭＯＳ等の光電変換素子とから構成されている。

【0015】

図２は、実施例１の全体構成を示すブロック図である。車載画像処理装置５は、車両１（図１参照）に実装されて、車両１の周囲の路面を含む領域を撮像する撮像部１０と、撮像部１０を構成する前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄで撮像された画像を、それぞれ、車両１の上空から見下ろした俯瞰画像に座標変換して、１枚の画像に合成する画像変換、合成部２０と、画像変換、合成部２０で合成された画像の中から、駐車枠を構成すると考えられる白線候補領域を検出する白線候補領域検出部３０と、検出された白線候補領域の中から、その白線候補領域の中で所定の方向に近接する＋エッジと−エッジの中点同士を連結した中心線の両端点の位置を検出する端点位置検出部４０と、車両１の車速と操舵角に基づいて、車両１の移動量を計測する車両挙動計測部５０と、車両挙動計測部５０で計測された車両１の挙動に基づいて、端点位置検出部４０で検出された端点位置が移動すると考えられる画像内の位置を予測する端点移動位置予測部６０と、端点移動位置予測部６０で予測された端点の位置（以後、予測端点位置と呼ぶ。）と、端点位置検出部４０で検出された端点の位置（以後、実端点位置と呼ぶ。）との差異を求めて、その差異の大きさを判断する端点移動量判断部７０と、差異が大きいと判断された端点位置やそのときの車両挙動等を記憶する端点位置記憶部８０と、端点位置記憶部８０に記憶された端点位置と端点位置検出部４０で検出された端点位置との距離を算出して、両端点の近接度合を判断する距離算出部７５と、車両１の運転者に対して、駐車枠が検出されていることやエンジン出力を抑制する制御を行っていることを表示する、ディスプレイ装置や音声出力装置からなる情報出力部８５と、記憶された端点位置が所定の条件を満足したときに、この端点位置を削除する端点位置忘却判断部９０と、画像の中から駐車枠を検出する駐車枠検出部１００と、車両１のアクセル開度を検出するアクセル開度検出部１１０と、駐車枠検出部１００で駐車枠が検出されたときに、所定値以上のアクセル開度が検出されたときには、車両１のエンジン出力を抑制して、車両１の急発進を防止する車両挙動制御部１２０と、からなる。

【0016】

前記白線候補領域検出部３０は、さらに、所定の方向に隣接する＋エッジと−エッジのペアを検出するエッジペア検出部３２と、各白線候補領域の中から、エッジペア同士を結ぶ線分の中点同士が連結されて構成される中心線を検出する中心線検出部３４とからなる。

【0017】

前記端点位置記憶部８０は、さらに、端点位置検出部４０で検出された端点位置が記憶されて、車載画像処理装置５の動作に伴って更新される端点リスト８２と、端点位置検出部４０で検出された端点位置のうち、車両１が移動してもその位置の移動量が小さい端点位置（以下、固着点と呼ぶ）が記憶されて、車載画像処理装置５の動作に伴って更新される固着点リスト８４と、からなる。

【0018】

前記端点位置忘却判断部９０は、さらに、車両１の車速に応じて、固着点の忘却判断を行う車速条件による忘却判断部９２と、白線候補領域を構成する端点の画像内での位置に応じて、固着点の忘却判断を行う端点位置による忘却判断部９４と、白線候補領域を構成する中心線の延びる方向に応じて、固着点の忘却判断を行う中心線方向による忘却判断部９６と、固着点から白線候補領域を構成する中心線に下ろした垂線の長さに応じて、固着点の忘却判断を行う垂線長による忘却判断部９８と、からなる。

【0019】

以下、本実施例１の動作概要について、順を追って説明する。本実施例１では、まず、撮像部１０で撮像された画像の中から、駐車枠を表すと考えられる白線候補領域を検出する。そして、検出された白線候補領域の端点位置を求めて、白線候補領域を代表する点とする。車両１は駐車場において、運転者の操作によって駐車動作を行うため、運転者の操作に応じた量だけ随時移動し、その移動に伴って、検出された端点位置は画像の中で随時移動する。そして、その移動量は、車両１の挙動に基づいて予測することができる。

【0020】

このとき、撮像部に泥汚れや水滴等による汚れが付着していると、汚れが付着した領域の中には白線候補領域が映らないため、白線候補領域は汚れの境界線において分断される。そして、この分断された位置（固着点）が、前述した端点位置として検出される。

【0021】

この汚れの位置は時間とともに移動しないと考えられるため、汚れによって分断された端点位置は、車両が移動したときに、路面上で検出された端点とは異なる動き方をする。したがって、予測と反した動きをする端点位置は、白線候補領域が汚れによって分断されて発生した端点であると推定される。

【0022】

本実施例１では、この固着点を検出して、検出された固着点を端点とする白線候補領域は、駐車枠の検出に利用しないことによって、駐車枠の検出を確実に行う。

【0023】

さらに、本実施例１は、出現した固着点の位置を継続的に観測して、所定の条件を満足したときにその固着点を忘却する機能を有している。これによって、時間の経過とともに固着点が増加して、駐車枠の構成要素として本来必要な白線候補領域までもが削除されて、これによって駐車枠が検出できなくなることを防止できる。

【0024】

次に、前述した本実施例１の動作概要の中で、重要な部分について、その内容を説明する。

【0025】

＜白線候補領域検出方法の説明＞
まず、図４を用いて、白線候補領域検出部３０で行われる、白線候補領域の検出方法について説明する。

【0026】

図４（ａ）は、前方カメラ１０Ａで撮像した画像Ｉ_１と、左方カメラ１０Ｂで撮像した画像Ｉ_２と、右方カメラ１０Ｃで撮像した画像Ｉ_３と、後方カメラ１０Ｄで撮像した画像Ｉ_４とを、画像変換、合成部２０において、車両１の真上から見下ろした俯瞰画像に座標変換して、さらに、１枚の画像Ｉとして合成した様子を示す。

【0027】

図４（ａ）に示すように、画像Ｉは、車両１の位置を模した領域Ｖの回りに、俯瞰画像に座標変換された画像Ｉ_１と、画像Ｉ_２と、画像Ｉ_３と、画像Ｉ_４とが合成されることによって構成されている。この画像Ｉは、車両１すなわち路面を真上から見下ろしたものであるため、駐車枠に駐車した車両の左右に描画された、車両の前後方向に向かって延びる白線Ｆ１，Ｆ２，Ｆ３は、画像Ｉの中に互いに平行に映る。また、車両の幅方向に向かって延びる白線Ｆ４は、白線Ｆ１，Ｆ２，Ｆ３と直交するように映る。

【0028】

なお、撮像部１０で撮像された画像を俯瞰画像に座標変換して、さらに１枚の画像に合成する処理は、昨今、車両周囲のモニタリングシステムとして実用化されている公知の技術であるため、詳細な処理方法の説明は省略する。

【0029】

画像Ｉの左上を原点（０，０）として、左右方向をｘ、上下方向をｙとする。そして、白線候補領域検出部３０（図２参照）において、画像Ｉの中を、左から右に向かって（第１方向）、画像Ｉに格納された輝度値Ｉ（ｘ，ｙ）を参照しながら、隣接する２つの画素の輝度値の差分値を計算する。参照した画素（ｘ，ｙ）に対して、輝度差Ｉ（ｘ−１，ｙ）−Ｉ（ｘ，ｙ）と、輝度差Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）を、画像Ｉの全ての画素に対して順次計算する。

【0030】

そして、輝度値が所定値よりも大きく明るく変化する画素、すなわち、予め設定した輝度差しきい値Ｉ_ｔｈに対して、Ｉ（ｘ，ｙ）−Ｉ（ｘ−１，ｙ）＞Ｉ_ｔｈを満たす画素を第１の点として検出する。この画素を＋エッジと呼ぶ。

【0031】

さらに、輝度値が所定値よりも大きく暗く変化する画素、すなわち、Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）＞Ｉ_ｔｈである画素を第２の点として検出する。この画素を−エッジと呼ぶ。

【0032】

駐車枠を構成する白線であれば、＋エッジを構成する画素（白線と路面の境界点）と−エッジを構成する画素（白線と路面の境界点）の間隔は、駐車枠を構成する白線の幅とほぼ等しくなるため、画像Ｉの中から検出された＋エッジを構成する画素と、その＋エッジに隣接して検出された−エッジを構成する画素の間隔ｗが、第１方向に沿って所定距離以内であるとき、この＋エッジを構成する画素と−エッジを構成する画素は、駐車枠を構成する白線である可能性が高いと判断して、これらの画素を検出する。

【0033】

例えば、画像Ｉに格納された輝度値を、図４（ａ）の点Ａから点Ｂに向かって参照したときには、図４（ｂ）に示すように、画素Ｓ１が＋エッジとして検出されて、画素Ｓ２が−エッジとして検出される。

【0034】

このようにして検出された＋エッジを構成する画素Ｓ１と、−エッジを構成する画素Ｓ２のペアをエッジペアと呼ぶことにする。

【0035】

こうして検出されたエッジペアに挟まれた画素は、画像の上下方向に連続した領域を形成する。すなわち、エッジペアは、第１方向に直交する第２方向に亘って連続して検出される。こうして形成された領域を白線候補領域と呼ぶ。そして、検出された白線候補領域にはラベリング処理を行い、各々の白線候補領域に通し番号を付与しておく。

【0036】

＜白線候補領域の端点検出方法の説明＞
次に、検出された白線候補領域の中から、その端点を検出する方法について説明する。

【0037】

中心線検出部３４（図２参照）において、＋エッジの集合である白線候補領域境界線Ｌ_１と、−エッジの集合である白線候補領域境界線Ｌ_２の中心線を検出する。これによって、図５に示すように、＋エッジを構成する画素Ｐ_１１と、画素Ｐ_１１とエッジペアをなす画素Ｐ_２１の中点として点ｍ_１が検出される。また、同様にして、＋エッジを構成する画素Ｐ_１ｎと、−エッジを構成する画素Ｐ_２ｎの中点として点ｍ_ｎが検出される。このようにして検出された点ｍ_１と点ｍ_ｎを結ぶ線分を、白線候補領域の中心線Ｍとする。そして、中心線Ｍの端点を白線候補領域の端点とする。この場合、点ｍ_１と点ｍ_ｎが、それぞれ中心線Ｍの端点となる。

【0038】

なお、実際は、１つの白線候補領域の中から、端点ｍ_１，ｍ_ｎだけではなく、より多くの中点を検出して、それらの中点を連結して中心線Ｍとする。

【0039】

＜端点の移動量予測方法と移動量判断方法の説明＞
次に、こうして検出した端点が時間とともに移動する方向と移動する量を予測する方法と、予測した移動量と実際の移動量の比較判断方法について説明する。

【0040】

図６（ａ）は、車両１が、点線状に引かれた白線Ｐの横を走行している様子を示す図である。図６（ａ）は、車両１が時刻ｔ＝ｔ_０から、時間間隔Δｔの間に、前方に向かって移動量Ｋだけ移動したことを示している。

【0041】

このとき、時刻ｔ＝ｔ_０において、図６（ｂ）の左側のような画像が撮像される。そして、時刻ｔ＝ｔ_０＋Δｔにおいては、図６（ｂ）の右側のような画像が撮像される。このとき、画像に映った白線Ｐの端点ｍ_１，ｍ_ｎのうち下側の端点ｍ_ｎは、画像の中で下方向に移動量Δｋ画素だけ移動する。

【0042】

なお、この移動量Δｋは、車両挙動計測部５０で計測された車速や操舵角を用いて予測することができる。すなわち、時間間隔Δｔの間の車両１の速度から、その時間間隔Δｔの間に車両１が進行した距離がわかる。そして、こうして算出した距離が、前方カメラ１０Ａで撮像して、車両１の真上から見下ろした画像の中で何画素分に相当するかを計算して、車両１の操舵角に基づいて計測した車両１の移動方向を加味して、端点の位置が、画像Ｉの中でどの方向に何画素移動するかを予測することができる。

【0043】

そして、このとき、前方カメラ１０Ａのレンズ表面に汚れが付着しているときには、端点位置は、図６（ｃ）に示すように、図６（ｂ）で説明した移動パターンとは異なる移動パターンをなす。

【0044】

すなわち、前方カメラ１０Ａのレンズに汚れが付着していたときには、時刻ｔ＝ｔ_０において、図６（ｃ）の左側に示す画像が撮像される。撮像された画像の中には、レンズに付着した汚れによって、汚れ領域Ｅが生成される。そして、白線Ｐの手前側（画像では下側）の端点ｍ_ｎは、白線Ｐが汚れ領域Ｅと交わった位置に観測される。

【0045】

そして、時刻ｔ＝ｔ_０＋Δｔにおいては、図６（ｃ）の右側のような画像が撮像される。このとき、画像に映った白線Ｐの端点ｍ_１，ｍ_ｎのうち、上側の端点ｍ_１は、画像の中で下方向に移動量Δｋ画素だけ移動するが、下側の端点ｍ_ｎは、画像の中で下方向に移動量Δｋ画素だけ移動することはなく、白線Ｐが汚れ領域Ｅによって分断された位置に観測される。すなわち、端点ｍ_ｎの位置は、時刻ｔ＝ｔ_０における位置とほぼ等しくなる。このように、車両１が移動したとき、端点の移動量が予測した移動量よりも小さいときには、その端点は前述した固着点であると判断する。

【0046】

このように、車両の挙動に基づいて予測される端点の移動量と、実際に端点が移動した位置とを比較することによって、端点が汚れ領域Ｅによって分断されているか否か、すなわち、端点が固着点であるか否かを判断することができる。

【0047】

なお、車両１の車速が高いときは、端点の移動量が大きくなるため、車両挙動計測部５０において、車両１の車速が所定値よりも大きいことが検出されたときは、時間間隔Δｔの経過を待たずに、予測端点位置の算出と実端点位置の算出を行って、端点の移動量を評価する。これによって、車速が高いときであっても、白線候補領域の端点の位置を正確に検出することができるため、固着点Ｑが発生したか否かの判定をより確実に行うことができる。

【0048】

また、車両１の車速が低くても、操舵を行うことによって車両１が方向を変えたときには、端点の位置が大きく移動する。したがって、時間間隔Δｔの間に、実端点位置が画像Ｉの中で所定画素以上移動したときにも、その時点で予測端点位置の算出と実端点位置の算出を行う。これによって、車両１が短時間で大きく向きを変えたときであっても、白線候補領域の端点の位置を正確に検出することができるため、固着点が発生したか否かの判定をより確実に行うことができる。

【0049】

＜固着点の忘却判断方法の説明＞
こうして検出された固着点の位置を記憶しておき、検出した中心線Ｍがこの固着点から近い位置にあるときは、その中心線Ｍは汚れ領域Ｅによって分断されていると推定される。したがって、その中心線Ｍを含む白線候補領域を駐車枠の検出に利用する際には、その白線候補領域は完全に検出されたものではないため、駐車枠検出時の寄与度を下げて取り扱うようにする。その詳細な内容は後述する。

【0050】

ところが、前述した画像処理を連続して行うと、撮像部１０のレンズに汚れが付着しているときには、検出される固着点が時間とともに増加する可能性がある。そして、固着点が増加すると、本来必要な白線候補領域までもが削除されてしまう恐れがあるため、過去に記憶した固着点は、適宜忘却する必要がある。

【0051】

また、汚れの中には、レンズに付着した水滴のように、時間とともに消失するものもあるため、過去に記憶した固着点は、適宜忘却する必要がある。

【0052】

以下、固着点の忘却の判断方法について説明する。図７は、車両１の速度に基づいて、固着点を忘却する方法を説明する図である。図７（ｃ）は、その概要を示している。

【0053】

図７（ｃ）の時刻ｔ＝ｔ_０の欄は、過去に検出されて記憶された固着点Ｑの近傍に、端点ｍ_１と端点ｍ_ｎを有する白線候補領域の中心線Ｍが検出されたことを表している。ここで、中心線Ｍの端点ｍ_ｎの周りには半径Δｄの領域Ｒが設定されている。

【0054】

図７（ｃ）の時刻ｔ＝ｔ_０＋Δｔの欄は、Δｔ秒後に、中心線Ｍが下方向に移動したことを表している。このとき、固着点Ｑは、中心線Ｍの端点ｍ_ｎを中心とする領域Ｒの内部にあるため、固着点Ｑの近傍に白線候補領域が観測されたものとして、固着点Ｑを忘却するか否かの判断を開始する。なお、固着点Ｑが、中心線Ｍの端点ｍ_ｎを中心とする領域Ｒの内部にあることは、距離算出部７５において判断される。

【0055】

固着点Ｑを忘却するか否かの判断は、２種類のカウンタを用いて行う。１つは固着点Ｑの近傍に中心線が観測された回数をカウントする、中心線観測回数カウンタＣｖである。そして、もう１つは、中心線観測回数カウンタＣｖのカウント数を累積して、固着点Ｑの忘却を判断する忘却判断カウンタＣｎである。

【0056】

図７（ｃ）は、固着点の近傍に中心線Ｍの端点が検出されたときに、車両挙動計測部５０において車両１の車速が時速１０ｋｍであることが検出されて、図７（ａ）の中心線観測回数カウンタＣｖの設定例に基づいて、中心線観測回数カウンタＣｖが３にセットされた場合の動作例を示している。

【0057】

そして、固着点Ｑの近傍に中心線Ｍの端点が検出される状態（これを忘却条件と呼ぶ）が継続する度に、中心線観測回数カウンタＣｖがデクリメントされる（図７（ｃ）の時刻ｔ＝ｔ_０＋２Δｔの欄、ｔ＝ｔ_０＋３Δｔの欄、ｔ＝ｔ_０＋４Δｔの欄参照）。

【0058】

そして、中心線観測回数カウンタＣｖが０になると、忘却判断カウンタＣｎがインクリメントされる（図７（ｃ）の時刻ｔ＝ｔ_０＋４Δｔの欄参照）。

【0059】

その後、同様の動きを繰り返して、中心線観測回数カウンタＣｖがｎサイクル回ったとき、すなわち、忘却判断カウンタＣｎの値が３ｎになったときに、固着点Ｑが忘却される。すなわち、忘却判断カウンタＣｎは、忘却条件が発生した累積時間をカウントするカウンタである。

【0060】

なお、突発的なノイズの混入によって、固着点Ｑの近傍に中心線Ｍの端点が検出されない場合があるため、中心線観測回数カウンタＣｖのデクリメントは、途中、固着点Ｑの近傍に中心線Ｍの端点が検出されない場合には保留して、再度、固着点Ｑの近傍に中心線Ｍの端点が検出されたときにデクリメントを再開するようにする。

【0061】

図７（ａ）は、前述した中心線観測回数カウンタＣｖの設定例を示すものである。この設定例では、車両１の車速ｖが高くなるにつれて、中心線観測回数カウンタＣｖの設定値を小さくしている。これは、端点が固着点Ｑの近傍を通過したときは、既に汚れが消失している可能性が高いため、車速が高いときは、端点が固着点Ｑの近傍を通過したことを確認したときに、固着点Ｑを忘却しやすくするためである。

【0062】

特に、破線状の白線候補領域が固着点Ｑの近傍を通過する場合に、車速に応じた中心線観測回数カウンタＣｖの設定が有効となる。車速が高いと中心線観測回数カウンタＣｖのデクリメントは最悪で一度きりとなるため、車速に応じて中心線観測回数カウンタＣｖを設定しなかった場合は、長時間に亘って破線のある路面を走行しても固着点Ｑを忘却しない恐れがある。

【0063】

また、破線状の白線候補領域で中心線観測回数カウンタＣｖを設定する際に、所定の長さの破線についてその間隔に応じて中心線観測回数カウンタＣｖのカウンタ値を引き継ぐか否かを設定してもよい。例えば、破線の長さに対して広い間隔で次の破線が観測された場合に、以前のカウンタ値はクリアして、現在の車速に基づいてカウンタ値を設定し直すことができる。

【0064】

さらに、車速が所定値ｖ_１を超えたときには、中心線観測回数カウンタＣｖの設定値を所定の高い一定値に設定している。これは、車速がある程度高いときには、水滴にように流動性のある汚れであれば風圧で吹き飛ばされて消失するが、粘着性の高い汚れがある場合、車速が高くても消失しないため、そのような汚れが発生したことは忘却しにくくするためである。

【0065】

図７（ｂ）は固着点Ｑの忘却判断カウンタＣｎの設定例を示すものである。この設定例では、忘却条件を満たす状態がｎＣｖ回を超えて発生し、忘却条件が発生した累積時間がｔ１になったときに、固着点Ｑを忘却するように設定されている。

【0066】

＜その他の忘却判断方法の説明＞
固着点Ｑの忘却条件は、前述した車両１の速度条件のみではなく、他の忘却条件を設定することもできる。以下、忘却条件の他の例について説明する。

【0067】

図８は、その他の忘却判断方法を行う際に設定される中心線観測回数カウンタの例である。図８（ａ）は、画像Ｉの中で、画像の中央部に生じた固着点Ｑほど早く忘却して、画像の隅部に生じた固着点Ｑは忘却しにくくするものである。

【0068】

このような忘却判断を行うのは、画像の中央部は頻繁に中心線Ｍが出現するため、固着点Ｑを忘却しやすくしても、汚れが付着すれば、すぐに別の固着点が出現して、新たな固着点を検出できるためである。

【0069】

この忘却判断を行うときには、中心線観測回数カウンタＣｐを、図８（ａ）に示すように、固着点Ｑが画像Ｉの中央部にあるときほど小さい値に設定して、画像Ｉの中で、固着点Ｑの近傍に中心線の端点が検出されたときに、忘却条件が成立したと判断して、中心線観測回数カウンタＣｐのデクリメントを行う。以後の処理は、前述した通りである。

【0070】

図８（ｂ）は、画像Ｉの中で、水平や垂直な中心線Ｍが固着点Ｑの近傍で検出されたときほど、固着点Ｑを早く忘却して、画像Ｉの中で４５°方向、または−４５°方向に延びる中心線が固着点Ｑの近傍で検出されたときは、固着点Ｑを忘却しにくくするものである。

【0071】

このような忘却判断を行うのは、車両１が旋回するように移動したときには、中心線Ｍが画像の内部を横切るように移動して、斜め（４５°方向）の中心線Ｍが固着点Ｑの上を通過する確率が高くなるため、そのような状況において、固着点Ｑを忘却しやすくするためである。

【0072】

この忘却判断を行うときには、中心線観測回数カウンタＣｓを、図８（ｂ）に示すように、中心線Ｍの方向が、画像Ｉの中で４５°または−４５°に近いときほど、その中心線Ｍの端点の中心線観測回数カウンタＣｓに小さい値に設定して、画像Ｉの中で、固着点Ｑの近傍に中心線Ｍが検出されたときに、忘却条件が成立したと判断して、中心線観測回数カウンタＣｓのデクリメントを行う。以後の処理は、前述した通りである。なお、固着点Ｑの近傍に中心線Ｍが検出されたことは、固着点Ｑから中心線Ｍに下ろした垂線の長さＳが所定値よりも小さいことを確認して判断する。

【0073】

図８（ｃ）は、画像Ｉの中で、中心線Ｍが固着点Ｑの近傍で検出されたときほど、固着点Ｑを早く忘却して、中心線Ｍが固着点Ｑから遠方で検出されたときは、固着点Ｑを忘却しにくくするものである。

【0074】

固着点Ｑの近傍に中心線Ｍが検出されたときには、既に汚れが消失している可能性が高いため、このような忘却判断を行うことよって、固着点Ｑを忘却しやすくすることができる。

【0075】

この忘却判断を行うときには、中心線観測回数カウンタＣｄを、図８（ｃ）に示すように、固着点Ｑから中心線Ｍに下ろした垂線の長さが短いときほど小さい値に設定して、画像Ｉの中で、固着点Ｑの近傍に中心線Ｍが検出されたときに、忘却条件が成立したと判断して、中心線観測回数カウンタＣｄのデクリメントを行う。以後の処理は、前述した通りである。なお、固着点Ｑの近傍に中心線Ｍが検出されたことは、固着点Ｑから中心線Ｍに下ろした垂線の長さＳが所定値よりも小さいことを確認して判断する。

【0076】

以上説明したように、中心線Ｍの端点が固着点Ｑの近傍にあるとき、もしくは、中心線Ｍが固着点Ｑの近傍にあるときに忘却判断が行われるが、固着点Ｑが画像Ｉの中で車両１から遠方を隠蔽する位置にあるときと、車両１の直近を隠蔽する位置にあるときとで、忘却判断の方法を変更することも可能である。

【0077】

すなわち、固着点Ｑが画像Ｉの中で車両１から遠方を隠蔽する位置にあるときには、端点の動きが小さいため、中心線Ｍの端点が汚れに隠れたままになってしまう可能性が高く、このような場合は、中心線Ｍが固着点Ｑの近傍にあることを判断して忘却判断を行うのが望ましい。

【0078】

また、固着点Ｑが画像Ｉの中で車両１の直近を隠蔽する位置にあるときには、端点の動きが大きく、その位置も精度よく検出できるため、中心線Ｍの端点が固着点Ｑの近傍にあることを判断して忘却判断を行うのが望ましい。

【0079】

さらに、固着点Ｑが画像Ｉの中のどこにあるかに応じて、忘却判断を行う際の設定値を変更するようにしてもよい。例えば、端点が車両１に近い位置に検出されたときには、前記半径Δｄ、もしくは前記累積時間ｔ１のいずれか一方をより大きい値に設定して、固着点Ｑを忘却しやすくすることもできる。そして、以上のような設定値の変更を実施するためには、忘却判断を行う際に利用する設定値をテーブル化しておき、処理対象となる画像の条件に応じて、そのテーブルを参照して設定値を設定するようにすればよい。

【0080】

＜忘却判断方法の具体的実行方法の説明＞

【0081】

前述した複数の忘却判断方法は、並行して実行するのが望ましい。その場合、いずれかの中心線観測回数カウンタＣｖ，Ｃｐ，Ｃｓ，Ｃｄが０になったときに忘却判断カウンタＣｎをインクリメントする構成にしておけばよい。

【0082】

以下、この忘却判断を効率的に行う具体的な方法について説明する。画像Ｉの中から検出された中心線Ｍの端点位置、および固着点Ｑの位置は、リスト形式で記憶管理される。

【0083】

図９は、画像Ｉの中から検出された端点位置を表す端点リスト８２の例である。端点リスト８２の中には、検出された白線候補領域の中心線Ｍ毎に、その中心線Ｍの両側の端点の情報が記載されている。

【0084】

端点リスト８２には、具体的には、その端点が、駐車枠を検出する際に有効に利用できるか否かを表す有効フラグ（図９の第１列）と、その端点が観測された時刻（図９の第２列）と、画像の中の実際の端点位置である実端点位置（図９の第３列）と、車両の移動距離（図９の第５列）と、車両の移動距離に基づいて予測される予測端点位置（図９の第４列）と、忘却判断方法毎に設定された中心線観測回数カウンタＣｖ，Ｃｐ，Ｃｓ，Ｃｄ（図９の第６列から第９列）が記載されている。

【0085】

ここで、予測端点位置（図９の第４列）は、過去に検出された実端点位置（例えば（ｘ_１１，ｙ_１１）と車両１の移動距離（例えばＫ_１）とから、予め決めておいた関数ｆに基づいて算出される。図９の第４列には、こうして算出された予測端点位置（ｆ（ｘ_１１，Ｋ_１），ｆ（ｙ_１１，Ｋ_１））が格納される。

【0086】

そして、同じ中心線Ｍの端点に関する情報は、時系列で一つのリストに格納されて管理されている（図９の第ａ行以降）。

【0087】

図１０は、実際に検出された固着点Ｑの一覧を表す固着点リスト８４の例である。固着点リスト８４の中には、固着点Ｑ毎に、その固着点Ｑが有効であるか否かを表す有効フラグと、その固着点Ｑの位置、周辺の中心線Ｍとの位置関係、および、忘却判断を行う際に利用する各カウンタの情報が格納されている。

【0088】

そして、同じ固着点Ｑに関する情報は、一つのリストに時系列的に格納されて管理されている。

【0089】

そして、忘却判断は、こうして生成された端点リスト８２と固着点リスト８４に格納された情報を用いて行われる。そして、固着点Ｑを忘却すべきと判断されたときには、その固着点に付与された有効フラグを０にすることによって、以降、その固着点Ｑは固着点リスト８４の中で参照されなくなる。

【0090】

＜駐車枠の検出方法の説明＞
次に、駐車枠の検出方法について説明する。駐車枠を検出する方法には様々なものが考えられ、そのいずれの方法を適用してもよい。ここでは、駐車枠の形状特徴を利用した検出方法について説明する。

【0091】

駐車枠の形状特徴とは、例えば、以下の（１）〜（３）のようなものである。
（１）駐車枠は、所定の間隔と所定の長さを有する平行な白線で形成された２本の線分に挟まれた領域である。

【0092】

（２）平行な白線で形成された２本の線分のうちの１本は、図４（ａ）に示すように、隣り合った２つの駐車枠で共有される場合もあれば、隣接した駐車枠の間に、２本の白線が引かれている場合もある。

【0093】

（３）平行な白線の端点同士は、白線によって連結されている場合もあれば、図４（ａ）のように、駐車枠の奥側のみが連結されている場合もある。また、平行な白線の端点同士が連結されていない場合もある。

【0094】

本実施例では、まず、画像Ｉの中に観測される駐車枠のサイズを記憶しておく。駐車枠のサイズとは、駐車枠に車両を駐車したときに、車両の前後方向に向かって延びる平行な白線で形成された２本の線分の長さ（前述した中心線Ｍの長さと考えてもよい）と、その２本の線分の間隔である。

【0095】

画像Ｉは、車両１を真上から見下ろした俯瞰図であるため、画像Ｉが観測している範囲は、撮像した画像を俯瞰図に変換するパラメータを用いて容易に推定できる。したがって、想定したサイズの駐車枠が、画像Ｉの中でどの位の大きさで観測されるかを推定することができる。ここでは、車両の前後方向に向かって延びる平行な白線で形成された２本の線分の長さが第１の所定の画素数Ｏ_１で観測されて、２本の線分の間隔が第２の所定の画素数Ｏ_２で観測されるものと推定される。

【0096】

そして、まず、画像Ｉの中から検出された白線候補領域の中から、その方向がほぼ等しくなっている複数の白線候補領域のペアを検出する。白線候補領域の方向は、先に検出した中心線Ｍの方向（２つの端点を結ぶ線分の方向）と考えてよい。

【0097】

こうして検出された平行な白線候補領域の間隔が、第２の所定の画素数Ｏ_２に近いときに、駐車枠を構成する平行な白線候補領域のペアが見つかったものと判断する、そして、次に、こうして検出された白線候補領域の長さを求める。これは、その白線候補領域の中心線Ｍの長さとして算出される。算出された中心線Ｍの長さが、先に想定した駐車枠の長さ、すなわち第１の所定の画素数Ｏ_１に近い値であるとき、その白線候補領域は駐車枠を構成しているものと判断する。実際は、予想される画素数Ｏ_１とＯ_２に、所定の幅を設定しておき、その幅の範囲内の値が観測されたときに、条件を満足したものと判断する。

【0098】

なお、このとき、駐車枠を確実に検出するために、固着点Ｑの近傍に検出された中心線Ｍを含む白線候補領域は、駐車枠の検出に利用する際に、その寄与度を引き下げて取り扱うものとする。寄与度を引き下げる際には、その白線候補領域が過去複数回に亘って固着点Ｑの近傍で検出されたことを条件としてもよい。そして、寄与度が低い白線候補領域を含む駐車枠を検出するときには、例えば、画素数Ｏ_１，画素数Ｏ_２、または画素数Ｏ_１とＯ_２の所定の幅をさらに小さく設定して、駐車枠を検出しにくくすればよい。

【0099】

寄与度を引き下げる条件に該当する白線候補領域であることは、前述した端点リスト８２の有効フラグが０になっていることを確認して判断される。

【0100】

＜実施例１の作用の説明＞
次に、実施例１に係る車載画像処理装置５の一連の動作の流れについて、図１１のフローチャートを用いて説明する。

【0101】

（ステップＳ１０） 図２に図示しない車速センサの出力に基づいて、車両１の車速を検出する。そして、検出した車速が０でなく、かつ、予め設定された所定の車速以下であるか否かを判断する。検出した車速が０でなく、かつ、予め設定された所定の車速以下であると判断されたときはステップＳ２０に進み、それ以外のときは図１１の処理を終了する。

【0102】

（ステップＳ２０） 撮像部１０によって、車両１の周囲を撮像する。

【0103】

（ステップＳ３０） 画像変換、合成部２０において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図４（ａ）に示すような１枚の画像Ｉに合成される。

【0104】

（ステップＳ４０） エッジペア検出部３２において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。

【0105】

（ステップＳ５０） 中心線検出部３４において、＋エッジと−エッジの中点で構成される中心線Ｍを検出して、さらに、端点位置検出部４０において、中心線Ｍの端点として端点位置を検出する。このとき、端点位置が所定範囲内に存在することを条件として端点位置を検出してもよい。例えば、撮像された画像Ｉの撮像領域の境界から所定距離以上離れていることを検出条件とすることによって、画像Ｉの撮像領域の境界付近の端点を除外することができる。

【0106】

（ステップＳ６０） 車両挙動計測部５０で計測された車両１の挙動に基づいて、端点移動位置予測部６０において、画像Ｉの中において予測される予測端点位置を求める。そのときの時間間隔Δｔは、予め決めておいた所定の値を用いるが、前述したように、車両１の車速が所定値よりも大きいことが検出されたときは、時間間隔Δｔの経過を待たずに、予測端点位置の算出を行う。また、車速が小さくても、端点の位置が大きく移動したときにも、前述したように、その時点で予測端点位置の算出を行う。

【0107】

（ステップＳ７０） 端点位置検出部４０において、ステップＳ６０で予測した時刻における実端点位置を検出する。

【0108】

（ステップＳ９０） 端点移動量判断部７０において、予測端点位置と実端点位置との位置の差異を算出する。そして、算出された位置の差異が所定値以上のときはステップＳ９５に進み、それ以外のときはステップＳ１２０に進む。

【0109】

（ステップＳ９５） ステップＳ５０，ステップＳ７０で検出された端点位置に基づいて端点リスト８２を更新する。

【0110】

（ステップＳ１００） ステップＳ９０で評価した端点の移動前の位置を、新たに固着点リスト８４に登録して、固着点リスト８４を更新する。

【0111】

（ステップＳ１１０） 端点位置忘却判断部９０において、固着点Ｑの忘却判断を行う。なお、この処理の内容は後述する。

【0112】

（ステップＳ１２０） 全ての固着点に対して固着点Ｑの忘却判断を行ったか否かを判断する。条件を満足したときはステップＳ１３０に進み、それ以外のときはステップＳ９０に戻る。

【0113】

（ステップＳ１３０） 駐車枠検出部１００において、画像Ｉの中から駐車枠を検出する。詳しい処理内容は、前述したため省略する。

【0114】

（ステップＳ１４０） ステップＳ１３０を行った結果、駐車枠が見つかったか否かを判断する。駐車枠が見つかったときはステップＳ１４５に進み、駐車枠が見つからなかったときは、ステップＳ１０に戻る。

【0115】

（ステップＳ１４５） 情報出力部８５によって、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。

【0116】

（ステップＳ１５０） アクセル開度検出部１１０において、アクセル開度が所定値以上であるか否かを判断する。アクセル開度が所定値以上のときはステップＳ１６０に進み、アクセル開度が所定値に満たないときは、ステップＳ１０に戻る。

【0117】

（ステップＳ１６０） 車両挙動制御部１２０においてエンジン出力を絞る制御を行って、実際に踏み込まれたアクセル開度に対応するエンジン出力を出さないようにする。その後、ステップＳ１０に戻る。

【0118】

次に、固着点忘却判断処理の内容について、図１２を用いて説明する。

【0119】

（ステップＳ１１２） 車速条件による忘却判断部９２において、端点検出部４０で検出された端点ｍ_１または端点ｍ_ｎが、距離算出部７５において、固着点Ｑの近傍にあると判断されたときに、車両１の車速に基づいて中心線観測回数カウンタＣｖを設定して、中心線観測回数カウンタＣｖと忘却判断カウンタＣｎを計数する。そして、忘却判断カウンタＣｎが所定値に達したら、固着点Ｑを忘却する。

【0120】

（ステップＳ１１３） 端点位置による忘却判断部９４において、端点検出部４０で検出された端点ｍ_１または端点ｍ_ｎが、距離算出部７５において、固着点Ｑの近傍にあると判断されたときに、固着点Ｑの位置に基づいて中心線観測回数カウンタＣｐを設定して、中心線観測回数カウンタＣｐと忘却判断カウンタＣｎを計数する。そして、忘却判断カウンタＣｎが所定値に達したら、固着点Ｑを忘却する。

【0121】

（ステップＳ１１４） 中心線方向による忘却判断部９６において、端点検出部４０で検出された端点ｍ_１，端点ｍ_ｎ、または中心線Ｍが、距離算出部７５において、固着点Ｑの近傍にあると判断されたときに、中心線Ｍの方向に基づいて中心線観測回数カウンタＣｓを設定して、中心線観測回数カウンタＣｓと忘却判断カウンタＣｎを計数する。そして、忘却判断カウンタＣｎが所定値に達したら、固着点Ｑを忘却する。

【0122】

（ステップＳ１１５） 垂線長による忘却判断部９８において、端点検出部４０で検出された端点ｍ_１，端点ｍ_ｎ、または中心線Ｍが、距離算出部７５において、固着点Ｑの近傍にあると判断されたときに、中心線Ｍと固着点Ｑの距離に基づいて中心線観測回数カウンタＣｄを設定して、中心線観測回数カウンタＣｄと忘却判断カウンタＣｎを計数する。そして、忘却判断カウンタＣｎが所定値に達したら、固着点Ｑを忘却する。

【0123】

（ステップＳ１１６） ステップＳ１１２からステップＳ１１５において、端点検出部４０で検出された端点ｍ_１，端点ｍ_ｎ、または中心線Ｍが、距離算出部７５において、固着点Ｑの近傍にあると判断されたときには、駐車枠検出部１００で駐車枠の検出を行う際に、端点ｍ_１，端点ｍ_ｎ、または中心線Ｍを有する白線候補領域の寄与度を引き下げる。

【0124】

このとき、距離算出部７５は、固着点Ｑが画像Ｉの中で車両１の直近を隠蔽する位置にあるときには、端点検出部４０で検出された端点ｍ_１，または端点ｍ_ｎが固着点Ｑまで、所定時間に亘って所定範囲内にあることを検出して、固着点Ｑが画像Ｉの中で車両１から遠方を隠蔽する位置にあるときには、端点検出部４０で検出された端点ｍ_１，端点ｍ_ｎ、または中心線Ｍが固着点Ｑまで、所定時間に亘って所定範囲内にあることを検出して白線候補領域の寄与度を引き下げてもよい。なお、前記所定時間または所定範囲は、前記所定距離によって値を切り替えるか、または前記所定距離に応じて連続的に値を変化させるようにしてもよい。そして、寄与度が引き下げられたことは、端点リスト８２の有効フラグ（図９第１列）を０にすることによって記憶しておく。

【0125】

（ステップＳ１１７） 端点リスト８２の内容、すなわち、端点の有効性、中心線観測回数カウンタＣｖ，Ｃｐ，Ｃｓ，Ｃｄの値、検出または予測された端点の位置、車両１の移動量は随時更新される。

【0126】

（ステップＳ１１８） 固着点リスト８４の内容、すなわち、固着点Ｑの有効性、最も近接している中心線Ｍまでの距離、固着点Ｑの位置、中心線観測回数カウンタＣｖ，Ｃｐ，Ｃｓ，Ｃｄの値、忘却判断カウンタＣｎの値は随時更新される。その後、ステップＳ１２０（図１１参照）に進む。

【0127】

以上説明したように、このように構成された本発明の車載画像処理装置５によれば、車両１に設置された撮像部１０が、車両１の周囲の、少なくとも路面を含む画像Ｉを撮像して、白線候補領域検出部３０が、撮像された画像Ｉの中から駐車枠を構成する可能性がある白線候補領域を検出して、端点位置検出部４０が、こうして検出された白線候補領域の中から、所定の方向に近接する第１の点と第２の点の中点同士を連結した中心線Ｍの両端点の位置、複数の第１の点からなる線素の両端点の位置、または複数の第２の点からなる線素の両端点の位置を、白線候補領域の端点として検出して、端点移動位置予測部６０が、車両挙動計測部５０で計測された車両１の挙動に基づいて、画像Ｉの中で、端点位置検出部４０で検出された端点の位置が移動すると予測される位置を算出して、端点移動量判断部７０が、端点移動位置予測部６０で予測された端点の位置と、端点移動位置予測部６０で予測した時刻において、実際に端点位置検出部４０で検出された端点の位置の差を求めて、この差が所定の値よりも大きいときに、その端点の移動前の位置を端点位置記憶部８０に記憶して、駐車枠検出部１００が、距離算出部７５によって、白線候補領域のうち、その白線候補領域、もしはその端点が、端点位置記憶部８０に記憶された端点の位置から所定距離以内にあると判断されたときには、その白線候補領域の寄与度を引き下げて駐車枠を検出するため、撮像部１０に汚れが付着して白線候補領域に途切れが生じた場合であっても、路面に描かれた駐車枠の位置を安定して確実に検出することができる。

【0128】

また、本発明の車載画像処理装置５によれば、車両挙動計測部５０で計測された車両１の車速が高いときほど、端点移動位置予測部６０において、白線候補領域の中心線Ｍの端点位置が移動する位置を予測する際の時間間隔Δｔをより短く設定するため、車速が高いときであっても、白線候補領域の端点の位置を正確に検出することができるため、固着点Ｑが発生したか否かの判定をより確実に行うことができる。

【0129】

また、本発明の車載画像処理装置５によれば、所定の時間間隔Δｔの間に車両１が所定距離移動したときは、端点移動位置予測部６０において、車両１が所定距離移動した時点の端点の位置を予測するため、車両１が短時間で大きく向きを変えたときであっても、白線候補領域の端点の位置を正確に検出することができるため、固着点Ｑが発生したか否かの判定をより確実に行うことができる。

【0130】

また、本発明の車載画像処理装置５によれば、距離算出部７５によって、端点位置記憶部８０に記憶された端点（固着点Ｑ）の位置と、端点位置検出部４０で検出された端点ｍ_１またはｍ_ｎの位置との距離、または中心線Ｍとの距離が所定値以内であると判断されたときに、端点位置忘却判断部９０が、その状態が所定時間時間に亘って連続するか否かを判断して、所定時間時間に亘って連続したときに、端点位置記憶部８０に記憶された固着点Ｑをクリアするため、時間の経過とともに固着点Ｑが増加して、駐車枠の構成要素として本来必要な白線候補領域までもが削除されてしまい、これによって駐車枠が検出できなくなることを防止できる。

【0131】

また、本発明の車載画像処理装置５によれば、端点位置忘却判断部９０が、車両１の車速が所定の車速範囲の中にあって、なおかつ、車速が高い状態にあるときほど、固着点Ｑの位置を短時間でクリアするため、車速が高いときは、白線候補領域が固着点Ｑの近傍を通過したことを確認したときに、固着点Ｑを忘却しやすくなる。

【0132】

また、本発明の車載画像処理装置５によれば、端点位置忘却判断部９０が、固着点Ｑが画像Ｉの中央に近い位置にあるときほど、その端点の位置を短時間でクリアするため、頻繁に中心線Ｍが出現する画像Ｉの中央付近では、固着点Ｑを忘却しやすくすることができる。

【0133】

また、本発明の車載画像処理装置５によれば、端点位置忘却判断部９０が、固着点Ｑと端点位置検出部４０で検出された端点との距離が近いときほど、固着点Ｑの位置を短時間でクリアするため、既に汚れが消失している可能性が高いときに、固着点Ｑを忘却しやすくすることができる。

【0134】

また、本発明の車載画像処理装置５によれば、端点位置忘却判断部９０が、白線候補領域の延びる方向が画像Ｉの水平方向に近いときほど、固着点Ｑの位置を短時間でクリアするため、中心線Ｍが固着点Ｑの上を通過する確率が高くなるときに、固着点Ｑを忘却しやすくすることができる。

【0135】

また、本発明の車載画像処理装置５によれば、距離算出部７５で算出された、端点位置記憶部８０に記憶された端点（固着点Ｑ）と端点位置検出部４０で検出された端点との距離が所定値よりも小さいときには、駐車枠検出部１００において駐車枠の検出を行う際に、端点位置検出部４０で検出された端点を有する白線候補領域を含む駐車枠を検出する際に、駐車枠を検出する枠の長さの許容範囲を狭くするため、不確実な白線候補領域に影響されることなく、駐車枠を安定して検出することができる。

【0136】

なお、実施例１では、白線候補領域の中心線Ｍを検出して駐車枠の検出を行ったが、この方法に限定されるものではなく、白線候補領域を検出する際に見つけた＋エッジで構成される線素、または−エッジで構成される線素を用いて処理を行っても、同様の効果を得ることができる。

【0137】

その場合は、端点検出部４０で、＋エッジで構成される線素の端点、または−エッジで構成される線素の端点が検出される構成となる。そして、駐車枠の検出は、所定の間隔だけ離隔した＋エッジで構成される線素と−エッジで構成される線素のペアを探すことによって行われる。

【0138】

また、実施例１では、白線候補領域の端点、または中心線Ｍが固着点Ｑの近傍にあったときには、駐車枠を検出する際に、その白線候補領域も寄与度を引き下げたが、これは、駐車枠を検出する際に、その白線候補領域を利用しないようにしても同様の効果が得られる。

【実施例2】

【0139】

次に、本発明の第２の実施例である実施例２について説明する。実施例２は、撮像部１０で撮像した画像の中で、車両から所定の距離よりも近い領域の内部は、撮像された画像を、車両を真上から見た俯瞰画像に座標変換して、この俯瞰画像を処理して駐車枠を検出し、所定の距離よりも遠い領域の内部は、撮像部１０で撮像した画像を俯瞰画像に変換せずに、そのまま画像処理を行って駐車枠を検出するものである。

【0140】

また、車両１がワイパを使用しているときには、予測端点位置を算出する際の時間間隔Δｔを、ワイパ非使用時に対して、より短い時間間隔に設定するものである。

【0141】

まず、図１，図１３を用いて、実施例２の構成を説明する。実施例２に示す車載画像処理装置６は、車両１に実装されて、図１に示すように、車両１から異なる４方向の画像を撮像するために設けられた前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄを有している。

【0142】

図１３は、車載画像処理装置６の全体構成を示すブロック図である。本車載画像処理装置６は、実施例１の構成に加えて、撮像部１０で撮像した画像を、撮像部１０から路面までの距離に基づいて、近接領域と遠方領域とに弁別する領域弁別部２５と、車両１がワイパを使用していることを示すワイパ信号を検出するワイパ信号検出部１３０と、を有する。

【0143】

以下、実施例２の作用について、実施例１と差異がある点を中心に説明する。なお、実施例１の作用と重複する部分については説明を省略する。

【0144】

＜処理対象画像の使い分けの説明＞
図１４を用いて、駐車枠を検出する画像の使い分けについて説明する。

【0145】

実施例２では、図１４に示すように、撮像部１０で撮像した画像Ｉのうち、撮像部１０から路面までの距離が所定距離ｄ_ｔｈ未満である近距離領域Ｒ_Ｎに対しては、実施例１と同様に、車両１を真上から見下ろしたように座標変換した俯瞰画像を処理することによって駐車枠の検出を行い、撮像部１０から路面までの距離が所定距離ｄ_ｔｈ以上である遠距離領域Ｒ_Ｆに対しては、撮像部１０で撮像した画像を座標変換せずに処理することによって駐車枠の検出を行う。

【0146】

この近距離領域Ｒ_Ｎは、図１４に示すように、撮像部１０を構成する前方カメラ１０Ａで撮像された画像Ｉ_１の中で、前方カメラ１０Ａから路面までの距離が所定距離ｄ_ｔｈ未満である近距離領域Ｉ_１Ｎと、左方カメラ１０Ｂで撮像された画像Ｉ_２の中で、左方カメラ１０Ｂから路面までの距離が所定距離ｄ_ｔｈ未満である近距離領域Ｉ_２Ｎと、右方カメラ１０Ｃで撮像された画像Ｉ_３の中で、右方カメラ１０Ｃから路面までの距離が所定距離ｄ_ｔｈ未満である近距離領域Ｉ_３Ｎと、後方カメラ１０Ｄで撮像された画像Ｉ_４の中で、後方カメラ１０Ｄから路面までの距離が所定距離ｄ_ｔｈ未満である近距離領域Ｉ_４Ｎと、から構成される。

【0147】

画像Ｉの中の、近距離領域Ｒ_Ｎと遠距離領域Ｒ_Ｆの境界線の位置は、画像Ｉの撮像範囲に関する情報と、所定距離ｄ_ｔｈの値を用いて、予め計算で求めておくことができるため、実施例１と同様に４台のカメラで撮像された画像を、それぞれ画像変換、合成部２０で俯瞰画像に座標変換、合成して画像Ｉを生成した後、近距離領域Ｒ_Ｎの内部のみに対して、実施例１で説明した白線候補領域の検出、端点位置の検出、予測端点位置の算出、端点移動量判断、端点位置記憶のそれぞれの処理を順次実行する。そして、固着点Ｑを検出して、固着点Ｑの近傍に端点を有する白線候補領域は駐車枠の検出に利用しないとともに、固着点Ｑの忘却判断を行う。この部分の処理の流れと処理の内容は実施例１で説明した通りである。

【0148】

一方、撮像部１０からの距離が所定距離ｄ_ｔｈ以上の遠距離領域Ｒ_Ｆに対しては、撮像部１０で撮像した画像を座標変換して俯瞰画像に変換せずに、そのまま画像処理を行って駐車枠を検出する。

【0149】

この画像処理は、俯瞰画像に対して行ったのと同じ手順で行えばよいが、駐車枠は遠方ほど小さく映るため、白線候補領域の検出を行うときには、＋エッジと−エッジの間隔ｗのしきい値を、遠方、すなわち、画像の上部ほど小さく設定する。

【0150】

なお、路面以外の領域に対して白線候補領域を探す必要はないため、撮像された画像の中から、予め、路面が映っていると考えられる領域を抽出しておくのが望ましい。

【0151】

さらに、撮像部で撮像されたままの画像では、俯瞰画像に変換したときに比べて、車両１が移動したときの端点の移動量が非常に小さくなるため、予測端点位置を算出するタイミングを、俯瞰画像を処理する際に設定した時間間隔Δｔよりも長い時間に設定する。これによって、白線候補領域の端点の位置を正確に検出することができるため、固着点Ｑが発生したか否かの判定をより確実に行うことができる。

【0152】

固着点Ｑが検出された後は、俯瞰画像を処理したときと同様に、その固着点Ｑの近傍に白線候補領域の端点が検出されたときには、その白線候補領域は、駐車枠の検出時に、寄与度を下げて利用する。

【0153】

さらに、実施例１と同様に、固着点Ｑの忘却判断を行う。

【0154】

＜ワイパ動作に基づいた予測時間間隔の設定法の説明＞
車両１がワイパを使用しているときは、降雨状態であると考えられる。そして、降雨状態であるときには、撮像部を構成するカメラのレンズに水滴が付着する可能性が高い。水滴は泥汚れと同様に、レンズの表面に付着すると、その付着した領域において駐車枠の像に乱れが生じたり、駐車枠が見えなくなったりして、画像処理によってその位置を認識できなくなる。

【0155】

しかし、水滴は、泥汚れとは異なって流動性が高いため、短時間でレンズを伝わって落下したり、車両１が走行することによって生じる風圧によって吹き飛ばされたりする可能性が高い。すなわち、水滴によって一時的に駐車枠が認識できなくなっても、短時間で、認識できる状態に復帰する可能性がある。

【0156】

そのため、車両１がワイパを動かしているときは、予測端点位置の算出を、ワイパを動かしていないときよりも短い時間間隔で行うようにする。

【0157】

これによって、固着点Ｑの忘却判断を短時間で行うことができるため、水滴の付着がなくなったときに、水滴の位置に観測された白線候補領域を、迅速に駐車枠の検出に利用することができる。

【0158】

＜実施例２の作用の説明＞
次に、実施例２に係る車載画像処理装置６の一連の動作の流れについて、図１５のフローチャートを用いて説明する。

【0159】

（ステップＳ２００） 図１３に図示しない車速センサの出力に基づいて、車両１の車速を検出する。そして、検出した車速が０でなく、かつ、予め設定された所定の車速以下であるか否かを判断する。検出した車速が０でなく、かつ、予め設定された所定の車速以下であると判断されたときはステップＳ２１０に進み、それ以外のときは図１５の処理を終了する。

【0160】

（ステップＳ２１０） 撮像部１０によって、車両１の周囲を撮像する。

【0161】

（ステップＳ２２０） 画像変換、合成部２０（画像変換部）において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図４（ａ）に示すような１枚の画像Ｉに合成される。そして、領域弁別部２５において、こうして生成された画像Ｉの中から、近距離領域Ｉ_１Ｎ，Ｉ_２Ｎ，Ｉ_３Ｎ，Ｉ_４Ｎ（図１４参照）のみで構成された画像を生成する。

【0162】

（ステップＳ２３０） 領域弁別部２５において、撮像部１０で撮像された画像の中から、遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆ（図１４参照）のみで構成された画像を生成する。なお、遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆの画像は、撮像部１０で撮像された画像を俯瞰図に変換せずに、なおかつ、近距離領域Ｉ_１Ｎ，Ｉ_２Ｎ，Ｉ_３Ｎ，Ｉ_４Ｎに相当する領域を除いた画像である。

【0163】

（ステップＳ２４０） 白線候補領域検出部３０，端点位置検出部４０において、近距離領域Ｉ_１Ｎ，Ｉ_２Ｎ，Ｉ_３Ｎ，Ｉ_４Ｎの画像と、遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆの画像の中から、駐車枠を構成すると考えられる白線候補領域を検出して、さらに、検出された白線候補領域の中から、その中心線を検出して、その中心線の両端の端点位置を検出する。この一連の処理の流れは、実施例１で説明した通りである。なお、遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆの画像については、遠方ほど＋エッジと−エッジの間隔ｗのしきい値を小さく設定して白線候補領域の検出を行う。

【0164】

（ステップＳ２５０） ワイパ信号検出部１３０において、車両１のワイパが動作しているか否かを判断する。ワイパが動作しているときはステップＳ２６０に進み、ワイパが動作していないときは、ステップＳ２７０に進む。

【0165】

（ステップＳ２６０） 予測端点位置を算出する時間間隔をΔｔ＝Δｔ_１に設定する。

【0166】

（ステップＳ２７０） 予測端点位置を算出する時間間隔をΔｔ＝Δｔ_２に設定する。なお、Δｔ_２はΔｔ_１よりも短い時間間隔である。

【0167】

（ステップＳ２８０） 端点移動位置予測部６０において、近距離領域Ｉ_１Ｎ，Ｉ_２Ｎ，Ｉ_３Ｎ，Ｉ_４Ｎの画像は、時間間隔Δｔで予測端点位置を算出して、遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆの画像は、時間間隔Δｔ＋Δｔ_３で予測端点位置を算出する。

【0168】

（ステップＳ２９０） 端点位置検出部４０において、ステップＳ２８０で予測した時刻における実端点位置を検出する。

【0169】

（ステップＳ３００） 端点移動量判断部７０において、予測端点位置と実端点位置との位置の差異を算出する。そして、算出された位置の差異が所定値以上のときはステップＳ３１０に進み、それ以外のときはステップＳ３３０に進む。

【0170】

（ステップＳ３１０） ステップＳ３００で評価した端点の移動前の位置を、新たに固着点リスト８４に登録して、固着点リスト８４を更新する。また、ステップＳ２４０，ステップＳ２９０で検出された端点位置に基づいて端点リスト８２を更新する。

【0171】

（ステップＳ３２０） 端点位置忘却判断部９０において、固着点Ｑの忘却判断を行う。この処理は、図１２で説明した通りである。

【0172】

（ステップＳ３３０） 全ての固着点に対して固着点Ｑの忘却判断を行ったか否かを判断する。条件を満足したときはステップＳ３４０に進み、それ以外のときはステップＳ３００に戻る。

【0173】

（ステップＳ３４０） 近距離領域Ｉ_１Ｎ，Ｉ_２Ｎ，Ｉ_３Ｎ，Ｉ_４Ｎの画像から検出した端点リストと、遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆの画像から検出した端点リストをマージして、同じ中心線を表す情報は１つにまとめる。なお、近距離領域Ｉ_１Ｎ，Ｉ_２Ｎ，Ｉ_３Ｎ，Ｉ_４Ｎと遠距離領域Ｉ_１Ｆ，Ｉ_２Ｆ，Ｉ_３Ｆ，Ｉ_４Ｆの境界位置は予めわかっているため、この境界位置において近接している端点同士は、同じ中心線を表すものと判断する。

【0174】

（ステップＳ３５０） 駐車枠検出部１００において、画像Ｉの中から駐車枠を検出する。詳しい処理内容は、前述したため省略する。

【0175】

（ステップＳ３６０） ステップＳ３５０を行った結果、駐車枠が見つかったか否かを判断する。駐車枠が見つかったときはステップＳ３７０に進み、駐車枠が見つからなかったときは、ステップＳ２００に戻る。

【0176】

（ステップＳ３７０） 情報出力部８５によって、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。

【0177】

（ステップＳ３８０） アクセル開度検出部１１０において、アクセル開度が所定値以上であるか否かを判断する。アクセル開度が所定値以上のときはステップＳ３９０に進み、アクセル開度が所定値に満たないときは、ステップＳ２００に戻る。

【0178】

（ステップＳ３９０） 車両挙動制御部１２０においてエンジン出力を絞る制御を行って、実際に踏み込まれたアクセル開度に対応するエンジン出力を出さないようにする。その後、ステップＳ２００に戻る。

【0179】

なお、実施例２は、車両１がワイパを使用していることを検出して所定時間Δｔを短く変更する構成としたが、この実施例に限るものではない。すなわち、粘着性のある汚れの付着を予測する付着物判定部を用いて、粘着性のある汚れの付着が予測されるときには、所定時間Δｔを長く設定することによって、汚れの付着を確実に認識することもできる。

【0180】

そして、付着物判定部の構成方法には、ワイパ信号検出部１３０のみならず、様々な方法が考えられ、そのいずれを使用してもよい。

【0181】

すなわち、雨滴に代表される水分の付着を予測するには、フロントウインドウに付着した雨滴を検出する雨滴センサを用いてもよいし、ミューセンサを用いて路面の摩擦を測定し、ミューが低いことを検出してもよい。また、路面を観測するカメラや光センサを用いて、路面反射を検出し、路面反射が高いことを検出してもよい。

【0182】

一方、泥汚れに代表される粘着性のある汚れの付着を予測するには、カメラで路面を観測してオフロードであることを検出してもよいし、また、ＡＢＳ（アンチロックブレーキシステム），ＶＤＣ（横滑り防止装置），ＴＣＳ（トラクションコントロールシステム）等の車両走行制御装置の出力を用いて判断することもできる。

【0183】

以上説明したように、このように構成された本発明の車載画像処理装置６によれば、画像の中で、撮像部１０からの距離が所定距離以上の領域においては、撮像部１０からの距離が所定距離未満の領域に対して、所定の時間間隔Δｔをより長くするため、白線候補領域の端点の位置を正確に検出することができるため、固着点Ｑが発生したか否かの判定をより確実に行うことができる。

【0184】

また、本発明の車載画像処理装置６によれば、撮像部１００に付着物が付着する可能性を判定するワイパ信号検出部１３０（付着物判定部）を有し、車両１がワイパを使用していると判断されたとき、すなわち、付着物が付着する可能性が高いと判断されたときには、所定の時間間隔Δｔをより短く設定するため、固着点Ｑの忘却判断を短時間で行うことができるため、水滴の付着がなくなったときに、水滴の位置に観測された白線候補領域を、迅速に駐車枠の検出に利用することができる。

【0185】

また、本発明の車載画像処理装置６によれば、撮像部で撮像した画像を、車両１の真上から見下ろした俯瞰画像に変換する画像変換、合成部２０（画像変換部）を有し、撮像部１０からの距離が所定距離以内である領域は、画像変換、合成部２０で変換された俯瞰画像を用いて駐車枠の検出を行い、撮像部１０からの距離が所定距離以上である領域は、撮像部１０で撮像した画像を画像変換、合成部２０で変換せずに駐車枠の検出を行うため、撮像部１０からの距離によらずに白線候補領域の端点の位置を正確に検出することができるため、固着点Ｑが発生したか否かの判定をより確実に行うことができる。

【0186】

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【符号の説明】

【0187】

５ 車載画像処理装置
１０ 撮像部
１０Ａ 前方カメラ
１０Ｂ 左方カメラ
１０Ｃ 右方カメラ
１０Ｄ 後方カメラ
２０ 画像変換、合成部
３０ 白線候補領域検出部
３２ エッジペア検出部
３４ 中心線検出部
４０ 端点位置検出部
５０ 車両挙動計測部
６０ 端点移動位置予測部
７０ 端点移動量判断部
７５ 距離算出部
８０ 端点位置記憶部
８２ 端点リスト
８４ 固着点リスト
８５ 情報出力部
９０ 端点位置忘却判断部
１００ 駐車枠検出部
１１０ アクセル開度検出部
１２０ 車両挙動制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】