特許 6245875 レンズ汚れ検出装置およびレンズ汚れ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245875

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】レンズ汚れ検出装置およびレンズ汚れ検出方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20171204BHJP

   H04N 5/232 20060101ALI20171204BHJP

【ＦＩ】

   H04N5/225 430

   H04N5/232

【請求項の数】10

【全頁数】28

(21)【出願番号】特願2013-155552(P2013-155552)

(22)【出願日】2013年7月26日

(65)【公開番号】特開2015-26987(P2015-26987A)

(43)【公開日】2015年2月5日

【審査請求日】2016年5月13日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】特許業務法人藤央特許事務所

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】中村 克行

(72)【発明者】

【氏名】入江 耕太

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特表２００５−５１５５６５（ＪＰ，Ａ）

【文献】 特開２００３−２５９２１１（ＪＰ，Ａ）

【文献】 特開２００９−１３０７００（ＪＰ，Ａ）

【文献】 特開２００７−２８２１０６（ＪＰ，Ａ）

【文献】 特開２０１３−１１５６２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

カメラのレンズ汚れを検出するレンズ汚れ検出装置であって、
前記レンズ汚れ検出装置は、制御部と、前記制御部に接続されるメモリと、を有し、
前記メモリは、前記カメラによって撮影された画像の画素値のデータを保持し、
前記画像は、複数の第１領域、及び、各々が複数の前記第１領域からなり、かつ、前記画像全体の大きさより小さい複数の第２領域に分割され、
前記制御部は、
前記画素値のデータに基づいて、前記複数の第１領域の画像周波数パワーを計算する前に、前記複数の第２領域の画像周波数パワーを計算し、
前記各第２領域の画像周波数パワーに基づいて、前記レンズ汚れの有無を判定し、
前記レンズ汚れがあると判定された前記各第２領域に含まれる前記各第１領域の前記画素値のデータに基づいて、前記レンズ汚れがあると判定された前記各第２領域に含まれる前記各第１領域の複数の周波数範囲の画像周波数パワーを計算し、
前記第１領域の複数の周波数範囲の各々の画像周波数パワーが所定の第１閾値を超えたか否かを判定し、
前記画像周波数パワーが前記第１閾値を超えない前記周波数範囲の数が所定の第２閾値を超える場合、前記第１領域において前記カメラのレンズ汚れがあると判定し、
前記各第１領域の画像周波数パワーに基づく前記レンズ汚れの有無の判定結果を出力することを特徴とするレンズ汚れ検出装置。

【請求項2】

請求項１に記載のレンズ汚れ検出装置であって、
前記制御部は、前記各第２領域の画像周波数パワーと、前記各第２領域に隣接する複数の前記第２領域の画像周波数パワーと、を重み付け演算することによって得られた画像周波数パワーに基づいて、前記各第２領域のレンズ汚れの有無を判定することを特徴とするレンズ汚れ検出装置。

【請求項3】

請求項２に記載のレンズ汚れ検出装置であって、
前記制御部は、
前記画素値のデータに基づいて、前記画像に含まれる、常に同一の被写体が撮影される一つ以上の固定被写体領域の画像を、予め撮影されたテンプレート画像と比較することによって、前記一つ以上の固定被写体領域の画像の歪みを検出し、
前記各第１領域の画像周波数パワーと、検出された前記一つ以上の固定被写体領域の画像の歪みと、に基づいて、前記レンズ汚れの有無を判定することを特徴とするレンズ汚れ検出装置。

【請求項4】

請求項３に記載のレンズ汚れ検出装置であって、
前記制御部は、
複数の前記固定被写体領域の画像と、前記複数の固定被写体領域の前記テンプレート画像との間の正規化差分絶対値和が所定の第３閾値を超えたか否かを判定し、
前記画像内の、前記レンズ汚れがあると判定された前記第１領域の数と、前記正規化差分絶対値和が前記第３閾値を超えなかった前記固定被写体領域の数と、に基づいて、前記画像のレンズ汚れの有無を判定することを特徴とするレンズ汚れ検出装置。

【請求項5】

請求項１に記載のレンズ汚れ検出装置であって、
前記制御部は、前記第１領域ごとの前記レンズ汚れの有無の判定結果を出力することを特徴とするレンズ汚れ検出装置。

【請求項6】

請求項１に記載のレンズ汚れ検出装置であって、
前記制御部は、
前記画像内の前記レンズ汚れがあると判定された前記第１領域の数が所定の第４閾値を超えたか否かを判定し、
前記レンズ汚れがあると判定された前記第１領域の数が前記第４閾値を超えた場合、前記画像に前記レンズ汚れがあると判定し、
前記画像の前記レンズ汚れの有無の判定結果を出力することを特徴とするレンズ汚れ検出装置。

【請求項7】

請求項１に記載のレンズ汚れ検出装置であって、
前記制御部は、
前記画像全体の大きさより小さく、かつ、前記第１領域より大きい第３領域内の、前記レンズ汚れがあると判定された前記第１領域の数が所定の第５閾値を超えたか否かを判定し、
前記レンズ汚れがあると判定された前記第１領域の数が前記第５閾値を超えた場合、前記第３領域に前記レンズ汚れがあると判定し、
前記第３領域ごとの前記レンズ汚れの有無の判定結果を出力することを特徴とするレンズ汚れ検出装置。

【請求項8】

請求項１に記載のレンズ汚れ検出装置であって、
前記カメラと、
前記カメラの撮影環境が所定の条件を満たす場合に前記カメラのレンズ面に赤外線を照射する一つ以上の赤外線光源と、をさらに有することを特徴とするレンズ汚れ検出装置。

【請求項9】

請求項１に記載のレンズ汚れ検出装置であって、
前記レンズ汚れの有無の判定結果を示す視覚情報を出力する表示装置、または、前記レンズ汚れの有無の判定結果を示す音声情報を出力する音声出力装置の少なくとも一方を有することを特徴とするレンズ汚れ検出装置。

【請求項10】

レンズ汚れ検出装置がカメラのレンズ汚れを検出するために実行するレンズ汚れ検出方法であって、
前記レンズ汚れ検出装置は、制御部と、前記制御部に接続されるメモリと、を有し、
前記メモリは、前記カメラによって撮影された画像の画素値のデータを保持し、
前記画像は、複数の第１領域、及び、各々が複数の前記第１領域からなり、かつ、前記画像全体の大きさより小さい複数の第２領域に分割され、
前記レンズ汚れ検出方法は、
前記制御部が、前記画素値のデータに基づいて、前記複数の第１領域の画像周波数パワーを計算する前に、前記複数の第２領域の画像周波数パワーを計算する手順と、
前記制御部が、前記各第２領域の画像周波数パワーに基づいて、前記レンズ汚れの有無を判定する手順と、
前記制御部が、前記レンズ汚れがあると判定された前記各第２領域に含まれる前記各第１領域の前記画素値のデータに基づいて、前記レンズ汚れがあると判定された前記各第２領域に含まれる前記各第１領域の複数の周波数範囲の画像周波数パワーを計算する手順と、
前記制御部が、前記第１領域の複数の周波数範囲の各々の画像周波数パワーが所定の第１閾値を超えたか否かを判定する手順と、
前記画像周波数パワーが前記第１閾値を超えない前記周波数範囲の数が所定の第２閾値を超える場合、前記制御部が、前記第１領域において前記カメラのレンズ汚れがあると判定する手順と、
前記制御部が、前記各第１の領域の画像周波数パワーに基づく前記レンズ汚れの有無の判定結果を出力する手順と、を含むことを特徴とするレンズ汚れ検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラ等のレンズ汚れを検出するシステムに関する。

【背景技術】

【0002】

車両同士の衝突及び人と車両の衝突などの事故を未然に避けるため、車両周辺の状況をカメラでモニタし、危険を感知した際はドライバーに警報を出力すると共に、車両挙動自体を自動で制御する技術が進展している。カメラを車外に設置したシステムでは、悪天候、泥、粉塵等によってカメラのレンズが汚れ易く、場合によってはその汚れが誤警報の原因となり、それ自体が安全性低下を招く可能性がある。そこで、レンズの汚れを自動的に検出し、エアー又は水を吹きかけてレンズ汚れを除去するシステムも実用化されているが、そのようなシステムは一般的に高価である。そこで、レンズ汚れが進行した場合は、車両周辺状況の認識動作を一時的に停止させることで、誤警報を防止し、不要な安全性低下を抑制することが好ましい。

【0003】

例えば、特許文献１には、背景画像と入力画像の差分画像からレンズ面の水滴付着を判定する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−２５４２０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

前述した特許文献１には、差分画像を用いて水滴判定を行う方法が開示されている。しかし、水滴は背景を透過する性質を持つことから、背景画像が残って水滴のように見えてしまう（例えば、背景画像の変化に起因する差分が水滴として検出される、又は、背景画像の一部が水滴のエッジとして検出される）場合がある。従って、差分画像だけでは真に水滴の存在が浮かび上がったのかを正確に判断することは困難である。

【0006】

本発明は、水滴のような透過性のある汚れを含む種々の汚れのカメラへの付着を精度良く判定することを目的とする。

【課題を解決するための手段】

【0007】

画像は、周期及び振幅が異なる複数の波（濃淡）が重なって出来た合成波と考えることができる。水滴が付着した画像（すなわち水滴が付着したレンズを通して撮影された画像）は、付着していない時に比べて画像ボヤケなどの変化が生じるが、このような画像の変化は合成波にも変化が生じていることを意味している。本発明は、カメラのレンズ汚れの進行（例えば、レンズに付着する水滴の量の増加）に伴い、画像の合成波に大きな変化が生じることに着目し、合成波を構成する各々の画像周波数成分を抽出して、その周波数成分の大小関係（すなわち画像周波数パワーの分布）の変化を解析することで、背景画像の影響を受けずに、カメラのレンズ汚れの有無を好適に判別することを目的とする。

【発明の効果】

【0008】

本発明の代表的な実施の形態によれば、水滴のような透過性のある汚れを含む種々の汚れのカメラへの付着を精度良く判定することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例１の外界認識装置の構成の例を示す機能ブロック図である。

【図2】本発明の実施例１の画像周波数解析部による領域分割処理の説明図である。

【図3】本発明の実施例１の画像周波数解析部による領域分割処理の別の例を示す説明図である。

【図4】本発明の実施例１の画像周波数解析部による画像周波数の算出方法の例を示す説明図である。

【図5】本発明の実施例１の画像周波数解析部による平均周波数パワーの算出方法の例を示す説明図である。

【図6】本発明の実施例１の雨滴が付着していない画像のサンプルブロックにおける閾値比較方法の例を示す説明図である。

【図7】本発明の実施例１の雨滴が付着している画像のサンプルブロックにおける閾値比較方法の例を示す説明図である。

【図8】本発明の実施例１の雨滴スコア計算部の動作の例を示す説明図である。

【図9】本発明の実施例１の雨滴領域情報生成部の動作の例を示す説明図である。

【図10】本発明の実施例１の雨滴判定部の動作の例を示す説明図である。

【図11】本発明の実施例２の雨滴判定部の動作の例を示す説明図である。

【図12】本発明の実施例３の雨滴検出部の構成の例を示す機能ブロック図である。

【図13】本発明の実施例３の第１の画像周波数解析部の動作の例を示す説明図である。

【図14】本発明の実施例３の周辺領域を考慮した第１の雨滴スコア計算部の動作の例を示す説明図である。

【図15】本発明の実施例３の第１の雨滴スコア計算部による処理領域の間引きを示す説明図である。

【図16】本発明の実施例４の雨滴検出部の構成の例を示す機能ブロック図である。

【図17】本発明の実施例４の画像歪み解析部における画像観測点の設定例を示す説明図である。

【図18】本発明の実施例４の画像歪み解析部の検出処理方法を示す説明図である。

【図19】本発明の実施例４の第３の雨滴スコア計算部の動作の例を示す説明図である。

【図20】本発明の実施例４において画像歪み解析を実施する場合の雨滴判定部の動作の例を示す説明図である。

【図21】本発明の実施例５の外界認識装置の一例を示す機能ブロック図である。

【図22】本発明の実施例５における赤外線ＬＥＤの設置位置の一例を示す説明図である。

【図23】本発明の実施例６の外界認識装置の一例を示す機能ブロック図である。

【図24】本発明の実施例６の外界認識装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明を図示の実施形態に基づいて説明する。

【実施例1】

【0011】

本実施例では、外界認識装置１００に搭載する雨滴検出部１０１の例を説明する。

【0012】

図１は、本発明の実施例１の外界認識装置１００の構成の例を示す機能ブロック図である。

【0013】

外界認識装置１００は、自車両（図示省略）のボディに取り付けた車載カメラ１１１の画像信号を入力して所定の画像信号処理を行って自車両の周辺状態を認識し、その認識結果を自車両の制御部へ出力し、さらに、ドライバーへの報知を行う装置である。

【0014】

自車両の周辺状態の認識とは、自車両の近傍および遠方の周辺空間を撮影したカメラ画像の解析処理を行い、バイク、自転車を含む他車両および歩行者の有無、および、自車両の走行または駐車の妨げになる障害物体の有無を認識することである。さらに、自車両の近傍および遠方のバイク、自転車を含む他車両および歩行者が急接近を検知して自車両との衝突を予測すること、および自車両と障害物との衝突を予測することも自車両の周辺状態の認識に含まれる。

【0015】

外界認識装置１００は、雨滴検出部１０１、周辺状態認識部１０６、警報処理部１１０およびドライバー通知部１０９を備える。さらに、外界認識装置１００は、車載カメラ１１１、制御部１１２およびメモリ１１３を備えてもよい。車載カメラ１１１は、自車両周辺の画像を撮影する。撮影された画像を構成する画素値のデータは、信号バスを介してメモリ１１３に一時的に保持され、雨滴検出部１０１に入力される。制御部１１２は、車載カメラ１１１と雨滴検出部１０１との間の画像の入出力、および、外界認識装置１００と自車両制御部１１４との間の認識結果情報および警報信号の入出力を制御する。

【0016】

自車両制御部１１４は、外界認識装置１００による自車両の周辺状態の認識結果に基づいて、自車両の制御（例えば、操舵、減速又は停止等）を実行する。

【0017】

雨滴検出部１０１は、車載カメラ１１１から入力した画像から車載カメラ１１１のレンズ面への雨滴付着の有無を予測するブロックであり、車載カメラ１１１から入力した画像を所定の領域に分割して分割領域毎に画像周波数を求める画像周波数解析部１０２と、求めた画像周波数から雨滴付着の確かさを分割領域毎にスコア値として算出する雨滴スコア計算部１０３と、画像１枚（１フレーム）分の領域の雨滴スコアマップを作成する雨滴領域情報生成部１０４と、雨滴スコアマップから画像毎にレンズ面への雨滴付着の有無を示す雨滴判定情報を出力する雨滴判定部１０５と、を備える。

【0018】

周辺状態認識部１０６は、車載カメラ１１１のレンズ面が雨、雪、泥、白濁等で汚れている状態であるか否かを診断する汚れ診断部１０８と、車両の周辺状態の認識を行うための周辺認識部１０７と、周辺認識部１０７から出力された認識結果情報および警報信号を自車両制御部１１４に送信する警報処理部１１０と、を備える。また、汚れ診断部１０８は、車載カメラ１１１のレンズ面が雨、泥、白濁等で汚れた状態にある場合、周辺認識部１０７に対して正確な画像認識処理が困難で誤認識が生じ易い状態であるため、ＦＡＩＬ信号を出力して周辺認識部１０７の動作を一時的または連続して停止させる。さらに、周辺認識部１０７が一時的または連続して動作停止状態であることを示す汚れ通知情報をドライバー通知部１０９に出力し、外部に別途設置されたディスプレイなどの表示手段（図２３参照）を介してドライバーに対する通知を行う。

【0019】

図１に示した画像周波数解析部１０２等からなる雨滴検出部１０１、汚れ診断部１０８等からなる周辺状態認識部１０６、警報処理部１１０およびドライバー通知部１０９は、専用の論理回路によって実現されてもよいが、汎用のプロセッサがプログラムを実行することによって実現されてもよい。その場合、外界認識装置１００は少なくとも制御部１１２及びメモリ１１３を含み、上記の各部を実現するためのプログラムがメモリ１１３にロードされ、制御部１１２（すなわちプロセッサ）がそれらのプログラムを実行することによって、上記の各部が実現される。この場合、以下の説明において上記の各部が実行する処理は、実際には制御部１１２によって実行される。

【0020】

本発明の雨滴検出部１０１は、雨、泥、白濁等の種々の汚れ検知に用いることが可能であるが、本実施例は雨滴検出の例を用いて説明する。

【0021】

以下、雨滴検出部１０１について説明する。

【0022】

図２は、本発明の実施例１の画像周波数解析部１０２による領域分割処理を示す説明図である。

【0023】

図２（ａ）は、車載カメラ１１１を自車両後方のバンパー上部に装着して撮影した画像２００の一例である。画像中には、他車両および後方風景を含む自車両後方の路面状況２０５、車載カメラ１１１と一体化し、太陽光など不要な外光が映りこまないようにするための遮光版２０１、自車両のボディ上端２０２（フィニッシャー）、バンパー２０３、およびナンバープレート２０４が映り込んでいる。

【0024】

図２（ｂ）は、画像周波数解析部１０２の領域分割処理の一例を示す図である。画像周波数解析部１０２は、車載カメラ１１１が撮影した１フレームの画像の空間を所定の画像サイズの領域に分割し、分割領域毎に画像周波数を求める。図２（ｂ）は、３２０（水平）×２５６（垂直）画素の画像２００を、各々の画素数（ｘａ×ｙａ）が３２×３２画素である合計８０個（Ｍ＝１０、Ｎ＝８）の領域２０６に分割した例である。

【0025】

尚、図２（ａ）に示した車載カメラ１１１の装着位置は一例であり、自車両の他の位置に設置した車載カメラ１１１が撮影した画像を雨滴検出部１０１に入力しても良い。

【0026】

さらに、図２（ｂ）に示した入力画像サイズ、領域分割後の１個の領域の画像サイズとそれに伴う領域分割数は一例であり、画像サイズおよび領域分割数のいずれも任意の値を設定することができる。

【0027】

図３は、本発明の実施例１の画像周波数解析部１０２による領域分割処理の別の例を示す説明図である。

【0028】

図２（ｂ）では、画像２００の全面を領域分割の対象とした例を示したが、周辺状態認識部１０６の用途に応じて雨滴検出領域を任意の一部分または複数の部分に設定しても良い。

【0029】

例えば、図３（ａ）は、道路面のみが映り込む部分を雨滴検出領域３００に設定した例である。図３（ｂ）は、自車両の一部および車載カメラ１１１の遮光版の映り込みを除いた部分を雨滴検出領域３０１に設定した例である。図３（ｃ）は、道路上に描かれた車線が映り込み易い部分を、２つの雨滴検出領域（３０２および３０３）に設定した例である。

【0030】

なお、図２および図３には、画像に複数の分割領域を設定する例を示したが、画像に所定の大きさの分割領域を一つのみ設定してもよい。

【0031】

図４は、本発明の実施例１の画像周波数解析部１０２による画像周波数の算出方法の例を示す説明図である。

【0032】

画像周波数の算出には、離散フーリエ変換（Discrete Fourier Transform、以下ＤＦＴ）を用いる。離散フーリエ変換とは、所定の時間軸上でサンプリングされたディジタル信号（離散信号）を周波数信号の分布を表す周波数スペクトルに変換する方法として一般的に知られている演算方法である。以下、ＤＦＴによる画像周波数の算出について説明する。

【0033】

画像は複数の波が重なって出来た合成波であり、ＤＦＴによって、ある入力画像の濃淡（画素値）を、低周波から高周波までの周波数成分に分解することができる。ここでいう周波数とは、画素値の空間的な変化の周波数であり、一般に空間周波数又は画像周波数と呼ばれる。画像が水平方向と垂直方向の２つの方向の濃淡の波が合成されたものであると考えると、ＤＦＴで得られる画像周波数の成分も水平・垂直方向の２次元の結果が得られる。

【0034】

理想的なフーリエ変換の考え方は、無限に連続する画像信号を与えて周波数成分を得ることが基本となっている。しかし、実際の信号処理では無限信号入力による関数演算は現実的ではないため、１枚の画像全部または一部の画像領域を切り出して有限サイズの離散フーリエ変換が実行される。切り出す画像サイズは、どの領域の画像周波数を調べたいかに応じて任意に選択される。

【0035】

次に、本実施形態で用いられるＤＦＴの具体的な手順を説明する。画像のような２次元データのＤＦＴには、以下の数式１が用いられる。Ｍ個（水平方向）×Ｎ個（垂直方向）の画素からなる画像について数式１のＤＦＴを行うことによって、Ｍ個（水平方向）×Ｎ個（垂直方向）の、すなわち入力画素数と同じ個数の画像周波数データが得られる。

【0036】

【数1】

ここで、

【0037】

【数2】

【0038】

【数3】

である。

【0039】

尚、ｘおよびｙは、画像の空間座標の値、すなわち、入力画像に含まれる各画素の空間的な位置を示す座標値である。ｘは各画素の水平方向の位置を示す座標値、ｙは各画素の垂直方向の位置を示す座標値である。

【0040】

ｋおよびｌは、周波数空間座標を示す値である。ｋは水平方向の周波数位置を示し、ｌは垂直方向の周波数位置を示す。

【0041】

ｆ（ｘ，ｙ）は、画像の中の水平方向の座標値ｘ、垂直方向の座標値ｙによって特定される位置の画素値を示す関数である。

【0042】

Ｗ_M^xkは、水平方向のＭ個の画素信号（離散信号）に存在する１周期当たりの水平周波数成分を抽出する係数である。

【0043】

係数ｘは、水平方向の画素位置（ｘ＝０〜Ｍ−１）を、係数ｋは、水平周波数成分の位置（ｋ＝０〜Ｍ−１）を、それぞれ表す。

【0044】

Ｗ_N^ylは、垂直方向のＮ個の画素信号（離散信号）に存在する１周期当たりの垂直周波数成分を抽出する係数である。

【0045】

係数ｙは、垂直方向の画素位置（ｙ＝０〜Ｎ−１）を、係数ｌは、垂直周波数成分の位置（ｌ＝０〜Ｎ−１）を、それぞれ表す。

【0046】

Ｆ（ｋ，ｌ）は、水平方向の座標値ｋ、垂直方向の座標値ｌによって特定される画像周波数データを示す関数である。

【0047】

さらに、周波数スペクトル同士の比較が行い易いように周波数パワーへの変換を行うため、数式４を用いる。周波数パワーの単位はｄＢ（デシベル）である。

【0048】

【数4】

【0049】

雨滴が付着した画像は、雨滴が付着していない場合に比べて画像ぼやけが生じることが知られている。例えば、画像に映り込んだ背景、他車両および周辺の建物のエッジが雨滴付着によって霞んだり、場合によっては消失したりする。画像がぼやけた状態では、ぼやけていない状態と比較して画像周波数が低くなる特性がある。すなわち、雨滴が付着した画像は画像周波数が低くなる特性があり、雨滴が付着していない画像は画像周波数が高くなる特性がある。本発明は、この特性を利用し、画像周波数を調べることで雨滴付着の有無を検出するものである。

【0050】

図４（ａ）に示した領域分割後の１個の画像（３２×３２画素）を入力してＤＦＴ演算を行った場合、図４（ｂ）に示すように画像のＤＣ（直流）成分である４画素４０３を中心とする象限Ａ、象限Ｂ、象限Ｃおよび象限Ｄの４個の画像周波数が求まる。但し、ＤＦＴの性質上、象限Ａ、象限Ｂ、象限Ｃおよび象限Ｄの画像周波数は、ＤＣ成分の座標に対して点対称となる。すなわち、象限Ａの画像周波数から象限Ｂ、象限Ｃおよび象限Ｄの画像周波数を求めることができるため、画像周波数としては象限Ａの１６×１６個のデータ（以下、サンプルブロック）のみを参照すればよい。また、図４（ｃ）に示すようにＤＦＴで求めた画像周波数データは、左下の１個のＤＣ成分値とそれ以外のＡＣ成分値４０４で構成される。画像周波数データの横方向は水平周波数成分を示し、左側が低周波数、右側が高周波数を示す。縦方向は垂直周波数成分を示し、下側が低周波数、上側が高周波数を示す。

【0051】

図５は、本発明の実施例１の画像周波数解析部１０２による平均周波数パワーの算出方法の例を示す説明図である。

【0052】

図５（ａ）に示すように平均周波数パワーを求めるため、画像周波数解析部１０２は、サンプルブロックをさらに１６個の小ブロック（小ブロックａ５００から小ブロックｐ５０１）に分割する。各小ブロックは、４×４個（すなわち１６個）の周波数空間座標を含む周波数範囲に対応する。すなわち、数式１〜４によって、各小ブロックについて４×４個の周波数空間座標に対応する周波数パワーが計算される。次に、画像周波数解析部１０２は、小ブロック毎に４×４個の周波数空間座標に対応する周波数パワーを平均することで、小ブロックの平均周波数パワーを求める。

【0053】

図５（ｂ）は、雨滴が付着していない画像のあるサンプルブロックであり、小ブロック毎に平均周波数パワーを求めた結果の一例である。図５（ｂ）に示す平均周波数パワー５０２から５０３は、それぞれ、雨滴が付着していない画像の小ブロックａ５００から小ブロックｐ５０１までについて求められた平均周波数パワーの例である。この例において、水平周波数成分及び垂直周波数成分のいずれも最も低い周波数範囲に相当する小ブロックａ５００の平均周波数パワー５０２が「１３０」、水平周波数成分及び垂直周波数成分のいずれも最も高い周波数範囲に相当する小ブロックｐ５０１の平均周波数パワー５０３が「１１０」である。

【0054】

図５（ｃ）は、雨滴が付着した画像のあるサンプルブロックであり、小ブロック毎に平均周波数パワーを求めた結果の一例である。図５（ｃ）に示す平均周波数パワー５０２から５０３は、それぞれ、雨滴が付着した画像の小ブロックａ５００から小ブロックｐ５０１までについて求められた平均周波数パワーの例である。この例において、小ブロックａ５００の平均周波数パワー５０２が「１２０」、小ブロックｐ５０１の平均周波数パワー５０３が「８０」である。

【0055】

なお、既に説明したように、雨滴が付着した画像は画像周波数が低くなる特性があり、雨滴が付着していない画像は画像周波数が高くなる特性がある。このため、一般に、車載カメラ１１１のレンズに雨滴が付着したときに撮影された画像の各周波数範囲の平均周波数パワーを、雨滴が付着していないときに撮影された画像のそれと比較すると、高い周波数範囲の平均周波数パワーほど顕著に低下する傾向がある。図５（ｂ）および図５（ｃ）はその一例を示したものである。

【0056】

図６は、本発明の実施例１の雨滴が付着していない画像のサンプルブロックにおける閾値比較方法の例を示す説明図である。

【0057】

グラフの横軸はサンプルブロック内の１６個の小ブロック６００、縦軸は平均周波数パワー６０１（単位はｄＢ）を示している。横軸の値ａ〜ｐに対応する各棒グラフは図５（ｂ）の小ブロックａ５００から小ブロックｐ５０１の平均周波数パワー５０２から５０３の値を示す。例えば、横軸の値ａに対応する棒グラフ６０２は、雨滴が付着していない画像の小ブロックａ５００の平均周波数パワー５０２の値「１３０」を示す。各小ブロックの平均周波数パワー値を所定の周波数パワー閾値ＦＰＴＨ６０３と比較することで、雨滴付着の有無が判定される。

【0058】

ここでは、仮に周波数パワー閾値ＦＰＴＨ６０３の値を９５とする。図６の例は、全ての小ブロックの平均周波数パワーが周波数パワー閾値ＦＰＴＨ６０３を上回ることを示している。

【0059】

図７は、本発明の実施例１の雨滴が付着している画像のサンプルブロックにおける閾値比較方法の例を示す説明図である。

【0060】

図６と同様にグラフの横軸はサンプルブロック内の１６個の小ブロック７００、縦軸は平均周波数パワー７０１（単位はｄＢ）を示している。横軸の値ａ〜ｐに対応する各棒グラフは図５（ｃ）の小ブロックａ５００から小ブロックｐ５０１の平均周波数パワー５０２から５０３の値を示す。例えば、横軸の値ａに対応する棒グラフ７０２は、雨滴が付着した画像の小ブロックａ５００の平均周波数パワー５０２の値「１２０」を示す。各小ブロックの平均周波数パワー値を所定の周波数パワー閾値ＦＰＴＨ７０３と比較することで、雨滴付着の有無を判定する。ここでは、仮に周波数パワー閾値ＦＰＴＨ７０３の値を９５とする。図７の例は、ａ、ｂ、ｅ、ｆの４個の小ブロックの平均周波数パワーが周波数パワー閾値ＦＰＴＨ７０３を上回り、ａ、ｂ、ｅ、ｆ以外の１２個の小ブロックの平均周波数パワーが周波数パワー閾値ＦＰＴＨ７０３以下であることを示している。

【0061】

図８は、本発明の実施例１の雨滴スコア計算部１０３の動作の例を示す説明図である。

【0062】

雨滴スコア計算部１０３は、まず、平均周波数パワーが周波数パワー閾値ＦＰＴＨ以下の小ブロックの個数をカウントして合計スコアとする。次に、雨滴スコア計算部１０３は、この合計スコアをサンプルブロックの雨滴スコア閾値（図８（ａ））と比較して、サンプルブロック毎の雨滴付着の有無を判断する。

【0063】

図８の例では、平均周波数パワーが周波数パワー閾値ＦＰＴＨ以上の小ブロックには「０」のフラグを置く。平均周波数パワーが周波数パワー閾値ＦＰＴＨ以下の小ブロックには「１」のフラグを置く。

【0064】

図８（ｂ）は、図５（ｂ）および図６で示した雨滴が付着していない画像のサンプルブロックの雨滴スコアの例である。図８（ｂ）の場合、「１」のフラグが存在しないので合計スコアは「０」となり、雨滴スコア閾値「１０」以下であるため、該当するサンプルブロックは雨滴付着無しと判定される。

【0065】

図８（ｃ）は、図５（ｃ）および図７で示した雨滴が付着している画像のサンプルブロックの雨滴スコアの例である。図８（ｃ）の場合、「１」のフラグが１２個存在するので合計スコアは「１２」となり、雨滴スコア閾値「１０」以上であるため、該当するサンプルブロックは雨滴付着有りと判定される。

【0066】

上記の図５から図８を参照して説明した方法は、平均周波数パワーが小さい小ブロックを多く含むサンプルブロックの画像周波数は低いとの推定に基づいて雨滴付着の有無を判定する方法である。これによって、水滴のような透過性の高い汚れであっても、レンズへの付着を精度よく検出することができる。しかし、これは、雨滴が付着した画像の画像周波数が低くなり、雨滴が付着していない画像の画像周波数が高くなるという特性を利用して雨滴の付着の有無を判定するという本発明の雨滴検出の具体的な方法の一例に過ぎず、実際には上記以外の種々の具体的な方法も本発明の範疇に含まれ得る。

【0067】

例えば、画像周波数解析部１０２は、図４（ｂ）の象限Ａに相当するサンプルブロックを１６個より多くの小ブロックに分割してもよいし、１６個より少ない小ブロックに分割してもよいし、複数の小ブロックに分割しなくてもよい。サンプルブロックを複数の小ブロックに分割しない場合、画像周波数解析部１０２は、象限Ａ全体の平均周波数パワーを計算し、その値が閾値を超えたか否かに基づいて、サンプルブロックに対応する分割領域への雨滴の付着の有無を判定してもよい。

【0068】

ただし、サンプルブロックを分割せずに計算された平均周波数パワーはＤＣ成分の影響を受けやすいが、そのＤＣ成分は雨滴の付着の影響を受けにくい。このため、雨滴の付着の有無を精度よく判定するためには、高い周波数範囲の周波数パワーを観察できるように、計算量が増えすぎない範囲で、サンプルブロックを複数の小ブロックに分割することが望ましい。

【0069】

図９は、本発明の実施例１の雨滴領域情報生成部１０４の動作の例を示す説明図である。

【0070】

雨滴領域情報生成部１０４は、雨滴スコア計算部１０３で求めたサンプルブロック毎の雨滴判定結果を図２（ｂ）に示した画像の分割領域毎に、雨滴スコア計算部１０３で求めたサンプルブロック毎の雨滴判定結果を示す「０」または「１」のフラグを置く。具体的には、雨滴領域情報生成部１０４は、雨滴付着無しと判定された分割領域（９００）には「０」のフラグを置き、雨滴付着有りと判定された分割領域（９０１）には「１」のフラグを置いて雨滴領域情報を生成する。この雨滴領域情報を参照することで、画面のどこに雨滴が付着しているかを視覚的に観測することが可能となる。

【0071】

図１０は、本発明の実施例１の雨滴判定部１０５の動作の例を示す説明図である。

【0072】

雨滴領域情報によって、画像のどこに雨滴が付着しているかを視覚的に知ることが可能となるが、周辺認識機能の種類によっては画像毎に（例えば図９の画像２００全体について）雨滴付着していない、または雨滴付着している、の判定結果を示す２値出力が必要な場合がある。

【0073】

そこで、雨滴判定部１０５は、画像全体の雨滴スコア閾値（図１０（ａ））を任意に設定し、雨滴領域情報生成部１０４で生成した雨滴領域情報の「１（雨滴付着有りを示す）」のフラグの画像全体の合計である合計雨滴スコアと比較する。

【0074】

図１０（ｂ）の画像２００のサンプルブロックごとの雨滴判定結果は、図９に示したものと同様である。この例では、合計雨滴スコアが「３２」であり、雨滴スコア閾値の「３０」以上であるため、雨滴判定部１０５は、この画像における雨滴判定結果として「画像付着有り」を示す雨滴判定情報を出力する。仮に、合計雨滴スコアが雨滴スコア閾値以下の場合は、雨滴判定部１０５は「画像付着無し」を示す雨滴判定情報を出力する。これによって、周辺状態認識部１０６は、画像毎に雨滴の付着の有無を知ることができる。

【実施例2】

【0075】

次に、本発明の実施例２について説明する。以下に説明する相違点を除き、実施例２の外界認識装置１００は実施例１の外界認識装置１００と同一であるため、相違点以外の部分の図示及び説明は省略する。

【0076】

図１１は、本発明の実施例２の雨滴判定部１０５の動作の例を示す説明図である。

【0077】

具体的には、図１１は、１つの画像（例えば図１０（ｂ）の画像２００全体）について１個の雨滴判定結果を出力するのではなく、複数個の画像分割領域を設けて、画像分割領域毎に雨滴判定結果を出力する例である。図１１（ｂ）の画像２００のサンプルブロックごとの雨滴判定結果は、図９及び図１０（ｂ）に示したものと同様である。図１１（ｂ）に示したように、雨滴判定部１０５は、画像分割領域の雨滴スコア閾値（図１１（ａ））を任意に設定し、さらに１枚の画像２００をＡ、Ｂ、Ｃ、Ｄ、Ｅの５つの領域１１００に分割して、分割領域毎に合計雨滴スコアを計算する。

【0078】

図１１（ｂ）は、各分割領域１１００が１６個（２×８個）のブロックを含む例を示す。雨滴判定部１０５は、画像分割領域の雨滴スコア閾値と分割領域毎の合計雨滴スコアとを比較して、画像分割領域毎の雨滴判定情報を得る。雨滴判定部１０５は、分割領域毎の合計雨滴スコアが雨滴スコア閾値以上ならば、分割領域毎の雨滴判定情報として「画像付着有り」を示す「１」を出力し、分割領域毎の合計雨滴スコアが雨滴スコア閾値以下の場合は、分割領域毎の雨滴判定情報として「画像付着無し」を示す「０」を出力する。

【0079】

この様に雨滴判定を行う画像領域を細分化することで、画像のどの部分に雨滴付着があるか否かを後段の汚れ診断部１０８および周辺認識部１０７に伝達することが可能となる。これによって、雨滴付着している一部のエリアのみ認識動作の停止を指示するなど、周辺状態の認識動作を細かく制御することが可能となる。

【実施例3】

【0080】

次に、本発明の実施例３について説明する。以下に説明する相違点を除き、実施例３の外界認識装置１００は実施例１の外界認識装置１００と同一であるため、相違点以外の部分の図示及び説明は省略する。また、図示された実施例３の外界認識装置１００の各部は、以下に説明する相違点を除き、実施例１の同一の参照符号を付された各部と同一の機能を有するため、それらの説明は省略する。

【0081】

図１２は、本発明の実施例３の雨滴検出部１０１の構成の例を示す機能ブロック図である。

【0082】

ここでは、画像周波数の解析精度を向上させるため、画像周波数解析部を２ステップに分けて構成した例を示す。図１２の雨滴検出部１０１は、大きな画像サイズに分割された領域毎に画像周波数解析を行う第１の画像周波数解析部１２００と、上記の大きな画像サイズの領域ごとに雨滴スコアを求める第１の雨滴スコア計算部１２０１と、小さい画像サイズに分割された領域毎に画像周波数解析を行う第２の画像周波数解析部１２０２（図１の画像周波数解析部１０２と同じ）と、上記の小さい画像サイズの領域ごとに雨滴スコアを求める第２の雨滴スコア計算部１２０３（図１の雨滴スコア計算部１０３と同じ）と、雨滴領域情報生成部１２０４（図１の雨滴領域情報生成部１０４と同じ）と、雨滴判定部１２０５（図１の雨滴判定部１０５と同じ）と、で構成される。

【0083】

以下に、第１の画像周波数解析部１２００および雨滴スコア計算部１２０１の動作を説明する。尚、以下に示す例において、上記の「小さい画像サイズ」は、図２に示した分割された領域のサイズと同じであり、上記の「大きい画像サイズ」は、「小さい画像サイズ」より大きく、かつ、１フレームの画像全体のサイズよりは小さいサイズである。したがって、第２の画像周波数解析部１２０２および第２の雨滴スコア計算部１２０３は、それぞれ、図１で説明した画像周波数解析部１０２および雨滴スコア計算部１０３と同じ動作を行う。さらに、雨滴領域情報生成部１２０４および雨滴判定部１２０５は、それぞれ、図１で説明した雨滴領域情報生成部１０４および雨滴判定部１０５と同じ動作を行う。以下において、図１に示したものと同様の動作を行う各部の説明は省略する。

【0084】

図１３は、本発明の実施例３の第１の画像周波数解析部１２００の動作の例を示す説明図である。

【0085】

第１の画像周波数解析部１２００は、車載カメラの画像２００を領域分割する時、第２の画像周波数解析部１２０２で設定する領域分割の画像サイズより大きな画像サイズを設定する。例えば、図１３（ａ）は、第１の画像周波数解析部１２００の領域分割後の画像サイズとして６４×６４画素に設定する例を示す。図１３（ｂ）は、第２の画像周波数解析部１２０２の領域分割後の画像サイズとして３２×３２画素に設定する例を示す。

【0086】

第１の画像周波数解析部１２００の画像周波数の求め方は、参照する領域分割後の画像サイズが異なる点を除いて既に説明したものと同じであり、平均周波数パワーの演算方法は図４および図５と同じであるため説明を省略する。

【0087】

尚、第１の画像周波数解析部１２００の領域分割後の画像サイズは任意に設定して良いが、必ず、第２の画像周波数解析部１２０２の領域分割後の画像サイズより大きなサイズを設定する。

【0088】

図１４は、本発明の実施例３の周辺領域を考慮した第１の雨滴スコア計算部１２０１の動作の例を示す説明図である。

【0089】

第１の雨滴スコア計算部１２０１は、図４、図５および図１３（ａ）で説明した手順で平均周波数パワーを求めた後、さらに各領域の平均周波数パワーと、その周辺領域の平均周波数パワーを所定の割合で加算して、これを各領域の最終の平均周波数パワーＰａｖｅとする。ここで、最終の平均周波数パワーＰａｖｅの計算対象の領域を注目領域と記載する。周辺領域は、少なくとも注目領域に隣接する複数の領域を含む。以下の例では、注目領域の周囲に隣接する８領域を周辺領域とする。

【0090】

例えば、最終の平均周波数パワーＰａｖｅは、数式５によって算出される。

【0091】

【数5】

ここで、
ａ〜ｉ＝分割領域単独で求めた平均周波数パワー
Ｋ１＝第１の係数（例えば、０．７）
Ｋ２＝第２の係数（例えば、０．３７５）
である。

【0092】

第１の係数Ｋ１および第２の係数Ｋ２は、周辺領域の重要度、すなわち注目領域の平均周波数パワーと共に周辺領域の平均周波数パワーをどの程度雨滴検出に利用するかを示すレベルに応じて任意に設定して良い。

【0093】

尚、注目領域の位置によっては、周辺領域の一部が存在しない場合がある（例えば、画像周辺部に位置する分割領域ｆ１３０５、分割領域ｄ１３０３、分割領域ｇ１３０６）。その場合は、存在しない部分の平均周波数パワーを０にしてＰａｖｅを計算しても良いし、または注目領域の平均周波数パワーを存在しない周辺領域の平均周波数パワーとして代入してＰａｖｅを計算しても良い。あるいは、他の方法で隣接する分割領域の平均周波数パワーを用いて近似した平均周波数パワーを代入しても良い。

【0094】

分割領域のサイズが大きければ、注目領域の一部に雨滴が付着していてもそれを検出できない可能性がある。しかし、例えば周辺領域に雨滴が付着していると判定された場合には、注目領域にも雨滴が付着している可能性が高いと考えられる。したがって、上記のように、注目領域の平均周波数パワーだけでなく、その周辺領域の平均周波数パワーも重み付け演算によって注目領域の雨滴検出に利用することによって、分割領域のサイズが大きい場合であっても、精度よく雨滴の付着の有無を判定することができる。

【0095】

図１５は、本発明の実施例３の第１の雨滴スコア計算部１２０１による処理領域の間引きを示す説明図である。

【0096】

第１の雨滴スコア計算部１２０１は、図８に示したサンプルブロックの雨滴スコアの求め方と同一の方法で雨滴スコアを計算する。但し、分割領域の画像サイズが図８の例と異なるため、サンプルブロックのサイズが異なる。図１３（ａ）の例で示したように、１個の分割領域の画像サイズは６４×６４画素であるため、第１の雨滴スコア計算部１２０１は、ＤＦＴで求まる象限Ａの画像周波数データ数を３２×３２個として計算を行う。

【0097】

第１の雨滴スコア計算部１２０１は、この画像周波数データ数を用いて、平均周波数パワーが周波数パワー閾値ＦＰＴＨ以下の小ブロック個数をカウントして合計スコアとする。そして、第１の雨滴スコア計算部１２０１は、この合計スコアをサンプルブロックの雨滴スコア閾値（図８（ａ））と比較して、サンプルブロック毎の雨滴付着の有無を判定する。

【0098】

図１５（ａ）は、第１の雨滴スコア計算部１２０１の雨滴付着判定を行い、雨滴付着有りと仮判定した領域には「１」のフラグを置き、雨滴付着無しと仮判定した領域には「０」のフラグを置いた結果の状態を示している。

【0099】

続いて、第２の画像周波数解析部１２０２および第２の雨滴スコア計算部１２０３の処理を行うが、ここでは、第１の雨滴スコア計算部１２０１で雨滴付着有りと判定したフラグ「１」の領域のみを処理対象とする。図１５（ｂ）は、図１５（ａ）で示した第１の雨滴スコア計算部１２０１の雨滴付着判定結果に従って、第２の画像周波数解析部１２０２および第２の雨滴スコア計算部１２０３の処理対象となる部分１５０３（雨滴付着有りと仮判定した領域）、および処理対象とならない部分１５０２（雨滴付着無しと仮判定した領域）の例を示す。

【0100】

上記の処理によれば、第１の雨滴スコア計算部１２０１によって雨滴付着無しと判定された領域については第２の画像周波数解析部１２０２および第２の雨滴スコア計算部１２０３の処理が省略されるため、計算量を削減することができる。

【実施例4】

【0101】

次に、本発明の実施例４について説明する。以下に説明する相違点を除き、実施例４の外界認識装置１００は実施例１の外界認識装置１００と同一であるため、相違点以外の部分の図示及び説明は省略する。また、図示された実施例４の外界認識装置１００の各部は、以下に説明する相違点を除き、実施例１の同一の参照符号を付された各部と同一の機能を有するため、それらの説明は省略する。

【0102】

図１６は、本発明の実施例４の雨滴検出部１０１の構成の例を示す機能ブロック図である。

【0103】

図２（ａ）に示したように、車載カメラ１１１の画像には、常に固定された被写体として遮光版２０１、自車両のボディ上端２０２（フィニッシャー）、バンパー２０３、およびナンバープレート２０４が映り込んでいる。前述の画像周波数解析方法に加えて、雨滴付着によって固定被写体部分が歪むことを画像処理で検出することで、雨滴付着の判定精度が向上する。

【0104】

本発明の別の雨滴検出部１０１は、図１６に示すように、図１の雨滴検出部１０１と同様の画像周波数解析部１０２、第１の雨滴スコア計算部１６０２（図１の雨滴スコア計算部１０３と同じもの）、雨滴領域情報生成部１０４及び雨滴判定部１０５に加えて、雨滴付着に伴う固定被写体部分の画像の歪み状態を画像処理で検出する画像歪み解析部１６００と、画像歪み解析の結果から雨滴スコア加算値を求める第３の雨滴スコア計算部１６０１とを備える。

【0105】

図１７は、本発明の実施例４の画像歪み解析部１６００における画像観測点の設定例を示す説明図である。

【0106】

画像歪み検出は、画像観測点の正規化ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、差分絶対値和）を求めて、正規化ＳＡＤ値を所定の閾値と比較することで、画像歪みの有無を判定する。図１７は、１個の画像観測点の画像サイズを８×８画素とし、ナンバープレート上に間隔を空けた５個の画像観測点１７００から１７０４を設定した例を示す。

【0107】

画像観測点の画像サイズおよび観測点数は任意に設定しても良いが、必ず固定被写体部分、すなわち、常に同一の被写体（特に同一の被写体の同一のエッジ部分）が映り込む画像の範囲に観測点を設定する。また、ナンバープレート以外の固定被写体部分、例えば、遮光版２０１、自車両のボディ上端２０２（フィニッシャー）、またはバンパー２０３が映り込む範囲に画像観測点を設定しても良い。さらに、遮光版２０１、自車両のボディ上端２０２（フィニッシャー）、バンパー２０３に特定の模様（例えば、市松模様）を貼り付けるなど、画像歪みを検出し易いように固定被写体部分に加工を加えても良い。

【0108】

図１８は、本発明の実施例４の画像歪み解析部１６００の検出処理方法を示す説明図である。

【0109】

正規化ＳＡＤ（ＮＳＡＤ）は、数式６を用いて計算される。

【0110】

【数6】

ここで、

【0111】

【数7】

【0112】

【数8】

である。

【0113】

Ｔはテンプレート画像、Ｉは観測画像、Ｔ（ｉ，ｊ）はテンプレート画像の画素、Ｉ（ｉ，ｊ）は観測画像の画素、Ｍはテンプレート画像および観測画像の水平方向の画素数、Ｎは観測画像の水平方向の画素数、ｉは水平座標、ｊは垂直座標を示している。

【0114】

図１８のグラフは、１個の画像観測点において時間ｔ１から時間ｔ３の期間の正規化ＳＡＤ１８００を求めた結果の例を示している。テンプレート画像と観測画像の相関が高い場合、正規化ＳＡＤ値は限りなく１．０に近づく。一方、両画像の相関が低いほど、正規化ＳＡＤ値は０に近づく。

【0115】

雨滴無しの画像をテンプレート画像として記憶しておくと、雨滴付着有りの観測画像は画像歪みが生じやすいため、正規化ＳＡＤ値は「０」に近い値を示す。一方、雨滴付着無しの観測画像は画像歪みが生じにくいため、正規化ＳＡＤ値は「１」に近い値を示す。

【0116】

ここで、雨滴付着判定の閾値ＳＡＤＴＨ１８０１を０．８と設定した場合、正規化ＳＡＤ値が０．８以上であった時刻の画像は雨滴付着無しと判定されて雨滴スコア「０」が設定される。正規化ＳＡＤ値が０．８以下であった時刻の画像は雨滴付着有りと判定されて雨滴スコア「１」が設定される。

【0117】

図１８の例では、時刻ｔ１からｔ２の期間が雨滴付着無しと判定された期間１８０２、時刻ｔ２からｔ３の期間が雨滴付着有りと判定された期間１８０３である。

【0118】

図１９は、本発明の実施例４の第３の雨滴スコア計算部１６０１の動作の例を示す説明図である。

【0119】

図１９（ａ）は、正規化ＳＡＤスコア閾値１９００および雨滴スコア加算値１９０１の設定例である。正規化ＳＡＤスコア閾値１９００には、図１７で設定した観測点のうち、画像歪み有り（すなわち雨滴付着有り）と判定するための観測点の数の閾値１９００を設定する。雨滴スコア加算値１９０１には、雨滴判定部１０５の画像周波数解析部で求めた合計雨滴スコアへの加算値を設定する。

【0120】

正規化ＳＡＤ観測点の合計雨滴スコア１９０２は、全画像観測点（図１７の例では５個の画像観測点）における雨滴スコアの合計値である。図１７の例では５個の画像観測点１７００〜１７０４が設定されているため、各時刻における正規化ＳＡＤ観測点の合計雨滴スコア１９０２の値は「０」から「５」までのいずれかとなる。

【0121】

図１９（ｂ）は、各々が時間ｔ１から時間ｔ８までの８時刻に撮影された８枚の（すなわち８フレームの）画像を入力し、各時刻の画像の５点の観測点で正規化ＳＡＤを求め、それに基づく雨滴付着判定の結果として得られた正規化ＳＡＤ観測点の合計雨滴スコア１９０２を表にしたものである。ここで、正規化ＳＡＤ観測点の合計雨滴スコア１９０２が正規化ＳＡＤスコア閾値１９００より小さくなった時刻ｔ１から時刻ｔ４までは、雨滴付着無しと判定されて雨滴スコア加算値１９０３が「０」に設定される。正規化ＳＡＤ観測点の合計雨滴スコア１９０２が正規化ＳＡＤスコア閾値１９００以上となった時刻ｔ５から時刻ｔ８までは、雨滴付着有りと判定されて雨滴スコア加算値１９０３が「５」に設定される。

【0122】

なお、図１９は一例であり、正規化ＳＡＤスコア閾値１９００および雨滴スコア加算値１９０１として任意の値を設定して良い。

【0123】

図２０は、本発明の実施例４において画像歪み解析を実施する場合の雨滴判定部１０５の動作の例を示す説明図である。

【0124】

雨滴検出部１０１が画像歪み解析部１６００および第３の雨滴スコア計算部１６０１を備えた場合、雨滴判定部１０５は、画像周波数解析処理で求めた雨滴スコア２０００に画像歪み解析処理で求めた雨滴スコアを加算し、これを合計雨滴スコアとして雨滴有無の判定を実行する。

【0125】

上記のように、周波数解析による雨滴スコアに加えて、画像歪み解析による雨滴スコアを用いて雨滴の付着の有無を判定することによって、より高精度な雨滴検出を実現することができる。また、正規化ＳＡＤを利用することによって、撮影環境の変化（例えば撮影が昼間に行われたか、夜間に行われたか、トンネル内で行われたか、トンネル外で行われたか、といった要因による明るさの変化）の影響を受けにくい画像歪み解析を行うことができる。

【実施例5】

【0126】

次に、本発明の実施例５について説明する。以下に説明する相違点を除き、実施例５の外界認識装置１００は実施例１の外界認識装置１００と同一であるため、相違点以外の部分の図示及び説明は省略する。また、図示された実施例５の外界認識装置１００の各部は、以下に説明する相違点を除き、実施例１から実施例４の同一の参照符号を付された各部と同一の機能を有するため、それらの説明は省略する。

【0127】

図２１は、本発明の実施例５の外界認識装置１００の一例を示す機能ブロック図である。

【0128】

具体的には、図２１は、車載カメラ１１１のレンズ面に赤外線ＬＥＤ光を照射して、夜間などの画像コントラスト低下時でも雨滴検出性能を確保する構成の例を示す。

【0129】

夜間走行または長いトンネルを走行している場合は、車載カメラ１１１の画像コントラストが大幅に低下するため、画像による雨滴の観測精度も低下する。そこで、夜間走行などで画像コントラストが低下している場合でも雨滴検出性能を確保するため、車載カメラ１１１のレンズ面に赤外線ＬＥＤ光を照射して、雨滴輪郭を浮かび上がらせて、画像周波数解析処理および画像歪み解析処理の雨滴検出性能を確保する。ここで、赤外線ＬＥＤ光は、約７８０ｎｍから２６００ｎｍ付近の近赤外線波長領域の光を指すが、以下の説明では赤外線ＬＥＤと略す。赤外線光は、カラー画像の色彩に影響を与え、その影響を受けた画像の色彩は不自然に見えるため、通常の車載カメラ１１１およびディジタルカメラでは、内部信号処理において可視光以上の波長成分（約７８０ｎｍ以上の波長領域）をカットするフィルタ処理を行っている。

【0130】

しかし、実際には７８０ｎｍ以上の波長を完全に除去することは困難であるため、近赤外光の波長成分が車載カメラ１１１の画像にも十分映り込んでいる。本発明の方法は、この特性を利用したものである。また、赤外線ＬＥＤの照射光には人の目に見えないという特性があるため、車載カメラ１１１に向けて点滅を繰り返しても、他車両のドライバーまたは歩行者に違和感を与えることはない。

【0131】

赤外線ＬＥＤ（２１００）の点灯および消灯の制御は、制御部１１２で行う。制御部１１２は、車載カメラ１１１の画像をモニタして、長時間に渡り画像コントラストが大幅に低下したかどうかを調べるなどの方法で夜間走行または長いトンネルを走行しているといった車載カメラ１１１の撮影環境を判断する。画像コントラストが大幅に低下したと判断した場合は、制御部１１２が赤外線ＬＥＤ２１００に点灯の指示を出す。画像コントラストが昼間と同じ状況に回復した場合は、制御部１１２が赤外線ＬＥＤ２１００に消灯の指示を出す。また、赤外線ＬＥＤ２１００を点灯して雨滴輪郭を浮かび上がらせる場合、赤外線ＬＥＤ２１００を所定周期で点滅させて雨滴輪郭の確認を行っても良い。

【0132】

さらに、画像コントラストが大幅に低下したかどうかを調べる処理は、外界認識装置１００が行い、赤外線ＬＥＤの点灯および消灯の要求を外界認識装置１００から制御部１１２に送信しても良い。

【0133】

赤外線ＬＥＤ光を照射して、雨滴輪郭を浮かび上がらせて、画像周波数解析処理および画像歪み解析処理を行う場合、図６および図７に示した画像周波数解析部１０２の周波数パワー閾値ＦＰＴＨ６０３および７０３を、画像コントラストが低い条件に適合する値に変更しても良い。また、図１８に示した画像歪み解析部１６００における雨滴付着判定の閾値ＳＡＤＴＨ１８０１も、画像コントラストが低い条件に適合する値に変更しても良い。

【0134】

図２２は、本発明の実施例５における赤外線ＬＥＤ２１００の設置位置の一例を示す説明図である。

【0135】

赤外線ＬＥＤ２１００は、照射光が車載カメラ１１１のレンズ面２２０１に当たるように１個設置してもよいし、または照射面積を確保するために複数個設置してもよい。

【0136】

図２２（ａ）は、車載カメラ１１１の上に赤外線ＬＥＤ２１００を１個設置した例である。図２２（ｂ）は、照射光の面積を確保するために車載カメラ１１１の上と下に赤外線ＬＥＤ２１００を２個設置した例である。さらに、図２２（ｃ）は、車載カメラ１１１の上、下、左および右に赤外線ＬＥＤ２１００を４個設置した例である。

【0137】

赤外線ＬＥＤ２１００の設置個数は任意であり、雨滴検出のやり易さに応じてレンズ面２２０１への配光を調節するために設置位置を任意に設定しても良い。さらに、赤外線の光源は、単体のＬＥＤデバイスとせず、車載カメラ１１１内部に実装し、レンズの内側からレンズ面２２０１に向けて照射光を当てるように設置しても良い。

【実施例6】

【0138】

次に、本発明の実施例６について説明する。実施例６の外界認識装置１００の各部は、以下に説明する相違点を除き、実施例１から実施例５の同一の参照符号を付された各部と同一の機能を有するため、それらの説明は省略する。

【0139】

図２３は、本発明の実施例６の外界認識装置１００の一例を示す機能ブロック図である。

【0140】

外界認識装置１００は、雨滴検出部１０１、周辺状態認識部１０６、警報処理部１１０およびドライバー通知部１０９を備える。さらに、外界認識装置１００は、赤外線ＬＥＤ２１００、車載カメラ１１１、メモリ１１３および制御部１１２を備える。上記の各部は、以下に説明する点を除き、これまでに説明した同一の符号が付された各部と同様である。

【0141】

雨滴検出部１０１は、車載カメラ１１１から入力した画像から車載カメラレンズ面への雨滴付着の有無を予測するブロックである。図２３の雨滴検出部１０１は、図１６に示したものと同等であり、具体的には、車載カメラ１１１から入力した画像を所定の領域に分割して分割領域毎に画像周波数を求める画像周波数解析部１０２と、求めた画像周波数から雨滴付着の確かさを分割領域毎にスコア値として算出する第１の雨滴スコア計算部１０３と、雨滴付着に伴う固定被写体部分の画像の歪み状態を画像処理で検出する画像歪み解析部１６００と、画像歪み解析の結果から雨滴スコア加算値を求める第３の雨滴スコア計算部１６０１と、画像１枚分の領域の雨滴スコアマップを作成する雨滴領域情報生成部１０４と、雨滴スコアマップおよび第３の雨滴スコアから画像毎の雨滴の有無を雨滴判定情報として出力する雨滴判定部１０５と、を備える。

【0142】

周辺状態認識部１０６は、車載カメラ１１１のレンズ面が雨、雪、泥、白濁等で汚れている状態であるか否かを診断する汚れ診断部１０８と、車両の周辺状態の認識を行うための周辺認識部１０７と、周辺認識部１０７から出力された認識結果情報および警報信号を自車両制御部１１４に送信する警報処理部１１０と、を備える。また、汚れ診断部１０８は、車載カメラ１１１のレンズ面が雨、泥、白濁等で汚れた状態にある場合、周辺認識部１０７に対して正確な画像認識処理が困難で誤認識が生じ易い状態であるため、ＦＡＩＬ信号を出力して周辺認識部１０７の動作を一時的または連続して停止させる。

【0143】

さらに、汚れ診断部１０８は、周辺認識部１０７が一時的または連続して動作停止状態であることを示す汚れ通知情報をドライバー通知部１０９に出力する。ドライバー通知部１０９は、外部に別途設置されたＬＥＤ２３００、スピーカ２３０１、ディスプレイ２３０２、またはカーナビゲーション装置２３０３などの少なくとも一つへ発話、点灯または表示の指示を行うことで、レンズ汚れのために周辺認識部１０７が停止していることを示す音声情報または視覚情報をドライバーに対して通知する。これによって、ドライバーは、周辺認識部１０７が停止していることを知り、それに応じた運転、またはその状態を解消するための処置（例えばレンズクリーニング）等を行うことができる。

【0144】

図２３の周辺認識部１０７が行う認識処理は、図１の周辺認識部１０７が行う自車両周辺状態の認識と同様のものであってよい。さらに、自車両が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理、自車両のドライバーからの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理も、図２３の周辺認識部１０７が行う認識処理に含まれる。

【0145】

図２４は、本発明の実施例６の外界認識装置１００の動作の一例を示すフローチャートである。

【0146】

図２４には、一例として、図２３に示した外界認識装置１００の動作を示す。最初に車載カメラ１１１から画像を入力（Ｓ１）すると、入力された同じ画像を用いて画像周波数解析処理と画像歪み解析処理が並列に動作する。

【0147】

画像周波数解析処理では、サンプルブロックの雨滴スコア閾値（図８（ａ）参照）が設定される（Ｓ２）。この閾値は、ユーザによって入力されてもよいし、雨滴検出部１０１によって過去の検出結果に基づいて決定されてもよい。次に、画像周波数解析部１０２が分割領域毎の画像周波数を算出（Ｓ３）する。続いて、第１の雨滴スコア計算部１０３が各サンプルブロックの雨滴スコアを計算（Ｓ４）し、雨滴領域情報生成部１０４が雨滴領域情報を生成（Ｓ５）する。次に、雨滴判定部１０５が、画像全体の雨滴スコア閾値ＴＨを設定（Ｓ６）した後、画像周波数解析処理の雨滴スコアＳＣ１を算出（Ｓ７）する。

【0148】

画像歪み解析処理では、画像歪み解析部１６００が観測点毎の正規化ＳＡＤを算出（Ｓ８）する。続いて、第３の雨滴スコア計算部１６０１が、正規化ＳＡＤに基づいて観測点の合計スコアを算出（Ｓ９）し、正規化ＳＡＤスコアの閾値を設定（Ｓ１０）し、画像歪み解析処理の雨滴スコア加算値ＳＣ２を決定（Ｓ１１）する。

【0149】

次に、雨滴判定部１０５が、画像周波数解析処理の雨滴スコアＳＣ１と画像歪み解析処理の雨滴スコア加算値ＳＣ２を加算して、合計スコアＳＣを求める（Ｓ１２）。合計スコアＳＣが画像全体の雨滴スコア閾値ＴＨと等しい、または閾値ＴＨ以上の場合は（Ｓ１３）、雨滴判定部１０５は雨滴付着有りと判定（Ｓ１４）する。一方、合計スコアＳＣが画像全体の雨滴スコア閾値ＴＨ以下の場合は（Ｓ１４）、雨滴判定部１０５は雨滴付着無しと判定（Ｓ１７）する。雨滴判定部１０５は、雨滴付着の有無の判定結果を雨滴判定情報として周辺状態認識部１０６に送信する。

【0150】

雨滴付着有りの判定結果を受信した汚れ診断部１０８は、周辺認識部１０７にＦＡＩＬ信号を送出することによって動作停止を指示（Ｓ１５）し、さらに周辺認識部１０７の動作が停止したことをディスプレイ２３０２へ表示するなどの方法でドライバーに通知（Ｓ１６）する。雨滴付着無しの判定結果を受信した汚れ診断部１０８は、周辺認識部１０７に通常動作継続を指示（Ｓ１８）する。

【0151】

上記の通り、図２４は本発明の実施例６の外界認識装置１００の動作の一例を示すものであるが、実施例４の外界認識装置１００の動作も、図２４に示したものと同様であってよい。実施例１及び２の外界認識装置１００の動作は、Ｓ８〜Ｓ１２が省略されることを除いて、図２４に示したものと同様であってよい。実施例３の外界認識装置１００の動作は、Ｓ８〜Ｓ１２が省略されること、及び、図１３（ａ）に示す大きいサイズの分割領域についてＳ２〜Ｓ４と同様の処理が実行され、その結果雨滴が付着していると判定された分割領域に含まれる小さいサイズの分割領域についてＳ２〜Ｓ７が実行されることを除いて、図２４に示したものと同様であってよい。

【0152】

ここまでに説明した水滴は、レンズ汚れの一例であり、特に光の透過性の高いレンズ汚れの一例である。水滴以外の代表的なレンズ汚れとして、泥、雪または白濁等が挙げられるが、これらはいずれも水滴より光の透過性が低いレンズ汚れである。光の透過性が低いレンズ汚れであるほど、撮影された画像の周波数パワーの減少が顕著になるため、上記の雨滴判定部１０５による雨滴判定方法は、雨滴以外の、より光の透過性が低いレンズ汚れにも適用することができる。

【0153】

以上の本発明の実施例によれば、カメラが撮影した画像の画素値に基づいて水滴のエッジを検出するといった方法ではなく、画像の周波数パワーに基づいてレンズ汚れを検出することによって、水滴のような光の透過性の高いレンズ汚れであっても精度よく検出することができる。

【0154】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0155】

例えば、外界認識装置１００は、実施例３として説明した２段階のレンズ汚れ検出と、実施例４として説明した画像歪みの検出結果に基づくレンズ汚れ検出とを組み合わせて実行してもよい。また、実施例１から５のいずれかの外界認識装置１００が、実施例６に示したＬＥＤ２３００、スピーカ２３０１、ディスプレイ２３０２、またはカーナビゲーション装置２３０３などの少なくとも一つに接続されてもよい。

【0156】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

【0157】

また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0158】

１００ 外界認識装置
１０１ 雨滴検出部
１０２ 画像周波数解析部
１０３ 雨滴スコア計算部
１０４ 雨滴領域情報生成部
１０５ 雨滴判定部
１０６ 周辺状態認識部
１０７ 周辺認識部
１０８ 汚れ診断部
１０９ ドライバー通知部
１１０ 警報処理部
１１１ 車載カメラ
１１２ 制御部
１１３ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】