特許 7151479 付着物検出装置、および付着物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】付着物検出装置、および付着物検出方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20221004BHJP

   H04N 17/00 20060101ALI20221004BHJP

   H04N 5/232 20060101ALI20221004BHJP

   H04N 5/235 20060101ALI20221004BHJP

   G08G 1/16 20060101ALI20221004BHJP

【ＦＩ】

H04N5/225 430

H04N17/00 200

H04N5/232 290

H04N5/235 100

G08G1/16 C

【請求項の数】 9

(21)【出願番号】P 2018248531

(22)【出願日】2018-12-28

(65)【公開番号】P2020108129

(43)【公開日】2020-07-09

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】池田 修久

(72)【発明者】

【氏名】朝山 信徳

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】谷 泰司

(72)【発明者】

【氏名】山本 大輔

(72)【発明者】

【氏名】沖 朋和

(72)【発明者】

【氏名】上林 輝彦

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１８－１９１０８７（ＪＰ，Ａ）

【文献】特開２０１８－０７１９９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された撮像画像に複数の分割領域を設定する設定部と、
前記分割領域に含まれる画素の輝度に基づいて、前記分割領域における輝度の代表値、および前記分割領域における輝度のばらつき量を算出する算出部と、
対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分が第１所定差分以下であり、対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分が第２所定差分以下であり、かつ現在の分割領域における輝度の代表値が第１所定値以下である分割領域を付着物が付着した付着領域として検出する検出部と
を備える付着物検出装置。

【請求項2】

前記算出部は、
前記代表値として前記輝度の平均値を算出し、
前記ばらつき量として、前記輝度の標準偏差を算出する、
ことを特徴とする請求項１に記載の付着物検出装置。

【請求項3】

前記検出部は、
前記第１差分が前記第１所定差分以下であり、前記第２差分が前記第２所定差分以下であり、かつ前記現在の分割領域における輝度の代表値が前記第１所定値以下である状態が継続する前記分割領域を前記付着領域として検出する
ことを特徴とする請求項１または２に記載の付着物検出装置。

【請求項4】

前記算出部は、
前記複数の分割領域を含み、付着物の付着を検知する対象領域における輝度の代表値を算出し、
前記第１所定値は、前記対象領域における輝度の代表値に基づいて設定される
ことを特徴とする請求項１～３のいずれか一つに記載の付着物検出装置。

【請求項5】

前記検出部は、
前記複数の分割領域を含み、付着物の付着を検知する対象領域に対する前記付着領域の割合が所定割合以上の場合に、前記撮像装置に対する付着物の付着を検出する
ことを特徴とする請求項１～３のいずれか一つに記載の付着物検出装置。

【請求項6】

前記撮像装置は、車両に設けられ、
前記検出部は、
前記撮像画像において自車両が写る領域を除外して前記撮像装置に対する前記付着物の付着を検出する
ことを特徴とする請求項５に記載の付着物検出装置。

【請求項7】

前記検出部は、
前記撮像画像が低照度画像である場合には、前記付着領域の検出を行わない
ことを特徴とする請求項１～６のいずれか一つに記載の付着物検出装置。

【請求項8】

前記撮像装置は、車両に設けられ、
前記検出部は、
前記車両が走行している場合に、前記付着領域を検出する
ことを特徴とする請求項１～７のいずれか一つに記載の付着物検出装置。

【請求項9】

撮像装置によって撮像された撮像画像に複数の分割領域を設定する設定工程と、
前記分割領域に含まれる画素の輝度に基づいて、前記分割領域における輝度の代表値、および前記分割領域における輝度のばらつき量を算出する算出工程と、
対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分が第１所定差分以下であり、対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分が第２所定差分以下であり、かつ現在の分割領域における輝度の代表値が第１所定値以下である分割領域を付着物が付着した付着領域として検出する検出工程と
を含むことを特徴とする付着物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、付着物検出装置、および付着物検出方法に関する。

【背景技術】

【0002】

従来、撮像画像の分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－３０１８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、例えば、撮像装置でゲイン補正が行われた場合には、付着物が付着している場合であっても、分割領域の輝度値が変化する。そのため、従来技術では、付着物の有無を正確に判定することができないおそれがある。

【0005】

本発明は、上記に鑑みてなされたものであって、付着物の有無を正確に判定する付着物検出装置、および付着物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る付着物検出装置は、設定部と、算出部と、検出部とを備える。設定部は、撮像装置によって撮像された撮像画像に複数の分割領域を設定する。算出部は、分割領域に含まれる画素の輝度に基づいて、分割領域における輝度の代表値、および分割領域における輝度のばらつき量を算出する。検出部は、対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分が第１所定差分以下であり、対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分が第２所定差分以下であり、かつ現在の分割領域における輝度の代表値が第１所定値以下である分割領域を付着物が付着した付着領域として検出する。

【発明の効果】

【0007】

実施形態の一態様によれば、付着物の有無を正確に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、付着物検出方法の概要を示す図である。

【図2】図２は、対象領域の輝度の代表値と、第１所定値との関係を示す図である。

【図3】図３は、付着物検出装置の構成を示すブロック図である。

【図4】図４は、レフトカメラによって撮像された撮像画像の一例を示す図である。

【図5】図５は、付着物検出処理を説明するフローチャートである。

【図6】図６は、付着領域判定処理を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

【0010】

まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置１によって実行される。

【0011】

付着物検出装置１は、例えば、車両Ｃに搭載され、車両Ｃの周囲を撮像する車載カメラ１０（撮像装置）への付着物、具体的には、車載カメラ１０のレンズへの付着物の付着を検出する。

【0012】

車載カメラ１０は、車両Ｃの周囲を撮像する。車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備える。車載カメラ１０には、例えば、車両Ｃの前方を撮像するフロントカメラ１０ａ、車両Ｃの後方を撮像するリアカメラ１０ｂ、車両Ｃの左側方を撮像するレフトカメラ１０ｃ、車両Ｃの右側方を撮像するライトカメラ１０ｄが含まれる。

【0013】

車載カメラ１０のレンズに、泥や、埃など遮光性を有する付着物Ｍが付着すると、車載カメラ１０によって得られた撮像画像Ｉから車両Ｃの周囲の情報、例えば、駐車枠ＬＣや、他車両や、人の情報を取得できず、駐車枠ＬＣや、他車両や、人などを正確に検出することができなくなるおそれがある。図１では、撮像画像Ｉとして、駐車枠ＬＣが写り、レンズに付着物Ｍとして泥が付着した画像を示す。なお、付着物Ｍは、雨滴や、雪片などを含んでもよい。

【0014】

そのため、実施形態に係る付着物検出装置１は、車載カメラ１０のレンズに付着した付着物Ｍを正確に検出することを目的とする。

【0015】

付着物検出装置１は、車載カメラ１０によって撮像された撮像画像Ｉを取得する（Ｓ１０）。

【0016】

付着物検出装置１は、付着物Ｍの付着を検知する対象領域Ｒ０に複数の分割領域Ｒ１を設定する（Ｓ１１）。対象領域Ｒ０は、撮像画像Ｉに対して予め設定された領域であり、レンズに付着物Ｍが付着した場合に、撮像画像Ｉを用いた処理、例えば、駐車枠ＬＣの検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域Ｒ０は、例えば矩形領域である。

【0017】

分割領域Ｒ１は、対象領域Ｒ０を縦方向、および横方向に分割することで形成される領域である。分割領域Ｒ１には、複数の画素が含まれる。例えば、分割領域Ｒ１は、４０×４０の画素を含む矩形領域である。

【0018】

なお、図１の撮像画像Ｉには、一例として、対象領域Ｒ０を縦方向に５つ、および横方向に８つに分割した４０個の分割領域Ｒ１を示すが、これに限られることはない。

【0019】

付着物検出装置１は、分割領域Ｒ１のうち、所定条件を満たす分割領域Ｒ１を付着物Ｍが付着した付着領域として検出する（Ｓ１２）。なお、詳しくは後述するが、付着物検出装置１は、分割領域Ｒ１におけるカウンタ値に基づいて付着領域を検出する。

【0020】

付着物検出装置１は、以下の（１）～（３）の条件を全て満たす場合には、分割領域Ｒ１が所定条件を満たすと判定し、分割領域Ｒ１を付着領域として検出する。なお、付着物検出装置１は、少なくとも（１）～（３）のいずれか一つの条件を満たさない場合には、分割領域Ｒ１が所定条件を満たさないと判定し、分割領域Ｒ１を付着物Ｍが付着していない付着領域として検出する。

【0021】

（１）第１差分が第１所定差分以下である。
（２）第２差分が第２所定差分以下である。
（３）分割領域Ｒ１における輝度の代表値が第１所定値以下である。

【0022】

＜条件（１）について＞
第１差分は、現在の撮像画像Ｉ（以下、「現在フレームＩ１」と称する場合がある。）の分割領域Ｒ１における輝度の代表値と、現在フレームＩ１の１つ前の処理で取得された撮像画像Ｉ（以下、「過去フレームＩ０」と称する。）の分割領域Ｒ１における輝度の代表値との差分である。代表値とは、具体的には平均値である。なお、第１差分は、絶対値である。第１所定差分は、付着物Ｍが付着している場合の輝度の代表値の上限差分であり、予め実験などにより設定された差分である。第１所定差分は、例えば、「５」である。

【0023】

なお、第１差分、および第２差分を算出する際に用いられる、現在フレームＩ１における分割領域Ｒ１、および過去フレームＩ０における分割領域Ｒ１は、対象領域Ｒ０に対して同じ位置となる分割領域Ｒ１である。以下では、このような分割領域Ｒ１を「同一分割領域Ｒ１」と称する。付着物Ｍがレンズに付着すると、車両Ｃの位置、すなわち撮像位置が変わった場合であっても、同一分割領域Ｒ１における第１差分が小さくなる。条件（１）は、同一分割領域Ｒ１で輝度の変化が小さいか否かを判定する条件である。

【0024】

＜条件（２）について＞
第２差分は、同一分割領域Ｒ１における輝度のばらつき量の差分である。ばらつき量とは、具体的には標準偏差である。なお、第２差分は、絶対値である。第２所定差分は、付着物Ｍが付着している場合の輝度のばらつき量の上限差分であり、予め実験などにより設定された差分である。第２所定差分は、例えば、「１」である。

【0025】

現在フレームＩ１、および過去フレームＩ０の背景の変化に起因して車載カメラ１０でゲイン調整が行われると、同一分割領域Ｒ１における輝度の代表値が変化することがある。条件（２）は、車載カメラ１０のゲイン調整の影響を抑制する条件である。

【0026】

＜条件（３）について＞
分割領域Ｒ１における輝度の代表値は、現在フレームＩ１の分割領域Ｒ１における輝度の代表値である。条件（１）と同様に、代表値とは、具体的には平均値である。第１所定値は、分割領域Ｒ１に付着物Ｍが付着していると判定可能な値であり、図２に示すように、現在フレームＩ１の対象領域Ｒ０における輝度の代表値に基づいて設定される値である。図２は、対象領域Ｒ０の輝度の代表値と、第１所定値との関係を示す図である。第１所定値は、対象領域Ｒ０の輝度の代表値が高くなると大きくなる。また、第１所定値には、上限値が設定されており、対象領域Ｒ０の輝度の代表値が予め設定された所定代表値以上となる場合には、上限値に設定される。

【0027】

車載カメラ１０においてゲイン調整が行われ、撮像画像Ｉの全体で輝度が高くなった場合には、付着物Ｍが付着した領域に対応する分割領域Ｒ１における輝度の代表値も高くなる。そのため、第１所定値は、現在フレームＩ１の対象領域Ｒ０における輝度の代表値に基づいて設定される。条件（３）は、現在フレームＩ１の分割領域Ｒ１の輝度が低いか否かを判定する条件である。

【0028】

付着物検出装置１は、所定条件を満たす分割領域Ｒ１を付着領域として検出することで、付着物Ｍが付着した分割領域Ｒ１を正確に判定し、付着領域を正確に検出することができる。すなわち、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0029】

次に、付着物検出装置１について図３を参照し、説明する。図３は、付着物検出装置１の構成を示すブロック図である。

【0030】

付着物検出装置１は、車載カメラ１０と、車速センサ４０と、各種機器５０とに接続される。なお、図３では、付着物検出装置１は、車載カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、車載カメラ１０、および各種機器５０の少なくとも一方と一体で構成されてもよい。

【0031】

各種機器５０は、付着物検出装置１の検出結果を取得して、車両Ｃの各種制御を行う機器である。各種機器５０は、例えば、車載カメラ１０のレンズに付着物Ｍが付着していることや、ユーザによる付着物Ｍの拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物Ｍを除去する除去装置、自動運転等を制御する車両制御装置を含む。

【0032】

付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、設定部２１と、選択部２２と、算出部２３と、判定部２４と、検出部２５とを備える。

【0033】

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0034】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０、設定部２１、選択部２２と、算出部２３、判定部２４、および検出部２５として機能する。

【0035】

また、制御部２の取得部２０、設定部２１、選択部２２と、算出部２３、判定部２４、および検出部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０、設定部２１、選択部２２と、算出部２３、判定部２４、および検出部２５は、統合されてもよく、複数に分けられてもよい。

【0036】

取得部２０は、車速センサ４０からの信号に基づいて車速を取得する。また、取得部２０は、車載カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームＩ１を生成する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

【0037】

また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームＩ１を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物Ｍを検出するための処理時間を短くすることができる。

【0038】

なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの現在フレームＩ１を生成（取得）してもよい。

【0039】

設定部２１は、現在フレームＩ１に対して対象領域Ｒ０、および分割領域Ｒ１を設定する。設定部２１は、各撮像画像Ｉに対して、対象領域Ｒ０、および分割領域Ｒ１を予め設定された位置に設定する。

【0040】

また、設定部２１は、第１所定値を設定する。具体的には、設定部２１は、対象領域Ｒ０の輝度の代表値に基づいて第１所定値を設定する。

【0041】

選択部２２は、所定条件を満たすか否かを判定する分割領域Ｒ１を選択する。具体的には、選択部２２は、現在フレームＩ１の分割領域Ｒ１の中から、所定条件を満たすか否かが判定されていない分割領域Ｒ１を選択する。

【0042】

算出部２３は、現在フレームＩ１の対象領域Ｒ０に含まれる各画素の輝度を検出し、現在フレームＩ１の対象領域Ｒ０における輝度の代表値、および輝度のばらつき量を算出する。また、算出部２３は、現在フレームＩ１の各分割領域Ｒ１における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象領域Ｒ０における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象領域Ｒ０における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。

【0043】

また、算出部２３は、同一分割領域Ｒ１における輝度の平均値の差分である第１差分を算出する。すなわち、算出部２３は、対応する分割領域Ｒ１における過去の輝度の平均値と、現在の輝度の平均値との第１差分を算出する。

【0044】

また、算出部２３は、同一分割領域Ｒ１における輝度の標準偏差の差分である第２差分を算出する。すなわち、算出部２３は、対応する分割領域Ｒ１における過去の輝度の標準偏差と、現在の輝度の標準偏差との第２差分を算出する。

【0045】

また、算出部２３は、分割領域Ｒ１におけるカウンタ値を算出する。具体的には、算出部２３は、現在フレームＩ１の分割領域Ｒ１が所定条件を満たすと判定された場合に、現在のカウンタ値を増加させ、現在フレームＩ１の分割領域Ｒ１が所定条件を満たさないと判定された場合に、現在のカウンタ値を減少させる。すなわち、算出部２３は、分割領域Ｒ１におけるカウンタ値を更新する。

【0046】

カウンタ値は、分割領域Ｒ１が所定条件を満たすと判定されると増加し、分割領域Ｒ１が所定条件を満たさないと判定されると減少する。すなわち、カウンタ値は、分割領域Ｒ１が所定条件を満たすと判定された継続性を示す値である。

【0047】

なお、カウンタ値には、予め設定された上限カウンタ値、および下限カウンタ値が設けられている。また、１回の判定に対するカウンタ値の増加値、および減少値は、同じ値であってもよく、異なる値であってもよい。

【0048】

また、算出部２３は、対象領域Ｒ０に対する付着領域の割合である占有率を算出する。占有率は、付着物Ｍが付着した分割領域Ｒ１である付着領域の面積を合算した値を対象領域Ｒ０の面積で除算することで算出される。なお、占有率は、付着領域の数を対象領域Ｒ０に含まれる分割領域Ｒ１の数で除算して算出されてもよい。占有率は、例えば、百分率で表される。

【0049】

算出部２３は、図４に示すように、自車両Ｃ（図４中、ハッチングの領域）が写る撮像画像Ｉ、例えば、レフトカメラ１０ｃや、ライトカメラ１０ｄ（図１参照）によって撮像された撮像画像Ｉでは、分割領域Ｒ１のうち、自車両Ｃが写る分割領域ＲＣを除外して占有率を算出する。図４は、レフトカメラ１０ｃによって撮像された撮像画像Ｉの一例を示す図である。なお、本実施形態では、図４のように自車両が少しでも写りこんでいる場合に除外するようにしたが、どの程度写りこんだ時に除外するかは、適宜設定してよい。

【0050】

例えば、算出部２３は、対象領域Ｒ０に「４０」の分割領域Ｒ１が設定され、自車両Ｃが写った分割領域ＲＣの数が「３」である場合には、「３７」の分割領域Ｒ１を含む対象領域Ｒ０の面積に対する付着領域の面積の割合を占有率として算出する。

【0051】

なお、自車両Ｃが写る分割領域ＲＣが付着領域である場合には、自車両Ｃが写る分割領域ＲＣの面積は、付着領域の面積を合算した値から除外される。自車両Ｃが写る分割領域ＲＣは、予め設定される。

【0052】

判定部２４は、車速が所定車速以下であるか否かを判定する。所定車速は、予め設定された車速であり、撮像画像Ｉのぶれが少なく、付着物Ｍを検出可能な撮像画像Ｉを得ることができる車速である。例えば、所定車速は、８０ｋｍ／ｈである。

【0053】

また、判定部２４は、現在フレームＩ１が低照度画像であるか否かを判定する。具体的には、判定部２４は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差以下であるか否かを判定する。所定低照度値は、予め設定された値であり、例えば、「８５」である。また、所定低照度偏差は、予め設定された値であり、例えば、「５０」である。

【0054】

判定部２４は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差以下である場合には、現在フレームＩ１が低照度画像であると判定する。また、判定部２４は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい場合には、現在フレームＩ１が低照度の画像ではない、すなわち非低照度画像であると判定する。また、判定部は、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差よりも大きい場合には、現在フレームＩ１が非低照度画像であると判定する。

【0055】

また、判定部２４は、車速が所定車速以下であり、かつ現在フレームＩ１が非低照度画像である場合には、現在フレームＩ１の分割領域Ｒ１が所定条件を満たすか否かを判定する。判定部２４は、選択部２２によって選択された分割領域Ｒ１が所定条件を満たすか否かを判定する。具体的には、判定部２４は、（１）第１差分が第１所定差分以下であり、（２）第２差分が第２所定差分以下であり、かつ（３）現在フレームＩ１の分割領域Ｒ１における輝度の平均値が第１所定値以下である場合には、分割領域Ｒ１が所定条件を満たすと判定する。また、判定部２４は、（１）～（３）の条件のいずれか一つを満たさない場合には、分割領域Ｒ１が所定条件を満たさないと判定する。

【0056】

なお、判定部２４は、車速が所定車速よりも大きい場合、または現在フレームＩ１が低照度画像である場合には、現在フレームＩ１に対して分割領域Ｒ１が所定条件を満たすか否かの判定を行わない。

【0057】

また、判定部２４は、分割領域Ｒ１が付着領域であるか否かを判定する。具体的には、判定部２４は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値以上であるか否かを判定する。所定カウンタ値は、予め設定された値である。

【0058】

判定部２４は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値以上である場合には、分割領域Ｒ１が付着領域であると判定する。すなわち、判定部２４は、所定条件を満たす状態が継続する分割領域Ｒ１を付着領域であると判定する。また、判定部２４は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値よりも小さい場合には、分割領域Ｒ１が付着領域ではなく、未着領域であると判定する。

【0059】

なお、所定カウンタ値には、ヒステリシスが設けられてもよい。すなわち、分割領域Ｒ１の判定を未着領域から付着領域に変更する場合の所定カウンタ値と、分割領域Ｒ１の判定を付着領域から未着領域に変更する場合の所定カウンタ値とを異なる値にしてもよい。

【0060】

また、判定部２４は、現在フレームＩ１の全ての分割領域Ｒ１に対して所定条件を満たすか否かの判定を行ったか否かを判定する。

【0061】

また、判定部２４は、車載カメラ１０のレンズに付着物Ｍが付着しているか否かを判定する。具体的には、判定部２４は、占有率が所定占有率以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、４０％である。判定部２４は、占有率が所定占有率以上である場合には、車載カメラ１０のレンズに付着物Ｍが付着していると判定する。また、判定部２４は、占有率が所定占有率よりも小さい場合には、車載カメラ１０のレンズに付着物Ｍが付着していないと判定する。

【0062】

検出部２５は、付着物Ｍが付着していると判定された分割領域Ｒ１を付着領域として検出する。また、検出部２５は、付着物Ｍが付着していないと判定された分割領域Ｒ１を未着領域として検出する。

【0063】

なお、検出部２５は、車速が所定車速よりも大きい場合、または現在フレームＩ１が低照度画像である場合には、現在フレームＩ１に対し分割領域Ｒ１に対する付着領域の検出を行わない。

【0064】

また、検出部２５は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、車載カメラ１０に対する付着物Ｍの付着を検出する。具体的には、検出部２５は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、付着物検出フラグを「ＯＮ」にする。また、検出部２５は、車載カメラ１０に付着物Ｍが付着していないと判定された場合には、付着物検出フラグを「ＯＦＦ」にする。

【0065】

また、検出部２５は、現在フレームＩ１が低照度画像である場合には、付着物検出フラグを「ＯＦＦ」にする。

【0066】

記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、分割領域Ｒ１における輝度の平均値や、分割領域Ｒ１における輝度の標準偏差や、分割領域Ｒ１におけるカウンタ値や、第１所定差分などの閾値情報や、各種プログラムの情報などを記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0067】

次に、実施形態に係る付着物検出処理について図５を参照し説明する。図５は、付着物検出処理を説明するフローチャートである。なお、付着物検出処理は、各車載カメラ１０で行われる。

【0068】

付着物検出装置１は、車載カメラ１０によって撮像した画像から現在フレームＩ１を生成する（Ｓ１００）。付着物検出装置１は、車速を取得する（Ｓ１０１）。

【0069】

付着物検出装置１は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値と、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差と、現在フレームＩ１の各分割領域Ｒ１における輝度の平均値と、現在フレームＩ１の各分割領域Ｒ１における輝度の標準偏差とを算出する（Ｓ１０２）。

【0070】

付着物検出装置１は、車速が所定車速以下であるか否かを判定する（Ｓ１０３）。付着物検出装置１は、車速が所定車速以下である場合には（Ｓ１０３：Ｙｅｓ）、現在フレームＩ１が低照度画像であるか否かを判定する（Ｓ１０４）。付着物検出装置１は、車速が所定車速よりも大きい場合には（Ｓ１０３：Ｎｏ）、今回の処理を終了する。

【0071】

付着物検出装置１は、現在フレームＩ１が低照度画像ではない場合（Ｓ１０４：Ｎｏ）、すなわち現在フレームＩ１が非低照度画像である場合には、付着領域判定処理を行う（Ｓ１０５）。なお、付着領域判定処理については後述する。

【0072】

付着物検出装置１は、現在フレームＩ１における占有率を算出する（Ｓ１０６）。付着物検出装置１は、占有率が所定占有率以上であるか否かを判定する（Ｓ１０７）。

【0073】

付着物検出装置１は、占有率が所定占有率以上である場合には（Ｓ１０７：Ｙｅｓ）、付着物検出フラグを「ＯＮ」にする（Ｓ１０８）。また、付着物検出装置１は、占有率が所定面積よりも小さい場合には（Ｓ１０７：Ｎｏ）、付着検出フラグを「ＯＦＦ」にする（Ｓ１０９）。

【0074】

付着物検出装置１は、現在フレームＩ１が低照度画像である場合には（Ｓ１０４：Ｙｅｓ）、付着物検出フラグを「ＯＦＦ」にする（Ｓ１１０）。すなわち、付着物検出装置１は、現在フレームＩ１が低照度画像である場合には、付着領域判定処理を行わず、分割領域Ｒ１に対する付着領域の検出を行わない。

【0075】

次に、付着領域判定処理について図６を参照し説明する。図６は、付着領域判定処理を説明するフローチャートである。

【0076】

付着物検出装置１は、分割領域Ｒ１を選択する（Ｓ２００）。具体的には、付着物検出装置１は、現在フレームＩ１の分割領域Ｒ１の中から、所定条件を満たすか否かの判定を行っていない分割領域Ｒ１を選択する。

【0077】

付着物検出装置１は、選択した分割領域Ｒ１における第１差分、および第２差分を算出する（Ｓ２０１）。なお、付着物検出装置１は、各分割領域Ｒ１における第１差分、および第２差分を予め算出しておき、選択した分割領域Ｒ１に対応する第１差分、および第２差分を読み出してもよい。

【0078】

付着物検出装置１は、分割領域Ｒ１が所定条件を満たすか否かを判定する（Ｓ２０２）。付着物検出装置１は、判定結果に基づいて分割領域Ｒ１のカウンタ値を更新する（Ｓ２０３）。具体的には、付着物検出装置１は、分割領域Ｒ１が所定条件を満たす場合には、分割領域Ｒ１のカウンタ値を増加させる。また、付着物検出装置１は、分割領域Ｒ１が所定条件を満たさない場合には、分割領域Ｒ１のカウンタ値を減少させる。

【0079】

付着物検出装置１は、カウンタ値が所定カウンタ値以上であるか否かを判定する（Ｓ２０４）。付着物検出装置１は、カウンタ値が所定カウンタ値以上である場合には（Ｓ２０４：Ｙｅｓ）、分割領域Ｒ１を付着領域として検出する（Ｓ２０５）。また、付着物検出装置１は、カウンタ値が所定カウンタ値よりも小さい場合には（Ｓ２０４：Ｎｏ）、分割領域Ｒ１を未着領域として検出する（Ｓ２０６）。

【0080】

付着物検出装置１は、全ての分割領域Ｒ１に対して所定条件を満たすか否かの判定を行った場合には（Ｓ２０７：Ｙｅｓ）、付着領域判定処理を終了する。付着物検出装置１は、所定条件を満たすか否かの判定を行っていない分割領域Ｒ１が有る場合には（Ｓ２０７：Ｎｏ）、新たに分割領域Ｒ１を選択し（Ｓ２００）、上記処理を繰り返す。

【0081】

付着物検出装置１は、分割領域Ｒ１における輝度の平均値、および分割領域Ｒ１における輝度の標準偏差に基づいて、分割領域Ｒ１が所定条件を満たすか否かを判定し、所定条件を満たす分割領域Ｒ１を付着領域として検出する。

【0082】

これにより、付着物検出装置１は、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。また、付着物検出装置１は、車載カメラ１０でゲイン補正が行われた場合であっても、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。そのため、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0083】

付着物検出装置１は、所定条件を満たす状態が継続する分割領域Ｒ１、具体的には、カウンタ値が所定カウンタ値以上となる分割領域Ｒ１を付着領域として検出する。

【0084】

これにより、付着物検出装置１は、所定条件を継続して満たす分割領域Ｒ１のみを付着領域として検出することで、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。そのため、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0085】

付着物検出装置１は、現在フレームＩ１の分割領域Ｒ１の輝度が低いか否かを判定する第１所定値を、現在フレームＩ１の対象領域Ｒ０における輝度の平均値に基づいて設定する。

【0086】

これにより、付着物検出装置１は、車載カメラ１０においてゲイン調整が行われた場合であっても、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。そのため、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0087】

付着物検出装置１は、占有率が所定占有率以上となった場合に、車載カメラ１０のレンズに付着物Ｍが付着したと判定し、付着物検出フラグを「ＯＮ」にする。

【0088】

これにより、付着物検出装置１は、車載カメラ１０のレンズに付着物Ｍが付着した場合に、例えば、車両Ｃの周囲の情報を正確に取得できないことを各種機器５０に送信することができる。

【0089】

付着物検出装置１は、自車両Ｃが写る領域を除外して占有率を算出し、算出した占有率に基づいて車載カメラ１０のレンズへの付着物Ｍの付着を検出する。

【0090】

これにより、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0091】

付着物検出装置１は、現在フレームＩ１が低照度画像である場合には、分割領域Ｒ１に対する付着領域処理判定を行わず、付着領域の検出を行わない。

【0092】

これにより、付着物検出装置１は、例えば、車両Ｃが夜間走行を行っている場合や、トンネルを走行している場合など、車両Ｃの周囲が暗い場合に、車載カメラ１０のレンズに付着物Ｍが付着していると誤検出することを抑制することができる。また、付着物検出装置１は、現在フレーム１Ｉが、付着領域を正確に検出できない低照度画像である場合には、付着領域判定処理を行わないことで、処理負荷を小さくすることができる。

【0093】

変形例に係る付着物検出装置１は、カウンタ値を算出せずに分割領域Ｒ１が付着領域であるか否かを判定してもよい。

【0094】

変形例に係る付着物検出装置１は、車両Ｃが走行している間、具体的には、車速が予め設定された低車速以上である場合に、付着領域判定処理を行う。すなわち、変形例に係る付着物検出装置１は、車両Ｃが走行している場合に、分割領域Ｒ１が所定条件を満たすか否かを判定し、分割領域Ｒ１に対して付着領域を検出する。

【0095】

これにより、変形例に係る付着物検出装置１は、車両Ｃが停車し、同じ撮像画像Ｉが撮像された場合に、付着領域判定処理が行われることを防止することができる。そのため、変形例に係る付着物検出装置１は、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。そのため、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0096】

変形例に係る付着物検出装置１では、車載カメラ１０のゲイン補正の他にも、輝度や、色、明るさを補正する処理に対応して、第１所定差分や、第１所定値などが設定されてもよい。

【0097】

また、変形例に係る付着物検出装置１では、車載カメラ１０毎に第１所定差分や、第１所定値などが設定されてもよい。

【0098】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0099】

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ 車載カメラ（撮像装置）
２０ 取得部
２１ 設定部
２３ 算出部
２４ 判定部
２５ 検出部
４０ 車速センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】