特許 7151476 付着物検出装置、および付着物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】付着物検出装置、および付着物検出方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221004BHJP

   G08G 1/16 20060101ALI20221004BHJP

   G06T 7/136 20170101ALI20221004BHJP

【ＦＩ】

H04N5/232 290

G08G1/16 C

G06T7/136

【請求項の数】 5

(21)【出願番号】P 2018247679

(22)【出願日】2018-12-28

(65)【公開番号】P2020108092

(43)【公開日】2020-07-09

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】池田 修久

(72)【発明者】

【氏名】朝山 信徳

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】谷 泰司

(72)【発明者】

【氏名】山本 大輔

(72)【発明者】

【氏名】沖 朋和

(72)【発明者】

【氏名】上林 輝彦

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１８－０７１９９４（ＪＰ，Ａ）

【文献】特開２０１８－１９１０８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／１３６

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定部と、
対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する算出部と、
前記第１差分、および前記第２差分に基づいて前記分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する変更値設定部と、
前記変更値に基づいて前記カウンタ値を更新する更新部と、
前記カウンタ値に基づいて前記分割領域における付着物の付着状態を検出する検出部と
を備えることを特徴とする付着物検出装置。

【請求項2】

前記算出部は、
前記代表値として前記輝度の平均値を算出し、
前記ばらつき量として、前記輝度の標準偏差を算出する、
ことを特徴とする請求項１に記載の付着物検出装置。

【請求項3】

前記変更値設定部は、
前記第１差分が第１所定差分よりも大きく、かつ前記第２差分が第２所定差分よりも大きい場合には、前記変更値を第１変更値とし、
前記第１差分が前記第１所定差分よりも大きく、かつ前記第２差分が前記第２所定差分以下である場合には、前記変更値を前記第１変更値よりも小さい第２変更値とする
ことを特徴とする請求項１または２に記載の付着物検出装置。

【請求項4】

前記検出部は、
前記カウンタ値が所定カウンタ値以上の場合に、前記分割領域を前記付着物が付着した付着領域として検出し、
前記変更値設定部は、
前記第１差分が第１所定差分以下であり、かつ前記第２差分が第２所定差分以下である場合には、前記変更値を第１加算値とし、
前記第１差分が前記第１所定差分よりも大きく、かつ前記第２差分が前記第２所定差分よりも大きい場合には、前記変更値を第１減算値とし、
前記第１差分が前記第１所定差分よりも大きく、かつ前記第２差分が前記第２所定差分以下である場合に前記変更値を前記第１減算値よりも小さい第２減算値とする
ことを特徴とする請求項１～３のいずれか一つに記載の付着物検出装置。

【請求項5】

撮像装置によって撮像された撮像画像に複数の分割領域を設定する領域設定工程と、
対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する算出工程と、
前記第１差分、および前記第２差分に基づいて前記分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する変更値設定工程と、
前記変更値に基づいて前記カウンタ値を更新する更新工程と、
前記カウンタ値に基づいて前記分割領域における付着物の付着状態を検出する検出工程と
を含むことを特徴とする付着物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、付着物検出装置、および付着物検出方法に関する。

【背景技術】

【0002】

従来、撮像画像の分割領域の輝度値の時系列変化に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－３０１８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、例えば、撮像装置でゲイン補正が行われた場合には、付着物が付着している場合であっても、分割領域の輝度値が変化する。そのため、従来技術では、付着物の有無を正確に判定することができないおそれがある。

【0005】

本発明は、上記に鑑みてなされたものであって、付着物の有無を正確に判定する付着物検出装置、および付着物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る付着物検出装置は、領域設定部と、算出部と、変更値設定部と、更新部と、検出部とを備える。領域設定部は、撮像装置によって撮像された撮像画像に複数の分割領域を設定する。算出部は、対応する分割領域における過去の輝度の代表値と現在の輝度の代表値との第１差分、および対応する分割領域における過去の輝度のばらつき量と現在の輝度のばらつき量との第２差分を算出する。変更値設定部は、第１差分、および第２差分に基づいて分割領域における付着物の付着状態を示すカウンタ値の変更値を設定する。更新部は、変更値に基づいてカウンタ値を更新する。検出部は、カウンタ値に基づいて分割領域における付着物の付着状態を検出する。

【発明の効果】

【0007】

実施形態の一態様によれば、付着物の有無を正確に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、付着物検出方法の概要を示す図である。

【図2】図２は、付着物検出装置の構成を示すブロック図である。

【図3】図３は、カウンタ値の変更値を示す図である。

【図4】図４は、付着物検出処理を説明するフローチャートである。

【図5】図５は、付着領域判定処理を説明するフローチャートである。

【図6A】図６Ａは、付着物が付着した撮像画像の一例である。

【図6B】図６Ｂは、図６Ａの撮像画像に対し、付着物が拭き取られた場合の撮像画像の一例である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

【0010】

まず、図１を用いて実施形態に係る付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置１によって実行される。

【0011】

付着物検出装置１は、例えば、車両Ｃに搭載され、車両Ｃの周囲を撮像する車載カメラ１０（撮像装置）への付着物、具体的には、車載カメラ１０のレンズへの付着物の付着を検出する。

【0012】

車載カメラ１０は、車両Ｃの周囲を撮像する。車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備える。車載カメラ１０には、例えば、車両Ｃの前方を撮像するフロントカメラ１０ａ、車両Ｃの後方を撮像するリアカメラ１０ｂ、車両Ｃの左側方を撮影するレフトカメラ１０ｃ、車両Ｃの右側方を撮像するライトカメラ１０ｄが含まれる。

【0013】

車載カメラ１０のレンズに、泥や、埃など遮光性を有する付着物Ｍが付着すると、車載カメラ１０によって得られた撮像画像Ｉから車両Ｃの周囲の情報、例えば、駐車枠ＬＣや、他車両や、人の情報を取得できず、駐車枠ＬＣや、他車両や、人などを正確に検出することができなくなるおそれがある。図１では、撮像画像Ｉとして、駐車枠ＬＣが写り、レンズに付着物Ｍとして泥が付着した画像を示す。なお、付着物Ｍは、雨滴や、雪片などを含んでもよい。

【0014】

そのため、実施形態に係る付着物検出装置１は、車載カメラ１０のレンズへの付着物の有無を正確に検出することを目的とする。

【0015】

付着物検出装置１は、車載カメラ１０によって撮像された撮像画像Ｉを取得する（Ｓ１０）。

【0016】

付着物検出装置１は、付着物Ｍの付着を検知する対象領域Ｒ０に複数の分割領域Ｒ１を設定する（Ｓ１１）。対象領域Ｒ０は、撮像画像Ｉに対して予め設定された領域であり、レンズに付着物Ｍが付着した場合に、撮像画像Ｉを用いた処理、例えば、駐車枠ＬＣの検出処理や、自動駐車処理などを正確に実行することができなくなる領域である。対象領域Ｒ０は、例えば矩形領域である。

【0017】

分割領域Ｒ１は、対象領域Ｒ０を縦方向、および横方向に分割することで形成される領域である。分割領域Ｒ１には、複数の画素が含まれる。例えば、分割領域Ｒ１は、４０×４０の画素を含む矩形領域である。

【0018】

なお、図１の撮像画像Ｉには、一例として、対象領域Ｒ０を縦方向に５つ、および横方向に８つに分割した４０個の分割領域Ｒ１を示すが、これに限られることはない。

【0019】

付着物検出装置１は、第１差分、および第２差分を算出する（Ｓ１２）。

【0020】

第１差分は、現在の撮像画像Ｉ（以下、「現在フレームＩ１」と称する場合がある。）の分割領域Ｒ１における輝度の代表値と、現在フレームＩ１の１つ前の処理で取得された撮像画像Ｉ（以下、「過去フレームＩ０」と称する。）の分割領域Ｒ１における輝度の代表値との差分である。代表値とは、具体的には平均値である。なお、第１差分は、絶対値である。

【0021】

なお、第１差分、および第２差分を算出する際に用いられる、現在フレームＩ１における分割領域Ｒ１、および過去フレームＩ０における分割領域Ｒ１は、対象領域Ｒ０に対して同じ位置となる分割領域Ｒ１である。以下では、このような分割領域Ｒ１を「同一分割領域Ｒ１」と称する。

【0022】

第２差分は、同一分割領域Ｒ１における輝度のばらつき量の差分である。ばらつき量とは、具体的には標準偏差である。なお、第２差分は、絶対値である。

【0023】

付着物検出装置１、第１差分、および第２差分に基づいて分割領域Ｒ１における付着物の付着状態の継続性を示すカウンタ値の変更値を設定する（Ｓ１３）。

【0024】

具体的には、付着物検出装置１は、第１差分が第１所定差分以下であり、かつ第２差分が第２所定差分以下である場合には、カウンタ値の変更値を第１加算値に設定する。

【0025】

第１所定差分は、付着物Ｍが付着している場合の輝度の代表値の上限差分であり、予め実験などにより設定された差分である。第１所定差分は、例えば、「５」である。

【0026】

第２所定差分は、付着物Ｍが付着している場合の輝度のばらつき量の上限差分であり、予め実験などにより設定された差分である。第２所定差分は、例えば、「１」である。

【0027】

第１加算値は、予め設定された値であり、例えば、「＋１」である。

【0028】

また、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、カウンタ値の変更値を第１減算値（第１変更値）に設定する。第１減算値は、予め設定された値であり、例えば、「－５」である。

【0029】

また、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分以下である場合には、カウンタ値の変更値を第２減算値（第２変更値）に設定する。第２減算値は、予め設定された値であり、第１減算値よりも小さい値であり、例えば、「－１」である。なお、減算値が小さいとは、減算値の絶対値が小さいことを示す。

【0030】

付着物検出装置１は、変更値に基づいてカウンタ値を更新し（Ｓ１４）、カウンタ値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を検出する（Ｓ１５）。

【0031】

具体的には、付着物検出装置１は、カウンタ値が所定カウンタ値以上の場合には、分割領域Ｒ１を付着物Ｍが付着した付着領域として検出する。また、付着物検出装置１は、カウンタ値が所定カウンタ値よりも小さい場合には、分割領域Ｒ１を付着物Ｍが付着していない未着領域として検出する。所定カウンタ値は、予め設定された値である。

【0032】

付着物検出装置１は、第１差分、および第２差分に基づいてカウンタ値の変更値を設定してカウンタ値を更新し、更新したカウンタ値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を検出する。これにより、付着物検出装置１は、付着物Ｍが付着した分割領域Ｒ１を正確に判定し、付着領域を正確に検出することができる。すなわち、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0033】

次に、付着物検出装置１について図２を参照し、説明する。図２は、付着物検出装置１の構成を示すブロック図である。

【0034】

付着物検出装置１は、車載カメラ１０と、車速センサ４０と、各種機器５０とに接続される。なお、図３では、付着物検出装置１は、車載カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、車載カメラ１０、および各種機器５０の少なくとも一方と一体で構成されてもよい。

【0035】

各種機器５０は、付着物検出装置１の検出結果を取得して、車両Ｃの各種制御を行う機器である。各種機器５０は、例えば、車載カメラ１０のレンズに付着物Ｍが付着していることや、ユーザによる付着物Ｍの拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物Ｍを除去する除去装置、自動運転等を制御する車両制御装置を含む。

【0036】

付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２０と、領域設定部２１と、選択部２２と、算出部２３と、変更値設定部２４と、更新部２５と、判定部２６と、検出部２７とを備える。

【0037】

付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0038】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２０、領域設定部２１、選択部２２、算出部２３、変更値設定部２４、更新部２５、判定部２６、および検出部２７として機能する。

【0039】

また、制御部２の取得部２０、領域設定部２１、選択部２２、算出部２３、変更値設定部２４、更新部２５、判定部２６、および検出部２７の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。また、取得部２０、領域設定部２１、選択部２２、算出部２３、変更値設定部２４、更新部２５、判定部２６、および検出部２７は、統合されてもよく、複数に分けられてもよい。

【0040】

取得部２０は、車速センサ４０からの信号に基づいて車速を取得する。また、取得部２０は、車載カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームＩ１を生成する。具体的には、取得部２０は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部２０は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

【0041】

また、取得部２０は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームＩ１を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物Ｍを検出するための処理時間を短くすることができる。

【0042】

なお、取得部２０は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部２０は、間引き処理を行わず、取得した画像と同じサイズの現在フレームＩ１を生成（取得）してもよい。

【0043】

領域設定部２１は、現在フレームＩ１に対して対象領域Ｒ０、および分割領域Ｒ１を設定する。領域設定部２１は、各撮像画像Ｉに対して、対象領域Ｒ０、および分割領域Ｒ１を予め設定された位置に設定する。

【0044】

選択部２２は、分割領域Ｒ１を選択する。具体的には、選択部２２は、現在フレームＩ１の分割領域Ｒ１の中から、カウンタ値の更新を行っていない分割領域Ｒ１を選択する。

【0045】

算出部２３は、現在フレームＩ１の対象領域Ｒ０に含まれる各画素の輝度を検出し、現在フレームＩ１の対象領域Ｒ０における輝度の代表値、および輝度のばらつき量を算出する。また、算出部２３は、現在フレームＩ１の各分割領域Ｒ１における輝度の代表値、および輝度のばらつき量を算出する。代表値とは、対象とする領域における輝度の分布における代表的な輝度を示す値であり、具体的には平均値を用いる。平均値の他に、刈込平均、中央値、最頻値などを用いてもよい。ばらつき量とは、対象とする領域における輝度の分布の広がりを表す値であり、具体的には標準偏差を用いる。標準偏差の他に、分散、最大最小幅、四分位幅、任意のパーセンタイル幅を用いてもよい。以降は、代表値として平均値を、ばらつき量として標準偏差を用いる場合について例として説明する。

【0046】

また、算出部２３は、同一分割領域Ｒ１における輝度の平均値の差分である第１差分を算出する。また、算出部２３は、同一分割領域Ｒ１における輝度の標準偏差の差分である第２差分を算出する。

【0047】

また、算出部２３は、対象領域Ｒ０に対する付着領域の割合である占有率を算出する。占有率は、付着物Ｍが付着した分割領域Ｒ１である付着領域の面積を合算した値を対象領域Ｒ０の面積で除算することで算出される。なお、占有率は、付着領域の数を対象領域Ｒ０に含まれる分割領域Ｒ１の数で除算することで算出されてもよい。占有率は、例えば、百分率で表される。

【0048】

なお、算出部２３は、自車両Ｃが写る撮像画像Ｉ、例えば、レフトカメラ１０ｃや、ライトカメラ１０ｄ（図１参照）によって撮像された撮像画像Ｉでは、自車両Ｃが写る分割領域Ｒ１を除外して占有率を算出する。自車両Ｃが写る分割領域Ｒ１は、予め設定される。

【0049】

変更値設定部２４は、第１差分、および第２差分に基づいて分割領域Ｒ１のカウンタ値の変更値を設定する。変更値設定部２４は、図３に示すように、第１差分、および第２差分に基づいてカウンタ値の変更値を設定する。図３は、カウンタ値の変更値を示す図である。

【0050】

具体的には、変更値設定部２４は、第１差分が第１所定差分以下であり、かつ第２差分が第２所定差分以下である場合には、変更値を第１加算値（例えば、「＋１」）に設定する。変更値設定部２４は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、変更値を第１減算値（例えば、「－５」）に設定する。また、変更値設定部２４は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分以下である場合には、変更値を第１減算値よりも小さい第２減算値（例えば、「－１」）に設定する。

【0051】

更新部２５は、分割領域Ｒ１におけるカウンタ値を更新する。更新部２５は、変更値設定部２４によって設定された変更値を現在のカウンタ値に加算、または減算することで、カウンタ値を更新する。なお、カウンタ値には、予め設定された上限カウンタ値、および下限カウンタ値が設けられる。

【0052】

判定部２６は、車速が所定車速以下であるか否かを判定する。所定車速は、予め設定された車速であり、撮像画像Ｉのぶれが少なく、付着物Ｍを検出可能な撮像画像Ｉを得ることができる車速である。例えば、所定車速は、８０ｋｍ／ｈである。

【0053】

また、判定部２６は、現在フレームＩ１が低照度画像であるか否かを判定する。具体的には、判定部２６は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差以下であるか否かを判定する。所定低照度値は、予め設定された値であり、例えば、「８５」である。また、所定低照度偏差は、予め設定された値であり、例えば、「５０」である。

【0054】

判定部２６は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値以下であり、かつ現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差以下である場合には、現在フレームＩ１が低照度画像であると判定する。また、判定部２６は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値が所定低照度値よりも大きい場合には、現在フレームＩ１が低照度の画像ではない、すなわち非低照度画像であると判定する。また、判定部は、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差が所定低照度偏差よりも大きい場合には、現在フレームＩ１が非低照度画像であると判定する。

【0055】

また、判定部２６は、車速が所定車速以下であり、かつ現在フレームＩ１が非低照度画像である場合には、（１）第１差分が第１所定差分以下であるか、および（２）第２差分が第２所定差分以下であるか否かを判定する。

【0056】

なお、判定部２６は、車速が所定車速よりも大きい場合、または現在フレームＩ１が低照度画像である場合には、（１）、および（２）の判定を行わない。

【0057】

また、判定部２６は、分割領域Ｒ１が付着領域であるか否かを判定する。具体的には、判定部２６は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値以上であるか否かを判定する。

【0058】

判定部２６は、更新部２５によって更新されたカウンタ値が所定カウンタ値以上である場合には、分割領域Ｒ１が付着領域であると判定する。また、判定部２６は、現在フレームＩ１の分割領域Ｒ１におけるカウンタ値が所定カウンタ値よりも小さい場合には、分割領域Ｒ１が付着領域ではなく、未着領域であると判定する。

【0059】

なお、所定カウンタ値には、ヒステリシスが設けられてもよい。すなわち、分割領域Ｒ１の判定を未着領域から付着領域に変更する場合の所定カウンタ値と、分割領域Ｒ１の判定を付着領域から未着領域に変更する場合の所定カウンタ値とを異なる値（異なる閾値）にしてもよい。

【0060】

また、判定部２６は、現在フレームＩ１の全ての分割領域Ｒ１に対してカウンタ値の更新を行ったか否かを判定する。

【0061】

また、判定部２６は、車載カメラ１０のレンズに付着物Ｍが付着しているか否かを判定する。具体的には、判定部２６は、占有率が所定占有率以上であるか否かを判定する。所定占有率は、予め設定された値であり、例えば、４０％である。判定部２６は、占有率が所定占有率以上である場合には、車載カメラ１０のレンズに付着物Ｍが付着していると判定する。また、判定部２６は、占有率が所定占有率よりも小さい場合には、車載カメラ１０のレンズに付着物Ｍが付着していないと判定する。

【0062】

検出部２７は、付着物Ｍが付着していると判定された分割領域Ｒ１を付着領域として検出する。また、検出部２７は、付着物Ｍが付着していないと判定された分割領域Ｒ１を未着領域として検出する。

【0063】

なお、検出部２７は、車速が所定車速よりも大きい場合、または現在フレームＩ１が低照度画像である場合には、現在フレームＩ１に対し分割領域Ｒ１に対する付着領域の検出を行わない。

【0064】

また、検出部２７は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、車載カメラ１０に対する付着物Ｍの付着を検出する。具体的には、検出部２７は、車載カメラ１０のレンズに付着物Ｍが付着していると判定された場合には、付着物検出フラグを「ＯＮ」にする。また、検出部２７は、車載カメラ１０に付着物Ｍが付着していないと判定された場合には、付着物検出フラグを「ＯＦＦ」にする。

【0065】

また、検出部２７は、現在フレームＩ１が低照度画像である場合には、付着物検出フラグを「ＯＦＦ」にする。

【0066】

記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、分割領域Ｒ１における輝度の平均値や、分割領域Ｒ１における輝度の標準偏差や、分割領域Ｒ１におけるカウンタ値や、第１所定差分などの閾値情報や、各種プログラムの情報などを記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0067】

次に、実施形態に係る付着物検出処理について図４を参照し説明する。図４は、付着物検出処理を説明するフローチャートである。なお、付着物検出処理は、各車載カメラ１０で行われる。

【0068】

付着物検出装置１は、車載カメラ１０によって撮像した画像から現在フレームＩ１を生成し、対象領域Ｒ０、および分割領域Ｒ１を設定する（Ｓ１００）。付着物検出装置１は、車速を取得する（Ｓ１０１）。

【0069】

付着物検出装置１は、現在フレームＩ１の対象領域Ｒ０における輝度の平均値と、現在フレームＩ１の対象領域Ｒ０における輝度の標準偏差と、現在フレームＩ１の各分割領域Ｒ１における輝度の平均値と、現在フレームＩ１の各分割領域Ｒ１における輝度の標準偏差とを算出する（Ｓ１０２）。

【0070】

付着物検出装置１は、車速が所定車速以下であるか否かを判定する（Ｓ１０３）。付着物検出装置１は、車速が所定車速以下である場合には（Ｓ１０３：Ｙｅｓ）、現在フレームＩ１が低照度画像であるか否かを判定する（Ｓ１０４）。付着物検出装置１は、車速が所定車速よりも大きい場合には（Ｓ１０３：Ｎｏ）、今回の処理を終了する。

【0071】

付着物検出装置１は、現在フレームＩ１が低照度画像ではない場合（Ｓ１０４：Ｎｏ）、すなわち現在フレームＩ１が非低照度画像である場合には、付着領域判定処理を行う（Ｓ１０５）。なお、付着領域判定処理については後述する。

【0072】

付着物検出装置１は、現在フレームＩ１における占有率を算出する（Ｓ１０６）。付着物検出装置１は、占有率が所定占有率以上であるか否かを判定する（Ｓ１０７）。

【0073】

付着物検出装置１は、占有率が所定占有率以上である場合には（Ｓ１０７：Ｙｅｓ）、付着物検出フラグを「ＯＮ」にする（Ｓ１０８）。また、付着物検出装置１は、占有率が所定面積よりも小さい場合には（Ｓ１０７：Ｎｏ）、付着検出フラグを「ＯＦＦ」にする（Ｓ１０９）。

【0074】

付着物検出装置１は、現在フレームＩ１が低照度画像である場合には（Ｓ１０４：Ｙｅｓ）、付着物検出フラグを「ＯＦＦ」にする（Ｓ１１０）。すなわち、付着物検出装置１は、現在フレームＩ１が低照度画像である場合には、付着領域判定処理を行わず、分割領域Ｒ１に対する付着領域の検出を行わない。

【0075】

次に、付着領域判定処理について図５を参照し説明する。図５は、付着領域判定処理を説明するフローチャートである。

【0076】

付着物検出装置１は、分割領域Ｒ１を選択する（Ｓ２００）。具体的には、付着物検出装置１は、現在フレームＩ１の分割領域Ｒ１の中から、カウンタ値の更新を行っていない分割領域Ｒ１を選択する。

【0077】

付着物検出装置１は、選択した分割領域Ｒ１における第１差分、および第２差分を算出する（Ｓ２０１）。なお、付着物検出装置１は、各分割領域Ｒ１における第１差分、および第２差分を予め算出しておき、選択した分割領域Ｒ１に対応する第１差分、および第２差分を読み出してもよい。

【0078】

付着物検出装置１は、分割領域Ｒ１におけるカウンタ値の変更値を設定する（Ｓ２０２）。付着物検出装置１は、分割領域Ｒ１のカウンタ値を更新する（Ｓ２０３）。付着物検出装置１は、現在のカウンタ値に変更値を加算、または減算し、カウンタ値を更新する。

【0079】

付着物検出装置１は、カウンタ値が所定カウンタ値以上であるか否かを判定する（Ｓ２０４）。付着物検出装置１は、カウンタ値が所定カウンタ値以上である場合には（Ｓ２０４：Ｙｅｓ）、分割領域Ｒ１を付着領域として検出する（Ｓ２０５）。また、付着物検出装置１は、カウンタ値が所定カウンタ値よりも小さい場合には（Ｓ２０４：Ｎｏ）、分割領域Ｒ１を未着領域として検出する（Ｓ２０６）。

【0080】

付着物検出装置１は、全ての分割領域Ｒ１に対してカウンタ値の更新を行った場合には（Ｓ２０７：Ｙｅｓ）、付着領域判定処理を終了する。付着物検出装置１は、カウンタ値の更新を行っていない分割領域Ｒ１が有る場合には（Ｓ２０７：Ｎｏ）、新たに分割領域Ｒ１を選択し（Ｓ２００）、上記処理を繰り返す。

【0081】

付着物検出装置１は、同一分割領域Ｒ１における輝度の平均値の第１差分、輝度の標準偏差の第２差分に基づいて分割領域Ｒ１におけるカウンタ値の変更値を設定する。そして、付着物検出装置１は、変更値に基づいてカウンタ値を更新し、カウンタ値に基づいて分割領域Ｒ１における付着物Ｍの付着状態を検出する。

【0082】

これにより、付着物検出装置１は、同一分割領域Ｒ１における輝度の平均値の第１差分、輝度の標準偏差の第２差分に基づいてカウンタ値に基づいて設定されるカウンタ値の変更値を用いてカウンタ値を更新することで、分割領域Ｒ１への付着物の付着状態を正確に検出することができる。すなわち、付着物検出装置１は、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。また、付着物検出装置１は、車載カメラ１０でゲイン補正が行われた場合であっても、分割領域Ｒ１における付着物Ｍの付着を正確に検出することができる。そのため、付着物検出装置１は、車載カメラ１０のレンズへの付着物Ｍの付着を正確に検出することができる。

【0083】

例えば、図６Ａに示す撮像画像Ｉにおいて、車載カメラ１０に付着した付着物Ｍが拭き取られた場合には、図６Ｂに示すように、撮像画像Ｉには背景全体が写される。図６Ａは、付着物Ｍが付着した撮像画像Ｉの一例である。図６Ｂは、図６Ａの撮像画像Ｉに対し、付着物Ｍが拭き取られた場合の撮像画像Ｉの一例である。

【0084】

背景が、例えば、アスファルトの路面（図６Ａ、および図６Ｂにおけるハッチング領域）である場合には、付着物Ｍが付着した分割領域Ｒ１では、付着物Ｍが無くなる前後（例えば、付着物Ｍの拭き取り前後）において第１差分が第１所定差分よりも大きくなるが、第２差分が第２所定差分以下となることがある。

【0085】

また、車載カメラ１０でゲイン補正が行われた場合には、付着物Ｍが付着した分割領域Ｒ１では、ゲイン補正の前後において第１差分が第１所定差分よりも大きくなるが、第２差分が第２所定差分以下となることがある。

【0086】

このように、同一分割領域Ｒ１において輝度の平均値の差分である第１差分が第１所定差分よりも大きくなり、かつ輝度の標準偏差の差分である第２差分が第所定差分以下である場合には、実際に付着物Ｍが無くなったか否かを判断することが困難な場合がある。

【0087】

これに対し、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、カウンタ値の変更値を第１減算値に設定する。また、付着物検出装置１は、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分以下である場合には、カウンタ値の変更値を、第１減算値よりも小さい第２減算値に設定する。

【0088】

これにより、付着物検出装置１は、同一分割領域Ｒ１において輝度の平均値の差分である第１差分が第１所定差分よりも大きくなり、かつ輝度の標準偏差の差分である第２差分が第所定差分以下である場合に、カウンタ値が大きく減少することを抑制することができる。従って、付着物検出装置１は、付着物Ｍが無くなったか否か不明な場合に、カウンタ値が大きく変更されることを抑制することができる。すなわち、付着物検出装置１は、付着物Ｍの除去、例えば、付着物Ｍの拭き取りに対する誤判定の発生を抑制することができる。

【0089】

変形例に係る付着物検出装置１は、分割領域Ｒ１における輝度の平均値に基づいてカウンタ値を設定してもよい。すなわち、変形例に係る付着物検出装置１は、第１差分、第２差分、および分割領域Ｒ１における輝度の平均値に基づいてカウンタ値を設定してもよい。

【0090】

変形例に係る付着物検出装置１では、車載カメラ１０のゲイン補正の他にも、輝度や、色、明るさを補正する処理に対応して、第１所定差分や、変更値などが設定されてもよい。

【0091】

また、変形例に係る付着物検出装置１では、車載カメラ１０毎に第１所定差分や、変更値などが設定されてもよい。

【0092】

なお、カウンタ値を更新する変更値は、車載カメラ１０の性能に応じて設定されてもよい。

【0093】

また、変形例に係る付着物検出装置１は、例えば、第１差分が第１所定差分以下であり、かつ第２差分が第２所定差分以下である場合には、変更値を減算値とし、第１差分が第１所定差分よりも大きく、かつ第２差分が第２所定差分よりも大きい場合には、変更値を加算値としてもよい。変形例に係る付着物検出装置１は、カウンタ値が所定のカウンタ値以下の場合に、分割領域Ｒ１を付着領域として検出してもよい。

【0094】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0095】

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ 車載カメラ（撮像装置）
２０ 取得部
２１ 領域設定部
２３ 算出部
２４ 変更値設定部
２５ 更新部
２６ 判定部
２７ 検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】