特許 7234630 付着物検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-28

(45)【発行日】2023-03-08

(54)【発明の名称】付着物検出装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230301BHJP

【ＦＩ】

G06T7/60 300A

【請求項の数】 7

(21)【出願番号】P 2018247677

(22)【出願日】2018-12-28

(65)【公開番号】P2020107232

(43)【公開日】2020-07-09

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】池田 修久

(72)【発明者】

【氏名】朝山 信徳

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】谷 泰司

(72)【発明者】

【氏名】山本 大輔

(72)【発明者】

【氏名】沖 朋和

(72)【発明者】

【氏名】上林 輝彦

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２００６－１０７０００（ＪＰ，Ａ）

【文献】特開２０１２－１０３７５８（ＪＰ，Ａ）

【文献】竹村 雅幸、外５名，“車室外カメラを利用した予防安全機能のためのレンズ診断”，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集，日本，画像センシング技術研究会，2014年06月11日，pp.1-7

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｈ０４Ｎ ７／１８，２３／６０

(57)【特許請求の範囲】

【請求項1】

撮像画像に含まれる所定数の画素からなるセル毎に、各画素のエッジベクトルに基づくエッジ特徴量を算出し、該エッジ特徴量に含まれるエッジ向きを異なる２ 種類の角度分類で分類する算出部と、
所定数の前記セルからなる所定の領域である単位領域における前記角度分類の変化回数に基づいて、前記撮像画像を撮像した撮像装置に付着した付着物の付着状態を判定する判定部と
を備えることを特徴とする付着物検出装置。

【請求項2】

前記算出部は、
３６０°を所定の角度範囲で分割する第１の角度分類、および、該第１の角度分類における前記角度範囲を所定角回転させて前記３６０°を分割する第２の角度分類によって、前記エッジ向きを分類する
ことを特徴とする請求項１に記載の付着物検出装置。

【請求項3】

前記判定部は、
前記単位領域において前記第１の角度分類による分類値および前記第２の角度分類による分類値のすべてが出現し、かつ、変化回数が所定範囲内である場合に、当該単位領域が前記付着物の所定の付着状態の候補領域であると判定する
ことを特徴とする請求項２に記載の付着物検出装置。

【請求項4】

前記判定部は、
前記単位領域における前記第１の角度分類による分類値の変化回数の合計、および、前記第２の角度分類による分類値の変化回数の合計が、それぞれ所定範囲内である場合に、当該単位領域が前記付着物の所定の付着状態の候補領域であると判定する
ことを特徴とする請求項２または３に記載の付着物検出装置。

【請求項5】

前記判定部は、
前記エッジ特徴量に含まれるエッジ強度の前記単位領域における合計が所定値より小さい場合に、当該単位領域が前記付着物の所定の付着状態の候補領域であると判定する
ことを特徴とする請求項１～４のいずれか一つに記載の付着物検出装置。

【請求項6】

前記判定部は、
前記撮像画像の所定数の前記単位領域からなる所定の領域における前記候補領域の個数が所定の閾値以上である場合に、当該候補領域が所定の付着状態であると判定する
ことを特徴とする請求項３、４または５に記載の付着物検出装置。

【請求項7】

前記判定部は、
前記付着物が雪であり、該雪が前記撮像装置のレンズ全面に付着しつつ浮き剥がれた状態を前記所定の付着状態として判定する
ことを特徴とする請求項３～６のいずれか一つに記載の付着物検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

【背景技術】

【0002】

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、たとえば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－０３８０４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術には、付着物の検出精度を向上させるうえで、さらなる改善の余地がある。

【0005】

実施形態の一態様は、上記に鑑みてなされたものであって、付着物の検出精度を向上させることができる付着物検出装置および付着物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る付着物検出装置は、算出部と、判定部とを備える。前記算出部は、撮像画像に含まれる所定数の画素からなるセル毎に、各画素のエッジベクトルに基づくエッジ特徴量を算出し、該エッジ特徴量に含まれるエッジ向きを異なる２種類の角度分類で分類する。前記判定部は、所定数の前記セルからなる所定の領域である単位領域における前記角度分類の変化回数に基づいて、前記撮像画像を撮像した撮像装置に付着した付着物の付着状態を判定する。

【発明の効果】

【0007】

実施形態の一態様によれば、付着物の検出精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る付着物検出方法の概要説明図（その１）である。

【図1B】図１Ｂは、実施形態に係る付着物検出方法の概要説明図（その２）である。

【図1C】図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その３）である。

【図2】図２は、実施形態に係る付着物検出装置のブロック図である。

【図3A】図３Ａは、算出部による算出処理の処理内容を示す図（その１）である。

【図3B】図３Ｂは、算出部による算出処理の処理内容を示す図（その２）である。

【図3C】図３Ｃは、算出部による算出処理の処理内容を示す図（その３）である。

【図4A】図４Ａは、算出部による算出処理の処理内容を示す図（その４）である。

【図4B】図４Ｂは、算出部による算出処理の処理内容を示す図（その５）である。

【図5A】図５Ａは、判定部による判定処理の処理内容を示す図（その１）である。

【図5B】図５Ｂは、判定部による判定処理の処理内容を示す図（その２）である。

【図6】図６は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

まず、図１Ａ～図１Ｃを用いて、実施形態に係る付着物検出方法の概要について説明する。図１Ａ～図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その１）～（その３）である。

【0011】

図１Ａに示すように、たとえば、車載カメラのレンズの全面が雪に埋もれた状態（以下、「全面雪埋もれ」と言う場合がある）で撮像された撮像画像Ｉがあるものとする。以下では、実施形態に係る付着物検出方法を適用した付着物検出装置１（図２参照）が、かかる撮像画像Ｉの各画素の輝度勾配に関する特徴量（以下、「エッジ特徴量」と言う場合がある）に基づいて、全面雪埋もれから雪が浮いて剥がれてきた付着状態を検出する場合について説明する。

【0012】

ところで、比較例に係る付着物検出方法として、前述のエッジ特徴量に含まれる角度特徴量を用いて全面雪埋もれを検出する方法がある。角度特徴量は、各画素のエッジベクトル（輝度勾配）の向き（以下、「エッジ向き」と言う場合がある）である。

【0013】

この比較例に係る付着物検出方法では、たとえば各画素のエッジ向きを、所定の角度範囲毎で分類し、かかる角度分類において逆向きでない画素の組み合わせに基づいて、全面雪埋もれを検出する。

【0014】

この比較例に係る付着物検出方法では、たとえば図１Ａの下段に示すように、０°～３６０°が９０°の角度範囲毎に区切られた上下左右のいずれかに各画素のエッジ向きを分類する。そして、隣接する画素同士において、かかる角度分類されたエッジ向きが１８０°逆向き（「上」に対しては「下」、「左」に対しては「右」）となる場合は、撮像画像Ｉ中の物の輪郭を推定させるという特性を利用し、逆向きでない画素の組み合わせをパターン検索し、全面雪埋もれを検出する。

【0015】

図１Ａの左側中段に示すのが、全面雪埋もれの撮像画像Ｉについて、前述の角度分類を可視化させた角度分類画像である。なお、図１Ａの左側に示す例は、比較例に係る付着物検出装置において全面雪埋もれが正常に検知されるケースである。

【0016】

しかしながら、たとえば雪が溶け始めるなど、雪の浮きが進行してきたものとする。すると、図１Ａの中央および右側に示すように、比較例に係る付着物検出方法では、全面雪埋もれが未検出となる場合があった。

【0017】

ここで、図１Ａに示すように、浮きが進行するに連れての角度分類画像の特徴を観察すると、見た目のザラザラ感が増していることが分かる。言い換えれば、角度分類のまとまりが細かくなる、または、角度分類の偏りが減少する、とも言える。

【0018】

また、同図に示すように、所定数の画素からなる所定の領域である単位領域ＵＡにおいては、角度分類の変化が増加し、逆向きの角度分類の出現頻度が高くなる傾向がある。逆向きの角度分類の出現頻度が高くなれば、物の輪郭をより強く推定させることとなるため、比較例に係る付着物検出方法では、全面雪埋もれの浮き剥がれ状態を検出することは難しい。

【0019】

そこで、実施形態に係る付着物検出方法では、図１Ｂに示すように、１つの撮像画像Ｉに対し、２種類の角度分類を行うこととした（ステップＳ１）。具体的には、第１の角度分類では、図１Ａに示した、９０°の角度範囲毎に区切られた上下左右のいずれかに分類する。かかる第１の角度分類は、以下、「上下左右４分類」と言う場合がある。

【0020】

一方、第２の角度分類では、「上下左右４分類」を４５°回転させて、右上、右下、左上、左下のいずれかに分類する。かかる第２の角度分類は、以下、「斜め４分類」と言う場合がある。

【0021】

このように、２種類の角度分類を行うことで、たとえば、エッジ向きが１２０°の画素と、エッジ向きが－１２０°の画素とについて、第１の角度分類では逆向きとなるが、第２の角度分類では逆向きにはならないことで、浮きが進行するに連れてのエッジ向きの変化をより高精度に検出することが可能となる。

【0022】

そして、実施形態に係る付着物検出方法では、図１Ｃに示すように、第１の角度分類および第２の角度分類によるそれぞれの角度分類画像において、単位領域ＵＡ毎の角度分類の変化回数をカウントすることとした（ステップＳ２）。そして、そのカウント結果に基づいて、全面雪埋もれの浮き剥がれ状態を判定することとした（ステップＳ３）。

【0023】

すなわち、上述したように、浮きが進行すれば、角度分類のまとまりが細かくなり、角度分類の変化が増加するので、実施形態に係る付着物検出方法は、かかる特徴を単位領域ＵＡ毎の角度分類の変化回数に基づいて判定する。なお、変化回数のカウント方法、および、カウント結果に基づく判定方法の各内容については、図４Ａ～図５Ｂを用いた説明で後述する。

【0024】

また、実施形態に係る付着物検出方法では、上述したエッジ特徴量を、所定数の画素ＰＸからなるセル１００単位で取り扱う（図３Ｂ等参照）。この点については、図３Ｂ等を用いた説明で後述する。なお、かかるセル１００単位での取り扱いにより、画像処理における処理負荷の軽減に資することができる。

【0025】

以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１の構成例について、さらに具体的に説明する。

【0026】

図２は、実施形態に係る付着物検出装置１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0027】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0028】

図２に示すように、実施形態に係る付着物検出装置１は、記憶部２と、制御部３とを備える。また、付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。

【0029】

なお、図２では、付着物検出装置１が、カメラ１０および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体に構成されてもよい。

【0030】

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、たとえば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

【0031】

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ１０のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。

【0032】

記憶部２は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、分類情報２１と、閾値情報２２とを記憶する。

【0033】

分類情報２１は、上述した角度分類に関する情報であり、たとえば第１の角度分類および第２の角度分類それぞれにおける角度範囲等を含む。閾値情報２２は、後述する判定部３３が実行する判定処理において用いられる閾値に関する情報である。

【0034】

制御部３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0035】

制御部３は、取得部３１と、算出部３２と、判定部３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0036】

取得部３１は、カメラ１０で撮像された撮像画像Ｉを取得する。取得部３１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、算出部３２へ出力する。なお、平滑化処理にはたとえば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

【0037】

算出部３２は、取得部３１から取得した撮像画像Ｉのセル１００毎に、エッジ特徴量を算出する。ここで、図３Ａ～図３Ｃを用いて、算出部３２によるエッジ特徴量の算出処理について具体的に説明する。

【0038】

図３Ａ～図３Ｃは、算出部３２による算出処理の処理内容を示す図（その１）～（その３）である。図３Ａに示すように、算出部３２は、まず、各画素ＰＸにつきエッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、たとえば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

【0039】

つづいて、算出部３２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度とに基づき、三角関数を用いることでエッジベクトルＶを算出し、かかるエッジベクトルＶとＸ軸とがなす角度θであるエッジ向きと、エッジベクトルＶの長さＬであるエッジ強度を算出する。

【0040】

つづいて、算出部３２は、算出した各画素ＰＸのエッジベクトルＶに基づき、セル１００におけるエッジ向きの代表値を算出する。具体的には、図３Ｂの上段に示すように、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、第１の角度分類により、９０°毎の上下左右４方向である角度分類（０）～（３）に分類する。

【0041】

より具体的には、算出部３２は、画素ＰＸのエッジ向きが、－４５°以上４５°未満の角度範囲である場合には角度分類（０）に分類し、４５°以上１３５°未満の角度範囲である場合には角度分類（１）に分類し、１３５°以上１８０°未満、または－１８０°以上－１３５°未満の角度範囲である場合には角度分類（２）に分類し、－１３５°以上－４５°未満の角度範囲である場合には角度分類（３）に分類する。

【0042】

そして、図３Ｂの下段に示すように、算出部３２は、各セル１００について、角度分類（０）～（３）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類（図３Ｂの例では、角度分類（１））を、セル１００におけるエッジ向きの第１代表値として算出する。

【0043】

一方、算出部３２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合は、かかるセル１００のエッジ向きについては、「無効」、換言すれば、「エッジ向きの代表値なし」として取り扱う。これにより、各画素ＰＸのエッジ向きのばらつきが大きい場合に、特定のエッジ向きを代表値として算出してしまうことを防止できる。

【0044】

また、算出部３２は、図３Ｃに示すように、第２の角度分類についても同様の処理を行う。すなわち、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、第２の角度分類により、９０°毎の斜め４方向である角度分類（４）～（７）に分類する。

【0045】

より具体的には、算出部３２は、画素ＰＸのエッジ向きが、０°以上９０°未満の角度範囲である場合には角度分類（４）に分類し、９０°以上１８０°未満の角度範囲である場合には角度分類（５）に分類し、－１８０°以上－９０°未満の角度範囲である場合には角度分類（６）に分類し、－９０°以上０°未満の角度範囲である場合には角度分類（７）に分類する。

【0046】

そして、図３Ｂの下段に示したのと同様に、算出部３２は、各セル１００について、角度分類（４）～（７）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類を、セル１００におけるエッジ向きの第２代表値として算出する。

【0047】

図２の説明に戻る。また、算出部３２は、算出したエッジ特徴量に基づく２種類の角度分類画像を生成し、かかる角度分類画像それぞれの単位領域ＵＡ毎に角度分類の変化回数をカウントする。

【0048】

ここで、図４Ａおよび図４Ｂを用いて、算出部３２による算出処理について具体的に説明する。図４Ａおよび図４Ｂは、算出部３２による算出処理の処理内容を示す図（その４）および（その５）である。

【0049】

図４Ａに示すように、算出部３２は、角度分類画像の単位領域ＵＡ毎に、単位領域ＵＡ内に左右方向および上下方向に配列されたセル１００の角度分類の変化回数を算出する。

【0050】

具体的に、同図に示すように、セル１００－１，１００－２，１００－３，１００－４の配列があり、エッジ向きである角度分類は順に、（０）、（１）、（１）、（２）であったものとする。

【0051】

かかる場合、算出部３２は、セル１００－１からセル１００－２を走査するに際して、角度分類が（０）から（１）へ変化するので、角度分類（０），（１）の変化回数をそれぞれ＋１する。また、算出部３２は、同配列において、セル１００－３からセル１００－４へ走査するに際して、角度分類が（１）から（２）へ変化するので、角度分類（１），（２）の変化回数をそれぞれ＋１する。

【0052】

算出部３２は、このように単位領域ＵＡ毎におけるセル１００の角度分類の変化回数をカウントし、図４Ｂに示すように、「上下左右４分類」および「斜め４分類」のそれぞれにおける角度分類別の変化回数を算出する。

【0053】

図２の説明に戻る。また、算出部３２は、算出した単位領域ＵＡ毎の角度分類の変化回数を判定部３３へ出力する。判定部３３は、算出部３２によって算出された角度分類の変化回数に基づき、単位領域ＵＡ毎において、当該単位領域ＵＡが浮き剥がれ状態にあり、見た目にザラザラ感のある「ザラザラ領域」であるか否かを判定する。

【0054】

また、判定部３３は、「ザラザラ領域」であると判定した単位領域ＵＡの個数に基づいて、全面雪埋もれの浮き剥がれ状態であるか否かを判定する。また、判定部３３は、判定した判定結果を各種機器５０へ通知する。

【0055】

ここで、判定部３３による判定処理の処理内容について、図５Ａおよび図５Ｂを用いて説明する。図５Ａおよび図５Ｂは、判定部３３による判定処理の処理内容を示す図（その１）および（その２）である。

【0056】

図５Ａに示すように、判定部３３は、「ザラザラ領域」の該当条件を、条件＃１～＃３のＡＮＤとしている。

【0057】

条件＃１は、「（０）～（７）がすべて出現し、かつ、回数が所定範囲内」である。かかる条件＃１の狙いは、複雑な角度変化が局所的に発生していること、また、特定の角度分類に偏っていないこと、の判定である。撮像画像Ｉの画像解像度が６４０×４８０であり、単位領域ＵＡが４０×４０である場合、条件＃１における所定範囲はたとえば「１≦ｎ＜６５」である。

【0058】

条件＃２は、「（０）～（３）の合計、（４）～（７）の合計が所定範囲内」である。かかる条件＃２の狙いは、路面等のザラザラとは異なること、また、浮き剥がれによく見られる所定範囲内にあること、の判定である。条件＃２における所定範囲はたとえば「９０≦ｎ＜２００」である。参考までに、積雪路面は「７５」程度、雪壁は「２１０」程度、アスファルトの路面は「２５０」程度である。

【0059】

条件＃３は、「弱エッジ強度の領域」である。すなわち、単位領域ＵＡのエッジ強度が所定値より小さいことを指す。かかる条件＃３の狙いは、角度特徴量だけでなく強度特徴量を加味することで、判定の信頼性向上を図ることである。

【0060】

また、図５Ｂに示すように、判定部３３は、判定した「ザラザラ領域」に基づく「浮き剥がれ」の該当条件を、同図に示す第１領域Ｒ１内の「ザラザラ領域」の個数が所定の第１閾値以上であることと、同図に示す第２領域Ｒ２内の「ザラザラ領域」の個数が所定の第２閾値以上であることとのＡＮＤとしている。

【0061】

なお、第１閾値は、第２閾値より緩和された条件となっている。これは、中心部ほど外乱の影響が少なく判定しやすいという特性を利用するものであり、第１領域Ｒ１および第２領域Ｒ２で２段階に、かつ、第２領域Ｒ２の方を厳しく判定することで、全面雪埋もれの検出精度を向上させることができる。

【0062】

次に、図６を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図６は、実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャートである。なお、図６では、１フレーム分のカメラ画像についての処理手順を示している。

【0063】

図６に示すように、まず、取得部３１が、撮像画像Ｉを取得する（ステップＳ１０１）。あわせて取得部３１は、撮像画像Ｉに対してグレースケール化処理および平滑化処理を施す。

【0064】

つづいて、算出部３２が、撮像画像Ｉの所定のセル１００毎のエッジ特徴量を算出する（ステップＳ１０２）。そして、算出部３２は、算出したエッジ特徴量に含まれるエッジ向きに基づいて２種類の角度分類を実行する（ステップＳ１０３）。

【0065】

つづいて、算出部３２は、角度分類結果に基づいて、単位領域ＵＡ毎の角度分類の変化回数をカウントする（ステップＳ１０４）。そして、判定部３３が、カウント結果に基づいて全面雪埋もれの浮き剥がれ状態を判定する（ステップＳ１０５）。

【0066】

そして、判定部３３は、各種機器５０へ判定結果を通知し（ステップＳ１０６）、処理を終了する。

【0067】

上述してきたように、実施形態に係る付着物検出装置１は、算出部３２と、判定部３３とを備える。算出部３２は、撮像画像Ｉに含まれる所定数の画素ＰＸからなるセル１００毎に、各画素ＰＸのエッジベクトルＶに基づくエッジ特徴量を算出し、かかるエッジ特徴量に含まれるエッジ向きを異なる２種類の角度分類で分類する。判定部３３は、所定数の上記セル１００からなる所定の領域である単位領域ＵＡにおける上記角度分類の変化回数に基づいて、撮像画像Ｉを撮像したカメラ１０（「撮像装置」の一例に相当）に付着した付着物の付着状態を判定する。

【0068】

したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。

【0069】

また、算出部３２は、３６０°を所定の角度範囲で分割する第１の角度分類、および、かかる第１の角度分類における角度範囲を所定角回転させて３６０°を分割する第２の角度分類によって、上記エッジ向きを分類する。

【0070】

したがって、実施形態に係る付着物検出装置１によれば、一方の角度分類では逆向きとなる場合でも、他方の角度分類では逆向きとならないようにすることが可能となる。

【0071】

また、判定部３３は、単位領域ＵＡにおいて第１の角度分類による分類値および第２の角度分類による分類値のすべてが出現し、かつ、変化回数が所定範囲内である場合に、当該単位領域ＵＡがザラザラ領域（「付着物の所定の付着状態の候補領域」の一例に相当）であると判定する。

【0072】

したがって、実施形態に係る付着物検出装置１によれば、見た目がザラザラした領域を判定するに際し、複雑な角度変化が局所的に発生していること、また、特定の角度分類に偏っていないことを確認することができる。

【0073】

また、判定部３３は、単位領域ＵＡにおける第１の角度分類による分類値の変化回数の合計、および、第２の角度分類による分類値の変化回数の合計が、それぞれ所定範囲内である場合に、当該単位領域ＵＡがザラザラ領域であると判定する。

【0074】

したがって、実施形態に係る付着物検出装置１によれば、見た目がザラザラした領域を判定するに際し、路面のザラザラとは異なること、また、浮きに多く見られる範囲内にあることを確認することができる。

【0075】

また、判定部３３は、上記エッジ特徴量に含まれるエッジ強度の単位領域ＵＡにおける合計が所定値より小さい場合に、当該単位領域ＵＡがザラザラ領域であると判定する。

【0076】

したがって、実施形態に係る付着物検出装置１によれば、見た目がザラザラした領域を判定するに際し、エッジ向きに対し、エッジ強度を加味することで、判定の信頼性を向上させることができる。

【0077】

また、判定部３３は、撮像画像Ｉの所定数の単位領域ＵＡからなる所定の領域におけるザラザラ領域の個数が所定の閾値以上である場合に、当該ザラザラ領域が所定の付着状態であると判定する。

【0078】

したがって、実施形態に係る付着物検出装置１によれば、単位領域ＵＡ毎の判定結果を統合した判定を行うことで、検出精度を高めるのに資することができる。

【0079】

また、判定部３３は、付着物が雪であり、かかる雪がカメラ１０のレンズ全面に付着しつつ浮き剥がれた状態を上記所定の付着状態として判定する。

【0080】

したがって、実施形態に係る付着物検出装置１によれば、全面雪埋もれの浮き剥がれ状態を精度よく検出することができる。

【0081】

なお、上述した実施形態では、０°～３６０°を９０°毎の角度範囲で分割した４方向に角度分類する場合を示したが、角度範囲は９０°に限定されず、たとえば６０°毎の角度範囲で分割した６方向に角度分類してもよい。

【0082】

また、第１の角度分類および第２の角度分類でそれぞれの角度範囲の幅が異なってもよい。たとえば、第１の角度分類では９０°毎で角度分類し、第２の角度分類では、６０°毎で角度分類してもよい。また、第１の角度分類および第２の角度分類では、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。また、セル１００を構成する画素ＰＸの所定数は１以上であればよい。

【0083】

また、上述した実施形態では、車載カメラで撮像された撮像画像Ｉを例に挙げたが、撮像画像Ｉは、たとえば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

【0084】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0085】

１ 付着物検出装置
２ 記憶部
３ 制御部
１０ カメラ
２１ 分類情報
２２ 閾値情報
３１ 取得部
３２ 算出部
３３ 判定部
５０ 各種機器
１００ セル
Ｉ 撮像画像
ＰＸ 画素
ＵＡ 単位領域

【図1A】

【図1B】

【図1C】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】