特許 7172931 付着物検出装置および付着物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】付着物検出装置および付着物検出方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221109BHJP

   G06T 7/00 20170101ALI20221109BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 300F

【請求項の数】 3

(21)【出願番号】P 2019172211

(22)【出願日】2019-09-20

(65)【公開番号】P2021050934

(43)【公開日】2021-04-01

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】山本 大輔

(72)【発明者】

【氏名】朝山 信徳

(72)【発明者】

【氏名】池田 修久

(72)【発明者】

【氏名】谷 泰司

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】塩田 大輔

(72)【発明者】

【氏名】上林 輝彦

【審査官】井上 徹

(56)【参考文献】

【文献】米国特許第１１３９３１２８（ＵＳ，Ｂ２）

【文献】特開２０１９－１３３３３３（ＪＰ，Ａ）

【文献】特開２０１９－２９８９７（ＪＰ，Ａ）

【文献】特開２０１９－２９９０１（ＪＰ，Ａ）

【文献】特開２０１７－３２４１０（ＪＰ，Ａ）

【文献】特開２０１４－３０１８８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４８５０２１９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０１Ｎ ２１／００－２１／０１、２１／１７－２１／６１

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００、７／００

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／００－９９／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

撮像画像に含まれる所定数の画素からなるセル毎に、各画素のエッジベクトルに基づくエッジ特徴量を算出し、該エッジ特徴量に基づいて、所定数の前記セルからなる所定の領域である単位領域毎の領域特徴量を算出する算出部と、
前記領域特徴量に基づいて、カメラのレンズへの雪の付着状態を判定する判定部と
を備え、
前記算出部は、
前記エッジ特徴量に含まれる角度特徴量が特定不能な前記セルの個数を前記領域特徴量として算出し、
前記判定部は、
前記撮像画像の所定の注目領域内で前記個数が所定数以上である場合に、前記レンズの全面が雪で埋もれている状態である全埋もれを判定しない
ことを特徴とする付着物検出装置。

【請求項2】

前記算出部は、
輝度平均値を前記領域特徴量として算出し、
前記判定部は、
前記個数が所定数以上であり、かつ、前記輝度平均値が所定値未満である前記単位領域が、前記撮像画像の所定の注目領域内に所定の比率以上で存在する場合に、前記全埋もれを判定しない
ことを特徴とする請求項１に記載の付着物検出装置。

【請求項3】

撮像画像に含まれる所定数の画素からなるセル毎に、各画素のエッジベクトルに基づくエッジ特徴量を算出し、該エッジ特徴量に基づいて、所定数の前記セルからなる所定の領域である単位領域毎の領域特徴量を算出する算出工程と、
前記領域特徴量に基づいて、カメラのレンズへの雪の付着状態を判定する判定工程と
を含み、
前記算出工程は、
前記エッジ特徴量に含まれる角度特徴量が特定不能な前記セルの個数を前記領域特徴量として算出し、
前記判定工程は、
前記撮像画像の所定の注目領域内で前記個数が所定数以上である場合に、前記レンズの全面が雪で埋もれている状態である全埋もれを判定しない
ことを特徴とする付着物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

【背景技術】

【0002】

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、たとえば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－０３８０４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術には、レンズの全面が雪で埋もれている状態である全埋もれの検出における誤判定を防止するうえで、さらなる改善の余地がある。

【0005】

実施形態の一態様は、上記に鑑みてなされたものであって、レンズの全面が雪で埋もれている状態である全埋もれの検出における誤判定を防止する付着物検出装置および付着物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る付着物検出装置は、算出部と、判定部とを備える。前記算出部は、撮像画像に含まれる所定数の画素からなるセル毎に、各画素のエッジベクトルに基づくエッジ特徴量を算出し、該エッジ特徴量に基づいて、所定数の前記セルからなる所定の領域である単位領域毎の領域特徴量を算出する。前記判定部は、前記領域特徴量に基づいて、カメラのレンズへの雪の付着状態を判定する。また、前記算出部は、前記エッジ特徴量に含まれる角度特徴量が特定不能な前記セルの個数を前記領域特徴量として算出する。また、前記判定部は、前記撮像画像の所定の注目領域内で前記個数が所定数以上である場合に、前記レンズの全面が雪で埋もれている状態である全埋もれを判定しない。

【発明の効果】

【0007】

実施形態の一態様によれば、レンズの全面が雪で埋もれている状態である全埋もれの検出における誤判定を防止することができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る付着物検出方法の概要説明図（その１）である。

【図1B】図１Ｂは、実施形態に係る付着物検出方法の概要説明図（その２）である。

【図1C】図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その３）である。

【図2】図２は、実施形態に係る付着物検出装置のブロック図である。

【図3】図３は、算出部の処理内容を示す図（その１）である。

【図4】図４は、算出部の処理内容を示す図（その２）である。

【図5】図５は、算出部の処理内容を示す図（その３）である。

【図6】図６は、算出部の処理内容を示す図（その４）である。

【図7】図７は、変形例に係る算出部の処理内容を示す図（その１）である。

【図8】図８は、変形例に係る算出部の処理内容を示す図（その２）である。

【図9A】図９Ａは、判定部の処理内容を示す図（その１）である。

【図9B】図９Ｂは、判定部の処理内容を示す図（その２）である。

【図9C】図９Ｃは、判定部の処理内容を示す図（その３）である。

【図9D】図９Ｄは、判定部の処理内容を示す図（その４）である。

【図10】図１０は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

まず、図１Ａ～図１Ｃを用いて、実施形態に係る付着物検出方法の概要について説明する。図１Ａ～図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その１）～（その３）である。

【0011】

図１Ａに示すように、たとえば、車載カメラのレンズ表面に雪が付着した状態で撮像された撮像画像Ｉがあるものとする。以下では、実施形態に係る付着物検出方法を適用した付着物検出装置１（図２参照）が、かかる撮像画像Ｉの各画素の輝度勾配に関する特徴量（以下、「エッジ特徴量」と言う場合がある）に基づいて、雪によって車載カメラのレンズ全面が埋もれている状態（以下、「全埋もれ」と言う）を検出する場合を例に挙げる。

【0012】

具体的には、図１Ａに示すように、付着物検出装置１は、撮像画像Ｉの所定の注目領域であるＲＯＩ（Region Of Interest）から算出される各画素ＰＸのエッジ特徴量に基づいて、雪の付着状態を検出する。エッジ特徴量は、角度特徴量および強度特徴量を含む。角度特徴量は、各画素ＰＸのエッジベクトル（輝度勾配）の向き（以下、「エッジ向き」と言う場合がある）である。強度特徴量は、各画素ＰＸのエッジベクトルの大きさ（以下、「エッジ強度」と言う場合がある）である。

【0013】

なお、付着物検出装置１は、画像処理における処理負荷を軽減するため、かかるエッジ特徴量を、所定数の画素ＰＸからなるセル１００単位で取り扱う。これにより、画像処理における処理負荷の軽減に資することができる。また、ＲＯＩを構成する単位領域ＵＡは、かかるセル１００の集まりである。

【0014】

つづいて、付着物検出装置１は、かかるセル１００毎に抽出したエッジ特徴量に基づいて、単位領域ＵＡ毎の特徴量である領域特徴量を算出する。領域特徴量は、言わば単位領域ＵＡ毎におけるエッジ特徴量の統計的特徴量であり、たとえばペア領域の個数およびペア領域のエッジ強度の総和を含む。ここで、ペア領域は、隣接し、エッジ向きが互いに逆向きであるセル１００の組み合わせである。そのうえで、付着物検出装置１は、かかる領域特徴量に基づいて全埋もれ判定を行う。

【0015】

より具体的には、図１Ａに示すように、付着物検出装置１は、撮像画像Ｉにおいて、所定数のセル１００が上下方向および左右方向に配列された所定の領域である単位領域ＵＡ毎に、まずセル１００単位でエッジ特徴量を算出する（ステップＳ１）。エッジ特徴量は、上述したようにエッジ向きおよびエッジ強度である。

【0016】

セル１００のエッジ向きは、図１Ａに示すように、所定の角度範囲で角度分類される各画素ＰＸのベクトル向きの代表値であり、図１Ａの例では、９０°の角度範囲毎に区切られた上下左右のいずれかで決定される。また、セル１００のエッジ強度は、各画素ＰＸのベクトル強度の代表値である。なお、かかるセル１００単位のエッジ特徴量の算出処理については、図３および図４を用いて後述する。

【0017】

つづいて、付着物検出装置１は、ステップＳ１で算出したセル１００毎のエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量、ここでは上述したペア領域の個数およびペア領域のエッジ強度の総和を算出する（ステップＳ２）。

【0018】

そして、付着物検出装置１は、算出したペア領域の個数およびペア領域のエッジ強度の総和に基づいて全埋もれ判定を行う（ステップＳ３）。ここで、ペア領域は通常、撮像画像Ｉにおける背景部分のエッジに多くまたは強く現れる特徴がある。

【0019】

したがって、かかる特徴が一定以下であれば、すなわち図１Ａに示すように、ペア領域の個数およびペア領域のエッジ強度の総和がともに小さいならば、背景のエッジが見えておらず、全埋もれであるとの判定を行うことができる。

【0020】

ところで、こうした全埋もれに似た状況として、図１Ｂの上段に示すように、全埋もれではないが、夜間などで周囲に照明がなく、暗くて背景が見えないといった状況（以下、「暗闇＃１」と言う場合がある）が挙げられる。かかる場合、撮像画像Ｉにおいては、背景のエッジが見えていない、すなわちペア領域の個数およびペア領域のエッジ強度の総和がともに小さいということであり、付着物検出装置１は、上述した全埋もれ判定において全埋もれであると誤判定してしまうおそれがある。

【0021】

ここで、図１Ｂの下段に、撮像画像Ｉについて前述の角度分類を可視化させた角度分類画像を示す。かかる角度分類画像を観察すると、画像全体にわたり、白色の箇所が広範囲に存在することが分かる。

【0022】

白色の箇所は、角度なし（＝強度ゼロ）の箇所である。なお、強度がゼロである、とはエッジ強度が完全に０である必要はなく、設計などにおいてあらかじめ設定される所定の範囲にエッジ強度が含まれる状態を指してもよい。かかる角度なしの箇所は、暗闇＃１以外の場面においては通常概ね１０％未満であることが分かっている。そこで、実施形態に係る付着物検出方法では、かかる角度分類画像から分かる暗闇＃１の特徴を利用することで、全埋もれ検出における誤判定を防止することとした。

【0023】

具体的には、図１Ｃに示すように、実施形態に係る付着物検出方法では、ＲＯＩ内に角度なしの箇所が所定数以上存在するならば、暗闇で判定が困難であると推定し、全埋もれ判定を実施しないこととした。

【0024】

これにより、実施形態に係る付着物検出方法によれば、暗闇＃１のような状況下において、全埋もれであると誤判定してしまうのを防止することができる。すなわち、付着物の検出精度を向上させることができる。

【0025】

なお、実施形態に係る付着物検出方法では、撮像画像Ｉの１フレーム毎に全埋もれ検出処理を繰り返しており、１フレーム毎に全埋もれであるか否かの判定結果（たとえば「１」か「－１」か）が導出される。しかし、図１Ｃに示すように、全埋もれ判定を実施しない場合は、判定結果として「１」か「－１」以外、たとえば「０」を導出する。

【0026】

なお、全埋もれに似た状況は、図１Ｂに示した暗闇＃１に限られない。暗闇＃１以外の似た状況については、図９Ａ～図９Ｄを用いた説明で後述する。

【0027】

以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１の構成例について、さらに具体的に説明する。

【0028】

図２は、実施形態に係る付着物検出装置１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0029】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0030】

図２に示すように、実施形態に係る付着物検出装置１は、記憶部２と、制御部３とを備える。また、付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。

【0031】

なお、図２では、付着物検出装置１が、カメラ１０および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体に構成されてもよい。

【0032】

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、たとえば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

【0033】

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ１０のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。

【0034】

記憶部２は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、分類情報２１と、閾値情報２２とを記憶する。

【0035】

分類情報２１は、上述した角度分類に関する情報であり、たとえば角度分類における所定の角度範囲等を含む。閾値情報２２は、後述する判定部３３が実行する判定処理において用いられる閾値に関する情報であり、たとえば図１Ｃに示した角度なしの箇所の所定数等を含む。

【0036】

制御部３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0037】

制御部３は、取得部３１と、算出部３２と、判定部３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0038】

取得部３１は、カメラ１０で撮像された撮像画像Ｉを取得する。取得部３１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、算出部３２へ出力する。なお、平滑化処理にはたとえば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

【0039】

算出部３２は、取得部３１から取得した撮像画像Ｉのセル１００毎に、エッジ特徴量を算出する。ここで、図３および図４を用いて、算出部３２によるエッジ特徴量の算出処理について具体的に説明する。

【0040】

図３および図４は、算出部３２の処理内容を示す図（その１）および（その２）である。図３に示すように、算出部３２は、まず、各画素ＰＸにつきエッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、たとえば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

【0041】

つづいて、算出部３２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度とに基づき、三角関数を用いることでエッジベクトルＶを算出し、かかるエッジベクトルＶとＸ軸とがなす角度θであるエッジ向きと、エッジベクトルＶの長さＬであるエッジ強度を算出する。

【0042】

つづいて、算出部３２は、算出した各画素ＰＸのエッジベクトルＶに基づき、セル１００におけるエッジ向きの代表値を抽出する。具体的には、図４の上段に示すように、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、９０°毎の上下左右４方向である角度分類（０）～（３）（以下、「上下左右４分類」と言う場合がある）に分類する。

【0043】

より具体的には、算出部３２は、画素ＰＸのエッジ向きが、－４５°以上４５°未満の角度範囲である場合には角度分類（０）に分類し、４５°以上１３５°未満の角度範囲である場合には角度分類（１）に分類し、１３５°以上１８０°未満、または－１８０°以上－１３５°未満の角度範囲である場合には角度分類（２）に分類し、－１３５°以上－４５°未満の角度範囲である場合には角度分類（３）に分類する。

【0044】

そして、図４の下段に示すように、算出部３２は、各セル１００について、角度分類（０）～（３）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類（図４の例では、角度分類（１））を、セル１００におけるエッジ向きの代表値として抽出する。

【0045】

前述のヒストグラムの度数は、セル１００内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジ強度を足し合わせて算出する。具体的に、角度分類（０）の階級におけるヒストグラムの度数について考える。たとえば、角度分類（０）に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジ強度を１０，２０，３０とする。この場合、角度分類（０）の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。

【0046】

このようにして算出されたヒストグラムに基づき、算出部３２はセル１００におけるエッジ強度の代表値を算出する。具体的に、かかるエッジ強度の代表値は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をセル１００のエッジ強度とする。すなわち、算出部３２におけるエッジ強度の代表値の算出処理は、エッジ向きの代表値に対応した、セル１００内におけるエッジの強さに関する特徴を算出する処理とも言える。

【0047】

一方、算出部３２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合は、かかるセル１００のエッジ向きについては、「無効」、換言すれば、「エッジ向きの代表値なし」として取り扱う。すなわち、前述の「角度なし」である。これにより、各画素ＰＸのエッジ向きのばらつきが大きい場合に、特定のエッジ向きを代表値として算出してしまうことを防止できる。

【0048】

なお、図３および図４で示した算出部３２の処理内容は、あくまで一例であって、エッジ向きの代表値を算出可能であれば、処理内容は任意であってよい。たとえば、セル１００における各画素ＰＸのエッジ向きの平均値を算出し、かかる平均値に対応する角度分類（０）～（３）をエッジ向きの代表値としてもよい。

【0049】

また、図４では、４×４の計１６個の画素ＰＸを１つのセル１００とする場合を示したが、セル１００における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。

【0050】

図２の説明に戻る。また、算出部３２は、算出したセル１００毎のエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する。

【0051】

具体的には、算出部３２は、単位領域ＵＡ毎のペア領域２００の個数およびエッジ強度の総和を算出する。

【0052】

ここで、算出部３２によるペア領域２００の個数およびエッジ強度の総和の算出処理について、図５および図６を用いて説明する。図５および図６は、算出部３２の処理内容を示す図（その３）および（その４）である。

【0053】

なお、図５では、２つのペア領域２００が、セル１００を共有していない場合を示し、図６では、２つのペア領域２００が、セル１００を共有している場合を示している。

【0054】

図５に示すように、算出部３２は、単位領域ＵＡの左右方向および上下方向に配列された複数のセル１００について、左右方向および上下方向に走査し、ペア領域２００を探索する。すなわち、算出部３２は、単位領域ＵＡにおけるセル１００のうち、隣接し、エッジ向きが互いに逆向きであるセル１００同士をペア領域２００として抽出する。

【0055】

そして、算出部３２は、抽出されたペア領域２００の個数、および、ペア領域２００におけるエッジ強度の総和を算出する。なお、図５に示すように、算出部３２は、抽出されたたとえば２つのペア領域２００がセル１００を共有していない場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる４つのセル１００のエッジ強度を合計した値として算出する。

【0056】

また、図６に示すように、算出部３２は、抽出されたたとえば２つのペア領域２００がセル１００を共有している場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる３つのセル１００のエッジ強度を合計した値として算出する。

【0057】

なお、算出部３２は、上述した「上下左右４分類」の角度分類だけでなく、たとえば「斜め４分類」の角度分類に基づいて、１つのセル１００について２種類以上のエッジ向きの代表値を割り当て、領域特徴量を算出してもよい。かかる点について、図７および図８を用いて説明する。図７および図８は、変形例に係る算出部３２の処理内容を示す図（その１）および（その２）である。

【0058】

算出部３２は、「上下左右４分類」を第１の角度分類とし、これに基づくエッジ向きの代表値を第１代表値とすれば、図７に示すように、「斜め４分類」を第２の角度分類とし、これに基づくエッジ向きの代表値を第２代表値として算出することができる。

【0059】

かかる場合、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、第２の角度分類により、９０°毎の斜め４方向である角度分類（４）～（７）に分類する。

【0060】

より具体的には、算出部３２は、画素ＰＸのエッジ向きが、０°以上９０°未満の角度範囲である場合には角度分類（４）に分類し、９０°以上１８０°未満の角度範囲である場合には角度分類（５）に分類し、－１８０°以上－９０°未満の角度範囲である場合には角度分類（６）に分類し、－９０°以上０°未満の角度範囲である場合には角度分類（７）に分類する。

【0061】

そして、図４の下段に示したのと同様に、算出部３２は、各セル１００について、角度分類（４）～（７）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類を、セル１００におけるエッジ向きの第２代表値として算出する。

【0062】

これにより、図８に示すように、１つのセル１００についてそれぞれ２つのエッジ向きの代表値を割り当てることができる。そして、図８に示すように、算出部３２は、隣接するセル１００において、エッジ向きの第１代表値、および、第２代表値の少なくとも一方が互いに逆向きである場合、かかる隣接するセル１００をペア領域２００として抽出する。

【0063】

つまり、算出部３２は、各セル１００において、エッジ向きの第１代表値および第２代表値を算出することで、１種類のエッジ向きのみでは抽出できなかったペア領域２００を抽出することが可能となる。

【0064】

たとえば、エッジ向きが１４０°の画素ＰＸと、エッジ向きが－４０°の画素ＰＸとについて、第１角度範囲では逆向きとはならないが、第２角度範囲では逆向きとなることで、セル１００におけるエッジ向きの変化をより高精度に検出することが可能となる。

【0065】

図２の説明に戻る。また、算出部３２は、領域特徴量としてさらに、エッジ特徴量に含まれるエッジ強度がゼロであるセル１００の個数、すなわち上述した角度なしの箇所の数や、輝度平均値等を算出する。そして、算出部３２は、算出した単位領域ＵＡ毎の領域特徴量を判定部３３へ出力する。

【0066】

判定部３３は、算出部３２によって算出された領域特徴量、すなわちペア領域２００の個数、および、ペア領域２００におけるエッジ強度の総和に基づいて全埋もれ判定を行う。

【0067】

ただし、判定部３３は、図１Ｃに示したように、ＲＯＩ内に角度なしの箇所が所定数以上存在する、すなわち暗闇＃１の条件に該当するならば、暗闇で判定が困難であるとして、全埋もれ判定を実施しない。

【0068】

なお、判定部３３は、暗闇＃１以外にも、全埋もれに似た状況に際して誤判定を防止するための処理を行うことができる。図９Ａ～図９Ｄは、判定部３３の処理内容を示す図（その１）～（その４）である。暗闇＃１の場合については説明済みのため、図９Ａ～図９Ｄを用いた説明ではその他の場合について説明する。

【0069】

まず、図９Ａおよび図９Ｂを用いた説明では、暗闇＃２の場合を例に挙げる。暗闇＃２は、図９Ａの上段に示すように、撮像画像Ｉにおいて、たとえば車両のブレーキランプ等でほのかに照らされ、暗闇＃１ほどまとまった黒潰れはないものの、光量が足りずに背景が見えにくい場合である。

【0070】

ここで、図９Ａの下段に、かかる撮像画像Ｉについての角度分類画像を示す。かかる角度分類画像を観察すると、暗闇＃１の場合ほど白色（＝角度なし）の箇所は広範囲に存在しないものの、撮像画像Ｉの暗い領域に角度なしの箇所が点在していることが分かる。

【0071】

そこで、判定部３３は、かかる角度分類画像から分かる暗闇＃２の特徴を利用することで、全埋もれ検出における誤判定を防止する。

【0072】

具体的には、図９Ｂに示すように、判定部３３は、（角度なしの箇所が所定数以上）かつ（輝度平均値が所定値未満）の単位領域ＵＡが、ＲＯＩ内に所定の比率以上存在するならば、暗闇＃１の場合と同様に、暗闇で判定が困難であると推定し、全埋もれ判定を実施しない。

【0073】

これにより、暗闇＃２のような状況下において、全埋もれであると誤判定してしまうのを防止することができる。すなわち、付着物の検出精度を向上させることができる。

【0074】

なお、暗闇＃２の場合も、暗闇＃１の場合と同様に全埋もれ判定を実施しないので、判定部３３は、判定結果として「０」を導出することとなる。

【0075】

つづいて、図９Ｃおよび図９Ｄを用いた説明では、暗闇＃３の場合を例に挙げる。暗闇＃３は、図９Ｃの上段に示すように、たとえばレンズに融雪剤等が付着して全体的にボケて見える夜間のリアカメラの撮像画像Ｉにおいて、ライトで車両のバンパー部分が白飛びし、背景のエッジもボケているような場合である。

【0076】

なお、レンズの全面が雪に覆われている場合、画面上部がトンネルの照明等で明るくなることはあるが、路面から光が照射されるといった、画面下部が明るくなるようなケースは想定しにくい。

【0077】

そこで、判定部３３は、かかる特徴を利用し、画面上部および画面下部にそれぞれ設定されたＲＯＩ＿Ｕ，ＲＯＩ＿Ｄの輝度平均値の差分に基づいて、全埋もれ検出における誤判定を防止する。

【0078】

図９Ｃの下段に、かかる撮像画像Ｉについて、画面上部のＲＯＩ＿Ｕの輝度平均値を縦軸とし、画面下部のＲＯＩ＿Ｄの輝度平均値を横軸とした相関図を示す。

【0079】

かかる相関図を観察すると、暗闇＃３のような状況で全埋もれと誤判定される場合、画面上下の輝度差に偏りがある、たとえばＲＯＩ＿ＵよりもＲＯＩ＿Ｄの方が５０以上大きい（図中の点線よりも下の領域に位置している）ことが分かる。

【0080】

そこで、判定部３３は、図９Ｄに示すように、ＲＯＩ＿Ｕの輝度平均値よりも、ＲＯＩ＿Ｄの輝度平均値が所定値以上大きい（図９Ｃの例では５０以上）ならば、全埋もれではないと判定する。すなわち、判定部３３は、判定結果として「－１」を導出する。

【0081】

これにより、暗闇＃３のような状況下において、全埋もれであると誤判定してしまうのを防止することができる。すなわち、付着物の検出精度を向上させることができる。

【0082】

図２の説明に戻る。そして、判定部３３は、判定した判定結果を各種機器５０へ通知する。

【0083】

次に、図１０を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図１０は、実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャートである。なお、図１０では、１フレーム分の撮像画像Ｉについての処理手順を示している。

【0084】

図１０に示すように、まず、取得部３１が、撮像画像Ｉを取得する（ステップＳ１０１）。あわせて取得部３１は、撮像画像Ｉに対してグレースケール化処理および平滑化処理を施す。

【0085】

つづいて、算出部３２が、撮像画像Ｉのセル１００毎のエッジ特徴量を算出する（ステップＳ１０２）。また、算出部３２は、算出したエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する（ステップＳ１０３）。

【0086】

そして、判定部３３が、算出部３２によって算出された領域特徴量に基づいて暗闇＃１の条件に該当するか否かを判定する（ステップＳ１０４）。ここで、暗闇＃１の条件に該当する場合（ステップＳ１０４，Ｙｅｓ）、判定部３３は、全埋もれ判定を実施せずに判定結果としてたとえば「０」を導出して、ステップＳ１０９へ移行する。

【0087】

また、暗闇＃１の条件に該当しない場合（ステップＳ１０４，Ｎｏ）、つづいて判定部３３は、暗闇＃２の条件に該当するか否かを判定する（ステップＳ１０５）。ここで、暗闇＃２の条件に該当する場合（ステップＳ１０５，Ｙｅｓ）、判定部３３は、全埋もれ判定を実施せずに判定結果としてたとえば「０」を導出して、ステップＳ１０９へ移行する。

【0088】

また、暗闇＃２の条件に該当しない場合（ステップＳ１０５，Ｎｏ）、つづいて判定部３３は、暗闇＃３の条件に該当するか否かを判定する（ステップＳ１０６）。ここで、暗闇＃３の条件に該当する場合（ステップＳ１０６，Ｙｅｓ）、判定部３３は、全埋もれではないと判定する（ステップＳ１０７）。判定結果として、たとえば「－１」を導出する。

【0089】

また、暗闇＃３の条件に該当しない場合（ステップＳ１０６，Ｎｏ）、判定部３３は、算出部３２によって算出されたペア領域２００の個数およびエッジ強度の総和に基づいて全埋もれ判定を行う（ステップＳ１０８）。

【0090】

そして、判定部３３は、判定結果を各種機器５０へ通知して（ステップＳ１０９）、処理を終了する。

【0091】

上述してきたように、実施形態に係る付着物検出装置１は、算出部３２と、判定部３３とを備える。算出部３２は、撮像画像Ｉに含まれる所定数の画素ＰＸからなるセル１００毎に、各画素ＰＸのエッジベクトルに基づくエッジ特徴量を算出し、かかるエッジ特徴量に基づいて、所定数のセル１００からなる所定の領域である単位領域ＵＡ毎の領域特徴量を算出する。判定部３３は、上記領域特徴量に基づいて、カメラ１０のレンズへの付着物の付着状態を判定する。また、算出部３２は、上記エッジ特徴量に含まれるエッジ強度がゼロであるセル１００の個数を上記領域特徴量として算出する。また、判定部３３は、撮像画像ＩのＲＯＩ内で上記個数が所定数以上である場合に、上記レンズの全面が付着物で埋もれている状態である全埋もれを判定しない。

【0092】

したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。特に、上述した暗闇＃１の場合に、誤判定を防止することができる。

【0093】

また、算出部３２は、輝度平均値を上記領域特徴量として算出し、判定部３３は、上記個数が所定数以上であり、かつ、上記輝度平均値が所定値未満である単位領域ＵＡが、撮像画像ＩのＲＯＩ内に所定の比率以上で存在する場合に、上記全埋もれを判定しない。

【0094】

したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。特に、上述した暗闇＃２の場合に、誤判定を防止することができる。

【0095】

また、判定部３３は、撮像画像Ｉの上部に設定されたＲＯＩ＿Ｕの上記輝度平均値よりも、撮像画像Ｉの下部に設定された所定のＲＯＩ＿Ｄの上記輝度平均値が所定値以上大きい場合に、上記全埋もれではないと判定する。

【0096】

したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。特に、上述した暗闇＃３の場合に、誤判定を防止することができる。

【0097】

なお、上述した実施形態では、－１８０°～１８０°を９０°毎の角度範囲で分割した４方向に角度分類する場合を示したが、角度範囲は９０°に限定されず、たとえば６０°毎の角度範囲で分割した６方向に角度分類してもよい。

【0098】

また、第１の角度分類および第２の角度分類でそれぞれの角度範囲の幅が異なってもよい。たとえば、第１の角度分類では９０°毎で角度分類し、第２の角度分類では、６０°毎で角度分類してもよい。また、第１の角度分類および第２の角度分類では、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。

【0099】

また、上述した実施形態では、車載カメラで撮像された撮像画像Ｉを例に挙げたが、撮像画像Ｉは、たとえば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

【0100】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0101】

１ 付着物検出装置
２ 記憶部
３ 制御部
１０ カメラ
２１ 分類情報
２２ 閾値情報
３１ 取得部
３２ 算出部
３３ 判定部
５０ 各種機器
１００ セル
２００ ペア領域
Ｉ 撮像画像
ＰＸ 画素
ＵＡ 単位領域

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図10】