ホーム > 特許ランキング > 株式会社デンソーテン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-08
(45)【発行日】2022-11-16
(54)【発明の名称】付着物検出装置および付着物検出方法
(51)【国際特許分類】
G01N 21/17 20060101AFI20221109BHJP
G06T 7/00 20170101ALI20221109BHJP
H04N 5/232 20060101ALI20221109BHJP
G08G 1/00 20060101ALN20221109BHJP
【ＦＩ】
G01N21/17 E
G06T7/00 300F
H04N5/232 290
G08G1/00 X
【請求項の数】
4
(21)【出願番号】P 2019172210
(22)【出願日】2019-09-20
(65)【公開番号】P2021050933
(43)【公開日】2021-04-01
【審査請求日】2021-12-14
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】100106149
【弁理士】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】山本 大輔
(72)【発明者】
【氏名】朝山 信徳
(72)【発明者】
【氏名】池田 修久
(72)【発明者】
【氏名】谷 泰司
(72)【発明者】
【氏名】河野 貴
(72)【発明者】
【氏名】塩田 大輔
(72)【発明者】
【氏名】上林 輝彦
【審査官】清水 靖記
(56)【参考文献】
【文献】特開２０１９－１３３３３３（ＪＰ，Ａ）
【文献】特開２０１４－０３０１８８（ＪＰ，Ａ）
【文献】特開２０１０－０１４４９４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００ － ２１／９５８
Ｇ０１Ｂ １１／００ － １１／３０
Ｇ０６Ｔ ７／００ － ７／９０
Ｈ０４Ｎ ５／２２２ － ５／２５７
Ｇ０８Ｇ １／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する算出部と、前記領域特徴量に基づく第１の検出条件に沿って前記単位領域への付着物の付着状態を検出する検出部と、
前記検出部の検出結果に基づいて、カメラのレンズに対する付着物の付着率を判定する判定部と
を備え、
前記検出部は、
前記判定部によって前記付着率が、前記第１の検出条件に沿って検出された付着物によって前記レンズの大半が埋もれている一定以上であると判定された場合に、前記領域特徴量に基づく前記第１の検出条件および第２の検出条件に沿ってそれぞれ付着物の付着状態を検出する
ことを特徴とする付着物検出装置。
【請求項2】
撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する算出部と、
前記領域特徴量に基づく第１の検出条件に沿って前記単位領域への付着物の付着状態を検出する検出部と、
前記検出部の検出結果に基づいて、カメラのレンズに対する付着物の付着率を判定する判定部と
を備え、
前記検出部は、
前記判定部によって前記付着率が一定以上であると判定された場合に、前記領域特徴量に基づく前記第１の検出条件および第２の検出条件に沿ってそれぞれ付着物の付着状態を検出し、
前記付着物は雪であって、
前記検出部は、
前記レンズに付着して解け始める前の雪の付着状態を前記第１の検出条件に沿って検出し、前記レンズに付着してはいるが解け始めた後の雪の付着状態を前記第２の検出条件に沿って検出する
ことを特徴とする付着物検出装置。
【請求項3】
前記判定部は、
前記第１の検出条件に沿って付着物の付着箇所として検出された前記単位領域、および、前記第２の検出条件に沿って付着物の付着箇所として検出された前記単位領域を合算して前記付着率を算出する
ことを特徴とする請求項１または２に記載の付着物検出装置。
【請求項4】
撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する算出工程と、前記領域特徴量に基づく第１の検出条件に沿って前記単位領域への付着物の付着状態を検出する検出工程と、
前記検出工程の検出結果に基づいて、カメラのレンズに対する付着物の付着率を判定する判定工程と
を含み、
前記検出工程は、
前記判定工程によって前記付着率が、前記第１の検出条件に沿って検出された付着物によって前記レンズの大半が埋もれている一定以上であると判定された場合に、前記領域特徴量に基づく前記第１の検出条件および第２の検出条件に沿ってそれぞれ付着物の付着状態を検出する
ことを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【0002】
従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、たとえば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－０３８０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術には、付着物の検出精度を向上させるうえで、さらなる改善の余地がある。
【0005】
実施形態の一態様は、上記に鑑みてなされたものであって、付着物の検出精度を向上させることができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態の一態様に係る付着物検出装置は、算出部と、検出部と、判定部とを備える。前記算出部は、撮像画像に含まれる所定数の画素からなる単位領域毎に、各画素のエッジベクトルに基づく領域特徴量を算出する。前記検出部は、前記領域特徴量に基づく第１の検出条件に沿って前記単位領域への付着物の付着状態を検出する。前記判定部は、前記検出部の検出結果に基づいて、カメラのレンズに対する付着物の付着率を判定する。また、前記検出部は、前記判定部によって前記付着率が、前記第１の検出条件に沿って検出された付着物によって前記レンズの大半が埋もれている一定以上であると判定された場合に、前記領域特徴量に基づく前記第１の検出条件および第２の検出条件に沿ってそれぞれ付着物の付着状態を検出する。
【発明の効果】
【0007】
実施形態の一態様によれば、付着物の検出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【0010】
【0011】
図１Ａに示すように、たとえば、車載カメラのレンズ表面に雪が付着した状態で時系列に撮像された撮像画像Ｉ１～Ｉ４があるものとする。以下では、実施形態に係る付着物検出方法を適用した付着物検出装置１（図２参照）が、かかる撮像画像Ｉ１～Ｉ４の各画素の輝度勾配に関する特徴量（以下、「エッジ特徴量」と言う場合がある）に基づいて、雪によって車載カメラのレンズの大半が埋もれている状態を検出する場合を例に挙げる。なお、撮像画像Ｉ１～Ｉ４を総称する場合、単に撮像画像Ｉと言う。
【0012】
具体的には、付着物検出装置１は、撮像画像Ｉから算出される各画素ＰＸ（図４参照）のエッジ特徴量に基づいて、雪の付着状態を検出する。エッジ特徴量は、角度特徴量および強度特徴量を含む。角度特徴量は、各画素ＰＸのエッジベクトル（輝度勾配）の向き（以下、「エッジ向き」と言う場合がある）である。強度特徴量は、各画素ＰＸのエッジベクトルの大きさ（以下、「エッジ強度」と言う場合がある）である。
【0013】
なお、付着物検出装置１は、画像処理における処理負荷を軽減するため、かかるエッジ特徴量を、所定数の画素ＰＸからなるセル１００（図４参照）単位で取り扱う。これにより、画像処理における処理負荷の軽減に資することができる。また、図１Ａに示す単位領域ＵＡは、かかるセル１００の集まりである。
【0014】
そして、付着物検出装置１は、かかるセル１００毎に算出したエッジ特徴量に基づいて、単位領域ＵＡ毎の特徴量である領域特徴量を算出する。領域特徴量は、言わば単位領域ＵＡ毎におけるエッジ特徴量の統計的特徴量であり、たとえば輝度平均や、エッジ強度の平均、エッジ強度の分散、ペア領域の個数、ペア領域のエッジ強度の総和等を含む。ここで、ペア領域は、隣接し、エッジ向きが互いに逆向きであるセル１００の組み合わせである。そのうえで、付着物検出装置１は、かかる領域特徴量に基づいて、単位領域ＵＡ毎に付着物の付着状態を検出する。
【0015】
より具体的には、図１Ａに示すように、付着物検出装置１は、撮像画像Ｉにおいて、算出された領域特徴量に基づき、単位領域ＵＡ毎に所定の検出条件に沿って付着状態（「付着」か「非付着」か）を検出する（たとえば、図中の撮像画像Ｉ１参照）。
【0016】
そして、たとえば撮像画像Ｉ２に示すように、付着率が一定以上になれば、付着物検出装置１は、車載カメラのレンズの大半が埋もれていると判定し、埋もれフラグをオンにする。ここで、付着率は、たとえば撮像画像Ｉ中の所定の注目領域において「付着」と検出された付着箇所の面積率である。また、埋もれフラグは、レンズが埋もれているかいないかを示すフラグであり、埋もれていると判定された場合にはオンが、埋もれていないと判定された場合にはオフが設定される。
【0017】
ところで、雪は環境の変化に応じ、たとえば解けるなど態様が変化するが、付着し始めの雪と解けてきた雪は特徴が異なるため、同一の検出条件で検出することは困難である。このため、たとえば撮像画像Ｉ３に破線の矩形部分として示すように、解け落ち箇所が発生した場合、撮像画像Ｉ１，Ｉ２で付着箇所を検出できた検出条件では、かかる解け落ち箇所を付着箇所として検出することはできない。
【0018】
したがって、非付着箇所が増加することとなり、付着率が低下するため、付着物検出装置１は、埋もれフラグをオフすることとなる。
【0019】
ただし、本来望ましい埋もれフラグのオフタイミングは、たとえば撮像画像Ｉ４に示すように、解け落ちが進行し、車載カメラの視認性がある程度確保されたタイミングであるはずである。
【0020】
このため、埋もれフラグがオンされた後、解けてきた雪の付着状態をあわせて検出することによって、埋もれフラグの安定化を図ることが付着物の検出精度の向上に資することとなる。
【0021】
そこで、実施形態に係る付着物検出方法では、第１の検出条件に沿って検出された付着物によってレンズの大半が埋もれていると判定された後、第１の検出条件および第２の検出条件に沿ってそれぞれ付着物を検出することとした。
【0022】
具体的には、図１Ｂに示すように、実施形態に係る付着物検出方法では、付着率が一定以上となり、埋もれフラグがオンされたならば、単位領域ＵＡ毎に第１の検出条件および第２の検出条件に沿ってそれぞれ付着状態を検出する。
【0023】
ここで、第１の検出条件は、図１Ａに所定の検出条件として示した、付着し解け始める前の雪を検出するための検出条件である。第２の検出条件は、付着してはいるが、解け始めた後の雪を検出するための検出条件である。
【0024】
そして、実施形態に係る付着物検出方法では、前述の付着率は、第１の検出条件および第２の検出条件に沿ってそれぞれ検出された付着箇所の合算値に基づいて算出される。これにより、一旦埋もれフラグがオンされた後の付着率の低下を抑え、埋もれフラグを安定化して、ある程度解け落ちが進行した望ましいタイミングで埋もれフラグをオフすることが可能となる。
【0025】
したがって、実施形態に係る付着物検出方法によれば、付着物の検出精度を向上させることができる。
【0026】
なお、図１Ｃに示すように、第１の検出条件および第２の検出条件は、単位領域ＵＡ毎に算出される領域特徴量に含まれる各種の要素に基づいて設定される。第１の検出条件は、通常の付着箇所の特徴、たとえば単位領域ＵＡにおいて、弱エッジであり、角度分類のまとまりが大きく、角度分類の偏りが多く、ペア領域の出現頻度が低い、といった特徴を検出可能に予め設定される。
【0027】
一方、第２の検出条件は、解け落ち箇所の特徴、たとえば単位領域ＵＡにおいて、強エッジであり、角度分類のまとまりが細かく、角度分類の偏りが少なく、ペア領域の出現頻度が高い、といった特徴を検出可能に予め設定される。
【0028】
なお、角度分類は、所定の角度範囲で分類される各画素ＰＸのベクトル向きの代表値である、セル１００のエッジ向きに対応する。かかる角度分類を含むエッジ特徴量および領域特徴量の算出処理については、図３～図１６を用いて後述する。
【0029】
以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１の構成例について、さらに具体的に説明する。
【0030】
【0031】
換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
【0032】
図２に示すように、実施形態に係る付着物検出装置１は、記憶部２と、制御部３とを備える。また、付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。
【0033】
なお、図２では、付着物検出装置１が、カメラ１０および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体に構成されてもよい。
【0034】
カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、たとえば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。
【0035】
各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ１０のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。
【0036】
記憶部２は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、テンプレート情報２１と、推定情報２２と、条件情報２３と、判定履歴情報２４とを記憶する。
【0037】
テンプレート情報２１は、後述する算出部３２が実行するマッチング処理において用いられるテンプレートに関する情報である。推定情報２２は、後述する領域特徴量の各要素を各次元とする領域特徴量空間に関する情報である。かかる推定情報２２は、後述する算出部３２が算出する領域特徴量に基づいて付着状態を推定させる推定モデルと言い換えてもよい。
【0038】
条件情報２３は、後述する検出部３３が実行する検出処理において用いられる検出条件に関する情報であり、たとえば上述した第１の検出条件および第２の検出条件を含む。判定履歴情報２４は、所定の過去のｎフレーム分の撮像画像Ｉにおける付着物検出の判定履歴に関する情報である。
【0039】
制御部３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。
【0040】
制御部３は、取得部３１と、算出部３２と、検出部３３と、判定部３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
【0041】
取得部３１は、カメラ１０で撮像された撮像画像Ｉを取得する。取得部３１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、算出部３２へ出力する。なお、平滑化処理にはたとえば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。
【0042】
【0043】
図３および図４は、算出部３２の処理内容を示す図（その１）および（その２）である。図３に示すように、算出部３２は、まず、各画素ＰＸにつきエッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、たとえば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。
【0044】
つづいて、算出部３２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度とに基づき、三角関数を用いることでエッジベクトルＶを算出し、かかるエッジベクトルＶとＸ軸とがなす角度θであるエッジ向きと、エッジベクトルＶの長さＬであるエッジ強度を算出する。
【0045】
つづいて、算出部３２は、算出した各画素ＰＸのエッジベクトルＶに基づき、セル１００におけるエッジ向きの代表値を抽出する。具体的には、図４の上段に示すように、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、９０°毎の上下左右４方向である角度分類（０）～（３）（以下、「上下左右４分類」と言う場合がある）に分類する。
【0046】
より具体的には、算出部３２は、画素ＰＸのエッジ向きが、－４５°以上４５°未満の角度範囲である場合には角度分類（０）に分類し、４５°以上１３５°未満の角度範囲である場合には角度分類（１）に分類し、１３５°以上１８０°未満、または－１８０°以上－１３５°未満の角度範囲である場合には角度分類（２）に分類し、－１３５°以上－４５°未満の角度範囲である場合には角度分類（３）に分類する。
【0047】
そして、図４の下段に示すように、算出部３２は、各セル１００について、角度分類（０）～（３）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類（図４の例では、角度分類（１））を、セル１００におけるエッジ向きの代表値として抽出する。
【0048】
前述のヒストグラムの度数は、セル１００内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジ強度を足し合わせて算出する。具体的に、角度分類（０）の階級におけるヒストグラムの度数について考える。たとえば、角度分類（０）に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジ強度を１０，２０，３０とする。この場合、角度分類（０）の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。
【0049】
このようにして算出されたヒストグラムに基づき、算出部３２はセル１００におけるエッジ強度の代表値を算出する。具体的に、かかるエッジ強度の代表値は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をセル１００のエッジ強度とする。すなわち、算出部３２におけるエッジ強度の代表値の算出処理は、エッジ向きの代表値に対応した、セル１００内におけるエッジの強さに関する特徴を算出する処理とも言える。
【0050】
一方、算出部３２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合は、かかるセル１００のエッジ向きについては、「無効」、換言すれば、「エッジ向きの代表値なし」として取り扱う。これにより、各画素ＰＸのエッジ向きのばらつきが大きい場合に、特定のエッジ向きを代表値として算出してしまうことを防止できる。
【0051】
なお、図３および図４で示した算出部３２の処理内容は、あくまで一例であって、エッジ向きの代表値を算出可能であれば、処理内容は任意であってよい。たとえば、セル１００における各画素ＰＸのエッジ向きの平均値を算出し、かかる平均値に対応する角度分類（０）～（３）をエッジ向きの代表値としてもよい。
【0052】
また、図４では、４×４の計１６個の画素ＰＸを１つのセル１００とする場合を示したが、セル１００における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。
【0053】
図２の説明に戻る。また、算出部３２は、算出したセル１００毎のエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する。
【0054】
まず、算出部３２は、領域特徴量として、単位領域ＵＡ毎における輝度平均、セル１００のエッジ強度の平均および分散を算出する。また、算出部３２は、領域特徴量として、ペア領域２００の個数およびエッジ強度の総和を算出する。
【0055】
【0056】
【0057】
図５に示すように、算出部３２は、単位領域ＵＡの左右方向および上下方向に配列された複数のセル１００について、左右方向および上下方向に走査し、ペア領域２００を探索する。すなわち、算出部３２は、単位領域ＵＡにおけるセル１００のうち、隣接し、エッジ向きが互いに逆向きであるセル１００同士をペア領域２００として抽出する。
【0058】
そして、算出部３２は、抽出されたペア領域２００の個数、および、ペア領域２００におけるエッジ強度の総和を算出する。なお、図５に示すように、算出部３２は、抽出されたたとえば２つのペア領域２００がセル１００を共有していない場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる４つのセル１００のエッジ強度を合計した値として算出する。
【0059】
また、図６に示すように、算出部３２は、抽出されたたとえば２つのペア領域２００がセル１００を共有している場合、ペア領域２００の個数を２つと算出し、エッジ強度の総和を、２つのペア領域２００に含まれる３つのセル１００のエッジ強度を合計した値として算出する。
【0060】
なお、算出部３２は、上述した「上下左右４分類」の角度分類だけでなく、たとえば「斜め４分類」の角度分類に基づいて、１つのセル１００について２種類以上のエッジ向きの代表値を割り当て、領域特徴量を算出してもよい。かかる点について、図７および図８を用いて説明する。図７および図８は、算出部３２の処理内容を示す図（その５）および（その６）である。
【0061】
算出部３２は、「上下左右４分類」を第１の角度分類とし、これに基づくエッジ向きの代表値を第１代表値とすれば、図７に示すように、「斜め４分類」を第２の角度分類とし、これに基づくエッジ向きの代表値を第２代表値として算出することができる。
【0062】
かかる場合、算出部３２は、セル１００における各画素ＰＸのエッジベクトルＶのエッジ向き－１８０°～１８０°を、第２の角度分類により、９０°毎の斜め４方向である角度分類（４）～（７）に分類する。
【0063】
より具体的には、算出部３２は、画素ＰＸのエッジ向きが、０°以上９０°未満の角度範囲である場合には角度分類（４）に分類し、９０°以上１８０°未満の角度範囲である場合には角度分類（５）に分類し、－１８０°以上－９０°未満の角度範囲である場合には角度分類（６）に分類し、－９０°以上０°未満の角度範囲である場合には角度分類（７）に分類する。
【0064】
そして、図４の下段に示したのと同様に、算出部３２は、各セル１００について、角度分類（４）～（７）を各階級とするヒストグラムを生成する。そして、算出部３２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する角度分類を、セル１００におけるエッジ向きの第２代表値として算出する。
【0065】
これにより、図８に示すように、１つのセル１００についてそれぞれ２つのエッジ向きの代表値を割り当てることができる。そして、図８に示すように、算出部３２は、隣接するセル１００において、エッジ向きの第１代表値、および、第２代表値の少なくとも一方が互いに逆向きである場合、かかる隣接するセル１００をペア領域２００として抽出する。
【0066】
つまり、算出部３２は、各セル１００において、エッジ向きの第１代表値および第２代表値を算出することで、１種類のエッジ向きのみでは抽出できなかったペア領域２００を抽出することが可能となる。
【0067】
たとえば、エッジ向きが１４０°の画素ＰＸと、エッジ向きが－４０°の画素ＰＸとについて、第１角度範囲では逆向きとはならないが、第２角度範囲では逆向きとなることで、セル１００におけるエッジ向きの変化をより高精度に検出することが可能となる。
【0068】
なお、算出部３２は、このように算出した単位領域ＵＡ毎の領域特徴量を、後述する判定部３４に対し、領域特徴量の各要素を各次元とする領域特徴量空間にマッピングさせ、領域特徴量空間における領域特徴量の位置に基づいて付着物である雪の付着状態を推定させることができる。
【0069】
【0070】
たとえば、算出部３２は、図９に示すように、エッジ強度の平均、および、エッジ強度の分散を各次元とする２次元空間における位置に基づいて、雪の付着状態を、「付着」、「非付着」、または、「判定難」のいずれかとして推定させることができる。
【0071】
また、たとえば、算出部３２は、図１０に示すように、ペア領域２００の個数、および、ペア領域２００のエッジ強度の総和を各次元とする２次元空間における位置に基づいて、雪の付着状態を、「付着」または「非付着」のいずれかとして推定させることができる。
【0072】
ここで、「付着」は、背景が見えない、雪に埋もれている状態である。また、「非付着」は、背景が見えている状態である。また、「判定難」は、白飛び等で見えない状態である。
【0073】
なお、図９および図１０に示した各領域特徴量空間の例は、撮像画像Ｉの多量のサンプルデータに基づいて、予めかかるサンプルデータの各単位領域ＵＡの領域特徴量を算出し、実際の付着状態に応じて標本点を色分けしつつ、各空間にマッピングしたものである。したがって、各付着状態を区切る各閾値（図中の点線参照）は、たとえば標本点の色の分かれ目等に応じて規定されている。なお、図９および図１０では、閾値を直線で区切って規定しているが、説明の便宜上のものであり、標本点の色の分かれ目に沿う形状の曲線によって規定されてもよい。
【0074】
たとえば、「非付着」の状態では、道路上の白線やガードレール、建物の輪郭等により、ペア領域２００が比較的多く抽出され、また、セル１００のエッジ強度も大きくなる。このため、ペア領域２００のエッジ強度の総和も比較的大きくなる。一方で、「付着」の状態では、単位領域ＵＡの輝度が一様で、かつ、セル１００のエッジ強度も小さくなるため、抽出されるペア領域２００の個数は比較的少なくなり、また、ペア領域２００のエッジ強度の総和も比較的小さくなる。
【0075】
そこで、かかる点に着目し、図１０に示したように、予め撮像画像Ｉのサンプルデータに基づいて、ペア領域２００の個数、および、ペア領域２００のエッジ強度の総和を各次元とする領域特徴量空間を生成し、かかる空間に算出した領域特徴量をマッピングすれば、その位置に基づいて、単位領域ＵＡ毎の付着物の付着状態を「付着」または「非付着」のいずれかとして推定させることができる。
【0076】
また、図９に示したエッジ強度の平均、および、エッジ強度の分散は、統計的見地に基づくものである。換言すれば、多量のサンプルデータに基づき、単位領域ＵＡ毎の実際の付着状態に対応するエッジ強度の平均および分散を学習し、かかる学習の結果に基づいて状態を判別するものと言える。
【0077】
そこで、かかる点に着目し、図９に示したように、予め撮像画像Ｉのサンプルデータに基づいて、エッジ強度の平均、および、エッジ強度の分散を各次元とする領域特徴量空間を生成し、かかる空間に算出した領域特徴量をマッピングすれば、その位置に基づいて、単位領域ＵＡ毎の付着物の付着状態を「付着」、「非付着」、または、「判定難」のいずれかとして推定させることができる。
【0078】
したがって、実施形態に係る算出部３２によれば、付着物の検出精度を向上させることができる。
【0079】
【0080】
図１１～図１４は、算出部３２の処理内容を示す図（その９）～（その１２）である。なお、図１１、図１３および図１４に示す不定形のハッチング部分は、撮像画像Ｉにおいて所定のエッジ特徴量を有するパターン部分であるものとする。
【0081】
算出部３２は、算出したセル１００のエッジ特徴量のうちのエッジ向きを用いて、所定のテンプレートと一致する所定の探索パターンを探索する。図１１に示すように、探索方向は左右方向および上下方向である。
【0082】
たとえば、算出部３２は、「注目する角度分類の両サイドに逆向きの角度分類が現れないこと」を条件として探索パターンを探索する。具体的には、注目する角度分類を角度分類（１）として左右方向に探索した場合に、図１２に示すように、たとえば開始位置は「角度分類が逆向きでない」角度分類（２）のセル１００－１に隣接する角度分類（１）のセル１００－２が開始位置となる。
【0083】
そして、角度分類（１）の配列がつづき、「角度分類が逆向きでない」角度分類（０）のセル１００－４が現れた場合、かかるセル１００－４に隣接する角度分類（１）のセル１００－３が終了位置となる。かかる場合、図１２の例ではマッチ長は「８」となる。なお、算出部３２は、このように探索パターンとの一致があった場合、その位置とマッチ長とを保持しておく。
【0084】
また、図１２に示した探索パターンでの一致があった場合、開始位置と終了位置には、角度分類４種のうち、隣り合う分類間での輝度変化が見られることになる。
【0085】
そして、算出部３２は、図１３に示すように、左右方向と上下方向で探索パターンの一致が交わる際には、その交点に対応する単位領域ＵＡに対応する記憶情報として、角度分類別に水平マッチ長および上下マッチ長の積を累積加算する。
【0086】
具体的に図１２および図１３の例に沿った場合、算出部３２は、図１４に示すように、当該単位領域の角度分類（１）に紐づけて、５×８を累積加算する。また、図示していないが、算出部３２は、同じく当該単位領域の角度分類（１）に紐づけて、交点の数も累積加算する。
【0087】
こうしたマッチング処理を繰り返し、後述する検出部３３は、所定の検出条件に基づき、当該単位領域ＵＡの各角度分類（０）～（３）に紐づく累積加算結果のうち、たとえば３種以上が所定の閾値以上であった場合、当該単位領域ＵＡの付着状態は「付着」と判定する。また、かかる判定条件を満たさなければ「非付着」と判定する。なお、図１１～図１４に示したマッチング処理の処理内容はあくまで一例であって、処理内容を限定するものではない。
【0088】
また、算出部３２は、領域特徴量として、角度分類の変化回数の総和を算出する。ここで、角度分類の変化回数の総和を算出する場合について、図１５および図１６を用いて説明する。図１５および図１６は、算出部３２の処理内容を示す図（その１３）および（その１４）である。
【0089】
図１５に示すように、算出部３２は、角度分類画像の単位領域ＵＡ毎に、単位領域ＵＡ内に左右方向および上下方向に配列されたセル１００の角度分類の変化回数を算出する。
【0090】
具体的に、同図に示すように、セル１００－１，１００－２，１００－３，１００－４の配列があり、エッジ向きである角度分類は順に、（０）、（１）、（１）、（２）であったものとする。
【0091】
かかる場合、算出部３２は、セル１００－１からセル１００－２を走査するに際して、角度分類が（０）から（１）へ変化するので、角度分類（０），（１）の変化回数をそれぞれ＋１する。また、算出部３２は、同配列において、セル１００－３からセル１００－４へ走査するに際して、角度分類が（１）から（２）へ変化するので、角度分類（１），（２）の変化回数をそれぞれ＋１する。
【0092】
算出部３２は、このように単位領域ＵＡ毎におけるセル１００の角度分類の変化回数をカウントし、図１６に示すように、「上下左右４分類」および「斜め４分類」のそれぞれにおける角度分類別の変化回数の総和を算出する。
【0093】
図２の説明に戻る。また、算出部３２は、算出した単位領域ＵＡ毎の領域特徴量を検出部３３へ出力する。
【0094】
検出部３３は、算出部３２によって算出された単位領域ＵＡ毎の領域特徴量に基づき、条件情報に含まれる所定の検出条件に沿って単位領域ＵＡ毎の付着状態を検出する。
【0095】
具体的には、検出部３３は、埋もれフラグがオフである場合、すなわち前回のフレームでレンズが埋もれていないと判定されている場合、第１の検出条件に沿って単位領域ＵＡ毎の付着状態を検出する。
【0096】
また、検出部３３は、埋もれフラグがオフでない場合、すなわち前回のフレームでレンズが埋もれていると判定されている場合、第１の検出条件および第２の検出条件に沿ってそれぞれ単位領域ＵＡ毎の付着状態を検出する。
【0097】
なお、検出部３３は、推定情報２２を用いた推定結果、算出部３２によるマッチング結果、および、判定履歴情報２４に含まれる過去のフレーム分の検出結果に基づいて、総合的に単位領域ＵＡ毎の付着状態を検出することができる。
【0098】
たとえば、検出部３３は、算出部３２により算出された領域特徴量を推定情報２２へ入力することによって得られる推定結果に対し、算出部３２によるマッチング結果を加味した検出処理を行う。
【0099】
具体的には、検出部３３は、推定結果が「非付着」である場合、マッチング結果に関わらず、「非付着」として検出する。これにより、マッチング結果で「付着」と判定されている場合の誤検出を抑制することができる。
【0100】
また、検出部３３は、推定結果が「付着」であり、マッチング結果が「付着」である場合、「付着」として検出する。
【0101】
また、検出部３３は、推定結果が「付着」であるが、マッチング結果が「非付着」である場合、過去ｎフレームで「付着」との検出結果があり、かかる検出後、１度も「非付着」との検出結果がない場合は、「付着」として検出する。
【0102】
また、検出部３３は、推定結果が「判定難」である場合、マッチング結果に関わらず、過去ｎフレームで「付着」との検出結果があり、かかる検出後、１度も「非付着」との検出結果がない場合は、「付着」として検出する。
【0103】
このように、総合的に単位領域ＵＡ毎の付着状態を検出することによって、付着物の検出精度を向上させることができる。
【0104】
そして、検出部３３は、検出結果を判定部３４へ出力する。判定部３４は、検出部３３の検出結果に基づいて付着率を算出し、かかる付着率に基づいてカメラ１０のレンズが埋もれているか否かを判定する。
【0105】
ここで、図１７は、判定部３４の処理内容を示す図である。図１７に示すように、判定部３４は、付着率の算出に際して、第１の検出条件に沿って検出された付着箇所の数と、第２の検出条件に沿って検出された付着箇所の数とを合算する。
【0106】
そして、判定部３４は、かかる合算値に基づいて、所定の注目領域における付着箇所の面積率、すなわち付着率を算出する。そして、判定部３４は、付着率が一定以上である場合、レンズが埋もれていると判定して、埋もれフラグをオンにする。また、判定部３４は、付着率が一定以上でない場合、レンズが埋もれていないと判定して、埋もれフラグをオフにする。
【0107】
図２の説明に戻る。そして、判定部３４は、判定した判定結果を各種機器５０へ通知する。
【0108】
次に、図１８を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図１８は、実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャートである。なお、図１８では、１フレーム分の撮像画像Ｉについての処理手順を示している。
【0109】
図１８に示すように、まず、取得部３１が、撮像画像Ｉを取得する（ステップＳ１０１）。あわせて取得部３１は、撮像画像Ｉに対してグレースケール化処理および平滑化処理を施す。
【0110】
つづいて、算出部３２が、撮像画像Ｉのセル１００毎のエッジ特徴量を算出するとともに、算出したエッジ特徴量に基づいて、単位領域ＵＡ毎の領域特徴量を算出する（ステップＳ１０２）。
【0111】
そして、検出部３３が、埋もれフラグがオフであるか否かを判定する（ステップＳ１０３）。ここで、埋もれフラグがオフである場合（ステップＳ１０３，Ｙｅｓ）、すなわち前回のフレームでレンズが埋もれていないと判定されている場合、検出部３３は、第１の検出条件に沿って単位領域ＵＡ毎の付着状態を検出する（ステップＳ１０４）。
【0112】
一方、埋もれフラグがオフでない場合（ステップＳ１０３，Ｎｏ）、すなわち前回のフレームでレンズが埋もれていると判定されている場合、検出部３３は、第１の検出条件および第２の検出条件に沿ってそれぞれ単位領域ＵＡ毎の付着状態を検出する（ステップＳ１０５）。
【0113】
そして、判定部３４が、検出部３３の検出結果に基づいて、付着率が一定以上であるか否かを判定する（ステップＳ１０６）。ここで、付着率が一定以上である場合（ステップＳ１０６，Ｙｅｓ）、判定部３４は、レンズが埋もれていると判定し、埋もれフラグをオンにする（ステップＳ１０７）。
【0114】
また、付着率が一定以上でない場合（ステップＳ１０６，Ｎｏ）、判定部３４は、レンズが埋もれていないと判定し、埋もれフラグをオフにする（ステップＳ１０８）。
【0115】
そして、判定部３４は、判定結果を各種機器５０へ通知して（ステップＳ１０９）、処理を終了する。
【0116】
上述してきたように、実施形態に係る付着物検出装置１は、算出部３２と、検出部３３と、判定部３４とを備える。算出部３２は、撮像画像Ｉに含まれる所定数の画素ＰＸからなる単位領域ＵＡ毎に、各画素ＰＸのエッジベクトルに基づく領域特徴量を算出する。検出部３３は、上記領域特徴量に基づく第１の検出条件に沿って単位領域ＵＡへの付着物の付着状態を検出する。判定部３４は、検出部３３の検出結果に基づいて、カメラ１０のレンズに対する付着物の付着率を判定する。また、検出部３３は、判定部３４によって付着率が一定以上であると判定された場合に、上記領域特徴量に基づく第１の検出条件および第２の検出条件に沿ってそれぞれ付着物の付着状態を検出する。
【0117】
したがって、実施形態に係る付着物検出装置１によれば、付着物の検出精度を向上させることができる。
【0118】
また、判定部３４は、第１の検出条件に沿って付着物の付着箇所として検出された単位領域ＵＡ、および、第２の検出条件に沿って付着物の付着箇所として検出された単位領域ＵＡを合算して付着率を算出する。
【0119】
したがって、実施形態に係る付着物検出装置１によれば、付着物の態様が変化したことによる付着率の低下を抑え、埋もれフラグを安定化させることができる。
【0120】
また、付着物は雪であって、検出部３３は、レンズに付着して解け始める前の雪の付着状態を第１の検出条件に沿って検出し、レンズに付着してはいるが解け始めた後の雪の付着状態を第２の検出条件に沿って検出する。
【0121】
したがって、実施形態に係る付着物検出装置１によれば、雪が付着してはいるが解け始めたことによる付着率の低下を抑え、埋もれフラグを安定化させることができる。
【0122】
なお、上述した実施形態では、－１８０°～１８０°を９０°毎の角度範囲で分割した４方向に角度分類する場合を示したが、角度範囲は９０°に限定されず、たとえば６０°毎の角度範囲で分割した６方向に角度分類してもよい。
【0123】
また、第１の角度分類および第２の角度分類でそれぞれの角度範囲の幅が異なってもよい。たとえば、第１の角度分類では９０°毎で角度分類し、第２の角度分類では、６０°毎で角度分類してもよい。また、第１の角度分類および第２の角度分類では、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。
【0124】
また、上述した実施形態では、車載カメラで撮像された撮像画像Ｉを例に挙げたが、撮像画像Ｉは、たとえば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。
【0125】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0126】
１ 付着物検出装置
２ 記憶部
３ 制御部
１０ カメラ
２１ テンプレート情報
２２ 推定情報
２３ 条件情報
２４ 判定履歴情報
３１ 取得部
３２ 算出部
３３ 検出部
３４ 判定部
５０ 各種機器
１００ セル
２００ ペア領域
Ｉ 撮像画像
ＰＸ 画素
ＵＡ 単位領域
２ 記憶部
３ 制御部
１０ カメラ
２１ テンプレート情報
２２ 推定情報
２３ 条件情報
２４ 判定履歴情報
３１ 取得部
３２ 算出部
３３ 検出部
３４ 判定部
５０ 各種機器
１００ セル
２００ ペア領域
Ｉ 撮像画像
ＰＸ 画素
ＵＡ 単位領域
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
