特許 7175188 付着物検出装置および付着物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-10

(45)【発行日】2022-11-18

(54)【発明の名称】付着物検出装置および付着物検出方法

(51)【国際特許分類】

   G01W 1/14 20060101AFI20221111BHJP

   G06T 7/00 20170101ALI20221111BHJP

   B60S 1/56 20060101ALN20221111BHJP

【ＦＩ】

G01W1/14 B

G06T7/00 300F

B60S1/56 100

【請求項の数】 3

(21)【出願番号】P 2018247678

(22)【出願日】2018-12-28

(65)【公開番号】P2020106484

(43)【公開日】2020-07-09

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】池田 修久

(72)【発明者】

【氏名】朝山 信徳

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】谷 泰司

(72)【発明者】

【氏名】山本 大輔

(72)【発明者】

【氏名】沖 朋和

(72)【発明者】

【氏名】上林 輝彦

【審査官】佐野 浩樹

(56)【参考文献】

【文献】特開２０１８－０７２３１２（ＪＰ，Ａ）

【文献】特開２０１７－１３８７３６（ＪＰ，Ａ）

【文献】特開２０１５－０２８４２７（ＪＰ，Ａ）

【文献】特表２０１４－５２８０６４（ＪＰ，Ａ）

【文献】特開２０１５－２３１１３６（ＪＰ，Ａ）

【文献】特開２０１８－０７１９９４（ＪＰ，Ａ）

【文献】特開２００１－１４１８３８（ＪＰ，Ａ）

【文献】特開２０１３－１９０４１６（ＪＰ，Ａ）

【文献】特開２０１３－１０８８３０（ＪＰ，Ａ）

【文献】特開２０１８－０４９５６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｓ １／００ － １／６８ 、

Ｇ０１Ｗ １／００ － １／１８ 、

Ｇ０６Ｔ ７／００ － ７／９０ 、

Ｇ０６Ｖ１０／００ －２０／９０ 、３０／４１８、４０／１６ 、

４０／２０

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された撮像画像につき、複数のピクセルからなるセルを１つの画素単位として各画素のエッジ情報を抽出する抽出部と、
前記抽出部によって抽出された前記エッジ情報に基づく所定の検出アルゴリズムを用いて、前記撮像画像中において水滴が存在すると推定される候補領域を検出する検出部と
を備え、
前記検出部は、
検出した前記候補領域のうちから、該候補領域の位置、輝度および大きさに基づく所定の雲の該当条件に該当する前記候補領域を除外する
ことを特徴とする付着物検出装置。

【請求項2】

前記検出部は、
前記候補領域の位置が所定の位置より高く、該候補領域の平均輝度が所定の閾値より大きく、かつ、該候補領域の大きさが所定の閾値より小さい場合に、当該候補領域を前記雲に該当するとして除外する
ことを特徴とする請求項１に記載の付着物検出装置。

【請求項3】

撮像装置によって撮像された撮像画像につき、複数のピクセルからなるセルを１つの画素単位として各画素のエッジ情報を抽出する抽出工程と、
前記抽出工程において抽出された前記エッジ情報に基づく所定の検出アルゴリズムを用いて、前記撮像画像中において水滴が存在すると推定される候補領域を検出する検出工程と
を含み、
前記検出工程は、
検出した前記候補領域のうちから、該候補領域の位置、輝度および大きさに基づく所定の雲の該当条件に該当する前記候補領域を除外する
ことを特徴とする付着物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

【背景技術】

【0002】

従来、車両に搭載され、かかる車両周辺を撮像する車載カメラが知られている。車載カメラが撮像した映像は、たとえば運転者の視界補助のためにモニタ表示されたり、道路上の白線や車両への接近物などを検出するセンシングのために用いられたりする。

【0003】

なお、車載カメラのレンズには、たとえば雨滴や雪片、埃、泥などの付着物が付着し、前述の視界補助やセンシングの妨げとなることがある。そこで、たとえば車載カメラの撮像画像からいわゆるエッジを抽出し、これに基づいてレンズへの付着物を検出して、レンズへ向けて洗浄水や圧縮空気を噴射することで付着物を除去する技術が提案されている。（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００１－１４１８３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術には、野外シーンにおいて雲が映り込む場合に、かかる雲を水滴として誤検出してしまうのを抑制し、検出精度を高めるという点で、さらなる改善の余地がある。

【0006】

実施形態の一態様は、上記に鑑みてなされたものであって、雲を水滴として誤検出してしまうのを抑制し、検出精度を高めることができる付着物検出装置および付着物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の一態様に係る付着物検出装置は、抽出部と、検出部とを備える。前記抽出部は、撮像装置によって撮像された撮像画像につき、複数のピクセルからなるセルを１つの画素単位として各画素のエッジ情報を抽出する。前記検出部は、前記抽出部によって抽出された前記エッジ情報に基づく所定の検出アルゴリズムを用いて、前記撮像画像中において水滴が存在すると推定される候補領域を検出する。また、前記検出部は、検出した前記候補領域のうちから、該候補領域の位置、輝度および大きさに基づく所定の雲の該当条件に該当する前記候補領域を除外する。

【発明の効果】

【0008】

実施形態の一態様によれば、雲を水滴として誤検出してしまうのを抑制し、検出精度を高めることができる。

【図面の簡単な説明】

【0009】

【図1A】図１Ａは、実施形態に係る付着物検出方法の概要説明図（その１）である。

【図1B】図１Ｂは、実施形態に係る付着物検出方法の概要説明図（その２）である。

【図1C】図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その３）である。

【図2】図２は、実施形態に係る付着物検出装置のブロック図である。

【図3】図３は、ベクトルの算出方法を示す図である。

【図4A】図４Ａは、代表値の算出方法の説明図（その１）である。

【図4B】図４Ｂは、代表値の算出方法の説明図（その２）である。

【図5A】図５Ａは、テンプレートの一例を示す図である。

【図5B】図５Ｂは、マッチング処理の一例を示す図である。

【図6】図６は、検出処理の一例を示す図である。

【図7A】図７Ａは、候補エリアの説明図である。

【図7B】図７Ｂは、候補エリアのｘｙ座標の説明図である。

【図7C】図７Ｃは、検出情報に含まれる候補エリアに関するデータ内容の一例を示す図である。

【図8】図８は、除外情報に含まれる除外条件の説明図である。

【図9】図９は、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0011】

また、以下では、自車の周囲を撮像するために車両に搭載された車載カメラに付着した水滴を、付着物として検出する場合を例に挙げて説明する。

【0012】

また、以下では、実施形態に係る付着物検出方法の概要について図１Ａ～図１Ｃを用いて説明した後に、実施形態に係る付着物検出方法を適用した付着物検出装置１０について、図２～図９を用いて説明する。

【0013】

まず、実施形態に係る付着物検出方法の概要について図１Ａ～図１Ｃを用いて説明する。図１Ａ～図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その１）～（その３）である。

【0014】

車両には、自車の周辺を撮像するために、たとえばフロントカメラ、バックカメラ、右サイドカメラ、左サイドカメラなどの車載カメラが搭載される。なお、以下では、かかる車載カメラを「カメラ２」と記載する。

【0015】

カメラ２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって車両周辺を撮像する。なお、カメラ２のレンズには魚眼レンズなどの広角レンズが採用され、カメラ２はそれぞれ１８０度以上の画角を有し、これらを利用することで車両の全周囲を撮像することが可能である。

【0016】

そして、カメラ２によって撮像された画像は、車両に搭載された図示略の付着物検出装置へ出力される。

【0017】

付着物検出装置は、カメラ２から取得した画像を１フレームごとに画像解析し、たとえば各画素のエッジ情報（輝度の勾配など）によるテンプレートマッチングなどの手法を用いることによって、画像中における付着物の存在エリアを検出する。

【0018】

たとえば図１Ａに示すように、付着物検出装置は、撮像画像Ｉ中において水滴が存在すると推定されるエリアである候補エリアＤａを検出する。なお、図１Ａ～図１Ｃでは、２つの候補エリアＤａにのみ符号を付しているが、図中の白線枠はすべて候補エリアＤａである。

【0019】

しかしながら、かかる水滴の検出に際し、従来技術に係る付着物検出装置は、たとえば図１Ｂに示すように、撮像画像Ｉ中において雲が映り込む場合に、かかる雲が存在するエリアを、水滴が存在する候補エリアＤａとして誤検出してしまう場合があった。これは、雲は不定形ではあるものの、水滴と同様に丸みを帯びた輪郭を有する場合があるためである。

【0020】

そこで、実施形態に係る付着物検出方法では、かかる雲が水滴と誤検出される場合の候補エリアＤａについて、その特徴を複数のサンプルデータなどから予め抽出し、これを条件化することとした（ステップＳ１）。

【0021】

そのうえで、実施形態に係る付着物検出方法では、当該条件を除外条件とし、かかる除外条件に該当する候補エリアＤａを、水滴が存在すると推定されるエリアからは除外することとした（ステップＳ２）。これにより、雲を水滴として誤検出してしまうのを抑制することができる。したがって、実施形態に係る付着物検出方法によれば、検出精度を高めることができる。

【0022】

なお、雲を水滴として誤検出する場合の特徴、および、これに基づく除外条件の詳細については、図８を用いた説明で後述する。

【0023】

以下、上述した実施形態に係る付着物検出方法を適用した付着物検出装置１０の実施形態について、さらに具体的に説明する。

【0024】

図２は、実施形態に係る付着物検出装置１０のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0025】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0026】

図２に示すように、実施形態に係る付着物検出装置１０は、記憶部１１と、制御部１２とを備える。また、付着物検出装置１０は、カメラ２と、各種機器５０とに接続される。

【0027】

なお、図２では、付着物検出装置１０が、カメラ２および各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ２および各種機器５０の少なくとも一方と一体に構成されてもよい。

【0028】

カメラ２については既に述べたため、ここでの説明を省略する。各種機器５０は、付着物検出装置１０の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、たとえば、カメラ２のレンズに付着物が付着していることやユーザへの付着物の拭き取り指示を通知する表示装置、流体や気体等をレンズへ向けて噴射して付着物を除去する除去装置、および、自動運転等を制御する車両制御装置などを含む。

【0029】

記憶部１１は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、テンプレート情報１１ａと、検出情報１１ｂと、除外情報１１ｃとを記憶する。

【0030】

テンプレート情報１１ａは、後述するマッチング部１２ｄが実行するマッチング処理において用いられるテンプレートに関する情報である。検出情報１１ｂは、候補エリアＤａの検出条件や、検出された候補エリアＤａに関するデータを含む情報である。除外情報１１ｃは、上述した除外条件を含む情報である。

【0031】

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、付着物検出装置１０内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0032】

制御部１２は、取得部１２ａと、抽出部１２ｂと、変換部１２ｃと、マッチング部１２ｄと、検出部１１ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0033】

取得部１２ａは、カメラ２から１フレーム分ずつカメラ画像を取得するとともに、画像解析に必要となる前処理を実行する。

【0034】

取得部１２ａは、前処理として、たとえばカメラ画像をグレースケール化する。なお、グレースケール化とは、カメラ画像における各画素を輝度に応じて白から黒までの各階調で表現するように変換する処理である。かかるグレースケール化は、省略されてもよい。

【0035】

また、取得部１２ａは、他の前処理として、たとえばカメラ画像を所定のサイズへ変更する。また、取得部１２ａは、前処理されたカメラ画像を抽出部１２ｂへ出力する。

【0036】

抽出部１２ｂは、取得部１２ａから入力されるカメラ画像にたとえばソベルフィルタを用いることで、カメラ画像における各画素のエッジ情報を抽出する。ここで、エッジ情報とは、各画素のＸ軸方向およびＹ軸方向におけるエッジ強度を指す。

【0037】

また、抽出部１２ｂは、抽出したエッジ情報をグレースケール画像に対応付けて変換部１２ｃへ出力する。なお、抽出部１２ｂは、ソベルフィルタに代えて、たとえばラプラシアンフィルタなどの他のエッジ抽出法を用いることにしてもよい。

【0038】

変換部１２ｃは、抽出部１２ｂから入力される各画素のＸ軸方向およびＹ軸方向のエッジ強度に基づいて各画素のエッジのベクトルを算出し、エッジ向きをそれぞれ符号化する。なお、実施形態に係る付着物検出装置１０では、たとえば、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化することにしている。この点の詳細については、図４Ａおよび図４Ｂを用いて後述する。

【0039】

また、変換部１２ｃは、エッジ向きを符号化したグレースケール画像をマッチング部１２ｄへ出力する。マッチング部１２ｄは、変換部１２ｃから入力される符号化されたグレースケール画像と水滴の特徴を示す符号パターンとの正規表現を用いたマッチング処理を行う。ここに言う正規表現とは、符号列の集合を一つの符号で表したものである。

【0040】

なお、水滴の特徴を示す符号パターンは、テンプレート情報１１ａに記憶される。かかる符号パターンの具体例については、図５Ａを用いて後述する。また、マッチング部１２ｄによるマッチング処理の詳細については、図５Ｂを用いて後述する。

【0041】

検出部１２ｅは、抽出部１２ｂによって抽出されたエッジ情報に基づく所定の検出アルゴリズムを用いて、撮像画像Ｉ中において水滴が存在すると推定される候補エリアＤａを検出する。

【0042】

具体的には、検出部１２ｅは、マッチング部１２ｄが抽出した符号パターンに基づいて、水滴の存在が推定される候補エリアＤａを検出する。また、検出部１２ｅは、検出した候補エリアＤａのそれぞれにつき、雲を水滴として誤検出した場合に該当していないか否かを判定する。

【0043】

また、検出部１２ｅは、その判定結果により水滴であると判定される候補エリアＤａについては、かかる候補エリアＤａを各種機器５０へ通知する。一方、検出部１２ｅは、その判定結果により誤検出に該当すると判定される候補エリアＤａについては、各種機器５０への通知を行わず、後段の処理対象から除外する。

【0044】

すなわち、検出部１２ｅは、信頼度の低い候補エリアＤａを除外する。このように、無用の画像領域を除外することにより、付着物の検出の精度を高められるとともに、後段の処理負荷を軽減することができる。なお、検出部１２ｅによる検出処理の詳細については、図６～図８を用いて後述する。

【0045】

ここで、変換部１２ｃ、マッチング部１２ｄおよび検出部１２ｅが実行する各アルゴリズムの一例について、図３～図８を用いて具体的に説明する。図３は、ベクトルの算出方法を示す図である。また、図４Ａおよび図４Ｂは、代表値の算出方法の説明図（その１）および（その２）である。

【0046】

また、図５Ａは、テンプレートの一例を示す図である。また、図５Ｂは、マッチング処理の一例を示す図である。また、図６は、検出処理の一例を示す図である。

【0047】

また、図７Ａは、候補エリアＤａの説明図である。また、図７Ｂは、候補エリアＤａのｘｙ座標の説明図である。また、図７Ｃは、検出情報１１ｂに含まれる候補エリアＤａに関するデータ内容の一例を示す図である。また、図８は、除外情報１１ｃに含まれる除外条件の説明図である。

【0048】

まず、変換部１２ｃは、具体的には、図３に示すように、Ｘ軸方向およびＹ軸方向のエッジ強度に基づき、三角関数を用いることで、各画素のベクトルを算出する。なお、以下では、図３に示す算出したベクトルと、正方向側のＸ軸とのなす角度θを「エッジ向き」と言い、ベクトルの長さＬを各画素の「エッジ強度」と言う。

【0049】

なお、変換部１２ｃは、全ての画素についてエッジ向きを算出する必要はなく、優先度の低い領域については、所定間隔の画素ごとにエッジ向きを算出するなど、処理を簡略化することとしてもよい。

【0050】

また、変換部１２ｃは、算出したエッジ向きをそれぞれ符号化する。たとえば、変換部１２ｃは、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化する。具体的には、図４Ａに示すように、変換部１２ｃは、たとえば８×８ピクセルの画素単位を１つの「セル」として取り扱い、３×３セルの画素単位を１つの「ブロック」として取り扱う。また、１つのブロックの中央のセルを「注目セル」として取り扱う。

【0051】

変換部１２ｃは、かかるブロックごとに各画素のエッジ向きおよびエッジ強度を示すヒストグラムを作成する。かかるヒストグラムについては、図４Ｂを用いて説明する。ここで、変換部１２ｃは、注目セルにおける中央の座標のエッジ向きをブロックにおけるヒストグラムから導出する。

【0052】

そして、変換部１２ｃは、１つのブロックにおいて注目セルの代表値を導出すると、ブロックを１つのセル分ずらしてヒストグラムを作成し、かかるブロックにおける注目セルの代表値を算出していく。

【0053】

つまり、変換部１２ｃは、複数の画素ごとに代表値を算出することで、データ量を削減することができる。なお、図４Ａに示す例では、セルが８×８ピクセルであるため、データ量は１／６４に削減されることとなる。

【0054】

なお、図４Ａに示したブロックおよびセルのピクセル数は一例であって、セルおよびブロックのピクセル数は、任意に設定することができる。この際、検出したい水滴の大きさに応じて各セルのピクセル数を変更することもできる。

【0055】

たとえば、小さい水滴を検出したい場合、セルのピクセル数を少なく設定し、大きい水滴を検出したい場合は、セルのピクセル数を多く設定する。これにより、検出したい大きさの水滴を効率よく検出することができる。

【0056】

また、変換部１２ｃは、単にセルごとにヒストグラムを作成し、かかるヒストグラムに基づいて各セルの代表値を算出することにしてもよい。なお、変換部１２ｃは、代表値を算出せず、全ての画素を符号化することにしてもよい。

【0057】

次に、図４Ｂを用いてヒストグラムについて説明する。なお、図４Ｂでは、縦軸にエッジ強度を示し、横軸にエッジ向きの階級を示す。図４Ｂに示すように、変換部１２ｃは、たとえば、エッジ向きを２０°ごとに１８段階の各階級に割り当ててヒストグラムを作成する。

【0058】

具体的には、変換部１２ｃは、ブロック内の各画素のエッジ強度をエッジ向きに対応する階級に加算していくことで、ブロックにおけるヒストグラムを作成する。つづいて、変換部１２ｃは、作成したヒストグラムからエッジ強度の和が最大となる階級を求める。

【0059】

図４Ｂに示す例では、８０～１００°の階級が最大の値をとる場合を示している。このとき、変換部１２ｃは、かかる階級においてエッジ強度の和が閾値以上である場合に、かかる階級を代表値とする。

【0060】

図４Ｂに示す例では、８０～１００°の階級においてエッジ強度の和が閾値を超えているため、上記の条件を満たす。このため、かかるブロックにおける注目セルの階級は、８０～１００°となる。

【0061】

つづいて、変換部１２ｃは、注目セルを階級に応じて割り当てられた符号に変換する。ここで、各階級には、たとえば０～９およびＡ～Ｈの１８種類の符号がそれぞれ割り当てられる。なお、０～９およびＡ～Ｈは、０°から３６０°まで２０度刻みの各階級に割り当てられる符号である。また、代表値が閾値を超えなかった場合、すなわち、エッジ強度が低いセルには、たとえばＺの符号が割り当てられる。

【0062】

このようにして、変換部１２ｃは、全てのセルについて符号化を行う。これにより、符号化されたカメラ画像において、各符号が格子状に配列されることとなる。なお、変換部１２ｃは、上記した代表値を算出する以外に、他の統計学的な算出方法を用いて代表値を算出することにしてもよい。

【0063】

また、図４Ｂでは、エッジ向きを１８段階に分類する場合について説明したが、これに限られず、１８段階より少なくする、あるいは、多くすることにしてもよい。また、図４Ｂでは、符号がＡ～ＨおよびＺである場合を示したが、符号として、平仮名や数字など、他の文字、または図形等を用いることにしてもよい。

【0064】

つづいて、マッチング部１２ｄは、上述したように、符号化されたカメラ画像と、テンプレート情報１１ａとして記憶されたテンプレートとのマッチング処理を行う。かかるテンプレートの一例を図５Ａに示す。なお、図５Ａでは、視覚的に分かりやすくするために、テンプレートを上記した符号ではなく、ピン状の記号を用いて実際のエッジ向きを模式的に図示している。

【0065】

図５Ａに示すように、テンプレート情報１１ａは、テンプレートとして水滴の特徴を示す符号列である符号パターンを有する。具体的には、たとえば、上辺パターン、下辺パターン、左辺パターン、右辺パターンを有する。

【0066】

ここで、図５Ａに示す各辺のパターンは、水滴を内側に含むまたは水滴の内側に含まれる矩形の各辺に対応する。ここで、「水滴を内側に含む」とは、矩形に水滴が内接する場合を含む。また、「水滴の内側に含まれる」とは、矩形が水滴に内接する場合を含む。なお、本実施形態では、「矩形」は正方形を含む。また、図５Ａでは、各辺のパターンのエッジ向きが、それぞれ中央に向かう場合について示している。この場合、水滴の輝度が端部から中央に向けて大きくなる、すなわち、中央が明るく端部が暗い水滴の特徴を示す。

【0067】

なお、テンプレート情報１１ａは、これとは逆に、水滴の輝度が中央から端部に向けて大きくなる、すなわち、中央が暗く端部が明るい水滴の特徴を示す各辺のパターンを備えていてもよい。このようにすることで、多様な水滴を検出することが可能となる。

【0068】

なお、同図では、上下左右の４方のパターンを例示したが、斜め方向を含むパターンを用いることもできる。このようにすることで、水滴の検出精度を向上させることができる。

【0069】

つづいて、かかる各辺のパターンを用いたマッチング処理の一例を図５Ｂに示す。なお、ここでは、説明の便宜上、図５Ａに示した上辺パターンをそれぞれＡ～Ｆの符号を用いて示している。また、同図のａおよびｂには、符号化されたカメラ画像の一部を模式的に示している。

【0070】

図５Ｂのａに示すように、マッチング部１２ｄは、符号パターンがＡ～Ｆの順に順序良く並んでいれば、かかる符号パターンを上辺パターンと一致すると判定する。

【0071】

具体的には、マッチング部１２ｄは、図５Ｂのａに示すように、たとえば、Ａが３回、Ｂ、Ｃ、ＤおよびＥがそれぞれ２回、そして、Ｆが３回、のように繰り返される配列を上辺パターンの各符号の配列順序を満たせば、上辺パターンとして抽出することにしている。

【0072】

これは、水滴の大きさに応じて符号の繰り返し回数が異なるためである。すなわち、水滴が大きいほど、各符号列の長さが長くなるためである。このように、かかる符号の繰り返しを許容することで、１回のマッチング処理で、大きさが異なる複数の水滴を示す符号列を抽出することができる。

【0073】

したがって、処理負荷を軽減しつつ、水滴を検出することができる。なお、マッチング部１２ｄは、水滴の大きさに応じて符号列の長さが異なる複数の各辺のパターンを用意し、全てのかかるパターンを用いて符号列を抽出することにしてもよい。

【0074】

また、水滴は一般的に球状となるため、各符号の繰り返しの回数は、中心から線対称状となるはずである。このため、マッチング部１２ｄは、抽出した符号列の中で、バランスが悪い符号列を除外することにしている。

【0075】

具体的には、図５Ｂのｂに示すように、マッチング部１２ｄは、たとえば、両端に位置するＡとＦとのバランスを精査する。ここで、同図では、Ａが３回繰り返され、Ｆが１０回繰り返される場合を示している。

【0076】

このとき、マッチング部１２ｄは、ＡおよびＦの個数が２倍以上異なる場合に、配列順序を満たす場合であっても、かかる符号列パターンを除外することにしている。このようにすることで、水滴以外の不要な符号パターンの誤抽出を防ぐことができ、水滴の誤検出を抑制することができる。

【0077】

また、マッチング部１２ｄでは、たとえば、抽出した符号列が閾値より長い場合、かかる符号列をマッチングから除外することもできる。これは、符号列が長い場合、水滴である可能性が低いためである。これにより、水滴の誤検出を抑制することができる。なお、かかる閾値は、統計等によって最適な値を予め導出しておくものとする。

【0078】

次に、マッチング処理を経ての、検出部１２ｅによる候補エリアＤａの検出処理の一例を図６に示す。なお、図６では、図５Ａと同様に、符号に代えて実際のエッジ向きを模式的に図示している。

【0079】

また、ここでは、マッチング処理によって最初に上辺パターンが抽出された場合について説明する。検出部１２ｅは、まず抽出された上辺パターンの幅に基づき、略正方形状の候補エリアＤａ１を設定する。

【0080】

つづいて、候補エリアＤａ１から逸脱した位置に右辺パターンが抽出されたものとする。このとき、検出部１２ｅは、右辺パターンの候補エリアＤａ２の中心座標が候補エリアＤａ１内にあれば、双方の候補エリアＤａ１，Ｄａ２を統合する処理を行う。

【0081】

その後、検出部１２ｅは、たとえば、統合した候補エリアＤａ３において、下辺パターンまたは左辺パターンが抽出された場合、水滴が存在すると推定されるエリアとして、候補エリアＤａ３を抽出する。換言すると、検出部１２ｅは、異なる３方向以上の各辺を示すパターンが抽出されることを検出条件（以下、「方向条件」と言う）として、水滴が存在すると推定される候補エリアＤａを検出する。

【0082】

なお、検出部１２ｅは、かかる方向条件以外に、たとえば、統合した候補エリアＤａ３において、各辺を示すパターンが所定回数（たとえば、上下左右を含めて４回）以上抽出されることを検出条件（以下、「回数条件」と言う）としてもよい。

【0083】

このように、検出条件として、３方向以上の方向条件や回数条件とすることで、上下左右の全ての辺のパターンが抽出されなくとも、水滴が存在すると推定される候補エリアＤａを抽出することができる。すなわち、カメラ画像から見切れる、たとえば半円状の水滴を検出することが可能となる。なお、これら検出条件は、たとえば検出情報１１ｂに含まれて記憶される。

【0084】

なお、図６では、上辺パターンの候補エリアＤａ１内に候補エリアＤａ２の中心座標が収まる場合に、候補エリアＤａを統合する場合について示したが、これに限定されるものではない。すなわち、候補エリアＤａ１および候補エリアＤａ２の少なくとも一部が重なっていれば双方を統合することにしてもよい。

【0085】

また、統合した候補エリアＤａ３を、候補エリアＤａ１および候補エリアＤａ２の論理積とすることにしてもよいし、論理和とすることにしてもよい。また、図６では、候補エリアＤａ１および候補エリアＤａ２が矩形状である場合を示したが、これに限られず、円形状など他の形状とすることにしてもよい。

【0086】

そして、検出部１２ｅは、検出した候補エリアＤａに関するデータを検出情報１１ｂへ格納する。具体的には、検出部１２ｅは、図７Ａに示すように、たとえば矩形の候補エリアＤａを、左上座標（ｘ，ｙ）と、幅ｗと、高さｈとで規定する。

【0087】

なお、ここで、以下の説明の便宜のために、本実施形態では、ｘｙ座標系は、たとえば図７Ｂに示すように、撮像画像Ｉの左上隅を原点とし、水平方向右向きをｘ軸正方向、垂直方向下向きをｙ軸正方向とするものとする。また、撮像画像Ｉの解像度は、同図に示すように、たとえば６４０×４８０であるものとする。

【0088】

そして、検出情報１１ｂには、図７Ｃに示すように、たとえば「エリアＩＤ」項目と、「エリア情報」項目と、「輝度平均」項目とが含まれる。「エリアＩＤ」項目には、候補エリアＤａの識別情報が格納され、検出情報１１ｂは、かかるエリアＩＤごとに管理される。

【0089】

「エリア情報」項目には、図７Ａに示した候補エリアＤａの左上座標（ｘ，ｙ）や、幅ｗ、高さｈなどが格納される。「輝度平均」項目には、検出された候補エリアＤａごとの輝度平均値が格納される。すなわち、検出部１２ｅは、検出した候補エリアＤａごとに輝度平均値を算出し、かかる「輝度平均」項目へ格納する。

【0090】

そして、検出部１２ｅは、かかる検出情報１１ｂと、除外情報１１ｃとに基づいて、候補エリアＤａのそれぞれにつき、雲を水滴として誤検出した場合に該当していないか否かを判定する。

【0091】

具体的には、除外情報１１ｃには、予め除外条件が設定されている。より具体的には、図８に示すように、除外情報１１ｃには、水滴を水滴として検出した「正検出時の候補エリアＤａの特徴」と、雲を水滴として検出した「誤検出時の候補エリアＤａの特徴」とに基づいて、「雲の該当条件」が予め設定されている。

【0092】

「正検出時の候補エリアＤａの特徴」および「誤検出時の候補エリアＤａの特徴」は、たとえば付着物検出装置１０の開発中の実験時などにおいて収集された複数のサンプルデータに基づいて抽出される。

【0093】

たとえば本実施形態では、複数のサンプルデータから、「正検出時の候補エリアＤａの特徴」は、分布が全面にわたっており、サイズが相対的に大きく（９３％が一辺の長さ≧４０）、明るさが相対的に暗い（７６％が輝度平均＜１５０）との結果を得ている。なお、一辺の長さは、上述した幅ｗおよび高さｈのうちの大きな方でよい。

【0094】

また、同じく、「誤検出時の候補エリアＤａの特徴」は、分布が画面上部に偏っており（１００％がｙ＜２００）、サイズが相対的に小さく（８１％が一辺の長さ＜６０）、明るさが相対的に明るい（８５％が輝度平均≧１５０）との結果を得ている。なお、ここでのｙは、たとえば候補エリアＤａの左下隅のｙ座標または右下隅のｙ座標である。

【0095】

この結果、本実施形態では、図８に示すように、「雲の該当条件」である除外条件を、たとえば「（ｙ＜２００）ＡＮＤ（一辺の長さ＜６０）ＡＮＤ（輝度平均≧１５０）」としている。検出部１２ｅは、検出情報１１ｂに格納された候補エリアＤａのそれぞれにつき、かかる除外条件に該当するか否かを判定し、該当する場合には誤検出と、該当しない場合には正検出と、それぞれ判定することとなる。

【0096】

なお、除外条件のうち、「ｙ＜２００」は、上述した解像度である６４０×４８０に応じたものであるので、無論縦方向の解像度「４８０」が異なれば、これに応じたものとなるように変更することができる。たとえば縦「９６０」であれば、「ｙ＜４００」としてもよい。あるいは、縦方向の解像度に関わらず、画像上部何％（本実施形態に沿えば約４２％）内にあるといった条件の指定の仕方でもよい。

【0097】

次に、実施形態に係る付着物検出装置１０が実行する処理手順について、図９を用いて説明する。図９は、実施形態に係る付着物検出装置１０が実行する処理手順を示すフローチャートである。なお、図９では、１フレーム分のカメラ画像についての処理手順を示している。

【0098】

まず、取得部１２ａが、カメラ画像を取得する（ステップＳ１０１）。そして、抽出部１２ｂが、各画素のエッジ情報を抽出する（ステップＳ１０２）。

【0099】

つづいて、変換部１２ｃ、マッチング部１２ｄおよび検出部１２ｅが、抽出部１２ｂによって抽出されたエッジ情報に基づく所定の検出アルゴリズムを実行する（ステップＳ１０３）。そして、検出部１２ｅが、かかるアルゴリズムの実行結果に基づいて、水滴の存在が推定される候補エリアＤａを抽出する（ステップＳ１０４）。

【0100】

すなわち、変換部１２ｃおよびマッチング部１２ｄは、一例として図３～図５Ｂを用いて説明した各処理を実行し、検出部１２ｅは、図６を用いて説明した検出処理によって候補エリアＤａを検出する。

【0101】

なお、かかる候補エリアＤａを検出させる検出アルゴリズムは説明した例に限らず、たとえば変換部１２ｃが、抽出部１２ｂによって抽出されたエッジ情報に基づいて各画素のエッジ強度を算出し、カメラ２の周囲環境に応じて異なる値をとる２値化閾値と当該エッジ強度とを比較することで各画素を２値化してもよい。

【0102】

また、変換部１２ｃが、抽出部１２ｂによって抽出されたエッジ情報に基づいて各画素のエッジの向きを算出し、反対向きのエッジの向き同士が変換後に１の補数の関係となるパラメータを用いて各画素を変換するようにしてもよい。

【0103】

かかる場合、マッチング部１２ｄは、変換部１２ｃによって変換されたこれらデータ形式に応じて、水滴を示す当該データ形式のテンプレートとのマッチング処理を行えばよい。

【0104】

ステップＳ１０４につづいては、検出部１２ｅが、検出情報１１ｂおよび除外情報１１ｃに基づいて、検出された候補エリアＤａのうち、雲に該当するエリアがあるか否かを判定する（ステップＳ１０５）。

【0105】

ここで、雲に該当するエリアがある場合（ステップＳ１０５，Ｙｅｓ）、検出部１２ｅは、該当するエリアを除外する（ステップＳ１０６）。雲に該当するエリアがない場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０７へ制御を移す。

【0106】

そして、ステップＳ１０７では、検出部１２ｅが、各種機器５０へ候補エリアＤａを通知し、処理を終了する。

【0107】

上述してきたように、実施形態に係る付着物検出装置１０は、抽出部１２ｂと、検出部１２ｅとを備える。抽出部１２ｂは、カメラ２（「撮像装置」の一例に相当）によって撮像された撮像画像Ｉに含まれる各画素のエッジ情報を抽出する。検出部１２ｅは、抽出部１２ｂによって抽出されたエッジ情報に基づく所定の検出アルゴリズムを用いて、撮像画像Ｉ中において水滴が存在すると推定される候補エリアＤａ（「候補領域」の一例に相当）を検出する。また、検出部１２ｅは、検出した候補エリアＤａのうちから、候補エリアＤａの位置、輝度および大きさに基づく所定の除外条件に該当する候補エリアＤａを除外する。

【0108】

したがって、実施形態に係る付着物検出装置１０によれば、たとえば雲を水滴として誤検出してしまうのを抑制し、検出精度を高めることができる。

【0109】

また、検出部１２ｅは、候補エリアＤａの位置が所定の位置より高く、候補エリアＤａの平均輝度が所定の閾値より大きく、かつ、候補エリアＤａの大きさが所定の閾値より小さい場合に、当該候補エリアＤａを除外する。

【0110】

したがって、実施形態に係る付着物検出装置１０によれば、雲を水滴として誤検出してしまうのを抑制することができる。

【0111】

なお、上述した実施形態では、除外条件における各種閾値が車両の走行状況などに対しては固定値である例を挙げて説明したが、これらは車両の走行状況などに応じて、動的に変化するものであってもよい。

【0112】

たとえば車両が坂道などを走行中である場合、撮像画像Ｉ中において空の領域は狭くなったり広くなったりするので、かかる場合、車両に搭載された各種センサのうちの加速度センサやジャイロセンサなどのセンサ値に基づき、除外条件のうちの候補エリアＤａのｙ座標に関する閾値を変化させてもよい。

【0113】

また、上述した実施形態では、除外条件を、除外したい候補エリアＤａのために用いる例を挙げたが、検出したい候補エリアＤａのために用いてもよい。すなわち、雲に該当する候補エリアＤａを検出したい場合に用いてもよい。

【0114】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0115】

２ カメラ
１０ 付着物検出装置
１１ 記憶部
１１ａ テンプレート情報
１１ｂ 検出情報
１１ｃ 除外情報
１２ 制御部
１２ａ 取得部
１２ｂ 抽出部
１２ｃ 変換部
１２ｄ マッチング部
１２ｅ 検出部
５０ 各種機器
Ｄａ 候補エリア
Ｉ 撮像画像

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】