特許 7463159 液滴検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-29

(45)【発行日】2024-04-08

(54)【発明の名称】液滴検出装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240401BHJP

   B60R 1/20 20220101ALI20240401BHJP

   G01N 21/17 20060101ALI20240401BHJP

   G06T 7/00 20170101ALI20240401BHJP

   H04N 7/18 20060101ALI20240401BHJP

【ＦＩ】

H04N23/60 500

B60R1/20 100

G01N21/17 E

G06T7/00 300F

H04N7/18 J

H04N7/18 K

【請求項の数】 5

(21)【出願番号】P 2020056804

(22)【出願日】2020-03-26

(65)【公開番号】P2021158524

(43)【公開日】2021-10-07

【審査請求日】2022-11-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(72)【発明者】

【氏名】平嶋 稔

(72)【発明者】

【氏名】山口 徹

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２００９－１３０７００（ＪＰ，Ａ）

【文献】特開２０１９－１４０６０５（ＪＰ，Ａ）

【文献】特開２００２－２０７１６２（ＪＰ，Ａ）

【文献】特開２０１９－０２９９４０（ＪＰ，Ａ）

【文献】特開２０１８－０４９５６８（ＪＰ，Ａ）

【文献】特開２０１０－２７３０１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｂ６０Ｒ １／２０

Ｇ０１Ｎ ２１／１７

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラにより互いに異なる時刻に生成された複数の撮影画像を取得する画像取得部と、
前記画像取得部により取得された複数の撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定する候補領域特定部と、
前記候補領域特定部により特定された液滴候補領域の形状に基づいて、液滴が前記カメラのレンズに付着しているか否かを判断する液滴判断部と、を備える液滴検出装置。

【請求項2】

請求項１に記載の液滴検出装置であって、
前記候補領域特定部は、
前記所定方向の映像信号のレベルの最大値及び最小値を一の単位領域において特定する統計値特定部と、
前記統計値特定部により特定された最大値と最小値との差分絶対値を前記一の単位領域におけるレベルの時間変化として計算する差分計算部と、
前記差分計算部により計算された差分絶対値を前記液滴候補閾値と比較した結果に基づいて、前記一の単位領域が前記液滴候補領域に含まれるか否かを判断する領域判断部と、を含む液滴検出装置。

【請求項3】

請求項１又は請求項２に記載の液滴検出装置であって、
前記液滴判断部は、
前記液滴候補領域の輪郭を形成する輪郭画素の配列を作成する輪郭特定部と、
前記輪郭画素の数がＮである場合、前記輪郭特定部により作成された輪郭画素の配列において、ｋ（ｋは１以上Ｎ／２以下の自然数）番目の画素と、ｋ＋Ｎ／２番目の画素との距離を計算する距離計算部と、
前記距離計算部により計算された距離のばらつきに基づいて、液滴が前記カメラのレンズに付着しているか否かを判断する距離判断部と、を含む液滴検出装置。

【請求項4】

請求項１～３のいずれか１項に記載の液滴検出装置であって、
前記画像取得部は、
前記カメラにより第１時刻に生成された第１撮影画像から、水平方向の第１画素ラインを取得し、前記カメラにより第２時刻に生成された第２撮影画像から、水平方向の第２画素ラインを取得する画素ライン取得部と、
前記画素ライン取得部が前記第１画素ラインを前記第１撮影画像から取得した場合、前記第１画素ラインの位置に基づいて前記第２画素ラインを決定し、決定した前記第２画素ラインを前記画素ライン取得部に通知する画素ライン決定部と、
前記画素ライン取得部により取得された第１画素ラインと第２画素ラインとを含む合成撮影画像を生成する合成部と、を含み、
前記候補領域特定部は、前記合成部により生成された合成撮影画像から前記液滴候補領域を特定する、液滴検出装置。

【請求項5】

レンズに付着した液滴を検出する液滴検出方法であって、
カメラにより互いに異なる時刻に生成された複数の撮影画像を取得するステップと、
前記取得された複数の撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定するステップと、
前記特定された液滴候補領域の形状に基づいて、液滴が前記カメラのレンズに付着して
いるか否かを判断するステップと、を備える液滴検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レンズに付着した液滴を検出する液滴検出装置に関する。

【背景技術】

【0002】

車載カメラによって撮影された画像は、車室内のモニタに表示される。車載カメラにおいて、汚れがレンズに付着することがある。特許文献１は、車載カメラのレンズに付着した白濁を除去するレンズ洗浄装置を開示している。このレンズ洗浄装置は、車載カメラにより生成された画像の輝度勾配に基づいてレンズの表面の白濁度合いを算出する。レンズに付着する白濁は、例えば、車両が未舗装路を走行することにより巻き上げられる埃等である。このレンズ洗浄装置は、算出した白濁度合いに基づいて、洗浄液又は圧縮空気の噴射形態を変更する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２７５３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に係るレンズ洗浄装置は、レンズに付着した水滴を除去できない場合がある。水滴に含まれる不純物が非常に少ない場合、この水滴が白濁しないためである。

【0005】

また、水滴等の液滴がレンズに付着した場合、車両周辺環境が、カメラにより撮影された画像において、液滴により歪んで表現される虞がある。従って、レンズに液滴が付着した時点で、レンズに付着した液滴を除去することが望ましい。

【0006】

そこで、上記問題点に鑑み、本発明は、レンズに付着した液滴を検出することができる液滴検出装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、第１の発明は、液滴検出装置であって、画像取得部と、候補
領域特定部と、液滴判断部とを備える。画像取得部は、カメラにより互いに異なる時刻に生成された複数の撮影画像を取得する。候補領域特定部は、画像取得部により取得された撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定する。液滴判断部は、候補領域特定部により特定された液滴候補領域の形状に基づいて、液滴がカメラのレンズに付着しているか否かを判断する。

【0008】

第１の発明によれば、液滴検出装置は、レンズに付着した液滴を検出することができる。

【0009】

第２の発明は、第１の発明であって、候補領域特定部は、統計値特定部と、差分計算部と、領域判断部とを含む。統計値特定部は、所定方向の映像信号のレベルの最大値及び最小値を一の単位領域において特定する。差分計算部は、統計値特定部により特定された最大値と最小値との差分絶対値を一の単位領域におけるレベルの時間変化として計算する。領域判断部は、差分計算部により計算された差分絶対値を液滴候補閾値と比較した結果に基づいて、一の単位領域が液滴候補領域に含まれるか否かを判断する。

【0010】

第２の発明によれば、一の単位領域におけるレベル変化を容易に特定することができる。

【0011】

第３の発明は、第１の発明又は第２の発明であって、液滴判断部は、輪郭特定部と、距離計算部と、距離判断部とを含む。輪郭特定部は、液滴候補領域の輪郭を形成する輪郭画素の配列を作成する。距離計算部は、輪郭画素の数がＮである場合、輪郭特定部により作成された輪郭画素の配列において、ｋ（ｋは１以上Ｎ／２以下の自然数）番目の画素と、ｋ＋Ｎ／２番目の画素との距離を計算する。距離判断部は、距離計算部により計算された距離のばらつきに基づいて、液滴がカメラのレンズに付着しているか否かを判断する。

【0012】

第３の発明によれば、レンズに付着した液滴の形状を考慮して液滴がカメラのレンズに付着しているか否かを判断するので、液滴の検出精度を向上させることができる。

【0013】

第４の発明は、第１～第３のいずれか１つの発明であって、画像取得部は、画素ライン取得部と、画素ライン決定部と、合成部とを含む。画素ライン取得部は、カメラにより第１時刻に生成された第１撮影画像から、水平方向の第１画素ラインを取得し、カメラにより第２時刻に生成された第２撮影画像から、水平方向の第２画素ラインを取得する。画素ライン決定部は、画素ライン取得部が第１画素ラインを第１撮影画像から取得した場合、第１画素ラインの位置に基づいて第２画素ラインを決定し、決定した第２画素ラインを画素ライン取得部に通知する。合成部は、画素ライン取得部により取得された第１画素ラインと第２画素ラインとを含む合成画像を生成する。候補領域特定部は、合成部により生成された合成画像から液滴候補領域を特定する。

【0014】

第４の発明によれば、第１撮影画像及び第２撮影画像から生成された合成画像を用いて、液滴がレンズに付着したか否かを判断するため、１つの撮影画像から取得する情報量を抑制することができる。この結果、液滴検出装置の処理負荷が撮影画像を取得するたびに一時的に高くなることを防ぎつつ、液滴を検出することができる。

【0015】

第５の発明は、レンズに付着した液滴を検出する液滴検出方法であって、ａ）ステップと、ｂ）ステップと、ｃ）ステップとを備える。ａ）ステップは、カメラにより互いに異なる時刻に生成された複数の撮影画像を取得する。ｂ）ステップは、取得された撮影画像における所定方向の映像信号のレベルの時間変化を所定の単位領域ごとに特定し、特定したレベルの時間変化と予め設定された液滴候補閾値との比較により液滴候補領域を特定する。ｃ）ステップは、特定された液滴候補領域の形状に基づいて、液滴がカメラのレンズに付着しているか否かを判断する。

【0016】

第５の発明は、第１の発明に用いられる。

【発明の効果】

【0017】

本発明によれば、レンズに付着した液滴を検出することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施の形態に係る液滴除去システムの構成を示す機能ブロック図である。

【図2】図１に示す液滴検出装置の構成を示す機能ブロック図である。

【図3】図２に示す候補領域特定部の構成を示す機能ブロック図である。

【図4】図２に示す液滴判断部の構成を示す機能ブロック図である。

【図5】図２に示す画像取得部の構成を示す機能ブロック図である。

【図6】図１に示す液滴検出装置の動作を示すフローチャート図１に示す画像取得部により取得された撮影画像の画素ラインの構成を示す図である。

【図7】図６に示す合成画像生成処理（ステップＳ１）を説明する図である。

【図8】図７に示す合成画像に含まれる映像信号のレベルの時間変化の一例を示すグラフである。

【図9】図２に示す画像取得部により生成された合成画像に含まれる液滴候補領域の一例を示す図である。

【図10】図２に示す候補領域特定部５の動作を示すフローチャートである。

【図11】図９に示す液滴候補領域５０ａの拡大図である。

【図12】図９に示す液滴候補領域の輪郭画素から生成された配列を示す図である。

【図13】図９に示す液滴候補領域５０ｂの拡大図である。

【図14】図６に示す液滴判断部処理（ステップＳ３）を示すフローチャートである。

【図15】本発明の実施の形態の変形例に係る液滴検出装置の動作を示すフローチャートである。

【図16】ＣＰＵバス構成を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

【0020】

［１．液滴除去システム１００の構成］
図１は、本発明の実施の形態に係る液滴除去システム１００の構成を示す機能ブロック図である。液滴除去システム１００は、カメラＣと、液滴検出装置２と、液滴除去装置３とを備える。液滴除去システム１００は、カメラＣのレンズ上に付着する水滴等の液滴を除去する。

【0021】

カメラＣは、例えば、車両の周囲に取り付けられる。車両は、例えば自動車である。カメラＣは、車両の周囲を撮影して撮影画像１を生成する。撮影画像１は、アナログ形式の映像信号であり、例えば、コンポジット映像信号である。カメラＣは、その生成した撮影画像１を車室内に設置された図示しない表示部に出力する。表示部は、例えば、カーナビゲーション装置のモニタである。車両の運転者や同乗者は、表示部に表示された撮影画像１により、車両の周囲を確認できる。

【0022】

液滴検出装置２は、カメラＣにより生成された撮影画像１を受け、その受けた撮影画像１に基づいて液滴がカメラＣのレンズに付着しているか否かを判断する。液滴検出装置２は、液滴がカメラＣのレンズに付着していると判断した場合、液滴除去装置３を駆動するための駆動信号２Ａを出力する。

【0023】

液滴除去装置３は、駆動信号２Ａを液滴検出装置２から受けた場合、例えば圧縮した空気をカメラＣのレンズに向けて噴射する。圧縮空気がカメラＣのレンズに噴射されることにより、レンズに付着した液滴が除去される。

【0024】

［２．１．液滴検出装置２の構成］
図２は、図１に示す液滴検出装置２の構成を示す機能ブロック図である。図２を参照して、液滴検出装置２は、画像取得部４と、候補領域特定部５と、液滴判断部６とを備える。

【0025】

画像取得部４は、カメラＣにより生成された撮影画像１を取得する。具体的には、画像取得部４は、互いに異なる時刻に生成された複数の撮影画像１から合成画像４Ａを生成し、その生成した合成画像４Ａを、候補領域特定部５に出力する。合成画像４Ａの生成については、後述する。

【0026】

候補領域特定部５は、合成画像４Ａを画像取得部４から受け、その受けた合成画像４Ａにおける所定方向の映像信号のレベル変化を所定の単位領域ごとに特定する。本実施の形態において、所定方向とは、合成画像４Ａの水平走査方向である。所定の単位領域とは、画素である。候補領域特定部５は、特定したレベル変化に基づいて、合成画像４Ａにおいて液滴候補領域５０を特定する。映像信号のレベル変化及び液滴候補領域５０の詳細については、後述する。

【0027】

液滴判断部６は、候補領域特定部５により特定された液滴候補領域５０の形状に基づいて、液滴がカメラＣのレンズに付着しているか否かを判断する。液滴判断部６は、液滴がカメラＣのレンズに付着していると判断した場合、駆動信号２Ａを液滴除去装置３に出力する。

【0028】

［２．２．画像取得部４の構成］
図３を参照して、画像取得部４は、画素ライン取得部７と、画素ライン決定部８と、合成部９とを含む。以下の説明において、水平走査方向に一列に並ぶ画素のラインを「画素ライン」と記載する。

【0029】

画素ライン取得部７は、カメラＣにより第１時刻に生成された撮影画像１Ａから、水平方向の第１画素ラインＬ１を取得し、カメラＣにより第２時刻に生成された撮影画像１Ｂから、水平方向の第２画素ラインＬ２を取得する。第２時刻は、第１時刻よりも後の時刻である。

【0030】

本実施の形態において、第１画素ラインＬ１は、撮影画像１Ａの画素ラインのうち、上から数えて奇数番目の画素ラインである。第２画素ラインＬ２は、撮影画像１Ｂの画素ラインのうち、上から数えて偶数番目の画素ラインである。

【0031】

画素ライン取得部７は、第１画素ラインを取得した場合、取得した第１画素ラインＬ１の位置を示すライン位置情報７１を画素ライン決定部８に出力する。画素ライン取得部７は、第２画素ラインＬ２を取得した場合、取得した第２画素ラインＬ２の位置を示すライン位置情報７１を画素ライン決定部８に出力する。

【0032】

画素ライン取得部７は、次に取得すべき画素ラインを指定するライン指定情報７２を画素ライン決定部８から受けた場合、受けたライン指定情報７２により指定される画素ラインを、新たに取得した撮影画像１から取得する。画素ライン取得部７は、第１画素ラインＬ１と第２画素ラインＬ２との各々を取得するたびに、取得した第１画素ラインＬ１と第２画素ラインＬ２とを合成部９に出力する。

【0033】

画素ライン決定部８は、ライン位置情報７１を画素ライン取得部７から受けた場合、その受けたライン位置情報７１により示される画素ラインの位置に基づいて、次に取得すべき画素ラインを決定する。具体的には、ライン位置情報７１が第１画素ラインＬ１を示す場合、画素ライン決定部８は、画素ラインＬ２を次に取得することを決定する。ライン位置情報７１が第２画素ラインＬ２を示す場合、画素ライン決定部８は、画素ラインＬ１を次に取得することを決定する。画素ライン決定部８は、決定した画素ラインを示すライン指定情報７２を画素ライン取得部７に出力する。

【0034】

合成部９は、第１画素ラインＬ１と第２画素ラインＬ２とを、画素ライン取得部７から受け、その受けた第１画素ラインＬ１と第２画素ラインＬ２とを含む合成画像４Ａを生成する。合成部９は、その生成した合成画像４Ａを、候補領域特定部５に出力する。

【0035】

［２．３．候補領域特定部５の構成］
図４を参照して、候補領域特定部５は、統計値特定部１０と、差分計算部１１と、領域判断部１２とを含む。

【0036】

統計値特定部１０は、合成画像４Ａを画像取得部４から受け、その受けた合成画像４Ａに含まれる一の単位領域における画素信号の統計値を特定する。単位領域は、画素である。統計値は、水平走査方向における画像信号のレベルの最大値及び最小値である。

【0037】

具体的には、統計値特定部１０は、合成画像４Ａに含まれる一の画素ラインに対応する信号を画素ごとに区分し、画素ごとに区分された信号のレベルの最大値及び最小値を特定する。信号のレベルの最大値及び最小値は、合成画像４Ａに含まれる全ての画素において特定される。統計値特定部１０は、合成画像４Ａに含まれる各画素の最大値及び最小値を含む統計値情報１０１を差分計算部１１に出力する。

【0038】

差分計算部１１は、統計値特定部１０により特定された一の単位領域における最大値と最小値との差分絶対値を一の単位領域におけるレベル最大変化量として計算する。具体的には、差分計算部１１は、統計値情報１０１を統計値特定部１０から受け、その受けた統計値情報１０１を用いて、合成画像４Ａに含まれる各画素のレベル最大変化量を計算する。レベル最大変化量は、一の画素における信号のレベルの最大値から信号のレベルの最小値を減算することにより得られる。差分計算部１１は、合成画像４Ａに含まれる各画素のレベル最大変化量を記録したレベル変化情報１１１を領域判断部１２に出力する。

【0039】

領域判断部１２は、差分計算部１１により特定された一の単位領域の差分絶対値を所定の液滴候補閾値と比較し、その比較結果に基づいて、一の単位領域が液滴候補領域に含まれるか否かを判断する。所定の液滴候補閾値は、一の単位領域が液滴に対応する場合に取得されるレベル最大変化量に基づいて決定される。

【0040】

具体的には、領域判断部１２は、レベル変化情報１１１を差分計算部１１から受ける。領域判断部１２は、その受けたレベル変化情報１１１に記録された各画素のレベル最大変化量を液滴候補閾値と比較する。領域判断部１２は、その比較結果に基づいて、合成画像４Ａに含まれる各画素が液滴候補領域に含まれるか否かを判断する。領域判断部１２は、合成画像４Ａの各画素が液滴候補領域に含まれるか否かの判断結果に基づいて、合成画像４Ａにおける液滴候補領域５０を特定する。

【0041】

［２．４．液滴判断部６の構成］
図５を参照して、液滴判断部６は、輪郭特定部１３と、距離計算部１４と、距離判断部１５とを含む。

【0042】

輪郭特定部１３は、液滴候補領域５０を候補領域特定部５から受け、その受けた液滴候補領域５０の輪郭を形成する輪郭画素を特定する。輪郭特定部１３は、特定した輪郭画素の配列１３１を作成する輪郭特定部１３は、その作成した輪郭画素の配列１３１を、距離計算部１４に出力する。

【0043】

距離計算部１４は、輪郭画素の配列１３１を輪郭特定部１３から受け、その受けた配列１３１に含まれる輪郭画素のうち、所定の条件を満たす２つの画素の距離を暫定対向距離１４１として計算する。具体的には、輪郭画素の数がＮである場合、距離計算部１４は、配列１３１において、ｋ番目の画素と、（ｋ＋Ｎ／２）番目の画素とを特定する。距離計算部１４は、特定した２つの画素の距離を暫定対向距離１４１として計算する。ｋ番目の画素と（ｋ＋Ｎ／２）番目の画素とは、輪郭画素の形状が円形であると仮定した場合に対向すると想定される画素である。ｋは１以上Ｎ／２以下の自然数である。Ｎ／２通りの画素の組み合わせが考えられるため、距離計算部１４は、暫定対向距離１４１の計算をＮ／２回繰り返す。

【0044】

距離判断部１５は、暫定対向距離１４１を距離計算部１４から受け、その受けた暫定対向距離１４１の統計的ばらつきに基づいて、液滴がカメラＣのレンズに付着しているか否かを判断する。距離判断部１５は、液滴がカメラＣのレンズに付着している場合、駆動信号２Ａを液滴除去装置３に出力して、カメラＣのレンズに付着した液滴を液滴除去装置３に除去させる。

【0045】

［３．動作］
［３．１．液滴検出装置２の動作］
図６は、図１に示す液滴検出装置２の動作を示すフローチャートである。液滴検出装置２は、カメラＣが撮影画像１の生成を開始した場合、図６に示す処理を開始する。

【0046】

図６を参照して、画像取得部４は、カメラＣにより生成された複数の撮影画像１を用いて合成画像４Ａを生成する（ステップＳ１）。候補領域特定部５は、ステップＳ１で生成された合成画像４Ａにおける液滴候補領域５０を特定する（ステップＳ２）。液滴判断部６は、ステップＳ２で特定された液滴候補領域５０の形状に基づいて、液滴がカメラＣのレンズに付着しているか否かを判断する（ステップＳ３）。液滴判断部６は、液滴がカメラＣのレンズに付着していると判断した場合、液滴除去装置３を駆動させる。

【0047】

液滴検出装置２は、カメラＣが撮影画像１の生成を終了したか否かを判断する（ステップＳ４）。カメラＣが撮影画像１の生成を継続している場合（ステップＳ４においてＹｅｓ）、液滴検出装置２は、ステップＳ１に戻る。カメラＣが撮影画像１の生成を終了している場合（ステップＳ４においてＮｏ）、液滴検出装置２は、図６に示す処理を終了する。

【0048】

［３．２．合成画像４Ａの生成（ステップＳ１）］
図７は、図６に示す合成画像生成処理（ステップＳ１）を説明する図である。図７に示す例では、合成画像４Ａは、撮影画像１Ａ及び撮影画像１Ｂから生成される。合成画像４Ａのサイズは、撮影画像１Ａ及び１Ｂのサイズと同じである。撮影画像１Ａは、時刻ｔ１において、カメラＣにより生成される。撮影画像１Ｂは、時刻ｔ１より後の時刻ｔ２において、カメラＣにより生成される。撮影画像１Ｂは、撮影画像１Ａの次のフレームである。

【0049】

撮影画像１Ａは、画素ラインＬａ１～Ｌａ１０を含む。画素ラインＬａ１は、撮影画像１Ａの上端に位置する。画素ラインＬａ２は、画素ラインＬａ１の下に隣接する。画素ラインＬａ１０は、撮影画像１Ａの下端に位置する。

【0050】

撮影画像１Ｂは、画素ラインＬｂ１～Ｌｂ１０を含む。画素ラインＬｂ１～Ｌｂ１０の位置は、画素ラインＬａ１～Ｌａ１０の位置に対応する。

【0051】

画素ライン取得部７は、撮影画像１ＡをカメラＣから受けた場合、撮影画像１Ａから第１画素ラインを取得する。第１画素ラインは、撮影画像１の上から数えて、奇数番目の画素ラインである。具体的には、撮影画像１Ａにおける第１画素ラインは、画素ラインＬａ１，Ｌａ３，・・・，Ｌａ９である。画素ライン取得部７は、取得した画素ラインＬａ１，Ｌａ３，・・・，Ｌａ９の位置を示すライン位置情報７１を画素ライン決定部８に出力する。画素ライン取得部７は、撮影画像１ＢをカメラＣから受けるまで待機する。

【0052】

画素ライン決定部８は、第１画素ラインを示すライン位置情報７１に基づいて、撮影画像１Ｂから取得すべき画素ラインを決定する。具体的には、ライン位置情報７１が第１画素ラインを示すため、画素ライン決定部８は、第２画素ラインを撮影画像１Ｂから取得することを決定する。第２画素ラインは、撮影画像１Ｂにおいて偶数番目の画素ラインである。撮影画像１Ｂにおいて、第２画素ラインは、画素ラインＬｂ２，Ｌｂ４，・・・，Ｌｂ１０である。画素ライン決定部８は、画素ラインＬｂ２，Ｌｂ４，・・・，Ｌｂ１０を示すライン指定情報７２を画素ライン取得部７に出力する。

【0053】

画素ライン取得部７は、撮影画像１ＢをカメラＣから受けた場合、第２画素ラインを指定するライン指定情報７２に基づいて、画素ラインＬｂ２，Ｌｂ４，・・・Ｌ１０を撮影画像１Ｂから取得する。

【0054】

合成部９は、第１画素ラインと第２画素ラインを画素ライン取得部７から受け、その受けた第１画素ラインＬ１と第２画素ラインＬ２とを含む合成画像４Ａを生成する。具体的には、合成部９は、撮影画像１Ａから取得された画素ラインＬａ１，Ｌａ３，・・・，Ｌａ９を、合成画像４Ａにおける奇数番目の画素ラインに配置する。合成部９は、撮影画像１Ｂから取得された画素ラインＬｂ２，Ｌｂ４，・・・，Ｌｂ１０を、合成画像４Ａにおける偶数番目の画素ラインに配置する。

【0055】

つまり、合成部９は、撮影画像１Ａ及び１Ｂにおける画素ラインの位置と同じ合成画像４Ａの位置に、第１画素ライン及び第２画素ラインの各々を配置する。図７に示すように、撮影画像１Ａの画素ラインと、撮影画像１Ｂの画素ラインとが、合成画像４Ａにおいて交互に配置される。

【0056】

画像取得部４は、撮影画像１Ａ及び１Ｂから合成画像４Ａを生成した後に、上記の処理を繰り返す。合成画像４Ａのフレーム間隔は、撮影画像１のフレーム間隔の２倍である。

【0057】

なお、画像取得部４は、３以上の撮影画像１を用いて合成画像を生成してもよい。この場合であっても、合成部９は、撮影画像１から取得された画素ラインの位置と、合成画像４Ａに配置される画素ラインの位置とは同じである。合成画像４Ａが、６つの撮影画像１Ａから生成される場合、合成画像４Ａのフレーム間隔は、撮影画像１のフレーム間隔の６倍である。

【0058】

［３．３．液滴候補領域の特定］
候補領域特定部５は、合成画像４Ａに含まれる各画素が液滴候補領域に含まれるか否かを判断する。これにより、合成画像４Ａに含まれる各画素が液滴候補領域に含まれるか否かが判断される。

【0059】

［３．３．１．各画素の信号の取得］
統計値特定部１０が、合成部９から合成画像４Ａを取得し、取得した合成画像４Ａに含まれる各画素の統計値を取得する。統計値は、具体的には、最大値及び最小値である。

【0060】

統計値特定部１０は、合成画像４Ａに含まれる各画素のレベルの最大値及び最小値を特定するにあたり、合成画像４Ａに含まれる各画素の信号を取得する。合成画像４Ａに含まれる各画素の信号は、アナログ形式の映像信号である。合成画像４Ａが、アナログ形式の映像信号である撮影画像１から生成されるためである。以下、図７に示す画素ラインＬａ１及びＬｂ２を例として、各画素の信号を取得する統計値特定部１０の動作を説明する。

【0061】

なお、画素ラインＬａ１は、画素Ｐ１～Ｐ１０を含む。画素Ｐ１は、画素ラインＬａ１の左端に位置する。画素Ｐｍは、画素Ｐｍ＋１の左に隣接する。ｍは、１以上Ｒ－１以下の整数である。Ｒは、画素ラインＬａ１に含まれる画素数であり、図７に示す例では１０である。画素Ｐ１０は、画素ラインＬａ１の右端に位置する。

【0062】

統計値特定部１０は、合成画像４Ａの垂直同期信号を取得した場合、画素ラインＬａ１の信号の取得を開始するとともに、その受けた合成画像４Ａの水平同期信号のカウントを開始する。画素ラインＬａ１は、合成画像４Ａの映像信号のうち、垂直同期信号を取得した時刻から１回目の水平同期信号の時刻までの期間における信号に相当する。従って、統計値特定部１０は、１回目の水平同期信号を取得した時刻に、画素ラインＬａ１の信号の取得を終了する。統計値特定部１０は、画素ラインＬａ１の映像信号を画素ごとに区分することにより、画素ラインＬａ１に含まれる画素Ｐ１～Ｐ１０の各々に対応する信号を取得する。

【0063】

図８は、合成画像４Ａに含まれる映像信号のレベルの時間変化の一例を示すグラフである。図８を参照して、時刻ｔ０が、合成画像４Ａの垂直同期信号の時刻である。時刻ｔ３が、合成画像４Ａにおける１回目の水平同期信号の時刻である。従って、時刻ｔ０から時刻ｔ３までの期間ＴＬが、画素ラインＬａ１の映像信号に相当する。

【0064】

統計値特定部１０は、画素ラインＬａ１の信号を１画素あたりの時間で区分することにより、画素Ｐ１～Ｐ１０の信号を取得する。１画素あたりの時間は、１水平走査期間である期間ＴＬを水平走査方向における画素の数で除することにより得られる。統計値特定部１０は、時刻ｔ０から時刻ｔ１までの期間Ｔａの信号を、画素Ｐ１の信号として取得する。統計値特定部１０は、時刻ｔ１から時刻ｔ２までの期間Ｔｂの信号を、画素Ｐ２の信号として取得する。図８では、画素Ｐ３～画素Ｐ１０の信号の表示を省略している。

【0065】

なお、統計値特定部１０は、合成画像４Ａのうち、１回目の水平同期信号の時刻から２回目の水平同期信号の時刻までの信号を、画素ラインＬｂ２として取得する。合成画像４Ａに含まれる他の画素ラインの信号も、画素ラインＬｂ２と同様に取得される。

【0066】

［３．３．２．統計値の取得］
統計値特定部１０は、合成画像４Ａに含まれる画素から一の画素を選択し、選択した画素の信号のレベルの最大値及び最小値を取得する。以下、液滴検出装置２の動作の説明において、図８を参照しながら、統計値特定部１０の動作を説明する。

【0067】

統計値特定部１０は、画素Ｐ１の統計値として最大値Ａ１及び最小値Ａ２を特定する。期間Ｔａが画素Ｐ１に対応するためである。統計値特定部１０は、画素Ｐ１の最大値及び最小値を記録した統計値情報１０１を差分計算部１１に出力する。

【0068】

画素Ｐ２が選択された場合、統計値特定部１０は、画素Ｐ２に対応する信号のレベルの統計値として、最大値Ａ３及び最小値Ａ４を特定する。期間Ｔｂが画素Ｐ２に対応するためである。統計値特定部１０は、画素Ｐ１及びＰ２と同様に、合成画像４Ａに含まれる他の画素の統計値を特定する。

【0069】

［３．３．３．レベル最大変化量の計算］
差分計算部１１は、統計値特定部１０から受けた画素Ｐ１の統計値情報１０１に基づいて、画素Ｐ１のレベル最大変化量を計算する。以下、画素Ｐ１及びＰ２を例として差分計算部１１の動作を説明する。

【0070】

差分計算部１１は、画素Ｐ１の最大値Ａ１及び最小値Ａ２を統計値情報１０１から取得する。差分計算部１１は、その取得した最大値Ａ１と最小値Ａ２との差分絶対値を画素Ｐ１のレベル最大変化量として計算する。差分計算部１１は、画素Ｐ１のレベル最大変化量と画素Ｐ１の位置とを紐づけたレベル変化情報１１１を生成する。なお、画素Ｐ２のレベル最大変化量は、最大値Ａ３と最小値Ａ４の差分絶対値である。統計値特定部１０は、画素Ｐ１及びＰ２と同様に、合成画像４Ａに含まれる他の画素のレベル最大変化量を計算する。

【0071】

［３．３．４．液滴候補閾値との比較］
領域判断部１２は、レベル変化情報１１１に記録されたレベル最大変化量に基づいて、合成画像４Ａに含まれる各画素が液滴候補領域に含まれるか否かを判断する。以下、画素Ｐ１を例として領域判断部１２の動作を説明する。

【0072】

領域判断部１２は、差分計算部１１から受けたレベル変化情報１１１から画素Ｐ１のレベル最大変化量を取得し、取得したレベル最大変化量を予め設定された液滴候補閾値と比較する。画素Ｐ１のレベル最大変化量が液滴候補閾値よりも小さい場合、領域判断部１２は、画素Ｐ１が液滴候補領域に含まれると判断する。液滴がカメラＣのレンズに付着した場合、液滴が付着した位置に対応する画素の信号のレベル最大変化量が小さくなる傾向にあるためである。画素Ｐ１のレベル最大変化量が液滴候補閾値を超える場合、領域判断部１２は、画素Ｐ１が背景領域に含まれると判断する。なお、背景領域は、合成画像において液滴が付着していない領域である。

【0073】

画素Ｐ１が液滴候補領域に含まれるか否かの判断がされた後に、統計値取得部１０は、新たな画素（例えば、画素Ｐ２）を選択する。画素Ｐ１と同様に、選択された画素のレベル最大変化量に基づいて、選択された画素が液滴候補領域に含まれるか否かが判断される。

【0074】

［３．３．５．液滴候補領域の決定］
領域判断部１２は、合成画像４Ａに含まれる各画素が液滴候補領域に含まれるか否かを判断した結果に基づいて、合成画像４Ａにおける液滴候補領域を特定する。以下の説明において、液滴候補領域に含まれると判断された画素を「候補画素」と記載する。

【0075】

図９は、画像取得部４により生成された合成画像４Ａに含まれる液滴候補領域の一例を示す図である。図９を例にして、液滴候補領域を決定する領域判断部１２の動作を説明する。

【0076】

領域判断部１２は、候補画素が連続する領域をラベリング処理により特定し、特定した領域を液滴候補領域に決定する。図９において、候補画素が連続する領域は、画素Ｐａ１～Ｐａ１８により囲まれた領域５０ａと、画素Ｐｂ１～Ｐｂ１２からなる領域５０ｂである。領域判断部１２は、領域５０ａ及び５０ｂの各々を液滴候補領域に決定する。領域５０ａは、カメラＣのレンズに付着した雨滴に対応する。領域５０ｂは、道路に描かれた白線に対応する。図９に示す領域５０ａにおいて、画素Ｐａ１～Ｐａ１８を除く画素の表示を省略している。後述する図１１及び図１３についても同様である。

【0077】

以下の説明において、領域５０ａを「液滴候補領域５０ａ」と記載し、領域５０ｂを「液滴候補領域５０ｂ」と記載する。 詳細については後述するが、一の液滴候補領域に含まれる画素群が所定の条件を満たす場合、一の液滴候補領域は、フロントガラスに付着した雨滴であると判断される。

【0078】

［３．３．６．候補領域特定部５の動作］
図１０は、図２に示す候補領域特定部５の動作を示すフローチャートである。候補領域特定部５は、合成画像４Ａを画像取得部４から受けた場合、図１０に示す処理を開始する。

【0079】

図１０を参照して、統計値特定部１０は、合成画像４Ａに含まれる各画素の信号を取得する（ステップＳ２０１）。

【0080】

統計値特定部１０は、合成画像４Ａに含まれる画素のうち一つを選択する（ステップＳ２０２）。

【0081】

統計値特定部１０は、ステップＳ２０２で選択した画素の信号のレベルの最大値及び最小値を特定する（ステップＳ２０３）。

【0082】

差分計算部１１は、ステップＳ２０３で特定された最大値及び最小値に基づいて、ステップＳ２０２で選択した画素の信号のレベル最大変化量を計算する（ステップＳ２０４）。

【0083】

領域判断部１２は、ステップＳ２０４で計算されたレベル最大変化量を液滴候補閾値と比較する（ステップＳ２０５）。レベル最大変化量が液滴候補閾値より小さい場合（ステップＳ２０５においてＹｅｓ）、領域判断部１２は、ステップ２０２で選択した画素が液滴候補領域に含まれると判断する（ステップＳ２０６）。レベルの最大変化量が液滴候補閾値を超える場合（ステップＳ２０５においてＮｏ）、領域判断部１２は、ステップ２０２で選択した画素が背景領域に含まれると判断する（ステップＳ２０７）。

【0084】

合成画像４Ａにおける全ての画素が選択された場合（ステップＳ２０８においてＹｅｓ）、領域判断部１２は、連続する候補画素の領域を液滴候補領域５０に決定する（ステップＳ２０９）。これにより、候補領域特定部５は、図１０に示す処理を終了する。ステップＳ２０２で選択されていない画素がある場合（ステップＳ２０８においてＮｏ）、候補領域特定部５は、ステップＳ２０２に戻る。

【0085】

候補領域特定部５は、ステップＳ２０２で新たに実行する場合、液滴候補領域５０に含まれるか否かの判断がされていない画素を選択する。画素を選択する順序は、ランダムでもよいし、予め設定されていてもよい。

【0086】

［３．４．液滴判断］
液滴判断部６は、候補領域特定部５により特定された液滴候補領域５０の形状に基づいて、液滴がカメラＣのレンズに付着しているか否かを判断する。液滴判断部６は、液滴がカメラＣのレンズに付着していると判断した場合、液滴除去装置３を駆動させる。

【0087】

［３．４．１．輪郭画素の特定］
輪郭特定部１３は、液滴候補領域５０を領域判断部１２から受け、受けた液滴候補領域５０から一の液滴候補領域を選択し、選択した液滴候補領域の輪郭を形成する輪郭画素を特定する。

【0088】

以下、選択された一の液滴候補領域が図９に示す液滴候補領域５０ａである場合を例にして、輪郭特定部１３の動作を説明する。

【0089】

図１１は、図９に示す液滴候補領域５０ａの拡大図である。図１１を参照して、輪郭特定部１３は、液滴候補領域５０ａに含まれる画素のうち、画素Ｐａ１～Ｐａ１８を輪郭画素として特定する。具体的には、輪郭特定部１３は、液滴候補領域５０ａに含まれる候補画素を１つ選択する。選択した候補画素の全ての頂点のうち少なくとも１つの頂点が、候補画素ではない画素の頂点と一致する場合、輪郭特定部１３は、選択した候補画素が輪郭画素であると判断する。あるいは、選択した候補画素が、液滴候補領域５０ａに含まれる他の候補画素に接していない辺を少なくとも１つ有する場合、輪郭特定部１３は、選択した候補画素が輪郭画素であると判断してもよい。

【0090】

［３．４．２．除外閾値との比較］
輪郭特定部１３は、特定した輪郭画素Ｐａ１～Ｐａ１８の画素数を予め設定された除外閾値と比較する。除外閾値は、例えば、８である。比較の結果、輪郭画素Ｐａ１～Ｐａ１８の画素数が除外閾値以上であるため、輪郭特定部１３は、輪郭画素Ｐａ１～Ｐａ１８を含む液滴候補領域５０ａの判断を継続する。選択した液滴候補領域５０に含まれる輪郭画素の数が除外閾値より小さい場合、輪郭特定部１３は、選択した液滴候補領域５０の判断を終了する。これにより、カメラＣのレンズに付着する液滴が、ユーザの視認に影響を及ぼさない程度の大きさであるものを除外することができる。また、液滴候補領域が略円形であるか否かを判断する精度を向上することができる。

【0091】

［３．４．３．輪郭画素の配列の作成］
図１１を参照して、輪郭特定部１３は、輪郭画素Ｐａ１を配列の先頭画素として選択し、輪郭画素の配列の要素番号を「１」に決定する。輪郭特定部１３は、選択した輪郭画素Ｐａ１から反時計回りの順に輪郭画素を特定し、特定した輪郭画素に配列の要素番号を付与する。配列の要素番号は、輪郭画素の各々に付与される。輪郭特定部１３は、輪郭画素の各々に付与した要素番号にしたがって配列１３１を生成する。配列１３１の要素数は、輪郭画素の数に位置する。

【0092】

図１２は、図９に示す液滴候補領域５０ａの輪郭画素から生成された配列１３１を示す図である。図１２に示す各画素の下に配置された数値が、配列１３１の要素番号である。

【0093】

［３．４．４．形状判断］
カメラＣのレンズに付着した液滴は、液滴の表面張力によって略円形となる。従って、液滴候補領域５０ａが液滴である場合、液滴の輪郭上に位置する画素のうち下記の対向条件を満たす２つの画素を結ぶ線分は、円の直径に相当する。対向条件は、液滴の輪郭上に位置する画素のうち液滴候補領域５０ａの重心を挟んで対向することである。対向条件を満たす画素のペアを変更した場合であっても、変更されたペアに含まれる２つの画素を結ぶ線分が、円の直径に相当することに変わりはない。液滴候補領域５０ａが液滴である場合、対向する２つの画素の距離の分散は、小さくなると考えられる。

【0094】

距離計算部１４は、液滴候補領域５０ａに含まれる画素のうち、液滴候補領域５０ａが液滴であれば対向すると想定される２つの画素を特定する。距離計算部１４は、特定した２つの画素の距離を暫定対向距離１４１として計算する。以下、詳しく説明する。

【0095】

図１１及び図１２を参照して、液滴候補領域５０ａが液滴である場合、輪郭画素Ｐａ１～Ｐａ１８は、液滴の輪郭に沿って均等に配置される。ｋ番目の画素から最も離れた画素は、（ｋ＋２／Ｎ）番目の画素である。Ｎは、輪郭画素の数であり、ｋは、１以上（２／Ｎ）以下の自然数である。距離計算部１４は、ｋ番目の画素と（ｋ＋２／Ｎ）番目の画素とを含む画素のペアを特定する。距離計算部１４は、特定した画素のペアに含まれる２つの画素の距離を計算する。

【0096】

図１２において、Ｎは１８である。従って、距離計算部１４は、ｋ＝１の場合、距離計算部１４により特定される輪郭画素は、画素Ｐａ１及びＰａ１０である。距離計算部１４は、画素Ｐａ１から画素Ｐａ１０までの距離Ｍｋ１を暫定対向距離１４１として計算する。ｋ＝２の場合、特定される輪郭画素は、画素Ｐａ２及びＰａ１１である。距離計算部１４は、画素Ｐａ２から画素Ｐａ１１までの距離Ｍｋ２を暫定対向距離１４１として計算する。その後、距離計算部１４は、ｋをインクリメントする。距離計算部１４は、ｋが９に達するまで、暫定対向距離１４１を計算する処理を繰り返す。

【0097】

距離判断部１５は、距離計算部１４により計算された全ての暫定対向距離１４１の分散を計算する。なお、距離判断部１５は、計算された全ての暫定対向距離１４１の統計的ばらつきを計算するのであれば、分散でなくてもよい。距離判断部１５は、計算した分散を予め設定された分散閾値と比較し、その比較結果に基づいて液滴候補領域５０ａが液滴であるか否かを判断する。分散閾値は、カメラのレンズに付着した液滴を用いて事前に計算される。

【0098】

図１２に示すように、液滴候補領域５０ａは、雨滴に対応するため、液滴候補領域５０ａから計算された分散は、分散閾値よりも低い。距離判断部１５は、液滴候補領域５０ａが円形に近い形状を有しているため、液滴であると判断する。つまり、液滴候補領域５０ａは、液滴領域であると判断される。

【0099】

以下、液滴候補領域５０ｂの形状判断について説明する。図１３は、図９に示す液滴候補領域５０ｂの拡大図である。

【0100】

図１３を参照して、距離計算部１４は、液滴候補領域５０ｂが液滴であれば対向すると想定される２つの画素を、液滴候補領域５０ｂに含まれる輪郭画素Ｐｂ１～Ｐｂ１２の中から特定する。例えば、距離計算部１４は、輪郭画素Ｐｂ１及びＰｂ７を特定し、輪郭画素Ｐｂ１から輪郭画素Ｐｂ７までの距離Ｎｋ１を計算する。距離計算部１４は、輪郭画素Ｐｂ３及びＰｂ９を特定し、輪郭画素Ｐｂ３から輪郭画素Ｐｂ９までの距離Ｎｋ２を計算する。

【0101】

液滴候補領域５０ｂは、上述のように道路に描かれた白線に対応しており、円形ではない。距離Ｎｋ２が距離Ｎｋ１の数倍よりも大きいため、液滴候補領域５０ｂから計算される分散は、分散閾値以上である。液滴候補領域５０ｂが液滴でないため、距離判断部１５は、液滴候補領域５０ｂが背景領域であると判断する。

【0102】

［３．４．５．液滴判断部６の動作］
図１４は、図６に示す液滴判断部処理（ステップＳ３）を示すフローチャートである。液滴判断部６は、合成画像４Ａに含まれる液滴候補領域を候補領域特定部５から受けた場合、図１４に示す処理を開始する。

【0103】

図１４を参照して、輪郭特定部１３は、候補領域特定部５から受けた液滴候補領域の中から液滴候補領域を１つ選択する（ステップＳ１０４）。

【0104】

輪郭特定部１３は、ステップＳ１０４で選択した液滴候補候補領域の輪郭画素を特定する（ステップＳ１０５）。

【0105】

輪郭特定部１３は、ステップＳ１０５で特定した輪郭画素の画素数を除外閾値と比較する（ステップＳ１０６）。輪郭画素の画素数が除外閾値以上の場合（ステップＳ１０６においてＹｅｓ）、輪郭特定部１３は、輪郭画素の配列を作成する（ステップＳ１０７）。輪郭画素の画素数が除外閾値より小さい場合（ステップＳ１０６においてＮｏ）、輪郭特定部１３は、ステップＳ１０４で選択した液滴候補候補領域が背景領域であると判断する（ステップＳ１１４）。その後、液滴判断部６は、後述するステップＳ１１５に進む。

【0106】

距離計算部１４は、ステップＳ１０７で作成された配列を用いて、選択された液滴候補領域が液滴である場合に対向すると想定される輪郭画素のペアを特定する（ステップＳ１０８）。

【0107】

距離計算部１４は、ステップＳ１０８で決定した２つの輪郭画素の距離を暫定対向距離１４１として計算する（ステップＳ１０９）。

【0108】

距離計算部１４は、ステップＳ１０８で特定されていない輪郭画素のペアがある場合（ステップＳ１１０においてＮｏ）、ステップＳ１０８及びステップＳ１０９の処理を繰り返す。ステップＳ１０８で全ての輪郭画素のペアが特定された場合（ステップＳ１１０においてＹｅｓ）、距離計算部１４は、ステップＳ１０９で計算された全ての距離の分散を計算する（ステップＳ１１１）。

【0109】

なお、選択された液滴候補領域に含まれある輪郭画素の数が奇数である場合、距離計算部１４は、ステップＳ１１０で、ステップＳ１０８で特定されなかった輪郭画素の数が１であるか否かを判断する。特定されなかった輪郭画素の数が１である場合、距離計算部１４は、ステップＳ１１１に進む。

【0110】

距離判断部１５は、ステップＳ１１１で計算された分散を分散閾値と比較する（ステップＳ１１２）。ステップＳ１１１で計算された分散が分散閾値以下の場合（ステップＳ１１２においてＹｅｓ）、距離判断部１５は、ステップＳ１０４で選択した液滴候補領域が液滴領域であると判断する（ステップＳ１１３）。

【0111】

ステップＳ１１１で計算された距離の分散が分散閾値を超える場合（ステップＳ１１２においてＮｏ）、ステップＳ１０４で選択した液滴候補候補領域が背景領域であると判断する（ステップＳ１１４）。

【0112】

ステップＳ１１３又はＳ１１５の後に、液滴判断部６は、ステップＳ１０４において未だ選択されていない液滴候補領域があるか否かを判断する（ステップＳ１１５）。液滴候補候補領域がある場合（ステップＳ１１５においてＮｏ）、液滴判断部６は、新たな液滴候補領域を選択するために、ステップＳ１０４に戻る。全ての液滴候補領域が選択された場合（ステップＳ１１５においてＹｅｓ）液滴判断部６は、液滴判断部処理（ステップＳ３）を終了する。

【0113】

液滴判断部６は、合成画像４Ａに含まれる全ての液滴候補領域を判断した後に、液滴除去装置３を駆動するか否かを判断する。例えば、液滴判断部６は、合成画像４Ａに含まれる液滴領域の数が基準値を超える場合、液滴除去装置３を駆動することを決定する。

【0114】

あるいは、液滴判断部６は、合成画像４Ａに含まれる液滴領域の面積が予め設定された面積基準値を超える場合、液滴除去装置３を駆動することを決定する。例えば、液滴判断部６は、液滴領域であると判断された液滴候補領域に含まれる画素の数の積算値を液滴領域の面積として用いればよい。

【0115】

以上説明したように、液滴検出装置２は、撮影画像１における画素ごとの映像信号のレベル変化に基づいて液滴候補領域５０を特定する。液滴検出装置２は、特定した液滴候補領域５０の形状に基づいて、液滴がカメラＣのレンズに付着しているか否かを判断することができ、レンズに付着した液滴を検出することができる。

【0116】

液滴検出装置２は、映像信号のレベルの最大値及び最小値を一の画素において特定する。液滴検出装置２は、特定された最大値と最小値との差分絶対値を一の画素におけるレベル変化として計算するので、一の画素におけるレベル変化を容易に特定することができる。

【0117】

液滴検出装置２は、特定された液滴候補領域５０の輪郭を形成する輪郭画素を用いて、液滴がカメラＣのレンズに付着しているか否かを判断する。すなわち、液滴検出装置２は、カメラＣのレンズに付着した液滴の形状を考慮して液滴がカメラのレンズに付着しているか否かを判断するので、液滴の検出精度を向上させることができる。

【0118】

液滴検出装置２は、撮影画像１Ａ及び撮影画像１Ｂから生成された合成画像４Ａを用いて、液滴がレンズに付着したか否かを判断するため、１つの撮影画像から取得する情報量を抑制することができる。この結果、液滴検出装置２の処理負荷が撮影画像を取得するたびに一時的に高くなることを防ぎつつ、液滴を検出することができる。

【0119】

［変形例］
上記実施の形態では、液滴検出装置２が、撮影画像１から合成画像４Ａを生成した後に、合成画像４Ａに含まれる画素のレベル最大変化量を取得する例を説明した。しかし、液滴検出装置２は、画素ラインの取得と並行して、画素ラインに含まれる各画素のレベル最大変化量を取得してもよい。

【0120】

図１５は、本発明の実施の形態の変形例に係る液滴検出装置２の動作を示すフローチャートである。本変形例に係る液滴検出装置２は、図６に示す処理を実行する際に、ステップＳ１及びＳ２に代えて図１５に示す処理を実行する。図１５に示す処理の結果、撮影画像１と同じサイズの液滴候補画像が生成される。液滴候補画像に含まれる各画素は、液滴候補領域に含まれるか否かを示す。

【0121】

画像取得部４は、撮影画像１から取得すべき画素ラインを設定する（ステップＳ５０１）。例えば、画素ライン決定部８は、上記実施形態と同様に、撮影画像１Ａにおける奇数番目の画素ラインを示すライン指定情報７２を生成する。

【0122】

図１５に示されていないが、画像取得部４は、ステップＳ５０１の実行時において、水平同期信号のカウント値を１に初期化する。撮影画像１に含まれる画素は、上から順に入力されるためである。

【0123】

画像取得部４は、映像信号の映像信号の入力を開始する。画像取得部４は、水平同期信号のカウント値がライン指定情報７２で指定された画素ラインに対応するか否かを判断する（ステップＳ５０２）。

【0124】

カウント値がライン指定情報７２で指定された画素ラインに対応しない場合（ステップＳ５０２においてＮｏ）、画像取得部４は、１画素ラインに相当する時間が経過するまで待機する（ステップＳ５０８）。例えば、カウント値が２であり、かつ、ライン指定情報７２が上から奇数番目の画素ラインを指定している場合、カウント値がライン指定情報７２に対応しない。この場合、画像取得部４は、上から３番目の画素ラインの入力が開始されるまで待機する。

【0125】

カウント値がライン指定情報７２で指定された画素ラインに対応する場合（ステップＳ５０２においてＹｅｓ）、画像取得部４は、画素ラインの取得を開始する（ステップＳ５０３）。画像取得部４は、１画素の信号を取得する（ステップＳ５０４）。

【0126】

候補領域特定部５は、ステップＳ５０４で取得された画素の信号の統計値を取得する（ステップＳ５０５）。統計値は、最大値及び最小値である。ステップＳ５０５は、図１０に示すステップＳ２０３に対応する。候補領域特定部５は、ステップＳ５０５で取得した統計値に基づいて、統計値を取得した画素のレベル最大変化量を計算する（ステップＳ５０６）。ステップＳ５０６は、図１０に示すステップＳ２０４に対応する。候補領域特定部５は、統計値を特定した画素のレベル最大変化量に基づいて、統計値を特定した画素が液滴候補領域に含まれるか否かを判断する（ステップＳ５０７）。ステップＳ５０７は、図１０に示すステップＳ２０５～Ｓ２０７に対応する。

【0127】

画像取得部４は、水平同期信号及び垂直同期信号の両者が入力されない場合（ステップＳ５０９においてＮｏ）、次の画素が液滴候補領域に含まれるか否かを判断するためにステップＳ５０４に戻る。

【0128】

画像取得部４は、水平同期信号が入力された場合（ステップＳ５０９においてＹｅｓ、ステップＳ５１０においてＹｅｓ）、水平同期信号のカウント値をインクリメントする（ステップＳ５１１）。その後、画像取得部４は、新たな画素ラインを取得するために、ステップＳ５０２に戻る。

【0129】

垂直同期信号が入力された場合（ステップＳ５０９においてＹｅｓ、ステップＳ５１０においてＮｏ）、画像取得部４は、１フレーム分の撮影画像１の入力が終了したと判断する。この場合、画像取得部４が、液滴候補画像を生成することができる画素ラインを取得したか否かを判断する（ステップＳ５１２）。

【0130】

上記実施の形態では、上から奇数番目の画素ラインを撮影画像１Ａから取得した時点では、合成画像４Ａは生成されない。同様に、候補領域特定部５は、上から奇数番目の画素ラインを撮影画像１Ａから取得した時点では、液滴候補画像を生成することができない。この場合、１フレーム分の画素ラインを取得していないため（ステップＳ５１２においてＮｏ）、画像取得部４は、ステップＳ５０１に戻る。上から偶数番目の画素ラインを撮影画像１Ｂから取得するためである。

【0131】

１フレーム分の画素ラインを複数の撮影画像１から取得した場合（ステップＳ５１２においてＹｅｓ）、候補領域特定部５は、各画素についてのステップＳ５０７の結果に基づいて、液滴候補画像を生成する（ステップＳ５１３）。その後、候補領域特定部５は、液滴候補画像をラベリング処理することにより、液滴候補領域を特定する。

【0132】

なお、図８に示すステップＳ５０４は、ステップＳ５０５～Ｓ５０７と並行して実行される。

【0133】

画像取得部４は、垂直同期信号が入力される時刻ｔ０から、画素ラインＬａ１の取得を開始する。時刻ｔ０から時刻ｔ１までの期間が１画素分の時間に相当するため、画像取得部４は、時刻ｔ０から時刻ｔ１までの映像信号を画素Ｐ１の信号として取得する（ステップＳ５０４）。候補領域特定部５は、時刻ｔ０から時刻ｔ１までの映像信号に基づいて、画素Ｐ１が液滴候補領域に含まれるか否かを判断する（ステップＳ５０５～Ｓ５０７）。

【0134】

撮影画像１Ａの映像信号の入力は、時刻ｔ１以降も継続している。画像取得部４は、候補領域特定部５における上述の画素Ｐ１の判断と並行して、時刻ｔ１から時刻ｔ２までの映像信号を画素Ｐ２の信号として取得する（ステップＳ５０４）。候補領域特定部５は、画素Ｐ２の信号に基づいて、画素Ｐ２が液滴候補領域に含まれるか否かを判断する。以下、画素Ｐ３～Ｐ１０の信号の取得と、画素Ｐ３～Ｐ１０が液滴候補領域に含まれるの判断が繰り返される。この結果、画素の映像信号の取得と、画素が液滴候補領域に含まれるか否かの判断とが並行して実行される。

【0135】

［その他の変形例］
上記実施の形態では、単位領域が１つの画素である例を説明したが、これに限られない。単位領域は、水平方向に並ぶ複数の画素であってもよいし、垂直方向に並ぶ複数の画素であってもよい。あるいは、単位領域は、水平方向に並ぶ複数の画素と、垂直方向に並ぶ複数の画素とを含む矩形であってもよい。

【0136】

上記実施の形態では、候補領域特定部５が、レベル最大変化量を用いて各画素が液滴候補領域に含まれるか否かを判断する例を説明したが、これに限られない。候補領域特定部５は、各画素のレベル変化を取得できればよい。例えば、候補領域特定部５は、画素の信号の極値を特定し、特定した極値の分散をレベル変化量として特定してもよい。

【0137】

上記実施の形態では、液滴判断部６が、輪郭画素から計算される暫定対向距離１４１の統計的ばらつきに基づいて、液滴候補領域が液滴であるか否かを判断する例を説明したが、これに限られない。液滴判断部６が液滴候補領域の形状に基づいて液滴候補領域が液滴であるか否かを判断するのであれば、液滴判断部６が使用するアルゴリズムは特に限定されない。例えば、液滴判断部６は、ハフ変換を用いてもよい。

【0138】

上記実施の形態では、撮影画像１がアナログ形式の画像信号である例を説明したが、これに限られない。撮影画像１は、ディジタル形式の画像信号であってもよい。この場合、画像取得部４は、カメラから受けた撮影画像１をＤ／Ａ（Digital to Analog）変換することにより、アナログ形式の撮影画像１を生成すればよい。

【0139】

上記実施の形態において、液滴検出装置２の各機能ブロックは、ＬＳＩ等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0140】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

【0141】

また、液滴検出装置２の各機能ブロックにより実行される処理の一部又は全部は、プログラムにより実現されるものであってもよい。上記各実施の形態の各機能ブロックの処理の一部又は全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0142】

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

【0143】

また、上記実施の形態における処理方法の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えてもよい。

【0144】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0145】

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

【0146】

以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

【符号の説明】

【0147】

２ 液滴検出装置
３ 液滴除去装置
４ 画像取得部
５ 候補領域特定部
６ 液滴判断部
７ 画素ライン取得部
８ 画素ライン決定部
９ 合成部
１０ 統計値特定部
１１ 差分計算部
１２ 領域判断部
１３ 輪郭特定部
１４ 距離計算部
１５ 距離判断部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】