特許 6772113 付着物検出装置、および、それを備えた車両システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6772113

(24)【登録日】2020年10月2日

(45)【発行日】2020年10月21日

(54)【発明の名称】付着物検出装置、および、それを備えた車両システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201012BHJP

   G08G 1/16 20060101ALI20201012BHJP

   B60R 1/00 20060101ALI20201012BHJP

   G06T 7/12 20170101ALI20201012BHJP

   G06T 7/13 20170101ALI20201012BHJP

   G06T 7/246 20170101ALI20201012BHJP

【ＦＩ】

   H04N5/232 290

   G08G1/16 C

   B60R1/00 A

   G06T7/12

   G06T7/13

   G06T7/246

【請求項の数】12

【全頁数】26

(21)【出願番号】特願2017-150190(P2017-150190)

(22)【出願日】2017年8月2日

(65)【公開番号】特開2019-29940(P2019-29940A)

(43)【公開日】2019年2月21日

【審査請求日】2019年11月29日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】萬代 浩平

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】福田 大輔

(72)【発明者】

【氏名】金子 修造

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００６−２６２２４２（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０１７３４０（ＷＯ，Ａ１）

【文献】 特開２０１４−２６０４９（ＪＰ，Ａ）

【文献】 特開２０１４−３０１８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｂ６０Ｒ １／００

Ｇ０６Ｔ ７／１２

Ｇ０６Ｔ ７／１３

Ｇ０６Ｔ ７／２４６

Ｇ０８Ｇ １／１６

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動体に設置された撮像装置が撮影する撮影画像に映る付着物を検出する付着物検出装置であって、
前記撮影画像から付着物の輪郭の領域を輪郭領域として抽出する輪郭抽出部と、
前記撮影画像から付着物の輪郭の内側の領域を内側領域として抽出する内側抽出部と、
前記輪郭領域と付着物の輪郭とを比較して、形状及び輝度のいずれかが適合するものを付着物輪郭領域として検出し、前記内側領域と付着物の輪郭の内側とを比較して、形状及び輝度のいずれかが適合するものを付着物内側領域として検出し、前記付着物輪郭領域及び前記付着物内側領域のいずれかから、付着物の輪郭及び輪郭の内側のいずれかから成る付着物の領域を付着物検出領域として検出する付着物検出領域判定部と、を備えることを特徴とする付着物検出装置。

【請求項2】

前記輪郭抽出部が、前記撮影画像から特定範囲のエッジ強度をもつエッジ領域を輪郭領域として抽出し、前記内側抽出部が、前記撮影画像から前記輪郭領域よりも弱いエッジ領域及びエッジ強度の無い領域のいずれかを内側領域として抽出することを特徴とする請求項１に記載の付着物検出装置。

【請求項3】

前記付着物検出領域に基づいて前記撮像装置のレンズの汚れ具合を判定するレンズ状態判定部をさらに備えることを特徴とする請求項１に記載の付着物検出装置。

【請求項4】

前記レンズ状態判定部が、前記付着物検出領域の位置に応じて、前記レンズの汚れ具合を表す指標の大きさを変更することを特徴とする請求項３に記載の付着物検出装置。

【請求項5】

前記付着物検出領域判定部が、前記内側領域のうち、付着物の輪郭を外側にもたないものを前記付着物内側領域から除外することを特徴とする請求項１に記載の付着物検出装置。

【請求項6】

前記付着物検出領域判定部が、前記輪郭抽出部が前記輪郭領域を抽出する抽出条件よりも抽出条件を緩和した場合に得られる弱い輪郭領域を外側にもつ前記内側領域を前記付着物内側領域から除外しないことを特徴とする請求項５に記載の付着物検出装置。

【請求項7】

前記付着物検出領域判定部が、前記付着物輪郭領域と前記付着物内側領域とを共に前記付着物検出領域として検出することを特徴とする請求項１に記載の付着物検出装置。

【請求項8】

前記付着物検出領域判定部が、互いに隣接する前記付着物輪郭領域と前記付着物内側領域とを前記付着物検出領域として検出することを特徴とする請求項１に記載の付着物検出装置。

【請求項9】

前記付着物検出領域を追跡する付着物検出領域追跡部をさらに備えることを特徴とする請求項１に記載の付着物検出装置。

【請求項10】

前記付着物検出領域判定部が過去に検出した前記付着物内側領域において、前記輪郭領域及び前記付着物輪郭領域のいずれかを前記内側領域及び前記付着物内側領域のいずれかとして扱うことを特徴とする請求項９に記載の付着物検出装置。

【請求項11】

前記付着物検出領域判定部が過去に検出した前記付着物輪郭領域及び前記付着物内側領域のいずれか、又は前記付着物検出領域を参照して、当該領域を含む画像領域に対し、前記輪郭抽出部及び前記内側抽出部のいずれかが、前記輪郭領域及び前記内側領域のいずれかの抽出条件を緩和することを特徴とする請求項９に記載の付着物検出装置。

【請求項12】

請求項１〜１１のいずれか一項に記載の付着物検出装置と、
車両に搭載されて前記車両の周辺を撮影する前記撮像装置と、
前記付着物検出領域判定部が検出した前記付着物検出領域に基づいて動作を変更する、前記撮像装置が撮影する撮影画像に対して物体及び／又は標識を検知する周囲センシング部と、を備えることを特徴とする車両システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、付着物検出装置、および、それを備えた車両システムに係り、例えば、車両等の動体に設置されたカメラのレンズ等に付着した付着物を検出する付着物検出装置、および、その付着物検出装置を備えた車両システムに関する。

【背景技術】

【0002】

車両に設置したカメラ（以下、車載カメラと称することがある）が撮影する撮影画像を用いて車両周辺の物体や標識を検出する機能（以下、周囲センシングと称する）を搭載した車両システムがある。例えば、車両背面に設置された車載カメラが撮影する撮影画像から車両後方に存在する他の車両や歩行者（以下、「障害物」と総称することがある）を検出し、音や表示灯などを介して運転者に注意を促す車両システムである。

【0003】

車載カメラのレンズに水滴や泥、ゴミなどの付着物（以下、レンズ付着物と称することがある）が付着していると、車載カメラが撮影する撮影画像にそのレンズ付着物が映り込み、レンズ付着物の背後にある景色が隠されてしまう。その結果、前記のような車両システムにおいては、レンズ付着物の背後に隠された障害物が検出されなくなってしまう。

【0004】

そこで、撮影画像からレンズ付着物を検出する方式が考案されている。例えば、特許文献１には、車両走行中に時間変化のない画像領域をレンズ付着物が映り込む領域として検出し、検出された領域の大きさが閾値を超えると、車載カメラを用いた周囲センシングを停止させる車両システムが開示されている。この方式は、車両走行時には景色が流れるのに対し、レンズ付着物の映る領域にはレンズ付着物が映り続けて変化しないことを利用したレンズ付着物検出方式である。

【0005】

ただし、車両の進行方向に一様な景色（例えば、路面、ガードレール、歩道など）が映る画像領域も車両の移動に伴わずに時間変化が生じない。そのため、特許文献１に記載のレンズ付着物検出方式では、このような景色もレンズ付着物として誤検出してしまう可能性がある。

【0006】

このような課題に対してレンズ付着物の検出精度を向上させる手法として、特許文献２には、エッジ特徴と明るさを利用する方式が開示されている。この方式では、車載カメラが撮影する撮影画像を複数の領域（ブロック）に分割した上で、まずエッジ強度が範囲内（弱エッジ）のブロックを抽出し、続いてその周囲（隣接するブロックのさらに隣り）に明るいブロックの多いブロックを抽出する。この処理により、レンズ付着物のぼけた輪郭を弱エッジとして抽出し、さらに外光を遮蔽して暗くなるレンズ付着物の領域を検出する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１２−３８０４８号公報

【特許文献2】特開２０１４−３０１８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献２に記載のレンズ付着物検出方式では、レンズ付着物のぼけた輪郭（弱エッジ）が検出されるが、その輪郭の内側は検出されない。大きなレンズ付着物ほど、輪郭よりその内側の比率が大きくなるため、上記特許文献２に記載のレンズ付着物検出方式では、大きなレンズ付着物に対する検出性能が低下してしまう。その結果、大きなレンズ付着物が付着した場合に、車載カメラの撮影画像を用いた周囲センシングを停止できない可能性がある。

【0009】

また、レンズ付着物が厚みのない水滴である場合、その輪郭は不明瞭で、輪郭の検出が困難になる。それに対し、水滴の不明瞭な輪郭を検出対象とすると、レンズ付着物と無関係の景色までもがレンズ付着物として検出されてしまう。

【0010】

本発明は、上記事情に鑑みてなされたもので、車載カメラのレンズ等に付着した水滴、泥、ゴミなどの付着物をその輪郭が不明瞭なものも含めて検出することのできる付着物検出装置、および、それを備えた車両システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上述した課題を解決するために、本発明に係る付着物検出装置は、動体に設置された撮像装置が撮影する撮影画像に映る付着物を検出する付着物検出装置であって、前記撮影画像から付着物の輪郭の領域を輪郭領域として抽出する輪郭抽出部と、前記撮影画像から付着物の輪郭の内側の領域を内側領域として抽出する内側抽出部と、前記輪郭領域と付着物の輪郭とを比較して、形状及び輝度のいずれかが適合するものを付着物輪郭領域として検出し、前記内側領域と付着物の輪郭の内側とを比較して、形状及び輝度のいずれかが適合するものを付着物内側領域として検出し、前記付着物輪郭領域及び前記付着物内側領域のいずれかから、付着物の輪郭及び輪郭の内側のいずれかから成る付着物の領域を付着物検出領域として検出する付着物検出領域判定部と、を備えることを特徴とする。

【0012】

また、本発明に係る車両システムは、前記付着物検出装置と、車両に搭載されて前記車両周辺を撮影する前記撮像装置と、前記付着物検出領域判定部が検出した前記付着物検出領域に基づいて動作を変更する、前記撮像装置が撮影する撮影画像に対して物体及び／又は標識を検知する周囲センシング部と、を備えることを特徴とする。

【発明の効果】

【0013】

本発明によれば、撮像装置のレンズ等に付着した水滴、泥、ゴミなどの付着物であって撮像装置が撮影する撮影画像に映る付着物をその輪郭が不明瞭なものも含めて高精度に検出することができる。

【0014】

また、撮像装置の撮影画像における付着物の領域を検出できるため、その付着物検出領域をその撮影画像に重ねて車室内のディスプレイ等に表示すれば、車両システムが付着物を認識していることを運転者に明示することができる。

【0015】

また、撮影画像を用いた周囲センシングにおいて、撮像装置の撮影画像における付着物の領域をマスクすれば、付着物に起因する周囲センシングの不良を抑えることもできる。

【0016】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0017】

【図1】実施形態１に係る付着物検出装置を備えた車両システムを搭載した車両を示す概略図である。

【図2】実施形態１に係る付着物検出装置を備えた車両システムの構成を示すブロック図である。

【図3】実施形態１における付着物検出装置による付着物検出処理の流れを示す概略フローチャートである。

【図4】処理領域設定処理の流れを示す概略フローチャートである。

【図5】輪郭抽出処理の流れを示す概略フローチャートである。

【図6】内側抽出処理の流れを示す概略フローチャートである。

【図7】付着物検出領域判定処理の流れを示す概略フローチャートである。

【図8】レンズ付着物のあるカメラで撮影される撮影画像の例である。

【図9】付着物検出領域がハイライトされた撮影画像の例である。

【図10】付着物検出領域がハイライトされた俯瞰画像の例である。

【図11】付着物検出領域の多い領域がハイライトされた撮影画像の例である。

【図12】付着物検出領域をマスクするマスク画像の例である。

【図13】付着物検出領域を囲う枠の内側をマスクするマスク画像の例である。

【図14】付着物検出領域の多い分割領域をマスクするマスク画像の例である。

【図15】実施形態２に係る付着物検出装置を備えた車両システムの構成を示すブロック図である。

【図16】実施形態２における付着物検出装置による付着物検出処理の流れを示す概略フローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明に係る付着物検出装置、および、その付着物検出装置を備えた車両システムの実施形態について、図面を参照して説明する。

【0019】

＜実施形態１＞
［車両システムの装置構成］
図１は、実施形態１に係る付着物検出装置を備えた車両システム１０００を搭載した車両１００を上から見下ろした図である。また、図２は、図１に示す車両システム１０００の構成を示すブロック図である。

【0020】

図示実施形態の車両システム１０００では、車両１００の車体前面に撮像装置としてのカメラ２００が設置されている。このカメラ２００は、車体前方の景色を結像するレンズ２１０と、レンズ２１０の結像を電気信号に変換する撮像素子２２０と、を備えて構成され、カメラ２００の前方の景色を撮影画像として出力する。カメラ２００が撮影する撮影画像は、車両１００に積載されている処理装置３００にケーブル等を介して転送され、処理される。

【0021】

処理装置３００は、カメラ２００の撮影画像からカメラ２００のレンズ２１０に付着した水滴や泥、ゴミといったレンズ付着物を検出する機能（以下、「付着物検出」と称する）を実行する付着物検出部（付着物検出装置）３２０を備える。

【0022】

また、処理装置３００は、カメラ２００の撮影画像から車両１００前方の障害物や標識等を検知するアプリケーション（以下、「周囲センシング」と称する）を実行する周囲センシング部３４０を備える。これには、公知の様々なアプリケーションを用いることができる。例えば、駐車場において駐車枠線を検出するものや、車両１００前方を横切る歩行者を検出するアプリケーション等が知られている。ただし、周囲センシング部３４０は、本実施形態に必要不可欠な構成要素ではなく、周囲センシング部３４０をもたない車両システム１０００であってもよい。

【0023】

さらに、処理装置３００は、周囲センシング部３４０の検出結果に基づいて車両１００を自動的に走行させる車両自動走行制御部３５０を備える。例えば、車両１００を駐車する場面では、車両１００の周辺に検出された駐車枠のいずれかに向かって車両１００を走行させる。また、車両１００の進行方向に障害物が検知されれば、車両１００を停車させる。ただし、車両自動走行制御部３５０は、本実施形態に必要不可欠な構成要素ではなく、車両自動制御走行制御部３５０をもたない車両システム１０００であってもよい。

【0024】

また、処理装置３００は、車両１００の室内（車室内）に設置された音声発生装置４０１、ディスプレイ４０２、表示灯４０３や、カメラ２００に設置された洗浄装置４０４に通信可能に接続され、これらを付着物検出部３２０が検出したレンズ付着物の情報に基づいて動作させる。例えば、レンズ２１０がレンズ付着物で酷く汚れている場合には、音声発生装置４０１やディスプレイ４０２、表示灯４０３を用いて車両１００の搭乗者にレンズ２１０の清掃を指示する。また、洗浄装置４０４を動作させて自動でレンズ２１０を清掃する。洗浄装置４０４には、公知の様々な方式が利用できる。例えば、カメラ２００に取り付けたワイパー装置でレンズ２１０表面に付着したレンズ付着物を拭い取る方式や、レンズ２１０に水や風などを当ててレンズ２１０に付着したレンズ付着物を取り除く方式などがある。ただし、本実施形態において、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４は必要不可欠な構成要素ではなく、いずれかが欠けていてもよいし、全てが無くてもよい。また、それらは、他の形態であってもよい。例えば、音声発生装置４０１の代わりに、運転席のシートベルトを振動させてもよい。

【0025】

なお、本実施形態では、カメラ２００が車両１００の車体前面に設置されて車両１００前方を撮影するが、本実施形態はこれに限定されない。例えば、車体背面に設置されて車両１００後方を撮影するカメラであってもよいし、車体側面に設置されて車両１００側方や車両１００斜め前方などを撮影するカメラであってもよいし、車室内に設置されて車両１００の外側を撮影するカメラであってもよい。また、カメラ２００は、１台であってもよいし、複数台であってもよい。

【0026】

また、本実施形態では、処理装置３００（の付着物検出部３２０）が実行する付着物検出によってカメラ２００のレンズ２１０に付着した付着物を検出するが、本実施形態は、付着物の付着先をレンズ２１０に限定するものでない。カメラ２００の撮像素子２２０の前方にあって、車両１００ないしはカメラ２００に固定された透明な面に付着する付着物を検出対象とする。例えば、カメラ２００が車両１００の車室内に設置される場合、カメラ２００のレンズ２１０だけでなく、カメラ２００の前方にある車両１００のフロントガラスに付着した付着物であってカメラ２００の撮影画像に映る付着物も検出対象とする。

【0027】

また、本実施形態では、処理装置３００が、カメラ２００と分離され、ケーブル等で接続されているが、本実施形態はこれに限定されない。例えば、処理装置３００とカメラ２００とが無線通信で接続されてもよい。また、処理装置３００がカメラ２００に内蔵されていてもよい。

【0028】

また、本実施形態では、処理装置３００は、車両１００に積載されているが、車両１００の外部に設置してもよい。その場合、処理装置３００は、車両１００に積載されているカメラ２００、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４とは無線通信を介したネットワークで接続される。

【0029】

また、本実施形態では、レンズ２１０のレンズ付着物の情報を車両１００の車室内の搭乗者に通知するが、本実施形態はこれに限定されない。音声発生装置４０１、ディスプレイ４０２、表示灯４０３を車両１００の外部に設置し、車両１００の外部に通知してもよい。これは、例えば、音声発生装置４０１やディスプレイ４０２、表示灯４０３の機能を設けた携帯型端末を、無線通信ネットワークを介して処理装置３００に接続することで実現できる。

【0030】

［車両システムの機能構成］
図２を用いて、実施形態１に係る車両システム１０００の構成とその機能をより詳しく説明する。

【0031】

本実施形態１に係る車両システム１０００は、前述したように、車両１００に搭載され、図２に示すように、カメラ２００と、車両情報取得部３１０と付着物検出部３２０と出力情報生成部３３０と周囲センシング部３４０と車両自動走行制御部３５０とを備えた処理装置３００と、音声発生装置４０１と、ディスプレイ４０２と、表示灯４０３と、洗浄装置４０４と、を備える。

【0032】

カメラ２００は、車両１００の前方を撮影して撮影画像を生成する。ただし、本実施形態はこれに限定されない。先述した通り、車両１００の後方や側方を撮影して撮影画像を生成してもよい。

【0033】

処理装置３００の周囲センシング部３４０は、車両１００の前方にある物体や標識等をカメラ２００の撮影画像から検知する。なお、ソナーなどカメラ２００以外の外界認識装置を併用して車両１００の前方にある物体や標識等を検知する車両システム１０００であってもよい。

【0034】

車両自動走行制御部３５０は、周囲センシング部３４０の検出結果に基づいて車両１００の各種アクチュエータ（エンジン、アクセル、ブレーキ、シフト、ステアリング等）を制御して当該車両１００を自動的に走行させる。

【0035】

車両情報取得部３１０は、車両１００に設けられたセンサで測定された車両情報が集約される車両システム１０００から車両情報（車速など）を取得する。ただし、本実施形態はこれに限定されない。前記のセンサから車両情報を直接取得してもよい。また、付着物検出部３２０の処理に車両情報を用いない場合には、この処理部を省略することもできる。

【0036】

付着物検出部３２０は、輪郭抽出部３２１と、内側抽出部３２２と、付着物検出領域判定部３２３と、レンズ状態判定部３２４と、から構成され、車両情報取得部３１０によって取得される車両情報（車速など）に基づいてカメラ２００の撮影画像を処理する。ここで、輪郭抽出部３２１は、カメラ２００の撮影画像からレンズ付着物の輪郭の特徴をもつ領域（輪郭領域）を抽出する。内側抽出部３２２は、カメラ２００の撮影画像からレンズ付着物の（輪郭の）内側の特徴をもつ領域（内側領域）を抽出する。付着物検出領域判定部３２３は、輪郭領域および内側領域に基づいてレンズ付着物の映る領域（付着物検出領域）を検出する。レンズ状態判定部３２４は、付着物検出領域に基づいてカメラ２００のレンズ２１０の汚れ具合を判定する。なお、この付着物検出部３２０による付着物検出処理については、後で詳述する。

【0037】

出力情報生成部３３０は、付着物検出部３２０の付着物検出領域判定部３２３が検出した付着物検出領域ないしはレンズ状態判定部３２４が判定したレンズ状態に基づいた情報を生成し、周囲センシング部３４０および車両自動走行制御部３５０、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４のそれぞれに出力する。

【0038】

｛出力情報生成部３３０の処理｝
前記出力情報生成部３３０の処理について、より詳しく説明する。

【0039】

出力情報生成部３３０は、周囲センシング部３４０、車両自動走行制御部３５０、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４のそれぞれに、付着物検出部３２０が検出したレンズ２１０の付着物検出領域や汚れ具合に基づく信号を生成して入力する。

【0040】

例えば、レンズ２１０の汚れ具合が酷い場合、周囲センシング部３４０に周囲センシングを停止させる信号を入力し、車両自動走行制御部３５０に車両１００を停車させる命令を入力する。また、レンズ２１０が酷く汚れていることや周囲センシング部３４０による周囲センシングを停止すること、車両１００を停車することを、音声発生装置４０１から発する音声や、ディスプレイ４０２に表示される文字やアイコン、表示灯４０３の色等で、車両１００の搭乗者に通知する。また、洗浄装置４０４にレンズ２１０を清掃させる命令を入力する。

【0041】

なお、本実施形態の出力情報生成部３３０の動作は、上記内容に限定されない。

【0042】

例えば、ディスプレイ４０２に、図８に示すようなカメラ２００の撮影画像６０００を表示する場合に、図９に示すように、付着物検出部３２０が検出した付着物検出領域６１００を囲う枠６２００を表示してハイライトしてもよい。また、カメラ２００の撮影画像を座標変換して車両１００とその周辺を上空から見下ろした画像（俯瞰画像）７０００をディスプレイ４０２に表示する場合、図１０に示すように、俯瞰画像７０００上の付着物検出領域７１００を囲う枠７２００を俯瞰画像７０００に重ねて表示してもよい。このような処理により、車両システム１０００がレンズ２１０の付着物を認識していることを車両１００の搭乗者に明示できる。なお、瞬間的に誤って付着物として検出した領域をハイライトしないために、一定以上の時間継続して検出された付着物検出領域をハイライトするようにしてもよい。

【0043】

また、図１１に示すように、カメラ２００の撮影画像６０００を複数の領域（分割領域）に分割して、分割領域ごとに付着物検出領域６１００の面積を判定し、付着物検出領域６１００の面積が閾値以上となる分割領域をハイライトして、ディスプレイ４０２に表示してもよい。図１１に示す例では、カメラ２００の撮影画像６０００が横方向で３つの分割領域６３０１、６３０２、６３０３に分割され、付着物検出領域６１００の面積が大きい分割領域（図１１中、右側の分割領域）６３０３が実線でハイライトされている。なお、処理装置３００がレンズ付着物の種類に応じて複数の異なる付着物検出部３２０を備える場合、レンズ付着物の種類に応じて分割領域を変更したり、付着物検出領域６１００の面積の判定に用いる閾値（判定閾値）を変更したりしてもよい。

【0044】

また、出力情報生成部３３０は、付着物検出部３２０の付着物検出領域判定部３２３が検出した付着物検出領域に基づいて、周囲センシング部３４０に利用すべきでない領域を除外するマスク画像を生成するマスク領域生成部３３１を備えてもよい。例えば、マスク領域生成部３３１は、図８の撮影画像６０００における付着物検出領域６１００をそのままマスクする図１２のようなマスク画像８００１を生成する。なお、瞬間的に誤って付着物として検出した領域をマスクしないように、一定以上の時間継続して検出された付着物検出領域をマスクするようにマスク画像を生成してもよい。また、本実施形態のマスク領域生成部３３１が生成するマスク画像は、この例に限定されない。上記以外にも、図９のような付着物検出領域６１００を囲う枠６２００の内側をマスクする図１３のようなマスク画像８００２を生成してもよいし、図１１のような付着物検出領域６１００の多い分割領域６３０３全体をマスクする図１４のようなマスク画像８００３を生成してもよい。なお、周囲センシング部３４０の周囲センシング能力に応じて、分割領域６３０３の範囲や判定閾値を変更してもよい。例えば、20画素未満の領域が欠損しても正常に機能する周囲センシングに対しては、分割領域の面積や判定閾値を20画素以上とすることが考えられる。

【0045】

マスク領域生成部３３１が生成したマスク画像は、周囲センシング部３４０や車両自動走行制御部３５０に転送される。周囲センシング部３４０は、このマスク画像でカメラ２００の撮像画像からレンズ付着物のある領域を除外し、周囲センシングに用いる。これにより、レンズ付着物に影響されない周囲センシングが可能となる。ただし、マスク画像でマスクされた領域にある物体や標識等は検知されないため、周囲センシング部３４０は、マスク画像でマスクされた領域を不明領域として出力してもよい。また、車両自動走行制御部３５０は、マスク画像で除外される領域をカメラ２００の撮影画像を用いた周囲センシング部３４０における不明領域と認識して、そこに障害物や移動体があると仮定して車両を制御する。例えば、車両自動走行制御部３５０は、不明領域には車両１００を進行させないといった車両制御を行う。

【0046】

｛付着物検出部３２０の付着物検出処理｝
以下、図３〜７のフローチャートを用いて、実施形態１に係る付着物検出部（付着物検出装置）３２０における付着物検出処理について詳細に説明する。

【0047】

図３のフローチャートに示すように、実施形態１に係る付着物検出部３２０における付着物検出処理は、主に、付着物検出処理の前処理としての車両情報取得処理（ステップＳ３１０）および車速判定処理（ステップＳ３１１）と、処理領域設定処理（ステップＳ３２０）と、輪郭抽出処理（ステップＳ３２１）と、内側抽出処理（ステップＳ３２２）と、抽出判定処理（ステップＳ３２８）と、付着物検出領域判定処理（ステップＳ３２３）と、蓄積初期化処理（ステップＳ３２９）と、レンズ状態判定処理（ステップＳ３２４）と、から成り、これらの処理を周期的に連続して実行する。

【0048】

（車両情報取得処理および車速判定処理）
車両情報取得処理（ステップＳ３１０）および車速判定処理（ステップＳ３１１）は、処理装置３００の車両情報取得部３１０により実行される。車両情報取得処理（ステップＳ３１０）では、車両１００に設けられた速度センサによって測定される車両１００の走行速度（車速）を車両システム１０００から取得する。つづく車速判定処理（ステップＳ３１１）では、その車速が所定速度以上（例えば10km/h以上）であるか否かを判定する。車速が所定速度以上の場合（Yes）は、次の処理領域設定処理（ステップＳ３２０）に進み、所定速度未満の場合（No）は、レンズ２１０の付着物の検出処理（ステップＳ３２０以降、ステップＳ３２９までの処理）をスキップしてレンズ状態判定処理（ステップＳ３２４）に進む。このスキップ処理は、車速が低下した場合、レンズ２１０の付着物を検出する処理（ステップＳ３２０以降、ステップＳ３２９までの処理）において、車両１００の走行に伴って変化する背景を付着物検出領域から除外する処理が有効に機能せず、誤検出が増加するためである。ただし、レンズ２１０の付着物を検出する処理（ステップＳ３２０以降、ステップＳ３２９までの処理）の性能が高く、車速低下時における誤検出が少ない場合には、車両情報取得部３１０、および車両情報取得処理（ステップＳ３１０）、車速判定処理（ステップＳ３１１）を省略してもよい。

【0049】

なお、前記の車速判定処理（ステップＳ３１１）において、判定に用いる車速の閾値（車速判定閾値）は固定値でなくてもよい。例えば、前回に実行した付着物検出処理において、レンズ２１０の付着物の検出処理（ステップＳ３２０以降、ステップＳ３２９までの処理）をスキップしたか否かによって、判定閾値を変更してもよい。例えば、レンズ２１０の付着物の検出処理をスキップした場合には、判定閾値を小さくして、付着物検出処理を実行しやすくすることが考えられる。

【0050】

また、本実施形態では、車速判定処理（ステップＳ３１１）において、車速を処理の分岐判定に用いているが、本実施形態はこれに限定されない。例えば、車両１００のシフトレバーの状態や車輪の向きなどの他の車両情報を判定基準に用いてもよい。また、複数の車両情報を複合して判定基準に用いてもよい。例えば、車輪が前を向いていて、且つ車速が10km/h以上の場合にのみ、レンズ２１０の付着物の検出処理を実行するようにしてもよい。

【0051】

（処理領域設定処理）
処理領域設定処理（ステップＳ３２０）は、付着物検出部３２０において種々の処理を行う前に実行される。処理領域設定処理（ステップＳ３２０）の詳細を図４のフローチャートを用いて説明する。

【0052】

まず、カメラ２００の撮影画像の各画素に対応する世界座標を取得する（ステップＳ３２０１）。ここで、撮影画像に映る被写体は全て高さのない平面と仮定し、取得する世界座標は車両１００からの距離と方向とする。

【0053】

次に、カメラ２００の撮影画像においてレンズ付着物が現れる可能性のある領域（レンズ付着物出現領域）を取得する（ステップＳ３２０２）。例えば、カメラフードで覆われてレンズ付着物が付着しない領域を除いた領域とする。ただし、本実施形態はこれに限定されない。車両１００、すなわち自車の車体が映る領域のように、レンズ付着物が付着する可能性はあるものの、レンズ付着物がなくとも景色の映らない領域がある。この領域を除く画像領域を、レンズ付着物出現領域として取得してもよい。

【0054】

続いて、付着物検出部３２０がレンズ付着物を検出可能な領域（レンズ付着物検出可能領域）を取得する（ステップＳ３２０３）。例えば、レンズ付着物の全体形状を取得できない撮影画像の端や、車両１００の走行に伴う変化の小さい遠方の領域など、付着物検知の検知性能が低下する領域がある。これらの領域を除いた画像領域を、レンズ付着物検出可能領域として取得する。

【0055】

次に、カメラ２００の撮影画像を用いた周囲センシング部３４０の周囲センシングがレンズ付着物によって阻害されうる領域（レンズ付着物阻害領域）を取得する（ステップＳ３２０４）。例えば、周囲センシング部３４０が駐車枠検出を行う場合、その検出範囲である路面に重なるレンズ付着物によって機能が阻害されうるため、路面の映る領域を、レンズ付着物阻害領域として取得する。

【0056】

なお、ステップＳ３２０２〜３２０４のそれぞれにおいてステップＳ３２０１で取得した世界座標を用いることができる。例えば、ステップＳ３２０２において世界座標を元に車体が映る領域を除いたり、ステップＳ３２０３において付着物検出の精度が低下する車両１００から一定距離以上離れた遠方の領域を除いたりする。

【0057】

そして、ステップＳ３２０２〜３２０４で取得した各領域を統合して、付着物検出処理のための処理領域を生成する（ステップＳ３２０５）。

【0058】

（輪郭抽出処理）
輪郭抽出処理（ステップＳ３２１）は、付着物検出部３２０の輪郭抽出部３２１により実行され、レンズ付着物の輪郭の特徴をもつ領域（輪郭領域）を抽出する。この輪郭抽出処理（ステップＳ３２１）の実施形態を図５のフローチャートを用いて説明する。

【0059】

まず、カメラ２００の撮影画像を縮小する（ステップＳ３２１１）。この処理は、後の処理負荷を軽減するために行われるものであり、本実施形態においてはこの処理を省略してもよい。

【0060】

次に、縮小した撮影画像からエッジ画像を生成する（ステップＳ３２１２）。ここでエッジ画像の生成には、公知の様々な手法を用いることができる。例えば、撮影画像にソーベルフィルタやラプラシアンフィルタをかける方式などが知られている。

【0061】

続いて、ステップＳ３２１２で生成したエッジ画像から、レンズ付着物の輪郭に相当する特定範囲のエッジ強度をもつエッジ領域を抽出する（ステップＳ３２１３）。例えば、エッジ強度が中強度の領域（ぼけエッジ領域）を抽出する。この処理により、カメラ２００からの距離が短く、カメラ２００の焦点が合わないことでレンズ付着物の周囲に現れるぼけや、厚みのあるレンズ付着物の輪郭に現れる影が抽出される。

【0062】

なお、本実施形態は抽出するエッジ強度を限定しない。例えば、レンズ付着物が水滴の場合、水滴に映り込む景色にも中強度のエッジが現れることがあり、そのエッジ強度を抽出する範囲に含めることで、水滴の映り込みも併せて検出することができる。また、レンズ付着物として夜間に水滴や水滴痕を検出する場合、これらは街灯の光で白く輝き、その輪郭に強いエッジを生じるため、夜間（言い換えれば、周囲の照度が低いとき）には、ぼけエッジ領域として抽出するエッジ強度に強エッジを含めてもよい。

【0063】

次に、輪郭抽出処理（ステップＳ３２１）が実行される度、ぼけエッジ領域抽出処理（ステップＳ３２１３）が抽出したぼけエッジ領域を蓄積する（ステップＳ３２１４）。

【0064】

そして、次の蓄積回数判定処理（ステップＳ３２１５）で、蓄積回数が閾値（輪郭蓄積判定閾値）以上であれば輪郭領域抽出処理（ステップＳ３２１６）を実行し、蓄積回数が輪郭蓄積判定閾値未満であれば輪郭抽出処理（ステップＳ３２１）を終了する。輪郭領域抽出処理（ステップＳ３２１６）では、輪郭蓄積判定閾値以上の頻度で出現したぼけエッジ領域を輪郭領域として抽出し、輪郭抽出処理（ステップＳ３２１）を終了する。この処理により、出現頻度の低いぼけエッジ領域をノイズとして除去することができる。ここで、蓄積回数判定処理（ステップＳ３２１５）における輪郭蓄積判定閾値は固定値でなくともよい。例えば、カメラ２００の照度センサや撮影画像の明るさに基づいて、ノイズの多い明るい場面では輪郭蓄積判定閾値を上げてもよい。なお、ステップＳ３２１３で抽出されるぼけエッジ領域にノイズが少なければ、一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）を省略してもよい。

【0065】

これらの一連の処理によって、レンズ付着物の輪郭（輪郭領域）が抽出される。

【0066】

ただし、上記の例はレンズ付着物の輪郭を抽出する手法の一例であって、本実施形態はこれに限定されない。以下に他の例を示す。

【0067】

（輪郭抽出処理の別形態１）
輪郭抽出処理（ステップＳ３２１）では、レンズ付着物の輪郭の特徴として中強度エッジを抽出したが、他の特徴を用いてもよい。例えば、レンズ付着物が特異な形状をもつ場合、上述したステップＳ３２１２、Ｓ３２１３をその特異な形状を抽出する処理に置き換えてもよい。例えば、水滴のように輪郭が円形になるレンズ付着物を検出する場合、撮影画像に円抽出処理を施すことで、水滴の輪郭領域を抽出できる。また、ステップＳ３２１２が生成するエッジ画像や、ステップＳ３２１３が抽出するぼけエッジ領域は、レンズ付着物の輪郭が強調されているため、このエッジ画像やぼけエッジ領域に円抽出処理を施し、水滴の輪郭領域の抽出精度を向上させてもよい。ここで、円抽出には、公知の方式を用いることができる。例えば、ハフ変換を用いた円抽出処理が知られている。なお、この方式を用いれば、ノイズを含むぼけエッジ領域から水滴の輪郭を抽出できるため、ノイズを除去する一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）を省略できる。ただし、蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）は、上述の円抽出における誤検出を抑える効果もあるため、誤検出が多い場合には、前記の蓄積処理等を実行するのがよい。

【0068】

（輪郭抽出処理の別形態２）
また、一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）は、ノイズを低減する公知の手法に置き換えてもよい。例えば、ステップＳ３２１３でぼけエッジ領域を抽出した画像にクロージング処理を施せば、隣接に領域のない孤立したノイズを削除することができる。

【0069】

（輪郭抽出処理の別形態３）
また、レンズ付着物の輪郭は輝度のばらつき（輝度分散）が小さく、また、周波数が低いという特徴がある。そこで、エッジ画像生成処理（ステップＳ３２１２）の別形態として、複数の画素をもつ領域ごとに輝度分散ないしは周波数を抽出し、ぼけエッジ領域抽出処理（ステップＳ３２１３）では、輝度分散ないしは周波数が所定の範囲内となる領域をぼけエッジ領域として抽出してもよい。ここで、抽出する輝度分散ないしは周波数の範囲は、レンズ付着物の輪郭のぼけや影に合わせて設定される。この処理を、エッジ画像生成処理（ステップＳ３２１２）およびぼけエッジ領域抽出処理（ステップＳ３２１３）に置き換える。

【0070】

（輪郭抽出処理の別形態４）
また、レンズ付着物の輪郭には、色や輝度が輪郭の外側に向かって単調に変化する特徴があるので、このような領域（グラデーション領域）を抽出してもよい。例えば、撮影画像を横方向に走査して、輝度が一定の長さに亘って一定の変化量で単調に増加ないしは減少する領域を抽出すれば、縦向きの輪郭を抽出できる。ここで、抽出する長さと変化量は、レンズ付着物の輪郭の幅とその輝度変化量に合わせて設定される。この処理を、エッジ画像生成処理（ステップＳ３２１２）およびぼけエッジ領域抽出処理（ステップＳ３２１３）に置き換える。

【0071】

（輪郭抽出処理の別形態５）
また、レンズ付着物のぼけた輪郭は、背景が透過するが、その輝度は元の背景の輝度と異なる。レンズ付着物が暗い場合、透過した背景の輝度は暗くなり、レンズ付着物が明るい場合、透過した背景の輝度は明るくなる。そこで、車両１００の移動によって撮影画像上の位置が変化した物体（路面など）を抽出し、車両１００の移動の前後で輝度が常に暗く、または明るく変化する領域を抽出してもよい。この処理を、エッジ画像生成処理（ステップＳ３２１２）およびぼけエッジ領域抽出処理（ステップＳ３２１３）に置き換える。

【0072】

（輪郭抽出処理の別形態６）
また、レンズ付着物の輪郭の異なる特徴を抽出する上述の処理を複数組み合わせてレンズ付着物の輪郭（ぼけエッジ領域）を抽出することもできる。

【0073】

（内側抽出処理）
次の内側抽出処理（ステップＳ３２２）は、付着物検出部３２０の内側抽出部３２２により実行され、レンズ付着物の輪郭の内側の特徴をもつ領域（内側領域）を抽出する。この内側抽出処理（ステップＳ３２２）の実施形態を図６のフローチャートを用いて説明する。

【0074】

まず、カメラ２００の撮影画像を縮小する（ステップＳ３２２１）。この処理は、後の処理負荷を軽減するために行われるものであり、本実施形態においてはこの処理は省略してもよい。また、輪郭抽出処理（ステップＳ３２１）の撮影画像縮小処理（ステップＳ３２２１）が生成する画像を利用することで、この処理を省略してもよい。

【0075】

次に、縮小した撮影画像からエッジ画像を生成する（ステップＳ３２２２）。ここでエッジ画像の生成には、公知の様々な手法を用いることができる。例えば、撮影画像にソーベルフィルタやラプラシアンフィルタをかける方式などが知られている。なお、輪郭抽出処理（ステップＳ３２１）のエッジ画像生成処理（ステップＳ３２２２）が生成するエッジ画像を利用することで、この処理を省略してもよい。

【0076】

なお、このステップＳ３２２２は、レンズ付着物の領域とレンズ付着物でない領域との違いを強調するように、路面に現れるような細かいエッジを強調したエッジ画像を生成してもよい。例えば、撮影画像縮小処理（ステップＳ３２２１）によって細かいエッジの情報が失われるため、この処理を省略することで、細かいエッジを強調することができる。

【0077】

続いて、ステップＳ３２２２で生成したエッジ画像から、レンズ付着物の輪郭の内側に相当するエッジ強度をもつ領域を抽出する（ステップＳ３２２３）。例えば、エッジ強度がほとんどない領域（小エッジ領域）（言い換えれば、輪郭抽出処理（ステップＳ３２１）で抽出した輪郭領域よりも弱いエッジ領域、あるいは、エッジ強度の無い領域）を抽出する。この処理により、カメラ２００からの距離が短く、カメラ２００の焦点が合わないこともあってエッジのほとんど現れないレンズ付着物を抽出できる。このステップＳ３２２３で抽出するエッジ強度は、レンズ付着物の輪郭の内側の弱いエッジ強度に合わせて設定される。

【0078】

なお、本実施形態は抽出するエッジ強度を限定しない。例えば、レンズ付着物が水滴の場合、水滴に映り込む景色にも中強度のエッジが現れることがあり、そのエッジ強度を抽出する範囲に含めることで、水滴の映り込みも併せて検出することができる。

【0079】

次に、内側抽出処理（ステップＳ３２２）が実行される度、小エッジ領域抽出処理（ステップＳ３２２３）によって抽出される小エッジ領域を蓄積する（ステップＳ３２２４）。

【0080】

そして、次の蓄積回数判定処理（ステップＳ３２２５）で、蓄積回数が閾値（内側蓄積判定閾値）以上であれば内側領域抽出処理（ステップＳ３２２６）を実行し、蓄積回数が内側蓄積判定閾値未満であれば内側抽出処理（ステップＳ３２２）を終了する。内側領域抽出処理（ステップＳ３２２６）では、内側蓄積判定閾値以上の頻度で出現した小エッジ領域を内側領域として抽出し、内側抽出処理（ステップＳ３２２）を終了する。この処理により、出現頻度の低い小エッジ領域をノイズとして除去することができる。ここで、蓄積回数判定処理（ステップＳ３２２５）における内側蓄積判定閾値は固定値でなくともよい。例えば、カメラ２００の照度センサや撮影画像の明るさに基づいて、ノイズの多い明るい場面では内側蓄積判定閾値を上げてもよい。なお、ステップＳ３２２３で抽出される小エッジ領域にノイズが少なければ、一連の蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）を省略してもよい。

【0081】

これらの一連の処理によって、レンズ付着物の輪郭の内側（内側領域）が抽出される。

【0082】

ただし、上記の例はレンズ付着物の輪郭の内側を抽出する手法の一例であって、本実施形態はこれに限定されない。以下に他の例を示す。

【0083】

（内側抽出処理の別形態１）
泥などのレンズ付着物は外光を遮るため、輪郭の内側の輝度が低い。そこで、輝度の低い領域をレンズ付着物の輪郭の内側（小エッジ領域）として抽出する。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。

【0084】

（内側抽出処理の別形態２）
また、レンズ付着物が水滴や水滴痕の場合、これらは夜間に街灯の光で白く輝くため、夜間には輝度の高い領域を抽出する処理としてもよい。ここで抽出する輝度の範囲は、夜間に街灯の光で輝く水滴や水滴痕に合わせて設定する。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。

【0085】

（内側抽出処理の別形態３）
また、カメラ２００で撮影したカラーの撮影画像においてレンズ付着物の輪郭の内側はグレー系統であることが多い。そこで、グレー系統の領域をレンズ付着物の輪郭の内側（小エッジ領域）として抽出する。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。

【0086】

（内側抽出処理の別形態４）
また、レンズ付着物の輪郭の内側のパターン形状を予め取得し、取得したパターン形状とのマッチング（パターンマッチング）によってレンズ付着物の輪郭の内側の小エッジ領域を抽出する方法もある。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。なお、本例のパターンを用いる方法はこれに限定されない。例えば、レンズ付着物の輪郭のエッジのパターンを用いてもよい。その場合、エッジ画像生成処理（ステップＳ３２２２）で生成したエッジ画像からパターンを抽出することができる。

【0087】

（内側抽出処理の別形態５）
また、レンズ付着物が特異な形状をもつ場合、ステップＳ３２２２、Ｓ３２２３をその特異な形状を抽出する処理に置き換えてもよい。例えば、水滴のように形状が円形になるレンズ付着物を検出する場合、撮影画像に円抽出処理を施すことで、水滴を抽出することができる。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。なお、ステップＳ３２２２で生成されるエッジ画像や、ステップＳ３２２３で抽出される小エッジ領域に円抽出処理を施してもよい。円抽出には、公知の方式を用いることができる。例えば、円形状とのマッチング処理や、ハフ変換を用いる方法がある。ハフ変換を用いる場合は、小エッジ領域の輪郭をエッジ抽出処理で抽出した後、ハフ変換を用いれば、円領域の輪郭を抽出できる。これらの方式を使用すれば、ノイズを含む小エッジ領域から水滴の輪郭の内側（小エッジ領域）を抽出できるため、ノイズを除去する一連の蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）を省略できる。ただし、この蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）は、上述の円抽出における誤検出を抑える効果もあるため、誤検出が多い場合には、前記の蓄積処理等を実行するのがよい。

【0088】

（内側抽出処理の別形態６）
また、一連の蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）は、ノイズを低減する公知の手法に置き換えてもよい。例えば、ステップＳ３２２３で小エッジ領域を抽出した画像にクロージング処理を実行すれば、隣接に領域のない孤立したノイズが削除される。また、ステップＳ３２２３で抽出される小エッジ領域にノイズが少なければ、一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）を省略してもよい。

【0089】

（内側抽出処理の別形態７）
また、レンズ付着物の輪郭の内側の領域は輝度分散が小さく、また、周波数が低いという特徴がある。そこで、エッジ画像生成処理（ステップＳ３２２２）では、複数の画素をもつ領域ごとに輝度分散ないしは周波数を抽出し、小エッジ領域抽出処理（ステップＳ３２２３）では、輝度分散ないしは周波数が閾値以下となる領域を小エッジ領域として抽出してもよい。ここで、抽出する輝度分散ないしは周波数の閾値は、レンズ付着物の輪郭の内側の特徴に合わせて設定される。

【0090】

（内側抽出処理の別形態８）
また、レンズ付着物の輪郭の内側は、背景が透過しないものが多い。そこで、車両１００の移動によって撮影画像上の位置が変化した物体（路面など）を抽出し、車両１００の移動の前後で輝度が常に一定値にまたは一定量だけ変化する領域を抽出してもよい。これらの処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。

【0091】

（内側抽出処理の別形態９）
また、レンズ付着物の輪郭の内側の異なる特徴を抽出する上述の処理を複数組み合わせてレンズ付着物の輪郭の内側（小エッジ領域）を抽出することもできる。

【0092】

なお、前述の輪郭抽出処理（ステップＳ３２１）および内側抽出処理（ステップＳ３２２）の各処理は、順不同である。

【0093】

（抽出判定処理）
次の抽出判定処理（Ｓ３２８）は、付着物検出部３２０の付着物検出領域判定部３２３により実行され、輪郭抽出部３２１（の輪郭抽出処理（ステップＳ３２１））と内側抽出部３２２（の内側抽出処理（ステップＳ３２２））とがそれぞれ輪郭領域と内側領域を抽出したか否かを判定する。輪郭領域と内側領域が抽出されている場合に、続く付着物検出領域判定処理（ステップＳ３２３）と蓄積初期化処理（ステップＳ３２９）を実行し、輪郭領域と内側領域が抽出されていない場合には、これらの処理（ステップＳ３２３、Ｓ３２９）をスキップしてレンズ状態判定処理（ステップＳ３２４）に進む。

【0094】

（付着物検出領域判定処理）
付着物検出領域判定処理（ステップＳ３２３）は、付着物検出部３２０の付着物検出領域判定部３２３により実行され、輪郭抽出部３２１と内側抽出部３２２がそれぞれ輪郭領域と内側領域を抽出する度に、輪郭領域及び内側領域がレンズ付着物の輪郭及び輪郭の内側か否かを判定し、レンズ２１０に付着したレンズ付着物の領域（付着物検出領域）を検出する。

【0095】

この付着物検出領域判定処理（ステップＳ３２３）の実施形態を図７のフローチャートを用いて説明する。

【0096】

（輪郭領域のグループ化処理）
まず、前述の輪郭抽出処理（ステップＳ３２１）で抽出した輪郭領域を連接するもの同士でグループ化（グルーピング）する（ステップＳ３２３１）。このグルーピングには、公知のグルーピング処理を用いることができ、例えば、画像のラベリング処理を用いればよい。

【0097】

（輪郭領域の形状判定処理）
次に、ステップＳ３２３１でグルーピングした輪郭領域ごとに、その形状の特徴がレンズ付着物の輪郭の形状の特徴に合致する（適合する）か否かを比較・判定する（ステップＳ３２３２）。

【0098】

形状の特徴はレンズ付着物の種類によって異なるが、一定の幅があることや、面積の上限があることが普遍的な特徴である。そのため、グルーピングした輪郭領域の幅や面積が所定の範囲内にあるか否かを判定すればよい。

【0099】

また、水滴のように円いレンズ付着物の場合には、グルーピングした輪郭領域に対して円判定を行ってもよい。円判定には、公知の手法を用いることができる。例えば、ハフ変換による円抽出処理を用いることで、処理範囲内に円形状のものが抽出できるか否かを判定できる。

【0100】

ただし、輪郭抽出処理（ステップＳ３２１）のエッジ画像生成処理（ステップＳ３２１２）におけるエッジ画像の生成手法によっては、エッジ画像にレンズ付着物の輪郭の全容が現れない。例えば、横方向のエッジを抽出するソーベルフィルタを用いてエッジ画像を生成した場合、エッジ画像には、レンズ付着物の輪郭の縦長の部分だけが抽出される。そのため、円い水滴に対しても先述の円判定が有効に機能しない。この場合、グルーピングした輪郭領域の長さや傾きが所定の範囲内にあるか否かを判定するようにしてもよい。領域の傾きは、例えば直線近似により求めることができる。この直線近似には、公知の手法を用いることができ、例えば、最小二乗法やハフ変換による直線抽出が利用できる。また、傾斜のある直線は、領域を囲む矩形に対する面積比率（矩形占有率）が低下するため、傾斜角に準ずる値として、この矩形占有率などを用いてもよい。

【0101】

（輪郭領域の輝度判定処理）
次に、形状判定された輪郭領域のグループに対して、その輝度がレンズ付着物の輪郭の輝度の特徴を備える（適合する）か否かを比較・判定する（ステップＳ３２３３）。

【0102】

レンズ付着物の輪郭には淡い輝度が広がっているため、例えば、グルーピングした輪郭領域ごとに輝度値の分散を求め、分散が所定の範囲内にあるか否かを判定する。ただし、本実施形態はこれに限定されない。上記以外にも、グルーピングした輪郭領域ごとに周波数成分を求め、周波数成分の平均が所定の範囲内にあるか否かを判定してもよい。

【0103】

また、レンズ付着物の輪郭には、色や輝度が輪郭の外側に向かって単調に変化するという特徴があるので、このような領域（グラデーション領域）を抽出してもよい。例えば、撮影画像を横方向に走査して、輝度が一定の長さに亘って一定の変化量で単調に増加ないしは減少する領域を抽出すればよい。ここで、一定の長さと変化量は、レンズ付着物の輪郭の幅とその輝度変化量に合わせて設定される。

【0104】

（輪郭領域の内側判定処理）
次に、形状および輝度が判定された輪郭領域のグループに対して、これがレンズ付着物の内側に隣接するか否かを判定する（ステップＳ３２３４）。通常、レンズ付着物には輪郭だけでなく内側も現れるため、レンズ付着物の内側が隣接しない輪郭領域はレンズ付着物ではないものと判定されるので、そのような輪郭領域を除外する。このレンズ付着物の内側としては、内側抽出部３２２が抽出した小エッジ領域などを利用できる。

【0105】

ただし、グループ化された輪郭が小さい場合、対応するレンズ付着物の大きさも小さく、その内側領域が抽出されていない場合がある。そこで、輪郭が小さい場合は、内側抽出処理（ステップＳ３２２）が抽出しない特徴の弱い内側領域を用いてもよい。この特徴の弱い内側領域は、例えば、内側抽出処理（ステップＳ３２２）が小エッジ領域抽出処理（ステップＳ３２２３）で抽出するエッジ強度の範囲をより強い強度にまで広げた別の小エッジ抽出処理によって生成できる。

【0106】

これらの処理によって、輪郭抽出処理（ステップＳ３２１）で抽出した輪郭領域からレンズ付着物の輪郭（付着物輪郭領域）を検出する。このようにレンズ付着物の輪郭のみを抽出することで、輪郭の割合が大きい小粒なレンズ付着物なども効果的に検出できる。

【0107】

なお、ステップＳ３２３２〜Ｓ３２３４に用いられる種々の判定処理は互いに順不同であり、また、全てを実行する必要もない。また、２つ以上の判定処理を併せて、複合的に判定してもよい。

【0108】

（内側領域のグループ化処理）
次に、前述の内側抽出処理（ステップＳ３２２）で抽出した内側領域を連接するもの同士でグループ化（グルーピング）する（ステップＳ３２３５）。このグルーピングには、公知のグルーピング処理を用いることができ、例えば、画像のラベリング処理を用いればよい。

【0109】

（内側領域の形状判定処理）
次に、ステップＳ３２３５でグルーピングした内側領域ごとに、その形状がレンズ付着物の輪郭の内側の形状に適した特徴を備える（適合する）か否かを比較・判定する（ステップＳ３２３６）。

【0110】

形状の特徴はレンズ付着物の種類によって異なるが、一定の幅があることや、面積の下限および上限があることが普遍的な特徴である。そのため、グルーピングした内側領域の幅や面積が所定の範囲内にあるか否かを判定すればよい。

【0111】

また、この他にも、レンズ付着物は塊になりやすいという特徴がある。そのため、レンズ付着物の縦幅と横幅が同程度になりやすく、また、外接矩形に対する占有比（矩形占有率）は円の値（0.785）付近になりやすい。そこで、グルーピングした内側領域の縦横比や外接矩形占有率が所定の範囲内にあるか否かを判定してもよい。

【0112】

また、水滴のように円いレンズ付着物の場合には、グルーピングした内側領域に対して円判定を行ってもよい。円判定には、公知の手法を用いることができる。例えば、輪郭追跡処理などで内側領域の輪郭を抽出すれば、輪郭の長さと内側領域の面積の関係から円形度を求めることができ、円形度が閾値以上か否かを判定することができる。ここで、水滴は楕円になることもあるため、領域の楕円度を求めて楕円化による円形度の低下を補正してもよい。また、円判定の手法として知られるハフ変換を用いてもよい。輪郭追跡処理などで抽出された輪郭に対してハフ変換による円抽出処理を行うことで、内側領域が円形状か否かを判定できる。なお、この手法を用いれば、部分的に欠けた内側領域の欠損箇所を補完できる。

【0113】

（内側領域の輝度判定処理）
次に、形状判定された内側領域のグループに対して、その輝度がレンズ付着物の輪郭の内側の輝度の特徴を備える（適合する）か否かを比較・判定する（ステップＳ３２３７）。

【0114】

レンズ付着物の輪郭の内側には似たような輝度が広がるため、例えば、グルーピングした内側領域ごとに輝度値の分散を求め、分散が所定の範囲内にあるか否かを判定する。ただし、本実施形態はこれに限定されない。上記以外にも、グルーピングした内側領域ごとに周波数成分を求め、周波数成分の平均が所定の範囲内にあるか否かを判定してもよい。

【0115】

また、レンズ付着物の内側は外光が透過しにくく、色がなく、輝度が低いという特徴がある。例えば、グルーピングした内側領域ごとにグレー系統色の割合や平均輝度を取得し、グレー系統色の割合が高いものや平均輝度が低いものを抽出してもよい。

【0116】

（内側領域の輪郭判定処理）
次に、形状および輝度が判定された内側領域のグループに対して、これがレンズ付着物の輪郭に隣接するか否かを判定する（ステップＳ３２３８）。通常、レンズ付着物には輪郭が現れるため、レンズ付着物の輪郭が隣接しない（すなわち、付着物の輪郭の特徴を外側にもたない）内側領域はレンズ付着物ではないものと判定されるので、そのような内側領域を除外する。このレンズ付着物の輪郭としては、輪郭抽出部３２１が抽出したぼけエッジ領域を利用できる。

【0117】

ただし、レンズ付着物が厚みのない水滴の場合、水滴に背景が投影されることで、その水滴の輪郭がほとんど見えない。そこで、輪郭抽出処理（ステップＳ３２１）で抽出しない特徴の弱い輪郭領域（言い換えれば、輪郭抽出部３２１が抽出する輪郭領域よりも特徴の弱い輪郭領域）をぼけエッジ領域に含めてもよい。この特徴の弱い輪郭領域は、例えば、輪郭抽出処理（ステップＳ３２１）がぼけエッジ抽出処理（ステップＳ３２１３）で抽出するエッジ強度の範囲をより弱い強度にまで広げた別のぼけエッジ抽出処理によって生成できる。

【0118】

これらの処理によって、内側抽出処理（ステップＳ３２２）で抽出した内側領域からレンズ付着物の輪郭の内側（付着物内側領域）を検出する。このようにレンズ付着物の内側のみを抽出することで、輪郭の弱いレンズ付着物なども効果的に検出できる。

【0119】

なお、ステップＳ３２３６〜Ｓ３２３８に用いられる種々の判定処理は互いに順不同であり、また、全てを実行する必要もない。また、２つ以上の判定処理を併せて、複合的に判定してもよい。

【0120】

（付着物検出領域抽出処理）
最後に、上述の処理（ステップＳ３２３１〜Ｓ３２３８）で付着物輪郭領域、付着物内側領域として抽出された領域を重ねて付着物検出領域として抽出する（ステップＳ３２３９）。

【0121】

ここで、付着物輪郭領域と付着物内側領域を複合して付着物検出領域を決定してもよい。例えば、付着物輪郭領域と付着物内側領域とが隣り合って検出される領域のみを（言い換えれば、互いに隣接する付着物輪郭領域と付着物内側領域とを）付着物検出領域として検出すれば、輪郭のある明瞭なレンズ付着物のみを検出することができる。

【0122】

ただし、上記実施形態では、付着物輪郭領域と付着物内側領域のいずれか一方のみが検出される場合に、レンズ付着物を検出できなくなってしまう。その場合、付着物輪郭領域と付着物内側領域とを共に付着物検出領域として検出すれば、厚みのない水滴のように輪郭の弱いレンズ付着物や、内側がほとんどない小粒なレンズ付着物などの様々なレンズ付着物を検出できる。

【0123】

また、付着物検出領域判定処理（ステップＳ３２３）において、過去に検出した付着物輪郭領域および付着物内側領域、ないしは付着物検出領域を参照し、検出頻度の高い付着物輪郭領域および付着物内側領域、ないしは付着物検出領域のみを最終出力としてもよい。

【0124】

なお、本実施形態では、輪郭領域と内側領域とを独立に扱い、それぞれから付着物輪郭領域と付着物内側領域とを検出したが、輪郭領域と内側領域とを合成してからその形状や輝度を判定してもよいことは勿論である。その場合、輪郭とその内側とで異なる特徴を判定に用いることができなくなるが、形状や輝度による判定処理の量を減らし、処理負荷を軽減することができる。

【0125】

（蓄積初期化処理）
次の蓄積初期化処理（ステップＳ３２９）では、輪郭抽出処理（ステップＳ３２１）の蓄積処理（ステップＳ３２１４）によって蓄積されているぼけエッジ領域と蓄積回数を初期化する。また、同様に、内側抽出処理（ステップＳ３２２）の蓄積処理（ステップＳ３２２４）によって蓄積されている小エッジ領域と蓄積回数を初期化する。これにより、次に付着物検出領域検出処理が実行された際に、輪郭抽出処理（ステップＳ３２１）と内側抽出処理（ステップＳ３２２）とでそれぞれ輪郭領域と内側領域とを改めて抽出し直す。

【0126】

なお、この蓄積初期化処理（ステップＳ３２９）は、蓄積されたぼけエッジ領域及び小エッジ領域の内、古い蓄積データのみを削除するようにしてもよい。

【0127】

また、輪郭領域と内側領域の抽出されるタイミングが異なる場合、輪郭領域と内側領域の内、抽出された一方の領域に対してのみ付着物検出領域判定処理（ステップＳ３２３）および蓄積初期化処理（ステップＳ３２９）を行うようにしてもよい。

【0128】

（レンズ状態判定処理）
次のレンズ状態判定処理（ステップＳ３２４）は、付着物検出部３２０のレンズ状態判定部３２４により実行され、付着物検出領域判定処理（ステップＳ３２３）で検出した付着物検出領域に基づいてカメラ２００のレンズ２１０の汚れ具合を判定する。

【0129】

例えば、付着物検出領域判定処理（ステップＳ３２３）で検出した付着物検出領域の総面積を汚れ具合として、この値が閾値を超えるか否かを判定することで、レンズ２１０がひどく汚れたか否かを検知する。ここで、付着物検出領域の汚れ具合への寄与率を、付着物検出領域の大きさや位置、位置に応じた付着物検出領域判定処理（ステップＳ３２３）の精度、車速、または検出持続時間などに応じて変更してもよい。例えば、車速低下時に撮像画像の中央で汚れ付着検出処理の誤検出が増えることがわかっていれば、車速低下時に、撮影画像の中央の付着物検出領域に対して汚れ具合への寄与率（言い換えれば、レンズ２１０の汚れ具合を表す指標の大きさ）を下げることが有効である。また、レンズ付着物の大きさが所定の面積を超えない限りにおいて周囲センシング部３４０の検知性能が劣化しない場合、グルーピングされた付着物検出領域の１つ１つの面積が所定の面積を超えたものに対してのみ、汚れ具合への寄与率を上げてもよい。また、周囲センシング部３４０において、周囲センシング結果の重要度がその付着物検出領域の画像位置によって変わる場合、付着物検出領域の画像位置に応じて汚れ具合への寄与率を変更してもよい。

【0130】

また、検出されたレンズ付着物の種類に応じて汚れ具合への寄与率を変更してもよい。レンズ付着物の種類とは、輪郭か内側かのみならず、水滴か、泥か、曇りか、など、レンズ付着物の種類そのものを含む。レンズ付着物の種類は、付着物検出部３２０による付着物検出処理において、検出のパラメータや処理を各種レンズ付着物に最適化することで検出できる。例えば、レンズ付着物が薄い曇りの場合、背景が曇りを透過して視認できるため、汚れ具合への寄与度を下げることが考えられる。

【0131】

［実施形態１の効果］
以上、本実施形態１では、レンズ付着物の輪郭と内側のそれぞれを検出することで、カメラ２００のレンズ２１０等に付着した水滴、泥、ゴミなどの付着物であってカメラ２００が撮影する撮影画像に映る付着物（の付着領域）をその輪郭が不明瞭なものも含めて高精度に検出することができる。

【0132】

ところで、本実施形態では、内側抽出処理（ステップＳ３２２）の小エッジ領域抽出処理（ステップＳ３２２３）によって抽出される小エッジ領域にレンズ付着物の輪郭の内側ではない広い領域が含まれる場合、蓄積処理（ステップＳ３２２４）によって領域が削られ、削られた領域の形状がレンズ付着物の内側の特徴に近くなることがある。同様に、輪郭抽出処理（ステップＳ３２１）のぼけエッジ領域抽出処理（ステップＳ３２１３）によって抽出されるぼけエッジ領域にレンズ付着物の輪郭でない広い領域が含まれる場合、蓄積処理（ステップＳ３２１４）によって領域が削られ、削られた領域の形状がレンズ付着物の輪郭の特徴に近くなることがある。その結果、付着物検出領域判定処理（ステップＳ３２３）がこのような領域を除外せず、誤検出する可能性がある。そこで、内側抽出処理（ステップＳ３２２）の小エッジ領域抽出処理（ステップＳ３２２３）で抽出する小エッジ領域や、輪郭抽出処理（ステップＳ３２１）のぼけエッジ領域抽出処理（ステップＳ３２１３）で抽出するぼけエッジ領域に対しても、蓄積前に付着物検出領域判定処理（ステップＳ３２３）を実行してもよい。ただし、その場合、処理負荷が増大するため、これには簡素な処理を用いることができる。例えば、蓄積処理（ステップＳ３２１４、Ｓ３２２４）によって面積が大きく縮小する輪郭領域ないしは内側領域を予め除外すればよい。

【0133】

＜実施形態２＞
次に、図１５、１６を用いて、実施形態２に係る付着物検出部（付着物検出装置）３２０における付着物検出処理について説明する。本実施形態２は、付着物検出部３２０に付着物検出領域追跡部３２５を追加したこと以外は、上記実施形態１と同様の構成を有している。そのため、図１５を使用して実施形態２の付着物検出部３２０の構成を説明するとともに、図１６を用いて実施形態２に係る付着物検出部３２０における付着物検出処理について説明するが、上記実施形態１と同じ構成および処理については、同一の符号を付してその詳細な説明を省略し、以下では相違点のみについて詳細に説明する。

【0134】

実施形態２に係るレンズ付着物検出部３２０は、図１５で示すように、付着物検出領域判定部３２３で検出されたレンズ付着物の領域（付着物検出領域）を追跡する付着物検出領域追跡部３２５を備える。

【0135】

また、この付着物検出領域追跡部３２５は、付着物検出部３２０による付着物検出処理において、図１６で示す付着物検出領域追跡処理（ステップＳ５５５）を実行する。

【0136】

図１６で示す付着物検出領域追跡処理（ステップＳ５５５）では、付着物検出領域判定処理（ステップＳ３２３）で検出された付着物検出領域を追跡する。この追跡処理には、公知の追跡処理を用いることができる。例えば、付着物検出領域の近傍を含む領域に対してパターンマッチングを行えばよい。このパターンマッチングに用いる画像は、撮影画像でもよいし、そのエッジ画像でもよい。追跡できた領域は、その前段の付着物検出領域判定処理（ステップＳ３２３）の結果に依らず、レンズ付着物の検出領域（付着物検出領域）とすることで、外乱等による検出の途切れを抑制することができる。

【0137】

なお、過去に１度検出された付着物検出領域（付着物輪郭領域、付着物内側領域を含む）ないしは連続して安定的に検出されている付着物検出領域に対しては、当該領域を含む画像領域に対し、輪郭抽出部３２１や内側抽出部３２２、付着物検出領域判定部３２３が、輪郭抽出処理（ステップＳ３２１）や内側抽出処理（ステップＳ３２２）、付着物検出領域判定処理（ステップＳ３２３）の抽出条件（エッジ強度の抽出範囲や蓄積時間など）を緩和することで、外乱等による検知の途切れを抑制してもよい。

【0138】

また、レンズ付着物が水滴の場合、外光の変化でレンズ付着物の内側に輪郭の成分が現れる場合がある。そこで、前述の付着物内側領域の検出処理では、過去に１度検出されたないしは連続して安定的に検出されている付着物内側領域において、輪郭抽出処理で抽出する輪郭領域を内側領域として扱ってもよい。また、同様に、付着物輪郭領域を付着物内側領域として扱ってもよい。これにより、内側領域ないし付着物内側領域の時間的な途切れを抑制することができる。同様に、前述の付着物輪郭領域の検出処理では、過去に１度検出されたないしは連続して安定的に検出されている付着物輪郭領域において、内側抽出処理で抽出する内側領域を輪郭領域として扱ってもよいし、付着物内側領域を付着物輪郭領域として扱ってもよい。

【0139】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0140】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0141】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0142】

１００ 車両
２００ カメラ（撮像装置）
２１０ レンズ
２２０ 撮像素子
３００ 処理装置
３１０ 車両情報取得部
３２０ 付着物検出部（付着物検出装置）
３２１ 輪郭抽出部
３２２ 内側抽出部
３２３ 付着物検出領域判定部
３２４ レンズ状態判定部
３２５ 付着物検出領域追跡部
３３０ 出力情報生成部
３３１ マスク領域生成部
３４０ 周囲センシング部
３５０ 車両自動走行制御部
４０１ 音声発生装置
４０２ ディスプレイ
４０３ 表示灯
４０４ 洗浄装置
１０００ 車両システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】