特開 2025-14247 画像監視装置及び画像監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025014247

(43)【公開日】2025-01-30

(54)【発明の名称】画像監視装置及び画像監視方法

(51)【国際特許分類】

   H04N 23/52 20230101AFI20250123BHJP

   G06V 20/56 20220101ALI20250123BHJP

   H04N 23/61 20230101ALI20250123BHJP

【ＦＩ】

H04N23/52

G06V20/56

H04N23/61

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023116632

(22)【出願日】2023-07-18

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】釣部 智行

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA14

5C122EA36

5C122FH10

5C122FH11

5C122FJ11

5C122FK35

5C122HA84

5C122HB01

5L096AA03

5L096BA04

5L096CA02

5L096FA02

5L096FA14

5L096HA02

(57)【要約】

【課題】車載カメラのレンズの汚れ除去の誤検出を抑制することができる画像監視装置及び画像監視方法を提供する。
【解決手段】本開示に係る画像監視装置は、取得回路と、検出回路と、抽出回路と、判定回路と、を備える。前記取得回路は、撮像デバイスが撮像した車両の外部の撮像画像を取得する。前記検出回路は、前記取得回路により取得された前記撮像画像から、前記撮像デバイスのレンズに付着した汚れに対応する領域である汚れ領域を検出する。前記抽出回路は、前記撮像画像から、不明瞭な画像の領域である不明瞭領域を抽出する。前記判定回路は、前記不明瞭領域の輝度値の変化に基づいて、前記汚れが外部光源により照射されたか否かを判定する。そして、前記判定回路は、前記不明瞭領域に第１閾値以上の輝度値の画素が第２閾値以上有る場合、汚れが外部光源により照射されていると判定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像デバイスが撮像した車両の外部の撮像画像を取得する取得回路と、
前記取得回路により取得された前記撮像画像から、前記撮像デバイスのレンズに付着した汚れに対応する領域である汚れ領域を検出する検出回路と、
前記汚れ領域から、不明瞭な画像の領域である不明瞭領域を抽出する抽出回路と、
前記不明瞭領域の輝度値の変化に基づいて、前記汚れが外部光源により照射されたか否かを判定する判定回路と、
を備え、
前記判定回路は、前記不明瞭領域に第１閾値以上の輝度値の画素が第２閾値以上有る場合、前記汚れが前記外部光源により照射されていると判定する、
画像監視装置。

【請求項2】

前記不明瞭領域は、前記汚れ領域の周辺部分を含む領域である、
請求項１に記載の画像監視装置。

【請求項3】

前記不明瞭領域は、前記汚れ領域のうちの焦点が合っていない領域である、
請求項１に記載の画像監視装置。

【請求項4】

前記判定回路は、前記検出回路により前記汚れ領域が検出された時の輝度値と、前記汚れ領域を検出後に前記撮像画像の輝度値が変化した時の輝度値と、の差異が第３閾値以上の場合に、汚れの前記外部光源による照射が継続されていると判定する、
請求項１又は請求項２に記載の画像監視装置。

【請求項5】

前記レンズの汚れを除去する洗浄デバイスに洗浄を指示する洗浄制御回路をさらに有し、
前記判定回路が、汚れが前記外部光源により照射されているか否かを所定回数判定した場合、前記洗浄制御回路は、前記洗浄デバイスに前記レンズの汚れの除去を指示する、
請求項１又は請求項２に記載の画像監視装置。

【請求項6】

前記レンズの汚れを除去する洗浄デバイスに洗浄を指示する洗浄制御回路をさらに有し、
前記判定回路が、汚れの前記外部光源による照射が継続しているか否かを所定回数判定した場合、前記洗浄制御回路は、前記洗浄デバイスに前記レンズの汚れの除去を指示する、
請求項１又は請求項２に記載の画像監視装置。

【請求項7】

撮像デバイスが撮像した車両の外部の撮像画像を取得し、
取得した前記撮像画像から、前記撮像デバイスのレンズに付着した汚れに対応する領域である汚れ領域を検出し、
前記汚れ領域から、不明瞭な画像の領域である不明瞭領域を抽出し、
前記不明瞭領域の輝度値の変化に基づいて、前記汚れが外部光源により照射されたか否かを判定することを含み、
前記不明瞭領域に第１閾値以上の輝度値の画素が第２閾値以上有る場合、前記汚れが前記外部光源により照射されていると判定する、
画像監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像監視装置及び画像監視方法に関する。

【背景技術】

【0002】

既存の技術では、車両は、車載カメラが撮像した画像に基づいて、車両の周囲の状況を把握する。そして、車両は、把握した状況に応じた各種処理を実行する。車載カメラのレンズが汚れている場合、車両は、車両の周囲の状況を把握することが困難である。そこで、車載カメラが撮像した画像に基づいて、車載カメラのレンズに汚れが付着しているか否かを判定する技術が知られている。

【0003】

また、車載カメラのレンズに付着した汚れが除去された場合、車両は、レンズに汚れが付着した状態を解除する。車両は、汚れの付着を検出した後に、車載カメラで撮像した画像の汚れ位置の輝度値が高い場合に、汚れが除去（洗浄）されたと判定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０５２２３７号公報

【特許文献2】特開２０１６－０４０５３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、光源がある場合、画像は、レンズに汚れが除去（洗浄）されていなくても輝度値が高くことがある。この場合、車両は、汚れが除去されていなくても、レンズに付着した汚れが除去されたと判定してしまう。

【0006】

本開示は、車載カメラのレンズの汚れ除去の誤検出を抑制することができる画像監視装置及び画像監視方法を提供する。

【課題を解決するための手段】

【0007】

本開示に係る画像監視装置は、取得回路と、検出回路と、抽出回路と、判定回路と、を備える。前記取得回路は、撮像デバイスが撮像した車両の外部の撮像画像を取得する。前記検出回路は、前記取得回路により取得された前記撮像画像から、前記撮像デバイスのレンズに付着した汚れに対応する領域である汚れ領域を検出する。前記抽出回路は、前記撮像画像から、不明瞭な画像の領域である不明瞭領域を抽出する。前記判定回路は、前記不明瞭領域の輝度値の変化に基づいて、前記汚れが外部光源により照射されたか否かを判定する。そして、前記判定回路は、前記不明瞭領域に第１閾値以上の輝度値の画素が第２閾値以上有れば、汚れが外部光源により照射されていると判定する。

【発明の効果】

【0008】

本開示に係る画像監視装置及び画像監視方法によれば、車載カメラのレンズの汚れ除去の誤検出を抑制ことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る車載装置を備える車両の一例を示す図である。

【図2】図２は、第１の実施形態に係る車両の運転席近傍の構成の一例を示す図である。

【図3】図３は、第１の実施形態に係る車載カメラのハードウェア構成の一例を示す図である。

【図4】図４は、第１の実施形態に係る画像処理部の機能構成の一例を示すブロック図である。

【図5】図５は、第１撮像画像の一例を示す図である。

【図6】図６は、第２撮像画像の一例を示す図である。

【図7】図７は、第３撮像画像の一例を示す図である。

【図8】図８は、第４撮像画像の一例を示す図である。

【図9】図９は、第１抽出画像の一例を示す図である。

【図10】図１０は、第２抽出画像の一例を示す図である。

【図11】図１１は、第３抽出画像の一例を示す図である。

【図12】図１２は、第４抽出画像の一例を示す図である。

【図13】図１３は、第１の実施形態に係る画像処理部が実行する除去判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本開示に係る画像監視装置及び画像監視方法の実施形態について説明する。

【0011】

（第１の実施形態）
図１に示すように、車両１は、車体１２と、車体１２に所定方向に沿って配置された２対の車輪１３とを備える。２対の車輪１３は、１対のフロントタイヤ１３ｆ及び１対のリアタイヤ１３ｒを備える。

【0012】

なお、図１に示す車両１は４つの車輪１３を備えるが、車輪１３の数はこれに限定されるものではない。例えば、車両１は、２輪車であっても良い。

【0013】

車体１２は、車輪１３に結合され、車輪１３によって移動可能である。この場合、２対の車輪１３が配置される所定方向が車両１の走行方向となる。車両１は、不図示のギヤの切り替え等により前進または後退することができる。また、車両１は、操舵により右左折することもできる。

【0014】

また、車体１２は、フロントタイヤ１３ｆより前方の端部である前端部Ｆと、リアタイヤ１３ｒより後方の端部である後端部Ｒを有する。車体１２は上面視で略矩形をしており、略矩形状の４つの角部を端部と呼ぶ場合もある。また、図１では図示を省略するが、車両１は、表示装置、スピーカ、および操作部を備える。

【0015】

車体１２の前後端部Ｆ，Ｒであって、車体１２の下端付近には１対のバンパー１４が設けられている。１対のバンパー１４のうち、フロントバンパー１４ｆは車体１２の下端部付近の前面全体と側面の一部を覆う。１対のバンパー１４のうち、リアバンパー１４ｒは車体１２の下端部付近の後面全体と側面の一部を覆う。

【0016】

車体１２の所定の端部には、超音波等の音波の送受波を行う送受波部１５ｆ，１５ｒが配置される。例えば、フロントバンパー１４ｆには１つ以上の送受波部１５ｆが配置され、リアバンパー１４ｒには１つ以上の送受波部１５ｒが配置される。以下、送受波部１５ｆ，１５ｒを限定しない場合には、単に送受波部１５という。また、送受波部１５の数および位置は、図１に示す例に限定されるものではない。例えば、車両１は、左右の側方に送受波部１５を備えても良い。

【0017】

本実施形態においては、超音波を使用したソナーを送受波部１５の一例とするが、送受波部１５は、電磁波を送受波するレーダーであっても良い。あるいは、車両１は、ソナーとレーダーの両方を備えても良い。また、送受波部１５を単にセンサと称しても良い。

【0018】

送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物を検出する。また、送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物と車両１との距離を計測する。

【0019】

また、車両１は、車両１の前方を撮影する第１の車載カメラ１６ａ、車両１の後方を撮影する第２の車載カメラ１６ｂ、車両１の左側方を撮影する第３の車載カメラ１６ｃ、および車両１の右側方を撮影する第４の車載カメラを備える。第４の車載カメラは図示を省略する。

【0020】

以下、第１の車載カメラ１６ａ、第２の車載カメラ１６ｂ、第３の車載カメラ１６ｃ、および第４の車載カメラを区別しない場合には単に車載カメラ１６という。車載カメラ１６の位置及び数は図１に示す例に限定されるものではない。例えば、車両１は、また、第１の車載カメラ１６ａおよび第２の車載カメラ１６ｂの２台を備えても良い。あるいは、車両１は、上述の例の他に、さらに他の車載カメラを有しても良い。

【0021】

車載カメラ１６は、車両１の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ１６が撮影する画像データは、動画でも良いし、静止画でも良い。また、車載カメラ１６は、車両１に内蔵されたカメラであっても良いし、車両１に後付けされたドライブレコーダーのカメラ等であっても良い。

【0022】

また、車両１には、車載装置１００が搭載される。車載装置１００は、車両１に搭載可能な情報処理装置であり、例えば、車両１の内部に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、もしくはＯＢＵ（Ｏｎ Ｂｏａｒｄ Ｕｎｉｔ）である。あるいは、車載装置１００は、車両１のダッシュボード付近に設置された外付けの装置であっても良い。なお、車載装置１００はカーナビゲーション装置等を兼ねても良い。なお、車載カメラ１６が撮影する画像データは、ＥＣＵに入力され、例えば、自動ブレーキの制御に使用してもよい。

【0023】

次に、本実施形態の車両１の運転席近傍の構成について説明する。

【0024】

図２に示すように、車両１は運転席１３０ａ、および助手席１３０ｂを備える。また、運転席１３０ａの前方にはフロントガラス１８０、ダッシュボード１９０、ステアリングホイール１４０、表示装置１２０、および操作ボタン１４１が設けられる。

【0025】

表示装置１２０は、車両１のダッシュボード１９０に設けられたディスプレイである。表示装置１２０は、一例として、図２に示すようにダッシュボード１９０の中央に位置する。表示装置１２０は例えば液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。また、表示装置１２０は、タッチパネルを兼ねても良い。表示装置１２０は、本実施形態における表示部の一例である。

【0026】

また、ステアリングホイール１４０は、運転席１３０ａの正面に設けられ、ドライバ（運転者）によって操作可能である。ステアリングホイール１４０の回転角度、例えば操舵角は、操舵輪であるフロントタイヤ１３ｆの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ１３ｒでも良いし、フロントタイヤ１３ｆとリアタイヤ１３ｒの両方が操舵輪であっても良い。

【0027】

操作ボタン１４１は、例えば、ユーザによる車載カメラ１６のレンズ洗浄の操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両１の運転者である。なお、操作ボタン１４１の位置は図２に示す例に限定されるものでなく、例えばステアリングホイール１４０に設けられても良い。操作ボタン１４１は、本実施形態における操作部の一例である。また、表示装置１２０がタッチパネルを兼ねる場合は、表示装置１２０が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両１の外部から車両１に対して信号を送信可能な操作端末を、操作部の一例としても良い。

【0028】

次に、本実施形態の車載カメラ１６のハードウェア構成について説明する。

【0029】

図３に示すように、車載カメラ１６は、レンズ１６１、撮像素子１６２、洗浄部１６３、映像信号処理部１６４、露光制御部１６５、画像処理部１６６、及び画像メモリ１６７を備える。

【0030】

レンズ１６１は、透明の材料により形成される。そして、レンズ１６１は、入射した光を発散又は集束する。

【0031】

撮像素子１６２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサである。撮像素子１６２は、レンズ１６１を通過した光を受光し、映像信号に変換する。なお、撮像素子１６２とレンズ１６１とを含めて撮影デバイスと称する。

【0032】

洗浄部１６３は、水などをレンズ１６１に噴射することにより、レンズ１６１に付着した汚れを洗浄する装置である。

【0033】

映像信号処理部１６４は、撮像素子１６２から出力された映像信号に基づいて、画像を生成する。露光制御部１６５は、映像信号処理部１６４により生成される画像の明るさを制御する。例えば、映像信号処理部１６４は、露光制御部１６５により制御された明るさの画像を生成する。例えば、露光制御部１６５は、画像が暗い場合に、画像の明るさを上げる。一方、露光制御部１６５は、画像が明るい場合に、画像の明るさを下げる。

【0034】

画像処理部１６６は、映像信号処理部１６４により生成された画像に対して各種画像処理を実行する。画像メモリ１６７は、画像処理部１６６の主記憶装置である。画像メモリ１６７は、画像処理部１６６による画像処理のワーキングメモリとして使用される。

【0035】

画像処理部１６６は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、画像処理を制御する。例えば、画像処理部１６６は、プロセッサ１６６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６６Ｂ、メモリ１６６Ｃ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１６６Ｄを備える。

【0036】

プロセッサ１６６Ａは、例えば、コンピュータプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。なお、プロセッサ１６６Ａは、ＣＰＵに限定されない。例えば、プロセッサ１６６Ａは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよいし、他のプロセッサであってもよい。

【0037】

ＲＡＭ１６６Ｂは、キャッシュまたはバッファなどとして使用される揮発性メモリである。メモリ１６６Ｃは、例えば、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。プロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。

【0038】

Ｉ／Ｏインタフェース１６６Ｄは、画像処理部１６６の入出力を制御する。例えば、Ｉ／Ｏインタフェース１６６Ｄは、映像信号処理部１６４、画像メモリ１６７、及び車載装置１００との通信を実行する。

【0039】

なお、洗浄部１６３は、車載カメラ１６と一体に形成されずに、独立した装置であってもよい。また、映像信号処理部１６４、露光制御部１６５、画像処理部１６６及び画像メモリ１６７の少なくとも一部は、車載カメラ１６に限らず、ＥＣＵまたはＯＢＵに含まれる構成であっても良いし、車載装置１００に設けられていても良いし、独立した装置であってもよいし、他の装置に組み込まれていても良い。

【0040】

次に、第１の実施形態に係る画像処理部１６６が有する機能について説明する。

【0041】

図４における画像処理部１６６のプロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。更に詳しくは、画像処理部１６６は、画像取得部１６６１、監視制御部１６６２、汚れ検出部１６６３、汚れ通知部１６６４、判定部１６６５、変化検出部１６６６、不明瞭領域抽出部１６６７、光源判定部１６６８、及び洗浄制御部１６６９を備える。

【0042】

画像取得部１６６１は、車載カメラ１６が車両１の外部を撮像した撮像画像を取得する。画像取得部１６６１は、取得回路の一例である。車載カメラ１６は、撮像デバイスの一例である。例えば、画像取得部１６６１は、撮像画像として第１撮像画像Ｇ１１（図５参照）、第２撮像画像Ｇ１２（図６参照）、第３撮像画像Ｇ１３（図７参照）、第４撮像画像Ｇ１４（図８参照）を取得する。

【0043】

例えば、画像取得部１６６１は、車載カメラ１６のレンズ１６１に汚れが付着している場合、汚れ領域Ｇ１１３を有する第１撮像画像Ｇ１１を取得する。図５に示すように、第１撮像画像Ｇ１１は、非撮像領域Ｇ１１１と、撮像領域Ｇ１１２とを有する。非撮像領域Ｇ１１１は、撮像素子１６２の検知領域ではあるが、車載カメラ１６の筐体などにより車両１の外部が撮像されない領域である。撮像領域Ｇ１１２は、レンズ１６１を介して入射した光により、車両１の外部を撮像した領域である。そして、撮像領域Ｇ１１２は、レンズ１６１に付着した泥などの汚れを撮像した領域である汚れ領域Ｇ１１３を有する場合がある。

【0044】

ここで、車載カメラ１６は、前方に焦点を定めており、レンズ１６１に焦点を定めているのではない。そのため、レンズ１６１に泥などの汚れが付着すると、車載カメラ１６は、汚れの周縁に対応する部分がぼけた撮像画像を撮像する。これにより、汚れ領域Ｇ１１３は、中央付近は汚れにより可視光が遮断されることで各画素の輝度値の差が小さい領域となり、周縁付近は焦点が合っていないことにより不鮮明な領域となる。例えば、汚れ領域Ｇ１１３の周縁付近は、輝度値の変化の勾配が緩やかな領域となる。

【0045】

また、画像取得部１６６１は、車載カメラ１６のレンズ１６１に汚れが付着し、且つ汚れと重なる位置に光源がある場合、光源領域Ｇ１１４が重畳する汚れ領域Ｇ１１３を有する第２撮像画像Ｇ１２を取得する。図６に示すように、第２撮像画像Ｇ１２は、非撮像領域Ｇ１１１と、撮像領域Ｇ１１２とを有する。また、撮像領域Ｇ１１２は、光源領域Ｇ１１４が重畳した汚れ領域Ｇ１１３を有する。光源領域Ｇ１１４は、太陽、月、電灯、ライトなどの光源の撮像した領域である。光源領域Ｇ１１４は、中央付近は光源が放射する可視光により各画素の輝度値の差が小さい領域となり、周縁付近は中央付近から離れるに従い輝度値が低くなる不鮮明な領域となる。また、車載カメラ１６に可視光を照射する光源がある場合、汚れ領域Ｇ１１３の各画素は、光源が照射した可視光の散乱により輝度値が高くなる。

【0046】

また、画像取得部１６６１は、車載カメラ１６のレンズ１６１に汚れが付着し、且つ汚れと重ならない位置に光源がある場合、光源領域Ｇ１１４と汚れ領域Ｇ１１３とを有する第３撮像画像Ｇ１３を取得する。図７に示すように、第３撮像画像Ｇ１３は、非撮像領域Ｇ１１１と、撮像領域Ｇ１１２とを有する。また、撮像領域Ｇ１１２は、光源領域Ｇ１１４と汚れ領域Ｇ１１３とがそれぞれを有する。また、この場合も、車載カメラ１６に可視光を照射する光源があるため、汚れ領域Ｇ１１３の各画素は、光源が照射した可視光の散乱により輝度値が高くなる。

【0047】

また、画像取得部１６６１は、車載カメラ１６のレンズ１６１に汚れが付着しておらず、且つ車載カメラ１６の光源が無い場合、第４撮像画像Ｇ１４を取得する。図８に示すように、第４撮像画像Ｇ１４は、非撮像領域Ｇ１１１と、撮像領域Ｇ１１２とを有する。また、撮像領域Ｇ１１２は、汚れが付着していないため、汚れ領域Ｇ１１３が無い。また、撮像領域Ｇ１１２は、光源が無いため、光源領域Ｇ１１４が無い。

【0048】

監視制御部１６６２は、画像取得部１６６１に基づいて、車両１の外部を監視する。例えば、監視制御部１６６２は、車両１の外部を走行する他の車両や、歩行者などを検出する。そして、車両１は、検出結果に応じて、各種処理を実行する。

【0049】

汚れ検出部１６６３は、画像取得部１６６１により取得された撮像画像から、車載カメラ１６のレンズ１６１に付着した汚れに対応する領域である汚れ領域Ｇ１１３を検出する。汚れ検出部１６６３は、検出回路の一例である。

【0050】

汚れ検出部１６６３は、種々の方法により汚れ領域Ｇ１１３を検出する。例えば、汚れ検出部１６６３は、特許文献２の図１に示されたレンズ汚れ判別装置と同様の処理により車載カメラ１６のレンズ１６１に付着している汚れを検出する。

【0051】

また、汚れ検出部１６６３は、他の方法により汚れを検出してもよい。ここで、車載カメラ１６のレンズ１６１に泥などの汚れが付着した場合、撮像素子１６２は、レンズ１６１に付着した汚れにより可視光を受光することが困難になる。そのため、汚れが付着した部分に対応する画像は、輝度値が低くなる。例えば、汚れが付着した部分に対応する画像は、各画素の輝度値の差が小さい平坦な領域になる。そこで、汚れ検出部１６６３は、撮像画像において各画素の輝度値の差が小さい平坦な領域の割合に基づいて、レンズ１６１に汚れが付着していると判定する。そして、汚れ検出部１６６３は、撮像画像において各画素の輝度値の差が小さい平坦な領域を汚れ領域Ｇ１１３として検出する。

【0052】

汚れ通知部１６６４は、汚れ検出部１６６３により汚れ領域Ｇ１１３が検出された場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。更に詳しくは、汚れ通知部１６６４は、汚れ検出部１６６３により汚れ領域Ｇ１１３が検出されてから、判定部１６６５により汚れが除去（洗浄）されたと判定されるまでの間、車載カメラ１６のレンズ１６１に汚れが付着していることを通知してもよい。

【0053】

例えば、汚れ通知部１６６４は、ＥＣＵまたはＯＢＵを介して、表示装置１２０などに車載カメラ１６のレンズ１６１に汚れが付着していることを通知してもよい。なお、汚れ通知部１６６４は、表示装置１２０に限らず、音声により通知してもよいし、ＬＥＤなどを発光させることにより通知してもよいし、他の方法により通知してもよい。なお、汚れ通知部１６６４は、ＥＣＵまたはＯＢＵを介さず、直接、表示装置１２０などにレンズ１６１に汚れが付着していることを通知してもよい。

【0054】

判定部１６６５は、汚れ検出部１６６３により検出された車載カメラ１６のレンズ１６１に付着している汚れが光源により照射されているか否かを判定する。

【0055】

ここで、車載カメラ１６のレンズ１６１に汚れが付着している場合、撮像素子１６２は、レンズ１６１に付着した汚れにより可視光を受光することが困難になる。そして、レンズ１６１に付着した汚れが除去された場合、撮像素子１６２は、可視光を受光可能となる。例えば、レンズ１６１に付着した汚れが除去された場合、撮像画像は、汚れ領域Ｇ１１３であった領域の輝度値が高くなる。

【0056】

そこで、汚れ領域Ｇ１１３であった領域の輝度値に基づいて、汚れが除去されたか否かを判定する手法が考えられる。ところが、汚れが除去されていなくても、光源から可視光が照射された場合、撮像画像は、図６及び図７に示すように汚れ領域Ｇ１１３の輝度値が高くなる。このような場合、既存の技術の車載カメラ１６では、汚れが除去されていないにもかかわらず、汚れが除去されたと誤った判定をしてしまう。

【0057】

そこで、判定部１６６５は、以下の機能により、汚れが除去されていないにもかかわらず、汚れか除去されたと誤った判定をしてしまうことを抑制する。更に詳しくは、判定部１６６５は、変化検出部１６６６、不明瞭領域抽出部１６６７、及び光源判定部１６６８を備える。

【0058】

変化検出部１６６６は、汚れ領域Ｇ１１３の輝度値の変化を検出する。例えば、変化検出部１６６６は、汚れ領域Ｇ１１３の各画素の輝度値の平均値の変化を検出する。例えば、変化検出部１６６６は、第１の時点、例えば、汚れ検出時の輝度値の平均値と、第２の時点、例えば、比較時の輝度値の平均値とを比較する。そして、変化検出部１６６６は、汚れ領域Ｇ１１３の各画素の輝度値の平均値が変化しているか否かを判定する。例えば、変化検出部１６６６は、汚れ領域Ｇ１１３の各画素の輝度値の平均値が閾値よりも高くなっているか否かを判定する。なお、変化検出部１６６６は、平均値に限らず、中央値により変化を検出してもよいし、最大輝度値や最小輝度値により変化を検出してもよいし、他の値により変化を検出してもよい。

【0059】

また、変化検出部１６６６の検出動作の対象は、図５などに示すように、汚れの縁に沿った領域に限らず、矩形であってもよいし、図５などの点線により区切られたブロック単位で抽出した領域であってもよい。なお、変化検出部１６６６は、後述する不明瞭領域抽出部１６６７が出力する不明瞭領域Ｇ２１１に関する輝度についても変化を検出する。

【0060】

不明瞭領域抽出部１６６７は、画像取得部１６６１により取得された撮像画像から、不明瞭な画像の領域である不明瞭領域Ｇ２１１を抽出する。不明瞭領域抽出部１６６７は、抽出回路の一例である。例えば、不明瞭領域抽出部１６６７は、レンズ１６１に付着した汚れに焦点が合っていないことによる、ぼやけた画像の領域である不明瞭領域Ｇ２１１を抽出する。不明瞭領域Ｇ２１１は、汚れ領域Ｇ１１３の周辺部分を含む領域である。また、不明瞭領域Ｇ２１１は、汚れ領域Ｇ１１３のうちの焦点が合っていない領域である。

【0061】

更に詳しくは、不明瞭領域抽出部１６６７は、撮像画像に対して、不明瞭領域Ｇ２１１を抽出するためのフィルタ処理を実行する。例えば、フィルタ処理は、周囲の画素と比較した場合に輝度値の変化の勾配が緩やかな領域を抽出する処理である。これにより、不明瞭領域抽出部１６６７は、撮像画像に含まれる不明瞭領域Ｇ２１１が抽出された抽出画像を生成する。

【0062】

例えば、不明瞭領域抽出部１６６７は、図５に示す第１撮像画像Ｇ１１に対して画像処理を実行することにより、図９に示す第１抽出画像Ｇ２１を生成する。図９に示すように、不明瞭領域抽出部１６６７は、汚れ領域Ｇ１１３の周辺付近から、不明瞭領域Ｇ２１１を抽出する。

【0063】

例えば、不明瞭領域抽出部１６６７は、図６に示す第２撮像画像Ｇ１２に対して画像処理を実行することにより、図１０に示す第２抽出画像Ｇ２２を生成する。図６において光源領域Ｇ１１４が汚れ領域Ｇ１１３と重複している状態での不明瞭領域Ｇ２１１、光源不明瞭領域Ｇ２１２を示す。このため、不明瞭領域抽出部１６６７は、汚れ領域Ｇ１１３の周辺付近から、不明瞭領域Ｇ２１１を抽出し、光源領域Ｇ１１４により由来する不明瞭な領域である光源不明瞭領域Ｇ２１２を抽出する。

【0064】

なお、光源から照射されている可視光が汚れで散乱することにより、不明瞭領域抽出部１６６７は、図９に示す光源が無い第１抽出画像Ｇ２１と比較して、図１０に示す不明瞭領域Ｇ２１１はより広い領域を抽出する。また、可視光が照射された部分である光源領域Ｇ１１４について、撮像素子１６２は、不鮮明な画像を生成する。このため、不明瞭領域抽出部１６６７は、光源領域Ｇ１１４から光源不明瞭領域Ｇ２１２を抽出するが、汚れ領域Ｇ１１３における不明瞭領域Ｇ２１１との分離が困難である場合、光源不明瞭領域Ｇ２１２と不明瞭領域Ｇ２１１とは分離しなくてもよい。

【0065】

例えば、不明瞭領域抽出部１６６７は、図７に示す第３撮像画像Ｇ１３に対して画像処理を実行することにより、図１１に示す第３抽出画像Ｇ２３を生成する。図７，図１１は、図６、図１０と異なり、光源領域Ｇ１１４は、汚れ領域Ｇ１１３から分離しているので、図１１に示すように、不明瞭領域抽出部１６６７は、汚れ領域Ｇ１１３の周辺付近から、不明瞭領域Ｇ２１１を抽出し、光源不明瞭領域Ｇ２１２から、不明瞭領域Ｇ２１１を分離して、抽出する。

【0066】

例えば、不明瞭領域抽出部１６６７は、図８に示す第４撮像画像Ｇ１４に対して画像処理を実行することにより、図１２に示す第４抽出画像Ｇ２４を生成する。図１２に示すように、汚れ領域Ｇ１１３や光源領域Ｇ１１４が無いため、不明瞭領域抽出部１６６７は、不明瞭領域Ｇ２１１と光源不明瞭領域Ｇ２１２が抽出されない。このため、図１２に示すように、不明瞭領域抽出部１６６７は、不明瞭領域Ｇ２１１と光源不明瞭領域Ｇ２１２が無い第４抽出画像Ｇ２４を生成する。

【0067】

光源判定部１６６８は、画像取得部１６６１により取得された撮像画像の輝度値の変化に基づいて、汚れが外部光源により照射されたか否かを判定する。例えば、光源判定部１６６８は、車載カメラ１６のレンズ１６１に付着した汚れが光源により輝度値が変化したか否かを判定する。光源判定部１６６８は、判定回路の一例である。例えば、光源判定部１６６８は、変化検出部１６６６の出力する輝度値の変化に関する情報において、汚れ領域Ｇ１１３の平均値の輝度値が高くなった場合に、光源による輝度値の変化か否かを判定する。

【0068】

ここで、光源から可視光が照射された場合、汚れが除去されていなくても汚れ領域Ｇ１１３の輝度値は高くなる。ここで、不明瞭領域Ｇ２１１の各画素は、光源から可視光が照射された場合、可視光が汚れで散乱することにより輝度値が高くなる。そこで、光源判定部１６６８は、変化検出部１６６６が不明瞭領域Ｇ２１１に第１閾値以上の輝度値の画素が第２閾値以上有ると検出した場合、汚れが外部光源により照射されていると判定する。
例えば、光源判定部１６６８は、汚れが除去されておらず、光源により輝度値が上昇したと判定する。例えば、第２閾値は、汚れ領域Ｇ１１３内の光散乱を考慮して、不明瞭領域Ｇ２１１の４０％である。例えば、光源判定部１６６８は、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１に高輝度の画素が４０％以上ある場合、汚れが除去されていないと判定する。

【0069】

また、図１１に示すように、不明瞭領域抽出部１６６７は、汚れ領域Ｇ１１３の外部の光源領域Ｇ１１４から光源不明瞭領域Ｇ２１２を抽出する場合がある。しかしながら、汚れ検出部１６６３により、汚れ領域Ｇ１１３以外の不明瞭領域Ｇ２１１は、汚れではないと判断される。なお、図１０のように、汚れ領域Ｇ１１３の近辺に光源領域Ｇ１１４が存在する、もしくは、汚れ領域Ｇ１１３と光源領域Ｇ１１４とが重複して存在する場合、不明瞭領域抽出部１６６７は、汚れ領域Ｇ１１３と光源領域Ｇ１１４とが重複した不明瞭領域Ｇ２１１を抽出する。この場合、不明瞭領域抽出部１６６７は、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１を抽出し、汚れ領域Ｇ１１３外の不明瞭領域Ｇ２１１を破棄するとの条件を追加してもよい。このため、図１０では、光源不明瞭領域Ｇ２１２のうち、汚れ領域Ｇ１１３以外の部分は、不明瞭領域Ｇ２１１として抽出されなくてもよい。

【0070】

更に詳しくは、光源判定部１６６８は、変化検出部１６６６の出力する不明瞭領域Ｇ２１１の輝度値の変化に関する情報に基づいて、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１において輝度値が第１閾値以上の画素数を計数する。そして、光源判定部１６６８は、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１において輝度値が第１閾値以上の画素数が、第２閾値以上の場合に、汚れの輝度値が、光源によって上昇したと判定する。また、光源判定部１６６８は、光源により汚れ領域Ｇ１１３の輝度が上昇した状態であるため、光源フラグを有効にする。なお、光源判定部１６６８は、輝度値が第１閾値以上の画素数が、第２閾値以上を満たさない場合、汚れの輝度値が、光源により上昇していないと判定する。これによって、光源判定部１６６８は、不明瞭領域Ｇ２１１の輝度の変化が、光源であるか否かが判断できるため、汚れが除去（洗浄）されたとの誤判定を防止することができる。

【0071】

また、光源から可視光が照射されていると判定した後でも、汚れの輝度値が変化する場合がある。そこで、光源判定部１６６８は、変化検出部１６６６の出力する汚れ領域Ｇ１１３の輝度値の変化に関する情報に基づいて、汚れ領域Ｇ１１３の検出時の汚れ領域Ｇ１１３内の各画素の輝度値の平均値と、現時点の汚れ領域Ｇ１１３の各画素の輝度値の平均値との差異が第３閾値以上の場合に、汚れの外部光源による照射が継続されていると判定する。例えば、光源判定部１６６８は、汚れ領域Ｇ１１３の検出時の汚れ領域Ｇ１１３内の各画素の輝度値の平均値と、現時点の汚れ領域Ｇ１１３の各画素の輝度値の平均値との差異が第３閾値以上であるか否かにより、汚れ領域Ｇ１１３の輝度値の変化がしたか否かを判定する。なお、現時点とは、汚れ領域Ｇ１１３を検出後に撮像画像の汚れ領域Ｇ１１３の各画素の輝度値の平均値が変化した時である。

【0072】

汚れ検出部１６６３により汚れ領域Ｇ１１３が検出された時の輝度値と、汚れ領域Ｇ１１３を検出後に撮像画像の輝度値が変化した時の輝度値との差異が第３閾値以上かつ光源フラグが有効である（光源により輝度が変化している）場合、汚れ領域Ｇ１１３は光源から可視光の照射が継続されていると判定する。また、光源判定部１６６８は、汚れ領域Ｇ１１３の検出時の各画素の輝度値の平均値と、現時点の汚れ領域Ｇ１１３の各画素の輝度値の平均値との差異が第３閾値未満かつ光源フラグが有効（判定を継続する）である場合は、汚れ領域Ｇ１１３は光源からの可視光の照射が継続していない判定する。

【0073】

なお、画像処理部１６６は、汚れ検出部１６６３による汚れ検出を定期的に実行してもよく、例えば、光源判定部１６６８による輝度値の比較が、規定回数行われた場合に、汚れ検出部１６６３による汚れ検出を再度実行してもよい。これにより、画像処理部１６６は、レンズ１６１に付着した汚れが自然剥離したことによる輝度値の変化を判定することができる。

【0074】

洗浄制御部１６６９は、洗浄部１６３を制御して車載カメラ１６のレンズ１６１を洗浄する。例えば、洗浄制御部１６６９は、車載カメラ１６のレンズ１６１の汚れを除去する洗浄部１６３に洗浄を指示する。洗浄制御部１６６９は、洗浄制御回路の一例である。また、洗浄部１６３は、洗浄デバイスの一例である。例えば、汚れ通知部１６６４は、汚れが付着していることが汚れ検出部１６６３により検出された場合に、レンズ１６１に汚れが付着していることを表示装置１２０に表示させる。これに伴い、運転者等の操作者は、操作ボタン１４１や表示装置１２０が兼ねるタッチパネルを使用して、洗浄部１６３に洗浄させる操作を入力する。そして、洗浄制御部１６６９は、洗浄部１６３に洗浄させる操作を受け付けた場合に、洗浄部１６３にレンズ１６１を洗浄させる。なお、画像処理部１６６は、洗浄制御部１６６９がレンズ１６１を洗浄した後に、汚れ検出部１６６３に再度汚れ検出を実行させてもよい。

【0075】

次に、画像処理部１６６が実行する光源判定処理の流れについて図１３を用いて説明する。光源判定処理は、車載カメラ１６のレンズ１６１に付着した汚れが光源によって輝度値が変化したか否かを判定する処理である。

【0076】

画像取得部１６６１は、車載カメラ１６により撮像された撮像画像を取得する（ステップＳ１）。

【0077】

汚れ検出部１６６３は、撮像画像から、車載カメラ１６のレンズ１６１に付着した汚れの領域である汚れ領域Ｇ１１３を検出する（ステップＳ２）。

【0078】

光源判定部１６６８は、光源フラグを初期化する（ステップＳ３）。

【0079】

不明瞭領域抽出部１６６７は、不明瞭領域Ｇ２１１、光源不明瞭領域Ｇ２１２を抽出するフィルタ処理を実行する（ステップＳ４）。

【0080】

光源判定部１６６８は、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１において輝度値が第１閾値以上の画素数を計数する（ステップＳ５）。

【0081】

光源判定部１６６８は、不明瞭領域Ｇ２１１の輝度値が第１閾値以上の画素数が第２閾値以上有るか否かに基づいて、光源から可視光が照射されているか否かを判定する（ステップＳ６）。

【0082】

輝度値が第１閾値以上の画素数が第２閾値未満の場合に（ステップＳ６；Ｎｏ）、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１が、光源によって照射されていないと判定され、光源判定部１６６８は、第２閾値以上となるまでステップＳ６に留まる。

【0083】

輝度値が第１閾値以上の画素数が第２閾値以上の場合に（ステップＳ６；Ｙｅｓ）、光源判定部１６６８は、汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１が、光源によって照射されていると判定し、光源フラグを有効に設定する（ステップＳ７）。

【0084】

光源判定部１６６８は、汚れ領域Ｇ１１３の検出時の各画素の輝度値の平均値と、現時点の汚れ領域Ｇ１１３の各画素の輝度値の平均値との差異が第３閾値以上であるか否かに基づいて、汚れ領域Ｇ１１３が光源により継続して照射されているか否かを判定する（ステップＳ８）。輝度値の平均値の差異が第３閾値以上の場合に（ステップＳ８；Ｙｅｓ）、光源判定部１６６８は、汚れ領域Ｇ１１３が光源により継続して照射されていると判定し、ステップＳ８に再度移行する。

【0085】

輝度値の平均値の差異が第３閾値未満の場合に（ステップＳ８；Ｎｏ）、光源判定部１６６８は、光源フラグを無効に設定し（ステップＳ９）、光源判定部１６６８は、ステップＳ６に移行する。

【0086】

なお、画像処理部１６６は、ステップＳ６の判定、ステップＳ８の判定を規定回数処理した後、ステップＳ１に移行して、再度、汚れ検出を行ってもよい。これにより、画像処理部１６６は、汚れ領域Ｇ１１３の輝度値の変化が、汚れの自然剥離によるものと判断することができる。例えば、画像処理部１６６は、ステップＳ６のＹｅｓ判定後（汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１の輝度が第２閾値より高い）、または、ステップＳ８のＹｅｓ判定後（汚れ領域Ｇ１１３の平均輝度が第３閾値より高い）、汚れ検出を実行して、汚れが無いと判定された場合は、汚れの自然剥離により、輝度値が上昇していると判断できる。

【0087】

また、ステップＳ６の判定において、光源判定部１６６８が、レンズ１６１に付着した汚れに対して外部光源により可視光が照射されているか否かを所定回数判定した場合、洗浄制御部１６６９は、洗浄部１６３にレンズ１６１の汚れの除去を指示してもよい。これにより、洗浄制御部１６６９は、レンズ１６１に付着した汚れを除去することができる。

【0088】

また、例えば、画像処理部１６６は、ステップＳ６のＮｏ判定後（汚れ領域Ｇ１１３内の不明瞭領域Ｇ２１１の輝度が第２閾値より高くない）、または、ステップＳ８のＹｅｓ判定後（汚れ領域Ｇ１１３の平均輝度が第３閾値より高くない）、汚れ検出を実行して、汚れ領域Ｇ１１３の位置が変化したと判定された場合は、汚れの一部が自然剥離により、輝度値が閾値よりも高くないと判断できる。

【0089】

また、ステップＳ８の判定において、光源判定部１６６８が、レンズ１６１に付着した汚れに対して外部光源による可視光の照射が継続しているか否かを所定回数判定した場合、洗浄制御部１６６９は、洗浄部１６３にレンズ１６１の汚れの除去を指示してもよい。これにより、洗浄制御部１６６９は、レンズ１６１に付着した汚れを除去することができる。

【0090】

以上により、画像処理部１６６は、光源判定処理を終了する。

【0091】

以上のように、第１の実施形態に係る画像処理部１６６は、画像取得部１６６１により取得された撮像画像から、車載カメラ１６のレンズ１６１に付着した汚れに対応する領域である汚れ領域Ｇ１１３を検出する。また、画像処理部１６６は、画像取得部１６６１により取得された撮像画像から、車載カメラ１６のレンズ１６１に汚れが付着したことにより形成される不明瞭な画像の領域である不明瞭領域Ｇ２１１を抽出する。そして、画像処理部１６６は、画像取得部１６６１により取得された撮像画像の輝度値の変化に基づいて、汚れが光源により照射されているか否かを判定する。画像処理部１６６は、不明瞭領域Ｇ２１１に第１閾値以上の輝度値の画素が第２閾値以上有る場合、光源により可視光が照射されたことにより輝度値が変化したものであると判定する。したがって、画像処理部１６６は、車載カメラ１６のレンズ１６１の汚れの付着を検出した後に汚れの輝度が変化することによる汚れが除去されたと判定してしまう事象を抑制することができる。

【0092】

本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、本開示の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、本開示の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、本開示の範囲や要旨に含まれると同様に、特許請求の範囲に記載された本開示とその均等の範囲に含まれるものである。

【0093】

フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。

【0094】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0095】

なお、上述の実施形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（ｃｉｒｃｕｉｔｒｙ）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、または、「・・・モジュール」といった他の表記に置換されてもよい。

【符号の説明】

【0096】

１ 車両
１５ 送受波部
１６ 車載カメラ
１２０ 表示装置
１４１ 操作ボタン
１６１ レンズ
１６２ 撮像素子
１６３ 洗浄部
１６４ 映像信号処理部
１６５ 露光制御部
１６６ 画像処理部
１６７ 画像メモリ
１６６Ａ プロセッサ
１６６Ｂ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１６６Ｃ メモリ
１６６Ｄ Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース
１６６１ 画像取得部
１６６２ 監視制御部
１６６３ 汚れ検出部
１６６４ 汚れ通知部
１６６５ 判定部
１６６６ 変化検出部
１６６７ 不明瞭領域抽出部
１６６８ 光源判定部
１６６９ 洗浄制御部
Ｇ１１ 第１撮像画像
Ｇ１２ 第２撮像画像
Ｇ１３ 第３撮像画像
Ｇ１４ 第４撮像画像
Ｇ１１１ 非撮像領域
Ｇ１１２ 撮像領域
Ｇ１１３ 汚れ領域
Ｇ１１４ 光源領域
Ｇ２１ 第１抽出画像
Ｇ２２ 第２抽出画像
Ｇ２３ 第３抽出画像
Ｇ２４ 第４抽出画像
Ｇ２１１ 不明瞭領域
Ｇ２１２ 光源不明瞭領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】