特開 2024-132069 汚れ検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132069

(43)【公開日】2024-09-30

(54)【発明の名称】汚れ検知装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

   B60R 11/02 20060101ALI20240920BHJP

   H04N 23/52 20230101ALI20240920BHJP

   H04N 23/60 20230101ALI20240920BHJP

【ＦＩ】

G06T7/00 300G

G06T7/00 650Z

B60R11/02 Z

H04N23/52

H04N23/60 500

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023042717

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岩田 真雄

【テーマコード（参考）】

3D020

5C122

5L096

【Ｆターム（参考）】

3D020BA20

3D020BB01

3D020BC13

3D020BD05

5C122DA14

5C122EA02

5C122EA59

5C122FH09

5C122FH11

5C122FH14

5C122FH24

5C122HA88

5C122HB01

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA32

5L096FA33

5L096FA35

5L096FA67

5L096GA04

5L096GA19

5L096GA51

(57)【要約】

【課題】車載カメラのレンズの汚れの検知精度を向上させることが可能な汚れ検知装置を提供する。
【解決手段】本開示の汚れ検知装置は、画像取得部と第１の算出部と第２の算出部と検知部とを備える。画像取得部は、車両の外部を撮像する撮像部で撮像された画像を取得する。第１の算出部は、画像取得部で取得された画像に基づいて、輝度変化の方向を算出する。第２の算出部は、複数の方向範囲のそれぞれについて、該方向範囲に含まれる輝度変化の方向の出現頻度を示すヒストグラムを算出する。検知部は、ヒストグラムに基づいて、撮像部のレンズに付着している汚れを検知する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両の外部を撮像する撮像部で撮像された画像を取得する画像取得部と、
前記画像取得部で取得された前記画像に基づいて、輝度変化の方向を算出する第１の算出部と、
複数の方向範囲のそれぞれについて、該方向範囲に含まれる前記輝度変化の方向の出現頻度を示すヒストグラムを算出する第２の算出部と、
前記ヒストグラムに基づいて、前記撮像部のレンズに付着している汚れを検知する検知部と、を備える、
汚れ検知装置。

【請求項2】

前記検知部は、
前記輝度変化の方向の出現頻度が最も高い方向範囲が、前記車両に向かう方向に対応する方向範囲ではない、または、
前記輝度変化の方向の出現頻度が最も高い方向範囲が、前記車両に向かう方向に対応する方向範囲であっても複数の前記輝度変化の方向がばらついている場合に、汚れを検知する、
請求項１に記載の汚れ検知装置。

【請求項3】

前記第１の算出部は、１枚の前記画像に基づいて、複数の前記輝度変化の方向を算出する、
請求項１に記載の汚れ検知装置。

【請求項4】

前記検知部は、前記画像のうちボケ部分の領域の大きさを条件に、汚れを検知する、
請求項１に記載の汚れ検知装置。

【請求項5】

前記検知部は、
前記画像のうち、空間周波数が第１の閾値以上の第１の空間周波数の領域を示す第１の領域に対する、空間周波数が前記第１の閾値未満の第２の空間周波数の領域を示す第２の領域の比率に応じたスコアが第２の閾値以上であり、かつ、
前記画像の輝度勾配を示す輝度勾配画像を３値化して得られる３値化画像のうち、ボケ部分に対応する階調の画素の数が第３の閾値以上であることを条件に、汚れを検知する、
請求項４に記載の汚れ検知装置。

【請求項6】

前記検知部は、輝度情報に基づいて、前記スコアを補正する、
請求項５に記載の汚れ検知装置。

【請求項7】

前記検知部は、輝度のコントラストが低いほど前記スコアが低くなる補正を行う、
請求項６に記載の汚れ検知装置。

【請求項8】

前記検知部は、輝度の分散が大きいほど前記スコアが低くなる補正を行う、
請求項６に記載の汚れ検知装置。

【請求項9】

前記検知部は、輝度の平均が大きいほど前記スコアが低くなる補正を行う、
請求項６に記載の汚れ検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、汚れ検知装置に関する。

【背景技術】

【0002】

従来、車載カメラが撮像した画像に基づいて車両の周囲に存在する人または物体を検知する技術において、車載カメラのレンズに汚れが付着している場合、車両の周囲の状況を把握することができないため、人や物体を検知することが困難になる。そのため、車載レンズの汚れを精度良く検知する必要がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１３９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、車載カメラのレンズの汚れの検知精度を向上させることが可能な汚れ検知装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本開示の汚れ検知装置は、車両の外部を撮像する撮像部で撮像された画像を取得する画像取得部と、前記画像取得部で取得された前記画像に基づいて、輝度変化の方向を算出する第１の算出部と、複数の方向範囲のそれぞれについて、該方向範囲に含まれる前記輝度変化の方向の出現頻度を示すヒストグラムを算出する第２の算出部と、前記ヒストグラムに基づいて、前記撮像部のレンズに付着している汚れを検知する検知部と、を備える。

【発明の効果】

【0006】

本開示によれば、車載カメラのレンズの汚れの検知精度を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本明細書中に記載された何れかの効果であってもよい。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態の車両の一例を示す図である。

【図2】図２は、実施形態の車両の運転席近傍の構成の一例を示す図である。

【図3】図３は、実施形態の車載カメラのハードウェア構成の一例を示す図である。

【図4】図４は、実施形態の画像処理部が有する機能の一例を示す図である。

【図5】図５は、実施形態の輝度変化の方向の定義を説明するための図である。

【図6】図６は、実施形態のヒストグラムの算出方法の一例を説明するための図である。

【図7】図７は、実施形態の自車両の後続車のヘッドライトの照射の態様を説明するための図である。

【図8】図８は、実施形態の輝度方向の変化の一例を示す図である。

【図9】図９は、実施形態のヒストグラムの一例を示す図である。

【図10】図１０は、実施形態の輝度方向の変化の一例を示す図である。

【図11】図１１は、実施形態のヒストグラムの一例を示す図である。

【図12】図１２は、実施形態のスコアの算出方法を説明するための図である。

【図13】図１３は、実施形態の第１の領域と第２の領域を説明するための図である。

【図14】図１４は、実施形態の３値画像の生成方法を説明するための図である。

【図15】図１５は、実施形態のソーベルフィルタの一例を示す図である。

【図16】図１６は、実施形態の輝度勾配値と３値化画像における３値との関係の一例を示す図である。

【図17】図１７は、実施形態の画像処理部が実行する処理の一例を示すフローチャートである。

【図18】図１８は、実施形態のスコアの算出方法の一例を示すフローチャートである。

【図19】図１９は、実施形態のボケ画素数の算出方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、添付図面を参照しながら、本開示の実施形態に係る汚れ検知装置を詳細に説明する。

【0009】

図１は、本実施形態に係る車載装置１００を備える車両１の一例を示す図である。図１に示すように、車両１は、車体１２と、車体１２に所定方向に沿って配置された２対の車輪１３とを備える。２対の車輪１３は、１対のフロントタイヤ１３ｆ及び１対のリアタイヤ１３ｒを備える。

【0010】

なお、図１に示す車両１は４つの車輪１３を備えるが、車輪１３の数はこれに限定されるものではない。例えば、車両１は、２輪車であっても良い。

【0011】

車体１２は、車輪１３に結合され、車輪１３によって移動可能である。この場合、２対の車輪１３が配置される所定方向が車両１の走行方向となる。車両１は、不図示のギヤの切り替え等により前進または後退することができる。また、車両１は、操舵により右左折することもできる。

【0012】

また、車体１２は、フロントタイヤ１３ｆ側の端部である前端部Ｆと、リアタイヤ１３ｒ側の端部である後端部Ｒを有する。車体１２は上面視で略矩形をしており、略矩形状の４つの角部を端部と呼ぶ場合もある。また、図１では図示を省略するが、車両１は、表示装置、スピーカ、および操作部を備える。

【0013】

車体１２の前後端部Ｆ，Ｒであって、車体１２の下端付近には１対のバンパー１４が設けられている。１対のバンパー１４のうち、フロントバンパー１４ｆは車体１２の下端部付近の前面全体と側面の一部を覆う。１対のバンパー１４のうち、リアバンパー１４ｒは車体１２の下端部付近の後面全体と側面の一部を覆う。

【0014】

車体１２の所定の端部には、超音波等の音波の送受波を行う送受波部１５ｆ，１５ｒが配置される。例えば、フロントバンパー１４ｆには１つ以上の送受波部１５ｆが配置され、リアバンパー１４ｒには１つ以上の送受波部１５ｒが配置される。以下、送受波部１５ｆ，１５ｒを特に限定しない場合には、単に送受波部１５という。また、送受波部１５の数および位置は、図１に示す例に限定されるものではない。例えば、車両１は、左右の側方に送受波部１５を備えても良い。

【0015】

本実施形態においては、超音波を使用したソナーを送受波部１５の一例とするが、送受波部１５は、電磁波を送受波するレーダーであっても良い。あるいは、車両１は、ソナーとレーダーの両方を備えても良い。また、送受波部１５を単にセンサと称しても良い。

【0016】

送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物を検出する。また、送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物と車両１との距離を計測する。

【0017】

また、車両１は、車両１の前方を撮影する第１の車載カメラ１６ａ、車両１の後方を撮影する第２の車載カメラ１６ｂ、車両１の左側方を撮影する第３の車載カメラ１６ｃ、および車両１の右側方を撮影する第４の車載カメラを備える。第４の車載カメラは図示を省略する。

【0018】

以下、第１の車載カメラ１６ａ、第２の車載カメラ１６ｂ、第３の車載カメラ１６ｃ、および第４の車載カメラを特に区別しない場合には単に車載カメラ１６という。車載カメラ１６の位置及び数は図１に示す例に限定されるものではない。後述するように、本開示では、後続車のヘッドライトが定在する状況下でも車載カメラ１６のレンズの汚れを正確に検知することを目的の一つとするため、車載カメラ１６としては、少なくとも、車両１の後方を撮影する第２の車載カメラ１６ｂが設置されていればよい。例えば、車両１は、第１の車載カメラ１６ａおよび第２の車載カメラ１６ｂの２台を備える形態であってもよい。また、車両１は、上述の例の他に、さらに他の車載カメラを有しても良い。

【0019】

車載カメラ１６は、車両１の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ１６が撮影する画像データは、動画でも良いし、静止画でも良い。また、車載カメラ１６は、車両１に内蔵されたカメラであっても良いし、車両１に後付けされたドライブレコーダーのカメラ等であっても良い。

【0020】

また、車両１には、車載装置１００が搭載される。車載装置１００は、車両１に搭載可能な情報処理装置であり、例えば、車両１の内部に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、もしくはＯＢＵ（Ｏｎ Ｂｏａｒｄ Ｕｎｉｔ）である。あるいは、車載装置１００は、車両１のダッシュボード付近に設置された外付けの装置であっても良い。なお、車載装置１００はカーナビゲーション装置等を兼ねても良い。また、車載装置１００は、車載カメラ１６により撮像された画像に基づいて、車両１の周囲に存在する人または物体を検知する機能を有している。

【0021】

次に、本実施形態の車両１の運転席近傍の構成について説明する。図２は、本実施形態に係る車両１の運転席１３０ａ近傍の構成の一例を示す図である。

【0022】

図２に示すように、車両１は運転席１３０ａ、および助手席１３０ｂを備える。また、運転席１３０ａの前方にはフロントガラス１８０、ダッシュボード１９０、ステアリングホイール１４０、表示装置１２０、および操作ボタン１４１が設けられる。

【0023】

表示装置１２０は、車両１のダッシュボード１９０に設けられたディスプレイである。表示装置１２０は、一例として、図２に示すようにダッシュボード１９０の中央に位置する。表示装置１２０は例えば液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。また、表示装置１２０は、タッチパネルを兼ねても良い。

【0024】

また、ステアリングホイール１４０は、運転席１３０ａの正面に設けられ、ドライバ（運転者）によって操作可能である。ステアリングホイール１４０の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ１３ｆの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ１３ｒでも良いし、フロントタイヤ１３ｆとリアタイヤ１３ｒの両方が操舵輪であっても良い。

【0025】

操作ボタン１４１は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両１の運転者である。なお、操作ボタン１４１の位置は図２に示す例に限定されるものでなく、例えばステアリングホイール１４０に設けられても良い。操作ボタン１４１は、本実施形態における操作部の一例である。また、表示装置１２０がタッチパネルを兼ねる場合は、表示装置１２０が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両１の外部から車両１に対して信号を送信可能な操作端末を、操作部の一例としても良い。

【0026】

次に、本実施形態の車載カメラ１６のハードウェア構成について説明する。

【0027】

図３は、本実施形態に係る車載カメラ１６のハードウェア構成の一例を示す図である。図３に示すように、車載カメラ１６は、レンズ１６１、撮像素子１６２、洗浄部１６３、映像信号処理部１６４、露光制御部１６５、画像処理部１６６、及び画像メモリ１６７を備える。

【0028】

レンズ１６１は、透明の材料により形成される。そして、レンズ１６１は、入射した光を発散又は集束する。

【0029】

撮像素子１６２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサである。撮像素子１６２は、レンズ１６１を通過した光を受光し、映像信号に変換する。

【0030】

洗浄部１６３は、水などをレンズ１６１に噴射することにより、レンズ１６１に付着した汚れを洗浄する装置である。

【0031】

映像信号処理部１６４は、撮像素子１６２から出力された映像信号に基づいて、画像を生成する。露光制御部１６５は、映像信号処理部１６４により生成される画像の明るさを制御する。すなわち、映像信号処理部１６４は、露光制御部１６５により制御された明るさの画像を生成する。例えば、露光制御部１６５は、画像が暗い場合に、画像の明るさを上げる。一方、露光制御部１６５は、画像が明るい場合に、画像の明るさを下げる。

【0032】

画像処理部１６６は、映像信号処理部１６４により生成された画像に対して各種画像処理を実行する。画像メモリ１６７は、画像処理部１６６の主記憶装置である。画像メモリ１６７は、画像処理部１６６による画像処理のワーキングメモリとして使用される。

【0033】

画像処理部１６６は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、画像処理を制御する。例えば、画像処理部１６６は、プロセッサ１６６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６６Ｂ、メモリ１６６Ｃ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１６６Ｄを備える。

【0034】

プロセッサ１６６Ａは、例えば、コンピュータプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。なお、プロセッサ１６６Ａは、ＣＰＵに限定されない。例えば、プロセッサ１６６Ａは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよいし、他のプロセッサであってもよい。

【0035】

ＲＡＭ１６６Ｂは、キャッシュまたはバッファなどとして使用される揮発性メモリである。メモリ１６６Ｃは、例えば、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。プロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。

【0036】

Ｉ／Ｏインタフェース１６６Ｄは、画像処理部１６６の入出力を制御する。例えば、Ｉ／Ｏインタフェース１６６Ｄは、映像信号処理部１６４、画像メモリ１６７、及び車載装置１００との通信を実行する。

【0037】

なお、洗浄部１６３は、車載カメラ１６と一体に形成されずに、独立した装置であってもよい。また、画像処理部１６６及び画像メモリ１６７は、車載カメラ１６に限らず、車載装置１００に設けられていても良いし、独立した装置であってもよいし、他の装置に組み込まれていても良い。

【0038】

次に、本実施形態に係る画像処理部１６６が有する機能について説明する。

【0039】

図４は、本実施形態に係る画像処理部１６６が有する機能の一例を示す図である。画像処理部１６６のプロセッサ１６６Ａは、メモリ１６６Ｃに記憶されたプログラムをＲＡＭ１６６Ｂ上に展開して実行することにより各種の機能を実現できる。図４に示すように、例えば画像処理部１６６は、画像取得部１６６１、領域設定部１６６２、第１の算出部１６６３、第２の算出部１６６４、検知部１６６５、汚れ通知部１６６６、洗浄制御部１６６７を有する。なお、図３の例では、本実施形態の要部の説明に必要な機能のみを例示しているが、画像処理部１６６が有する機能はこれらに限られるものではない。また、図４に例示する機能の一部または全部が専用のハードウェア回路（例えば半導体集積回路）で実現される形態であってもよい。

【0040】

画像取得部１６６１は、車両１の外部を撮像する車載カメラ１６（「撮像部」に対応）で撮像された画像を取得する。本実施形態では、画像取得部１６６１は、映像信号処理部１６４から、車両１の後方を撮像する第２の車載カメラ１６ｂが撮像した画像を取得する。

【0041】

領域設定部１６６２は、画像取得部１６６１により取得された画像のうち、汚れ検知を行うために必要な領域を設定する。本実施形態では、車両１の後方を撮影する第２の車載カメラ１６ｂにより撮像された画像のうち、車両１の後続車のヘッドライトが影響する範囲（自車両１の後方６ｍ～３０ｍ）に対応する領域を、汚れ検知を行う領域として設定する。

【0042】

第１の算出部１６６３は、画像取得部１６６１で取得された画像に基づいて、輝度変化の方向を算出する。本実施形態では、第１の算出部１６６３は、画像取得部１６６１で取得された１枚の画像に基づいて、輝度変化の方向を算出する。より具体的には、第１の算出部１６６３は、画像取得部１６６１で取得された１枚の画像（第２の車載カメラ１６ｂで撮像された１枚の画像）のうち領域設定部１６６２で設定された領域について、輝度の変化を結んだ線分を、輝度変化の方向として算出する。例えば図５に示すように、本実施形態では、第２の車載カメラ１６ｂで撮像された画像のうち後続車のヘッドライトの光源が映り込んだ位置を基準点とし、基準点を通る水平線（左右方向の線）の右側を０度、左側を１８０度として輝度変化の方向を定義する。ただし、輝度変化の方向の定義はこれに限られるものではなく任意に設定可能であり、例えば水平線の左側を０度、水平線の右側を１８０度としてもよいし、基準点を通る垂線（上下方向の線）の上側を０度、垂線の下側を１８０度として定義してもよい。

【0043】

図４に戻って説明を続ける。第２の算出部１６６４は、複数の方向範囲のそれぞれについて、該方向範囲に含まれる輝度変化の方向の出現頻度を示すヒストグラムを算出する。本実施形態では、０度～１８０度の範囲において、２０度刻みの方向範囲が９つ設定される（０～２０度、２０～４０度、４０～６０度、６０～８０度、８０～１００度、１００～１２０度、１２０～１４０度、１４０～１６０度、１６０～１８０度）。そして、第２の算出部１６６４は、予め定められた９つの方向範囲の各々に含まれる、第１の算出部１６６３で算出された輝度変化の方向の数をカウントして、９つの方向範囲のそれぞれのカウント値（輝度変化の方向の出現頻度に相当）を示すヒストグラムを算出する。例えば図６に示すように、各方向範囲に１～９の番号を割り振り、方向範囲ごとに、当該方向範囲に含まれる輝度変化の方向の数を示すカウント値（１つの方向につき「１」ずつ加算）を求めてヒストグラムを算出することもできる。このヒストグラムの具体的な利用方法については後述する。

【0044】

図４に戻って説明を続ける。検知部１６６５は、第２の算出部１６６４で算出されたヒストグラムに基づいて、車載カメラ１６（この例では第２の車載カメラ１６ｂ）のレンズ１６１に付着している汚れを検知する。

【0045】

ここで、例えば図７に示すように、自車両１の後続車のヘッドライトは、自車両１に向かって照射されるので、輝度変化の方向はほぼ一定となる（輝度変化の方向はばらつかない）。例えば、第２の車載カメラ１６ｂのレンズ１６１に汚れが付着していない状態で、第２のカメラ１６ｂにより撮像された画像に後続車のヘッドライトが映り込んでいる場合を想定する。この場合において、図８は、第１の算出部１６６３により算出された輝度変化の方向を示す図であり、図９は、第２の算出部１６６４で算出されたヒストグラムを示す図である。本実施形態では、図９に示す９つの方向範囲のうち８０～１００度の方向範囲を、自車両１に向かう方向に対応する方向範囲としている。図９に示すように、輝度変化の方向の出現頻度が最も高い方向範囲は８０～１００度であり、輝度変化の方向の出現頻度のピークは、自車両１に向かう方向に対応する方向範囲となる。

【0046】

一方、第２の車載カメラ１６ｂのレンズ１６１に汚れが付着している場合、汚れの付着の仕方はばらつくので、輝度変化の方向もばらつく。例えば、第２の車載カメラ１６ｂのレンズ１６１に汚れが付着している状態で、第２のカメラ１６ｂにより撮像された画像に後続車のヘッドライトが映り込んでいる場合を想定する。この場合において、図１０は、第１の算出部１６６３により算出された輝度変化の方向を示す図であり、図１１は、第２の算出部１６６４で算出されたヒストグラムを示す図である。図１１に示すように、輝度変化の方向の出現頻度が最も高い方向範囲は、自車両１に向かう方向に対応する方向範囲（８０～１００度）ではなく、各方向範囲のカウント値も図９の例に比べてばらついている。

【0047】

以上より、自車両１の後続車のヘッドライトは自車両１に向かって照射されるので、車載カメラ１６のレンズ１６１に汚れが付着していない場合は輝度変化の方向はほぼ一定となって輝度変化の方向はばらつかない一方、車載カメラ１６のレンズ１６１に汚れが付着している場合は汚れの付着の仕方はばらつくので、輝度変化の方向もばらつく。この点に着目し、本実施形態の検知部１６６５は、輝度変化の方向の出現頻度が最も高い方向範囲と自車両１に向かう方向に対応する方向範囲との関係と、各方向範囲のカウント値のばらつきと、を用いて、車載カメラ１６のレンズ１６１の汚れを検知する。より具体的には、輝度変化の方向の出現頻度が最も高い方向範囲が、自車両１に向かう方向に対応する方向範囲ではない、または、輝度変化の方向の出現頻度が最も高い方向範囲が自車両１に向かう方向に対応する方向範囲であっても、第２の算出部１６６４で算出されたヒストグラムに基づき第１の算出部１６６３で算出された複数の輝度変化の方向がばらついているとなる場合に、検知部１６５５は汚れを検知する。

【0048】

なお、各方向範囲のカウント値がばらついているか否かについては、各方向範囲のカウント値の分散が基準値を超えている場合に、ばらついていると判断することができる。基準値の一例として、本実施形態では「１００００」を設定しているが、これに限らず、基準値は設計条件等に応じて任意に設定可能である。以下は、分散の算出方法の一例を示す式である。

【数1】

【0049】

さらに、本実施形態の検知部１６６５は、画像取得部１６６１により取得された画像のうちボケ部分の領域（以下、「ボケ領域」と称する場合がある）の大きさを条件に、汚れを検知する。ボケ領域がある程度の大きさを有している場合は、車載カメラ１６のレンズ１６１に汚れが付着している可能性も高くなるので、そのような状況の下で、上述のヒストグラムに基づいて汚れを検知することで、汚れ検知の精度を一層向上させることができる。

【0050】

より具体的には、検知部１６６５は、画像取得部１６６１により取得された画像のうち、空間周波数が第１の閾値以上の第１の空間周波数の領域を示す第１の領域（高周波成分の領域）に対する、空間周波数が第１の閾値未満の第２の空間周波数の領域を示す第２の領域（低周波成分の領域）の比率に応じたスコアが第２の閾値以上であり、かつ、画像の輝度勾配を示す輝度勾配画像を３値化して得られる３値化画像のうち、ボケ部分に対応する階調の画素の数（以下、「ボケ画素数」と称する場合がある）が第３の閾値以上であることを条件に、汚れを検知する。

【0051】

本実施形態の検知部１６６５は、上述の条件（ボケ領域の大きさの条件）が成立した場合に、上述のヒストグラムに基づいて、車載カメラ１６のレンズ１６１の汚れを検知する。

【0052】

次に、上述のスコアの算出方法について説明する。図１２に示すように、検知部１６６５は、画像取得部１６６１により取得された画像（入力画像）の中心から所定範囲の領域をブロック化領域として設定し、その設定した領域を分割して複数のブロックを得る。なお、ブロック化領域の範囲は任意に設定可能であり、例えば入力画像全体をブロック化領域とすることもできる。図１２の例では、縦および横をそれぞれ８分割して５６個のブロックを得ているが、これに限らず、入力画像の分割方法（ブロック数）は任意に変更可能である。そして、検知部１６６１は、ブロックごとに、ＤＦＴ変換を行って周波数空間に変換し、第１の領域に対する第２の領域の比率に比例したスコアを算出する（ブロックごとにスコアを示すスコアマップを得る）。

【0053】

例えばＤＦＴ変換によって周波数変換を行い、水平方向の空間周波数ｕと垂直方向の空間周波数ｖとパワースペクトルとの関係を、画像（パワースペクトル画像）として表現することができる。パワースペクトル画像は、例えば水平方向の空間周波数ｕをｘ軸、垂直方向の空間周波数ｖをｙ軸、パワースペクトルをｚ軸とし、ｘｙ平面を俯瞰する形でパワースペクトルの大きさを濃淡で示すことで、ｘｙ平面上の二次元の画像として表現することもできる。パワースペクトル画像は、画像の中心付近が低周波成分となり、中心から離れるに従って高周波成分になるので、例えば図１３に示すように、中心から距離ｒ未満の領域を低周波成分の第２の領域とし、距離ｒ以上の領域を高周波成分の第１の領域として区分けすることもできる。濃淡変化が緩やかな画像（ボケた画像）は、高周波成分が少なく低周波成分が多くなる一方、エッジのような濃淡変化が急峻なパターンを多く含む画像（シャープな画像）は、高周波成分が多く低周波成分が少なくなる。

【0054】

例えば水平方向の空間周波数をｕ、垂直方向の空間周波数をｖとすると、第１の領域のスペクトル総和は以下の式２で表すことができ、第２の領域のスペクトル総和は以下の式３で表すことができる。そして、第１の領域のスペクトル総和に対する、第２の領域のスペクトル総和の比率は以下の式４で表すことができる。本実施形態では、検知部１６６５は、式４で算出された比率に比例した値をスコアとして設定することができる。スコアが大きくなるほど低周波成分が多くなるので、ボケの度合いも大きくなることを意味する。

【数2】

【数3】

【数4】

【0055】

以上のようにして、検知部１６６５は、ブロックごとにスコアを算出した後、輝度情報に基づいて、スコアを補正することができる。

【0056】

例えば検知部１６６５は、輝度のコントラストが低いほどスコアが低くなる補正を行うことができる。例えば床または路面などの単調な領域をボケ領域と誤認しないようにするため、そのような領域のスコアを低減することを目的とする。本実施形態では、検知部１６６５は、スコアを算出したブロックについて、ＤＦＴ変換を行う前の該ブロックに含まれる各画素の輝度値の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎとからコントラストを算出し、コントラストが低いほど、算出済みのスコアを低減する補正を行う。例えばコントラストは、以下の式５で算出することもできる。

【数5】

【0057】

また、例えば検知部１６６５は、輝度の分散が大きいほどスコアが低くなる補正を行うことができる。例えば太陽または電灯などの輝度が高い領域をボケ領域と誤認しないようにするため、そのような領域のスコアを低減することを目的とする。本実施形態では、検知部１６６５は、スコアを算出したブロックについて、ＤＦＴ変換を行う前の該ブロックに含まれる各画素の画素値ｓｒｃ（Ｉ）と、それらの平均ｍｅａｎとから分散を算出し、分散が大きいほど、算出済みのスコアを低減する補正を行う。例えば分散は、以下の式６で算出することもできる。なお、式６における「Ｎ」は対象のブロックに含まれる画素の総数（データの総数）である。

【数6】

【0058】

また、例えば検知部１６６５は、輝度の平均が大きいほどスコアが低くなる補正を行うことができる。上記と同様に、例えば太陽または電灯などの輝度が高い領域をボケ領域と誤認しないようにするため、そのような領域のスコアを低減することを目的とする。本実施形態では、検知部１６６５は、スコアを算出したブロックについて、ＤＦＴ変換を行う前の該ブロックに含まれる各画素の画素値ｓｒｃ（Ｉ）の平均を算出し、平均が大きいほど、算出済みのスコアを低減する補正を行う。例えば平均は、以下の式７で算出することもできる。

【数7】

【0059】

なお、本実施形態では、輝度情報に基づいてスコアを補正しているが、これに限らず、例えば輝度情報に基づく補正を行わない形態であってもよい。また、上述の輝度情報に基づく補正を行う場合においても、輝度のコントラストによる補正、輝度の分散による補正および輝度の平均による補正のうちの一部のみを選択的に行う形態であってもよい。

【0060】

次に、上述のボケ画素数の算出方法について説明する。例えば図１４に示すように、検知部１６６５は、入力画像に対してソーベルフィルタを適用して、輝度勾配で表現される輝度勾配画像に変換し、該輝度勾配画像を３値化画像に変換する。

【0061】

ソーベルフィルタとしては、例えば図１５に示すような横方向のフィルタと縦方向のフィルタを使用することができる。検知部１６６５は、入力画像に対して横方向のフィルタを適用した結果の絶対値と、入力画像に対して縦方向のフィルタを適用した結果の絶対値とを加算することで、輝度勾配画像を得ることができる。

【0062】

また、図１６は、輝度勾配値と３値化画像における３値（この例では、「灰」、「白」、「黒」の３つの階調に対応する３値）との関係の一例を示す図である。図１６に示すように、例えば「濃泥」を表す輝度勾配値の範囲に対応する３値の階調は「灰」、「薄泥」または「ボケ」を表す輝度勾配値の範囲に対応する３値の階調は「白」、「エッジ」を表す輝度勾配値の範囲に対応する３値の階調は「黒」として、それぞれ対応付けられている。この例では、検知部１６６５は、３値化画像のうち、「ボケ」に対応する「白」の階調を示す画素の数をカウントすることで、ボケ画素数を算出することができる。

【0063】

以上が、図４に示す検知部１６６５の機能である。なお、上述したように、本実施形態の検知部１６６５は、ボケ領域の大きさを条件に汚れを検知しているが、これに限らず、例えばボケ領域の大きさを条件とせずに、上述のヒストグラムのみに基づいて、汚れを検知する形態であってもよい。

【0064】

図４に戻って説明を続ける。汚れ通知部１６６６は、検知部１６６５により車載カメラ１６のレンズ１６１の汚れが検知された場合、その旨を表示装置１２０に表示させる。これを見た運転者等の操作者は、操作ボタン１４１や表示装置１２０が兼ねるタッチパネルを使用して、洗浄部１６３に洗浄させる操作を入力することができる。そして、洗浄制御部１６６７は、洗浄部１６３に洗浄させる操作を受け付けた場合に、洗浄部１６３にレンズ１６１を洗浄させる。

【0065】

図１７は、本実施形態の画像処理部１６６が実行する処理の一例を示すフローチャートである。以下の画像処理部１６６が有する各機能（検知部１６６５等）による処理の説明において、上述の説明と重複する部分については適宜説明を省略する。また、図１７のフローチャートの各ステップの順番については、図１７の例に限られるものではなく、適宜に変更可能である。

【0066】

図１７に示すように、検知部１６６５は入力画像を分割して得られる複数のブロックのそれぞれについてスコアを算出し、各ブロックのスコアを足し合わせて全体スコアを算出する（ステップＳ１）。図１８は、スコアの算出方法の一例を示すフローチャートである。検知部１６６５は、図１８に示すフローチャートに従った処理をブロックごとに行って、各ブロックのスコアを算出する。

【0067】

図１８のフローチャートについて説明する。以下の各処理の説明において、上述の説明と重複する部分については適宜に説明を省略する。検知部１６６５は、入力画像に対してＤＦＴ変換を行い、周波数空間に変換する（ステップＳ１００）。次に、検知部１６６５は、上述の第１の領域（高周波成分の領域）に対する上述の第２の領域（低周波成分の領域）の比率を算出する（ステップＳ１０１）。次に、検知部１６６５は、ステップＳ１０１で算出した比率に応じたスコアを算出する（ステップＳ１０２）。次に、検知部１６６５は、ステップＳ１０２で算出したスコアに対して、輝度コントラストによる補正（ステップＳ１０３）、輝度分散による補正（ステップＳ１０４）、輝度平均による補正（ステップＳ１０５）をそれぞれ行って、最終的なスコアを算出する。

【0068】

図１７に戻って説明を続ける。上述のステップＳ１の後、検知部１６６５は、ボケ画素数を算出する（ステップＳ２）。図１９は、ボケ画素数の算出方法の一例を示すフローチャートである。

【0069】

図１９のフローチャートについて説明する。以下の各処理の説明において、上述の説明と重複する部分については適宜に説明を省略する。検知部１６６５は、入力画像を輝度勾配画像へ変換する（ステップＳ２００）。次に、検知部１６６５は、ステップＳ２００で得た輝度勾配画像を３値化画像へ変換する（ステップＳ２０１）。次に、検知部１６６５は、ステップ２０１で得た３値化画像に含まれる複数の画素のうち、「ボケ」に対応する階調（この例では「白」の階調）を示す画素を抽出する（ステップＳ２０２）。次に、検知部１６６５は、ステップＳ２０２で抽出した画素の数をカウントして、ボケ画素数を算出する（ステップＳ２０３）。

【0070】

図１７に戻って説明を続ける。上述のステップＳ２の後、検知部１６６５は、ステップＳ１で算出した全体スコアが第２の閾値以上であるか否かを判断する（ステップＳ３）。第２の閾値は設計条件等に応じて任意に変更可能であるが、本例では「１０５」としている。ステップＳ３の結果が否定の場合（ステップＳ３：Ｎо）、検知部１６６５は、汚れなしと判断する（ステップＳ４）。つまり、検知部１６６５は、レンズ１６１に汚れは付着していないことを検知する。

【0071】

ステップＳ３の結果が肯定の場合（ステップＳ３：Ｙｅｓ）、検知部１６６５は、ステップＳ２で算出したボケ画素数が第３の閾値以上であるか否かを判断する（ステップＳ５）。第３の閾値は設計条件等に応じて任意に変更可能であるが、本例では「３８０」としている。ステップ５の結果が否定の場合（ステップＳ３：Ｎо）、検知部１６６５は、汚れなしと判断する（ステップＳ４）。

【0072】

ステップＳ５の結果が肯定の場合（ステップＳ５：Ｙｅｓ）、ボケ領域の大きさの条件が成立するので、上述した汚れ検知を行う。以下、具体的に説明する。

【0073】

ステップＳ５の結果が肯定の場合（ステップＳ５：Ｙｅｓ）、第１の算出部１６６３は、画像取得部１６６１により取得された画像のうち領域設定部１６６２で設定された領域について、輝度変化の方向を算出する（ステップＳ６）。次に、第２の算出部１６６４は、ステップＳ６で算出された輝度変化の方向を用いて、上述のヒストグラムを算出する（ステップＳ７）。

【0074】

次に、検知部１６６５は、ステップＳ７で算出されたヒストグラムを用いて、輝度変化の方向の出現頻度が最も高い方向範囲と、各方向範囲のカウント値の分散を算出する（ステップＳ８）。

【0075】

次に、検知部１６６５は、輝度変化の方向の出現頻度が最も高い方向範囲が、自車両１に向かう方向に対応する方向範囲（本実施形態では８０度～１００度）であるか否かを判断する（ステップＳ９）。ステップＳ９の結果が否定の場合（ステップＳ９：Ｎо）、検知部１６６５は汚れありと判断する（ステップＳ１０）。つまり、検知部１６６５は、レンズ１６１に汚れが付着していることを検知する。

【0076】

一方、ステップＳ９の結果が肯定の場合（ステップＳ９：Ｙｅｓ）、検知部１６６５は、ステップＳ８で算出した分散が基準値（上述したように例えば「１００００」等）未満であるか否かを判断する（ステップＳ１１）。ステップＳ１１の結果が否定の場合（ステップＳ１１：Ｎо）、検知部１６６５は汚れありと判断する（ステップＳ１２）。一方、ステップＳ１１の結果が肯定の場合（ステップＳ１１：Ｙｅｓ）、検知部１６６５は汚れなしと判断する（ステップＳ４）。

【0077】

以上に説明したように、本実施形態の画像処理部１６６は、車両の後方を撮像する車載カメラ１６（第２の車載カメラ１６ｂ）で撮像された画像に基づいて輝度変化の方向を算出し、複数の方向範囲のそれぞれについて、該方向範囲に含まれる輝度変化の方向の出現頻度を示すヒストグラムを算出する。そして、算出したヒストグラムに基づいて、車載カメラ１６のレンズ１６１に付着している汚れを検知する。これにより、レンズ１６１に付着している汚れを精度良く検知することができる。

【0078】

より具体的には、上述の本実施形態によれば、後続車のヘッドライトと車載カメラ１６のレンズ１６１に付着した汚れとを区別して検知できるので、汚れの検知精度を向上させることができる。上述したように、自車両１の後続車のヘッドライトは自車両１に向かって照射されるので、車載カメラ１６のレンズ１６１に汚れが付着していない場合は輝度変化の方向はほぼ一定となって輝度変化の方向はばらつかない一方、車載カメラ１６のレンズ１６１に汚れが付着している場合は汚れの付着の仕方はばらつくので、輝度変化の方向もばらつく。本実施形態ではこの点に着目し、画像処理部１６６（検知部１６５５）は、輝度変化の方向の出現頻度が最も高い方向範囲が、自車両１に向かう方向に対応する方向範囲ではない、または、輝度変化の方向の出現頻度が最も高い方向範囲が、自車両１に向かう方向に対応する方向範囲であっても複数の輝度変化の方向がばらついている（各方向範囲の輝度変化の方向の出現頻度を示すカウント値がばらついている）場合に、汚れを検知する。これにより、後続車のヘッドライトとは区別して汚れを検知することができるので、汚れの検知精度を向上させることができる。

【0079】

また、上述したように、本実施形態の画像処理部１６６は、車載カメラ１６により撮像された１枚の画像から上述のヒストグラムを算出して汚れ検知を行うので、例えば光点の変化を把握するために時系列に並んだ複数の画像を用いて処理する形態（時系列情報を用いて処理する形態）に比べて時系列情報が不要になる。したがって、処理時間を短縮できるという有利な効果も奏する。

【0080】

さらに、上述したように、本実施形態の画像処理部１６６は、入力画像（車載カメラ１６１で撮像された画像）のうちのボケ領域の大きさを条件に汚れ検知を行う。ボケ領域がある程度の大きさを有している場合は車載カメラ１６のレンズ１６１に汚れが付着している可能性も高くなる。そのため、そのような状況の下で、上述のヒストグラムに基づく検知を行うことで、レンズ１６１に発生したボケが後続車のヘッドライトに起因するボケなのかレンズ１６１に付着した汚れなのかを明確に区別することができる。これにより、汚れの検知精度を一層向上させることができる。

【0081】

以上、本開示の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0082】

また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【符号の説明】

【0083】

１ 車両
１６ 車載カメラ
１００ 車載装置
１２０ 表示装置
１４１ 操作ボタン
１６６ 画像処理部
１６６Ａ プロセッサ
１６６Ｂ ＲＡＭ
１６６Ｃ メモリ
１６６Ｄ Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース
１６６１ 画像取得部
１６６２ 領域設定部
１６６３ 第１の算出部
１６６４ 第２の算出部
１６６５ 検知部
１６６６ 汚れ通知部
１６６７ 洗浄制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】