特開 2024-131502 画像監視装置、及び画像監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131502

(43)【公開日】2024-09-30

(54)【発明の名称】画像監視装置、及び画像監視方法

(51)【国際特許分類】

   H04N 23/52 20230101AFI20240920BHJP

   H04N 23/63 20230101ALI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G08G 1/16 20060101ALI20240920BHJP

【ＦＩ】

H04N23/52

H04N23/63 310

G06T7/00 650Z

G08G1/16 C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023041798

(22)【出願日】2023-03-16

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】釣部 智行

【テーマコード（参考）】

5C122

5H181

5L096

【Ｆターム（参考）】

5C122DA11

5C122DA14

5C122EA06

5C122EA09

5C122FA06

5C122FB03

5C122FH03

5C122FH11

5C122FH14

5C122FH16

5C122FK35

5C122HA75

5C122HA84

5C122HA88

5C122HB01

5C122HB05

5C122HB06

5H181AA01

5H181BB04

5H181BB05

5H181BB18

5H181CC04

5H181CC11

5H181FF27

5H181FF33

5H181LL01

5L096BA04

5L096DA03

5L096FA52

5L096FA66

5L096GA19

5L096GA51

(57)【要約】

【課題】車載カメラのレンズに汚れが付着していることの誤通知を抑制することができる画像監視装置、及び画像監視方法を提供する。
【解決手段】本開示に係る画像監視装置は、第１取得部と、第２取得部と、通知部とを備える。前記第１取得部は、撮像部が撮像した車両の外部の画像を取得する。前記第２取得部は、前記画像に含まれる構造物までの距離を示す距離情報を取得する。前記通知部は、前記画像と、前記距離情報とに基づいて、前記構造物までの距離が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する。前記通知部は、前記距離情報が示す前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像部が撮像した車両の外部の画像を取得する第１取得部と、
前記画像に含まれる構造物までの距離を示す距離情報を取得する第２取得部と、
前記画像と、前記距離情報とに基づいて、前記構造物までの距離が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する通知部と、
を備え、
前記通知部は、前記距離情報が示す前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
画像監視装置。

【請求項2】

前記通知部は、前記画像において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上であり、且つ前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
請求項１に記載の画像監視装置。

【請求項3】

前記通知部は、複数のブロックを有する前記画像において隣接する画素間の差が閾値以上となるエッジを有するブロックの数が閾値未満であり、且つ前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
請求項１に記載の画像監視装置。

【請求項4】

撮像部が撮像した車両の外部の画像を取得する第１取得ステップと、
前記画像に含まれる構造物までの距離を示す距離情報を取得する第２取得ステップと、
前記画像と、前記距離情報とに基づいて、前記構造物までの距離が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する通知ステップと、
を含み、
前記通知ステップでは、前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
画像監視方法。

【請求項5】

前記通知ステップでは、前記画像において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上であり、且つ前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
請求項４に記載の画像監視方法。

【請求項6】

前記通知ステップでは、複数のブロックを有する前記画像において隣接する画素間の差が閾値以上となるエッジを有するブロックの数が閾値未満であり、且つ前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
請求項４に記載の画像監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像監視装置、及び画像監視方法に関する。

【背景技術】

【0002】

従来、車両は、車載カメラが撮像した画像に基づいて把握した車両の周囲の状況に応じた各種処理を実行する。車載カメラのレンズが汚れている場合、車両は、車両の周囲の状況を把握することができない。そこで、車載カメラが撮像した画像に基づいて、車載カメラのレンズに汚れが付着しているか否かを判定する技術が知られている。このような技術では、車載カメラが撮像した画像に含まれる輝度値が平坦なブロックの数、つまり輝度値が平坦な領域の広さに基づいて、レンズに汚れが付着しているか否かを判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７３１６４５号公報

【特許文献2】特許第６９３６０７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、車載カメラが撮像した画像には、レンズに汚れが付着していなくても、輝度値が平坦な領域が形成される場合がある。この場合、画像監視装置は、レンズに汚れが付着していると誤って通知してしまうことがある。

【0005】

本開示は、車載カメラのレンズに汚れが付着しているとの誤った通知を抑制することができる画像監視装置、及び画像監視方法を提供する。

【課題を解決するための手段】

【0006】

本開示に係る画像監視装置は、第１取得部と、第２取得部と、通知部とを備える。前記第１取得部は、撮像部が撮像した車両の外部の画像を取得する。前記第２取得部は、前記画像に含まれる構造物までの距離を示す距離情報を取得する。前記通知部は、前記画像と、前記距離情報とに基づいて、前記構造物までの距離が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する。また、前記通知部は、前記距離情報が示す前記構造物までの距離が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない。

【発明の効果】

【0007】

本開示に係る画像監視装置によれば、車載カメラのレンズに汚れが付着していることの誤通知を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る車載装置を備える車両の一例を示す図である。

【図2】図２は、第１の実施形態に係る車両の運転席の近傍の構成の一例を示す図である。

【図3】図３は、第１の実施形態に係る車載カメラのハードウェア構成の一例を示す図である。

【図4】図４は、第１の実施形態に係る画像処理部の機能構成の一例を示すブロック図である。

【図5】図５は、車載カメラに汚れが付着した状態で撮像された撮像画像の一例を示す図である。

【図6】図６は、平坦領域の割合と構造物までの距離との関係の一例を示すグラフである。

【図7】図７は、第１の実施形態に係る車載カメラが実行する汚れ通知処理の一例を示すフローチャートである。

【図8】図８は、第２の実施形態に係る画像処理部の機能構成の一例を示すブロック図である。

【図9】図９は、外側領域と中央領域との一例を示す図である。

【図10】図１０は、第２の実施形態に係る車載カメラが実行する汚れ通知処理の一例を示すフローチャートである。

【図11】図１１は、第２の実施形態に係る車載カメラが実行するエッジ抽出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示に係る画像監視装置の実施形態について説明する。

【0010】

（第１の実施形態）
図１は、第１の実施形態に係る車載装置１００を備える車両１の一例を示す図である。図１に示すように、車両１は、車体１２と、車体１２に所定方向に沿って配置された２対の車輪１３とを備える。２対の車輪１３は、１対のフロントタイヤ１３ｆ及び１対のリアタイヤ１３ｒを備える。

【0011】

なお、図１に示す車両１は４つの車輪１３を備えるが、車輪１３の数はこれに限定されるものではない。例えば、車両１は、２輪車であっても良い。

【0012】

車体１２は、車輪１３に結合され、車輪１３によって移動可能である。この場合、２対の車輪１３が配置される所定方向が車両１の走行方向となる。車両１は、不図示のギヤの切り替え等により前進または後退することができる。また、車両１は、操舵により右左折することもできる。

【0013】

また、車体１２は、フロントタイヤ１３ｆ側の端部である前端部Ｆと、リアタイヤ１３ｒ側の端部である後端部Ｒを有する。車体１２は上面視で略矩形をしており、略矩形状の４つの角部を端部と呼ぶ場合もある。また、図１では図示を省略するが、車両１は、表示装置、スピーカ、および操作部を備える。

【0014】

車体１２の前端部Ｆの下端付近及び後端部Ｒの下端付近には１対のバンパー１４が設けられている。１対のバンパー１４のうち、フロントバンパー１４ｆは車体１２の下端部付近の前面全体と側面の一部を覆う。１対のバンパー１４のうち、リアバンパー１４ｒは車体１２の下端部付近の後面全体と側面の一部を覆う。

【0015】

車体１２の所定の端部には、超音波等の音波の送受波を行う送受波部１５ｆ，１５ｒが配置される。例えば、フロントバンパー１４ｆには１つ以上の送受波部１５ｆが配置され、リアバンパー１４ｒには１つ以上の送受波部１５ｒが配置される。以下、送受波部１５ｆ，１５ｒを特に区別しない場合には、単に送受波部１５という。また、送受波部１５の数および位置は、図１に示す例に限定されるものではない。例えば、車両１は、左右の側方に送受波部１５を備えても良い。

【0016】

本実施形態においては、超音波を使用したソナーを送受波部１５の一例とするが、送受波部１５は、電磁波を送受波するレーダーであっても良い。あるいは、車両１は、ソナーとレーダーの両方を備えても良い。また、送受波部１５を単にセンサと称しても良い。

【0017】

送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の構造物を検出する。また、送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の構造物と車両１との距離を計測する。

【0018】

また、車両１は、車両１の前方を撮影する第１の車載カメラ１６ａ、車両１の後方を撮影する第２の車載カメラ１６ｂ、車両１の左側方を撮影する第３の車載カメラ１６ｃ、および車両１の右側方を撮影する第４の車載カメラを備える。第４の車載カメラは図示を省略する。

【0019】

以下、第１の車載カメラ１６ａ、第２の車載カメラ１６ｂ、第３の車載カメラ１６ｃ、および第４の車載カメラを特に区別しない場合には単に車載カメラ１６という。車載カメラ１６の位置及び数は図１に示す例に限定されるものではない。例えば、車両１は、また、第１の車載カメラ１６ａおよび第２の車載カメラ１６ｂの２台のみを備えても良い。あるいは、車両１は、上述の例の他に、さらに他の車載カメラを有しても良い。

【0020】

車載カメラ１６は、車両１の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ１６が撮影する画像データは、動画でも良いし、静止画でも良い。また、車載カメラ１６は、車両１に内蔵されたカメラであっても良いし、車両１に後付けされたドライブレコーダーのカメラ等であっても良い。車載カメラ１６は、撮像部の一例である。

【0021】

また、車両１には、車載装置１００が搭載される。車載装置１００は、車両１に搭載可能な情報処理装置であり、例えば、車両１の内部に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、もしくはＯＢＵ（Ｏｎ Ｂｏａｒｄ Ｕｎｉｔ）である。あるいは、車載装置１００は、車両１のダッシュボード付近に設置された外付けの装置であっても良い。なお、車載装置１００はカーナビゲーション装置等を兼ねても良い。

【0022】

次に、本実施形態の車両１の運転席１３０ａ近傍の構成について説明する。図２は、第１の実施形態に係る車両１の運転席１３０ａの近傍の構成の一例を示す図である。

【0023】

図２に示すように、車両１は運転席１３０ａ、および助手席１３０ｂを備える。また、運転席１３０ａの前方にはフロントガラス１８０、ダッシュボード１９０、ステアリングホイール１４０、表示装置１２０、および操作ボタン１４１が設けられる。

【0024】

表示装置１２０は、車両１のダッシュボード１９０に設けられたディスプレイである。表示装置１２０は、一例として、図２に示すようにダッシュボード１９０の中央に位置する。表示装置１２０は例えば液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。また、表示装置１２０は、タッチパネルを兼ねても良い。表示装置１２０は、本実施形態における表示部の一例である。

【0025】

また、ステアリングホイール１４０は、運転席１３０ａの正面に設けられ、ドライバ（運転者）によって操作可能である。ステアリングホイール１４０の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ１３ｆの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ１３ｒでも良いし、フロントタイヤ１３ｆとリアタイヤ１３ｒの両方が操舵輪であっても良い。

【0026】

操作ボタン１４１は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両１の運転者である。なお、操作ボタン１４１の位置は図２に示す例に限定されるものでなく、例えばステアリングホイール１４０に設けられても良い。操作ボタン１４１は、本実施形態における操作部の一例である。また、表示装置１２０がタッチパネルを兼ねる場合は、表示装置１２０が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両１の外部から車両１に対して信号を送信可能な操作端末を、操作部の一例としても良い。

【0027】

次に、本実施形態の車載カメラ１６のハードウェア構成について説明する。

【0028】

図３は、第１の実施形態に係る車載カメラ１６のハードウェア構成の一例を示す図である。図３に示すように、車載カメラ１６は、レンズ１６１、撮像素子１６２、洗浄部１６３、映像信号処理部１６４、露光制御部１６５、画像処理部１６６、及び画像メモリ１６７を備える。

【0029】

レンズ１６１は、透明の材料により形成される。そして、レンズ１６１は、入射した光を発散又は集束する。

【0030】

撮像素子１６２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサである。撮像素子１６２は、レンズ１６１を通過した光を受光し、映像信号に変換する。

【0031】

洗浄部１６３は、水などをレンズ１６１に噴射することにより、レンズ１６１に付着した汚れを洗浄する装置である。

【0032】

映像信号処理部１６４は、撮像素子１６２から出力された映像信号に基づいて、撮像画像を生成する。露光制御部１６５は、映像信号処理部１６４により生成される撮像画像の明るさを制御する。すなわち、映像信号処理部１６４は、露光制御部１６５により制御された明るさの撮像画像を生成する。例えば、露光制御部１６５は、撮像画像が暗い場合に、撮像画像の明るさを上げる。一方、露光制御部１６５は、撮像画像が明るい場合に、撮像画像の明るさを下げる。

【0033】

画像処理部１６６は、映像信号処理部１６４により生成された撮像画像に対して各種画像処理を実行する。画像メモリ１６７は、画像処理部１６６の主記憶装置である。画像メモリ１６７は、画像処理部１６６による画像処理のワーキングメモリとして使用される。

【0034】

画像処理部１６６は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、画像処理を制御する。例えば、画像処理部１６６は、プロセッサ１６６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６６Ｂ、メモリ１６６Ｃ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１６６Ｄを備える。

【0035】

プロセッサ１６６Ａは、例えば、コンピュータプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。なお、プロセッサ１６６Ａは、ＣＰＵに限定されない。例えば、プロセッサ１６６Ａは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよいし、他のプロセッサであってもよい。

【0036】

ＲＡＭ１６６Ｂは、キャッシュまたはバッファなどとして使用される揮発性メモリである。メモリ１６６Ｃは、例えば、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。プロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。

【0037】

Ｉ／Ｏインタフェース１６６Ｄは、画像処理部１６６の入出力を制御する。例えば、Ｉ／Ｏインタフェース１６６Ｄは、映像信号処理部１６４、画像メモリ１６７との入出力を実行する。また、Ｉ／Ｏインタフェース１６６Ｄは、送受波部１５、及び車載装置１００との通信を実行する。

【0038】

画像処理部１６６は、Ｉ／Ｏインタフェース１６６Ｄを介して、送受波部１５と接続される。画像処理部１６６は、送受波部１５から距離情報を受信する。距離情報は、送受波部１５により計測された構造物までの距離を示す情報である。

【0039】

なお、洗浄部１６３は、車載カメラ１６と一体に形成されずに、独立した装置であってもよい。また、画像処理部１６６及び画像メモリ１６７は、車載カメラ１６に限らず、車載装置１００に設けられていても良いし、独立した装置であってもよいし、他の装置に組み込まれていても良い。

【0040】

次に、第１の実施形態に係る画像処理部１６６が有する機能について説明する。

【0041】

図４は、第１の実施形態に係る画像処理部１６６の機能構成の一例を示すブロック図である。画像処理部１６６のプロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。更に詳しくは、画像処理部１６６は、画像取得部１６６１、距離情報取得部１６６２、平坦領域抽出部１６６３、汚れ検出部１６６４、汚れ通知部１６６５、及び洗浄制御部１６６６を備える。

【0042】

画像取得部１６６１は、車載カメラ１６が撮像した車両１の外部の撮像画像を取得する。画像取得部１６６１は、第１取得部の一例である。更に詳しくは、画像取得部１６６１は、映像信号処理部１６４から撮像画像を取得する。例えば、画像取得部１６６１は、任意のフレームレートで撮影された撮像画像を取得する。

【0043】

距離情報取得部１６６２は、送受波部１５により計測された車両１から構造物までの距離を示す距離情報を取得する。ここで、送受波部１５の距離を計測する範囲は、車載カメラ１６の撮像範囲と全部又は一部が同じである。そのため、距離情報取得部１６６２は、車載カメラ１６が撮像した撮像画像に含まれる構造物までの距離を示す距離情報を取得する。距離情報取得部１６６２は、第２取得部の一例である。

【0044】

平坦領域抽出部１６６３は、画像取得部１６６１により取得された撮像画像から平坦ブロックを抽出する。平坦ブロックとは、撮像画像を複数のブロックに分割した場合に、各画素の輝度値の差が小さく、輝度値のばらつきが平坦なブロックである。言い換えると、平坦ブロックとは、最大輝度度と最小輝度度との差が第１閾値未満のブロックである。そして、一又は複数の平坦ブロックは、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である平坦領域を撮像画像上に形成する。

【0045】

ここで、図を用いて詳細に説明する。図５は、車載カメラ１６に汚れが付着した状態で撮像された撮像画像の一例を示す図である。撮像画像は、非有効領域Ｇ１１と、有効領域Ｇ１２とを有する。非有効領域Ｇ１１は、撮像素子１６２の検知領域ではあるが、車載カメラ１６の筐体などにより遮られるため撮像されない領域である。有効領域Ｇ１２は、レンズ１６１を介して入射した光により撮像した領域である。図５に示すように、車載カメラ１６のレンズ１６１に泥などの汚れが付着したことにより汚れ領域Ｇ１３が形成された場合、撮像素子１６２は、レンズ１６１に付着した濃度の濃い汚れにより可視光を受光できなくなる。そのため、撮像画像は、汚れが付着した部分の輝度値が低くなる。すなわち、汚れが付着した部分のブロックは、各画素の輝度値の差が小さい平坦ブロックになる。

【0046】

汚れ検出部１６６４は、車載カメラ１６が撮像した撮像画像と距離情報取得部１６６２により取得された距離情報とに基づいて、車載カメラ１６に付着した汚れを検出する。さらに詳しくは、汚れ検出部１６６４は、車載カメラ１６が撮像した撮像画像に含まれる平坦領域に基づいて、車載カメラ１６に付着した汚れを検出する。すなわち、汚れ検出部１６６４は、車載カメラ１６が撮像した撮像画像に含まれる平坦領域の広さが第２閾値以上の場合に、汚れを検出する。なお、第２閾値は、平方ミリメートルなどのように広さを示す値であってもよいし、平坦ブロックの個数を示す値であってもよいし、有効領域Ｇ１２における平坦領域の割合を示す値であってもよい。

【0047】

ところで、駐車場の壁などの構造物に車両１が接近した場合、車載カメラ１６は、撮像画像には構造物を描画する。例えば、描画された構造物がコンクリートの壁場合、撮像画像における構造物の領域は、平坦領域となることがある。この場合、汚れ検出部１６６４は、汚れにより平坦領域が形成されているのか、構造物により平坦領域が形成されているのかを識別する必要がある。

【0048】

そこで、汚れ検出部１６６４は、画像取得部１６６１により取得された撮像画像と、距離情報取得部１６６２により取得された距離情報とに基づいて、車載カメラ１６に付着した汚れを検出する。構造物により平坦領域が撮像画像に形成されている場合、構造物は、車両１から第３閾値までの距離に配置されている。

【0049】

ここで、図６は、平坦領域の割合と構造物までの距離との関係の一例を示すグラフである。図６の横軸は、車両１から構造物までの距離を示す。図６の縦軸は、画像取得部１６６１により取得された撮像画像に含まれる平坦領域の割合を示す。コンクリートの壁面などの輝度値の差が少ない構造物を車載カメラ１６が撮像した場合、図６に示すグラフのように平坦領域は、車両１から構造物までの距離が短くなる従い、広くなる。すなわち、図６に示すグラフのように平坦領域は、第１場面、第２場面、第３場面と車両１が構造物に近づくに従い、広くなる。このことによって平坦領域の割合が多くなる。

【0050】

このため、汚れ検出部１６６４は、距離情報に基づいて、第３閾値までの範囲内に構造物があるか否かを判定する。そして、汚れ検出部１６６４は、第３閾値までの範囲内に構造物が有る場合に、撮像画像に描画された平坦領域は構造物であると判定する。すなわち、汚れ検出部１６６４は、撮像画像に描画された平坦領域は汚れではないと判定する。一方、汚れ検出部１６６４は、第３閾値までの範囲内に構造物が無い場合に、撮像画像に描画された平坦領域は汚れであると判定する。

【0051】

汚れ検出部１６６４は、車載カメラ１６に付着した汚れの検出結果を汚れ通知フラグに設定する。汚れ検出部１６６４は、撮像画像から第２閾値以上の平坦領域を検出し、且つ構造物までの距離が第３閾値以上の場合に、汚れ通知フラグを有効する。一方、汚れ検出部１６６４は、撮像画像から第２閾値以上の平坦領域を検出し、且つ構造物までの距離が第３閾値未満の場合に、汚れ通知フラグを無効する。

【0052】

汚れ通知部１６６５は、汚れ通知フラグに基づいて、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。すなわち、汚れ通知部１６６５は、画像取得部１６６１により取得された撮像画像と、距離情報取得部１６６２により取得された距離情報とに基づいて、構造物までの距離が第３閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。そして、汚れ通知部１６６５は、距離情報が示す構造物までの距離が第３閾値未満の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。汚れ通知部１６６５は、通知部の一例である。

【0053】

さらに詳しくは、汚れ通知部１６６５は、撮像画像の有効領域Ｇ１２において、各画素の輝度値の差が小さい領域である平坦領域が第２閾値以上であり、且つ構造物までの距離が第３閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。一方、汚れ通知部１６６５は、撮像画像の有効領域Ｇ１２において、各画素の輝度値の差が小さい領域である平坦領域が第２閾値以上であり、且つ構造物までの距離が第３閾値未満の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

【0054】

例えば、汚れ通知部１６６５は、表示装置１２０などに車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。なお、汚れ通知部１６６５は、表示装置１２０に限らず、音声により通知してもよいし、ＬＥＤなどを発光させることにより通知してもよいし、他の方法により通知してもよい。

【0055】

洗浄制御部１６６６は、洗浄部１６３を制御して車載カメラ１６のレンズ１６１を洗浄する。例えば、汚れ通知部１６６５は、汚れが付着していることが汚れ検出部１６６４により検出された場合に、レンズ１６１に汚れが付着していることを表示装置１２０に表示させる。これに伴い、運転者等の操作者は、操作ボタン１４１や表示装置１２０が兼ねるタッチパネルを使用して、洗浄部１６３に洗浄させる操作を入力する。そして、洗浄制御部１６６６は、洗浄部１６３に洗浄させる操作を受け付けた場合に、洗浄部１６３にレンズ１６１を洗浄させる。

【0056】

次に、車載カメラ１６が実行する汚れ通知処理の流れについて説明する。

【0057】

図７は、第１の実施形態に係る車載カメラ１６が実行する汚れ通知処理の一例を示すフローチャートである。汚れ通知処理は、汚れが付着したことを通知する処理である。

【0058】

距離情報取得部１６６２は、車両１から構造物までの距離を示す距離情報を取得する（ステップＳ１）。

【0059】

平坦領域抽出部１６６３は、平坦ブロック数の変数を初期化する（ステップＳ２）。

【0060】

露光制御部１６５は、車載カメラ１６による撮影される撮像画像の明るさを調整する（ステップＳ３）。

【0061】

画像取得部１６６１は、車載カメラ１６により撮像された撮像画像を取得する（ステップＳ４）。

【0062】

平坦領域抽出部１６６３は、撮像画像に含まれる各ブロックの最大輝度値と最小輝度値とを取得する（ステップＳ５）。

【0063】

平坦領域抽出部１６６３は、最大輝度値と最小輝度値とに基づいて、判定対象のブロックが平坦ブロックであるか否かを判定する（ステップＳ６）。すなわち、平坦領域抽出部１６６３は、最大輝度値と最小輝度値との差が第１閾値未満の場合に平坦ブロックであると判定する。一方、平坦領域抽出部１６６３は、最大輝度値と最小輝度値との差が第１閾値以上の場合に平坦ブロックではないと判定する。

【0064】

最大輝度値と最小輝度値との差が第１閾値以上の場合に（ステップＳ６；Ｎｏ）、平坦領域抽出部１６６３は、ステップＳ８に移行する。

【0065】

最大輝度値と最小輝度値との差が第１閾値未満の場合に（ステップＳ６；Ｙｅｓ）、平坦領域抽出部１６６３は、平坦ブロックの数をカウントアップする（ステップＳ７）。

【0066】

汚れ検出部１６６４は、画像取得部１６６１により取得された撮像画像の有効領域Ｇ１２内の全てのブロックに対して、平坦ブロックであるか否かの判定を実行したか否かを判定する（ステップＳ８）。有効領域Ｇ１２内の全てのブロックに対して判定を実行していない場合に（ステップＳ８；Ｎｏ）、平坦領域抽出部１６６３は、ステップＳ５に移行して未だ判定していないブロックを判定する。

【0067】

汚れ検出部１６６４は、有効領域Ｇ１２の平坦領域が第２閾値以上であるか否かを判定する（ステップＳ９）。汚れ検出部１６６４は、平坦領域が第２閾値未満の場合に、汚れが付着していないと判定する。

【0068】

平坦ブロック数が第２閾値未満の場合に（ステップＳ９；Ｙｅｓ）、汚れ検出部１６６４は、汚れ通知フラグを無効に設定する（ステップＳ１０）。そして、汚れ通知部１６６５は、汚れ通知フラグが無効に設定されている場合に、汚れが付着していることを通知しない。

【0069】

平坦ブロック数が第２閾値以上の場合に（ステップＳ９；Ｎｏ）、汚れ検出部１６６４は、距離情報に基づいて、構造物までの距離が第３閾値未満であるか否かを判定する（ステップＳ１１）。

【0070】

構造物までの距離が第３閾値以上の場合に（ステップＳ１１；Ｎｏ）、汚れ検出部１６６４は、汚れ通知フラグを有効に設定する（ステップＳ１２）。そして、汚れ検出部１６６４は、汚れ通知フラグが有効に設定されている場合に、車載カメラ１６に汚れが付着していることを通知する。

【0071】

構造物までの距離が第３閾値未満の場合に（ステップＳ１１；Ｙｅｓ）、汚れ検出部１６６４は、汚れ通知フラグが無効に設定済みであるか否かを判定する（ステップＳ１３）。言い換えると、汚れ検出部１６６４は、前回の処理において、汚れ通知フラグが無効に設定されているか否かを判定する。

【0072】

汚れ通知フラグが無効に設定済みの場合に（ステップＳ１３；Ｙｅｓ）、汚れ検出部１６６４は、ステップＳ１０に移行して、汚れ通知フラグの無効を維持する。汚れ通知フラグが無効に設定されていない場合に（ステップＳ１３；Ｎｏ）、汚れ検出部１６６４は、ステップＳ１２に移行して、汚れ通知フラグの有効に設定する。

【0073】

汚れ検出部１６６４は、車載カメラ１６から汚れを検出する処理を終了する終了条件が満たされたか否かを判定する（ステップＳ１４）。例えば、汚れ検出部１６６４は、汚れを検出する処理を終了する操作や、車両１のエンジン停止などの事前に定められた条件が満たされた場合に、終了条件が満たされたと判定する。

【0074】

終了条件が満たされていない場合に（ステップＳ１４；Ｎｏ）、汚れ検出部１６６４は、ステップＳ１に移行して、処理を継続する。

【0075】

終了条件が満たされた場合に（ステップＳ１４；Ｙｅｓ）、車載カメラ１６は、汚れ通知処理を終了する。

【0076】

以上のように、第１の実施形態に係る車載カメラ１６は、車載カメラ１６が撮像した車両１の外部の撮像画像と、撮像画像に含まれる構造物までの距離を示す距離情報とを取得する。そして、車載カメラ１６は、撮像画像に含まれる平坦領域が第２閾値以上であっても、距離情報が示す構造物までの距離が第３閾値未満の場合には、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。これにより、車載カメラ１６は、駐車場のコンクリート壁面を撮像したことにより平坦領域が検出された場合に、車載カメラ１６のレンズ１６１に汚れが付着しているとの誤った通知を抑制することができる。

【0077】

（第２の実施形態）
第２の実施形態に係る車載カメラ１６の画像処理部１６６ａは、撮像画像から抽出されるエッジに基づいて、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。

【0078】

ここで、道路には、車線を区分するための境界線や、走行方向と対向車線の境界を示す中央線や、駐車位置を示す線などの各種線が引かれている。また、道路には、自動車や、歩行者や、建物などの様々な物体が有る。そのため、車載カメラ１６は、様々な線や物体が描画された撮像画像を撮像する。そのため、撮像画像は、物体や線のエッジが含まれる。

【0079】

ところが、車載カメラ１６に汚れが付着した場合、車載カメラ１６は、汚れに遮蔽されるため、物体や線を撮像しない。そのため、撮像画像は、物体や線のエッジが含まれなくなる。そこで、画像処理部１６６ａは、エッジに基づいて、車載カメラ１６のレンズ１６１に汚れが付着しているか否かを判定する。

【0080】

図８は、第２の実施形態に係る画像処理部１６６ａの機能構成の一例を示すブロック図である。画像処理部１６６ａは、画像取得部１６６１、距離情報取得部１６６２、エッジ抽出部１６６７、汚れ検出部１６６４ａ、汚れ通知部１６６５、及び洗浄制御部１６６６を備える。

【0081】

エッジ抽出部１６６７は、撮像画像から、物体や道路に引かれた線のエッジを抽出する。さらに詳しくは、エッジ抽出部１６６７は、複数の抽出領域ごとに、エッジを抽出する。例えば、エッジ抽出部１６６７は、有効領域Ｇ１２に外側領域Ｇ１４と中央領域Ｇ１５とを抽出領域として設定する。

【0082】

図９は、外側領域Ｇ１４と中央領域Ｇ１５との一例を示す図である。エッジ抽出部１６６７は、図９に示すように、外側領域Ｇ１４と中央領域Ｇ１５とを設定する。そして、エッジ抽出部１６６７は、外側領域Ｇ１４と中央領域Ｇ１５とのそれぞれの各ブロックにおいてエッジ強度を算出する。エッジ強度は、隣接する画素間の差の強度である。さらに詳しくは、エッジ強度は、隣接する画素間の色の差の強度であってもよいし、隣接する画素間の輝度の差の強度であってもよいし、隣接する画素間の色及び輝度の差の強度であってもよい。

【0083】

また、エッジ抽出部１６６７は、中央領域Ｇ１５から第４閾値以上のエッジ強度を有するブロックであるエッジブロックを計数する。また、エッジ抽出部１６６７は、外側領域Ｇ１４から第５閾値以上のエッジ強度を有するブロックであるエッジブロックを計数する。なお、第４閾値と第５閾値とは、異なる値であってもよいし、同一の値であってもよい。

【0084】

なお、図９に示す中央領域Ｇ１５及び外側領域Ｇ１４は、一例であって異なる形状を有していてもよい。さらに、エッジ抽出部１６６７は、中央領域Ｇ１５及び外側領域Ｇ１４の両方に限らず、何れか一方を撮像画像に設定してもよい。さらに、エッジ抽出部１６６７は、中央領域Ｇ１５及び外側領域Ｇ１４の２つの領域に限らず、３つ以上の領域を撮像画像に設定してもよい。

【0085】

汚れ検出部１６６４ａは、エッジ抽出部１６６７による抽出結果と、距離情報取得部１６６２により取得された距離情報とに基づいて、車載カメラ１６に付着した汚れを検出する。さらに詳しくは、汚れ検出部１６６４ａは、抽出領域ごとのエッジブロックの計数結果に基づいて、車載カメラ１６に付着した汚れを検出する。

【0086】

ところが、駐車場の壁などの構造物に車両１が接近した場合、車載カメラ１６は、構造物を描画するため、撮像画像にはエッジが含まれなくなる。そのため、車載カメラ１６は、エッジ抽出部１６６７による抽出結果と、距離情報取得部１６６２により取得された距離情報とに基づいて、車載カメラ１６に付着した汚れを検出する。

【0087】

さらに詳しくは、汚れ検出部１６６４ａは、複数の抽出領域において第６閾値以上のエッジブロックの抽出領域が無い場合、つまり外側領域Ｇ１４及び中央領域Ｇ１５の両方から第６閾値以上のエッジブロックが抽出されない場合に、距離情報が示す構造物までの距離が第３閾値以上の場合に、車載カメラ１６に汚れが付着していると判定する。この場合に、汚れ検出部１６６４ａは、汚れ通知フラグに有効を設定する。

【0088】

一方、汚れ検出部１６６４ａは、複数の抽出領域において第６閾値以上のエッジブロックの抽出領域が無い場合、つまり外側領域Ｇ１４及び中央領域Ｇ１５の両方から第６閾値以上のエッジブロックが抽出されない場合に、距離情報が示す構造物までの距離が第３閾値未満の場合に、車載カメラ１６に汚れが付着していないと判定する。この場合に、汚れ検出部１６６４ａは、汚れ通知フラグに無効を設定する。

【0089】

なお、汚れ検出部１６６４ａは、車両１の走行速度と、エッジ抽出部１６６７による抽出結果と、距離情報取得部１６６２により取得された距離情報とに基づいて、車載カメラ１６に付着した汚れを検出してもよい。車両１が高速で走行している場合、一つの撮像画像を撮像する間に撮像素子１６２に当たる光が変化するため、撮像画像が乱れることがある。この場合に、エッジ抽出部１６６７は、撮像画像からエッジを抽出することが困難になる。そこで、エッジ抽出部１６６７は、車両１の走行速度が閾値未満であることを条件に、車載カメラ１６に付着した汚れを検出してもよい。

【0090】

汚れ通知部１６６５は、汚れ通知フラグに基づいて、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。

【0091】

さらに詳しくは、汚れ通知部１６６５は、汚れ通知フラグに有効が設定されている場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。すなわち、汚れ通知部１６６５は、複数のブロックを有する撮像画像において隣接する画素間の差が閾値以上となるエッジを有するエッジブロックの数が第６閾値以上であり、且つ構造物までの距離が第３閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。

【0092】

一方、汚れ通知部１６６５は、汚れ通知フラグに無効が設定されている場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。すなわち、汚れ通知部１６６５は、複数のブロックを有する撮像画像において隣接する画素間の差が閾値以上となるエッジを有するエッジブロックの数が第６閾値未満であり、且つ構造物までの距離が第３閾値未満の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

【0093】

次に、車載カメラ１６が実行する汚れ通知処理の流れについて説明する。

【0094】

図１０は、第２の実施形態に係る車載カメラ１６が実行する汚れ通知処理の一例を示すフローチャートである。

【0095】

距離情報取得部１６６２は、車両１から構造物までの距離を示す距離情報を取得する（ステップＳ２１）。

【0096】

露光制御部１６５は、車載カメラ１６の明るさを調整する（ステップＳ２２）。

【0097】

画像取得部１６６１は、車載カメラ１６により撮像された撮像画像を取得する（ステップＳ２３）。

【0098】

エッジ抽出部１６６７は、図１１に示すエッジ抽出処理を実行する（ステップＳ２４）。

【0099】

汚れ検出部１６６４ａは、何れかの抽出領域のエッジブロック数が第６閾値以上であるか否かを判定する（ステップＳ２５）。すなわち、汚れ検出部１６６４ａは、中央領域Ｇ１５のエッジブロック数が第６閾値未満、且つ外側領域Ｇ１４のエッジブロック数が第６閾値未満であるか否かを判定する。

【0100】

何れかの抽出領域のエッジブロック数が第６閾値以上の場合に（ステップＳ２５；Ｙｅｓ）、汚れ検出部１６６４ａは、汚れ通知フラグを無効に設定する（ステップＳ２６）。そして、汚れ通知部１６６５は、汚れ通知フラグが無効に設定されている場合に、汚れが付着していることを通知しない。

【0101】

エッジブロック数が第６閾値未満の場合に（ステップＳ２５；Ｎｏ）、汚れ検出部１６６４ａは、距離情報に基づいて、構造物までの距離が第３閾値未満であるか否かを判定する（ステップＳ２７）。

【0102】

構造物までの距離が第３閾値以上の場合に（ステップＳ２７；Ｎｏ）、汚れ検出部１６６４ａは、汚れ通知フラグを有効に設定する（ステップＳ２８）。そして、汚れ検出部１６６４ａは、汚れ通知フラグが有効に設定されている場合に、車載カメラ１６に汚れが付着していることを通知する。

【0103】

構造物までの距離が第３閾値未満の場合に（ステップＳ２７；Ｙｅｓ）、汚れ検出部１６６４ａは、汚れ通知フラグが無効に設定済みであるか否かを判定する（ステップＳ２９）。言い換えると、汚れ検出部１６６４ａは、前回の処理において、汚れ通知フラグが無効に設定されているか否かを判定する。

【0104】

汚れ通知フラグが無効に設定済みの場合に（ステップＳ２９；Ｙｅｓ）、汚れ検出部１６６４ａは、ステップＳ２６に移行して、汚れ通知フラグの無効を維持する。汚れ通知フラグが無効に設定されていない場合に（ステップＳ２９；Ｎｏ）、汚れ検出部１６６４ａは、ステップＳ２８に移行して、汚れ通知フラグの有効に設定する。

【0105】

汚れ検出部１６６４ａは、車載カメラ１６から汚れを検出する処理を終了する終了条件が満たされたか否かを判定する（ステップＳ３０）。例えば、汚れ検出部１６６４ａは、汚れを検出する処理を終了する操作や、車両１のエンジン停止などの事前に定められた条件が満たされた場合に、終了条件が満たされたと判定する。

【0106】

終了条件が満たされていない場合に（ステップＳ３０；Ｎｏ）、汚れ検出部１６６４ａは、ステップＳ２１に移行して、処理を継続する。

【0107】

終了条件が満たされた場合に（ステップＳ３０；Ｙｅｓ）、車載カメラ１６は、汚れ通知処理を終了する。

【0108】

次に、車載カメラ１６が実行するエッジ抽出処理の流れについて説明する。

【0109】

図１１は、第２の実施形態に係る車載カメラ１６が実行するエッジ抽出処理の一例を示すフローチャートである。エッジ抽出処理は、ステップＳ２４において実行される処理である。

【0110】

エッジ抽出部１６６７は、中央領域Ｇ１５内の各ブロックのエッジ強度を算出する（ステップＳ４１）。

【0111】

エッジ抽出部１６６７は、中央領域Ｇ１５内において、エッジ強度が第４閾値以上のブロックであるエッジブロックを計数する（ステップＳ４２）。

【0112】

エッジ抽出部１６６７は、外側領域Ｇ１４内の各ブロックのエッジ強度を算出する（ステップＳ４３）。

【0113】

エッジ抽出部１６６７は、外側領域Ｇ１４内において、エッジ強度が第５閾値以上のブロックであるエッジブロックを計数する（ステップＳ４４）。

【0114】

以上により、車載カメラ１６は、エッジ抽出処理を終了する。

【0115】

以上のように、第２の実施形態に係る車載カメラ１６は、車載カメラ１６が撮像した車両１の外部の撮像画像と、撮像画像に含まれる構造物までの距離を示す距離情報とを取得する。そして、車載カメラ１６は、撮像画像に含まれる構造物や線のエッジを閾値以上抽出できない場合であっても、距離情報が示す構造物までの距離が閾値以上の場合には、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。これにより、車載カメラ１６は、駐車場のコンクリート壁面を撮像したために構造物や線が含まれておらず、エッジを検出しない場合に、車載カメラ１６のレンズ１６１に汚れが付着しているとの誤った通知を抑制することができる。

【0116】

以上のように、第１の実施形態では、車載カメラ１６が画像取得部１６６１、距離情報取得部１６６２、平坦領域抽出部１６６３、汚れ検出部１６６４、汚れ通知部１６６５、及び洗浄制御部１６６６を有すると説明した。また、第２の実施形態では、車載カメラ１６が画像取得部１６６１、距離情報取得部１６６２、エッジ抽出部１６６７、汚れ検出部１６６４ａ、汚れ通知部１６６５、及び洗浄制御部１６６６を有すると説明した。しかしながら、画像取得部１６６１、距離情報取得部１６６２、平坦領域抽出部１６６３、汚れ検出部１６６４、１６６４ａ、汚れ通知部１６６５、洗浄制御部１６６６、及びエッジ抽出部１６６７は、車載カメラ１６に限らず、車載装置１００が有していても良いし、他の装置が有していてもよい。

【0117】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0118】

１ 車両
１５、１５ｆ、１５ｒ 送受波部
１６ 車載カメラ
１６ａ 第１の車載カメラ
１６ｂ 第２の車載カメラ
１６ｃ 第３の車載カメラ
１２０ 表示装置
１４１ 操作ボタン
１６１ レンズ
１６２ 撮像素子
１６３ 洗浄部
１６４ 映像信号処理部
１６５ 露光制御部
１６６、１６６ａ 画像処理部
１６７ 画像メモリ
１６６Ａ プロセッサ
１６６Ｂ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１６６Ｃ メモリ
１６６Ｄ Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース
１６６１ 画像取得部
１６６２ 距離情報取得部
１６６３ 平坦領域抽出部
１６６４、１６６４ａ 汚れ検出部
１６６５ 汚れ通知部
１６６６ 洗浄制御部
１６６７ エッジ抽出部
Ｇ１１ 非有効領域
Ｇ１２ 有効領域
Ｇ１３ 汚れ領域
Ｇ１４ 外側領域
Ｇ１５ 中央領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】