特許 7537314 車両用周辺監視装置及び車両用周辺監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】車両用周辺監視装置及び車両用周辺監視システム

(51)【国際特許分類】

   B60S 1/62 20060101AFI20240814BHJP

【ＦＩ】

B60S1/62 110A

【請求項の数】 2

(21)【出願番号】P 2021032087

(22)【出願日】2021-03-01

(65)【公開番号】P2022133156

(43)【公開日】2022-09-13

【審査請求日】2023-09-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】高橋 佑紀

(72)【発明者】

【氏名】里見 洋平

【審査官】上谷 公治

(56)【参考文献】

【文献】特開２００３－２５９３５８（ＪＰ，Ａ）

【文献】特開２０２０－１６４１４８（ＪＰ，Ａ）

【文献】特開２０１９－１０７９９０（ＪＰ，Ａ）

【文献】特開２００９－１４７７３６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３１２２７５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｓ １／６２

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された車両周辺の画像を取得する画像取得部と、
取得された前記画像を車両周辺の環境に応じて補正する第１画像補正部と、
取得された前記画像に汚れが映り込んでいるかを判定するための補正を行う第２画像補正部と、
前記第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、前記第１補正画像を前記表示部に表示させない非表示モードとを切替える表示切替部と、
前記第１補正画像を記録する画像記録部と、
前記非表示モードの所定のタイミングで前記第２画像補正部によって前記画像を補正すると共に、補正された第２補正画像に基づいて前記撮像装置の汚れを検出する汚れ検出部と、
を有し、
前記汚れ検出部は、車両周辺に障害物が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する、車両用周辺監視装置。

【請求項2】

請求項１に記載の車両用周辺監視装置と、
車両周辺を撮像する撮像装置と、
前記撮像装置を洗浄する洗浄装置と、
を有し、
前記汚れ検出部によって前記撮像装置に汚れが検出された場合に、前記洗浄装置によって前記撮像装置を洗浄する車両用周辺監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用周辺監視装置及び車両用周辺監視システムに関する。

【背景技術】

【0002】

特許文献１には、車室内からリヤウインドシールドガラスを介して車両の後方を撮影するリヤカメラを備えた構成が開示されている。また、特許文献１では、リヤカメラで撮影された車両後方の画像が電子インナミラーに表示されるように構成されており、この状態でリヤワイパによって撮影範囲を重点的に払拭して汚れを取り除いている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０５００１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、カメラなどの撮像装置のレンズに付着した汚れを検出する場合、撮像された画像に所定の補正を行うことで、汚れが検出し易くなる。しかしながら、上記特許文献１のように画像の表示状態で汚れ検出用の補正を行う場合、及び画像の記録中に汚れ検出用の補正を行う場合には、乗員にとって周辺状態が見え難い画像となる可能性がある。

【0005】

本発明は、乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる車両用周辺監視装置及び車両用周辺監視システムを得ることを目的とする。

【課題を解決するための手段】

【0006】

第１態様に係る車両用周辺監視装置は、撮像装置によって撮像された車両周辺の画像を取得する画像取得部と、取得された前記画像を車両周辺の環境に応じて補正する第１画像補正部と、取得された前記画像に汚れが映り込んでいるかを判定するための補正を行う第２画像補正部と、前記第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、前記第１補正画像を前記表示部に表示させない非表示モードとを切替える表示切替部と、前記第１補正画像を記録する画像記録部と、前記非表示モードの所定のタイミングで前記第２画像補正部によって前記画像を補正すると共に、補正された第２補正画像に基づいて前記撮像装置の汚れを検出する汚れ検出部と、を有する。

【0007】

第１態様に係る車両用周辺監視装置では、画像取得部は、撮像装置によって撮像された車両周辺の画像（画像情報）を取得する。また、第１画像補正部は、画像取得部によって取得された画像を車両周辺の環境に応じて補正する。さらに、表示切替部は、第１画像補正部により補正された第１補正画像を車室内の表示部に表示する表示モードと、第１補正画像を表示部に表示させない非表示モードとを切替える。そして、画像記録部は、第１補正画像を記録する。このように、表示部に第１補正画像を表示しつつ、この第１補正画像を記録することで、乗員にとって見易い画像を表示及び記録することができる。

【0008】

一方、第２画像補正部は、画像取得部によって取得された画像に汚れが映り込んでいるかを判定するための補正を行う。そして、汚れ検出部は、非表示モードの所定のタイミングで第２画像補正部によって前記画像を補正し、補正された第２補正画像に基づいて撮像装置の汚れを検出する。これにより、汚れ検出用に補正した第２補正画像が表示されずに済む。また、第２補正画像に基づいて撮像装置の汚れを検出することで、第１補正画像を用いる場合と比較して、より効果的に汚れを検出することができる。

【0009】

第２態様に係る車両用周辺監視装置は、第１態様において、前記汚れ検出部は、車両周辺に障害物が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する。

【0010】

第２態様に係る車両用周辺監視装置では、車両周辺に障害物が検出されていないタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が表示及び記録される状況を回避することができる。すなわち、車両周辺に障害物が検出されている状況では、乗員へ通知するために撮像画像が車室内の表示部に表示される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、車両周辺に障害物が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0011】

第３態様に係る車両用周辺監視装置は、第１態様又は第２態様において、前記汚れ検出部は、急加減速及び急操舵が検出されていないタイミングで前記第２画像補正部によって前記画像を補正する。

【0012】

第３態様に係る車両用周辺監視装置では、急加減速及び急操舵が検出されていないタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、急加減速又は急操舵が検出されている状況では、撮像画像が記録される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、急加減速及び急操舵が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0013】

第４態様に係る車両用周辺監視装置は、第１態様～第３態様の何れか１態様において、前記汚れ検出部は、方向指示器が操作されていないタイミングで前記第２画像補正部によって前記画像を補正する。

【0014】

第４態様に係る車両用周辺監視装置では、方向指示器が操作されていないタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、方向指示器が操作されている状況では、右左折時の衝突などによって撮像画像が記録される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、方向指示器が操作されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0015】

第５態様に係る車両用周辺監視装置は、第１態様～第４態様の何れか１態様において、前記汚れ検出部は、操舵角が所定の角度より小さいタイミングで前記第２画像補正部によって前記画像を補正する。

【0016】

第５態様に係る車両用周辺監視装置では、操舵角が所定の角度より小さいタイミングで第２画像補正部によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、操舵角が所定の角度以上の状況では、衝突などによって撮像画像が記録される場合がある。この場合に第２画像補正部による補正が行われていれば、乗員が見難い画像となるため、操舵角が所定の角度より小さいタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0017】

第６態様に係る車両用周辺監視装置は、第１態様において、前記汚れ検出部は、取得された前記画像において輝度が閾値よりも低い低輝度領域の割合が設定値以上である場合に前記第２画像補正部によって前記画像を補正する。

【0018】

第６態様に係る車両用周辺監視装置では、低輝度領域の割合が設定値以上である場合に汚れがあると判定し、この場合に第２画像補正部によって画像を補正することで、効率良く撮像装置の汚れを検出することができる。

【0019】

第７態様に係る車両用周辺監視装置は、第６態様において、車両周辺の照度に応じて前記設定値を変更する。

【0020】

第７態様に係る車両用周辺監視装置では、車両周辺の照度に応じて設定値を変更することで、より正確に汚れの有無を判定することができる。例えば、日中と夜とで車両周辺の照度が異なるが、車両周辺の照度に応じて設定値を変更すれば、車両周辺の照度に関係なく低輝度領域の割合から汚れの有無を正確に判定することができる。

【0021】

第８態様に係る車両用周辺監視装置は、第６態様において、車両周辺の照度に応じて前記閾値を変更する。

【0022】

第８態様に係る車両用周辺監視装置では、車両周辺の照度に応じて閾値を変更することで、より正確に汚れの有無を判定することができる。例えば、日中と夜とで車両周辺の照度が異なるが、車両周辺の照度に応じて閾値を変更すれば、車両周辺の照度に関係なく低輝度か否かを判定することができ、汚れの有無を正確に判定することができる。

【0023】

第９態様に係る車両用周辺監視装置は、第１態様～第８態様の何れか１態様において、前記第１画像補正部は、車両周辺の照度に応じて前記画像の明るさ及び色合いを補正し、前記第２画像補正部は、エッジ及びコントラストが強調されるように前記画像を補正する。

【0024】

第９態様に係る車両用周辺監視装置では、第１画像補正部が車両周辺の照度に応じて画像の明るさ及び色合いを補正することで、乗員にとって見易い画像を表示することができる。また、第２画像補正部は、エッジ及びコントラストが強調されるように画像を補正することで、汚れを検出するための基準となる物標を捉え易くなり、汚れ検出の精度を向上させることができる。

【0025】

第１０態様に係る車両用周辺監視システムは、第１態様～第９態様の何れか１態様に記載の車両用周辺監視装置と、車両周辺を撮像する撮像装置と、前記撮像装置を洗浄する洗浄装置と、を有し、前記汚れ検出部によって前記撮像装置に汚れが検出された場合に、前記洗浄装置によって前記撮像装置を洗浄する。

【0026】

第１０態様に係る車両用周辺監視システムでは、撮像装置に汚れが検出された場合に、洗浄装置によって撮像装置を洗浄する。これにより、汚れの検出及び洗浄を効果的に行うことができる。

【発明の効果】

【0027】

以上説明したように、本発明に係る車両用周辺監視装置及び車両用周辺監視システムによれば、乗員の利便性を確保しつつ撮像装置の汚れを効果的に検出できる。

【図面の簡単な説明】

【0028】

【図1】第１実施形態に係る車両用周辺監視システムのハードウェア構成を示すブロック図である。

【図2】第１実施形態に係る車両用周辺監視装置の機能構成を示すブロック図である。

【図3】第１実施形態における汚れ検出処理の流れの一例を示すフローチャートである。

【図4】第２実施形態に係る車両用周辺監視装置の機能構成を示すブロック図である。

【図5】第２実施形態における汚れ検出処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0029】

＜第１実施形態＞
第１実施形態に係る車両用周辺監視装置１２（以下、適宜「周辺監視装置１２」と称する。）が適用された車両用周辺監視システム１０（以下、適宜「周辺監視システム１０」と称する。）について、図面を参照して説明する。本実施形態の周辺監視装置１２は一例として車両に搭載されているが、これに限定されず、周辺監視装置１２がサービスセンターなどの車両とは別の場所に設けられていてもよい。

【0030】

（周辺監視システム１０のハードウェア構成）
図１は、周辺監視システム１０のハードウェア構成を示すブロック図である。この図１に示されるように、周辺監視装置１２は、ＣＰＵ（Central Processing Unit：プロセッサ）２０、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２４、ストレージ２６、通信インタフェース２８及び入出力インタフェース３０を含んで構成されている。各構成は、バス３２を介して相互に通信可能に接続されている。

【0031】

ＣＰＵ２０は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０は、ＲＯＭ２２又はストレージ２６からプログラムを読み出し、ＲＡＭ２４を作業領域としてプログラムを実行する。ＣＰＵ２０は、ＲＯＭ２２又はストレージ２６に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。

【0032】

ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２４は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２６は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ＲＯＭ２２又はストレージ２６には、汚れ検出処理を行うためのプログラム、及び各種データなどが格納されている。

【0033】

通信インタフェース２８は、周辺監視装置１２が図示しないサーバ及び他の機器と通信するためのインタフェースであり、たとえば、ＣＡＮ（Controller Area Network）、イーサネット（登録商標）、ＬＴＥ（Long Term Evolution）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

【0034】

入出力インタフェース３０には、前方カメラ４０、後方カメラ４２、左側カメラ４４、右側カメラ４６、表示部としてのセンタディスプレイ４８、加速度センサ５０、照度センサ５２、舵角センサ５４、方向指示器としてのターンシグナルスイッチ５６及び洗浄装置５８が電気的に接続されている。

【0035】

前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６は、本発明の「撮像装置」に相当する。前方カメラ４０は、車両の前部に設けられており、車両前方を撮像する。また、後方カメラ４２は、車両の後部に設けられており、車両後方を撮像する。さらに、左側カメラ４４は、車両の左側部に設けられており、車両左側方を撮像し、右側カメラ４６は、車両の右側部に設けられており、車両右側方を撮像する。

【0036】

センタディスプレイ４８は、例えば、車室の前部において運転者から見える位置に設けられており、種々の情報が表示される。センタディスプレイ４８に表示される情報は、例えば、映画やテレビなどのエンターテインメントプログラム、車両周辺の障害物に関する情報、及び車両情報などである。

【0037】

加速度センサ５０は、車両の加速度を検出する。照度センサ５２は、車両周辺の照度を検出する。舵角センサ５４は、車両の操舵角を検出する。ターンシグナルスイッチ５６は、ターンシグナルランプを点滅させるためのスイッチであり、運転者の操作によってＯＮ、ＯＦＦされる。このため、運転者によってターンシグナルスイッチ５６が操作されると、周辺監視システム１０は、入出力インタフェース３０を介してターンシグナルスイッチ５６がＯＮになったことが分かるようになっている。

【0038】

洗浄装置５８は、撮像装置である前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６の少なくとも１つのカメラを洗浄するための装置である。洗浄装置５８としては、例えば、ワイパブレードのような払拭部材を揺動させることで撮像装置のレンズに付着した汚れを払拭する装置が用いられる。また、他の洗浄装置５８として、撮像装置のレンズに向けて水を吹き付ける装置、及び、撮像装置のレンズに向けて空気を吹き付ける装置などを用いてもよい。洗浄装置５８は、周辺監視装置１２からの信号により作動し、これらの撮像装置を洗浄する。また、図１では、１つの洗浄装置５８のみを示したが、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６のそれぞれに対して専用の洗浄装置を設けてもよい。

【0039】

（周辺監視装置１２の機能構成）
周辺監視装置１２は、上記のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置１２が実現する機能構成について図２を参照して説明する。

【0040】

図２に示されるように、周辺監視装置１２は、機能構成として、画像取得部６０、第１画像補正部６２、第２画像補正部６４、表示切替部６６、画像記録部６８、周辺車両情報取得部７０、車両挙動取得部７２、汚れ検出部７４及び洗浄部７６を含んで構成されている。なお、各機能構成は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６に記憶されたプログラムを読み出し、実行することにより実現される。

【0041】

画像取得部６０は、撮像装置によって撮像された車両周辺の画像を取得する。具体的には、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６がそれぞれ撮像した画像を取得する。

【0042】

第１画像補正部６２は、画像取得部６０によって取得された画像を車両周辺の環境に応じて補正する。本実施形態では一例として、第１画像補正部６２は、車両周辺の照度、画像内の平均輝度及び色味などに応じて画像の明るさ及び色合いを補正する。すなわち、第１画像補正部６２は、人間の眼で見た景色に近い色合い及び明るさとなるように画像を補正する。

【0043】

第２画像補正部６４は、エッジ及びコントラストが強調されるように画像を補正する。本実施形態では一例として、第２画像補正部６４は、画像取得部６０によって取得された画像に汚れが映り込んでいるかを判定するための補正を行う。具体的には、第２画像補正部６４は。汚れを検出する際に基準となる白線などの物標を認識するために、エッジ及びコントラストを強調させる。また、第２画像補正部６４は、汚れ以外の外乱を抑制するために、車両周辺の照度及び物標の照度に応じて画像の明るさを調整する。

【0044】

表示切替部６６は、第１画像補正部６２により補正された第１補正画像を車室内のセンタディスプレイ４８に表示する表示モードと、第１補正画像をセンタディスプレイ４８に表示させない非表示モードとを切替える。例えば、表示切替部６６は、運転者の操作などによってセンタディスプレイ４８にエンターテインメントプログラムを表示している状態では、非表示モードに切り替えて第１補正画像をセンタディスプレイ４８に表示させない。また、表示切替部６６は、車両周辺に注意が必要な障害物などが検出された場合には、表示モードに切り替えてセンタディスプレイ４８に障害物を検出したカメラの画像などを表示する。さらに、表示切替部６６は、シフトレバーがＲレンジに切り替えられた際に、表示モードに切り替えてバックガイドモニタの画像をセンタディスプレイ４８に表示させる。

【0045】

画像記録部６８は、第１画像補正部６２によって補正された第１補正画像を記録する。具体的には、画像記録部６８は、表示切替部６６によってセンタディスプレイ４８に第１補正画像が表示されている場合には、表示されている第１補正画像をＲＡＭ２４及びストレージ２６などの記録部に一時的に記録する。また、画像記録部６８は、センタディスプレイ４８に第１補正画像が表示されていない場合であっても、第１画像補正部６２によって画像が補正されている場合には、補正された第１補正画像をＲＡＭ２４及びストレージ２６などに一時的に記録する。

【0046】

周辺車両情報取得部７０は、車両周辺の情報を取得する。例えば、周辺車両情報取得部７０は、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６で撮像された画像から障害物を検出することで車両周辺の情報を取得する。また、周辺車両情報取得部７０は、車両に設けられた図示しないレーダ及びセンサ類を用いて車両周辺の情報を取得してもよい。

【0047】

車両挙動取得部７２は、車両の挙動を取得する。具体的には、車両挙動取得部７２は、加速度センサ５０からの信号に基づいて、車両の急加減速を検出する。また、車両挙動取得部７２は、舵角センサ５４からの情報に基づいて、車両の急操舵を検出する。さらに、車両挙動取得部７２は、ターンシグナルスイッチ５６からの信号に基づいて、車両が右左折する状況であることを検出する。

【0048】

汚れ検出部７４は、非表示モードの所定のタイミングで第２画像補正部６４によって画像を補正すると共に、補正された第２補正画像に基づいて対象の撮像装置の汚れを検出する。例えば、汚れ検出部７４は、前方カメラ４０で撮像された画像に対して第２画像補正部６４による補正を行い、補正された第２補正画像に基づいて前方カメラ４０の汚れを検出する。

【0049】

また、本実施形態の汚れ検出部７４は、第２画像補正部６４によって補正された第２補正画像の輝度を算出し、輝度が閾値よりも低い領域を低輝度領域の割合が設定値以上である領域を汚れとして検出する。さらに、汚れ検出部７４は、撮像範囲の輝度にばらつきが無い場合であっても、全体的にコントラストが低い場合には、油膜及び水滴などが付着した汚れとして検出する。

【0050】

ここで、本実施形態では、汚れ検出部７４は、周辺車両情報取得部７０によって車両周辺に障害物が検出されていないタイミングで第２画像補正部６４による画像の補正を行う。また、汚れ検出部７４は、車両挙動取得部７２によって急加減速及び急操舵が検出されていないタイミングで第２画像補正部６４による画像の補正を行う。

【0051】

さらに、汚れ検出部７４は、ターンシグナルスイッチ５６が操作されていないタイミングで第２画像補正部６４による画像の補正を行う。さらにまた、汚れ検出部７４は、舵角センサ５４で検出された操舵角が所定の角度より小さいタイミングで第２画像補正部６４による画像の補正を行う。

【0052】

洗浄部７６は、洗浄装置５８によって前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６のうち、汚れ検出部７４で汚れが検出されたカメラの洗浄を行う。

【0053】

（作用）
次に、本実施形態の作用を説明する。

【0054】

（汚れ検出処理の一例）
図３は、車両用周辺監視装置１２による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６からプログラムを読み出して、ＲＡＭ２４に展開することによって実行される。

【0055】

図３に示されるように、ＣＰＵ２０は、ステップＳ１０２で画像を取得する。具体的には、ＣＰＵ２０は、画像取得部６０の機能により前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６がそれぞれ撮像した画像を取得する。

【0056】

ＣＰＵ２０は、ステップＳ１０４でセンタディスプレイ４８などの表示部に画像が表示されているか否かについて判定する。具体的には、ＣＰＵ２０は、ステップＳ１０４で表示切替部６６の機能により、表示モード及び非表示モードの何れにモードであるかを取得する。そして、非表示モードの場合には、ステップＳ１０４が肯定判定されてステップＳ１０６の処理へ移行される。また、表示モードの場合には、ステップＳ１０４が否定判定されてステップＳ１１４の処理へ移行される。ステップＳ１１４の処理については後述する。

【0057】

ＣＰＵ２０は、ステップＳ１０６で周辺車両の有無について判定する。具体的には、ＣＰＵ２０は、周辺車両情報取得部７０からの信号に基づいて周辺に車両が検出されなかった場合には、ステップＳ１０６が肯定判定されてステップＳ１０８の処理へ移行する。また、ＣＰＵ２０は、周辺車両情報取得部７０からの信号に基づいて周辺に車両が検出された場合には、ステップＳ１０６が否定判定されてステップＳ１１４の処理へ移行する。

【0058】

ＣＰＵ２０は、ステップＳ１０８で車両の挙動の有無について判定する。具体的には、ＣＰＵ２０は、車両挙動取得部７２の機能によって車両の急加減速及び急操舵が検出されなかった場合、かつ、ターンシグナルスイッチ５６がＯＦＦの場合には、ステップＳ１０８が肯定判定されてステップＳ１１０の処理へ移行する。また、ＣＰＵ２０は、車両挙動取得部７２の機能によって車両の急加減速、急操舵及び右左折が検出された場合、ステップＳ１０８が否定判定されてステップＳ１１４の処理へ移行する。さらに、ＣＰＵ２０は、ターンシグナルスイッチ５６がＯＮの場合には、ステップＳ１０８が否定判定されてステップＳ１１４の処理へ移行する。

【0059】

ＣＰＵ２０は、ステップＳ１１０で第２画像補正部６４による画像の補正を実施する。すなわち、ＣＰＵ２０は、ステップＳ１０４、ステップＳ１０６及びステップＳ１０８の判定が全て肯定判定であった場合に、第２画像補正部６４の機能によって汚れを検出するための画像補正を実施する。そして、ＣＰＵ２０は、ステップＳ１１２で第２補正画像に基づいて汚れの検出を行う。ここでは、ＣＰＵ２０は、汚れ検出部７４の機能によって汚れの検出を行う。そして、ＣＰＵ２０は、汚れ検出処理を終了する。

【0060】

一方、ステップＳ１０４、ステップＳ１０６又はステップＳ１０８で否定判定となった場合、ＣＰＵ２０は、ステップＳ１１４で第１画像補正部６２による画像の補正を実施する。具体的には、ＣＰＵ２０は、車両周辺の照度、画像内の平均輝度及び色味などに応じて、画像取得部６０によって取得された画像の明るさ及び色合いを補正する。そして、ＣＰＵ２０は、ステップＳ１１６で第１補正画像をセンタディスプレイ４８に表示すると共に、ＲＡＭ２４及びストレージ２６に一時的に記録する。そして、ＣＰＵ２０は、汚れ検出処理を終了する。

【0061】

以上のように、本実施形態では、センタディスプレイ４８に第１画像補正部６２で補正された第１補正画像を表示しつつ、この第１補正画像を記録することで、乗員にとって見易い画像を表示及び記録することができる。

【0062】

また、汚れ検出部７４は、非表示モードの所定のタイミングで第２画像補正部６４によって画像を補正し、補正された第２補正画像に基づいて前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６などの撮像装置の汚れを検出する。これにより、汚れ検出用に補正した第２補正画像がセンタディスプレイ４８に表示されずに済む。また、第２補正画像に基づいて撮像装置の汚れを検出することで、第１補正画像を用いる場合と比較して、より効果的に汚れを検出することができる。

【0063】

さらに、本実施形態では、車両周辺に障害物が検出されていないタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が表示及び記録される状況を回避することができる。すなわち、車両周辺に障害物が検出されている状況では、乗員へ通知するために撮像画像がセンタディスプレイ４８に表示される場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、車両周辺に障害物が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0064】

さらにまた、本実施形態では、急加減速及び急操舵が検出されていないタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、急加減速又は急操舵が検出されている状況では、ＲＡＭ２４又はストレージ２６に維持知的に記録された画像が別の記録部へ移されて状況の確認等に用いる場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、急加減速及び急操舵が検出されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0065】

また、本実施形態では、ターンシグナルスイッチ５６が操作されていないタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、右左折時に衝突があった場合には、撮像画像が別の記録部へ移されて状況の確認等に用いる場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、ターンシグナルスイッチ５６が操作されていないタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0066】

さらに、本実施形態では、操舵角が所定の角度より小さいタイミングで第２画像補正部６４によって画像が補正されるため、第２補正画像が記録される状況を回避することができる。すなわち、操舵角が所定の角度以上の状況では、衝突などによって撮像画像が記録される場合がある。この場合に第２画像補正部６４による補正が行われていれば、乗員が見難い画像となるため、操舵角が所定の角度より小さいタイミングで画像を補正することで、乗員の利便性が損なわれずに済む。

【0067】

さらにまた、本実施形態では、第１画像補正部６２によって車両周辺の照度に応じて画像の明るさ及び色合いが補正されるため、乗員にとって見易い画像をセンタディスプレイ４８などの表示部に表示することができる。また、第２画像補正部６４は、エッジ及びコントラストが強調されるように画像を補正することで、汚れを検出するための基準となる物標を捉え易くなり、汚れ検出の精度を向上させることができる。

【0068】

＜第２実施形態＞
次に、第２実施形態に係る車両用周辺監視装置８２について図４、５を参照して説明する。なお、第１実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。また、本実施形態の車両用周辺監視システム８０のハードウェア構成は、図１に示される第１実施形態と同様である。

【0069】

（周辺監視装置８２の機能構成）
周辺監視装置８２は、図１のハードウェア資源を用いて、各種の機能を実現する。周辺監視装置８２が実現する機能構成について図４を参照して説明する。

【0070】

図４に示されるように、周辺監視装置８２は、機能構成として、画像取得部６０、第１画像補正部６２、第２画像補正部６４、表示切替部６６、画像記録部６８、閾値設定部８４、低輝度割合取得部８６、コントラスト取得部８８、汚れ検出部７４及び洗浄部７６を含んで構成されている。なお、各機能構成は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６に記憶されたプログラムを読み出し、実行することにより実現される。

【0071】

ここで、本実施形態では、簡易的な汚れ検出によって汚れが検出された場合に、第２画像補正部６４による画像の補正を行う点で第１実施形態と異なる。具体的には、画像取得部６０で取得された画像に対して第１画像補正部６２によって画像の補正を行い、補正された第１補正画像における低輝度領域の割合を算出する。そして、低輝度領域の割合が設定値以上である場合に、第２画像補正部６４による画像の補正を行って汚れを検出する。

【0072】

図４に示された閾値設定部８４は、低輝度として判定する際の閾値を設定する。具体的には、閾値設定部８４は、車両周辺の照度に応じて閾値を第１閾値又は第２閾値に設定することで、簡易的な汚れ検出時に適切な閾値を設定する。例えば、日中などの車両周辺の照度が比較的高い場合には、閾値設定部８４によって閾値が高い第１閾値に設定する。また逆に、車両周辺の照度が比較的低くなる夜などの場合には、閾値設定部８４によって閾値を第１閾値よりも低い第２閾値に変更することで、汚れ以外の要因によって輝度が低くなっている部分を低輝度領域と判定しないようにする。すなわち、同じ画像に対して第１閾値に設定した場合よりも第２閾値に設定した場合の方が、低輝度と判定される割合が少なくなる。なお、本実施形態では一例として、閾値設定部８４は、第１閾値と第２閾値の２つの閾値を設定する構成としたが、これに限定されない。例えば、３つ以上の閾値を設定できるようにしてもよい。

【0073】

低輝度割合取得部８６は、第１画像補正部６２によって補正された第１補正画像に対して低輝度となっている割合を取得する。具体的には、低輝度割合取得部８６は、閾値設定部８４で設定された閾値よりも輝度が低い部分を低輝度領域とし、画像全体に対する低輝度領域の割合を算出する。

【0074】

コントラスト取得部８８は、第１画像補正部６２によって補正された第１補正画像に対してコントラストを取得する。本実施形態では一例として、コントラスト取得部８８は、第１補正画像における最大輝度を分母とし最小輝度を分子として算出する。ここで、コントラスト取得部８８は、油膜及び水滴などが付着したことによる汚れを検出するためにコントラストを取得する。すなわち、撮像装置のレンズ全体に油膜又は水滴が付着している状態では、低輝度領域の割合が設定値以上であっても、油膜及び水滴などによって映像のピントが合わなくなる可能性がある。このような場合にはコントラストが低くなっているため、コントラスト取得部８８で第１補正画像のコントラストを取得することで、汚れの検出にコントラストの情報を用いることができる。

【0075】

（作用）
次に、本実施形態の作用を説明する。

【0076】

（汚れ検出処理の一例）
図５は、周辺監視装置８２による汚れ検出御処理の流れの一例を示すフローチャートである。この汚れ検出処理は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６からプログラムを読み出して、ＲＡＭ２４に展開することによって実行される。

【0077】

図５に示されるように、ＣＰＵ２０は、ステップＳ２０２で画像を取得する。具体的には、ＣＰＵ２０は、画像取得部６０の機能により前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６がそれぞれ撮像した画像を取得する。

【0078】

ＣＰＵ２０は、ステップＳ２０４でセンタディスプレイ４８などの表示部に画像が表示されているか否かについて判定する。具体的には、ＣＰＵ２０は、ステップＳ２０４で表示切替部６６の機能により、表示モード及び非表示モードの何れにモードであるかを取得する。そして、非表示モードの場合には、ステップＳ２０４が肯定判定されてステップＳ２０６の処理へ移行される。

【0079】

一方、表示モードの場合には、ステップＳ２０４が否定判定されてステップＳ２２２の処理へ移行される。ステップＳ２２２以降の処理については後述する。

【0080】

非表示モードの場合、ＣＰＵ２０は、ステップＳ２０６で車両周辺の照度を取得する。具体的には、ＣＰＵ２０は、図１に示される照度センサ５２が検出した照度を受信することで車両周辺の照度を取得する。

【0081】

ＣＰＵ２０は、ステップＳ２０８で車両周辺の照度が高いか否かについて判定する。具体的には、ＣＰＵ２０は、ステップＳ２０６で取得した車両周辺の照度が所定の設定値よりも高い場合には、照度が高いと判定する。この場合、ステップＳ２０８が肯定判定されてステップＳ２１０の処理へ移行される。

【0082】

ＣＰＵ２０は、ステップＳ２１０で低輝度として判定する際の閾値を第１閾値に設定する。閾値の設定は、閾値設定部８４の機能によって行われる。そして、ＣＰＵ２０は、ステップＳ２１２で低輝度割合が多いか否かについて判定する。具体的には、ＣＰＵ２０は、第１画像補正部６２によって補正された第１補正画像に対して、低輝度割合取得部８６の機能によって輝度が第１閾値よりも低い領域である低輝度領域の割合を取得する。そして、低輝度割合が設定値以上であれば、低輝度割合が多いと判定してステップＳ２１４の処理へ移行する。また、低輝度割合が設定値以上でない場合であっても、第１補正画像のコントラストが所定値よりも低い場合には、ステップＳ２１２が肯定判定されてステップＳ２１４の処理へ移行する。ここで、本実施形態では一例として、周辺の車両のライセンスプレートの文字を検知できない程度にコントラストが低い場合には、ステップＳ２１２が肯定判定される。さらに、ＣＰＵ２０は、ステップＳ２１２で低輝度割合が設定値以上ではなく、かつ、コントラストが所定の設定値よりも高い場合には、ステップＳ２１２が否定判定されてステップＳ２２２の処理へ移行される。

【0083】

一方、ＣＰＵ２０は、ステップＳ２０８で車両周辺の照度が所定の設定値よりも低い場合には、ステップＳ２１８の処理へ移行する。ＣＰＵ２０は、ステップＳ２１８で低輝度として判定する際の閾値を第１閾値よりも低い第２閾値に設定する。閾値の設定は、閾値設定部８４の機能によって行われる。そして、ＣＰＵ２０は、ステップＳ２２０で低輝度割合が多いか否かについて判定する。具体的には、ＣＰＵ２０は、第１画像補正部６２によって補正された第１補正画像に対して、低輝度割合取得部８６の機能によって輝度が第２閾値よりも低い領域である低輝度領域の割合を取得する。そして、低輝度割合が設定値以上であれば、低輝度割合が多いと判定してステップＳ２１４の処理へ移行する。また、低輝度割合が設定値以上でない場合であっても、第１補正画像のコントラストが所定値よりも低い場合には、ステップＳ２１２が肯定判定されてステップＳ２１４の処理へ移行する。さらに、ＣＰＵ２０は、ステップＳ２２０で低輝度割合が設定値以上ではなく、かつ、コントラストが所定の設定値よりも高い場合には、ステップＳ２２０が否定判定されてステップＳ２２２の処理へ移行される。

【0084】

上述したように、ＣＰＵ２０は、ステップＳ２１２で肯定判定された場合、及びステップＳ２２０で肯定判定された場合は、ステップＳ２１４の処理へ移行する。ＣＰＵ２０は、ステップＳ２１４で第２画像補正部６４の機能によって画像を補正する。続いて、ＣＰＵ２０は、ステップＳ２１６で汚れ検出部７４の機能によって汚れの検出を行う。そして、ＣＰＵ２０は、汚れ検出処理を終了する。

【0085】

これに対して、ＣＰＵ２０は、ステップＳ２０４で否定判定された場合、ステップＳ２１２で否定判定された場合、及びステップＳ２２０で否定判定された場合は、ステップＳ２２２の処理へ移行する。ＣＰＵ２０は、ステップＳ２２２で第１画像補正部６２の機能によって画像を補正する。続いて、ＣＰＵ２０は、ステップＳ２２４で第１補正画像をセンタディスプレイ４８に表示すると共に、ＲＡＭ２４及びストレージ２６に一時的に記録する。そして、ＣＰＵ２０は、汚れ検出処理を終了する。このように、表示モードの場合、低輝度割合が少ない場合、及びコントラストが所定の設定値より高い場合には、汚れの検出が行われない。

【0086】

以上のように、本実施形態では、第１画像補正部６２によって補正された第１補正画像における低輝度領域の割合が設定値以上である場合に、汚れがあると判定し、この場合に第２画像補正部６４によって画像を補正する。これにより、第１補正画像に対して簡易的な汚れの検出を行うことができ、効率良く撮像装置の汚れを検出することができる。

【0087】

また、本実施形態では、閾値設定部８４は、車両周辺の照度に応じて閾値を変更するため、閾値を変更しない構成と比較して、より正確に汚れを検出することができる。例えば、日中と夜とで車両周辺の照度が異なるが、本実施形態のように車両周辺の照度に応じて閾値を変更することで、車両周辺の照度に関係なく汚れを正確に検出することができる。その他の作用については第１実施形態と同様である。

【0088】

以上、第１実施形態及び第２実施形態に係る周辺監視装置１２、８２ついて説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、撮像装置として、前方カメラ４０、後方カメラ４２、左側カメラ４４及び右側カメラ４６の４つのカメラを用いたが、これに限定されず、前方カメラ４０のみを備えた構成であってもよい。また、前方カメラ４０及び後方カメラ４２の２つのみを備えた構成としてもよい。

【0089】

また、上記実施形態では、図３に示されるように、非表示モードの場合であって、周辺車両が無く、かつ、車両に所定の挙動が無い場合に第２画像補正部６４による画像の補正を実施したが、これに限定されない。例えば、ステップＳ１０８の判定を無くして、非表示モード、かつ、周辺車両が無い場合に第２画像補正部６４による画像の補正を実施してもよい。また、ステップＳ１０８において、ターンシグナルスイッチ５６の情報を判定に用いずに、車両の急加減速及び急操舵が検出されなかった場合にステップＳ１１０の処理へ移行してもよい。ただし、車両の衝突時などの状況で確実に第１補正画像を記録する観点では、ターンシグナルスイッチ５６の情報を判定に加えるのが好ましい。

【0090】

さらに、上記第２実施形態では、低輝度として判定する際の閾値を第１閾値又は第２閾値に設定する構成としたが、これに限定されない。例えば、低輝度として判定する際の閾値は変更せず、低輝度割合が多いか少ないかを判定する際の設定値を変更する構成としてもよい。この場合、図５のフローチャートにおいて、ステップＳ２１０及びステップＳ２１８の処理が無くなる。また、ステップＳ２１２で低輝度割合が多いか否かを判定する際の設定値と、ステップＳ２２０で低輝度割合が多いか否かを判定する際の設定値とが異なる値に設定される。例えば、ステップＳ２１２の設定値よりもステップＳ２２０の設定値を上げることで、車両周辺の照度が低い状況では、低輝度割合が十分に多い場合のみ汚れがあると検出するようにしてもよい。

【0091】

さらにまた、上記第１実施形態及び第２実施形態でＣＰＵ２０がプログラムを読み込んで実行した表示処理を、ＣＰＵ２０以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、汚れ検出処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0092】

さらに、上記第１実施形態及び第２実施形態では、ストレージ２６に種々のデータを記憶させる構成としたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体を記憶部としてもよい。この場合、これらの記録媒体に各種プログラム及びデータなどが格納されることとなる。

【符号の説明】

【0093】

１０、８０ 車両用周辺監視システム
１２、８２ 車両用周辺監視装置
４０ 前方カメラ（撮像装置）
４２ 後方カメラ（撮像装置）
４４ 左側カメラ（撮像装置）
４６ 右側カメラ（撮像装置）
５６ ターンシグナルスイッチ（方向指示器）
５８ 洗浄装置
６０ 画像取得部
６２ 第１画像補正部
６４ 第２画像補正部
６６ 表示切替部
６８ 画像記録部
７４ 汚れ検出部

【図1】

【図2】

【図3】

【図4】

【図5】