特許 7415877 雨滴検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】雨滴検出装置

(51)【国際特許分類】

   G01N 21/17 20060101AFI20240110BHJP

【ＦＩ】

G01N21/17 E

【請求項の数】 21

(21)【出願番号】P 2020185627

(22)【出願日】2020-11-06

(65)【公開番号】P2022075077

(43)【公開日】2022-05-18

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001472

【氏名又は名称】弁理士法人かいせい特許事務所

(72)【発明者】

【氏名】疋田 圭吾

(72)【発明者】

【氏名】大倉 孝允

(72)【発明者】

【氏名】大塚 澄

(72)【発明者】

【氏名】伴野 義久

(72)【発明者】

【氏名】中嶋 一誠

(72)【発明者】

【氏名】井ノ口 正晃

【審査官】比嘉 翔一

(56)【参考文献】

【文献】特開２０１８－１８８１２５（ＪＰ，Ａ）

【文献】特開２０１８－１９１１０７（ＪＰ，Ａ）

【文献】特開２００５－２４１３３９（ＪＰ，Ａ）

【文献】特開２０１４－０３２１７４（ＪＰ，Ａ）

【文献】特開２００３－００２１７１（ＪＰ，Ａ）

【文献】特開２００４－３３８５２３（ＪＰ，Ａ）

【文献】特開２００７－１２７５９５（ＪＰ，Ａ）

【文献】特開２０１０－２１０３７４（ＪＰ，Ａ）

【文献】特開２０２０－０８５５６４（ＪＰ，Ａ）

【文献】特開２０１６－０４０１４０（ＪＰ，Ａ）

【文献】特開２０１０－１０３８１０（ＪＰ，Ａ）

【文献】独国特許出願公開第１０２００８０４３７３７（ＤＥ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ２１／００－Ｇ０１Ｎ２１／９５８

Ｂ６０Ｓ １／００－Ｂ６０Ｓ１／６８

Ｇ０１Ｖ １／００－Ｇ０１Ｖ９９／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍ３）

(57)【特許請求の範囲】

【請求項1】

車両のウィンドシールド（２００）を介して前記車両の前方を撮影するための前方監視カメラ（１１０）と、
前記ウィンドシールドに付着する雨滴を撮影するための雨滴検出カメラ（１３０）と、
前記前方監視カメラ及び前記雨滴検出カメラを収容し、前記ウィンドシールドに配置される筐体（１０２、１１３、１３４）と、
前記ウィンドシールド及び前記筐体から離れた位置に配置され、前記前方監視カメラからの前方画像の画像データに対する画像処理を行い、前記雨滴検出カメラからのガラス画像の画像データに対する画像処理を行う電子制御ユニット（１５０）と、
を含み、
前記前方画像の画像データ及び前記ガラス画像の画像データは、共通の信号線（１０１）を介して前記電子制御ユニットに出力され、
前記雨滴検出カメラは、前記車両の車室の湿度及び温度を検出する湿度センサ（１３２）を有し、
前記湿度センサによって検出される前記湿度及び前記温度の情報は、前記信号線に重畳されることで前記電子制御ユニットに出力される、雨滴検出装置。

【請求項2】

前記電子制御ユニットは、前記ガラス画像の画像データに基づいて前記ウィンドシールドに付着する雨滴を認識し、認識結果に基づいて前記車両のワイパの制御を決定する、請求項１に記載の雨滴検出装置。

【請求項3】

前記電子制御ユニットは、前記前方画像の画像データまたは前記ガラス画像の画像データに基づいて、前記ウィンドシールドに付着する前記雨滴を検出することで前記車両のワイパの制御を決定する、あるいは前記車両の周囲の照度を検出することで前記車両のライトの点消灯を判定する、あるいは前記車両の周囲の日射の強さ及び方向を検出することで車室内空調の制御を決定する、あるいは前記ウィンドシールドの汚れを検出することで前記ウィンドシールドに洗浄液を噴出するウォッシャの制御を決定する、あるいは前記前方監視カメラ及び前記雨滴検出カメラの前方を温めるヒータの制御を決定する、あるいは前記ウィンドシールドに向けて風を吹き出すデフロスタの制御を決定する、請求項１または２に記載の雨滴検出装置。

【請求項4】

前記前方監視カメラは、前記筐体として前方用筐体（１１３）を有し、
前記雨滴検出カメラは、前記筐体として前記前方用筐体とは別の雨滴用筐体（１３４）を有する、請求項１ないし３のいずれか１つに記載の雨滴検出装置。

【請求項5】

前記前方監視カメラと前記雨滴検出カメラとは、基板対基板コネクタ（１２０）によって電気的に導通する、請求項１ないし４のいずれか１つに記載の雨滴検出装置。

【請求項6】

前記前方監視カメラは、前記筐体として前方用筐体（１１３）を有し、
前記雨滴検出カメラは、前記筐体として前記前方用筐体とは別の雨滴用筐体（１３４）を有し、
前記雨滴検出カメラの前記雨滴用筐体は、前記前方監視カメラの前記前方用筐体に固定される固定部（１３５）を有する、請求項１ないし５のいずれか１つに記載の雨滴検出装置。

【請求項7】

前記雨滴検出カメラは、回路基板（１３６）と、前記筐体としての雨滴用筐体（１３４）と、を有し、
前記回路基板は、スナップフィット（１４７）、圧入、及び熱かしめのいずれかによって前記雨滴用筐体に組み付けられる、請求項１ないし６のいずれか１つに記載の雨滴検出装置。

【請求項8】

前記前方監視カメラの画角の一部と、前記雨滴検出カメラの画角の一部と、は重なっている、請求項１ないし７のいずれか１つに記載の雨滴検出装置。

【請求項9】

前記雨滴検出カメラは、回路基板（１３６）と、前記回路基板に実装されると共に前記車両の車室の湿度及び温度を検出する湿度センサ（１３２）と、を有する、請求項１ないし８のいずれか１つに記載の雨滴検出装置。

【請求項10】

前記電子制御ユニットは、前記車両の車室の湿度及び温度を検出する湿度センサ（１３２）の情報と、前記車両に搭載されると共に前記車両の周囲の外気温を検出する外気温センサ（７００）の情報と、を用いて前記ウィンドシールドのガラス面湿度を推定する、請求項１ないし９のいずれか１つに記載の雨滴検出装置。

【請求項11】

前記雨滴検出カメラは、前記筐体としての雨滴用筐体（１３４）と、前記雨滴用筐体に収容されると共に前記車両の車室の湿度及び温度を検出する湿度センサ（１３２）と、を有し、
前記雨滴検出カメラの前記雨滴用筐体は、前記雨滴用筐体の内部と外部とを繋ぐ貫通孔（１４５）を有する、請求項１ないし１０のいずれか１つに記載の雨滴検出装置。

【請求項12】

前記雨滴検出カメラは、前記前方監視カメラに対して脱着可能である、請求項１ないし１１のいずれか１つに記載の雨滴検出装置。

【請求項13】

前記雨滴検出カメラは、天地方向において、前記前方監視カメラに対して天井の側から地面の側に組み付けられる、請求項１ないし１２のいずれか１つに記載の雨滴検出装置。

【請求項14】

前記雨滴検出カメラは、前記ウィンドシールドの傾斜角度に対応した被写界深度を有する、請求項１ないし１３のいずれか１つに記載の雨滴検出装置。

【請求項15】

前記雨滴検出カメラは、天地方向において、画角のうちの地面の側の範囲で前記ウィンドシールドに付着する雨滴を撮影し、前記画角のうちの天井の側の範囲で前記車両の周囲を撮影する、請求項１ないし１４のいずれか１つに記載の雨滴検出装置。

【請求項16】

前記雨滴検出カメラは、前記ガラス画像において、天地方向における前記雨滴の検出範囲の倍率と、その他の範囲の倍率と、を変更することにより、前記ガラス画像における前記雨滴の検出範囲を前記その他の範囲よりも相対的に広くする、請求項１ないし１５のいずれか１つに記載の雨滴検出装置。

【請求項17】

前記電子制御ユニットは、前記ガラス画像に基づいて前記ガラス画像に含まれる前記雨滴を認識し、前記ガラス画像の全体の面積と前記ガラス画像に含まれる前記雨滴の面積の合計値との比較から雨滴付着率を取得し、前記雨滴付着率に基づいて雨量を推定し、前記雨量に応じて前記車両のワイパの制御を決定する、請求項１ないし１６のいずれか１つに記載の雨滴検出装置。

【請求項18】

前記電子制御ユニットは、前記ガラス画像に基づいて前記ウィンドシールドに対する水しぶきあるいは雨だれ（１６０）を判定すると共に判定結果に基づいて前記車両のワイパの制御を決定し、前記車両のワイパの動作中において前記前方画像に基づいて前記車両がトンネルに進入または退出することを判定すると共に前記トンネルに進入する場合は進入直後に前記車両のワイパを停止する制御を決定する一方、前記トンネルから退出する場合は退出直後に前記車両のワイパの払拭スピードを現状の払拭スピードよりも速くする制御を決定する、請求項１ないし１７のいずれか１つに記載の雨滴検出装置。

【請求項19】

前記電子制御ユニットは、前記ガラス画像に含まれる前記雨滴の大きさ及び数に基づいて前記ウィンドシールドの撥水状態を検知し、前記撥水状態に応じて前記車両のワイパの動作スピードを決定する、請求項１ないし１８のいずれか１つに記載の雨滴検出装置。

【請求項20】

前記電子制御ユニットは、前記前方画像または前記ガラス画像に基づいて前記車両の周囲の明るさを判定すると共に、前記明るさの判定結果に基づいて前記車両のライトの点消灯の制御を決定する、請求項１ないし１９のいずれか１つに記載の雨滴検出装置。

【請求項21】

前記電子制御ユニットは、前記前方画像または前記ガラス画像に基づいて前記車両の周囲の気象状況を把握すると共に、前記車両の位置情報及び前記気象状況をクラウドサーバ（９００）に送信する、請求項１ないし２０のいずれか１つに記載の雨滴検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、雨滴検出装置に関する。

【背景技術】

【0002】

従来より、第１のカメラモジュール、第２のカメラモジュール、及び半導体デバイスが１つの筐体に収容された車両用のカメラシステムが、例えば特許文献１で提案されている。

【0003】

第１のカメラモジュールは、車両の前方の領域を撮影する。第２のカメラモジュールは、雨または雨滴を撮影する。半導体デバイスは、画像処理タスクを実行する。半導体デバイスは、第１のカメラモジュールで撮影された画像の画像処理だけでなく、第２のカメラモジュールで撮影された画像の画像処理も行う。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許第１０１３７８４２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記従来の技術では、１つの筐体に第１のカメラモジュール、第２のカメラモジュール、及び半導体デバイスの全てが収容される。また、半導体デバイスは、各カメラモジュールで共有されるので、半導体デバイスに対する各カメラモジュールの回路設計が煩雑になる。このため、筐体のサイズが大きくなってしまう。カメラシステムが設置される車両のバックミラーの近くのスペースは狭いので、筐体のサイズを小さくすることが望まれる。

【0006】

上記従来の技術では、２つのカメラモジュールが一体化されているので、半導体デバイスの画像処理タスクが多くなる。このため、半導体デバイスの発熱によって半導体デバイス付近の温度が上昇してしまう。その結果、ウィンドシールド近傍の湿度を測定しにくい環境になってしまう。また、第２のカメラモジュールによって雨や雨滴が撮影されるものの、ウィンドシールドの曇りを検出することはできない。このため、ウィンドシールド付近の湿度の情報が必要になる。

【0007】

上記従来の技術では、第１のカメラモジュールは車両の前方を撮影するように筐体に収容される一方、第２のカメラモジュールはウィンドシールドに付着する雨滴や空を撮影するように筐体に収容される。ウィンドシールドの傾斜角度は車両毎に異なるので、第２のカメラモジュールの撮影方向がウィンドシールドの傾斜角度に対応するように複数の筐体を用意する必要がある。このため、筐体について、複数のバリエーションが発生してしまう。

【0008】

上記従来の技術では、第２のカメラモジュールは、雨や雨滴を撮影するために、ウィンドシールドに焦点が合わされる。ウィンドシールドの傾斜角度は車両毎に異なるので、第２のカメラモジュールの設置角度が変化してしまうと、第２のカメラモジュールの焦点が合わなくなってしまう。

【0009】

上記従来の技術では、第２のカメラモジュールによって雨や雨滴が撮影されるものの、第２のカメラモジュールの画像に基づいて日射センサやライトセンサと同じ機能を実現する方法は提案されていない。道路や照明等のように撮影されるものによって画像の中で明暗が異なるので、第２のカメラモジュールの画像の明るさに基づいて車両のライトを一意に点消灯させることが難しい。

【0010】

また、第２のカメラモジュールの画像に基づいて日射センサと同じ機能を実現しようとすると、太陽が画像に写っていない場合、日射の向きや強さを推定することが難しい。画像に太陽に写るようにするために魚眼レンズのような専用のレンズを用いることが考えられるが、コストが上がってしまう。あるいは、太陽が画像に写る場合、画像の中の太陽の周囲が白飛びをしてしまう。この場合、１枚の画像の中で白飛びや黒つぶれを無くして明るい部分と暗い部分とを同時に階調を残して表現するハイダイナミックレンジ合成処理が必要になる。

【0011】

さらに、画像に写された複数の被写体の輝度は、周囲の明るさが同じであったとしても、各被写体の色によって異なってしまう。このため、画像に基づいて車両のライトを点消灯させることが難しい。

【0012】

ここで、１つの第２のカメラモジュールによって雨や雨滴を撮影するためには狭い画角が必要である一方、日射センサやライトセンサとしての画像を撮影するためには広い画角が必要になる。よって、第２のカメラモジュールに広い画角を採用してしまうと、雨や雨滴を撮影することが難しくなる。

【0013】

上記従来の技術では、第２のカメラモジュールの撮影範囲は狭い。このため、雨滴がウィンドシールドのうちの第２のカメラモジュールの撮影範囲に付着しない場合、車両のワイパを制御することが難しい。例えば、車両の天井からウィンドシールドに流れる雨だれも、第２のカメラモジュールの撮影範囲から外れる場合がある。このように、ユーザが見ているウィンドシールドの状況と撮影されるウィンドシールドの範囲の状況とが異なることで、ユーザの払拭要求を満たすことが難しくなる。

【0014】

あるいは、第２のカメラモジュールによって撮影される画像の明るさに基づいてワイパを制御しようとすると、トンネルに進入した後もワイパの空払拭を継続してしまう可能性がある。このため、ユーザに煩わしさを感じさせてしまう。

【0015】

上記従来の技術では、第１のカメラモジュールによって車両の前方の道路が撮影されるものの、道路の状況を他の車両と共有する方法は提案されていない。

【0016】

本発明は上記点に鑑み、主に、ウィンドシールドに配置される筐体の小型化を実現することができる雨滴検出装置を提供することを目的とする。

【課題を解決するための手段】

【0017】

上記目的を達成するため、請求項１に記載の発明では、雨滴検出装置は、前方監視カメラ（１１０）、雨滴検出カメラ（１３０）、筐体（１０２、１１３、１３４）、及び電子制御ユニット（１５０）を含む。

【0018】

前方監視カメラは、車両のウィンドシールド（２００）を介して車両の前方を撮影する。雨滴検出カメラは、ウィンドシールドに付着する雨滴を撮影する。筐体（１０２、１１３、１３４）は、前方監視カメラ及び雨滴検出カメラを収容し、ウィンドシールドに配置される。

【0019】

電子制御ユニットは、ウィンドシールド及び筐体から離れた位置に配置され、前方監視カメラからの前方画像の画像データに対する画像処理を行い、雨滴検出カメラからのガラス画像の画像データに対する画像処理を行う。
前方画像の画像データ及びガラス画像の画像データは、共通の信号線（１０１）を介して電子制御ユニットに出力される。雨滴検出カメラは、車両の車室の湿度及び温度を検出する湿度センサ（１３２）を有する。湿度センサによって検出される湿度及び温度の情報は、信号線に重畳されることで電子制御ユニットに出力される。

【0020】

これによると、電子制御ユニットは、ウィンドシールド、前方監視カメラ、及び雨滴検出カメラから離れた位置に配置される。このため、ウィンドシールドには電子制御ユニットを配置するためのスペースが必要ない。したがって、ウィンドシールドに配置される筐体の小型化を実現することができる。

【0021】

なお、この欄及び特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【図面の簡単な説明】

【0022】

【図1】第１実施形態に係る雨滴検出装置を示したブロック図である。

【図2】ウィンドシールドの模式図である。

【図3】第２実施形態に係る前方監視カメラの正面図である。

【図4】第２実施形態に係る雨滴検出カメラを示した図である。

【図5】雨滴検出カメラの内部の構成を示した図である。

【図6】図５に示された回路基板の一側面の側を見た図である。

【図7】雨滴用筐体の内側を示した図である。

【図8】前方監視カメラ及び雨滴検出カメラの画角を示した図である。

【図9】回路基板が雨滴用筐体に固定された状態を示した図である。

【図10】第３実施形態に係る雨滴検出カメラの被写界深度を示した図である。

【図11】第４実施形態に係る雨滴検出カメラの撮影範囲を示した図である。

【図12】ガラス画像の空検知範囲及び雨滴検知範囲を示した図である。

【図13】平均輝度値と照度との関係を示した図である。

【図14】ガラス画像において車両の上方の空領域と車両の前方の空領域とを示した図である。

【図15】ライトを消灯すると決定される場合のガラス画像の一例を示した図である。

【図16】ライトを消灯すると決定される場合のガラス画像の一例を示した図である。

【図17】ライトを点灯すると決定される場合のガラス画像の一例を示した図である。

【図18】第４実施形態に係る変形例を説明するための図である。

【図19】第４実施形態に係る変形例を説明するための図である。

【図20】第５実施形態に係るガラス画像の倍率変更を示した図である。

【図21】第５実施形態に係る変形例を説明するための図である。

【図22】第５実施形態に係る変形例を説明するための図である。

【図23】第６実施形態に係るガラス画像の雨滴の認識結果を示した図である。

【図24】第６実施形態に係る雨滴付着率とワイパの払拭スピードとの関係を示した図である。

【図25】第７実施形態に係る雨だれを示した図である。

【図26】第７実施形態に係るトンネルの入口を示した図である。

【図27】第７実施形態に係るトンネルの出口を示した図である。

【図28】第７実施形態に係る橋桁を示した図である。

【図29】第９実施形態に係る前方画像を示した図である。

【図30】第９実施形態に係る変形例を説明するための図である。

【図31】第９実施形態に係る変形例を説明するための図である。

【図32】第９実施形態に係る変形例を説明するための図である。

【図33】第９実施形態に係る変形例を説明するための図である。

【図34】第１０実施形態に係る前方画像を示した図である。

【図35】第１０実施形態に係る前方画像を示した図である。

【図36】第１１実施形態に係る前方監視カメラの画角を示した図である。

【図37】第１１実施形態に係る変形例を説明するための図である。

【図38】第１１実施形態に係る変形例を説明するための図である。

【図39】他の実施形態を説明するための図である。

【図40】他の実施形態を説明するための図である。

【図41】他の実施形態を説明するための図である。

【図42】他の実施形態を説明するための図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。

【0024】

（第１実施形態）
以下、第１実施形態について図を参照して説明する。図１に示されるように、雨滴検出装置１００は、前方監視カメラ１１０、雨滴検出カメラ１３０、及び電子制御ユニット１５０を含む。前方監視カメラ１１０及び電子制御ユニット１５０は、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）を構成する。

【0025】

図２に示されるように、前方監視カメラ１１０及び雨滴検出カメラ１３０は、車両のウィンドシールド２００に設置される。前方監視カメラ１１０は、車両の前方を撮影するための撮像装置である。雨滴検出カメラ１３０は、ウィンドシールド２００に付着する雨滴を撮影するための撮像装置である。

【0026】

図１に示されるように、前方監視カメラ１１０は、イメージャ１１１及び出力部１１２を有する。イメージャ１１１は、レンズを介して入射する光を電気信号に変換する撮像素子である。イメージャ１１１は、１秒間に複数の画像を撮影する。イメージャ１１１は、ＭＩＰＩ（Mobile Industry Processor Interface）規格のＤ－ＰＨＹ方式によって映像信号を出力部１１２に出力する。

【0027】

出力部１１２は、イメージャ１１１から入力する映像信号を１本の信号線１０１に送出するために、イメージャ１１１の映像信号をシリアル化するシリアライザである。信号線１０１は、例えば、ＬＶＤＳ（Low voltage differential signaling）通信により信号を伝達する。

【0028】

雨滴検出カメラ１３０は、イメージャ１３１、湿度センサ１３２、及び出力部１３３を有する。イメージャ１３１は、イメージャ１１１と同様に撮像素子であると共に、Ｄ－ＰＨＹ方式によって映像信号を出力部１３３に出力する。

【0029】

湿度センサ１３２は、車両の車室の湿度及び温度を検出するセンサ装置である。湿度センサ１３２は、湿度として、ある温度の空気中に含みうる最大限の水分量すなわち飽和水蒸気量に対して、どの程度の水分を含んでいるかを示す相対湿度を検出する。温度は、ウィンドシールド２００の近傍の温度である。湿度センサ１３２は、Ｉ２Ｃ（Inter-Integrated Circuit）方式によって、湿度情報及び温度情報を含む検出信号を出力部１３３に出力する。

【0030】

出力部１３３は、出力部１１２と同様に、イメージャ１３１の映像信号及び湿度センサ１３２の検出信号をシリアル化するシリアライザである。出力部１３３は、映像信号及び検出信号を前方監視カメラ１１０の出力部１１２に出力する。よって、雨滴検出カメラ１３０の映像信号及び検出信号は、前方監視カメラ１１０の出力部１１２を介して電子制御ユニット１５０に出力される。

【0031】

このように、前方画像の画像データ及びガラス画像の画像データは、共通の信号線１０１を介して電子制御ユニット１５０に出力される。また、湿度センサ１３２によって検出される湿度及び温度の情報は、信号線１０１に重畳されることで電子制御ユニット１５０に出力される。これにより、前方監視カメラ１１０に専用の信号線や、雨滴検出カメラ１３０に専用の信号線が不要になるので、コネクタや配線を削減することができる。

【0032】

電子制御ユニット１５０は、車両において、ウィンドシールド２００、前方監視カメラ１１０、及び雨滴検出カメラ１３０から離れた位置に配置される。電子制御ユニット１５０は、入力部１５１及び画像処理ＥＣＵ（Electronic Control Unit）１５２を有する。

【0033】

入力部１５１は、前方監視カメラ１１０の出力部１１２と信号線１０１を介して接続されるデシリアライザである。入力部１５１は、信号線１０１を介して入力されるシリアル化された映像信号あるいは検出信号を元の信号に復元する。

【0034】

画像処理ＥＣＵ１５２は、入力部１５１を介して前方監視カメラ１１０から前方画像の画像データを入力すると共に前方画像の画像処理を行う。また、画像処理ＥＣＵ１５２は、入力部１５１を介して雨滴検出カメラ１３０からガラス画像の画像データを入力すると共にガラス画像の画像処理を行う。

【0035】

このため、画像処理ＥＣＵ１５２は、認識部１５３、レイン制御部１５４、判定部１５５、ライト演算部１５６、日射演算部１５７、湿度演算部１５８を有する。

【0036】

認識部１５３は、入力部１５１からガラス画像の画像データを入力し、ガラス画像の画像データに基づいてウィンドシールド２００に付着する雨滴を認識する。認識部１５３は、雨滴や汚れ等のウィンドシールド２００の状態について学習済みのＤＮＮ（Deep Neural Network）を有する。したがって、認識部１５３は、学習済みのＤＮＮを辞書としてガラス画像に含まれる雨滴や汚れを認識する。

【0037】

レイン制御部１５４は、認識部１５３の認識結果に基づいて、車両のワイパの制御を決定する。すなわち、レイン制御部１５４は、ウィンドシールド２００に付着する雨滴を検出することで車両のワイパの制御を決定する。

【0038】

ここで、レイン制御部１５４は、ボデーＥＣＵ３００からワイパモータ４００のモータ位置の情報、車両のワイパＳＷ４０１の情報、及び車両の車速の情報を取得する。レイン制御部１５４は、認識部１５３の認識結果とこれらの情報とに基づいて、ワイパのＯＮ／ＯＦＦやワイパの動作モードを決定し、ワイパの制御内容を含んだ払拭信号を生成する。レイン制御部１５４は、ＣＡＮ（Controller Area Network）通信によって払拭信号をボデーＥＣＵ３００に出力する。

【0039】

また、レイン制御部１５４は、ウィンドシールド２００の汚れを検出することでウィンドシールド２００に洗浄液を噴出するウォッシャの制御を決定する。レイン制御部１５４は、ウォッシャの制御内容を含んだ払拭信号を生成する。

【0040】

ボデーＥＣＵ３００は、車両に搭載された様々なアクチュエータを制御する装置である。ボデーＥＣＵ３００は、車両のワイパＳＷ４０１からワイパの設定情報を取得する。ボデーＥＣＵ３００は、車両の車速の表示制御を行うメータＥＣＵ５００からＣＡＮ通信によって車両の車速情報を取得する。ボデーＥＣＵ３００は、車両のワイパを制御するワイパＥＣＵ４０２からＬＩＮ（Local Interconnect Network）通信によってワイパモータ４００のモータ位置の情報を取得する。

【0041】

また、ボデーＥＣＵ３００は、レイン制御部１５４から入力する払拭信号をワイパＥＣＵ４０２に出力する。ワイパＥＣＵ４０２は、払拭信号の制御内容に従ってワイパモータ４００の駆動を制御する。なお、レイン制御部１５４は、ボデーＥＣＵ３００を介さずに、払拭信号をワイパＥＣＵ４０２に直接出力しても構わない。

【0042】

判定部１５５は、車両のライトの制御やエアコンの制御を行うために必要な画像判定を行う。判定部１５５は、車両の周囲の明るさすなわち照度について学習済みのＤＮＮや、トンネルや橋桁を判定するための判定基準を有する。したがって、判定部１５５は、ＤＮＮや他の判定基準に基づいて前方画像やガラス画像に含まれる車両の周囲の照度、トンネル、橋桁を判定する。なお、照度の判定には、前方画像及びガラス画像のどちらを用いても構わない。

【0043】

ライト演算部１５６は、判定部１５５の判定結果に基づいて、車両のライトの制御を決定する。すなわち、ライト演算部１５６は、車両の周囲の照度を検出することで車両のライトの点消灯を判定する。

【0044】

ライト演算部１５６は、ライトの制御内容を含んだライト信号を生成する。ライト演算部１５６は、ＣＡＮ通信によってライト信号をボデーＥＣＵ３００に出力する。ボデーＥＣＵ３００は、ライト演算部１５６から入力するライト信号の制御内容に従って車両のライトの点消灯を制御する。

【0045】

日射演算部１５７は、判定部１５５の判定結果に基づいて、車両のエアコンの制御を決定する。すなわち、日射演算部１５７は、車両の周囲の日射の強さ及び方向を検出することで車室内空調の制御を決定する。

【0046】

日射演算部１５７は、エアコンの制御内容を含んだ日射信号を生成する。あるいは、日射演算部１５７は、エアコンの制御内容を含まない日射信号を生成する。日射演算部１５７は、ＣＡＮ通信によって日射信号をエアコンＥＣＵ６００に出力する。

【0047】

エアコンＥＣＵ６００は、日射演算部１５７から入力する日射信号の制御内容に従って車両のエアコンを制御する。あるいは、エアコンＥＣＵ６００は、日射信号を利用して車両のエアコンを制御する。

【0048】

湿度演算部１５８は、入力部１５１から入力する検出信号に基づいて車両の車室の湿度及び温度を演算により取得する。ここで、湿度演算部１５８は、車両に搭載された外気温センサ７００からウィンドシールド２００のガラス温度の情報を取得する。湿度演算部１５８は、検出信号とガラス温度とに基づいて、湿度及び温度の情報を含んだ湿度信号を生成し、ＣＡＮ通信によって湿度信号をエアコンＥＣＵ６００に出力する。

【0049】

また、湿度演算部１５８は、検出信号に基づいて、前方監視カメラ１１０及び雨滴検出カメラ１３０の前方を温めるヒータの制御を決定する。ヒータは、ウィンドシールド２００に設置される。または、ヒータは黒ラミックに設置される。具体的には、黒セラミックには、前方監視カメラ１１０及び雨滴検出カメラ１３０からの視界を遮らないようにするために、前方監視カメラ１１０及び雨滴検出カメラ１３０の画角範囲に相当する台形状の欠損部が形成される。そして、ヒータは、黒セラミックの欠損部に設置される。

【0050】

さらに、湿度演算部１５８は、検出信号に基づいて、ウィンドシールド２００に向けて風を吹き出すデフロスタの制御を決定する。湿度演算部１５８は、湿度信号にデフロスタの制御内容を含めてエアコンＥＣＵ６００に出力する。

【0051】

電子制御ユニット１５０は、ユーザの運転を支援する制御を行う。このため、電子制御ユニット１５０は、画像処理ＥＣＵ１５２によって前方画像の画像処理を行うことにより、車両の周囲の状況を検出する。電子制御ユニット１５０は、車速センサ、ステアリングセンサ、アクセルセンサ等の各センサの情報を入力する。電子制御ユニット１５０は、各センサの情報をボデーＥＣＵ３００から取得しても良いし、各センサから直接取得しても良い。電子制御ユニット１５０は、目的地へのナビゲーションを実行するためのナビＥＣＵ８００から日時の情報、緯度・経度や向き等の自車位置の情報を取得し、車両の制御に利用する。

【0052】

電子制御ユニット１５０は、画像処理の結果及び各センサの情報に基づいて、車両の運転状況を把握すると共に、車両が周囲の物体と接触することを防止、軽減する制御を実行する。例えば、電子制御ユニット１５０は、車両前方の物体との接触を回避あるいは軽減するためにブレーキを動作させたり、ステアリングを動作させたりすることが必要と判定すると、急ハンドル予告信号や急ブレーキ予告信号をボデーＥＣＵ３００に出力する。ボデーＥＣＵ３００は、電子制御ユニット１５０の各信号に基づいてユーザに車両の周囲の状況を伝えたり、車両の動作を制御したりする。

【0053】

なお、ナビＥＣＵ８００は、クラウドサーバ９００と通信可能に構成される。これにより、ナビＥＣＵ８００は、交通状況等の情報を取得することができる。電子制御ユニット１５０は、クラウドサーバ９００と直接通信することによって運転支援に必要な情報を取得しても構わない。

【0054】

以上説明したように、本実施形態では、前方監視カメラ１１０及び雨滴検出カメラ１３０がウィンドシールド２００に設置される。一方、電子制御ユニット１５０は、ウィンドシールド２００、前方監視カメラ１１０、及び雨滴検出カメラ１３０から離れた位置に配置される。このため、ウィンドシールド２００には前方監視カメラ１１０及び雨滴検出カメラ１３０が配置されるのみで済むので、電子制御ユニット１５０を配置するためのスペースは必要ない。したがって、ウィンドシールド２００に配置される筐体の小型化を実現することができる。

【0055】

（第２実施形態）
本実施形態では、主に第１実施形態と異なる部分について説明する。図３に示されるように、前方監視カメラ１１０は、前方用筐体１１３を有する。

【0056】

前方用筐体１１３は、ウィンドシールド２００に固定される。前方用筐体１１３は、樹脂製あるいは金属製である。前方用筐体１１３は、樹脂材料及び金属材料等の複合材料によって形成されていても良い。前方用筐体１１３は、母体部１１４及びカメラ部１１５を有する。母体部１１４は、回路基板等が収容される。

【0057】

カメラ部１１５は、母体部１１４に一体化されると共に、イメージャ１１１及びレンズ部１１６を収容する。カメラ部１１５は、レンズ部１１６を通すための１つの貫通孔１１７を有する。カメラ部１１５は、母体部１１４の上部に位置すると共に、母体部１１４の一方の側面１１８の側に位置する。これにより、母体部１１４の上部のうちの他方の側面１１９の側に空間部が構成される。レンズ部１１６は、無限遠に焦点が合わされたレンズモジュールである。

【0058】

一方、雨滴検出カメラ１３０は、前方用筐体１１３とは別の雨滴用筐体１３４を有する。雨滴用筐体１３４は、前方用筐体１１３よりも小さいサイズである。雨滴用筐体１３４は、樹脂製あるいは金属製である。雨滴用筐体１３４は、樹脂材料及び金属材料等の複合材料によって形成されていても良い。

【0059】

図４に示されるように、雨滴用筐体１３４は、固定部１３５を有する。固定部１３５は、雨滴検出カメラ１３０の雨滴用筐体１３４を前方監視カメラ１１０の前方用筐体１１３に固定するための突出部分である。固定部１３５は、例えば前方用筐体１１３にねじで固定される。

【0060】

また、図３～図８に示されるように、雨滴検出カメラ１３０は、回路基板１３６、レンズ部１３７、湿度センサ１３２を有する。図６に示されるように、回路基板１３６は、表面１３８及び裏面１３９を有するプリント基板である。イメージャ１３１及びレンズ部１３７は、回路基板１３６の表面１３８に実装される。湿度センサ１３２は、回路基板１３６の裏面１３９に実装される。なお、湿度センサ１３２は、回路基板１３６の表面１３８に実装されても良い。

【0061】

図７に示されるように、雨滴用筐体１３４は、２つの容器部１４０、１４１が連結部１４２によって連結されていると共に、連結部１４２が折り曲げ可能になっている。雨滴用筐体１３４は、連結部１４２が折り曲げられると共に、スナップフィット１４３によって各容器部１４０、１４１が固定されることで内部に回路基板１３６等を収容する。

【0062】

一方の容器部１４０は、レンズ部１３７を通すための１つの貫通孔１４４を有する。一方の容器部１４０は、他方の容器部１４１は、雨滴用筐体１３４の内部と外部とを繋ぐ複数の貫通孔１４５を有する。これにより、湿度センサ１３２は、回路基板１３６に実装された電子部品等の発熱に妨げられずにウィンドシールド２００の近傍の湿度を測定することができる。回路基板１３６は、ねじ止めによって他方の容器部１４１に固定される。

【0063】

図３に示されるように、前方監視カメラ１１０と雨滴検出カメラ１３０とは、基板対基板コネクタ１２０によって電気的に導通する。基板対基板コネクタ１２０は、一方のコネクタ１２１と他方のコネクタ１４６とが組み付けられることで一方のコネクタ１２１と他方のコネクタ１４６とが一体化されると共に電気的に接続される。なお、図３では、前方監視カメラ１１０と雨滴検出カメラ１３０とが分離された状態が示されている。

【0064】

前方監視カメラ１１０は、一方のコネクタ１２１を有する。一方のコネクタ１２１は、前方用筐体１１３のカメラ部１１５のうちの母体部１１４の他方の側面１１９の側に設けられる。すなわち、一方のコネクタ１２１は、カメラ部１１５から母体部１１４の他方の側面１１９の側に突出する。

【0065】

雨滴検出カメラ１３０は、他方のコネクタ１４６を有する。図６に示されるように、他方のコネクタ１４６は、回路基板１３６の裏面１３９に実装される。また、図４に示されるように、他方のコネクタ１４６は、雨滴用筐体１３４から突出する。

【0066】

そして、図３に示されるように、雨滴用筐体１３４が前方用筐体１１３のカメラ部１１５の隣に配置されると共に、雨滴検出カメラ１３０の他方のコネクタ１４６が前方監視カメラ１１０の一方のコネクタ１２１に組み付けられる。これにより、雨滴検出カメラ１３０は、前方監視カメラ１１０から電源供給されると共に、映像信号及び湿度信号の出力が可能になる。

【0067】

本実施形態では、雨滴検出カメラ１３０は、前方監視カメラ１１０に対して脱着可能である。すなわち、雨滴検出カメラ１３０は、基板対基板コネクタ１２０によって前方監視カメラ１１０に対して脱着可能である。また、雨滴検出カメラ１３０は、雨滴用筐体１３４の固定部１３５によって前方監視カメラ１１０の前方用筐体１１３に対して脱着可能である。例えば、雨滴検出カメラ１３０に不具合が生じた場合、雨滴検出カメラ１３０の交換が可能になる。あるいは、雨滴検出カメラ１３０が不要の場合、雨滴検出カメラ１３０を前方監視カメラ１１０から取り外すことができる。

【0068】

また、図８に示されるように、前方監視カメラ１１０の画角の一部と、雨滴検出カメラ１３０の画角の一部と、は重なっている。つまり、前方監視カメラ１１０の画角は、雨滴検出カメラ１３０の画角と、共有する部分がある。これにより、前方監視カメラ１１０の前方画像及び雨滴検出カメラ１３０のガラス画像の一方を他方に代用可能になる。

【0069】

上記の構成において、電子制御ユニット１５０の湿度演算部１５８は、湿度センサ１３２から車両の車室の湿度及び温度の情報を取得すると共に、外気温センサ７００から車両の周囲の外気温の情報を取得する。そして、湿度演算部１５８は、車両の車室の湿度及び温度、及び、車両の周囲の外気温の各情報を用いて、ウィンドシールド２００のガラス面湿度を推定する。

【0070】

湿度演算部１５８は、ウィンドシールド２００のガラス面湿度を含んだ湿度信号をエアコンＥＣＵ６００に出力する。エアコンＥＣＵ６００は、ガラス面湿度の情報をデフロスタの制御等に利用する。

【0071】

以上のように、雨滴検出カメラ１３０と湿度センサ１３２とを統合することにより、小型の構成で高精度の雨滴検出及び湿度検出を実現することができる。また、雨滴検出カメラ１３０は、前方監視カメラ１１０に対して基板対基板コネクタ１２０によって電気的に接続されるので、ウィンドシールド２００の傾斜角度に対応した雨滴用筐体１３４を用意する必要が無い。したがって、雨滴用筐体１３４のバリエーションが少なく済む。

【0072】

変形例として、前方監視カメラ１１０の画角の一部と、雨滴検出カメラ１３０の画角の一部と、は重なっていなくても良い。例えば、雨滴検出カメラ１３０の撮影方向は、前方監視カメラ１１０の撮影方向よりも上空の側に設定されていても構わない。

【0073】

変形例として、図９に示されるように、回路基板１３６は、容器部１４０の内側に設けられたスナップフィット１４７に引っ掛かることによって雨滴用筐体１３４に組み付けられても良い。あるいは、回路基板１３６は、容器部１４０の内側に圧入されることや、容器部１４０の内側に熱かしめされることによって雨滴用筐体１３４に組み付けられても良い。
なお、本実施形態の記載と特許請求の範囲の記載との対応関係については、前方監視カメラ１１０の前方用筐体１１３及び雨滴検出カメラ１３０の雨滴用筐体１３４が特許請求の範囲の「筐体」に対応する。

【0074】

（第３実施形態）
本実施形態では、主に上記各実施形態と異なる部分について説明する。本実施形態では、雨滴検出カメラ１３０は、ウィンドシールド２００の傾斜角度に対応した被写界深度を有する。被写界深度は、撮影範囲のうちのピントが合う範囲である。

【0075】

ウィンドシールド２００の傾斜角度に対応した被写界深度を得るために、雨滴検出カメラ１３０のレンズ部１３７はｆ値が小さくなるように設計される。すなわち、レンズ部１３７は、広角レンズを有する。

【0076】

ここで、雨滴検出カメラ１３０のレンズ部１３７は、シャインプルーフの原理に基づいて、ウィンドシールド２００のガラス面にピントが合いやすくなるように、光軸が天井の側に傾けられている。これにより、ウィンドシールド２００のより広い範囲を撮影することが可能になっている。

【0077】

したがって、図１０に示されるように、ウィンドシールド２００の傾斜角度が車両毎に異なっていても、被写界深度が広げられる。すなわち、広い範囲にピントが合わされる。よって、ウィンドシールド２００の様々な傾斜角度に対応することができる。つまり、雨滴検出カメラ１３０を車両毎に設計する必要がない。雨滴検出カメラ１３０のバリエーションを減らすことができる。

【0078】

（第４実施形態）
本実施形態では、主に第３実施形態と異なる部分について説明する。図１１に示されるように、雨滴検出カメラ１３０は、天地方向において、画角のうちの地面の側の範囲でウィンドシールド２００に付着する雨滴を撮影する。天地方向において、雨滴検知範囲に対応する画角は、例えば３０°である。

【0079】

雨滴検知範囲は、ガラス画像のうちの雨滴検出カメラ１３０の光軸を含む範囲である。雨滴検出カメラ１３０のピント範囲である被写界深度は、地面の側に設定される。これにより、光軸上の被写界深度の範囲よりもウィンドシールド２００のガラス面上の被写界深度の範囲が広くなる。雨滴検知範囲は、雨滴を認識するために利用される。

【0080】

また、雨滴検出カメラ１３０は、天地方向において、画角のうちの天井の側の範囲で車両の周囲を撮影する。天地方向において、空検知範囲に対応する画角は、例えば３０°～９０°である。空検知範囲は、空を含む範囲である。空検知範囲は、車両の周囲の照度を判定するために利用される。なお、図１１では、ウィンドシールド２００の傾斜角度が１８°～５０°の場合が示されている。

【0081】

したがって、図１２に示されるように、１枚のガラス画像において、空検知範囲がガラス画像の上側に撮影されると共に、雨滴検知範囲がガラス画像の下側に撮影される。これにより、ウィンドシールド２００の雨滴だけでなく、車両の上方の状況も１つの雨滴検出カメラ１３０で撮影することができる。

【0082】

電子制御ユニット１５０は、ライトセンサや日射センサとしての機能を実現する。具体的には、画像処理ＥＣＵ１５２のライト演算部１５６は、判定部１５５を介して入力したガラス画像に基づいて、水平に相当する画素の平均輝度値から車両の前方光の照度を推定する。図１３に示されるように、平均輝度値と照度との関係から車両の前方光の照度を推定することができる。照度がある程度上昇すると、平均輝度値の差は小さくなる。

【0083】

また、図１４に示されるように、ガラス画像には車両の上方の空領域と車両の前方の空領域とが撮影される。そこで、ライト演算部１５６は、ガラス画像のうちの上方の空領域の平均輝度値から上方光の照度を推定する。

【0084】

ライト演算部１５６は、ガラス画像から推定した照度に基づいて車両のライトの制御を決定する。例えば、図１５に示されるように、破線で囲まれた範囲の照度が例えば１０万ルクスの場合はライトを消灯すると決定する。

【0085】

あるいは、図１６に示されるように、破線で囲まれた範囲の照度が例えば５万ルクスの場合はライトを消灯すると決定する。あるいは、図１７に示されるように、破線で囲まれた範囲の照度が３００ルクスの場合はライトを点灯すると決定する。ライト演算部１５６は、ライトの点消灯の制御内容を含んだライト信号をボデーＥＣＵ３００に出力する。

【0086】

日射演算部１５７は、判定部１５５を介して入力したガラス画像において、空領域に対応する空検知範囲の水平方向の輝度値のピークから方向角を推定する。また、日射演算部１５７は、ＧＰＳの情報あるいはナビＥＣＵ８００から緯度、経度、日時、車両の向きの情報を取得し、太陽角を推定する。太陽角は仰角である。さらに、日射演算部１５７は、ガラス画像の平均輝度値から日陰あるいは日向を判定する。

【0087】

日射演算部１５７は、ガラス画像から推定した日射情報に基づいて、車両のエアコンの制御を決定する。日射演算部１５７は、エアコンの制御内容を含んだ日射信号をエアコンＥＣＵ６００に出力する。あるいは、日射演算部１５７は、ガラス画像から推定した日射情報を含む日射信号をエアコンＥＣＵ６００に出力する。

【0088】

以上のように、雨滴検出カメラ１３０で撮影されるガラス画像に基づいて、電子制御ユニット１５０にライトセンサや日射センサの機能を実現させることができる。なお、ライト演算部１５６及び日射演算部１５７は、前方監視カメラ１１０の前方画像を用いて照度を推定しても構わない。

【0089】

変形例として、ライト演算部１５６及び日射演算部１５７は、オートゲイン、オート露光のパラメータ、及び画素値からガラス画像の輝度値を算出しても良い。輝度値は、輝度値＝画素値／露光時間／ゲインによって算出される。画素値は、０～２５５の数値である。このように、露光とゲインの値により、輝度値の判明が可能になる。

【0090】

例えば、図１８に示されるように、１８時ではガラス画像の輝度値は高い。一方、図１９に示されるように、１９時ではガラス画像の輝度値は低いので本来は暗く見えるはずである。しかし、画像の自動調整によって暗い状況が明るく見えてしまう。このように見え方による差が小さくなってしまったとしても、上記の演算により本来の明るさに対応した輝度値を取得することができる。

【0091】

（第５実施形態）
本実施形態では、主に第３実施形態と異なる部分について説明する。本実施形態では、雨滴検出カメラ１３０は、ガラス画像において、天地方向における雨滴の検出範囲の倍率と、その他の範囲の倍率と、を変更する。これにより、雨滴検出カメラ１３０は、ガラス画像における雨滴の検出範囲をその他の範囲よりも相対的に広くする。

【0092】

具体的には、図２０の左側に示されるように、天地方向において、ガラス画像の空検知範囲は雨滴検知範囲よりも広い範囲として撮影される。車両の周囲の照度を推定することができれば良いので、空検知範囲は広くなくても良い。一方、雨滴の検出能力を確保するために、雨滴検知範囲は広いほうが良い。

【0093】

よって、図２０の右側に示されるように、雨滴検出カメラ１３０は、天地方向における空検知範囲の倍率を雨滴検知範囲の倍率よりも小さくする。これにより、天地方向において、雨滴検知範囲は空検知範囲よりも相対的に広くなる。

【0094】

以上のように、ガラス画像の中の特定の範囲の倍率を変化させることで、１つのガラス画像の中から車両の周囲の照度と雨滴とを高精度に検出することが可能になる。なお、レイン制御部１５４がガラス画像の中の特定の範囲の倍率を変化させても良い。

【0095】

変形例として、図２１に示されるように、ガラス画像の下側に車両のボンネットが写る場合、雨滴検出カメラ１３０は、ガラス画像の仰角の方向において、空検知範囲だけでなくボンネット範囲の倍率を雨滴検知範囲の倍率よりも小さくする。例えば、空検知範囲及びボンネット範囲の倍率を０．５倍とする。仰角の方向は、車両の天地方向に対応する。これにより、車両の周囲の照度と雨滴とを検出するために不要なボンネット範囲を相対的に小さくすることができる。

【0096】

変形例として、図２２に示されるように、ガラス画像の仰角の方向だけでなく、方位角の方向についても、０°付近の倍率を±９０°付近の倍率よりも高くする。方位角の方向は、車両の左右方向に対応する。このように、ガラス画像の２方向の倍率を変化させても良い。なお、図２２は実際には円状の画像になる。

【0097】

（第６実施形態）
本実施形態では、主に上記各実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１５０は、雨滴付着率を取得し、雨滴付着率に基づいて雨量を推定し、雨量に応じて車両のワイパの制御を決定する。

【0098】

このため、電子制御ユニット１５０は、認識部１５３においてガラス画像に基づいてガラス画像に含まれる雨滴を認識する。具体的には、図２３に示されるように、認識部１５３は、ガラス画像に含まれる雨滴を認識すると共に、認識した雨滴を枠１５９で囲む。枠１５９が重なる場合、認識部１５３は雨滴として信頼性が高い枠１５９を採用する。なお、認識部１５３は、枠１５９が重ならないように各雨滴に枠１５９を付与するようにしても良い。

【0099】

そして、レイン制御部１５４は、ガラス画像の全体の面積とガラス画像に含まれる雨滴の面積の合計値との比較から雨滴付着率を取得する。すなわち、レイン制御部１５４は雨滴付着率［％］＝（雨滴の面積の合計値／ガラス画像の全体の面積）×１００を演算する。雨滴の面積の合計値は、全ての枠１５９の面積の合計値である。

【0100】

また、レイン制御部１５４は、雨滴付着率に対応したワイパの制御を行うために、ワイパの払拭スピードを決定する。図２４に示されるように、雨滴付着率に対してワイパ払拭閾値を設定すると共に、ワイパ払拭閾値を超える雨滴付着率に対応したワイパの払拭スピードを決定する。つまり、雨滴付着率に基づいて雨量を推定すると共に、雨量に対応したワイパの払拭スピードを選択する。雨滴付着率が高いほど、ワイパの払拭スピードは速くなる。

【0101】

レイン制御部１５４は、ワイパの払拭スピードを含む払拭信号をボデーＥＣＵ３００に出力する。以上のように、雨滴付着率に基づいて、車両のワイパの制御を行うことができる。

【0102】

（第７実施形態）
本実施形態では、主に第６実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１５０は、ガラス画像に基づいてウィンドシールド２００に対する水しぶきあるいは雨だれを判定すると共に判定結果に基づいて車両のワイパの制御を決定する。

【0103】

水しぶきは、他車が水たまりを踏んだ際に自車に向かって飛ぶ水である。図２５に示されるように、雨だれ１６０は、車両の天井からウィンドシールド２００に流れる水である。例えば、認識部１５３は、ガラス画像をフーリエ変換し、周波数の特徴量を抽出し、特徴量に基づいて水しぶきや雨だれ１６０を認識する。レイン制御部１５４は、水しぶきや雨だれ１６０に応じたワイパの動作モードを決定し、払拭信号をボデーＥＣＵ３００に出力する。このように、状況に応じたワイパの制御を決定することにより、ユーザの払拭要求を満たすことができる。

【0104】

なお、フーリエ変換による画像処理では、水しぶきや雨だれ１６０の他に、雨滴の波紋、泥、ウィンドシールド２００の濡れ具合、逆光、ウィンドシールド２００の傷等も認識することができる。

【0105】

また、電子制御ユニット１５０は、車両のワイパの動作中において、前方画像に基づいて車両がトンネルに進入または退出することを判定すると共に、判定結果に基づいてトンネルの出入口におけるワイパの制御を決定する。この場合、レイン制御部１５４は、判定部１５５におけるトンネルの判定結果を入力すると共に、前方画像に基づいて車両がトンネルに進入または退出することを判定する。

【0106】

そして、図２６に示されるように車両がトンネルに進入する場合、レイン制御部１５４はトンネルへの進入直後に車両のワイパを停止する制御を決定する。一方、図２７に示されるように車両がトンネルから退出する場合、レイン制御部１５４は、トンネルから退出直後に車両のワイパの払拭スピードを現状の払拭スピードよりも速くする制御を決定する。

【0107】

図２８に示されるようにレイン制御部１５４は、橋桁の出入口において上記と同様にワイパの制御を決定しても良い。

【0108】

したがって、トンネルや橋桁の入口において、車両のワイパの動作を早く停止させることができる。ワイパの空払拭を継続してしまうことが無いので、ユーザに煩わしさを感じさせにくくすることができる。また、トンネルや橋桁の出口において、車両のワイパを早く動作させて雨の状況に素早く対応させることができる。

【0109】

（第８実施形態）
本実施形態では、主に第６、第７実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１５０は、ウィンドシールド２００の撥水状態に応じて車両のワイパの動作スピードを決定する。

【0110】

このため、認識部１５３は、ガラス画像に含まれる雨滴の大きさ及び数を認識する。なお、雨滴の形状を認識しても良い。レイン制御部１５４は、雨滴の大きさ及び数に基づいて、ウィンドシールド２００の撥水状態を検知する。雨滴が小さい場合、撥水様態が良いと判定できる。例えば、レイン制御部１５４は、雨滴の大きさ及び数に応じた撥水状態のマップを有する。レイン制御部１５４は、マップに基づいて撥水状態を判定する。

【0111】

レイン制御部１５４は、雨滴の径が小さいと共に数が多いと判定した場合、ウィンドシールド２００が撥水ガラスであるとしてワイパの払拭スピードを通常よりも遅くする制御を決定する。このように、ウィンドシールド２００の撥水状態に応じてワイパの動作スピードを変更することができる。

【0112】

（第９実施形態）
本実施形態では、主に第６～第８実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１５０は、前方画像またはガラス画像に基づいて車両の周囲の明るさを判定すると共に、明るさの判定結果に基づいて車両のライトの点消灯の制御を決定する。

【0113】

判定部１５５は、前方画像またはガラス画像の輝度、露光時間、ゲインに基づいて車両の周囲の明るさを判定する。明るさは、照度である。ライト演算部１５６は、照度に対する点灯閾値及び消灯閾値を有する。ライト演算部１５６は、照度が点灯閾値よりも小さい場合に車両のライトを点灯する制御を決定する。また、照度が消灯閾値よりも大きい場合に車両のライトを消灯する制御を決定する。

【0114】

ここで、被写体の輝度は、照度が同じであったとしても被写体の色によって異なる。そこで、ボンネットやダッシュボード等の車両の一部が前方監視カメラ１１０の前方画像に常に写るように前方監視カメラ１１０をウィンドシールド２００に設置する。例えば、図２９に示されるように、前方画像の下側の領域にボンネット範囲が常に写るようにする。

【0115】

ライト演算部１５６は、ボデーＥＣＵ３００から車体の色の情報を取得すると共に、前方画像のボンネット範囲の輝度を取得する。そして、ライト演算部１５６は、車体の色の情報とボンネット範囲の輝度から色の影響を補正した照度を取得する。ライト演算部１５６は、点灯閾値及び消灯閾値と、取得した照度と、を比較することで車両のライトの点消灯の制御を決定する。

【0116】

よって、前方画像に含まれる被写体及び被写体の色を特定するための画像処理を行わずに、前方画像から車両の周囲の照度を取得することができる。また、画像処理の負荷低減によって処理リソースを削減することができる。画像処理ＥＣＵ１５２の機能拡張へのリソース配分による付加価値を向上させることもできる。

【0117】

変形例として、図３０及び図３１に示されるように、車両が東に進んでいる場合であって太陽が前方画像に写っていない場合、日射演算部１５７は、太陽の位置を推定しても良い。日射演算部１５７は、緯度、経度、日時を含むＧＰＳの情報と前方監視カメラ１１０の撮影画角の情報及び前方画像を取得すると共に、これらの情報を用いて太陽の位置を推定する。

【0118】

図３２に示されるように、太陽が前方画像に含まれていたとしても前方画像が白飛びすることで太陽の位置がわからない場合もある。このような場合でも、図３３に示されるように、前方画像の中の太陽の位置を推定することができる。

【0119】

したがって、日射演算部１５７は、太陽が前方画像に含まれていないとしても、日射の向き及び強さを取得することができる。また、太陽を撮影するための魚眼レンズやハイダイナミックレンジ合成処理が不要になる。

【0120】

（第１０実施形態）
本実施形態では、主に上記各実施形態と異なる部分について説明する。本実施形態では、電子制御ユニット１５０は、前方画像またはガラス画像に基づいて車両の周囲の気象状況を把握すると共に、車両の位置情報及び気象状況をクラウドサーバ９００に送信する。

【0121】

前方監視カメラ１１０の前方画像または雨滴検出カメラ１３０のガラス画像には、晴れ、曇り、雨、雪、凍結、道路の汚れ等の路面に関する情報が含まれる。したがって、画像処理ＥＣＵ１５２の認識部１５３は、前方画像またはガラス画像から路面の状況を識別する。つまり、自車は、道路状況を判定するプローブカーとなる。

【0122】

例えば、図３４に示されるように、認識部１５３は、ウィンドシールド２００のガラス面に付着した雪や黒い路面を認識する。これにより、画像処理ＥＣＵ１５２は、降雪有り及び積雪無しを検出することができる。あるいは、図３５に示されるように、認識部１５３は、ウィンドシールド２００に何も付着していないことや路面が白いことを認識する。これにより、画像処理ＥＣＵ１５２は、降雪無し及び積雪有りを検出することができる。

【0123】

電子制御ユニット１５０は、ナビＥＣＵ８００を介してクラウドサーバ９００に車両の位置情報及び気象状況を送信する。クラウドサーバ９００は、車両の位置情報及び気象状況を道路状況配信サービスに活用することができる。

【0124】

また、電子制御ユニット１５０は、検出した気象状況を自車の制御に利用する。すなわち、画像処理ＥＣＵ１５２は、検出した降雪や積雪状況に応じて、車両の制御方法を変更する。例えば、湿度演算部１５８は、ウィンドシールド２００の凍結を検知して、エアコンＥＣＵ６００にデフロスタを動作させる。あるいは、画像処理ＥＣＵ１５２は、路面の積雪を検知して、車両の急ブレーキを抑制する制御を行う。

【0125】

以上のように、前方画像またはガラス画像から車両の周囲の気象状況を認識することで認識結果を自車や他車の制御に利用することができる。

【0126】

（第１１実施形態）
本実施形態では、主に上記各実施形態と異なる部分について説明する。本実施形態では、前方監視カメラ１１０の前方画像から雨滴を検出する。このため、図３６に示されるように、前方監視カメラ１１０のレンズ部１１６は、凸レンズ１２２を有する。凸レンズ１２２は、レンズ部１１６に含まれる複数のレンズの中で最初に光を入射するレンズである。

【0127】

凸レンズ１２２は、焦点距離を短くする。したがって、無限遠焦点のレンズ部１１６の焦点をウィンドシールド２００に合わせることができる。これにより、前方監視カメラ１１０の前方画像から雨滴を検出することが可能になる。

【0128】

変形例として、図３７に示されるように、レンズ形状の中央部が開口している一方、レンズ形状の外縁部はウィンドシールド２００に焦点を持つレンズ１２３を採用しても良い。すなわち、レンズ１２３の中央部は無限遠焦点の画角であり、レンズ１２３の外縁部はガラス面焦点の画角である。レンズ１２３は、前方監視カメラ１１０のレンズ部１１６に設けられる。これにより、図３８に示されるように、前方監視カメラ１１０の焦点を、ウィンドシールド２００のガラス面及び無限遠の両方に合わせることができる。

【0129】

（他の実施形態）
上記各実施形態で示された雨滴検出装置１００の構成は一例であり、上記で示した構成に限定されることなく、本発明を実現できる他の構成とすることもできる。例えば、図３９に示されるように、前方監視カメラ１１０及び雨滴検出カメラ１３０は、同一の筐体１０２に収容されても良い。すなわち、雨滴検出カメラ１３０は、前方監視カメラ１１０に対して取り外しができないように一体化されていても構わない。なお、本実施形態の記載と特許請求の範囲の記載との対応関係については、同一の筐体１０２が特許請求の範囲の「筐体」に対応する。

【0130】

この場合、例えば、図４０に示されるように、前方監視カメラ１１０のイメージャ１１１及びレンズ部１１６と、雨滴検出カメラ１３０のイメージャ１３１及びレンズ部１３７と、は同一の回路基板１０３に実装される。あるいは、図４１に示されるように、前方監視カメラ１１０の回路基板１２４と雨滴検出カメラ１３０の回路基板１３６とがフレキシブルプリント基板１０４によって電気的に接続される構成になっていても良い。

【0131】

前方監視カメラ１１０から出力される前方画像の画像データは、前方監視カメラ１１０から電子制御ユニット１５０に直接入力されなくても良い。すなわち、前方画像の画像データは、他の装置を介して電子制御ユニット１５０に入力されても良い。ガラス画像の画像データについても同様である。

【0132】

上記各実施形態では、雨滴検出カメラ１３０は、車両の左右方向において、前方監視カメラ１１０に対して組み付けられていたが、これは一例である。図４２に示されるように、雨滴検出カメラ１３０は、天地方向において、前方監視カメラ１１０に対して天井の側から地面の側に組み付けられても良い。

【符号の説明】

【0133】

１００ 雨滴検出装置
１１０ 前方監視カメラ
１１３ 前方用筐体
１２０ 基板対基板コネクタ
１３０ 雨滴検出カメラ
１３２ 湿度センサ
１３４ 雨滴用筐体
１３６ 回路基板
１５０ 電子制御ユニット
２００ ウィンドシールド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】