特許 7581973 雨量推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】雨量推定装置

(51)【国際特許分類】

   G01W 1/14 20060101AFI20241106BHJP

   G08G 1/00 20060101ALI20241106BHJP

【ＦＩ】

G01W1/14 B

G08G1/00 A

【請求項の数】 1

(21)【出願番号】P 2021034548

(22)【出願日】2021-03-04

(65)【公開番号】P2022134996

(43)【公開日】2022-09-15

【審査請求日】2023-12-19

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】内田 尚秀

(72)【発明者】

【氏名】澤田 英明

【審査官】前田 敏行

(56)【参考文献】

【文献】特開平０９－１２６９９８（ＪＰ，Ａ）

【文献】特開２００１－１５３９６９（ＪＰ，Ａ）

【文献】特開２００７－３０９６５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０２７２８８４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｗ １／１４

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

車両のフロントガラスに付着した雨滴に基づいて雨量を推定する雨量推定装置であって、
前記フロントガラス越しに車両前方を撮像するカメラと、
プロセッサと、
を備え、
前記プロセッサは、
予め撮像された画像の中から降雨状態の特徴を持つ画像を正解画像として学習されたディープニューラルネットワークに対して前記カメラによって撮像された撮像画像を入力することにより、前記撮像画像が前記降雨状態を示す降雨画像であるか否かを判定する画像判定処理と、
前記車両のワイパーによる前記フロントガラスの直近の払拭動作から前記画像判定処理による前記降雨画像の検出までの時間に基づいて、前記雨量を推定する雨量推定処理と、
を実行し、
前記画像判定処理は、所定の撮像周期で前記ディープニューラルネットワークに順番に入力される前記撮像画像が前記降雨画像であるか否かを判定するものであって、
前記雨量推定処理は、前記直近の払拭動作の開始後にｍ番目に前記画像判定処理の対象となった撮像画像が前記降雨画像として検出された場合の前記雨量が、前記直近の払拭動作の開始後にｍ＋ｎ番目に前記画像判定処理の対象となった撮像画像が前記降雨画像として検出された場合の前記雨量と比べて多いと推定するものであることを特徴とする雨量推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、雨量推定装置に関し、より詳細には、車両のフロントガラスに付着した雨滴に基づいて雨量を推定する雨量推定装置に関する。

【背景技術】

【0002】

特許文献１には、雨量の検出（推定）のために、車両のフロントガラスに付着した雨滴を実際に検出する雨滴検出装置が開示されている。この雨滴検出装置は、ＣＣＤカメラによって取り込まれる撮影データを周波数解析し、フロントガラスに付着する雨滴を高周波成分として抽出するとともに、当該高周波成分のエネルギー量を算出し、当該エネルギー量の経時的な変化によってフロントガラスに付着する雨滴の量を判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－１５３９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、雨量推定のためのパラメータ（すなわち、上記高周波成分のエネルギー量）の変化量の観測が行われている。このような手法では、例えば雨の降り始め又はワイパーによるフロントガラスの払拭動作前後のように、観測環境の不連続な変化があった場合には、適切な雨量推定が困難となることが懸念される。

【0005】

本発明は、上述のような課題に鑑みてなされたものであり、観測環境の不連続な変化の影響を受けずに適切に雨量推定を行えるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る雨量推定装置は、車両のフロントガラスに付着した雨滴に基づいて雨量を推定する装置であって、フロントガラス越しに車両前方を撮像するカメラと、プロセッサとを備える。
プロセッサは、予め撮像された画像の中から降雨状態の特徴を持つ画像を正解画像として学習されたディープニューラルネットワークに対してカメラによって撮像された撮像画像を入力することにより、当該撮像画像が降雨状態を示す降雨画像であるか否かを判定する画像判定処理と、車両のワイパーによるフロントガラスの直近の払拭動作から画像判定処理による降雨画像の検出までの時間に基づいて雨量を推定する雨量推定処理とを実行する。
画像判定処理は、所定の撮像周期でディープニューラルネットワークに順番に入力される撮像画像が降雨画像であるか否かを判定するものである。
雨量推定処理は、直近の払拭動作の開始後にｍ番目に画像判定処理の対象となった撮像画像が降雨画像として検出された場合の雨量が、直近の払拭動作の開始後にｍ＋ｎ番目に画像判定処理の対象となった撮像画像が降雨画像として検出された場合の雨量と比べて多いと推定するものである。

【発明の効果】

【0007】

本発明によれば、ワイパーの直近の払拭動作から降雨画像の検出までの時間に基づいて雨量が推定される。このため、観測環境の不連続な変化の影響を受けずに適切に雨量推定を行うことが可能となる。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る雨量推定装置の構成の一例を概略的に示す図である。

【図2】機械学習を利用した降雨画像（雨シーン画像）の具体的な判定手法を説明するための図である。

【図3】雨量推定処理によって降雨状態と判定されるまでの時間ｔと雨量との関係を説明するための図である。

【図4】ワイパー制御処理の一例を説明するための図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明の実施の形態について説明する。以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。

【0010】

１．雨量推定装置の構成例
図１は、実施の形態に係る雨量推定装置１０の構成の一例を概略的に示す図である。雨量推定装置１０は、カメラ１２と、電子制御ユニット（ＥＣＵ）１４とを備えている。

【0011】

カメラ１２は、ＣＣＤ又はＣＭＯＳ等の撮像素子であり、車両のフロントガラス越しに車両前方を撮像するように車両に搭載されている。より詳細には、カメラ１２は、自車進行方向を所定の画角で撮像し、撮像した画像をＥＣＵ１４に出力する。

【0012】

ＥＣＵ１４は、プロセッサ１６及び記憶装置１８を備えている。カメラ１２は、直接、或いは、車両内に構築されたＣＡＮ（Controller Area Network）等の通信ネットワークを介してＥＣＵ１４に接続されている。カメラ１２によって撮像された画像は、ＥＣＵ１４に所定の周期で繰り返し送信される。

【0013】

カメラ１２を搭載する車両は、フロントガラスに付着した雨滴を払拭するワイパー２０を備えている。ワイパー２０によるフロントガラスの払拭動作は、例えば図４を参照して後述されるように、ＥＣＵ１４によって制御される。

【0014】

ＥＣＵ１４のプロセッサ１６は、カメラ１２からのフロントガラス越しの画像情報に基づいて雨量を推定する。より具体的には、雨量推定のために、プロセッサ１６は、「画像判定処理」と「雨量推定処理」とを実行する。ＥＣＵ１４の記憶装置１８は、これらの処理に関するプログラムを格納しており、当該プログラムがプロセッサ１６により実行されることにより、「画像判定処理」及び「雨量推定処理」のそれぞれが実現される。また、プロセッサ１６は、推定した雨量の情報に基づいてワイパーの動作を制御する「ワイパー制御処理」を実行する。

【0015】

２．画像判定処理
本実施形態の画像判定処理は、カメラ１２によって撮像された画像が、降雨状態を示す降雨画像であるか（換言すると、雨のシーンを撮像したものであるか）否かを判定する処理である。この判定は、例えば、プロセッサ１６が備える機械学習を利用した画像認識機能を利用して行うことができる。

【0016】

図２は、機械学習を利用した降雨画像（雨シーン画像）の具体的な判定手法を説明するための図である。画像判定処理は、一例として、降雨画像の判定のために構築されたディープニューラルネットワーク（ＤＮＮ）２２を用いて行われる。ＤＮＮ２２は、予め撮像された画像の中から降雨状態（雨シーン）の特徴を持つ画像を正解画像として学習することで、降雨画像（雨シーン画像）を判定するように構築されている。画像判定処理では、プロセッサ１６は、カメラ１２の画像を入力画像としてＤＮＮ２２に入力することにより、当該入力画像が降雨画像であるか否かを判定できる。

【0017】

３．雨量推定処理
本実施形態の雨量推定処理は、雨量、より詳細には一定時間内にどの程度の雨が降ったか（一定時間内に降った雨量の程度（レベル））を推定する処理である。具体的には、雨量推定処理では、プロセッサ１６は、ワイパー２０の動作情報をワイパー２０から受け取る。そして、プロセッサ１６は、ワイパー２０によるフロントガラスの直近の払拭動作から上記の画像判定処理による降雨画像の検出（判定）までの時間ｔに基づいて、雨量を推定する。

【0018】

ワイパー２０の払拭動作直後のフロントガラスには、雨滴が付着していない。このため、画像判定処理では、プロセッサ１６は、払拭動作直後のカメラ１２の画像を降雨画像として判定しない。一方、払拭動作後に雨滴がフロントガラスに付着していくことで、画像中の降雨状態（雨シーン）を示す特徴部分が増えていく。したがって、払拭動作後のある時点における画像が、降雨画像と判定されるようになる。

【0019】

図３は、雨量推定処理によって降雨状態と判定されるまでの時間ｔと雨量との関係を説明するための図である。より詳細には、図３（Ａ）は、雨量が多い場合の判定例を示し、図３（Ｂ）は、図３（Ａ）と比べて雨量が少ない場合の判定例を示している。図３中の「画像１」は、ワイパー２０の払拭動作の実行後に最初にカメラ１２により撮像された画像に相当する。「画像２」は、画像１の次の撮像周期においてカメラ１２により撮像された画像に相当する。以下同様である。

【0020】

図３（Ａ）に示す例では、ワイパー２０の払拭動作後のｍ番目の画像ｍが、画像判定処理によって降雨状態（雨シーン画像）と判定されている。一方、図３（Ａ）と比べて雨量が少ない場合に相当する図３（Ｂ）に示す例では、払拭動作後のｍ＋ｎ番目の画像ｍ＋ｎが、画像判定処理によって降雨状態（雨シーン画像）と判定されている。画像ｍ＋ｎは、画像ｍよりもｎ回分だけ後に撮像された画像である。

【0021】

図３を参照した説明からも分かるように、直近の払拭動作から降雨画像の検出までの時間ｔは、雨量が多い場合には短くなり、一方、雨量が少ない場合には長くなるといえる。このため、本実施形態の雨量判定処理によれば、プロセッサ１６は、当該時間ｔを計測することで、時間ｔの長短に基づいて雨量を推定することが可能となる。

【0022】

付け加えると、雨量推定処理により推定される雨量は、例えば、上記の時間ｔが短いほど多くなるように算出される。また、このような算出例に代え、当該雨量は、例えば、所定期間内において雨量推定処理によって雨量値（時間ｔに応じた値）を複数回算出したうえで、算出した複数の雨量値の算術平均値として算出されてもよい。

【0023】

４．ワイパー制御処理
ＥＣＵ１４のプロセッサ１６は、上述した雨量推定処理によって推定された雨量に応じてワイパー２０の動作を変更する。なお、このワイパー制御処理は、ＥＣＵ１６とは別のワイパー２０の制御のためのＥＣＵのプロセッサによって行われてもよい。

【0024】

図４は、ワイパー制御処理の一例を説明するための図である。ここでは、一例として、雨量推定処理によって推定された雨量に応じて、ワイパー２０の動作速度が変更される。図４には、推定された雨量と相関する上記時間ｔ（ｓｅｃ）の各例と、各例の時間ｔの下で最適なワイパー２０の動作速度ｔｗ（ｓｅｃ／回）との対応関係が表されている。

【0025】

図４に示す設定例では、ワイパー２０の動作速度ｔｗは、推定された雨量が多いほど（すなわち、時間ｔが短いほど）高くなるように設定されている。具体的には、時間ｔが値ｔ０以上かつ値ｔ１未満の場合には、動作速度ｔｗは値ｔｗ０をとる。時間ｔが値ｔ１以上かつ値ｔ２未満の場合には、動作速度ｔｗは、値ｔｗ１（＜ｔｗ０）をとる。以下同様である。プロセッサ１６は、図４に示すような関係に従って、推定された雨量（時間ｔ）に応じた動作速度ｔｗが得られるようにワイパー２０を制御する。

【0026】

５．効果
以上説明したように、本実施形態の画像判定処理によれば、フロントガラス越しに車両前方を撮像するカメラ１２によって撮像された画像が降雨画像であるか否かが判定される。そして、雨量推定処理によれば、ワイパー２０の直近の払拭動作から降雨画像の検出までの時間ｔに基づいて雨量が推定される。このような手法によれば、観測環境の不連続な変化の影響を受けずに適切に雨量推定を行うことが可能となる。

【符号の説明】

【0027】

１０ 雨量推定装置
１２ カメラ
１４ 電子制御ユニット（ＥＣＵ）
１６ プロセッサ
２０ ワイパー

【図1】

【図2】

【図3】

【図4】