特許 5917697 車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5917697

(24)【登録日】2016年4月15日

(45)【発行日】2016年5月18日

(54)【発明の名称】車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ

(51)【国際特許分類】

   G01W 1/14 20060101AFI20160428BHJP

   G08G 1/16 20060101ALI20160428BHJP

   B60S 1/08 20060101ALI20160428BHJP

   G06T 7/20 20060101ALI20160428BHJP

   G06T 7/00 20060101ALI20160428BHJP

【ＦＩ】

   G01W1/14 Z

   G08G1/16 C

   B60S1/08 H

   G06T7/20 A

   G06T7/00 350B

【請求項の数】7

【全頁数】9

(21)【出願番号】特願2014-528865(P2014-528865)

(86)(22)【出願日】2011年9月7日

(65)【公表番号】特表2014-528064(P2014-528064A)

(43)【公表日】2014年10月23日

(86)【国際出願番号】EP2011004506

(87)【国際公開番号】WO2013034166

(87)【国際公開日】20130314

【審査請求日】2014年5月7日

(73)【特許権者】

【識別番号】508108903

【氏名又は名称】ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー

(74)【代理人】

【識別番号】100117787

【弁理士】

【氏名又は名称】勝沼 宏仁

(74)【代理人】

【識別番号】100179338

【弁理士】

【氏名又は名称】大野 浩之

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(72)【発明者】

【氏名】サミア、アヒアド

(72)【発明者】

【氏名】カロリーヌ、ロベール

【審査官】 田中 秀直

(56)【参考文献】

【文献】 特開２００８−１５７９２４（ＪＰ，Ａ）

【文献】 特開２０１０−２２３６８５（ＪＰ，Ａ）

【文献】 特開２００５−２２５２５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｗ １／１４

Ｂ６０Ｓ １／０８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの画像（１４）がカメラ（１２）によって取り込まれる、車両のフロントガラス上の雨滴（２８）を検出するための方法であって、
少なくとも１つの基準対象物（２０）は、前記カメラ（１２）によって取り込まれた第１の画像（１８）内で特定され、
前記少なくとも１つの特定された対象物（２０）は、前記カメラ（１２）によって取り込まれた第２の画像（１６）から抽出された少なくとも１つの対象物に対して少なくとも部分的に重ね合わされ、
雨滴（２８）検出は、前記第２の画像（１６）内で行われ、
前記雨滴（２８）検出は、前記第２の画像（１６）から抽出された対象物に対してのみ行われ、前記第２の画像（１６）から抽出された対象物は、前記特定された対象物（２０）が重ね合わされた少なくとも１つの対象物とは異なり、
前記第１の画像（１８）および前記第２の画像（１６）は、二焦点カメラ（１２）によって取り込まれた１つの画像（１４）の画像領域であり、
前記第１の画像（１８）は、前記第２の画像（１６）よりも前記カメラ（１２）から離れた距離で焦点が合わされていることを特徴とする方法。

【請求項2】

前記少なくとも１つの重ね合わされた対象物（２０）は、前記第２の画像（１６）内で区域（２４）を少なくとも一方側に画定するために利用され、
前記雨滴（２８）検出は、その区域（２４）から抽出された対象物に対してのみ行われることを特徴とする請求項１に記載の方法。

【請求項3】

少なくとも１つの重ね合わされた前記基準対象物は、実質的に直線状の要素、特に、車線区分線（２０）および／または路側および／または道路防護柵および／または道路の縁石を備えることを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記第１の画像（１８）は無限遠に焦点が合わされており、前記第２の画像（１６）はフロントガラス上に焦点が合わされていることを特徴とする請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第２の画像（１６）から抽出された対象物は、雨滴（２８）を特定するために分類されることを特徴とする請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記第２の画像（１６）から抽出された対象物の間で雨滴（２８）を特定するために教師あり学習マシンが利用されることを特徴とする請求項１から５のいずれか一項に記載の方法。

【請求項7】

車両のフロントガラス上の雨滴（２８）を検出するためのカメラアセンブリであって、
少なくとも１つの画像（１４）を取り込むためのカメラ（１２）を備え、
前記カメラアセンブリ（１０）は、
前記カメラ（１２）によって取り込まれた第１の画像（１８）内で少なくとも１つの基準対象物（２０）を特定し、
前記少なくとも１つの特定された対象物（２０）を、前記カメラ（１２）によって取り込まれた第２の画像（１６）から抽出された少なくとも１つの対象物に対して少なくとも部分的に重ね合わせ、且つ、
雨滴（２８）検出を前記第２の画像（１６）内で行う、
ように構成されている処理手段（２６）を備え、
前記雨滴（２８）検出は、前記第２の画像（１６）から抽出された対象物に対してのみ行われ、前記第２の画像（１６）から抽出された対象物は、前記特定された対象物（２０）が重ね合わされた少なくとも１つの対象物とは異なり、
前記第１の画像（１８）および前記第２の画像（１６）は、二焦点カメラ（１２）によって取り込まれた１つの画像（１４）の画像領域であり、
前記第１の画像（１８）は、前記第２の画像（１６）よりも前記カメラ（１２）から離れた距離で焦点が合わされていることを特徴とするカメラアセンブリ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のフロントガラス上の雨滴を検出するための方法であって、少なくとも一枚の画像がカメラによって取り込まれる方法に関する。また、本発明は、車両のフロントガラス上の雨滴を検出するためのカメラアセンブリに関する。

【背景技術】

【0002】

自動車においては、単一のカメラまたは複数のカメラにより取り込まれた画像を使用する幾つかの運転支援システムが知られている。得られた画像は、例えばダッシュボードにあるスクリーン上での表示を可能にするために処理され得る、あるいは、特に危険の場合にドライバに警告するためにあるいは単にドライバの視認性を高めるためにフロントガラス上に投影されてもよい。また、画像は、車両のフロントガラス上の雨滴または霧を検出するために利用することもできる。そのような雨滴検出または霧検出は、車両の機能的なユニットの自動的な起動に関与し得る。例えば、雨が検出されれば、ドライバに警告することができ、制動補助システムを作動させることができ、フロントガラスワイパーを作動させることができ、および／または、ヘッドライトのスイッチを入れて作動させることができる。

【0003】

米国特許第７２４７８３８号明細書は、カメラと画像プロセッサとを備える雨検出装置であって、カメラにより取り込まれた画像の画像処理領域を２つの部分に分割するためにフィルタが使用される雨検出装置について記載する。スクリーンの上側２／３は適応前方照明システムのために設けられ、また、下側の１／３は雨滴検出のために設けられる。したがって、異なる機能のために同じカメラを使用できる。

【0004】

画像処理によって雨滴を検出するために極めて多くの計算時間が必要とされる。これにより、必要とされる処理手段がコンパクトな態様で組み込まれるカメラを設計することが困難になる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明の目的は、計算時間をあまり必要としない、車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリをもたらすことである。

【課題を解決するための手段】

【0006】

この目的は、請求項１の特徴を伴う方法によって、および、請求項１０の特徴を伴うカメラアセンブリによって達成される。本発明の都合のよい更なる進展を伴う有利な実施形態が従属請求項に示される。

【0007】

本発明によれば、少なくとも１つの画像がカメラによって取り込まれる、車両のフロントガラス上の雨滴を検出するための方法において、少なくとも１つの基準対象物がカメラによって取り込まれた第１の画像内で特定される。少なくとも１つの特定された対象物は、カメラによって取り込まれた第２の画像から抽出された少なくとも１つの対象物に対して少なくとも部分的に重ね合わされる。その後、雨滴検出が第２の画像内で行われる。既に特定された対象物が第２の画像から抽出された対象物に重ね合わされるため、この対象物を第２の画像内で特定する必要がない。それどころか、第１の画像の特定された対象物が重ね合わされた第２の画像内の対象物が排除されて、特定労力がかからない。これは、フロントガラス上の雨滴を正確に検出するために必要とされる計算時間をかなり減少させる。また、排除されあるいは排除された対象物は、誤った雨滴検出を何ら引き起こさない。基準対象物を第２の画像から抽出された対応する対象物に重ね合わせるために、サイズおよび／または形状の類似性が考慮されてもよい。

【0008】

特定された対象物を第２の画像内の抽出された対象物に重ね合わせることは、第１の画像からの少なくとも１つの基準点を第２の画像内の基準点に重ね合わせることによって容易に行うことができる。第１の画像内で特定された対象物と第２の画像内で抽出された対象物との間に必ずしも完全な一致が存在する必要はない。特定された対象物と特定された対象物が重ね合わされた抽出された対象物との間に少なくとも部分的な一致が存在する限りは、許容誤差が受け入れられてもよい。

【0009】

基準対象物は、雨滴ではなく、雨滴とは異なり、また、特に、路面標識または道路脇の木または道路の縁石またはそのような任意のものであってもよい。

【0010】

本発明の有利な実施形態において、雨滴検出は、第２の画像から抽出された対象物に対してのみ行われ、第２の画像から抽出された対象物は、特定された対象物が重ね合わされた少なくとも１つの対象物とは異なる。これは、第２の画像内における雨滴検出の複雑さをかなり低下させる。

【0011】

本発明の更なる有利な実施形態において、少なくとも１つの重ね合わされた対象物は、第２の画像内で少なくとも一方側に区域を画定するために利用され、この場合、雨滴検出は、その区域から抽出されて区域の限界とは異なる対象物に対してのみ行われる。区域が第２の画像よりも小さい場合、第２の画像から抽出された対象物の間で行われる雨滴検出は、第２の画像全体内における雨滴の特定よりも処理時間の消費がかなり少ない。

【0012】

少なくとも１つの重ね合わされた基準対象物は、実質的に直線状の要素を備えることができる。これは、重ね合わされた基準対象物によって第２の画像内で区域を画定することを特に容易にする。したがって、基準対象物と一致する対象物を第２の画像内で容易に見つけることもできる。

【0013】

少なくとも１つの重ね合わされた基準対象物は、特に、車線区分線および／または路側および／または道路防護柵および／または道路の縁石を備えることができる。そのような対象物は、車線補助運転支援システムの枠内で行われる画像処理によって第１の画像内で容易に特定される。また、道路交通において同じ機能を有する対象物が第２の画像内に存在すると見なすこともできる。その結果、対象物の類似性に基づき、そのような基準対象物を第２の画像内の対象物に重ね合わせることを容易に行うことができる。特に、そのような直線状の対象物がカメラによって果たされる他の機能内で既に特定される場合には、雨滴検出プロセス内の結果を利用することが非常に有益である。また、車線区分線によって画定される走行車線に対応する領域の外側にある対象物を排除すると、特定プロセスの複雑さが大幅に低下する。これは、車線区分線によって画定される区域の外側の対象物が特に多数あって様々な形状を成すという事実に起因する。一方、走行車線自体は非常に均一である。

【0014】

本発明の他の好ましい実施形態において、第１の画像および第２の画像は、二焦点カメラによって取り込まれた１つの画像の画像領域である。したがって、２つの画像領域が同時に取り込まれた画像であり、また、第１の画像領域内で特定される基準対象物を第２の画像領域から抽出された対応する対象物に非常に容易に重ね合わせることができる。

【0015】

また、第１の画像が第２の画像よりもカメラから離れた距離で焦点を合わされれば有利であることが分かってきた。これにより、第２の画像内で信頼できる雨滴検出を行うことができる一方で、第１の画像を処理することにより、運転支援システムに関連する他の機能が果たされてもよい。

【0016】

第１の画像が無限遠で焦点を合わされており、第２の画像がフロントガラス上で焦点を合わされていれば特に有益である。このとき、それぞれの機能ごとに、すなわち、第２の画像内での雨滴検出および第１の画像におけるライン認識において、適切な画像または画像領域がカメラにより取り込まれる。

【0017】

第２の画像から抽出された対象物が雨滴を特定するために分類されるときには、信頼できる雨滴検出のために多くの分類記述子を利用することができる。これらの対象物は、基準対象物が重ね合わされた第２の画像から抽出された対象物とは異なる。

【0018】

最後に、第２の画像から抽出された対象物の間で雨滴を特定するために教師あり学習マシンが利用されれば有利であることが分かってきた。雨滴を特定する際には、そのような教師あり学習マシン、例えばサポートベクターマシンが特に強力である。これは、スコアまたは信頼レベルをそれぞれの抽出された対象物に割り当てることによって行うことができ、この場合、スコアまたは信頼レベルは、抽出された対象物が雨滴である確率を示す。

【0019】

車両のフロントガラス上の雨滴を検出するように構成される本発明に係るカメラアセンブリは、少なくとも１つの画像を取り込むためのカメラを備える。また、カメラアセンブリは、カメラによって取り込まれた第１の画像内で少なくとも１つの基準対象物を特定して、少なくとも１つの特定された基準対象物を、カメラによって取り込まれた第２の画像から抽出された少なくとも１つの対象物に対して少なくとも部分的に重ね合わせるとともに、雨滴検出を第２の画像内で行うように構成される処理手段を更に備える。そのようなカメラアセンブリは、特に短い計算時間内で、過度に強力な処理手段を伴うことなく、雨滴検出を行うことができる。これにより、カメラアセンブリを特にコンパクトにすることができ、そのため、車両の車室内にカメラアセンブリを容易に設置することができる。

【0020】

雨滴を検出するための方法に関して与えられる好ましい実施形態およびその対応する利点は、本発明に係るカメラアセンブリに適用され、逆もまた同様である。

【0021】

先の説明で言及された特徴および特徴組み合わせの全て、並びに、図の説明において以下で言及されるおよび／または図のみに示される特徴および特徴組み合わせは、それぞれで特定された組み合わせで使用できるだけでなく、本発明の範囲から逸脱することなく他の組み合わせでもあるいは単独でも使用できる。

【0022】

本発明の更なる利点、特徴、および、詳細は、特許請求の範囲から、好ましい実施形態の以下の説明から、および、図面から明らかである。

【図面の簡単な説明】

【0023】

【図1】画像処理による雨滴検出のステップを表すフローチャートを示す。

【図2】カメラにより取り込まれた画像の一方の画像領域内の区域がカメラにより取り込まれた画像の他方の画像領域内で特定されるラインによって画定される方法を視覚化するフローチャートを示す。

【図3】特定された走行車線区分線が画像の下部内の車線区分線に重ね合わされた画像であって、走行車線区分線が同じ画像の上部において特定される画像を示す。

【図4】画像の上部で不連続ラインが検出される他の画像であって、不連続ラインの一部分が同じ画像の下部内で抽出された対象物に重ね合わされた他の画像を示す。

【図5】トラックの車輪と高速道路の防護柵とが他の画像の下部内で行われる雨滴特定プロセスから排除される状況を示す。

【図6】車両のフロントガラス上の雨滴の検出を行うように構成されるカメラアセンブリを非常に概略的に示す。

【発明を実施するための形態】

【0024】

図１において、フローチャートは、カメラ１２により取り込まれた画像の処理に基づく車両のフロントガラス上の雨滴の検出を視覚化する。フロントガラス上の雨滴を検出するためのカメラアセンブリ１０（図６参照）はカメラ１２を備える。

【0025】

カメラ１２は、車両のフロントガラス上に焦点が合わされているとともに無限遠に焦点が合わされている二焦点カメラである。ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを含んでもよいカメラ１２は、車両のフロントガラスを見るように構成されるとともに、車両の車室内に設置される、フロントガラスは、カメラアセンブリ１０がフロントガラス上の雨滴を検出する場合には、ワイパーブレードを用いて拭き取られ得る。カメラ１２はフロントガラスの画像を取り込み、また、画像処理によって、フロントガラス上の対象物が雨滴であるか否かが決定される。

【0026】

フロントガラス上の雨滴の検出のため、二焦点カメラ１２は、下部１６または下側画像領域の焦点がフロントガラス上に合わされている画像１４を取り込む（図２参照）。ステップＳ１０における画像１４の下部１６の合焦後、ステップＳ１２において、画像前処理が行われる。例えば、対象の区域が規定されて、ノイズフィルタが利用される。

【0027】

ステップＳ１４では、対象物が画像１４の下部１６から抽出される。次のステップでは、雨滴を特定するために、抽出された対象物が分類される。このステップＳ１６では、それぞれの抽出された対象物ごとに信頼レベルまたはスコアが計算されるとともに、信頼レベルまたはスコアが対象物に割り当てられる。次のステップＳ１８では、それぞれの抽出された対象物のスコアまたは信頼レベルが十分に高ければ、雨滴が選択される。抽出された対象物が雨滴としてあるいは雨滴でないとして分類されるかどうかを決定した後、ステップＳ２０において、フロントガラス上の水の量が推定される。フロントガラス上の水の量にしたがって、適切な作用が引き起こされる。例えば、フロントガラスワイパーが雨滴を除去するために適切な態様でフロントガラスを拭き取り、ヘッドライトがＯＮに切り換えられ、制動支援システムが起動され、あるいは、雨状態が存在することをドライバに警告する。

【0028】

図２は、二焦点カメラ１２によって取り込まれた画像１４の上部１８の画像処理に基づく並列実行ソフトウェア出力から利益を得るプロセスにこの雨滴検出がどのように含まれるのかを示す。ステップＳ２２では、上部１８または上側画像領域の焦点が無限遠に合わされている画像１４が取り込まれる。

【0029】

画像１４のこの上部１８は、車線補助運転支援システム内で処理される。画像１４の上部１８の画像処理は、走行車線逸脱機能に加えてあるいは代えて、速度制限運転支援システム内で利用されてもよい。その結果、ステップＳ２４において、道路の走行車線２２を画定するライン２０などの対象物が画像１４の上部１８で特定される。画像１４の下部１６においては、画像前処理ステップＳ１２および対象物抽出ステップＳ１４（図１参照）が行われる。対象物の雨滴としての特定が行われる前に、ステップＳ２６では、画像１４の下部１６内で区域２４が画定される。

【0030】

区域２４を画定するために、画像１４の上部１８で特定されたライン２０が画像１４の下部１６へと移動される。走行車線２２を境界付けるライン２０が画像１４の下部１６にも存在すると見なすことができるため、ライン２０またはライン２０の少なくとも一部は、画像１４の下部１６内で抽出された対象物に重ね合わされる。したがって、これらの対象物が画像１４の下部１６に続く車線区分線であることが上部１８の画像処理から知られるため、画像１４の下部１６内のこれらの抽出された対象物を分類するあるいは更に解析する必要はない。

【0031】

更にまた、処理されるべき対象物の排除は、画像処理の更なるステップでラベル付けされる必要がある対象物の数を大幅に減少させる。また、排除された対象物は、画像１４の下部１６において誤った雨滴検出を何らもたらさない。更に、画像１４の下部１６内で区域２４を制限することにより、下部１６内で分類される必要がある対象物の数が少なくなる。例えば、道路自体の上のライン２０、路側、近接する走行車両の車輪、および、区域２４外の他の対象物を分類する必要がない。

【0032】

その結果、ステップＳ２８では、区域２４の内側の対象物のみに対してラベルが作られる。区域２４内の対象物のこの分類またはラベル付けは、対象物の形状、強度、テクスチャ、および／または、コンテキストを表してもよい一組の記述子に基づく。この分類は、雨滴の検出における主要な計算労力である。区域２４の左右の境界線によって規定される区域２４内の対象物だけが解析され、また、重ね合わされたライン２０に対応する対象物が排除される。したがって、区域２４の事前選択は、処理されるべき対象物をより少なくする。

【0033】

この処理は、限られた数の対象物のみ、すなわち、区域２４内の対象物のみに対して行われるため、カメラアセンブリ１０の所定のプロセッサ２６（図６参照）において処理時間を減らすことができる。処理されるべきラベルの数を減らすことにより、プロセッサ２６によってなされるべき計算労力が減らされる。したがって、ステップＳ２８を比較的短い時間で行うことができる。各ラベルは、想定し得る雨滴の座標、テクスチャ記述子、および、幾何学的特徴を含む。

【0034】

次のステップＳ３０では、利用された記述子に基づいて選択が行われる。雨滴でない対象物から区別される必要がある実際の雨滴のこの選択または認識は、サポートベクターマシンなどの教師あり学習マシンによって行われることが好ましい。区域２４内の１つの対象物の特徴の利用は、区域２４内の雨滴２８の検出をもたらす（図２参照）。

【0035】

選択により、ステップＳ３０におけるプロセスは、想定し得る雨滴のリストをもたらし、この場合、それぞれの想定し得る雨滴ごとに信頼スコアが示される。したがって、ステップＳ３２では、その値が閾値を上回るスコアまたは信頼レベルを有する対象物が雨滴２８として保持される。この結果を用いて、画像の解析された領域内のこれらの雨滴２８の数および表面に基づき、水の量が推定される。

【0036】

車線逸脱などの運転支援システムのための画像１４の上部１８における画像処理の出力を利用することにより、区域２４内の雨滴２８の検出がカメラアセンブリ１０の性能を高めることができる。複雑さの低下は、区域２４を画定することによって達成されるだけでなく、ライン２０および他の詳細として特定される対象物を排除することによっても達成される。

【0037】

図３は、二焦点カメラ１２によって取り込まれた画像３０を示し、この場合、走行車線２２を画定する区分線の特定は、画像３０の下部内の同じ走行車線２２を画定する区分線３２に重ね合わされる。これらの区分線３２は、雨滴認識ソフトウェアを適用する前に画像３０の下部内で排除されるため、画像３０の下部内の雨滴の検出を特に高速で行うことができる。また、道路の縁石３４のような対象物または矢印３６のような標識をこれらの対象物が雨滴であるか否かを解析する前に排除することができる。

【0038】

図４は、カメラ１２によって取り込まれた他の画像３８を示し、この場合、画像３８の上部で検出される道路の不連続な標識は、画像３８の下部内に位置される不連続なラインのストリップ４０に重ね合わされる。画像３８の下部では、ストリップ４０を雨滴検出ソフトウェアによって排除することができ、その場合、この排除のために何ら処理を必要としない。

【0039】

カメラ１２により取り込まれた更なる他の画像４２において、トラック４６の車輪４４や高速道路防護柵４８等のような対象物は、画像４２の下部内の雨滴検出のためにそれらの対象物を解析する前に排除される。これを達成するため、走行車線２２の一方側の連続ラインと走行車線２２の他方側の不連続ラインとが画像４２の下部内のラインの対応する部分５０に重ね合わされる。画像４２の下部内の多くの対象物を排除することにより、対象物の分類の複雑さが低下されるとともに、計算をより素早く行うことができる。

【0040】

図６は、カメラ１２とプロセッサ２６とを有するカメラアセンブリ１０を概略的に示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】