特許 5749405 車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5749405

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ

(51)【国際特許分類】

   G01N 21/17 20060101AFI20150625BHJP

   B60S 1/08 20060101ALI20150625BHJP

   G06T 1/00 20060101ALI20150625BHJP

【ＦＩ】

   G01N21/17 E

   B60S1/08 H

   G06T1/00 330Z

【請求項の数】11

【全頁数】9

(21)【出願番号】特願2014-528866(P2014-528866)

(86)(22)【出願日】2011年9月7日

(65)【公表番号】特表2014-531576(P2014-531576A)

(43)【公表日】2014年11月27日

(86)【国際出願番号】EP2011004507

(87)【国際公開番号】WO2013034167

(87)【国際公開日】20130314

【審査請求日】2014年5月7日

(73)【特許権者】

【識別番号】508108903

【氏名又は名称】ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー

(74)【代理人】

【識別番号】100117787

【弁理士】

【氏名又は名称】勝沼 宏仁

(74)【代理人】

【識別番号】100179338

【弁理士】

【氏名又は名称】大野 浩之

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(72)【発明者】

【氏名】サミア、アヒアド

(72)【発明者】

【氏名】カロリーヌ、ロベール

【審査官】 松谷 洋平

(56)【参考文献】

【文献】 特開２０１０−０５２６０１（ＪＰ，Ａ）

【文献】 特開２０１０−２２３６８５（ＪＰ，Ａ）

【文献】 特開２００７−１２５９４０（ＪＰ，Ａ）

【文献】 特開２００８−１５７９２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００−２１／０１

Ｇ０１Ｎ ２１／１７−２１／６１

Ｇ０１Ｖ １／００−９９／００

Ｂ６０Ｓ １／００− １／６８

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ５／５０

Ｇ０６Ｔ ９／００− ９／４０

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

少なくとも１枚の画像（１８，２８，３０，３２，３４）がカメラ（１２）によって取り込まれる、車両のフロントガラス上の雨滴（２６）を検出するための方法であって、
前記カメラ（１２）によって取り込まれる前記少なくとも１枚の画像（１８，２８，３０，３２，３４）から抽出された対象物は、前記抽出された対象物に割り当てられた（Ｓ２０）信頼値が所定の閾値を上回った場合に、雨滴（２６）として特定され、
前記閾値は、前記車両の経路内のアイテム（１６）の存在に応じて変更される（Ｓ２２）ことを特徴とする方法。

【請求項2】

前記閾値は、前記カメラ（１２）の視野内のアイテム（１６）の存在に応じて変更される（Ｓ２２）ことを特徴とする請求項１に記載の方法。

【請求項3】

前記閾値は、前記カメラ（１２）と前記アイテム（１６）との間および／または車両と前記アイテム（１６）との間の距離が所定の距離よりも短い場合に増加する（Ｓ２６）ことを特徴とする請求項１または請求項２に記載の方法。

【請求項4】

前記抽出された対象物の輪郭および／またはコントラストおよび／または明度は、前記対象物を雨滴（２６）として特定するために考慮されることを特徴とする請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記カメラの視野内の前記アイテム（１６）の存在は、前記カメラ（１２）の手段を用いて決定されることを特徴とする請求項２に記載の方法。

【請求項6】

前記車両の経路内の前記アイテム（１６）の存在は、信号を発し前記アイテム（１６）により反射された信号を受けるように構成される検出手段によって決定されることを特徴とする請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記画像（１８，２８，３０，３２，３４）が二焦点カメラ（１２）によって取り込まれ、前記雨滴（２６）の検出は、フロントガラス上に焦点が合った前記取り込み画像（１８，２８，３０，３２，３４）の画像領域（２２）から抽出された対象物に対して行われることを特徴とする請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記アイテム（１６）の存在は、無限遠に焦点が合った前記取り込み画像（１８，２８，３０，３２，３４）の他の画像領域（２０）内で決定されることを特徴とする請求項７に記載の方法。

【請求項9】

少なくとも１枚の前記画像（１８，２８，３０，３２，３４）から抽出された対象物の間で雨滴（２６）を特定するために、教師あり学習マシンが利用されることを特徴とする請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記アイテム（１６）がもはや前記車両の経路内に存在しない場合には、前記閾値は、所定の値にリセットされることを特徴とする請求項１から９のいずれか一項に記載の方法。

【請求項11】

少なくとも１枚の画像（１８，２８，３０，３２，３４）を取得するためのカメラ（１２）を備える、車両のフロントガラス上の雨滴（２６）を検出するためのカメラアセンブリであって、
前記カメラアセンブリは、
前記カメラ（１２）によって取り込まれる前記少なくとも１枚の画像（１８，２８，３０，３２，３４）から抽出された対象物を、前記抽出された対象物に割り当てられた（Ｓ２０）信頼値が所定の閾値を上回った場合に、雨滴（２６）として特定し、且つ、
前記車両の経路内のアイテム（１６）の存在に応じて前記閾値を変更する（Ｓ２２）、
ように構成される評価手段（１４）を備えることを特徴とするカメラアセンブリ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のフロントガラス上の雨滴を検出するための方法であって、少なくとも一枚の画像がカメラによって取り込まれる方法に関する。また、本発明は、車両のフロントガラス上の雨滴を検出するためのカメラアセンブリに関する。

【背景技術】

【0002】

自動車においては、単一のカメラまたは複数のカメラにより取り込まれた画像を使用する幾つかの運転支援システムが知られている。得られた画像は、例えばダッシュボードにあるスクリーン上での表示を可能にするために処理され得る、あるいは、特に危険の場合にドライバに警告するためにあるいは単にドライバの視認性を高めるためにフロントガラス上に投影されてもよい。また、画像は、車両のフロントガラス上の雨滴または霧を検出するために利用することもできる。そのような雨滴検出または霧検出は、車両の機能的なユニットの自動的な起動に関与し得る。例えば、雨が検出されれば、ドライバに警告することができ、制動補助システムを作動させることができ、フロントガラスワイパーを作動させることができ、および／または、ヘッドライトのスイッチを入れて作動させることができる。

【0003】

カメラによって取り込まれた画像に基づく車両のフロントガラス上の雨滴検出は、カメラにより取り込まれた画像から雨滴として抽出された対象物の誤った解釈に起因して幾つかの困難に直面する場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の目的は、車両のフロントガラス上の雨滴を検出するための特に信頼できる方法およびカメラアセンブリをもたらすことである。

【課題を解決するための手段】

【0005】

この目的は、請求項１の特徴を伴う方法によって、および、請求項１１の特徴を伴うカメラアセンブリによって達成される。本発明の都合のよい更なる進展を伴う有利な実施形態が従属請求項に示される。

【0006】

本発明によれば、車両のフロントガラス上の雨滴を検出するための方法において、少なくとも１枚の画像がカメラによって取り込まれる。カメラによって取り込まれる少なくとも１枚の画像から抽出された対象物は、抽出された対象物に割り当てられた信頼値が所定の閾値を上回った場合に、雨滴として特定される。信頼値は、当該対象物が実際に雨滴であって他の対象物でない確率を示す。本方法において、閾値は、車両の経路内のアイテムの存在に応じて変更される。これは、カメラに比較的近いアイテムが該アイテムの一部分を画像内の雨滴の特徴に類似するこれらの部分の画像内の特徴に起因して雨滴であるとする誤った解釈をもたらす場合があるという所見に基づく。アイテムが車両の経路内に存在する場合に閾値を変更することにより、画像から抽出された雨滴ではない対象物と実際の雨滴との混同を少なくともかなりの程度まで回避できる。したがって、閾値の変更は、車両のフロントガラス上の雨滴のより信頼できる検出をもたらす。そのため、アイテムは、必ずしも画像内で検出される必要がない。ある別の手段においては、車両の経路内で検出されるアイテムが通常はカメラに近いがカメラの視野外となることさえあり得る。その場合、アイテムは、それにもかかわらず、例えばカメラの視野内で光を散乱する先行車両のバックライトのようなアイテムの光源からくる何らかの想定し得る障害に起因して雨滴検出に影響を及ぼす可能性がある。アイテムが車両の経路内にある一方で光源がカメラの視野内にない場合であっても、雨滴検出における何らかの誤った解釈をもたらす場合がある何らかの散乱光がカメラによって検出され得る。

【0007】

本発明の有利な実施形態において、閾値は、カメラとアイテムとの間の距離が所定の距離よりも短い場合に増加される。これは、カメラがフロントガラス上の雨滴を検出するように構成されるときにカメラから遠い対象物がかなりぼやけて見えるという事実に起因する。その結果、対象物がかなり近いときには、その対象物の画像が非常に鮮明である。これは、同様にフロントガラスの画像内で鮮明に見えるフロントガラス上の雨滴との混同をもたらす場合がある。閾値を増大させることにより、雨滴であるという高い確率をもたらす画像から抽出された対象物だけが実際に雨滴として特定される。アイテムがカメラにかなり近い場合に閾値を増大させることにより、雨滴と類似するアイテムの一部分の特徴に起因する誤った検出を回避できる。

【0008】

アイテムとカメラとの間の距離は、車両内のカメラの位置と車両のサイズとに依存するため、車両とアイテムとの間の距離が所定の距離よりも短い場合に閾値を増大させることもできる。また、車両とアイテムまたは障害物との間の距離は、例えば駐車支援手段によってかなり容易に決定できる。

【0009】

アイテムがカメラの視野内に存在する場合に閾値が変更される場合には、抽出された対象物の輪郭および／またはコントラストおよび／または明度が考慮されれば、雨滴を容易に特定することができる。画像から抽出された対象物のそのような特徴は、容易に決定できるとともに、良好な検出結果をもたらす。

【0010】

また、カメラの視野内のアイテムの存在がカメラを用いて決定されると有利であることが分かってきた。この場合、アイテムの存在またはアイテムとカメラとの間の距離を決定するために他の検出手段を設ける必要がない。

【0011】

少なくとも２つのカメラが存在する場合には、１つのカメラを用いてアイテムに関するデータを得るとともに、他のカメラを用いて雨滴検出のための画像を取得することもできる。また、フロントガラス上の雨滴を検出するために専らフロントガラス上に焦点が合った１つのカメラのみを用いてアイテムに関するデータを得ることもできる。

【0012】

これに代えてあるいはこれに加えて、車両の経路内のアイテムの存在は、信号を発しアイテムにより反射された信号を受けるように構成される検出手段によって決定することができる。特に、そのような検出手段、例えば、駐車支援などの他の運転支援機能のために利用される超音波検出器および／またはレーダー検出器を車両が備える場合には、これらの検出手段によって得られるデータを容易に利用して、雨滴検出を依然として妨げるカメラの視野外のアイテムの検出さえも可能にする車両の経路内のアイテムの存在の検出を行うことができる。

【0013】

本発明の他の有利な実施形態では、画像が二焦点カメラによって取り込まれ、その場合、雨滴の検出は、フロントガラス上に焦点が合った取り込み画像の画像領域から抽出された対象物に対して行われる。そのような二焦点カメラは、一方では、雨滴検出を可能にし、他方では、同じ取り込み画像に基づいて他の運転支援機能を可能にする。また、このようにすると、幾つかの運転支援機能のために１つのカメラだけで済む。

【0014】

アイテムの存在は、無限遠に焦点が合った取り込み画像の他の画像領域内で容易に決定され得る。雨滴検出のために利用される画像領域とは異なる焦点を有するこの他の画像領域から得られる情報を用いると、カメラの視野内のアイテムの存在および／または距離を容易に決定できる。

【0015】

少なくとも１枚の画像から抽出された対象物の間で雨滴を特定するために教師あり学習マシンを利用することができる。雨滴を特定する際には、そのような教師あり学習マシン、例えばサポートベクターマシンが特に強力である。

【0016】

最後に、アイテムがもはや車両の経路内またはカメラの視野内に存在しない場合に、閾値が所定の値にリセットされれば有利であることが分かってきた。車両経路からアイテムが消失する場合には、アイテムの一部分とフロントガラス上に実際に存在する雨滴との混同の可能性はもはや与えられず、したがって、これ以上閾値を変更する必要がない。

【0017】

また、アイテムが車両の経路内またはカメラの視野内に存在する期間にわたって検出プロセスを中断することもできる。

【0018】

車両のフロントガラス上の雨滴を検出するように構成される本発明に係るカメラアセンブリは、少なくとも１枚の画像を取得するためのカメラを備える。カメラアセンブリは、カメラによって取り込まれる少なくとも１枚の画像から抽出された対象物を、抽出された対象物に割り当てられた信頼値が所定の閾値を上回った場合に、雨滴として特定するように構成される評価手段を更に備える。また、評価手段は、カメラの視野内のアイテムの存在に応じて閾値を変更するように構成される。そのようなカメラアセンブリは、閾値を変更することによってアイテムの一部分と雨滴との混同を回避できるため、フロントガラス上の雨滴を検出する際に特に信頼できる。

【0019】

雨滴を検出するための方法に関して与えられる好ましい実施形態およびその対応する利点は、本発明に係るカメラアセンブリに適用され、逆もまた同様である。

【0020】

先の説明で言及された特徴および特徴組み合わせの全て、並びに、図の説明において以下で言及されるおよび／または図のみに示される特徴および特徴組み合わせは、それぞれで特定された組み合わせで使用できるだけでなく、本発明の範囲から逸脱することなく他の組み合わせでもあるいは単独でも使用できる。

【0021】

本発明の更なる利点、特徴、および、詳細は、特許請求の範囲から、好ましい実施形態の以下の説明から、および、図面から明らかである。

【図面の簡単な説明】

【0022】

【図1】車両の車室内に設置される二焦点カメラによって撮られた第１の画像を示し、画像の下部は、フロントガラス上に焦点が合わされ、フロントガラス上の雨滴と混同される場合がある対象物を含む。

【図2】二焦点カメラを備える車両の前方における車両の存在がフロントガラス上の雨滴の誤った検出をもたらす場合がある、同様の状況の他の画像を示す。

【図3】カメラの近い視野内にアイテムが存在する場合に、対象物を雨滴として特定するための信頼のレベルを規定する閾値が増加される、フロントガラス上の雨滴を検出するための方法を表すフローチャートを示す。

【図4】フロントガラス上の雨滴の検出を行うように構成されるカメラアセンブリを非常に概略的に示す。

【発明を実施するための形態】

【0023】

車両のフロントガラス上の雨滴を検出するためのカメラアセンブリ１０（図４参照）はカメラ１２を備え、該カメラは、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを含んでもよく、車両のフロントガラスを見るように構成される。カメラ１２は、車両のフロントガラス上に焦点が合ったとともに無限遠に焦点が合った二焦点カメラである。したがって、車両の車室内に設置されるカメラ１２は、車両のフロントガラス上の対象物を見るように構成される。

【0024】

フロントガラスは、カメラアセンブリ１０がフロントガラス上の雨滴を検出する場合には、ワイパーブレードを用いて拭き取られ得る。カメラ１２はフロントガラスの画像を取得し、また、画像処理によって、フロントガラス上の対象物が雨滴であるか否かが決定される。

【0025】

カメラアセンブリ１０は、カメラ１２により取り込まれた画像から抽出された対象物を雨滴として特定するように構成される評価手段１４（図４参照）を備える。この評価のために、抽出された対象物に割り当てられた信頼値が閾値と比較される。信頼値は、カメラ１２により取り込まれた画像内の対象物が雨滴である確率を示す。例えば、画像から抽出された対象物の分類後に、各対象物に対して、−１００と１００との間で異なり得る信頼値が割り当てられた。この場合、１００の値は、対象物を雨滴として特定するための最大の信頼値またはスコアである。−１００の値は、雨滴でないとしての対象物の拒絶につながる最小の信頼値である。閾値が０に設定されれば、０を上回る信頼値を有する各対象物は雨滴として特定され、また、マイナスの信頼値を有する各対象物は雨滴でないとして特定される。

【0026】

しかしながら、カメラアセンブリ１０が設置される車両の前方にある車両１６などのアイテムまたは障害物は、雨滴を検出する際に困難をもたらし得る。

【0027】

図１は、二焦点カメラ１２により取り込まれた画像１８を示す。取り込み画像１８の上部２０または画像領域は無限遠に焦点が合わされ、また、車両の前方にある車両１６は、主に、画像１８のこの上部２０に位置付けられる。画像１８の下部２２または下側画像領域は、カメラアセンブリ１０を備える車両のフロントガラス上に焦点が合った。

【0028】

カメラ１２を備える車両の前方にある車両１６の一部分は、画像１８の下部２２内に位置するようになる。この車両１６のバンパーまたはテールランプの一部分などのその車両１６の一部分２４は、カメラ１２を備える車両にかなり近い。したがって、カメラ１２の視野内に位置されるこれらの部分２４は、画像１８の下部２２内において、かなり鮮明な対象物として現れる。同様に、画像１８の下部２２内の雨滴２６も、通常はそのような抽出された対象物の雨滴２６としての特定につながる特徴として、鮮明な輪郭を有する。

【0029】

テールランプなどの車両１６の一部分２４が雨滴２６と同様に見える場合があるため、車両１６などのアイテムがカメラ１２の視野内に存在するときには常に、とりわけアイテムまたは車両１６がかなり近いときには、画像１８内でこれらの対象物を区別することが困難になる。画像１８の下部２２内の車両１６のこれらの部分２４のコントラストのある鮮明な特徴は、これらの部分と雨滴２６との混同をもたらす場合がある。また、接近した車両１６のテールランプによって照らされるフロントガラス上の雨滴は、テールランプと同様の特徴、例えば、画像１８の下部２２から抽出された対象物内の赤色成分の高い明度および優位性を表示する場合がある。

【0030】

図２は、車両１６がカメラアセンブリ１０を備える車両の前方に近接する画像２８の他の例を示す。ここでも先と同様に、車両１６の一部分２４は、カメラアセンブリ１０を備える車両と該車両の前方にある車両１６との間の短い距離に起因して雨滴２６と同様に見える。

【0031】

カメラ１２の近い視野内の車両１６の存在は、雨滴２６を検出する際に困難をもたらす場合がある。したがって、図３を参照して説明するように、取り込み画像３０，３２，３４の下部２２から抽出された対象物に割り当てられた信頼値と比較される閾値が変更される。

【0032】

第１のステップＳ１０において、二焦点カメラ１２は、上部２０が無限遠に合焦されるとともに下部２２がフロントガラス上に合焦される画像３０、３２，３４を取得する。ステップＳ１２では、この二重焦点画像３０，３２，３４から、上部２０が障害物検出のために解析される。車両１６などの障害物またはアイテムのこの検出は、画像３０の上部２０を処理することによって行うことができる。これに代えてあるいはこれに加えて、超音波検出器および／またはレーダー検出器などの検出器を利用して、カメラアセンブリ１０を備える車両の前方における車両１６の存在を検出することができる。

【0033】

ステップＳ１４では、取り込み画像３０，３２，３４の下部２２から対象物が抽出された。次のステップＳ１６では、抽出された対象物にラベルが付される。取り込み画像３０，３２，３４の下部２２内の対象物のこの分類またはラベル付けは、対象物の形状、明度、テクスチャ、コントラストなどを表してもよい一組の記述子に基づく。ステップＳ１８では、記述子に基づいて、対象物の選択が行われる。この選択は、取り込み画像３０，３２，３４の下部２２内の想定し得る雨滴２６のリストをもたらす。ステップＳ２０では、想定し得る雨滴のこのリストを作り上げる際に、信頼値またはスコアが想定し得る雨滴のそれぞれに対して割り当てられた。

【0034】

取り込み画像３０の上部２０内の車両１６などのアイテムの検出後、ステップＳ２２において、カメラ１２からの車両１６の距離が決定される。例えば、車両１６が５メートルよりも近い、特にカメラ１２から３−４メートルの距離にある場合には、信頼値と比較される閾値が増加される。逆に、車両１６がカメラ１２の視野から比較的遠い、例えば４メートルを超える距離にある場合には、ステップＳ２４において、信頼値との比較のために、標準的な閾値が利用される。信頼値が−１００と１００との間にある例においては、ステップＳ２４で選択される閾値が０であってもよい。一方、車両１６が遠くなくカメラ１２に近い場合には、ステップＳ２６において、信頼値との比較のために、増大された閾値が利用される。車両１６がカメラ１２から３〜４メートルの距離にある場合には、信頼値が−１００と１００との間で異なり得るならば、ステップＳ２６で選択された増大された閾値が５０の値を有することができる。

【0035】

ステップＳ２８では、ステップＳ２４またはステップＳ２６のそれぞれで選択された閾値を信頼値が上回るかどうかが決定される。これが当てはまる場合には、ステップＳ３０において、取り込み画像３０，３２，３４の下部２２から抽出された対象物が雨滴として特定される。そうでない場合には、ステップＳ３２において、対象物が拒絶される。すなわち、抽出された対象物が雨滴でないとして特定される。

【0036】

フロントガラス上の雨滴２６の数およびサイズに応じて、ワイパーブレードがＯＮに切り換えられてもよく、あるいは、制動支援システムなどの運転支援システムを起動させることができ、および／または、カメラアセンブリ１０を備える車両のヘッドライトをＯＮに切り換えることができる。これに加えてあるいはこれに代えて、雨状態が存在することをドライバに警告することができる。

【0037】

カメラ１２の前方に接近して車両１６またはそのようなアイテムが存在する場合には、閾値が変更されるため、画像の下部２２から抽出された対象物を雨滴２６として特定するためには、より高い信頼度が必要である。あるいは、カメラ１２を備える車両の前方における車両１６またはそのような障害物あるいはアイテムの存在の期間中に、雨滴２６の検出プロセスを中断することができる。車両１６がカメラ１２を備える車両から十分遠く離れると直ぐに、より低い標準的な閾値を利用する雨滴検出を再開できる。

【図1】

【図2】

【図3】

【図4】