特許 7128941 道路ミラー検出システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-23

(45)【発行日】2022-08-31

(54)【発明の名称】道路ミラー検出システム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220824BHJP

   G08G 1/16 20060101ALI20220824BHJP

【ＦＩ】

G06T7/00 650A

G08G1/16 C

【請求項の数】 25

【外国語出願】

(21)【出願番号】P 2021112734

(22)【出願日】2021-07-07

(65)【公開番号】P2022016359

(43)【公開日】2022-01-21

【審査請求日】2021-07-07

(31)【優先権主張番号】2010474.1

(32)【優先日】2020-07-08

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】板垣 紀章

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１６－１１０３７３（ＪＰ，Ａ）

【文献】特開２０１９－０５０４６２（ＪＰ，Ａ）

【文献】特開２０１０－２１８３６１（ＪＰ，Ａ）

【文献】国際公開第２００９／００５０２５（ＷＯ，Ａ１）

【文献】特開２００８－０６６９５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０８Ｇ １／１６

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

道路ミラー検出方法（２００）であって、
道路シーンの画像を得る行為と、
前記道路シーンの前記画像内の光学的フローラインを決定する行為と、
前記道路シーンの前記画像内の前記光学的フローラインを分析する行為と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
を含む道路ミラー検出方法（２００）。

【請求項2】

前記光学的フローラインを決定する前記行為は、
光学的フローラインの第１のセットを含む、前記道路シーンの前記画像内の第１の領域を識別する行為と、
光学的フローラインの第２のセットを含む、前記道路シーンの前記画像内の第２の領域を識別する行為と
を含む、請求項１に記載の道路ミラー検出方法（２００）。

【請求項3】

前記道路シーンの前記画像内の前記第２の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第１の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第２の領域を識別する行為を含む、請求項２に記載の道路ミラー検出方法（２００）。

【請求項4】

前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第１の領域が、前記第２の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項２又は３に記載の道路ミラー検出方法（２００）。

【請求項5】

前記光学的フローラインを分析する前記行為は、
前記光学的フローラインの第１のセットが実質的に点に収束するか否かを決定する行為と、
前記光学的フローラインの第２のセットが実質的に前記点に収束しないか否かを決定する行為と
を含む、請求項２～４のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項6】

前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第２の領域を所定のピクセル数にリサイズする行為を更に含む、請求項２～５のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項7】

前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第２の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項２～６のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項8】

前記道路シーンの前記画像内の前記第２の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項７に記載の道路ミラー検出方法（２００）。

【請求項9】

前記道路シーンの前記画像内に含まれる消失点を決定する行為を更に含む、請求項１に記載の道路ミラー検出方法（２００）。

【請求項10】

前記消失点を決定する前記行為は、前記消失点の位置を幾何学的に計算する行為を含む、請求項９に記載の道路ミラー検出方法（２００）。

【請求項11】

前記消失点の前記位置を幾何学的に計算する前記行為は、前記道路シーンの前記画像の中心（１６２）を決定する行為を含む、請求項１０に記載の道路ミラー検出方法（２００）。

【請求項12】

前記消失点を決定する前記行為は、前記道路シーンの前記画像内の道路上のレーンマーク（１６６）を検出する行為を含む、請求項９～１１のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項13】

前記消失点を決定する前記行為は、光学的フローラインの第３のセットを含む、前記道路シーンの前記画像内の第３の領域を識別する行為を含み、前記道路シーンの前記画像の前記第３の領域は、前記消失点の下方に前記道路シーンの前記画像の下部（１７２）を含む、請求項９～１２のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項14】

前記消失点を決定する前記行為は、前記光学的フローラインの第３のセットが実質的に前記消失点に収束するか否かを決定する行為を更に含む、請求項１３に記載の道路ミラー検出方法（２００）。

【請求項15】

前記光学的フローラインを決定する前記行為は、光学的フローラインの第４のセットを含む、前記道路シーンの前記画像内の第４の領域を識別する行為を含み、前記道路シーンの前記画像の前記第４の領域は、前記消失点の上方に前記道路シーンの前記画像の上部（１７０）を含む、請求項９～１４のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項16】

前記光学的フローラインを決定する前記行為は、
前記道路シーンの前記画像内の前記第４の領域に含まれる、前記道路シーンの前記画像内の第１の領域を識別する行為であって、前記道路シーンの前記画像内の前記第１の領域は、光学的フローラインの第１のセットを含む、行為と、
前記道路シーンの前記画像内の前記第４の領域に含まれる、前記道路シーンの前記画像内の第２の領域を識別する行為であって、前記道路シーンの前記画像内の前記第２の領域は、光学的フローラインの第２のセットを含む、行為と
を更に含む、請求項１５に記載の道路ミラー検出方法（２００）。

【請求項17】

前記道路シーンの前記画像内の前記第２の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第１の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第２の領域を識別する行為を含む、請求項１６に記載の道路ミラー検出方法（２００）。

【請求項18】

前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第１の領域が、前記第２の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項１６又は１７に記載の道路ミラー検出方法（２００）。

【請求項19】

前記光学的フローラインを分析する前記行為は、
前記光学的フローラインの第１のセットが実質的に前記消失点に収束するか否かを決定する行為と、
前記光学的フローラインの第２のセットが実質的に前記消失点に収束しないか否かを決定する行為と
を含む、請求項１６～１８のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項20】

前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第２の領域を所定のピクセル数にリサイズする行為を更に含む、請求項１６～１９のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項21】

前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第２の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項１６～２０のいずれか一項に記載の道路ミラー検出方法（２００）。

【請求項22】

前記道路シーンの前記画像内の前記第２の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項２１に記載の道路ミラー検出方法（２００）。

【請求項23】

道路ミラー検出方法（２００）であって、
道路シーンの画像を得る行為と、
前記道路シーンの前記画像に含まれる消失点を決定する行為であって、
前記消失点の位置を幾何学的に計算する行為であって、前記道路シーンの前記画像の中心（１６２）を決定する行為を含む行為と、
前記道路シーンの前記画像内の道路上のレーンマーク（１６６）を検出する行為と、
光学的フローラインの第３のセットを含む、前記道路シーンの前記画像内の第３の領域を識別する行為であって、前記道路シーンの前記画像の前記第３の領域は、前記消失点の下方に前記道路シーンの前記画像の下部（１７２）を含む、行為と、
前記光学的フローラインの第３のセットが実質的に前記消失点に収束するか否かを決定する行為と
を含む行為と、
前記道路シーンの前記画像内の光学的フローラインを決定する行為であって、
光学的フローラインの第４のセットを含む、前記道路シーンの前記画像内の第４の領域を識別する行為であって、前記道路シーンの前記画像の前記第４の領域は、前記消失点の上方に前記道路シーンの前記画像の上部（１７０）を含む、行為と、
前記道路シーンの前記画像内の前記第４の領域に含まれる、前記道路シーンの前記画像内の第１の領域を識別する行為であって、前記道路シーンの前記画像内の前記第１の領域は、光学的フローラインの第１のセットを含む、行為と、
前記道路シーンの前記画像内の前記第４の領域に含まれる、前記道路シーンの前記画像内の第２の領域を識別する行為であって、前記道路シーンの前記画像内の前記第２の領域は、光学的フローラインの第２のセットを含み、
前記道路シーンの前記画像内の前記第２の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第１の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第２の領域を識別する行為を含む、行為と、
前記道路シーンの前記画像内の前記第１の領域が、前記第２の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為と
を更に含む行為と、
前記道路シーンの前記画像内の前記光学的フローラインを分析する行為であって、
前記光学的フローラインの第１のセットが実質的に前記消失点に収束するか否かを決定する行為と、
前記光学的フローラインの第２のセットが実質的に前記消失点に収束しないか否かを決定する行為と、
前記道路シーンの前記画像内の前記第２の領域を所定のピクセル数にリサイズする行為と
を含む行為と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
を含み、
前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第２の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含み、
前記道路シーンの前記画像内の前記第２の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、道路ミラー検出方法（２００）。

【請求項24】

道路ミラー検出システム（１００）であって、
道路シーンの画像を得るように構成された画像取得部（１１０）と、
前記道路シーンの前記画像内の光学的フローラインを決定するように構成された光学的フローライン決定部（１３０）と、
前記道路シーンの前記画像内の前記光学的フローラインを分析するように構成された光学的フローライン分析部（１４０）と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定するように構成された道路ミラー画像決定部（１５０）と
を含む道路ミラー検出システム（１００）。

【請求項25】

請求項２４に記載の道路ミラー検出システム（１００）を含む道路車両（１９０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路ミラーを検出するための道路ミラー検出システム及び対応する道路ミラー検出方法に関する。

【背景技術】

【0002】

交通事故は、ボックスジャンクション又はＴ字路などの交通交差点で頻繁に発生し、なぜなら、隣り合う道路から交通交差点に接近する近づくトラフィックを検出することは、通常、困難であるためである。したがって、交通交差点に道路ミラーが配置されて、隣り合う道路から交通交差点に接近する近づくトラフィックの検出を改善することを促進する。しかしながら、自動車両運転システムが道路ミラーを検出することは、困難な場合があり、なぜなら、道路ミラーは、様々な形状であるか又は扱いにくい角度で傾斜している場合があるからである。

【発明の概要】

【発明が解決しようとする課題】

【0003】

目的は、道路ミラーを確実に検出するための道路ミラー検出システム又は対応する方法を提供することである。

【課題を解決するための手段】

【0004】

本発明の第１の態様によれば、道路ミラー検出方法が提供され、この方法は、道路シーンの画像を得る行為と、道路シーンの画像内の光学的フローラインを決定する行為と、道路シーンの画像内の光学的フローラインを分析する行為と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為とを含む。

【0005】

道路シーンの画像は、車両の前部カメラなどの画像取込みデバイスによって取り込まれた道路のシーンを含み得る。道路シーンの画像は、地面の画像、地平線の画像及び地面の上方の空間の画像を含み得る。地面の画像は、車両が移動している道路の画像又は道路をはさむ舗道の画像を含み得る。地平線の画像は、地面が空に接するように見えるラインの画像又は道路上のレーンマークが収束する消失点の画像を含み得る。地面の上方の空間の画像は、建物の画像、道路ミラーの画像、交通信号灯の画像又は空の画像を含み得る。

【0006】

光学的フローラインを決定及び分析する行為を含む道路ミラー検出方法の利点の１つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出方法は、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。

【0007】

任意選択で、光学的フローラインを決定する行為は、光学的フローラインの第１のセットを含む、道路シーンの画像内の第１の領域を識別する行為と、光学的フローラインの第２のセットを含む、道路シーンの画像内の第２の領域を識別する行為とを含む。光学的フローラインの異なるセットを有する異なる領域を検出することにより、有利には道路ミラーの形状に関係なく道路ミラーが確実に検出され得る。その上、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することもできる。

【0008】

任意選択で、道路シーンの画像内の第２の領域を識別する行為は、道路シーンの画像内の第１の領域内に少なくとも部分的にある、道路シーンの画像内の第２の領域を識別する行為を含む。換言すれば、第２の領域は、第１の領域によって少なくとも部分的に取り囲まれていることになる。したがって、第２の領域の外辺部の少なくとも一部は、少なくとも第１の領域に隣接又は接触することになる。したがって、道路ミラーの画像は、少なくとも部分的に道路ミラーの背景の画像内にあることになる。換言すれば、道路ミラーの画像と道路ミラーの背景の画像とは、互いに隣接することになるため、完全に分離された領域は、無関係であると見なされ、したがって無視される。したがって、有利には、道路ミラー検出方法の正確さが改善され得る。なぜなら、光学的フローラインの異なるセットを有する完全に分離された領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。

【0009】

任意選択で、光学的フローラインを決定する行為は、道路シーンの画像内の第１の領域が、第２の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定する行為を更に含む。道路ミラーの画像は、通常、車両の画像取込みデバイスによって取り込まれた道路シーンの画像全体の小さい割合を占めるのみである。したがって、道路ミラーの背景の画像は、通常、道路ミラーの画像よりも道路シーンの画像の大きい割合を占める。換言すれば、道路ミラーの背景の画像は、道路ミラーの画像よりも大きい領域を占める。したがって、有利には、道路ミラー検出方法の正確さは、道路シーンの画像内の第１の領域が、第２の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定することにより改善され得る。

【0010】

任意選択で、光学的フローラインを分析する行為は、光学的フローラインの第１のセットが実質的に点に収束するか否かを決定する行為と、光学的フローラインの第２のセットが実質的にその点に収束しないか否かを決定する行為とを含む。光学的フローラインが収束するか否かの決定が正確且つ効率的に実施され、したがって有利には道路ミラー検出方法の正確さ及び効率が改善され得る。

【0011】

この概要」、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、用語「点」は、２本のラインが交差するか又は外挿したときに交差するように見える、例えば画像又はシーンにおける位置を意味する。したがって、その位置が、２本のラインが交差する位置であるか又は外挿したときに交差するように見える位置である限り、画像内の点は、例えば、画像の１つのピクセル又は複数のピクセルを含み得る。

【0012】

光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。例えば、長さが５００ピクセルであり、幅が４００ピクセルである道路の画像に対して、光学的フローラインが実質的に収束すると見なされる領域は、長さが５０ピクセル、幅が４０ピクセルとなる。代替として、長さが３０センチメートルであり、幅が２０センチメートルである道路の画像に対して、光学的フローラインが実質的に収束すると見なされる領域は、長さが３センチメートル、幅が２センチメートルとなる。

【0013】

任意選択で、光学的フローラインを分析する行為は、道路シーンの画像内の第２の領域を所定のピクセル数にリサイズする行為を更に含む。有利には、各道路シーンの各画像内の各領域が所定のピクセル数にリサイズされる場合、光学的フローラインの分析は、整合性を伴って実施され得る。

【0014】

任意選択で、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為は、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを決定する行為を含む。したがって、道路ミラー検出方法は、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを正確に確定し得る。

【0015】

任意選択で、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを決定する行為は、第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む。この行為は、有利には、道路ミラー検出の正確さを改善する。なぜなら、極めて少ない又は低密度の光学的フローラインを有する無関係な領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。

【0016】

各光学的フローラインは、例えば、１つ以上のピクセル厚さを有し得る。加えて、ある領域内の光学的フローラインの密度は、光学的フローラインの数を決定することにより確定され得、その数は、その領域内の例えばピクセル数の観点で測定され得る。

【0017】

道路ミラー検出方法は、道路シーンの画像内に含まれる消失点を決定する行為を更に含み得る。したがって、道路シーンの画像内の地面の画像及び道路シーンの画像内の地面の上方の空間の画像は、消失点を決定した後に正確に決定され得る。

【0018】

任意選択で、道路シーンの画像から消失点を決定する行為は、道路シーンの画像内の光学的フローラインを決定する行為前に実施される。したがって、道路シーンの画像内の地面の画像及び道路シーンの画像内の地面の上方の空間の画像は、消失点を決定した後に正確に決定され得る。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法は、道路ミラー検出を地平線又は消失点の上方の領域に集中させ得る。したがって、有利には、道路ミラー検出方法の効率及び正確さが改善され得る。

【0019】

任意選択で、消失点を決定する行為は、消失点の位置を幾何学的に計算する行為を含む。有利には、消失点の位置を決定するために使用される幾何学的計算技術が確立されており、堅牢であるため、道路ミラー検出方法の正確さが改善され得る。

【0020】

任意選択で、消失点の位置を幾何学的に計算する行為は、道路シーンの画像の中心を決定する行為を含む。有利には、道路シーンの画像の中心は、効率的且つ迅速に実施され得るため、道路ミラー検出方法の効率が改善され得る。

【0021】

任意選択で、消失点を決定する行為は、道路シーンの画像内の道路上のレーンマークを検出する行為を含む。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点は、有利には、道路シーンの画像内の道路上のレーンマークを検出することによって効率的且つ迅速に決定され得るため、道路ミラー検出方法の効率が改善され得る。

【0022】

任意選択で、道路上のレーンマークを検出する行為は、道路上のレーンマークが実質的に消失点に収束するか否かを決定する行為を含む。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点は、有利には、道路上のレーンマークが実質的に収束するか否かを決定することによって効率的且つ迅速に決定され得るため、道路ミラー検出方法の効率が改善され得る。

【0023】

任意選択で、消失点を決定する行為は、光学的フローラインの第３のセットを含む、道路シーンの画像内の第３の領域を識別する行為を含み、道路シーンの画像の第３の領域は、消失点の下方に道路シーンの画像の下部を含む。道路ミラー検出方法は、道路シーンの画像全体に集中した場合よりも、道路シーンの画像の下部に集中した場合に迅速になるであろう。したがって、有利には、消失点は、道路シーンの画像の下部にある光学的フローラインから効率的且つ迅速に決定され得る。

【0024】

任意選択で、消失点を決定する行為は、光学的フローラインの第３のセットが実質的に消失点に収束するか否かを決定する行為を更に含む。光学的フローラインが収束するか否かの決定が正確且つ効率的に実施され、したがって有利には道路ミラー検出方法の正確さ及び効率が改善され得る。光学的フローラインが、消失点を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローラインは、実質的にその消失点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。

【0025】

任意選択で、光学的フローラインを決定する行為は、光学的フローラインの第４のセットを含む、道路シーンの画像内の第４の領域を識別する行為を含み、道路シーンの画像の第４の領域は、消失点の上方に道路シーンの画像の上部を含む。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法は、道路シーンの画像全体に集中した場合よりも、道路シーンの画像の上部に集中した場合に迅速になるであろう。

【0026】

任意選択で、光学的フローラインを決定する行為は、道路シーンの画像内の第４の領域に含まれる、道路シーンの画像内の第１の領域を識別する行為であって、道路シーンの画像内の第１の領域は、光学的フローラインの第１のセットを含む、行為と、道路シーンの画像内の第４の領域に含まれる、道路シーンの画像内の第２の領域を識別する行為であって、道路シーンの画像内の第２の領域は、光学的フローラインの第２のセットを含む、行為とを更に含む。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法は、道路シーンの画像全体に集中した場合よりも、道路シーンの画像の上部に集中した場合に迅速になるであろう。その上、光学的フローラインの異なるセットを有する異なる領域を検出することにより、有利には道路ミラーの形状に関係なく道路ミラーが確実に検出され得る。その上、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することもできる。

【0027】

任意選択で、道路シーンの画像内の第２の領域を識別する行為は、道路シーンの画像内の第１の領域内に少なくとも部分的にある、道路シーンの画像内の第２の領域を識別する行為を含む。換言すれば、第２の領域は、第１の領域によって少なくとも部分的に取り囲まれていることになる。したがって、第２の領域の外辺部の少なくとも一部は、少なくとも第１の領域に隣接又は接触しているであろう。したがって、道路ミラーの画像は、少なくとも部分的に道路ミラーの背景の画像内に存在するであろう。換言すれば、道路ミラーの画像と道路ミラーの背景の画像とは、互いに隣接することになるため、完全に分離された領域は、無関係であると見なされ、したがって無視される。したがって、有利には、道路ミラー検出方法の正確さが改善され得る。なぜなら、光学的フローラインの異なるセットによって完全に分離された領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。

【0028】

任意選択で、光学的フローラインを決定する行為は、道路シーンの画像内の第１の領域が、第２の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定する行為を更に含む。道路ミラーの画像は、通常、車両の画像取込みデバイスによって取り込まれた道路シーンの画像全体の小さい割合を占めるのみである。したがって、道路ミラーの背景の画像は、通常、道路ミラーの画像よりも道路シーンの画像の大きい割合を占める。換言すれば、道路ミラーの背景の画像は、道路ミラーの画像よりも大きい領域を占める。したがって、有利には、道路ミラー検出方法の正確さは、道路シーンの画像内の第１の領域が、第２の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定することにより改善され得る。

【0029】

任意選択で、光学的フローラインを分析する行為は、光学的フローラインの第１のセットが実質的に消失点に収束するか否かを決定する行為と、光学的フローラインの第２のセットが実質的に消失点に収束しないか否かを決定する行為とを含む。光学的フローラインが収束するか否かの決定が正確且つ効率的に実施され、したがって有利には道路ミラー検出方法の正確さ及び効率が改善され得る。光学的フローラインが、消失点を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローラインは、実質的にその消失点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。

【0030】

任意選択で、光学的フローラインを分析する行為は、道路シーンの画像内の第２の領域を所定のピクセル数にリサイズする行為を更に含む。有利には、各道路シーンの各画像内の各領域が所定のピクセル数にリサイズされる場合、光学的フローラインの分析は、整合性を伴って実施され得る。

【0031】

任意選択で、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為は、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを決定する行為を含み、したがって、道路ミラー検出方法は、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを正確に確定し得る。

【0032】

任意選択で、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを決定する行為は、第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む。この行為は、有利には、道路ミラー検出の正確さを改善する。なぜなら、極めて少ない又は低密度の光学的フローラインを有する無関係な領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。

【0033】

第１の本発明の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の他の態様と組み合わされて及び／又はそれと関連して本発明において一般的に使用され得る。加えて、本発明の任意の他の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の第１の態様と組み合わされて及び／又はそれと関連して本発明において一般的に使用され得る。

【0034】

本発明の第２の態様によれば、道路ミラー検出システムが提供され、このシステムは、道路シーンの画像を得るように構成された画像取得部と、道路シーンの画像内の光学的フローラインを決定するように構成された光学的フローライン決定部と、道路シーンの画像内の光学的フローラインを分析するように構成された光学的フローライン分析部と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定するように構成された道路ミラー画像決定部とを含む。

【0035】

光学的フローライン決定部及び光学的フローライン分析部を含む道路ミラー検出システムの利点の１つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出システムは、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。

【0036】

任意選択で、光学的フローライン決定部は、光学的フローラインのセットを含む、道路シーンの画像内の領域を識別するように構成された光学的フローライン領域識別部を含む。光学的フローライン領域識別部は、有利には、光学的フローラインの異なるセットを有する異なる領域を識別することができ、したがって道路ミラー検出システムの効率及び正確さが改善され得る。

【0037】

任意選択で、光学的フローライン分析部は、光学的フローラインのセットが実質的に点に収束するか否かを決定するように構成された光学的フローライン収束決定部を含む。光学的フローライン収束決定部は、光学的フローラインのセットが収束するか否かを正確且つ効率的に決定することが可能であり、したがって道路ミラー検出システムの正確さ及び効率が改善される。光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。

【0038】

任意選択で、光学的フローライン分析部は、道路シーンの画像内の領域を所定のピクセル数にリサイズするように構成された画像リサイザを更に含む。画像リサイザは、各道路シーンの各画像内の各領域を所定のピクセル数にリサイズすることにより、道路ミラー検出システムが、整合性を伴って光学的フローラインを分析することを可能にすることができる。

【0039】

任意選択で、道路ミラー画像決定部は、その領域内の光学的フローラインの密度を決定するように構成された光学的フローライン密度決定部を含む。光学的フローライン密度決定部は、極めて少ない又は低密度の光学的フローラインを有する無関係な領域を無視し、したがって誤った道路ミラー検出の数を低減させることにより、道路ミラー検出システムの正確さを改善させることができる。

【0040】

道路ミラー検出システムは、道路シーンの画像内に含まれる消失点を決定するように構成された消失点決定部を更に含み得る。したがって、道路ミラー検出システムは、道路ミラー検出システムが消失点を決定した後、道路シーンの画像内の地面の画像と、道路シーンの画像内の地面の上方の空間の画像とを正確に決定し得る。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出システムは、道路ミラー検出を地平線又は消失点の上方の領域に集中させることが可能である。したがって、有利には、道路ミラー検出システムの効率及び正確さが改善され得る。

【0041】

任意選択で、消失点決定部は、消失点の位置を幾何学的に計算するように構成された消失点幾何学的計算部を含む。有利には、消失点幾何学的計算部は、確立された且つ強力な幾何学的計算技術を使用して消失点の位置を幾何学的に計算することが可能であるため、道路ミラー検出システムの正確さが改善され得る。

【0042】

任意選択で、消失点決定部は、道路シーンの画像内の道路上のレーンマークを検出するように構成された消失点レーンマーク決定部を更に含む。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点レーンマーク決定部は、道路シーンの画像内の道路上のレーンマークを検出することにより、消失点を効率的且つ迅速に決定することが可能であるため、道路ミラー検出システムの効率が改善され得る。

【0043】

任意選択で、消失点決定部は、光学的フローラインの別のセットを含む、道路シーンの画像内の別の領域を識別するように構成された光学的フローライン領域識別部を更に含む。光学的フローライン領域識別部は、有利には、光学的フローラインの異なるセットを有する異なる領域を識別することができ、したがって道路ミラー検出システムの効率及び正確さが改善され得る。

【0044】

任意選択で、消失点決定部は、光学的フローライン別のセットが実質的に消失点に収束するか否かを決定するように構成された光学的フローライン収束決定部を更に含む。光学的フローライン収束決定部は、光学的フローラインのセットが収束するか否かを正確且つ効率的に決定することが可能であり、したがって道路ミラー検出システムの正確さ及び効率が改善される。光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。

【0045】

任意選択で、道路車両は、道路ミラー検出システムを含み得る。

【0046】

本発明の第２の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の他の態様と組み合わされて及び／又はそれと関連して本発明において一般的に使用され得る。加えて、本発明の任意の他の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の第２の態様と組み合わされて及び／又はそれと関連して本発明において一般的に使用され得る。

【0047】

本発明の第３の態様によれば、道路ミラー検出方法が提供され、この方法は、道路シーンの画像を得る行為と、道路シーンの画像に含まれる消失点を決定する行為であって、消失点の位置を幾何学的に計算する行為であって、道路シーンの画像の中心を決定する行為を含む行為と、道路シーンの画像内の道路上のレーンマークを検出する行為と、光学的フローラインの第３のセットを含む、道路シーンの画像内の第３の領域を識別する行為であって、道路シーンの画像の第３の領域は、消失点の下方に道路シーンの画像の下部を含む、行為と、光学的フローラインの第３のセットが実質的に消失点に収束するか否かを決定する行為とを含む行為と、道路シーンの画像内の光学的フローラインを決定する行為であって、光学的フローラインの第４のセットを含む、道路シーンの画像内の第４の領域を識別する行為であって、道路シーンの画像の第４の領域は、消失点の上方に道路シーンの画像の上部を含む、行為と、道路シーンの画像内の第４の領域に含まれる、道路シーンの画像内の第１の領域を識別する行為であって、道路シーンの画像内の第１の領域は、光学的フローラインの第１のセットを含む、行為と、道路シーンの画像内の第４の領域に含まれる、道路シーンの画像内の第２の領域を識別する行為であって、道路シーンの画像内の第２の領域は、光学的フローラインの第２のセットを含み、道路シーンの画像内の第２の領域を識別する行為は、道路シーンの画像内の第１の領域内に少なくとも部分的にある、道路シーンの画像内の第２の領域を識別する行為を含む、行為と、道路シーンの画像内の第１の領域が、第２の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定する行為とを更に含む行為と、道路シーンの画像内の光学的フローラインを分析する行為であって、光学的フローラインの第１のセットが実質的に消失点に収束するか否かを決定する行為と、光学的フローラインの第２のセットが実質的に消失点に収束しないか否かを決定する行為と、道路シーンの画像内の第２の領域を所定のピクセル数にリサイズする行為とを含む行為と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為であって、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを決定する行為を含み、道路シーンの画像内の第２の領域が道路ミラーの画像を含むか否かを決定する行為は、第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む行為とを含む。

【0048】

光学的フローラインを決定及び分析する行為を含む道路ミラー検出方法の利点の１つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出方法は、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。

【0049】

第３の本発明の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の他の態様と組み合わされて及び／又はそれと関連して本発明において一般的に使用され得る。加えて、本発明の任意の他の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の第３の態様と組み合わされて及び／又はそれと関連して本発明において一般的に使用され得る。

【0050】

この概要、以下の説明、以下の特許請求の範囲及び添付図面では、本発明の特定の特徴（方法ステップを含む）を参照する。本明細書における本発明の開示は、そのような特定の特徴の全ての可能な組み合わせを含むことを理解されたい。例えば、特定の特徴が、本発明の特定の態様若しくは実施形態又は特定の請求項との関連で開示される場合、その特徴はまた、可能な限り、本発明の他の特定の態様若しくは実施形態と組み合わされて及び／又はそれらと関連して本発明において一般的に使用され得る。

【0051】

この概要、以下の説明、以下の特許請求の範囲及び添付図面では、本明細書において、２つ以上の定義済みステップを含む方法が参照される場合、その定義済みステップは、任意の順序で又は同時に行われ得（前後関係がその可能性を排除する場合を除く）、その方法は、定義済みステップのいずれかの前、定義済みステップの２つの間又は全ての定義済みステップ後に行われる１つ以上の他のステップを含むことができる（前後関係がその可能性を排除する場合を除く）。

【0052】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「含む」という用語又は文法的に均等な用語は、本明細書では、他の構成要素、成分、ステップなどが任意選択的に存在することを意味するために使用される。例えば、構成要素Ａ、Ｂ及びＣを「含んでいる」（又は「含む」）という文は、構成要素Ａ、Ｂ及びＣで構成され得る（すなわちそれらのみを含み得る）か、又は構成要素Ａ、Ｂ及びＣだけでなく、１つ以上の他の構成要素からも構成され得る。

【0053】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、その後に数字を伴う「少なくとも」という用語は、その数字で始まる範囲の始めを示すために使用される（それは、定義される変数に依存して、上限を有する範囲又は上限を有さない範囲であり得る）。例えば、「少なくとも１」は、１又は１を超えることを意味する。その後に数字を伴う「最大で」という用語は、本明細書では、その数字で終わる範囲の終わりを示すために使用される（それは、定義される変数に依存して、下限として１若しくは０を有する範囲又は下限を有さない範囲であり得る）。例えば、「最大で４」は、４又は４未満を意味し、「最大で４０％」は、４０％又は４０％未満を意味する。本明細書では、範囲が「（第１の数）から（第２の数）」又は「（第１の数）～（第２の数）」として与えられる場合、これは、その下限が第１の数であり、その上限が第２の数である範囲を意味する。例えば、２５～１００ｍｍは、その下限が２５ｍｍであり、その上限が１００ｍｍである範囲を意味する。

【0054】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「揮発性メモリ」という用語は、コンピュータに電力がない場合、メモリの内容が失われる任意のタイプのコンピュータメモリを意味する。ランダムアクセスメモリ（ＲＡＭ）は、揮発性メモリのタイプの一例である。上記の概要、この説明、以下の特許請求の範囲及び添付図面で使用される場合、用語「不揮発性メモリ」又は用語「非一時的コンピュータ可読媒体」は、コンピュータに電力がなくても、メモリの内容が保持される任意のタイプのコンピュータメモリを意味する。ハードディスク及びソリッドステートドライブ（ＳＳＤ）が不揮発性メモリ又は非一時的コンピュータ可読媒体のタイプの例である。

【0055】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「画像」という用語は、現実世界での実際の場所の２次元又は３次元のピクチャを意味する。画像は、例えば、カメラ又はＬｉＤＡＲセンサなどの単一の画像取込みデバイスによって取り込まれ得るか、又は超音波センサ、ＬｉＤＡＲセンサ、レーダセンサ又はカメラなどのいくつかのデバイスからのデータを融和させることによって作成され得る。

【0056】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「～内）」という用語は、「外辺部の内側にある」又は「外辺部の少なくとも一部に接触する」ことを意味する。

【0057】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「道路ミラー」という用語は、交通交差点に配置されて、隣り合う道路から交通交差点に接近する近づくトラフィックの検出を改善することを促進するように構成されたミラーを意味するが、建物上の反射するガラス又は水たまりを含まない。

【0058】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「収束する」という用語は、異なる方向から点、区域又は領域などの場所に向かって動き、その場所で遭遇するか、又は異なる方向からその場所に向かって動き、実際には遭遇しないが、外挿したときにその場所で遭遇することを意味する。しかしながら、長い直線の道路に沿った２つのレーンマークは、点に収束するか又は実質的に点に収束するように見える場合がある。したがって、道路の画像は、点又は消失点に収束するか又は実質的に収束するレーンマークの画像を含む。

【0059】

この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、用語「消失点」は、２本の平行なラインが交わるように見える遠方における点を意味する。

【0060】

これらの及び他の特徴、態様及び利点は、以下の説明、添付の特許請求の範囲及び添付図面を参照してよりよく理解されるであろう。

【図面の簡単な説明】

【0061】

【図1】道路ミラー検出システムを示す。

【図2】図１の道路ミラー検出システムを含む道路車両を示す。

【図3】図１の道路ミラー検出システムを使用する道路ミラー検出方法のための図を示す。

【図4】１次消失点に収束する長い直線の道路に沿ったレーンマークを含む道路シーンの画像を示す。

【図5】光学的フローラインの第１のセットを含む第１の領域を含む道路シーンの画像を示す。

【図6】道路シーンの画像の中心を示す。

【図7】道路シーンの画像全体の光学的フローラインを示す。

【発明を実施するための形態】

【0062】

図では、同様の部分は、同様の参照番号で示される。

【0063】

上記の概要、この説明、以下の特許請求の範囲及び添付図面では、本発明の特定の特徴（方法ステップを含む）を参照する。本明細書における本発明の開示は、そのような特定の特徴の全ての可能な組み合わせを含むことを理解されたい。例えば、特定の特徴が本発明の特定の態様若しくは実施形態又は特定の請求項との関連で開示される場合、その特徴はまた、可能な限り、本発明の他の特定の態様若しくは実施形態と組み合わされて及び／又はそれらと関連して本発明において一般的に使用され得る。

【0064】

図１は、画像取得部１１０、消失点決定部１２０、光学的フローライン決定部１３０、光学的フローライン分析部１４０及び道路ミラー画像決定部１５０を含む道路ミラー検出システム１００を示す。道路ミラー検出システム１００は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0065】

画像取得部１１０は、画像取込みデバイスから画像を得るように構成されている。画像取得部１１０は、車両のカメラによって取り込まれた道路シーンの画像を得ることができる。画像取得部１１０は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0066】

道路シーンの画像は、車両の前部カメラなどの画像取込みデバイスによって取り込まれた道路のシーンを含み得る。道路シーンの画像は、地面の画像、地平線の画像及び地面の上方の空間の画像を含み得る。地面の画像は、車両が移動している道路の画像又は道路をはさむ舗道の画像を含み得る。地平線の画像は、地面が空に接するように見えるラインの画像又は道路上のレーンマークが収束する消失点の画像を含み得る。地面の上方の空間の画像は、建物の画像、道路ミラーの画像、交通信号灯の画像又は空の画像を含み得る。

【0067】

消失点決定部１２０は、消失点幾何学的計算部１２２、消失点レーンマーク決定部１２４、光学的フローライン領域識別部１２６又は光学的フローライン収束決定部１２８を含み得る。消失点決定部１２０は、道路シーンの画像から消失点を決定する。道路シーンの画像は、車両の画像取込みデバイスによって取り込まれた道路シーン全体の消失点を表す、道路シーンの画像全体の１次消失点を含み得る。消失点決定部１２０は、道路シーンの画像全体の１次消失点を決定するように構成されている。道路シーンの画像は、いくつかの領域も有し、各領域は、対応する２次消失点を含み得る。消失点決定部１２０は、領域の２次消失点を決定するように構成されている。１次消失点は、道路シーンの画像全体の消失点である一方、２次消失点は、それぞれ道路シーンの画像内の領域の消失点であるという点において、１次消失点が２次消失点から区別され得る。消失点決定部１２０は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0068】

道路ミラー検出システム１００は、消失点決定部１２０が道路シーンの画像全体の１次消失点を決定した後、道路シーンの画像内の地面の画像と、道路シーンの画像内の地面の上方の空間の画像とを正確に決定し得る。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出システム１００は、道路ミラー検出を地平線又は１次消失点の上方の領域に集中させ得る。したがって、有利には、道路ミラー検出システム１００の効率及び正確さが改善され得る。

【0069】

消失点幾何学的計算部１２２は、道路シーンの画像の消失点の位置を幾何学的に計算するように構成されている。有利には、消失点幾何学的計算部１２２は、確立された且つ強力な幾何学的計算技術を使用して、道路シーンの画像の消失点の位置を幾何学的に計算することが可能であるため、道路ミラー検出システム１００の正確さが改善され得る。消失点幾何学的計算部１２２は、道路シーンの画像の中心を決定することにより、道路シーンの画像の消失点の位置を計算するように構成され得る。有利には、消失点幾何学的計算部１２２は、効率的且つ直接的な技術を使用して、道路シーンの画像の中心を決定することが可能であるため、道路ミラー検出システム１００の効率が改善され得る。消失点幾何学的計算部１２２は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0070】

消失点レーンマーク決定部１２４は、道路シーンの画像内の道路上のレーンマークを検出するように構成されている。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点レーンマーク決定部１２４は、道路シーンの画像内の道路上のレーンマークを検出することにより、消失点を効率的且つ迅速に決定することが可能であるため、道路ミラー検出システム１００の効率が改善され得る。消失点レーンマーク決定部１２４は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0071】

光学的フローライン領域識別部１２６は、光学的フローラインのセットを含む、道路シーンの画像内の領域を識別するように構成されている。光学的フローライン領域識別部１２６は、道路シーンの画像内の異なる領域を識別するようにも構成され、各領域が光学的フローラインの対応するセットを含む。光学的フローラインのセットを含む道路シーンの画像内の領域は、例えば、道路ミラーの画像、道路ミラーの背景の画像又は地面の画像であり得る。光学的フローライン領域識別部１２６は、光学的フローラインの異なるセットを有する異なる領域を識別することが可能であるため、道路ミラーの形状に関係なく、光学的フローライン領域識別部１２６は、確実に道路ミラーを検出することが可能である。光学的フローライン領域識別部１２６も、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能である。光学的フローライン領域識別部１２６は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0072】

光学的フローライン収束決定部１２８は、光学的フローラインのセットが実質的に消失点に収束するか否かを決定するように構成されている。光学的フローライン収束決定部は、光学的フローラインのセットが収束するか否かを正確且つ効率的に決定することが可能であり、したがって道路ミラー検出システム１００の正確さ及び効率が改善される。光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。光学的フローライン収束決定部１２８は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0073】

消失点決定部１２０は、消失点幾何学的計算部１２２、消失点レーンマーク決定部１２４、光学的フローライン領域識別部１２６又は光学的フローライン収束決定部１２８の少なくとも１つを含み得る。消失点決定部１２０は、消失点幾何学的計算部１２２、消失点レーンマーク決定部１２４、光学的フローライン領域識別部１２６及び光学的フローライン収束決定部１２８を含み得る。消失点決定部１２０は、優先度システムを含み得、消失点幾何学的計算部１２２、消失点レーンマーク決定部１２４、光学的フローライン領域識別部１２６又は光学的フローライン収束決定部１２８は、優先度の順序で配置される。例えば、消失点レーンマーク決定部１２４は、消失点幾何学的計算部１２２、光学的フローライン領域識別部１２６及び光学的フローライン収束決定部１２８に対して優先権が与えられ得、その結果、消失点レーンマーク決定部１２４を使用して、長い直線の道路上のレーンマークが検出された場合など、可能な場合には常に消失点が決定されることになる。

【0074】

光学的フローライン決定部１３０は、光学的フローライン識別部１２６を含む。光学的フローライン決定部１３０は、道路シーンの画像の光学的フローラインを決定するように構成される。光学的フローライン決定部１３０は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0075】

光学的フローライン分析部１４０は、光学的フローライン収束決定部１２８と画像リサイザ１４２とを含む。光学的フローライン分析部１４０は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0076】

画像リサイザ１４２は、道路シーンの画像内の領域を所定のピクセル数にリサイズするように構成されている。例えば、所定のピクセル数が３０ピクセル×３０ピクセルである場合、画像リサイザ１４２は、道路シーンの画像内の各領域を３０ピクセル×３０ピクセルにリサイズされ得る。したがって、場合により道路ミラーの画像を含むあらゆる領域が所定のピクセル数、例えば３０ピクセル×３０ピクセルにリサイズされる場合、道路ミラー検出システム１００は、あらゆるリサイズされた領域における光学的フローラインを、整合性を伴って分析することが可能である。画像リサイザ１４２は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0077】

道路ミラー画像決定部１５０は、光学的フローライン密度決定部１５２を含む。道路ミラー画像決定部１５０は、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定することが可能である。道路ミラー画像決定部１５０は、道路シーンの画像内の領域が道路ミラーの画像を含むか否かを決定することが可能である。道路ミラー画像決定部１５０は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0078】

光学的フローライン密度決定部１５２は、道路の画像内の領域内の光学的フローラインの密度を決定するように構成されている。光学的フローライン密度決定部１５２は、極めて少ない又は低密度の光学的フローラインを有する無関係な領域を無視し、したがって誤った道路ミラー検出の数を低減させることにより、道路ミラー検出システム１００の正確さを改善させることができる。光学的フローライン密度決定部１５２は、道路の画像内の領域内の光学的フローラインの密度が閾値を超えるか否かを決定するように構成され得る。光学的フローライン密度決定部１５２は、道路ミラー検出システム１００の整合性が改善され得るように画像リサイザ１４２とも対にされ得る。光学的フローライン密度決定部１５２は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。

【0079】

図２は、道路ミラー検出システム１００を含む道路車両１９０を示す。

【0080】

図３は、道路検出システム１００を使用する道路検出方法２００のための図を示す。非一時的コンピュータ可読媒体は、それに記憶された命令を含み得、その命令は、プロセッサによって実行されると、道路検出方法２００を実施する。

【0081】

ステップ２０２において、道路検出方法２００が初期化される。ステップ２０４において、画像取得部１１０は、道路車両１９０の画像取込みデバイスから道路シーンの画像を得る。ステップ２０６において、消失点決定部１２０は、道路シーンの画像の１次消失点を決定する。

【0082】

ステップ２０８において、ステップ２０６のプロセスが始まる。図４は、１次消失点１６４に収束する長い直線の道路に沿ったレーンマーク１６６を含む道路シーンの画像を示す。ステップ２１０において、消失点レーンマーク決定部１２４は、道路シーンの画像内の道路上でレーンマーク１６６を検出する。地平線１６８は、道路の画像を横断して描かれる、１次消失点１６４を含む地平線を含むと見なされ得る。道路の画像の上部１７０は、１次消失点１６４又は地平線１６８の上方の領域であると見なされ得、道路の画像の下部１７２は、１次消失点１６４又は地平線１６８より下方の領域であると見なされ得る。したがって、道路の画像の上部１７０は、例えば、空の画像、道路ミラーの画像又は建物の画像を含み得、道路の画像の下部１７２は、地面の画像を含み得る。

【0083】

図５は、光学的フローライン１７６の第１のセットを含む第１の領域１７４を含む道路シーンの画像を示す。ステップ２１２において、光学的フローライン領域識別部１２６は、光学的フローライン１７６の第１のセットを含む、道路シーンの画像内の第１の領域１７４を識別し、道路シーンの画像の第１の領域１７４は、道路シーンの画像の下部１７２を含む。光学的フローライン領域識別部１２６は、道路シーンの画像全体の代わりに道路シーンの画像の下部１７２に集中するため、道路検出方法２００の効率が改善し得る。

【0084】

ステップ２１４において、光学的フローライン収束決定部１２８は、光学的フローライン１７６の第１のセットが実質的に１次消失点１６４に収束するか否かを決定する。光学的フローライン１７６の第１のセットが、１次消失点１６４を中心とする、道路シーンの画像全体の領域の１０％である領域に収束する場合、光学的フローライン１７６の第１のセットは、実質的にその１次消失点１６４に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。地平線１６８は、道路の画像を横断して描かれる、１次消失点１６４を含む地平線を含むと見なされ得る。したがって、道路の画像の上部１７０は、例えば、空の画像、道路ミラーの画像又は建物の画像を含み得、道路の画像の下部１７２は、地面の画像を含み得る。

【0085】

図６は、道路シーンの画像の中心１６２を示す。ステップ２１６において、消失点幾何学的計算部１２２は、１次消失点１６４の位置を幾何学的に計算する。消失点幾何学的計算部１２２は、道路シーンの画像の中心１６２を決定することにより、１次消失点１６４の位置を計算し得る。道路シーン１６０の画像の中心１６２は、道路シーンの画像全体の１次消失点１６４であると見なされる。

【0086】

その後、ステップ２０６のプロセスは、ステップ２１８で終了する。

【0087】

図７は、道路シーンの全画像の光学的フローラインを示す。

【0088】

次いで、ステップ２２０において、光学的フローライン決定部１３０は、道路シーンの画像内の光学的フローラインを決定する。ステップ２２２において、ステップ２２０のプロセスが始まる。ステップ２２４において、光学的フローライン領域識別部１２６は、光学的フローライン１８０の第２セットを含む、道路シーンの画像内の第２の領域１７８を識別し、道路シーンの画像の第２の領域１７８は、１次消失点１６４の上方に道路シーンの画像の上部１７０を含む。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法２００は、道路ミラー検出方法２００が道路シーンの画像全体に集中した場合よりも、道路シーンの画像の上部１７０に集中した場合により迅速になるであろう。

【0089】

ステップ２２６において、光学的フローライン領域識別部１２６は、道路シーンの画像内の第２の領域１７８に含まれる、道路シーンの画像内の第３の領域１８２を識別し、道路シーンの画像内の第３の領域１８２は光学的フローライン１８４の第３のセットを含む。道路シーンの画像内の第３の領域１８２は、道路ミラーの背景の画像であり得る。

【0090】

ステップ２２８において、光学的フローライン領域識別部１２６は、道路シーンの画像内の第２の領域１７８に含まれる、道路シーンの画像内の第４の領域１８６を識別し、道路シーンの画像内の第４の領域１８６は光学的フローライン１８８の第４のセットを含む。道路シーンの画像内の第４の領域１８６は、道路ミラーの画像であり得る。光学的フローラインの異なるセットを有する異なる領域を検出することにより、有利には道路ミラーの形状に関係なく道路ミラーが確実に検出され得る。その上、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することもできる。

【0091】

ステップ２３０において、光学的フローライン領域識別部１２６は、道路シーンの画像内の第３の領域１８２内に少なくとも部分的にある、道路シーンの画像内の第４の領域１８６を識別する。換言すれば、第４の領域１８６は、第３の領域１８２によって少なくとも部分的に取り囲まれていることになる。したがって、第４の領域１８６の外辺部の少なくとも一部は、少なくとも第３の領域１８２に隣接又は接触しているであろう。したがって、道路ミラーの画像は、少なくとも部分的に道路ミラーの背景の画像内に存在するであろう。換言すれば、道路ミラーの画像と道路ミラーの背景の画像とは、互いに隣接することになるため、完全に分離された領域は、無関係であると見なされ、したがって無視される。したがって、有利には、道路ミラー検出方法２００の正確さが改善され得る。なぜなら、光学的フローラインの異なるセットによって完全に分離された領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。

【0092】

ステップ２３２において、光学的フローライン決定部１３０は、道路シーンの画像内の第３の領域１８２が、第４の領域１８６よりも道路シーンの画像の大きい割合を占めるか否かを決定する。道路ミラーの画像は、通常、取り込まれた道路シーンの画像全体の小さい割合を占めるのみである。したがって、道路ミラーの背景の画像は、通常、道路ミラーの画像よりも道路シーンの画像の大きい割合を占める。換言すれば、道路ミラーの背景の画像は、道路ミラーの画像よりも大きい領域を占める。したがって、有利には、道路ミラー検出方法２００の正確さは、道路シーンの画像内の第３の領域１８２が、第４の領域１８６よりも道路シーンの画像のり大きい割合を占めるか否かを決定することにより改善され得る。

【0093】

その後、ステップ２３４において、ステップ２２０のプロセスが終了する。

【0094】

ステップ２３６において、光学的フローライン分析部１４０は、道路シーンの画像内の光学的フローラインを分析する。ステップ２３８において、ステップ２３６のプロセスが始まる。ステップ２４０において、光学的フローライン収束決定部１２８は、光学的フローライン１８４の第３のセットが実質的に１次消失点１６４に収束するか否かを決定する。光学的フローライン１８４の第３のセットが実質的に１次消失点１６４に収束する場合、道路シーンの画像内の第３の領域１８２は、道路ミラーの背景の画像であり得る。

【0095】

ステップ２４２において、光学的フローライン収束決定部１２８は、光学的フローライン１８８の第４のセットが実質的に１次消失点１６４に収束しないか否かを決定する。光学的フローライン１８８の第４のセットが実質的に１次消失点１６４に収束しない場合、道路シーンの画像内の第４の領域１８６は、道路ミラーの画像であり得る。

【0096】

ステップ２４４において、画像リサイザ１４２は、道路シーンの画像内の第４の領域１８６を所定のピクセル数にリサイズする。例えば、所定のピクセル数が３０ピクセル×３０ピクセルである場合、画像リサイザ１４２は、道路シーンの画像内の第４の領域１８６を３０ピクセル×３０ピクセルにリサイズされ得る。

【0097】

その後、ステップ２４６において、ステップ２３６のプロセスが終了する。

【0098】

ステップ２４８において、道路ミラー画像決定部１５０は、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する。ステップ２５０において、ステップ２４８のプロセスが始まる。ステップ２５２において、道路ミラー画像決定部１５０は、道路シーンの画像内の第４の領域１８６が道路ミラーの画像を含むか否かを決定する。道路ミラー画像決定部１５０は、光学的フローライン１８８の第４のセットが実質的に１次消失点１６４に収束しない一方、光学的フローライン１８４の第３のセットが実質的に１次消失点１６４に収束する場合、道路シーンの画像内の第４の領域１８６が道路ミラーの画像を含むと決定する。

【0099】

ステップ２５４において、光学的フローライン密度決定部１５２は、第２の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する。この行為は、有利には、道路ミラー検出方法２００の正確さを改善する。なぜなら、極めて少ない又は低密度の光学的フローラインを有する無関係な領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。

【0100】

その後、ステップ２５６において、ステップ２４８のプロセスが終了する。

【0101】

最後に、ステップ２５８において、道路ミラー検出方法２００が終了する。

【0102】

光学的フローラインを決定及び分析する行為を含む道路ミラー検出方法２００の利点の１つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出方法２００は、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。

【0103】

本発明が特定の実施形態又は態様を参照して相当に詳細に説明されたが、他の実施形態又は態様が可能である。

【0104】

例えば、ステップ２０６の様々な消失点決定ステップ２１０、２１２、２１４、２１６は、任意の順序若しくはシーケンスで実施され得るか又は実際には同時に実施され得る。

【0105】

したがって、添付の特許請求の範囲の趣旨及び範囲は、本明細書に含まれる実施形態の記載に限定されるべきではない。

【0106】

本明細書（添付の特許請求の範囲、要約及び添付図面を含む）で開示されるあらゆる特徴は、明示的に別段の記載がない限り、同一の、均等な又は類似した目的を果たす代替の特徴によって置換され得る。したがって、明示的に別段の記載がない限り、開示された各特徴は、一般的な一連の均等な特徴又は類似した特徴の例の１つに過ぎない。

【符号の説明】

【0107】

１００ 道路ミラー検出システム
１１０ 画像取得部
１２０ 消失点決定部
１２２ 消失点幾何学的計算部
１２４ 消失点レーンマーク決定部
１２６ 光学的フローライン領域識別部
１２８ 光学的フローライン収束決定部
１３０ 光学的フローライン決定部
１４０ 光学的フローライン分析部
１４２ 画像リサイザ
１５０ 道路ミラー画像決定部
１５２ 光学的フローライン密度決定部
１６０ 道路シーン
１６２ 中心
１６４ １次消失点
１６６ レーンマーク
１６８ 地平線
１７０ 上部
１７２ 下部
１７４ 第１の領域
１７６ 光学的フローライン
１７８ 第２の領域
１８０ 光学的フローライン
１８２ 第３の領域
１８４ 光学的フローライン
１８６ 第４の領域
１８８ 光学的フローライン
１９０ 道路車両
２００ 道路ミラー検出方法
２０２ ステップ
２０４ ステップ
２０６ ステップ
２０８ ステップ
２１０ 消失点決定ステップ
２１２ 消失点決定ステップ
２１４ 消失点決定ステップ
２１６ 消失点決定ステップ
２１８ ステップ
２２０ ステップ
２２２ ステップ
２２４ ステップ
２２６ ステップ
２２８ ステップ
２３０ ステップ
２３２ ステップ
２３４ ステップ
２３６ ステップ
２３８ ステップ
２４０ ステップ
２４２ ステップ
２４４ ステップ
２４６ ステップ
２４８ ステップ
２５０ ステップ
２５２ ステップ
２５４ ステップ
２５６ ステップ
２５８ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】