▶ コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-19
(45)【発行日】2022-07-27
(54)【発明の名称】移動オブジェクトのレンジを推定する方法および装置
(51)【国際特許分類】
G06T 7/55 20170101AFI20220720BHJP
G06T 7/00 20170101ALI20220720BHJP
G08G 1/16 20060101ALI20220720BHJP
【ＦＩ】
G06T7/55
G06T7/00 650B
G08G1/16 C
【請求項の数】
14
(21)【出願番号】P 2019528135
(86)(22)【出願日】2017-12-18
(65)【公表番号】
(43)【公表日】2020-03-19
(86)【国際出願番号】 EP2017083233
(87)【国際公開番号】W WO2018149539
(87)【国際公開日】2018-08-23
【審査請求日】2020-12-04
(31)【優先権主張番号】17157004.7
(32)【優先日】2017-02-20
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】508097870
【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ
【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(72)【発明者】
【氏名】プラウマン・ロビン
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２００５－０３０９６８（ＪＰ，Ａ）
【文献】特開２００６－０２３２４２（ＪＰ，Ａ）
【文献】特開２００１－１０８４３４（ＪＰ，Ａ）
【文献】特開２０１６－１７６７３６（ＪＰ，Ａ）
【文献】特開２０１５－１８４９２９（ＪＰ，Ａ）
【文献】K. Yamaguchi et al，Moving Obstacle Detection using Monocular Vision，2006 IEEE Intelligent Vehicles Symposium，米国，IEEE，2006年06月15日，https://ieeexplore.ieee.org/document/1689643
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／５５
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
－移動オブジェクト（ＭＯ）のレンジを推定する方法であって、－（ａ）カメラ（２）により周囲の画像を捕捉するステップ（Ｓ１）；
－（ｂ）捕捉された画像の特徴を処理して、前記捕捉された画像内の前記移動オブジェクト（ＭＯ）に属する特徴の検出されたクラスタに基づき前記移動オブジェクト（ＭＯ）の方位を判定するステップ（Ｓ２）；および
－（ｃ）前記移動オブジェクト（ＭＯ）によって遮蔽されていない、前記移動オブジェクト（ＭＯ）の前記判定された方位に沿う地表面（ＧＰ）に属する判定された地表特徴に基づき前記移動オブジェクトのレンジ（ＭＯ）を推定し、前記移動オブジェクト（ＭＯ）によって遮蔽されていない、前記判定された地表特徴から、最大距離を有する前記地表特徴が選択され、前記移動オブジェクトのレンジ（ＭＯ）が前記最大距離に応じて推定されるステップ（Ｓ３）を含む、方法。
【請求項2】
車両（１）の車載カメラ（２）によって、車両周囲の画像が前記車両（１）の移動中に捕捉される、請求項１に記載の方法。
【請求項3】
前記捕捉された画像内の特徴が各捕捉された画像において検出されてマッチングされ、前記捕捉された画像における対応する特徴の位置の間に特徴軌跡が生成される、請求項１又は２に記載の方法。
【請求項4】
前記特徴の位置座標が、カメラ較正を用いて正規化された同次画像座標に変換される、請求項１から３の何れか一項に記載の方法。
【請求項5】
捕捉された画像間の期間内の車載カメラ（２）の並進および回転が、前記車両のスピードＶ、前記車両の操舵角α、およびホイールベースＷに基づき判定される、請求項２から４の何れか一項に記載の方法。
【請求項6】
三次元空間における各特徴の位置を示す特徴の３Ｄ点群が、前記正規化された同次画像座標と前記カメラ（２）の前記計算された並進および回転に基づき計算される、請求項４又は５に記載の方法。
【請求項7】
前記カメラ（２）の前記判定された回転および並進に基づき前記カメラ（２）の運動について基本行列Ｅが計算される、請求項６に記載の方法。
【請求項8】
追跡された特徴のエピポーラ拘束に関する誤差が計算され、前記追跡された特徴が、前記計算された誤差に基づき移動オブジェクト（ＭＯ）に属する特徴と静止オブジェクト（ＳＯ）に属する特徴とにセグメント化される、請求項３から７の何れか一項に記載の方法。
【請求項9】
移動オブジェクト（ＭＯ）に属する前記セグメント化された特徴がクラスタ化され、各クラスタの前記セグメント化された特徴の周囲の凸包（Ｈ）が計算される、請求項８に記載の方法。
【請求項10】
前記移動オブジェクト（ＭＯ）に属するセグメント化された特徴のクラスタ周囲の前記計算された凸包（Ｈ）に基づき、移動オブジェクト（ＭＯ）の方位角方位が判定される、請求項９に記載の方法。
【請求項11】
高さが閾値高さより低い静止オブジェクト（ＳＯ）に属する三角形分割された特徴を選択することにより、地表特徴が判定される、請求項１から１０の何れか一項に記載の方法。
【請求項12】
－移動オブジェクト（ＭＯ）のレンジを推定するようになされた装置であって、－捕捉された画像の特徴を処理して、前記捕捉された画像内の前記移動オブジェクト（ＭＯ）に属する特徴の検出されたクラスタに基づき前記移動オブジェクト（ＭＯ）の方位を判定するようになされ、前記移動オブジェクト（ＭＯ）によって遮蔽されていない、前記移動オブジェクト（ＭＯ）の前記判定された方位に沿う地表面に属する地表特徴に基づき前記移動オブジェクトのレンジ（ＭＯ）を推定し、前記移動オブジェクト（ＭＯ）によって遮蔽されていない、前記判定された地表特徴から、最大距離を有する前記地表特徴が選択され、前記移動オブジェクトのレンジ（ＭＯ）が前記最大距離に応じて推定されるようになされた処理ユニットを備える、装置（３）。
【請求項13】
車両周囲の画像を捕捉するようになされた少なくとも１台の車載カメラ（２）を備え、前記車両の周囲の移動オブジェクト（ＭＯ）のレンジを推定するようになされた請求項１２に記載の装置（３）を備える、車両（１）。
【請求項14】
前記移動オブジェクト（ＭＯ）が、前記車両周囲の歩行者または別の車両からなる、請求項１３に記載の車両（１）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動オブジェクトのレンジを推定する方法および装置、特に、車両近傍の歩行者のような移動オブジェクトのレンジを推定する方法および装置に関する。
【背景技術】
【0002】
車両は、運転操作を遂行する際に車両のドライバーを支援するドライバー支援システムを益々装備するようになっている。ドライバーをサポートするため、車両は、異なる側の車両のシャーシに搭載される車載カメラを含むことができる。こうしたカメラは、車両周囲の画像を捕捉する。捕捉された画像から、車両周囲のサラウンドビューを計算し、車両のドライバーに対して表示することができる。車両は、周囲の画像を捕捉するためにフロントビューカメラ、リアビューカメラ、および２台のサイドビューカメラを含むことができる。車両のドライバー支援システムは、処理されたカメラ画像を使用して、運転操作中のドライバーに支援機能を提供することができる。例えば、ドライバー支援システムは、駐車操作の遂行時にドライバーをサポートすることができる。従来のドライバー支援システムは、処理されたカメラ画像に基づきセキュリティ機能を提供することもできる。益々多くの運転操作が、ドライバー支援機能を用いて半自動で、あるいは全自動でも遂行されるようになっている。
【0003】
多くの使用事例で、車両の近傍にある移動オブジェクトのレンジを検出することが重要である。この移動オブジェクトは、例えば歩行者、または車両周囲で動いている自動車もしくは車両のような別の移動オブジェクトで構成することができる。例えば、駐車操作中、車両のシャーシが車両周囲を移動している歩行者に衝突しないことは不可欠である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従って、本発明の目的は、移動オブジェクトのレンジを推定する方法および装置を提供することである。
【課題を解決するための手段】
【0005】
本発明は、第１の態様によると、請求項１の特徴を含む移動オブジェクトのレンジを推定する方法を提供する。
【0006】
本発明は、第１の態様によると、
少なくとも１台のカメラにより周囲の画像を捕捉するステップ、
捕捉された画像の特徴を処理して、捕捉された画像内の移動オブジェクトに属する特徴の検出されたクラスタに基づき移動オブジェクトの方位を判定するステップ、および
移動オブジェクトによって遮蔽されていない移動オブジェクトの判定された方位に沿う地表面に属する地表特徴に基づき移動オブジェクトのレンジを推定するステップを含む、移動オブジェクトのレンジを推定する方法を提供する
本発明の第１の態様による方法の可能な実施形態において、移動オブジェクトによって遮蔽されていない、判定された地表特徴から、最大距離を有する地表特徴が選択され、移動オブジェクトのレンジが最大距離に応じて推定される。
少なくとも１台のカメラにより周囲の画像を捕捉するステップ、
捕捉された画像の特徴を処理して、捕捉された画像内の移動オブジェクトに属する特徴の検出されたクラスタに基づき移動オブジェクトの方位を判定するステップ、および
移動オブジェクトによって遮蔽されていない移動オブジェクトの判定された方位に沿う地表面に属する地表特徴に基づき移動オブジェクトのレンジを推定するステップを含む、移動オブジェクトのレンジを推定する方法を提供する
本発明の第１の態様による方法の可能な実施形態において、移動オブジェクトによって遮蔽されていない、判定された地表特徴から、最大距離を有する地表特徴が選択され、移動オブジェクトのレンジが最大距離に応じて推定される。
【0007】
本発明の第１の態様による方法の可能な実施形態において、車両の車載カメラによって、車両周囲の画像が車両の移動中に捕捉される。
【0008】
本発明の第１の態様による方法の更なる可能な実施形態において、捕捉された画像内の特徴が各捕捉された画像において検出されてマッチングされ、捕捉された画像における対応する特徴の位置の間に特徴軌跡が生成される。
【0009】
本発明の第１の態様による方法の更なる可能な実施形態において、特徴の位置座標が、カメラ較正を使用して正規化された同次画像座標に変換される。
【0010】
本発明の第１の態様による方法の更なる可能な実施形態において、捕捉された画像間の期間内のカメラの並進および回転が、車両のスピードＶ、車両の操舵角α、およびホイールベースＷに基づき判定される。
【0011】
本発明の第１の態様による方法の更なる可能な実施形態において、三次元空間における各特徴の位置を示す特徴の三次元点群が、正規化された同次画像座標とカメラの計算された並進および回転に基づき計算される。
【0012】
本発明の第１の態様による方法の更なる可能な実施形態において、カメラの判定された回転および並進に基づきカメラの運動について基本行列が計算される。
【0013】
本発明の第１の態様による方法の更なる可能な実施形態において、追跡された特徴に対して基本行列を使用してエピポーラ拘束が適用される。
【0014】
本発明の第１の態様による方法の更なる可能な実施形態において、追跡された特徴が誤差関数に基づき移動オブジェクトに属する特徴と静止オブジェクトに属する特徴とにセグメント化され、それは、特徴がどれだけよくエピポーラ拘束を満たすかを評価し、ここで、誤差関数は、代数距離、幾何学的距離、再投影誤差、またはサンプソン誤差を含む。
【0015】
本発明の第１の態様による方法の更なる可能な実施形態において、追跡された特徴が、他の適切な方法、例えば経時的な誤差関数の変化の測定に基づき、移動オブジェクトに属する特徴と静止オブジェクトに属する特徴とにセグメント化される。
【0016】
本発明の第１の態様による方法の更なる可能な実施形態において、移動オブジェクトに属するセグメント化された特徴がクラスタ化され、各クラスタのセグメント化された特徴の周囲の凸包が計算される。
【0017】
本発明の第１の態様による方法の更なる可能な実施形態において、移動オブジェクトに属するセグメント化された特徴のクラスタ周囲の計算された凸包に基づき、移動オブジェクトの方位角方位が判定される。
【0018】
本発明の第１の態様による方法の更なる可能な実施形態において、高さが閾値高さより低い静止オブジェクトに属する三角形分割された特徴を選択することにより、地表特徴が判定される。
【0019】
本発明は、更なる態様によると、請求項１２の特徴を含む移動オブジェクトのレンジを推定するようになされた装置を更に提供する。
【0020】
本発明は、第２の態様によると、移動オブジェクトのレンジを推定するようになされた装置を提供し、ここで、前記装置は、捕捉された画像の特徴を処理して、捕捉された画像内の移動オブジェクトに属する特徴の検出されたクラスタに基づき移動オブジェクトの方位を判定するようになされ、移動オブジェクトによって遮蔽されていない、移動オブジェクトの判定された方位に沿う地表面に属する地表特徴に基づき移動オブジェクトのレンジを推定するようになされた処理ユニットを備える。
【0021】
本発明は、第３の態様によると、請求項１３の特徴を含む車両を更に提供する。
【0022】
本発明は、第３の態様によると、車両周囲の画像を捕捉するようになされた少なくとも１台の車両カメラを備え、車両の周囲の移動オブジェクトのレンジを推定するようになされた本発明の第２の態様による装置を備える車両を提供する。
【0023】
本発明の第３の態様による車両の可能な実施形態において、移動オブジェクトは、車両周囲の歩行者または別の車両からなる。
【0024】
下記において、本発明の様々な態様の可能な実施形態を、添付図面を参照してより詳細に記載する。
【図面の簡単な説明】
【0025】
【図1】本発明の一態様による、移動オブジェクトのレンジを推定する装置を備える車両の可能な例示的実施形態を示すための概略ブロック図を示す。
【図2】本発明の一態様による、移動オブジェクトのレンジを推定する方法の可能な例示的実施形態のフローチャートを示す。
【図3】本発明による方法および装置の動作を示すための概略図を示す。
【発明を実施するための形態】
【0026】
図１の概略ブロック図において見て取れるように、車両１は、図示した実施形態において、車両周囲の移動オブジェクトＭＯのレンジを推定するようになされた装置３を備える。装置３は、車両１のドライバー支援システムの一部を形成することができる。車両１は、図示した例示的実施形態において、異なる車載カメラ２－１、２－２、２－３、２－４を備える。車両１は、図１に示すように、特定の方向に速度またはスピードＶで走行することができる。図１に示した例において、移動オブジェクトＭＯは、車両のシャーシの左側に搭載された車載カメラ２－３の視界ＦｏＶ内にある。図１に概略的に示した移動オブジェクトＭＯは、例えば車両１の近傍を移動している歩行者または別の車両とすることができる。装置３は、異なる車載カメラ２－ｉからデジタルカメラ画像を受信する。装置３は、捕捉された画像の特徴を処理して、それぞれの車載カメラ、即ち、図１の図示した例では単一の車載カメラ２－３の捕捉された画像内の移動オブジェクトＭＯに属する特徴の検出されたクラスタに基づき移動オブジェクトＭＯの方位Ｂを判定するようになされた処理ユニットを備える。
【0027】
処理ユニットは更に、移動オブジェクトＭＯによって遮蔽されていない、移動オブジェクトＭＯの判定された方位Ｂに沿う領域または方位レンジにおける地表面に属する地表特徴に基づき移動オブジェクトＭＯのレンジを推定するようになされている。移動オブジェクトＭＯのレンジは、図１の図示した例では、移動オブジェクトＭＯから車両のシャーシまでの距離である。車載カメラ２－ｉの数は、車両ごとに異なるものとすることができる。図１に示す車両１は、例えば道路上を移動している、または駐車スペースを移動している自動車またはトラックとすることができる。
【0028】
図２は、本発明の一態様による、移動オブジェクトＭＯのレンジを推定する方法の可能な例示的実施形態のフローチャートを示す。図示した実施形態において、方法は、３つの主要ステップＳ１、Ｓ２、Ｓ３を含む。
【0029】
第１のステップＳ１において、カメラにより周囲の画像が捕捉される。
【0030】
更なるステップＳ２において、捕捉された画像の特徴が処理され、カメラの捕捉された画像内の移動オブジェクトＭＯに属する特徴の検出されたクラスタに基づき移動オブジェクトＭＯの方位Ｂが判定される。
【0031】
最後に、ステップＳ３において、移動オブジェクトＭＯによって遮蔽されていない、移動オブジェクトＭＯの判定された方位Ｂの周囲の方位レンジにおける地表面に属する判定された地表特徴に基づき、移動オブジェクトＭＯのレンジが推定される。
【0032】
可能な実施形態において、画像は、車両１の車載カメラによって捕捉される。車両周囲の画像は、車両１の移動中に車両１の少なくとも１台の車載カメラ２によって捕捉される。カメラ画像は、異なる時点に撮影される。カメラ画像は、車両周囲の地表面を含み、少なくとも１つの移動オブジェクトＭＯ、例えば歩行者または別の車両を含み得る。可能な実施形態において、カメラ画像は、例えば毎秒１～５０フレームを含むことができる所定のフレームレートで捕捉される。フレームレートは、使用するハードウェアプラットフォーム、ＣＰＵ負荷、特に同じ処理ユニットでどれだけ多くの他のアルゴリズムが実行中であるかに依存する可能性がある。カメラ２は、一連のカメラ画像を捕捉し、ここで、２つのカメラ画像間の時間差は、上記のフレームレートの場合１／５０秒と１秒の間で変化し得る。約６０ｋｍ／ｈの速度またはスピードでは、これは、第１のカメラ画像に捕捉された特徴の多くが第２の（次の）カメラ画像でも依然として可視であることを意味する。ストラクチャーフロムモーションＳＦＭを用いて静的特徴を三角形分割するときには、三次元特徴の位置が計算できるように、車両１周囲の地表特徴または地表面の２つのビューまたはカメラ画像が必要なため、これは、重要である。車両１のスピードＶの増加に伴い、車載カメラにより捕捉されるフレームのフレームレートを上昇させることができる。車両１の速度Ｖによっては、第１の画像において可視の特物は、カメラ画像シーケンスの第２の画像において依然として可視であり、そのため、ストラクチャーフロムモーションＳＦＭを使用して検出された特徴の三次元点群を生成すれば、地表面特徴を再構築することができる。
【0033】
捕捉された画像内の特徴を各捕捉された画像において検出してマッチングし、捕捉された画像における対応する特徴の位置の間に特徴軌跡を生成することができる。特徴は、各カメラ画像において検出されてマッチングされ、特徴のリストｘ１およびｘ２を生成することができ、ここで、ｘ１は、第１の画像における特徴の位置のリストであり、ｘ２は、第２の（次の）カメラ画像における同じ特徴の位置のリストである。マッチングできない特徴は、破棄される。特徴は、特徴検出器、例えばＨａｒｒｉｓコーナー検出器、ＦＡＳＴまたはＳＩＦＴによって計算し検出することができる。第１のカメラ画像における特徴と第２のカメラ画像における特徴の２つのリストは、特徴軌跡または特徴対応を形成する。
【0034】
可能な実施形態において、特徴の座標は、カメラ較正を用いて正規化された同次画像座標に変換することができる。焦点距離ｆのピンホールカメラモデルの場合、これは、下記のように表すことができる：
【0035】
【数1】
【0036】
【数2】
ｆは、カメラ較正から既知のカメラの焦点距離であり、
【0037】
【数3】
【0038】
非ピンホールカメラモデル（例えば魚眼レンズを搭載したカメラ）の場合も、同様の式を使用することができる。
【0039】
特徴の位置座標は、カメラ較正を用いて正規化された同次画像座標に変換することができる。内部較正は、画素がカメラからの光線にマッピングされるように、カメラレンズの特性を記載する。外部較正は、車両のシャーシに搭載されたカメラの位置と向きを記載する。これは、画像画素座標を正規化された同次画像座標に変換できることを意味する。カメラ較正を用いて三次元空間において画素座標を光線にマッピングすることは、コンピュータビジョンの分野では周知の技術である。
【0040】
可能な実施形態において、捕捉された画像間の期間内の車載カメラ２の並進および回転が、車両のスピードＶ、車両の操舵角α、およびホイールベースＷに基づき判定される。
【0041】
可能な実施形態において、第１の画像と後続の第２の画像の間でのカメラ２の位置の変化を、車両１のスピードと操舵データを第１の画像のフレームと第２の画像のフレームの間の期間にわたり積分することにより計算することができる。
【0042】
ホイールベースＷ、スピードＶおよび操舵角αが与えられた場合、期間Δｔ、即ち、第１の捕捉から第２の画像の捕捉までの期間にわたる車両１の回転の変化Δφは、下記の通りである：
【0043】
【数4】
【0044】
【数5】
【0045】
代替的実施形態において、カメラ２の位置の変化は、視覚エゴモーションを用いることにより、またはＧＰＳを用いることにより判定することもできる。位置の変化を判定する異なる方法を更に融合させることもできる。可能な実施において、カルマンフィルターを使用してＧＰＳデータを車両１の視覚エゴモーションと組合せて位置の変化を判定することができる。
【0046】
可能な実施形態において、三次元空間における各特徴の位置を示す特徴の三次元点群を、正規化された同次画像座標とカメラ２の計算された並進および回転に基づき計算することができる。ストラクチャーフロムモーションＳＦＭを遂行して三次元点群を生成することができる。三次元空間における各特徴の位置は、正規化された同次座標とカメラの並進および回転の知識を使用して計算することができる。三次元点群は、一連の画像から生成することができる。この点群は、数百の画像フレームから生成される三次元点を合成したものとすることができる。少なくとも２つの後続する画像フレームに基づき三次元点群を生成することが可能である。可能な実施形態において、三次元点群は、所定期間格納することができる。群の中の三次元点がオブジェクトによって遮られるようになった場合、この情報が、移動オブジェクトＭＯがどこに位置しているかに関する更なる手掛かりを提供することができる。他の可能な実施形態において、レーダまたはライダを用いて、車両１周囲の三次元空間における特徴の位置を示す特徴の三次元点群を計算することもできる。
【0047】
可能な実施形態において、それぞれのカメラの判定された回転および並進に基づき、カメラ２の運動について基本行列Ｅを計算することができる。
【0048】
【数6】
【0049】
可能な実施形態において、追跡された特徴を、計算された誤差に基づき、例えば、計算された誤差を閾値εｔｈｒｅｓｈｏｌｄと比較することにより、移動オブジェクトＭＯに属する特徴と静止オブジェクトＳＯに属する特徴とにセグメント化することができる。閾値εｔｈｒｅｓｈｏｌｄの値は、オプティカルフローの精度に依存する可能性があり、カメラ位置の推定の精度と待ち時間に依存する可能性がある。
【0050】
可能な実施形態において、移動オブジェクトＭＯに属するセグメント化された特徴をクラスタ化することができ、各クラスタのセグメント化された特徴の周囲の凸包を計算することができる。可能な実施において、セグメント化された特徴は、ノイズを伴うアプリケーションの密度に基づく空間クラスタリング（ＤＢＳＣＡＮ）アルゴリズムをセグメント化された特徴に適用することによりクラスタ化することができる。次いで、移動オブジェクトＭＯのセグメント化された特徴の周囲で凸包が計算される。
【0051】
図３は、移動オブジェクトＭＯの周囲に凸包を有するクラスタの例を示す。図示した例において、移動オブジェクトＭＯは、地面に様々な駐車場所を有する駐車スペースを移動している歩行者である。図示した例において、乳母車も静的特徴点を含む地面上に位置している。図３の図示した例において、地表面ＧＰに属する複数の検出された特徴が図示されている。地表特徴は、高さが閾値高さより低い静止オブジェクトに属する三角形分割された特徴を選択することにより判定することができる。値の閾値は、調節することができる。図３に図示する乳母車ＢＣも、乳母車ＢＣの構造物の交点のような特徴を検出するために使用できる構造成分を有する静止オブジェクトＳＯを形成する。更に、地表面ＧＰ上の線も、地表面ＧＰの特徴ｆを検出するために使用することができる。図示した例における一部の特徴は、移動オブジェクトＭＯに属するものとしてセグメント化されている。これらの特徴は、セグメント化されてクラスタを形成し、各クラスタのセグメント化された特徴の周囲の凸包Ｈが計算される。移動オブジェクトＭＯ、例えば、図３に図示する歩行者の方位Ｂが、移動オブジェクトＭＯに属する検出されたクラスタまたは特徴に基づき判定される。可能な実施形態において、それぞれの移動オブジェクトＭＯに属するセグメント化された特徴のクラスタ周囲の計算された凸包Ｈに基づき、移動オブジェクトＭＯの方位角方位を判定することができる。可能な実施形態において、凸包Ｈに含まれる特徴点の最小および最大方位を取ることにより方位角方位のレンジを判定することができる。あるいは、凸包Ｈ自体の方位角方位Ｂ１、Ｂ２の最小値または最大値を使用することもできる。更なる可能な実施形態において、移動オブジェクトＭＯのサイズも考慮に入れることができる。例えば、オブジェクトが実質的に矩形ではない場合、それぞれの移動オブジェクトの下半分の最小値または最大値を使用することができる。
【0052】
図３は、車両１のカメラ２に関する方位Ｂ１、Ｂ２の間の移動オブジェクトＭＯの判定された方位角方位レンジまたは領域を示す。図３において見て取れるように、移動オブジェクトＭＯ、即ち歩行者によって遮蔽されていない移動オブジェクトＭＯの前の推定方位レンジ内に、地表面ＧＰの幾つかの特徴が存在する。図３の例において、移動オブジェクトＭＯの判定された方位レンジ内に、地表面ＧＰに属する４つの特徴ｆ１、ｆ２、ｆ３、ｆ４が存在し、これらは移動オブジェクトＭＯによって遮蔽されていない。移動オブジェクトＭＯ、即ち歩行者のレンジ、即ち距離は、移動オブジェクトＭＯによって遮蔽されていない、移動オブジェクトＭＯの判定された方位Ｂに沿う地表面ＧＰに属する判定された地表特徴に基づき推定することができる。方位Ｂは、最小方位Ｂ１と最大方位Ｂ２との平均値として計算することができる。可能な実施形態において、判定された地表特徴から、最大距離を有する地表特徴が選択される。図２の図示した例において、Ｂ１、Ｂ２の間の方位レンジ内に位置し、車両カメラ２までの最大距離を含む特徴ｆ４が選択され、移動オブジェクトのレンジＭＯがこの最大距離から導出される。概ね高さがゼロの三角形分割された特徴を検索することにより、地表点、即ち地表面特徴を判定することができる。あるいは、例えばＲＡＮＳＡＣアルゴリズムまたは最小二乗近似を使用して地表面ＧＰを三角形分割された点に当てはめて、地表面ＧＰに属する特徴を見出すことができる。次いで、移動オブジェクトＭＯの方位角方位レンジ内の全ての三角形分割された静的三次元地表点を考慮し、車両カメラ２からの最大距離を含む地表面特徴を選択することにより、移動オブジェクトＭＯのレンジを推定することができる。
【0053】
魚眼レンズを搭載したカメラは、車両１に近い地表面特徴について高密度の三次元点群を生成することができる。したがって、移動オブジェクトＭＯのレンジの推定は、移動オブジェクトＭＯが車両１に近づくほど正確になる。計算された推定値は常に移動オブジェクトＭＯまでの実際の距離よりも短く、したがって、距離を過大評価する可能性および移動オブジェクトＭＯと衝突する危険が低減される。図３の単純な例において、移動オブジェクトＭＯまでの距離は、カメラ２と、車載カメラ２から最も離れているが、移動オブジェクトＭＯによって遮蔽されていない方位レンジ内の地表面特徴である地表面ＧＰに属する特徴ｆ４との間の距離に基づき推定される。
【0054】
本発明による方法は、二次元特徴はカメラ画像を通じて追跡することができ、車両１が移動すると共に三次元地表面を再構築することができるという事実を利用する。地表面ＧＰを横切って移動する移動オブジェクトＭＯは、地表面上の三次元点を遮蔽する。この遮蔽を用いて移動オブジェクトＭＯのレンジを推定することができる。方法は、異なる種類の移動オブジェクトＭＯ、例えば他の車両または歩行者のレンジを推定するために使用することができる。移動オブジェクトＭＯが堅固なオブジェクトであることは必要ない。また、オブジェクト上で多くの特徴が追跡できる必要もない。本発明による方法を用いて、車両周囲の地表面上を移動する任意の移動オブジェクトＭＯのレンジを推定することができる。方法は、移動する車両１に搭載された単一のカメラ２を使用して地表面上を移動する非堅固なオブジェクトを追跡する必要がある如何なる状況でも使用することができる。方法は、歩行者の検出、バックアップ警告、または自動制動に利用することができる。静止オブジェクトＳＯの三次元モデルが創出され、加えて、移動オブジェクトＭＯが二次元画像において追跡されてクラスタ化されるバックアップ警告システムを実施することができ、そこでは、レンジを三次元地表面上の遮蔽された点から推定することができる。車両１と衝突する可能性がある移動オブジェクトＭＯが検出された場合、警告を自動的に生成し、車両１のドライバーに対して出力することができる。
【図1】
【図2】
【図3】