特表 2022-515046 デジタル画像シーケンスを用いた相対運動の決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-17

(54)【発明の名称】デジタル画像シーケンスを用いた相対運動の決定方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220209BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021533439

(86)(22)【出願日】2019-10-29

(85)【翻訳文提出日】2021-06-11

(86)【国際出願番号】 EP2019079550

(87)【国際公開番号】W WO2020119997

(87)【国際公開日】2020-06-18

(31)【優先権主張番号】102018221617.7

(32)【優先日】2018-12-13

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100195408

【弁理士】

【氏名又は名称】武藤 陽子

(72)【発明者】

【氏名】レンツ，フィリップ

(72)【発明者】

【氏名】レングスフェルト，アレクサンダー

(72)【発明者】

【氏名】ヤハルスキー，イェルン

(72)【発明者】

【氏名】ブリュックナー，マーセル

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA16

5L096FA37

5L096FA66

5L096FA67

5L096GA04

5L096HA11

5L096KA04

(57)【要約】

本発明は、装置の場所において検出された物体のデジタル画像シーケンスに基づいた、少なくとも１つの物体に対する装置（１０）の相対運動の決定方法であって、この方法は次のステップ、すなわち、複数のオプティカルフローフィールドを、デジタル画像シーケンスの画像ペア（Ｓ１）から計算し（Ｓ２）、画像ペアは、最新の画像と、この最新の画像に対して異なる時間間隔を有する画像シーケンスの画像とから形成されるステップと、少なくとも１つの物体を、それぞれ最新の画像内の部分画像領域内で位置測定し（Ｓ３）、この部分画像領域を前記物体に割り当てるステップと、複数のオプティカル部分フローフィールドを、複数のオプティカルフローフィールドから形成し（Ｓ４）、それぞれの部分フローフィールドは、複数のフローフィールドのフローフィールドのうちの１つと、画像シーケンスの最新画像の部分画像領域との共通部分から実現されるステップと、物体のスケール変化の推定を促進するために、複数の部分フローフィールドから、部分フローフィールドの少なくとも１つを、少なくとも１つの基準に応じて選択する（Ｓ５）ステップと、少なくとも１つの物体のスケール変化の推定を、少なくとも１つの選択された部分フローフィールドに基づいた割り当てられた部分画像領域を用いて実行する（Ｓ６）ステップと、を含む方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

装置の場所において検出された物体のデジタル画像シーケンスに基づいた、少なくとも１つの物体に対する装置（１０）の相対運動の決定方法であって、
－ 複数のオプティカルフローフィールドを、デジタル画像シーケンスの画像ペア（Ｓ１）から計算し（Ｓ２）、前記画像ペアは、最新の画像と、この最新の画像に対して異なる時間間隔を有する画像シーケンスの画像とから形成されるステップと、
－ 少なくとも１つの物体を、それぞれ最新の画像内の部分画像領域内で位置測定し（Ｓ３）、この部分画像領域を前記物体に割り当てるステップと、
－ 複数のオプティカル部分フローフィールドを、複数のオプティカルフローフィールドから形成し（Ｓ４）、それぞれの部分フローフィールドは、複数のフローフィールドのフローフィールドのうちの１つと、画像シーケンスの最新画像の部分画像領域との共通部分から実現されるステップと、
－ 前記物体のスケール変化の推定を促進するために、前記複数の部分フローフィールドから、前記部分フローフィールドの少なくとも１つを、少なくとも１つの基準に応じて選択する（Ｓ５）ステップと、
－ 前記少なくとも１つの物体のスケール変化の推定を、前記少なくとも１つの選択された部分フローフィールドに基づいた前記割り当てられた部分画像領域を用いて実行する（Ｓ６）ステップと、
を含む方法。

【請求項2】

前記部分フローフィールドを選択する（Ｓ５）ための前記基準は、前記部分画像領域と、前記計算されたフローフィールドとの重なりの程度、および／または前記部分画像領域と前記計算されたフローフィールドとの共通部分の絶対的な大きさが考慮されることを特徴とする、請求項１に記載の方法（１０）。

【請求項3】

前記部分フローフィールドを選択する（Ｓ５）ための基準は、前記部分フローフィールドのフローベクトルの信号対雑音比の大きさ、および／または前記フローベクトルの計算からの品質基準および／または前記部分フローフィールドの前記フローベクトルの数および／または前記部分フローフィールドの前記フローベクトルの長さが考慮されることを特徴とする、請求項１または２のいずれか一項に記載の方法（１０）。

【請求項4】

前記部分フローフィールドを選択する（Ｓ５）ための基準は、前記画像シーケンスの前記画像の前記部分画像領域における前記物体の位置測定の検出品質が考慮され（Ｓ３）および／または前記部分画像領域と前記計算されたフローフィールドとの共通部分における前記画像領域の特性が考慮されることを特徴とする、請求項１から３のいずれか一項に記載の方法（１０）。

【請求項5】

前記部分フローフィールドを選択する（Ｓ５）ための基準は、
ＦＶ＞ａｌｐｈａ＊（ＳＺ／ＳＺ_ＭＡＸ）＊ＦＶ_ＭＡＸ
の不等式を満たすことを前提とし、さらに、前記部分フローフィールドが計算された前記時間間隔の大きさが考慮されることを特徴とする、請求項１または２のいずれか一項に記載の方法（１０）。

【請求項6】

前記複数のオプティカルフローフィールドの計算（Ｓ２）は、前記画像ペアの前記画像の画像部分から行われ、前記画像部分はそれぞれの画像の部分面を表すことを特徴とする、請求項１から５のいずれか一項に記載の方法（１０）。

【請求項7】

前記複数のオプティカルフローフィールドの計算（Ｓ２）は、前記画像ペアの前記画像の少なくとも２つの区別可能な画像部分についておよびそれぞれ異なる時間間隔で実行されることを特徴とする、請求項１から５のいずれか一項に記載の方法（１０）。

【請求項8】

前記少なくとも２つの区別可能な画像部分は、前記装置からの異なる距離にある物体の位置測定のために、それらの配置および大きさに関連して、遠近法の視点に対応した前記画像ペアの前記画像上に配置されていることを特徴とする、請求項７に記載の方法（１０）。

【請求項9】

前記少なくとも２つの画像部分は、それらの面の広がりによって区別可能であり、より小さい画像部分は、より大きい画像部分内に完全に配置され、前記フローフィールドを計算するためのそれぞれに割り当てられた時間間隔は、前記画像部分が小さいほど大きくなることを特徴とする、請求項７に記載の方法（１０）。

【請求項10】

前記複数のオプティカルフローフィールドの計算（Ｓ２）は、前記画像ペアの画像部分から計算され、前記画像部分および／または前記画像部分の前記画像ペアの時間間隔への割り当ては、それぞれの前記画像シーケンスの検出後にそれぞれ設定されることを特徴とする、請求項７から９のいずれか一項に記載の方法（１０）。

【請求項11】

プログラムがコンピュータによって実行されると、前記コンピュータに請求項１から１０のいずれか一項に記載の前記方法（１０）を実行させる命令を含むコンピュータプログラム製品。

【請求項12】

プログラムがコンピュータによって実行されると、前記コンピュータに請求項１から１０のいずれか一項に記載の前記方法（１０）を実行させる命令を含むコンピュータ読み取り可能な記憶媒体。

【請求項13】

少なくとも１つの物体に対するシステムの相対運動を決定するためのシステム（２０）であって、前記システムは、前記少なくとも１つの物体のデジタル画像シーケンス（１）の検出装置と、前記画像シーケンスが評価ユニット（２）に転送されるように前記装置（１）に連結された評価ユニット（２）とを有し、前記評価ユニット（２）は、請求項１から１０のいずれか一項に記載の方法を実行し、前記評価ユニットの出力部に前記方法の結果を提供するように設定されていることを特徴とするシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像シーケンスを用いた、少なくとも１つの物体に対する装置の相対運動の決定方法に関する。

【0002】

運転者支援システムは、例えばレーダ、ライダ、超音波、またはカメラシステムを用いてデータを記録し処理する電子システムによってシーン（場面）を検出して、他の物体に対するそのような装置の相対運動に関する特徴的なパラメータを計算する。データの処理は、使用する電子システムにもよるが、３次元モデルや２次元モデルに基づいて行うこともできる。システムに依存して距離を検出するレーダシステムの場合は、３次元モデルが解析に適している。

【背景技術】

【0003】

一眼デジタルカメラシステムでは、画像シーケンスにおける物体の視運動を、二次元の画像座標に基づいて解析することができる。少なくとも１つの物体に対する装置の相対運動は、例えば、物体検出のスケール変化に基づいて行われてもよいし、画像シーケンスからのオプティカルフローのスケール変化の推定に基づいてもよい。

【0004】

ここで、物体検出のスケール変化による相対運動の推定は、例えば、エラーを伴うことが多い、既知の固定された物体幅の想定などの一連の不正確さを伴うか、または連続したカメラ画像における物体の広がりのばらつきによる不正確さが生じる。

【0005】

オプティカルフローを用いたスケール変化の推定では、物体に付随するオプティカルフローをフローフィールドから選択する必要があり、これはモーションセグメンテーションによって行うことができる。オプティカルフローのモーションセグメンテーションは、複雑で計算量の多い問題である。特に車両分野の組み込みシステムでは、必要な計算容量が不足していることが多い。

【0006】

得られる結果は典型的に非常にノイズが多いため、後続の計算では大量の外れ値を処理する必要がある。

【0007】

このようなスケーリングの変化から、特徴的なパラメータとして、例えば衝突時間ＴＴＣ（Ｔｉｍｅ－ｔｏ－ｃｏｌｌｉｓｉｏｎ ｏｄｅｒ ｔｉｍｅ－ｔｏ－ｃｏｎｔａｃｔ）を、特に車両間で導出することができる。

【0008】

ここで、オプティカルフロー推定値は、典型的には、画像全体にわたって一定の時間間隔で計算される。

【0009】

独国特許出願公開第１０２０１１００６６２９号明細書は、車両周辺のビデオ画像の評価に基づいて、ビデオシステムを搭載した車両の衝突時間を決定するための方法であって、車両周辺のある部分と車両との衝突時間を決定するための衝突パラメータＴＴＣが計算される方法を記載している。衝突パラメータＴＴＣは、映像システムによって記録されたビデオ画像における車両周辺全体のオプティカルフローフィールドの拡大率を積分して算出される。また、当該発明は、本発明による方法を実行するための車両誘導システムに関する。

【0010】

本発明の課題は、デジタル画像シーケンスを用いた、少なくとも１つの物体に対する装置の相対運動の決定方法を記載することであり、この方法により、相対運動の推定における高い精度が少ない計算量で達成でき、さらに、推定された相対運動の範囲から、相対運動の他の特徴的なパラメータが計算されることを可能にすることである。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明によれば、独立請求項の特徴による、装置の場所において検出された物体のデジタル画像シーケンスに基づいた、少なくとも１つの物体に対する装置の相対運動の決定のための方法、システム、およびコンピュータプログラム製品、およびコンピュータ読み取り可能な記憶媒体が記載されており、この方法は、少なくとも部分的に上記の作用を有する。有利な実施形態は、以下の説明と同様に従属請求項の主題である。

【課題を解決するための手段】

【0012】

本発明は、装置から遠く離れた物体は、例えばカメラで遠近法によって記録された画像シーケンスの画像において、近い物体よりも小さく描写されるという認識に基づいている。したがって、本発明によれば、物体が描写される画像上の部分面を考慮して、互いに異なる時間間隔を有し、かつ、異なる大きさを有するそのような画像シーケンスの画像ペアから、オプティカルフローフィールドが計算される。物体が描写されるこの部分面は、「バウンディングボックス」または「関心領域ＲＯＩ」と呼ばれることもある。続いて、この推定の信頼性および精度を向上させる基準に基づいて、相対運動の決定のために、複数のフローフィールドから適切なフローフィールドが選択される。

【0013】

本発明による方法では、少なくとも１つの物体に対する装置の相対運動が、装置の位置から記録された物体のデジタル画像シーケンスに基づいて決定される。この装置は、一例として、それ自体が地面に対して相対運動を有する自動車であってよい。しかし、装置は静止していてもよく、例えば自動車などの物体がそれに対して相対的に移動してもよい。

【0014】

この決定のために、複数のオプティカルフローフィールドが、デジタル画像シーケンスの画像ペアから計算され、画像ペアは、最新の画像と、この最新の画像に対して異なる時間間隔を有する画像シーケンスの画像とから形成される。ここで、オプティカルフローとは、最新の画素に割り当てられ、それによってオプティカルフローフィールドを定義するフローベクトルに基づいた、時点ｉで撮影された画像シーケンスの画像内の物体の画素の、時点ｊで撮影された画素に対する変位を表す。

【0015】

さらに、本発明による方法では、相対運動が決定されるべき少なくとも１つの物体が、デジタル画像シーケンスのそれぞれ最新の画像内の部分画像領域内で位置測定され、この部分画像領域は、物体に割り当てられる。このようにして、物体が検出された画像シーケンス内の各画像について領域が特定され、さらなる計算のためには、物体を特徴づけるこの部分画像領域ＲＯＩ（英語：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を考慮することで十分である。典型的には、物体と概ね等しい長方形の領域が物体に割り当てられる。あるいは、部分画像領域は、いわゆる「セマンティックセグメンテーション」から導出することもできる。本発明のさらなる実施形態では、少なくとも１つの物体の位置測定は、画像シーケンスの選択された画像に対してのみ行うことができる。最新の画像内に複数の物体がそれぞれ配置されている場合、物体への部分画像領域の割り当てによって、割り当てられた部分画像領域を用いて、物体を、方法全体を通して追跡することができる。

【0016】

複数のオプティカルフローフィールドから、複数のオプティカル部分フローフィールドが形成され、それぞれの部分フローフィールドは、複数のフローフィールドのフローフィールドのうちの１つと、画像シーケンスの最新画像の部分画像領域との共通部分として実現される。

【0017】

ここで、フローフィールドの計算は、画像シーケンスの最新画像に基づいて行われ、フローフィールドは、最新の画像に対応する時間間隔を有する画像ペアの他方の画像を用いて計算される。物体は、最新の画像の部分画像領域内に配置され、画像のこの部分画像領域と、最新の画像に基づいて計算されたフローフィールドとの共通部分は、フローフィールドに割り当てられた部分フローフィールドを決定する。

【0018】

この複数の部分フローフィールドから、少なくとも１つの部分フローフィールドは、物体のスケール変化の推定を促進するために、少なくとも１つの基準に応じて選択される。

【0019】

少なくとも１つの物体のスケール変化の推定は、少なくとも１つの選択された部分フローフィールドに基づいて実行される。スケール変化を推定するために、フローベクトルの対が形成され、それを用いてスケール変化が計算される。したがって、適切な部分フローフィールドが選択されていれば、この部分フローフィールドにスケール推定が基づくため、スケール推定に有益となる。

【0020】

画像シーケンス内に複数の物体が配置されている場合は、方法は物体ごとに実行される。すなわち、基準に基づいて、物体ごとに適した部分フローフィールドが選択される。このために、物体ごとに、または付随する部分画像領域ごとに、割り当てによって一義的な識別が行われる。

【0021】

この方法で、装置から異なる距離に位置し、ひいては画像シーケンスの画像において異なって描写される物体のスケール変化の推定のために、最適な部分フローフィールドを、予め定義された基準に応じて選択することができる。

【0022】

このようにして、異なる時間間隔から最適なオプティカル部分フローフィールドを選択することにより、スケーリング計算の品質が向上する。これは、例えば、物体が装置からより大きい距離にある場合には、例えば、対応する画像ペアの画像間の時間間隔がより大きいフローフィールドを選択することにより、より長いフローベクトルを推定のために使用できるためである。すなわち、スケール変化の推定のために、時点ｉにおけるオプティカルフローの計算には、時点ｊにおけるオプティカルフローの計算とは異なる時間間隔を用いてもよい。

【0023】

本発明の一実施形態によれば、部分フローフィールドを選択するための基準を、部分画像領域と、計算されたフローフィールドとの重なりの程度が考慮することが提案される。これにより、物体が計算されたフローフィールド内の画像領域内にあり、部分画像領域によって表される物体の十分な割合を考慮できることが保証される。これは、例えば、計算負荷を軽減するために、画像シーケンスの画像の全面についてフローフィールドを計算しない場合に特に重要である。これについては、以下に詳述する。追加的に、または代替的に、この交差面から形成されるこの重なり面は、場合によって、この重なり内にあるフローベクトルがスケール変化の推定に十分であるほど大きいため、基準は、部分画像領域と計算されたフローフィールドとの共通部分の絶対的な大きさを考慮してもよい。

【0024】

本発明のさらなる実施形態によれば、部分フローフィールドを選択するための基準が、部分フローフィールドのフローベクトルの信号対雑音比の大きさと、追加的に、または代替的に、フローベクトルの計算からの品質基準とを考慮することが提案される。ここで、部分フローフィールドの品質に対する信頼性は、算出されたフローベクトルの信号対雑音比、またはフローベクトルの計算時に算出された品質値のいずれかによって与えられる。さらに、部分フローフィールドを選択するための基準は、追加的に、または代替的に、部分フローフィールドのフローベクトルの数および／または部分フローフィールドのフローベクトルの長さを考慮してもよい。ここで、フローベクトル自体の妥当性は、他の品質基準が利用できない場合には、略信号対雑音比によって決定される。このようなフローベクトルの数が多いほど、スケール変化の推定は確実となりロバストとなる。これに応じてフローベクトルの長さは、スケール変化の推定をある程度改善することができる。

【0025】

本発明のさらなる実施形態によれば、部分フローフィールドを選択するための基準は、画像シーケンスの画像の部分画像領域における物体の位置測定の検出品質を考慮することが提案される。画像の部分領域における物体の位置測定が確実であると、部分フローフィールドにおいても正しいフローベクトルが選択され、これにより推定が改善される。

【0026】

追加的に、または代替的に、基準は、部分画像領域と計算されたフローフィールドとの共通部分に位置する画像領域の特性を考慮してもよい。これにより、画像シーケンスの画像の特性は、部分フローフィールドの選択も入り、これは、例えば、フローベクトルの品質に明らかな影響を有する。この場合、これは、コントラスト、均質性、グレー値分布、グラデーション、あるいは、局所的な強度の分布やエッジの配置が評価されるＨｉｓｔｏｇｒａｍｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓＨＯＧのような、より複雑な特徴および、画像の表現力を特徴づける類似の量であってよい。

【0027】

本発明による方法の一実施形態では、部分フローフィールドを選択するための基準は、以下の不等式を満たすことが前提であり、さらに、部分フローフィールドが計算された時間間隔の大きさも考慮することが提案される。
ＦＶ＞ａｌｐｈａ＊（ＳＺ／ＳＺ_ＭＡＸ）＊ＦＶ_ＭＡＸ
この基準は、特に、他の部分フローフィールド内の数と比較して、部分フローフィールド内のフローベクトルの数を切り捨てる（ａｂｂｅｗｅｒｔｅｎ）。この式の導出は、本明細書では後ほど行う。時間間隔の大きさは、複数の部分フローフィールドの中から、より大きな時間間隔で計算された部分フローフィールドが優先されるように考慮されている。

【0028】

本発明の一実施形態によれば、複数のオプティカルフローフィールドの計算は、画像ペアの画像の画像部分から行われ、画像部分はそれぞれの画像の部分面を表すことが提案される。

【0029】

このように、本発明の適用時には、例えば、装置の前方の地面を装置に対して相対的に移動する車両である物体が、装置からより大きい距離において、装置前方の近傍領域にある物体とは異なる画像シーケンスの画像の画像部分において表示される。

【0030】

これにより、既にオプティカルフローフィールドの計算時に、観察するシーンを選択することが可能となり、これにより、限定された画像面においてフローフィールドの計算を行うため、計算負荷を省くことができる。これにより、例えば、画像シーケンス上で空の描写をフェイドアウトしたり、推定物体が装置の近傍領域または遠方領域にあると予想される場合、それに応じて画像部分を選択したりできる。

【0031】

本発明を改善形態によれば、複数のオプティカルフローフィールドの計算は、画像ペアの画像の少なくとも２つの区別可能な画像部分についておよびそれぞれの場合に異なる時間間隔で実行されることが提案される。

【0032】

フローフィールドの計算のために時間間隔にそれぞれの画像部分を割り当てることにより、装置前の異なる距離から物体が描写される、対応する画像領域に対して、この領域に相対的な時間間隔を使用することが可能となり、これにより、品質を損なうことなく計算負荷を軽減することができる。これは、遠方の物体の部分画像領域がより小さい場合、ロバストな推定にはより長い時間間隔が必要であり、近傍領域では、対応するタイムリーな応答には、短い時間間隔が必要であるためである。したがって、計算負荷が省けるだけでなく、適切な計算が実行される。

【0033】

本発明のさらなる実施形態によれば、少なくとも２つの区別可能な画像部分は、装置からの異なる距離にある物体の位置測定のために、それらの配置および大きさに関連して、遠近法の視点に対応した画像ペアの画像上に配置されていることが提案される。

【0034】

装置前方にある遠い物体が描写されている画像の部分画像領域は、物体が装置前方にある略平面を移動する限り、装置前方の近傍領域にある物体の場合よりも著しく小さい。これらの遠近比を考慮すると、例えば、より遠方の物体の画像部分は、装置の近傍領域にある物体の画像部分よりも、画像シーケンスの画像の上端に向かってさらに小さくすることができる。

【0035】

本発明の一実施形態によれば、少なくとも２つの画像部分は、それらの面の広がりによって区別可能であり、より小さい画像部分は、より大きい画像部分内に完全に配置され、フローフィールドを計算するためのそれぞれに割り当てられた時間間隔は、画像部分が小さいほど大きくなることが提案される。

【0036】

本発明のこの実施形態では、透視視野からの利点と、スケール変化を推定するために有利なより長い時間間隔との両方が組み合わされている。

【0037】

本発明の一実施形態によれば、複数のオプティカルフローフィールドの計算は、画像ペアの画像部分から計算され、ここで、画像部分および／または画像部分の画像ペアの時間間隔への割り当ては、それぞれの画像シーケンスの検出後にそれぞれ設定されることが提案される。

【0038】

これにより、フローフィールドを計算するために使用されるパラメータ、例えば位置、大きさ、および割り当てられる時間間隔を、例えば物体の位置測定からの情報に基づいて、進行中の方法において調整することができる。

【0039】

また、本発明によれば、プログラムがコンピュータによって実行されると、コンピュータに上述の方法を実行させる命令を含むコンピュータプログラム製品が記載されている。

【0040】

さらに、本発明によれば、プログラムがコンピュータによって実行されると、コンピュータに上述の方法を実行させる命令を含むコンピュータ読み取り可能な記憶媒体が記載されている。

【0041】

また、本発明は、少なくとも１つの物体に対するシステムの相対運動を決定するためのシステムを記載している。このシステムは、物体のデジタル画像シーケンスの検出装置を有する。このようなデジタル画像シーケンスの検出装置は、例えば、デジタルカメラ、デジタルビデオカメラであってよい。さらに、システムは、画像シーケンスが評価ユニットに転送されるように装置に連結された評価ユニットを有する。これは、例えば、デジタル画像シーケンスの検出装置を評価ユニットに連結するバスシステムによって行うことができる。ここで、評価ユニットは、上述した本発明による方法を実行し、評価ユニットの出力部に方法の結果を提供するように設定されている。

【0042】

本発明の実施例を図１および図２に示し、以下に詳述する。

【図面の簡単な説明】

【0043】

【図1】少なくとも１つの物体に対する装置の相対運動を決定するための方法のフロー図である。

【図2】少なくとも１つの物体に対する装置の相対運動を決定するためのシステムを示す図である。

【発明を実施するための形態】

【0044】

図１において、フローチャート１０では、少なくとも１つの物体に対する装置の相対運動を決定するための方法ステップが示されている。

【0045】

この方法では、フローフィールド｛Ｕ（ｘ，ｙ，τ）｝の計算Ｓ２と、物体の位置測定Ｓ３のために、デジタル画像シーケンスが提供されるＳ１。

【0046】

本発明による方法の実施例のステップＳ２では、複数のオプティカルフローフィールド｛Ｕ（ｘ，ｙ，τ）｝が計算される。ここで、各フローフィールド｛Ｕ（ｘ，ｙ，τ）｝は、それぞれ画像の座標ｘ、ｙに対応付けられたフローベクトルＵの集合から形成される。フローベクトルＵは、時間間隔τを有するデジタル画像シーケンスの画像ペアから計算される。ここで、個々のフローフィールド｛Ｕ（ｘ，ｙ，τ）｝は、最新の画像および画像シーケンスの画像から複数の異なる時間間隔τ：ｉ…_ｎで算出される。

【0047】

ステップＳ７は、本実施例の任意の形態である。ステップＳ７は、複数のフローフィールドを算出するステップＳ２に先行する。ここで、Ｓ２における複数のオプティカルフローフィールドの計算は、画像ペアの画像の画像部分のみに基づいており、したがって、画像部分はそれぞれの画像の部分面を表している。したがって、ステップＳ７では、図１のステップＳ７で概説したように、複数のフローフィールドを計算するために、より小さい画像部分の確定が提供される。

【0048】

先述したように、スケール変化の推定に関係のない、例えば空などの領域を画像からフェイドアウトすることで、計算負荷を軽減することができる。

【0049】

本発明の別の代替な実施形態では、ステップＳ７において、ステップＳ２における複数のオプティカルフローフィールドを計算するために、画像ペアの画像の区別可能な画像部分について、それぞれ異なる時間間隔が設定されている。

【0050】

この複数のフローフィールドの計算Ｓ２は、任意の数の画像部分、およびそれに付随する時間間隔で行うことができる。先述したように、これにより、遠近法の理由で遠方に小さく表示されている部分画像領域を有する物体を、既にフローフィールドの計算時により小さい画像部分によって完全に検出することが可能になる。したがって、フローフィールドを計算するための計算負荷が軽減され、より遠くの物体に対してより長い時間間隔を割り当てることができるため、スケール変化の推定の精度が向上する。そして、物体の部分画像領域が大きく表示される近傍領域では、反応時間の改善のために時間間隔を小さく選択することができる。

【0051】

画像部分が、位置測定される物体に関連する部分画像領域が複数の画像部分を覆うように配置されている場合には、ある画像部分からの推定値と別の画像部分からの推定値とを比較してもよい。

【0052】

例えば、自動車における典型的な適用では、異なる大きさの３つの画像部分を中央に揃え、互いに入れ子にして配置し、その際最小の画像部分に最長の時間間隔を割り当て、最大の画像部分に最小の時間間隔を割り当て、中間の画像部分には他の２つの時間間隔の間にある時間間隔を割り当てることができる。

【0053】

このように、本発明による方法は、近傍領域および遠方領域の両方の物体について、スケール変化のロバストで正確な推定を可能にし、この推定は他の条件にも適合させることができる。

【0054】

ステップＳ３では、少なくとも１つの物体が画像シーケンスの画像の部分画像領域で位置測定され、それぞれの物体が部分領域に割り当てられる。位置測定Ｓ３の結果は、物体が位置測定され割り当てられた画像シーケンスの画像である。

【0055】

ステップＳ４では、計算されたフローフィールド｛Ｕ（ｘ，ｙ，τ）｝と少なくとも１つの部分画像領域との共通部分からそれぞれ部分フローフィールドが得られ、そこから複数の計算されたフローフィールド｛Ｕ（ｘ，ｙ，τ）｝によって複数の部分フローフィールドが形成される。ここで、各部分フローフィールドは、このフローフィールド｛Ｕ（ｘ，ｙ，τ）｝の決定に用いられる時間間隔によって特徴づけられる。

【0056】

ステップＳ５では、この複数の部分フローフィールドから基準に応じて１つの部分フローフィールドが選択され、適切な基準に応じて選択することにより、物体のスケール変化の推定を促進する。

【0057】

複数の部分フローフィールドの中から少なくとも１つの適切な部分フローフィールドを選択するための基準は、一方では、部分フローフィールドからスケール変化を推定するために必要な条件、他方では、スケール変化をロバストかつ正確に推定する可能性に対する品質考慮から基づいている。

【0058】

部分フローフィールドを用いたスケール推定に必要な条件は、計算されたフローフィールド｛Ｕ（ｘ，ｙ，τ）｝と、例えば自動車などの物体が位置測定される部分画像領域との間の共通部分の最小サイズである。すなわち、部分画像領域と画像部分との共通部分は、スケール変化のロバストな推定のために、例えば経験的に決定された最小サイズを有する必要がある。この経験的な決定では、推定のロバスト性と消費される計算時間との中間を考慮に入れてもよい。

【0059】

また、スケール変化を推定するためには、計算されたフローフィールド｛Ｕ（ｘ，ｙ，τ）｝と部分画像領域との間のこの共通部分が、スケール変化を推定するのに十分な数のフローベクトルを有することが必要であり、これによりスケール変化を推定することができる。また、十分な数のフローベクトルを決定する際には、信号対雑音比やフローベクトル計算による品質係数などの品質基準を用いてもよい。

【0060】

部分フローフィールドを選択するための品質基準は、部分フローフィールドのフローベクトル、部分画像領域における物体検出の特徴、画像部分の特徴に関するものであってもよい。

【0061】

部分フローフィールドを選択するための品質基準は、特に、フローベクトルの計算アルゴリズムによって算出され提供される場合、考慮された部分フローフィールド内のフローベクトル数、または部分フローフィールドがフローベクトルにどれだけ占有されているか、およびフローベクトルの品質値に関連している。フローベクトルの品質値は、ステップＳ２におけるフローフィールドの多様性の計算とステップＳ５における選択との間の任意のデータ交換ＶＩによって行うことができる。

【0062】

さらに、品質基準は、少なくとも１つの物体の位置測定から得られる部分画像領域の特徴に関連していてもよい。

【0063】

これらには、検出の品質や確実性、または位置測定の確率などが含まれる。

【0064】

また、ステップＳ５での選択において、物体検出からの品質基準を考慮するために、ステップＳ３での物体検出とステップＳ５での部分フローフィールドの選択との間で、任意のデータ交換Ｖ２を行うこともできる。

【0065】

部分画像領域と計算されたフローフィールドとの間の重なり領域からの特徴、例えばコントラスト、グレー値分布、グラデーション、特定の特徴の存在、または、Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ＨＯＧから得られる特性、すなわち、局所的な強度の分布またはエッジの配置を考慮することは、品質考慮に任意で含めることができる。

【0066】

さらに、これらの単純な発見法に加えて、例えば「機械学習」（例えば決定木）または「ディープラーニング」（例えば「オフライン」）から算出される自動分類器または学習分類器のようなより複雑な方法を、最適な部分フローフィールドを選択するために使用することができる。

【0067】

本発明による方法の適用および利用可能な計算予算に応じて、これらの基準のいくつかまたは全ての基準が、最適な部分フローフィールドを選択するために適用することができる。

【0068】

以下に、多様な部分フローフィールドの中から物体のスケール変化を推定するために、少なくとも１つの部分フローフィールドを選択する例と、使用する基準を示す。

【0069】

部分画像領域と画像部分との共通部分の重なり面積ＳＺと部分画像領域の総面積との比が所定の閾値、例えば０．７５を超える、または、重なり面ＳＺ、すなわち部分画像領域と算出されたフローフィールドとの共通部分が所定の最小サイズ以上である各部分フローフィールドは、選択プロセスに考慮される。

【0070】

そして、このようにして選択された部分フローフィールドについて、重なり面ＳＺからのフローベクトルＦＶの数が決定される。さらに、選択された部分フローフィールドのうちの１つのそれぞれの重なり面ＳＺにおける最大重なり面ＳＺ_ＭＡＸおよびフローベクトルの最大数ＦＶ_ＭＡＸもまた、考慮された全ての部分フローフィールドによって決定される。

【0071】

そして、算出の基礎となる画像ペア間の時間間隔が最も大きい部分フローフィールドを選択し、この部分フローフィールドは以下の条件を満たす。
ＦＶ＞ａｌｐｈａ＊（ＳＺ／ＳＺ_ＭＡＸ）＊ＦＶ_ＭＡＸ
ここで、ａｌｐｈａは、例えば経験的に決定され得る、選択されるべき重み付け係数である。

【0072】

すなわち、考慮される部分フローフィールドに含まれるフローベクトルの数が、最大重なり面ＳＺ_ＭＡＸに対する重なり面ＳＺの比率と、いずれかの部分フローフィールドにおけるフローベクトルの最大数との積にａｌｐｈａを乗じた値よりも大きいかどうかを比較する。

【0073】

複数の物体が特定されている場合は、重なり面ごとに最適なフローフィールドが個別に選択される。

【0074】

ステップＳ６では、最適な部分フロー領域を選択した後、スケール変化量の推定を行う。スケール変化の推定Ｓ６のために、物体が画像検出システムの光軸に沿って移動する際の相対運動を定量化できるようにするために、重なり面からフローベクトルの対を形成する。

【0075】

典型的に、スケール変更は、ある画像の画素を別の画像の複数の画素にマッピングし、その逆の場合もある。

【0076】

このようなスケール変化から、相対運動の特徴的なパラメータとして、衝突時間ＴＴＣ（Ｔｉｍｅ－ｔｏ－ｃｏｌｉｓｓｉｏｎまたはｔｉｍｅ－ｔｏ－ｃｏｎｔａｃｔｏｒｃｈ）が、その後、さらなるステップで、例えば、特に車両間で導出され得る。

【0077】

図示された方法は、プログラムがコンピュータによって実行されると、コンピュータにその全ての任意の実施形態でこの方法を実行させる命令を含むコンピュータプログラム製品によって実行されてもよい。また、このコンピュータプログラム製品は、コンピュータ読み取り可能な記憶媒体に格納されていてもよい。

【0078】

図２は、少なくとも１つの物体に対するシステム２０の相対運動を決定するためのシステム２０を示す。このシステムは、例えば物体のデジタル画像シーケンス１を検出するための装置を有する。

【0079】

このようなデジタル画像シーケンスを検出するための装置は、例えば、デジタルカメラまたはデジタルビデオカメラであってもよい。さらに、システム２０は、画像シーケンスが評価ユニット２に転送されるような方法で装置１に連結された評価ユニット２を有する。これは、例えば、デジタル画像シーケンスを検出するための装置１と評価装置２とを連結するバスシステム１ａによって行うことができる。ここで、評価ユニット２は、上述した本発明による方法を実行し、その方法の結果を評価ユニットの出力部３に提供するように設定されている。

【図1】

【図2】

【国際調査報告】