▶ コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-31
(45)【発行日】2022-04-08
(54)【発明の名称】カメラ画像からのオブジェクトの検出
(51)【国際特許分類】
G06T 7/00 20170101AFI20220401BHJP
H04N 7/18 20060101ALI20220401BHJP
【ＦＩ】
G06T7/00 650B
H04N7/18 J
H04N7/18 K
【請求項の数】
14
(21)【出願番号】P 2019513924
(86)(22)【出願日】2017-09-28
(65)【公表番号】
(43)【公表日】2019-10-24
(86)【国際出願番号】 DE2017200102
(87)【国際公開番号】W WO2018059631
(87)【国際公開日】2018-04-05
【審査請求日】2020-06-30
(31)【優先権主張番号】102016218852.6
(32)【優先日】2016-09-29
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】503355292
【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ
【住所又は居所原語表記】Ｓｉｅｂｏｌｄｓｔｒａｓｓｅ １９， Ｄ－９０４１１ Ｎｕｅｒｎｂｅｒｇ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(72)【発明者】
【氏名】ヴァルター・ミヒャエル
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０１３－２３９１４３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０１４００７６（ＵＳ，Ａ１）
【文献】特開２０１０－０９３６１０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
以下のステップを包含していることを特徴とする車載カメラの一連の画像からオブジェクトを検出するための方法：ａ）車載カメラを用いて一連の画像を撮影するステップ、
ｂ）マッチング特徴を、二枚の連続する画像内において割り出すステップ、
ｄ）隣接するマッチング特徴を、それぞれ、空間内の一つのグランド・レベル、一つのバックウォール・レベル或いはサイドウォール・レベルへ分類することによって、空間内の複数のレベルを、割り出すステップ、並びに、
ｆ）ステップｄ）において割り出したレベルを考慮しつつ、オブジェクトを検出するステップ。
【請求項2】
以下のステップを包含していることを特徴とする請求項１に記載の方法：ｃ）複数のレベルを割り出すために、隣接するマッチング特徴に対する同形異義性を算出するステップ。
【請求項3】
以下のステップを包含していることを特徴とする請求項２に記載の方法：ｅ）算出した同形異義性を基にマッチング特徴をセグメント化するステップ。
【請求項4】
以下のステップを包含していることを特徴とする請求項１から３のうち何れか一項に記載の方法：ステップｄ）において、空間内におけるグランド・レベル、バックウォール・レベル及びサイドウォール・レベルの方向を予め定めるステップ。
【請求項5】
少なくとも一枚のバックウォール・レベルが、等式：【数1】
に従って算出されることを特徴とする請求項１から４のうち何れか一項に記載の方法。
【請求項6】
少なくとも一枚のグランド・レベルが、等式：【数2】
【請求項7】
少なくとも一枚のサイドウォール・レベルが、等式：【数3】
【請求項8】
同じオリエンテーションを有する複数のレベルがある場合、同じオリエンテーションのレベルが、帰属するｔｘ，ｔｙ，ｔｚ・値によって、分離されることを特徴とする請求項１から７のうち何れか一項に記載の方法。
【請求項9】
一枚の画像が、グリッドにより、同様のセルに分割され、各々のセルに対しては、その中で割り出されたマッチング特徴から、それぞれ同形異義性が算出され、且つ、一致する同形異義性を有するセルが、クラスター化されることを特徴とする請求項２から８の何れか一項に記載の方法。
【請求項10】
第一のセルの該算出された同形異義性が、一つの隣接するセルの同形異義性と十分に一致しない場合に、該第一のセル内のマッチング特徴のバックプロジェクションエラーが、隣接するセルの同形異義性のバックプロジェクションエラーと比較され、該第一のセル内のクラスター境界を割り出すことができる様に、該マッチング特徴が、最も小さなエラーを有する同形異義性に帰属されることを特徴とする請求項９に記載の方法。
【請求項11】
該レベルと隣接するマッチング特徴との帰属が、車載カメラの画像の実質的全面において割り出されることを特徴とする請求項１から１０のうち何れか一項に記載の方法。
【請求項12】
車載カメラは、単眼カメラであることを特徴とする請求項１から１１のうち何れか一項に記載の方法。
【請求項13】
バックウォール・レベル及び／又はサイドウォール・レベルから、高さを有するオブジェクト用のオブジェクト仮定を推定することを特徴とする請求項１から１２のうち何れか一項に記載の方法。
【請求項14】
車載カメラの一連の画像からオブジェクトを検出するための装置であって：ａ）車載カメラによって、一連の画像を撮影するステップ
を実施できる様に構成されているカメラ制御手段、
並びに、
ｂ）二枚の連続する画像内においてマッチング特徴を割り出すステップ、
ｄ）空間内の複数のレベルを、隣接するマッチング特徴をそれぞれ空間内の一つのグランド・レベル、一つのバックウォール・レベル或いはサイドウォール・レベルへ分類することによって割り出すステップ、及び、
ｇ）割り出したレベルを考慮しつつ、一つの、乃至、複数のオブジェクトを検出するステップ
を実施できる様に構成されている評価用電子装置
を包含している装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラの画像からオブジェクトを検出するための方法に関し、特にカメラベースのドライバー・アシスタント・システムにおいて、使用されることができる。
【背景技術】
【0002】
最新の従来の技術における車両認識システムは、クラシフィケーション、即ち、分級をベースにしたものが大半である。クラシフィケーション・ベースのシステムは、トレーニング・データにおいて見たことのある車両、乃至、車両コンポーネントを再認識することができる。しかし、新しい車両デザインや変更された構造などが、システム・パフォーマンスの著しい低下の原因となり得るため、オブジェクトを認識するための汎用的なアプローチが望まれている。
【0003】
特許文献１（ＵＳ ２０１４／０１６１３２３ Ａ１）は、一台のモノカメラによって撮影された画像から緻密な三次元ストラクチャーを作成するための方法を開示している。
【0004】
特許文献２（ＥＰ ２ ９９３ ６５４ Ａ１）は、カメラ画像からフロント衝突警告（ＦＣＷ）を実施するための方法を開示している。ここでは、予め定められているタイム・インターバル内に自車両が到達すると予測される画像領域が、分析される。そして、該領域内にオブジェクトが、認識された場合、衝突警告が、出力される。
【先行技術文献】
【特許文献】
【0005】
【文献】米国特許出願公開第２０１４／０１６１３２３号明細書
【文献】欧州特許出願公開第２９９３６５４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
よって、本発明の課題は、オブジェクトを汎用的に認識するための方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の出発点は、以下の様な考察であった：二枚のフレーム（シングル画像）のカメラポジションが既知であれば、ポイント・マッチング（互いに関連している特徴的ポイント）を三角測量することはできるが、三角測量では、ポイント・クラウドを有意義なオブジェクトにクラスター化することができるモデル・ノレッジは用いることができないため、オブジェクトを作成できないこと。シングルレンズシステムの欠点として、エピポール付近では、オブジェクトを、正確には、三角測量できないこと、並びに、そこにおいて、エゴモーション（カメラ自体の動き）における微々たるエラーが、多大な影響を有すること。
尚、ここで言う「エピポール」とは、第二時点においてカメラの中心に撮影される、第一カメラ画像内の画像点のことを意味している。例えば、真っすぐに走行している場合、バニシング・ポイントが、エピポールに相当する。しかしながらそれは、停止している、或いは、前方を走行している車両への追突を認識するために重要な領域である。エピポール・ジオメトリに従って動いている場合、動的なオブジェクトは、三角測量することができる。しかしながら、相対速度が既知でなければ、その間隔は、近すぎ、或いは、遠すぎに推定される。
尚、ここで言う「エピポール」とは、第二時点においてカメラの中心に撮影される、第一カメラ画像内の画像点のことを意味している。例えば、真っすぐに走行している場合、バニシング・ポイントが、エピポールに相当する。しかしながらそれは、停止している、或いは、前方を走行している車両への追突を認識するために重要な領域である。エピポール・ジオメトリに従って動いている場合、動的なオブジェクトは、三角測量することができる。しかしながら、相対速度が既知でなければ、その間隔は、近すぎ、或いは、遠すぎに推定される。
【0008】
そこで、個々のマッチングの代わりに、複数の隣接するマッチング（互いに関連している特徴）を観察すれば、オブジェクトを、異なる速度、スケール、変形を基に、セグメント化できる。
【0009】
本発明に係る、車載カメラの一連の画像からオブジェクトを検出するための方法は、以下のステップを包含している：
ａ）車載カメラを用いて一連の画像を撮影するステップ、
ｂ）マッチング特徴を、二枚の連続する画像内において割り出すステップ、
ｄ）隣接するマッチング特徴を、それぞれ、空間内の一枚のレベルに分類することによって、空間内の複数のレベルを、割り出すステップ、並びに、
ｆ）（ステップｄ）において）割り出したレベルを考慮しつつ、オブジェクトを検出するステップ。
ａ）車載カメラを用いて一連の画像を撮影するステップ、
ｂ）マッチング特徴を、二枚の連続する画像内において割り出すステップ、
ｄ）隣接するマッチング特徴を、それぞれ、空間内の一枚のレベルに分類することによって、空間内の複数のレベルを、割り出すステップ、並びに、
ｆ）（ステップｄ）において）割り出したレベルを考慮しつつ、オブジェクトを検出するステップ。
【0010】
尚、該車載カメラは、好ましくは、車両の周辺部を撮影するために構成されている。ここで言う「周辺部」とは、特に、該車両の前方に横たわる周辺部である。該車載カメラカメラは、好ましくは、一つの運転手アシスタント装置内に内蔵されている、或いは、これと接続自在であるが、ここでは、該運転手アシスタント装置は、該車載カメラ手段が提供する画像データからオブジェクトを認識することができるように構成されていることが特に好ましい。尚、該車載カメラ手段は、好ましくは、車両の内部空間のフロントガラスの後ろに配置され、走行方向に向けられたカメラである。特に、該車載カメラは、単眼カメラであることが好ましい。
【0011】
また、該車載カメラによっては、ある特定の、乃至、既知の時点毎にそれぞれ一枚の個別画像が撮影され、これらから、一連の画像シーケンスが、得られる。
【0012】
ここで言う「マッチング」とは、第一画像内の特徴に対応する二枚目の画像内の特徴のことである。二枚の画像内のマッチング特徴は、該特徴が、該画像間においてどのように移動したのかを示すフローベクトルとしても記述される。該特徴は、特に好ましくは、一つの画像領域（乃至、パッチ）、一個のピクセル、一つのエッジ、或いは、角であることができる。
ステップｄ）は、代案的には、以下の様に記述することもできる：そのそれぞれに、複数の隣接するマッチング特徴が、その時点において存在している、或いは、それらがそこに入ってくるであろう、複数のレベルを割り出すステップ。
ステップｄ）には、空間内に複数のレベルを予め設定し、且つ、該予め設定されたレベルのそれぞれ一枚に、隣接するマッチング特徴を分類することも包含されている（下のステップｄ２参照）。
ステップｄ）は、代案的には、以下の様に記述することもできる：そのそれぞれに、複数の隣接するマッチング特徴が、その時点において存在している、或いは、それらがそこに入ってくるであろう、複数のレベルを割り出すステップ。
ステップｄ）には、空間内に複数のレベルを予め設定し、且つ、該予め設定されたレベルのそれぞれ一枚に、隣接するマッチング特徴を分類することも包含されている（下のステップｄ２参照）。
【0013】
本発明のコンテクストにおける「レベル」とは、以下の事柄を記述するものである：
第一に、これは、隣接するマッチング特徴を集積する条件である。即ち、それらマッチングが空間内の共通のレベル内にあり、且つ、該レベルの動きに応じて時間的に共に進展する場合、それらは互いに帰属していると見なされる。
続いて、この様に集積されたマッチング特徴は、例えば、全てが路面レベルに相当するレベルに存在しているため、「グランド・レベル」と称される。しかしながらこの様なグランド・レベルは、無限に広がるものではなく、該レベルの部分領域、即ち、実際にマッチング特徴が配置されている領域のみを意味している。
第一に、これは、隣接するマッチング特徴を集積する条件である。即ち、それらマッチングが空間内の共通のレベル内にあり、且つ、該レベルの動きに応じて時間的に共に進展する場合、それらは互いに帰属していると見なされる。
続いて、この様に集積されたマッチング特徴は、例えば、全てが路面レベルに相当するレベルに存在しているため、「グランド・レベル」と称される。しかしながらこの様なグランド・レベルは、無限に広がるものではなく、該レベルの部分領域、即ち、実際にマッチング特徴が配置されている領域のみを意味している。
【0014】
ステップｆ）における「・・・を考慮しつつ」と言う表現は、ステップｄ）において割り出した複数のレベルを、オブジェクトを検出する際に考慮する事を意味している。これは、例えば、認識されたグランド・レベルから、路面仮定を、推定し、更に、バックウォール・レベル及びサイドウォール・レベルから、高さを有するオブジェクト用のオブジェクト仮定を推定することによりに実施することができる。一つの路面仮定と、高さを有するオブジェクト用の（複数であり得る）オブジェクト仮定さえあれば、車両の周辺部内のどのフリー空間が、その時点において、走行可能であるかを示すフリー空間検知を実施することができる。フリー空間検知の好ましい用途としては、例えば、走行レーンマークの認識に依存しない車線縁検出における使用を挙げることができる。
【0015】
「オブジェクトの検出」と言う表現は、例えば、オブジェクト仮定の、乃至、オブジェクトの生成を意味することができる。
【0016】
ある好ましい実施形態によれば、該方法は、以下のステップも包含している：
ｃ）複数のレベルを割り出すために、隣接するマッチング特徴に対する同形異義性を算出するステップ。
同形異義性は、二つのカメラポジション間の一枚のレベル上のポイントの関連性、或いは、車載カメラの二枚の連続する画像内のポイントの関連性を記述するものである。即ち、隣接するマッチング特徴の同形異義性を算出することにより、隣接するマッチング特徴のそれぞれ一枚の空間内のレベルへの分類を実施することができる（ステップｄ）参照）。
ｃ）複数のレベルを割り出すために、隣接するマッチング特徴に対する同形異義性を算出するステップ。
同形異義性は、二つのカメラポジション間の一枚のレベル上のポイントの関連性、或いは、車載カメラの二枚の連続する画像内のポイントの関連性を記述するものである。即ち、隣接するマッチング特徴の同形異義性を算出することにより、隣接するマッチング特徴のそれぞれ一枚の空間内のレベルへの分類を実施することができる（ステップｄ）参照）。
【0017】
本方法は、以下のステップも包含していることが好ましい：
ｅ）算出した同形異義性を基にマッチング特徴をセグメント化するステップ。
特に、算出した同形異義性を基にすれば、マッチング特徴をセグメント化することができる、即ち、異なるセグメントに分類することができる。ステップｆ）では、オブジェクトの検出を、セグメント化した特徴を考慮して実施することも可能である。
ｅ）算出した同形異義性を基にマッチング特徴をセグメント化するステップ。
特に、算出した同形異義性を基にすれば、マッチング特徴をセグメント化することができる、即ち、異なるセグメントに分類することができる。ステップｆ）では、オブジェクトの検出を、セグメント化した特徴を考慮して実施することも可能である。
【0018】
本方法の好ましい発展形態は、ステップｄ２）も包含している：隣接するマッチング特徴を、それぞれ一つのグランド・レベル、一つのバックウォール・レベル或いはサイドウォール・レベルへ分類するステップ。ｘ方向が、水平乃至横方向、ｙ方向が、垂直、そして、ｚ方向が、車体前後方向である座標系の場合は、グランド・レベルを、ｙ方向基準に、バックウォール・レベルを、ｚ方向基準に、そして、サイドウォール・レベルをｘ方向基準に予め定めることもできる。
グランド・レベルの、バックウォール・レベルの、そして、サイドウォール・レベルの同形異義性を算出することにより、隣接するマッチング特徴を、これらのレベルのうちの一枚に割り当てることができる。
グランド・レベルの、バックウォール・レベルの、そして、サイドウォール・レベルの同形異義性を算出することにより、隣接するマッチング特徴を、これらのレベルのうちの一枚に割り当てることができる。
【0019】
好ましくは、バックウォール・レベル用の同形異義性は、式（１０）に、グランド・レベル用では、式（９）に、そして、サイドウォール・レベル用では、式（１１）に従って算出されることができる。
式中、ａ，ｂ，ｃは、定数であり、ｘ０，ｙ０，ｘ１，ｙ１は、時点ｔ－０に撮影された第一画像（インデックス０）と過去の時点ｔ－１に撮影された第二画像（インデックス１）内のマッチングを示し、また、ｔｘ，ｔｙ，ｔｚは、ベクトルｔ／ｄのコンポーネントを示している。尚、ｔは、車載カメラの平行移動を、ｄは、レベルまでの距離（そのレベルに対して垂直）、即ち、そのレベルの標準ベクトルに沿った距離を示している。コンポーネントｔｘ，ｔｙ乃至ｔｚは、以下、「インバースＴＴＣ」とも呼ばれる。ＴＴＣは、「Ｔｉｍｅ ｔｏ ｃｏｌｌｉｓｉｏｎ」の頭文字を取ったものであり、ある空間方向において、間隔を平行移動速度で割ったものである。
式中、ａ，ｂ，ｃは、定数であり、ｘ０，ｙ０，ｘ１，ｙ１は、時点ｔ－０に撮影された第一画像（インデックス０）と過去の時点ｔ－１に撮影された第二画像（インデックス１）内のマッチングを示し、また、ｔｘ，ｔｙ，ｔｚは、ベクトルｔ／ｄのコンポーネントを示している。尚、ｔは、車載カメラの平行移動を、ｄは、レベルまでの距離（そのレベルに対して垂直）、即ち、そのレベルの標準ベクトルに沿った距離を示している。コンポーネントｔｘ，ｔｙ乃至ｔｚは、以下、「インバースＴＴＣ」とも呼ばれる。ＴＴＣは、「Ｔｉｍｅ ｔｏ ｃｏｌｌｉｓｉｏｎ」の頭文字を取ったものであり、ある空間方向において、間隔を平行移動速度で割ったものである。
【0020】
有利な発展形態によれば、同じオリエンテーションを有する複数のレベルがある場合、同じオリエンテーションのレベルは、帰属するｔｘ，ｔｙ，ｔｚ・値によって、分離されることができる。例えば、ｚ方向において、車載カメラからの距離が異なる二枚のバックウォール・レベルは、異なるｔｚ・値を基に区別することができる。
【0021】
尚、一枚の画像は、グリッドにより、同様のセルに分割され、各々のセルに対しては、その中で割り出されたマッチング特徴から、それぞれ同形異義性が算出されることが好ましい。続いて、一致する同形異義性を有するセルは、クラスター化されることができる。
【0022】
第一のセルの算出された同形異義性が、一つの隣接するセルの同形異義性と十分に一致する場合、レベル境界を割り出すために、個々のマッチング特徴の所謂「バックプロジェクションエラー」を観察することが、好ましく実施できる。
即ち、マッチング特徴を、バックプロジェクションエラーによって、評価することができる。この「バックプロジェクションエラー」は、測定したフローと算出した同形異義性から予測されたフローとの間の差異を与えるものである。言い換えれば、一枚のレベルのバックプロジェクションエラーは、時点ｔ－０のポイントｘと、同形異義性に従ってこのレベル上に投影された過去の時点ｔ－１におけるマッチングするポイントとの間の差異を示す値である（以下の式４参照）。
一つの第一のセル内のマッチング特徴のバックプロジェクションエラーが、隣接するセルの同形異義性のバックプロジェクションエラーと比較され、このマッチング特徴が、最も小さなエラーを有する同形異義性に帰属されれば、第一のセル内のレベル境界（乃至、セグメント境界、或いは、クラスター境界）を、より鮮明にすることができる。この様にすることで、一つのセルのマッチング特徴を、異なるレベルに分類することができる。
即ち、マッチング特徴を、バックプロジェクションエラーによって、評価することができる。この「バックプロジェクションエラー」は、測定したフローと算出した同形異義性から予測されたフローとの間の差異を与えるものである。言い換えれば、一枚のレベルのバックプロジェクションエラーは、時点ｔ－０のポイントｘと、同形異義性に従ってこのレベル上に投影された過去の時点ｔ－１におけるマッチングするポイントとの間の差異を示す値である（以下の式４参照）。
一つの第一のセル内のマッチング特徴のバックプロジェクションエラーが、隣接するセルの同形異義性のバックプロジェクションエラーと比較され、このマッチング特徴が、最も小さなエラーを有する同形異義性に帰属されれば、第一のセル内のレベル境界（乃至、セグメント境界、或いは、クラスター境界）を、より鮮明にすることができる。この様にすることで、一つのセルのマッチング特徴を、異なるレベルに分類することができる。
【0023】
この様な、レベルと隣接するマッチング特徴との帰属は、本質的に、車載カメラの画像全面（少なくとも画像面積の８０％、好ましくは、少なくとも９０％）において割り出されることが好ましい。本発明に係る方法は、迅速な方法として実装し得るため、汎用的オブジェクト検出、乃至、シーン解釈を、略画像全面に対して、リアルタイムに実施できる。
【0024】
更に、以下を包含する車載カメラの一連の画像からオブジェクトを検出するための装置も本発明の対象である：
カメラ制御手段、並びに、
評価用電子装置、
但し、
該カメラ制御手段は、以下のステップを実施できる様に、コンフィグレーションされている、乃至、構成されている：
ａ）車載カメラによって、一連の画像を撮影するステップ；
また、
該評価用電子装置は、以下のステップを実施できる様に、コンフィグレーション／構成されている：
ｂ）二枚の連続する画像内においてマッチング特徴を割り出すステップ、
ｄ）空間内の複数のレベルを、隣接するマッチング特徴をそれぞれ空間内の一枚のレベルに分類することによって割り出すステップ、そして、
ｇ）（ステップｄ）において）割り出したレベルを考慮しつつ、一つの、乃至、複数のオブジェクトを割り出す（或いは、生成する）ステップ。
カメラ制御手段、並びに、
評価用電子装置、
但し、
該カメラ制御手段は、以下のステップを実施できる様に、コンフィグレーションされている、乃至、構成されている：
ａ）車載カメラによって、一連の画像を撮影するステップ；
また、
該評価用電子装置は、以下のステップを実施できる様に、コンフィグレーション／構成されている：
ｂ）二枚の連続する画像内においてマッチング特徴を割り出すステップ、
ｄ）空間内の複数のレベルを、隣接するマッチング特徴をそれぞれ空間内の一枚のレベルに分類することによって割り出すステップ、そして、
ｇ）（ステップｄ）において）割り出したレベルを考慮しつつ、一つの、乃至、複数のオブジェクトを割り出す（或いは、生成する）ステップ。
【0025】
該カメラ制御手段乃至評価用電子装置は、特に好ましくは、マイクロコントローラ乃至プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ／フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する制御ステップや評価ステップを実施するためのソフトウェアを包含している。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
【0026】
本発明の更なる特徴、長所、及び、作用は、以下の好ましい実施例の説明によって示される。図の説明：
【図面の簡単な説明】
【0027】
【図1】接近して来るバックウォール・レベルの典型的な変形を模式的に示す図である。
【図2】接近して来るグランド・レベルの典型的な変形を模式的に示す図である。
【図3】ａ）高速で、ｂ）低速で接近して来る乃至遠距離にあるバックウォール・レベルの典型的な変形を模式的に示す図である。
【図4】セル内に二つの異なるセグメントを有する一枚の画像の区分を模式的に示す図である。
【図5】第三反復ステップ後のセグメント化結果を示す図である。
【図6】ターゲット・バリデーション（衝突する可能性のあるオブジェクトのバリデーション）のためのレベル・オリエンテーションを示す図である。
【図7】ＴＴＣ（Ｔｉｍｅ ｔｏ Ｃｏｌｌｉｓｉｏｎ）ビューを示す図である。
【図8】時点ｔ－０（右）の時点ｔ－１（左）に対するガードレールセグメントの投影（乃至、ワープ）を示す図である。
【発明を実施するための形態】
【0028】
互いに対応する部分は、通常、全ての図において同じ符号がつけられている。
【0029】
図１には、第一時点ｔ－１において斜線で示されている領域（点線２０）を占有しているバックウォール・レベル（ｂａｃｋ ｐｌａｎｅ／後面）が、示されている。それに続く時点ｔでは、車載カメラと該バックウォール・レベルとの間隔が縮まったため、矢印（ｄ１）によって示唆される画像内のバックウォール・レベルの領域の変形（２１、実線）が発生する。領域（２０；２１）は、車載カメラとバックウォール・レベルの相対的移動に伴ってスケール乃至拡大する。
【0030】
図２には、第一時点ｔ－１において斜線で示されている領域（点線３０）を占有しているグランド・レベル（ｇｒｏｕｎｄ ｐｌａｎｅ／地面）が、示されている。これは、該車両が走行している道路表面のある領域であることができる。車載カメラの自己運動に伴い、次の時点ｔにおける（画像内の）領域が、変化し、矢印（ｄ２）によって描かれているようにグランド・レベルの領域（３２）が変形する。時点ｔでは、符号３２によって示されているラインにより、グランド・レベルの領域が、区画される。即ち、ここで言う「グランド・レベル」は、道路表面の区画された領域であると解釈することができる。周縁領域は、例えば、画像シーケンスにおいてトラッキングされるシグナチュア（識別特性）（或いは、周縁ポイント）などから得られる。
【0031】
図３は、時点ｔ－１において、図３ａのバックウォール・レベル（２０）が、図３ｂのバックウォール・レベル（２０）と同じ間隔を有していたと仮定した場合の、高速（図３ａ：２０，２１；変形ｄ１）、及び、低速（図３ｂ）で接近して来ているバックウォール・レベル（２０，２３；変形ｄ３）の違いを示している。
代案的に、図３は、例えば、同じ（相対）速度で動いている近距離にあるバックウォール・レベル（図３ａ：２０，２１；変形ｄ１）と遠距離にあるバックウォール・レベル（２０，２３；変形ｄ３）を示すこともできるが、この場合は、図３ｂに示されているオブジェクト（２０，２１）は、実空間では、図３ａに示されているオブジェクト（２０，２３）よりも大きなものである。
代案的に、図３は、例えば、同じ（相対）速度で動いている近距離にあるバックウォール・レベル（図３ａ：２０，２１；変形ｄ１）と遠距離にあるバックウォール・レベル（２０，２３；変形ｄ３）を示すこともできるが、この場合は、図３ｂに示されているオブジェクト（２０，２１）は、実空間では、図３ａに示されているオブジェクト（２０，２３）よりも大きなものである。
【0032】
そこで、個々のマッチングの代わりに、複数の隣接するマッチングを観察すれば、オブジェクトを、異なる速度、スケール、変形を基に、セグメント化できる。
【0033】
世の中がレベルから構成されていると仮定した場合、これらは、同形異義性に示され、以下に示す如く、距離、速度、並びに、オリエンテーションによって区別できる。
同形異義性は、二つのカメラポジション間の一枚のレベル上のポイントの関連性（マッチング）、或いは、二枚の連続するフレーム内のポイントの関連性（マッチング）を記述するものである：
同形異義性は、二つのカメラポジション間の一枚のレベル上のポイントの関連性（マッチング）、或いは、二枚の連続するフレーム内のポイントの関連性（マッチング）を記述するものである：
【0034】
【数1】
【0035】
ここで、ベクトルｘｔ０は、時点ｔ－１におけるベクトルｘｔ１の時点ｔ－０における３Ｄマッチングを記述している。同形異義性は、画像ベースに、四つのポイント・マッチングから算出できる（Ｔｕｔｏｒｉａｌ： Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ， Ｈａｒｔｌｅｙ， Ｒ． ａｎｄ Ｚｉｓｓｅｒｍａｎ， Ａ．， ＣＶＰＲ Ｊｕｎｅ １９９９：
ｈｔｔｐｓ：／／ｄｅ．ｓｃｒｉｂｄ．ｃｏｍ／ｄｏｃｕｍｅｎｔ／９６８１０９３６／Ｈａｒｔｌｅｙ－Ｔｕｔ－４ｕｐ アクセス日：２０１６年０９月２６日、参照）。該チュートリアルの６頁の左上（シート２１）に記載のマッチングから等式１の表記法において、以下の様に表現することができる：
ｈｔｔｐｓ：／／ｄｅ．ｓｃｒｉｂｄ．ｃｏｍ／ｄｏｃｕｍｅｎｔ／９６８１０９３６／Ｈａｒｔｌｅｙ－Ｔｕｔ－４ｕｐ アクセス日：２０１６年０９月２６日、参照）。該チュートリアルの６頁の左上（シート２１）に記載のマッチングから等式１の表記法において、以下の様に表現することができる：
【0036】
【数2】
【0037】
代案的には、レベルの基準ベクトルｎに沿ったカメラ・トランスレーションｔ、ローテーションＲ、及び、距離ｄが既知であれば、同形異義性は、等式３によって算出できる。等式３は、インバースＴＴＣｔ／ｄが、ゼロではないこと、異なるオリエンテーションｎを有するレベルは、モデル化できること、そして、同じオリエンテーションｎを有するレベルは、インバースＴＴＣによって、区別できることを示している。
【0038】
【数3】
【0039】
同形異義性は、理論的には、基準ベクトルｎ、ローテンション・マトリックスＲ、並びに、インバースＴＴＣｔ／ｄに分解できる。しかし、残念ながら、この分解は、数値的に見て、非常に不安定かつ測定エラーに対して敏感である。
【0040】
レベルを用いて、あるシーンを記述する場合、以下に示す様にセグメント化することができる。
【0041】
図４は、セルへの分割を模式的に示している（グリッド、網／ライン）。該シーンは、ＮｘＭイニシャル・セルに分割され、各々のポイント・マッチングには、一義的なＩＤが、与えられる。このＩＤは、第一に、あるセルへの帰属を示すものである。更に、このＩＤは、一つのクラスター、或いは、あるオブジェクトへの帰属を示すこともできる。
斜線部は、前景の（特にバックウォール・レベル内の）オブジェクトを示している。背景は、白色で示されている。
一つのセルが一つのオブジェクトのみを包含している場合（セルＢ３，Ｄ３）、同形異義性により、これらのセルを明確に記述できる。しかしながら、これらのセルが、複数のオブジェクトを包含している場合（セルＣ３）、同形異義性によって、双方のオブジェクトを明確に記述することはできない。ポイント・マッチング（黒点、乃至、黒色の十字、乃至「ｘ」）が、隣接するセル（Ｂ３乃至Ｄ３）のクラスター（乃至セグメント）に、バックプロジェクションエラーによって帰属されてしまった場合、セルＣ３用の同形異義性は、前景も背景も明確に記述できないため、該黒点は、セルＢ３のセグメントに帰属され、該黒色の十字は、セルＤ３のセグメントに帰属される。
斜線部は、前景の（特にバックウォール・レベル内の）オブジェクトを示している。背景は、白色で示されている。
一つのセルが一つのオブジェクトのみを包含している場合（セルＢ３，Ｄ３）、同形異義性により、これらのセルを明確に記述できる。しかしながら、これらのセルが、複数のオブジェクトを包含している場合（セルＣ３）、同形異義性によって、双方のオブジェクトを明確に記述することはできない。ポイント・マッチング（黒点、乃至、黒色の十字、乃至「ｘ」）が、隣接するセル（Ｂ３乃至Ｄ３）のクラスター（乃至セグメント）に、バックプロジェクションエラーによって帰属されてしまった場合、セルＣ３用の同形異義性は、前景も背景も明確に記述できないため、該黒点は、セルＢ３のセグメントに帰属され、該黒色の十字は、セルＤ３のセグメントに帰属される。
【0042】
しかし、該シーンに関する予備知識があれば、例えば、車両の近距離領域、乃至、正の分級応答を有する領域に対して大きな領域を作成するなどのより、セグメントの大きさをシーンに合わせることが可能である。等式５から１０に示す如く、各々のセグメントに対して、専属のバック／グランド／サイド面・同形異義性を算出する。
【0043】
図４に示す如く、自由度の低い同形異義性では、異なるレベルを包含する領域を、良好にモデル化できないため、関連するポイントに、より高いバックプロジェクションエラーが、与えられてしまうが、該バック／グランド／サイド面・同形異義性を算出することにより、分離の鮮明度を高めることができる。尚、該バックプロジェクションエラー・ｅｉは、時点ｔ－０におけるポイントｘを、時点ｔ－１にける関連するポイントのレベルｉの同形異義性によって、如何に良好に記述することができるかを示す値である：
【0044】
【数4】
【0045】
カメラの取付場所が、固定的であり、カメラ・ローテーションが、二つの異なるビューであると仮定した場合（例えば、単眼システムにおいてカメラキャリブレーションが既知であり、基礎マトリックスが算出されている、乃至、回転数センサー・クラスターのローテーション値）、インバースＴＴＣｔ／ｄは、以下、グランド面ｎ’＝［０１０］用に例として示す如く、固定的カメラ・ローテーションに対して補整されたフローベクトルから、算出できる。尚、ローテーションが既知でない場合は、近似的に、単位マトリックスを代入することも可能である。
等式３の商ｔ／ｄに、
等式３の商ｔ／ｄに、
【0046】
【数5】
【0047】
を代入すると以下の様になる：
【0048】
【数6】
【0049】
【数7】
【0050】
【数8】
【0051】
均一な座標を標準化すると以下が得られる：
【0052】
【数9】
【0053】
一つ以上の測定に対して、特定のベクトルｘ、マトリックスＭ、及び、ベクトルｖからなるＭｘ＝ｖのような形の等式システムが得られ（等式９参照）、これは、サポート点としての少なくとも三つの画像関連性に対して、例えば、ＳＶＤ（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ、マトリックスの特異値分解）、或いは、最小二乗法（Ｌｅａｓｔ－Ｓｑｕａｒｅ）によって解くことができる：
【0054】
【数10】
【0055】
バック面及びサイド面同形異義性の導きも同様であり、以下の様にして得られる：
【0056】
【数11】
【0057】
大きな、複数のセルから構成されているオブジェクトをセグメント化するには、次のステップにおいて、バックプロジェクションエラー、乃至、隣接するセグメントｊとｉのサポート点（下の段落１．：ＲＡＮＳＡＣ参照）、並びに、これらの同形異義性を算出することにより、隣接するセルを統合することができる。
【0058】
【数12】
【0059】
【数13】
【0060】
【数14】
【0061】
【数15】
【0062】
よりも小さく、且つ、双方のバックプロジェクションエラー・
【0063】
【数16】
【0064】
【数17】
【0065】
セグメントが統合され、同形異義性が、新しく算出され、該ポイント・マッチングが、バックプロジェクションエラーが最も小さいクラスターに分類される。直接的に境を接しているクラスターのみを観察した場合、非常にコンパクトなオブジェクトを生成できる。最少エラーが、設定自在な閾値を超えた場合、部分的に覆われたオブジェクト、乃至、ＴＴＣが僅かにしか異ならないオブジェクトを認識できる様に、該マッチングには、新しい（クラスター／オブジェクト）ＩＤが、割り当てられる。閾値を設定することにより、解像度を、（僅かに）差を有するオブジェクトに合わせることができる。
【0066】
該バックプロジェクションエラーには、連続する領域のコストを下げるバイアス、或いは、ポイント・マッチングが、長時間、同じＩＤ割り当てを有していた場合、ＩＤ交換のコストを高めるバイアスを付与することができる。
【0067】
図５は、シーン・セグメント化の例を示している：
図５ａは、車両の内部に配置され、フロントガラスを介して、前方に横たわる周辺を捕捉する車載カメラによって撮影された画像を示している。そこには、三車線の道路（５１）、例えば、アウトバーン（ドイツの高速道路）が写っている。該走行レーンは、適宜な走行レーンマークによって区画されている。三つ全ての走行レーン上を車両が、走行している。自車線上の前方を走行中の車両（５３）は、更なる自車線上の前方を走行中の車両を覆っている可能性を有している。三車線の道路の左側には、建築的に高くなった対向車線との境界（５２）がある。三車線の道路（５１）の右側には、その先には森が続くガードレールによって、その右側が区画されている路肩乃至非常停車帯がある。自車両の前方のある距離を置いた地点には、三車線の道路（５１）にかけられている交通標識用架橋（ガントリー）が認識できる。
図５ａは、車両の内部に配置され、フロントガラスを介して、前方に横たわる周辺を捕捉する車載カメラによって撮影された画像を示している。そこには、三車線の道路（５１）、例えば、アウトバーン（ドイツの高速道路）が写っている。該走行レーンは、適宜な走行レーンマークによって区画されている。三つ全ての走行レーン上を車両が、走行している。自車線上の前方を走行中の車両（５３）は、更なる自車線上の前方を走行中の車両を覆っている可能性を有している。三車線の道路の左側には、建築的に高くなった対向車線との境界（５２）がある。三車線の道路（５１）の右側には、その先には森が続くガードレールによって、その右側が区画されている路肩乃至非常停車帯がある。自車両の前方のある距離を置いた地点には、三車線の道路（５１）にかけられている交通標識用架橋（ガントリー）が認識できる。
【0068】
図４によって記述された方法と同様に、このシーンもセグメント化できる。図５ｂから５ｄには、セル（５６）を認識できる。セルには、ポイント・マッチング（５５）が、示されている。一つのセル（５６）のある一つのセグメントへの帰属は、セルフレームの、或いは、ポイント・マッチング（５５）の色によって示されている。
図５ｂは、セグメント化された画像の赤色のチャンネルを、
図５ｃは、緑色のチャンネル、図５ｄは、青色のチャンネルを示している。
異なるセグメントには、異なる色が付けられている。オリジナルにおいて緑色のセグメントは、５から６セルに跨っている（図５ｂと５ｄでは、これは、白色、且つ、フレーム無しに示されている）。このセグメントは、グランド・レベル、即ち、自車両が走行している車線（５１）の表面に対応している。
他のセグメントは、画像の中央に認識でき、これは、オリジナルではピンクである。よって、図５ｂでは、赤色の値が高く、図５ｄでは、青色の値が低く、且つ、図５ｃでは、緑色の値がゼロである。このセグメントは、自車線上を走行している（トランスポーター）車両（５３）のバックウォール・レベルに相当している。
ここに示されているセグメント化結果は、予備知識なしに、たった三つの反復ステップで割り出された。これは、時間積分による本発明の実施形態の非常に高い速度と能力を示すものである。
図５ｂは、セグメント化された画像の赤色のチャンネルを、
図５ｃは、緑色のチャンネル、図５ｄは、青色のチャンネルを示している。
異なるセグメントには、異なる色が付けられている。オリジナルにおいて緑色のセグメントは、５から６セルに跨っている（図５ｂと５ｄでは、これは、白色、且つ、フレーム無しに示されている）。このセグメントは、グランド・レベル、即ち、自車両が走行している車線（５１）の表面に対応している。
他のセグメントは、画像の中央に認識でき、これは、オリジナルではピンクである。よって、図５ｂでは、赤色の値が高く、図５ｄでは、青色の値が低く、且つ、図５ｃでは、緑色の値がゼロである。このセグメントは、自車線上を走行している（トランスポーター）車両（５３）のバックウォール・レベルに相当している。
ここに示されているセグメント化結果は、予備知識なしに、たった三つの反復ステップで割り出された。これは、時間積分による本発明の実施形態の非常に高い速度と能力を示すものである。
【0069】
図６は、図５において既に示したシーンにおけるレベルのオリエンテーションの割り出しを示している。図６ａは、図５ａの周辺シチュエーションを、解り易くするために、もう一度示している。
全てのサイドウォール・レベルに帰属されたマッチングが、図６ｂに示されている。左縁のマッチングは、右側のサイドウォール・レベルに帰属されるが、画像内において、対向車線への建築的境界（５２）の右側が、そこに存在しているため、これは、理に適っている。画像の右半分にあるマッチングは、左側のサイドウォール・レベルに帰属されるが、同様に、車線縁の建造物や車線縁の植物の「左側」が、画像内に存在しているため、これも、理に適っている。
図６ｃは、どのマッチングが、グランド・レベルに帰属されるかを示しているが、該画像内では、車線（５１）の表面が見えるため、これも、理に適っている。
図６ｄは、どのマッチングが、バックウォール・レベルに帰属しているかを示している。これは、大部分が、理に適っている。しかしながら、これらの割り出しからだけでは、例えば、同じ車線の前方を走行中のバン（５３）を、その上空に配置されている交通標識用架橋（ガントリー）の標識（５４）など、異なるバックウォール・レベルを、十分に区別することができない。しかし、この描写から既に、車両の周辺部において、どこに高さを有するオブジェクトが、出現するかに関する示唆を得ることはできる。
全てのサイドウォール・レベルに帰属されたマッチングが、図６ｂに示されている。左縁のマッチングは、右側のサイドウォール・レベルに帰属されるが、画像内において、対向車線への建築的境界（５２）の右側が、そこに存在しているため、これは、理に適っている。画像の右半分にあるマッチングは、左側のサイドウォール・レベルに帰属されるが、同様に、車線縁の建造物や車線縁の植物の「左側」が、画像内に存在しているため、これも、理に適っている。
図６ｃは、どのマッチングが、グランド・レベルに帰属されるかを示しているが、該画像内では、車線（５１）の表面が見えるため、これも、理に適っている。
図６ｄは、どのマッチングが、バックウォール・レベルに帰属しているかを示している。これは、大部分が、理に適っている。しかしながら、これらの割り出しからだけでは、例えば、同じ車線の前方を走行中のバン（５３）を、その上空に配置されている交通標識用架橋（ガントリー）の標識（５４）など、異なるバックウォール・レベルを、十分に区別することができない。しかし、この描写から既に、車両の周辺部において、どこに高さを有するオブジェクトが、出現するかに関する示唆を得ることはできる。
【0070】
図７に図示した如く、動的なオブジェクトを認識するためには、インバースＴＴＣ（ｔｘ，ｔｙ，ｔｚ）を用いることができる。
図７ａも、（図６ａと同じ）車両シチュエーションの画像である。自車線上の前方を走行中の車両（７３）は、バンである。左車線には、二台の車両（７１と７２）が、右車線には、更に二台の車両（７４と７５）が走行している。
図７ｂは、グランド・レベルに相当し（オリジナルでは、紫色）、唯一、赤色成分を含むマッチングを示している。
図７ｃは、動いているオブジェクトに帰属されるマッチングを示している。これらは、オリジナルでは、自車両から遠ざかる（即ち、自車両よりも早い）ものは、緑色であり、自車両よりも遅いものは、トルコ石（青緑）色である。
図７ｄは、青色成分を有する、即ち、グランド・レベルに相当する（図７ｂ参照）、自車両に接近する様に動いているオブジェクト（図７ｃ参照）、例えば、アウトバーンの左右にある森や交通標識用架橋（ガントリー）など、図７ｄにのみ示されている静的で高さを有するオブジェクトに相当するマッチングを示している。図７ｃと７ｄにおいては共に、自車線（７３）上において接近して来ている車両が、認識できる。右側の車線（７５）上の前方の車両も同様である。一方、他の車両（７１，７２と７４）は、遠ざかっている。
画像内において空に相当する領域は、ストラクチャーを欠いているため、マッチングを有していない（図７ｂから７ｄにおいて白色）。
同形異義性の計算前に、自己ローテーションが考慮された、或いは、ローテーション・マトリックスＲにおける自己ローテーションが考慮された場合、追越ししている車両は、負のｔｚ成分から認識でき、又、車線変更している、或いは、カーブを走行している車両は、横方向ｔｘ成分がゼロでないことから認識できる。動的セグメントが、同形異義性から予測された場合（下の「同形異義性を基にした光学的流れの圧縮」を参照）、経時的に動的マップを構成できる。
図７ａも、（図６ａと同じ）車両シチュエーションの画像である。自車線上の前方を走行中の車両（７３）は、バンである。左車線には、二台の車両（７１と７２）が、右車線には、更に二台の車両（７４と７５）が走行している。
図７ｂは、グランド・レベルに相当し（オリジナルでは、紫色）、唯一、赤色成分を含むマッチングを示している。
図７ｃは、動いているオブジェクトに帰属されるマッチングを示している。これらは、オリジナルでは、自車両から遠ざかる（即ち、自車両よりも早い）ものは、緑色であり、自車両よりも遅いものは、トルコ石（青緑）色である。
図７ｄは、青色成分を有する、即ち、グランド・レベルに相当する（図７ｂ参照）、自車両に接近する様に動いているオブジェクト（図７ｃ参照）、例えば、アウトバーンの左右にある森や交通標識用架橋（ガントリー）など、図７ｄにのみ示されている静的で高さを有するオブジェクトに相当するマッチングを示している。図７ｃと７ｄにおいては共に、自車線（７３）上において接近して来ている車両が、認識できる。右側の車線（７５）上の前方の車両も同様である。一方、他の車両（７１，７２と７４）は、遠ざかっている。
画像内において空に相当する領域は、ストラクチャーを欠いているため、マッチングを有していない（図７ｂから７ｄにおいて白色）。
同形異義性の計算前に、自己ローテーションが考慮された、或いは、ローテーション・マトリックスＲにおける自己ローテーションが考慮された場合、追越ししている車両は、負のｔｚ成分から認識でき、又、車線変更している、或いは、カーブを走行している車両は、横方向ｔｘ成分がゼロでないことから認識できる。動的セグメントが、同形異義性から予測された場合（下の「同形異義性を基にした光学的流れの圧縮」を参照）、経時的に動的マップを構成できる。
【0071】
等式３を見れば、インバースＴＴＣがゼロではないセグメントは、ローテーション・マトリックスを記述していることがわかるが、ｔ／ｄがゼロであるセグメントからは、フル自由度の同形異義性（等式２）を計算することにより、これを算出することができる。エピポール付近の直線的成分は目立たないものであると言うことを前提とすれば、エピポールの座標（ｘｅ，ｙｅ）を、静的セグメントの同形異義性から予測し、ピクセル基準の焦点距離ｆのａｔａｎ（（ｘｅ０－ｘｅ１）／ｆ）乃至ａｔａｎ（（ｙｅ０－ｙｅ１）／ｆ）を算出することにより、ピッチ率とヨーイング率を割り出すことができる。
【0072】
全てのクラスターに対して、フル自由度の同形異義性が算出されると、測定されたポジションｘｔ０の代わりに、予測されたポジションＨ＊ｘｔ１を三角測量に用いることによって、これらを３Ｄ周辺部の再現に用いることもできる。これにより、測定エラーの影響を低減できるだけでなく、エピポール付近のオブジェクトの再現も可能になる。
【0073】
以下、同形異義性を基にした光学的流れの圧縮に関する実施例を説明する。
【0074】
時点ｔ－１のセグメント化が既知である場合、オブジェクトの予測と圧縮されたフローフィールドの生成の双方に用いることができる。シグナチュア・ベースのフローメソッドでは、シグナチュアを生成し、これらを、続くフレームにおいて、一義的に帰属させることを試みる。該シグナチュアは、多くの場合、予め定められた大きさのパッチ（画像部分、乃至、画像領域）から算出される。しかし、パッチの大きさと形状が変化してしまうと、一定のテンプレート（ひな形、パターン、即ち、例えば、あるオブジェクトに相当する画像シーケンスの画像の画像部分、例えば、車両テンプレート）を用いたマッチング検出は、不可能になる。例えば、バック面に接近すると、パッチの大きさが変化する。又は、グランド面乃至サイド面に対して平行に移動すると、パッチの大きさと形状の双方が変化する（図１と２参照）。時点ｔ－１においてセグメント化が既になされている場合、既に検出されたフローベクトルから同形異義性を改めて算出し、時点ｔ－１の安定したマッチングのポジションと形状からｔ－０を予測するために用いることが可能である。
【0075】
代案的には、スケール変化と形状変化を補整するために、時点ｔ－０における最新のフレームを、時点ｔ－１のものにトランスフォームすることも可能である。
図８は、その方法を図示したものである。
図８は、その方法を図示したものである。
【0076】
図８ａは、時点ｔ－１に車載カメラが撮影した他の走行シチュエーションの画像を示している。走行方向毎に三車線を有するアウトバーンが、写っている。自分がいる三車線の道路の左側には、ガードレール（８１）が、対向車線に対する高くなった境界として存在している。該道路の右側には、防音壁（８２）が、存在している。
【0077】
図８ｂは、続く時点ｔに撮影され、ガードレールの同形異義性に従ってトランスフォームされた（「ゆがませる」、英語の「ｔｏ ｗａｒｐ（ワープ）」）画像を示しており、ここでは、車両が動いた結果、即ち、二つの撮影時点間に発生した画像内のガードレール部分に起こった変化は、補整されている。図８ｂにおける自車両の前進により、近距離にある走行レーンマークの部分線は、図８ａの時よりも、自車両に近づいている。このトランスフォメーションは、図８ｆに破線で図示したような画像の台形の転移の原因となる。
【0078】
図８ｃは、ガードレールの領域（８１、図８ａ参照）において割り出されたマッチング特徴（８５）を白点として示している。
図８ｄは、このマッチング特徴が、図８ｂによって説明した如く、トランスフォメーションした後に、次の画像においてどこに現れ得るかを示している（８６）。
図８ｄは、このマッチング特徴が、図８ｂによって説明した如く、トランスフォメーションした後に、次の画像においてどこに現れ得るかを示している（８６）。
【0079】
図８ｅと８ｆには、この様子が、今一度、白黒描写で示されているが、マッチング特徴（８５）は、画像左半分にあるガードレール（８１）上の黒点に相当している。
【0080】
圧縮したフローフィールドを生成するためには、既にあった、スケールと形状が変化したマッチングを、再度見つける、或いは、新しいマッチングを合同なテンプレートを用いて定めるために、全てのセグメントに対して、最新の画像を、以前の画像にワープすることができる。
【0081】
最新のフレームに、同形異義性の再計算をするのに十分なフローベクトルが無い場合、マッチングを形状変更及びスケール変更に対して堅牢なものにするために、近似的に、前のフレームの同形異義性を用いることもできる。
【0082】
以下の実施形態乃至アスペクトは、好ましいものであり、個々、或いは、組合せて用いることが可能である：
【0083】
１．該画像は、ＮｘＭセルに分割され、各々のポイント・マッチングには、一義的なセルＩＤが、与えられる。同じＩＤを有するマッチングから、ＲＡＮＳＡＣを用い、バック／グランド／サイド面・同形異義性（等式９，１０と１０）を算出し、最も小さなバックプロジェクションエラーの同形異義性と、同形異義性の算出に用いたサポート点の双方が、保存される。ＲＡＮＳＡＣ（ＲＡｎｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）メソッドにおいては、通常、各々の回帰において、最低数のランダムに選択されたマッチングが、仮説を立てるために、用いられる。続いて、全てのマッチング特徴に対して、該マッチング特徴が、該仮説をサポートするものであるか否かを示す値が、算出される。該仮説が、マッチング特徴によって、十分にサポートされた場合、仮説をサポートしていないマッチング特徴は、異常値として削除できる。そうでない場合、再び、最低数のマッチングが、ランダムに選択される。
【0084】
２．隣接するセルｉ，ｊに対しては、バックプロジェクションエラー・
【0085】
【数18】
【0086】
【数19】
【0087】
【数20】
【0088】
【数21】
【0089】
【数22】
【0090】
【数23】
【0091】
よりも小さく、且つ、双方のバックプロジェクションエラー・
【0092】
【数24】
【0093】
【数25】
【0094】
の双方が、フロー長さに標準化された一つの閾値を下回った場合、二つの隣接するセルが、同一のレベル（同一のセグメント、乃至、同一のオブジェクト）に属しているとされる。
【0095】
３．全てのポイント・マッチングのバックプロジェクションエラー・ｘｔ０－Ｈｉｘｔ１が、隣接するセグメント用に算出され、該ポイント・マッチングは、最も小さなバックプロジェクションエラーのセグメントに帰属される。最低エラーが、閾値を超えた場合、小さな、或いは、部分的に覆われたオブジェクトも認識できる様に、該マッチングには、新しいオブジェクトＩＤが与えられる。
【0096】
４．時点ｔ－１において抽出されたセグメントの同形異義性は、新しいフレームの開始時（ｔ－０）に、既に見つかっている画像マッチングから、新しく算出され、既にあるセグメントＩＤは、最新のフレーム内において予測される。最新のフレームに、同形異義性の再計算をするのに十分なフローベクトルが無い場合、近似的に、前のフレームの同形異義性を用いることもできる。
【0097】
５．圧縮したフローフィールドを生成するため、スケール或いは形状が変化した既存のマッチングを再度見つけるために、或いは、新しいマッチングを定めるために、全てのセグメントに対して、最新のフレーム（ｔ－０）が、前のフレーム（ｔ－１）にワープされる。
【0098】
６．バック／グランド／サイド面のバックプロジェクションエラーは、図６からも解るように、高さのあるターゲットの検証のために用いることができる。
【0099】
７．例えば、車載ステレオカメラが用いられている場合には、視差マップが存在していれば、全てのピクセルの絶対距離ｄが視差マップ内にあるため、絶対速度を、インバースＴＴＣｔ／ｄから算出することができる。
【0100】
８．全てのセグメント用に、フル自由度の完璧な同形異義性が計算された場合、ＴＴＣが略無限大（或いは、インバースＴＴＣが、略ゼロ）のセグメントから、ローテーション・マトリックスＲを割り出すことができる。
【0101】
９．３Ｄ周辺部は、
【0102】
【数26】
【0103】
【数27】
【0104】
の代わりに、再現でき、これにより、エピポールのオブジェクトも再現できる。
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5a】
【図5b】
【図5c】
【図5d】
【図6a】
【図6b】
【図6c】
【図6d】
【図7a】
【図7b】
【図7c】
【図7d】
【図8】
