特許 6186072 単一カメラを用いた３Ｄでの移動物体の位置測定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6186072

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】単一カメラを用いた３Ｄでの移動物体の位置測定

(51)【国際特許分類】

   G06T 7/277 20170101AFI20170814BHJP

   G01B 11/00 20060101ALI20170814BHJP

【ＦＩ】

   G06T7/277

   G01B11/00 H

【請求項の数】15

【全頁数】20

(21)【出願番号】特願2016-504398(P2016-504398)

(86)(22)【出願日】2014年7月22日

(65)【公表番号】特表2016-516249(P2016-516249A)

(43)【公表日】2016年6月2日

(86)【国際出願番号】US2014047569

(87)【国際公開番号】WO2015126443

(87)【国際公開日】20150827

【審査請求日】2015年8月25日

(31)【優先権主張番号】14/184,766

(32)【優先日】2014年2月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】マンモハン・チャンドレイカー

(72)【発明者】

【氏名】シユー・ソン

(72)【発明者】

【氏名】ユアンチン・リン

(72)【発明者】

【氏名】シャオユー・ワン

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００９−１４６４０６（ＪＰ，Ａ）

【文献】 特開２０１０−０９２２４８（ＪＰ，Ａ）

【文献】 LIN, Yuanqing，Towards Visual 3D Scene Understanding for Autonomous driving，[オンライン]，米国，NEC Laboratories America，２０１４年 ２月１２日，第５頁−第１９頁，[平成２８年１０月１９日検索]，ＵＲＬ，www.linyq.com/Penn_industry_day.v7.pdf

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

単一カメラのみを使用する自律運転のためのコンピュータ視覚方法であって、
地表面推定による物体検知及び単眼の運動からの構造復元（ＳＦＭ）を利用するリアルタイムフレームワークによる３Ｄでの移動物体の位置測定と、
リアルタイムフレームワークによる移動する車の特徴点の追跡と、該特徴点の３Ｄ方向推定への使用と、
疎な特徴と密なステレオ視覚データからのキューを結合する地表面推定を用いたスケールドリフト修正と、
全てのフレームで融合観測共分散を適応させて各キューの相対的不確実性を反映するカルマンフィルタフレームワークの適用と、

【数1】

ｘは状態変数を示し、ｚは観測値、Ｑ及びＵはプロセス及び観測ノイズの共分散を示し、ｐ（ｗ）：Ｎ（０，Ｑ）及びｐ（ｖ）：Ｎ（０，Ｕ）に示されるようにゼロ平均の多変量正規分布とし、Ａは状態遷移を示し、ｗはプロセスノイズ、Ｈは正確な状態空間を観測状態空間にマッピングする観測値、及びｖは観測ノイズである、このような状態発展のモデルによるカルマンフィルタの適用と、を含む方法。

【請求項2】

地表面推定の複数の方法から結合したキューを含む、請求項１に記載の方法。

【請求項3】

広範囲にわたるトレーニングデータから学習されたモデルを使用してフレーム毎の相対信頼度を説明するフレームワークの適用を含む、請求項１に記載の方法。

【請求項4】

データセットからのフレームによるトレーニングを含み、基になる変数の誤差挙動に対する各キューの観測共分散に関連するモデルが学習される、請求項１に記載の方法。

【請求項5】

キュー結合に対する観測共分散の適応的推定の実行を含む、請求項１に記載の方法。

【請求項6】

前記地表面を通じて物体境界ボックス及びＳＦＭ特徴追跡からの情報を結合する位置測定フレームワークを含む、請求項１に記載の方法。

【請求項7】

近傍及び遠方の物体の３Ｄ位置測定用の適応地表面を通じたＳＦＭと物体境界ボックスの結合を含む、請求項１に記載の方法。

【請求項8】

大体の消失点推定を用いたエピポーラ更新の実行を含む、請求項１に記載の方法。

【請求項9】

単一カメラのみを使用する自律運転のためのコンピュータ視覚システムであって、
地表面推定による物体検知及び単眼の運動からの構造復元（ＳＦＭ）を利用する３Ｄでの移動物体の位置測定のためのリアルタイムフレームワークと、
移動する車の特徴点を追跡し、それらを３Ｄ方向推定に使用するリアルタイムフレームワークと、
疎な特徴と密なステレオ視覚データからのキューを結合する地表面推定を用いてスケールドリフトを修正するコンピュータコードと、
全てのフレームで融合観測共分散を適応させて各キューの相対的不確実性を反映するカルマンフィルタフレームワークと、

【数2】

ｘは状態変数を示し、ｚは観測値、Ｑ及びＵはプロセス及び観測ノイズの共分散を示し、ｐ（ｗ）：Ｎ（０，Ｑ）及びｐ（ｖ）：Ｎ（０，Ｕ）に示されるようにゼロ平均の多変量正規分布とし、Ａは状態遷移を示し、ｗはプロセスノイズ、Ｈは正確な状態空間を観測状態空間にマッピングする観測値、及びｖは観測ノイズである、このような状態発展のモデルによるカルマンフィルタと、を含むシステム。

【請求項10】

フレームワークが地表面推定の複数の方法からキューを組み込む、請求項９に記載のシステム。

【請求項11】

広範囲にわたるトレーニングデータから学習されたモデルを使用してフレーム毎の相対信頼度を説明するフレームワークを含む、請求項９に記載のシステム。

【請求項12】

基になる変数の誤差挙動に対する各キューの観測共分散に関連するモデルが学習される、請求項９に記載のシステム。

【請求項13】

キュー結合に対する観測共分散の適応的推定量を含む、請求項９に記載のシステム。

【請求項14】

前記地表面を通じて物体境界ボックス及びＳＦＭ特徴追跡からの情報を結合する位置測定フレームワークを含む、請求項９に記載のシステム。

【請求項15】

近傍及び遠方の物体の３Ｄ位置測定用の適応地表面を通じたＳＦＭ及び物体境界ボックスを含む、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、単眼ＳＦＭ及び移動物体の位置測定に関する。

【背景技術】

【0002】

ステレオベースのＳＦＭシステムは、現在、屋内及び屋外の両環境でリアルタイム性能を日常的に実現する。いくつかの単眼システムはまた、より小さなデスクトップ環境又は室内環境で良好な性能を実証してきた。成果を挙げた自律ナビゲーション用大規模単眼システムは、主にスケールドリフトの課題により、あまり現存していない。大規模単眼システムは、ループ閉合によってスケールドリフトを処理する。ループ閉合から遅延したスケール補正は、マップビルディングには望ましいが、自律運転のオプションではない。ＰＴＡＭのような平行単眼アーキテクチャは、小作業領域用の洗練された解決策である。ただし、ＰＴＡＭは既存の点分布を使用してエピポーラ検索範囲を制限する。これは、高速移動車両には望ましくない。これは、データ結合の改善及び束調整のために既知の領域を探索するときにマッピングスレッドの空き時間を使用するが、シーン見直しは自律運転において実行可能ではない。他のシステムは、連続したフレーム間の相対的な姿勢を計算する。ただし、２ビューの推定は、狭いベースラインの前進運動に対して高い並進誤差の原因となる。

【0003】

単眼ＳＦＭ及びシーン理解は、より低いコスト及び較正要件のため魅力的である。ただし、固定したステレオベースラインの不足は、スケールドリフトの原因となり、これは単眼ＳＦＭがステレオと同等の精度を実現することを妨げる主要な障害である。スケールドリフトに対応するには、予備知識を使用する必要があり、その一般的な方法は地表面上の既知のカメラの高さである。したがって、地表面のロバストかつ高精度の推定は、単眼のシーン理解において良好な性能を得るために、きわめて重要である。ただし、実世界の自律運転では、地表面は急速移動、ざらつきが少ない道路表面に対応し、画像データの検証からその推定を作成する。

【発明の概要】

【課題を解決するための手段】

【0004】

一態様では、実世界の自律運転のための視覚に基づく、リアルタイムの単眼の運動からの構造復元（ＳＦＭ）及び３Ｄの移動物体の位置測定が開示される。

【0005】

別の態様では、単一カメラのみを使用する自律運転用のコンピュータ視覚システムは、
（ｉ）地表面推定による物体検知及び単眼の運動からの構造復元（ＳＦＭ）を利用する３Ｄでの移動物体の位置測定のためのリアルタイムフレームワークと、
（ｉｉ）移動する車の特徴点を追跡し、それらを３Ｄ方向推定に使用するリアルタイムフレームワークと、
（ｉｉｉ）疎な特徴と密なステレオ視覚データからのキューを結合する地表面推定を用いてスケールドリフトを修正する機構と、を含む。

【0006】

更に別の態様では、単一カメラのみによる自律運転の方法は、地表面推定による物体検知及び単眼の運動からの構造復元（ＳＦＭ）を利用するリアルタイムフレームワークによる３Ｄでの移動物体の位置測定と、リアルタイムフレームワークによる移動する車の特徴点の追跡及び３Ｄ方向推定への特徴点の使用と、疎な特徴と密なステレオ視覚データからのキューを結合する地表面推定を用いてスケールドリフトを補正することと、を含む。

【0007】

システムの利点は、以下の１つ以上を含み得る。システムは、ロバストな単眼ＳＦＭを高精度で提供し、現在の最良のステレオシステムに近い回転精度及び他の単眼アーキテクチャをはるかに超える並進精度を実現する。疎な特徴及び密なステレオからのキューを結合する地表面推定を用いたスケールドリフト補正によって高い性能を実現する。キュー結合のためのデータ駆動型機構は、トレーニングデータからモデルを学習し、各キューに対する観測共分散を基になる変数の誤差分散に関連付ける。これは、視覚データから推測される相対信頼度に基づいた観測共分散のフレーム毎調節を可能にする。３Ｄでの移動物体の位置測定のフレームワークは、正確な地表面を通って、物体検知及びＳＦＭの共通の利点を利用することにより高精度を実現する。ＳＦＭキュー及び地表面推定の結合は、３Ｄ位置測定フレームワークの性能を大幅に改善することができる。

【図面の簡単な説明】

【0008】

【図1A】単一カメラのみを使用する自律運転のための例示のコンピュータ視覚方法を示す。

【図1B】物体検知プロセスの例示の選択的コンテキストモデリングを示す。

【図2】図１Ａの一実施形態の動作を示す。

【図3】図１Ａのシステムと連携する例示のコンピュータを示す。

【発明を実施するための形態】

【0009】

図１Ａは、単一カメラのみを使用する自律運転のための例示のコンピュータ視覚システムを示す。単一カメラのみによる自律運転の方法は、地表面推定（２０）による物体検知及び単眼の運動からの構造復元（ＳＦＭ）を利用するリアルタイムフレームワークによる３Ｄでの移動物体の位置測定と、リアルタイムフレームワークによる移動する車の特徴点の追跡及び３Ｄ方向推定（３０）への特徴点の使用と、疎な特徴と密なステレオ視覚データ（４０）からのキューを結合する地表面推定を用いてスケールドリフトを補正することと、を含む。

【0010】

システムの高い性能は、疎な特徴及び密なステレオからのキューを結合する地表面推定を用いたスケールドリフト補正によるものである。キュー結合のためのデータ駆動型機構は、トレーニングデータからモデルを学習し、各キューに対する観測共分散を基になる変数の誤差挙動に関連付ける。試験の間、これは、視覚データから推測される相対信頼度に基づいた観測共分散のフレーム毎調節を可能にする。３Ｄでの移動物体の位置測定のフレームワークは、正確な地表面を通って、２Ｄ物体境界ボックス及びＳＦＭの共通の利点を利用することにより高精度を実現する。

【0011】

図１Ｂは、物体検知プロセスの例示の選択的コンテキストモデリングを示す。コンテキスト情報は、限定するものではないが、他の検知器からの反応、画像分類からの反応、又は背景からの外観を含む物体検知アルゴリズムで主に使用される。発明者らの提案は、効率的な背景コンテキストの学習の問題に対処する。全ての物体背景が物体検知に役立つとは限らない。有効な背景コンテキストを判定するために、本発明者らは背景領域のセットを提案する。ブースティング学習プロセスを用いてこれらの領域を探索し、最も特徴的なものを選択する。

【0012】

図１Ｂに示すように、本発明者らの目的はオートバイを検出することである。背景コンテキストを組み込むために、物体境界ボックスを越えた拡張領域、即ち、ピンクの領域を使用する。本発明者らは、ピンクの物体背景から無作為に３０００個の部分領域を選択する。これらの部分領域から抽出された特徴は、不得意な学習者の入力としてブースティングプロセスに送られる。最も特徴的なもの、即ち、物体検知の精度に最も役立つ部分領域が選択され、最終的なブースティング分類器に拡大される。本発明者らのアプローチは、ＰＡＳＣＡＬ ＶＯＣ ２００７データセットにおいて物体検知平均精度を２％上げる。

【0013】

本発明者らのシステムは、実世界の自律屋外運転アプリケーションを可能にする、包括的で正確なロバストの、かつリアルタイムに大規模な単眼の運動からの構造復元（ＳＦＭ）システムを提供する。本発明者らのシステムは、大きな動きの処理及び高速移動車両の結像の迅速な変更を可能にする、運動からの構造復元のための新しいマルチスレッドアーキテクチャに頼る。システムの設計上のハイライトとして、長軌道上の特徴照合を広範囲にわたり確認する平行なエピポーラ検索及び低コストでの組み込みを可能にする新しいキーフレームアーキテクチャが挙げられる。これにより本発明者らは、平均３０ｆｐｓでのシステムのロバスト操作で、出力がフレーム毎に５０ｍｓ以内に保証されるという、自律運転の主要な要件を満たすことができる。単眼ＳＦＭのスケールの曖昧さを解決するために、本発明者らはフレーム毎に地表面の高さを推定する。地表面推定のキューは、三角測量された３Ｄの点及び平面によって誘導される密なステレオ照合を含む。これらのキューは、本発明者らが正しい経験的な共分散で動作するように厳密にトレーニングする、柔軟なカルマンフィルタ処理フレームワークで結合される。本発明者らは、難しいＫＩＴＴＩデータセットから５０ｋｍ近くの実世界の駆動シーケンスで広範囲にわたる確認を実行して、大規模スケールのリアルタイム単眼システムで現在までの最高精度である０．０１°／フレーム回転及び４％の並進誤差を得ている。

【0014】

システムの効果として、以下が挙げられる。

【0015】

ステレオに匹敵する性能を実現する高精度リアルタイム単眼ＳＦＭ。

【0016】

フレーム毎の観測共分散を正しく重みづけするために、学習したモデルを用いた地表面推定の複数のキューを最適に結合することによるスケールドリフト補正。

【0017】

近視野及び遠視野の両方で正確な位置測定を実現するために、地表面を通って検知と単眼ＳＦＭを結合する３Ｄ物体位置測定フレームワーク。

【0018】

図２は、図１Ａの一実施形態の動作を示す。最上部行で、本発明者らの単眼ＳＦＭは、実世界の運転の数キロメートル上でグランドトルースに近いカメラ軌道を得る。ＫＩＴＴＩデータセットにおいて、本発明者らは、ステレオにも匹敵し、他の単眼ＳＦＭシステムよりはるかに低い並進誤差で、ローテーション中のほとんどのステレオシステムより優れている。新しい適応地表面推定を用いたスケールドリフト補正は、そのような精度及びロバスト性を可能にする。最下部行で、本発明者らは、ＳＦＭを２Ｄ物体境界ボックスと結合して、適応地表推定から利益を誘導する３Ｄ移動物体位置測定フレームワークを実証する。シアンは２Ｄ境界ボックスを示し、緑は推定した地表面からの地平線であり、赤は、マゼンタの距離と共に遠方及び近傍の物体の推定した３Ｄ位置測定を示す。

【0019】

システムは、複数の方法の地表面推定からキューを組み込み、第２にそれらを、広範囲にわたるトレーニングデータから学習したモデルを用いて、フレーム毎の相対信頼度を説明する原理的なフレームワークに結合する。

【0020】

キューを結合するために、システムは、フレーム毎に融合観測共分散を適合させるカルマンフィルタを使用して相対的不確実性を反映する。これは、一実施形態においてＫＩＴＴＩデータセットからの２００００超のフレームでのトレーニング手順によって実現され、それによってそれぞれ基になる変数の誤差配分に応じた分散に対する各キューの観測共分散に関連するモデルが学習される。高精度の地表面は、３Ｄでの移動剛性物体（車）の単一カメラ位置測定などのシーン理解アプリケーションに即時の効果を有する。新しい位置測定フレームワークは地表面を通って、物体境界ボックスからの情報とＳＦＭ特徴追跡を結合する。直観的に、ＳＦＭは、近くの物体での正確な特徴照合を可能にすることができるが、遠くの物体の低解像度によって弱点を有する。他方では、物体検知又は外観ベースの追跡からの境界ボックスは、遠距離の物体に対して得られるが、しばしば近視野の３Ｄシーンと一致しない。したがって、ＳＦＭ及び検知は、互いの欠点を相互に打ち消すことができる。適応地表面を通ってＳＦＭ及び検知を結合することによって、システムは、近傍及び遠方の両方の物体について３Ｄ位置測定を著しく改善する。本発明者らのキュー結合の効果は、より包括的な単眼シーン理解フレームワークでも使用可能である。

【0021】

システムは、複数の方法の地表面推定からキューを組み込み、第２にそれらを、広範囲にわたるトレーニングデータから学習したモデルを用いて、フレーム毎の相対信頼度を説明する原理的なフレームワークに結合する。キューを結合するために、カルマンフィルタフレームワークは、フレーム毎に融合観測共分散を適合させて、各キューの相対的不確実性を反映する。これは、ＫＩＴＴＩデータセットからの２００００超のフレームでのトレーニング手順によって実現され、それによってその基になる変数の誤差挙動に対する各キューの観測共分散に関連するモデルが学習される。本発明者らの知っている限りでは、キュー結合の観測共分散のそのような適応的推定は、新しい。

【0022】

高精度の地表面は、３Ｄでの移動剛性物体（車）の単一カメラ位置測定などのシーン理解アプリケーションに即時の効果を有する。それを実証するために、位置測定フレームワークは、地表面を通って、物体境界ボックスからの情報とＳＦＭ特徴追跡を結合する。直観的に、ＳＦＭは、近くの物体での正確な特徴照合を可能にすることができるが、遠くの物体の低解像度による弱点を有する。他方では、物体検知又は外観ベースの追跡からの境界ボックスは、遠距離の物体に対して得られるが、しばしば近視野の３Ｄシーンと一致しない。更に、単眼ＳＦＭにおける各単独の移動物体は、最善の状態で未知のスケール係数まで推定され得る。２Ｄ境界ボックスと正確な地表面との接触は、このスケールを決定するキューを提供する。

【0023】

適応地表面を通したＳＦＭと物体境界ボックスの結合は、近傍及び遠方の物体の両方に対して３Ｄ位置測定を著しく改善する。本発明者らのキュー結合の効果は、より包括的な単眼シーン理解フレームワークでも使用可能である。

【0024】

ビジュアルオドメトリは、本質的に順次処理である。特に自律ナビゲーションでは、屋内のアプリケーション又はデスクトップアプリケーションと対照的に、同じシーン構造を繰り返し見る可能性が高い。可視視野における点の急速な変化について、束調整は、ＰＴＡＭの遮断機構でではなくフレーム毎である必要があり、そうでなければ微細な点が使用可能になるまでに、それ以上有用ではない。したがって、マルチスレッドシステムの設計は、精度と待ち時間との間の微妙なバランスの実現を必要とする。

【0025】

本発明者らのマルチスレッドアーキテクチャは、所望するだけ多くのスレッドへの洗練された拡張を可能にする。明らかな速度の利点の他に、マルチスレッドはまた、システムの精度及びロバスト性にも大きく寄与する。例として、本発明者らのエピポーラ拘束（ｃｏｎｔｒａｉｎｅｄ）検索を検討する。２Ｄ−３Ｄ対応に依存するシステムのシングルスレッドバージョンは、キーフレームより前のフレームでエピポーラ検索を実行することによって、安定点の集合を更新し得る。ただし、この機構によって導入される３Ｄ点のサポートは、サーキュラー整合及び三角測量に使用されるトリプレットだけに限定される。エピポーラ検索を別個のスレッドに移動し、全てのフレームでサーキュラー整合を実行することによって、本発明者らは、３Ｄ点に最大で先のキーフレームからの距離の長さの軌跡を与えることができる。明らかに、マルチスレッドシステム内のエピポーラスレッドによって提供される長い軌跡の集合は、外れ値を有さない可能性が極めて高い。

【0026】

自律運転アプリケーションで視野外にシーン点が急速に移動するのに対処するため、姿勢推定に使用可能な候補点の集合は、専用のスレッドで常に更新される。大体の消失点推定を用いて高速に処理するためにエピポーラ更新を拡張する。位置（ｘ_０，ｙ_０）における直近のキーフレームの全ての特徴ｆ_０に対し、カメラ速度に比例した辺長の、フレームｎ内の（ｘ_０＋Δｘ，ｙ_０＋Δｙ）を中心とした正方形を検討する。変位（Δｘ，Δｙ）は、消失点からの（ｘ_０，ｙ_０）の距離に基づき計算される。（Δｘ，Δｙ）の推定は、差異範囲が近視野と遠視野との間で大きく変更する場合がある高速のハイウェイシーケンスに役立つ。

【0027】

スライディングウィンドウの束調整は、並列スレッドでエピポーラ検索と動作する。キーフレームはより大きな改良をもたらすために追加される。小さな運動の間に、キーフレームの追加を妨げ、前のキーフレームが束キャッシュに確実に含まれるようにすることによって結果は向上する。これは、ほぼ静止した状態に対する改善された姿勢推定を生じさせる。改良後、システムはまた、ぼやけ又は鏡面性のようなアーチファクトのために一時的に失われた３Ｄ点を再度見つける機会を与えられる。一般的に利用可能なＳＢＡパッケージ［？］は、束調整に使用される。

【0028】

スケールドリフトは、地表からのカメラの較正した高さ、

【0029】

【数1】

を用いて補正される。ｈを地表面の推定した高さとし、次にカメラの姿勢をスケール係数

【0030】

【数2】

によって調整し、続いて束調整を行う。セクション（Ｓｅｃ．）５では、高精度ｈを得るキュー結合に対する新しいアプローチを説明する。

【0031】

様々な方法から推定を結合するために、システムは、カルマンフィルタを使用する。その状態発展のモデルは、次式であり、

【0032】

【数3】

ここで、ｘは状態変数であり、ｚは観測値であり、同時にＱ及びＵは、それぞれプロセスと観測ノイズの共分散であり、それらをゼロ平均の多変量正規分布とする。方法ｊ＝１，．．．，ｍが、それぞれその観測共分散Ｕ_ｊと共に地表面の推定に使用されるとする。次に

【0033】

【数4】

を用いると、時刻ｋでの融合方程式は、次式となる。

【0034】

【数5】

【0035】

全てのフレームでのＵ^ｋの、各キューに対する正確な比率

【0036】

【数6】

を用いた有意の推定は、原理的なキュー結合に必要である。伝統的に、固定共分散（ｆｉｘｅｄ ｃｏｖａｒｉａｎｃｅｓ）は、キューを結合するのに使用され、ビデオシーケンスにわたって各キューの有効性におけるフレーム毎の変動を説明しない。厳密なデータ駆動型モジュールは、基になる変数の誤差配分に基づき、各キューに対するフレーム毎の共分散に適合するモデルを学習する。

【0037】

スケールドリフト補正は、単眼ＳＦＭの不可欠な構成要素である。実際には、精度を確保する、単一の最も重要な態様である。本発明者らは、スケール補正用カメラに対して地表面の奥行及び向きを推定する。

【0038】

本発明者らは、特徴照合の三角測量及び密なステレオのような複数の方法を使用して地表面を推定する。システムは、これらのキューを結合して、本発明者らの確率を各キューの相対精度に反映させる。当然、この確率は、特定のフレームにおける入力及びトレーニングデータからの観測の両方から影響を受けるはずである。本発明者らは、基になる変数の誤差挙動に対する各キューの観測共分散に関連する広範囲に及ぶトレーニングデータからの学習モデルによってこれを得る。試験中、全てのフレームにおける誤差配分は、それらの学習されたモデルを用いてデータ融合観測共分散を適応させる。

【0039】

平面によって誘導される密なステレオを次に詳述する。本発明者らは前景の領域（画像の下部３分の１の中部５分の１）が道路平面であると仮定する。（ｈ，ｎ）の仮定された値に対して、ステレオ費用関数の計算は、フレームｋとｋ＋１との間のホモグラフィーマッピングを

【0040】

【数7】

と決定し、ここで（Ｒ，Ｔ）は、単眼ＳＦＭからの相対姿勢である。ｔは、スケールドリフトの係数による正確な並進と異なり、本発明者らが推定しようとするｈで符号化されることに注意されたい。フレームｋ＋１内のピクセルは、フレームｋにマッピングされ（サブピクセル精度は、良好な性能のために重要である）、誤差絶対値和（ＳＡＤ）が二線補間された画像強度にわたって計算される。Ｎｅｌｄｅｒ−Ｍｅａｄシンプレックスルーチンを使用して、この費用関数を最小にする（ｈ，ｎ）を推定する。最適化は、３つの変数ｈ、ｎ_１、及びｎ_３だけを必要とすることに注意されたい（ＰｎＰ＝１であるため）。実際には、図１に示すように最適化コスト関数は通常明確な極小を有する。最適化は、平均で１０ｍｓ／フレームを必要とする。

【0041】

次に三角測量された３Ｄ点を見ると、本発明者らは、上記関心領域内で計算される、フレームｋとｋ＋１との間の照合したＳＩＦＴ記述子を検討する（ＯＲＢ記述子は、道路の低い質感に対して力不足であることがわかり、リアルタイム性能はこの小さな領域でＳＩＦＴに関して達成可能である）。三角測量された３Ｄ点を通して平面を合わせるために、１つのオプションは平面を合わせるために３点ＲＡＮＳＡＣ（３−ｐｏｉｎｔ ＲＡＮＳＡＣ）を用いて（ｈ，ｎ）を推定することであるが、本発明者らの経験ではより良好な結果は、カメラピッチを較正から固定されるものと仮定することによって［？］の方法を用いて得られる。全ての三角測量された３Ｄ点ｉに対し、高さの差

【0042】

【数8】

が全ての他の点ｊに関して計算される。推定された地表面の高さは、次式で示される最大スコアｑに対応するｉの高さである。

【0043】

【数9】

【0044】

他のシステムでは、フレーム間のホモグラフィーマッピングＧを分解してカメラの高さを得ることができる。ただし実際には、分解は、ノイズに非常に敏感であり、ホモグラフィーはざらつきが少ない道路表面からの特徴照合（ｆｅａｔｕｒｅ ｍａｃｈｅｓ）を用いて計算されるため、これは深刻な問題である。本発明者らは、ホモグラフィー分解及び３Ｄ点のキューの両方が特徴照合の同じ集合に依存するため、ホモグラフィー分解が３Ｄ点のキューより良好に実行することは期待できないことにも注意する。更に、道路領域がホモグラフィーによってマッピングされ得ることは、本発明者らの平面によって誘導される密なステレオによって既に利用されている。

【0045】

キュー結合用のデータ駆動型学習を次に詳述する。上記の２つの方法によって提供される地表面のキューは、事前作業と著しく異なるカルマンフィルタフレームワークに結合される。各キューの相対的な強度における瞬間的な変動を説明するために、各キューの相対的有効性の確率に応じて観測共分散を適応させるモデルを学習するトレーニング機構を使用する。

【0046】

本発明者らの実験のトレーニングデータは、ＫＩＴＴＩデータセットのシーケンス０〜１０のＦ＝２３２０１フレームからなり、Ｖｅｌｏｄｙｎｅ奥行センサー情報が含まれる。グランドトルースｈ及びｎを決定するために、本発明者らは道路である、カメラに近い像の領域にラベルをつけ、平面を関連した３Ｄ点に合わせる（試験中に使用可能、又は使用されるラベル情報はない）。

【0047】

（１）の状態変数は、単に地表面の方程式であり、したがって、ｘ＝（ｎ，ｈ）^Ｔである。｜｜ｎ｜｜＝１であるため、ｎ_２は、ｎ_１及びｎ_３によって決定され、観測値はｚ＝（ｎ_１，ｎ_３，ｈ）^Ｔである。したがって、本発明者らの状態遷移行列及び観測モデルは次式によって与えられる。

【0048】

【数10】

【0049】

密なステレオ
本発明者らは状態変数が相関しない近似値を作成する。トレーニングイメージのために、

【0050】

【数11】

を密なステレオ方式によって推定された地表面とする。まず、範囲

【0051】

【数12】

内のｈの５０個の均一なサンプルについて

【0052】

【数13】

を固定し、フレームｋ〜ｋ＋１の

【0053】

【数14】

によって与えられるホモグラフィーマッピングを構成する。各ホモグラフィーマッピングに対して、二線補間された画像強度を用いて道路領域に対応するＳＡＤスコアを計算し、値ｓ＝１−ρ^−ＳＡＤ（ここでρ＝１．５）を検討する。ここで単変量ガウス分布を、分散

【0054】

【数15】

がＳＡＤ分布のシャープネスを得るｓの分布に合わせ、フレームｋで密なステレオ方式から推定された高さｈの精度に確率を反映する。同様の手順は、方向変数に対応する分散

【0055】

【数16】

をもたらす。

【0056】

各フレームｋに対して、

【0057】

【数17】

をグランドトルースに対して密なステレオ単独から推定された地表面の高さにおける誤差とする。次に、分散

【0058】

【数18】

にわたりＢ＝１０００ビンである

【0059】

【数19】

のヒストグラムを検討する。ビンの中心を

【0060】

【数20】

の密度に一致するように位置付けている（即ち、各ビン内においてＦ／Ｂ誤差観測結果を大まかに分配する）。各ビンｂ＝１，．．．，Ｂ内において誤差ｅ_ｓ，ｈに対応する分散σ_ｓ，ｈ’を計算し、これは観測分散である。次に、本発明者らはσ_ｓ，ｈ’対σ_ｓ，ｈの分布に曲線を合わせ、これは密なステレオの有効性に対してｈにおける観測分散に関する学習されたモデルを提供する。経験的に、本発明者らは、直線が良好な適合を十分にもたらすことを観察している。同様のプロセスが、ｎ_１及びｎ_３について繰り返される。

【0061】

三角測量された３Ｄ点を使用する方法の共分散推定は、法線ｎがカメラピッチから既知と考えられ、高さｈだけが推定されたエンティティであるため、ステレオ方式とは異なる。トレーニングの間、

【0062】

【数21】

を、３Ｄ点を単独で用いてフレームｋで推定された地表面の高さとする。

【0063】

【数22】

に対し、本発明者らは、グランドトルースに関する高さ誤差

【0064】

【数23】

及び（３）に定義されるｑの合計を計算する。ｑは、３Ｄ点から推定された高さの精度に確率を反映することに注意されたい。密なステレオ同様に、ヒストグラムは、Ｂ＝１０００ビンで計算され、約Ｆ／Ｂの

【0065】

【数24】

の観測結果は、ｑ^ｂを中心とし、ｑ＝，．．．，Ｂについて各ビンで記録される。ＫＩＴＴＩデータセット用のヒストグラムは、図４に示される。

【0066】

【数25】

をビンｂの分散とする。次に、本発明者らは、データ点

【0067】

【数26】

を通って適合する直線を計算し、これは、３Ｄ点キューの期待された有効性に対してｈにおける観測共分散に関する学習されたモデルである。

【0068】

ｎ１及びｎ_３は、このキューについて固定であると考えられるため、固定分散推定

【0069】

【数27】

が、グランドトルースに関するｎ_１及びｎ_３における誤差の分散として計算される。

【0070】

試験時間の間、フレームｊにおける密なステレオキューについて、本発明者らは再度１Ｄガウス分布をホモグラフィーマッピングされたＳＡＤスコアに合わせて、

【0071】

【数28】

の値を得る。ｌｉｎｅ−ｆｉｔパラメータを用いて、本発明者らは

【0072】

【数29】

の対応値を予測する。密なステレオ方式の観測共分散は、ここで

【0073】

【数30】

として使用可能である。

【0074】

フレームｊにおける３Ｄ点キューについて、ｑの値が計算され、対応する

【0075】

【数31】

が図４の線フィットから推定される。この方式の観測共分散は、ここで

【0076】

【数32】

として使用可能である。

【0077】

最後に、フレームｊの適応共分散、Ｕ^ｊは、（２）に従って

【0078】

【数33】

を結合することによって計算される。

【0079】

３Ｄにおける移動物体の位置測定について、ＳＦＭ及び２Ｄ物体境界ボックスは、シーン理解のための本質的に相補的なキューを提供する。ＳＦＭは、近くの物体に対し信頼できる追跡をもたらすが、遠視野の低解像度によって弱点を有する。他方では、検知又は追跡境界ボックスは、遠くの物体に対し３Ｄシーンと一致する傾向があるが、遠近法の課題のために近くのシーンで不正確に整合される場合がある。このセクションでは、本発明者らは正確な地表面を通してＳＦＭと２Ｄ物体境界ボックスを結合するフレームワークを使用して、３Ｄにおいて近傍及び遠方の両方の物体を位置測定する。

【0080】

正規軸（α_ｃ，β_ｃ，γ_ｃ）を有するカメラ座標系Ｃ及び軸（α_ｏ，β_ｏ，γ_ｏ）を有する物体座標Ｏを検討する。物体の背面が地表と交差する線分の中心に対応する、カメラ座標における物体座標の原点をｃ_ｏ＝（ｘ_ｏ，ｙ_ｏ，ｚ_ｏ）^Ｔとする。物体が地表面に横たわり、ヨー角ψで面内に回転自在であると仮定する。次に、物体の姿勢をΩ＝（ｘ_ｏ，ｙ_ｏ，ψ，θ，φ，ｈ）^Ｔとして定義し、そこで地表面を（ｎ，ｈ）^Ｔ＝（ｃｏｓθｃｏｓφ，ｃｏｓθｓｉｎφ，ｓｉｎθ，ｈ）Ｔとしてパラメータ化する。座標系は、図１で可視化される。

【0081】

Ｎ＝［ｎ_α，ｎ_β，ｎ_γ］を定義し、ここでｎ_γ＝（−ｎ_１，ｎ_３，−ｎ_２）^Ｔ、ｎ_β＝−ｎ、及びｎ_α＝ｎ_β×ｎ_γである。次に、物体からカメラ座標への転換は、次式と共に

【0082】

【数34】

によって与えられ、

【0083】

【数35】

ここでω_ψ＝（０，ψ，０）^Ｔ及び［・］_ｘは、外積行列である。

【0084】

次に、位置測定の合同最適化を詳述する。３Ｄにおいて物体を位置測定するために、Ｍ個のフレームのウィンドウにわたってＳＦＭ費用及び物体費用の加重和を最小化する。

【0085】

ＳＦＭ費用を決定するために、物体上のＮ個の特徴をフレームｋ＝１，．．．，Ｍで、物体座標の３Ｄ位置がＸ_０＝［ｘ_１，．．．，ｘ_Ｎ］によって与えられた状態で追跡されるものとする。フレームｋにおける点ｘ_ｊの投影

【0086】

【数36】

は、次の均質関係により与えられる。

【0087】

【数37】

【0088】

次に、

【0089】

【数38】

が観測投影である場合、特徴追跡に対するＳＦＭ再投影誤差は、次式として定義することができる。

【0090】

【数39】

【0091】

ＳＦＭ単独で解決することができないＣに関するＯの原点に全体的な曖昧さが存在することに注意されたい。これを解決するには、物体境界ボックスからの入力を必要とする。

【0092】

物体費用：（推定しようとする）物体の３Ｄ境界ボックスの寸法をα_ｏ，β_ｏ，γ_ｏ軸に沿ってｌ_α，ｌ_β，ｌ_γとする。次に、３Ｄ境界ボックスの頂点の位置を物体座標で

【0093】

【数40】

とする。フレームｋにおける３Ｄ頂点ｖ_ｉの画像投影

【0094】

【数41】

は、次式である。

【0095】

【数42】

ここで

【0096】

【数43】

は、均一のスケール係数である。次式を

【0097】

【数44】

フレームｋにおける境界ボックスの投影したエッジと定義する。次に、

【0098】

【数45】

がｊ＝１，．．．，４に対して、境界ボックスの観測エッジである場合、「物体」再投影誤差を計算することができる。

【0099】

【数46】

【0100】

合同最適化。物体の姿勢は、

【0101】

【数47】

として、γ_ｏ及びα_ｏに沿った境界ボックスサイズの比をηにするように促す事前と共に計算される。この正則化の実際的な理由は、カメラの運動が大きく前進し、シーン内の大部分の他の自動車が同様に配向されていることであり、したがってγ_ｏに沿った位置測定の不確実性がより高くなることが期待される。ＫＩＴＴＩデータセットのグランドトルース３Ｄ境界ボックスでトレーニングすることによって、本発明者らはη＝２．５をセットする。ｖ及びδの値は経験的に、本発明者らの全ての実験にわたりそれぞれ１００及び１にセットされる。

【0102】

本発明者らは、Ｅ_ｏ及びＥ_ｓの相補的な性質に留意する。ＳＦＭの項は、物体の向きを誘導するが、境界ボックスはサイズを解決し、物体の原点を固定する。（１０）の最適化は、疎なＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムを用いて解決することができ、したがってリアルタイム単眼ＳＦＭを照合するのに十分な速さである。

【0103】

上に定義したように局所的最小化フレームワークの成功は、良好な初期化次第である。本発明者らは、変数を初期化するために、再度正確な地表面推定に加えて２Ｄ境界ボックス及びＳＦＭの両方からのキューに依存する。

【0104】

物体境界ボックスは、物体運動がしばしば互いに関係する運転シーンにおける運動分割の問題を回避する。それらはまた、各物体に対する独立した特徴追跡を可能にする。物点について、３Ｄの追跡は、上述のように同様のフレームワークを用いて推定される。剛体の運動は、境界ボックス内の非物点を外れ値として廃棄するためにＰｎＰ検証を可能にする。特徴追跡のためのウィンドウサイズを、通常遠くの物体はより小さな差異シグネチャを有するため、大まかな奥行推定に反比例するようにセットする。したがって、正確な地表面推定はまた、特徴追跡を安定させるために有用であると証明する。

【0105】

物体スケールの曖昧さ（単眼ＳＦＭのスケールの曖昧さと異なる）を解決するために、本発明者らはΩ_１，．．．，Ω^Ｍで推定された平均のｈとして

【0106】

【数48】

を計算する。次にスケール係数は、

【0107】

【数49】

であり、ここで

【0108】

【数50】

は地表面の既知の高さである。物体の姿勢の長さ変数は、ｆｘ_ｏ、ｆｚ_ｏ、及びｆｈに更新され、（１０）と同様の別の非線形の改良が続く。

【0109】

本発明者らは、実世界の自律運転における優れた精度を達成するリアルタイム単眼ＳＦＭ及び３Ｄ物体位置測定システムについて述べてきた。本発明者らの単眼ＳＦＭが、ステレオとほとんど同様に実行することは、スケールドリフトのロバスト補正に起因している。本発明者らは、事前作業で使用される従来の予備の特徴の他に、密なステレオのようなキューを含むことは有利であると実証してきた。このキュー結合は、トレーニングデータの事前知識によって通知される必要があり、加えてフレーム毎の相対信頼度、広範囲に及ぶ実験で確立される利益を反映する必要がある。ＳＦＭの他に、正確に推定された地表面もまた、３Ｄにおける移動物体の位置測定のようなアプリケーションを可能にする。本発明者らの単純な位置測定システムは、正確な地表面を通じて物体境界ボックスとＳＦＭ特徴追跡を結合して、現実の運転シーケンスで移動する車の高精度の３Ｄ位置を得る。

【0110】

将来の作業で、物体検知又は追跡のより深い統合は、境界ボックスのスコアを高さ誤差にマッピングするセクション５のトレーニング手順を拡張することができ、したがって、（１０）における物体の項はまた相対信頼度によって加重されてもよい。位置測定は、検出又は外観ベースの追跡を援助する後処理（偽陽性を削除するような）として現在使用されるが、より早い段階での３Ｄキューの組み込みにより、より大きな利益を得ることができる。

【0111】

発明をハードウェア、ファームウェア、若しくはソフトウェア、又は３つの組み合わせに実装してもよい。好ましくは、発明をプロセッサ、データ格納システム、揮発性及び不揮発性メモリ並びに／又は格納要素、少なくとも１つの入力装置及び少なくとも１つの出力装置を有するプログラム可能なコンピュータで実行されるコンピュータプログラムに実装する。

【0112】

例として、システムをサポートするコンピュータのブロック図が、図３に議論される。コンピュータは、好ましくはプロセッサ、ランダムアクセスメモリ（ＲＡＭ）、プログラムメモリ（好ましくは、フラッシュＲＯＭのような書き込み可能な読み出し専用メモリ（ＲＯＭ））、及びＣＰＵバスによって接続された入力／出力（Ｉ／Ｏ）コントローラを含む。コンピュータは、ハードディスク及びＣＰＵバスに連結されるハードドライブコントローラを任意追加的に含んでもよい。ハードディスクは、本発明、及びデータなどアプリケーションプログラムを格納するために使用されてもよい。あるいは、アプリケーションプログラムをＲＡＭ又はＲＯＭに格納してもよい。Ｉ／Ｏコントローラは、Ｉ／Ｏバスを用いてＩ／Ｏインタフェースに接続される。Ｉ／Ｏインタフェースは、アナログ又はデジタル形式のデータをシリアルリンク、企業内情報通信網、無線リンク、及びパラレルリンクのような通信リンク上で受信し送信する。任意追加的に、ディスプレー、キーボード、及びポインティング装置（マウス）もＩ／Ｏバスに接続されてもよい。あるいは、Ｉ／Ｏインタフェース、ディスプレー、キーボード、及びポインティング装置に別個の接続（別個のバス）を使用してもよい。プログラム可能な処理システムを前もってプログラムしてもよいか、又はプログラムを別のソース（例えば、フロッピー（登録商標）ディスク、読み出し専用コンパクトディスク、又は別のコンピュータ）からダウンロードすることによってプログラム（及び再プログラム）してもよい。

【0113】

各コンピュータプログラムは、本明細書に説明した手順を実行するコンピュータによって記憶媒体又は装置が読み取られる際、コンピュータを構成及び制御する操作のために、一般的又は特別の目的のプログラム可能なコンピュータにより読み取り可能な機械可読記憶媒体又は装置（例えば、プログラムメモリ又は磁気ディスク）に目に見える方法で格納される。発明のシステムはまた、コンピュータプログラムと共に構成されたコンピュータ可読記憶媒体に具体化されると考えられてもよく、そのように構成された記憶媒体は、本明細書に説明した機能を実行する具体的なかつ既定の方法でコンピュータを動作させる。

【0114】

発明は本明細書で、特許法に従うため、新しい原理を適用するために必要な情報を当業者に提供するため、要求されるような特殊化されたコンポーネントを構成及び使用するために、かなり詳細に説明されてきた。ただし、発明は、具体的に異なる機器及び装置によって実行することができること、並びに機器詳細及び動作手順に関する様々な修正を発明自体の範囲から逸脱することなく達成できることは、理解されるべきである。

【図1A】

【図1B】

【図2】

【図3】