特許 6168833 ３ＤＧｅｏＡｒｃを用いた多モードデータの画像登録

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6168833

(24)【登録日】2017年7月7日

(45)【発行日】2017年7月26日

(54)【発明の名称】３ＤＧｅｏＡｒｃを用いた多モードデータの画像登録

(51)【国際特許分類】

   G06T 17/05 20110101AFI20170713BHJP

   G06T 15/00 20110101ALI20170713BHJP

【ＦＩ】

   G06T17/05

   G06T15/00 501

【請求項の数】9

【外国語出願】

【全頁数】32

(21)【出願番号】特願2013-93877(P2013-93877)

(22)【出願日】2013年4月26日

(65)【公開番号】特開2013-232195(P2013-232195A)

(43)【公開日】2013年11月14日

【審査請求日】2016年4月15日

(31)【優先権主張番号】13/459,643

(32)【優先日】2012年4月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】100109726

【弁理士】

【氏名又は名称】園田 吉隆

(74)【代理人】

【識別番号】100101199

【弁理士】

【氏名又は名称】小林 義教

(72)【発明者】

【氏名】オウェッコ， ユリ

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０００−３００８４（ＪＰ，Ａ）

【文献】 特表平１１−５１４４３４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００１９５２２（ＵＳ，Ａ１）

【文献】 WILLIAM B. THOMPSON, 外３名，"Geometric Reasoning for Map-Based Localization"，University of Utah Dept. of Computer Science Tech. Report UUCS-96-006，１９９６年 ５月２９日，p.1-23

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １５／００

(57)【特許請求の範囲】

【請求項1】

画像登録方法であって、
シーン（７００）の三次元基準モデルを確立すること、
センサ（７０６、１２１４、１３０６）に捕獲されているシーン（７００）の標的画像（４０２）を獲得すること、
標的画像（４０２）を捕獲したセンサ（７０６、１２１４、１３０６）の視点を、一又は複数の三次元ｇｅｏａｒｃを用いて、三次元基準モデルに対して決定すること、並びに
標的画像（４０２）から得られるデータを三次元基準モデルから得られるデータに、センサ（７０６、１２１４、１３０６）の視点を用いて関連付けることにより、シーン（７００）の合成三次元表示を生成すること
を含む方法であって、
センサ（７０６、１２１４、１３０６）の視点を決定するステップが、さらに、
三次元基準モデル内において一又は複数のフィーチャ対を識別すること、
標的画像（４０２）内において一又は複数のフィーチャ対を識別すること、
標的画像（４０２）内の各フィーチャ対について、
標的画像（４０２）内のフィーチャ対を、三次元基準モデル内のフィーチャ対のうちの一つに関連付けること、
標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定すること、及び
三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との間の関係性を表すｇｅｏａｒｃ表面（９１０、９１２）を生成すること、並びに
三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を三次元基準モデルに対して識別すること
を含む、方法。

【請求項2】

三次元ｇｅｏａｒｃ表面（９１０、９１２）を生成するステップが、ｇｅｏａｒｃ表面（９１０、９１２）の厚みを変化させることにより、推定角度（θ）の不確実性を表すことを含み、且つ
生成されるｇｅｏａｒｃ表面（９１０、９１２）が、既に生成されているｇｅｏａｒｃ表面と重複して三次元容積を生成する、
請求項１に記載の画像登録方法。

【請求項3】

さらに、
決定されたセンサ（７０６、１２１４、１３０６）の視点として、最も多くのｇｅｏａｒｃ表面が重複する位置を選択すること、並びに
決定されたセンサ（７０６、１２１４、１３０６）の視点を、基準データを参照することにより認証し、決定されたセンサ（７０６、１２１４、１３０６）の視点が正確である場合に標的画像（４０２）内で可視でなければならない追加フィーチャを予測すること
を含む、請求項２に記載の画像登録方法。

【請求項4】

さらに、
標的画像（４０２）内の各フィーチャ対について、
三次元ｇｅｏａｒｃ表面（９１０、９１２）の、基準データによるチェックに基づくと不正確である視点に関連する部分を無視又は除去することにより、生成された三次元ｇｅｏａｒｃ表面（９１０、９１２）を精緻化すること
を含む、請求項２に記載の画像登録方法。

【請求項5】

合成三次元表示を生成するステップが、さらに、
合成三次元表示に対するセンサ（７０６、１２１４、１３０６）の位置とセンサ（７０６、１２１４、１３０６）の角度（θ）とを決定すること、並びに
標的画像（４０２）内において可視である一又は複数のオブジェクトの、合成三次元表示に対する位置を、各オブジェクトについて、センサ（７０６、１２１４、１３０６）の位置に一方向へのオフセットを加えることにより決定すること
を含み、
シーン（７００）の合成三次元表示を生成するステップが、標的画像（４０２）に関連付けられる一又は複数のオブジェクトを実時間で３Ｄ合成シーン（７００）に投影することを含み、且つ
三次元基準モデルを確立することが、地理空間インテリジェンスシステムデータベースから得られる情報を使用して三次元基準モデルを確立することを含む、
請求項１に記載の画像登録方法。

【請求項6】

三次元基準モデル内及び標的画像（４０２）内において識別されるフィーチャ対のフィーチャは、基準モデル及び標的画像（４０２）の回転及び縮尺によって変化しないように特徴づけられており、且つ
センサ（７０６、１２１４、１３０６）の視点を決定するステップは、三次元基準モデルを任意の数の領域に区分すること、及びそれら領域の一又は複数の内部において可能性のあるセンサ（７０６、１２１４、１３０６）の視点を決定することを含む、
請求項２に記載の画像登録方法。

【請求項7】

画像を捕獲するように適合されたセンサ（７０６、１２１４、１３０６）、及び
センサ（７０６、１２１４、１３０６）に通信可能に連結されたデータ処理システム
を備えた航空ビークルであって、データ処理システムが、
シーン（７００）の三次元基準モデルを確立し、
センサ（７０６、１２１４、１３０６）からシーン（７００）の標的画像（４０２）を獲得し、
標的画像（４０２）を捕獲したセンサ（７０６、１２１４、１３０６）の視点を、一又は複数の三次元ｇｅｏａｒｃを用いて、三次元基準モデルに対して決定し、且つ
標的画像（４０２）から得られるデータを三次元基準モデルから得られるデータに、センサ（７０６、１２１４、１３０６）の視点を用いて関連付けることにより、シーン（７００）の合成三次元表示を生成する
ようにプログラムされており、
センサ（７０６、１２１４、１３０６）の視点を決定するために、前記データ処理システムは、さらに、
三次元基準モデル内において一又は複数のフィーチャ対を識別し、
標的画像（４０２）内において一又は複数のフィーチャ対を識別し、
標的画像（４０２）内の各フィーチャ対について、
標的画像（４０２）内のフィーチャ対を、三次元基準モデル内のフィーチャ対のうちの一つに関連付け、
標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定し、
三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との間の関係性を表すｇｅｏａｒｃ表面（９１０、９１２）を生成し、且つ
三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面（９１０、９１２）が重複する位置を、三次元基準モデルに対して識別する
ように構成されている、航空ビークル。

【請求項8】

シーン（７００）の合成三次元表示を生成するために、前記データ処理システムは、さらに、標的画像（４０２）に関連付けられる一又は複数のオブジェクトを、実時間で、３Ｄ合成シーン（７００）に投影するようにプログラムされている、請求項７に記載の航空ビークル。

【請求項9】

センサ（７０６、１２１４、１３０６）は、航空ビークル上において、ランドスケープとシーン（７００）とがセンサの視野に含まれるように位置しており、
データ処理システムはメモリを含み、
メモリは、三次元基準モデルを含む基準データを格納するように動作可能であり、且つセンサ（７０６、１２１４、１３０６）により捕獲された画像を格納するように動作可能である、
請求項７に記載の航空ビークル。

【発明の詳細な説明】

【背景技術】

【0001】

本発明は、画像登録システムと方法に関し、具体的には、３Ｄ−ＧｅｏＡｒｃを用いてシーンの一又は複数の多モード画像を同シーンの３Ｄ表示と組み合わせる画像登録技術に関する。

【0002】

画像登録は、一又は複数のデータセットを組み合わせて単一のデータ表示を形成するプロセスである。データセットは、複数の写真、異なるセンサから得られたデータ、異なる時間のデータ、又は異なるフォーマットに格納されたデータでありうる。画像登録技術は、二つ以上の画像又は画像から選択された点を組み合わせることにより、原画像の各々から得られたデータを含む合成画像を生成する。いくつかの画像登録技術は、一のデータセット（標的とよぶ）の詳細を、第２のデータセット（基準とよぶ）に投影する。いくつかの画像登録技術は、標的画像を、格納されている一又は複数の基準画像と比較するか、又はそのような基準画像に変換する。このような画像登録技術は、画像内の関連する点又は構造が、結果として得られる復号画像内において相関するように、画像間で点を関連付けるアルゴリズムを用いることがある。

【0003】

画像登録のいくつかの方法では、類似しているように見える点、線、及び輪郭といった画像内の特定のフィーチャ間の詳細な対応を検索する。このような外観に基づく方法では、発見した対応を用いて、標的画像を一又は複数の基準画像へと変換又はマッピングする。このような技術は、画像内に表示されたオブジェクト、シーン、又は構造の種類の専門知識を持つ個人による入力を伴う。専門家は、登録技術が相関を試みる画像内の一組のランドマーク的フィーチャを識別することができる。例えば、一の画像登録方法は、人間の頭部を異なる軸でスライスした二つのＭＲＩ画像を比較することができ、医者は二つの画像内における小脳（ランドマーク）に対応する点（及び／又はこれらの点を取り囲む輪郭）を識別することができる。次いでこの画像登録アルゴリズムは、ランドマーク間の既知の関係性に基づいて標的画像を基準画像にマッピングする。このように、標的画像内において可視のランドマークを、基準画像内において既に識別されているランドマークとマッチングすることにより、登録技術は、標的画像がどのように基準画像と整列するかについて結論を出すことができる。

【0004】

他の画像登録方法では、相関計量を使用して、画像内の詳細な容積に基づく（又は３Ｄ幾何学的な）結像を比較する。このような幾何学的方法のいくつかは、次いで、容積に基づくフィーチャがどの程度緊密に整列するかに基づいて、標的画像と基準画像との間の視差を表す距離を測定する。二つの画像の登録では、このような距離測定を減らすマッピングを見つけるための助けとなる最適化の等式を利用する。このような方法は、画像全体又は部分画像を登録することができ、部分画像が登録される場合、部分画像は対応するフィーチャ点として処理することができる。

【0005】

他のいくつかの画像登録方法は、地理空間情報を使用して、構造又はフィーチャの基準源を供給している。地理空間情報（又はジオロケーション）は、一般に、オブジェクトの現実世界における地理的な位置の識別を指す。ジオロケーションは、位置を評価する手順、又は実際に評価された位置を指すことができる。地理空間情報は、写真に含まれるフィーチャと、そのようなフィーチャ又は構造の実際の地理的位置との間の結びつきを示すことができる。例えば、いくつかの現在地認識アルゴリズムは、ＧＰＳタグの付いた、オンラインリポジトリーに基づくクラウドソース式画像収集を、直接的フィーチャマッチング技術及び多視点ジオメトリーと組み合わせて使用する。標的画像は、通りの角又は記念建造物から取得され、次いで場所認識アルゴリズムが、保存されている大量の基準画像をスキャンすることにより、基準データベース内において最も類似のフィーチャを見つけようと試みる。このような場所認識アルゴリズムは、このようなジオロケーションを可能にするために、大規模な画像データベースを必要とする。

【発明の概要】

【0006】

本発明の一又は複数の実施形態は、他の情報の中でも特に標的画像を生成したセンサ由来の視点データと３Ｄ−ＧｅｏＡｒｃとを使用して、シーンの多モード画像を、同シーンの三次元（３Ｄ）表示に登録することを可能にする方法、システム、技術、及び／又は解決法を説明する。

【0007】

有利な一実施形態では、下記のステップを含む画像登録方法を実行することができる（例えば、コンピュータなどのデータ処理システムの少なくとも一部において）。この方法の第１のステップは、シーンの三次元基準モデルを確立することを含む。方法の次のステップは、シーンの標的画像を獲得することを含む。標的画像は、センサによって捕獲されたものでありうる。方法の次のステップは、一又は複数の三次元ｇｅｏａｒｃ（ＧｅｏＡｒｃとも呼ぶ）を用いて標的画像を捕獲したセンサの視点を決定することを含む。このとき、センサの視点は三次元基準モデルに対して決定することができる。方法の次のステップは、標的画像に基づくデータを三次元基準モデルに基づくデータと関連付けることにより、シーンの合成三次元表示を生成することを含む。このとき、センサの視点を使用して関連付けを行なうことができる。

【0008】

本発明のいくつかの実施形態では、センサの視点を決定することは、さらに、以下のサブステップを含む。第１のサブステップは、三次元基準モデルに含まれる一又は複数のフィーチャ対を識別することを含む。三次元基準モデルは、地理空間インテリジェンスシステムデータベースの情報を使用して確立される。次のサブステップは、標的画像に含まれる一又は複数のフィーチャ対を識別することを含む。三次元基準モデル内及び標的画像内において識別されるフィーチャ対は、基準モデル及び標的画像の回転及び縮尺によって変化しないように特徴づけることができる。次に、標的画像内の各フィーチャ対について、方法は、（１）標的画像内のフィーチャ対を三次元基準モデル内のフィーチャ対の一つに関連付け、（２）標的画像内のフィーチャ対に関連付けられる角度を推定し、（３）三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面であって、標的画像内のフィーチャ対と推定角度との関係を表すｇｅｏａｒｃ表面を生成することができる。次のサブステップは、三次元基準モデルに対して、三次元空間内で二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を識別することを含む。本発明のいくつかの実施形態では、三次元ｇｅｏａｒｃ表面を生成することは、ｇｅｏａｒｃ表面の厚みを変化させることにより、推定角度の不確実性を表示することを含む。本発明のいくつかの実施形態では、生成されたｇｅｏａｒｃ表面は、既に生成されているｇｅｏａｒｃ表面と重複し、三次元容積を生むことがある。

【0009】

本発明のいくつかの実施形態では、センサの視点を決定することは、さらに以下のサブステップを含む。第１のサブステップは、決定されるセンサの視点として、最も多くのｇｅｏａｒｃ表面が重複する位置を選択することを含む。次に、標的画像内の各フィーチャ対について、方法は、三次元ｇｅｏａｒｃ表面の、基準データによるチェックによれば不正確である視点に関連する部分を無視又は除去することにより、生成された三次元ｇｅｏａｒｃ表面を精緻化する。次のサブステップは、決定されたセンサの視点を、基準データを参照することにより認証し、決定されたセンサの視点が正確である場合に標的画像において可視でなければならない追加的フィーチャを予測することを含む。本発明のいくつかの実施形態では、センサの視点を決定するステップは、三次元基準モデルを任意の数の領域に区分すること、及びそれら領域の一又は複数の内部において見込みのあるセンサの視点を決定することを含む。

【0010】

本発明のいくつかの実施形態では、合成三次元表示を生成することは、さらに、以下のサブステップを含む。第１のサブステップは、センサの位置、及び合成三次元表示に対するセンサの角度を決定することを含む。次のサブステップは、標的画像内において可視である一又は複数のオブジェクトの、合成三次元表示に対する位置を、各オブジェクトについて、センサの位置に一方向へのオフセットを加えることにより決定することを含む。次のサブステップは、標的画像に関連付けられた一又は複数のオブジェクトを、実時間で、３Ｄ合成シーンへ投影することを含む。

【0011】

別の有利な一実施形態では、下記のステップを含む画像登録方法を実行することができる（例えば、コンピュータなどのデータ処理システムの少なくとも一部において）。この方法の第１のステップは、三次元基準モデルに含まれる一又は複数のフィーチャ対を識別することを含む。方法の次のステップは、標的画像に含まれる一又は複数のフィーチャ対を識別することを含む。次に、標的画像内の各フィーチャ対について、方法は、（１）標的画像内のフィーチャ対を三次元基準モデル内のフィーチャ対の一つに関連付け、（２）標的画像内のフィーチャ対に関連付けられる角度を推定し、（３）三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面であって、標的画像内のフィーチャ対と推定角度との関係を表すｇｅｏａｒｃ表面を生成し、（４）三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を、三次元基準モデルに対して識別することができる。本発明のいくつかの実施形態では、ｇｅｏａｒｃ表面の厚みを変化させることにより、推定角度の不確実性を表示することができる。本発明のいくつかの実施形態では、生成されたｇｅｏａｒｃ表面は、既に生成済みのｇｅｏａｒｃ表面と重複し、三次元容積を生むことがある。

【0012】

別の有利な一実施形態では、画像を捕獲するように適合されたセンサ、及びセンサに通信可能に連結されたデータ処理システムを備えた航空ビークルが説明される。データ処理システムは、シーンの三次元基準モデルを確立するようにプログラムされる。データ処理システムは、さらに、センサからシーンの標的画像を獲得するようにプログラムすることができる。データ処理システムは、さらに、一又は複数の三次元ｇｅｏａｒｃを用いて、標的画像を捕獲したセンサの視点を、三次元基準モデルに対して決定するようにプログラムすることができる。データ処理システムは、さらに、標的画像に基づくデータを三次元基準モデルに基づくデータと関連付けることにより、シーンの合成三次元表示を生成するようにプログラムすることができる。このとき、センサの視点を使用して関連付けを行なってもよい。

【0013】

本発明のいくつかの実施形態では、センサの視点を決定するために、データ処理システムは、三次元基準モデル内における一又は複数のフィーチャ対を識別するようにさらにプログラムされる。データ処理システムは、さらに、標的画像内における一又は複数のフィーチャ対を識別するようにプログラムされてもよい。標的画像内の各フィーチャ対について、データ処理システムは、さらに、（１）標的画像内のフィーチャ対を三次元基準モデル内のフィーチャ対の一つに関連付け、（２）標的画像内のフィーチャ対に関連付けられる角度を推定し、（３）三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面であって、標的画像内のフィーチャ対と推定角度との関係を表すｇｅｏａｒｃ表面を生成するようにプログラムされてもよい。データ処理システムは、さらに、三次元空間内で二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を、三次元基準モデルに対して識別するようにプログラムされてもよい。本発明のいくつかの実施形態では、シーンの合成三次元表示を生成するために、データ処理システムは、さらに、標的画像に関連付けられる一又は複数のオブジェクトを、実時間で、３Ｄ合成シーンに投影するようにプログラムされる。

【0014】

本発明のいくつかの実施形態では、センサは航空ビークル上で、ランドスケープとシーンとがセンサの視野に含まれるように位置する。本発明のいくつかの実施形態では、データ処理システムは、三次元基準モデルを含む基準データを格納するメモリであって、センサによって捕獲された画像を格納するメモリを含むことができる。

【0015】

上述のフィーチャ、機能及び利点は、様々な実施形態において独立に実現することが可能であるか、さらに別の実施形態において組み合わせることが可能である。これらの実施形態について、以下の説明及び添付図面を参照してさらに詳細に説明する。

【図面の簡単な説明】

【0016】

以下に複数の特徴及び利点を記載するうえで、実施例として添付図面を用いて複数の実施形態について説明する。

【図1】本発明の一又は複数の実施形態に従って実行される例示的ステップを示す高レベルのフロー図である。

【図2】本発明の一又は複数の実施形態に従って実行される例示的ステップを示す高レベルのフロー図である。

【図3】本発明の一又は複数の実施形態の説明を助ける例示的幾何学形状を示している。

【図4】本発明の一又は複数の実施形態の説明を助ける例示的な情報の流れを示している。

【図5】本発明の一又は複数の実施形態の説明を助ける例示的幾何学形状を示している。

【図6】本発明の一又は複数の実施形態の説明を助ける例示的幾何学形状を示している。

【図7】本発明の一又は複数の実施形態の技術の、例示的シーンと例示的適用とを示している。

【図8A-C】一又は複数の例示的試験の結果の例を示している。

【図8D-F】一又は複数の例示的試験の結果の例を示している。

【図9】一又は複数の例示的シミュレーションの画像及び結果の例を示している。

【図10】本発明の一又は複数の実施形態による航空ビークルの、斜め上から見た眺めを示している。

【図11】本発明の一又は複数の実施形態による航空ビークルの、斜め下から見た眺めを示している。

【図12】本発明の一又は複数の実施形態による例示的なデータ処理システムのブロック図である。

【図13】本発明の一又は複数の実施形態による、プログラムコードと他のコンポーネントとの間の例示的相互作用を示すブロック図である。

【図14】本発明の一又は複数の実施形態による、ネットワークに接続されたデータ処理システムとコンポーネントからなる例示的システムを示す図である。

【発明を実施するための形態】

【0017】

画像登録のための技術が存在するとはいえ、現行技術には複数の欠点がある。例えば、現行技術の多くは、直接登録を実行するために、特定のフィーチャ間の対応を発見しようと試みる。このような技術では、二つのフィーチャが一致することを確認するために考慮を要するデータ点が大量であるために、複雑な演算を必要とする。いくつかの現行技術は、例えば、カメラ又はセンサから取得した標的画像と基準画像又はモデルとの間での画像変換を必要とする。加えて、これらの技術は、一致しているフィーチャを見つけるための、基準画像データベースの大規模検索と、標的画像を、基準データベース内において視覚的に類似する画像又はモデルと一致させる複雑なアルゴリズムとを必要とする。これらの技術は、類似性を決定するために種々の複雑な方法を使用し、そのような方法には、「語の袋（ｂａｇ−ｏｆ−ｗｏｒｄｓ）法」（全体的類似性を測るために、画像内の任意の数の類似のフィーチャを検出すること）が含まれる。このような複雑な方法は、良好な写真が撮られている場所や都市部では役立つが、農村部ではデータベース内のデータ量が不十分である。加えて、特定のフィーチャ間の対応を発見することは、フィーチャが異なる波長で又は種類の異なるセンサで作成された記録から生成されている場合、困難でありうる。

【0018】

現行の、幾何学に基づく方法も欠点を有している。このような技術は、実世界（又は地上レベルの構造データ）から精度の高い幾何モデルを生成することが可能な都市設定で最も一般的に使用されている。この場合、登録技術は、標的画像と格納されているモデルとの間の３Ｄアラインメントを検出するために、弁別的な点、反復パターン、及びラインクラスタリングの類似性を使用する。このような技術は、有望な結果を示す一方、基準モデル及び基準データベースを形成するための地上レベルの画像が十分でない任意のシーン又はエリアには適してない。加えて、現行技術は、画像内の部分領域を検出して一致させることがあり、このような一致部分領域が登録アルゴリズムを混乱させる結果、画像全体の登録が正確に行われないことがある。

【0019】

さらに、現行技術は、異なる様相を使用して獲得された画像（例えば、異なるセンサを用いて獲得された画像、又は異なるフォーマット又は寸法で捕獲された画像）を高い精度で登録することができない。これは、異なる様相の画像を登録するときに現行技術が利用する仮定が正しいと証明されないためである。例えば、従来の画像登録技術の多くは、対応する画像要素（例えば、画素、ボクセルなど）の画像強度が、登録対象である画像内で同一であると仮定する。加えて、異なる様相の画像は、異なる解像度、寸法、又はフォーマットを有する可能性があるか、或いは多種多様な視点から記録されている可能性がある。

【0020】

現行のジオロケーション登録技術も限界を有している。例えば、そのような技術は、写真が撮られた多様な視点に基づいた精度の高い登録を行わない。加えて、画像、又は他の情報の大規模データベースが必要になるので、このような技術は、都市部又は多数の訪問者を惹きつける他のエリア（訪問者がデータベースに画像を寄与する）といったデータ量の多い地域に限定される。さらに、フィーチャ又はパターンの直接的マッチングを利用する技術の精度は、照明、季節、又は天候の変化により低下しうる。このような技術は、大量の基準画像が必要とされることにより、拡張性の問題も有している。

【0021】

したがって、もっと精度が高く、柔軟で拡張可能な多モード画像登録のための技術であって、直接的なフィーチャマッチングに異存する必要がなく、精密な幾何モデルを利用する必要もない技術が望まれている。本発明は、他の情報の中でも特に標的画像を生成したセンサ由来の視点データと、ＧｅｏＡｒｃ（ｇｅｏａｒｃともいう）とを使用して、シーンの多モード画像を、同シーンの三次元（３Ｄ）表示に登録することを可能にする技術、方法、及び／又はシステムを説明する。

【0022】

既存の視点登録システムとは異なり、本明細書に記載される解決法では、標的画像と非常に詳細な基準画像との間での直接的なフィーチャマッチング、又は対応を試行する必要がない。本発明の解決法は、地理的な位置内で人間が自分をどのように位置づけるかについてパターン化される。生態学的生理学における研究により、人間は、不慣れな環境では、主にそのエリアの地形図を使用して自分を位置づけることが示されている。人間は、自身を取りまく環境の複雑なモデルを形成して、このようなモデルに含まれる特定のフィーチャを格納されている基準データと直接一致させようとすることはしない。実際、人間は、反復型の証拠収集プロセスに従い、少数の観察可能な一般のランドマーク的フィーチャ間の関係を考慮する。次いで、人間は仮説を立て、基準データを用いてそれを確認しようと試みる。同様に、本明細書に記載される技術では、証拠を蓄積し、複数の仮説を生成してから、基準モデルと場合によっては他の基準データとによって課される複数の制約を最もよく満たす仮説を使用して、最終的なジオロケーションエリアを生成する。このような技術により、現行の画像登録システムの基礎である徹底的なフィーチャ対フィーチャの対応の問題を解消する必要が回避される。本明細書に記載される解決法は、標的画像内のフィーチャが基準モデル内のものと同種のものであるかどうかと、フィーチャが他のフィーチャと同様の関係を有しているかどうかとを決定すればよいだけである。同じフィーチャ種類（例えば、縁及び角に基づいて）が、シーンの標的画像と３Ｄ基準モデルとの両方において検出できるかぎり、標的と基準とを合成３Ｄ表示に融合することができる。

【0023】

本明細書に記載される登録技術により、２Ｄデータ（例えば、ＥＯ、ＩＲ、及びＳＡＲデータ）及び３Ｄデータ（例えば、ＬＩＤＡＲデータ）などの多モードデータを高い精度で柔軟に融合することが可能になる。ＥＯ（電気光学）センサは、光、又は光の変化を電子信号に変換する電子検出器である。それらは、多くの産業用及び民生用アプリケーションに使用される。赤外（ＩＲ）センサは、オブジェクトから放射されている赤外光をその視野内において測定する電子デバイスである。ＳＡＲ（合成開口レーダー）は、遠隔感知用途に頻繁に使用される電磁画像センサである。ＳＡＲセンサは、航空機又は衛星に取り付けられて、地球表面の高解像度画像を作成するために使用される。ＬＩＤＡＲ（光検出及び測距、又はＬＡＤＡＲ）は、時にレーザのパルスを使用して、標的に光を照射することにより標的の特性を測定することのできる光学遠隔感知技術である。既述の種類のセンサは、本明細書に記載されるシステム及び解決法に統合することができる。既述の種類の一又は複数のセンサは、ここに記載する解決法の一部又は全部を具現化するシステムに連結可能である。例えば、２Ｄ画像センサを、コンピュータコードを実行できるプロセッサを含む汎用コンピュータに連結することができ、この場合、コンピュータは、プロセッサがコンピュータコードを実行すると、２Ｄ画像センサから情報を受領して、本発明の解決法を実行するように処理することができる。

【0024】

本明細書を通して、「融合」という用語は、シーンの一又は複数の標的画像をシーンの一又は複数の基準画像及び／又は３Ｄ表示と組み合わせること、及び登録することを意味する。標的画像と、格納されている、実世界の地理的位置及び構造と一致した３Ｄシーン表示との間で登録が行われる場合には、本明細書を通して、「地理登録」という用語も、登録のプロセスを意味するために使用される。加えて、本明細書の記載は、センサによって生成された標的画像といった画像に言及しているが、本発明の解決法は映像にも適用可能であることを理解されたい。したがって、本発明は、シーンの映像と、同シーンの３Ｄ表示との融合を可能にする技術、方法、及び／又はシステムを考慮する。説明を明瞭にするために、本明細書は主として標的画像に言及するが、本明細書の解決法は、標的映像にも機能する。加えて、本明細書は主として標的画像及び／又は映像と基準３Ｄ表示との融合について説明するが、基準となる表示は３Ｄ表示ではなく２Ｄ画像でもよい。

【実施例】

【0025】

本発明の登録技術は、図１に示すように３つの主要なステップからなる。図１は、本発明の一又は複数の実施形態に従って実行される例示的な主要ステップを示す高レベルのフロー図１００である。第１の主要ステップは、シーンの３Ｄ基準モデルを形成することを含む基準モデルステップ１０２である。第２の主要ステップは、標的画像を生成したセンサの３Ｄ地理空間視点を推定することを含む視点決定ステップ１０４である。第３の主要ステップは、標的画像のデータを合成３Ｄシーン表示に投影することを含む投影ステップ１０６である。

【0026】

本明細書に記載される登録技術の第１の主要ステップは、基準モデルステップ１０２である。この主要ステップは、さらに二つのサブステップを含むことができる。まず、基準モデルと呼ばれるシーンの３Ｄモデルを作成する。３Ｄモデルの作成に使用される情報は、例えば、特定のフィーチャを３Ｄ空間内の位置に相関させる基準マップから得られる。一実施例では、３Ｄモデルの作成に使用される情報は、政府機関又は他の何らかのエンティティによって維持される地理空間インテリジェンスシステムデータベースから得られる。このようなデータベースには、地球上の多様な位置に関連する画像、フィーチャ、及び標高データの包括的収集が含まれている。地理空間インテリジェンスシステムデータベースは、特定の実世界フィーチャをそのジオロケーションと相関させる。

【0027】

次のサブステップでは、３Ｄ基準モデル内の様々な種類のフィーチャ（ランドマーク）の位置を識別し、標的画像を３Ｄ基準モデルにマッチングさせるための理想的候補としてマークする。標的画像が捕獲された視点が多岐にわたる可能性に対処するために、このようなフィーチャは画像の回転及び縮尺によって変化しないように特徴づけられるか、又はそのように格納される。例えば、本明細書に記載される解決法は、基準モデル内のフィーチャが標的画像内のものと同種（すなわち、曲線及び／又は角が類似）であるかどうかと、フィーチャが他のフィーチャと同様の関係を有しているかどうかとを決定すればよいだけである。

【0028】

本明細書に記載される登録技術の第２の主要ステップは、標的画像を生成したセンサの視点を推定することを含む視点決定ステップ１０４である。センサの視点を決定することは、センサのジオロケーション情報（所定の３Ｄ基準シーン内におけるセンサの位置）を決定すること、並びにセンサの向いている方向（視角）を決定することを含む。さらなる詳細を図２に示す。図２は、視点決定ステップの一実施例により実行される例示的サブステップを示している。この実施例では、視点決定ステップは以下の六つのサブステップを含んでいる。（１）サブステップ２０２−標的画像が提供され、標的画像内の、３Ｄモデル内において識別されるフィーチャの種類に関連するフィーチャを検出する。（２）サブステップ２０４−較正されたセンサの視野を用いて、標的座標内のフィーチャ対の間の角度を決定する。（３）サブステップ２０６−標的画像と同種の対を形成する３Ｄモデル内の各フィーチャ対について、標的画像測定された標的画像のフィーチャ対の角度と不確実性とを使用して、３Ｄ−ＧｏｅＡｒｃ（後述する）を生成する。（４）サブステップ２０８−各３Ｄ−ＧｅｏＡｒｃの、基準データと一致しない視点の位置を表す部分を排除することにより、３Ｄ−ＧｅｏＡｒｃ結果を精緻化する。（５）サブステップ２１０−３Ｄ基準モデルと比較して、最も多くの３Ｄ−ＧｅｏＡｒｃが重複する（幾何学的投票）３Ｄボリュームを見つけ出すことにより、証拠との一貫性が最も高い近似視点位置を決定する。（６）サブステップ２１２−標的画像を３Ｄモデルに登録し、随意で登録を認証する。

【0029】

第１のサブステップ２０２に関して、標的画像内のフィーチャを検出するときには、まず、標的画像はいずれかの時点でカメラ又はセンサによって取得されたものであると仮定した。図１に示したように、いずれかの時点で標的画像は生成されなければならない（タスク１０８）が、本発明のいくつかの実施形態では、画像登録プロセスは、タスク１０８の発生する厳密な時間に関しては柔軟である。標的画像は、実時間で捕獲されてよく、又はステップ１０４は既に捕獲されていた標的画像を使用してもよい。図２では、標的画像が提供されると、サブステップ２０２は標的画像内のフィーチャを検出することを含む。サブステップ２０２の解決法は、標的画像内のフィーチャが基準モデル内のフィーチャと同種であるかどうかを決定するだけでよい。例えば、標的画像内のフィーチャが同じフィーチャ種類（例えば、類似した縁及び／又は角）を有する限り、標的画像内でフィーチャを検出することができ、他のフィーチャとの空間的関係が、基準モデル内の同様のフィーチャの関係性に対してチェックされる。このような技術により、現行の画像登録システムの基礎であるフィーチャ対フィーチャの対応への過度な依存を解消する必要が回避される。このような同種の関係に基づくフィーチャマッチング技術は、フィーチャ対フィーチャの徹底的な対応付けを行う方法より精度は低いが、マッチングの不確実性は登録プロセスの他のステップによって対処される。

【0030】

本発明のいくつかの実施形態では、基準モデルは任意の数の領域又はセルに区分され、フィーチャ検出（サブステップ２０２）は、各領域又はセル内において個別に実行される。このような区分の理由は、基準モデル全体で検討すべきフィーチャ関係の数が、潜在的に組み合わせの性質を有しているためである。例えば、基準モデル全体を考慮すると、基準モデル内にＮ個のランドスケープフィーチャが存在し、且つ標的画像内でｒ個のフィーチャが可視である場合、登録技術は全部でＣ（Ｎ，ｒ）＝Ｎ！／（Ｎ−ｒ）！ｒ！のｒ要素の、このようなフィーチャのサブセットについて仮説を立て、位置選定の整合性についてそれらを順位付けする必要がある。これにより、可能な限り最善の位置選定が行われるが、このような技術が不十分である場合もある。

【0031】

いくつかの実施形態は、すべてのフィーチャ／視点の組み合わせを同時に考慮することを避けるために、階層的アプローチを使用することにより、センサ位置に関する仮説において生じる可能性のある組み合わせ的爆発を制限する。例示的な階層的アプローチは、まず、粗い位置選定ステップを実行し、大きくて目立つフィーチャ対を使用してグローバル検索を粗領域に区分する。粗領域は、目立つフィーチャの数が少ないであろうこと、及びそのようなフィーチャの大きさから、高い信頼度で領域内に視点が位置するが、粗領域内における視点の位置に関する精度が低いことを特徴とする。粗い位置選定に使用される大きくて目立つフィーチャの例としては、山頂、及び大きな建造物が挙げられる。

【0032】

各粗領域内部において、階層的アプローチは、精緻な位置選定ステップを実行し、大きなフィーチャ対と整合するもっと小さなフィーチャ対を使用て視点位置の精度を上昇させる。精緻な位置選定ステップは、粗領域位置選定品質が粗い順に続行される。加えて、これらの細分領域は、可視性という制約によっても限定される。例えば、精緻な位置選定ステップはいくつかの小さなフィーチャを考慮するが、障害物などによりフィーチャのすべてが可視ではない。加えて、階層的アプローチは、一又は複数のフィーチャ種類の「可視半径」を考慮し、一又は複数のフィーチャの可視性に相関するセルに基準モデルを区分する。可視半径とは、フィーチャからセンサを離してもセンサがフィーチャを捕獲できる最大距離である。セルの形状は、例えば、可視半径を完全に一致させるために円形とすることができるか、又は異なる形状とすることができる（例えば正方形）。異なるフィーチャの可視性に相関する異なるセルが重複してもよい。

【0033】

細分領域又は可視性セル、或いは両方の組合わせに関係なく、本明細書に記載の登録アルゴリズム及び技術は、各領域及び／又はセルに対して個別に実行することができる。各領域及び／又はセル内部において可能なフィーチャの数は制限され、可能な仮説の数は有意に減少する。例えば、Ｋ個のセルが存在する場合、階層的アプローチはアルゴリズムの漸近的複雑性をＫＣ（Ｎ／Ｋ，ｒ）まで減少させることができる。これは大きな改善である。多数の基準モデルセル及び／又は領域に対処することは最初は大量の可能最終視点を生じるが、この不確実性は上述のように対処され、後述のサブステップでさらに対処される。

【0034】

残りのサブステップ（サブステップ２０４−２１２）をさらに理解するために、フィーチャ対の間の関係（仮説ともよぶ）を規定するために使用されるＧｅｏＡｒｃ（Ｇｅｏｌｏｃａｔｉｏｎ Ａｒｃ又はｇｅｏａｒｃともよぶ）について説明することが有用であろう。まず、２Ｄ−ＧｅｏＡｒｃについて説明する。図３は、ＧｅｏＡｒｃの説明を助ける幾何学形状を示している。図３Ａは、フィーチャ対である二つの点３０２、３０４を含んでいる。本明細書を通して、ＧｅｏＡｒｃ又は仮説を形成するために使用される画像内の二つのフィーチャを、フィーチャ対とよぶ。図３Ａは、二つのフィーチャ（点３０２、３０４）から様々な距離にある複数の点３０６、３０８、３１０（視点）と、各視点と二つのフィーチャとを結ぶ二つの接続線とを含んでいる。視点が二つのフィーチャから離れるほど、視点に関連付けられた二つの接続線の間の角度（点３０６、３０８、３１０についてそれぞれ示されている角度３１２、３１４、３１６）は小さくなる。さらに、図３Ｂに示すように、二つの接続線の間の所与の角度について、そのような角度を有する接続線に可能な視点が（円弧に沿って）無限に存在する。上述の説明に関して、「接続線」という用語は物理的な線又は接続を意味するわけではない。そうではなくて、「接続線」は、二つの点の間に延びる想像上の直線の幾何学的概念を意味する。

【0035】

図４Ａ−Ｃを参照し、且つ上述の説明を考慮することにより、２Ｄ ＧｅｏＡｒｃを使用した、標的画像（図４Ａに示す）の情報の基準モデル（図４Ｃに示す）への投影方法を理解することができる。センサ又はカメラにより（例えば、地上の一区画の）標的画像が取得されたと仮定する。図４Ａは、カメラ又はセンサによって取得された例示的な標的画像４０２を示している。カメラ又はセンサは、画像４０２を取得するとき、フィーチャ４０４及び４０６を検出することができ、且つ例えば標的画像に関する詳細をスキャンすることにより、センサ（図示しない）とフィーチャ４０４及び４０６との間に延びる想像上の接続線（図４Ａには示さない）の間の角度（θ）を推定することができる。図４Ｂは、さらに、センサとフィーチャ４０４及び４０６との間に延びる想像上の接続線の間の角度をセンサにより推定する方法を概念的に示している。

【0036】

いくつかの実施形態では、フィーチャ間の角度を推定するために、登録技術は、センサの較正された視野（ＦＯＶ）に関する詳細を利用することができる。いくつかの実施例では、カメラに関連付けられたＦＯＶの詳細は前もって分かっている。ＦＯＶの詳細には、例えば、センサが一回に捕獲できるシーンの最大角度／ビュー（幅及び高さ）が含まれる。例えば、カメラのレンズ、焦点距離、センササイズなどに関する情報は有用なＦＯＶ詳細となる。或いは、センサのＦＯＶは測定可能である。いくつかの実施形態では、ＦＯＶは、観察されたデータから生成されるＧｅｏＡｒｃの重複により測定される整合性と地理空間精度とを最大化するようにその値を調節することによって推定することもできる。他の実施形態では、センサのＦＯＶは、画像を生成した後で画像の詳細をスキャンすることにより推定される。センサの最大角度／ビュー（換言すれば、センサに最大可能な可視範囲）が判明したら、センサの最大可視範囲内に含まれるオブジェクトについてサブアングルを推定することができる。

【0037】

基準画像（例えば地上の一区画の空中写真）が存在すると仮定すると、この基準画像には任意の数のフィーチャが含まれてよく、フィーチャの対に基づいて任意の数の２Ｄ−ＧｅｏＡｒｃを生成することができる。標的画像４０２内に検出されるフィーチャ４０４及び４０６が、基準画像４１２内の二つの基準フィーチャ４１４及び４１６（図４Ｃに示す）と一致すると仮定すると、登録技術は、二つの円弧４１８、４２０（ＧｅｏＡｒｃ）を演算し、基準モデル４１２にマッピングする。二つの円弧４１８、４２０は、センサが標的画像を捕獲したときにセンサが基準画像に対して位置していた可能性のある視点を示している。このように、２Ｄ−ＧｅｏＡｒｃは、標的画像内の二つのフィーチャ間の特定の角度関係と一致する可能性のある標準画像内における２Ｄ位置からなる円弧（物理的円弧が複数個存在する可能性がある）を指している。２Ｄ−ＧｅｏＡｒｃ上の全ての位置において、二つのフィーチャ間に見える角度は同じである。基準画像に関連付けられた２Ｄ−ＧｅｏＡｒｃは、２Ｄ空間において可能なセンサ視点位置を限定する。

【0038】

このように、標的画像内に検出される二つのフィーチャ間の角度関係を基準画像の角度関係とマッチングさせ、標的画像から検出された角度に関連付けられるＧｅｏＡｒｃにより規定される基準画像の制約を考慮することにより、ジオロケーションの仮説を立てることができる。ジオロケーションの仮説は、標的画像が取得された可能性のある２Ｄ空間内の位置の組である。例えば、ジオロケーションの仮説は、この組｛ＬＦｒ１，ＬＦｒ２），（ＬＦｑ１，ＬＦｑ２），θ｝により表される。ここで、ＬＦｒｉは基準モデルのフィーチャであり、ＬＦｑｊは入力画像フィーチャであり、θはＬＦｑｉとＬＦｑｊとの間の分離角である。

【0039】

本明細書を通して、センサによって実行されている決定、推定、及び／又は演算に言及するとき、このような決定、推定、及び／又は演算は、センサ自体に内蔵される装備、回路、又はコードによって実行されるか、又は別の構成では、センサが画像を捕獲した後で画像を解析する別の装置によって実行されると理解されたい。例えば、いくつかの実施形態では、センサ内部の回路又は装備は、想像上の接続線の間の角度（θ）を推定する。他の実施形態では、データ処理システム上で実行されるコンピュータプログラムのような別の装置が、このような推定を実行する。

【0040】

さらなるフィーチャ関係について上記と同じ２Ｄ ＧｅｏＡｒｃ／仮説生成プロセスを実行して、さらなるＧｅｏＡｒｃ／仮説を生成することができる。次いで、各フィーチャ関係のマッピングによって生成される２Ｄ−ＧｅｏＡｒｃが重複し（図５Ａ参照）、ジオロケーション尤度マップ（ＧＬＭ）が生成される。例えば、図５Ａを参照し、完全な２Ｄ−ＧｅｏＡｒｃを推定すると、ＧＬＭ５０２は、二つ以上の２Ｄ−ＧｅｏＡｒｃが交差する点である。２Ｄ−ＧｅｏＡｒｃが完全でない場合、ＧＬＭは、センサの視点が存在する尤度の高い２Ｄ空間内のエリアを表わす。この場合、新たなＧｅｏＡｒｃによりさらに精密な位置選定のための追加的証拠を提供してＧＬＭの面積を縮小することができる（必須ではない）。このように、最も多くの２Ｄ−ＧｅｏＡｒｃの重複が存在する２Ｄ空間内の領域は、ジオロケーションエリア（ＧＡ）を決定するための最善の証拠を提示することができる。ＧＡは、登録プロセスによって、標的画像が取得された場所である尤度が最も高いと決定された、２Ｄ空間内の最終的な位置である。

【0041】

いずれの登録技術においても、いくらかのレベルの不確実性に対処する必要が生じると思われる。すなわち、ＧｅｏＡｒｃが完全な線／円弧ではない場合もある。例えば、記載される技術において誤差を生じさせうる一つの要因は、標的画像を捕獲するセンサ（又は、後に標的画像をスキャンする方法）が、センサとフィーチャとの間の正確な距離及び方向を確定することが困難であるために、二つのフィーチャ間の角度を概算せざるをえないことである。例えば、図５Ｂに示すように、センサデータの誤差又は不確実性によって、２Ｄ−ＧｅｏＡｒｃ生成プロセスに不確実性が導入される。図５Ｂに示すように、不確実性により、各２Ｄ−ＧｅｏＡｒｃに関連付けられる可能な２Ｄ位置の範囲が拡大し、したがって基準画像にマッピングされるときにＧｅｏＡｒｃに関連付けられる「厚み」を生じさせる。したがって、図５Ｃに示すように、多ＧｅｏＡｒｃ登録プロセスに不確実性が導入されるとき、二つの２Ｄ−ＧｅｏＡｒｃの交差により、図５Ａに示すような交差点ではなく、交差面積５１０が形成される。しかしながら、さらに多くのフィーチャ関係を解析し、基準画像にマッピングされるＧｅｏＡｒｃを増やすと交差エリアは縮小し、したがってＧＡに関する全体的な不確実性のレベルは最小化される。

【0042】

基礎となる２Ｄ−ＧｅｏＡｒｃの理解に基づいて、以下に２Ｄ−ＧｅｏＡｒｃの概念をどのように３Ｄ−ＧｅｏＡｒｃに拡大するかを説明する。図６は、３Ｄ空間内に存在する一対のフィーチャ６０２、６０４間の分離角（θ）を示している。図６に示すように、３Ｄ−ＧｅｏＡｒｃは、フィーチャ対を結ぶ線（又は軸）を中心として２Ｄ−ＧｅｏＡｒｃを（フィーチャ対を含む面内で）「スウィープ」する又は回転させることにより形成される表面である。３Ｄ表面上のすべての視点において、二つのフィーチャ間に見える角度は同じである。したがって、２Ｄ−ＧｅｏＡｒｃの概念と同様に、標的画像内の一対のフィーチャ間に観察される分離角は、３Ｄ基準モデルに関連付けられる３Ｄ−ＧｅｏＡｒｃを画定し、この３Ｄ−ＧｅｏＡｒｃは、３Ｄ空間内で可能なセンサ視点位置を限定する。したがって、３Ｄの場合、フィーチャ対の関係／関連の仮説は、標的画像（例えば２Ｄ画像）内における一対のフィーチャと３Ｄ基準モデル内におけるフィーチャ対と間の対応である。このような関連（仮説）により、３Ｄ空間内に、真のジオロケーションが位置しうる表面（３Ｄ−ＧｅｏＡｒｃと示される）が画定される。

【0043】

図７は、本明細書に記載される３Ｄ−ＧｅｏＡｒｃを用いた登録技術が有用でありうる例示的な３Ｄシーン７００を示している。図７に示すように、建造物の二つの角７０２、７０４が、センサ７０６によるシーンの標的画像獲得時にセンサ７０６によってフィーチャ対として識別されている。この場合、センサはフィーチャ対の間の分離角（θ）の推定を行なっていてもよい。次に、これらのフィーチャ（角７０２、７０４）を、３Ｄ基準モデル内の二つの類似するフィーチャに関連付けることが可能であると仮定し、角度（θ）が推定済みであるとした場合、登録技術は、トーラスホールの大きさがゼロである「縮退トーラス」に類似する３Ｄ−ＧｅｏＡｒｃ７０８を生成する。この「縮退トーラス」の表面は、シーンの標的画像を捕獲したときにセンサが位置していた可能性のある３Ｄ基準モデル内の３Ｄ位置の範囲を画定する。

【0044】

加えて、本明細書に記載の３Ｄ−ＧｅｏＡｒｃを用いた登録技術に関して、標的画像内に新たなフィーチャ対を識別することができ、標的画像と３Ｄ基準モデルとの間で新たなフィーチャ関係を解析することにより、新たな仮説／３Ｄ−ＧｅｏＡｒｃを３Ｄ基準モデルにマッピングすることができる。３Ｄ−ＧｅｏＡｒｃを重複又は交差させることにより、３Ｄジオロケーション尤度マップ（３Ｄ−ＧＬＭ）が生成される。フィーチャ対の角度に不確実性がないと仮定すると、二つの３Ｄ−ＧｅｏＡｒｃの交差により３Ｄ空間に曲線が生じ、三つのＧｅｏＡｒｃの交差により点が生じる。しかしながら、現実には、３Ｄ−ＧｅｏＡｒｃ登録は、標的画像センサ（又は後に標的画像を解析するデバイス）の誤差又は不確実性に起因しうる不確実性に対処しなければならない。３Ｄ−ＧｅｏＡｒｃに関し、これらの不確実性はＧｅｏＡｒｃ表面を「厚く」し、これにより、二つ以上の３Ｄ−ＧｅｏＡｒｃが交差又は重複する場合に３Ｄ−ＧｅｏＡｒｃの交差容積が生じる。このように、３Ｄ−ＧＬＭは、センサ視点が存在する尤度の高い３Ｄ空間内の容積を表す。新たなＧｅｏＡｒｃによりさらに精密な位置選定のための追加的証拠を提供して、３Ｄ−ＧＬＭの容積を低減することができる（必須ではない）。このように、複数の３Ｄ−ＧｅｏＡｒｃが重複する３Ｄ空間内の容積は、３Ｄジオロケーション容積（３Ｄ−ＧＶ）の良好な候補となる。３Ｄ−ＧＶは、登録プロセスによって、標的画像が取得された場所である尤度が最も高いと決定された、３Ｄ空間内の最終的な位置の組である。

【0045】

視点決定ステップ１０４（図１参照）のサブステップとして、３Ｄ−ＧｅｏＡｒｃが生成された後で、且つ３Ｄ−ＧｅｏＡｒｃが、投票サブステップで考慮される３Ｄ−ＧｅｏＡｒｃの収集に追加される前に、各３Ｄ−ＧｅｏＡｒｃに精緻化プロセスを施すことができる。これは、生成された特定の３Ｄ−ＧｅｏＡｒｃについて、可能な視点の位置として完全なＧｅｏＡｒｃに沿った点を考慮することが不十分（又は誤り）であると考えられる場合である。したがって、精緻化プロセスは、３Ｄ−ＧｅｏＡｒｃの、閉塞（遮蔽）によりフィーチャ対を見ることができない視点位置、すなわち重要なフィーチャを検出できない視点位置を表す部分を排除又は無視することができる。加えて、精緻化プロセスは、３Ｄ−ＧｅｏＡｒｃの、基準データ（例えば、地理空間データベースから得られるデータ）に基づくと物理的に不可能な視点位置を表す部分を排除又は無視することができる。例えば、可能性のある視点であると仮定された場所にオブジェクト（例えば、大きな岩又は建造物）が存在する場合、この視点を無視することができる。また、センサが存在するはず（又は存在しないはず）の場所に関する他のあらゆる情報が３Ｄ−ＧｅｏＡｒｃの精緻化を助ける。

【0046】

加えて、いくつかの実施形態では、上述のように、基準モデルは任意の数の重複セル又は領域に区分される。複数の領域において一度に少数のフィーチャ関係のみを考慮することにより、最初の視点可能位置が大量に得られる。しかしながら、候補のプールは、基準データを用いたチェックの実行によって精緻化され（多くの候補が排除される）、候補仮説に基づいて可視であるはずのフィーチャが予測される。予測されたフィーチャが観察される場合、それらは仮説を補強する追加的証拠として働き、新たなランドマークフィーチャの予測を可能にする。引き続きこのような精緻化技術を複数回繰り返して可能な位置の数を減らすことにより、フィーチャのグローバルマッチングを行う必要なく、迅速かつ効率的にジオロケーションの推定が行われる。

【0047】

考慮されるＧｅｏＡｒｃの収集に、精緻化されたＧｅｏＡｒｃのプールが追加されたら、次のサブステップとして、３Ｄ−ＧｅｏＡｒｃを重複させることにより、最も尤度の高いジオロケーション（３Ｄ容積）の選択、又は「投票」を実行する。このサブステップは、標的データ及びシーンの基準３Ｄモデル両方におけるフィーチャ対の関係と最も整合するジオロケーション容積を検索する。各フィーチャ対の関係（３Ｄ−ＧｅｏＡｒｃ）は、その関係と整合する可能性のあるセンサ視点の組に幾何制約を課す。したがって、標的画像及び３Ｄ基準モデルにおいて観察されるフィーチャ対角度により課される制約を最もよく満たす視点を探す３Ｄ−ＧｅｏＡｒｃ投票（又は幾何投票）を用いて、最も尤度の高いセンサ視点が決定される。

【0048】

３Ｄ−ＧｅｏＡｒｃ投票（又は幾何投票）は、最も３Ｄ−ＧｅｏＡｒｃが重複する容積（理想的には一の容積）を見つけ出すプロセスを指す。したがって、３Ｄ−ＧｅｏＡｒｃが最も重複する３Ｄ容積を見つけ出すことにより、３Ｄ空間内におけるセンサの視点位置に関する確実性レベルを決定することができ、それにより証拠と最も整合する近似視点の位置が決定される。このような幾何投票プロセスにより、登録プロセスの信頼性が増す。標的センサ情報に誤差が含まれる可能性があり、且つ多数のフィーチャのデータを含むデータベース（現行の登録技術で必要とされる）がなくとも、本発明の解決法によれば、限界を有する地上レベルのビューではく、主として容易に利用可能な地理空間マップデータに基づくことにより、高い精度で迅速にセンサの３Ｄ位置を決定することができる。

【0049】

視点推定の主要なステップのうちの最後のサブステップは、標的画像を３Ｄ基準モデルに登録し、随意で登録を認証することである。センサのジオロケーションが決定されたら、例えば最終的な視点に対してＧｅｏＡｒｃを生成するために使用されたフィーチャを参照することにより、カメラの方向（角度）を決定する。最終的な画像登録（標的画像と３Ｄ基準モデルの融合）は、正確なカメラ視点のジオロケーション決定に貢献した３Ｄ−ＧｅｏＡｒｃに対応する標的画像と基準モデルとの間でフィーチャをマッチングすることにより実行される。いくつかの実施形態では、最終的な登録プロセスが完了したら、３Ｄ基準モデルを再び使用して、登録／視点決定が正確であれば可視である追加的フィーチャを予測することにより認証を行う。

【0050】

本明細書に記載される登録技術の第３の主要ステップは投影ステップであり、３Ｄ基準モデルに基づいて、標的画像のデータを合成３Ｄシーン表示に投影することを含む。センサ又はカメラの位置が選定されたら（視点決定）、投影ステップでは、センサの視野内において識別された一又は複数のオブジェクトのジオロケーションを（標的画像から）決定する。カメラ／センサから得られる情報、３Ｄ基準モデルから得られる情報、及び視点決定ステップの間に蓄積された関係情報を使用して、投影ステップでは、標的画像の任意の画素の３Ｄ合成シーン内の空間位置を推定することができる。

【0051】

一実施例では、地面の平面情報が３Ｄ基準モデルから獲得される。地面平面は、３Ｄ基準モデル内で地面と最も整合する３Ｄ表面である。次いで、標的画像内のフィーチャ間の角度を推定する方法と同様にして、センサは、センサと標的画像内の一画素との間の視線に関連付けられる角度を推定する。次いで、投影ステップでは、（既知の）センサの視点／位置から地面平面まで想像上の線（又は波線）を引く波線追跡技術が実行される。この実施例では、地面表面上のオブジェクトに関連付けられる各画素が、基準モデルの地面平面上に投影される。別の実施例では、地面ではなく、建造物、橋などに接続するまで波線を引くことにより、構造体上のオブジェクトに関連付けられる画素を投影することができる。また別の実施例では、センサは、センサと標的画像内の一画素との間の視線に関連付けられる角度、ならびに画素とセンサとの間の距離を推定することができる。次いで、３Ｄ合成シーン内の画素のジオロケーションが、カメラ／センサのジオロケーション（起点）と一方向へのオフセットとの和（センサが推定した角度及び距離情報に基づく起点を中心とした角度及び距離）として算出される。

【0052】

カメラ内に検出されたオブジェクトのモデル又はアバターを、３Ｄマップ又はモデル上の正確な位置に投影することができる。これに関して、３Ｄ基準モデルは、２Ｄ多モード画像、さらには映像を組み合わせて地理登録することにより、合成３Ｄシーン表示を生成するための共通フレームワークとして機能する。このような投影は実時間で（動的に）行われるので、標的画像内において識別されたオブジェクトが３Ｄ合成シーンへと迅速に投影され、それにより、シーンの動的な実時間３Ｄ共通動作ピクチャ、及び多モード画像データを組み合わせるための融合フレームワークが提供される。２Ｄのシーン画像内で検出された移動オブジェクトを、実時間で、アバターとして３Ｄフレームワークに投影することができる。

【0053】

本発明の説明では、「基準モデルに投影される」標的画像データに言及しているが、このフレーズは必ずしも言葉通りに解釈されなくともよい。本発明のいくつかの実施形態では、合成３Ｄシーン表示は、３Ｄ基準モデルに基づくデータの合成であるが、別個のデータ合成である。このような実施例では、標的画像データは、合成シーン表示に投影されるか、又は合成シーン表示内に表示される。

【0054】

２Ｄ−ＧｅｏＡｒｃを適用する試験により、本発明の登録技術の実用可能性が実証され、標的画像の感知誤差及び他の不確実性があるにもか関わらずその信頼性が実証された。一試験では、カリフォルニア州マリブの面積１６ｋｍ２の地形図を標準モデルとして使用し、近くに位置する４５度の視野（ＦＯＶ）を有するカメラにより標的画像を取得した。この試験では、観察されるランドマークフィーチャはカメラＦＯＶ内部でランダムに分散しており、カメラはフィーチャが検出されうる最小（近）及び最大（遠）範囲を有していると仮定した。この試験では、すべての試行について、ＦＯＶ推定の際のフィーチャの分離角測定の誤差が２０％と仮定した。次いで、標的画像内に検出された様々な数のランドマークフィーチャについて２Ｄ−ＧｅｏＡｒｃを重ね合わせることにより、ジオロケーション尤度マップ（ＧＬＭ）を計算した。次いで、ＧＬＭの、高度に２Ｄ−ＧｅｏＡｒｃが重複する部分を識別することにより、ジオロケーションエリア（ＧＡ）を検出した。試験は５０回のランダムな試行を含み、各試行においてＧＡが決定された。

【0055】

２Ｄ−ＧｅｏＡｒｃの適用試験の結果を図８Ａ−Ｃに示す。図８Ａ−Ｃは、基準画像の三つの例示的ビュー（例えば地勢）を示しており、各基準画像は、カメラが標的画像内に任意の数の異なるランドマークを検出した結果として生成された一又は複数のジオロケーション尤度マップ（ＧＬＭ）を含んでいる。図８Ａは、カメラが二つのランドマークフィーチャ８１０、８１２を検出し、二つのＧＬＭ８０２が生成された試験の結果を示している。図８Ｂは、カメラが三つのランドマークフィーチャ８１４、８１６、８１８を検出し、ＧＬＭ８０４、８０６が生成された試験の結果を示している。図８Ｃは、カメラが四つのランドマークフィーチャ８２０、８２２、８２４、８２６を検出し、ＧＬＭ８０８が生成された試験の結果を示している。図８Ａ−Ｃの画像のすべてにおいて、ダークグレーの領域はＧＬＭ（基準画像に対して標的画像を取得したカメラが位置していたと思われるエリア）を示している。図８Ａ−Ｃの連続画像に示すように、ＧＬＭ（ダーググレーの領域）の大きさは、カメラによって検出されるフィーチャの数が増えるに従って急激に縮小する。カメラが二つのフィーチャを検出するとき（図８Ａ）、ＧＬＭ８０２は二つの完全な三日月形（完全な２Ｄ−ＧｅｏＡｒｃ）からなっている。しかしながら、カメラが四つのフィーチャを検出するとき（図８Ｃ）、ＧＬＭ８０８は比較的小さな面積からなる。

【0056】

図８Ｄ−Ｆは、５０回のランダムな試行によって、検出されたフィーチャの数の関数として生成されたＧＡ（最終的なジオロケーションエリア）の「箱髭図」である。図８Ｄ−Ｆは、三つの図、すなわち、三つの異なる距離範囲の各々につき一つの図を示している。図８Ｄは、カメラから２〜４ｋｍの距離にあるランドマークのみを考慮した結果を示している（近距離）。図８Ｅは、カメラから４〜６ｋｍの距離にあるランドマークのみを考慮した結果を示している（遠距離）。図８Ｆは、カメラから２〜６ｋｍの距離にあるランドマークのみを考慮した結果を示している（混合）。基本的に、図は中央値のＧＡを示し、このＧＡは、太横線（例えば、線８５２、８５４、８５６、８５８、８６０）で示され、フィーチャの数が３から６に増加すると１０分の１に減少する。例えば、４〜６ｋｍの範囲（図８Ｅ）では、三つのフィーチャの場合の中央値ＧＡは０．０６ｋｍ２であり、六つのフィーチャの場合の中央値は０．００５ｋｍ２であり、すなわち１０分の１に減少している。各中央値ＧＡ線の上方と下方にある白色ボックの上部と下部（例えばボックス８７０、８７２）によって示される、５０回の試行での最大ＧＡと最小ＧＡの間の減少はさらに劇的であり、フィーチャが３から７に増えることにより最大の場合の最高値から最小の場合の最低値まで約１００分の１に減少する。

【0057】

加えて、３Ｄ−ＧｅｏＡｒｃを適用するシミュレーションにより、本明細書に記載の登録技術の実施可能性が示された。試験画像及び例示的なシミュレーションの結果を図９Ａ−Ｃに示す。この例示的シミュレーションでは、シーンの２Ｄ画像（図９Ａに示す）を標的画像として使用した。この２Ｄ画像はＥＯ画像センサを用いて捕獲した。標的画像内において、異なる方向に向く二つのフィーチャ対（９０２、９０４と、９０６、９０８）を選択した。次いで、各フィーチャ対について３Ｄ−ＧｅｏＡｒｃ表面（９１０、９１２）を生成した（図９Ｂに示す）。図９Ｂに示すように、二つの３Ｄ−ＧｅｏＡｒｃ表面の交差９１４により３Ｄ曲線（又は、不確実性が生じる場合は湾曲容積）が生成される。したがって、センサ視点は、３Ｄ−ＧｅｏＡｒｃの交差９１４に焦点を当てることにより推定され、新しいフィーチャ対についてさらなる３Ｄ−ＧｅｏＡｒｃを考慮することにより精度を向上させることができる。

【0058】

シミュレーションは、実際のシーンのＬＩＤＡＲ画像を解析することによりフィーチャ種類及びフィーチャ位置を推定した３Ｄ基準モデル生成プロセスも試験した（図９Ｃ）。このプロセスは、ＬＩＤＡＲデータから地上フィーチャ種類及びフィーチャ位置をうまく排除した。地上フィーチャ（すなわち、道路、駐車場の角及び縁）は、２Ｄ ＥＯ画像と同じシーンの３Ｄ表示との間で類似のフィーチャ種類及びフィーチャ位置の、領域位置マッチングに有用である。

【0059】

本明細書で既に述べた登録技術の恩恵に加えて、後述では一又は複数の実施形態のさらなる恩恵について説明する。本明細書を通して記載される恩恵及び利点は、限定又は要件ではなく、いくつかの実施形態では記載の恩恵及び／又は利点のうちの一又は複数は省略されてもよい。

【0060】

本発明の解決法の一の恩恵は、複雑なシーン登録を完了させるスピードであり、これにより拡張性が得られる。拡張性とは、一般に、小さな尺度で作業して、もっと大きな尺度の問題にそれを適用する技術を使用できることを意味する。例えば、単純な基準モデルと単純な標的画像とに効果のある一の画像登録技術（例えば、直接的なフィーチャマッチングを利用するもの）が、複雑な地形に対して、又は既知のランドマークの大規模データベースがない場合や、照明の変化により、検出されるランドマークが、格納されているランドマークとは異なって見えるとき、効果を生まない場合がある。拡張性は大規模な位置推定に重要であるので、本発明者らは、何千万という視覚的フィーチャのインデクシング及びマッチング方法を開発した。その結果、このような方法も、既知のフィーチャを調べるための複雑なフィーチャツリーを必要としている。フィーチャツリーのインデクシングは、複雑で、徹底的な演算を要するプロセスであり、登録プロセスの記憶及びマッチング能を直接低下させ、フィーチャマッチングの弁別性を低下させる場合がある。

【0061】

本発明の解決法は、直接的なフィーチャマッチングを必要とせず、地上レベルの画像及び３Ｄスキャンに基づいて構築された精密な幾何モデルに依存する必要がない。したがって、本明細書に記載される解決法では、現行の技術で使用される計算と同程度の負担がプロセッサにかかるマッチングのための計算を実行する必要がない。したがって、本明細書に記載の解決法は、現行技術よりずっと迅速にオブジェクトのジオロケーションを演算することができ、すなわちさらに複雑なシナリオに対処する拡張性を有している。加えて、本明細書に記載の解決法は直接的なフィーチャマッチングに依存しないので、データ量の多いフィーチャデータベースが存在するかどうかに関係なく、且つ照明、季節、及び天候の変化に関係なく、ジオロケーションを演算することができる。同様に、本明細書に記載の解決法は、自然及び都市のフィーチャ両方を使用することができ、これにより任意の環境への一般化が可能である。

【0062】

本発明の一又は複数の実施形態は様々な用途を有し、これは本明細書に記載の解決法のいくつかの恩恵をさらに強調する。本明細書を通して記載される用途、恩恵、及び利点は、限定又は要件ではなく、いくつかの実施形態はいくつかの用途にもっと適している。

【0063】

例えば、本発明の一又は複数の実施形態は、空中査察及び／又はＵＡＶ（無人航空ビークル）に適用可能である。図１０及び１１は、それぞれランドスケープ１００４、１１０４の上空を飛行中のＵＡＶ１００２、１１０２を含む例示的シーン１０００、１１００を示している。図１０は、ＵＡＶ１００２の、斜め上からの視界を、図１１は、ＵＡＶ１１０２の、斜め下からの視界を示している。各ＵＡＶ１００２、１１０２は、本明細書に記載の画像登録技術の一部又は全部を実行することができるデータ処理システムを含んでいる。例示的データ処理システムの詳細について、以下にさらに記載する。データ処理システムは、例えばＵＡＶ本体内部に収容されて、ＵＡＶに搭載される。各ＵＡＶ１００２、１１０２は、さらに、センサの視界内部のランドスケープ１００４、１１０４の画像を捕獲できるセンサ又はカメラを含む。例えば、図１１に示すように、センサ又はカメラはＵＡＶの機首近く、例えば機首の下側に、透明なハウジング１１０６内に収容される形で配置できる。この実施例では、センサは下方に角度付けされて、ＵＡＶの下側に位置しているので、センサの視界１１０８（ＦＯＶ）は広く、これによりセンサは一度に大きなランドスケープ１１０４のビューを捕獲することができる。動作中、ＵＡＶ上のセンサは、ＵＡＶの下方のランドスケープの一又は複数の標的画像を取得することができる。次いで、ＵＡＶ内部のデータ処理システムは、標的画像の詳細を所定の３Ｄ基準モデルにマッピングする画像登録技術を実行することができる。別の方法では、ＵＡＶは、一又は複数の標的画像を、登録技術を実行する遠隔データ処理システムに伝送することができる。

【0064】

航空ビークル又は査察位置では、多数のセンサ及びプラットフォームから単一の共通動作シーンへの多モード２Ｄ及び３Ｄ画像データの登録／融合が必要となる。センサデータの融合に加えて、センサの視界内において検出されたオブジェクトのモデル又はアバターを３Ｄマップ又はモデル上の正確な位置に投影し、動的な実時間３Ｄ融合フレームワーク及び共通動作シーンを提供する必要がある。このような画像融合は、多数の異なるカメラアングルを用いて、広い地理的領域に対し、迅速かつ正確に行われる必要がある。本発明の一又は複数の実施形態はこのような解決法を提供する。

【0065】

他の実施例では、本発明の一又は複数の実施形態は、コンピュータビジョン、医用画像、軍用自動標的認識、遠隔センシング（製図更新）及びコンパイリング、並びに衛星から届いた画像及びデータの解析に使用される。画像登録技術は、神経画像用のタライラッハアトラスなどの解剖学的地図への医用患者データの登録に使用することもできる。画像復元技術は、宇宙から取得された画像を整列させるために天体写真術にも使用され、この場合、コンピュータは、制御点を使用して、一の画像に対して変換を行うことにより、主要なフィーチャを第２の画像と整列させる。画像登録は、パノラマ的画像生成の基本的な部分でもある。さらに、実時間で実施することができ、カメラ及びカメラ電話のような埋め込まれたデバイス上で実行される多数の異なる技術が存在する。本発明の一又は複数の実施形態は、これらの用途のすべてに柔軟性を付加する解決法を供給する。

【0066】

さらには、画像登録技術を適用可能な用途が多岐にわたることにより、これまで全ての使途について最適化された汎用的方法を開発することは困難であった。その代わり、多数の用途が用途に固有の状況に対処する追加的技術を含んでいた。例えば、一人の患者に関して異なる時点で取得されたデータの医用画像登録には、患者の変形（例えば、呼吸、解剖学的変化、腫瘍の成長などによる）に対処するために弾性（軟式ともいう）登録が使用される。本発明の一又は複数の実施形態が提供する柔軟性により、本発明は、すべてではなくとも多数の使途に最適化された汎用的画像登録方法を提供する。

【0067】

本発明のいくつかの実装態様では、本明細書に記載の技術、方法、ルーチン、及び／又は解決法は、異なる実施形態の一又は複数のフロー図及びブロック図に示される例示的方法及びルーチンを含めて、本明細書に記載の方法、ルーチン、及び解決法を実施及び／又は実行するようにプログラムされたデータ処理システムによって実行される。本明細書において言及するブロック図又はフロー図の各ブロック又は記号は、コンピュータで使用可能又は読込可能なプログラムコードのモジュール、セグメント、又は部分を表わしており、このプログラムコードは、一又は複数の特定の機能を一又は複数のデータ処理システムによって実施するための一又は複数の実行可能な命令を含んでいる。いくつかの実施形態では、ブロック図又はフロー図のブロック又は記号に示される一又は複数の機能は、図示の順番に行われなくともよい。例えば、場合によっては、連続して示されている２つのブロック又は記号は、含まれる機能によっては、ほぼ同時に実行されても、又は時には逆の順序で実行されてもよい。したがって、本発明の種々の実施形態は、コンピュータ、或いは命令を実行する何らかのデバイス又はシステムにより使用される、或いはそれに接続されて使用されるプログラムコードを提供するコンピュータで使用可能又は読込可能な媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。別の構成では、本発明の異なる実施形態は、固定記憶域又はハードドライブなどのコンピュータで読込可能な媒体に格納された（及びそのような媒体からアクセス可能な）コンピュータプログラムの形態をとることができる。

【0068】

ここで図１２を参照する。図１２は、本発明の方法、ルーチン、及び解決法を実行できる例示的なデータ処理システム１２００のブロック図である。この実施例では、データ処理システム１２００は通信ファブリック１２０２を含み、これによりプロセッサユニット１２０４、メモリ１２０６、固定記憶域１２０８、通信ユニット１２１０、入出力（Ｉ／Ｏ）装置１２１２、及びセンサ又はカメラ１２１４の間の通信が可能である。バスシステムは、通信ファブリック１２０２を実施するために使用することができ、システムバス又は入出力バスといった一又は複数のバスから構成することができる。バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実施することができる。

【0069】

プロセッサユニット１２０４は、固定記憶域４０８（例えばハードドライブ）から、又はコンピュータプログラム製品１２２０（例えばＣＤ又はＤＶＤ）からメモリ１２０６にローディングできる命令（例えば、ソフトウェアプログラム又はコンピュータコード）を実行する機能を有する。プロセッサユニット１２０４は、特定の実装態様に応じて、一又は複数のプロセッサの組か、或いはマルチプロセッサコアとすることができる。さらに、プロセッサユニット１２０４は、単一のチップ上に主要プロセッサと共に二次プロセッサが存在する一又は複数の異種プロセッサシステムを使用して実施してもよい。別の実施例として、プロセッサユニット１２０４は、同種のプロセッサを複数個含む対称型マルチプロセッサシステムである。

【0070】

このような実施例では、メモリ１２０６は、例えば、ランダムアクセスメモリ又は他の何らかの適切な揮発性又は不揮発性の記憶装置であってもよい。固定記憶域１２０８は、特定の実装態様に応じて様々な形態をとることができる。例えば、固定記憶域１２０８は、一又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域１２０８は、ハードドライブ、フラッシュメモリ、書換え形光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせである。固定記憶域１２０８によって使用される媒体は、取り外し可能なものでもよい。例えば、取り外し可能なハードドライブを使用することができる。

【0071】

オペレーティングシステムに対する命令は、固定記憶域１２０８に位置させることができる。特定の一実施形態では、オペレーティングシステムは、任意の数の既知のオペレーティングシステムの何らかのバーションである。アプリケーション及び／又はプログラムに対する命令は、固定記憶域１２０８に位置させてもよい。これらの命令及び／又はプログラムは、メモリ１２０６にローディングされてプロセッサユニット１２０４によって実行される。例えば、メモリ１２０６のようなメモリにローディングできるコンピュータで実施可能な命令を使用して、プロセッサユニット１２０４により、本明細書に記載される様々な実施形態のプロセスを実行することができる。これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読込可能なプログラムコードと呼ばれ、プロセッサユニット１２０４内の一つのプロセッサによって読込まれて実行されうる。種々の実施形態のプログラムコードは、メモリ１２０６又は固定記憶域１２０８など、種々の物理的な又は有形のコンピュータで読込可能な媒体上に具現化すことができる。

【0072】

アプリケーション及び／又はプログラムに対する命令は、データ処理システム１２００に恒久的に含まれていないコンピュータプログラム製品１２２０の一部として含まれてもよい。コンピュータプログラム製品１２２０は、コンピュータで読込可能な媒体１２２２及びプログラムコード１２２４の形態を含んでもよい。例えば、プログラムコード１２２４は、コンピュータで読込可能な媒体１２２２上に機能的な形態で配置され、データ処理システム１２００にローディング又は転送されて、プロセッサユニット１２０４によって実行される。プログラムコード１２２４及びコンピュータで読込可能な媒体１２２２は、コンピュータプログラム製品１２２０を形成する。一実施例では、コンピュータで読込可能な媒体１２２２は、例えば、記憶装置（例えば、固定記憶域３０８の一部であるハードドライブ）上への転送のために、ドライブ又は他のデバイスに挿入又は配置される光ディスク又は磁気ディスクのような有形の形態をとることができる。ドライブ又は他のデバイスは、例えば通信ファブリック１２０２を介して、データ処理システム１２００の他のコンポーネントに接続してそのようなコンポーネントと通信することができる。別の有形の形態では、コンピュータで読込可能な媒体は、データ処理システム１２００に接続されている固定記憶域（例えば、ハードドライブ、サムドライブ、又はフラッシュメモリ）でもよい。

【0073】

本明細書の目的のために、コンピュータで使用可能又は読込可能な媒体は、一般に、システム（例えば命令を実行するシステム）によって使用される、或いはそれに接続されて使用されるデータ（例えば、ソフトウェアプログラム）の収容、格納、通信、伝播、又は運搬を行うことができる任意の有形装置を指す。コンピュータで使用可能又はコンピュータで読込可能な媒体は、例えば、限定しないが、電子システム、磁気システム、光学システム、電磁システム、赤外システム、又は半導体システム、或いは伝播媒体とすることができる。コンピュータで読込可能な媒体の非限定的な実施例には、半導体又は固体状態のメモリ、磁気テープ、取り出し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、剛性磁気ディスク、及び光ディスクが含まれる。光ディスクには、コンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）、及びＤＶＤが含まれる。さらに、コンピュータで使用可能又は読込可能な媒体は、コンピュータで読込可能又は使用可能なプログラムコードを収容又は格納することができ、このコンピュータで読込可能又は使用可能なプログラムコードがコンピュータ上で実行されると、コンピュータは特定のルーチン、手順、ステップなどを実行する。コンピュータで読込可能な媒体の有形形態は、コンピュータで記録可能な記憶媒体とも呼ばれる。

【0074】

入出力（Ｉ／Ｏ）装置１２１２により、データ処理システム１２００に接続可能な他のデバイスによるデータの入力及び出力が可能になる。例えば、入出力装置１２１２は、（ＣＤ又はＤＶＤのような）コンピュータで読込可能な媒体、例えばコンピュータで読込可能な媒体１２２２上に格納されたデータを読み込むことができるＣＤ又はＤＶＤドライブである。入出力装置は、直接的に、又はＩ／Ｏコントローラを介して、システムに連結することができる。プログラムコード１２２４は、コンピュータで読込可能な媒体１２２２から、入出力装置１２１２を通して、データ処理システム１２００に転送される。

【0075】

データ処理システム１２００について説明した種々のコンポーネントは、種々の実施形態が実施される方法をアーキテクチャ的に限定するものではない。異なる例示的実施形態が、データ処理システム１２００について示されているコンポーネントに追加的又は代替的なコンポーネントを含むデータ処理システムにおいて実施されうる。図１２に示す他のコンポーネントは、図示の実施例から変更することができる。

【0076】

プログラムコード１２２４は、本明細書に記載の画像登録技術により必要とされる演算及びプロセスの多くを実行するコンピュータコードの形態をとることができる。図１３は、本発明のフロー図の一又は複数に記載の技術を含め、本明細書に記載の画像登録技術の一又は複数を含みうる例示的プログラムコード１３０２を示している。プログラムコード１３０２は基準データベース１３０４と通信しており、この場合、基準データベースは、本明細書に記載の解決法の一又は複数により必要とされる一又は複数の基準のような基準データを収容している。基準データベース１３０４は、例えば、図１２に示した固定記憶域１２０８に類似の、固定記憶域に格納されている。別の構成では、基準データベース１３０４は、プログラムコード１３０２を実行するデータプロセッサに対して遠隔に位置する記憶装置に格納される。プログラムコード１３０２は、カメラ又はセンサ１３０６とも通信し、この場合、センサは、本明細書に記載の解決法の一又は複数により使用される一又は複数の標的画像を捕獲することができる（例えば、センサの視野１３０８内部のシーン）。センサ１３０６はデータ処理システムに直接連結され（図１２のセンサ１２１４がデータ処理システム１２００に連結されているように）、データ処理システムは画像登録技術を実行する（プログラムコード１３０２）。別の構成では、画像登録技術を実行するシステム（プログラムコード１３０２）は、センサ１３０６から遠隔して位置し、この場合、センサ１３０６によって捕獲される標的画像は遠隔システムに送信される。

【0077】

再び図１２を参照すると、データ処理システム１２００には、データ処理システム１２００と他のデータ処理システム又はデバイスとの間に通信を提供する通信ユニット１２１０が含まれている。このような実施例では、通信ユニット１２１０はネットワークインターフェースカードである。通信ユニット１２１０は、データ入力を可能にする物理的及び無線通信リンクユニットの一方又は両方を用いて通信を提供する。通信ユニットは、モデム又はネットワークアダプタといったデータの送受信に使用される一又は複数のデバイスを含むことができる。このような実施例では、通信リンクは物理的なものでもよく、無線でもよい。本発明のいくつかの実施形態では、例えば基準データベース又はセンサ／カメラがデータ処理システム１２００から遠隔して設置されている場合、これらの通信ユニット１２１０は、遠隔コンポーネントとの間でデータが送受信されるようなインターフェースを提供する。例えば、データ処理システム１２００は、通信ユニット１２１０を介して遠隔センサ／カメラからデータを受信するか、又は通信ユニット１２１０を介して遠隔基準データベースからデータを受信する。

【0078】

図１４は、本発明の一又は複数の実施形態による、ネットワークに接続されたデータ処理システムとコンポーネントからなる例示的ネットワークシステム１４００を示す図である。ネットワークシステム１４００は、一又は複数のクライアントマシン１４０４、一又は複数のサーバマシン１４０２、独立の記憶装置１４０６、及びビークル１４０８（例えばＵＡＶ）に搭載されるデータ処理システムを接続するネットワーク１４１０を含むことができる。クライアントマシン１４０４は、例えばパーソナルコンピュータ又はエンドユーザコンピュータとすることができる。ネットワーク１４１０は、種々のデータ処理システム（及び場合によっては他のコンポーネント）間に通信リンクを提供するために使用される媒体であり、ネットワーク１４１０は、有線又は無線通信リンクのような接続、又は場合によっては光ファイバケーブルを含みうる。ネットワーク１４１０は、インターネット接続を含み、場合によっては遠隔セキュリティ保護接続を含むことができる。いくつかの実施例では、ネットワークプ１４１０は、互いに通信するためにＴＣＰ／ＩＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ／ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）式のプロトコルを使用するネットワーク及びゲートウェイの世界的集合を表わす。ネットワークシステム１４００は、任意の数の同種の又は異なる種類のネットワーク（例えば、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、又はワイドエリアネットワーク（ＷＡＮ））として実施することもできる。典型的には、ネットワークシステム１４００内部の各データ処理システム及びコンポーネントは、例えば図１２の通信ユニット４１０のような通信ユニットを含み、これによりデータ処理システム又はコンポーネントがネットワーク１４１０と、さらにはネットワークに接続された他のデータ処理システムと相互作用することができる。

【0079】

一実施例では、データ処理システムは、ビークル１４０８（例えばＵＡＶ）に搭載され、データ処理システムは、ネットワーク１４１０との無線通信１４１２、さらにはネットワークに接続された他のデータ処理システムとの通信を可能にする通信ユニットを含む。ビークル１４０８に搭載されたデータ処理システムは、図１２のデータ処理システム１２００に類似している。ビークル１４０８に搭載されたデータ処理システムは、本明細書に記載の登録技術の一部又は全部を実行することができる。例えば、データ処理システムは、ネットワーク１４１０を介して基準データを獲得し（例えばサーバマシン１４０２又はネットワークに接続された記憶装置１４０６から）、次いでビークル１４０８に搭載されたデータ処理システムを介して登録演算の残りを実行する。別の実施例では、データ処理システムは、ビークル１４０８に搭載されたセンサを介して標的画像を獲得し、その標的画像を、ネットワーク１４１０を介してネットワークに接続されたデータ処理システム（例えば、クライアントマシン１４０４又はサーバマシン１４０２内部に含まれている）に送信する。これにより、ネットワークに接続されたデータ処理システムが登録計算の大部分を実行する。

【0080】

図１４は、実施例として意図されており、種々の実施形態をアーキテクチャ的に制限するものではない。ネットワークシステム１４００は、図示されているものより多い（又は少ない）サーバマシン１４０２、クライアントマシン１４０４、記憶装置１４０６、ビークル１４０８、及び場合によっては図示されていない他のデータ処理システム及び／又はデバイスを含むことができる。加えて、ビークル１４０８は、ＵＡＶ以外の何らかのビークル、例えば別の種類の航空機、自動車、船などでもよい。加えて、ビークル１４０８の代わりに、又はそれに加えて、ネットワーク１４００は、デバイス内部に包含されるが、ビークルではないセンサ又はカメラ（及び場合によってはデータ処理システム）を含むことができる。例えば、カメラシステムは、支柱、建造物、天然のランドマークに搭載されてもよく、或いは人が運搬してもよい。

【0081】

図面及びテキストにより、一態様において画像登録方法が開示され、この方法は、シーンの三次元基準モデルを確立すること（７００）、シーン（７００）の、センサ（７０６、１２１４、１３０６）を用いて捕獲された標的画像（４０２）を獲得すること、一又は複数の三次元ｇｅｏａｒｃを使用して、標的画像（４０２）を捕獲したセンサ（７０６、１２１４、１３０６の視点を決定することであって、センサ（７０６、１２１４、１３０６）の視点が、三次元基準モデルに対して決定されること、並びに、センサ（７０６、１２１４、１３０６）の視点を使用して標的画像（４０２）から得られるデータを三次元基準モデルから得られるデータと関連付けることにより、シーン（７００）の合成三次元表示を生成することを含む。一変形例による画像登録方法では、センサ（７０６、１２１４、１３０６）の視点を決定するステップは、さらに、三次元基準モデル内において一又は複数のフィーチャ対を識別すること、標的画像（４０２）内の一又は複数のフィーチャ対を識別すること、標的画像（４０２）内の各フィーチャ対について、標的画像（４０２）内のフィーチャ対を三次元基準モデル内のフィーチャ対の一つに関連付け、標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定し、三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との関係を表すｇｅｏａｒｃ表面を生成すること、並びに、三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を、三次元基準モデルに対して識別することを含む。

【0082】

一変形例による画像登録方法では、三次元ｇｅｏａｒｃ表面（９１０、９１２）を生成するステップは、ｇｅｏａｒｃ表面（９１０、９１２）の厚みを変化させることにより、推定角度（θ）の不確実性を表すこと含む。別の変形例による画像登録方法では、生成されるｇｅｏａｒｃ表面（９１０、９１２）は、既に生成されているｇｅｏａｒｃ表面（９１０、９１２）と重複し、三次元容積を生成しうる。別の変形例では、画像登録方法は、さらに、決定されたセンサ（７０６、１２１４、１３０６）の視点としてｇｅｏａｒｃ表面が最も多く重複する位置を選択することを含む。また別の変形例では、画像登録方法は、さらに、標的画像内の各フィーチャ対について、三次元ｇｅｏａｒｃ表面（９１０、９１２）の、基準データを用いたチェックに基づくと不正確である視点に関連する部分を無視又は除去することにより、生成された三次元ｇｅｏａｒｃ表面（９１０、９１２）を精緻化することを含む。また別の変形例では、画像登録方法は、さらに、決定されたセンサ（７０６、１２１４、１３０６）の視点を、基準データを参照することにより認証し、決定されたセンサ（７０６、１２１４、１３０６）の視点が正確である場合に標的画像（４０２）内で可視でなければならない追加フィーチャを予測することを含む。

【0083】

一実施例による画像登録方法では、合成三次元表示を生成するステップは、さらに、合成三次元表示に対するセンサ（７０６、１２１４、１３０６）の位置とセンサ（７０６、１２１４、１３０６）の角度（θ）とを決定すること、並びに、標的画像（４０２）内で可視である一又は複数のオブジェクトの位置を、各オブジェクトについて、センサ（７０６、１２１４、１３０６）の位置に対して一方向へのオフセットを加えることにより、合成三次元表示に対して決定することを含む。また別の実施例による画像登録方法では、シーン（７００）の合成三次元表示を生成するステップは、標的画像（４０２）に関連付けられる一又は複数のオブジェクトを実時間で３Ｄ合成シーン（７００）に投影することを含む。また別の実施例による画像登録方法では、三次元基準モデルを確立することは、地理空間インテリジェンスシステムデータベースから得られる情報を使用して三次元基準モデルを確立することを含む。

【0084】

一事例による画像登録方法では、三次元基準モデル内及び標的画像（４０２）内において識別されるフィーチャ対のフィーチャは、基準モデル及び標的画像（４０２）の回転及び縮尺によって変化しないように特徴づけられる。別の事例による画像登録方法では、センサ（７０６、１２１４、１３０６）の視点を決定するステップは、三次元基準モデルを任意の数の領域に区分すること、及びそれら領域の一又は複数内部において可能なセンサ（７０６、１２１４、１３０６）の視点を決定することを含む。

【0085】

一態様では、画像登録方法が開示され、この方法は、三次元基準モデル内において一又は複数のフィーチャ対を識別すること、標的画像（４０２）内において一又は複数のフィーチャ対を識別すること、標的画像（４０２）内の各フィーチャ対について、標的画像（４０２）内のフィーチャ対を三次元基準モデル内のフィーチャ対の一つに関連付け、標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定し、三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との関係を表すｇｅｏａｒｃ表面を生成すること、並びに、三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を、三次元基準モデルに対して識別することを含む。

【0086】

一変形例では、画像登録方法は、さらに、ｇｅｏａｒｃ表面（９１０、９１２）の厚みを変更することにより推定角度（θ）不確実性を表わすことを含む。別の変形例による画像登録方法では、生成されるｇｅｏａｒｃ表面（９１０、９１２）は、既に生成されているｇｅｏａｒｃ表面と重複し、三次元容積を生成しうる。

【0087】

一態様では、画像を捕獲するセンサ（７０６、１２１４、１３０６）、並びにセンサ（７０６、１２１４、１３０６）と通信可能に連結されたデータ処理システムを含む航空ビークルが開示され、このデータ処理システムは、シーン（７００）の三次元基準モデルを確立し、センサ（７０６、１２１４、１３０６）からシーン（７００）の標的画像（４０２）を獲得し、一又は複数の三次元ｇｅｏａｒｃを用いて、標的画像（４０２）を捕獲したセンサ（７０６、１２１４、１３０６）の視点を、三次元基準モデルに対して決定し、標的画像（４０２）から得られるデータと三次元基準モデルから得られるデータとを、センサ（７０６、１２１４、１３０６）の視点を用いて関連付けることにより、シーン（７００）の合成三次元表示を生成するようにプログラムされている。一変形例による航空ビークルでは、センサ（７０６、１２１４、１３０６）の視点を決定するために、前記データ処理システムは、さらに、三次元基準モデル内において一又は複数のフィーチャ対を識別し、標的画像（４０２）内において一又は複数のフィーチャ対を識別し、標的画像（４０２）内の各フィーチャ対について、標的画像（４０２）内のフィーチャ対を三次元基準モデル内のフィーチャ対の一つに関連付け、標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定し、三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との関係を表すｇｅｏａｒｃ表面を生成し、且つ三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面（９１０、９１２）が重複する位置を、三次元基準モデルに対して識別するようにプログラムされている。

【0088】

別の変形例による航空ビークルでは、シーン（７００）の合成三次元表示を生成するために、前記データ処理システムは、さらに、標的画像（４０２）に関連付けられる一又は複数のオブジェクトを、実時間で、３Ｄ合成シーン（７００）に投影するようにプログラムされる。また別の変形例による航空ビークルでは、センサ（７０６、１２１４、１３０６）は、航空ビークル上において、ランドスケープとシーン（７００）とがセンサの視野に含まれるように位置する。また別の変形例による航空ビークルでは、データ処理システムはメモリを含み、メモリは三次元基準モデルを含む基準データを格納するように動作可能であり、且つセンサ（７０６、１２１４、１３０６）によって捕獲された画像を格納するように動作可能である。

【0089】

上述した種々の有利な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の有利な実施形態は、他の有利な実施形態とは異なる利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。
また、本願は以下に記載する態様を含む。
（態様１）
画像登録方法であって、
シーン（７００）の三次元基準モデルを確立すること、
センサ（７０６、１２１４、１３０６）に捕獲されているシーン（７００）の標的画像（４０２）を獲得すること、
標的画像（４０２）を捕獲したセンサ（７０６、１２１４、１３０６）の視点を、一又は複数の三次元ｇｅｏａｒｃを用いて、三次元基準モデルに対して決定すること、並びに
標的画像（４０２）から得られるデータを三次元基準モデルから得られるデータに、センサ（７０６、１２１４、１３０６）の視点を用いて関連付けることにより、シーン（７００）の合成三次元表示を生成すること
を含む方法。
（態様２）
センサ（７０６、１２１４、１３０６）の視点を決定するステップが、さらに、
三次元基準モデル内において一又は複数のフィーチャ対を識別すること、
標的画像（４０２）内において一又は複数のフィーチャ対を識別すること、
標的画像（４０２）内の各フィーチャ対について、
標的画像（４０２）内のフィーチャ対を、三次元基準モデル内のフィーチャ対のうちの一つに関連付けること、
標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定すること、及び
三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との間の関係性を表すｇｅｏａｒｃ表面（９１０、９１２）を生成すること、並びに
三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面が重複する位置を三次元基準モデルに対して識別すること
を含み、
三次元ｇｅｏａｒｃ表面（９１０、９１２）を生成するステップが、ｇｅｏａｒｃ表面（９１０、９１２）の厚みを変化させることにより、推定角度（θ）の不確実性を表すことを含み、且つ
生成されるｇｅｏａｒｃ表面（９１０、９１２）が、既に生成されているｇｅｏａｒｃ表面と重複して三次元容積を生成する、
態様１に記載の画像登録方法。
（態様３）
さらに、
決定されたセンサ（７０６、１２１４、１３０６）の視点として、最も多くのｇｅｏａｒｃ表面が重複する位置を選択すること、並びに
決定されたセンサ（７０６、１２１４、１３０６）の視点を、基準データを参照することにより認証し、決定されたセンサ（７０６、１２１４、１３０６）の視点が正確である場合に標的画像（４０２）内で可視でなければならない追加フィーチャを予測すること
を含む、態様２に記載の画像登録方法。
（態様４）
さらに、
標的画像（４０２）内の各フィーチャ対について、
三次元ｇｅｏａｒｃ表面（９１０、９１２）の、基準データによるチェックに基づくと不正確である視点に関連する部分を無視又は除去することにより、生成された三次元ｇｅｏａｒｃ表面（９１０、９１２）を精緻化すること
を含む、態様２に記載の画像登録方法。
（態様５）
合成三次元表示を生成するステップが、さらに、
合成三次元表示に対するセンサ（７０６、１２１４、１３０６）の位置とセンサ（７０６、１２１４、１３０６）の角度（θ）とを決定すること、並びに
標的画像（４０２）内において可視である一又は複数のオブジェクトの、合成三次元表示に対する位置を、各オブジェクトについて、センサ（７０６、１２１４、１３０６）の位置に一方向へのオフセットを加えることにより決定すること
を含み、
シーン（７００）の合成三次元表示を生成するステップが、標的画像（４０２）に関連付けられる一又は複数のオブジェクトを実時間で３Ｄ合成シーン（７００）に投影することを含み、且つ
三次元基準モデルを確立することが、地理空間インテリジェンスシステムデータベースから得られる情報を使用して三次元基準モデルを確立することを含む、
態様１に記載の画像登録方法。
（態様６）
三次元基準モデル内及び標的画像（４０２）内において識別されるフィーチャ対のフィーチャは、基準モデル及び標的画像（４０２）の回転及び縮尺によって変化しないように特徴づけられており、且つ
センサ（７０６、１２１４、１３０６）の視点を決定するステップは、三次元基準モデルを任意の数の領域に区分すること、及びそれら領域の一又は複数の内部において可能性のあるセンサ（７０６、１２１４、１３０６）の視点を決定することを含む、
態様２に記載の画像登録方法。
（態様７）
画像を捕獲するセンサ（７０６、１２１４、１３０６）、及び
センサ（７０６、１２１４、１３０６）に通信可能に連結されたデータ処理システム
を備えた航空ビークルであって、データ処理システムが、
シーン（７００）の三次元基準モデルを確立し、
センサ（７０６、１２１４、１３０６）からシーン（７００）の標的画像（４０２）を獲得し、
標的画像（４０２）を捕獲したセンサ（７０６、１２１４、１３０６）の視点を、一又は複数の三次元ｇｅｏａｒｃを用いて、三次元基準モデルに対して決定し、且つ
標的画像（４０２）から得られるデータを三次元基準モデルから得られるデータに、センサ（７０６、１２１４、１３０６）の視点を用いて関連付けることにより、シーン（７００）の合成三次元表示を生成する
ようにプログラムされている、航空ビークル。
（態様８）
センサ（７０６、１２１４、１３０６）の視点を決定するために、前記データ処理システムは、さらに、
三次元基準モデル内において一又は複数のフィーチャ対を識別し、
標的画像（４０２）内において一又は複数のフィーチャ対を識別し、
標的画像（４０２）内の各フィーチャ対について、
標的画像（４０２）内のフィーチャ対を、三次元基準モデル内のフィーチャ対のうちの一つに関連付け、
標的画像（４０２）内のフィーチャ対に関連付けられる角度（θ）を推定し、
三次元基準モデルに関連付けられる三次元ｇｅｏａｒｃ表面（９１０、９１２）であって、標的画像（４０２）内のフィーチャ対と推定角度（θ）との間の関係性を表すｇｅｏａｒｃ表面（９１０、９１２）を生成し、且つ
三次元空間内において、二つ以上の三次元ｇｅｏａｒｃ表面（９１０、９１２）が重複する位置を、三次元基準モデルに対して識別する
ようにプログラムされている、態様７に記載の航空ビークル。
（態様９）
シーン（７００）の合成三次元表示を生成するために、前記データ処理システムは、さらに、標的画像（４０２）に関連付けられる一又は複数のオブジェクトを、実時間で、３Ｄ合成シーン（７００）に投影するようにプログラムされている、態様７に記載の航空ビークル。
（態様１０）
センサ（７０６、１２１４、１３０６）は、航空ビークル上において、ランドスケープとシーン（７００）とがセンサの視野に含まれるように位置しており、
データ処理システムはメモリを含み、
メモリは、三次元基準モデルを含む基準データを格納するように動作可能であり、且つセンサ（７０６、１２１４、１３０６）により捕獲された画像を格納するように動作可能である、
態様７に記載の航空ビークル。

【符号の説明】

【0090】

３０２、３０４ フィーチャ対の点
３０６、３０８、３１０ 視点
３１２、３１４、３１６ フィーチャ対と視点間の角度
４０２ 標的画像
４０４、４０６ フィーチャ
４１２ 基準画像
４１４、４１６ 基準フィーチャ
４１８、４２０ 可能な視点を含む円弧
５０２ ＧＬＭ
５１０ 交差面積
６０２、６０４ フィーチャ
７００ シーン
７０２、７０４ 建造物の角
７０６ センサ
７０８ ３Ｄ−ＧｅｏＡｒｃ
８０２、８０４、８０６、８０８ ＧＬＭ
８１０、８１２、８１４、８１６、８１８、８２０、８２２、８２４、８２６ ランドマークフィーチャ
９０２と９０４、９０６と９０８ フィーチャ対
９１０、９１２ ＧｅｏＡｒｃ表面
９１４ ＧｅｏＡｒｃの交差
１０００、１１００ シーン
１００２、１１０２ ＵＡＶ
１００４、１１０４ ランドスケープ
１１０６ ハウジング
１１０８ センサの視界
１４００ ネットワークシステム
１４０８ ビークル
１４１２ 無線通信

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A-C】

【図8D-F】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】