特開 2025-3367 画像のみによる姿勢再位置特定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003367

(43)【公開日】2025-01-09

(54)【発明の名称】画像のみによる姿勢再位置特定

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241226BHJP

【ＦＩ】

G06T7/70 B

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024096378

(22)【出願日】2024-06-14

(31)【優先権主張番号】202311042129

(32)【優先日】2023-06-23

(33)【優先権主張国・地域又は機関】IN

(31)【優先権主張番号】18/471,807

(32)【優先日】2023-09-21

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】500575824

【氏名又は名称】ハネウェル・インターナショナル・インコーポレーテッド

【氏名又は名称原語表記】Ｈｏｎｅｙｗｅｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｎｃ．

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】ジャック ツァイ

(72)【発明者】

【氏名】ザカリー フィッシャー

(72)【発明者】

【氏名】ビジェイ ベンカタラマン

(72)【発明者】

【氏名】ニキル グプタ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA67

5L096JA03

(57)【要約】      （修正有）

【課題】画像のみによる姿勢再位置特定のためのシステム及び方法を提供する。
【解決手段】オブジェクトを含む環境のクエリフレームを取得するオブジェクト上の画像センサと、画像データベースを格納するメモと、を備えるナビゲーションシステムであって、略一致アルゴリズムを実行してクエリフレームに略一致する画像データベース内に格納されたデータの略一致フレームのセットを識別することと、高精度一致アルゴリズムを実行してクエリフレームに一致する略一致フレームのセット内の候補画像を識別することと、候補画像が有効性チェックを満たすか否かに基づいて、候補画像を一致画像として指定することと、取得されたクエリフレーム、一致画像、及び画像取得デバイスのためのパラメータに基づいて姿勢解決アルゴリズムを実行して、６自由度でオブジェクトの姿勢を推定することと、を実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

オブジェクトに装着された画像取得デバイスであって、前記画像取得デバイスは、前記オブジェクトを含む環境のクエリフレームを取得するように構成されている、画像取得デバイスと、
画像データベースを格納するように構成されたメモリデバイスと、
コンピュータ可読命令を実行するように構成された少なくとも１つのプロセッサであって、前記コンピュータ可読命令は、前記少なくとも１つのプロセッサに、
略一致アルゴリズムを実行して、前記クエリフレームに略一致する前記画像データベースに格納されたデータの略一致フレームのセットを識別することと、
高精度一致アルゴリズムを実行して、前記クエリフレームに一致する前記略一致フレームのセット内の候補画像を識別することと、
前記候補画像が有効性チェックを満たすか否かに基づいて、前記候補画像を一致画像として指定することと、
取得された前記クエリフレーム、前記一致画像、及び前記画像取得デバイスのためのパラメータに基づいて、姿勢解決アルゴリズムを実行して、６自由度で前記オブジェクトの姿勢を推定することと、を行うように指示する、少なくとも１つのプロセッサと、を備える、システム。

【請求項2】

前記候補画像を一致画像として指定するように前記少なくとも１つのプロセッサに指示する前記コンピュータ可読命令は、前記少なくとも１つのプロセッサに、
前記クエリフレームのクエリ局所記述子と前記候補画像のデータベース局所記述子との間の対応に基づいてホモグラフィ行列を算出することと、
前記クエリフレームのための境界を前記候補画像にマッピングすることと、
前記クエリ局所記述子のうちの少なくとも１つが前記マッピングされた境界内の前記データベース局所記述子に対応し、前記マッピングされた境界が前記候補画像上の有効なマッピングに関連付けられるとき、前記候補画像が前記一致画像であると判定することと、を行うように更に指示する、請求項１に記載のシステム。

【請求項3】

オブジェクトに装着された画像センサからクエリフレームを取得することと、
画像データベースから画像データを取得することと、
略一致アルゴリズムを実行して、前記クエリフレームに略一致する前記画像データベースに格納されたデータの略一致フレームのセットを識別することと、
高精度一致アルゴリズムを実行して、前記クエリフレームに一致する前記略一致フレームのセット内の候補画像を識別することと、
前記候補画像が有効性チェックを満たすか否かに基づいて、前記候補画像を一致画像として指定することと、
取得された前記クエリフレーム、前記一致画像、及び前記画像センサのためのパラメータに基づいて、姿勢解決アルゴリズムを実行して、６自由度における前記オブジェクトの姿勢を推定することと、を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２３年６月２３日に出願された「Ｖｉｓｉｏｎ－Ｏｎｌｙ Ｐｏｓｅ Ｒｅｌｏｃａｌｉｚａｔｉｏｎ」と題されたインド特許出願第２０２３１１０４２１２９号の利益及び優先権を主張する２０２３年９月２１日に出願された「Ｖｉｓｉｏｎ－Ｏｎｌｙ Ｐｏｓｅ Ｒｅｌｏｃａｌｉｚａｔｉｏｎ」と題された米国特許出願第１８／４７１８０７号の利益及び優先権を主張し、これらの両方は、その全体が参照により本明細書に組み込まれている。

【背景技術】

【0002】

多くのビークル（vehicle）には、ビークルの位置及び姿勢を判定しようとするナビゲーションシステムが組み込まれている。通常、ナビゲーションシステムは、ビークルに装着された１つ以上のセンサ又は受信機からビークルの位置及び姿勢に関する情報を取得する。ナビゲーションシステムは、ビークルの位置及び姿勢を判定するためにナビゲーションシステムが使用するビークルの位置又は環境に関するナビゲーションデータを受信する。例えば、ナビゲーションシステムは、すべてが情報を提供又は受信する他のセンサの中でも、慣性センサ及び全地球航法衛星システム受信機を含み得る。更に、ナビゲーションシステムによって使用される一部のセンサは、画像センサであり得る。

【発明の概要】

【0003】

画像のみによる（vision-only）姿勢再位置特定のためのシステム及び方法は、オブジェクトに装着された画像取得デバイスを含み、画像取得デバイスは、オブジェクトを含む環境のクエリフレームを取得するように構成されている。システムはまた、画像データベースを格納するように構成されたメモリデバイスを備えることができる。更に、システムはまた、略一致（coarse-match）アルゴリズムを実行して、クエリフレームに略一致する画像データベースに格納されたデータの略一致フレームのセットを識別するように少なくとも１つのプロセッサに指示するコンピュータ可読命令を実行するように構成された少なくとも１つのプロセッサを備えることができる。加えて、コンピュータ可読命令は、高精度一致（fine-match）アルゴリズムを実行して、クエリフレームに一致する略一致フレームのセット内の候補画像を識別するように少なくとも１つのプロセッサに指示する。また、コンピュータ可読命令は、候補画像が有効性チェックを満たすか否かに基づいて、候補画像を一致画像として指定するように少なくとも１つのプロセッサに指示する。更に、コンピュータ可読命令は、取得されたクエリフレーム、一致画像、及び画像取得デバイスのためのパラメータに基づいて姿勢解決アルゴリズム（pose-solving algorithm）を実行して、６自由度における当該オブジェクトの姿勢を推定するように少なくとも１つのプロセッサに指示する。

【図面の簡単な説明】

【0004】

図は、本明細書に付随し、添付の特許請求の範囲に関連するいくつかの実施形態のみを示す。したがって、説明及び図示された実施形態は、範囲を限定するものと見なされるべきではない。添付の図面及び明細書は、例示的な実施形態及びその特徴を、更なる特異性及び詳細と共に説明する。

【図1】本開示の一態様による画像のみによる姿勢再位置特定を実行するためのシステムを示すブロック図である。

【図2】本開示の一態様による、画像データベースに格納するためのデータを準備するためのシステムを示すブロック図である。

【図3】本開示の一態様による、画像のみによる姿勢再位置特定を実行するための方法を示すフローチャート図である。

【図4】本開示の一態様による略一致画像のセットの識別を示すブロック図である。

【図5】本開示の一態様による、高精度一致画像のセットの識別を示すブロック図である。

【図6A】本開示の一態様による有効性チェックを実行するときのホモグラフィ行列の適用を示す図である。

【図6B】本開示の一態様による有効性チェックを実行するときのホモグラフィ行列の適用を示す図である。

【図7】本開示の一態様による、画像のみによる姿勢再位置特定を実行するための方法を示すフローチャート図である。

【0005】

慣例に従って、図面は、説明される様々な特徴を縮尺通りに示していないが、図面は、特徴の例示的な実施形態への関連性を強調するための特徴を示している。

【発明を実施するための形態】

【0006】

以下の詳細な説明は、本明細書の一部をなす添付の図面を参照する。図面は、例示によって、特定の例示的な実施形態を示す。しかしながら、他の実施形態を使用してもよく、論理的、機械的、及び電気的な変更をしてもよいことを理解すべきである。

【0007】

画像のみによる姿勢再位置特定のためのシステム及び方法が本明細書に記載される。例えば、オブジェクトに取り付けられたナビゲーションシステムは、環境のクエリフレーム表現を取得する画像取得デバイスを含む。更に、ナビゲーションシステムは、画像のデータベースを含むことができ、データベース内の候補画像は、取得されたクエリフレーム内で表される環境を表すことができる。画像のデータベース及び取得されたクエリフレームを用いて、ナビゲーションシステムは、一連のアルゴリズムを実行して、取得されたクエリフレーム内の情報によって表される同じ環境を記述する候補一致画像（一致候補）を識別することができる。特に、ナビゲーションシステムは、略一致アルゴリズムを実行して、画像のデータベース内の略一致候補のセットを識別する。ナビゲーションシステムが略一致候補を識別したとき、ナビゲーションシステムは高精度一致アルゴリズムを実行して、１つ以上の高精度一致候補を識別する。高精度一致候補から、ナビゲーションシステムは、有効性チェックを満たす一致候補を識別する。一致画像を識別した後、ナビゲーションシステムは、取得されたクエリフレーム、識別された一致候補、及び画像取得デバイスパラメータを使用して姿勢解決アルゴリズムを実行する。姿勢解決アルゴリズムは、ナビゲーションシステムが、画像取得デバイスから取得されたデータを使用して、６自由度でオブジェクトの位置を判定することを可能にし得る。

【0008】

本明細書で説明されるような画像のみによる姿勢再位置特定システムは、迷子のロボット問題（lost robot problem）として知られる問題に対する解決策を提供することができる。迷子のロボット問題は、典型的には、ロボットがその位置を見失うこと、又は環境において方向感覚を失わせることを指す。ビークル（及びロボットのようなオブジェクト）がますます自律的になるにつれて、環境内でビークルを適切な向きに保つのを助けるために、ナビゲーションシステムが必要とされる。６自由度すべてにおいて位置特定情報を提供することができる１つの情報源は、画像データである。特に、ナビゲーションシステムは、現在の環境から画像データを取得し、取得した画像データを既知の位置を表す格納された画像データと比較して、ナビゲーション情報を判定する。したがって、ナビゲーションシステムは、グローバルナビゲーション衛星システム、慣性センサ、又はナビゲーション情報の他のソースから取得された情報を使用せずに、画像情報を取得し、６自由度（緯度、経度、高度、ヨー、ピッチ、及びロール）でその姿勢を判定することができる。更に、判定された姿勢は、複数のセンサからの情報の融合に基づいてナビゲーションソリューションの精度を改善するのを助けるための入力として使用され得る。

【0009】

特定の実施形態では、ナビゲーションシステムは、コンピュータビジョンを使用して、ナビゲーションシステムに取り付けられた任意のオブジェクトの姿勢を判定するランドマークナビゲーションと呼ばれる再位置特定技法を実行することができる。上述したように、ナビゲーションシステムは、各画像が特定の領域を記述する画像のデータベースにアクセスすることができる。画像のデータベースをナビゲーションシステムに提供することの一部として、未加工画像データが、取得されたクエリフレームに対する格納された画像の比較を容易にするために準備され得る。例えば、未加工画像データは、オフラインで又はビークル動作とは無関係に取得され得る衛星又は他の画像データ（すなわち、ライダー）を含み得る。例えば、衛星画像データを用いる場合、航空機が飛行している可能性のある領域を表すデータが取得されてもよい。プロセッサ（サーバ等）又は複数のプロセッサ（大規模並列処理で採用されるもの等）は、未加工画像データのマルチスケーリング及び重複を使用して、画像のデータベースを前処理してもよく、未加工画像データは、１つ以上の機械学習モデルへの入力として提供される。機械学習モデルは、画像データベース内の異なる画像に対して異なる記述子を提供することができる。次に、記述子を画像に関連付け、画像と共に画像のデータベースに保存することができる。次いで、データベースは、動作中にナビゲーションシステムにアクセス可能なメモリデバイス内に格納される。

【0010】

更なる実施形態では、機械学習モデルは、画像のデータベース内の各画像に対して異なる記述子のセットを生成することができ、記述子の各セットは、異なる比較アルゴリズムを使用して比較を容易にする。例えば、第１の機械学習モデルは、データベース画像とナビゲーションシステムによって取得されたクエリフレームとの迅速な比較を容易にする、各画像の粗い記述子（coarse descriptor）のセットを生成し得る。また、第２の機械学習モデルは、データベース画像とナビゲーションシステムによって取得されたクエリフレームとの詳細な比較を容易にする、各画像の高精度な記述子（fine descriptor）のセットを生成し得る。例えば、粗い記述子は、画像のグローバル記述子であってもよく、高精度な記述子は、画像内のキーポイント局所記述子であってもよい。

【0011】

例示的な実施形態では、クエリフレームを取得すると、ナビゲーションシステムは、機械学習モデル又は他のアルゴリズムを使用して、クエリフレームのグローバル記述子を算出することができる。ナビゲーションシステムは、クエリフレームのグローバル記述子に最も近いグローバル記述子を有するデータベース内のいくつかの画像を識別する粗い比較を実行することができる。例えば、ナビゲーションシステムは、最も近いグローバル記述子を有するデータベース内のＮ個の画像を識別することができる。Ｎ個の画像を識別した後、ナビゲーションシステムは、機械学習モデル又は他のアルゴリズムを使用して、クエリフレームの高精度な記述子を算出することができる。例えば、機械学習モデルは、クエリフレームにおけるキーポイントを識別し得る。クエリフレームの高精度な記述子を識別した後、ナビゲーションシステムは、クエリフレーム内で見つかった高精度な記述子を、粗い比較中に識別された最も近い画像に関連付けられた以前に算出された高精度な記述子と比較することができ、ナビゲーションシステムは、クエリフレームの高精度な記述子に最もよく一致する高精度な記述子を有する候補画像を識別する。

【0012】

いくつかの実施形態では、ナビゲーションシステムが候補画像を識別したとき、ナビゲーションシステムは、候補画像の有効性チェックを実行することができる。特に、ナビゲーションシステムは、高精度な一致に由来する情報を使用して、クエリフレームのフットプリントを候補画像上にマッピングするホモグラフィ行列を算出することができる。フットプリントを候補画像上にマッピングした後、ナビゲーションシステムは、ホモグラフィ行列をクエリフレーム内で識別された点に適用し、ホモグラフィ行列が識別された点を候補画像上にマッピングされたフットプリント内の位置にマッピングすることを検証する。識別された点がフットプリントから外れる場合、ナビゲーションシステムは、クエリフレームの高精度な記述子に対して次に最も一致する新しい候補画像を選択し、ホモグラフィ行列の有効性チェックを繰り返す。

【0013】

特定の実施形態では、候補画像が有効性チェックに合格すると、ナビゲーションシステムは、候補画像を一致画像として指定することができる。ナビゲーションシステムは、一致画像を使用して、ナビゲーションシステムに関連付けられたオブジェクトの姿勢を最大６自由度で算出する。例えば、ナビゲーションシステムは、画像取得デバイスの位置と画像取得デバイスによって取得された画像との間のオブジェクトに対する関係を記述する画像取得デバイスのパラメータを格納することができる。格納されたパラメータ、並びにクエリフレーム及び候補画像において識別された一致点を記述する情報を使用して、ナビゲーションシステムは、６自由度でオブジェクトの姿勢を算出することができる。例えば、ナビゲーションシステムは、オブジェクトの位置（すなわち、緯度、経度、高度）及び姿勢（すなわち、ロール、ピッチ、ヨー）を算出する透視Ｎ点（perspective N point、ＰＮＰ）アルゴリズムのための入力としてデータを使用することができる。したがって、本明細書で説明するシステム及び方法は、迷子のロボット問題を解決し、画像取得デバイスによって取得されたデータを使用してナビゲーション支援を提供する。

【0014】

図１は、視覚データを使用して姿勢再位置特定を提供することができる潜在的なナビゲーションシステム１００を示すブロック図である。例えば、ナビゲーションシステム１００は、画像センサ１０１（本明細書では画像取得デバイスとも呼ばれる）、１つ以上のプロセッサ１０３、及びメモリ１０５を含む。更に、メモリ１０５は、画像データベース１０７、粗いモデル１０９、及び高精度なモデル１１１を格納することができる。いくつかの代替実施形態では、ナビゲーションシステム１００は、追加のセンサ１１３を含むことができる。

【0015】

特定の実施形態において、ナビゲーションシステム１００は、既知の位置関係でオブジェクトにしっかりと装着されてもよい。したがって、ナビゲーションシステム１００の位置及び姿勢を判定することによって、オブジェクトの位置及び姿勢を判定することができる。オブジェクトは、移動可能であり、又は移動される任意のオブジェクトであってもよい。例えば、オブジェクトは、航空機、列車、自動車、ボート、宇宙船等のようなビークルであってもよい。オブジェクトがビークルである場合、ビークルは有人であっても無人であってもよい。更に、オブジェクトは、パーソナル電子デバイス又は他のオブジェクトであってもよい。ナビゲーションシステム１００は、オブジェクトの姿勢に関する情報を提供することができる。例えば、ナビゲーションシステム１００は、特定の基準座標系に対して最大６自由度でオブジェクトの姿勢を判定することができる。基準座標系が地球基準座標系であるとき、ナビゲーションシステム１００は、オブジェクトの緯度、経度、及び高度を判定することができる。更に、オブジェクトに適用可能な場合、ナビゲーションシステム１００は、ヨー、ピッチ、及びロールのようなオブジェクトの姿勢を判定することができる。

【0016】

更なる実施形態において、画像センサ１０１は、ナビゲーションシステム１００を取り囲む環境から画像データを取得するデバイスであってもよい。例えば、画像センサ１０１は、カメラ、深度カメラ、ＬｉＤＡＲ、又は他の画像取得デバイスであってもよい。画像センサ１０１は、画像データのクエリフレームとして画像データを取得することができる。画像センサ１０１は、１つ以上のプロセッサ１０３に連結され得、画像センサ１０１は、取得された画像データを１つ以上のプロセッサ１０３に提供する。

【0017】

例示的な実施形態では、プロセッサ１０３は、画像センサ１０１から取得された画像データ（クエリフレーム）を受信し、プロセッサ１０３に最大６自由度でオブジェクトの姿勢を判定させる命令を実行する。プロセッサ１０３は、（汎用プロセッサ、マルチコアプロセッサ、複数のプロセッサ、専用回路などの）計算用デバイスであってもよい。プロセッサ１０３によって実行される機能は、ソフトウェア、ファームウェア、ハードウェア、又はこれらの任意の適切な組合せを使用して実装され得る。プロセッサ１０３及び他の計算用デバイスは、特別に設計された特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）によって補足されること、あるいはこれらに取り込まれることができる。プロセッサ１０３及び他の計算用デバイスはまた、本方法及びシステムで使用される様々なプロセスタスク機能、算出機能、及び制御機能を実行するためのソフトウェアプログラム、ファームウェア、又は他のコンピュータ可読命令を含むことができ、又はそれによって動作することができる。

【0018】

本方法は、プロセッサ１０３及び他の計算用デバイスによって実行されるプログラムモジュール又はコンポーネントなどのコンピュータ実行可能命令によって実施することができる。一般に、プログラムモジュールは、特定のタスクを行う、又は特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、データコンポーネント、データ構造、アルゴリズム、及び同類のものを含む。

【0019】

メモリは、例えば不揮発性メモリデバイスを含む、任意の好適なコンピュータ可読格納媒体であってよく、例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（electrically erasable programmable-ROM、ＥＥＰＲＯＭ）、又はフラッシュメモリデバイスなどの半導体メモリデバイス、磁気ディスク（内部ハードディスク又は取り外し可能なディスク）、コンパクトディスク（compact disc、ＣＤ）、デジタル多用途ディスク（digital versatile disc、ＤＶＤ）、ブルーレイディスクなどの光学記憶装置、又はコンピュータ実行可能命令若しくはデータ構造として所望のプログラムコードを搬送若しくは格納することができる他の媒体などである。

【0020】

特定の実施形態では、プロセッサ１０３は、メモリ１０５に追加的に連結され得、メモリ１０５は、プロセッサ１０３が画像センサ１０１から取得された画像データから姿勢情報を判定するために使用する情報を格納する。例えば、コンピュータ可読命令に加えて、メモリ１０５は画像データベース１０７を格納する。画像データベース１０７は、画像データの中央リポジトリから受信した画像のデータベースである。画像データベースは、ナビゲーションシステム１００が移動している環境の画像データを含むことができる。例えば、オブジェクトが航空機である場合、画像データは、航空機が移動し得る地球の表面の重複するタイル化された衛星画像を含み得る。加えて、重複するタイル化された衛星画像は、３次元情報によって増強され得る。更なる実施形態では、画像データベース１０７内の各画像について、画像データベース１０７はまた、事前に算出された粗い記述子及び高精度な記述子を含んでもよい。例えば、粗い記述子について、画像データベース１０７は、各画像に対する一般的な記述子を格納することができる。高精度な記述子の場合、画像データベース１０７は、各画像内で見出される特徴を記述する事前に算出された局所記述子を格納することができる。いくつかの実装形態では、画像データは、３次元ＬｉＤＡＲデータ又は他のタイプの画像データであり得る。

【0021】

更なる実施形態では、ナビゲーションシステム１００は、オペレーションセンタ、データセンタ、又は他の場所などの中央リポジトリから画像データベース１０７内の情報を取得する。ナビゲーションシステム１００は、中央リポジトリとの無線又は有線通信チャネルを介して画像データベース１０７内の情報を取得することができる。あるいは、ナビゲーションシステム１００が中央リポジトリから遠隔に位置する場合、画像データは、コンピュータ可読媒体を使用することによって、又は無線若しくは有線通信チャネルを介して、ナビゲーションシステム１００にインストールするためにナビゲーションシステム１００の近くの別のコンピュータに送信することができる。

【0022】

特定の実施形態では、動作中に、画像センサ１０１は、画像データのフレーム（「クエリフレーム」と呼ばれる）を取得し、クエリフレームをプロセッサ１０３に提供する。クエリフレームを受信すると、プロセッサ１０３は、画像データベース１０７内の画像データとの比較のためにクエリフレームを準備する。比較のためにクエリフレームを準備するために、プロセッサ１０３は、粗いモデル１０９を実行して、クエリフレームの粗い記述子を判定することができ、プロセッサ１０３は、高精度なモデル１１１を実行して、クエリフレームの高精度な記述子を判定することができる。粗いモデル１０９及び高精度なモデル１１１は、画像データベース１０７に格納された画像データの粗い記述子及び高精度な記述子に匹敵する記述子を算出する機械学習モデルであり得る。いくつかの実装形態では、粗いモデル１０９及び高精度なモデル１１１は、画像データベース１０７に格納された事前に算出された粗い記述子及び高精度な記述子を作成するときに使用されるのと同じモデルであり得る。あるいは、粗いモデル１０９及び高精度なモデル１１１は、画像データベース１０７に格納された粗い記述子及び高精度な記述子に匹敵する記述子を生成する異なるモデルであってもよい。

【0023】

いくつかの実施形態では、ナビゲーションシステム１００は、ナビゲーションシステム１００が画像データを取得したときに画像を提供した中央リポジトリから粗いモデル１０９及び高精度なモデル１１１を取得する。代替的に、粗いモデル１０９及び高精度なモデル１１１が実質的に静的であるとき、粗いモデル１０９及び高精度なモデル１１１は、ナビゲーションシステム１００の初期動作の前にメモリ１０５にロードされ得る。粗いモデル１０９及び高精度なモデル１１１がメモリ１０５において更新又は再インストールされる必要がある場合、ナビゲーションシステム１００は、中央リポジトリとの無線又は有線通信チャネルを介して粗いモデル１０９及び高精度なモデル１１１を取得することができる。あるいは、ナビゲーションシステム１００が中央リポジトリから離れて位置する場合、コンピュータ可読媒体を使用することによって、又は無線若しくは有線通信チャネルを介して、ナビゲーションシステム１００にインストールするために、粗いモデル１０９及び高精度なモデル１１１をナビゲーションシステム１００の近くの別のコンピュータに送信することができる。

【0024】

特定の実施形態では、プロセッサ１０３が、クエリフレームを入力として使用して粗いモデル１０９を実行することによってクエリフレームの粗い記述子を判定するとき、プロセッサ１０３は、画像データベース１０７に格納された異なる画像の粗い記述子に対して粗い記述子を比較し得る。次いで、プロセッサ１０３は、粗い記述子の比較に基づいて、画像データベース１０７に最もよく一致する画像データベース１０７内の画像のサブセットを識別する。

【0025】

例示的な実装形態では、画像データベース１０７は、米国地理調査（ＵＳＧＳ：United States Geographic Survey）衛星画像などの前処理済み衛星画像タイルを含み得る。前処理済み衛星画像は、グローバル記述子技法を使用して列ベクトル画像記述子に符号化されたタイルであり得る。例えば、グローバル記述子を判定するための１つの技法では、機械学習モデルが、画像データのフレームを入力として受信する。機械学習モデルの一例は、残差ニューラルネットワーク（residual neural network、ＲｅｓＮｅｔ）を使用して作成され得、一般化平均プーリング（generalized mean-pooling、ＧｅＭ）アルゴリズムがＲｅｓＮｅｔの最後のレイヤに対して実行され得、ＧｅＭは、平均精度の最大化を目的として実行される。粗いモデル１０９は、画像データベース１０７内の画像の粗い記述子を生成するために使用されるモデルと同様であってもよい。トリプレットロス手法又は他のアルゴリズムなどの、グローバル記述子を生成するための他のアルゴリズムも使用され得る。

【0026】

いくつかの実施形態では、プロセッサ１０３は、クエリフレームの粗い記述子をデータベース内の画像の粗い記述子と比較することによって、画像のサブセットを識別し得る。例えば、プロセッサ１０３は、クエリフレームのグローバル記述子と、画像データベース１０７内の各画像又は画像のサブセットのグローバル記述子とのドット積を取ることができる。ドット積の結果に基づいて、プロセッサ１０３は、クエリフレームに最も一致する画像データベース１０７内のいくつかの略一致画像を識別することができる。例えば、プロセッサ１０３は、粗い記述子のドット積に基づいて２０個（又は他の数）の最も一致する画像を識別することができる。いくつかの実施形態では、最も一致する画像として識別される画像データベース１０７内の略一致画像の数は、調整可能であり得る。例えば、ユーザは、ユーザインタフェース（図示せず）を介してプロセッサ１０３と通信して、選択される画像の数を制御してもよい。代替的に、画像データベース１０７から選択される画像の数は、別の外部システムによって事前設定又は制御され得る。略一致画像のセットを識別することによって、一致しない画像を追加の処理から除外することができ、画像データベース１０７内のすべての（又は相当数の）画像を処理するのとは対照的に、略一致画像のセットが処理されるので、処理速度を増加させることができる。

【0027】

特定の実施形態では、プロセッサ１０３が略一致画像を選択したとき、プロセッサ１０３は高精度一致アルゴリズムを実行して、略一致画像から候補画像を識別することができる。候補画像を識別するために、プロセッサ１０３は、クエリフレームを高精度なモデル１１１に提供し得る。高精度なモデル１１１は、他の画像において同様に識別された特徴との比較に好適である画像における特徴を識別するアルゴリズムであってもよい。本明細書で説明するように、高精度なモデル１１１によって生成された画像についての識別された特徴の記述は、画像の局所記述子として記述することができる。したがって、高精度なモデル１１１は、画像センサ１０１によって取得されたクエリフレームの局所記述子を生成し得る。画像データベース１０７内の画像とクエリフレームの局所記述子との間の比較を容易にするために、画像データベース１０７はまた、画像データベース１０７内に格納された画像の局所記述子を格納し得る。画像データベース１０７内の画像の局所記述子は、高精度なモデル１１１によって算出され得るが、高精度なモデル１１１と同様のモデルは、画像データベース１０７内の画像の局所記述子を算出するために別のシステムによってオフラインで実行され得る。事前に算出された局所記述子は、次いで、画像データベース１０７にロードされてもよく、事前に算出された局所記述子は、取得されたクエリフレームとの比較のためにプロセッサ１０３にアクセス可能である。

【0028】

いくつかの実施形態では、局所記述子を算出するために、高精度なモデル１１１を実行するプロセッサ１０３は、学習ベースの局所記述子識別アルゴリズムを実行し得る。加えて、略一致画像がクエリフレームに一致するか否かを判定するために、プロセッサ１０３によって実行される高精度なモデル１１１は、アテンショナルグラフィカルニューラルネットワーク（attentional graphical neural network）＋最適一致レイヤを実行し得る。高精度なモデル１１１の実行において、プロセッサ１０３は、クエリフレームに対して学習ベース局所記述子アルゴリズムを実行してもよい。学習ベース局所記述子アルゴリズムは、画像から局所記述子（キーポイント及び記述子）を抽出する深層学習ベースのアルゴリズムである。次いで、抽出された局所記述子は、他の同様に処理された画像と比較される。局所記述子を取得した後、高精度なモデル１１１は、クエリフレームについて抽出された局所記述子と、各略一致画像について格納された局所記述子とを使用してグラフィカルニューラルネットワークアルゴリズムを実行するようにプロセッサ１０３に指示し得る。更に、高精度なモデル１１１は、最適一致層を有するグラフィカルニューラルネットワークであってもよい。プロセッサ１０３は、各略一致画像について別々にグラフィカルニューラルネットワークアルゴリズムを実行することができる。更に、グラフィカルニューラルネットワークアルゴリズムは、環境に関してオブジェクトの異なる向き、及び環境内の表面からの異なる距離を考慮するために、異なる略一致画像の異なる向き及びサイズに対して追加的に実行され得る。グラフィカルニューラルネットワークアルゴリズムもまた、特徴の一致及び幾何学的検証を実行する深層学習ベースのアルゴリズムである。グラフィカルニューラルネットワークアルゴリズムは、異なる画像から局所記述子を取得し、グラフニューラルネットワークを使用して、局所記述子を照合する。グラフィカルニューラルネットワークアルゴリズムは、推定一致に対するコンフィデンスメトリックを生成する。プロセッサ１０３は、生成されたコンフィデンスメトリックを合計して、略一致画像から候補画像を識別することができる。本明細書で使用される場合、候補画像という用語は、クエリフレーム内で撮像された環境に最も類似した表現である画像として識別される画像データベース１０７内の画像を指す。

【0029】

特定の実施形態では、プロセッサ１０３が候補画像を識別すると、プロセッサ１０３は、有効性チェックを実行して、候補画像が誤ったデータ関連付けに基づいて識別されなかったことを検証することができる。例えば、プロセッサ１０３は、クエリフレームの局所記述子を候補画像の局所記述子と照合し得る。局所記述子の一致に基づいて、プロセッサ１０３はホモグラフィ行列を推定することができる。ホモグラフィ行列を使用して、プロセッサ１０３は、クエリフレームの境界をマッピングし、クエリフレーム内の識別された特徴を候補画像上にマッピングすることができる。プロセッサ１０３は、次いで、クエリフレーム内の識別された特徴が、クエリフレームのマッピングされた境界内にある候補画像上の特徴にマッピングすることを検証し得る。クエリの特徴が、候補画像上のマッピングされた境界の外側にある候補画像上の特徴にマッピングされる場合、又はマッピングされた境界が候補画像上の不可能な潜在的なマッピングされた境界を表す場合（すなわち、非矩形、ガーブルなど）、プロセッサ１０３は、候補画像が誤一致であると判定することができる。候補画像が誤一致であると判定すると、プロセッサ１０３は、候補画像として高精度なモデル１１１の出力に基づいて、略一致画像の次に最も一致する画像を選択し、その後、プロセッサ１０３は有効性チェックを再び実行する。プロセッサ１０３は、また有効性チェックに合格する高精度なモデル１１１の出力に基づいて、プロセッサ１０３が最も一致する画像を見つけるまで、略一致画像を反復的に処理する。プロセッサ１０３が、すべての略一致画像を処理し、有効性チェックに合格する画像を依然として見出さなかった場合、プロセッサ１０３は、追加の略一致画像を識別し得る。

【0030】

いくつかの実施形態では、有効性チェックを実行するとき、プロセッサ１０３は、候補画像の有効性を保証するために、縮重サンプルコンセンサス（degenerate sample consensus、ＤＥＧＥＮＳＡＣ）方法又は他の方法を実行し得る。例えば、クエリフレーム及び候補画像の局所記述子から、プロセッサ１０３は、一致する記述子のセットを選択し得る。プロセッサ１０３は、一致記述子のセットからホモグラフィ行列を生成することができる。一致記述子のセットから生成されたホモグラフィ行列を使用して、プロセッサ１０３は、クエリフレームの局所記述子を使用して、ホモグラフィ行列によって表される変換仮説の有効性をテストすることができる。ホモグラフィ行列の適用によって、局所記述子のうちのいくつかが、候補画像上にマッピングされたクエリフレームの予想される領域から外れる場合、プロセッサ１０３は、変換仮説が有効でなく、候補画像も有効でないと判定する。

【0031】

更なる実施形態では、プロセッサ１０３が、候補画像が有効であると判定すると、プロセッサ１０３は、候補画像を一致画像として指定し得る。次いで、プロセッサ１０３は、姿勢解決アルゴリズムを使用してオブジェクトの姿勢を算出する。例えば、いくつかの実装形態では、クエリフレームは、２次元画像であり得、一致画像は３次元であり得る。２次元画像の３次元画像への対応から、透視ｎ点（perspective-n-point、ＰｎＰ）アルゴリズム（ＥＰｎＰ、ＳＱＰｎＰ、及びＰ３Ｐなど）を使用して、２次元画像に関連付けられたオブジェクトの姿勢を判定することができる。特に、プロセッサ１０３は、ＰｎＰアルゴリズムを使用するとき、特徴を照合するための以下の問題を解決する。

【0032】

【数1】

【0033】

式中、

【0034】

【数2】

は、観測されたピクセル位置であり、

【0035】

【数3】

は、ナビゲーションシステム１００に取り付けられたオブジェクトに対する画像センサ１０１の関係を定義する画像センサ１０１の既知の特性である。更に、

【0036】

【数4】

は、観測されたピクセル位置に関連付けられた一致画像内の特徴についての地球フレーム内の３次元座標を指す。このデータを使用して、プロセッサ１０３は、６自由度でナビゲーションシステム１００に取り付けられたオブジェクトの姿勢である

【0037】

【数5】

を推定することができる。特に、

【0038】

【数6】

は、オブジェクトのロール、ピッチ、ヨーを表し、

【0039】

【数7】

は、オブジェクトの位置を表す。したがって、プロセッサ１０３は、６自由度でオブジェクトの姿勢を算出することができる。プロセッサ１０３がオブジェクトの姿勢を判定すると、プロセッサ１０３、オブジェクト上の別のプロセッサ、又はユーザは、取り付けられたオブジェクトのナビゲーションを指示するために姿勢を使用することができる。

【0040】

いくつかの実施形態では、ナビゲーションシステム１００は、追加のセンサ１１３を含んでよい。追加のセンサ１１３は、プロセッサ１０３が機首方位及び高度を判定するために使用することができる情報を提供するセンサを含む。例えば、追加のセンサ１１３は、慣性測定ユニット、ＧＰＳ受信機、気圧計、磁力計、高度計などを含み得る。追加のセンサは、プロセッサ１０３が機首方位及び表面から離れた距離（地上の高度など）を算出するために使用する、オブジェクトの動きの測定値又は環境情報を提供する。機首方位及び距離を使用することにより、プロセッサ１０３が候補画像をより迅速に識別することを可能にする。

【0041】

例示的な実施形態では、機首方位及び表面からの距離の知識は、クエリフレームと画像データベース１０７内の画像との間で必要とされる比較の数を低減し得る。例えば、オブジェクトが航空機であり、画像データベースが、航空機が飛行し得る地形の画像を含むとき、クエリフレームは、画像データベース１０７内の画像を撮像するために使用される元のデバイスとは異なるスケール及び配向で地形を撮像し得る。したがって、クエリフレームを画像データベース１０７内の画像と比較すると、各画像は、クエリフレームのスケール及び向きを判定するために、増分的に拡大又は縮小され、回転され得る。機首方位及び高度が追加のセンサ１１３から取得された情報からわかると、プロセッサ１０３は、プロセッサ１０３が画像データベース１０７内の潜在的な一致画像の適切なスケール及び配向を選択し得るように、クエリフレームのスケール及び配向を判定し得る。

【0042】

上述したように、粗いモデル１０９、高精度なモデル１１１、有効性チェック、及び姿勢算出の実行は、ナビゲーションシステム１００上のプロセッサ１０３によって実施される。しかしながら、いくつかの実装形態では、プロセッサ１０３は、中央サーバ又は他の計算設備等の外部システムと通信してもよい。かかる実装形態では、プロセッサ１０３は、画像センサ１０１によって取得されたクエリフレームを、上述した方法を用いてオブジェクトの姿勢を判定する外部システムに送信してもよい。次いで、外部システムは、オブジェクトのナビゲーションを指示するために、算出された姿勢をプロセッサ１０３に送信することができる。

【0043】

図２は、画像データから姿勢再位置特定を実行するナビゲーションシステム１００などのシステムによる使用のための画像データベースを準備するためのシステム２００のブロック図である。図示されるように、システム２００は、画像ソース２２１及びサーバ２２３を備える。サーバ２２３は、画像ソース２２１から画像を取得し、ナビゲーションシステム１００上の画像データベース１０７に格納するための画像情報を準備する。画像データベース１０７に格納するための画像を準備するために、サーバ２２３は、メモリ２２５、１つ以上のプロセッサ２２７、及び送受信機２２９を含むことができる。

【0044】

特定の実施形態では、画像ソース２２１は、ある領域にわたって撮像された画像データの任意のソースであり得る。例えば、画像データは、ＵＳＧＳ ＮＡＩＰ又はＵＳＧＳ ＨＲＯ画像等の第三者から取得された衛星画像であってもよい。あるいは、画像データは、特定の領域について取得されたライダーデータであってもよい。サーバ２２３は、画像データを処理して、画像データのマルチスケール及び重複タイルを作成する。例えば、サーバ２２３は、約１２，０００平方キロメートルをカバーするＵＳＧＳ衛星画像データを受信することができる。サーバ２２３は、画像を処理して、５つのレベルのスケーリングで５０パーセントのオーバーラップを有するタイルを作成することができる。サーバ２２３は、画像ソース２２１から受信した画像と、メモリ２２５上の画像データベース２３１内の処理済み画像タイルとの両方を保存することができる。メモリ２２５は、より多くの異なるタイプの情報を格納することを除いて、上述したメモリ１０５と同様に機能することができる。画像ソース２２１から取得された画像の処理は、計算量の大きいタスクであり得るので、サーバ２２３は、複数のコアを有するプロセッサ２２７又は複数のプロセッサ２２７を有するスーパーコンピュータであり得る。プロセッサ２２７は、より多くのプロセッサを含むことができ、異なるタイプのデータを処理することを除いて、上述のプロセッサ１０３と同様に機能することができる。

【0045】

更なる実施形態では、画像データの異なるタイルを作成した後、プロセッサ２２７は、画像データのタイルが３次元であるように垂直情報を算出することができる。例えば、画像データのタイルが地理的画像である場合、プロセッサ２２７は、画像データのタイルに関する垂直方向の地理的情報（地形高度）を識別することができる。例えば、プロセッサは、ＵＳＧＳスペースシャトルトモグラフィ（space shuttle tomography、ＳＴＲＭ）データベース又はＵＳＧＳ米国３Ｄ標高プログラム（3D elevation program、３ＤＥＰ）データベースによって提供される地形高度情報を使用して、画像データのタイル内の特徴の地形高度を判定することができる。地形高度が画像データのタイルに適用されると、プロセッサ２２７は、３次元タイルを画像データベース２３１に格納することができる。

【0046】

いくつかの実施形態では、プロセッサ２２７はまた、画像データベース２３１に格納された画像データのタイルの記述子を算出することができる。サーバ２２３上で記述子を事前算出することにより、ナビゲーションシステム１００上の計算負荷を軽減することができ、また、ナビゲーションシステム１００がオブジェクトの姿勢を判定することができる速度を高めることができる。記述子を事前算出するために、プロセッサ２２７は、図１に関連して上述した粗いモデル１０９及び高精度なモデル１１１を実行することができる。いくつかの実装形態では、メモリ２２５に格納された粗いモデル１０９及び高精度なモデル１１１は、図１のメモリ１０５に格納された粗いモデル１０９及び高精度なモデル１１１と同一でなくてもよい。

【0047】

上述したように、粗いモデル１０９の実行は、画像データのタイルのグローバル記述子を生成する。プロセッサ２２７は、生成されたグローバル記述子をグローバル記述子２３３としてメモリ２２５に格納し得る。更に、高精度なモデル１１１の実行は、画像データのタイルの局所記述子を生成する。プロセッサ２２７は、生成された局所記述子を局所記述子２３５としてメモリ２２５に格納することができる。

【0048】

記述子が生成され、画像データが準備されると、プロセッサ２２７は、送受信機２２９を介して、画像データベース１０７に格納するための図１で上述した画像データをナビゲーションシステム１００に送信することができる。例えば、プロセッサ２２７は、３次元画像データのタイルのすべて又はサブセットをナビゲーションシステム１００に送信することができる。また、プロセッサ２２７は、送信された画像データに関連付けられたグローバル記述子２３３及び局所記述子２３５をナビゲーションシステム１００に送信することができる。いくつかの実装形態では、プロセッサ２２７はまた、取得されたクエリフレームの記述子を算出する際の使用のための、粗いモデル１０９及び高精度なモデル１１１をナビゲーションシステム１００に送信し得る。したがって、サーバ２２３は、図１に関連して上述したように、ナビゲーションシステム１００が６自由度で姿勢を判定することを可能にする情報を提供することができる。

【0049】

図３は、取得された画像データを使用してオブジェクトの姿勢を算出するための方法３００のフローチャート図である。方法３００の工程は、図１に関連して上述された項目を参照して本明細書で説明される。方法３００は３０１に進み、画像がデータベースから取得される。例えば、プロセッサ１０３は、画像データベース１０７から画像を取得することができ、画像データベース１０７内の画像は、３次元でエリアを記述する情報を含む。加えて、プロセッサ１０３は、画像データベース１０７内の画像の一般記述子及び局所記述子を取得することができる。更に、方法３００は３０３に進み、クエリフレームが画像センサから取得される。例えば、プロセッサ１０３は、画像センサ１０１からクエリフレームを取得してもよい。

【0050】

特定の実施形態では、プロセッサ１０３が画像データベース１０７からクエリフレーム及び画像を取得したとき。方法３００は３０５に進み、略一致画像のセットが選択される。例えば、プロセッサ１０３は、粗いモデル１０９を使用して、クエリフレームの一般記述子を生成し、プロセッサ１０３は、クエリフレームの一般記述子を画像データベース１０７内の画像の一般記述子と比較する。比較に基づいて、プロセッサ１０３は、略一致画像のセットを識別する。プロセッサ１０３が略一致画像のセットを識別すると、方法３００は３０７に進み、候補画像が略一致画像のセットから選択される。例えば、プロセッサ１０３は、高精度なモデル１１１を使用して、クエリフレームの局所記述子を生成し、クエリフレームの局所記述子を、略一致画像のセット内の異なる画像の局所記述子と比較する。比較に基づいて、プロセッサ１０３は候補画像を選択することができる。

【0051】

追加の実施形態では、候補画像が選択されたとき、方法３００は３０９に進み、有効性チェックが候補画像に対して実行される。例えば、プロセッサ１０３は、クエリフレームの局所記述子のうちのいくつかを候補画像中の対応する局所記述子に変換する（ホモグラフィ行列などの）変換モデルを識別し得る。ホモグラフィ行列を使用して、プロセッサ１０３は、候補画像上のクエリフレームの重ね合わせの境界を識別することができる。プロセッサ１０３は、ホモグラフィ行列が、クエリフレームの局所記述子を、重ね合わせの境界内にある候補画像上の位置にマッピングするか否かを判定することによって、有効性チェックを実行することができる。次いで、方法３００は３１１に進み、プロセッサ１０３は、候補画像が有効性チェックに合格したか否かを判定する。候補画像が有効性チェックに不合格の場合、方法３００は、略一致画像のセットから新しい候補画像を選択するための３０７に戻る。

【0052】

特定の実施形態では、候補画像が有効性チェックに合格すると、方法は３１３に進み、オブジェクトの姿勢が算出される。例えば、候補画像は一致画像として指定され、一致画像及びクエリフレームの対応する局所記述子を画像センサのためのパラメータと共に使用して、プロセッサ１０３は、ＰｎＰアルゴリズムを使用して、オブジェクトの姿勢を識別し得る。オブジェクトの姿勢を識別すると、次いで、算出された情報は、識別された姿勢情報から潜在的に利益を得るナビゲーション及び他の活動のために使用されることができる。

【0053】

図４及び図５は、クエリフレームと画像データベース内の画像との粗い比較及び高精度な比較をそれぞれ示す図である。特に、図４は、粗いモデル１０９を使用した略一致画像４５１のセットの識別を示す図である。更に、図５は、高精度なモデル１１１を使用した候補画像の識別を示す図である。

【0054】

図４に関して、システム（図１で説明したナビゲーションシステム１００など）は、画像データベースからクエリフレーム４４１及びデータベース画像４４３のセットを取得することができる。クエリフレーム４４１は、粗いモデル１０９のための入力として提供され得る。粗いモデル１０９は、クエリフレーム４４１のためのクエリ一般記述子４４７を提供し得る。加えて、データベース画像４４３は、粗いモデル１０９への入力として別々に提供されて、データベース画像４４３の各々についてデータベース一般記述子４４９を生成し得る。データベース画像４４３は、粗いモデル１０９がクエリ一般記述子４４７を生成するのと同時に、粗いモデル１０９への入力として提供され得る。代替として、データベース一般記述子４４９は、システムによって又は別のシステムによって事前算出されてもよい。

【0055】

システムがクエリ一般記述子４４７及びデータベース一般記述子４４９を取得すると、システムは、クエリ一般記述子４４７をデータベース一般記述子４４９と比較して、略一致画像４５１のセットを識別することができる。例えば、システムは、クエリ一般記述子４４７とデータベース一般記述子４４９とのドット積を実行し、ドット積の最も高い結果を有するデータベース画像４４３を識別することができる。システムは、ドット積の最も高い結果を有する調整可能な数のデータベース画像４４３を略一致画像４５１のセットとして指定することができる。

【0056】

図５に関して、システムは、高精度なモデル１１１によって生成された局所記述子に基づいて、クエリフレーム４４１に一致する候補画像を略一致画像４５１のセットから識別し得る。例えば、システムは、クエリフレーム４４１を取得し、クエリ局所記述子５５７を識別する高精度なモデル１１１への入力としてクエリフレーム４４１を提供し得る。加えて、システムは、略一致画像４５１のセット内の各画像を高精度なモデル１１１への入力として提供して、略一致画像４５１のセット内の画像の各々についてデータベース局所記述子５５９を識別することができる。略一致画像４５１のセット内の画像は、データベース局所記述子５５９を生成するために、高精度なモデル１１１がクエリ局所記述子５５７を生成するのと同時に、高精度なモデル１１１への入力として提供され得る。代替として、データベース局所記述子５５９は、システムによって又は別のシステムによって事前算出されてもよい。

【0057】

システムがクエリ局所記述子５５７及びデータベース局所記述子５５９を取得すると、システムは、クエリ局所記述子５５７をデータベース局所記述子５５９と比較して、候補画像５６１を識別することができる。例えば、システムは、クエリ局所記述子５５７及びデータベース局所記述子５５９を、略一致画像４５１のセット内の画像とクエリフレーム４４１との間の推定一致に対するコンフィデンスメトリックを提供するモデルへの入力として提供することができる。システムは、略一致画像４５１のセットから候補画像５６１を識別するために、生成されたコンフィデンスメトリックを合計することができ、候補画像５６１は、最も高いコンフィデンスメトリック合計を有する。次いで、候補画像５６１は、上述したように、有効性についてチェックされ得る。

【0058】

図６Ａ及び図６Ｂは、候補画像への有効性チェックの適用を示す。特に、図６Ａは、クエリフレームを有効な候補画像にマッピングするクエリフレームへのホモグラフィ行列の適用を示し、図６Ｂは、クエリフレームを無効な候補画像にマッピングするクエリフレームへのホモグラフィ行列の適用を示す。

【0059】

上述したように、図６Ａは、候補画像５６１への有効性チェックの適用を示す。有効性チェックを実行するとき、システムは、クエリ局所記述子５５７及びデータベース局所記述子５５９のうちの少なくともいくつかに基づいてホモグラフィ行列を識別することができる。識別されたホモグラフィ行列を使用して、システムは、候補画像５６１上へのクエリフレーム４４１の境界のマッピング６６３を作成することができる。マッピング６６３を作成した後、システムは、ホモグラフィ行列を使用して、クエリ局所記述子５５７を候補画像５６１上にマッピングすることができる。図６Ａに示すように、ホモグラフィ行列がクエリ局所記述子５５７に適用されると、クエリ局所記述子５５７は、マッピング６６３内に位置するデータベース局所記述子５５９にマッピングされる。マッピングされたデータベース局所記述子５５９はマッピング６６３内に位置するので、図６Ａの候補画像５６１は有効性チェックに合格し、候補画像５６１は一致画像として指定される。

【0060】

対照的に、同様のマッピング６６３がホモグラフィ行列から作成される図６Ｂでは、クエリ局所記述子５５７のうちのいくつかは、マッピング６６３の外側に位置するデータベース局所記述子５５９にマッピングする。クエリ局所記述子５５７は、マッピング６６３の外側にあるデータベース局所記述子５５９にマッピングされるので、図６Ｂの候補画像５６１は、有効性チェックに不合格となる。いくつかの実装形態では、候補画像５６１は、任意のクエリ局所記述子５５７がマッピング６６３の外側に位置するデータベース局所記述子５５９にマッピングされるとき、有効性チェックに不合格となり得る。しかしながら、候補画像５６１は、特定の数又は割合のクエリ局所記述子５５７が、マッピング６６３の外側に位置するデータベース局所記述子５５９にマッピングされる場合、有効性チェックに不合格となってもよい。

【0061】

加えて、ホモグラフィ行列から作成されたマッピング６６３は、候補画像５６１上の不可能な潜在的マッピング６６３を表し得る。例えば、マッピング６６３は、極端な非矩形形状又は不明瞭なマッピングであり得る。マッピング６６３が不可能なマッピングであるとき、不明瞭なマッピング又は不規則な形状は、局所記述子から得られたホモグラフィ行列が有効なマッピングではないことを示し得る。したがって、候補画像５６１は、クエリフレーム４４１に対する誤一致である。

【0062】

図７は、画像のみによる姿勢再位置特定を実行するための方法６００のフローチャート図である。方法７００は、７０１に進み、オブジェクトに装着された画像センサからクエリフレームが取得される。方法７００は、７０３に更に進み、画像データが画像データベースから取得される。更に、方法７００は、７０５に進み、略一致アルゴリズムが実行されて、クエリフレームに略一致する、画像データベースに格納されたデータの略一致フレームのセットを識別する。更に、方法７０７は、７０７に進み、高精度一致アルゴリズムが実行されて、クエリフレームに一致する略一致フレームのセット内の候補画像を識別する。また、方法は、７０９に進み、候補画像が有効性チェックを満たすか否かに基づいて、候補画像が一致画像として指定される。更に、方法７００は、７１１に進み、取得されたクエリフレーム、一致画像、及び画像センサのパラメータに基づいて姿勢解決アルゴリズムが実行されて、６自由度でオブジェクトの姿勢が推定される。

【0063】

例示的な実施形態
実施例１は、オブジェクトに装着された画像取得デバイスであって、画像取得デバイスは、オブジェクトを含む環境のクエリフレームを取得するように構成されている、画像取得デバイスと、画像データベースを格納するように構成されたメモリデバイスと、コンピュータ可読命令を実行するように構成された少なくとも１つのプロセッサであって、コンピュータ可読命令は、少なくとも１つのプロセッサに、略一致アルゴリズムを実行して、クエリフレームに略一致する、画像データベースに格納されたデータの略一致フレームのセットを識別することと、高精度一致アルゴリズムを実行して、クエリフレームに一致する略一致フレームのセット内の候補画像を識別することと、候補画像が有効性チェックを満たすか否かに基づいて、候補画像を一致画像として指定することと、取得されたクエリフレーム、一致画像、及び画像取得デバイスのためのパラメータに基づいて姿勢解決アルゴリズムを実行して、６自由度でオブジェクトの姿勢を推定することと、を行うように指示する、少なくとも１つのプロセッサと、を備えるシステムを含む。

【0064】

実施例２は、少なくとも１つのプロセッサに略一致アルゴリズムを実行するように指示するコンピュータ可読命令が、少なくとも１つのプロセッサに、クエリフレームのクエリ一般記述子を算出することと、画像データベースに格納された複数のフレームのデータベース一般記述子を取得することと、複数のフレームの各々について、データベース一般記述子をクエリ一般記述子と比較することと、複数のフレーム内のいくつかのフレームを略一致フレームのセットとして指定することと、を行うように更に指示する、実施例１に記載のシステムを含む。

【0065】

実施例３は、クエリフレームのクエリ一般記述子が、メモリデバイス上に格納された機械学習モデルを使用して算出される、実施例２に記載のシステムを含む。

【0066】

実施例４は、クエリ一般記述子が、一般化平均プーリングを使用して算出される、実施例３に記載のシステムを含む。

【0067】

実施例５は、データベース一般記述子が、中央リポジトリから受信された後にメモリデバイスに格納され、データベース一般記述子が、中央リポジトリにおける複数のプロセッサによって算出されたものである、実施例２～４のいずれかに記載のシステムを含む。

【0068】

実施例６は、少なくとも１つのプロセッサに高精度一致アルゴリズムを実行するように指示するコンピュータ可読命令が、少なくとも１つのプロセッサに、クエリフレームのクエリ局所記述子を算出することと、画像データベースに格納された複数のフレームのデータベース局所記述子を取得することと、略一致フレームのセット内のフレームの各々について、データベース局所記述子をクエリ局所記述子と比較することと、略一致フレームのセット内の候補画像を識別することと、を行うように更に指示する、実施例１～５のいずれかに記載のシステムを含む。

【0069】

実施例７は、クエリフレームのクエリ局所記述子が、メモリデバイス上に格納された機械学習モデルを使用して算出される、実施例６に記載のシステムを含む。

【0070】

実施例８は、クエリ局所記述子が、学習ベースの局所記述子アルゴリズムを使用して算出される、実施例６～７のいずれかに記載のシステムを含む。

【0071】

実施例９は、データベース局所記述子が、中央リポジトリから受信された後にメモリデバイスに格納され、データベース局所記述子が、中央リポジトリにおける複数のプロセッサによって算出されたものである、実施例６～８のいずれかに記載のシステムを含む。

【0072】

実施例１０は、データベース局所記述子が、アテンショナルグラフィカルニューラルネットワークアルゴリズムを使用して、クエリ局所記述子と比較される、実施例６～９のいずれかに記載のシステムを含む。

【0073】

実施例１１は、候補画像を一致画像として指定するように少なくとも１つのプロセッサに指示するコンピュータ可読命令が、少なくとも１つのプロセッサに、クエリフレームのクエリ局所記述子と候補画像のデータベース局所記述子との間の対応に基づいて、ホモグラフィ行列を算出することと、クエリフレームの境界を候補画像上にマッピングすることと、クエリ局所記述子のうちの少なくとも１つがマッピングされた境界内のデータベース局所記述子に対応し、マッピングされた境界が候補画像上の有効なマッピングに関連付けられているとき、候補画像が一致画像であると判定することと、を行うように更に指示する、実施例１～１０のいずれかに記載のシステムを含む。

【0074】

実施例１２は、姿勢解決アルゴリズムが、透視Ｎ点アルゴリズムである、実施例１～１１のいずれかに記載のシステムを含む。

【0075】

実施例１３は、１つ以上の追加のセンサを更に備え、１つ以上の追加のセンサが、機首方位及び高度のナビゲーション測定値を提供し、少なくとも１つのプロセッサが、機首方位に関連付けられた向き及び高度に関連付けられたスケールにおいて、画像データベース内のデータに対して略一致アルゴリズムを実行する、実施例１～１２のいずれかに記載のシステムを含む。

【0076】

実施例１４は、オブジェクトに装着された画像センサからクエリフレームを取得することと、画像データベースから画像データを取得することと、略一致アルゴリズムを実行して、クエリフレームに略一致する画像データベースに格納されたデータの略一致フレームのセットを識別することと、高精度一致アルゴリズムを実行して、クエリフレームに一致する略一致フレームのセット内の候補画像を識別することと、候補画像が有効性チェックを満たすか否かに基づいて、候補画像を一致画像として指定することと、取得されたクエリフレーム、一致画像、及び画像センサのためのパラメータに基づいて、姿勢解決アルゴリズムを実行して、６自由度でオブジェクトの姿勢を推定することと、を含む、方法を含む。

【0077】

実施例１５は、略一致アルゴリズムを実行することが、クエリフレームのクエリ一般記述子を算出することと、画像データベースに格納された複数のフレームのデータベース一般記述子を取得することと、複数のフレームの各々について、データベース一般記述子をクエリ一般記述子と比較することと、複数のフレーム内のいくつかのフレームを略一致フレームのセットとして指定することと、を更に含む、実施例１４に記載の方法を含む。

【0078】

実施例１６は、略一致アルゴリズムを実行することが、機械学習モデルを使用してクエリフレームのクエリ一般記述子を算出することを含む、実施例１５に記載の方法を含む。

【0079】

実施例１７は、高精度一致アルゴリズムを実行することが、クエリフレームのクエリ局所記述子を算出することと、画像データベースに格納された複数のフレームのデータベース局所記述子を取得することと、略一致フレームのセット内のフレームの各々について、データベース局所記述子をクエリ局所記述子と比較することと、略一致フレームのセット内の候補画像を識別することと、を更に含む、実施例１４～１６のいずれかに記載の方法を含む。

【0080】

実施例１８は、クエリフレームのクエリ局所記述子が、機械学習モデルを使用して算出される、実施例１７に記載の方法を含む。

【0081】

実施例１９は、一致候補を指定することが、クエリフレームのクエリ局所記述子と候補画像のデータベース局所記述子との間の対応に基づいてホモグラフィ行列を算出することと、クエリフレームの境界を候補画像上にマッピングすることと、クエリ局所記述子がマッピングされた境界内のデータベース局所記述子に対応し、マッピングされた境界が候補画像上の有効なマッピングに関連付けられているとき、候補画像が一致画像であると判定することと、を更に含む、実施例１４～１８のいずれかに記載の方法を含む。

【0082】

実施例２０は、複数のプロセッサと、第三者から取得された画像データのリポジトリを格納する画像データベースと、を含む中央リポジトリであって、複数のプロセッサは、画像データのリポジトリの一部を使用して、複数の機械学習モデルを実行して、複数の３次元画像と、複数の３次元画像内の画像の局所記述子及び一般記述子と、を作成する、中央リポジトリと、ナビゲーションシステムであって、オブジェクトに装着された画像センサであって、画像センサは、ナビゲーションシステムを含む環境のクエリフレームを取得するように構成されている、画像センサと、中央リポジトリから受信された３次元画像、局所記述子、及び一般記述子を格納するように構成されたメモリデバイスと、コンピュータ可読命令を実行するように構成された少なくとも１つのプロセッサであって、コンピュータ可読命令は、少なくとも１つのプロセッサに、略一致アルゴリズムを実行して、クエリフレームに略一致する３次元画像内のデータの略一致フレームのセットを識別することと、高精度一致アルゴリズムを実行して、クエリフレームに一致する略一致候補のセット内の候補画像を識別することと、候補画像が有効性チェックを満たすか否かに基づいて、候補画像を一致画像として指定することと、取得されたクエリフレーム、一致画像、及び画像センサのためのパラメータに基づいて姿勢解決アルゴリズムを実行して、６自由度でオブジェクトの姿勢を推定することと、を行うように指示する、少なくとも１つのプロセッサと、を含む、ナビゲーションシステムと、を備えるシステムを含む。

【0083】

本明細書では特定の実施形態が図示され、説明されているが、当業者には、示される特定の実施形態の代わりに、同一の目的を達成することが予測される任意の構成が用いられ得ることが理解されよう。したがって、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが明らかに意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【外国語明細書】