特許 7466371 地形データと画像データとを位置合わせするシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-04

(45)【発行日】2024-04-12

(54)【発明の名称】地形データと画像データとを位置合わせするシステム及び方法

(51)【国際特許分類】

   G06T 7/32 20170101AFI20240405BHJP

   G09B 29/00 20060101ALI20240405BHJP

   G09B 29/12 20060101ALI20240405BHJP

【ＦＩ】

G06T7/32

G09B29/00 A

G09B29/12

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2020083874

(22)【出願日】2020-05-12

(65)【公開番号】P2020191082

(43)【公開日】2020-11-26

【審査請求日】2023-04-12

(31)【優先権主張番号】16/421,305

(32)【優先日】2019-05-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(72)【発明者】

【氏名】ロバート・ジェイ・クレイン

【審査官】伊知地 和之

(56)【参考文献】

【文献】米国特許出願公開第２００６／０２５７０２７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０３２９５１３（ＵＳ，Ａ１）

【文献】Mark D. PRITT et al.，“Automated cross-sensor registration, orthorectification and geopositioning using LIDAR digital elevation models”，2010 IEEE 39th Applied Imagery Pattern Recognition Workshop (AIPR)，IEEE，2010年10月

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０９Ｂ ２３／００ － ２９／１４

(57)【特許請求の範囲】

【請求項1】

地形データと画像データとを位置合わせする方法であって、
地形データ及び画像データを受信するステップと、
前記画像データに基づいて光源の位置を決定するステップと、
前記地形データと前記光源の前記位置とに基づいて、前記地形データの陰影起伏表現を生成するステップと、
互いに対応する前記陰影起伏表現の一部と前記画像データの一部とを特定するステップと、
前記陰影起伏表現の前記一部と前記画像データの前記一部とを比較するステップと、
前記比較に基づいて、前記陰影起伏表現の前記一部と前記画像データの前記一部との間のベクトル制御を決定するステップと、
更新された画像データを生成するために、前記画像データに前記ベクトル制御を適用するステップと
を含み、
前記陰影起伏表現の前記一部と前記画像データの前記一部とを比較する前記ステップが、座標ペアを出力し、
前記座標ペアが、前記陰影起伏表現内の第1の画素と、前記画像データ内の第2の画素とを含み、前記第1の画素と前記第2の画素とが、地球表面上の同じ地点に対応し、
前記第1の画素と前記第2の画素とが不整合になり、
前記ベクトル制御が、
前記第1の画素と前記第2の画素との間の距離と、
前記第1の画素から前記第2の画素までの方位と
を含み、
前記方法が、
各ベクトル制御の前記距離及び前記方位を示すプロットを作成するステップと、
前記プロットに少なくとも部分的に基づいて、前記ベクトル制御の円形公算誤差を決定するステップと
をさらに含む、方法。

【請求項2】

前記光源が太陽であり、太陽が前記画像データに陰影を付けている、請求項1に記載の方法。

【請求項3】

前記光源の前記位置が、太陽方位、太陽高度、太陽天頂、又はこれらの組み合わせを含む、請求項2に記載の方法。

【請求項4】

前記陰影起伏表現の前記一部と前記画像データの前記一部とを比較する前記ステップが、画像マッチング技術、パターンマッチング技術、又は物体マッチング技術のうちの少なくとも1つを使用して行われ、前記座標ペアを出力する、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記座標ペアが画像空間にあり、
前記座標ペアを地理的空間に変換するステップをさらに含む、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記地形データが供給源によって捕捉され、
前記プロットの同じ象限に配置される前記ベクトル制御に少なくとも部分的に基づいて、前記供給源とカメラとが不整合であると判定するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

前記地形データが供給源によって捕捉され、
前記プロットの少なくとも2つの異なる象限に配置される前記ベクトル制御に少なくとも部分的に基づいて、前記供給源の縮尺がカメラの縮尺と等価でない、又は前記供給源の回転角が前記カメラの回転角と等価でない、又はその両方であると判定するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。

【請求項8】

前記ベクトル制御を適用する前記ステップが、
前記第2の画素と位置が合うように、前記第1の画素を前記方位に沿った前記距離だけ動かすステップと、
更新された画像データを生成するステップと
を含む、請求項1から5のいずれか一項に記載の方法。

【請求項9】

前記画像データが、航空機又は衛星のカメラによって捕捉される、請求項1に記載の方法。

【請求項10】

請求項1から9のいずれか一項に記載の方法を実行するコンピューターシステムであって、
1つ以上のプロセッサーと、
前記1つ以上のプロセッサーのうちの少なくとも1つによって実行されると、前記コンピューターシステムに動作を実行させる命令を記憶する1つ以上の非一時的なコンピューター読み取り可能な媒体を含むメモリシステムと
を備え、前記動作が、
地形データを受信するステップと、
画像データを受信するステップであって、前記画像データが航空機又は衛星のカメラによって捕捉される、ステップと、
前記画像データ内の陰影に基づいて、前記画像データが捕捉されたときの太陽の位置を決定するステップであって、太陽の前記位置が、太陽の方位及び高度を含む、ステップと、
前記地形データと太陽の前記位置とに基づいて、前記地形データの陰影起伏表現を生成するステップと、
互いに対応する前記陰影起伏表現の一部と前記画像データの一部とを特定するステップと、
画像マッチング技術、パターンマッチング技術、又は物体マッチング技術を使用して、前記陰影起伏表現の前記一部と前記画像データの前記一部とを比較し、複数の座標ペアを出力するステップであって、各座標ペアは、前記画像データ内の第1の画素と、前記陰影起伏表現内の第2の画素とを含み、前記第1の画素と前記第2の画素とは、それぞれ地球表面上の同じ地点に対応し、前記第1の画素と前記第2の画素とが不整合になる、ステップと、
各座標ペアに対するベクトル制御を決定するステップであって、前記ベクトル制御は、前記第1の画素から前記第2の画素までの距離及び方位を含む、ステップと、
前記画像データに前記ベクトル制御を適用して、前記第2の画素と位置が合うように、前記第1の画素を前記方位に沿った前記距離だけ動かすことによって、更新された画像データを生成するステップと
を含み、
前記動作が、
各ベクトル制御の前記距離及び前記方位を示すプロットを作成するステップと、
前記プロットに少なくとも部分的に基づいて、前記ベクトル制御の円形公算誤差を決定するステップと
をさらに含む、コンピューターシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、地形データと画像データとを位置合わせするシステム及び方法に関する。

【背景技術】

【0002】

地形データ及び画像データは、対象領域を表し得る、異なる種類のデータである。本明細書で使用される「地形データ」とは、グリッド（例えば、画像）形式の標高情報を指し、各画素は座標系上の点に対応する。例えば、点は、直交座標系におけるX値、Y値、及び／又はZ値を含んでもよい。地形データは、LIDAR、レーダー、立体画像三角測量、地盤調査、又は動画像処理技術構造によって捕捉されてもよい。

【0003】

本明細書で使用される「画像データ」とは、衛星又は航空機のカメラなどの供給源によって捕捉／取得される、電気光学画像（例えば、ピクチャ）を指す。画像データは、可視スペクトル、又は赤外スペクトルであってもよい。特定の例では、対象領域は、地球表面の一部を含んでもよい。理解されるように、地球表面の一部は、山、木、建物など、さまざまな形状や高まりを含む場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

地形データ及び画像データは、それぞれ複数の画素を含んでもよい。しかしながら、地形データ及び画像データ内の画素は、不整合（misalignment）になることが多い。例えば、山の特定の地点に対応する地形データ内の第1の画素は、山の同じ地点に対応する、画像データ内の対応する第1の画素と不整合になる場合がある。地形データ及び／又は画像データは、第1の画素の位置が合うように変位してもよいが、その後、山の特定の地点に対応する地形データ内の第2の画素が、山の同じ地点に対応する、画像データ内の対応する第2の画素と不整合になる場合がある。したがって、それぞれの対応する画素のペアを揃えるのが困難な場合がある。画像（例えば、地図）を生成するために地形データ及び画像データが組み合わされたときに画素がずれていると、この不整合によって画像の品質及び精度が低下する場合がある。

【課題を解決するための手段】

【0005】

地形データと画像データとを位置合わせする方法が開示される。方法は、地形データ及び画像データを受信するステップを含む。方法は、画像データに基づいて光源の位置を決定するステップをさらに含む。方法は、地形データと光源の位置とに基づいて、地形データの陰影起伏表現を生成するステップをさらに含む。方法は、互いに対応する陰影起伏表現の一部と画像データの一部とを特定するステップをさらに含む。方法は、陰影起伏表現の一部と画像データの一部とを比較するステップをさらに含む。方法は、比較に基づいて、陰影起伏表現の一部と画像データの一部との間のベクトル制御を決定するステップをさらに含む。方法は、更新された画像データを生成するために、画像データにベクトル制御を適用するステップをさらに含む。

【0006】

別の実施では、方法は、地形データを受信するステップと、画像データを受信するステップとを含む。画像データは、航空機又は衛星のカメラによって捕捉される。方法は、画像データの陰影に基づいて、画像データが捕捉されたときの太陽の位置を決定するステップをさらに含む。太陽の位置は、太陽の方位及び高度を含む。方法は、地形データと太陽の位置とに基づいて、地形データの陰影起伏表現を生成するステップをさらに含む。方法は、互いに対応する陰影起伏表現の一部と画像データの一部とを特定するステップをさらに含む。方法は、画像マッチング技術、パターンマッチング技術、又は物体マッチング技術を使用して、陰影起伏表現の一部と画像データの一部とを比較し、複数の座標ペアを出力するステップをさらに含む。各座標ペアは、画像データ内の第1の画素と、陰影起伏表現内の第2の画素とを含む。第1の画素と第2の画素とは、それぞれ地球表面上の同じ地点に対応する。第1の画素と第2の画素とは不整合になる。方法は、各座標ペアに対してベクトル制御を決定するステップをさらに含む。ベクトル制御は、第1の画素から第2の画素までの距離及び方位を含む。方法は、画像データにベクトル制御を適用して、第2の画素と位置が合うように、方位に沿った距離だけ第1の画素を動かすことによって、更新された画像データを生成するステップをさらに含む。

【0007】

さらにコンピューターシステムが開示される。コンピューターシステムは、1つ以上のプロセッサーと、メモリシステムとを含む。メモリシステムは、命令を記憶する1つ以上の非一時的なコンピューター読み取り可能な媒体を含み、1つ以上のプロセッサーのうちの少なくとも1つによって実行されると、コンピューターシステムに動作を実行させる。動作は、地形データを受信するステップと、画像データを受信するステップとを含む。画像データは、航空機又は衛星のカメラによって捕捉される。動作は、画像データの陰影に基づいて、画像データが捕捉されたときの太陽の位置を決定するステップをさらに含む。太陽の位置は、太陽の方位及び高度を含む。動作は、地形データと太陽の位置とに基づいて、地形データの陰影起伏表現を生成するステップをさらに含む。動作は、互いに対応する陰影起伏表現の一部と画像データの一部とを特定するステップをさらに含む。動作は、画像マッチング技術、パターンマッチング技術、又は物体マッチング技術を使用して、陰影起伏表現の一部と画像データの一部とを比較し、複数の座標ペアを出力するステップをさらに含む。各座標ペアは、画像データ内の第1の画素と、陰影起伏表現内の第2の画素とを含む。第1の画素と第2の画素とは、それぞれ地球表面上の同じ地点に対応する。第1の画素と第2の画素とは不整合になる。動作は、各座標ペアに対するベクトル制御を決定するステップをさらに含む。ベクトル制御は、第1の画素から第2の画素までの距離及び方位を含む。動作は、画像データにベクトル制御を適用して、第2の画素と位置が合うように、方位に沿った距離だけ第1の画素を動かすことによって、更新された画像データを生成するステップをさらに含む。

【0008】

前述した概要及び以下の詳細な説明は両方とも、単に例示的かつ説明的なものであって、特許請求されているように、本教示を制限するものではないことを理解されたい。

【0009】

本明細書に組み込まれてその一部を構成する添付の図面は、本教示の態様を図示し、本明細書の記述とともに本教示の原理を説明するために用いられる。

【図面の簡単な説明】

【0010】

【図1】実施による、地形データと画像データとを位置合わせする方法のフローチャートを示す。

【図2A】実施による、地形データの例を示す。

【図2B】実施による、画像データの例を示す。

【図3】実施による、画像データと並べた（すなわち比較した）地形データを示す。

【図4】実施による、地形データの陰影起伏表現を示す。

【図5A】実施による、陰影起伏表現の一部を示す。

【図5B】実施による、対応する（例えば、重なる）画像データの一部を示す。

【図6】実施による、画像データの一部と並べた（すなわち比較した）陰影起伏の一部を示す。

【図7】実施による、更新された画像データと並べた（すなわち比較した）、（図2Aからの）地形データを示す。

【図8】実施による、更新された画像データと並べた（すなわち比較した）、（図4からの）陰影起伏表現を示す。

【図9】実施による、更新された画像データを作成するために使用される、ベクトル制御値のプロットを示す。

【図10】実施による、方法の少なくとも一部を実行するコンピューターシステムの概略図を示す。

【発明を実施するための形態】

【0011】

図面のいくつかの細部は、構造上の精度、細部、及び縮尺を厳密に維持するのではなく、簡略化され理解しやすいように描写されていることに留意されたい。

【0012】

ここで本教示を詳細に参照し、その例は添付の図面に図示される。図面では、同一の要素を示すために、全図面を通して同一の参照符号が使用されている。以下の説明では、本明細書の一部を形成する添付図面を参照し、図面には、本教示を実施する特定の例が例示として示される。したがって以下の説明は単なる例示である。

【0013】

図1は、実施による、地形データと画像データとを位置合わせする方法100のフローチャートを示す。本明細書で使用される「位置合わせする」とは、2つの画像（例えば、地形データと画像データ）内の画素を揃える、又は整合させることをいう。方法100は、ステップ102において、地形データ及び画像データを捕捉又は受信するステップを含んでもよい。図2Aは、実施による、地形データ200の例を示し、図2Bは、実施による、画像データ250の例を示す。地形データ200及び画像データ250は、両方とも同じ対象領域を表していてもよい。例えば、地形データ200及び画像データ250は、両方とも地球表面の同じ部分を表していてもよい。図示されているように、地形データ200及び画像データ250で表現されている領域は山地である。特定の例で示されているように、地形データ200は1つ以上の腕状部211～216を有する稜線210を含み、画像データ250もまた、1つ以上の腕状部261～266を有する同じ稜線260を含む。

【0014】

図3は、実施による、画像データ250と並べた（すなわち比較した）地形データ200を示す。図示されているように、地形データ200と画像データ250との間に不整合300がある場合がある。この例では、地形データ200の稜線210と画像データ250の稜線260との不整合300は、約800メートルであってもよい。不整合300は、地形データ200及び画像データ250を使用して作成されたオルソ画像の外観及び精度に悪影響を及ぼす場合がある。オルソ画像の外観及び精度に対する悪影響は、その後、オルソ画像供給源から得られた空間データに悪影響を及ぼす場合がある。言い換えれば、オルソ画像は、画像データ250を地形データ200に補正することによって生成されてもよく、その逆でもよい。オルソ画像の実際の品質は、空間補正を除いてはまだ評価されなくてもよく、また後述するように、ベクトル制御が生成された後に画像をワープするのに使用される、変換に依存してもよい。正射写真とも呼ばれるオルソ画像は、空中写真又は衛星写真などの遠隔感知された画像であり、地形起伏（例えば、地形）、及び集積パラメーター（例えば、センサーレンズの歪み、集積傾斜）によって生じる歪みを除去するために補正されている。オルソ画像は縮尺を維持し、正確な距離測定を可能にする。

【0015】

図1に戻ると、方法100は、ステップ104において、画像データ250から（太陽などの）光源の位置を決定するステップをさらに含んでもよい。より詳細には、これは、画像データ250のメタデータに少なくとも部分的に基づいて、太陽方位、太陽高度（sun altitude）（太陽高度（sun elevation）とも呼ばれる）、太陽天頂、又はこれらの組み合わせを決定するステップを含んでもよい。

【0016】

方法100は、ステップ106において、地形データ200と太陽の位置とを使用して、陰影起伏を生成するステップをさらに含んでもよい。図4は、実施による、地形データ200と太陽の位置とを使用して生成された陰影起伏400を示す。陰影起伏400は、太陽の位置を考慮して陰影を付けた、地形データ200の二次元（2D）又は三次元（3D）表現である。より詳細には、陰影起伏400は、陰影を生成するために、決定した太陽の位置をシミュレーションし、これによって地形データ200にレリーフ状の外観を付加する。地形データ200を画像データ250と可能な限り精密に整合するために、陰影起伏400の生成に太陽方位、太陽高度、及び／又は太陽天頂が使用されてもよい。

【0017】

図1に戻ると、方法100は、ステップ108において、画像データ250の一部に対応する陰影起伏400の一部を決定又は特定するステップをさらに含んでもよい。図5Aは、実施による、陰影起伏400の一部500を示し、図5Bは、実施による、対応する（例えば、重なる）画像データ250の一部550を示す。画像データ250の一部550に対応する、陰影起伏400の一部500を決定するステップは、最初に、陰影起伏400（図4を参照）の周囲の境界座標（例えば、境界）470と、画像データ250（図2Bを参照）の周囲の境界座標270とを配置するステップを含んでもよい。

【0018】

次に、互いに対応する（例えば、重なる）陰影起伏400の一部500（例えば、境界座標470の内側）と、画像データ250の一部550（例えば、境界座標270の内側）とが決定／特定される。これは、クリッピングとして知られている、空間的重なりを計算することによって行われてもよい。少なくとも1つの実施において、一部500、550が重なっていても、陰影起伏400の一部500の1つ以上の画素が、画像データ250の一部550の1つ以上の画素と不整合になる場合がある。

【0019】

次に、図5Aに示すように、境界座標510が陰影起伏400の一部500の周囲に配置されてもよく、図5Bに示すように、境界座標560が画像データ250の一部550の周囲に配置されてもよい。（図5Aの）境界座標510と（図4の）境界座標470との間にある陰影起伏400の残部は、除去され廃棄されてもよい。同様に、（図5Bの）境界座標560と（図2Bの）境界座標270との間にある画像データ250の残部は、除去され廃棄されてもよい。

【0020】

図1に戻ると、方法100は、ステップ110において、陰影起伏400の一部500と画像データ250の一部550とを比較するステップをさらに含んでもよい。図6は、実施による、画像データ250の一部550と並べた（すなわち比較した）陰影起伏400の一部500を示す。図6は、地形データ200が陰影起伏400に置き換わっていること以外は図3と同様である。したがって、図6は図3よりも明確に不整合300を示し得る。陰影起伏400の一部500と画像データ250の一部550との比較（又は画像データ250の一部550と陰影起伏400の一部500との比較）は、画像マッチング技術、パターンマッチング技術、又は物体マッチング技術を使用して実行されてもよい。

【0021】

マッチング技術によって1つ以上の座標ペアが出力され得る。本明細書で使用する座標ペアとは、陰影起伏400の一部500における第1の座標と、画像データ250の一部550における第2の座標とを指す。第1の座標及び第2の座標は、それぞれ対象領域の同じ2D又は3D地点（例えば、地球表面上の同じ地点）に対応してもよい。座標ペアは、地理的空間又は画像空間にあってもよい。座標ペアが画像空間（例えば、画像座標）にある場合は、地理的座標に変換されてもよい。一例では、座標ペアは、（第1の座標から第2の座標までの、又は第2の座標から第1の座標までの）矢印であってもよく、又は矢印を含んでもよい。

【0022】

方法100は、ステップ112において、比較に少なくとも部分的に基づいて、陰影起伏400の一部500と画像データ250の一部550との間のベクトル制御を決定するステップをさらに含んでもよい。ベクトル制御は、各座標ペアにおける第1の座標と第2の座標との間の距離及び／又は方向（すなわち方位）を表してもよい。例えば、第1のベクトル制御は、陰影起伏400の一部500の座標から、対応する画像データ250の一部550の座標までの距離及び方向を表してもよい。ベクトル制御は、GeoGPMを使用して生成されてもよい。

【0023】

以下の表1は、ベクトル制御の決定に使用される、図5A及び図5Bの座標の一部を表す。表1において、
・開始画像X及びYは、開始画像（例えば、図5A）内の地点のX座標及びY座標を表す。例えば、開始画像X、Yが200、200であれば、開始画像における、左側から200画素／列、かつ上から200画素／行の地点を表す。
・対象画像X及びYは、対象画像（例えば、図5B）内の対応する地点のX座標及びY座標を表す。例えば、開始画像で200、200に配置された地点は、対象画像では213、198に配置される。言い換えれば、図5A及び図5Bが重なっている場合、図5Aの地点は図5Bの対応する地点と不整合になる。したがって、これらの座標に対するベクトル制御は、対象画像内の地点と位置が合うように、開始画像内の地点を右に13列／画素、下に2行／画素移動する必要があることを示し得る。開始画像X及びYと、対象画像X及びYとは、画像空間内にある。
・開始Geo X及びYは、開始画像X及びYと同じことを表しているが、画像空間とは対照的に地理的空間におけるものである。
・対象Geo X及びYは、対象画像X及びYと同じことを表しているが、画像空間とは対照的に地理的空間におけるものである。

【0024】

【表1】

【0025】

方法100は、ステップ114において、更新された画像データを生成するために、画像データ250にベクトル制御を適用するステップをさらに含んでもよい。図7は、実施による、更新された画像データ700と並べた（すなわち比較した）地形データ200を示す。図8は、実施による、更新された画像データ700と並べた（すなわち比較した）陰影起伏400を示す。更新された画像データ700は、地図を生成するために使用されてもよい。画像データ250にベクトル制御を適用するステップに代えて、又はこれに加えて、更新された地形データ（又は更新された陰影起伏400）を生成するために、ベクトル制御が地形データ200に適用されてもよい。

【0026】

ベクトル制御を適用するステップは、地形データ200及び／又は画像データ250の位置合わせ（及び／又は地形合わせ（geo－register））をしてもよく、これにより図3及び図6に示す不整合300を削減又は排除し得る。本明細書で使用される「地形合わせ（geo－register）」とは、制御画像（例えば、地形データ又は画像データ）内の画素を地球表面上の正しい箇所／位置に揃える、又は整合させることを指す。言い換えれば、ベクトル制御を適用するステップは、異なるデータの組（例えば、地形データ200と画像データ250）を、画素が画像空間及び／又は地理的空間内の相関する箇所に位置合わせされる、1つの共通の座標系に変換してもよい。例えば、画像データ250は、ベクトル制御を使用して、地形データ200（又は陰影起伏400）に従って調節でき、あるいは地形データ200（又は陰影起伏400）は、ベクトル制御を使用して、画像データ250に従って調節できる。ベクトル制御は、画素を揃えるために、変換を使用して適用されてもよい。変換は、多項式変換であってもよく、あるいは多項式変換を含んでもよい。変換は、一次、二次、三次、四次、五次、又はそれ以上の次数であってもよい。変換を使用することに代えて、又はこれに加えて、画素を揃えるために、ワープを使用してベクトル制御が適用されてもよい。

【0027】

方法100は、ステップ116において、ベクトル制御を含むプロットを作成するステップをさらに含んでもよい。図9は、実施による、各ベクトル制御の距離及び方位の値を含む、プロット900を示す。例えば、プロット900の各点（例えば、点910）は、図5Aの座標から、図5Bの対応する座標までの（あるいは図5Bの座標から、図5Aの対応する座標までの）距離及び方位を表す。上述したように、図5A及び図5Bの座標は、それぞれ地球表面上の同じ地点（例えば、2D又は3D座標）に対応し得る。したがって、プロット900の点は、図5Aと図5Bとの間の不整合を表している場合がある。距離及び方位の値は、90％の円形公算誤差（CEP）（CEP90と呼ばれる）、平均方位、及び差異などの統計値を表すように図示されてもよい。

【0028】

プロット900の複数の点（例えば、点910を含む）は、図5A及び図5Bの座標と比較したときに、以下の例示的な統計値を提供する。
・CE90：259．8メートル
・平均方位：26．8度
・方位範囲：19．1～32．7度
・距離範囲：89．1～317．1メートル
・方位差：13．6度
・距離差：228．0メートル

【0029】

プロット900は、陰影起伏400の一部500と比較した画像データ250の一部550のCEPを示しているが、他の実施では、プロット900は、画像対画像、画像対地形、地形対画像、及び／又は地形対地形のCEPを示してもよい。さらに、プロット900は、ユーザーが供給源間（例えば、地形データ200と画像データ250との間）の変位の種類をすばやく知ることができるデータを示し得る。例えば、点が1つの象限に密集している場合、これは供給源同士の間の変位（例えば、不整合）を示している場合がある。しかしながら、点がプロット900の複数の象限に分散している場合、これは縮尺及び／又は回転の問題を示している場合がある。

【0030】

方法100の少なくとも一部は思考プロセスではなく、人間の頭脳で行うことはできない。例えば、1つの実施では、1つ以上（例えば、全部）のステップが、以下で説明するようなコンピューターシステムによって行われる。

【0031】

図10は、実施による、方法100の少なくとも一部を実行するためのコンピューターシステム1000の概略図を示す。コンピューターシステム1000は、コンピューター又はコンピューターシステム1001Aを含んでもよく、これは、独立したコンピューターシステム1001A、又は分散型コンピューターシステムを配置したものであってもよい。コンピューターシステム1001Aは、本明細書で開示される1つ以上の方法など、いくつかの実施によるさまざまな作業を実行する、1つ以上の分析モジュール1002を含む。このようなさまざまな作業を実行するために、分析モジュール1002は独立して実行される、又は1つ以上の記憶媒体1006に接続された1つ以上のプロセッサー1004と連携して実行される。（1つ以上の）プロセッサー1004は、コンピューターシステム1001Aがデータネットワーク1009を介して、1つ以上の別のコンピューターシステム（computer system）並びに／あるいはコンピューターシステム（computing system）1001B、1001C、及び／又は1001Dと通信できるように、ネットワークインターフェース1007にさらに接続される（コンピューターシステム1001B、1001C、及び／又は1001Dは、コンピューターシステム1001Aと同じ構造を共有していてもしていなくてもよく、かつ異なる物理的な箇所に配置されてもよく、例えば、コンピューターシステム1001A及び1001Bは処理施設に配置され、その一方で、1つ以上のデータセンターに配置された、かつ／あるいは別の大陸のさまざまな国に配置された、1001C及び／又は1001Dなどの1つ以上のコンピューターシステムと通信してもよいことに留意されたい）。

【0032】

プロセッサーは、マイクロプロセッサー、マイクロコントローラー、プロセッサーモジュール又はサブシステム、プログラム可能集積回路、プログラム可能ゲートアレイ、その他の制御装置又は演算装置を含むことができる。

【0033】

記憶媒体1006は、1つ以上のコンピューター読み取り可能な、又は機械読み取り可能な記憶媒体として実施することができる。図10の実施例において、記憶媒体1006は、コンピューターシステム1001A内にあるものとして図示されている一方で、いくつかの実施では、記憶媒体1006は、コンピューターシステム1001A及び／又は別のコンピューターシステムの複数の内部筐体及び／又は外部筐体内に、かつ／あるいはこれらにわたって分配されてもよいことに留意されたい。記憶媒体1006は、ダイナミックランダムアクセスメモリ（DRAM）又はスタティックランダムアクセスメモリ（SRAM）、消去可能なプログラム可能読み取り専用メモリ（EPROM）、電気的に消去可能なプログラム可能読み取り専用メモリ（EEPROM）、及びフラッシュメモリなどの半導体メモリ装置、固定ディスク、フロッピー（登録商標）、及び取り外し可能ディスクなどの磁気ディスク、テープを含む他の磁気媒体、コンパクトディスク（CD）又はデジタルビデオディスク（DVD）、Bluray（登録商標）ディスク、その他の種類の光学記憶装置などの光学媒体、その他の種類の記憶装置を含む、1つ以上の異なる形態のメモリを含んでもよい。上述した命令は、1つのコンピューター読み取り可能又は機械読み取り可能な記憶媒体で提供できる、あるいはおそらく複数のノードを有する大型システムに分配された、複数のコンピューター読み取り可能又は機械読み取り可能な記憶媒体で提供できることに留意されたい。このような1つ以上のコンピューター読み取り可能又は機械読み取り可能な記憶媒体は、物品（又は製造物品）の一部と考えられる。物品又は製造物品は、任意の製造された単一の部品、又は複数の部品ということもできる。1つ以上の記憶媒体は、機械読み取り可能な命令を実行する機械内に配置する、あるいは離れた場所に配置して、実行するためにネットワークを介して機械読み取り可能な命令をダウンロードすることができる。

【0034】

いくつかの実施において、コンピューターシステム1000は、上述した方法100の少なくとも一部を実行し得る、1つ以上の位置合わせモジュール1008を含む。コンピューターシステム1000は、コンピューターシステムの単なる一例であり、かつコンピューターシステム1000は、図示されているよりも多い、又は少ない構成要素を有してもよく、図10の実施例に図示されていない追加の構成要素を結合してもよく、並びに／あるいはコンピューターシステム1000は、図10に示す構成要素の異なる構成又は配置を有してもよいことを理解されたい。図10に示すさまざまな構成要素は、1つ以上の信号処理及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方の組み合わせで実施されてもよい。

【0035】

また、本明細書で説明する処理方法のステップは、汎用プロセッサー、又はASIC、FPGA、PLDなどの特定用途向けチップ、その他適切な装置などの、情報処理装置の1つ以上の機能モジュールを実行することによって実施されてもよい。これらのモジュール、これらのモジュールの組み合わせ、及び／又はこれらを一般的なハードウェアと組み合わせたものは、すべて本発明の保護の範囲内に含まれる。

【0036】

また、本開示は、以下の項に基づく実施形態を含む。

【0037】

1．地形データと画像データとを位置合わせする方法であって、地形データ及び画像データを受信するステップと、画像データに基づいて光源の位置を決定するステップと、地形データと光源の位置とに基づいて、地形データの陰影起伏表現を生成するステップと、互いに対応する陰影起伏表現の一部と画像データの一部とを特定するステップと、陰影起伏表現の一部と画像データの一部とを比較するステップと、比較に基づいて、陰影起伏表現の一部と画像データの一部との間のベクトル制御を決定するステップと、更新された画像データを生成するために、画像データにベクトル制御を適用するステップとを含む方法。

【0038】

2．光源が太陽であり、太陽が画像データに陰影を付けている、項1に記載の方法。

【0039】

3．光源の位置が、太陽方位、太陽高度、太陽天頂、又はこれらの組み合わせを含む、項2に記載の方法。

【0040】

4．陰影起伏表現の一部と画像データの一部とを比較するステップが、座標ペアを出力する画像マッチング技術を使用して行われる、項1に記載の方法。

【0041】

5．座標ペアが、陰影起伏表現内の第1の画素と、画像データ内の第2の画素とを含み、第1の画素と第2の画素とが、地球表面上の同じ地点に対応する、項4に記載の方法。

【0042】

6．座標ペアが画像空間にあり、座標ペアを地理的空間に変換するステップをさらに含む、項5に記載の方法。

【0043】

7．第1の画素と第2の画素とが不整合になる、項5に記載の方法。

【0044】

8．ベクトル制御が、第1の画素と第2の画素との間の距離と、第1の画素から第2の画素までの方位とを含む、項7に記載の方法。

【0045】

9．ベクトル制御を適用するステップが、第2の画素と位置が合うように、第1の画素を方位に沿った距離だけ動かすステップを含む、項8に記載の方法。

【0046】

10．距離及び方位を示すプロットを作成するステップをさらに含む、項9に記載の方法。

【0047】

11．地形データと画像データとを位置合わせする方法であって、地形データを受信するステップと、画像データを受信するステップであって、画像データが航空機又は衛星のカメラによって捕捉される、ステップと、画像データ内の陰影に基づいて、画像データが捕捉されたときの太陽の位置を決定するステップであって、太陽の位置が、太陽の方位及び高度を含む、ステップと、地形データと太陽の位置とに基づいて、地形データの陰影起伏表現を生成するステップと、互いに対応する陰影起伏表現の一部と画像データの一部とを特定するステップと、画像マッチング技術、パターンマッチング技術、又は物体マッチング技術を使用して、陰影起伏表現の一部と画像データの一部とを比較し、複数の座標ペアを出力するステップであって、各座標ペアは、画像データ内の第1の画素と、陰影起伏表現内の第2の画素とを含み、第1の画素と第2の画素とは、それぞれ地球表面上の同じ地点に対応し、第1の画素と第2の画素とが不整合になる、ステップと、各座標ペアに対するベクトル制御を決定するステップであって、ベクトル制御は、第1の画素から第2の画素までの距離及び方位を含む、ステップと、画像データにベクトル制御を適用して、第2の画素と位置が合うように、方位に沿った距離だけ第1の画素を動かすことによって、更新された画像データを生成するステップとを含む方法。

【0048】

12．各ベクトル制御の距離及び方位を示すプロットを作成するステップをさらに含む、項11に記載の方法。

【0049】

13．プロットに少なくとも部分的に基づいて、ベクトル制御の円形公算誤差を決定するステップをさらに含む、項12に記載の方法。

【0050】

14．地形データが供給源によって捕捉され、プロットの同じ象限に配置されるベクトル制御に少なくとも部分的に基づいて、供給源とカメラとが不整合であると判定するステップをさらに含む、項12に記載の方法。

【0051】

15．地形データが供給源によって捕捉され、プロットの少なくとも2つの異なる象限に配置されるベクトル制御に少なくとも部分的に基づいて、供給源の縮尺がカメラの縮尺と等価でない、又は供給源の回転角がカメラの回転角と等価でない、又はその両方であると判定するステップをさらに含む、項12に記載の方法。

【0052】

16．コンピューターシステムであって、1つ以上のプロセッサーと、1つ以上のプロセッサーのうちの少なくとも1つによって実行されると、コンピューターシステムに動作を実行させる命令を記憶する1つ以上の非一時的なコンピューター読み取り可能な媒体を含むメモリシステムとを備え、動作が、地形データを受信するステップと、画像データを受信するステップであって、画像データが航空機又は衛星のカメラによって捕捉される、ステップと、画像データ内の陰影に基づいて、画像データが捕捉されたときの太陽の位置を決定するステップであって、太陽の位置が、太陽の方位及び高度を含む、ステップと、地形データと太陽の位置とに基づいて、地形データの陰影起伏表現を生成するステップと、互いに対応する陰影起伏表現の一部と画像データの一部とを特定するステップと、画像マッチング技術、パターンマッチング技術、又は物体マッチング技術を使用して、陰影起伏表現の一部と画像データの一部とを比較し、複数の座標ペアを出力するステップであって、各座標ペアは、画像データ内の第1の画素と、陰影起伏表現内の第2の画素とを含み、第1の画素と第2の画素とは、それぞれ地球表面上の同じ地点に対応し、第1の画素と第2の画素とが不整合になる、ステップと、各座標ペアに対するベクトル制御を決定するステップであって、ベクトル制御は、第1の画素から第2の画素までの距離及び方位を含む、ステップと、画像データにベクトル制御を適用して、第2の画素と位置が合うように、方位に沿った距離だけ第1の画素を動かすことによって、更新された画像データを生成するステップとを含む、コンピューターシステム。

【0053】

17．動作が、各ベクトル制御の距離及び方位を示すプロットを作成するステップをさらに含む、項16に記載のコンピューターシステム。

【0054】

18．動作が、プロットに少なくとも部分的に基づいて、ベクトル制御の円形公算誤差を決定するステップをさらに含む、項17に記載のコンピューターシステム。

【0055】

19．地形データが供給源によって捕捉され、プロットの同じ象限に配置されるベクトル制御に少なくとも部分的に基づいて、供給源とカメラとが不整合であると判定するステップをさらに含む、項17に記載のコンピューターシステム。

【0056】

20．地形データが供給源によって捕捉され、プロットの少なくとも2つの異なる象限に配置されるベクトル制御に少なくとも部分的に基づいて、供給源の縮尺がカメラの縮尺と等価でない、又は供給源の回転角がカメラの回転角と等価でない、又はその両方であると判定するステップをさらに含む、項17に記載のコンピューターシステム。

【0057】

本開示の広い範囲を示す数値範囲及びパラメーターは近似値であるが、具体的な例において示されている数値は、可能な限り正確に記載されている。しかしながらいずれの数値も、そのそれぞれの試験測定において見出される標準偏差から必然的に生じる、いくらかの誤差が本質的に含まれる。さらに、本明細書で開示される全範囲は、その中に含まれるあらゆる副範囲を包含するものとして理解されたい。

【0058】

本教示は1つ以上の実施形態に対して図示されているが、添付のクレームの精神及び範囲から逸脱することなく、図示されている例に対して変更及び／又は修正を行うことができる。また、本教示の特定の形態が、いくつかの実施形態のうちの1つのみに対して開示されている場合があるが、このような形態は、所与の機能又は特定の機能に対して所望され、かつこれにとって都合がよいように、他の実施形態の1つ以上の他の形態と組み合わされてもよい。本明細書で使用される「a」、「an」、及び「the」という用語は、1つ以上の要素、又は要素の一部を指す場合がある。本明細書で使用される「第1の」及び「第2の」という用語は、2つの異なる要素、又は要素の一部を指す場合がある。A及びBなどの品目の一覧に対して本明細書で使用される「A及びBのうちの少なくとも1つ」という用語は、Aのみ、Bのみ、又はA及びBを意味する。当業者には、これら及び他の変形が可能なことが理解されるであろう。さらに、「含んでいる（including）」、「含む（includes）」、「有している（having）」、「有する（has）」、「有する（with）」という用語、又はこれらの変形が詳細な説明及び特許請求の範囲のいずれかで使用される限りにおいて、このような用語は、「備える（comprising）」という用語と同様に包括的な用語であることが意図される。また、本明細書の考察及び特許請求の範囲において、「約（about）」という用語は、本明細書で説明する意図された目的に対し、値の変化によって工程又は構造に不適合が生じない限りにおいて、列挙された値がいくらか変化する場合があることを示す。最後に、「例示的な（exemplary）」という用語は、説明が理想的なものを示しているのではなく、例として使用されていることを示す。

【0059】

先に開示した変形、並びに他の形態及び機能、又はその代替物は、他の多くの異なるシステム又は用途と組み合わされてもよいことが理解されよう。現在予測できない、又は予期しないさまざまな代替、修正、変形、又は改善が、当業者によって後に行われてもよく、それらもまた添付の特許請求の範囲に包含されることが意図される。

【符号の説明】

【0060】

200 地形データ
210 稜線
211，212，213，214，215，216 腕状部
250 画像データ
260 稜線
261，262，263，264，265，266 腕状部
270 境界座標
300 不整合
400 陰影起伏
470 境界座標
500（陰影起伏の）一部
510 境界座標
550（画像データの）一部
560 境界座標
700 更新された画像データ
900 プロット
910 点
1000 コンピューターシステム
1001A，1001B，1001C，1001D コンピューターシステム
1002 （複数の）分析モジュール
1004 （複数の）プロセッサー
1006 記憶媒体
1007 ネットワークインターフェース
1008 （複数の）位置合わせモジュール
1009 データネットワーク

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】