特表 2023-513172 リモートセンシングデータのジオリファレンス方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-30

(54)【発明の名称】リモートセンシングデータのジオリファレンス方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230323BHJP

   G01C 11/08 20060101ALI20230323BHJP

   G06V 20/17 20220101ALI20230323BHJP

【ＦＩ】

G06T7/00 640

G01C11/08

G06V20/17

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022547833

(86)(22)【出願日】2021-02-08

(85)【翻訳文提出日】2022-09-28

(86)【国際出願番号】 EP2021052981

(87)【国際公開番号】W WO2021156512

(87)【国際公開日】2021-08-12

(31)【優先権主張番号】102020201496.5

(32)【優先日】2020-02-07

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】515230084

【氏名又は名称】フラウンホーファー－ゲゼルシャフト ツゥア フェアデルング デア アンゲヴァンドテン フォァシュング エー．ファウ．

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】グルデ マックス

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096EA15

5L096EA16

5L096GA51

5L096HA08

5L096JA11

(57)【要約】

本発明は、リモートセンシングプラットフォームのリモートセンシングデータをジオリファレンスするための方法に関するものである。本発明によれば、地表の視野範囲をマッピングするリモートセンシングプラットフォームによってリモートセンシングデータセットが受信され、既知のジオリファレンスを有する参照データセットを用いて、リモートセンシングデータセットのジオリファレンスが決定される。
【選択図】図１

【特許請求の範囲】

【請求項1】

リモートセンシングプラットフォームのリモートセンシングデータをジオリファレンスする方法であって、
リモートセンシングデータセットは、地表の視野範囲を描写する、前記リモートセンシングプラットフォームによって記録され、
既知のジオリファレンスを有する参照データセットが決定され、前記参照データセットは、少なくとも部分的に前記視野範囲と重なる地表の一部を描写し、
第１の調整ステップにおいて、前記リモートセンシングデータセットと前記参照データセットとを比較し、
第２の調整ステップにおいて、前記比較に基づいて、前記リモートセンシングデータセット又は前記参照データセットにモルフォロジー演算を適用し、
前記第１の調整ステップにおいて前記リモートセンシングデータセットと前記参照データセットとの差が所定の閾値未満であることを終了条件として比較して判定されるまで、前記第１の調整ステップと前記第２の調整ステップとを繰り返し、
前記終了条件が発生した場合には、実行された少なくとも１つのモルフォロジー演算の適用後に、前記参照データセットのジオリファレンスが前記リモートセンシングデータセットのジオリファレンスとして設定される、
方法。

【請求項2】

前記第１の調整ステップにおいて、前記リモートセンシングデータセットの空間解像度と前記参照データセットの空間解像度とが対応づけられて比較される、
請求項１に記載の方法。

【請求項3】

前記リモートセンシングデータセット及び前記参照データセットのうちのより高い解像度を有するデータセットの解像度は、前記リモートセンシングデータセット及び前記参照データセットのうちの他方の解像度に低減される、
請求項１又は２に記載の方法。

【請求項4】

前記リモートセンシングデータセット及び前記参照データセットは、少なくとも１つの測定パラメータの画素で与えられる値であり、
前記第１の調整ステップにおける比較のために、低減された解像度のデータセットの画素数に等しい画素数を有する、前記リモートセンシングデータセットと参照データセットとから差分データセットを作成し、前記差分データセットの画素の全ての位置ｉ∈｛前記差分データセットの画素の全ての位置の集合｝に対して、前記差分データセットの位置ｉの画素は、同じ位置ｉの前記リモートセンシングデータセットの画素と、同じ位置ｉの前記参照データセットの画素の値の差を有する
請求項２又は３に記載の方法。

【請求項5】

前記閾値は、Ｄｉｆｆ＝√（Σ_{_ｉ}（Ｉ_Ａ，ｉ－Ｉ_{Ｒｅｆ，ｉ}）^２）の値と比較される閾値であり、ここで、Ｉ_Ａ，ｉは前記リモートセンシングデータセットの位置ｉにおける画素の値であり、Ｉ_{Ｒｅｆ，ｉ}は前記参照データセットの位置ｉにおける画素の値である、
請求項１～４のいずれか１項に記載の方法。

【請求項6】

モルフォロジー演算は、対応するデータセットの少なくとも１つの平行移動、少なくとも１つの回転、及び／又は少なくとも１つの透視歪みを含む、
請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記第１の調整ステップの前に、前記リモートセンシングデータセットの較正と前記参照データセットの較正とが互いに適合される、
請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記リモートセンシングプラットフォームは、衛星、無人航空機、又はドローンである、
請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記参照データセットを決定するために、前記リモートセンシングプラットフォームの予備的なジオリファレンスが推定される、
請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記リモートセンシングデータセット及び前記参照データセットが、同一のスペクトル範囲で記録される、
請求項１～９のいずれか１項に記載の方法。

【請求項11】

前記リモートセンシングデータセット及び／又は前記参照データセットは、赤外線領域で記録される、
請求項１～１０のいずれか１項に記載の方法。

【請求項12】

前記参照データセットは、前記リモートセンシングデータからの時間間隔で、最大２４時間、好ましくは最大１２時間、好ましくは最大６時間、好ましくは最大１時間、好ましくは最大１０分、好ましくは最大１分、好ましくは最大１０秒、好ましくは最大５秒、又は同時に記録される、
請求項１～１１のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リモートセンシングプラットフォームのリモートセンシングデータをジオリファレンスする方法に関する。この発明では、リモートセンシングプラットフォームは、地表の可視領域を描写するリモートセンシングデータセットを記録し、既知のジオリファレンスを有する参照データセットを用いて、リモートセンシングデータセットのジオリファレンスを決定する。

【背景技術】

【0002】

宇宙などからのリモートセンシングは、地球の状態を定量的・定性的に評価するための非常に貴重なツールであり、ほぼ全ての技術分野にわたって幅広い基本的応用を可能にしている（ＰＷＣ、“Copernicus ex-ante benefits assessment Final report“、2017；M.Craglia et al.、”Digital Earth 2020:Towards the vision for the next decade“、Int. J. Digit. Earth、vol. 5、no. 1、pp. 4-21、2012）。地上ベースの技術と比較して、人工衛星などを用いた地球観測の最も顕著な利点は、非常に広い領域を短い間隔で記録・分析できることである。

【0003】

１０年ほどの間に、特に航空機分野では、「ニュースペースムーブメント」という革命が起きており、小型化、標準化、市販部品の利用といった新しいアプローチによって宇宙へのアクセスがこれまでよりも早く、簡単に、そして何よりも安くできるようになっている（H.Heidt、J.Puig-Suari、A.S.Moore、S.Nakasuka及びR.J.Twiggs、”CubeSat: A new Generation of Picosatellite for Education and Industry Low-Cost Space Experimentation”、AIAA/USU Conf. Small Satel、pp.1-19、2000；A.Toorian、K.Diaz,、及びS.Lee、”The CubeSat approach to space access”、IEEE Aerosp、Conf. Proc.、vol. 1、no. 1、2008）。

【0004】

その中でCubeSats（標準化小型衛星）（A. Marinan及びK. Cahoy, “From CubeSats to Constellations: Systems Design and Performance Analysis”、no. September、S. 116、 2013；C. Horch、 M. Schimmerohn、及びF. Schafer、”Integrating a large nanosatellite from CubeSat components - Challenges and solutions”、68th International Astronautical Congress（ＩＡＣ）、2017； M. Swartwout、”The first one hundred CubeSats: A statistical look”、J. Small Satell.、vol. 2、no. 2、pp. 213-233、2013；R. Nugent、R. Munakata、A. Chin、R. Coelho、及びJ. Puig-Suari、”The CubeSat: The picosatellite standard for research and education”、Sp. 2008 Conf.、no. September、pp. 1-11、2008）の利用は、「ニュースペースアプローチ」の中心的な要素である。

【0005】

１リットル程度の体積のこれらのモジュール型衛星は、ますます高度なタスク（Banerdt et al.、”InSight: A Discovery Mission to Explore the Interior of Mars”、 44th Lunar and Planetary Science Conference、2013、p. 1915；R. Staehle、 D. Blaney及びH. Hemmati、”Interplanetary CubeSats: Opening the Solar System to a Broad Community at Lower Cost”、J. Small Satell. vol. 2、no. 1、pp. 161-186、2013）に使用されている。現在、地球観測や通信の分野で、このような衛星を数百機以上搭載したコンステレーションがすでに存在しており、今後数年で市場は急速に発展していくと予想されている（M. Swartwout、”CubeSats and Mission Success: 2016 Update” 、no. June、2016；C. R. Boshuizen、 J. Mason、P. Klupar及びS. Spanhake、” Results from the Planet Labs Flock Constellation”、28th Annu. AIAA/USU Conf. Small Satell. pp. SSC14-I-1、2014；Euroconsult、”Prospects for the Small Satellite Market”、2017)

【0006】

従来の衛星ミッションの設計は、主に搭載されているデバイスの技術的要件に基づいていたが、現在進められているニュースペースアプローチは根本的に異なる。このアプローチは、CubeSatの利用可能な資源内で搭載された技術的なデバイスの最大性能を実現することを試みている。これらの資源は、主に利用可能な体積、利用可能な電力、及びより少ないながらも利用可能な質量によって制限される。

【0007】

衛星（大型プラットフォーム、CubeSatなどの小型衛星、さらに無人航空機（ＵＡＶ）やドローン）には、地表に対する位置と現在の方向を決定する測位ユニットが搭載されている。これは地球観測の分野で特に興味深いものであり、多くの場合、記録されたデータは後にマップに投影され、その後同じものを利用することができる（US 20060041375 A 1）。データ準備のこのステップはジオリファレンスと呼ばれ、通常、可視波長域のカメラを使用して実行される。幾何学的な歪みも、構造化された惑星表面に投影することで補正することができ、デジタル標高モデルを使用することでさらにサポートすることができる。この情報は、その後、搭載された残りの検出器／センサに転送することができる。画像検出器の場合、転送は通常、相対的な方向の正確な決定によって行われる。
ジオリファレンスが（既存のジオリファレンスマップとの調整機能で決定された）視覚センサから非可視波長域のセンサに転送される場合、両デバイスの互いに対する正確な向きと視野範囲（visual range）が事前に正確に決定される。

【0008】

すべての地球観測衛星が可視波長域のデータを記録（リモートセンシング）しているわけではない。例えば、電波スペクトル（Terra SAR X、ICEYEコンステレーション、Radarsat-2、Sentinel-1）や赤外線領域（Sentinel-3、Landsat-7及び8、CIRiS)）のデータを記録する衛星が多数存在する。これらすべての衛星に共通しているのは、ジオリファレンスを実行するための視覚的なペイロードがあることである。これには、次の技術的問題が伴う場合がある。

【0009】

・合成開口レーダ（ＳＡＲ）のペイロードでは、機器の視線方向が横方向であるため、幾何学的な歪み（影、パースペクティブ、フォアショート、オーバーラップ）が発生しやすく、正しいジオリファレンスが困難な場合がある。（（M. Esmaeilzade、J. Amini及びS. Zakeri、“Georeferencing on synthetic aperture radar imagery“、Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. - ISPRS Arch.、vol. 40、no. 1W5、 pp. 179-184、2015）及びDE 10 2016 123 286 B4）.
・主なペイロードが可視領域内で記録されない小型衛星では、可視カメラの追加は、かなり高いエネルギー及び体積要件を意味する可能性がある。このため、最終的には当初の計画よりも大きな衛星構造を使用する必要が生じる可能性がある。現在、（低）地球軌道では、キログラムあたり３万５千ユーロ－６万ユーロ程度のコストがかかっており、ミッション全体で利用可能な予算に対して大幅な追加コストが発生する可能性がある。

【0010】

参照すべきデータが、短い時間スケールでの強い変化が想定されるスペクトル範囲（多くの場合、例えば赤外線（ＩＲ））で記録されている場合、参照可能なマップ、その他の参照資料があるとは想定できない。このため、ジオリファレンスの標準的な方法は使用できない。そこで、以下の解決策が考えられる。

【0011】

既に述べたように、一般的には可視波長域の同時記録データを用いてジオリファレンスを可能にすることが試みられている。ここでは、カメラのさらなる小型化を図り、省スペース化と低消費電力化を図ることを目指している。しかし、解像度及びジオリファレンスの精度の要件は、対応するカメラの開口部のサイズと必要な最小体積に物理的な制限を設定する。

【0012】

視野範囲で２台目のカメラを使用する場合、適切な動作のために、プライマリペイロードとジオリファレンスに使用されるペイロードの間の相対的な視線もわかっている必要がある。これは通常、宇宙と既存の星図を視野に入れた適切な操作によって実現されるが、これには技術的な労力の増加が伴う。また、太陽や月など、可視・非可視の両方の波長域で背景に対して目立つ天体のような、両波長域で類似の特徴を示す物体を観測することにより、オンボード（on board）で実現することも可能である。

【0013】

また、ドローンや低空飛行のＵＡＶの分野では、位置精度を高めるために、ＧＰＳセンサと慣性計測ユニットを組み合わせたものが使用されている（F.S.Leira、K.Trnka、T.I.Fossen、及びT.A.Johansen、“A ligth-weight thermal camera payload with georeferencing capabilities for small fixed-wing UAVs“、 2015 Int. Conf. Unmanned Aircr. Syst. ICUAS 2015、pp. 485-494、2015）。しかし、航空機の位置が正確に分かっても、センサの視線について本当の意味で結論を出すことはできない。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明の目的は、高い精度を維持しながら、必要なペイロードを削減することが可能なリモートセンシングデータのジオリファレンス方法を提供することである。

【課題を解決するための手段】

【0015】

この目的は、請求項１に係るリモートセンシングプラットフォームのリモートセンシングデータをジオリファレンスする方法によって達成される。従属項は、本発明に係るジオリファレンス方法の有利な更なる発展を定義する。

【0016】

本発明によれば、リモートセンシングプラットフォームによって記録されたリモートセンシングデータをジオリファレンスする方法が開示される。リモートセンシングデータは、リモートセンシングプラットフォームが測定や調査の結果などとして決定するデータである。そのような測定は、例えば、地表又は大気の特性を描写することができ、その結果、リモートセンシングデータは対応する特性の画像とすることができる。これにより、リモートセンシングデータは、リモートセンシングプラットフォームによって、特に空間的に分解された方法で決定することができる。ここで、対応するプロパティの値は、空間又は面積測量領域の各ポイントに割り当てることができる。具体的には、リモートセンシングデータは、時間依存データ、すなわち、時間と共に変化することができるデータ及び/又は時間可変データであり得る。例えば、大気の特性を表すデータは、対応する大気の特性が時間的に変化するため、多くの場合、時間的に変化する。例えば、地表や大気の温度分布を表すことができる赤外線データも、多くの場合、日射に依存するため、時間的に変化することが多い。植生や人間の行動の変化によっても、リモートセンシングデータが時間の経過とともに変化する可能性がある。

【0017】

リモートセンシングデータは、例えば、規則的なグリッド上に画像として表示することができるように、有利にはマトリックス形式であり得る。また、マトリクス内の各値又は画像内の各画素の強度は、スペクトル密度、エネルギー密度など、測定される物理的パラメータの振幅に関する情報を提供することができる。

【0018】

本発明によれば、リモートセンシングプラットフォームによって、視野範囲と呼ばれる地表の一部を描写するリモートセンシングデータセットが記録される。これにより、リモートセンシングデータセットはリモートセンシングデータを含む。地表の視野範囲は、電磁放射がリモートセンシングデータセットを決定するために使用されるセンサに入る方向から地表の一部分であると考えることができる。なお、電磁波が地表そのものから放射されていることは必須ではない。大気を調査するとき、電磁波は地球の表面より上で発生する場合がある。しかし、地表の特定の部分、特定の地点の方向からセンサーに入射する。

【0019】

本発明によれば、ジオリファレンスが既知である参照データセットも決定される。このように、参照データセットは、地表の特定の部分又は地点の特性の値を含み、地表のどの地点の方向から記録されたかが既知である。参照データセットは、上記で定義された視野範囲と少なくとも部分的に重なる地表の部分を描写するように決定される。したがって、視野範囲と参照データセットによって描写される部分との交点は空（empty）ではない。

【0020】

有利には、参照データセットは、リモートセンシングデータから短い時間間隔で記録される。有利には、参照データセットは、リモートセンシングデータから最大２４時間、好ましくは最大１２時間、好ましくは最大６時間、好ましくは最大１時間、好ましくは最大１０分、好ましくは最大１分、好ましくは最大１０秒、好ましくは最大５秒の時間間隔で、又は同時に記録される。特に、最大時間間隔は、リモートセンシングデータセット及び／又は参照データセットによって記録された物理データの変化が、この間隔で所定の閾値を超えないように選択することができる。閾値は、例えば、プロセスの収束が期待できるように選択することができる。閾値は、例えば、シミュレーションによって、又は以前の測定に基づいて決定することができる。閾値は、対応するデータセットから決定された値、例えば、いくつかの又はすべての画素の平均値と比較することができる。他の特性値も可能である。

【0021】

測定の時間的オーバーラップは、観察される測定パラメータに依存する。例えば、赤外線スペクトル領域の放射密度を測定する場合、数秒から数分の比較的短い時間スケールで変動することが多く、比較する画像が時間的に近接していなければ結果が劣化する可能性がある。このような強い時間的変動の場合には、地図上に存在する特徴がプラットフォームＡからキャプチャされた画像に反映されるとは想定できないため、通常想定されるように既存の地図に対してジオリファレンスを行うことはできない。このため、例えば、参照する地球の赤外線マップはない。

【0022】

リモートセンシングデータセット及び参照データセットは、有利にはグリッドデータであり得、任意選択的に異なる解像度を有する。

【0023】

本発明によれば、２つの調整ステップが繰り返し実行される。第１の調整ステップでは、リモートセンシングデータセットと参照データセットとが互いに比較され、第２の調整ステップでは、その比較に基づいて、リモートセンシングデータセット又は参照データセットにモルフォロジー演算を適用する。モルフォロジー演算は、入力ジオリファレンスから出力ジオリファレンスへの対応するデータセットの描写である。そのようなモルフォロジー演算は、例えば、画像の平行移動、回転及び／又は透視歪み（perspective distortions）であり得る。

【0024】

その後、終了条件として、先のモルフォロジー演算の適用後のリモートセンシングデータセットと参照データセットとの前述の比較において、リモートセンシングデータセットと参照データセットとが所定の閾値未満で互いに異なることが、第１の調整ステップで判明するまで、第１の調整ステップと第２の調整ステップが交互に繰り返される。終了条件が発生した場合、参照データセットのジオリファレンスは、モルフォロジー変換を適用した後のリモートセンシングデータセットのジオリファレンスとして設定される。

【0025】

これに関し、参照データセットのジオリファレンスは、以前に実行された全てのモルフォロジー変換が適用された後のリモートセンシングデータセットのジオリファレンスとして設定され、それによって、１つ以上のモルフォロジー変換が実行されてもよい。説明した第２の調整ステップでは、モルフォロジー演算は、リモートセンシングデータセット又は参照データセット又はその両方に適用され得る。したがって、終了条件が発生すると、データセットの一方又は両方はモルフォロジー演算によって変換された態様で存在する。リモートセンシングデータセットのジオリファレンスを決定するために、実行されたモルフォロジー演算で、リモートセンシングデータセットの実際のジオリファレンスまで計算することができる。

【0026】

したがって、本発明は、特に小型衛星領域では非常に良好なジオリファレンスを達成するが、この領域だけではなく、さらにリモートセンシングプラットフォームに重量、体積及び電力を追加しない協調戦略を使用する。

【0027】

これに関して、リモートセンシングデータは、任意の可能なスペクトル範囲、例えば、レーダー、赤外線、ＵＶ又はマイクロ波測定で記録することができる。光学系に起因するセンサの幾何学的歪みは通常知られており、既に考慮されている。特に有利には、本発明は、観測パラメータが可変であるスペクトル範囲、例えば赤外線領域に適用可能である。本発明の有利な実施形態では、リモートセンシングデータは赤外線領域で記録される。多くの場合、これらのデータはグリッドデータとして利用可能である。本発明の有利な実施形態は、グリッドデータとして利用可能なリモートセンシングデータを、グリッドデータとして利用可能な参照データセットでジオリファレンスすることを可能にする。グリッドデータとは、画素毎に記録されたデータとして利用可能なデータをいう。したがって、ここでは、各画素は、データセットによって表される少なくとも１つの物理パラメータの少なくとも１つの値を含む。例えば、温度データセットは、各画素の温度値を含み得る。

【0028】

有利には、参照データセットは、既にジオリファレンスされたリモートセンシングデータセットと同じスペクトル範囲のリモートセンシングデータを含む。ＥＵ（コペルニクス）やＵＳＧＳ（Landsat Data Continuity Mission）のような大規模な国家地球観測プログラムが存在するため、このようなデータは日常的に無料で利用可能である。同じスペクトル範囲で情報が利用できない場合、すなわち、プラットフォームＡと参照プラットフォームの記録されたスペクトル範囲が重複しない場合、欠落したスペクトル情報を補間するために異なるアプローチを取ることができる（Houborg, R.及びMcCabe, M. F. （2018）、”A Cubesat enabled Spatio-Temporal Enhancement Method (CESTEM) utilizing Planet、Landsat and MODIS data”、Remote Sensing of Environment、209 (February)、211-226、［https://doi.org/10.1016/j.rse.2018.02.067］及びそこに含まれる参照文参照。

【0029】

さらに、赤外線のような長波長スペクトル領域のデータセットの特徴は、長波長のために、通常、可視領域よりもはるかに解像度の低いデータであるという事実である。可視領域では１メートル以上の解像度が達成できるが、衛星プラットフォームからの熱赤外線データでは民生分野での最高解像度（すなわち、直下方向に地面に投影された画素のサイズ）は現在６０メートルである。この粗い解像度では、道路の交差点、煙突又は他のオブジェクトなどの個々の特徴を互いに参照するとが想定できないことは明らかである。長波長スペクトル領域では画素数が少ないため、画素レベルで参照することが好ましい。

【0030】

本発明の有利な実施形態では、リモートセンシングデータセットの空間解像度と参照データセットの空間解像度とを対応させて、上述した第１の調整ステップにおいて比較することができる。これにより、空間解像度は、地表面の面積要素ごとに測定データが得られる画素数とみなすことができる。

【0031】

この点において、リモートセンシングデータセットと、他のデータセットの解像度よりも高い解像度を有する参照データセットのうちの一方の解像度を低下させることが特に有利である。したがって、リモートセンシングデータセットの解像度が高い場合は、その解像度を参照データセットの解像度に下げることができる。一方、参照データセットの解像度が高い場合は、その解像度をリモートセンシングデータセットの解像度にまで下げることができる。しかし、これは必須ではないことに注意しなければならない。この目的のために追加情報を統合すれば、解像度を上げることも可能である。

【0032】

有利には、解像度は、同じ参照システム（reference system）を基準として対応させることができる。この目的のために、すべての画素エッジが同じジオリファレンス位置を持つようにデータセットを調整することができる。より低い解像度を有するデータセットの画素の全てのエッジは、有利には、同じジオリファレンス位置を有するより高い解像度を有するデータセットの画素のエッジ上に位置する。

【0033】

有利には、リモートセンシングデータセット及び参照データセットは、少なくとも１つの測定パラメータの値であってもよく、その値は画素で与えられる。次いで、第１の調整ステップで説明した比較のために、リモートセンシングデータセット及び参照データセットから差分データセットを作成することができる。これにより、差分データセットは、解像度が低い（lower resolution）データセットの画素数に等しい画素数、又は解像度が低下した（reduced resolution）データセットの画素数に等しい画素数を有することができる。両方のデータセットが同じ解像度を有する場合、例えば、解像度が互いに調整されているため、差分データセットは、一方のデータセットの画素数と等しい画素数を有する。

【0034】

以下、ｉは、差分データセットの画素の位置を示すものとする。これにより、差分データセットの画素の位置をｉでカウントすることができる。有利な実施形態では、参照データセットの画素のすべての位置ｉについて、差分データセットの位置ｉを有する画素は、その値として、同じ位置を有するリモートセンシングデータセットの画素の値（これはｉとも呼ばれ得る）と、同じ位置を有する参照データセットの画素の値（これはｉとも呼ばれ得る）との間の差を有し得る。

【0035】

このように、リモートセンシングデータセットと参照データセットとの差が所定の閾値未満であることを調整ステップの終了条件として用いることができる。本発明の有利な実施形態では、閾値は、リモートセンシングデータセット及び参照データセットの画素の値から計算された値と比較される閾値であってもよい。原則として、閾値と比較される、このような値を定義する方法は多数ある。Ｄｉｆｆ＝√（Σ_＿ｉ（Ｉ_Ａ，ｉ－Ｉ_{Ｒｅｆ，ｉ}）^２）として計算される値は特に有利であり、ここで、Ｉ_Ａ，ｉは、リモートセンシングデータセットの位置ｉにおける画素の値であり、Ｉ_{Ｒｅｆ，ｉ}は、参照データセットの位置ｉにおける画素の値である。

【0036】

本発明の有利な実施形態では、第１の調整ステップの前に、リモートセンシングデータセットの較正と参照データセットの較正とを互いに適合させることができる。これにより、比較の精度を高めることができる。しかしながら、適合のために使用することができるほとんどの最小化方法は、比較される値が互いにずれても最小化を可能にするので、較正は必須ではないことに留意されたい。

【0037】

本発明の有利な実施形態では、リモートセンシングプラットフォームの予備的なジオリファレンスを推定して、参照データセットを決定することができる。これにより、リモートセンシングプラットフォームによって観測される部分と重複する参照データセットをより迅速に決定することができる。推定は、例えばＧＰＳや姿勢決定システム（Attitude Determination System：ＡＤＳ）などの搭載された位置データ、地球磁場、又はスターカメラを用いて行うことができる。具体的な方法としては、例えば、通常２行軌道要素（ＴＬＥ）の形で利用可能な衛星の軌道要素データを利用することが考えられる。ここでは、ＴＬＥに使用されるＳＧＢ４プロパゲータに基づく適切なプロパゲーションソフトウェアを使用することができる。軌道要素データは、ＧＰＳ及び地上測定によって記録された衛星の軌道から導出することができ、将来約２週間先までの相対的に正確な位置の決定を可能にする（ここでの目安は、４８時間ごとに１秒程度のずれである）。プロパゲーションソフトウェアは、例えば、Ｐｙｔｈｏｎで記述されたオープンソースのＳｋｙｆｉｅｌｄ、Ｊａｖａで記述されたオープンソースのＡＧＩのＳＴＫ、Ｏｒｅｋｉｔなど、様々なソフトウェアソリューション又はライブラリとすることができる。リモートセンシングプラットフォームの方向が、例えばＡＤＳ（スターカメラなし：通常１°／軸、スターカメラあり：０．０１°／軸）によって既知である場合、それによって、ジオリファレンスの大まかな推定を行うことができる。

【0038】

本発明の方法は、上述した第１及び第２の調整工程を有する調整方法に基づいている。これらの調整ステップは、有利には、段階的な最適化を達成するために目標を定めた方法で実施することができる。いくつかの変数の関数として、そのような段階的最適化をサポートする様々なアルゴリズムが利用可能であり、例えば、２次元の平行移動、回転、歪みなどである。適切な方法は、例えば、Nelder-Mead Simplex法（J. C. Lagarias、J. A. Reeds、M. H. Wright、及びP. E. Wright、”Convergence properties of the Nelder-Mead simplex method in low dimensions”、SIAM J. Optim.、vol. 9、no. 1、pp. 112-147、1998）である。代替として、例えば、Broyden-Fletcher-Goldfarb-Shanno法 (C. G. Broyden、”The convergence of a class of double-rank minimization algorithms 1. General considerations”、IMA J. Appl. Math.（Institute Math. Its Appl.）、 vol. 6、no. 1、pp. 76-90、1970）、Davidon-Fletcher-Powellアルゴリズム（W. C. Davidon、“Variable metric method for minimization”、SIAM Journal on Optimization、vol. 1、no. 1、pp. 1-17、1991）、又はいわゆる信頼領域アプローチ（J. J. More、及びD. C. Sorensen、”Computing a Trust Region Step”、SIAM Journal on Scientific and Statistical Computing、vol. 4、no. 3、pp. 553-572、1983）を用いることができる。

【0039】

最初に仮定した粗いジオリファレンスが最適化されたジオリファレンスに近いと仮定すると、上記の方法は次第に正しい解に収束する。誤差とノイズのない理想的な画像データを仮定すると、正しいジオリファレンスを持つ理想的なケースでは、両方のデータセットが同じ画像を得ることができ、誤差が０になる。例えば、赤外線センサの場合、これは、エネルギー保存によって物理的に明示的に正当化することもできる（観測角度が互いにそれほどずれておらず、記録が短時間で行われたと仮定する）。実際のアプリケーションシナリオでは、通常、残差が残る。他のスペクトル範囲では、両方のプラットフォームの物理的測定パラメータの比較をサポートするために、最初に適切な正規化を実行することが有利であり得る。

【0040】

上述のように、データセットの較正は、互いに適合させることができる。しかし、１つのデータセットの較正は、他のデータセットの較正から均一なオフセットを有することもできる。これにより、差分画像全体にわたって均一なオフセットが得られる。偏差が０の周りに対称的に分布している場合、このオフセットは０になり、データセットの較正が互いに一致しない場合でも、最小誤差を達成することができる。

【0041】

さまざまなメトリックを使用して、差分イメージを評価できる。本発明に係る方法は、メトリックとは無関係に動作する。同様に、アップサンプリングにも多くの可能性がある。測定値の可能なオフセットは、必ずしも計算する必要はなく、様々な方法で計算することができる。例えば、ラインスキャンカメラ（プッシュブルーム又はウィスクブルームスキャナ）を使用する場合、画素の異なるタイムスタンプを組み合わせ、時間に応じて異なる重み付けを行うことができる。また、センサの点広がり関数を用いて、画像レジストレーションにおける画素の異なる重み付けを導入することもできる。

【0042】

場合によっては、対応する特性を補間することができれば、異なるスペクトル範囲のデータをデータセットに使用することも可能である。例えば、スペクトルが他のデータセットと部分的にしか重複しないか、又は全く重複しない赤外線領域のデータが利用可能である場合、必要なスペクトル領域のデータセットは、プランクの放射の法則などの既知の法則を使用した物理的モデリングによってシミュレートすることができる。

【0043】

有利には、リモートセンシングプラットフォームは、衛星、無人航空機、又はドローンであり得る。

【0044】

既存の方法と比較して、このソリューションは、オンボードで可視領域に独自のカメラを配置することなく、大規模なプラットフォームから高品質のジオリファレンスにアクセスできるという利点を提供する。

【0045】

さらに次のような利点がある。
・ジオリファレンスを必要とするが、オンボードで対応するイメージングハードウェアを搭載していない衛星及び宇宙船の体積、質量、及びエネルギー要件の削減。
・これにより、起動及び運用のコストが削減される。
・独自のジオリファレンスを持つ衛星の場合、この発明は同じテストの重要な役割を果たすことができる。さらに、異なるジオリファレンスソースを組み合わせることで、ジオリファレンス全体の精度を向上させることができる。

【0046】

本発明のアプローチのための４つの応用シナリオが、例として挙げられる。
１．協調ジオリファレンスにより可視波長域の撮影を行わない衛星の搭載ハードウェアが節約される。
２．協調ジオリファレンスの使用によるオンボードジオリファレンスが検証され、妥当性が確認される。
３．協調ジオリファレンスの追加使用によるオンボードジオリファレンスの精度が向上する。
４．オンボードシステムの冗長性を高める協調ジオリファレンスを採用される。
重要な応用分野は、小型及びマイクロ衛星に対する要求の低減である。

【0047】

以下、本発明が、いくつかの図を参照しながら例として説明される。ここで同一の参照番号は、同一又は対応する特徴を示す。実施例に記載された特徴は、対応する実施例とは独立して実現することもでき、実施例間で組み合わせることもできる。

【図面の簡単な説明】

【0048】

【図1】解像度の異なるリモートセンシングデータセットと参照データセットを示す。

【図2】リモートセンシングデータセット、差分画像、及び調整された解像度を示している。

【図3】リモートセンシングデータと参照データの間の参照画像を示している。

【発明を実施するための形態】

【0049】

図１は、左の部分画像にリモートセンシングデータセットが示されており、ここでは、多数の画素を有するマトリクスの例として示されている。各画素は測定値を含み、ここではグレースケールで表されている。リモートセンシングデータセットは、地表の視野範囲を描写しており、縦軸に地表上のリモートセンシングプラットフォームのパスに沿った画素、横軸にパスを横切った画素がプロットされている。左の部分画像のリモートセンシングデータにはまだジオリファレンスがない。

【0050】

図１の右の部分画像は、ジオリファレンスが既知の参照データセットを示している。参照データセットのデータも、パスに沿った方向及びパスを横切った方向の画素としてプロットされる。ここでも、各画素は測定パラメータの値を含み、これは、有利には、左の部分画像と同じ測定パラメータであり得る。右の画像の参照データセットの空間解像度は、左の画像のリモートセンシングデータセットの空間解像度よりも低いため、ここの画素は地表のより大きな部分を表す。本発明に係る方法の目的は、参照データセットのジオリファレンスからリモートセンシングデータセットのジオリファレンスを推論することである。

【0051】

右の部分画像に示される参照データセットは、参照データセットによって描写される地表の一部が、少なくとも部分的に、リモートセンシングデータセットの視野範囲と重なるように選択された。破線領域は、参照プラットフォームの破線画素と地理的に重なるリモートセンシングデータの画像内の画素の合計を示す。

【0052】

図２の左の部分画像は、参照データセットの解像度に調整された解像度のリモートセンシングデータを示している。図示されたケースでは、参照データの解像度は、この目的のために低減されている。このような補間は、例えば、単純な加重平均法又は他の公知の方法によって行うことができる。現在想定されているジオリファレンスでは、参照データセットの地理的に重複する画素内に面積割合を有するリモートセンシングデータセットのすべての画素が補間に含まれると仮定する（図１では、参照プラットフォームの画素の例として破線の正方形で示されている）。

【0053】

図２の右の部分画像は、解像度を適応させた後の参照データセットの対応する画素の値からリモートセンシングデータセットの画素の値を減算することによって得られる差分画像を示しており、対応する画素は同じ位置を有する画素である。値は、右の部分画像から、例えばＤｉｆｆ＝√（Σ_{_ｉ}（Ｉ_Ａ，ｉ－Ｉ_{Ｒｅｆ，ｉ}）^２）で計算することができ、ここで、Ｉ_Ａ，ｉは、リモートセンシングデータセットの位置ｉにおける画素の値であり、Ｉ_{Ｒｅｆ，ｉ}は、参照データセットの位置ｉにおける画素の値である。この例では、この値は、例えばＤｉｆｆ＝１．６３になる。

【0054】

モルフォロジー演算をリモートセンシングデータセットに系統的に適用し、差分画像を計算できる。比較及びモルフォロジー演算を適用するステップは、リモートセンシングデータセットと参照データセットとの差が所定の閾値未満である終了条件が発生するまで繰り返される。この目的のために、例えば、上記で定義された値Ｄｉｆｆは、閾値と比較され得る。モルフォロジー演算は、例えば、画像の平行移動、回転及び／又は透視歪みであり得る。説明された値Ｄｉｆｆの代わりに、差分画像を記述する相互相関又は別のメトリックを使用することもできる。この値が最適化ユニットにフィードバックされ、例えば、Ｄｉｆｆ＝０の値が得られるまで、値を繰り返し最適化できるようにすることができる。このため、例えば、入力パラメータの変更を行うことができる。

【0055】

場合によっては、以下の１次元の例に示すように、この差は相対的な画素位置に非常に強く依存し、サブ画素範囲で変動することがある。発電所の冷却塔を含むＩＲデータセットをジオリファレンスする場合、その冷却塔は（参照データセットの）約１画素のサイズであり、周囲を水に囲まれている。これは、特定の状況下では絶対的な較正に確実性がなく、そのような場合にはＩＲデータから得られる絶対温度値が正確であるとは想定できないという事実によって悪化することがある。（画素サイズを参照データセットにスケーリングした後の）元のジオリファレンスの推定値に画素の半分の誤差がある場合、温かいタワーの半分は、残りの半分が水を含む画素領域に配置される。このため、タワーの熱信号が大幅に低減し、タワーの予想される高温値が得られない。グリッドを対応するモルフォロジー変換で移動（この場合は純粋な平行移動）させる場合、冷却塔のシグネチャが次第に強くなり、１つの画素だけが塔を包含するようになる。この例は、粗い解像度では、ジオリファレンスする固定的な特徴を想定できないことを説明するためのものである。多くの場合、これらは解像度の適応によってのみ発生する。このような状況では、適切なジオリファレンスに到達するための本発明による反復方法が有利である。

【0056】

このような反復的な改善を図３に示す。ここでは、リモートセンシングデータセットの断片的変換によって改善を実現した。目的とする最適化は、例えば、Nelder-Meadシンプレックス法、Broyden-Fletcher-Goldfarb-Shanno法、Davidon-Fletcher-Powellアルゴリズム、又は信頼領域アプローチを使用して行うことができる。

【0057】

図３において、左の部分画像は、いくつかの反復後の図２における右の部分画像に対応する差分画像を示す。ここでは、上で定義した値ＤｉｆｆがＤｉｆｆ＝０．５５に減少している。さらに反復することにより、図３の右の部分画像に示すように、理想的にはＤｉｆｆ値をＤｉｆｆ＝０に最適化することができる。

【図1】

【図2】

【図3】

【国際調査報告】