(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-19
(54)【発明の名称】惑星のトポロジをセンシングするためのシステムおよび方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240711BHJP
G06T 7/38 20170101ALI20240711BHJP
【FI】
G06T7/00 640
G06T7/38
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024502094
(86)(22)【出願日】2022-05-11
(85)【翻訳文提出日】2024-03-04
(86)【国際出願番号】 IN2022050460
(87)【国際公開番号】W WO2023286075
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】202141031282
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】IN
(81)【指定国・地域】
(71)【出願人】
【識別番号】524016633
【氏名又は名称】ギャラゼイ・スペース・ソリューションズ・プライベート・リミテッド
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【氏名又は名称】松尾 淳一
(72)【発明者】
【氏名】シン,スヤシュ
(72)【発明者】
【氏名】チャウダ,デニル
(72)【発明者】
【氏名】タッカール,キシャン
(72)【発明者】
【氏名】バット,ラクシト
(72)【発明者】
【氏名】メタ,プラニト
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096CA04
5L096CA05
5L096FA69
(57)【要約】
惑星のトポグラフィをセンシングするためのセンサシステムが、本明細書で開示される。システムは、少なくとも1つのオンボードプロセッサを含む。システムは、惑星のサンプルエリアのトポグラフィをセンシングするために、惑星の地殻部分からの高度を有して移動する輸送機上に構成された、少なくとも1つの第1および第2のものをさらに含む。センサは、オンボードプロセッサに通信可能に結合されている。システムは、オンボードプロセッサに通信可能に結合されたメモリを含み、メモリは、プロセッサによって実行されると、プロセッサに、空間的および時間的に整合されたデータセットをセンシングするために、センサの、サンプルエリアに向く方向への、同期および位置合わせされた方向付けを促進することを行わせる実行可能命令を記憶する。プロセッサは次いで、空間的および時間的に整合されたデータセットのピクセルレベルコレジストレーションを遂行するために、空間的および時間的に整合されたデータセットを受信ならびに処理する。
【特許請求の範囲】
【請求項1】
惑星のトポグラフィをセンシングするためのセンサシステムであって、
少なくとも1つのオンボードプロセッサと、
前記惑星のサンプルエリアの前記トポグラフィをセンシングするために、前記惑星の地殻部分からの高度を有して移動する少なくとも1つの輸送機上に構成された、少なくとも1つの第1のセンサおよび少なくとも1つの第2のセンサであり、前記少なくとも1つのオンボードプロセッサに通信可能に結合された、少なくとも1つの第1のセンサおよび少なくとも1つの第2のセンサと、
前記少なくとも1つのオンボードプロセッサに通信可能に結合された少なくとも1つのメモリであり、前記プロセッサによって実行されると、前記コンピュータプロセッサに、
i.空間的および時間的に整合されたデータセットをセンシングするために、前記少なくとも1つの第1のセンサならびに前記少なくとも1つの第2のセンサの、前記サンプルエリアに向く方向への、同期および位置合わせされた方向付けを促進することで、前記少なくとも1つの第1のセンサならびに前記少なくとも1つの第2のセンサの前記同期および位置合わせされた方向付けが、前記プロセッサに通信可能に結合されたシンクロナイザユニットを介して促進される、促進すること、ならびに、
ii.前記空間的および時間的に整合されたデータセットのピクセルレベルコレジストレーションを遂行するために、前記空間的および時間的に整合されたデータセットを受信ならびに処理すること、
を行わせる実行可能命令を記憶する、メモリと、
を含む、センサシステム。
【請求項2】
前記少なくとも1つの第1のものが、光学センサおよび赤外線センサを含み、前記少なくとも1つの第2のセンサが、マイクロ波センサを含む、請求項1に記載のセンサシステム。
【請求項3】
前記輸送機が、宇宙船、航空機、および人工衛星のうちの1つである、請求項1に記載のセンサシステム。
【請求項4】
前記第1のセンサおよび前記第2のセンサのクロストラック方向におけるビーム中心が、位置合わせされる、請求項2に記載のセンサシステム。
【請求項5】
前記光学センサおよび前記赤外線センサのデータセットにおけるピクセルの数が、前記マイクロ波センサのデータセットにおけるピクセルの数の倍数である、請求項2に記載のセンサシステム。
【請求項6】
前記シンクロナイザユニットが、
シンクロナイザ制御ユニットと、
前記シンクロナイザ制御ユニットに通信可能に結合された少なくとも1つのモーションセンサであり、前記少なくとも1つの第1のセンサおよび前記少なくとも1つの第2のセンサの位置を検出するために前記少なくとも1つの第1のセンサおよび前記少なくとも1つの第2のセンサに結合された位置、少なくとも1つのモーションセンサと、
前記シンクロナイザ制御ユニットに通信可能に結合された少なくとも1つのアクチュエータであり、空間的および時間的に整合されたデータセットをセンシングするために、前記少なくとも1つの第1のセンサならびに前記少なくとも1つの第2のセンサの、前記サンプルエリアに向く方向への、前記同期および位置合わせされた方向付けを促進するために、前記少なくとも1つの第1のセンサならびに前記少なくとも1つの第2のセンサに結合された、少なくとも1つのアクチュエータと、
を含む、請求項1に記載のセンサシステム。
【請求項7】
前記少なくとも1つの第1のセンサおよび前記少なくとも1つの第2のセンサが、少なくとも単独の輸送機上に構成される、請求項1に記載のセンサシステム。
【請求項8】
惑星のトポロジをセンシングするための方法であって、
前記惑星のサンプルエリアの前記トポグラフィをセンシングするために、前記惑星の地殻部分からの高度を有して移動する少なくとも1つの輸送機上に構成された、少なくとも1つの第1のセンサおよび少なくとも1つの第2のセンサを構成するステップと、
空間的および時間的に整合されたデータセットをセンシングするために、前記少なくとも1つの第1のセンサならびに前記少なくとも1つの第2のセンサの、前記サンプルエリアに向く方向への、同期および位置合わせされた方向付けを促進するステップと、
前記空間的および時間的に整合されたデータセットに対応するピクセルレベルコレジストレーションされたデータセットを生成するために、前記空間的および時間的に整合されたデータセットを受信ならびに処理するステップと、
を含む、方法。
【請求項9】
前記少なくとも1つの第1のものが、光学センサおよび赤外線センサを含み、前記少なくとも1つの第2のセンサが、マイクロ波センサを含み、
前記第1のセンサおよび前記第2のセンサのクロストラック方向におけるビーム中心が、位置合わせされる、
請求項8に記載のセンサシステム。
【請求項10】
前記光学センサおよび前記赤外線センサのデータセットにおけるピクセルの数が、前記マイクロ波センサのデータセットにおけるピクセルの数の倍数である、請求項9に記載のセンサシステム。
【発明の詳細な説明】
【図面の簡単な説明】
【0001】
【発明を実施するための形態】
【0002】
[001]本文書の前の項で言及されたように、現在、光学センサおよびマイクロ波センサによって獲得された生データは、別個のソースから来ており、それぞれがそれぞれの技術的な仕様およびパラメータを有する。さらに、両方のセンサがいかに異なって動作するかを考えれば、異なる別個のソースから取得されるとき、これらのデータセットをコレジストレーションすることは難題であり、多くの誤差につながる。結果として、全体的なプロセスは、現在のところ、多くの時間および労力を消費し、データ融合の結果として取得される精度に関していまだに限定されている。
【0003】
[002]先に述べた問題を克服するために、本願発明は、同期および位置合わせされ、同時に動作するように構成された、光学センシング、赤外線センシング、ならびにマイクロ波センシングを備えた2つの異なるセンサの使用を伴う、惑星のトポロジをセンシングするためのセンサシステムを想定する。さらに、3つのセンサは、サンプルエリアの特性に関連付けられた空間的および時間的に整合されたデータセットをキャプチャするように、トポロジのサンプルエリアをセンシングするために構成される。
【0004】
[003]
図1Aは、本願発明の一実施形態に従った、惑星のトポロジをセンシングするためのセンサシステム100(以下ではシステム100と呼ばれる)の動作の原理を図示したブロック図を示す。システム100は、少なくとも1つのオンボードプロセッサ102と、少なくとも1つのオンボードプロセッサに通信可能に結合されたメモリ104とを含み、メモリは、システム100の動作のための実行可能命令を記憶する。システム100は、少なくとも1つの第1のセンサ106と、少なくとも1つの第2のセンサ108とをさらに含む。第1のセンサ106および第2のセンサ108は、オンボードプロセッサ102(以下では互換的にプロセッサ102と呼ばれる)に通信可能に結合されている。
【0005】
[004]システム100は、プロセッサ102と、第1および第2のセンサ106、108とに通信可能に結合されたシンクロナイザユニット112をさらに含む。シンクロナイザユニット112は、プロセッサ102の命令を受信して、第1および第2のセンサ106、108の同期された位置合わせを促進するように構成される。一実施形態において、シンクロナイザユニット112はまた、第1および第2のセンサ106、108の同時動作を開始するように構成される。一実施形態において、少なくとも1つの第1のセンサ106は、光学センサおよび赤外線センサであり、少なくとも1つの第2のセンサ108は、マイクロ波センサを含む。認識され得るように、本文書の背景技術の項で議論された従来のセンサシステムと比較すると、システム100は、赤外線センシングである追加のセンシング特徴を含む。さらに、シンクロナイザユニット112は、第1および第2のセンサ106、108の同時動作、ならびに観測下にあるトポロジのサンプルエリアに向けた、同期された位置合わせを促進する。
【0006】
[005]ピクセルレベル融合においては、両方のデータセットにおける対応するピクセルが、一定の数学的演算を使用して合成されて、より情報の多い新しいピクセルを生成する。高品質なピクセルレベル融合を遂行するためには、1つのデータセットにおける任意のピクセルが、もう一方のデータセットにおける対応するピクセルに可能な限り重なるように、両方のデータセットが空間的および時間的に位置合わせされる必要がある。そのような空間的および時間的に位置合わせされたデータセットは、コレジストレーションされたデータセットと呼ばれる。
【0007】
[006]このように、コレジストレーションは、両方のセンサから取得されたデータセットが、互いに空間的および時間的に整合されるプロセスであり、そのため、両方のデータセットにおける対応するピクセルは、サンプリングされたエリアにおいて同じオブジェクトを指し示す。これが、両方のデータセットから対応するピクセルが合成される、ピクセルレベル融合の実現性を可能にするものである。決定レベル融合または特徴レベル融合の場合、それらは両方のデータセットのピクセルと同時に相互作用しないので、コレジストレーションは必要不可欠ではない。先に説明されたように、これは、ピクセルレベルでしか見ることができない細部および詳細の毀損につながる。たとえば、海における船舶をマッピングするとき、決定レベル融合では、データセット1とデータセット2とが海において同数の船舶をマッピングした、という事実を単に比較することになる。特徴レベル融合では、画像における異なる特徴から取得されたデータを比較することになり、たとえば、各船舶が、もう一方のデータセットに対応してマッピングされて、その場所に関する詳細を与えることになる。ピクセルレベル融合は、エリアおよび特徴に関して多くのさらなる詳細を与え、各ピクセルが、もう一方のデータセットに対応してマッピングされる。これによって、各船舶のサイズおよび容積、存在するコンテナの数などのような洞察を見出すという結果につながる。このように、ピクセルレベル融合は、アクセスされ得る新しい情報を、したがって導き出され得る新しい洞察を可能にすることがわかる。
【0008】
[007]
図1Bは、本願発明に従ったシステム100の例示的な実施形態の概略図を示す。
図1Bに見られるように、センサ106、108は、惑星の地殻Cからの高度を有する輸送機V上に搭載される。
図1Bにおいて、センサ106、108は、惑星のトポロジを同時にセンシングするように位置合わせされることが見られ得る。
【0009】
[008]
図2は、本願発明に従ったシステム100の例示的な実施形態の概略図を示す。以下
図1および
図2を参照する。システム100の動作をトリガする第1のステップは、オンボードプロセッサ102に、特定のサンプルエリアの観測が要求されていると命令することである。オンボードプロセッサ102が命令を受信すると、オンボードプロセッサ102は、シンクロナイザユニット112を介して、第1および第2のセンサ106、108の同期をトリガする。先に言及されたように、シンクロナイザユニット112は、観測下にあるトポロジのサンプルエリアに向けた、第1、第2のセンサ106、108の同期された位置合わせと共に、同時動作を促進するように構成されてよい。
【0010】
[009]一実施形態において、
図2に見られるように、第1のセンサ106および第2のセンサ108のクロストラック方向におけるビーム中心が、位置合わせされ、データ収集が、同時に始まる。そのような特徴の有利な態様は、要求されたパラメータの空間的および時間的に整合されたデータセットの取得を促進することである。別の実施形態に従うと、データセットのスムーズなピクセルレベルコレジストレーションを促進するために、第1のセンサ106(光学センサおよび赤外線センサ)データセットにおけるピクセルの数は、マイクロ波センサデータセットにおけるピクセルの数の倍数である。さらに別の実施形態に従うと、同期された位置合わせと共に第1および第2のセンサ106、108の同時動作を有する有利な態様は、タイムスタンプおよびアジマス成分において整合されたピクセルをキャプチャするのを可能にすることであり、それにより、2つのセンサの異なるデータセットのスムーズなピクセルレベルコレジストレーションを最終的に促進する。
【0011】
[0010]一実施形態に従うと、第1および第2のセンサ106、108は、航空機、宇宙船、および人工衛星のうちの少なくとも1つの上に構成される。より具体的には、第1および第2のセンサ106、108は、惑星の地殻からの高度を有して移動することができる任意の輸送機上に搭載されてよい。
【0012】
[0011]再び
図2を参照すると、第1および第2のセンサ106、108が空間的および時間的に整合するデータセットをキャプチャすると、次いでオンボードプロセッサ102によって受信および処理される。先に言及されたように、プロセッサ102は、光学センシング、赤外線センシング、およびマイクロ波センシング用に構成された2つの異なるセンサによって取得されたデータセットのピクセルレベルコレジストレーションを遂行するために、データセットの処理を促進する。データセットのピクセルレベルコレジストレーションは、従来のシステムと比較してより精確な、有意義なデータセットを取得するために、より効率的な後処理を促進する。
【0013】
[0012]
図3は、本願発明の一実施形態に従ったシステム100において使用されるシンクロナイザユニット112の概略図を示す。本願発明の一実施形態に従ったシンクロナイザユニット112は、シンクロナイザ制御ユニット114を含む。少なくとも1つのモーションセンサ116が、シンクロナイザ制御ユニット114に通信可能に結合され、第1および第2のセンサの位置を検出するために、第1および第2のセンサ106、108に通信可能に結合されている。シンクロナイザユニット112は、シンクロナイザ制御ユニット114に通信可能に結合された少なくとも1つのアクチュエータ118をさらに含む。アクチュエータ118はまた、空間的および時間的に整合されたデータセットをセンシングするために、第1ならびに第2のセンサの、サンプルエリアに向く方向への、同期および位置合わせされた方向付けを促進するために、第1ならびに第2のセンサ106、108に結合されている。
【0014】
[0013]モーションセンサ116は、センサ106、108の正確な位置を検出するように構成される。位置に関する情報は、フィードバックとしてシンクロナイザ制御ユニット114にフィードバックされ、それに基づいて、シンクロナイザ制御ユニット114は、第1ならびに第2のセンサ106、108の、同期および位置合わせされた方向付けを促進するために、アクチュエータ118を制御する。
【0015】
[0014]ただし、シンクロナイザ制御ユニット114はまた、システム100が取り付けられ得る輸送機の輸送機安定化ユニット402に通信可能に結合される。これにより、第1ならびに第2のセンサ106、108の所望のサンプルエリアに向けた同期および位置合わせされた方向付けを促進する際に、シンクロナイザ制御ユニット114がセンサの位置だけでなく輸送機の位置も考慮に入れることを確実にする。
【0016】
[0015]
図4は、本願発明の一実施形態に従った、惑星のトポグラフィをセンシングする方法500(以下では方法500と呼ばれる)を図示したブロック図を表す。
図5を参照すると、ブロック502で、方法は、キャプチャコマンドを受信するステップを含む。一実施形態において、キャプチャコマンドは、オンボードプロセッサ102を介して受信される。キャプチャコマンドは、地表上に設定されてよいリモートサーバを介して、もしくはオンボードプロセッサ102内に提供された内部トリガ論理回路によって、またはシステム100が取り付けられた輸送機内にいる乗員によって、オンボードプロセッサ102に提供されてよい。
【0017】
[0016]ブロック504で、方法500は、シンクロナイザユニットを作動させるステップを含む。より具体的には、少なくとも1つの第1のセンサおよび少なくとも1つの第2のセンサが、惑星のサンプルエリアのトポグラフィをセンシングするために、惑星の地殻部分からの高度を有して移動する少なくとも1つの輸送機上に構成される。シンクロナイザユニットを作動させるステップは、空間的および時間的に整合されたデータセットをセンシングするために、少なくとも1つの第1のセンサならびに少なくとも1つの第2のセンサの、サンプルエリアに向く方向への、同期および位置合わせされた方向付けを促進することを含む。
【0018】
[0017]ブロック506で、方法500は、空間的および時間的に整合されたデータセットを取得するために、可視センサ(光学センサ、赤外線センサ、および第1のセンサとも呼ばれる)、ならびにマイクロ波センサ(第2のセンサとも呼ばれる)の動作を同時に作動させることを含む。
【0019】
[0018]ブロック508で、方法500は、ブロック510に見られるような空間的および時間的に整合されたデータセットのピクセルレベルコレジストレーションを遂行するために、空間的および時間的に整合されたデータセットを受信ならびに処理するステップを含む。本願発明の一実施形態に従うと、このステップは、システム100のオンボードプロセッサ102によって実施される。
【0020】
[0019]これまでの説明から集約され得るように、システム100は、第1および第2のセンサ106、108によって取得されたデータセットのピクセルレベルコレジストレーションを促進する。さらに、システム100は、第1および第2のセンサによって取得されたデータセットのスムーズなピクセルレベルコレジストレーションを遂行するために、個々のセンサの相補的な性質をうまく利用し、2つのセンサの個々のデータセットを合成する。
【0021】
[0020]システム100の有利な態様は、個々のセンサを共通のシステム内に収容することにより、同じ場での「同時の」データ獲得を促進することである。これは、個々のセンサデータセットが現在は異なるソースから来るため、現在のところ可能ではない。結果として、データセットの完全性および一貫性が維持される。
【0022】
[0021]ただし、光学センサ106は、雲を通してセンシングすることができず、そのため、獲得されたデータにおける雲による遮蔽の存在のために、獲得されたデータの多くは意義が薄くなる。典型的には、10%を超える雲による遮蔽を含む全てのデータセットは、データ処理、解析、および洞察のために使用されない。したがって、レーダセンサ110および第1のセンサの赤外線センシング特徴を使用すれば、曇天時でも、データを獲得することが可能であり、10%という雲による遮蔽の閾値はさらに押し上げられ、雲による遮蔽がより多い状況を扱う可能性を高めることができる。結果として、キャプチャされる有意義なデータの量は、大幅に増加する。
【0023】
[0022]本願発明の実施形態に従ったシステム100は、地球観測およびリモートセンシングを活かしたさまざまな応用を有する。システム100の応用は、3つの使用事例、すなわち、資産検出、資産監視(検査/追跡)、および変化検出に大きく分類され得る。これらの3つの使用事例は、農業、不動産、公共事業、防衛、金融、サプライチェーン、鉱業、インフラストラクチャ、災害管理などを含むがそれらに限定はされない、さまざまな産業に適用され得る。対象となるエリアを視覚的に理解するために光学データが幅広く使用される一方で、レーダデータは、光学データからは取得することが可能ではない、より深い洞察を明らかにするのに役立つ。新しいデータセットは、センシングされるオブジェクトの色および幾何学的形状の両方をキャプチャするために使用され得、対象となるサンプルエリアのよりよい視点を与えることができる。
【0024】
[0023]農業の場合、システム100は、土壌のタイプ(たとえば、色)、さらに土壌の水分含有率の検出を支援することができるデータセットのピクセルレベルコレジストレーションを生成するために使用されて、対象となるサンプルエリアに好適な施肥および灌漑プロトコルを策定するのに役立つことができる。
【0025】
[0024]システム100のさらなる別の応用は、森林マッピングにあり得る。データセットのピクセルレベルコレジストレーションは、森林のタイプ(樹木の形)および(葉の色に基づいた)植物の健康状態を監視することを促進し、それによって、対象となるサンプルエリアにおける森林破壊のレベルの追跡に役立つことができる。
【0026】
[0025]システム100のもう1つの応用は、対象となるサンプルエリア内のカムフラージュされたオブジェクトの検出およびマッピングであり得る。センサ106、108によって取得されたデータセットのピクセルレベルコレジストレーションはまた、光学センサが単独で使用される場合には限界がある、カムフラージュされたオブジェクトのマッピングにおいて有益であると判明し得る。多くの場合、レーダセンサは、カムフラージュにかかわらず、エリアにおける異常点を指摘することができるが、オブジェクトについてそれほど正確に説明することはできない。あるリアルタイムな例はアフリカからであり、農村の定住エリアにおける水管理システムがこの応用に基づいて計画された。住居は、金属板でできた屋根と、茅葺の屋根とを持つ家が混在していた。後者は、地表とカムフラージュされたが、前者は、レーダセンサによって捉えられた。これらの地点を選んでから、これらのエリアにわたって光学センサを使用して詳細に獲得することにより、人口およびカバーされたエリアについてのアイデアを得た。これは、そのエリアにわたって手作業の地上調査を行うことと比較すると、多くの時間、金銭、および労力を節約した。レーダセンサはまた、地下水レベルを検出する能力を有する。システム100によって取得された新しいデータセットは、こうして、その特定の場所における地下水レベルを含む、そのエリアの視覚的なマップを与えることができる。従来のソースから取得されたデータを用いてこれを行うと、既に先に説明されたように、多くの誤差および複雑さを伴うことになる。
【0027】
[0026]さまざまな特性および有益な詳細が、付属の図面に例示され、先行する説明に詳述された実施形態/態様を参照して十分に明示される。当業者がよく承知している技術、方法、コンポーネント、および機器の説明、または本願発明に属する分野において共通の一般知識を形成するそれらの説明は、本願発明に焦点を当てる目的のために、ならびに本願発明およびその有利な特徴を曖昧にしないように、説明されていない、および/または紹介されていない。同時に、詳細な説明および特定の例において本明細書で説明された本願発明およびその特徴は、限定としてではなく、例示のみとして与えられる。当業者は、基礎をなす発明概念の趣旨および/もしくは範囲内であるとみなされる、さまざまな代替置換、修正、追加、ならびに/または再配置を考えてもよいし、考えることができると理解されるべきである。
【0028】
[0027]本明細書において、単語「含む(comprise)」、または「含む(comprises)」もしくは「含んでいる(comprising)」などのその変形は、記載された要素、整数、もしくはステップ、または要素、整数、もしくはステップのグループの包含を含意するが、いかなる他の要素、整数、もしくはステップ、または要素、整数、もしくはステップのグループの排除も含意するものではない。
【0029】
[0028]さらに、表現「少なくとも(at least)」、または「少なくとも1つの(at least one)」の使用は、1つもしくは複数の要素、または材料、または数量の使用が所望の目的または結果のうちの1つまたは複数を遂行するために本発明の実施形態にあり得るとき、1つもしくは複数の要素、または材料、または数量の使用を示唆する。
【国際調査報告】