(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-12
(54)【発明の名称】合成開口レーダ撮像を使用した監視撮像および地球観測のためのシステム、方法、および衛星
(51)【国際特許分類】
G01S 13/90 20060101AFI20231004BHJP
G01S 13/87 20060101ALI20231004BHJP
【FI】
G01S13/90 129
G01S13/87
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023517993
(86)(22)【出願日】2021-09-16
(85)【翻訳文提出日】2023-05-11
(86)【国際出願番号】 CA2021051298
(87)【国際公開番号】W WO2022056638
(87)【国際公開日】2022-03-24
(32)【優先日】2020-09-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523096883
【氏名又は名称】エムディーエー システムズ リミテッド
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】バワーズ、ジョン
(72)【発明者】
【氏名】ホイル、ウェイン
(72)【発明者】
【氏名】マラビアラチ、パット
(72)【発明者】
【氏名】セネ、マーク
(72)【発明者】
【氏名】オグロー、リャン
(72)【発明者】
【氏名】トンプソン、アラン
(72)【発明者】
【氏名】シロブリェヴィッチ、イェレナ
(72)【発明者】
【氏名】リー、テレンス
【テーマコード(参考)】
5J070
【Fターム(参考)】
5J070AE01
5J070AE02
5J070AE07
5J070AF08
5J070AK14
5J070BE02
(57)【要約】
【課題】衛星撮像のためのシステムおよび方法が提供される。
【解決手段】本システムは、第1の衛星、後続衛星、および地上端末を含む。第1の衛星は、第1の撮像位置において第1の所定の信号周波数帯域で合成開口レーダ(SAR)画像データを取得し、SAR画像データを地上端末に送信する。地上端末は、SAR画像データから第2の撮像位置を決定し、第2の撮像位置を後続衛星に送信する。後続衛星は、第2の撮像位置で第2の所定の信号周波数帯域でより高い解像度の画像データを取得し、その画像データを地上端末に送信する。第1の衛星が画像データをキャプチャし、画像データをオンボードで処理して、地上端末または第2の衛星上の受信端末に送信される処理済み生成物を生成する、衛星撮像のためのシステムおよび方法も提供される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1の衛星、後続衛星、および地上セグメントを備え、
前記第1の衛星は、
第1の撮像位置において第1の所定の信号周波数帯域で合成開口レーダ(SAR)画像データを収集し、前記第1の撮像位置は第1の座標によって定められ、
第1のダウンリンクを介して前記SAR画像データを前記地上セグメントに送信する、
ように構成され、
前記地上セグメントは、
受信した前記SAR画像データから第2の撮像位置を決定し、第2の撮像位置は第2の座標によって定められ、
第2のアップリンクを介して前記後続衛星に前記第2の撮像位置を送信する、
ように構成され、
前記後続衛星は、
前記第2の撮像位置において第2の所定の信号周波数帯域で画像データを収集し、前記画像データは前記SAR画像データより高い解像度を有し、
第2のダウンリンクを介して前記地上セグメントに前記画像データを送信する、
ように構成される、衛星撮像システム。
【請求項2】
前記地上端末は、前記画像データを使用して画像コンテキストを決定するようにさらに構成される、請求項1に記載のシステム。
【請求項3】
前記第1の衛星は、傾斜軌道にある、請求項1に記載のシステム。
【請求項4】
前記傾斜軌道は、約53.5度の軌道傾斜角を有する、請求項3に記載のシステム。
【請求項5】
前記第1の衛星は、緯度約±62.5度の緯度範囲にアクセスするように構成されている、請求項3に記載のシステム。
【請求項6】
前記第2の衛星は、前記第1の衛星と同じ傾斜軌道にある、請求項3に記載のシステム。
【請求項7】
前記第1の衛星は、C帯域の周波数を有するSAR画像データを取得するように構成され、前記第2の衛星は、X帯域の周波数を有する画像データを取得するように構成される、請求項1に記載のシステム。
【請求項8】
第2の後続衛星をさらに含み、前記地上端末は、前記第2の撮像位置を前記後続衛星または前記第2の後続衛星に送信するかどうかを決定するようにさらに構成される、請求項1に記載のシステム。
【請求項9】
前記地上端末は、前記画像データを機械学習モデルへの入力として提供することによって前記画像コンテキストを決定し、前記機械学習モデルは前記画像コンテキストを出力として生成する、請求項2に記載のシステム。
【請求項10】
前記後続衛星によって取得された前記画像データは、第2のSAR画像データである、請求項1に記載のシステム。
【請求項11】
前記後続衛星によって取得された前記画像データは、光学画像データである、請求項1に記載のシステム。
【請求項12】
異なる解像度を有する衛星を使用した衛星撮像を含む方法であって、
第1の衛星を介して第1の撮像座標でC帯域SAR画像データを取得するステップと、
前記第1の衛星から地上端末に前記C帯域SAR画像データを送信するステップと、
地上端末で、前記C帯域SAR画像データを使用して第2の撮像座標を決定するステップと、
前記第2の撮像座標を第2の衛星に送信するステップと、
前記第2の衛星を使用して前記第2の撮像座標でX帯域SAR画像データを取得するステップと、
を含む、方法。
【請求項13】
前記X帯域SAR画像データを前記第2の衛星から前記地上端末に送信するステップをさらに含む、請求項11に記載の方法。
【請求項14】
前記X帯域SAR画像データを分析して画像コンテキストを決定するステップをさらに含む、請求項12に記載の方法。
【請求項15】
前記X帯域SAR画像データを分析するステップは、機械学習モデルへの入力として前記X帯域SAR画像データを提供するステップ、および前記機械学習モデルを使用して前記画像コンテキストを生成するステップを含む、請求項13に記載の方法。
【請求項16】
前記分析するステップは、前記X帯域SAR画像データの人間可読表現を生成するステップと、前記人間可読表現をユーザ端末上で実行されるユーザインターフェースに提示するステップと、を含む、請求項13に記載の方法。
【請求項17】
前記C帯域SAR画像データは、第1のアップリンクを介して前記地上端末から第1の撮像タスクデータを受信する前記第1の衛星に応答して取得され、前記第1の撮像タスクデータは前記第1の撮像座標を含む、請求項11に記載の方法。
【請求項18】
前記第1の衛星は、傾斜軌道にある、請求項11に記載の方法。
【請求項19】
前記傾斜軌道は、約53.5度の軌道傾斜角を有する、請求項17に記載の方法。
【請求項20】
前記第1の衛星は、緯度約±62.5度の緯度範囲にアクセスするように構成される、請求項17に記載の方法。
【請求項21】
前記第2の衛星は、前記第1の衛星と同じ傾斜軌道にある、請求項17に記載の方法。
【請求項22】
前記第2の撮像座標を送信する前に、X帯域SAR画像データを取得するように構成された複数の衛星から前記第2の衛星を選択するステップをさらに含む、請求項11に記載の方法。
【請求項23】
衛星ベースの監視方法であって、
第1の監視衛星のアップリンクサブシステムで、外部送信端末から撮像タスク命令を受信するステップと、
第1の監視衛星上の画像センサを介して、前記撮像タスク命令によって定められた領域の画像データを取得するステップと、
前記第1の監視衛星上の処理部によって、キャプチャした画像データを処理して、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物にするステップであって、
前記画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出するステップと、
検出したオブジェクトの属性を記述するデータを含む検出オブジェクト報告を生成するステップと、
前記画像データから検出したオブジェクトの画像チップを生成するステップであって、前記処理済みの生成物は、前記検出オブジェクト報告及び前記画像チップを含む、ステップと、
を含む、ステップと、
前記第1の監視衛星のダウンリンクサブシステムを介して所定の信号周波数帯域のRF信号として前記処理済みの生成物を受信端末に送信するステップと、
を含む、方法。
【請求項24】
前記属性は、前記検出したオブジェクトのサイズ、前記検出したオブジェクトの地理的位置、前記検出したオブジェクトの推定速度、前記検出したオブジェクトの方位、および前記検出したオブジェクトの特徴のうちのいずれか1つまたは複数を含む、請求項23に記載の方法。
【請求項25】
前記少なくとも1つのオブジェクトクラスは、車両のクラスである、請求項23に記載の方法。
【請求項26】
前記車両のクラスは、船舶である、請求項26に記載の方法。
【請求項27】
前記車両のクラスは、陸上車両である、請求項26に記載の方法。
【請求項28】
前記車両のクラスは、宇宙探査機である、請求項26に記載の方法。
【請求項29】
前記画像データ内の少なくとも1つのオブジェクトクラスに属する前記オブジェクトを検出するステップは、前記処理部によって実装されるコンピュータビジョンオブジェクト検出技術を介して実行される、請求項23に記載の方法。
【請求項30】
前記キャプチャした画像データを処理するステップは、前記処理部を介して前記画像データ内の1つまたは複数の領域またはオブジェクトをマスクすることによって、前記画像データのマスクされた画像データを生成するステップを含み、
前記画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出するステップは、前記マスクされた画像データに対して実行される、請求項23に記載の方法。
【請求項31】
前記少なくとも1つのオブジェクトクラスは、船舶のクラスであり、
前記キャプチャした画像データを処理するステップは、前記オブジェクトを検出する前に、前記処理部によって前記画像データに対してランドマスキング操作を実行するステップであって、前記ランドマスキング操作は、前記画像データ内の少なくとも1つのランドマスをマスキングする、ステップを含む、請求項23に記載の方法。
【請求項32】
前記検出したオブジェクトの速度を推定するステップをさらに含み、前記オブジェクトの推定された速度は、前記検出オブジェクト報告に含まれる、請求項23に記載の方法。
【請求項33】
前記キャプチャした画像データを処理して処理済みの生成物にするステップは、データ圧縮技術に従って前記画像チップを圧縮して圧縮画像チップを生成するステップをさらに含み、前記処理済みの生成物に含まれる前記画像チップは、前記圧縮画像チップである、請求項23に記載の方法。 .
【請求項34】
前記画像データ内の前記少なくとも1つのオブジェクトクラスに属する前記オブジェクトを検出するステップは、前記検出したオブジェクトを含む前記画像データの一部を定めるバウンディングボックス座標を生成するステップを含み、前記バウンディングボックス座標は、前記検出したオブジェクトの前記画像チップを生成するときに使用される、請求項23に記載の方法。
【請求項35】
前記画像センサは、合成開口レーダ(SAR)センサであり、前記画像データは、SARデータである、請求項23に記載の方法。
【請求項36】
前記検出したオブジェクトの属性を相関データと比較して、前記検出したオブジェクトを確認または拒否するステップをさらに含む、請求項23に記載の方法。
【請求項37】
前記相関データとの比較に基づいて前記検出オブジェクトが拒否された場合、前記検出オブジェクト報告および前記検出オブジェクトの画像チップを前記処理済みの生成物から除去するステップをさらに含む、請求項36に記載の方法。
【請求項38】
前記検出したオブジェクトは船舶であり、前記相関データは自動識別システム(AIS)船舶追跡データであり、前記比較は、前記船舶が前記AIS船舶追跡データに従って送信船舶であるかどうかを決定するために実行される、請求項36に記載の方法。
【請求項39】
前記検出したオブジェクトの属性を前記相関データと比較するステップは、前記処理部を使用して前記第1の衛星に搭載されて実行される、請求項36に記載の方法。
【請求項40】
前記受信端末は、地上端末である、請求項36に記載の方法。
【請求項41】
前記受信端末は、軌道上の第2の衛星にある、請求項36に記載の方法。
【請求項42】
前記第2の衛星は、前記第1の衛星の軌道よりも高い軌道にある、請求項41に記載の方法。
【請求項43】
前記第1の衛星の軌道は地球低軌道(LEO)であり、前記第2の衛星の軌道は静止軌道(GEO)である、請求項42に記載の方法。
【請求項44】
前記第2の衛星の受信端末は、応答エージェント上の他の受信端末と通信して、前記検出したオブジェクトに関する情報を通信するように構成される、請求項41に記載の方法。
【請求項45】
船舶活動の衛星ベースの監視方法であって、
第1の監視衛星のアップリンクサブシステムで、外部送信端末から撮像タスク命令を受信するステップと、
前記第1の監視衛星のSARセンサを介して撮像タスク命令によって定められた領域の合成開口レーダ(SAR)データをキャプチャするステップであって、前記領域は、海域を含む、ステップと、
前記第1の監視衛星の処理部によって、キャプチャした前記SARデータを処理して、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物にするステップであって、
前記SARデータにおいて船舶を検出するステップと、
検出した前記船舶の属性を記述するデータを含む検出船舶報告を生成するステップと、
前記SARデータから前記検出した船舶の画像チップを生成するステップであって、前記処理済みの生成物は前記検出船舶報告及び前記画像チップを含む、ステップと、
を含む、ステップと、
前記第1の監視衛星のダウンリンクサブシステムを介して所定の信号周波数帯域のRF信号として前記処理済みの生成物を受信端末に送信するステップと、
を含む、方法。
【請求項46】
前記SARデータにランドマスキングを実行して前記SARデータに存在するランドマスをマスキングしてマスキングSARデータを生成するステップと、前記マスキングSARデータ内の前記船舶を検出するステップと、をさらに含む、請求項45に記載の方法。
【請求項47】
前記SARデータから決定された前記検出した船舶に関するデータを自動識別システム(AIS)船舶追跡データと比較して、前記検出した船舶が前記AIS船舶追跡データに従って送信船舶と一致するかどうかを決定するステップをさらに含む、請求項45に記載の方法。
【請求項48】
前記AIS船舶追跡データは、前記第1の衛星にオンボードで格納され、前記SARデータから決定された前記検出した船舶に関する前記データを前記AIS船舶追跡データと比較するステップは、前記処理部によって実行される、請求項45に記載の方法。
【請求項49】
命令を受信するためのアップリンクサブシステムと処理された生成物を送信するためのダウンリンクサブシステムとを含む通信サブシステムと、
前記命令に従って地球観測データを取得するように構成された地球観測センサを含む地球観測サブシステムと、
前記地球観測サブシステムから前記地球観測データを受信し、地球観測データから処理された生成物を生成するように構成されたプロセッサと、
を含む、第1の衛星と、
前記第1の衛星に命令を送信するためのアップリンクサブシステムを含む通信サブシステムとタスクを受信する命令受信部とを含む第1の地上端末と、
を含む、地球観測システム。
【請求項50】
前記第1の衛星から前記処理済みの生成物を受信するためのダウンリンクサブシステムを含む通信サブシステムを含む第2の地上端末と、
前記第2の地上端末から前記処理済みの生成物を受信するための通信サブシステムを備える第3の地上端末と、
前記第3の地上端末から前記処理済みの生成物を受信するためのアップリンクサブシステムと、前記処理済みの生成物を応答エージェントに送信するためのダウンリンクサブシステムとを含む通信サブシステムを含む第2の衛星と、
をさらに含む、請求項49に記載のシステム。
【請求項51】
通信サブシステムを含む第2の衛星であって、前記第3の地上端末から前記処理済みの生成物を受信するためのアップリンクサブシステムと、前記処理済みの生成物を応答エージェントに送信するためのダウンリンクサブシステムと、を含む、第2の衛星をさらに含む、請求項49に記載のシステム。
【請求項52】
前記命令は、キャプチャ位置データを含む、請求項49から51のいずれか一項に記載のシステム。
【請求項53】
前記命令は、対象オブジェクトを含む、請求項49から52のいずれか一項に記載のシステム。
【請求項54】
前記処理済みの生成物の出力は、前記キャプチャ内の全ての対象オブジェクトの位置を含む、請求項49から53のいずれか一項に記載のシステム。
【請求項55】
前記処理済みの生成物は、各対象オブジェクトの画像チップを含む、請求項54に記載のシステム。
【請求項56】
前記処理済みの生成物は、オブジェクトの特徴付けを含む、請求項54から55のいずれか一項に記載のシステム。
【請求項57】
前記対象オブジェクトの出力は、対象速度を含む、請求項54から56のいずれか一項に記載のシステム。
【請求項58】
前記応答エージェントは、船舶である、請求項50から59のいずれか一項に記載のシステム。
【請求項59】
前記応答エージェントは、航空機である、請求項50から59のいずれか一項に記載のシステム。
【請求項60】
前記プロセッサは、フィールドプログラム可能なゲートアレイを備える、請求項49から59のいずれか一項に記載のシステム。
【請求項61】
前記第1の衛星通信サブシステムおよび第1の地上端末通信サブシステムはS帯域電磁スペクトルを通じて通信する、請求項49から60のいずれか一項に記載のシステム。
【請求項62】
前記地球観測サブシステムは合成開口レーダサブシステムを含む、請求項49から61のいずれか一項に記載のシステム。
【請求項63】
前記プロセッサは、前記キャプチャを処理する前にマスキング操作を実行する、請求項49から62のいずれか一項に記載のシステム。
【請求項64】
前記処理済みの生成物は、送信前に暗号化される、請求項49から63のいずれか一項に記載のシステム。
【請求項65】
前記第1の衛星は、地球低軌道にある、請求項49から64のいずれか一項に記載のシステム。
【請求項66】
前記第2の衛星は、静止軌道にある、請求項50から65のいずれか一項に記載のシステム。
【請求項67】
第1の地上端末で命令を受信するステップと、
前記第1の地上端末から第1の衛星に命令を送信するステップであって、前記第1の衛星は、プロセッサと地球観測部とを備える、ステップと、
前記地球観測部を操作して地球観測データを取得するステップと、
前記プロセッサを使用して地球観測データを処理し、処理済みの生成物を生成するステップと、
を含む、地球観測方法。
【請求項68】
前記処理済みの生成物を第2の地上端末に送信するステップと、
前記処理済みの生成物を前記第2の地上端末から第3の地上端末に送信するステップと、
前記処理済みの生成物を前記第3の地上端末から第2の衛星に送信するステップと、
前記処理済みの生成物を前記第2の衛星から応答エージェントに送信するステップと、
をさらに含む、請求項67に記載の方法。
【請求項69】
前記処理済みの生成物を前記第1の衛星から第2の衛星に送信するステップと、
前記処理済みの生成物を前記第2の衛星から応答エージェントに送信するステップと、
をさらに含む、請求項67に記載の方法。
【請求項70】
前記処理済みの生成物は、クラウドサーバを介して前記第2の地上端末から前記第3の地上端末に送信される、請求項68に記載の方法。
【請求項71】
地球観測部とプロセッサとを備える衛星であって、前記衛星は、地上端末から命令を受信し、前記命令に従って前記地球観測部を操作して地球観測データを取得し、前記プロセッサを使用してデータを処理して処理済みの生成物を生成するように構成される、衛星。
【請求項72】
前記衛星は、前記処理済みの生成物を第2の地上端末に送信するようにさらに構成される、請求項71に記載の衛星。
【請求項73】
前記衛星は、前記処理済みの生成物を第2の衛星に送信するようにさらに構成される、請求項71に記載の衛星。
【請求項74】
プロセッサおよび地球観測部を備える第1の衛星上で実行される地球観測の方法であって、
第1の地上端末から命令を受信するステップと、
前記地球観測部を操作して地球観測データを取得するステップと、
前記プロセッサを使用して前記地球観測データを処理し、処理済みの生成物を生成するステップと、
を含む、方法。
【請求項75】
前記処理済みの生成物を第2の地上端末に送信するステップをさらに含む、請求項74に記載の方法。
【請求項76】
前記処理済みの生成物を第2の衛星に送信するステップをさらに含む、請求項74に記載の方法。
【請求項77】
衛星によってキャプチャされた画像データを、前記キャプチャされた画像データよりも低い帯域幅を持つ処理済みの生成物に処理するように構成された処理部であって、前記処理は、
画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出することと、
前記検出したオブジェクトの属性を記述するデータを含む検出オブジェクト報告を生成することと、
前記画像データから前記検出したオブジェクトの画像チップを生成することと、を含む、前記処理済みの生成物は、前記検出オブジェクト報告と前記画像チップとを含む、処理部と、
前記処理済みの生成物を受信端末に送信するように構成されたダウンリンクサブシステムと、
を含む衛星と、
前記処理済みの生成物を受信するように構成された受信端末と、
を含む、システム。
【請求項78】
前記受信端末は、地上端末である、請求項77に記載のシステム。
【請求項79】
前記受信端末は、前記処理済みの生成物を応答エージェントに中継するように構成された第2の衛星に実装される、請求項77に記載のシステム。
【請求項80】
撮像タスク命令によって定められた領域の画像データを取得するように構成された画像センサと、
衛星によってキャプチャされた画像データを処理して、前記キャプチャされた画像データよりも低い帯域幅を持つ処理済みの生成物にするように構成された処理部であって、前記処理は、
前記画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出することと、
前記検出したオブジェクトの属性を記述するデータを含む検出オブジェクト報告を生成することと、
前記画像データから前記検出したオブジェクトの画像チップを生成することと、を含み、前記処理済みの生成物は、前記検出オブジェクト報告と前記画像チップとを含む、処理部と、
前記処理済みの生成物を受信端末に送信するように構成されたダウンリンクサブシステムと、
を含む、衛星。
【請求項81】
前記画像センサは合成開口レーダ(SAR)センサであり、前記画像データはSARデータである、請求項80に記載の衛星。
【請求項82】
衛星で使用するためのプロセッサであって、
前記プロセッサは、前記衛星によってキャプチャされた画像データを処理して、前記キャプチャされた画像データよりも低い帯域幅を有する処理済みの生成物にするように構成され、前記処理は、
前記画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出することと、
前記検出したオブジェクトの属性を記述するデータを含む検出オブジェクト報告を生成することと、
前記画像データから検出したオブジェクトの画像チップを生成することと、を含み、
前記処理済みの生成物は、前記検出オブジェクト報告と前記画像チップとを含む、プロセッサ。
【請求項83】
前記属性は、前記検出したオブジェクトのサイズ、前記検出したオブジェクトの地理的位置、前記検出したオブジェクトの推定速度、前記検出したオブジェクトの方位、および前記検出したオブジェクトの特徴付けのうちのいずれか1つまたは複数を含む、請求項82に記載の方法。
【請求項84】
前記処理は、前記検出したオブジェクトの速度を推定することと、前記推定された速度を前記処理済みの生成物に含めることと、をさらに含む、請求項82に記載のシステム。
【請求項85】
衛星で使用するためのプロセッサであって、
前記プロセッサは、前記衛星によってキャプチャされた合成開口レーダ(SAR)データを処理して、前記キャプチャしたSARデータよりも低い帯域幅を有する処理済みの生成物にするように構成され、前記処理は、
前記SARデータ内の少なくとも1つのオブジェクトクラスに属する船舶を検出することと、
前記検出した船舶の属性を記述するデータを含む検出船舶報告を生成することと、
前記SARデータから前記検出した船舶の画像チップを生成することと、を含み、
前記処理済みの生成物は、前記検出船舶報告と前記画像チップとを含む、プロセッサ。
【請求項86】
前記属性は、前記検出した船舶のサイズ、前記検出した船舶の地理的位置、前記検出した船舶の推定速度、前記検出した船舶の船首方位、および前記検出船舶の特徴付けのうちのいずれか1つまたは複数を含む、請求項85に記載のシステム。
【請求項87】
前記処理は、前記検出された船舶の速度を推定することと、前記推定された速度を前記処理済みの生成物に含めることと、をさらに含む、請求項85に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
以下は、一般に、地球観測および衛星撮像に関し、より具体的には、複数の衛星を使用する、および/またはオンボードの画像データ処理を伴う衛星ベースの観測および監視に関する。
【背景技術】
【0002】
地上および航空機のプラットフォームが使用される場合もあるが、衛星は、今日一般的に使用されているリモートセンシング画像の多くを提供する。衛星は、地球表面のリモートセンシングに特に役立ついくつかの独自の特性を有する。このようなリモートセンシングを実行するための1つのアプローチは、合成開口レーダ(SAR)撮像技術の使用を含む。
【0003】
衛星撮像が使用される特定の領域の1つは、地球観測である。地球観測における様々な問題は、船舶の検出(非送信の暗黒船、違法な漁業活動などを検出する機能を含む)と、土地情報及び変化の検出と、資産及びインフラストラクチャの監視と、表面変形の監視と、油汚染の監視と、洪水及び地震の監視を含む人道支援及び災害救援(HADR)と、農業の監視と、林業の監視と、などを含む衛星撮像から恩恵を受け得る。
【0004】
衛星ベースの撮像の需要が高まるにつれて、既存のものを改善し得る新しいシステム、方法、および衛星が望まれている。
【0005】
さらに、生のキャプチャしたデータから有用な知識を抽出するために、キャプチャした観測データを処理することが有利であり得る。例えば、キャプチャしたデータを処理することにより、車両、地理情報、または他の種類の情報など、キャプチャ内の特定のタイプのオブジェクトの数および位置などの情報は、キャプチャしたデータから抽出され得る。キャプチャしたデータは、処理のために観測端末から地上端末または別のリモート端末に送信され得る。キャプチャしたデータは、一般的にデータサイズが大きく、送信に時間を要し得る。送信時間が長いと、エンドユーザへの待ち時間が長くなり得る。キャプチャしたデータから有用な知識を抽出する前に大量のデータを送信する必要がないように、キャプチャしたデータを処理することが有利であり得る。
【0006】
キャプチャしたデータのデータサイズが大きいことは、さらなる処理のために別の端末に送信する前に、データ圧縮を必要とし得る。ロッシ圧縮スキームを使用すると、キャプチャ解像度が実質的に低下する場合がある。有効解像度の低下は、キャプチャしたデータの可能な使用例を低下し得る。
【0007】
衛星などの観測プラットフォームに搭載されたデータの処理は、リモートでデータを処理するよりも限定的または複雑になり得る。オンボード処理は、処理能力などのオンボードハードウェア機能によって制限され得る。専用処理ハードウェアが搭載されている場合、専用処理ハードウェアは再構成できない可能性があるため、ミッションの柔軟性が低下し得る。同様に、専用処理ハードウェアは、衛星の質量を増加させ、打ち上げコストを増加させたり、衛星の打ち上げを複雑にし得る。
【0008】
したがって、既存のシステムおよび方法の欠点の少なくともいくつかを克服する地球観測のための改善されたシステムおよび方法が必要とされている。
【発明の概要】
【0009】
衛星撮像システムが提供される。このシステムは、第1の衛星、後続衛星(trailing satellite)、および地上端末を含む。第1の衛星は、第1の撮像位置で第1の所定の信号周波数帯域で合成開口レーダ(SAR)画像データを取得し、SAR画像データを第1のダウンリンクを介して地上端末に送信するように構成される。第1の撮像位置は第1の座標によって定められる。地上端末は、受信したSAR画像データから第2の撮像位置を決定し、第2のアップリンクを介して後続衛星に第2の撮像位置を送信するように構成される。第2の撮像位置は第2の座標によって定められる。後続衛星は、第2の撮像位置において第2の所定の信号周波数帯域で画像データを取得し、第2のダウンリンクを介して地上端末に画像データを送信するように構成される。画像データはSAR画像データよりも高い解像度を有する。
【0010】
地上端末は、画像データを使用して画像コンテキストを決定するようにさらに構成され得る。
【0011】
第1の衛星は、傾斜軌道にあり得る。
【0012】
傾斜軌道は、約53.5度の軌道傾斜角を有し得る。
【0013】
第1の衛星は、緯度約±62.5度の緯度範囲にアクセスするように構成され得る。
【0014】
第2の衛星は、第1の衛星と同じ傾斜軌道にあり得る。
【0015】
第1の衛星は、C帯域の周波数を有するSAR画像データを取得するように構成され、第2の衛星は、X帯域の周波数を有する画像データを取得するように構成され得る。
【0016】
システムは、第2の後続衛星をさらに含むことができる。地上端末は、第2の撮像位置を後続の衛星または第2の後続の衛星に送信するかどうかを決定するようにさらに構成されることができる。
【0017】
地上端末は機械学習モデルへの入力として画像データを提供することによって画像コンテキストを決定することができ、機械学習モデルは出力として画像コンテキストを生成する。
【0018】
後続衛星によって取得された画像データは、第2のSAR画像データであり得る。
【0019】
後続衛星が取得した画像データは、光学画像データであり得る。
【0020】
異なる解像度を有する衛星を使用した衛星撮像を含む方法も提供される。この方法は、第1の衛星を介して第1の撮像座標でC帯域SAR画像データを取得するステップと、C帯域SAR画像データを第1の衛星から第1の無線周波数(RF)信号として地上端末に送信するステップと、地上端末で、C帯域SAR画像データを使用して第2の撮像座標を決定するステップと、第2の撮像座標を第2のRF信号として第2の衛星に送信するステップと、第2の衛星を使用して第2の撮像座標でX帯域SAR画像データを取得するステップと、を含む。
【0021】
この方法は、X帯域SAR画像データを第2の衛星から地上端末に第3のRF信号として送信するステップをさらに含むことができる。
【0022】
この方法は、X帯域SAR画像データを分析して画像コンテキストを決定するステップをさらに含むことができる。
【0023】
X帯域SAR画像データを分析するステップは、機械学習モデルへの入力としてX帯域SAR画像データを提供するステップ、および機械学習モデルを使用して画像コンテキストを生成するステップを含み得る。
【0024】
X帯域SAR画像データを分析するステップは、X帯域SAR画像データの人間可読表現を生成するステップ、およびユーザ端末上で実行されるユーザインターフェースにおいて人間可読表現を提示するステップを含み得る。
【0025】
C帯域SAR画像データは、第1の衛星が第1のアップリンクを介して地上端末から第1撮像タスクデータを受信することに応答して取得され得る。第1の撮像タスクデータは、第1の撮像座標を含み得る。
【0026】
第1の衛星は、傾斜軌道にあり得る。
【0027】
傾斜軌道は、約53.5度の軌道傾斜角を有することができる。
【0028】
第1の衛星は、緯度約±62.5度の緯度範囲にアクセスするように構成されることができる。
【0029】
第2の衛星は、第1の衛星と同じ傾斜軌道にあり得る。
【0030】
この方法は、第2の撮像座標を送信する前に、X帯域SAR画像データを取得するように構成された複数の衛星から第2の衛星を選択することをさらに含み得る。
【0031】
衛星ベースの監視方法が提供される。この方法は、第1の監視衛星のアップリンクサブシステムで外部送信端末から撮像タスク命令を受信するステップと、第1の監視衛星上の画像センサを介して撮像タスク命令によって定められた領域の画像データをキャプチャするステップと、第1の監視衛星上の処理部によってキャプチャした画像データを、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物に処理するステップと、第1の監視衛星のダウンリンクサブシステムを介して、処理済みの生成物を所定の信号周波数帯域のRF信号として受信端末に送信するステップと、を含む。キャプチャした画像データを、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物に処理するステップは、画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出するステップと、検出したオブジェクトの属性を記述するデータを含む検出オブジェクト報告を生成するステップと、画像データから検出したオブジェクトの画像チップを生成するステップと、を含む。処理済みの生成物は、検出オブジェクト報告及び画像チップを含み得る。
【0032】
属性は、検出したオブジェクトのサイズ、検出したオブジェクトの地理的位置、検出したオブジェクトの推定速度、検出したオブジェクトの方位、および検出したオブジェクトの特徴付けのうちの任意の1つまたは複数を含み得る。
【0033】
少なくとも1つのオブジェクトクラスは、車両のクラスであり得る。
【0034】
車両のクラスは、船舶であり得る。
【0035】
車両のクラスは、陸上車両であり得る。
【0036】
車両のクラスは、宇宙探査機であり得る。
【0037】
画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出するステップは、処理部によって実装されるコンピュータビジョンオブジェクト検出技術を介して実行され得る。
【0038】
キャプチャした画像データを処理するステップは、処理部を介して画像データ内の1つまたは複数の領域またはオブジェクトをマスクすることによって、画像データのマスクされた画像データを生成するステップをさらに含むことができる。画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出するステップは、マスクされた画像データに対して実行される。
【0039】
少なくとも1つのオブジェクトクラスは、船舶のクラスであり得る。キャプチャした画像データを処理するステップは、オブジェクトを検出する前に、処理部によって画像データに対してランドマスキング操作を実行するステップをさらに含み得る。ランドマスキング操作は、画像データ内の少なくとも1つのランドマス(land mass)をマスクする。
【0040】
この方法は、検出したオブジェクトの速度を推定するステップと、検出オブジェクト報告に推定されたオブジェクトの速度を含めるステップと、をさらに含むことができる。
【0041】
キャプチャした画像データを処理済みの生成物に処理するステップは、データ圧縮技術に従って画像チップを圧縮して圧縮画像チップを生成するステップをさらに含み、処理した生成物に含まれる画像チップは圧縮画像チップである。
【0042】
画像データ内の少なくとも1つのオブジェクトクラスに属するオブジェクトを検出するステップは、検出したオブジェクトを含む画像データの一部を定めるバウンディングボックス座標(bounding box coordinate)を生成するステップ、および検出したオブジェクトの画像チップを生成するときにバウンディングボックスの座標を使用するステップを含み得る。
【0043】
画像センサは合成開口レーダ(SAR)センサであってもよく、画像データはSARデータであってもよい。
【0044】
この方法は、検出したオブジェクトを確認または拒否するために、検出したオブジェクトの属性を相関データと比較するステップをさらに含むことができる。
【0045】
この方法は、相関データとの比較に基づいて検出したオブジェクトが拒否された場合、検出オブジェクト報告および検出したオブジェクトの画像チップを処理済みの生成物から除去するステップをさらに含むことができる。
【0046】
検出したオブジェクトは船舶であってもよく、相関データは自動識別システム(AIS)船舶追跡データであってもよく、比較は、船舶がAIS船舶追跡データに従って送信船舶であるかどうかを決定するために実行されてもよい。
【0047】
検出したオブジェクトの属性を相関データと比較するステップは、処理部を使用する第1の衛星上でオンボードで実行され得る。
【0048】
受信端末は、地上端末であり得る。
【0049】
受信端末は、軌道上の第2の衛星上にあり得る。
【0050】
第2の衛星は、第1の衛星の軌道よりも高い軌道にあり得る。
【0051】
第1の衛星の軌道は地球低軌道(LEO:low-earth orbit)であってもよく、第2の衛星の軌道は静止軌道(GEO:geosynchronous orbit)であってもよい。
【0052】
第2の衛星の受信端末は、応答エージェント上の別の受信端末と通信して、検出したオブジェクトに関する情報を通信するように構成され得る。
【0053】
船舶活動の衛星ベースの監視方法が提供される。この方法は、第1の監視衛星のアップリンクサブシステムで外部送信端末から撮像タスク命令を受信するステップと、第1の監視衛星上のSARセンサを介して撮像タスク命令によって定められた領域の合成開口レーダ(SAR)データをキャプチャするステップであって、領域は、海域を含む、キャプチャするステップと、第1の監視衛星の処理部によって、キャプチャしたSARデータを、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物に処理するステップと、検出した船舶の属性を記述するデータを含む検出船舶報告を生成するステップと、SARデータから検出した船舶の画像チップを生成するステップと、を含む。処理済みの生成物は、検出船舶報告及び画像チップを含む。この方法は、第1の監視衛星のダウンリンクサブシステムを介して、処理済みの生成物を所定の信号周波数帯域のRF信号として受信端末に送信するステップをさらに含む。
【0054】
この方法はさらに、SARデータにランドマスキングを実行して、SARデータに存在するランドマスをマスキングしてマスキングSARデータを生成するステップと、マスキングSARデータ内の船舶を検出するステップとを含む。
【0055】
この方法はさらに、SARデータから決定された検出した船舶に関するデータを自動識別システム(AIS)船舶追跡データと比較して、AIS船舶追跡データに従って、検出した船舶が送信船舶と一致するかどうかを決定するステップを含む。
【0056】
AIS船舶追跡データは、第1の衛星にオンボードで格納され、SARデータから決定された検出した船舶に関するデータとAIS船舶追跡データとの比較は、処理部によって実行され得る。
【0057】
地球観測システムが提供される。地球観測システムは、命令を受信するためのアップリンクサブシステムと処理済みの生成物を送信するためのダウンリンクサブシステムとを含む通信サブシステムと、命令に従って地球観測データを取得するように構成された地球観測センサを含む地球観測サブシステムと、地球観測サブシステムから地球観測データを受信し、地球観測データから処理済みの生成物を生成するように構成されたプロセッサと、第1の地上端末に命令を送信するためのアップリンクサブシステムとタスクを受信するための命令受信部とを含む通信サブシステムを含む第1の地上端末と、を含む。
【0058】
システムは、第1の衛星から処理済みの生成物を受信するためのダウンリンクサブシステムを含む通信サブシステムを含む第2の地上端末と、第2の地上端末から処理済みの生成物を受信するための通信サブシステムを含む第3の地上端末と、第3の地上端末から処理済みの生成物を受信するためのアップリンクサブシステムと、処理済みの生成物を応答エージェントに送信するためのダウンリンクサブシステムとを含む通信サブシステムを含む第2の衛星と、をさらに含むことができる。
【0059】
システムは、処理済みの生成物を第3の地上端末から受信するためのアップリンク サブシステムと処理済みの生成物を応答エージェントに送信するためのダウンリンクサブシステムとを含む通信サブシステムを含む第2の衛星をさらに含むことができる。
【0060】
命令は、キャプチャ位置データを含み得る。
【0061】
命令は、対象オブジェクトを含み得る。
【0062】
処理済みの生成物の出力は、キャプチャ内の全ての対象オブジェクトの位置を含み得る。
【0063】
処理済みの生成物は、各対象オブジェクトの画像チップを含み得る。
【0064】
処理済みの生成物は、オブジェクトの特徴付けを含み得る。
【0065】
対象オブジェクトの出力は、オブジェクトの速度を含み得る。
【0066】
応答エージェントは、船舶であり得る。
【0067】
応答エージェントは、航空機であり得る。
【0068】
プロセッサは、フィールドプログラム可能なゲートアレイを含み得る。
【0069】
第1の衛星の通信サブシステムおよび第1の地上端末の通信サブシステムは、S帯域電磁スペクトルを通じて通信することができる。
【0070】
地球観測サブシステムは、合成開口レーダサブシステムを含むことができる。
【0071】
プロセッサは、キャプチャを処理する前にマスキング操作を実行し得る。
【0072】
処理済みの生成物は、送信前に暗号化され得る。
【0073】
第1の衛星は、地球低軌道にあり得る。
【0074】
第2の衛星は、静止軌道にあり得る。
【0075】
地球観測の方法が提供される。この方法は、第1の地上端末で命令を受信するステップと、第1の地上端末から第1の衛星に命令を送信するステップであって、第1の衛星は、プロセッサと地球観測部とを含む、送信するステップと、地球観測部を操作して地球観測データを取得するステップと、プロセッサを使用して地球観測データを処理し、処理済みの生成物を生成するステップと、を含む。
【0076】
この方法は、処理済みの生成物を第2の地上端末に送信するステップと、処理済みの生成物を第2の地上端末から第3の地上端末に送信するステップと、処理済みの生成物を第3の地上端末から第2の衛星に送信するステップと、第2の衛星から応答エージェントに処理済みの生成物を送信するステップと、をさらに含むことができる。
【0077】
この方法は、第2の衛星から応答エージェントに処理済みの生成物を送信するステップをさらに含むことができる。
【0078】
処理済みの生成物は、クラウドサーバを介して第2の地上端末から第3の地上端末に送信され得る。
【0079】
地球観測部およびプロセッサを備える衛星が提供される。衛星は、地上端末から命令を受信し、命令に応じて地球観測部を操作して地球観測データを取得し、そのデータをプロセッサで処理して処理済みの生成物を生成するように構成されている。
【0080】
衛星は、処理済みの生成物を第2の地上端末に送信するようにさらに構成され得る。
【0081】
衛星は、処理済みの生成物を第2の衛星に送信するようにさらに構成され得る。
【0082】
第1の衛星で実行される地球観測の方法が提供される。第1の衛星は、プロセッサおよび地球観測部を含む。この方法は、第1の地上端末から命令を受信するステップと、地球観測部を操作して地球観測データを取得するステップと、プロセッサを使用して地球観測データを処理し、処理済みの生成物を生成するステップと、を含む。
【0083】
この方法は、処理済みの生成物を第2の地上端末に送信するステップをさらに含むことができる。
【0084】
この方法は、処理済みの生成物を第2の衛星に送信するステップをさらに含むことができる。
【0085】
衛星ベースの監視システムも提供される。このシステムは、衛星と受信端末とを含む。衛星は、処理部とダウンリンクサブシステムとを含む。処理部は、衛星によってキャプチャした画像データを、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物に処理するように構成されている。処理することは、検出したオブジェクトの属性を記述するデータを含む検出したオブジェクトの報告を生成することと、画像データから検出したオブジェクトの画像チップを生成することと、を含む。処理済みの生成物は、検出したオブジェクトの報告と画像チップとを含む。ダウンリンクサブシステムは、処理済みの生成物を受信端末に送信するように構成されている。受信端末は、処理済みの生成物を受信するように構成されている。
【0086】
受信端末は、地上端末であり得る。
【0087】
受信端末は、処理済みの生成物を応答エージェントに中継するように構成された第2の衛星に実装され得る。
【0088】
衛星が提供される。衛星は、撮像タスク命令によって定められた領域の画像データを取得するように構成された画像センサを含む。衛星はさらに、衛星によってキャプチャした画像データを、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物に処理するように構成された処理部を含む。その処理は、検出したオブジェクトの属性を記述するデータを含む検出したオブジェクトの報告を生成することと、画像データから検出したオブジェクトの画像チップを生成することと、を含む。処理済みの生成物は、検出したオブジェクトの報告と画像チップとを含む。ダウンリンクサブシステムは、処理済みの生成物を受信端末に送信するように構成されている。
【0089】
画像センサは合成開口レーダ(SAR)センサであり得る。画像データはSARデータである。
【0090】
衛星で使用するための処理部が提供される。プロセッサは、衛星によってキャプチャした画像データを、キャプチャした画像データよりも低い帯域幅を有する処理済みの生成物に処理するように構成されている。その処理は、検出したオブジェクトの属性を記述するデータを含む検出したオブジェクトの報告を生成することと、画像データから検出したオブジェクトの画像チップを生成することと、を含む。処理済みの生成物は、検出したオブジェクトの報告と画像チップとを含む。
【0091】
属性は、検出したオブジェクトのサイズ、検出したオブジェクトの地理的位置、検出したオブジェクトの推定速度、検出したオブジェクトの方位、および検出したオブジェクトの特徴のうちの任意の1つまたは複数を含み得る。
【0092】
処理は、検出したオブジェクトの速度を推定することと、推定された速度を処理済みの生成物に含めることと、をさらに含むことができる。
【0093】
衛星で使用するための処理部が提供される。プロセッサは、衛星によってキャプチャした合成開口レーダ(SAR)データを、キャプチャしたSARデータよりも低い帯域幅を有する処理済みの生成物に処理するように構成されている。その処理は、SARデータ内の少なくとも1つのオブジェクトクラスに属する船舶を検出することと、検出した船舶の属性を記述するデータを含む検出した船舶の報告を生成することと、SARデータから検出した船舶の画像チップを生成することと、を含む。処理済みの生成物は、検出された船舶の報告と画像チップとを含む。
【0094】
属性は、検出した船舶のサイズ、検出した船舶の地理的位置、検出した船舶の推定速度、検出した船舶の進行方向、および検出した船舶の特性のうちの任意の1つまたは複数を含み得る。
【0095】
処理は、検出された船舶の速度を推定することと、推定された速度を処理済みの生成物に含めることと、をさらに含むことができる。
【0096】
他の態様および特徴は、いくつかの例示的な実施形態の以下の説明を検討すると、当業者には明らかになるであろう。
【0097】
本明細書に含まれる図面は、本明細書の物品、方法、および装置の様々な例を示すためのものである。
【図面の簡単な説明】
【0098】
【
図1】一実施形態に係る、広域撮像衛星および高解像度撮像衛星を含む衛星撮像システムの概略図である。
【
図2】一実施形態に係る、
図1の衛星撮像システムの動作方法のフロー図である。
【
図3】一実施形態に係る、
図1の広域撮像衛星のブロック図である。
【
図4】一実施形態に係る、
図1の高解像度撮像衛星のブロック図である。
【
図5】一実施形態に係る、
図1の地上端末のブロック図である。
【
図6】一実施形態に係る、衛星群を使用して海上クロスキューイングを実行するためのシステムの概略図である。
【
図7】一実施形態に係る、衛星撮像のための地上セグメントアーキテクチャの概略図である。
【
図8】一実施形態に係る、オンボード処理を伴う地球観測のためのシステムのブロック図である。
【
図9】別の実施形態に係る、オンボード処理を伴う地球観測のためのシステムのブロック図である。
【
図10】別の実施形態に係る、オンボード処理を伴う地球観測のためのシステムのブロック図である。
【
図11】別の実施形態に係る、オンボード処理を伴う地球観測のためのシステムのブロック図である。
【
図12】一実施形態に係る、オンボード処理を伴う地球観測のためのシステムで使用するための命令のブロック図である。
【
図13】一実施形態に係る、オンボード処理を伴う地球観測のためのシステムによって生成された処理済みの生成物のブロック図である。
【
図14】一実施形態に係る、オンボード処理による地球観測の方法のフローチャートである。
【
図15】別の実施形態に係る、オンボード処理による地球観測の方法のフローチャートである。
【
図16】一実施形態に係る、地球観測データのオンボード処理のための処理パイプラインのフローチャートである。
【
図17】一実施形態に係る、オブジェクト検出オンボード処理アーキテクチャおよびデータフローのブロック図である
【発明を実施するための形態】
【0099】
特許請求される各実施形態の例を提供するために、様々な装置またはプロセスが以下に説明される。以下に説明する実施形態は、主張する実施形態を限定するものではなく、主張する実施形態は、以下に説明するものとは異なるプロセスまたは装置をカバーすることができる。特許請求される実施形態は、以下に説明する任意の1つの装置またはプロセスの特徴の全てを有する装置またはプロセス、または以下に説明する装置の複数または全てに共通の特徴に限定されない。
【0100】
本明細書に記載の1つまたは複数のシステムは、それぞれが少なくとも1つのプロセッサと、データ記憶システム(揮発性および不揮発性メモリおよび/または記憶要素を含む)と、少なくとも1つの入力デバイスと、少なくとも1つの出力デバイスと、を含む、プログラム可能なコンピュータ上で実行するコンピュータプログラムにおいて実装され得る。例えば、限定するものではないが、プログラム可能なコンピュータは、プログラム可能な論理ユニット、メインフレームコンピュータ、サーバ、パーソナルコンピュータ、クラウドベースのプログラムまたはシステム、ラップトップ、パーソナルデータアシスタンス、携帯電話、スマートフォン、またはタブレットデバイスであり得る。
【0101】
各プログラムは、コンピュータシステムと通信するために、高レベルの手続き型またはオブジェクト指向プログラミングおよび/またはスクリプト言語で実装されることが好ましい。しかし、必要に応じて、アセンブリ言語または機械語でプログラムを実装できる。いずれにせよ、言語はコンパイルされた言語または解釈された言語であり得る。このような各コンピュータプログラムは、好ましくは、本明細書に記載された手順を実行するために記憶媒体またはデバイスがコンピュータによって読み取られるときにコンピュータを構成および操作するために、汎用または専用のプログラム可能なコンピュータによって読み取り可能な記憶媒体またはデバイスに記憶される。
【0102】
互いに通信するいくつかの構成要素を有する実施形態の説明は、そのような構成要素が全て必要であることを意味するものではない。それどころか、本発明の多種多様な可能な実施形態を示すために、様々なオプションの構成要素が記載されている。
【0103】
さらに、プロセスステップ、方法ステップ、アルゴリズムなどは、(開示および/または特許請求の範囲において)順番に説明されているが、そのようなプロセス、方法、およびアルゴリズムは、別の順序で機能するように構成されてもよい。換言すれば、説明され得るステップのシーケンスまたは順序は、ステップがその順序で実行されるという要件を必ずしも示すものではない。本明細書に記載のプロセスのステップは、実用的な任意の順序で実行されることができる。さらに、いくつかのステップは同時に実行されることができる。
【0104】
単一の装置または物品が本明細書に記載されている場合、単一の装置または物品の代わりに複数の装置または物品(それらが協働するかどうかにかかわらず)を使用できることは容易に明らかであろう。同様に、複数のデバイスまたは物品が本明細書に記載されている場合(それらが協働するかどうかにかかわらず)、複数のデバイスまたは物品の代わりに単一のデバイス/物品を使用できることは容易に明らかであろう。
【0105】
以下は、概して、衛星撮像に関し、より具体的には、(i)複数の衛星を使用する衛星ベースの地球観測、および(ii)画像データのオンボード処理を伴う衛星ベースの地球観測に関する。広域撮像衛星と高解像度後続衛星(衛星間のチップ及びキュー)を有するなどの複数の衛星を使用した衛星ベースの地球観測に関連する概念とそれに関連する利点は、本明細書に記載の画像データのオンボード処理の有無にかかわらず実現できる。同様に、本明細書で説明するように、画像データのオンボード処理を伴う衛星ベースの地球観測に関連する概念、およびそれに関連する利点は、複数の撮像衛星を使用しても使用しなくても(つまり、高解像度後続衛星を使用しても使用しなくても、衛星間のチップ及びキューを使用しても使用しなくても)実現できる。
【0106】
本開示は全体を通して地球観測に言及しているが、本明細書に記載のシステムおよび方法は地球観測に限定されず、他の天体または宇宙環境を撮像または観測するために使用され得る。
【0107】
画像データ又はレーダデータなどの地球観測データは、航空機又は宇宙探査機などのリモートプラットフォームからキャプチャされることができる。生のキャプチャした画像データは、非常に大量のキャプチャしたデータを含み得る。キャプチャしたデータは、概して、エンドユーザに有用な情報を提供するために何らかの手法で処理する必要がある。たとえば、エンドユーザは、観察された領域の特定のサブセットを表示することに関心がある場合がある。キャプチャしたデータは、ユーザがキャプチャを効率的にレビューできるように、観察された領域のトリミングされた領域をエンドユーザに提供するために処理する必要があり得る。
【0108】
同様に、海上監視の目的で地球観測を使用することもできる。例えば、キャプチャしたデータを分析して、キャプチャしたエリア内の全ての海上船舶の位置を決定することができる。次に、取得したデータを処理して、そのような全ての船舶の位置を特定する必要がある。現在のシステムおよび方法は、キャプチャしたデータを処理のために別の端末に送信する。一般的な通信リンクを介して大量の取得データを送信するには、送信に長時間かかる場合がある。これに部分的に対抗するために、圧縮技術を使用して、キャプチャしたデータのサイズを縮小することができる。ロッシ圧縮技術は、キャプチャしたデータの有効な解像度を低下させ、キャプチャしたデータの使用例の数を減らすことができる。たとえば、キャプチャしたデータに対してオブジェクト検出の形式が実行される場合(海上船の検出など)、送信用に圧縮されたキャプチャしたデータに対して実行されると、オブジェクト検出の有効性が損なわれるか、低下する可能性がある。
【0109】
本開示のシステムおよび方法では、地球周回衛星であってもよく、または地球周回衛星に結合されていてもよい地球観測端末は、地上端末から地球観測データをキャプチャするための命令を受信する。このキャプチャしたデータは、所望の処理済みの生成物を抽出するために、地球観測端末の内部で処理される。所望の処理済みの生成物は、命令によって指定され得る。生のキャプチャしたデータをさらなる使用のために別の端末に送信する代わりに、処理済みの生成物がさらなる使用のために別の端末に送信される。処理済みの生成物は、生のキャプチャしたデータよりも大幅に小さいデータサイズを有し得る。キャプチャした生データの代わりに処理済みの生成物を送信することは、地球観測操作の待ち時間を大幅に短縮し、圧縮されていないキャプチャしたデータが処理されるため、地球観測システムのパフォーマンスを向上することができ、システムの解像度を効果的に向上させる。
【0110】
いくつかの実施形態では、本開示のシステムおよび方法は、キャプチャしたデータを分析して、観察中にキャプチャした特定の対象オブジェクトを認識するように構成され得る(例えば、キャプチャしたデータに対するオブジェクト検出タスクの実行を介して)。観測端末は、キャプチャしたデータを処理して対象オブジェクトの位置を特定または検出し、位置が特定された全ての対象オブジェクトの座標データを含む処理済みの生成物を生成することができる。いくつかの実施形態では、処理済みの生成物はまた、オブジェクトの長さおよび幅などの物理的特徴が決定される対象オブジェクトの特徴付けと、対象オブジェクトの速度と、各対象オブジェクトの切り取られたキャプチャサンプルと、を含み得る。これらの処理済みの生成物は、さらに使用するために別の端末に送信され得る。海上監視に関連する例では、処理済みの生成物は海上巡視船に送信され、巡視船は位置が不明な船舶に応答することができる。
【0111】
ここで、
図1を参照すると、一実施形態に係る、衛星撮像システム100が示されている。
【0112】
システム100は、複数の撮像衛星を使用して地球観測タスクを実行するために使用されることができる。地球観測タスクは、たとえば、船舶の検出、土地情報と変化の検出、資産とインフラストラクチャの監視、地表の変形の監視、油汚染の監視、洪水や地震の監視を含む人道支援と災害救援(HADR)、農業モニタリング、及び林業モニタリングの任意の1つ又は複数を含み得る。船舶検出は、非送信ダークシップ、違法漁業活動などの検出を含むことができる。
【0113】
システム100は、本明細書でより詳細に説明されるように、クロスキューイング(cross cueing)操作を実行するために使用され得る。クロスキューイングは、SARからSARへのクロスキューイング(SAR-to-SAR cross cueing)またはSARから光へのクロスキューイング(SAR-to-optical cross cueing)であり得る。
【0114】
システム100は、宇宙セグメント102および地上セグメント104を含む。地上セグメント104は、サービス指向のクラウドアーキテクチャを有することができる。地上セグメント104は、ハードウェアおよびソフトウェアを含む地上の全ての要素を含む(例えば、群計画サブシステム、命令、タスク、受信、画像生成、アーカイブ、配布など)。
【0115】
宇宙セグメント102は、広域撮像衛星106および高解像度撮像衛星108を含む撮像衛星の群105を含む。広域衛星106は、広域監視衛星であり得る。高解像度撮像衛星108は、高解像度ターゲット監視衛星であり得る。システム100の衛星の群105は2つの衛星106、108を有するように示されているが、他の実施形態では、衛星群105は追加の撮像衛星を有してもよく、その数は特に限定されない。特定の実施形態では、衛星の群105は、少なくとも2つの高解像度撮像衛星108を含む。
【0116】
システム100では、広域撮像衛星106は「先行衛星」とみなされ、高解像度撮像衛星108は「後続衛星」とみなされ得る。衛星に関して本明細書で使用される「先行(leading)」および「後続(trailing)」という用語は、先行衛星と後続衛星との間の特定の物理的関係を示すことを意図したものではなく、先行衛星によって実行された撮像操作の後及びこれに基づいて後続衛星が撮像操作(すなわち、撮像データの取得)を実行するために使用されるという事実を指す。場合によっては、後続衛星が物理的に先行衛星に一定時間(例えば、1時間)追従していると見なされ得る。その期間は、システム100の「通過間隔(pass interval)」と呼ぶことができる。通過間隔は、先行衛星106がある場所を通過してから(すなわち、その場所が衛星の撮像範囲またはビュー内にある)、後続衛星108が同じ場所を通過するまでの時間間隔で定められる(すなわち、同じ場所またはほぼ同じ場所が両方の衛星106、108によって画像化されることができる)。そのような場合、先行衛星106は、概して、最初に、ある位置で画像データを取得し、後続衛星108は、次に、(画像である被写体が静止しているか動いているかに応じて)ほぼ同じ位置で画像データを取得する。結果として、システム100は、概して、システム100の効率が最大化されるように、通過間隔内で、本明細書で説明される地上セグメント104によって実行されるものなどの特定の処理および通信ステップを実行するように構成される。
【0117】
広域撮像衛星106および高解像度撮像衛星108は、それぞれ軌道上にある。それぞれの軌道は、事前に定められた軌道である。
【0118】
一実施形態では、広域撮像衛星106は、傾斜軌道にある。傾斜軌道は、衛星106が周回する平面と基準平面(すなわち、地球の赤道)との間の角度である軌道傾斜角によって定められる。さらに、傾斜軌道は、無極性軌道(non-polar orbit)として定められ得る。一実施形態では、広域撮像衛星106は、約53.5度の軌道傾斜角を有することができる。一実施形態では、広域撮像衛星106は、北緯62.5度と南緯62.5度との間の画像へのアクセスを提供する軌道傾斜角を有することができる。例えば、広域撮像衛星106は、傾斜軌道に打ち上げられ、左右を見て(宇宙探査機を回転させて天底の左右を見て)、北緯62.5度から最低で南緯62.5度までの地球の画像点を提供することができる。
【0119】
(極軌道に対して)傾いた軌道を有することにより、広域撮像衛星106は、地球の収入創出地域(revenue generating regions)に費やされる時間を増加させることができ、昼夜の異なる時間での撮像を可能にすることができる。したがって、広域撮像衛星106は、1つまたは複数の収益創出地域にわたって時間を増加または最大化する軌道を有することができる。収益創出地域は、極地の外側の地域である(例えば、地中海、南シナ海、北米の海岸など)。収益創出地域をカバーするために、極をカバーする必要は通常ない。広域撮像衛星106の傾斜軌道は、収益創出地域で費やされる時間を最大化することができる。収益創出地域は、世界中の既存の撮像衛星(RADARSAT-2など)の顧客の収益分布を調べることによって決定され得る。太陽同期の極軌道の場合、衛星は1日の同じ時刻にポイントの上を飛行する。これは「昇順ノードの現地時間(Local Time of the Ascending Node)」またはLTANと呼ばれ、衛星が昇順(南から北へ移動することを意味する)で赤道を横切る時間として測定される。一方、傾斜軌道の場合、軌道は常に歳差運動(precessing)をしているため、固定されたLTANはない(固定されていないLTANがある)。赤道通過時間は、軌道周期を通じて変化する。その結果、たとえば午前6時と午後6時のように全ての撮像機会に活動を監視することに限定されるのではなく、1日の様々な時間にわたって活動を監視できる。さらに、場合によっては、既知の衛星のLTANの外部で秘密作戦が実行され得る。広域撮像衛星106の傾斜軌道によって提供される絶えず変化するLTANは、概して、LTANを回避することによって当局を逃れることをはるかに困難にすることができる。
【0120】
広域撮像衛星106の傾斜軌道は、所与の日(再訪)における特定の領域にわたる撮像機会の数を改善し得る。
【0121】
別の実施形態では、広域撮像衛星106は、中傾斜軌道にある。別の実施形態では、広域撮像衛星106は、太陽同期軌道(SSO)にある。
【0122】
一実施形態では、広域衛星106(および場合によっては高解像度衛星108)は、各軌道が約97分(軌道完了時間)かかる軌道高度を有する。本明細書で説明する傾斜軌道では、極から極への飛行(緯度+/-90度)ではなく、より小さな緯度帯(緯度+/-62.5度)を飛行するのに97分間が費やされる。他の衛星がそれらの地域で「フリーデータ」を提供するため、極周辺の地域は収益の低い地域である(例えば、RCM又はSentinel-1)。しかし、傾斜軌道にある広域撮像衛星106は、収益創出地域により多くの時間を費やす。さらに、衛星106の再訪の機会(すなわち、衛星による地球上のサンプル点の観測間に経過した時間)は、それによって改善され得る(より高い頻度)。
【0123】
概して、衛星ミッションプロバイダはSSOを開始する。これは、真にグローバルな+/-90度の緯度範囲をカバーするためである(一方、ここで説明する傾斜軌道にある衛星は、北緯62.5度より下、南緯62.5度より上でしか撮像できない)。特定の傾斜軌道は、収益創出地域で費やされる時間を最大化するために選択され得る。
【0124】
一実施形態では、高解像度撮像衛星108は、広域撮像衛星106と同じ軌道傾斜角を有する。高解像度撮像衛星108は、広域撮像衛星106と同じ軌道高度および傾斜角を有することができる。そのような実施形態では、高解像度撮像衛星108は、広域撮像衛星106のすぐ後ろを追うことができる(例えば、広域撮像衛星と高解像度衛星クロスキューイングとの間の待ち時間は、約1時間であり得る)。
【0125】
一実施形態では、高解像度撮像衛星108は、太陽同期軌道(SSO)にあることができる。SSOは、極軌道の一種である。SSOの衛星は、太陽と同期しているため、毎日同じ現地時間に地球上を通過する。例えば、高解像度撮像衛星108は、SSOにある商用衛星群の一部であり得る。高解像度衛星108がSSOにある実施形態では、広域衛星106と高解像度撮像衛星108との間のクロスキューイングの待ち時間が増加する場合があり、サービスとして本明細書で説明されるチッピングおよびキューイングコノップ(cueing conops)を実行する際の困難が増加する場合がある(例えば、キューを交差させる群に何百もの高解像度衛星がない限り)。
【0126】
撮像衛星106、108(およびより具体的にはその撮像サブシステム)のそれぞれは、所定の周波数帯域(例えば、C帯域、X帯域など)の撮像データ(例えば、SARデータ)を取得するように適合される。例えば、広域撮像衛星106は、C帯域SARデータを取得および送信するように構成され、高解像度撮像衛星108は、X帯域SARデータを取得および送信するように構成され得る。撮像衛星106、108は、取得した画像データを暗号化して格納するようにさらに構成され得る。
【0127】
撮像衛星106、108のそれぞれは、取得した画像データを地上セグメント104に送信し、所定の信号周波数帯域のRF信号を介して地上セグメント104から命令およびコマンドを受信するようにさらに適合される。
【0128】
撮像衛星106、108は、それぞれ、撮像帯(収集される画像シーンサイズ)を有する。広域撮像衛星106の撮像帯は、高解像度撮像衛星108の撮像帯よりも大きい。用語「広域」は、撮像衛星に関連して本明細書で使用される場合、または別の方法でそれが参照する撮像衛星の撮像帯とシステム内の別の撮像衛星の撮像帯との間の相対的な関係を指す。例えば、システム100の広域撮像衛星106は、そのそれぞれの撮像帯が高解像度撮像衛星108の領域より広い領域をカバーするため、高解像度撮像衛星108に関して「広域」である。さらに、撮像衛星106、108はそれぞれ、アクセス可能な帯(衛星が画像をキャプチャするために見ることができる領域)を有する。
【0129】
システム100の一実施形態では、使用される高解像度撮像衛星108(または「後続衛星」)の数は、広域撮像衛星106の撮像帯およびアクセス可能な帯と、高解像度衛星のそれぞれの撮像帯およびアクセス可能な帯とに基づくことができる。例えば、システム100は、広域撮像衛星106及び高解像度撮像衛星108がおおよそ重なり合うアクセス可能な帯を有するように構成され得る。これは、例えば、複数(例えば2つ)の後続の高解像度撮像衛星108を使用することによって達成され得る。広域衛星106のアクセス可能な帯が高解像度撮像衛星108によってカバー/複製される場合、高解像度衛星108の撮像帯は、広域衛星106の撮像帯と重なる必要はない。そのような場合、以下に説明する地上端末114または地上セグメント104の他の構成要素によって実行されるような地上処理は、関心のあるターゲットを中心とする高解像度衛星108を使用して第2の画像を撮影する場所の座標を決定することができる。(衛星106を介した第1の画像は広く検索し、衛星108を介した第2の画像はズームインする)。
【0130】
広域撮像衛星106は、合成開口レーダ(「SAR」)撮像サブシステム110を含む。SAR撮像サブシステム110は、SAR撮像センサを含み、SAR撮像操作を実行するように構成される。SAR撮像サブシステム110は、SARデータを取得して記憶する。
【0131】
SAR撮像サブシステム110は、左右の視線方向を有するように構成され得る。衛星106が速度方向に飛行するとき、衛星106は左(地上軌道の左側を見渡す)または右(地上軌道の右側を見渡す)にロールすることができる。各「視線(look)」は、アクセス可能な帯を表す(例えば、幅700km、左右を合わせて1400km)。これは、実際の画像領域に対応する撮像帯とは異なる。アクセス可能な帯と「視線方向」は、衛星によって「撮影できる」領域を表す。撮像帯は、アクセス可能な帯内の領域である。衛星106は、既存の広域撮像衛星と比較して(例えば、既存のC帯域レーダ衛星と比較して)、大きいアクセス可能な帯を有することができる。アクセス可能な範囲が大きいということは、より少ない宇宙探査機で撮像機会のために地球のより多くにアクセスできることを意味する。緯度帯域間の毎日の合計アクセスが向上するにつれて(例えば、+/-62.5度の緯度帯域)、左右の両方を見ると便利であり得る。そうしないと、次に利用可能な画像へのパスを待つ必要があるアクセスにギャップが生じ得る。左右の視線方向を容易にするために、衛星106は連接ソーラーアレイを含み得る。連接ソーラーアレイは、ジンバル式ソーラーアレイであり得る。ジンバル式ソーラーアレイは、宇宙探査機が左から右へ、またはその逆に回転する間、太陽を指し得る。
【0132】
SAR撮像サブシステム110は、左右に見えるクラス最高のアクセス帯(例えば、両方向に見える幅700km、合わせて1400km)を実装し得る。左右両方を見ることができる広いアクセス帯を実装することによって、撮像衛星106は、より頻繁に再訪し、関心のある場所へのより良いアクセスを提供し得る。
【0133】
広域撮像衛星106のSAR撮像サブシステム110は、SARアンテナを含む。一実施形態では、SARアンテナは、約13.5m×1.4mの長さを有する。
【0134】
SAR撮像サブシステム110は、約700kmのアクセス可能な帯幅を有し得る。アクセス可能な帯とは、衛星が画像を収集するために見ることができる領域を指す。SAR撮像サブシステム110は、約700kmの最も広い撮像帯を有し得る。撮像帯とは、衛星が実際に撮影する領域(すなわち、シーンサイズ)を指す。
【0135】
広域撮像衛星106は、複数の撮像モードを有し得る。撮像モードは、デュアル開口多偏光撮像モード(dual aperture multi-polarization imaging mode)を含み得る。
【0136】
広域撮像衛星106は、軌道当たり30分の最大撮像時間を有し得る。
【0137】
広域撮像衛星106は、直接ダウンリンク(direct downlink)を含み得る。直接ダウンリンクとは、データ(SAR、光学、その他)を、必ずしも地上の本部ではない地上ステーションに直接的にダウンリンクすることを指す。例えば、衛星106は、衛星106が地域の地上ステーションの通信コーン(communications cone)を通過するときはいつでも、データを世界中の地域の地上ステーションの顧客に直接ダウンリンクするように構成され得る。そのような場合、衛星106および地上端末114は、直接ダウンリンク能力を促進するためにハードウェアおよびソフトウェアで構成され得る。直接ダウンリンクに代わる方法は、HQステーションにダウンリンクしてから、他の手段を介してエンドカスタマーにデータを送信することである。これにより、潜在的に時間が重視されるアプリケーションに遅延が追加され得る。
【0138】
広域撮像衛星106は、高速データダウンリンクサブシステムを含み得る。一実施形態では、高速データダウンリンクサブシステムは、X帯域ダウンリンクを含み得る。高速データダウンリンクサブシステムは、所定の信号周波数帯域(例えば、X帯域通信周波数)を使用して宇宙探査機から地上セグメント104にペイロードデータ(例えばSAR画像データ)を送信する衛星106の通信サブシステムの一部であり得る。高速データダウンリンクサブシステムのダウンリンクレートは、300Mbps×2(またはそれ以上)である。高速データダウンリンクサブシステムは、衛星と地上ステーションの通信コーンとの間の接触パス内でより多くの画像を地上ステーション(例えば、地上ステーション114)にダウンリンクできるようにするダウンリンク速度を提供し得る。
【0139】
広域撮像衛星106は、直接タスクを実行するように構成され得る。直接タスク処理は、衛星106が頭上を飛んでいるときに、地域の地上ステーションの顧客が地上ステーションの通信コーンから衛星106にタスクを与えるコマンド(画像収集命令)を直接送信できるようにする。これは、命令を地上の本部に送信してから、遅延を追加する可能性がある衛星にタスクを送信するのとは対照的である。広域撮像衛星106は、ほぼ全ての軌道で高速タスクを実行するように構成され得る。高速タスクは、優先度が高く、待ち時間が短いタスクの一種である。
【0140】
広域撮像衛星106は、発電して衛星106の様々な電気部品に電力を供給するための複数の太陽電池パネルを備える太陽電池アレイを含む。ソーラーアレイは、ジンバル式アレイであり得る。ジンバル式アレイは、衛星106により多くの電力を有利に生成及び提供し得る。特定の実施形態では、広域撮像衛星106は、ジンバル式太陽電池アレイを含み、傾斜軌道を有し得る。ジンバル式ソーラーアレイは、傾斜軌道で経験する日食条件を有利に処理するように構成され得る。
【0141】
高解像度撮像衛星108は、撮像サブシステム112を含む。撮像サブシステム112は、SAR撮像センサを含み、SAR撮像操作を実行するように構成され得る。他の実施形態では、撮像サブシステム112は、SAR撮像センサの代わりに、またはそれに加えて、光学撮像センサを含み得る。そのような場合、撮像サブシステム112は、光学撮像操作を実行するように構成される。
【0142】
高解像度撮像衛星108は、高解像度画像データを取得して送信するように構成される。本明細書で使用される高解像度画像データという用語(およびより一般的には「高解像度」という用語)は、広域撮像衛星106によってキャプチャされた画像データの解像度と比較した、撮像衛星108によってキャプチャされた画像データの相対的な解像度を指すために使用される。すなわち、高解像度撮像衛星108の撮像サブシステム112は、広域撮像衛星106の撮像サブシステム110よりも高解像度の画像を取得するように構成される。
【0143】
一実施形態では、高解像度撮像衛星108はX帯域衛星である。特定の実施形態では、高解像度撮像衛星108はX帯域衛星であり、広域撮像衛星106はC帯域衛星である。
【0144】
高解像度撮像衛星108は、ターゲット監視に使用され得る(したがって、ターゲット監視衛星と見なされる)。例えば、高解像度撮像衛星108は、広域撮像衛星106の広域能力を増強する(本明細書で説明されるような)ターゲット監視用途のための高解像度SAR画像を取得および提供し得る。
【0145】
概して、広域(低解像度)のSAR画像は広域衛星106によって取得され、ユーザに「どこ」を見るべきかを伝えるために使用され得る。この第1の撮像操作は、広域撮像衛星106の広域監視能力(例えば、700kmのアクセス可能な帯)を利用して、関心のあるターゲットを探す。広域SAR画像は、その後のより高解像度の画像処理操作の座標を決定するために使用されることができる。ターゲットの座標が決定されると、対象の同じターゲットをより近くで(すなわち、より高い解像度で)見るために、高解像度衛星108がクロスキューされる。第1の広域SAR画像がなければ、アクセス可能な帯が一般的にはるかに少ないため、高解像度の衛星の有用性はより制限され得る(たとえば、30kmのX帯域と700kmのC帯域)。これは、固定された陸上ベースのターゲット(どこを見るかはすでにわかっている可能性がある)ではそれほど問題にならないかもしれないが、海上監視アプリケーションでは、第1の広域SAR画像が特に有益であり得る。
【0146】
撮像衛星106、108は、それぞれ、それぞれの画像サブシステム110、112に加えてバスモジュールを含む。バスモジュールは、姿勢と軌道の制御、発電と貯蔵、ペイロードコマンド、テレメトリ、熱制御、および主要なサポート構造を提供する。
【0147】
場合によっては、撮像衛星106、108の一方または両方は、追加のペイロードを含み得る。例えば、広域撮像衛星106は、船舶用の自動識別システム(AIS)を含み得る。これは、SARサブシステム110とは独立して、または併せて使用され得る。別の実施形態では、広域衛星106にAIS受信機を搭載する代わりに、またはそれに加えて、システム100は、AISデータを地上セグメント104(例えば、地上端末114)に直接供給するサードパーティのAISデータプロバイダを利用し得る。例えば、地上端末114は、ネットワーク128を介してAISデータ供給コンピュータシステムに通信可能に接続されることができ、ネットワークを介してAISデータ供給システムからAISデータを受信することができる。AISデータ供給システムを含むシステム100の実施形態は、利点を提供することができる。例えば、サードパーティのAISデータプロバイダは、AIS専用の衛星の地球規模の群を有することができ、地上端末114に、システム100によって生成されたSARデータと相関させるために使用できる船舶追跡履歴データを提供することができる場合がある。AISデータ供給システムがなく、AISだけが衛星106に搭載されている場合、船舶追跡情報は、衛星106が頭上を飛行しているときにのみ取得され得る。
【0148】
ここで、システム100の地上セグメント104を参照すると、地上セグメント104は、概して、ナビゲーションおよび撮像のために衛星106、108を命令および監視し、衛星テレメトリを受信し、衛星のペイロード(たとえば、撮像サブシステム110、112)からデータを受信し、ユーザのデータを管理するために使用される。
【0149】
地上セグメント104は、地上端末114を含む。地上端末という用語は、単一の地上端末または複数の地上端末を指すために使用され得る。地上端末114は、撮像衛星106、108との間で信号を送受信するための構成要素(例えば、アンテナ、送信機、受信機)、およびデータを処理するための構成要素(例えば、1つまたは複数のコンピューティングデバイス、ソフトウェアモジュール)を含む。データを処理することは、衛星106、108から受信した画像データを処理することを含む。
【0150】
地上端末114は、データ受信ステーションとデータ送信ステーションとを含む。データ受信ステーションおよびデータ送信ステーションは、それぞれ、所定の信号周波数帯域(例えば、X帯域、S帯域)の信号をそれぞれ受信および送信するように構成され得る。データ受信ステーションおよびデータ送信ステーションは、広域撮像衛星106または高解像度撮像衛星108(例えば、広域撮像衛星受信ステーション、高解像度撮像衛星受信ステーション)のいずれかと通信するように特別に適合され得る。
【0151】
地上端末114は、ダウンリンク116を介して広域撮像衛星106からデータを受信し、アップリンク118を介して広域撮像衛星106にデータを送信するように適合される。ダウンリンク116を介して受信されたデータは、SAR撮像サブシステム110によって取得されたSARデータを含む。アップリンク118を介して送信されるデータは、衛星106に特定の位置(例えば、座標)からSARデータを取得して返すように指示する撮像タスクデータを含むことができる。
【0152】
地上端末114は、ダウンリンク120を介して高解像度撮像衛星108からデータを受信し、アップリンク122を介して高解像度撮像衛星108にデータを送信するように適合される。ダウンリンク120を介して受信されたデータは、撮像サブシステム112によって取得された画像データを含む。アップリンク122を介して送信されるデータは、衛星108に、特定の位置(例えば、座標)からより高解像度の画像データを取得して返すように指示する画像タスクデータを含み得る。
【0153】
地上セグメント104はまた、ユーザ端末124およびクラウドサーバ126を含む。ユーザ端末およびクラウドサーバという用語は、単一のユーザ端末またはクラウドサーバ、または複数のユーザ端末またはクラウドサーバを指すために使用され得る。ユーザ端末124およびクラウドサーバ126は、ネットワーク128を介して、地上端末114に、および互いに通信可能に接続される。ネットワーク128は、ローカルエリアネットワーク接続および/またはワイドエリアネットワーク接続(例えば、インターネット)を含み得る。
【0154】
ユーザ端末124は、ネットワーク128などのネットワーク接続を介して、データ処理機能を実行し、地上端末114およびクラウドサーバ126などの他のコンピューティングデバイスとの間でデータを送受信するように構成されたコンピューティングデバイスである。
【0155】
ユーザ端末124は、クラウドサーバ126または地上端末114上で動作するサーバ側アプリケーションと通信するように構成されたクライアント側ソフトウェアアプリケーションを含み得る。クライアント側ソフトウェアアプリケーションは、ユーザから入力データを受信し(例えば、撮像タスクの要求、他のUI対話)、ユーザにデータを出力する(例えば、処理された画像データを表示する、または処理操作が実行された画像データの出力または決定を行う)ためのユーザインターフェースを含み得る。ユーザインターフェースは、ウェブベースのユーザインターフェースであり得る。ユーザ端末124のユーザは、SARまたは他の画像データを分析するように訓練された分析者であり得る。
【0156】
クラウドサーバ126は、ユーザ端末124上で実行されるクライアント側ソフトウェアアプリケーションまたは地上端末114上で実行されるソフトウェアアプリケーションと通信するように構成されたクラウドベースのソフトウェアアプリケーションを含み得る。例えば、地上端末114は、画像データをクラウドサーバ126にアップロードすることができ、クラウドサーバ126は、ユーザ端末124によってアクセスされることができるユーザアカウントにリンクされた画像データを保存することができる。
【0157】
地上セグメント104は、ネットワークステーションのアップグレードをサポートするために、データチェーンのモジュラインスタンスを含み得る。
【0158】
システム100は、海上クロスキューイングを実行してターゲット船を検出するために使用されることができる。例えば、広域衛星106は、複数の船舶(例えば船)が見られる広域SAR画像を収集することができる。船舶および船舶の位置は、地上端末114によって、AISデータ供給システム(例えば、独自のAIS衛星群を運用するAISデータプロバイダ)からのAISデータに対して関連付けられ得る。ほとんどの船舶は、それぞれのID、位置、方向をブロードキャストするAIS信号を送信している可能性がある。このことから、AISを送信している広域SAR画像内の船舶を識別する地上端末114を使用して決定を下すことができる。地上端末114で関連付けられていない船舶は、残りのダークターゲット(dark targets)を表すと考えられ、したがって、さらなる監視を阻止するための潜在的な対象船舶と見なすことができる。さらなる監視は、広域SAR画像から決定された座標を使用して、ダークターゲットの高解像度SAR画像データを取得するように高解像度衛星108にタスクを課すことを含み得る。
【0159】
ここで、
図2を参照すると、一実施形態に係る、
図1の衛星撮像システム100の動作方法200が示されている。
【0160】
202で、広域撮像衛星106は、アップリンク118を介して地上端末114から第1の撮像タスクデータを受信する。第1の撮像タスクデータは、広域撮像衛星106によって実行される第1の撮像タスクを記述し、第1の撮像座標と、第1の撮像座標でのSARデータを取得するためのコマンド/命令とを含む。
【0161】
第1の撮像タスクは、地上端末114によって生成され得る。場合によっては、ユーザ端末124で開始された撮像タスク要求に応答して、地上端末114で第1の撮像タスクを生成することができる(例えば、ユーザ端末124のユーザがクライアント側アプリケーションを使用してタスク要求を入力する)。撮像タスク要求は、ネットワーク128を介してクラウドサーバ126および/または地上端末114に送信され得る。撮像タスク要求がクラウドサーバ126に送信される場合、クラウドサーバは撮像タスク要求を処理し、地上端末114に送信することができる。
【0162】
204で、広域撮像衛星106は、SAR撮像サブシステム110を使用して、第1の撮像座標での第1のSARデータを取得する。広域撮像衛星106は、オンボードプロセッサおよびメモリを使用してSARデータを処理し、暗号化し、記憶することができる。第1のSARデータは、第1の所定の周波数帯域のものである。第1のSARデータは、C帯域SARデータであり得る。
【0163】
206で、広域撮像衛星106は、ダウンリンク116を介して地上端末114に第1のSARデータを送信する。第1のSARデータは、所定の周波数帯域のRF信号として送信される。
【0164】
208で、地上端末114は、第1のSARデータを受信する。地上端末114は、第1のSARデータを処理して、第2の撮像座標を決定する。第2の撮像座標は、その後の「対象を絞った(targeted)」撮像操作で使用されることができる。
【0165】
概して、第1のSARデータは、特定のオブジェクト、対象、または画像コンテキストが存在するという決定を下すことを可能にするが、オブジェクト、対象、または画像コンテキストのタイプまたは性質を決定するのに十分ではない解像度であり得る。さらに、第1のSARデータは、第2の撮像座標を決定するのに十分な解像度のものである。例えば、第1のSARデータは、オブジェクトが特定の場所に存在することを識別するには十分であるが(例えば、周囲(例えば水)とのコントラストにより)、必要な程度の確実性で(例えば、特定のタイプの船舶として)オブジェクトを識別するには十分ではない。
【0166】
場合によっては、ステップ208は、後続の撮像操作が必要かどうかを決定することを含むことができる。例えば、第1のSARデータの処理および分析の際に、その後の撮像操作は必要ないと判断され得る。この決定は、地上端末114によって(例えば、機械学習技術を使用して)自動的に実行されてもよいし、又はユーザ端末124で提供されるユーザ入力(例えば、ユーザ端末で第1のSARデータを処理する出力を表示し、第2の撮像操作を実行するかどうかを示す入力をユーザ端末で受信し、その入力が地上端末に提供される)を含んでもよい。
【0167】
方法200が移動する画像対象を撮像または監視するために使用される実施形態では、地上端末114は、画像対象の動きの中間生成物を決定し、第2の撮像座標を決定する際に動きの中間生成物を使用するように構成される。そのような場合、地上端末114は、第2の撮像動作時に画像対象の位置(すなわち座標)を効果的に予測することができる。
【0168】
210で、地上端末114は、アップリンク122を介して、第2の撮像タスクデータを高解像度撮像衛星108に送信する。第2の撮像タスクデータは、第2の撮像座標と、第2の撮像座標でSARデータを取得するためのコマンド/命令とを含む、高解像度撮像衛星108によって実行される第2の撮像タスクを記述する。
【0169】
衛星群105が複数の高解像度衛星108を含む実施形態では、地上端末114は、第2の撮像タスクをどの高解像度衛星に送信すべきかを決定することもできる。
【0170】
212で、高解像度衛星108は、アップリンク122を介して地上端末114から第2の撮像タスクデータを受信する。
【0171】
214で、高解像度衛星108は、第2の撮像座標での第2のSARデータ(または高解像度衛星108が光学データを収集するように構成されている場合は光学データ)を取得する。高解像度撮像衛星108は、オンボードプロセッサおよびメモリを使用して、第2のSARデータを処理、暗号化、および格納することができる。第2のSARデータは、第1の所定の周波数帯域のものである。第2のSARデータは、X帯域SARデータであり得る。
【0172】
説明したように、第2のSARデータは、第1のSARデータよりも解像度が高い。
【0173】
216で、高解像度撮像衛星108は、第2のSARデータをダウンリンク120を介して地上端末114に送信する。
【0174】
218で、地上端末114は、第2のSARデータを受信して処理する。
【0175】
220で、処理された第2のSAR画像データを使用して画像コンテキストが決定される。画像コンテキストを決定することは、例えば、第2のSARデータ内に存在するオブジェクト(例えば、船舶)の同一性を決定することを含み得る。
【0176】
画像コンテキストの決定は、ユーザ入力(たとえば、SAR画像データの分析の訓練を受けたオペレータ)を含み得る。例えば、第2のSARデータは、ネットワーク128を介してユーザ端末124に提供され、ユーザインターフェースに表示され得る。次いで、表示されたSARデータは、ユーザ端末124のオペレータによって分析され得る。ユーザは、ユーザインターフェースを介してユーザ端末124に入力データを提供することができ、それはその後、ユーザインターフェースに接続された1つまたは複数の他のデバイス(例えば、地上端末114、クラウドサーバ126、または別のコンピュータシステム)に提供され得る。
【0177】
他の場合では、第2のSARデータから画像コンテキストを決定することは、機械学習技術の適用などによって自動的に実行され得る。
【0178】
例えば、地上端末114は、第2のSARデータから画像コンテキストを決定するように構成された機械学習モジュールを含むことができる。機械学習モジュールは、一連のSARトレーニング画像を使用してトレーニングされた機械学習モデルを含む。機械学習モデルは、ニューラルネットワークなどであり得る。機械学習モデルは、第2のSARデータを入力として受信し、クラス割り当てまたはラベルを出力として生成するように構成された分類モデルであり得る。機械学習モデルは、クラスラベルが正確であるという信頼レベルを示すクラスラベルの信頼レベルを提供することもできる。分類モデルは、入力された第2のSARデータが2つの相互に排他的なクラス(たとえば、「問題のある船舶」または「問題があるわけではない船舶」)のうちの1つに割り当てられるバイナリ分類タスクを実行するように構成され得る。分類モデルは、入力された第2のSARデータが3つ以上のクラスのうちの1つに割り当てられるマルチクラス分類タスクを実行するように構成され得る。
【0179】
地上端末114が画像コンテキストを決定するために機械学習を実行する場合、画像コンテキストは、機械学習モデル(例えば、クラスラベル)の出力とみなされ得る。
【0180】
機械学習モジュールの出力は、ユーザ端末114に提供され、オペレータによるレビューのためにユーザインターフェースに表示され得る。場合によっては、出力は、特定の画像コンテキストの決定時にのみユーザ端末に提供され得る(たとえば、特定のクラスラベルの割り当て)。他の場合では、機械学習モジュールの出力は、レビューのためにユーザ端末124に提供されず、代わりに、後続のアクションのために別のコンピュータシステムに送信されるか、またはさらに処理される。
【0181】
ここで、
図3を参照すると、一実施形態に係る、
図1の広域撮像衛星106のブロック
図300が示されている。広域撮像衛星106の変形例は、追加のまたはより少ない構成要素を含み得る。
【0182】
衛星106は、軌道制御部302および衛星測位部304を含む。軌道制御部302は、衛星106をその所定の軌道に維持するように構成されている。場合によっては、軌道制御データは、地上端末114から軌道制御部302に提供され得る。衛星測位部304は、軌道制御部302によって提供される出力に基づいて、(例えば、アクチュエータ、推進サブシステムを介して)衛星106を位置決めまたは再位置決めする。
【0183】
一実施形態では、軌道制御部302は、衛星106の傾斜軌道を示すデータを格納する。傾斜軌道は、約53.5度の軌道傾斜角を有することができる。傾斜軌道の緯度範囲は、約+/-62.5度である。軌道制御部302は、衛星106を傾斜軌道に維持する。
【0184】
衛星106は、衛星106によって生成された、または衛星106に提供された様々な形式のデータを格納するためのデータストレージ306を含む。データストレージ306は、任意の適切なデータストレージ要素であり得る。データストレージ306は、メモリまたは他の形態のデータストレージを含むことができる。
【0185】
衛星は、地上端末114から所定の信号周波数帯域のRF信号を受信するための受信アンテナ308を含む。受信したRF信号は、(
図2で説明した第1の撮像タスクデータなどの)第1の撮像タスクデータを含む。
【0186】
受信アンテナ308は、受信したRF信号を受信部310に提供する。受信部310は、受信したRF信号から復号された信号312を生成する。復号された信号312は、データストレージ306に格納される。復号された信号312は、第1の撮像タスクデータ314を含む。
【0187】
復号された信号312は、復号された信号312から第1の撮像タスクデータ314を抽出して決定するように構成されたタスキング部316に提供される。第1の撮像タスクデータ314は、データストレージ306に格納される。
【0188】
タスキング部316は、第1の撮像タスクデータ314を処理して、SARデータを取得する位置を定める第1の撮像座標318を決定する。第1の撮像座標318は、データストレージ306に格納される。
【0189】
第1の撮像座標318は、画像取得コマンド322を生成するように構成された画像取得部320に提供される。画像取得コマンド322を生成することは、センサ位置決めコマンド324を決定すること(例えば、衛星106がSARデータを取得するために左または右を見るべきかどうか)を含むことができる。センサ位置決めコマンド324は、センサ位置決め部326に提供され得る。センサ位置決め部326は、センサ位置決めコマンド324に応答してSAR撮像センサ328(例えば、SARビーム)を向けるように構成される。
【0190】
SAR撮像センサ328は、画像取得部320およびセンサ位置決め部326と通信する。SAR撮像センサ328は、SAR撮像センサ328に第1の撮像座標318でのSARデータを取得することを命令する画像取得コマンド322を受信する。画像取得コマンド322の受信に応答して、SAR撮像センサ328は、第1の撮像座標318での広域SAR画像データ330を取得する。広域SAR画像データ330は、データストレージ306に記憶される。
【0191】
衛星106は、タスク応答生成部332を含む。タスク応答生成部332は、タスク応答データ334を生成するために、第1の撮像タスクデータ314および広域SAR画像データ330を使用するように構成される。タスク応答データ334は、広域SAR画像データ330を含む第1の撮像タスクに対する応答を表す。タスク応答データ334は、データストレージ306に格納される。
【0192】
タスク応答データ334は、送信部336に提供される。送信部336は、符号化送信信号338を生成する。符号化送信信号338は、広域SAR画像データ330を含むタスク応答データ334を含む。
【0193】
送信部336は、符号化送信信号338を送信アンテナ340に提供し、所定の信号周波数帯域のRF信号を地上端末114に送信する。送信アンテナ340は、受信した符号化送信信号338に基づいてRF信号を送信する。
【0194】
ここで、
図4を参照すると、一実施形態に係る、
図1の高解像度撮像衛星108のブロック
図400が示されている。高解像度撮像衛星108の変形例は、追加のまたはより少ない構成要素を含むことができる。
【0195】
衛星108は、軌道制御部402および衛星測位部402を含む。軌道制御部402は、衛星108をその所定の軌道に維持するように構成されている。場合によっては、軌道制御データは、地上端末114から軌道制御部402に提供され得る。衛星測位部404は、軌道制御部402によって提供される出力に基づいて、(例えば、アクチュエータ、推進サブシステムを介して)衛星108を位置決めまたは再位置決めする。
【0196】
一実施形態では、軌道制御部402は、衛星108の極軌道を示すデータを格納する。特定の実施形態では、極軌道は太陽同期軌道である。軌道制御部402は、衛星108を太陽同期軌道に維持する。
【0197】
衛星108は、衛星108によって生成された、または衛星108に提供された様々な形式のデータを格納するためのデータストレージ406を含む。データストレージ406は、任意の適切なデータ記憶要素であり得る。データストレージ406は、メモリまたは他の形態のデータストレージを含むことができる。
【0198】
衛星は、地上端末114から所定の信号周波数帯域のRF信号を受信するための受信アンテナ408を含む。受信したRF信号は、(
図2で説明した第2の撮像タスクデータなどの)第2の撮像タスクデータを含む。第2の撮像タスクデータは、以前に(すなわち、第1の撮像タスクで)撮像された対象がより高い解像度で2回撮像されているターゲット撮像またはターゲット監視タスクを記述し得る。
【0199】
受信アンテナ408は、受信したRF信号を受信部410に提供する。受信部410は、受信したRF信号から復号信号412を生成する。復号された信号412は、データストレージ406に記憶される。復号された信号412は、第2の撮像タスクデータ414を含む。
【0200】
復号信号406は、復号された信号406から第2の撮像タスクデータ414を抽出して決定するように構成されたタスキング部416に提供される。第2の撮像タスクデータ414は、データストレージ406に格納される。
【0201】
タスク処理部316は、第2の撮像タスクデータ414を処理して、SARデータ(またはセンサが光学センサである場合は光学撮像データ)を取得する位置を定める第2の撮像座標318を決定する。第2の撮像座標418は、データストレージ406に格納される。
【0202】
第2の撮像座標418は、画像取得コマンド422を生成するように構成された画像取得部420に提供される。画像取得コマンド422を生成することは、センサ位置決めコマンド424を決定することを含み得る。センサ位置決めコマンド424は、衛星108の画像センサを特定の位置に向けるために使用され得る。センサ位置決めコマンド424は、センサ位置決め部426に提供され得る。センサ位置決め部426は、センサ位置決めコマンド424に応答してSAR撮像センサ428(例えば、SARビーム)を向けるように構成される。他の実施形態では、衛星108は、SAR撮像センサ428の代わりに、またはそれに加えて、光学画像センサを含み得る。
【0203】
SAR撮像センサ428は、画像取得部420およびセンサ位置決め部426と通信する。SAR撮像センサ428は、SAR撮像センサ428に第2の画像座標418でSARデータを取得することを命令する画像取得コマンド428を受信する。画像取得コマンド422を受信することに応答して、SAR撮像センサ428は、第2の撮像座標418での高解像度SAR画像データ430を取得する。高解像度SAR画像データ430は、データストレージ406に記憶される。
【0204】
衛星108は、タスク応答生成部432を含む。タスク応答生成部432は、タスク応答データ434を生成するために、第2の撮像タスクデータ414および高解像度SAR画像データ430を使用するように構成される。タスク応答データ434は、高解像度SAR画像データ430を含む第2の撮像タスクへの応答を表す。タスク応答データ434は、データストレージ406に格納される。
【0205】
タスク応答データ434は、送信部436に提供される。送信部436は、符号化送信信号438を生成する。符号化送信信号438は、高解像度SAR画像データ430を含むタスク応答データ434を含む。
【0206】
送信部436は、所定の信号周波数帯域のRF信号を地上端末114に送信するために、符号化送信信号438を送信アンテナ440に提供する。送信アンテナ440は、受信した符号化送信信号438に基づいてRF信号を送信する。
【0207】
ここで、
図5を参照すると、一実施形態に係る、
図1の地上端末114のブロック
図500が示されている。地上端末114は、1つまたは複数の物理的構成要素またはデバイスを含むことができる。
図5を参照して図示および説明された構成要素は、1つまたは複数の物理デバイスで実装され得る。特定のユニットまたはモジュールは、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの組み合わせを使用して実装され得る。地上端末114が複数のデバイスを含む場合、そのようなデバイスは、有線または無線通信接続を介して互いに通信するように構成され得る(例えば、1つのユニットまたはモジュールの出力を別のユニットまたはモジュールへの入力として提供する)。例えば、コンピューティングデバイスは、ネットワーク接続(有線または無線)を介して通信可能に接続され得る。
【0208】
地上端末114は、メモリ504および通信インターフェース506と通信するプロセッサ502を含む。プロセッサ502は、
図5に記載されている1つまたは複数のモジュールまたはユニットに具現化されたコンピュータ実行可能命令を実行するように構成されている。メモリ504は、地上端末114に提供される、または地上端末114によって生成される様々なデータ、およびプロセッサ502によって実行されるコンピュータ実行可能命令を格納する。通信インターフェース506は、たとえば、ローカル エリアネットワークまたはワイド エリア ネットワーク(インターネットなど)を介して、他のシステムまたはコンピューティングデバイスとの通信を可能にする。例えば、通信インターフェース506は、
図1のクラウドサーバ126またはユーザ端末124と通信するために使用され得る。
【0209】
地上端末114は、第1の撮像タスクデータ510を生成するように構成された撮像タスク生成部508を含む。第1の撮像タスクデータ510は、広域撮像衛星106によって実行される第1の撮像タスクを定義し、第1の撮像座標と、第1の撮像座標でのSARデータを取得するための命令と、を含む。第1の撮像タスクデータ510は、メモリ504に格納される。
【0210】
地上端末114は、第1の撮像タスクデータ510を送信可能な信号514に符号化するように構成された送信部512を含む。
【0211】
送信部512は、送信可能な信号514を送信アンテナ516に提供する。送信アンテナ516は、送信可能な信号514を受信し、広域撮像衛星106の受信アンテナ(例えば、
図3の受信アンテナ308)によって受信可能なフォーマットでRF信号を生成および送信するように構成される。RF信号は、所定の信号周波数帯域のものである。
【0212】
地上端末114は、広域撮像衛星106から所定の信号周波数帯域のRF信号を受信するための受信アンテナ518を含む。受信したRF信号は、第1の撮像タスクに対する応答を表す。
【0213】
受信アンテナ518は、受信部520に接続される。受信アンテナ518は、受信したRF信号を受信部520に提供する。受信部520は、受信したRF信号を復号して、第1のタスク応答データ522を取得する。第1のタスク応答データ522は、メモリ504に格納される。第1のタスク応答データ522は、それが第1の撮像タスクデータ510に記述された第1の撮像タスクに対する応答であることを示す。
【0214】
地上端末114は、タスク応答処理部524を含む。タスク応答処理部524は、広域SARデータ526を取得するために、第1のタスク応答データ522を受信して処理するように構成される。広域SARデータ526は、メモリ504に格納される。
【0215】
地上端末114は、位置予測部528を含む。位置予測部528は、広域SARデータ526(およびおそらく他の第1のタスク応答データ522)を分析して、位置データ530を決定するように構成される。位置データ530は、メモリ504に格納される。位置データ530は、追加の(より高解像度の)SARデータを取得する位置(すなわち、高解像度衛星108をどこに向けるべきか)を示す。位置データ530は、座標(例えば、
図4の第2の撮像座標418)を含み得る。位置予測部528は、広域SARデータ526内の対象が静止しているか又は動いているかを決定するように構成され得る。撮像対象が動いている場合、位置予測部528は、撮像対象の予想される将来の位置を予測するように構成されている(例えば、撮像対象について決定されたモーションアーチファクトを使用して)。例えば、画像対象が船舶である場合、船舶が動いている場合、船舶が広域衛星106による撮像と高解像度衛星108による撮像との間で位置を移動していることが予想され得る。
【0216】
位置データ530は、撮像タスク生成部508への入力として提供され、撮像タスク生成部508は、位置データ530と、位置データ530で定められた位置でSARデータを取得するための命令と、を含む第2の撮像タスクデータ532を生成する。第2の撮像タスクデータ532は、メモリ504に格納される。
【0217】
第2の撮像タスクデータ532は、第2の撮像タスクデータ532を送信可能な信号536に符号化する送信部512への入力として提供される。
【0218】
送信部512は、送信可能な信号536を送信アンテナ516に提供する。送信アンテナ516は、送信可能な信号536を受信し、高解像度撮像衛星108の受信アンテナ(例えば、
図4の受信アンテナ408)によって受信可能なフォーマットでRF信号を生成および送信するように構成される。RF信号は、所定の信号周波数帯域のものである。
【0219】
地上端末114は、受信アンテナ518を介して、第2の撮像タスク532への応答を符号化する高解像度撮像衛星108からRF信号を受信する。
【0220】
受信アンテナ518は、受信したRF信号を受信部520に提供し、受信部520は、受信したRF信号を復号して、第2のタスク応答データ538を取得する。第2のタスク応答データ536は、メモリ504に格納される。第2のタスク応答データ536は、それが第2の撮像タスクデータ532に記述された第2の撮像タスクに対する応答であることを示す。
【0221】
第2のタスク応答データ536は、タスク応答処理部524に提供され、タスク応答処理部524は、第2のタスク応答データを処理して、高解像度SARデータ540を取得する。高解像度SARデータ540は、メモリ504に格納される。
【0222】
地上端末114は、画像データ分析部542をさらに含む。画像データ分析部542は、高解像度SARデータ540を分析して画像コンテキストデータ544を決定するように構成される。画像コンテキストデータ544は、画像対象(例えば、画像内のオブジェクト)の識別子など、高解像度SARデータ540のコンテキストを記述する。
【0223】
画像データ分析部542は、機械学習モジュール546を含む。機械学習モジュール546は、高解像度SARデータ540と同じ解像度を有するSAR訓練画像のセットを使用して訓練された機械学習モデルを含む。機械学習モジュール546は、高解像度SARデータ540を受信し、機械学習モデルへの入力としてSARデータ540を提供する。機械学習モデルは、高解像度SARデータ540を入力として受け取り、画像コンテキストデータ544を含む出力を生成するように構成される。一例では、機械学習モデルは分類モデルであってもよく、画像コンテキストデータ544は、高解像度SARデータ540内のオブジェクトに割り当てられたクラスラベルであってもよい。
【0224】
他の実施形態では、画像データ分析部542は、ユーザ端末124で表示することができる、高解像度SARデータ540をユーザインターフェースにレンダリングするように構成され得る。画像データ分析542は、ユーザインターフェースを介してユーザによって提供された入力データ(例えば、画像コンテキストデータ544)を受信するようにさらに構成され得る。
【0225】
ここで、
図6を参照すると、一実施形態に係る、衛星群を使用して海上クロスキューイングを実行するためのシステム600が示されている。システム600は、
図1のシステム100の実装例である。
【0226】
システム600は、クロスキューイング操作を実行することができる。クロスキューイングは、人間の介入の有無にかかわらず、検出、地理位置情報、およびターゲティング情報を別のセンサに渡すことを含む。概して、システム600は、クロスキューイングを実行するために、低解像度で広域対応の衛星と、高解像度で狭域対応の衛星とを使用する。広域対応の衛星は、広域監視SARデータを取得するために使用され、高解像度で狭域対応の衛星は、高解像度のターゲット監視SARデータを取得するために使用される。
【0227】
図6の例では、クロスキューイング操作は、ダークシップ検出(dark ship detection)を含む。概して、ダークシップ検出は、自動識別システム(「AIS(automatic identification system)」)を備えていない船舶と、潜在的な違法行為が発生しているホットスポットの識別と、を含む。システム600は、衛星搭載SARセンサを使用して、非送信船舶を検出することができる。AISのない船舶は、非送信のダークシップとみなされ得る。自動識別システム(AIS)は、船舶の送信機を使用し、船舶交通サービスで使用される自動追跡システムである。衛星は、AIS署名を検出するために使用されることができる。この場合、衛星-AIS(S-AIS)という用語を使用できる。S-AISは、衝突回避、識別、位置情報、海上ドメインの認識、捜索と救助、環境監視、および海上インテリジェンスアプリケーションに使用され得る。
【0228】
システム600は、宇宙セグメント602および地上セグメント604を含む。
【0229】
宇宙セグメント602は、C帯域SAR撮像衛星606(「C帯域衛星」)およびX帯域SAR撮像衛星608(「X帯域衛星」)を含む。C帯域衛星606は、
図1の広域衛星106であり得る。X帯域衛星は、
図1の高解像度衛星108であり得る。C帯域SAR撮像衛星606は、
図8~9の第1の衛星1102または
図10~11の第1の衛星1202に対応し得る。
【0230】
C帯域およびX帯域衛星は、C帯域SARデータおよびX帯域SARデータをそれぞれ取得し、SARデータを地上セグメント604に送信するように構成される。X帯域衛星608は、C帯域衛星606に関して後続衛星とみなされ得る。C帯域衛星606に対するX帯域衛星608の追跡時間は、約1時間である。C帯域衛星606は傾斜軌道にある。傾斜軌道は、約53.5度の軌道傾斜角を有することができる。傾斜軌道の緯度範囲は+/-62.5度である。X帯域衛星608は、太陽同期軌道を有してもよいし、C帯域衛星606と同じ軌道(例えば傾斜軌道)を有してもよい。
【0231】
C帯域衛星606は、X帯域衛星608のアクセス帯612よりも広いアクセス帯610を有する。
【0232】
C帯域およびX帯域衛星606、608を使用して、(AIS送信部を介して)AIS署名を送信している、または送信していない1つまたは複数の船舶(図示せず)を撮像することができる。
【0233】
図6の例では、船舶は、非送信船舶として識別されている。システム600のユーザは、非送信船舶が海賊版石油タンカーなどの脅威であるかどうかを判断したいと思う場合がある。
【0234】
C帯域衛星606は、非送信船舶の識別に基づいて第1の撮像座標でSARデータを取得することをC帯域衛星606に命令する第1の撮像タスクデータを地上セグメント604から受信することができる。他の場合では、C帯域衛星606による第1の画像は広域掃引を表すことがあり、どの船舶が送信しているか、送信していないかがわからない場合がある。SAR画像データは、地上セグメントにダウンリンクされ、AISと比較されて、興味のある船舶が決定される。次いで、X帯域衛星608は、非送信船舶を含むと考えられる特定の位置で高解像度画像データを取得するよう地上セグメントによってタスクを与えられ得る。
【0235】
C帯域衛星606は、第1の撮像座標で低解像度SARデータを取得し、取得したSARデータをダウンリンク614を介してデータ利用システムに送信する。データ利用システムは、C帯域衛星から信号を受信するための信号受信ステーション616と、低解像度SARデータを処理して低解像度画像620を生成するためのデータ利用処理デバイス618とを含む。処理デバイスはさらに、低解像度SARデータを処理して、X帯域衛星608によって実行されるターゲット撮像操作のための第2の撮像座標を決定する。第2の撮像座標は、X帯域衛星608が非送信船舶の上を通過するときの非送信船舶の予測位置を表す。
【0236】
処理デバイス618は、ネットワーク624を介してミッション制御システムのミッション制御処理デバイス622に接続される。
【0237】
処理デバイス622は、第2の撮像座標を受信し、ミッション制御送信ステーション626に送信される第2のターゲット撮像タスクを記述する第2の撮像タスクデータを生成する。ミッション制御送信ステーション626は、第2の撮像タスクデータをRF信号としてアップリンク628を介してX帯域衛星608に送信する。
【0238】
X帯域衛星608は、RF信号を受信し、第2の撮像座標を含む第2の撮像タスクデータを復号する。X帯域衛星608は、第2の撮像座標で高解像度SARデータを取得する。X帯域衛星608は、ダウンリンク630を介してデータ利用システムの受信ステーション614に高解像度SARデータを送信する。
【0239】
高解像度SARデータを搬送するRF信号は、受信ステーションで受信され、高解像度画像632を生成する処理デバイス616に送信される。高解像度画像632は、訓練を受けたオペレータが画像632を視覚的に分析し、その内容を決定できる(例えば、非送信船舶のタイプまたは性質を決定する)ことができるほど十分に高い解像度を有するSAR画像であり得る。したがって、高解像度画像632は、訓練されたオペレータによるレビューのためにユーザインターフェースにおいて高解像度をレンダリングすることができるユーザ端末(例えば、
図1のユーザ端末124)に提供され得る。他の場合では、高解像度画像632は、SARデータを分析し、高解像度画像632内のオブジェクトが特定のクラスに属するかどうか(すなわち、脅威であるかどうか)を決定するための機械学習モデルに提供され得る。
【0240】
データ利用システムは、複数の受信ステーションおよび複数の処理デバイスを含むことができる。場合によっては、データ利用システムの受信ステーション614は、C帯域衛星606及びX帯域衛星608のいずれかからSARデータを受信するように特別に適合され得る。同様に、ミッション制御システムは、複数の処理デバイス622および複数の送信ステーション626を含むことができる。
【0241】
上述のように、システム600は、SAR撮像データの取得および分析を介して、非送信船舶が信頼できる脅威を提示しているかどうかを判断するために、非送信船舶の識別および対象を絞った監視を有利に提供することができる。
【0242】
ここで、
図7を参照すると、一実施形態に係る、衛星撮像のための地上セグメントアーキテクチャ700が示されている。地上セグメントアーキテクチャ700は、例えば、
図1の地上セグメント104において実装され得る。
【0243】
地上セグメントアーキテクチャ700は、ネットワークステーション702およびS/X地上端末704を含む。S帯域地上端末は、S帯域で宇宙探査機にコマンドを送信するために使用される。X帯域地上端末は、X帯域で宇宙探査機からSARペイロードデータを受信するために使用される。地上端末(S、X)は、アンテナおよび関連する通信インフラストラクチャを含む。S/X地上端末704は、外部S/X地上端末706および内部S/X地上端末708を含む。
【0244】
ネットワークステーション702は、アップリンクを介してC帯域SAR撮像衛星710に接続し、アップリンクを介してネットワークステーション702から衛星710にミッション制御データを送信する。SAR撮像衛星710は、SAR画像データを取得するように構成される。
【0245】
ネットワークステーション702は、HQ地上セグメント714のミッション制御モジュール712に通信可能に接続される。SAR HQ地上セグメント714、およびミッション制御モジュール712などのその構成要素は、1つまたは複数のコンピューティングデバイスを使用して実装され得る。SAR HQ地上セグメント714が複数のコンピューティングデバイスを含む場合、コンピューティングデバイスは、無線または有線接続を使用してネットワーク(インターネットなど)を介して通信可能に接続される。
【0246】
ネットワークステーション702は、ミッション制御モジュール712にデータを転送し、そこからデータを受信する。そうすることで、ネットワークステーション702は、ミッション制御モジュール712と衛星710との間の通信を容易にする。ミッション制御モジュール712は、計画サブモジュール716、宇宙探査機制御サブモジュール718、較正サブモジュール720、およびパス管理サブモジュール722を含む。
【0247】
S/X地上端末704は、ダウンリンクを介して衛星710に接続し、ダウンリンクを介して衛星710からSAR画像データを受信する。
【0248】
S/X地上端末704は、SAR HQ地上セグメント714のデータチェーンモジュール724に通信可能に接続される。S/X地上端末704は、(衛星710から受信した)SAR画像データをデータチェーンモジュール724に転送する。データチェーンモジュール724は、命令サブモジュール726、連絡先管理サブモジュール728、再構成サブモジュール730、SARデータ処理サブモジュール732、船舶検出サブモジュール734、AIS摂取/関連付けサブモジュール736、および生成物配送サブモジュール738を含む。
【0249】
S/X地上端末704はまた、ミッション制御モジュール712にデータを転送し、ミッション制御モジュール712からデータを受信するために、ミッション制御モジュール712に通信可能に接続される。
【0250】
SAR HQ地上セグメント714は、オペレータダッシュボード740も含む。オペレータダッシュボード740は、ユーザオペレータがミッション制御モジュール712およびデータチェーンモジュール724と対話することを可能にする1つまたは複数のユーザインターフェースを提供することができる(例えば、データを入力するか、そのデータ出力を閲覧することによって)。
【0251】
SAR HQ地上セグメント714は、サポートサービス742も含む。サポートサービス742は、サポートサービス742がミッション制御モジュール712およびデータチェーンモジュール724との間でデータを転送および受信できるように、ミッション制御モジュール712およびデータチェーンモジュール724に通信可能に接続される。
【0252】
サポートサービス742は、金融システム744に通信可能に接続される。サポートサービス742は、金融システム744にデータを転送し、そこからデータを受信することができる。サポートサービス742は、金融システム744とSAR HQ地上セグメント714の他の構成要素(例えば、データチェーンモジュール724)との間を容易にすることができる。
【0253】
ミッション制御モジュール712およびデータチェーンモジュール724は、それらの間のデータ交換のために通信可能に接続される。一例では、データチェーンモジュール724は、衛星710によって取得されたSAR画像データに基づいて撮像タスクの座標を生成し、その座標をミッション制御モジュール712に提供することができる。次いで、ミッション制御モジュール712は、座標を使用して、座標に基づく位置での後続の撮像動作のために衛星に送信できる座標を含む撮像タスクを生成することができる。
【0254】
データチェーンモジュール724は、付加価値処理モジュール746にも通信可能に接続される。付加価値処理モジュール746は、データチェーンモジュール724からデータを受信する。付加価値処理モジュール746は、受信したデータを処理し、処理されたデータを顧客748に提供する。顧客748は、データチェーンモジュール724と直接データを送受信することもできる。顧客748は、顧客ユーザから入力データを受信し、モジュール724、746によって出力されたデータを提示するように構成されたユーザインターフェースを介して、付加価値処理モジュール746およびデータチェーンモジュール724と対話することができる。
【0255】
衛星によってキャプチャされた画像データが衛星上で処理される衛星ベースの観測および監視に関連する追加の実施形態を、
図8~17を参照してさらに詳細に説明する。
図8~17の実施形態に関連するシステム、方法、および概念は、
図1~7を参照して上述したシステム、方法、および概念内で、全体または一部を使用することができる。同様に、
図1~7の実施形態に関連するシステム、方法、および概念は、
図8~17を参照して説明したシステム、方法、および概念内で全体または一部を使用することができる。例えば、
図8~17に記載された衛星オンボードデータ処理機能は、
図1の衛星106または衛星108上で実装され得る。
【0256】
以下に説明する実施形態は、様々な用途を有することができる。システムおよび方法を使用して、衛星撮像データ内のオブジェクトを検出することができる。オブジェクトは、動いている場合と動かない場合がある。移動するオブジェクトは、車両(陸上、船舶、宇宙探査機など)またはその他の移動するターゲットを含み得る。システムおよび方法は、船舶の検出(例えば、ダークシップの検出)、宇宙交通管理、および陸上追跡操作(例えば、車両護送、港湾活動監視、鉄道監視)などの用途で使用することができる。したがって、システムおよび方法は、海上環境、陸上環境、または宇宙環境のうちの任意の1つまたは複数の画像データを取得および処理することができる。以下に説明するシステムおよび方法は、劇場での低帯域幅生成物の直接ダウンリンクを可能にし得る。
【0257】
SARデータなどの衛星撮像データのオンボードデータ処理は、限定されたダウンリンクシナリオについてデータの優先順位付けを有利に可能にし得る。FPGAなどの再プログラム可能なプロセッサ上でオンボードデータ処理を実装する実施形態は、画像処理アルゴリズム(例えば、SAR処理アルゴリズム)またはモジュールへの軌道上での更新を可能にすることができ、これは特に有利であり得る。概して、本明細書で説明する衛星撮像データのオンボードデータ処理は、より小さなデータサイズを生成する。これにより、地上へのリンクがより小さくなり、生成物をダウンリンクする機会が増え、画像の時点から生成物を必要とするエンドユーザが生成物を所有するまでの待ち時間が短くなる。
【0258】
まず、
図8を参照すると、一実施形態に係る、地球観測のためのシステム100のブロック図が示されている。
【0259】
システム1100は、第1の衛星1102および第1の地上端末1104を含む。第1の衛星1102は、地球観測ペイロードをサポートすることができる当技術分野で知られている任意のタイプの衛星とすることができる。システム1100の実施形態では、衛星1102は物理的な衛星を指す。他の実施形態では、衛星1102は、衛星、別の宇宙探査機、または航空機のサブコンポーネントであり得る。システム1100の実施形態では、第1の衛星1102は、地球低軌道(LEO)にある。
【0260】
第1の衛星1102は、通信サブシステム1118、地球観測システム1120、およびプロセッサ1122を含む。通信サブシステム1118は、アップリンク(UL)サブシステム1118aおよびダウンリンク(DL)サブシステム1118bを備える。第1の衛星1102は、
図6の衛星606に対応し得る。
【0261】
アップリンクサブシステム1118aは、第1の地上端末1104から命令1300を受信するように構成される。
図8の実施形態におけるアップリンクサブシステム1118aは、S帯域RF通信受信機を備える。他の実施形態では、アップリンクサブシステム1118aは、他のRF帯域を含む、地上端末から衛星で通信を受信するための当技術分野で知られている任意の他の構成要素を備えることができる。
【0262】
ダウンリンクサブシステム1118bは、処理済みの生成物(processed product)を別の外部端末に送信するように構成される。
図8の実施形態におけるダウンリンクサブシステム1118bは、S帯域RF通信送信機を備える。他の実施形態では、ダウンリンクサブシステム1118bは、他のRF帯域を含む、衛星から地上端末または別の衛星にデータを送信するための当技術分野で知られている任意の他の構成要素を備えることができる。
【0263】
地球観測システム1120は、合成開口レーダ(SAR)部を備える。合成開口レーダ(SAR)部は、命令の指示に従って、地表(または他の実施形態では場合によっては他の天体)のSARデータを取得するように動作することができる。システム1100の他の例では、地球観測システムは、地球の表面を撮像および/または監視するための当技術分野で知られている任意の地球観測システムを含むことができる。他の地球観測システムの例は、可視光観測システム、赤外線観測システム、および他のレーダベースの観測システムを含む。いくつかの例では、地球観測システム1120は、C帯域レーダデータをキャプチャすることができる。
【0264】
プロセッサ1122は、軌道上の衛星での使用に適しており、本明細書で説明する処理タスクを実行できる任意のプロセッサであり得る。プロセッサ1122は、フィールドプログラム可能なゲートアレイベースの地球観測データプロセッサを備えることができる。プロセッサ1122は、地球観測システム1120および通信サブシステム1118と通信し、データを送受信するように構成される。いくつかの例では、プロセッサ1122は、複数のサブプロセッサを備えることができ、そのうちの1つを使用して、地球観測データのオンボード処理を行うことができる。いくつかの例では、プロセッサ1122は、プロセッサおよびメモリを含み得る。いくつかの例では、プロセッサ1122は、フィールドプログラム可能なゲートアレイ(FPGA)ベースのプロセッサを含み得る。いくつかの例では、プロセッサ1122は、Xilinx XQRKU060 FPGAを含み得る。いくつかの例では、プロセッサ1122は、FPGA構成プログラミングの記憶のためにNORフラッシュを含み得る。
【0265】
第1の地上端末1104は、通信サブシステム1126および命令受信部1124を含む。通信サブシステム1126は、アップリンクサブシステム1126aを含む。
【0266】
命令受信部1124は、外部端末からの命令、またはキーボード、マウス、またはタッチスクリーンなどの人間の入力デバイスを介してオペレータによって第1の地上端末に入力される命令を受信するように構成される。
【0267】
アップリンクサブシステム1126aは、命令1300を第1の衛星1102に送信するように構成される。
図8の実施形態におけるアップリンクサブシステム1126aは、S帯域RF通信送信機を備える。他の実施形態では、アップリンクサブシステム1126aは、他のRF帯域を含む、地上端末から衛星に通信を送信するための当技術分野で知られている任意の他の構成要素を備えることができる。
【0268】
システム1100の動作中、第1の地上端末1104は、その命令受信部1124で命令1300を受信する。命令1300は、外部端末によって命令受信部1124に提供されてもよいし、キーボード、マウス、またはタッチスクリーンなどの人間の入力デバイスによって第1の地上端末1104に入力されてもよい。場合によっては、命令1300は、第1の地上端末1104上で、または第1の地上端末1104が命令1300を受信し得る外部端末上で実行されるグラフィカルユーザインターフェースを通じて入力され得る。このようにして、命令1300は、第1の地上端末1104、または第1の地上端末1104に通信可能に接続された外部端末(例えば、LANまたはWANなどのネットワークを介して)のいずれかを介して、第1の地上端末1104に提出され得る。
【0269】
ここで、
図12を参照すると、一実施形態に係る、命令1300の構造を示すブロック図が示されている。
【0270】
命令1300は、ヘッダ1302、キャプチャ位置データ1304、対象オブジェクトデータ1306、所望の処理済みの生成物データ1308、および生成物宛先データ1310を含み得る。
【0271】
ヘッダ1302は、命令1300を生成したオペレータなどのデータを識別する管理データ、タイムスタンプデータ、および物流機能を提供することができる他の管理データを含むことができる。
【0272】
キャプチャ位置データ1304は、座標データなど、地球観測のための地表の位置および/または領域を定めるデータを含むことができる。例えば、キャプチャ位置データ1304は、地球観測領域の中心点の座標を含み得る。他の例では、キャプチャ位置データ1304は、地球観測領域のパラメータ記述、例えば中心点、および円形領域を記述する半径を含むことができる。
【0273】
対象オブジェクトデータ1306は、取得データの処理および分析の対象となる対象オブジェクトを指定する。対象オブジェクトは、システム1100に関連付けられた個人が関心を持つ可能性がある特定のタイプまたはクラスの対象を含むことができる。対象オブジェクトは、システム1100のユーザが画像データ内の存在を検出したいオブジェクトのクラスを含むことができる。例えば、対象オブジェクトデータ1306は、船、自動車、軍事装備、武器設備、油流出、建物、または他の固定構造物を指定することができる。概して、対象オブジェクトは、第1の衛星のプロセッサ1122がキャプチャしたデータにおいて検出または識別するように構成されているものとみなすことができる。したがって、対象オブジェクトデータ1306は、適切なオブジェクト検出またはキャプチャしたデータ分析タスクを実行するためにプロセッサ1122によって使用され得る。例えば、異なるキャプチャしたデータ分析技術および処理パイプラインが、異なる対象オブジェクトに対して使用され得る。
【0274】
所望の処理済みの生成物データ1308は、第1の衛星1102のプロセッサ1122によって生成される処理済みの生成物を指定する。所望の処理済みの生成物は、検出された対象オブジェクトのリスト、対象オブジェクトの位置、対象オブジェクトの特徴付け、対象オブジェクトの分類、対象オブジェクトの速度、および対象オブジェクトの画像チップを含む、いくつかの可能な処理済みの生成物を含むことができる。所望の処理済みの生成物1308は、プロセッサ1122によって生成され得る全ての可能な生成物、または可能な生成物のサブセットを指定し得る。
【0275】
生成物宛先データ1310は、所望の処理済みの生成物データ1308で指定された処理済みの生成物の宛先端末またはデバイスを指定する。生成物宛先データ1310は、処理済みの生成物の最終的な宛先を含むことができる。例えば、システム1100が海上監視コンテキストで使用される場合、生成物宛先データ1310は、観測エリア内で未知の検出した船舶に応答するために使用される特定の海上船舶を含むことができる。
【0276】
いくつかの例では、命令1300は、
図12に詳述されているサブコンポーネントのサブセットのみを含み得る。
【0277】
いくつかの例では、命令1300は、
図12を参照して上記で説明したように、最終的な所望のフォーマットで第1の地上端末1104に受信または入力され得る。他の例では、命令1300は、命令1300を第1の衛星1102によって読み取り可能なフォーマットに変換するために、第1の地上端末1104によって処理され得る。
【0278】
いくつかの例では、地上端末1104は、複数の予想される第1の衛星と通信することができる。各第1の衛星は、地表のある部分を観測するように構成され得る。地上端末1104は、命令内のキャプチャ位置データ1304に応じて、命令1300を送信する第1の衛星を決定することができる。例えば、地上端末1104は、可能性のある第1の衛星のデータベース、および全ての第1の衛星の関連する観測範囲をさらに備えることができる。地上端末1104は、どの第1の衛星が範囲内にあるかを決定することができる。次いで、地上端末1104は、命令1300を撮像範囲内の第1の衛星に配信することができる。
【0279】
他の例では、ヘッダ1302は、宛先の第1の衛星が符号化されているヘッダ1302のデータを解析することによって地上端末1104が所望の第1の衛星を決定できるように、第1の衛星データを含むことができる。
【0280】
再び
図8を参照すると、第1の地上端末1104は、命令1300を第1の衛星1102に送信することができる。第1の衛星1102は、アップリンクサブシステム1118aを使用して、第1の地上端末1104から送信された命令1300を受信することができる。命令1300はプロセッサ1122に渡され、プロセッサ1122は命令1300を解析し、命令1300またはそのサブセットを地球観測システム1120に渡すことができる。
【0281】
地球観測システム1120は、キャプチャ位置データ1304によって指示されるように、地表1114の領域の地球観測データを取得するように動作することができる。宇宙交通管理に関連する実施形態などの他の実施形態では、地球観測システム1120は、(地表ではなく)空間領域をキャプチャするように指示され得る。
【0282】
いくつかの例では、第1の衛星1102は、推進システムおよび姿勢制御システムをさらに備えることができる。推進システムは、キャプチャ位置データ1304によって指示されるように地球観測システム1120が地球観測データを取得できるような位置に第1の衛星1102が位置するように、軌道パラメータを変更して第1の衛星1102を配置するように操作され得る。姿勢制御システムは、宇宙探査機が指している場所を方向付けまたは変更するために操作され得る。衛星1102が正しい位置および向きになると、地球観測システム1120は地球観測データを取得することができる。
【0283】
処理済みの生成物1400を生成するために、地球観測データをプロセッサ1122に渡すことができる。
【0284】
ここで、
図13を参照すると、一実施形態に係る、処理済みの生成物1400の構成要素を示すブロック図が示されている。処理済みの生成物1400は、ヘッダ1402、対象オブジェクト報告1412、および対象オブジェクト画像チップ1410を含み得る。対象オブジェクト報告1412は、対象オブジェクト位置データ1404、対象オブジェクト特徴付けデータ1406、および対象オブジェクト速度データ1408のうちの任意の1つまたは複数を含み得る(例えば、移動オブジェクトまたはターゲット検出の場合)。本明細書で説明するシステムおよび方法は、地球観測システムによってキャプチャしたオブジェクトを検出、位置特定、および特徴付けするために使用することができる。オブジェクト検出オンボード処理のコンテキストでは、特徴付けは、たとえば、オブジェクトの長さ、幅、表面積など、検出したオブジェクトの物理的特性の記述を意味し得る。
【0285】
ヘッダ1402は、管理データ、命令1300を生成したオペレータ、タイムスタンプデータ、第1の衛星データ、および物流機能を提供し得る他の管理データなどの識別データを含み得る。
【0286】
対象オブジェクト報告1412は、対象オブジェクト位置データ1404、対象オブジェクト特徴付けデータ1406、および対象オブジェクト速度データ1408を含み得る。場合によっては、対象オブジェクト報告1412は、対象オブジェクト画像チップ1410を含むことができる(例えば、対象オブジェクト報告1412内のデータに関連付けられた対象オブジェクト画像チップ1410を有する)。対象オブジェクト報告1412はまた、タイムスタンプデータ、第1の衛星データ、および物流機能を提供することができる他の管理データなどの管理データを含むことができる。
【0287】
対象オブジェクト位置データ1404は、検出された全ての対象オブジェクトの位置の出力を含むことができる。対象オブジェクト位置データ1404は、例えば、1つまたは複数の検出したオブジェクトの位置を定める座標を指定することができる。対象オブジェクト位置データ1404は、全ての位置付けられた対象オブジェクトの幾何学的中心点の座標のリストを含むことができる。
【0288】
オブジェクトの特徴付けデータ1406は、対象オブジェクトの各オブジェクトの質的または量的特徴付けを含むことができる。オブジェクトの特徴付けデータは、例えば、オブジェクトの長さ、オブジェクトの幅、オブジェクトの表面積など、オブジェクト(例えば船舶)の1つまたは複数の物理的特性を記述し得る。例えば、命令によって指定された対象オブジェクト1306が船舶である場合、オブジェクトの特徴付け1406は、特定された各対象オブジェクトを別個の所定のクラスに特徴付ける出力を含むことができる。例えば、本明細書に記載のシステムが海上監視に使用される場合、対象オブジェクトは船舶であり得る。このような例で出力されるオブジェクト特徴付け1406は、「空母」、「潜水艦」、または「巡洋艦」など、位置を特定された各対象オブジェクトの質的特徴付けを含むことができる。場合によっては、オブジェクトの特徴付けデータ1406は、プロセッサ1122によって実行されるオブジェクト検出またはオブジェクト分類タスクを介して決定された、対象オブジェクトが属するオブジェクトのクラスを指定するオブジェクト分類(例えば、クラス割り当てまたはラベル)を含むことができる。
【0289】
対象オブジェクト速度データ1408は、検出された各対象オブジェクトの速度の出力を含むことができる。出力は、検出された各対象オブジェクトの数値の速度および移動方向であり得る。
【0290】
対象オブジェクト画像チップ1410は、検出された各対象オブジェクトの画像クロップを含むことができる。画像チップ1410は、システムのエンドユーザに価値を提供することができ、これは、特定された対象オブジェクトのそれぞれが目視検査によって迅速に手動で検証され得るからである。オペレータは、検出された対象オブジェクトの画像チップを調べて、プロセッサ1122が対象オブジェクトを正しく識別したことを確認することができる。さらに、オペレータは、検出された対象オブジェクトの画像チップを調べて、オブジェクトを特徴付けるときに取り込まれない可能性がある情報を抽出することができる。例えば、対象オブジェクトは、対象オブジェクト特徴付けデータ1406を介して大型船として分類され得る。オペレータは、対応する画像チップを視覚的に検査して、船が軍用船であるか民間船であるかを識別することができる。
【0291】
場合によっては、対象オブジェクト画像チップ1410は、画像チップ1410内の対象オブジェクトを分類するための1つまたは複数の分類アルゴリズムを実装する対象オブジェクト分類モジュールへの入力として使用され得る。対象オブジェクト分類アルゴリズムは、任意の適切な分類アルゴリズムであり得る。例えば、対象オブジェクト分類モジュールは、機械学習ベースの分類モデルまたはアルゴリズムを実装することができる。対象オブジェクト分類モジュールは、地上ベースの端末(例えば、地上端末1210、地上端末1212)の処理部上で実装され得る。その場合、画像チップ1410は、第1の衛星1202からダウンリンクによって受信され、対象オブジェクトのクラス割り当てを決定するための分類モジュールを介して処理され得る。次いで、分類データは、表示されるか、または他の端末にさらに通信されることができる(例えば、処理済みの生成物1400の一部として)。他の実施形態では、対象オブジェクト分類モジュールは、第1の衛星のプロセッサ(例えば、プロセッサ1122、1222)上で実装され得る。分類モジュールは、分類モジュールを介して画像チップ1410を処理して、対象オブジェクトのクラス割り当てを決定することができる。次いで、分類データは、地上端末または第2の衛星(例えば、第2の衛星1106)などの別の端末に、例えば処理済みの生成物1400の一部として(例えば、対象オブジェクトの報告内で)通信され得る。
【0292】
再び
図8を参照すると、プロセッサ1122は、命令1300の指示に従って、地球観測データを処理することができる。プロセッサ1122は、命令1300の対象オブジェクト1306および所望の処理済みの生成物1308を解析して、どの情報を識別および処理し、どの出力を生成するかを決定することができる。プロセッサ1122は、処理済みの生成物1400を出力することができる。処理済みの生成物1400は、さらなる使用のために別の端末に送信されてもよい。
【0293】
ここで、
図9を参照すると、
図8を参照して上述した第2の衛星1106および応答エージェント1108をさらに備えるシステム1100の実施形態が描かれている。
図9のシステム1100は、プロセッサ1122を介して第1の衛星1102上で生成される処理済みの生成物1400の衛星間通信を含む。
【0294】
第2の衛星1106は、アップリンクサブシステム1130aおよびダウンリンクサブシステム1130bを含む通信サブシステム1130を含む。第2の衛星1106は、中継衛星として構成され得る。第2の衛星1106は、ある衛星から信号を受信し、同じ信号を別の衛星または地上ステーションまたは端末に送信する(すなわち中継する)ように構成される。第2の衛星1106は、信号中継機能を提供するための任意の適切な軌道を有することができる。いくつかの例では、第2の衛星1106は、静止軌道(GEO)内にあり得る。いくつかの例では、第2の衛星1106は地球低軌道(LEO)内にあり得る。特定の実施形態では、第2の衛星1106は、GEO衛星中継ネットワークなどの衛星の中継ネットワークの一部であり得る。
【0295】
応答エージェント1108は、本明細書に記載のシステムによって位置特定されたオブジェクトに応答することができる任意の車両、システム、または個人を含むことができる。例えば、海上監視用途では、応答エージェント1108は海上巡視船を含むことができる。さらに、応答エージェント1108は、通信サブシステムおよびコンピューティングデバイスを含む受信端末を含む、該受信端末に接続される、または該受信端末にアクセスする。通信サブシステムは、第2の衛星から通信を受信するように構成される(DLサブシステム1130bを介して送信される)コンピューティングデバイスは、受け取ったフォーマットの処理済みの生成物を出力に適したフォーマットに処理するように構成され得る。コンピューティングデバイスは、処理済みの生成物1400を人間可読形式で出力するように構成される。例えば、コンピューティングデバイスは、処理済みの生成物またはその要素を人間可読形式で表示するためのグラフィカルユーザインターフェースモジュールを実行するように構成され得る。
【0296】
図9のシステム1100において、第1の衛星1102は、そのダウンリンクサブシステム1118bを使用して、処理済みの生成物1400を第2の衛星1106に送信する。第2の衛星1106は、アップリンクサブシステム1130aを介して処理済みの生成物1400を受信する。
図9のシステム1100において、ダウンリンクサブシステム1118bは、別の周回衛星と通信するように構成された衛星間リンクを含み、アップリンクサブシステム1130aは、別の周回衛星からの通信を受信するように構成され得る。衛星間リンクは、地上ステーションとの通信に使用されるアップリンク/ダウンリンクサブシステムとは別に実装され得る。
【0297】
第2の衛星1106は、ダウンリンクサブシステム1130bを使用して、処理済みの生成物1400を応答エージェント1108に送信することができる。第2の衛星1106は、命令1300の製品宛先データ1310を使用して、処理済みの生成物1400をどこに(すなわち、どの応答エージェント1108に)送信するかを決定することができる。
【0298】
応答エージェント1108は、その受信端末を介して処理済みの生成物1400を受信することができる。応答エージェント1108は、特に関心のある、検出された対象オブジェクトに応答し始めることができる。これは、安全またはセキュリティ上のリスクをもたらすオブジェクトを含み得る。
【0299】
ここで、
図10を参照すると、一実施形態に係る、オンボード処理による地球観測のためのシステム1200が示されている。システム1100に関する上記の説明は、システム1200に適用される。システム1200は、システム1100の全ての構成要素を含み、さらに、第2の地上端末1210および第3の地上端末1212を含む。場合によっては、第2および第3の地上端末1210、1212は同じ地上端末であり得る。
【0300】
システム1200の動作において、第1の衛星1202は、ダウンリンクサブシステム1218bを介して第2の地上端末1210に処理済みの生成物1400を送信することができる。第2の地上端末は、ダウンリンクサブシステムを介して処理済みの生成物1400を受信し、通信インターフェース(例えば、第2および第3の地上端末がLANまたはWANなどのネットワーク接続を介して通信可能に接続されているネットワークインターフェース)を介して第3の地上端末1212に処理済みの生成物1400を送信することができる。第3の地上端末は、通信インターフェースを介して処理済みの生成物1400を受信し、処理済みの生成物1400を第2の衛星1206に送信することができる。第2の衛星1206は、処理済みの生成物1400を応答エージェント1208に送信することができる。応答エージェント1208は、処理済みの生成物1400内に含まれる情報を利用して操作を行うことができる。
【0301】
システム1100の第1の衛星1102から第2の衛星1106への通信リンクは、第1の衛星1102と第2の衛星1106との間の見通し線(line of sight)を必要とし得る。システム1200は、有利には、第1の衛星1202および第2の衛星1206が見通し線内にない通信を可能にすることができる。さらに、衛星間通信は、追加の、または専用の衛星間通信サブシステムを必要とし得る。第2の衛星1206が静止軌道にある例では、第1の衛星1102と第2の衛星1106との間の見通し線が一般に利用可能である。したがって、第1の衛星1102から1つまたは複数の地上端末を介して第2の衛星1106へ、次いで応答エージェント(エンドユーザ)への中継を含む実施形態は、特に有利であり得る。
【0302】
ここで、
図11を参照すると、
図10のシステム1200のさらなる実施形態が描かれている。
図11のシステム1200は、クラウドサーバ1228をさらに備える。第2の地上端末1210は、クラウドサーバ1228を通じて第3の地上端末1212と通信するように構成される。クラウドサーバ1228は、2つの端末間で通信を送信できる、当技術分野で知られている任意のタイプのサーバであり得る。
【0303】
処理済みの生成物1400を第2の地上端末1210から第3の地上端末1212に送信するときに、クラウドサーバ1226を介して処理済みの生成物1400を渡すことは、さらなる機能を提供することができる。例えば、通信チェーンにおけるクラウドサーバ1228の存在により、クラウドサーバ1228は、送信中に処理済みの生成物1400をさらに処理することができる。例えば、クラウドサーバ1228は、処理済みの生成物1400において識別された検出したオブジェクトをさらに検証するためにクラウドサーバ1228によって使用され得る相関データを格納し得る。一例では、相関データは、対象オブジェクトまたは関心のあるオブジェクトではなく、検出したオブジェクトとしての応答または処理を保証しない可能性のあるオブジェクトを識別または記述することができ、処理済みの生成物1400内の検出したオブジェクトを記述するデータは、「一致」を識別するための相関データと比較され得る。次に、一致は、処理済みの生成物1400の一部として、または処理済みの生成物1400とともに、たとえば処理済みの生成物1400への注釈として伝達される(たとえば、相関データに一致する検出したオブジェクトにフラグを立てるまたはラベルを付ける)。同様に、相関データに「一致」がない検出オブジェクトは、フラグを立てられ、又はラベルを付けられ得る。他の場合では、クラウドサーバ1228は、相関データにおいて一致する検出したオブジェクトを除去することなどによって、処理済みの生成物1400を変更するように構成され得る。
【0304】
本明細書に記載のシステムが海上監視用途で使用される例では、クラウドサーバ1228は、自動識別システム(AIS)機能とのダークターゲット相関を可能にすることができる。クラウドサーバ1228は、サードパーティのAISデータプロバイダであり得る。ある地球観測エリア内には、多数の船舶が存在し得る。クラウドサーバ1228は、AISによって検出された、現在知られている全ての送信船を含むAISデータベースを備えることができる。データベース内に存在しない船舶は、「ダークシップ(dark ships)」または「ダークターゲット(dark targets)」と呼ばれ得る。クラウドサーバ1228は、AISデータベースを参照して、AISデータベース内に位置を特定された船舶が存在しないかどうかを判断し、存在しない船舶をダークターゲットとしてラベル付けすることができる。ダークターゲットは、より大きなセキュリティリスクをもたらす可能性があるため、検出された優先度の高い船舶を含み得る。応答エージェント1208は、より高い優先度でダークターゲットに応答するか、またはダークターゲットにのみ応答することができる。他の場合では、クラウドサーバ1228は、AISデータ(位置データなど、処理済みの生成物1400の内容によって決定され得るAISデータ)を第3の地上端末1212に単に供給することができる。クラウドサーバ1228は、AIS専用の衛星の地球規模の群からAISデータを受信することができ、システム1200に、処理済みの生成物1400との相関のために使用できる船舶追跡履歴データを提供することができる。
【0305】
本明細書で説明するシステムの他の例では、ダークターゲット相関は、クラウドサーバなしで実行されることができ、代わりに、第1の地上端末1104、1204、第1の衛星1102、1202、または第2の衛星1106、1206のいずれか1つによって実行されることができる。このようなダークターゲットの相関付けが衛星によって実行される場合、実行中の衛星は、船舶追跡を実行するためのAISペイロードを含み得る。そのようなダークターゲット相関が衛星によって実行される場合、ダークターゲット相関は、オンボードプロセッサ1122、1222によって実行され得る。同様に、データ相関が衛星によって実行されるダークターゲット相関のためのAIS以外のデータ相関の形態を対象とする他の実施形態では、オンボードプロセッサ1122、1222は、データ相関を実行するように構成され得る。
【0306】
ここで、
図14を参照すると、一実施形態に係る、オンボード処理による地球観測の方法1500を詳述するフローチャートが示されている。方法1500は、ステップ1502、1504、1506、1508、およびオプションで1510、および1512を含む。
図8~13を参照した上記の説明は、方法1500に適用される。
【0307】
1502で、命令1300などの命令が第1の地上ステーションで受信される。命令は、地球観測タスクを指定する。
【0308】
1504において、命令が第1の地上端末から第1の衛星に送信される。
【0309】
1506では、地球観測部を動作させて地球観測データを取得する。地球観測データの取得は、命令に基づく。
【0310】
1508で、地球観測データが処理されて、処理済みの生成物1400などの処理済みの生成物が生成される。
【0311】
1510で、処理済みの生成物が第2の衛星に送信される。処理済みの生成物は、衛星間リンクを介して第2の衛星に送信され得る。
【0312】
1512で、処理済みの生成物が応答エージェントに送信される。
【0313】
ここで、
図15を参照すると、一実施形態に係る、オンボード処理による地球観測の方法1600を詳述するフローチャートが示されている。方法1600は、ステップ1602、1604、1606、1608、1610、1612、1614、および1616を含む。
【0314】
1602で、命令1300などの命令が第1の地上ステーションで受信される。命令は、地球観測タスクを指定する。
【0315】
1604において、命令が第1の地上端末から第1の衛星に送信される。
【0316】
1606では、地球観測部を動作させて地球観測データを取得する。
【0317】
1608で、地球観測データが処理されて、処理済みの生成物1400などの処理済みの生成物が生成される。
【0318】
1610において、処理済みの生成物が第2の地上端末に送信される。
【0319】
1612において、処理済みの生成物は第3の地上端末に送信される。方法1600のいくつかの例では、処理済みの生成物は、第2の地上端末から第3の地上端末に直接送信され得る。他の例では、処理済みの生成物は、クラウドサーバ1228などのクラウドサーバを介して、第2の地上端末から第3の地上端末に送信され得る。
【0320】
1614で、処理済みの生成物が第2の衛星に送信される。
【0321】
1616で、処理済みの生成物が応答エージェントに送信される。
【0322】
ここで、
図16を参照すると、一実施形態に係る、衛星に搭載された地球観測データの処理(「オンボード処理」)を実行するための処理パイプライン1700のブロック図が示されている。
【0323】
処理パイプライン1700は、軌道上にあるときに、プロセッサがパイプライン1700を使用して地球観測データを処理できるように、軌道上の衛星での使用に適したプロセッサ上で実装され得る。例えば、処理パイプライン1700は、上述のように第1の衛星1102のプロセッサ1122で実装され得る。一実施形態では、プロセッサは、FPGAベースのプロセッサであり得る。そのような実施形態では、処理パイプライン1700は、オンボード処理のためのFPGA設計を表し得る。
【0324】
図8~15を参照した上記の説明は、パイプライン1700に適用される。
図16はSARデータを参照しているが、他の実施形態では、パイプライン1700を使用して、適切な修正を加えて、他の形式の画像データを処理することができる。
【0325】
処理パイプラインは、入力データ解析モジュール1702、前処理モジュール1704、SARプロセッサモジュール1720、マスキングモジュール1706、オブジェクト検出モジュール1708、検出オブジェクト速度推定モジュール1722、検出オブジェクト報告生成モジュール1710、画像チップ生成モジュール1712、データ圧縮モジュール1714、暗号化モジュール1716、および出力データバッファモジュール1718を含む。
【0326】
入力データ解析モジュール1702は、生のSARデータを入力として受信し、生のSARデータを解析して、解析されたSARデータを生成するように構成される。解析されたSARデータは、前処理モジュール1704に出力される。入力データ解析モジュール1702は、全ての入力データを解析し、ヘッダを取り除き、必要なパラメータを初期化するように構成され得る。入力データ解析モジュール1702の出力は、ヘッダなしで解析された生データを含み得る。
【0327】
前処理モジュール1704は、入力データ解析モジュール1702の出力を入力として受信し、解析されたSARデータに対して前処理を実行して、前処理されたSARデータを生成するように構成される。前処理されたSARデータは、SARプロセッサモジュール1720に出力される。一実施形態では、前処理モジュール1704は、処理開始前に行うことができる任意の計算を実行するように構成される。前処理モジュール1704への入力は、解析されたデータ、ならびにコマンドおよびパラメータを含み得る。前処理モジュール1704によって生成される出力は、(例えば、モジュール1720によって)SAR処理に必要な(前処理された)データおよび事前計算されたパラメータを含み得る。
【0328】
SARプロセッサモジュール1720は、前処理されたSARデータを入力として受信し、受信した入力を処理して、SAR画像を含む出力を生成するように構成される。SARプロセッサモジュール1720は、任意の適切な技術に従ってSAR画像を処理するように構成され得る。SARプロセッサモジュール1720は、前処理されたSARデータをSAR画像の入力および出力処理されたバーストまたはストリップとして受信するように構成され得る。SARプロセッサモジュール1720によって生成された出力は、マスキングモジュール1706および検出オブジェクト速度推定モジュール1722に出力される。マスキングモジュール1706を含まない実施形態では、出力はオブジェクト検出モジュール1708に提供され得る。いくつかの実施形態では、SARプロセッサモジュール1720は、マルチ開口SARデータを処理するように構成され得る。
【0329】
一実施形態では、SARプロセッサモジュール1720は、生データを処理し、オブジェクト検出または他のモジュールに使用される画像を作成するためのメインモジュールである。SARプロセッサモジュール1720の出力は、ストリップまたはバーストで処理されたSAR画像(SAR画像データ)を含み得る。出力にストリップまたはバーストで処理されたSAR画像が含まれるかどうかは、SAR ードによって異なる。
【0330】
一実施形態では、SARプロセッサモジュール1720は、ドップラー重心推定(Doppler centroid estimation)を用いてマルチ開口範囲ドップラーSAR処理(multi-aperture range-Doppler SAR processing)を実行し得る。SAR処理アルゴリズムの範囲ドップラーの態様は、スペクトル分析(SpecAn)および高速畳み込みバージョンを含み得る。別の実施形態では、SARプロセッサモジュール1720は、逆投影(BP)SAR処理アルゴリズムを実装し得る。
【0331】
上述のように、SARプロセッサモジュール1720の変形は、ドップラー重心推定アルゴリズムを実装することによってドップラー重心推定を使用することができる。ドップラー重心アルゴリズムは、方位角ビーム中心に関連するデータのドップラースペクトルの中心周波数を推定するように構成され得る。ドップラー重心は、データ内の様々な距離で推定されることができ、距離の多項式関数を測定値に適合させることができる。ドップラー重心は、連続する方位角ブロックで更新され得る。
【0332】
マスキングモジュール1706は、処理されたSARデータを入力として受信し、処理されたSARデータに対してマスキング操作を実行して、マスキングされたSARデータを生成するように構成される。マスキング操作は、オブジェクト検出操作に関連しないSARデータの領域をマスクするように構成され、そうでなければ誤検出につながる可能性がある。
【0333】
一実施形態では、マスキングモジュール1706は、マスキングされるエリアまたはオブジェクトを記述する多角形を含むデータベースにアクセスするように構成され得る(例えば、点を無視する)。データベースに格納されたマスクは、特定の対象オブジェクトまたは画像の一部のうち重要ではないことがわかっている部分をマスクまたは不明瞭にすることを目的としており、誤検出の可能性を減らすために不明瞭にすることができる。
【0334】
例えば、海上監視用途の場合、マスキングモジュール706は、世界のランドマスを表す多角形を含むデータベースにアクセスするように構成されたランドマスキングモジュールであり得る。ランドマスクは、データベースから抽出され、入力データに適用される。マスクされた領域内のオブジェクトが検出されるのを防ぐために、全てのランドマスが以降の処理から除外され得る。他の例では、監視が不要な既知の安全なゾーンなど、他のエリアがマスクされ得る。マスキングにより、オブジェクト検出のために分析する必要があるキャプチャ領域が減少し、処理時間が短縮され、観察の待ち時間が短縮される。
【0335】
マスキングモジュール1706は、マスキングされたSARデータをオブジェクト検出モジュール1708に出力する。
【0336】
オブジェクト検出モジュール1708は、受信したSARデータに対してオブジェクト検出タスクを実行するように構成される。これは、マスクされたSARデータまたはマスクされていないSARデータを含み得る。一実施形態では、オブジェクト検出モジュール1708は、SARデータ内のオブジェクトの1つまたは複数のクラスを検出し、検出したオブジェクトのリスト、または検出したオブジェクト毎のオブジェクトクラス割り当ておよびバウンディングボックス座標を含む注釈付きSAR画像を出力するように構成され得る。
【0337】
一実施形態では、オブジェクト検出モジュール1708は、最適化問題を解くように構成され得る。例えば、個々のピクセルを最初に検出し、次に近接性に基づいてクラスタリングしてオブジェクト検出を形成することができる。オブジェクト検出モジュール1708の出力は、検出された各オブジェクトの地理的位置および1つまたは複数の特徴を含むことができる。
【0338】
別の実施形態では、オブジェクト検出モジュール1708は、オブジェクト検出のための一定誤警報率(CFAR)技術を実装するように構成され得る。CFAR技法は、背景クラッタ(例えば、オブジェクト検出の船舶検出実施形態における背景海クラッタ)およびノイズへの統計的適合を使用して背景画像を特徴付けることができ、適合はタイルごとに適用される。K分布及び三峰分布(tri-modal distribution)など、様々なタイプのCFAR技術を使用することができる。この種のオブジェクト検出では、任意の統計分布関数が使用され得る。
【0339】
オブジェクト検出モジュール1708によって生成されたオブジェクト検出出力は、検出オブジェクト報告生成モジュール1710および画像チップ生成モジュール1712に出力される。オブジェクト速度推定モジュール1722を含む実施形態では、オブジェクト検出出力は、オブジェクト速度推定モジュール1722に提供される。
【0340】
オブジェクト速度推定モジュール1722は、ドップラー重心推定モジュール1720を有するマルチアパーチャ仕様SARプロセッサおよびオブジェクト検出モジュール1708から出力を受信し、オブジェクト検出モジュール1708によって検出された1つまたは複数のオブジェクトの推定オブジェクト速度を決定するように構成される。推定オブジェクト速度値は、検出オブジェクト報告生成モジュール1710に出力される。
【0341】
一実施形態では、速度推定は、2つのデータ受信チャネルからの2つの画像の相互登録に基づいて実行される。速度推定モジュール1722への入力は、チャネル毎に処理されたSAR画像であり、出力は、検出された船舶毎の半径方向速度の推定である。
【0342】
一実施形態では、速度推定モジュール1722は、オブジェクト速度の推定のために空間時間適応処理(STAP)アプローチを実装することができる。STAPを適用するには、少なくとも2つの空間チャネルのデータが必要である。この場合、1つはアンテナの前部から、もう1つはアンテナの後部からのものである。オブジェクト速度推定に使用できるSTAP技術の例は、変位位相中心アンテナ(DPCA)およびATI(トラック干渉計に沿って)を含む。
【0343】
検出オブジェクト報告生成モジュール1710は、オブジェクト検出出力と、存在する場合には推定されたオブジェクト速度値とを受信し、検出オブジェクト報告を生成するように構成される。概して、検出オブジェクト報告は、1つまたは複数の検出したオブジェクトを記述するデータを含む。データは、たとえば、位置、特性(オブジェクトの種類またはクラス)、速度、進行方向などを含み得る。検出オブジェクト報告は、上述の処理済みの生成物1400の対象オブジェクト報告1412に対応し得る。
【0344】
一実施形態では、報告は、検出された各船舶の要約を提供する。報告は、船舶の位置、特性、および半径方向の速度推定を含み得る。一実施形態では、検出された船舶毎に1つの報告が作成される。一実施形態では、報告フォーマットは、単純なテキストを含み得る。
【0345】
検出オブジェクト報告は、暗号化モジュール1716(または、暗号化を含まない実施形態では出力データバッファモジュール1718)に出力される。
【0346】
画像チップ生成モジュール1712は、SARデータおよび検出したオブジェクトを記述するデータ(画像内の位置など)を含むオブジェクト検出出力を受信し、検出された各オブジェクトの画像チップを生成するように構成される。画像チップは、検出したオブジェクトを含む画像の切り取られた部分に対応することができる。
【0347】
一実施形態では、検出したオブジェクトごとに1つの画像チップが生成される。画像チップのサイズは、オブジェクト(船舶など)のサイズに基づいており、処理されたSAR画像内のオブジェクトの周りに拡張された境界ボックスを表す。
【0348】
画像チップ生成モジュール1712によって生成された画像チップは、データ圧縮モジュール1714に出力される。
【0349】
データ圧縮モジュール1714は、任意の適切なデータ圧縮スキームに従って受信データを圧縮するように構成される。データ圧縮モジュール1714は、画像チップを圧縮して圧縮画像チップを生成し、圧縮画像チップを暗号化モジュール1716(または暗号化なしの実施形態では出力データバッファモジュール1718)に出力する。画像チップは、標準の圧縮方法を使用して圧縮され得る。
【0350】
図16に描かれているように、パイプライン1700のいくつかの例では、1710と1712と1714とが並行して実行され得る。これらのステップを並行して実行することで、パイプライン1700の計算速度を向上させることができる。そのような並列処理は、待ち時間の短縮を有利に提供することができる。
【0351】
暗号化モジュール1716は、任意の適切な暗号化スキームに従って受信データを暗号化するように構成される。暗号化モジュール1716は、検出オブジェクト報告および圧縮画像チップを入力として受信し、暗号化された検出オブジェクトの報告および暗号化画像チップを生成する。暗号化された検出オブジェクト報告および画像チップは、
図13の処理済みの生成物1400などの処理済みの生成物に組み立てることができる。データは、衛星ダウンリンクデータを暗号化する標準的な方法を使用して、暗号化モジュール1716によって暗号化される。暗号化モジュール1716は、商用グレードの暗号化を使用することができる。たとえば、データは、AES-CCMごとに暗号化され得る。
【0352】
暗号化された検出オブジェクト報告および暗号化された画像チップは出力データバッファモジュール1718に出力され、出力データバッファモジュール1718は処理済みの生成物を出力する。出力データバッファモジュール1718は、ダウンリンクまたは別の衛星への送信の準備が整うまで、全てのオブジェクト検出オンボード処理出力を格納するように構成される。
【0353】
パイプライン1700の他の実施形態では、いくつかの構成要素またはモジュールが省略され得る。例えば、地球観測操作が高度なセキュリティを必要としない実施形態では、暗号化モジュール1716は必要ない場合がある。
【0354】
ここで、
図17を参照すると、一実施形態に係る、オブジェクト検出オンボード処理アーキテクチャおよびデータフロー1800を示すブロック図が示されている。オブジェクト検出オンボード処理アーキテクチャおよびデータフロー1800は、地球周回衛星、例えば、システム1100の第1の衛星1102に実装され得る。
【0355】
アーキテクチャおよびデータフロー1800は、キャプチャタスク入力1802、S帯域アップリンクサブシステム1804、宇宙探査機コンピュータ1806、キャプチャタスク1826、地球観測キャプチャ部1828、生のキャプチャデータ1830、オブジェクト検出オンボード処理部1808、処理済みの生成物1824、S帯域ダウンリンクサブシステム1832、およびユーザへの出力1834を含む。
【0356】
オブジェクト検出オンボード処理部1808は、オンボード処理部1808によって実行されると、オンボード処理部1808に機能を実行させ、本明細書に記載の機能を提供させる複数のソフトウェアモジュールを含む。オブジェクト検出オンボード処理モジュール1808は、生キャプチャデータ処理モジュール1810、オブジェクト検出モジュール1812、検出オブジェクト速度推定モジュール1814、検出オブジェクト報告生成モジュール1816、画像チップ生成モジュール1818、データ圧縮モジュール1820、及びデータ暗号化モジュール1822を含み、オプションでAISデータ相関モジュール1836を含む。オブジェクト検出オンボード処理部1808は、システム1100を参照して上記で説明したプロセッサ1122に対応し得る。
【0357】
キャプチャタスク入力1802は、衛星によって実行される画像キャプチャタスクを記述する地上端末(例えば、
図8の第1の地上端末1104)などの外部端末を介して衛星に伝達される情報を含む。キャプチャタスク入力1802は、上述の
図12の命令1300を含むか、またはそれに対応することができる。
【0358】
キャプチャタスク入力1802は、S帯域アップリンクサブシステム1804を介して受信される。S帯域アップリンクサブシステム1804は、受信したキャプチャタスク入力1802を宇宙探査機コンピュータ1806に伝達する。S帯域アップリンクシステム1804は、システム1100を参照して上で説明したように、アップリンクサブシステム1118aに対応し得る。
【0359】
(例えば、
図3のタスク応答生成部332などを含み得る)宇宙探査機コンピュータ1806は、データ操作を実行し、宇宙探査機に搭載された(オンボード処理部1808および地球観測キャプチャ部1828を含む)複数のシステムにコマンドを発行するように構成されたプロセッサを含む。宇宙探査機コンピュータ1806は、1つまたは複数のデータバスを介して他のそのようなシステムおよび構成要素と通信することができる。宇宙探査機コンピュータは、地上端末との通信、オンボードシステム間のデータ保存とルーティング、および姿勢と軌道制御など、様々なタスクの実行を担当する衛星ソフトウェアを実行するように構成されている。
【0360】
宇宙探査機コンピュータ1806は、キャプチャタスク入力1802を受信し、キャプチャタスクコマンド1826を生成し、キャプチャタスクコマンド1826を地球観測キャプチャ部1828に出力する。
【0361】
地球観測キャプチャ部1828は、システム100を参照して上述した地球観測システム120に対応し得る。地球観測キャプチャ部1828は、画像データを取得するための画像センサを含む。画像センサは、画像データを取得することができ、衛星ベースの画像に使用するのに適した任意のセンサであり得る。例えば、画像センサは、画像レーダセンサまたは光学画像センサを含むことができる。一実施形態では、画像センサは、SARセンサを含む。
【0362】
地球観測キャプチャ部1828は、キャプチャタスクコマンド1826を受信し、コマンドに従って画像キャプチャタスクを実行するように構成されている。画像キャプチャタスクの実行により、生のキャプチャデータ1830が生成される。
【0363】
(一部の実施形態では、たとえば、
図3の広域SAR画像データ330であり得る)生のキャプチャデータ1830は、地球観測キャプチャ部1828からオブジェクト検出オンボード処理部1808に出力される。
【0364】
生キャプチャデータ処理モジュール1810は、生のキャプチャデータ1830を受信し、生のキャプチャデータ1830を別のフォーマット(処理済みキャプチャデータ)に処理する。生キャプチャデータ処理モジュール1810は、
図16の入力データ解析モジュール1702に対応し得る。
【0365】
オブジェクト検出モジュール1812は、モジュール1810によって生成された処理済みキャプチャデータを受信し、入力撮像データをさらに処理して、撮像データ内の対象オブジェクトを検出する。当技術分野で知られている任意のオブジェクト検出スキームが、オブジェクト検出モジュール1812によって適用され得る。オブジェクト検出モジュール1812は、
図16のオブジェクト検出モジュール1708に対応し得る。
【0366】
オブジェクト速度推定モジュール1814は、生のキャプチャデータ1830または処理されたキャプチャデータおよびオブジェクト検出モジュール1812の出力データを受信し、入力データをさらに処理して、検出された対象オブジェクトの方向および/または速度を推定することができる。オブジェクト速度推定モジュール1814は、更なるデータ処理のために、生キャプチャデータ処理モジュール1810とオブジェクト検出モジュール1812との両方からデータを受信する。オブジェクト速度推定モジュール1814は、
図16のオブジェクト速度推定モジュール1722に対応し得る。
【0367】
オブジェクト報告生成モジュール1816は、オブジェクト検出モジュール1812およびオブジェクト速度推定モジュール1814から出力データを受信し、オブジェクト報告を生成および出力する。システム1800がAISデータ相関モジュール1836を含む例では、オブジェクトの報告生成モジュールは、AISデータ相関モジュール1836からAIS相関出力を受信することができる。オブジェクト報告生成モジュール1816は、
図16の検出オブジェクトの報告生成モジュール1710に対応し得る。
【0368】
画像チップ生成モジュール1818は、生キャプチャデータ処理モジュール1810およびオブジェクト検出モジュール1812から出力を受信し、オブジェクト検出モジュール1812によって識別された検出オブジェクトに対応する画像チップを生成する。例えば、画像チップ生成モジュール1818は、オブジェクト検出モジュール1812によって出力されたバウンディングボックス座標データを使用して、処理されたキャプチャデータから検出したオブジェクトを含む画像データをトリミングすることができる。画像チップ生成モジュール1818は、各画像クロップを画像チップとして出力する。画像チップ生成モジュール1818は、
図16の画像チップ生成モジュール1712に対応し得る。
【0369】
データ圧縮モジュール1820は、入力データを受信し、対応する圧縮された出力データを出力することができる。例えば、データ圧縮モジュール1820は、画像チップ生成モジュール1818によって生成された画像チップを受信し、画像チップデータを圧縮するように構成され得る。当技術分野で知られている任意のデータ圧縮は、データ圧縮モジュール1820によって適用され得る。データ圧縮モジュール1820は、
図16のデータ圧縮モジュール1714に対応し得る。
【0370】
データ暗号化モジュール1822は、入力データを受信し、対応する暗号化された出力データを出力することができる。当技術分野で知られている任意の暗号化スキームは、データ暗号化モジュール1822によって適用され得る。入力データは、例えば、モジュール1816によって生成されたオブジェクト報告データおよび画像チップデータ(または圧縮画像チップデータ)を含み得る。データ暗号化モジュール1822は、
図16の暗号化モジュール1716に対応し得る。
【0371】
AISデータ相関モジュール1836は、オブジェクト検出モジュール1812から出力データを受信することができる。AISデータ相関モジュール1836は、オブジェクト検出モジュール1812の出力をAISデータと比較して、検出したオブジェクトがダークターゲットを含むかどうかを判断することができる。システム1800がAISデータ相関モジュール1836を備える例では、システム1800は、AISデータを取得または受信するように構成され得る。
【0372】
別の実施形態では、オブジェクト検出オンボード処理部1808は、データセットおよびオブジェクト検出モジュール1812の出力を受信し、データセットをオブジェクト検出モジュール1812の出力と関連付けることができるデータ相関部を備えることができる。
【0373】
オブジェクト検出搭載処理部1808は、処理済みの生成物1824を宇宙探査機コンピュータ1806に出力する。処理済みの生成物1824は、上述の処理済みの生成物1400に対応し得る。宇宙探査機コンピュータ1806は、データをS帯域ダウンリンクサブシステム1832に送信するために必要に応じて受信データを再フォーマットするように構成することができる。例えば、S帯域を介して地上に送信される(または、他の場合には、衛星間リンクを介して第2衛星に送信される)他の衛星データに対して行われ得る。
【0374】
宇宙探査機コンピュータ1806は、エンドユーザへの出力1834として送信するために、処理済みの生成物1824をS帯域ダウンリンクサブシステム1832に出力する。S帯域ダウンリンクシステム1832は、システム1100を参照して上述したダウンリンクサブシステム1118bに対応し得る。S帯域ダウンリンクサブシステム1832は、処理済みの生成物1824を地上端末に送信することができる。他の場合では、S帯域ダウンリンクサブシステムは、処理済みの生成物を衛星間リンクを介して(例えば、より高い軌道にある)別の衛星に送信するように構成され得る。
【0375】
記載されたシステムおよび方法は地球撮像システムを対象としているが、システムおよび方法は、他の惑星、月、または小惑星などの他の天体での使用に適合され得る。
【0376】
上記の説明は、1つまたは複数の装置、方法、またはシステムの例を提供するが、当業者によって解釈されるように、他の装置、方法、またはシステムが特許請求の範囲内にあり得ることが理解されるであろう。
【手続補正書】
【提出日】2023-05-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の衛星、後続衛星、および地上セグメントを備え、
前記第1の衛星は、
第1の撮像位置において第1の所定の信号周波数帯域で合成開口レーダ(SAR)画像データを収集し、前記第1の撮像位置は第1の座標によって定められ、
第1のダウンリンクを介して前記SAR画像データを前記地上セグメントに送信する、
ように構成され、
前記地上セグメントは、
受信した前記SAR画像データから第2の撮像位置を決定し、第2の撮像位置は第2の座標によって定められ、
第2のアップリンクを介して前記後続衛星に前記第2の撮像位置を送信する、
ように構成され、
前記後続衛星は、
前記第2の撮像位置において第2の所定の信号周波数帯域で画像データを収集し、前記画像データは前記SAR画像データより高い解像度を有し、
第2のダウンリンクを介して前記地上セグメントに前記画像データを送信する、
ように構成される、衛星撮像システム。
【請求項2】
前記第1の衛星は、傾斜軌道にある、請求項1に記載のシステム。
【請求項3】
前記傾斜軌道は、約53.5度の軌道傾斜角を有する、請求項
2に記載のシステム。
【請求項4】
前記第1の衛星は、緯度約±62.5度の緯度範囲にアクセスするように構成されている、請求項
2に記載のシステム。
【請求項5】
第2の衛星は、前記第1の衛星と同じ
地上軌道を辿る軌道にある、請求項
2に記載のシステム。
【請求項6】
前記第1の衛星は、C帯域の周波数を有するSAR画像データを取得するように構成され
、第2の衛星は、X帯域の周波数を有する画像データを取得するように構成される、請求項1に記載のシステム。
【請求項7】
第2の後続衛星をさらに含み、前記地上
セグメントは、前記第2の撮像位置を前記後続衛星または前記第2の後続衛星に送信するかどうかを決定するようにさらに構成される、請求項1に記載のシステム。
【請求項8】
前記地上
セグメントは、
前記画像データを用いて画像コンテキストを決定するようにさらに構成され、前記画像データを機械学習モデルへの入力として提供することによって前記画像コンテキストを決定し、前記機械学習モデルは前記画像コンテキストを出力として生成する、請求項
1に記載のシステム。
【請求項9】
前記後続衛星によって取得された前記画像データは、第2のSAR画像データである、請求項1に記載のシステム。
【請求項10】
前記後続衛星によって取得された前記画像データは、光学画像データである、請求項1に記載のシステム。
【請求項11】
異なる解像度を有する衛星を使用した衛星撮像を含む方法であって、
第1の衛星を介して第1の撮像座標でC帯域SAR画像データを取得するステップと、
前記第1の衛星から地上端末に前記C帯域SAR画像データを送信するステップと、
地上端末で、前記C帯域SAR画像データを使用して第2の撮像座標を決定するステップと、
前記第2の撮像座標を第2の衛星に送信するステップと、
前記第2の衛星を使用して前記第2の撮像座標でX帯域SAR画像データを取得するステップと、
を含む、方法。
【請求項12】
前記X帯域SAR画像データを前記第2の衛星から前記地上端末に送信するステップをさらに含む、請求項11に記載の方法。
【請求項13】
前記X帯域SAR画像データを分析して画像コンテキストを決定するステップをさらに含む、請求項12に記載の方法。
【請求項14】
前記X帯域SAR画像データを分析するステップは、機械学習モデルへの入力として前記X帯域SAR画像データを提供するステップ、および前記機械学習モデルを使用して前記画像コンテキストを生成するステップを含む、請求項13に記載の方法。
【請求項15】
前記C帯域SAR画像データは、第1のアップリンクを介して前記地上端末から第1の撮像タスクデータを受信する前記第1の衛星に応答して取得され、前記第1の撮像タスクデータは前記第1の撮像座標を含む、請求項11に記載の方法。
【請求項16】
前記第1の衛星は、傾斜軌道にある、請求項11に記載の方法。
【請求項17】
前記傾斜軌道は、約53.5度の軌道傾斜角を有する、請求項
16に記載の方法。
【請求項18】
前記第1の衛星は、緯度約±62.5度の緯度範囲にアクセスするように構成される、請求項
16に記載の方法。
【請求項19】
前記第2の衛星は、前記第1の衛星と同じ
地上軌道を辿る軌道にある、請求項
16に記載の方法。
【請求項20】
前記第2の撮像座標を送信する前に、X帯域SAR画像データを取得するように構成された複数の衛星から前記第2の衛星を選択するステップをさらに含む、請求項11に記載の方法。
【国際調査報告】