(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】プログラム、情報処理装置、情報処理方法、及び学習モデル
(51)【国際特許分類】
G01S 13/90 20060101AFI20241016BHJP
G01S 13/86 20060101ALI20241016BHJP
【FI】
G01S13/90 191
G01S13/86
(21)【出願番号】P 2023190312
(22)【出願日】2023-11-07
【審査請求日】2023-11-15
【早期審査対象出願】
(73)【特許権者】
【識別番号】521270340
【氏名又は名称】株式会社スペースシフト
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】金本 成生
(72)【発明者】
【氏名】川上 勇治
(72)【発明者】
【氏名】安井 秀輔
(72)【発明者】
【氏名】横谷 洋
(72)【発明者】
【氏名】三瓶 理人
【審査官】藤田 都志行
(56)【参考文献】
【文献】特開2022-167343(JP,A)
【文献】特開2021-114275(JP,A)
【文献】特許第7006875(JP,B1)
【文献】国際公開第2022/107620(WO,A1)
【文献】特開平08-313617(JP,A)
【文献】特開2020-154467(JP,A)
【文献】国際公開第2022/034666(WO,A1)
【文献】特開2018-048898(JP,A)
【文献】米国特許出願公開第2022/0214424(US,A1)
【文献】中国特許出願公開第113484857(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/42
G01S 13/00-13/95
G06N 20/00
B64C 39/00-39/12
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって
第1観測条件の下で観測された第1観測データと前記第1観測条件とを取得することと、
前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって
第2観測条件の下で観測されたデータであり、前記第1観測データと共通の観測方式に基づいて観測された第2観測データを取得することと、
学習観測領域の情報である学習観測データと前記学習観測データに対応する学習観測条件と前記学習観測データが観測された学習観測タイミングとが入力され、前記学習観測データが変換された変換観測データであって、前記学習観測タイミングにおいて前記学習観測領域が前記第1観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、前記第2観測データと前記第2観測条件と前記第2タイミングとを入力し、前記第2観測データが変換された変換観測データを取得することと、
前記第1観測データに基づく第1情報と前記変換観測データに基づく第2情報とを含む統合データを生成することと、を実行させる、プログラム。
【請求項2】
コンピュータに、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測条件の下で観測された第1観測データと前記第1観測条件とを取得することと、
前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって第2観測条件の下で観測されたデータであり、前記第1観測データと共通の観測方式に基づいて観測された第2観測データを取得することと、
学習観測領域の情報である学習観測データと、前記学習観測データに対応する学習観測条件と、前記学習観測データが観測された学習観測タイミングと、が入力され、前記学習観測データが変換された変換観測データであって、前記学習観測タイミングにおいて前記観測領域が基準観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、前記第1観測データと前記第1観測条件と前記第1タイミングとを入力し、前記第1観測データが変換された前記変換観測データとして第1変換観測データを取得することと、
前記変換モデルに、前記第2観測データと前記第2観測条件と前記第2タイミングとを入力し、前記第2タイミングにおける前記第2観測データが変換された前記変換観測データとして第2変換観測データを取得することと、
前記第1変換観測データに基づく第1情報と前記第2変換観測データに基づく第2情報とを含む統合データを生成することと、を実行させる、プログラム。
【請求項3】
請求項
1又は2に記載のプログラムであって、
前記第1観測条件は、前記第1飛翔体の第1機体情報と、前記第1飛翔体による観測環境を示す第1環境情報とを含み、
前記第2観測条件は、前記第2飛翔体の第2機体情報と、前記第2飛翔体による観測環境を示す第2環境情報とを含む、プログラム。
【請求項4】
コンピュータに、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測された第1観測データを取得することと、
前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって前記第1観測方式とは異なる第2観測方式に基づいて観測された第2観測データを取得することと、
学習観測データと、前記学習観測データが観測された学習観測タイミングとが入力され、前記学習観測タイミングにおいて前記第1観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第2観測データと、前記第2タイミングとを入力し、前記第2タイミングにおける前記推測観測データを取得することと、
前記第1観測データに基づく第1情報と前記推測観測データに基づく第2情報とを含む統合データを生成することと、を実行させる、プログラム。
【請求項5】
コンピュータに、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測された第1観測データを取得することと、
学習観測データと、前記学習観測データが観測された学習観測タイミングと、前記学習観測タイミングとは異なるタイミングとが入力され、前記異なるタイミングにおいて前記第1観測方式とは異なる第2観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第1観測データと、前記第1タイミングと、前記第1タイミングとは異なる第2タイミングとを入力し、前記第2タイミングにおける前記推測観測データを取得することと、
前記第1観測データに基づく第1情報と前記推測観測データに基づく第2情報とを含む統合データを生成することと、を実行させる、プログラム。
【請求項6】
コンピュータに、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測される第1観測データと、前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって前記第1観測方式とは異なる第2観測方式に基づいて観測される第2観測データとに基づいて、前記第1観測データに基づく第1情報と前記第2観測データに基づく第2情報とを含む統合データを生成することと、
前記第1タイミングより前の第3タイミングで前記観測領域が観測された場合の第3観測データを取得することと、
学習観測データと前記学習観測データが観測された学習観測タイミングと、前記学習観測タイミングより後の予測タイミングとが入力され、前記予測タイミングにおいて前記第1観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第3観測データと前記第3タイミングと前記第1タイミングとを入力し、前記第1タイミングにおける前記推測観測データを取得することと、を実行させ、
前記統合データを生成することは、
前記第1タイミングにおける前記推測観測データに基づく前記第1情報を含む前記統合データを生成することを含む、プログラム。
【請求項7】
第1タイミングにおける観測領域の情報であり、
第1飛翔体によって第1観測条件の下で観測された第1観測データと前記第1観測条件とを取得し、前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって第2観測条件の下で観測されたデータであり、前記第1観測データと共通の観測方式に基づいて観測された第2観測データを取得する観測データ取得部と、
学習観測領域の情報である学習観測データと前記学習観測データに対応する学習観測条件と前記学習観測データが観測された学習観測タイミングとが入力され、前記学習観測データが変換された変換観測データであって、前記学習観測タイミングにおいて前記学習観測領域が前記第1観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、前記第2観測データと前記第2観測条件と前記第2タイミングとを入力し、前記第2観測データが変換された変換観測データを取得する変換観測データ取得部と、
前記第1観測データに基づく第1情報と前記変換観測データに基づく第2情報とを含む統合データを生成する統合データ生成部と、を備える、情報処理装置。
【請求項8】
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測条件の下で観測された第1観測データと前記第1観測条件とを取得し、前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって第2観測条件の下で観測されたデータであり、前記第1観測データと共通の観測方式に基づいて観測された第2観測データを取得する観測データ取得部と、
学習観測領域の情報である学習観測データと、前記学習観測データに対応する学習観測条件と、前記学習観測データが観測された学習観測タイミングと、が入力され、前記学習観測データが変換された変換観測データであって、前記学習観測タイミングにおいて前記観測領域が基準観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、前記第1観測データと前記第1観測条件と前記第1タイミングとを入力し、前記第1観測データが変換された前記変換観測データとして第1変換観測データを取得し、前記変換モデルに、前記第2観測データと前記第2観測条件と前記第2タイミングとを入力し、前記第2タイミングにおける前記第2観測データが変換された前記変換観測データとして第2変換観測データを取得する変換観測データ取得部と、
前記第1変換観測データに基づく第1情報と前記第2変換観測データに基づく第2情報とを含む統合データを生成する統合データ生成部と、を備える、情報処理装置。
【請求項9】
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測された第1観測データを取得し、前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって前記第1観測方式とは異なる第2観測方式に基づいて観測された第2観測データを取得する観測データ取得部と、
学習観測データと、前記学習観測データが観測された学習観測タイミングとが入力され、前記学習観測タイミングにおいて前記第1観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第2観測データと、前記第2タイミングとを入力し、前記第2タイミングにおける前記推測観測データを取得する推測観測データ取得部と、
前記第1観測データに基づく第1情報と前記推測観測データに基づく第2情報とを含む統合データを生成する統合データ生成部と、を備える、情報処理装置。
【請求項10】
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測された第1観測データを取得する観測データ取得部と、
学習観測データと、前記学習観測データが観測された学習観測タイミングと、前記学習観測タイミングとは異なるタイミングとが入力され、前記異なるタイミングにおいて前記第1観測方式とは異なる第2観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第1観測データと、前記第1タイミングと、前記第1タイミングとは異なる第2タイミングとを入力し、前記第2タイミングにおける前記推測観測データを取得する推測観測データ取得部と、
前記第1観測データに基づく第1情報と前記推測観測データに基づく第2情報とを含む統合データを生成する統合データ生成部と、を備える、情報処理装置。
【請求項11】
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測される第1観測データと、前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって前記第1観測方式とは異なる第2観測方式に基づいて観測される第2観測データとに基づいて、前記第1観測データに基づく第1情報と前記第2観測データに基づく第2情報とを含む統合データを生成する統合データ生成部と、
前記第1タイミングより前の第3タイミングで前記観測領域が観測された場合の第3観測データを取得する観測データ取得部と、
学習観測データと前記学習観測データが観測された学習観測タイミングと、前記学習観測タイミングより後の予測タイミングとが入力され、前記予測タイミングにおいて前記第1観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第3観測データと前記第3タイミングと前記第1タイミングとを入力し、前記第1タイミングにおける前記推測観測データを取得する推測観測データ取得部と、を備え、
前記統合データ生成部は、
前記第1タイミングにおける前記推測観測データに基づく前記第1情報を含む前記統合データを生成する、情報処理装置。
【請求項12】
コンピュータが、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測条件の下で観測された第1観測データと前記第1観測条件とを取得することと、
前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって第2観測条件の下で観測されたデータであり、前記第1観測データと共通の観測方式に基づいて観測された第2観測データを取得することと、
学習観測領域の情報である学習観測データと前記学習観測データに対応する学習観測条件と前記学習観測データが観測された学習観測タイミングとが入力され、前記学習観測データが変換された変換観測データであって、前記学習観測タイミングにおいて前記学習観測領域が前記第1観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、前記第2観測データと前記第2観測条件と前記第2タイミングとを入力し、前記第2観測データが変換された変換観測データを取得することと、
前記第1観測データに基づく第1情報と前記変換観測データに基づく第2情報とを含む統合データを生成することと、を含む、情報処理方法。
【請求項13】
コンピュータが、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測条件の下で観測された第1観測データと前記第1観測条件とを取得することと、
前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって第2観測条件の下で観測されたデータであり、前記第1観測データと共通の観測方式に基づいて観測された第2観測データを取得することと、
学習観測領域の情報である学習観測データと、前記学習観測データに対応する学習観測条件と、前記学習観測データが観測された学習観測タイミングと、が入力され、前記学習観測データが変換された変換観測データであって、前記学習観測タイミングにおいて前記観測領域が基準観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、前記第1観測データと前記第1観測条件と前記第1タイミングとを入力し、前記第1観測データが変換された前記変換観測データとして第1変換観測データを取得することと、
前記変換モデルに、前記第2観測データと前記第2観測条件と前記第2タイミングとを入力し、前記第2タイミングにおける前記第2観測データが変換された前記変換観測データとして第2変換観測データを取得することと、
前記第1変換観測データに基づく第1情報と前記第2変換観測データに基づく第2情報とを含む統合データを生成することと、を含む、情報処理方法。
【請求項14】
コンピュータが、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測された第1観測データを取得することと、
前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって前記第1観測方式とは異なる第2観測方式に基づいて観測された第2観測データを取得することと、
学習観測データと、前記学習観測データが観測された学習観測タイミングとが入力され、前記学習観測タイミングにおいて前記第1観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第2観測データと、前記第2タイミングとを入力し、前記第2タイミングにおける前記推測観測データを取得することと、
前記第1観測データに基づく第1情報と前記推測観測データに基づく第2情報とを含む統合データを生成することと、を含む、情報処理方法。
【請求項15】
コンピュータが、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測された第1観測データを取得することと、
学習観測データと、前記学習観測データが観測された学習観測タイミングと、前記学習観測タイミングとは異なるタイミングとが入力され、前記異なるタイミングにおいて前記第1観測方式とは異なる第2観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第1観測データと、前記第1タイミングと、前記第1タイミングとは異なる第2タイミングとを入力し、前記第2タイミングにおける前記推測観測データを取得することと、
前記第1観測データに基づく第1情報と前記推測観測データに基づく第2情報とを含む統合データを生成することと、を含む、情報処理方法。
【請求項16】
コンピュータが、
第1タイミングにおける観測領域の情報であり、第1飛翔体によって第1観測方式に基づいて観測される第1観測データと、前記第1タイミングとは異なる第2タイミングにおける前記観測領域の情報であり、前記第1飛翔体とは異なる第2飛翔体によって前記第1観測方式とは異なる第2観測方式に基づいて観測される第2観測データとに基づいて、前記第1観測データに基づく第1情報と前記第2観測データに基づく第2情報とを含む統合データを生成することと、
前記第1タイミングより前の第3タイミングで前記観測領域が観測された場合の第3観測データを取得することと、
学習観測データと前記学習観測データが観測された学習観測タイミングと、前記学習観測タイミングより後の予測タイミングとが入力され、前記予測タイミングにおいて前記第1観測方式に基づいて前記観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、前記第3観測データと前記第3タイミングと前記第1タイミングとを入力し、前記第1タイミングにおける前記推測観測データを取得することと、を含み、
前記統合データを生成することは、
前記第1タイミングにおける前記推測観測データに基づく前記第1情報を含む前記統合データを生成することを含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理装置、情報処理方法、及び学習モデルに関する。
【背景技術】
【0002】
人工衛星、航空機あるいはドローン装置などの飛翔体を使用した地上及び海上を含む地球表面の状態の観測が広く行われている。飛翔体による観測方式には、光学画像を取得して行われる観測方式、合成開口レーダ(SAR:Synthetic Aperture Radar)技術を使用して得られるレーダ画像いわゆるSAR画像を取得して行われる観測方式などがある。
【0003】
特許文献1には、地球表面の状況を把握する頻度を向上させるために、第1の軌道上を飛翔する第1の飛翔体による地球表面上の所定の観測地点を撮影して得られた新規画像と第1の軌道とは異なる第2の軌道上を飛翔する第2の飛翔体による所定の観測地点と同じ地点を撮影して得られた1つの直近の過去画像とを位置合わせし、比較することで、変化領域を検出する地球表面状況把握方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の方法では、第1の軌道から観測された新規画像は、第2の軌道から観測された過去画像とは別の画像として取り扱われる。特許文献1では、新規画像は、第1の軌道から第1の飛翔体によって観測された新規の画像であり、第2の飛翔体による観測地点の観測も考慮されたデータではない。したがって、特許文献1では、観測地点のデータ自体は高頻度に生成されておらず、変化検出の頻度が向上したにすぎない。飛翔体を用いた観測を行う場合、観測される領域の状態をより詳細に把握するために、観測データの生成が高頻度に行われることが好ましい。
【0006】
そこで、本発明は、複数の飛翔体を用いて観測領域を観測して得られるデータを高頻度に生成することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係るプログラムは、コンピュータに、第1タイミングにおける観測領域の情報であり、第1観測手段によって観測される第1観測データと、第1タイミングとは異なる第2タイミングにおける観測領域の情報であり、第1観測手段とは異なる第2観測手段によって観測される第2観測データとに基づいて、第1観測データに基づく第1情報と第2観測データに基づく第2情報とを含む統合データを生成すること、を実行させる。
【0008】
この態様によれば、統合データは、第1観測データに基づく第1情報と第2観測データに基づく第2情報とを含んでいるので、第1観測データ又は第2観測データの少なくとも一方が更新あるいは取得された場合、統合データも更新されることとなる。よって、コンピュータは、第1タイミング又は第2タイミングのいずれかのタイミングにおける観測領域の情報に基づく統合データを生成することで、統合データを高頻度に生成することが可能となる。
【0009】
上記態様において、第1観測データは、第1観測条件の下で観測されたデータであり、コンピュータに、第1タイミングとは異なる第3タイミングにおける観測領域の情報であり、第1観測手段とは異なる第3観測手段によって第3観測条件の下で観測されたデータであり、第1観測データと共通の観測方式に基づいて観測された第3観測データを取得することと、学習観測領域の情報である学習観測データと学習観測データに対応する学習観測条件と学習観測データが観測された学習観測タイミングとが入力され、学習観測データが変換された変換観測データであって、学習観測タイミングにおいて学習観測領域が第1観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、第3観測データと第3観測条件と第3タイミングとを入力し、第3観測データが変換された変換観測データを取得することと、をさらに実行させ、統合データを生成することは、第1情報を、変換観測データに基づいて更新して、統合データを生成する、ことを含んでもよい。
【0010】
この態様によれば、第1観測データと共通の観測方式にある第3観測データがある場合に、第3観測データを第1観測条件の下で観測されたデータに変換することができる。よって、例えば、統合データを用いた解析を行う場合に、異なる観測条件の下で観測されたデータを第1観測条件の下で観測されたデータとして第1情報として取り扱うことが可能となり、統合データのうち第1情報が高頻度に更新され、結果として統合データも高頻度に生成することが可能となる。
【0011】
上記態様において、第1観測条件は、第1観測手段である第1飛翔体の第1機体情報と、第1飛翔体による観測環境を示す第1環境情報とを含み、第3観測条件は、第3観測手段である第3飛翔体の第3機体情報と、第3飛翔体による観測環境を示す第3環境情報とを含んでもよい。
【0012】
この態様によれば、機体の情報及び観測環境を考慮してデータの変換が可能になる。よって、第3観測データを第1観測条件の下での観測データに精度よく変換することが可能となる。
【0013】
上記態様において、前記第1観測データは、第1観測条件の下で観測されたデータであり、コンピュータに、第1観測データと第1観測条件とを取得することと、第1タイミングとは異なる第3タイミングにおける観測領域の情報であり、第1観測手段とは異なる第3観測手段によって第3観測条件の下で観測されたデータであり、第1観測データと共通の観測方式に基づいて観測された第3観測データを取得することと、学習観測領域の情報である学習観測データと、学習観測データに対応する学習観測条件と、学習観測データが観測された学習観測タイミングと、が入力され、学習観測データが変換された変換観測データであって、学習観測タイミングにおいて観測領域が基準観測条件の下で観測されたデータを示す変換観測データを出力する変換モデルに、第1観測データと第1観測条件と第1タイミングとを入力し、第1観測データが変換された変換観測データとして第1変換観測データを取得することと、変換モデルに、第3観測データと第3観測条件と第3タイミングとを入力し、第3タイミングにおける第3観測データが変換された変換観測データとして、第2変換観測データを取得することと、をさらに実行させ、統合データを生成することは、第1変換観測データに基づく第1情報を、第2変換観測データに基づく第1情報によって更新して、統合データを生成する、ことを含んでもよい。
【0014】
この態様によれば、共通の観測方式の下で観測される第1観測データ及び第3観測データのそれぞれを、共通の観測条件となる基準観測条件の下で観測された変換観測データに変換することができる。統合データを変換観測データに基づいて生成することで、統合データにおける各データの差異を小さくすることができ、統合データの解析の際の情報処理の負担が軽減される。また、統合データのうち第1情報が高頻度に更新され、結果として統合データも高頻度に生成することが可能となる。
【0015】
上記態様において、第1観測条件は、第1観測手段である第1飛翔体の第1機体情報と、第1飛翔体による観測環境を示す第1環境情報とを含み、第3観測条件は、第3観測手段である第3飛翔体の第2機体情報と、第3飛翔体による観測環境を示す第2環境情報とを含んでもよい。
【0016】
この態様によれば、機体の情報及び観測環境を考慮してデータの変換が可能になる。よって、第2観測データを第1観測条件の下での観測データに精度よく変換することが可能となる。
【0017】
上記態様において、第1観測データは、第1観測方式に基づいて観測されたデータであり、第2観測データは、第1観測方式とは異なる第2観測方式に基づいて観測されたデータであってもよい。
【0018】
この態様によれば、異なる観測方式に基づいて観測されたデータが統合データとして生成される。例えば、第1観測方式はSARによる観測方式であり、第2観測方式を光学画像による観測方式とすることができる。これにより、複数の観測方式によって観測されたデータを1つのデータに統合することができ、解析によるより多くの情報の取得又は高精度の解析が可能となる。
【0019】
上記態様において、コンピュータに、第1タイミングとは異なる第3タイミングにおける観測領域の情報であり、第1観測手段とは異なる第3観測手段によって第3観測条件の下で観測されたデータであり、第1観測方式とは異なる観測方式に基づいて観測された第3観測データを取得することと、学習観測データと、学習観測データが観測された学習観測タイミングとが入力され、学習観測タイミングにおいて第1観測方式に基づいて観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、第3観測データと、第3タイミングとを入力し、第3タイミングにおける推測観測データを取得することと、をさらに実行させ、統合データを生成することは、第1情報を、推測観測データに基づいて更新して、統合データを生成する、ことを含んでもよい。
【0020】
この態様によれば、第1観測方式に基づく第3タイミングにおける観測データを、第2観測方式に基づく第3タイミングにおける第3観測データから推測することができる。これにより、例えば、天候不順等の要因によって第1観測データが得られない場合であっても、第3観測データによりデータを補完して、第1観測方式に基づいて観測されたデータを含む統合データを高頻度に生成することができる。
【0021】
上記態様において、コンピュータに、第1観測データを取得することと、学習観測データと、学習観測データが観測された学習観測タイミングと、学習観測タイミングとは異なるタイミングとが入力され、異なるタイミングにおいて第2観測方式に基づいて観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、第1観測データと、第1タイミングと、第2タイミングとを入力し、第2タイミングにおける推測観測データを取得することと、をさらに実行させ、統合データを生成することは、第2タイミングにおける推測観測データに基づく第2情報を含む統合データを生成する、ことを含んでもよい。
【0022】
この態様によれば、第2観測方式に基づく第2タイミングにおける観測データを、第1観測方式に基づく第1タイミングにおける第1観測データから推測することができる。これにより、例えば、天候不順等の要因によって第2観測データが得られない場合であっても、第1観測データによりデータを補完して統合データを生成することができる。
【0023】
上記態様において、コンピュータに、第1タイミングより前の第3タイミングで観測領域が観測された場合の第3観測データを取得することと、学習観測データと学習観測データが観測された学習観測タイミングと、学習観測タイミングより後の予測タイミングとが入力され、予測タイミングにおいて第1観測方式に基づいて観測領域が観測されたデータを示す推測観測データを出力する推測モデルに、第3観測データと第3タイミングと第1タイミングとを入力し、第1タイミングにおける推測観測データを取得することと、をさらに実行させ、統合データを生成することは、第1タイミングにおける推測観測データに基づく第1情報を含む統合データを生成する、ことを含んでもよい。
【0024】
この態様によれば、第1観測方式に基づく第1タイミングにおける観測データを、第1観測方式に基づく第3タイミングにおける第3観測データから推測することができる。これにより、例えば、天候不順等の要因によって第1観測データが得られない場合であっても、第1タイミングより前の第3タイミングで観測された第3観測データによりデータを補完して統合データを生成することができる。
【0025】
上記態様において、コンピュータに、学習観測領域の情報である学習観測データに基づく学習統合データが入力され、学習観測領域のメタ情報を出力するメタ情報出力モデルに、統合データを入力し、観測領域のメタ情報を取得すること、をさらに実行させてもよい。
【0026】
この態様によれば、観測領域の観測に基づいて高頻度に生成された統合データを用いて、観測領域のメタ情報を取得することができる。これにより、観測領域のメタ情報の精度を高くすることができる。
【0027】
本発明の他の一態様に係る情報処理装置は、第1タイミングにおける観測領域の情報であり、第1観測手段によって観測される第1観測データと、第1タイミングとは異なる第2タイミングにおける観測領域の情報であり、第1観測手段とは異なる第2観測手段によって観測される第2観測データとに基づいて、第1観測データに基づく第1情報と第2観測データに基づく第2情報とを含む統合データを生成する統合データ生成部、を備える。
【0028】
本発明の他の一態様に係る情報処理方法は、コンピュータが、第1タイミングにおける観測領域の情報であり、第1観測手段によって観測される第1観測データと、第1タイミングとは異なる第2タイミングにおける観測領域の情報であり、第1観測手段とは異なる第2観測手段によって観測される第2観測データとに基づいて、第1観測データに基づく第1情報と第2観測データに基づく第2情報とを含む統合データを生成すること、を含む。
【0029】
本発明の他の一態様に係る学習モデルは、学習観測領域の情報である学習観測データと学習観測データに対応する学習観測条件とを入力とし、学習観測データが取得されたタイミングにおいて学習観測領域が基準観測条件に応じて観測されたデータとして学習観測データが変換された第1変換観測データを出力とする教師データを用いて学習され、対象観測領域の情報である観測データと、観測データに対応する観測条件との入力に対し、観測データが取得されたタイミングにおいて対象観測領域が基準観測条件の下で観測されたデータを示し、観測データが変換された第2変換観測データを出力するようコンピュータを機能させる。
【0030】
本発明の他の一態様に係る学習モデルは、第1観測方式に基づいて学習観測領域が観測された場合の学習観測データと、学習観測データが観測された観測タイミングと、観測タイミングとは異なる予測タイミングとを入力とし、予測タイミングにおいて学習観測領域が第1観測方式とは異なる第2観測方式に基づいて観測されたデータを示す第1推測観測データを出力とする教師データを用いて学習され、対象観測領域の情報である観測データと、観測データに対応する観測条件との入力に対し、観測データが取得されたタイミングにおいて対象観測領域が第2観測方式に基づいて観測されたデータを示す第2推測観測データを出力するようコンピュータを機能させる。
【発明の効果】
【0031】
本発明によれば、複数の飛翔体を用いて観測領域を観測して得られるデータを高頻度に生成することが可能となる。
【図面の簡単な説明】
【0032】
【
図2】第1実施形態に係る統合データの生成を説明する図である。
【
図3】第1実施形態に係る観測データ処理装置101のブロック図である。
【
図4】第1実施形態に係るメタ情報出力モデルを説明する図である。
【
図5】第1実施形態に係る統合データ生成処理のフローチャートである。
【
図6】第1実施形態に係るメタ情報取得処理のフローチャートである。
【
図7】第2実施形態に係る観測データ処理装置101Aのブロック図である。
【
図8】第2実施形態に係る第1変換モデルを説明する図である。
【
図9】第2実施形態に係る統合データ生成処理のフローチャートの一例である。
【
図10】第2実施形態に係る統合データの生成の一例を説明する図である。
【
図11】第2実施形態に係る第2変換モデルを説明する図である。
【
図12】第2実施形態に係る統合データ生成処理のフローチャートの他の一例である。
【
図13】第2実施形態に係る統合データの生成の他の一例を説明する図である。
【
図14】第3実施形態に係る観測データ処理装置101Bのブロック図である。
【
図15】第3実施形態に係る第1推測モデルを説明する図である。
【
図16】第3実施形態に係る統合データ生成処理のフローチャートの一例である。
【
図17】第3実施形態に係る統合データの生成を説明する図である。
【
図18】第3実施形態に係る第2推測モデルを説明する図である。
【
図19】第3実施形態に係る統合データ生成処理のフローチャートの他の一例である。
【
図20】第3実施形態に係る第3推測モデルを説明する図である。
【
図21】第3実施形態に係る統合データ生成処理のフローチャートの他の一例である。
【
図22】第3実施形態に係る統合データの生成を説明する図である。
【発明を実施するための形態】
【0033】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0034】
(第1実施形態)
図1には、第1実施形態に係る観測システム10が示される。観測システム10は第2実施形態及び第3実施形態においても同様である。
【0035】
観測システム10は、観測データ処理装置101及び人工衛星201,202,203、及び観測データ受信装置Rを有する。
【0036】
観測システム10では、人工衛星201,202,203を含む複数の衛星によって地球表面Oを観測した観測データが観測データ受信装置Rに送信される。このとき、観測データの観測の際の環境を示す観測条件が、観測データに関連付けられる又は観測データに含まれるようにして観測データ受信装置Rに送信されてもよい。観測データ処理装置101は、観測データ受信装置Rから観測データを取得し、観測データに対する情報処理を行う。なお、観測システム10における観測データを観測する装置は、人工衛星201,202,203に例示されるように、観測データの取得が可能な人工衛星として宇宙空間に配置されて地球の周囲を周回する飛翔体である。観測データを観測する飛翔体は静止衛星であってもよい。また、飛翔体は、航空機、ヘリコプターもしくはドローン装置などの、地球上空に位置することが可能な装置であればよい。
【0037】
観測システム10では、人工衛星201,202,203が観測する観測データは互いに相違する観測方式に基づいて観測されたデータであってもよく、共通の観測方式に基づいて観測されたデータであってもよい。
【0038】
観測方式は、例えば、SAR信号を用いる方式(SAR方式)であり、観測データは、レーダ装置を搭載した人工衛星から観測対象物に照射されたマイクロ波(電磁波)が、観測対象物において反射された電磁波に応じた信号である。SAR方式に基づく観測データ(SARデータ)は、例えば、観測データ処理装置101によって、SAR画像となるような可視化処理がされる。他のSARデータとして、観測されたSARデータに対して、レンジ圧縮及びマルチルックアジマス圧縮が行われた第2レベルのSARデータもある。第2レベルのSARデータによって、SAR画像による可視化が幾何学的に補正された状態で可能となる。他のSARデータとして、観測されたSARデータに対して、レンジ圧縮、シングルルックアジマス圧縮及びオルソ補正を行った第3レベルのSARデータもある。オルソ補正を加えることによって、後述の光学画像と重ねることが可能なSAR画像を得ることができる。
【0039】
他の観測方式には、光学センサを用いて得られる光学データを用いる方式(光学方式)がある。光学データは、例えば可視光域や近赤外域の波長を有する光を観測するセンサによって得られる情報である。光学データは、太陽光が地表面で反射されて生じる光に基づくデータである。
【0040】
また、他の観測方式として、赤外センサを用いて得られる気象データを用いる方式もある。気象データは、雲、地表、及び大気から放射される赤外線を観測して得られる信号であり、赤外画像や水蒸気画像の生成に用いられる。第1実施形態及び以降の実施形態では、光学データと気象データとを、それぞれの使用波長域の相違に応じて区別して説明している。
【0041】
図2を参照して、観測データ処理装置101による統合データの生成について説明する。
図2では、人工衛星201,202,203のそれぞれは、互いに異なる観測方式である方式1、方式2、又は方式3に基づいて観測を行う場合を例に説明する。ここで、各方式は、例えば、方式1がSARデータを用いる方式であり、方式2は光学データを用いる方式であり、方式3は気象データを用いる方式である。
【0042】
人工衛星201は、時間軸T上のある時刻T1において、観測領域を観測し、観測データD11を取得する。観測データD11は、観測データ処理装置101に送信され、観測データ処理装置101は観測データD11に基づく統合データID1を生成する。
【0043】
その後、人工衛星202は、時間軸T上のある時刻T2において観測データD22を観測する。観測データD22は、観測データ処理装置101に送信され、観測データ処理装置101は、先に観測された観測データD11及び観測データD22に基づく統合データID2を生成する。
【0044】
統合データID2は、時刻T1における方式1に基づく観測データと時刻T2における方式2に基づく観測データとに基づくデータであり、時刻T2における観測領域の最も新しい情報を含むデータである。
【0045】
人工衛星203は、時間軸T上のある時刻T3において観測データD33を観測する。観測データD33は、観測データ処理装置101に送信され、観測データ処理装置101は、先に観測された観測データD11,D22、及び観測データD33に基づく統合データID3を生成する。統合データID3は、時刻T1における方式1に基づく観測データ、時刻T2における方式2に基づく観測データ、及び時刻T3における方式3に基づく観測データに基づくデータであり、時刻T3における観測領域の最も新しい情報を含むデータである。
【0046】
その後、人工衛星201が時刻T4において、時刻T1で観測した領域と同じ観測領域を観測し、観測データD14を取得する。ここで、人工衛星201による観測領域の観測から次の観測までの時間は、例えば人工衛星201の周回軌道に応じて定まる間隔である。観測データD14は、観測データ処理装置101に送信され、観測データ処理装置101は観測データD14に基づく統合データID4を生成する。観測データ処理装置101は、時刻T1における人工衛星201による観測で得られた観測データD11を、新たに得られた観測データD14に置き換えて統合データID14を生成する。統合データID4は、時刻T4における観測領域の最も新しい情報を含むデータである。
【0047】
同様に、人工衛星202が時刻T5において、時刻T2で観測した領域と同じ観測領域を観測し、観測データD25を取得する。観測データD25は、観測データ処理装置101に送信され、観測データ処理装置101は観測データD25に基づく統合データID5を生成する。観測データ処理装置101は、時刻T2における人工衛星202による観測で得られた観測データD22を、新たに得られた観測データD25に置き換えて統合データID5を生成する。統合データID5は、時刻T5における観測領域の最も新しい情報を含むデータである。各時刻におけるデータを統合することで、観測データ処理装置101は、複数の飛翔体を用いて観測領域を観測して得られるデータを、単一の飛翔体による観測よりも高頻度に生成することができる。
【0048】
統合データに含まれる情報は、それぞれの情報の基となる観測データが観測された時刻の情報が関連付けられており、統合データ内の情報は時刻に基づいて並べ替えることが可能である。例えば、統合データID5においては、時刻順に、時刻T3に観測された観測データD33、時刻T4に観測された観測データD14、及び時刻T5に観測された観測データD25を順序付けることが可能である。なお、観測データは、時刻の情報を含まず、取得順に並べ替え可能であってもよい。つまり、統合データは時系列に沿った並び替えが可能な状態で生成される。観測データを時系列に沿って並び替えることを可能にして生成された統合データを用いることで、観測領域の変化検知をより精度よく行うことが可能となる。なお、統合データは、必ずしも観測データを時系列に沿って並び替えることが可能な態様で生成されなくともよい。統合データの形式は、統合データの用途に応じて適宜設定可能である。
【0049】
ここで、統合されるデータは、各衛星からの信号そのものであってもよく、各信号に基づいて生成された画像データであってもよい。画像データに基づいて統合データを生成する場合、各画像データは後述のメタ情報出力モデルに入力されるそれぞれのチャネルとして統合される。また、統合されるデータは、各衛星からの信号又は画像データから得られたメタ情報であってもよい。また、各衛星からの信号、画像データ、又はメタ情報は、例えば、観測データに基づいて情報処理装置によって行われるシミュレーション処理によって生成された情報であってもよい。つまり、統合データに含まれるデータは、観測データに基づく情報であればよい。
【0050】
観測データ処理装置101は、各衛星から観測データを取得する度に統合データを生成する。これにより、統合データは観測領域の最新の観測結果を含むように更新される。例えば、時刻T2から時刻T5の間に観測領域に変化が生じるなどした場合、人工衛星202のみを用いていると、時刻T5までその変化は観測データに現れない。しかし、時刻T3における人工衛星203からの観測データD33及び時刻T4における人工衛星201からの観測データD14によって、統合データは統合データID3,ID4のように生成される。統合データID3,ID4には時刻T2から時刻T5の間に観測領域にて生じた変化が含まれるので、統合データID3,ID4にも、観測領域にて生じた変化が反映される。複数の衛星が観測する観測データに基づく統合データを解析することによって、単一の衛星の観測間隔の期間内に生じた変化等を適時に把握することが可能となる。また、人工衛星202が時刻T5において観測領域の観測ができない事象、例えば、天候不順等の事象が発生した場合についても、天候に左右されないSAR方式によるデータを含んで生成された統合データを解析することによる観測領域の変化の把握が可能となる。
【0051】
観測データ処理装置101によって、観測領域に関するデータをより短い時間間隔で更新することが可能となり、解析によりリアルタイム性が要求されるようなタスクへの適用が可能となる。タスクの一例としては、衛星等を用いた、植生指数の1つであるNDVI(Normalized Difference Vegetation Index)の測定がある。光学衛星を用いた方がNDVIの測定は正確に行うことができる一方、光学データは日中の観測に限られ、さらに雲等によって観測ができない等、時刻や天候の制約がある。そこで、SAR衛星によるSARデータを含めた統合データによってNDVIを測定することで、計測回数を増加させ、リアルタイム性を高めることができる。
【0052】
また、統合データは各衛星からの情報を統合したデータであるため、例えば、学習モデルを用いてメタ情報を取得して観測領域の解析を行う場合、各衛星からの情報を個別に学習モデルに入力する場合よりも、高頻度かつ多角的な解析が可能となる。
【0053】
また、単一の衛星データを用いて運用されている観測システムを、他の衛星データを用いて統合データを生成し、解析を可能とするようなシステムとして活用することも可能となる。
【0054】
観測データ処理装置101の各部について説明する。
図3には第1実施形態に係る観測データ処理装置101のブロック図が示される。観測データ処理装置101は、通信部1011、記憶部1012、観測データ取得部1013、統合データ生成部1014、及びメタ情報取得部1015を有する。観測データ処理装置101の各部は、観測データ処理装置101の各部はパーソナルコンピュータ等の情報処理装置において、記憶装置に記憶されたプログラムがプロセッサにより実行されることで実現することができる。
【0055】
通信部1011は、観測データ処理装置101と、観測データ受信装置Rを含む外部の情報処理装置との間の通信を制御する。また、観測データ処理装置101は、観測データを記録するサーバ等の情報処理装置から観測データを取得してもよく、通信部1011は、他の情報処理端末との通信を制御する。
【0056】
記憶部1012は、観測データ処理装置101での処理に用いられる各種の情報を記憶する。記憶部1012には、メタ情報出力モデル10121が記憶されている。
【0057】
図4を参照してメタ情報出力モデル10121について説明する。メタ情報出力モデル10121は、観測領域の観測から得られた統合データの入力に対し、観測領域のメタ情報を出力する学習モデルである。
【0058】
メタ情報出力モデル10121は学習用データLD1を教師データとして学習される。学習用データLD1には、観測領域の観測により得られる複数の学習用観測データに基づく学習用統合データと、学習用統合データに対応するメタ情報MD0の組が含まれる。学習モデル10212は、学習用統合データを入力、メタ情報MD0を出力として学習される。
【0059】
メタ情報MD0は、観測対象に応じて様々な項目を有する。自動車や動物など、陸上の移動体に対するメタ情報には、移動体の移動軌跡の情報が含まれる。当該情報は、移動体によって生じる反射電磁波の干渉の変化によるSARデータの変化や光学画像における移動体の位置の変化から取得される。
【0060】
災害時の浸水域が観測対象である場合、メタ情報は浸水域の範囲の情報であってもよい。また、農作物の管理に用いるメタ情報として、作物の成長度合いを示すNDVI等をメタ情報としてもよい。作物の成長度合いは、SARデータの後方散乱係数及び実際に観測された作物の成長度合いに基づいて算出された相関関係や光学データにおける色の変化や分光反射特性に基づいて推定される。この場合、メタ情報には、実際に測定された作物の背丈の情報が含まれてもよい。
【0061】
建築物に関する検出においては、新規の建築物に関する情報をメタ情報としてもよい。新規の建築物に関する情報は、SARデータの後方散乱係数及び実際に観測された新規の建築物に関する情報に基づいて算出された相関関係や光学データにおける色の変化に基づいて推定される。また、建物の種類に関する情報が地図等に基づいて取得されて、メタ情報とされてもよい。
【0062】
観測データ処理装置101が生成した統合データが、学習済みのメタ情報出力モデル10121に対して入力されると、メタ情報出力モデル10121は、統合データに対応したメタ情報MD1を出力する。なお、メタ情報出力モデル10121は、観測データ処理装置101に記憶されている必要はなく、他の情報処理装置に記憶されていてもよい。
【0063】
図2に戻り、観測データ取得部1013は、人工衛星201が観測した観測データ(第1観測データ)と、人工衛星201の観測における観測条件(第1観測条件)とを取得する。観測データ取得部1013は、例えば、観測データ受信装置Rから観測データ及び観測条件を取得してもよく、実際の観測データやシミュレーションによって生成された観測データが記録されたサーバから観測データ及び観測条件を取得してもよい。なお、統合データの生成に際して、観測データ処理装置101は観測条件を取得せずに、観測データに基づいて統合データを生成してもよい。人工衛星202からの観測データ(第2観測データ)と、人工衛星202の観測における観測条件(第2観測条件)、及び人工衛星203からの観測データと観測条件についても同様である。
【0064】
観測条件は、飛翔体の特性に基づく情報である機体情報と、飛翔体による観測環境示す環境情報とを含む情報である。機体情報には、飛翔体が観測に用いる光の周波数、光の偏波、パルス情報、及びビームパターンが含まれる。また、飛翔体が例えば、コンステレーションを形成している場合、コンステレーションの識別子、及び各飛翔体のコンステレーション内の号機番号又は識別子が機体情報に含まれてもよい。
【0065】
環境情報には、観測時の軌道方向(北行軌道ascending又は南行軌道descending)、軌道角度、観測時の観測方向(左又は右)、機体速度、機体の姿勢情報、及び受信系のパラメータが含まれる。環境情報には、観測データが画像データである場合、画像の解像度の情報を含まれてもよい。観測データがSAR画像データである場合、環境情報には、画像のピクセルごとに照射信号の入射角の情報が含まれてもよい。観測データに対してノイズ除去を行う場合、環境情報には、ノイズの情報、ノイズフィルタの種類、ノイズ除去のためのパラメータが含まれてもよい。
【0066】
統合データ生成部1014は、統合データを生成する処理を行う。統合データ生成部1014は、例えば、時刻T1における観測領域の情報であり人工衛星201によって観測される観測データD11と、時刻T2における観測領域の情報であり、人工衛星202によって観測される観測データD22とに基づいて、観測データD11に基づく第1情報と観測データD22に基づく第2情報とに基づく統合データID1を生成する。
【0067】
メタ情報取得部1015は、メタ情報出力モデル10121に、統合データを入力し、観測領域のメタ情報を取得する。取得されたメタ情報は、観測データ処理装置101が有する表示部によって観測データ処理装置101のユーザに提示されてもよく、観測データ処理装置101から他の情報処理装置に送信され、ユーザに提示されてもよい。
【0068】
図5を参照して、統合データ生成処理について説明する。ステップS501において、観測データ取得部1013は、第1タイミングにおける第1観測データを取得する。例えば、観測データ取得部1013は、時刻T1における観測データD11を取得する。
【0069】
ステップS502において、観測データ取得部1013は、第2タイミングにおける第2観測データを取得する。例えば、観測データ取得部1013は、時刻T2における観測データD22を取得する。
【0070】
ステップS503において、統合データ生成部1014は、第1観測データに基づく第1情報を取得する。ここで、第1情報とは、例えば、第1観測データに基づいて生成された画像データや、人工衛星201からの信号又は画像データから得られたメタ情報である。つまり、統合データに含まれるデータは、観測データに基づく情報であればよい。また、第1情報とは、例えば、人工衛星201からの観測データそのものであってもよい。
【0071】
ステップS504において、統合データ生成部1014は、第2観測データに基づく第2情報を取得する。第2情報は第1情報と同様の情報である。
【0072】
ステップS505において、統合データ生成部1014は第1情報と第2情報とを含む統合データを生成する。このとき、統合データ生成部1014は生成された統合データを記憶部1012に記憶してもよい。また、統合データ生成部1014は生成された統合データを外部の情報処理装置に送信してもよい。
【0073】
統合データ生成部1014は統合データの生成を観測データの取得の度に行ってもよい。例えば、統合データ生成部1014は、人工衛星201が時刻T4において観測領域を観測して得られた観測データD14が、時刻T4より前の時刻T1において得られた観測データD11に置き換わるように統合データを生成してもよい。
【0074】
図6を参照して、統合データに基づくメタ情報取得処理について説明する。ステップS601において、メタ情報取得部1015は、統合データ生成部1014が生成した統合データを取得する。メタ情報取得部1015は、例えば、記憶部1012に記憶された統合データを参照して、統合データを取得する。ステップS602において、メタ情報取得部1015は、統合データをメタ情報出力モデル10121に入力する。ステップS603において、メタ情報取得部1015はメタ情報出力モデル10121から観測領域のメタ情報を取得する。
【0075】
ここまでの処理により、観測データ処理装置101では複数の飛翔体を用いて観測領域を観測して得られるデータを高頻度に生成し、観測領域のメタ情報を取得することができる。
【0076】
(第2実施形態)
第2実施形態について説明する。第2実施形態以降の実施形態では第1実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。第2実施形態は、変換モデルを使用した、観測データの変換が行われ、変換後のデータに基づいて統合データが生成される点で第1実施形態と異なる。
【0077】
図7には、第2実施形態に係る観測データ処理装置101Aのブロック図が示される。観測データ処理装置101Aは、観測データ処理装置101の各部に加えて、第1変換モデル10122、第2変換モデル10123を有する記憶部1012A及び変換観測データ取得部1016を有する。
【0078】
図8を参照して第1変換モデル10122について説明する。第1変換モデル10122は、観測領域を観測して得られる第3観測データ、第3観測条件、及び第3観測タイミングの入力に対し、変換観測データを出力する学習モデルである。
【0079】
第1変換モデル10122は学習用データLD2を教師データとして学習される。学習用データLD2には、学習用観測領域を観測して得られる学習用観測データ、学習用観測条件、及び学習用観測タイミングと、これらに対応する変換観測データとの組が含まれる。変換観測データは、第1観測条件の下で観測されたデータであり、その観測タイミングは学習用観測タイミングである。第1変換モデル10122は、学習用観測データ、学習用観測条件、及び学習用観測タイミングを入力、変換観測データを出力として学習される。
【0080】
第1変換モデル10122は、あるタイミングにおける観測データを、その観測条件を変更して得られる観測データを生成するモデルである。第1変換モデル10122により、観測条件が異なる観測データは、ある観測条件(例えば、第1観測条件)による観測データに変換され、統合データが生成される。
【0081】
変換観測データ取得部1016は、後述の第1変換モデル10122,第2変換モデル10123を用いて、観測データが変換された変換観測データを取得する。
【0082】
図9及び
図10を参照して、観測データ処理装置101Aにおける、第1変換モデル10122を用いた統合データの生成処理について説明する。ここでは、人工衛星201,202,203は共通の観測方式(例えば、SAR方式)に基づいて観測データを取得するものとする。また、観測システム10は、人工衛星201,202,203とは異なる観測方式(例えば、光学方式)に基づいて観測データを取得する人工衛星204をさらに含む。
【0083】
ステップS901において、観測データ取得部1013は、第1タイミングにおける第1観測データを取得する。例えば、観測データ取得部1013は、時刻T1における観測データD11を取得する。
【0084】
ステップS902において、観測データ取得部1013は、第2タイミングにおける第2観測データを取得する。例えば、観測データ取得部1013は、時刻T2における観測データD42を取得する。
【0085】
ステップS903において、観測データ取得部1013は、第3タイミングにおける第3観測データを取得する。例えば、観測データ取得部1013は、時刻T3における観測データD23を取得する。
【0086】
ステップS904において、変換観測データ取得部1016は、第3観測データに対する第3観測条件を取得する。例えば、変換観測データ取得部1016は、観測データD23に対する観測条件を取得する。より具体的には、人工衛星202の機体情報及び観測データD23の観測環境の環境情報を観測条件として取得する。
【0087】
ステップS905において、変換観測データ取得部1016は、第1変換モデル10122に、第3観測データと第3観測条件と第3タイミングとを入力する。例えば、変換観測データ取得部1016は、第1変換モデル10122に観測データD23と観測データD23に対する観測条件と、時刻T3とを入力する。
【0088】
ステップS906において、変換観測データ取得部1016は、第3観測データが変換された変換観測データを取得する。例えば、変換観測データ取得部1016は、観測データD23が変換された変換観測データD13を第1変換モデル10122から取得する。
【0089】
ステップS907において、統合データ生成部1014は、第1情報を変換観測データに基づく第1情報によって更新して、第1情報と第2情報とを含む統合データを生成する。例えば、統合データ生成部1014は、観測データD11と観測データD42とが統合された統合データID2を生成する。次に、統合データ生成部1014は、観測データD11が変換観測データD13によって更新された統合データID3を生成する。
【0090】
同様に、統合データ生成部1014は、観測データD34が変換された変換観測データD14に基づく統合データID4を生成する。また、統合データ生成部1014は、統合データにおいて、変換観測データD14が、観測データD15によって更新された統合データID5を生成する。
【0091】
これにより、例えば、人工衛星201と、人工衛星202及び人工衛星203との間に機体特性の差異や観測環境の差異がある場合であっても、統合データの生成に用いられる観測データを、人工衛星201の観測条件の下で観測されたデータとして揃えることが可能となる。これにより、観測手段間の差異が抑えられた統合データが生成される。また、人工衛星201の観測条件の下で観測されたデータを高頻度に生成することが可能となり、結果として統合データを高頻度に更新することが可能となる。このような統合データを用いることで観測領域のメタ情報がより精度よく取得可能となる。
【0092】
図11を参照して、第2変換モデル10123について説明する。第2変換モデル10123は、観測領域を観測して得られる第1観測データ、第1観測条件、及び第1観測タイミングの入力に対し、変換観測データを出力する学習モデルである。
【0093】
第2変換モデル10123は学習用データLD3を教師データとして学習される。学習用データLD3には、学習用観測領域を観測して得られる学習用観測データ、学習用観測条件、及び学習用観測タイミングと、これらに対応する変換観測データとの組が含まれる。変換観測データは、基準観測条件の下で観測されたデータであり、その観測タイミングは学習用観測タイミングである。学習モデル10212は、学習用観測データ、学習用観測条件、及び学習用観測タイミングを入力、変換観測データを出力として学習される。ここで、基準観測条件とは、人工衛星201,202,203のそれぞれの観測条件とは異なる所定の観測条件である。基準観測条件はユーザにより予め定められた条件である。
【0094】
第2変換モデル10123は、あるタイミングにおける観測データを、その観測条件を変更して得られる観測データを生成するモデルである。第2変換モデル10123により、観測条件が異なる観測データは、基準観測条件による観測データに変換され、統合データが生成される。
【0095】
図12及び
図13を参照して、観測データ処理装置101Aにおける、第2変換モデル10123を用いた統合データの生成処理について説明する。ここでは、人工衛星201,202,203は共通の観測方式(例えば、SAR方式)に基づいて観測データを取得するものとする。また、観測システム10は、人工衛星201,202,203とは異なる観測方式(例えば、光学方式)に基づいて観測データを取得する人工衛星204をさらに含む。
【0096】
ステップS1201において、観測データ取得部1013は、第1タイミングにおける第1観測データを取得する。例えば、観測データ取得部1013は、時刻T1における観測データD11を取得する。
【0097】
ステップS1202において、変換観測データ取得部1016は、第1観測データに対する第1観測条件を取得する。例えば、変換観測データ取得部1016は、観測データD11に対する観測条件を取得する。より具体的には、人工衛星201の機体情報及び観測環境の環境情報を観測条件として取得する。
【0098】
ステップS1203において、変換観測データ取得部1016は、第2変換モデル10123に、第1観測データと第1観測条件と第1タイミングとを入力する。例えば、変換観測データ取得部1016は、第2変換モデル10123に観測データD11と観測データD11に対する観測条件と、時刻T1とを入力する。
【0099】
ステップS1204において、変換観測データ取得部1016は、第1観測データが変換された第1変換観測データを取得する。例えば、変換観測データ取得部1016は、観測データD11が変換された変換観測データD51を第1変換モデル10122から取得する。
【0100】
ステップS1205において、観測データ取得部1013は、第2タイミングにおける第2観測データを取得する。例えば、観測データ取得部1013は、時刻T2における観測データD42を取得する。
【0101】
ステップS1206において、統合データ生成部1014は、第1変換観測データに基づく第1情報と第2観測データに基づく第2情報とに基づく統合データを生成する。例えば、統合データ生成部1014は、変換観測データD51と観測データD42に基づく統合データID2を生成する。
【0102】
ステップS1207において、観測データ取得部1013は、第3タイミングにおける第3観測データを取得する。例えば、観測データ取得部1013は、時刻T3における観測データD23を取得する。
【0103】
ステップS1208において、変換観測データ取得部1016は、第3観測データに対する第3観測条件を取得する。例えば、変換観測データ取得部1016は、観測データD23に対する観測条件を取得する。より具体的には、人工衛星201の機体情報及び観測環境の環境情報を観測条件として取得する。
【0104】
ステップS1209において、変換観測データ取得部1016は、第2変換モデル10123に、第3観測データと第3観測条件と第3タイミングとを入力する。例えば、変換観測データ取得部1016は、第2変換モデル10123に観測データD23と観測データD23に対する観測条件と、時刻T3とを入力する。
【0105】
ステップS1210において、変換観測データ取得部1016は、第3観測データが変換された第3変換観測データを取得する。例えば、変換観測データ取得部1016は、観測データD23が変換された変換観測データD53を第1変換モデル10122から取得する。
【0106】
ステップS1211において、統合データ生成部1014は、第1変換観測データに基づく第1情報を第2変換観測データに基づく第1情報によって更新して、第1情報と第2情報とを含む統合データを生成する。例えば、統合データ生成部1014は、観測データD51が変換観測データD53によって更新された統合データID3を生成する。
【0107】
同様に、統合データ生成部1014は、観測データD34が変換された変換観測データD54に基づく統合データID4を生成する。また、統合データ生成部1014は、観測データD15が変換された変換観測データD55に基づく統合データID5を生成する。
【0108】
これにより、例えば、人工衛星201と、人工衛星202及び人工衛星203との間に機体特性の差異や観測環境の差異がある場合であっても、統合データの生成に用いられる観測データを、所定の観測条件の下で観測されたデータとして揃えることが可能となる。これにより、観測手段間の差異が抑えられた統合データが生成される。このような統合データを用いることで観測領域のメタ情報がより精度よく取得可能となる。
【0109】
(第3実施形態)
第3実施形態について説明する。第3実施形態は、推測モデルを使用した観測データの推測が行われ、推測されたデータに基づいて統合データが生成される点で第1実施形態及び第2実施形態と異なる。ここで、観測データの推測とは、あるタイミングで観測される観測データを他の観測データから推測することを意味する。
【0110】
図14には、第3実施形態に係る観測データ処理装置101Bのブロック図が示される。観測データ処理装置101Bは、観測データ処理装置101の各部に加えて、第1推測モデル10124、第2推測モデル10125、及び第3推測モデル10126を有する記憶部1012B及び推測観測データ取得部1017を有する。推測観測データ取得部1017は、後述の第1推測モデル10124、第2推測モデル10125、又は第3推測モデル10126を用いて、観測データが推測された推測観測データを取得する。
【0111】
図15を参照して第1推測モデル10124について説明する。第1推測モデル10124は、観測領域を観測して得られる第1観測データ及び第2観測タイミングの入力に対し、推測観測データを出力する学習モデルである。入力される第1観測データは、第1観測方式(例えば、SAR方式)に基づいて観測されたデータであり、出力される推測観測データは、第1観測方式とは異なる第2観測方式(例えば、光学方式)に基づいて観測されたデータである。
【0112】
第1推測モデル10124は学習用データLD4を教師データとして学習される。学習用データLD4には、学習用観測領域を観測して得られる学習用観測データ及び学習用観測タイミングAとこれらに対応する推測観測データとの組が含まれる。推測観測データは、第1観測方式に基づいて観測されたデータであり、その観測タイミングはタイミングAである。第1推測モデル10124は、学習用観測データ及び学習用観測タイミングを入力、推測観測データを出力として学習される。
【0113】
第1推測モデル10124は、あるタイミングにおける観測データを、その観測方式を他の観測方式に変更して得られる観測データを生成するモデルである。第1推測モデル10124により、観測方式が異なる観測データが、ある観測データに基づいて推測され、統合データが生成される。
【0114】
図16及び
図17を参照して、観測データ処理装置101Bにおける、第1推測モデル10124を用いた統合データの生成処理について説明する。ここでは、人工衛星201は第1観測方式(例えば、SAR方式)に基づいて観測データを取得し、人工衛星202,204は第2観測方式(例えば、光学方式)に基づいて観測データを取得し、人工衛星203は第3観測方式(例えば、気象データを用いる観測方式)に基づいて観測データを取得し、するものとする。
【0115】
ステップS1601において、観測データ取得部1013は、第1タイミングにおける第1観測データを取得する。例えば、観測データ取得部1013は、時刻T1における観測データD11を取得する。
【0116】
ステップS1602において、観測データ取得部1013は、第2タイミングにおける第2観測データを取得する。例えば、観測データ取得部1013は、時刻T2における観測データD42を取得する。
【0117】
ステップS1603において、観測データ取得部1013は、第3タイミングにおける第3観測データを取得する。例えば、観測データ取得部1013は、時刻T3における観測データD23を取得する。
【0118】
ステップS1604において、変換観測データ取得部1016は、第3観測データに対する第3観測条件を取得する。例えば、変換観測データ取得部1016は、観測データD23に対する観測条件を取得する。より具体的には、人工衛星202の機体情報及び観測データD23の観測環境の環境情報を観測条件として取得する。
【0119】
ステップS1605において、変換観測データ取得部1016は、第1推測モデル10124に、第3観測データと第3観測条件と第3タイミングとを入力する。例えば、変換観測データ取得部1016は、第1変換モデル10122に観測データD23と観測データD23に対する観測条件と、時刻T3とを入力する。
【0120】
ステップS1606において、変換観測データ取得部1016は、第3観測データが変換された変換観測データを取得する。例えば、変換観測データ取得部1016は、観測データD23が変換された推測観測データD13を第1推測モデル10124から取得する。
【0121】
ステップS1607において、統合データ生成部1014は、第1情報を推測観測データに基づいて更新して、第1情報と第2情報とを含む統合データを生成する。例えば、統合データ生成部1014は、観測データD11と観測データD42とが統合された統合データID2を生成する。次に、統合データ生成部1014は、観測データD11が推測観測データD13によって更新された統合データID3を生成する。
【0122】
同様に、統合データ生成部1014は、観測データD34が変換された変換観測データD14に基づく統合データID4を生成する。また、統合データ生成部1014は、統合データにおいて、変換観測データD14が、観測データD15によって更新された統合データID5を生成する。
【0123】
これにより、例えば、人工衛星201、人工衛星202、及び人工衛星203の間に観測方式の差異がある場合であっても、統合データの生成に用いられる観測データを、ある観測方式、例えば、人工衛星201の観測方式の下で観測されたデータとして揃えることが可能となる。また、人工衛星201の観測方式の下で観測されたデータを高頻度に生成することが可能となる。これにより、観測方式間の差異が揃えられ、高頻度に統合データが生成される。このような統合データを用いることで観測領域のメタ情報がより精度よく取得可能となる。
【0124】
図18を参照して第2推測モデル10125について説明する。第2推測モデル10125は、観測領域を観測して得られる第1観測データ、第1観測タイミング、及び第2観測タイミングの入力に対し、推測観測データを出力する学習モデルである。入力される第1観測データは、第1観測方式(例えば、SAR方式)に基づいて観測されたデータであり、出力される推測観測データは、第1観測方式とは異なる第2観測方式(例えば、光学方式)に基づいて観測されたデータである。
【0125】
第2推測モデル10125は学習用データLD5を教師データとして学習される。学習用データLD5には、学習用観測領域を観測して得られる学習用観測データ、学習用観測タイミングA、及び学習用観測タイミングAとは異なるタイミングBとこれらに対応する推測観測データとの組が含まれる。推測観測データは、第1観測方式に基づいて観測されたデータであり、その観測タイミングはタイミングBである。第2推測モデル10125は、学習用観測データ、学習用観測タイミング、及びタイミングBを入力、推測観測データを出力として学習される。
【0126】
第2推測モデル10125は、あるタイミングにおける観測データを、その観測方式を他の観測方式に変更し、他のタイミングにおいて得られる観測データを生成するモデルである。第2推測モデル10125により、観測方式及び観測タイミングが異なる観測データが、ある観測データに基づいて推測され、統合データが生成される。
【0127】
図19及び
図22を参照して、観測データ処理装置101Bにおける、第2推測モデル10125を用いた統合データの生成処理について説明する。ここでは、人工衛星201,203は第1観測方式(例えば、SAR方式)に基づいて観測データを取得し、人工衛星202は第2観測方式(例えば、光学方式)に基づいて観測データを取得するものとする。
【0128】
ステップS1901において、観測データ取得部1013は、第1タイミングにおける第1観測データを取得する。例えば、観測データ取得部1013は、時刻T2における観測データD22を取得する。
【0129】
ステップS1902において、推測観測データ取得部1017は、第1推測モデルに第1観測データと、第1タイミングと、第2タイミングとを入力する。例えば、
図22に示されるように、推測観測データ取得部1017は、観測データD22と、時刻T2と、時刻T3とを第2推測モデル10125に入力する。
【0130】
ステップS1903において、推測観測データ取得部1017は、第2推測モデル10125から、第2タイミングにおける推測観測データを取得する。例えば、
図22に示されるように、推測観測データ取得部1017は、時刻T3における推測観測データD63を第2推測モデル10125から取得する。
【0131】
ステップS1904において、統合データ生成部1014は、第1観測データに基づく第1情報と推測観測データに基づく第2情報とに基づく統合データを生成する。例えば、
図22に示されるように、統合データ生成部1014は、観測データD11と推測観測データD63に基づく統合データID3を生成する。
【0132】
これにより、例えば、人工衛星202と、人工衛星201及び人工衛星203との間に観測方式の差異がある場合であっても、統合データの生成に用いられる観測データを、人工衛星201及び人工衛星203の観測方式の下で観測されたデータとして揃えることが可能となる。これにより、観測手段間の差異が抑えられた統合データが生成される。このような統合データを用いることで観測領域のメタ情報がより精度よく取得可能となる。
【0133】
図20を参照して第3推測モデル10126について説明する。第3推測モデル10126は、観測領域を観測して得られる第1観測データ、第1観測タイミングより前の第3観測タイミング、及び第1観測タイミングの入力に対し、推測観測データを出力する学習モデルである。入力される第1観測データと出力される推測観測データとは、共通の観測方式(例えば、SAR方式)に基づいて観測されたデータである。第3推測モデル10126は、時系列回帰予測を行い、推測観測データを生成するモデルである。
【0134】
第3推測モデル10126は学習用データLD6を教師データとして学習される。学習用データLD6には、学習用観測領域を観測して得られる学習用観測データ、学習用観測タイミングA、及び学習用観測タイミングAより前のタイミングCとこれらに対応する推測観測データとの組が含まれる。学習用観測データ及び推測観測データは、第1観測方式に基づいて観測されたデータであり、その観測タイミングはタイミングCである。第3推測モデル10126は、学習用観測データ、学習用観測タイミング、及びタイミングCを入力、推測観測データを出力として学習される。
【0135】
第3推測モデル10126は、あるタイミングにおける観測データに基づいて、観測方式を変更することなく、当該タイミング以降のタイミングにおいて得られる観測データを生成するモデルである。第3推測モデル10126により、観測タイミングが異なる観測データが、ある観測データに基づいて推測され、統合データが生成される。
【0136】
図20及び
図21を参照して、観測データ処理装置101Bにおける、第3推測モデル10126を用いた統合データの生成処理について説明する。ここでは、人工衛星201,203は第1観測方式(例えば、SAR方式)に基づいて観測データを取得し、人工衛星202は第2観測方式(例えば、光学方式)に基づいて観測データを取得するものとする。
【0137】
ステップS2101において、観測データ取得部1013は、第1タイミングより前の第3タイミングで観測領域が観測された場合の第3観測データを取得する。例えば、観測データ取得部1013は、時刻T5より前の時刻T2で観測領域が観測された場合の観測データD22を取得する。
【0138】
ステップS2102において、推測観測データ取得部1017は、推測モデルに第3観測データと第3タイミングと第1タイミングとを入力する。例えば、
図22に示されるように、推測観測データ取得部1017は、観測データD22と、時刻T2と、時刻T5とを第3推測モデル10126に入力する。
【0139】
ステップS2103において、推測観測データ取得部1017は、第3推測モデル10126から、第1タイミングにおける推測観測データを取得する。例えば、
図22に示されるように、推測観測データ取得部1017は、時刻T5における推測観測データD75を第3推測モデル10126から取得する。
【0140】
ステップS2104において、統合データ生成部1014は、第1タイミングにおける推測観測データに基づく第1情報と第2観測データに基づく第2情報とに基づく統合データを生成する。例えば、
図22に示されるように、統合データ生成部1014は、推測観測データD53と、観測データD14とに基づく統合データID5を生成する。
【0141】
これにより、例えば、人工衛星202がある時点で観測を行うことができなかった場合であっても、統合データの生成に用いられる観測データを推測して統合データとすることが可能となる。これにより、観測データの一部が得られない場合であっても、時間間隔が短い統合データを生成することができる。このような統合データを用いることで観測領域のメタ情報がより精度よく取得可能となる。
【0142】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0143】
10…観測システム、101,101A,101B…観測データ処理装置、201,202,203…人工衛星、1013…観測データ取得部、1014…統合データ生成部、1015…メタ情報取得部、1016…変換観測データ取得部、1017…推測観測データ取得部
【要約】
【課題】複数の飛翔体を用いて観測領域を観測して得られるデータを高頻度に生成すること。
【解決手段】コンピュータに、第1タイミングにおける観測領域の情報であり、第1観測手段によって観測される第1観測データと、第1タイミングとは異なる第2タイミングにおける観測領域の情報であり、第1観測手段とは異なる第2観測手段によって観測される第2観測データとに基づいて、第1観測データに基づく第1情報と第2観測データに基づく第2情報とを含む統合データを生成すること、を実行させる、プログラム。
【選択図】
図2