特開 2023-897 学習モデル、信号処理装置、飛翔体、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000897

(43)【公開日】2023-01-04

(54)【発明の名称】学習モデル、信号処理装置、飛翔体、及びプログラム

(51)【国際特許分類】

   G01S 13/90 20060101AFI20221222BHJP

   G06T 7/00 20170101ALI20221222BHJP

【ＦＩ】

G01S13/90 191

G06T7/00 350B

G06T7/00 640

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021101963

(22)【出願日】2021-06-18

(11)【特許番号】

(45)【特許公報発行日】2022-01-24

(71)【出願人】

【識別番号】521270340

【氏名又は名称】株式会社スペースシフト

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】金本 成生

(72)【発明者】

【氏名】葛岡 成樹

(72)【発明者】

【氏名】齋藤 亮

【テーマコード（参考）】

5J070

5L096

【Ｆターム（参考）】

5J070AE07

5J070AF06

5J070AH31

5J070AK22

5J070BE02

5L096CA18

5L096FA69

5L096HA08

5L096KA04

(57)【要約】

【課題】観測対象物の状況あるいは観測対象物の周囲の環境の適切な観測を可能にする。学習モデル、信号処理装置、飛翔体、及びプログラムを提供する。
【解決手段】学習モデルは、第１対象領域に照射された電磁波が反射された反射電磁波に基づく第１受信信号を入力とし、第１受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、第２対象領域に照射された電磁波が反射された反射電磁波に基づく第２受信信号が入力され、第２受信信号に対応し、所定の項目を有する第２メタ情報を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１対象領域に照射された電磁波が反射された反射電磁波に基づく第１受信信号を入力とし、前記第１受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、
第２対象領域に照射された電磁波が反射された反射電磁波に基づく第２受信信号が入力され、前記第２受信信号に対応し、前記所定の項目を有する第２メタ情報を出力する、学習モデル。

【請求項2】

請求項１に記載の学習モデルであって、
前記学習モデルは、前記第１受信信号及び前記第１受信信号に基づいて生成された第１生成信号を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
前記第２受信信号及び前記第２受信信号に基づいて生成された第２生成信号が入力され、前記第２メタ情報を出力する、学習モデル。

【請求項3】

請求項１又は２に記載の学習モデルであって、
前記学習モデルは、前記第１受信信号及び前記第１対象領域における環境を示す情報を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
前記第２受信信号及び前記第２対象領域における環境を示す情報が入力され、前記第２メタ情報を出力する、学習モデル。

【請求項4】

請求項１から３のいずれか一項に記載の学習モデルであって、
前記学習モデルは、前記第１対象領域における環境を示す情報を含む前記第１メタ情報を出力とする前記教師データを用いて学習され、
前記第２対象領域における環境を示す情報を含む前記第２メタ情報を出力する、学習モデル。

【請求項5】

請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部と、
前記第２受信信号を取得する信号取得部と、
前記学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定部と、を備える信号処理装置。

【請求項6】

請求項５に記載の信号処理装置であって、
前記推定部は、第１時刻における前記第２受信信号及び第２時刻における前記第２受信信号を、前記学習モデルに対して入力し、前記第１時刻における前記第２受信信号に対応する前記第１時刻における前記第２メタ情報及び前記第２時刻における前記第２受信信号に対応する前記第２時刻における前記第２メタ情報を推定し、
前記第１時刻における前記第２メタ情報と前記第２時刻における前記第２メタ情報とに基づいて、前記第２対象領域における変化を判定する変化判定部、をさらに備える信号処理装置。

【請求項7】

請求項６に記載の信号処理装置であって、
前記判定された前記変化が、所定の条件を満たす場合に、前記変化を示す変化情報を出力する変化情報出力部、をさらに備える、信号処理装置。

【請求項8】

請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部と、
前記第２受信信号を取得する信号取得部と、
前記学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定部と、
前記第２メタ情報に基づく出力信号を外部に出力する信号出力部と、を備える飛翔体。

【請求項9】

コンピュータに、
請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部に入力される前記第２受信信号を取得する信号取得処理と、
前記学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定処理と、を実行させるプログラム。

【請求項10】

請求項９に記載のプログラムであって、
前記コンピュータに、
前記第２メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデル、信号処理装置、飛翔体、及びプログラムに関する。

【背景技術】

【0002】

人工衛星，航空機あるいはドローン装置などの飛翔体を使用した地上及び海上を含む地球表面の状態の観測が広く行われている。人工衛星による観測手法には、光学画像を取得して行われる観測手法、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）技術を使用して得られるレーダ画像いわゆるＳＡＲ画像を取得して行われる観測手法、あるいは光学画像とＳＡＲ画像とを取得し、両画像を組み合わせて行われる観測手法などがある。特許文献１には、ＳＡＲ画像等のレーダ画像と光学画像とが、地物の判別が容易になるように合成された合成画像を生成する地物情報判読用画像生成方法が示される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－０４７５１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＳＡＲ画像は、レーダ装置を搭載した人工衛星から観測対象物に照射されたマイクロ波（電磁波）が、観測対象物において反射された電磁波に応じた信号（以降、受信信号と呼ぶ）に基づいて生成される。ＳＡＲ画像は、受信信号に対して、所定の圧縮処理が行われることによって生成される。

【0005】

ＳＡＲ画像の生成における圧縮処理では、受信信号が周波数領域においてフィルタリングされ、受信信号のデータの一部が除かれる。フィルタリングによって、圧縮処理の対象となる受信信号のデータ量が減少し、圧縮処理における計算の負担が軽減される。一方で、フィルタリングによる受信信号の除去は、受信信号から検出可能な情報の欠落や情報の誤検出を生じ得る。情報の欠落や誤検出は、観測対象物の状況あるいは観測対象物の周囲の環境の観測における精度又は確度に対して影響を与える。

【0006】

そこで、本発明は、観測対象物の状況あるいは観測対象物の周囲の環境を高精度又は高確度に観測することを可能にする、学習モデル、信号処理装置、飛翔体、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る学習モデルは、第１対象領域に照射された電磁波が反射された反射電磁波に基づく第１受信信号を入力とし、第１受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、第２対象領域に照射された電磁波が反射された反射電磁波に基づく第２受信信号が入力され、第２受信信号に対応し、所定の項目を有する第２メタ情報を出力する。

【0008】

この態様によれば、学習モデルは、受信信号の入力に対して、当該受信信号に対応するメタ情報を出力するように学習され、動作する。この学習モデルを使用することにより、例えば、対象領域における移動体や建造物の個数の合計という項目を有するメタ情報を、受信信号に基づいて取得することが可能となる。受信信号から、例えばＳＡＲ画像を介さずに、メタ情報を取得することが可能となるため、受信信号に含まれる情報が欠落しない。よって、観測対象物の状況を示すメタ情報を高精度又は高確度に観測することが可能となる。

【0009】

上記態様において、学習モデルは、第１受信信号及び第１受信信号に基づいて生成された第１生成信号を入力とし、第１メタ情報を出力とする教師データを用いて学習され、第２受信信号及び第２受信信号に基づいて生成された第２生成信号が入力され、第２メタ情報を出力してもよい。

【0010】

この態様によれば、学習モデルにおける教師データには、第１受信信号に基づいて生成された第１生成信号がさらに含まれる。第１生成信号とは、例えば、第１受信信号に基づくＳＡＲ画像生成のための信号（ＳＡＲ信号）である。ＳＡＲ信号のように、受信信号に基づいて生成されるデータを入力にさらに含み、メタ情報を出力とする学習モデルを用いることで、ＳＡＲ信号の方が適切に対象物等のメタ情報を観測できる場合において、観測対象物の状況を高精度又は高確度に観測することが可能となる。

【0011】

上記態様において、学習モデルは、第１受信信号及び第１対象領域における環境を示す情報を入力とし、第１メタ情報を出力とする教師データを用いて学習され、第２受信信号及び第２対象領域における環境を示す情報が入力され、第２メタ情報を出力してもよい。

【0012】

この態様によれば、学習モデルにおける教師データには、第１対象領域における環境を示す情報がさらに含まれる。第１対象領域における環境を示す情報とは、例えば、第１対象領域における天候等の気象条件、あるいは、煙等の人為的要因によって発生する環境条件である。第２メタ情報の出力の際に、第２対象領域における環境を示す情報を含む入力を用いることで、第２メタ情報を高精度又は高確度に観測することが可能となる。

【0013】

上記態様において、学習モデルは、第１対象領域における環境を示す情報を含む第１メタ情報を出力とする教師データを用いて学習され、第２対象領域における環境を示す情報を含む第２メタ情報を出力するようにしてもよい。

【0014】

この態様による学習モデルを用いることで、観測対象物の周囲の環境である第２対象領域における環境を示す情報の取得が可能となる。よって、観測対象物の周囲の環境を高精度又は高確度に観測することが可能となる。

【0015】

また、他の態様において、信号処理装置は、上記態様の学習モデルが記憶された記憶部と、第２受信信号を取得する信号取得部と、学習モデルに、前記第２受信信号を入力し、前記第２メタ情報を推定する推定部と、を備える。

【0016】

この態様によれば、信号処理装置単体で、信号の取得及び学習モデルを用いた第２メタ情報の推定を行うことが可能となる。これにより、例えば、地球上空の空間のように外部との通信に一定の制約がある環境であったとしても、学習モデルを用いたメタ情報の推定が可能となり、信号処理装置は、観測対象物の状況を高精度又は高確度に観測することが可能となる。

【0017】

上記態様において、信号処理装置は、推定部は、第１時刻における第２受信信号及び第２時刻における第２受信信号を、上記態様の学習モデルに対して入力し、第１時刻における第２受信信号に対応する第１時刻における第２メタ情報及び前記第２時刻における前記第２受信信号に対応する前記第２時刻における前記第２メタ情報を推定し、第１時刻における第２メタ情報と第２時刻における第２メタ情報とに基づいて、第２対象領域における変化を判定する変化判定部、をさらに備えてもよい。

【0018】

この態様によれば、第１時刻における第２対象領域の第２メタ情報が第２時刻において変化した場合に、当該変化の有無が検出可能となる。メタ情報に基づくことにより、信号処理装置は、観測対象物の状況又は観測対象物の周囲の環境を高精度又は高確度に観測しつつ、第２対象領域における変化を判定することができる。

【0019】

上記態様において、信号処理装置は、判定された変化が、所定の条件を満たす場合に、変化を示す変化情報を出力する変化情報出力部、をさらに備えてもよい。

【0020】

この態様によれば、信号処理装置は、変化が所定の条件を満たす場合に、変化の有無に加えて、変化の内容を変化情報として出力する。これにより、変化の詳細を外部の装置によって取得することが可能となる。信号処理装置が、条件に基づき、必要に応じて変化情報を出力することで、信号処理装置と外部との通信量及び信号処理装置における通信に必要な電力消費を抑制することが可能となる。

【0021】

また、他の態様において、飛翔体は、上記態様の学習モデルが記憶された記憶部と、第２受信信号を取得する信号取得部と、学習モデルに、第２受信信号を入力し、第２メタ情報を推定する推定部と、第２メタ情報に基づく出力信号を外部に出力する信号出力部と、を備える。

【0022】

この態様によれば、飛翔体が単体で学習モデルを使用した第２メタ情報の推定を行うことが可能となる。これにより、外部との通信に一定の制約がある環境に置かれる飛翔体が、外部との通信を伴わずに第２メタ情報の推定が可能となる。これにより、飛翔体の通信量及び通信に必要な電力消費を抑制することができる。また、飛翔体は、第２メタ情報に基いて、例えば、第２メタ情報そのものや、第２メタ情報の変化を示す情報を含む出力情報を外部に出力できる。これにより、ＳＡＲデータのように容量が大きいデータを外部に送信せず、ＳＡＲデータに基づいて観測されるメタ情報と同等の第２メタ情報を外部に送信することが可能となる。これにより、飛翔体と外部との通信量及び飛翔体による通信に必要な電力消費を抑制することができる。

【0023】

また、他の態様において、プログラムは、コンピュータに、上記態様の学習モデルが記憶された記憶部に入力される第２受信信号を取得する信号取得処理と、学習モデルに、第２受信信号を入力し、第２メタ情報を推定する推定処理と、を実行させる。これにより、コンピュータに、観測対象物の状況を示すメタ情報を高精度又は高確度に観測させることが可能となる。

【0024】

上記態様において、プログラムは、コンピュータに、第２メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させてもよい。これにより、例えば、当該プログラムが記録されたコンピュータを備える飛翔体において、飛翔体と外部との通信量及び飛翔体による通信に必要な電力消費を抑制することができる。

【発明の効果】

【0025】

本発明によれば、観測対象物の状況あるいは観測対象物の周囲の環境の適切な観測を可能にする、学習モデル、信号処理装置、飛翔体、及びプログラムを提供することができる。

【図面の簡単な説明】

【0026】

【図1】本実施形態に係る観測システムのブロック図である。

【図2】本実施形態に係る学習モデルを説明する図である。

【図3】本実施形態に係る学習モデルの学習を説明する図である。

【図4】本実施形態に係る学習モデルの学習に用いられる情報の一例を説明する図である。

【図5】本実施形態に係る学習モデルの学習に用いられる情報の一例を説明する図である。

【図6】本実施形態に係る学習モデルの学習に用いられる教師データの対応を説明する図である。

【図7】本実施形態に係る飛翔体における処理を説明するフローチャートである。

【図8】本実施形態に係る信号処理装置によるメタ情報の推定を説明する図である。

【図9】本実施形態に係る信号処理装置によって推定されたメタ情報の一例を説明する図である。

【図10】本実施形態に係る信号処理装置によるメタ情報の変化の判定を説明する図である。

【図11】本実施形態に係る信号処理装置による変化の判定処理を説明するフローチャートである。

【図12】学習モデルの学習及び推定の他の態様を説明する図である。

【図13】観測システムの他の態様を示すブロック図である。

【発明を実施するための形態】

【0027】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0028】

図１には、本実施形態に係る観測システム１０のブロック図が示される。観測システム１０は、飛翔体１００及び観測装置２００を備える。飛翔体１００は地球上空の空間に配置され、観測装置２００は地球に配置される。本実施形態では、飛翔体１００が地球表面の対象領域Ｄをレーダによって観測し、飛翔体１００において処理された観測信号Ｏが観測装置２００に送信される。観測信号Ｏとは、例えば後述される、飛翔体１００が取得した受信信号又は当該受信信号に対応するメタ情報である。

【0029】

飛翔体１００は、通信アンテナ１０１、レーダ装置１０２、及び信号処理装置１０３を備える。飛翔体１００は、受信信号の取得及び処理が可能な人工衛星であり、宇宙空間に配置されて地球の周囲を周回する。なお、飛翔体１００は静止衛星であってもよい。また、飛翔体１００は、航空機、ヘリコプターもしくはドローン装置などの、地球上空に位置することが可能な装置であればよい。

【0030】

通信アンテナ１０１は、飛翔体１００が地球上又は宇宙空間に設けられる外部装置との通信を行うためのアンテナである。

【0031】

レーダ装置１０２は、例えばマイクロ波である電磁波ＥＭ１を、地球表面の対象領域Ｄに対して照射し、対象領域Ｄにおける観測対象物によって電磁波ＥＭ１が反射された反射電磁波ＥＭ２を取得する装置である。レーダ装置１０２は、例えば、合成開口レーダ（ＳＡＲ）である。反射電磁波ＥＭ２は、レーダ装置１０２により、飛翔体１００で取り扱いが可能な、電磁波の変動に基づく受信信号（ＲＡＷデータ）として処理及び記録される。受信信号は、例えば、対象領域Ｄの所定の座標ごとの信号強度として記録される。レーダ装置１０２は、通信アンテナ１０１を通じて、観測信号Ｏを観測装置２００に送信する。

【0032】

レーダ装置１０２には、受信信号の取得処理を制御するためのプロセッサ及び当該制御に必要なプログラムが記憶される記憶装置が含まれる。

【0033】

信号処理装置１０３は、レーダ装置１０２によって取得された受信信号の処理を行う情報処理装置である。信号処理装置１０３は、メモリ等の記憶領域を有し、記憶領域に格納されたプログラムをプロセッサが実行することによって所定の処理を行うコンピュータである。

【0034】

信号処理装置１０３は、記憶部１０４及び制御部１０５を有する。記憶部１０４は、例えば、ＲＡＭ等の半導体メモリや、光ディスクである。記憶部１０４は、信号処理装置１０３での処理に用いられる各種の情報を記憶する。

【0035】

記憶部１０４には、学習モデル１０４１が記憶される。学習モデル１０４１は、受信信号を入力とし、受信信号に対応するメタ情報を出力するよう学習されたプログラムである。メタ情報及び学習モデル１０４１の詳細については後述する。

【0036】

制御部１０５は、信号処理装置１０３における信号処理を行う。また、制御部１０５は、飛翔体１００を通じた受信信号の処理結果の送信を制御する。制御部１０５は、信号取得部１０５１、推定部１０５２、信号出力部１０５３、変化判定部１０５４、及び変化情報出力部１０５５を有する。

【0037】

信号取得部１０５１は、レーダ装置１０２から受信信号を取得する。

【0038】

推定部１０５２は、信号取得部１０５１によって取得された受信信号を学習モデル１０４１に入力し、受信信号に対応するメタ情報を取得する。

【0039】

信号出力部１０５３は、通信アンテナ１０１を通じて、推定部１０５２が取得したメタ情報を観測信号Ｏとして観測装置２００に出力する。また、信号出力部１０５３は、メタ情報と共に、当該メタ情報に対応する受信信号を観測信号Ｏとして出力してもよい。

【0040】

変化判定部１０５４は、異なる時刻において対象領域Ｄから取得された受信信号に対応する複数のメタ情報に基づいて、対象領域Ｄにおける観測対象物の状況あるいは観測対象物の周囲の環境の変化を判定する。

【0041】

変化情報出力部１０５５は、変化判定部１０５４によって判定された変化が、所定の条件を満たす場合に、変化を示す変化情報を出力する。変化情報とは、例えば、メタ情報のうち、変化したメタ情報が抽出された情報や、対象領域Ｄのうち変化が生じている領域の範囲を示す情報である。変化判定部１０５４及び変化情報出力部１０５５による処理については後述する。

【0042】

観測装置２００は、飛翔体１００による対象領域Ｄの観測を制御する制御信号を飛翔体１００に対して送信し、飛翔体１００から観測信号Ｏを取得する装置である。観測装置２００は、アンテナ及びアンテナによる通信を制御する制御部を含む通信部２０１を有する。飛翔体１００との情報の送受信は、通信部２０１を通じて行われる。

【0043】

信号処理部２０２は、飛翔体１００からの観測信号Ｏの処理を行う。信号処理部２０２は、飛翔体１００から取得した観測信号Ｏに基づいて、例えば対象領域Ｄにおける観測結果を画像によって可視化する処理を行う。

【0044】

図２から図６を参照して、本実施形態に係る学習モデル１０４１の学習について説明する。

【0045】

図２は、学習モデル１０４１の学習及び推定を模式的に説明する図である。学習モデル１０４１は学習用データＬＤを教師データとして学習される。学習用データＬＤには、ある対象領域（第１対象領域）への電磁波の照射によって取得された受信信号Ｒ０（第１受信信号）と受信信号Ｒ０に対応するメタ情報ＭＤ０（第１メタ情報）の組が含まれる。学習モデル１０４１は、受信信号Ｒ０を入力、メタ情報ＭＤ０を出力として学習される。

【0046】

受信信号Ｒ０に対するメタ情報ＭＤ０の対応付けのために、受信信号Ｒ０はＳＡＲデータに変換される。受信信号Ｒ０は、所定の変換処理を経なければ、観測装置２００のユーザが理解可能な情報とはならない。ＳＡＲデータの変換処理は、例えば、観測装置２００によって行われる。ＳＡＲデータに基づいて解析処理や可視化処理が行われることで、受信信号Ｒ０に基づく観測結果をユーザが理解可能となる。

【0047】

ＳＡＲデータは、受信信号Ｒ０に対する変換の内容に応じた複数のレベルを有する。ＳＡＲデータとしては、例えば、受信信号Ｒ０に対してレンジ圧縮及びシングルルックアジマス圧縮が行われた第１レベルのＳＡＲデータがある。第１レベルのＳＡＲデータは、複素数の情報であり、対象領域Ｄにおける反射電磁波ＥＭ２の振幅の情報及び位相の情報が含まれる。第１レベルのＳＡＲデータをＳＡＲ画像として可視化することによって、ユーザによる受信信号Ｒ０の内容の把握が可能となる。

【0048】

他のＳＡＲデータとして、受信信号Ｒ０に対して、レンジ圧縮及びマルチルックアジマス圧縮が行われた第２レベルのＳＡＲデータもある。第２レベルのＳＡＲデータによって、受信信号Ｒ０のＳＡＲ画像による可視化が幾何学的に補正された状態で可能となる。

【0049】

他のＳＡＲデータとして、受信信号Ｒ０に対して、レンジ圧縮、シングルルックアジマス圧縮及びオルソ補正を行った第３レベルのＳＡＲデータもある。オルソ補正を加えることによって、光学画像と重ねることが可能なＳＡＲ画像を得ることができる。

【0050】

上述のように、受信信号Ｒ０をＳＡＲデータに変換し、ＳＡＲ画像として可視化することによって、ユーザが対象領域Ｄにおける観測結果を理解することが可能となる。ユーザは、観測結果の意味を示す情報としてメタ情報ＭＤ０を受信信号Ｒ０に対応付けることができる。あるいは、ＳＡＲ画像とメタ情報とを対応づける学習モデルを用いて、コンピュータによって、ＳＡＲ画像に対してメタ情報を関連付けた後に受信信号とメタ情報とを対応付けてもよい。

【0051】

メタ情報Ｍ０は、例えば、海上の船舶に対する観測においては、船舶及び海象に関する情報である。具体的には、船舶の情報として、位置、全長、種類の項目に対応する情報がＳＡＲ画像から取得される。また、複素数成分を有するＳＡＲデータに基づく位相の情報を用いて、船舶の速度を取得することが可能となる。また、海象に関する情報として、海上の風向及び風速をＳＡＲデータに基づいて取得することができる。海上の風向及び風速は、ＳＡＲデータの後方散乱係数及び実際に計測された風向及び風速のデータに基づいて算出された相関関係に基づいて推定される。後方散乱係数とは、対象領域の表面で散乱する照射された電磁波のうち、照射方向に戻る電磁波の強度に基づく係数である。

【0052】

受信信号Ｒ０に対するメタ情報ＭＤ０の対応付けには、ＳＡＲデータ以外の付加情報を用いることができる。例えば、船舶に関するメタ情報ＭＤ０には、ＡＩＳ（Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：自動識別システム）というシステムから取得された、位置、船名、船籍、及び全長等の情報であるＡＩＳ情報が含まれてもよい。受信信号Ｒ０が取得された際のＡＩＳの情報に基づいて、メタ情報ＭＤ０が生成されてもよい。また、海象に関しては、洋上に設けられたブイから取得された風向、風速、及び天候をメタ情報ＭＤ０としてもよい。

【0053】

メタ情報ＭＤ０は、観測対象に応じて様々な項目を有する。自動車や動物など、陸上の移動体に対するメタ情報には、移動体の移動軌跡の情報が含まれる。当該情報は、移動体によって生じる反射電磁波の干渉の変化によるＳＡＲデータの変化から取得される。この場合、メタ情報には、当該移動体に取り付けられたＧＰＳ装置に基づく移動軌跡が含まれてもよい。

【0054】

災害時の浸水域が観測対象である場合、メタ情報として浸水域の範囲を、ＳＡＲ画像における明度の低い領域として取得してもよい。この場合、メタ情報には、航空機や人工衛星によって取得された光学画像に基づく浸水域の範囲が含まれてもよい。

【0055】

農作物の管理に用いるメタ情報として、作物の成長度合いをメタ情報としてもよい。作物の成長度合いは、ＳＡＲデータの後方散乱係数及び実際に観測された作物の成長度合いに基づいて算出された相関関係に基づいて推定される。この場合、メタ情報には、光学計測による分光反射特性や、実際に測定された作物の背丈の情報が含まれてもよい。

【0056】

建築物に関する検出においては、新規の建築物に関する情報をメタ情報としてもよい。新規の建築物に関する情報は、ＳＡＲデータの後方散乱係数及び実際に観測された新規の建築物に関する情報に基づいて算出された相関関係に基づいて推定される。この場合、光学画像から検出した建物情報や、地図情報から新規の建築物に関する情報を取得してもよい。また、建物の種類に関する情報が地図等に基づいて取得されて、メタ情報とされてもよい。

【0057】

メタ情報と受信信号との対応付けにあたっては、電磁波のシミュレーションを用いることもできる。シミュレーションモデルにおいて、電磁波の照射及び反射をシミュレートし、受信信号及びＳＡＲデータを生成することができる。この場合、シミュレーションモデルにおける条件、例えば、船舶数や船舶の形状、移動体の位置の軌跡等のメタ情報が、生成された受信信号及びＳＡＲデータに対応付けられるメタ情報となる。

【0058】

飛翔体１００によって他の対象領域（第２対象領域）に照射された電磁波に基づき、飛翔体１００が取得した受信信号Ｒ１（第２受信信号）が、学習済みの学習モデル１０４１に対して入力されると、学習モデル１０４１は、受信信号Ｒ１に対応したメタ情報ＭＤ１（第２メタ情報）を出力する。

【0059】

学習モデル１０４１は、受信信号Ｒ１に加えて、受信信号Ｒ１が取得された際の付加情報が入力され、メタ情報ＭＤ１を出力してもよい。例えば、上述の船舶の例においては、ＡＩＳ情報及び洋上に設けられたブイからの情報が付加情報であり得る。ここでは、学習モデル１０４１は、ＳＡＲデータと、ＡＩＳ情報及び洋上に設けられたブイからの情報を含む付加情報とに基づくメタ情報ＭＤ０を用いて学習されたとする。この場合、学習モデル１０４１を用いたメタ情報ＭＤ１の推定の際に、ＡＩＳ情報又は洋上に設けられたブイからの情報のいずれかが付加情報として、学習モデル１０４１に入力される。学習モデル１０４１の入力に、ＳＡＲデータに加えて付加情報を含めることによって、メタ情報がより高精度又は高確度に観測されるようにしてもよい。

【0060】

図３から図６を参照して受信信号Ｒ０とメタ情報ＭＤ０の関係について説明する。本実施形態においては、海上における船舶及び船舶の周囲の環境である海象の推測を可能とする学習モデルを例として説明する。

【0061】

図３の例では、対象領域Ｄに対応する受信信号Ｒ０に基づいて、対象領域ＤにおけるＳＡＲ画像ＩＧ１が生成される。ＳＡＲ画像ＩＧ１においては、船舶Ｓ３１，Ｓ３２，Ｓ３３が検出されている。この場合、図４に示されるように、船舶に関する第１船舶情報及び海象に関する第１海象情報を含むメタ情報ＭＤ０１が、ＳＡＲ画像ＩＧ１から取得される。メタ情報ＭＤ０１は、受信信号Ｒ０に対応付けられる。なお、第１船舶情報及び後述の第２船舶情報における「船舶ＩＤ」の項目は、メタ情報ＭＤ０１において船舶を識別するために用いられる任意の情報である。

【0062】

また、対象領域Ｄに対応する受信信号Ｒ０が取得された際の対象領域ＤにおけるＡＩＳ情報に基づいて、図５に示されるようなメタ情報ＭＤ０２が取得される。メタ情報ＭＤ０２には、船舶に関する第２船舶情報及び海象に関する第２海象情報が含まれる。第２船舶情報及び第２海象情報は第１船舶情報及び第２海象情報とは異なる項目を有している。メタ情報ＭＤ０２は、受信信号Ｒ０に対応付けられる。

【0063】

ＡＩＳ情報に基づいた場合、図３の正解イメージＩＧ２に示されるように、船舶Ｓ３１からＳ３３に加えて、船舶Ｓ３４が対象領域Ｄに存在していることがメタ情報ＭＤ０２によって示される。

【0064】

学習用データＬＤとして、受信信号Ｒ０に対応付けられるメタ情報ＭＤ０は、メタ情報ＭＤ１及びメタ情報ＭＤ２に基づいて用意される。メタ情報ＭＤ０には、船舶に関して、第１船舶情報と同様の項目を有するように、第１船舶情報に基づいて第３船舶情報が含まれる。また、メタ情報ＭＤ０には、海象に関して、第２海象情報と同様の項目を有するように、第２海象情報に基づいて第３海象情報が含まれる。このように、モデルの生成に用いるメタ情報ＭＤ０は、ＳＡＲ画像に基づくメタ情報ＭＤ０１や他の装置からの情報に基づくメタ情報ＭＤ０２が組み合わされるようにして生成することができる。また、メタ情報ＭＤ０１又はメタ情報ＭＤ０２のいずれかのメタ情報をそのままメタ情報ＭＤ０としてもよい。

【0065】

学習モデル１０４１は、上述のように用意された学習用データＬＤを用いて、例えば、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。なお、学習モデル１０４１は、単一の学習モデルとして構成されてもよく、複数の学習モデルを組み合わせた学習モデルとして構成されてもよい。

【0066】

図７から図９を参照して、飛翔体１００による処理について説明する。

【0067】

図７のステップＳ７０１において、レーダ装置１０２が、対象領域Ｄに対して電磁波ＥＭ１を照射する。照射のタイミングは、観測装置２００によって制御されたタイミングでもよく、飛翔体１００において予め指定されたタイミングであってもよい。

【0068】

ステップＳ７０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波ＥＭ２に基づく受信信号Ｒ１をレーダ装置１０２から取得する。

【0069】

ステップＳ７０３において、推定部１０５２は、受信信号Ｒ１を学習モデル１０４１に入力する。なお、このとき、推定部１０５２は、受信信号Ｒ１に加えて、受信信号Ｒ１が取得された際の付加情報を、あわせて学習モデル１０４１に入力してもよい。

【0070】

ステップＳ７０４において、推定部１０５２は、受信信号Ｒ１に対応するメタ情報ＭＤ１を学習モデル１０４１から取得する。

【0071】

ステップＳ７０５において、信号出力部１０５３は、メタ情報ＭＤ１に基づく出力信号を観測装置２００に出力する。メタ情報ＭＤ１に基づく出力信号は、メタ情報ＭＤ１の全部や、メタ情報ＭＤ１の一部を伝達する信号である。あるいは、出力信号は、メタ情報に対して情報処理がなされた結果の情報を伝達する信号であってもよい。

【0072】

図８を参照して、学習モデル１０４１によるメタ情報の推定を説明する。ここでは、図６に示されるような対応を有する学習用データＬＤを用いて学習された学習モデル１０４１を使用する場合を説明する。

【0073】

受信信号Ｒ１は、ＳＡＲ画像ＩＧ３に示される状態を示すＳＡＲデータに変換され得る情報である。ＳＡＲ画像ＩＧ３に基づいて生成されるメタ情報では、船舶Ｓ８１からＳ８３に関する情報が含まれる。一方で、実際の状況は、正解イメージＩＧ４に示される状況であるとする。つまり、船舶Ｓ８４に関する情報が、受信信号Ｒ１のＳＡＲデータ化によって欠落している。

【0074】

この場合、信号処理装置１０３は、受信信号Ｒ１を学習モデル１０４１に入力し、図９に示すようなメタ情報ＭＤ１を取得することができる。メタ情報ＭＤ１には４隻の船舶を示す情報が含まれている。つまり、信号処理装置１０３によって、ＳＡＲデータから検出できないようなメタ情報を検出することが可能になる。

【0075】

受信信号及び学習モデル１０４１を用いることで、ＳＡＲデータの変換による影響を受けずにメタ情報の推定を行うことができる。これにより、図示はされないが、例えばＳＡＲ画像において検出すべきでない対象が偽像として検出されるような誤検出が生じる場合であっても、適切にメタ情報を推定することができる。

【0076】

図１０及び図１１を参照して、飛翔体１００によるメタ情報の変化検出について説明する。

【0077】

図１０では、建築物に関するメタ情報の変化の検出について説明する。ある時刻Ｔ１（第１時刻）では建築物が配置イメージＩＧ５に示されるように配置されている。別の時刻Ｔ２（第２時刻）では、同じ領域に、建築物が配置イメージＩＧ６に示されるように配置されている。配置イメージＩＧ５，ＩＧ６は、例えば、空中あるいは宇宙から建築物を上から観測した光学画像あるいはＳＡＲ画像である。配置イメージＩＧ５，ＩＧ６は、所定の領域Ａ０１からＡ０４までを有する。配置イメージＩＧ６に示されるように、時刻Ｔ２では新規建築物ＮＢが領域Ａ０３に建築されている。

【0078】

上記変化が学習モデル１０４１を用いて検出される例を説明する。ここでは、学習モデル１０４１は、受信信号の入力に対して、建築物の領域ごとの個数である建築物情報をメタ情報として出力するように学習されているとする。

【0079】

図１１には、飛翔体１００による処理のフローチャートが示される。

【0080】

ステップＳ１１０１において、レーダ装置１０２は、時刻Ｔ１において対象領域に電磁波を照射する。

【0081】

ステップＳ１１０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波に基づく受信信号Ｒ３をレーダ装置１０２から取得する。受信信号Ｒ３は記憶部１０４に記憶されてもよい。

【0082】

ステップＳ１１０３において、推定部１０５２は、受信信号Ｒ３を学習モデル１０４１に入力する。

【0083】

ステップＳ１１０４において、推定部１０５２は、受信信号Ｒ３に対応するメタ情報ＭＤ３を学習モデル１０４１から取得する。メタ情報ＭＤ３は、記憶部１０４に記憶されてもよい。

【0084】

ステップＳ１１０５において、レーダ装置１０２は、時刻Ｔ２において対象領域に電磁波を照射する。

【0085】

ステップＳ１１０６において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波に基づく受信信号Ｒ４をレーダ装置１０２から取得する。

【0086】

ステップＳ１１０７において、推定部１０５２は、受信信号Ｒ４を学習モデル１０４１に入力する。

【0087】

ステップＳ１１０８において、推定部１０５２は、受信信号Ｒ４に対応するメタ情報ＭＤ４を学習モデル１０４１から取得する。

【0088】

ステップＳ１１０９において、変化判定部１０５４は、メタ情報ＭＤ３とメタ情報ＭＤ４に基づいて、対象領域における変化を判定する。図１０の場合、メタ情報ＭＤ０４では、領域Ａ０３において建築物の個数は４つに増えている。よって、変化判定部１０５４はこの建築物数の変化があると判定する。

【0089】

ステップＳ１１１０において、変化情報出力部１０５５は、変化が所定の条件を満たすかを判定する。ここで所定の条件とは、変化があるか否かの判定結果や、変化の具体的内容に関する条件である。例えば、図１０の例では、変化の具体的内容として、ある領域で変化があること又は建築物数が増加や減少する変化がいずれかの領域であること等が条件となり得る。

【0090】

ここでは、建築物数が増加する変化がいずれかの領域で生じることが条件であるとする。このとき変化情報出力部１０５５は、変化が所定の条件を満たすと判定する。

【0091】

変化が所定の条件を満たすと判定された場合、ステップＳ１１１１において、変化情報出力部１０５５は変化を示す情報を出力信号として観測装置２００に出力する。なお、所定の条件が満たされない場合、処理は終了する。出力信号は例えば、メタ情報ＭＤ３及びＭＤ４を伝達する信号である。あるいは、出力信号は、変化があった領域Ａ０３に関するメタ情報を抽出し、抽出されたメタ情報を伝達する信号である。あるいは、変化があると判定された領域Ａ０３の中でも、変化が生じた部分をより詳細に示す座標に関する情報を伝達する信号であってもよい。

【0092】

飛翔体１００は、受信信号に基づく精度又は確度の良いメタ情報に基づいて、対象領域における変化を検出することができる。よって、変化の検出精度又は確度も向上する。

【0093】

飛翔体１００は、変化を判定し、変化があった部分についてのみ、メタ情報そのものや、変化があった範囲を示す情報を観測装置２００へと送信することで、観測装置２００への通信量を削減することができる。これにより、飛翔体１００は、電力消費を抑制することができる。これは、地球上空の空間という環境によって、利用可能な電力に制限がある飛翔体１００にとって利点となる。

【0094】

図１２は、学習モデル１０４１Ａの学習及び推定を模式的に説明する図である。学習モデル１０４１Ａは、学習用データＬＤとして、受信信号Ｒ０、メタ情報ＭＤ０に加えて、受信信号Ｒ０に基づいて生成されたＳＡＲデータ（第１生成信号）及び付加情報を含む。このように学習用データＬＤを用意することで、学習モデル１０４１Ａに、受信信号Ｒ１、受信信号Ｒ１に基づいて生成されたＳＡＲデータ（第２生成信号）及び受信信号Ｒ１に対応する付加情報を入力としたメタ情報ＭＤ１の推定が可能となる。

【0095】

例えば、付加情報として、受信信号Ｒ０が取得された際の対象領域における環境を示す情報として、当該対象領域の天候を用いることができる。学習モデル１０４１Ａを用いたメタ情報ＭＤ１の推定の際に、受信信号Ｒ１が取得された際の対象領域における環境を示す情報を他の装置から取得し、学習モデル１０４１Ａの入力に含めることができる。これにより、メタ情報ＭＤ１の推定をより高精度又は高確度に行うことができる。

【0096】

図１３には、他の態様として観測システム１０Ａを示すブロック図が示される。図１３に示されるように、信号処理装置１０３は、観測装置２００Ａに含まれるように設けることもできる。飛翔体１００Ａの制御部１３０１によって、レーダ装置１０２が取得した受信信号が、観測装置２００Ａに送信される。観測装置２００Ａの信号処理装置１０３によって上述の処理を行うようにすることもできる。

【0097】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその条件等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0098】

１０…観測システム、１００…飛翔体、１０１…通信アンテナ、１０２…レーダ装置、１０３…信号処理装置、１０４…記憶部、１０４１…学習モデル、１０５…制御部、１０５１…信号取得部、１０５２…推定部、１０５３…信号出力部、１０５４…変化判定部、１０５５…変化情報出力部、２００…観測装置、２０１…通信部、２０２…信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2021-10-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１対象領域に照射された電磁波が反射された反射電磁波に基づく、第１合成開口レーダ受信信号を入力とし、前記第１合成開口レーダ受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、
第２対象領域に照射された電磁波が反射された反射電磁波に基づく、第２合成開口レーダ受信信号の入力に対し、前記第２合成開口レーダ受信信号に対応し、前記所定の項目を有する第２メタ情報を出力するよう、コンピュータを機能させる学習モデル。

【請求項2】

請求項１に記載の学習モデルであって、
前記学習モデルは、前記第１合成開口レーダ受信信号及び前記第１合成開口レーダ受信信号に基づいて生成された第１生成信号を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
前記第２合成開口レーダ受信信号及び前記第２合成開口レーダ受信信号に基づいて生成された第２生成信号の入力に対し、前記第２メタ情報を出力するよう、前記コンピュータを機能させる学習モデル。

【請求項3】

請求項１又は２に記載の学習モデルであって、
前記学習モデルは、前記第１合成開口レーダ受信信号及び前記第１対象領域における環境を示す情報を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
前記第２合成開口レーダ受信信号及び前記第２対象領域における環境を示す情報の入力に対し、前記第２メタ情報を出力するよう、前記コンピュータを機能させる学習モデル。

【請求項4】

請求項１から３のいずれか一項に記載の学習モデルであって、
前記学習モデルは、前記第１対象領域における環境を示す情報を含む前記第１メタ情報を出力とする前記教師データを用いて学習され、
前記第２対象領域における環境を示す情報を含む前記第２メタ情報を出力するよう、前記コンピュータを機能させる学習モデル。

【請求項5】

請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部と、
前記第２合成開口レーダ受信信号を取得する信号取得部と、
前記学習モデルに、前記第２合成開口レーダ受信信号を入力し、前記第２メタ情報を推定する推定部と、を備える信号処理装置。

【請求項6】

請求項５に記載の信号処理装置であって、
前記推定部は、第１時刻における前記第２合成開口レーダ受信信号及び第２時刻における前記第２合成開口レーダ受信信号を、前記学習モデルに対して入力し、前記第１時刻における前記第２合成開口レーダ受信信号に対応する前記第１時刻における前記第２メタ情報及び前記第２時刻における前記第２合成開口レーダ受信信号に対応する前記第２時刻における前記第２メタ情報を推定し、
前記第１時刻における前記第２メタ情報と前記第２時刻における前記第２メタ情報とに基づいて、前記第２対象領域における変化を判定する変化判定部、をさらに備える信号処理装置。

【請求項7】

請求項６に記載の信号処理装置であって、
前記判定された前記変化が、所定の条件を満たす場合に、前記変化を示す変化情報を出力する変化情報出力部、をさらに備える、信号処理装置。

【請求項8】

請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部と、
前記第２合成開口レーダ受信信号を取得する信号取得部と、
前記学習モデルに、前記第２合成開口レーダ受信信号を入力し、前記第２メタ情報を推定する推定部と、
前記第２メタ情報に基づく出力信号を外部に出力する信号出力部と、を備える飛翔体。

【請求項9】

コンピュータに、
請求項１から４のいずれか一項に記載の学習モデルが記憶された記憶部に入力される前記第２合成開口レーダ受信信号を取得する信号取得処理と、
前記学習モデルに、前記第２合成開口レーダ受信信号を入力し、前記第２メタ情報を推定する推定処理と、を実行させるプログラム。

【請求項10】

請求項９に記載のプログラムであって、
前記コンピュータに、
前記第２メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させる、プログラム。

【手続補正書】

【提出日】2021-11-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１対象領域に照射された電磁波が反射された反射電磁波に基づく、第１合成開口レーダ受信信号を入力とし、前記第１合成開口レーダ受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、第２対象領域に照射された電磁波が反射された反射電磁波に基づく、第２合成開口レーダ受信信号の入力に対し、前記第２合成開口レーダ受信信号に対応し、前記所定の項目を有する第２メタ情報を出力する学習モデルが記憶された記憶部と、
前記第２合成開口レーダ受信信号を取得する信号取得部と、
第１時刻における前記第２合成開口レーダ受信信号及び第２時刻における前記第２合成開口レーダ受信信号を、前記学習モデルに対して入力し、前記第１時刻における前記第２合成開口レーダ受信信号に対応する前記第１時刻における前記第２メタ情報及び前記第２時刻における前記第２合成開口レーダ受信信号に対応する前記第２時刻における前記第２メタ情報を推定する推定部と、
前記第１時刻における前記第２メタ情報と前記第２時刻における前記第２メタ情報とに基づいて、前記第２対象領域における変化を判定する変化判定部と、
を備える信号処理装置。

【請求項2】

請求項１に記載の信号処理装置であって、
前記学習モデルは、
前記第１合成開口レーダ受信信号及び前記第１合成開口レーダ受信信号に基づいて生成された第１生成信号を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
前記第２合成開口レーダ受信信号及び前記第２合成開口レーダ受信信号に基づいて生成された第２生成信号の入力に対し、前記第２メタ情報を出力する、
信号処理装置。

【請求項3】

請求項１又は２に記載の信号処理装置であって、
前記学習モデルは、
前記第１合成開口レーダ受信信号及び前記第１対象領域における環境を示す情報を入力とし、前記第１メタ情報を出力とする教師データを用いて学習され、
前記第２合成開口レーダ受信信号及び前記第２対象領域における環境を示す情報の入力に対し、前記第２メタ情報を出力する、
信号処理装置。

【請求項4】

請求項１から３のいずれか一項に記載の信号処理装置であって、
前記学習モデルは、前記第１対象領域における環境を示す情報を含む前記第１メタ情報を出力とする前記教師データを用いて学習され、
前記第２対象領域における環境を示す情報を含む前記第２メタ情報を出力する、信号処理装置。

【請求項5】

請求項１から４のいずれか一項に記載の信号処理装置であって、
前記判定された前記変化が、所定の条件を満たす場合に、前記変化を示す変化情報を出力する変化情報出力部、をさらに備える、
信号処理装置。

【請求項6】

請求項１から５のいずれか一項に記載の信号処理装置であって、前記第２メタ情報に基づく出力信号を外部に出力する信号出力部、をさらに備える信号処理装置、を備える飛翔体。

【請求項7】

コンピュータに、
第１対象領域に照射された電磁波が反射された反射電磁波に基づく、第１合成開口レーダ受信信号を入力とし、前記第１合成開口レーダ受信信号に対応し、所定の項目を有する第１メタ情報を出力とする教師データを用いて学習され、第２対象領域に照射された電磁波が反射された反射電磁波に基づく、第２合成開口レーダ受信信号の入力に対し、前記第２合成開口レーダ受信信号に対応し、前記所定の項目を有する第２メタ情報を出力する学習モデルが記憶された記憶部に入力される前記第２合成開口レーダ受信信号を取得する信号取得処理と、
第１時刻における前記第２合成開口レーダ受信信号及び第２時刻における前記第２合成開口レーダ受信信号を、前記学習モデルに対して入力し、前記第１時刻における前記第２合成開口レーダ受信信号に対応する前記第１時刻における前記第２メタ情報及び前記第２時刻における前記第２合成開口レーダ受信信号に対応する前記第２時刻における前記第２メタ情報を推定する推定処理と、
前記第１時刻における前記第２メタ情報と前記第２時刻における前記第２メタ情報とに基づいて、前記第２対象領域における変化を判定する変化判定処理と、を実行させるプログラム。

【請求項8】

請求項７に記載のプログラムであって、
前記コンピュータに、
前記第２メタ情報に基づく出力信号を外部に出力する信号出力処理、をさらに実行させる、プログラム。