特許 7534744 学習モデル、信号処理装置、飛翔体、及び教師データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-06

(45)【発行日】2024-08-15

(54)【発明の名称】学習モデル、信号処理装置、飛翔体、及び教師データ生成方法

(51)【国際特許分類】

   G01S 13/90 20060101AFI20240807BHJP

【ＦＩ】

G01S13/90 135

【請求項の数】 13

(21)【出願番号】P 2024000572

(22)【出願日】2024-01-05

【審査請求日】2024-01-05

【早期審査対象出願】

(73)【特許権者】

【識別番号】521270340

【氏名又は名称】株式会社スペースシフト

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】金本 成生

(72)【発明者】

【氏名】川上 勇治

(72)【発明者】

【氏名】安井 秀輔

(72)【発明者】

【氏名】横谷 洋

(72)【発明者】

【氏名】大串 文誉

【審査官】藤田 都志行

(56)【参考文献】

【文献】特開２０２３－０００８９７（ＪＰ，Ａ）

【文献】米国特許第１０９７６４２９（ＵＳ，Ｂ１）

【文献】特開２０１９－１５２５４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２３／０１０５７００（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１４５７８３５６（ＣＮ，Ａ）

【文献】Marin Kacan et. al.，"Deep Learning Approach for Object Classification on Raw and Reconstructed GBSAR Data"，Remote Sensing，2022年11月10日，No.14, 5673，pp.1-27，インターネット＜ＵＲＬ：https://doi.org/10.3390/rs14225673＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／４２

Ｇ０１Ｓ １３／００－１３／９５

Ｇ０６Ｎ ２０／００

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

学習モデルであって、
学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号から所定の条件に基づいて抽出され、前記学習領域のうち一部の領域に対応する第１特徴量を入力とし、前記学習領域における対象物の第１対象物情報を出力とする教師データを用いて学習され、前記所定の条件は、前記第１特徴量が前記学習領域における対象物に基づく特徴量を含む条件であり、
検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号から抽出された第２特徴量の入力に対し、前記検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる学習モデル。

【請求項2】

請求項１に記載の学習モデルであって、
前記所定の条件は、前記第１特徴量が前記第１合成開口レーダ受信信号の周波数スペクトルである場合、前記周波数スペクトルが所定の周波数帯域にあることである、学習モデル。

【請求項3】

請求項１に記載の学習モデルであって、
前記所定の条件は、前記第１特徴量が前記第１合成開口レーダ受信信号の信号強度である場合、前記信号強度が所定の閾値より大きいことである、学習モデル。

【請求項4】

請求項１に記載の学習モデルであって、
前記所定の条件は、前記第１特徴量が前記第１合成開口レーダ受信信号の位相である場合、前記位相が所定の範囲内にあることである、学習モデル。

【請求項5】

請求項１に記載の学習モデルであって、
前記第２特徴量は、前記第２合成開口レーダ受信信号から前記所定の条件に基づいて抽出される学習モデル。

【請求項6】

学習モデルであって、
学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号の周波数スペクトルを含む第１特徴量を入力とし、前記学習領域における対象物の第１対象物情報を出力とする教師データを用いて学習され、
検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号の周波数スペクトルを含む第２特徴量の入力に対し、前記検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる学習モデル。

【請求項7】

請求項６に記載の学習モデルであって、
前記第１特徴量は、前記第１合成開口レーダ受信信号の信号強度をさらに含み、
前記第２特徴量は、前記第２合成開口レーダ受信信号の信号強度をさらに含む、学習モデル。

【請求項8】

請求項６又は７に記載の学習モデルであって、
前記第１特徴量は、前記第１合成開口レーダ受信信号の位相をさらに含み、
前記第２特徴量は、前記第２合成開口レーダ受信信号の位相をさらに含む、学習モデル。

【請求項9】

請求項１又は６に記載の学習モデルであって、
前記第１対象物情報は、前記学習領域における対象物の属性を示す情報を含み、
前記第２対象物情報は、前記検出領域における対象物の属性を示す情報を含む、学習モデル。

【請求項10】

請求項１又は６に記載の学習モデルが記憶された記憶部と、
前記第２合成開口レーダ受信信号を取得する信号取得部と、
前記学習モデルに、前記第２合成開口レーダ受信信号を入力し、前記第２対象物情報を推論する推定部と、を備える信号処理装置。

【請求項11】

請求項１又は６に記載の学習モデルが記憶された記憶部と、
前記第２合成開口レーダ受信信号を取得する信号取得部と、
前記学習モデルに、前記第２合成開口レーダ受信信号を入力し、前記第２対象物情報を推論する推定部と、
前記第２対象物情報に基づく出力信号を外部に出力する信号出力部と、を備える飛翔体。

【請求項12】

コンピュータが、
学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号を取得することと、
前記第１合成開口レーダ受信信号から、前記第１合成開口レーダ受信信号の第１特徴量が前記学習領域における対象物に基づく特徴量を含む所定の条件に基づいて、前記第１特徴量が前記学習領域のうち一部の領域に対応する学習信号を抽出することと、
前記対象物の対象物情報を取得することと、
前記学習信号の特徴量と前記対象物情報との組を、検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号の特徴量の入力に対し、前記第２合成開口レーダ受信信号の特徴量に応じた、前記検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる学習モデルの学習に用いられる教師データとして記憶することと、
を含む、教師データ生成方法。

【請求項13】

コンピュータが、
学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号を学習信号として取得することと、
前記学習領域における対象物の対象物情報を取得することと、
前記学習信号の周波数スペクトルを含む特徴量と前記対象物情報との組を、検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号の周波数スペクトルを含む特徴量の入力に対し、前記第２合成開口レーダ受信信号の特徴量に応じた、前記検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる学習モデルの学習に用いられる教師データとして記憶することと、
を含む、教師データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデル、信号処理装置、飛翔体、及びプログラムに関する。

【背景技術】

【0002】

人工衛星、航空機あるいはドローン装置などの飛翔体を使用した地上及び海上を含む地球表面の状態の観測が広く行われている。人工衛星による観測手法には、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）技術を使用して得られるレーダ画像いわゆるＳＡＲ画像を取得して行われる観測手法や光学画像とＳＡＲ画像とを取得し、両画像を組み合わせて行われる観測手法などがある。特許文献１には、合成開口レーダによって得られた生データ（ＲＡＷデータ）を用いて、ＳＡＲ画像化の処理を経ずに物体の検出を行うことが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－０００８９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＲＡＷデータを用いて地物等の対象物の検出をどのように実現するかについては様々な方法が考えられる。そこで、本発明は、ＲＡＷデータを用いた地物等の対象物の検出を可能にする、学習モデル、信号処理装置、飛翔体、及び教師データ生成方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一態様に係る学習モデルは、学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号の特徴量を入力とし、学習領域における対象物の第１対象物情報を出力とする教師データを用いて学習され、検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号の特徴量の入力に対し、検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる。

【0006】

この態様によれば、合成開口レーダ受信信号の特徴量に基づいて対象物情報が出力されるようにできるので、ＲＡＷデータを用いた地物等の対象物の検出が可能となる。

【0007】

上記態様において、第１合成開口レーダ受信信号の特徴量は、第１合成開口レーダ受信信号の周波数スペクトルを含み、第２合成開口レーダ受信信号の特徴量は、第２合成開口レーダ受信信号の周波数スペクトルを含んでもよい。

【0008】

上記態様において、第１合成開口レーダ受信信号の特徴量は、第１合成開口レーダ受信信号の信号強度を含み、第２合成開口レーダ受信信号の特徴量は、第２合成開口レーダ受信信号の信号強度を含んでもよい。

【0009】

上記態様において、第１合成開口レーダ受信信号の特徴量は、第１合成開口レーダ受信信号の位相を含み、第２合成開口レーダ受信信号の特徴量は、第２合成開口レーダ受信信号の位相を含んでもよい。

【0010】

これらの態様によれば、合成開口レーダ受信信号の特徴量として、周波数スペクトル、信号強度、又は位相に基づく対象物情報が出力されるようにできるので、ＲＡＷデータを用いた地物等の対象物の検出が可能となる。

【0011】

上記態様において、第１合成開口レーダ受信信号は、学習領域のうち特徴量が所定の条件を満たす一部の領域に対応する信号であり、第１合成開口レーダ受信信号の特徴量は、学習領域における対象物に基づく特徴量を含んでもよい。

【0012】

この態様によれば、学習モデルの教師データとされる受信信号の特徴量の元となる受信信号は、特徴量が所定の条件を満たす領域に対応する信号となるので、学習のために必要とされるデータ量が小さくなる。また、受信信号の特徴量は、学習領域における対象物に基づく特徴量を含んでいるため、データ量を小さくしつつ、ＲＡＷデータを用いた地物等の対象物の検出が可能となる。

【0013】

上記態様において、第２合成開口レーダ受信信号は、検出領域のうち特徴量が所定の条件を満たす一部の領域に対応する信号であり、第２合成開口レーダ受信信号の特徴量は、検出領域における対象物に基づく特徴量を含んでもよい。

【0014】

この態様によれば、学習モデルを用いた推論の際に使用される第２合成開口レーダ受信信号の特徴量についても、特徴量が所定の条件を満たす一部の領域に対応する信号に基づくものとできるので、推論のために必要とされるデータ量が小さくなる。また、第２合成開口レーダ受信信号の特徴量は、学習領域における対象物に基づく特徴量を含んでいるため、データ量を小さくしつつ、ＲＡＷデータを用いた地物等の対象物の検出が可能となる。

【0015】

上記態様において、第１対象物情報は、学習領域における対象物の属性を示す情報を含み、第２対象物情報は、検出領域における対象物の属性を示す情報を含んでもよい。

【0016】

この態様によれば、対象物の属性を示す情報を得ることができるので、対象物についてより詳細な情報を得つつ対象物を検出することが可能となる。

【0017】

本発明の他の一態様に係る情報処理装置は、学習モデルが記憶された記憶部と、第２合成開口レーダ受信信号を取得する信号取得部と、学習モデルに、第２合成開口レーダ受信信号を入力し、第２対象物情報を推論する推定部と、を備える。

【0018】

本発明の他の一態様に係る飛翔体は、学習モデルが記憶された記憶部と、第２合成開口レーダ受信信号を取得する信号取得部と、学習モデルに、第２合成開口レーダ受信信号を入力し、第２対象物情報を推論する推定部と、第２対象物情報に基づく出力信号を外部に出力する信号出力部と、を備える。

【0019】

本発明の他の一態様に係る教師データ生成方法は、コンピュータが、学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号を取得することと、第１合成開口レーダ受信信号から、学習領域のうち学習領域における対象物が存在する領域に対応する学習信号の特徴量を抽出することと、対象物の対象物情報を取得することと、学習信号の特徴量と対象物情報との組を、検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号の特徴量の入力に対し、第２合成開口レーダ受信信号の特徴量に応じた、検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる学習モデルの学習に用いられる教師データとして記憶することと、を含む。

【発明の効果】

【0020】

本発明によれば、ＲＡＷデータを用いた地物等の対象物の検出が可能となる。

【図面の簡単な説明】

【0021】

【図1】本実施形態に係る観測システムのブロック図である。

【図2】本実施形態に係る学習モデルを説明する図である。

【図3】本実施形態に係る学習モデルの学習を説明する図である。

【図4】本実施形態に係る飛翔体における処理の一例を説明するフローチャートである。

【図5】本実施形態に係る学習モデルを用いた推論の一例を説明する図である。

【図6】本実施形態に係る飛翔体における処理の他の一例を説明するフローチャートである。

【図7】本実施形態に係る学習モデルを用いた推論の他の一例を説明する図である。

【図8】本実施形態に係る飛翔体における処理の他の一例を説明するフローチャートである。

【図9】本実施形態に係る学習モデルの他の一例を説明する図である。

【図10】本実施形態に係る学習モデルの学習に使用される教師データ生成方法の一例を説明する図である。

【図11】本実施形態に係る飛翔体における処理の他の一例を説明するフローチャートである。

【図12】本実施形態に係る学習モデルを用いた推論の他の一例を説明する図である。

【図13】観測システムの他の態様を示すブロック図である。

【発明を実施するための形態】

【0022】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0023】

図１には、本実施形態に係る観測システム１０のブロック図が示される。観測システム１０は、飛翔体１００及び観測装置２００を備える。飛翔体１００は地球上空の空間に配置され、観測装置２００は地球に配置される。本実施形態では、飛翔体１００が地球表面の検出領域Ｄをレーダによって観測し、飛翔体１００において処理された観測信号Ｏが観測装置２００に送信される。観測信号Ｏとは、例えば後述される、飛翔体１００が取得した受信信号又は当該受信信号に対応し、検出領域Ｄにおける地物や海上の船舶等の対象物の情報である対象物情報を示す信号である。

【0024】

飛翔体１００は、通信アンテナ１０１、レーダ装置１０２、及び信号処理装置１０３を備える。飛翔体１００は、受信信号の取得及び処理が可能な人工衛星であり、宇宙空間に配置されて地球の周囲を周回する。なお、飛翔体１００は静止衛星であってもよい。また、飛翔体１００は、航空機、ヘリコプターもしくはドローン装置などの、地球上空に位置することが可能な装置であればよい。

【0025】

通信アンテナ１０１は、飛翔体１００が地球上又は宇宙空間に設けられる外部装置との通信を行うためのアンテナである。

【0026】

レーダ装置１０２は、例えばマイクロ波である電磁波ＥＭ１を、地球表面の検出領域Ｄに対して照射し、検出領域Ｄにおける観測対象物によって電磁波ＥＭ１が反射された反射電磁波ＥＭ２を取得する装置である。レーダ装置１０２は、例えば、合成開口レーダ（ＳＡＲ）である。反射電磁波ＥＭ２は、レーダ装置１０２により、飛翔体１００で取り扱いが可能な、電磁波の変動に基づく受信信号（ＲＡＷデータ）として処理及び記録される。受信信号は、例えば、検出領域Ｄの各座標に対応する複素数の信号として記録される。レーダ装置１０２は、通信アンテナ１０１を通じて、観測信号Ｏを観測装置２００に送信する。

【0027】

レーダ装置１０２には、受信信号の取得処理を制御するためのプロセッサ及び当該制御に必要なプログラムが記憶される記憶装置が含まれる。

【0028】

信号処理装置１０３は、レーダ装置１０２によって取得された受信信号の処理を行う情報処理装置である。信号処理装置１０３は、メモリ等の記憶領域を有し、記憶領域に格納されたプログラムをプロセッサが実行することによって所定の処理を行うコンピュータである。

【0029】

信号処理装置１０３は、記憶部１０４及び制御部１０５を有する。記憶部１０４は、例えば、ＲＡＭ等の半導体メモリや、光ディスクである。記憶部１０４は、信号処理装置１０３での処理に用いられる各種の情報を記憶する。

【0030】

記憶部１０４には、学習モデル１０４１が記憶される。学習モデル１０４１は、受信信号を入力とし、受信信号の特徴量に応じた対象物情報を出力するよう学習されたプログラムである。本実施形態における特徴量及び学習モデル１０４１の詳細については後述する。

【0031】

制御部１０５は、信号処理装置１０３における信号処理を行う。また、制御部１０５は、飛翔体１００を通じた受信信号の処理結果の送信を制御する。制御部１０５は、信号取得部１０５１、推定部１０５２、及び信号出力部１０５３を有する。

【0032】

信号取得部１０５１は、レーダ装置１０２から受信信号を取得する。

【0033】

推定部１０５２は、信号取得部１０５１によって取得された受信信号の特徴量を学習モデル１０４１に入力し、学習モデル１０４１から対象物情報を取得する。

【0034】

信号出力部１０５３は、通信アンテナ１０１を通じて、推定部１０５２が取得した対象物情報を観測信号Ｏとして観測装置２００に出力する。また、信号出力部１０５３は、対象物情報と共に、当該対象物情報に対応する受信信号を観測信号Ｏとして出力してもよい。

【0035】

観測装置２００は、飛翔体１００による検出領域Ｄの観測を制御する制御信号を飛翔体１００に対して送信し、飛翔体１００から観測信号Ｏを取得する装置である。観測装置２００は、アンテナ及びアンテナによる通信を制御する制御部を含む通信部２０１を有する。飛翔体１００との情報の送受信は、通信部２０１を通じて行われる。

【0036】

信号処理部２０２は、飛翔体１００からの観測信号Ｏの処理を行う。信号処理部２０２は、飛翔体１００から取得した観測信号Ｏに基づいて、例えば検出領域Ｄにおける観測結果を画像によって可視化する処理を行う。

【0037】

図２及び図３を参照して、本実施形態に係る学習モデル１０４１の学習について説明する。

【0038】

図２は、学習モデル１０４１の学習及び推論を模式的に説明する図である。学習モデル１０４１は学習用データＬＤ１を教師データとして学習される。学習用データＬＤには、ある領域（学習領域）への電磁波の照射によって取得された受信信号Ｒ０（第１合成開口レーダ受信信号）の特徴量と受信信号Ｒ０の特徴量に対応する対象物情報ＴＩ０（第１対象物情報）の組が含まれる。学習モデル１０４１は、受信信号Ｒ０の特徴量を入力、対象物情報ＴＩ０を出力として学習される。ここで、本実施形態における特徴量とは、受信信号Ｒ０の周波数スペクトル、信号強度、又は位相を含む情報である。

【0039】

図３には、２つの対象物、対象物Ｏ１及び対象物Ｏ２が存在する学習領域Ｄ０が観測された場合の受信信号Ｒ０及び受信信号の特徴量が示される。

【0040】

学習領域Ｄ０が観測されると、受信信号Ｒ０が得られる。受信信号Ｒ０に基づいて、受信信号Ｒ０の特徴量（周波数スペクトル、信号強度、又は位相）が算出される。受信信号Ｒ０の特徴量に対する対象物情報ＴＩ０の対応付けのために、受信信号Ｒ０に対応する対象物情報ＴＩ０をユーザが把握可能とするための情報処理が行われる。

【0041】

例えば、受信信号Ｒ０に基づいて受信信号Ｒ０の特徴量がグラフとして生成され、ユーザがグラフに基づいて対象物情報ＴＩ０を対応付けてもよい。また、受信信号Ｒ０と対象物情報ＴＩ０とを対応づける学習モデルを用いて、コンピュータによって、受信信号Ｒ０の特徴量に対して対象物情報を関連付けてもよい。また、受信信号Ｒ０は、ＳＡＲ画像化のための所定の変換処理を経てユーザが理解可能な情報とされてもよい。あるいは、特徴量に対応付けられる対象物情報ＴＩ０は、上述の画像化を経ずに、学習領域Ｄ０を観測する他の装置から取得された情報であってもよい。例えば、船舶検知を行う場合、対象物情報ＴＩ０は、受信信号Ｒ０に対する処理から得られる情報の他に、船舶自動識別装置（ＡＩＳ）を用いて取得された情報とされてもよい。

【0042】

対象物情報ＴＩ０は、受信信号Ｒ０の特徴量（周波数スペクトル、信号強度、又は位相）に対応付けられた情報となる。受信信号Ｒ０は、例えば、Ｉ（ｔ）＋ｊＱ（ｔ）（ｊは虚数単位、ｔは時刻）として、複素数の形式で得られる信号である。受信信号Ｒ０を極形式で記載する場合、受信信号Ｒ０は、Ａ（ｔ）ｅ^jθ(t)と表すことができる。このとき、受信信号Ｒ０の信号強度はＡ（ｔ）であり、受信信号Ｒ０の位相はθ（ｔ）であり、検出領域Ｄ０に対する各座標に対して、信号強度及び位相が得られる。また、時間領域における受信信号Ｒ０に対して、周波数変換を行うことによって、受信信号Ｒ０の周波数スペクトルＸ（ω）を得ることができる。

【0043】

学習モデル１０４１は、受信信号Ｒ０から算出されるこれらの特徴量の入力に対して対象物情報を出力するように学習される。例えば、学習モデル１０４１は、受信信号Ｒ０に基づく特徴量が制御部１０５において演算され、特徴量を入力として、対象物情報を出力するように学習される。なお、学習モデル１０４１は、受信信号Ｒ０そのものが入力され、対象物情報を出力するように学習されてもよく、この場合学習モデル１０４１において受信信号Ｒ０に基づく特徴量の演算が行われるようにしてもよい。

【0044】

対象物情報Ｔ１０は、学習領域の各ピクセルにおいて対象物が存在する確率の確率分布の情報を含む。また、対象物情報ＴＩ０は、例えば、学習領域に存在する対象物の数や対象物の属性の情報を含む。対象物の属性とは、例えば、対象物の種類（建築物、移動体、地形、自然物等）、対象物の大きさ、対象物の移動速度等、対象物に関する種々の情報である。対象物の属性の情報は、対象物がある属性の項目に分類される確率であってもよい。

【0045】

学習モデル１０４１は、上述のように用意された学習用データＬＤ１を用いて、例えば、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。なお、学習モデル１０４１は、単一の学習モデルとして構成されてもよく、複数の学習モデルを組み合わせた学習モデルとして構成されてもよい。

【0046】

飛翔体１００によって検出領域に照射された電磁波に基づき、飛翔体１００が取得した受信信号Ｒ１（第２合成開口レーダ受信信号）の特徴量が、学習済みの学習モデル１０４１に対して入力されると、学習モデル１０４１は対象物情報ＴＩ１（第２対象物情報）を出力する。

【0047】

図４及び図５を参照して、飛翔体１００による処理について説明する。図４及び図５における処理では、学習モデル１０４１が出力する対象物情報は、受信信号Ｒ１の周波数スペクトルに応じた情報であるとする。

【0048】

図４のステップＳ４０１において、レーダ装置１０２は、検出領域Ｄ１に対して電磁波ＥＭ１を照射する。照射のタイミングは、観測装置２００によって制御されたタイミングでもよく、飛翔体１００において予め指定されたタイミングであってもよい。図５に示されるように、検出領域Ｄ１には対象物Ｏ３，Ｏ４，Ｏ５が存在する。

【0049】

ステップＳ４０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波ＥＭ２に基づく受信信号Ｒ１をレーダ装置１０２から取得する。

【0050】

ステップＳ４０３において、推定部１０５２は、受信信号Ｒ１の特徴量を学習モデル１０４１に入力する。このとき、推定部１０５２は受信信号Ｒ１の特徴量（例えば、周波数スペクトル）を算出する演算を行う。

【0051】

ステップＳ４０４において、推定部１０５２は、受信信号Ｒ１の特徴量に応じた対象物情報ＭＤ１を学習モデル１０４１から取得する。対象物情報は、一例として、図５に示される対象物情報ＴＩ１ａ及び対象物情報ＴＩ１ｂを含む。対象物情報ＴＩ１ａは、検出領域における対象物が存在する確率の確率分布である。対象物情報ＴＩ１ａでは、対象物が存在する確率が高い領域として、領域Ａ１，Ａ２，Ａ３が示されている。対象物情報ＴＩ１ｂは、検出領域における対象物の数や対象物の属性である。この例では、３つの対象物が検出されている。

【0052】

ステップＳ４０５において、信号出力部１０５３は、対象物情報ＴＩ１に基づく出力信号を観測装置２００に出力する。対象物情報ＴＩ１に基づく出力信号は、対象物情報ＴＩ１の全部や、対象物情報ＴＩ１の一部を伝達する信号である。あるいは、出力信号は、対象物情報に対して情報処理がなされた結果の情報を伝達する信号であってもよい。

【0053】

図６及び図７を参照して、学習モデル１０４１が出力する対象物情報が、受信信号Ｒ１の信号強度に基づく情報である場合について説明する。図７に示されるように、検出領域Ｄ１には対象物Ｏ３，Ｏ４，Ｏ５が図５の場合と同様に存在するものとする。

【0054】

図６のステップＳ６０１において、レーダ装置１０２は、検出領域Ｄ１に対して電磁波ＥＭ１を照射する。ステップＳ６０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波ＥＭ２に基づく受信信号Ｒ１をレーダ装置１０２から取得する。

【0055】

ステップＳ６０３において、推定部１０５２は、受信信号Ｒ１の特徴量として、受信信号Ｒ１の信号強度を学習モデル１０４１に入力する。受信信号Ｒ１は、例えば、図７に示される画像ＩＧ１を生成可能な信号である。画像ＩＧ１は、信号に応じて様々な形態をとり得る。一例として、画像ＩＧ１では、各対象物が検出されて得られる信号強度がプロットされ、信号強度の変化が模様のように示されてもよい。推定部１０５２は、受信信号Ｒ１の信号強度に応じた対象物情報ＭＤ１を学習モデル１０４１から取得する。対象物情報は、一例として、図７に示されるように、図５で示された場合と同様に、対象物情報ＴＩ１ａ及び対象物情報ＴＩ１ｂを含む。

【0056】

ステップＳ６０５において、信号出力部１０５３は、対象物情報ＴＩ１に基づく出力信号を観測装置２００に出力する。

【0057】

図８を参照して、学習モデル１０４１が出力する対象物情報が、受信信号Ｒ１の位相に基づく情報である場合について説明する。図８のステップＳ８０１において、レーダ装置１０２は、検出領域Ｄ１に対して電磁波ＥＭ１を照射する。ステップＳ６０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波ＥＭ２に基づく受信信号Ｒ１をレーダ装置１０２から取得する。ステップＳ８０３において、推定部１０５２は、受信信号Ｒ１の位相を学習モデル１０４１に入力する。ステップＳ８０４において、推定部１０５２は、受信信号Ｒ１の信号強度に応じた対象物情報ＭＤ１を学習モデル１０４１から取得する。ステップＳ６０５において、信号出力部１０５３は、対象物情報ＴＩ１に基づく出力信号を観測装置２００に出力する。

【0058】

ここまでに説明したように、学習モデル１０４１を用いて対象物情報を推論する場合、学習モデル１０４１は受信信号の特徴量としての周波数スペクトル、強度、又は位相を入力として対象物情報を出力するように学習され、学習モデル１０４１を用いた推論が行われる。このとき、受信信号の特徴量として、周波数スペクトル、強度、又は位相を組み合わせることが可能である。

【0059】

図９及び図１０を参照して、本実施形態に係る学習モデル１０４１の他の学習方法について説明する。

【0060】

図９は、学習モデル１０４１の学習及び推論を模式的に説明する図である。学習モデル１０４１は学習用データＬＤ２を教師データとして学習される。学習用データＬＤ２には、ある領域（学習領域）への電磁波の照射によって取得された受信信号Ｒ０（第１合成開口レーダ受信信号）のうち、特徴量が所定の条件を満たす受信信号Ｒ０ａと、受信信号Ｒ０ａの特徴量に応じた対象物情報ＴＩ０（第１対象物情報）との組が含まれる。

【0061】

特徴量に対する所定の条件は、学習領域における対象物に基づく特徴量を含む受信信号を抽出することが可能な条件であり、観測の目的等に応じて変更することが可能である。例えば、受信信号Ｒ０から受信信号Ｒ０ａを抽出する場合、信号強度が所定の条件を満たす受信信号を抽出することができる。例えば、信号強度に対する所定の条件とは信号強度が所定の閾値より大きいことである。また、例えば、周波数スペクトルに対する所定の条件とは、周波数が所定の周波数帯域にあることである。また、例えば、位相に対する所定の条件とは、位相が所定の範囲内にあることである。

【0062】

学習モデル１０４１は、受信信号Ｒ０ａの特徴量を入力、対象物情報ＴＩ０を出力として学習される。

【0063】

図１０を参照して、学習用データＬＤ２の生成について説明する。図１０の例では、２つの対象物、対象物Ｏ１及び対象物Ｏ２が存在する学習領域Ｄ０の観測結果を用いた学習用データＬＤ２の生成の場合が示される。

【0064】

学習領域Ｄ０が観測されると、受信信号Ｒ０が得られる。受信信号Ｒ０がグラフとしてプロットされる、あるいはＳＡＲ画像に変換される等して画像化された場合、画像ＩＧ０が得られる。画像ＩＧ０は、受信信号Ｒ０の信号強度に対応付けることができる。受信信号Ｒ０のうち、信号強度が所定の閾値より大きくなるような受信信号が受信信号Ｒ０から抽出される。例えば、画像ＩＧ０における一部の領域に対応する受信信号Ｒ０ａ１、画像ＩＧ０において他の一部の領域に対応する受信信号Ｒ０ａ２を含む受信信号Ｒ０ａが抽出される。受信信号Ｒ０ａ１を画像化した場合、画像ＩＧ２が得られ、受信信号Ｒ０ａ２を画像化した場合、画像ＩＧ３が得られる。画像ＩＧ２及びＩＧ３は、受信信号Ｒ０ａ１及びＲ０ａ２のそれぞれの信号強度に対応付けることができる。

【0065】

受信信号Ｒ０ａ１及び受信信号Ｒ０ａ２を含む受信信号Ｒ０ａの各受信信号の特徴量には、画像ＩＧ０に基づく対象物情報ＴＩ０がそれぞれ関連付けられる。対象物情報は、一例として、対象物情報ＴＩ０ａ及び対象物情報ＴＩ０ｂを含む。対象物情報ＴＩ０ａは、検出領域における対象物が存在する確率の確率分布である。対象物情報ＴＩ０ａでは、対象物が存在する確率が高い領域として、領域Ａ４，Ａ５が示されている。対象物情報ＴＩ０ｂは、検出領域における対象物の数や対象物の属性である。この例では、２つの対象物が検出されている。学習用データＬＤ２は、受信信号Ｒ０ａと対象物情報ＴＩ０の組として生成される。

【0066】

学習モデル１０４１は、上述のように用意された学習用データＬＤ２を用いて、例えば、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。

【0067】

図１１及び図１２を参照して、飛翔体１００による処理について説明する。

【0068】

図１１のステップＳ１１０１において、レーダ装置１０２は、検出領域Ｄ１に対して電磁波ＥＭ１を照射する。図１２に示されるように、検出領域Ｄ１には対象物Ｏ３，Ｏ４，Ｏ５が存在する。

【0069】

ステップＳ１１０２において、信号取得部１０５１は、レーダ装置１０２が検出した反射電磁波ＥＭ２に基づく受信信号Ｒ１をレーダ装置１０２から取得する。

【0070】

ステップＳ１１０３において、推定部１０５２は、受信信号Ｒ１のうち、所定の信号強度の条件を満たす受信信号Ｒ１ａを抽出する。抽出された受信信号Ｒ１ａの特徴量は、例えば、図１２に示されるように、受信信号Ｒ１に基づく画像ＩＧ１の一部が切り取られた画像ＩＧ４に対応する。

【0071】

ステップＳ１１０４において、推定部１０５２は、受信信号Ｒ１ａを学習モデル１０４１に入力する。

【0072】

ステップＳ１１０５において、推定部１０５２は、受信信号Ｒ１ａの特徴量に基づく対象物情報ＭＤ１を学習モデル１０４１から取得する。対象物情報は、一例として、図１２に示される対象物情報ＴＩ１ａ及び対象物情報ＴＩ１ｂを含む。対象物情報ＴＩ１ａでは、図５の場合と同様に、対象物が存在する確率が高い領域として、領域Ａ１，Ａ２，Ａ３が示されている。対象物情報ＴＩ１ｂは、検出領域における対象物の数や対象物の属性である。この例では、３つの対象物が検出されている。

【0073】

ステップＳ１１０６において、信号出力部１０５３は、対象物情報ＴＩ１に基づく出力信号を観測装置２００に出力する。

【0074】

このように、部分的な受信信号の特徴量から、全体の受信信号の特徴量に基づく対象物情報を出力可能とすることで、学習モデル１０４１が推論に用いる入力となるデータのデータ量を小さくすることができる。さらに、学習モデル１０４１を用いた演算時間を短くすることができるので、観測のリアルタイム性が向上する。また、学習モデル１０４１による演算負荷を小さくすることが可能となるため、より軽量な処理装置を用いた対象物情報の取得が可能となる。

【0075】

図１３には、他の態様として観測システム１０Ａを示すブロック図が示される。図１３に示されるように、信号処理装置１０３は、観測装置２００Ａに含まれるように設けることもできる。飛翔体１００Ａの制御部１３０１によって、レーダ装置１０２が取得した受信信号が、観測装置２００Ａに送信される。観測装置２００Ａの信号処理装置１０３によって上述の処理を行うようにすることもできる。

【0076】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその条件等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0077】

１０…観測システム、１００…飛翔体、１０１…通信アンテナ、１０２…レーダ装置、１０３…信号処理装置、１０４…記憶部、１０４１…学習モデル、１０５…制御部、１０５１…信号取得部、１０５２…推定部、１０５３…信号出力部、２００…観測装置、２０１…通信部、２０２…信号処理部

【要約】

【課題】ＲＡＷデータを用いた地物等の対象物の検出を可能にすること。
【解決手段】学習領域に照射された電磁波が反射された反射電磁波に基づく第１合成開口レーダ受信信号を入力とし、第１合成開口レーダ受信信号の特徴量に応じた、学習領域における対象物の第１対象物情報を出力とする教師データを用いて学習され、検出領域に照射された電磁波が反射された反射電磁波に基づく第２合成開口レーダ受信信号の入力に対し、第２合成開口レーダ受信信号の特徴量に応じた、検出領域における対象物の第２対象物情報を出力するよう、コンピュータを機能させる、学習モデル。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】