知財求人 - 知財ポータルサイト「IP Force」
特許7695912学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、高画質化システムおよび高画質化方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-11
(45)【発行日】2025-06-19
(54)【発明の名称】学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、高画質化システムおよび高画質化方法
(51)【国際特許分類】
G06T 5/00 20240101AFI20250612BHJP
G06T 1/00 20060101ALI20250612BHJP
G06T 5/60 20240101ALI20250612BHJP
【ＦＩ】
G06T5/00 700
G06T1/00 285
G06T5/60
【請求項の数】
22
(21)【出願番号】P 2022059093
(22)【出願日】2022-03-31
(65)【公開番号】P2023150145
(43)【公開日】2023-10-16
【審査請求日】2024-03-06
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】栗原 康平
(72)【発明者】
【氏名】豊田 善隆
(72)【発明者】
【氏名】佐藤 真梨子
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１７－２０８８１３（ＪＰ，Ａ）
【文献】Xiang Zhu 他，Super-Resolving Commercial Satellite Imagery Using Realistic Training Data，2020 IEEE International Conference on Image Processing (ICIP)，米国，IEEE，2020年09月30日，pp498-502，https://ieeexplore.ieee.org/document/9190746
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ５／００－ ５／９４
(57)【特許請求の範囲】
【請求項1】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習装置であって、前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部と、
を備え、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
学習装置。
【請求項2】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習方法であって、前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付け、
前記学習用データを学習することによって前記学習済みモデルを生成し、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
学習方法。
【請求項3】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成するための学習プログラムであって、前記学習プログラムは、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部として、
コンピュータを機能させ、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
学習プログラム。
【請求項4】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付ける画像受付部と、学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記学習済みモデルが、劣化画像と参照画像の組を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
推論装置。
【請求項5】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付け、学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論方法であって、
前記学習済みモデルが、劣化画像と参照画像の組を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
推論方法。
【請求項6】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付ける画像受付部と、学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部として
コンピュータを機能させる推論プログラムであって、
前記学習済みモデルが、劣化画像と参照画像の組を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
推論プログラム。
【請求項7】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
高画質化システム。
【請求項8】
前記参照画像が、飛翔体からの撮影によって得られた画像であり、前記飛翔体が、ヘリコプターとアンマンドエアリアルビークルと航空機のいずれか又は前記ターゲット画像よりも画質が高い画像が得られる人工衛星である
請求項７に記載の高画質化システム。
【請求項9】
前記劣化処理は、解像度処理とグラウンドサンプリングディスタンス処理とノイズ処理のいずれかを含み、
前記解像度処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するポイントスプレッドファンクションに基づき、バンド間で前記ポイントスプレッドファンクションの差がある場合、前記参照画像に対してエイリアシングを再現し、
前記グラウンドサンプリングディスタンス処理は、前記ターゲット衛星情報が示す、前記ターゲット画像のグラウンドサンプリングディスタンスに基づき、前記参照画像に対して前記グラウンドサンプリングディスタンスを模擬し、
前記ノイズ処理は、前記ターゲット衛星情報が示す、前記リモートセンシングのノイズ特性に基づき、ノイズを前記参照画像に付加する
請求項７に記載の高画質化システム。
【請求項10】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組と、前記ターゲット画像と対応画像の組と、を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い
高画質化システム。
【請求項11】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
高画質化システム。
【請求項12】
前記ターゲット画像が、可視光帯域の波長の光線を露光して得られる画像である請求項７に記載の高画質化システム。
【請求項13】
前記ターゲット画像が、赤外光帯域の波長の光線を露光して得られる画像である請求項７に記載の高画質化システム。
【請求項14】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付け、前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成し、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成し、
前記ターゲット画像を受け付け、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する
高画質化方法であって、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する
高画質化方法。
【請求項15】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習装置であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組と、前記ターゲット画像と対応画像の組と、を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部と、
を備え、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い
学習装置。
【請求項16】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習装置であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部と、
を備え、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
学習装置。
【請求項17】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習方法であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組と、前記ターゲット画像と対応画像の組と、を学習用データとして受け付け、
前記学習用データを学習することによって前記学習済みモデルを生成し、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い
学習方法。
【請求項18】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習方法であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付け、
前記学習用データを学習することによって前記学習済みモデルを生成し、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
学習方法。
【請求項19】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付ける画像受付部と、
学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記学習済みモデルが、劣化画像と参照画像の組と、前記ターゲット画像と対応画像の組と、を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成される
推論装置。
【請求項20】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付ける画像受付部と、
学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記学習済みモデルが、劣化画像と参照画像の組を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、 前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
推論装置。
【請求項21】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付け、
学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論方法であって、
前記学習済みモデルが、劣化画像と参照画像の組と、前記ターゲット画像と対応画像の組と、を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成される
推論方法。
【請求項22】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付け、
学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論方法であって、
前記学習済みモデルが、劣化画像と参照画像の組を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
推論方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像の高画質化に関するものである。
【背景技術】
【0002】
従来、洪水、大雨、地震などの災害が発生したときの被害を把握するために、地上センサが使用されていた。地上センサを用いた手法は、家屋、発電所などのスポットの被害状況を把握することに有用である。
一方で、地上センサを用いた手法では、被害が広域で発生する状況において、より被害が大きい地域を把握するための面的な情報を取得することが困難である。
一方で、地上センサを用いた手法では、被害が広域で発生する状況において、より被害が大きい地域を把握するための面的な情報を取得することが困難である。
【0003】
近年、広域災害の被害状況を把握するために、リモートセンシングデータを活用した解析手法が提案されている。
リモートセンシングの例として、航空機、ＵＡＶ、光学衛星、ＳＡＲ衛星などの飛翔体からのセンシングが挙げられる。
ＵＡＶは、Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅの略称であり、ドローンとも呼ばれる。
ＳＡＲは合成開口レーダの略称である。
リモートセンシングの例として、航空機、ＵＡＶ、光学衛星、ＳＡＲ衛星などの飛翔体からのセンシングが挙げられる。
ＵＡＶは、Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅの略称であり、ドローンとも呼ばれる。
ＳＡＲは合成開口レーダの略称である。
【0004】
光学衛星によって得られる画像は、地表の様々な対象に対する監視手段として用いられている。
また、画像の地表分解能を向上させるために高解像度化モデルを用いて画像を高解像度化する技術がある。高解像度化モデルは、超解像モデルとも呼ばれ、機械学習によって生成される。
また、画像の地表分解能を向上させるために高解像度化モデルを用いて画像を高解像度化する技術がある。高解像度化モデルは、超解像モデルとも呼ばれ、機械学習によって生成される。
【0005】
特許文献１は、高解像度化モデルを用いて画像を高解像度化する技術を開示している。
高解像度化モデルは次のように生成される。まず、高解像度画像が用意される。次に、高解像度画像を元に低解像度画像が生成される。そして、高解像度画像と低解像度画像の組が教師画像と入力画像の組として学習されて高解像度化モデルが生成される。
高解像度化モデルは次のように生成される。まず、高解像度画像が用意される。次に、高解像度画像を元に低解像度画像が生成される。そして、高解像度画像と低解像度画像の組が教師画像と入力画像の組として学習されて高解像度化モデルが生成される。
【先行技術文献】
【特許文献】
【0006】
【文献】特願２０２１－５０２２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の高解像度化技術（特許文献１の技術を含む）において、高解像度画像と低解像度画像の組が学習用データとして使用される機械学習によって高解像度化モデルが生成される。
低解像度画像は、ダウンサンプリング等の劣化処理を高解像度画像に施すことよって生成される。
ターゲット衛星によって得られる画像が学習用データとして使用される場合、ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像とすることができない。
そのため、高解像度化モデルを用いても、ターゲット衛星の最高分解能を超える分解能を有する画像を生成することはできない。
なお、ターゲット衛星と他のリモートセンシングでは画像ドメインの差異があるため、他のリモートセンシングの画像を学習用データとして使用しても、ターゲット衛星の画像を高精度に高解像度化することはできない。
低解像度画像は、ダウンサンプリング等の劣化処理を高解像度画像に施すことよって生成される。
ターゲット衛星によって得られる画像が学習用データとして使用される場合、ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像とすることができない。
そのため、高解像度化モデルを用いても、ターゲット衛星の最高分解能を超える分解能を有する画像を生成することはできない。
なお、ターゲット衛星と他のリモートセンシングでは画像ドメインの差異があるため、他のリモートセンシングの画像を学習用データとして使用しても、ターゲット衛星の画像を高精度に高解像度化することはできない。
【0008】
本開示は、ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像にして高解像度化モデルを生成できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本開示の学習装置は、
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高め
た前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する。
前記学習装置は、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化
画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部
と、を備える。
前記劣化画像は、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する。
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高め
た前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する。
前記学習装置は、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化
画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部
と、を備える。
前記劣化画像は、前記リモートセンシングの情報を示すターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって生成され、
前記劣化処理は、色ずれ処理と圧縮処理のいずれかを含み、
前記色ずれ処理は、前記ターゲット衛星情報が示す、前記ターゲット衛星に搭載される複数の光学センサの配置に基づく色ずれを前記参照画像に再現し、
前記圧縮処理は、前記ターゲット衛星情報が示す、前記ターゲット画像に対するデータ圧縮手法を前記参照画像に適用する。
【発明の効果】
【0010】
本開示によれば、ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像にして高解像度化モデルを生成することができる。
【図面の簡単な説明】
【0011】
【図1】実施の形態１における高画質化システム１００の構成図。
【図2】実施の形態１における劣化処理装置２００の構成図。
【図3】実施の形態１における学習装置３００の構成図。
【図4】実施の形態１における推論装置４００の構成図。
【図5】実施の形態１における高画質化方法のフローチャート。
【図6】実施の形態１におけるステップＳ１１０の概要図。
【図7】実施の形態１におけるステップＳ１２０の概要図。
【図8】実施の形態１におけるステップＳ１３０の概要図。
【図9】実施の形態１におけるステップＳ１１０のフローチャート。
【図10】実施の形態１におけるステップＳ１１２の概要図。
【図11】実施の形態１におけるステップＳ１２０のフローチャート。
【図12】実施の形態１におけるニューラルネットワークモデルの例を示す図。
【図13】実施の形態１におけるステップＳ１３０のフローチャート。
【図14】実施の形態１における学習装置３００の実施例を示す図。
【発明を実施するための形態】
【0012】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【0013】
【0014】
【0015】
図２に基づいて、劣化処理装置２００の構成を説明する。
劣化処理装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
劣化処理装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0016】
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
【0017】
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
【0018】
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
【0019】
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。劣化処理装置２００の通信は通信装置２０４を用いて行われる。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
【0020】
入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。劣化処理装置２００の入出力は入出力インタフェース２０５を用いて行われる。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
【0021】
劣化処理装置２００は、情報受付部２１０と劣化処理部２２０と画像出力部２３０といった要素を備える。これらの要素はソフトウェアで実現される。
【0022】
補助記憶装置２０３には、情報受付部２１０と劣化処理部２２０と画像出力部２３０としてコンピュータを機能させるための劣化処理プログラムが記憶されている。劣化処理プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、劣化処理プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、劣化処理プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
【0023】
劣化処理プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
【0024】
劣化処理装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。
【0025】
劣化処理プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【0026】
図３に基づいて、学習装置３００の構成を説明する。
学習装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
学習装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0027】
プロセッサ３０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ３０１はＣＰＵである。
メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じて補助記憶装置３０３に保存される。
補助記憶装置３０３は不揮発性の記憶装置である。例えば、補助記憶装置３０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。
通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。学習装置３００の通信は通信装置３０４を用いて行われる。
入出力インタフェース３０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース３０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。学習装置３００の入出力は入出力インタフェース３０５を用いて行われる。
メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じて補助記憶装置３０３に保存される。
補助記憶装置３０３は不揮発性の記憶装置である。例えば、補助記憶装置３０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。
通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。学習装置３００の通信は通信装置３０４を用いて行われる。
入出力インタフェース３０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース３０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。学習装置３００の入出力は入出力インタフェース３０５を用いて行われる。
【0028】
学習装置３００は、データ受付部３１０とモデル生成部３２０とモデル出力部３３０といった要素を備える。これらの要素はソフトウェアで実現される。
【0029】
補助記憶装置３０３には、データ受付部３１０とモデル生成部３２０とモデル出力部３３０としてコンピュータを機能させるための学習プログラムが記憶されている。学習プログラムは、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、学習プログラムを実行する。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、学習プログラムを実行する。
【0030】
学習プログラムの入出力データは記憶部３９０に記憶される。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
【0031】
学習装置３００は、プロセッサ３０１を代替する複数のプロセッサを備えてもよい。
【0032】
学習プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【0033】
図４に基づいて、推論装置４００の構成を説明する。
推論装置４００は、プロセッサ４０１とメモリ４０２と補助記憶装置４０３と通信装置４０４と入出力インタフェース４０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
推論装置４００は、プロセッサ４０１とメモリ４０２と補助記憶装置４０３と通信装置４０４と入出力インタフェース４０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0034】
プロセッサ４０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ４０１はＣＰＵである。
メモリ４０２は揮発性または不揮発性の記憶装置である。メモリ４０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ４０２はＲＡＭである。メモリ４０２に記憶されたデータは必要に応じて補助記憶装置４０３に保存される。
補助記憶装置４０３は不揮発性の記憶装置である。例えば、補助記憶装置４０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置４０３に記憶されたデータは必要に応じてメモリ４０２にロードされる。
通信装置４０４はレシーバ及びトランスミッタである。例えば、通信装置４０４は通信チップまたはＮＩＣである。推論装置４００の通信は通信装置４０４を用いて行われる。
入出力インタフェース４０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース４０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。推論装置４００の入出力は入出力インタフェース４０５を用いて行われる。
メモリ４０２は揮発性または不揮発性の記憶装置である。メモリ４０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ４０２はＲＡＭである。メモリ４０２に記憶されたデータは必要に応じて補助記憶装置４０３に保存される。
補助記憶装置４０３は不揮発性の記憶装置である。例えば、補助記憶装置４０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置４０３に記憶されたデータは必要に応じてメモリ４０２にロードされる。
通信装置４０４はレシーバ及びトランスミッタである。例えば、通信装置４０４は通信チップまたはＮＩＣである。推論装置４００の通信は通信装置４０４を用いて行われる。
入出力インタフェース４０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース４０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。推論装置４００の入出力は入出力インタフェース４０５を用いて行われる。
【0035】
推論装置４００は、画像受付部４１０と推論部４２０と画像出力部４３０といった要素を備える。これらの要素はソフトウェアで実現される。
【0036】
補助記憶装置４０３には、画像受付部４１０と推論部４２０と画像出力部４３０としてコンピュータを機能させるための推論プログラムが記憶されている。推論プログラムは、メモリ４０２にロードされて、プロセッサ４０１によって実行される。
補助記憶装置４０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ４０２にロードされて、プロセッサ４０１によって実行される。
プロセッサ４０１は、ＯＳを実行しながら、推論プログラムを実行する。
補助記憶装置４０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ４０２にロードされて、プロセッサ４０１によって実行される。
プロセッサ４０１は、ＯＳを実行しながら、推論プログラムを実行する。
【0037】
推論プログラムの入出力データは記憶部４９０に記憶される。
メモリ４０２は記憶部４９０として機能する。但し、補助記憶装置４０３、プロセッサ４０１内のレジスタおよびプロセッサ４０１内のキャッシュメモリなどの記憶装置が、メモリ４０２の代わりに、又は、メモリ４０２と共に、記憶部４９０として機能してもよい。
メモリ４０２は記憶部４９０として機能する。但し、補助記憶装置４０３、プロセッサ４０１内のレジスタおよびプロセッサ４０１内のキャッシュメモリなどの記憶装置が、メモリ４０２の代わりに、又は、メモリ４０２と共に、記憶部４９０として機能してもよい。
【0038】
推論装置４００は、プロセッサ４０１を代替する複数のプロセッサを備えてもよい。
【0039】
推論プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【0040】
＊＊＊動作の説明＊＊＊
高画質化システム１００の動作の手順は高画質化方法に相当する。
高画質化システム１００の動作の手順は高画質化方法に相当する。
【0041】
【0042】
図６に、ステップＳ１１０の概要を示す。
ターゲット衛星情報１１１は、ターゲット衛星によって実施されるリモートセンシングの情報である。
ターゲット衛星は、高画質化のターゲットになる画像（後述するターゲット画像１３１）をリモートセンシングによって得る人工衛星である。
参照画像１１２は、ターゲット画像１３１よりも画質が高い画像である。例えば、参照画像１１２は、ターゲット画像１３１よりも解像度が高い画像であり、高解像度なリモートセンシングによって得られる。リモートセンシングの一例は、飛翔体からの撮影である。飛翔体の具体例は、ヘリコプター、ＵＡＶ、航空機および人工衛星である。ＵＡＶはＵｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅの略称である。また、リモートセンシングはヘリサットによって実施されてもよい。ヘリサットとは、ヘリコプター衛星通信システムである。
劣化画像１１３は、劣化された参照画像１１２である。言い換えると、劣化画像１１３は、ターゲット画像１３１の画質レベルまで画質を低めた参照画像１１２である。
ターゲット衛星情報１１１は、ターゲット衛星によって実施されるリモートセンシングの情報である。
ターゲット衛星は、高画質化のターゲットになる画像（後述するターゲット画像１３１）をリモートセンシングによって得る人工衛星である。
参照画像１１２は、ターゲット画像１３１よりも画質が高い画像である。例えば、参照画像１１２は、ターゲット画像１３１よりも解像度が高い画像であり、高解像度なリモートセンシングによって得られる。リモートセンシングの一例は、飛翔体からの撮影である。飛翔体の具体例は、ヘリコプター、ＵＡＶ、航空機および人工衛星である。ＵＡＶはＵｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅの略称である。また、リモートセンシングはヘリサットによって実施されてもよい。ヘリサットとは、ヘリコプター衛星通信システムである。
劣化画像１１３は、劣化された参照画像１１２である。言い換えると、劣化画像１１３は、ターゲット画像１３１の画質レベルまで画質を低めた参照画像１１２である。
【0043】
【0044】
ステップＳ１２０において、学習装置３００は、劣化画像１１３と参照画像１１２の複数の組を学習して学習済みモデル１２２を生成する。
【0045】
図７に、ステップＳ１２０の概要を示す。
学習用データ１２１は、劣化画像１１３と参照画像１１２の組である。
学習用データ１２１は、劣化画像１１３と参照画像１１２の組である。
【0046】
図５に戻り、説明を続ける。
ステップＳ１３０において、推論装置４００は、学習済みモデル１２２を用いてターゲット画像１３１を高画質化する。
ステップＳ１３０において、推論装置４００は、学習済みモデル１２２を用いてターゲット画像１３１を高画質化する。
【0047】
図８に、ステップＳ１３０の概要を示す。
ターゲット画像１３１は、高画質化のターゲットになる画像であり、ターゲット衛星のリモートセンシングによって得られる。ターゲット画像１３１の種類は光学画像である。
推定画像１３２は、高画質化されたターゲット画像１３１に相当する。つまり、推定画像１３２は、画質を高めたターゲット画像１３１に相当する。
ターゲット画像１３１は、高画質化のターゲットになる画像であり、ターゲット衛星のリモートセンシングによって得られる。ターゲット画像１３１の種類は光学画像である。
推定画像１３２は、高画質化されたターゲット画像１３１に相当する。つまり、推定画像１３２は、画質を高めたターゲット画像１３１に相当する。
【0048】
図９に基づいて、ステップＳ１１０の手順を説明する。
ステップＳ１１１からステップＳ１１３は、参照画像１１２ごとに実行される。
ステップＳ１１１からステップＳ１１３は、参照画像１１２ごとに実行される。
【0049】
ステップＳ１１１において、情報受付部２１０は、ターゲット衛星情報１１１と参照画像１１２を受け付ける。
例えば、利用者がターゲット衛星情報１１１と参照画像１１２のそれぞれを劣化処理装置２００に入力する。そして、情報受付部２１０は、入力されたターゲット衛星情報１１１と入力された参照画像１１２を受け付ける。
例えば、利用者がターゲット衛星情報１１１と参照画像１１２のそれぞれを劣化処理装置２００に入力する。そして、情報受付部２１０は、入力されたターゲット衛星情報１１１と入力された参照画像１１２を受け付ける。
【0050】
ステップＳ１１２において、劣化処理部２２０は、ターゲット衛星情報１１１に基づく劣化処理を参照画像１１２に施す。これにより、劣化画像１１３が生成される。劣化画像１１３と参照画像１１２の組は、記憶部２９０に記憶される。
劣化処理は、画像の画質を劣化させるための処理である。劣化処理について後述する。
劣化処理は、画像の画質を劣化させるための処理である。劣化処理について後述する。
【0051】
ステップＳ１１３において、画像出力部２３０は、劣化画像１１３と参照画像１１２の組を出力する。
例えば、画像出力部２３０は、劣化画像１１３と参照画像１１２の組を利用者に指定された記憶媒体に保存する。または、画像出力部２３０は、劣化画像１１３と参照画像１１２の組を学習装置３００へ送信する。
例えば、画像出力部２３０は、劣化画像１１３と参照画像１１２の組を利用者に指定された記憶媒体に保存する。または、画像出力部２３０は、劣化画像１１３と参照画像１１２の組を学習装置３００へ送信する。
【0052】
図１０に基づいて、ステップＳ１１２における劣化処理を説明する。
劣化処理の具体例は、色ずれ処理、解像度処理、ＧＳＤ処理、ノイズ処理、圧縮処理またはこれらの組み合わせである。
劣化処理の具体例は、色ずれ処理、解像度処理、ＧＳＤ処理、ノイズ処理、圧縮処理またはこれらの組み合わせである。
【0053】
色ずれ処理は、色ずれを再現する処理である。
光学衛星には、複数の光学センサが搭載される。複数の光学センサは、互いに受光の波長帯域（バンド）が異なり、マルチバンドの画像を得る。そして、マルチバンドの画像が合成されることによって、合成画像が生成される。この際、光学センサ間の物理的な位置のずれの影響により、合成画像に色ずれが生じる場合がある。また、色ずれは、サブピクセルで発生する場合がある。
ターゲット衛星情報１１１は、ターゲット衛星に搭載された複数の光学センサの配置を示す。
色ずれ処理は、複数の光学センサの配置に基づいてバンド毎にダウンサンプリングのオフセットをずらして、参照画像１１２のダウンサンプリングを行う。ダウンサンプリングのオフセットは、ビニング開始位置を意味する。
これにより、参照画像１１２に対してサブピクセルの色ずれが再現され、劣化画像１１３が生成される。
光学衛星には、複数の光学センサが搭載される。複数の光学センサは、互いに受光の波長帯域（バンド）が異なり、マルチバンドの画像を得る。そして、マルチバンドの画像が合成されることによって、合成画像が生成される。この際、光学センサ間の物理的な位置のずれの影響により、合成画像に色ずれが生じる場合がある。また、色ずれは、サブピクセルで発生する場合がある。
ターゲット衛星情報１１１は、ターゲット衛星に搭載された複数の光学センサの配置を示す。
色ずれ処理は、複数の光学センサの配置に基づいてバンド毎にダウンサンプリングのオフセットをずらして、参照画像１１２のダウンサンプリングを行う。ダウンサンプリングのオフセットは、ビニング開始位置を意味する。
これにより、参照画像１１２に対してサブピクセルの色ずれが再現され、劣化画像１１３が生成される。
【0054】
解像度処理は、解像度を劣化させる処理である。
光学衛星によって得られる光学画像に対して、解像力の指標であるＰＳＦが決定される。ＰＳＦはＰｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎの略称である。解像力は、光学センサの光学性能、光学センサの開口形状、擾乱および像流れなどの影響を考慮した複数の劣化モデルを組み合わせて得られる。
ターゲット衛星情報１１１は、ターゲット画像１３１に対するＰＳＦを示す。
解像度処理は、参照画像１１２にＰＳＦを適用する。例えば、周波数空間でＰＳＦが乗算される。または、参照画像１１２に対してＰＳＦが畳み込み積分される。
これにより、参照画像１１２の解像力がターゲット画像１３１の解像力相当に変換され、劣化画像１１３が生成される。
解像度処理において、参照画像１１２のＰＳＦが用いられてもよい。参照画像１１２のＰＳＦを示す参照情報は、参照画像１１２と共に受け付けられる。
さらに、バンド間のＰＳＦの差異が解像度処理に取り込まれてもよい。これにより、参照画像１１２に対するエイリアシングを再現することが可能になる。ＰＳＦの差異について説明する。ＰＳＦがバンド毎に異なる場合がある。例えば、マルチスペクトルバンドのＭＴＦは、パンクロマティックバンドのＰＳＦに比べて高い。そのため、マルチスペクトルの画像にエイリアシングが発生している場合がある。ＭＴＦはＭｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎの略称である。
光学衛星によって得られる光学画像に対して、解像力の指標であるＰＳＦが決定される。ＰＳＦはＰｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎの略称である。解像力は、光学センサの光学性能、光学センサの開口形状、擾乱および像流れなどの影響を考慮した複数の劣化モデルを組み合わせて得られる。
ターゲット衛星情報１１１は、ターゲット画像１３１に対するＰＳＦを示す。
解像度処理は、参照画像１１２にＰＳＦを適用する。例えば、周波数空間でＰＳＦが乗算される。または、参照画像１１２に対してＰＳＦが畳み込み積分される。
これにより、参照画像１１２の解像力がターゲット画像１３１の解像力相当に変換され、劣化画像１１３が生成される。
解像度処理において、参照画像１１２のＰＳＦが用いられてもよい。参照画像１１２のＰＳＦを示す参照情報は、参照画像１１２と共に受け付けられる。
さらに、バンド間のＰＳＦの差異が解像度処理に取り込まれてもよい。これにより、参照画像１１２に対するエイリアシングを再現することが可能になる。ＰＳＦの差異について説明する。ＰＳＦがバンド毎に異なる場合がある。例えば、マルチスペクトルバンドのＭＴＦは、パンクロマティックバンドのＰＳＦに比べて高い。そのため、マルチスペクトルの画像にエイリアシングが発生している場合がある。ＭＴＦはＭｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎの略称である。
【0055】
ＧＳＤ処理は、ＧＳＤを使用する劣化処理である。ＧＳＤはＧｒｏｕｎｄ Ｓａｍｐｌｉｎｇ Ｄｉｓｔａｎｃｅの略称である。
ターゲット衛星情報１１１は、ターゲット画像１３１のＧＳＤを示す。
ＧＳＤ処理は、ターゲット画像１３１のＧＳＤを参照画像１１２のＧＳＤと比較し、比較結果に基づいて参照画像１１２のダウンサンプリングを行う。ダウンサンプリングの具体例は、バイリニア補間またはバイキュービック補間などである。参照画像１１２のＧＳＤを示す参照情報は、参照画像１１２と共に受け付けられる。
これにより、参照画像１１２に対してターゲット画像１３１のＧＳＤが模擬され、劣化画像１１３が生成される。
ＧＳＤ処理において、参照画像１１２のＧＳＤとターゲット画像１３１のＧＳＤの比率が高画質化システム１００による高解像度化の倍率以上であることが望ましい。
ターゲット衛星情報１１１は、ターゲット画像１３１のＧＳＤを示す。
ＧＳＤ処理は、ターゲット画像１３１のＧＳＤを参照画像１１２のＧＳＤと比較し、比較結果に基づいて参照画像１１２のダウンサンプリングを行う。ダウンサンプリングの具体例は、バイリニア補間またはバイキュービック補間などである。参照画像１１２のＧＳＤを示す参照情報は、参照画像１１２と共に受け付けられる。
これにより、参照画像１１２に対してターゲット画像１３１のＧＳＤが模擬され、劣化画像１１３が生成される。
ＧＳＤ処理において、参照画像１１２のＧＳＤとターゲット画像１３１のＧＳＤの比率が高画質化システム１００による高解像度化の倍率以上であることが望ましい。
【0056】
ノイズ処理は、ノイズを付加する劣化処理である。
ターゲット衛星情報１１１は、ターゲット衛星のリモートセンシングのノイズ特性を示す。具体的には、ターゲット衛星情報１１１は、ターゲット衛星のリモートセンシングの感度性能と、想定被写体からの光量と、を示す。
ノイズ処理は、ターゲット衛星の感度性能と想定被写体からの光量に基づいてターゲット画像１３１のＳＮ比を見積もり、ＳＮ比に応じたノイズを参照画像１１２に付加する。ノイズが加算性白色ガウス雑音であると仮定した場合、ＳＮ比はガウス雑音の標準偏差に関係する。そのため、ＳＮ比に基づいてターゲット画像１３１のノイズ相当のノイズを適用する劣化処理が可能である。ＳＮはＳｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏの略称である。
ノイズ処理において、加法性白色ガウス雑音以外のノイズが参照画像１１２に付加されてもよい。この場合、ターゲット衛星情報１１１は、加法性白色ガウス雑音以外のノイズの特性を示す。加法性白色ガウス雑音以外のノイズの具体例は、縞状ノイズおよびＦＰＮである。ＦＰＮはＦｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅの略称である。
また、ターゲット画像１３１が熱赤外画像である場合、内部輻射によるショットノイズ、１／ｆノイズまたはシェーディングが参照画像１１２に付加されてもよい。
また、大気の影響によるノイズが参照画像１１２に付加されてもよい。参照画像１１２が大気圏内で撮影を行う高解像度リモートセンシングによって得られる場合、参照画像１１２には大気起因のノイズが含まれない。一方、ターゲット画像１３１には大気起因のノイズが含まれる。例えば、画像コントラスト低下、遮蔽、擾乱などのノイズがターゲット画像１３１に含まれる。そこで、ノイズ処理は、公開された大気モデルを使って、大気の影響によるノイズを参照画像１１２に付加する。これにより、衛星画像を模擬した画像を生成することが可能である。
ターゲット衛星情報１１１は、ターゲット衛星のリモートセンシングのノイズ特性を示す。具体的には、ターゲット衛星情報１１１は、ターゲット衛星のリモートセンシングの感度性能と、想定被写体からの光量と、を示す。
ノイズ処理は、ターゲット衛星の感度性能と想定被写体からの光量に基づいてターゲット画像１３１のＳＮ比を見積もり、ＳＮ比に応じたノイズを参照画像１１２に付加する。ノイズが加算性白色ガウス雑音であると仮定した場合、ＳＮ比はガウス雑音の標準偏差に関係する。そのため、ＳＮ比に基づいてターゲット画像１３１のノイズ相当のノイズを適用する劣化処理が可能である。ＳＮはＳｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏの略称である。
ノイズ処理において、加法性白色ガウス雑音以外のノイズが参照画像１１２に付加されてもよい。この場合、ターゲット衛星情報１１１は、加法性白色ガウス雑音以外のノイズの特性を示す。加法性白色ガウス雑音以外のノイズの具体例は、縞状ノイズおよびＦＰＮである。ＦＰＮはＦｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅの略称である。
また、ターゲット画像１３１が熱赤外画像である場合、内部輻射によるショットノイズ、１／ｆノイズまたはシェーディングが参照画像１１２に付加されてもよい。
また、大気の影響によるノイズが参照画像１１２に付加されてもよい。参照画像１１２が大気圏内で撮影を行う高解像度リモートセンシングによって得られる場合、参照画像１１２には大気起因のノイズが含まれない。一方、ターゲット画像１３１には大気起因のノイズが含まれる。例えば、画像コントラスト低下、遮蔽、擾乱などのノイズがターゲット画像１３１に含まれる。そこで、ノイズ処理は、公開された大気モデルを使って、大気の影響によるノイズを参照画像１１２に付加する。これにより、衛星画像を模擬した画像を生成することが可能である。
【0057】
圧縮処理は、データ圧縮による劣化処理である。
ターゲット画像１３１が地上局にダウンリンクされる際、データ圧縮が行われる。データ圧縮が不可逆圧縮である場合、圧縮由来の画質劣化が生じる。
ターゲット衛星情報１１１は、ターゲット画像１３１に対するデータ圧縮手法を示す。
圧縮処理は、ターゲット画像１３１に対するデータ圧縮手法を参照画像１１２に適用する。
これにより、参照画像１１２においてターゲット画像１３１と同様の劣化を再現することができる。
ターゲット画像１３１が地上局にダウンリンクされる際、データ圧縮が行われる。データ圧縮が不可逆圧縮である場合、圧縮由来の画質劣化が生じる。
ターゲット衛星情報１１１は、ターゲット画像１３１に対するデータ圧縮手法を示す。
圧縮処理は、ターゲット画像１３１に対するデータ圧縮手法を参照画像１１２に適用する。
これにより、参照画像１１２においてターゲット画像１３１と同様の劣化を再現することができる。
【0058】
図１１に基づいて、ステップＳ１２０の手順を説明する。
ステップＳ１２１において、データ受付部３１０は、劣化画像１１３と参照画像１１２の複数の組を受け付ける。
例えば、利用者が複数の組を学習装置３００に入力し、データ受付部３１０は入力された複数の組を受け付ける。または、劣化処理装置２００が複数の組を送信し、データ受付部３１０は複数の組を受信する。
そして、データ受付部３１０は、劣化画像１１３と参照画像１１２の複数の組を学習用データ１２１として記憶部３９０に記憶する。
ステップＳ１２１において、データ受付部３１０は、劣化画像１１３と参照画像１１２の複数の組を受け付ける。
例えば、利用者が複数の組を学習装置３００に入力し、データ受付部３１０は入力された複数の組を受け付ける。または、劣化処理装置２００が複数の組を送信し、データ受付部３１０は複数の組を受信する。
そして、データ受付部３１０は、劣化画像１１３と参照画像１１２の複数の組を学習用データ１２１として記憶部３９０に記憶する。
【0059】
ステップＳ１２２において、モデル生成部３２０は、劣化画像１１３と参照画像１１２の複数の組を学習する。これにより、学習済みモデル１２２が生成される。学習済みモデル１２２は、記憶部３９０に記憶される。
学習済みモデル１２２は、入力画像に対応する高画質画像を推論するための学習済みモデルである。高画質画像は高画質化された入力画像に相当する画像である。
ステップＳ１２２の学習について後述する。
学習済みモデル１２２は、入力画像に対応する高画質画像を推論するための学習済みモデルである。高画質画像は高画質化された入力画像に相当する画像である。
ステップＳ１２２の学習について後述する。
【0060】
ステップＳ１２３において、モデル出力部３３０は、学習済みモデル１２２を出力する。
例えば、モデル出力部３３０は、学習済みモデル１２２を利用者に指定された記憶媒体に保存する。または、モデル出力部３３０は、学習済みモデル１２２を推論装置４００へ送信する。
例えば、モデル出力部３３０は、学習済みモデル１２２を利用者に指定された記憶媒体に保存する。または、モデル出力部３３０は、学習済みモデル１２２を推論装置４００へ送信する。
【0061】
ステップＳ１２２の学習について説明する。
学習用データ１２１において、参照画像１１２は、劣化画像１１３から推論されるべき正解である。つまり、参照画像１１２は、劣化画像１１３に対応する教師データである。
モデル生成部３２０は、劣化画像１１３に対応する参照画像１１２を学習する。つまり、モデル生成部３２０は、劣化画像１１３と参照画像１１２の組み合わせを学習する。これにより、学習済みモデル１２２が生成される。
学習用データ１２１において、参照画像１１２は、劣化画像１１３から推論されるべき正解である。つまり、参照画像１１２は、劣化画像１１３に対応する教師データである。
モデル生成部３２０は、劣化画像１１３に対応する参照画像１１２を学習する。つまり、モデル生成部３２０は、劣化画像１１３と参照画像１１２の組み合わせを学習する。これにより、学習済みモデル１２２が生成される。
【0062】
モデル生成部３２０は、教師あり学習、教師なし学習、半教師あり学習または強化学習などの公知の学習アルゴリズムを用いることができる。
教師あり学習が適用される場合、参照画像１１２に映った被写体は、ターゲット画像１３１に映った被写体と同じである。
教師なし学習が適用される場合、参照画像１１２に映った被写体がターゲット画像１３１に映った被写体と同じである必要はない。
教師あり学習が適用される場合、参照画像１１２に映った被写体は、ターゲット画像１３１に映った被写体と同じである。
教師なし学習が適用される場合、参照画像１１２に映った被写体がターゲット画像１３１に映った被写体と同じである必要はない。
【0063】
例えば、モデル生成部３２０は、ニューラルネットワークモデルを用いた教師あり学習を以下のように行う。
教師あり学習は、入力データから結果データを推論する手法であり、入力データと結果データの組を学習用データにして学習用データにある特徴を学習する。
ニューラルネットワークは、複数のニューロンからなる入力層と、複数のニューロンからなる１つ以上の中間層と、複数のニューロンからなる出力層と、で構成される。中間層は隠れ層とも呼ばれる。
教師あり学習は、入力データから結果データを推論する手法であり、入力データと結果データの組を学習用データにして学習用データにある特徴を学習する。
ニューラルネットワークは、複数のニューロンからなる入力層と、複数のニューロンからなる１つ以上の中間層と、複数のニューロンからなる出力層と、で構成される。中間層は隠れ層とも呼ばれる。
【0064】
図１２は、ニューラルネットワークモデルの例を示す。
「Ｘ１」、「Ｘ２」、「Ｘ３」は、入力層を構成している。
「Ｙ１」、「Ｙ２」は、１つの中間層を構成している。
「Ｚ１」、「Ｚ２」、「Ｚ３」は、出力層を構成している。
入力層（Ｘ１～Ｘ３）には、複数の入力値が入力される。複数の入力値が入力層（Ｘ１～Ｘ３）に入力されると、第一の重み（ｗ１１～ｗ１６）が複数の入力値に掛けられる。これによって得られる複数の値を複数の算出値と称する。
複数の算出値は中間層（Ｙ１、Ｙ２）に入力される。複数の算出値が中間層（Ｙ１、Ｙ２）に入力されると、第二の重み（ｗ２１～ｗ２６）が複数の算出値に掛けられる。これによって得られる複数の値を複数の出力値と称する。
複数の出力値は、出力層（Ｚ１～Ｚ３）に入力され、出力層（Ｚ１～Ｚ３）から出力される。複数の出力値は、第一の重み（ｗ１１～ｗ１６）と第二の重み（ｗ２１～Ｗ２６）によって変わる。
「Ｘ１」、「Ｘ２」、「Ｘ３」は、入力層を構成している。
「Ｙ１」、「Ｙ２」は、１つの中間層を構成している。
「Ｚ１」、「Ｚ２」、「Ｚ３」は、出力層を構成している。
入力層（Ｘ１～Ｘ３）には、複数の入力値が入力される。複数の入力値が入力層（Ｘ１～Ｘ３）に入力されると、第一の重み（ｗ１１～ｗ１６）が複数の入力値に掛けられる。これによって得られる複数の値を複数の算出値と称する。
複数の算出値は中間層（Ｙ１、Ｙ２）に入力される。複数の算出値が中間層（Ｙ１、Ｙ２）に入力されると、第二の重み（ｗ２１～ｗ２６）が複数の算出値に掛けられる。これによって得られる複数の値を複数の出力値と称する。
複数の出力値は、出力層（Ｚ１～Ｚ３）に入力され、出力層（Ｚ１～Ｚ３）から出力される。複数の出力値は、第一の重み（ｗ１１～ｗ１６）と第二の重み（ｗ２１～Ｗ２６）によって変わる。
【0065】
教師あり学習において、モデル生成部３２０は、劣化画像１１３を複数の入力値として入力層に入力し、出力層から出力された複数の出力値が参照画像１１２に近づくように第一の重み及び第二の重みを調整する。
【0066】
図１３に基づいて、ステップＳ１３０の手順を説明する。
ステップＳ１３０において、学習済みモデル１２２は記憶部４９０に記憶されている。例えば、利用者が学習済みモデル１２２を学習装置３００に入力し、推論部４２０が入力された学習済みモデル１２２を記憶部４９０に記憶する。または、学習装置３００が学習済みモデル１２２を送信し、推論部４２０が学習済みモデル１２２を受信して記憶部４９０に記憶する。
ステップＳ１３０において、学習済みモデル１２２は記憶部４９０に記憶されている。例えば、利用者が学習済みモデル１２２を学習装置３００に入力し、推論部４２０が入力された学習済みモデル１２２を記憶部４９０に記憶する。または、学習装置３００が学習済みモデル１２２を送信し、推論部４２０が学習済みモデル１２２を受信して記憶部４９０に記憶する。
【0067】
ステップＳ１３１において、画像受付部４１０は、ターゲット画像１３１を受け付ける。
例えば、利用者がターゲット画像１３１を推論装置４００に入力し、画像受付部４１０は入力されたターゲット画像１３１を受け付ける。
例えば、利用者がターゲット画像１３１を推論装置４００に入力し、画像受付部４１０は入力されたターゲット画像１３１を受け付ける。
【0068】
ステップＳ１３２において、推論部４２０は、学習済みモデル１２２を用いてターゲット画像１３１から推定画像１３２を推論する。
具体的には、推論部４２０は、ターゲット画像１３１を入力にして学習済みモデル１２２を演算する。これにより、推定画像１３２が学習済みモデル１２２から出力される。
具体的には、推論部４２０は、ターゲット画像１３１を入力にして学習済みモデル１２２を演算する。これにより、推定画像１３２が学習済みモデル１２２から出力される。
【0069】
ステップＳ１３３において、画像出力部４３０は、推定画像１３２を出力する。
例えば、画像出力部４３０は、推定画像１３２をディスプレイに表示する。
例えば、画像出力部４３０は、推定画像１３２をディスプレイに表示する。
【0070】
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、光学衛星画像向けの高画質化モデル（学習済みモデル１２２）を得ることが可能となる。そして、実際の衛星画像（ターゲット画像１３１）を高画質化モデルの入力にして高精度に高画質化画像（推定画像１３２）を得ることが可能となる。
実施の形態１により、光学衛星画像向けの高画質化モデル（学習済みモデル１２２）を得ることが可能となる。そして、実際の衛星画像（ターゲット画像１３１）を高画質化モデルの入力にして高精度に高画質化画像（推定画像１３２）を得ることが可能となる。
【0071】
＊＊＊実施の形態１の補足＊＊＊
高画質化は、高解像度化、地上分解能の向上、ＳＮ比の改善、バンド間の色ずれの改善などを意味する。
高画質化は、高解像度化、地上分解能の向上、ＳＮ比の改善、バンド間の色ずれの改善などを意味する。
【0072】
ターゲット画像１３１の種類は光学画像である。
光学画像は、光線を露光して得られる画像である。露光される光線は、可視光と近赤外光と遠赤外光のいずれの帯域の波長を有する光線であってもよい。
光学画像は、光線を露光して得られる画像である。露光される光線は、可視光と近赤外光と遠赤外光のいずれの帯域の波長を有する光線であってもよい。
【0073】
学習装置３００は、他の高画質化システムで生成される学習用データを用いて学習を行ってもよい。
複数の高画質化システムが複数のエリアで使用される場合、学習装置３００は、高画質化システム１００と同一のエリアで使用される高画質化システムから学習用データを取得してもよいし、高画質化システム１００と異なるエリアで使用される高画質化システムから学習用データを取得してもよい。
学習装置３００は、学習用データの取得元となるシステム群に各高画質化システムを随時に追加してもよいし、学習用データの取得元となるシステム群から各高画質化システムを随時に除去してもよい。
学習装置３００は、他の高画質化システムで生成された学習済みモデルを使用してもよい。例えば、学習装置３００は、学習用データ１２１を用いて学習を行って学習済みモデルを更新する。更新された学習済みモデルが学習済みモデル１２２となる。
複数の高画質化システムが複数のエリアで使用される場合、学習装置３００は、高画質化システム１００と同一のエリアで使用される高画質化システムから学習用データを取得してもよいし、高画質化システム１００と異なるエリアで使用される高画質化システムから学習用データを取得してもよい。
学習装置３００は、学習用データの取得元となるシステム群に各高画質化システムを随時に追加してもよいし、学習用データの取得元となるシステム群から各高画質化システムを随時に除去してもよい。
学習装置３００は、他の高画質化システムで生成された学習済みモデルを使用してもよい。例えば、学習装置３００は、学習用データ１２１を用いて学習を行って学習済みモデルを更新する。更新された学習済みモデルが学習済みモデル１２２となる。
【0074】
学習装置３００の学習アルゴリズムは、特徴量そのものの抽出を学習する深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）であってもよい。
または、学習アルゴリズムは、遺伝的プログラム、機能論理プログラムまたはサポートベクターマシンなどに従う機械学習であってもよい。
または、学習アルゴリズムは、遺伝的プログラム、機能論理プログラムまたはサポートベクターマシンなどに従う機械学習であってもよい。
【0075】
図１４は、学習装置３００の実施例を示す。
ターゲット衛星のリモートセンシングによってターゲット画像１３１の他に対応画像１２３を得ることができる場合、ターゲット画像１３１と対応画像１２３の組が学習用データ１２１に加わってもよい。
対応画像１２３は、ターゲット画像１３１に対応する画像である。対応画像１２３は、ターゲット画像１３１が得られる観測モードとは異なる観測モードで得られ、ターゲット画像１３１よりも画質が高い。
この実施例は、ターゲット画像１３１が最高分解能の観測モード以外の観測モードで得られた場合に可能である。
ターゲット衛星のリモートセンシングによってターゲット画像１３１の他に対応画像１２３を得ることができる場合、ターゲット画像１３１と対応画像１２３の組が学習用データ１２１に加わってもよい。
対応画像１２３は、ターゲット画像１３１に対応する画像である。対応画像１２３は、ターゲット画像１３１が得られる観測モードとは異なる観測モードで得られ、ターゲット画像１３１よりも画質が高い。
この実施例は、ターゲット画像１３１が最高分解能の観測モード以外の観測モードで得られた場合に可能である。
【0076】
劣化処理装置２００は、学習用の入力画像を生成する入力画像生成装置として機能する。
学習装置３００は、学習済みモデルを生成するモデル生成装置として機能する。
推論装置４００は、学習済みモデルを活用する活用装置として機能する。
学習装置３００は、学習済みモデルを生成するモデル生成装置として機能する。
推論装置４００は、学習済みモデルを活用する活用装置として機能する。
【0077】
実施の形態１は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態１は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【0078】
高画質化システム１００の各装置の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
高画質化システム１００の各装置の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
高画質化システム１００の各装置の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
【0079】
以下に、本開示の諸態様を付記として記載する。
【0080】
（付記１）
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、
前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備える高画質化システム。
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、
前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備える高画質化システム。
【0081】
（付記２）
前記参照画像が、飛翔体からの撮影によって得られた画像であり、
前記飛翔体が、ヘリコプターとアンマンドエアリアルビークルと航空機のいずれか又は前記ターゲット画像よりも画質が高い画像が得られる人工衛星である
付記１に記載の高画質化システム。
前記参照画像が、飛翔体からの撮影によって得られた画像であり、
前記飛翔体が、ヘリコプターとアンマンドエアリアルビークルと航空機のいずれか又は前記ターゲット画像よりも画質が高い画像が得られる人工衛星である
付記１に記載の高画質化システム。
【0082】
（付記３）
前記劣化処理は、色ずれ処理と解像度処理とグラウンドサンプリングディスタンス処理とノイズ処理と圧縮処理のいずれか、又は、前記色ずれ処理と前記解像度処理と前記グラウンドサンプリングディスタンス処理と前記ノイズ処理と前期圧縮処理のいずれかの組み合わせであり、
前記ターゲット衛星情報が前記ターゲット衛星に搭載される複数の光学センサの配置を示し、前記色ずれ処理は、前記複数の光学センサの前記配置に基づく色ずれを前記参照画像に再現し、
前記ターゲット衛星情報が前記ターゲット画像に対するポイントスプレッドファンクションを示し、前記解像度処理は、前記参照画像に対して前記ポイントスプレッドファンクションを適用し、
前記ターゲット衛星情報が前記ターゲット画像のグラウンドサンプリングディスタンスを示し、前記グラウンドサンプリングディスタンス処理は、前記参照画像に対して前記グラウンドサンプリングディスタンスを模擬し、
前記ターゲット衛星情報が前記リモートセンシングのノイズ特性を示し、前記ノイズ処理は、前記ノイズ特性に基づくノイズを前記参照画像に付加し、
前記ターゲット衛星情報が前記ターゲット画像に対するデータ圧縮手法を示し、前記圧縮処理は前記データ圧縮手法を前記参照画像に適用する
付記１または付記２に記載の高画質化システム。
前記劣化処理は、色ずれ処理と解像度処理とグラウンドサンプリングディスタンス処理とノイズ処理と圧縮処理のいずれか、又は、前記色ずれ処理と前記解像度処理と前記グラウンドサンプリングディスタンス処理と前記ノイズ処理と前期圧縮処理のいずれかの組み合わせであり、
前記ターゲット衛星情報が前記ターゲット衛星に搭載される複数の光学センサの配置を示し、前記色ずれ処理は、前記複数の光学センサの前記配置に基づく色ずれを前記参照画像に再現し、
前記ターゲット衛星情報が前記ターゲット画像に対するポイントスプレッドファンクションを示し、前記解像度処理は、前記参照画像に対して前記ポイントスプレッドファンクションを適用し、
前記ターゲット衛星情報が前記ターゲット画像のグラウンドサンプリングディスタンスを示し、前記グラウンドサンプリングディスタンス処理は、前記参照画像に対して前記グラウンドサンプリングディスタンスを模擬し、
前記ターゲット衛星情報が前記リモートセンシングのノイズ特性を示し、前記ノイズ処理は、前記ノイズ特性に基づくノイズを前記参照画像に付加し、
前記ターゲット衛星情報が前記ターゲット画像に対するデータ圧縮手法を示し、前記圧縮処理は前記データ圧縮手法を前記参照画像に適用する
付記１または付記２に記載の高画質化システム。
【0083】
（付記４）
前記モデル生成部は、前記劣化画像と前記参照画像の前記組と、前記ターゲット画像と対応画像の組と、を学習して前記学習済みモデルを生成し、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い
付記１から付記３のいずれか１つに記載の高画質化システム。
前記モデル生成部は、前記劣化画像と前記参照画像の前記組と、前記ターゲット画像と対応画像の組と、を学習して前記学習済みモデルを生成し、
前記対応画像が、前記リモートセンシングにおいて前記ターゲット画像が得られる観測モードとは異なる観測モードで得られ、前記ターゲット画像よりも画質が高い
付記１から付記３のいずれか１つに記載の高画質化システム。
【0084】
（付記５）
前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
付記１、付記２または付記４に記載の高画質化システム。
前記ターゲット衛星情報が、前記ターゲット衛星に搭載される複数の光学センサの配置を示し、
前記劣化処理は、前記複数の光学センサの前記配置に基づいてバンド毎に異なるオフセットを使って、前記参照画像のダウンサンプリングを行う
付記１、付記２または付記４に記載の高画質化システム。
【0085】
前記ターゲット画像が、可視光帯域の波長の光線を露光して得られる画像である
付記１から付記５のいずれか１つに記載の高画質化システム。
付記１から付記５のいずれか１つに記載の高画質化システム。
【0086】
（付記６）
前記ターゲット画像が、赤外光帯域の波長の光線を露光して得られる画像である
付記１から付記５のいずれか１つに記載の高画質化システム。
前記ターゲット画像が、赤外光帯域の波長の光線を露光して得られる画像である
付記１から付記５のいずれか１つに記載の高画質化システム。
【符号の説明】
【0087】
１００ 高画質化システム、１１１ ターゲット衛星情報、１１２ 参照画像、１１３ 劣化画像、１２１ 学習用データ、１２２ 学習済みモデル、１２３ 対応画像、１３１ ターゲット画像、１３２ 推定画像、２００ 劣化処理装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２１０ 情報受付部、２２０ 劣化処理部、２３０ 画像出力部、２９０ 記憶部、３００ 学習装置、３０１ プロセッサ、３０２ メモリ、３０３ 補助記憶装置、３０４ 通信装置、３０５ 入出力インタフェース、３１０ データ受付部、３２０ モデル生成部、３３０ モデル出力部、３９０ 記憶部、４００ 推論装置、４０１ プロセッサ、４０２ メモリ、４０３ 補助記憶装置、４０４ 通信装置、４０５ 入出力インタフェース、４１０ 画像受付部、４２０ 推論部、４３０ 画像出力部、４９０ 記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】