知財求人 - 知財ポータルサイト「IP Force」
特開2024-170746画像処理装置、模擬画像生成装置、学習装置、画像処理方法、模擬画像生成方法、学習方法、画像処理プログラム、模擬画像生成プログラム及び学習プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024170746
(43)【公開日】2024-12-11
(54)【発明の名称】画像処理装置、模擬画像生成装置、学習装置、画像処理方法、模擬画像生成方法、学習方法、画像処理プログラム、模擬画像生成プログラム及び学習プログラム
(51)【国際特許分類】
G01S 13/90 20060101AFI20241204BHJP
G06T 7/00 20170101ALI20241204BHJP
【ＦＩ】
G01S13/90 191
G06T7/00 640
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023087437
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】芦澤 充
【テーマコード（参考）】
5J070
5L096
【Ｆターム（参考）】
5J070AE01
5J070AE02
5J070AK37
5J070BE02
5L096FA69
5L096KA04
(57)【要約】
【課題】ドップラーシフトの影響を受けた部分画像の位置を特定することなく、ドップラーシフトの影響を除去する。
【解決手段】推論部３０２は、学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得する。
データ取得部３０１は、ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれるＳＡＲ画像ＤＩＮ０を取得する。推論部３０２は、学習済モデルを用いて、ＳＡＲ画像ＤＩＮ０内の影響部分画像の位置を推論する。
【選択図】図７
【解決手段】推論部３０２は、学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得する。
データ取得部３０１は、ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれるＳＡＲ画像ＤＩＮ０を取得する。推論部３０２は、学習済モデルを用いて、ＳＡＲ画像ＤＩＮ０内の影響部分画像の位置を推論する。
【選択図】図７
【特許請求の範囲】
【請求項1】
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得部と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得部と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論部とを有する画像処理装置。
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得部と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論部とを有する画像処理装置。
【請求項2】
前記画像処理装置は、更に、
前記推論部により前記影響部分画像の位置として推論された位置の部分画像から前記ドップラーシフトの影響を除去する影響除去部を有する請求項１に記載の画像処理装置。
前記推論部により前記影響部分画像の位置として推論された位置の部分画像から前記ドップラーシフトの影響を除去する影響除去部を有する請求項１に記載の画像処理装置。
【請求項3】
前記モデル取得部は、
前記ドップラーシフトの影響を受けた状態を模擬した部分画像である模擬影響部分画像が含まれる学習用画像を用いた学習が行われて生成された学習済モデルを取得する請求項１に記載の画像処理装置。
前記ドップラーシフトの影響を受けた状態を模擬した部分画像である模擬影響部分画像が含まれる学習用画像を用いた学習が行われて生成された学習済モデルを取得する請求項１に記載の画像処理装置。
【請求項4】
撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出部と、
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成部と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成部とを有する模擬画像生成装置。
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成部と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成部とを有する模擬画像生成装置。
【請求項5】
前記模擬画像生成装置は、更に、
前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う学習装置に、前記模擬画像と前記位置情報とを出力する出力部を有する請求項４に記載の模擬画像生成装置。
前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う学習装置に、前記模擬画像と前記位置情報とを出力する出力部を有する請求項４に記載の模擬画像生成装置。
【請求項6】
ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得部と、
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成部とを有する学習装置。
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成部とを有する学習装置。
【請求項7】
前記模擬画像取得部は、
請求項４に記載の前記模擬画像生成部により生成された前記模擬画像と、請求項４に記載の前記位置情報生成部により生成された前記位置情報とを取得し、
前記モデル生成部は、
請求項４に記載の前記模擬画像生成部により生成された前記模擬画像と、請求項４に記載の前記位置情報生成部により生成された前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う請求項６に記載の学習装置。
請求項４に記載の前記模擬画像生成部により生成された前記模擬画像と、請求項４に記載の前記位置情報生成部により生成された前記位置情報とを取得し、
前記モデル生成部は、
請求項４に記載の前記模擬画像生成部により生成された前記模擬画像と、請求項４に記載の前記位置情報生成部により生成された前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う請求項６に記載の学習装置。
【請求項8】
コンピュータが、学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得処理と、
前記コンピュータが、前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記コンピュータが、前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とを有する画像処理方法。
前記コンピュータが、前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記コンピュータが、前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とを有する画像処理方法。
【請求項9】
コンピュータが、撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出処理と、
前記コンピュータが、前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記コンピュータが、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とを有する模擬画像生成方法。
前記コンピュータが、前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記コンピュータが、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とを有する模擬画像生成方法。
【請求項10】
コンピュータが、ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得処理と、
前記コンピュータが、前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とを有する学習方法。
前記コンピュータが、前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とを有する学習方法。
【請求項11】
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得処理と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とをコンピュータに実行させる画像処理プログラム。
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とをコンピュータに実行させる画像処理プログラム。
【請求項12】
撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出処理と、
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とをコンピュータに実行させる模擬画像生成プログラム。
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とをコンピュータに実行させる模擬画像生成プログラム。
【請求項13】
ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得処理と、
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とをコンピュータに実行させる学習プログラム。
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とをコンピュータに実行させる学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ドップラーシフトの影響を受けた撮像画像からドップラーシフトの影響を除去する技術に関する。
本開示では、特に、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ、合成開口レーダ）画像のうちドップラーシフトの影響を受けた領域からドップラーシフトの影響を除去する技術を説明する。
本開示では、特に、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ、合成開口レーダ）画像のうちドップラーシフトの影響を受けた領域からドップラーシフトの影響を除去する技術を説明する。
【背景技術】
【0002】
ＳＡＲ画像から船舶、車両等の移動体である移動目標を検出し、移動目標の種類を特定することは、撮像された地域に関する不法行為等の状況把握につながる。このため、ＳＡＲ画像を解析することは、安全保障及び危機管理の観点で有用である。
【0003】
しかし、ＳＡＲ画像においては、移動中の移動目標がドップラーシフトによる影響でぼやけて写り、その検出及び識別が困難である。従って、移動目標が写っている領域からドップラーシフトの影響を除去し、ぼやけた移動目標を鮮明化する必要がある。
【0004】
ＩＳＡＲ（Ｉｎｖｅｒｓｅ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ、逆合成開口レーダ）は、ぼやけた移動目標を鮮明化する方法である。ＩＳＡＲの具体的な方式として、速度指定方式ＩＳＡＲがある。速度指定方式ＩＳＡＲでは、ぼやけた移動目標の速度を仮定した計算によって、ぼやけを鮮明化する。
特許文献１では、速度指定方式ＩＳＡＲによってＳＡＲ画像内の移動目標の領域を鮮明化する技術が開示されている。
特許文献１では、速度指定方式ＩＳＡＲによってＳＡＲ画像内の移動目標の領域を鮮明化する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許４７９１１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
実際のＳＡＲ画像には複数の異なる速度の移動目標が含まれていることがあり、また静止物である静止目標も含まれる。このため、特許文献１に代表される速度指定方式ＩＳＡＲを用いる従来の技術では、速度指定方式ＩＳＡＲの適用に先立って、ＳＡＲ画像の中の移動目標の領域を矩形などで指定して切出す作業が必要であった。つまり、従来の技術では、移動目標が写された部分画像（ドップラーシフトの影響を受けた部分画像）の位置を特定する必要がある。そして、特定された部分画像に対し、速度指定方式ＩＳＡＲを適用すると、移動目標の領域の画像を鮮明化することができる。
このように、従来の技術では、ドップラーシフトの影響を受けた部分画像の位置を特定しなければならないという課題がある。
このように、従来の技術では、ドップラーシフトの影響を受けた部分画像の位置を特定しなければならないという課題がある。
【0007】
本開示は、上記のような課題を解決することを主な目的とする。より具体的には、本開示は、ドップラーシフトの影響を受けた部分画像の位置を特定することなく、ドップラーシフトの影響を除去することを主な目的とする。
【課題を解決するための手段】
【0008】
本開示に係る画像処理装置は、
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得部と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得部と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論部とを有する。
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得部と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得部と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論部とを有する。
【発明の効果】
【0009】
本開示によれば、ドップラーシフトの影響を受けた部分画像の位置を指定することなく、ドップラーシフトの影響を受けた撮像画像からドップラーシフトの影響を除去することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態１に係る画像鮮明化システムの機能構成を概略的に示すブロック図である。
【図2】実施の形態１に係る学習用データ生成装置の機能構成を概略的に示すブロック図である。
【図3】実施の形態１に係る学習用データ生成装置の学習用データ生成に関するフローチャートである。
【図4】実施の形態１に係る学習装置の機能構成を概略的に示すブロック図である。
【図5】実施の形態１に係る学習処置の学習済モデルの構造の一例を示す概略図である。
【図6】実施の形態１に係る学習用データ生成装置の学習処理に関するフローチャートである。
【図7】実施の形態１に係る画像鮮明化装置の機能構成を概略的に示すブロック図である。
【図8】実施の形態１に係る画像鮮明化装置の画像鮮明化に関するフローチャートである。
【図9】実施の形態１に係る画像鮮明化システムのハードウェア構成を概略的に示すブロック図である。
【発明を実施するための形態】
【0011】
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
【0012】
実施の形態１．
＊＊＊概略＊＊＊
本実施の形態では、ＳＡＲ画像に含まれる移動目標の領域を自動かつ高精度に推論し、移動目標のぼやけた画像を自動で鮮明化する画像鮮明化システムを説明する。
より具体的には、本実施の形態に係る画像鮮明化システムは、静止目標のぼやけていない領域の画像をあたかも移動によってぼやけているかのようなドップラーシフト模擬画像に変換する。つまり、本実施の形態に係る画像鮮明化システムは、ドップラーシフトの影響を受けていない領域の画像を用いて、ドップラーシフトの影響を受けている状態を模擬したドップラーシフト模擬画像を生成する。
そして、画像鮮明化システムは、ドップラーシフト模擬画像を学習用データとして用いて学習を行う。
更に、画像鮮明化システムは、学習により、移動目標の領域を高精度に推論するための学習済モデルを生成する。
そして、画像鮮明化システムは、このような学習済モデルを用いて、ＳＡＲ画像の中の移動目標の領域を推論し、移動目標の領域の画像をＩＳＡＲにより鮮明化する。
この結果、画像鮮明化システムは、ぼやけた移動目標を自動的に鮮明化することができる。
＊＊＊概略＊＊＊
本実施の形態では、ＳＡＲ画像に含まれる移動目標の領域を自動かつ高精度に推論し、移動目標のぼやけた画像を自動で鮮明化する画像鮮明化システムを説明する。
より具体的には、本実施の形態に係る画像鮮明化システムは、静止目標のぼやけていない領域の画像をあたかも移動によってぼやけているかのようなドップラーシフト模擬画像に変換する。つまり、本実施の形態に係る画像鮮明化システムは、ドップラーシフトの影響を受けていない領域の画像を用いて、ドップラーシフトの影響を受けている状態を模擬したドップラーシフト模擬画像を生成する。
そして、画像鮮明化システムは、ドップラーシフト模擬画像を学習用データとして用いて学習を行う。
更に、画像鮮明化システムは、学習により、移動目標の領域を高精度に推論するための学習済モデルを生成する。
そして、画像鮮明化システムは、このような学習済モデルを用いて、ＳＡＲ画像の中の移動目標の領域を推論し、移動目標の領域の画像をＩＳＡＲにより鮮明化する。
この結果、画像鮮明化システムは、ぼやけた移動目標を自動的に鮮明化することができる。
【0013】
＊＊＊画像鮮明化システムの構成の説明＊＊＊
図１は、実施の形態１に係る画像鮮明化システム１の機能構成を概略的に示すブロック図である。
また、図９は、実施の形態１に係る画像鮮明化システム１のハードウェア構成を概略的に示すブロック図である。
本実施の形態に係る画像鮮明化システム１は、コンピュータである。
図１に示すように、画像鮮明化システム１は、機能構成として、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０を備える。
図１は、実施の形態１に係る画像鮮明化システム１の機能構成を概略的に示すブロック図である。
また、図９は、実施の形態１に係る画像鮮明化システム１のハードウェア構成を概略的に示すブロック図である。
本実施の形態に係る画像鮮明化システム１は、コンピュータである。
図１に示すように、画像鮮明化システム１は、機能構成として、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０を備える。
【0014】
学習用データ生成装置１０は、学習用データを生成する。
学習用データ生成装置１０は、模擬画像生成装置に相当する。また、学習用データ生成装置１０の動作手順は、模擬画像生成方法に相当する。また、学習用データ生成装置１０の動作を実現するプログラムは、模擬画像生成プログラムに相当する。
学習用データ生成装置１０は、模擬画像生成装置に相当する。また、学習用データ生成装置１０の動作手順は、模擬画像生成方法に相当する。また、学習用データ生成装置１０の動作を実現するプログラムは、模擬画像生成プログラムに相当する。
【0015】
学習装置２０は、学習用データを用いた学習を行い、学習済モデルを生成する。
学習装置２０の動作手順は、学習方法に相当する。また、学習装置２０の動作を実現するプログラムは、学習プログラムに相当する。
学習装置２０の動作手順は、学習方法に相当する。また、学習装置２０の動作を実現するプログラムは、学習プログラムに相当する。
【0016】
画像鮮明化装置３０は、学習済モデルを用いてＳＡＲ画像の中の移動目標の領域を推論し、移動目標の領域の画像を鮮明化する。
画像鮮明化装置３０は、画像処理装置に相当する。また、画像鮮明化装置３０の動作手順は、画像処理方法に相当する。また、画像鮮明化装置３０の動作を実現するプログラムは、画像処理プログラムに相当する。
画像鮮明化装置３０は、画像処理装置に相当する。また、画像鮮明化装置３０の動作手順は、画像処理方法に相当する。また、画像鮮明化装置３０の動作を実現するプログラムは、画像処理プログラムに相当する。
【0017】
画像鮮明化システム１は、図９に示すように、ハードウェアとして、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３及び入出力装置９０４を備える。
後述するように、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能は、例えば、プログラムにより実現される。これらプログラムは、補助記憶装置９０３に記憶されている。そして、これらプログラムは、補助記憶装置９０３から主記憶装置９０２にロードされる。更に、プロセッサ９０１がこれらプログラムを実行する。
図９は、プロセッサ９０１が学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムを実行している状態を模式的に表している。
入出力装置９０４は、マウス、キーボード、ディスプレイ等である。
後述するように、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能は、例えば、プログラムにより実現される。これらプログラムは、補助記憶装置９０３に記憶されている。そして、これらプログラムは、補助記憶装置９０３から主記憶装置９０２にロードされる。更に、プロセッサ９０１がこれらプログラムを実行する。
図９は、プロセッサ９０１が学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムを実行している状態を模式的に表している。
入出力装置９０４は、マウス、キーボード、ディスプレイ等である。
【0018】
＊＊＊学習用データ生成装置１０の構成の説明＊＊＊
図２は、学習用データ生成装置１０の機能構成を概略的に示すブロック図である。
学習用データ生成装置１０は、静止目標抽出部１０１、ＩＳＡＲ部１０２、埋め込み部１０３を備える。静止目標抽出部１０１、ＩＳＡＲ部１０２、埋め込み部１０３の機能は、例えばプログラムにより実現される。
図２は、学習用データ生成装置１０の機能構成を概略的に示すブロック図である。
学習用データ生成装置１０は、静止目標抽出部１０１、ＩＳＡＲ部１０２、埋め込み部１０３を備える。静止目標抽出部１０１、ＩＳＡＲ部１０２、埋め込み部１０３の機能は、例えばプログラムにより実現される。
【0019】
静止目標抽出部１０１は、撮像画像であるＳＡＲ画像ＤＩＮ０を取得する。そして、静止目標抽出部１０１は、ＳＡＲ画像ＤＩＮ０から静止目標画像ＤＩＮ１を生成する。
静止目標画像ＤＩＮ１は、ＳＡＲ画像ＤＩＮ０の中から静止している船舶や車両など静止目標を矩形で切出した部分画像である。
つまり、静止目標抽出部１０１は、ＳＡＲ画像ＤＩＮ０内のドップラーシフトの影響を受けていない部分画像を静止目標画像ＤＩＮ１として抽出する。静止目標画像ＤＩＮ１では、静止目標が鮮明に写されている。静止目標画像ＤＩＮ１は、非影響部分画像に相当する。
静止目標抽出部１０１は、非影響部分画像抽出部に相当する。また、静止目標抽出部１０１により行われる処理は非影響部分画像抽出処理に相当する。
静止目標画像ＤＩＮ１は、ＳＡＲ画像ＤＩＮ０の中から静止している船舶や車両など静止目標を矩形で切出した部分画像である。
つまり、静止目標抽出部１０１は、ＳＡＲ画像ＤＩＮ０内のドップラーシフトの影響を受けていない部分画像を静止目標画像ＤＩＮ１として抽出する。静止目標画像ＤＩＮ１では、静止目標が鮮明に写されている。静止目標画像ＤＩＮ１は、非影響部分画像に相当する。
静止目標抽出部１０１は、非影響部分画像抽出部に相当する。また、静止目標抽出部１０１により行われる処理は非影響部分画像抽出処理に相当する。
【0020】
ＩＳＡＲ部１０２は、静止目標画像ＤＩＮ１を取得する。そして、ＩＳＡＲ部１０２は、静止目標画像ＤＩＮ１から、ドップラーシフト模擬画像ＤＩＮ２を生成する。
生成されるドップラーシフト模擬画像ＤＩＮ２は、ＩＳＡＲにより静止目標画像ＤＩＮ１の静止目標があたかも移動しているかのようにぼやかした画像である。つまり、ＩＳＡＲ部１０２は、静止目標画像ＤＩＮ１がドップラーシフトの影響を受けている状態を模擬した部分画像をドップラーシフト模擬画像ＤＩＮ２として生成する。ドップラーシフト模擬画像ＤＩＮ２は模擬影響部分画像に相当する。
ＩＳＡＲ部１０２は、埋め込み部１０３とともに、模擬画像生成部に相当する。また、ＩＳＡＲ部１０２により行われる処理は、埋め込み部１０３により行われる処理とともに、模擬画像生成処理に相当する。
生成されるドップラーシフト模擬画像ＤＩＮ２は、ＩＳＡＲにより静止目標画像ＤＩＮ１の静止目標があたかも移動しているかのようにぼやかした画像である。つまり、ＩＳＡＲ部１０２は、静止目標画像ＤＩＮ１がドップラーシフトの影響を受けている状態を模擬した部分画像をドップラーシフト模擬画像ＤＩＮ２として生成する。ドップラーシフト模擬画像ＤＩＮ２は模擬影響部分画像に相当する。
ＩＳＡＲ部１０２は、埋め込み部１０３とともに、模擬画像生成部に相当する。また、ＩＳＡＲ部１０２により行われる処理は、埋め込み部１０３により行われる処理とともに、模擬画像生成処理に相当する。
【0021】
埋め込み部１０３は、ドップラーシフト模擬画像ＤＩＮ２とＳＡＲ画像ＤＩＮ０から模擬ＳＡＲ画像ＤＩＮ３と移動目標位置ラベルＤＩＮ４を生成する。
模擬ＳＡＲ画像ＤＩＮ３は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳した画像である。つまり、埋め込み部１０３は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を追加する。これにより、埋め込み部１０３は、ドップラーシフトの影響を受けた状態が模擬されたドップラーシフト模擬画像ＤＩＮ２が含まれる模擬ＳＡＲ画像ＤＩＮ３を生成する。模擬ＳＡＲ画像ＤＩＮ３は学習用画像である。
移動目標位置ラベルＤＩＮ４は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳した位置を指し示すデータである。つまり、移動目標位置ラベルＤＩＮ４は、模擬ＳＡＲ画像ＤＩＮ３内のドップラーシフト模擬画像ＤＩＮ２の位置を表す。移動目標位置ラベルＤＩＮ４は、例えば重畳した矩形範囲の左上の画素ＤＩＮ４１の座標及び右下の画素ＤＩＮ４２の座標から成る。移動目標位置ラベルＤＩＮ４は位置情報に相当する。
埋め込み部１０３は、学習装置２０に模擬ＳＡＲ画像ＤＩＮ３と移動目標位置ラベルＤＩＮ４を出力する。
前述したように、埋め込み部１０３は、ＩＳＡＲ部１０２とともに、模擬画像生成部に相当する。また、埋め込み部１０３により行われる処理は、ＩＳＡＲ部１０２により行われる処理とともに、模擬画像生成処理に相当する。更に、埋め込み部１０３は、位置情報生成部に相当する。また、埋め込み部１０３により行われる処理は、位置情報生成処理に相当する。また、埋め込み部１０３は出力部にも相当する。
模擬ＳＡＲ画像ＤＩＮ３は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳した画像である。つまり、埋め込み部１０３は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を追加する。これにより、埋め込み部１０３は、ドップラーシフトの影響を受けた状態が模擬されたドップラーシフト模擬画像ＤＩＮ２が含まれる模擬ＳＡＲ画像ＤＩＮ３を生成する。模擬ＳＡＲ画像ＤＩＮ３は学習用画像である。
移動目標位置ラベルＤＩＮ４は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳した位置を指し示すデータである。つまり、移動目標位置ラベルＤＩＮ４は、模擬ＳＡＲ画像ＤＩＮ３内のドップラーシフト模擬画像ＤＩＮ２の位置を表す。移動目標位置ラベルＤＩＮ４は、例えば重畳した矩形範囲の左上の画素ＤＩＮ４１の座標及び右下の画素ＤＩＮ４２の座標から成る。移動目標位置ラベルＤＩＮ４は位置情報に相当する。
埋め込み部１０３は、学習装置２０に模擬ＳＡＲ画像ＤＩＮ３と移動目標位置ラベルＤＩＮ４を出力する。
前述したように、埋め込み部１０３は、ＩＳＡＲ部１０２とともに、模擬画像生成部に相当する。また、埋め込み部１０３により行われる処理は、ＩＳＡＲ部１０２により行われる処理とともに、模擬画像生成処理に相当する。更に、埋め込み部１０３は、位置情報生成部に相当する。また、埋め込み部１０３により行われる処理は、位置情報生成処理に相当する。また、埋め込み部１０３は出力部にも相当する。
【0022】
＊＊＊学習用データ生成装置１０の動作の説明＊＊＊
次に、図３を用いて、学習用データ生成装置１０が学習用データを生成する処理について説明する。図３は学習用データ生成装置１０の学習用データ生成に関するフローチャートである。
次に、図３を用いて、学習用データ生成装置１０が学習用データを生成する処理について説明する。図３は学習用データ生成装置１０の学習用データ生成に関するフローチャートである。
【0023】
ステップａ１において、静止目標抽出部１０１は、ＳＡＲ画像ＤＩＮ０を取得する。また、静止目標抽出部１０１は、取得したＳＡＲ画像ＤＩＮ０から静止目標の画像を切出すことで静止目標画像ＤＩＮ１を生成する。この切出しのための矩形の位置は、ユーザがＳＡＲ画像ＤＩＮ０を目視した上で指定してもよいし、ＳＡＲ画像ＤＩＮ０を入力とした物体検出によって静止目標のＢｏｕｎｄｉｎｇ Ｂｏｘを得てその座標情報を用いてもよい。
【0024】
ステップａ２において、ＩＳＡＲ部１０２は、ＩＳＡＲにより静止目標画像ＤＩＮ１の静止目標があたかも移動しているかのようにぼやかしたドップラーシフト模擬画像ＤＩＮ２を生成する。
このときのＩＳＡＲの具体的な方式としては、例えば速度指定方式ＩＳＡＲを用いることができる。速度指定方式ＩＳＡＲは、ＳＡＲで静止目標を撮像した際と移動目標を撮像した際とではドップラー効果が異なることを利用する方法である。速度指定方式ＩＳＡＲは、移動目標の速度を仮定したときのドップラー効果を考慮したアジマス圧縮により結像した画像を得る方法である。このため、静止目標のぼやけていない画像に対し速度を仮定した速度指定方式ＩＳＡＲを適用すると、静止目標があたかも移動によるドップラー効果が生じているかのようなぼやけた画像を生成できる。この速度は、ぼやかす程度を決定する虚偽の速度であって、ユーザが手動で指定してもよいし、乱数を用いて自動で指定してもよい。
なお、速度指定方式ＩＳＡＲはレンジ圧縮後かつアジマス圧縮前のＳＡＲ画像に対してのみ適用できる手法である。このため、速度指定方式ＩＳＡＲの適用に先立っては、静止目標画像に対し参考文献１に記載のＩＣＳＡのような手法でＳＡＲ画像からレンジ圧縮後かつアジマス圧縮前のデータを生成する。
［参考文献１］Ａｈｍｅｄ Ｓ． Ｋｈｗａｊａ，他２名，“ＳＡＲ Ｒａｗ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ Ｕｓｉｎｇ Ｉｎｖｅｒｓｅ ＳＡＲ Ｉｍａｇｅ Ｆｏｒｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ”， ２００６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， ｐ．４１７４－４１７７
このときのＩＳＡＲの具体的な方式としては、例えば速度指定方式ＩＳＡＲを用いることができる。速度指定方式ＩＳＡＲは、ＳＡＲで静止目標を撮像した際と移動目標を撮像した際とではドップラー効果が異なることを利用する方法である。速度指定方式ＩＳＡＲは、移動目標の速度を仮定したときのドップラー効果を考慮したアジマス圧縮により結像した画像を得る方法である。このため、静止目標のぼやけていない画像に対し速度を仮定した速度指定方式ＩＳＡＲを適用すると、静止目標があたかも移動によるドップラー効果が生じているかのようなぼやけた画像を生成できる。この速度は、ぼやかす程度を決定する虚偽の速度であって、ユーザが手動で指定してもよいし、乱数を用いて自動で指定してもよい。
なお、速度指定方式ＩＳＡＲはレンジ圧縮後かつアジマス圧縮前のＳＡＲ画像に対してのみ適用できる手法である。このため、速度指定方式ＩＳＡＲの適用に先立っては、静止目標画像に対し参考文献１に記載のＩＣＳＡのような手法でＳＡＲ画像からレンジ圧縮後かつアジマス圧縮前のデータを生成する。
［参考文献１］Ａｈｍｅｄ Ｓ． Ｋｈｗａｊａ，他２名，“ＳＡＲ Ｒａｗ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ Ｕｓｉｎｇ Ｉｎｖｅｒｓｅ ＳＡＲ Ｉｍａｇｅ Ｆｏｒｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ”， ２００６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， ｐ．４１７４－４１７７
【0025】
ステップａ３において、埋め込み部１０３は、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳することで模擬ＳＡＲ画像ＤＩＮ３を生成する。また、埋め込み部１０３は、ドップラーシフト模擬画像ＤＩＮ２を重畳した位置に基づき移動目標位置ラベルＤＩＮ４を生成する。
埋め込み部１０３は、ＳＡＲ画像に対するドップラーシフト模擬画像の重畳を、例えば加算合成によって行う。また、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳する位置は、静止目標抽出部１０１において静止目標画像ＤＩＮ１を切出した位置としてもよいし、ユーザが指定してもよい。また、乱数を用いて自動で指定してもよい。
埋め込み部１０３は、ＳＡＲ画像に対するドップラーシフト模擬画像の重畳を、例えば加算合成によって行う。また、ＳＡＲ画像ＤＩＮ０にドップラーシフト模擬画像ＤＩＮ２を重畳する位置は、静止目標抽出部１０１において静止目標画像ＤＩＮ１を切出した位置としてもよいし、ユーザが指定してもよい。また、乱数を用いて自動で指定してもよい。
【0026】
ステップａ３によって生成される模擬ＳＡＲ画像ＤＩＮ３には、目標があたかも移動しているかのようにぼやけたドップラーシフト模擬画像ＤＩＮ２が重畳されている。
また、移動目標位置ラベルＤＩＮ４にはその重畳の位置情報が含まれている。
このため、模擬ＳＡＲ画像ＤＩＮ３と移動目標位置ラベルＤＩＮ４のペアは、後述する図７に示すＳＡＲ画像ＤＩＮ０から移動目標を検出する物体検出のための学習の学習用データとして利用することができる。
また、移動目標位置ラベルＤＩＮ４にはその重畳の位置情報が含まれている。
このため、模擬ＳＡＲ画像ＤＩＮ３と移動目標位置ラベルＤＩＮ４のペアは、後述する図７に示すＳＡＲ画像ＤＩＮ０から移動目標を検出する物体検出のための学習の学習用データとして利用することができる。
【0027】
＊＊＊学習装置２０の構成の説明＊＊＊
図４は学習装置２０の機能構成を概略的に示すブロック図である。
学習装置２０は、学習フェーズにおいて学習を行う。
学習装置２０は、データ取得部２０１、モデル生成部２０２、及び学習済モデル記憶部２０３を備える。データ取得部２０１、モデル生成部２０２、及び学習済モデル記憶部２０３の機能は、例えばプログラムにより実現される。
図４は学習装置２０の機能構成を概略的に示すブロック図である。
学習装置２０は、学習フェーズにおいて学習を行う。
学習装置２０は、データ取得部２０１、モデル生成部２０２、及び学習済モデル記憶部２０３を備える。データ取得部２０１、モデル生成部２０２、及び学習済モデル記憶部２０３の機能は、例えばプログラムにより実現される。
【0028】
データ取得部２０１は、模擬ＳＡＲ画像ＤＩＮ３と移動目標位置ラベルＤＩＮ４を学習用データとして取得する。
データ取得部２０１は模擬画像取得部に相当する。また、データ取得部２０１により行われる処理は模擬画像取得処理に相当する。
データ取得部２０１は模擬画像取得部に相当する。また、データ取得部２０１により行われる処理は模擬画像取得処理に相当する。
【0029】
モデル生成部２０２は、データ取得部２０１から出力される模擬ＳＡＲ画像ＤＩＮ３及び移動目標位置ラベルＤＩＮ４の組合せに基づいて作成される学習用データに基づいて、移動目標位置情報を学習する。
より具体的には、モデル生成部２０２は、模擬ＳＡＲ画像ＤＩＮ３及び移動目標位置ラベルＤＩＮ４から最適な移動目標位置情報を推論する学習済モデルを生成する。つまり、モデル生成部２０２は、模擬ＳＡＲ画像ＤＩＮ３及び移動目標位置ラベルＤＩＮ４を用いて、模擬ＳＡＲ画像ＤＩＮ３内のドップラーシフト模擬画像ＤＩＮ２の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成する。
モデル生成部２０２により行われる処理はモデル生成処理に相当する。
より具体的には、モデル生成部２０２は、模擬ＳＡＲ画像ＤＩＮ３及び移動目標位置ラベルＤＩＮ４から最適な移動目標位置情報を推論する学習済モデルを生成する。つまり、モデル生成部２０２は、模擬ＳＡＲ画像ＤＩＮ３及び移動目標位置ラベルＤＩＮ４を用いて、模擬ＳＡＲ画像ＤＩＮ３内のドップラーシフト模擬画像ＤＩＮ２の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成する。
モデル生成部２０２により行われる処理はモデル生成処理に相当する。
【0030】
モデル生成部２０２は、学習アルゴリズムとして、教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用した場合について説明する。
モデル生成部２０２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、移動目標位置情報を学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。
モデル生成部２０２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、移動目標位置情報を学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。
【0031】
ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、及び複数のニューロンからなる出力層で構成される。中間層は、１層、又は２層以上でもよい。
【0032】
例えば、図５に示すような３層のニューラルネットワークを想定する。
図５のニューラルネットワークでは、複数の入力が入力層（Ｘ１‐Ｘ３）に入力されると、その値に重みＷ１（ｗ１１‐ｗ１６）を掛けて中間層（Ｙ１‐Ｙ２）に入力される。そして、その結果にさらに重みＷ２（ｗ２１‐ｗ２６）を掛けて出力層（Ｚ１‐Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。
図５のニューラルネットワークでは、複数の入力が入力層（Ｘ１‐Ｘ３）に入力されると、その値に重みＷ１（ｗ１１‐ｗ１６）を掛けて中間層（Ｙ１‐Ｙ２）に入力される。そして、その結果にさらに重みＷ２（ｗ２１‐ｗ２６）を掛けて出力層（Ｚ１‐Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。
【0033】
本実施の形態において、ニューラルネットワークは、データ取得部２０１によって取得される模擬ＳＡＲ画像ＤＩＮ３、移動目標位置ラベルＤＩＮ４の組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、移動目標位置情報を学習する。
【0034】
すなわち、ニューラルネットワークは、入力層に模擬ＳＡＲ画像ＤＩＮ３を入力して出力層から出力された結果が、移動目標位置ラベルＤＩＮ４に近づくように重みＷ１とＷ２を調整することで学習する。
【0035】
モデル生成部２０２は、以上のような学習を実行することで学習済モデルを生成し、出力する。
【0036】
学習済モデル記憶部２０３は、モデル生成部２０２から出力された学習済モデルを記憶する。
【0037】
【0038】
ステップｃ１において、データ取得部２０１は模擬ＳＡＲ画像ＤＩＮ３、移動目標位置ラベルＤＩＮ４を取得する。なお、ここでは、模擬ＳＡＲ画像ＤＩＮ３、移動目標位置ラベルＤＩＮ４を同時に取得するものとしている。しかし、模擬ＳＡＲ画像ＤＩＮ３、移動目標位置ラベルＤＩＮ４を関連づけて入力できれば良く、模擬ＳＡＲ画像ＤＩＮ３、移動目標位置ラベルＤＩＮ４のデータをそれぞれ別のタイミングで取得しても良い。
【0039】
ステップｃ２において、モデル生成部２０２は、データ取得部２０１によって取得された模擬ＳＡＲ画像ＤＩＮ３、移動目標位置ラベルＤＩＮ４の組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、移動目標位置情報を学習し、学習済モデルを生成する。
【0040】
ステップｃ３において、学習済モデル記憶部２０３は、モデル生成部２０２が生成した学習済モデルを記憶する。
【0041】
＊＊＊画像鮮明化装置３０の構成の説明＊＊＊
図７は画像鮮明化装置３０の機能構成を概略的に示すブロック図である。
画像鮮明化装置３０は、活用フェーズにおいて撮像画像の鮮明化を行う。
画像鮮明化装置３０は、データ取得部３０１、推論部３０２、ＩＳＡＲ部３０３を備える。データ取得部３０１、推論部３０２、ＩＳＡＲ部３０３の機能は、例えばプログラムにより実現される。
図７は画像鮮明化装置３０の機能構成を概略的に示すブロック図である。
画像鮮明化装置３０は、活用フェーズにおいて撮像画像の鮮明化を行う。
画像鮮明化装置３０は、データ取得部３０１、推論部３０２、ＩＳＡＲ部３０３を備える。データ取得部３０１、推論部３０２、ＩＳＡＲ部３０３の機能は、例えばプログラムにより実現される。
【0042】
データ取得部３０１は撮像画像であるＳＡＲ画像ＤＩＮ０を取得する。なお、図７に示すＳＡＲ画像ＤＩＮ０は、図２に示すＳＡＲ画像ＤＩＮ０とは異なる時刻に撮像されたＳＡＲ画像である。また、図７に示すＳＡＲ画像ＤＩＮ０は、図２に示すＳＡＲ画像ＤＩＮ０と同じ地域を撮像したＳＡＲ画像であってもよいし、異なる地域を撮像したＳＡＲ画像であってもよい。
図７に示すＳＡＲ画像ＤＩＮ０には、移動目標が写された部分画像、すなわち、ドップラーシフトの影響を受けた部分画像が含まれる。このような、ドップラーシフトの影響を受けた部分画像は影響部分画像に相当する。
データ取得部３０１は、撮像画像取得部に相当する。また、データ取得部３０１により行われる処理は撮像画像取得処理に相当する。
図７に示すＳＡＲ画像ＤＩＮ０には、移動目標が写された部分画像、すなわち、ドップラーシフトの影響を受けた部分画像が含まれる。このような、ドップラーシフトの影響を受けた部分画像は影響部分画像に相当する。
データ取得部３０１は、撮像画像取得部に相当する。また、データ取得部３０１により行われる処理は撮像画像取得処理に相当する。
【0043】
推論部３０２は、学習済モデル記憶部２０３から、学習済モデルを取得する。
また、推論部３０２は、学習済モデルを利用して、移動目標位置情報を推論する。すなわち、推論部３０２は、学習済モデルにＳＡＲ画像ＤＩＮ０を入力することで、移動目標の位置の推論結果である移動目標位置情報を出力することができる。このように、推論部３０２は、学習済モデルを用いて、ＳＡＲ画像ＤＩＮ０内の移動目標が写された部分画像（ドップラーシフトの影響を受けた部分画像）の位置を推論することができる。
推論部３０２は、モデル取得部としても機能する。また、推論部３０２により行われる処理はモデル取得処理及び推論処理に相当する。
また、推論部３０２は、学習済モデルを利用して、移動目標位置情報を推論する。すなわち、推論部３０２は、学習済モデルにＳＡＲ画像ＤＩＮ０を入力することで、移動目標の位置の推論結果である移動目標位置情報を出力することができる。このように、推論部３０２は、学習済モデルを用いて、ＳＡＲ画像ＤＩＮ０内の移動目標が写された部分画像（ドップラーシフトの影響を受けた部分画像）の位置を推論することができる。
推論部３０２は、モデル取得部としても機能する。また、推論部３０２により行われる処理はモデル取得処理及び推論処理に相当する。
【0044】
ＩＳＡＲ部３０３は、推論部３０２から得られる移動目標位置情報に基づき、ＳＡＲ画像ＤＩＮ０の該当の位置に対してＩＳＡＲを適用することで、移動目標のぼやけた像を鮮明化した鮮明化ＳＡＲ画像ＤＯＵＴを生成する。すなわち、ＩＳＡＲ部３０３は、移動目標が写された部分画像からドップラーシフトの影響を除去する。そして、ＩＳＡＲ部３０３は、例えば入出力装置９０４のディスプレイに鮮明化ＳＡＲ画像ＤＯＵＴを表示する。
ＩＳＡＲ部３０３は、影響除去部に相当する。また、ＩＳＡＲ部３０３により行われる処理は、影響除去処理に相当する。
ＩＳＡＲ部３０３は、影響除去部に相当する。また、ＩＳＡＲ部３０３により行われる処理は、影響除去処理に相当する。
【0045】
本実施の形態では、推論部３０２は、画像鮮明化システム１のモデル生成部２０２での学習で得られた学習済モデルを用いて移動目標位置情報を生成するものとする。しかし、推論部３０２は、他の画像鮮明化システム等の外部から学習済モデルを取得し、この学習済モデルに基づいて移動目標位置情報を生成するようにしてもよい。
【0046】
＊＊＊画像鮮明化装置３０の動作の説明＊＊＊
次に、図８を用いて、画像鮮明化装置３０が鮮明化ＳＡＲ画像ＤＯＵＴを得るための処理を説明する。
次に、図８を用いて、画像鮮明化装置３０が鮮明化ＳＡＲ画像ＤＯＵＴを得るための処理を説明する。
【0047】
ステップｄ１において、データ取得部３０１はＳＡＲ画像ＤＩＮ０を取得する。
【0048】
ステップｄ２において、推論部３０２は学習済モデル記憶部２０３に記憶された学習済モデルにＳＡＲ画像ＤＩＮ０を入力し、移動目標位置情報を得る。
【0049】
ステップｄ３において、ＩＳＡＲ部３０３は、得られた移動目標位置情報を用いて、ＳＡＲ画像ＤＩＮ０の該当の位置にＩＳＡＲを適用することで鮮明化する。これにより、ＳＡＲ画像ＤＩＮ０に含まれる移動目標のぼやけた像を鮮明化することができる。
このときのＩＳＡＲの具体的な方式としては、例えば速度指定方式ＩＳＡＲを用いることができる。速度指定方式ＩＳＡＲは、レンジ圧縮後かつアジマス圧縮前のＳＡＲ画像に対してのみ適用できる手法である。このため、速度指定方式ＩＳＡＲの適用に先立っては、ＳＡＲ画像の該当の位置に対し前述の参考文献１のＩＣＳＡのような手法でＳＡＲ画像からレンジ圧縮後かつアジマス圧縮前のデータを生成する。レンジ圧縮後かつアジマス圧縮前のデータに対し速度指定方式ＩＳＡＲを適用して鮮明化を行ったのち、ＩＳＡＲ部３０３は、ＳＡＲ画像ＤＩＮ０の元の位置に対し、鮮明化した画像を重畳する。
このときのＩＳＡＲの具体的な方式としては、例えば速度指定方式ＩＳＡＲを用いることができる。速度指定方式ＩＳＡＲは、レンジ圧縮後かつアジマス圧縮前のＳＡＲ画像に対してのみ適用できる手法である。このため、速度指定方式ＩＳＡＲの適用に先立っては、ＳＡＲ画像の該当の位置に対し前述の参考文献１のＩＣＳＡのような手法でＳＡＲ画像からレンジ圧縮後かつアジマス圧縮前のデータを生成する。レンジ圧縮後かつアジマス圧縮前のデータに対し速度指定方式ＩＳＡＲを適用して鮮明化を行ったのち、ＩＳＡＲ部３０３は、ＳＡＲ画像ＤＩＮ０の元の位置に対し、鮮明化した画像を重畳する。
【0050】
なお、本実施の形態では、モデル生成部２０２が用いる学習アルゴリズムに教師あり学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、教師あり学習以外にも、強化学習、教師なし学習、又は半教師あり学習等を適用することも可能である。
【0051】
また、モデル生成部２０２は、複数の画像鮮明化システムに対して作成される学習用データに従って、移動目標位置情報を学習するようにしてもよい。なお、モデル生成部２０２は、同一のエリアで使用される複数の画像鮮明化システムから学習用データを取得してもよいし、異なるエリアで独立して動作する複数の画像鮮明化システムから収集される学習用データを利用して移動目標位置情報を学習してもよい。
また、学習用データを収集する画像鮮明化システムを途中で対象に追加したり、対象から除去したりすることも可能である。
更に、ある画像鮮明化システムに関して移動目標位置情報を学習した学習装置２０を、これとは別の画像鮮明化システムに適用し、当該別の画像鮮明化システムに関して移動目標位置情報を再学習して更新するようにしてもよい。
また、学習用データを収集する画像鮮明化システムを途中で対象に追加したり、対象から除去したりすることも可能である。
更に、ある画像鮮明化システムに関して移動目標位置情報を学習した学習装置２０を、これとは別の画像鮮明化システムに適用し、当該別の画像鮮明化システムに関して移動目標位置情報を再学習して更新するようにしてもよい。
【0052】
＊＊＊実施の形態の効果の説明＊＊＊
以上より、本実施の形態では、画像鮮明化装置３０が、学習済モデルを用いて、ドップラーシフトの影響を受けた部分画像の位置を推論する。このため、本実施の形態によれば、ドップラーシフトの影響を受けた部分画像の位置を特定することなく、ドップラーシフトの影響を除去することができる。
また、本実施の形態家によれば、ドップラーシフトの影響を受けた部分画像の位置を特定する処理を省略することができるので、ＳＡＲ画像ＤＩＮ０の取得から鮮明化ＳＡＲ画像ＤＯＵＴの表示までの時間を短縮することができる。
以上より、本実施の形態では、画像鮮明化装置３０が、学習済モデルを用いて、ドップラーシフトの影響を受けた部分画像の位置を推論する。このため、本実施の形態によれば、ドップラーシフトの影響を受けた部分画像の位置を特定することなく、ドップラーシフトの影響を除去することができる。
また、本実施の形態家によれば、ドップラーシフトの影響を受けた部分画像の位置を特定する処理を省略することができるので、ＳＡＲ画像ＤＩＮ０の取得から鮮明化ＳＡＲ画像ＤＯＵＴの表示までの時間を短縮することができる。
【0053】
なお、本実施の形態で説明した手順は一例である。
このため、本実施の形態で説明した手順の一部のみを実施しても構わない。
また、本実施の形態で説明した手順の少なくとも一部と、本実施の形態で説明していない手順とを組み合わせて実施しても構わない。
また、本実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
このため、本実施の形態で説明した手順の一部のみを実施しても構わない。
また、本実施の形態で説明した手順の少なくとも一部と、本実施の形態で説明していない手順とを組み合わせて実施しても構わない。
また、本実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
【0054】
ここで、画像鮮明化システム１のハードウェア構成の補足説明を行う。
図９に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図９に示す主記憶装置９０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図９に示す補助記憶装置９０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図９には図示していないが、通信装置が含まれていてもよい。通信装置は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
図９に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図９に示す主記憶装置９０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図９に示す補助記憶装置９０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図９には図示していないが、通信装置が含まれていてもよい。通信装置は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
【0055】
また、補助記憶装置９０３には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムを実行する。
プロセッサ９０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムを実行する。
プロセッサ９０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0056】
また、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０の構成要素の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、画像鮮明化システム１は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ
Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。
この場合は、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
また、画像鮮明化システム１は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ
Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。
この場合は、学習用データ生成装置１０、学習装置２０及び画像鮮明化装置３０は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
【0057】
最後に、本開示の諸態様を付記としてまとめて記載する。
（付記１）
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得部と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得部と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論部とを有する画像処理装置。
（付記２）
前記画像処理装置は、更に、
前記推論部により前記影響部分画像の位置として推論された位置の部分画像から前記ドップラーシフトの影響を除去する影響除去部を有する付記１に記載の画像処理装置。
（付記３）
前記モデル取得部は、
前記ドップラーシフトの影響を受けた状態を模擬した部分画像である模擬影響部分画像が含まれる学習用画像を用いた学習が行われて生成された学習済モデルを取得する付記１又は２に記載の画像処理装置。
（付記４）
撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出部と、
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成部と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成部とを有する模擬画像生成装置。
（付記５）
前記模擬画像生成装置は、更に、
前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う学習装置に、前記模擬画像と前記位置情報とを出力する出力部を有する付記４に記載の模擬画像生成装置。（付記６）
ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得部と、
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成部とを有する学習装置。
（付記７）
前記模擬画像取得部は、
付記４に記載の前記模擬画像生成部により生成された前記模擬画像と、付記４に記載の前記位置情報生成部により生成された前記位置情報とを取得し、
前記モデル生成部は、
付記４に記載の前記模擬画像生成部により生成された前記模擬画像と、付記４に記載の前記位置情報生成部により生成された前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う付記６に記載の学習装置。
（付記８）
コンピュータが、学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得処理と、
前記コンピュータが、前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記コンピュータが、前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とを有する画像処理方法。
（付記９）
コンピュータが、撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出処理と、
前記コンピュータが、前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記コンピュータが、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とを有する模擬画像生成方法。
（付記１０）
コンピュータが、ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得処理と、
前記コンピュータが、前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とを有する学習方法。
（付記１１）
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得処理と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とをコンピュータに実行させる画像処理プログラム。
（付記１２）
撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出処理と、
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とをコンピュータに実行させる模擬画像生成プログラム。
（付記１３）
ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得処理と、
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とをコンピュータに実行させる学習プログラム。
（付記１）
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得部と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得部と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論部とを有する画像処理装置。
（付記２）
前記画像処理装置は、更に、
前記推論部により前記影響部分画像の位置として推論された位置の部分画像から前記ドップラーシフトの影響を除去する影響除去部を有する付記１に記載の画像処理装置。
（付記３）
前記モデル取得部は、
前記ドップラーシフトの影響を受けた状態を模擬した部分画像である模擬影響部分画像が含まれる学習用画像を用いた学習が行われて生成された学習済モデルを取得する付記１又は２に記載の画像処理装置。
（付記４）
撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出部と、
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成部と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成部とを有する模擬画像生成装置。
（付記５）
前記模擬画像生成装置は、更に、
前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う学習装置に、前記模擬画像と前記位置情報とを出力する出力部を有する付記４に記載の模擬画像生成装置。（付記６）
ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得部と、
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成部とを有する学習装置。
（付記７）
前記模擬画像取得部は、
付記４に記載の前記模擬画像生成部により生成された前記模擬画像と、付記４に記載の前記位置情報生成部により生成された前記位置情報とを取得し、
前記モデル生成部は、
付記４に記載の前記模擬画像生成部により生成された前記模擬画像と、付記４に記載の前記位置情報生成部により生成された前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行う付記６に記載の学習装置。
（付記８）
コンピュータが、学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得処理と、
前記コンピュータが、前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記コンピュータが、前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とを有する画像処理方法。
（付記９）
コンピュータが、撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出処理と、
前記コンピュータが、前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記コンピュータが、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とを有する模擬画像生成方法。
（付記１０）
コンピュータが、ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得処理と、
前記コンピュータが、前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とを有する学習方法。
（付記１１）
学習用画像に含まれるドップラーシフトの影響を受けた部分画像の位置を推論する学習が行われて生成された学習済モデルを取得するモデル取得処理と、
前記ドップラーシフトの影響を受けた部分画像である影響部分画像が含まれる撮像画像を取得する撮像画像取得処理と、
前記学習済モデルを用いて、前記撮像画像内の前記影響部分画像の位置を推論する推論処理とをコンピュータに実行させる画像処理プログラム。
（付記１２）
撮像画像から、前記撮像画像内のドップラーシフトの影響を受けていない部分画像を非影響部分画像として抽出する非影響部分画像抽出処理と、
前記非影響部分画像が前記ドップラーシフトの影響を受けている状態を模擬した部分画像を模擬影響部分画像として生成し、前記模擬影響部分画像を前記撮像画像に追加して模擬画像を生成する模擬画像生成処理と、
前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報を生成する位置情報生成処理とをコンピュータに実行させる模擬画像生成プログラム。
（付記１３）
ドップラーシフトの影響を受けている状態が模擬された部分画像が模擬影響部分画像として含まれる模擬画像と、前記模擬画像内の前記模擬影響部分画像の位置を表す位置情報とを取得する模擬画像取得処理と、
前記模擬画像と前記位置情報とを用いて、前記模擬画像内の前記模擬影響部分画像の位置を推論する学習を行い、学習結果が反映された学習済モデルを生成するモデル生成処理とをコンピュータに実行させる学習プログラム。
【符号の説明】
【0058】
１ 画像鮮明化システム、１０ 学習用データ生成装置、２０ 学習装置、３０ 画像鮮明化装置、１０１ 静止目標抽出部、１０２ ＩＳＡＲ部、１０３ 埋め込み部、２０１ データ取得部、２０２ モデル生成部、２０３ 学習済モデル記憶部、３０１ データ取得部、３０２ 推論部、３０３ ＩＳＡＲ部、９０１ プロセッサ、９０２ 主記憶装置、９０３ 補助記憶装置、９０４ 入出力装置、ＤＩＮ０ ＳＡＲ画像、ＤＩＮ１ 静止目標画像、ＤＩＮ２ ドップラーシフト模擬画像、ＤＩＮ３ 模擬ＳＡＲ画像、ＤＩＮ４ 移動目標位置ラベル、ＤＯＵＴ 鮮明化ＳＡＲ画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】