IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱スペース・ソフトウエア株式会社の特許一覧

特開2024-141306模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法
<>
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図1
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図2
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図3
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図4
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図5
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図6
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図7
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図8
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図9
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図10
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図11
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図12
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図13
  • 特開-模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141306
(43)【公開日】2024-10-10
(54)【発明の名称】模擬ノイズ付与装置、模擬ノイズ付与プログラム、模擬ノイズ付与方法、ノイズ検出システム、ノイズ検出プログラムおよびノイズ検出方法
(51)【国際特許分類】
   G06T 5/50 20060101AFI20241003BHJP
   G06T 7/00 20170101ALI20241003BHJP
   G01S 13/89 20060101ALN20241003BHJP
【FI】
G06T5/50
G06T7/00 350B
G01S13/89
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023052879
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】591102095
【氏名又は名称】三菱電機ソフトウエア株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】西村 健志
(72)【発明者】
【氏名】島田 拓弥
【テーマコード(参考)】
5B057
5J070
5L096
【Fターム(参考)】
5B057AA14
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD02
5B057CD05
5B057CE08
5B057CE12
5B057DB02
5B057DB09
5B057DC03
5B057DC08
5J070AE07
5J070AF08
5J070BE01
5L096AA06
5L096EA03
5L096EA14
5L096EA15
5L096EA43
5L096FA25
5L096FA64
5L096FA69
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
【課題】本物のノイズに近いノイズを含んだ画像を生成する。
【解決手段】模擬ノイズ生成部110は、特定パターンを有する模擬ノイズを生成する。模擬ノイズ補正部120は、生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正する。模擬ノイズ重畳部130は、補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
特定パターンを有する模擬ノイズを生成する模擬ノイズ生成部と、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正する模擬ノイズ補正部と、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する模擬ノイズ重畳部と、
を備える模擬ノイズ付与装置。
【請求項2】
前記模擬ノイズ補正部は、疑似ランダム波形を前記生成された模擬ノイズに重畳することによって、前記生成された模擬ノイズの中で輝度の変化が一定の位置間隔で繰り返されないようにする
請求項1に記載の模擬ノイズ付与装置。
【請求項3】
前記模擬ノイズ補正部は、勾配ノイズから抽出される波形を前記疑似ランダム波形として使用する
請求項2に記載の模擬ノイズ付与装置。
【請求項4】
前記模擬ノイズ補正部は、周期波形を前記生成された模擬ノイズに重畳することによって、前記生成された模擬ノイズの中で輝度の変化が一定の位置間隔で繰り返されるようにする
請求項1に記載の模擬ノイズ付与装置。
【請求項5】
前記ノイズ付与画像が、観測画像に含まれるノイズを検出するノイズ検出器を生成するための機械学習で教師データとして使用される
請求項1から請求項4のいずれか1項に記載の模擬ノイズ付与装置。
【請求項6】
特定パターンを有する模擬ノイズを生成する模擬ノイズ生成処理と、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正する模擬ノイズ補正処理と、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する模擬ノイズ重畳処理と、
をコンピュータに実行させるための模擬ノイズ付与プログラム。
【請求項7】
前記模擬ノイズ補正処理は、疑似ランダム波形を前記生成された模擬ノイズに重畳することによって、前記生成された模擬ノイズの中で輝度の変化が一定の位置間隔で繰り返されないようにする
請求項6に記載の模擬ノイズ付与プログラム。
【請求項8】
前記模擬ノイズ補正処理は、勾配ノイズから抽出される波形を前記疑似ランダム波形として使用する
請求項7に記載の模擬ノイズ付与プログラム。
【請求項9】
前記模擬ノイズ補正処理は、周期波形を前記生成された模擬ノイズに重畳することによって、前記生成された模擬ノイズの中で輝度の変化が一定の位置間隔で繰り返されるようにする
請求項6に記載の模擬ノイズ付与プログラム。
【請求項10】
前記ノイズ付与画像が、観測画像に含まれるノイズを検出するノイズ検出器を生成するための機械学習で教師データとして使用される
請求項6から請求項9のいずれか1項に記載の模擬ノイズ付与プログラム。
【請求項11】
特定パターンを有する模擬ノイズを生成し、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正し、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する
模擬ノイズ付与方法。
【請求項12】
特定パターンを有する模擬ノイズを生成する模擬ノイズ生成部と、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正する模擬ノイズ補正部と、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する模擬ノイズ重畳部と、
生成された複数のノイズ付与画像に対して機械学習を行ってノイズ検出器を生成する機械学習部と、
前記ノイズ検出器を使って観測画像に含まれるノイズを検出するノイズ検出部と、
を備えるノイズ検出システム。
【請求項13】
特定パターンを有する模擬ノイズを生成する模擬ノイズ生成処理と、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正する模擬ノイズ補正処理と、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する模擬ノイズ重畳処理と、
生成された複数のノイズ付与画像に対して機械学習を行ってノイズ検出器を生成する機械学習処理と、
前記ノイズ検出器を使って観測画像に含まれるノイズを検出するノイズ検出処理と、
をコンピュータに実行させるためのノイズ検出プログラム。
【請求項14】
特定パターンを有する模擬ノイズを生成し、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正し、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成し、
生成された複数のノイズ付与画像に対して機械学習を行ってノイズ検出器を生成し、
前記ノイズ検出器を使って観測画像に含まれるノイズを検出する
ノイズ検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、観測画像に含まれるノイズを検出するための機械学習で使用されるノイズ付与画像を生成する技術に関するものである。
【背景技術】
【0002】
地球規模の資源探査および地球規模の環境管理のために、航空機または人工衛星に放射計またはレーダを搭載して観測が行われている。
放射計およびレーダは電磁波を用いる。電磁波を用いた観測では、観測対象からの電磁波以外の電磁波を意図せず受信してしまうことがある。
例えば、マイクロ波放射計が気温または水蒸気などの物理量を推定する。このとき、マイクロ波放射計は、観測対象の周波数帯域によって、地上からの妨害電波あるいは衛星間通信の電波などを不要に受信してしまうことがある。これにより、物理量の推定に影響を及ぼす現象が発生する。
このような不要波は、周波数干渉(RFI:Radio Frequency Interference)を引き起こし、受信データ上にノイズとして現れる。
受信機器、周波数帯域、飛行軌道などに関する条件により、周波数干渉の発生条件が変わり、受信データ上のノイズの形状が変わる。
そのため、受信機器またはシステムごとに、受信データ上のノイズに対して判定等を実施する必要がある。そして、品質管理の観点から、自動でノイズを抽出する手法が試行されている。
【0003】
非特許文献1は、ノイズの種類に応じた抽出アルゴリズムを保持したシステムを紹介している。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Freek Liefhebber, “Automatic quality control of the Meteosat First Generation measurements”, Atmos. Meas. Tech., 13, 1167-1179, 2020
【発明の概要】
【発明が解決しようとする課題】
【0005】
品質管理の観点では、画像の全数確認が必要である。しかし、手動による確認は費用面を考慮すると現実的ではない。さらに、手動による確認は確認結果が不均一になるため現実的でない。そのため、ソフトウェア等によるノイズの自動判定が必要不可欠である。
【0006】
非特許文献1には、画像分類のために機械学習を用いる手法が記載されている。この手法は自動判定のために有用である。
しかし、機械学習を用いた自動判定では、学習される多量の教師データの用意が必要であることが多い。そして、周波数干渉によるノイズが重畳した多量の教師データの準備には、多くの時間を要する。
そこで、多量の教師データの用意には、模擬的にノイズを付与する装置が必要である。
ただし、そのような装置には、本物のノイズに近いノイズを生成して付与することが求められる。
【0007】
本開示は、本物のノイズに近いノイズを含んだ画像を生成できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本開示の模擬ノイズ付与装置は、
特定パターンを有する模擬ノイズを生成する模擬ノイズ生成部と、
生成された模擬ノイズの輝度を前記生成された模擬ノイズの中の位置に応じて変更することによって前記生成された模擬ノイズを補正する模擬ノイズ補正部と、
補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する模擬ノイズ重畳部と、を備える。
【発明の効果】
【0009】
本開示によれば、本物のノイズに近いノイズを含んだ画像を生成することができる。
【図面の簡単な説明】
【0010】
図1】実施の形態1における模擬ノイズ付与装置100の構成図。
図2】実施の形態1における模擬ノイズ生成部110の構成図。
図3】実施の形態1における模擬ノイズ付与方法のフローチャート。
図4】実施の形態1におけるステップS110のフローチャート。
図5】実施の形態1における線状ノイズの例を示す図。
図6】実施の形態1における網目状ノイズの例を示す図。
図7】実施の形態1における斑点状ノイズの例を示す図。
図8】実施の形態1におけるパーリンノイズ(2次元)の例を示す図。
図9】実施の形態1におけるパーリンノイズ(1次元)の例を示す図。
図10】実施の形態1における模擬ノイズの例を示す図。
図11】実施の形態1におけるノイズ付与画像の例を示す図。
図12】実施の形態1におけるノイズ付与画像の例を示す図。
図13】実施の形態1におけるノイズ検出システム200の構成図。
図14】周波数干渉ノイズを含んだ画像の例を示す図。
【発明を実施するための形態】
【0011】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【0012】
実施の形態1.
模擬ノイズ付与装置100について、図1から図14に基づいて説明する。
【0013】
***構成の説明***
図1に基づいて、模擬ノイズ付与装置100の構成を説明する。
模擬ノイズ付与装置100は、プロセッサ101とメモリ102と補助記憶装置103と通信装置104と入出力インタフェース105といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0014】
プロセッサ101は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ101はCPUである。
ICは、Integrated Circuitの略称である。
CPUは、Central Processing Unitの略称である。
【0015】
メモリ102は揮発性または不揮発性の記憶装置である。メモリ102は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ102はRAMである。メモリ102に記憶されたデータは必要に応じて補助記憶装置103に保存される。
RAMは、Random Access Memoryの略称である。
【0016】
補助記憶装置103は不揮発性の記憶装置である。例えば、補助記憶装置103は、ROM、HDD、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置103に記憶されたデータは必要に応じてメモリ102にロードされる。
ROMは、Read Only Memoryの略称である。
HDDは、Hard Disk Driveの略称である。
【0017】
通信装置104はレシーバ及びトランスミッタである。例えば、通信装置104は通信チップまたはNICである。模擬ノイズ付与装置100の通信は通信装置104を用いて行われる。
NICは、Network Interface Cardの略称である。
【0018】
入出力インタフェース105は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース105はUSB端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。模擬ノイズ付与装置100の入出力は入出力インタフェース105を用いて行われる。
USBは、Universal Serial Busの略称である。
【0019】
模擬ノイズ付与装置100は、模擬ノイズ生成部110と模擬ノイズ補正部120と模擬ノイズ重畳部130といった要素を備える。これらの要素はソフトウェアで実現される。
【0020】
補助記憶装置103には、模擬ノイズ生成部110と模擬ノイズ補正部120と模擬ノイズ重畳部130としてコンピュータを機能させるための模擬ノイズ付与プログラムが記憶されている。模擬ノイズ付与プログラムは、メモリ102にロードされて、プロセッサ101によって実行される。
補助記憶装置103には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ102にロードされて、プロセッサ101によって実行される。
プロセッサ101は、OSを実行しながら、模擬ノイズ付与プログラムを実行する。
OSは、Operating Systemの略称である。
【0021】
模擬ノイズ付与プログラムの入出力データは記憶部190に記憶される。
メモリ102は記憶部190として機能する。但し、補助記憶装置103、プロセッサ101内のレジスタおよびプロセッサ101内のキャッシュメモリなどの記憶装置が、メモリ102の代わりに、又は、メモリ102と共に、記憶部190として機能してもよい。
【0022】
模擬ノイズ付与プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0023】
図2に基づいて、模擬ノイズ生成部110の構成を説明する。
模擬ノイズ生成部110は、ノイズパターン選択部111と線状ノイズ生成部112と網目状ノイズ生成部113と斑点状ノイズ生成部114といった要素を備える。
【0024】
***動作の説明***
模擬ノイズ付与装置100の動作の手順は模擬ノイズ付与方法に相当する。また、模擬ノイズ付与装置100の動作の手順は模擬ノイズ付与プログラムによる処理の手順に相当する。
【0025】
図3に基づいて、模擬ノイズ付与方法を説明する。
ステップS110において、模擬ノイズ生成部110は模擬ノイズを生成する。
模擬ノイズは、観測画像に含まれる本物のノイズ(特に周波数干渉ノイズ)を模擬して生成されるノイズである。
【0026】
図4に基づいて、ステップS110の詳細を説明する。
ステップS111において、ノイズパターン選択部111は、生成する模擬ノイズのノイズパターンを選択する。ノイズパターンは模擬ノイズの形状を示す。
【0027】
具体的には、ノイズパターン選択部111は、線状ノイズと網目状ノイズと斑点状ノイズの少なくともいずれかを選択する。
【0028】
ノイズパターンは以下のように選択される。
例えば、利用者が模擬ノイズ付与装置100に対してノイズパターンを指定し、ノイズパターン選択部111は指定されたノイズパターンを選択する。
例えば、ノイズパターン選択部111はノイズパターンをランダムに選択する。具体的には、ノイズパターン選択部111は、任意の確率分布に従って乱数を生成し、生成された乱数を使ってノイズパターンを選択する。
【0029】
ステップS111の説明を補足する。
ノイズパターンが異なる複数の模擬ノイズを組み合わせることが可能である。
例えば、網目状ノイズと斑点状ノイズを組み合わせると、網目斑点状ノイズを生成することができる。
また、線状ノイズと斑点状ノイズを組み合わせると、部分的な線状ノイズを生成することができる。
【0030】
次に、ステップS112を説明する。
ステップS112は、ステップS111で線状ノイズが選択された場合に実行される。
【0031】
ステップS112において、線状ノイズ生成部112は線状ノイズを生成する。
【0032】
線状ノイズは以下のように生成される。
線状ノイズ生成部112は、ガウス分布パラメータのパラメータ値に従うガウス分布を横に並べることで線状ノイズを生成する。
ガウス分布パラメータは、振幅と半値全幅である。
【0033】
線状ノイズ生成部112は、ガウス分布を横ではなく縦に並べて線状ノイズを生成しても構わない。
画像の縦方向は、アロングトラック方向に相当する。アロングトラック方向は、観測衛星の進行方向である。観測衛星は観測を行う飛翔体の例である。
画像の横方向は、クロストラック方向に相当する。クロストラック方向は、観測衛星の進行方向と直交する方向である。
【0034】
ガウス分布パラメータのパラメータ値は以下のように決められる。
例えば、利用者が模擬ノイズ付与装置100に対してパラメータごとにパラメータ値を指定する。線状ノイズ生成部112は指定されたパラメータ値を使用する。
例えば、線状ノイズ生成部112は各パラメータのパラメータ値をランダムに算出する。具体的には、線状ノイズ生成部112は、パラメータごとに、任意の確率分布に従って乱数を生成し、生成された乱数を使ってパラメータ値を算出する。
【0035】
線状ノイズf(x)は以下の式で表される。
「A」は、振幅である。
「FWHM」は、半値全幅である。
exp()は、指数関数を意味する。
「ln」は、自然対数logを意味する。
【0036】
【数1】
【0037】
図5に、線状ノイズが含まれる画像を示す。
(1)、(2)および(3)の画像のそれぞれに含まれる白い横線が線状ノイズである。
【0038】
図4に戻り、ステップS113から説明を続ける。
ステップS113は、ステップS111で網目状ノイズが選択された場合に実行される。
【0039】
ステップS113において、網目状ノイズ生成部113は網目状ノイズを生成する。
【0040】
網目状ノイズは以下のように生成される。
網目状ノイズ生成部113は、正弦波パラメータのパラメータ値に従う正弦波を並べることで網目状ノイズを生成する。
正弦波パラメータは、ノイズ幅、振幅、角周波数、初期位相、位相シフト量および位相シフトステップである。
【0041】
正弦波パラメータのパラメータ値は以下のように決められる。
例えば、利用者が模擬ノイズ付与装置100に対してパラメータごとにパラメータ値を指定する。網目状ノイズ生成部113は指定されたパラメータ値を使用する。
例えば、網目状ノイズ生成部113は各パラメータのパラメータ値をランダムに算出する。具体的には、網目状ノイズ生成部113は、パラメータごとに、任意の確率分布に従って乱数を生成し、生成された乱数を使ってパラメータ値を算出する。
【0042】
網目状ノイズf(x)は以下の式で表される。
「W」は、ノイズ幅である。ノイズ幅はノイズの太さを意味する。具体的には、ノイズ幅は縦方向におけるノイズの幅である。
「A」は、振幅である。
「ω」は、角周波数である。
「φ」は、初期位相である。
「dφ」は、位相シフト量である。
「ds」は、位相シフトステップである。
sin()は、正弦関数を意味する。
mod()は、剰余関数を意味する。
【0043】
【数2】
【0044】
角周波数ωを小さくすると正弦波の周期が大きくなる。そして、大きな周期の正弦波を並べることで、網目状ノイズを面状ノイズとしても利用することができる。
【0045】
網目状ノイズは、以下のように2値化されたノイズであってもよい。
【0046】
【数3】
【0047】
網目状ノイズは、2値化されたノイズを正弦波ノイズに積算して得られるノイズであってもよい。
【0048】
図6に、網目状ノイズが含まれる画像を示す。
(1)、(2)および(3)の画像のそれぞれにおいて、帯状に並んだ複数の白い斜線が網目状ノイズである。
【0049】
図4に戻り、ステップS114を説明する。
ステップS114は、ステップS111で斑点状ノイズが選択された場合に実行される。
【0050】
ステップS114において、斑点状ノイズ生成部114は斑点状ノイズを生成する。
【0051】
斑点状ノイズは以下のように生成される。
斑点状ノイズ生成部114は、斑点パラメータのパラメータ値を用いて斑点状ノイズを生成する。
斑点パラメータは、長半径、短半径、振幅および幾何学変換パラメータである。
幾何学変換パラメータの例は、アフィン変換パラメータである。幾何学変換には、多項式変換、平行移動、拡大および縮小などの変換が含まれる。平行移動、拡大および縮小は、アフィン変換パラメータを減らすことで実現される。
【0052】
斑点パラメータのパラメータ値は、斑点パラメータと共に決められるノイズ数と同じ数だけ用意される。
【0053】
斑点パラメータのパラメータ値は以下のように決められる。
例えば、利用者が模擬ノイズ付与装置100に対してパラメータごとにパラメータ値を指定する。斑点状ノイズ生成部114は指定されたパラメータ値を使用する。
例えば、斑点状ノイズ生成部114は各パラメータのパラメータ値をランダムに算出する。具体的には、斑点状ノイズ生成部114は、パラメータごとに、任意の確率分布に従って乱数を生成し、生成された乱数を使ってパラメータ値を算出する。
【0054】
斑点状ノイズf(x’,y’)は以下の式で表される。
「α」は、長半径である。
「β」は、短半径である。
「A」は、振幅である。
(a,b,c,d,e,f)は、アフィン変換パラメータである。
「n」は、斑点状ノイズの数である。
【0055】
【数4】
【0056】
斑点状ノイズは、以下のように2値化されたノイズであってもよい。
【0057】
【数5】
【0058】
図7に、斑点状ノイズが含まれる画像を示す。
(1)、(2)および(3)の画像のそれぞれに含まれる複数の白い楕円が斑点状ノイズである。
【0059】
図4に戻り、説明を続ける。
ステップS112からステップS114の順番は、変更してもよい。
ステップS112からステップS114は並行して実行されてもよい。
【0060】
図3に戻り、ステップS120から説明を続ける。
ステップS120において、模擬ノイズ補正部120は模擬ノイズを補正する。
具体的には、模擬ノイズ補正部120は、模擬ノイズの輝度を模擬ノイズの中の位置に応じて変更する。
【0061】
模擬ノイズの輝度は以下のように変更される。
模擬ノイズ補正部120は、周期波形と疑似ランダム波形の少なくともいずれかを模擬ノイズに重畳する。
【0062】
周期波形は以下のように重畳される。正弦波は周期波形の例である。
模擬ノイズ補正部120は、正弦波を生成し、生成した正弦波を模擬ノイズに重畳する。
これにより、輝度値が周期性をもって変化する模擬ノイズが生成される。つまり、模擬ノイズの中で輝度の変化が一定の位置間隔で繰り返される。
【0063】
疑似ランダム波形は以下のように重畳される。
模擬ノイズ補正部120は、勾配ノイズを生成し、勾配ノイズから疑似ランダム波形を抽出し、疑似ランダム波形を模擬ノイズに重畳する。
これにより、輝度値が非周期性をもって変化する模擬ノイズが生成される。つまり、模擬ノイズの中で輝度の変化が一定の位置間隔で繰り返されない。
【0064】
勾配ノイズの例は、パーリンノイズ、ウェーブレットノイズおよびシンプレックスノイズである。
【0065】
複数の勾配ノイズが模擬ノイズに重畳されてもよい。これにより、模擬ノイズにおける輝度値の非周期性およびランダム性が向上する。
複数の勾配ノイズは、互いに同じ種類の勾配ノイズであり、振幅と周波数の組が互いに異なる。
【0066】
図8および図9に基づいて、線状ノイズにパーリンノイズを重畳する例を説明する。線状ノイズは模擬ノイズの一例である。パーリンノイズは勾配ノイズの一例である。
図8は、画像化された2次元のパーリンノイズを示す。
まず、模擬ノイズ補正部120は、2次元のパーリンノイズから任意の切り口で1次元のパーリンノイズを抽出する。
図9は、パーリンノイズの1次元波形を示す。パーリンノイズの1次元波形は、1次元のパーリンノイズの中の各位置の輝度値を示す。
そして、模擬ノイズ補正部120は、抽出した1次元のパーリンノイズを線状ノイズに重畳する。具体的には、模擬ノイズ補正部120は、線状ノイズに1次元のパーリンノイズを乗算する。
【0067】
図10に、パーリンノイズが重畳された模擬ノイズを含んだ画像を示す。
(1)は、パーリンノイズが重畳された線状ノイズの例である。
(2)は、パーリンノイズが重畳された網目状ノイズの例である。
(3)は、パーリンノイズが重畳された線状ノイズの例である。
【0068】
模擬ノイズが網目状ノイズである場合、2次元のパーリンノイズから抽出され網目状ノイズに重畳される1次元のパーリンノイズの数は、網目状ノイズのノイズ幅の行数と同じである。網目状ノイズのノイズ幅と同じ幅のパーリンノイズが2次元パーリンノイズから抽出され網目状ノイズに重畳されてもよい。
模擬ノイズが斑点状ノイズである場合、1次元のパーリンノイズは斑点部分にだけ重畳される。
【0069】
模擬ノイズ補正部120は、正弦波が重畳された模擬ノイズと勾配ノイズが重畳された模擬ノイズを組み合わせて補正後の模擬ノイズを生成してもよい。
【0070】
図3に戻り、ステップS130を説明する。
ステップS130において、模擬ノイズ重畳部130は、補正された模擬ノイズを背景画像に重畳してノイズ付与画像を生成する。
【0071】
背景画像は、例えば、ノイズを含まない正常な画像である。
正常な画像は、例えば、地球を周回する観測衛星から同じ場所を複数回観測して得られた複数の観測画像から選択される。
【0072】
具体的には、模擬ノイズ重畳部130は、重畳パラメータのパラメータ値に基づいて模擬ノイズを背景画像に重畳する。
重畳パラメータは、重畳中心位置および輝度値オフセットである。
【0073】
重畳パラメータのパラメータ値は以下のように決められる。
例えば、利用者が模擬ノイズ付与装置100に対してパラメータごとにパラメータ値を指定する。模擬ノイズ重畳部130は指定されたパラメータ値を使用する。
例えば、模擬ノイズ重畳部130は各パラメータのパラメータ値をランダムに算出する。具体的には、模擬ノイズ重畳部130は、パラメータごとに、任意の確率分布に従って乱数を生成し、生成された乱数を使ってパラメータ値を算出する。
【0074】
模擬ノイズは背景画像に以下のように重畳される。
まず、模擬ノイズ重畳部130は、模擬ノイズの中の各位置の輝度値に輝度値オフセットを加算する。
そして、模擬ノイズ重畳部130は、背景画像の中の重畳中心位置に模擬ノイズの中心を合わせ、模擬ノイズを背景画像に重畳する。具体的には、模擬ノイズ重畳部130は、模擬ノイズを背景画像に乗算する。
これにより、ノイズ付与画像が生成される。
【0075】
図11に、ノイズ付与画像の例を示す。
(1)、(2)および(3)のノイズ付与画像は、互いに重畳中心位置が異なる。
(1)の重畳中心位置は左寄りである。(1)では、背景画像の中央から左寄りの位置に模擬ノイズの中心を合わせて模擬ノイズが背景画像に重畳されている。
(2)の重畳中心位置は中央である。(2)では、背景画像の中央に模擬ノイズの中心を合わせて模擬ノイズが背景画像に重畳されている。
(3)の重畳中心位置は右寄りである。(3)では、背景画像の中央から右寄りの位置に模擬ノイズの中心を合わせて模擬ノイズが背景画像に重畳されている。
【0076】
図12に、ノイズ付与画像の例を示す。
(1)、(2)および(3)のノイズ付与画像は、互いに輝度値オフセットが異なる。
(1)の輝度値オフセットは背景画像の中の最大輝度値と同じである。(1)では、背景画像の中の最大輝度値が模擬ノイズの中の各位置の輝度値に加算され、模擬ノイズが背景画像に重畳されている。
(2)の輝度値オフセットは背景画像の平均輝度値と同じである。(1)では、背景画像の平均輝度値が模擬ノイズの中の各位置の輝度値に加算され、模擬ノイズが背景画像に重畳されている。
(3)の輝度値オフセットは指定された輝度値である。(1)では、指定された輝度値が模擬ノイズの中の各位置の輝度値に加算され、模擬ノイズが背景画像に重畳されている。
【0077】
図3に戻り、説明を続ける。
ステップS130の後、模擬ノイズ付与方法の処理は終了する。
【0078】
このように、模擬ノイズ付与方法によってノイズ付与画像が生成される。
ノイズ付与画像は、ノイズ検出器を生成するための機械学習で教師データとして使用される。
ノイズ検出器は、観測画像に含まれるノイズを検出する。
観測画像は、飛翔体からの観測によって得られる画像である。飛翔体の例は航空機および人工衛星である。
飛翔体には、電磁波を放射して観測を実施する観測装置が備えられる。観測装置の例は放射計およびレーダである。
【0079】
***実施例の説明***
模擬ノイズ付与装置100は、ノイズ検出システム200で利用される。
ノイズ検出システム200は、観測画像からノイズを検出するためのシステムである。
【0080】
図13に基づいて、ノイズ検出システム200を説明する。
ノイズ検出システム200は、模擬ノイズ付与装置100とノイズ検出装置210を備える。
ノイズ検出装置210は、プロセッサとメモリと補助記憶装置と通信装置と入出力インタフェースといったハードウェアを備えるコンピュータである。
ノイズ検出装置210は、機械学習部211とノイズ検出器212とノイズ検出部213といった要素を備える。これらの要素はソフトウェアで実現される。
【0081】
ノイズ検出システム200の動作の手順はノイズ検出方法に相当する。
ノイズ検出システム200の動作の手順はノイズ検出プログラムによる処理の手順に相当する。ノイズ検出プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0082】
模擬ノイズ付与装置100は、1つ以上の背景画像を使って複数のノイズ付与画像を生成する。
機械学習部211は、複数のノイズ付与画像に対して機械学習を行ってノイズ検出器212を生成する。ノイズ検出器212は学習済みモデルに相当する。
ノイズ検出部213は、ノイズ検出器212を使って観測画像に含まれるノイズを検出する。例えば、ノイズ検出部213は、観測画像を入力にして、ノイズ検出器212である学習済みモデルを演算する。
これにより、検出結果が得られる。検出結果は、例えば、ノイズの有無および観測画像の中のノイズの位置を示す。
【0083】
***実施の形態1の効果***
模擬ノイズ付与装置100は、ノイズ自体の形状(輝度値)を勾配ノイズで補正する。これにより、本物のノイズに近い疑似ノイズ(線状ノイズ、網目状ノイズ、斑点状ノイズ)を生成することができる。
図14に、周波数干渉ノイズを含んだ画像の例を示す。
(1)、(2)および(3)の画像は、高性能マイクロ波放射計(AMSR2)を用いた観測によって得られる画像である。それぞれの画像は、周波数干渉ノイズを含んでいる。
模擬ノイズ付与装置100は、図10に示すようなノイズ付与画像を生成する。図10のノイズ付与画像は図14の画像と比べて遜色がない。
このように、模擬ノイズ付与装置100は、周波数ノイズを含んだ実際の画像と比べて遜色ないノイズ付与画像を生成できる。
【0084】
周波数干渉によるノイズを判定するために学習済みモデルが使用される。学習済みモデルは、多くの教師データを用意して機械学習を実行することによって生成される。この多くの教師データを用意するために多くの時間を要していた。
模擬ノイズ付与装置100は、本物のノイズに近い疑似ノイズを多量にかつ短時間で生成することができる。
そのため、模擬ノイズ付与装置100を使用することにより、多くの教師データを用意するための時間を短縮することができる。
【0085】
***実施の形態1のまとめ***
模擬ノイズ付与装置100は、線状、面状または斑点状のノイズを補正して模擬ノイズを生成する。
周波数干渉によるノイズには、例えば、線状に伸びるノイズと網目状に広がるノイズがある。そして、一定の明るさを持っているノイズだけでなく、周期的あるいは非周期的に明るさが変化するノイズがある。
模擬ノイズ付与装置100は正弦波を重畳して模擬ノイズを補正する。これにより、周期的に明るさが変化する模擬ノイズが生成される。
模擬ノイズ付与装置100は、勾配ノイズ(パーリンノイズ、ウェーブレットノイズ、シンプレックスノイズ)を重畳して模擬ノイズを補正する。これにより、非周期的に明るさが変化する模擬ノイズが生成される。
【0086】
模擬ノイズ付与装置100は、衛星画像に含まれる周波数干渉ノイズを模擬する。周波数ノイズを模擬するために、勾配ノイズを利用してノイズ形状の補正が実行される。
勾配ノイズ(特にパーリンノイズ)は、コンピューターグラフィックスで疑似テクスチャを生成する際に広く一般的に使われている。
しかし、勾配ノイズが模擬ノイズの輝度値を補正する用途で利用されることはなかった。
一方、模擬ノイズ付与装置100は、ノイズ自体の輝度値の揺らぎを表現する用途で勾配ノイズを利用する。
【0087】
勾配ノイズの利用には、以下のような利点がある。
勾配ノイズを利用しなければ、ノイズ判定の機械学習(特にCNN)においてノイズの特徴量を過学習してしまう可能性が高い。CNNはConvolutional Neural Networkの略称である。
線状または面状のノイズが持つ周波数は限定される。勾配ノイズを利用することで、ノイズに複数の周波数を持たせることができる。そのため、機械学習において、複数の周波数を持つノイズに適応して適切に学習を進めることができる。
【0088】
***実施の形態1の補足***
実施の形態1は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態1は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【0089】
ノイズ検出システム200は、1台のコンピュータで実現されても構わない。
模擬ノイズ付与装置100およびノイズ検出装置210の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
模擬ノイズ付与装置100およびノイズ検出装置210の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
【符号の説明】
【0090】
100 模擬ノイズ付与装置、101 プロセッサ、102 メモリ、103 補助記憶装置、104 通信装置、105 入出力インタフェース、110 模擬ノイズ生成部、111 ノイズパターン選択部、112 線状ノイズ生成部、113 網目状ノイズ生成部、114 斑点状ノイズ生成部、120 模擬ノイズ補正部、130 模擬ノイズ重畳部、190 記憶部、200 ノイズ検出システム、210 ノイズ検出装置、211 機械学習部、212 ノイズ検出器、213 ノイズ検出部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14