ホーム > 特許ランキング > キヤノン電子株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025012546
(43)【公開日】2025-01-24
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G06T 5/70 20240101AFI20250117BHJP
G06T 7/00 20170101ALI20250117BHJP
H04N 23/60 20230101ALI20250117BHJP
【ＦＩ】
G06T5/00 705
G06T7/00 350B
H04N23/60 500
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023115444
(22)【出願日】2023-07-13
(71)【出願人】
【識別番号】000104652
【氏名又は名称】キヤノン電子株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】日高 直哉
【テーマコード（参考）】
5B057
5C122
5L096
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE11
5B057CE16
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC36
5B057DC40
5C122EA22
5C122FA11
5C122FH18
5C122HA46
5C122HB01
5L096AA02
5L096DA01
5L096EA05
5L096KA04
5L096KA15
(57)【要約】
【課題】従来よりも簡単でかつ精度よくノイズを低減可能な学習モデルを提供する。
【解決手段】画像処理装置は、所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する。抽出手段は、所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する。合成手段は、教師画像に対してノイズ画像を合成して生徒画像を生成する。学習手段は、学習モデルに生徒画像を入力として与えて学習モデルを学習させる。
【選択図】図７
【解決手段】画像処理装置は、所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する。抽出手段は、所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する。合成手段は、教師画像に対してノイズ画像を合成して生徒画像を生成する。学習手段は、学習モデルに生徒画像を入力として与えて学習モデルを学習させる。
【選択図】図７
【特許請求の範囲】
【請求項1】
所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する画像処理装置であって、
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出手段と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成手段と、
前記学習モデルに前記生徒画像を入力として与えて前記学習モデルを学習させる学習手段と、
を有する、画像処理装置。
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出手段と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成手段と、
前記学習モデルに前記生徒画像を入力として与えて前記学習モデルを学習させる学習手段と、
を有する、画像処理装置。
【請求項2】
前記教師画像は、当該教師画像のサイズより小さな複数の部分画像から構成されており、
前記合成手段は、前記教師画像を構成する前記複数の部分画像のそれぞれに対して、前記所定の撮像装置により撮像された前記複数の画像からそれぞれ一つずつ取得された複数のノイズ画像のうち、いずれか一つを合成することで、前記生徒画像を生成する、請求項１に記載の画像処理装置。
前記合成手段は、前記教師画像を構成する前記複数の部分画像のそれぞれに対して、前記所定の撮像装置により撮像された前記複数の画像からそれぞれ一つずつ取得された複数のノイズ画像のうち、いずれか一つを合成することで、前記生徒画像を生成する、請求項１に記載の画像処理装置。
【請求項3】
前記合成手段は、前記複数の部分画像のそれぞれに対して適用されるノイズ画像を、前記複数のノイズ画像からランダムに選択する、請求項２に記載の画像処理装置。
【請求項4】
前記複数の部分画像のそれぞれに対して適用される各ノイズ画像は重複しないように選択される、請求項３に記載の画像処理装置。
【請求項5】
一つの生徒画像を生成するために使用される複数のノイズ画像を抽出される前記複数の画像は、それぞれ同一の撮像条件で前記所定の撮像装置により取得される、請求項１に記載の画像処理装置。
【請求項6】
前記撮像条件は、前記所定の撮像装置の温度、感度、および露光時間のうちの少なくとも一つを含む、請求項５に記載の画像処理装置。
【請求項7】
前記学習モデルに入力される画像は、モザイク画像であり、
前記学習モデルから出力される出力画像は、前記モザイク画像に対応するデモザイク画像である、請求項１に記載の画像処理装置。
前記学習モデルから出力される出力画像は、前記モザイク画像に対応するデモザイク画像である、請求項１に記載の画像処理装置。
【請求項8】
前記モザイク画像は、ベイヤー画像である、請求項７に記載の画像処理装置。
【請求項9】
前記ベイヤー画像は、ＲＡＷ画像である、請求項８に記載の画像処理装置。
【請求項10】
前記合成手段は、
前記教師画像に対して前記ノイズ画像を合成して第一画像を生成し、
前記第一画像に対して逆トーンマッピング処理を適用して第二画像を生成し、
前記第二画像に対して逆ガンマ補正を適用して第三画像を生成し、
前記第三画像に対して逆色変換を適用して第四画像を生成し、
前記第四画像に対して逆ホワイトバランス処理を適用して第五画像を生成し、
前記第五画像に対してモザイク化を適用して前記モザイク画像である前記生徒画像を生成する、
請求項７に記載の画像処理装置。
前記教師画像に対して前記ノイズ画像を合成して第一画像を生成し、
前記第一画像に対して逆トーンマッピング処理を適用して第二画像を生成し、
前記第二画像に対して逆ガンマ補正を適用して第三画像を生成し、
前記第三画像に対して逆色変換を適用して第四画像を生成し、
前記第四画像に対して逆ホワイトバランス処理を適用して第五画像を生成し、
前記第五画像に対してモザイク化を適用して前記モザイク画像である前記生徒画像を生成する、
請求項７に記載の画像処理装置。
【請求項11】
前記学習手段において前記出力画像と比較される比較用画像を前記教師画像から生成する生成手段をさらに有し、
前記生成手段は、
前記教師画像に対して逆トーンマッピング処理を適用して第六画像を生成し、
前記第六画像に対して逆ガンマ補正を適用して第七画像を生成し、
前記第七画像に対して逆色変換を適用して第八画像を生成し、
前記第八画像に対して逆ホワイトバランス処理を適用して前記比較用画像を生成する、
請求項１０に記載の画像処理装置。
前記生成手段は、
前記教師画像に対して逆トーンマッピング処理を適用して第六画像を生成し、
前記第六画像に対して逆ガンマ補正を適用して第七画像を生成し、
前記第七画像に対して逆色変換を適用して第八画像を生成し、
前記第八画像に対して逆ホワイトバランス処理を適用して前記比較用画像を生成する、
請求項１０に記載の画像処理装置。
【請求項12】
前記合成手段は、
前記教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し、
前記第一画像に対して逆ガンマ補正を適用して第二画像を生成し、
前記第二画像に対して逆色変換を適用して第三画像を生成し、
前記第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し、
前記第四画像に対してモザイク化を適用して第五画像を生成し、
前記第五画像に対して前記ノイズ画像を合成して前記モザイク画像である前記生徒画像を生成する、
請求項７に記載の画像処理装置。
前記教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し、
前記第一画像に対して逆ガンマ補正を適用して第二画像を生成し、
前記第二画像に対して逆色変換を適用して第三画像を生成し、
前記第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し、
前記第四画像に対してモザイク化を適用して第五画像を生成し、
前記第五画像に対して前記ノイズ画像を合成して前記モザイク画像である前記生徒画像を生成する、
請求項７に記載の画像処理装置。
【請求項13】
前記合成手段は、
前記教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し、
前記第一画像に対して逆ガンマ補正を適用して第二画像を生成し、
前記第二画像に対して逆色変換を適用して第三画像を生成し、
前記第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し、
前記第四画像に対してモザイク化を適用して前記モザイク画像である前記生徒画像を生成し、
前記ノイズ画像は、前記第一画像、前記第二画像、前記第三画像、または、前記第四画像のうちのいずれかに対して合成される、
請求項７に記載の画像処理装置。
前記教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し、
前記第一画像に対して逆ガンマ補正を適用して第二画像を生成し、
前記第二画像に対して逆色変換を適用して第三画像を生成し、
前記第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し、
前記第四画像に対してモザイク化を適用して前記モザイク画像である前記生徒画像を生成し、
前記ノイズ画像は、前記第一画像、前記第二画像、前記第三画像、または、前記第四画像のうちのいずれかに対して合成される、
請求項７に記載の画像処理装置。
【請求項14】
前記所定の撮像装置により取得される画像は矩形の画像であり、
前記ノイズ画像は、前記矩形の画像において短辺または長辺と平行に存在する矩形のオプティカルブラック領域から抽出される、請求項１に記載の画像処理装置。
前記ノイズ画像は、前記矩形の画像において短辺または長辺と平行に存在する矩形のオプティカルブラック領域から抽出される、請求項１に記載の画像処理装置。
【請求項15】
前記矩形のオプティカルブラック領域の面積は前記ノイズ画像の面積よりも大きく、
前記抽出手段は、
前記矩形のオプティカルブラック領域から抽出される前記ノイズ画像の位置をランダムに決定し、
前記矩形のオプティカルブラック領域において前記決定された位置から前記ノイズ画像を抽出する、請求項１４に記載の画像処理装置。
前記抽出手段は、
前記矩形のオプティカルブラック領域から抽出される前記ノイズ画像の位置をランダムに決定し、
前記矩形のオプティカルブラック領域において前記決定された位置から前記ノイズ画像を抽出する、請求項１４に記載の画像処理装置。
【請求項16】
前記所定の撮像装置は、人工衛星に搭載されるカメラであり、
前記ノイズには、宇宙線が前記所定の撮像装置に入射することにより発生する輝点ノイズを含む、請求項１に記載の画像処理装置。
前記ノイズには、宇宙線が前記所定の撮像装置に入射することにより発生する輝点ノイズを含む、請求項１に記載の画像処理装置。
【請求項17】
入力画像に含まれるノイズを低減するノイズ低減装置であって、
請求項１から１６のいずれか一項に記載の画像処理装置により生成された学習済みの前記学習モデルに対して、前記所定の撮像装置により取得された画像を入力画像として入力する入力手段と、
前記入力手段から入力された前記入力画像に対応する出力画像を前記学習モデルから取得する取得手段と、
を有するノイズ低減装置。
請求項１から１６のいずれか一項に記載の画像処理装置により生成された学習済みの前記学習モデルに対して、前記所定の撮像装置により取得された画像を入力画像として入力する入力手段と、
前記入力手段から入力された前記入力画像に対応する出力画像を前記学習モデルから取得する取得手段と、
を有するノイズ低減装置。
【請求項18】
光学系と、
前記光学系を通じて入射する光を画像信号に変換する撮像素子と、
前記撮像素子により取得された画像信号に対応する画像からノイズを低減する、請求項１７に記載のノイズ低減装置と、
を有し、
前記撮像素子の長辺は、前記光学系のイメージサークルの直径よりも大きい、撮像装置。
前記光学系を通じて入射する光を画像信号に変換する撮像素子と、
前記撮像素子により取得された画像信号に対応する画像からノイズを低減する、請求項１７に記載のノイズ低減装置と、
を有し、
前記撮像素子の長辺は、前記光学系のイメージサークルの直径よりも大きい、撮像装置。
【請求項19】
画像処理装置により実行され、所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する、学習方法であって、
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出工程と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成工程と、
前記学習モデルに前記生徒画像を入力として与えて前記学習モデルを学習させる学習工程と、
を有する、学習方法。
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出工程と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成工程と、
前記学習モデルに前記生徒画像を入力として与えて前記学習モデルを学習させる学習工程と、
を有する、学習方法。
【請求項20】
コンピュータを請求項１から１６のいずれか一項に記載の画像処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
デジタルカメラ等により取得された画像にはノイズが含まれることがある。従来、このようなノイズはデジタルフィルタなどにより低減されていた。近年、学習モデルにノイズを学習させ、学習済みの学習モデルを用いて画像内のノイズを低減することが提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－０８６２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１によれば、教師画像に対して付加されるノイズをＩＳＯ感度に基づき演算し、演算により求められたノイズを教師画像に対して付加して訓練画像（生徒画像）を生成することが提案されている。これにより、多数の生徒画像が得られる利点がある。一方で、撮像素子の温度に依存して発生するノイズ（熱雑音）や宇宙線などの放射線の入射により発生する輝点ノイズは、撮像素子の製品個体差に依存しうる。個体差ごとに、ノイズの演算式を用意することは、きわめて困難である。そこで、本発明は、従来よりも簡単でかつ精度よくノイズを低減可能な学習モデルを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明は、たとえば、
所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する画像処理装置であって、
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出手段と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成手段と、
前記学習モデルに前記生徒画像を入力として与え、前記学習モデルから出力される出力画像と前記教師画像との差分が小さくなるように前記学習モデルを学習させる学習手段と、
を有する、画像処理装置を提供する。
所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する画像処理装置であって、
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出手段と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成手段と、
前記学習モデルに前記生徒画像を入力として与え、前記学習モデルから出力される出力画像と前記教師画像との差分が小さくなるように前記学習モデルを学習させる学習手段と、
を有する、画像処理装置を提供する。
【発明の効果】
【0006】
本発明によれば、従来よりも簡単でかつ精度よくノイズを低減可能な学習モデルが提供される。
【図面の簡単な説明】
【0007】
【図1】画像処理システムを説明する図
【図2】撮像装置を説明する図
【図3】情報処理装置を説明する図
【図4】現像部を説明する図
【図5】教師画像生成装置を説明する図
【図6】学習処理装置を説明する図
【図7】生徒画像生成装置を説明する図
【図8】デモザイク処理を説明する図
【図9】ノイズ領域の切り出し方法を説明する図
【図10】ノイズ領域の切り出し方法を説明する図
【図11】ノイズの付与方法を説明する図
【図12】ノイズの付与方法を説明する図
【図13】ノイズの付与方法を説明する図
【図14】学習方法を説明する図
【図15】生徒画像の生成方法を説明する図
【図16】生徒画像生成装置を説明する図
【図17】効果を説明する図
【発明を実施するための形態】
【0008】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【0009】
（１）画像処理システム
図１は、画像処理システムを示している。撮像装置１００は、静止画像または動画像を取得するデジタルスチルカメラ、デジタルビデオカメラ、または、監視カメラなどである。撮像装置１００は、人工衛星または宇宙船に搭載されてもよい。ノイズ画像群１０１は、撮像装置１００により取得される複数のノイズ画像を含む。なお、複数の撮像装置１００が存在する場合、複数の撮像装置１００のそれぞれについて個別にノイズ画像群１０１が生成される。元画像セット１０２は、複数のカラー画像（例：ｓＲＧＢ画像やデバイスＲＧＢ形式の画像）からなるデータセットである。このデータセットは、たとえば、インターネット上で提供されているフリー素材であってもよい。なお、デバイスＲＧＢ形式の画像とは、ｓＲＧＢ形式の画像が、モニターなどで表示されるＲＧＢ色域に調整されたものを指す。
図１は、画像処理システムを示している。撮像装置１００は、静止画像または動画像を取得するデジタルスチルカメラ、デジタルビデオカメラ、または、監視カメラなどである。撮像装置１００は、人工衛星または宇宙船に搭載されてもよい。ノイズ画像群１０１は、撮像装置１００により取得される複数のノイズ画像を含む。なお、複数の撮像装置１００が存在する場合、複数の撮像装置１００のそれぞれについて個別にノイズ画像群１０１が生成される。元画像セット１０２は、複数のカラー画像（例：ｓＲＧＢ画像やデバイスＲＧＢ形式の画像）からなるデータセットである。このデータセットは、たとえば、インターネット上で提供されているフリー素材であってもよい。なお、デバイスＲＧＢ形式の画像とは、ｓＲＧＢ形式の画像が、モニターなどで表示されるＲＧＢ色域に調整されたものを指す。
【0010】
情報処理装置１１０は、パーソナルコンピュータ（ＰＣ）などのコンピュータである。図１では、包括的に１つの情報処理装置１１０が示されているが、実際には情報処理装置１１０が複数のコンピュータにより形成されていてもよい。情報処理装置１１０は、複数の機能（生徒画像生成装置１１１、教師画像生成装置１１２、学習処理装置１１５および画像処理装置１１７）を有する。これらの複数の機能が複数のコンピュータにより実現されてもよい。
【0011】
生徒画像生成装置１１１は、元画像セット１０２とノイズ画像群１０１とから生徒画像群１１３を生成する。生徒画像群１１３は、撮像装置１００により取得されたノイズを付与された複数のカラー画像を含む。
【0012】
教師画像生成装置１１２は、元画像セット１０２から教師画像群１１４を生成する。なお、元画像セット１０２がデモザイクＲＧＢ形式であった場合のように、元画像セット１０２が教師画像群１１４としてそのまま使用できる場合は、教師画像生成装置１１２が省略される。
【0013】
学習処理装置１１５は、生徒画像群１１３を生徒画像として入力し、教師画像群１１４を教師画像として入力し、学習モデル１１６を生成する。たとえば、生徒画像群１１３に含まれる第一生徒画像と、教師画像群１１４に含まれる第一教師画像とは、それぞれ共通の元画像（元画像セット１０２に含まれる一つの元画像）から生成されている。学習処理装置１１５は、学習モデル１１６に第一生徒画像を入力することで第一出力画像を生成し、第一出力画像と第一教師画像との誤差を誤差関数により求め、誤差が最小となるように学習モデル１１６内の係数を更新する。この更新処理は、生徒画像群１１３に含まれるＮ個の生徒画像と、教師画像群１１４に含まれ、それぞれＮ個の生徒画像のうちの一つに対応するＮ個の教師画像と、について実行される。これにより、学習済みの学習モデル１１６が生成される。
【0014】
画像処理装置１１７は、学習済みの学習モデル１１６を用いて入力画像に含まれるノイズを低減して出力画像を生成する。つまり、画像処理装置１１７は、ノイズ低減機能を有している。画像処理装置１１７は、撮像装置１００であってもよい。つまり、撮像装置１００に学習済みの学習モデル１１６が書き込まれ、撮像装置１００においてノイズ低減処理が実行されてもよい。
【0015】
なお、元画像セット１０２がデバイスＲＧＢ形式の画像データであり、生徒画像群１１３がＲＡＷ形式の画像データであり、かつ、教師画像群１１４がデバイスＲＧＢ形式またはデモザイクＲＧＢ形式の画像データである場合、学習モデル１１６は、デモザイク化（現像）処理とノイズ低減処理とを同時に実行可能なモデルとなる。学習モデル１１６は、ノイズ低減処理を実現できれば十分であるが、以下では、説明の便宜上、学習モデル１１６が、デモザイク化（現像）処理とノイズ低減処理とを一括して実行する。
【0016】
（２）撮像装置の構造
図２は撮像装置１００の構造を示している。ＣＰＵ２０１は、メモリ２０２に記憶されている制御プログラムにしたがって撮像装置１００を制御するプロセッサである。ＣＰＵ２０１の画像処理機能等は特定用途集積回路（ＡＳＩＣ）などのハードウエア回路によって実現されてもよい。レンズユニット２０５は、たとえば、光学レンズと、焦点調節機能と、ズーム機能とを有する。焦点調節機能とズーム機能は省略されてもよい。遮光ユニット２０６も、オプションであり、絞りやメカニカルシャッターなどの遮光機構を有している。遮光量は、遮光板または絞り羽根をモータ等により移動させることにより、調節されてもよい。撮像素子２０７は、ＣＭＯＳイメージセンサなどの、光信号を電気信号に変換する半導体素子である。温度センサ２０４は、撮像装置１００の温度、とりわけ、撮像素子２０７の温度を検知する。通信回路２０３は、情報処理装置１１０と通信するための通信回路である。通信回路２０３と、情報処理装置１１０とは直接通信してもよいし、アクセスポイントまたは基地局などを介して間接的に通信してもよい。制御回路２０８は、ＣＰＵ２０１からの指示に従ってレンズユニット２０５のピントまたは焦点距離、遮光ユニット２０６の遮光量、および、撮像素子２０７の露光時間（シャッタースピード）および感度などを制御する。ＣＰＵ２０１は、撮像素子２０７から出力される画像信号に基づきＲＡＷデータ２２１を生成し、メモリ２０２に格納する。メモリ２０２は、ＲＯＭ、ＲＡＭ、およびメモリカードなどを含みうる。ＣＰＵ２０１は、ＲＡＷデータ２２１を通信回路２０３により情報処理装置１１０へ送信してもよい。画像処理装置１１７が撮像装置１００に搭載されている場合、画像処理装置１１７は、モザイク画像（例：ＲＡＷデータ２２１）を現像し、デモザイクされたカラー画像（デバイスＲＧＢデータ２２２）を生成する。なお、デバイスＲＧＢデータ２２２は、デモザイクＲＧＢ形式の画像データであってもよい。また、ＣＰＵ２０１は、ＲＡＷデータ２２１を取得する際に適用した撮像条件（例：撮像装置１００の温度、感度、露光時間、焦点距離）を、ＲＡＷデータ２２１に関連付けて、メモリ２０２に保存する。以下において、ＲＡＷデータ２２１のファイルフォーマットは、画像データと撮像条件との両方を含むものとする。
図２は撮像装置１００の構造を示している。ＣＰＵ２０１は、メモリ２０２に記憶されている制御プログラムにしたがって撮像装置１００を制御するプロセッサである。ＣＰＵ２０１の画像処理機能等は特定用途集積回路（ＡＳＩＣ）などのハードウエア回路によって実現されてもよい。レンズユニット２０５は、たとえば、光学レンズと、焦点調節機能と、ズーム機能とを有する。焦点調節機能とズーム機能は省略されてもよい。遮光ユニット２０６も、オプションであり、絞りやメカニカルシャッターなどの遮光機構を有している。遮光量は、遮光板または絞り羽根をモータ等により移動させることにより、調節されてもよい。撮像素子２０７は、ＣＭＯＳイメージセンサなどの、光信号を電気信号に変換する半導体素子である。温度センサ２０４は、撮像装置１００の温度、とりわけ、撮像素子２０７の温度を検知する。通信回路２０３は、情報処理装置１１０と通信するための通信回路である。通信回路２０３と、情報処理装置１１０とは直接通信してもよいし、アクセスポイントまたは基地局などを介して間接的に通信してもよい。制御回路２０８は、ＣＰＵ２０１からの指示に従ってレンズユニット２０５のピントまたは焦点距離、遮光ユニット２０６の遮光量、および、撮像素子２０７の露光時間（シャッタースピード）および感度などを制御する。ＣＰＵ２０１は、撮像素子２０７から出力される画像信号に基づきＲＡＷデータ２２１を生成し、メモリ２０２に格納する。メモリ２０２は、ＲＯＭ、ＲＡＭ、およびメモリカードなどを含みうる。ＣＰＵ２０１は、ＲＡＷデータ２２１を通信回路２０３により情報処理装置１１０へ送信してもよい。画像処理装置１１７が撮像装置１００に搭載されている場合、画像処理装置１１７は、モザイク画像（例：ＲＡＷデータ２２１）を現像し、デモザイクされたカラー画像（デバイスＲＧＢデータ２２２）を生成する。なお、デバイスＲＧＢデータ２２２は、デモザイクＲＧＢ形式の画像データであってもよい。また、ＣＰＵ２０１は、ＲＡＷデータ２２１を取得する際に適用した撮像条件（例：撮像装置１００の温度、感度、露光時間、焦点距離）を、ＲＡＷデータ２２１に関連付けて、メモリ２０２に保存する。以下において、ＲＡＷデータ２２１のファイルフォーマットは、画像データと撮像条件との両方を含むものとする。
【0017】
（３）情報処理装置の構造
図３は情報処理装置１１０の構造を示している。ＣＰＵ３０１は記憶装置３０２に記憶されているプログラム３０６にしたがって情報処理装置１１０を制御する。ＣＰＵ３０１は、プログラム３０６を実行することで、生徒画像生成装置１１１、教師画像生成装置１１２、学習処理装置１１５、および、画像処理装置１１７を実現してもよい。通信回路３０３は、撮像装置１００と通信するための回路である。入力装置３０４は、ポインティングデバイスやキーボードなどであり、ユーザからの指示を受け付ける。表示装置３０５は、ユーザに対して情報を表示するディスプレイである。
図３は情報処理装置１１０の構造を示している。ＣＰＵ３０１は記憶装置３０２に記憶されているプログラム３０６にしたがって情報処理装置１１０を制御する。ＣＰＵ３０１は、プログラム３０６を実行することで、生徒画像生成装置１１１、教師画像生成装置１１２、学習処理装置１１５、および、画像処理装置１１７を実現してもよい。通信回路３０３は、撮像装置１００と通信するための回路である。入力装置３０４は、ポインティングデバイスやキーボードなどであり、ユーザからの指示を受け付ける。表示装置３０５は、ユーザに対して情報を表示するディスプレイである。
【0018】
記憶装置３０２は、たとえば、ＲＯＭ、ＲＡＭ、メモリカード、ソリッドステートドライブ（ＳＳＤ）、およびハードディスクドライブ（ＨＤＤ）を記憶するストレージデバイスである。記憶装置３０２は、さらに、ノイズ画像群１０１、元画像セット１０２、生徒画像群１１３、教師画像群１１４、および、学習モデル１１６を記憶してもよい。
【0019】
（４）画像処理装置の機能
図４は画像処理装置１１７が備える機能を示している。デモザイク部４１１は、ベイヤータイプのモザイク画像であるＲＡＷデータ２２１をデモザイク処理して、デモザイク化画像を生成する。デモザイク処理は、よく知られているように、周囲の同一色の画素の画素値から注目画素の画素値を補間演算する処理などを含む。ノイズ低減部４１２は、デモザイク化画像に含まれるノイズを低減する。このノイズは、撮像素子２０７とＣＰＵ２０１までの間に設けられる電気回路において生じるノイズを指す。たとえば、撮像素子２０７の熱に起因するノイズ、宇宙線などの放射線が撮像素子２０７に照射されることで生じるノイズ、アナログゲインのばらつきに起因するノイズ、セルの感度の差によって生じるノイズなど、様々なノイズを含みうる。また、ノイズ低減部４１２によってノイズが低減されれば、デモザイク化処理により生じうる偽色などのＣＰＵ２０１またはＣＰＵ３０１での処理中において、ノイズによって生じてしまう偽信号も低減されうる。本実施形態では、学習モデル１１６は、少なくとも、ノイズ低減部４１２として動作するが、デモザイク部４１１とノイズ低減部４１２との両方として動作してもよい。ノイズ低減部４１２はデモザイク化画像のノイズを低減してノイズ低減画像を生成する。
図４は画像処理装置１１７が備える機能を示している。デモザイク部４１１は、ベイヤータイプのモザイク画像であるＲＡＷデータ２２１をデモザイク処理して、デモザイク化画像を生成する。デモザイク処理は、よく知られているように、周囲の同一色の画素の画素値から注目画素の画素値を補間演算する処理などを含む。ノイズ低減部４１２は、デモザイク化画像に含まれるノイズを低減する。このノイズは、撮像素子２０７とＣＰＵ２０１までの間に設けられる電気回路において生じるノイズを指す。たとえば、撮像素子２０７の熱に起因するノイズ、宇宙線などの放射線が撮像素子２０７に照射されることで生じるノイズ、アナログゲインのばらつきに起因するノイズ、セルの感度の差によって生じるノイズなど、様々なノイズを含みうる。また、ノイズ低減部４１２によってノイズが低減されれば、デモザイク化処理により生じうる偽色などのＣＰＵ２０１またはＣＰＵ３０１での処理中において、ノイズによって生じてしまう偽信号も低減されうる。本実施形態では、学習モデル１１６は、少なくとも、ノイズ低減部４１２として動作するが、デモザイク部４１１とノイズ低減部４１２との両方として動作してもよい。ノイズ低減部４１２はデモザイク化画像のノイズを低減してノイズ低減画像を生成する。
【0020】
画像処理部４００は、ノイズ低減部４１２から出力される出力画像からカラー画像（デバイスＲＧＢデータ２２２）を生成するための画像処理を実行する。たとえば、画像処理部４００は、ホワイトバランス部４１３、色変換部４１４、γ補正部４１５、トーンマッピング部４１６などを有する。ただし、これは、一例であり、画像処理部４００は、これらのうち少なくとも一つを有していてもよいし、これらとは異なる画像処理機能を有していてもよい。あるいは、画像処理部４００が省略されてもよい。なお、画像処理部４００は、これらのうち少なくとも一つを有しているケースとは、たとえば、ホワイトバランス部４１３のみを有しているケースや、トーンマッピング部４１６を除く残りの三つの機能を有しているケースなどがある。
【0021】
以下では、一例として、画像処理部４００は、ホワイトバランス部４１３、色変換部４１４、γ補正部４１５、トーンマッピング部４１６を有するものとして説明される。
【0022】
ホワイトバランス部４１３は、ノイズ低減部４１２から出力される、ノイズを低減されたカラー画像（例：デモザイクＲＧＢ形式の画像データ）のホワイトバランスを調整する。なお、デモザイクＲＧＢ形式の画像データは、リニアＲＧＢ形式やｓＲＧＢ形式を含む、ノイズ低減部４１２から出力される画像データ（ホワイトバランス部４１３、色変換部４１４、γ補正部４１５、トーンマッピング部４１６で処理される前の画像データ）の形式を指す。色変換部４１４は、ホワイトバランスを調整されたカラー画像の色を変換する。たとえば、色変換部４１４は、色補正行列を用いて、入力されたカラー画像の色を補正（変換）する。ガンマ補正部４１５は、色変換部４１４から出力されるカラー画像の階調特性を補正する。トーンマッピング部４１６は、出力デバイスで色調を正確に再現するために、ガンマ補正部４１５から出力されるカラー画像に含まれる階調の範囲を求め、出力デバイスに応じた狭い範囲の色域にカラー画像の階調を再マッピングし、デバイスＲＧＢデータ２２２を生成する。
【0023】
（５）教師画像生成装置
図５は教師画像生成装置１１２の機能を示す。逆画像処理部５００は、元画像セット１０２から教師画像群１１４を生成するための画像処理を実行する。逆画像処理部５００は、画像処理部４００において実行される画像処理の逆変換処理を実行するように構成される。たとえば、逆画像処理部５００は、逆ホワイトバランス部５１３、逆色変換部５１４、逆ガンマ補正部５１５、逆トーンマッピング部５１６などを有する。ただし、これは、一例であり、逆画像処理部５００は、これらのうち少なくとも一つを有していてもよいし、これらとは異なる画像処理機能を有していてもよい。あるいは、逆画像処理部５００が省略さてもよい。いずれにしても逆画像処理部５００は、画像処理部４００と対になっており、画像処理部４００における画像処理に対する反対の画像処理（逆画像処理や逆変換と呼ばれてもよい）を実行するように構成されればよい。極端な場合、画像処理部４００が省略され、それに応じて逆画像処理部５００も省略される。
図５は教師画像生成装置１１２の機能を示す。逆画像処理部５００は、元画像セット１０２から教師画像群１１４を生成するための画像処理を実行する。逆画像処理部５００は、画像処理部４００において実行される画像処理の逆変換処理を実行するように構成される。たとえば、逆画像処理部５００は、逆ホワイトバランス部５１３、逆色変換部５１４、逆ガンマ補正部５１５、逆トーンマッピング部５１６などを有する。ただし、これは、一例であり、逆画像処理部５００は、これらのうち少なくとも一つを有していてもよいし、これらとは異なる画像処理機能を有していてもよい。あるいは、逆画像処理部５００が省略さてもよい。いずれにしても逆画像処理部５００は、画像処理部４００と対になっており、画像処理部４００における画像処理に対する反対の画像処理（逆画像処理や逆変換と呼ばれてもよい）を実行するように構成されればよい。極端な場合、画像処理部４００が省略され、それに応じて逆画像処理部５００も省略される。
【0024】
ここでは、一例として、教師画像生成装置１１２の反対の画像処理（逆画像処理や逆変換と呼ばれてもよい）は、基本的に、画像処理装置１１７におけるホワイトバランス部４１３、色変換部４１４、ガンマ補正部４１５およびトーンマッピング部４１６により実行される画像処理に対して反対の画像処理を実行する。学習モデル１１６により出力される出力画像は、デモザイク部４１１とノイズ低減部４１２とにより処理されたカラー画像（例：デモザイクＲＧＢ形式の画像データ）である。したがって、教師画像としては、ホワイトバランス部４１３、色変換部４１４、ガンマ補正部４１５およびトーンマッピング部４１６が作用する前のカラー画像（例：デモザイクＲＧＢ形式の画像データ）が必要となる。
【0025】
逆トーンマッピング部５１６は、入力される元画像セット１０２に含まれる一つ一つのカラー画像に対して逆トーンマッピングを実行する。逆ガンマ補正部５１５は、逆トーンマッピング部５１６から出力されるカラー画像に対して逆ガンマ補正を実行する。逆色変換部５１４は、逆ガンマ補正部５１５から出力されるカラー画像に対して逆色変換を実行する。逆ホワイトバランス部５１３は、逆色変換部５１４から出力されるカラー画像に対して逆ホワイトバランス処理を実行する。これにより、学習モデル１１６により出力される出力画像と比較可能な教師画像群１１４（例：デモザイクＲＧＢ形式の画像データ）が生成される。
【0026】
（６）学習処理装置
図６は学習処理装置１１５の機能を示している。学習モデル１１６は、ニューラルネットワークをベースとしており、入力層に与えられた生徒画像群１１３に基づき、出力層に出力画像群６１６を出力するモデルである。入力層と出力層との間には中間層（隠れ層）が設けられており、中間層には複数のノードが存在する。あるノードから次のノードにデータを渡すときに係数（重み）が乗算される。したがって、学習モデル１１６は、複数の係数（ニューラルネットワークにおける複数のノード間に適用される重み）の集合と理解されてもよい。モデル実行部６０１は、生徒画像群１１３を学習モデル１１６に入力して、出力画像群６１６を出力する。出力層から複数の画素（画素値）は、一つの出力画像を形成する。
図６は学習処理装置１１５の機能を示している。学習モデル１１６は、ニューラルネットワークをベースとしており、入力層に与えられた生徒画像群１１３に基づき、出力層に出力画像群６１６を出力するモデルである。入力層と出力層との間には中間層（隠れ層）が設けられており、中間層には複数のノードが存在する。あるノードから次のノードにデータを渡すときに係数（重み）が乗算される。したがって、学習モデル１１６は、複数の係数（ニューラルネットワークにおける複数のノード間に適用される重み）の集合と理解されてもよい。モデル実行部６０１は、生徒画像群１１３を学習モデル１１６に入力して、出力画像群６１６を出力する。出力層から複数の画素（画素値）は、一つの出力画像を形成する。
【0027】
誤差演算部６０２は、出力画像群６１６と教師画像群１１４とから誤差を求め、誤差を更新部６０３に渡す。なお、各誤差は、出力画像群６１６に含まれる一つの出力画像と、教師画像群１１４における一つの教師画像とから求められる。ここで、一つの出力画像の元になった入力画像（生徒画像）のさらに元になった元画像と、一つの教師画像の元になった元画像は同一である。つまり、つまり、生徒画像および教師画像は、共通の元画像の識別情報に関連付けられて管理されてもよい。
【0028】
更新部６０３は、誤差演算部６０２から出力される誤差が小さくなるように、学習モデル１１６内の係数を更新する。なお、誤差は一画素ずつ求められる。なお、学習の深度が進むにつれて、誤差は小さくなって行く。
【0029】
（７）生徒画像生成装置
図７は生徒画像生成装置の構造を示している。抽出部７００は、元画像セット１０２に含まれる各元画像に対して付与されるノイズ領域をノイズ画像群１０１から抽出する。抽出部７００は、たとえば、撮像条件取得部７０１、画像選択部７０２、領域サイズ取得部７０３およびノイズ領域切り出し部７０４から構成される。
図７は生徒画像生成装置の構造を示している。抽出部７００は、元画像セット１０２に含まれる各元画像に対して付与されるノイズ領域をノイズ画像群１０１から抽出する。抽出部７００は、たとえば、撮像条件取得部７０１、画像選択部７０２、領域サイズ取得部７０３およびノイズ領域切り出し部７０４から構成される。
【0030】
ノイズ画像群１０１に含まれる複数のノイズ画像のそれぞれは、撮像素子２０７においてそれぞれ暗電流のみが流れる素子から取得される画像である。暗電流の量は撮像装置１００の個体差と撮像条件とに依存して変化し得る。ノイズ画像群１０１に含まれる複数のノイズ画像のそれぞれが撮像装置１００により取得されたときの撮像条件は、同一であったり、類似していたり、全く異なっていたりする。そこで、より近い撮像条件で取得された複数のノイズ画像が必要となる。たとえば、ユーザが実際にノイズを低減したいと考えている撮像条件に対して近い撮像条件で取得された複数のノイズ画像が必要とされてもよい。撮像条件取得部７０１は、ノイズ画像群１０１に含まれる各ノイズ画像の撮像条件７１１を記憶装置３０２から取得する。ノイズ画像のファイルフォーマットが撮像条件を含むことができるファイルフォーマットである場合、撮像条件取得部７０１はそのファイルフォーマットからノイズ画像とともに撮像条件７１１を取得する。画像選択部７０２は、ノイズ画像群１０１に含まれる複数のノイズ画像のそれぞれの撮像条件７１１を比較し、撮像条件７１１が相互に同一または類似した複数（例：所定個数）のノイズ画像を選択する。領域サイズ取得部７０３は、ノイズ画像から切り出されるノイズ領域のサイズを取得する。なお、ノイズ領域のサイズは固定値であってもよいし、教師画像のサイズに応じて動的に決定されてもよい。
【0031】
ノイズ領域切り出し部７０４は、選択された各ノイズ画像からノイズ領域を切り出す。つまり、ノイズ領域のサイズは、ノイズ画像のサイズよりも小さい。
【0032】
ノイズ付与部７０５は、抽出部７００により抽出されたノイズ領域を元画像に付与することで生徒画像を生成する。これにより、元画像セット１０２に含まれる複数の元画像から、撮像装置１００に固有のノイズが付与された複数の生徒画像からなる生徒画像群１１３が生成される。
【0033】
なお、実際には、ノイズ付与部７０５から出力される画像はカラー画像（デバイスＲＧＢ）であることから、逆画像処理（線形化処理）とモザイク処理が必要となる。そのため、ノイズ付与部７０５の後段には、上述された逆トーンマッピング部５１６、逆ガンマ補正部５１５、逆色変換部５１４、逆ホワイトバランス部５１３に加え、モザイク部７０６が必要となる。逆トーンマッピング部５１６は、ノイズ付与部７０５から入力される、ノイズの付与されたカラー画像に対して逆トーンマッピングを実行する。逆ガンマ補正部５１５は、逆トーンマッピング部５１６から出力されるカラー画像に対して逆ガンマ補正を実行する。逆色変換部５１４は、逆ガンマ補正部５１５から出力されるカラー画像に対して逆色変換を実行する。逆ホワイトバランス部５１３は、逆色変換部５１４から出力されるカラー画像に対して逆ホワイトバランス処理を実行する。モザイク部７０６は、カラー画像をモザイク画像（べイヤー画像）に変換することで生徒画像を生成する。元画像セット１０２に含まれる複数の元画像について逆画像処理を適用することで、生徒画像群１１３が生成される。ただし、これは、一例であり、元画像セット１０２にＲＡＷ形式の画像情報が含まれている場合や元画像セット１０２がデモザイクＲＧＢ形式であった場合でもよい。これらの場合、逆画像処理部は、これらのうち少なくとも一つを有していてもよいし、これらとは異なる画像処理機能を有していてもよい。あるいは、逆画像処理部が省略さてもよい。いずれにしても逆画像処理部は、画像処理部と対になっており、画像処理部における画像処理に対する反対の画像処理（逆画像処理や逆変換と呼ばれてもよい）を実行するように構成されればよい。極端な場合、画像処理部が省略され、それに応じて逆画像処理部も省略されてもよい。
【0034】
（８）デモザイク処理
図８はデモザイク部４１１により実行されるデモザイク処理を示している。ベイヤー配列タイプのカラーフィルタを有する撮像素子２０７により生成されるＲＡＷデータ２２１はベイヤーが画像（モザイク画像）となる。ベイヤー画像ではＲ画素、Ｇ画素、Ｂ画素のそれぞれで抜けが生じる。そこで、現像処理（デモザイク処理）では、抜けている画素の画素値を周辺画素の画素値により補間演算する。これにより、カラー画像（例：デバイスＲＧＢデータ２２２）が得られる。補間演算の精度が低い場合、偽色が発生することがある。
図８はデモザイク部４１１により実行されるデモザイク処理を示している。ベイヤー配列タイプのカラーフィルタを有する撮像素子２０７により生成されるＲＡＷデータ２２１はベイヤーが画像（モザイク画像）となる。ベイヤー画像ではＲ画素、Ｇ画素、Ｂ画素のそれぞれで抜けが生じる。そこで、現像処理（デモザイク処理）では、抜けている画素の画素値を周辺画素の画素値により補間演算する。これにより、カラー画像（例：デバイスＲＧＢデータ２２２）が得られる。補間演算の精度が低い場合、偽色が発生することがある。
【0035】
（９）ノイズ画像の取得
図９はノイズ画像の取得方法を示している。[0]以下において「ノイズ画像」とはノイズを含む画像である。それに対して「ノイズ領域」は、ノイズ画像から切り出される、ノイズを含む画素領域であって、元画像のセットから生徒画像を生成する際に元画像に対して合成される画素領域である。なお、ノイズ領域はノイズ画像の一部であることから、ノイズ領域もノイズ画像と呼ばれてもよい。画素領域９００は、撮像素子２０７における複数の光電変換素子が配置された領域である。イメージサークル９０１は、レンズユニット２０５を通過してきた光が結像する領域である。イメージサークル９０１は、レンズユニット２０５の焦点距離に応じて変化する。単焦点タイプのレンズユニット２０５では、イメージサークル９０１のサイズはほぼ一定である。図９に示された事例では、イメージサークル９０１の外側に、光が照射されない画素領域が存在する。このような画素領域は、オプティカルブラック領域９０２と呼ばれることがある。オプティカルブラック領域９０２では光が照射されないことから、そこに存在する光電変換素子には暗電流しか流れない。つまり、オプティカルブラック領域９０２では、ノイズ成分のみからなる画像が生成されることになる。この例では、オプティカルブラック領域９０２から複数のノイズ領域９０３が切り出されている。図９では、オプティカルブラック領域９０２が画素領域９００の短辺と平行に存在しているが、画素領域９００の長辺と平行にオプティカルブラック領域９０２が存在していてもよい。
図９はノイズ画像の取得方法を示している。[0]以下において「ノイズ画像」とはノイズを含む画像である。それに対して「ノイズ領域」は、ノイズ画像から切り出される、ノイズを含む画素領域であって、元画像のセットから生徒画像を生成する際に元画像に対して合成される画素領域である。なお、ノイズ領域はノイズ画像の一部であることから、ノイズ領域もノイズ画像と呼ばれてもよい。画素領域９００は、撮像素子２０７における複数の光電変換素子が配置された領域である。イメージサークル９０１は、レンズユニット２０５を通過してきた光が結像する領域である。イメージサークル９０１は、レンズユニット２０５の焦点距離に応じて変化する。単焦点タイプのレンズユニット２０５では、イメージサークル９０１のサイズはほぼ一定である。図９に示された事例では、イメージサークル９０１の外側に、光が照射されない画素領域が存在する。このような画素領域は、オプティカルブラック領域９０２と呼ばれることがある。オプティカルブラック領域９０２では光が照射されないことから、そこに存在する光電変換素子には暗電流しか流れない。つまり、オプティカルブラック領域９０２では、ノイズ成分のみからなる画像が生成されることになる。この例では、オプティカルブラック領域９０２から複数のノイズ領域９０３が切り出されている。図９では、オプティカルブラック領域９０２が画素領域９００の短辺と平行に存在しているが、画素領域９００の長辺と平行にオプティカルブラック領域９０２が存在していてもよい。
【0036】
図１０は、図１で説明された遮光ユニット２０６により意図的に光を遮光することで、画素領域９００の全体をオプティカルブラック領域９０２にすることが可能であることを示している。図１０の事例では遮光ユニット２０６が必要になるものの、一回の撮像によって、より多くのサンプル（ノイズ領域９０３）を切り出し可能となる。
【0037】
（１０）ノイズの付与方法
図１１は、ノイズ画像１１００と元画像１１１０とからノイズが付与された生徒画像１１２０を生成することを示している。ここでは、元画像１１１０は論理的に複数の画素領域１１１１に分割されており、各画素領域１１１１のサイズは、ノイズ領域９０３のサイズに等しいと、仮定されている。ＣＰＵ３０１は、画素領域１１１１のサイズに基づき、ノイズ領域９０３の切り出しサイズを決定する。
図１１は、ノイズ画像１１００と元画像１１１０とからノイズが付与された生徒画像１１２０を生成することを示している。ここでは、元画像１１１０は論理的に複数の画素領域１１１１に分割されており、各画素領域１１１１のサイズは、ノイズ領域９０３のサイズに等しいと、仮定されている。ＣＰＵ３０１は、画素領域１１１１のサイズに基づき、ノイズ領域９０３の切り出しサイズを決定する。
【0038】
この例では、一つのノイズ画像１１００から複数のノイズ領域９０３が抽出される。複数のノイズ領域９０３はそれぞれ、元画像１１１０を構成する複数の画素領域１１１１のいずれかに対して合成される。複数のノイズ領域９０３と複数の画素領域１１１１との関係は、ランダムに決定されてもよいし、何らかのルールに基づいて決定されてもよい。ランダム化を採用することで、特定のノイズに対する過学習を抑制することが可能となろう。
【0039】
この例では、一つのノイズ画像１１００から複数のノイズ領域９０３が抽出されているが、これは、一例にすぎない。
【0040】
図１２は、一つのノイズ画像１１００からは一つのノイズ領域９０３のみが抽出されることを示している。図１２によれば、ノイズ画像１１００ａから一つのノイズ領域９０３ａが抽出されている。ノイズ画像１１００ｂから一つのノイズ領域９０３ｂが抽出されている。ノイズ画像１１００ｃから一つのノイズ領域９０３ｃが抽出されている。
【0041】
この場合、一つのノイズ画像１１００ａ、１１００ｂ、１１００ｃから抽出される一つのノイズ領域９０３ａ、９０３ｂ、９０３ｃの位置は、同一であってもよいし、異なってもよい。後者の場合、ノイズ領域９０３ａ、９０３ｂ、９０３ｃの位置は、重複しないように、ランダムに決定されてもよい。これも過学習を抑制することに役立つであろう。
【0042】
図１３が例示するように、複数のノイズ画像１１００ａ、１１００ｂ、１１００ｃ、...から抽出されるノイズ領域９０３の個数が異なってもよい。この例では、ノイズ画像１１００ａから二つのノイズ領域９０３ａ、９０３ｂが抽出されている。ノイズ画像１１００ｂから二つのノイズ領域９０３ｃ、９０３ｄが抽出されている。ノイズ画像１１００ｃから一つのノイズ領域９０３ｅが抽出されている。各ノイズ画像１１００から抽出されるノイズ領域９０３の位置は固定であってもよいし、異なっていてもよい。後者の場合、ランダムに抽出位置が決定されてもよい。
【0043】
このようにして、一つの元画像１１１０の全体にノイズ領域９０３が合成されることで、一つの生徒画像１１２０が完成する。ただし、実際には、この後に、逆画像処理とモザイク処理が適用されることで、生徒画像１１２０が完成する。
【0044】
（１１）フローチャート
図１４は、情報処理装置１１０のＣＰＵ３０１により実行される学習モデル１１６の学習処理を示すフローチャートである。
図１４は、情報処理装置１１０のＣＰＵ３０１により実行される学習モデル１１６の学習処理を示すフローチャートである。
【0045】
Ｓ１４０１でＣＰＵ３０１（生徒画像生成装置１１１、教師画像生成装置１１２）は記憶装置３０２から教師用の元画像セット１０２を取得する。
【0046】
Ｓ１４０２でＣＰＵ３０１（生徒画像生成装置１１１）は撮像装置１００からノイズ画像群１０１を取得する。
【0047】
Ｓ１４０３でＣＰＵ３０１（生徒画像生成装置１１１）は元画像セット１０２とノイズ画像群１０１とに基づき、生徒画像群１１３を生成する。Ｓ１４０３の詳細例は、図１５を用いて後述される。
【0048】
Ｓ１４０４でＣＰＵ３０１（教師画像生成装置１１２）は元画像セット１０２から比較用の教師画像群１１４を生成する。なお、Ｓ１４０４は、Ｓ１４０１とＳ１４０５との間で実行さればよい。Ｓ１４０４は、Ｓ１４０２およびＳ１４０３より前に実行されてもよいし、Ｓ１４０２およびＳ１４０３より後に実行されてもよいし、Ｓ１４０２およびＳ１４０３と並行に実行されてもよい。
【0049】
Ｓ１４０５でＣＰＵ３０１（学習処理装置１１５）は、生徒画像群１１３と比較用の教師画像群１１４とを用いて学習モデル１１６について学習を実行する。
【0050】
Ｓ１４０６でＣＰＵ３０１は、学習済みの学習モデル１１６を記憶装置３０２に保存する。学習モデル１１６は、画像処理装置１１７が撮像装置１００に搭載される場合、学習済みの学習モデル１１６は、通信回路３０３を介して撮像装置１００に送信される。撮像装置１００は、通信回路２０３を通じて、学習済みの学習モデル１１６を受信し、メモリ２０２に保存する。
【0051】
図１５は、生徒画像の生成処理の詳細を示すフローチャートである。
【0052】
Ｓ１５０１でＣＰＵ３０１（撮像条件取得部７０１）は、ノイズ画像群１０１に含まれる複数のノイズ画像１１００のそれぞれの撮像条件７１１を取得する。
【0053】
Ｓ１５０２でＣＰＵ３０１（画像選択部７０２）は、複数のノイズ画像１１００のそれぞれの撮像条件７１１を比較し、撮像条件７１１の近い複数のノイズ画像を選択する。ここで、選択されるノイズ画像の個数は予め定められていてもよい。あるいは、相互に近いと判定可能な範囲が予め定められており、その範囲内に属する複数の撮像条件７１１が選択されてもよい。たとえば、撮像条件７１１がノイズ画像１１００を取得されたときの温度（撮像温度）である場合、下限温度以上でかつ上限温度未満である撮像温度に関連付けられている複数のノイズ画像１１００が選択される。
【0054】
Ｓ１５０３でＣＰＵ３０１（ノイズ領域切り出し部７０４）は、選択された複数のノイズ画像１１００からノイズ領域９０３を切り出す。
【0055】
Ｓ１５０４でＣＰＵ３０１（ノイズ付与部７０５）は、元画像セット１０２に対してノイズ領域９０３を合成する。つまり、元画像セット１０２に含まれる複数の元画像１１１０のそれぞれに対してノイズ領域９０３が合成される。これにより、ノイズが付与されたカラー画像が形成される。
【0056】
Ｓ１５０５でＣＰＵ３０１（逆トーンマッピング部５１６、逆ガンマ補正部５１５、逆色変換部５１４、逆ホワイトバランス部５１３）は、ノイズが付与されたカラー画像に対して逆画像処理を実行する。
【0057】
Ｓ１５０６でＣＰＵ３０１（モザイク部７０６）は、逆画像処理を適用されたカラー画像のモザイク化を実行する。これにより、生徒画像１１２０が生成される。
【0058】
（１２）ノイズ付与部の位置の変形例
たとえば、図７では、ノイズ付与部７０５は逆トーンマッピング部５１６の前段に配置されているが、これは一例にすぎない。図１６はモザイク部７０６の後段にノイズ付与部７０５が配置される例を示している。この場合、逆トーンマッピング部５１６は、元画像セット１０２に含まれる元画像１１１０に対して逆トーンマッピングを実行する。また、逆ガンマ補正部５１５は、逆トーンマッピング部５１６からの出力画像を処理する。逆色変換部５１４は逆ガンマ補正部５１５からの出力画像を処理する。逆ホワイトバランス部５１３は、逆色変換部５１４からの出力画像を処理する。モザイク部７０６は、逆ホワイトバランス部５１３からの出力画像を処理する。ノイズ付与部７０５は、モザイク部７０６からの出力画像に対してノイズ領域９０３を合成する。これにより、ノイズが付与された生徒画像群１１３が生成されてもよい。
たとえば、図７では、ノイズ付与部７０５は逆トーンマッピング部５１６の前段に配置されているが、これは一例にすぎない。図１６はモザイク部７０６の後段にノイズ付与部７０５が配置される例を示している。この場合、逆トーンマッピング部５１６は、元画像セット１０２に含まれる元画像１１１０に対して逆トーンマッピングを実行する。また、逆ガンマ補正部５１５は、逆トーンマッピング部５１６からの出力画像を処理する。逆色変換部５１４は逆ガンマ補正部５１５からの出力画像を処理する。逆ホワイトバランス部５１３は、逆色変換部５１４からの出力画像を処理する。モザイク部７０６は、逆ホワイトバランス部５１３からの出力画像を処理する。ノイズ付与部７０５は、モザイク部７０６からの出力画像に対してノイズ領域９０３を合成する。これにより、ノイズが付与された生徒画像群１１３が生成されてもよい。
【0059】
ノイズ成分が後段の画像処理を経て発生する二次的な偽信号を良く再現するという観点では、デバイスＲＧＢ形式の画像データとなった段階でノイズがサンプリングされることが好ましい場合がある。この観点からは、ノイズ付与部７０５は逆トーンマッピング部５１６の前段からモザイク部７０６の前段までのどこかに配置されればよいだろう。たとえば、図１６において、ノイズ付与部７０５は、逆トーンマッピング部５１６と、逆ガンマ補正部５１５との間に配置されてもよい。図１６において、ノイズ付与部７０５は、逆ガンマ補正部５１５と逆色変換部５１４との間に配置されてもよい。図１６において、ノイズ付与部７０５は、逆色変換部５１４と逆ホワイトバランス部５１３との間に配置されてもよい。図１６において、ノイズ付与部７０５は、逆ホワイトバランス部５１３とモザイク部７０６との間に配置されてもよい。つまり、ノイズ画像は、逆トーンマッピング部５１６の入力画像に対して付与されてもよいし、逆ガンマ補正部５１５の入力画像に対して付与されてもよいし、逆色変換部５１４の入力画像に対して付与されてもよいし、逆ホワイトバランス部５１３の入力画像に対して付与されてもよいし、モザイク部７０６の入力画像に対して付与されてもよいし、モザイク部７０６の出力画像に対して付与されてもよい。
【0060】
なお、ノイズ画像１１００のサンプリング箇所は、ノイズ付与部７０５の配置に対応している。
【0061】
（１３）効果の比較
図１７は、本実施形態の効果を説明する図である。画像１６０１は、ノイズの付与されていない生徒画像により学習された学習モデル１１６（つまり、デモザイク機能のみを有する学習モデル）に対して、人工衛星に搭載された撮像装置１００により撮像された画像を入力することで出力された画像を示している。画像１６０２は、ノイズの付与された生徒画像により学習された学習モデル１１６（つまり、デモザイク機能とノイズ低減機能を有する学習モデル）に対して、人工衛星に搭載された撮像装置１００により撮像された画像を入力することで出力された画像を示している。画像１６０１ではノイズが残っていることが分かる。画像１６０２では、学習モデル１１６によってノイズが低減されていることが分かる。このように、撮像装置１００により取得されたノイズ画像を用いて生成された生徒画像を学習モデル１１６に学習させることで、ノイズが精度よく低減される。
図１７は、本実施形態の効果を説明する図である。画像１６０１は、ノイズの付与されていない生徒画像により学習された学習モデル１１６（つまり、デモザイク機能のみを有する学習モデル）に対して、人工衛星に搭載された撮像装置１００により撮像された画像を入力することで出力された画像を示している。画像１６０２は、ノイズの付与された生徒画像により学習された学習モデル１１６（つまり、デモザイク機能とノイズ低減機能を有する学習モデル）に対して、人工衛星に搭載された撮像装置１００により撮像された画像を入力することで出力された画像を示している。画像１６０１ではノイズが残っていることが分かる。画像１６０２では、学習モデル１１６によってノイズが低減されていることが分かる。このように、撮像装置１００により取得されたノイズ画像を用いて生成された生徒画像を学習モデル１１６に学習させることで、ノイズが精度よく低減される。
【0062】
（１４）実施形態から導き出される技術思想
［観点１］
情報処理装置１１０は、所定の撮像装置１００により取得された画像に含まれるノイズを低減する学習モデル１１６を生成する画像処理装置の一例である。ＣＰＵ３０１および抽出部７００は、所定の撮像装置１００により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置１００の光学系（例：レンズユニット２０５）を通過して来た光が照射されないオプティカルブラック領域（例：オプティカルブラック領域９０２、遮光された画素領域９００）の画像をノイズ画像（ノイズ画像１１００、ノイズ領域９０３）として抽出する抽出手段として動作する。ＣＰＵ３０１およびノイズ付与部７０５は、教師画像（例：元画像セット１０２）に対してノイズ画像を合成して生徒画像（例：生徒画像群１１３）を生成する合成手段として動作する。ＣＰＵ３０１および学習処理装置１１５は、学習モデル１１６に生徒画像を入力として与えて学習モデルを学習させる学習手段として動作する。
［観点１］
情報処理装置１１０は、所定の撮像装置１００により取得された画像に含まれるノイズを低減する学習モデル１１６を生成する画像処理装置の一例である。ＣＰＵ３０１および抽出部７００は、所定の撮像装置１００により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置１００の光学系（例：レンズユニット２０５）を通過して来た光が照射されないオプティカルブラック領域（例：オプティカルブラック領域９０２、遮光された画素領域９００）の画像をノイズ画像（ノイズ画像１１００、ノイズ領域９０３）として抽出する抽出手段として動作する。ＣＰＵ３０１およびノイズ付与部７０５は、教師画像（例：元画像セット１０２）に対してノイズ画像を合成して生徒画像（例：生徒画像群１１３）を生成する合成手段として動作する。ＣＰＵ３０１および学習処理装置１１５は、学習モデル１１６に生徒画像を入力として与えて学習モデルを学習させる学習手段として動作する。
【0063】
観点１によれば、従来よりも簡単でかつ精度よくノイズを低減可能な学習モデル１１６が提供される。とりわけ、ノイズの低減対象となる画像を生成する撮像装置１００により取得された実際のノイズ画像を用いて生徒画像が生成される。つまり、ノイズ画像の生成源と、ノイズの低減対象となる画像の生成源とが一致しているため、高いノイズ低減効果が期待される。なお、学習手法としては、学習モデル１１６から出力される出力画像が教師画像に近づくように学習モデルを更新するような手法が採用されてもよい。たとえば、学習モデル１１６から出力される出力画像と教師画像との差分（誤差）が小さくなるように学習モデル（重み係数）を更新するような手法が採用されてもよい。
【0064】
［観点２］
図１１ないし図１３が例示するように、教師画像（元画像１１１０）は、当該教師画像のサイズより小さな複数の部分画像（画素領域１１１１）から構成されてもよい。図１２が例示するように、合成手段（ノイズ付与部７０５）は、教師画像を構成する複数の部分画像のそれぞれに対して、所定の撮像装置１００により撮像された複数の画像からそれぞれ一つずつ取得された複数のノイズ画像（ノイズ領域９０３）のうち、いずれか一つを合成することで、生徒画像を生成してもよい。これにより、特定のノイズ画像１１００に対する過学習が起きにくくなり、高いノイズの低減効果が得られるようになろう。
図１１ないし図１３が例示するように、教師画像（元画像１１１０）は、当該教師画像のサイズより小さな複数の部分画像（画素領域１１１１）から構成されてもよい。図１２が例示するように、合成手段（ノイズ付与部７０５）は、教師画像を構成する複数の部分画像のそれぞれに対して、所定の撮像装置１００により撮像された複数の画像からそれぞれ一つずつ取得された複数のノイズ画像（ノイズ領域９０３）のうち、いずれか一つを合成することで、生徒画像を生成してもよい。これにより、特定のノイズ画像１１００に対する過学習が起きにくくなり、高いノイズの低減効果が得られるようになろう。
【0065】
［観点３］
図１１ないし図１３に関連して説明されたように、合成手段（ノイズ付与部７０５）は、複数の部分画像のそれぞれに対して適用されるノイズ画像を、複数のノイズ画像からランダムに選択してもよい。これにより、特定のノイズ画像１１００に対する過学習が起きにくくなり、より高いノイズの低減効果が得られるようになろう。
図１１ないし図１３に関連して説明されたように、合成手段（ノイズ付与部７０５）は、複数の部分画像のそれぞれに対して適用されるノイズ画像を、複数のノイズ画像からランダムに選択してもよい。これにより、特定のノイズ画像１１００に対する過学習が起きにくくなり、より高いノイズの低減効果が得られるようになろう。
【0066】
［観点４］
複数の部分画像のそれぞれに対して適用される各ノイズ画像は重複しないように選択されてもよい。これにより、特定のノイズ画像１１００に対する過学習が起きにくくなり、さらに高いノイズの低減効果が得られるようになろう。
複数の部分画像のそれぞれに対して適用される各ノイズ画像は重複しないように選択されてもよい。これにより、特定のノイズ画像１１００に対する過学習が起きにくくなり、さらに高いノイズの低減効果が得られるようになろう。
【0067】
［観点５］
一つの生徒画像を生成するために使用される複数のノイズ画像を抽出される複数の画像（例：ノイズ画像１１００ａ、１１００ｂ、...）は、それぞれ同一の撮像条件で所定の撮像装置１００により取得される。これにより、撮像条件が等しければノイズの発生傾向は類似するものとなる。よって、撮像条件が等しい複数のノイズ画像が選択されることで、よりノイズの低減効果が高い学習モデル１１６が得られるであろう。
一つの生徒画像を生成するために使用される複数のノイズ画像を抽出される複数の画像（例：ノイズ画像１１００ａ、１１００ｂ、...）は、それぞれ同一の撮像条件で所定の撮像装置１００により取得される。これにより、撮像条件が等しければノイズの発生傾向は類似するものとなる。よって、撮像条件が等しい複数のノイズ画像が選択されることで、よりノイズの低減効果が高い学習モデル１１６が得られるであろう。
【0068】
［観点６］
撮像条件は、所定の撮像装置１００の温度、感度、および露光時間のうちの少なくとも一つを含みうる。これらは、ノイズの発生に寄与するパラメータであるため、ノイズ画像を選択するための基準として適切であろう。
撮像条件は、所定の撮像装置１００の温度、感度、および露光時間のうちの少なくとも一つを含みうる。これらは、ノイズの発生に寄与するパラメータであるため、ノイズ画像を選択するための基準として適切であろう。
【0069】
［観点７］
学習モデル１１６に入力される画像は、モザイク画像であってもよい。学習モデル１１６から出力される出力画像は、モザイク画像に対応するデモザイク画像であってもよい。この場合、学習モデル１１６は、ノイズの低減機能に加え、デモザイク機能を同時に実現できる学習モデルとなる。ただし、上述された学習モデル１１６が、カラー画像（例：デバイスＲＧＢ）を入力とし、カラー画像（例：デバイスＲＧＢ）を出力とするノイズ低減機能を備え、デモザイク機能を含まないモデルであってもよい。
学習モデル１１６に入力される画像は、モザイク画像であってもよい。学習モデル１１６から出力される出力画像は、モザイク画像に対応するデモザイク画像であってもよい。この場合、学習モデル１１６は、ノイズの低減機能に加え、デモザイク機能を同時に実現できる学習モデルとなる。ただし、上述された学習モデル１１６が、カラー画像（例：デバイスＲＧＢ）を入力とし、カラー画像（例：デバイスＲＧＢ）を出力とするノイズ低減機能を備え、デモザイク機能を含まないモデルであってもよい。
【0070】
［観点８］
モザイク画像は、ベイヤー画像であってもよい。裏を返せば、ベイヤー配列以外のモザイク画像が適用されてもよい。
モザイク画像は、ベイヤー画像であってもよい。裏を返せば、ベイヤー配列以外のモザイク画像が適用されてもよい。
【0071】
［観点９］
ベイヤー画像は、ＲＡＷ画像であってもよい。裏を返せば、ＲＡＷ画像以外のベイヤー画像が採用されてもよい。
ベイヤー画像は、ＲＡＷ画像であってもよい。裏を返せば、ＲＡＷ画像以外のベイヤー画像が採用されてもよい。
【0072】
［観点１０］
合成手段（例：生徒画像生成装置１１１）は、教師画像に対してノイズ画像を合成して第一画像を生成し（例：ノイズ付与部７０５）、第一画像に対して逆トーンマッピング処理を適用して第二画像を生成し（例：逆トーンマッピング部５１６）、第二画像に対して逆ガンマ補正を適用して第三画像を生成し（例：逆ガンマ補正部５１５）、第三画像に対して逆色変換を適用して第四画像を生成し（例：逆色変換部５１４）、第四画像に対して逆ホワイトバランス処理を適用して第五画像を生成し（例：逆ホワイトバランス部５１３）、第五画像に対してモザイク化を適用してモザイク画像である生徒画像を生成してもよい（例：モザイク部７０６）。
合成手段（例：生徒画像生成装置１１１）は、教師画像に対してノイズ画像を合成して第一画像を生成し（例：ノイズ付与部７０５）、第一画像に対して逆トーンマッピング処理を適用して第二画像を生成し（例：逆トーンマッピング部５１６）、第二画像に対して逆ガンマ補正を適用して第三画像を生成し（例：逆ガンマ補正部５１５）、第三画像に対して逆色変換を適用して第四画像を生成し（例：逆色変換部５１４）、第四画像に対して逆ホワイトバランス処理を適用して第五画像を生成し（例：逆ホワイトバランス部５１３）、第五画像に対してモザイク化を適用してモザイク画像である生徒画像を生成してもよい（例：モザイク部７０６）。
【0073】
［観点１１］
教師画像生成装置１１２は、学習手段において出力画像と比較される比較用画像を教師画像から生成する生成手段として動作する。生成手段（例：教師画像生成装置１１２）は、教師画像に対して逆トーンマッピング処理を適用して第六画像を生成し（例：逆トーンマッピング部５１６）、第六画像に対して逆ガンマ補正を適用して第七画像を生成し（例：逆ガンマ補正部５１５）、第七画像に対して逆色変換を適用して第八画像を生成し（例：逆色変換部５１４）、第八画像に対して逆ホワイトバランス処理を適用して比較用画像を生成してもよい（例：逆ホワイトバランス部５１３）。
教師画像生成装置１１２は、学習手段において出力画像と比較される比較用画像を教師画像から生成する生成手段として動作する。生成手段（例：教師画像生成装置１１２）は、教師画像に対して逆トーンマッピング処理を適用して第六画像を生成し（例：逆トーンマッピング部５１６）、第六画像に対して逆ガンマ補正を適用して第七画像を生成し（例：逆ガンマ補正部５１５）、第七画像に対して逆色変換を適用して第八画像を生成し（例：逆色変換部５１４）、第八画像に対して逆ホワイトバランス処理を適用して比較用画像を生成してもよい（例：逆ホワイトバランス部５１３）。
【0074】
［観点１２］
図１６が例示するように、合成手段（生徒画像生成装置１１１）は、教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し（例：逆トーンマッピング部５１６）、第一画像に対して逆ガンマ補正を適用して第二画像を生成し（例：逆ガンマ補正部５１５）、第二画像に対して逆色変換を適用して第三画像を生成し（例：逆色変換部５１４）、第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し（例：逆ホワイトバランス部５１３）、第四画像に対してモザイク化を適用して第五画像を生成し（例：逆色変換部５１４）、第五画像に対してノイズ画像を合成してモザイク画像である生徒画像を生成してもよい（例：ノイズ付与部７０５）。
図１６が例示するように、合成手段（生徒画像生成装置１１１）は、教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し（例：逆トーンマッピング部５１６）、第一画像に対して逆ガンマ補正を適用して第二画像を生成し（例：逆ガンマ補正部５１５）、第二画像に対して逆色変換を適用して第三画像を生成し（例：逆色変換部５１４）、第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し（例：逆ホワイトバランス部５１３）、第四画像に対してモザイク化を適用して第五画像を生成し（例：逆色変換部５１４）、第五画像に対してノイズ画像を合成してモザイク画像である生徒画像を生成してもよい（例：ノイズ付与部７０５）。
【0075】
［観点１３］
図７や図１６が例示するように、合成手段（生徒画像生成装置１１１）は、教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し、第一画像に対して逆ガンマ補正を適用して第二画像を生成し、第二画像に対して逆色変換を適用して第三画像を生成し、第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し、第四画像に対してモザイク化を適用してモザイク画像である生徒画像を生成する。ここで、ノイズ画像は、第一画像、第二画像、第三画像、または、第四画像のうちのいずれかに対して合成される。たとえば、図７では、ノイズ付与部７０５は逆トーンマッピング部５１６の前段に配置されており、図１６ではモザイク部７０６の後段に配置されているが、これらは例示にすぎない。図１６に関して説明されたように、ノイズ付与部７０５は、逆トーンマッピング部５１６の前段からモザイク部７０６の後段までのいずれに配置されてもよい。つまり、ノイズ画像は、逆トーンマッピング部５１６の入力画像に対して付与されてもよいし、逆ガンマ補正部５１５の入力画像に対して付与されてもよいし、逆色変換部５１４の入力画像に対して付与されてもよいし、逆ホワイトバランス部５１３の入力画像に対して付与されてもよいし、モザイク部７０６の入力画像に対して付与されてもよいし、モザイク部７０６の出力画像に対して付与されてもよい。
図７や図１６が例示するように、合成手段（生徒画像生成装置１１１）は、教師画像に対して逆トーンマッピング処理を適用して第一画像を生成し、第一画像に対して逆ガンマ補正を適用して第二画像を生成し、第二画像に対して逆色変換を適用して第三画像を生成し、第三画像に対して逆ホワイトバランス処理を適用して第四画像を生成し、第四画像に対してモザイク化を適用してモザイク画像である生徒画像を生成する。ここで、ノイズ画像は、第一画像、第二画像、第三画像、または、第四画像のうちのいずれかに対して合成される。たとえば、図７では、ノイズ付与部７０５は逆トーンマッピング部５１６の前段に配置されており、図１６ではモザイク部７０６の後段に配置されているが、これらは例示にすぎない。図１６に関して説明されたように、ノイズ付与部７０５は、逆トーンマッピング部５１６の前段からモザイク部７０６の後段までのいずれに配置されてもよい。つまり、ノイズ画像は、逆トーンマッピング部５１６の入力画像に対して付与されてもよいし、逆ガンマ補正部５１５の入力画像に対して付与されてもよいし、逆色変換部５１４の入力画像に対して付与されてもよいし、逆ホワイトバランス部５１３の入力画像に対して付与されてもよいし、モザイク部７０６の入力画像に対して付与されてもよいし、モザイク部７０６の出力画像に対して付与されてもよい。
【0076】
［観点１４］
図９が例示するように、所定の撮像装置１００により取得される画像は矩形の画像である。ノイズ画像（例：ノイズ領域９０３）は、矩形の画像において短辺または長辺と平行に存在する矩形のオプティカルブラック領域９０２から抽出されてもよい。
図９が例示するように、所定の撮像装置１００により取得される画像は矩形の画像である。ノイズ画像（例：ノイズ領域９０３）は、矩形の画像において短辺または長辺と平行に存在する矩形のオプティカルブラック領域９０２から抽出されてもよい。
【0077】
［観点１５］
図９が例示するように、矩形のオプティカルブラック領域９０２の面積はノイズ画像（例：ノイズ領域９０３）の面積よりも大きい。抽出手段（例：抽出部７００）は、矩形のオプティカルブラック領域９０２から抽出されるノイズ画像の位置をランダムに決定し、矩形のオプティカルブラック領域９０２において決定された位置からノイズ画像を抽出してもよい。オプティカルブラック領域９０２は光が照射されない領域であることから、暗電流に起因したノイズ等を含むと考えられる。
図９が例示するように、矩形のオプティカルブラック領域９０２の面積はノイズ画像（例：ノイズ領域９０３）の面積よりも大きい。抽出手段（例：抽出部７００）は、矩形のオプティカルブラック領域９０２から抽出されるノイズ画像の位置をランダムに決定し、矩形のオプティカルブラック領域９０２において決定された位置からノイズ画像を抽出してもよい。オプティカルブラック領域９０２は光が照射されない領域であることから、暗電流に起因したノイズ等を含むと考えられる。
【0078】
［観点１６］
所定の撮像装置１００は、人工衛星に搭載されるカメラであってもよい。この場合、ノイズには、宇宙線が所定の撮像装置１００に入射することにより発生する輝点ノイズを含む。これにより、宇宙線に起因した輝点ノイズを精度よく低減することが可能となろう。
所定の撮像装置１００は、人工衛星に搭載されるカメラであってもよい。この場合、ノイズには、宇宙線が所定の撮像装置１００に入射することにより発生する輝点ノイズを含む。これにより、宇宙線に起因した輝点ノイズを精度よく低減することが可能となろう。
【0079】
［観点１７］
画像処理装置１１７は、入力画像に含まれるノイズを低減するノイズ低減装置として機能する。通信回路２０３、３０３は、観点１から１６のいずれか一項に記載の画像処理装置により生成された学習済みの学習モデル１１６に対して、所定の撮像装置１００により取得された画像を入力画像として入力する入力手段として機能する。ＣＰＵ２０１、３０１は、入力手段から入力された入力画像に対応する出力画像を学習モデル１１６から取得する取得手段として機能する。
画像処理装置１１７は、入力画像に含まれるノイズを低減するノイズ低減装置として機能する。通信回路２０３、３０３は、観点１から１６のいずれか一項に記載の画像処理装置により生成された学習済みの学習モデル１１６に対して、所定の撮像装置１００により取得された画像を入力画像として入力する入力手段として機能する。ＣＰＵ２０１、３０１は、入力手段から入力された入力画像に対応する出力画像を学習モデル１１６から取得する取得手段として機能する。
【0080】
［観点１８］
レンズユニット２０５は、光学系の一例である。撮像素子２０７は、光学系を通じて入射する光を画像信号に変換する撮像素子の一例である。ＣＰＵ２０１および画像処理装置１１７は、撮像素子により取得された画像信号に対応する画像からノイズを低減する、観点１７に記載のノイズ低減装置の一例である。図９が例示するように、撮像素子２０７の長辺は、光学系のイメージサークル９０１の直径よりも大きい。これにより、遮光ユニット２０６が無くても、オプティカルブラック領域９０２からノイズ領域９０３を取得できるようになろう。
レンズユニット２０５は、光学系の一例である。撮像素子２０７は、光学系を通じて入射する光を画像信号に変換する撮像素子の一例である。ＣＰＵ２０１および画像処理装置１１７は、撮像素子により取得された画像信号に対応する画像からノイズを低減する、観点１７に記載のノイズ低減装置の一例である。図９が例示するように、撮像素子２０７の長辺は、光学系のイメージサークル９０１の直径よりも大きい。これにより、遮光ユニット２０６が無くても、オプティカルブラック領域９０２からノイズ領域９０３を取得できるようになろう。
【0081】
［観点１９］
画像処理装置により実行され、所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する、学習方法であって、
所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出工程（例：Ｓ１５０１～Ｓ１５０３）と、
教師画像に対してノイズ画像を合成して生徒画像を生成する合成工程（例：Ｓ１５０４～Ｓ１５０６）と、
学習モデルに生徒画像を入力として与えて学習モデルを学習させる学習工程（例：Ｓ１４０５）と、
を有する、学習方法。
画像処理装置により実行され、所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する、学習方法であって、
所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出工程（例：Ｓ１５０１～Ｓ１５０３）と、
教師画像に対してノイズ画像を合成して生徒画像を生成する合成工程（例：Ｓ１５０４～Ｓ１５０６）と、
学習モデルに生徒画像を入力として与えて学習モデルを学習させる学習工程（例：Ｓ１４０５）と、
を有する、学習方法。
【0082】
［観点２０］
プログラム３０６は、コンピュータを観点１から１６のいずれか一項に記載の画像処理装置として機能させるプログラムの一例である。
プログラム３０６は、コンピュータを観点１から１６のいずれか一項に記載の画像処理装置として機能させるプログラムの一例である。
【0083】
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
【符号の説明】
【0084】
１００...撮像装置
１１０...情報処理装置
１１６...学習モデル
１１５...学習処理装置
７００...抽出部
７０５...ノイズ付与部
１１０...情報処理装置
１１６...学習モデル
１１５...学習処理装置
７００...抽出部
７０５...ノイズ付与部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
