特開 2023-179838 画像処理方法、画像処理装置、画像処理システム、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179838

(43)【公開日】2023-12-20

(54)【発明の名称】画像処理方法、画像処理装置、画像処理システム、画像処理プログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20231213BHJP

   G06T 1/40 20060101ALI20231213BHJP

   H04N 23/60 20230101ALI20231213BHJP

【ＦＩ】

G06T3/40 725

G06T1/40

H04N5/232 290

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022092681

(22)【出願日】2022-06-08

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】日浅 法人

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CD05

5B057CE02

5B057CE03

5C122EA12

5C122EA22

5C122FH18

5C122FH23

5C122HA13

5C122HA35

5C122HA48

5C122HB01

(57)【要約】

【課題】機械学習モデルの訓練の負荷を抑制しつつ、高精度に画像の高解像化とノイズ低減を行う画像処理方法を提供すること。
【解決手段】画像処理方法は、第１ノイズ低減出力を生成するステップ、第１機械学習モデルを用いて第１ノイズ低減出力に応じた第１入力データに基づく高解像化出力を生成するステップ、第２機械学習モデルを用いて高解像化出力に応じた第２入力データに基づく第２ノイズ低減出力を生成するステップ、第２ノイズ低減出力に基づく出力画像を生成するステップを有し、第２入力データは第１加算画像との差異よりも第２加算画像との差異が大きい画像であり、第１加算画像は高解像化出力に基づく高解像化の残差マップと画像とを加算することで得られる画像であり、第２加算画像は高解像化の残差マップと第１ノイズ低減出力に基づくノイズ低減された画像とを加算することで得られる画像である。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像画像を用いて第１のノイズ低減に関する出力を生成するステップと、
第１の機械学習モデルを用いて、前記第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成するステップと、
第２の機械学習モデルを用いて、前記高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成するステップと、
前記第２のノイズ低減に関する出力に基づく出力画像を生成するステップとを有し、
前記第２の入力データは、第１の加算画像との差異よりも、第２の加算画像との差異が大きい画像であり、
前記第１の加算画像は、前記高解像化に関する出力に基づく高解像化の残差マップと、前記撮像画像とを加算することで得られる画像であり、
前記第２の加算画像は、前記高解像化の残差マップと、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像とを加算することで得られる画像であることを特徴とする画像処理方法。

【請求項2】

前記高解像化に関する出力は、前記撮像画像を取得する際に用いられる光学系に関する情報に基づいて生成されることを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記光学系に関する情報は、前記光学系の種類、前記光学系の焦点距離、前記光学系の絞り値、前記光学系のフォーカス距離、前記光学系の光軸に対する前記撮像画像の画素の位置、及び前記撮像画像の画素における前記光学系の解像性能のいずれかに関する情報であることを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記高解像化は、ぼけの補正又はアップスケールの少なくとも一方を含むことを特徴とする請求項１又は２に記載の画像処理方法。

【請求項5】

前記高解像化は、前記撮像画像を取得する際に用いられる光学系で生じるぼけの補正を含むことを特徴とする請求項１又は２に記載の画像処理方法。

【請求項6】

前記出力画像は、前記撮像画像と、前記高解像化に関する出力とに基づいて生成されることを特徴とする請求項１又は２に記載の画像処理方法。

【請求項7】

高解像化に関する情報に基づいて、前記第１の機械学習モデルで用いる第１のウエイトのセットを選択するステップと、
前記撮像画像のノイズに関する情報に基づいて、前記第２の機械学習モデルで用いる第２のウエイトのセットを選択するステップとを更に有することを特徴とする請求項１又は２に記載の画像処理方法。

【請求項8】

前記第１のノイズ低減に関する出力は、機械学習モデルを用いて生成されることを特徴とする請求項１又は２に記載の画像処理方法。

【請求項9】

前記機械学習モデルは、前記第２の機械学習モデルと同一であることを特徴とする請求項８に記載の画像処理方法。

【請求項10】

前記第２の入力データは、前記撮像画像と前記高解像化に関する出力とに基づいて修正された、前記第１のノイズ低減に関する出力に基づく第１のノイズ低減の残差マップを用いて生成されることを特徴とする請求項１又は２に記載の画像処理方法。

【請求項11】

前記第２の入力データは、前記高解像化に関する出力と、前記撮像画像、又は前記第１のノイズ低減に関する出力とに基づいて生成されることを特徴とする請求項１又は２に記載の画像処理方法。

【請求項12】

前記高解像化に関する出力は、前記撮像画像、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像、及び前記第１のノイズ低減に関する出力に基づく第１のノイズ低減の残差マップのうち少なくとも２つを用いて生成されることを特徴とする請求項１又は２に記載の画像処理方法。

【請求項13】

撮像画像を用いて第１のノイズ低減に関する出力を生成する第１生成部と、
高解像化を行う第１の機械学習モデルを用いて、前記第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成する第２生成部と、
ノイズ低減を行う第２の機械学習モデルを用いて、前記高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成する第３生成部と、
前記第２のノイズ低減に関する出力に基づく出力画像を出力する出力部とを有し、
前記第２の入力データは、第１の加算画像との差異より、第２の加算画像との差異が大きい画像であり、
前記第１の加算画像は、前記高解像化に関する出力に基づく高解像化の残差マップと、前記撮像画像とを加算した画像であり、
前記第２の加算画像は、前記高解像化の残差マップと、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像とを加算した画像であることを特徴とする画像処理装置。

【請求項14】

第１の装置と第２の装置とを有する画像処理システムであって、
前記第１の装置は、
前記第２の装置に処理の実行に関する要求を送信する送信部と、
前記第２の装置から取得した出力を用いて出力画像を取得する取得部とを備え、
前記第２の装置は、
撮像画像を用いて第１のノイズ低減に関する出力を生成する第１生成部と、
高解像化を行う第１の機械学習モデルを用いて、前記第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成する第２生成部と、
ノイズ低減を行う第２の機械学習モデルを用いて、前記高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成する第３生成部と、
前記第２のノイズ低減に関する出力に基づく前記出力を出力する出力部とを備え、
前記第２の入力データは、第１の加算画像との差異より、第２の加算画像との差異が大きい画像であり、
前記第１の加算画像は、前記高解像化に関する出力に基づく高解像化の残差マップと、前記撮像画像とを加算した画像であり、
前記第２の加算画像は、前記高解像化の残差マップと、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像とを加算した画像であることを特徴とする画像処理システム。

【請求項15】

請求項１又は２に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像に対して高解像化とノイズ低減を実行する画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、ユーザに指定されたノイズ低減のレベルに対応するウエイトを使用することで、１つのニューラルネットワークで画像のノイズ低減とアップスケールを実行する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許第１０５５２９４４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の方法では、データセットは膨大な数になり、ニューラルネットワークの訓練の負荷が増大してしまう。

【0005】

高解像化とノイズ低減を個別の機械学習モデルで実行する場合、互いの処理で生じる画質の弊害によって、最終的な画像の画質が低下する。高解像化を先に行う場合、ノイズが増幅されることで、ノイズ低減を行っても増幅されたノイズが残存する。ノイズ低減を先に行う場合、ぼけ像が変化することで、高解像化により過剰補正や補正不足が発生する。

【0006】

本発明は、機械学習モデルの訓練の負荷を抑制しつつ、高精度に撮像画像の高解像化とノイズ低減を行う画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての画像処理方法は、撮像画像を用いて第１のノイズ低減に関する出力を生成するステップと、第１の機械学習モデルを用いて、第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成するステップと、第２の機械学習モデルを用いて、高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成するステップと、第２のノイズ低減に関する出力に基づく出力画像を生成するステップとを有し、第２の入力データは、第１の加算画像との差異よりも、第２の加算画像との差異が大きい画像であり、第１の加算画像は、高解像化に関する出力に基づく高解像化の残差マップと、撮像画像とを加算することで得られる画像であり、第２の加算画像は、高解像化の残差マップと、第１のノイズ低減に関する出力に基づくノイズ低減された撮像画像とを加算することで得られる画像であることを特徴とする。

【発明の効果】

【0008】

本発明によれば、機械学習モデルの訓練の負荷を抑制しつつ、高精度に撮像画像の高解像化とノイズ低減を行うことが可能な画像処理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施例１の画像処理システムの外観図である。

【図2】実施例１の画像処理システムのブロック図である。

【図3】機械学習モデルの訓練を示すフローチャートである。

【図4】実施例１の出力画像の生成を示すフローチャートである。

【図5】実施例２の画像処理システムの外観図である。

【図6】実施例２の画像処理システムのブロック図である。

【図7】実施例２の出力画像の生成を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

【0011】

本実施形態を詳しく説明する前に、本発明の要旨を簡単に説明する。本発明では、撮像画像に対して、高解像化とノイズ低減を行う。高解像化は、ぼけの補正、又はアップスケールを含む。アップスケールは、撮像画像全体の拡大（高画素化）と、撮像画像の一部の拡大（デジタルズーム等）を含む。ノイズ低減は、撮像素子で発生するノイズの低減や、画像を不可逆圧縮（ＪＰＥＧ圧縮等）した際の圧縮ノイズの低減を含む。

【0012】

ノイズ低減のみを行うニューラルネットワークを訓練する場合、データセットはノイズのバリエーションのみ網羅すればよい。アップスケールのみを行う場合も同様である。しかし、ノイズ低減とアップスケールの両方を１つのニューラルネットワークで実行する場合、そのデータセットはノイズと解像性能の劣化の両方を含む必要があり、そのバリエーションは組み合わせで増大する。このため、データセットが膨大な数になり、訓練の負荷が増大する。

【0013】

そこで、本発明では、撮像画像に対する高解像化とノイズ低減を、個別の機械学習モデルを用いて行う。これにより、訓練に用いるデータセットの数を抑えることができるため、機械学習モデルの訓練の負荷を抑制することができる。

【0014】

また、本発明では、ノイズ低減後の撮像画像に対して高解像化を実行し、ノイズ低減されていない高解像化画像を生成する。例えば、求められた高解像化の残差マップを、ノイズ低減されていない撮像画像に加算することで、ノイズ低減されていない高解像化画像を生成する。ノイズ低減されていない高解像化画像に再度ノイズ低減を行い、最終的な出力画像を生成する。この構成により、ノイズ低減と高解像化のいずれか一方の弊害によって、最終的な出力画像の画質が低下することを抑制することができる。以下、上記処理について説明する。

【0015】

要点は、ノイズ低減の推定は入力画像の信号分布に大きく依存し、ノイズ低減に対して高解像化の推定は入力画像の信号分布に対する依存性が小さいことである。説明を簡単にするため、ノイズ低減は特定の分散を有するガウシアンノイズを対象とし、高解像化は特定の分散を有するガウス分布関数で表されるぼけを対象とする。このとき、高解像化では、入力画像は常に同じぼけが作用しているため、様々な信号分布に対しても似たような補正を実行することになる。しかしながら、ノイズ低減においては、入力画像のノイズの分散が同じだけで、ノイズの分布は全て未知である。このため、ノイズ低減は、入力画像の信号分布から、被写体とノイズを区別する必要があり、その推定結果は入力画像の信号分布に大きく影響される。

【0016】

仮に、撮像画像に対して、高解像化の後にノイズ低減を実行する場合、高解像化の弊害によって一部の強いノイズ（又は全てのノイズ）が強調される。強調されたノイズは、ノイズ低減が前提としている特定の分散より大きいため、ノイズでなく被写体とみなされ、ノイズ低減されずに残存する。

【0017】

逆に、撮像画像に対して、ノイズ低減の後に高解像化を実行する場合、ノイズ低減の弊害によって一部のぼけ像が変形する。しかしながら、前述したように、高解像化の推定は入力画像の信号分布に対する依存性が小さいため、ぼけ像が変化しても、高解像化の補正は大きく変化しない。このため、ノイズ低減によってぼけ像が広がっていれば補正不足となり、ぼけ像が小さくなっていれば逆に過剰補正となる。

【0018】

そこで、本発明では例えば、ノイズ低減後の撮像画像に対して求めた高解像化の残差マップを、ノイズ低減されていない撮像画像に加算することで、高解像化のみ実行された撮像画像を生成する。残差マップとは、ノイズ低減と高解像化が実行された撮像画像から、ノイズ低減のみ実行された撮像画像を減算した成分である。ノイズ低減後の撮像画像に対して高解像化を行っているため、高解像化の残差マップに含まれるノイズ増幅の成分は小さくなる。また、高解像化の推定は、入力画像の信号分布に対する依存性が小さいことから、ノイズ低減後の撮像画像に対して求めた高解像化の残差マップを、撮像画像に加算しても補正精度の低下は小さい。これにより、高解像化の過不足とノイズ増幅を抑制し、高解像化された撮像画像を生成することができる。高解像化された撮像画像はぼけ像の高解像化によって、被写体の解像性能やコントラストが向上しているため、被写体とノイズの区別がしやすい。このため、高解像化された撮像画像に再びノイズ低減を実行することで、被写体の変形を抑えてノイズを低減することができる。

【0019】

以上の理由により、機械学習モデルの訓練の負荷を抑制しつつ、高精度に撮像画像の高解像化とノイズ低減を行うことができる。

【実施例0020】

図１は、本実施例の画像処理システム１００の外観図である。図２は、本実施例の画像処理システム１００のブロック図である。画像処理システム１００は、互いに有線又は無線のネットワークで接続された、訓練装置１０１、画像処理装置１０２、及び撮像装置１０３を有する。

【0021】

撮像装置１０３は、結像光学系１３１、撮像素子１３２、記憶部１３３、及び通信部１３４を備える。結像光学系１３１は、被写体空間の光から被写体の像を形成する。撮像素子１３２は、複数の画素を含み、被写体の像を光電変換によって撮像画像に変換する。被写体の像には、結像光学系１３１で生じる収差や回折によるぼけが発生しているため、撮像画像にも該ぼけによる劣化が存在する。本実施例では、高解像化として、上記ぼけの補正を行う。また、撮像素子１３２では、ショットノイズ、暗電流ノイズ、及び読み出しノイズ等が発生するため、撮像画像にノイズが存在する。本実施例では、ノイズ低減として、上記ノイズを低減する。記憶部１３３は、撮像画像を記憶する。なお、本実施例では、高解像化として、ぼけの補正を行うが、アップスケール等を行ってもよい。また、本実施例では、ノイズ低減の対象は、撮像素子で発生するノイズとするが、圧縮ノイズ等であってもよい。

【0022】

画像処理装置１０２は、記憶部１２１、通信部１２２、取得部１２３、ノイズ低減部（第１生成部、第３生成部）１２４、高解像化部（第２生成部）１２５、演算部（出力部）１２６、及び表示部１２７を備える。通信部１２２は、撮像装置１０３の通信部１３４を介して、撮像画像を取得する。なお、撮像画像を記録媒体に記録し、記録媒体と画像処理装置１０２を接続することで、画像処理装置１０２が撮像画像を取得してもよい。画像処理装置１０２は、第１の機械学習モデルと第２の機械学習モデルを用いて、撮像画像に対して高解像化とノイズ低減を実行した出力画像を生成する。第１及び第２の機械学習モデルでは、予め訓練装置１０１で生成されたウエイトのセットが使用される。画像処理装置１０２は、通信部１２２を介して訓練装置１０１からウエイトのセットを取得し、記憶部１２１に記憶する。生成された出力画像は、表示部１２７を介してユーザに提示されるか、記憶部１２１に記憶される。

【0023】

訓練装置１０１は、記憶部１１１、取得部１１２、演算部１１３、及び更新部１１４を備える。訓練装置１０１は、データセットを用いて、高解像化を行う第１の機械学習モデルを訓練し、訓練済みの第１のウエイトのセットを生成する。また、訓練装置１０１は、データセットを用いて、ノイズ低減を行う第２機械学習モデルを訓練し、訓練済みの第２のウエイトのセットを生成する。

【0024】

以下、図３を参照して、訓練装置１０１で実行される機械学習モデルの訓練（ウエイトのセットの決定）について説明する。図３は、機械学習モデルの訓練を示すフローチャートである。本実施例では、機械学習モデルとしてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用する。ただし、本発明はこれに限定されない。機械学習モデルは、ニューラルネットワーク、遺伝的プログラミング、及びベイジアンネットワーク等を含む。ニューラルネットワークは、ＣＮＮ、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、及びＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を含む。

【0025】

まず、ノイズ低減を行う第２の機械学習モデルの訓練について説明する。

【0026】

ステップＳ１０１では、取得部１１２は、記憶部１１１から１組以上の正解画像と訓練画像を取得する。第２の機械学習モデルは訓練によってノイズ低減の効果を得たいため、訓練画像はノイズの存在する画像、正解画像は訓練画像と同一のシーンの画像であり、かつ訓練画像よりノイズが小さい（又はない）画像である。記憶部１１１には、複数の正解画像と訓練画像を含むデータセットが保存されている。訓練画像に存在するノイズは、撮像素子１３２で発生するノイズと同様のノイズである。第１の機械学習モデルが様々な被写体の撮像画像に対応できるように、訓練に用いられる複数の正解画像と訓練画像は様々な被写体（向きや強さの異なるエッジ、テクスチャ、グラデーション、及び平坦部等）を含んでいることが望ましい。

【0027】

本実施例で使用される正解画像と訓練画像は、原画像に対してノイズを付与して生成された画像である。ただし、撮像素子１３２とそれよりＳ／Ｎ比の良い条件で同一シーンを実写し、訓練画像と正解画像としてもよい。原画像は未現像のＲＡＷ画像（光の強度と信号値が線型の関係）であり、これに対して撮像素子１３２で発生するノイズを付与することで訓練画像が生成される。撮像素子１３２が複数の種類やＩＳＯ感度を取りうる場合、データセットにはそれらで発生する様々な強さのノイズの訓練画像が含まれるようにする。正解画像は、原画像そのままでもよいし、訓練画像に付与したノイズより小さいノイズを付与された画像でもよい。付与するノイズは、訓練画像と相関のあるノイズであることが望ましい。相関のないノイズを付与した場合、データセットの複数の画像で訓練することで正解画像のノイズの影響が平均化され、結果的にノイズを付与しなかった場合と殆ど変わらなくなる。原画像は、実写のＲＡＷ画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）でもよい。実写のＲＡＷ画像には既にノイズが存在するが、機械学習モデルの訓練において、そのノイズは被写体として扱われるため、特に問題はない。本実施例では、第２の機械学習モデルは、ＲＡＷ画像に対してノイズ低減を行う。このため、正解画像と訓練画像は、ＲＡＷ画像である。現像画像に対してノイズ低減を行いたい場合、正解画像と訓練画像を現像すればよい。

【0028】

ステップＳ１０２では、演算部１１３は、第２の機械学習モデルを用いて、訓練画像に基づく第２のノイズ低減に関する出力（情報）を生成する。具体的には、訓練画像を第２の機械学習モデルに入力することで第２のノイズ低減に関する出力を生成する。第２のノイズ低減に関する出力は、ノイズ低減された訓練画像、及び訓練画像に対するノイズ低減の残差マップ（第２のノイズ低減の残差マップ）等を含む。訓練画像は、ノイズ低減の残差マップを加算されると、ノイズ低減された画像になる。本実施例では、第２のノイズ低減に関する出力は、ノイズ低減された訓練画像（推定画像）である。第２の機械学習モデルはＣＮＮであり、複数のウエイト（第２のウエイトのセット）を有する。各ウエイトの初期値は、乱数等で決定すればよい。

【0029】

ステップＳ１０３では、更新部１１４は、正解画像と推定画像との差に基づいて、第２の機械学習モデルの各ウエイトを更新する。本実施例では、正解画像と推定画像との平均二乗誤差を損失関数とし、誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いてウエイトを更新する。ただし、本発明はこれに限定されない。正解画像と推定画像との差が小さくなるように最適化を行うことで、第２の機械学習モデルは、入力された画像に対するノイズ低減の効果を獲得する。第２のノイズ低減に関する出力が残差マップである場合、訓練画像と正解画像との差分との差を最小化すればよい。

【0030】

ステップＳ１０４では、更新部１１４は、第２の機械学習モデルの訓練が完了したかどうかを判定する。訓練が完了していないと（未完である）と判定された場合、ステップＳ１０１に戻り、新たな１組以上の正解画像と訓練画像とが取得される。訓練が完了したと判定された場合、訓練済みの第２のウエイトのセットの情報を記憶部１１１に記憶する。

【0031】

次に、高解像化を行う第１の機械学習モデルの訓練について説明する。第２の機械学習モデルの訓練と同様の箇所は、説明を省略する。

【0032】

ステップＳ１０１では、訓練画像は、結像光学系１３１で生じる収差や回折によるぼけが発生している画像である。正解画像は、訓練画像と同一のシーンの画像であり、かつ訓練画像よりぼけが小さい（又はない）画像である。本実施例では、原画像にぼけを付与することで、訓練画像と正解画像を生成する。原画像に対して、結像光学系１３１で発生する収差や回折によるぼけを付与し、訓練画像を生成する。必要に応じて、光学ローパスフィルタや撮像素子１３２の画素開口などによるぼけを与えてもよい。結像光学系１３１に複数の種類や状態（焦点距離、絞り値、及びフォーカス距離等）が存在し、それらによって撮像画像に異なるぼけが作用しうる場合、データセットにそれら複数のぼけが付与された訓練画像が含まれるようにする。ぼけは、撮像素子１３２の各画素の位置（結像光学系１３１の光軸に対する像高とアジムス）で変化しうる他、結像光学系１３１が様々な状態（焦点距離、絞り値、及びフォーカス距離等）を取りうる場合、その状態によっても変化する。また、交換レンズのように結像光学系１３１が複数の種類を取りうる場合、その種類によってもぼけが変化する。なお、原画像に付与するぼけは、結像光学系１３１で発生するぼけそのものでもよいし、そのぼけを近似したぼけでもよい。正解画像は、原画像に対してぼけを付与しないか、訓練画像に付与したぼけより小さいぼけを付与することで生成される。

【0033】

本実施例では、第１の機械学習モデルの訓練に用いられる訓練画像と正解画像とにはノイズを付与しない。本発明では、ノイズ低減された撮像画像に対して高解像化を行うためである。ただし、両者に相関のあるノイズを付与してもよい。相関のあるノイズを付与した場合、第１の機械学習モデルは訓練によって、ぼけの補正と同時に、ノイズ変化の抑制の効果を獲得することもできる。

【0034】

本実施例では、第１の機械学習モデルは、ＲＡＷ画像に対してぼけ補正を行う。このため、正解画像と訓練画像はＲＡＷ画像である。現像画像に対してぼけ補正を行いたい場合、正解画像と訓練画像を現像すればよい。

【0035】

ステップＳ１０２では、演算部１１３は、第１の機械学習モデルを用いて、訓練画像に基づく高解像化に関する出力（情報）を生成する。具体的には、訓練画像を第１の機械学習モデルに入力することで、高解像化に関する出力を生成する。高解像化に関する出力は、高解像化（ぼけ補正）された訓練画像、及び訓練画像に対する高解像化の残差マップ等を含む。訓練画像は、高解像化の残差マップを加算されると、高解像化された画像になる。本実施例では、高解像化に関する出力は、高解像化された訓練画像（推定画像）である。第１の機械学習モデルはＣＮＮであり、複数のウエイト（第１のウエイトのセット）を有する。

【0036】

ステップＳ１０３では、更新部１１４は、正解画像と推定画像との差に基づいて、第１の機械学習モデルの各ウエイトを更新する。

【0037】

ステップＳ１０４では、更新部１１４は、第１の機械学習モデルの訓練が完了したかどうかを判定する。訓練が完了していないと（未完である）と判定された場合、ステップＳ１０１に戻り、訓練が完了したと判定された場合、訓練済みの第１のウエイトのセットの情報を記憶部１１１に記憶する。

【0038】

なお、本実施例では、第１の機械学習モデルと第２の機械学習モデルの訓練は独立して行われる。撮像画像に処理を行う際は、第１の機械学習モデルで高解像化した後に、第２の機械学習モデルによるノイズ低減を行うため、高解像化に関する出力に基づく訓練画像で第２の機械学習モデルを訓練する方法も考えられる。しかしながら、両者に相関を持たせて訓練すると、訓練画像の生成に第１の機械学習モデルを用いた演算が必要になることや、第１の機械学習モデルに変更が生じた際に第２の機械学習モデルも訓練し直しになることから、訓練の負荷が増大する。

【0039】

以下、図４のフローチャートを参照して、画像処理装置１０２で実行される撮像画像のノイズ低減と高解像化について説明する。図４は、本実施例の出力画像の生成を示すフローチャートである。

【0040】

ステップＳ２０１では、取得部１２３は、撮像画像と機械学習モデルのウエイトのセットを取得する。本実施例では、ウエイトのセットを３セット取得する。具体的には、第１の機械学習モデルで用いる第１のウエイトのセット、第２の機械学習モデルで用いる第２のウエイトのセット、第３の機械学習モデルで用いる第３のウエイトのセットである。第３の機械学習モデルは、第１の機械学習モデルによる高解像化の前のノイズ低減を行う。本実施例では、第３の機械学習モデルは、第２の機械学習モデルと同一である。このため、第３のウエイトのセットも、第２のウエイトのセットと同じである。ただし、本発明はこれに限定されない。

【0041】

ステップＳ２０２では、ノイズ低減部１２４は、第３の機械学習モデルを用いて、撮像画像に基づく第１のノイズ低減に関する出力（情報）を生成する。具体的には、撮像画像を第３の機械学習モデルに入力することで第１のノイズ低減に関する出力を生成する。本実施例では、第１のノイズ低減に関する出力は、ノイズ低減された撮像画像（第１の画像）である。なお、第１の画像の代わりに、撮像画像に対するノイズ低減の残差マップ（第１のノイズ低減の残差マップ）を生成してもよい。撮像画像は、ノイズ低減の残差マップを加算されると、第１の画像になる。このため、第１のノイズ低減に関する出力は、ノイズ低減された撮像画像、又は撮像画像に対するノイズ低減の残差マップである。なお、本ステップでは、機械学習モデルを用いないノイズ低減の方法、例えば、ＮＬＭ（Ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ ｆｉｌｔｅｒ）やＢＭ３Ｄ（Ｂｌｏｃｋ－ｍａｔｃｈｉｎｇ ａｎｄ ３Ｄ ｆｉｌｔｅｒｉｎｇ）等を用いてもよい。

【0042】

ステップＳ２０３では、高解像化部１２５は、第１の機械学習モデルを用いて、第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力（情報）を生成する。本実施例では、第１の入力データは、第１の画像である。だたし、本発明はこれに限定されない。例えば、第１のノイズ低減の残差マップ（第１のノイズ低減に関する出力）と撮像画像とを加算、又はチャンネル方向に結合したデータを第１の入力データとしてもよい。この場合、第１の機械学習モデルの訓練時も、第１の入力データと同様の形式のデータを用いて訓練する。第１の入力データを第１の機械学習モデルに入力することで、高解像化に関する出力を生成する。本実施例では、高解像化に関する出力は、ぼけ補正（高解像化）された第１の画像（第２の画像）である。なお、第２の画像の代わりに、第１の画像に対する高解像化の残差マップを生成してもよい。第１の画像は、高解像化の残差マップを加算されると、第２の画像になる。このため、高解像化に関する出力は、高解像化された第１の画像（ノイズ低減と高解像化された撮像画像）、又は第１の画像に対する高解像化の残差マップである。

【0043】

ステップＳ２０４では、演算部１２６は、撮像画像と第１の画像とを用いて、撮像画像に対するノイズ低減の残差マップ（第１のノイズ低減の残差マップ）を生成する。第１の画像から撮像画像を減算することで、第１のノイズ低減の残差マップを生成する。なお、ステップＳ２０２で該残差マップを生成している場合、ステップＳ２０４を実行しなくてもよい。また、ステップＳ２０４は、ステップＳ２０３より前に実行してもよい。

【0044】

ステップＳ２０５では、演算部１２６は、第２の画像と第１のノイズ低減の残差マップとを用いて、第３の画像を生成する。第３の画像は、第２の画像から第１のノイズ低減の残差マップを減算した画像であり、ステップＳ２０２のノイズ低減を打ち消して撮像画像に高解像化のみが実行された画像である。第３の画像は、第２の機械学習モデルに対する第２の入力データとなる。これにより、本実施例の説明の前に述べたように、ノイズの増幅を抑えて高解像化された撮像画像を生成することができる。第３の画像は、撮像画像からノイズが殆ど変化していないため、機械学習モデルによって良好にノイズを低減することができる。また、既にぼけ像が高解像化されているため、ノイズと被写体を判別しやすく、ノイズ低減による被写体の変形も抑制することができる。第３の画像は、高解像化の残差マップを撮像画像に加算することで生成してもよい。また、高解像化の残差マップを第１の画像に加算し、第１のノイズ低減の残差マップを減算することで、第３の画像を生成してもよい。このため、本実施例における第２の入力データ（第３の画像）は、高解像化に関する出力と、撮像画像又は第１のノイズ低減に関する出力とに基づいて生成される。

【0045】

なお、第３の画像を生成する際、ステップＳ２０２のノイズ低減の効果を完全に打ち消す必要はなく、効果の一部を残してもよい。このため、第３の画像は、ノイズ低減の効果が打ち消されて高解像化のみ実行された撮像画像（第１の加算画像）との差異より、ノイズ低減の後に高解像化が実行された撮像画像（第２の加算画像）との差異が大きい画像である。第１の加算画像は、高解像化に関する出力に基づく高解像化の残差マップ（第２の画像から第１の画像を減算したマップ）と撮像画像とを加算した画像であり、第２の画像からノイズ低減の残差マップを減算した画像と等しい。第２の加算画像は、高解像化の残差マップと第１のノイズ低減に関する出力を用いてノイズ低減された撮像画像（第１の画像）とを加算した画像（第２の画像）である。２つの画像の間の差異は、ＭＳＥ（平均二乗誤差）やＭＡＥ（平均絶対誤差）等で評価可能である。第３の画像の特徴は、第３の画像のノイズが、第１の画像のノイズより、撮像画像のノイズに近いこと、と言い換えることもできる。

【0046】

第３の画像は、例えば、第１のノイズ低減の残差マップに０．５より大きく、１以下の係数をかけて、第２の画像から減算することで生成される。なお、ステップＳ２０３において、高解像化に関する出力が第１の画像に対する高解像化の残差マップである場合、高解像化の残差マップを撮像画像に加算することで、第３の画像を生成することができる。

【0047】

ステップＳ２０６では、ノイズ低減部１２４は、第２の機械学習モデルを用いて、第２の入力データに基づく第２のノイズ低減に関する出力を生成する。具体的には、第２の入力データを第２の機械学習モデルに入力することで、第２のノイズ低減に関する出力を生成する。本実施例では、第２のノイズ低減に関する出力は、ノイズ低減と高解像化された撮像画像である第４の画像である。ただし、第２のノイズ低減に関する出力は、第３の画像（第２の入力データ）に対するノイズ低減の残差マップ（第２のノイズ低減の残差マップ）でもよい。

【0048】

ステップＳ２０７では、演算部１２６は、撮像画像、高解像化に関する出力、及び第２のノイズ低減に関する出力に基づいて、出力画像を生成する。本実施例では、高解像化に関する出力は第３の画像、第２のノイズ低減に関する出力は第４の画像である。第３の画像から第４の画像を減算することで、第２のノイズ低減の残差マップを生成し、第２のノイズ低減の残差マップにノイズ低減の強度を表す係数をかけて撮像画像に加算することで、ノイズ低減の強度を調整することができる。同様に、第３の画像から撮像画像を減算することで、高解像化の残差マップを生成し、高解像化の残差マップに高解像化の強度を表す係数をかけて撮像画像に加算することで、高解像化の強度を調整することができる。ノイズ低減と高解像化のそれぞれの強度調整が行われた出力画像は、表示部１２７に表示され、ユーザは表示された出力画像を確認しながら、ノイズ低減と高解像化のそれぞれの強度を自由に調整することができる。強度の調整は、ノイズ低減と高解像化のそれぞれの強度を表す係数を変更することで実行することができる。上記構成により、ノイズ低減と高解像化の強度を変更するたびに機械学習モデルの計算を再度行う必要がなく、軽量な計算で高速に強度調整を実行することができる。なお、強度の調整が不要である場合、第４の画像をそのまま出力画像として出力すればよい。

【0049】

以上説明したように、本実施例の構成によれば、機械学習モデルの訓練の負荷を抑制しつつ、高精度に撮像画像の高解像化とノイズ低減を行うことが可能である。

【0050】

以下、本発明の効果を高める望ましい構成に関して説明する。

【0051】

ステップＳ２０３で生成される高解像化に関する出力は、撮像画像を取得する際に用いられる光学系に関する情報に基づいて生成されることが望ましい。高解像化を行う第１の機械学習モデルの訓練で、様々な種類の解像性能の劣化がデータセットに混合されている場合、第１の機械学習モデルはその劣化に対する平均的な高解像化を獲得する。このため、劣化に対応した高解像化を行うためには、第１の機械学習モデルが、撮像画像の撮像に用いた光学系に関する情報に基づいて、高解像化に関する出力を生成する必要がある。光学系に関する情報は、撮像画像を取得する際に用いられる光学系の種類、撮像時の焦点距離、絞り値、フォーカス距離、光軸に対する撮像画像の画素の位置、及び撮像画像の画素における光学系の解像性能のいずれかに関する情報である。光学系の種類は、結像光学系１３１の種類や光学ローパスフィルタの種類等である。光学系の種類、焦点距離、絞り値、フォーカス距離、及び光軸に対する撮像画像の画素の位置が特定されると、その画素の位置において、光学系で発生する収差や回折によるぼけが一意的に決まる。第１の機械学習モデルの訓練と実行時に、画像だけでなく、光学系に関する情報を入力することで、画像の各画素に適した高解像化を行うことができる。光学系に関する情報を表す値をそれぞれチャンネル成分に有するマップ（２次元の画素数が画像と同じ）を、画像のチャンネル方向に連結する等して、第１の機械学習モデルに入力するとよい。光学系の種類、焦点距離、絞り値、及びフォーカス距離は、画素の位置によって変化しないため、それぞれ同一の値を有する平坦なマップとなる。光軸に対する撮像画像の画素の位置は、２方向（水平・垂直など）のグラデーションを異なるチャンネル成分に有するマップとなる。これらの情報の代わりに、画像の画素における光学系の解像性能に関する情報を用いてもよい。各画素に作用しているぼけが、既定値以上のＭＴＦ（変調伝達関数）を有している周波数等で解像性能を表すマップを生成することができる。また、２つ以上の異なる方向（水平・垂直、メリジオナル・サジタル）に対する解像性能に関する情報を、異なるチャンネル成分に有していてもよい。なお、光学系に関する情報は、撮像画像のメタデータから直接取得してもよいし、メタデータの情報をもとに所望のデータ形式になるよう演算して生成してもよい。

【0052】

また、ステップＳ２０１では、高解像化に関する情報に基づいて、複数の第１のウエイトのセットから、第１の機械学習モデルで用いる第１のウエイトのセットを選択することが望ましい。更に、撮像画像のノイズに関する情報に基づいて、複数の第２のウエイトのセットから、第２の機械学習モデルで用いる第２のウエイトのセットを選択することが望ましい。撮像素子１３２で取り得るＩＳＯ感度（例えば、ＩＳＯ１００～２５６００）全てのノイズを、１つの機械学習モデルでノイズ低減するより、ＩＳＯ感度の範囲を複数に分け、それぞれの範囲を個別に訓練した機械学習モデルでノイズ低減した方が高精度になる。高解像化に関しても同様である。撮像装置１０３がレンズ交換式カメラである場合、結像光学系１３１は複数の種類を取りうる。例えば、結像光学系１３１の種類ごとに第２の機械学習モデルを訓練することで、精度を向上させることができる。例えば、第２の機械学習モデルを、ＩＳＯ１００～４００、４００～１６００、１６００～６４００、６４００～２５６００のように、ノイズの強さに応じて個別に訓練し、４つの第２のウエイトのセットを生成したとする。同様に、第１の機械学習モデルを、結像光学系１３１の種類（例えば８種類）に応じて個別に訓練し、８つの第１のウエイトのセットを生成したとする。この場合、機械学習モデルの訓練を実行する回数と、保持するウエイトのセットの数はそれぞれ１２である。しかしながら、ノイズ低減と高解像化を１つの機械学習モデルで実行する場合、訓練の実行回数とウエイトのセットの数はそれぞれ４と８の積である３２となる。このため、ノイズ低減と高解像化を分けて個別の機械学習モデルで実行することにより、訓練の負荷と保持するデータの量を低減することができる。第２のウエイトのセットは、撮像画像のノイズに関する情報に基づいて選択される。撮像画像のノイズに関する情報は、撮像素子１３２の種類、撮像時のＩＳＯ感度、撮像画像のオプティカルブラック領域の信号分布（分散等）、及び撮像画像の圧縮品質（ＪＥＰＧ圧縮のＱ値等）等に関する情報を含む。同様に、第１のウエイトのセットは、高解像化に関する情報に基づいて選択される。高解像化に関する情報は、撮像画像の解像性能に関連する情報であり、結像光学系１３１の種類、撮像時の結像光学系１３１の状態（焦点距離、絞り値、及びフォーカス距離等）、及びアップスケールの拡大倍率等に関する情報を含む。

【0053】

また、ステップＳ２０５では、第１のノイズ低減の残差マップを、撮像画像と高解像化に関する出力とに基づいて修正し、修正された第１のノイズ低減の残差マップに基づいて、第２の入力データを生成することが望ましい。撮像素子１３２で発生するノイズはショットノイズ等を含むため、光量によってノイズの強さが変化する。高解像化によってぼけ像のフレアが補正されると、撮像画像内で局所的に明るさが変化する領域ができる。第１のノイズ低減の残差マップを修正しないと、ぼけた状態の光量に対応するノイズが、高解像化後の光量が変化した領域に存在することになるため、被写体の明るさとノイズの強さに不一致が発生する。この不一致が第２の機械学習モデルのノイズ低減の効果を下げる可能性があるため、高解像化による撮像画像の局所的な明るさ変化に応じて、ノイズ低減の残差マップを修正し、明るさとノイズの強さの不一致を解消することが望ましい。

【実施例0054】

本実施例では、実施例１と異なる構成についてのみ説明し、実施例１と同様の構成については説明を省略する。本実施例では、高解像化の対象は光学系で発生するぼけであり、ノイズ低減の対象は撮像素子で発生するノイズである。

【0055】

図５は、本実施例の画像処理システム３００の外観図である。図６は、本実施例の画像処理システム３００のブロック図である。画像処理システム３００は、訓練装置３０１、画像処理装置（第２の装置）３０２、制御装置（第１の装置）３０３、及び撮像装置３０４を有する。

【0056】

撮像装置３０４は、結像光学系３４１、撮像素子３４２、記憶部３４３、及び通信部３４４を備える。撮像装置３０４で撮像された撮像画像は、制御装置３０３に送信される。

【0057】

制御装置３０３は、記憶部３３１、通信部（送信部）３３２、演算部（取得部）３３３、及び表示部３３４を備える。制御装置３０３は、撮影画像と、撮像画像に対するノイズ低減と高解像化の実行の要求とを画像処理装置３０２に送信する。また、制御装置３０３は、画像処理装置３０２の出力（後述の高解像化された撮像画像と、第２のノイズ低減の残差マップ）を受信し、ユーザの指示に従って出力画像を生成する。

【0058】

画像処理装置３０２は、記憶部３２１、通信部３２２、取得部３２３、ノイズ低減部３２４、高解像化部３２５、及び演算部３２６を備える。画像処理装置３０２は、訓練装置３０１で訓練済みのウエイトのセットを用いた機械学習モデルによって、撮像画像にノイズ低減と高解像化を実行する。

【0059】

訓練装置３０１は、記憶部３１１、取得部３１２、演算部３１３、及び更新部３１４を備える。訓練装置３０１は、図３のフローチャートに沿って、機械学習モデルの訓練を実行する。本実施例では、第１の機械学習モデルの訓練に用いる訓練画像と正解画像が、実施例１と異なる。訓練画像は、原画像にぼけとノイズを付与した画像である。ただし、第１の機械学習モデルには、訓練画像と、付与したノイズに－１をかけたマップ（第１のノイズ低減の残差マップに相当）とをチャンネル方向に結合したデータを入力する。正解画像は、原画像に訓練画像より小さいぼけを付与し（又はぼけを付与せずに）、訓練画像に付与したノイズと相関のある同程度の強さのノイズを付与した画像である。訓練画像に存在するノイズを露わに、第１の機械学習モデルに入力することで、第１の機械学習モデルは訓練画像内の被写体とノイズを容易に切り分けることができるため、ノイズ変化を抑制した高解像化のみの効果を獲得することができる。なお、ノイズのマップは、必ずしも訓練画像のチャンネル方向に結合する必要はない。訓練画像とノイズのマップをそれぞれ畳み込み層に入力し、生成された特徴マップをチャンネル方向に結合する等してもよい。

【0060】

以下、図７を参照して、制御装置３０３と画像処理装置３０２により実行される、撮像画像に対するノイズ低減と高解像化について説明する。図７は、本実施例の出力画像の生成を示すフローチャートである。

【0061】

ステップＳ３０１では、通信部３３２は、撮像画像と、撮影画像に対するノイズ低減と高解像化の実行の要求とを画像処理装置３０２に送信する。

【0062】

ステップＳ３０２では、通信部３２２は、撮像画像と、撮影画像に対するノイズ低減と高解像化の実行の要求とを取得する。なお、撮像画像は、予め記憶部３２１に記憶されていてもよいし、その他の記録媒体から読み込まれてもよい。

【0063】

ステップＳ３０３では、取得部３２３は、機械学習モデルのウエイトのセットを取得する。具体的には、取得部３２３は、第１乃至第３の機械学習モデルのそれぞれで使用する第１乃至第３のウエイトのセットを取得する。

【0064】

ステップＳ３０４では、ノイズ低減部３２４は、第３の機械学習モデルを用いて、撮像画像に基づく第１のノイズ低減に関する出力を生成する。本実施例では、第１のノイズ低減に関する出力は、第１のノイズ低減の残差マップである。第１のノイズ低減の残差マップは、撮像画像のノイズを打ち消す成分である。

【0065】

ステップＳ３０５では、演算部３２６は、撮像画像と第１のノイズ低減の残差マップとをチャンネル方向に結合し、第１の入力データを生成する。

【0066】

ステップＳ３０６では、高解像化部３２５は、第１の機械学習モデルを用いて、第１の入力データに基づく高解像化に関する出力を生成する。本実施例では、高解像化に関する出力は、ノイズ低減なしで高解像化された撮像画像である第３の画像である。撮像画像と第１のノイズ低減の残差マップを含む第１の入力データと、第１の機械学習モデルの訓練とによって、実施例１と異なり、本実施例では第１の機械学習モデルが直接、第３の画像を生成することができる。なお、第１の入力データは、撮像画像と第１のノイズ低減の残差マップを加算した画像（第１の画像）と、第１のノイズ低減の残差マップと、をチャンネル方向に結合したデータでもよい。また、撮像画像と第１の画像をチャンネル方向に結合したデータでもよい。これらの場合、第１の機械学習モデルの訓練時にも同様の形式の入力を使用する。本実施例では、高解像化に関する出力は、撮像画像、第１のノイズ低減に関する出力に基づくノイズ低減された撮像画像、及び第１のノイズ低減に関する出力に基づく第１のノイズ低減の残差マップのうち少なくとも２つを用いて生成される。

【0067】

ステップＳ３０７では、ノイズ低減部３２４は、第２の機械学習モデルを用いて、第２の入力データに基づく第２のノイズ低減に関する出力を生成する。本実施例では、第２の入力データは第３の画像であり、第２のノイズ低減に関する出力は第２のノイズ低減の残差マップである。第３の画像と第２のノイズ低減の残差マップとを加算することで、ノイズ低減と高解像化が実行された撮像画像となる。

【0068】

ステップＳ３０８では、通信部３２２は、高解像化に関する出力（第３の画像）と第２のノイズ低減に関する出力（第２のノイズ低減の残差マップ）とを制御装置３０３に送信する。

【0069】

ステップＳ３０９では、通信部３３２は、高解像化に関する出力（第３の画像）と第２のノイズ低減に関する出力（第２のノイズ低減の残差マップ）とを取得する。

【0070】

ステップＳ３１０では、演算部３３３は、撮像画像、高解像化に関する出力（第３の画像）、及び第２のノイズ低減に関する出力（第２のノイズ低減の残差マップ）に基づいて出力画像を生成する。撮像画像と第３の画像の加重平均の重みを変更することで、高解像化の強度を調整することができる。撮像画像と第３の画像の加重平均に対し、ノイズ低減の強度を表す係数をかけた第２のノイズ低減の残差マップを加算することで、ノイズ低減の強度を調整することができる。表示部３３４に表示された出力画像を確認しながら、ユーザは高解像化とノイズ低減の強度調整を高速に行うことができる。

【0071】

以上説明したように、本実施例の構成によれば、機械学習モデルの訓練の負荷を抑制しつつ、高精度に撮像画像の高解像化とノイズ低減を行うことが可能である。

【0072】

本実施形態の開示は、以下の方法及び構成を含む。
（方法１）
撮像画像を用いて第１のノイズ低減に関する出力を生成するステップと、
第１の機械学習モデルを用いて、前記第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成するステップと、
第２の機械学習モデルを用いて、前記高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成するステップと、
前記第２のノイズ低減に関する出力に基づく出力画像を生成するステップとを有し、
前記第２の入力データは、第１の加算画像との差異よりも、第２の加算画像との差異が大きい画像であり、
前記第１の加算画像は、前記高解像化に関する出力に基づく高解像化の残差マップと、前記撮像画像とを加算することで得られる画像であり、
前記第２の加算画像は、前記高解像化の残差マップと、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像とを加算することで得られる画像であることを特徴とする画像処理方法。
（方法２）
前記高解像化に関する出力は、前記撮像画像を取得する際に用いられる光学系に関する情報に基づいて生成されることを特徴とする方法１に記載の画像処理方法。
（方法３）
前記光学系に関する情報は、前記光学系の種類、前記光学系の焦点距離、前記光学系の絞り値、前記光学系のフォーカス距離、前記光学系の光軸に対する前記撮像画像の画素の位置、及び前記撮像画像の画素における前記光学系の解像性能のいずれかに関する情報であることを特徴とする方法２に記載の画像処理方法。
（方法４）
前記高解像化は、ぼけの補正又はアップスケールの少なくとも一方を含むことを特徴とする構成１乃至３の何れか一つの方法に記載の画像処理方法。
（方法５）
前記高解像化は、前記撮像画像を取得する際に用いられる光学系で生じるぼけの補正を含むことを特徴とする方法１乃至４の何れか一つの方法に記載の画像処理方法。
（方法６）
前記出力画像は、前記撮像画像と、前記高解像化に関する出力とに基づいて生成されることを特徴とする方法１乃至５の何れか一つの方法に記載の画像処理方法。
（方法７）
高解像化に関する情報に基づいて、前記第１の機械学習モデルで用いる第１のウエイトのセットを選択するステップと、
前記撮像画像のノイズに関する情報に基づいて、前記第２の機械学習モデルで用いる第２のウエイトのセットを選択するステップとを更に有することを特徴とする方法１乃至６の何れか一つの方法に記載の画像処理方法。
（方法８）
前記第１のノイズ低減に関する出力は、機械学習モデルを用いて生成されることを特徴とする方法１乃至７の何れか一つの方法に記載の画像処理方法。
（方法９）
前記機械学習モデルは、前記第２の機械学習モデルと同一であることを特徴とする方法８に記載の画像処理方法。
（方法１０）
前記第２の入力データは、前記撮像画像と前記高解像化に関する出力とに基づいて修正された、前記第１のノイズ低減に関する出力に基づく第１のノイズ低減の残差マップを用いて生成されることを特徴とする方法１乃至９の何れか一つの方法に記載の画像処理方法。
（方法１１）
前記第２の入力データは、前記高解像化に関する出力と、前記撮像画像、又は前記第１のノイズ低減に関する出力とに基づいて生成されることを特徴とする方法１乃至１０の何れか一つの方法に記載の画像処理方法。
（方法１２）
前記高解像化に関する出力は、前記撮像画像、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像、及び前記第１のノイズ低減に関する出力に基づく第１のノイズ低減の残差マップのうち少なくとも２つを用いて生成されることを特徴とする方法１乃至１１の何れか一つの方法に記載の画像処理方法。
（構成１）
撮像画像を用いて第１のノイズ低減に関する出力を生成する第１生成部と、
高解像化を行う第１の機械学習モデルを用いて、前記第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成する第１生成部と、
ノイズ低減を行う第２の機械学習モデルを用いて、前記高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成する第３生成部と、
前記第２のノイズ低減に関する出力に基づく出力画像を出力する出力部とを有し、
前記第２の入力データは、第１の加算画像との差異より、第２の加算画像との差異が大きい画像であり、
前記第１の加算画像は、前記高解像化に関する出力に基づく高解像化の残差マップと、前記撮像画像とを加算した画像であり、
前記第２の加算画像は、前記高解像化の残差マップと、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像とを加算した画像であることを特徴とする画像処理装置。
（構成２）
第１の装置と第２の装置とを有する画像処理システムであって、
前記第１の装置は、
前記第２の装置に処理の実行に関する要求を送信する送信部と、
前記第２の装置から取得した出力を用いて出力画像を取得する取得部とを備え、
前記第２の装置は、
撮像画像を用いて第１のノイズ低減に関する出力を生成する第１生成部と、
高解像化を行う第１の機械学習モデルを用いて、前記第１のノイズ低減に関する出力に応じた第１の入力データに基づく高解像化に関する出力を生成する第１生成部と、
ノイズ低減を行う第２の機械学習モデルを用いて、前記高解像化に関する出力に応じた第２の入力データに基づく第２のノイズ低減に関する出力を生成する第３生成部と、
前記第２のノイズ低減に関する出力に基づく前記出力を出力する出力部とを備え、
前記第２の入力データは、第１の加算画像との差異より、第２の加算画像との差異が大きい画像であり、
前記第１の加算画像は、前記高解像化に関する出力に基づく高解像化の残差マップと、前記撮像画像とを加算した画像であり、
前記第２の加算画像は、前記高解像化の残差マップと、前記第１のノイズ低減に関する出力に基づくノイズ低減された前記撮像画像とを加算した画像であることを特徴とする画像処理システム。
（構成３）
方法１乃至１２の何れか一つの構成に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0073】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。