特許 7455574 画像処理方法、プログラム、学習済みモデルの製造方法、画像処理装置、および、画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】画像処理方法、プログラム、学習済みモデルの製造方法、画像処理装置、および、画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240318BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 18

(21)【出願番号】P 2019233981

(22)【出願日】2019-12-25

(65)【公開番号】P2021103404

(43)【公開日】2021-07-15

【審査請求日】2022-12-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】木村 良範

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１０－０５５６０５（ＪＰ，Ａ）

【文献】永野 雄大，外１名，低解像度の料理画像を超解像するためのＳＲＧＡＮの応用，一般社団法人 人工知能学会 第３２回全国大会論文集ＤＶＤ ［ＤＶＤ－ＲＯＭ］ ２０１８年度 人工知能学会全国大会（第３２回），2018年

【文献】Manuel Fritsche et al.，Frequency Separation for Real-World Super-Resolution，2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)，米国，2019年10月27日，pp.3599-3608，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9022593

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータを用いて実行される画像処理方法であって、
第１の画像に基づいて、前記第１の画像とはノイズレベルが異なる第２の画像を生成する第１の工程と、
前記第１の画像および前記第２の画像に基づいて、前記第１の画像または前記第２の画像に含まれるノイズに関する第３の画像を生成する第２の工程と、
前記第１の画像と前記第２の画像の少なくとも一方をダウンサンプリングすることで、第４の画像を生成する第３の工程と、
前記第３の画像と前記第４の画像とを重み付け加算することで、第５の画像を生成する第４の工程と、
前記第５の画像と前記第１の画像または前記第２の画像とを用いて、ニューラルネットワークの学習を行う第５の工程と、を有することを特徴とする画像処理方法。

【請求項2】

前記第５の工程において、前記第５の画像を、前記第１の画像または前記第２の画像のうち前記ノイズレベルが高い画像に変換するように、前記ニューラルネットワークの学習を行うことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記第１の工程において、前記第１の画像におけるノイズを低減することで、前記第２の画像を生成することを特徴とする請求項１または２に記載の画像処理方法。

【請求項4】

前記第２の工程において、前記第１の画像と前記第２の画像とを画素毎に減算した後にダウンサンプリングすることで、前記第３の画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。

【請求項5】

前記第２の工程において、前記第１の画像と前記第２の画像とをそれぞれダウンサンプリングした後に画素毎に減算することで、前記第３の画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。

【請求項6】

前記第１の工程において、前記第１の画像にノイズを付与することで、前記第２の画像を生成することを特徴とする請求項１または２に記載の画像処理方法。

【請求項7】

前記第２の工程において、付与した前記ノイズに基づいて前記第３の画像を生成することを特徴とする請求項６に記載の画像処理方法。

【請求項8】

前記重み付け加算における重みは、前記第１の画像または前記第２の画像のノイズに基づいて決定されることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。

【請求項9】

前記重みは、前記ノイズをガウシアンノイズで近似した際の平均値、標準偏差、または、分散の少なくとも一つに基づいて決定されることを特徴とする請求項８に記載の画像処理方法。

【請求項10】

前記重みは、前記第１の画像を撮像した際のＩＳＯ感度に基づいて決定されることを特徴とする請求項８に記載の画像処理方法。

【請求項11】

前記ニューラルネットワークは、入力された画像を超解像画像処理することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理方法。

【請求項12】

前記ニューラルネットワークに入力画像を入力することで、推定画像を生成する第６の工程を更に有することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。

【請求項13】

請求項１乃至１２のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【請求項14】

コンピュータを用いて実行される学習済みモデルの製造方法であって、
第１の画像に基づいて、前記第１の画像とはノイズレベルが異なる第２の画像を生成する第１の工程と、
前記第１の画像および前記第２の画像に基づいて、前記第１の画像または前記第２の画像に含まれるノイズに関する第３の画像を生成する第２の工程と、
前記第１の画像と前記第２の画像の少なくとも一方をダウンサンプリングすることで、第４の画像を生成する第３の工程と、
前記第３の画像と前記第４の画像とを重み付け加算することで、第５の画像を生成する第４の工程と、
前記第５の画像と前記第１の画像または前記第２の画像とを用いて、ニューラルネットワークの学習を行う第５の工程と、を有することを特徴とする学習済みモデルの製造方法。

【請求項15】

第１の画像に基づいて、前記第１の画像とはノイズレベルが異なる第２の画像を生成するノイズレベル手段と、
前記第１の画像および前記第２の画像に基づいて、前記第１の画像または前記第２の画像に含まれるノイズに関する第３の画像を生成するノイズ画像生成手段と、
前記第１の画像と前記第２の画像の少なくとも一方をダウンサンプリングすることで、第４の画像を生成するダウンサンプリング手段と、
前記第３の画像と前記第４の画像とを重み付け加算することで、第５の画像を生成するノイズ加算手段と、
前記第５の画像と前記第１の画像または前記第２の画像とを用いて、ニューラルネットワークの学習を行う学習手段と、を有することを特徴とする画像処理装置。

【請求項16】

第１の装置と、前記第１の装置と通信可能な第２の装置と、を含む画像処理システムであって、
前記第１の装置は、
第１の画像に基づいて、前記第１の画像とはノイズレベルが異なる第２の画像を生成するノイズレベル手段と、
前記第１の画像および前記第２の画像に基づいて、前記第１の画像または前記第２の画像に含まれるノイズに関する第３の画像を生成するノイズ画像生成手段と、
前記第１の画像と前記第２の画像の少なくとも一方をダウンサンプリングすることで、第４の画像を生成するダウンサンプリング手段と、
前記第３の画像と前記第４の画像とを重み付け加算することで、第５の画像を生成するノイズ加算手段と、
前記第５の画像と前記第１の画像または前記第２の画像とを用いてニューラルネットワークの学習を行う学習手段と、を有し、
前記第２の装置は、前記ニューラルネットワークを用いて入力画像から推定画像を生成する推定手段と、を有する、ことを特徴とする画像処理システム。

【請求項17】

第１の装置と、前記第１の装置と通信可能な第２の装置と、前記第２の装置と通信可能な第３の装置と、を含む画像処理システムであって、
前記第１の装置は、
第１の画像に基づいて、前記第１の画像とはノイズレベルが異なる第２の画像を生成するノイズレベル手段と、
前記第１の画像および前記第２の画像に基づいて、前記第１の画像または前記第２の画像に含まれるノイズに関する第３の画像を生成するノイズ画像生成手段と、
前記第１の画像と前記第２の画像の少なくとも一方をダウンサンプリングすることで、第４の画像を生成するダウンサンプリング手段と、
前記第３の画像と前記第４の画像とを重み付け加算することで、第５の画像を生成するノイズ加算手段と、
前記第５の画像と前記第１の画像または前記第２の画像とを用いてニューラルネットワークの学習を行う学習手段と、を有し、
前記第３の装置は、撮像画像に対する処理を前記第２の装置に実行させるための要求を送信する送信手段を有し、
前記第２の装置は、
前記送信手段により送信された前記要求を受信する受信手段と、
前記ニューラルネットワークを用いて入力画像から推定画像を生成する推定手段と、を有することを特徴とする画像処理システム。

【請求項18】

請求項１乃至１１のいずれか一項に記載の画像処理方法を用いて学習された前記ニューラルネットワークを用いて入力画像から推定画像を生成する推定手段を有することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習ＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）において、超解像画像処理に伴う画像のノイズレベルの変動を制御することが可能な画像処理方法に関する。

【背景技術】

【0002】

非特許文献１には、機械学習ＤＬを用いて超解像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）画像処理を行い、低解像度な撮像画像から高解像な画像を得る方法が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｘｉｎｔａｏ Ｗａｎｇ、Ｋｅ Ｙｕ、Ｓｈｉｘｉａｎｇ Ｗｕ、Ｊｉｎｊｉｎ Ｇｕ、Ｙｉｈａｏ Ｌｉｕ、Ｃｈａｏ Ｄｏｎｇ、Ｃｈｅｎ Ｃｈａｎｇｅ Ｌｏｙ、Ｙｕ Ｑｉａｏ、Ｘｉａｏｏｕ Ｔａｎｇ、「ＥＳＲＧＡＮ： Ｅｎｈａｎｃｅｄ Ｓｕｐｅｒ－Ｒｅｏｓｌｕｔｉｏｎ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ：１８０９．００２１９、２０１８年

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に開示された方法では、高解像度化に伴って画像のノイズレベルが変動（増加または減少）する。これは、機械学習ＤＬで学習に用いる訓練画像である高解像度訓練画像と低解像度訓練画像が原因である。すなわち、高解像度訓練画像をダウンサンプリングし低解像度訓練画像を生成すると、それに伴ってノイズが平均化され、低解像度訓練画像のノイズレベルが低下するためである。ここでノイズとは、高解像度訓練画像に含まれるノイズである。

【0005】

ところで、従来、高解像度訓練画像をダウンサンプリングし低解像度訓練画像を生成した後、得られる低解像度訓練画像にノイズを加えることが行われてきた。しかし、高解像度訓練画像が有するノイズと低解像度訓練画像に加えたノイズとの間に相関がない場合、ＤＬ超解像画像処理に伴い得られる高解像度画像のノイズレベルが変動する。

【0006】

そこで本発明は、画像処理に伴う画像のノイズの変動を制御することが可能な画像処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての画像処理方法は、コンピュータを用いて実行される画像処理方法であって、第１の画像に基づいて、前記第１の画像とはノイズレベルが異なる第２の画像を生成する第１の工程と、前記第１の画像および前記第２の画像に基づいて、前記第１の画像または前記第２の画像に含まれるノイズに関する第３の画像を生成する第２の工程と、前記第１の画像と前記第２の画像の少なくとも一方をダウンサンプリングすることで、第４の画像を生成する第３の工程と、前記第３の画像と前記第４の画像とを重み付け加算することで、第５の画像を生成する第４の工程と、前記第５の画像と前記第１の画像または前記第２の画像とを用いて、ニューラルネットワークの学習を行う第５の工程とを有する。

【0008】

本発明の他の目的及び特徴は、以下の実施例において説明される。

【発明の効果】

【0009】

本発明によれば、画像処理に伴う画像のノイズの変動を制御することが可能な画像処理方法等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１におけるニューラルネットワークの学習の流れを示す図である。

【図2】実施例１における画像処理システムのブロック図である。

【図3】実施例１における画像処理システムの外観図である。

【図4】実施例１におけるウエイトの学習に関するフローチャートである。

【図5】実施例１における出力画像の生成に関するフローチャートである。

【図6】実施例２における画像処理システムのブロック図である。

【図7】実施例２における画像処理システムの外観図である。

【図8】実施例３における画像処理システムのブロック図である。

【図9】実施例３における出力画像の生成に関するフローチャートである。

【図10】各実施例の概要の説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

【0012】

まず、具体的な説明を行う前に、各実施例の要旨を説明する。各実施例は、ＤＬ超解像画像処理（画像の高解像度化）に伴う画像のノイズレベルの変動を抑制する。なお機械学習ＤＬでは、画像処理に多層のニューラルネットワークを使用する。またＤＬ超解像画像処理では、多層のニューラルネットワークで使用するウエイトの学習において、高解像度訓練画像と対応する低解像度訓練画像（から抽出した部分画像であるパッチ）を用いる。ここで、ウエイトとは畳み込みに用いるフィルタ、足し合わせるバイアスなどである。

【0013】

次に、図１０を参照して、各実施例の概要に関して説明する。各実施例では、まず、高解像度訓練画像である第１の画像からノイズを除去（低減）して、第１の画像とノイズレベルが異なる第２の画像を生成する。なお、第１の画像からノイズレベルが異なる第２の画像を生成する方法は、ノイズの除去（低減）に限定されるものではない。その他の方法については、後述する。次に、第１の画像と第２の画像の少なくとも一方をダウンサンプリングし、第４の画像を生成する。ここで、第４の画像は、高解像度訓練画像に対応する低解像度な画像であり、ダウンサンプリングに伴いノイズレベルが低下している。

【0014】

次に、第１の画像と第２の画像とをダウンサンプリングした後に減算して、第３の画像を生成する。より具体的には、第１の画像と第２の画像とを画素毎にダウンサンプリングした後に減算するか、または、第１の画像と第２の画像とをそれぞれダウンサンプリングした後に画素毎に減算することで、第３の画像を生成する。ここで、第３の画像は、高解像度訓練画像である第１の画像が有するノイズを、ダウンサンプリングした低解像度なノイズ画像である。すなわち第３の画像は、第１の画像または第２の画像に含まれるノイズに関する画像である。なお、第３の画像を生成する方法はこれに限定されるものではない。その他の方法については後述する。

【0015】

次に、低解像度ノイズ画像である第３の画像と低解像度画像である第４の画像とを重み付け加算し、低解像度訓練画像である第５の画像を生成する。低解像度ノイズ画像を重み付け加算する理由は、ダウンサンプリングに伴いノイズレベルが低下している低解像度画像のノイズレベルを向上させるためである。なお、重み付け加算の重みの決定方法に関する詳細については、後述する。次に、低解像度訓練画像である第５の画像を多層のニューラルネットワークへ入力する。

【0016】

次に、その出力と高解像度訓練画像である第１の画像（または第２の画像）との誤差が小さくなるように、多層のニューラルネットワークのウエイトを最適化（学習）する。すなわち、第５の画像と第１の画像または第２の画像とを用いて、ニューラルネットワークを学習する。より具体的には、第５の画像を、第１の画像または第２の画像のうちノイズレベルが高い画像へ変換するように、ニューラルネットワークを学習する。学習されたニューラルネットワークは、入力画像を超解像画像処理（アップサンプリング）するネットワークである。

【0017】

各実施例によれば、高解像度訓練画像と低解像度訓練画像が互いに相関のあるノイズを有し、そのノイズレベルも等しくすることができる。これにより、多層のニューラルネットワークはノイズレベルの変動を抑制しつつ、ＤＬ超解像画像処理を行うウエイトを学習することができる。すなわち、ノイズレベルの変動を抑制しつつＤＬ超解像画像処理を行うことが可能な学習済みモデルを生成することができる。なお、高解像度訓練画像と相関のあるノイズは、高解像度訓練画像が有するノイズをダウンサプリングしたものであり得る。すなわち、高解像度訓練画像と低解像度訓練画像が互いに相関のあるノイズを有する場合には、低解像度訓練画像が、高解像度訓練画像の有するノイズをダウンサプリングした成分を有する場合を含む。また、ＤＬ超解像画像処理においてノイズレベルの変動を制御（抑制）することは、低解像度ノイズ画像を重み付け加算する際の重みを調整することで可能である。すなわち、高解像度訓練画像と低解像度訓練画像のノイズレベルを等しくすることで可能である。

【0018】

なお、前述の画像処理方法は、一例であり、各実施例はこれに限定されるものではない。その他の画像処理方法などの詳細については、以下の各実施例で説明する。

【実施例1】

【0019】

まず、本発明の実施例１における画像処理システムに関して説明する。本実施例では、多層のニューラルネットワークに超解像画像処理を学習、実行させる。

【0020】

図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。画像処理システム１００は、学習装置（画像処理装置）１０１、撮像装置１０２、画像推定装置（画像処理装置）１０３、表示装置１０４、記録媒体１０５、出力装置１０６、および、ネットワーク１０７を有する。

【0021】

学習装置１０１は、記憶部（記憶手段）１０１ａ、ノイズレベル部（ノイズレベル手段）１０１ｂ、ノイズ画像生成部（ノイズ画像生成手段）１０１ｃ、および、ダウサンプリング部１０１ｄ（ダウンサンプリング手段）を有する。また学習装置１０１は、ノイズ加算部（ノイズ加算手段）１０１ｅおよび学習部（学習手段）１０１ｆを有する。

【0022】

撮像装置１０２は、光学系１０２ａおよび撮像素子１０２ｂを有する。光学系１０２ａは、被写体空間から撮像装置１０２へ入射した光を集光する。撮像素子１０２ｂは、光学系１０２ａを介して形成された光学像（被写体像）を受光して（光電変換して）撮像画像を取得する。撮像素子１０２ｂは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。撮像装置１０２によって取得される撮像画像は、光学系１０２ａの収差や回折によるぼけと、撮像素子１０２ｂによるノイズを含む。

【0023】

画像推定装置１０３は、記憶部１０３ａ、取得部１０３ｂ、および、超解像画像処理部（推定手段）１０３ｃを有する。画像推定装置１０３は、撮像画像を取得し、ノイズレベル変動を抑制したＤＬ超解像画像処理を行って推定画像（出力画像）を生成する。ＤＬ超解像画像処理には、多層のニューラルネットワークを使用し、ウエイトの情報は記憶部１０３ａから読み出される。ウエイト（ウエイトの情報）は学習装置１０１で学習されたものであり、画像推定装置１０３は、事前にネットワーク１０７を介して記憶部１０１ａからウエイトの情報を読み出し、記憶部１０３ａに保存している。保存されるウエイトの情報は、ウエイトの数値そのものでもよいし、符号化された形式でもよい。なお、ウエイトの学習、およびウエイトを用いたＤＬ超解像画像処理に関する詳細は、後述する。

【0024】

出力画像は、表示装置１０４、記録媒体１０５、および、出力装置１０６の少なくとも一つに出力される。表示装置１０４は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０４を介して、処理途中の画像を確認しながら編集作業などを行うことができる。記録媒体１０５は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバ等である。出力装置１０６は、プリンタなどである。画像推定装置１０３は、必要に応じて現像処理やその他の画像処理を行う機能を有する。

【0025】

次に、図１および図４を参照して、本実施例における学習装置１０１により実行されるウエイト（ウエイトの情報）の学習方法（学習済みモデルの製造方法）に関して説明する。図１は、多層のニューラルネットワーク（ニューラルネットワーク）のウエイトの学習の流れを示す図である。図４は、ウエイトの学習に関するフローチャートである。図４の各ステップは、主に、ノイズレベル部１０１ｂ、ノイズ画像生成部１０１ｃ、ダウンサンプリング部１０１ｄ、ノイズ加算部１０１ｅ、および、学習部１０１ｆにより実行される。

【0026】

まず、ステップＳ１０１において、ノイズレベル部１０１ｂは、高解像度パッチ（第１の画像）に基づいて、中間パッチ（第２の画像）を生成する。本実施例において、高解像度パッチは、光学系１０２ｂの収差や回折によるぼけが少ない高解像な画像である。高解像度パッチには撮像素子１０２ｂによるノイズ成分が含まれる。中間パッチとは、高解像度パッチと同一の被写体が写っており、高解像度パッチとノイズレベルの異なる（ノイズが多いまたは少ない）画像である。なお、パッチとは既定の画素数（例えば、６４×６４画素など）を有する画像を指す。また、パッチの画素数は、必ずしも一致する必要はない。例えば、高解像度パッチの画素数は、対応する低解像度パッチの画素数より多い。また、高解像度パッチと中間パッチの画素数は等しい。

【0027】

本実施例では、高解像度パッチからノイズ除去手法ＢＭ３Ｄでノイズ除去することで、高解像度パッチとノイズレベルの異なる（ノイズの少ない）中間パッチを生成する。本実施例は、記憶部１０１ａに記憶されている複数の原画像を高解像撮像画像とする。原画像は撮像装置１０２によって取得される撮像画像でもよいし、撮像シミュレーションによって生成した撮像画像でもよい。インターネットから集めた画像を用いてもよい。また、原画像は、撮像素子によるノイズを含む画像である。本実施例において、撮像素子として撮像素子１０２ｂを用いたが、本発明はこれに限定されるものではない。例えば、他の撮像素子によるノイズでもよいし、正規乱数によって生成した乱数列に基づくノイズでもよい。そして、複数の原画像（高解像度撮像画像）から規定の画素サイズの部分領域を抽出することで、複数の高解像度パッチを取得する。本実施例において、原画像はＰＮＧ画像であるが、本発明はこれに限定されるものではない。例えば、ＢＭＰやＪＰＧなど他の画像フォーマットでもよいし、未現像のＲＡＷ画像でもよい。

【0028】

好ましくは、原画像は、収差や回折によるぼけが少ない（影響が小さい）高解像な画像がよい。これは、原画像（高解像度画像）に高周波成分が含まれていなければ、ＤＬ超解像画像処理で低解像度画像から推定する高周波数成分が無くなるためである。

【0029】

本実施例において、高解像度パッチからノイズ除去手法ＢＭ３Ｄでノイズ除去することで、高解像度パッチとノイズレベルの異なる（ノイズの少ない）中間パッチを生成したが、本発明はこれに限定されるものではない。例えば、ＮＬＭ(ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ)やＤＬなど他のノイズ除去手法でもよい。または、高解像度パッチにノイズを付与することで、ノイズレベルの異なる（ノイズの多い）中間パッチを生成してもよい。なお、付与するノイズは正規乱数によって生成した乱数列に基づくノイズでもよい。また、一様乱数や無理数を利用した擬似的な乱数発生器を使用して生成した乱数列に基づくノイズでもよい。

【0030】

続いてステップＳ１０２において、ノイズ画像生成部１０１ｃは、高解像度パッチ（第１の画像）と中間パッチ（第２の画像）とに基づいて、低解像度ノイズパッチ（第１の画像または第２の画像に含まれるノイズに関する第３の画像）を生成する。本実施例において、高解像度パッチと中間パッチの画素数は２５６×２５６画素、低解像度ノイズパッチの画素数は６４×６４画素であるが、これに限定されるものではない。

【0031】

なお本実施例では、以下の方法により、高解像度パッチと中間パッチから低解像度ノイズパッチを生成するが、これに限定されるものではない。まず、高解像度パッチと中間パッチを減算し、高解像度ノイズパッチを生成する。本実施例において、高解像度パッチから中間パッチを減算するが、逆に、中間パッチから高解像度パッチを減算してもよい。次に、高解像度ノイズパッチをバイキュービック補間でダウンサンプリングし、低解像度ノイズパッチを生成する。なお、ダウンサンプリング方法はこれに限定されるものではなく、バイリニア補間や最近傍補間でもよい。または、図１０に示されるように、高解像度パッチと中間パッチをそれぞれダウンサンプリングした後に減算することで、低解像度ノイズパッチを生成してもよい。

【0032】

また、ステップＳ１０１において、高解像度パッチにノイズを付与し、ノイズレベルの異なる（ノイズの多い）中間パッチを生成する場合、以下の方法で低解像度ノイズパッチを生成してもよい。すなわち、高解像度パッチと中間パッチとを減算し、得られる高解像度ノイズパッチは、高解像度パッチに付与したノイズである。よって、ステップＳ１０１において、高解像度パッチに付与したノイズを記憶し、それをダウンサンプリングすることで、低解像度ノイズパッチを生成してもよい。

【0033】

続いてステップＳ１０３において、ダウンサンプリング部１０１ｄは、高解像度パッチ（第１の画像）と中間パッチ（第２の画像）の少なくとも一方に基づいて、ダウンサンプリングパッチ（第４の画像）を生成する。なお、生成される低解像度なダウンサンプリングパッチは、低解像度ノイズパッチの画素数と同じである。なお本実施例では、高解像度パッチと中間パッチの少なくとも一方を、バイキュービック補間でダウンサンプリングし、ダウンサンプリングパッチを生成するが、これに限定されるものではない。例えば、ダウンサンプリング方法として、バイリニア補間や最近傍補間を用いてもよい。また、ステップＳ１０２とステップＳ１０３の順序は逆でもよい。また、ステップＳ１０２において高解像度パッチと中間パッチをダウンサンプリングした場合、その結果を記憶しダウンサンプリングパッチとして用いてもよい。すなわち、必ずしもダウンサンプリングを再度行う必要はない。

【0034】

続いてステップＳ１０４において、ノイズ加算部１０１ｅは、低解像度ノイズパッチ（第３の画像）とダウンサンプリングパッチ（第４の画像）とに基づいて、低解像度パッチ（第５の画像）を生成する。本実施例では、低解像度ノイズパッチとダウンサンプリングパッチを、重み付け加算し、低解像度パッチを生成する。なお、重み付け加算に用いる重みは、高解像度パッチのノイズレベルに基づいて決定される。本実施例では、原画像を取得する撮像装置１０２の撮像素子１０２ｂのＩＳＯ感度に基づいて重みを決定するが、これに限定されるものではない。例えば、高解像度パッチが有するノイズをガウシアンノイズで近似した際の平均値、標準偏差、または、分散の少なくとも一つに基づいて決定してもよい。また、ステップＳ１０１において、高解像度パッチにノイズを付与し、ノイズレベルの異なる（ノイズの多い）中間パッチを生成した場合、以下の方法で重み付け加算に用いる重みを決定してもよい。すなわち、付与するノイズの元となる、正規乱数によって生成した乱数列の標準偏差に基づいて決定してもよい。本実施例において、重み付け加算に用いる重みは、１種類である。

【0035】

続いてステップＳ１０５において、学習部１０１ｆは、低解像度パッチ（第５の画像）２０１を多層のニューラルネットワーク（ニューラルネットワーク）へ入力し、推定パッチ（推定画像）２０２を生成する。推定パッチ２０２は、ノイズレベルの変動を抑制して、ＤＬ超解像画像処理（高解像度化）した低解像度パッチ２０１である。理想的には、推定パッチ２０２は高解像度パッチ（第１の画像）２００と一致する。これは、低解像度パッチ２０１が有するノイズと、高解像度パッチ２００が有するノイズに相関があるためである。

【0036】

一方、ステップＳ１０１において、高解像度パッチにノイズを付与し、ノイズレベルの異なる（ノイズの多い）中間パッチを生成した場合、推定パッチ２０２は中間パッチ（第２の画像）と一致する。この場合、低解像度パッチ２０１が有するノイズと、相関のあるノイズを有する高解像度なパッチは、中間パッチだからである。

【0037】

本実施例では、図１に示される多層ニューラルネットワークの構成を使用するが、これに限定されるものではない。図１中のＣＮは畳み込み層を表す。ＣＮは、入力とフィルタの畳み込み、およびバイアスとの和が算出され、その結果を活性化関数によって非線形変換する。フィルタの各成分とバイアスの初期値は任意であり、本実施例では乱数によって決定する。活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを使うことができる。最終層を除く各層の出力は、特徴マップと呼ばれる。スキップコネクション２１１、２１２、２１３は、連続していない層から出力された特徴マップを合成する。特徴マップの合成は要素ごとの和をとってもよいし、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）してもよい。本実施例では要素ごとの和を採用する。また、スキップコネクション２１０を併せて有してもよい。これは、低解像度パッチ２０１を補間で拡大（高解像度化）し、多層ニューラルネットから得られる残差と合成することで、推定パッチ２０２を生成する経路である。複数の低解像度パッチ２０１のそれぞれに対して、推定パッチ２０２を生成する。図１中のＰＳはＰｉｘｅｌ Ｓｈｕｆｆｌｅ層を表す。ＰＳは低解像度な特徴マップを並び替え、高解像度な特徴マップを生成する。例えば、６４×６４×６４画素の低解像度の特徴マップを並び替え、１２８×１２８×１６画素の高解像度な特徴マップを生成する。特徴マップのサイズは縦×横×深さ（チャンネル）として表している。ＰＳで得られた特徴マップを畳み込みし、特徴マップのチャンネル数を調整してもよい。本実施例において、特徴マップの高解像度化にはＰｉｘｅｌ Ｓｈｕｆｆｌｅを用いるが、本発明はこれに限定されるものではない。例えば、逆畳み込みや補間を用いてもよい。

【0038】

続いてステップＳ１０６において、学習部１０１ｆは、推定パッチ２０２と高解像度パッチ（第１の画像）２００との誤差に基づいて、多層ニューラルネットワークのウエイト（ウエイトの情報）を更新する。ここで、ウエイトは、各層のフィルタの成分とバイアスを含む。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本発明はこれに限定されるものではない。ミニバッチ学習のため、複数の高解像度パッチ２００とそれらに対応する推定パッチ２０２の誤差を求め、ウエイトを更新する。誤差関数（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）には、例えばＬ２ノルムやＬ１ノルムなどを用いればよい。ウエイト更新方法（学習方法）はミニバッチ学習に限らず、バッチ学習でもオンライン学習でもよい。

【0039】

また、ステップＳ１０１において、高解像度パッチにノイズを付与し、ノイズレベルの異なる（ノイズの多い）中間パッチを生成した場合、推定パッチ２０２は中間パッチ（第２の画像）と一致する。このため、学習部１０１ｆは、推定パッチ２０２と中間パッチとの誤差に基づいて、多層ニューラルネットワークのウエイトを更新する。推定パッチ２０２と中間パッチの関係については、ステップＳ１０４において説明したとおりである。

【0040】

続いてステップＳ１０７において、学習部１０１ｆは、ウエイトの学習が完了したか否かを判定する。完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時のウエイトの変化量が規定値より小さいかなどにより判定することができる。未完と判定された場合、ステップＳ１０１へ戻り、新たな高解像度パッチと低解像度パッチを複数取得する。一方、完了と判定された場合、学習装置１０１（学習部１０１ｆ）は学習を終了し、ウエイトの情報を記憶部１０１ａに保存する。

【0041】

次に、図５を参照して、本実施例における画像推定装置１０３で実行される出力画像の生成に関して説明する。図５は、出力画像の生成に関するフローチャートである。図５の各ステップは、主に、画像推定装置１０３の取得部１０３ｂ、および、超解像画像処理部１０３ｃにより実行される。

【0042】

まず、ステップＳ２０１において、取得部１０３ｂは、撮像画像とウエイトの情報を取得する。撮像画像は、学習と同様でＰＮＧ画像であり、本実施例では撮像装置１０２から送信されたものである。ウエイト情報は学習装置１０１から送信されて記憶部１０３ａに記憶されたものである。

【0043】

続いてステップＳ２０２において、超解像画像処理部１０３ｃは、取得したウエイトを適用した多層のニューラルネットワークに撮像画像を入力し、推定画像（出力画像）を生成する。推定画像は、撮像画像からノイズレベルの変動を抑えて、撮像画像を高解像度化した画像である。推定画像の生成には、図１に示される構成と同様の多層ニューラルネットワークを使用する。なお、多層のニューラルネットワークへ撮像画像を入力する際は、学習時に使用した訓練パッチと同サイズに切り出す必要はない。

【0044】

ここで、高解像度パッチのノイズと低解像度パッチのノイズとの間に相関がない場合について説明する。この場合、高解像度パッチと低解像度パッチの場所毎にノイズレベルが異なるため、ある場所ではノイズ除去し、別の場所ではノイズを強調するように学習する。すなわち、高解像度化に伴って画像のノイズレベルの変動（増加または減少）が発生し、超解像画像の画質が低下する。

【0045】

次に、高解像度パッチにノイズがなく、低解像度パッチのみノイズを有する場合について説明する。この場合、低解像度パッチを高解像度化すると同時に、低解像度パッチからノイズ除去するように学習する。しかし、実写画像には撮像素子に起因するノイズが必ず含まれ、ノイズ除去するとむしろ不自然な高解像度画像となる。また、低解像度画像を高解像度化し（画像を引き伸ばし）、大きな高解像度画像が得られると、ノイズ除去された不自然さが際立つ。

【0046】

一方、本実施例によれば、高解像度化に伴って画像のノイズレベルを変動させることがない。すなわち、撮像画像を高解像度化しつつ、画像に自然らしさを与える一因であるノイズのレベルを、撮像画像のノイズレベルと変わらないようにすることができる。

【0047】

なお本実施例では、学習装置１０１と画像推定装置１０３とが別体である場合を例に説明したが、これに限定されない。学習装置１０１と画像推定装置１０３は一体的に構成されていてもよい。すなわち、一体の装置内で学習（図４に示す処理）と推定（図５に示す処理）を行っても良い。

【0048】

以上の構成により、本実施例によれば、ＤＬ超解像画像処理に伴う画像のノイズレベルの変動を抑制した画像処理システムを提供することが可能である。

【実施例2】

【0049】

次に、本発明の実施例２における画像処理システムに関して説明する。本実施例は、実施例１と同様に、多層のニューラルネットワークに超解像画像処理を学習、実行させる。本実施例の画像処理システムは、撮像装置が撮像画像を取得し、ＤＬ超解像画像処理に伴うノイズレベルの変動を抑制した超解像画像生成する点で、実施例１と異なる。

【0050】

図６は、本実施例における画像処理システム３００のブロック図である。図７は、画像処理システム３００の外観図である。画像処理システム３００は、ネットワーク３０３を介して接続された学習装置（画像処理装置、第１の装置）３０１と撮像装置（第２の装置）３０２とを含む。なお本実施例において、学習装置３０１と撮像装置３０２は、ネットワーク３０３を介して常に接続されている必要はない。

【0051】

学習装置３０１は、記憶部（記憶手段）３１１、ノイズレベル部（ノイズレベル手段）３１２、ノイズ画像生成部（ノイズ画像生成手段）３１３、および、ダウンサンプリング部（ダウンサンプリング手段）３１４を有する。また学習装置３０１は、ノイズ加算部（ノイズ加算手段）３１５および学習部（学習手段）３１６を有する。これらを用いて、多層のニューラルネットワークでノイズレベルの変動を抑制したＤＬ超解像画像処理を行うためのウエイト（ウエイトの情報）を学習する。

【0052】

撮像装置３０２は、被写体空間を撮像して撮像画像を取得し、読み出した前記ウエイトの情報を用いて、撮像画像から超解像画像を生成する。学習装置３０１で実行されるウエイトの学習と、撮像装置３０２で実行されるＤＬ超解像画像処理に関する詳細は後述する。撮像装置３０２は、光学系３２１と撮像素子３２２を有する。画像推定部３２３は、取得部３２３ａと超解像画像処理部（推定手段）３２３ｂを有し、記憶部３２４に保存されたウエイトの情報を用いて、撮像画像から撮像素子３２２より高解像度な超解像画像の生成を実行する。

【0053】

なお、学習装置３０１で実行される、多層ニューラルネットワークのウエイトの学習は、実施例１と同様であるため、その説明は省略する。撮像装置３０２で実行されるＤＬ超解像画像処理に関する詳細のみ後述する。

【0054】

ウエイトの情報は、学習装置３０１で事前に学習され、記憶部３１１に保存されている。撮像装置３０２は、記憶部３１１からネットワーク３０３を介してウエイトの情報を読み出し、記憶部３２４に保存する。ＤＬ超解像画像処理された撮像画像（出力画像）は、記録媒体３２５に保存される。ユーザから出力画像の表示に関する指示が出された場合、保存された出力画像が読み出され、表示部３２６に表示される。なお、記録媒体３２５に既に保存された撮像画像を読み出し、画像推定部３２３でＤＬ超解像画像処理を行ってもよい。以上の一連の制御は、システムコントローラ３２７によって行われる。

【0055】

次に、本実施例における画像推定部３２３で実行される出力画像の生成に関して説明する。ＤＬ超解像画像処理の手順は実施例１の図５と略同一であるため、フローチャートの図は割愛する。ＤＬ超解像画像処理の各ステップは、主に、画像推定部３２３の取得部３２３ａおよび超解像画像処理部（超解像画像処理手段）３２３ｂにより実行される。

【0056】

まず、ステップＳ２０１において、取得部３２３ａは、撮像画像とウエイトの情報を取得する。撮像画像は、学習と同様でＰＮＧ画像であり、本実施例では撮像装置３０２で取得され、記憶部３２４に記憶されたものである。ウエイト情報は、学習装置３０１から送信されて記憶部３２４に記憶されたものである。

【0057】

続いてステップＳ２０２において、超解像画像処理部３２３ｂは、取得したウエイトを適用した多層のニューラルネットワークに撮像画像を入力し、推定画像（出力画像）を生成する。推定画像は、撮像画像からノイズレベルの変動を抑えて、撮像画像を高解像度化した画像である。推定画像の生成には、図１に示される構成と同様の多層ニューラルネットワークを使用する。なお、多層のニューラルネットワークへ撮像画像を入力する際は、学習時に使用した訓練パッチと同サイズに切り出す必要はない。
以上の構成により、本実施例によれば、ＤＬ超解像画像処理に伴う画像のノイズレベルの変動を抑制した画像処理システムを提供することが可能である。

【実施例3】

【0058】

次に、本発明の実施例３における画像処理システムに関して説明する。本実施例の画像処理システムは、画像推定装置に対して画像処理の対象である撮像画像を送信し処理済みの出力画像を画像推定装置から受信する処理装置（コンピュータ）を有する点で、実施例１、２と異なる。

【0059】

図８は、本実施例における画像処理システム４００のブロック図である。画像処理システム４００は、学習装置（第１の装置）４０１、撮像装置４０２、画像推定装置（第２の装置）４０３、および、処理装置（コンピュータ、第３の装置）４０４を有する。学習装置４０１および画像推定装置４０３は、例えばサーバである。コンピュータ４０４は、例えばユーザ端末（パーソナルコンピュータまたはスマートフォン）である。コンピュータ４０４は、ネットワーク４０５を介して画像推定装置４０３に接続されている。画像推定装置４０３は、ネットワーク４０６を介して学習装置４０１に接続されている。すなわち、コンピュータ４０４と画像推定装置４０３とは通信可能に構成され、画像推定装置４０３と学習装置４０１とは通信可能に構成されている。

【0060】

学習装置４０１は、記憶部（記憶手段）４０１ａ、ノイズレベル部（ノイズレベル手段）４０１ｂ、ノイズ画像生成部（ノイズ画像生成手段）４０１ｃ、および、ダウサンプリング部４０１ｄ（ダウンサンプリング手段）を有する。また学習装置４０１は、ノイズ加算部（ノイズ加算手段）４０１ｅおよび学習部（学習手段）４０１ｆを有する。撮像装置４０２は、光学系４０２ａおよび撮像素子４０２ｂを有する。なお、学習装置４０１および撮像装置４０２の構成は、実施例１の学習装置１０１および撮像装置１０２とそれぞれ同様のため、それらの説明を省略する。

【0061】

画像推定装置４０３は、記憶部４０３ａ、取得部４０３ｂ、超解像画像処理部（推定手段）４０３ｃ、および、通信部（受信手段）４０３ｄを有する。記憶部４０３ａ、取得部４０３ｂ、および、超解像画像処理部４０３ｃは、実施例１の画像推定装置１０３の記憶部１０３ａ、取得部１０３ｂ、および、超解像画像処理部１０３ｃとそれぞれ同様である。通信部４０３ｄは、コンピュータ４０４から送信される要求を受信する機能、および、画像推定装置４０３により生成された出力画像をコンピュータ４０４に送信する機能を有する。

【0062】

コンピュータ４０４は、通信部（送信手段）４０４ａ、表示部４０４ｂ、画像処理部４０４ｃ、および、記録部４０４ｄを有する。通信部４０４ａは、撮像画像に対する処理を画像推定装置４０３に実行させるための要求を画像推定装置４０３に送信する機能、および、画像推定装置４０３により処理された出力画像を受信する機能を有する。表示部４０４ｂは、種々の情報を表示する機能を有する。表示部４０４ｂにより表示される情報は、例えば、画像推定装置４０３に送信する撮像画像、および、画像推定装置４０３から受信した出力画像を含む。画像処理部４０４ｃは、画像推定装置４０３から受信した出力画像に対してさらに画像処理を施す機能を有する。記録部４０４ｄは、撮像装置４０２から取得した撮像画像、および、画像推定装置４０３から受信した出力画像等を記録する。

【0063】

次に、図９を参照して、本実施例における画像処理について説明する。図９は、本実施例における出力画像の生成に関するフローチャートである。なお本実施例における画像処理は、実施例１にて説明したＤＬ超解像画像処理（図５）と同等である。図９に示される画像処理は、コンピュータ４０４を介してユーザにより画像処理開始の指示が成されたことを契機として開始される。

【0064】

まず、コンピュータ４０４における動作について説明する。ステップＳ４０１において、コンピュータ４０４は、撮像画像に対する処理の要求を画像推定装置４０３へ送信する。なお、処理対象である撮像画像を画像推定装置４０３に送信する方法は問わない。例えば、撮像画像は、ステップＳ４０１と同時に画像推定装置４０３にアップロードされてもよく、または、ステップＳ４０１以前に画像推定装置４０３にアップロードされていてもよい。また撮像画像は、画像推定装置４０３とは異なるサーバ上に記憶された画像でもよい。なお、ステップＳ４０１において、コンピュータ４０４は撮像画像に対する処理の要求と共に、ユーザを認証するＩＤ情報等を送信してもよい。

【0065】

続いてステップＳ４０２において、コンピュータ４０４は、画像推定装置４０３内で生成された出力画像を受信する。出力画像は、実施例１と同様にノイズレベルの変動を抑えて、撮像画像をＤＬ超解像画像処理した（高解像度化した）画像である。

【0066】

次に、画像推定装置４０３の動作について説明する。まずステップＳ５０１において、画像推定装置４０３は、コンピュータ４０４から送信された撮像画像に対する処理の要求を受信する。画像推定装置４０３は、撮像画像に対する処理（ＤＬ超解像画像処理）が指示されたと判定し、ステップＳ５０２以降の処理を実行する。

【0067】

続いてステップＳ５０２において、画像推定装置４０３は、ウエイト情報を取得する。ウエイト情報は実施例１と同様の方法（図４）で学習された情報（学習済みモデル）である。画像推定装置４０３は、学習装置４０１からウエイト情報を取得してもよく、または、予め学習装置４０１から取得され記憶部４０３ａに記憶されたウエイト情報を取得してもよい。続くステップＳ５０３は、実施例１のステップＳ２０２と同様である。続いてステップＳ５０４において、画像推定装置４０３は、出力画像をコンピュータ４０４へ送信する。

【0068】

以上のように、本実施例のように、画像推定装置４０３を、画像推定装置４０３と通信可能に接続されたコンピュータ４０４を用いて制御するように構成してもよい。

【0069】

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0070】

各実施例によれば、画像処理に伴う画像のノイズの変動を抑制することが可能な画像処理方法、画像処理装置、プログラム、および、記憶媒体を提供することができる。

【0071】

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0072】

１０１ 学習装置（画像処理装置）
１０１ｂ ノイズレベル部（ノイズレベル手段）
１０１ｃ ノイズ画像生成部（ノイズ画像生成手段）
１０１ｄ ダウンサンプリング部（ダウンサンプリング手段）
１０１ｅ ノイズ加算部（ノイズ加算手段）
１０１ｆ 学習部（学習手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】