特開 2024-175114 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175114

(43)【公開日】2024-12-17

(54)【発明の名称】画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241210BHJP

   G06T 3/40 20240101ALI20241210BHJP

【ＦＩ】

H04N23/60 500

G06T3/40

【審査請求】有

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2024162657

(22)【出願日】2024-09-19

(62)【分割の表示】P 2021088597の分割

【原出願日】2021-05-26

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】日浅 法人

(72)【発明者】

【氏名】木村 良範

(72)【発明者】

【氏名】楠美 祐一

(57)【要約】

【課題】 撮像画像のサンプリングピッチを小さくする処理の精度を向上することである。
【解決手段】 本願明細書において説明される画像処理方法は、撮像画像と、該撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する工程と、撮像画像と解像性能情報とに基づいて、撮像画像のサンプリングピッチを小さくした出力画像を生成する工程と、を有する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する工程と、
前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する工程と、を有することを特徴とする画像処理方法。

【請求項2】

前記出力画像は、前記撮像画像を拡大またはデモザイクした画像であることを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記解像性能情報は、前記光学機器で発生するぼけの大きさに関する情報であることを特徴とする請求項１または２に記載の画像処理方法。

【請求項4】

前記解像性能情報は、前記光学機器の点像分布関数の拡がりまたは前記光学機器の変調伝達関数に基づく情報であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。

【請求項5】

前記解像性能情報は、前記撮像画像の画素の位置に応じて異なる情報であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。

【請求項6】

前記解像性能情報は、前記撮像画像の画素数に応じたサイズに値が配列されたマップであることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。

【請求項7】

前記値は、前記光学機器の変調伝達関数が所定の値となる周波数に基づく値であることを特徴とする請求項６に記載の画像処理方法。

【請求項8】

前記解像性能情報は、前記撮像画像の同一画素に対する異なる解像性能の成分を表す複数のチャンネル成分を有することを特徴とする請求項６または７に記載の画像処理方法。

【請求項9】

前記解像性能情報は、前記光学機器の種類または前記撮像画像を撮像した際の前記光学機器の状態を用いて取得され、
前記状態は、焦点距離、Ｆ値、フォーカス距離の少なくとも１つに関する情報であることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。

【請求項10】

前記解像性能情報は、前記撮像画像の撮像に用いた撮像素子の画素ピッチに関する情報を用いて取得されることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。

【請求項11】

前記出力画像は、前記光学機器で発生したぼけが前記撮像画像から補正された画像であることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理方法。

【請求項12】

出力画像を生成する工程では、さらに前記撮像画像のノイズに関する情報を用いて前記出力画像を生成することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。

【請求項13】

前記ノイズに関する情報は、前記撮像画像の撮像時に発生したノイズの強さに関する情報と、前記撮像画像に実行されたデノイズに関する情報の少なくとも一方を含むことを特徴とする請求項１２に記載の画像処理方法。

【請求項14】

前記出力画像は、前記撮像画像と前記解像性能情報とを処理する機械学習モデルを用いて生成されることを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理方法。

【請求項15】

前記解像性能情報は前記撮像画像の画素数に応じたサイズに値が配列されたマップであり、
前記機械学習モデルは、前記解像性能情報と前記撮像画像がチャンネル方向に連結された入力データを処理することで前記出力画像を生成することを特徴とする請求項１４に記載の画像処理方法。

【請求項16】

前記機械学習モデルは１つ以上の残差ブロックを有することを特徴とする請求項１４または１５に記載の画像処理方法。

【請求項17】

前記機械学習モデルは、前記解像性能情報を用いずに前記撮像画像のサンプリングピッチを小さくした第１中間画像に、前記撮像画像と前記解像性能情報を用いて生成された前記撮像画像のサンプリングピッチよりもサンプリングピッチが小さい第２中間画像を足し合わせることで前記出力画像を生成することを特徴とする請求項１４乃至１６のいずれか一項に記載の画像処理方法。

【請求項18】

請求項１乃至１７のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【請求項19】

撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する取得手段と、
前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。

【請求項20】

第１の画像と、前記第１の画像に対応する解像性能を表す情報である解像性能情報と、前記第１の画像よりもサンプリングピッチが小さい第２の画像と、を取得する工程と、
機械学習モデルを用いて、前記第１の画像のサンプリングピッチを小さくした出力画像を前記第１の画像と前記解像性能情報に基づいて生成する工程と、
前記出力画像と前記第２の画像を用いて前記機械学習モデルのウエイトを更新する工程と、
を有することを特徴とする訓練済み機械学習モデルの製造方法。

【請求項21】

第１の画像と、前記第１の画像に対応する解像性能を表す情報である解像性能情報と、前記第１の画像よりもサンプリングピッチが小さい第２の画像と、を取得するデータ取得手段と、
機械学習モデルを用いて、前記第１の画像のサンプリングピッチを小さくした出力画像を前記第１の画像と前記解像性能情報に基づいて生成する演算手段と、
前記出力画像と前記第２の画像を用いて前記機械学習モデルのウエイトを更新する更新手段と、
を有することを特徴とする処理装置。

【請求項22】

第１の装置と第２の装置を含む画像処理システムであって、
前記第１の装置は、撮像画像に対する処理を前記第２の装置に実行させるための要求を送信する送信手段を有し、
前記第２の装置は、
前記要求を受信する受信手段と、
撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する取得手段と、
前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する生成手段と、
を有することを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像のサンプリングピッチを小さくする画像処理に関する。

【背景技術】

【0002】

特許文献１には、低画素画像をバイキュービック補間により高画素画像と同じ画素数に拡大してから、訓練した機械学習モデルへ入力することで、高解像な拡大画像を生成する方法が開示されている。画像の拡大処理のために訓練された機械学習モデルを用いることで、バイキュービック補間などの一般的な手法に比べて精度の高い画像拡大を実現できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１８／００７５５８１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示された手法には、実際には存在しない偽構造（アーティファクト）が拡大画像に出現する、或いは、低画素画像に存在したモアレが拡大画像でも残存する問題がある。この問題は、機械学習モデルを用いない他の画像拡大の手法（バイキュービック補間やスパースコーディングなど）でも同様に発生する。また、この問題は画像拡大だけでなく、その他の画像のサンプリングピッチを小さくする処理（例えば、デモザイク）でも発生する。

【0005】

そこで、本発明は撮像画像のサンプリングピッチを小さくする処理の精度を向上することを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理方法は、撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する工程と、前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する工程と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、撮像画像のサンプリングピッチを小さくする処理の精度を向上することができる。

【図面の簡単な説明】

【0008】

【図1】実施例１及び２における変調伝達関数とナイキスト周波数の関係を示した図である。

【図2】実施例１における画像処理システムのブロック図である。

【図3】実施例１における画像処理システムの外観図である。

【図4】実施例１における機械学習モデルの訓練のフローチャートである。

【図5】実施例１における拡大画像の生成の流れを表した図である。

【図6】実施例１及び２における機械学習モデルの構成を示した図である。

【図7】実施例１における拡大画像の生成のフローチャートである。

【図8】実施例２における画像処理システムのブロック図である。

【図9】実施例２における画像処理システムの外観図である。

【図10】実施例２における機械学習モデルの訓練のフローチャートである。

【図11】実施例２におけるカラーフィルタ配列とナイキスト周波数の関係を示した図である。

【図12】実施例２におけるデモザイク画像の生成の流れを表した図である。

【図13】実施例２におけるデモザイク画像の生成のフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

【0010】

実施形態を詳しく説明する前に、本発明の要旨を簡単に説明する。本発明では、撮像画像のサンプリングピッチを小さくする処理（以下、アップサンプルと呼称する）において、撮像画像の撮像に用いた光学機器の解像性能に関する情報である解像性能情報を用いる。これによって、アップサンプルの精度が向上する。その理由を説明するため、アップサンプルの課題とその発生原理を以下に詳述する。

【0011】

光学系によって形成された被写体像を撮像素子によって撮像画像へと変換する際、撮像素子の画素でサンプリング（標本化）を行う。そのため、被写体像を形成する周波数成分のうち、撮像素子のナイキスト周波数を超える成分は、エイリアシングによって低周波成分と混合され、モアレが発生する。撮像画像のアップサンプルでは、サンプリングピッチが小さくなることによってナイキスト周波数が増大するため、理想的にはその増大したナイキスト周波数までエイリアシングが発生していない画像が生成されることが望まれる。しかし、モアレを含む撮像画像に含まれる構造がモアレであるのか被写体本来の構造であるのかを区別した画像処理を行うことは一般に困難である。

【0012】

バイリニア補間に代表される一般的なアップサンプルでは、撮像画像をアップサンプルしてもモアレがそのまま残存する。これに対して、機械学習モデルを用いたアップサンプルでは、エイリアシングが発生する前の高周波をモアレからある程度推定することが可能なため、一部のモアレを除去することができることが期待される。しかし、前述のようにモアレと被写体の構造を区別させることは困難であるため、機械学習モデルを用いたとしても一部のモアレが被写体と誤認識されて残存し、一部の被写体がモアレと誤認識されて偽構造が生成され得る。

【0013】

そこで本発明では、撮像画像のアップサンプルにおいて、撮像画像の撮像に用いた光学機器の解像性能情報を用いる。これについて、図１（Ａ）及び（Ｂ）を用いてさらに説明する。

【0014】

図１（Ａ）及び（Ｂ）は、光学機器の解像性能を表す変調伝達関数（ＭＴＦ）の周波数特性である。横軸がある方向における空間周波数、縦軸がＭＴＦを表す。図１（Ａ）は光学機器のカットオフ周波数００３（本願明細書ではカットオフ周波数とはそれ以上の周波数でＭＴＦが０になることを指す）が、ナイキスト周波数００１以下である状態を表している。この場合、モアレは撮像画像に存在しない。サンプリング周波数００２の周期でＭＴＦを配置しても、ＭＴＦが互いにオーバーラップする領域がないためである。そのため、解像性能が図１（Ａ）に該当する場合には、このことをアルゴリズムに与える（入力する）ことで、モアレが生じる前の高周波成分をモアレの構造から推定する必要がないとアルゴリズムに判断させることができる。これにより、画像処理結果に偽構造が生じることを抑制することができる。

【0015】

図１（Ｂ）はカットオフ周波数００３がナイキスト周波数００１を超えている状態を表している。この場合にも、このことをアルゴリズムに与えることで、エイリアシングによってモアレが発生し得る周波数帯域をアルゴリズムに特定させることができる。図１（Ｂ）の例では、サンプリング周波数００２からカットオフ周波数００３を減算した周波数００４からナイキスト周波数００１の間の帯域でモアレが発生する可能性があり、それ以外の帯域ではモアレは発生しない。このため、解像性能情報をアルゴリズムに与えることで、偽構造の発生を抑制することが可能となるのである。ゆえに、撮像画像のアップサンプルの精度を向上することが可能となる。

【0016】

［実施例１］
本発明の実施例１における画像処理システムに関して説明する。実施例１では、アップサンプルとして画像拡大（アップスケール）を行うが、デモザイクなどのその他のアップサンプルに対しても同様に適用が可能である。画像拡大は、撮像画像全体に対するサンプリング点の増大と、撮像画像の部分領域のサンプリング点の増大（トリミング画像の拡大やデジタルズームなど）を含む。また実施例１では、画像拡大に機械学習モデルを使用するが、スパースコーディングなどのその他の手法に対しても同様に適用が可能である。

【0017】

図２及び図３は各々、画像処理システム１００のブロック図と外観図である。画像処理システム１００は、互いに有線または無線のネットワークで接続された訓練装置１０１、画像拡大装置１０２、制御装置１０３、撮像装置１０４を有する。制御装置１０３は、記憶部１３１、通信部１３２、表示部１３３を有し、ユーザの指示に従って、撮像装置１０４から撮像画像を取得し、通信部１３２を介して撮像画像と画像拡大の実行要求とを画像拡大装置１０２へ送信する。

【0018】

撮像装置１０４は、結像光学系１４１、撮像素子１４２、画像処理部１４３、記憶部１４４を有する。結像光学系１４１は被写体空間の光から被写体の像を形成し、複数の画素が配列された撮像素子１４２は形成された像を撮像画像に変換する。この際、被写体の像の周波数成分のうち、撮像素子１４２のナイキスト周波数より高い周波数成分にはエイリアシングが発生する。その結果、撮像画像にはモアレが生じている可能性がある。画像処理部１４３は、撮像画像に対し、必要に応じて所定の処理（画素欠陥の補正や現像など）を実行する。撮像画像または画像処理部１４３によって処理が施された撮像画像は、記憶部１４４に記憶される。

【0019】

制御装置１０３は、通信または記憶媒体を介して撮像画像を取得する。取得する撮像画像は、撮像画像の全体でも良いし撮像画像の一部のみ（部分領域）でもよい。

【0020】

画像拡大装置１０２は、記憶部１２１、通信部（取得手段）１２２、取得部１２３、画像拡大部（生成手段）１２４を有し、訓練済みの機械学習モデルを用いて撮像画像を拡大し、拡大画像（出力画像）を生成する。この際、撮像画像の撮像に用いた光学機器（結像光学系１４１など）の解像性能に関する情報である解像性能情報を使用する。この処理に関する詳細は後述する。画像拡大装置１０２は、訓練装置１０１から訓練済みの機械学習モデルのウエイトの情報を取得し、記憶部１２１に記憶している。

【0021】

訓練装置１０１は、記憶部１１１、取得部１１２、演算部１１３、更新部１１４を有し、データセットを用いて機械学習モデルを予め訓練している。訓練によって生成された機械学習モデルのウエイトの情報は、記憶部１１１に記憶されている。

【0022】

画像拡大装置１０２による拡大画像の生成が行われると、制御装置１０３は拡大画像を画像拡大装置１０２から取得し、表示部１３３を介してユーザに提示する。

【0023】

ここで、訓練装置１０１で実行される機械学習モデルの訓練（ウエイトの決定）の方法（学習済みモデルの製造方法）に関して、図４のフローチャートを用いて説明する。実施例１では、ＧＡＮ（敵対的生成ネットワーク）を用いた機械学習モデルの訓練を行うが、本発明はこれに限定されない。また、機械学習モデルは例えば、ニューラルネットワーク、遺伝的プログラミング、ベイジアンネットワークなどを含む。ニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを含む。

【0024】

図４の各ステップは、訓練装置１０１で実行される。

【0025】

ステップＳ１０１において、取得部１１２は、記憶部１１１から１組以上の高画素画像と低画素画像を取得する。記憶部１１１には、複数の高画素画像と低画素画像を含むデータセットが保存されている。すなわち、後に詳しく述べるように、取得部１１２は第１の画像（低画素画像）と、第１の画像よりもサンプリングピッチが小さい第２の画像（高画素画像）を取得するデータ取得手段としての機能を有する。

【0026】

低画素画像は、機械学習モデルの訓練時に機械学習モデル（実施例１では生成器）に入力される画像であり、相対的に低画素数な画像（サンプリングピッチが大きい画像）である。訓練済みの機械学習モデルを用いて実際に拡大される撮像画像の性質を、低画素画像が高精度に再現しているほど、訓練された機械学習モデルの精度も高くなる。撮像画像の性質とは、例えば解像性能、色表現、ノイズの特性などが挙げられる。例えば撮像画像がＲＧＢで表現された画像であるのに対し、低画素画像がモノクロやＹＵＶで表現された画像の場合、互いの色表現が一致しないため、タスクの精度（アップサンプルの精度）が低下する可能性がある。機械学習モデルによるタスクの種類によって重要となる撮像画像の性質は異なるものの、画像の拡大のタスクにおいては、前述したようにモアレの発生する周波数帯域の情報が重要であるため、解像性能が特に重要となる。故に、訓練に用いる複数の低画素画像の解像性能の範囲に、訓練済みの機械学習モデルを用いて実際に拡大される撮像画像の解像性能（実際に拡大される撮像画像を得るのに用いられた光学機器の解像性能）が収まっていることが望ましい。

【0027】

高画素画像は、機械学習モデルの訓練において、正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）となる画像である。高画素画像は、対応する低画素画像と同一のシーンを写した画像であり、低画素画像よりサンプリングピッチが小さい（つまり、画素数が多い）。実施例１において、高画素画像のサンプリングピッチは、低画素画像のサンプリングピッチの半分である。故に、機械学習モデルは、入力された画像の画素数を４倍（縦横各々２倍）に拡大する。ただし、本発明はこれに限定されない。機械学習モデルが、様々な被写体の撮像画像に対応できるよう、訓練に用いる複数の低画素画像と高画素画像は様々な被写体（向きや強さの異なるエッジ、テクスチャ、グラデーション、平坦部など）を含んでいることが望ましい。また、高画素画像の少なくとも一部は、低画素画像のナイキスト周波数以上の周波数成分を有する。

【0028】

実施例１において、高画素画像と低画素画像は、原画像から撮像シミュレーションによって生成されたものを使用する。ただし、本発明はこれに限定されず、原画像の代わりに被写体空間の３次元データを用いた撮像シミュレーションにより得られた画像を用いて高画素画像および低画素画像を生成しても良い。また、画素ピッチの異なる撮像素子による実写によって高画素画像と低画素画像を生成してもよい。

【0029】

原画像は未現像のＲＡＷ画像（光の強度と信号値が線型の関係である画像）であり、高画素画像以下のサンプリングピッチを有し、少なくとも一部は低画素画像のナイキスト周波数以上の周波数成分を有する。低画素画像は、原画像を被写体として、実際に訓練済みの機械学習モデルで拡大される撮像画像と同じ撮像過程を再現することで生成される。具体的には、原画像に対し、結像光学系１４１で発生する収差や回折によるぼけ、撮像素子１４２の光学ローパスフィルタや画素開口などによるぼけを与える。訓練済みの機械学習モデルで拡大される撮像画像を得るのに用いられる光学機器に複数の種類や状態が存在し、それらによって撮像画像に異なるぼけが作用し得る場合、データセットにそれら複数のぼけが付与された低画素画像が含まれるようにすると良い。ぼけは、撮像素子１４２の各画素の位置（結像光学系１４１の光軸に対する像高とアジムス）で変化し得る他、結像光学系１４１が様々な状態（例えば焦点距離、Ｆ値、フォーカス距離）を取り得る場合は、その状態によっても変化する。また、撮像装置１０４がレンズ交換式カメラであって結像光学系１４１として複数の種類の光学系が用いられ得る場合は、光学系の種類によってもぼけは変化する。さらに、撮像装置１０４に種類があり、画素ピッチや光学ローパスフィルタが異なる場合も、ぼけは変化する。

【0030】

なお、原画像に付与するぼけは、結像光学系１４１や撮像素子１４２で発生するぼけそのものでもよいし、そのぼけを近似したぼけでもよい。例えば、結像光学系１４１や撮像素子１４２で発生するぼけのＰＳＦ（点像分布関数）を、２次元Ｇａｕｓｓ分布関数、複数の２次元Ｇａｕｓｓ分布関数の混合、Ｚｅｒｎｉｋｅ多項式などで近似してもよい。また、ＯＴＦ（光学伝達関数）またはＭＴＦ（変調分布関数）を２次元Ｇａｕｓｓ分布関数、複数の２次元Ｇａｕｓｓ分布関数の混合、Ｌｅｇｅｎｄｒｅ多項式などで近似してもよい。この際、近似されたＰＳＦ、ＯＴＦ、ＭＴＦ等を用いて原画像にぼけを付与すれば良い。

【0031】

原画像にぼけを与えた後は、撮像素子１４２のサンプリングピッチでダウンサンプルする。さらに、撮像素子１４２は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のカラーフィルタがＢａｙｅｒ配列されているため、低画素画像もＢａｙｅｒ配列になるようにサンプリングすると良い。ただし、本発明はこれに限定されず、撮像素子１４２は、モノクロ、ハニカム配列、３板式などでもよい。訓練済みの機械学習モデルで拡大される撮像画像を得るのに用いられる撮像素子１４２が複数種類あり、撮像画像の画素ピッチが変化し得る場合は、変化する範囲をカバーするように複数のサンプリングピッチに対して低画素画像を生成すれば良い。また、実施例１では、低画素画像に撮像素子１４２で発生するノイズも付与する。低画素画像にノイズを付与しない（機械学習モデルの訓練でノイズを考慮しない）場合、撮像画像の拡大の際に被写体だけでなくノイズも被写体の構造とみなされて強調されてしまうおそれがあるためである。撮像画像に発生するノイズの強さに幅がある（撮像時のＩＳＯ感度が複数あり得るなど）場合、発生し得る範囲でノイズの強さを変化させた複数の低画素画像がデータセットに含まれるようにすると良い。

【0032】

高画素画像は、原画像に低画素画像の画素ピッチの半分の画素開口によるぼけを付与し、低画素画像のサンプリングピッチの半分でダウンサンプルしてＢａｙｅｒ化することで生成される。なお、原画像と高画素画像のサンプリングピッチが等しい場合、原画像をそのまま高画素画像としてもよい。実施例１では、結像光学系１４１の収差と回折によるぼけ、および撮像素子１４２の光学ローパスフィルタによるぼけは、高画素画像生成時に付与しない。これによって、機械学習モデルは画像の拡大と共に、前述のぼけの補正も行うように訓練される。ただし、本発明はこれに限定されず、高画素画像にも低画素画像と同様のぼけを付与してもよいし、或いは低画素画像に付与したぼけを縮小して高画素画像に付与してもよい。また、実施例１において、高画素画像の生成の際、ノイズは付与しない。これによって、機械学習モデルは、画像の拡大と共にデノイズを実行するように訓練される。ただし、本発明はこれに限定されず、低画素画像に付与したノイズと同程度、または異なる強度のノイズを付与してもよい。なお、高画素画像にノイズを付与する場合、低画素画像のノイズと相関のあるノイズ（例えば低画素画像に付与されたノイズと同じ乱数によって生成されたノイズ）を付与することが望ましい。互いのノイズが無相関の場合、データセットの複数の画像で訓練することで高画素画像のノイズの影響が平均化されてしまい、所望の効果が得られない場合があるためである。

【0033】

実施例１では、現像済みの撮像画像に対して画像の拡大を実行する。そのため、低画素画像と高画素画像も現像済みの画像である必要がある。故に、Ｂａｙｅｒ状態の低画素画像と高画素画像に対して、撮像画像と同様の現像処理を実行し、データセットに格納する。ただし、発明はこれに限定されず、低画素画像と高画素画像をＲＡＷとし、撮像画像もＲＡＷの状態で拡大する構成としてもよい。また、撮像画像にＪＰＥＧ符号化などの圧縮ノイズが発生する場合、同様の圧縮ノイズを低画素画像に付与してもよい。これによって機械学習モデルは、画像の拡大と共に、圧縮ノイズの除去も実行するように訓練される。

【0034】

ステップＳ１０２において、取得部１１２は、解像性能情報とノイズ情報を取得する。すなわち、取得部１１２は解像性能情報を取得するデータ取得手段としての機能も有する。

【0035】

解像性能情報は、低画素画像に付与されたぼけに応じた解像性能に関する情報である。解像性能が低い（ＭＴＦが低画素画像のナイキスト周波数以下で０または充分小さい値になる）場合、低画素画像にモアレは存在しない。一方、解像性能が高い（ナイキスト周波数以上の周波数でＭＴＦが値を有する）場合、エイリアシングが発生する周波数帯域以外ではモアレが存在しない。このため、解像性能情報からは、低画素画像においてモアレが発生する周波数帯域に関する情報を得ることができる。故に、解像性能情報は、低画素画像に付与されたぼけの大きさに基づく情報を含み得る。また、解像性能情報は、ぼけのＰＳＦの拡がりか、ぼけのＭＴＦかに基づく情報を含み得る。なお、ぼけのＰＴＦ（位相伝達関数）のみでは、解像性能情報には当たらない。ＰＴＦは、結像位置のずれを表すものにすぎないためである。

【0036】

なお実施例１において、撮像画像の画像拡大時に使用される解像性能情報は、結像光学系１４１の収差と回折、撮像素子１４２の光学ローパスフィルタと画素開口等の全ての影響を統合したぼけに対する情報である。ただし、本発明はこれに限定されず、一部のぼけ（例えば、結像光学系１４１で発生するぼけ）のみで解像性能を表してもよい。例えば、光学ローパスフィルタや画素ピッチが固定で変化しない場合、結像光学系１４１で発生するぼけのみで解像性能を表しても問題がない。ただしこの場合、低画素画像の解像性能も対応するように決定する必要がある。低画素画像に付与したぼけから光学ローパスフィルタと画素開口の影響を除外したぼけに対して、解像性能情報を決定するとよい。

【0037】

ノイズ情報は、低画素画像に付与されたノイズに関する情報である。ノイズ情報は、ノイズの強さを表す情報を含む。ノイズの強さは、ノイズの標準偏差やそれに対応する撮像素子１４２のＩＳＯ感度などで表すことができる。また、拡大前の撮像画像にデノイズが実行されていることがある場合、低画素画像にも同様のデノイズを実行し、実行したデノイズのパラメータ（強さなどを表す）をノイズ情報としても良い。また、ノイズ情報としてノイズの強さに関する情報とデノイズに関する情報を併用しても良い。これによってノイズやデノイズが変化した場合でも、弊害を抑制して高精度な画像拡大を実現できる。

【0038】

以下に、解像性能情報とノイズ情報の具体例を示す。実施例１において、解像性能情報は以下の方法で生成されるが、本発明はこれに限定されない。

【0039】

実施例１における解像性能情報は、２次元（水平垂直）の画素数（サイズ）が低画素画像と同じであるマップである。マップの各画素は、対応する低画素画像の画素における解像性能を示す。すなわち、実施例１における解像性能情報は低画素画像の位置に応じて異なる情報である。マップは複数のチャンネルを有し、１チャンネル目が水平方向の解像性能、２チャンネル目が垂直方向の解像性能を示す。すなわち、実施例１における解像性能情報は低画素画像の同一画素に対する異なる解像性能の成分を表す複数のチャンネル成分を有する情報である。

【0040】

また、解像性能は、低画素画像に付与したぼけの白色に対するＭＴＦが、該当の方向で既定値（所定の値）になる周波数に基づく値である。「既定値になる周波数」についてさらに具体的に述べると、ＭＴＦが閾値（実施例１では０．５だが、これに限定されない）以下になる周波数のうちの最小周波数である。さらに、解像性能は、前述の最小周波数を低画素画像のサンプリング周波数で規格化した値で示される。規格化に用いるサンプリング周波数は、画素ピッチの逆数で、ＲＧＢで共通である。すなわち、実施例１の解像性能情報は低画素画像に対応した画素ピッチに関する情報を用いて取得される情報である。ただし、解像性能を表す値はこれに限定されない。また、白色でなくＲＧＢ個別の解像性能を６チャンネルで表現してもよく、規格化に用いる周波数もＲＧＢ各々で異なっていてもよい。

【0041】

さらに、解像性能情報のその他の例を以下に示す。解像性能情報で示す解像性能の方向は、メリジオナル（動径）方向とサジタル（方位角）方向でもよい。さらに画素のアジムスを表す３チャンネル目を追加してもよい。また２方向だけでなく、さらにチャンネル数を増やして、複数の方向の解像性能を表してもよい。反対に、特定の方向、または全方向の平均をとるなどして、１チャンネルのみで解像性能を表してもよい。また、解像性能情報は、マップでなくスカラー値やベクトルであっても良い。例えば結像光学系１４１が超望遠レンズの場合やＦ値が大きい場合、像高とアジムスによる解像性能の変化が非常に小さくなる。そのため、前述のような場合、画素毎に性能を示すマップでなく、スカラー値でも発明の効果を十分に得ることができる。また、解像性能として、ＭＴＦが既定値になる周波数に基づく値ではなく、ＭＴＦの積分値などを用いてもよい。

【0042】

さらに、解像性能はＰＳＦの拡がりで表されてもよい。複数の方向のＰＳＦの半値幅や、ＰＳＦの強度が閾値以上の値を持つ空間的な範囲で、解像性能を表してもよい。なおこの場合にも、解像性能をマップではなくスカラー値で表す際には、ＭＴＦについて述べたのと同様に、特定の方向や方向の平均をとるとよい。

【0043】

また、ＭＴＦまたはＰＳＦをフィッティングした係数で解像性能を表してもよい。例えば、冪級数、Ｆｏｕｒｉｅｒ級数、混合Ｇａｕｓｓモデル、Ｌｅｇｅｎｄｒｅ多項式、Ｚｅｒｎｉｋｅ多項式などでＭＴＦやＰＳＦをフィッティングし、複数のチャンネルでフィッティングの各係数を表すとよい。

【0044】

さらに解像性能情報は、低画素画像に付与したぼけから計算によって生成してもよいし、予め複数のぼけと対応する解像性能情報を記憶部１１１に記憶しておき、そこから取得してもよい。

【0045】

また、ノイズ情報は、解像性能情報と同様に、低画素画像と２次元の画素数が同じマップである。本実施例では１チャンネル目が低画素画像のデノイズする前のノイズの強さ、２チャンネル目が実行されたデノイズの強さを表すパラメータである。低画素画像に圧縮ノイズが存在する場合、さらに圧縮ノイズの強さをチャンネルに追加してもよい。ノイズ情報も、解像性能情報と同様に、スカラー値やベクトルの形式でもよい。

【0046】

なお、ステップＳ１０２とステップＳ１０１の実行順は逆でも良いし同時でも良い。

【0047】

ステップＳ１０３において、演算部１１３は、機械学習モデルである生成器を用いて、低画素画像と解像性能情報とノイズ情報から、拡大画像を生成する。拡大画像は、低画素画像のサンプリングピッチを小さくした画像である。すなわち、演算部１１３は機械学習モデルを用いて、低画素画像のサンプリングピッチを小さくした拡大画像を低画素画像と解像性能情報に基づいて生成する演算手段としての機能を有する。

【0048】

図５を用いて、拡大画像の生成に関して説明する。図５において、ｓｕｍは要素（画素）毎の和、ｃｏｎｃａｔｅｎａｔｉｏｎはチャンネル方向での連結を示す。前述のように、実施例１において解像性能情報２０２とノイズ情報２０３は、低画素画像２０１と２次元の画素数が等しいマップである。低画素画像２０１、解像性能情報２０２、ノイズ情報２０３はチャンネル方向に連結された後、生成器２１１に入力データとして入力され、残差成分２０４が生成される。残差成分２０４は、高画素画像と２次元の画素数が同じである。低画素画像２０１をバイリニア補間などで高画素画像と同じ画素数に拡大し、残差成分２０４と和を取ることで、拡大画像２０５が生成される。すなわち実施例１において、拡大画像２０５は、解像性能情報を用いずに低画素画像のサンプリングピッチを小さくした第１中間画像に、低画素画像と解像性能情報を用いて生成された第２中間画像（残差成分２０４）を足し合わせることで生成される。なお第２中間画像は、低画素画像のサンプリングピッチよりもサンプリングピッチが小さい画像である。

【0049】

なお、残差成分２０４を経ずに、生成器２１１で拡大画像２０５を直接生成してもよい。また、スカラー値やベクトルのように低画素画像２０１と２次元の画素数が一致しない情報を解像性能情報２０２やノイズ情報２０３として用いる場合、畳み込み層を介して解像性能情報２０２やノイズ情報２０３を特徴マップへと変換しても良い。この場合、特徴マップに変換された解像性能情報２０２やノイズ情報２０３を低画素画像２０１（またはそれを変換した特徴マップ）とチャンネル方向に連結すれば良い。なお、低画素画像２０１を特徴マップに変換した後に解像性能情報２０２やノイズ情報２０３（またはそれらを特徴マップ化した情報）とチャンネル方向に連結する場合、低画素画像２０１の特徴マップの画素数は必ずしも低画素画像２０１の画素数と一致しない。この場合には、解像性能情報２０２やノイズ情報２０３（あるいはそれらを特徴マップとして表現した情報）の二次元の画素数は、低画素画像２０１を変換した特徴マップの二次元の画素数に合わせれば良い。

【0050】

本実施例における生成器２１１は、図６（Ａ）に示した構成のＣＮＮである。ただし、本発明はこれに限定されない。

【0051】

図６（Ａ）において、ｃｏｎｖ．は畳み込み、ＲｅＬＵはＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ、ｓｕｂ－ｐｉｘｅｌ ｃｏｎｖ．はサブピクセル畳み込みを表す。生成器２１１のウエイトの初期値は、乱数などで生成するとよい。

【0052】

実施例１では、サブピクセル畳み込みで入力の２次元の画素数を４倍にすることで、残差成分２０４の２次元の画素数を高画素画像の画素数と同じにする。

【0053】

ｒｅｓｉｄｕａｌ ｂｌｏｃｋは残差ブロックである。残差ブロックは、複数の線型和層と、活性化関数とを有し、ブロックの入力と出力で和をとるように構成される。実施例１における残差ブロックは図６（Ｂ）で示される。実施例１において、生成器２１１は、残差ブロックを１６個有している。ただし、残差ブロックの数はこれに限定されない。生成器２１１の性能をより高めたい場合は、残差ブロックの数を増やすとよい。

【0054】

ＧＡＰはｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ、ｄｅｎｓｅは全結合、ｓｉｇｍｏｉｄはシグモイド関数、ｍｕｌｔｉｐｌｙは要素毎の積を表す。ＧＡＰと全結合によってアテンションマップを生成することにより、タスクの高精度化を図っている。

【0055】

なお、低画素画像２０１を高画素画像と画素数が一致するよう、事前にバイリニア補間などで拡大し、生成器２１１に入力してもよい。この場合、生成器２１１にサブピクセル畳み込みは不要となる。ただし、低画素画像２０１の２次元の画素数が多くなると、線型和をとる回数が増え、計算負荷が大きくなる。そのため、実施例１のように低画素画像２０１の拡大を行わずに生成器２１１へ入力し、内部で拡大することが望ましい。

【0056】

図４のステップＳ１０４において、演算部１１３は、拡大画像２０５と高画素画像それぞれを識別器に入力し、識別出力を生成する。識別器は、入力された画像が生成器２１１で生成された画像（低画素画像から高周波成分が推定された拡大画像２０５）か、実際の高画素画像か（撮像時に低画素画像のナイキスト周波数以上の周波数成分が取得された画像）を識別する。識別器は、ＣＮＮなどを用いるとよい。識別器のウエイトの初期値は、乱数などで決定する。なお、識別器に入力する高画素画像は、実際の高画素画像であればどのようなものでも良く、低画素画像２０１に対応する画像である必要はない。

【0057】

ステップＳ１０５において、更新部１１４は、識別出力と正解ラベルに基づいて、正しい識別出力が生成されるように識別器のウエイトを更新する。実施例１では、拡大画像２０５に対する正解ラベルが０、実際の高画素画像に対する正解ラベルが１とする。損失関数にはシグモイドクロスエントロピーを使用するが、その他の関数を使用してもよい。ウエイトの更新には、誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いる。

【0058】

ステップＳ１０６において、更新部１１４は、第１の損失と第２の損失に基づいて、生成器２１１のウエイトを更新する。第１の損失とは、低画素画像２０１に対応する高画素画像と拡大画像２０５との差異に基づく損失である。実施例１ではＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を使用するが、ＭＡＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）などでもよい。第２の損失は、拡大画像２０５を識別器に入力した際の識別出力と正解ラベル１とのシグモイドクロスエントロピーである。生成器２１１は、拡大画像２０５を識別器が実際の高画素画像と誤判定するように訓練される。このため、正解ラベルを１（実際の高画素画像に対応）とする。なお、ステップＳ１０５とステップＳ１０６の実行順序は逆でもよい。すなわち、更新部１１４は拡大画像と高画素画像を用いて機械学習モデルのウエイトを更新する更新手段としての機能を有する。

【0059】

ステップＳ１０７において、更新部１１４は、生成器２１１の訓練が完了したか判定する。未完と判定した場合、ステップＳ１０１に戻って新たな１組以上の低画素画像２０１と高画素画像を取得する。完了の場合、本フローによって製造された訓練済みの機械学習モデルのウエイトの情報を記憶部１１１に記憶する。なお、実際の画像拡大時には生成器２１１しか使用しないため、生成器２１１のみのウエイトを記憶し、識別器のウエイトを記憶しないようにしてもよい。

【0060】

なお、識別器を用いたＧＡＮの訓練の前に、第１の損失のみを用いて生成器２１１を訓練しておいてもよい。また、記憶部１１１に第１のデータセットと第２のデータセットを記憶しておき、第１のデータセットでステップＳ１０１乃至Ｓ１０７の訓練を行い、そのウエイトを初期値として第２のデータセットでステップＳ１０１乃至Ｓ１０７の訓練を行ってもよい。第１のデータセットは、第２のデータセットに対して、低画素画像のナイキスト周波数以上の高周波成分を有する高画素画像が少ない（つまり、低画素画像のモアレが少ない）。そのため、第１のデータセットで訓練した生成器２１１は、モアレが残存しやすいが、偽構造も出現しにくくなる。これに対し、第２のデータセットで訓練した生成器２１１は、モアレが除去できるが、偽構造も出現しやすくなる。第２のデータセットによる訓練中、生成器２１１のウエイトの途中経過を記憶しておくことで、モアレ除去と偽構造のバランスが取れたウエイトを後から選択することができる。

【0061】

次に、撮像画像の拡大処理に関して、図７のフローチャートを用いて説明する。各ステップは画像拡大装置１０２または制御装置１０３で実行される。

【0062】

ステップＳ２０１において、制御装置１０３の通信部１３２は、画像拡大装置１０２へ撮像画像と撮像画像の拡大処理の実行の要求とを送信する。すなわち通信部１３２は撮像画像に対する処理を画像拡大装置１０２に実行させるための要求を送信する送信手段としての機能を有する。ただし、画像拡大装置１０２が撮像装置を制御装置１０３以外から取得できる場合には、必ずしも制御装置１０３は撮像画像を画像拡大装置１０２に送信しなくても良い。撮像画像は、訓練時と同様に現像後の画像である。

【0063】

ステップＳ２０２において、画像拡大装置１０２の通信部１２２は、制御装置１０３から送信された撮像画像と撮像画像に対する拡大処理の実行の要求とを取得する。すなわち、通信部１２２は制御装置１０３からの要求を受信する受信手段としての機能を有する。また、通信部１２２は撮像画像を取得する取得手段としての機能を有する。

【0064】

ステップＳ２０３において、取得部１２３は、記憶部１２１から生成器のウエイトの情報、解像性能情報、ノイズ情報を取得する。すなわち、取得部１２３は解像性能情報を取得する取得手段としての機能を有する。解像性能情報は、撮像画像を撮像した際の光学機器の解像性能を示した情報である。ここで、実施例１における光学機器とは、結像光学系１４１、撮像素子１４２の光学ローパスフィルタと画素開口を含む。解像性能情報とノイズ情報の取得のため、画像拡大装置１０２は撮像画像のメタ情報から必要な情報を取得する。必要な情報とは、例えば結像光学系１４１の種類、結像光学系１４１の撮像時の状態（焦点距離、Ｆ値、フォーカス距離）、撮像素子１４２の画素ピッチ、光学ローパスフィルタ、撮像時のＩＳＯ感度（ノイズの強さ）である。その他、撮像画像のデノイズの有無とデノイズパラメータ、トリミング位置（トリミング後の撮像画像に対する結像光学系１４１の光軸の位置）、などを取得しても良い。画像拡大装置１０２は、取得した情報と、記憶部１２１に記憶された結像光学系１４１の解像性能に関するデータテーブルから、解像性能情報（実施例１では２チャンネルのマップ）を生成する。記憶部１２１には、結像光学系１４１の種類、状態、像高、アジムスのサンプリング点に対応した解像性能に関する情報が、データテーブルとして記憶されている。そのデータテーブルから、撮像画像に対応した解像性能情報を補間などによって生成することができる。なお、実施例１における解像性能情報は、訓練時と同様であり、２次元の画素数が撮像画像と同じマップで、各画素の１チャンネル目に水平方向、２チャンネル目に垂直方向の解像性能を表す値である。解像性能を表す値としては、該当の方向のＭＴＦが閾値（０．５）を下回る最小周波数を、撮像素子１４２のサンプリング周波数（画素ピッチの逆数）で規格化した値を用いる。ＭＴＦは訓練時と同様に、結像光学系１４１、撮像素子１４２の光学ローパスフィルタと画素開口の影響を合わせたぼけの白色に対するＭＴＦである。なお、撮像画像の解像性能が変化しない（結像光学系１４１と撮像素子１４２の種類や状態が固定されている）場合、マップの状態の解像性能情報を記憶部１２１に記憶しておき、呼び出すだけでもよい。ノイズ情報も、２次元の画素数が撮像画像と同じマップであり、１チャンネル目が撮像時に発生するノイズの強さ、２チャンネル目が撮像画像に実行されたデノイズパラメータである。

【0065】

ステップＳ２０４において、画像拡大部１２４は、撮像画像、解像性能情報、ノイズ情報から図５に示される生成器を用いて、拡大画像を生成する。拡大画像は、撮像画像に対してサンプリングピッチが半分（画素数が４倍）になった画像である。すなわち、画像拡大部１２４は撮像画像のサンプリングピッチを小さくした出力画像を生成する生成手段としての機能を有する。

【0066】

ステップＳ２０５において、通信部１２２は、制御装置１０３へ拡大画像を送信する。その後、画像拡大装置１０２の処理を終了する。

【0067】

ステップＳ２０６において、制御装置１０３の通信部１３２は、拡大画像を取得し、制御装置１０３の処理を終了する。なお、取得された拡大画像は記憶部１３１に記憶、または表示部１３３に表示される。或いは、制御装置１０３または画像拡大装置１０２から、有線または無線経由で接続されたその他の記憶装置に記憶してもよい。

【0068】

実施例１では画像の拡大に機械学習モデルを用いたが、その他の手法を使用してもよい。例えば、スパースコーディングの場合、モアレの発生していない低画素画像と、低画素画像に対応する高画素画像で第１の辞書セットを生成する。さらに、モアレの発生している低画素画像と、それに対応する高画素画像で第２の辞書セットを生成する。撮像画像の解像性能情報に基づいて、モアレが発生しない領域では第１の辞書で画像拡大を行い、その他の領域では第２の辞書で画像拡大を行うなどすればよい。また、実施例１において、撮像画像は１枚であったが発明はそれに限定されず、サブピクセルで位置ずれした複数の撮像画像と解像性能情報から、拡大画像を生成してもよい。

【0069】

以上の構成によって、撮像画像のアップサンプルの精度を向上することが可能な画像処理システムを提供することができる。

【0070】

［実施例２］
本発明の実施例２における画像処理システムに関して説明する。実施例２では、アップサンプルとしてデモザイクを行うが、その他のアップサンプルに対しても同様に適用が可能である。また、デモザイクには機械学習モデルを使用するが、その他の手法に対しても同様に適用が可能である。

【0071】

図８及び図９は各々、画像処理システム３００のブロック図と外観図である。画像処理システム３００は、訓練装置３０１と撮像装置３０２を有する。撮像装置３０２は、結像光学系３２１、撮像素子３２２、画像処理部３２３、記憶部３２４、通信部３２５、表示部３２６を有する。結像光学系３２１は被写体空間の光から被写体像を形成し、撮像素子３２２は被写体像を撮像して撮像画像を生成する。撮像画像は、ＲＧＢの画素がＢａｙｅｒ配列された画像である。撮像画像は、撮像前の被写体空間のライブビューや、ユーザによってレリーズが押された際に取得され、画像処理部３２３で現像処理を実行された後、記憶部３２４に記憶、または表示部３２６に表示される。撮像画像の現像処理の際、機械学習モデルを用いたデモザイクが実行され、デモザイク画像（出力画像）が生成される。機械学習モデルは、予め訓練装置３０１によって訓練されており、訓練済みのウエイトの情報は、通信部３２５を介して取得される。ただし、訓練装置３０１によって訓練された訓練済みウエイトは予め（例えば出荷時）撮像装置の記憶部３２４に記憶されていても良い。撮像画像のデモザイクにおいて、結像光学系３２１の解像性能に関する情報である解像性能情報が使用される。この処理に関して詳細に説明する。

【0072】

まず、機械学習モデルの訓練に関して、図１０のフローチャートを用いて説明する。各ステップは訓練装置３０１で実行される。

【0073】

ステップＳ３０１において、取得部３１２は、記憶部３１１から１組以上のモザイク画像と正解画像を取得する。モザイク画像は、撮像画像と同じＲＧＢのＢａｙｅｒ画像である。図１１（Ａ）にＢａｙｅｒ配列、図１１（Ｂ）にＢａｙｅｒ配列での各色のナイキスト周波数を図示した。Ｇは対角方向に画素ピッチを２の平方根倍したサンプリングピッチとなり、ナイキスト周波数４０２を有する。ＲとＢは水平垂直方向に画素ピッチの２倍のサンプリングピッチとなり、ナイキスト周波数４０３を有する。正解画像は、２次元の画素数がモザイク画像と同じで、ＲＧＢの３チャンネルを有する画像である。正解画像はＲＧＢそれぞれ画素ピッチと等しいサンプリングピッチを有し、全色がナイキスト周波数４０１を有する。正解画像は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）や３板式の撮像素子で撮像した画像を原画像として生成する。或いは、Ｂａｙｅｒ配列で撮像された画像を縮小して各画素にＲＧＢの信号値を有する画像を生成し、原画像としてもよい。原画像の少なくとも一部は、Ｂａｙｅｒ配列の各色のナイキスト周波数４０２、４０３以上の周波数成分を有する。原画像に対して、結像光学系３２１で発生する収差と回折によるぼけや、撮像素子３２２の光学ローパスフィルタと画素開口などによるぼけを付与することで、正解画像を生成する。モザイク画像は、正解画像をＢａｙｅｒ配列でサンプリングすることで生成できる。付与するぼけが異なる複数のモザイク画像と正解画像を生成し、そのぼけの範囲に実際の撮像画像のぼけが収まるようにする。なお、モザイク画像はＢａｙｅｒ配列に限定されない。

【0074】

ステップＳ３０２において、演算部３１３は、解像性能情報を取得する。実施例２では、ＲＧＢごとに解像性能情報を生成する。ＲＧＢ各々に対して実施例１と同様に水平垂直方向でＭＴＦが閾値以下になる最小周波数を、ＲＧＢそれぞれのナイキスト周波数で規格化した値を解像性能とする。

【0075】

ステップＳ３０３において、演算部３１３は、モザイク画像と解像性能情報を機械学習モデルへ入力し、デモザイク画像を生成する。実施例２では、図１２で示されたような流れでデモザイク画像を生成する。モザイク画像５０１をＲ、Ｇ１、Ｇ２、Ｂの４チャンネルに並び替えたＲＧＧＢ画像５０２を生成する。ＲＧＧＢ画像５０２と、ＲＧＧＢ各色の各画素の解像性能を示した８（４×２）チャンネルのマップである解像性能情報５０３とを、チャンネル方向に連結し、機械学習モデル５１１へ入力してデモザイク画像５０４を生成する。機械学習モデル５１１は、図６に示された構成と同様であるが、本発明はこれに限定されない。また、モザイク画像５０１を４チャンネルに並び替えず、Ｂａｙｅｒ配列のまま機械学習モデルへ入力する構成としてもよい。

【0076】

ステップＳ３０４において、更新部３１４は、正解画像とデモザイク画像５０４の誤差から、機械学習モデル５１１のウエイトを更新する。

【0077】

ステップＳ３０５において、更新部３１４は、機械学習モデル５１１の訓練が完了したかの判定を行う。訓練が完了していないと判定された場合、ステップＳ３０１へ戻り、完了したと判定された場合、訓練を終了してウエイトの情報を記憶部３１１に記憶する。

【0078】

次に、図１３のフローチャートを用いて、撮像画像のデモザイクに関して説明する。各ステップは画像処理部３２３で実行される。

【0079】

ステップＳ４０１において、取得部（取得手段）３２３ａは、撮像画像と解像性能情報を取得する。撮像画像はＢａｙｅｒ配列の画像であり、撮像時の結像光学系の状態などから解像性能情報を記憶部３２４から取得する。

【0080】

ステップＳ４０２において、取得部３２３ａは、機械学習モデルのウエイトの情報を記憶部３２４から取得する。なお、ステップＳ４０１とステップＳ４０２の実行順序は問わない。

【0081】

ステップＳ４０３において、デモザイク部（生成手段）３２３ｂは、図１２に示す流れで、撮像画像と解像性能情報からデモザイク画像を生成する。デモザイク画像は、撮像画像がデモザイクされた画像である。

【0082】

画像処理部３２３は、必要に応じてデノイズやガンマ補正などその他の処理を実行してもよい。また、デモザイクと同時に実施例１の画像の拡大を併用してもよい。

【0083】

以上の構成によって、撮像画像のアップサンプルの精度を向上することが可能な画像処理システムを提供することができる。

【0084】

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0085】

各実施例によれば、撮像画像のアップサンプルを向上することが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

【0086】

また、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

【符号の説明】

【0087】

１０２ 画像拡大装置（画像処理装置）
１２２ 通信部（取得手段）
１２３ 取得部（取得手段）
１２４ 画像拡大部（生成手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】