(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155748
(43)【公開日】2024-10-31
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
G06T 3/4053 20240101AFI20241024BHJP
【ＦＩ】
G06T3/4053
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2024043763
(22)【出願日】2024-03-19
(31)【優先権主張番号】P 2023068528
(32)【優先日】2023-04-19
(33)【優先権主張国・地域又は機関】JP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(74)【代理人】
【識別番号】100149892
【弁理士】
【氏名又は名称】小川 弥生
(74)【代理人】
【識別番号】100185672
【弁理士】
【氏名又は名称】池田 雅人
(72)【発明者】
【氏名】奥野 修二
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD05
5B057CE04
(57)【要約】
【課題】ぼやけた部分を含む画像の超解像の質を向上させる。
【解決手段】教師画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データを生成し、加工画像データと劣化加工パラメータに応じたタグ値に基づいて、入力画像データに応じたタグ値を判別する第１機械学習モデルの学習を行い、教師データと加工画像データと劣化加工パラメータに応じたタグ値とに基づいて、入力画像データに応じた出力画像データを生成する第２機械学習モデルの学習を行い、画像処理の対象画像データを入力として第１機械学習モデルを用いた推論を行い、対象画像データに基づいてタグ値を出力し、このタグ値と対象画像データとを入力として第２機械学習モデルを用いた推論を行い、対象画像データに基づいた出力画像データを生成する。
【選択図】図１０
【解決手段】教師画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データを生成し、加工画像データと劣化加工パラメータに応じたタグ値に基づいて、入力画像データに応じたタグ値を判別する第１機械学習モデルの学習を行い、教師データと加工画像データと劣化加工パラメータに応じたタグ値とに基づいて、入力画像データに応じた出力画像データを生成する第２機械学習モデルの学習を行い、画像処理の対象画像データを入力として第１機械学習モデルを用いた推論を行い、対象画像データに基づいてタグ値を出力し、このタグ値と対象画像データとを入力として第２機械学習モデルを用いた推論を行い、対象画像データに基づいた出力画像データを生成する。
【選択図】図１０
【特許請求の範囲】
【請求項1】
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力する機械学習モデルの学習を行う学習部を備えることを特徴とする画像処理装置。
【請求項2】
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う学習部と、
を備えることを特徴とする画像処理装置。
を備えることを特徴とする画像処理装置。
【請求項3】
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、
前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行う、学習部と、
画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、
出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、推論部と、
を備えることを特徴とする画像処理装置。
前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行う、学習部と、
画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、
出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、推論部と、
を備えることを特徴とする画像処理装置。
【請求項4】
請求項１乃至３の何れか一項に記載の画像処理装置において、
前記値は、画像におけるボケの程度を定義することを特徴とする画像処理装置。
前記値は、画像におけるボケの程度を定義することを特徴とする画像処理装置。
【請求項5】
請求項１乃至３の何れか一項に記載の画像処理装置において、
前記劣化加工は、縮小、ガウスぼかし、ノイズ付加、ＪＰＥＧ圧縮のうちの少なくとも一つであることを特徴とする画像処理装置。
前記劣化加工は、縮小、ガウスぼかし、ノイズ付加、ＪＰＥＧ圧縮のうちの少なくとも一つであることを特徴とする画像処理装置。
【請求項6】
請求項１に記載の画像処理装置において、
前記学習部は、
前記加工画像データにフィルタ処理を行った画像における所定条件を満たす画素を含む特定部分に対応する前記加工画像データの部分を用いて、前記機械学習モデルの学習を行う、
ことを特徴とする画像処理装置。
前記学習部は、
前記加工画像データにフィルタ処理を行った画像における所定条件を満たす画素を含む特定部分に対応する前記加工画像データの部分を用いて、前記機械学習モデルの学習を行う、
ことを特徴とする画像処理装置。
【請求項7】
請求項６に記載の画像処理装置において、
前記特定部分は、フィルタ処理後の前記加工画像データにおける数値が高い領域を含む、
ことを特徴とする画像処理装置。
前記特定部分は、フィルタ処理後の前記加工画像データにおける数値が高い領域を含む、
ことを特徴とする画像処理装置。
【請求項8】
請求項６に記載の画像処理装置において、
前記特定部分は、フィルタ処理後の前記加工画像データにおける数値が低い領域を含む、
ことを特徴とする画像処理装置。
前記特定部分は、フィルタ処理後の前記加工画像データにおける数値が低い領域を含む、
ことを特徴とする画像処理装置。
【請求項9】
プロセッサによって実行される画像処理方法であって、
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力する機械学習モデルの学習を行う、
ことを特徴とする画像処理方法。
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力する機械学習モデルの学習を行う、
ことを特徴とする画像処理方法。
【請求項10】
プロセッサによって実行される画像処理方法であって、
教師画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う、
ことを特徴とする画像処理方法。
教師画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う、
ことを特徴とする画像処理方法。
【請求項11】
プロセッサによって実行される画像処理方法であって、
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、
前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行い、
画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、
出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、
ことを特徴とする画像処理方法。
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、
前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行い、
画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、
出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、
ことを特徴とする画像処理方法。
【請求項12】
画像処理方法をプロセッサに実行させる画像処理プログラムであって、
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力する機械学習モデルの学習を行う、
ことを特徴とする画像処理プログラム。
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力する機械学習モデルの学習を行う、
ことを特徴とする画像処理プログラム。
【請求項13】
画像処理方法をプロセッサに実行させる画像処理プログラムであって、
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値と前記画像データとに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う、
ことを特徴とする画像処理プログラム。
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値と前記画像データとに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う、
ことを特徴とする画像処理プログラム。
【請求項14】
画像処理方法をプロセッサに実行させる画像処理プログラムであって、
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいた、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、
前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行い、
画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、
出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、
ことを特徴とする画像処理プログラム。
画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいた、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、
前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行い、
画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、
出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、
ことを特徴とする画像処理プログラム。
【請求項15】
請求項３に記載の画像処理装置において、
前記推論部は、
前記第１機械学習モデルを用いた推論によって出力された前記値に所定の処理を施した処理値を生成し、
前記第２機械学習モデルを用いた推論の中間出力に対して前記処理値を適用することにより前記出力画像データを生成する、
ことを特徴とする画像処理装置。
前記推論部は、
前記第１機械学習モデルを用いた推論によって出力された前記値に所定の処理を施した処理値を生成し、
前記第２機械学習モデルを用いた推論の中間出力に対して前記処理値を適用することにより前記出力画像データを生成する、
ことを特徴とする画像処理装置。
【請求項16】
請求項１５に記載の画像処理装置において、
前記推論部は、前記中間出力における重み付けされた領域に前記処理値を適用する、
ことを特徴とする画像処理装置。
前記推論部は、前記中間出力における重み付けされた領域に前記処理値を適用する、
ことを特徴とする画像処理装置。
【請求項17】
請求項１５に記載の画像処理装置において、
前記推論部は、前記対象画像データにおける物体の位置に基づく、前記中間出力における物体の位置に対応する領域に前記処理値を適用する、
ことを特徴とする画像処理装置。
前記推論部は、前記対象画像データにおける物体の位置に基づく、前記中間出力における物体の位置に対応する領域に前記処理値を適用する、
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）等の画像生成ＡＩ（生成系ＡＩ）技術が知られている（特許文献１）。
また画像生成に関連して、低解像画像から高解像画像を生成する超解像と呼ばれる技術が知られている。超解像は、低解像画像を単に拡大するのでなく、低解像画像の高周波成分を予測・復元して解像度を高め高解像画像を生成する技術である。低解像画像を単に拡大するだけでは画像がぼやけるが、超解像では生じたボケを除去しながら高解像度化することができる。
超解像に関連して、ｒｅａｌ－ＥＳＲＧＡＮ（非特許文献１）が提案されている。ｒｅａｌ－ＥＳＲＧＡＮは、出力側の教師画像データに劣化加工を行うことでぼやけた画像を、入力側の教師画像データに設定して生成器の学習を行う。
ここで、入力側の教師画像データ、出力側の教師画像データとは、夫々、機械学習モデルの学習時において、機械学習モデルに入力される教師画像データ、機械学習モデルから出力されるべき教師画像データである。画像生成ＡＩでは、入力側の教師画像データを学習モデルに入力して画像処理を行うことによって出力側の教師画像データに近い画像が得られるように学習モデルに学習をさせる。
学習済みの生成器としての機械画像モデルに画像データを入力して推論を行うことにより画像を生成する。非特許文献１の超解像の場合は、解像度を大きくするとともにボケを除去した超解像画像を生成する。
また画像生成に関連して、低解像画像から高解像画像を生成する超解像と呼ばれる技術が知られている。超解像は、低解像画像を単に拡大するのでなく、低解像画像の高周波成分を予測・復元して解像度を高め高解像画像を生成する技術である。低解像画像を単に拡大するだけでは画像がぼやけるが、超解像では生じたボケを除去しながら高解像度化することができる。
超解像に関連して、ｒｅａｌ－ＥＳＲＧＡＮ（非特許文献１）が提案されている。ｒｅａｌ－ＥＳＲＧＡＮは、出力側の教師画像データに劣化加工を行うことでぼやけた画像を、入力側の教師画像データに設定して生成器の学習を行う。
ここで、入力側の教師画像データ、出力側の教師画像データとは、夫々、機械学習モデルの学習時において、機械学習モデルに入力される教師画像データ、機械学習モデルから出力されるべき教師画像データである。画像生成ＡＩでは、入力側の教師画像データを学習モデルに入力して画像処理を行うことによって出力側の教師画像データに近い画像が得られるように学習モデルに学習をさせる。
学習済みの生成器としての機械画像モデルに画像データを入力して推論を行うことにより画像を生成する。非特許文献１の超解像の場合は、解像度を大きくするとともにボケを除去した超解像画像を生成する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－２０５０３０公報
【非特許文献】
【0004】
【非特許文献1】Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data, Xintao Wang, Liangbin Xie, Chao Dong, Ying Shan, 2021
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１の超解像では、入力される画像データが、劣化加工によってぼやけた画像であるか、被写界深度に基づいて背景等がぼやけた画像であるかを区別することなく画像生成が行われる。その結果、背景等の一定以下のボケが全て先鋭化されてしまい、本来とは異なる画像が生成される場合がある。
本発明は、一側面として、ぼやけた部分を含む画像の超解像の質を向上させることを目的とする。
本発明は、一側面として、ぼやけた部分を含む画像の超解像の質を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明は、一側面として、画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力する機械学習モデルの学習を行う学習部を備えることを特徴とする。
本発明は、一側面として、画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う学習部と、を備えることを特徴とする。
本発明は、一側面として、画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行う、学習部と、画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、推論部と、を備えることを特徴とする。
本発明は、一側面として、画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた出力画像データを生成する機械学習モデルの学習を行う学習部と、を備えることを特徴とする。
本発明は、一側面として、画像データを所定の劣化加工パラメータに基づいて劣化加工した加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた値を出力可能な第１機械学習モデルの学習を行い、前記画像データと前記加工画像データと前記劣化加工パラメータに応じた値とに基づいて、所定の入力画像データに応じた画像データを生成する第２機械学習モデルの学習を行う、学習部と、画像処理の対象画像データを入力として前記第１機械学習モデルを用いた推論を行い、前記対象画像データに基づいて値を出力し、出力した値と前記対象画像データとを入力として前記第２機械学習モデルを用いた推論を行い、前記対象画像データに基づいた出力画像データを生成する、推論部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、一側面として、ぼやけた部分を含む画像の超解像の質を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態における画像処理装置の構成を示すブロック図である。
【図2】画像処理装置の機能ブロック図である。
【図3】本実施形態に係る判別器の学習を説明する概念図である。
【図4】劣化加工の度合いとタグ値との関係を定義したテーブルを説明する図である。
【図5】劣化加工の度合いとタグ値との関係を定義したテーブルを説明する図である。
【図6】劣化加工の度合いとタグ値との関係を定義したテーブルを説明する図である。
【図7】本実施形態の判別器におけるタグ値の導出を説明する概念図である。
【図8】本実施形態の生成器が行う学習を説明する概念図である。
【図9】本実施形態の生成器に入力するタグ値を説明する図である。
【図10】画像処理装置が実行する画像生成処理を説明する図である。
【図11】本実施形態の画像処理装置が生成する画像を説明する図である。
【図12】本実施形態の判別器の第１の変形例を示す図である。
【図13】本実施形態の判別器の第２の変形例を示す図である。
【図14】画像中の切り出し位置を特定する方法を説明する図である。
【図15】本実施形態における判別器の学習処理を説明するフローチャートである。
【図16】本実施形態における生成器の学習処理を説明するフローチャートである。
【図17】本実施形態における画像生成処理を説明するフローチャートである。
【図18】本実施形態における変形例に係る生成器の構成を説明する図である。
【図19】Channel Attentionの説明図である。
【図20】Spatial Attentionの説明図である。
【図21】Scaled Dot-Product Attentionの説明図である。
【図22】コンピュータ装置の一実施例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に、本発明の実施の形態を、図面を参照して詳細に説明する。
まず、本実施形態に係る画像処理装置が行う処理を概説する。
本実施形態の画像処理装置は、超解像等の対象となる対象画像データと、その対象画像データにおけるボケの程度の情報を学習済みの生成器に入力し、アップサンプリングを伴う画像生成を行う。
生成器は、教師画像データと、教師画像データを劣化加工（縮小やガウスぼかし等）した加工画像データと、劣化加工による加工画像データにおけるボケの程度の数値を用いて学習を行う機械学習モデルである。学習済みの生成器に対象画像データと、対象画像データにおけるボケの程度の情報を入力することにより、劣化加工によるボケと対象画像データが本来備えるボケを区別して、解像度を上げた画像生成を行うことができる。
その結果、解像度を上げること（アップサンプリング）によるボケだけを先鋭化しつつ、対象画像データが元々有している、被写界深度に起因する背景のボケ等は先鋭化しないようにすることができる。
従って、本実施形態によれば、異なる対象画像データとは異なる画像が生成されてしまう問題を解決して超解像の質を向上させることができる。
まず、本実施形態に係る画像処理装置が行う処理を概説する。
本実施形態の画像処理装置は、超解像等の対象となる対象画像データと、その対象画像データにおけるボケの程度の情報を学習済みの生成器に入力し、アップサンプリングを伴う画像生成を行う。
生成器は、教師画像データと、教師画像データを劣化加工（縮小やガウスぼかし等）した加工画像データと、劣化加工による加工画像データにおけるボケの程度の数値を用いて学習を行う機械学習モデルである。学習済みの生成器に対象画像データと、対象画像データにおけるボケの程度の情報を入力することにより、劣化加工によるボケと対象画像データが本来備えるボケを区別して、解像度を上げた画像生成を行うことができる。
その結果、解像度を上げること（アップサンプリング）によるボケだけを先鋭化しつつ、対象画像データが元々有している、被写界深度に起因する背景のボケ等は先鋭化しないようにすることができる。
従って、本実施形態によれば、異なる対象画像データとは異なる画像が生成されてしまう問題を解決して超解像の質を向上させることができる。
【0010】
なお、生成器に入力される対象画像データのボケの程度の情報は、対象画像データを、本実施形態の特徴的な構成である判別器に入力することで得られる。この判別器は、教師画像データに対して縮小やガウスぼかし等の劣化加工を行った加工画像データと劣化加工によるボケの程度を示す数値との対を学習する機械学習モデルである。学習済みの判別器に対象画像データを入力することによって、対象画像データが有するボケの程度の情報が得られる。
本実施形態で用いられる機械学習モデルは、例えばニューラルネットワークで構成されていてもよく、畳み込み層を含む畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成されていてもよい。下記の説明では、機械学習モデルを単に学習モデルと記載する。
本実施形態で用いられる機械学習モデルは、例えばニューラルネットワークで構成されていてもよく、畳み込み層を含む畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成されていてもよい。下記の説明では、機械学習モデルを単に学習モデルと記載する。
【0011】
以下に、本実施形態の画像処理装置をより詳しく説明する。
＜画像処理装置＞
図１は、本実施形態に係る画像処理装置の構成を示すブロック図であり、図２は画像処理装置の機能ブロックを説明するブロック図である。
図１に示すように、画像処理装置１は、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５、及び読取部１６を備える。
なお画像処理装置１及び画像処理装置１における動作について、以下では、１台のコンピュータとして説明するが、複数のコンピュータによって処理を分散するように構成されてもよい。
制御部１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ及びメモリ等を用い、装置の各構成部を制御して各種機能を実現する。
画像処理部１１は、ＧＰＵ（Graphics Processing Unit）または専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、一体のハードウェアであってもよい。また制御部１０及び画像処理部１１は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、更には記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。
＜画像処理装置＞
図１は、本実施形態に係る画像処理装置の構成を示すブロック図であり、図２は画像処理装置の機能ブロックを説明するブロック図である。
図１に示すように、画像処理装置１は、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５、及び読取部１６を備える。
なお画像処理装置１及び画像処理装置１における動作について、以下では、１台のコンピュータとして説明するが、複数のコンピュータによって処理を分散するように構成されてもよい。
制御部１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ及びメモリ等を用い、装置の各構成部を制御して各種機能を実現する。
画像処理部１１は、ＧＰＵ（Graphics Processing Unit）または専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、一体のハードウェアであってもよい。また制御部１０及び画像処理部１１は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、更には記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。
【0012】
記憶部１２は、ハードディスクまたはフラッシュメモリ、ＲＡＭ（Random Access Memory）を用いる。記憶部１２には、画像処理プログラム１Ｐ、機械学習ライブラリ１２１Ｌが記憶されている。また記憶部１２には、学習毎に作成される学習モデルである、判別器４２、生成器（ジェネレータ）４３を定義する定義データ、学習済みの判別器４２及び生成器４３のパラメータ情報等が記憶される。
定義データは、例えばニューラルネットワークのネットワーク構成（レイヤー構成）を示す情報である。パラメータ情報は、ニューラルネットワークにおけるノードの重みを示す情報である。
定義データは、例えばニューラルネットワークのネットワーク構成（レイヤー構成）を示す情報である。パラメータ情報は、ニューラルネットワークにおけるノードの重みを示す情報である。
【0013】
以下の説明において、ニューラルネットワークにおけるノードの重み等のパラメータを「ＮＮパラメータ」と記載する。画像の劣化加工における縮小率やピクセル変動量等のパラメータは「劣化加工パラメータ」と記載して上記のＮＮパラメータとは区別する。
記憶部１２には、超解像処理の対象となる（画像生成の種となる）対象画像データ、超解像処理の結果となる出力画像データ、判別器４２及び生成器４３の学習用の教師画像データ、教師用画像データを加工した加工画像データ等を記憶することができる。
定義データ、ＮＮパラメータによって定義される学習モデルが機械学習ライブラリ１２１Ｌに組み込まれ、機械学習ライブラリ１２１Ｌが制御部１０により実行されることで、画像処理部１１が、本実施形態の学習や推論を実行する判別器４２及び生成器４３が実現される。
記憶部１２には、超解像処理の対象となる（画像生成の種となる）対象画像データ、超解像処理の結果となる出力画像データ、判別器４２及び生成器４３の学習用の教師画像データ、教師用画像データを加工した加工画像データ等を記憶することができる。
定義データ、ＮＮパラメータによって定義される学習モデルが機械学習ライブラリ１２１Ｌに組み込まれ、機械学習ライブラリ１２１Ｌが制御部１０により実行されることで、画像処理部１１が、本実施形態の学習や推論を実行する判別器４２及び生成器４３が実現される。
【0014】
判別器４２は、入力される画像データに基づいて、画像データが有するボケの程度を示すタグ値を出力する。判別器４２は単体で用いられるように学習されてもよい。
生成器４３は、転置畳み込み層、畳み込み層、アップサンプリング等のネットワークを適宜組み合わせて構成され得る。学習済みの生成器４３は、入力される種となるデータと、上記タグ値と、から（アップサンプリングした）画像データを生成して出力する。
機械学習ライブラリ１２１Ｌは、学習と推論を行う推論エンジン（プログラム）を有し、定義データ、ＮＮパラメータを与えて実行する。これにより、定義データ、ＮＮパラメータに機械学習モデルとしての機能が与えられる。
機械学習ライブラリ１２１Ｌには代表的なものとしてTensorFlowやCafe等があるが、これに限らずどのような機械学習ライブラリを用いてもよい。
判別器４２を機械学習モデルのみで構成し、かつ生成器４３に入力する対象画像データをブロック分割しない場合は、判別器４２と生成器４３を統合してもよい。
生成器４３は、転置畳み込み層、畳み込み層、アップサンプリング等のネットワークを適宜組み合わせて構成され得る。学習済みの生成器４３は、入力される種となるデータと、上記タグ値と、から（アップサンプリングした）画像データを生成して出力する。
機械学習ライブラリ１２１Ｌは、学習と推論を行う推論エンジン（プログラム）を有し、定義データ、ＮＮパラメータを与えて実行する。これにより、定義データ、ＮＮパラメータに機械学習モデルとしての機能が与えられる。
機械学習ライブラリ１２１Ｌには代表的なものとしてTensorFlowやCafe等があるが、これに限らずどのような機械学習ライブラリを用いてもよい。
判別器４２を機械学習モデルのみで構成し、かつ生成器４３に入力する対象画像データをブロック分割しない場合は、判別器４２と生成器４３を統合してもよい。
【0015】
本実施形態では、判別器４２、生成器４３を実現する機械学習ライブラリとして機械学習ライブラリ１２１Ｌのみを説明しているが、判別器４２を実現する判別器ライブラリ、生成器４３を実現する生成器ライブラリを別途備えてもよい。この場合、機械学習ライブラリ１２１Ｌで機械学習モデルとしての機能が与えられ、判別器ライブラリや生成器ライブラリにより、機械学習モデルにおける、例えばレイヤー構成等の定義データや各ノードの重み等のパラメータが与えられる。
【0016】
通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイスまたはキャリア通信用モジュールを用いる。
表示部１４は、液晶パネルまたは有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。
操作部１５は、キーボードまたはマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。
読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶される画像処理プログラム２Ｐ、機械学習ライブラリ２１Ｌを読み取ることが可能である。記憶部１２に記憶される画像処理プログラム１Ｐ、機械学習ライブラリ１２１Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、機械学習ライブラリ２１Ｌを制御部１０が記憶部１２に複製したものであってもよい。
表示部１４は、液晶パネルまたは有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。
操作部１５は、キーボードまたはマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。
読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶される画像処理プログラム２Ｐ、機械学習ライブラリ２１Ｌを読み取ることが可能である。記憶部１２に記憶される画像処理プログラム１Ｐ、機械学習ライブラリ１２１Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、機械学習ライブラリ２１Ｌを制御部１０が記憶部１２に複製したものであってもよい。
【0017】
画像処理装置１の制御部１０は、記憶部１２に記憶される画像処理プログラム１Ｐに基づき、学習処理実行部３１、及び画像処理実行部（推論処理制御部）３２として機能する。
画像処理部１１は、記憶部１２に記憶される機械学習ライブラリ１２１Ｌ、定義データ、パラメータ情報に基づき、メモリを用いて判別器４２として機能する。
また画像処理部１１は、記憶部１２に記憶される機械学習ライブラリ１２１Ｌ、定義データ、パラメータ情報に基づき、メモリを用いて生成器４３として機能する。
また画像処理部１１は、判別器４２、生成器４３に対して画像を入出力するための入力部４１、出力部４４として機能する。入力部４１、出力部４４の機能は、判別器４２、生成器４３が夫々有してもよいし、制御部１０が実行する学習処理実行部３１、画像処理実行部３２が有してもよい。
また画像処理部１１は、教師画像データを加工する加工部４５、教師画像データを切り出す切出部４６として機能する。加工部４５、切出部４６の機能は、制御部１０が実行する学習処理実行部３１、画像処理実行部３２が有してもよい。
なお、図２では機械学習ライブラリ１２１Ｌによって判別器４２、生成器４３の機能が実現されるので、記憶部１２では機械学習ライブラリ１２１Ｌの記載は省略する。
画像処理部１１は、記憶部１２に記憶される機械学習ライブラリ１２１Ｌ、定義データ、パラメータ情報に基づき、メモリを用いて判別器４２として機能する。
また画像処理部１１は、記憶部１２に記憶される機械学習ライブラリ１２１Ｌ、定義データ、パラメータ情報に基づき、メモリを用いて生成器４３として機能する。
また画像処理部１１は、判別器４２、生成器４３に対して画像を入出力するための入力部４１、出力部４４として機能する。入力部４１、出力部４４の機能は、判別器４２、生成器４３が夫々有してもよいし、制御部１０が実行する学習処理実行部３１、画像処理実行部３２が有してもよい。
また画像処理部１１は、教師画像データを加工する加工部４５、教師画像データを切り出す切出部４６として機能する。加工部４５、切出部４６の機能は、制御部１０が実行する学習処理実行部３１、画像処理実行部３２が有してもよい。
なお、図２では機械学習ライブラリ１２１Ｌによって判別器４２、生成器４３の機能が実現されるので、記憶部１２では機械学習ライブラリ１２１Ｌの記載は省略する。
【0018】
学習処理実行部３１は、機械学習ライブラリ１２１Ｌと、教師画像データとに基づいて判別器４２のＮＮパラメータを学習することにより、機械学習モデルを判別器４２とする処理を行なう。
学習処理実行部３１はまた、機械学習ライブラリ１２１Ｌと、教師画像データとに基づいて生成器４３のＮＮパラメータを学習することにより、機械学習モデルを生成器４３とする処理を行う。
学習処理実行部３１はまた、機械学習ライブラリ１２１Ｌと、教師画像データとに基づいて生成器４３のＮＮパラメータを学習することにより、機械学習モデルを生成器４３とする処理を行う。
【0019】
画像処理実行部３２は、学習済みの判別器４２に画像データを入力し、判別器４２によって出力される結果を取得する処理を実行する。
画像処理実行部３２はまた、学習済みの生成器４３に種となる画像データを入力し、生成器４３によって生成される画像データを取得する処理を実行する。
画像処理実行部３２は、生成器４３から出力された画像データを画像として描画し、表示部１４へ出力させてもよい。
画像処理実行部３２はまた、学習済みの生成器４３に種となる画像データを入力し、生成器４３によって生成される画像データを取得する処理を実行する。
画像処理実行部３２は、生成器４３から出力された画像データを画像として描画し、表示部１４へ出力させてもよい。
【0020】
画像処理装置１は、判別器４２、生成器４３としての機械学習モデルに加えて、生成器４３を学習するためのＧＡＮ（Generative Adversarial Networks）を構成する分類器（ディスクリミネータ）としての機械学習モデルを備えてもよい。
その場合、画像処理装置１は、記憶部１２に分類器ライブラリを備え、分類器を定義する定義データ、ＮＮパラメータを記憶してよい。
そして、画像処理実行部３１は、機械学習ライブラリ１２１Ｌ及び分類器ライブラリと、教師画像データとに基づき、機械学習モデルを分類器とするように、ＮＮパラメータを学習する処理を行なう。
画像処理実行部３２は、学習済みの分類器に画像データを与え、分類器から出力される結果を取得する。学習済みの分類器は、入力される画像データから取り出した特徴量に基づき、入力される画像データを、生成器４３で生成された画像データと、それ以外の画像データとに分類する。
分類器は、学習されるパラメータにより定義される複数段の畳み込み層を含んで構成される。分類器の構成はこれに限らず、プーリング層、全結合層等を含んでもよい。
その場合、画像処理装置１は、記憶部１２に分類器ライブラリを備え、分類器を定義する定義データ、ＮＮパラメータを記憶してよい。
そして、画像処理実行部３１は、機械学習ライブラリ１２１Ｌ及び分類器ライブラリと、教師画像データとに基づき、機械学習モデルを分類器とするように、ＮＮパラメータを学習する処理を行なう。
画像処理実行部３２は、学習済みの分類器に画像データを与え、分類器から出力される結果を取得する。学習済みの分類器は、入力される画像データから取り出した特徴量に基づき、入力される画像データを、生成器４３で生成された画像データと、それ以外の画像データとに分類する。
分類器は、学習されるパラメータにより定義される複数段の畳み込み層を含んで構成される。分類器の構成はこれに限らず、プーリング層、全結合層等を含んでもよい。
【0021】
本実施形態の判別器を説明する。
図３は、本実施形態に係る判別器の学習を説明する概念図である。
判別器の学習は、学習処理実行部３１の制御により行われる。
学習処理実行部３１は、教師画像データを加工部４５に入力し、教師画像データに対して、例えば後述の図４乃至図６に示す劣化加工パラメータ（縮小率、ピクセル変動量等）に基づく劣化加工（縮小、ガウスぼかし等）を行い、加工画像データを生成する。
学習処理実行部３１は、生成した加工画像データを判別器４２に入力させ、判別器４２の学習を行う。この学習は、対象画像データを判別器４２に入力したときに、その対象画像データにおけるボケの程度を示す値を判別器４２が出力可能とするためのＮＮパラメータの学習である。
学習処理実行部３１は、例えば、劣化加工パラメータを縮小率７１％として教師画像データを７１％縮小した加工画像データを判別器４２に入力させ、判別器４２が劣化加工パラメータの７１％に相当するタグ値を判別器４２が出力するようにＮＮパラメータを学習する。
図３は、本実施形態に係る判別器の学習を説明する概念図である。
判別器の学習は、学習処理実行部３１の制御により行われる。
学習処理実行部３１は、教師画像データを加工部４５に入力し、教師画像データに対して、例えば後述の図４乃至図６に示す劣化加工パラメータ（縮小率、ピクセル変動量等）に基づく劣化加工（縮小、ガウスぼかし等）を行い、加工画像データを生成する。
学習処理実行部３１は、生成した加工画像データを判別器４２に入力させ、判別器４２の学習を行う。この学習は、対象画像データを判別器４２に入力したときに、その対象画像データにおけるボケの程度を示す値を判別器４２が出力可能とするためのＮＮパラメータの学習である。
学習処理実行部３１は、例えば、劣化加工パラメータを縮小率７１％として教師画像データを７１％縮小した加工画像データを判別器４２に入力させ、判別器４２が劣化加工パラメータの７１％に相当するタグ値を判別器４２が出力するようにＮＮパラメータを学習する。
【0022】
この学習において、学習処理実行部３１は、下記図４乃至図６のテーブルに従って縮小率、ピクセル変動量等劣化加工パラメータを様々に変更して、１以上の加工画像データを生成する。
学習実行処理部３１は、生成した１以上の加工画像データを判別器４２に入力し、判別器４２の学習を行う。
教師画像データを実際に縮小するのではなく、元の画像のサイズの何％かという数値（縮小率）だけを入力してもよい。
学習実行処理部３１は、各加工画像データに応じた１以上のタグ値を判別器４２に出力させ、出力されたタグ値と、加工画像データを生成した際の劣化加工パラメータに対応するタグ値と、を比較する。
ここで出力されるべきタグ値は、例えば、５０％の縮小が行われているときは縮小率について１２８のタグ値、図５に示すピクセル変動量５のガウスぼかしも行われているときはガウスぼかしについて１２８のタグ値、あるいは縮小率５０％かつピクセル変動量５の組み合わせについては９６のタグ値である。
出力されたタグ値と加工画像データを生成した際の劣化加工パラメータに対応するタグ値とが全て一致しない場合は、学習処理実行部３１は、判別器４２が出力するタグ値と、劣化加工パラメータに対応するタグ値とが全て一致するまで、ＮＮパラメータの調整と、タグ値の出力を繰り返す。全て一致したときのＮＮパラメータが、学習済みの判別器４２のＮＮパラメータである。
このように学習を行った判別器４２は、任意の画像データを入力されると、その画像データが有するボケの程度に応じたタグ値を出力することができる。
学習実行処理部３１は、生成した１以上の加工画像データを判別器４２に入力し、判別器４２の学習を行う。
教師画像データを実際に縮小するのではなく、元の画像のサイズの何％かという数値（縮小率）だけを入力してもよい。
学習実行処理部３１は、各加工画像データに応じた１以上のタグ値を判別器４２に出力させ、出力されたタグ値と、加工画像データを生成した際の劣化加工パラメータに対応するタグ値と、を比較する。
ここで出力されるべきタグ値は、例えば、５０％の縮小が行われているときは縮小率について１２８のタグ値、図５に示すピクセル変動量５のガウスぼかしも行われているときはガウスぼかしについて１２８のタグ値、あるいは縮小率５０％かつピクセル変動量５の組み合わせについては９６のタグ値である。
出力されたタグ値と加工画像データを生成した際の劣化加工パラメータに対応するタグ値とが全て一致しない場合は、学習処理実行部３１は、判別器４２が出力するタグ値と、劣化加工パラメータに対応するタグ値とが全て一致するまで、ＮＮパラメータの調整と、タグ値の出力を繰り返す。全て一致したときのＮＮパラメータが、学習済みの判別器４２のＮＮパラメータである。
このように学習を行った判別器４２は、任意の画像データを入力されると、その画像データが有するボケの程度に応じたタグ値を出力することができる。
【0023】
図４乃至図６は、劣化加工の度合いに、ボケの程度を示すタグ値を割り当てたテーブルを示す図であり、劣化加工の度合いに、ボケの程度を示す０から２５５まで２５６のタグ値を割り当てている。ここでは、タグ値の値が大きいほど、ボケの程度が小さい。
図４は、縮小率と、ボケの程度を示すタグ値との関係を定義したテーブルを示している。例えば図４に示すように、縮小率の変化に応じてタグ値が変化するようにタグ値を予め定義する。例えば縮小率が１３％のときのタグ値を０とし、縮小率が５０．０％のときのタグ値を１２８とし、縮小率が１００％のときのタグ値を２５５とする。
学習処理実行部３１は、任意の対象画像データを入力されたときに、対象画像データに施された劣化加工（縮小）の度合い（縮小率）に応じて、図４に定義する対応するタグ値が出力されるように、判別器４２のＮＮパラメータを学習する。
図４は、縮小率と、ボケの程度を示すタグ値との関係を定義したテーブルを示している。例えば図４に示すように、縮小率の変化に応じてタグ値が変化するようにタグ値を予め定義する。例えば縮小率が１３％のときのタグ値を０とし、縮小率が５０．０％のときのタグ値を１２８とし、縮小率が１００％のときのタグ値を２５５とする。
学習処理実行部３１は、任意の対象画像データを入力されたときに、対象画像データに施された劣化加工（縮小）の度合い（縮小率）に応じて、図４に定義する対応するタグ値が出力されるように、判別器４２のＮＮパラメータを学習する。
【0024】
図５は、ガウスぼかしのピクセル変動量と、ボケの程度を示すタグ値との関係を定義したテーブルを示している。例えば図５に示すように、ピクセル変動量の変化に応じてタグ値が変化するようにタグ値を予め定義する。例えばピクセル変動量が１０ピクセルの場合のタグ値を０とし、５ピクセルの場合のタグ値を１２８とし、０ピクセルの場合のタグ値を２５５とする。
学習処理実行部３１は、任意の対象画像データを入力されたときに、対象画像データに施された劣化加工（ガウスぼかし）の度合い（ピクセル変動量）に応じて、図５に定義するタグ値が出力されるように、判別器４２のＮＮパラメータを学習する。
図４、図５の場合、単一種類の劣化加工（縮小のみ、ガウスぼかしのみ）が行われると考えてもよいが、それに限らず、加工画像データで行われる複数の劣化加工ごとにタグ値が出力されるようにしてもよい。
学習処理実行部３１は、任意の対象画像データを入力されたときに、対象画像データに施された劣化加工（ガウスぼかし）の度合い（ピクセル変動量）に応じて、図５に定義するタグ値が出力されるように、判別器４２のＮＮパラメータを学習する。
図４、図５の場合、単一種類の劣化加工（縮小のみ、ガウスぼかしのみ）が行われると考えてもよいが、それに限らず、加工画像データで行われる複数の劣化加工ごとにタグ値が出力されるようにしてもよい。
【0025】
図６は、縮小率及びガウスぼかしを統合したタグ値を示している。
図４、図５のように、単一の劣化加工の種類毎にタグ値を設定するのではなく、複数の劣化加工を行うことを想定し、複数の劣化加工パラメータに対応したボケの程度を示す一つのタグ値を設定してもよい。
図６に示すように、縮小率の変化及びピクセル変動量の変化に応じて、ボケの度合いを示すタグ値が変化するようにタグ値を予め定義する。より詳しくは、所定の縮小率におけるピクセル変動量の変化に応じてタグ値が変化し、また異なる縮小率におけるピクセル変動量の変化に応じてタグ値が変化するようにタグ値を設定する。
例えば縮小率が５０．０％であってピクセル変動量が１０ピクセルの場合のタグ値を６４、縮小率が５０．０％であってピクセル変動量が５ピクセルの場合のタグ値を９６、縮小率が５０．０％であってピクセル変動量が０ピクセルの場合タグ値を１２８とする。
また縮小率が７１．０％であってピクセル変動量が１０ピクセルの場合のタグ値を９６、縮小率が７１．０％であってピクセル変動量が５ピクセルの場合のタグ値を１４４、縮小率が７１．０％であってピクセル変動量が０ピクセルの場合のタグ値を１９２とする。
学習処理実行部３１は、任意の対象画像データを入力されたときに、対象画像データに施された劣化加工（縮小とガウスぼかし）の度合い（縮小率、ピクセル変動量）に応じて、図６に定義する対応するタグ値が出力されるように、判別器４２のＮＮパラメータを学習する。
学習処理実行部３１は、他の劣化加工、例えばノイズ付加やＪＥＰＧ圧縮についても同様に、劣化の度合いに応じたボケの程度を示すタグ値が出力されるように学習を行う。
図４、図５のように、単一の劣化加工の種類毎にタグ値を設定するのではなく、複数の劣化加工を行うことを想定し、複数の劣化加工パラメータに対応したボケの程度を示す一つのタグ値を設定してもよい。
図６に示すように、縮小率の変化及びピクセル変動量の変化に応じて、ボケの度合いを示すタグ値が変化するようにタグ値を予め定義する。より詳しくは、所定の縮小率におけるピクセル変動量の変化に応じてタグ値が変化し、また異なる縮小率におけるピクセル変動量の変化に応じてタグ値が変化するようにタグ値を設定する。
例えば縮小率が５０．０％であってピクセル変動量が１０ピクセルの場合のタグ値を６４、縮小率が５０．０％であってピクセル変動量が５ピクセルの場合のタグ値を９６、縮小率が５０．０％であってピクセル変動量が０ピクセルの場合タグ値を１２８とする。
また縮小率が７１．０％であってピクセル変動量が１０ピクセルの場合のタグ値を９６、縮小率が７１．０％であってピクセル変動量が５ピクセルの場合のタグ値を１４４、縮小率が７１．０％であってピクセル変動量が０ピクセルの場合のタグ値を１９２とする。
学習処理実行部３１は、任意の対象画像データを入力されたときに、対象画像データに施された劣化加工（縮小とガウスぼかし）の度合い（縮小率、ピクセル変動量）に応じて、図６に定義する対応するタグ値が出力されるように、判別器４２のＮＮパラメータを学習する。
学習処理実行部３１は、他の劣化加工、例えばノイズ付加やＪＥＰＧ圧縮についても同様に、劣化の度合いに応じたボケの程度を示すタグ値が出力されるように学習を行う。
【0026】
図７は、本実施形態の判別器におけるタグ値の導出を説明する概念図である。
判別器４２は、学習時には加工画像データを、推論時には対象画像データを入力し、畳み込み、活性化関数処理、プーリング等を繰り返すことにより１つのデータ（タグ値）を最終的に出力する。これは、ＲＧＢの画像データを入力し、１ピクセルのグレースケールデータを得るイメージである。
出力チャンネルの数は劣化加工の種類に応じて変化させることができる。例えば、タグ値として縮小率のみ、あるいはピクセル変動量のみを利用する場合は、出力チャンネル数を１とする。その場合、学習済みの判別器４２は、例えば縮小率５０．０％の画像を判別器４２に入力して処理を行うと、縮小率５０％に対応するボケの程度を表すタグ値を出力する。
縮小率とガウスぼかしの両方に関してタグ値を学習し、推論時に２チャンネルの出力（２つのタグ値の出力）を得るように判別器４２を構成することもできる。
判別器４２は、学習時には加工画像データを、推論時には対象画像データを入力し、畳み込み、活性化関数処理、プーリング等を繰り返すことにより１つのデータ（タグ値）を最終的に出力する。これは、ＲＧＢの画像データを入力し、１ピクセルのグレースケールデータを得るイメージである。
出力チャンネルの数は劣化加工の種類に応じて変化させることができる。例えば、タグ値として縮小率のみ、あるいはピクセル変動量のみを利用する場合は、出力チャンネル数を１とする。その場合、学習済みの判別器４２は、例えば縮小率５０．０％の画像を判別器４２に入力して処理を行うと、縮小率５０％に対応するボケの程度を表すタグ値を出力する。
縮小率とガウスぼかしの両方に関してタグ値を学習し、推論時に２チャンネルの出力（２つのタグ値の出力）を得るように判別器４２を構成することもできる。
【0027】
＜生成器＞
次に、本実施形態の生成器について説明する。
図８は、本実施形態の生成器が行う学習を説明する概念図である。
生成器の学習は、学習処理実行部３１の制御により行われる。
図８に示すように、学習実行処理部３１は、教師画像データを加工部４５に入力し、教師画像データに対して図４乃至図６に規定される縮小率、ピクセル変動量等の劣化加工パラメータに基づいた劣化加工（縮小、ガウスぼかし）を行い、加工画像データを得る。
例えば、学習処理実行部３１は、教師画像データを一定の倍率（４倍の超解像に用いるものであれば１/４）で縮小し、ガウスぼかし等によるボケの程度の数値に従ってぼかして加工画像データを生成する。
学習実行処理部３１は、上記図４乃至図６のテーブルに従って縮小率、ピクセル変動量等劣化加工パラメータを様々に変更して、１以上の加工画像データを生成する。生成器の学習に用いる加工画像データとして、判別器４２の学習のために生成した加工画像データを用いてもよい。
次に、本実施形態の生成器について説明する。
図８は、本実施形態の生成器が行う学習を説明する概念図である。
生成器の学習は、学習処理実行部３１の制御により行われる。
図８に示すように、学習実行処理部３１は、教師画像データを加工部４５に入力し、教師画像データに対して図４乃至図６に規定される縮小率、ピクセル変動量等の劣化加工パラメータに基づいた劣化加工（縮小、ガウスぼかし）を行い、加工画像データを得る。
例えば、学習処理実行部３１は、教師画像データを一定の倍率（４倍の超解像に用いるものであれば１/４）で縮小し、ガウスぼかし等によるボケの程度の数値に従ってぼかして加工画像データを生成する。
学習実行処理部３１は、上記図４乃至図６のテーブルに従って縮小率、ピクセル変動量等劣化加工パラメータを様々に変更して、１以上の加工画像データを生成する。生成器の学習に用いる加工画像データとして、判別器４２の学習のために生成した加工画像データを用いてもよい。
【0028】
学習実行処理部３１は、生成した１以上の加工画像データと、これらの加工画像データの生成に用いた劣化加工パラメータに対応する１以上のタグ値と、を生成器４３に入力し、生成器４３の学習を行う。
ここでのタグ値は、例えば、劣化加工として図４に示す５０％の縮小が行われているときは縮小率について１２８のタグ値、図５に示すピクセル変動量５のガウスぼかしも行われているときはガウスぼかしについて１２８のタグ値、あるいは縮小率５０％でピクセル変動量５の組み合わせについて９６のタグ値である。
この学習は、対象画像データを入力されたときに、対象画像データと、タグ値が表すボケの程度に基づいて画像におけるボケの程度を示す情報（タグ）を判別器４２が出力可能とするためのＮＮパラメータの学習である。
ここでのタグ値は、例えば、劣化加工として図４に示す５０％の縮小が行われているときは縮小率について１２８のタグ値、図５に示すピクセル変動量５のガウスぼかしも行われているときはガウスぼかしについて１２８のタグ値、あるいは縮小率５０％でピクセル変動量５の組み合わせについて９６のタグ値である。
この学習は、対象画像データを入力されたときに、対象画像データと、タグ値が表すボケの程度に基づいて画像におけるボケの程度を示す情報（タグ）を判別器４２が出力可能とするためのＮＮパラメータの学習である。
【0029】
学習処理実行部３１は、加工画像データとタグ値を生成器４３に入力し、画像を生成させる。学習処理実行部３１は、例えば、教師画像データを縮小率５０％で縮小（劣化加工）した加工画像データと、縮小率５０％に対応するボケの程度を示すタグ値と、を生成器４３に入力する。縮小率５０％の情報を生成器４３に入力しているので、処理の結果、生成器４３は入力画像の２倍の大きさの出力画像データを出力する。
学習処理実行部３１は、生成された画像と教師画像データ（１００％の大きさ）とを比較する。比較の結果、両画像が全て一致しない場合、一致するまで（近づくように）ＮＮパラメータの調整と、画像の生成を繰り返す。全て一致したときのＮＮパラメータが、学習済みの生成器４３のＮＮパラメータである。
学習処理実行部３１による生成器４３の学習には、例えば、上記した分類器による分類結果（教師データに対する真偽判定）を用いることができる。
学習処理実行部３１は、生成された画像と教師画像データ（１００％の大きさ）とを比較する。比較の結果、両画像が全て一致しない場合、一致するまで（近づくように）ＮＮパラメータの調整と、画像の生成を繰り返す。全て一致したときのＮＮパラメータが、学習済みの生成器４３のＮＮパラメータである。
学習処理実行部３１による生成器４３の学習には、例えば、上記した分類器による分類結果（教師データに対する真偽判定）を用いることができる。
【0030】
図９は、本実施形態の生成器に入力するタグ値を説明する図である。
学習時、推論時に生成器４３に入力するタグ値は、入力する画像（学習時には加工画像データ、推論時には対象画像データ）に合わせて、２次元の状態とする。
例えば、図９（ａ）に示すように、タグ値が「５０」のとき、入力する画像のピクセル数分だけ同一のピクセルのタグ値を用意し、これらを１つのデータとして生成器４３に入力する。
学習時、推論時に生成器４３に入力するタグ値は、入力する画像（学習時には加工画像データ、推論時には対象画像データ）に合わせて、２次元の状態とする。
例えば、図９（ａ）に示すように、タグ値が「５０」のとき、入力する画像のピクセル数分だけ同一のピクセルのタグ値を用意し、これらを１つのデータとして生成器４３に入力する。
【0031】
図９（ｂ）に示すように、学習実行処理部３１は、取得した１ｃｈ又は複数ｃｈのタグ値と加工画像データのＲＧＢデータ（Ｒ、Ｇ、Ｂの３ｃｈ）を生成器４３に入力し、機械学習によって出力画像データを得る。生成器４３は、畳み込み層（Ｃｏｎｖ）での畳み込み処理を最初として、畳み込み層（Ｃｏｎｖ）、活性化層（ＲｏＬＵ）での活性化処理、プーリング層（Ｐｏｏｌｉｎｇ）でのプーリング処理を繰り返して、入力された画像とは異なるＲＧＢデータ（Ｒ’、Ｇ’、Ｂ’の３ｃｈ）を生成し、最後にこれらを結合して出力画像データを得る。ガウスぼかし、ＪＰＥＧ圧縮、ノイズ付加についても同様である。
【0032】
図１０は、画像処理装置が実行する画像生成処理を説明する図である。
画像生成処理は、画像処理実行部３２による制御のもとで行われる。
入力部４１は、記憶部１２に記憶されている対象画像データを取得し、判別器４２に入力する。
判別器４２は、記憶部１２に記憶されている定義データとＮＮパラメータを用いて対象画像データに対する推論を行い、タグ値を出力する。
入力部４１は、さらに対象画像データを生成器４３に入力する。
生成器４３は、判別器４２が出力したタグ値と、対象画像データ、記憶部１２に記憶されている定義データとＮＮパラメータを用いて、対象画像データを種とする画像生成を行い、出力画像データを生成する。
出力部４４は、生成器４３が生成した出力画像データを記憶部１２に出力する。
画像生成処理は、画像処理実行部３２による制御のもとで行われる。
入力部４１は、記憶部１２に記憶されている対象画像データを取得し、判別器４２に入力する。
判別器４２は、記憶部１２に記憶されている定義データとＮＮパラメータを用いて対象画像データに対する推論を行い、タグ値を出力する。
入力部４１は、さらに対象画像データを生成器４３に入力する。
生成器４３は、判別器４２が出力したタグ値と、対象画像データ、記憶部１２に記憶されている定義データとＮＮパラメータを用いて、対象画像データを種とする画像生成を行い、出力画像データを生成する。
出力部４４は、生成器４３が生成した出力画像データを記憶部１２に出力する。
【0033】
図１１は、本実施形態の画像処理装置が生成する画像を説明する図であり、（ａ）は種となる対象画像データの図であり、（ｂ）は画像全体のピントがずれた状態の図であり、（ｃ）は、画像全体の先鋭化された状態の図であり、（ｄ）は、被写界深度に応じて前景が先鋭化され背景がぼやけた状態を示す図である。
種となる画像は、前景にある人物にピントがあたり、被写界深度によって背景の景色がぼやけた低解像度の画像である。
単純に低解像画像を拡大した場合、図１１（ｂ）のように画像全体がぼやけた状態となる。非特許文献１に記載したような従来技術では、図１１（ｃ）に示すように前景の人物も背景も全てが先鋭化され元の画像とは異なる画像となる。一方、本実施形態の画像処理装置によれば、図１１（ｄ）に示すように、元々の画像でボケさせている背景についてはボケさせたまま、前景の人物のみを先鋭化させることが出来ている。
すなわち、本実施形態の画像処理装置１では、図１１（ａ）の低解像画像の画像全体の特徴をそのまま捉えた超解像が実現出来ている。
上記したように、非特許文献１のＲｅａｌ－ＥＳＲＧＡＮ等の超解像モデルにおいて、種となる画像データに基づいて高解像画像を生成（再現）するときに一定以下のボケが全て先鋭化されることで本来とは異なる画像が生成されるという問題があった。
本実施形態の画像処理装置１では、種となる画像データに基づいて高解像画像を生成（再現）するとき、種となる対象画像データが備えるボケの程度の情報を生成器４３に対して明示的に与えることで、生成器４３が高解像画像を再現するときに対象画像データが有していたボケまでを含めて再現することができる。
従って、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像度化することができる。
また、ぼやけた画像全体が先鋭化され元の画像とは異なる画像となる問題に対して、生成器４３における加工画像データと教師画像データのペアにおいて、ぼやけた画像を先鋭化するパターンとぼやけた画像をぼやけたままにするパターンを用意する等の必要もなく、学習効率が落ちることが防ぐことができる。
種となる画像は、前景にある人物にピントがあたり、被写界深度によって背景の景色がぼやけた低解像度の画像である。
単純に低解像画像を拡大した場合、図１１（ｂ）のように画像全体がぼやけた状態となる。非特許文献１に記載したような従来技術では、図１１（ｃ）に示すように前景の人物も背景も全てが先鋭化され元の画像とは異なる画像となる。一方、本実施形態の画像処理装置によれば、図１１（ｄ）に示すように、元々の画像でボケさせている背景についてはボケさせたまま、前景の人物のみを先鋭化させることが出来ている。
すなわち、本実施形態の画像処理装置１では、図１１（ａ）の低解像画像の画像全体の特徴をそのまま捉えた超解像が実現出来ている。
上記したように、非特許文献１のＲｅａｌ－ＥＳＲＧＡＮ等の超解像モデルにおいて、種となる画像データに基づいて高解像画像を生成（再現）するときに一定以下のボケが全て先鋭化されることで本来とは異なる画像が生成されるという問題があった。
本実施形態の画像処理装置１では、種となる画像データに基づいて高解像画像を生成（再現）するとき、種となる対象画像データが備えるボケの程度の情報を生成器４３に対して明示的に与えることで、生成器４３が高解像画像を再現するときに対象画像データが有していたボケまでを含めて再現することができる。
従って、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像度化することができる。
また、ぼやけた画像全体が先鋭化され元の画像とは異なる画像となる問題に対して、生成器４３における加工画像データと教師画像データのペアにおいて、ぼやけた画像を先鋭化するパターンとぼやけた画像をぼやけたままにするパターンを用意する等の必要もなく、学習効率が落ちることが防ぐことができる。
【0034】
＜変形例１＞
図１２は、本実施形態の判別器の第１の変形例を示す図である。
本実施形態の画像処理装置は、図１２（ａ）に示すように、劣化加工の種別毎に判別器を備えてもよい。
例えば画像処理装置１は、縮小率判別器４２Ａ、ガウスぼかし判別器４２Ｂ、ノイズ付加判別器４２Ｃ、ＪＰＥＧ圧縮判別器４２Ｄを備えてもよい。この場合、判別器４２Ａ～４２Ｄは、加工画像データにおける劣化加工の種別に応じたボケの程度を示すタグ値（縮小率タグ値、ガウスぼかしタグ値、ノイズ付加タグ値、ＪＰＥＧ圧縮タグ値）について学習を行う。
判別器４２Ａ～４２Ｄは、推論時には、対象画像データにおける要因毎のボケの度合いを示すタグ値を出力し、各判別器４２Ａ～４２Ｄから出力されるタグ値が生成器４３に入力されるように構成してもよい。
なお、加工画像データに縮小のみが行われている場合は、縮小率判別器４２Ａから縮小率に応じたタグ値（縮小率タグ値）が出力され、その他の判別器４２Ｂ～４２Ｄからは劣化加工が行われていない場合のタグ値（図５の例では２５５）が出力される。各判別器４２Ａ～４２Ｄから出力されたタグ値は、生成器４３に入力され、上記の説明の場合と同様の、学習と推論に用いられる。
図１２は、本実施形態の判別器の第１の変形例を示す図である。
本実施形態の画像処理装置は、図１２（ａ）に示すように、劣化加工の種別毎に判別器を備えてもよい。
例えば画像処理装置１は、縮小率判別器４２Ａ、ガウスぼかし判別器４２Ｂ、ノイズ付加判別器４２Ｃ、ＪＰＥＧ圧縮判別器４２Ｄを備えてもよい。この場合、判別器４２Ａ～４２Ｄは、加工画像データにおける劣化加工の種別に応じたボケの程度を示すタグ値（縮小率タグ値、ガウスぼかしタグ値、ノイズ付加タグ値、ＪＰＥＧ圧縮タグ値）について学習を行う。
判別器４２Ａ～４２Ｄは、推論時には、対象画像データにおける要因毎のボケの度合いを示すタグ値を出力し、各判別器４２Ａ～４２Ｄから出力されるタグ値が生成器４３に入力されるように構成してもよい。
なお、加工画像データに縮小のみが行われている場合は、縮小率判別器４２Ａから縮小率に応じたタグ値（縮小率タグ値）が出力され、その他の判別器４２Ｂ～４２Ｄからは劣化加工が行われていない場合のタグ値（図５の例では２５５）が出力される。各判別器４２Ａ～４２Ｄから出力されたタグ値は、生成器４３に入力され、上記の説明の場合と同様の、学習と推論に用いられる。
【0035】
判別器４２は更に細かく分割してもよい。全てのボケの程度の数値に対応した単一のモデルを設定してもよいが、例えば、１００％～８０％、８０％～６０％、・・等、数値（縮小率）の大小ごとにいくつかに分割し、複数のモデルを用意してもよい。その場合、図１２（ａ）における縮小率判別器４２Ａを、縮小率に応じた判別器として構成し、各判別器に画像データを入力することで、縮小率の判別の精度を高めることができる。
例えば、図１２（ｂ）に示すように、図１２（ａ）の縮小率判別器４２Ａを、第１縮小率判別器４２Ａ１、第２縮小率判別器４２Ａ２、第３縮小率判別器４２Ａ３、第４縮小率判別器４２Ａ４、第５縮小率判別器４２Ａ５に分割して構成する。
第１縮小率判別器４２Ａ１は、縮小率が１００％～８０％の加工画像データに基づいてタグ値を学習する。
第２縮小率判別器４２Ａ２は、縮小率が８０％～６０％の加工画像データに基づいてタグ値を学習する。
第３縮小率判別器４２Ａ３は、縮小率が６０％～４０％の加工画像データに基づいてタグ値を学習する。
第４縮小率判別器４２Ａ４は、縮小率が４０％～２０％の加工画像データに基づいてタグ値を学習する。
第５縮小率判別器４２Ａ５は、縮小率が２０％～０％の加工画像データに基づいてタグ値を学習する。
学習済みの第１～第５縮小率判別器４２Ａ１～４２Ａ５は、推論時には、超解像の対象画像データから縮小値のタグ値をより正確に出力することができる。
例えば、図１２（ｂ）に示すように、図１２（ａ）の縮小率判別器４２Ａを、第１縮小率判別器４２Ａ１、第２縮小率判別器４２Ａ２、第３縮小率判別器４２Ａ３、第４縮小率判別器４２Ａ４、第５縮小率判別器４２Ａ５に分割して構成する。
第１縮小率判別器４２Ａ１は、縮小率が１００％～８０％の加工画像データに基づいてタグ値を学習する。
第２縮小率判別器４２Ａ２は、縮小率が８０％～６０％の加工画像データに基づいてタグ値を学習する。
第３縮小率判別器４２Ａ３は、縮小率が６０％～４０％の加工画像データに基づいてタグ値を学習する。
第４縮小率判別器４２Ａ４は、縮小率が４０％～２０％の加工画像データに基づいてタグ値を学習する。
第５縮小率判別器４２Ａ５は、縮小率が２０％～０％の加工画像データに基づいてタグ値を学習する。
学習済みの第１～第５縮小率判別器４２Ａ１～４２Ａ５は、推論時には、超解像の対象画像データから縮小値のタグ値をより正確に出力することができる。
【0036】
＜変形例２＞
図１３は、本実施形態の判別器の第２の変形例を示す図である。
上記の実施例の説明では、判別器４２の学習を行う際に、加工画像データ全体を判別器４２に入力していた。画像生成処理の際の判別器４２の推論の場合も同じである。
この変形例では、画像処理装置１は、画像処理部１１が実行する切出部４６が加工画像データの特定箇所を切り出した部分を判別器４２に入力して学習や推論を行い、学習や推論にかかる計算負荷を軽減する。
例えばボケは、小さい画像を拡大したり、ＪＰＥＧ等の画像圧縮をかけたりする等、画像全体に対して掛かる劣化を原因として発生する。そして、画像の一部では劣化が大きいが他の部分では劣化が少ない、ということは基本的に生じず、一の画像の中では同じ劣化が発生していると想定される。
そして、一枚の画像で最も入り組んでいる部分（図１４に説明する前景の人物の髪の毛の部分等）が、元々ぼやけていない部分である可能性が高い。劣化加工の結果、その部分での劣化が画像全体に同じようにかかっていると考えられる。
切出部４６は、画像の最も入り組んでいる部分を切り出し、切り出された部分を学習済みの判別器４２に入力することにより、画像がどの程度ぼやけているかを検出することができる。それにより、画像全体を判別器４２に入力して学習や推論を行う必要がなく、計算負荷を小さくことができる。
生成器４３に関して、ＧＡＮを用いた場合にはボケの程度を示すタグ値を用いて生成器４３を学習しても、画像全体が先鋭化する傾向があるが、その対策ともなる。
画像処理装置１は、画像で最も画像が入り組んでいる部分を下記に説明する方法で特定して切り出し、切り出した部分を判別器４２での学習や推論に使用する。
図１３は、本実施形態の判別器の第２の変形例を示す図である。
上記の実施例の説明では、判別器４２の学習を行う際に、加工画像データ全体を判別器４２に入力していた。画像生成処理の際の判別器４２の推論の場合も同じである。
この変形例では、画像処理装置１は、画像処理部１１が実行する切出部４６が加工画像データの特定箇所を切り出した部分を判別器４２に入力して学習や推論を行い、学習や推論にかかる計算負荷を軽減する。
例えばボケは、小さい画像を拡大したり、ＪＰＥＧ等の画像圧縮をかけたりする等、画像全体に対して掛かる劣化を原因として発生する。そして、画像の一部では劣化が大きいが他の部分では劣化が少ない、ということは基本的に生じず、一の画像の中では同じ劣化が発生していると想定される。
そして、一枚の画像で最も入り組んでいる部分（図１４に説明する前景の人物の髪の毛の部分等）が、元々ぼやけていない部分である可能性が高い。劣化加工の結果、その部分での劣化が画像全体に同じようにかかっていると考えられる。
切出部４６は、画像の最も入り組んでいる部分を切り出し、切り出された部分を学習済みの判別器４２に入力することにより、画像がどの程度ぼやけているかを検出することができる。それにより、画像全体を判別器４２に入力して学習や推論を行う必要がなく、計算負荷を小さくことができる。
生成器４３に関して、ＧＡＮを用いた場合にはボケの程度を示すタグ値を用いて生成器４３を学習しても、画像全体が先鋭化する傾向があるが、その対策ともなる。
画像処理装置１は、画像で最も画像が入り組んでいる部分を下記に説明する方法で特定して切り出し、切り出した部分を判別器４２での学習や推論に使用する。
【0037】
図１４は、画像中の切り出し位置として、画像中の最も入り組んでいる部分を特定する方法を説明する図である。これには、既知の画像処理を用いることができる。
例えば、勾配フィルタやエッジ検出フィルタ等によって画像中の画素が入り組んでいる部分の大まかな当たりをつけ、その部分を判別器にかける方法が考えられる。
画像処理装置１は、図１４（ａ）に示すような加工画像（入力画像）をラプラシアンフィルタ処理にかけ、図１４（ｂ）に示すようなフィルタ処理後の画像を得る。
劣化加工の種類によって切り出しの位置の特定箇所が異なり、劣化加工が、縮小、ガウスぼかし、ＪＰＥＧ圧縮の場合は、画像処理装置１は、図１４（ｂ）のフィルタ処理後画像における白（エッジ部分）が多い部分（大きい値が検出される部分）に対応する位置で、図１４（ａ）の加工画像を切り出す。フィルタ処理後の画像において、白が多い部分は、画素の変化が大きい部分である。例えば、切り出しの位置は最も白が多い（画素の変化が最も大きい、ラプラシアンフィルタで得られる値が最も大きい）画素の周辺が望ましい。
フィルタ処理後に画像が最も入り組んでいる部分を特定する方法としては、図１４（ｃ）に示すように大きい値が検出される画素の付近だけを特定の大きさで特定することができる。あるいは、図１４（ｄ）に示すように、図１４（ｂ）の画像をブロックで分割し、一番大きい数値を含むブロックを画像が最も入り組んでいる部分として特定することができる。あるいは、ブロック中の値の合計が最も高い位置のブロックを特定箇所として特定してもよい。
例えば、勾配フィルタやエッジ検出フィルタ等によって画像中の画素が入り組んでいる部分の大まかな当たりをつけ、その部分を判別器にかける方法が考えられる。
画像処理装置１は、図１４（ａ）に示すような加工画像（入力画像）をラプラシアンフィルタ処理にかけ、図１４（ｂ）に示すようなフィルタ処理後の画像を得る。
劣化加工の種類によって切り出しの位置の特定箇所が異なり、劣化加工が、縮小、ガウスぼかし、ＪＰＥＧ圧縮の場合は、画像処理装置１は、図１４（ｂ）のフィルタ処理後画像における白（エッジ部分）が多い部分（大きい値が検出される部分）に対応する位置で、図１４（ａ）の加工画像を切り出す。フィルタ処理後の画像において、白が多い部分は、画素の変化が大きい部分である。例えば、切り出しの位置は最も白が多い（画素の変化が最も大きい、ラプラシアンフィルタで得られる値が最も大きい）画素の周辺が望ましい。
フィルタ処理後に画像が最も入り組んでいる部分を特定する方法としては、図１４（ｃ）に示すように大きい値が検出される画素の付近だけを特定の大きさで特定することができる。あるいは、図１４（ｄ）に示すように、図１４（ｂ）の画像をブロックで分割し、一番大きい数値を含むブロックを画像が最も入り組んでいる部分として特定することができる。あるいは、ブロック中の値の合計が最も高い位置のブロックを特定箇所として特定してもよい。
【0038】
なお劣化加工の種類がノイズ付加の場合は、加工画像データの画素の変化が最も小さい（ラプラシアンフィルタ処理で得られる値が最も小さい）部分の位置を特定する。あるいはブロック中の値の合計が最も低い位置のブロックを特定箇所として特定してもよい。例えばフィルムグレインのように全体に上から掛かるようなノイズの場合は、ボケの場合とは逆に、一番画像が入り組んでいない、平坦な部分におけるノイズ量を見れば、画像にかかったノイズ量を推定することができる。また、同じノイズでもＪＰＥＧ圧縮に掛かるノイズにおいては、元の画像の劣化であるため性質はボケの場合に近いと考えられるので、ボケと同じく変化が大きい分で判定するのがよいと考えられる。ＪＰＥＧの場合は圧縮品質を推定する。
なお、劣化加工としてノイズを利用する場合、ノイズを付加する方法は様々であり劣化加工パラメータもそれぞれ異なるため、一括りで説明することは難しい。
上述したｒｅａｌ－ＥＳＲＧＡＮの場合では、ノイズ分布の２つの関数と、その形状を決めるパラメータ（例えば標準偏差）を設定しており、また、ＲＧＢ全てにノイズを付加するのか、或いは個別にノイズを付加するのか等の条件がある。
なお、劣化加工としてノイズを利用する場合、ノイズを付加する方法は様々であり劣化加工パラメータもそれぞれ異なるため、一括りで説明することは難しい。
上述したｒｅａｌ－ＥＳＲＧＡＮの場合では、ノイズ分布の２つの関数と、その形状を決めるパラメータ（例えば標準偏差）を設定しており、また、ＲＧＢ全てにノイズを付加するのか、或いは個別にノイズを付加するのか等の条件がある。
【0039】
本実施形態は画像全体に掛かっている特徴を捉えるものであるため、ノイズの種類は画面全体に均一に発生するタイプが好ましい。画面全体に均一のノイズを付加する方法としては、ガウス分布や均等分布を用いることが考えられ、ノイズ付加量が最大値の場合にタグ値が０になるように、図４乃至図６のようなタグ値の対応を設定すればよい。
また複数のノイズを取り扱う場合、図１２（ｂ）の縮小率の場合と同様に、ノイズの種類毎に判別器を用意し、判別器及び生成器を学習するのが好ましい。
また複数のノイズを取り扱う場合、図１２（ｂ）の縮小率の場合と同様に、ノイズの種類毎に判別器を用意し、判別器及び生成器を学習するのが好ましい。
【0040】
図１５は、本実施形態における判別器の学習処理を説明するフローチャートである。
ステップＳ１０１において、画像処理装置１（学習処理実行部３１）は、加工部４５に、教師画像データに対して劣化加工パラメータに基づく劣化加工を行わせ、１以上の加工画像データを生成する。
ステップＳ１０２において、画像処理装置１（学習処理実行部３１）は、加工画像データを判別器４２に入力する。
ステップＳ１０３において、画像処理装置１（学習処理実行部３１）は、判別部４２にタグ値を出力させる。
ステップＳ１０４において、画像処理装置１（学習処理実行部３１）は、出力されたタグ値が劣化加工パラメータに対応するタグ値とすべて一致するか否かを判定する。
一致しないと判定した場合（ステップＳ１０４でＮｏ）、画像処理装置１（学習処理実行部３１）は、ステップＳ１０６において、判別部４２のＮＮパラメータを変更し、ステップＳ１０３でタグ値を出力させ、ステップＳ１０４の判定を行う。
一致すると判定した場合（ステップＳ１０４でＹｅｓ）、画像処理装置１（学習処理実行部３１）は、ステップＳ１０５において、判別器４２の学習処理を終了する。
ステップＳ１０１において、画像処理装置１（学習処理実行部３１）は、加工部４５に、教師画像データに対して劣化加工パラメータに基づく劣化加工を行わせ、１以上の加工画像データを生成する。
ステップＳ１０２において、画像処理装置１（学習処理実行部３１）は、加工画像データを判別器４２に入力する。
ステップＳ１０３において、画像処理装置１（学習処理実行部３１）は、判別部４２にタグ値を出力させる。
ステップＳ１０４において、画像処理装置１（学習処理実行部３１）は、出力されたタグ値が劣化加工パラメータに対応するタグ値とすべて一致するか否かを判定する。
一致しないと判定した場合（ステップＳ１０４でＮｏ）、画像処理装置１（学習処理実行部３１）は、ステップＳ１０６において、判別部４２のＮＮパラメータを変更し、ステップＳ１０３でタグ値を出力させ、ステップＳ１０４の判定を行う。
一致すると判定した場合（ステップＳ１０４でＹｅｓ）、画像処理装置１（学習処理実行部３１）は、ステップＳ１０５において、判別器４２の学習処理を終了する。
【0041】
図１６は、本実施形態における生成器の学習処理を説明するフローチャートである。
ステップＳ２０１において、画像処理装置１（学習処理実行部３１）は、加工部４５に、教師画像データに対して劣化加工パラメータに基づく劣化加工を行わせ、１以上の加工画像データを生成する。
ステップＳ２０２において、画像処理装置１（学習処理実行部３１）は、生成した加工画像データと、劣化加工パラメータに対応するタグ値と、を生成器４３に入力する。
ステップＳ２０３において、画像処理装置１（学習処理実行部３１）は、加工画像データとタグ値とに基づいて生成器４３に画像を生成させる。
ステップＳ２０４において、画像処理装置１（学習処理実行部３１）は、ステップＳ２０３で生成した画像が教師画像データとすべて一致するか否かを判定する。これは、上記した分類器によって真判定されるかどうかによって判定してもよい。
一致しないと判定した場合（ステップＳ２０４でＮｏ）、画像処理装置１（学習処理実行部３１）は、ステップＳ２０６において、生成器４３のＮＮパラメータを変更し、ステップＳ２０３でタグ値を出力させ、ステップＳ２０４の判定を行う。
一致すると判定した場合（ステップＳ２０４でＹｅｓ）、画像処理装置１（学習処理実行部３１）は、ステップＳ２０５において、生成器４３の学習処理を終了する。
ステップＳ２０１において、画像処理装置１（学習処理実行部３１）は、加工部４５に、教師画像データに対して劣化加工パラメータに基づく劣化加工を行わせ、１以上の加工画像データを生成する。
ステップＳ２０２において、画像処理装置１（学習処理実行部３１）は、生成した加工画像データと、劣化加工パラメータに対応するタグ値と、を生成器４３に入力する。
ステップＳ２０３において、画像処理装置１（学習処理実行部３１）は、加工画像データとタグ値とに基づいて生成器４３に画像を生成させる。
ステップＳ２０４において、画像処理装置１（学習処理実行部３１）は、ステップＳ２０３で生成した画像が教師画像データとすべて一致するか否かを判定する。これは、上記した分類器によって真判定されるかどうかによって判定してもよい。
一致しないと判定した場合（ステップＳ２０４でＮｏ）、画像処理装置１（学習処理実行部３１）は、ステップＳ２０６において、生成器４３のＮＮパラメータを変更し、ステップＳ２０３でタグ値を出力させ、ステップＳ２０４の判定を行う。
一致すると判定した場合（ステップＳ２０４でＹｅｓ）、画像処理装置１（学習処理実行部３１）は、ステップＳ２０５において、生成器４３の学習処理を終了する。
【0042】
図１７は、本実施形態における画像生成処理を説明するフローチャートである。
ステップＳ３０１において、画像処理装置１（画像処理実行部３２）は、入力部４１に対象画像データを記憶部１２等から取得させる。
ステップＳ３０２において、画像処理装置１（画像処理実行部３２）は、取得した対象画像データを判別器４２に入力させる。
ステップＳ３０３において、画像処理装置１（画像処理実行部３２）は、対象画像データに基づいて判別部４２にタグ値を出力させる。
ステップＳ３０４において、画像処理装置１（画像処理実行部３２）は、出力したタグ値と種となる対象画像データを生成器４３に入力する。
ステップＳ３０６において、画像処理装置１（画像処理実行部３２）は、タグ値と対象画像データに基づいて生成部４３に出力画像データを生成させる。
ステップＳ３０７において、画像処理装置１（画像処理実行部３２）は、出力部４４に生成部４３が生成した出力画像データを記憶部１２等に対して出力させる。
ステップＳ３０１において、画像処理装置１（画像処理実行部３２）は、入力部４１に対象画像データを記憶部１２等から取得させる。
ステップＳ３０２において、画像処理装置１（画像処理実行部３２）は、取得した対象画像データを判別器４２に入力させる。
ステップＳ３０３において、画像処理装置１（画像処理実行部３２）は、対象画像データに基づいて判別部４２にタグ値を出力させる。
ステップＳ３０４において、画像処理装置１（画像処理実行部３２）は、出力したタグ値と種となる対象画像データを生成器４３に入力する。
ステップＳ３０６において、画像処理装置１（画像処理実行部３２）は、タグ値と対象画像データに基づいて生成部４３に出力画像データを生成させる。
ステップＳ３０７において、画像処理装置１（画像処理実行部３２）は、出力部４４に生成部４３が生成した出力画像データを記憶部１２等に対して出力させる。
【0043】
＜生成器の変形例＞
上記の説明では、画像全体又は画像の最も入り組んでいる（ぼやけていない）部を判別器４２に入力してボケの度合いを表すタグ値を出力させ、そのタグ値を生成器４３に入力することで、対象画像データに対する超解像処理を適切に行っていた。
対象画像データとともにタグ値を生成器４３に入力することで、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像化することができる。
なお近年では、機械学習を用いた分野において、関係が深いデータを特定して新たなデータを生成する「Ａｔｔｅｎｔｉｏｎ」機構が様々な用途に用いられている。変形例の生成器４３Ａは、超解像処理にあたって、生成器４３で説明した構成に加えてこの「Ａｔｔｅｎｔｉｏｎ」機構を用いることができる。
上記の説明では、画像全体又は画像の最も入り組んでいる（ぼやけていない）部を判別器４２に入力してボケの度合いを表すタグ値を出力させ、そのタグ値を生成器４３に入力することで、対象画像データに対する超解像処理を適切に行っていた。
対象画像データとともにタグ値を生成器４３に入力することで、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像化することができる。
なお近年では、機械学習を用いた分野において、関係が深いデータを特定して新たなデータを生成する「Ａｔｔｅｎｔｉｏｎ」機構が様々な用途に用いられている。変形例の生成器４３Ａは、超解像処理にあたって、生成器４３で説明した構成に加えてこの「Ａｔｔｅｎｔｉｏｎ」機構を用いることができる。
【0044】
図１８は、本実施形態における変形例に係る生成器の構成を説明する図である。
図１８に示す生成器４３Ａは、ニューラルネットワーク（以下、単にネットワークと記載する）５０（５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ）と、ネットワーク５０の間に備えたＡｔｔｅｎｔｉｏｎ機構５１（５１Ａ、５１Ｂ、５１Ｃ）と、を備える。Ａｔｔｅｎｔｉｏｎ機構５１もニューラルネットワークとして構成され得るが、ここではネットワーク５０と区別している。
生成器４３Ａは、対象画像データとタグ値とに基づいて、ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１によって超解像画像が生成できるように、ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１のＮＮパラメータを学習する。
生成器４３Ａの学習手順は、ニューラルネットワークの構成以外は図１６で説明した手順と同様とすることができる。生成器４３Ａの画像生成手順も、ニューラルネットワークの構成以外は図１７で説明した手順と同様とすることができる。
図１８に示す生成器４３Ａは、ニューラルネットワーク（以下、単にネットワークと記載する）５０（５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ）と、ネットワーク５０の間に備えたＡｔｔｅｎｔｉｏｎ機構５１（５１Ａ、５１Ｂ、５１Ｃ）と、を備える。Ａｔｔｅｎｔｉｏｎ機構５１もニューラルネットワークとして構成され得るが、ここではネットワーク５０と区別している。
生成器４３Ａは、対象画像データとタグ値とに基づいて、ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１によって超解像画像が生成できるように、ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１のＮＮパラメータを学習する。
生成器４３Ａの学習手順は、ニューラルネットワークの構成以外は図１６で説明した手順と同様とすることができる。生成器４３Ａの画像生成手順も、ニューラルネットワークの構成以外は図１７で説明した手順と同様とすることができる。
【0045】
Ａｔｔｅｎｔｉｏｎ機構５１の詳細な構成については後に詳述するが、画像処理に用いられているChannel AttentionやSpatial Attention、Dot-Product Attention等を利用することができる。これらのＡｔｔｅｎｔｉｏｎを直列や並列に接続し、組み合わせて利用してもよい。
ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１の数は図１８の例に限定されないが、生成器４３Ａは、２以上のネットワーク５０と、ネットワーク５０の間に備えるＡｔｔｅｎｔｉｏｎ機構５１と、を備える。
ネットワーク５０Ａが、対象画像データを入力する入力段となり、ネットワーク５０Ｄが、超解像処理済の出力画像データを出力する出力段となる。
ネットワーク５０、Ａｔｔｅｎｔｉｏｎ機構５１は、ＲｅｓＮｅｔ（Residual Neural Networks）、ＲＮＮ（Recurrent Neural Network）、上述のＣＮＮ等であり得る。
対象画像データを入力されたネットワーク５０Ａは、畳み込み（Ｃｏｎｖ）、線形処理（ＲｅＬＵ）、プーリング等の処理を行い、処理済のデータを次段のＡｔｔｅｎｔｉｏｎ機構５１Ａに出力する。ネットワーク５０Ｂ、５０Ｃ、５０Ｄは、ネットワーク５０Ａと同様の構成を有し、Ａｔｔｅｎｔｉｏｎ機構５１からの入力画像データに対して同様の処理を行う。
ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１の数は図１８の例に限定されないが、生成器４３Ａは、２以上のネットワーク５０と、ネットワーク５０の間に備えるＡｔｔｅｎｔｉｏｎ機構５１と、を備える。
ネットワーク５０Ａが、対象画像データを入力する入力段となり、ネットワーク５０Ｄが、超解像処理済の出力画像データを出力する出力段となる。
ネットワーク５０、Ａｔｔｅｎｔｉｏｎ機構５１は、ＲｅｓＮｅｔ（Residual Neural Networks）、ＲＮＮ（Recurrent Neural Network）、上述のＣＮＮ等であり得る。
対象画像データを入力されたネットワーク５０Ａは、畳み込み（Ｃｏｎｖ）、線形処理（ＲｅＬＵ）、プーリング等の処理を行い、処理済のデータを次段のＡｔｔｅｎｔｉｏｎ機構５１Ａに出力する。ネットワーク５０Ｂ、５０Ｃ、５０Ｄは、ネットワーク５０Ａと同様の構成を有し、Ａｔｔｅｎｔｉｏｎ機構５１からの入力画像データに対して同様の処理を行う。
【0046】
Ａｔｔｅｎｔｉｏｎ機構５１Ａには、ネットワーク５０Ａからの出力データと、判別器４２が出力したタグ値を入力される。
Ａｔｔｅｎｔｉｏｎ機構５１Ａは、ネットワーク５０から入力された画像データに対する畳み込み、線形処理、プーリング、さらにシグモイド（Ｓｉｇｍｏｉｄ）関数処理等を行い、各データにタグ値を反映させた画像データを次段のネットワーク５０Ｂに出力する。Ａｔｔｅｎｔｉｏｎ機構５１Ｂ、５１Ｃ、５１Ｄは、Ａｔｔｅｎｔｉｏｎ機構５１Ａと同様の構成を有し、ネットワーク５０から入力された画像データに対して同様の処理を行う。
Ａｔｔｅｎｔｉｏｎ機構５１Ａは、ネットワーク５０から入力された画像データに対する畳み込み、線形処理、プーリング、さらにシグモイド（Ｓｉｇｍｏｉｄ）関数処理等を行い、各データにタグ値を反映させた画像データを次段のネットワーク５０Ｂに出力する。Ａｔｔｅｎｔｉｏｎ機構５１Ｂ、５１Ｃ、５１Ｄは、Ａｔｔｅｎｔｉｏｎ機構５１Ａと同様の構成を有し、ネットワーク５０から入力された画像データに対して同様の処理を行う。
【0047】
ネットワーク５０とＡｔｔｅｎｔｉｏｎ機構５１が相互の出力データに対して処理を行うことを繰り返し行い、出力段のネットワーク５０（ここではネットワーク５０Ｄ）を出力画像データとして最終的に出力する。
Ａｔｔｅｎｔｉｏｎ機構５１を用いることで、関係が深い（意味がある）データや物体に対して特にタグ値を反映させることができるため、より一層、元画像のボケの度合いを反映したデータ生成を行うことができる。すなわち、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像化することができる。
Ａｔｔｅｎｔｉｏｎ機構５１に入力するタグ値は、図３や図１３で説明した学習済みの判別器４２が対象画像データに基づいて出力したタグ値であってもよい。
また変形例の生成器４３Ａでは、出力段のネットワーク５０Ｄを除き、各ネットワーク５０からの出力データに対して後段のＡｔｔｅｎｔｉｏｎ機構５１がタグ値を反映させる処理を行う。従って、タグ値が入力画像データとともに生成器４３に一度入力される図９（ｂ）の場合と比較してより一層、効果的に超解像処理を行うことが出来る。
Ａｔｔｅｎｔｉｏｎ機構５１を用いることで、関係が深い（意味がある）データや物体に対して特にタグ値を反映させることができるため、より一層、元画像のボケの度合いを反映したデータ生成を行うことができる。すなわち、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像化することができる。
Ａｔｔｅｎｔｉｏｎ機構５１に入力するタグ値は、図３や図１３で説明した学習済みの判別器４２が対象画像データに基づいて出力したタグ値であってもよい。
また変形例の生成器４３Ａでは、出力段のネットワーク５０Ｄを除き、各ネットワーク５０からの出力データに対して後段のＡｔｔｅｎｔｉｏｎ機構５１がタグ値を反映させる処理を行う。従って、タグ値が入力画像データとともに生成器４３に一度入力される図９（ｂ）の場合と比較してより一層、効果的に超解像処理を行うことが出来る。
【0048】
以下、図１９乃至図２２を参照して、本実施形態に適用可能なＡｔｔｅｎｔｉｏｎ機構を説明する。
以下の説明において、「Ｃ」は、Ａｔｔｅｎｔｉｏｎ機構で扱われるデータのチャンネル数、「Ｗ」は、Ａｔｔｅｎｔｉｏｎ機構で扱われる画像データの幅（画素数）、「Ｈ」は同画像データの画像の高さ（画素数）を表す。
何れの場合も、タグ値にＡｔｔｅｎｔｉｏｎを適用したデータを、ネットワーク５０から入力されたＣ×Ｗ×Ｈに乗算することで、タグ値を反映した新たなＣ×Ｗ×Ｈの画像データを出力することができる。これを、ネットワーク５０の処理ごとに行うことで、生成器４３Ａの処理の結果として、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像化することができる。
以下の説明において、「Ｃ」は、Ａｔｔｅｎｔｉｏｎ機構で扱われるデータのチャンネル数、「Ｗ」は、Ａｔｔｅｎｔｉｏｎ機構で扱われる画像データの幅（画素数）、「Ｈ」は同画像データの画像の高さ（画素数）を表す。
何れの場合も、タグ値にＡｔｔｅｎｔｉｏｎを適用したデータを、ネットワーク５０から入力されたＣ×Ｗ×Ｈに乗算することで、タグ値を反映した新たなＣ×Ｗ×Ｈの画像データを出力することができる。これを、ネットワーク５０の処理ごとに行うことで、生成器４３Ａの処理の結果として、ボケが施されていた背景等が先鋭化することなく、ぼやけていなかった部分がそのまま高解像度化されて、本来の画像のまま高解像化することができる。
【0049】
図１９は、Channel Attentionの説明図である。
Channel Attentionを利用するＡｔｔｅｎｔｉｏｎ機構では、ネットワーク５０から入力された画像データ（特徴マップ）における意味のあるデータに重み付けがされ、重み付けをされたデータにタグ値を適用することでボケの度合いをより反映した出力データが得られる。Channel Attentionを用いるＡｔｔｅｎｔｉｏｎ機構５１は、生成器４３Ａの学習及び推論の処理において、以下の処理を実行する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ａ）において、１×１×ｎ個のタグ値を入力する。ｎは、図７で説明した劣化加工の種類に応じたタグ値のチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｂ）においてタグ値をＤｅｎｓｅ（全結合層または線形回帰）で処理し、（Ｃ）においてシグモイド関数で処理し、（Ｄ）に示す１×１×Ｃのデータを得る。チャンネル数Ｃは、後に（Ｆ）で乗算する画像データのチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｅ）において、前段のネットワーク５０から画像データを入力し、畳み込み、線形処理、プーリングを行ってＣ×Ｗ×Ｈの画像データを生成する。Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｆ）において、（Ｄ）で得たデータと（Ｅ）で得た画像データとをチャンネル毎に乗算し、（Ｇ）において新たなＣ×Ｗ×Ｈの画像データを得る。
前段のネットワーク５０からの画像データに対して畳み込み等を行わない場合、Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｆ）において、ネットワーク５０から入力された画像データ（Ｃ×Ｗ×Ｈ）と（Ｄ）で得たデータとをチャンネル毎に乗算し、（Ｇ）において新たなＣ×Ｗ×Ｈの画像データを得る。（Ｇ）で得た画像データは、ネットワーク５０から入力された画像データの重み付けがされた領域にタグ値が適用された画像データである。
Ａｔｔｅｎｔｉｏｎ機構５１は、新たな画像データを次段のネットワーク５０に出力する。
Channel Attentionを利用するＡｔｔｅｎｔｉｏｎ機構では、ネットワーク５０から入力された画像データ（特徴マップ）における意味のあるデータに重み付けがされ、重み付けをされたデータにタグ値を適用することでボケの度合いをより反映した出力データが得られる。Channel Attentionを用いるＡｔｔｅｎｔｉｏｎ機構５１は、生成器４３Ａの学習及び推論の処理において、以下の処理を実行する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ａ）において、１×１×ｎ個のタグ値を入力する。ｎは、図７で説明した劣化加工の種類に応じたタグ値のチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｂ）においてタグ値をＤｅｎｓｅ（全結合層または線形回帰）で処理し、（Ｃ）においてシグモイド関数で処理し、（Ｄ）に示す１×１×Ｃのデータを得る。チャンネル数Ｃは、後に（Ｆ）で乗算する画像データのチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｅ）において、前段のネットワーク５０から画像データを入力し、畳み込み、線形処理、プーリングを行ってＣ×Ｗ×Ｈの画像データを生成する。Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｆ）において、（Ｄ）で得たデータと（Ｅ）で得た画像データとをチャンネル毎に乗算し、（Ｇ）において新たなＣ×Ｗ×Ｈの画像データを得る。
前段のネットワーク５０からの画像データに対して畳み込み等を行わない場合、Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｆ）において、ネットワーク５０から入力された画像データ（Ｃ×Ｗ×Ｈ）と（Ｄ）で得たデータとをチャンネル毎に乗算し、（Ｇ）において新たなＣ×Ｗ×Ｈの画像データを得る。（Ｇ）で得た画像データは、ネットワーク５０から入力された画像データの重み付けがされた領域にタグ値が適用された画像データである。
Ａｔｔｅｎｔｉｏｎ機構５１は、新たな画像データを次段のネットワーク５０に出力する。
【0050】
図２０は、Spatial Attentionの説明図である。
Spatial Attentionを利用するＡｔｔｅｎｔｉｏｎ機構では、画像内のどこに物体があるかに焦点が当てられ、それらのデータにタグ値を適用することでボケの度合いをより反映した出力データが得られる。
Spatial Attentionを用いるＡｔｔｅｎｔｉｏｎ機構５１は、生成器４３Ａの学習及び推論において、以下の処理を実行する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ａ）において、１×１×ｎ個のタグ値を入力する。ｎは、図７で説明した劣化加工の種類に応じたタグ値のチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｂ）において、１×１×ｎ個のタグ値を拡張してｎ×Ｗ×Ｈのデータを得る。ＷとＨは、後に（Ｃ）で結合する元画像データの幅と高さであり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｃ）において、（Ｂ）で得たタグ値の拡張データと、対象画像データ（元画像）のＲＧＢ値のデータ（３×Ｗ×Ｈ）と、を結合機能で結合し、（ｎ＋３）×Ｗ×Ｈのデータを得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（ｎ＋３）×Ｗ×Ｈのデータに対して、（Ｄ）において畳み込み処理を行い、（Ｅ）においてシグモイド関数処理を行い、（Ｆ）に示す１×Ｗ×Ｈのデータを得る。ＷとＨは、後に（Ｈ）で乗算する画像データの幅と高さであり得る。（Ｆ）で得た１×Ｗ×Ｈのデータは、元画像（対象画像データ）にあった物体の位置におけるタグ値を示す１チャンネルのデータである。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｇ）において、前段のネットワーク５０から画像データを入力し、畳み込み、線形処理、プーリングを行ってＣ×Ｗ×Ｈの画像データを生成する。Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｈ）において、（Ｆ）で得たデータと（Ｇ）で得た画像データとをチャンネル毎に乗算し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。
前段のネットワーク５０からの画像データに対して畳み込み等を行わない場合、Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｈ）において、ネットワーク５０から入力された画像データ（Ｃ×Ｗ×Ｈ）と（Ｆ）で得たデータとをチャンネル毎に乗算し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。（Ｉ）で得た画像データは、ネットワーク５０から入力された画像データにおける、物体がある領域にタグ値が適用された画像データである。
Ａｔｔｅｎｔｉｏｎ機構５１は、新たな画像データを次段のネットワーク５０に出力する。
Spatial Attentionを利用するＡｔｔｅｎｔｉｏｎ機構では、画像内のどこに物体があるかに焦点が当てられ、それらのデータにタグ値を適用することでボケの度合いをより反映した出力データが得られる。
Spatial Attentionを用いるＡｔｔｅｎｔｉｏｎ機構５１は、生成器４３Ａの学習及び推論において、以下の処理を実行する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ａ）において、１×１×ｎ個のタグ値を入力する。ｎは、図７で説明した劣化加工の種類に応じたタグ値のチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｂ）において、１×１×ｎ個のタグ値を拡張してｎ×Ｗ×Ｈのデータを得る。ＷとＨは、後に（Ｃ）で結合する元画像データの幅と高さであり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｃ）において、（Ｂ）で得たタグ値の拡張データと、対象画像データ（元画像）のＲＧＢ値のデータ（３×Ｗ×Ｈ）と、を結合機能で結合し、（ｎ＋３）×Ｗ×Ｈのデータを得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（ｎ＋３）×Ｗ×Ｈのデータに対して、（Ｄ）において畳み込み処理を行い、（Ｅ）においてシグモイド関数処理を行い、（Ｆ）に示す１×Ｗ×Ｈのデータを得る。ＷとＨは、後に（Ｈ）で乗算する画像データの幅と高さであり得る。（Ｆ）で得た１×Ｗ×Ｈのデータは、元画像（対象画像データ）にあった物体の位置におけるタグ値を示す１チャンネルのデータである。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｇ）において、前段のネットワーク５０から画像データを入力し、畳み込み、線形処理、プーリングを行ってＣ×Ｗ×Ｈの画像データを生成する。Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｈ）において、（Ｆ）で得たデータと（Ｇ）で得た画像データとをチャンネル毎に乗算し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。
前段のネットワーク５０からの画像データに対して畳み込み等を行わない場合、Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｈ）において、ネットワーク５０から入力された画像データ（Ｃ×Ｗ×Ｈ）と（Ｆ）で得たデータとをチャンネル毎に乗算し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。（Ｉ）で得た画像データは、ネットワーク５０から入力された画像データにおける、物体がある領域にタグ値が適用された画像データである。
Ａｔｔｅｎｔｉｏｎ機構５１は、新たな画像データを次段のネットワーク５０に出力する。
【0051】
図２１は、Scaled Dot-Product Attentionの説明図である。
Scaled Dot-Product Attentionを利用するＡｔｔｅｎｔｉｏｎ機構５１は、生成器４３Ａの学習及び推論において、以下の処理を実行する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ａ）において、１×１×ｎ個のタグ値を入力する。ｎは、図７で説明した劣化加工の種類に応じたタグ値のチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｂ）において、１×１×ｎ個のタグ値を拡張してｎ×Ｗ×Ｈのデータを得る。ＷとＨは、後に（Ｃ）で結合する画像データの幅と高さであり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｃ）において、（Ｂ）のｎ×Ｗ×Ｈのデータと、対象画像データ（元画像）のＲＧＢ値のデータ（３×Ｗ×Ｈ）と、を結合機能で結合して（ｎ＋３）×Ｗ×Ｈのデータを得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（ｎ＋３）×Ｗ×Ｈのデータに対して、（Ｄ）において畳み込み処理を行い、（Ｅ）においてソフトマックス処理を行い、（Ｆ）に示すＣ×Ｗ×Ｈのデータを得る。このＣとＷとＨは、後に（Ｈ）で用いるチャンネル数と画像データの幅と高さであり得る。（Ｆ）で得たＣ×Ｗ×Ｈのデータは、元画像（対象画像データ）にあった物体の位置におけるタグ値を示す上記Ｃチャンネルからなるデータである。
Scaled Dot-Product Attentionを利用するＡｔｔｅｎｔｉｏｎ機構５１は、生成器４３Ａの学習及び推論において、以下の処理を実行する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ａ）において、１×１×ｎ個のタグ値を入力する。ｎは、図７で説明した劣化加工の種類に応じたタグ値のチャンネル数であり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｂ）において、１×１×ｎ個のタグ値を拡張してｎ×Ｗ×Ｈのデータを得る。ＷとＨは、後に（Ｃ）で結合する画像データの幅と高さであり得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｃ）において、（Ｂ）のｎ×Ｗ×Ｈのデータと、対象画像データ（元画像）のＲＧＢ値のデータ（３×Ｗ×Ｈ）と、を結合機能で結合して（ｎ＋３）×Ｗ×Ｈのデータを得る。
Ａｔｔｅｎｔｉｏｎ機構５１は、（ｎ＋３）×Ｗ×Ｈのデータに対して、（Ｄ）において畳み込み処理を行い、（Ｅ）においてソフトマックス処理を行い、（Ｆ）に示すＣ×Ｗ×Ｈのデータを得る。このＣとＷとＨは、後に（Ｈ）で用いるチャンネル数と画像データの幅と高さであり得る。（Ｆ）で得たＣ×Ｗ×Ｈのデータは、元画像（対象画像データ）にあった物体の位置におけるタグ値を示す上記Ｃチャンネルからなるデータである。
【0052】
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｇ）において、前段のネットワーク５０から画像データを入力し、畳み込み、線形処理、プーリングを行ってＣ×Ｗ×Ｈの画像データを生成する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｈ）において、（Ｇ）で得た画像データからＱｕｅｒｙ、Ｋｅｙ、Ｖａｌｕｅを生成し、（Ｆ）で得たデータをＱｕｅｒｙに入力してタグ値を考慮したＱｕｅｒｙを生成し、ＱｕｅｒｙとＫｅｙの乗算結果にさらにＶａｌｕｅを乗算し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。
Ａｔｔｅｎｔｉｏｎ機構において、Ｑｕｅｒｙは、入力データから検索すべきデータを表す値である。Ｋｅｙは、Ｑｕｅｒｙと検索すべきデータとの近さを計るために使用される値である。Ｖａｌｕｅは、Ｋｅｙに基づく検索結果のデータである。
（Ｈ）の処理を行うことで、元画像（対象画像データ）にあった物体の位置と、ネットワーク５０から入力された画像データにおける重み付けを考慮して、ネットワーク５０からの画像データにタグ値を適用し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得ることが出来る。
ネットワーク５０からの画像データに対して畳み込み等を行わない場合は、Ａｔｔｅｎｔｉｏｎ機構５１は、ネットワーク５０から入力された画像データと（Ｆ）で得たデータを用いた（Ｈ）の処理を行い、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。
（Ｉ）で得た画像データは、ネットワーク５０から入力された画像データにおける、重み付けがされ（意味があり）、物体がある領域にタグ値が適用された画像データである。
Ａｔｔｅｎｔｉｏｎ機構５１は、新たな画像データを次段のネットワーク５０に出力する。
Ａｔｔｅｎｔｉｏｎ機構５１は、（Ｈ）において、（Ｇ）で得た画像データからＱｕｅｒｙ、Ｋｅｙ、Ｖａｌｕｅを生成し、（Ｆ）で得たデータをＱｕｅｒｙに入力してタグ値を考慮したＱｕｅｒｙを生成し、ＱｕｅｒｙとＫｅｙの乗算結果にさらにＶａｌｕｅを乗算し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。
Ａｔｔｅｎｔｉｏｎ機構において、Ｑｕｅｒｙは、入力データから検索すべきデータを表す値である。Ｋｅｙは、Ｑｕｅｒｙと検索すべきデータとの近さを計るために使用される値である。Ｖａｌｕｅは、Ｋｅｙに基づく検索結果のデータである。
（Ｈ）の処理を行うことで、元画像（対象画像データ）にあった物体の位置と、ネットワーク５０から入力された画像データにおける重み付けを考慮して、ネットワーク５０からの画像データにタグ値を適用し、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得ることが出来る。
ネットワーク５０からの画像データに対して畳み込み等を行わない場合は、Ａｔｔｅｎｔｉｏｎ機構５１は、ネットワーク５０から入力された画像データと（Ｆ）で得たデータを用いた（Ｈ）の処理を行い、（Ｉ）において新たなＣ×Ｗ×Ｈの画像データを得る。
（Ｉ）で得た画像データは、ネットワーク５０から入力された画像データにおける、重み付けがされ（意味があり）、物体がある領域にタグ値が適用された画像データである。
Ａｔｔｅｎｔｉｏｎ機構５１は、新たな画像データを次段のネットワーク５０に出力する。
【0053】
図２２は、コンピュータ装置の一実施例を示すブロック図である。
図２２を参照して、コンピュータ装置１００の構成について説明する。
コンピュータ装置１００は、例えば、各種情報を処理する画像処理装置である。そして、コンピュータ装置１００は、制御回路１０１と、記憶装置１０２と、読書装置１０３と、記録媒体１０４と、通信インターフェイス１０５と、入出力インターフェイス１０６と、入力装置１０７と、表示装置１０９とを含む。
通信インターフェイス１０５は、ネットワーク２００と接続される。そして、各構成要素は、バス１１０により接続される。画像処理装置１は、コンピュータ装置１００に記載の構成要素の一部又は全てを適宜選択して構成することができる。
図２２を参照して、コンピュータ装置１００の構成について説明する。
コンピュータ装置１００は、例えば、各種情報を処理する画像処理装置である。そして、コンピュータ装置１００は、制御回路１０１と、記憶装置１０２と、読書装置１０３と、記録媒体１０４と、通信インターフェイス１０５と、入出力インターフェイス１０６と、入力装置１０７と、表示装置１０９とを含む。
通信インターフェイス１０５は、ネットワーク２００と接続される。そして、各構成要素は、バス１１０により接続される。画像処理装置１は、コンピュータ装置１００に記載の構成要素の一部又は全てを適宜選択して構成することができる。
【0054】
制御回路１０１は、コンピュータ装置１００全体の制御をする。
制御回路１０１は、例えば、Central Processing Unit（ＣＰＵ）、Field Programmable Gate Array（ＦＰＧＡ）、Application Specific Integrated Circuit（ＡＳＩＣ）及びProgrammable Logic Device（ＰＬＤ）等のプロセッサである。
制御回路１０１は、例えば、図１における制御部１０として機能する。
画像制御回路１０８は、コンピュータ装置１００における画像処理の制御を行う。
画像制御回路１０８は、Graphic Processing Unit（ＧＰＵ）等である。画像制御回路１０８は、図１における画像処理部１１として機能する。
制御回路１０１は、例えば、Central Processing Unit（ＣＰＵ）、Field Programmable Gate Array（ＦＰＧＡ）、Application Specific Integrated Circuit（ＡＳＩＣ）及びProgrammable Logic Device（ＰＬＤ）等のプロセッサである。
制御回路１０１は、例えば、図１における制御部１０として機能する。
画像制御回路１０８は、コンピュータ装置１００における画像処理の制御を行う。
画像制御回路１０８は、Graphic Processing Unit（ＧＰＵ）等である。画像制御回路１０８は、図１における画像処理部１１として機能する。
【0055】
記憶装置１０２は、各種データを記憶する。そして、記憶装置１０２は、例えば、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）等のメモリや、Hard Disk（ＨＤ）、Solid State Drive（ＳＳＤ）等である。記憶装置１０２は、制御回路１０１を、図１における制御部１０として機能させる画像処理プログラムを記憶してもよい。記憶装置１０２は、例えば、図１における記憶部１２として機能する。
【0056】
画像処理装置１は、画像処理を行うとき、記憶装置１０２に記憶されたプログラムをＲＡＭに読み出す。
画像処理装置１は、ＲＡＭに読み出されたプログラムを制御回路１０１で実行することにより、学習処理実行部、画像処理実行部の何れか１以上を含む処理を実行する。
なおプログラムは、制御回路１０１が通信インターフェイス１０５を介してアクセス可能であれば、ネットワーク２００上のサーバが有する記憶装置に記憶されていてもよい。
画像処理装置１は、ＲＡＭに読み出されたプログラムを制御回路１０１で実行することにより、学習処理実行部、画像処理実行部の何れか１以上を含む処理を実行する。
なおプログラムは、制御回路１０１が通信インターフェイス１０５を介してアクセス可能であれば、ネットワーク２００上のサーバが有する記憶装置に記憶されていてもよい。
【0057】
読書装置１０３は、制御回路１０１に制御され、着脱可能な記録媒体１０４のデータのリード／ライトを行なう。
記録媒体１０４は、各種データを保存する。記録媒体１０４は、例えば、画像処理プログラムを記憶する。記録媒体１０４は、例えば、Secure Digital（ＳＤ）メモリーカード、Floppy Disk（ＦＤ）、Compact Disc（ＣＤ）、Digital Versatile Disk（ＤＶＤ）、Blu-ray（登録商標） Disk（ＢＤ）、及びフラッシュメモリ等の不揮発性メモリ（非一時的記録媒体）である。
記録媒体１０４は、各種データを保存する。記録媒体１０４は、例えば、画像処理プログラムを記憶する。記録媒体１０４は、例えば、Secure Digital（ＳＤ）メモリーカード、Floppy Disk（ＦＤ）、Compact Disc（ＣＤ）、Digital Versatile Disk（ＤＶＤ）、Blu-ray（登録商標） Disk（ＢＤ）、及びフラッシュメモリ等の不揮発性メモリ（非一時的記録媒体）である。
【0058】
通信インターフェイス１０５は、ネットワーク２００を介してコンピュータ装置１００と他の装置とを通信可能に接続する。通信インターフェイス１０５は、例えば、図１における通信部１３として機能する。
入出力インターフェイス１０６は、例えば、各種入力装置と着脱可能に接続するインターフェイスである。入出力インターフェイス１０６と接続される入力装置１０７には、例えば、キーボード、及びマウス等がある。入出力インターフェイス１０６は、接続された各種入力装置とコンピュータ装置１００とを通信可能に接続する。そして、入出力インターフェイス１０６は、接続された各種入力装置から入力された信号を、バス１１０を介して制御回路１０１に出力する。また、入出力インターフェイス１０６は、制御回路１０１から出力された信号を、バス１１０を介して入出力装置に出力する。入出力インターフェイス１０６は、入力装置１０７は、例えば、図１における操作部１５として機能する。
入出力インターフェイス１０６は、例えば、各種入力装置と着脱可能に接続するインターフェイスである。入出力インターフェイス１０６と接続される入力装置１０７には、例えば、キーボード、及びマウス等がある。入出力インターフェイス１０６は、接続された各種入力装置とコンピュータ装置１００とを通信可能に接続する。そして、入出力インターフェイス１０６は、接続された各種入力装置から入力された信号を、バス１１０を介して制御回路１０１に出力する。また、入出力インターフェイス１０６は、制御回路１０１から出力された信号を、バス１１０を介して入出力装置に出力する。入出力インターフェイス１０６は、入力装置１０７は、例えば、図１における操作部１５として機能する。
【0059】
表示装置１０９は、各種情報を表示する。表示装置１０９は、例えば、例えばＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、およびＯＥＬＤ（Organic Electroluminescence Display）等である。ネットワーク２００は、例えば、ＬＡＮ、無線通信、Ｐ２Ｐネットワーク、又はインターネット等であり、コンピュータ装置１００と他の装置を通信接続する。
なお、本実施形態は、以上に述べた実施形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成又は実施形態を取ることができる。
なお、本実施形態は、以上に述べた実施形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成又は実施形態を取ることができる。
【符号の説明】
【0060】
１ 画像処理装置、１００ コンピュータ装置、１０１ 制御回路、１０２ 記憶装置、１０３ 読書装置、１０４ 記録媒体、１０５ 通信インターフェイス、１０６ 入出力インターフェイス、１０７ 入力装置、１０８ 画像制御回路、１０９ 表示装置、１１０ バス、２００ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】