特許 7561381 画像生成装置、画像生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】画像生成装置、画像生成方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240927BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 7

(21)【出願番号】P 2021134786

(22)【出願日】2021-08-20

(65)【公開番号】P2023028849

(43)【公開日】2023-03-03

【審査請求日】2023-09-22

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】鈴木 聡志

(72)【発明者】

【氏名】谷田 隆一

(72)【発明者】

【氏名】木全 英明

(72)【発明者】

【氏名】村上 諒

(72)【発明者】

【氏名】庄野 逸

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２１－７６９２６（ＪＰ，Ａ）

【文献】Alexey Dosovitskiy and Thomas Brox，Generating Images with Perceptual Similarity Metrics based on Deep Networks，Proceedings of the 30th International Conference on Neural Information Processing Systems，2016年，Pages 658-666

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

任意に選択される画像処理パラメータによって生成する画像処理モデルに、評価対象画像データを入力として与え、前記画像処理モデルによる画像処理の中間過程において得られる前記評価対象画像データの特徴を表現した特徴表現データを生成する画像処理部と、
前記評価対象画像データと、前記評価対象画像データの前記特徴表現データと、前記画像処理パラメータと、生成画像データとに基づいて、前記生成画像データの品質の評価指標となる損失値を示す品質損失データを生成する品質損失算出部と、
前記品質損失データが示す損失値を最小化する処理を行うとともに、真正画像データと、前記生成画像データとを用いた敵対的学習処理を行うことにより、前記特徴表現データが示す特徴を投影した前記生成画像データを生成する特徴投影画像生成部と、
を備え、
前記画像処理部は、
前記画像処理パラメータが適用されることにより前記画像処理モデルになる画像処理用関数近似器を備えており、
前記特徴投影画像生成部は、
前記生成画像データを生成する画像生成部と、
前記真正画像データを入力とする場合に、識別モデルが正しい画像と判定し、前記生成画像データを入力とする場合に、前記識別モデルが誤った画像と判定するように前記識別モデルを構築し、構築した前記識別モデルが、前記生成画像データを入力とする場合に、正しい画像と判定する前記生成画像データを前記画像生成部が生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成する敵対的学習部と、を備え、
前記画像生成部は、
前記品質損失データが示す損失値と、前記敵対的損失データが示す損失値とに基づいて勾配を算出し、算出した勾配を、前記画像処理用関数近似器における前記中間過程に対応する隠れ層から入力層まで誤差逆伝播法により逆伝播させることにより前記入力層における勾配を算出し、算出した勾配に基づいて前記生成画像データを生成する、画像生成装置。

【請求項2】

前記品質損失算出部が生成する前記品質損失データと、前回の前記品質損失データとに基づいて、前記敵対的損失データを用いるか否かを判定し、判定した結果を示す判定結果情報を前記画像生成部に出力する判定部を備え、
前記画像生成部は、
前記判定結果情報が、前記敵対的損失データを用いないことを示している場合、前記敵対的損失データを用いずに、前記品質損失データが示す損失値に基づいて、前記生成画像データを生成し、前記判定結果情報が、前記敵対的損失データを用いることを示している場合、前記敵対的損失データが示す損失値と、前記品質損失データが示す損失値とに基づいて、前記生成画像データを生成する、
請求項１に記載の画像生成装置。

【請求項3】

前記品質損失算出部は、
前記評価対象画像データと、前記生成画像データとの間の差分を示す第１の損失値と、前記画像処理パラメータから生成する前記画像処理モデルと同一のモデルに、前記生成画像データを入力として与えることにより、前記中間過程と同一の中間過程において得られる前記生成画像データに対応する特徴表現データと、前記評価対象画像データに対応する特徴表現データと間の差分を示す第２の損失値とから前記品質損失データを生成する、 請求項１又は請求項２に記載の画像生成装置。

【請求項4】

前記品質損失算出部は、
前記第２の損失値の影響を抑えるように、前記第１の損失値と、前記第２の損失値とに荷重を加えて前記品質損失データを生成する、
請求項３に記載の画像生成装置。

【請求項5】

前記評価対象画像データは、自然画像の画像データであり、
前記真正画像データは、複数存在し、複数の前記真正画像データには、前記評価対象画像データの内容とは異なる内容の前記自然画像の画像データが含まれる、
請求項１から請求項４のいずれか一項に記載の画像生成装置。

【請求項6】

任意に選択される画像処理パラメータによって画像処理モデルを生成し、
生成した前記画像処理モデルに、評価対象画像データを入力として与え、
前記画像処理モデルによる画像処理の中間過程において得られる前記評価対象画像データの特徴を表現した特徴表現データを生成し、
前記評価対象画像データと、前記評価対象画像データの前記特徴表現データと、前記画像処理パラメータと、生成画像データとに基づいて、前記生成画像データの品質の評価指標となる損失値を示す品質損失データを生成し、
前記品質損失データが示す損失値を最小化する処理を行うとともに、真正画像データと、前記生成画像データとを用いた敵対的学習処理を行うことにより、前記特徴表現データが示す特徴を投影した前記生成画像データを生成し、
前記真正画像データを入力とする場合に、識別モデルが正しい画像と判定し、前記生成画像データを入力とする場合に、前記識別モデルが誤った画像と判定するように前記識別モデルを構築し、
構築した前記識別モデルが、前記生成画像データを入力とする場合に、正しい画像と判定する前記生成画像データを生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成し、
前記品質損失データが示す損失値と、前記敵対的損失データが示す損失値とに基づいて勾配を算出し、
算出した勾配を、前記画像処理パラメータが適用されることにより前記画像処理モデルになる画像処理用関数近似器における前記中間過程に対応する隠れ層から入力層まで誤差逆伝播法により逆伝播させることにより前記入力層における勾配を算出し、算出した勾配に基づいて前記生成画像データを生成する、
画像生成方法。

【請求項7】

請求項１から請求項５のいずれか一項に記載の画像生成装置としてコンピュータを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

【背景技術】

【0002】

近年、機械学習技術を用いた技術の精度が向上しており、特に、畳み込みニューラルネットワーク（以下「ＣＮＮ」（Convolutional Neural Network）という）を用いて行う画像内の被写体の識別や検出、領域分割等の技術の精度の向上が著しい。これらの機械学習技術を利用して各種業務における目視工程の自動化を推進する技術が注目を集めている。

【0003】

例えば、業務における目視工程の自動化を推進するために、撮像された画像に対して画像処理を行うといったことが行われる。そのため、ＣＮＮによる画像処理は、本来、その業務を担当している人間と同様の挙動を示すことが望ましい。しかし、非特許文献１に示される敵対的摂動や、非特許文献２に示されている入力画像のシフトに対する脆弱性などのために、ＣＮＮの挙動は、人間の挙動とは異なることが知られている。

【0004】

このような人間の目視する際の挙動とは異なるＣＮＮの挙動に対して可視化やホワイトボックス化と呼ばれる手法によってＣＮＮの挙動を理解しようとする技術が提案されている。例えば、非特許文献３に開示されているＤｅｅｐＳｉＭと呼ばれる技術では、ＣＮＮによる画像処理の中間過程において得られる特徴表現をオートエンコーダと同様の仕組みで画像空間に逆投影する。例えば、撮像された原画像が自然画像である場合、ＤｅｅｐＳｉＭでは、この逆投影の学習処理の際に敵対的学習による画像生成の手法を用いることで、逆投影結果として、自然画像に近い視認性の良い画像を得ることを可能にしている。そのため、ＤｅｅｐＳｉＭを活用することにより、ＣＮＮの内部で所望の特徴表現を抽出することができているのかということを確認したり、ＣＮＮの階層のいずれかにおいて特徴表現が消失しているのかということを確認したりすることができる。

【先行技術文献】

【非特許文献】

【0005】

【文献】Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy, “EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES”, Proceedings of the International Conference on Learning Representations (ICLR), 2015.

【文献】Richard. Zhang, “Making Convolutional Networks Shift-Invariant Again”, Proceedings of the 36th International Conference on Machine Learning, PMLR 97:7324-7334, 2019.

【文献】Alexey Dosovitskiy and Thomas Brox, “Generating Images with Perceptual Similarity Metrics based on Deep Networks”, Proceedings of the 30th International Conference on Neural Information Processing Systems(NIPS 2016), Pages 658-666, 2016.

【文献】Aravindh Mahendran and Andrea Vedaldi, “Understanding deep image representations by inverting them”, IEEE Conference on Computer Vision and Pattern Recognition, 2015.

【文献】Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge, “A Neural Algorithm of Artistic Style”, ［online］, 2 Sep 2015, arXiv:1508.06576, [令和３年６月２１日検索], インターネット<URL: https://arxiv.org/pdf/1508.06576.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ＤｅｅｐＳｉＭは、上記したようにオートエンコーダと同様の仕組みで特徴表現を画像空間に逆投影する学習処理を行うため、多くの学習時間を要することになる。つまり、オートエンコーダの構造を踏襲したＤｅｅｐＳｉＭを用いる場合、ＤｅｅｐＳｉＭにおいて逆投影を行うモデルは、挙動を確認したいＣＮＮの構造と同程度の構造を備える必要がある。そのため、挙動を確認したいＣＮＮと同程度の学習時間が、ＤｅｅｐＳｉＭにおいて必要になる。近年のＣＮＮは、モデル構造が複雑になっているため、パラメータの数が増大しており、そのために、数日から数カ月といった長時間の学習時間を必要としている傾向がある。したがって、学習時間として数カ月を要するＣＮＮの挙動を把握するためには、ＤｅｅｐＳｉＭにおいても学習時間として同様に数カ月を要することになる。ＣＮＮの挙動の把握のために、このような長時間の学習時間を必要とするのは、現実的ではなく、実用上好ましくないという問題がある。

【0007】

これに対して、例えば、非特許文献４，５に開示される技術では、オートエンコーダを用いずに、ＣＮＮによる画像処理の中間過程において得られる特徴表現の可視化を行っている。これらの技術では、オートエンコーダを用いないことから、数秒から数分という短い時間で、原画像の画素値そのものを最適化によって再生成することにより特徴表現を画像空間に逆投影する。しかしながら、非特許文献４，５に開示される技術によって再生成された画像は、視認性が低く、画像の内容を理解し辛いという問題がある。

【0008】

上記事情に鑑み、本発明は、画像処理の中間過程において得られる特徴表現が視認性の高い状態で投影された画像を、実用的な時間で生成することができる技術の提供を目的としている。

【課題を解決するための手段】

【0009】

本発明の一態様は、任意に選択される画像処理パラメータによって生成する画像処理モデルに、評価対象画像データを入力として与え、前記画像処理モデルによる画像処理の中間過程において得られる前記評価対象画像データの特徴を表現した特徴表現データを生成する画像処理部と、前記評価対象画像データと、前記評価対象画像データの前記特徴表現データと、前記画像処理パラメータと、生成画像データとに基づいて、前記生成画像データの品質の評価指標となる損失値を示す品質損失データを生成する品質損失算出部と、前記品質損失データが示す損失値を最小化する処理を行うとともに、真正画像データと、前記生成画像データとを用いた敵対的学習処理を行うことにより、前記特徴表現データが示す特徴を投影した前記生成画像データを生成する特徴投影画像生成部と、を備え、前記画像処理部は、前記画像処理パラメータが適用されることにより前記画像処理モデルになる画像処理用関数近似器を備えており、前記特徴投影画像生成部は、前記生成画像データを生成する画像生成部と、前記真正画像データを入力とする場合に、識別モデルが正しい画像と判定し、前記生成画像データを入力とする場合に、前記識別モデルが誤った画像と判定するように前記識別モデルを構築し、構築した前記識別モデルが、前記生成画像データを入力とする場合に、正しい画像と判定する前記生成画像データを前記画像生成部が生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成する敵対的学習部と、を備え、前記画像生成部は、前記品質損失データが示す損失値と、前記敵対的損失データが示す損失値とに基づいて勾配を算出し、算出した勾配を、前記画像処理用関数近似器における前記中間過程に対応する隠れ層から入力層まで誤差逆伝播法により逆伝播させることにより前記入力層における勾配を算出し、算出した勾配に基づいて前記生成画像データを生成する、画像生成装置である。

【0010】

本発明の一態様は、任意に選択される画像処理パラメータによって画像処理モデルを生成し、生成した前記画像処理モデルに、評価対象画像データを入力として与え、前記画像処理モデルによる画像処理の中間過程において得られる前記評価対象画像データの特徴を表現した特徴表現データを生成し、前記評価対象画像データと、前記評価対象画像データの前記特徴表現データと、前記画像処理パラメータと、生成画像データとに基づいて、前記生成画像データの品質の評価指標となる損失値を示す品質損失データを生成し、前記品質損失データが示す損失値を最小化する処理を行うとともに、真正画像データと、前記生成画像データとを用いた敵対的学習処理を行うことにより、前記特徴表現データが示す特徴を投影した前記生成画像データを生成し、前記真正画像データを入力とする場合に、識別モデルが正しい画像と判定し、前記生成画像データを入力とする場合に、前記識別モデルが誤った画像と判定するように前記識別モデルを構築し、構築した前記識別モデルが、前記生成画像データを入力とする場合に、正しい画像と判定する前記生成画像データを生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成し、前記品質損失データが示す損失値と、前記敵対的損失データが示す損失値とに基づいて勾配を算出し、算出した勾配を、前記画像処理パラメータが適用されることにより前記画像処理モデルになる画像処理用関数近似器における前記中間過程に対応する隠れ層から入力層まで誤差逆伝播法により逆伝播させることにより前記入力層における勾配を算出し、算出した勾配に基づいて前記生成画像データを生成する、画像生成方法である。

【0011】

本発明の一態様は、上記の画像生成装置としてコンピュータを実行させるためのプログラムである。

【発明の効果】

【0012】

本発明により、画像処理の中間過程において得られる特徴表現が視認性の高い状態で投影された画像を、実用的な時間で生成することが可能になる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態における画像生成装置の構成を示すブロック図である。

【図2】第１の実施形態の画像生成装置による処理の流れを示す図である。

【図3】第１の実施形態の品質損失算出部と特徴投影画像生成部による処理の流れを示す図である。

【図4】第１の実施形態の品質損失算出部による処理の流れを示す図である。

【図5】第１の実施形態の敵対的学習部による処理の流れを示す図である。

【図6】第２の実施形態における画像生成装置の構成を示すブロック図である。

【図7】第２の実施形態の画像生成装置による処理の流れを示す図である。

【図8】第２の実施形態の品質損失算出部と特徴投影画像生成部による処理の流れを示す図である。

【図9】第２の実施形態の判定部による処理の流れを示す図である。

【図10】第２の実施形態の画像生成部による処理の流れを示す図である。

【発明を実施するための形態】

【0014】

（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態における画像生成装置１の構成を示すブロック図である。画像生成装置１は、開始指示部１１、画像処理部１２、評価対象画像データ記憶部１３、画像処理パラメータ記憶部１４、品質損失算出部１５及び特徴投影画像生成部１６を備える。

【0015】

開始指示部１１は、画像生成装置１の利用者の操作により、利用者が所望する画像処理タスクの指定を受けると、画像処理パラメータ記憶部１４から指定された画像処理タスクに対応する画像処理パラメータを読み出す。開始指示部１１は、読み出した画像処理パラメータを画像処理部１２と、品質損失算出部１５と、特徴投影画像生成部１６の画像生成部３１とに出力する。ここで、画像処理タスクとは、例えば、画像に含まれる物体の種類を識別する物体識別のタスクや、画像に含まれる物体を検出する物体検出のタスクや、画像に含まれる物体ごとに領域を分割する領域分割のタスクなどである。

【0016】

開始指示部１１は、評価対象画像データ記憶部１３からいずれか１つの評価対象画像データを読み出し、読み出した評価対象画像データを画像処理部１２と、品質損失算出部１５とに出力し、更に、外部に出力する。開始指示部１１は、読み出した評価対象画像データを真正画像データとして特徴投影画像生成部１６が備える真正画像データ記憶部３６に書き込んで記憶させる。なお、開始指示部１１は、利用者の指定を受けて、利用者が指定するいずれか１つの評価対象画像データを選択して読み出してもよいし、いずれか１つの評価対象画像データを任意に選択して読み出すようにしてもよい。開始指示部１１は、初期化指示信号を特徴投影画像生成部１６に出力する。

【0017】

画像処理部１２は、入出力処理部２１と、画像処理用関数近似器２２とを備える。画像処理用関数近似器２２は、例えば、ＣＮＮを含む深層ニューラルネットワークである。入出力処理部２１は、開始指示部１１が出力する画像処理パラメータを画像処理用関数近似器２２に適用する。ここで、画像処理パラメータとは、画像処理用関数近似器２２が、例えば、深層ニューラルネットワークである場合、当該深層ニューラルネットワークの各々のニューロンにおける係数、すなわち、重みやバイアスの値である。画像処理パラメータを画像処理用関数近似器２２に適用するとは、画像処理パラメータに含まれる複数の係数の各々を、各々に対応するニューロンの係数として利用することをいう。画像処理用関数近似器２２に画像処理パラメータが適用されることにより、利用者が指定する画像処理タスクに対応する画像処理モデル４１が構築される。

【0018】

入出力処理部２１は、開始指示部１１が出力する評価対象画像データを入力として画像処理モデル４１に与える。画像処理モデル４１は、入力として与えられる評価対象画像データに対する画像処理を行う。画像処理モデル４１は、画像処理の中間過程において得られる特徴表現データを入出力処理部２１に出力する。ここで、画像処理モデル４１が行う画像処理の中間過程において得られる特徴表現データとは、例えば、画像処理用関数近似器２２が深層ニューラルネットワークである場合、入力層から出力層に至るまでに存在する複数の階層の隠れ層のいずれかであって、予め定められる特定の階層の隠れ層において得られる特徴マップに含まれているデータである。入出力処理部２１は、画像処理モデル４１が出力する特徴表現データを品質損失算出部１５に出力する。

【0019】

画像処理パラメータ記憶部１４には、画像処理部１２が備える画像処理用関数近似器２２を用いて画像タスクごとに予め行われる学習処理によって得られる学習済みの係数である画像処理パラメータが、画像処理タスクごとに予め記憶されている。評価対象画像データ記憶部１３には、複数の評価対象画像データが予め記憶されている。ここで、評価対象画像データとは、例えば、カメラなどの撮像装置によって撮像された自然画像の画像データであり、自然画像とは、人間が生活する上で自然と目にするような画像という意味であり、カメラなどの撮像装置によって撮像できる画像であれば、どのような画像であってもよい。なお、評価対象画像データ記憶部１３に記憶されている評価対象画像データには、画像処理部１２が備える画像処理用関数近似器２２を用いて画像タスクごとに予め行われる学習処理において用いられた学習用画像データが含まれていてもよい。

【0020】

品質損失算出部１５は、開始指示部１１が出力する画像処理パラメータ及び評価対象画像データと、画像処理部１２が出力する特徴表現データと、特徴投影画像生成部１６が生成する生成画像データとに基づいて、生成画像データの品質の評価指標となる損失値を示す品質損失データを生成する。ここで、品質とは、例えば、画像の品質を示すＰＳＮＲ(Peak Signal-to-Noise Ratio)などのことである。

【0021】

特徴投影画像生成部１６は、生成する生成画像データが、画像処理部１２が出力する特徴表現データが示す特徴を画像空間に投影した画像データになるようにする処理を行う。すなわち、特徴投影画像生成部１６は、品質損失算出部１５が生成する品質損失データが示す損失値を最小化する処理を行うとともに、予め準備される真正画像データと、生成画像データとを用いた敵対的学習処理を行うことにより、特徴表現データが示す特徴を投影した生成画像データを生成する。

【0022】

特徴投影画像生成部１６は、画像生成部３１と、敵対的学習部３２とを備える。敵対的学習部３２は、識別モデルデータ記憶部３５、真正画像データ記憶部３６、識別用関数近似器３７及び敵対的学習処理部３８を備える。敵対的学習部３２において、識別用関数近似器３７は、例えば、ＣＮＮを含む深層ニューラルネットワークである。

【0023】

識別モデルデータ記憶部３５には、識別モデルデータが記憶されている。ここで、識別モデルデータとは、識別用関数近似器３７が、例えば、深層ニューラルネットワークである場合、当該深層ニューラルネットワークの各々のニューロンに適用される係数、すなわち、重みやバイアスの値である。識別用関数近似器３７は、識別モデルデータ記憶部３５に新たな識別モデルデータが書き込まれると、書き込まれた識別モデルデータを読み出して適用する。識別用関数近似器３７に識別モデルデータが適用されることにより、識別モデル４２が構築されることになる。

【0024】

真正画像データ記憶部３６には、複数の真正画像データが記憶されている。真正画像データ記憶部３６に記憶されている複数の真正画像データには、開始指示部１１によって書き込まれる評価対象画像データが含まれる。なお、真正画像データ記憶部３６に記憶されている複数の真正画像データのうち開始指示部１１によって書き込まれる評価対象画像データ以外の真正画像データは、評価対象画像データ記憶部１３に記憶されている評価対象画像データと同様に自然画像のデータであって、開始指示部１１によって書き込まれる評価対象画像データとは、内容が異なる画像データである。真正画像データ記憶部３６に記憶されている複数の真正画像データのうち開始指示部１１によって書き込まれる評価対象画像データ以外の真正画像データは、予め真正画像データ記憶部３６に書き込まれており、その個数は、１個以上であるものとする。

【0025】

敵対的学習処理部３８は、開始指示部１１から初期化指示信号を受けると、識別モデルデータ記憶部３５に記憶されている識別モデルデータに含まれる係数の各々を、例えば、乱数などにより初期化する。敵対的学習処理部３８は、真正画像データ記憶部３６に記憶されている真正画像データと、画像生成部３１が生成する生成画像データとを用いた敵対的学習処理を行う。すなわち、敵対的学習処理部３８は、真正画像データを入力とする場合に、識別モデル４２が正しい画像と判定し、生成画像データを入力とする場合に、識別モデル４２が誤った画像と判定するように、識別モデル４２を構築するための新たな識別モデルデータを生成する。敵対的学習処理部３８は、識別モデルデータ記憶部３５に記憶されている識別モデルデータを、生成した新たな識別モデルデータに書き換えて更新する。

【0026】

敵対的学習処理部３８は、新たに生成した識別モデルデータに基づいて構築される識別モデル４２に対して、生成画像データを入力として与えた場合に、識別モデル４２が正しい画像と判定する生成画像データを画像生成部３１が生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成する。

【0027】

画像生成部３１は、開始指示部１１から初期化指示信号を受けると、画素値を初期値で初期化した生成画像データ（以下「初期化生成画像データ」ともいう）を生成する。ここで、初期化生成画像データとは、例えば、画素の各々の画素値を正規分布などからサンプリングされるランダムな初期値で初期化した画像データであってもよいし、全ての画素の画素値を、例えば、「０」のような一様な初期値で初期化した画像データであってもよい。画像生成部３１は、生成した初期化生成画像データを内部の記憶領域に書き込んで記憶させる。

【0028】

画像生成部３１は、品質損失算出部１５が生成する品質損失データが示す損失値を最小化しつつ、敵対的学習部３２が生成する敵対的損失データが示す損失値を最小化するように新たな生成画像データを生成する。画像生成部３１は、生成画像データを生成する処理が終了した際、生成した生成画像データを処理結果として外部に出力する。

【0029】

（第１の実施形態の画像生成装置による処理）
次に、図２から図５を参照しつつ画像生成装置１が行う処理について説明する。図２は、画像生成装置１が行う処理の全体の流れを示すシーケンス図である。開始指示部１１は、画像生成装置１の利用者の操作により、利用者が所望する画像処理タスクの指定を受ける（ステップＳ１）。開始指示部１１は、敵対的学習部３２の敵対的学習処理部３８と、画像生成部３１とに初期化指示信号を出力する（ステップＳ２－１，Ｓ２－２）。なお、開始指示部１１は、ステップＳ２－１，Ｓ２－２の処理の処理を、ステップＳ２－１，Ｓ２－２の順に行ってもよいし、逆の順に行ってもよい。

【0030】

敵対的学習部３２の敵対的学習処理部３８は、開始指示部１１が出力する初期化指示信号を受けると、識別モデルデータ記憶部３５に記憶されている識別モデルデータを初期化する。敵対的学習処理部３８によって識別モデルデータ記憶部３５に記憶されている識別モデルデータが初期化されると、識別用関数近似器３７は、識別モデルデータ記憶部３５に記憶されている識別モデルデータを読み出し、読み出した識別モデルデータを自らに適用して識別モデル４２を構築する（ステップＳ３－１）。画像生成部３１は、開始指示部１１が出力する初期化指示信号を受けると、画素値を初期値で初期化した生成画像データ、すなわち初期化生成画像データを生成する。画像生成部３１は、生成した初期化生成画像データを内部の記憶領域に書き込んで記憶させる。画像生成部３１は、生成した初期化生成画像データを品質損失算出部１５と、敵対的学習処理部３８とに出力する（ステップＳ３－２）。

【0031】

開始指示部１１は、指定を受けた画像タスクに対応する画像処理パラメータを画像処理パラメータ記憶部１４から読み出す（ステップＳ４）。開始指示部１１は、読み出した画像処理パラメータを、画像生成部３１と、品質損失算出部１５と、画像処理部１２とに出力する。なお、開始指示部１１は、画像生成部３１、品質損失算出部１５、画像処理部１２の順に画像処理パラメータを出力してもよいし、順番を入れ替えて出力するようにしてもよい。画像生成部３１は、開始指示部１１が出力する画像処理パラメータを取り込み、取り込んだ画像処理パラメータを内部の記憶領域に書き込んで記憶させる（ステップＳ５－１）。品質損失算出部１５は、開始指示部１１が出力する画像処理パラメータを取り込む（ステップＳ５－２）。画像処理部１２の入出力処理部２１は、開始指示部１１が出力する画像処理パラメータを取り込む。入出力処理部２１は、取り込んだ画像処理パラメータを画像処理用関数近似器２２に適用する。これにより、画像処理モデル４１が構築される（ステップＳ５－３）。

【0032】

開始指示部１１は、評価対象画像データ記憶部１３に記憶されているいずれか１つの評価対象画像データを読み出す（ステップＳ６）。開始指示部１１は、読み出した評価対象画像データを真正画像データとして真正画像データ記憶部３６に書き込んで記憶させる（ステップＳ７－１）。開始指示部１１は、読み出した評価対象画像データを品質損失算出部１５と、画像処理部１２とに出力する。なお、開始指示部１１は、読み出した評価対象画像データを真正画像データ記憶部３６に書き込む処理、読み出した評価対象画像データを品質損失算出部１５に出力する処理、読み出した評価対象画像データを画像処理部１２に出力する処理の３つの処理を、図２に示す順に処理を行ってもよいし、順番を入れ替えて行ってもよい。

【0033】

品質損失算出部１５は、開始指示部１１が出力する評価対象画像データを取り込む（ステップＳ７－２）。画像処理部１２の入出力処理部２１は、開始指示部１１が出力する評価対象画像データを取り込む。入出力処理部２１は、取り込んだ評価対象画像データを入力として、画像処理モデル４１に与える。画像処理モデル４１は、入力として与えられた評価対象画像データに対して画像処理を行い、画像処理の中間過程において得られる特徴表現データを入出力処理部２１に出力する。入出力処理部２１は、画像処理モデル４１が出力する特徴表現データを取り込む。入出力処理部２１は、取り込んだ特徴表現データを品質損失算出部１５に出力する（ステップＳ７－３）。

【0034】

品質損失算出部１５は、入出力処理部２１が出力する特徴表現データを取り込む（ステップＳ８）。なお、開始指示部１１は、ステップＳ２－１，Ｓ２－２の処理を、ステップＳ４の処理の後に行うようにしてもよいし、ステップＳ６の処理の後に行うようにしてもよい。

【0035】

以降、図３のフローチャートに示す生成画像データに対して画像処理部１２が出力した特徴表現データを投影する処理が品質損失算出部１５と、特徴投影画像生成部１６とによって行われる（ステップＳ９）。

【0036】

品質損失算出部１５及び敵対的学習処理部３８は、画像生成部３１が生成して出力する生成画像データを取り込む（ステップＳ１０１）。初回は、ステップＳ３－２の処理において画像生成部３１が出力する初期化生成画像データを、品質損失算出部１５及び敵対的学習処理部３８は、取り込むことになる。

【0037】

品質損失算出部１５は、生成画像データを取り込むと、図４に示すサブルーチンの処理を開始する（ステップＳ１０２－１）。敵対的学習部３２は、生成画像データを取り込むと、図５に示すサブルーチンの処理を開始する（ステップＳ１０２－２）。なお、ステップＳ１０２－１の処理と、ステップＳ１０２－２の処理とは、並列に行われてもよいし、ステップＳ１０２－１、ステップＳ１０２－２の順で行われてもよいし、逆の順で行われてもよい。

【0038】

（第１の実施形態の品質損失算出部による処理）
図４に示すフローチャートにしたがって、図３のステップＳ１０２－１の品質損失算出部１５による処理を説明する。品質損失算出部１５は、取り込んだ生成画像データと、ステップＳ７－２の処理において取り込んだ評価対象画像データとに対して、予め定められる第１の損失関数を適用して、第１の損失値を算出する（ステップＳ２０１）。ここで、第１の損失関数とは、第１の損失関数によって得られる第１の損失値を最小化することにより、評価対象画像データと、生成画像データとの差分を最小化するような第１の損失値を算出する関数である。評価対象画像データと、生成画像データとの差分を最小化するような損失値を算出する関数であれば、どのような関数を適用してもよい。例えば、第１の損失関数として、２つの画像データ間の平均二乗誤差（ＭＳＥ（Mean Square Error））、または、平均絶対値誤差（ＭＡＥ（Mean Absolute Error））の値に基づく損失値を算出する関数などを適用することができる。

【0039】

品質損失算出部１５は、ステップＳ５－２の処理において取り込んだ画像処理パラメータと、取り込んだ生成画像データとに基づいて、画像処理部１２において構築される画像処理モデル４１における上記した特定の階層と同一の階層における特徴マップを生成する。品質損失算出部１５は、生成した特徴マップにおいて示されているデータから生成画像データに対応する特徴表現データを生成する（ステップＳ２０２）。例えば、品質損失算出部１５は、画像処理部１２が備える画像処理用関数近似器２２と同一構成の関数近似器を内部に備えている。品質損失算出部１５は、ステップＳ５－２の処理において取り込んだ画像処理パラメータを、内部に備える関数近似器に適用して画像処理モデル４１と同一のモデルを構築する。以下、品質損失算出部１５が生成するモデルを模擬画像処理モデルという。品質損失算出部１５は、構築した模擬画像処理モデルに、取り込んだ生成画像データを入力して与えることにより、上記した特定の階層の特徴マップを模擬画像処理モデルから取得する。品質損失算出部１５は、取得した特徴マップにおいて示されているデータから生成画像データに対応する特徴表現データを生成する。

【0040】

品質損失算出部１５は、生成した生成画像データに対応する特徴表現データと、ステップＳ８の処理において取り込んだ特徴表現データとに対して、予め定められる第２の損失関数を適用して、第２の損失値を算出する（ステップＳ２０３）。ここで、第２の損失関数とは、第２の損失関数によって得られる第２の損失値を最小化することにより、生成画像データに対応する特徴表現データと、画像処理部１２が出力する評価対象画像データに対応する特徴表現データとの差分を最小化するような第２の損失値を算出する関数である。生成画像データに対応する特徴表現データと、画像処理部１２が出力する評価対象画像データに対応する特徴表現データとの差分を最小化するような損失値を算出する関数であれば、どのような関数を適用してもよい。例えば、第２の損失関数として、２つの特徴表現データ間の平均二乗誤差、または、平均絶対値誤差の値に基づく損失値を算出する関数などを適用することができる。

【0041】

品質損失算出部１５は、算出した第１の損失値と、算出した第２の損失値とに基づいて品質損失データを生成する。例えば、品質損失算出部１５は、第１の損失値と、第２の損失値との各々に対して荷重を適用した線形和の損失値を示す品質損失データを生成する。品質損失算出部１５は、生成した品質損失データを画像生成部３１に出力し（ステップＳ２０４）、図４のサブルーチンの処理が終了し、図３のフローチャートに戻る。

【0042】

ステップＳ２０４の処理において適用する荷重の比率は、第１の損失値及び第２の損失値の各々の特性を踏まえて適宜定められる。第１の損失値は、例えば、自然画像である評価対象画像データに対する生成画像データの品質の劣化、すなわち、生成画像データにおいて自然画像には存在しないスパイクなどが生じていることを示す指標になっている。これに対して、第２の損失値は、生成画像データと評価対象画像データの各々の特徴表現データの間の相違を示す指標である。ただし、第２の損失値を考慮し過ぎると、例えば、非特許文献３のＦｉｇｕｒｅ１に示されるような本来、自然画像に存在しないアーチファクトを生み出す可能性がある。このような第１の損失値及び第２の損失値の各々の特性を踏まえて、画像生成部３１が生成する生成画像データが自然画像に近づくように、第２の損失値の影響を抑えた荷重の比率を定めるようにしてもよい。この場合、例えば、「１０：１」の荷重の比率、すなわち、第１の損失値に対する比率を「１０」とし、第２の損失値に対する比率を「１」とする荷重の比率を品質損失算出部１５において予め定めておき、定めた荷重の比率をステップＳ２０４の処理において適用するようにしてもよい。品質損失算出部１５は、予め定めた荷重の比率を、繰り返し行われるステップＳ２０４の処理において固定的に適用してもよいし、繰り返し行われるステップＳ２０４の処理の各回の処理おいて、品質損失算出部１５が、適応的に荷重の比率を変えて適用するようにしてもよい。

【0043】

（第１の実施形態の敵対的学習部による処理）
図５に示すフローチャートにしたがって、図３のステップＳ１０２－２の敵対的学習部３２による処理を説明する。敵対的学習部３２の敵対的学習処理部３８は、真正画像データ記憶部３６から読み出す。敵対的学習処理部３８は、真正画像データ記憶部３６に記憶されている全ての真正画像データを読み出してもよいし、真正画像データ記憶部３６に記憶されている一部の複数の真正画像データを読み出すようにしてもよい。ただし、一部の複数の真正画像データを読み出す場合、敵対的学習処理部３８は、開始指示部１１によって真正画像データ記憶部３６に真正画像データとして書き込まれた評価対象画像データが含まれるように読み出すものとする（ステップＳ３０１）。

【0044】

敵対的学習処理部３８は、取り込んだ生成画像データを入力として識別モデル４２に与えて、識別モデル４２が出力する判定の結果を示す判定結果情報を取得する。敵対的学習処理部３８は、読み出した複数の真正画像データの各々を入力として識別モデル４２に与えて、複数の真正画像データの各々に対応する識別モデル４２の判定の結果を示す判定結果情報を取得する（ステップＳ３０２）。なお、識別モデル４２が出力する判定結果情報とは、入力として与えられた画像データが、正しい画像データである確率を示す情報である。

【0045】

敵対的学習処理部３８は、識別モデル４２が出力する判定結果を示す情報に基づいて、識別モデル４２が正しい判定を行うように識別モデル４２を構築する新たな識別モデルデータを生成する。より詳細には、敵対的学習処理部３８は、真正画像データを入力とする場合に、正しい画像と判定し、生成画像データを入力とする場合に、誤った画像と判定するように識別モデル４２が判定することができているのかを評価する際の評価指標となる損失値を算出する。敵対的学習処理部３８は、算出した損失値を最小化する新たな識別モデルデータを生成する。上記のような損失値を算出する損失関数として、例えば、次式（１）で示される交差エントロピーが適用される。

【0046】

【数1】

【0047】

上記式（１）を用いる場合、例えば、真正画像データを識別モデル４２に入力として与えた際の正解ラベルを「１」とし、生成画像データを識別モデル４２に入力として与えた際の正解ラベルを「０」として予め定めておく。上記式（１）において、ｑは、識別モデル４２に与えられる画像データ、すなわち真正画像データ、または、生成画像データに付与されるインデックス番号であり、ｑは、１以上の整数であり、ｑの最大値は、真正画像データ記憶部３６に記憶されている複数の真正画像データの個数に、生成画像データの個数である「１」を加えた値である。

【0048】

式（１）において、ｘ_ｑが、ｑ番目の画像データを入力として与えた場合に識別モデル４２が出力する判定結果情報であり、ｙ_ｑが、ｑ番目の画像データに関連付けられている正解ラベルである。敵対的学習処理部３８は、式（１）の損失関数によって算出した損失値Ｌ_ｄｉｓｔ（ｘ，ｙ）を、例えば、確率的勾配降下法やＡｄａｍなどの最適化アルゴリズムによって最小化することにより、新たな識別モデルデータを生成する。

【0049】

敵対的学習処理部３８は、新たな識別モデルデータを生成すると、識別モデルデータ記憶部３５に記憶されている識別モデルデータを、生成した新たな識別モデルデータに書き換えて更新する。識別モデルデータ記憶部３５に新たな識別モデルデータが書き込まれると、識別用関数近似器３７は、識別モデルデータ記憶部３５から識別モデルデータを読み出し、読み出した識別モデルデータを自らに適用する。これにより、新たな識別モデル４２が構築されることになる（ステップＳ３０３）。

【0050】

敵対的学習処理部３８は、新たに構築された識別モデル４２に対して、生成画像データを入力として与えた場合に、識別モデル４２が正しい画像と判定する生成画像データを画像生成部３１が生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成する。敵対的損失データが示す損失値は、例えば、式（１）によって算出した損失値Ｌ_ｄｉｓｔ（ｘ，ｙ）に負の値、すなわち「－１」を乗算することで算出することができる。敵対的学習処理部３８は、生成した敵対的損失データを画像生成部３１に出力し（ステップＳ３０４）、図５のサブルーチンの処理が終了し、図３のフローチャートに戻る。

【0051】

（第１の実施形態の画像生成部による処理）
画像生成部３１は、品質損失算出部１５が出力する品質損失データと、敵対的学習処理部３８が出力する敵対的損失データとを取り込む。画像生成部３１は、取り込んだ品質損失データが示す損失値を最小化しつつ、取り込んだ敵対的損失データが示す損失値を最小化するように新たな生成画像データを生成する。画像生成部３１は、新たな生成画像データを生成すると、内部の記憶領域に記憶させている前回生成した生成画像データを、新たな生成画像データに書き換える（ステップＳ１０３）。より詳細には、画像生成部３１は、非特許文献４、５に開示されている手法を利用して、以下のようにして新たな生成画像データの生成を行う。

【0052】

画像生成部３１は、画像処理部１２が備える画像処理用関数近似器２２と同一の関数近似器である模擬画像処理用関数近似器を内部に備えており、内部の記憶領域に記憶させている画像処理パラメータを模擬画像処理用関数近似器に適用する。非特許文献４、５による手法では、品質損失算出部１５が生成する品質損失データが示す損失値に相当する損失値のみを用いているが、画像生成部３１は、生成画像データの視認性を高めるために、更に、敵対的学習部３２が生成する敵対的損失データが示す損失値を利用する。

【0053】

画像生成部３１は、品質損失データが示す損失値と、敵対的損失データが示す損失値とから勾配を算出する。画像生成部３１は、模擬画像処理用関数近似器における隠れ層であって画像処理部１２の画像処理モデル４１において特徴表現データが得られた階層と同一の階層の隠れ層を出力層とみなす。画像生成部３１は、出力層とみなした隠れ層から入力層に向かって、画像処理パラメータを適用した模擬画像処理用関数近似器を用いて、階層ごとに算出した勾配を予め定められる最適化アルゴリズムに基づく誤差逆伝播法により逆伝播させる。ここで、予め定められる最適化アルゴリズムとして、例えば、確率的勾配降下法、Ａｄａｍ（Adaptive Moment Estimation）、Ｌ－ＢＦＧＳ(Limited-memory Broyden-Fletcher-Goldfarb-Shanno)などが適用される。なお、画像生成部３１は、誤差逆伝播法の演算において入力層以外の各ニューロンに対する勾配も算出するが、算出した勾配によって画像処理パラメータを更新することはない。画像処理パラメータを更新してしまうと、生成画像データに特徴を投影するということができなくなってしまうためである。そのため、画像生成部３１は、ステップＳ５－１の処理において取得して内部の記憶領域に記憶させてある画像処理パラメータを固定的に模擬画像処理用関数近似器に適用する。

【0054】

画像生成部３１は、逆伝播により入力層において得られる勾配と、内部の記憶領域に記憶させている前回生成した生成画像データとに基づいて、新たな生成画像データを生成する。すなわち、画像生成部３１は、内部の記憶領域から前回生成した生成画像データを読み出す。画像生成部３１は、読み出した生成画像データに含まれる画素の各々の画素値から、入力層において得られた勾配にしたがって、各々の画素に対する新たな画素値を算出する。画像生成部３１は、算出した新たな画素値を含む画像データを新たな生成画像データとする。これにより、画像生成部３１は、品質損失算出部１５が生成する品質損失データが示す損失値を最小化しつつ、敵対的学習部３２が生成する敵対的損失データが示す損失値を最小化するように新たな生成画像データを生成することが可能になる。

【0055】

画像生成部３１は、予め定められる終了条件を満たしているか否かを判定する（ステップＳ１０４）。ここで、予め定められる終了条件とは、例えば、画像生成部３１が、生成画像データを生成した回数が、予め定められている回数に一致しているという条件などである。

【0056】

画像生成部３１は、予め定められる終了条件を満たしていないと判定した場合（ステップＳ１０４、Ｎｏ）、生成した新たな生成画像データを品質損失算出部１５と、敵対的学習処理部３８とに出力する（ステップＳ１０５）。その後、再び、ステップＳ１０１の処理以降の処理が行われる。

【0057】

一方、画像生成部３１は、予め定められる終了条件を満たしていると判定した場合（ステップＳ１０４、Ｙｅｓ）、生成した生成画像データを処理結果として外部に出力し（ステップＳ１０６）、処理を終了する。

【0058】

これにより、画像生成装置１の利用者は、開始指示部１１が選択して外部に出力する評価対象画像データと、画像生成部３１が外部に出力する処理結果の生成画像データとを比較することにより、評価対象画像データのどの部分の特徴を画像処理部１２の画像処理モデル４１が評価対象画像データから抽出しているのかを目視によって確認することが可能になる。

【0059】

上記の第１の実施形態の画像生成装置１において、画像処理部１２は、任意に選択される画像処理パラメータによって生成する画像処理モデル４１に、評価対象画像データを入力として与え、画像処理モデル４１による画像処理の中間過程において得られる評価対象画像データの特徴を表現した特徴表現データを生成する。品質損失算出部１５は、評価対象画像データと、当該評価対象画像データの特徴表現データと、画像処理パラメータと、生成画像データとに基づいて、生成画像データの品質の評価指標となる損失値を示す品質損失データを生成する。特徴投影画像生成部１６は、品質損失データが示す損失値を最小化する処理を行うとともに、真正画像データと、生成画像データとを用いた敵対的学習処理を行うことにより、特徴表現データが示す特徴を投影した生成画像データを生成する。

【0060】

特徴投影画像生成部１６において、敵対的学習部３２は、真正画像データを入力とする場合に、識別モデル４２が正しい画像と判定し、生成画像データを入力とする場合に、識別モデル４２が誤った画像と判定するように識別モデル４２を構築し、構築した識別モデル４２が生成画像データを入力とする場合に、正しい画像と判定する生成画像データを画像生成部３１が生成できているのかを評価する際の評価指標となる損失値を示す敵対的損失データを生成する。画像生成部３１は、敵対的損失データが示す損失値と、品質損失データが示す損失値とに基づいて勾配を算出する。画像生成部３１は、算出した勾配を、画像処理部１２が備える画像処理用関数近似器２２における中間過程に対応する隠れ層から入力層まで誤差逆伝播法により逆伝播させることにより入力層における勾配を算出する。画像生成部３１は、算出した勾配に基づいて生成画像データを生成する。すなわち、画像生成装置１は、上記したＤｅｅｐＳｉＭと同様に、生成画像データの視認性を高めるために敵対的学習部３２による敵対的学習の手法を採用しているが、生成画像データを生成する画像生成部３１では、敵対的損失データが示す損失値と、品質損失データが示す損失値とから直接的に新たな生成画像データを生成する手法を採用している。これに対して、ＤｅｅｐＳｉＭでは、生成画像データの生成においてニューラルネットワークの係数を最適化する学習処理を行っている。そのため、画像生成装置１は、ＤｅｅｐＳｉＭよりも短い実用的な時間で、特徴表現データが示す特徴を投影した生成画像データを生成することができる。

【0061】

特徴投影画像生成部１６において、真正画像データ記憶部３６は、開始指示部１１が選択した評価対象画像データと、当該評価対象画像データの内容とは異なる内容の自然画像の画像データとを真正画像データとして記憶する。これにより、特徴投影画像生成部１６が備える敵対的学習処理部３８は、真正画像データとして、評価対象画像データ以外の自然画像の画像データを含む複数の真正画像データを用いた敵対的学習を行うことができる。これにより、開始指示部１１が選択した評価対象画像データのみを用いて敵対的学習を行って生成画像データを生成するよりも、生成画像データにおいて、より自然らしい状態を担保することができ、画像処理の中間過程において得られる特徴表現を、視認性の高い画像、言い換えると人間が解釈しやすい画像に投影することが可能になる。したがって、画像生成装置１を利用することにより、画像処理の中間過程において得られる特徴表現が視認性の高い状態で投影された画像を、実用的な時間で生成することが可能になる。

【0062】

（第２の実施形態）
図６は、第２の実施形態における画像生成装置１ａの構成を示すブロック図である。第２の実施形態において、第１の実施形態と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。

【0063】

第１の実施形態では、画像生成部３１は、品質損失算出部１５が生成する品質損失データが示す損失値を最小化しつつ、敵対的学習処理部３８が生成する敵対的損失データが示す損失値を最小化することにより、生成画像データを最適化するようにしていた。この場合、敵対的損失データと品質損失データの各々が示す２つの損失値を最小化する処理を行う必要があり、画像生成部３１が、初期化指示信号を受けて生成する初期化生成画像データの画素の画素値によっては、最適解に到達することが難しい場合がある。そのため、第２の実施形態では、生成画像データを最適化する初期の段階では、比較的、最小化が容易である品質損失データが示す損失値のみを利用し、品質損失データによってある程度、最適化が行えた後に、敵対的損失データが示す損失値を用いるという手順を採用する。

【0064】

画像生成装置１ａは、開始指示部１１ａ、画像処理部１２、評価対象画像データ記憶部１３、画像処理パラメータ記憶部１４、品質損失算出部１５ａ、特徴投影画像生成部１６ａ及び判定部１７を備える。開始指示部１１ａは、第１の実施形態の開始指示部１１が備える構成に加えて、初期化指示信号を判定部１７に出力する構成を備える。品質損失算出部１５ａは、第１の実施形態の品質損失算出部１５が備える構成に加えて、品質損失データを判定部１７に出力する構成を備える。

【0065】

判定部１７は、品質損失算出部１５ａが繰り返し生成する品質損失データを取り込む。判定部１７は、新たに品質損失データを取り込んだ際に、新たに取り込んだ品質損失データと、前回取り込んだ品質損失データとに基づいて、敵対的損失データを用いるか否かを判定する。判定部１７は、判定した結果を示す判定結果情報を特徴投影画像生成部１６ａに出力する。

【0066】

特徴投影画像生成部１６ａは、画像生成部３１ａと、敵対的学習部３２とを備える。画像生成部３１ａは、判定部１７が出力する判定結果情報が、敵対的損失データを用いないことを示している場合、敵対的損失データを用いずに、品質損失データが示す損失値を最小化するように生成画像データを生成する。これに対して、画像生成部３１ａは、判定部１７が出力する判定結果情報が、敵対的損失データを用いることを示している場合、第１の実施形態の画像生成部３１と同様に、品質損失データが示す損失値を最小化しつつ、敵対的損失データが示す損失値を最小化するような生成画像データを生成する。

【0067】

（第２の実施形態の画像生成装置による処理）
次に、図７から図１０を参照しつつ画像生成装置１ａが行う処理について説明する。なお、図７において、図２に示した処理と同一の内容の処理については、同一の符号を付しており、図８において、図３に示した処理と同一の処理については、同一の符号を付しており、同一の符号を付している処理において、第１の実施形態の開始指示部１１が行っていた処理は、開始指示部１１ａが行い、第１の実施形態の品質損失算出部１５が行っていた処理は、品質損失算出部１５ａが行い、第１の実施形態の画像生成部３１が行っていた処理は、画像生成部３１ａが行うことになる。

【0068】

図７は、画像生成装置１ａが行う処理の全体の流れを示すシーケンス図である。以下、図７において第１の実施形態と異なる処理について説明する。第２の実施形態では、図７に示すように、開始指示部１１ａは、初期化指示信号を判定部１７にも送信する（ステップＳ２－３）。判定部１７は、開始指示部１１ａから初期化指示信号を受けると、内部の記憶領域に処理フラグの内容を記憶する領域を生成する。判定部１７は、生成した処理フラグの内容を記憶する領域に「初回」の情報を書き込む（ステップＳ３－３）。第２の実施形態では、図７に示すように、第１の実施形態においてステップＳ９において行われていた図３に示す処理に替えて、図８に示す処理が行われる（ステップＳａ９）。なお、開始指示部１１ａは、ステップＳ２－１，Ｓ２－２，Ｓ２－３の処理の処理を、ステップＳ２－１，Ｓ２－２，Ｓ２－３の順に行ってもよいし、順番を入れ替えて行ってもよい。開始指示部１１ａは、ステップＳ２－１，Ｓ２－２，Ｓ２－３の処理を、ステップＳ４の処理の後に行うようにしてもよいし、ステップＳ６の処理の後に行うようにしてもよい。

【0069】

次に、図８に示す処理において、第１の実施形態と異なる処理について説明する。品質損失算出部１５ａは、画像生成部３１ａが出力する生成画像データを取り込むと、図４に示す品質損失算出部１５が行うサブルーチンの処理と同一の処理を行う。ただし、図４に示すステップＳ２０４の処理において、品質損失算出部１５ａは、品質損失データを画像生成部３１ａに出力するとともに、判定部１７に出力する（ステップＳａ１０２－１）。なお、ステップＳａ１０２－１の処理と、ステップＳ１０２－２の処理とは、並列に行われてもよいし、ステップＳａ１０２－１、ステップＳ１０２－２の順で行われてもよいし、逆の順で行われてもよい。

【0070】

（第２の実施形態の判定部による処理）
図９に示す判定部１７による処理は、ステップＳ１０２ａ－１の処理において、品質損失算出部１５ａが、品質損失データを判定部１７に出力した後に行われる処理であり、図８に示す処理と並列に行われる処理である。

【0071】

判定部１７は、品質損失算出部１５ａが出力する品質損失データを取り込む（ステップＳ４０１）。判定部１７は、内部の記憶領域の処理フラグの内容を判定する（ステップＳ４０２）。判定部１７は、内部の記憶領域の処理フラグの内容が「初回」であると判定した場合（ステップＳ４０２、初回）、すなわち、判定部１７が、開始指示部１１ａから初期化指示信号を受けた後、最初に、品質損失算出部１５ａが出力する品質損失データを取り込んだ場合、取り込んだ品質損失データを内部の記憶領域に書き込んで記憶させる（ステップＳ４０３）。判定部１７は、内部の記憶領域の処理フラグの内容を「判定有」に書き換える（ステップＳ４０４）。判定部１７は、敵対的損失データを用いないことを示す判定結果情報を画像生成部３１ａに出力し（ステップＳ４０５）、処理を終了する。

【0072】

一方、ステップＳ４０２の処理において、判定部１７は、内部の記憶領域の処理フラグの内容が「判定有」であると判定した場合（ステップＳ４０２、判定有）、内部の記憶領域に記憶されている品質損失データの中で最先に書き込まれた品質損失データを前回の品質損失データとして読み出す（ステップＳ４０６）。判定部１７は、ステップＳ４０１の処理おいて取り込んだ今回の品質損失データが示す損失値と、読み出した前回の品質損失データが示す損失値との差が、予め定められる閾値以下であるか否かを判定する（ステップＳ４０７）。

【0073】

判定部１７は、今回の品質損失データが示す損失値と、前回の品質損失データが示す損失値との差が、予め定められる閾値以下でないと判定した場合（ステップＳ４０７、Ｎｏ）、敵対的損失データを用いないことを示す判定結果情報を画像生成部３１ａに出力する（ステップＳ４０８）。判定部１７は、ステップＳ４０１の処理において取り込んだ今回の品質損失データを、既に書き込まれている品質損失データとの間で時系列順が分かるように内部の記憶領域に書き込んで（ステップＳ４０９）、処理を終了する。

【0074】

一方、判定部１７は、今回の品質損失データが示す損失値と、前回の品質損失データが示す損失値との差が、予め定められる閾値以下であると判定した場合（ステップＳ４０７、Ｙｅｓ）、内部の記憶領域の処理フラグの内容を「判定無」に書き換える（ステップＳ４１０）。判定部１７は、敵対的損失データを用いることを示す判定結果情報を画像生成部３１ａに出力し（ステップＳ４１１）、その後、処理は、ステップＳ４０９の処理に進められる。

【0075】

判定部１７は、ステップＳ４０２の処理において、処理フラグの内容が「判定無」であると判定した場合（ステップＳ４０２、判定無）、ステップＳ４１１の処理、すなわち、敵対的損失データを用いることを示す判定結果情報を画像生成部３１ａに出力する処理を行い、その後、処理は、ステップＳ４０９の処理に進められる。

【0076】

（第２の実施形態の画像生成部による処理）
図８に戻り、図１０に示す画像生成部３１ａによるサブルーチンの処理が行われる（ステップＳａ１０３）。画像生成部３１ａは、品質損失算出部１５ａが出力する品質損失データと、敵対的学習処理部３８が出力する敵対的損失データと、判定部１７が出力する判定結果情報を取り込む（ステップＳ５０１）。

【0077】

画像生成部３１ａは、取り込んだ判定結果情報の内容を判定する（ステップＳ５０２）。画像生成部３１ａは、取り込んだ判定結果情報の内容が敵対的損失データを用いないという内容であると判定した場合（ステップＳ５０２、敵対的損失データを用いない）、画像生成部３１ａは、取り込んだ品質損失データが示す損失値のみから勾配を算出する。画像生成部３１ａは、算出した勾配に基づいて、第１の実施形態のステップＳ１０３の処理において説明した画像処理パラメータを適用した模擬画像処理用関数近似器と、誤差逆伝播法とを用いる手法により、新たな生成画像データを生成する。画像生成部３１ａは、新たな生成画像データを生成すると、内部の記憶領域に記憶させている前回生成した生成画像データを、新たな生成画像データに書き換える（ステップＳ５０３）。

【0078】

一方、画像生成部３１ａは、取り込んだ判定結果情報の内容が敵対的損失データを用いるという内容であると判定した場合（ステップＳ５０２、敵対的損失データを用いる）、画像生成部３１ａは、取り込んだ品質損失データが示す損失値と、取り込んだ敵対的損失データが示す損失値とから勾配を算出する。画像生成部３１ａは、算出した勾配に基づいて第１の実施形態のステップＳ１０３の処理において説明した画像処理パラメータを適用した模擬画像処理用関数近似器と、誤差逆伝播法とを用いる手法により、新たな生成画像データを生成する。画像生成部３１ａは、新たな生成画像データを生成すると、内部の記憶領域に記憶させている前回生成した生成画像データを、新たな生成画像データに書き換える（ステップＳ５０４）。その後、第１の実施形態と同様に、図８のステップＳ１０４以降の処理が行われる。

【0079】

なお、図９に示すステップＳ４０７の処理において、判定部１７は、予め定められる閾値を用いた判定処理を行っているが、以下のようにしてもよい。例えば、判定部１７は、内部の記憶領域に時系列順に記憶させている品質損失データが示す損失値の時系列における変化から適応的に閾値を定めるようにしてもよい。ステップＳ４０７の処理における閾値以下であるか否かという判定は一例であり、閾値の定め方によっては、判定部１７は、閾値未満であるか否かという判定を行うようにしてもよい。

【0080】

上記の第２の実施形態の画像生成装置１ａにおいて、判定部１７は、品質損失算出部１５ａが生成する品質損失データと、前回の品質損失データとに基づいて、敵対的損失データを用いるか否かを判定し、判定した結果を示す判定結果情報を画像生成部３１ａに出力する。画像生成部３１ａは、判定結果情報が、敵対的損失データを用いないことを示している場合、敵対的損失データを用いずに、品質損失データが示す損失値に基づいて、生成画像データを生成する。画像生成部３１ａは、判定結果情報が、敵対的損失データを用いることを示している場合、敵対的損失データが示す損失値と、品質損失データが示す損失値とに基づいて、生成画像データを生成する。これにより、上記したように、画像生成装置１ａにおいて、生成画像データを最適化する初期の段階では、比較的、最小化が容易である品質損失データのみを利用し、品質損失データによってある程度、生成画像データの最適化が行えた後に、敵対的損失データを用いることが可能になる。そのため、第１の実施形態の画像生成装置１に比べて、より高い確率で最適解に到達して生成画像データを生成することが可能になる。

【0081】

なお、上記の第１及び第２の実施形態において、画像生成部３１，３１ａにおいて適用される最適化アルゴリズムとして、例えば、確率的勾配降下法、Ａｄａｍ、Ｌ－ＢＦＧＳを一例として示しているが、これら以外の最適化アルゴリズムを適用するようにしてもよい。

【0082】

上記の第１及び第２の実施形態において、敵対的学習部３２の識別用関数近似器を目的関数によって表すことができる場合、上記式（１）の交差エントロピーに替えて平均二乗関数を損失関数として適用するようにしてもよい。敵対的学習部３２の敵対的学習処理部３８に適用する最適化アルゴリズムとして、確率的勾配降下法やＡｄａｍを一例として示しているが、ニュートン法などの他の最適化アルゴリズムを適用するようにしてもよい。

【0083】

上記の第１及び第２の実施形態において、敵対的学習部３２の敵対的学習処理部３８は、敵対的損失データが示す損失値を、式（１）によって算出される損失値Ｌ_ｄｉｓｔ（ｘ，ｙ）に負の値を乗算することにより算出するとしている。これに対して、識別モデル４２が正しい画像と判定する生成画像データを画像生成部３１，３１ａが生成できているのかを評価する際の評価指標となる損失値であれば、どのような損失値を適用してもよい。したがって、敵対的学習処理部３８は、そのような損失値を算出する式（１）以外の演算を行って敵対的評価データを生成するようにしてもよい。

【0084】

上記の第１及び第２の実施形態において、真正画像データ記憶部３６に記憶されている真正画像データに、開始指示部１１，１１ａが選択した評価対象画像データを含めるようにしているが、開始指示部１１，１１ａが選択した評価対象画像データを真正画像データに含めないようにしてもよい。評価対象画像データを真正画像データに含めない場合、真正画像データ記憶部３６は、評価対象画像データと内容の異なる真正画像データを少なくとも２個以上記憶するのが望ましい。

【0085】

上記の第１及び第２の実施形態では、画像処理部１２が備える画像処理用関数近似器２２において特徴表現データを得る特定の階層の位置（以下「画像処理用関数近似器２２における特定の階層の位置」という）は、予め定められるとしている。品質損失算出部１５，１５ａにおける模擬画像処理モデルにおいて、生成画像データに対応する特徴表現データを取得する特定の階層の位置も、画像処理用関数近似器２２における特定の階層の位置と同一の位置になるように予め定められるとしている。画像生成部３１，３１ａにおいて模擬画像処理用関数近似器において出力層とみなす隠れ層の位置も、画像処理用関数近似器２２における特定の階層の位置と同一の位置になるように予め定められるとしている。これに対して、画像処理部１２が備える画像処理用関数近似器２２において特徴表現データを得る特定の階層の位置を画像生成装置１，１ａの利用者が任意に定めるようにしてもよい。この場合、例えば、以下のような処理が行われる。開始指示部１１ａは、利用者によって特定の階層の位置が指定されると、指定された特定の階層の位置を示す情報を、画像処理部１２の入出力処理部２１と、品質損失算出部１５，１５ａと、画像生成部３１，３１ａとに出力する。画像処理部１２の入出力処理部２１は、開始指示部１１ａが出力する特定の階層の位置に対応する画像処理モデル４１の隠れ層から得られる特徴マップから評価対象画像データに対応する特徴表現データを生成する。品質損失算出部１５，１５ａは、開始指示部１１ａが出力する特定の階層の位置に対応する模擬画像処理モデルの隠れ層から得られる特徴マップから生成画像データに対応する特徴表現データを生成する。画像生成部３１，３１ａは、開始指示部１１ａが出力する特定の階層の位置に対応する模擬画像処理関数近似器における隠れ層を出力層とみなすことになる。

【0086】

上記の第１及び第２の実施形態において、画像処理部１２が備える画像処理用関数近似器２２は、例えば、ＣＮＮを含む深層ニューラルネットワークであるとしている。これに対して、画像処理用関数近似器２２として、ＣＮＮを含む深層ニューラルネットワーク以外の画像処理を行うニューラルネットワークを適用してもよい。敵対的学習部３２が備える識別用関数近似器３７も、例えば、ＣＮＮを含む深層ニューラルネットワークであるとしている。これに対して、識別用関数近似器３７として、ＣＮＮを含む深層ニューラルネットワーク以外のニューラルネットワークを適用してもよく、例えば、適切に設計された多層パーセプトロンのようなニューラルネットワークを適用してもよい。

【0087】

上記の第１及び第２の実施形態において、評価対象画像データ記憶部１３が記憶する評価対象画像データと、真正画像データ記憶部３６が記憶する真正画像データとは、自然画像のデータであるとしているが、評価対象画像データは、自然画像のデータに限られるものではない。例えば、自然画像以外の異なる画像、例えば、ＣＧ（Computer Graphics）画像などの画像データを評価対象画像データとしてもよい。真正画像データは、評価対象画像データが取得され得る環境で得ることができる画像データを適用する必要がある。そのため、評価対象画像データがＣＧ画像データである場合、真正画像データとして、評価対象画像データのＣＧ画像データと内容の異なるＣＧ画像データを適用する必要がある。

【0088】

上述した実施形態における画像生成装置１，１ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0089】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0090】

１…画像生成装置、１１…開始指示部、１２…画像処理部、１３…評価対象画像データ記憶部、１４…画像処理パラメータ記憶部、１５…品質損失算出部、１６…特徴投影画像生成部、２１…入出力処理部、２２…画像処理用関数近似器、３１…画像生成部、３２…敵対的学習部、３５…識別モデルデータ記憶部、３６…真正画像データ記憶部、３７…識別用関数近似器、３８…敵対的学習処理部、４１…画像処理モデル、４２…識別モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】