知財求人 - 知財ポータルサイト「IP Force」
特許7481916画像変換用ネットワーク学習装置およびそのプログラム、ならびに、画像変換装置およびそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-01
(45)【発行日】2024-05-13
(54)【発明の名称】画像変換用ネットワーク学習装置およびそのプログラム、ならびに、画像変換装置およびそのプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240502BHJP
G06T 1/40 20060101ALI20240502BHJP
G06T 15/20 20110101ALI20240502BHJP
【ＦＩ】
G06T7/00 350C
G06T1/40
G06T15/20 500
【請求項の数】
7
(21)【出願番号】P 2020103756
(22)【出願日】2020-06-16
(65)【公開番号】P2021196943
(43)【公開日】2021-12-27
【審査請求日】2023-05-08
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】盛岡 寛史
(72)【発明者】
【氏名】洗井 淳
【審査官】山田 辰美
(56)【参考文献】
【文献】国際公開第２０１９／０９８７８０（ＷＯ，Ａ１）
【文献】特表２０２０－５０３０７５（ＪＰ，Ａ）
【文献】特開２０１９－１０１５１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３７０６６６（ＵＳ，Ａ１）
【文献】Sai Bi et al，Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement，2019 IEEE/CVF International Conference on Computer Vision (ICCV)，米国，IEEE，2020年02月27日，2730-2739，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9009005
【文献】Junyu Gao et al，Embedding structured contour and location prior in siamesed fully convolutional networks for road detection，2017 IEEE International Conference on Robotics and Automation (ICRA)，米国，IEEE，2017年，219-224，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7989027
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｔ １／４０
Ｇ０６Ｔ １５／２０
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ＣＧ画像を疑似実写画像に変換するニューラルネットワークを学習する画像変換用ネットワーク学習装置であって、実写画像生成ネットワークを用いて、学習データのＣＧ画像から偽実写画像を生成する第１実写画像生成手段と、
ＣＧ画像生成ネットワークを用いて、前記偽実写画像から複製ＣＧ画像を生成する第１ＣＧ画像生成手段と、
前記学習データのＣＧ画像と前記複製ＣＧ画像との誤差をＣＧ画像誤差として算出するＣＧ画像誤差算出手段と、
前記ＣＧ画像生成ネットワークを用いて、前記ＣＧ画像に対応する学習データである実写画像から偽ＣＧ画像を生成する第２ＣＧ画像生成手段と、
前記実写画像生成ネットワークを用いて、前記偽ＣＧ画像から複製実写画像を生成する第２実写画像生成手段と、
前記学習データの実写画像と前記複製実写画像との誤差を実写画像誤差として算出する実写画像誤差算出手段と、
前記学習データのＣＧ画像および実写画像、ならびに、前記偽ＣＧ画像および偽実写画像の各画像に、それぞれの画像の予め定めた画像特徴を特徴マップとして付加する特徴マップ付加手段と、
ＣＧ画像識別ネットワークを用いて、前記特徴マップが付加された前記学習データのＣＧ画像と前記偽ＣＧ画像とについて、それぞれ真のＣＧ画像か否かを示す真偽値を識別結果として算出するＣＧ画像識別手段と、
実写画像識別ネットワークを用いて、前記特徴マップが付加された前記学習データの実写画像と前記偽実写画像とについて、それぞれ真の実写画像か否かを示す真偽値を識別結果として算出する実写画像識別手段と、
前記ＣＧ画像識別手段における識別結果、前記実写画像識別手段における識別結果、前記ＣＧ画像誤差および前記実写画像誤差に基づいて、前記実写画像生成ネットワーク、前記ＣＧ画像生成ネットワーク、前記ＣＧ画像識別ネットワークおよび前記実写画像識別ネットワークのパラメータを更新するパラメータ更新手段と、
を備えることを特徴とする画像変換用ネットワーク学習装置。
【請求項2】
前記特徴マップ付加手段は、画像のエッジ、輪郭、色の少なくも一つ以上の画像特徴を前記特徴マップとすることを特徴とする請求項１に記載の画像変換用ネットワーク学習装置。
【請求項3】
前記パラメータ更新手段は、前記偽実写画像に対する識別結果と真値との差、前記偽ＣＧ画像に対する識別結果と真値との差、前記ＣＧ画像誤差、および、前記実写画像誤差の和を小さくするように、前記実写画像生成ネットワークおよび前記ＣＧ画像生成ネットワークのパラメータを更新するとともに、
前記学習データの実写画像に対する識別結果と真値との差、前記偽実写画像に対する識別結果と偽値との差、前記学習データのＣＧ画像に対する識別結果と真値との差、および、前記偽ＣＧ画像に対する識別結果と偽値との差の和を小さくするように、前記実写画像識別ネットワークおよび前記ＣＧ画像識別ネットワークのパラメータを更新することを特徴とする請求項１または請求項２に記載の画像変換用ネットワーク学習装置。
【請求項4】
コンピュータを、請求項１から請求項３のいずれか一項に記載の画像変換用ネットワーク学習装置として機能させるための画像変換用ネットワーク学習プログラム。
【請求項5】
ＣＧ画像を疑似実写画像に変換する画像変換装置であって、請求項１から請求項３のいずれか一項に記載の画像変換用ネットワーク学習装置で学習されたＣＧ画像を疑似実写画像に変換するニューラルネットワークで構成された実写画像生成ネットワークを用いて、前記ＣＧ画像から前記疑似実写画像を生成する実写画像生成手段を備えることを特徴とする画像変換装置。
【請求項6】
ＣＧ画像を疑似実写画像に変換する画像変換装置であって、請求項１から請求項３のいずれか一項に記載の画像変換用ネットワーク学習装置と、
前記画像変換用ネットワーク学習装置で学習されたＣＧ画像を前記疑似実写画像に変換するニューラルネットワークで構成された実写画像生成ネットワークを用いて、前記ＣＧ画像から前記疑似実写画像を生成する第３実写画像生成手段を備えることを特徴とする画像変換装置。
【請求項7】
コンピュータを、請求項５または請求項６に記載の画像変換装置として機能させるための画像変換プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像変換用ネットワーク学習装置およびそのプログラム、ならびに、画像変換装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、実空間計測技術および映像加工技術の発達により、実空間内の被写体を撮影および計測して３Ｄモデルの再構築を行うことで、自由視点から被写体を観察することが可能になってきている。
この技術によって、例えば、ＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、ゲーム等では、空間的に離れた場所にいるプレイヤーを同一の仮想空間内に出現させることができる。また、例えば、テレビ番組では、地理的に離れた場所にいる出演者同士を合成してあたかも同じ場所にいるかのように演出することができる。
さらに、伝送路、端末等のデバイスの発達により、３Ｄモデルを再構築したデータを直接視聴者の端末上に送ることで、従来は固定されていたカメラワークから独立して、視聴者が自由にカメラワークを行うことができる。
この技術によって、例えば、ＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、ゲーム等では、空間的に離れた場所にいるプレイヤーを同一の仮想空間内に出現させることができる。また、例えば、テレビ番組では、地理的に離れた場所にいる出演者同士を合成してあたかも同じ場所にいるかのように演出することができる。
さらに、伝送路、端末等のデバイスの発達により、３Ｄモデルを再構築したデータを直接視聴者の端末上に送ることで、従来は固定されていたカメラワークから独立して、視聴者が自由にカメラワークを行うことができる。
【0003】
このように、実空間計測技術および映像加工技術は、様々な応用が考えられる技術であるが、撮影・計測時、３Ｄモデルの再構築時等の誤差、情報欠落により、再構築したデータが正確でない場合がある。そのため、３Ｄモデルを再構築したデータをＣＧレンダラー上で、自由視点でレンダリングした場合、レンダリング結果に不自然なノイズや歪み（アーティファクト）が発生する。
【0004】
一方、近年の深層学習の発達により、ニューラルネットワークを用いて画像を修正（アーティファクト修正）する手法が様々開示されている。
アーティファクト修正の最も一般的な修正は、欠損の補完であり、その補完手法については、大量のデータを学習することによって、未知の画像の欠損部分を補完する手法が開示されている。その一例としてＤｅｅｐ Ｆｉｌｌ（非特許文献１参照）が挙げられる。
Ｄｅｅｐ Ｆｉｌｌは、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）という手法を用いている。
ＧＡＮは、Generator（生成ネットワーク）とDiscriminator（識別ネットワーク）とで構成されている。ＧＡＮは、画像生成を行うネットワークを構築する場合、Generatorによって、Discriminatorが真の画像であると欺くように画像生成のネットワークを学習し、Discriminatorによって、真の画像か偽の画像かを正しく識別するようにネットワークを学習する。
これによって、ＧＡＮは、真偽の識別が困難な画像を生成するネットワークの構築を可能にしている。
アーティファクト修正の最も一般的な修正は、欠損の補完であり、その補完手法については、大量のデータを学習することによって、未知の画像の欠損部分を補完する手法が開示されている。その一例としてＤｅｅｐ Ｆｉｌｌ（非特許文献１参照）が挙げられる。
Ｄｅｅｐ Ｆｉｌｌは、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）という手法を用いている。
ＧＡＮは、Generator（生成ネットワーク）とDiscriminator（識別ネットワーク）とで構成されている。ＧＡＮは、画像生成を行うネットワークを構築する場合、Generatorによって、Discriminatorが真の画像であると欺くように画像生成のネットワークを学習し、Discriminatorによって、真の画像か偽の画像かを正しく識別するようにネットワークを学習する。
これによって、ＧＡＮは、真偽の識別が困難な画像を生成するネットワークの構築を可能にしている。
【0005】
また、ＧＡＮを利用したアーティファクト修正に利用可能なネットワークとしてｐｉｘ２ｐｉｘ（非特許文献２参照）、ｃｙｃｌｅＧＡＮ（非特許文献３参照）が挙げられる。
ｐｉｘ２ｐｉｘは、一対一対応する入力画像と教師画像との間で変換を最適化するネットワークである。ｃｙｃｌｅＧＡＮは、一対一対応が存在しない集合同士の間で変換を最適化するネットワークである。
ｐｉｘ２ｐｉｘは、一対一対応する入力画像と教師画像との間で変換を最適化するネットワークである。ｃｙｃｌｅＧＡＮは、一対一対応が存在しない集合同士の間で変換を最適化するネットワークである。
【先行技術文献】
【非特許文献】
【0006】
【文献】Jiahui Yu, et.al,“Generative Image Inpainting with Contextual Attention”, CVPR, 2018.
【文献】Phillip Isola, et.al,“Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017.
【文献】Jun-Yan Zhu, et.al,“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”, ICCV, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の手法であるＤｅｅｐ Ｆｉｌｌは、マスクと呼ばれる欠損領域を手動で指定する必要があり、かつ、欠損していないが誤ったデータが反映されている部分に関しては修正を行わないという問題がある。
これに対して、ｐｉｘ２ｐｉｘやｃｙｃｌｅＧＡＮは、画像領域全体を変換するため、非欠損領域のアーティファクトも修正対象となる。
これに対して、ｐｉｘ２ｐｉｘやｃｙｃｌｅＧＡＮは、画像領域全体を変換するため、非欠損領域のアーティファクトも修正対象となる。
【0008】
ｐｉｘ２ｐｉｘは、入力画像と対をなす教師画像を用意してその間の変換を学習する手法であるため、入力画像と教師画像とが厳密に同一の画角で撮影されたものでなければならない。
しかし、３Ｄモデルの再構築においては、ｐｉｘ２ｐｉｘの入力画像はＣＧレンダラー上でレンダリングされたＣＧ画像であり、教師画像は実写画像であるため、入力画像と教師画像とを同一の画角で一対一対応させることは基本的に困難である。
しかし、３Ｄモデルの再構築においては、ｐｉｘ２ｐｉｘの入力画像はＣＧレンダラー上でレンダリングされたＣＧ画像であり、教師画像は実写画像であるため、入力画像と教師画像とを同一の画角で一対一対応させることは基本的に困難である。
【0009】
ｃｙｃｌｅＧＡＮは、入力画像と教師画像とが一対一対応しない場合でも変換が可能なネットワークである。
しかし、ｃｙｃｌｅＧＡＮは、学習過程で発生する確率的最適化アルゴリズムによって、必ずしも最適解の画像を出力するとは限らないため、教師画像に比べて出力画像の画像特徴であるエッジ等の鮮明さが劣化するという問題が発生する場合がある。
しかし、ｃｙｃｌｅＧＡＮは、学習過程で発生する確率的最適化アルゴリズムによって、必ずしも最適解の画像を出力するとは限らないため、教師画像に比べて出力画像の画像特徴であるエッジ等の鮮明さが劣化するという問題が発生する場合がある。
【0010】
本発明は、このような問題に鑑みてなされたものであり、ＣＧ画像の画像特徴の劣化を抑え、精度よく疑似実写画像に変換するためのニューラルネットワークを学習する画像変換用ネットワーク学習装置およびそのプログラム、ならびに、ニューラルネットワークを用いてＣＧ画像を疑似実写画像に変換する画像変換装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0011】
前記課題を解決するため、本発明に係る画像変換用ネットワーク学習装置は、ＣＧ画像を疑似実写画像に変換するニューラルネットワークを学習する画像変換用ネットワーク学習装置であって、第１実写画像生成手段と、第１ＣＧ画像生成手段と、ＣＧ画像誤差算出手段と、第２ＣＧ画像生成手段と、第２実写画像生成手段と、実写画像誤差算出手段と、特徴マップ付加手段と、ＣＧ画像識別手段と、実写画像識別手段と、パラメータ更新手段と、を備える構成とした。
【0012】
かかる構成において、画像変換用ネットワーク学習装置は、第１実写画像生成手段によって、学習対象の実写画像生成ネットワークを用いて、学習データのＣＧ画像から偽実写画像を生成する。そして、画像変換用ネットワーク学習装置は、第１ＣＧ画像生成手段によって、学習対象のＣＧ画像生成ネットワークを用いて、偽実写画像から元のＣＧ画像である複製ＣＧ画像を生成する。
そして、画像変換用ネットワーク学習装置は、ＣＧ画像誤差算出手段によって、学習データのＣＧ画像と複製ＣＧ画像との誤差（サイクル誤差）をＣＧ画像誤差として算出する。
そして、画像変換用ネットワーク学習装置は、ＣＧ画像誤差算出手段によって、学習データのＣＧ画像と複製ＣＧ画像との誤差（サイクル誤差）をＣＧ画像誤差として算出する。
【0013】
また、画像変換用ネットワーク学習装置は、第２ＣＧ画像生成手段によって、ＣＧ画像生成ネットワークを用いて、ＣＧ画像に対応する学習データである実写画像から偽ＣＧ画像を生成する。そして、画像変換用ネットワーク学習装置は、第２実写画像生成手段によって、実写画像生成ネットワークを用いて、偽ＣＧ画像から元の実写画像である複製実写画像を生成する。
そして、画像変換用ネットワーク学習装置は、実写画像誤差算出手段によって、学習データの実写画像と複製実写画像との誤差（サイクル誤差）を実写画像誤差として算出する。
そして、画像変換用ネットワーク学習装置は、実写画像誤差算出手段によって、学習データの実写画像と複製実写画像との誤差（サイクル誤差）を実写画像誤差として算出する。
【0014】
また、画像変換用ネットワーク学習装置は、特徴マップ付加手段によって、学習データのＣＧ画像および実写画像、ならびに、偽ＣＧ画像および偽実写画像の各画像に、それぞれの画像のエッジ等の予め定めた画像特徴を特徴マップとして付加する。
そして、画像変換用ネットワーク学習装置は、ＣＧ画像識別手段によって、学習対象のＣＧ画像識別ネットワークを用いて、特徴マップが付加された学習データのＣＧ画像と偽ＣＧ画像とについて、それぞれ真のＣＧ画像か否かを示す真偽値を識別結果として算出する。
また、画像変換用ネットワーク学習装置は、実写画像識別手段によって、学習対象の実写画像識別ネットワークを用いて、特徴マップが付加された学習データの実写画像と偽実写画像とについて、それぞれ真の実写画像か否かを示す真偽値を識別結果として算出する。
ＣＧ画像識別手段および実写画像識別手段では、各画像の画像特徴を特徴マップとして付加した画像間で識別を行うため、画像のエッジ等の予め定めた画像特徴に対する重要度を高めて画像識別が行われることになる。
そして、画像変換用ネットワーク学習装置は、ＣＧ画像識別手段によって、学習対象のＣＧ画像識別ネットワークを用いて、特徴マップが付加された学習データのＣＧ画像と偽ＣＧ画像とについて、それぞれ真のＣＧ画像か否かを示す真偽値を識別結果として算出する。
また、画像変換用ネットワーク学習装置は、実写画像識別手段によって、学習対象の実写画像識別ネットワークを用いて、特徴マップが付加された学習データの実写画像と偽実写画像とについて、それぞれ真の実写画像か否かを示す真偽値を識別結果として算出する。
ＣＧ画像識別手段および実写画像識別手段では、各画像の画像特徴を特徴マップとして付加した画像間で識別を行うため、画像のエッジ等の予め定めた画像特徴に対する重要度を高めて画像識別が行われることになる。
【0015】
そして、画像変換用ネットワーク学習装置は、パラメータ更新手段によって、ＣＧ画像識別手段における識別結果、実写画像識別手段における識別結果、ＣＧ画像誤差および実写画像誤差に基づいて、実写画像生成ネットワーク、ＣＧ画像生成ネットワーク、ＣＧ画像識別ネットワークおよび実写画像識別ネットワークのパラメータを更新する。
【0016】
この学習によって、実写画像識別ネットワークは、予め定めた画像特徴に対する重要度を高めて、正しく実写画像の真偽を識別するように学習される。また、実写画像生成ネットワークは、予め定めた画像特徴の劣化を抑えて、実写画像識別ネットワークにおいて真の実写画像と識別を誤るような写実化した画像をＣＧ画像から生成するように学習されることになる。
【0017】
なお、本発明は、コンピュータを、前記画像変換用ネットワーク学習装置として機能させるための画像変換用ネットワーク学習プログラムで実現することもできる。
【0018】
また、前記課題を解決するため、本発明に係る画像変換装置は、ＣＧ画像を疑似実写画像に変換する画像変換装置であって、実写画像生成手段を備える構成とした。
【0019】
かかる構成において、画像変換装置は、実写画像生成手段によって、画像変換用ネットワーク学習装置で学習されたＣＧ画像を疑似実写画像に変換するニューラルネットワークで構成された実写画像生成ネットワークを用いて、ＣＧ画像から疑似実写画像を生成する。
なお、画像変換装置は、内部に画像変換用ネットワーク学習装置を備え、実写画像生成手段が、画像変換用ネットワーク学習装置で学習した実写画像生成ネットワークを用いて、ＣＧ画像から疑似実写画像を生成することとしてもよい。
また、本発明は、コンピュータを、前記画像変換装置として機能させるための画像変換プログラムで実現することもできる。
なお、画像変換装置は、内部に画像変換用ネットワーク学習装置を備え、実写画像生成手段が、画像変換用ネットワーク学習装置で学習した実写画像生成ネットワークを用いて、ＣＧ画像から疑似実写画像を生成することとしてもよい。
また、本発明は、コンピュータを、前記画像変換装置として機能させるための画像変換プログラムで実現することもできる。
【発明の効果】
【0020】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、予め定めた画像特徴の劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換することができる。
これによって、本発明は、変換した写実的な画像を、テレビ番組、ゲーム、ＶＲ（仮想現実）／ＡＲ（拡張現実）等に幅広く利用することが可能になる。
本発明によれば、予め定めた画像特徴の劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換することができる。
これによって、本発明は、変換した写実的な画像を、テレビ番組、ゲーム、ＶＲ（仮想現実）／ＡＲ（拡張現実）等に幅広く利用することが可能になる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施形態に係る画像変換用ネットワーク学習装置の処理内容を説明するための説明図である。
【図2】本発明の実施形態に係る画像変換用ネットワーク学習装置の構成を示すブロック図である。
【図3】実写画像生成ネットワークの構成例を示すネットワーク図である。
【図4】実写画像識別ネットワークの構成例を示すネットワーク図である。
【図5】特徴マップ付加手段が画像に特徴マップを付加する例を説明するための説明図である。
【図6】本発明の実施形態に係る画像変換用ネットワーク学習装置の動作を示すフローチャートである。
【図7】本発明の実施形態に係る画像変換装置の構成を示すブロック図である。
【図8】本発明の実施形態に係る画像変換装置の動作を示すフローチャートである。
【図9】本発明の実施形態に係る画像変換装置の変形例の構成を示すブロック図である。
【図10】特徴マップ付加手段が画像に色の画像特徴を特徴マップとして付加する例を説明するための説明図である。
【図11】特徴マップ付加手段が画像に複数の画像特徴を特徴マップとして付加する例を説明するための説明図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態について図面を参照して説明する。
＜画像変換用ネットワーク学習装置の処理＞
図１を参照して、本発明の実施形態に係る画像変換用ネットワーク学習装置１（図２）の処理について説明する。
＜画像変換用ネットワーク学習装置の処理＞
図１を参照して、本発明の実施形態に係る画像変換用ネットワーク学習装置１（図２）の処理について説明する。
【0023】
画像変換用ネットワーク学習装置１は、ＣＧ画像を疑似実写画像に変換するニューラルネットワークを学習するものである。
画像変換用ネットワーク学習装置１は、学習データとして、実写画像ＩｒとＣＧ画像Ｉｃｇとを用いる。
実写画像Ｉｒは、人物等の被写体をカメラで撮影した画像である。なお、実写画像Ｉｒは、被写体から背景領域を削除しておく。
ＣＧ画像Ｉｃｇは、実写画像Ｉｒに映る人物等の被写体に近似したポーズで３Ｄモデルをレンダリングした画像である。
なお、実写画像ＩｒおよびＣＧ画像Ｉｃｇは、モノクロ画像であっても、カラー画像であっても構わない。
画像変換用ネットワーク学習装置１は、学習データとして、実写画像ＩｒとＣＧ画像Ｉｃｇとを用いる。
実写画像Ｉｒは、人物等の被写体をカメラで撮影した画像である。なお、実写画像Ｉｒは、被写体から背景領域を削除しておく。
ＣＧ画像Ｉｃｇは、実写画像Ｉｒに映る人物等の被写体に近似したポーズで３Ｄモデルをレンダリングした画像である。
なお、実写画像ＩｒおよびＣＧ画像Ｉｃｇは、モノクロ画像であっても、カラー画像であっても構わない。
【0024】
画像変換用ネットワーク学習装置１は、実写画像生成ネットワークＮＧ１および実写画像識別ネットワークＮＤ１で構成されるＧＡＮ（敵対的生成ネットワーク）と、ＣＧ画像生成ネットワークＮＧ２およびＣＧ画像識別ネットワークＮＤ２で構成されるＧＡＮとを組み合わせたＣｙｃｌｅＧＡＮとして機能し、学習データである実写画像ＩｒおよびＣＧ画像Ｉｃｇを用いて各ニューラルネットワークを順次学習する。
なお、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２は、ＧＡＮのGeneratorに相当するものである。また、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２は、ＧＡＮのDiscriminatorに相当するものである。
なお、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２は、ＧＡＮのGeneratorに相当するものである。また、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２は、ＧＡＮのDiscriminatorに相当するものである。
【0025】
画像変換用ネットワーク学習装置１は、実写画像Ｉｒが真の実写画像であると識別するように、また、偽実写画像Ｉｆｒが偽の実写画像であると識別するように実写画像識別ネットワークＮＤ１を学習する。なお、偽実写画像Ｉｆｒは、実写画像生成ネットワークＮＧ１によってＣＧ画像Ｉｃｇから生成された画像である。
【0026】
また、画像変換用ネットワーク学習装置１は、ＣＧ画像Ｉｃｇが真のＣＧ画像であると識別するように、また、偽ＣＧ画像Ｉｆｃｇが偽のＣＧ画像であると識別するようにＣＧ画像識別ネットワークＮＤ２を学習する。なお、偽ＣＧ画像Ｉｆｃｇは、ＣＧ画像生成ネットワークＮＧ２によって実写画像Ｉｒから生成された画像である。
【0027】
また、画像変換用ネットワーク学習装置１は、偽実写画像Ｉｆｒが実写画像識別ネットワークＮＤ１において真の実写画像であると識別するように、また、偽ＣＧ画像ＩｆｃｇがＣＧ画像識別ネットワークＮＤ２において真のＣＧ画像であると識別するように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２をそれぞれ学習する。
さらに、画像変換用ネットワーク学習装置１は、実写画像Ｉｒと複製実写画像Ｉｒ２との誤差およびＣＧ画像Ｉｃｇと複製ＣＧ画像Ｉｃｇ２との誤差を小さくするように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２をそれぞれ学習する。なお、複製実写画像Ｉｒ２は、実写画像生成ネットワークＮＧ１によって偽ＣＧ画像Ｉｆｃｇから生成された画像である。また、複製ＣＧ画像Ｉｃｇ２は、ＣＧ画像生成ネットワークＮＧ２によって偽実写画像Ｉｆｒから生成された画像である。
さらに、画像変換用ネットワーク学習装置１は、実写画像Ｉｒと複製実写画像Ｉｒ２との誤差およびＣＧ画像Ｉｃｇと複製ＣＧ画像Ｉｃｇ２との誤差を小さくするように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２をそれぞれ学習する。なお、複製実写画像Ｉｒ２は、実写画像生成ネットワークＮＧ１によって偽ＣＧ画像Ｉｆｃｇから生成された画像である。また、複製ＣＧ画像Ｉｃｇ２は、ＣＧ画像生成ネットワークＮＧ２によって偽実写画像Ｉｆｒから生成された画像である。
【0028】
なお、実写画像識別ネットワークＮＤ１への入力は、実写画像Ｉｒについては、実写画像Ｉｒに実写画像Ｉｒから生成した画像特徴である実写画像特徴マップＭｒを付加したものとし、偽実写画像Ｉｆｒについては、偽実写画像Ｉｆｒから生成した画像特徴である偽実写画像特徴マップＭｆｒを付加したものとする。これによって、実写画像識別ネットワークＮＤ１は、画像特徴に重みをおいて学習されたものとなる。
【0029】
また、ＣＧ画像識別ネットワークＮＤ２への入力は、ＣＧ画像Ｉｃｇについては、ＣＧ画像ＩｃｇにＣＧ画像Ｉｃｇから生成した画像特徴であるＣＧ画像特徴マップＭｃｇを付加したものとし、偽ＣＧ画像Ｉｆｃｇについては、偽ＣＧ画像Ｉｆｃｇに偽ＣＧ画像Ｉｆｃｇから生成した画像特徴である偽ＣＧ画像特徴マップＭｆｃｇを付加したものとする。これによって、ＣＧ画像識別ネットワークＮＤ２は、画像特徴に重みをおいて学習されたものとなる。
【0030】
このように、画像変換用ネットワーク学習装置１は、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２を経由した際に発生するサイクル誤差を小さくし、画像特徴に着目して、各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）を学習することで、精度のよいニューラルネットワークを構築することができる。
【0031】
＜画像変換用ネットワーク学習装置の構成＞
次に、図２を参照（適宜図１参照）して、本発明の実施形態に係る画像変換用ネットワーク学習装置１の構成について説明する。なお、学習データである複数のＣＧ画像Ｉｃｇおよび複数の実写画像Ｉｒは、学習データ記憶装置２に記憶されているものとする。
次に、図２を参照（適宜図１参照）して、本発明の実施形態に係る画像変換用ネットワーク学習装置１の構成について説明する。なお、学習データである複数のＣＧ画像Ｉｃｇおよび複数の実写画像Ｉｒは、学習データ記憶装置２に記憶されているものとする。
【0032】
図２に示すように、画像変換用ネットワーク学習装置１は、記憶手段１０と、学習データ入力手段１１と、実写画像生成手段１２（１２Ａ，１２Ｂ）と、ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）と、実写画像誤差算出手段１４と、ＣＧ画像誤差算出手段１５と、特徴マップ付加手段１６と、実写画像識別手段１７と、ＣＧ画像識別手段１８と、パラメータ更新手段１９と、を備える。
【0033】
記憶手段１０は、画像変換用ネットワーク学習装置１で使用するニューラルネットワークを記憶するものである。記憶手段１０は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
記憶手段１０は、ニューラルネットワークで構成された実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１、ＣＧ画像識別ネットワークＮＤ２および画像特徴抽出ネットワークＮＦを記憶する。
記憶手段１０は、ニューラルネットワークで構成された実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１、ＣＧ画像識別ネットワークＮＤ２および画像特徴抽出ネットワークＮＦを記憶する。
【0034】
実写画像生成ネットワーク（ＮＷ）ＮＧ１は、ＣＧ画像から実写画像（疑似実写画像）を生成するニューラルネットワークである。
この実写画像生成ネットワークＮＧ１の構成は特に限定するものではないが、図３に示すように、複数の畳み込み層Ｌを含んだ畳み込みニューラルネットワークとして構成する。なお、畳み込みニューラルネットワークは、画像サイズを縮小して畳み込みを行う畳み込み層Ｌ１と、画像サイズを変えずに畳み込みを行う畳み込み層Ｌ２と、画像サイズを拡大して畳み込みを行う畳み込み層Ｌ３とを、それぞれ複数連結して構成されることが多い。
この実写画像生成ネットワークＮＧ１のパラメータである層間の重み係数は、予め乱数等の初期値が設定され、実写画像生成手段１２（１２Ａ，１２Ｂ）によって参照されるとともに、パラメータ更新手段１９によって更新される。
この実写画像生成ネットワークＮＧ１の構成は特に限定するものではないが、図３に示すように、複数の畳み込み層Ｌを含んだ畳み込みニューラルネットワークとして構成する。なお、畳み込みニューラルネットワークは、画像サイズを縮小して畳み込みを行う畳み込み層Ｌ１と、画像サイズを変えずに畳み込みを行う畳み込み層Ｌ２と、画像サイズを拡大して畳み込みを行う畳み込み層Ｌ３とを、それぞれ複数連結して構成されることが多い。
この実写画像生成ネットワークＮＧ１のパラメータである層間の重み係数は、予め乱数等の初期値が設定され、実写画像生成手段１２（１２Ａ，１２Ｂ）によって参照されるとともに、パラメータ更新手段１９によって更新される。
【0035】
ＣＧ画像生成ネットワーク（ＮＷ）ＮＧ２は、実写画像（疑似実写画像も含む）からＣＧ画像を生成するニューラルネットワークである。ＣＧ画像生成ネットワークＮＧ２は、複数の畳み込み層を含んだ畳み込みニューラルネットワークとして構成する。
このＣＧ画像生成ネットワークＮＧ２のパラメータである層間の重み係数は、予め乱数等の初期値が設定され、ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）によって参照されるとともに、パラメータ更新手段１９によって更新される。
このＣＧ画像生成ネットワークＮＧ２は、実写画像生成ネットワークＮＧ１と同じネットワーク構成とすることができる。
このＣＧ画像生成ネットワークＮＧ２のパラメータである層間の重み係数は、予め乱数等の初期値が設定され、ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）によって参照されるとともに、パラメータ更新手段１９によって更新される。
このＣＧ画像生成ネットワークＮＧ２は、実写画像生成ネットワークＮＧ１と同じネットワーク構成とすることができる。
【0036】
実写画像識別ネットワーク（ＮＷ）ＮＤ１は、実写画像を入力し、その実写画像が真の実写画像か偽の実写画像かを識別するニューラルネットワークである。ここで、真の実写画像とは、学習データの実写画像Ｉｒであって、偽の実写画像とは、実写画像生成ネットワークＮＧ１によってＣＧ画像Ｉｃｇから生成された実写画像である。
実写画像識別ネットワークＮＤ１は、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
実写画像識別ネットワークＮＤ１は、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
【0037】
この実写画像識別ネットワークＮＤ１の構成は特に限定するものではないが、図４に示すように、予め定めた大きさのカーネルを用いて畳み込み演算を行う複数の畳み込み層Ｌを接続し、最終段に０を超えて１未満の値に正規化して出力値を出力する活性化関数（シグモイド関数）ＡＦを備えた構成とすることができる。
この実写画像識別ネットワークＮＤ１のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、実写画像識別手段１７によって参照されるとともに、パラメータ更新手段１９によって更新される。
この実写画像識別ネットワークＮＤ１のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、実写画像識別手段１７によって参照されるとともに、パラメータ更新手段１９によって更新される。
【0038】
ＣＧ画像識別ネットワーク（ＮＷ）ＮＤ２は、ＣＧ画像を入力し、そのＣＧ画像が真のＣＧ画像か偽のＣＧ画像かを識別するニューラルネットワークである。ここで、真のＣＧ画像とは、学習データのＣＧ画像Ｉｃｇであって、偽のＣＧ画像とは、ＣＧ画像生成ネットワークＮＧ２によって実写画像Ｉｒから生成されたＣＧ画像である。
ＣＧ画像識別ネットワークＮＤ２は、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
このＣＧ画像識別ネットワークＮＤ２の構成は特に限定するものではないが、実写画像識別ネットワークＮＤ１と同じ構成とすることができる。
このＣＧ画像識別ネットワークＮＤ２のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、ＣＧ画像識別手段１８によって参照されるとともに、パラメータ更新手段１９によって更新される。
ＣＧ画像識別ネットワークＮＤ２は、「真値：１」と「偽値：０」を識別する０を超え１未満の確率値を出力データとする。
このＣＧ画像識別ネットワークＮＤ２の構成は特に限定するものではないが、実写画像識別ネットワークＮＤ１と同じ構成とすることができる。
このＣＧ画像識別ネットワークＮＤ２のパラメータであるカーネルの重み係数は、予め乱数等の初期値が設定され、ＣＧ画像識別手段１８によって参照されるとともに、パラメータ更新手段１９によって更新される。
【0039】
画像特徴抽出ネットワーク（ＮＷ）ＮＦは、画像（実写画像、ＣＧ画像）の予め定めた画像特徴を抽出するニューラルネットワークである。この画像特徴抽出ネットワークＮＦは、複数の畳み込み層を介して画像特徴を抽出する予め学習された畳み込みニューラルネットワークである。この画像特徴抽出ネットワークＮＦは、例えば、画像に対応する画像特徴としてエッジ画像を出力するニューラルネットワークとする。画像特徴抽出ネットワークＮＦは、入力画像と同じ大きさのエッジ画像を教師画像として、入力画像からエッジ画像を抽出するように予め学習しておく。
【0040】
より具体的には、入力画像を２５６階調のＲＧＢ３チャンネルのデータとし、教師画像であるエッジ画像を２５６階調の１チャンネルのデータとして学習しておく。この場合、例えば、教師画像の各画素は、“０”～“２５５”までの値で、エッジのない領域は“０”に近い値とし、エッジ近傍ほど“２５５”に近い値とする。
この画像特徴抽出ネットワークＮＦのパラメータであるカーネルの重み係数は、特徴マップ付加手段１６によって参照される。
この画像特徴抽出ネットワークＮＦのパラメータであるカーネルの重み係数は、特徴マップ付加手段１６によって参照される。
【0041】
学習データ入力手段１１は、学習データ記憶装置２に記憶されている学習データであるＣＧ画像Ｉｃｇおよび実写画像Ｉｒを入力するものである。
この学習データ入力手段１１は、ＣＧ画像Ｉｃｇおよび実写画像Ｉｒを、それぞれランダムに入力する。
学習データ入力手段１１は、入力したＣＧ画像Ｉｃｇを、実写画像生成手段１２Ａ、ＣＧ画像誤差算出手段１５および特徴マップ付加手段１６に出力する。また、学習データ入力手段１１は、入力した実写画像Ｉｒを、ＣＧ画像生成手段１３Ｂ、実写画像誤差算出手段１４および特徴マップ付加手段１６に出力する。
この学習データ入力手段１１は、ＣＧ画像Ｉｃｇおよび実写画像Ｉｒを、それぞれランダムに入力する。
学習データ入力手段１１は、入力したＣＧ画像Ｉｃｇを、実写画像生成手段１２Ａ、ＣＧ画像誤差算出手段１５および特徴マップ付加手段１６に出力する。また、学習データ入力手段１１は、入力した実写画像Ｉｒを、ＣＧ画像生成手段１３Ｂ、実写画像誤差算出手段１４および特徴マップ付加手段１６に出力する。
【0042】
また、学習データ入力手段１１は、パラメータ更新手段１９から、次の学習データの入力を指示された段階で、新たに学習データを入力する。
なお、学習データ入力手段１１は、予め定めた学習終了条件に達した段階で、学習データの入力を終了する。例えば、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択した場合、パラメータ更新手段１９から、パラメータ更新の変化量が予め定めた閾値を下回ったことを通知された場合等である。
なお、学習データ入力手段１１は、予め定めた学習終了条件に達した段階で、学習データの入力を終了する。例えば、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択した場合、パラメータ更新手段１９から、パラメータ更新の変化量が予め定めた閾値を下回ったことを通知された場合等である。
【0043】
実写画像生成手段１２（１２Ａ，１２Ｂ）は、実写画像生成ネットワークを用いて、ＣＧ画像から実写画像（疑似実写画像）を生成するものである。
実写画像生成手段１２は、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１にＣＧ画像を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことで実写画像に疑似した画像を生成する。
実写画像生成手段１２は、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１にＣＧ画像を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことで実写画像に疑似した画像を生成する。
【0044】
実写画像生成手段（第１実写画像生成手段）１２Ａは、学習データ入力手段１１で入力されたＣＧ画像Ｉｃｇから偽の実写画像（偽実写画像Ｉｆｒ）を生成する。実写画像生成手段１２Ａは、生成した偽実写画像Ｉｆｒを、ＣＧ画像生成手段１３Ａおよび特徴マップ付加手段１６に出力する。
【0045】
実写画像生成手段（第２実写画像生成手段）１２Ｂは、ＣＧ画像生成手段１３Ｂで生成された偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）から元の実写画像（複製実写画像Ｉｒ２）を生成する。実写画像生成手段１２Ｂは、生成した複製実写画像Ｉｒ２を実写画像誤差算出手段１４に出力する。
【0046】
ＣＧ画像生成手段１３（１３Ａ，１３Ｂ）は、ＣＧ画像生成ネットワークを用いて、実写画像からＣＧ画像を生成するものである。
ＣＧ画像生成手段１３は、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２に実写画像を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことでＣＧ画像を生成する。
ＣＧ画像生成手段１３は、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２に実写画像を入力し、学習対象のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことでＣＧ画像を生成する。
【0047】
ＣＧ画像生成手段（第１ＣＧ画像生成手段）１３Ａは、実写画像生成手段１２Ａで生成された偽の実写画像（偽実写画像Ｉｆｒ）から元のＣＧ画像（複製ＣＧ画像Ｉｃｇ２）を生成する。ＣＧ画像生成手段１３Ａは、生成した複製ＣＧ画像Ｉｃｇ２をＣＧ画像誤差算出手段１５に出力する。
【0048】
ＣＧ画像生成手段（第２ＣＧ画像生成手段）１３Ｂは、学習データ入力手段１１で入力された実写画像Ｉｒから偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）を生成する。ＣＧ画像生成手段１３Ｂは、生成した偽ＣＧ画像Ｉｆｃｇを、実写画像生成手段１２Ｂおよび特徴マップ付加手段１６に出力する。
【0049】
実写画像誤差算出手段１４は、学習データ入力手段１１で入力された実写画像Ｉｒと、実写画像生成手段１２Ｂで生成された複製実写画像Ｉｒ２との誤差（実写画像誤差）を算出するものである。
画像誤差の演算手法は、特に限定するものではないが、例えば、画像の各画素値の差の絶対値の和であるＬ１誤差で求めることができる。あるいは、画像の各画素値の差の二乗和の平方根であるＬ２誤差としてもよい。
画像誤差の演算手法は、特に限定するものではないが、例えば、画像の各画素値の差の絶対値の和であるＬ１誤差で求めることができる。あるいは、画像の各画素値の差の二乗和の平方根であるＬ２誤差としてもよい。
【0050】
ここで、実写画像生成ネットワークＮＧ１による変換をＧ１、ＣＧ画像生成ネットワークＮＧ２による変換をＧ２、実写画像Ｉｒの画像データをＩｒとしたとき、実写画像誤差算出手段１４が算出するＬ１誤差は、以下の式（１）に示すサイクル誤差（実写画像誤差）Ｌｃｙｃ１を算出することに相当する。なお、||Ｘ||１は、Ｌ１誤差を示す。
【0051】
【数1】
【0052】
実写画像誤差算出手段１４は、算出した実写画像Ｉｒのサイクル誤差Ｌｃｙｃ１をパラメータ更新手段１９に出力する。
【0053】
ＣＧ画像誤差算出手段１５は、学習データ入力手段１１で入力されたＣＧ画像Ｉｃｇと、ＣＧ画像生成手段１３Ａで生成された複製ＣＧ画像Ｉｃｇ２との誤差（ＣＧ画像誤差）を算出するものである。
画像誤差の演算手法は、特に限定するものではないが、実写画像誤差算出手段１４と同じ手法を用いることができる。
画像誤差の演算手法は、特に限定するものではないが、実写画像誤差算出手段１４と同じ手法を用いることができる。
【0054】
ここで、実写画像生成ネットワークＮＧ１による変換をＧ１、ＣＧ画像生成ネットワークＮＧ２による変換をＧ２、ＣＧ画像Ｉｃｇの画像データをＩｃｇとしたとき、ＣＧ画像誤差算出手段１５が算出するＬ１誤差は、以下の式（２）に示すサイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２を算出することに相当する。
【0055】
【数2】
【0056】
ＣＧ画像誤差算出手段１５は、算出したＣＧ画像Ｉｃｇのサイクル誤差Ｌｃｙｃ２をパラメータ更新手段１９に出力する。
【0057】
特徴マップ付加手段１６は、学習データのＣＧ画像および実写画像、ならびに、偽ＣＧ画像および偽実写画像の各画像に、それぞれの画像の予め定めた画像特徴を特徴マップとして付加するものである。
この特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦに画像（実写画像、ＣＧ画像）を入力し、ニューラルネットワークの演算を行うことで画像特徴を生成し、元の画像に特徴マップとして付加する。例えば、特徴マップ付加手段１６は、ＲＧＢ３チャンネルの画像から１チャンネルのエッジ画像を画像特徴として生成し、図５に示すように、ＲＧＢ３チャンネルの画像に４チャンネル目の画像として、特徴マップＭを付加する。
この特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦに画像（実写画像、ＣＧ画像）を入力し、ニューラルネットワークの演算を行うことで画像特徴を生成し、元の画像に特徴マップとして付加する。例えば、特徴マップ付加手段１６は、ＲＧＢ３チャンネルの画像から１チャンネルのエッジ画像を画像特徴として生成し、図５に示すように、ＲＧＢ３チャンネルの画像に４チャンネル目の画像として、特徴マップＭを付加する。
【0058】
特徴マップ付加手段１６は、学習データ入力手段１１から入力した実写画像Ｉｒに、生成した特徴マップ（実写画像特徴マップＭｒ）を付加して、実写画像識別手段１７に出力する。また、特徴マップ付加手段１６は、学習データ入力手段１１から入力したＣＧ画像Ｉｃｇに、生成した特徴マップ（ＣＧ画像特徴マップＭｃｇ）を付加して、ＣＧ画像識別手段１８に出力する。
【0059】
また、特徴マップ付加手段１６は、実写画像生成手段１２Ａから入力した偽実写画像Ｉｆｒに、生成した特徴マップ（偽実写画像特徴マップＭｆｒ）を付加して、実写画像識別手段１７に出力する。また、特徴マップ付加手段１６は、ＣＧ画像生成手段１３Ｂから入力した偽ＣＧ画像Ｉｆｃｇに、生成した特徴マップ（偽ＣＧ画像特徴マップＭｆｃｇ）を付加して、ＣＧ画像識別手段１８に出力する。
【0060】
実写画像識別手段１７は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、特徴マップが付加された学習データの実写画像と偽実写画像とについて、それぞれ真の実写画像か否かを示す真偽値を識別結果として算出するものである。
実写画像識別手段１７は、実写画像識別ネットワークＮＤ１に、特徴マップ付加手段１６で実写画像特徴マップＭｒが付加された実写画像Ｉｒを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
また、実写画像識別手段１７は、実写画像識別ネットワークＮＤ１に、特徴マップ付加手段１６で偽実写画像特徴マップＭｆｒが付加された偽実写画像Ｉｆｒを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
実写画像識別手段１７は、実写画像識別ネットワークＮＤ１に、特徴マップ付加手段１６で実写画像特徴マップＭｒが付加された実写画像Ｉｒを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
また、実写画像識別手段１７は、実写画像識別ネットワークＮＤ１に、特徴マップ付加手段１６で偽実写画像特徴マップＭｆｒが付加された偽実写画像Ｉｆｒを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
【0061】
なお、図２では、実写画像識別ネットワークＮＤ１による変換をＤ１、実写画像特徴マップＭｒを付加した実写画像Ｉｒの画像データをＩｒ、偽実写画像特徴マップＭｆｒを付加した偽実写画像Ｉｆｒの画像データをＩｆｒとしたとき、実写画像Ｉｒに対する識別結果をＤ１（Ｉｒ）、偽実写画像Ｉｆｒに対する識別結果をＤ１（Ｉｆｒ）と表している。
実写画像識別手段１７は、実写画像Ｉｒに対する識別結果と、偽実写画像Ｉｆｒに対する識別結果とを、パラメータ更新手段１９に出力する。
実写画像識別手段１７は、実写画像Ｉｒに対する識別結果と、偽実写画像Ｉｆｒに対する識別結果とを、パラメータ更新手段１９に出力する。
【0062】
ＣＧ画像識別手段１８は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、特徴マップが付加された学習データのＣＧ画像と偽ＣＧ画像とについて、それぞれ真のＣＧ画像か否かを示す真偽値を識別結果として算出するものである。
ＣＧ画像識別手段１８は、ＣＧ画像識別ネットワークＮＤ２に、特徴マップ付加手段１６でＣＧ画像特徴マップＭｃｇが付加されたＣＧ画像Ｉｃｇを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
また、ＣＧ画像識別手段１８は、ＣＧ画像識別ネットワークＮＤ２に、特徴マップ付加手段１６で偽ＣＧ画像特徴マップＭｆｃｇが付加された偽ＣＧ画像Ｉｆｃｇを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
ＣＧ画像識別手段１８は、ＣＧ画像識別ネットワークＮＤ２に、特徴マップ付加手段１６でＣＧ画像特徴マップＭｃｇが付加されたＣＧ画像Ｉｃｇを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
また、ＣＧ画像識別手段１８は、ＣＧ画像識別ネットワークＮＤ２に、特徴マップ付加手段１６で偽ＣＧ画像特徴マップＭｆｃｇが付加された偽ＣＧ画像Ｉｆｃｇを入力し、学習対象のパラメータであるカーネルの重み係数を用いてニューラルネットワークの演算を行い、０を超えて１未満の範囲の識別結果を算出する。
【0063】
なお、図２では、ＣＧ画像識別ネットワークＮＤ２による変換をＤ２、ＣＧ画像特徴マップＭｃｇを付加したＣＧ画像Ｉｃｇの画像データをＩｃｇ、偽ＣＧ画像特徴マップＭｆｃｇを付加した偽ＣＧ画像Ｉｆｃｇの画像データをＩｆｃｇとしたとき、ＣＧ画像Ｉｃｇに対する識別結果をＤ２（Ｉｃｇ）、偽ＣＧ画像Ｉｆｃｇに対する識別結果をＤ２（Ｉｆｃｇ）と表している。
ＣＧ画像識別手段１８は、ＣＧ画像Ｉｃｇに対する識別結果と、偽ＣＧ画像Ｉｆｃｇに対する識別結果とを、パラメータ更新手段１９に出力する。
ＣＧ画像識別手段１８は、ＣＧ画像Ｉｃｇに対する識別結果と、偽ＣＧ画像Ｉｆｃｇに対する識別結果とを、パラメータ更新手段１９に出力する。
【0064】
パラメータ更新手段１９は、実写画像誤差算出手段１４およびＣＧ画像誤差算出手段１５で算出される誤差と、実写画像識別手段１７およびＣＧ画像識別手段１８で算出される識別結果とに基づいて、予め定めた損失関数の損失値を最小化するように、実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新するものである。
【0065】
パラメータ更新手段１９は、損失関数として、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２を学習するための損失関数（以下、画像識別用損失関数という）と、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２を学習するための損失関数（以下、画像生成用損失関数という）と、を用いる。
【0066】
画像識別用損失関数は、実写画像Ｉｒに対する識別結果と真値との差、偽実写画像Ｉｆｒに対する識別結果と偽値との差、ＣＧ画像Ｉｃｇに対する識別結果と真値との差、偽ＣＧ画像Ｉｆｃｇに対する識別結果と偽値との差との和（損失値）を演算する関数である。なお、画像識別用損失関数は、識別結果と真偽値との交差エントロピーの和としてもよいし、識別結果と真偽値との差の二乗和であっても構わない。ここでは、交差エントロピーを例として説明する。
【0067】
以下の式（３）に示すように、画像識別用損失関数ＬＤは、実写画像生成ネットワークＮＧ１および実写画像識別ネットワークＮＤ１で構成されるＧＡＮの損失関数Ｌｇａｎ１と、ＣＧ画像生成ネットワークＮＧ２およびＣＧ画像識別ネットワークＮＤ２で構成されるＧＡＮの損失関数Ｌｇａｎ２との和である。
【0068】
【数3】
【0069】
ここで、実写画像Ｉｒに対する識別結果の値をＤ１（Ｉｒ）、偽実写画像Ｉｆｒに対する識別結果の値をＤ１（Ｉｆｒ）、ＣＧ画像Ｉｃｇに対する識別結果の値をＤ２（Ｉｃｇ）、偽ＣＧ画像Ｉｆｃｇに対する識別結果の値をＤ２（Ｉｆｃｇ）とする。また、真値を“Ｒｅａｌ（＝１）”、偽値を“Ｆａｋｅ（＝０）”とする。また、Ｌｂｃｅを、２値交差エントロピーを演算する関数とする。
この場合、式（３）のＬｇａｎ１およびＬｇａｎ２は以下の式（４）となる。
この場合、式（３）のＬｇａｎ１およびＬｇａｎ２は以下の式（４）となる。
【0070】
【数4】
【0071】
なお、ａは“０”，“１”を両端とする開区間の実数〔ａ∈（０，１）〕、ｂは“０”または“１”〔ｂ∈｛０，１｝〕を示す。
【0072】
画像生成用損失関数は、偽実写画像Ｉｆｒに対する識別結果と真値との差、偽ＣＧ画像Ｉｆｃｇに対する識別結果と真値との差、サイクル誤差（実写画像誤差）Ｌｃｙｃ１、サイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２との和（損失値）を演算する関数である。
以下の式（５）に示すように、画像生成用損失関数ＬＧは、実写画像生成ネットワークＮＧ１の損失関数ＬＧ１と、ＣＧ画像生成ネットワークＮＧ２の損失関数ＬＧ２との和である。なお、損失関数ＬＧ１と損失関数ＬＧ２には、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２が含まれている。
以下の式（５）に示すように、画像生成用損失関数ＬＧは、実写画像生成ネットワークＮＧ１の損失関数ＬＧ１と、ＣＧ画像生成ネットワークＮＧ２の損失関数ＬＧ２との和である。なお、損失関数ＬＧ１と損失関数ＬＧ２には、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２が含まれている。
【0073】
【数5】
【0074】
ここで、偽実写画像Ｉｆｒに対する識別結果の値をＤ１（Ｉｆｒ）、偽ＣＧ画像Ｉｆｃｇに対する識別結果の値をＤ２（Ｉｆｃｇ）とする。また、真値を“Ｒｅａｌ（＝１）”、偽値を“Ｆａｋｅ（＝０）”とする。また、Ｌｂｃｅを、２値交差エントロピーを演算する関数とする。
この場合、式（５）のＬＧ１およびＬＧ２は以下の式（６）となる。
この場合、式（５）のＬＧ１およびＬＧ２は以下の式（６）となる。
【0075】
【数6】
【0076】
なお、λは、任意の定数であって、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２の重みを、交差エントロピーと同程度に調整する係数である。
【0077】
パラメータ更新手段１９は、式（３）の画像識別用損失関数の値を最小化させるように誤差逆伝播法により、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新する。
また、パラメータ更新手段１９は、式（５）の画像生成用損失関数の値を最小化させるように誤差逆伝播法により、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２のパラメータを更新する。
そして、パラメータ更新手段１９は、パラメータ更新後、次の学習データ入力することを学習データ入力手段１１に指示する。また、パラメータ更新手段１９は、パラメータ更新の変化量が予め定めた閾値を下回る場合、その旨を学習データ入力手段１１に通知する。
また、パラメータ更新手段１９は、式（５）の画像生成用損失関数の値を最小化させるように誤差逆伝播法により、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２のパラメータを更新する。
そして、パラメータ更新手段１９は、パラメータ更新後、次の学習データ入力することを学習データ入力手段１１に指示する。また、パラメータ更新手段１９は、パラメータ更新の変化量が予め定めた閾値を下回る場合、その旨を学習データ入力手段１１に通知する。
【0078】
以上説明したように、画像変換用ネットワーク学習装置１は、実写画像、偽実写画像、ＣＧ画像および偽ＣＧ画像にそれぞれのエッジ画像を特徴マップとして付加して、画像の真偽を識別するため、学習対象である各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）に対して、明示的にエッジの特徴に対する重要度を高めることができる。
【0079】
これによって、画像変換用ネットワーク学習装置１は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
なお、画像変換用ネットワーク学習装置１は、コンピュータを、前記した各手段として機能させるための画像変換用ネットワーク学習プログラムで動作させることができる。
なお、画像変換用ネットワーク学習装置１は、コンピュータを、前記した各手段として機能させるための画像変換用ネットワーク学習プログラムで動作させることができる。
【0080】
＜画像変換用ネットワーク学習装置の動作＞
次に、図６を参照（構成については適宜図２参照）して、画像変換用ネットワーク学習装置１の動作について説明する。なお、学習データ記憶装置２には、学習データである複数のＣＧ画像Ｉｃｇと、複数の実写画像Ｉｒとが記憶されているものとする。
次に、図６を参照（構成については適宜図２参照）して、画像変換用ネットワーク学習装置１の動作について説明する。なお、学習データ記憶装置２には、学習データである複数のＣＧ画像Ｉｃｇと、複数の実写画像Ｉｒとが記憶されているものとする。
【0081】
ステップＳ１において、学習データ入力手段１１は、学習データ記憶装置２に記憶されているＣＧ画像Ｉｃｇおよび実写画像Ｉｒをそれぞれランダムに入力する。
そして、画像変換用ネットワーク学習装置１は、ステップＳ１で入力されたＣＧ画像Ｉｃｇについて、以下のステップＳ２からＳ８の動作を行う。
そして、画像変換用ネットワーク学習装置１は、ステップＳ１で入力されたＣＧ画像Ｉｃｇについて、以下のステップＳ２からＳ８の動作を行う。
【0082】
ステップＳ２において、実写画像生成手段１２Ａは、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１を用いて、ステップＳ１で入力されたＣＧ画像Ｉｃｇから偽の実写画像（偽実写画像Ｉｆｒ）を生成する。
ステップＳ３において、ＣＧ画像生成手段１３Ａは、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２を用いて、ステップＳ２で生成された偽実写画像Ｉｆｒから元のＣＧ画像（複製ＣＧ画像Ｉｃｇ２）を生成する。
ステップＳ４において、ＣＧ画像誤差算出手段１５は、ステップＳ１で入力されたＣＧ画像Ｉｃｇと、ステップＳ３で生成された複製ＣＧ画像Ｉｃｇ２との画像の誤差を算出する。これによって、ＣＧ画像誤差算出手段１５は、ＣＧ画像Ｉｃｇに対するサイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２を算出する。
ステップＳ３において、ＣＧ画像生成手段１３Ａは、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２を用いて、ステップＳ２で生成された偽実写画像Ｉｆｒから元のＣＧ画像（複製ＣＧ画像Ｉｃｇ２）を生成する。
ステップＳ４において、ＣＧ画像誤差算出手段１５は、ステップＳ１で入力されたＣＧ画像Ｉｃｇと、ステップＳ３で生成された複製ＣＧ画像Ｉｃｇ２との画像の誤差を算出する。これによって、ＣＧ画像誤差算出手段１５は、ＣＧ画像Ｉｃｇに対するサイクル誤差（ＣＧ画像誤差）Ｌｃｙｃ２を算出する。
【0083】
ステップＳ５において、特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて、ステップＳ２で生成された偽実写画像Ｉｆｒから画像特徴を生成し、偽実写画像Ｉｆｒに特徴マップとして付加する。
ステップＳ６において、特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて、ステップＳ１で入力されたＣＧ画像Ｉｃｇから画像特徴を生成し、ＣＧ画像Ｉｃｇに特徴マップとして付加する。
ステップＳ６において、特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて、ステップＳ１で入力されたＣＧ画像Ｉｃｇから画像特徴を生成し、ＣＧ画像Ｉｃｇに特徴マップとして付加する。
【0084】
ステップＳ７において、実写画像識別手段１７は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、ステップＳ５で特徴マップが付加された偽実写画像Ｉｆｒが真の実写画像か否かを識別する。ここで、実写画像識別手段１７は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲で実写画像の識別結果Ｄ１（Ｉｆｒ）を算出する。
ステップＳ８において、ＣＧ画像識別手段１８は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、ステップＳ６で特徴マップが付加されたＣＧ画像Ｉｃｇが真のＣＧ画像か否かを識別する。ここで、ＣＧ画像識別手段１８は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲でＣＧ画像の識別結果Ｄ２（Ｉｃｇ）を算出する。
ステップＳ８において、ＣＧ画像識別手段１８は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、ステップＳ６で特徴マップが付加されたＣＧ画像Ｉｃｇが真のＣＧ画像か否かを識別する。ここで、ＣＧ画像識別手段１８は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲でＣＧ画像の識別結果Ｄ２（Ｉｃｇ）を算出する。
【0085】
また、画像変換用ネットワーク学習装置１は、ステップＳ１で入力された実写画像Ｉｒについて、以下のステップＳ９からＳ１５の動作を行う。
ステップＳ９において、ＣＧ画像生成手段１３Ｂは、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２を用いて、ステップＳ１で入力された実写画像Ｉｒから偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）を生成する。
ステップＳ１０において、実写画像生成手段１２Ｂは、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１を用いて、ステップＳ９で生成された偽ＣＧ画像Ｉｆｃｇから元の実写画像（複製実写画像Ｉｒ２）を生成する。
ステップＳ１１において、実写画像誤差算出手段１４は、ステップＳ１で入力された実写画像Ｉｒと、ステップＳ１０で生成された複製実写画像Ｉｒ２との画像の誤差を算出する。これによって、実写画像誤差算出手段１４は、実写画像Ｉｒに対するサイクル誤差（実写画像誤差）Ｌｃｙｃ１を算出する。
ステップＳ９において、ＣＧ画像生成手段１３Ｂは、記憶手段１０に記憶されているＣＧ画像生成ネットワークＮＧ２を用いて、ステップＳ１で入力された実写画像Ｉｒから偽のＣＧ画像（偽ＣＧ画像Ｉｆｃｇ）を生成する。
ステップＳ１０において、実写画像生成手段１２Ｂは、記憶手段１０に記憶されている実写画像生成ネットワークＮＧ１を用いて、ステップＳ９で生成された偽ＣＧ画像Ｉｆｃｇから元の実写画像（複製実写画像Ｉｒ２）を生成する。
ステップＳ１１において、実写画像誤差算出手段１４は、ステップＳ１で入力された実写画像Ｉｒと、ステップＳ１０で生成された複製実写画像Ｉｒ２との画像の誤差を算出する。これによって、実写画像誤差算出手段１４は、実写画像Ｉｒに対するサイクル誤差（実写画像誤差）Ｌｃｙｃ１を算出する。
【0086】
ステップＳ１２において、特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて、ステップＳ９で生成された偽ＣＧ画像Ｉｆｃｇから画像特徴を生成し、偽ＣＧ画像Ｉｆｃｇに特徴マップとして付加する。
ステップＳ１３において、特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて、ステップＳ１で入力された実写画像Ｉｒから画像特徴を生成し、実写画像Ｉｒに特徴マップとして付加する。
ステップＳ１３において、特徴マップ付加手段１６は、記憶手段１０に記憶されている画像特徴抽出ネットワークＮＦを用いて、ステップＳ１で入力された実写画像Ｉｒから画像特徴を生成し、実写画像Ｉｒに特徴マップとして付加する。
【0087】
ステップＳ１４において、ＣＧ画像識別手段１８は、記憶手段１０に記憶されているＣＧ画像識別ネットワークＮＤ２を用いて、ステップＳ１２で特徴マップが付加された偽ＣＧ画像Ｉｆｃｇが真のＣＧ画像か否かを識別する。ここで、ＣＧ画像識別手段１８は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲でＣＧ画像の識別結果Ｄ２（Ｉｆｃｇ）を算出する。
ステップＳ１５において、実写画像識別手段１７は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、ステップＳ１３で特徴マップが付加された実写画像Ｉｒが真の実写画像か否かを識別する。ここで、実写画像識別手段１７は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲で実写画像の識別結果Ｄ１（Ｉｒ）を算出する。
なお、ステップＳ２～Ｓ８と、ステップＳ９～Ｓ１５とは、並列で処理することができる。
ステップＳ１５において、実写画像識別手段１７は、記憶手段１０に記憶されている実写画像識別ネットワークＮＤ１を用いて、ステップＳ１３で特徴マップが付加された実写画像Ｉｒが真の実写画像か否かを識別する。ここで、実写画像識別手段１７は、「偽」を“０”、「真」を“１”とする０を超え１未満の範囲で実写画像の識別結果Ｄ１（Ｉｒ）を算出する。
なお、ステップＳ２～Ｓ８と、ステップＳ９～Ｓ１５とは、並列で処理することができる。
【0088】
ステップＳ１６において、パラメータ更新手段１９は、サイクル誤差Ｌｃｙｃ１，Ｌｃｙｃ２と、識別結果Ｄ１（Ｉｒ），Ｄ１（Ｉｆｒ），Ｄ２（Ｉｃｇ），Ｄ２（Ｉｆｃｇ）と、に基づいて、実写画像生成ネットワークＮＧ１、ＣＧ画像生成ネットワークＮＧ２、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新する。
【0089】
ここでは、パラメータ更新手段１９は、予め定めた画像識別用損失関数（式（３），式（４）参照）により、識別結果Ｄ１（Ｉｒ）と真値との差（例えば、交差エントロピー、以下同様）、識別結果Ｄ１（Ｉｆｒ）と偽値との差、識別結果Ｄ２（Ｉｃｇ）と真値との差、および、識別結果Ｄ２（Ｉｆｃｇ）と偽値との差の和を最小化するように、実写画像識別ネットワークＮＤ１およびＣＧ画像識別ネットワークＮＤ２のパラメータを更新する。
【0090】
また、パラメータ更新手段１９は、予め定めた画像生成用損失関数（式（５），式（６）参照）により、識別結果Ｄ１（Ｉｆｒ）と真値との差、識別結果Ｄ２（Ｉｆｃｇ）と真値との差、サイクル誤差Ｌｃｙｃ１、および、サイクル誤差Ｌｃｙｃ２の和を最小化するように、実写画像生成ネットワークＮＧ１およびＣＧ画像生成ネットワークＮＧ２のパラメータを更新する。
【0091】
ステップＳ１７において、学習データ入力手段１１は、予め定めた学習完了の終了条件を満たしたか否かを判定する。例えば、ここでは、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択していない場合（ステップＳ１７でＮｏ）、学習が完了していないと判定し、画像変換用ネットワーク学習装置１は、ステップＳ１に戻って学習を継続する。
【0092】
一方、学習データ入力手段１１は、予め定めた学習回数だけ、学習データ全体を選択した場合（ステップＳ１７でＹｅｓ）、学習が完了したと判定し、画像変換用ネットワーク学習装置１は、動作を終了する。
以上の動作によって、画像変換用ネットワーク学習装置１は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
以上の動作によって、画像変換用ネットワーク学習装置１は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
【0093】
＜画像変換装置の構成＞
次に、図７を参照して、本発明の実施形態に係る画像変換装置３の構成について説明する。
次に、図７を参照して、本発明の実施形態に係る画像変換装置３の構成について説明する。
【0094】
画像変換装置３は、ＣＧ画像を疑似実写画像に変換するものである。なお、ＣＧ画像Ｉｃｇは、３Ｄモデルをレンダリングした画像である。
図７に示すように、画像変換装置３は、記憶手段３０と、画像入力手段３１と、実写画像生成手段３２と、画像出力手段３３と、備える。
図７に示すように、画像変換装置３は、記憶手段３０と、画像入力手段３１と、実写画像生成手段３２と、画像出力手段３３と、備える。
【0095】
記憶手段３０は、実写画像生成ネットワークＮＧ１を予め記憶するものである。記憶手段３０は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
実写画像生成ネットワーク（ＮＷ）ＮＧ１は、ＣＧ画像から疑似実写画像を生成するニューラルネットワークである。この実写画像生成ネットワークＮＧ１は、図２の画像変換用ネットワーク学習装置１で説明した実写画像生成ネットワークＮＧ１と同じ複数の畳み込み層を含んだ畳み込みニューラルネットワークである（図３参照）。
この実写画像生成ネットワークＮＧ１は、予め画像変換用ネットワーク学習装置１（図２）で学習したものである。
実写画像生成ネットワークＮＧ１は、実写画像生成手段３２によって参照される。
実写画像生成ネットワーク（ＮＷ）ＮＧ１は、ＣＧ画像から疑似実写画像を生成するニューラルネットワークである。この実写画像生成ネットワークＮＧ１は、図２の画像変換用ネットワーク学習装置１で説明した実写画像生成ネットワークＮＧ１と同じ複数の畳み込み層を含んだ畳み込みニューラルネットワークである（図３参照）。
この実写画像生成ネットワークＮＧ１は、予め画像変換用ネットワーク学習装置１（図２）で学習したものである。
実写画像生成ネットワークＮＧ１は、実写画像生成手段３２によって参照される。
【0096】
画像入力手段３１は、外部から、実写化の対象となるＣＧ画像Ｉｃｇを入力するものである。
画像入力手段３１は、入力したＣＧ画像Ｉｃｇを、実写画像生成手段３２に出力する。
画像入力手段３１は、入力したＣＧ画像Ｉｃｇを、実写画像生成手段３２に出力する。
【0097】
実写画像生成手段（第３実写画像生成手段）３２は、ＣＧ画像から実写画像（疑似実写画像）を生成するものである。
実写画像生成手段３２は、記憶手段３０に記憶されている実写画像生成ネットワークＮＧ１にＣＧ画像を入力し、学習済のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことで実写画像を生成する。
実写画像生成手段３２は、生成した実写画像Ｉｒを画像出力手段３３に出力する。
実写画像生成手段３２は、記憶手段３０に記憶されている実写画像生成ネットワークＮＧ１にＣＧ画像を入力し、学習済のパラメータであるレイヤ間の重み係数を用いて、ニューラルネットワークの演算を行うことで実写画像を生成する。
実写画像生成手段３２は、生成した実写画像Ｉｒを画像出力手段３３に出力する。
【0098】
画像出力手段３３は、実写画像生成手段３２で生成された実写画像を外部に出力するものである。例えば、画像出力手段３３は、外部の記憶媒体に実写画像を記憶する、外部の表示装置に実写画像を表示する等、実写画像の外部出力を行う。
以上説明したように画像変換装置３を構成することで、画像変換装置３は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換することができる。
なお、画像変換装置３は、コンピュータを、前記した各手段として機能させるための画像変換プログラムで動作させることができる。
以上説明したように画像変換装置３を構成することで、画像変換装置３は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換することができる。
なお、画像変換装置３は、コンピュータを、前記した各手段として機能させるための画像変換プログラムで動作させることができる。
【0099】
＜画像変換装置の動作＞
次に、図８を参照（構成については適宜図７参照）して、本発明の実施形態に係る画像変換装置３の動作について説明する。なお、記憶手段３０には、学習済の実写画像生成ネットワークＮＧ１が記憶されているものとする。
次に、図８を参照（構成については適宜図７参照）して、本発明の実施形態に係る画像変換装置３の動作について説明する。なお、記憶手段３０には、学習済の実写画像生成ネットワークＮＧ１が記憶されているものとする。
【0100】
ステップＳ２０において、画像入力手段３１は、外部から、実写化の対象となるＣＧ画像を入力する。
ステップＳ２１において、実写画像生成手段３２は、記憶手段３０に記憶されている実写画像生成ネットワークＮＧ１の学習済のパラメータであるレイヤ間の重み係数を用いて、ステップＳ２０で入力されたＣＧ画像から実写画像（疑似実写画像）を生成する。
ステップＳ２２において、画像出力手段３３は、ステップＳ２１で生成された実写画像（疑似実写画像）を外部に出力する
以上の動作によって、画像変換装置３は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換することができる。
ステップＳ２１において、実写画像生成手段３２は、記憶手段３０に記憶されている実写画像生成ネットワークＮＧ１の学習済のパラメータであるレイヤ間の重み係数を用いて、ステップＳ２０で入力されたＣＧ画像から実写画像（疑似実写画像）を生成する。
ステップＳ２２において、画像出力手段３３は、ステップＳ２１で生成された実写画像（疑似実写画像）を外部に出力する
以上の動作によって、画像変換装置３は、エッジの鮮明さの劣化を抑えて、ＣＧ画像を写実性の高い疑似実写画像に変換することができる。
【0101】
以上、本発明の実施形態に係る画像変換用ネットワーク学習装置１および画像変換装置３について説明したが、本発明は、この実施形態に限定されるものではない。
＜変形例１＞
ここでは、画像変換装置３を、図７の構成としたが、図９に示すように、画像変換装置３の内部に画像変換用ネットワーク学習装置１を備えた画像変換装置３Ｂとして構成してもよい。なお、図９の画像変換装置３Ｂの内部に備える画像変換用ネットワーク学習装置１は、図２で説明した構成と同じ構成であるため、内部の詳細な構成は図示を省略している。
この場合、記憶手段１０に記憶され、学習される実写画像生成ネットワークＮＧ１が、実写画像生成手段３２によって参照されることになる。
図９に示すように画像変換装置３Ｂを構成することで、画像変換装置３Ｂは、画像変換用ネットワーク学習装置１および画像変換装置３の効果に加え、実写画像生成ネットワークＮＧ１の再学習を容易に行うことができる。
なお、画像変換装置３Ｂは、コンピュータを、前記した各手段として機能させるための画像変換プログラムで動作させることができる。
＜変形例１＞
ここでは、画像変換装置３を、図７の構成としたが、図９に示すように、画像変換装置３の内部に画像変換用ネットワーク学習装置１を備えた画像変換装置３Ｂとして構成してもよい。なお、図９の画像変換装置３Ｂの内部に備える画像変換用ネットワーク学習装置１は、図２で説明した構成と同じ構成であるため、内部の詳細な構成は図示を省略している。
この場合、記憶手段１０に記憶され、学習される実写画像生成ネットワークＮＧ１が、実写画像生成手段３２によって参照されることになる。
図９に示すように画像変換装置３Ｂを構成することで、画像変換装置３Ｂは、画像変換用ネットワーク学習装置１および画像変換装置３の効果に加え、実写画像生成ネットワークＮＧ１の再学習を容易に行うことができる。
なお、画像変換装置３Ｂは、コンピュータを、前記した各手段として機能させるための画像変換プログラムで動作させることができる。
【0102】
＜変形例２＞
ここでは、画像変換用ネットワーク学習装置１（図２参照）の特徴マップ付加手段１６において、画像特徴抽出ネットワークＮＦを用いて、画像特徴を抽出することとした。
しかし、画像特徴の抽出には、一般的なアルゴリズムによる画像変換フィルタを用いてもよい。例えば、特徴マップ付加手段１６は、入力した画像をグレースケール化し、ソーベルフィルタ等のエッジ抽出フィルタでエッジを抽出することとしてもよい。ただし、このような画像変換フィルタは、ニューラルネットワークの最適化の過程でバックプロパケーションのネットワーク内に組み込めるものとする。
ここでは、画像変換用ネットワーク学習装置１（図２参照）の特徴マップ付加手段１６において、画像特徴抽出ネットワークＮＦを用いて、画像特徴を抽出することとした。
しかし、画像特徴の抽出には、一般的なアルゴリズムによる画像変換フィルタを用いてもよい。例えば、特徴マップ付加手段１６は、入力した画像をグレースケール化し、ソーベルフィルタ等のエッジ抽出フィルタでエッジを抽出することとしてもよい。ただし、このような画像変換フィルタは、ニューラルネットワークの最適化の過程でバックプロパケーションのネットワーク内に組み込めるものとする。
【0103】
＜変形例３＞
ここでは、画像変換用ネットワーク学習装置１（図２参照）の特徴マップ付加手段１６において、画像特徴としてエッジを用いた。
しかし、画像特徴は、必ずしもエッジに限定されるものではなく、輪郭、色等を画像特徴としてもよい。
ここでは、画像変換用ネットワーク学習装置１（図２参照）の特徴マップ付加手段１６において、画像特徴としてエッジを用いた。
しかし、画像特徴は、必ずしもエッジに限定されるものではなく、輪郭、色等を画像特徴としてもよい。
【0104】
例えば、輪郭を画像特徴とする場合、特徴マップ付加手段１６は、入力した画像を２値化し、一方の画素値を“０”、他方の画素値を“２５５”のように、輪郭の内外で急峻に画素値が変化する１チャンネルのデータを特徴マップとして付加すればよい。
これによって、画像変換用ネットワーク学習装置１は、学習対象である各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）に対して、明示的に輪郭の特徴に対する重要度を高めることができ、輪郭のボケを抑え、写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
これによって、画像変換用ネットワーク学習装置１は、学習対象である各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）に対して、明示的に輪郭の特徴に対する重要度を高めることができ、輪郭のボケを抑え、写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
【0105】
また、例えば、色を画像特徴とする場合、特徴マップ付加手段１６は、入力したカラー画像（例えば、ＲＧＢ）の３チャンネルの各チャンネルにおいて、予め定めた大きさのセグメントに区切った領域ごとに代表値（平均値、最頻値等）を設定した３チャンネルのデータを生成し、図１０に示すように、ＲＧＢ３チャンネルの画像の４～６チャンネル目に特徴マップＭとして付加すればよい。
これによって、画像変換用ネットワーク学習装置１は、学習対象である各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）に対して、明示的に色の特徴に対する重要度を高めることができ、色のボケを抑え、写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
これによって、画像変換用ネットワーク学習装置１は、学習対象である各ニューラルネットワーク（ＮＤ１，ＮＤ２，ＮＧ１およびＮＧ２）に対して、明示的に色の特徴に対する重要度を高めることができ、色のボケを抑え、写実性の高い疑似実写画像に変換するための実写画像生成ネットワークＮＧ１を学習することができる。
【0106】
なお、特徴マップ付加手段１６が付加する特徴マップは、必ずしも１つの画像特徴のみを用いたものではなく、エッジ、輪郭、色等の１以上の組み合わせで特徴マップを付加してもよい。
例えば、図１１に示すように、特徴マップ付加手段１６は、ＲＧＢ３チャンネルの画像に、エッジの特徴マップＭ１、輪郭の特徴マップＭ２、色の特徴マップＭ３を付加することとしてもよい。
例えば、図１１に示すように、特徴マップ付加手段１６は、ＲＧＢ３チャンネルの画像に、エッジの特徴マップＭ１、輪郭の特徴マップＭ２、色の特徴マップＭ３を付加することとしてもよい。
【符号の説明】
【0107】
１ 画像変換用ネットワーク学習装置
１０ 記憶手段
１１ 学習データ入力手段
１２、１２Ａ 実写画像生成手段（第１実写画像生成手段）
１２、１２Ｂ 実写画像生成手段（第２実写画像生成手段）
１３、１３Ａ ＣＧ画像生成手段（第１ＣＧ画像生成手段）
１３、１３Ｂ ＣＧ画像生成手段（第２ＣＧ画像生成手段）
１４ 実写画像誤差算出手段
１５ ＣＧ画像誤差算出手段
１６ 特徴マップ付加手段
１７ 実写画像識別手段
１８ ＣＧ画像識別手段
１９ パラメータ更新手段
２ 学習データ記憶装置
３、３Ｂ 画像変換装置
３０ 記憶手段
３１ 画像入力手段
３２ 実写画像生成手段（第３実写画像生成手段）
３３ 画像出力手段
ＮＧ１ 実写画像生成ネットワーク
ＮＧ２ ＣＧ画像生成ネットワーク
ＮＤ１ 実写画像識別ネットワーク
ＮＤ２ ＣＧ画像識別ネットワーク
ＮＦ 画像特徴抽出ネットワーク
１０ 記憶手段
１１ 学習データ入力手段
１２、１２Ａ 実写画像生成手段（第１実写画像生成手段）
１２、１２Ｂ 実写画像生成手段（第２実写画像生成手段）
１３、１３Ａ ＣＧ画像生成手段（第１ＣＧ画像生成手段）
１３、１３Ｂ ＣＧ画像生成手段（第２ＣＧ画像生成手段）
１４ 実写画像誤差算出手段
１５ ＣＧ画像誤差算出手段
１６ 特徴マップ付加手段
１７ 実写画像識別手段
１８ ＣＧ画像識別手段
１９ パラメータ更新手段
２ 学習データ記憶装置
３、３Ｂ 画像変換装置
３０ 記憶手段
３１ 画像入力手段
３２ 実写画像生成手段（第３実写画像生成手段）
３３ 画像出力手段
ＮＧ１ 実写画像生成ネットワーク
ＮＧ２ ＣＧ画像生成ネットワーク
ＮＤ１ 実写画像識別ネットワーク
ＮＤ２ ＣＧ画像識別ネットワーク
ＮＦ 画像特徴抽出ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】