特許 7353032 データ生成装置、データ生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-21

(45)【発行日】2023-09-29

(54)【発明の名称】データ生成装置、データ生成方法及びプログラム

(51)【国際特許分類】

   G06N 3/0475 20230101AFI20230922BHJP

   G06T 11/80 20060101ALI20230922BHJP

   G06T 1/40 20060101ALI20230922BHJP

【ＦＩ】

G06N3/0475

G06T11/80 A

G06T1/40

【請求項の数】 29

(21)【出願番号】P 2018215020

(22)【出願日】2018-11-15

(65)【公開番号】P2020086542

(43)【公開日】2020-06-04

【審査請求日】2021-10-25

(73)【特許権者】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】鈴木 良平

(72)【発明者】

【氏名】宮戸 岳

(72)【発明者】

【氏名】米辻 泰山

【審査官】金田 孝之

(56)【参考文献】

【文献】国際公開第２０１８／０７９０２０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０３１４７１６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１４０５２４（ＵＳ，Ａ１）

【文献】Jun-Yan Zhu et al.，Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks，arXiv:1703.10593v5，2018年08月，<URL: https://arxiv.org/abs/1703.10593v5>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ １１／８０

(57)【特許請求の範囲】

【請求項1】

１以上のメモリと、１以上のプロセッサと、を備え、
前記１以上のプロセッサは、
第１のデータを受け付け、
前記第１のデータの少なくとも第１の部分をエンコーダに入力することで条件変数を生成し、
前記条件変数を第１のニューラルネットワークに入力することで、第２のデータを生成し、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
データ生成装置。

【請求項2】

１以上のメモリと、１以上のプロセッサと、を備え、
前記１以上のプロセッサは、
第１のデータを受け付け、
初期値を第１のニューラルネットワークに入力して得られたデータと、前記第１のデータの少なくとも第１の部分との誤差を誤差逆伝播することで条件変数を生成し、
前記条件変数を前記第１のニューラルネットワークに入力することで、第２のデータを生成し、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
データ生成装置。

【請求項3】

１以上のメモリと、１以上のプロセッサと、を備え、
前記１以上のプロセッサは、
第１のデータを受け付け、
前記第１のデータの少なくとも第１の部分をエンコーダに入力することで得られた値を第１のニューラルネットワークに入力することで得られたデータと、少なくとも前記第１の部分との誤差を誤差逆伝播することで条件変数を生成し、
前記条件変数を前記第１のニューラルネットワークに入力することで、第２のデータを生成し、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
データ生成装置。

【請求項4】

前記１以上のプロセッサは、
少なくとも前記第１の部分と、前記データとの誤差に基づいて、前記条件変数を生成する、請求項２又は請求項３に記載のデータ生成装置。

【請求項5】

前記初期値は、ランダムな値を含む、請求項２又は請求項２に従属する請求項４に記載のデータ生成装置。

【請求項6】

前記第１のニューラルネットワークは、ユーザからの指示に基づいて、前記複数の生成モデルから選択された生成モデルである、請求項１乃至５のいずれか一項に記載のデータ生成装置。

【請求項7】

前記第１のニューラルネットワークは、前記第１の部分に含まれる物体に基づいて、前記複数の生成モデルから選択された生成モデルである、請求項１乃至６のいずれか一項に記載のデータ生成装置。

【請求項8】

前記１以上のプロセッサは、
前記第２のデータを生成する前に、ユーザからの指示に基づいて、前記条件変数を変更し、
変更後の前記条件変数と前記第１のニューラルネットワークとを用いて、前記第２のデータを生成する、請求項１乃至７のいずれか一項に記載のデータ生成装置。

【請求項9】

前記１以上のプロセッサは、
前記第２のデータを生成する前に、参照データから生成された参照用の条件変数を用いて、前記条件変数を変更し、
変更後の前記条件変数と前記第１のニューラルネットワークとを用いて、前記第２のデータを生成する、請求項１乃至７のいずれか一項に記載のデータ生成装置。

【請求項10】

前記複数の生成モデルの各々は、それぞれ異なるクラスに属する物体が含まれる訓練データを用いて訓練された生成モデルである、請求項１乃至９のいずれか一項に記載のデータ生成装置。

【請求項11】

前記１以上のプロセッサは、
前記第２のデータと前記第１のデータの少なくとも第２の部分とを合成することで、第３のデータを生成する、請求項１乃至１０のいずれか一項に記載のデータ生成装置。

【請求項12】

前記第１の部分は、
前記第１のデータにおいて、ユーザによって指定又は選択された部分、
前記第１のデータにおいて、ユーザによって所定の色でペイントされた部分、
前記第１のデータにおいて、ユーザによって線で囲まれた部分、
の少なくとも１つである、請求項１乃至１１のいずれか一項に記載のデータ生成装置。

【請求項13】

前記１以上のプロセッサは、
前記第１の部分を前記第１のニューラルネットワークに直接入力せずに、前記第２のデータを生成する、請求項１乃至１２のいずれか一項に記載のデータ生成装置。

【請求項14】

前記第１のデータは、画像、音声、文章、３Ｄオブジェクトの少なくとも１つである、請求項１乃至１３のいずれか一項に記載のデータ生成装置。

【請求項15】

前記１以上のプロセッサは、
前記第１のニューラルネットワークの各層で、又は、前記第１のニューラルネットワークの層に応じて、コンディショナル情報を変更し、
変更後の前記コンディショナル情報を前記第１のニューラルネットワークに入力し、前記第２のデータを生成する、請求項１乃至１４のいずれか一項に記載のデータ生成装置。

【請求項16】

前記条件変数は、少なくとも中間表現を含む、請求項１乃至１５のいずれか一項に記載のデータ生成装置。

【請求項17】

前記中間表現は、潜在変数である、請求項１６に記載のデータ生成装置。

【請求項18】

前記第２のデータを表示する表示装置を更に有する、請求項１乃至１７のいずれか一項に記載のデータ生成装置。

【請求項19】

１以上のプロセッサが、
第１のデータを受け付け、
前記第１のデータの少なくとも第１の部分をエンコーダに入力することで条件変数を生成し、
前記条件変数を第１のニューラルネットワークに入力することで、第２のデータを生成し、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
データ生成方法。

【請求項20】

１以上のプロセッサが、
第１のデータを受け付け、
初期値を第１のニューラルネットワークに入力して得られたデータと、前記第１のデータの少なくとも第１の部分との誤差を誤差逆伝播することで条件変数を生成し、
前記条件変数を前記第１のニューラルネットワークに入力することで、第２のデータを生成し、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
データ生成方法。

【請求項21】

１以上のプロセッサが、
第１のデータを受け付け、
前記第１のデータの少なくとも第１の部分をエンコーダに入力することで得られた値を第１のニューラルネットワークに入力することで得られたデータと、少なくとも前記第１の部分との誤差を誤差逆伝播することで条件変数を生成し、
前記条件変数を前記第１のニューラルネットワークに入力することで、第２のデータを生成し、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
データ生成方法。

【請求項22】

前記１以上のプロセッサが、
少なくとも前記第１の部分と、前記データとの誤差に基づいて、前記条件変数を生成する、請求項２０又は請求項２１に記載のデータ生成方法。

【請求項23】

前記第１のニューラルネットワークは、ユーザからの指示に基づいて、前記複数の生成モデルから選択された生成モデルである、請求項１９乃至２２の何れか一項に記載のデータ生成方法。

【請求項24】

前記第１のニューラルネットワークは、前記第１の部分に含まれる物体に基づいて、前記複数の生成モデルから選択された生成モデルである、請求項１９乃至２２の何れか一項に記載のデータ生成方法。

【請求項25】

前記１以上のプロセッサが、
前記第２のデータを生成する前に、ユーザからの指示に基づいて、前記条件変数を変更し、
変更後の前記条件変数と前記第１のニューラルネットワークとを用いて、前記第２のデータを生成する、請求項１９乃至２４のいずれか一項に記載のデータ生成方法。

【請求項26】

前記１以上のプロセッサが、
前記第２のデータと前記第１のデータの少なくとも第２の部分とを合成することで、第３のデータを生成する、請求項１９乃至２５のいずれか一項に記載のデータ生成方法。

【請求項27】

１以上のプロセッサに、
第１のデータを受け付ける処理と、
前記第１のデータの少なくとも第１の部分をエンコーダに入力することで条件変数を生成する処理と、
前記条件変数を第１のニューラルネットワークに入力することで、第２のデータを生成する処理と、を実行させ、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
プログラム。

【請求項28】

１以上のプロセッサに、
第１のデータを受け付ける処理と、
初期値を第１のニューラルネットワークに入力して得られたデータと、前記第１のデータの少なくとも第１の部分との誤差を誤差逆伝播することで条件変数を生成する処理と、
前記条件変数を前記第１のニューラルネットワークに入力することで、第２のデータを生成する処理と、を実行させ、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
プログラム。

【請求項29】

１以上のプロセッサに、
第１のデータを受け付ける処理と、
前記第１のデータの少なくとも第１の部分をエンコーダに入力することで得られた値を第１のニューラルネットワークに入力することで得られたデータと、少なくとも前記第１の部分との誤差を誤差逆伝播することで条件変数を生成する処理と、
前記条件変数を前記第１のニューラルネットワークに入力することで、第２のデータを生成する処理と、を実行させ、
前記第１のニューラルネットワークは、複数の生成モデルから選択された生成モデルである、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ生成装置、データ生成方法及びプログラムに関する。

【背景技術】

【0002】

ノイズ等の中間表現と、クラス情報等のコンディショナル情報とを入力として、画像や音声、文章等のデータを生成する生成モデルが知られている。このような生成モデルとして、敵対的生成ネットワーク（以降、GAN（Generative Adversarial Networks）と表す。）の一種であるclass-conditional GANが知られている。

【0003】

しかしながら、例えば、画像中の一部の画像領域における中間表現やコンディショナル情報を操作したり、画像生成の各段階で中間表現やコンディショナル情報を変更したりすることで当該画像領域のみを編集する等、柔軟な編集を行うことはできなかった。

【先行技術文献】

【非特許文献】

【0004】

【文献】Jun-Yan Zhu, Philipp Krahenbuhl, Eli Shechtman, Alexei A. Efros. Generative Visual Manipulation on the Natural Image Manifold, In ECCV, 2016.

【文献】Anh Nguyen, Jason Yosinski, Yoshua Bengio, Alexey Dosovitskiy, Jeff Clune. Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space, arXiv:1612.00005, 2016.

【文献】Takeru Miyato, Masanori Koyama. cGANs with Projection Discriminator, In ICLR, 2018.

【文献】Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena. Self-Attention Generative Adversarial Networks, arXiv:1805.08318, 2018.

【文献】Andrew Brock, Jeff Donahue, Karen Simonyan. Large Scale GAN Training for High Fidelity Natural Image Synthesis, arXiv:1809.11096, 2018.

【文献】Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, arXiv:1703.10593, 2017.

【文献】Xiaodan Liang, Hao Zhang, Eric P. Xing. Generative Semantic Manipulation with Contrasting GAN, arXiv:1708.00315, 2017.

【文献】Takuhiro Kaneko, Kaoru Hiramatsu, and Kunio Kashino, Generative Attribute Controller with Conditional Filtered Generative Adversarial Networks. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

【文献】Xun Huang, Serge Belongie. Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization, In ICCV, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施の形態は、上記の点に鑑みてなされたもので、編集対象のデータ中の一部のデータにおける中間表現やコンディショナル情報の操作・変更により柔軟なデータ編集を実現することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の実施の形態におけるデータ編集装置は、第１のデータ中の少なくとも一部の第１のデータ領域に対して、前記第１のデータ領域の中間表現又はコンディショナル情報の少なくとも一方の変更の指定を受け付ける受付手段と、複数の生成モデルの中から選択された１以上の生成モデルと、前記変更された中間表現又はコンディショナル情報の少なくとも一方とを用いて、前記第１のデータ領域を編集した第２のデータを生成する生成手段と、前記第２のデータを、前記第１のデータ中の前記第１のデータ領域部分に合成した第３のデータを作成する合成手段と、を有する。

【図面の簡単な説明】

【0007】

【図1】本発明の実施の形態における画像編集装置の全体構成の一例を示す図である。

【図2】本発明の実施の形態における画像編集処理の一例を示すフローチャートである。

【図3】画像編集の流れの一例を説明するための図である。

【図4】中間表現及びクラス情報の生成モデルへの入力の一例を説明するための図である。

【図5】生成モデルの各段階で中間表現を変更する場合の一例を説明するための図である。

【図6】本発明の実施の形態における画像編集装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0008】

以下、本発明の実施の形態について説明する。本発明の実施の形態では、一例として、編集対象のデータが画像であるものとし、画像中の一部の画像領域における中間表現やコンディショナル情報をユーザが操作したり、画像生成の各段階で中間表現やコンディショナル情報を変更させたりすることで、当該画像領域を編集可能な画像編集装置１０について説明する。なお、中間表現及びコンディショナル情報は、「条件変数」とも称される。

【0009】

本発明の実施の形態は、編集対象のデータが画像である場合に限られず、例えば、音声や文章（テキスト）等の種々のデータを編集する場合にも同様に適用することが可能である。

【0010】

ここで、中間表現とは、生成モデルに入力される条件変数のことであり、文脈によっては「ノイズ」、「潜在変数」と称されることもある。本明細書では、「中間表現Ｚ」と表す。

【0011】

また、コンディショナル情報とは、編集対象のデータの何等かの状態、条件、分類等を示す情報である。編集対象のデータが画像である場合には、コンディショナル情報としては、例えば、画像中の画素が属するクラスを示すクラス情報等が挙げられる。なお、クラスとは、例えば、画像中の画素が表す物体の種類や分類、カテゴリ等のことである。また、編集対象のデータが音声や文章等である場合には、コンディショナル情報としては、例えば、音声や文章をエンコーダでエンコードした結果であってもよいし、音声が男性であるか又は女性であるかの分類や音声の高低の分類等であってもよい。

【0012】

本発明の実施の形態では、主に、コンディショナル情報の一例としてクラス情報について説明し、「クラス情報Ｃ」と表す。また、中間表現は、「中間表現Ｚ」と表す。

【0013】

また、本発明の実施の形態では、画像生成には、GAN等のニューラルネットワークで実現される生成モデルを用いるものとする。また、このニューラルネットワークは、CNNのように、中間表現Ｚを入力として段階的に解像度を高める変換を繰り返す構造であるものとする。ただし、生成モデルはニューラルネットワークで実現されるものに限られず、各段階のうちの少なくとも１つの段階で空間的な解像度を持った形式に変換される構造のモデルであれば、任意の生成モデルを用いることが可能である。このような生成モデルの１つとして、特に、段階的に解像度を高めるようにして画像が生成されるモデルを用いることも可能である。

【0014】

なお、本発明の実施の形態における画像編集装置１０は、例えばＰＣ（パーソナルコンピュータ）等を用いて実現されるが、これに限られない。画像編集装置１０は、例えば、スマートフォンやタブレット端末等を用いて実現されてもよい。

【0015】

本発明の実施の形態における画像編集装置１０は、（１）生成モデルの条件変数である中間表現Ｚ及びクラス情報Ｃを空間的に自由かつ連続的に操作可能とし、（２）画像生成の各段階で条件変数を変更可能とする、ことにより画像中の一部の画像領域を柔軟に編集可能とする。なお、画像生成の各段階とは、例えば、生成モデルがニューラルネットワークで実現されている場合はニューラルネットワークの各層（レイヤ）のことである。

【0016】

これにより、例えば、様々な物体が写った画像に対して、この画像の一部の物体のクラスを変更（例えば、犬を猫にする、犬をライオンにする等）することが可能となる。また、物体全体のクラス変更だけでなく、例えば、犬の耳等の物体の一部分のみを画像編集の対象にしたり、画像編集の度合いを連続的に変化（例えば、犬と猫の中間のクラスに変更する等）させたりすること等も可能となる。このように、本発明の実施の形態における画像編集装置１０によれば、柔軟かつ幅広いバリエーションの画像編集が可能となる。なお、編集対象となる画像の形式は限定されず、例えば、絵、イラスト、写真、ＣＧ（コンピュータグラフィックス）等、任意の形式の画像を用いることが可能である。

【0017】

＜全体構成＞
まず、本発明の実施の形態における画像編集装置１０の全体構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における画像編集装置１０の全体構成の一例を示す図である。

【0018】

図１に示すように、本発明の実施の形態における画像編集装置１０は、画像編集処理部１１０と、記憶部１２０とを有する。画像編集処理部１１０は、画像中の一部の画像領域における条件変数の操作・変更により当該画像領域の編集を行う処理（画像編集処理）を実行する。また、記憶部１２０は、例えば、異なるクラスの物体が含まれる画像で学習された生成モデル（学習済みの生成モデル）が記憶されている。例えば、人の画像で学習された生成モデルや犬の画像で学習された生成モデル、人の画像と犬の画像とで学習された生成モデル等の複数の生成モデルが記憶されている。このように、記憶部１２０には、様々なクラスの物体が含まれる画像で学習された複数の生成モデルが予め記憶されている。なお、記憶部１２０には、生成モデルの他にも、例えば、編集対象の画像等が記憶されていてもよい。

【0019】

ここで、画像編集処理部１１０には、操作受付部１１１と、入力部１１２と、物体検出部１１３と、モデル選択部１１４と、中間表現生成部１１５と、画像生成部１１６と、合成部１１７と、出力部１１８とが含まれる。

【0020】

操作受付部１１１は、ユーザによる各種操作（例えば、クラス情報Ｃを変更する画像領域の指定操作や変更後のクラス情報Ｃの設定操作等）を受け付ける。

【0021】

入力部１１２は、編集対象の画像を入力する。以降、入力部１１２が入力した画像を「入力画像」と表す。すなわち、入力画像が編集対象の画像である。

【0022】

物体検出部１１３は、既存の物体検出技術により入力画像中の１以上の物体の位置及びクラスをそれぞれ検出する。ここで、物体の位置は、例えば、当該物体に対するバウンディングボックスとして検出される。また、物体のクラスが検出されることで、当該物体のクラス情報Ｃが得られる。

【0023】

モデル選択部１１４は、物体検出部１１３が検出した物体のうち、ユーザにより編集対象として選択された物体に対して、記憶部１２０に記憶されている生成モデルの中から適した生成モデルを選択する。

【0024】

中間表現生成部１１５は、ユーザにより編集対象として選択された物体のバウンディングボックス内の画像領域（この画像領域は「画像パッチ」又は単に「パッチ」とも称される。）の中間表現Ｚを生成する。

【0025】

画像生成部１１６は、変更後のクラス情報Ｃ及び中間表現Ｚを用いて、モデル選択部１１４が選択した生成モデルにより画像（つまり、編集対象の物体の画像パッチと同じサイズの画像）を生成する。生成モデルにより生成された画像を「編集後画像パッチ」とも表す。

【0026】

合成部１１７は、画像生成部１１６が生成した編集後画像パッチを、入力画像中の該当の画像パッチ部分に合成した画像を作成する。この合成後の画像を「編集後入力画像」とも表す。

【0027】

出力部１１８は、合成部１１７が作成した編集後入力画像を出力する。ここで、出力部１１８は、任意の出力先に編集後入力画像を出力すればよい。例えば、記憶部１２０に編集後入力画像を出力（保存）してもよいし、ディスプレイ等の表示装置に編集後入力画像を出力（表示）してもよいし、ネットワークを介して接続される他の装置に編集後入力画像を出力（送信）してもよい。

【0028】

＜画像編集処理＞
次に、本発明の実施の形態における画像編集処理について、図２を参照しながら説明する。図２は、本発明の実施の形態における画像編集処理の一例を示すフローチャートである。

【0029】

ステップＳ１０１：入力部１１２は、編集対象の画像を入力する。ここで、入力部１１２は、例えば、編集対象の画像を指定する操作がユーザにより行われ、操作受付部１１１が当該操作を受け付けたことに応じて、当該画像を入力すればよい。なお、入力部１１２が入力する画像（入力画像）の入力元としては、画像編集装置１０のローカルストレージ（例えば、記憶部１２０）であってもよいし、ネットワークドライブやクラウドストレージ等であってもよい。

【0030】

ステップＳ１０２：物体検出部１１３は、入力画像中の１以上の物体の位置及びクラスをそれぞれ検出する。以降では、物体検出部１１３により検出された物体のクラスを「物体クラス」とも表す。

【0031】

ここで、例えば、図３に示す入力画像１０００が入力部１１２により入力された場合、物体検出部１１３は、当該入力画像１０００中の物体（人及び犬）の位置及び物体クラスをそれぞれ検出する。これにより、例えば、バウンディングボックスＢ１及び物体クラス「犬」と、バウンディングボックスＢ２及び物体クラス「人」とが検出される。これにより、物体毎に、当該物体の物体クラスを示すクラス情報Ｃが得られる。なお、クラス情報Ｃは、例えば、バウンディングボックス内の画像領域（画像パッチ）に含まれる各画素がどのクラスに属するかを示すクラスマップとして得られてもよい。ここで、クラスマップは、画像パッチと同じ解像度を持つデータ構造の情報である。ただし、物体クラスとしてどのようなクラスが存在し、どのような形式で物体クラスが表現されるか等は、物体検出部１１３を実現するオブジェクトディテクターによって異なる。

【0032】

なお、図３に示す例では、物体の位置としてバウンディングボックスが検出された場合を示しているが、これに限られず、例えば、当該物体を囲む任意の領域（任意の矩形領域や任意の円形領域、任意の多角形領域、当該物体の境界で表される領域等）が検出されてもよい。この場合、当該領域が画像パッチとなる。また、当該領域は必ずしも物体を囲んでいる必要はなく、物体の一部が領域からはみ出していてもよい。更に、画像パッチが入力画像１０００の一部である必要はなく、画像パッチと入力画像１０００とが一致していてもよい。

【0033】

また、上記のステップＳ１０２では、必ずしもクラス情報Ｃが検出される必要はなく、例えば、バウンディングボックス（又は、物体を囲む任意の領域等）のみが検出されてもよい。更に、物体検出部１１３により物体の位置及びクラスが検出される必要はなく、例えば、入力画像１０００中の物体の位置及びクラスの少なくとも一方をユーザにより指定されてもよい。この場合、操作受付部１１１により物体の位置及びクラスの少なくとも一方の指定を受け付ければよい。

【0034】

ステップＳ１０３：操作受付部１１１は、上記のステップＳ１０２で検出された物体のうち、ユーザによる編集対象の物体の選択操作を受け付ける。ここで、以降では、図３に示す入力画像１０００中のバウンディングボックスＢ１に対応する物体（犬）を編集対象の物体とする選択操作が行われたものとして説明を続ける。なお、例えば、上記のステップＳ１０２で検出された物体が１つである場合や上記のステップＳ１０２で検出された全ての物体が編集対象として自動的に選択される場合等には、このステップＳ１０３は省略されてもよい。

【0035】

ステップＳ１０４：操作受付部１１１は、上記のステップＳ１０３で選択された物体のバウンディングボックス内の画像領域（画像パッチ）に対して編集対象の領域（以降、「対象領域」とも表す。）及びその目標クラスを設定する操作を受け付ける。なお、目標クラスとは、対象領域の物体クラスの変更先とするクラスのことである。

【0036】

ここで、図３に示す例では、ユーザは、例えば、バウンディングボックスＢ１内の画像パッチ１１００に対して、目標クラスに対応した色でペイントすること等により対象領域１１０１を設定する操作を行う。なお、対象領域及び目標クラスの設定方法は、目標クラスに対応した色でペイントする方法以外にも、例えば、目標クラスの名称等を直接指定又は選択してもよい。また、対象領域の設定方法についても、フリーハンドでペイントする方法以外に、例えば、「耳」や「鼻」等の部位を指定又は選択する方法が採用されてもよい。

【0037】

上記の対象領域及び目標クラスの設定により、編集対象の物体のクラス情報Ｃから変更後のクラス情報Ｃが作成される。変更後のクラス情報Ｃは、当該物体の画像パッチと同じ解像度を持つデータ構造の情報であるものとする。例えば、変更前のクラス情報Ｃもクラスマップである場合、変更後のクラス情報Ｃは、変更前のクラス情報Ｃが表すクラスマップを構成する各値のうち、対象領域に対応する値を目標クラスに応じた値に変更したものである。ただし、変更後のクラス情報Ｃが生成モデルに入力される際に当該クラス情報Ｃを適宜リサイズすればよいため、変更後のクラス情報Ｃと当該物体の画像パッチとが同じ解像度でなくてもよい。

【0038】

ここで、ユーザは、目標クラスとして、各画素がどのクラスに属するかだけでなく、その割合まで設定することができる。例えば、或る画素について、目標クラス「ライオン１００％」と設定することもできるし、目標クラス「ライオン６０％ ペルシャ猫４０％」と設定することもできる。このように、ユーザは、連続的な値で構成されるクラスマップを変更後のクラス情報Ｃとして作成することができる。なお、変更前のクラス情報Ｃは、連続的な値で構成されるクラスマップであってもよいし、離散的な値で構成されるクラスマップであってもよい。

【0039】

このように、本発明の実施の形態では、ユーザは、画像パッチ１１００に対して、クラス情報Ｃを空間的に自由（つまり、画像中の物体の任意の領域におけるクラス情報Ｃを操作可能）かつ連続的に操作することができる。

【0040】

ステップＳ１０５：モデル選択部１１４は、上記のステップＳ１０３で選択された物体に対して、この物体の物体クラス及び目標クラスに応じた生成モデルを記憶部１２０から選択する。

【0041】

例えば、物体クラスが「柴犬」であり、対象領域（例えば、耳部分）の目標クラスが「シェパード」である場合、モデル選択部１１４は、犬の画像で学習された生成モデルを選択することが挙げられる。また、例えば、物体クラスが「犬」であり、対象領域（例えば、顔部分）の目標クラスが「ライオン」である場合、モデル選択部１１４は、犬の画像とライオンの画像とで学習された生成モデルを選択することが挙げられる。なお、モデル選択部１１４は、物体クラス又は目標クラスのいずれか一方のみに応じた生成モデルを記憶部１２０から選択してもよい。

【0042】

このように、モデル選択部１１４は、物体クラス及び目標クラスの少なくとも一方に応じて、当該物体の画像パッチの編集に適した生成モデル（つまり、物体クラスを目標クラスに変更した画像生成を高い精度を行うことが可能な学習済み生成モデル）を選択すればよい。

【0043】

また、モデル選択部１１４は、記憶部１２０から複数の生成モデルを選択してもよいし、これらの複数の生成モデルを候補としてユーザに提示した上で、これらの候補のうち、ユーザによって選択された１つ以上の生成モデルを最終的に選択してもよい。また、モデル選択部１１４は、複数の生成モデルを候補としてユーザに提示する際に、これら候補に対して何等かのスコア（例えば、物体クラスを目標クラスに変更した画像生成の精度を示す指標値等）を提示してもよい。更に、モデル選択部１１４は、記憶部１２０から生成モデルを選択するだけでなく、例えば、ＡＰＩ（Application Programming Interface）等として外部サービスによって提供されている生成モデルからも選択してもよい。

【0044】

なお、上記のステップＳ１０５で複数の生成モデルが選択された場合、以降のステップＳ１０５～ステップＳ１０８は、生成モデル毎に、並列又は直列に実行されればよい。

【0045】

ステップＳ１０６：中間表現生成部１１５は、上記のステップＳ１０３で選択された物体の画像パッチの中間表現Ｚを生成する。ここで、中間表現Ｚは、例えば、学習済みのエンコーダに画像パッチを入力することで生成すればよい。これ以外にも、例えば、上記のステップＳ１０５で選択された生成モデルにランダムな初期値を入力することで生成された画像と当該画像パッチとの誤差を誤差逆伝播により最適化することで中間表現Ｚを生成してもよい。又は、例えば、上記のステップＳ１０５で選択された生成モデルに、上記の学習済みエンコーダに画像パッチを入力することで生成された情報を入力し、この入力により生成モデルで生成された画像と当該画像パッチとの誤差を誤差逆伝播により最適化することで中間表現を生成してもよい。ここで、誤差としては、例えば、当該画像と当該画像パッチとが同一の解像度となるように一方又は両方をリサイズした後の画像同士の誤差を用いてもよいし、任意の学習済みニューラルネットワーク等を用いて当該画像の特徴量と当該画像パッチの特徴量とをそれぞれ抽出した上で、これらの特徴量同士の誤差を用いてもよい。特に、このような特徴量として、GANの識別器（discriminator）の中間層の出力を用いてもよい。

【0046】

なお、画像パッチを生成モデルやエンコーダに入力する際には、これらの生成モデルやエンコーダに入力可能なように、当該画像パッチの解像度がリサイズされる。

【0047】

ステップＳ１０７：画像生成部１１６は、上記のステップＳ１０５で選択された生成モデルに対して、変更後のクラス情報Ｃ及び中間表現Ｚを入力することで、例えば図３に示す編集後画像パッチ１２００を生成する。この編集後画像パッチ１２００には、対象領域１１０１が目標クラスに応じて編集された領域１２０１が含まれる。なお、編集後画像パッチは、当該生成モデルにより生成され、当該生成モデルの出力として得られる。

【0048】

このとき、画像生成部１１６は、変更後のクラス情報Ｃを、生成モデルにおける画像生成の各段階に対応する解像度のクラスマップにリサイズした上で、当該生成モデルに入力する。

【0049】

例えば、図４に示すように、CNNで実現される生成モデルがレイヤ１、レイヤ２、レイヤ３等で構成されている場合、画像生成部１１６は、中間表現Ｚを当該生成モデルに入力すると共に、変更後のクラス情報Ｃが示すクラスマップを各レイヤが入力可能な解像度にリサイズした上で当該生成モデルに入力する。例えば、クラス数をＣ_Ｎとして、レイヤ１にクラス情報を入力する際に入力可能なデータの次元数がＨ_１×Ｗ_１×Ｃ_Ｎ（次元）である場合、画像生成部１１６は、変更後のクラス情報Ｃが示すクラスマップの解像度をＨ_１×Ｗ_１（次元）にリサイズした上で、当該生成モデルのレイヤ１に入力する。同様に、例えば、レイヤ２が入力可能なデータの次元数がＨ_２×Ｗ_２×Ｃ_Ｎ（次元）である場合、画像生成部１１６は、変更後のクラス情報Ｃが示すクラスマップの解像度をＨ_２×Ｗ_２（次元）にリサイズした上で、当該生成モデルのレイヤ２に入力する。他のレイヤ（段階）についても同様である。

【0050】

ここで、上記では、変更後のクラス情報Ｃが示すクラスマップのリサイズのみを行ったが、これに限られない。例えば、各段階（レイヤ）に応じて、変更後のクラス情報Ｃが示すクラスマップを変更してもよい。具体的には、各段階に応じて、変更後のクラス情報Ｃが示すクラスマップに含まれる各値を変更（例えば、或る画素に対応する値に所定の定数を乗じる等）してもよいし、段階によってはクラスマップを生成モデルに入力しなくてもよい。特に、生成モデルによる画像生成の知見により、生成モデルの浅いレイヤ（例えば、第１層目）には変更後のクラス情報Ｃが示すクラスマップを生成モデルに入力しないようにしてもよい。これにより、生成モデルにより生成される画像を、より高い自由度で、より柔軟に変更することができる。

【0051】

また、上記では、中間表現Ｚをそのまま生成モデルに入力したが、これに限られず、例えば、中間表現Ｚに何等かの変化を加えて変更した上で、この変更後の中間表現Ｚを生成モデルに入力してもよい。更に、例えば、生成モデルが画像生成の各段階で中間表現Ｚを入力可能である場合には、段階毎に又は段階に応じて中間表現Ｚに何等かの変化を加えて変更した上で、変更後の中間表現Ｚを生成モデルに入力してもよい。

【0052】

なお、上記のクラスマップの変更や中間表現Ｚの変更は、ユーザの操作によって具体的に値が変更されてもよいし、画像生成部１１６により自動的に値が変更されてもよい。また、ユーザの操作によって具体的に値を変更するか又は自動的に値を変更するかは、例えば、設定情報としてユーザが予め設定可能であってもよい。

【0053】

ここで、生成モデルの各段階で中間表現Ｚを変更する場合の一例として、入力画像１０００とは異なる他の画像（以降、「参照画像」と表す。）の中間表現を用いる場合について、図５を参照しながら説明する。図５は、生成モデルの各段階で中間表現を変更する場合の一例を説明するための図である。図５では、一例として、入力画像１０００及び参照画像と、上記のステップＳ１０２で検出されるバウンディングボックスの画像パッチの解像度とが一致しているものとする。

【0054】

上記のステップＳ１０６で入力画像１０００から生成される中間表現を「中間表現Ｚ_０」、同様に参照画像から生成される中間表現を「中間表現Ｚ_１」として、中間表現Ｚ_０及び中間表現Ｚ_１をそれぞれ生成モデルに入力する。このとき、図５に示すように、ユーザにより指定されたウェイトマップを用いて、生成モデルの各段階で、中間表現Ｚ_１の特徴量（の一部）を、中間表現Ｚ_０の特徴量の一部に混合した特徴量（以降、「混合特徴量」と表す。）を生成する。

【0055】

より詳細には、中間表現Ｚ_０が入力された場合における生成モデルの段階ｎ（ｎ＝０，・・・，Ｎ）の特徴量をＦ_０ ^（ｎ）、中間表現Ｚ_１が入力された場合における生成モデルの段階ｎの特徴量をＦ_１ ^（ｎ）、生成モデルの段階ｎにおけるウェイトマップをＭ^（ｎ）とする。このとき、例えば、各段階ｎで、以下により段階ｎにおける混合特徴量を生成する。

【0056】

【数1】

【0057】

ここで、Ｎ_ｒｅｆは参照画像数であり、図５に示す例ではＮ_ｒｅｆ＝１である。○はアダマール積、λ^（ｎ）は０≦λ^（ｎ）≦１であり、段階ｎにおける混合の強さを表す。また、Ｍ_ｉ ^（ｎ）はウェイトマップであり、Ｆ_ｉ ^（ｎ）の各要素のうち、混合する要素に対応する値を１、混合しない要素に対応する値を０としたデータである。なお、上記の数１に示す混合特徴量を、明細書のテキストでは、便宜上、「^～Ｆ^（ｎ）」と表す。

【0058】

そして、図５に示すように、最終的に出力される混合特徴量^～Ｆ^（Ｎ）を出力画像として、この出力画像を編集後画像パッチ１２００とする。

【0059】

なお、図５に示す例では、便宜上、参照画像は１つであるものとしたが、上記の数１に示すように、参照画像数Ｎ_ｒｅｆは２以上であってもよい。また、図５に示す例では、生成モデルの各段階ｎで混合特徴量を生成したが、これに限られず、或る特定の１つ以上の段階ｎでのみ混合特徴量を生成してもよい。特に、生成モデルの浅い段階ｎ（例えば、ｎ＝０等）でのみ混合特徴量を生成するようにしてもよい。

【0060】

また、図５に示す例では、例えば、段階ｎ＝０で、４×４のＦ^（０） _０の中央の４つの特徴量（例えば、（２，２），（２，３），（３，２），（３，３）の位置にある４つ特徴量）が混合されているが、上述したように、どの特徴量を混合対象とするかはウェイトマップＭ_ｉ ^（ｎ）により決定される。したがって、ユーザは、ウェイトマップＭ_ｉ ^（ｎ）を指定することで、どの段階ｎで、特徴量のどの要素を対象とした混合を行うかを決定することができる。

【0061】

更に、図５に示す例では、各段階ｎでＦ_０ ^（ｎ）とＦ_１ ^（ｎ）との間で同一の位置にある特徴量を混合しているが、これに限られず、例えば、Ｆ_０ ^（ｎ）とＦ_１ ^（ｎ）との間で異なる位置にある特徴量を混合してもよい。具体的には、例えば、段階ｎ＝０で、４×４のＦ^（０） _０の中央の４つの特徴量（例えば、（２，２），（２，３），（３，２），（３，３）の位置にある４つ特徴量）を、Ｆ_１ ^（１）の左上の４つの特徴量（例えば、（１，１），（１，２），（２，１），（２，２）の位置にある４つの特徴量）にそれぞれ混合する、等である。すなわち、一般的には、任意の段階ｎで、Ｆ_ｉ ^（ｎ）の任意の（空間的）位置にある特徴量を、Ｆ_１ ^（ｎ）の任意の（空間的）位置にある特徴量に混合してもよい。

【0062】

なお、本発明の実施の形態では、入力画像（の特徴量）に対して、１以上の参照画像（の特徴量）を混合するための式として、上記の数１に示す式を説明したが、上記の数１に示す式は一例であって、１次元以上の解像度を有している任意のデータ同士を混合するための式であれば任意の式を用いることができる。

【0063】

ステップＳ１０８：合成部１１７は、上記のステップＳ１０７で生成された編集後画像パッチ１２００を、入力画像１０００の画像パッチ１１００部分（すなわち、上記のステップＳ１０３で選択された物体の画像パッチ部分）に合成して、例えば図３に示す編集後入力画像１３００を作成する。ここで、合成部１１７は、例えば、画像パッチ１１００に含まれる対象領域１１０１をマスクとして編集後画像パッチ１２００から領域１２０１を切り出した上で、Poisson Image Blending等の画像合成手法を用いて入力画像１０００の画像パッチ１１００部分に合成することで、編集後入力画像１３００を作成すればよい。これにより、境界部分での画像アーティファクトの発生を回避することができる。

【0064】

ステップＳ１０９：出力部１１８は、上記のステップＳ１０８で作成された編集後入力画像１３００を出力する。なお、このとき、上記のステップＳ１０５で複数の生成モデルが選択されたことにより、上記のステップＳ１０８で複数の編集後入力画像が作成された場合には、これら複数の編集後入力画像をユーザが選択可能に表示されてもよい。これにより、ユーザは、複数の生成モデルによってそれぞれ編集された複数の編集後入力画像のうち、所望の編集後入力画像を得ることができるようになる。

【0065】

＜ハードウェア構成＞
次に、本発明の実施の形態における画像編集装置１０のハードウェア構成について、図６を参照しながら説明する。図６は、本発明の実施の形態における画像編集装置１０のハードウェア構成の一例を示す図である。

【0066】

図６に示すように、本発明の実施の形態における画像編集装置１０は、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、ＲＡＭ（Random Access Memory）２０５と、ＲＯＭ（Read Only Memory）２０６と、プロセッサ２０７と、補助記憶装置２０８とを有する。これら各ハードウェアは、バス２０９により通信可能に接続されている。

【0067】

入力装置２０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置２０２は、例えばディスプレイ等であり、画像編集装置１０の各種の処理結果（例えば、入力画像や編集後入力画像等）を表示する。なお、画像編集装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。

【0068】

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。画像編集装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａ等の読み取りや書き込み等を行うことができる。記録媒体２０３ａには、画像編集処理部１１０を実現する１以上のプログラムや編集対象となる画像等が記録されていてもよい。

【0069】

記録媒体２０３ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

【0070】

通信Ｉ／Ｆ２０４は、画像編集装置１０を通信ネットワークに接続するためのインタフェースである。画像編集処理部１１０を実現する１以上のプログラムや編集対象となる画像等は、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

【0071】

ＲＡＭ２０５は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ２０６には、例えば、ＯＳ（Operating System）に関する設定や通信ネットワークに関する設定等が格納されている。

【0072】

プロセッサ２０７は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ２０６や補助記憶装置２０８等からプログラムやデータをＲＡＭ２０５上に読み出して処理を実行する演算装置である。画像編集処理部１１０は、例えば補助記憶装置２０８に格納されている１以上のプログラムがプロセッサ２０７に実行させる処理により実現される。なお、画像編集装置１０は、プロセッサ２０７として、ＣＰＵとＧＰＵとの両方を有していてもよいし、ＣＰＵ又はＧＰＵのいずれか一方のみを有していてもよい。また、画像編集装置１０は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）等の専用の半導体チップを有していてもよい。

【0073】

補助記憶装置２０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置２０８には、例えば、ＯＳ、各種のアプリケーションソフトウェア、画像編集処理部１１０を実現する１以上のプログラム等が格納されている。また、記憶部１２０は、例えば、補助記憶装置２０８を用いて実現される。

【0074】

本発明の実施の形態における画像編集装置１０は、図６に示すハードウェア構成を有することにより、上述した画像編集処理を実現することができる。なお、図６に示すハードウェア構成は一例であって、他の構成であってもよい。例えば、画像編集装置１０は、複数のプロセッサ２０７を有していてもよいし、複数のＲＡＭ２０５や複数のＲＯＭ２０６、複数の補助記憶装置２０８等を有していてもよい。また、例えば、画像編集装置１０は、複数のコンピュータで構成されていてもよい。

【0075】

＜まとめ＞
以上のように、本発明の実施の形態における画像編集装置１０は、画像中の一部の画像領域における条件変数をユーザが操作したり、画像生成の各段階で条件変数を変更させたりすることで、当該画像領域を編集することができる。このとき、本発明の実施の形態では、画像中の物体検出と、当該物体の一部の領域における条件変数の操作とを組み合わせると共に、画像生成の各段階での条件変数の変更を更に組み合わせることで、画像編集を実現している。これにより、本発明の実施の形態における画像編集装置１０によれば、柔軟かつ幅広いバリエーションの画像編集が可能となる。

【0076】

なお、本発明の実施の形態では、図２のステップＳ１０２でバウンディングボックスや物体を囲む任意の領域等を検出する場合について説明したが、例えば、入力画像中で編集したい領域をユーザがフリーハンド等で指定（例えば、円や矩形で囲む等）してもよい。これにより、例えば、この指定された領域に対して対象領域及び目標クラスが設定されることで、当該対象領域及び目標クラスに応じて入力画像を編集することができる。具体的には、例えば、入力画像中で編集したい領域をユーザが円で囲んで、目標クラス「柴犬」等と設定することで、当該領域に柴犬が含まれる編集後入力画像を出力することができるようになる。

【0077】

また、本発明の実施の形態では、図２のステップＳ１０４で目標クラスを設定する操作（つまり、コンディショナル情報の変更）を受け付けたが、これに限られず、例えば、中間表現Ｚの変更を受け付けてもよいし、コンディショナル情報の変更と中間表現Ｚの変更との両方を受け付けてもよい。したがって、図２のステップＳ１０７では変更後のコンディショナル情報と（変更されていない）中間表現Ｚとから編集後画像パッチを生成してもよいし、（変更されていない）コンディショナル情報と変更後の中間表現Ｚとから編集後画像パッチを生成してもよいし、変更後のコンディショナル情報と変更後の中間表現Ｚとから編集後画像パッチを生成してもよい。

【0078】

ここで、本発明の実施の形態では、編集対象の画像として静止画を対象に説明したが、これに限られず、例えば、動画を編集対象としてもよい。動画を編集対象とする場合、動画を構成する各フレーム画像に対して、本発明の実施の形態における画像編集処理を繰り返し適用すればよい。また、本発明の実施の形態は、画像編集だけでなく、例えば、セマンティックセグメンテーション等のタスクにも応用可能である。

【0079】

更に、上述したように、本発明の実施の形態では、編集対象のデータは画像に限られない。編集対象のデータとしては、例えば、音声、文章、３Ｄオブジェクト等の任意のデータを対象とすることが可能である。すなわち、１次元以上の解像度を有しているデータ（特に、時間的又は空間的な解像度を有しているデータ）であれば、任意のデータを対象とすることが可能である。したがって、本発明の実施の形態によれば、１次元以上の解像度を有している任意のデータを編集対象として、当該編集対象のデータ中の一部のデータにおける中間表現やコンディショナル情報の操作・変更により、柔軟なデータ編集を実現することができるようになる。

【0080】

本発明の実施の形態では、画像編集装置１０が単一の装置で実現されている場合について説明したが、例えば、複数の装置群で実現されていてもよい。すなわち、画像編集処理部１１０に含まれる機能部（操作受付部１１１、入力部１１２、物体検出部１１３、モデル選択部１１４、中間表現生成部１１５、画像生成部１１６、合成部１１７及び出力部１１８）の少なくとも一部の機能部が画像編集装置１０とは異なる他の装置で実現されていてもよい。同様に、記憶部１２０が画像編集装置１０とは異なる他の装置で実現されていてもよい。

【0081】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

【符号の説明】

【0082】

１０ 画像編集装置
１１０ 画像編集処理部
１１１ 操作受付部
１１２ 入力部
１１３ 物体検出部
１１４ モデル選択部
１１５ 中間表現生成部
１１６ 画像生成部
１１７ 合成部
１１８ 出力部
１２０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】