特開 2021-190062 イメージ生成システム及びこれを利用したイメージ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-190062(P2021-190062A)

(43)【公開日】2021年12月13日

(54)【発明の名称】イメージ生成システム及びこれを利用したイメージ生成方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20211115BHJP

【ＦＩ】

   G06T11/80 D

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2020-169539(P2020-169539)

(22)【出願日】2020年10月7日

(31)【優先権主張番号】10-2020-0064860

(32)【優先日】2020年5月29日

(33)【優先権主張国】KR

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(71)【出願人】

【識別番号】321003371

【氏名又は名称】ＬＩＮＥ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チェー ユンジェ

(72)【発明者】

【氏名】ウ ヨンジョン

(72)【発明者】

【氏名】ハ ジョンウ

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA10

5B050BA06

5B050BA15

5B050DA04

5B050EA06

5B050EA09

5B050EA19

5B050FA02

5B050FA05

5B050GA08

(57)【要約】

【課題】 イメージを生成するシステムを提供する。
【解決手段】 本発明に係るイメージ生成システムは、変換の対象になるソースイメージを受信するイメージ入力部と、基準イメージの外貌スタイルと関連したスタイルコードを入力するスタイルコード入力部と、前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するイメージ生成部とを備えることができる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

変換の対象になるソースイメージを受信するイメージ入力部と、
基準イメージの外貌スタイルと関連したスタイルコードを入力するスタイルコード入力部と、
前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するイメージ生成部と、
を備え、
前記基準イメージの外貌スタイルは、前記基準イメージの特定ドメインと関連している、イメージ生成システム。

【請求項2】

前記スタイルコードは、
前記基準イメージの特定ドメインに対応するドメイン特性情報を含み、
前記イメージ生成部は、
前記スタイルコードに基づいて、前記合成イメージが、前記基準イメージの特定ドメインを有するように前記合成イメージを生成する、請求項１に記載のイメージ生成システム。

【請求項3】

前記イメージ生成部は、
前記ソースイメージの特定ドメインを、前記基準イメージの特定ドメインに変換して前記合成イメージを生成し、
前記ソースイメージの特定ドメイン及び前記基準イメージの特定ドメインは、互いに対応する外貌的属性である、請求項２に記載のイメージ生成システム。

【請求項4】

前記イメージ生成部は、
前記ソースイメージの特定ドメインと前記基準イメージの特定ドメインとが互いに異なる場合、
前記ソースイメージの特定ドメインより、前記基準イメージの特定ドメインを優先して、前記合成イメージのドメインを決定する、請求項３に記載のイメージ生成システム。

【請求項5】

スタイルエンコーダをさらに備え、
前記スタイルエンコーダは、
前記基準イメージから、前記基準イメージの外貌スタイルと関連したスタイル情報を抽出する、請求項１〜４のいずれか１項に記載のイメージ生成システム。

【請求項6】

前記スタイルエンコーダは、
前記基準イメージから、前記基準イメージの特定ドメインを基準に前記スタイル情報を抽出し、
前記スタイル情報及び前記基準イメージの特定ドメインによるドメイン特性情報が含まれた前記スタイルコードを生成する、請求項５に記載のイメージ生成システム。

【請求項7】

前記スタイルコードは、
前記基準イメージから、複数のドメインのうち、どのドメインを基準に前記基準イメージの外貌スタイルと関連したスタイル情報が抽出されたかによって、互いに異なるベクトル値を有する、請求項５に記載のイメージ生成システム。

【請求項8】

マッピングネットワーク部をさらに備え、
前記マッピングネットワーク部は、
ガウス分布から抽出されるノイズ情報を利用して、前記基準イメージの特定ドメインと関連した前記スタイルコードを生成する、請求項１〜７のいずれか１項に記載のイメージ生成システム。

【請求項9】

前記マッピングネットワーク部は、
前記抽出されたノイズ情報から、前記基準イメージの特定ドメインと関連したスタイル情報を抽出する、請求項８に記載のイメージ生成システム。

【請求項10】

前記マッピングネットワーク部は、
前記抽出されたノイズ情報を利用して、前記基準イメージと関連した複数のドメインの各々に対して互いに異なるスタイルコードを生成し、
前記基準イメージの特定ドメインは、前記複数のドメインのうち、いずれか１つである、請求項９に記載のイメージ生成システム。

【請求項11】

前記ソースイメージは、
前記ソースイメージの外貌的正体性を決定する少なくとも１つの外貌特徴部分を含み、
前記イメージ生成部は、
前記ソースイメージの外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージに対して前記基準イメージの外貌スタイルを反映する、請求項１〜１０のいずれか１項に記載のイメージ生成システム。

【請求項12】

前記ソースイメージ及び前記基準イメージが人に対応する場合、
前記ソースイメージの前記外貌特徴部分は、
人の目、鼻、及び口のうち、少なくとも１つに対応し、
前記基準イメージの外貌スタイルは、
人の頭髪スタイル、ひげ、年齢、皮膚色、メーキャップのうち、少なくとも１つと関連している、請求項１１に記載のイメージ生成システム。

【請求項13】

識別部をさらに備え、
前記識別部は、
前記基準イメージを基に、前記合成イメージが、前記基準イメージの特定ドメインに対して、前記イメージ生成部により生成された偽物イメージであるか否かを識別し、
識別結果、前記合成イメージが偽物イメージと識別された場合、前記基準イメージと前記合成イメージとが偽物イメージとの差値が最小化されるように前記イメージ生成部を学習させる、請求項１〜１２のいずれか１項に記載のイメージ生成システム。

【請求項14】

学習部をさらに備え、
前記学習部は、
スタイルエンコーダを用いて、前記合成イメージから前記基準イメージの特定ドメインと関連したスタイルコードを抽出し、
前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとを比較する、請求項１〜１３のいずれか１項に記載のイメージ生成システム。

【請求項15】

前記学習部は、
比較結果、前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとが互いに相違した場合、前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとの差値が最小になるように前記イメージ生成部を学習させる、請求項１４に記載のイメージ生成システム。

【請求項16】

変換の対象になるソースイメージを受信するステップと、
基準イメージの外貌スタイルと関連したスタイルコードを受信するステップと、
前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するステップと、
を含み、
前記基準イメージの外貌スタイルは、前記基準イメージの特定ドメインと関連している、イメージ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージを生成するシステム及びこれを利用したイメージ生成方法に関する。

【背景技術】

【0002】

イメージの一部特徴を他の特徴に変換したり、複数のイメージを互いに合成することにより、新しいイメージを生成するイメージ生成技術は、産業界において様々な目的に活用されているだけでなく、最近では、一般ユーザにも娯楽の要素として広く活用されている。

【0003】

このようなイメージ生成技術は、人工知能の発達により、その生成技術が日々発展しており、実際に、人の目では区別が難しい程度の水準まで至った。

【0004】

特に、イメージ生成技術は、２０１４年にヨシュア・ベンジオ（Ｙｏｓｈｕａ Ｂｅｎｇｉｏ）教授の研究チームで考案された、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ。略字：ＧＡＮ）に基づいて飛躍的に発展した。

【0005】

敵対的生成ネットワーク（ＧＡＮ）は、確率分布を学習する生成モデルと互いに異なる集合を区分する識別モデルとで構成される。このとき、イメージ生成モデル（または、生成子）は、ターゲットドメインを有する偽物イメージを作って識別モデルを最大限詐称して訓練するようになされる。そして、識別モデル（または、識別子）は、生成モデルが提示する偽物イメージと実際イメージとをターゲットドメインを基準に最大限正確に区分するように訓練される。

【0006】

このように、識別モデルを詐称するように生成モデルを訓練する方式を対立的プロセスという。このような敵対的生成ネットワークは、生成モデルと識別モデルとを対立的プロセスを介して発展させる過程であって、ターゲットドメインに対して実際イメージと極めて類似した類似イメージ、すなわち、偽物イメージを生成できるようになった。

【0007】

しかしながら、このような敵対的生成ネットワークにおいてイメージ生成モデル及び識別モデルは、ターゲットドメインを基準に学習されるので、ターゲットドメインが変更される場合、新しいイメージ生成モデル及び識別モデルを訓練しなければならないという限界を有する。

【0008】

これにより、様々なターゲットドメインに対して柔軟に対処できるイメージ生成方法に対するニーズが依然として存在する。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、互いに異なるターゲットドメインに対応する様々なイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。

【課題を解決するための手段】

【0010】

前述したような課題を解決するために、本発明に係るイメージ生成システムは、変換の対象になるソースイメージを受信するイメージ入力部と、基準イメージの外貌スタイルと関連したスタイルコードを入力するスタイルコード入力部と、前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するイメージ生成部とを備えることができる。

【発明の効果】

【0011】

本発明に係るイメージ生成システムは、ドメインの特性を含むスタイルコードを用いて、スタイルコードに含まれたドメイン特性に該当するドメインを有するイメージを生成できる。

【図面の簡単な説明】

【0012】

【図1】本発明に係るイメージ生成システム及びこれを利用したイメージ生成方法を説明するための概念図である。

【図2】本発明に係るイメージ生成システム及びこれを利用したイメージ生成方法を説明するための概念図である。

【図3】本発明に係るイメージ生成方法を説明するためのフローチャートである。

【図4】本発明に係るマッピングネットワークを利用してスタイルコードを生成する方法を説明するための概念図である。

【図5】本発明に係るマッピングネットワークを利用してスタイルコードを生成する方法を説明するための概念図である。

【図6】本発明に係るマッピングネットワークを利用してスタイルコードを生成する方法を説明するための概念図である。

【図7】本発明に係るスタイルエンコーダを用いてスタイルコードを生成する方法を説明するための概念図である。

【図8】本発明に係るスタイルエンコーダを用いてスタイルコードを生成する方法を説明するための概念図である。

【図9】本発明に係るイメージ生成システムを学習する方法を説明するための概念図である。

【発明を実施するための形態】

【0013】

以下、添付された図面を参照して本明細書に開示された実施形態を詳細に説明するものの、図面符号に関係なく、同一であるか、類似した構成要素には同じ参照符号を付し、これについての重複する説明を省略する。以下の説明において使用される構成要素に対する接尾辞の「モジュール」及び「部」は、明細書作成の容易さだけが考慮されて付与されるか、混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。また、本明細書に開示された実施形態を説明するにあたって、関連した公知技術についての具体的な説明が本明細書に開示された実施形態の要旨を不明確にする恐れがあると判断される場合、その詳細な説明を省略する。また、添付された図面は、本明細書に開示された実施形態を容易に理解できるようにするためのものであり、添付された図面によって本明細書に開示された技術的思想が限定されず、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物ないし代替物を含むことと理解されるべきである。

【0014】

第１、第２などのように、序数を含む用語は、様々な構成要素を説明するのに使用され得るが、上記構成要素等は、前記用語等により限定されるものではない。前記用語等は、１つの構成要素を他の構成要素から区別する目的にのみ使用される。

【0015】

ある構成要素が他の構成要素に「連結されて」いるまたは「接続されて」いると言及されたときには、その他の構成要素に直接的に連結されているまたは接続されていることもできるが、中間に他の構成要素が存在することもできると理解されるべきであろう。それに対し、ある構成要素が他の構成要素に「直接連結されて」いるまたは「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないことと理解されるべきであろう。

【0016】

単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。

【0017】

本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたは複数の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないことと理解されなければならない。

【0018】

一方、本発明は、互いに異なるターゲットドメインに対応する様々なイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。

【0019】

より具体的に、本発明は、単一のイメージ生成部を利用して、互いに異なるターゲットドメインに各々対応する互いに異なるイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。

【0020】

さらに、本発明は、ターゲットドメインを基準に様々な外貌スタイルを有するイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。本発明は、イメージ生成システム及びこれを利用したイメージ生成方法に関するものであって、特に、本発明に係るイメージ生成システムは、「イメージトゥイメージ（ｉｍａｇｅ ｔｏ ｉｍａｇｅ）変換（ｔｒａｎｓｌａｔｉｏｎ）」に基づいてイメージを生成できる。

【0021】

ここで、「イメージトゥイメージ変換」とは、与えられた入力イメージを基に新しいイメージを生成することを意味する。より具体的に、イメージトゥイメージ変換では、入力イメージの少なくとも一部分を変換することで、新しいイメージを生成することを意味できる。

【0022】

本発明は、特に、「イメージトゥイメージ変換」を行うにあたって、単一の「イメージ生成部」だけで、様々なスタイル及びドメインに該当する新しいイメージを生成できるイメージ生成システムに関するものである。

【0023】

このとき、イメージ生成部は、同じドメインに対する様々なスタイルのイメージを生成する、または、互いに異なるドメインに対する同じスタイルのイメージを生成できる。以下では、本発明に係るイメージ生成システムについて添付された図面とともにより具体的に説明する。図１及び図２は、本発明に係るイメージ生成システム及びこれを利用したイメージ生成方法を説明するための概念図であり、図３は、本発明に係るイメージ生成方法を説明するためのフローチャートである。

【0024】

図１に示されたように、本発明に係るイメージ生成システム１００は、生成部（ｇｅｎｅｒａｔｏｒ、または、イメージ生成部、１１０）及びスタイルコード入力部１２０を備えるように構成されることができる（以下、説明の都合上、「生成部１１０」は「イメージ生成部１１０」と命名する）。さらに、イメージ生成システム１００は、入力部１３０及び出力部１４０のうち、少なくとも１つをさらに備えることができる。

【0025】

イメージ生成部１１０は、入力部１３０を介して入力されるイメージを基にイメージを生成し、生成されたイメージは、出力部１４０を介して出力されることができる。

【0026】

本発明では、説明の都合上、イメージ生成部１１０に、イメージ生成のために入力されるイメージを「ソースイメージ（ｓｏｕｒｃｅ ｉｍａｇｅ）」と命名する。

【0027】

ここで、ソースイメージは、イメージ変換（または、イメージ生成）の基になるイメージを意味できる。イメージ生成部１１０は、ソースイメージを基に新しいイメージを生成できる。図１に示されたように、ソースイメージ１００ａは、入力部１３０を介してイメージ生成部１１０に入力されることができる。

【0028】

さらに、本発明では、説明の都合上、イメージ生成部１１０により生成されたイメージを「合成イメージ（または、出力イメージ）」と命名する。図１に示されたように、合成イメージ２００は、出力部１４０を介して出力されることができる。

【0029】

このように、イメージ生成部１１０は、入力部１３０を介して入力されるソースイメージ１００ａを基に、基準イメージ１００ｂを用いて合成イメージ２００を生成できる。

【0030】

このとき、イメージ生成部１１０は、スタイルコード入力部１２０を介して入力されるスタイルコードを用いて合成イメージ２００を生成できる。

【0031】

図１に示されたように、ソースイメージ１００ａには、少なくとも１つのグラフィックオブジェクト（例えば、人のイメージ）が含まれ得る。イメージ生成部１１０は、このようなグラフィックオブジェクト（または、第１のグラフィックオブジェクト）に、スタイルコードによる外貌スタイルを反映して合成イメージ２００を生成できる。

【0032】

本発明において、グラフィックオブジェクトは、人、動物、自動車、花、かばん、山などのように、事物に対するイメージと理解されることができる。

【0033】

本明細書では、説明の都合上、ソースイメージ１００ａに含まれたグラフィックオブジェクトを「第１のグラフィックオブジェクト」と命名する。そして、合成イメージ２００に含まれたグラフィックオブジェクトを「第３のグラフィックオブジェクト」と命名する。そして、基準イメージ１００ｂに含まれたグラフィックオブジェクトを「第２のグラフィックオブジェクト」と命名する。さらに、第２のグラフィックオブジェクトは、基準イメージ１００ｂに含まれたものだけでなく、ガウス分布から抽出されるノイズ情報によって特定されるオブジェクトを意味できる。このような、ガウス分布から抽出されるオブジェクトは、スタイルコードの抽出対象（または、スタイルコードを抽出するために参照される対象）とも表現することができる。

【0034】

すなわち、第２のグラフィックオブジェクトは、基準イメージ（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）１００ｂに含まれるか、または複数の基準イメージに対するデータ分布によるガウス分布の特定ノイズに対応することができる。

【0035】

以下では、説明の都合上、ガウス分布の特定ノイズに対応する第２のグラフィックオブジェクトについて別に称さずに、全て「基準イメージ」と統一して説明する。

【0036】

すなわち、以下では、説明の都合上、第２のグラフィックオブジェクトと基準イメージとを同じ意味として説明する。したがって、以下において基準イメージは、ガウス分布により特定されるオブジェクトを意味することもできる。

【0037】

また、本明細書では、ソースイメージと第１のグラフィックオブジェクトとを互いに同じ意味として使用することができる。すなわち、ソースイメージの外貌スタイルは、つまり、第１のグラフィックオブジェクトの外貌スタイルを意味できる。

【0038】

ここで、スタイルコードは、基準イメージ１００ｂの外貌スタイルと関連することができる。「外貌スタイル」は、基準イメージ１００ｂの視覚的な外観を定義できる要素であって、ヘアスタイル（または、頭髪スタイル）、性別など、様々な要素によって決定されることができる。

【0039】

前述したように、基準イメージ１００ｂは、ソースイメージ１００ａの外貌スタイルを変更するために参照される対象を意味できる。

【0040】

このように、イメージ生成部１１０は、ソースイメージ１００ａに、基準イメージの外貌スタイルに該当するスタイルコードを反映することにより、前記基準イメージの外貌スタイルが反映された合成イメージ２００を生成できる。

【0041】

本発明において、合成イメージ２００を生成するとは、ソースイメージ１００ａ、すなわち、第１のグラフィックオブジェクトの外貌スタイルを、基準イメージ１００ｂの外貌スタイルを参照して変換（または、変更）することを意味できる。その結果、本発明では、第１のグラフィックオブジェクトの一部分が基準イメージの外貌スタイルに変換された合成イメージが生成され得る。

【0042】

一方、本発明において、スタイルコードは、スタイル情報及びドメイン特性情報を含むことができる。このとき、スタイル情報は、ドメイン特性情報によるドメインと関連したスタイルに関する情報でありうる。

【0043】

イメージ生成部１１０は、スタイルコードに含まれたスタイル情報及びドメイン特性情報に基づいて、ソースイメージ１００ａ（より具体的には、ソースイメージ１００ａに含まれた第１のグラフィックオブジェクト）の外貌スタイルを変換することにより合成イメージ２００を生成できる。このとき、イメージ生成部１１０は、合成イメージ２００が、スタイルコードに含まれたドメイン特性情報に対応するドメインを有するように、前記ソースイメージ１００ａを基に合成イメージ２００を生成できる。

【0044】

その結果、合成イメージ２００に含まれた第３のグラフィックオブジェクトは、第１のグラフィックオブジェクトに、前記スタイルコードに含まれたスタイル情報及びドメイン特性情報が反映されたグラフィックオブジェクトでありうる。すなわち、第３のグラフィックオブジェクトは、第１のグラフィックオブジェクトに第２のグラフィックオブジェクトの外貌スタイルが合成されたイメージでありうる。

【0045】

このように、本発明では、スタイル情報及びドメイン特性情報が含まれたスタイルコードを用いて、ソースイメージ１００ａを基にする合成イメージ２００を生成できる。

【0046】

すなわち、本発明に係るイメージ生成システム１００は、ソースイメージ１００ａの特定ドメインを基準イメージ１００ｂの特定ドメインに変更することにより合成イメージ２００を生成できる。

【0047】

スタイルコードは、図２に示されたように、それぞれの基準イメージ１０１ｂ、１０２ｂ、１０３ｂ、１０４ｂ、１０５ｂ、１０６ｂに対するスタイル及びドメインに関する情報を含むことができる。

【0048】

このとき、スタイルコードは、図２に示されたように、ベクトル（ｖｅｃｔｏｒ）形式を有するようになされることができる。さらに、スタイルコード入力部１２０は、このようなベクトル形式を有するスタイルコードを、適応インスタンス正規化（ａｄａｐｔｉｖｅ ｉｎｓｔａｎｃｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）（ＡｄａＩＮ）を介してイメージ生成部１１０に入力することができる。

【0049】

上述したように、スタイルコードは、基準イメージ１００ｂのスタイル及びドメインを特定するための、スタイル情報及びドメイン特性情報を含むことができる。以下では、本発明に対する理解を助けるために、スタイル情報、ドメイン、及びドメイン特性情報が有する意味について説明する。

【0050】

まず、「スタイル情報」は、グラフィックオブジェクトが有する外貌スタイル、すなわち、視覚的特徴（または、視覚的外観）に関する情報を意味する。

【0051】

ここで、視覚的特徴は、頭髪スタイルなどのように、目に見える外貌（ａｐｐｅａｒａｎｃｅ）と関連した特徴を意味できる。

【0052】

このようなスタイル情報は、複数のカテゴリー（または、スタイルカテゴリー、属性（ａｔｔｒｉｂｕｔｅ）などと命名可能である）のうち、少なくとも１つのカテゴリーに対する特徴情報を含むことができる。

【0053】

ここで、カテゴリーまたは属性は、グラフィックオブジェクトが有する意味のある視覚的特徴を区分するための区分基準であると理解されることができる。また、カテゴリーは、グラフィックオブジェクトの外貌スタイルを定義するための要素であると理解されることができる。

【0054】

一方、カテゴリーに対する特徴情報は、グラフィックオブジェクトが当該カテゴリーにおいて「どのような視覚的特徴を有するか」をデータとして表現したことを意味できる。

【0055】

このとき、「カテゴリーに対する特徴情報」は、「属性値（ａｔｔｒｉｂｕｔｅ ｖａｌｕｅ）」とも命名されることができる。

【0056】

「カテゴリー（または、属性）」についてより具体的に説明すれば、グラフィックオブジェクトの外貌スタイル、すなわち、視覚的特徴を表現するためのカテゴリー（または、属性）の種類は非常に様々でありうる。

【0057】

例えば、性別、年齢、ヘアスタイル（頭髪スタイル）、ヘア色相（頭髪色相）、皮膚色相、メーキャップ（化粧）、ひげ、顔型、表情、メガネ、アクセサリー、眉毛形状、目形状、口唇形状、鼻形状、耳形状、人中形状などが全てそれぞれの個別カテゴリー（または、属性）と理解されることができる。

【0058】

スタイル情報は、カテゴリーに対する識別情報（カテゴリー種類、カテゴリーインデックス情報等）及び当該カテゴリーに対する特徴情報を全て含むことができる。

【0059】

例えば、カテゴリーに対する識別情報は、「ヘアスタイル」であり、カテゴリーに対する特徴情報は、「金髪ウェーブ」でありうる。

【0060】

このように、スタイルコードは、グラフィックオブジェクトの外貌スタイルを定義できる様々なカテゴリーのうち、少なくとも１つのカテゴリーに関する情報（カテゴリーに対する識別情報及びカテゴリーに対する特徴情報のうち、少なくとも１つを含む）を含むスタイル情報を含むことができる。

【0061】

例えば、図１に示された合成イメージ２００のうち、第１の合成イメージ２０１及び第２の合成イメージ２０２を「ヘアスタイル」カテゴリー観点で説明する。この場合、第１の合成イメージ２０１は、ヘアスタイルカテゴリーに対して、第１の基準イメージ１０１ｂによる「黒色ウェーブ髪２０１ａ」に該当するカテゴリーに対する特徴情報、すなわち、スタイル情報を有することができる。そして、第２の合成イメージ２０２は、ヘアスタイルカテゴリーに対して、第２の基準イメージ１０２ｂに該当する「前髪がある金髪ウェーブ髪２０２ａ」によるカテゴリーに対する特徴情報、すなわち、スタイル情報を有することができる。

【0062】

このように、第１及び第２の合成イメージ２０１、２０２は、同じカテゴリー（例えば、「ヘアスタイル」カテゴリー）に対して互いに異なるスタイル情報を有することができる。

【0063】

したがって、スタイルコードにどのカテゴリーのどのような特徴を有するスタイル情報が含まれるかによって合成イメージの外貌スタイルが変わることができる。

【0064】

したがって、本発明に係るイメージ生成部１１０は、ソースイメージ１００ａに対して、基準イメージ１００ｂの外貌スタイルから抽出されたスタイル情報を含むスタイルコードを反映できる。これにより、イメージ生成部１１０は、基準イメージ１００ｂの外貌スタイルを有する合成イメージ２００を生成できる。

【0065】

このように、イメージ生成部１１０は、スタイルコードに含まれたスタイル情報に基づいて、ソースイメージ１００ａの少なくとも１つのカテゴリーに対する変換を行うことができる。

【0066】

イメージ生成部１１０は、ソースイメージ（１００ａ、または、第１のグラフィックオブジェクト）の外貌スタイルを定義するための複数のカテゴリーのうち、スタイル情報に含まれたカテゴリーと同一または対応するカテゴリーを基準に変換を行うことができる。

【0067】

ここで、ソースイメージ１００ａの特定カテゴリーに対して変換を行うとは、ソースイメージ１００ａの特定カテゴリーに対する特徴情報または属性値を変換することであって、このような特徴情報が変更される場合、当該カテゴリーに対する視覚的外観が変わるようになる。

【0068】

次に、ドメイン及びドメイン特性情報について説明する。

【0069】

ドメイン（ｄｏｍａｉｎ）は、前述した、イメージ（または、グラフィックオブジェクト）の外貌スタイルを区分する互いに異なる複数のカテゴリーのうち、基準になる少なくとも１つのカテゴリーに対する特徴情報（または、属性値）を意味できる。

【0070】

ここで、「基準」は、イメージ変換の基準、イメージ分類の基準、またはイメージ区分の基準のように、様々な意味と受け入れられることができる。

【0071】

ドメイン（ｄｏｍａｉｎ）は、互いに異なる複数のイメージが、「特定カテゴリーに対して互いに同じ属性値を有する」または「特定カテゴリーに対して互いに異なる共通属性値を有する」と表現するとき、「特定カテゴリーに対する属性値」がつまり、ドメインを意味できる。

【0072】

例えば、複数のカテゴリーのうち、「性別」カテゴリーを基準にドメインを説明するとき、図２に示されたように、第１、第２、及び第３のイメージ２０１、２０２、２０３は、同じドメインを有する。そして、第４、第５、及び第６イメージ２０４、２０５、２０６も同じドメインを有する。しかし、第１、第２、及び第３のイメージ２０１、２０２、２０３のドメインは、第４、第５、及び第６のイメージ２０４、２０５、２０６のドメインと互いに異なることができる。すなわち、第１、第２、及び第３のイメージ２０１、２０２、２０３は、「女性」であり、第４、第５、及び第６のイメージ２０４、２０５、２０６のドメインは、「男性」である。このとき、「女性」または「男性」がつまり、ドメインを意味できる。

【0073】

このように、ドメインは、外貌スタイルと関連した様々なカテゴリーに対する属性値のうち、少なくとも１つであって、イメージの変換、イメージの分類、またはイメージの区分基準になる指標でありうる。

【0074】

一方、スタイルコードに含まれたドメイン特性情報は、特定ドメイン（または、ターゲットドメイン）を表すデータであって、外貌スタイルを区分する特定カテゴリー（または、属性）及びこれに対する特徴情報（属性値）を含むことができる。

【0075】

一方、イメージ生成部１１０は、スタイルコードに含まれたドメイン特性情報に基づいて合成イメージ２００のドメインを決定できる。

【0076】

前記イメージ生成部１１０は、合成イメージ２００がスタイルコードに含まれたドメイン特性情報によるドメインを有するようにソースイメージ１００ａを変換できる。

【0077】

ここで、スタイルコードに含まれたドメイン特性情報は、基準イメージの特定ドメインに関する情報でありうる。すなわち、イメージ生成部１１０は、合成イメージ２００が、基準イメージの特定ドメインと同じドメインを有するようにソースイメージ１００ａを変換できる。

【0078】

例えば、スタイルコードに第４、第５、及び第６の基準イメージ１０４ｂ、１０５ｂ、１０６ｂによる「男性」に該当する特定ドメインに対するドメイン特性情報が含まれた場合、イメージ生成部１１０により生成された第４、第５、及び第６のイメージ２０４、２０５、２０６は、「男性」ドメインを有することができる。

【0079】

このように、イメージ生成部１１０は、合成イメージ２０４、２０５、２０６が基準イメージ（例えば、第４、第５、及び第６の基準イメージ１０４ｂ、１０５ｂ、１０６ｂ）の特定ドメイン（例えば、男性）を有するように、ソースイメージ１００ａに前記ドメイン特性情報を反映できる。

【0080】

このとき、イメージ生成部１１０は、ソースイメージ１００ａのドメインとスタイルコードに含まれたドメイン特性情報による特定ドメインとが異なる場合、これを考慮せずに合成イメージ２００のドメインを決定できる。

【0081】

すなわち、イメージ生成部１１０は、ソースイメージ１００ａの特定ドメインと基準イメージ１００ｂの特定ドメインとが異なる場合、ソースイメージ１００ａの特定ドメインより、前記基準イメージ１００ｂの特定ドメインを優先して、合成イメージ（または、第３のグラフィックオブジェクト）のドメインを決定できる。その結果、合成イメージ２００は、基準イメージ１００ｂの特定ドメインを有する。

【0082】

一方、イメージ生成部１１０は、スタイルコードに基づいてソースイメージ１００ａを変換する場合、ソースイメージ１００ａの外貌的正体性を決定する少なくとも１つの外貌特徴部分を基準に、残りの部分に対する外貌スタイルを変更できる。

【0083】

より具体的に、ソースイメージ１００ａは、前記ソースイメージ１００ａの外貌的正体性を決定する少なくとも１つの外貌特徴部分を含むことができる。イメージ生成部１００ａは、ソースイメージ１００ａの外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージ１００ａに対して基準イメージ１００ｂの外貌スタイルを反映できる。このとき、基準イメージ１００ｂの外貌スタイルは、スタイルコードに含まれたドメイン特性情報に対応する基準イメージの特定ドメインを基準に定義された外貌スタイルを意味できる。

【0084】

ソースイメージ１００ａ及び基準イメージ１００ｂが人に対応する場合、前記ソースイメージ１００ａの前記外貌特徴部分は、人の目、鼻、及び口のうち、少なくとも１つに対応する部分でありうる。このとき、前記基準イメージ１００ｂの外貌スタイルは、人の頭髪スタイル、ひげ、年齢、皮膚色、メーキャップのうち、少なくとも１つと関連したものでありうる。

【0085】

一方、前記ソースイメージ１００ａの外貌的正体性を決定する要素は様々でありうるし、イメージ生成部１１０は、合成イメージ２００の合成目的によって、外貌的正体性を決定する要素を異なるように決定することができる。

【0086】

イメージ生成部１１０において、どの部分を外貌的正体性と決定するか否かは、予め入力された情報に基づいて決定されることも可能である。

【0087】

例えば、合成イメージ２００の目的が特定人物に対する様々な頭髪スタイルの変化を表すことであるならば、このとき、外貌的正体性を表す外貌特徴部分は、特定人物の目、鼻、口、顔型などに対応する部分でありうる。

【0088】

その結果、図１に示されたように、イメージ生成部１１０は、ソースイメージ１００ａの外貌的正体性に該当する外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージ１００ａに対して基準イメージ１００ｂの外貌スタイル（例えば、ヘアスタイル）を反映できる。その結果、ソースイメージ１００ａの外貌的正体性を維持しながら、基準イメージ１００ｂの外貌スタイルを有する合成イメージ２００が生成され得る。

【0089】

一方、ここで、外貌的正体性は、ソースイメージ１００ａに含まれたグラフィックオブジェクトのポーズ（ｐｏｓｅ）または姿勢を含むことができる。

【0090】

すなわち、イメージ生成部１１０は、ソースイメージ１００ａに含まれたグラフィックオブジェクトのポーズと同じポーズを有するグラフィックオブジェクトが含まれるように合成イメージ２００を生成できる。

【0091】

このように、本発明に係るイメージ生成システム１００は、入力部１１０を介してソースイメージを受信し（Ｓ３１０）、スタイルコード入力部１２０を介して外貌スタイルと関連したスタイルコードを受信する（Ｓ３２０）。そして、受信されたスタイルコードを用いて、スタイルコードに対応する外貌スタイルが反映されたイメージを生成できる（Ｓ３３０）。

【0092】

以上で説明したように、本発明に係るイメージ生成システム１００は、イメージ生成部１１０にドメインの特性情報を含むスタイルコードに基づいて合成イメージを生成できる。

【0093】

以下では、スタイルコードを生成する方法について添付された図面とともにより具体的に説明する。図４、図５、及び図６は、本発明に係るマッピングネットワークを利用してスタイルコードを生成する方法を説明するための概念図である。

【0094】

前述したように、本発明に係るイメージ生成部１１０は、スタイルコード入力部１２０を介して入力されるスタイルコードにより、ソースイメージ１００ａにおいてどのドメインを基準にイメージを変換するかを決定できる。

【0095】

すなわち、スタイルコードは、特定ドメイン（または、ターゲットドメイン）に対するドメイン特性情報及び前記特定ドメインを基準に抽出されたスタイル情報を含むことができる。一方、スタイルコードに含まれたドメイン特性情報に基づいて、ソースイメージ１００ａの変換対象ターゲットドメインが決定される。

【0096】

このようなスタイルコードは、図４に示されたマッピングネットワーク４００から抽出されることができる。イメージ生成部１１０は、マッピングネットワーク４００から抽出されたスタイルコードを用いて、ソースイメージの特定ドメインを、スタイルコードに含まれたドメイン特性情報による特定ドメイン（または、ターゲットドメイン）に変換することができる。

【0097】

より具体的に、図４に示されたように、マッピングネットワーク４００は、マッピングネットワーク部４１０、入力部４２０、及び出力部４３０のうち、少なくとも１つを備えることができる。

【0098】

マッピングネットワーク部４１０は、ガウス分布４００ａからノイズ情報（ｚ１ないしｚ７）を抽出し、抽出されたノイズ情報を利用してスタイルコードを生成できる。

【0099】

このようなノイズ情報は、潜在コード（ｌａｔｅｎｔ ｃｏｄｅ）とも命名されることができる。

【0100】

マッピングネットワーク部４１０は、ガウス分布４００ａからランダムにサンプリングを行うことにより、様々なドメイン及び様々なスタイルを有する様々なスタイルコードを生成できる。

【0101】

マッピングネットワーク部４１０は、このようなガウス分布４００ａからサンプリングを行ってノイズ情報（潜在コードまたはノイズ）を抽出できる。このように抽出されたノイズ情報は、特定ドメインに対するスタイル情報になることができる。

【0102】

マッピングネットワーク部４１０は、スタイルコードに反映しようとする特定ドメインの情報とガウス分布４００ａから抽出された特定ノイズ情報とを組み合わせることができる。そして、マッピングネットワーク部４１０は、前記組み合わせに基づいて、特定ドメインに対する特性情報及び前記抽出された特定ノイズ情報に対応するスタイル情報を含むスタイルコードを生成できる。

【0103】

このとき、ガウス分布４００ａは、複数のイメージに対するものであって、複数のイメージに対するデータセット（ｄａｔａ ｓｅｔ）の確率分布でありうる。

【0104】

前述したように、マッピングネットワーク部４１０は、ノイズ情報からスタイルコードを変換するとき、変換されたスタイルコードにドメインの情報が含まれるようにスタイルコードを生成できる。

【0105】

例えば、図５に示されたように、ガウス分布４００ａから特定ノイズ情報ｚ１が抽出された場合、当該ノイズ情報ｚ１がどのドメインに対することであるかによって、互いに異なるスタイルコードが生成され得る。

【0106】

すなわち、マッピングネットワーク部４００は、ガウス分布４００ａから同一ノイズ情報が抽出されても、基準になるドメインによって、互いに異なるスタイルコードを生成できる。

【0107】

このために、マッピングネットワーク部４００は、互いに異なるドメインに対するスタイルコードを出力するための複数の出力分岐があるＭＬＰ（ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）（ＭＬＰ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ ｂｒａｎｃｈｅｓ）で構成されることができる。このような、同じノイズ情報に対して互いに異なるスタイルコードが生成され得る。この場合、互いに異なるスタイルコードは、各々互いに異なるターゲットドメインに対応することができる。

【0108】

より具体的に、図５において特定ノイズ情報ｚ１は、図１及び図２において説明した基準イメージ１０１ｂを表すためのデータを含むことができる。

【0109】

マッピングネットワーク部４１０は、基準イメージ１０１ｂに対応するノイズ情報ｚからスタイルコードを生成できる。この場合、マッピングネットワーク部４１０は、互いに異なる様々なドメインを基準にスタイルコードを生成できる。すなわち、マッピングネットワーク部４００は、特定ドメインを基準に互いに異なるスタイルコードを生成できる。

【0110】

例えば、図５に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「性別」である場合、マッピングネットワーク部４１０は、基準イメージ１０１ｂの性別（例えば、「女性」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。

【0111】

このとき、マッピングネットワーク部４１０は、ノイズ情報ｚから前記特定ドメインが有する特徴（例えば、「女性」の特徴：長髪、化粧）を中心にスタイル情報を抽出できる。

【0112】

さらに他の例として、図５に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「年齢」である場合、マッピングネットワーク部４１０は、基準イメージ１０１ｂの年齢（例えば、「若者」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。

【0113】

このとき、マッピングネットワーク部４１０は、ノイズ情報ｚから前記特定ドメインが有する特徴（例えば、「若い女性」の特徴：滑らかな皮膚、化粧）を中心にスタイル情報を抽出できる。

【0114】

また、図示したように、マッピングネットワーク部４１０は、ヘアカラー、皮膚カラー、ヘアスタイル、顔型など、様々なターゲットドメインを基準に、ノイズ情報ｚからスタイル情報を抽出できる。

【0115】

一方、本発明において、「ターゲットドメインを基準にスタイル情報を抽出する」とは、ノイズ情報ｚから、ターゲットドメインと関連した特徴（例えば、ターゲットドメインが女性である場合、長髪、化粧）と関連した外貌的な特徴を有するスタイル情報を抽出することを意味できる。

【0116】

このように、本発明に係るマッピングネットワーク部４１０は、複数の基準イメージに対するガウス分布から基準イメージ１０１ｂに対応するノイズ情報ｚを抽出し、前記抽出されたノイズ情報ｚを利用して、基準イメージ１０１ｂの外貌スタイルと関連したスタイルコードを生成できる。

【0117】

前述したように、マッピングネットワーク部４１０は、前記ノイズ情報に前記第２のグラフィックオブジェクトの外貌スタイルに基づいて分類可能な複数のドメインのうち、いずれか１つのドメイン（または、ターゲットドメイン、特定ドメイン）を基準にスタイルコードを生成できる。したがって、スタイルコードは、前記いずれか１つのドメイン（ターゲットドメイン）によるドメイン特性情報が反映されて存在することができる。

【0118】

一方、図５に示されたように、スタイルコードは、ドメインを基準に互いに異なるスケール（ｓｃａｌｅ）を有するベクトルで構成されることができる。

【0119】

例え、図示されてはいないが、マッピングネットワーク４００は、学習部をさらに備えることができる。マッピングネットワーク４００の学習部は、抽出されたノイズ情報をスタイルコードに変換する学習を行うことができる。

【0120】

より具体的に、学習部は、抽出されたノイズ情報から、与えられた特定ドメインに対応するスタイル情報が抽出されるようにする学習を行うことができる。

【0121】

このような学習を介して、マッピングネットワーク部４１０は、ノイズ情報から前記特定ドメインが有する特徴（例えば、「女性」の特徴）をより正確に反映されるようにするスタイル情報を抽出できる。

【0122】

すなわち、学習部は、マッピングネットワーク部４１０が、ノイズ情報から特定ドメイン（ターゲットドメイン）に対してありそうな（確率が高い）スタイル情報を抽出させる学習を進行できる。マッピングネットワーク部４１０は、特定ドメインに対してありそうなスタイル情報を含むスタイルコードを生成することにより、ソースイメージをより実際に近く変換することができる。

【0123】

例えば、ターゲットドメインが女性である場合、初期にマッピングネットワーク部４１０から抽出されたスタイルコードに「ひげ」に対するスタイル情報が含まれた場合、学習を介して、「ひげ」に対するスタイル情報が除外され得る。

【0124】

一方、マッピングネットワーク４００は、ガウス分布内に存在するノイズ情報に基づいてスタイルコードを生成するので、連続する隣接したノイズ情報は、類似したスタイル情報を含むことができる。

【0125】

したがって、図１において説明したソースイメージ１００ａに対し、ターゲットドメインを「女性」としてイメージ変換を行う場合、図５において説明した特定ノイズ情報ｚ及びこれと隣接したノイズ情報に基づいて生成されたスタイルコードにより合成されたイメージ６１０、６２０、６３０、６４０、６６０は、図６に示されたように、隣り合った合成イメージと互いに類似した外貌スタイルを有することができる。

【0126】

以上で説明したように、本発明に係るマッピングネットワークシステムは、ノイズ情報から様々なドメインに対するスタイルコードを生成できる。さらに、イメージ生成部１１０は、このようなスタイルコードを用いて、ソースイメージに対する様々なドメインの変更を行いながら、様々なスタイルを有する合成イメージを生成できる。

【0127】

一方、以上では、マッピングネットワークシステムを利用してスタイルコードを生成する方法について説明したが、本発明では、スタイルエンコーダを用いて、スタイルコードを生成することも可能である。以下では、スタイルエンコーダを活用してスタイルコードを生成する方法について添付された図面とともにより具体的に説明する。図７及び図８は、本発明に係るスタイルエンコーダを用いてスタイルコードを生成する方法を説明するための概念図である。

【0128】

前述したように、本発明に係るイメージ生成部１１０は、スタイルコード入力部１２０を介して入力されるスタイルコードを介して、ソースイメージ１００ａでどのドメインを基準にイメージを変換するかを決定できる。

【0129】

すなわち、スタイルコードは、特定ドメイン（または、ターゲットドメイン）に対するドメイン特性情報及び前記特定ドメインを基準に抽出されたスタイル情報を含むことができる。一方、スタイルコードに含まれたドメイン特性情報に基づいてソースイメージ１００ａの変換対象ターゲットドメインが決定される。

【0130】

このようなスタイルコードは、図７に示されたスタイルエンコーダシステム７００から抽出されることができる。イメージ生成部１１０は、スタイルエンコーダシステム７００から抽出されたスタイルコードを用いて、ソースイメージの特定ドメインを、スタイルコードに含まれたドメイン特性情報による特定ドメイン（または、ターゲットドメイン）に変換することができる。

【0131】

より具体的に、図７に示されたように、スタイルエンコーダシステム７００は、スタイルエンコーダ７１０、入力部７２０、及び出力部７３０のうち、少なくとも１つを備えることができる。

【0132】

スタイルエンコーダ７１０は、入力部７２０を介して入力される基準イメージ（７０１ないし７０３）から特定ドメイン（または、ターゲットドメイン）を基準にスタイル情報を抽出できる。そして、スタイルエンコーダ部７１０は、抽出されたスタイル情報及び特定ドメインに対するドメイン特性情報を利用してスタイルコードを生成できる。

【0133】

スタイルエンコーダ７１０は、基準イメージ１０１ｂ（図７の図面符号７０１ないし７０６参照）から、基準イメージ１０１ｂの外貌スタイルと関連したスタイル情報を抽出できる。

【0134】

このとき、スタイルエンコーダ７１０は、基準イメージから、前記基準イメージ１０１ｂの外貌スタイルを基に分類可能な複数のドメインのうち、いずれか１つのドメインを基準に前記スタイル情報を抽出できる。ここで、いずれか１つのドメインは、特定ドメインまたはターゲットドメインと命名されることができる。

【0135】

図８に示された基準イメージ７０１を例を挙げて説明すれば、スタイルエンコーダ７１０は、基準イメージ７０１から、基準イメージ７０１の外貌スタイルを基に分類可能な複数のドメイン（例えば、女性、黒色の長髪、白色皮膚など）のうち、いずれか少なくとも１つのドメイン（例えば、女性）を基準にスタイル情報を抽出できる。

【0136】

ここで、基準になるドメインは、前述したように、ターゲットドメインと命名されることができる。スタイルエンコーダ７１０は、基準イメージ７０１から互いに異なるターゲットドメインに各々該当するスタイル情報を抽出し、これを利用してスタイルコードを生成できる。

【0137】

例えば、図８に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「性別」である場合、スタイルエンコーダ７１０は、基準イメージ７０１の性別（例えば、「女性」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。

【0138】

このとき、スタイルエンコーダ７１０は、基準イメージ７０１から前記特定ドメインが有する特徴（例えば、「女性」の特徴：長髪、化粧）を中心にスタイル情報を抽出できる。

【0139】

さらに他の例として、図８に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「年齢」である場合、スタイルエンコーダ７１０は、基準イメージ７０１の年齢（例えば、「若者」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。

【0140】

このとき、スタイルエンコーダ７１０は、基準イメージ７０１から前記特定ドメインが有する特徴（例えば、「若い女性」の特徴：滑らかな皮膚、化粧）を中心にスタイル情報を抽出できる。

【0141】

また、図示したように、スタイルエンコーダ７１０は、ヘアカラー、皮膚カラー、ヘアスタイル、顔型など、様々なターゲットドメインを基準に、基準イメージ７０１からスタイル情報を抽出できる。

【0142】

そして、このように抽出されたスタイル情報は、基準になるターゲットドメインに該当するドメイン特性情報を含んで、互いに異なるスタイルコードとして生成されることができる。

【0143】

前述したように、スタイルエンコーダ７１０は、基準イメージ７０１の外貌スタイルを基に分類可能な複数のドメイン（例えば、性別、頭髪スタイル等）のうち、いずれか１つのドメイン（または、ターゲットドメイン、特定ドメイン）を基準にスタイルコードを生成できる。したがって、スタイルコードは、前記いずれか１つのドメイン（ターゲットドメイン）によるドメイン特性情報が反映されて存在することができる。一方、図８に示されたように、スタイルコードは、ドメインを基準に互いに異なるスケール（ｓｃａｌｅ）のベクトルで構成されることができる。

【0144】

以上で説明したように、本発明に係るイメージ生成システムのイメージ生成部は、マッピングネットワークまたはスタイルエンコーダシステムを介して生成されたスタイルコードを用いて、ソースイメージの特定ドメインを基準イメージのターゲットドメインに変更することができる。

【0145】

一方、本発明に係るイメージ生成システムは、学習を介してイメージ生成の性能を高めることができ、以下では、学習過程について添付された図面とともにより具体的に説明する。図９は、本発明に係るイメージ生成システムを学習する方法を説明するための概念図である。

【0146】

本発明では、様々な学習アルゴリズムを利用して、イメージ生成システムを学習させることが可能である。イメージ生成部（１１０、図１参照）は、スタイルコードによるターゲットドメインと区分されない合成イメージを作るようにする学習が進行される。

【0147】

例えば、図示されてはいないが、本発明に係るイメージ生成システム１００は、学習部をおき、様々な学習アルゴリズムを利用してイメージ生成部１１０に対する学習を行うことができる。イメージ生成部１１０は、スタイルコードにより定義されるターゲットドメイン（例えば、黒髪）と、さらに類似または同一の合成イメージを生成するように学習されることができる。

【0148】

一例として、学習部は、識別部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ、９００）を利用して学習を進行できる。識別部９００は、ターゲットドメイン（例えば、黒髪）を基準に、合成イメージ２０１と基準イメージ１０１ｂとを比較できる。そして、比較結果に基づいて、識別部９００は、合成イメージ２０１が実際（または、本物）イメージ（ｒｅａｌ ｉｍａｇｅ）であるか、または、作られた偽物イメージ（ｆａｋｅ ｉｍａｇｅ）であるかを判断できる。

【0149】

識別部９００は、合成イメージ２０１が実際イメージであると判断された場合、「１」の値を出力し、偽物イメージであると判断された場合、「０」の値を出力できる。

【0150】

さらに、学習部は、識別部９００での比較結果に該当する、合成イメージ２０１と基準イメージ１０１との間の差値を用いてイメージ生成部１１０を学習できる。イメージ生成部１１０は、前記差値が最小になるようにするイメージを生成するように学習されることができる。

【0151】

また、例え、図示されてはいないが、スタイルエンコーダシステム７００は、学習部をさらに備えることができる。スタイルエンコーダシステム７００の学習部は、イメージ生成部１１０を介して生成された合成イメージから、前記合成イメージのスタイルコードが抽出されるように前記スタイルエンコーダを制御できる。ここで、合成イメージは、スタイルエンコーダ部７１０により生成されたスタイルコードにより生成されたイメージでありうる。

【0152】

学習部は、スタイルエンコーダ７１０により生成されたスタイルコードが反映された合成イメージを利用してスタイルエンコーダ７１０を学習させることができる。

【0153】

より具体的に、学習部は、スタイルエンコーダ７１０に合成イメージを基準イメージとして入力し、合成イメージからスタイルコードを生成できる。このとき、ターゲットドメインは、合成イメージの生成に使用されたスタイルコードのターゲットドメインと同一に設定されることができる。

【0154】

一方、学習部は、合成イメージを生成するために使用されたスタイルコード（または、基準イメージのスタイルコード、第１のスタイルコード）と、合成イメージから生成されたスタイルコード（または、合成イメージのスタイルコード、第２のスタイルコード）とを比較し、比較結果を利用してイメージ生成部１１０を学習させることができる。すなわち、イメージ生成部１１０を介して生成された合成イメージにターゲットドメインのスタイル情報が含まれているか判断し、判断結果に基づいてイメージ生成部１１０が学習される方式である。

【0155】

前記学習部は、前記比較結果、ｉ）合成イメージを生成するために使用されたスタイルコード（または、基準イメージのスタイルコード、第１のスタイルコード）とｉｉ）合成イメージから生成されたスタイルコード（または、合成イメージのスタイルコード、第２のスタイルコード）とが互いに相違した場合、ｉ）合成イメージを生成するために使用されたスタイルコード（または、基準イメージのスタイルコード、第１のスタイルコード）とｉｉ）合成イメージから生成されたスタイルコード（または、合成イメージのスタイルコード、第２のスタイルコード）との差値が最小になるようにイメージ生成部１１０を学習させることができる。このとき、学習部は、スタイル再構成損失（ｓｔｙｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）関数を利用して学習を行うことができる。

【0156】

一方、以上で説明した学習の方法の他にも、学習部は、様々な損失（ｌｏｓｓ）関数（例えば、ダイバーシティセンシティブ損失（ｄｉｖｅｒｓｉｔｙ ｓｅｎｓｉｔｉｖｅ ｌｏｓｓ）関数、サイクル一貫性損失（ｃｙｃｌｅ ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ））を利用して本発明に係るイメージ生成システムを学習させることができる。

【0157】

上述したように、本発明に係るイメージ生成システム及びこれを利用したイメージ生成方法は、ドメインの特性を含むスタイルコードを用いて、スタイルコードに含まれたドメイン特性に該当するドメインを有するイメージを生成できる。

【0158】

このとき、本発明では、スタイルコードにスタイル情報を含めることにより、スタイルコードだけで生成しようとするイメージのスタイル及びドメインを特定できる。

【0159】

したがって、本発明によれば、スタイルコードにどのドメインによるドメイン特性が反映されているかによって、生成されるイメージのドメインが様々に定義され得る。

【0160】

すなわち、本発明では、イメージ生成部に入力されるスタイルコードにドメインの特性を反映することにより、単一のイメージ生成部だけでも互いに異なる様々なドメインに対応する様々なイメージを生成できる。

【0161】

したがって、本発明によれば、ドメイン毎に別のイメージ生成部を備えなくとも、単一のイメージ生成部だけでも、様々なドメインに対する新しいイメージを生成できるドメイン側面での拡張性を提供できる。

【0162】

また、本発明は、スタイルコードにどのスタイルによるスタイル情報を含めるかによって、同じドメインに対して互いに異なるスタイルのイメージを生成できる。したがって、本発明は、スタイルコードに含まれるスタイル情報を変更させることだけでも、同じドメインに対する様々なスタイルのイメージを生成することにより、スタイル側面での多様性を提供できる。

【0163】

一方、上記で説明した本発明は、コンピュータで１つ以上のプロセスによって実行され、このようなコンピュータ読み取り可能な媒体に格納可能なプログラムとして実現されることができる。

【0164】

さらに、上記で説明した本発明は、プログラムが記録された媒体にコンピュータ読み取り可能なコードまたは命令語として実現することが可能である。すなわち、本発明は、プログラムの形態で提供されることができる。

【0165】

一方、コンピュータ読み取り可能な媒体は、コンピュータシステムによって読み取られることができるデータが格納されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な媒体の例では、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＳＤＤ（Ｓｉｌｉｃｏｎ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、また、キャリアウェーブ（例えば、インターネットを介しての送信）の形態で実現されることも含む。

【0166】

さらに、コンピュータ読み取り可能な媒体は、格納所を含み、電子機器が通信を介して接近できるサーバまたはクラウド格納所でありうる。

【0167】

さらに、本発明では、上記で説明したコンピュータは、プロセッサ、すなわち、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）が搭載された電子機器であって、その種類に対して特別な限定をおかない。

【0168】

一方、上記の詳細な説明は、あらゆる面において制限的に解釈されてはならず、例示的なことと考慮されなければならない。本発明の範囲は、添付された請求項の合理的解釈により決定されなければならず、本発明の等価的範囲内での全ての変更は本発明の範囲に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】