特開 2024-8299 画像生成装置、画像生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008299

(43)【公開日】2024-01-19

(54)【発明の名称】画像生成装置、画像生成方法及びプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240112BHJP

【ＦＩ】

G06T11/80 E

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022110051

(22)【出願日】2022-07-07

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】西田 光甫

(72)【発明者】

【氏名】西田 京介

(72)【発明者】

【氏名】西岡 秀一

(72)【発明者】

【氏名】馬場 毅

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA06

5B050CA07

5B050EA18

5B050GA08

(57)【要約】

【課題】編集前の状態を表すテキストを用いずに、与えられた画像と編集指示から編集後画像を生成できる技術を提供すること。
【解決手段】本開示の一態様による画像生成装置は、編集対象画像に対する編集指示を表すテキストを入力するように構成されている入力部と、与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成するように構成されている編集情報生成部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

編集対象画像に対する編集指示を表すテキストを入力するように構成されている入力部と、
与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成するように構成されている編集情報生成部と、
を有する画像生成装置。

【請求項2】

前記参考画像情報は、参考画像で構成される画像集合であり、
前記編集情報生成部は、
前記画像集合に含まれる前記参考画像のうち、特徴空間において前記テキストの近傍となる参考画像を正例、前記テキストの近傍とならない参考画像を負例としたときに、前記参考画像情報と、前記テキストとの関係性に基づいて、前記編集情報を生成するように構成されている、請求項１に記載の画像生成装置。

【請求項3】

前記編集情報生成部は、
前記画像集合に含まれる前記参考画像を正例と負例に分離する超平面の法線ベクトルを前記編集情報として生成するように構成されている、請求項２に記載の画像生成装置。

【請求項4】

前記編集情報生成部は、
前記画像集合に含まれる前記参考画像のうち、前記特徴空間において前記テキストとの類似度が高い上位所定の第１の件数の参考画像又は前記テキストとの類似度が第１の閾値以上の参考画像を正例、前記テキストとの類似度が低い下位所定の第２の件数の参考画像又は前記テキストとの類似度が第２の閾値未満の参考画像を負例とするように構成されている、請求項２又は３に記載の画像生成装置。

【請求項5】

前記参考画像情報は、参考画像の特徴量を表す画像特徴量で構成される特徴量集合であり、
前記編集情報生成部は、
前記特徴量集合に含まれる前記画像特徴量のうち、特徴空間において前記テキストの近傍となる画像特徴量を持つ前記参考画像を正例、前記テキストの近傍とならない画像特徴量を持つ前記参考画像を負例としたときに、前記参考画像情報と、前記テキストとの関係性に基づいて、前記編集情報を生成するように構成されている、請求項１に記載の画像生成装置。

【請求項6】

前記編集情報生成部は、
正例とした前記参考画像の画像特徴量と負例とした前記参考画像の画像特徴量とを分離する超平面の法線ベクトルを前記編集情報として生成するように構成されている、請求項５に記載の画像生成装置。

【請求項7】

編集対象画像を編集するための参考画像情報を入力として、前記参考画像情報に基づいて、前記編集対象画像を編集した画像を生成するための編集情報を生成するように構成されている編集情報生成部、
を有する画像生成装置。

【請求項8】

前記編集対象画像と、前記編集対象画像に対する編集指示を表すテキストとを入力として、前記テキストに基づいて、所定の画像集合の中から、前記テキストの近傍となる第１の画像と前記テキストの近傍とならない第２の画像とを前記参考画像情報として取得するように構成されている取得部を有し、
前記編集情報生成部は、
前記取得部によって取得された前記参考画像情報を入力として、前記参考画像情報に基づいて、前記編集情報を生成するように構成されている、請求項７に記載の画像生成装置。

【請求項9】

編集対象画像に対する編集指示を表すテキストを入力する入力手順と、
与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成する編集情報生成手順と、
をコンピュータが実行する画像生成方法。

【請求項10】

編集対象画像に対する編集指示を表すテキストを入力する入力手順と、
与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成する編集情報生成手順と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像生成装置、画像生成方法及びプログラムに関する。

【背景技術】

【0002】

入力された画像を自然言語により編集することができるＳｔｙｌｅＣＬＩＰと呼ばれる手法が知られている（例えば、非特許文献１）。ＳｔｙｌｅＣＬＩＰは、画像と自然言語を同じ埋め込み空間にエンコード可能なＣＬＩＰと呼ばれる手法と、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）の１つであるＳｔｙｌｅＧＡＮと呼ばれる手法とを組み合わせたものである。

【0003】

ＳｔｙｌｅＣＬＩＰでは、編集指示を表すテキスト（これはターゲットテキストとも呼ばれる。）と編集前の状態を表すテキスト（これはニュートラルテキストとも呼ばれる。）から埋め込み空間における画像の編集方向を決定し、その編集方向を利用してＳｔｙｌｅＧＡＮにより画像を編集している。また、編集方向を決定する際には、埋め込み空間内でニュートラルテキストからターゲットテキストへの方向を表すベクトルを編集方向と決定している。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Or Patashnik et al. Styleclip: Text-driven manipulation of stylegan imagery. In CVPR, pages 2085-2094, 2021.

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したように、ＳｔｙｌｅＣＬＩＰでは、編集方向を決定する際に、ターゲットテキストに加えて、ニュートラルテキストが必要である。一方で、ＳｔｙｌｅＣＬＩＰでは、ニュートラルテキストは一種のチューニングパラメータとなっており、編集指示を反映可能なテキストを適切に設定することは困難なことが多い。

【0006】

本開示は、上記の点に鑑みてなされたもので、編集前の状態を表すテキストを用いずに、与えられた画像と編集指示から編集後画像を生成できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様による画像生成装置は、編集対象画像に対する編集指示を表すテキストを入力するように構成されている入力部と、与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成するように構成されている編集情報生成部と、を有する。

【発明の効果】

【0008】

編集前の状態を表すテキストを用いずに、与えられた画像と編集指示から編集後画像を生成できる技術が提供される。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る画像生成装置のハードウェア構成の一例を示す図である。

【図2】本実施形態に係る画像生成装置の機能構成の一例を示す図である。

【図3】本実施形態に係る画像生成処理の一例を示すフローチャートである。

【図4】本実施形態に係る画像生成装置の機能構成の変形例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について説明する。以下の実施形態では、画像と編集指示（ターゲットテキスト）が与えられたときに、その編集指示に従って当該画像を編集した編集後画像を生成することができる画像生成装置１０について説明する。なお、以下では、画像生成装置１０に与えられる画像（編集前の画像）を「入力画像」、編集後画像を「出力画像」ともいう。

【0011】

＜画像生成装置１０のハードウェア構成例＞
本実施形態に係る画像生成装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係る画像生成装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続されている。

【0012】

入力装置１０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置１０２は、例えば、ディスプレイ、表示パネル等である。なお、画像生成装置１０は、入力装置１０１及び表示装置１０２の少なくとも一方を有していなくてもよい。

【0013】

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。画像生成装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。記録媒体１０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

【0014】

通信Ｉ／Ｆ１０４は、画像生成装置１０を通信ネットワークに接続するためのインタフェースである。ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置１０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等のストレージ装置（記憶装置）である。プロセッサ１０８は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置である。

【0015】

本実施形態に係る画像生成装置１０は、図１に示すハードウェア構成を有することにより、後述する画像生成処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、画像生成装置１０のハードウェア構成はこれに限られるものではない。例えば、画像生成装置１０は、複数の補助記憶装置１０７や複数のプロセッサ１０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の様々なハードウェアを有していてもよい。

【0016】

＜画像生成装置１０の機能構成例＞
本実施形態に係る画像生成装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係る画像生成装置１０は、入力部２０１と、言語符号化部２０２と、画像符号化部２０３と、画像検索部２０４と、編集方向決定部２０５と、画像生成部２０６と、出力部２０７とを有する。これら各部は、例えば、画像生成装置１０にインストールされた１以上のプログラムが、プロセッサ１０８に実行させる処理により実現される。また、本実施形態に係る画像生成装置１０は、画像コーパス記憶部２０８を有する。画像コーパス記憶部２０８は、例えば、補助記憶装置１０７により実現される。なお、画像コーパス記憶部２０８は、例えば、画像生成装置１０と通信ネットワークを介して接続されるデータベースサーバ等の記憶装置により実現されていてもよい。

【0017】

入力部２０１は、与えられた入力画像とターゲットテキストを入力する。ここで、ターゲットテキストとは、編集指示を自然言語で表したテキストのことである。また、入力画像は、ターゲットテキストが表す編集指示によって編集したい対象が含まれる画像（つまり、編集対象が写っている画像）のことである。なお、編集対象は特定の対象に限定されるものではないが、一例を挙げれば、人の顔、犬や猫等といった動物、車両や船舶等といった機械等を編集対象とすることが考えられる。以下では、ターゲットテキストをｔ^{ｔａｒｇｅｔ}で表し、入力画像をｘで表すことにする。

【0018】

言語符号化部２０２は、ターゲットテキストｔ^{ｔａｒｇｅｔ}を入力として、ターゲットテキストｔ^{ｔａｒｇｅｔ}を符号化し、その特徴量を表すテキスト特徴量ｅ_ｔｅｘｔを生成及び出力する。言語符号化部２０２は、例えば、参考文献１に記載されているＣＬＩＰ（Contrastive Language-Image Pre-training）のテキスト用エンコーダＣＬＩＰ_ｔｅｘｔを用いて、ｅ_ｔｅｘｔ＝ＣＬＩＰ_ｔｅｘｔ（ｔ^{ｔａｒｇｅｔ}）によりターゲットテキストｔ^{ｔａｒｇｅｔ}を符号化し、テキスト特徴量ｅ_ｔｅｘｔを生成及び出力すればよい。ただし、これは一例であって、言語符号化部２０２は、ＣＬＩＰ_ｔｅｘｔ以外のエンコーダによりターゲットテキストｔ^{ｔａｒｇｅｔ}を符号化してもよい。

【0019】

画像符号化部２０３は、入力画像ｘを入力として、入力画像ｘを符号化し、その特徴量を表す画像特徴量ｓを生成及び出力する。画像符号化部２０３は、例えば、参考文献２に記載されているｅ４ｅ（Encoder for Editing）エンコーダを用いて、ｅ４ｅエンコーダにより入力画像ｘを符号化し、画像特徴量ｓを生成及び出力すればよい。ただし、これは一例であって、画像符号化部２０３は、ｅ４ｅエンコーダ以外のエンコーダにより入力画像ｘを符号化してもよい。例えば、画像符号化部２０３は、参考文献１に記載されているＣＬＩＰの画像用エンコーダＣＬＩＰ_{ｉｍａｇｅ}を用いて、ｓ＝ＣＬＩＰ_{ｉｍａｇｅ}（ｘ）により入力画像ｘを符号化してもよい。画像用のエンコーダはＣＬＩＰ_{ｉｍａｇｅ}やｅ４ｅエンコーダ等に限られるものではないが、ＣＬＩＰ_{ｉｍａｇｅ}やｅ４ｅエンコーダといったエンコーダを用いることで、より精度の高い出力画像の生成が期待できる。

【0020】

なお、ＣＬＩＰ及びｅ４ｅエンコーダはいずれも、或るテキストと或る画像が意味的に近い場合は、そのテキストのテキスト特徴量とその画像の画像特徴量との距離が近くなるように（又は、類似度が高くなるように）事前学習済みであるものとする。このような事前学習によって生成されるマルチモーダルな埋め込み空間（特徴空間）はＣＬＩＰ空間とも呼ばれる。

【0021】

画像検索部２０４は、テキスト特徴量ｅ_ｔｅｘｔを入力として、画像コーパス記憶部２０８を検索し、正例画像の特徴量を表す正例画像特徴量の集合と負例画像の特徴量を表す負例画像特徴量の集合とで構成される情報を参考画像情報として出力する。

【0022】

ここで、正例画像とは、或る画像集合（以下、これを参考画像集合と呼ぶことにする。）に含まれる画像のうち、その特徴量がテキスト特徴量ｅ_ｔｅｘｔの近傍となる画像のことである。一方で、負例画像とは、参考画像集合に含まれる画像のうち、その特徴量がテキスト特徴量ｅ_ｔｅｘｔの近傍ではない画像のことである。例えば、参考画像集合をＸ＝｛ｘ_ｉ｜ｉ＝１，・・・，Ｎ｝（ただし、Ｎは参考画像集合Ｘに含まれる画像数）とした場合、各ｉ＝１，・・・，Ｎに対して、ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｉ）とテキスト特徴量ｅ_ｔｅｘｔとの類似度（例えば、コサイン類似度等）をそれぞれ求めたときに、その類似度が高い上位Ｎ_１（ただし、Ｎ_１＜Ｎ）の画像が正例画像、下位Ｎ_２件（ただし、Ｎ_２＜Ｎ、かつ、Ｎ_１＋Ｎ_２≦Ｎ）の画像が負例画像である。ただし、これは一例であって、これに限られるものではなく、例えば、類似度が或る所定の閾値以上の画像を正例画像、類似度が或る所定の閾値未満の画像を負例画像としてもよい。より一般には、例えば、２つの閾値θ_１，θ_２（ただし、θ_１≧θ_２）を用いて、類似度が閾値θ_１以上の画像を正例画像、類似度がθ_２未満の画像を負例画像としてもよい。なお、類似度は一例であって、これに限られるものではなく、テキスト特徴量ｅ_ｔｅｘｔとの関係性を表す他の評価指標（例えば、距離等）を用いることも可能である。

【0023】

以下では、参考画像集合Ｘに含まれる各画像ｘ_ｉの画像特徴量の集合をＳ＝｛ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｉ）｜ｉ＝１，・・・，Ｎ｝とする。また、正例画像の集合をＸ^＋＝｛ｘ_ｉ｜ｘ_ｉは正例画像｝⊂Ｘ、負例画像の集合をＸ^－＝｛ｘ_ｉ｜ｘ_ｉは負例画像｝⊂Ｘとする。更に、正例画像の画像特徴量の集合をＳ^＋＝｛ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｉ）｜ｘ_ｉは正例画像｝⊂Ｓ、負例画像の画像特徴量の集合をＳ^－＝｛ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｉ）｜ｘ_ｉは負例画像｝⊂Ｓとする。これにより、参考画像情報は、（Ｓ^＋，Ｓ^－）と表される。

【0024】

編集方向決定部２０５は、参考画像情報（Ｓ^＋，Ｓ^－）を入力として、編集ベクトルを生成及び出力する。編集ベクトルとは、画像生成部２０６によって生成される画像の編集方向を表すベクトルのことである。例えば、画像生成部２０６では、参考文献３に記載されているＳｔｙｌｅＧＡＮのＳｙｎｔｈｅｓｉｓネットワークによって画像が生成されるものとする。また、画像生成部２０６によって画像特徴量ｓから生成される画像をＧ（ｓ）、この画像Ｇ（ｓ）がターゲットテキストｔ^{ｔａｒｇｅｔ}に従って編集されたものをＧ（ｓ＋αΔｓ）とする。このとき、αΔｓが編集ベクトルである。ここで、ΔｓはＳｔｙｌｅＧＡＮのＳｔｙｌｅ空間における変化方向、αはその変化強度を表すハイパーパラメータである。Ｓｔｙｌｅ空間とは、例えば、年齢、性別、表情、目の色、髪の色等といった対象の多次元的な属性（これら多次元的な属性の各々は、チャネルやスタイルチャネル等と呼ばれる。）を表す空間のことである。以下では、Ｓｔｙｌｅ空間のチャネル数をＣ、各チャネルをｃ（１≦ｃ≦Ｃ）で表す。なお、ＳｔｙｌｅＧＡＮでは、ｓはスタイル又はスタイル情報等とも呼ばれ、Ｓｔｙｌｅ空間内の値（つまり、Ｃ次元ベクトル）を表している。

【0025】

上記の変化方向Δｓのチャネルｃ（１≦ｃ≦Ｃ）における値（以下、これをΔｓ（ｃ）と表す。）は、ＣＬＩＰ空間上のチャネル変化方向Δｉ_ｃとＣＬＩＰ空間上のテキスト変化方向Δｔから計算される。Δｓ、Δｉ_ｃ及びΔｔの計算方法については後述する。なお、ＳｔｙｌｅＣＬＩＰ（非特許文献１）ではターゲットテキストとニュートラルテキストからテキスト変化方向Δｔを計算しているが、本実施形態ではニュートラルテキストが与えられないため、ニュートラルテキストを用いずに、参考画像情報からテキスト変化方向Δｔを計算する。一方で、チャネル変化方向Δｉ_ｃについては、ＳｔｙｌｅＣＬＩＰ（非特許文献１）と同様の方法で計算すればよい。

【0026】

画像生成部２０６は、画像特徴量ｓと編集ベクトルαΔｓとを入力として、出力画像Ｇ（ｓ＋αΔｓ）を生成及び出力する。画像生成部２０６は、例えば、参考文献３に記載されているＳｔｙｌｅＧＡＮのＳｙｎｔｈｅｓｉｓネットワークにより出力画像Ｇ（ｓ＋αΔｓ）を生成すればよい。

【0027】

出力部２０７は、出力画像Ｇ（ｓ＋αΔｓ）を予め決められた所定の出力先に出力する。このような出力先としては、例えば、ディスプレイ等の表示装置１０２、補助記憶装置１０７、通信ネットワークを介して接続される他の装置又は機器等が挙げられる。

【0028】

画像コーパス記憶部２０８は、予め与えられた参考画像集合とその参考画像集合に含まれる各画像の特徴量（画像特徴量）を記憶する。すなわち、画像コーパス記憶部２０８には、例えば、参考画像集合Ｘ＝｛ｘ_ｉ｜ｉ＝１，・・・，Ｎ｝と、その画像特徴量集合Ｓ＝｛ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｉ）｜ｉ＝１，・・・，Ｎ｝とが記憶されている。ただし、画像コーパス記憶部２０８には、必ずしも参考画像集合Ｘが記憶されている必要はなく、画像特徴量集合Ｓのみが記憶されていてもよい。参考画像集合Ｘ若しくは画像特徴量集合Ｓ又はその両方が「参考情報」等と呼ばれてもよい。なお、参考画像集合Ｘとその画像特徴量集合Ｓ（又は、参考画像集合Ｘ）は、自然言語処理等に利用されるコーパスに類するものであるため、「画像コーパス」等と呼ばれることもある。

【0029】

＜画像生成処理＞
以下、本実施形態に係る画像生成処理について、図３を参照しながら説明する。

【0030】

入力部２０１は、与えられた入力画像ｘとターゲットテキストｔ^{ｔａｒｇｅｔ}を入力する（ステップＳ１０１）。

【0031】

次に、言語符号化部２０２は、ターゲットテキストｔ^{ｔａｒｇｅｔ}を入力として、テキスト特徴量ｅ_ｔｅｘｔを生成及び出力する（ステップＳ１０２）。

【0032】

また、画像符号化部２０３は、入力画像ｘを入力として、画像特徴量ｓを生成及び出力する（ステップＳ１０３）。

【0033】

上記のステップＳ１０２に続いて、画像検索部２０４は、テキスト特徴量ｅ_ｔｅｘｔを入力として、画像コーパス記憶部２０８に記憶されている画像特徴量集合Ｓの中から正例画像の画像特徴量集合Ｓ^＋と負例画像の画像特徴量集合Ｓ^－を検索し、参考画像情報（Ｓ^＋，Ｓ^－）として出力する（ステップＳ１０４）。画像検索部２０４は、例えば、テキスト特徴量ｅ_ｔｅｘｔとの類似度（例えば、コサイン類似度等）が高い上位Ｎ_１件の画像特徴量を画像特徴量集合Ｓから検索し、正例画像の画像特徴量集合Ｓ^＋とすればよい。同様に、画像検索部２０４は、例えば、テキスト特徴量ｅ_ｔｅｘｔとの類似度が低い下位Ｎ_２件の画像特徴量を画像特徴量集合Ｓから検索し、負例画像の画像特徴量集合Ｓ^－とすればよい。

【0034】

ただし、上記の検索方法は一例であって、画像検索部２０４は、他の検索方法により正例画像の画像特徴量集合Ｓ^＋と負例画像の画像特徴量集合Ｓ^－を検索してもよい。例えば、画像検索部２０４は、一般的な画像検索手法により参考画像集合Ｘから画像を検索（例えば、ターゲットテキストｔ^{ｔａｒｇｅｔ}をクエリとして参考画像集合Ｘから画像を検索）し、その検索スコア順に画像をソートした上で、上位Ｎ_１件を正例画像、下位Ｎ_２件を負例画像として得た後、正例画像に対応する画像特徴量の集合をＳ^＋、負例画像に対応する画像特徴量の集合をＳ^－としてもよい。なお、検索スコアとは、クエリとの類似度を表すスコアのことである。

【0035】

次に、編集方向決定部２０５は、参考画像情報（Ｓ^＋，Ｓ^－）を入力として、編集ベクトルαΔｓを生成及び出力する（ステップＳ１０５）。ここで、変化方向Δｓは、以下の手順１－１～手順１－２により計算される。

【0036】

手順１－１：編集方向決定部２０５は、各チャネルｃ（１≦ｃ≦Ｃ）に対して、｜Δｉ_ｃ・Δｔ｜≧βである場合はΔｓ（ｃ）＝Δｉ_ｃ・Δｔ、そうでない場合はΔｓ（ｃ）＝０により各Δｓ（ｃ）を計算する。ここで、βは、テキスト変化方向Δｔと関係の弱いチャネルを無視するために導入するハイパーパラメータである。このハイパーパラメータにより編集したい属性（チャネル）のみを操作することが可能となる。また、Δｉ_ｃ・Δｔは、Δｉ_ｃとΔｔの内積を表す。なお、ＣＬＩＰ空間上のチャネル変化方向Δｉ_ｃの計算方法とＣＬＩＰ空間上のテキスト変化方向Δｔの計算方法については後述する。

【0037】

手順１－２：編集方向決定部２０５は、Δｓ（ｃ）（１≦ｃ≦Ｃ）の最大値が１となるように正規化する。すなわち、編集方向決定部２０５は、各チャネルｃ（１≦ｃ≦Ｃ）に対して、Δｓ（ｃ）←Δｓ（ｃ）／ｍａｘ｛Δｓ（ｃ）｜ｃ＝１，・・・，Ｃ｝とする。これにより、Δｓ（ｃ）をチャネルｃの値として持つΔｓが得られる。

【0038】

・ＣＬＩＰ空間上のチャネル変化方向Δｉ_ｃの計算方法
以下、ＣＬＩＰ空間上のチャネル変化方向Δｉ_ｃの計算方法について説明する。なお、この計算方法は、ＳｔｙｌｅＣＬＩＰ（非特許文献１）と同様であるため、必要に応じて非特許文献１も参照されたい。以下では、Ｓｔｙｌｅ空間の或るチャネルｃのみを変化させた画像がＣＬＩＰ空間において変化するチャネル変化方向Δｉ_ｃを計算する場合について説明する。これは、以下の手順２－１～手順２－３により計算される。

【0039】

手順２－１：画像生成部２０６は、画像Ｇ（ｓ）に対してチャネルｃにだけ摂動（チャネルｃの１標準偏差）を与えた画像ペアｘ_ｃ ^＋＝Ｇ（ｓ+αΔｓ_ｃ）及びｘ_ｃ ^－＝Ｇ（ｓ－αΔｓ_ｃ）を生成する。ここで、Δｓ_ｃはチャネルｃのみそのチャネルｃの１標準偏差の値を取り、それ以外は０を取るベクトルである。

【0040】

手順２－２：次に、画像符号化部２０３は、画像特徴量ペアｅ_ｃ ^＋＝ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｃ ^＋）及びｅ_ｃ ^－＝ＣＬＩＰ_{ｉｍａｇｅ}（ｘ_ｃ ^－）を生成する。

【0041】

手順２－３：上記の手順２－１～手順２－２を或る所定の枚数（例えば、１００枚）の画像Ｇ（ｓ）に対して繰り返した後、編集方向決定部２０５は、ｅ_ｃ ^＋－ｅ_ｃ ^－の平均をΔｉ_ｃ、つまりΔｉ_ｃ＝Ａｖｅ（ｅ_ｃ ^＋－ｅ_ｃ ^－）とする。

【0042】

なお、上記の手順２－１～手順２－３は、すべてのチャネルｃ（１≦ｃ≦Ｃ）に対して実行される。これにより、各チャネルｃ（１≦ｃ≦Ｃ）に対して、ＣＬＩＰ空間上のチャネル変化方向Δｉ_ｃが得られる。

【0043】

・ＣＬＩＰ空間上のテキスト変化方向Δｔの計算方法
以下、ＣＬＩＰ空間上のテキスト変化方向Δｔの計算方法について説明する。本実施形態では、ＣＬＩＰ空間上で正例画像と負例画像を分離（つまり、Ｓ^＋とＳ^－を分離）する境界面（分離超平面）に対する法線をテキスト変化方向Δｔとして計算する。このようなテキスト変化方向Δｔは以下の手順３－１～手順３－２により計算される。

【0044】

手順３－１：編集方向決定部２０５は、ＣＬＩＰ空間上で正例画像と負例画像を分離（Ｓ^＋とＳ^－を分離）する境界面を線形ＳＶＭ（Support Vector Machine）により計算する。ここで、このような境界面は、

【0045】

【数1】

と表すことができる。なお、

【0046】

【数2】

は転置を表す。以下、本明細書のテキスト中では、記号の真上に付与されたハット「＾」はその記号の直前に記載するものとする。例えば、上記の数１に示す境界面において、ハットが付与されたｗは「＾ｗ」と表す。

【0047】

手順３－２：そして、編集方向決定部２０５は、上記の数１に示す境界面に対する法線ｎ＝＾ｗをΔｔとする。すなわち、編集方向決定部２０５は、Δｔ＝＾ｗによりテキスト変化方向Δｔを計算する。

【0048】

ここで、上記の数１に示す境界面及びその法線は以下の最適化問題の解として得られる。

【0049】

【数3】

ただし、ｙ_ｉは、ｘ_ｉが正例画像であれば１、ｘ_ｉが負例画像であれば－１を取るラベルである。なお、＾ｗは、上記の数３に示す最適化問題の解である。

【0050】

これにより、ＳｔｙｌｅＣＬＩＰ（非特許文献１）と異なり、ニュートラルテキストを用いずに、テキスト変化方向Δｔを得ることができる。

【0051】

上記のステップＳ１０３及びステップＳ１０５に続いて、画像生成部２０６は、画像特徴量ｓと編集ベクトルαΔｓとを入力として、出力画像Ｇ（ｓ＋αΔｓ）を生成及び出力する（ステップＳ１０６）。

【0052】

そして、出力部２０７は、出力画像Ｇ（ｓ＋αΔｓ）を予め決められた所定の出力先に出力する（ステップＳ１０７）。これにより、入力画像ｘがターゲットテキストをｔ^{ｔａｒｇｅｔ}に従って編集された出力画像Ｇ（ｓ＋αΔｓ）が得られる。

【0053】

＜変形例＞
以下、本実施形態の変形例について説明する。上記の説明では、画像コーパス記憶部２０８には画像特徴量集合Ｓが少なくとも記憶されているものとしたが、例えば、画像特徴量集合Ｓは記憶されておらず、参考画像集合Ｘのみが記憶されている場合もあり得る。そこで、本変形例では、参考画像集合Ｘのみが画像コーパス記憶部２０８に記憶されている場合について説明する。

【0054】

本変形例における画像生成装置１０の機能構成例を図４に示す。図４に示すように、本変形例における画像生成装置１０の画像検索部２０４は、テキスト特徴量ｅ_ｔｅｘｔを入力として、画像コーパス記憶部２０８を検索し、正例画像集合Ｘ^＋と負例画像集合Ｘ^－を得る。その後、画像符号化部２０３は、正例画像集合Ｘ^＋に含まれる各正例画像をそれぞれ符号化して画像特徴量集合Ｓ^＋を得ると共に、負例画像集合Ｘ^－に含まれる各負例画像をそれぞれ符号化して画像特徴量集合Ｓ^－を得る。そして、画像検索部２０４は、これらの画像特徴量集合Ｓ^＋及びＳ^－を参考画像情報（Ｓ^＋，Ｓ^－）として出力する。

【0055】

なお、上記の例では、画像コーパス記憶部２０８から正例画像集合Ｘ^＋と負例画像集合Ｘ^－を取得したが、例えば、画像検索部２０４は、画像コーパス記憶部２０８から参考画像集合Ｘを取得すると共に、この参考画像集合Ｘに含まれる各画像ｘ_ｉとテキスト特徴量ｅ_ｔｅｘｔとの間の何等かのスコア（例えば、距離又は類似度を表すスコア等）をそれぞれ計算してもよい。この場合、編集方向決定部２０５（又は、画像符号化部２０３でもよい。）が、参考画像集合Ｘに含まれる各画像ｘ_ｉを、そのスコアから正例画像と負例画像に分類すればよい。

【0056】

＜評価実験＞
以下、本実施形態に係る画像生成装置１０を評価するために行った実験とその結果について説明する。以下では、本実施形態に係る画像生成装置１０によって実行される画像生成処理を「提案手法」と呼ぶ。

【0057】

≪実験設定≫
・データセット
提案手法では、参考画像集合Ｘとして、参考文献３に記載されているＦｌｉｃｋｒＦａｃｅｓ－ＨＱ（ＦＦＨＱ）を用いた。ＦＦＨＱは、ＳｔｙｌｅＧＡＮの訓練に用いられた７万枚の顔画像で構成されたデータセットである。ＦＦＨＱは、高解像度かつ様々な年齢や民族の顔画像が含まれており、眼鏡や帽子等のアクセサリが充実していることが特徴である。

【0058】

本実験では、ハイパーパラメータを決定するための開発用データセット、提案手法及びそれと比較する比較手法を評価するためのテスト用データセットとして、参考文献４に記載されているＭｕｌｔｉ－Ｍｏｄａｌ－ＣｅｌｅｂＡ－ＨＱを用いた。Ｍｕｌｔｉ－Ｍｏｄａｌ－ＣｅｌｅｂＡ－ＨＱは、参考文献５に記載されているＣｅｌｅｂＡ－ＨＱの３万枚の高解像度顔画像に対して、顔属性のラベルに基づき確率文脈自由文法を用いて自動生成されたキャプションが１画像毎に１０件付与されている。本実験では、Ｍｕｌｔｉ－Ｍｏｄａｌ－ＣｅｌｅｂＡ－ＨＱの訓練データセットから１００枚の画像をランダムに選択し、それら１００枚の画像で構成されるデータセットを開発用データセットとした。また、Ｍｕｌｔｉ－Ｍｏｄａｌ－ＣｅｌｅｂＡ－ＨＱのテストデータセットから５０枚の画像をランダムに選択し、それら５０枚の画像で構成されるデータセットをテスト用データセットとした。ターゲットテキストｔ^{ｔａｒｇｅｔ}は、１０単語以上の制約を設けた上で、開発用データセットとテスト用データセットに対してそれぞれ１０件ずつランダムに選択した。

【0059】

・ハイパーパラメータ
適切なα及びβを決定するため、開発用データセット中の画像とターゲットテキストｔ^{ｔａｒｇｅｔ}とを用いて、提案手法及び比較手法のそれぞれにより画像の編集を行った。このとき、αに関しては２．０から６．０の間を０．５刻み、βに関しては０．１から０．２の間を０．０５刻みでそれぞれグリッドサーチを行い、ＣＬＩＰ空間における生成画像（出力画像）とｔ^{ｔａｒｇｅｔ}とのコサイン類似度が最大となる（α，β）を採用した。

【0060】

なお、提案手法及び比較手法のいずれの手法でも、α＝６．０、β＝０．１となった。その他のハイパーパラメータに関しては非特許文献１に準拠した。

【0061】

・比較手法
ベースラインモデルとしてＳｔｙｌｅＣＬＩＰを用いて、これを比較手法とした。ニュートラルテキストｔ^{ｎｅｕｔｒａｌ}には、（ａ）「ｆａｃｅ」、（ｂ）入力画像中の顔が男性であれば「ｍａｌｅ ｆａｃｅ」、女性であれば「ｆｅｍａｌｅ ｆａｃｅ」、（ｃ）入力画像を細かく描写したテキスト（ｄｅｔａｉｌｅｄ ｃａｐｔｉｏｎ）、の３種類を用いた。なお、（ｃ）入力画像を細かく描写したテキストは、Ｍｕｌｔｉ－Ｍｏｄａｌ－ＣｅｌｅｂＡ－ＨＱの各画像のキャプションからランダムに選択した。

【0062】

≪定性評価≫
・ニュートラルテキストの影響について
ＳｔｙｌｅＣＬＩＰでは、ニュートラルテキストｔ^{ｎｅｕｔｒａｌ}の内容を変えることにより結果が大きく変化した。一方で、提案手法では、ニュートラルテキストｔ^{ｎｅｕｔｒａｌ}を必要とせず、かつ、安定した画像生成が行われた。

【0063】

・ハイパーパラメータの影響について
ＳｔｙｌｅＣＬＩＰでは、αを大きくした場合やβを小さくした場合に過剰な編集が行われ、αやβによる生成結果のチューニングが難しい例が多く見られた。一方で、提案手法では、このような例は少なかった。

【0064】

≪主観評価≫
以下の表１に主観評価の結果を示す。

【0065】

【表1】

なお、Ｏｕｒｓが提案手法を表す。

【0066】

主観評価では、ターゲットテキストｔ^{ｔａｒｇｅｔ}が表す編集指示と生成画像（出力画像）とで性別が一致しているか否かの２値分類、生成画像が自然な顔であるか否か（顔の形状や髪の毛が不自然でないか否か）の２値分類を２名のアノテータで評価した。なお、性別は、ターゲットテキストｔ^{ｔａｒｇｅｔ}が性別に言及している場合はその性別、言及していない場合は元の顔画像（入力画像）の性別を正解とした。２名の性別、自然さのアノテーションの一致度（コーエンのκ係数）はそれぞれ０．９２、０．６３であった。

【0067】

提案手法はＳｔｙｌｅＣＬＩＰと比べて性別・自然さともに高い数値を示しており、ターゲットテキストｔ^{ｔａｒｇｅｔ}に従った編集能力と頑強に顔画像を生成する能力に優れているといえる。また、詳細に入力画像を説明したキャプションをニュートラルテキストｔ^{ｎｅｕｔｒａｌ}に使用するＳｔｙｌｅＣＬＩＰの評価結果が悪いことから、編集指示を反映するための適切なニュートラルテキストｔ^{ｎｅｕｔｒａｌ}の選択が容易ではないことがわかる。

【0068】

＜まとめ＞
以上のように、本実施形態に係る画像生成装置１０は、ＳｔｙｌｅＣＬＩＰ等の従来手法で必要なニュートラルテキストｔ^{ｎｅｕｔｒａｌ}を用いずに、ターゲットテキストｔ^{ｔａｒｇｅｔ}に従って入力画像を自然に編集することができる。なお、本実施形態に係る画像生成装置１０では、事前学習済みのＳｔｙｌｅＧＡＮとＣＬＩＰで構成されているため、教師データ（正解データ）を用いた学習が不要である。

【0069】

本実施形態に係る画像生成装置１０は、例えば、ＳｔｙｌｅＣＬＩＰ等の従来手法に対して特定の改善を提供するものであり、自然言語による画像編集技術が利用される様々な技術分野の向上を示すものである。

【0070】

また、本実施形態に係る画像生成装置１０は、自然言語による画像編集技術が利用される様々な技術分野に応用することができる。例えば、コンピュータビジョン等といった技術分野において、仮想空間等におけるアバター作成、コミュニケーション支援等といった産業上重要なサービスに応用することができる。

【0071】

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
編集対象画像に対する編集指示を表すテキストを入力し、
与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成する、画像生成装置。
（付記２）
前記参考画像情報は、参考画像で構成される画像集合であり、
前記プロセッサは、
前記画像集合に含まれる前記参考画像のうち、特徴空間において前記テキストの近傍となる参考画像を正例、前記テキストの近傍とならない参考画像を負例としたときに、前記参考画像情報と、前記テキストとの関係性に基づいて、前記編集情報を生成する、付記１に記載の画像生成装置。
（付記３）
前記プロセッサは、
前記画像集合に含まれる前記参考画像を正例と負例に分離する超平面の法線ベクトルを前記編集情報として生成する、付記２に記載の画像生成装置。
（付記４）
前記プロセッサは、
前記画像集合に含まれる前記参考画像のうち、前記特徴空間において前記テキストとの類似度が高い上位所定の第１の件数の参考画像又は前記テキストとの類似度が第１の閾値以上の参考画像を正例、前記テキストとの類似度が低い下位所定の第２の件数の参考画像又は前記テキストとの類似度が第２の閾値未満の参考画像を負例とする、付記２又は３に記載の画像生成装置。
（付記５）
前記参考画像情報は、参考画像の特徴量を表す画像特徴量で構成される特徴量集合であり、
前記プロセッサは、
前記特徴量集合に含まれる前記画像特徴量のうち、特徴空間において前記テキストの近傍となる画像特徴量を持つ前記参考画像を正例、前記テキストの近傍とならない画像特徴量を持つ前記参考画像を負例としたときに、前記参考画像情報と、前記テキストとの関係性に基づいて、前記編集情報を生成する、付記１に記載の画像生成装置。
（付記６）
前記プロセッサは、
正例とした前記参考画像の画像特徴量と負例とした前記参考画像の画像特徴量とを分離する超平面の法線ベクトルを前記編集情報として生成する、付記５に記載の画像生成装置。
（付記７）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
編集対象画像を編集するための参考画像情報を入力として、前記参考画像情報に基づいて、前記編集対象画像を編集した画像を生成するための編集情報を生成する、画像生成装置。
（付記８）
前記プロセッサは、
前記編集対象画像と、前記編集対象画像に対する編集指示を表すテキストとを入力として、前記テキストに基づいて、所定の画像集合の中から、前記テキストの近傍となる第１の画像と前記テキストの近傍とならない第２の画像とを前記参考画像情報として取得し、
取得した前記参考画像情報を入力として、前記参考画像情報に基づいて、前記編集情報を生成する、付記７に記載の画像生成装置。
（付記９）
編集対象画像に対する編集指示を表すテキストを入力し、
与えられた参考画像情報と、前記テキストとの関係性に基づいて、前記編集対象画像を前記編集指示に従って編集した画像を生成するための編集情報を生成する、処理をコンピュータが実行する生成方法。
（付記１０）
付記９に記載の生成方法をコンピュータに実行させるプログラムを記憶した非一時的記憶媒体。

【0072】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【0073】

［参考文献］
参考文献１：Alec Radford et al. Learning transferable visual models from natural language supervision. In ICML, pages 8748-8763, 2021
参考文献２：Omer Tov, Yuval Alaluf, Yotam Nitzan, Or Patashnik, and Daniel Cohen-Or. Designing an encoder for stylegan image manipulation. arXiv:2102.02766 [cs.CV]
参考文献３：Tero Karras et al. A style-based generator architecture for generative adversarial networks. In CVPR, pages 4401-4410, 2019.
参考文献４：Weihao Xia et al. Tedigan: Text-guided diverse face image generation and manipulation. In CVPR, pages 2256-2265, 2021.
参考文献５：Tero Karras et al. Progressive growing of gans for improved quality, stability, and variation. arXiv preprint arXiv:1710.10196, 2017.

【符号の説明】

【0074】

１０ 画像生成装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ 入力部
２０２ 言語符号化部
２０３ 画像符号化部
２０４ 画像検索部
２０５ 編集方向決定部
２０６ 画像生成部
２０７ 出力部
２０８ 画像コーパス記憶部
２０９ 編集情報生成部

【図1】

【図2】

【図3】

【図4】