特開 2024-83201 新規な作風のデジタルデータの特定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024083201

(43)【公開日】2024-06-20

(54)【発明の名称】新規な作風のデジタルデータの特定

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240613BHJP

【ＦＩ】

G06T1/00 500Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023062803

(22)【出願日】2023-04-07

(62)【分割の表示】P 2022197061の分割

【原出願日】2022-12-09

(71)【出願人】

【識別番号】516153775

【氏名又は名称】株式会社Ｃｒｅａｔｏｒ’ｓ ＮＥＸＴ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】窪田 望

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA23

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057DA12

5B057DA16

5B057DC05

5B057DC36

5B057DC40

(57)【要約】

【課題】新規な作風を有するデジタルデータを特定することを容易に行うことができる仕組みを提供する。
【解決手段】情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、生成指示を受け付けること、複数のデジタルコンテンツにおけるＮ次元の各第１特徴データと、生成指示に応じて生成される１又は複数のＮ次元の第２特徴データとの類似度を用いて、各第２特徴データの中から、Ｎ次元の座標系内で疎な領域内の第３特徴データを特定すること、特定された第３特徴データに関する情報を出力すること、を実行する。
【選択図】図９

【特許請求の範囲】

【請求項1】

情報処理装置に含まれる１又は複数のプロセッサが、
生成指示を受け付けること、
複数のデジタルコンテンツにおけるＮ次元の各第１特徴データと、前記生成指示に応じて生成される１又は複数のＮ次元の第２特徴データとの類似度を用いて、各第２特徴データの中から、前記Ｎ次元の座標系内で疎な領域内の第３特徴データを特定すること、
特定された前記第３特徴データに関する情報を出力すること、
を実行する情報処理方法。

【請求項2】

前記１又は複数のプロセッサが、
前記第３特徴データに基づいてデジタルコンテンツを生成することをさらに実行し、
前記出力することは、
前記生成されるデジタルコンテンツを出力することを含む、請求項１に記載の情報処理方法。

【請求項3】

前記デジタルコンテンツを生成することは、
デジタルコンテンツの生成を行う機械学習モデルを利用して前記第３特徴データから前記デジタルコンテンツを生成することを含む、請求項２に記載の情報処理方法。

【請求項4】

前記特定することは、
各時代のデジタルコンテンツの流行から将来のデジタルコンテンツの流行を予測する回帰問題を解く学習モデルであって、各時代に分類された複数のデジタルコンテンツから各時代の流行が学習された前記学習モデルを用いて、将来の流行を示すデジタルコンテンツの前記第３特徴データを特定することを含む、請求項１に記載の情報処理方法。

【請求項5】

情報処理装置に含まれる１又は複数のプロセッサに、
生成指示を受け付けること、
複数のデジタルコンテンツにおけるＮ次元の各第１特徴データと、前記生成指示に応じて生成される１又は複数のＮ次元の第２特徴データとの類似度を用いて、各第２特徴データの中から、前記Ｎ次元の座標系内で疎な領域内の第３特徴データを特定すること、
特定された前記第３特徴データに関する情報を出力すること、
を実行させる情報処理方法。

【請求項6】

１又は複数のプロセッサを含む情報処理装置であって、
前記１又は複数のプロセッサは、
生成指示を受け付けること、
複数のデジタルコンテンツにおけるＮ次元の各第１特徴データと、前記生成指示に応じて生成される１又は複数のＮ次元の第２特徴データとの類似度を用いて、各第２特徴データの中から、前記Ｎ次元の座標系内で疎な領域内の第３特徴データを特定すること、
特定された前記第３特徴データに関する情報を出力すること、
を実行する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示技術は、新規な作風のデジタルデータの特定を行うことが可能な情報処理方法、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

近年、キーワードを入力して画像を生成する画像生成ＡＩ（Artificial Intelligence）が知られている（例えば非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】"CompVis/stable-diffusion", [online], [令和４年１１月７日検索]，インターネット＜URL: https://github.com/CompVis/stable-diffusion＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、ユーザが作成したい画像のキーワードを入力して、これらのキーワードに適合する唯一無二の画像が生成されるが、従来の画像の作風（画家の特色や傾向）とは全く異なる新規な画像が生成されるわけではない。

【0005】

そこで、本開示技術の目的の１つは、新規な作風を有するデジタルデータを特定することを容易に行うことができる仕組みを提供する。

【課題を解決するための手段】

【0006】

本開示技術の一態様に係る情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、生成指示を受け付けること、複数デジタルコンテンツにおけるＮ次元の各第１特徴データと、前記生成指示に応じて生成される１又は複数のＮ次元の第２特徴データとの類似度を用いて、各第２特徴データの中から、前記Ｎ次元の座標系内で疎な領域内の第３特徴データを特定すること、特定された前記第３特徴データに関する情報を出力すること、を実行する。

【発明の効果】

【0007】

本開示技術によれば、新規な作風を有するデジタルデータを特定することを容易に行うことができる仕組みを提供する。

【図面の簡単な説明】

【0008】

【図1】実施形態に係るシステム構成の一例を示す図である。

【図2】実施形態に係るサーバの情報処理装置の物理的構成の一例を示す図である。

【図3】実施形態に係る情報処理装置の処理ブロックの一例を示す図である。

【図4】３次元の座標空間に過去画像の特徴データがマッピングされた例を示す図である。

【図5】任意の特徴データが３次元座標空間にマッピングされた例を示す図である。

【図6】３次元座標空間における各第１特徴データの最外形を形成する例を示す図である。

【図7】時代に応じて作風の流行を推定する例を示す図である。

【図8】実施形態に係る画像生成の構成例を示す図である。

【図9】実施形態に係る情報処理装置の処理の一例を示すフローチャートである。

【図10】実施形態に係る画像生成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0010】

＜システム構成＞
図１は、実施形態に係るシステム構成の一例を示す図である。図１に示すシステム１において、サーバ１０と、情報処理装置２０とが、ネットワークを介してデータ送受信可能なように接続される。情報処理装置２０は、複数の装置がネットワークを介してサーバ１０に接続されてもよい。

【0011】

サーバ１０は、データを収集、分析可能な情報処理装置であり、１つ又は複数の情報処理装置から構成されてもよい。情報処理装置２０は、例えばユーザが利用するパーソナルコンピュータ、スマートフォン、タブレット端末などの装置である。

【0012】

図１に示すシステム１は、例えば、サーバ１０が、情報処理装置２０から新規な作風の画像を生成する画像生成指示を受け付けると、様々な流派や年代の画像の特徴データにより生成される空間を用いて、これまで描かれたり生成されたりしていない作風の画像を特定する。具体例として、特徴データがマッピングされた空間内で疎な空間は、これまで存在しない作風の特徴データを含む空間を示すため、この疎な空間内から特徴データを特定すればよい。以下、本開示技術を構成する各装置の物理的構成について説明する。

【0013】

＜ハードウェア構成＞
図２は、実施形態に係るサーバの情報処理装置１０の物理的構成の一例を示す図である。サーバ１０は、演算部に相当する１又は複数のＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

【0014】

実施形態では、情報処理装置１０が一台の情報処理装置で構成される場合について説明するが、情報処理装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図２で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0015】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、例えば、所定の生成指示を取得すると、これまでに存在しない新規な作風の特徴データを特定する処理を実行するプログラム（「本開示プログラム」とも称す。）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0016】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、様々な作風や年代の画像やこれらの画像の特徴データなどのデータを記憶してもよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0017】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば生成プログラムや、書き換えが行われないデータを記憶してよい。

【0018】

通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

【0019】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0020】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆが演算結果を表示することは、ＸＡＩ（eXplainable AI：説明可能なＡＩ）に貢献し得る。表示部１０ｆは、例えば、学習結果などを表示してもよい。

【0021】

本開示プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な非一時的な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置１０では、ＣＰＵ１０ａが特定プログラムを実行することにより、後述する図３や図９を用いて説明する様々な動作が実現され得る。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えてもよい。また、情報処理装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えてもよい。なお、情報処理装置２０は、情報処理装置１０と同様の構成を有してもよい。

【0022】

＜処理構成例＞
図３は、実施形態に係る情報処理装置１０の処理ブロックの一例を示す図である。情報処理装置１０は、受付部１１、特定部１２、出力部１３、生成部１４、及び記憶部１５を備える。図３に示す特定部１２、生成部１４は、例えばＣＰＵ１０ａなどにより実行されて実現され、受付部１１及び出力部１３は、例えば通信部１０ｄなどにより実現され、記憶部１５は、ＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃなどにより実現され得る。情報処理装置１０は、量子コンピュータなどで構成されてもよい。

【0023】

受付部１１は、所定の生成指示を受け付ける。例えば、受付部１１は、ユーザ装置などの他の情報処理装置２０から送信された画像生成指示を、通信部１０ｄを介して受け付ける。画像生成指示は、特徴データ生成指示でもよい。

【0024】

特定部１２は、複数の画像におけるＮ次元の各特徴データ（「第１特徴データ」ともいう。）と、取得された生成指示に応じて生成される１又は複数のＮ次元の特徴データ（「第２特徴データ」ともいう。）との距離を用いて、各第２特徴データの中から、Ｎ次元の座標系内の疎な領域内の特徴データ（「第３特徴データ」ともいう。）を特定する。Ｎ次元の座標系のデータは、例えば、各時代の多数の絵画などを撮影するなどしてデジタルデータ化し、デジタルデータ化した画像からＮ次元の特徴データが抽出され、Ｎ次元の特徴データがＮ次元の座標系にマッピングさることで生成されてもよい。Ｎ次元は、例えば、ＲＧＢなどの各成分、又は輝度、透明度などにより表され、座標系の各軸は所定範囲（例、０～２５５）で表されてもよい。

【0025】

ここで、過去の画像データの特徴データをマッピングした座標系において、疎な領域にある特徴データは、これまでにない作風の画像の特徴データであることを示している。疎な領域の探索方法について、例えば、特定部１２は、乱数などを用いてランダムにＮ次元の第２特徴データを所定数になるまで生成し、ランダムに生成された第２特徴データと、座標系にマッピングされた多数の過去画像の各第１特徴データとを用いて平均二乗誤差（ＭＳＥ：Mean Square Error）を算出する。次に、特定部１２は、このＭＳＥが一番大きい特徴データ、すなわち、過去画像の各第１特徴データから最も離れている第２特徴データを、疎な領域内の第３特徴データとして特定してもよい。ＭＳＥは、類似度の一例であり、その他の指標が用いられてもよい。

【0026】

また、過去画像の各第１特徴データがマッピングされた座標系をユーザに示すことにより、ユーザが座標系で指定した座標系内の点を示す第２特徴データが情報処理装置２０から送信され、特定部１２は、各第２特徴データを１又は複数の第２特徴データとしてもよい。また、特定部１２は、情報処理装置２０から送信された所定の特徴データを、疎な領域内の第３特徴データとして特定してもよい。

【0027】

出力部１３は、特定部１２により特定された第３特徴データに関する情報を出力する。例えば、出力部１３は、特定された第３特徴データそのものを出力してもよいし、特定された第３特徴データに基づき生成された情報を出力してもよい。第３特徴データに基づき生成された情報は、例えば、この第３特徴データから生成された画像や、この第３特徴データを直接的又は間接的にユーザに通知する通知情報などを含む。

【0028】

以上の処理により、新規な作風を有する画像の第３特徴データを特定することを容易に行うことが可能になる。

【0029】

また、特定部１２は、学習データに含まれる前記各第１特徴データに基づいて画像を分類する学習が行われた学習モデル（学習済みモデル）１２ａに、任意の第２特徴データを入力して、第３特徴データを特定することを含んでもよい。

【0030】

例えば、特定部１２は、過去画像の第１特徴データを学習データとして分類問題（例、クラスタリング）を解く機械学習を行う。このとき、特定部１２は、新たな任意の第２特徴データを学習モデル１２ａに入力し、各クラスタとの類似度が一番低い第２特徴データを第３特徴データとして特定してもよい。なお、特定部１２は、外部装置から学習済みの学習モデル１２ａを取得してもよい。

【0031】

以上の処理により、新規な作風の画像の第３特徴データを探索することを容易に行うことができるようになる。

【0032】

また、特定部１２は、Ｎ次元座標系内の各第１特徴データを包含する最外形を特定し、最外形内の疎な領域内の第２特徴データを第３特徴データとして特定することを含んでもよい。例えば、座標系内の中心から外側にある各第１特徴データを特定して連結し、最外形のポリゴンを生成してもよい。このとき、特定部１２は、生成した最外形のポリゴン内にあって、最も疎な領域内にある第２特徴データ、例えば、過去画像の各第１特徴データから最も類似度が低い第２特徴データを第３特徴データとして特定してもよい。

【0033】

また、特定部１２は、学習モデル１２ａを用いる場合は、最外形の外側にある第２特徴データに対してペナルティ項を設けて損失関数を定義することで、最外形の外側にある第２特徴データが第３特徴データとして特定されにくくしてもよい。

【0034】

以上の処理により、過去画像の作風に基づき形成される領域内での疎な領域を特定することが可能になり、これまで評価されてきた作風に基づき、これまでに存在しなかった作風の特徴データを特定することが可能になる。すなわち、人に受け入れられやすい作風の画像の特徴データを特定することが可能になる。また、最外形のポリゴンは、最外の境界を形成する各特徴データから形成されるだけではなく、境界の各特徴データから所定範囲内にある各点により形成されてもよい。

【0035】

また、特定部１２は、Ｍ次元の第１特徴データを、Ｍ次元よりも小さいＮ次元の第１特徴データに圧縮することを含んでもよい。例えば、特定部１２は、主成分分析（ＰＣＡ：Principal Component Analysis）を用いて次元圧縮を行ってもよい。具体例として、特定部１２は、ＲＧＢの各成分の２５６（Ｍ）を所定数（Ｎ）に圧縮したり、又は、ＲＧＢ、輝度、色差、透明度などの各成分（Ｍ）を所定数（Ｎ）に圧縮したりする。

【0036】

以上の処理により、特定部１２は、次元圧縮された座標系を用いて、任意の第１特徴データを次元圧縮することにより、類似度の算出を容易にすることが可能になり、処理負荷を軽減することができる。

【0037】

生成部１４は、特定部１２により特定された第３特徴データに基づいて画像を生成する。例えば、生成部１４は、第３特徴データに基づいて、所定サイズの画像を生成する。このとき、生成部１４は、生成された画像が、特定された第３特徴データを維持するようにして所定の方法により画像を生成する。

【0038】

このとき、出力部１３は、生成部１４により生成される画像を出力することを含んでもよい。出力部１３は、画像生成要求を行った情報処理装置２０に、生成された画像を出力してもよい。

【0039】

以上の処理により、新規な作風を示す第３特徴データから生成された画像をユーザに提供することが可能になる。

【0040】

また、生成部１４は、画像生成を行う機械学習モデルを利用して探索された第３特徴データから画像を生成することを含んでもよい。例えば、生成部１４は、公知の画像生成ＡＩを利用して、第３特徴データを画像生成ＡＩに入力することで画像を生成してもよい。

【0041】

例えば、生成部１４は、公知のＤｉｆｆｕｓｉｏｎモデル、Ｓｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎモデル等を用いることで、画像の特徴データに基づく粗い画像から精緻な画像を生成してもよい。

【0042】

以上の処理により、画像生成を容易にすることが可能になり、第３特徴データを有する複数の画像を生成することを容易にすることができる。なお、画像生成ＡＩにより生成された複数の画像をユーザに提示し、少なくとも１つの画像を選択してもらうことで、ユーザの好みを画像生成ＡＩが学習してもよい。これにより、そのユーザの好みの画像を生成することが可能になる。

【0043】

また、特定部１２は、各時代の画像の流行から将来の画像の流行を予測する回帰問題を解く学習モデル１２ａであって、各時代に分類された複数の画像から各時代の流行が学習された学習モデル１２ａを用いて、将来の流行を示す画像の第３特徴データを特定することを含んでもよい。例えば、特定部１２は、画像の作風の流行を予測する学習モデル１２ａを用いることにより、将来人類に好まれる作風を予測し、予測された第３特徴データを特定する。また、特定部１２は、各時代と、各時代に流行した画像の第１特徴データをパラメータとして、各時代を入力して流行を予測する関数を生成してもよい。

【0044】

また、特定部１２は、何年先かを指定することで、指定された年に流行すると予測される作風の特徴データを特定してもよい。生成部１４は、予測された特徴データに基づいて画像を生成してもよい。

【0045】

以上の処理により、将来流行すると予測される作風の特徴データを特定することが可能になる。例えば、１０年後、２０年後などの将来の所定年を指定することで、その指定年の流行の作風の特徴データを予測することが可能になる。

【0046】

また、生成部１４は、特徴データに対して次元圧縮が行われている場合、次元を元に戻す処理を行ってから画像を生成してもよい。これにより、画像生成に用いるパラメータを増やすことができるため、生成される画像の精度を向上させることが可能になる。

【0047】

＜適用例＞
図４～７は、実施形態の適用例について説明する。図４は、３次元の座標空間に過去画像の特徴データがマッピングされた例を示す図である。図４に示す例において、過去画像の特徴データ（第１特徴データ）は点で表され、第１乃至３次元は、ＲＧＢの各成分に対応してもよい。

【0048】

図５は、任意の特徴データが３次元座標空間にマッピングされた例を示す図である。図５に示す点Ａ１乃至Ａ８は、生成された任意の特徴データ（第２特徴データ）であり、＊で表される。

【0049】

図５に示す例において、特定部１２は、第２特徴データそれぞれと、各第１特徴データとの平均二乗誤差（類似度の一例）を求め、平均二乗誤差が一番大きい第２特徴データを第３特徴データとして特定する。図５に示す例では、第２特徴データＡ１が、各第１特徴データから最も離れた第３特徴データとする。生成部１４は、第２特徴データＡ１に基づいて画像を生成する。これにより、新規な作風の画像を生成することが可能になる。

【0050】

図６は、３次元座標空間における各第１特徴データの最外形を形成する例を示す図である。図６に示す例では、最外形を点線の楕円形状で表すが、ポリゴン形状で表してもよい。図６に示す例において、特定部１２は、最外形の外側にある第２特徴データＡ１及びＡ８は、特定対象から除外する。この場合、特定部１２は、最外形の内部にある第２特徴データの中から、各第１特徴データとの平均二乗誤差が一番大きい（類似度が一番小さい）第３特徴データを特定する。例えば、第２特徴データＡ５の平均二乗誤差が一番大きいとする。

【0051】

第２特徴データＡ５は、既存の作風により形成される領域の中で、最も疎な空間に存在する特徴データであり、これまでに存在しない作風の特徴データであることを表す。また、生成部１４は、第２特徴データＡ５に基づいて画像を生成してもよい。これにより、既存の作風により形成される領域又は空間の中において、既存にはない作風の画像を自動で生成することができる。

【0052】

図７は、時代に応じて作風の流行を推定する例を示す図である。図７に示す例では、第Ｎ年代の作風が密集した領域が特定され、古い年代から、各年代の作風の第１特徴データを推定する関数Ｆ１が求められる。例えば、特定部１２は、関数Ｆ１として、各年代の第１特徴データの集合から求められる代表データを用いて、各年代の代表データを順に辿るように関数を算出する。関数Ｆ１は１次関数の直線でも、Ｎ次関数などの曲線でもよい。

【0053】

例えば、西洋美術の場合、以下の時代ごとに流行した画像の第１特徴データを用いることが可能である。
１２世紀：ゴシック美術
１５世紀末：北方ルネサンス美術
１５世紀末から３０年間ほど：盛期ルネサンス美術
１７世紀：バロック美術
１８世紀：ロココ美術
１８世紀後半：新古典主義
１９世紀前半：写実主義
１９世紀後半：印象派
２０世紀初頭：キュビズム
２０世紀以降：２１世紀美術

【0054】

関数Ｆ１は、年代を入力することで、その年代の流行の作風を推定する関数となる。関数Ｆ１は、各年代の第１特徴データを学習データとし、流行の特徴データを推定する回帰問題を解く機械学習モデルにより学習を行うことで算出されてもよい。

【0055】

以上の処理により、ある時代を特定することで、その時代の作風を表す第３特徴データを推定することが可能になる。また、生成部１４は、推定された第３特徴データに基づいて画像を生成してもよい。これにより、年代を指定することで、その年代の流行を示す作風の画像を自動で生成することが可能になる。算出された関数（学習モデル）Ｆ１は、記憶部１５に記憶され、外部の装置に出力されてもよい。なお、各年代の流行の作風は、地域ごとに設定されてもよい。例えば、特定部１２は、西洋美術、日本美術、東洋美術などの各地域の各絵画の画像の作風から、各地域の流行の作風を推定する関数を求めてもよい。

【0056】

＜画像生成の構成例＞
ここで、生成部１４が、ＧＡＮｓ（Generative adversarial networks）と呼ばれる敵対的生成ネットワークの仕組みを用いて画像生成する場合について説明する。この場合、ＧＡＮｓの生成器（generator）として、第３特徴データに基づいて画像を生成する生成モデルが用いられ、識別器（discriminator）として、ユーザの好みの画像を学習した学習モデルが用いられる。例えば、識別器は、事前に複数の画像をユーザに提示し、ユーザが選択した１又は複数の好みの画像の特徴データを学習しておくとよい。

【0057】

図８は、実施形態に係る画像生成の構成例を示す図である。生成部１４は、例えば、敵対的生成ネットワーク（ＧＡＮｓ）を実行することにより所定の画像を生成する。具体例として、生成部１４は、生成器１４２と識別器１４４とを含む敵対的生成ネットワーク（ＧＡＮｓ）を用いて、画像（画像データ）を生成する。

【0058】

生成器１４２は、入力された第３特徴データとノイズ等を用いて画像を生成する。ノイズは乱数でもよい。例えば、生成器１４２は、ＧＡＮｓのいずれかの所定の構造を有するニューラルネットワークが用いられてもよい。生成器１４２は、生成した画像を識別器１４４に出力する。

【0059】

識別器１４４は、生成器１４２により生成された画像が、ユーザの好みに対応する画像であるか否かを推定する。識別器１４４は、学習し、推定されたユーザの好みが「肯定」を示す場合、画像に対して「真」と識別する。他方、識別器１４４は、学習し、推定されたユーザの好みが「否定」を示す場合、画像に対して「偽」と識別する。ユーザの好みを示す判定は、学習の結果が好みか否かの分類結果を示す場合は分類結果に基づいて判定し、学習の結果がユーザの好みの指標値を示す場合は閾値と指標値との比較に基づいて判定する。

【0060】

判定部１４６は、識別器１４４の識別結果が「偽」（好みではない）を示す場合、画像を生成し直すため、ノイズを変更するように生成器１４２に指示を行い、識別器１４４の識別結果が「真」（好み）を示す場合、その旨を出力部１３に出力する。判定部１４６は、識別結果の内容にかかわらず、識別結果を出力部１３に出力してもよい。

【0061】

生成部１４は、識別器１４４による真贋の判別結果により、生成器１４２と識別器１４４とのパラメータを更新してもよい。例えば、生成部１４は、識別器１４４が、ユーザの好みをより適切に推定できるように、誤差逆伝搬法（バックプロパゲーション）を用いて識別器１４４のパラメータを更新してもよい。また、生成部１４は、識別器１４４が、生成器１４２によって生成された画像を真であると識別するように、誤差逆伝搬法を用いて生成器１４２のパラメータを更新してもよい。生成部１４は、最終的に生成された画像を出力部１３に出力する。

【0062】

また、出力部１３は、最終的にユーザが好みと判定した画像を、ユーザに対して出力してもよい。以上の処理により、ユーザが好きそうな画像になるまで、画像を生成し直すことが可能になる。

【0063】

＜動作例＞
図９は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図９に示す例では、所定の生成指示を受け付けてから特定された特徴データが出力されるまでの処理が含まれる。

【0064】

ステップＳ１０２において、受付部１１は、画像生成指示を受け付ける。画像生成指示は、特徴データ生成指示でもよい。

【0065】

ステップＳ１０４において、特定部１２は、複数の画像におけるＮ次元の各第１特徴データと、画像生成指示に応じて生成される１又は複数のＮ次元の第２特徴データとの距離を用いて、各第２特徴データの中から、Ｎ次元の座標系内で疎な領域内の第３特徴データを特定する。

【0066】

ステップＳ１０６において、出力部１３は、特定部１２により特定された第３特徴データに関する情報を出力する。

【0067】

ステップＳ１０８において、出力部１３は、生成部１４により、第３特徴データに基づく画像が生成された場合、この画像を出力してもよい。

【0068】

本実施形態によれば、新規な作風を有する画像を特定することを容易に行うことができる。

【0069】

図１０は、実施形態に係る画像生成処理の一例を示すフローチャートである。図１０に示す処理は、ユーザ好みの画像になるまで、画像を生成し続ける例を示す。

【0070】

ステップＳ２０２において、生成器１４２は、所定の画像を生成する。

【0071】

ステップＳ２０４において、識別器１４４は、所定の画像を、ユーザの好みを学習した学習モデルに入力し、所定の画像に対するユーザの好みの識別結果を取得する。

【0072】

ステップＳ２０６において、判定部１４６は、識別結果が、ユーザの好みに関する所定条件を満たすか否かを判定する。例えば識別結果がユーザ好み（「真」）を示せば（ステップＳ２０６－ＹＥＳ）、処理はステップＳ２１０に進み、識別結果がユーザ好みではない（「偽」）を示せば（ステップＳ２０６－ＮＯ）、処理はステップＳ２０８に進む。

【0073】

ステップＳ２０８において、判定部１４６は、生成器１４２に画像を生成する指示を行う。その後、処理はステップＳ２０２に戻る。

【0074】

ステップＳ２１０で、出力部１３は、生成された画像を出力する。

【0075】

以上の処理により、新規な作風の特徴データからユーザの好みの画像をより適切に生成可能にする仕組みを提供することができる。また、ユーザ好みの画像になるまで、画像を生成し直すことが可能になる。

【0076】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0077】

＜変形例＞
上記実施形態では、新規な作風の画像を生成する場合について説明したが、同様に、新規な作風の音楽やメタバース空間などのデジタルコンテンツを生成することも可能である。上記実施形態の画像を所定のデジタルコンテンツに置き換えることにより、新規な作風のデジタルコンテンツを生成することが可能になる。

【符号の説明】

【0078】

１０…情報処理装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…受付部、１２…特定部、１２ａ…学習モデル、１３…出力部、１４…生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】