特開 2024-120131 画像生成装置、プロンプト作成支援装置、プログラム及びアプリケーションプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120131

(43)【公開日】2024-09-04

(54)【発明の名称】画像生成装置、プロンプト作成支援装置、プログラム及びアプリケーションプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240828BHJP

   G06F 40/56 20200101ALN20240828BHJP

【ＦＩ】

G06T11/80 E

G06F40/56

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023026784

(22)【出願日】2023-02-23

(11)【特許番号】

(45)【特許公報発行日】2023-12-15

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和５年２月１０日に自社ウェブサイト「ＲＥＦＥＲ」及びツイートサイトにて掲載 ｈｔｔｐｓ：／／ｒｅｆｅｒ－ａｒｔ．ｊｐ ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／Ｒｅｆｅｒ＿ｏｆｆｉｃｉａｌ／ｓｔａｔｕｓ／１６２３９８５１４９７１２１７５１０９？ｓ＝２０

(71)【出願人】

【識別番号】520509339

【氏名又は名称】Ｔａｖｅｒｎ株式会社

(74)【代理人】

【識別番号】100153246

【弁理士】

【氏名又は名称】伊吹 欽也

(72)【発明者】

【氏名】上村 優愛

(72)【発明者】

【氏名】鈴木 健夫

(72)【発明者】

【氏名】舘 弥憲

(72)【発明者】

【氏名】佐藤 凌

(72)【発明者】

【氏名】小路 真矢

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA06

5B050CA07

5B050EA12

5B050EA19

5B050FA05

(57)【要約】      （修正有）

【課題】ユーザによる画像作成を支援する画像生成装置、プロンプト作成支援装置、プログラム及びアプリケーションプログラムを提供する。
【解決手段】イラスト背景画像生成サーバ及び複数のユーザ端末が、ネットワークを介して接続されているイラスト背景画像生成システムにおいて、イラスト背景画像生成サーバは、ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信部と、ユーザ端末からユーザにより選択された一以上のタグを受信するタグ受信部と、タグに対応する要素を含むプロンプトを作成するプロンプト作成部と、プロンプトに基づいて画像を生成する画ＡＩ像生成部と、画像を出力する画像出力部と、を有する。ユーザは、ユーザキャラクターとの全体構図、パースペクティブ又はストーリー等を考慮しながらそれにマッチする背景画像のシチュエーションタグを選択することで、プロンプト文を容易に作成できる。
【選択図】図２１

【特許請求の範囲】

【請求項1】

ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、
前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、
前記プロンプトに基づいて画像を生成する画像生成手段と、
前記画像を出力する画像出力手段と、
を有することを特徴とする画像生成装置。

【請求項2】

前記画像は、背景画像であって、
前記タグは、前記背景画像のシチュエーションを示すタグであって、
前記ユーザ端末からキャラクター画像を取得するキャラクター画像取得手段と、
前記背景画像の上にキャラクター画像を配置する画像編集手段と、
を有することを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記プロンプト作成手段は、
予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、
予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、
を作成すること、
を特徴とする請求項２に記載の画像生成装置。

【請求項4】

前記画像を、前記タグ及び前記プロンプトと対応付けて記憶する記憶手段と、
前記画像出力手段は、前記画像と、該画像に対応付けられた前記タグ及び前記プロンプトとを出力すること、
を特徴とする請求項１に記載の画像生成装置。

【請求項5】

コンピュータに、
ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、
前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、
前記プロンプトに基づいて画像を生成する画像生成手段と、
前記画像を出力する画像出力手段と、
して機能させるためのプログラム。

【請求項6】

ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを取得するタグ取得手段と、
前記タグに対応するプロンプトを作成するプロンプト作成手段と、
を有することを特徴とするプロンプト作成支援装置。

【請求項7】

コンピュータに、
ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを取得するタグ取得手段と、
前記タグに対応するプロンプトを作成するプロンプト作成手段と、
して機能させるためのプログラム。

【請求項8】

コンピュータに、
サーバから複数のタグを含むＵＩを生成するためのＵＩデータを受信するＵＩデータ受信手段と、
表示装置に前記ＵＩデータに基づくＵＩを表示する表示手段と、
前記タグを選択する選択操作手段と、
選択された前記タグを前記サーバに送信するタグ送信手段と、
ＵＩデータサーバから前記タグに応じて作成された画像を受信する画像受信手段と、
して機能させるためのアプリケーションプログラム。

【請求項9】

コンピュータに、
表示装置に複数のタグを含むＵＩを表示する表示手段と、
ユーザに一以上の前記タグを選択させるタグ選択手段と、
選択された前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、
前記プロンプトに基づいて画像を生成する画像生成手段と、
前記画像を出力する画像出力手段と、
して機能させるためのアプリケーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、プロンプト作成支援装置、プログラム及びアプリケーションプログラムに関する。

【背景技術】

【0002】

近年、ＡＩがオリジナルの画像を自動生成する画像生成ＡＩシステムが知られている（例えば、非特許文献１、２参照）。画像生成ＡＩで作られる画像は、システムに搭載された「拡散モデル」というアルゴリズムによって生成されている。ユーザはその拡散モデルが訓練済モデルとして搭載されたシステムを利用するため、アルゴリズムを理解したり、プログラムコードを記述したりすることなく、テキスト入力の操作だけで様々な画像を生成することができる。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】Ｓｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎ Ｏｎｌｉｎｅ，インターネット＜URL：https://stablediffusionweb.com/＞

【非特許文献2】ＮｏｖｅｌＡＩ － Ｔｈｅ ＡＩ Ｓｔｏｒｙｔｅｌｌｅｒ，インターネット＜URL：https://novelai.net/＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

これら画像生成系ＡＩに共通するのは、プロンプト（ｐｒｏｍｐｔ）と呼ばれるテキストを入力することで、高解像度のグラフィック画像が生成される点である。より具体的に、画像生成系ＡＩに入力されるプロンプトは、「ｔｅｘｔ ｔｏ ｉｍａｇｅ」型ＡＩに入力する英単語をカンマ区切りで組み合わせた指示文である。

【0005】

しかしながら、このような「ｔｅｘｔ ｔｏ ｉｍａｇｅ」型ＡＩでは、ユーザが望む理想に近い画像（ｉｍａｇｅ）を出力するには、ユーザが適切なプロンプト（ｔｅｘｔ）を作り込む必要があり、これが必ずしも容易な作業ではない。即ち画像生成ＡＩに入力されるプロンプトは、指示文を全て英語のテキストで書かなければならず、また生成画像の細かな制御が難しいという問題がある。実際、プロンプトをどう工夫すれば画像生成ＡＩに高品質な画像を作成させられるかのプロンプトを研究し作成するプロンプトエンジニアと呼ばれる専門家も現れ始めている。

【0006】

その一方、上記画像生成系ＡＩに頼らずに、自作オリジナルのキャラクターを制作し、イラスト投稿サイト等に自作品を投稿しているイラストレータ（絵師）の存在がある。ここで、キャラクターのイラスト創作においては、キャラクターのイラストのみならず、キャラクター背面に配置するイラスト背景も重要な要素であるところ、キャラクターによりマッチした背景を描くためには、例えば全体構図、パース（パースペクティブ）又はストーリー等を客観的に捉えるなど、キャラクターを描くスキルとはまた別のスキルや一層の時間が要求される。このため、一般に絵師はスキルや時間的資源をキャラクターのオリジナリティやクオリティを追求することに傾倒しがちであることが多く、イラスト背景は例えば単色無地かそれに近いシンプルな背景で済ませてしまうといった実情もあった。

【0007】

本発明は、上記の点に鑑み提案されたものであり、一つの側面では、ユーザによる画像作成を支援することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明に係る画像生成装置は、ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、前記プロンプトに基づいて画像を生成する画像生成手段と、前記画像を出力する画像出力手段と、を有する。
を有する。

【0009】

また、上記の課題を解決するため、本発明に係るプロンプト作成支援装置は、ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、を有する。

【発明の効果】

【0010】

本発明の実施の形態によれば、ユーザによる画像作成を支援することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係るイラスト背景画像生成システムのネットワーク構成例を示す図である。

【図2】本実施形態に係るイラスト背景画像生成サーバのハードウェア構成例を示す図である。

【図3】本実施形態に係るイラスト背景画像生成サーバのソフトウェア構成例を示す図である。

【図4】本実施形態に係るユーザＤＢのデータ構成例を示す図である。

【図5】本実施形態に係る画像保存ＤＢのデータ構成例を示す図である。

【図6】本実施形態に係るタグＤＢのタグテーブル情報例を示す図である。

【図7】本実施形態に係るタグＤＢのオプションタグテーブル情報例を示す図である。

【図8】本実施形態に係るユーザ端末のウェブＵＩ画面例（その１）を示す。

【図9】本実施形態に係るユーザ端末のウェブＵＩ画面例（その２）を示す。

【図10】本実施形態に係るユーザ端末のウェブＵＩ画面例（その３）を示す。

【図11】本実施形態に係るユーザ端末のウェブＵＩ画面例（その４）を示す。

【図12】本実施形態に係るユーザ端末のウェブＵＩ画面例（その５）を示す。

【図13】本実施形態に係るユーザ端末のウェブＵＩ画面例（その６）を示す。

【図14】本実施形態に係るユーザ端末のウェブＵＩ画面例（その７）を示す。

【図15】本実施形態に係るユーザ端末のウェブＵＩ画面例（その８）を示す。

【図16】本実施形態に係るユーザ端末のウェブＵＩ画面例（その９）を示す。

【図17】本実施形態に係るユーザ端末のウェブＵＩ画面例（その１０）を示す。

【図18】本実施形態に係るユーザ端末のウェブＵＩ画面例（その１１）を示す。

【図19】本実施形態に係るユーザ端末のウェブＵＩ画面例（その１２）を示す。

【図20】本実施形態に係る編集後のイラスト背景画像例を示す。

【図21】本実施形態に係るイラスト背景画像生成サーバの画像生成処理を示すフローチャート図である。

【図22】本実施形態に係る「共通プロンプト」及び「ネガティブプロンプト」有り無しのイラスト背景画像例を示す。

【発明を実施するための形態】

【0012】

本発明の実施の形態について、図面を参照しつつ詳細に説明する。
＜ネットワーク構成＞
図１は、本実施形態に係るイラスト背景画像生成システムのネットワーク構成例を示す図である。図１におけるイラスト背景画像生成システム１００は、イラスト背景画像生成サーバ１０及びユーザ端末２０が、ネットワーク５０を介して接続されている。

【0013】

イラスト背景画像生成サーバ（以下単に画像生成サーバともいう）１０は、イラスト背景画像（背景コンテンツ）を生成するためのウェブＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面をユーザに提供するとともに、ウェブＵＩ画面を介してユーザの選択操作に基づいて作成されたプロンプトを、Ｄｉｆｆｕｓｉｏｎ Ｍｏｄｅｌ（拡散モデル）により学習したＡＩ画像生成部に入力することで、イラスト背景画像を生成するサーバ装置である。

【0014】

ユーザ端末２０は、イラストレータ等のユーザが所持するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン及びタブレット端末などを含む情報処理端末装置である。ユーザは画像生成サーバ１０のウェブＵＩ画面を介して、ユーザキャラクターとの全体構図、パース（パースペクティブ）又はストーリー等を考慮しながら、ユーザが望む理想に近いイラスト背景画像を出力するためのプロンプトを作成する。またユーザ端末２０は、作成したプロンプトをＡＩ画像生成部に入力することで、イラスト背景画像を生成し出力させることができる。

【0015】

ネットワーク５０は、有線、無線を含む通信ネットワークである。ネットワーク５０は、例えば、インターネット、公衆回線網、ＷｉＦｉ（登録商標）などを含む。

【0016】

（ハードウェア構成）
図２は、本実施形態に係るイラスト背景画像生成サーバのハードウェア構成例を示す図である。画像生成サーバ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、及び通信装置１５を有する。

【0017】

ＣＰＵ１１は、各種プログラムの実行や演算処理を行う。ＲＯＭ１２は、起動時に必要なプログラムなどが記憶されている。ＲＡＭ１３は、ＣＰＵ１１での処理を一時的に記憶したり、データを記憶したりする作業エリアである。ＨＤＤ１４は、各種データ及びプログラムを格納する。通信装置１５は、ネットワーク５０を介して他装置との通信を行う。

【0018】

（ソフトウェア構成）
図３は、本実施形態に係るイラスト背景画像生成サーバのソフトウェア構成例を示す図である。画像生成サーバ１０は、主な機能部として、ウェブＵＩデータ取得部１０１、ウェブＵＩデータ送信部１０２、タグ受信部１０３、プロンプト作成部１０４、ＡＩ画像生成部１０５、画像出力部１０６、キャラクター画像取得部１０７、画像編集部１０８、及び記憶部１０９を有する。

【0019】

ウェブＵＩデータ取得部１０１は、複数のシチュエーションタグを含むウェブＵＩ（例えばウェブＵＩ画面）を生成するためのウェブＵＩデータを取得する機能を有している。

【0020】

ウェブＵＩデータ送信部１０２は、ユーザ端末２０にウェブＵＩデータを送信する機能を有している。

【0021】

タグ受信部１０３は、ユーザ端末２０からユーザにより選択された一以上のタグを受信する機能を有している。

【0022】

プロンプト作成部１０４は、ユーザにより選択されたタグに対応する要素を含むプロンプトを作成する機能を有している。

【0023】

ＡＩ画像生成部１０５は、作成されたプロンプトに基づいて画像を生成する機能を有している。

【0024】

画像出力部１０６は、生成された画像を出力する機能を有している。

【0025】

キャラクター画像取得部１０７は、ユーザ端末２０からキャラクター画像を取得する機能を有している。

【0026】

画像編集部１０８は、背景画像の上にキャラクター画像を配置する機能を有している。

【0027】

記憶部１０９は、ユーザＤＢ１０９ａ、画像保存ＤＢ１０９ｂ、タグＤＢ１０９ｃ及び学習データＤＢ１０９ｄを記憶する。ユーザＤＢ１０９ａは、ユーザのユーザ情報が登録されたＤＢである。画像保存ＤＢ１０９ｂは、ユーザキャラクター画像（キャラクターコンテンツ画像）、イラスト背景画像（背景コンテンツ画像）、合成コンテンツ画像を保持するＤＢである。タグＤＢ１０９ｃは、タグテーブル及びオプションタグテーブルを保持するＤＢである。学習データＤＢ１０９ｄは、画像生成サーバ１０のＡＩ画像生成部１０５がイラスト背景のコンテンツ画像を生成するために、例えば公知のＤｉｆｆｕｓｉｏｎ Ｍｏｄｅｌ（拡散モデル）により予め学習された膨大な画像データセットである。

【0028】

なお、各機能部は、画像生成サーバ１０を構成するコンピュータのＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア資源上で実行されるプログラムによって実現されるものである。これらの機能部は、「手段」、「モジュール」、「ユニット」、又は「回路」に読替えてもよい。また、各機能部は、画像生成サーバ１０単一だけではなく、複数のサーバ装置に機能を分散させ相互にネットワーク５０を介して通信可能とすることで、画像生成サーバ１０単一と同様の機能を実現してもよい。また、記憶部１０９の各ＤＢは、ネットワーク５０上の外部記憶装置に配置することも可能である。また、コンピュータプログラム及びアプリケーションプログラムは、コンピュータが読み取り可能な記憶媒体に格納されていてもよい。

【0029】

（データベース）
図４は、本実施形態に係るユーザＤＢのデータ構成例を示す図である。ユーザＤＢ１０９ａは、ユーザのユーザ情報が登録されたＤＢである。本実施形態に係るユーザＤＢ１０９ａは、例えば「ユーザＩＤ」、「ユーザ名」、「パスワード」、「メールアドレス」などのデータ項目を有する。

【0030】

「ユーザＩＤ」は、ユーザ毎に付番される固有の識別子である。「ユーザＩＤ」及び「パスワード」は、ユーザが画像生成サーバ１０のウェブＵＩ画面にアクセス・ログインするためのＩＤ及びパスワードである。

【0031】

図５は、本実施形態に係る画像保存ＤＢのデータ構成例を示す図である。画像保存ＤＢ１０９ｂに保存される画像は、ユーザキャラクター画像（キャラクターコンテンツ画像）、イラスト背景画像（背景コンテンツ画像）、及び合成コンテンツ画像がある。ユーザキャラクター画像は、ウェブＵＩ画面を介してユーザによりアップロードされたキャラクターのコンテンツ画像（透過画像）である。イラスト背景画像は、画像生成サーバ１０の画像生成部によって生成されたイラスト背景のコンテンツ画像である。合成コンテンツ画像は、ユーザキャラクター画像をイラスト背景画像の上に重畳して合成したコンテンツ画像である。

【0032】

図５（ａ）に示す画像保存ＤＢ(ユーザキャラクター画像)は、例えば「ユーザＩＤ」、「アップロード日時刻」、「画像データ」などのデータ項目を有する。「ユーザＩＤ」は、ユーザＤＢ１０９ａに対応するユーザＩＤである。「アップロード日時刻」は、ユーザによりユーザキャラクター画像がアップロードされた日時刻である。「画像データ」は、ユーザによりアップロードされたユーザキャラクター画像のデータである。

【0033】

図５（ｂ）に示す画像保存ＤＢ(イラスト背景画像)は、例えば「ユーザＩＤ」、「作成日時刻」、「画像データ」、「タグ」、「プロンプト」などのデータ項目を有する。「ユーザＩＤ」は、ユーザＤＢ１０９ａに対応するユーザＩＤである。「作成日時刻」は、画像生成サーバ１０の画像生成部によってイラスト背景画像が生成された日時刻である。「画像データ」は、画像生成サーバ１０のＡＩ画像生成部１０５によって生成されたイラスト背景画像のデータである。「タグ」は、ウェブＩＵからユーザにより選択されたタグである。「プロンプト」は、当該イラスト背景画像を生成するためにＡＩ画像生成部１０５に入力されるプロンプトテキストである。

【0034】

図５（ｃ）に示す画像保存ＤＢ(合成コンテンツ画像)は、例えば「ユーザＩＤ」、「作成日時刻」、「画像データ」などのデータ項目を有する。「ユーザＩＤ」は、ユーザＤＢ１０９ａに対応するユーザＩＤである。「作成日時刻」は、ユーザ操作に応じて合成コンテンツ画像が生成された日時刻である。「画像データ」は、ユーザ操作に応じて生成された合成コンテンツ画像のデータである。

【0035】

図６は、本実施形態に係るタグＤＢのタグテーブル情報例を示す図である。タグＤＢ１０９ｃにおけるタグテーブルは、イラスト背景のシチュエーションと意味付けされたタグ（シチュエーションタグともいう）と、そのタグを表現するプロンプトとが対応付けられたテーブルである。タグはウェブＵＩ画面にユーザに選択可能に表示される。本実施形態に係るタグテーブルは、例えば「タグカテゴリ」、「タグ」、「プロンプト要素」、「オプションタグカテゴリ」、「デフォルトプロンプト要素」、「カスタムベースプロンプト」などのデータ項目を有する。

【0036】

「タグカテゴリ」は、ウェブＵＩ画面にユーザ表示される第１階層（最上位階層）の意味概念タグである。「タグ」は、何れかの「タグカテゴリ」配下に属し、ウェブＵＩ画面にユーザ表示される第２階層のタグである。例えば第１階層の「タグカテゴリ」は「学校」「建物」「廃墟」「シーズン」「屋外」「自然」カテゴリタグなどがあり、例えば第１階層の「学校」タグカテゴリは、第２階層の「プール」「校庭」「廊下」「図書館」「教室」などがある。

【0037】

「プロンプト要素」は、作成されるプロンプトの構成要素であって、ウェブＵＩ画面によるユーザ操作により選択（指定）されたタグを、プロンプトの表現形式に変換するための英単語による指示語である。イラスト背景画像を生成するには、ウェブＵＩ画面上のタグそのものではなく、タグテーブルにおいて変換されたプロンプト要素を含むプロンプト（英単語をカンマ区切りで組み合わせた指示文）が、画像生成サーバ１０のＡＩ画像生成部１０５に入力される。

【0038】

「オプションタグカテゴリ」は、ウェブＵＩ画面上にオプションとしてユーザ表示されるオプションのタグカテゴリである。オプションのため、タグによって「オプションタグカテゴリ」の有無及びタグカテゴリの内容は異なる。例えば、「プール」「校庭」といった屋外シチュエーションを意味するタグには「時間帯」という概念のオプションタグカテゴリがあるのに対し、屋内シチュエーションを意味する「廊下」「図書館」「教室」といったタグには「時間帯」という概念のオプションタグカテゴリがない。

【0039】

「デフォルトプロンプト要素」は、「オプションタグカテゴリ」を複数有する場合であって、複数のオプションタグカテゴリの中からユーザが何れのオプションタグカテゴリを選択（指定）しない場合に、初期値となるように規定されたオプションタグのプロンプト要素である。

【0040】

「カスタムベースプロンプト」は、プロンプト作成時に、共通プロンプトの代わりに置換して指定されるプロンプトである。カスタムベースプロンプトが規定されるタグとして、例えば「廊下」タグの場合は、「共通プロンプト」を適用する代わりに置換して、カスタムベースプロンプト「(((masterpiece))),(((best quality))), (((high quality))), (((scenery))), (((no humans))), (((absurdres)))」を入力する。出願人の研究によれば、タグテーブル上でカスタムベースプロンプトが規定されるタグは、共通プロンプトを適用せずにカスタムベースプロンプトを適用した方が、生成される画像の画質向上が期待できる。

【0041】

図７は、本実施形態に係るタグＤＢのオプションタグテーブル情報例を示す図である。タグＤＢ１０９ｃにおけるオプションタグテーブルは、イラスト背景のシチュエーションと意味付けされたオプションタグ（シチュエーションオプションタグともいう）と、そのオプションタグを表現するプロンプトとが対応付けられたテーブルである。

【0042】

本実施形態に係るオプションタグテーブルは、例えば「オプションタグカテゴリ」、「オプションタグ」、「プロンプト要素」などのデータ項目を有する。「オプションタグカテゴリ」は、図６に示すタグテーブル情報の「オプションタグカテゴリ」に対応したオプションのタグカテゴリである。「オプションタグ」は、何れかの「オプションタグカテゴリ」配下に属するオプションタグである。「プロンプト要素」は、ウェブＵＩ画面からユーザ操作によりオプションタグが選択（指定）された場合、そのオプションタグをプロンプトの表現形式に変換するための英単語による指示語である。

【0043】

＜プロンプト＞
プロンプトは、ｔｅｘｔ ｔｏ ｉｍａｇｅ型ＡＩに入力する英単語をカンマ区切りで組み合わせた指示文である。本実施形態においては、ウェブＵＩ画面からユーザ所望の背景画像のシチュエーションに応じて選択（指定）されたタグを、タグテーブル及びオプションタグテーブルに基づいてプロンプトの表現形式に変換することで、ＡＩ画像生成部１０５に入力するプロンプトが作成される。

【0044】

一般に「ｔｅｘｔ ｔｏ ｉｍａｇｅ」型ＡＩは、「プロンプト」と「ネガティブプロンプト」の２つを入力として受け取るため、同様にＡＩ画像生成部１０５に入力されるプロンプトは、「プロンプト」及び「ネガティブプロンプト」である。また本実施形態において前者の「プロンプト」は、「共通プロンプト」及び「ユーザプロンプト」から構成される。共通プロンプトは、全ての「プロンプト」に必ず共通含める固定のプロンプトであり、予め規定された所定のプロンプト要素からなる。ユーザプロンプトは、ユーザ選択されたタグに応じたプロンプト要素からなるプロンプトである。後者の「ネガティブプロンプト」は、画像中に表示してほしくないものを指示するためのプロンプトであり、予め規定された所定のプロンプト要素からなる。

【0045】

以下、「共通プロンプト」、「ユーザプロンプト」及び「ネガティブプロンプト」を例示する。括弧（）は括弧中のプロンプト要素を強調する指示作用を有する。
・共通プロンプトの例
「(((masterpiece))),(((best quality))), (((high quality))), (((scenery))), (((no humans))), (((absurdres))),light_particles,finely detail」
・ユーザプロンプトの例（「プール」「朝」タグの場合）
「pool,school,outdoors,((poolside)),sunlight,blue_sky」
・ネガティブプロンプトの例
「worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry,cropped,ugly,outside_border」

【0046】

＜画像生成例＞
次に、ユーザ端末２０の画面上に表示されるウェブＵＩ画面から、ユーザ操作によって生成される画像生成例を示す。
（イラスト背景画像の生成）
図８は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その１）を示す。ユーザはユーザ端末２０の所定のアプリケーションプログラム（例えば汎用ウェブブラウザや専用アプロケーションプログラム）を用いて、イラスト背景画像生成サーバ１０にアクセス・ログインすることで、ユーザ端末２０の画面上にウェブＵＩ画面を表示する。

【0047】

ウェブＵＩ画面は、画像を生成するための生成モード２０１において、生成・保存されたイラスト背景画像一覧を示す「ギャラリー」２０２、生成された画像が表示される生成画像表示部２０３、ユーザが生成したイラスト背景のシチュエーションを選択するためのタグ選択部２０４を有する。ユーザは、タグ選択部２０４のタグの中から、ユーザが生成したいイラスト背景画像にマッチするタグ（キーワード）を選択する。

【0048】

図９は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その２）を示す。ウェブＵＩ画面のタグ選択部２０４において、ユーザが「学校」「建物」「廃墟」「シーズン」「屋外」「自然」といった複数の「タグカテゴリ」２０５のうち、例えば「学校」タグカテゴリを選択操作すると、「学校」のタグカテゴリ配下に属する「タグ」２０６が表示される。図９に示されるように、「学校」タグカテゴリ配下に属する「タグ」２０６は、例えば「プール」「校庭」「廊下」「図書館」「教室」などがある（図６に示すタグＤＢ１０９ｃにおけるタグテーブル参照）。

【0049】

図１０は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その３）を示す。ユーザが例えば「学校」タグカテゴリ配下に属する「プール」タグを選択操作すると、選択操作されたタグがタグ選択欄２０７に表示される。

【0050】

また、選択操作されたタグに「オプションタグカテゴリ」が存在する場合、当該タグに対応する「オプションタグカテゴリ」２０８及び「オプションタグ」２０９が表示される。例えば「プール」タグが選択操作された場合、当該「プール」タグに対応する「時間帯」オプションタグカテゴリ並びに「朝」オプションタグ及び「夕方～夜」オプションタグが表示される（図７に示すタグＤＢ１０９ｃにおけるオプションタグテーブル参照）。なお、ユーザが「オプションタグ」２０９を選択操作しない場合には、「デフォルトプロンプト要素」（「朝」オプションタグに対応するプロンプト要素）が選択されたものとみなされる。

【0051】

図１１は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その４）を示す。ユーザがタグ選択を完了し「背景画像生成」ボタン２１０を押下操作した場合、生成画像表示部２０３に生成されたイラスト背景画像２０３ａが表示される。当該イラスト背景画像２０３ａは、タグ選択欄２０７に表示されたタグに基づいて作成されたプロンプトが入力されることで、生成された画像である。以下に、選択操作された「プール」（及び「朝」）タグに基づいて作成されたプロンプト例を示す。なお「プール」のプロンプト要素は、「pool,school,outdoors,((poolside))」である。「朝」のデフォルトプロンプト要素は、「sunlight,blue_sky」である。
プロンプト（共通プロンプト＋ユーザプロンプト）：「(((masterpiece))),(((best quality))), (((high quality))), (((scenery))), (((no humans))), (((absurdres))),light_particles,finely detail,pool,school,outdoors,((poolside)),sunlight,blue_sky」
ネガティブプロンプト：「worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry,cropped,ugly,outside_border」

【0052】

このうち、選択操作された「プール」タグに対応するプロンプト要素からなる「ユーザプト」は、「pool,school,outdoors,((poolside)),sunlight,blue_sky」の部分である。

【0053】

なお、作成されたプロンプト結果については、例えばウェブＵＩ画面上において、ユーザに対しては明示的に表示してもよいし、非表示としてもよい。非表示としてもよいのは、ユーザはタグを選択すればよく、作成されたプロンプト自体を意識する必要がないためである。

【0054】

図１２は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その５）を示す。図１２は、図１０に示すウェブＵＩ画面において、ユーザが「夕方～夜」オプションタグ２０９を選択操作し、「背景画像生成」ボタン２１０を押下操作した場合に、生成されたイラスト背景画像２０３ａを示す。図１２のイラスト背景画像２０３ａと図１１のイラスト背景画像２０３ａとを比較すると、生成されたイラスト背景画像は「プール」という共通シチュエーションの画像である一方、時間帯は「朝」と「夕方～夜」という異なるシチュエーションの画像となっている。以下に、選択操作された「プール」及び「夕方～夜」タグに基づいて作成されたプロンプト例を示す。なお「プール」のプロンプト要素は、「pool,school,outdoors,((poolside))」である。「夕方～夜」のデフォルトプロンプト要素は、「night,night sky」である。

【0055】

プロンプト（共通プロンプト＋ユーザプロンプト）：「(((masterpiece))),(((best quality))), (((high quality))), (((scenery))), (((no humans))), (((absurdres))),light_particles,finely detail,pool,school,outdoors,((poolside)),night,night sky」
ネガティブプロンプト：「worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry,cropped,ugly,outside_border」

【0056】

このうち、選択操作された「プール」及び「夕方～夜」タグに対応するプロンプト要素からなる「ユーザプト」は、「pool,school,outdoors,((poolside)),night,night sky」の部分である。

【0057】

そしてユーザが「画像保存」ボタン２１１を押下操作した場合、生成画像表示部２０３に生成された画像が画像保存ＤＢ１０９ｂに保存される（図５（ｂ））。また保存された画像は「ギャラリー」２０２に表示される。「ギャラリー」２０２の画像はユーザ端末２０にダウンロードも可能である。

【0058】

図１３は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その６）を示す。図１３に示すウェブＵＩ画面においては、ユーザが「自然」「冬」「朝」タグを選択操作し、「背景画像生成」ボタン２１０を押下操作した場合に、生成されたイラスト背景画像２０３ａを示す。生成されたイラスト背景画像は「自然」「冬」「朝」というシチュエーションの画像となっている。

【0059】

（イラスト背景画像の編集）
図１４は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その７）を示す。ウェブＵＩ画面は、画像を編集するための編集モード２２１において、背景画像を編集操作するための操作部として、イラスト背景画像及びユーザキャラクター画像を移動操作する「自由移動」２２２、ユーザキャラクター画像を拡大縮小操作する「キャラ拡大」２２３、イラスト背景画像を拡大縮小操作する「背景拡大」２２４、イラスト背景画像をぼかし操作する「背景ぼかし」２２５、イラスト背景画像の彩度を上げ下げする「彩度」２２６を有する。またウェブＵＩ画面は、ユーザキャラクター画像をアップロード操作するための操作部として、「キャラ画像をアップロード」２２７を有する。

【0060】

図１５は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その８）を示す。図１５（ａ）に示されるように、ユーザが「キャラ画像をアップロード」２２７を操作した場合、ユーザキャラクター画像がアップロードされることで、生成画像表示部２０３のイラスト背景画像２０３ａの上に重畳してユーザキャラクター画像２０３ｂが表示される。またアップロードされたユーザキャラクター画像は、画像保存ＤＢ１０９ｂに保存される（図５（ａ））。また図１５（ｂ）に示されるように、ユーザが「キャラ拡大」２２３を操作した場合、生成画像表示部２０３のイラスト背景画像の上のユーザキャラクター画像２０３ｂを拡大縮小操作することができる。

【0061】

また、ユーザが「キャラ削除」２２８を操作した場合、生成画像表示部２０３のイラスト背景画像上からアップロードしたユーザキャラクター画像２０３ｂを削除できる。また、ユーザが「背景保存」２２９を操作した場合、生成画像表示部２０３のイラスト背景画像２０３ａのみを、画像保存ＤＢ１０９ｂに保存できる。一方、ユーザが「画像保存」ボタン２１１を操作した場合、生成画像表示部２０３に表示された全体画像、即ちイラスト背景画像２０３ａの上にユーザキャラクター画像２０３ｂが重畳した合成画像を、画像保存ＤＢ１０９ｂに保存できる（図５（ｃ））。保存された画像は「ギャラリー」２０２に表示される。

【0062】

図１６は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その９）を示す。図１６（ａ）に示されるように、ユーザが「背景拡大」２２４を操作した場合、生成画像表示部２０３のイラスト背景画像２０３ａを拡大縮小することができる。また図１６（ｂ）に示されるように、ユーザが「背景ぼかし」２２５を操作した場合、生成画像表示部２０３のイラスト背景画像２０３ａをぼかすことができる。

【0063】

図１７は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その１０）を示す。図１７に示されるように、ユーザが「彩度」２２６を操作した場合、生成画像表示部２０３のイラスト背景画像２０３ａの彩度を上げ下げできる。

【0064】

図１８は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その１１）を示す。図１８（ａ）に示されるように、ユーザが「キャラ移動」２２２ａを操作した場合、生成画像表示部２０３のユーザキャラクター画像２０３ｂを移動することができる。また図１８（ｂ）に示されるように、ユーザが「背景移動」２２２ｂを操作した場合、生成画像表示部２０３のイラスト背景画像２０３ａを移動することができる。

【0065】

図１９は、本実施形態に係るユーザ端末のウェブＵＩ画面例（その１２）を示す。図１９（ａ）に示されるように、ユーザが「ギャラリー」２０２の中から一のイラスト背景画像を選択操作した場合、生成画像表示部２０３のイラスト背景画像２０３ａを、選択操作したイラスト背景画像２０３ａに変更することができる。

【0066】

図２０は、本実施形態に係る編集後のイラスト背景画像例を示す。ウェブＵＩ画面は、画像を編集するための編集モード２２１（非図示）において、生成画像表示部２０３のイラスト背景画像２０３ａに対して、更に例えば、魚が水中から空を見上げた時に見える風景に近いアングルの魚眼画像、被写体を真下から撮影したアングルの煽り画像、被写体を真上から撮影したアングルの俯瞰画像となるよう編集加工が可能である。

【0067】

＜情報処理＞
図２１は、本実施形態に係るイラスト背景画像生成サーバの画像生成処理を示すフローチャート図である。ＣＰＵ１１が図２１に示すフローチャートを実現可能なプログラムを読み込んで実行させることで、各機能部が実行するステップ（以下、「Ｓ」と表記する）を実現することができる。

【0068】

Ｓ１：ウェブＵＩデータ取得部１０１は、ユーザ端末２０からのアクセス・ログイン要求を受信すると、予め設けられたユーザ端末用のウェブＵＩ画面データを取得し、ウェブＵＩデータ送信部１０２は、ユーザ端末２０に取得したウェブＵＩ画面データを送信する。ユーザ端末２０は、ウェブＵＩ画面データを受信すると、所定のアプリケーションプログラム（例えば汎用ウェブブラウザや専用アプロケーションプログラム）を介して、画面上にウェブＵＩ画面データに基づくウェブＵＩ画面を表示する。

【0069】

Ｓ２：タグ受信部１０３は、ユーザ端末２０からウェブＵＩ画面を介してユーザにより選択されたタグを受信する。受信タイミングは、例えばウェブＵＩ画面上でユーザがタグ選択を完了し「背景画像生成」ボタン２１０を押下操作したタイミングである。

【0070】

Ｓ３：プロンプト作成部１０４は、タグＤＢ１０９ｃにおけるタグテーブル及びオプションタグテーブルを参照し、Ｓ２で取得したタグに基づいてプロンプトを作成する。

【0071】

具体的に、プロンプト作成部１０４は、まずタグＤＢ１０９ｃにおけるタグテーブル及びオプションタグテーブルを参照し、Ｓ２で取得したタグに対応するプロンプト要素を取得する。ユーザ選択されたタグが「プール」タグの場合、「プール」タグに対応するプロンプト要素「pool,school,outdoors,((poolside))」を取得する。またオプションタグカテゴリ「時間帯」が非選択であった場合には、「朝」タグに対応するデフォルトプロンプト要素「sunlight,blue_sky」を取得する。そしてＳ２で取得したタグに対応するプロンプト要素からなる「ユーザプロンプト」（Ａ２）を作成する。pool,school,outdoors,((poolside)),sunlight,blue_sky

【0072】

次にプロンプト作成部１０４は、記憶部１０９の所定メモリ領域（非図示）に予め保持された所定の「共通プロンプト」（Ａ２）を取得する。
(((masterpiece))),(((best quality))), (((high quality))), (((scenery))), (((no humans))), (((absurdres))),light_particles,finely detail

【0073】

そしてプロンプト作成部１０４は、取得した「共通プロンプト」（Ａ１）と、「ユーザプロンプト」（Ａ２）と含む「プロンプト」（Ａ１＋Ａ２）を作成する。

【0074】

またプロンプト作成部１０４は、記憶部１０９の所定メモリ領域（非図示）に予め保持された所定の「ネガティブプロンプト」（Ｂ）を取得する。そして、「プロンプト」（Ａ１＋Ａ２）及び「ネガティブプロンプト」（Ｂ）を作成する。

【0075】

Ｓ４：プロンプト作成部１０４は、ＡＩ画像生成部１０５にＳ３で作成したプロンプトを入力する。具体的に、プロンプト作成部１０４は、ＡＩ画像生成部１０５に上述の「プロンプト」（Ａ１＋Ａ２）及び「ネガティブプロンプト」（Ｂ）を入力する。

【0076】

Ｓ５：ＡＩ画像生成部１０５は、Ｓ４で入力されたプロンプトに基づいてイラスト背景画像の生成処理を実行する。

【0077】

Ｓ６：画像出力部１０６は、Ｓ５で生成したイラスト背景画像を出力する。また記憶部１０９は、画像保存ＤＢ（イラスト背景画像）１０９ｂに、アクセス・ログインした当該ユーザの「ユーザＩＤ」に対応付けてイラスト背景画像を保存する。また画像保存ＤＢ（イラスト背景画像）１０９ｂには、Ｓ２で受信したタグ及びＳ４で入力されたプロンプトが、それぞれ「タグ」「プロンプト」の項目に保存される（図５（ｂ）参照）。

【0078】

なお、図５（ｂ）に示す画像保存ＤＢ(イラスト背景画像)１０９ｂは、「タグ」、「プロンプト（文）」が保存されるため、ウェブＵＩ画面上において、ユーザは画像生成履歴情報として「画像データ」と「タグ」と「プロンプト」とをセットで読みだすことが可能である。過去に生成された「画像データ」と「タグ」と「プロンプト」とをセットを参照しながら、新たにタグやオブションタグを選択したりすることで、新たに生成されたイラスト背景画像と、過去に生成されたイラスト背景画像との出来を比較しながら、様々なタグパターンによるイラスト背景画像生成を試すことができる。また、「画像データ」と「プロンプト」とを参照することで、プロンプト作成スキルを学習したり、過去に作成された「プロンプト」を直接テキスト編集することもできる。

【0079】

なお、Ｓ４において、プロンプト作成部１０４がＡＩ画像生成部１０５に作成したプロンプトを入力する際、プロンプトと共にもう一つ、ＡＩ画像生成部１０５にはシード（ｓｅｅｄ）という乱数値が入力として与えられる。シードは生成する画像にランダム性を持たせるために使われる。シードの乱数の桁数は非常に大きく毎回変わるため、入力するプロンプトは毎回同じであっても、Ｓ５で生成出力されるイラスト背景画像は、全く同一のイラスト背景画像が生成される可能性は極めて低い（逆に、固定値のシード及び一定のプロンプトを入力すれば生成される画像にランダム性はなくなり、毎回同一のイラスト背景画像が生成される）。このため、ユーザが仮に同じ「タグ」２０６ないし同じ「オプションタグ」２０９を選択しても異なるイラスト背景画像が生成され出力されうる。よってユーザは、複数のイラスト背景画像を、同じ「タグ」等ないし異なる「タグ」の組み合わせバリエーションを試行しながら複数のイラスト背景画像を生成し、「ギャラリー」２０２の中から、生成された所望のイラスト背景画像を取捨選択できる。

【0080】

（「共通プロンプト」及び「ネガティブプロンプト」）
上述したように、「共通プロンプト」及び「ネガティブプロンプト」は、予め規定された所定のプロンプト要素からなり、指示文内容が予め定められた一定のプロンプトである。即ち本実施形態においては、所定のプロンプト要素からなる「共通プロンプト」とユーザ選択されたタグに応じたプロンプト要素からなる「ユーザプロンプト」とを含む「プロンプト」、及び、所定のプロンプト要素からなる「ネガティブプロンプト」とが作成される。

【0081】

「共通プロンプト」及び「ネガティブプロンプト」は、出願人の研究で見つけたイラスト背景としての画質を全体的に底上げするプロンプト要素の組み合わせ指示文であり、本実施形態に係るプロンプト作成部１０４は、「共通プロンプト」及び「ネガティブプロンプト」を自動的に組み込んだプロンプトを作成するため、ユーザは画質向上に関するタグやプロンプト要素を意識しなくて済み、あくまでウェブＵＩ画面からシチュエーションに応じたタグを選択しさえすれば、結果的に画質の高い画像（例えばイラスト背景画像）を得ることができる。

【0082】

図２２は、本実施形態に係る「共通プロンプト」及び「ネガティブプロンプト」有り無しのイラスト背景画像例を示す。図２２（ａ）は、ユーザが「草原」タグを選択した場合に生成されたイラスト背景画像である。入力されたプロンプトには、「共通プロンプト」及び「ネガティブプロンプト」が有りである。一方、図２２（ｂ）は、ユーザが「草原」タグを選択した場合に生成されたイラスト背景画像である。入力されたプロンプトには、「共通プロンプト」及び「ネガティブプロンプト」が無しである。（ａ）は奥行のある背景画像であるのに対して、（ｂ）はのっぺりした背景画像であり背景が近すぎて何かわからない。通常、奥行のある背景画像はキャラクター配置するに適した構図が得られる。のっぺりした背景画像であれば、例えば単色無地かそれに近いシンプルな背景で済ませてしまう場合と差異は少ない。「共通プロンプト」及び「ネガティブプロンプト」には、一つには、このような奥行の背景を生成させるためのプロンプト要素が予め入っている。

【0083】

また図２２（ｃ）は、ユーザが「校庭」タグを選択した場合に生成されたイラスト背景画像である。入力されたプロンプトには、「共通プロンプト」及び「ネガティブプロンプト」が有りである。一方、図２２（ｄ）は、ユーザが「校庭」タグを選択した場合に生成されたイラスト背景画像である。入力されたプロンプトには、「共通プロンプト」及び「ネガティブプロンプト」が無しである。（ｃ）は人物画が無い背景画であるのに対して、（ｄ）は背景に人物画が出てしまっている。本実施形態に係る「共通プロンプト」及び「ネガティブプロンプト」は一つには、背景を描くよう指示を与えているプロンプト要素が予め入っている。これが無い場合、ＡＩは背景を描く指示を受けておらず、イラスト背景画像として適さない人物画を描いてしまう場合がある。

【0084】

＜総括＞
以上のように本実施形態に係るイラスト背景画像生成システム１００によれば、ユーザはウェブＵＩ画面から背景画像のシチュエーションを示すタグを選択操作することで、プロンプトを容易に作成することが可能である。即ち、ユーザは例えばユーザキャラクターとの全体構図、パース（パースペクティブ）又はストーリー等を考慮しながら、それにマッチする背景画像のシチュエーションタグを選択しさえすれば、プロンプト文を容易に作成することができる。

【0085】

またユーザは作成されたプロント文入力により、イラスト背景画像を生成することが可能である。これにより、ユーザは自身がイメージするシチュエーションのイラスト背景画像の上にユーザキャラクター画像を配置することで、自身のキャラクターイラスト（合成コンテンツ画像）を完成することが可能である。またユーザ（イラストレータ等）は、プロンプト文作成の手間削減により、自身のスキルや時間的資源をキャラクターのオリジナリティやクオリティ追求により配分することが可能となる。

【0086】

即ち、本実施形態によれば、一つの側面では、ＡＩによるイラスト背景画像生成に際し、ユーザによるプロンプト入力を支援し、ひいてはユーザによるイラスト背景画像作成及び自身のキャラクターイラスト（合成コンテンツ画像）完成を支援することが可能である。

【0087】

なお、本発明の好適な実施の形態により、特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

【0088】

また、本実施形態に係る画像生成サーバ１０の有する各機能を、ユーザ端末２０にインストールされるアプリケーションプログラムに搭載することも可能である。これにより画像生成サーバ１０とネットワーク５０を介した通信をすることなく、ユーザ端末２０側のみで画像生成が可能である。即ち例えば、ユーザ端末２０における一態様のアプリケーションプログラムは、
コンピュータに、
表示装置に複数のタグを含むＵＩを表示する表示手段（例えば図８のＵＩ画面）と、
ユーザに一以上の前記タグを選択させるタグ選択手段（例えば図８のタグ選択部２０４）と、
選択された前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と（画像生成サーバ１０の有するプロンプト作成部１０４の機能に相当）、
前記プロンプトに基づいて画像を生成する画像生成手段（画像生成サーバ１０の有するＡＩ画像生成部１０５の機能に相当）と、
前記画像を出力する画像出力手段（画像生成サーバ１０の有する画像出力部１０６の機能に相当と、
して機能させるためのアプリケーションプログラムである。

【符号の説明】

【0089】

１０ イラスト背景画像生成サーバ
２０ ユーザ端末
５０ ネットワーク
１００ イラスト背景画像生成システム
１０１ ウェブＵＩデータ取得部
１０２ ウェブＵＩデータ送信部
１０３ タグ受信部
１０４ プロンプト作成部
１０５ ＡＩ画像生成部
１０６ 画像出力部
１０７ キャラクター画像取得部
１０８ 画像編集部
１０９ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【手続補正書】

【提出日】2023-08-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、
前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、
前記プロンプトに基づいて画像を生成する画像生成手段と、
前記画像を出力する画像出力手段と、
を有し、
前記プロンプト作成手段は、
予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、
予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、
を作成すること、
を特徴とする画像生成装置。

【請求項2】

前記画像は、背景画像であって、
前記タグは、前記背景画像のシチュエーションを示すタグであって、
前記ユーザ端末からキャラクター画像を取得するキャラクター画像取得手段と、
前記背景画像の上にキャラクター画像を配置する画像編集手段と、
を有することを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記画像を、前記タグ及び前記プロンプトと対応付けて記憶する記憶手段と、
前記画像出力手段は、前記画像と、該画像に対応付けられた前記タグ及び前記プロンプトとを出力すること、
を特徴とする請求項１に記載の画像生成装置。

【請求項4】

コンピュータに、
ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、
前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、
前記プロンプトに基づいて画像を生成する画像生成手段と、
前記画像を出力する画像出力手段と、
して機能させ、
前記プロンプト作成手段は、
予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、
予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、
を作成する、
プログラム。

【請求項5】

ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを取得するタグ取得手段と、
前記タグに対応するプロンプトを作成するプロンプト作成手段と、
を有し、
前記プロンプト作成手段は、
予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、
予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、
を作成すること、
を特徴とするプロンプト作成支援装置。

【請求項6】

コンピュータに、
ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、
前記ユーザ端末からユーザにより選択された一以上の前記タグを取得するタグ取得手段と、
前記タグに対応するプロンプトを作成するプロンプト作成手段と、
して機能させ、
前記プロンプト作成手段は、
予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、
予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、
を作成する、
プログラム。

【請求項7】

コンピュータに、
表示装置に複数のタグを含むＵＩを表示する表示手段と、
ユーザに一以上の前記タグを選択させるタグ選択手段と、
選択された前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、
前記プロンプトに基づいて画像を生成する画像生成手段と、
前記画像を出力する画像出力手段と、
して機能させ、
前記プロンプト作成手段は、
予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、
予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、
を作成する、
アプリケーションプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

上記の課題を解決するため、本発明に係る画像生成装置は、ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、前記プロンプトに基づいて画像を生成する画像生成手段と、前記画像を出力する画像出力手段と、を有し、前記プロンプト作成手段は、予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、を作成する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

また、上記の課題を解決するため、本発明に係るプロンプト作成支援装置は、ユーザ端末に複数のタグを含むＵＩを生成するためのＵＩデータを送信するＵＩデータ送信手段と、前記ユーザ端末からユーザにより選択された一以上の前記タグを受信するタグ受信手段と、前記タグに対応する要素を含むプロンプトを作成するプロンプト作成手段と、を有し、前記プロンプト作成手段は、予め規定された所定の第１プロンプト要素からなるプロンプト、及び、前記タグに対応する要素を含むプロンプトを含むプロンプトと、予め規定された所定の第２プロンプト要素からなるネガティブプロンプトと、を作成する。