特許 7094342 画像生成プログラム、画像生成装置及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-23

(45)【発行日】2022-07-01

(54)【発明の名称】画像生成プログラム、画像生成装置及び画像生成方法

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20220624BHJP

【ＦＩ】

G06Q30/02 444

G06Q30/02 382

G06Q30/02 398

【請求項の数】 10

(21)【出願番号】P 2020177301

(22)【出願日】2020-10-22

(65)【公開番号】P2022068552

(43)【公開日】2022-05-10

【審査請求日】2020-10-22

(73)【特許権者】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(72)【発明者】

【氏名】毛利 真崇

(72)【発明者】

【氏名】渡部 優

【審査官】岡 裕之

(56)【参考文献】

【文献】特開２０１９－０９１３６６（ＪＰ，Ａ）

【文献】特開２０１１－１１８７７６（ＪＰ，Ａ）

【文献】特開２０２０－１７０３３８（ＪＰ，Ａ）

【文献】特開２００４－２７２５３０（ＪＰ，Ａ）

【文献】栗原 雅，高い効果が期待できるバナー広告をAIが自動生成[online]，2019年08月26日，URL<https://jbpress.ismedia.jp/articles/-/57394>，[検索日：2021年11月2日]

【文献】石川 俊明，AIで顔や広告を自動生成 サイバーエージェントは学習データをどのように集めたか？[online]，2019年04月24日，URL1<https://atmarkit.itmedia.co.jp/ait/articles/1904/24/news007.html>URL2<https://atmarkit.itmedia.co.jp/ait/articles/1904/24/news007_2.html>，[検索日：2021年11月2日]

【文献】鈴木 雅大 外１名，深層生成モデルを用いた半教師ありマルチモーダル学習，情報処理学会 論文誌（ジャーナル） Ｖｏｌ．５９ Ｎｏ．１２ ，情報処理学会，2018年12月15日，pp.2261-2278

【文献】機械学習を用いた広告制作技術 Creative Research[online]，サイバーエージェント，2020年09月18日，URL<https://web.archive.org/web/20200918175806/https://www.cyberagent.co.jp/techinfo/ai/tech/detail/id=24951>，インターネットアーカイブ，[検索日：2021年11月2日]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成機能と、
前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成機能に提供する広告効果推定機能と、
をコンピュータに実現させ、
前記顔画像生成機能と、前記広告効果推定機能とを交互に実行し、
前記顔画像生成機能は、前記広告効果推定機能が実行された後は、前記広告効果推定機能によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、
画像生成プログラム。

【請求項2】

前記広告効果推定機能は、配信済広告の配信実績を示す配信実績データを使用して学習した前記広告効果推定用学習済モデルを使用して前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する、
請求項１に記載の画像生成プログラム。

【請求項3】

前記広告効果推定機能は、マルチモーダルモデルである前記広告効果推定用学習済モデルを利用して、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する、
請求項１又は請求項２に記載の画像生成プログラム。

【請求項4】

顔画像生成機能は、広告効果指標データに加え、前記広告のターゲティング設計に基づいて、前記顔画像データを生成する、
請求項１から請求項３のいずれか一つに記載の画像生成プログラム。

【請求項5】

前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する体画像生成機能と、
前記顔画像データにより示される顔画像と前記体画像データにより示される体画像とを組み合わせて前記広告に使用される画像を生成する画像組合せ機能と、
を更に備える、
請求項１から請求項４のいずれか一つに記載の画像生成プログラム。

【請求項6】

前記体画像生成機能は、既に生成されている画像から前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を抽出することにより前記体画像データを生成する、
請求項５に記載の画像生成プログラム。

【請求項7】

前記体画像生成機能は、コンピュータグラフィックスを使用して前記体画像データを生成する、
請求項５に記載の画像生成プログラム。

【請求項8】

前記体画像生成機能は、前記広告のターゲティング設計に基づいて、前記体画像データを生成する、
請求項５から請求項７のいずれか一つに記載の画像生成プログラム。

【請求項9】

人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成部と、
前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成部に提供する広告効果推定部と、
を備え、
前記顔画像生成部と、前記広告効果推定部とを交互に実行し、
前記顔画像生成部は、前記広告効果推定部が処理を実行した後は、前記広告効果推定部によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、
画像生成装置。

【請求項10】

人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成ステップと、
前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データを前記顔画像生成ステップに提供する広告効果推定ステップと、
を含み、
前記顔画像生成ステップと、前記広告効果推定ステップとが交互に実行され、
前記顔画像生成ステップでは、前記広告効果推定ステップが実行された後は、前記広告効果推定ステップにおいて提供された前記広告効果指標データに基づいて前記顔画像データを生成する、
画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成プログラム、画像生成装置及び画像生成方法に関する。

【背景技術】

【0002】

従来からビジネス、公共活動等における広告の重要性が認識されており、広告を生成する技術が開発されている。このような技術の一例として、特許文献１に開示されているシステムが挙げられる。このシステムは、それぞれの予め設定されたデータソースサーバから各ユーザーの露出された広告の広告クリックデータにおける広告背景ピクチャの画風特徴を抽出する。次に、このシステムは、予め設定された画風特徴に基づき、且つ予め設定された第１分析ルールに従って各ユーザーの広告クリックデータを分析することにより、各ユーザーに対応する推薦対象広告ピクチャの画風特徴を取得する。そして、このシステムは、分析した各ユーザーに対応する画風特徴に基づいて推薦広告を生成することにより、前記推薦広告を対応するユーザーに推薦する。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５２０６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述したシステムは、予め設定されたデータソースサーバを使用しているため、高い広告効果が期待できるクリエイティブの素材を使用して推薦広告を生成し得ないことがある。特に、インターネット上で主流となっている運用型広告では、一つの商品、サービス等について複数の広告を順次使用し、高い広告効果を維持し続ける必要があるものの、上述したシステムは、運用型広告に適したクリエイティブの素材を使用して推薦広告を生成し得ないことがある。

【0005】

また、クリエイティブの素材としてモデル等の人物の画像を使用する場合、人物を撮影する作業が必要になる。しかし、人物を撮影する作業は、広告主のイメージ、広告のターゲット等と整合する人物の選定、選定された人物が撮影、移動等に費やす時間の確保、撮影を実施する場所の確保等に関する様々な労力を必要とする。さらに、運用型広告で人物の画像を使用する場合、人物を撮影する作業に膨大な労力が必要となることが多い。

【0006】

本発明は、上述した事情に鑑みてなされたものであり、クリエイティブの素材となる人物の画像を生成する労力を削減しつつ、より高い広告効果が期待できる人物の画像を生成することができる画像生成プログラム、画像生成装置及び画像生成方法を提供しようとするものである。

【課題を解決するための手段】

【0007】

本発明の一態様は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成機能と、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成機能に提供する広告効果推定機能と、をコンピュータに実現させ、前記顔画像生成機能と、前記広告効果推定機能とを交互に実行し、前記顔画像生成機能は、前記広告効果推定機能が実行された後は、前記広告効果推定機能によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、画像生成プログラムである。

【0008】

本発明の一態様は、上記の画像生成プログラムであって、前記広告効果推定機能が配信済広告の配信実績を示す配信実績データを使用して学習した前記広告効果推定用学習済モデルを使用して前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。

【0009】

本発明の一態様は、上記の画像生成プログラムであって、前記広告効果推定機能がマルチモーダルモデルである前記広告効果推定用学習済モデルを利用して、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。

【0010】

本発明の一態様は、上記の画像生成プログラムであって、顔画像生成機能が広告効果指標データに加え、前記広告のターゲティング設計に基づいて、前記顔画像データを生成する。

【0011】

本発明の一態様は、上記の画像生成プログラムであって、前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する体画像生成機能と、前記顔画像データにより示される顔画像と前記体画像データにより示される体画像とを組み合わせて前記広告に使用される画像を生成する画像組合せ機能とを更に備える。

【0012】

本発明の一態様は、上記の画像生成プログラムであって、前記体画像生成機能が既に生成されている画像から前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を抽出することにより前記体画像データを生成する。

【0013】

本発明の一態様は、上記の画像生成プログラムであって、前記体画像生成機能がコンピュータグラフィックスを使用して前記体画像データを生成する。

【0014】

本発明の一態様は、上記の画像生成プログラムであって、前記体画像生成機能が前記広告のターゲティング設計に基づいて、前記体画像データを生成する。

【0015】

本発明の一態様は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成部と、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成部に提供する広告効果推定部と、を備え、前記顔画像生成部と、前記広告効果推定部とを交互に実行し、前記顔画像生成部は、前記広告効果推定部が処理を実行した後は、前記広告効果推定部によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、画像生成装置である。

【0016】

本発明の一態様は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成ステップと、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データを前記顔画像生成ステップに提供する広告効果推定ステップと、を含み、前記顔画像生成ステップと、前記広告効果推定ステップとが交互に実行される、前記顔画像生成ステップでは、前記広告効果推定ステップが実行された後は、前記広告効果推定ステップにおいて提供された前記広告効果指標データに基づいて前記顔画像データを生成する、画像生成方法である。

【発明の効果】

【0017】

本発明によれば、クリエイティブの素材となる人物の画像を生成する労力を削減しつつ、より高い広告効果が期待できる人物の画像を生成することができる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係る画像生成システムのハードウェア構成の一例を示す図である。

【図2】実施形態に係る画像生成システムのソフトウェア構成の一例を示す図である。

【図3】実施形態に係る広告効果推定用学習済モデルを学習させるための教師データの一例を示す図である。

【図4】実施形態に係る画像生成プログラムが顔画像データを生成し、当該顔画像の広告効果に関する指標を推定する処理の一例を説明するための図である。

【図5】実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。

【図6】実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。

【図7】実施形態に係る画像生成装置にターゲティング設計を指定するデータが入力される際に、ディスプレイに表示されるユーザインターフェースの一例を示す図である。

【図8】実施形態に係る画像生成装置にターゲティング設計を指定するデータが入力される際に、ディスプレイに表示されるユーザインターフェースの一例を示す図である。

【図9】実施形態に係る配信済広告及び当該配信済広告の広告効果に関する広告効果指標の表示態様の一例を示す図である。

【図10】図１０は、実施形態に係る画像処理プログラムにより生成された顔画像を含む広告及びこれらの広告の広告効果指標の表示態様の一例を示す図である。

【図11】実施形態に係る画像生成プログラムが実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0019】

［実施形態］
図１から図１０を参照しながら実施形態に係る画像生成プログラム、画像生成装置及び画像生成方法について説明する。

【0020】

まず、図１から図６を参照しながら実施形態に係る画像生成プログラム、画像生成装置及び画像生成方法の具体的な内容について説明する。

【0021】

図１は、実施形態に係る画像生成システムのハードウェア構成の一例を示す図である。図１に示すように、画像生成システム１は、画像生成装置１０と、機械学習装置２０と、機械学習装置３０とを備える。画像生成装置１０は、プロセッサ１１と、主記憶装置１２と、通信インターフェース１３と、補助記憶装置１４と、入出力装置１５と、バス１６とを備える。

【0022】

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）であり、後述する画像生成プログラム１００を読み出して実行し、画像生成プログラム１００が有する各機能を実現させる。また、プロセッサ１１は、画像生成プログラム１００以外のプログラムを読み出して実行し、画像生成プログラム１００が有する各機能を実現させる上で必要な機能を実現させてもよい。

【0023】

主記憶装置１２は、例えば、ＲＡＭ（Random Access Memory）であり、プロセッサ１１により読み出されて実行される画像生成プログラム１００その他プログラムを予め記憶している。

【0024】

通信インターフェース１３は、図１に示したネットワークＮＷを介して、機械学習装置２０、機械学習装置３０その他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）、イントラネットである。

【0025】

補助記憶装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）である。

【0026】

入出力装置１５は、例えば、入出力ポート（Input/Output Port）である。入出力装置１５は、例えば、図１に示したキーボード８０１、マウス８０２、ディスプレイ９００が接続される。キーボード８０１及びマウス８０２は、例えば、画像生成装置１０を操作するために必要なデータを入力する作業に使用される。ディスプレイ９００は、例えば、画像生成装置１０のグラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）、後述する顔画像、体画像、広告効果指標を表示する。

【0027】

バス１６は、プロセッサ１１、主記憶装置１２、通信インターフェース１３、補助記憶装置１４及び入出力装置１５を互いにデータの送受信が可能なように接続している。

【0028】

図２は、実施形態に係る画像生成システムのソフトウェア構成の一例を示す図である。画像生成装置１０は、プロセッサ１１を使用して画像生成プログラム１００を読み出して実行し、図２に示した顔画像生成機能１０１、広告効果推定機能１０２、体画像生成機能１０３及び画像組合せ機能１０４を実現させる。

【0029】

顔画像生成機能１０１は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを図２に示した顔画像用学習済モデル２０Ｍを利用して生成する。

【0030】

ここで言う人物の顔は、実在する人物の顔に似ている場合があるものの、実在しない仮想の人物の顔である。また、ここで言う既に生成されている顔画像は、顔画像生成機能１０１により生成された顔画像でもよいし、画像生成装置１０と異なる機器により生成され、画像生成装置１０に入力された顔画像でもよい。

【0031】

広告は、オンライン広告及びオフライン広告の少なくとも一方を含む。オンライン広告は、例えば、リターゲティング広告、ＳＮＳ（Social Networking Service）広告であり、運用型広告であってもよい。オフライン広告は、例えば、テレビ又はラジオで放送される広告、雑誌又は新聞に掲載される広告である。また、広告効果指標としては、例えば、インプレッション数、クリック数、コンバージョン数、コスト、ＣＴＲ（Click Through Rate）、ＣＶＲ（Conversion Rate）、ＣＴＶＲ、ＣＰＣ（Cost Per Click）、ＣＰＭ（Cost Per Mille）、ＣＰＡ（Cost Per Action）が挙げられる。

【0032】

顔画像用学習済モデル２０Ｍは、機械学習装置２０に実装されている機械学習モデルである。顔画像用学習済モデル２０Ｍは、広告効果推定機能１０２により生成された広告効果指標データを入力として受け付け、当該広告効果指標データに基づいて顔画像データを出力する。顔画像生成機能１０１は、広告効果指標データを取得して顔画像用学習済モデル２０Ｍに入力し、顔画像用学習済モデル２０Ｍから出力された顔画像データを取得する。

【0033】

また、顔画像生成機能１０１は、広告効果指標データに加え、広告のターゲティング設計に基づいて、顔画像データを生成してもよい。ターゲティング設計は、広告を配信するユーザを絞り込むための設計である。例えば、ターゲティング設計は、広告を掲載する広告媒体、広告の広告主、広告が対象としているユーザの年齢、性別、嗜好及び居住している地域の少なくとも一つ、広告を配信する期間、ユーザが閲覧しているウェブサイト等の観点から広告を配信するユーザを絞り込むものである。ターゲティング設計は、例えば、図１に示したキーボード８０１及びマウス８０２の少なくとも一方を使用して画像生成装置１０に入力される。

【0034】

広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を図２に示した広告効果推定用学習済モデル３０Ｍを利用して推定する。

【0035】

広告効果推定用学習済モデル３０Ｍは、機械学習装置３０に実装されている機械学習モデルである。広告効果推定用学習済モデル３０Ｍは、顔画像生成機能１０１により生成された顔画像データを入力として受け付け、当該顔画像データに基づいて広告効果指標データを出力する。広告効果推定機能１０２は、顔画像データを取得して広告効果推定用学習済モデル３０Ｍに入力し、広告効果推定用学習済モデル３０Ｍから出力された広告効果指標データを取得する。そして、広告効果推定機能１０２は、広告効果指標データを顔画像生成機能１０１に提供する。

【0036】

また、広告効果推定用学習済モデル３０Ｍは、マルチモーダルモデルであることが好ましい。マルチモーダルモデルである広告効果推定用学習済モデル３０Ｍとは、複数種類のデータに基づいて学習する機械学習モデルである。さらに、広告効果推定用学習済モデル３０Ｍは、配信済広告の配信実績を示す配信実績データを使用して学習していることが好ましい。

【0037】

図３は、実施形態に係る広告効果推定用学習済モデルを学習させるための教師データの一例を示す図である。マルチモーダルモデルである広告効果推定用学習済モデル３０Ｍは、例えば、図３に示した教師データを使用して学習する。図３に示した教師データは、クリエイティブの素材となる画像及びテキスト、ターゲティング設計の要素である広告対象者の年齢及び性別、広告対象者が有する予算、広告の配信期間及び広告が配信される地域各々を具体的に指定するデータを問題としている。また、図３に示した教師データは、これらの組み合わせ各々に対する配信実績を答えとしている。なお、図３に示した文字列「ＣＯＳＴ」は、上述したコストを意味している。また、クリエイティブは、静止画像、動画像、文字及び音声の少なくとも一つを含む制作物である。

【0038】

画像生成プログラム１００は、図４に示すように、顔画像生成機能１０１と、広告効果推定機能１０２とを交互に使用することにより、より広告効果指標が高い顔画像を示す顔画像データを次々と生成していく。図４は、実施形態に係る画像生成プログラムが顔画像データを生成し、当該顔画像の広告効果に関する指標を推定する処理の一例を説明するための図である。

【0039】

例えば、画像生成プログラム１００は、事前に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて顔画像データＦ－１を顔画像生成機能１０１により生成して広告効果推定機能１０２に提供する。そして、画像生成プログラム１００は、顔画像データＦ－１により示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データＣ－１を広告効果推定機能１０２により推定して顔画像生成機能１０１に提供する。

【0040】

次に、画像生成プログラム１００は、広告効果指標データＣ－１に基づいて顔画像データＦ－２を顔画像生成機能１０１により生成して広告効果推定機能１０２に提供する。そして、画像生成プログラム１００は、顔画像データＦ－２により示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データＣ－２を広告効果推定機能１０２により推定して顔画像生成機能１０１に提供する。

【0041】

同様に、画像生成プログラム１００は、広告効果指標データＣ－（ｋ－１）（ｋ：３以上の整数）に基づいて顔画像データＦ－ｋを顔画像生成機能１０１により生成して広告効果推定機能１０２に提供する。そして、画像生成プログラム１００は、顔画像データＦ－ｋにより示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データＣ－ｋを広告効果推定機能１０２により推定して顔画像生成機能１０１に提供する。

【0042】

なお、画像生成プログラム１００は、広告効果指標データＣ－（ｋ－１）以外の広告効果指標データに基づいて顔画像データＦ－ｋを顔画像生成機能１０１により生成してもよい。例えば、画像生成プログラム１００は、広告効果指標データＣ－４ではなく、広告効果指標データＣ－１、広告効果指標データＣ－２及び広告効果指標データＣ－３の少なくとも一つに基づいて顔画像データＦ－５を顔画像生成機能１０１により生成してもよい。

【0043】

体画像生成機能１０３は、顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する。そして、画像組合せ機能１０４は、顔画像データにより示される顔画像と体画像データにより示される体画像とを組み合わせて広告に使用される画像を生成する。

【0044】

図５は、実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。図５は、顔画像Ｆ１、画像Ｂ１及び画像Ｅ１を示している。顔画像Ｆ１は、顔画像生成機能１０１により生成された顔画像のうち広告効果指標が所定の閾値を超えている顔画像の一例である。画像Ｂ１は、例えば、画像生成装置１０と異なる機器により生成され、画像生成装置１０に入力された画像である。

【0045】

例えば、体画像生成機能１０３は、既に生成されている画像Ｂ１から顔画像データにより示されている顔画像Ｆ１と組み合わせられる体を描出している体画像を抽出することにより体画像データを生成する。ここで言う体画像は、例えば、画像Ｂ１のうち画像Ｂ１に描出されている人物の顔以外の体を描出している領域をいう。そして、画像組合せ機能１０４は、顔画像Ｆ１と、画像Ｂ１から抽出された体画像とを組み合わせて広告に使用される画像Ｅ１を生成する。

【0046】

図６は、実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。図６は、顔画像Ｆ２、画像Ｂ２及び画像Ｅ２を示している。顔画像Ｆ２は、顔画像生成機能１０１により生成された顔画像のうち広告効果指標が所定の閾値を超えている顔画像の一例である。

【0047】

例えば、体画像生成機能１０３は、コンピュータグラフィックスを使用して体画像データを生成する。図６に示した画像Ｂ２のうち画像Ｂ２に描出されている人物の顔以外の体を描出している領域は、当該体画像データにより示される体画像の一例である。そして、画像組合せ機能１０４は、顔画像Ｆ２と、画像Ｂ２から抽出された体画像とを組み合わせて広告に使用される画像Ｅ２を生成する。

【0048】

また、体画像生成機能１０３は、広告のターゲティング設計に基づいて、体画像データを生成してもよい。

【0049】

次に、図７から図１０を参照しながら画像生成プログラム、画像生成装置又は画像生成方法が使用される場合にディスプレイ９００に表示されるグラフィカルユーザインターフェースについて説明する。

【0050】

例えば、画像生成装置１０は、初めにターゲティング設計を指定するデータが入力される。図７及び図８は、実施形態に係る画像生成装置にターゲティング設計を指定するデータが入力される際に、ディスプレイに表示されるユーザインターフェースの一例を示す図である。図７に示したユーザインターフェースは、画像Ｍ２、タブＴ１、タブＴ２及びタブＴ３を含んでいる。図８に示したユーザインターフェースは、これらに加えて、画像Ｍ３１及び画像Ｍ３２を含んでいる。

【0051】

画像Ｍ２は、「広告媒体を選択してください」というメッセージをユーザに視認させ、タブＴ１、タブＴ２又はタブＴ３をユーザにクリックさせることにより、上述した広告媒体として「広告媒体Ｘ」、「広告媒体Ｙ」又は「広告媒体Ｚ」をユーザに選択するよう促すために表示される。また、ここで言う広告媒体は、例えば、ソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）である。タブＴ１、タブＴ２及びタブＴ３は、それぞれ上述した条件として広告媒体Ｘ、広告媒体Ｙ又は広告媒体Ｚが選択される際にクリックされる。画像Ｍ３１は、上述した広告主として「株式会社〇〇」が選択される際にクリックされる。画像Ｍ３２は、上述した広告主として「株式会社××」が選択される際にクリックされる。

【0052】

ユーザによりタブＴ１、タブＴ２又はタブＴ３がクリックされることにより選択された「広告媒体Ｘ」、「広告媒体Ｙ」又は「広告媒体Ｚ」を示すデータは、ターゲティング設計を指定するデータとして画像生成装置１０に入力される。同様に、ユーザにより画像Ｍ３１又は画像Ｍ３２がクリックされることにより選択された「株式会社〇〇」又は「株式会社××」を示すデータは、ターゲティング設計を指定するデータとして画像生成装置１０に入力される。

【0053】

図９は、実施形態に係る配信済広告及び当該配信済広告の広告効果に関する広告効果指標の表示態様の一例を示す図である。図９に示したユーザインターフェースには、上述したタブＴ１、タブＴ２及びタブＴ３に加えて、画像Ｍ４及び表示領域Ｄが含まれている。

【0054】

画像Ｍ４は、上述した画像Ｍ３１又は画像Ｍ３２がクリックされることにより選択された広告主を表示する画像である。例えば、図９に示した画像Ｍ４は、広告主として「株式会社○○」が選択されたことを表示している。表示領域Ｄには、配信済広告のターゲット設計を示す文字列、配信済広告のクリエイティブ、配信済広告の広告効果指標及び配信済広告の広告効果指標の順位が表示されている。例えば、図９に示した表示領域Ｄには、配信済広告のターゲット設計が２０歳から４９歳までの男女であることを表している文字列「男女_20-49_PO_Purchase」、広告Ｓ、配信済広告の広告効果指標を示す「SCORE0.8」及び広告効果指標の順位を示す「１位」が表示されている。

【0055】

図１０は、実施形態に係る画像処理プログラムにより生成された顔画像を含む広告及びこれらの広告の広告効果指標の表示態様の一例を示す図である。図１０に示すように、表示領域Ｄには、図９に示されている内容に加えて、広告Ｃ１、広告Ｃ２、広告Ｃ３、広告Ｃ４及び広告Ｃ５が表示されている。これら五つの広告は、いずれも顔画像生成機能１０１により図７及び図８を参照しながら説明した手順で入力されたターゲティング設計に基づいて生成された顔画像データにより示されている顔画像を含む広告である。また、同時に、これら五つの広告各々の右下には、広告効果指標の推定結果が表示されており、これら五つの広告各々の左下には、広告効果指標の推定結果の順位が表示されている。顔画像生成機能１０１により生成された顔画像データにより示される顔画像を含む広告は、例えば、図１０に示した表示態様で表示され、広告効果指標の推定結果が広告Ｓを超えている場合、実際に広告として配信される。

【0056】

次に、図１１を参照しながら実施形態に係る画像生成プログラム１００が実行する処理の一例を説明する。図１１は、実施形態に係る画像生成プログラムが実行する処理の一例を示すフローチャートである。画像生成プログラム１００は、図１１に示したステップＳ１０からステップＳ４０までの処理を複数回実行する。

【0057】

ステップＳ１０において、顔画像生成機能１０１は、広告指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する。

【0058】

ステップＳ２０において、顔画像生成機能１０１は、顔画像データを広告効果推定機能に提供する。

【0059】

ステップＳ３０において、広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定する。

【0060】

ステップＳ４０において、広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを顔画像生成機能に提供する。

【0061】

なお、画像生成プログラム１００は、ステップＳ４０が完了し、次のステップＳ１０に進む前に、ステップＳ１０で生成された顔画像データにより示される顔画像に対して体画像生成機能１０３による処理及び画像組合せ機能１０４による処理を実行してもよい。

【0062】

以上、実施形態に係る画像生成プログラム、画像生成装置及び画像生成方法について説明した。画像生成プログラム１００は、顔画像生成機能１０１と、広告効果推定機能１０２とを画像生成装置１０に実現させる。顔画像生成機能１０１は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデル２０Ｍを利用して生成する。広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデル３０Ｍを利用して推定し、顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを顔画像生成機能１０１に提供する。

【0063】

これにより、画像生成プログラム１００は、既に生成されている顔画像の広告効果に関する広告効果指標及び広告効果推定機能１０２により提供された広告効果指標データにより示される広告効果指標を超える可能性が高い顔画像を示す顔画像データを多数生成することができる。つまり、画像生成プログラム１００は、より高い広告効果が期待できるクリエイティブの素材となる人物の顔画像を多数生成することができる。また、画像生成プログラム１００は、仮想的で実在しない人物の顔画像を生成するため、実際に人物を撮影する作業を省略しつつ、クリエイティブの素材となる人物の顔画像を多数生成することができる。

【0064】

また、画像生成プログラム１００は、配信済広告の配信実績を示す配信実績データを使用して学習した広告効果推定用学習済モデル３０Ｍを使用して顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。これにより、画像生成プログラム１００は、実際に配信され、高い広告効果を示した広告の特徴を踏まえて、更に高い広告効果を期待できる顔画像を示す顔画像データを生成することができる。

【0065】

また、画像生成プログラム１００は、マルチモーダルモデルである広告効果推定用学習済モデル３０Ｍを利用して、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。これにより、画像生成プログラム１００は、様々な観点から顔画像の広告効果指標を推定することができる広告効果推定用学習済モデル３０Ｍを利用して、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を更に正確に推定することができる。

【0066】

また、画像生成プログラム１００は、広告効果指標データに加え、広告のターゲティング設計に基づいて、顔画像データを生成する。これにより、画像生成プログラム１００は、広告媒体、広告主等のニーズに応じたターゲティング設計ごとに、より高い広告効果が期待できるクリエイティブの素材となる人物の顔画像を多数生成することができる。

【0067】

また、画像生成プログラム１００は、体画像生成機能１０３と、画像組合せ機能１０４とを画像生成装置１０に実現させる。体画像生成機能１０３は、顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する。画像組合せ機能１０４は、顔画像データにより示される顔画像と体画像データにより示される体画像とを組み合わせて広告に使用される画像を生成する。これにより、画像生成プログラム１００は、人物の顔だけではなく、体まで含んでいるクリエイティブの素材となる人物の画像を生成することができる。

【0068】

また、画像生成プログラム１００は、広告のターゲティング設計に基づいて、体画像データを生成する。これにより、画像生成プログラム１００は、広告媒体、広告主等のニーズに応じたターゲティング設計ごとに、より高い広告効果が期待できるクリエイティブの素材となる人物の顔及び体を描出している画像を多数生成することができる。

【0069】

なお、上述した実施形態では、図２に示した顔画像生成機能１０１、広告効果推定機能１０２及び体画像生成機能１０３が画像生成プログラム１００を読み出して実行するプロセッサ１１により実現される場合を例に挙げて説明したが、これに限定されない。

【0070】

図２に示した顔画像生成機能１０１、広告効果推定機能１０２及び体画像生成機能１０３の少なくとも一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等の回路部（circuitry）を含むハードウェアにより実現されてもよい。或いは、図２に示した顔画像生成機能１０１、広告効果推定機能１０２及び体画像生成機能１０３の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。

【0071】

また、上述した実施形態では、画像生成装置１０と、機械学習装置２０と、機械学習装置３０とが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これら三つの装置のうちの少なくとも二つの装置が一つの装置として実現されていてもよい。

【0072】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つを加えることができる。

【符号の説明】

【0073】

１…画像生成システム、１０…画像生成装置、１１…プロセッサ、１２…主記憶装置、１３…通信インターフェース、１４…補助記憶装置、１５…入出力装置、１００…画像生成プログラム、１０１…顔画像生成機能、１０２…広告効果推定機能、１０３…体画像生成機能、１０４…画像組合せ機能、２０，３０…機械学習装置、２０Ｍ…顔画像用学習済モデル、３０Ｍ…広告効果推定用学習済モデル、８０１…キーボード、８０２…マウス、９００…ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】