特許 7573239 プログラム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-17

(45)【発行日】2024-10-25

(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G06T 11/80 20060101AFI20241018BHJP

   G06T 7/00 20170101ALI20241018BHJP

【ＦＩ】

G06T11/80 D

G06T7/00 350B

【請求項の数】 17

(21)【出願番号】P 2021027695

(22)【出願日】2021-02-24

(65)【公開番号】P2022129123

(43)【公開日】2022-09-05

【審査請求日】2023-11-14

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 ２年 ５月２２日に、Ｃｏｎｆｉｔの２０２０年度 人工知能学会全国大会（第３４回）のウェブサイトにて公開（ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓａｉ２０２０／ｓｕｂｊｅｃｔ／１Ｍ３－ＧＳ－１３－０２／ａｄｖａｎｃｅｄ） 令和 ２年 ６月 ９日に、２０２０年度 人工知能学会全国大会（第３４回）にて公開（ｈｔｔｐｓ：／／ｗｗｗ．ａｉ－ｇａｋｋａｉ．ｏｒ．ｊｐ／ｊｓａｉ２０２０／） 令和 ２年 ６月２０日に、ＰＬＵＧ ＡＩのウェブサイトで公開（ｈｔｔｐｓ：／／ｈｐ．ｐａｃｋａｇｅ－ａｉ．ｊｐ／）

(73)【特許権者】

【識別番号】309035899

【氏名又は名称】株式会社プラグ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】坂元 英樹

【審査官】佐田 宏史

(56)【参考文献】

【文献】特許第６８２９５０２（ＪＰ，Ｂ１）

【文献】特開２０１８－１９５０７８（ＪＰ，Ａ）

【文献】特開２０１９－０３２７７３（ＪＰ，Ａ）

【文献】稲垣 宗彦，“アサヒグループ、ＡＩで“客観的な”パッケージをデザイン”，ＮＩＫＫＥＩ ＤＥＳＩＧＮ，日本，日経ＢＰ，2020年07月24日，pp.18-19

【文献】Brian Quanz et al.，"Machine learning based co-creative design framework"，arXiv，米国，CORNELL UNIVERSITY，2020年01月23日，pp.1-16，https://arxiv.org/abs/2001.08791

【文献】Othman Sbai et al.，"Design Inspiration from Generative Networks"，arXiv，米国，CORNELL UNIVERSITY，2018年09月14日，pp.1-21，https://arxiv.org/abs/1804.00921

【文献】Tero Karras et al.，"A Style-Based Generator Architecture for Generative Adversarial Networks"，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2019年06月15日，pp.4396-4405

【文献】“キマルＡＩ －パッケージデザインＡＩ最適化サービス－”，ｄｏｃｏｍｏ Ｏｐｅｎ Ｈｏｕｓｅ ２０２１ ［ｏｎｌｉｎｅ］ ，日本，DOCOMO InsightMarketing INC，2021年02月04日，pp.1-17

【文献】“生活者の好む「組み合わせ」をAI・最適化技術と人間の評価で見つける～デザイン・マーケティング領域でのAI活用事例”，知るギャラリー，日本，INTAGE Inc.，2020年02月17日，https://gallery.intage.co.jp/seikatsushadb-7/

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０，１１／８０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

候補となるパッケージ画像に含まれるデザイン要素数、及び、デザイン数を受け付け、
受け付けたデザイン要素数のデザイン要素を選択するためのデザイン要素選択欄を出力し、
各デザイン要素選択欄に対応付けて、受け付けたデザイン数のデザインを選択するためのデザイン選択欄を出力し、
前記候補となるパッケージ画像を複数生成し、
パッケージ画像を入力した場合に、前記パッケージ画像の好意度に関する情報を出力するよう学習済みの第１学習モデルに、生成した複数のパッケージ画像を前記第１学習モデルに入力して、各パッケージ画像の好意度に関する情報を出力し、
出力された好意度に関する情報に基づいて、前記複数のパッケージ画像から提案すべきパッケージ画像を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記パッケージ画像に含まれる複数のデザイン要素について、複数のデザインが登録されており、
各デザイン要素に対するデザインを組み替えることにより、前記候補となるパッケージ画像を複数生成する
処理を実行させる請求項１に記載のプログラム。

【請求項3】

好意度が高いパッケージ画像を複数取得し、
取得した複数のパッケージ画像に含まれる複数のデザイン要素のデザインを、遺伝的アルゴリズムに基づき組み替えて、次世代の候補となるパッケージ画像を複数生成する
処理を実行させる請求項１又は２に記載のプログラム。

【請求項4】

提案すべき各パッケージ画像、前記パッケージ画像のＩＤ及び前記パッケージ画像の好意度に関する情報を出力し、
出力したパッケージ画像に対して、さらに生成要求を受け付けた場合に、次世代の候補となるパッケージ画像を複数生成する
処理を実行させる請求項１から３のいずれか一つに記載のプログラム。

【請求項5】

元画像となる基本パッケージ画像、及び、スタイル変換を行うための複数のスタイル画像を取得し、
基本パッケージ画像及びスタイル画像に基づきパッケージ画像を生成するよう学習済みの生成モデルに、取得した前記基本パッケージ画像、及び、各前記スタイル画像を入力して、前記候補となるパッケージ画像を複数生成する
処理を実行させる請求項１から４のいずれか一つに記載のプログラム。

【請求項6】

スタイルの選択を受け付け、
受け付けたスタイルに対応する複数のスタイル画像を出力し、
出力した複数のスタイル画像から、複数の対象となるスタイル画像の選択を受け付け、
前記基本パッケージ画像、及び、受け付けた複数のスタイル画像を前記生成モデルに入力して、候補となる複数のパッケージ画像を生成する
処理を実行させる請求項５に記載のプログラム。

【請求項7】

候補となる各パッケージ画像、前記パッケージ画像のＩＤ及び前記パッケージ画像の好意度に関する情報を出力する
処理を実行させる請求項５又は６に記載のプログラム。

【請求項8】

前記生成モデルは、畳み込み層を有する合成ネットワーク部が複数連結された合成ネットワークを有し、
選択された前記合成ネットワーク部に前記スタイル画像に関する情報を入力して、パッケージ画像を生成する
処理を実行させる請求項５から７のいずれか一つに記載のプログラム。

【請求項9】

前記第１学習モデルが出力した各パッケージ画像の好意度の加重平均値に基づき、好意度の加重平均値が高いパッケージ画像を出力する
処理を実行させる請求項１から８のいずれか一つに記載のプログラム。

【請求項10】

商品のカテゴリ毎に設定されたスコアを取得し、
取得した前記スコアと、前記複数の候補となるパッケージ画像とを前記第１学習モデルに入力して、各パッケージ画像の好意度に関する情報を出力し、
出力された好意度に関する情報に基づいて、前記複数の候補となるパッケージ画像から提案すべきパッケージ画像を出力する
処理を実行させる請求項１から９のいずれか一つに記載のプログラム。

【請求項11】

前記パッケージ画像を入力した場合に前記パッケージ画像のイメージワードの出現割合を出力するよう学習済みの第２学習モデルに、前記複数の候補となるパッケージ画像を入力して各パッケージ画像のイメージワードの出現割合を出力する
処理を実行させる請求項１から１０のいずれか一つに記載のプログラム。

【請求項12】

前記パッケージ画像を入力した場合に前記パッケージ画像の好意度の標準偏差を出力するよう学習済みの第３学習モデルに、前記複数の候補となるパッケージ画像を入力して各パッケージ画像の好意度の標準偏差を出力する
処理を実行させる請求項１から１１のいずれか一つに記載のプログラム。

【請求項13】

候補となるパッケージ画像に含まれるデザイン要素数、及び、デザイン数を受け付け、
受け付けたデザイン要素数のデザイン要素を選択するためのデザイン要素選択欄を出力し、
各デザイン要素選択欄に対応付けて、受け付けたデザイン数のデザインを選択するためのデザイン選択欄を出力し、
前記候補となるパッケージ画像を複数生成し、
パッケージ画像を入力した場合に、前記パッケージ画像の好意度に関する情報を出力するよう学習済みの第１学習モデルに、生成した複数のパッケージ画像を前記第１学習モデルに入力して、各パッケージ画像の好意度に関する情報を出力し、
出力された好意度に関する情報に基づいて、前記複数のパッケージ画像から提案すべきパッケージ画像を出力する
処理をコンピュータが実行する情報処理方法。

【請求項14】

制御部を備える情報処理装置であって、
前記制御部は、
候補となるパッケージ画像に含まれるデザイン要素数、及び、デザイン数を受け付け、
受け付けたデザイン要素数のデザイン要素を選択するためのデザイン要素選択欄を出力し、
各デザイン要素選択欄に対応付けて、受け付けたデザイン数のデザインを選択するためのデザイン選択欄を出力し、
前記候補となるパッケージ画像を複数生成し、
パッケージ画像を入力した場合に、前記パッケージ画像の好意度に関する情報を出力するよう学習済みの第１学習モデルに、生成した複数のパッケージ画像を前記第１学習モデルに入力して、各パッケージ画像の好意度に関する情報を出力し、
出力された好意度に関する情報に基づいて、前記複数のパッケージ画像から提案すべきパッケージ画像を出力する
情報処理装置。

【請求項15】

設定されたデザイン要素数のデザイン要素の選択を受け付け、
受け付けた各デザイン要素に対応付けて、設定されたデザイン数のデザインの選択を受け付け、
受け付けたデザイン要素に対するデザインを送信し、
前記デザイン要素に対するデザインを組み替えて生成された複数の候補となるパッケージ画像から、前記パッケージ画像の好意度に関する情報に基づいて抽出された複数のパッケージ画像を取得し、
取得した候補となる各パッケージ画像、前記パッケージ画像のＩＤ及び前記パッケージ画像の好意度に関する情報を表示し、
表示したパッケージ画像に対して、さらに次世代の候補となるパッケージ画像の生成要求を受け付けた場合に、受け付けた生成要求を送信する
処理をコンピュータに実行させるプログラム。

【請求項16】

元画像となる基本パッケージ画像の選択を受け付け、
スタイルの選択を受け付け、
受け付けたスタイルに対応する複数のスタイル画像を取得し、
取得した複数のスタイル画像から、複数の対象となるスタイル画像の選択を受け付け、
受け付けた基本パッケージ画像、及び複数の対象となるスタイル画像を送信し、
前記基本パッケージ画像及び前記対象となるスタイル画像に基づいて生成された複数の候補となるパッケージ画像を取得し、
取得した候補となる各パッケージ画像、前記パッケージ画像のＩＤ及び前記パッケージ画像の好意度に関する情報を表示する
処理を実行させる請求項１５に記載のプログラム。

【請求項17】

商品のカテゴリ毎に設定されたスコアを取得し、
候補となるパッケージ画像を複数生成し、
スコアと、パッケージ画像とを入力した場合に、前記パッケージ画像の好意度に関する情報を出力するよう学習済みの第１学習モデルに、取得した前記スコアと、生成した複数のパッケージ画像とを前記第１学習モデルに入力して、各パッケージ画像の好意度に関する情報を出力し、
出力された好意度に関する情報に基づいて、前記複数のパッケージ画像から提案すべきパッケージ画像を出力する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

従来、デザインを評価する際に、評価対象となる第１デザインの第１特徴量を抽出し、抽出された第１特徴量に基づいて、第１デザインと、既存の複数の第２デザインの各々との類似度を算出し、算出された類似度と、予め取得された第２デザインの各々に対する顧客の感想を示す情報に基づいて、第１デザインに対する顧客の感想を予想する評価装置が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１９５０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、適切にパッケージ画像を提案することができないおそれがある。

【0005】

一つの側面では、適切にパッケージ画像を提案することが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、候補となるパッケージ画像に含まれるデザイン要素数、及び、デザイン数を受け付け、受け付けたデザイン要素数のデザイン要素を選択するためのデザイン要素選択欄を出力し、各デザイン要素選択欄に対応付けて、受け付けたデザイン数のデザインを選択するためのデザイン選択欄を出力し、前記候補となるパッケージ画像を複数生成し、パッケージ画像を入力した場合に、前記パッケージ画像の好意度に関する情報を出力するよう学習済みの第１学習モデルに、生成した複数のパッケージ画像を前記第１学習モデルに入力して、各パッケージ画像の好意度に関する情報を出力し、出力された好意度に関する情報に基づいて、前記複数のパッケージ画像から提案すべきパッケージ画像を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、適切にパッケージ画像を提案することが可能となる。

【図面の簡単な説明】

【0008】

【図1】パッケージ画像提案システムの概要を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】端末の構成例を示すブロック図である。

【図4】提案すべきパッケージ画像を出力する動作を説明する説明図である。

【図5】好意度予測モデルを説明する説明図である。

【図6】デザイン数及びデザイン要素数の受付画面の一例を示す説明図である。

【図7】デザイン要素の登録画面の一例を示す説明図である。

【図8】提案すべきパッケージ画像の表示画面の一例を示す説明図である。

【図9】提案すべきパッケージ画像を出力する際の処理手順を示すフローチャートである。

【図10】提案すべきパッケージ画像を出力する際の処理手順を示すフローチャートである。

【図11】スコアを用いて学習させる好意度予測モデルを説明する説明図である。

【図12】実施形態２のサーバの構成例を示すブロック図である。

【図13】ＳｔｙｌｅＧＡＮの構成を概念的に示す構成図である

【図14】基本パッケージ画像の受付画面の一例を示す説明図である。

【図15】スタイル画像の受付画面の一例を示す説明図である。

【図16】パッケージ画像生成の確定画面の一例を示す説明図である。

【図17】パッケージ画像の表示画面の一例を示す説明図である。

【図18】スタイル画像を用いてパッケージ画像を生成する際の処理手順を示すフローチャートである。

【図19】実施形態３のサーバの構成例を示すブロック図である。

【図20】出現割合予測モデルを説明する説明図である。

【図21】実施形態４のサーバの構成例を示すブロック図である。

【図22】標準偏差予測モデルを説明する説明図である。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、候補となるパッケージ画像を複数生成し、パッケージ画像の好意度に関する情報に基づいて、生成した複数のパッケージ画像から提案すべきパッケージ画像を出力する形態に関する。図１は、パッケージ画像提案システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び情報処理端末２を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0011】

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。

【0012】

情報処理端末２は、提案すべきパッケージ画像の受信及び表示、並びに、該パッケージ画像の記憶（保存）等を行う端末装置である。情報処理端末２は、例えばスマートフォン、携帯電話、タブレット、パーソナルコンピュータ端末等の情報処理機器である。以下では簡潔のため、情報処理端末２を端末２と読み替える。

【0013】

本実施形態に係るサーバ１は、複数のデザイン要素に対するデザインを組み替えることにより、候補となるパッケージ画像を複数生成する。サーバ１は、生成した複数のパッケージ画像を好意度予測モデルに入力して、各パッケージ画像の好意度に関する情報を出力する。サーバ１は、出力した各パッケージ画像の好意度に関する情報に基づいて、複数の候補となるパッケージ画像から、提案すべきパッケージ画像を抽出する。サーバ１は、抽出した提案すべきパッケージ画像を端末２に送信する。

【0014】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

【0015】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0016】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、端末２との間で情報の送受信を行う。

【0017】

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

【0018】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0019】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、好意度予測モデル１７１を含む。好意度予測モデル１７１は、パッケージ画像に基づいて該パッケージ画像の好意度に関する情報を予測する予測器であり、機械学習により生成された学習済みモデルである。

【0020】

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はサーバ１に接続された外部記憶装置であっても良い。

【0021】

サーバ１はコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良いし、仮想マシンで分散して実行しても良い。

【0022】

図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５及び撮影部２６を含む。各構成はバスＢで接続されている。

【0023】

制御部２１はＣＰＵ、ＭＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐを読み出して実行することにより、端末２に係る種々の情報処理、制御処理等を行う。なお、図３では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0024】

通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、サーバ１と情報の送受信を行う。入力部２４は、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。

【0025】

撮影部２６は、例えばＣＣＤ(Charge Coupled Device)カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮影装置である。なお、撮影部２６は、複数の撮影装置により構成されても良い。なお、撮影部２６は端末２の中に内蔵せず、外部で直接に端末２と接続し、撮影可能な構成としても良い。

【0026】

なお、端末２はサーバ１の機能を有しても良い。

【0027】

図４は、提案すべきパッケージ画像を出力する動作を説明する説明図である。先に、候補となるパッケージ画像を生成する処理を説明する。本実施形態では、サーバ１が遺伝的アルゴリズムを用いて、パッケージ画像に含まれる複数のデザイン要素に対して交叉処理及び突然変異処理を行い、候補となるパッケージ画像を複数生成する。遺伝的アルゴリズムは、進化論的な考え方に基づいてデータを操作し、最適解探索、学習または推論を行う進化型計算手法である。

【0028】

サーバ１は、パッケージデザイン毎に複数のデザイン要素の要素名及び要素画像を端末２から取得する。パッケージデザインは、食品・飲料・日用品をはじめとした包装・容器のデザインである。デザイン要素は、パッケージデザインを構成する各種デザインの要素である。例えば、飲料容器の場合、背景、キャップ、容量表示のフォントまたはロゴ等がデザイン要素となる。

【0029】

サーバ１は、取得した複数のデザイン要素を連結して二進数表現する。そして、連結したものを１つの染色体とし、その染色体が１つの個体を表すものとする。こうして表した個体に対して遺伝的アルゴリズム（genetic algorithm）を適用する。交叉処理については、サーバ１は、受信した複数のデザイン要素に対し、例えばランダムに二つのデザイン要素を交叉することを複数回行い、結果的に複数個の交叉後の候補デザイン要素を生成する。

【0030】

突然変異処理については、受信した複数のデザイン要素と共に、上述した交叉処理にて生成された複数の候補デザイン要素の中から、例えばランダムに単一または複数のデザイン要素を選択する。例えばサーバ１は、３つのデザイン要素をランダムに選択し、選択した３つのデザイン要素におけるそれぞれの遺伝子配列の１点を変化させることを実行し、３つの突然変異後の候補デザイン要素を生成する。

【0031】

このように、サーバ１は、複数のデザイン要素を交叉処理及び突然変異処理を行い、候補となるパッケージ画像を複数生成する。なお、本実施形態では、遺伝的アルゴリズムを用いる例を説明するが、これに限るものではない。例えば、ランダムにデザイン要素を変更する等、他の手法を用いても良い。

【0032】

次に、サーバ１は、生成した各候補となるパッケージ画像の好意度に関する情報を利用して、各パッケージ画像（個体）を評価する。好意度に関する情報は、好意度が最大５（好き）から最小１（嫌い）までに分類されるスコア、または好意度のスコアを最大５から最小１までの加重平均値を含む。具体的には、サーバ１は、生成したそれぞれのパッケージ画像を学習済みの好意度予測モデル１７１に入力して、それぞれのパッケージ画像の好意度に関する情報を出力する。なお、好意度予測モデル１７１を用いる好意度に関する情報の出力処理に関しては後述する。

【0033】

サーバ１は、出力した好意度に関する情報に基づいて、各パッケージ画像（個体）を評価する。例えば、好意度の加重平均値の降順に上位からＮ番目（例えば、２０）までのパッケージ画像を最も好意度の高い個体として評価しても良く、または、好意度の加重平均値が所定閾値以上であるパッケージ画像を最も好意度の高い個体として評価しても良い。サーバ１は、好意度が低いと判定したパッケージ画像を破棄する。サーバ１は、好意度が高いと判定したパッケージ画像（生き残った個体）を、提案すべきパッケージ画像として抽出する。

【0034】

サーバ１は、抽出した提案すべきパッケージ画像を第１世代のパッケージ画像として端末２に送信する。端末２は、サーバ１から送信された第１世代のパッケージ画像を受信して表示する。端末２は、第１世代のパッケージ画像に基づく第２世代のパッケージ画像の生成要求を受け付けた場合、第２世代のパッケージ画像の生成要求をサーバ１に送信する。サーバ１は、端末２から送信された第２世代のパッケージ画像の生成要求に応じて、第１世帯のパッケージ画像に基づいて、各パッケージ画像に含まれる複数のデザイン要素に対して交叉処理及び突然変異処理を再度行い、候補となるパッケージ画像を生成する。

【0035】

そして、サーバ１は、パッケージ画像の好意度に基づいて、生成された各候補となるパッケージ画像を再度評価する。サーバ１は、好意度が高いと判定した候補となるパッケージ画像を、提案すべきパッケージ画像として抽出する。サーバ１は、抽出した提案すべきパッケージ画像を第２世代のパッケージ画像として端末２に送信する。

【0036】

このように、サーバ１は、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行うことにより、ユーザが満足する最終的な世代（例えば、第５世代）のパッケージ画像が決定されるまで繰り返す。このようにパッケージ画像処理を行うことにより、パッケージ画像の表示様態をユーザの好みに近づけた、即ちユーザにとって好意度が高いパッケージ画像を生成することが可能となる。

【0037】

続いて、好意度予測モデル１７１を用いる好意度に関する情報の出力処理を説明する。 図５は、好意度予測モデル１７１を説明する説明図である。好意度予測モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。好意度予測モデル１７１は、パッケージ画像を入力とし、該パッケージ画像の好意度に関する情報を出力とするニューラルネットワークを構築済みの好意度に関する情報の予測器である。

【0038】

サーバ１は、好意度予測モデル１７１として、パッケージ画像の好意度に影響を及ぼす箇所の特徴量を学習するディープラーニングを行うことで好意度予測モデル１７１を構築（生成）する。例えば、好意度予測モデル１７１はＣＮＮ（Convolution Neural Network）であり、パッケージ画像の入力を受け付ける入力層と、該パッケージ画像の好意度に関する情報を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0039】

入力層は、パッケージ画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、パッケージ画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。具体的には、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、パッケージ画像の画素情報を圧縮しながら最終的にパッケージ画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、パッケージ画像の好意度に関する情報を予測する。予測結果は、ニューロンを有する出力層に出力される。

【0040】

なお、パッケージ画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

【0041】

本実施形態では、好意度予測モデル１７１として、ＲｅｓＮｅｔ５０（Residual Network50）のネットワーク構造を適用しても良い。ＲｅｓＮｅｔ５０は、５０層を持ったＣＮＮのモデルである。なお、上述したＲｅｓＮｅｔ５０の代わりに、例えばＶＧＧ１６、ＩｎｃｅｐｔｉｏｎＶ３、ＤｅｎｓｅＮｅｔ、ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔＶ２等が用いられても良い。

【0042】

なお、本実施の形態では好意度予測モデル１７１がＣＮＮであるものとして説明するが、好意度予測モデル１７１はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルであって良い。

【0043】

サーバ１は、パッケージ画像と、該パッケージ画像の好意度とが対応付けられた訓練データの組み合わせを複数取得する。訓練データは、パッケージ画像に対し、該パッケージ画像の好意度の加重平均値がラベル付けされたデータである。なお、本実施形態では、好意度が最大５（好き）から最小１（嫌い）までの５段階に分類された例を説明したが、これに限るものではない。好意度が実際のニーズに合わせて設けられても良い。

【0044】

なお、本実施形態では、予め記憶された訓練データを取得した例を説明したが、これに限るものではない。例えばサーバ１は、複数のパッケージ画像において、それぞれのパッケージ画像の好意度の加重平均値をラベリングすることで、好意度を学習するための訓練データを生成しても良い。具体的には、サーバ１は、１つのパッケージ画像に対して複数人による回答の好意度を、最大５から最小１までの５段階で取得する。サーバ１は、取得した複数人による回答の好意度の加重平均値を算出する。サーバ１は、パッケージ画像に対し、複数人の該パッケージ画像の好意度の加重平均値をラベル付けすることにより訓練データを作成する。

【0045】

例えば、パッケージ画像Ａに対して、１０人による好意度の回答が取得された場合、３人が好意度５を回答し、５人が好意度４を回答し、２人が好意度３を回答する。サーバ１は、パッケージ画像Ａに対する好意度の回答に基づいて、好意度の加重平均値を算出する。算出された好意度の加重平均値は「４．１」（(5×3 + 4×5 + 3×2 + 2×0 + 1×0）/10）である。サーバ１は、パッケージ画像Ａに対し、「４．１」となった好意度の加重平均値をラベル付けする。

【0046】

サーバ１は、取得した訓練データを用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パッケージ画像の好意度に関する情報を取得する。好意度に関する情報は、好意度の確からしさを示す確率（尤度）値、または好意度の加重平均値を含む。図５では、好意度の加重平均値の例を説明する。図示のように、出力層から出力される予測結果は、好意度（好意度５から好意度１まで）の加重平均値である。

【0047】

サーバ１は、出力層から出力された予測結果を、訓練データにおいてパッケージ画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、サーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0048】

サーバ１は、訓練データに含まれる各パッケージ画像について上記の処理を行い、好意度予測モデル１７１を生成する。これにより、例えばサーバ１は当該訓練データを用いて好意度予測モデル１７１の学習を行うことで、パッケージ画像の好意度に関する情報を出力可能なモデルを構築することができる。

【0049】

サーバ１は、遺伝的アルゴリズムに基づいて生成した候補となるパッケージ画像を取得した場合、取得したパッケージ画像を好意度予測モデル１７１に入力する。サーバ１は、好意度予測モデル１７１の中間層にてパッケージ画像の特徴量を抽出する演算処理を行う。サーバ１は、抽出した特徴量を好意度予測モデル１７１の出力層に入力して、パッケージ画像の好意度に関する情報を出力として取得する。図示のように、好意度の加重平均値は出力層から出力される。好意度の加重平均値は「３．８４」である。なお、算出された好意度の加重平均値に対して四捨五入、切り上げ、又は切り捨て等により補正されても良い。

【0050】

なお、上述した例では、好意度の加重平均値を予測結果として出力したが、これに限るものではない。例えば、各々の好意度を示す確率値そのものを予測結果として出力しても良い。例えば、パッケージ画像に対し、「好意度５」、「好意度４」、「好意度３」、「好意度２」、「好意度１」それぞれの確率値が、「０．０５」、「０．８５」、「０．０３」、「０．０３」、「０．０４」である予測結果が出力層から出力される。また、所定閾値を利用して予測結果を出力しても良い。例えばサーバ１は、「好意度４」の確率値（０．８５）が所定閾値（例えば、０．８０）以上であると判定した場合、パッケージ画像の好意度が「好意度４」である予測結果を出力する。なお、上述した閾値を利用せず、好意度予測モデル１７１が予測した各々の好意度の確率値から、最も高い確率値に対応する好意度を予測結果として出力しても良い。

【0051】

なお、好意度に関する情報の予測処理は、上述した機械学習により予測処理に限るものではない。例えば、Ａ－ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＨＯＧ(Histograms of Oriented Gradients)等の局所特徴量抽出方法を用いて好意度に関する情報を予測しても良い。

【0052】

また、性別または年代ごとに好意度予測モデル１７１を生成することができる。具体的には、サーバ１は、性別または年代の設定を受け付け、受け付けた性別または年代に応じて、好意度予測モデル１７１の生成に用いる訓練データを複数取得する。サーバ１は、取得した訓練データを用いて、受け付けた性別または年代に対応する好意度予測モデル１７１を生成する。

【0053】

サーバ１は、性別または年代ごとに生成した好意度予測モデル１７１を大容量記憶部１７に記憶する。サーバ１は、複数の性別または年代に対して用意された複数の好意度予測モデル１７１を用いて、性別または年代ごとにパッケージ画像の好意度に関する情報を出力することができる。

【0054】

また、各性別または年代に対応して用意された複数の好意度予測モデル１７１から出力された好意度に関する情報に基づき、全体（全性別及び全年代）の好意度に関する情報を出力することができる。全体は、例えば２０代男性、２０代女性、３０代男性、３０代女性、４０代男性、４０代女性、５０代男性及び５０代女性を含む。

【0055】

具体的には、サーバ１は、各性別及び年代に対応して用意された複数の好意度予測モデル１７１それぞれを大容量記憶部１７から取得する。サーバ１は、取得したそれぞれの好意度予測モデル１７１にパッケージ画像を入力し、各性別及び年代に対応するパッケージ画像の好意度の加重平均値を出力する。サーバ１は、出力した各性別及び年代に対応するパッケージ画像の好意度の加重平均値に基づき、好意度の加重平均値の平均値を算出する。サーバ１は、算出した加重平均値の平均値を全体の好意度として出力する。

【0056】

図６は、デザイン数及びデザイン要素数の受付画面の一例を示す説明図である。該画面は、デザイン数入力欄１１ａ、デザイン要素数入力欄１１ｂ及び進むボタン１１ｃを含む。デザイン数入力欄１１ａは、デザイン（デザイン案）の数を入力するテキストフィールドである。デザイン要素数入力欄１１ｂは、デザイン要素の数を入力するテキストフィールドである。なお、デザイン数及びデザイン要素数それぞれが最大１０である例示しているが、これに限るものではない。なお、デザイン数及びデザイン要素数に関しては、ユーザの入力に限定せず、予め決められても良い。

【0057】

進むボタン１１ｃは、後述するデザイン要素の登録画面（図７）に遷移するボタンである。端末２は、進むボタン１１ｃのタッチ（クリック）操作を受け付けた場合、デザイン数入力欄１１ａにより入力されたデザイン数、及びデザイン要素数入力欄１１ｂにより入力されたデザイン要素数をサーバ１に送信する。サーバ１は、端末２から送信されたデザイン数及びデザイン要素数に応じて、デザイン要素の登録画面を生成して端末２に送信する。端末２は、サーバ１から送信されたデザイン要素の登録画面を受信し、受信したデザイン要素の登録画面に遷移する。

【0058】

図７は、デザイン要素の登録画面の一例を示す説明図である。該画面は、デザイン要素選択欄１２ａ、デザイン選択欄１２ｂ及び登録ボタン１２ｃを含む。サーバ１は、端末２から送信されたデザイン要素数に応じて、デザイン要素数のデザイン要素を選択するためのデザイン要素選択欄１２ａを生成する。サーバ１は、生成したデザイン要素選択欄１２ａに対応付けて、端末２から送信されたデザイン数に応じて、デザイン数のデザインを選択するためのデザイン選択欄１２ｂを生成する。

【0059】

デザイン要素選択欄１２ａは、要素名入力欄１２ａ１及び要素種類選択欄１２ａ２を含む。要素名入力欄１２ａ１は、デザイン要素の名称を入力するテキストフィールドである。なお、要素名入力欄１２ａ１に関しては、テキストフィールドに限定せず、予め設けられたデザイン要素の名称に基づいて設定された選択可能なコンボボックスであっても良い。要素種類選択欄１２ａ２は、デザイン要素の種類の選択を受け付けるコンボボックスである。デザイン要素の種類は、テキスト及び非テキスト（テキストではない）を含む。

【0060】

デザイン選択欄１２ｂは、デザイン名入力欄１２ｂ１、要素画像表示欄１２ｂ２、要素画像選択ボタン１２ｂ３、要素画像削除ボタン１２ｂ４及び要素画像名入力欄１２ｂ５を含む。デザイン名入力欄１２ｂ１は、パッケージデザインの名称を入力するテキストフィールドである。要素画像表示欄１２ｂ２は、デザイン要素の要素画像を表示する表示欄である。要素画像選択ボタン１２ｂ３は、要素画像を選択するボタンである。要素画像削除ボタン１２ｂ４は、要素画像を削除するボタンである。要素画像名入力欄１２ｂ５は、要素画像の名称を入力するテキストフィールドである。

【0061】

例えば、図６で受け付けられたデザイン要素数が４である場合、サーバ１は、デザイン要素選択欄１２ａに含まれる要素名入力欄１２ａ１及び要素種類選択欄１２ａ２それぞれを４つ生成する。図６で受け付けられたデザイン数が５である場合、サーバ１は、それぞれの要素名入力欄１２ａ１及び要素種類選択欄１２ａ２に対応付けて、デザイン選択欄１２ｂに含まれるデザイン名入力欄１２ｂ１、要素画像表示欄１２ｂ２、要素画像選択ボタン１２ｂ３、要素画像削除ボタン１２ｂ４及び要素画像名入力欄１２ｂ５それぞれを２０個（４×５）生成する。

【0062】

登録ボタン１２ｃは、デザイン要素選択欄１２ａ及びデザイン選択欄１２ｂにより設定された複数のデザイン要素に対するデザインをサーバ１に登録するボタンである。

【0063】

端末２は、要素名入力欄１２ａ１の入力操作を受け付けた場合、デザイン要素の名称の入力を受け付ける。端末２は、要素種類選択欄１２ａ２の選択操作を受け付けた場合、要素名入力欄１２ａ１により入力されたデザイン要素の名称に対応するデザイン要素の種類の選択を受け付ける。

【0064】

なお、本実施形態では、遺伝的アルゴリズムによるパッケージ画像の生成処理にて、複数のデザイン要素を組み替える際に、種類が「テキスト」であるデザイン要素が重複しないようにルール化される。例えば、「５００ｍｌ」デザイン要素が「テキスト」種類であり、且つ、デザインＡ及びデザインＢの両者どちらともに「５００ｍｌ」が含まれた場合、デザインＡの「５００ｍｌ」デザイン要素とデザインＢの「５００ｍｌ」デザイン要素とを重ねていると、デザインとして成立していないため、該当するケース（状況）は対象外となる。

【0065】

端末２は、デザイン名入力欄１２ｂ１の入力操作を受け付けた場合、パッケージデザインの名称の入力を受け付ける。端末２は、要素画像選択ボタン１２ｂ３のタッチ操作を受け付けた場合、記憶部２２に記憶されている要素画像の選択を受け付ける。端末２は、受け付けた要素画像を要素画像表示欄１２ｂ２に表示する。なお、端末２は、撮影部２６を介して撮影した要素画像を取得しても良い。

【0066】

端末２は、要素画像名入力欄１２ｂ５の入力操作を受け付けた場合、要素画像の名称の入力を受け付ける。端末２は、要素画像削除ボタン１２ｂ４のタッチ操作を受け付けた場合、要素画像表示欄１２ｂ２に表示されている要素画像を削除し、要素画像名入力欄１２ｂ５に入力された要素画像の名称を削除する。

【0067】

端末２は、登録ボタン１２ｃのタッチ操作を受け付けた場合、要素名入力欄１２ａ１により入力されたデザイン要素の名称、要素種類選択欄１２ａ２により選択されたデザイン要素の種類、デザイン名入力欄１２ｂ１により入力されたパッケージデザインの名称、要素画像選択ボタン１２ｂ３により選択された要素画像、及び要素画像名入力欄１２ｂ５により入力された要素画像の名称をサーバ１に送信する。

【0068】

図８は、提案すべきパッケージ画像の表示画面の一例を示す説明図である。なお、図８では、遺伝的アルゴリズムにより生成された第１世代のパッケージ画像を表示する例を説明するが、ほかのパッケージ画像にも同様に適用することができる。該画面は、画像ＩＤ表示欄１３ａ、画像表示欄１３ｂ、好意度表示欄１３ｃ、画像保存ボタン１３ｄ、次世代画像生成ボタン１３ｅ及び切り替えボタン１３ｆを含む。

【0069】

画像ＩＤ表示欄１３ａは、パッケージ画像のＩＤを表示する表示欄である。画像表示欄１３ｂは、パッケージ画像を表示する表示欄である。好意度表示欄１３ｃは、パッケージ画像の好意度に関する情報を表示する表示欄である。即ち、それぞれのパッケージ画像に対し、パッケージ画像のＩＤ、該パッケージ画像及び該パッケージ画像の好意度が同時表示される。

【0070】

画像保存ボタン１３ｄは、パッケージ画像を保存するボタンである。次世代画像生成ボタン１３ｅは、次世代のパッケージ画像を生成するボタンである。なお、図８においては、第２世代のパッケージ画像を生成するボタンを例示しているが、例えば第２世代のパッケージ画像に基づいて第３世代のパッケージ画像を生成した場合、次世代画像生成ボタン１３ｅが第３世代のパッケージ画像を生成するボタンとなる。切り替えボタン１３ｆは、過去に生成された各世代のパッケージ画像を切り替えて表示するボタンである。

【0071】

サーバ１は、図７で端末２を経由して受け付けた複数のデザイン要素を、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行い、候補となるパッケージ画像を複数生成する。例えば、受け付けられたデザイン要素数が４であり、且つ、デザイン数が５である場合、サーバ１は、デザイン要素数とデザイン数との組み合わせに基づいて、５^{（４×２）}枚のパッケージ画像を生成する。サーバ１は、生成した複数のパッケージ画像からランダムに所定数（例えば、５０）のパッケージ画像を抽出する。サーバ１は、抽出したパッケージ画像を候補となるパッケージ画像として出力する。サーバ１は、出力した複数の候補となるパッケージ画像を好意度予測モデル１７１に入力して、各パッケージ画像の好意度に関する情報を出力する。

【0072】

サーバ１は、出力した好意度に関する情報に基づいて、各パッケージ画像を評価する。例えば、好意度の加重平均値が所定閾値以上であるパッケージ画像を最も好意度の高い個体として評価しても良い。サーバ１は、好意度が高いと判定したパッケージ画像を、第１世代のパッケージ画像として抽出する。サーバ１は、抽出した複数のパッケージ画像、並びに、各パッケージ画像のＩＤ及び好意度に関する情報を端末２に送信する。

【0073】

端末２は、サーバ１から送信された複数のパッケージ画像、各パッケージ画像のＩＤ及び好意度に関する情報を受信して画面に表示する。具体的には、端末２は、各パッケージ画像のＩＤを該当する画像ＩＤ表示欄１３ａに表示し、各パッケージ画像を該当する画像表示欄１３ｂに表示し、各パッケージ画像の好意度を該当する好意度表示欄１３ｃに表示する。

【0074】

端末２は、画像保存ボタン１３ｄのタッチ操作を受け付けた場合、複数のパッケージ画像を、指定された画像フォーマットで記憶部２２または外部記憶装置に記憶する。画像フォーマットは、ｂｍｐ、ｔｉｆｆ、ｊｐｇ、ｊｐｅｇ、ｇｉｆ、またはｐｎｇフォーマットのような、任意の適切な画像フォーマットであって良い。

【0075】

端末２は、次世代画像生成ボタン１３ｅのタッチ操作を受け付けた場合、第１世代のパッケージ画像に基づく第２世代のパッケージ画像の生成要求をサーバ１に送信する。端末２は、切り替えボタン１３ｆのタッチ操作を受け付けた場合、生成された各世代のパッケージ画像を切り替えて表示する。例えば端末２は、逐次的な循環順序（第１世代のパッケージ画像、第２世代のパッケージ画像、・・・・・・、第Ｎ世代のパッケージ画像、第１世代のパッケージ画像）で、各世代のパッケージ画像を切り替えて表示しても良い。

【0076】

図９及び図１０は、提案すべきパッケージ画像を出力する際の処理手順を示すフローチャートである。端末２の制御部２１は、ユーザによるデザイン数及びデザイン要素数の入力を入力部２４により受け付ける（ステップＳ２０１）。制御部２１は、受け付けたデザイン数及びデザイン要素数を通信部２３によりサーバ１に送信する（ステップＳ２０２）。

【0077】

サーバ１の制御部１１は、端末２から送信されたデザイン数及びデザイン要素数を通信部１３により受信する（ステップＳ１０１）。制御部１１は、受信したザイン数及びデザイン要素数に応じて、デザイン要素数のデザイン要素を選択するためのデザイン要素選択欄、及び、各デザイン要素選択欄に対応付けてデザイン数のデザインを選択するためのデザイン選択欄を生成する（ステップＳ１０２）。制御部１１は、生成したデザイン要素選択欄及びデザイン選択欄を通信部１３により端末２に送信する（ステップＳ１０３）。

【0078】

端末２の制御部２１は、サーバ１から送信されたデザイン要素選択欄及びデザイン選択欄を通信部２３により受信する（ステップＳ２０３）。制御部２１は、受信したデザイン要素選択欄及びデザイン選択欄を表示部２５により表示する（ステップＳ２０４）。制御部２１は、入力部２４を介して、デザイン要素数のデザイン要素（要素名称及び要素種類等）と、各デザイン要素に対応付けてデザイン数のデザイン（デザイン名称及び要素画像等）との入力を受け付ける（ステップＳ２０５）。

【0079】

制御部２１は、入力部２４を介して、パッケージ画像を評価するための評価条件の設定を受け付ける（ステップＳ２０６）。評価条件は、全体（全性別及び全年代）による評価、性別による評価、年代による評価、性別及び年代（例えば、女性２０代）による評価などの評価条件を含む。なお、全体、性別、年代、性別及び年代のいずれか１つまたは２つ以上を組み合わせたものが評価条件として設定されても良い。

【0080】

制御部２１は、受け付けたデザイン要素に対するデザイン、及び評価条件を通信部２３によりサーバ１に送信する（ステップＳ２０７）。サーバ１の制御部１１は、端末２から送信されたデザイン要素に対するデザイン、及び評価条件を通信部１３により受信する（ステップＳ１０４）。制御部１１は、受信した複数のデザイン要素を、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行い、次世代の候補となるパッケージ画像を複数生成する（ステップＳ１０５）。

【0081】

制御部１１は、受信した評価条件に応じて学習済みの好意度予測モデル１７１を特定する（ステップＳ１０６）。制御部１１は、生成した複数のパッケージ画像を、特定した学習済みの好意度予測モデル１７１に入力して、設定された評価条件に応じて、各パッケージ画像の好意度に関する情報を出力（取得）する（ステップＳ１０７）。

【0082】

制御部１１は、取得した好意度に関する情報に基づいて、複数のパッケージ画像から提案すべきパッケージ画像を抽出する（ステップＳ１０８）。具体的には、制御部１１は、取得した好意度に関する情報に基づいて、各パッケージ画像を評価する。例えば、好意度の加重平均値の降順に上位からＮ番目（例えば、２０）までのパッケージ画像を最も好意度の高い個体として評価しても良い。制御部１１は、好意度が高いと判定したパッケージ画像を、提案すべきパッケージ画像として抽出する。なお、初回抽出された提案すべきパッケージ画像は、第１世代のパッケージ画像とされる。

【0083】

制御部１１は、抽出した提案すべきパッケージ画像、該パッケージ画像のＩＤ及び好意度に関する情報を通信部１３により端末２に送信する（ステップＳ１０９）。端末２の制御部２１は、サーバ１から送信された提案すべきパッケージ画像、該パッケージ画像のＩＤ及び好意度に関する情報を通信部２３により受信する（ステップＳ２０８）。制御部２１は、受信した提案すべきパッケージ画像、該パッケージ画像のＩＤ及び好意度に関する情報を表示部２５により表示する（ステップＳ２０９）。

【0084】

制御部２１は、今回生成された世代のパッケージ画像に基づく次世代のパッケージ画像の生成要求を入力部２４により受け付けた場合（ステップＳ２１０）、今回生成された世代のパッケージ画像から複数のデザイン要素を抽出する（ステップＳ２１１）。そして、制御部２１はステップＳ２０７の処理に戻り、抽出した複数のデザイン要素に対するデザイン、及び評価条件を通信部２３によりサーバ１に送信する。

【0085】

本実施形態によると、遺伝的アルゴリズムを用いたデザイン要素の組合せ最適化により、ユーザが満足する最終的な次世代のパッケージ画像を生成することが可能となる。

【0086】

本実施形態によると、遺伝的アルゴリズムを用いて生成された候補となるパッケージ画像を好意度予測モデル１７１に入力して、該パッケージ画像の好意度に関する情報を出力することが可能となる。

【0087】

本実施形態によると、遺伝的アルゴリズムと好意度予測モデル１７１との両方を併用することにより、遺伝的アルゴリズムに基づいて生成された複数の候補となるパッケージ画像から、好意度が高いパッケージ画像を抽出して提案すべきパッケージ画像として出力することが可能となる。

【0088】

＜変形例１＞
商品のカテゴリ毎に設定されたスコアを用いて学習させた好意度予測モデル１７１に、遺伝的アルゴリズムに基づいて生成された複数の候補となるパッケージ画像を入力して、各パッケージ画像の好意度に関する情報を出力する処理を説明する。

【0089】

商品のカテゴリは、例えばビール、チューハイ・カクテル、炭酸飲料、お茶・紅茶・コーヒー、栄養ドリンク、調味料、カップ麺・袋麺、スープ類、デザート類、常温食品または冷凍食品等を含む。その他、洗剤、仕上げ剤、水筒または化粧品等が商品のカテゴリに含まれても良い。

【0090】

まず、スコアの作成処理を説明する。サーバ１は、商品のカテゴリ毎に、商品を検索するためのブランド名及び企業名の入力を受け付ける。ブランド名及び企業名は、例えば「ブランドＡ 株式会社ＡＡＡ」等である。なお、「ブランド＋企業名」に限定せず、例えば「商品名＋企業名」または「ブランド名＋カテゴリ名」等であっても良い。サーバ１は検索エンジン経由で、受け付けたブランド名及び企業名に対する検索ヒット数を取得する。検索エンジンは、例えばＧＯＯＧＬＥ（登録商標）、またはＹＡＨＯＯ（登録商標）等であっても良い。

【0091】

サーバ１は、取得したブランド名及び企業名に対する検索ヒット数の対数を算出し、算出した検索ヒット数の対数をスコアとして出力する。サーバ１は、商品のカテゴリ内の複数のブランドにおけるスコアの平均値を算出する。サーバ１は、算出したスコアの平均値を商品のカテゴリに対応付けて記憶部１２または大容量記憶部１７に記憶する。

【0092】

次に、スコアを用いて好意度予測モデル１７１を学習させる処理を説明する。
図１１は、スコアを用いて学習させる好意度予測モデル１７１を説明する説明図である。なお、図５と重複する内容については説明を省略する。変形例１の好意度予測モデル１７１は、ＲｅｓＮｅｔ５０のネットワーク構造が適用される。サーバ１は、パッケージ画像及び該パッケージ画像に対応するスコアと、該パッケージ画像の好意度とが対応付けられた訓練データの組み合わせを複数取得する。

【0093】

サーバ１は、取得した訓練データ用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像をＲｅｓＮｅｔ５０の全結合層（ＦＣ）１４ｃを除いたネットワーク１４ａに入力する。ネットワーク１４ａは、パッケージ画像の特徴量を抽出し、抽出したパッケージ画像の特徴量を、バックプロパゲーションによりパラメータが学習された全結合層１４ｃに受け渡す。サーバ１は、該パッケージ画像に対応するスコアを全結合層１４ｂに入力する。全結合層１４ｃは、パッケージ画像の特徴量と、全結合層１４ｂに入力されたスコアとを結合し、結合した情報に基づいてパッケージ画像の好意度に関する情報を予測する。予測結果は、ニューロンを有する出力層に出力される。

【0094】

サーバ１は、出力層から出力された予測結果を、訓練データにおいてパッケージ画像及びスコアに対しラベル付けされた情報、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。これにより、サーバ１は当該訓練データを用いて好意度予測モデル１７１の学習を行うことで、学習させた好意度予測モデル１７１を大容量記憶部１７に更新する。

【0095】

サーバ１は、パッケージ画像及び該パッケージ画像に対応するスコアを取得した場合、取得したパッケージ画像及びスコアを好意度予測モデル１７１に入力して、該パッケージ画像の好意度に関する情報を出力する。

【0096】

なお、上述した処理に限るものではない。商品のカテゴリと、商品のカテゴリ毎に設定されたスコアとを用いて、好意度予測モデル１７１を学習させても良い。この場合、サーバ１は、パッケージ画像をネットワーク１４ａに入力する。ネットワーク１４ａは、パッケージ画像の特徴量を抽出し、抽出したパッケージ画像の特徴量を全結合層１４ｃに受け渡す。サーバ１は、商品のカテゴリを示すラベルと、カテゴリ毎に設定されたスコアとを結合して１つのベクトルにしたベクトル情報を全結合層１４ｂに入力する。カテゴリを示すラベルは、例えばビール、チューハイ・カクテル、その他アルコール、炭酸飲料、お茶・紅茶・コーヒー、インスタント飲料、栄養ドリンク、その他飲料、調味料、カップ麺・袋麺、スープ類、デザート類、常温食品、冷凍食品、冷蔵食品、チョコ・飴・グミ、アイス、スナック菓子、その他菓子、化粧品、シャンプー、医薬品、リップクリーム、衛生用品、ペットフード及び鍋つゆを有する２６種類のラベルであっても良い。なお、上述した２６種類のラベルは一例であり、これに限るものではない。

【0097】

全結合層１４ｃは、パッケージ画像の特徴量と、全結合層１４ｂに入力されたベクトル情報とに基づいてパッケージ画像の好意度に関する情報を予測する。予測結果は、ニューロンを有する出力層に出力される。

【0098】

そして、スコアを用いて学習させた好意度予測モデル１７１を利用して提案すべきパッケージ画像を出力する処理を説明する。サーバ１は、商品のカテゴリ毎に設定されたスコア、及び、遺伝的アルゴリズムに基づいて生成した複数の候補となるパッケージ画像を取得する。サーバ１は、取得したスコアと複数のパッケージ画像とを好意度予測モデル１７１に入力して、各パッケージ画像の好意度に関する情報を出力する。

【0099】

サーバ１は、出力した好意度に関する情報に基づいて、複数の候補となるパッケージ画像から提案すべきパッケージ画像を抽出する。サーバ１は、抽出した提案すべきパッケージ画像を端末２に送信する。端末２は、サーバ１から送信された提案すべきパッケージ画像を受信して表示する。

【0100】

本変形例１によると、商品のカテゴリ毎に設定されたスコアを用いて学習させた好意度予測モデル１７１を用いて、遺伝的アルゴリズムに基づいて生成された候補となるパッケージ画像の好意度に関する情報を出力することが可能となる。

【0101】

本変形例１によると、スコアを用いて学習させた好意度予測モデル１７１を利用することにより、好意度に関する情報の予測精度を向上するため、適当なパッケージ画像を提案することが可能となる。

【0102】

（実施形態２）
実施形態２は、複数のスタイル画像を用いて候補となるパッケージ画像を複数生成する形態に関する。なお、実施形態１と重複する内容については説明を省略する。スタイル画像は、元画像となる基本パッケージ画像と合わせて、特定のスタイル（主題またはテーマ等）に関するパッケージデザインを実現するために使用される画像である。スタイルは、例えば風景、国、文化、季節、海、山、島または街等を含む。

【0103】

図１２は、実施形態２のサーバ１の構成例を示すブロック図である。なお、図２と重複する内容については説明を省略する。大容量記憶部１７には、生成モデル１７２が記憶されている。生成モデル１７２は、ＳｔｙｌｅＧＡＮ（A Style-Based Generator Architecture for Generative Adversarial Networks）の手法を用いて基本パッケージ画像及び複数のスタイル画像を学習することにより、候補となるパッケージ画像を複数生成する生成器であり、機械学習により生成された学習済みモデルである。

【0104】

図１３は、ＳｔｙｌｅＧＡＮの構成を概念的に示す構成図である。ＳｔｙｌｅＧＡＮは、敵対的生成ネットワークＧＡＮ（Generative Adversarial Network）の一種である。ＳｔｙｌｅＧＡＮにより構築された生成器は、マッピングネットワーク（Mapping network）ｆ（以下、「ネットワークｆ」と称する）と合成ネットワーク（Synthesis network）ｇ（以下、「ネットワークｇ」と称する）との２つで構成される。ネットワークｆは、８層の全連結層（ＦＣ）ｆ１からなるニューラルネットから成り、潜在変数（ｚ∈Ｚ）を潜在空間（ｗ∈Ｗ）に非線形変換する（マッピング）。

【0105】

ネットワークｇは、例えば４×４サイズの定数画像から開始し、アップサンプリング処理を繰り返して、例えば最終的な出力となる１０２４×１０２４サイズの画像を生成するネットワークである。ネットワークｇは、１８層から成り、ネットワークｆから出力されたベクトルｗ∈Ｗがネットワークｇの中で１８回参照される。

【0106】

ネットワークｇは、合成ネットワーク部ｇ１が複数連結される。１番目のネットワーク部ｇ１は、定数テンソル（constant tensor）層２０ａ、２つのＡｄａＩＮ層２０ｂ及び畳み込み層（コンボリューション層）２０ｃを含む。２層目からのネットワーク部ｇ１は、アップサンプリング層２０ｄ、２つのＡｄａＩＮ層２０ｂ及び２つの畳み込み層２０ｃを含む。定数テンソル層２０ａは、予め用意された最小解像度のパラメータ（定数テンソル）をネットワークｇに入力する層である。ＡｄａＩＮ層２０ｂは、ネットワークｆで非線形変換から得られたベクトルｗ∈Ｗをスタイルに関する情報として空間データに適用する層である。畳み込み層２０ｃは、例えばサイズ３×３のフィルタを持つ畳み込み層である。アップサンプリング層２０ｄは、画像のアップサンプリング処理を行う層である。

【0107】

サーバ１は、基本パッケージ画像と複数のスタイル画像とを生成モデル１７２に入力した場合、ネットワークｆを通じて、パッケージ画像の生成に用いる潜在変数（ｚ∈Ｚ）を潜在空間（ｗ∈Ｗ）に変換する。サーバ１は、変換した潜在空間（ｗ∈Ｗ）をスタイルに関する情報としてネットワークｇに入力する。サーバ１は、ＡｄａＩＮ層２０ｂを通じて、潜在空間（ｗ∈Ｗ）にアフィン変換をしてＡｄａＩＮ処理を行う。

【0108】

サーバ１は、ＡｄａＩｎ処理により潜在空間（ｗ∈Ｗ）に適用されたスタイルに関する情報に基づいて、畳み込み層２０ｃを通じて、各画素の画素値を畳み込んでスタイル画像の特徴量を抽出する。その後に、サーバ１は、確率的な変動を行うために、ノイズ（noise）を潜在空間（ｗ∈Ｗ）に入力する。上述した処理によって、スタイル画像のスタイルに関する情報を基本パッケージ画像に適応することができる。

【0109】

ネットワークｇは、アップサンプリング層２０ｄを通じてアップサンプリング処理を行うことにより、徐々に生成画像（パッケージ画像）の解像度を上げる。図示のように、解像度は、例えば４×４から順次アップサンプリングし、例えば最終的に１０２４×１０２４になる。これに従い、アップサンプリングを行うことによって、各解像度において異なるスタイルに関する情報を潜在空間（ｗ∈Ｗ）に適用させることで、生成画像（パッケージ画像）のスタイルを制御することができる。

【0110】

これによって、例えば基本パッケージ画像と、１つのスタイル画像とが生成モデル１７２に入力された場合、複数の候補となるパッケージ画像を出力することができる。具体的には、サーバ１は、基本パッケージ画像とスタイル画像とを生成モデル１７２に入力する。サーバ１は、ネットワークｆを通じて、パッケージ画像の生成に用いる潜在変数（ｚ∈Ｚ）を潜在空間（ｗ∈Ｗ）に変換する。サーバ１は、変換した潜在空間（ｗ∈Ｗ）をスタイルに関する情報としてネットワークｇに入力する。

【0111】

サーバ１は、ネットワークｇの複数のネットワーク部ｇ１の選択を受け付ける。ネットワークｇの各ネットワーク部ｇ１は、解像度に基づいて、例えば、４×４から８×８までの低解像度スタイル（Coarse styles）、１６×１６から３２×３２までの中解像度スタイル（Middle styles）、及び６４×６４から１０２４×１０２４までの高解像度（Fine Style）に分類される。例えばサーバ１は、低解像度スタイル、中解像度スタイルまたは高解像度スタイルからいずれかの１つの選択を受け付けても良い。その他、複数のネットワーク部ｇ１の選択を受け付け、異なる複数のパッケージ画像を生成しても良い。

【0112】

サーバ１は、選択された各ネットワーク部ｇ１に、スタイルに関する情報を入力する。スタイルに関する情報が入力された各ネットワーク部ｇ１は、該当する解像度スタイルに応じて得られたスタイルに関する情報を基本パッケージ画像に適応する。

【0113】

具体的には、低解像度スタイルに対応するネットワーク部ｇ１は、低解像度スタイル（４×４～８×８）に応じて得られたスタイルに関する情報を基本パッケージ画像に適応してパッケージ画像を生成する。中解像度スタイルに対応するネットワーク部ｇ１は、中解像度スタイル（１６×１６～３２×３２）に応じて得られたスタイルに関する情報を基本パッケージ画像に適応してパッケージ画像を生成する。高解像度スタイルに対応するネットワーク部ｇ１は、高解像度スタイル（６４×６４～１０２４×１０２４）に応じて得られたスタイルに関する情報を基本パッケージ画像に適応してパッケージ画像を生成する。

【0114】

なお、生成モデル１７２は、ＳｔｙｌｅＧａｎの手法により構築されることに限定せず、例えばＰＧＧＡＮ（Progressive Growing GAN）、ＤＣＧＡＮ（Deep Convolutional GAN）またはＣｙｃｌｅＧＡＮ等の手法により構築されても良い。なお、その他ニューラルスタイル変換を用いても良い。

【0115】

なお、本実施の形態では生成モデル１７２の生成（学習）手法としてＧＡＮを用いるが、生成モデル１７２はＧＡＮに係る学習済みモデルに限定されず、その他ＶＡＥ（Variational Auto Encoder）、Ｕ－ＮＥＴ（Ｕ字型のニューラルネットワーク）等の深層学習、決定木等の学習手法による学習済みモデルであっても良い。

【0116】

サーバ１は、上述した生成モデル１７２を用いて候補となるパッケージ画像を複数生成した場合、パッケージ画像の好意度に基づいて、複数のパッケージ画像から提案すべきパッケージ画像を抽出する。サーバ１は、抽出した提案すべきパッケージ画像を端末２に出力する。なお、提案すべきパッケージ画像の出力処理に関しては、実施形態１と同様であるため、説明を省略する。

【0117】

図１４は、基本パッケージ画像の受付画面の一例を示す説明図である。該画面は、画像表示欄１５ａ、画像選択ボタン１５ｂ、削除ボタン１５ｃ、画像名入力欄１５ｄ及び進むボタン１５ｅを含む。

【0118】

画像表示欄１５ａは、元画像となる基本パッケージ画像を表示する表示欄である。画像選択ボタン１５ｂは、基本パッケージ画像を選択するボタンである。削除ボタン１５ｃは、選択された基本パッケージ画像を削除するボタンである。画像名入力欄１５ｄは、基本パッケージ画像の名称を入力するテキストフィールドである。進むボタン１５ｅは、スタイル画像の受付画面（図１５）に遷移するボタンである。

【0119】

端末２は、画像選択ボタン１５ｂのタッチ操作を受け付けた場合、記憶部２２に記憶されている基本パッケージ画像の選択を受け付ける。端末２は、受け付けた基本パッケージ画像を画像表示欄１５ａに表示する。端末２は、削除ボタン１５ｃのタッチ操作を受け付けた場合、画像表示欄１５ａに表示されている基本パッケージ画像を削除する。

【0120】

端末２は、画像名入力欄１５ｄの入力操作を受け付けた場合、基本パッケージ画像の名称の入力を受け付ける。端末２は、進むボタン１５ｅのタッチ操作を受け付けた場合、画像選択ボタン１５ｂにより選択された基本パッケージ画像、及び画像名入力欄１５ｄにより入力された基本パッケージ画像の名称をスタイル画像の受付画面（図１５）に受け渡し、スタイル画像の受付画面に遷移する。

【0121】

図１５は、スタイル画像の受付画面の一例を示す説明図である。該画面は、スタイル選択コンボボックス１６ａ、画像表示欄１６ｂ、進むボタン１６ｃ及び戻るボタン１６ｄを含む。

【0122】

スタイル選択コンボボックス１６ａは、スタイル（風景、国、文化、季節、海、山、島または街等）を選択するコンボボックスである。画像表示欄１６ｂは、スタイル画像を表示する表示欄である。なお、スタイル毎に、予め選択可能なスタイル画像の枚数（例えば、５枚）は決められても良い。進むボタン１６ｃは、パッケージ画像生成の確定画面（図１６）に遷移するボタンである。戻るボタン１６ｄは、基本パッケージ画像の受付画面（図１４）に遷移するボタンである。

【0123】

端末２は、スタイル選択コンボボックス１６ａの選択操作を受け付けた場合、選択されたスタイルに応じて、該スタイルに対応する複数のスタイル画像を記憶部２２または外部装置から取得する。端末２は、取得したそれぞれのスタイル画像を該当する画像表示欄１６ｂに表示する。図示のように、「風景」スタイルが選択された場合、サーバ１は、「風景」スタイルに対応する５枚のスタイル画像を取得し、取得したそれぞれのスタイル画像を該当する画像表示欄１６ｂに表示する。端末２は、選択対象となるスタイル画像に対応する画像表示欄１６ｂのタッチ操作を受け付けた場合、該当する画像表示欄１６ｂに選択済みとなる状態を示す枠を重畳して表示する。

【0124】

端末２は、進むボタン１６ｃのタッチ操作を受け付けた場合、基本パッケージ画像の受付画面（図１４）から受け渡された基本パッケージ画像及び基本パッケージ画像の名称、並びに、スタイル選択コンボボックス１６ａにより選択されたスタイルの名称、及び画像表示欄１６ｂにより選択された単一または複数のスタイル画像をパッケージ画像生成の確定画面（図１６）に受け渡し、パッケージ画像生成の確定画面に遷移する。端末２は、戻るボタン１６ｄのタッチ操作を受け付けた場合、基本パッケージ画像の受付画面（図１４）に遷移する。

【0125】

図１６は、パッケージ画像生成の確定画面の一例を示す説明図である。該画面は、基本パッケージ画像表示欄１７ａ、スタイル画像表示欄１７ｂ、スタイル表示欄１７ｃ、スタートボタン１７ｄ及び戻るボタン１７ｅを含む。

【0126】

基本パッケージ画像表示欄１７ａは、基本パッケージ画像を表示する表示欄である。スタイル画像表示欄１７ｂは、スタイル画像を表示する表示欄である。スタイル表示欄１７ｃは、スタイルの名称を表示する表示欄である。スタートボタン１７ｄは、候補となるパッケージ画像を生成するボタンである。戻るボタン１７ｅは、スタイル画像の受付画面（図１５）に遷移するボタンである。

【0127】

端末２は、スタイル画像の受付画面（図１５）から受け渡された基本パッケージ画像、スタイルの名称及び該スタイルに応じて選択されたスタイル画像を受け取る。端末２は、受け取った基本パッケージ画像を基本パッケージ画像表示欄１７ａに表示し、スタイルの名称をスタイル表示欄１７ｃに表示し、選択されたスタイル画像をスタイル画像表示欄１７ｂに表示する。

【0128】

端末２は、スタートボタン１７ｄのタッチ操作を受け付けた場合、選択された基本パッケージ画像及びスタイル画像をサーバ１に送信する。サーバ１は、端末２から送信された基本パッケージ画像及びスタイル画像に基づいて、生成モデル１７２を用いて候補となるパッケージを複数生成する。サーバ１は、生成した複数の候補となるパッケージ画像を好意度予測モデル１７１に入力して、各パッケージ画像の好意度に関する情報を出力する。

【0129】

サーバ１は、候補となる各パッケージ画像、各パッケージ画像に対応するＩＤ及び好意度を端末２に送信する。端末２は、サーバ１から送信された各パッケージ画像、各パッケージ画像に対応するＩＤ及び好意度を受信してパッケージ画像の表示画面（図１７）に受け渡し、パッケージ画像の表示画面に遷移する。

【0130】

端末２は、戻るボタン１７ｅのタッチ操作を受け付けた場合、スタイル画像の受付画面（図１５）に遷移する。

【0131】

図１７は、パッケージ画像の表示画面の一例を示す説明図である。該画面は、画像ＩＤ表示欄１８ａ、画像表示欄１８ｂ、好意度表示欄１８ｃ及び画像保存ボタン１８ｄを含む。

【0132】

画像ＩＤ表示欄１８ａは、パッケージ画像のＩＤを表示する表示欄である。画像表示欄１８ｂは、パッケージ画像を表示する表示欄である。好意度表示欄１８ｃは、パッケージ画像の好意度に関する情報を表示する表示欄である。即ち、それぞれのパッケージ画像に対し、パッケージ画像のＩＤ、該パッケージ画像及び該パッケージ画像の好意度が同時表示される。画像保存ボタン１８ｄは、パッケージ画像を保存するボタンである。

【0133】

端末２は、候補となる各パッケージ画像、各パッケージ画像のＩＤ及び好意度をサーバ１から取得して画面に表示する。具体的には、端末２は、各パッケージ画像のＩＤを該当する画像ＩＤ表示欄１８ａに表示し、各パッケージ画像を該当する画像表示欄１８ｂに表示し、各パッケージ画像の好意度を該当する好意度表示欄１８ｃに表示する。

【0134】

端末２は、画像保存ボタン１８ｄのタッチ操作を受け付けた場合、画像表示欄１８ｂに表示されている複数のパッケージ画像を、指定された画像フォーマット（例えば、ｂｍｐ、ｔｉｆｆ、ｊｐｇ、ｊｐｅｇ、ｇｉｆ、またはｐｎｇ）で記憶部２２または外部記憶装置に記憶する。

【0135】

図１８は、スタイル画像を用いてパッケージ画像を生成する際の処理手順を示すフローチャートである。端末２の制御部２１は、基本パッケージ画像の選択を入力部２４により受け付ける（ステップＳ２２１）。制御部２１は、スタイルの選択を入力部２４により受け付ける（ステップＳ２２２）。制御部２１は、受け付けたスタイルに応じて、該スタイルに対応する複数のスタイル画像を記憶部２２から取得する（ステップＳ２２３）。制御部２１は、取得した複数のスタイル画像を表示部２５により表示する（ステップＳ２２４）。

【0136】

制御部２１は、表示されている複数のスタイル画像の中から、変換対象となるスタイル画像の選択を入力部２４により受け付ける（ステップＳ２２５）。制御部２１は、受け付けた基本パッケージ画像、及び変換対象となるスタイル画像を通信部２３によりサーバ１に送信する（ステップＳ２２６）。サーバ１の制御部１１は、端末２から送信された基本パッケージ画像及びスタイル画像を通信部１３により受信する（ステップＳ１２１）。

【0137】

制御部１１は、受信した基本パッケージ画像及びスタイル画像に基づいて、生成モデル１７２を用いて候補となるパッケージ画像を複数生成する（ステップＳ１２２）。制御部１１は、生成した複数のパッケージ画像を好意度予測モデル１７１に入力して、各パッケージ画像の好意度に関する情報を出力（取得）する（ステップＳ１２３）。

【0138】

サーバ１は、候補となる各パッケージ画像、各パッケージ画像に対応するＩＤ及び好意度を通信部１３により端末２に送信する（ステップＳ１２４）。端末２の制御部２１は、サーバ１から送信された各パッケージ画像、各パッケージ画像に対応するＩＤ及び好意度を通信部２３により受信する（ステップＳ２２７）。制御部２１は、受信した各パッケージ画像、各パッケージ画像に対応するＩＤ及び好意度を表示部２５により表示し（ステップＳ２２８）、処理を終了する。

【0139】

本実施形態によると、スタイル画像を用いて生成モデル１７２を構築することが可能となる。

【0140】

本実施形態によると、生成モデル１７２を用いて候補となるパッケージ画像を出力することにより、スタイルに基づき多様なパッケージデザインを実現することが可能となる。

【0141】

（実施形態３）
実施形態３は、候補となるパッケージ画像に基づき、人工知能を用いて該パッケージ画像のイメージワードの出現割合を出力する形態に関する。なお、実施形態１～２と重複する内容については説明を省略する。

【0142】

図１９は、実施形態３のサーバ１の構成例を示すブロック図である。なお、図１２と重複する内容については説明を省略する。大容量記憶部１７には、出現割合予測モデル１７３（第２学習モデル）が記憶されている。出現割合予測モデル１７３は、パッケージ画像に基づいてパッケージ画像のイメージワードの出現割合を予測する予測器であり、機械学習により生成された学習済みモデルである。

【0143】

イメージワードは、パッケージ画像の評価時に好意度の理由を表すための文字（テキスト）である。イメージワードは、例えば「おいしそう」（非飲食系はなし）、「かわいい」、「シンプル」、「デザイン要素がよい」、「なつかしい」、「やさしい」、「安心感・信頼感がある」、「季節感」、「健康感がある」、「効果・効能を感じる」、「高級感・上質感」、「色味がよい」、「新しい・ユニーク」、「洗練」、「爽やか・清涼感」、「特徴がわかりやすい」、「目立つ・印象に残る」、「綺麗・美しい」または「清潔」等を含む。なお、上述したイメージワードに限定せず、実際のニーズに応じて任意のイメージワードを設定すれば良い。

【0144】

続いて、イメージワードの抽出処理を説明する。サーバ１は、パッケージ画像を評価した評価テキスト集合を取得する。評価テキスト集合は、例えばパッケージ画像に対し、任意のフォーマットで書き込まれたレビューまたは感想等の集合であっても良く、またはアンケートによる回答から集合された評価情報であっても良い。評価テキスト集合が記憶部１２または大容量記憶部１７に記憶された場合、サーバ１は、記憶部１２または大容量記憶部１７から評価テキスト集合を取得する。なお、サーバ１は評価テキスト集合を外部装置から取得しても良い。

【0145】

サーバ１は、取得した評価テキスト集合からキーワードのリストを抽出する。例えば、評価テキスト集合から、出現頻度が所定の出現頻度（例えば、１０００回）以上であるキーワードのリストが抽出されても良い。サーバ１は、抽出したキーワードのリストから、ネガティブワードまたは意味不明ワードを排除する。ネガティブワードは、例えば「悲しい」、「苦しい」、「不満だ」、「不味い」、「困る」または「困惑する」等を含む。例えば制御部１１は、抽出したキーワードのリストに対して形態素解析を行い、さらに、ｔｆ－ｉｄｆ（Term Frequency－Inverse Document Frequency）等、キーワードのリストに出現する各単語をスコアリングするアルゴリズムを利用し、ネガティブワードまたは意味不明ワードを抽出する。

【0146】

サーバ１は、抽出したキーワードのリストから、抽出したネガティブワードまたは意味不明ワードを排除する。サーバ１は、ネガティブワード及び意味不明ワードを排除したキーワードのリストに対し、例えばＷｏｒｄ２ｖｅｃ、Ｄｏｃ２Ｖｅｃ(Paragraph2vec)、ＬＤＡ（Latent Dirichlet Allocation）またはＮＴＳＧ（Neural Tensor Skip Gram）等のような単語をベクトル化する公知の手法を用いて、キーワードのリストに含まれる各々のキーワードをベクトル化する。

【0147】

サーバ１は、ベクトル化した各々のキーワードの特徴情報に基づいて、各々のキーワードを分類する（クラスタリング）。クラスタリング（clustering）とは、自然言語処理の一種で、ベクトル化したキーワードを、その方向と大きさから、同一の概念に近い単語の集団（クラスタ）に分ける処理である。サーバ１は、分類した各々のキーワードからパッケージ画像のイメージワードを抽出する。例えば、クラスタ毎にイメージワードの手動入力が受け付けられても良い。抽出されたイメージワードは、パッケージ画像に対応付けて後述の訓練データの生成時に利用される。

【0148】

続いて、出現割合予測モデル１７３を用いて、パッケージ画像のイメージワードの出現割合を出力する処理を説明する。
図２０は、出現割合予測モデル１７３を説明する説明図である。出現割合予測モデル１７３は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。出現割合予測モデル１７３は、パッケージ画像を入力とし、該パッケージ画像のイメージワードの出現割合を出力とするニューラルネットワークを構築済みのイメージワードの出現割合の予測器である。

【0149】

サーバ１は、出現割合予測モデル１７３として、パッケージ画像のイメージワードの出現割合に影響を及ぼした箇所の特徴量を学習するディープラーニングを行うことで出現割合予測モデル１７３を構築する。例えば、出現割合予測モデル１７３はＣＮＮであり、パッケージ画像の入力を受け付ける入力層と、活性化関数（本実施の形態ではソフトマックス関数）を用いて該パッケージ画像のイメージワードの出現割合を出力する出力層（ソフトマックス層：Softmax Layer）と、バックプロパゲーションにより学習済の中間層とを有する。

【0150】

なお、本実施の形態では出現割合予測モデル１７３がＣＮＮであるものとして説明するが、出現割合予測モデル１７３はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルであって良い。

【0151】

サーバ１は、パッケージ画像と該パッケージ画像のイメージワードとが対応付けられた訓練データの組み合わせを複数取得する。訓練データは、パッケージ画像に対し、該パッケージ画像のイメージワードがラベル付けされたデータである。

【0152】

サーバ１は、取得した訓練データ用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パッケージ画像のイメージワードの出現割合を取得する。サーバ１は、出力層から出力された予測結果（例えば、出現割合が最も高いイメージワード）を、訓練データにおいてパッケージ画像に対しラベル付けされた情報（イメージワード）、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。

【0153】

サーバ１は、訓練データに含まれる各パッケージ画像について上記の処理を行い、出現割合予測モデル１７３を生成する。これにより、例えばサーバ１は当該訓練データを用いて出現割合予測モデル１７３の学習を行うことで、パッケージ画像のイメージワードの出現割合を出力可能なモデルを構築することができる。

【0154】

サーバ１は、候補となるパッケージ画像を取得した場合、取得したパッケージ画像を出現割合予測モデル１７３に入力する。サーバ１は、出現割合予測モデル１７３の中間層にてパッケージ画像の特徴量を抽出する演算処理を行う。サーバ１は、抽出した特徴量を出現割合予測モデル１７３の出力層に入力して、該パッケージ画像のイメージワードの出現割合を出力として取得する。

【0155】

図示のように、パッケージ画像に対し、「かわいい」、「シンプル」、「季節感」、「…」、「健康感がある」それぞれの出現割合が、「０．８２」、「０．５５」、「０．３５」、「…」、「０．２５」である予測結果が出力される。

【0156】

また、性別または年代ごとに出現割合予測モデル１７３を生成することができる。具体的には、サーバ１は、性別または年代の設定を受け付け、受け付けた性別または年代に応じて、出現割合予測モデル１７３の生成に用いる訓練データを複数取得する。サーバ１は、取得した訓練データを用いて、受け付けた性別または年代に対応する出現割合予測モデル１７３を生成する。

【0157】

サーバ１は、性別または年代ごとに生成した出現割合予測モデル１７３を大容量記憶部１７に記憶する。サーバ１は、複数の性別または年代に対して用意された複数の出現割合予測モデル１７３を用いて、性別または年代ごとにパッケージ画像から該パッケージ画像のイメージワードの出現割合を出力することができる。

【0158】

なお、上述した処理に限るものではない。商品のカテゴリ毎に設定されたスコアを用いて、出現割合予測モデル１７３を学習させても良い。この場合、サーバ１は、パッケージ画像と、カテゴリ毎に設定されたスコアとを出現割合予測モデル１７３に入力し、該パッケージ画像のイメージワードの出現割合を出力する。

【0159】

また、実施形態１での遺伝的アルゴリズムにより生成されたパッケージ画像に対し、特定のイメージワード（例えば、おいしそう）の出現割合に基づいて次世代の候補となるパッケージ画像を生成することができる。具体的には、サーバ１は、特定されたイメージワードを取得する。サーバ１は、遺伝的アルゴリズムにより生成された各パッケージ画像を出現割合予測モデル１７３に入力して、各パッケージ画像のイメージワードの出現割合を出力する。

【0160】

サーバ１は、出現割合予測モデル１７３から出力されたイメージワードの出現割合に基づいて、特定されたイメージワードの出現割合が高いパッケージ画像を複数取得する。サーバ１は、取得した各パッケージ画像に含まれる複数のデザイン要素に基づいて交叉処理及び突然変異処理を行い、次世代の候補となるパッケージ画像を複数生成する。

【0161】

更にまた、実施形態２での生成モデル１７２を用いて生成されたパッケージ画像に対し、特定のイメージワードの出現割合に基づいて候補となるパッケージ画像を出力することができる。具体的には、サーバ１は、特定されたイメージワードを取得する。サーバ１は、生成モデル１７２を用いて生成された各パッケージ画像を出現割合予測モデル１７３に入力して、各パッケージ画像のイメージワードの出現割合を出力する。サーバ１は、出現割合予測モデル１７３から出力されたイメージワードの出現割合に基づいて、特定されたイメージワードの出現割合が高いパッケージ画像を、候補となるパッケージ画像として出力する。

【0162】

本実施形態によると、出現割合予測モデル１７３を用いて候補となるパッケージ画像のイメージワードの出現割合を出力することが可能となる。

【0163】

本実施形態によると、イメージワードの出現割合が高いパッケージ画像に基づいて次世代のパッケージ画像を生成することにより、明確な好意度の理由に応じて適当なパッケージデザインを企画することが可能となる。

【0164】

（実施形態４）
実施形態４は、候補となるパッケージ画像に基づき、人工知能を用いて該パッケージ画像の好意度の標準偏差を出力する形態に関する。なお、実施形態１～３と重複する内容については説明を省略する。

【0165】

パッケージ画像の好き嫌い（バラつき）については、性別または年代によって、同一パッケージ画像に対しても異なる好意度を評価した場合がある。このようなパッケージ画像の好き嫌いの差は、好意度の標準偏差で解釈される。好意度の標準偏差が高いほど好き嫌いの差が大きくなり、逆に、好意度の標準偏差が低いほど好き嫌いの差が小さくなる。

【0166】

図２１は、実施形態４のサーバ１の構成例を示すブロック図である。なお、図１９と重複する内容については説明を省略する。大容量記憶部１７には、標準偏差予測モデル１７４（第３学習モデル）が記憶されている。標準偏差予測モデル１７４は、パッケージ画像に基づいて該パッケージ画像の好意度の標準偏差を予測する予測器であり、機械学習により生成された学習済みモデルである。

【0167】

図２２は、標準偏差予測モデル１７４を説明する説明図である。標準偏差予測モデル１７４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。標準偏差予測モデル１７４は、パッケージ画像を入力とし、該パッケージ画像の好意度の標準偏差を出力とするニューラルネットワークを構築済みの好意度の標準偏差の予測器である。

【0168】

サーバ１は、パッケージ画像の特徴量を学習するディープラーニングを行うことで標準偏差予測モデル１７４を構築する。例えば、標準偏差予測モデル１７４はＣＮＮであり、パッケージ画像の入力を受け付ける入力層と、該パッケージ画像の好意度の標準偏差を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0169】

なお、本実施の形態では標準偏差予測モデル１７４がＣＮＮであるものとして説明するが、標準偏差予測モデル１７４はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルであって良い。

【0170】

サーバ１は、パッケージ画像と、複数人のパッケージ画像の好意度に関する情報に基づいて算出された標準偏差とが対応付けられた訓練データの組み合わせを複数取得する。訓練データは、パッケージ画像に対し、該パッケージ画像の好意度の標準偏差がラベル付けされたデータである。

【0171】

訓練データの作成に関しては、例えばサーバ１は、１つのパッケージ画像に対して１０００人による回答の好意度を、最大５（好き）から最小１（嫌い）までの５段階で取得する。サーバ１は、取得した１０００人による回答の好意度の平均値を算出する。サーバ１は、算出した好意度の平均値に基づき、１０００人による回答の好意度の標準偏差を算出する。サーバ１は、パッケージ画像に対し、１０００人の該パッケージ画像の好意度の標準偏差をラベル付けすることにより、訓練データを作成することができる。

【0172】

サーバ１は、取得した訓練データを用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パッケージ画像の好意度の標準偏差を取得する。サーバ１は、出力層から出力された予測結果を、訓練データにおいてパッケージ画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。

【0173】

サーバ１は、訓練データに含まれる各パッケージ画像について上記の処理を行い、標準偏差予測モデル１７４を生成する。これにより、例えばサーバ１は当該訓練データを用いて標準偏差予測モデル１７４の学習を行うことで、パッケージ画像の好意度の標準偏差を出力可能なモデルを構築することができる。

【0174】

サーバ１は、候補となるパッケージ画像を取得した場合、取得したパッケージ画像を標準偏差予測モデル１７４に入力する。サーバ１は、標準偏差予測モデル１７４の中間層にてパッケージ画像の特徴量を抽出する演算処理を行う。サーバ１は、抽出した特徴量を標準偏差予測モデル１７４の出力層に入力して、該パッケージ画像の好意度の標準偏差を出力として取得する。図示のように、「１．０１０」である好意度の標準偏差が標準偏差予測モデル１７４から出力される。

【0175】

また、性別または年代ごとに標準偏差予測モデル１７４を生成することができる。具体的には、サーバ１は、性別または年代の設定を受け付け、受け付けた性別または年代に応じて、標準偏差予測モデル１７４の生成に用いる訓練データを複数取得する。サーバ１は訓練データを用いて、受け付けた性別または年代に対応する標準偏差予測モデル１７４を生成する。

【0176】

サーバ１は、性別または年代ごとに生成した標準偏差予測モデル１７４を大容量記憶部１７に記憶する。サーバ１は、複数の性別または年代に対して用意された複数の標準偏差予測モデル１７４を用いて、性別または年代ごとにパッケージ画像から該パッケージ画像の好意度の標準偏差を出力することができる。

【0177】

なお、上述した処理に限るものではない。商品のカテゴリ毎に設定されたスコアを用いて、標準偏差予測モデル１７４を学習させても良い。この場合、サーバ１は、パッケージ画像と、カテゴリ毎に設定されたスコアとを標準偏差予測モデル１７４に入力し、該パッケージ画像の好意度の標準偏差を出力する。

【0178】

また、実施形態１での遺伝的アルゴリズムにより生成されたパッケージ画像に対し、好意度の標準偏差に基づいて次世代の候補となるパッケージ画像を生成することができる。具体的には、サーバ１は、標準偏差予測モデル１７４から出力された好意度の標準偏差が小さいパッケージ画像を複数取得する。サーバ１は、取得した各パッケージ画像に含まれる複数のデザイン要素に基づいて交叉処理及び突然変異処理を行い、次世代の候補となるパッケージ画像を複数生成する。

【0179】

更にまた、遺伝的アルゴリズムにより生成されたパッケージ画像に対し、好意度に関する情報と、特定のイメージワード（例えば、おいしそう）の出現割合と、好意度の標準偏差との組み合わせに基づいて、次世代の候補となるパッケージ画像を生成することができる。

【0180】

具体的には、先ず、サーバ１は、好意度予測モデル１７１から出力された好意度の高いパッケージ画像を複数取得する。次に、サーバ１は、取得した複数の好意度の高いパッケージ画像を出現割合予測モデル１７３に入力して、イメージワードの出現割合を出力する。サーバ１は、出現割合予測モデル１７３から出力されたイメージワードの出現割合に基づいて、特定されたイメージワード（例えば、おいしそう）の出現割合が高いパッケージ画像を複数取得する。

【0181】

そして、サーバ１は、取得した複数のパッケージ画像を標準偏差予測モデル１７４に入力して、各パッケージ画像の好意度の標準偏差を出力する。サーバ１は、標準偏差予測モデル１７４から出力された好意度の標準偏差に基づいて、好意度の標準偏差が小さいパッケージ画像を複数取得する。サーバ１は、取得した複数のパッケージ画像を次世代の候補となるパッケージ画像として出力する。

【0182】

なお、上述した例は、好意度に関する情報、イメージワードの出現割合、好意度の標準偏差の順に、候補となるパッケージ画像の取得処理が行われたが、取得処理の順序は、あくまでも一例であって、任意の順序で行われても良い。なお、好意度に関する情報、イメージワードの出現割合及び好意度の標準偏差の取得処理は同時に実行されても良い。この場合、好意度に関する情報、イメージワードの出現割合及び好意度の標準偏差の総合的な結果に基づいて、候補となるパッケージ画像が取得される。

【0183】

更にまた、好意度に関する情報、イメージワードの出現割合及び好意度の標準偏差のうちの任意の２つの組み合わせに基づいて、次世代の候補となるパッケージ画像を生成することができる。例えば、好意度に関する情報と好意度の標準偏差との組み合わせを利用した場合、先ず、サーバ１は、好意度予測モデル１７１から出力された好意度の高いパッケージ画像を複数取得する。

【0184】

次に、サーバ１は、取得した複数の好意度の高いパッケージ画像を標準偏差予測モデル１７４に入力して、各パッケージ画像の好意度の標準偏差を出力する。サーバ１は、標準偏差予測モデル１７４から出力された好意度の標準偏差に基づいて、好意度の標準偏差が小さいパッケージ画像を複数取得する。サーバ１は、取得した複数のパッケージ画像を次世代の候補となるパッケージ画像として出力する。

【0185】

更にまた、実施形態２での生成モデル１７２を用いて生成されたパッケージ画像に対し、好意度の標準偏差に基づいて候補となるパッケージ画像を出力することができる。具体的には、サーバ１は、生成モデル１７２を用いて生成された各パッケージ画像を標準偏差予測モデル１７４に入力して、各パッケージ画像の好意度の標準偏差を出力する。サーバ１は、標準偏差予測モデル１７４から出力された好意度の標準偏差が小さいパッケージ画像を、候補となるパッケージ画像として出力する。

【0186】

本実施形態によると、標準偏差予測モデル１７４を用いて候補となるパッケージ画像の好意度の標準偏差を出力することが可能となる。

【0187】

本実施形態によると、好意度の標準偏差が小さいパッケージ画像に基づいて次世代のパッケージ画像を生成することにより、パッケージ画像の好き嫌いの差を考慮して適当なパッケージデザインを企画することが可能となる。

【0188】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0189】

１ 情報処理装置（サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 好意度予測モデル
１７２ 生成モデル
１７３ 出現割合予測モデル
１７４ 標準偏差予測モデル
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 情報処理端末（端末）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
２Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】