特許 7571971 プログラム、学習モデルの生成方法及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】プログラム、学習モデルの生成方法及び情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241016BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 130

【請求項の数】 18

(21)【出願番号】P 2021001087

(22)【出願日】2021-01-06

(65)【公開番号】P2022106224

(43)【公開日】2022-07-19

【審査請求日】2023-10-16

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 ２年 ５月２２日に、Ｃｏｎｆｉｔの２０２０年度 人工知能学会全国大会（第３４回）のウェブサイトにて公開（ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓａｉ２０２０／ｓｕｂｊｅｃｔ／１Ｍ３－ＧＳ－１３－０２／ａｄｖａｎｃｅｄ） 令和 ２年 ６月 ９日に、２０２０年度 人工知能学会全国大会（第３４回）にて公開（ｈｔｔｐｓ：／／ｗｗｗ．ａｉ－ｇａｋｋａｉ．ｏｒ．ｊｐ／ｊｓａｉ２０２０／） 令和 ２年 ６月２０日に、ＰＬＵＧ ＡＩのウェブサイトで公開（ｈｔｔｐｓ：／／ｈｐ．ｐａｃｋａｇｅ－ａｉ．ｊｐ／）

(73)【特許権者】

【識別番号】309035899

【氏名又は名称】株式会社プラグ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】坂元 英樹

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２０１９－１４９１７１（ＪＰ，Ａ）

【文献】特開２０２０－２０４９４２（ＪＰ，Ａ）

【文献】特開２０２０－１９４４４６（ＪＰ，Ａ）

【文献】篠原 裕之ほか，“畳み込みニューラルネットワークを用いたビール缶パッケージの好意度予測及び要因の可視化”，人工知能学会全国大会論文集，日本，2019年，第JSAI2019巻，pp.3N4J1002－3N4J1002

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

商品のパッケージデザインを含むパッケージ画像を取得し、
性別または年代の選択を受け付け、
前記パッケージ画像を入力した場合に、受け付けた性別または年代に対応する前記パッケージデザインの好意度に関する情報を出力するよう学習済みの第１学習モデルに、取得した前記パッケージ画像を入力して、受け付けた性別または年代に対応する前記パッケージデザインの好意度に関する情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

各性別及び年代に対応して用意された複数の前記第１学習モデルから出力されたパッケージデザインの好意度に関する情報に基づき、全性別及び全年代のパッケージデザインの好意度に関する情報を出力する
処理を実行させる請求項１に記載のプログラム。

【請求項3】

商品のカテゴリ毎に設定されたスコアを取得し、
前記第１学習モデルに、取得した前記スコアと前記パッケージ画像とを入力して、前記パッケージデザインの好意度に関する情報を出力する
処理を実行させる請求項１又は２に記載のプログラム。

【請求項4】

前記パッケージ画像を入力した場合に前記パッケージデザインのイメージワードの出現割合を出力するよう学習済みの第２学習モデルに、前記パッケージ画像を入力して前記イメージワードの出現割合を出力する
処理を実行させる請求項１から３のいずれか一つに記載のプログラム。

【請求項5】

複数の性別または年代に対応して用意された複数の前記第２学習モデルを用いて、性別または年代ごとに前記パッケージ画像から前記イメージワードの出現割合を出力する
処理を実行させる請求項４に記載のプログラム。

【請求項6】

複数の前記パッケージ画像を取得し、
前記パッケージデザインのイメージワードの選択を受け付け、
前記第２学習モデルに、それぞれの前記パッケージ画像を入力して、受け付けた前記イメージワードの出現割合をそれぞれ出力し、
それぞれの前記パッケージ画像と、前記第２学習モデルが出力したそれぞれの前記イメージワードの出現割合との関係を示す第１グラフを出力する
処理を実行させる請求項４又は５に記載のプログラム。

【請求項7】

前記パッケージ画像を入力した場合に前記パッケージデザインの好意度の標準偏差を出力するよう学習済みの第３学習モデルに、前記パッケージ画像を入力して前記好意度の標準偏差を出力する
処理を実行させる請求項４から６のいずれか一つに記載のプログラム。

【請求項8】

複数の性別または年代に対応して用意された複数の前記第３学習モデルを用いて、性別または年代ごとに前記パッケージ画像から前記好意度の標準偏差を出力する
処理を実行させる請求項７に記載のプログラム。

【請求項9】

複数の前記パッケージ画像を取得し、
前記第３学習モデルに、それぞれの前記パッケージ画像を入力して、前記好意度の標準偏差をそれぞれ出力し、
それぞれの前記パッケージ画像と、前記第３学習モデルが出力したそれぞれの前記好意度の標準偏差との関係を示す第２グラフを出力する
処理を実行させる請求項７又は８に記載のプログラム。

【請求項10】

前記好意度に関する情報を出力するための第１オブジェクト、前記イメージワードの出現割合を出力するための第２オブジェクト、及び前記好意度の標準偏差を出力するための第３オブジェクトを選択可能に表示させ、
前記第１オブジェクト、前記第２オブジェクトまたは前記第３オブジェクトの選択を受け付ける
処理を実行させる請求項７から９のいずれか一つに記載のプログラム。

【請求項11】

複数の前記パッケージ画像を取得し、
前記第１学習モデルに、それぞれの前記パッケージ画像を入力して、前記パッケージデザインの好意度に関する情報をそれぞれ出力し、
それぞれの前記パッケージ画像から、前記第１学習モデルが出力した前記好意度に関する情報に影響を及ぼした領域をそれぞれ抽出し、
それぞれの前記パッケージ画像と、抽出したそれぞれの領域を示す指標とを関連付けて出力する
処理を実行させる請求項１から１０のいずれか一つに記載のプログラム。

【請求項12】

性別または年代ごとに、商品のパッケージデザインを含むパッケージ画像と、前記パッケージデザインの好意度とが対応付けられた訓練データの組み合わせを複数取得し、
性別または年代ごとに、取得した前記訓練データの複数の組み合わせに基づき、前記パッケージ画像を入力した場合に、前記パッケージデザインの好意度に関する情報を出力する学習モデルを生成する
処理をコンピュータに実行させる学習モデルの生成方法。

【請求項13】

商品のカテゴリ毎に設定されたスコア、及び前記商品のパッケージデザインを含むパッケージ画像と、前記パッケージデザインの好意度とが対応付けられた訓練データの組み合わせを複数取得し、
取得した前記訓練データの複数の組み合わせに基づき、前記スコアと前記パッケージ画像とを入力した場合に、前記パッケージデザインの好意度に関する情報を出力する学習モデルを生成する
処理をコンピュータに実行させる学習モデルの生成方法。

【請求項14】

商品のカテゴリ毎に、商品を検索するためのブランド名及び企業名の入力を受け付け、
検索エンジンによる受け付けた前記ブランド名及び企業名に対する検索ヒット数を取得し、
取得した前記検索ヒット数に基づき、商品のカテゴリ内の複数のブランドの平均スコアを算出する
処理をコンピュータに実行させる請求項１３に記載の学習モデルの生成方法。

【請求項15】

商品のパッケージデザインを含むパッケージ画像と、前記パッケージデザインのイメージワードとが対応付けられた訓練データの組み合わせを複数取得し、
取得した前記訓練データの複数の組み合わせに基づき、前記パッケージ画像を入力した場合に、前記イメージワードの出現割合を出力する学習モデルを生成する
処理をコンピュータに実行させる学習モデルの生成方法。

【請求項16】

前記パッケージデザインを評価した評価テキスト集合を取得し、
取得した前記評価テキスト集合から、出現頻度が所定の出現頻度以上であるキーワードのリストを抽出し、
抽出したキーワードのリストに含まれる各々のキーワードの特徴情報に基づいて、前記キーワードのリストに含まれる各々のキーワードを分類し、
分類した前記キーワードのリストから前記パッケージデザインのイメージワードを特定する
処理をコンピュータに実行させる請求項１５に記載の学習モデルの生成方法。

【請求項17】

商品のパッケージデザインを含むパッケージ画像と、複数人の前記パッケージデザインの好意度の標準偏差とが対応付けられた訓練データの組み合わせを複数取得し、
取得した前記訓練データの複数の組み合わせに基づき、前記パッケージ画像を入力した場合に、前記好意度の標準偏差を出力する学習モデルを生成する
処理をコンピュータに実行させる学習モデルの生成方法。

【請求項18】

商品のパッケージデザインを含むパッケージ画像を取得し、
性別または年代の選択を受け付け、
前記パッケージ画像を入力した場合に、受け付けた性別または年代に対応する前記パッケージデザインの好意度に関する情報を出力するよう学習済みの第１学習モデルに、取得した前記パッケージ画像を入力して、受け付けた性別または年代に対応する前記パッケージデザインの好意度に関する情報を出力する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、学習モデルの生成方法及び情報処理方法に関する。

【背景技術】

【0002】

従来、デザインを評価する際に、評価対象となる第１デザインの第１特徴量を抽出し、抽出された第１特徴量に基づいて、第１デザインと、既存の複数の第２デザインの各々との類似度を算出し、算出された類似度と、予め取得された第２デザインの各々に対する顧客の感想を示す情報に基づいて、第１デザインに対する顧客の感想を予想する評価装置が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１９５０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、適切にパッケージデザインを評価することができないおそれがある。

【0005】

一つの側面では、適切にパッケージデザインを評価することが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面にプログラムは、商品のパッケージデザインを含むパッケージ画像を取得し、性別または年代の選択を受け付け、前記パッケージ画像を入力した場合に、受け付けた性別または年代に対応する前記パッケージデザインの好意度に関する情報を出力するよう学習済みの第１学習モデルに、取得した前記パッケージ画像を入力して、受け付けた性別または年代に対応する前記パッケージデザインの好意度に関する情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、適切にパッケージデザインを評価することが可能となる。

【図面の簡単な説明】

【0008】

【図1】パッケージデザインにおける評価システムの概要を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図4】端末の構成例を示すブロック図である。

【図5】好意度予測モデルを説明する説明図である。

【図6】全性別及び全年代の好意度に関する情報の出力処理を説明する説明図である。

【図7】全性別及び全年代の好意度に関する情報を出力する際の処理手順を示すフローチャートである。

【図8】好意度の加重平均値の表示画面の一例を示す説明図である。

【図9】好意度に関する情報を出力する際の処理手順を示すフローチャートである。

【図10】スコアを用いて学習させるための訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図11】スコアを用いて学習させる好意度予測モデルを説明する説明図である。

【図12】パッケージ画像とヒートマップとを関連付けて出力する際の処理手順を示すフローチャートである。

【図13】ヒートマップの表示画面の一例を示す説明図である。

【図14】実施形態３のサーバの構成例を示すブロック図である。

【図15】実施形態３の訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図16】イメージワードを特定する際の処理手順を示すフローチャートである。

【図17】出現割合予測モデルを説明する説明図である。

【図18】イメージワードの出現割合の表示画面の一例を示す説明図である。

【図19】イメージワードの出現割合を出力する際の処理手順を示すフローチャートである。

【図20】実施形態４のサーバの構成例を示すブロック図である。

【図21】実施形態４の訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図22】標準偏差予測モデルを説明する説明図である。

【図23】好意度の標準偏差の表示画面の一例を示す説明図である。

【図24】好意度の標準偏差を出力する際の処理手順を示すフローチャートである。

【図25】各種の予測結果の表示画面の一例を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、商品のパッケージデザインを含むパッケージ画像に基づき、人工知能（ＡＩ：Artificial Intelligence）を用いて該パッケージデザインの好意度に関する情報を出力する形態に関する。パッケージデザインとは、食品・飲料・日用品をはじめとした包装・容器を要する商品において、その商品特性またはコンセプト・ユーザビリティ等を考慮し、グラフィックまたは形態を計画・検証・考案（デザイン）することである。

【0011】

図１は、パッケージデザインにおける評価システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び情報処理端末２を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0012】

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。

【0013】

情報処理端末２は、商品のパッケージデザインを含むパッケージ画像の選択の受付及び送信、並びに、パッケージデザインの好意度に関する情報の受信及び表示等を行う端末装置である。情報処理端末２は、例えばスマートフォン、携帯電話、タブレット、パーソナルコンピュータ端末等の情報処理機器である。以下では簡潔のため、情報処理端末２を端末２と読み替える。

【0014】

本実施形態に係るサーバ１は、商品のパッケージデザインを含むパッケージ画像を端末２から取得する。サーバ１は、ユーザによる性別または年代の選択を受け付ける。サーバ１は、パッケージ画像を入力した場合に、受け付けた性別または年代に対応する該パッケージデザインの好意度に関する情報を出力するよう学習済みの好意度予測モデル（第１学習モデル）に、取得したパッケージ画像を入力して、受け付けた性別または年代に対応するパッケージデザインの好意度に関する情報を出力する。なお、好意度予測モデルに関しては後述する。サーバ１は、出力したパッケージデザインの好意度に関する情報を端末２に送信する。

【0015】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

【0016】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0017】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、端末２との間で情報の送受信を行う。

【0018】

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

【0019】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0020】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、好意度予測モデル１７１及び訓練データＤＢ（database）１７２を含む。好意度予測モデル１７１は、パッケージ画像に基づいて該パッケージ画像に含まれるパッケージデザインの好意度に関する情報を予測する予測器であり、機械学習により生成された学習済みモデルである。訓練データＤＢ１７２は、好意度予測モデル１７１を構築（生成）するための訓練データを記憶している。なお、本実施形態では、訓練データが訓練データＤＢ１７２に記憶されたが、訓練データの記憶方式は特に限定されていない。例えば、訓練データを学習済計算ファイルに記憶しても良い。

【0021】

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はサーバ１に接続された外部記憶装置であっても良い。

【0022】

サーバ１はコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良いし、仮想マシンで分散して実行しても良い。

【0023】

図３は、訓練データＤＢ１７２のレコードレイアウトの一例を示す説明図である。訓練データＤＢ１７２は、画像ＩＤ列、画像列、性別列、年代列及び好意度列を含む。画像ＩＤ列は、各画像を識別するために、一意に特定される画像のＩＤを記憶している。画像列は、パッケージ画像のデータを記憶している。性別列は、パッケージデザインの好意度を評価したユーザの性別を記憶している。年代列は、パッケージデザインの好意度を評価したユーザの年代を記憶している。好意度列は、パッケージデザインの好意度を記憶している。好意度とは、商品のパッケージデザインの印象等に対する評価を好き・嫌いの観点からとらえたものである。本実施形態では、好意度が最大５（好き）から最小１（嫌いまたは好きではない）までに分類される。なお、上述した好意度の数値は一例であり、これに限るものではない。

【0024】

図４は、端末２の構成例を示すブロック図である。端末２は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５及び撮影部２６を含む。各構成はバスＢで接続されている。

【0025】

制御部２１はＣＰＵ、ＭＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐを読み出して実行することにより、端末２に係る種々の情報処理、制御処理等を行う。なお、図４では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0026】

通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、サーバ１と情報の送受信を行う。入力部２４は、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。

【0027】

撮影部２６は、例えばＣＣＤ(Charge Coupled Device)カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮影装置である。なお、撮影部２６は、複数の撮影装置により構成されても良い。なお、撮影部２６は端末２の中に内蔵せず、外部で直接に端末２と接続し、撮影可能な構成としても良い。

【0028】

続いて、パッケージデザインの好意度に関する情報を出力する処理を説明する。端末２は、商品のパッケージデザインを含むパッケージ画像を取得する。パッケージ画像は、端末２の撮影部２６が撮影した撮影画像であっても良く、または予め記憶部２２若しくはフォトアルバムに記憶された画像であっても良い。端末２は、ユーザによる性別または年代の選択を受け付ける。具体的には、端末２は、性別、年代、または性別と年代との組合の選択を受け付ける。端末２は、取得したパッケージ画像と、受け付けた性別または年代とをサーバ１に送信する。

【0029】

サーバ１は、端末２から送信されたパッケージ画像と、性別または年代とを受信する。サーバ１は、パッケージ画像を入力した場合に、受信した性別または年代に対応するパッケージデザインの好意度に関する情報を出力するよう学習済みの好意度予測モデル１７１に、受信したパッケージ画像を入力して、受信した性別または年代に対応するパッケージデザインの好意度に関する情報を出力する。

【0030】

好意度に関する情報は、好意度が最大５（好き）から最小１（嫌い）までに分類されるスコア、または好意度のスコアを最大５から最小１までの加重平均値を含む。なお、好意度予測モデル１７１を用いる好意度に関する情報の出力処理に関しては後述する。サーバ１は、出力したパッケージデザインの好意度に関する情報を端末２に送信する。端末２は、サーバ１から送信された好意度に関する情報を受信し、受信した好意度に関する情報を画面に表示する。

【0031】

続いて、好意度予測モデル１７１を用いる好意度に関する情報の出力処理を説明する。 図５は、好意度予測モデル１７１を説明する説明図である。好意度予測モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。好意度予測モデル１７１は、パッケージデザインを含むパッケージ画像を入力とし、該パッケージデザインの好意度に関する情報を出力とするニューラルネットワークを構築済みの好意度に関する情報の予測器である。

【0032】

サーバ１は、好意度予測モデル１７１として、パッケージ画像に含まれるパッケージデザインの好意度に影響を及ぼす箇所の特徴量を学習するディープラーニングを行うことで好意度予測モデル１７１を構築（生成）する。例えば、好意度予測モデル１７１はＣＮＮ（Convolution Neural Network）であり、パッケージ画像の入力を受け付ける入力層と、該パッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0033】

入力層は、パッケージ画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、パッケージ画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。具体的には、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、パッケージ画像の画素情報を圧縮しながら最終的にパッケージ画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、パッケージ画像に含まれるパッケージデザインの好意度に関する情報を予測する。予測結果は、ニューロンを有する出力層に出力される。

【0034】

なお、パッケージ画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

【0035】

本実施形態では、好意度予測モデル１７１として、ＲｅｓＮｅｔ５０（Residual Network50）のネットワーク構造を適用しても良い。ＲｅｓＮｅｔ５０は、５０層を持ったＣＮＮのモデルである。なお、上述したＲｅｓＮｅｔ５０の代わりに、例えばＶＧＧ１６、ＩｎｃｅｐｔｉｏｎＶ３、ＤｅｎｓｅＮｅｔ、ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔＶ２等が用いられても良い。

【0036】

なお、本実施の形態では好意度予測モデル１７１がＣＮＮであるものとして説明するが、好意度予測モデル１７１はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルであって良い。

【0037】

サーバ１は、パッケージデザインを含むパッケージ画像と、該パッケージデザインの好意度とが対応付けられた訓練データの組み合わせを訓練データＤＢ１７２から複数取得する。訓練データは、パッケージ画像に対し、該パッケージ画像に含まれるパッケージデザインの好意度がラベル付けされたデータである。なお、本実施形態では、好意度が最大５（好き）から最小１（嫌い）までの５段階に分類された例を説明したが、これに限るものではない。好意度が実際のニーズに合わせて設けられても良い。

【0038】

なお、本実施形態では、予め記憶された訓練データを訓練データＤＢ１７２から取得した例を説明したが、これに限るものではない。例えばサーバ１は、複数のパッケージ画像において、それぞれのパッケージ画像に含まれるパッケージデザインの好意度をラベリングすることで、好意度を学習するための訓練データを生成しても良い。具体的には、サーバ１はそれぞれのパッケージ画像に対して、好意度（例えば、１、２、３、４または５）を関連付けた訓練データを生成する。

【0039】

サーバ１は、取得した訓練データ用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パッケージ画像に含まれるパッケージデザインの好意度に関する情報を取得する。好意度に関する情報は、好意度の確からしさを示す確率（尤度）値、または好意度の加重平均値を含む。図５では、好意度の加重平均値の例を説明する。図示のように、出力層から出力される予測結果は、好意度（好意度５から好意度１まで）の加重平均値である。

【0040】

サーバ１は、出力層から出力された予測結果を、訓練データにおいてパッケージ画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、サーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0041】

サーバ１は、訓練データに含まれる各パッケージ画像について上記の処理を行い、好意度予測モデル１７１を生成する。これにより、例えばサーバ１は当該訓練データを用いて好意度予測モデル１７１の学習を行うことで、パッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力可能なモデルを構築することができる。

【0042】

サーバ１はパッケージ画像を取得した場合、取得したパッケージ画像を好意度予測モデル１７１に入力する。サーバ１は、好意度予測モデル１７１の中間層にてそれぞれのパッケージ画像の特徴量を抽出する演算処理を行う。サーバ１は、抽出した特徴量を好意度予測モデル１７１の出力層に入力して、パッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力として取得する。図示のように、好意度の加重平均値は出力層から出力される。好意度の加重平均値は「３．８４」である。なお、算出された好意度の加重平均値に対して四捨五入、切り上げ、又は切り捨て等により補正されても良い。

【0043】

なお、上述した例では、好意度の加重平均値を予測結果として出力したが、これに限るものではない。例えば、各々の好意度を示す確率値そのものを予測結果として出力しても良い。例えば、パッケージ画像に対し、「好意度５」、「好意度４」、「好意度３」、「好意度２」、「好意度１」それぞれの確率値が、「０．０５」、「０．８５」、「０．０３」、「０．０３」、「０．０４」である予測結果が出力層から出力される。また、所定閾値を利用して予測結果を出力しても良い。例えばサーバ１は、「好意度４」の確率値（０．８５）が所定閾値（例えば、０．８０）以上であると判定した場合、パッケージデザインの好意度が「好意度４」である予測結果を出力する。なお、上述した閾値を利用せず、好意度予測モデル１７１が予測した各々の好意度の確率値から、最も高い確率値に対応する好意度を予測結果として出力しても良い。

【0044】

なお、好意度に関する情報の予測処理は、上述した機械学習により予測処理に限るものではない。例えば、Ａ－ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＨＯＧ(Histograms of Oriented Gradients)等の局所特徴量抽出方法を用いて好意度に関する情報を予測しても良い。

【0045】

続いて、各性別または年代に対応して用意された複数の好意度予測モデル１７１から出力された好意度に関する情報に基づき、全性別及び全年代の好意度に関する情報を出力する処理を説明する。

【0046】

図６は、全性別及び全年代の好意度に関する情報の出力処理を説明する説明図である。サーバ１は、パッケージ画像を端末２から取得する。サーバ１は、各性別及び年代に対応して用意された複数の好意度予測モデル１７１それぞれを大容量記憶部１７から取得する。

【0047】

サーバ１は、取得したパッケージ画像を、取得したそれぞれの好意度予測モデル１７１に入力し、各性別及び年代に対応するパッケージデザインの好意度の加重平均値を出力する。サーバ１は、出力した各性別及び年代に対応するパッケージデザインの好意度の加重平均値に基づき、好意度の加重平均値の平均値を算出する。サーバ１は、算出した加重平均値の平均値を全性別及び全年代の好意度として出力する。

【0048】

図示のように、２０代男性、２０代女性、３０代男性、３０代女性、４０代男性、４０代女性、５０代男性及び５０代女性に対応する好意度予測モデル１７１において、サーバ１は、パッケージ画像をそれぞれの好意度予測モデル１７１に入力し、２０代男性、２０代女性、３０代男性、３０代女性、４０代男性、４０代女性、５０代男性及び５０代女性に対応するパッケージデザインの好意度の加重平均値それぞれを出力する。サーバ１は、出力した性別及び年代ごとの好意度の加重平均値に基づき、好意度の加重平均値の平均値を算出する。サーバ１は、算出した加重平均値の平均値を全性別及び全年代の好意度として出力する。なお、好意度の加重平均値の例を説明したが、好意度そのものに対しても同様に適用することができる。

【0049】

なお、図６では、各性別及び年代に対応して用意された複数の好意度予測モデル１７１の例を説明したが、性別ごとに用意された複数の好意度予測モデル１７１、または、年代ごとに用意された複数の好意度予測モデル１７１にも同様に適用することができる。

【0050】

図７は、全性別及び全年代の好意度に関する情報を出力する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、パッケージ画像を通信部１３により端末２から取得する（ステップＳ１０１）。制御部１１は通信部１３を介して、端末２を通じて受け付けた複数の性別及び年代を取得する（ステップＳ１０２）。例えば制御部１１は、２０代男性、２０代女性、３０代男性、３０代女性、４０代男性、４０代女性、５０代男性及び５０代女性の入力を受け付ける。

【0051】

制御部１１は、入力された各性別及び年代に応じて、性別及び年代ごとに好意度予測モデル１７１を大容量記憶部１７から取得する（ステップＳ１０３）。制御部１１は、取得したパッケージ画像を、各性別及び年代に対応する好意度予測モデル１７１に入力し、性別及び年代ごとにパッケージ画像に含まれるパッケージデザインの好意度の加重平均値を出力する（ステップＳ１０４）。制御部１１は、出力した各性別及び年代に対応する好意度の加重平均値に基づき、好意度の加重平均値の平均値を算出し（ステップＳ１０５）、処理を終了する。

【0052】

図８は、好意度の加重平均値の表示画面の一例を示す説明図である。該画面は、パッケージ画像表示欄１１ａ、好意度表示欄１１ｂ及び選択順番表示欄１１ｃを含む。パッケージ画像表示欄１１ａは、評価対象となるパッケージ画像及びパッケージ画像のファイル名を表示する表示欄である。好意度表示欄１１ｂは、全体（全性別及び全年代）、性別、年代、または性別及び年代（例えば、女性２０代）ごとに好意度の加重平均値を表示する表示欄である。選択順番表示欄１１ｃは、パッケージ画像の選択時の順を表示する表示欄である。

【0053】

端末２は、複数のパッケージ画像の選択を受け付け、受け付けたパッケージ画像の選択時の順を記憶部２２に記憶する。端末２は、パッケージ画像を評価するための評価条件の設定を受け付ける。評価条件は、パッケージ画像を評価するための条件である。評価条件は、全体（全性別及び全年代）による評価、性別による評価、年代による評価、性別及び年代（例えば、女性２０代）による評価などの評価条件を含む。なお、全体、性別、年代、性別及び年代のいずれか１つまたは２つ以上を組み合わせたものが評価条件として設定されても良い。

【0054】

端末２は、受け付けた複数のパッケージ画像と、設定された評価条件とをサーバ１に送信する。サーバ１は、端末２から送信された複数のパッケージ画像及び評価条件を受信する。サーバ１は、受信した評価条件に応じて、該当するパッケージデザインの好意度の加重平均値を取得する。

【0055】

例えば、男性が評価条件として設定された場合、サーバ１は、取得した複数のパッケージ画像を、男性に対応する好意度予測モデル１７１に入力し、男性に対応するそれぞれのパッケージ画像に含まれるパッケージデザインの好意度の加重平均値を出力する。または、性別及び年代が評価条件として設定された場合、サーバ１は、取得した複数のパッケージ画像を、設定された性別及び年代に対応する好意度予測モデル１７１に入力し、設定された性別及び年代に対応するそれぞれのパッケージ画像に含まれるパッケージデザインの好意度の加重平均値を出力する。

【0056】

更にまた、全体が評価条件として設定された場合、サーバ１は、取得したそれぞれのパッケージ画像を、各性別及び年代に対応する好意度予測モデル１７１に入力し、各性別及び年代に対応するそれぞれのパッケージ画像に含まれるパッケージデザインの好意度の加重平均値を出力する。サーバ１は、取得した各々の好意度の加重平均値に基づき、好意度の加重平均値の平均値を算出する。サーバ１は、算出した好意度の加重平均値の平均値を全体の好意度の加重平均値として出力する。

【0057】

サーバ１は、評価条件に応じて取得した好意度の加重平均値を、それぞれのパッケージ画像に対応付けて端末２に送信する。端末２は、サーバ１から送信された好意度の加重平均値をそれぞれのパッケージ画像に対応付けて画面に表示する。

【0058】

具体的には、端末２は、パッケージ画像及び該パッケージ画像のファイル名をパッケージ画像表示欄１１ａに表示する。端末２は、設定された評価条件に応じて、パッケージ画像に対応する好意度の加重平均値及び加重平均値を示す縦棒を好意度表示欄１１ｂに表示する。端末２は、パッケージ画像の選択時の順を記憶部２２から取得し、取得した選択時の順を選択順番表示欄１１ｃに表示する。

【0059】

図示のように、パッケージ画像及び該パッケージ画像のファイル名（例えば、1.jpg、2.jpg）がパッケージ画像表示欄１１ａに表示される。それぞれのパッケージ画像と、全体、男性、女性、女性２０代及び男性２０代ごとにそれぞれのパッケージ画像に対応する好意度の加重平均値及び加重平均値を示す縦棒とが対応付けて好意度表示欄１１ｂに表示される。パッケージ画像の選択時の順（１、２）が選択順番表示欄１１ｃに表示される。

【0060】

図９は、好意度に関する情報を出力する際の処理手順を示すフローチャートである。端末２の制御部２１は、パッケージデザインを含むパッケージ画像を記憶部２２または撮影部２６により取得する（ステップＳ２１１）。なお、制御部２１は、単一のパッケージ画像を取得しても良く、または複数のパッケージ画像（例えば、１０枚）を取得しても良い。制御部２１は入力部２４を介して、パッケージ画像を評価するために、全体、性別、年代、性別及び年代のいずれか１つまたは２つ以上を組み合わせたものに基づいて設定された評価条件の設定を受け付ける（ステップＳ２１２）。

【0061】

制御部２１は、取得したパッケージ画像と、受け付けた評価条件とを通信部２３によりサーバ１に送信する（ステップＳ２１３）。サーバ１の制御部１１は、端末２から送信されたパッケージ画像及び評価条件を通信部１３により受信する（ステップＳ１１１）。制御部１１は、受信した評価条件に応じて学習済みの好意度予測モデル１７１を特定する（ステップＳ１１２）。制御部１１は、特定した好意度予測モデル１７１に、受信したパッケージ画像を入力して、設定された評価条件に応じて、パッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力する（ステップＳ１１３）。なお、複数のパッケージ画像の場合、制御部１１は、受信したそれぞれのパッケージ画像を好意度予測モデル１７１に入力して、設定された評価条件に応じて、それぞれのパッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力する。

【0062】

制御部１１は、出力したパッケージデザインの好意度に関する情報を通信部１３により端末２に送信する（ステップＳ１１４）。端末２の制御部２１は、サーバ１から送信された好意度に関する情報を通信部２３により受信する（ステップＳ２１４）。制御部２１は表示部２５を介して、受信した好意度に関する情報を、設定された評価条件に対応付けて表示し（ステップＳ２１５）、処理を終了する。

【0063】

本実施形態によると、パッケージデザインを含むパッケージ画像に基づき、好意度予測モデル１７１を用いて該パッケージデザインの好意度に関する情報を出力することが可能となる。

【0064】

本実施形態によると、性別または年代ごとにパッケージデザインの好意度を出力することにより、ユーザの性別及び年齢層によって変化する好意度を把握することが可能となる。

【0065】

＜変形例１＞
商品のカテゴリ毎に設定されたスコアを用いて、好意度予測モデル１７１を学習させる処理を説明する。商品のカテゴリは、例えばビール、チューハイ・カクテル、炭酸飲料、お茶・紅茶・コーヒー、栄養ドリンク、調味料、カップ麺・袋麺、スープ類、デザート類、常温食品または冷凍食品等を含む。その他、洗剤、仕上げ剤、水筒または化粧品等が商品のカテゴリに含まれても良い。

【0066】

図１０は、スコアを用いて学習させるための訓練データＤＢ１７２のレコードレイアウトの一例を示す説明図である。なお、図３と重複する内容については同一の符号を付して説明を省略する。訓練データＤＢ１７２は、カテゴリ列及びスコア列を含む。カテゴリ列は、商品のカテゴリを記憶している。スコア列は、商品のカテゴリ毎に設定された評価指数を記憶している。

【0067】

まず、スコアの作成処理を説明する。サーバ１は、商品のカテゴリ毎に、商品を検索するためのブランド名及び企業名の入力を受け付ける。ブランド名及び企業名は、例えば「ブランドＡ 株式会社ＡＡＡ」等である。なお、「ブランド＋企業名」に限定せず、例えば「商品名＋企業名」または「ブランド名＋カテゴリ名」等であっても良い。サーバ１は検索エンジン経由で、受け付けたブランド名及び企業名に対する検索ヒット数を取得する。検索エンジンは、例えばＧＯＯＧＬＥ（登録商標）、またはＹＡＨＯＯ（登録商標）等であっても良い。

【0068】

サーバ１は、取得したブランド名及び企業名に対する検索ヒット数の対数を算出し、算出した検索ヒット数の対数をスコアとして出力する。サーバ１は、商品のカテゴリ内の複数のブランドにおけるスコアの平均値を算出する。サーバ１は、算出したスコアの平均値を商品のカテゴリに対応付けて訓練データＤＢ１７２に記憶する。

【0069】

次に、スコアを用いて好意度予測モデル１７１を学習させる処理を説明する。
図１１は、スコアを用いて学習させる好意度予測モデル１７１を説明する説明図である。なお、図５と重複する内容については説明を省略する。変形例１の好意度予測モデル１７１は、ＲｅｓＮｅｔ５０のネットワーク構造が適用される。サーバ１は、パッケージ画像及び該パッケージ画像に対応するスコアと、該パッケージ画像に含まれるパッケージデザインの好意度とが対応付けられた訓練データの組み合わせを訓練データＤＢ１７２から複数取得する。

【0070】

サーバ１は、取得した訓練データ用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像をＲｅｓＮｅｔ５０の全結合層（ＦＣ）１６ｃを除いたネットワーク１６ａに入力する。ネットワーク１６ａは、パッケージ画像の特徴量を抽出し、抽出したパッケージ画像の特徴量を、バックプロパゲーションによりパラメータが学習された全結合層１６ｃに受け渡す。サーバ１は、該パッケージ画像に対応するスコアを全結合層１６ｂに入力する。全結合層１６ｃは、パッケージ画像の特徴量と、全結合層１６ｂに入力されたスコアとを結合し、結合した情報に基づいてパッケージデザインの好意度に関する情報を予測する。予測結果は、ニューロンを有する出力層に出力される。

【0071】

サーバ１は、出力層から出力された予測結果を、訓練データにおいてパッケージ画像及びスコアに対しラベル付けされた情報、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。これにより、サーバ１は当該訓練データを用いて好意度予測モデル１７１の学習を行うことで、学習させた好意度予測モデル１７１を大容量記憶部１７に更新する。

【0072】

サーバ１は、パッケージ画像及び該パッケージ画像に対応するスコアを取得した場合、取得したパッケージ画像及びスコアを好意度予測モデル１７１に入力してパッケージデザインの好意度に関する情報を出力する。

【0073】

なお、上述した処理に限るものではない。商品のカテゴリと、商品のカテゴリ毎に設定されたスコアとを用いて、好意度予測モデル１７１を学習させても良い。この場合、サーバ１は、パッケージ画像をネットワーク１６ａに入力する。ネットワーク１６ａは、パッケージ画像の特徴量を抽出し、抽出したパッケージ画像の特徴量を全結合層１６ｃに受け渡す。サーバ１は、商品のカテゴリを示すラベルと、カテゴリ毎に設定されたスコアとを結合して１つのベクトルにしたベクトル情報を全結合層１６ｂに入力する。カテゴリを示すラベルは、例えばビール、チューハイ・カクテル、その他アルコール、炭酸飲料、お茶・紅茶・コーヒー、インスタント飲料、栄養ドリンク、その他飲料、調味料、カップ麺・袋麺、スープ類、デザート類、常温食品、冷凍食品、冷蔵食品、チョコ・飴・グミ、アイス、スナック菓子、その他菓子、化粧品、シャンプー、医薬品、リップクリーム、衛生用品、ペットフード及び鍋つゆを有する２６種類のラベルであっても良い。なお、上述した２６種類のラベルは一例であり、これに限るものではない。

【0074】

全結合層１６ｃは、パッケージ画像の特徴量と、全結合層１６ｂに入力されたベクトル情報とに基づいてパッケージデザインの好意度に関する情報を予測する。予測結果は、ニューロンを有する出力層に出力される。

【0075】

本変形例１によると、商品のカテゴリ毎に設定されたスコアを用いて好意度予測モデル１７１を学習させることが可能となる。

【0076】

本変形例１によると、スコアを用いて学習させた好意度予測モデル１７１を利用することにより、好意度に関する情報の予測精度を向上することが可能となる。

【0077】

（実施形態２）
実施形態２は、商品のパッケージデザインを含むパッケージ画像と、パッケージデザインの好意度に関する情報に影響を及ぼした領域を示す指標とを関連付けて出力する形態に関する。なお、実施形態１と重複する内容については説明を省略する。なお、本実施形態では、好意度に関する情報に影響を及ぼした領域を示す指標をヒートマップの表現形式で説明するが、これに限らず、他のデータの可視化技術を利用しても良い。

【0078】

サーバ１は、端末２から送信された複数のパッケージ画像に基づき、それぞれのパッケージ画像に対応するヒートマップを生成する。サーバ１は、生成したそれぞれのヒートマップを、それぞれのパッケージ画像に対応付けて端末２に送信する。端末２は、サーバ１から送信されたそれぞれのパッケージ画像、及びそれぞれのパッケージ画像に対応するヒートマップを受信する。端末２は、受信したそれぞれのパッケージ画像と、それぞれのパッケージ画像に対応するヒートマップとを関連付けて画面に表示する。

【0079】

図１２は、パッケージ画像とヒートマップとを関連付けて出力する際の処理手順を示すフローチャートである。端末２の制御部２１は、複数のパッケージ画像を記憶部２２または撮影部２６により取得する（ステップＳ２２１）。制御部２１は、取得した複数のパッケージ画像を通信部２３によりサーバ１に送信する（ステップＳ２２２）。

【0080】

サーバ１の制御部１１は、複数のパッケージ画像を通信部１３により端末２から受信する（ステップＳ１２１）。制御部１１は、受信したそれぞれのパッケージ画像を好意度予測モデル１７１に入力し、それぞれのパッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力する（ステップＳ１２２）。制御部１１は、それぞれのパッケージ画像から、好意度予測モデル１７１が出力した好意度に関する情報に影響を及ぼした領域をそれぞれ抽出する（ステップＳ１２３）。制御部１１は、抽出したそれぞれの領域を示す指標に基づいてヒートマップを生成する（ステップＳ１２４）。

【0081】

具体的には、制御部１１は、好意度予測モデル１７１の全結合層の逆伝搬を計算する。制御部１１は、逆伝搬によって得られた好意度予測モデル１７１の中間層により特徴量を抽出したパッケージ画像に基づき、該パッケージ画像のヒートマップを生成する。ヒートマップの生成は、例えばＣＡＭ（Class Activation Mapping）、Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）、または、Ｇｒａｄ－ＣＡＭ＋＋等の公知の手法により行なえる。

【0082】

制御部１１は通信部１３を介して、生成したそれぞれのヒートマップを、それぞれのパッケージ画像に対応付けて端末２に送信する（ステップＳ１２５）。端末２の制御部２１は、サーバ１から送信されたそれぞれのパッケージ画像、及びそれぞれのパッケージ画像に対応するヒートマップを通信部２３により受信する（ステップＳ２２３）。制御部２１は表示部２５を介して、受信したそれぞれのパッケージ画像と、それぞれのパッケージ画像に対応するヒートマップとを関連付けて画面に表示し（ステップＳ２２４）、処理を終了する。

【0083】

図１３は、ヒートマップの表示画面の一例を示す説明図である。該画面は、パッケージ画像表示欄１２ａ、ヒートマップ表示欄１２ｂ及びファイル名表示欄１２ｃを含む。パッケージ画像表示欄１２ａは、パッケージ画像を表示する表示欄である。ヒートマップ表示欄１２ｂは、パッケージ画像に対応するヒートマップを表示する表示欄である。ファイル名表示欄１２ｃは、パッケージ画像のファイル名を表示する表示欄である。

【0084】

端末２は、複数のパッケージ画像をサーバ１に送信する。サーバ１は、端末２から送信された複数のパッケージ画像に基づき、それぞれのパッケージ画像に対応するヒートマップを生成する。サーバ１は、生成したそれぞれのヒートマップを、それぞれのパッケージ画像に対応付けて端末２に送信する。端末２は、サーバ１から送信されたそれぞれのパッケージ画像、及びそれぞれのパッケージ画像に対応するヒートマップを受信する。

【0085】

端末２は、受信したそれぞれのパッケージ画像と、それぞれのパッケージ画像に対応するヒートマップとを関連付けて画面に表示する。具体的には、端末２は、受信したパッケージ画像をパッケージ画像表示欄１２ａに表示し、該パッケージ画像に対応するヒートマップをヒートマップ表示欄１２ｂに表示し、該パッケージ画像のファイル名をファイル名表示欄１２ｃに表示する。例えば、パッケージ画像の特徴量を基にして、好意度に関する情報に、一番大きな影響を及ぼした領域（注目された箇所）が赤く、２番目に大きな影響を及ぼした領域（やや注目された箇所）をオレンジになるように、影響を及ぼしていない領域（注目されていない箇所）が青くなるようにヒートマップの形式で表現されても良い。なお、図１３では、カラーの代わりにハッチングを用いて例示している。

【0086】

なお、端末２は、パッケージ画像に含まれるパッケージデザインの好意度に関する情報を取得し、取得した好意度に関する情報と、該パッケージ画像に対応するヒートマップとを同時に画面に表示しても良い。

【0087】

本実施形態によると、パッケージデザインを含むパッケージ画像と、パッケージデザインの好意度に関する情報に影響を及ぼした領域を示す指標とを関連付けて出力することが可能となる。

【0088】

本実施形態によると、好意度に関する情報に影響を及ぼした領域を示す指標を表示することにより、パッケージデザインにおける注目箇所が一目瞭然になることが可能となる。

【0089】

（実施形態３）
実施形態３は、商品のパッケージデザインを含むパッケージ画像に基づき、人工知能を用いて該パッケージデザインのイメージワードの出現割合を出力する形態に関する。なお、実施形態１～２と重複する内容については説明を省略する。

【0090】

図１４は、実施形態３のサーバ１の構成例を示すブロック図である。なお、図２と重複する内容については説明を省略する。大容量記憶部１７には、出現割合予測モデル１７３（第２学習モデル）が記憶されている。出現割合予測モデル１７３は、パッケージ画像に基づいてパッケージ画像に含まれるパッケージデザインのイメージワードの出現割合を予測する予測器であり、機械学習により生成された学習済みモデルである。

【0091】

図１５は、実施形態３の訓練データＤＢ１７２のレコードレイアウトの一例を示す説明図である。なお、図３と重複する内容については同一の符号を付して説明を省略する。訓練データＤＢ１７２は、イメージワード列を含む。イメージワード列は、パッケージデザインの評価時に好意度の理由を表すための文字（テキスト）を記憶している。

【0092】

イメージワードは、例えば「おいしそう」（非飲食系はなし）、「かわいい」、「シンプル」、「デザイン要素がよい」、「なつかしい」、「やさしい」、「安心感・信頼感がある」、「季節感」、「健康感がある」、「効果・効能を感じる」、「高級感・上質感」、「色味がよい」、「新しい・ユニーク」、「洗練」、「爽やか・清涼感」、「特徴がわかりやすい」、「目立つ・印象に残る」、「綺麗・美しい」または「清潔」等を含む。なお、上述したイメージワードに限定せず、実際のニーズに応じて任意のイメージワードを設定すれば良い。

【0093】

続いて、イメージワードの特定処理を説明する。
図１６は、イメージワードを特定する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、パッケージデザインを評価した評価テキスト集合を取得する（ステップＳ１３１）。評価テキスト集合は、例えばパッケージデザインに対し、任意のフォーマットで書き込まれたレビューまたは感想等の集合であっても良く、またはアンケートによる回答から集合された評価情報であっても良い。評価テキスト集合が記憶部１２または大容量記憶部１７に記憶された場合、制御部１１は、記憶部１２または大容量記憶部１７から評価テキスト集合を取得する。なお、制御部１１は通信部１３を介して、外部装置から評価テキスト集合を取得しても良い。

【0094】

制御部１１は、取得した評価テキスト集合からキーワードのリストを抽出する（ステップＳ１３２）。具体的には、制御部１１は、取得した評価テキスト集合から、出現頻度が所定の出現頻度（例えば、１０００回）以上であるキーワードのリストを抽出する。制御部１１は、抽出したキーワードのリストから、ネガティブワードまたは意味不明ワードを排除する。ネガティブワードは、例えば「悲しい」、「苦しい」、「不満だ」、「不味い」、「困る」または「困惑する」等を含む。例えば制御部１１は、抽出したキーワードのリストに対して形態素解析を行い、さらに、ｔｆ－ｉｄｆ（Term Frequency－Inverse Document Frequency）等、キーワードのリストに出現する各単語をスコアリングするアルゴリズムを利用し、ネガティブワードまたは意味不明ワードを特定する。制御部１１は、抽出したキーワードのリストから、特定したネガティブワードまたは意味不明ワードを排除する。

【0095】

制御部１１は、ネガティブワード及び意味不明ワードを排除したキーワードのリストに対してベクトル化処理を行う（ステップＳ１３３）。例えば制御部１１は、Ｗｏｒｄ２ｖｅｃのような単語をベクトル化する公知の手法を用いて、キーワードのリストに含まれる各々のキーワードをベクトル化しても良い。なお、ベクトル化に関しては、Ｗｏｒｄ２Ｖｅｃのほか、Ｄｏｃ２Ｖｅｃ(Paragraph2vec)、ＬＤＡ（Latent Dirichlet Allocation）またはＮＴＳＧ（Neural Tensor Skip Gram）等によって行われて良い。

【0096】

制御部１１は、ベクトル化した各々のキーワードの特徴情報に基づいて、各々のキーワードを分類する（クラスタリング）（ステップＳ１３４）。クラスタリング（clustering）とは、自然言語処理の一種で、ベクトル化したキーワードを、その方向と大きさから、同一の概念に近い単語の集団（クラスタ）に分ける処理である。

【0097】

制御部１１は、分類した各々のキーワードからパッケージデザインのイメージワードを特定し（ステップＳ１３５）、処理を終了する。例えば制御部１１は、クラスタ毎にイメージワードの入力を受け付けても良い。なお、ステップＳ１３３の処理で、ベクトル化できていないキーワード（例えば、おいしそう）が手動入力によりイメージワードに追加されても良い。特定されたイメージワードは、パッケージ画像に対応付けて後述の訓練データの生成時に利用される。なお、本実施形態では、イメージワードの特定処理がサーバ１側で実行されたが、これに限らず、端末２または他の情報処理端末側で実行されても良い。

【0098】

続いて、出現割合予測モデル１７３を用いて、パッケージデザインのイメージワードの出現割合を出力する処理を説明する。
図１７は、出現割合予測モデル１７３を説明する説明図である。出現割合予測モデル１７３は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。出現割合予測モデル１７３は、パッケージデザインを含むパッケージ画像を入力とし、該パッケージデザインのイメージワードの出現割合を出力とするニューラルネットワークを構築済みのイメージワードの出現割合の予測器である。

【0099】

サーバ１は、出現割合予測モデル１７３として、パッケージ画像に含まれるパッケージデザインのイメージワードの出現割合に影響を及ぼした箇所の特徴量を学習するディープラーニングを行うことで出現割合予測モデル１７３を構築する。例えば、出現割合予測モデル１７３はＣＮＮであり、パッケージ画像の入力を受け付ける入力層と、活性化関数（本実施の形態ではソフトマックス関数）を用いて該パッケージ画像に含まれるパッケージデザインのイメージワードの出現割合を出力する出力層（ソフトマックス層：Softmax Layer）と、バックプロパゲーションにより学習済の中間層とを有する。

【0100】

なお、本実施の形態では出現割合予測モデル１７３がＣＮＮであるものとして説明するが、出現割合予測モデル１７３はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルであって良い。

【0101】

サーバ１は、パッケージデザインを含むパッケージ画像と、パッケージデザインのイメージワードとが対応付けられた訓練データの組み合わせを訓練データＤＢ１７２から複数取得する。訓練データは、パッケージ画像に対し、該パッケージ画像に含まれるパッケージデザインのイメージワードがラベル付けされたデータである。

【0102】

サーバ１は、取得した訓練データ用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パッケージ画像に含まれるパッケージデザインのイメージワードの出現割合を取得する。サーバ１は、出力層から出力された予測結果（例えば、出現割合が最も高いイメージワード）を、訓練データにおいてパッケージ画像に対しラベル付けされた情報（イメージワード）、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。

【0103】

サーバ１は、訓練データに含まれる各パッケージ画像について上記の処理を行い、出現割合予測モデル１７３を生成する。これにより、例えばサーバ１は当該訓練データを用いて出現割合予測モデル１７３の学習を行うことで、パッケージデザインのイメージワードの出現割合を出力可能なモデルを構築することができる。

【0104】

サーバ１はパッケージ画像を取得した場合、取得したパッケージ画像を出現割合予測モデル１７３に入力する。サーバ１は、出現割合予測モデル１７３の中間層にてそれぞれのパッケージ画像の特徴量を抽出する演算処理を行う。サーバ１は、抽出した特徴量を出現割合予測モデル１７３の出力層に入力して、該パッケージ画像に含まれるパッケージデザインのイメージワードの出現割合を出力として取得する。

【0105】

図示のように、パッケージ画像に対し、「かわいい」、「シンプル」、「季節感」、「…」、「健康感がある」それぞれの出現割合が、「０．８２」、「０．５５」、「０．３５」、「…」、「０．２５」である予測結果が出力される。

【0106】

また、性別または年代ごとに出現割合予測モデル１７３を生成することができる。具体的には、サーバ１は、性別または年代の設定を受け付け、受け付けた性別または年代に応じて、出現割合予測モデル１７３の生成に用いる訓練データを訓練データＤＢ１７２から複数取得する。サーバ１は、取得した訓練データを用いて、受け付けた性別または年代に対応する出現割合予測モデル１７３を生成する。

【0107】

サーバ１は、性別または年代ごとに生成した出現割合予測モデル１７３を大容量記憶部１７に記憶する。サーバ１は、複数の性別または年代に対して用意された複数の出現割合予測モデル１７３を用いて、性別または年代ごとにパッケージ画像からパッケージデザインのイメージワードの出現割合を出力することができる。

【0108】

なお、上述した処理に限るものではない。商品のカテゴリ毎に設定されたスコアを用いて、出現割合予測モデル１７３を学習させても良い。この場合、サーバ１は、パッケージデザインを含むパッケージ画像と、カテゴリ毎に設定されたスコアとを出現割合予測モデル１７３に入力し、該パッケージデザインのイメージワードの出現割合を出力する。

【0109】

図１８は、イメージワードの出現割合の表示画面の一例を示す説明図である。該画面は、選択コンボボックス１３ａ及びグラフ表示欄１３ｂを含む。選択コンボボックス１３ａは、イメージワードの選択を受け付けるためのコンボボックスである。グラフ表示欄１３ｂは、パッケージ画像とイメージワードの出現割合との関係を示すグラフ（第１グラフ）を表示する表示欄である。

【0110】

端末２は、評価対象となる複数のパッケージ画像を取得する。端末２は、イメージワードの選択を受け付ける。例えば端末２は、１０枚のパッケージ画像（1.jpg、2.jpg、…、10.jpg）を取得し、「おいしそう」の選択を受け付ける。端末２は、取得した複数のパッケージ画像と、受け付けたイメージワードとをサーバ１に送信する。サーバ１は、端末２から送信された複数のパッケージ画像及びイメージワードを受信する。

【0111】

サーバ１は、受信したそれぞれのパッケージ画像を出現割合予測モデル１７３に入力して、出現割合予測モデル１７３の学習時に設定された複数のイメージワードの出現割合それぞれを出力する。サーバ１は、出力した複数のイメージワードの出現割合から、選択されたイメージワード（例えば、おいしそう）に対応する出現割合を各々のパッケージ画像に対応付けて取得する。

【0112】

サーバ１は、パッケージ画像と、選択されたイメージワードの出現割合とに基づき、パッケージ画像とイメージワードの出現割合との関係を示す縦棒グラフを生成する。サーバ１は、生成した縦棒グラフを端末２に送信する。端末２は、サーバ１から送信された縦棒グラフを受信し、受信した縦棒グラフをグラフ表示欄１３ｂに表示する。

【0113】

図示のように、縦棒グラフの縦軸は、選択されたイメージワードの出現割合を示す。横軸は、イメージワードの出現割合の降順に基づいてソートされた各々のパッケージ画像及びパッケージ画像のファイル名を示す。具体的には、サーバ１は、予測されたイメージワードの出現割合の降順に基づき、パッケージ画像及びファイル名を下方部に表示し、イメージワードの出現割合を示す縦棒を中央部に表示し、イメージワードの出現割合（値）及びパッケージ画像の選択時の順を上方部に表示する。なお、イメージワードの出現割合が降順で表示されたが、これに限らず、昇順またはソートなしで表示されても良い。

【0114】

なお、図１８では縦棒グラフの形式としたが、これに限らず、その他のグラフ形式で表示するようにもかまわない。

【0115】

図１９は、イメージワードの出現割合を出力する際の処理手順を示すフローチャートである。端末２の制御部２１は、複数のパッケージ画像を記憶部２２または撮影部２６により取得する（ステップＳ２４１）。制御部２１は、取得した複数のパッケージ画像を通信部２３によりサーバ１に送信する（ステップＳ２４２）。サーバ１の制御部１１は、端末２から送信された複数のパッケージ画像を通信部１３により受信する（ステップＳ１４１）。

【0116】

制御部１１は、受信したそれぞれのパッケージ画像を出現割合予測モデル１７３に入力し、出現割合予測モデル１７３の学習時に設定された複数のイメージワードの出現割合を出力する（ステップＳ１４２）。学習時に設定されたイメージワードは、例えば「おいしそう」（非飲食系はなし）、「かわいい」、「シンプル」、「デザイン要素がよい」、「なつかしい」、「やさしい」、「安心感・信頼感がある」、「季節感」、「健康感がある」、「効果・効能を感じる」、「高級感・上質感」、「色味がよい」、「新しい・ユニーク」、「洗練」、「爽やか・清涼感」、「特徴がわかりやすい」、「目立つ・印象に残る」、「綺麗・美しい」または「清潔」等を含む。

【0117】

端末２の制御部２１は、評価対象となるイメージワード（例えば、おいしそう）の選択を入力部２４により受け付ける（ステップＳ２４３）。制御部２１は、受け付けた評価対象となるイメージワードを通信部２３によりサーバ１に送信する（ステップＳ２４４）。サーバ１の制御部１１は、端末２から送信された評価対象となるイメージワードを通信部１３により受信する（ステップＳ１４３）。制御部１１は、出現割合予測モデル１７３が出力した複数のイメージワードの出現割合から、評価対象となるイメージワードに対応する出現割合を各々のパッケージ画像に対応付けて取得する（ステップＳ１４４）。

【0118】

制御部１１は、パッケージ画像と、評価対象となるイメージワードの出現割合とに基づき、パッケージ画像とイメージワードの出現割合との関係を示すグラフを生成する（ステップＳ１４５）。制御部１１は、生成したグラフを通信部１３により端末２に送信する（ステップＳ１４６）。端末２の制御部２１は、サーバ１から送信されたグラフを通信部２３により受信し（ステップＳ２４５）、受信したグラフを表示部２５により表示し（ステップＳ２４６）、処理を終了する。

【0119】

本実施形態によると、パッケージデザインを含むパッケージ画像に基づき、出現割合予測モデル１７３を用いて該パッケージデザインのイメージワードの出現割合を出力することが可能となる。

【0120】

本実施形態によると、パッケージデザインのイメージワードの出現割合を出力することにより、パッケージデザインの好意度の理由を明確にするため、適当なパッケージデザインを企画することが可能となる。

【0121】

（実施形態４）
実施形態４は、商品のパッケージデザインを含むパッケージ画像に基づき、人工知能を用いて該パッケージデザインの好意度の標準偏差を出力する形態に関する。なお、実施形態１～３と重複する内容については説明を省略する。

【0122】

性別または年代によって、同一パッケージデザインに対して異なる好意度を評価した場合がある。パッケージデザインの好き嫌いの差（バラつき）を好意度の標準偏差で解釈することができる。好意度の標準偏差が高いほど好き嫌いの差が大きくなり、逆に、好意度の標準偏差が低いほど好き嫌いの差が小さくなる。

【0123】

図２０は、実施形態４のサーバ１の構成例を示すブロック図である。なお、図１４と重複する内容については説明を省略する。大容量記憶部１７には、標準偏差予測モデル１７４（第３学習モデル）が記憶されている。標準偏差予測モデル１７４は、パッケージ画像に基づいて該パッケージ画像に含まれるパッケージデザインの好意度の標準偏差を予測する予測器であり、機械学習により生成された学習済みモデルである。

【0124】

図２１は、実施形態４の訓練データＤＢ１７２のレコードレイアウトの一例を示す説明図である。なお、図３と重複する内容については同一の符号を付して説明を省略する。訓練データＤＢ１７２は、標準偏差列を含む。標準偏差列は、パッケージデザインの好意度の標準偏差を記憶している。

【0125】

図２２は、標準偏差予測モデル１７４を説明する説明図である。標準偏差予測モデル１７４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。標準偏差予測モデル１７４は、パッケージデザインを含むパッケージ画像を入力とし、該パッケージデザインの好意度の標準偏差を出力とするニューラルネットワークを構築済みの好意度の標準偏差の予測器である。

【0126】

サーバ１は、パッケージ画像に含まれるパッケージデザインの好意度に影響を及ぼした箇所の特徴量を学習するディープラーニングを行うことで標準偏差予測モデル１７４を構築する。例えば、標準偏差予測モデル１７４はＣＮＮであり、パッケージデザインを含むパッケージ画像の入力を受け付ける入力層と、該パッケージデザインの好意度の標準偏差を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0127】

なお、本実施の形態では標準偏差予測モデル１７４がＣＮＮであるものとして説明するが、標準偏差予測モデル１７４はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルであって良い。

【0128】

サーバ１は、パッケージデザインを含むパッケージ画像と、複数人のパッケージデザインの好意度に関する情報に基づいて算出された標準偏差とが対応付けられた訓練データの組み合わせを訓練データＤＢ１７２から複数取得する。訓練データは、パッケージデザインを含むパッケージ画像に対し、該パッケージデザインの好意度の標準偏差がラベル付けされたデータである。

【0129】

訓練データの作成に関しては、例えばサーバ１は、１つのパッケージ画像に対して１０００人による回答の好意度を、最大５（好き）から最小１（嫌い）までの５段階で取得する。サーバ１は、取得した１０００人による回答の好意度の平均値を算出する。サーバ１は、算出した好意度の平均値に基づき、１０００人による回答の好意度の標準偏差を算出する。サーバ１は、パッケージ画像に対し、１０００人の該パッケージデザインの好意度の標準偏差をラベル付けることにより、訓練データを作成することができる。

【0130】

サーバ１は、取得した訓練データを用いて学習を行う。具体的には、サーバ１は、訓練データであるパッケージ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パッケージ画像に含まれるパッケージデザインの好意度の標準偏差を取得する。サーバ１は、出力層から出力された予測結果を、訓練データにおいてパッケージ画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの予測値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。

【0131】

サーバ１は、訓練データに含まれる各パッケージ画像について上記の処理を行い、標準偏差予測モデル１７４を生成する。これにより、例えばサーバ１は当該訓練データを用いて標準偏差予測モデル１７４の学習を行うことで、パッケージデザインの好意度の標準偏差を出力可能なモデルを構築することができる。

【0132】

サーバ１は、パッケージデザインを含むパッケージ画像を取得した場合、取得したパッケージ画像を標準偏差予測モデル１７４に入力する。サーバ１は、標準偏差予測モデル１７４の中間層にてそれぞれのパッケージ画像の特徴量を抽出する演算処理を行う。サーバ１は、抽出した特徴量を標準偏差予測モデル１７４の出力層に入力して、パッケージデザインの好意度の標準偏差を出力として取得する。図示のように、「１．０１０」である好意度の標準偏差が標準偏差予測モデル１７４から出力される。

【0133】

なお、上述した処理に限るものではない。商品のカテゴリ毎に設定されたスコアを用いて、標準偏差予測モデル１７４を学習させても良い。この場合、サーバ１は、パッケージデザインを含むパッケージ画像と、カテゴリ毎に設定されたスコアとを標準偏差予測モデル１７４に入力し、該パッケージデザインの好意度の標準偏差を出力する。

【0134】

また、性別または年代ごとに標準偏差予測モデル１７４を生成することができる。具体的には、サーバ１は、性別または年代の設定を受け付け、受け付けた性別または年代に応じて、標準偏差予測モデル１７４の生成に用いる訓練データを訓練データＤＢ１７２から複数取得する。サーバ１は訓練データを用いて、受け付けた性別または年代に対応する標準偏差予測モデル１７４を生成する。

【0135】

サーバ１は、性別または年代ごとに生成した標準偏差予測モデル１７４を大容量記憶部１７に記憶する。サーバ１は、複数の性別または年代に対して用意された複数の標準偏差予測モデル１７４を用いて、性別または年代ごとにパッケージ画像からパッケージデザインの好意度の標準偏差を出力することができる。

【0136】

図２３は、好意度の標準偏差の表示画面の一例を示す説明図である。該画面は、グラフ表示欄１４ａ及び好意度表示欄１４ｂを含む。グラフ表示欄１４ａは、パッケージ画像と好意度の標準偏差との関係を示すグラフを表示する表示欄である。好意度表示欄１４ｂは、好意度に関する情報を表示する表示欄である。

【0137】

端末２は、評価対象となる複数のパッケージ画像を取得し、取得した複数のパッケージ画像をサーバ１に送信する。サーバ１は、端末２から送信された複数のパッケージ画像を受信する。サーバ１は、受信したそれぞれのパッケージ画像を好意度予測モデル１７１に入力して、それぞれのパッケージ画像に含まれるパッケージデザインの好意度に関する情報を出力する。好意度に関する情報は、例えば好意度の加重平均値である。サーバ１は、受信したそれぞれのパッケージ画像を標準偏差予測モデル１７４に入力して、それぞれのパッケージ画像に含まれるパッケージデザインの好意度の標準偏差を出力する。

【0138】

サーバ１は、パッケージ画像及び好意度の標準偏差に基づき、パッケージ画像と好意度の標準偏差との関係を示す縦棒グラフを生成する。サーバ１は、生成した縦棒グラフと、それぞれのパッケージデザインの好意度の加重平均値とを端末２に送信する。端末２は、サーバ１から送信された縦棒グラフ、及びそれぞれのパッケージデザインの好意度の加重平均値を受信する。端末２は、受信した縦棒グラフをグラフ表示欄１４ａに表示し、受信したそれぞれのパッケージデザインの好意度の加重平均値を該当するパッケージ画像に対応付けて好意度表示欄１４ｂに表示する。

【0139】

図示のように、縦棒グラフの縦軸は、パッケージデザインの好意度の標準偏差を示す。横軸は、好意度の標準偏差の降順に基づいてソートされた各々のパッケージ画像を示す。具体的には、サーバ１は、予測された好意度の標準偏差の降順に基づき、パッケージ画像及び該パッケージ画像のファイル名を下方部に表示し、好意度の標準偏差を示す縦棒を中央部に表示し、好意度の標準偏差（値）及びパッケージ画像の選択時の順を上方部に表示する。パッケージデザインの好意度の加重平均値が、該当するパッケージ画像のファイル名の下方部に表示される。なお、好意度の標準偏差が降順で表示されたが、これに限らず、昇順またはソートなしで表示されても良い。

【0140】

なお、図２３では縦棒グラフの形式としたが、これに限らず、その他のグラフ形式で表示するようにもかまわない。

【0141】

図２４は、好意度の標準偏差を出力する際の処理手順を示すフローチャートである。端末２の制御部２１は、複数のパッケージ画像を記憶部２２または撮影部２６により取得する（ステップＳ２５１）。制御部２１は、取得した複数のパッケージ画像を通信部２３によりサーバ１に送信する（ステップＳ２５２）。サーバ１の制御部１１は、複数のパッケージ画像を通信部１３により端末２から受信する（ステップＳ１５１）。制御部１１は、受信したそれぞれのパッケージ画像を標準偏差予測モデル１７４に入力し、該パッケージ画像に含まれるパッケージデザインの好意度の標準偏差を出力する（ステップＳ１５２）。

【0142】

制御部１１は、パッケージ画像及びパッケージデザインの好意度の標準偏差に基づき、パッケージ画像と好意度の標準偏差との関係を示すグラフを生成する（ステップＳ１５３）。制御部１１は、生成したグラフを通信部１３により端末２に送信する（ステップＳ１５４）。端末２の制御部２１は、サーバ１から送信されたグラフを通信部２３により受信し（ステップＳ２５３）、受信したグラフを表示部２５により表示し（ステップＳ２５４）、処理を終了する。

【0143】

本実施形態によると、パッケージデザインを含むパッケージ画像に基づき、標準偏差予測モデル１７４を用いて該パッケージデザインの好意度の標準偏差を出力することが可能となる。

【0144】

本実施形態によると、好意度の標準偏差を出力することにより、パッケージデザインの好き嫌いの傾向を把握することが可能となる。

【0145】

（実施形態５）
実施形態５は、パッケージ画像に基づいて各種の予測結果を出力する形態に関する。なお、実施形態１～４と重複する内容については説明を省略する。予測結果は、好意度予測モデル１７１から出力された好意度に関する情報、出現割合予測モデル１７３から出力されたイメージワードの出現割合、及び標準偏差予測モデル１７４から出力された好意度の標準偏差を含む。

【0146】

本実施形態では、サーバ１は、好意度に関する情報を表示するための第１オブジェクト、イメージワードの出現割合を表示するための第２オブジェクト、及び好意度の標準偏差を表示するための第３オブジェクトを選択可能に端末２に表示させる。端末２は、第１オブジェクト、第２オブジェクトまたは第３オブジェクトの選択を受け付け、受け付けたオブジェクトに応じて該当する予測結果を画面に表示する。

【0147】

図２５は、各種の予測結果の表示画面の一例を示す説明図である。該画面は、好意度タブ１５ａ、ヒートマップタブ１５ｂ、イメージワードタブ１５ｃ、標準偏差（バラつき）タブ１５ｄ及び予測結果表示欄１５ｅを含む。

【0148】

好意度タブ１５ａは、好意度に関する情報を表示するためのタブである。ヒートマップタブ１５ｂは、ヒートマップを表示するためのタブである。イメージワードタブ１５ｃは、イメージワードの出現割合を表示するためのタブである。標準偏差タブ１５ｄは、好意度の標準偏差を表示するためのタブである。予測結果表示欄１５ｅは、好意度に関する情報、ヒートマップ、イメージワードの出現割合、または好意度の標準偏差を表示する表示欄である。

【0149】

端末２は、好意度タブ１５ａのタッチ操作を受け付けた場合、好意度に関する情報を予測結果表示欄１５ｅに表示する。端末２は、ヒートマップタブ１５ｂのタッチ操作を受け付けた場合、パッケージ画像と該パッケージ画像に対応するヒートマップとを対応付けて予測結果表示欄１５ｅに表示する。端末２は、イメージワードタブ１５ｃのタッチ操作を受け付けた場合、イメージワードの出現割合を予測結果表示欄１５ｅに表示する。端末２は、標準偏差タブ１５ｄのタッチ操作を受け付けた場合、好意度の標準偏差を予測結果表示欄１５ｅに表示する。

【0150】

なお、好意度に関する情報、ヒートマップ、イメージワードの出現割合及び好意度の標準偏差の表示処理に関しては、図８、図１３、図１８及び図２３での表示処理と同様であるため、説明を省略する。

【0151】

本実施形態によると、ユーザの選択により好意度に関する情報、イメージワードの出現割合または好意度の標準偏差を出力することが可能となる。

【0152】

なお、上述した好意度予測モデル１７１、出現割合予測モデル１７３及び標準偏差予測モデル１７４の生成（構築）、学習及び予測処理がサーバ１側で行われたが、これに限らず、端末２側で行われても良い。

【0153】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0154】

１ 情報処理装置（サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 好意度予測モデル
１７２ 訓練データＤＢ
１７３ 出現割合予測モデル
１７４ 標準偏差予測モデル
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 情報処理端末（端末）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
２Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】