(58)【調査した分野】(Int.Cl.,DB名)
前記評価結果取得部は、一対の前記第1画像を抽出して、抽出した一対の前記第1画像の比較結果を前記評価結果として取得する処理を、抽出する前記第1画像を切り替えつつ繰り返す、
請求項1又は請求項2に記載の画像生成システム。
前記第1レーティング部は、前記第1画像毎にスコアを付与して、前記スコアに基づき、前記第1画像にレーティングを付与するものであり、肯定的な前記評価結果となった前記第1画像のスコアを増加させ、否定的な前記評価結果となった前記第1画像のスコアを低下させる、請求項2に記載の画像生成システム。
【発明を実施するための形態】
【0018】
以下に添付図面を参照して、本発明の好適な実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。
【0019】
図1は、本実施形態に係る画像生成システムの模式的なブロック図である。
図1に示すように、本実施形態に係る画像生成システム1は、例えばコンピュータであり、入力部10と、出力部12と、記憶部14と、制御部16とを備える。入力部10は、操作者の操作を受け付ける装置であり、例えばマウスやキーボードやタッチパネルなどである。出力部12は、情報を出力する装置であり、本実施形態では、画像を表示する表示装置である。記憶部14は、制御部16の演算内容やプログラムの情報などを記憶するメモリである。記憶部14は、後述のCNN(Conventional Neural Network:畳み込みニューラルネットワーク)モデルCを記憶する。記憶部14は、例えば、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含み、主記憶装置及び外部記憶装置の少なくとも1つに、制御部16の演算内容やプログラムの情報などを記憶する。また、記憶部14は、例えばRAM(Random Access Memory)などの揮発性の記憶装置を含んでよく、制御部16が、ROMからRAMにプログラムを読み出して実行してよい。制御部16は、演算装置、すなわちCPU(Central Processing Unit)である。
【0020】
画像生成システム1は、商品用画像PCを生成する装置である。本実施形態における商品用画像PCは、商品のパッケージに付される画像であり、パッケージデザイン用の画像であるといえる。パッケージとは、例えば、商品の包装や容器などを指す。
図2は、パッケージの一例を示す模式図である。
図2の例に示すように、商品のパッケージTには、表面に文字やマークや模様などが印刷されている。本実施形態における商品用画像PCは、パッケージTの表面に印刷される文字やマークや模様などを含んだ画像であるといえる。消費者は、パッケージTの表面に印刷される文字やマークや模様などを視認することで、商品を識別するため、商品用画像PCは、商品の情報を示す画像であるといえる。なお、
図2では、商品が飲料であり、パッケージTが飲料の容器であり、パッケージTの表面に商品用画像PCが印刷された例を説明している。ただし、パッケージTは、飲料の容器に限られず、任意の商品のパッケージであってよい。また、商品用画像PCは、商品の情報を示す画像であり、パッケージTに付される画像であることに限られない。例えば、商品用画像PCは、例えばパッケージTに貼り付けられたラベルに商品用画像PCが印刷されていてもよいし、商品に直接付されてもよい。また、本実施形態の商品用画像PCは、パッケージなどの表面に付される2次元の画像データであるが、例えばパッケージや商品の立体的な形状の情報も含んだ3次元データであってもよい。
【0021】
画像生成システム1は、制御部16が記憶部14に記憶されたプログラムを読み出して処理を実行することで、商品用画像PCを生成する。
図1に示すように、制御部16は、学習部20及び商品用画像生成部22を含む。学習部20は、教師データを用いて学習されたCNNモデルCを生成し、商品用画像生成部22は、CNNモデルCに基づき商品用画像PCを生成する。学習部20及び商品用画像生成部22は、制御部16が記憶部14に記憶されたプログラム(ソフトウェア)を読み出すことで実現され、以降で説明する処理を実行する。
【0022】
学習部20は、第1画像取得部30と、評価結果取得部32と、第1レーティング部34と、モデル生成部36とを含む。
【0023】
図3は、第1画像の例を示す模式図である。第1画像取得部30は、内容が異なる複数の第1画像PAを取得する。第1画像PAは、CNNモデルCの教師データとなる画像である。第1画像PAは、画像を特徴付ける複数種類の要素が含まれており、それぞれの第1画像PAは、要素の内容が互いに異なっている。
図3の例では、第1画像PAは、複数種類の要素として、マークEA1a、文字EA1b、および背景色EA1cを含んでいる。そして、それぞれの第1画像PAは、マークEA1a、文字EA1b、および背景色EA1cの内容が、互いに異なっている。例えば、
図3の第1画像PA1、PA2、PA3、PA4は、マークEA1a、文字EA1b、および背景色EA1cが、互いに異なっている。一例として、第1画像PA1、PA2、PA3、PA4のマークEA1aは、それぞれ丸、三角、四角、菱形となっており、要素としてのマークEA1aの内容が、互いに異なっているといえる。また、第1画像PA1、PA2、PA3、PA4は、マークEA1a及び文字EA1bの位置(座標)も、互いに異なっており、マークEA1a及び文字EA1bの位置も、画像を特徴付ける要素であるといえる。なお、
図3の例では、1つの第1画像PAに、マークEA1a及び文字EA1bが1つずつ設けられているが、マークEA1a及び文字EA1bが複数設けられていてもよい。また、
図3の例では、それぞれの第1画像PAは、全ての要素(ここでは、マークEA1a、文字EA1b、背景色EA1c、およびマークEA1a及び文字EA1bの位置)が、互いに異なっているが、それに限られない。それぞれの第1画像PAは、複数種類の要素のうち、少なくとも1つの要素の内容が、他の第1画像PAの要素の内容と異なるものであってよい。また、それぞれの第1画像PAは、要素の数が異なっていてもよい。また、第1画像PAの要素は、マークEA1a、文字EA1b、背景色EA1c、マークEA1aの位置、および文字EA1bの位置に限られない。
【0024】
図4は、それぞれの第1画像の要素の例を示した表である。第1画像取得部30は、それぞれの第1画像PAを生成する。本実施形態においては、要素の種類毎に、内容が異なる複数の要素のデータが、記憶部14に記憶されている。第1画像取得部30は、記憶部14から、各種類の要素について、複数の要素の内容のうちから要素の内容を選択して読み出して、読み出した要素の内容を用いて第1画像PAを生成する。第1画像取得部30は、複数の要素の内容のうちから、読み出す要素の内容を、ランダムに選択してよい。例えば、記憶部14は、形状(内容)が異なる複数のマークEA1aなどを記憶しており、それらの複数のマークEA1aのうちから、1つのマークEA1a(例えば丸形状のマークなど)を読み出して、第1画像PAを生成する。例えば、
図4の例では、第1画像取得部30は、複数のマークEA1aから選択したマークEA1a1と、複数の文字EA1bから選択した文字EA1b10と、複数の背景色EA1cから選択した背景色EA1c20と、複数のマーク位置(マークEA1の位置)から選択したマーク位置EA1d15と、複数の文字位置(文字EA1bの位置)から選択した文字位置EA1e100と、を用いて、第1画像PA1を生成している。そして、
図4の例では、第1画像取得部30は、複数のマークEA1aから選択したマークEA1a28と、複数の文字EA1bから選択した文字EA1b120と、複数の背景色EA1cから選択した背景色EA1c8と、複数のマーク位置(マークEA1の位置)から選択したマーク位置EA1d1と、複数の文字位置(文字EA1bの位置)から選択した文字位置EA1e88と、を用いて、第1画像PA2を生成している。
【0025】
なお、第1画像取得部30による第1画像PAの取得方法は、これに限られない。例えば、第1画像取得部30は、入力部10への操作者の操作に基づき第1画像PAを生成してもよいし、外部の装置から第1画像PAのデータを受信することにより、第1画像PAを取得してもよい。また、
図4の例では、第1画像取得部30が取得する第1画像PAの数は、PA1からPA100までの100個となっているが、第1画像取得部30が取得する第1画像PAの数は、任意であってよい。第1画像取得部30が取得する第1画像PAの数は、少なくとも3つ以上であることが好ましい。
【0026】
図5は、第1画像を評価するための画像の一例を示す図である。
図1に示す評価結果取得部32は、複数の第1画像PAの評価結果を取得する。本実施形態においては、評価結果取得部32は、第1ユーザ(ユーザ)による第1画像PAの評価結果を取得する。第1画像PAを評価する第1ユーザは、任意の人であってよいが、例えば商品を販売するターゲットとなる消費者であることが好ましい。また、第1ユーザは、複数人であってもよいし1人であってもよい。評価結果取得部32は、第1画像取得部30が取得した複数の第1画像PAから、一部の複数の第1画像PAを抽出して、抽出した第1画像PAを第1ユーザに比較させて評価させ、その評価結果を取得する。本実施形態では、評価結果取得部32は、第1画像取得部30が取得した複数の第1画像PAから、一対(2つ)の第1画像PAを選択して抽出する。評価結果取得部32は、
図5に示すように、抽出した2つの第1画像PAを、出力部12に表示させて、第1ユーザによる評価結果の入力を受け付ける。評価結果取得部32は、1つの画面上で、2つの第1画像PAを並んで表示させることが好ましい。第1ユーザは、出力部12に表示されている2つの第1画像PAを比較して、その比較結果を、評価結果として入力部10に入力する。例えば、第1ユーザは、2つの第1画像PAのうち、自身が好む第1画像PAを選択して、2つの第1画像PAのうちどちらの第1画像PAを好むかの情報を、入力部10に入力する。評価結果取得部32は、第1ユーザが入力した2つの第1画像PAの評価結果を取得する。本実施形態における評価結果とは、2つの第1画像PAのうち、第1ユーザが好む第1画像PAがどちらかを示す情報であるといえ、第1画像PAに対する第1ユーザの評価結果であるともいえる。なお、第1ユーザによる評価結果の入力方法は任意であるが、例えば、第1ユーザは、自身が好む第1画像PAが表示されている箇所をタッチすることで、評価結果を入力してよい。また、評価結果取得部32は、例えば、第1ユーザに2つの第1画像PAを比較することを促す情報(例えば「好きな画像を選択して下さい。」などの文章)を、2つの第1画像PAと共に出力部12に表示させてもよい。
【0027】
なお、評価結果取得部32が取得する第1画像PAの評価結果は、第1ユーザによる評価結果であることに限られない。例えば、第1画像PAの評価結果が予め設定されており、評価結果取得部32がその評価結果を取得してもよい。
【0028】
このように、評価結果取得部32は、一対の第1画像PAを抽出して、抽出した一対の第1画像PAの評価結果を取得する処理を実行する。評価結果取得部32は、この処理を、抽出する第1画像PAを切り替えつつ繰り返す。評価結果取得部32は、予め設定した所定回数、この処理を実行する。ここでの所定回数は任意に設定されてよい。本実施形態において、評価結果取得部32は、抽出する一対の画像PAを、ランダムに選択する。ただし、評価結果取得部32は、1つの第1画像PAを複数回抽出することで、1つの第1画像PAについて、異なる第1画像PAとの比較結果を取得することが好ましい。また、評価結果取得部32は、抽出される回数が、全ての第1画像PAについて同じとなるように、第1画像PAを抽出することが好ましい。また、評価結果取得部32は、抽出する第1画像PAを切り替えつつ処理を繰り返すが、同じ一対の第1画像PA1を複数回抽出して比較させることが好ましい。言い換えれば、評価結果取得部32は、同じ一対の第1画像PA1を複数回抽出して、抽出する毎に第1ユーザに評価結果を入力させることで、同じ一対の第1画像PAについて、複数の評価結果を取得することが好ましい。
図6は、第1画像の抽出の一例を示す表である。
図6の例においては、評価結果取得部32は、1回目で第1画像PA1、PA2を抽出し、2回目で第1画像PA5、PA10を抽出し、3回目で第1画像PA20、PA100を抽出し、4回目で第1画像PA1、PA30を抽出し、N回目及びN1回目で、1回目と同じペアの第1画像PA1、PA2を抽出している。
【0029】
評価結果取得部32は、以上のようにして、第1ユーザによる複数の第1画像PAの評価結果を取得するが、第1画像PAの評価結果の取得方法は以上説明した方法に限られない。例えば、評価結果取得部32は、3つ以上の第1画像PAを抽出して、それらの第1画像PAについての第1ユーザの比較結果を、評価結果として取得してもよい。また、評価結果取得部32は、抽出した第1画像PAを出力部12に表示させることで、評価結果を取得しているが、それに限られない。例えば、評価結果取得部32は、抽出した第1画像PAを外部に送信することで、出力部12(画像生成システム1)以外の表示装置に、抽出した第1画像PAを表示させてもよい。また、評価結果取得部32は、予め複数のペアの第1画像PAを抽出しておき、それぞれのペアの第1画像PAを、同時又は異なるタイミングで、異なる表示装置に表示させてもよい。
【0030】
図1に示す第1レーティング部34は、評価結果取得部32が取得した第1画像PAの評価結果に基づき、第1画像PAのそれぞれにレーティングを付与する。第1レーティング部34は、イロレーティングの手法を用いて、第1画像PAの評価結果から第1画像PAのレーティングを設定する。
【0031】
図7は、評価結果に応じたスコアの変化の一例を示す表である。本実施形態に係る第1レーティング部34は、それぞれの第1画像PAに、予め同じ値のスコア(点数)を割り当てる。そして、第1レーティング部34は、第1画像PAの評価結果に応じて、第1画像PAのスコアを変化させる。第1レーティング部34は、比較された2つの第1画像PAのうち、肯定的な評価結果となった第1画像PAのスコアを、すなわち第1ユーザが好ましいものとして選択した第1画像PAのスコアを、増加させる。そして、第1レーティング部34は、比較された2つの第1画像PAのうち、否定的な評価結果となった第1画像PAのスコアを、すなわち第1ユーザが好ましいものとして選択しなかった第1画像PAのスコアを、低下させる。第1レーティング部34は、このようなスコアを変化させる処理を、評価結果毎に順番に実行する。この際、第1レーティング部34は、現在(最新)のスコアを反映させた状態で、スコアを変化させる処理を実行する。すなわち例えば、ある1つの第1画像PAのスコアは、最初の評価結果によって変化する場合には、最初に設定されたスコアから変化し、次の評価結果においては、最初の評価結果に基づき変化した後のスコアから変化する。
図7の例では、第1画像PA1のスコアは、1回目の評価結果において300から310に変化して、第1画像PA1がその次に比較された4回目の評価結果においては、1回目の評価結果における変化後の310から、315に変化している。
【0032】
また、第1レーティング部34は、比較された2つの第1画像PAの現在のスコア(今回の評価結果に応じて変化する直前のスコア)に応じて、評価結果に応じた第1画像PAのスコアの変化量を異ならせる。ここで、第1画像PAの現在のスコアが比較相手の第1画像PAの現在のスコアよりも低い場合を、第1ケースとし、第1画像PAの現在のスコアが比較相手の第1画像PAの現在のスコアと同じ場合を、第2ケースとし、第1画像PAの現在のスコアが比較相手の第1画像PAの現在のスコアよりも高い場合を、第3ケースとする。第1レーティング部34は、第1ケースの場合において肯定的な評価結果となった際のスコアの増加量を、第2ケース及び第3ケースの場合において肯定的な比評価結果となった際のスコアの増加量よりも、大きくする。さらに、同じ第1ケースの場合であっても、第1画像PAと比較相手の第1画像PAとの現在のスコアの差分が大きいほど、すなわち第1画像PAのスコアが比較相手のスコアより低いほど、肯定的な評価結果となった際のスコアの増加量を、大きくする。これにより、スコアが高い比較相手に対して肯定的な評価結果となった場合に、すなわち強い比較相手に勝利した場合に、スコアの増加量を大きくすることができ、スコアが低い比較相手に対して肯定的な評価結果となった場合に、すなわち弱い比較相手に勝利した場合に、スコアの増加量を小さくすることができる。
図7の例においては、例えば、強い比較相手に勝利したM1回目の評価結果における第1画像PA23のスコアの上昇量が、弱い比較相手に勝利したM回目の評価結果における第1画像PA12のスコアの上昇量よりも、大きくなっている。
【0033】
また、第1レーティング部34は、第3ケースの場合において否定的な評価結果となった際のスコアの減少量を、第1ケース及び第2ケースの場合において否定的な評価結果となった際のスコアの減少量よりも、大きくする。さらに、同じ第3ケースの場合であっても、第1画像PAと比較相手の第1画像PAとの現在のスコアの差分が大きいほど、すなわち第1画像PAのスコアが比較相手のスコアより高いほど、否定的な評価結果となった際のスコアの減少量を、大きくする。これにより、弱い比較相手に敗北した場合にスコアの減少量を大きくすることができ、強い比較相手に敗北した場合にスコアの減少量を小さくすることができる。
図7の例においては、例えば、弱い比較相手に敗北したM1回目の評価結果における第1画像PA8のスコアの低下量は、強い比較相手に敗北したM回目の評価結果における第1画像PA22のスコアの低下量よりも、大きくなっている。
【0034】
また、上述のように、評価結果取得部32は、同じ一対の第1画像について、複数の評価結果(比較結果)を取得する。第1レーティング部34は、同じ一対の第1画像PA同士の評価結果毎に、それらの第1画像PAスコアを変化させる。
図7の例では、第1画像PA1、PA2が、1回目、N回目、N1回目の評価結果(比較結果)毎に、スコアが変化している。これにより、第1画像PA同士を比較する順番によって第1画像PAの最終スコアにバラつきが生じることを、抑制することができる。
【0035】
このように、第1レーティング部34は、第1画像PAのスコアを、評価結果毎に順番に変化させてゆく。第1レーティング部34は、全ての評価結果に基づいたスコア変化の処理が終了したら、終了した時点におけるそれぞれの第1画像PAのスコアを、第1画像PAの最終スコアとして決定する。なお、評価結果に基づいてスコアを変化させる方法は、以上説明したものに限られない。例えば、上記の説明においては、第1レーティング部34は、1つの評価結果において、肯定的な評価結果の第1画像PAのスコアを上げ、否定的な評価結果の第1画像PAのスコアを下げたが、それに限られず、肯定的な評価結果の第1画像PAのスコアを上げることと、否定的な評価結果の第1画像PAのスコアを下げることとの、少なくとも一方を実行するものであってもよいまた例えば、第1レーティング部34は、イロレーティングの手法を用いなくてもよい。
【0036】
図8は、第1レーティング部が設定したレーティングの一例を示す表である。第1レーティング部34は、このように評価結果に応じて変化させた第1画像PAのスコアに基づき、すなわち第1画像PAの最終スコアに基づき、それぞれの第1画像PAのレーティングを設定する。第1レーティング部34は、最終スコアが高い第1画像PAほど、レーティングを高く設定する。本実施形態では、第1レーティング部34は、第1画像PAの最終スコアを正規化して、最終スコアを正規化した値を、第1画像PAのレーティングとして設定する。このように設定した第1画像PAのレーティングは、第1画像PA毎に異なる値となり、第1画像PAの順位を示すものとなる。レーティングが高い第1画像PAほど、第1ユーザにより好ましいと認識される傾向が高いともいえる。なお、
図8の例では、第1画像PAのレーティングが、1から100の整数のいずれかをとるようにレーティングが設定されているが、それに限られない。また、本実施形態では、スコアをレーティングに変換しているが、それに限られず、例えば、スコアをそのままレーティングとしてもよい。
【0037】
図9は、CNNモデルの概念的な模式図である。
図1に示すモデル生成部36は、第1レーティング部34が設定したレーティングと第1画像PAとを教師データとして、CNNモデルCを構築する。すなわち、モデル生成部36は、それぞれの第1画像PAとレーティングとを教師データとしてCNNモデルに学習させて、学習済みのCNNモデルCを生成する。モデル生成部36は、学習済みのCNNモデルCを、記憶部18に記憶させる。CNNモデルCは、モデル生成部36によって生成されたニューラルネットワークモデルであり、さらに言えば、畳み込みニューラルネットワークモデルである。CNNモデルCは、ディープラーニングによって学習された分類器を構成するニューラルネットワークを定義するモデル(ニューラルネットワークの構成情報)と、変数とで構成される。ディープラーニングは、複数層以上のニューラルネットワークから構成される。より詳しくは、CNNモデルCは、
図9に示すように、複数の畳み込み層及び複数のプーリング層を含む中間層Mと、全結合層を含む最終層Fと、を備える。CNNモデルCは、入力データIが入力された場合に、中間層Mと最終層Fとで演算を行って、出力データOを出力する。
【0038】
モデル生成部36は、教師データを用いてCNNモデルCにおける重み付け係数を設定することで、学習済みのCNNモデルCを生成する。モデル生成部36は、学習済みのCNNモデルCを生成する際には、第1画像PAに基づくデータを、入力データIとしてCNNモデルCに入力して、その第1画像PAに付与されたレーティングを、ラベルとしてCNNモデルCに入力する。モデル生成部36は、それぞれの第1画像PAについて、この処理を実行する。これにより、モデル生成部36は、バックプロパケーション(誤差逆伝搬法)により、CNNモデルCの重み係数を算出する。すなわち、モデル生成部36は、第1画像PAに基づく入力データIをCNNモデルCに入力した場合の演算結果(出力)が、その第1画像PAに付与されたレーティングになるように、重み係数を算出する。なお、モデル生成部36は、第1画像PAのピクセルデータを、入力データとする。ピクセルデータとは、第1画像PAのピクセル毎の階調値のデータであり、例えば、第1画像PAを座標毎に複数の画像データに区分して、区分したそれぞれの画像データにおけるR(赤色)、G(緑色)、B(青色)の階調値を、入力データIとする。ただし、入力データIは、このような区分した画像データのR、G、Bの階調値に限られず、第1画像PAに基づくデータであればよい。
【0039】
このように生成されるCNNモデルCは、後述する第2画像PBが入力データIとして入力された場合に、その第2画像PBのレーティングを、出力データOとして出力可能である。なお、本実施形態では、CNNモデルCは、商品用画像PCが適用される商品に関連付いておらず、任意の商品の商品用画像PCに対して汎用的に適用可能である。ただし、CNNモデルCは、商品に関連付いて設定されてもよく、言い換えれば、商品毎に設定されてもよい。CNNモデルCが商品毎に設定される場合、例えば、第1画像PAの要素(文字やマークなど)が、商品に関連付いたものとなる。すなわちこの場合、第1画像PAの要素の内容が、商品毎に設定される。
【0040】
以下、CNNモデルCの生成フローを、フローチャートに基づき説明する。
図10は、本実施形態に係るCNNモデルの生成フローを説明するフローチャートである。
【0041】
図10に示すように、学習部20は、第1画像取得部30により、複数の第1画像PAを取得する(ステップS10)。そして、学習部20は、評価結果取得部32により、2つの第1画像PAを表示させて、2つの第1画像PAの評価結果を取得する(ステップS12)。具体的には、評価結果取得部32は、複数の第1画像PAから2つの第1画像PAを抽出して、抽出した2つの第1画像PAを出力部12に表示させて、第1ユーザによる2つの第1画像PAの評価結果(比較結果)を取得する。そして、学習部20は、第1レーティング部34により、評価結果取得部32が取得した評価結果から、第1画像PAにスコアを付ける(ステップS14)。第1レーティング部34は、肯定的な評価結果となった第1画像PAのスコアを上昇させ、否定的な評価結果となった第1画像PAのスコアを減少させる。そして、学習部20は、評価が終了したか、言い換えれば、第1画像PAの評価結果を取得してスコアを変化させる処理が終了したか、を判断する(ステップS16)。評価が終了していない場合(ステップS16;No)、学習部20は、ステップS12に戻り、次の2つの第1画像PAを抽出して、以降の処理を実行する。評価が終了した場合(ステップS16;Yes)、学習部20は、第1レーティング部34により、それぞれの第1画像PAにレーティングを付与する(ステップS18)。第1レーティング部34は、第1画像PAの最終スコアに基づき、第1画像PAのレーティングを付与する。そして、学習部20は、第1画像PAと第1画像PAに付与されたレーティングとを教師データとして、CNNモデルCを生成する(ステップS20)。これにより、CNNモデルCの生成処理は終了する。
【0042】
なお、
図10の例では、1つの評価結果からスコアを付けた処理が終了してから次の2つの第1画像PAを抽出するという処理の流れ(ステップS12、S14,S16;NoからステップS12に戻る流れ)になっているが、それに限られない。例えば、2つの第1画像PAを抽出して評価結果を取得する処理を所定回数繰り返した後に、スコアを付ける処理を行ってもよい。また、2つの第1画像PAを抽出する処理を所定回数繰り返した後に、それぞれの評価結果を取得して、スコアを付ける処理を行ってもよい。
【0043】
次に、
図1に示す商品用画像生成部22について説明する。商品用画像生成部22は、CNNモデルCに基づき商品用画像PCを生成するものであり、
図1に示すように、第2画像取得部40と、第2レーティング部42と、画像抽出部44とを含む。
【0044】
図11は、第2画像の例を示す模式図である。第2画像取得部40は、内容が異なる複数の第2画像PBを取得する。第2画像PBは、商品用画像PCの候補となる画像である。第2画像PBは、画像を特徴付ける複数種類の要素が含まれており、それぞれの第2画像PBは、要素の内容が互いに異なっている。第2画像PBに含まれる要素の種類は、第1画像PAに含まれる要素の種類と共通することが好ましいが、要素の内容は、第1画像PAと異なってもよい。
図11の例では、第2画像PBは、複数種類の要素として、マークEB1a、文字EB1b、および背景色EB1cを含んでいる。そして、それぞれの第2画像PBは、マークEB1a、文字EB1b、および背景色EB1cの内容が、互いに異なっている。例えば、
図11の第2画像PB1、PB2、PB3、PB4は、マークEB1a、文字EB1b、および背景色EB1cの内容が、互いに異なっている。また、第2画像PB1、PB2、PB3、PB4は、マークEB1a及び文字EB1bの位置(座標)も、互いに異なっており、マークEB1a及び文字EB1bの位置も、画像を特徴付ける要素であるといえる。なお、
図11の例では、1つの第2画像PBに、マークEB1a及び文字EB1bが1つずつ設けられているが、マークEB1a及び文字EB1bが複数設けられていてもよい。また、
図11の例では、それぞれの第2画像PBは、全ての要素(ここでは、マークEB1a、文字EB1b、背景色EB1c、およびマークEB1a及び文字EB1bの位置)が、互いに異なっているが、それに限られない。それぞれの第2画像PBは、複数種類の要素のうち、少なくとも1つの要素の内容が、他の第2画像PBの要素の内容と異なるものであってよい。また、それぞれの第2画像PBは、要素の数が異なっていてもよい。また、第2画像PBの要素は、マークEB1a、文字EB1b、背景色EB1c、マークEB1aの位置、および文字EB1bの位置に限られない。
【0045】
図12は、それぞれの第2画像の要素の例を示した表である。第2画像取得部40は、は、それぞれの第2画像PBを生成する。本実施形態においては、第2画像取得部40は、それぞれの要素の種類毎に、商品用画像PCが付される商品に関連する要素の内容のデータを取得して、記憶部14に記憶させる。すなわち例えば、商品が飲料の場合、第2画像取得部40は、その飲料に関連した要素の内容(マークの形状など)を取得して、記憶部14に記憶させる。商品に関連した要素の内容の取得方法は任意であり、外部の装置やサーバから送信されてもよいし、操作者によって入力されてもよいし、予め記憶部14が記憶していてもよい。第2画像取得部40が取得するこれらの要素の内容は、商品に関連したものであるため、商品に関連しない第1画像PAにおける要素の内容と、異なることが好ましいが、少なくとも一部が共通してもよい。第2画像取得部40は、各種類の要素について、商品に関連した複数の要素の内容のうちから、要素の内容を選択して読み出して、読み出した要素の内容を用いて、第2画像PBを生成する。第2画像取得部40は、複数の要素の内容のうちから読み出す要素の内容を、ランダムに選択してよい。例えば、
図11の例では、第2画像取得部40は、複数のマークEB1aから選択したマークEB1a1と、複数の文字EB1bから選択した文字EB1b10と、複数の背景色EB1cから選択した背景色EB1c20と、複数のマーク位置(マークEB1の位置)から選択したマーク位置EB1d15と、複数の文字位置(文字EB1bの位置)から選択した文字位置EB1e100と、を用いて、第2画像PB1を生成している。そして、
図11の例では、第2画像取得部40は、複数のマークEB1aから選択したマークEB1a28と、複数の文字EB1bから選択した文字EB1b120と、複数の背景色EB1cから選択した背景色EB1c8と、複数のマーク位置(マークEB1の位置)から選択したマーク位置EB1d1と、複数の文字位置(文字EB1bの位置)から選択した文字位置EB1e88と、を用いて、第2画像PB2を生成している。
【0046】
なお、第2画像取得部40による第2画像PBの取得方法は、これに限られない。例えば、第2画像取得部40は、入力部10への操作者の操作に基づき第2画像PBを生成してもよいし、外部の装置から第2画像PBのデータを受信することにより、第2画像PBを取得してもよい。また、第2画像取得部40が取得する第2画像PBの数は、任意であってよいが、第1画像取得部30が取得した第2画像PBの数より多いことが好ましい。ただし、第2画像取得部40が取得する第2画像PBの数は、任意であってよい。
【0047】
図13は、第2画像に付与されるレーティングの一例を示す表である。
図1に示す第2レーティング部42は、第2画像PBのそれぞれをCNNモデルCに入力して、第2画像PBのそれぞれにレーティングを付与する。第2レーティング部42は、モデル生成部36が生成した学習済みのCNNモデルCを読み出す。そして、第2レーティング部42は、第2画像取得部40が生成した第2画像PBを取得して、第2画像PBに基づくデータを、入力データIとしてCNNモデルCに入力して、CNNモデルCに演算を実行させる。第2レーティング部42は、CNNモデルCの演算の結果出力された出力データOを、その第2画像PBのレーティングとして取得する。
図12の例に示すように、第2レーティング部42は、それぞれの第2画像PBをCNNモデルCに入力して、それぞれの第2画像PBに対して、レーティングを取得する。なお、第2レーティング部42は、第2画像PBのピクセルデータ、すなわち第2画像PBの座標(ピクセル)毎の階調値のデータを、入力データIとしてCNNモデルCに入力する。このように、第2画像PBの入力データIが、学習の際に用いた第1画像PAの入力データIと同じ種類のデータであるため、CNNモデルCによって、第2画像PBのレーティングを適切に算出することができる。
【0048】
図1に示す画像抽出部44は、第2画像PBのレーティングに基づき、第2画像取得部40が取得した複数の第2画像PBのうちから、商品用画像PCを抽出する。言い換えれば、画像抽出部44は、第2画像PBのレーティングに基づき、複数の第2画像PBのうちから、商品用画像PCとする第2画像PBを選択して抽出する。本実施形態においては、画像抽出部44は、全ての第2画素PBのうちから、一部の複数の第2画素PBを、商品用画像PCとして選択する。商品用画像PCとして選択する第2画像PBの数は任意であるが、例えば10個程度であってよい。また、画像抽出部44は、それぞれの第2画素PBのレーティングを比較して、レーティングが上位の第2画像PBを、言い換えればレーティングが高い第2画像PBを、商品用画像PCとして選択する。商品用画像PCとして選択する第2画像PBの数をQ個とすると、画像抽出部44は、レーティングが、最上位からQ番目までのそれぞれの第2画像PBを、商品用画像PCとして選択する。
図13の例において、商品用画像PCとして選択する第2画像PBの数を3個とすると、画像抽出部44は、レーティングが最上位の第2画像PB1と、レーティングが上位2番目の第2画像PB100と、レーティングが上位3番目の第2画像PB2とを、商品用画像PCとして選択する。なお、商品用画像PCとする第2画像PBの抽出方法はこれに限られず任意であり、例えば、レーティングが所定の閾値以上となる第2画像PBを、商品用画像PCとして抽出してもよい。
【0049】
図14は、商品用画像の表示例を示す模式図である。画像抽出部44は、商品用画像PCの情報を、すなわち商品用画像PCとして抽出した第2画像PBの情報を、出力する。具体的には、画像抽出部44は、
図14に示すように、商品用画像PCを、出力部12に表示させる。画像抽出部44は、1つの画面上で、商品用画像PCを並んで表示させることが好ましい。第2ユーザ(ユーザ)は、商品用画像PCを視認することで、複数の商品用画像PCから適切な商品用画像PCを選択することができる。ここでの第2ユーザは、任意の人であってよいが、商品の販売会社の担当者などであることが好ましく、第1画像PAの評価を行った第1ユーザとは異なることが好ましい。第2ユーザは、複数人であってもよいし1人であってもよい。なお、画像抽出部44による商品用画像PCの出力方法は、出力部12に表示させることに限られない。例えば、画像抽出部44は、抽出した商品用画像PCを外部に送信(出力)することで、出力部12(画像生成システム1)以外の表示装置に商品用画像PCを表示させてもよい。
【0050】
このように、商品用画像生成部22は、第2画像取得部40が取得した多数の第2画像PBのうちから、CNNモデルCにおいてレーティングが高いとされた第2画像PBを、商品用画像PCとして抽出して、出力する。商品用画像生成部22は、このように第2画像PBから商品用画像PCを抽出するため、商品用画像PCを生成しているともいえる。商品用画像生成部22によると、多数の第2画像PBから商品用画像PCを選択することが可能となるため、選択肢を多くすることができ、適切な商品用画像PCを提供することができる。また、第2画像取得部40が取得した多数の第2画像PBを、そのまま商品用画像PCとして第2ユーザに見せた場合、数が多いため、第2ユーザによる選択の負担が大きくなる。それに対し、画像生成システム1は、CNNモデルCを用いて多数の第2画像PBにフィルタをかけて、消費者に好まれる可能性が高い第2画像PBのみを商品用画像PCとして抽出して、第2ユーザに提供することができる。そのため、商品用画像生成部22によると、多数の第2画像PBを準備して選択肢を多くしつつ、第2ユーザによる選択の負担を抑制することが可能となり、より適切な商品用画像PCを提供することが可能となる。
【0051】
また、商品用画像生成部22は、商品用画像PC(商品用画像PCとして抽出した第2画像PB)に対する第2ユーザの評価結果を取得して、評価結果に基づき商品用画像PCを更新してもよい。この場合、商品用画像生成部22の画像抽出部44は、例えば、出力部12に商品用画像PCを表示させて、第2ユーザによる商品用画像PCの評価結果の入力を受け付ける。第2ユーザは、出力部12に表示されている商品用画像PCを評価して、その評価結果を入力部10に入力する。例えば、第2ユーザは、複数の商品用画像PCのうち、自身が好む商品用画像PCを選択して、複数の商品用画像PCのうちどの商品用画像PCを選択したかの情報を、評価結果として入力部10に入力する。第2ユーザは、複数の商品用画像PCを選択してもよい。画像抽出部44は、このように第2ユーザに選択された商品用画像PCの情報を、評価結果として取得する。なお、第2ユーザによる評価結果の入力方法は任意であるが、例えば、第2ユーザは、自身が好む商品用画像PCが表示されている箇所をタッチすることで、評価結果を入力してよい。また、画像抽出部44は、例えば、商品用画像PCを選択することを促す情報(例えば「好きな画像を選択して下さい。」などの文章)を、商品用画像PCと共に出力部12に表示させてもよい。
【0052】
第2画像取得部40は、画像抽出部44が取得した商品用画像PCの評価結果に基づき、第2画像PBを更新して取得する。すなわち、第2画像取得部40は、商品用画像PCの評価結果に基づき、更新した第2画像PBである更新第2画像PBaを取得するともいえる。第2画像取得部40は、商品用画像PCの評価結果に基づき、複数の更新第2画像PBaを取得する。第2画像取得部40は、商品用画像PCの評価結果に基づき、例えば遺伝的アルゴリズムを用いて、複数の更新第2画像PBaを生成する。
【0053】
図15は、更新第2画像の生成の一例を説明する表である。第2画像取得部40は、第2ユーザが選択した商品用画像PCに含まれる要素の内容に基づき、更新第2画像PBaを生成する。第2画像取得部40は、最初に第2画像PBを生成した際と同様に、商品に関連する複数の要素の内容のうちから要素の内容を選択して、更新第2画像PBaを生成するが、商品用画像PCの評価結果に基づいて要素の内容を選択する点で、最初に第2画像PBを生成した際の生成方法と異なる。ここで、第2ユーザに選択された商品用画像PCに含まれる要素の内容を、選択要素内容とする。この場合、第2画像取得部40は、更新第2画像PBaを生成する場合に複数の要素の内容から選択要素内容を選択する確率が、最初に第2画像PBを生成した場合よりも高くなるように、更新第2画像PBaを生成する。例えば、
図15の例では、第2ユーザに選択された商品用画像PCの背景色EB1cが、背景色EB1c1(例えばピンク)である場合の例を説明している。この場合、第2画像取得部40は、更新第2画像PBaを生成する場合に背景色EB1c1を選択する確率を、最初に第2画像PBを生成した場合に背景色EB1c1を選択した確率よりも、高くする。
図15の例では、更新第2画像PB1a、PB2a、PB3a、PB4a、PB100aが、背景色EB1c1となっている。これにより、更新第2画像PBaは、第2ユーザの好みをより適切に反映したものとなる。また、ここで、第2ユーザに選択された複数の商品用画像PCに共通する要素の内容を、共通要素内容とする。この場合、第2画像取得部40は、更新第2画像PBaを生成する場合に共通要素内容を選択する確率が、最初に第2画像PBを生成した場合に共通要素内容を選択する確率よりも高くなるように、更新第2画像PBaを生成することが好ましい。このように複数の商品用画像PCに共通する要素の内容を反映することで、第2ユーザの好みをさらに適切に反映することができる。
【0054】
第2レーティング部42は、第2画像PBのレーティングを取得した場合と同様の方法で、更新第2画像PBaのそれぞれをCNNモデルCに入力して、更新第2画像PBaのそれぞれにレーティングを付与する。すなわち、第2レーティング部42は、更新第2画像PBaに基づくデータを入力データIとしてCNNモデルCに入力して、その更新第2画像PBaのレーティングを、出力データOとして取得する。
【0055】
画像抽出部44は、第2画像PBから商品用画像PCを抽出した場合と同様の方法で、更新第2画像PBaのレーティングに基づき、複数の更新第2画像PBaのうちから、商品用画像PCを抽出する。すなわち、画像抽出部44は、更新第2画像PBaのうちのレーティングが上位の所定数の更新第2画像PBaを、更新した商品用画像PCとして選択する。画像抽出部44は、更新した商品用画像PCを、すなわち商品用画像PCとして選択された更新第2画像PBaを出力して、出力部12に表示させる。その後、画像抽出部44は、更新した商品用画像PCについての第2ユーザの評価結果を取得して、その評価結果に基づいて更新第2画像PBaを取得して、商品用画像PCをさらに更新して出力する処理を、繰り返してもよい。この処理の回数は、任意に設定してよい。
【0056】
このように、商品用画像PCについての第2ユーザの評価結果に基づき商品用画像PCを更新することによって、商品用画像PCを第2ユーザの好みに近づけることが可能となり、より適切な商品用画像PCを提供することが可能となる。第2ユーザは、最終的に表示された複数の商品用画像PCから、実際に商品に用いる画像を選択することができる。
【0057】
商品用画像生成部22は、以上のようにして、商品用画像PCを抽出する。以下、商品用画像PCの抽出フローを、フローチャートに基づき説明する。
図16は、本実施形態に係る商品用画像の抽出フローを説明するフローチャートである。
【0058】
図16に示すように、商品用画像生成部22は、第2画像取得部40により、複数の第2画像PBを取得し(ステップS30)、第2レーティング部42により、第2画像PBをCNNモデルCに入力して、第2画像PBのレーティングを取得する(ステップS32)。商品用画像生成部22は、画像抽出部44により、レーティングが上位の第2画像PBを、商品用画像PCとして抽出し、出力部12に表示させる(ステップS34)。商品用画像生成部22は、商品用画像PCの抽出が終了したかを判断し(ステップS36)、終了した場合(ステップS36;Yes)は、本処理を終了する。商品用画像PCの抽出が終了しない場合(ステップS36;No)、画像抽出部44は、第2ユーザによる商品用画像PCの評価結果を取得し、第2画像取得部40は、第2ユーザによる商品用画像PCの評価結果に基づき、更新した第2画像PB(更新第2画像PBa)を取得する(ステップS38)。そして、ステップS32に戻り、以降の処理を繰り返す。すなわち、第2レーティング部42が、更新した第2画像PBをCNNモデルCに入力してレーティングを取得して、画像抽出部44が、レーティングが上位の更新した第2画像PBを、商品用画像PCとして抽出して表示する。
【0059】
なお、本実施形態においては、第2ユーザが選択した商品用画像PCを教師データとしてCNNモデルCを再学習させない。このようにCNNモデルCを再学習させないことで、CNNモデルCを、汎用的に用いることが可能となり、様々な商品に利用することが可能となる。また、CNNモデルCの学習の処理負担の増加も抑制できる。ただし、第2ユーザが選択した商品用画像PCを教師データとして、CNNモデルCを再学習させてもよい。この場合、例えば、第2ユーザが選択した商品用画像PCのレーティングを例えば高い値に設定して、商品用画像PCのピクセルデータを入力データIとした場合に出力データOが設定したレーティングとなるように、CNNモデルCを再学習させてよい。
【0060】
以上説明したように、本実施形態に係る画像生成システム1は、商品の情報を表す商品用画像PCを生成するものであって、第1画像取得部30と、評価結果取得部32と、第1レーティング部34と、モデル生成部36と、第2画像取得部40と、第2レーティング部42と、画像抽出部44とを備える。第1画像取得部30は、複数の第1画像PAを取得する。評価結果取得部32は、複数の第1画像PAの評価結果を取得する。第1レーティング部34は、複数の第1画像PAの評価結果に基づき、第1画像PAのそれぞれにレーティングを付与する。モデル生成部36は、第1画像PAおよびレーティングを教師データとして、CNNモデルC(ニューラルネットワークモデル)を生成する。第2画像取得部40は、複数の第2画像PBを取得する。第2レーティング部42は、第2画像PBのそれぞれをCNNモデルCに入力して、第2画像PBのそれぞれにレーティングを付与する。画像抽出部44は、第2画像PBのレーティングに基づき、複数の第2画像PBのうちから、商品用画像PCを抽出する。
【0061】
このように、画像生成システム1は、第2画像取得部40が取得した多数の第2画像PBをCNNモデルCに入力してレーティング付けすることで、第2画像PBを順位付けする。そして、画像生成システム1は、レーティングに基づき、すなわち順位付けに基づき、多数の第2画像PBから商品用画像PCとして抽出する。そのため、画像生成システム1によると、多数の第2画像PBから商品用画像PCを選択することが可能となるため、選択肢を多くすることができ、適切な商品用画像PCを提供することができる。また、画像生成システム1は、CNNモデルCを用いて多数の第2画像PBにフィルタをかけて、消費者に好まれる可能性が高い第2画像PBのみを抽出して、第2ユーザに提供することができる。そのため、多数の第2画像PBを準備して選択肢を多くしつつ、第2ユーザによる選択の負担を抑制することが可能となり、より適切な商品用画像PCを提供することが可能となる。
【0062】
また、評価結果取得部32は、一対の第1画像PAを抽出して、抽出した一対の第1画像PAの比較結果を、評価結果として取得する。評価結果取得部32は、この処理を、抽出する第1画像PAを切り替えつつ繰り返す。そのため、画像生成システム1によると、様々な第1画像PA同士の比較結果から、第1画像PAのレーティングを付けることが可能となるため、CNNモデルCの精度を高くすることができ、第1ユーザが好む商品用画像PCを提供することが可能となる。
【0063】
また、評価結果取得部32は、同じ一対の第1画像PAを複数回抽出して、同じ一対の第1画像PAについて、複数の評価結果を取得する。画像生成システム1によると、同じ一対の第1画像PAについて複数の評価結果を用いてレーティングを付けることが可能となるため、第1画像PA同士を比較する順番によってレーティングにバラつきが生じることを抑制することができ、CNNモデルCの精度を高くすることが可能となる。
【0064】
また、第1レーティング部34は、第1画像PA毎にスコアを付与して、スコアに基づき、第1画像PAにレーティングを付与する。第1レーティング部34は、肯定的な評価結果となった第1画像PAのスコアを増加させ、否定的な評価結果となった第1画像PAのスコアを低下させる。画像生成システム1は、スコアに基づきレーティングを設定するため、第1画像PAのレーティングを適切に設定して、CNNモデルCの精度を高くすることが可能となる。
【0065】
また、第1レーティング部34は、一対の第1画像PAのスコアに応じて、第1画像PAのスコアの変化量を異ならせる。第1レーティング部34は、比較する2つの第1画像PAの現在のスコアに応じて、評価結果に基づいた第1画像PAのスコアの変化量を異ならせるため、スコアが極端にばらつくことを抑制して、CNNモデルCの精度を高くすることが可能となる。さらに言えば、第1レーティング部34は、イロレーティングの手法を用いてスコアを設定することで、スコアが極端にばらつくことを抑制して、CNNモデルCの精度を高くすることが可能となる。
【0066】
画像抽出部44は、複数の第2画像PBのうち、レーティングが上位の複数の第2画像PBを、商品用画像PCとして抽出する。画像生成システム1は、レーティングが上位の第2画像PBを商品用画像PCとして抽出することで、第1ユーザが好む商品用画像PCを提供することが可能となる。また、複数の第2画像PBを商品用画像PCとすることで、第2ユーザによる選択の余地を残し、適切なパッケージデザインの選定を補助することができる。
【0067】
また、第2画像取得部40は、画像抽出部44が抽出した複数の商品用画像PCに対する評価結果に基づき、更新第2画像PBaを取得する。第2レーティング部42は、更新第2画像PBaをCNNモデルCに入力してレーティングを付与する。画像抽出部44は、更新第2画像PBaのうち、レーティングが上位の複数の更新第2画像PBaを、商品用画像PCとして抽出し直す。このように、画像生成システム1は、一度抽出した商品用画像PCの評価結果に基づき、第2画像PBを取得し直して、その第2画像PBから商品用画像PCを再度抽出する。そのため、画像生成システム1によると、商品用画像PCを第2ユーザの好みに近づけることが可能となり、より適切な商品用画像PCを提供することが可能となる。
【0068】
また、第1画像取得部30は、マークEA1aと、文字EA1bと、背景色EA1cと、マークEA1a及び文字EA1bの少なくとも一方の位置との、少なくとも1つが異なる第1画像PAを取得する。そして、第2画像取得部40は、マークEB1aと、文字EB1bと、背景色EB1cと、マークEB1a及び文字EB1bの少なくとも一方の位置との、少なくとも1つが異なる第2画像PBを取得する。画像生成システム1は、このように要素の内容が異なる第1画像PAを取得することでCNNモデルCの精度を高め、要素の内容が異なる第2画像PBを取得することで、商品用画像PCの選択肢を増やして、より適切な商品用画像PCを提供することが可能となる。また、画像生成システム1は、第1画像PAと第2画像PBとの要素の種類を共通にすることで、CNNモデルCを用いた第2画像PBのレーティングの算出精度を高くすることができる。
【0069】
なお、本実施形態においては、CNNモデルCの学習を行う学習部20と、CNNモデルCを用いて商品用画像PCを抽出(生成)する商品用画像生成部22とを、1つの装置(画像生成システム1)によって実現しているが、それに限られない。例えば、学習部20を備える装置と、商品用画像生成部22を備える装置とを分けて、それぞれ別の装置にしてもよい。
【0070】
以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【解決手段】画像生成システム1は、複数の第1画像を取得する第1画像取得部30と、複数の第1画像の評価結果を取得する評価結果取得部32と、評価結果に基づき第1画像のそれぞれにレーティングを付与する第1レーティング部34と、第1画像およびレーティングを教師データとして、ニューラルネットワークモデルを生成するモデル生成部36と、複数の第2画像を取得する第2画像取得部40と、第2画像のそれぞれをニューラルネットワークモデルに入力して、第2画像のそれぞれにレーティングを付与する第2レーティング部42と、第2画像のレーティングに基づき、複数の第2画像のうちから商品用画像を抽出する画像抽出部44と、を備える。