【文献】
渡辺 靖彦,画像の内容を説明するテキストを利用した画像解析,人工知能学会誌,日本,社団法人人工知能学会,1998年 1月 1日,第13巻 第1号,P.66-74
(58)【調査した分野】(Int.Cl.,DB名)
前記推定手段は、前記色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる前記商品画像のピクセルの数を前記色名候補ごとに算出し、算出されたピクセル数が最も多い色名候補を、前記商品画像に表された商品の色として推定する、
請求項1に記載の色推定装置。
前記推定手段は、前記商品画像に含まれる第1のピクセルより前記商品画像の中央部に近い位置にある第2のピクセルに対して、前記第1のピクセルより大きい重み付けをして、前記色名候補ごとの前記ピクセル数の算出を行う、
請求項2に記載の色推定装置。
前記推定手段は、前記商品画像のピクセルをピクセル値によりクラスタリングし、グループの中央値が前記色名候補の色範囲に含まれる場合に、該グループに含まれるピクセルの数を該色名候補の色範囲に含まれるピクセル数として、前記色名候補ごとのピクセル数の算出を行う、
請求項2〜4のいずれか一項に記載の色推定装置。
前記推定手段は、算出されたピクセル数が最も多い色名候補、及び該色名候補と算出されたピクセル数の差が所定数以下のピクセル数の色名候補を、前記商品画像に表された複数の商品のそれぞれの色として推定する、
請求項2〜5のいずれか一項に記載の色推定装置。
前記推定手段は、一の商品について、複数の商品画像が対応付けられている場合、前記複数の色名候補のうちの一の前記色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出し、最もピクセル数が多い商品画像の色が前記一の色名候補であると推定する、
請求項1に記載の色推定装置。
前記推定手段は、一の商品について、複数の商品画像が対応付けられている場合、前記色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる一の商品画像のピクセルの数を前記色名候補ごとに算出し、算出されたピクセル数が最も多い色名候補を、前記一の商品画像に表された商品の色として推定し、
複数の色名候補のうち、いずれの商品画像の商品の色として推定されなかった色名候補が存在する場合に、前記複数の色名候補のうちの一の色名候補に対して設定されたピクセル値の範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出し、最もピクセル数が多い商品画像の色が前記一の色名候補であると推定する、
請求項1に記載の色推定装置。
商品の色の指定を含むユーザからの検索要求に応じて、前記商品情報記憶手段を参照して、指定された色が対応づけられた商品画像を含む検索結果を該ユーザに返信する検索手段をさらに備える請求項11に記載の色推定装置。
前記商品情報記憶手段において、一の商品について複数の商品画像が対応付けられており、前記複数の商品画像のうちの一の商品画像が商品を提示するための商品ページにおいて該商品を示すための代表画像として設定されている場合に、前記検索手段は、前記代表画像に対応づけられた色と異なる色の指定を含むユーザからの検索要求を受け付けた場合に、指定された色が対応づけられた商品画像を代表画像として含む検索結果を該ユーザに返信する、
請求項12に記載の色推定装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、例えば商品の画像に背景の領域が多く含まれると、背景の色が商品の色名として誤って特定される可能性がある。また、商品が画像の中央に配置される可能性が高いことに鑑みて、画像の中央部に位置するピクセルに重み付けをしてピクセル数を算出することが考えられるが、その商品の色とは異なる色が画像中央部に配置されていた場合、誤った色名が特定される可能性がある。
【0005】
そこで本発明の一側面は、複数の色が含まれる商品画像に表されている商品の色を精度良く推定することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の一形態に係る色推定装置は、商品が表された商品画像に関連付けられた商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する抽出手段と、それぞれの色名候補に対して設定されたピクセル値と、商品画像に含まれるピクセルのピクセル値とに基づき、商品画像に表された商品の色を推定する推定手段と、推定手段により推定された色を出力する出力手段と、を備える。
【0007】
本発明の一形態に係る色推定方法は、コンピュータにより実行される色推定方法であって、商品が表された商品画像に関連付けられた商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する抽出ステップと、それぞれの色名候補に対して設定されたピクセル値と、商品画像に含まれるピクセルのピクセル値とに基づき、商品画像に表された商品の色を推定する推定ステップと、推定ステップにおいて推定された色を出力する出力ステップと、を有する。
【0008】
本発明の一形態に係る色推定プログラムは、コンピュータに、商品が表された商品画像に関連付けられた商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する抽出機能と、それぞれの色名候補に対して設定されたピクセル値と、商品画像に含まれるピクセルのピクセル値とに基づき、商品画像に表された商品の色を推定する推定機能と、推定機能により推定された色を出力する出力機能と、を実現させる。
【0009】
上記側面によれば、商品画像に表された商品の色を示すテキストが含まれている商品情報から色名候補が抽出され、商品画像に含まれるピクセルのピクセル値及び数に基づき、商品の色が推定されるので、誤った色が商品の色名として推定されることが抑制され、精度の良い色の推定が実現される。
【0010】
別の側面に係る色推定装置では、推定手段は、商品画像に表された商品の色を前記抽出手段により抽出された色名候補の中から推定する。
【0011】
上記側面によれば、色名候補の中から商品の色が推定されるので、誤った色名が商品の色として推定されることが抑制される。
【0012】
別の側面に係る色推定装置では、推定手段は、色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる商品画像のピクセルの数を色名候補ごとに算出し、算出されたピクセル数が最も多い色名候補を、商品画像に表された商品の色として推定する。
【0013】
この側面によれば、色名候補ごとに設定された色範囲に含まれるピクセル数が最も多い色名候補が商品の色として推定されるので、商品の色を表している可能性が最も高い色名候補を商品の色として出力できる。
【0014】
さらに別の側面に係る色推定装置では、推定手段は、商品画像に含まれる第1のピクセルより商品画像の中央部に近い位置にある第2のピクセルに対して、第1のピクセルより大きい重み付けをして、色名候補ごとのピクセル数の算出を行う。
【0015】
この側面によれば、商品画像において商品の色としてより適切な色が配置されている可能性が高い中央部に近いピクセルにより大きい重み付けがされて色名候補ごとのピクセル数の算出が行われるので、より精度の高い色の推定が可能となる。
【0016】
さらに別の側面に係る色推定装置は、推定手段は、色名候補に対して設定されたピクセル値に基づき、色名候補ごとの色範囲を重複が生じないように設定する。
【0017】
この側面によれば、色名候補に対して設定される色範囲が重複なく設定されるので、抽出された複数の色名候補が近いピクセル値を有する場合であっても、適切に色名候補ごとのピクセル数の算出をすることが可能となる。
【0018】
さらに別の側面に係る色推定装置では、推定手段は、商品画像のピクセルをピクセル値によりクラスタリングし、グループの中央値が色名候補の色範囲に含まれる場合に、該グループに含まれるピクセルの数を該色名候補の色範囲に含まれるピクセル数として、色名候補ごとのピクセル数の算出を行う。
【0019】
商品画像において、商品の色とされる色を有する領域は一定程度の範囲を占めるので、この側面によれば、ピクセル値によりクラスタリングされたピクセルのグループごとに色名候補が対応付けられることにより、同様の色の領域ごとに色名候補が対応付けられ、ピクセル数の算出が行われることとなる。これにより、効率的に精度の高い色の推定を行うことが可能となる。
【0020】
さらに別の側面に係る色推定装置は、推定手段は、算出されたピクセル数が最も多い色名候補、及び該色名候補と算出されたピクセル数の差が所定数以下のピクセル数の色名候補を、商品画像に表された複数の商品のそれぞれの色として推定する。
【0021】
この側面によれば、色が異なる複数の商品が一の商品画像に表されている場合であっても、各商品の色の推定が可能となる。
【0022】
さらに別の側面に係る色推定装置では、推定手段は、一の商品について、複数の商品画像が対応付けられている場合、一の商品画像ごとに色を推定する。
【0023】
この側面によれば、一の商品について複数の商品画像が対応付けられている場合において、各商品画像に表された商品の色を推定できる。
【0024】
さらに別の側面に係る色推定装置では、推定手段は、一の商品について、複数の商品画像が対応付けられている場合、複数の色名候補のうちの一の色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出し、最もピクセル数が多い商品画像の色が一の色名候補であると推定する。
【0025】
この側面によれば、一の色名候補について、各商品画像の当該色名に相当するピクセル値のピクセルの数が算出され、最もピクセル数が多い商品画像の色として、一の色名候補が推定されるので、抽出された複数の色名候補が近いピクセル値を有する場合であっても、精度良い色の推定が可能となる。
【0026】
さらに別の側面に係る色推定装置では、推定手段は、一の商品について、複数の商品画像が対応付けられている場合、色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる一の商品画像のピクセルの数を色名候補ごとに算出し、算出されたピクセル数が最も多い色名候補を、一の商品画像に表された商品の色として推定し、複数の色名候補のうち、いずれの商品画像の商品の色として推定されなかった色名候補が存在する場合に、複数の色名候補のうちの一の色名候補に対して設定されたピクセル値の範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出し、最もピクセル数が多い商品画像の色が一の色名候補であると推定する。
【0027】
この側面によれば、一の商品画像について、各色名候補に対して設定された色範囲に含まれるピクセル数が最も多い色名候補を一の商品画像に表された商品の色として推定し、全ての商品画像についての色の推定を実施した結果、商品の色として推定されなかった色が存在する場合に、一の色名候補について、各商品画像の当該色名に相当するピクセル値のピクセルの数が算出され、最もピクセル数が多い商品画像の色名として、一の色名候補が推定される。これにより、一の商品についての複数の商品画像に複数の色名候補が対応付けられる場合において、複数の色名候補が近いピクセル値を有する場合であっても、精度良く商品の色を推定できる。
【0028】
さらに別の側面に係る色推定装置では、抽出手段は、商品情報に商品の色の指定をユーザから受け付けるための欄及び色テキスト情報が含まれる場合、欄の検索により色テキスト情報を色名候補として抽出する。
【0029】
上記側面によれば、適切に色名候補を抽出できる。
【0030】
さらに別の側面に係る色推定装置では、出力手段は、商品情報と商品画像とを対応付けて記憶している商品情報記憶手段の商品画像に、推定された色を対応付けて記憶させる。
【0031】
上記側面によれば、商品画像に色が対応付けられることとなるので、色に基づく商品画像の処理が実施可能になる。
【0032】
さらに別の側面に係る色推定装置は、商品の色の指定を含むユーザからの検索要求に応じて、商品情報記憶手段を参照して、指定された色が対応づけられた商品画像を含む検索結果を該ユーザに返信する検索手段をさらに備える。
【0033】
この側面によれば、ユーザからの色を指定した商品画像の検索要求に応じて、その色を有する商品画像をユーザに提供できる。
【0034】
さらに別の側面に係る色推定装置は、商品情報記憶手段において、一の商品について複数の商品画像が対応付けられており、複数の商品画像のうちの一の商品画像が商品を提示するための商品ページにおいて該商品を示すための代表画像として設定されている場合に、検索手段は、代表画像に対応づけられた色と異なる色の指定を含むユーザからの検索要求を受け付けた場合に、指定された色が対応づけられた商品画像を代表画像として含む検索結果を該ユーザに返信する。
【0035】
この側面によれば、ユーザからの色の指定を伴う商品の検索要求に対して、検索要求に係る色とは異なる色の画像が当該商品の代表画像として予め設定されている場合であっても、検索要求に係る色の商品画像をユーザに提供できる。
【発明の効果】
【0036】
本発明の一側面によれば、複数の色が含まれる商品画像に表されている商品の色を精度良く推定することが可能となる。
【発明を実施するための形態】
【0038】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【0039】
図1は、本実施形態に係る色推定装置1の機能的構成を示すブロック図である。本実施形態の色推定装置1は、商品画像に表された商品の色名を推定する装置である。色推定装置1は、例えば、サーバに構成されるが、電子商取引サイトを構成する電子商取引サーバ3と一体に構成されることとしてもよい。電子商取引サーバ3は、インターネットを介した商取引を制御するサーバであって、例えば、ユーザからの商品の検索要求に応じて、検索結果を返信する。
【0040】
本実施形態の色推定装置1は、
図1に示すように、機能的には、抽出部11(抽出手段)、推定部12(推定手段)及び出力部13(出力手段)を備える。また、色推定装置1の各機能部は、商品情報記憶部21(商品情報記憶手段)及び色情報記憶部22といった記憶手段にアクセス可能である。
【0041】
図2は、色推定装置1のハードウェア構成図である。色推定装置1は、物理的には、
図2に示すように、プロセッサにより構成されるCPU101、RAM及びROMといったメモリにより構成される主記憶装置102、ハードディスク等で構成される補助記憶装置103、ネットワークカード等で構成される通信制御装置104、入力デバイスであるキーボード、マウス等の入力装置105、ディスプレイ等の出力装置106などを含むコンピュータシステムとして構成されている。
【0042】
図1に示した各機能は、
図2に示すCPU101、主記憶装置102等のハードウェア上に所定のコンピュータソフトウェア(色推定プログラム)を読み込ませることにより、CPU101の制御のもとで通信制御装置104、入力装置105、出力装置106を動作させるとともに、主記憶装置102や補助記憶装置103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置102や補助記憶装置103内に格納される。
【0043】
続いて、色推定装置1の機能部を説明する。抽出部11は、商品が表された商品画像に関連付けられた商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する部分である。商品情報は、ユーザに提示するための当該商品に関するテキスト情報を含む。商品に関するテキスト情報は、例えば、商品に関する説明文、商品ページにおいて商品の色の指定を受け付けるための欄を伴う色名等である。
【0044】
本実施形態では、商品情報記憶部21は、電子商取引に供される商品に関する情報を記憶しており、商品を識別する商品IDに、商品情報及び商品画像を対応付けて記憶している。
図3は、商品情報記憶部21の構成及び記憶されているデータの例を示す図である。
図3に示すように、例えば、商品情報記憶部21は、商品ID(M1)に対応付けて、商品情報T1及び商品画像P1を記憶している。商品情報T1は、その内容として、「色は、レッドとブルーがあります。」というユーザに提示するためのテキスト情報を含む。
【0045】
また、商品情報記憶部21は、商品ID(M2)に対応付けて、商品情報T2及び商品画像P2を記憶している。商品情報T2は、その内容として、「・・・ブルー、グリーン、ホワイトの三色があり、・・」というテキスト情報を含む。
【0046】
また、商品情報記憶部21は、商品ID(M3)に対応付けて、商品情報T3及び複数の商品画像P31,P32,P33を記憶している。商品情報T3は、その内容として、商品ページにおいて商品の色の指定を受け付けるための欄を伴う色テキスト情報「ブルー」、「レッド」及び「イエロー」を含む。これらの欄及び色テキスト情報は、ユーザに提示するためのものである。また、商品画像P31,P32,P33のうちの商品画像P31が、商品ID(M3)の商品を商品ページとして表示する際の代表画像に設定されている。
【0047】
図4は、商品情報記憶部21に記憶された情報に基づき表示される商品ID(M1)の商品ページの例を示す図である。
図4に示すように、商品ID(M1)の商品ページは、商品を表す商品画像P1及び商品に関する説明文「色は、レッドとブルーがあります。」からなる商品情報T1を含む。即ち、商品情報T1は、色名を表す色テキスト情報「レッド」及び「ブルー」を含む。これらの色テキスト情報は、商品画像P1に表された商品の色に該当する可能性が高い。
【0048】
図5は、商品情報記憶部21に記憶された情報に基づき表示される商品ID(M2)の商品ページの例を示す図である。
図5に示すように、商品ID(M2)の商品ページは、商品を表す商品画像P2及び商品に関する説明文「・・・ブルー、グリーン、ホワイトの三色があり、・・・。」からなる商品情報T2を含む。即ち、商品情報T2は、色名を表す色テキスト情報「ブルー」、「グリーン」及び「ホワイト」を含む。これらの色テキスト情報は、商品画像P2に表された商品の色に該当する可能性が高い。
【0049】
図6は、商品情報記憶部21に記憶された情報に基づき表示される商品ID(M3)の商品ページの例を示す図である。
図6に示すように、商品ID(M3)の商品ページは、代表画像として設定された商品画像P31を含む。また、商品情報記憶部21において記憶されている商品画像のうち、代表画像以外の商品画像P32,P33は、サムネイル形式で表示されることとしてもよい。また、この商品ページは、商品の色の指定を受け付けるための複数の欄及び各欄に対応する色テキスト情報「ブルー」、「レッド」及び「イエロー」を含む商品情報T3を含む。即ち、商品画像P31に表された商品の色は、「ブルー」、「レッド」及び「イエロー」のいずれかである可能性が高い。
【0050】
抽出部11は、
図3並びに
図4、
図5及び
図6に示した商品情報から、色テキスト情報を当該商品の色名候補として抽出する。抽出部11は、例えば、後に説明する色情報記憶部22の色名を辞書として参照し、色テキスト情報を抽出できる。具体的には、抽出部11は、商品情報T1から、色テキスト情報「レッド」,「ブルー」を商品ID(M1)の商品の色名候補として抽出する。また、抽出部11は、商品情報T2から、商品の色の指定を受け付けるための複数の欄から、色テキスト情報「ブルー」,「グリーン」,「ホワイト」を商品ID(M2)の商品の色名候補として抽出する。また、抽出部11は、商品情報T3から、色テキスト情報「ブルー」,「レッド」,「イエロー」を商品ID(M3)の商品の色名候補として抽出する。
【0051】
なお、商品情報から抽出された色テキスト情報には、同じ色を示す色名であっても、例えば「黒」、「ブラック」のように、ばらつきが含まれる場合がある。このような場合に、抽出部11は、抽出した色テキスト情報を規格化して、色名候補とすることとしてもよい。即ち、商品情報から「黒」及び「ブラック」という色テキスト情報が抽出された場合に、抽出部11は、これらの色テキスト情報を、「ブラック」に規格化して色名候補とする。
【0052】
推定部12は、抽出部11により抽出された色名候補に対して設定されたピクセル値と、商品画像に含まれるピクセルのピクセル値に基づき、商品画像に表された商品の色を推定する部分である。
【0053】
本実施形態では、推定部12は、抽出部11により抽出された色名候補の中から商品画像に表された商品の色名を推定する。即ち、推定部12は、色名候補に対して設定されたピクセル値の範囲である色範囲に含まれる商品画像のピクセルの数を色名候補ごとに算出し、算出されたピクセル数が最も多い色名候補を、商品画像に表された商品の色名として推定する。
【0054】
本実施形態では、推定部12は、色情報記憶部22を参照して、色名候補に対応する色範囲を取得する。
図7は、色情報記憶部22の構成及び記憶されているデータの例を示す図である。色情報記憶部22は、色名ごとに設定されたピクセル値を記憶している。具体的には、色情報記憶部22は、色名ごとに設定された色範囲を記憶している。また、色情報記憶部22は、色名ごとに中央値をさらに記憶していてもよい。なお、本実施形態では、ピクセル値は、HSL色空間で表されるが、その他のパラメータ(例えば、HSV空間、RGB空間等)で表されることを排除しない。例えば、色名「レッド」の色範囲は、(H
1L〜H
1H,S
1L〜S
1H,L
1L〜L
1H)であり、中央値は、(H
1M,S
1M,L
1M)である。
【0055】
図8を参照して、推定部12による、商品ID(M1)の商品画像の色名の推定処理を具体的に説明する。
図8は、HSL色空間を模式的に示す図である。推定部12は、商品情報T1から抽出された色名候補「レッド」及び「ブルー」の色範囲を色情報記憶部22から取得する。
図8において、色名「レッド」の色範囲は、色範囲CRにより示される。また、色名「ブルー」の色範囲は、色範囲CBにより示される。推定部12は、色名候補「レッド」の色範囲CR及び色名候補「ブルー」の色範囲CBのそれぞれに含まれる商品画像P1のピクセルの数を算出する。
図9(a)は、色名候補「レッド」及び「ブルー」のそれぞれの色範囲に含まれるピクセル数の算出結果を示す図である。
図9(a)に示すように、商品画像P1のピクセルのうち、色名候補「レッド」の色範囲CRにピクセル値が含まれるピクセル数は150であり、色名候補「ブルー」の色範囲CBにピクセル値が含まれるピクセル数は85である。従って、推定部12は、商品画像P1に表された商品の色名を「レッド」と推定する。このように、推定部12は、商品の色を表している可能性が最も高い色名候補を商品の色名として推定できる。
【0056】
なお、ピクセル数の算出に際して、推定部12は、商品画像に含まれる第1のピクセルより商品画像の中央部に近い位置にある第2のピクセルに対して、第1のピクセルより大きい重み付けをして、色名候補ごとのピクセル数の算出を行うこととしてもよい。具体的には、推定部12は、商品画像の中央部を含む所定の範囲内に位置するピクセルに重み付けをしてピクセル数の算出をしてもよいし、中心部からの距離に比例して重み付けをしてピクセル数の算出をしてもよい。これにより、商品画像において商品の色名としてより適切な色が配置されている可能性が高い中央部に近いピクセルにより大きい重み付けがされて色名候補ごとのピクセル数の算出が行われるので、より精度の高い色名の推定が可能となる。
【0057】
また、推定部12は、商品画像における商品が表された領域以外の領域のピクセルを、ピクセル数の算出の対象から除外してもよい。商品画像における商品が表された領域以外の領域は、周知の画像処理技術により抽出可能である。例えば、推定部12は、背景領域のピクセルを、ピクセル数の算出の対象から除外してもよい。
【0058】
商品ID(M2)の商品について(
図3及び
図5参照)、推定部12は、商品情報T2から抽出された色名候補「ブルー」、「グリーン」及び「ホワイト」の色範囲を色情報記憶部22から取得する。そして、推定部12は、色名候補「ブルー」、「グリーン」及び「ホワイト」のそれぞれの色範囲に含まれる商品画像P2のピクセルの数を算出する。
図9(b)は、色名候補「ブルー」、「グリーン」及び「ホワイト」のそれぞれの色範囲に含まれるピクセル数の算出結果を示す図である。
図9(b)に示すように、商品画像P2のピクセルのうち、色名候補「ブルー」の色範囲にピクセル値が含まれるピクセル数は180であり、色名候補「グリーン」の色範囲にピクセル値が含まれるピクセル数は175であり、色名候補「ホワイト」の色範囲にピクセル値が含まれるピクセル数は45である。
【0059】
ここで、推定部12は、算出されたピクセル数が最も多い色名候補、及び該色名候補と算出されたピクセル数の差が所定数以下のピクセル数の色名候補を、商品画像に表された複数の商品のそれぞれの色名として推定することができる。複数の色名候補を商品画像に表された複数の商品のそれぞれの色名として推定するためのピクセル数の差に関する所定数が10であるとして、商品ID(M2)の商品の例で具体的に説明する。
【0060】
色名候補「ブルー」、「グリーン」及び「ホワイト」のうち、それぞれの色範囲に含まれる商品画像P2のピクセルのピクセル数が最も多い色名候補は、「ブルー」(ピクセル数180)であり、このピクセル数に対して、「グリーン」の色範囲に含まれるピクセル数が175であって、その差が10以下であるので、推定部12は、「ブルー」及び「グリーン」を商品画像P2に表された複数の商品のそれぞれの色名として推定する。このような推定処理により、色が異なる複数の商品が一の商品画像に表されている場合であっても、各商品の色名の推定が可能となる。
【0061】
商品ID(M3)の商品について(
図3及び
図6参照)、推定部12は、商品情報T3から抽出された色名候補「ブルー」、「レッド」及び「イエロー」の色範囲を色情報記憶部22から取得する。ここで、推定部12は、一の商品について、複数の商品画像が対応付けられている場合、一の商品画像ごとに色名を推定する。具体的には、商品ID(M3)の商品について、商品情報T3と複数の商品画像P31,P32,P33が対応付けられているので、推定部12は、商品画像P31,P32,P33のそれぞれの商品画像ごとに、商品画像P1における色名の推定と同様に、色名候補「ブルー」、「レッド」及び「イエロー」のそれぞれの色範囲に含まれるピクセルの数を算出して、各商品画像P31,P32,P33に表された商品の色名を推定する。具体的なピクセル数を示した推定処理の説明は省略する。
【0062】
なお、以上説明した色名の推定では、推定部12は、色範囲に含まれる商品画像のピクセルの数を色名候補ごとに算出することとしたが、ピクセルの数に代えて、商品画像のピクセルに占める色範囲に含まれるピクセルの割合を算出して商品画像に表された商品の色名として推定することとしてもよい。
【0063】
なお、本実施形態では、抽出部11により抽出された色名候補のピクセル値に基づいて、推定部12が商品画像の商品の色名を推定することとしたが、推定部12は、ピクセル値として特定される色を推定することとしてもよい。つまり、推定する色として、テキスト情報である色名を推定してもよいし、表示される色を示すピクセル値を推定してもよい。
【0064】
再び
図1を参照して、出力部13は、推定部12により推定された色名を出力する部分である。具体的には、出力部13は、商品情報と商品画像とを対応付けて記憶している商品情報記憶部21の商品画像に、推定された色名を対応付けて記憶させる。
図10は、推定された色名が記憶された商品情報記憶部21の例を示す図である。
図10に示されるように、出力部13は、商品画像P1に推定された色名「レッド」を対応付けて記憶させる。また、出力部13は、商品画像P2に推定された色名「ブルー」及び「グリーン」を対応付けて記憶させる。また、出力部13は、商品画像P31,P32,P33のそれぞれに、推定された色名「ブルー」、「レッド」及び「イエロー」を対応付けて記憶させる。このように、商品画像に色名が対応付けられることとなるので、色名に基づく商品画像の処理が実施可能になる。例えば、色名の指定による商品画像の抽出が可能となる。
【0065】
次に、推定部12による処理のいくつかのバリエーションを説明する。例えば、抽出部11により、色名候補「レッド」、「ダークグリーン」及び「イエローグリーン」が抽出された場合、推定部12は、色名候補「レッド」、「ダークグリーン」及び「イエローグリーン」の色範囲を色情報記憶部22から取得する。
図11(a)は、色空間における色名候補「レッド」、「ダークグリーン」及び「イエローグリーン」の色範囲を2次元で模式的に示す図である。
図11(a)に示すように、レッドの色範囲CRと、ダークグリーンの色範囲CDG
1及びイエローグリーンの色範囲CYG
1とは互いに離れているが、「ダークグリーン」及び「イエローグリーン」を示すピクセル値は互いに近い値を有するので、ダークグリーンの色範囲CDG
1とイエローグリーンの色範囲CYG
1とは重複している。
【0066】
このような場合に、推定部12は、色名候補に対して設定されたピクセル値に基づき、色名候補ごとの色範囲を重複が生じないように設定することができる。具体的には、例えば、推定部12は、色情報記憶部22から、「ダークグリーン」及び「イエローグリーン」の色範囲の中央値を取得し、中央値間の距離の2分の1を色範囲の半径とする。
図11(b)は、重複が生じないように設定された「レッド」、「ダークグリーン」及び「イエローグリーン」の色範囲を2次元で模式的に示す図である。
図11(b)に示すように、ダークグリーンの色範囲CDG
2とイエローグリーンの色範囲CYG
2との重複が解消されている。このように色範囲を設定することにより、色名候補に対して設定される色範囲が重複なく設定されるので、抽出された複数の色名候補が近いピクセル値を有する場合であっても、適切に色名候補ごとのピクセル数の算出をすることが可能となる。
【0067】
次に、推定部12によるピクセル数の算出処理のバリエーションを説明する。商品画像において、商品の色名とされる色を有するピクセルの領域は一定程度の範囲を占める。このような事情に鑑みて、推定部12は、商品画像のピクセルをピクセル値によりクラスタリングし、クラスタリングされたグループの中央値が色名候補の色範囲に含まれる場合に、そのグループに含まれるピクセルの数をその色名候補の色範囲に含まれるピクセル数として、色名候補ごとのピクセル数の算出を行うこととしてもよい。このようなピクセル数の算出では、ピクセル値によりクラスタリングされたピクセルのグループごとに色名候補が対応付けられることにより、同様の色の領域ごとに色名候補が対応付けられ、ピクセル数の算出が行われることとなる。これにより、効率的に精度の高い色名の推定を行うことが可能となる。
【0068】
上述のとおり、色推定装置1は、電子商取引サイトを構成する電子商取引サーバ3と一体に構成されることとしてもよい(
図1参照)。そのような場合において、色推定装置1は、商品の色名の指定を含むユーザからの検索要求に応じて、商品情報記憶部21を参照して、指定された色名が対応づけられた商品画像を含む検索結果をユーザに返信する検索部31をさらに備えることとしてもよい。
【0069】
具体的には、ユーザの端末装置(図示せず)からネットワークを介して、商品の色名(例えば「グリーン」)の指定を含む商品の検索要求を受信した場合に、検索部31は、
図10に示した商品情報記憶部21を参照して、色名「グリーン」が対応付けられた商品画像P2を含む商品ID(M2)の商品に関する情報を検索結果としてユーザの端末装置に返信する。
【0070】
また、商品ID(M3)の商品が該当する「シャツ」というキーワードと共に、商品ID(M3)の代表画像に対応づけられた色名「ブルー」と異なる色名「レッド」を含む検索要求を受信した場合には(
図10参照)、検索部31は、指定された色名「レッド」が対応づけられた商品画像P32を代表画像として含む検索結果をユーザに返信することとしてもよい。即ち、
図6を参照して説明すると、検索部31は、商品画像P31に代えて、商品画像P32を代表画像として表示させる商品ページをユーザの端末装置に返信する。このような処理を行うことにより、ユーザからの色名の指定を伴う商品の検索要求に対して、検索要求に係る色名とは異なる色名の画像が当該商品の代表画像として予め設定されている場合であっても、検索要求に係る色名の商品画像をユーザに提供できる。
【0071】
次に、
図12を参照して、本実施形態の色推定方法について説明する。
図12は、
図1に示した色推定装置1における色推定方法の処理内容の例を示すフローチャートである。
【0072】
まず、抽出部11は、商品画像に関連付けられた商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する(S1)。
【0073】
次に、推定部12は、ステップS1において抽出部11により抽出された色名候補に基づき設定されたピクセル値と、商品画像に含まれるピクセルのピクセル値に基づき、商品画像に表された商品の色名を色名候補の中から推定する。
【0074】
具体的には、推定部12は、色名候補に対して設定された色範囲に含まれる商品画像のピクセルの数を色名候補ごとに算出する(S2)。そして、推定部12は、算出されたピクセル数が最も多い色名候補を、商品画像に表された商品の色名として推定する(S3)。そして、出力部13は、推定部12により推定された色名を出力する(S4)。
【0075】
次に、
図13を参照して、コンピュータを色推定装置1として機能させるための色推定プログラムを説明する。色推定プログラム1pは、メインモジュールm10、抽出モジュールm11、推定モジュールm12及び出力モジュールm13を備える。また、色推定プログラム1pは、検索モジュール(図示せず)を更に備えることとしてもよい。
【0076】
メインモジュールm10は、色推定処理を統括的に制御する部分である。抽出モジュールm11、推定モジュールm12及び出力モジュールm13並びに検索モジュールを実行することにより実現される機能はそれぞれ、
図1に示される色推定装置1の抽出部11、推定部12及び出力部13並びに検索部31の機能と同様である。
【0077】
色推定プログラム1pは、例えば、CD−ROMやDVD−ROMまたは半導体メモリ等の記憶媒体1dによって提供される。また、色推定プログラム1pは、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
【0078】
以上説明した本実施形態の色推定装置1、色推定方法及び色推定プログラム1pによれば、商品画像に表された商品の色を示すテキストが含まれている商品情報から色名候補が抽出され、商品画像に含まれるピクセルのピクセル値及び数に基づき、色名候補の中から商品の色名が推定されるので、誤った色名が商品の色名として推定されることが抑制され、精度の良い色名の推定が実現される。
【0079】
次に、
図14及び
図15を参照して、推定部12による色名の推定処理の他の例について説明する。以下に説明する例は、一の商品について、複数の商品画像が対応付けられており、商品画像の数と同数の色名候補が商品情報から抽出された場合に特に有効である。
【0080】
図14(a)は、商品情報記憶部21に記憶されたデータの例を示す図である。
図14(a)に示す例では、商品ID(M4)に対応付けて、商品情報T4及び商品画像P41,P42,P43を記憶している。商品情報T4は、その内容として、「ダークブラウン、ダークブルー、ブラックの3色から選べます。」というユーザに提示するためのテキスト情報を含む。抽出部11は、商品情報T4から、色名候補「ダークブラウン」、「ダークブルー」、「ブラック」を抽出する。
【0081】
商品ID(M4)の商品のように、一の商品について、複数の商品画像が対応付けられている場合、推定部12は、複数の色名候補のうちの一の色名候補に対して設定された色範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出し、最もピクセル数が多い商品画像の色名が一の色名候補であると推定する。
【0082】
具体的には、推定部12は、一の色名候補「ダークブラウン」について設定された色範囲に含まれる商品画像のピクセルの数を、商品画像P41,P42,P43のそれぞれについて算出する。同様に、推定部12は、色名候補「ダークブルー」について設定された色範囲に含まれる商品画像のピクセルの数を、商品画像P41,P42,P43のそれぞれについて算出し、色名候補「ブラック」について設定された色範囲に含まれる商品画像のピクセルの数を、商品画像P41,P42,P43のそれぞれについて算出する。
【0083】
図15は、色名候補「ダークブラウン」、「ダークブルー」、「ブラック」のそれぞれについて算出された、商品画像P41,P42,P43のそれぞれのピクセルが色範囲に含まれるピクセル数の例を示す図である。
【0084】
図15に示されるように、例えば、色名候補「ダークブラウン」の色範囲に含まれる商品画像P41,P42,P43のピクセルの数はそれぞれ、200,180,175である。従って、色名候補「ダークブラウン」の色範囲に含まれるピクセルを最も多く含む商品画像は商品画像P41であるので、推定部12は、商品画像P41に表された商品の色名を「ダークブラウン」と推定する。
【0085】
また、色名候補「ダークブルー」の色範囲に含まれる商品画像P41,P42,P43のピクセルの数はそれぞれ、130,200,140である。従って、色名候補「ダークブルー」の色範囲に含まれるピクセルを最も多く含む商品画像は商品画像P42であるので、推定部12は、商品画像P42に表された商品の色名を「ダークブルー」と推定する。
【0086】
また、色名候補「ブラック」の色範囲に含まれる商品画像P41,P42,P43のピクセルの数はそれぞれ、90,80,130である。従って、色名候補「ブラック」の色範囲に含まれるピクセルを最も多く含む商品画像は商品画像P43であるので、推定部12は、商品画像P43に表された商品の色名を「ブラック」と推定する。
【0087】
そして、
図14(b)に示されるように、出力部13は、推定された色名「ダークブラウン」、「ダークブルー」、「ブラック」のそれぞれを、商品情報記憶部21の商品画像P41,P42,P43に対応付けて記憶させる。
【0088】
図15に示した例において、商品画像ごとに各色名候補の色範囲に含まれるピクセル数を算出する処理により色名が推定されると、商品画像P43に含まれるピクセルのうち、ダークブラウンに含まれるピクセル数が最も多いので、商品画像P43の色名がダークブラウンと誤って推定される。しかしながら、以上説明した処理の例では、一の色名候補について、各商品画像の当該色名に相当するピクセル値のピクセルの数が算出され、最もピクセル数が多い商品画像の色名として、一の色名候補が推定されるので、抽出された複数の色名候補が近いピクセル値を有する場合であっても、精度良い色名の推定が可能となる。
【0089】
次に、
図16、
図17及び
図18を参照して、推定部12による色名の推定処理のさらに別の例について説明する。
図16(a)は、商品情報記憶部21に記憶されたデータの例を示す図である。
図16(a)に示す例では、商品ID(M5)に対応付けて、商品情報T5及び商品画像P51,52を記憶している。商品情報T5は、その内容として、「ブラックとダークブルーがあります。」というユーザに提示するためのテキスト情報を含む。抽出部11は、商品情報T5から、色名候補「ブラック」、「ダークブルー」を抽出する。
【0090】
まず、推定部12は、商品画像P51について、各色名候補に対して設定された色範囲に含まれる商品画像P51のピクセルの数を色名候補ごとに算出する。
図17(a)は、商品画像P51について、色名候補「ブラック」及び「ダークブルー」のそれぞれの色範囲に含まれるピクセル数の算出結果を示す図である。推定部12は、算出されたピクセル数が最も多い「ブラック」を商品画像P51に表された商品の色名として推定する。
【0091】
同様に、推定部12は、商品画像P52について、各色名候補に対して設定された色範囲に含まれる商品画像P52のピクセルの数を色名候補ごとに算出する。
図17(b)は、商品画像P52について、色名候補「ブラック」及び「ダークブルー」のそれぞれの色範囲に含まれるピクセル数の算出結果を示す図である。推定部12は、算出されたピクセル数が最も多い「ブラック」を商品画像P52に表された商品の色名として推定する。
【0092】
そして、
図16(b)に示されるように、出力部13は、商品画像P51について推定された色名「ブラック」,及び商品画像P52について推定された色名「ブラック」を、商品情報記憶部21の商品画像P51,P52に対応付けて記憶させる。
図16(b)に示されるように、色名候補として複数の色名候補「ブラック」及び「ダークブルー」が抽出部11により抽出されたにも関わらず、色名公報「ダークブルー」は、いずれの商品画像の商品の色名としても推定されていないので、色名の推定において誤りがある可能性が高い。このような場合に、推定部12は、
図14及び
図15を参照して説明した例と同様に、複数の色名候補のうちの一の色名候補に対して設定された色範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出し、最もピクセル数が多い商品画像の色名が一の色名候補であると推定する。
【0093】
具体的には、推定部12は、色名候補「ブラック」について設定された色範囲に含まれる商品画像のピクセルの数を、商品画像P51,P52のそれぞれについて算出する。同様に、推定部12は、色名候補「ダークブルー」について設定された色範囲に含まれる商品画像のピクセルの数を、商品画像P51,P52のそれぞれについて算出する。
図17(c)は、色名候補「ブラック」、「ダークブルー」のそれぞれについて算出された、商品画像P51,P52のそれぞれのピクセルが色範囲に含まれるピクセル数の例を示す図である。
【0094】
図17(c)に示されるように、色名候補「ブラック」の色範囲に含まれる商品画像P51,P52のピクセルの数はそれぞれ、150,140である。従って、色名候補「ブラック」の色範囲に含まれるピクセルを最も多く含む商品画像は商品画像P51であるので、推定部12は、商品画像P51に表された商品の色名を「ブラック」と推定する。また、色名候補「ダークブルー」の色範囲に含まれる商品画像P51,P52のピクセルの数はそれぞれ、100,120である。従って、色名候補「ダークブルー」の色範囲に含まれるピクセルを最も多く含む商品画像は商品画像P52であるので、推定部12は、商品画像P52に表された商品の色名を「ダークブルー」と推定する。そして、
図16(c)に示されるように、出力部13は、推定された色名「ブラック」、「ダークブルー」のそれぞれを、商品情報記憶部21の商品画像P51,P52に対応付けて記憶させる。
【0095】
図18は、推定部12による色名の推定処理のさらに別の例の内容を示すフローチャートである。まず、抽出部11は、商品画像に関連付けられた商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する(S11)。
【0096】
次に、推定部12は、推定部12は、色名候補に対して設定された色範囲に含まれる一の商品画像のピクセルの数を色名候補ごとに算出する(S12)。そして、推定部12は、算出されたピクセル数が最も多い色名候補を、一の商品画像に表された商品の色名として推定する(S13)。
【0097】
続いて、推定部12は、複数の色名候補のうち、いずれの商品画像の商品の色名として推定されなかった色名候補が存在するか否かを判定する(S14)。いずれの商品画像の商品の色名として推定されなかった色名候補が存在すると判定された場合には、処理手順はステップS15に進められる。一方、いずれの商品画像の商品の色名として推定されなかった色名候補が存在すると判定されなかった場合には、処理手順はステップS17に進められる。
【0098】
ステップS15において、推定部12は、複数の色名候補のうちの一の色名候補に対して設定された色範囲に含まれる商品画像のピクセルの数を、複数の商品画像のそれぞれについて算出する(S15)。そして、推定部12は、最もピクセル数が多い商品画像の色名が一の色名候補であると推定する(S16)。出力部13は、推定された色名を出力する(S17)。
【0099】
このように色名の推定処理では、一の商品画像について、各色名候補に対して設定された色範囲に含まれるピクセル数が最も多い色名候補を一の商品画像に表された商品の色名として推定し、全ての商品画像についての色名の推定を実施した結果、商品の色名として推定されなかった色名が存在する場合に、一の色名候補について、各商品画像の当該色名に相当するピクセル値のピクセルの数が算出され、最もピクセル数が多い商品画像の色名として、一の色名候補が推定される。これにより、一の商品についての複数の商品画像に複数の色名候補が対応付けられる場合において、複数の色名候補が近いピクセル値を有する場合であっても、精度良く商品の色名を推定できる。
【0100】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
色推定装置は、商品が表された商品画像に関連付けられた商品情報であってユーザに提示するための該商品に関するテキスト情報を含む商品情報から、色名を表す複数の色テキスト情報を商品の色名候補として抽出する抽出手段と、それぞれの色名候補に基づき設定されたピクセル値と、商品画像に含まれるピクセルのピクセル値とに基づき、商品画像に表された商品の色を推定する推定手段と、推定手段により推定された色を出力する出力手段と、を備える。