特開 2023-132962 検索装置、検索方法及び検索プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023132962

(43)【公開日】2023-09-22

(54)【発明の名称】検索装置、検索方法及び検索プログラム

(51)【国際特許分類】

   G06F 16/532 20190101AFI20230914BHJP

   G06Q 30/0601 20230101ALI20230914BHJP

   G06T 11/80 20060101ALI20230914BHJP

   G06T 1/00 20060101ALI20230914BHJP

【ＦＩ】

G06F16/532

G06Q30/06 322

G06T11/80 A

G06T1/00 200E

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022038586

(22)【出願日】2022-03-11

(71)【出願人】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】土井 賢治

(72)【発明者】

【氏名】西村 修平

(72)【発明者】

【氏名】岩崎 雅二郎

(72)【発明者】

【氏名】東野 進一

【テーマコード（参考）】

5B050

5B175

5L049

【Ｆターム（参考）】

5B050BA13

5B050CA07

5B050EA03

5B050EA09

5B050EA12

5B050EA19

5B050FA05

5B050GA08

5B175DA02

5B175GB05

5B175HA01

5L049BB66

(57)【要約】

【課題】ショッピングに際してユーザの目的とする商品の発見を容易とし、購買行動につなげること。
【解決手段】検索装置２００は、画像を取得し、取得した画像のうち色変更を行う対象範囲を決定する。そして、検索装置２００は、決定した範囲について特定色に変更を行い、色変更した画像を用いて検索する。このため、検索装置２００は、ユーザの目的とする商品の発見を容易とし、購買行動につなげることができる。例えば、検索装置２００は、色違いのシャツが欲しいと考えているユーザに対し、シャツ部分の色が異なる画像の作成を支援し、当該画像を用いた検索を行うことで、ユーザの目的とする商品の発見を容易とし、購買行動につなげる。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を取得する取得部と、
前記取得部により取得された画像のうち色変更を行う対象範囲を決定する対象範囲決定部と、
前記対象範囲決定部により決定された範囲について、特定色に変更を行う色変更部と、
前記色変更部によって色変更された画像を用いて検索する検索部と
を有することを特徴とする検索装置。

【請求項2】

前記対象範囲決定部は、端末から色変更を行う対象範囲の指定を受け付けた場合には、当該範囲を前記色変更を行う対象範囲として決定することを特徴とする請求項１に記載の検索装置。

【請求項3】

前記対象範囲決定部により決定された範囲について、ユーザ属性、購入履歴、トレンド、商品に関する情報のうち、いずれか１つまたは複数の情報に基づいて色変更の候補を抽出する色候補抽出部をさらに有し、
前記色変更部は、前記色候補抽出部により抽出された色変更の候補のうちユーザの指定色に変更し、色を変更した対象範囲の画像と、元の画像における対象範囲以外の画像との合成を行うことを特徴とする請求項１に記載の検索装置。

【請求項4】

前記検索部は、検索結果とともに、前記色変更部により変更された画像を外部に出力することを特徴とする請求項１に記載の検索装置。

【請求項5】

前記検索部は、前記色変更部により変更された画像をクエリとして画像検索を行うことを特徴とする請求項１に記載の検索装置。

【請求項6】

検索装置によって実行される検索方法であって、
画像を取得する取得工程と、
前記取得工程により取得された画像のうち色変更を行う対象範囲を決定する対象範囲決定工程と、
前記対象範囲決定工程により決定された範囲について、特定色に変更を行う色変更工程と、
前記色変更工程によって色変更された画像を用いて検索する検索工程と
を含むことを特徴とする検索方法。

【請求項7】

画像を取得する取得ステップと、
前記取得ステップにより取得された画像のうち色変更を行う対象範囲を決定する対象範囲決定ステップと、
前記対象範囲決定ステップにより決定された範囲について、特定色に変更を行う色変更ステップと、
前記色変更ステップによって色変更された画像を用いて検索する検索ステップと
をコンピュータに実行させるための検索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検索装置、検索方法及び検索プログラムに関する。

【背景技術】

【0002】

従来、インターネットを使ったショッピングサービスでは色によって検索結果を絞り込む機能が存在する。この機能によりユーザの目的とする商品の発見が容易となることが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－０７６２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記の従来技術ではユーザの目的とする商品を容易に発見できるとは限らなかった。例えば、利用者が所望する色の商品の画像を有していない場合、検索結果に含まれる商品の色違いの商品をさらに探す必要があり、ユーザの目的とする商品の発見が困難な場合がある。

【0005】

本願は、上記に鑑みてなされたものであって、ユーザが目的とする商品の発見を容易とすることを目的とする。

【課題を解決するための手段】

【0006】

本願に係る検索装置は、端末からアップロードされた画像を取得する取得部と、前記取得部により取得された画像のうち色変更を行う対象範囲を決定する対象範囲決定部と、前記対象範囲決定部により決定された範囲について、特定色に変更を行う色変更部と、前記色変更部によって色変更された画像をクエリとして検索する検索部とを有することを特徴とする。

【発明の効果】

【0007】

実施形態の一態様により、ショッピングに際してユーザの目的とする商品の発見を容易とし、購買行動につなげることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る検索処理の一例を示す図である。

【図2】図２は、実施形態に係る検索システムの構成例を示す図である。

【図3】図３は、実施形態に係る検索装置の構成例を示す図である。

【図4】図４は、実施形態に係る記憶部の一例を示す図である。

【図5】図５は、実施形態に係る対象範囲決定の一例を示す図である

【図6】図６は、実施形態に係る色変更候補を抽出する一例を示す図である

【図7】図７は、実施形態に係る検索処理の一例を示すフローチャートである。

【図8】図８は、検索装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る検索装置、検索方法及び検索プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検索装置、検索方法及び検索プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．色変更処理〕
図１を用いて、実施形態に係る色変更処理の一例について説明する。図１は、実施形態に係る色変更処理の一例を示す図である。

【0011】

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる操作に従って、アプリケーション（以下、「アプリ」と称する場合がある）を起動する。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。

【0012】

まずは、図１（１）の端末装置１０において色変更処理を行う画像の選択について説明する。端末装置１０では、ユーザが保有するデータから検索クエリとなる画像が選択される。例えば、端末装置１０は、利用者が選択した画像検索クエリとなる画像としてアップロードする。図１に示す例では、端末装置１０は、シャツとスカートとを含む洋服を着用した人物の画像をアップロードする。なお、端末装置１０は、ＳＮＳに投稿された各種の画像を検索クエリとなる画像とする指定を受け付けてもよい。

【0013】

ここで、アップロードした画像を用いてウェブ検索を行う処理の一例として、画像に撮影された対象と類似する商品を検索するといった処理が考えられる。例えば、端末装置１０が検索クエリとした画像にシャツとスカートとが含まれている場合、かかるシャツやスカートを検索対象として、所定の電子商店街から類似する商品を検索するといった処理が考えられる。しかしながら、利用者が所望する商品の画像を利用者が有しているとは限らない。例えば、利用者が所有する画像に利用者が所望する形のシャツであって、利用者が所望する色彩とは異なる色彩のシャツが映っている場合、利用者は、検索結果となる商品の中から所望する色彩のシャツを再度検索する必要がある。

【0014】

そこで、端末装置１０は、検索クエリとなる画像に撮影された対象のうち利用者が指定した対象の色彩を別の色彩とした画像を生成し、生成した画像を検索クエリとする色変換処理を行う。以下、図１（２）の端末装置１０において色変更処理を行う対象範囲の決定について説明する。端末装置１０では、アップロードされた画像について色変更処理を行う対象範囲を指定する。例えば、端末装置１０は、図形の拡大や縮小等の操作によって色変更処理を行う範囲を決定する。具体的には、端末装置１０は、対象範囲を決定する図形として四角形を表示し、当該四角形の拡大、縮小、回転などの操作によって、画像中のシャツ部分を対象範囲として決定する。

【0015】

また、例えば、端末装置１０は、タッチペンなどにより対象範囲を決定する。具体的には、端末装置１０は、ユーザによるタッチペン操作を受け付け、画像中のシャツ部分を対象範囲として決定する。また、例えば、端末装置１０は、機械学習などによりアイテムの輪郭を自動で判定して対象範囲の指定を行う。具体的には、端末装置１０は、機械学習により画像中に含まれるシャツ、スカート、靴のそれぞれのアイテムについて自動で輪郭を判定されたもののうち、ユーザの操作によるシャツ部分の選択を受けて対象範囲を決定する。

【0016】

次に、図１（３）の端末装置１０において抽出した色変更候補の提示について説明する。端末装置１０では、提示された色変更候補を表示する。例えば、端末装置１０は、ユーザ属性、購入履歴、季節や流行などのトレンド情報等をもとにユーザの関心が強いと想定される色変更候補のパレットを表示する。具体的には、端末装置１０は、ユーザＩＤと対応付けられた購入履歴を参照して、ユーザ関心が強いと想定される暖色系のパレットを表示する。

【0017】

そして、図１（４）の端末装置１０において色変更処理を行った画像を用いた検索について説明する。端末装置１０では、色変更処理を行った画像を用いた検索結果を表示する。例えば、端末装置１０は、シャツ、スカート、靴のうち、対象範囲であるシャツのみを任意の色に変更した画像を作成し、当該画像を用いて検索を行う。具体的には、端末装置１０は、シャツ、スカート、靴を含む画像から、当該シャツ部分を赤色に変更した画像を作成し、当該画像を用いて画像検索を行い、その検索結果を表示する。

【0018】

このような処理の結果、端末装置１０は、例えば、利用者が所有する画像に撮影された商品について、色違いの商品を所望する場合、検索結果の中から所望する色の商品を検索せずとも、最初から、利用者が所有する画像に撮影された商品の色違いの商品を検索結果として提供することができる。この結果、端末装置１０は、画像を用いた商品検索をより容易にすることができる。

【0019】

〔２．検索システムの構成〕
次に、図２を用いて、実施形態に係る検索システムの構成について説明する。図２に示すように、検索システム１には、端末装置１０と、検索装置２００とが含まれる。端末装置１０と検索装置２００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図２に示した検索システム１には、複数台の端末装置１０や、複数台の検索装置２００が含まれていてもよい。

【0020】

検索装置２００は、端末装置１０の操作により、画像の取得、色変更の対象範囲選択、色変更候補からユーザの指定を受けて対象範囲について色変更処理を行い、作成した画像を用いて検索を行う装置である。詳細は後述する。

【0021】

〔３．検索装置の構成〕
次に、図３を用いて、実施形態に係る検索装置２００の構成について説明する。図３に示すように検索装置２００は、通信部２１０と、制御部２２０と、記憶部２３０とを含む。

【0022】

記憶部２３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２３０は、ユーザ属性ＤＢ２３１と、購入履歴ＤＢ２３２と、トレンドＤＢ２３３と、商品ＤＢ２３４とを有する。

【0023】

実施形態に係るユーザ属性ＤＢ２３１は、ユーザ属性に関する情報を記憶する。図４には、ユーザ属性ＤＢ２３１に記憶されるユーザ属性に係る情報の一例を示す。ユーザ属性ＤＢ２３１には、ユーザ属性に係る情報として、「ユーザＩＤ」、「性別」、「年齢」、「身長」、「体重」、「体型」といった項目が含まれる。

【0024】

ユーザ属性ＤＢ２３１に含まれる「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザ属性ＤＢ２３１は、「ユーザＩＤ」として「０００１」を記憶する。また、ユーザ属性ＤＢ２３１に含まれる「性別」は、ユーザの性別情報を示す。例えば、ユーザ属性ＤＢ２３１に含まれるユーザＩＤ０００１の「性別」として「女性」を記憶する。また、ユーザ属性ＤＢ２３１に含まれる「年齢」は、ユーザの年齢情報を示す。例えば、ユーザ属性ＤＢ２３１は、ユーザＩＤ０００１の「年齢」として「２５歳」を記憶する。

【0025】

また、ユーザ属性ＤＢ２３１に含まれる「身長」は、ユーザの身長情報を示す。例えば、ユーザ属性ＤＢ２３１は、ユーザＩＤ０００１の「身長」として「１５６ｃｍ」を記憶する。また、ユーザ属性ＤＢ２３１に含まれる「体重」は、ユーザの体重情報を示す。例えば、ユーザ属性ＤＢ２３１は、ユーザＩＤ０００１の「体重」として「５０ｋｇ」を記憶する。また、ユーザ属性ＤＢ２３１に含まれる「体型」は、ユーザの体型情報を示す。例えば、ユーザ属性ＤＢ２３１はユーザＩＤ０００１の「体型」として「華奢」を記憶する。

【0026】

実施形態に係る購入履歴ＤＢ２３２は、購入履歴に関する情報を記憶する。図４には、購入履歴ＤＢ２３２に記憶される購入履歴に関する情報の一例を示す。購入履歴ＤＢ２３２には、「ユーザＩＤ」、「購入履歴」といった項目が含まれる。「購入履歴」はユーザＩＤと対応付けられており、特定ユーザの購入履歴の情報を示す。例えば、購入履歴ＤＢ２３２は、ユーザＩＤと、ユーザが過去に購入したアイテムに関する情報と、その色に関する情報とを対応付けて記憶する。具体的には、購入履歴ＤＢ２３２は、ユーザＩＤ０００１と、当該ユーザが購入したアイテムに関する情報として「コート」と、当該「コート」の色に関する情報として「黒」とを対応付けて記憶する。

【0027】

実施形態に係るトレンドＤＢ２３３は、トレンドに関する情報を記憶する。図４には、トレンドＤＢ２３３に記憶されるトレンドに関する情報の一例を示す。トレンドに関する情報として、「季節」、「流行」、「ＳＮＳ」といった項目が含まれる。

【0028】

トレンドＤＢ２３３に含まれる「季節」は、現在の季節にあった色の情報を示す。例えば、トレンドＤＢ２３３は、「季節：春」と桜色とを対応付けて記憶する。また、トレンドＤＢ２３３に含まれる「流行」は、現在流行している色の情報を示す。例えば、トレンドＤＢ２３３は、「流行：レトロカラー」と彩度の低い色とを対応付けて記憶する。また、トレンドＤＢ２３３に含まれる「ＳＮＳ」は、ＳＮＳの解析によって得られた情報を示す。例えば、トレンドＤＢ２３３は、「ＳＮＳ：インフルエンサーＨ」と赤色とを対応付けて記憶する。

【0029】

実施形態に係る商品ＤＢ２３４は、商品に関する情報を記憶する。図４には、商品ＤＢ２３４に記憶される商品に関する情報の一例を示す。商品に関する情報として、「商品情報」、「カテゴリ」、「ジャンル」、「シチュエーション」、「出品者情報」といった項目が含まれる。

【0030】

商品ＤＢ２３４に含まれる「商品情報」は、商品の画像、画像特徴量、価格、商品説明、その他の情報を示す。例えば、商品ＤＢ２３４に含まれる「カラーシャツ」の商品情報には、「カラーシャツの画像」、「カラーシャツの画像の特徴量」、「カラーシャツの価格」、「カラーシャツの商品説明」、「カラーシャツのその他の情報」が含まれている。なお、同一商品の色違いについては、別の商品として登録されていてもよく、同一商品の色違いとして登録されていてもよい。例えば、同一商品のカラーシャツについて、赤色のカラーシャツと青色のカラーシャツが別商品として登録されている場合であっても、同一商品の色違いとして登録されている場合であっても、色違い商品ごとに、少なくとも、商品画像や特徴量が登録されていれば、検索が可能である。

【0031】

商品ＤＢ２３４に含まれる「カテゴリ」は、商品カテゴリの情報を示す。例えば、商品ＤＢ２３４は「カテゴリ：カバン」と茶色系の色とを対応付けて記憶する。また、商品ＤＢ２３４に含まれる「ジャンル」は、商品ジャンルの情報を示す。例えば、商品ＤＢ２３４は、「ジャンル：モード系」とモノトーン系の色とを対応付けて記憶する。また、商品ＤＢ２３４に含まれる「シチュエーション」は、商品を用いるシチュエーションに関する情報を示す。例えば、商品ＤＢ２３４は、「シチュエーション：オフィス」と落ち着いた色とを対応付けて記憶する。商品ＤＢ２３４に含まれる「出品者情報」は、商品を出品した出品者の情報を示す。例えば、商品ＤＢ２３４に含まれる「出品者情報」は、「シャツ」に関する商品情報と、シャツの「出品者情報：アメンボ」とを対応付けて記憶する。

【0032】

通信部２１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２１０は、ネットワークと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。

【0033】

制御部２２０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、検索装置２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２２０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0034】

図３に示すように、制御部２２０は、取得部２２１と、対象範囲決定部２２２と、色候補抽出部２２３と、色変更部２２４と、検索部２２５とを有する。

【0035】

取得部２２１は、画像を取得する。例えば、取得部２２１は、端末装置１０からアップロードされた画像を取得する。また、例えば、取得部２２１は、端末装置１０によるカメラ撮影を行うことで画像を取得する。具体的には、取得部２２１は、気に入った洋服の色違いを検索したいとユーザが考え、その洋服を撮影した画像をアップロードした場合に、当該画像を取得する。

【0036】

対象範囲決定部２２２は、端末装置１０から色変更を行う対象範囲の指定を受け付けた場合には、当該範囲を前記色変更を行う対象範囲として決定する。例えば、対象範囲決定部２２２は、取得した画像のうち図形の拡大や縮小等の操作により対象範囲を決定する。具体的には、対象範囲決定部２２２は、シャツ、スカート、靴を含む洋服の画像について、ユーザによる四角図形の操作を受け付け、色変更を行う対象範囲としてシャツ部分を決定する。

【0037】

また、例えば、対象範囲決定部２２２は、タッチペンなどの操作により色変更を行う対象範囲を直接指定する。具体的には、対象範囲決定部２２２は、シャツ、スカート、靴を含む洋服の画像について、ユーザからのタッチペンによる塗りつぶし操作を受け付け、色変更を行う対象範囲としてシャツ部分を決定する。

【0038】

また、例えば、対象範囲決定部２２２は、機械学習によりアップロードされた画像中に存在するファッションアイテムについて自動で判別を行い、対象範囲を決定する。具体的には、対象範囲決定部２２２は、シャツ、スカート、靴を含む画像中のファッションアイテムを機械学習により自動で判別し、シャツ、スカート、靴のそれぞれの輪郭を自動で判定して、ユーザがアイテムとしてシャツを選択した場合に、シャツ部分を対象範囲として決定する。

【0039】

色候補抽出部２２３は、対象範囲決定部２２２により決定された範囲について、ユーザ属性、購入履歴、トレンド、商品情報のうち、いずれか１つまたは複数の情報に基づいて色変更の候補を抽出する。この時、ユーザ指定の色は１色でもよいし、複数色を含んでもよい。

【0040】

例えば、色候補抽出部２２３は、ユーザＩＤと対応付けられた購入履歴をもとに特定ユーザの関心が強いと想定される色の候補を抽出し提示する。具体的には、色候補抽出部２２３は、購入履歴ＤＢ２３２を参照してユーザＩＤ０００１のユーザが過去に購入した商品の色から各商品を暖色系、寒色系、中性色系に分類し、最も多い系統をユーザの関心の強い系統色として特定する。また、例えば、色候補抽出部２２３は、トレンドの情報をもとにユーザの関心が強いと想定される色の候補を抽出し提示する。具体的には、色候補抽出部２２３は、「季節：春」に対しては、トレンドＤＢ２３３を参照し対応する色として「桜色」を取得する。

【0041】

また、例えば、色候補抽出部２２３は、商品に関する情報をもとにユーザの関心が強いと想定される色の候補を抽出し提示する。具体的には、色候補抽出部２２３は、「商品カテゴリ：カバン」に対しては、商品ＤＢ２３４を参照し、対応する色として「茶色」を取得し、茶色を候補色として提示する。また、例えば、色候補抽出部２２３は、カラーパレットによりユーザが指定した色を候補色として提示する。具体的には、色候補抽出部２２３は、カラーパレットを表示し、ユーザによる赤色系統の選択を受け付け、さらにユーザが彩度や明度を調整することで、ユーザ希望色の指定を受け付け、候補色として提示する。

【0042】

また、例えば、色候補抽出部２２３は、カメラ撮影によってユーザ希望色の指定を受け付ける。具体的には、色候補抽出部２２３は、端末装置１０のカメラ機能を用いて撮影したワンピースの画像からユーザ希望の色をスポイト機能によって抽出し、指定を受け付ける。また、例えば、色候補抽出部２２３は、ユーザの保有する画像からの色の指定を受け付ける。具体的には、色候補抽出部２２３は、端末装置１０に保有するワンピースを含む洋服の画像中からユーザ希望の色をスポイト機能によって抽出し、指定を受け付ける。

【0043】

色変更部２２４は、色候補抽出部２２３により抽出された色変更の候補のうちユーザの指定色に変更し、色を変更した対象範囲の画像と、元の画像における対象範囲以外の画像との合成を行う。

【0044】

例えば、色変更部２２４は、ＲＧＢの変換を学習し、アップロード画像からＲ、Ｇ、Ｂ各色の画像を生成し、指定色に対応するＲＧＢで画像合成をすることでユーザ指定の色を生成する。具体的には、色変更部２２４は、色変更の対象範囲として決定された画像のシャツ部分について暖色系に変更する。この時、色変更の対象範囲については色の変更を行い、色変更の対象範囲以外については変更前の画像と合成を行うことで画像を作成する。

【0045】

検索部２２５は、色変更部２２４により対象範囲について色変更された画像を用いて検索する。また、検索部２２５は、検索結果とともに、色変更部２２４により変更された画像を外部に出力する。また、検索部２２５は、色変更部２２４により変更された画像をクエリとして画像検索を行う。例えば、検索部２２５は、色変更部２２４により洋服画像のうちシャツ部分について赤色に変更した画像を用いて画像検索する。また、例えば、検索部２２５は、色変更部２２４により色変更された画像を、検索装置以外の外部装置に出力する。具体的には、検索部２２５は、色変更部２２４により色変更された洋服画像のうちシャツ部分について赤色に変更した画像をＳＮＳサイトにアップロードする。

【0046】

〔４．対象範囲決定処理〕
次に、図５を用いて、実施形態に係る対象範囲決定処理の一例について説明する。図５は、実施形態に係る対象範囲決定の一例を示す図である。

【0047】

まずは、図５（１）において対象範囲決定処理について説明する。端末装置１０では、アップロードされた画像が表示されている。アップロードされる画像については、一つのアイテムだけが含まれる画像でもよいし、複数のアイテムが含まれる画像でもよい。次に、図５（２）において対象範囲の選択について説明する。端末装置１０は、色変更を行う対象範囲を選択する図形を表示する。例えば、端末装置１０は、四角形を対象範囲選択のための図形として表示する。

【0048】

そして、図５（３）において対象範囲の決定について説明する。端末装置１０では、色変更を行う対象範囲を決定する。例えば、端末装置１０は、図５（２）で表示した四角形の拡大、縮小、回転などの操作を受け付け、四角形と重なるシャツ部分を色変更の対象範囲として決定する。

【0049】

〔５．色変更候補抽出処理〕
次に、図６を用いて、実施形態に係る色変更候補抽出処理の一例について説明する。図６は、実施形態に係る色変更候補抽出処理の一例を示す図である。

【0050】

端末装置１０の上部には、シャツ、スカートのアイテムが含まれる画像が表示されており、色変更の対象範囲としてシャツ部分が決定されている。例えば、色候補抽出部２２３は、購入履歴ＤＢ２３２を参照し、ユーザＩＤと対応付けられた購入履歴のうち商品購入数が最も多い暖色系を当該ユーザの関心が強い色と特定し、暖色系色を色変更の候補として端末装置１０の下部に表示し、ユーザの指定を受け付ける。

【0051】

また、例えば、色候補抽出部２２３は、トレンドＤＢ２３３を参照し、「季節：春」と結びついた「桜色」の情報を用いて、桜色をユーザ関心が強い色と特定し、桜色を色変更の候補として端末装置１０の下部に表示し、ユーザの指定を受け付ける。また、例えば、色候補抽出部２２３は、商品ＤＢ２３４を参照し、「シチュエーション：オフィス」と結びついた「薄い青色」の情報を用いて、薄い青色をユーザ関心が強い色と特定し、薄い青色を色変更の候補として端末装置１０の下部に表示し、ユーザの指定を受け付ける。

【0052】

〔６．色変更処理のフロー〕
次に、図７を用いて、実施形態に係る検索システム１による色変更処理の手順について説明する。図７は、実施形態に係る色変更処理の一例を示すフローチャートである。

【0053】

まず、図７に示すように、検索装置２００の取得部２２１は、画像を取得する（ステップＳ１０１）。例えば、検索装置２００の取得部２２１は、端末装置１０からアップロードされたシャツ、スカート、靴を含む洋服の画像を取得する。その後、検索装置２００の対象範囲決定部２２２は、アップロードされた画像のうち色変更を行う対象範囲を決定する（ステップＳ１０２）。例えば、対象範囲決定部２２２は、アップロードされた、シャツ、スカート、靴を含む画像から、ユーザの端末操作を受け付け、シャツ部分を対象範囲として決定する。

【0054】

その後、検索装置２００の色候補抽出部２２３は、対象範囲についての色変更候補色を提示する（ステップＳ１０３）。例えば、検索装置２００の色候補抽出部２２３は、性別や年齢などのユーザ属性や購入履歴、季節や流行といったトレンド情報、カテゴリやジャンルといった商品情報から、ユーザの関心が強いと想定される色を暖色系と特定し、色変更の候補として暖色系のパレットを提示する。その後、検索装置２００の色変更部２２４は、ユーザが指定した対象範囲についてユーザが候補から選んだ色に変更する（ステップＳ１０４）。例えば、検索装置２００の色変更部２２４は、色変更の対象範囲として指定されたシャツ部分について赤色に変更する。

【0055】

そして、検索装置２００の検索部２２５は、色変更した画像を用いて検索を行う（ステップＳ１０５）。例えば、検索装置２００の検索部２２５は、アップロードされた画像のシャツ部分を赤色に変更した画像を用いて画像検索する。

【0056】

なお、上述した各種の情報は、任意の装置により実行が可能である。また、画像取得処理、対象範囲決定処理、色候補抽出処理、色変更処理までは、端末装置１０側が実行し、検索処理のみを検索装置２００が実行してもよい。あるいは、画像取得処理、対象範囲決定処理、色候補抽出処理、色変更処理、検索処理のすべての処理を検索装置２００が実行してもよい。

【0057】

〔７．効果〕
上述してきたように、実施形態に係る検索装置２００は、取得部２２１と、対象範囲決定部２２２と、色変更部２２４と、検索部２２５とを有する。取得部２２１は端末装置１０から画像を取得する。対象範囲決定部２２２は、取得部２２１より取得された画像のうち色変更を行う対象範囲を決定する。色変更部２２４は、対象範囲決定部２２２により決定された対象範囲について、特定色に変更を行う。検索部２２５は、色変更部２２４により変更された画像を用いて検索を行う。

【0058】

これにより、実施形態に係る検索装置２００は、アップロードされた画像から任意に選択した対象範囲について、ユーザ関心が強いと想定される色に変更し、色変更後の画像を用いた画像検索を可能とすることで、ユーザの目的とする商品の発見を容易とし、購買行動につなげることができる。

【0059】

また、実施形態に係る検索装置２００において、対象範囲決定部２２２は、ユーザから色変更を行う対象範囲の指定を受け付けた場合には、当該指定された対象範囲を、色変更を行う対象範囲として決定する。

【0060】

これにより、実施形態に係る検索装置２００は、色変更を行う対象範囲の決定が容易となるため、色違い商品を購入したいと考えるユーザに対し、ユーザの目的とする商品の発見を支援することができる。

【0061】

また、実施形態に係る検索装置２００は、対象範囲決定部２２２により抽出された色変更の対象範囲について、ユーザ属性、購入履歴、トレンド、商品に関する情報のうち、いずれか１つまたは複数の情報に基づいて色変更の候補を抽出する色候補抽出部２２３をさらに有し、色変更部２２４は、色候補抽出部２２３により抽出された色変更の候補のうちユーザの指定色に変更し、色を変更した対象範囲の画像と、元の画像における対象範囲以外の画像との合成を行う。

【0062】

これにより、実施形態に係る検索装置２００は、ユーザの好みやトレンド等を考慮して色を抽出し変更することを可能とし、ユーザの目的とする商品の発見を支援することができる。

【0063】

また、実施形態に係る検索装置２００における検索部２２５は、検索結果とともに、色変更部２２４により変更された画像を外部に出力する。

【0064】

これにより、実施形態に係る検索装置２００は、対象部分について色を変更した画像をＳＮＳサイトにアップロードすることで、ユーザの目的とする商品の発見を支援することができる。

【0065】

また、実施形態に係る検索装置２００における検索部２２５は、色変更部２２４により変更された画像をクエリとして画像検索を行う。

【0066】

これにより、実施形態に係る検索装置２００は、対象部分について色を変更した画像を用いた画像検索を行い、ユーザの目的とする商品の発見を支援することができる。

【0067】

〔８．ハードウェア構成〕
また、上述してきた実施形態に係る検索装置２００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。以下、検索装置２００を例に挙げて説明する。図８は、推定装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0068】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0069】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００がネットワークＮを介して生成したデータを他の機器へ送信する。

【0070】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

【0071】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0072】

例えば、コンピュータ１０００が実施形態に係る検索装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

【0073】

〔９．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0074】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0075】

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0076】

１ 検索システム
１０ 端末装置
２００ 検索装置
２１０ 通信部
２２０ 制御部
２２１ 取得部
２２２ 対象範囲決定部
２２３ 色候補抽出部
２２４ 色変更部
２２５ 検索部
２３０ 記憶部
２３１ ユーザ属性ＤＢ
２３２ 購入履歴ＤＢ
２３３ トレンドＤＢ
２３４ 商品ＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】