特許第6779969号(P6779969)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

特許6779969制御プログラム、情報処理装置及び情報処理方法
<>
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000002
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000003
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000004
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000005
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000006
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000007
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000008
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000009
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000010
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000011
  • 特許6779969-制御プログラム、情報処理装置及び情報処理方法 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6779969
(24)【登録日】2020年10月16日
(45)【発行日】2020年11月4日
(54)【発明の名称】制御プログラム、情報処理装置及び情報処理方法
(51)【国際特許分類】
   G06F 16/538 20190101AFI20201026BHJP
   G06F 16/532 20190101ALI20201026BHJP
   G06F 16/54 20190101ALI20201026BHJP
   G06F 3/0484 20130101ALI20201026BHJP
   G06Q 30/06 20120101ALI20201026BHJP
【FI】
   G06F16/538
   G06F16/532
   G06F16/54
   G06F3/0484 120
   G06Q30/06 330
【請求項の数】8
【全頁数】25
(21)【出願番号】特願2018-238934(P2018-238934)
(22)【出願日】2018年12月20日
(65)【公開番号】特開2020-101947(P2020-101947A)
(43)【公開日】2020年7月2日
【審査請求日】2019年8月20日
【早期審査対象出願】
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】岩崎 雅二郎
(72)【発明者】
【氏名】西村 修平
(72)【発明者】
【氏名】水野 加寿代
(72)【発明者】
【氏名】鈴木 智絵
(72)【発明者】
【氏名】田口 拓明
(72)【発明者】
【氏名】田中 達也
(72)【発明者】
【氏名】富樫 陸
【審査官】 甲斐 哲雄
(56)【参考文献】
【文献】 特表2018−536248(JP,A)
【文献】 国際公開第2007/119788(WO,A1)
【文献】 特開2018−152094(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00 −16/958
G06F 3/0484
G06Q 30/06
(57)【特許請求の範囲】
【請求項1】
情報処理装置により実行される制御プログラムであって、
第1商品に関する第1画像と類似する領域を含み、販売者によって販売対象として指定された第2商品を前記第1画像と類似する領域に含む第2画像であって、前記第2商品と紐づけられた第2画像を検索する検索手順と、
前記検索手順によって検索された第2画像の一部領域であって、前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で前記情報処理装置の表示部に表示させる表示制御手順と、
を前記情報処理装置に実行させることを特徴とする制御プログラム。
【請求項2】
前記表示制御手順は、
複数の商品に関する第3画像の各商品に対応する各領域の中からユーザによって選択された領域である前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で前記表示部に表示させる
ことを特徴とする請求項1に記載の制御プログラム。
【請求項3】
前記表示制御手順は、
前記第1画像を前記第3画像の他の領域に対して相対的に強調した状態で前記表示部に表示させ、前記第3画像の他の領域に対して相対的に強調した状態で表示させた前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で前記表示部に表示させる
ことを特徴とする請求項2に記載の制御プログラム。
【請求項4】
複数の商品に関する画像の各商品に対応する各領域の中からユーザによる選択を促す領域を判定する判定手順をさらに備え、
前記表示制御手順は、
前記判定手順によって判定された領域である前記第1画像を前記第3画像の他の領域に対して相対的に強調した状態で前記表示部に表示させる
ことを特徴とする請求項3に記載の制御プログラム。
【請求項5】
前記表示制御手順は、
複数の商品に関する前記第2画像の各商品に対応する各領域の少なくともいずれか一つの領域のうち、前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で前記表示部に表示させる
ことを特徴とする請求項1〜4のいずれか一つに記載の制御プログラム。
【請求項6】
前記表示制御手順は、
前記第2画像から前記第1画像と類似する領域の画像を抽出し、抽出した画像を検索結果として前記表示部に表示させることにより、前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で前記表示部に表示させる
ことを特徴とする請求項1〜のいずれか一つに記載の制御プログラム。
【請求項7】
第1商品に関する第1画像と類似する領域を含み、販売者によって販売対象として指定された第2商品を前記第1画像と類似する領域に含む第2画像であって、前記第2商品と紐づけられた第2画像を検索する検索部と、
前記検索部によって検索された第2画像の一部領域であって、前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で情報処理装置の表示部に表示させる表示制御部と、
を備えることを特徴とする情報処理装置。
【請求項8】
コンピュータが実行する情報処理方法であって、
第1商品に関する第1画像と類似する領域を含み、販売者によって販売対象として指定された第2商品を前記第1画像と類似する領域に含む第2画像であって、前記第2商品と紐づけられた第2画像を検索する検索工程と、
前記検索工程によって検索された第2画像の一部領域であって、前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で情報処理装置の表示部に表示させる表示制御工程と、
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御プログラム、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
従来、電子商取引を利用するユーザに対して、類似画像検索を用いて商品を推薦する技術が知られている。例えば、商品画像から背景画像を削除して商品領域を抽出し、類似する商品画像を検索する技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−251850号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、電子商取引におけるユーザビリティを向上させることができるとは限らない。例えば、上記の従来技術では、商品画像から背景画像を削除して商品領域を抽出し、類似する商品画像を検索するにすぎず、電子商取引におけるユーザビリティを向上させることができるとは限らない。
【0005】
本願は、上記に鑑みてなされたものであって、電子商取引におけるユーザビリティを向上させることができる制御プログラム、情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る制御プログラムは、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、前記第1画像と類似する領域を前記第2画像の他の領域に対して相対的に強調した状態で前記情報処理装置の表示部に表示させる表示制御手順を備えたことを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、電子商取引におけるユーザビリティを向上させることができるといった効果を奏する。
【図面の簡単な説明】
【0008】
図1図1は、第1の実施形態に係る情報処理の一例を示す図である。
図2図2は、第1の実施形態に係る情報処理装置の構成例を示す図である。
図3図3は、第1の実施形態に係る画像情報記憶部の一例を示す図である。
図4図4は、第1の実施形態に係る検索情報記憶部の一例を示す図である。
図5図5は、第1の実施形態に係る端末装置の構成例を示す図である。
図6図6は、第1の実施形態に係る情報処理手順を示すフローチャートである。
図7図7は、第1の実施形態に係る表示制御処理手順を示すフローチャートである。
図8図8は、変形例に係る出力処理の一例を示す図である。
図9図9は、第2の実施形態に係る端末装置の構成例を示す図である。
図10図10は、第2の実施形態に係る情報処理手順を示すフローチャートである。
図11図11は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下に、本願に係る制御プログラム、情報処理装置及び情報処理方法を実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る制御プログラム、情報処理装置及び情報処理方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
【0010】
〔1.第1の実施形態〕
〔1−1.情報処理の一例〕
まず、図1を用いて、第1の実施形態に係る情報処理の一例について説明する。図1は、第1の実施形態に係る情報処理の一例を示す図である。図1に示す情報処理は、端末装置10と店舗端末20(図2参照)と情報処理装置100とによって行われる。
【0011】
端末装置10は、ユーザにより使用される情報処理装置である。例えば、端末装置10は、ユーザが携帯する端末装置である。端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。また、端末装置10は、3G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる情報処理装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、ユーザから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、画面に表示された画像等のコンテンツに対する各種の操作を受付ける。なお、以下では、端末装置10をユーザと同一視する場合がある。すなわち、以下では、ユーザを端末装置10と読み替えることもできる。
【0012】
また、端末装置10には、第1の実施形態に係る制御プログラム(以下、適宜「アプリAP1」と記載する。)がインストールされている。端末装置10は、端末装置10にインストールされたアプリAP1を実行する。図1に示す例では、アプリAP1は、ファッション検索サービスに係るアプリである。第1の実施形態に係る制御プログラム(アプリAP1)は、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で情報処理装置の表示部に表示させる表示制御手順を備える。端末装置10は、端末装置10にインストールされたアプリAP1を実行することにより、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で端末装置10の表示部に表示させる。端末装置10は、商品に関する画像の配信要求を情報処理装置100に送信する。また、端末装置10は、商品に関する画像の検索要求を情報処理装置100に送信する。また、端末装置10は、情報処理装置100から取得した画像を端末装置10の画面(表示部13(図5参照))に表示する。
【0013】
店舗端末20は、店舗の管理者により使用される情報処理装置である。例えば、店舗端末20は、スマートフォンや、タブレット型端末や、ノート型PCや、携帯電話機や、PDA等である。店舗端末20は、ファッションアイテムである商品に関する画像(以下、適宜「商品画像」と記載する。)であって、販売対象の商品と紐づく商品画像を情報処理装置100に送信する。ここで、販売対象の商品とは、商品画像のデータと紐づけられた商品であって、店舗の管理者によって、販売対象の商品として指定された商品のことを指す。
【0014】
一般的に、ファッション業界における商品画像は、販売対象の商品に加えて、販売対象の商品でない他の商品(例えば、販売対象の商品とともに用いられる商品)を含むのが一般的である。例えば、販売対象の商品であるセーターに紐づく画像には、販売対象の商品であるセーターに加えて、販売対象の商品であるセーター以外の他の商品として、セーターを着用したモデルが着用しているパンツや靴、帽子、バッグといったアイテムが含まれる。
【0015】
情報処理装置100は、ファッション検索サービスを提供するサーバ装置である。具体的には、情報処理装置100は、店舗端末20から取得したファッションアイテムである商品に関する画像を検索対象とした類似画像検索サービスを提供する。情報処理装置100は、検索対象となる画像の中から、商品に関する第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。また、情報処理装置100は、検索した第2画像を出力する。
【0016】
ここから、図1を用いて、情報処理の流れについて説明する。図1では、端末装置10は、ユーザU1がアプリAP1を立ち上げる操作に応じて、アプリAP1を実行する。具体的には、端末装置10は、商品画像の配信要求であって、コンテンツC1の画像表示枠に表示させるための画像を情報処理装置100に要求するという配信要求を含むコンテンツC1を表示する。端末装置10は、コンテンツC1を表示することにより、画像の配信要求を取得する。続いて、端末装置10は、画像の配信要求を取得すると、商品画像の配信要求を情報処理装置100に送信する(ステップS11)。
【0017】
情報処理装置100は、端末装置10から配信要求を受け付けると、端末装置10の配信要求に応じて、商品画像IM1を端末装置10に配信する(ステップS12)。なお、以下では、端末装置10の画面に表示された画像の状態に応じて、画像IM1を画像IM1−A、画像IM1−Bのように記載する。また、画像の状態に応じて画像を区別する必要がない場合は、単に画像IM1と記載する。
【0018】
端末装置10は、商品画像IM1を情報処理装置100から取得する。具体的には、端末装置10は、販売対象の商品M1であるセーターSWに紐づく画像IM1を取得する。ここで、商品画像IM1には、商品画像IM1の送信元である店舗の管理者によって、販売対象の商品として指定された商品M1であるセーターSWが紐づいている。また、商品画像IM1には、販売対象の商品M1であるセーターSWに加えて、販売対象の商品であるセーター以外の他の商品である帽子HT、パンツPN、バッグBG、靴SHを含む複数の商品が写っている。商品画像IM1には、セーターSW、帽子HT、パンツPN、バッグBG、靴SHといった複数の商品が写っているので、商品画像IM1は複数の商品に関する画像と言える。例えば、端末装置10は、販売対象の商品M1であるセーターSWに加えて、販売対象の商品であるセーター以外の他の商品である帽子HT、パンツPN、バッグBG、靴SHといった販売対象でない商品を含む複数の商品に関する画像IM1を取得する。
【0019】
続いて、端末装置10は、商品画像IM1を取得すると、取得した画像IM1に所定の表示処理を施した画像IM1−Aを表示する。具体的には、端末装置10は、画像IM1の各商品の位置を示す印を各商品に対応する各領域に重畳して表示させた画像IM1−Aを表示する。より具体的には、端末装置10は、画像IM1の各商品に対応する各領域の大きさに比べて相対的に小さい円環状の輪である丸印を画像IM1に重畳して表示させた画像IM1−Aを表示する。例えば、端末装置10は、画像IM1の帽子HTの位置を示す印(円環状の輪)を帽子HTに対応する領域AR1−1に重畳して表示させた画像IM1−Aを表示する。また、端末装置10は、画像IM1のセーターSWの位置を示す印(円環状の輪)をセーターSWに対応する領域AR1−2に重畳して表示させた画像IM1−Aを表示する。また、端末装置10は、画像IM1のパンツPNの位置を示す印(円環状の輪)をパンツPNに対応する領域AR1−3に重畳して表示させた画像IM1−Aを表示する。また、端末装置10は、画像IM1のバッグBGの位置を示す印(円環状の輪)をバッグBGに対応する領域AR1−4に重畳して表示させた画像IM1−Aを表示する。また、端末装置10は、画像IM1の靴SHの位置を示す印(円環状の輪)を靴SHに対応する領域AR1−5に重畳して表示させた画像IM1−Aを表示する。このようにして、端末装置10は、取得した画像IM1に所定の表示処理を施した画像IM1−Aを表示する。
【0020】
続いて、端末装置10は、画像IM1−AのバッグBGに対応する領域AR1−4の印(円環状の輪)がユーザによって選択されると、ユーザによって選択された印(円環状の輪)に対応する画像IM1−Aの領域AR1−4である第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する検索要求を情報処理装置100に送信する(ステップS13)。
【0021】
情報処理装置100は、端末装置10から検索要求を受け付けると、受け付けた検索要求に応じて、検索対象となる画像である店舗端末20から取得した商品画像群の中から、ユーザによって選択された印(円環状の輪)に対応する領域AR1−4である第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する(ステップS14)。具体的には、情報処理装置100は、検索対象となる画像の中から、画像IM1−Aの領域AR1−4である第1画像と類似する画像を抽出する。より具体的には、情報処理装置100は、画像IM1−Aの領域AR1−4である第1画像と類似する領域を検索する。ここで、領域とは、物体(商品、又はアイテム)の検出単位を意味する。続いて、情報処理装置100は、画像IM1−Aの領域AR1−4である第1画像と類似する領域を含む第2画像を検索結果として抽出する。例えば、情報処理装置100は、販売対象の商品と販売対象の商品とは異なる他の商品とを含む複数の商品に関する第2画像を検索する。すなわち、情報処理装置100は、第2画像の各商品に対応する各領域のうち少なくともいずれか一つの領域が第1画像と類似する第2画像を検索する。例えば、情報処理装置100は、領域AR1−4である第1画像と類似する領域AR2−1を検索する。続いて、情報処理装置100は、領域AR1−4である第1画像と類似する領域AR2−1を含む第2画像IM2−Aを検索結果として抽出する。すなわち、情報処理装置100は、第2画像IM2−Aの各商品に対応する各領域のうちAR2−1が画像IM1−Aの領域AR1−4と類似する第2画像IM2−Aを検索結果として抽出する。また、情報処理装置100は、領域AR1−4である第1画像と類似する領域AR2−2を検索する。続いて、情報処理装置100は、領域AR1−4である第1画像と類似する領域AR2−2を含む第2画像IM2−Bを検索結果として抽出する。すなわち、情報処理装置100は、第2画像IM2−Bの各商品に対応する各領域のうちAR2−2が画像IM1−Aの領域AR1−4と類似する第2画像IM2−Bを検索結果として抽出する。また、情報処理装置100は、領域AR1−4である第1画像と類似する領域AR2−3を検索する。続いて、情報処理装置100は、領域AR1−4である第1画像と類似する領域AR2−3を含む第2画像IM2−Cを検索結果として抽出する。すなわち、情報処理装置100は、第2画像IM2−Cの各商品に対応する各領域のうちAR2−3が画像IM1−Aの領域AR1−4と類似する第2画像IM2−Cを検索結果として抽出する。
【0022】
続いて、情報処理装置100は、第2画像の各領域に対応する商品のカテゴリが第1画像に対応する商品のカテゴリと一致する第2画像を検索する。これにより、情報処理装置100は、第1画像と類似する画像として、商品のカテゴリがバッグ以外の商品(例えば、商品のカテゴリが靴の画像)を抽出した場合であっても、抽出した画像を最終的な検索結果として抽出しないようにすることができる。具体的には、情報処理装置100は、第2画像IM2−AのAR2−1に対応する商品のカテゴリが画像IM1−Aの領域AR1−4に対応する商品のカテゴリであるバッグと一致するか否かを判定する。続いて、情報処理装置100は、第2画像の各領域に対応する商品のカテゴリが第1画像に対応する商品のカテゴリと一致しないと判定した場合は、その第2画像を最終的な検索結果として抽出しない。図1に示す例では、情報処理装置100は、第2画像IM2−AのAR2−1に対応する商品のカテゴリがバッグであり、画像IM1−Aの領域AR1−4に対応する商品のカテゴリであるバッグと一致するので、第2画像IM2−Aを最終的な検索結果としてそのまま抽出する。同様にして、情報処理装置100は、第2画像IM2−BのAR2−2に対応する商品のカテゴリがバッグであり、画像IM1−Aの領域AR1−4に対応する商品のカテゴリであるバッグと一致するので、第2画像IM2−Bを最終的な検索結果としてそのまま抽出する。また、情報処理装置100は、第2画像IM2−CのAR2−3に対応する商品のカテゴリがバッグであり、画像IM1−Aの領域AR1−4に対応する商品のカテゴリであるバッグと一致するので、第2画像IM2−Cを最終的な検索結果としてそのまま抽出する。なお、情報処理装置100は、第2画像の各領域に対応する商品のカテゴリが第1画像に対応する商品のカテゴリと一致する第2画像を検索する処理を行った後に、第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する処理を行ってもよい。
【0023】
続いて、情報処理装置100は、第2画像を検索すると、検索した第2画像を出力する(ステップS15)。具体的には、情報処理装置100は、検索結果として抽出した第2画像を端末装置10に配信する。より具体的には、後述するように、情報処理装置100は、端末装置10から検索結果画像の配信要求を受け付けると、受け付けた配信要求に応じて、検索結果として抽出した第2画像を端末装置10に配信する。例えば、情報処理装置100は、検索結果として抽出した第2画像IM2−A、第2画像IM2−B、第2画像IM2−Cを端末装置10に配信する。
【0024】
端末装置10は、情報処理装置100に検索要求を送信すると、画面(表示部)を遷移させる(ステップS16)。具体的には、端末装置10は、検索結果である画像(検索結果画像とも記載する。)の配信要求であって、コンテンツC2の検索結果の画像表示枠に表示させるための画像を情報処理装置100に要求するという配信要求を含むコンテンツC2を表示する。端末装置10は、コンテンツC2を表示することにより、検索結果画像の配信要求を取得する。続いて、端末装置10は、画像の配信要求を取得すると、検索結果画像の配信要求を情報処理装置100に送信する。なお、端末装置10は、検索要求とともに検索結果画像の配信要求を情報処理装置100に送信すると、画面(表示部)を遷移させてもよい。また、端末装置10は、情報処理装置100から検索結果画像を取得すると、画面(表示部)を遷移させてもよい。
【0025】
端末装置10は、検索結果として抽出された第2画像を情報処理装置100から取得する。具体的には、端末装置10は、第2画像IM2−A、第2画像IM2−B、第2画像IM2−Cを取得する。続いて、端末装置10は、第2画像を取得すると、取得した第2画像IM2−A、第2画像IM2−B、第2画像IM2−Cに所定の表示処理を施して表示する。具体的には、端末装置10は、検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示させる。より具体的には、端末装置10は、第2画像IM2−Aの一部領域であって、第1画像と類似する領域AR2−1を第2画像IM2−Aの他の領域に対して相対的に強調した状態で表示させる。また、端末装置10は、第2画像IM2−Bの一部領域であって、第1画像と類似する領域AR2−2を第2画像IM2−Bの他の領域に対して相対的に強調した状態で表示させる。また、端末装置10は、第2画像IM2−Cの一部領域であって、第1画像と類似する領域AR2−3を第2画像IM2−Cの他の領域に対して相対的に強調した状態で表示させる。
【0026】
また、端末装置10は、コンテンツC1からコンテンツC2に画面を遷移させる際に、画像IM1に所定の表示処理を施した画像IM1−Bを表示する。具体的には、端末装置10は、ユーザによって選択された印(円環状の輪)に対応する領域AR1−4を画像IM1の他の領域に対して相対的に強調した状態で表示させる。
【0027】
一般的に、ファッション業界における商品に関する画像は、販売対象の商品だけでなく、販売対象の商品とともに用いられる他の商品を含むのが一般的である。例えば、販売対象の商品であるセーターに紐づく画像には、販売対象の商品であるセーターを着用したモデルが履いているパンツや靴、帽子といったアイテムが含まれる。そのため、従来は、ある商品画像の中からユーザが選択したアイテム(例えば、バッグ)と類似する商品画像を検索した場合、ユーザが選択したアイテム(例えば、バッグ)以外の商品を販売対象とする商品画像が検索結果として抽出されてしまうという課題があった。すなわち、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思っても、抽出された画像がバッグ以外の商品を販売対象とする画像である場合には、画像検索の結果を通じてユーザがバッグを購入することができないという課題があった。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグ以外の商品の商品詳細画面や商品購入画面に遷移してしまう。
【0028】
そこで、上述したように、第1の実施形態に係る情報処理装置100は、検索対象となる画像の中から、商品に関する第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。また、情報処理装置100は、検索した第2画像を出力する。これにより、情報処理装置100は、ある商品画像の中からユーザが選択したアイテム(例えば、バッグ)と類似する商品画像を検索した場合、ユーザが選択したアイテム(例えば、バッグ)を販売対象とする商品画像だけを検索結果として提供することができる。すなわち、情報処理装置100は、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思った場合に、画像検索の結果を通じてユーザがバッグを購入することを可能にする。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグの商品詳細画面や商品購入画面に遷移させることができる。したがって、情報処理装置100は、電子商取引におけるユーザビリティを向上させることができる。
【0029】
また、端末装置10は、端末装置10にインストールされたアプリAP1を実行することにより、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で端末装置10の表示部に表示させる。これにより、端末装置10は、検索結果である第2画像のうち、ユーザが興味を示している商品に対応する領域の視認性を高めることができる。したがって、端末装置10は、電子商取引におけるユーザビリティを向上させることができる。
【0030】
なお、図1に示す例では、端末装置10がコンテンツC1の画像表示枠に表示させるための商品画像IM1を情報処理装置100から取得する例について説明したが、端末装置10がユーザによって撮影された商品画像をユーザから取得してもよい。具体的には、端末装置10は、端末装置10のカメラロールからユーザによって撮影された商品に関する商品画像を取得する。例えば、端末装置10は、商品画像として、ユーザによって店頭で撮影された商品に関する画像を取得する。あるいは、端末装置10は、商品画像として、電子商取引サービス等の商品に関するコンテンツを閲覧中のユーザによって撮影された商品に関するスクリーンショットを取得する。続いて、端末装置10は、ユーザによって撮影された商品画像を取得すると、取得した商品画像を情報処理装置100に送信する。また、情報処理装置100は、端末装置10から商品画像を取得すると、取得した商品画像に含まれる商品に対応する領域を判定する。例えば、情報処理装置100は、画像解析モデルを用いて、商品画像の各商品に対応する各領域を判定する。続いて、情報処理装置100は、商品画像の各商品に対応する各領域を判定すると、各領域のサイズを判定する。続いて、情報処理装置100は、各領域のサイズを判定すると、商品画像に対する各領域の相対的な位置を示す座標を判定する。また、情報処理装置100は、商品画像に対応する商品のカテゴリを判定する。また、情報処理装置100は、判定したカテゴリの確度を算出する。情報処理装置100は、判定した領域、サイズ、位置、カテゴリに関する情報を商品画像と対応付けて記憶部に格納する。また、端末装置10は、商品に対応する領域の商品画像に対する相対的な位置を示す座標に関する座標情報を情報処理装置100から取得する。続いて、端末装置10は、取得した商品画像に所定の表示処理を施した商品画像を生成する。続いて、端末装置10は、生成した商品画像を端末装置10の画面(表示部)に表示する。続いて、端末装置10は、商品画像の所定の商品に対応する領域の印(白丸)がユーザによって選択されると、ユーザによって選択された印(白丸)に対応する商品画像の領域である第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する検索要求を情報処理装置100に送信する。
【0031】
〔1−2.情報処理装置の構成〕
次に、図2を用いて、第1の実施形態に係る情報処理装置100の構成について説明する。図2は、第1の実施形態に係る情報処理装置100の構成例を示す図である。図2に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示させるための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0032】
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば、端末装置10と、店舗端末20との間で情報の送受信を行う。
【0033】
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、図2に示すように、画像情報記憶部121と検索情報記憶部122を有する。
【0034】
(画像情報記憶部121)
画像情報記憶部121は、商品画像に関する各種の情報を記憶する。図3に、第1の実施形態に係る画像情報記憶部の一例を示す。図3に示す例では、画像情報記憶部121は、「画像ID」、「画像」、「画像サイズ」、「商品ID」、「商品名」、「画像アイテム情報」といった項目を有する。また、「画像アイテム情報」は、「領域ID」、「座標」、「領域サイズ」、「カテゴリ」、「確度」といった小項目を有する。
【0035】
「画像ID」は、画像を識別する識別情報を示す。「画像」は、商品画像のデータやデータの格納場所を示す。「画像サイズ」は、画像のサイズを示す。「商品ID」は、画像に紐づく商品を識別する識別情報を示す。ここで、画像に紐づく商品とは、画像が販売対象とする商品を意味する。「商品名」は、画像に紐づく商品の名称を示す。「画像アイテム情報」は、商品画像に関するアイテム(商品)に関する各種の情報を示す。
【0036】
「領域ID」は、商品画像に関するアイテム(商品)に対応する領域を識別する識別情報を示す。「座標」は、アイテム(商品)に対応する領域の商品画像に対するに対する相対的な位置を示す座標を示す。「領域サイズ」は、アイテム(商品)に対応する領域のサイズを示す。「カテゴリ」は、情報処理装置100が判定したアイテムのカテゴリ(ファッションカテゴリ)を示す。「確度」は、情報処理装置100が判定したアイテムのカテゴリの確かさの度合いを示す。
【0037】
(検索情報記憶部122)
検索情報記憶部122は、ユーザによる画像の検索履歴に関する各種の情報を記憶する。図4に、第1の実施形態に係る検索情報記憶部の一例を示す。図4に示す例では、検索情報記憶部122は、「日時」、「ユーザID」、「画像ID」、「領域ID」といった項目を有する。
【0038】
「日時」は、ユーザが画像を検索した日時を示す。「ユーザID」は、ユーザを識別する識別情報を示す。「画像ID」は、ユーザが検索した領域を含む画像を識別する識別情報を示す。「領域ID」は、ユーザが検索した画像の領域を識別する識別情報を示す。
【0039】
(制御部130)
図2の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0040】
図2に示すように、制御部130は、提供部131と、受付部132と、判定部133と、検索部134と、出力部135とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0041】
(提供部131)
提供部131は、ファッション検索サービスを提供する。具体的には、提供部131は、店舗端末20から商品画像を取得する。また、提供部131は、商品画像に関する情報を取得する。例えば、提供部131は、商品画像のサイズ、商品画像に紐づく商品(販売対象の商品)の商品名やカテゴリに関する情報を店舗端末20から取得する。続いて、提供部131は、商品画像に関する情報を取得すると、取得した商品画像に関する情報を画像情報記憶部121に格納する。
【0042】
また、提供部131は、商品画像の配信要求であって、コンテンツC1の画像表示枠に表示させるための画像の配信要求を受け付ける。続いて、提供部131は、端末装置10から商品画像の配信要求を受け付けると、端末装置10の配信要求に応じて、コンテンツC1の画像表示枠に表示させるための商品画像を端末装置10に配信する。なお、提供部131は、ユーザによって撮影された商品画像を端末装置10から取得してもよい。具体的には、提供部131は、商品画像として、ユーザによって店頭で撮影された商品に関する画像を取得する。あるいは、提供部131は、商品画像として、電子商取引サービス等の商品に関するコンテンツを閲覧中のユーザによって撮影された商品に関するスクリーンショットを取得する。
【0043】
(受付部132)
受付部132は、ユーザから検索に関する要求を受け付ける。判定部133は、提供部131によって取得されたユーザによって撮影された商品画像に関する種々の情報を判定する。具体的には、受付部132は、商品に関する第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する検索要求を受け付ける。
【0044】
(判定部133)
判定部133は、商品画像の商品に関する種々の情報を判定する。判定部133は、提供部131によって取得されたユーザによって撮影された商品画像に関する種々の情報を判定する。具体的には、判定部133は、商品画像の商品に対応する領域を判定する。より具体的には、判定部133は、提供部131によって取得された商品画像の商品に対応する領域を判定する。例えば、判定部133は、画像解析モデルを用いて、商品画像の各商品に対応する各領域を判定する。続いて、判定部133は、商品画像の各商品に対応する各領域を判定すると、各領域のサイズを判定する。続いて、判定部133は、各領域のサイズを判定すると、商品画像に対する各領域の相対的な位置を示す座標を判定する。判定部133は、各領域のサイズと位置を判定すると、判定したサイズと位置を各領域と対応付けて画像情報記憶部121に格納する。
【0045】
また、判定部133は、商品画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を判定する。例えば、判定部133は、画像解析モデルを用いて、商品画像の各領域に対応する各商品の色を代表する代表色に関する色情報、柄を代表する代表柄に関する柄情報、模様を代表する代表模様に関する模様情報又は素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を判定する。判定部133は、各商品の色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報を判定すると、判定した色情報、柄情報、模様情報又は素材情報を各領域と対応付けて画像情報記憶部121に格納する。
【0046】
また、判定部133は、商品画像に対応する商品のカテゴリを判定する。具体的には、判定部133は、提供部131によって取得された商品画像の各領域に対応する各商品のカテゴリを判定する。例えば、判定部133は、画像解析モデルを用いて、商品画像の各領域に対応する各商品のカテゴリを判定する。判定部133は、カテゴリを判定すると、判定したカテゴリを商品画像の各領域と対応付けて画像情報記憶部121に格納する。
【0047】
また、判定部133は、判定したカテゴリの確度を算出する。例えば、判定部133は、画像解析モデルを用いて算出されたカテゴリの確度を取得する。続いて、判定部133は、カテゴリの確度を取得すると、取得した確度を判定したカテゴリと対応付けて画像情報記憶部121に格納する。
【0048】
(検索部134)
検索部134は、検索対象となる画像の中から、商品に関する第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。具体的には、検索部134は、複数の商品に関する第3画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第1画像と類似する第2画像を検索する。より具体的には、検索部134は、第3画像の各商品に対応する各領域の中からユーザによって選択された領域である第1画像と類似する第2画像を検索する。例えば、検索部134は、第3画像の各商品に対応する各領域の中からユーザによって選択された領域である第1画像と類似する第2画像を検索する検索要求を端末装置10から受け付ける。検索部134は、検索要求を受け付けると、画像情報記憶部121を参照して、ユーザによって選択された領域を含む第3画像の画像IDと、ユーザによって選択された第1画像の領域IDとを取得する。図1に示す例では、検索部134は、画像情報記憶部121を参照して、ユーザによって選択された領域を含む第3画像の画像IDであるIM1と、ユーザによって選択された第1画像の領域IDであるAR1−4とを取得する。続いて、検索部134は、取得した第3画像の画像IDと第1画像の領域IDとに基づいて、第1画像と類似する第2画像を検索する。例えば、検索部134は、画像解析モデルを用いて、あらかじめ第3画像の各商品に対応する各領域の特徴量を算出しておき、算出した特徴量を各領域と対応付けて画像情報記憶部121に格納する。続いて、検索部134は、画像情報記憶部121を参照して、第1画像の特徴量を取得する。続いて、検索部134は、画像情報記憶部121を参照して、取得した第1画像の特徴量と類似する特徴量を有する第2画像を検索する。例えば、検索部134は、第1画像と類似する領域である第4画像を検索する。続いて、検索部134は、第1画像と類似する領域である第4画像を含む第2画像を検索結果として抽出する。例えば、検索部134は、画像情報記憶部121を参照して、第2画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第4画像の特徴量が第1画像の特徴量と類似する第2画像を検索する。
【0049】
検索部134は、端末装置10から検索要求を受け付けると、受け付けた検索要求に応じて、検索対象となる画像の中から、ユーザによって選択された印(円環状の輪)に対応する領域である第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。より具体的には、検索部134は、検索対象となる画像の中から、第1画像と類似する画像を抽出する。また、検索部134は、第2画像に紐づく販売対象の商品と販売対象の商品とは異なる他の商品とを含む複数の商品に関する第2画像を検索する。例えば、検索部134は、第2画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第4画像が第1画像と類似する第2画像を検索する。また、検索部134は、第4画像に対応する商品が第2画像に紐づく販売対象の商品と一致する第2画像を検索する。
【0050】
続いて、検索部134は、第4画像に対応する商品のカテゴリが第1画像に対応する商品のカテゴリと一致する第2画像を検索する。具体的には、検索部134は、第2画像の各領域に対応する商品のカテゴリが第1画像に対応する商品のカテゴリと一致する第2画像を検索する。例えば、検索部134は、第4画像の特徴量が第1画像の特徴量と類似する第2画像を検索すると、画像情報記憶部121を参照して、第4画像に対応する商品のカテゴリを取得する。また、検索部134は、画像情報記憶部121を参照して、第1画像に対応する商品のカテゴリを取得する。続いて、検索部134は、取得した第4画像に対応する商品のカテゴリと第1画像に対応する商品のカテゴリとを比較して、第4画像に対応する商品のカテゴリと第1画像に対応する商品のカテゴリとが一致するか否かを判定する。続いて、検索部134は、第4画像に対応する商品のカテゴリと第1画像に対応する商品のカテゴリとが一致すると判定した場合に、その第4画像を含む第2画像を検索結果として抽出する。
【0051】
(出力部135)
出力部135は、検索部134によって検索された第2画像を出力する。具体的には、出力部135は、検索部134によって検索された第2画像を端末装置10に配信する。より具体的には、出力部135は、端末装置10から検索結果画像の配信要求を受け付けると、受け付けた配信要求に応じて、検索部134によって検索された第2画像を端末装置10に配信する。
【0052】
〔1−3.端末装置の構成〕
次に、図5を用いて、第1の実施形態に係る端末装置10の構成について説明する。図5は、第1の実施形態に係る端末装置10の構成例を示す図である。図5に示すように、端末装置10は、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15とを有する。
【0053】
(通信部11)
通信部11は、例えば、NIC等によって実現される。そして、通信部11は、図示しない所定の通信網を介して、有線又は無線で接続され、情報処理装置100との間で情報の送受信を行う。
【0054】
(入力部12)
入力部12は、ユーザからの各種操作を受け付ける。例えば、入力部12は、タッチパネル機能により表示面を介してユーザからの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0055】
(表示部13)
表示部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示部であり、各種情報を表示させるための表示装置である。例えば、表示部13は、記憶部14に格納されたコンテンツを表示させる。具体的には、表示部13は、商品画像の配信要求であって、コンテンツC1の画像表示枠に表示させるための画像を情報処理装置100に要求するという配信要求を含むコンテンツC1を表示させる。また、表示部13は、情報処理装置100から受信した商品画像を表示させる。具体的には、表示部13は、コンテンツC1の画像表示枠に表示させるための商品画像を表示させる。
【0056】
(記憶部14)
記憶部14は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、端末装置10にインストールされているアプリケーション(例えばアプリAP1等)に関する情報、例えばプログラム等を記憶する。また、記憶部14は、図5に示すように、コンテンツ情報記憶部141を有する。
【0057】
(コンテンツ情報記憶部141)
コンテンツ情報記憶部141は、コンテンツに関する各種の情報を記憶する。具体的には、コンテンツ情報記憶部141は、アプリAP1に関するコンテンツを格納する。例えば、コンテンツ情報記憶部141は、図1に示すコンテンツC1、コンテンツC2を格納する。
【0058】
(制御部15)
制御部15は、例えば、コントローラであり、CPUやMPU等によって、端末装置10内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置10にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、第1の実施形態に係るアプリAP1のプログラムが含まれる。また、制御部15は、例えば、ASICやFPGA等の集積回路により実現される。
【0059】
図5に示すように、制御部15は、受付部151と、取得部152と、判定部153と、表示制御部154と、生成部155とを有し、以下に説明する情報処理の作用を実現または実行する。
【0060】
(受付部151)
受付部151は、ユーザから検索に関する要求を受け付ける。具体的には、受付部151は、ユーザがアプリAP1を立ち上げる操作を受け付ける。受付部151は、表示部13によってコンテンツC1が画面(表示部)に表示されることにより、画像の配信要求を取得する。続いて、受付部151は、画像の配信要求を取得すると、商品画像の配信要求を情報処理装置100に送信する。
【0061】
受付部151は、商品に関する第1画像をユーザから受け付ける。具体的には、受付部151は、表示制御部154によって表示部13に表示された印がユーザによって選択された場合に、ユーザによって選択された印に対応する第1画像をユーザから受け付ける。受付部151は、第1画像をユーザから受け付けると、受け付けた第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する検索要求を情報処理装置100に送信する。
【0062】
また、受付部151は、表示部13によってコンテンツC2が画面(表示部)に表示されることにより、検索結果画像の配信要求を取得する。続いて、受付部151は、検索結果画像の配信要求を取得すると、検索結果画像の配信要求を情報処理装置100に送信する。
【0063】
(取得部152)
取得部152は、コンテンツC1の画像表示枠に表示させるための商品画像を情報処理装置100から取得する。具体的には、取得部152は、コンテンツC1の画像表示枠に表示させるための商品画像として、複数の商品に関する第3画像を取得する。また、取得部152は、第3画像を取得することにより、第3画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第1画像を取得する。なお、取得部152は情報処理装置100からコンテンツC1の画像表示枠に表示させるための商品画像を取得する代わりに、ユーザによって撮影された商品画像をユーザから取得してもよい。具体的には、取得部152は、端末装置10のカメラロールからユーザによって撮影された商品に関する商品画像を取得する。例えば、取得部152は、商品画像として、ユーザによって店頭で撮影された商品に関する画像を取得する。あるいは、取得部152は、商品画像として、電子商取引サービス等の商品に関するコンテンツを閲覧中のユーザによって撮影された商品に関するスクリーンショットを取得する。続いて、取得部152は、ユーザによって撮影された商品画像を取得すると、取得した商品画像を情報処理装置100に送信する。
【0064】
また、取得部152は、第1画像の第3画像に対する相対的な位置を示す座標に関する座標情報を取得する。具体的には、取得部152は、画像情報記憶部121を参照して、第1画像の第3画像に対する相対的な位置を示す座標に関する座標情報を取得する。
【0065】
また、取得部152は、第1画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。具体的には、取得部152は、画像情報記憶部121を参照して、第1画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。
【0066】
また、取得部152は、コンテンツC2の検索結果の画像表示枠に表示させるための画像を情報処理装置100から取得する。具体的には、取得部152は、第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を情報処理装置100から取得する。
【0067】
(判定部153)
判定部153は、複数の商品に関する画像の各商品に対応する各領域の中からユーザによる選択を促す領域を判定する。具体的には、判定部153は、取得部152によってコンテンツC1の画像表示枠に表示させるための商品画像が取得されると、画像情報記憶部121を参照して、複数の商品のうち、カテゴリの確度が最も高い商品に対応する領域を判定する。続いて、判定部153は、カテゴリの確度が最も高い商品に対応する領域をユーザによる選択を促す領域として選択する。
【0068】
(表示制御部154)
表示制御部154は、コンテンツC1を画面(表示部)に表示させる。具体的には、表示制御部154は、受付部151によってユーザがアプリAP1を立ち上げる操作が受け付けられると、コンテンツ情報記憶部141を参照して、コンテンツC1を画面(表示部)に表示させる。
【0069】
また、表示制御部154は、複数の商品に関する第3画像を画面(表示部)に表示させる。具体的には、表示制御部154は、取得部152によってコンテンツC1の画像表示枠に表示させるための商品画像として、複数の商品に関する第3画像が取得されると、コンテンツC1の画像表示枠に第3画像を表示させる。表示制御部154は、コンテンツC1の画像表示枠に第3画像を表示させることにより、第3画像を画面(表示部)に表示させる。また、取得部152は、第3画像を画面(表示部)に表示させることにより、第3画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第1画像を画面(表示部)に表示させる。
【0070】
表示制御部154は、受付部151によって受け付けられた第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を端末装置10の表示部13に表示させる。具体的には、表示制御部154は、取得部152によって取得された第2画像を端末装置10の表示部13に表示させる。より具体的には、表示制御部154は、複数の商品に関する第3画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第1画像と類似する第2画像を表示部13に表示させる。
【0071】
また、表示制御部154は、取得部152によって取得された座標情報に基づいて、第1画像に対応する商品の位置を示す印を第1画像に重畳して表示部13に表示させる。具体的には、表示制御部154は、第1画像に対応する商品の位置を示す印として、第1画像の大きさに比べて相対的に小さい円環状の輪である丸印を第1画像に重畳して表示部13に表示させる。より具体的には、表示制御部154は、生成部155によって生成された画像を表示部13に表示させる。例えば、表示制御部154は、生成部155によって生成された第1画像に対応する商品の位置を示す印を第1画像に重畳した画像を表示部13に表示させる。また、表示制御部154は、生成部155によって生成された第1画像の大きさに比べて相対的に小さい円環状の輪である丸印を第1画像に重畳した画像を表示部13に表示させる。
【0072】
また、表示制御部154は、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で端末装置10の表示部13に表示させる。具体的には、表示制御部154は、複数の商品に関する第3画像の各商品に対応する各領域の中からユーザによって選択された領域である第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。より具体的には、表示制御部154は、生成部155によって生成された画像を表示部13に表示させる。例えば、表示制御部154は、生成部155によって生成された商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示する画像を表示部13に表示させる。例えば、表示制御部154は、生成部155によって生成された複数の商品に関する第3画像の各商品に対応する各領域の中からユーザによって選択された領域である第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示する画像を表示部13に表示させる。
【0073】
また、表示制御部154は、第1画像を第3画像の他の領域に対して相対的に強調した状態で表示部13に表示させ、第3画像の他の領域に対して相対的に強調した状態で表示させた第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。例えば、表示制御部154は、表示制御部154は、判定部153によってユーザによる選択を促す領域として判定された領域である第1画像を第3画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0074】
また、表示制御部154は、複数の商品に関する第2画像の各商品に対応する各領域の少なくともいずれか一つの領域のうち、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。例えば、表示制御部154は、第2画像に紐づく販売対象の商品に対応する領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0075】
表示制御部154は、取得部152によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、代表色、代表柄、代表模様又は代表素材のうち少なくともいずれか一つの要素で円環状の輪の中身を示した丸印を第1画像に重畳して表示部13に表示させる。表示制御部154は、生成部155によって生成された変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を表示部13に表示させる。
【0076】
(生成部155)
生成部155は、取得部152によって取得された座標情報に基づいて、第1画像に対応する商品の位置を示す印を生成する。具体的には、生成部155は、取得部152によって取得された座標情報に基づいて、第1画像に対応する商品の位置を特定する。続いて、生成部155は、第1画像に対応する商品の位置を示す印として、第1画像の大きさに比べて相対的に小さい円環状の輪である丸印を生成する。続いて、生成部155は、特定した位置に生成した印を重畳した画像を生成する。このようにして、生成部155は、第1画像に対応する商品の位置を示す印を第1画像に重畳した画像を生成する。例えば、生成部155は、第1画像の大きさに比べて相対的に小さい円環状の輪である丸印を第1画像に重畳した画像を生成する。
【0077】
また、生成部155は、取得部152によって取得された座標情報に基づいて、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示する画像を生成する。具体的には、生成部155は、取得部152によって取得された座標情報に基づいて、第2画像の一部領域であって、第1画像と類似する領域を特定する。続いて、生成部155は、特定した領域を第2画像の他の領域に対して相対的に強調した状態で表示する画像を生成する。例えば、生成部155は、複数の商品に関する第3画像の各商品に対応する各領域の中からユーザによって選択された領域である第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示する画像を生成する。
【0078】
〔1−4.情報処理のフロー〕
次に、図6を用いて、第1の実施形態に係る情報処理の手順について説明する。図6は、第1の実施形態に係る情報処理手順を示すフローチャートである。図6に示す例では、情報処理装置100は、商品に関する第1画像と類似する画像の検索要求をユーザから受け付けたか否かを判定する(ステップS101)。情報処理装置100は、画像の検索要求をユーザから受け付けていない場合(ステップS101;No)、画像の検索要求をユーザから受け付けるまで待機する。
【0079】
一方、情報処理装置100は、画像の検索要求をユーザから受け付けた場合(ステップS101;Yes)、第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する(ステップS102)。情報処理装置100は、第2画像を検索すると、検索した第2画像を出力する(ステップS103)。
【0080】
〔1−5.出力処理のフロー〕
次に、図7を用いて、第1の実施形態に係る表示制御処理の手順について説明する。図7は、第1の実施形態に係る表示制御処理手順を示すフローチャートである。図7に示す例では、端末装置10は、第1画像と類似する第2画像を情報処理装置100から取得したか否かを判定する(ステップS201)。端末装置10は、第1画像と類似する第2画像を取得していない場合(ステップS201;No)、第1画像と類似する第2画像を取得するまで待機する。
【0081】
一方、端末装置10は、第1画像と類似する第2画像を取得した場合(ステップS201;Yes)、第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で端末装置10の表示部13に表示させる(ステップS202)。
【0082】
〔1−6.変形例〕
上述した第1の実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
【0083】
〔1−6−1.他の強調表示〕
図8は、変形例に係る出力処理の一例を示す図である。図8に示す例では、表示制御部154は、第2画像から第1画像と類似する領域の画像を抽出し、抽出した画像を検索結果として表示部13に表示させることにより、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0084】
〔1−6−2.色検索〕
受付部132は、ユーザが指定した色に近い順番に出力部135によって出力された第2画像を並べ替えて出力し直す並べ替え要求を受け付ける。出力部135は、受付部132によって受け付けられた並べ替え要求に応じて、ユーザが指定した色に近い順番に出力部135によって出力された第2画像を並べ替えて出力し直す。
【0085】
〔1−6−3.色、柄、模様、又は素材違い検索〕
取得部152は、第1画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。表示制御部154は、取得部152によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、代表色、代表柄、代表模様又は代表素材のうち少なくともいずれか一つの要素で円環状の輪の中身を示した丸印を第1画像に重畳して表示部13に表示させる。具体的には、生成部155は、取得部152によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、代表色、代表柄、代表模様又は代表素材のうち少なくともいずれか一つの要素で円環状の輪の中身を示した丸印を生成する。続いて、表示制御部154は、生成部155によって生成された丸印を第1画像に重畳して表示部13に表示させる。
【0086】
続いて、生成部155は、表示制御部154によって表示部13に表示された丸印がユーザによって選択された場合に、ユーザによって選択された丸印に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成する。受付部151は、生成部155によって変更画像が生成されると、変更画像を受け付ける。受付部151は、変更画像を受け付けると、受け付けた変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する検索要求を変更画像と共に情報処理装置100に送信する。また、受付部151は、検索結果画像の配信要求を検索要求と変更画像と共に情報処理装置100に送信する。
【0087】
情報処理装置100は、端末装置10から検索要求を受け付けると、検索要求に応じて、変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。具体的には、検索部134は、第1画像に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。出力部135は、検索部134によって検索された第2画像を出力する。具体的には、出力部135は、検索部134によって検索された第2画像を端末装置10に配信する。
【0088】
取得部152は、変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を取得する。表示制御部154は、生成部155によって生成された変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を表示部13に表示させる。具体的には、表示制御部154は、取得部152によって取得された第2画像を表示部13に表示させる。
【0089】
なお、上記の例では、端末装置10の生成部155が変更画像を生成する例について説明したが、情報処理装置100が変更画像を生成してもよい。具体的には、情報処理装置100は、端末装置10から検索要求を受け付けると、検索要求に応じて、変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。より具体的には、検索部134は、第1画像に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成し、生成した変更画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。
【0090】
〔2.第2の実施形態〕
〔2−1.情報処理の一例〕
次に、第2の実施形態について説明する。上述してきた第1の実施形態では、情報処理装置100が検索した第2画像を出力し、端末装置10が出力された第2画像を表示する情報処理の一例を説明した。第2の実施形態では、端末装置10Aが検索した第2画像を出力し、出力した第2画像を自身に表示する情報処理の例を示す。なお、第2の実施形態では、第1の実施形態と同様の構成について同一の符号を付して説明を省略する。
【0091】
端末装置10Aには、第2の実施形態に係る制御プログラム(以下、適宜「アプリAP2」と記載する。)がインストールされている。端末装置10Aは、端末装置10AにインストールされたアプリAP2を実行する。
【0092】
〔2−2.端末装置の構成〕
次に、図9を用いて、第2の実施形態に係る端末装置10Aの構成について説明する。図9は、第2の実施形態に係る端末装置10Aの構成例を示す図である。図9に示すように、端末装置10Aは、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15Aとを有する。
【0093】
(制御部15A)
制御部15Aは、例えば、コントローラであり、CPUやMPU等によって、端末装置10A内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置10Aにインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、第2の実施形態に係るアプリAP2のプログラムが含まれる。また、制御部15Aは、例えば、ASICやFPGA等の集積回路により実現される。
【0094】
図9に示すように、制御部15Aは、受付部151と、取得部152と、判定部153と、表示制御部154Aと、生成部155と、検索部156Aとを有し、以下に説明する情報処理の作用を実現または実行する。
【0095】
(表示制御部154A)
表示制御部154Aは、検索部156Aによって検索された第2画像を表示部13に表示させる。具体的には、表示制御部154Aは、検索部156Aによって情報処理装置100の画像情報記憶部121から取得された第2画像を表示部13に表示させる。
【0096】
(検索部156A)
検索部156Aは、商品に関する第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。具体的には、受付部151は、表示制御部154によって表示部13に表示された印がユーザによって選択された場合に、ユーザによって選択された印に対応する第1画像をユーザから受け付ける。続いて、検索部156Aは、第1画像をユーザから受け付けると、受け付けた第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。例えば、検索部156Aは、検索対象となる画像を格納した情報処理装置100の画像情報記憶部121を参照して、検索対象となる画像の中から、第1画像をユーザから受け付けると、受け付けた第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する。検索部156Aは、第2画像を検索すると、情報処理装置100の画像情報記憶部121から検索した第2画像を取得する。
【0097】
〔2−3.情報処理のフロー〕
次に、図10を用いて、第2の実施形態に係る情報処理の手順について説明する。図10は、第2の実施形態に係る情報処理手順を示すフローチャートである。図10に示す例では、端末装置10Aは、商品に関する第1画像と類似する画像の検索要求をユーザから受け付けたか否かを判定する(ステップS301)。
【0098】
端末装置10Aは、画像の検索要求をユーザから受け付けていない場合(ステップS301;No)、画像の検索要求をユーザから受け付けるまで待機する。
【0099】
一方、端末装置10Aは、画像の検索要求をユーザから受け付けた場合(ステップS301;Yes)、第1画像と類似する画像であって、販売対象の商品に紐づく画像である第2画像を検索する(ステップS302)。続いて、端末装置10Aは、第2画像を検索すると、検索した第2画像を端末装置10Aの表示部13に表示させる(ステップS303)。
【0100】
〔3.効果〕
上述してきたように、第1の実施形態に係る端末装置10は、表示制御部154を備える。表示制御部154は、商品に関する第1画像と類似画像検索された画像群の中から検索結果として抽出された第2画像の一部領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で端末装置10の表示部13に表示させる。また、表示制御部154は、複数の商品に関する第3画像の各商品に対応する各領域の中からユーザによって選択された領域である第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0101】
これにより、端末装置10は、検索結果である第2画像のうち、ユーザが興味を示している商品に対応する領域の視認性を高めることができる。したがって、端末装置10は、電子商取引におけるユーザビリティを向上させることができる。
【0102】
また、表示制御部154は、第1画像を第3画像の他の領域に対して相対的に強調した状態で表示部13に表示させ、第3画像の他の領域に対して相対的に強調した状態で表示させた第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0103】
これにより、端末装置10は、検索対象となる画像の中からユーザが選択した領域の視認性を高めることができるため、電子商取引におけるユーザビリティをより向上させることができる。
【0104】
また、第1の実施形態に係る端末装置10は、判定部153をさらに備える。判定部153は、複数の商品に関する画像の各商品に対応する各領域の中からユーザによる選択を促す領域を判定する。表示制御部154は、判定部153によって判定された領域である第1画像を第3画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0105】
これにより、端末装置10は、画像の中からユーザが領域を選択するのを助けることができるため、電子商取引におけるユーザビリティをより向上させることができる。
【0106】
また、表示制御部154は、複数の商品に関する第2画像の各商品に対応する各領域の少なくともいずれか一つの領域のうち、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。また、表示制御部154は、第2画像に紐づく販売対象の商品に対応する領域であって、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0107】
これにより、端末装置10は、これにより、端末装置10は、検索結果である第2画像に複数の商品が含まれる場合でも、検索結果の中でも特にユーザが興味を示している商品に対応する領域の視認性を高めることができるので、電子商取引におけるユーザビリティを向上させることができる。
【0108】
また、表示制御部154は、第2画像から第1画像と類似する領域の画像を抽出し、抽出した画像を検索結果として表示部13に表示させることにより、第1画像と類似する領域を第2画像の他の領域に対して相対的に強調した状態で表示部13に表示させる。
【0109】
これにより、端末装置10は、ユーザが興味を示している商品に対応する領域の視認性をより高めることができる。したがって、端末装置10は、電子商取引におけるユーザビリティをより向上させることができる。
【0110】
〔4.ハードウェア構成〕
また、上述してきた第1の実施形態に係る情報処理装置100および端末装置10、第2の実施形態に係る端末装置10Aは、例えば図11に示すような構成のコンピュータ1000によって実現される。図11は、情報処理装置100および端末装置10および端末装置10Aの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
【0111】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0112】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0113】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0114】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0115】
例えば、コンピュータ1000が第1の実施形態に係る情報処理装置100、端末装置10または端末装置10Aとして機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130、制御部15または制御部15Aの機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0116】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0117】
〔5.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0118】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0119】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0120】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、表示制御部は、表示制御手段や表示制御回路に読み替えることができる。
【符号の説明】
【0121】
1 情報処理システム
10 端末装置
11 通信部
12 入力部
13 表示部
14 記憶部
141 コンテンツ情報記憶部
15 制御部
151 受付部
152 取得部
153 判定部
154 表示制御部
155 生成部
10A 端末装置
15A 制御部
154A 表示制御部
156A 検索部
20 店舗端末
100 情報処理装置
110 通信部
120 記憶部
121 画像情報記憶部
122 検索情報記憶部
130 制御部
131 提供部
132 受付部
133 判定部
134 検索部
135 出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11