IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社スタートトゥデイの特許一覧

特許7391165情報処理装置、情報処理方法及び情報処理プログラム
<>
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図1
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図2
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図3
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図4
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図5
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図6
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図7
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図8
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図9
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図10
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図11
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図12
  • 特許-情報処理装置、情報処理方法及び情報処理プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20231127BHJP
【FI】
G06Q50/10
【請求項の数】 10
(21)【出願番号】P 2022159123
(22)【出願日】2022-09-30
【審査請求日】2022-09-30
(73)【特許権者】
【識別番号】505300841
【氏名又は名称】株式会社ZOZO
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】清水 良太郎
(72)【発明者】
【氏名】斎藤 侑輝
(72)【発明者】
【氏名】中村 拓磨
【審査官】福田 正悟
(56)【参考文献】
【文献】特開2020-181278(JP,A)
【文献】特開2022-87689(JP,A)
【文献】特表2016-502713(JP,A)
【文献】米国特許出願公開第2021/0232633(US,A1)
【文献】知見 優一 他,コーディネート検索におけるユーザ評価の提示によるファッションへの意識変化手法とその評価,第13回データ工学と情報マネジメントに関するフォーラム (第19回日本データベース学会年次大会) [Online] ,2021年03月01日,pp.1-8
【文献】武井 万恵 他,他者の意見を反映した洋服コーディネート推薦システム,第71回(平成21年)全国大会講演論文集(4),2009年03月10日,pp.503-504
【文献】池田 雅隆 他,ニューラルネットワークを用いた衣服のコーディネート提案方式の検討,第84回(2022年)全国大会講演論文集(4),2022年02月17日,pp.35-36
【文献】田村 悠 他,ファッションECサイトにおけるアンケートを用いたブランド推薦システム,経営の科学 オペレーションズ・リサーチ,2018年02月01日,第63巻、 第2号,pp.91-98
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部と、
前記受付部により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成部と
を有することを特徴とする情報処理装置。
【請求項2】
前記生成部は、
前記評価者が、前記被服が前記着用者に似合っていると高く評価するほど、前記分散表現空間において前記画像と、前記評価者情報とをより近い位置に投影し、前記評価者が、前記被服が前記着用者に似合っていないと低く評価するほど、前記分散表現空間において前記画像と、前記評価者情報とをより遠い位置に投影する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記生成部は、
前記評価に基づいて、さらに前記被服を示す情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記生成部は、
前記評価に基づいて、さらに前記被服が属するカテゴリを示す情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記生成部は、
前記評価に基づいて、さらに前記被服に含まれる被服を提供する提供元を示す情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記生成部は、
前記評価者の属性を示す前記評価者情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項7】
前記生成部は、
所定のアンケートに対する前記評価者の回答を示す前記評価者情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項8】
前記分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う被服を推定する推定部と、
前記推定部により推定された被服に関する情報を前記利用者に提供する提供部と、
前記提供部により提供された情報に対する、前記利用者、若しくは、前記利用者と所定の関係を有する他の利用者からのフィードバックを取得する取得部と、
前記取得部により取得されたフィードバックに基づいて、前記分散表現空間を更新する更新部と
をさらに有することを特徴とする請求項7に記載の情報処理装置。
【請求項9】
コンピュータが実行する情報処理方法であって、
被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付工程と、
前記受付工程により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成工程と
を含むことを特徴とする情報処理方法。
【請求項10】
被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付手順と、
前記受付手順により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成手順と
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、入力された情報の分散表現を生成し、生成した分散表現同士の比較結果に基づいて、情報の関係性を判定する技術が知られている。このような技術の一例として、商品が備える特徴を表わす商品情報と、単語間の関係性を表す単語情報と、ユーザの嗜好に応じて行動の対象になった商品を表わす学習データとに基づいて、マップ空間上の位置を表わす隠れ特徴ベクトルを、ユーザおよび商品のそれぞれについて推定する技術が提供されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2021/044460号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した技術では、被服が着用者に似合っているかを把握することができるとは限らない。
【0005】
例えば、上述した技術では、ユーザの隠れ特徴ベクトルと商品の隠れ特徴ベクトルとの距離が、当該商品に対するユーザの嗜好を反映した距離となるように隠れ特徴ベクトルを推定しているに過ぎず、被服が着用者に似合っているかを把握することができるとは限らない。
【0006】
本願は、上記に鑑みてなされたものであって、被服が着用者に似合っているかを把握することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る情報処理装置は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部と、前記受付部により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成部とを有することを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、被服が着用者に似合っているかを把握することができるという効果を奏する。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る情報処理システム1の構成例を示す図である。
図2図2は、実施形態に係る情報処理の一例を示す図(1)である。
図3図3は、実施形態に係る分散表現空間の一例を示す図である。
図4図4は、実施形態に係る情報処理の一例を示す図(2)である。
図5図5は、実施形態に係る情報処理装置10の構成例を示す図である。
図6図6は、実施形態に係る評価者情報データベース31の一例を示す図である。
図7図7は、実施形態に係る利用者情報データベース32の一例を示す図である。
図8図8は、利用者端末100の画面の一例を示す図(1)である。
図9図9は、利用者端末100の画面の一例を示す図(2)である。
図10図10は、実施形態に係る情報処理の手順の一例を示すフローチャート(1)である。
図11図11は、実施形態に係る情報処理の手順の一例を示すフローチャート(2)である。
図12図12は、実施形態に係る情報処理の手順の一例を示すフローチャート(3)である。
図13図13は、情報処理装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
(実施形態)
〔1.情報処理システムの構成〕
まず、実施形態に係る情報処理システム1について説明する。図1は、実施形態に係る情報処理システム1の構成例を示す図である。図1に示すように、情報処理システム1は、情報処理装置10と、利用者端末100と、評価者端末200とが含まれる。情報処理装置10と、利用者端末100と、評価者端末200とは所定の通信網(ネットワークN)を介して、有線または無線により通信可能に接続される。なお、図1に示した情報処理システム1には、複数台の情報処理装置10、複数台の利用者端末100及び複数台の評価者端末200が含まれてもよい。
【0012】
情報処理装置10は、複数の被服(ファッションアイテムともいい、履物(シューズともいう)や帽子(キャップやハットなど)、装身具(アクセサリともいう)なども含む)の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者(アノテーター)から受け付け、受け付けられた評価に基づいて、当該画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成し、生成した分散表現空間を用いた情報処理を実現する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。
【0013】
また、例えば、情報処理装置10は、被服を提供(検索、販売等)する電子商取引サービスを提供する。また、情報処理装置10は、被服のコーディネートを示すコンテンツ(画像、動画、記事等)の投稿を利用者から受け付け、他の利用者に提供(検索、配信等)するコーディネートサービスを提供する。
【0014】
なお、情報処理装置10は、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。また、情報処理装置10は、利用者端末100にインストールされた各種サービスに関するアプリケーションに表示する情報を、情報処理装置10に配信する装置であってもよい。また、情報処理装置10は、アプリケーションのデータそのものを配信する装置であってもよい。
【0015】
また、情報処理装置10は、利用者端末100に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、JavaScript(登録商標)等のスクリプト言語やCSS(Cascading Style Sheets)等のスタイルシート言語により記述される。なお、情報処理装置10から配信されるアプリケーションそのものを制御情報とみなしてもよい。
【0016】
利用者端末100は、利用者によって利用される情報処理装置である。利用者端末100は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。また、利用者端末100は、情報処理装置10や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図2に示す例では、利用者端末100がスマートフォンである場合を示す。
【0017】
評価者端末200は、複数の被服の組み合わせを着用した着用者の画像に対する評価を行う評価者によって利用される情報処理装置である。評価者端末200は、例えば、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等により実現される。また、評価者端末200は、情報処理装置10や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図2に示す例では、評価者端末200がスマートフォンである場合を示す。
【0018】
〔2.情報処理の一例〕
次に、図2~4を用いて、本実施形態に係る情報処理装置等により実現される情報処理の一例について説明する。
【0019】
〔2-1.第1の情報処理について〕
以下、図2を用いて、本実施形態に係る情報処理装置等により実現される第1の情報処理について説明する。図2は、実施形態に係る情報処理の一例を示す図(1)である。なお、以下の説明では、利用者端末100が、利用者ID「UID#1」により識別される利用者(利用者U1)により利用されるものとする。また、以下の説明では、利用者端末100を利用者U1と同一視する場合がある。すなわち、以下では、利用者U1を利用者端末100と読み替えることもできる。
【0020】
また、以下の説明では、評価者端末200を利用する評価者に応じて、評価者端末200-1~200-N(Nは任意の自然数)として説明する。例えば、評価者端末200-1は、評価者ID「AID#1」により識別される評価者(評価者A1)により使用される評価者端末200である。また、以下では、評価者端末200-1~200-Nについて、特に区別なく説明する場合には、評価者端末200と記載する。また、以下の説明では、評価者端末200を評価者と同一視する場合がある。すなわち、以下では、評価者を評価者端末200と読み替えることもできる。
【0021】
まず、情報処理装置10は、複数の被服の組み合わせ(コーディネート)を着用した着用者の画像に対する評価者の評価を、評価者端末200から受け付ける(ステップSa1)。例えば、情報処理装置10は、着用者のコーディネートが、着用者に似合っているか否かを示す評価を受け付ける。具体的な例を挙げると、情報処理装置10は、画像P1及びP2の組を評価者に提示し、2つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付ける。
【0022】
より具体的な例を挙げると、情報処理装置10は、画像P1が示すコーディネート#1が、画像P1が示す着用者#1に似合っているという評価、並びに、画像P2が示すコーディネート#2が、画像P2が示す着用者#2に似合わないという評価(すなわち、画像P1に対する「似合う」という評価と、画像P2に対する「似合わない」という評価)を、評価者A1から受け付ける。なお、どちらの例においても似合っている場合に、画像P1が示すコーディネート#1が、画像P1が示す着用者#1に似合っているという評価と、画像P2が示すコーディネート#2が、画像P2が示す着用者#2に似合っているという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいし、反対にどちらの例においても似合わなかった場合に、画像P1が示すコーディネート#1が、画像P1が示す着用者#1に似合わないという評価と、画像P2が示すコーディネート#2が、画像P2が示す着用者#2に似合わないという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいものとする。以降の例では相対的に似合うと判断された場合を含めて単に似合うと表記し、同様に相対的に似合わないと判断された場合を含めて単に似合わないと表記する。また、情報処理装置10は、画像P1が示すコーディネート#1が、画像P1が示す着用者#1に似合わないという評価、並びに、画像P2が示すコーディネート#2が、画像P2が示す着用者#2に似合っているという評価(すなわち、画像P1に対する「似合わない」という評価と、画像P2に対する「似合う」という評価)を、評価者A2から受け付ける。同様に、情報処理装置10は、他の評価者からも、画像P1及びP2の組に関する評価を受け付ける。また、情報処理装置10は、画像P3及びP4の組、画像P5及びP6の組、画像P1及びP3の組、画像P2及びP4の組、・・・といった他の組に関する評価を評価者から受け付ける。
【0023】
続いて、情報処理装置10は、画像に対する評価者の評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する(ステップSa2)。例えば、情報処理装置10は、VSE(Visual-Semantic Embedding)の技術を用いて、分散表現空間を生成する。具体的な例を挙げると、情報処理装置10は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1を投影した分散表現空間F1を生成する。また、情報処理装置10は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2を投影した分散表現空間F1を生成する。
【0024】
なお、情報処理装置10は、画像に関する各種の情報や、評価者に関する各種の情報を示す評価者情報を投影した分散表現空間を生成してもよい。ここで、図3を用いて、情報処理装置10が生成する分散表現空間の例について説明する。図3は、実施形態に係る分散表現空間の一例を示す図である。
【0025】
例えば、画像が示すコーディネートに含まれる被服(アイテム)は、評価者が似合うと感じるか否かに寄与していることが推定される。したがって、情報処理装置10は、画像が示すコーディネートに含まれる被服の画像をさらに投影した分散表現空間F2を生成する。具体的な例を挙げると、情報処理装置10は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1が示すコーディネートに含まれる被服I1の画像を投影した分散表現空間F2を生成する。また、情報処理装置10は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2が示すコーディネートに含まれる被服I2の画像を投影した分散表現空間F2を生成する。
【0026】
また、例えば、情報処理装置10は、画像が示すコーディネートに紐付けられた情報をさらに投影した分散表現空間F3を生成する。具体的な例を挙げると、情報処理装置10は、コーディネートの用途や、着用するシチュエーションなどを示すカテゴリをさらに投影した分散表現空間F3を生成する。より具体的な例を挙げると、情報処理装置10は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1が示すコーディネートのカテゴリT1(カジュアル)を投影した分散表現空間F3を生成する。また、情報処理装置10は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2のカテゴリT2(デート)を投影した分散表現空間F3を生成する。なお、情報処理装置10は、画像が示すコーディネートに含まれる被服の画像をさらに投影した散表現空間を生成する場合、当該被服に紐付けられた情報をさらに投影した分散表現空間を生成してもよい。
【0027】
また、例えば、情報処理装置10は、評価者の属性情報を示す評価者情報を投影した分散表現空間F4を生成する。ここで、評価者A1の属性情報が「20代後半、東京在住」であり、評価者A2の属性情報が「20代前半、大阪在住」であるものとする。このような場合、情報処理装置10は、画像P1を「似合わない」と評価した評価者A2の属性情報よりも、画像P1を「似合う」と評価した評価者A1の属性情報(例えば、属性情報B1(20代後半、東京在住)、属性情報B2(20代後半)及び属性情報B3(東京在住))の近くに、画像P1を投影した分散表現空間F4を生成する。また、情報処理装置10は、画像P2を「似合わない」と評価した評価者A1の属性情報よりも、画像P2を「似合う」と評価した評価者A2の属性情報(例えば、属性情報B4(20代前半、大阪在住)、属性情報B5(大阪在住)及び属性情報B6(20代前半))の近くに、画像P2を投影した分散表現空間F4を生成する。
【0028】
また、例えば、情報処理装置10は、「ファッションに自信がある?」や、「好きな街は?」といったアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間F5を生成する。ここで、上記のアンケートに対し、評価者A1が「ファッションに自信がない」、「渋谷が好き」と回答し、評価者A2が「ファッションに自信がある」、「原宿が好き」と回答したものとする。このような場合、情報処理装置10は、画像P1を「似合わない」と評価した評価者A2の回答よりも、画像P1を「似合う」と評価した評価者A1の回答(例えば、回答C1(ファッションに自信がない、渋谷が好き)、回答C2(ファッションに自信がない)及び回答C3(渋谷が好き))の近くに、画像P1を投影した分散表現空間F5を生成する。また、情報処理装置10は、画像P2を「似合わない」と評価した評価者A1の回答よりも、画像P2を「似合う」と評価した評価者A2の回答(例えば、回答C4(ファッションに自信がある、原宿が好き)、回答C5(ファッションに自信がある)及び回答C6(原宿が好き))の近くに、画像P2を投影した分散表現空間F5を生成する。
【0029】
なお、情報処理装置10が生成する分散表現空間は、上記の例に限定されない。例えば、情報処理装置10は、画像、コーディネートに含まれる被服の画像、コーディネートのカテゴリ、評価者の属性情報、並びに、アンケートに対する評価者の回答を投影した分散表現空間を生成してもよい。
【0030】
また、情報処理装置10が生成する分散表現空間に含まれる情報は、上記のような例に限定されず、任意の情報が投影されてもよい。例えば、情報処理装置10は、被服の提供元(例えば、ブランドや、被服を販売するショップなど)を示す情報を投影した分散表現空間を生成してもよい。具体的な例を挙げると、情報処理装置10は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、情報処理装置10は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、例えば、情報処理装置10は、着用者の身体的な情報(例えば、骨格や体格に関する特徴量)を投影した分散表現空間を生成してもよく、身体的な特徴量を抽出する際に非特許文献1(ViBE: Dressing for Diverse Body Shapes.Wei-Lin Hsiao,Kristen Grauman,Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 11059-11069.)の方法を用いてもよい。
【0031】
また、例えば、情報処理装置10は、評価者の各種の属性情報(例えば、職業や、身長、体重、居住地、パーソナルカラー、収入、家賃)、評価者のアンケートの項目(例えば、お気に入りの提供元や、ファッションにかける金額、ファッションの参考に見ている媒体(よく読む雑誌、よく利用するWEBサービス等)、夢中になっていること(趣味等)、将来の夢、ファッションの参考にしている人(芸能人、インフルエンサー等)、なりたいイメージ、取り入れたいアイテム、好きな(憧れな)人のSNSに関する情報、体型の悩み、ファッションの悩みなど)に対する回答、画像が示すコーディネートに紐付けられた情報(例えば、アイテムタイプ、提供元、利用シーン、色、季節、着用の目的、売り文句、素材、サイズ、価格帯など)を示す情報などを投影した分散表現空間を生成してもよい。
【0032】
図2に戻り説明を続ける。続いて、情報処理装置10は、電子商取引サービスや、コーディネートサービスを介した、利用者端末100からのコーディネートの提供要求に応じて、生成した分散表現空間と、利用者U1に関する情報とに基づき、利用者U1に似合うコーディネート(言い換えると、利用者が高く評価すると推定されるコーディネートや、利用者も似合うと評価すると推定されるコーディネート)を推定する(ステップSa3)。ここで、利用者U1の属性情報が、「20代後半」であるものとする。このような場合、情報処理装置10は、分散表現空間F4において、属性情報B2から所定の範囲内に投影された画像が示すコーディネートを、利用者U1に似合うコーディネートであると推定する。
【0033】
なお、情報処理装置10は、分散表現空間に投影された情報と、利用者U1に関する情報とに基づいて、利用者U1に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者U1に似合うコーディネートを推定してもよい。例えば、利用者U1の属性情報が、「20代後半、大阪在住」である場合、情報処理装置10は、分散表現空間F4において、属性情報B2及びB5の中間の位置が、分散表現空間F4において利用者U1に関する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者U1に似合うコーディネートであると推定してもよい。
【0034】
ここで、図2の例において、情報処理装置10が、画像P1が示すコーディネート#1、画像P3が示すコーディネート#3、並びに、画像P4が示すコーディネート#4を、利用者U1に似合うコーディネートであると推定したものとする。このような場合、情報処理装置10は、コーディネート#1、#3及び#4に関する情報を利用者端末100に提供する(ステップSa4)。例えば、情報処理装置10は、分散表現空間F4において属性情報B2からより近い画像が示すコーディネートに関する情報ほど、利用者U1に似合う度合いが高いと推定し、優先度を高くして提供する。具体的な例を挙げると、情報処理装置10は、コーディネート#1、#3及び#4の情報や、コーディネート#1、#3及び#4に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、情報処理装置10は、コーディネート#1、#3及び#4の情報や、コーディネート#1、#3及び#4に含まれる被服に関する情報を、コーディネートサービスにおいて提供する。このとき、情報処理装置10は、優先度が高い情報ほど、目立つ位置や、ランキングの上位として表示されるように提供してもよい。
【0035】
なお、情報処理装置10は、コーディネート#1、#3及び#4のうち、利用者U1に関する情報(属性情報、身体的な情報(身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等)等)や、コーディネートに関連する情報(例えば、現在の季節や、現在の流行)などに対応するコーディネートの情報を提供してもよい。例えば、利用者U1が男性である場合、情報処理装置10は、コーディネート#1、#3及び#4のうち、男性向けのコーディネートの情報を提供する。例えば、利用者U1が男性である場合、情報処理装置10は、コーディネート#1、#3及び#4のうち、着用者が男性であるコーディネートや、コーディネートに含まれる被服が男性向けであるコーディネートの情報を提供してもよい。例えば、現在の季節が秋である場合、情報処理装置10は、コーディネート#1、#3及び#4のうち、秋や冬向けのコーディネートの情報を提供する。
【0036】
また、情報処理装置10は、利用者U1が指定した条件に応じたコーディネートの情報を提供してもよい。例えば、利用者U1がカテゴリ「カジュアル」を条件として指定した場合、情報処理装置10は、コーディネート#1、#3及び#4のうち、分散表現空間(例えば、分散表現空間F3)においてカテゴリT1からより近い位置に投影された画像が示すコーディネートの優先度を高くして提供する。
【0037】
また、情報処理装置10は、利用者U1の被服に関する嗜好を学習したモデルを用いて、コーディネートの情報を提供してもよい。例えば、情報処理装置10は、被服に関する情報(例えば、画像)を入力した場合に、利用者U1がその被服を嗜好する度合いが高いほど高いスコアを出力するようモデルを学習しておく。そして、情報処理装置10は、そのモデルにコーディネート#1、#3及び#4に関する情報を入力し、出力されたスコアが高い順にコーディネート#1、#3及び#4の情報を利用者U1に提供する。
【0038】
続いて、情報処理装置10は、提供した情報に対して利用者U1が肯定的であったか否かを示すフィードバックを利用者端末100から取得する(ステップSa5)。例えば、情報処理装置10は、電子商取引サービスにおいて、利用者U1がコーディネート#1、#3及び#4に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報(フィードバック)を取得する。また、情報処理装置10は、コーディネートサービスにおいて、利用者U1がコーディネート#1、#3及び#4に対するお気に入り登録を行ったか否かを示す情報(フィードバック)か否かを示す情報を取得する。なお、提供した情報に対して利用者U1が肯定的であったか否かを示す情報は、電子商取引サービスやコーディネートサービスにおいて、利用者U1がコーディネート#1、#3及び#4を閲覧したか否かや、電子商取引サービスやコーディネートサービスにおいて、利用者U1がコーディネート#1、#3及び#4に含まれる被服を閲覧したか否かなどでもよく、上記の例に限定されない。
【0039】
続いて、情報処理装置10は、利用者U1からのフィードバックに基づいて、分散表現空間を更新する(ステップSa6)。例えば、利用者U1がコーディネート#1に対して肯定的である場合(例えば、電子商取引サービスにおいてコーディネート#1に含まれる被服を購入した場合や、コーディネートサービスにおいてコーディネート#1に対するお気に入り登録を行った場合)、情報処理装置10は、分散表現空間F4において、属性情報B2と画像P1とを所定の距離近づけるように更新する。一方、利用者U1がコーディネート#3に対して否定的である場合(例えば、電子商取引サービスや、コーディネートサービスにおいて提示したコーディネート#3の情報を閲覧しなかった場合)、情報処理装置10は、分散表現空間F4において、属性情報B2と画像P3とを所定の距離遠ざけるように更新する。なお、利用者U1からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価(フィードバック)を行った評価者(利用者U1)を示す評価者情報をさらに分散表現空間に投影してもよい。
【0040】
以上のように、実施形態に係る情報処理装置10は、コーディネートを示す画像に対する似合うか否かの評価と、画像に対する評価を行った評価者を示す評価者情報とを投影した分散表現空間を生成する。
【0041】
ここで、従来、コーディネートが着用者に「似合う」か否かは人それぞれの主観によって大きく異なり、定量化が困難であった。そこで、実施形態に係る情報処理装置10によれば、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
【0042】
また、実施形態に係る情報処理装置10は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供する。これにより、実施形態に係る情報処理装置10は、所定の対象(利用者自身等)に似合う被服を利用者が把握することができるという効果を奏する。
【0043】
〔2-2.第2の情報処理について〕
次に、図4を用いて、本実施形態に係る情報処理装置等により実現される第2の情報処理について説明する。図4は、実施形態に係る情報処理の一例を示す図(2)である。
【0044】
まず、情報処理装置10は、複数の被服の組み合わせ(コーディネート)を着用した着用者の画像に対する評価を、評価者端末200から受け付ける(ステップSb1)。例えば、情報処理装置10は、画像P1が示すコーディネート#1が、画像P1が示す着用者#1に似合っているっているか否かを示す評価を受け付ける。
【0045】
続いて、情報処理装置10は、画像に対する評価者の評価に基づいて、評価者や画像などの分散表現を生成するための畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))を生成する(ステップSb2)。例えば、情報処理装置10は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてCNNを生成する。具体的な例を挙げると、情報処理装置10は、ある画像を入力した際に、その画像に対して「似合う」と評価した評価者の分散表現と類似する分散表現を出力し、その画像に対して「似合わない」と評価した評価者の分散表現と類似しない分散表現を出力するように、CNNの接続係数を修正する。
【0046】
ここで、情報処理装置10が、各評価者による評価に基づいて、CNNの学習を繰り返し行った場合、CNNは、各評価者がどの範囲に基づいて、似合うもしくは似合わないの評価を行ったかを推定し、推定結果に応じた各評価者および画像の分散表現を生成するようになる。例えば、CNNは、画像から分散表現を生成する場合、画像を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル(以下、「領域ベクトル」と記載する場合がある。)を生成する。そして、CNNは、複数の領域ベクトルを統合することで、画像全体の特徴を示す分散表現を生成する。なお、CNNは、様々な大きさの領域や特徴について、同様の処理を繰り返し実行し、最終的な分散表現を生成する。また、画像全体を一つの領域とみなしてもよい。また、複数の領域ではなく、単一の領域に基づいて分散表現を生成してもよい。すなわち、必要であれば、画像上の部分的な領域に基づいて分散表現を生成するのではなく、画像全体を考慮した単一の特徴ベクトルを算出してもよい。また、領域の定義は使用するアプリケーションに基づいて任意に定めてもよい。例えば、Fully CNNを用いて特徴抽出することで得られる特徴ベクトルは、各次元が一つの画像上の領域に対応するものとして考えられるが、当該領域に対応する画像空間上のコンテンツに基づいてその領域ベクトルを使用するか否かを決めてもよい。具体的には、人体検出器などによって画像上の人物が存在する複数の領域を特定し、これらの領域ベクトルのAverage Poolingを算出することによって領域ベクトルの統合を行ってもよい。また、その他の例としても、画像上の意味的領域分割を行うことによって領域を特定してもよい。具体的には、例えば、画像上に撮像された人物が存在する画素において、どの部分がトップスまたはボトムスを含むかを特定することで、複数の意味的領域を得ることができる。これらの領域に対応する領域ベクトルを算出し、複数の領域ベクトルを固有の順番で結合(Concatenate処理)することで、対象の被写体の姿勢変動に比較的頑強な画像全体の特徴を示す分散表現を算出してもよい。この際、存在しない意味的領域がある場合(例えば被写体の足が撮像されていない場合にシューズの領域が存在しないなど)、当該の領域ベクトルを任意の特徴ベクトルで代用してもよく、例えば学習データ全体におけるシューズの領域ベクトルの平均ベクトルを用いてもよいし、0で埋めた特徴ベクトルを用いても良い。
【0047】
このようなCNNの学習を行う場合、情報処理装置10は、各評価者の位置を固定し、各画像について、似合うと評価した評価者の分散表現(例えば、属性情報等を示す評価者情報に基づく分散表現)と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように、CNNの学習を行う。このような学習を行った場合、CNNは、似合うと評価した評価者の評価者情報の分散表現と比較的類似する領域ベクトルを生成し、似合わないと評価した評価者の評価者情報の分散表現と比較的類似しない領域ベクトルを生成するように、接続係数等の調整が行われることとなる。このような学習処理を繰り返し行った場合、CNNは、ある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトルを生成するようになる。
【0048】
そこで、情報処理装置10は、このような学習済みのCNNが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示す情報、例えば、ヒートマップ等を提供する。
【0049】
例えば、情報処理装置10は、電子商取引サービスや、コーディネートサービスにおいて、コーディネートを示す画像を利用者U1に提供する際、生成したCNNと、利用者U1に関する情報とに基づき、当該画像の各領域が示す被服のそれぞれが利用者U1に似合う度合いを判定する(ステップSb3)。ここで、図4の例において、画像P1を利用者U1に提供するものとする。このような場合、情報処理装置10は、分散表現が、利用者U1の分散表現(例えば、属性情報等に基づく分散表現)と類似する評価者を特定する。そして、情報処理装置10は、画像P1の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者U1に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者U1に似合う度合いが低いと判定する。
【0050】
なお、情報処理装置10が上述の処理に用いるために生成するものは、CNNに限定されず、分散表現(埋め込み表現)を獲得可能であれば任意のものが生成されてよい。
【0051】
続いて、情報処理装置10は、画像P1をステップSb3において判定した度合いに応じた態様で利用者端末100に出力する(ステップSb4)。例えば、情報処理装置10は、画像P1の各領域が示す被服が利用者U1に似合う度合いをヒートマップで示す画像を出力する。具体的な例を挙げると、ステップSb3において特定した評価者の分散表現と、画像P1のボトムスを示す領域の領域ベクトルが類似し、画像P1のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置10は、画像P1のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像P1-1を出力する。また、ステップSb3において特定した評価者の分散表現と、画像P1のトップスを示す領域の領域ベクトルが類似し、画像P1のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置10は、画像P1のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像P1-2を出力する。
【0052】
なお、情報処理装置10は、画像を出力する際に、各領域の被服が利用者U1に似合う度合いに応じた情報とともに画像を出力してもよい。例えば、画像P1-1を出力する場合、情報処理装置10は、赤色で表示した領域に含まれる被服の購入を提案する情報や、青色で表示した領域に含まれる被服の着用を避けることを提案する旨の情報、赤色で表示した領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像P1-1を出力する。
【0053】
以上のように、実施形態に係る情報処理装置10は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置10は、利用者が、自身と類似する属性を有する評価者が、コーディネートのうちいずれの被服を似合うと評価するかを把握することができるため、着用する被服の指針を利用者が得ることができる。
【0054】
〔3.その他の処理例〕
なお、上述した処理は一例に過ぎず、情報処理装置10は、様々な情報を用いて様々な処理を行ってもよい。この点について、以下例示を列挙する。
【0055】
〔3-1.利用者に関する情報に基づくコーディネートの推定について〕
図2の例において、情報処理装置10は、分散表現空間と、利用者U1が選択したカテゴリとに基づいて、利用者U1に似合うコーディネートを推定してもよい。例えば、利用者端末100からのコーディネートの提供要求とともに、利用者U1がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、情報処理装置10は、分散表現空間F4において、属性情報B2から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間F3において、カテゴリT1から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者U1に似合うコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0056】
また、情報処理装置10は、分散表現空間と、アンケートに対する利用者U1の回答とに基づいて、利用者U1に似合うコーディネートを推定してもよい。例えば、「ファッションに自信がある?」といったアンケートに対し、利用者U1が「ファッションに自信がない」と回答した場合、情報処理装置10は、分散表現空間F5において、回答C2から所定の範囲内に投影された画像が示すコーディネートを、利用者U1に似合うコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0057】
なお、情報処理装置10は、利用者U1に関する情報に基づいて、コーディネートの提案を行ってもよい。例えば、「ファッションに自信がある?」といったアンケートに対し、利用者U1が「ファッションに自信がない」と回答した場合、情報処理装置10は、分散表現空間F5において、回答C2及び5間の所定の位置(例えば、中間の位置)から所定の範囲内に投影された画像が示すコーディネートを、「ファッションに自信を持つために挑戦してみませんか?」といったコメントと共に提案する。すなわち、情報処理装置10は、利用者U1の将来に関する情報に基づいて、コーディネートの提案を行ってもよい。
【0058】
〔3-2.対象者に関する情報に基づくコーディネートの推定について〕
図2の例において、情報処理装置10は、分散表現空間と、利用者U1と所定の関係性を有する対象者(例えば、利用者U1が会う相手)に関する情報とに基づいて、対象者が利用者U1に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置10は、分散表現空間と、対象者の属性とに基づいて、対象者が利用者U1に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「20代前半」である場合、情報処理装置10は、分散表現空間F4において、属性情報B6から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0059】
また、例えば、情報処理装置10は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある?」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置10は、分散表現空間F5において、回答C5から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0060】
また、情報処理装置10は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「20代前半、東京在住」である場合、情報処理装置10は、分散表現空間F4において、属性情報B3及びB6の中間の位置が、分散表現空間F4において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置10は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0061】
これにより、例えば、対象者が利用者に似合うと評価するコーディネートを推定することができるため、これから会う人の好印象を持ってもらうために何を着ればいいかを利用者が把握することができる。
【0062】
なお、対象者が利用者U1に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置10は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置10は、提供した情報が示すコーディネートを着用した利用者U1に対し、対象者が肯定的であったか否かを示す情報(フィードバック)を、利用者端末100や、対象者が利用する端末装置などから取得する。そして、提供した情報が示すコーディネートを着用した利用者U1に対し、対象者が肯定的である場合、情報処理装置10、分散表現空間において、対象者に対応する情報(例えば、属性情報や、アンケートに対する回答など)と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者U1に対し、対象者が否定的である場合、情報処理装置10は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価(フィードバック)を行った評価者(対象者)を示す評価者情報をさらに分散表現空間に投影してもよい。
【0063】
また、情報処理装置10は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置10は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。また、情報処理装置10は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0064】
また、情報処理装置10は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「20代後半」であり、対象者の属性情報が「20代前半」である場合、情報処理装置10は、分散表現空間F4において、属性情報B2及びB5の中間の位置が、分散表現空間F4において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置10は、推定したコーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0065】
〔3-3.対象者に似合うコーディネートの推定について〕
図2の例において、情報処理装置10は、分散表現空間と、利用者U1と所定の関係性を有する対象者(例えば、利用者U1がプレゼントを贈る相手)に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置10は、分散表現空間と、対象者の属性とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「20代前半」である場合、情報処理装置10は、分散表現空間F4において、属性情報B6から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報(属性情報、身体的な情報(身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等)等)や、コーディネートに関連する情報などに対応するコーディネート(例えば、対象者が女性である場合には、女性向けのコーディネート)に関する情報を利用者端末100に提供する。
【0066】
また、例えば、情報処理装置10は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある?」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置10は、分散表現空間F5において、回答C5から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0067】
また、情報処理装置10は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「20代前半、東京在住」である場合、情報処理装置10は、分散表現空間F4において、属性情報B3及びB6の中間の位置が、分散表現空間F4において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置10は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が自身に似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0068】
なお、対象者が自身に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置10は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置10は、提供した情報が示すコーディネートに含まれる被服を利用者U1が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報(フィードバック)を、利用者端末100や、対象者が利用する端末装置などから取得する。そして、利用者U1に提供した情報が示すコーディネートに含まれる被服を利用者U1が対象者にプレゼントした際、対象者が肯定的である場合、情報処理装置10は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者U1に提供した情報が示すコーディネートに含まれる被服を利用者U1が対象者にプレゼントした際、対象者が否定的である場合、情報処理装置10は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価(フィードバック)を行った評価者(対象者)を示す評価者情報をさらに分散表現空間に投影してもよい。
【0069】
また、情報処理装置10は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置10は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。また、情報処理装置10は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0070】
また、情報処理装置10は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「20代後半」であり、対象者の属性情報が「20代前半」である場合、情報処理装置10は、分散表現空間F4において、属性情報B2及びB5の中間の位置が、分散表現空間F4において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置10は、推定したコーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0071】
〔3-4.着用者及び利用者の画像に基づくコーディネートの推定について〕
図2の例において、情報処理装置10は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象(利用者、対象者など)の顔の画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置10は、分散表現空間F4と、利用者U1の属性情報とに基づいて推定したコーディネート#1、#3及び#4のうち、顔の特徴量が、利用者U1の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
【0072】
また、情報処理装置10は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置10は、分散表現空間F4と、利用者U1の属性情報とに基づいて推定したコーディネート#1、#3及び#4のうち、体型(例えば、細め、太め)が利用者U1の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
【0073】
〔3-5.対象者に関する情報に基づく態様での画像の出力について〕
図4の例において、情報処理装置10は、CNNと、利用者U1と所定の関係性を有する対象者(例えば、利用者U1が会う相手)に関する情報とに基づく態様で、コーディネートを示す画像を出力してもよい。例えば、画像P1を利用者U1に提供する場合、情報処理装置10は、対象者の分散表現(例えば、属性情報等に基づく分散表現)と類似する評価者を特定する。そして、情報処理装置10は、画像P1の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者U1に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者U1に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像P1を出力する。
【0074】
なお、情報処理装置10は、画像P1を出力する際に、各領域の被服を、対象者が利用者U1に似合うと評価する度合いに応じた情報とともに画像P1を出力してもよい。例えば、対象者が利用者U1に似合うと評価する度合いが高い領域が示す被服の購入を提案する情報や、当該度合いが低い領域に含まれる被服の着用を避けることを提案する旨の情報、当該度合いが高い領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像P1-1を出力する。
【0075】
〔4.情報処理装置の構成〕
次に、図5を用いて、情報処理装置10の構成について説明する。図5は、実施形態に係る情報処理装置10の構成例を示す図である。図5に示すように、情報処理装置10は、通信部20と、記憶部30と、制御部40とを有する。
【0076】
(通信部20について)
通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、利用者端末100、評価者端末200等との間で情報の送受信を行う。
【0077】
(記憶部30について)
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図3に示すように、記憶部30は、評価者情報データベース31と、利用者情報データベース32とを有する。
【0078】
(評価者情報データベース31について)
評価者情報データベース31は、評価者に関する各種の情報を記憶する。ここで、図6を用いて、評価者情報データベース31が記憶する情報の一例を説明する。図6は、実施形態に係る評価者情報データベース31の一例を示す図である。図6の例において、評価者情報データベース31は、「評価者ID」、「属性情報」、「アンケート情報」、「評価情報」といった項目を有する。
【0079】
「評価者ID」は、評価者を識別するための識別情報を示す。「属性情報」は、評価者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する評価者の回答を示す。「評価情報」は、評価者による評価に関する情報を示し、「対象ID」、「画像情報」、「被服情報」、「着用者情報」、「評価」といった項目を有する。
【0080】
「対象ID」は、評価の対象(画像)を識別するための識別情報を示す。「画像情報」は、評価の対象である画像を示す。「被服情報」は、画像が示すコーディネートに含まれる被服に関する情報を示し、例えば、被服を識別するための識別情報等が格納される。「着用者情報」は、画像が示す着用者に関する情報を示し、例えば、着用者を識別するための識別情報や、着用者の属性情報や身体的な情報などといった情報が格納される。「評価」は、画像に対する評価者の評価を示す。
【0081】
すなわち、図6では、評価者ID「AID#1」により識別される評価者の属性情報が「属性情報#1」、アンケート情報が「アンケート情報#1」、対象ID「DID#1」により識別される評価の対象の画像情報が「画像情報#1」、被服情報が「被服情報#1」、着用者情報が「着用者情報#1」、評価が「評価#1」である例を示す。
【0082】
(利用者情報データベース32について)
利用者情報データベース32は、利用者に関する各種の情報を記憶する。ここで、図7を用いて、利用者情報データベース32が記憶する情報の一例を説明する。図7は、実施形態に係る利用者情報データベース32の一例を示す図である。図7の例において、利用者情報データベース32は、「利用者ID」、「属性情報」、「アンケート情報」、「利用者画像」、「フィードバック情報」といった項目を有する。
【0083】
「利用者ID」は、利用者を識別するための識別情報を示す。「属性情報」は、利用者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する利用者の回答を示す。「利用者画像」は、利用者の顔や体型を示す画像を示す。「フィードバック情報」は、利用者に提供した情報に対する利用者からのフィードバックに関する情報を示す。
【0084】
すなわち、図5では、利用者ID「UID#1」により識別される利用者の属性情報が「属性情報#11」、アンケート情報が「アンケート情報#11」、利用者画像が「利用者画像#1」、フィードバック情報が「フィードバック情報#1」である例を示す。
【0085】
(制御部40について)
制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置10内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部40は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。実施形態に係る制御部40は、図6に示すように、受付部41と、生成部42と、推定部43と、提供部44と、判定部45と、出力部46と、取得部47と、更新部48とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
【0086】
(受付部41について)
受付部41は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。例えば、図2の例において、受付部41は、画像P1及びP2の組を評価者に提示し、2つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付け、評価者情報データベース31に格納する。
【0087】
また、受付部41は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付けてもよい。例えば、図4の例において、受付部41は、画像P1が示すコーディネート#1が、画像P1が示す着用者#1に似合っているっているか否かを示す評価を受け付ける。
【0088】
(生成部42について)
生成部42は、受付部41により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。例えば、図2の例において、生成部42は、評価者情報データベース31を参照し、VSEの技術を用いて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。
【0089】
また、生成部42は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影してもよい。例えば、図2の例において、生成部42は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1を投影した分散表現空間F1を生成する。また、生成部42は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2を投影した分散表現空間F1を生成する。
【0090】
また、生成部42は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成してもよい。例えば、図2の例において、生成部42は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1が示すコーディネートに含まれる被服I1の画像を投影した分散表現空間F2を生成する。また、生成部42は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2が示すコーディネートに含まれる被服I2の画像を投影した分散表現空間F2を生成する。
【0091】
また、生成部42は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成してもよい。例えば、図2の例において、生成部42は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1が示すコーディネートのカテゴリT1(カジュアル)を投影した分散表現空間F3を生成する。また、生成部42は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2のカテゴリT2(デート)を投影した分散表現空間F3を生成する。
【0092】
また、生成部42は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成してもよい。例えば、図2の例において、生成部42は、画像P1を「似合わない」と評価した評価者A2を示す評価者情報D2よりも、画像P1を「似合う」と評価した評価者A1を示す評価者情報D1の近くに、画像P1が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、生成部42は、画像P2を「似合わない」と評価した評価者A1を示す評価者情報D1よりも、画像P2を「似合う」と評価した評価者A2を示す評価者情報D2の近くに、画像P2が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。
【0093】
また、生成部42は、評価者の属性を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図2の例において、生成部42は、画像P1を「似合わない」と評価した評価者A2の属性情報よりも、画像P1を「似合う」と評価した評価者A1の属性情報の近くに、画像P1を投影した分散表現空間F4を生成する。また、生成部42は、画像P2を「似合わない」と評価した評価者A1の属性情報よりも、画像P2を「似合う」と評価した評価者A2の属性情報の近くに、画像P2を投影した分散表現空間F4を生成する。
【0094】
また、生成部42は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図2の例において、生成部42は、画像P1を「似合わない」と評価した評価者A2の回答よりも、画像P1を「似合う」と評価した評価者A1の回答の近くに、画像P1を投影した分散表現空間F5を生成する。また、生成部42は、画像P2を「似合わない」と評価した評価者A1の回答よりも、画像P2を「似合う」と評価した評価者A2の回答の近くに、画像P2を投影した分散表現空間F5を生成する。
【0095】
また、生成部42は、受付部41により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成してもよい。例えば、図4の例において、生成部42は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてCNNを生成する。
【0096】
(推定部43について)
推定部43は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。例えば、図2の例において、推定部43は、電子商取引サービスや、コーディネートサービスを介した、利用者端末100からのコーディネートの提供要求に応じて、利用者情報データベース32を参照し、生成された分散表現空間と、利用者U1に関する情報とに基づき、利用者U1に似合うコーディネートを推定する。
【0097】
また、推定部43は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定してもよい。例えば、図2の例において、推定部43は、電子商取引サービスや、コーディネートサービスを介した、利用者端末100からのコーディネートの提供要求に応じて、生成された分散表現空間に基づき、利用者U1に似合うコーディネートを推定する。
【0098】
また、推定部43は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図2の例において、推定部43は、生成された分散表現空間と、利用者U1に関する情報とに基づき、利用者U1に似合うコーディネートを推定する。
【0099】
また、推定部43は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図2の例において、利用者U1の属性情報が、「20代後半」である場合、推定部43は、分散表現空間F4において、属性情報B2から所定の範囲内に投影された画像が示すコーディネートを、利用者U1に似合うコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。また、利用者U1がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、推定部43は、分散表現空間F4において、属性情報B2から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間F3において、カテゴリT1から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者U1に似合うコーディネートであると推定し、当該コーディネートのうち、利用者U1の属性情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。また、「ファッションに自信がある?」といったアンケートに対し、利用者U1が「ファッションに自信がない」と回答した場合、推定部43は、分散表現空間F5において、回答C2から所定の範囲内に投影された画像が示すコーディネートを、利用者U1に似合うコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0100】
また、推定部43は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図2の例において、推定部43は、分散表現空間と、利用者U1と所定の関係性を有する対象者に関する情報とに基づいて、対象者が利用者U1に似合うと評価するコーディネートを推定する。
【0101】
また、推定部43は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図2の例において、対象者の属性情報が、「20代前半」である場合、推定部43は、分散表現空間F4において、属性情報B6から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。また、「ファッションに自信がある?」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部43は、分散表現空間F5において、回答C5から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0102】
また、推定部43は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定してもよい。例えば、図2の例において、推定部43は、分散表現空間と、利用者U1と所定の関係性を有する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定する。
【0103】
また、推定部43は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定してもよい。例えば、図2の例において、対象者の属性情報が、「20代前半」である場合、推定部43は、分散表現空間F4において、属性情報B6から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。また、「ファッションに自信がある?」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部43は、分散表現空間F5において、回答C5から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末100に提供する。
【0104】
また、推定部43は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図2の例において、推定部43は、分散表現空間F4と、利用者U1の属性情報とに基づいて推定したコーディネート#1、#3及び#4のうち、顔の特徴量が、利用者U1の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
【0105】
また、推定部43は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図2の例において、推定部43は、分散表現空間F4と、利用者U1の属性情報とに基づいて推定したコーディネート#1、#3及び#4のうち、体型が利用者U1の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
【0106】
また、推定部43は、組み合わせが所定の対象に似合う度合いをさらに推定してもよい。例えば、図4の例において、推定部43は、分散表現空間F4において属性情報B2からより近い画像が示すコーディネートに関する情報ほど、利用者U1に似合う度合いが高いと推定する。
【0107】
(提供部44について)
提供部44は、推定部43により推定された組み合わせに関する組み合わせ情報を利用者に提供する。例えば、図2の例において、提供部44は、コーディネート#1、#3及び#4の情報や、コーディネート#1、#3及び#4に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部44は、コーディネート#1、#3及び#4の情報を、コーディネートサービスにおいて提供する。
【0108】
また、提供部44は、推定部43により推定された組み合わせに関する情報を利用者に提供してもよい。例えば、図2の例において、提供部44は、コーディネート#1、#3及び#4の情報や、コーディネート#1、#3及び#4に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部44は、コーディネート#1、#3及び#4の情報を、コーディネートサービスにおいて提供する。
【0109】
また、提供部44は、組み合わせを度合いに応じた態様で提供してもよい。例えば、図2の例において、提供部44は、分散表現空間F4において属性情報B2からより近い画像が示すコーディネートに関する情報ほど、利用者U1に似合う度合いが高いと推定し、優先度を高くして提供する。
【0110】
ここで、図8及び9を用いて、被服の組み合わせに関する情報を利用者端末100に提供する際の態様について説明する。まず、図8を用いて、電子商取引サービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図8は、利用者端末100の画面の一例を示す図(1)である。
【0111】
図8に示すように、提供部44は、電子商取引サービスにおいて利用者U1が入力した検索クエリ「Tシャツ」若しくは「カットソー」に対応する検索結果を示す画面SC1を提供する。例えば、提供部44は、Tシャツ若しくはカットソーが含まれるコーディネートを示す画像を、画像が示すコーディネートが利用者U1に似合う度合いが高い順に示す画面SC1(言い換えると、プルダウンを示す領域AR1において、利用者U1に似合う順に表示することが指定された画面SC1)を提供する。また、提供部44は、領域AR1のプルダウンに表示される情報(すなわち、検索結果の絞り込みの条件)として、「対象者があなた(利用者U1)に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。
【0112】
例えば、「対象者があなたに似合うと評価する順」が領域AR1において指定された場合、提供部44は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順(言い換えると、対象者が利用者U1に似合うと評価する度合いが高い順)に表示する画面SC1を提供する。なお、このような場合、情報処理装置10は、電子商取引サービスにおいて対象者を識別するための情報(言い換えると、対象者に関する情報と紐付けられた対象者ID)や、対象者に関する情報を利用者U1から受け付けてもよい。そして、提供部44は、利用者U1から受け付けられた情報に基づいて、画面SC1を提供する。
【0113】
また、「対象者が自身に似合うと評価する順」が領域AR1において指定された場合、提供部44は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順(言い換えると、対象者が利用者U1に似合うと評価する度合いが高い順)に表示する画面SC1を提供する。なお、このような場合、情報処理装置10は、電子商取引サービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者U1から受け付けてもよい。そして、提供部44は、利用者U1から受け付けられた情報に基づいて、画面SC1を提供する。
【0114】
次に、図9を用いて、コーディネートサービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図9は、利用者端末100の画面の一例を示す図(2)である。
【0115】
図9に示すように、提供部44は、コーディネートサービスにおいて利用者U1が入力した検索クエリに対応する検索結果を示す画面SC2を提供する。例えば、提供部44は、利用者U1が入力した検索クエリに対応するコーディネートを示す画像を、画像が示すコーディネートが利用者U1に似合う度合いが高い順に示す画面SC2(言い換えると、プルダウンを示す領域AR2において、利用者U1に似合う順に表示することが指定された画面SC2)を提供する。また、提供部44は、領域AR2のプルダウンに表示される情報として、「対象者があなた(利用者U1)に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。
【0116】
例えば、「対象者があなたに似合うと評価する順」が領域AR2において指定された場合、提供部44は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者U1に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面SC2を提供する。なお、このような場合、情報処理装置10は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者U1から受け付けてもよい。そして、提供部44は、利用者U1から受け付けられた情報に基づいて、画面SC2を提供する。
【0117】
また、「対象者が自身に似合うと評価する順」が領域AR2において指定された場合、提供部44は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面SC2を提供する。なお、このような場合、情報処理装置10は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者U1から受け付けてもよい。そして、提供部44は、利用者U1から受け付けられた情報に基づいて、画面SC2を提供する。
【0118】
なお、図8及び9において、提供部44は、CNNが生成した領域ベクトルを用いて、各画像が示すコーディネートのうち、各評価者が似合うと判断した領域(言い換えると、コーディネートのうちポイントとなる被服)を推定し、推定した領域をヒートマップで示す画像を提供してもよい。
【0119】
なお、上記の例においては、特定の検索クエリに基づいて似合うと評価する順で商品などの情報を表示する例を示したが、本発明の範囲はその場合に限られない。例えば、提供部44は、商品カテゴリに関する検索クエリが存在しない場合であっても、任意の商品カテゴリを含む商品群に対して当該の利用者に対する似合う度合いの評価を行い、推薦結果として利用者に提供しても良い。
【0120】
また、検索クエリ以外であっても、似合う度合いの評価結果に対して様々なフィルタや他の評価結果を組み合わせて利用者に表示することが可能である。例えば、推薦システムにおいて、利用者に対して推薦するに値するアイテムの候補およびそれらに対する推薦度合いの評価結果をあらかじめ特定しておくとする。そして、これらの推薦候補のアイテムに対して似合う度合いの評価を行い、推薦度合いおよび似合う度合いに応じて順序付けたアイテムを利用者に対して表示することができる。このようにして、似合う度合いを他の要素と複合的に組み合わせた結果を用いて利用者にアイテム(商品)やコーディネートの情報を提供することが可能である。
【0121】
(判定部45について)
判定部45は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。例えば、図4の例において、判定部45は、分散表現が、利用者U1の分散表現と類似する評価者を特定する。そして、判定部45は、画像P1の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者U1に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者U1に似合う度合いが低いと判定する。
【0122】
また、判定部45は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定してもよい。例えば、図4の例において、判定部45は、対象者の分散表現と類似する評価者を特定する。そして、判定部45は、画像P1の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者U1に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者U1に似合うと評価する度合いが低いと判定する。
【0123】
(出力部46について)
出力部46は、生成部42により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。例えば、図4の例において、出力部46は、CNNが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
【0124】
また、出力部46は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力してもよい。例えば、図4の例において、出力部46は、各画像について、似合うと評価した評価者の分散表現と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように学習が行われたCNNが生成する領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
【0125】
また、出力部46は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力してもよい。例えば、図4の例において、出力部46は、分散表現が評価者情報の分散表現と類似する領域ほど赤色の度合いを高くし、評価者情報の分散表現と類似しない領域ほど青色の度合いを高くしたヒートマップを出力する。
【0126】
また、出力部46は、判定部45により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図4の例において、出力部46は、ステップSb3において特定した評価者の分散表現と、画像P1のボトムスを示す領域の領域ベクトルが類似し、画像P1のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置10は、画像P1のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像P1-1を出力する。また、出力部46は、ステップSb3において特定した評価者の分散表現と、画像P1のトップスを示す領域の領域ベクトルが類似し、画像P1のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置10は、画像P1のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像P1-2を出力する。
【0127】
また、出力部46は、判定部45により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図4の例において、出力部46は、画像P1の各領域のうち、領域ベクトルが、対象者の分散表現と類似する評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者U1に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者U1に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像P1を出力する。
【0128】
(取得部47について)
取得部47は、提供部44により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。例えば、図2の例において、取得部47は、電子商取引サービスにおいて、利用者U1がコーディネート#1、#3及び#4に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報(フィードバック)を取得し、利用者情報データベース32に格納する。また、取得部47は、コーディネートサービスにおいて、利用者U1がコーディネート#1、#3及び#4に対するお気に入り登録を行ったか否かを示す情報(フィードバック)を取得する。また、取得部47は、提供された情報が示すコーディネートを着用した利用者U1に対し、対象者が肯定的であったか否かを示す情報(フィードバック)を、利用者端末100や、対象者が利用する端末装置などから取得する。また、取得部47は、提供した情報が示すコーディネートに含まれる被服を利用者U1が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報(フィードバック)を、利用者端末100や、対象者が利用する端末装置などから取得する。
【0129】
(更新部48について)
更新部48は、取得部47により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者U1がコーディネート#1に対して肯定的である場合、更新部48は、分散表現空間F4において、属性情報B2と画像P1とを所定の距離近づけるように更新する。一方、利用者U1がコーディネート#3に対して否定的である場合、更新部48は、分散表現空間F4において、属性情報B2と画像P3とを所定の距離遠ざけるように更新する。
【0130】
また、提供した情報が示すコーディネートを着用した利用者U1に対し、対象者が肯定的である場合、更新部48は、分散表現空間において、対象者に対応する情報(例えば、属性情報や、アンケートに対する回答など)と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者U1に対し、対象者が否定的である場合、更新部48は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
【0131】
また、利用者U1に提供した情報が示すコーディネートに含まれる被服を利用者U1が対象者にプレゼントした際、対象者が肯定的である場合、更新部48は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者U1に提供した情報が示すコーディネートに含まれる被服を利用者U1が対象者にプレゼントした際、対象者が否定的である場合、更新部48は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
【0132】
〔5.情報処理のフロー〕
図10を用いて、実施形態に係る情報処理装置10の情報処理の手順(1)について説明する。図10は、実施形態に係る情報処理の手順の一例を示すフローチャート(1)である。
【0133】
図10に示すように、情報処理装置10は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する(ステップS101)。評価を受け付けていない場合(ステップS101;No)、情報処理装置10は、評価を受け付けるまで待機する。
【0134】
一方、評価を受け付けた場合(ステップS101;Yes)、情報処理装置10は、評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成し(ステップS102)、処理を終了する。
【0135】
次に、図11を用いて、実施形態に係る情報処理装置10の情報処理の手順(2)について説明する。図11は、実施形態に係る情報処理の手順の一例を示すフローチャート(2)である。
【0136】
図11に示すように、情報処理装置10は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する(ステップS201)。評価を受け付けていない場合(ステップS201;No)、情報処理装置10は、評価を受け付けるまで待機する。
【0137】
一方、評価を受け付けた場合(ステップS201;Yes)、情報処理装置10は、評価に基づいて、畳み込みニューラルネットワークを生成する(ステップS202)。続いて、情報処理装置10は、畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力し(ステップS203)、処理を終了する。
【0138】
次に、図12を用いて、実施形態に係る情報処理装置10の情報処理の手順(3)について説明する。図12は、実施形態に係る情報処理の手順の一例を示すフローチャート(3)である。
【0139】
図12に示すように、情報処理装置10は、被服の組み合わせの提供要求を受け付けたか否かを判定する(ステップS301)。提供要求を受け付けていない場合(ステップS301;No)、情報処理装置10は、提供要求を受け付けるまで待機する。
【0140】
一方、提供要求を受け付けた場合(ステップS301;Yes)、情報処理装置10は、評価者からの評価に基づいて生成される、複数の被服の組み合わせを着用した着用者の画像と、評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する(ステップ3202)。続いて、情報処理装置10は、推定された組み合わせに関する情報を利用者に提供し(ステップS303)、処理を終了する。
【0141】
〔6.変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
【0142】
〔6-1.評価者に対する情報の提供について〕
上述の実施形態において、情報処理装置10は、評価者による画像に対する評価に基づいて、コーディネートに関する情報を提供してもよい。例えば、情報処理装置10は、評価者が似合うと評価した画像に対応するコーディネートに関する情報を、電子商取引サービスや、コーディネートサービスにおいて提供する。
【0143】
〔6-2.対象者について〕
上述の実施形態において、対象者が、利用者が会う相手や、プレゼントを贈る相手である例を示したが、対象者はこのような例に限定されない。例えば、対象者は、ショップの店員やコーディネーターである利用者が接客する相手であってもよい。このような場合、情報処理装置10は、分散表現空間と、利用者が接客する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネート(言い換えると、対象者が気に入るコーディネート)を推定し、推定したコーディネートに関する情報を利用者に出力する。また、情報処理装置10は、CNNと、利用者が接客する対象者に関する情報とに基づく態様で、コーディネートを示す画像(例えば、コーディネートのうちいずれの被服を対象者が気に入るかを示す画像)を出力する。
【0144】
なお、情報処理装置10は、ショップの店員やコーディネーターである利用者と、顧客である対象者とのマッチングを行ってもよい。例えば、情報処理装置10は、各利用者に関する情報と、各対象者に関する情報とに基づき、各利用者及び各対象者を分散表現空間に投影した場合の位置を推定し、投影した位置から所定の範囲内に所在する利用者及び対象者に関する情報を、利用者及び対象者のそれぞれに提供する。
【0145】
〔6-3.被服のデザインに関する情報の提供について〕
上述の実施形態において、情報処理装置10は、製造元がデザインした被服のデータに対する評価者の評価を受け付け、当該評価に基づく情報を製造元に提供してもよい。例えば、情報処理装置10は、製造元がデザインした被服を着用した着用者を示すデータ(例えば、CADデータ)と、当該データに対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてCNNを生成する。具体的な例を挙げると、情報処理装置10は、データが示す被服のある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトル(データが示す被服を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル)を生成するよう学習したCNNを生成する。そして、情報処理装置10は、このような学習済みのCNNが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域(言い換えると、襟や裾などといった被服の部位)を推定し、推定した領域を示すヒートマップを出力する。
【0146】
より具体的な例を挙げると、情報処理装置10は、CNNと、所定の利用者(例えば、被服の購買層)に関する情報とに基づき、当該データの各領域が示す被服の部位のそれぞれについて、利用者が似合うと評価する度合いを判定し、判定した度合いをヒートマップで示すデータを製造元に出力する。
【0147】
これにより、情報処理装置10は、デザイン中の被服のどの部位が、利用者に似合うと評価されるかを把握し、どの部位が似合わないと評価されるかを把握することを可能とするため、被服のデザインにおける利便性を向上させることができる。
【0148】
〔6-4.処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0149】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0150】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0151】
〔6-5.評価の対象について〕
上述の実施形態において、情報処理装置10が、被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やCNNを生成する例を示したが、評価の対象は被服の組み合わせに限定されず、任意のものであってもよい。例えば、情報処理装置10は、複数の家具の組み合わせを示す画像に対する評価であって、当該組み合わせが似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やCNNを生成してもよい。具体的な例を挙げると、情報処理装置10は、評価者から受け付けられた評価に基づいて、家具の組み合わせを示す画像や、画像が示す家具に関する情報(例えば、家具タイプ、ブランド、ショップ名、製造地、利用シーン、色、カテゴリ(カジュアル等)、売り文句、素材、サイズ、価格帯など)、評価者に関する情報などを投影した分散表現空間を生成し、利用者が似合うと評価する家具の組み合わせに関する情報を利用者に提供する。また、情報処理装置10は、評価者から受け付けられた評価に基づいてCNNを生成し、CNNが家具の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、家具の組み合わせを示す画像を出力する。
【0152】
また、例えば、情報処理装置10は、複数の料理の組み合わせ(例えば、献立)を示す画像に対する評価であって、当該組み合わせが適切か否か(例えば、見た目や、味の組み合わせが適切か否か)を示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やCNNを生成してもよい。具体的な例を挙げると、情報処理装置10は、評価者から受け付けられた評価に基づいて、料理の組み合わせを示す画像や、画像が示す料理に関する情報(例えば、料理名や、食材、料理のジャンル、旬の季節、味の特徴、価格帯など)、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する料理の組み合わせに関する情報を利用者に提供する。また、情報処理装置10は、評価者から受け付けられた評価に基づいてCNNを生成し、CNNが料理の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、料理の組み合わせを示す画像を出力する。
【0153】
また、例えば、情報処理装置10は、複数の花の組み合わせ(例えば、花束)を示す画像に対する評価であって、当該組み合わせが適切か否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やCNNを生成してもよい。具体的な例を挙げると、情報処理装置10は、評価者から受け付けられた評価に基づいて、花の組み合わせを示す画像や、画像が示す花に関する情報(例えば、利用シーン、個々の花の名前、色、季節、目的、カテゴリ(カジュアル等)、売り文句、産地、価格帯など)、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する花の組み合わせに関する情報を利用者に提供する。また、情報処理装置10は、評価者から受け付けられた評価に基づいてCNNを生成し、CNNが花の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、花の組み合わせを示す画像を出力する。
【0154】
〔6-6.画像について〕
上述の実施形態において、情報処理装置10が、複数の被服の組み合わせを着用した着用者の画像に対する処理について記載したが、実施形態はこれに限定されるものではなく、1つの被服を着用した着用者の画像に対して同様の処理を行ってもよい。
【0155】
〔7.効果〕
上述してきたように、実施形態に係る情報処理装置10は、受付部41と、生成部42と、推定部43と、提供部44と、判定部45と、出力部46と、取得部47と、更新部48とを有する。情報処理装置10は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部41と、受付部41により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する生成部42とを有することを特徴とする。また、情報処理装置10は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部41と、受付部41により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成する生成部42と、生成部42により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する出力部46とを有することを特徴とする。また、情報処理装置10は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う被服を推定する推定部43と、推定部43により推定された被服に関する情報を利用者に提供する提供部44とを有することを特徴とする。
【0156】
また、受付部41は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。また、受付部41は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。生成部42は、受付部41により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。また、生成部42は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影また、生成部42は、受付部41により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成する。推定部43は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。また、推定部43は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する。また、推定部43は、組み合わせが所定の対象に似合う度合いをさらに推定する。提供部44は、推定部43により推定された組み合わせに関する組み合わせ情報を利用者に提供する。また、提供部44は、推定部43により推定された組み合わせに関する情報を利用者に提供する。また、提供部44は、組み合わせを度合いに応じた態様で提供する。判定部45は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。また、判定部45は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定する。出力部46は、生成部42により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。また、出力部46は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力する。また、出力部46は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力する。また、出力部46は、判定部45により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力する。また、出力部46は、判定部45により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力する。取得部47は、提供部44により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。更新部48は、取得部47により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者U1がコーディネート#1に対して肯定的である場合、更新部48は、分散表現空間F4において、属性情報B2と画像P1とを所定の距離近づけるように更新する。
【0157】
これにより、実施形態に係る情報処理装置10は、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置10は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供することができるため、所定の対象に似合う被服を利用者が把握することができるという効果を奏する。また、実施形態に係る情報処理装置10は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。
【0158】
また、実施形態に係る情報処理装置10において、例えば、生成部42は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成する。また、生成部42は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成する。また、生成部42は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成する。また、生成部42は、評価者の属性を示す評価者情報を投影した分散表現空間を生成する。また、生成部42は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成する。
【0159】
これにより、実施形態に係る情報処理装置10は、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
【0160】
また、実施形態に係る情報処理装置10において、例えば、推定部43は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定する。また、推定部43は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定する。
【0161】
これにより、実施形態に係る情報処理装置10は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供することができるため、自身に似合う被服を利用者が把握することができるという効果を奏する。
【0162】
また、実施形態に係る情報処理装置10において、例えば、推定部43は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定する。また、推定部43は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定する。
【0163】
これにより、実施形態に係る情報処理装置10は、利用者に似合うと対象者が評価すると推定されるコーディネートに関する情報を提供することができるため、対象者に気に入られる被服を利用者が把握することができるという効果を奏する。
【0164】
また、実施形態に係る情報処理装置10において、例えば、推定部43は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定する。また、推定部43は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定する。
【0165】
これにより、実施形態に係る情報処理装置10は、対象者が自身に似合うと評価すると推定されるコーディネートに関する情報を提供することができるため、対象者に気に入られる被服を利用者が把握することができるという効果を奏する。
【0166】
また、実施形態に係る情報処理装置10において、例えば、推定部43は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定する。また、推定部43は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定する。
【0167】
これにより、実施形態に係る情報処理装置10は、所定の対象の顔や体型に応じたコーディネートに関する情報を提供することができるため、所定の対象に似合う被服を利用者が精度よく把握することができるという効果を奏する。
【0168】
〔8.ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置10は、例えば、図13に示すような構成のコンピュータ1000によって実現される。以下、情報処理装置10を例に挙げて説明する。図13は、情報処理装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、ROM1200、RAM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
【0169】
CPU1100は、ROM1200又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1200は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0170】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス1500は、通信網500(実施形態のネットワークNに対応する)を介して他の機器からデータを受信してCPU1100へ送り、また、通信網500を介してCPU1100が生成したデータを他の機器へ送信する。
【0171】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。
【0172】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1300を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1300上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0173】
例えば、コンピュータ1000が情報処理装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1300上にロードされたプログラムを実行することにより、制御部40の機能を実現する。また、HDD1400には、情報処理装置10の記憶装置内の各データが格納される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0174】
〔9.その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0175】
また、上述した情報処理装置10は、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【0176】
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。
【符号の説明】
【0177】
10 情報処理装置
20 通信部
30 記憶部
31 評価者情報データベース
32 利用者情報データベース
40 制御部
41 受付部
42 生成部
43 推定部
44 提供部
45 判定部
46 出力部
47 取得部
48 更新部
100 利用者端末
200 評価者端末
【要約】
【課題】被服が着用者に似合っているかを把握する。
【解決手段】本願に係る情報処理装置は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部と、受付部により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報(例えば、評価者の属性情報や、所定のアンケートに対する回答など)とを投影した分散表現空間を生成する生成部とを有することを特徴とする。
【選択図】図5
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13