(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-07
(45)【発行日】2024-06-17
(54)【発明の名称】服飾品提案装置及び服飾品提案方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240610BHJP
G06F 16/2452 20190101ALI20240610BHJP
【FI】
G06Q50/10
G06F16/2452
(21)【出願番号】P 2024016162
(22)【出願日】2024-02-06
【審査請求日】2024-02-06
【早期審査対象出願】
(73)【特許権者】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】熊澤 圭
【審査官】深津 始
(56)【参考文献】
【文献】特開2014-013460(JP,A)
【文献】特開2018-173704(JP,A)
【文献】国際公開第2011/078174(WO,A1)
【文献】辻田眸、ほか,Asa1-coordinator:履歴情報を利用したファッションコーディネート支援,Human Interface 2009 論文集,2009年09月01日,第85-88ページ,ISSN:1345-0794
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00 -G06F 16/958
G06Q 10/00 -G06Q 99/00
(57)【特許請求の範囲】
【請求項1】
ユーザが
服飾品を着用する際の年月日、行先、目的、同行者及び天候のうちの少なくとも1つを含む条件を受け付ける入力処理部と、
前記受け付けた条件に基づき、
前記ユーザが服飾品を過去に実際に着用した際の年月日、行先、目的、同行者及び天候に関連付けてユーザが過去に実際に着用した服飾品の組み合わせを記憶した着用履歴情報から、前記ユーザが着用するべき服飾品の組み合わせの候補を決定する服飾品提案部と、
前記決定した候補を出力装置に表示する出力処理部と、
を備え
、
前記服飾品提案部は、さらに、
前記着用履歴情報における年月日、行先、目的、同行者及び天候のうちの少なくとも1つをベクトル化し、
前記受け付けた条件に含まれる年月日、行先、目的、同行者及び天候のうちの少なくとも1つをベクトル化し、当該ベクトル化した結果の各要素に対し所定の補正値を加減したものを近似値とし、
1回の入力に係る前記条件に対し作成した複数の前記近似値に基づき前記着用履歴情報を検索することによって、複数の前記候補を決定すること、
を特徴とする服飾品提案装置。
【請求項2】
前記服飾品提案部は、
前記条件を入力とし前記候補を出力とする提案モデルを使用すること、
を特徴とする請求項1に記載の服飾品提案装置。
【請求項3】
前記服飾品提案部は、
前記提案モデルを機械学習すること、
を特徴とする請求項2に記載の服飾品提案装置。
【請求項4】
前記着用履歴情報は、
服飾品の画像を特定する情報を記憶しており、
前記出力処理部は、
前記決定した候補の画像を出力装置に表示すること、
を特徴とする請求項1に記載の服飾品提案装置。
【請求項5】
前記着用履歴情報は、
前記ユーザが過去に着用した服飾品の組み合わせに対する評価を記憶しており、
前記出力処理部は、
前記評価に基づき、前記決定した候補を出力装置に表示する順番を決定すること、
を特徴とする請求項1に記載の服飾品提案装置。
【請求項6】
服飾品提案装置の入力処理部は、
ユーザが
服飾品を着用する際の年月日、行先、目的、同行者及び天候のうちの少なくとも1つを含むユーザが着用する服飾品に関する条件を受け付け、
前記服飾品提案装置の服飾品提案部は、
前記受け付けた条件に基づき、
前記ユーザが服飾品を過去に実際に着用した際の年月日、行先、目的、同行者及び天候に関連付けてユーザが過去に実際に着用した服飾品の組み合わせを記憶した着用履歴情報から、前記ユーザが着用するべき服飾品の組み合わせの候補を決定し、
前記服飾品提案装置の出力処理部は、
前記決定した候補を出力装置に表示
し、
前記服飾品提案部は、さらに、
前記着用履歴情報における年月日、行先、目的、同行者及び天候のうちの少なくとも1つをベクトル化し、
前記受け付けた条件に含まれる年月日、行先、目的、同行者及び天候のうちの少なくとも1つをベクトル化し、当該ベクトル化した結果の各要素に対し所定の補正値を加減したものを近似値とし、
1回の入力に係る前記条件に対し作成した複数の前記近似値に基づき、前記着用履歴情報を検索することによって、複数の前記候補を決定すること、
を特徴とする服飾品提案方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、服飾品提案装置及び服飾品提案方法に関する。
【背景技術】
【0002】
生活の基本である衣食住のうちの衣について、人は外出する前に服飾品を選択する。服飾品の選択は、人によっては楽しみでもあり、また、億劫でもある。億劫に感じる人にとって、外出前の短い時間に自身がどのような服飾品を有しているかを思い出すことが面倒であり、外出の目的等に応じて複数の服飾品の組み合わせ(コーディネート)を考えることも面倒である。さらに、人は、過去に自身がどのような目的等に応じてどのようなコーディネートを選択したかを忘れてしまいがちである。コーディネートを提案する専門家は存在するが、専門家に毎日相談することは非現実的である。
【0003】
特許文献1の情報処理システムは、ユーザが指定した場所において撮像された画像のうちから、ユーザに似た他人を抽出し、その他人の服装をユーザに提案する。特許文献2のリコメンドサポートシステムは、現在ユーザが所有しているアイテム(服飾品)及びユーザの嗜好等に基づき、事業者が販売している商品の候補のうちから、ユーザに提案するべき商品を決定する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2023-95908号公報
【文献】特開2021-140312号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の情報処理システムは、ユーザが現在どのような服装を所有しているかとは関係なく、画像から抽出した服装をユーザに提案する。特許文献2のリコメンドサポートシステムは、さらに進んで、ユーザが現在所有していない服飾品の購入をユーザに促す。いずれにしても、ユーザが既に所有する服飾品の組み合わせを考えること自身を楽しむには、新たな工夫が必要であった。
そこで、本発明は、ユーザ所有の服飾品のうちから、外出の目的等に応じた組み合わせを提案することを目的とする。
【課題を解決するための手段】
【0006】
本発明の服飾品提案装置は、
ユーザが服飾品を着用する際の年月日、行先、目的、同行者及び天候のうちの少なくとも1つを含む条件を受け付ける入力処理部と、前記受け付けた条件に基づき、前記ユーザが服飾品を過去に実際に着用した際の年月日、行先、目的、同行者及び天候に関連付けてユーザが過去に実際に着用した服飾品の組み合わせを記憶した着用履歴情報から、前記ユーザが着用するべき服飾品の組み合わせの候補を決定する服飾品提案部と、前記決定した候補を出力装置に表示する出力処理部と、を備え、前記服飾品提案部は、さらに、前記着用履歴情報における年月日、行先、目的、同行者及び天候のうちの少なくとも1つをベクトル化し、前記受け付けた条件に含まれる年月日、行先、目的、同行者及び天候のうちの少なくとも1つをベクトル化し、当該ベクトル化した結果の各要素に対し所定の補正値を加減したものを近似値とし、1回の入力に係る前記条件に対し作成した複数の前記近似値に基づき前記着用履歴情報を検索することによって、複数の前記候補を決定すること、を特徴とする。その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【0007】
本発明によれば、ユーザ所有の服飾品のうちから、外出の目的等に応じた組み合わせを提案することができる。
【図面の簡単な説明】
【0008】
【
図4】服飾品画像及びコーディネート画像の一例を示す図である。
【
図5】服飾品情報作成処理手順のフローチャートである。
【
図6】着用履歴情報作成処理手順のフローチャートである。
【
図10】外部情報取得処理手順のフローチャートである。
【発明を実施するための形態】
【0009】
以降、本発明の実施形態(“本実施形態”という)を、図等を参照しながら詳細に説明する。本実施形態は、人(服飾品提案装置のユーザ)が外出時に着用する服飾品の組み合わせを提案する例である。服飾品とは、ユーザが上半身、下半身、頭、手、足、首等、身体の各部分に着用するもののうち、少なくともその一部が外見に現れるものである。したがって、服飾品は、下着を含まないが、腕時計、アクセサリー等を含む概念である。なお、以下の本実施形態は外出を例にしているが、外出に限らず来客時等(人に見られることを前提とする場面)にて着用する服飾品の選択にも本発明は適用可能である。
【0010】
(服飾品提案装置)
図1は、服飾品提案装置1の構成を示す図である。服飾品提案装置1は、一般的なコンピュータであり、中央制御装置11、カメラ、マイクロフォン、マウス、キーボード等の入力装置12、スピーカ、ディスプレイ等の出力装置13、主記憶装置14、補助記憶装置15及び通信装置16を有する。
【0011】
主記憶装置14における入力処理部21、服飾品提案部22及び出力処理部23は、プログラムである。以降の説明において、“○○部は”と主体を記す場合、それは、中央制御装置11が補助記憶装置15から主記憶装置14にプログラムを読み出し、プログラムの機能を実現することを意味する。補助記憶装置15は、服飾品情報31、着用履歴情報32、提案モデル33、服飾品画像34及びコーディネート画像35(詳細後記)を格納する。補助記憶装置15は、別筐体として独立した構成であってもよい。
【0012】
服飾品提案装置1は、ネットワーク4を介して、ユーザ端末装置2、外部情報装置3及びカメラ8と接続されている。ユーザ端末装置2は、ユーザが使用する携帯型又は据置型のコンピュータであり、中央制御装置、入力装置(カメラ、タッチパネル、マイクロフォン等)、出力装置(スピーカ、ディスプレイ等)、主記憶装置、補助記憶装置及び通信装置(図示せず)を有する。外部情報装置3は、服飾品提案装置1及びユーザ端末装置2以外の任意の装置であり、過去、現在及び将来の気象情報を記憶している官公庁、企業等のサーバを含む。
【0013】
服飾品の多くは時々洗濯され、その間、ユーザはその服飾品を着用することができなくなる。そこで、服飾品提案装置1は、服飾品の状態(詳細後記)をリアルタイムで認識する必要がある。そのためにカメラ8は、例えば、収納庫(箪笥等)5、洗濯機6及び物干し場7の近辺に配置される。カメラ8は、その場所に存在する(出し入れされる)服飾品の画像を撮像し、撮像した画像を自身の位置情報とともに服飾品提案装置1に送信する。なお、服飾品は、撮像した画像を解析することで(色、模様、材質、形状等に基づいて)、どの服飾品であるかが一意に特定される。
【0014】
服飾品の特定に関して、カメラ8に代替して又は追加して、収納庫5、洗濯機6及び物干し場7に備えられたRFID(Radio Frequency Identification)リーダが、服飾品に貼付されたRFIDタグを読み取ってもよい。RFIDタグには、服飾品IDが記憶されている。RFIDリーダは、その場所に存在する(出し入れされる)服飾品の服飾品IDを読み取り、読み取った服飾品IDを自身の位置情報とともに服飾品提案装置1に送信する。
【0015】
(服飾品情報)
図2は、服飾品情報31の一例を示す図である。服飾品情報31においては、服飾品ID欄101に記憶された服飾品IDに関連付けて、大カテゴリ欄102には、大カテゴリが、小カテゴリ欄103には小カテゴリが、形状欄104には形状が、収納位置欄105には収納位置が、色欄106には色が、模様欄107には模様が、材質欄108には材質が、季節欄109には季節が、画像欄110には服飾品画像が、状態欄111には状態が記憶されている。
【0016】
服飾品ID欄101の服飾品IDは、個々の服飾品を一意に特定する識別子である。
大カテゴリ欄102の大カテゴリは、服飾品の種類のうち、比較的上位のものである。
小カテゴリ欄103の小カテゴリは、服飾品の種類のうち、比較的下位のものである。大カテゴリ及び小カテゴリは、ユーザの使い勝手に応じて自由に設定される。カテゴリの階層がさらに多くてもよい。
形状欄104の形状は、服飾品の形状の特徴である。形状の特徴に加えて又は代替して、ユーザの身体のサイズ(身長、体重、バストサイズ、ウエストサイズ、ヒップサイズ)が記憶されていてもよい。
収納位置欄105の収納位置は、ユーザが服飾品を物理的に収納している位置(収納庫5の名称)である。例えば、
図2における“箪笥1”、“箪笥2”等は、収納庫5としての箪笥が複数存在する場合、そのそれぞれを一意に特定している。収納位置の粒度は、任意である。例えば、収納位置が“箪笥1の上から○番目の引き出し”であってもよい。なお、他者フラグ“(他者)”については、後記する。
【0017】
色欄106の色は、服飾品の色である。
模様欄107の模様は、服飾品の模様である。
材質欄108の材質は、服飾品の材質である。
季節欄109の季節は、服飾品が最も頻繁に着用される季節である。
画像欄110の服飾品画像は、個々の服飾品を撮像した画像である服飾品画像34の名称及び拡張子である。“#”は、異なる文字を省略的に表している。ここでの服飾品画像(名称及び拡張子)は、服飾品画像34そのものに付されたメタ情報であり、服飾品画像34そのものは、補助記憶装置15に格納される。もちろん、服飾品情報31自身が直接服飾品画像34を記憶していてもよい。
【0018】
状態欄111の状態は、“収納”、“洗濯”及び“-”のうちのいずれかである。“収納”は、服飾品が現在、収納庫5等に収納されている結果、ユーザは当該服飾品を着用することができることを示す。“洗濯”は、服飾品が現在、洗濯機6に収納されている結果、ユーザは当該服飾品を着用することができないことを示す。“-”は、ユーザが当該服飾品を所有していないことを示す。なお、状態の1つとして“着用中”があってもよい(詳細後記)。
【0019】
(着用履歴情報)
図3は、着用履歴情報32の一例を示す図である。着用履歴情報32においては、着用機会ID欄121に記憶された着用機会IDに関連付けて、年月日欄122には、年月日が、行先欄123には行先が、目的欄124には目的が、同行者欄125には同行者が、天候欄126には天候が、評価欄127には評価が、着用服飾品欄128には着用服飾品が記憶されている。
【0020】
着用機会ID欄121の着用機会IDは、着用機会を一意に特定する識別子である。着用機会とは、1回の外出を意味し、1回の着用機会の途中において、服飾品の組み合わせを変更することはできない。なお、着用機会IDのうち、“F”で始まるものは、“他者着用機会ID”と呼ばれる。他者着用機会IDについては後記する。
【0021】
年月日欄122の年月日は、ユーザが外出した年月日である。服飾品提案部22は、この年月日に基づき、季節を特定することができる。
行先欄123の行先は、外出の目的地である。ユーザが自宅に客人を迎える場合、“自宅”もまた行先となり得る。
目的欄124の目的は、外出の目的となる行為である。
同行者欄125の同行者は、外出時にユーザに同行する者である。
天候欄126の天候は、外出した年月日の行先における気象情報であり、ここでは、天気(晴、雨、雪、・・・)及び気温である。
【0022】
評価欄127の評価は、着用服飾品の組み合わせに対するユーザ自身又は同行者の評価である。行先、目的、同行者(及びその服飾品)、天候等に相応しく、ユーザ自身の個性がよく現れている組み合わせに対する評価は高い。評価は、A>B>C>・・・のようなランキングであってもよい。“A”が最も高い評価である。評価は、点数であってもよい。点数が大きいほど評価は高い。
着用服飾品欄128の着用服飾品は、ユーザが着用機会に実際に着用した服飾品の服飾品IDである。ここでは、大カテゴリごとに、1つの服飾品IDが記憶されている。“#”は、異なる服飾品IDを省略的に表している。なお、例えば、その外出に際し帽子を着用しなかった場合、帽子欄は、空欄となる。
【0023】
図4は、服飾品画像34及びコーディネート画像35の一例を示す図である。
図4の上段左の服飾品画像34は、あるユーザ(男性)が所有する“ポロシャツ”を正面からカメラで撮像したカラー画像である。
図4の上段右の服飾品画像34は、他のユーザ(女性)が所有する“ブラウス”を正面からカメラで撮像したカラー画像である。
【0024】
図4の下段左のコーディネート画像35は、あるユーザ(男性)が複数の服飾品を組み合わせて着用している様子を概ね正面からカメラで撮像したカラー画像、又は、服飾品提案部22が合成したカラー画像である。当該ユーザは、“ワイシャツ”、“ジーンズ”及び“スニーカー”を着用している。当該組み合わせは、例えば、若年男性が夏季に公園に散歩に行く場合に相応しい。
【0025】
図4の下段右のコーディネート画像35は、あるユーザ(女性)が複数の服飾品を組み合わせて着用している様子を概ね正面からカメラで撮像したカラー画像、又は、服飾品提案部22が合成したカラー画像である。当該ユーザは、“Tシャツ”、“ロングスカート”及び“パンプス”を着用している。当該組み合わせは、例えば、母親が夏季に学校に授業参観に行く場合に相応しい。服飾品画像34及びコーディネート画像35を撮像するカメラは、カメラ8であってもよいし、入力装置12としてのカメラであってもよい。
【0026】
(提案モデル)
いま、ある条件を入力すると、服飾品の組み合わせを出力する関数Fを想定する。
服飾品の組み合わせ=F(条件)
【0027】
当該関数Fが、提案モデル33である。入力変数である“条件”は、着用履歴情報32(
図3)における年月日、行先、目的、同行者及び天候のうちの少なくとも1つを含む。出力変数である“服飾品の組み合わせ”は、着用履歴情報32(
図3)における着用服飾品(服飾品ID)の組み合わせのうちの少なくとも1つを含む。
図2及び
図3は、服飾品IDをキーとして繋がっている。したがって、服飾品提案部22は、提案モデル33の出力に基づき、
図4の下段のようなコーディネート画像35を合成することができる。
【0028】
提案モデル33は、ニューラルネットワークのような人工知能であってもよいし、そうでなくてもよい。
【0029】
ニューラルネットワークとしての提案モデル33は、入力層、複数の中間層及び出力層を有する。各中間層は、複数のノードを有する。ノードが受け取った情報のうちのどの部分を次の中間層のどのノードに渡すかを定義した“伝播パラメータ”が、中間層のノードごとに定義される。服飾品提案部22は、教師付き学習データを使用して提案モデル33を機械学習することによって、伝播パラメータを最適化する。教師付き学習データとは、前記した入力変数の過去値及び前記した出力変数の過去値の組み合わせである。結局、着用履歴情報32が、教師付き学習データとなる。
【0030】
提案モデル33がニューラルネットワークではない場合もある。この場合、提案モデル33は、ユーザが指定した“年月日、行先、目的、同行者及び天候のうちの少なくとも1つ”を検索キーとして、着用履歴情報32を検索し、最もよく該当する服飾品IDの組み合わせを取得するアプリケーションである。
【0031】
提案モデル33がニューラルネットワーク又はアプリケーションのいずれである場合であっても、服飾品提案部22は、ユーザが指定した“年月日、行先、目的、同行者及び天候のうちの少なくとも1つ”をベクトル(又はスカラ化)し、その結果を検索キーとする。服飾品提案部22は、着用履歴情報32の“年月日、行先、目的、同行者及び天候のうちの少なくとも1つ”を予めベクトル化(又はスカラ化)し、被検索キーとしておく。提案モデル33は、検索キーに最も類似する被検索キーを有する着用履歴情報32のレコードを特定することができる。提案モデル33は、類似の程度を既知の方法(余弦類似度、ベクトルのなす角度等)で数量化することができる。
【0032】
(服飾品提案部及び提案モデルの柔軟性)
通常、検索キーがいずれかの被検索キーと完全に一致することは、あり得ない。そのために提案モデル33が全く出力しなくなると、服飾品提案装置1の使い勝手は悪くなる。そこで、服飾品提案部22は、入力変数の値を人為的に僅かに変化させたうえで、提案モデル33に対し繰り返し入力することを試みる。
【0033】
いま、入力変数が5次元のベクトル“[♭,♭,♭,♭]”であるとする。この次元数“5”は、入力変数(年月日、行先、目的、同行者及び天候)の次元数に対応している。“♭”は、異なる値を省略的に示している。服飾品提案部22は、“[♭±a,♭±b,♭±c,♭±d,♭±e]”を複数作成する。ここで、a、b、c、・・・は、入力変数に対する補正値であり、服飾品提案部22は、a、b、c、・・・のそれぞれの値を僅かずつ変化させる。つまり、服飾品提案部22は、入力変数の真値に対して、多少の幅の相違を許容する近似値を複数作成する。すると、提案モデル33は、1回の入力に対応して、服飾品IDの複数の組み合わせを出力することができる。具体的には、提案モデル33は、ある入力に対して、例えば靴のみが異なる組み合わせを複数出力する。
【0034】
以降で、本実施形態の処理手順を説明する。処理手順は5つ存在し、それらは、服飾品情報作成処理手順(
図5)、着用履歴情報作成処理手順(
図6)、学習処理手順(
図7)、提案処理手順(
図8)及び外部情報取得処理手順(
図10)である。
【0035】
(服飾品情報作成処理手順)
図5は、服飾品情報作成処理手順のフローチャートである。服飾品情報作成処理手順は、ユーザが、自身が所有する服飾品の“棚卸”をする際、及び、その後、新たな服飾品を入手した際に実行される。
【0036】
ステップS201において、服飾品提案装置1の入力処理部21は、服飾品画像34を受け付ける。具体的には、入力処理部21は、ユーザが、ある1つの服飾品を服飾品提案装置1の入力装置12(カメラ)、ユーザ端末装置2の入力装置(カメラ)又はカメラ8で撮像するのを受け付ける。
【0037】
ステップS202において、入力処理部21は、服飾品属性を受け付ける。具体的には、入力処理部21は、ユーザが、当該服飾品についての服飾品属性を服飾品提案装置1の入力装置12(キーボード)又はユーザ端末装置2の入力装置(タッチパネル)を介して入力するのを受け付ける。服飾品属性とは、服飾品情報31(
図2)の大カテゴリ欄102~季節欄109に記憶されるべき情報である。入力処理部21は、ユーザによる入力を待つまでもなく、画像を解析することによって、服飾品属性の一部(形状、色、模様等)を自動的に取得してもよい。
【0038】
ステップS203において、服飾品提案装置1の服飾品提案部22は、服飾品情報31(
図2)のレコードを作成する。具体的には、服飾品提案部22は、ステップS201及びステップS202において受け付けた情報、及び、自身が採番した服飾品IDを使用して、服飾品情報31の1本のレコードを作成する。なお、この段階において、状態欄111は、空白である。やがて服飾品が移動すると、服飾品提案部22は、カメラ8から情報を受信し、リアルタイムで状態を記憶、更新して行く。
【0039】
ステップS204において、服飾品提案部22は、すべての服飾品画像34を受け付けたか否かを判断する。具体的には、すべての服飾品画像34を受け付けた場合(ステップS204“YES”)、服飾品提案部22は、ステップS205に進む。それ以外の場合(ステップS204“NО”)、ステップS201に戻る。
【0040】
ステップS205において、服飾品提案部22は、服飾品情報31を記憶する。具体的には、服飾品提案部22は、複数本のレコードをまとめ、服飾品情報31として補助記憶装置15に格納する。その後、服飾品情報作成処理手順を終了する。
【0041】
(着用履歴情報作成処理手順)
図6は、着用履歴情報作成処理手順のフローチャートである。着用履歴情報作成処理手順は、ユーザが外出する都度実行される。
【0042】
ステップS301において、服飾品提案装置1の入力処理部21は、行先等を受け付ける。具体的には、入力処理部21は、ユーザが、行先等を服飾品提案装置1の入力装置12(キーボード、マイクロフォン)又はユーザ端末装置2の入力装置(タッチパネル、マイクロフォン)を介して入力するのを受け付ける。“行先等”とは、着用履歴情報32(
図3)の年月日欄122~天候欄126に記憶されるべき情報である。行先等が外部情報装置3(スケジューラ等)に記憶されている場合、入力処理部21は、行先等を外部情報装置3から取得してもよい。行先がユーザ自宅の遠方にある場合、当該行先の天候は、不明であることが多い。この場合、ユーザは、天候を入力する必要はない。但し、ユーザは、行先として、その場所が特定できる住所等を入力するのが望ましい。
【0043】
ステップS301のタイミングは、ユーザが服飾品の組み合わせを決定し外出する直前の時点である。ユーザは、服飾品提案装置1を操作し、服飾品提案装置1から服飾品の組み合わせの提案を受ける場合もあり、服飾品提案装置1を使用することなく、自身の判断で服飾品の組み合わせを決定する場合もある。服飾品提案装置1による提案に頼らないユーザ自身の嗜好の変化を教師付き学習データに反映させるためには、ユーザ自身の決定を許容することが好ましい。その後、ユーザが服飾品の組み合わせを実際に着用すると、処理は、ステップS302に進む。
【0044】
ステップS302において、入力処理部21は、コーディネート画像35を受け付ける。具体的には、入力処理部21は、ユーザが服飾品をすべて着用した後、自身の全身をコーディネート画像35として、服飾品提案装置1の入力装置12(カメラ)、ユーザ端末装置2の入力装置(カメラ)又はカメラ8で撮像するのを受け付ける。
【0045】
ステップS303において、服飾品提案装置1の服飾品提案部22は、着用履歴情報32(
図3)のレコードを作成する。具体的には、服飾品提案部22は、ステップS301及びステップS302において受け付けた情報、及び、自身が採番した着用機会IDを使用して、着用履歴情報32の1本のレコードを作成する。この段階では、評価欄127は空欄である。天候欄126が空欄である場合もある。服飾品提案部22は、ステップS302において受け付けたコーディネート画像35を解析することによって、コーディネート画像35に写り込んでいる複数の服飾品の服飾品IDを、服飾品情報31から取得することができる。因みに、この段階で、服飾品提案部22は、コーディネート画像35に写り込んでいる服飾品の状態(
図2)を“着用中”で更新する。
【0046】
ステップS304において、服飾品提案部22は、天候が明らかであるか否かを判断する。具体的には、ステップS303において作成したレコードの天候欄126が空欄である場合(ステップS304“NО”)、服飾品提案部22は、ステップS305に進む。それ以外の場合(ステップS204“YES”)、ステップS306に進む。
【0047】
ステップS305において、服飾品提案部22は、外部情報装置3から天候を取得する。具体的には、服飾品提案部22は、行先(住所等)をキーとして、外部情報装置3を検索し、当該行先における天候を取得する。
【0048】
ステップS306において、服飾品提案部22は、直前の評価を受け付ける。具体的には、服飾品提案部22は、直前の外出における服飾品の組み合わせに対する評価を、服飾品提案装置1の入力装置12(キーボード)又はユーザ端末装置2の入力装置(タッチパネル)を介して入力するのを受け付ける。
【0049】
ステップS307において、服飾品提案部22は、着用履歴情報32のレコードを記憶する。具体的には、服飾品提案部22は、ステップS303において作成したレコードに対し、ステップS305において取得した天候を必要に応じ加え、着用履歴情報32に蓄積する。さらに、服飾品提案部22は、直前の外出機会のレコードの評価欄127に、ステップS306において受け付けた評価を記憶する。その後、着用履歴情報作成処理手順を終了する。
【0050】
(学習処理手順)
図7は、学習処理手順のフローチャートである。学習処理手順は、着用履歴情報32のレコードが所定の本数以上蓄積された後、任意のタイミングで繰り返し実行される。なお、以下の説明において、提案モデル33は、ニューラルネットワークであるとする。
【0051】
ステップS401において、服飾品提案装置1の服飾品提案部22は、未学習の提案モデル33を取得する。具体的には、服飾品提案部22は、補助記憶装置15から、未学習の提案モデル33を取得する。
【0052】
ステップS402において、服飾品提案部22は、教師付き学習データを取得する。具体的には、服飾品提案部22は、補助記憶装置15から、最新状態の着用履歴情報32を取得する。着用履歴情報32のうち、年月日欄122~天候欄126の情報が、入力側の学習データとなり、着用服飾品(服飾品ID)欄128の情報が、出力側の学習データとなる。
【0053】
ステップS403において、服飾品提案部22は、提案モデル33を機械学習する。具体的には、服飾品提案部22は、ステップS402において取得した教師付き学習データを使用して、提案モデル33の伝播パラメータを最適化する。
【0054】
ステップS404において、服飾品提案部22は、学習済の提案モデル33を記憶する。具体的には、服飾品提案部22は、伝播パラメータが最適化された提案モデル33を、その伝播パラメータとともに補助記憶装置15に格納する。その後、学習処理手順を終了する。
【0055】
(提案処理手順)
図8は、提案処理手順のフローチャートである。提案処理手順は、ユーザが外出する都度実行される。
図8の説明の途中で、
図9を参照する。
【0056】
ステップS501において、服飾品提案装置1の服飾品提案部22は、学習済の提案モデル33を取得する。具体的には、服飾品提案部22は、補助記憶装置15から、学習済の提案モデル33を取得する。
【0057】
ステップS502において、服飾品提案装置1の入力処理部21は、行先等を受け付ける。具体的には、入力処理部21は、ユーザが、行先等を服飾品提案装置1の入力装置12(キーボード、マイクロフォン)又はユーザ端末装置2の入力装置(タッチパネル、マイクロフォン)を介して入力するのを受け付ける。“行先等”とは、着用履歴情報32(
図3)の年月日欄122~天候欄126に記憶されるべき情報である。行先等が外部情報装置3(スケジューラ等)に記憶されている場合、入力処理部21は、行先等を外部情報装置3から取得してもよい。行先がユーザ自宅の遠方にある場合、当該行先の天候は、不明であることが多い。この場合、ユーザは、天候を入力する必要はない。但し、ユーザは、行先として、その場所が特定できる住所等を入力するのが望ましい。
【0058】
ステップS502のタイミング及び処理内容は、ステップS301(
図6)のタイミング及び処理内容と同じである。ここで行われる処理は、着用履歴情報32を作成する観点からはステップS301となり、服飾品の組み合わせの提案を受ける観点からはステップS502となる。両者を分けて説明するのは、専ら説明の便宜上の理由による。
【0059】
ステップS503において、服飾品提案部22は、行先等を提案モデル33に入力する。具体的には、服飾品提案部22は、学習済の提案モデル33に対して、“行先等”を入力する。行先等は、提案モデル33(関数F)に入力される“条件”である。天候が不明な場合、服飾品提案部22は、前記した方法で、外部情報装置3から天候を取得する。
【0060】
ステップS504において、服飾品提案部22は、提案モデル33からコーディネート画像35を取得する。具体的には、第1に、服飾品提案部22は、学習済の提案モデル33が着用服飾品を複数の服飾品IDの組み合わせとして出力するのを受け付ける。前記したように、ここでは、複数の組み合わせが出力される。ここで出力される服飾品IDの組み合わせは、着用履歴情報32のレコードのうちのいずれか1本の着用服飾品(服飾品ID)欄128に記憶されている。
【0061】
第2に、服飾品提案部22は、ステップS504の“第1”において出力された組み合わせのうち、その組み合わせに含まれる少なくとも1つの服飾品の状態が“収納”以外であるものを削除する。
第3に、服飾品提案部22は、ステップS504の“第2”において削除されずに残った服飾品IDの組み合わせに基づき、服飾品画像34を特定し、コーディネート画像35を合成する。ここでは、複数のコーディネート画像35が合成される。
【0062】
ステップS505において、服飾品提案部22は、評価に基づき、コーディネート画像35を順位付ける。具体的には、服飾品提案部22は、評価が高い順番に、コーディネート画像35を順位付ける。
【0063】
ステップS506において、服飾品提案装置1の出力処理部23は、コーディネート画像35を表示する。具体的には、出力処理部23は、評価が高い順番にコーディネート画像35を、服飾品提案装置1の出力装置13(ディスプレイ)又はユーザ端末装置2の出力装置(ディスプレイ)に表示する。このとき、出力処理部23は、提案画面41を表示する。
図8の途中であるが、説明は、一旦
図9に移る。
【0064】
(提案画面)
図9は、提案画面41の一例を示す図である。提案画面41の説明欄42には、ユーザがステップS502において入力した行先等を含む案内文言が表示されている。提案画面41には、ステップS505において順位付けられたコーディネート画像35が、評価が高い順に所定の数だけ表示されている。ここでの所定の数は、“1”である。
【0065】
いま、ユーザがマウス等の入力装置12(又は指)でカーソル46をワイシャツに合わせたうえで、“収納位置照会”ボタン43を押下したとする。すると、出力処理部23は、当該ボタンの近辺に回答文言“ワイシャツ、箪笥1に収納中”を表示する。前記したように、“箪笥1”は、収納庫5として複数存在する箪笥のうちの1つを特定する。
【0066】
次に、ユーザがマウス等の入力装置12(又は指)でカーソル46を靴に合わせたうえで、“他候補照会”ボタン44を押下したとする。すると、出力処理部23は、当該ボタンの近辺に回答文言“靴(登山靴)、靴箱1に収納中”を表示する。当該登山靴は、評価が次順位であった服飾品の組み合わせに含まれている。前記したように、“靴箱1”は、収納庫5として複数存在する靴箱のうちの1つを特定する。
【0067】
さらに、ユーザが “履歴照会”ボタン45を押下したとする。すると、出力処理部23は、当該ボタンの近辺に回答文言“○年○月○日、B百貨店、評価:A”を表示する。これは、ここで表示されているコーディネート画像35に対応する行先等である。説明は、
図8に戻る。
【0068】
ステップS507において、服飾品提案部22は、照会を受け付けたか否かを判断する。具体的には、ステップS506において表示した提案画面41に対して、“収納位置照会”ボタン43、“他候補照会”ボタン44及び“履歴照会”ボタン45のうちのいずれかをユーザが押下した場合(ステップS507“YES”)、服飾品提案部22は、ステップS508に進む。それ以外の場合(ステップS507“NО”)、提案処理手順を終了する。
【0069】
ステップS508において、服飾品提案部22は、照会に応答する。具体的には、服飾品提案部22は、
図9において説明したように、回答文言を表示する。その後、提案処理手順を終了する。
【0070】
(外部情報取得処理手順)
図10は、外部情報取得処理手順のフローチャートである。外部情報取得処理手順は、任意のタイミングで実行される。ユーザの多くは、街中等で、どのような服飾品が現在流行しているかに興味を有している。
【0071】
ステップS601において、服飾品提案装置1の服飾品提案部22は、外部情報装置3に接続する。具体的には、服飾品提案部22は、ユーザの指示に応じて、服飾品提案装置1又はユーザ端末装置2を、ネットワーク4を介して外部情報装置3に接続する。ユーザは、服飾品提案装置1の出力装置13、又は、ユーザ端末装置2の出力装置を介して、ニュース記事、他人のSNS(Social Networking Service)等任意のサイトを視聴する。当該サイトは、他人が外出した際の画像を表示している。いま、ユーザは、あるサイトにおいて、ある人物のコーディネート画像35を選択したとする。
【0072】
ステップS602において、服飾品提案部22は、画像を特定する。具体的には、服飾品提案部22は、ユーザが選択したコーディネート画像35を特定し背景から切り出す。
【0073】
ステップS603において、服飾品提案部22は、個々の服飾品を抽出する。具体的には、服飾品提案部22は、背景から切り出されたコーディネート画像35を、例えば大カテゴリことに分解し、複数の服飾品画像34を抽出する。
【0074】
ステップS604において、服飾品提案部22は、行先等を特定する。具体的には、第1に、服飾品提案部22は、ステップS602において切り出されたコーディネート画像35に付されたメタデータ等から、その画像に係る年月日、行先、目的、同行者、及び、天候を特定する。
第2に、服飾品提案部22は、天候が取得できない場合、任意の他のサイト(官公庁のサイト等)から、当該年月日及び行先における気象情報を取得する。
【0075】
ステップS605において、服飾品提案部22は、着用履歴情報32(
図3)のレコードを作成する。具体的には、服飾品提案部22は、ステップS603において抽出した服飾品画像34、及び、ステップS604において特定した行先等を使用して、着用履歴情報32のレコードを作成し、補助記憶装置15に記憶する。服飾品提案部22は、服飾品画像34ごとに、服飾品IDを採番し、コーディネート画像35ごとに、“F”で始まる他者着用機会IDを採番する。このように記憶された着用履歴情報32のレコードの着用服飾品は、ユーザの嗜好を反映している。もちろん、ユーザは、ここでの着用服飾品を所有していない。
【0076】
ステップS606において、服飾品提案部22は、服飾品情報31(
図2)のレコードを作成する。具体的には、服飾品提案部22は、服飾品画像34ごとに、服飾品情報31のレコードを作成し、補助記憶装置15に記憶する。このとき、服飾品提案部22は、服飾品画像34を解析することによって、大カテゴリ、小カテゴリ、形状、色、模様及び季節を決定する。服飾品提案部22は、収納位置として“(他者)”を記憶する。服飾品提案部22は、ユーザが材質を入力するのを受け付け、それを記憶する。
【0077】
ステップS607において、服飾品提案部22は、所有の服飾品との類似度を算出する。具体的には、第1に、服飾品提案部22は、ステップS606において記憶したレコードの画像欄110から服飾品画像34を取得する。ここで取得された服飾品画像34を“比較基準画像”と呼ぶ。
第2に、服飾品提案部22は、比較基準画像の大カテゴリと同じ大カテゴリを有する服飾品情報31のレコードのうち他者フラグがないすべてのレコードの画像欄110から服飾品画像34を取得する。ここで取得された服飾品画像34を“比較対象画像”と呼ぶ。
第3に、服飾品提案部22は、任意の方法で、比較基準画像を比較対象画像のそれぞれと比較し、類似度を算出する。
【0078】
ステップS608において、服飾品提案部22は、類似する服飾品を関連付ける。具体的には、服飾品提案部22は、所定の基準を満たす程度に類似度が大きい服飾品同士を関連付ける“類似情報”を作成し、補助記憶装置15に記憶する。類似情報は、例えば、“[D004,(D###,類似度#),(D###,類似度#),・・・]”である。このうち“D004”は、比較基準画像の服飾品を特定する服飾品IDである。“(D###,類似度#)”は、比較対象画像の服飾品を特定する服飾品ID及びその類似度である。“#”は異なる値を省略的に示している。その後、外部情報取得処理手順を終了する。
【0079】
このようにして、服飾品情報31(
図2)及び着用履歴情報(
図3)のレコードが蓄積されると、ユーザは、外出の際、提案画面41において、自身が所有する服飾品及び自身が所有しない服飾品の候補を含むコーディネート画像35(
図9)を見ることができる。
【0080】
このとき提案画面41において、ユーザが、自身が所有しない服飾品をカーソル46で選択したうえで“収納位置照会”ボタン43を押下すると、出力処理部23は、“(他者)”を表示する。するとユーザは、その服飾品を自身が所有していないことを知る。この場合、さらにユーザが“他候補照会”ボタン44を押下すると、出力処理部23は、選択した服飾品との類似度が大きい順に、ユーザが所有する服飾品の候補を表示する。するとユーザは、取り敢えず直ちに着用することができるコーディネートを他人のコーディネートに基づき特定することができる。
【0081】
(変形例1:多次元評価)
着用履歴情報32の評価は、“(自身の評価,他人1の評価,他人2の評価,・・・),平均値”のような多次元ベクトルであってもよい。他人1、他人2、・・・は、ユーザ以外の人であり、予めユーザによって指定される。最後の次元の平均値は、自身の評価、他人1の評価、他人2の評価、・・・の平均値である。
図1の外部情報装置3は、ユーザ以外の人が操作するコンピュータも含む。
図6のステップS306において、服飾品提案部22は、直前の外出における服飾品の組み合わせに対する評価を、ユーザ以外の人が外部情報装置3の入力装置(タッチパネル等)を介して入力するのを受け付ける。ユーザ以外の人は、前回外出の同行者であってもよいし、同行者でなくてもよい。
【0082】
このようにすれば、ユーザは、例えば以下の組み合わせを知ることができる。
・意外に他人の評価が高かった(低かった)組み合わせ
・特定の他人の評価が高かった(低かった)組み合わせ
【0083】
(変形例2:他の提案画面)
ステップS504(
図8)の直後に、服飾品提案部22及び出力処理部23は、以下の処理を行ってもよい。
〈1〉服飾品提案部22は、ステップS504の“第3”において合成した複数のコーディネート画像35のうちから、最も出現回数が多い服飾品を特定する。当該服飾品は“お気に入り服飾品”と呼ばれる。
〈2〉服飾品提案部22は、複数のコーディネート画像35において、お気に入り服飾品と同時に出現する回数が最も多い大カテゴリ又小カテゴリを特定する。当該大カテゴリ又は小カテゴリは、“引き立てカテゴリ”と呼ばれる。複数のコーディネート画像35において、引き立てカテゴリに属する個々の服飾品は、“引き立て服飾品”と呼ばれる。
〈3〉出力処理部23は、お気に入り服飾品及び複数の引き立て服飾品を、服飾品提案装置1の出力装置13又はユーザ端末装置2の出力装置に、提案画面として表示する。
【0084】
図11は、提案画面41(41a、41b)の一例を示す図である。提案画面41bの説明欄51には、ユーザにお気に入り服飾品を案内し、当該お気に入り服飾品と組み合わせるべき引き立て服飾品を、複数の候補のうちから選択することをユーザに促す案内文言が表示されている。提案画面41bの欄52には、お気に入り服飾品が表示されている。欄53a、53b及び53cには、引き立て服飾品が表示されている。
【0085】
提案画面41bを見たユーザは、以下のことを知る。
・自身は、例えば冬季に買物に行く際、欄52のセータを頻繁に着用していたこと。
・自身は、欄52のセータを着用する際、欄53a、53b及び53cの帽子を着回していたこと。
・自身は、欄52のセータを引き続き大切にし、このセータを活かせるような新たな帽子を購入する際、欄53a、53b及び53cの帽子と同系統のものを選択するべきであること。
【0086】
提案画面41cの説明欄54には、前記と同様の案内文言が表示されている。提案画面41cの欄55には、お気に入り服飾品が表示されている。欄56a、56b及び56cには、引き立て服飾品が表示されている。
【0087】
提案画面41cを見たユーザは、以下のことを知る。
・自身は、例えばホテルで開催されるパーティーに行く際、欄55のハイヒールを頻繁に着用していたこと。
・自身は、欄55のハイヒールを着用する際、欄56a、56b及び56cのワンピースを着回していたこと。
・自身は、欄55のハイヒールを引き続き大切にし、このハイヒールを活かせるような新たなワンピースを購入する際、欄56a、56b及び56cのワンピースと同系統のものを選択するべきであること。
【0088】
(実施形態の効果)
本実施形態の服飾品提案装置は、以下の効果を奏する。
(1)服飾品提案装置は、ユーザが所有する服飾品のうちから、ユーザが外出する際の条件に応じた組み合わせを提案することができる。
(2)服飾品提案装置は、提案モデルを使用することができる(モデル選択の自由度)。
(3)服飾品提案装置は、適宜のタイミングで、適宜の教師付き学習データを使用して提案モデルを機械学習することができる。
(4)服飾品提案装置は、画像を使用して服飾品の組み合わせを提案することができる。
(5)服飾品提案装置は、服飾品の組み合わせに対する評価をフィードバックすることができる。
【0089】
なお、本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0090】
また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0091】
1 服飾品提案装置
2 ユーザ端末装置
3 外部情報装置
4 ネットワーク
5 収納庫
6 洗濯機
7 物干し場
8 カメラ(RFIDリーダ)
11 中央制御装置
12 入力装置
13 出力装置
14 主記憶装置
15 補助記憶装置
16 通信装置
21 入力処理部
22 服飾品提案部
23 出力処理部
31 服飾品情報
32 着用履歴情報
33 提案モデル
34 服飾品画像(服飾品の画像)
35 コーディネート画像(服飾品の組み合わせの画像)
41 提案画面
【要約】
【課題】ユーザ所有の服飾品のうちから、外出の目的等に応じた組み合わせを提案する。
【解決手段】本発明の服飾品提案装置は、ユーザが着用する服飾品に関する条件を受け付ける入力処理部と、前記受け付けた条件に基づき、前記ユーザが所有する服飾品の組み合わせのうち前記ユーザが過去に実際に着用した組み合わせを記憶した着用履歴情報から、前記ユーザが着用するべき服飾品の組み合わせの候補を決定する服飾品提案部と、前記決定した候補を出力装置に表示する出力処理部と、を備えることを特徴とする。
【選択図】
図1