(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-11-20
(45)【発行日】2023-11-29
(54)【発明の名称】服装提案装置、服装提案方法、服装提案プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231121BHJP
G06Q 30/0601 20230101ALI20231121BHJP
【FI】
G06Q50/10
G06Q30/0601 330
(21)【出願番号】P 2023079672
(22)【出願日】2023-05-12
【審査請求日】2023-05-17
【早期審査対象出願】
(73)【特許権者】
【識別番号】514089630
【氏名又は名称】株式会社りぷらす
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】三村 愛
(72)【発明者】
【氏名】黄 勇太
【審査官】松野 広一
(56)【参考文献】
【文献】特開2020-166454(JP,A)
【文献】特開2020-071811(JP,A)
【文献】特開2022-087689(JP,A)
【文献】特開2020-107084(JP,A)
【文献】特開2019-071027(JP,A)
【文献】特開2021-009517(JP,A)
【文献】韓国公開特許第10-2020-0044198(KR,A)
【文献】国際公開第2022/075404(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
人物の顔画像と、当該顔画像の人物に似合う1以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶部と、
対象のユーザの顔画像の入力を受け付ける受付部と、
前記受付部が受け付けた顔画像と、前記学習済みモデルと、を用いて、前記ユーザに似合う服装の種別情報を特定する特定部と、
前記種別情報を出力する出力部と、を備え
、
前記特定部は、前記ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、
前記出力部は、前記特定部が特定した種別情報と度合いに基づくヒートマップを出力する
服装提案装置。
【請求項2】
前記記憶部は、さらに、衣服と、前記種別情報と、を対応付けた対応情報を記憶し、
前記特定部が特定した種別情報と前記対応情報と、に基づいて、前記ユーザに似合う衣服を提案する提案部と、
前記提案部が提案する衣服の情報を出力する出力部と、を備える
ことを特徴とする請求項1に記載の服装提案装置。
【請求項3】
前記受付部は、更に、前記ユーザの全身像を示す全身画像を複数受け付け、
前記全身画像に基づいて、前記提案部が提案する衣服を前記ユーザがまとった状態を示す着装画像を生成する生成部を備え、
前記出力部は、前記提案部が提案する衣服の情報として、前記着装画像を出力する
ことを特徴とする請求項2に記載の服装提案装置。
【請求項4】
前記生成部は、前記ユーザを美化する美化処理を行った着装画像を生成する
ことを特徴とする請求項3に記載の服装提案装置。
【請求項5】
前記服装提案装置は、更に、
前記ユーザの嗜好を示す嗜好情報を取得する取得部を備え、
前記提案部は、前記種別情報と前記対応情報と、に基づいて特定される衣服のうち、前記ユーザの嗜好にあう衣服を提案する
ことを特徴とする請求項2に記載の服装提案装置。
【請求項6】
前記記憶部は、前記衣服を販売する販売店の情報を記憶し、
前記ユーザから前記提案部により提案された衣服に対する所定の入力を受け付ける入力部と、
前記出力部は、前記所定の入力を受け付けた場合に、前記衣服に対応する前記販売店の情報を出力する
ことを特徴とする請求項2~5のいずれか一項に記載の服装提案装置。
【請求項7】
コンピュータが、
人物の顔画像と、当該顔画像の人物に似合う1以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶ステップと、
対象のユーザの顔画像の入力を受け付ける受付ステップと、
前記受付ステップが受け付けた顔画像と、前記学習済みモデルと、を用いて、前記ユーザに似合う服装の種別情報を特定する特定ステップと、
前記種別情報を出力する出力ステップと、を実行
し、
前記特定ステップは、前記ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、
前記出力ステップは、前記特定ステップが特定した種別情報と度合いに基づくヒートマップを出力する
服装提案方法。
【請求項8】
コンピュータに、
人物の顔画像と、当該顔画像の人物に似合う1以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶機能と、
対象のユーザの顔画像の入力を受け付ける受付機能と、
前記受付機能が受け付けた顔画像と、前記学習済みモデルと、を用いて、前記ユーザに似合う服装の種別情報を特定する特定機能と、
前記種別情報を出力する出力機能と、を実現させ
、
前記特定機能は、前記ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、
前記出力機能は、前記特定機能が特定した種別情報と度合いに基づくヒートマップを出力する
服装提案プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの顔画像に基づいてユーザに似合う服装を提案することができる服装提案装置、服装提案方法及び服装提案プログラムに関する。
【背景技術】
【0002】
従来、ユーザは自身の衣服を自身の好み等に応じて自分に似合うと思う服装を購入して使用する。しかしながら、ユーザが自身で選んだ服装が当該ユーザに必ずしも似合っているとは言えない場合がある。そこで、特許文献1には、服飾商品と顔特徴を示す顔特徴IDとを組み合わせた顔-商品データベースを利用して、入力された顔画像の顔の特徴量のユーザに似合うファッションアドバイス情報を提供するファッションアドバイジングシステムが開示されている。また、特許文献2にも同様に、商品と顔タイプとを対応付けた情報を利用して、カメラにより撮像された顔画像の顔タイプを特定して、当該顔の利用者に似合う衣類を特定する情報処理システムを開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2008-108287号公報
【文献】特開2022-173137号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1や特許文献2では、ユーザの顔特徴と衣服とを一意に対応付けるため、特許文献1や特許文献2によりユーザに似合うとして特定される衣服はいつでも同じものが提示されることになるので、提案する衣服に多様性に欠けるという問題がある。
【0005】
本発明は上記問題に鑑みてなされたものであり、多様性に富んだユーザに似合う服装を提案することができる服装提案装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施態様に係る服装提案装置は、人物の顔画像と、当該顔画像の人物に似合う1以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶部と、対象のユーザの顔画像の入力を受け付ける受付部と、受付部が受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定部と、を備える。
【0007】
また、上記服装提案装置において、記憶部は、さらに、衣服と、種別情報と、を対応付けた対応情報を記憶し、特定部が特定した種別情報と対応情報と、に基づいて、ユーザに似合う衣服を提案する提案部と、提案部が提案する衣服の情報を出力する出力部と、を備えることとしてもよい。
【0008】
また、上記服装提案装置において、受付部は、更に、ユーザの全身像を示す全身画像を複数受け付け、全身画像に基づいて、提案部が提案する衣服をユーザがまとった状態を示す着装画像を生成する生成部を備え、出力部は、提案部が提案する衣服の情報として、着装画像を出力することとしてもよい。
【0009】
また、上記服装提案装置において、生成部は、ユーザを美化する美化処理を行った着装画像を生成することとしてもよい。
【0010】
また、上記服装提案装置において、服装提案装置は、更に、ユーザの嗜好を示す嗜好情報を取得する取得部を備え、提案部は、種別情報と対応情報と、に基づいて特定される衣服のうち、ユーザの嗜好にあう衣服を提案することとしてもよい。
【0011】
また、上記服装提案装置において、記憶部は、衣服を販売する販売店の情報を記憶し、ユーザから提案部により提案された衣服に対する所定の入力を受け付ける入力部と、出力部は、所定の入力を受け付けた場合に、衣服に対応する販売店の情報を出力することとしてもよい。
【0012】
また、上記服装提案装置において、種別情報を出力する出力部を備えることとしてもよい。
【0013】
また、上記服装提案装置において、特定部は、ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、出力部は、特定部が特定した種別情報と度合いに基づくヒートマップを出力することとしてもよい。
【0014】
また、本発明の一実施態様に係る服装提案方法は、コンピュータが、人物の顔画像と、当該顔画像の人物に似合う1以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶ステップと、対象のユーザの顔画像の入力を受け付ける受付ステップと、受付ステップが受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定ステップと、特定ステップが特定した種別情報を出力する出力ステップと、を実行する。
【0015】
また、本発明の一実施態様に係る服装提案プログラムは、コンピュータに、人物の顔画像と、当該顔画像の人物に似合う1以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶機能と、対象のユーザの顔画像の入力を受け付ける受付機能と、受付機能が受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定機能と、特定機能が特定した種別情報を出力する出力機能と、を実現させる。
【発明の効果】
【0016】
本開示に係る服装提案装置は、まず、ユーザに似合う服装の種別を特定することができる。したがって、服装提案装置は、一例として、その種別に基づいて多様性に富んだユーザに似合う服装の種別を提案したり、ユーザに似合う衣服を提案したりすることができる。
【図面の簡単な説明】
【0017】
【
図1】服装提案システムのシステム構成例を示すシステム図である。
【
図2】服装提案装置の構成例を示すブロック図である。
【
図4】(a)入力される顔画像の例である。(b)入力される全身像の例である。
【
図5】ユーザに似合う服装の識別情報を示したヒートマップの例である。
【
図6】ユーザに似合う衣服を着装させた状態の出力例である。
【
図7】ユーザに似合う服装の識別情報を出力する際の処理例を示す第1のフローチャートである。
【
図8】ユーザに似合う衣服を着装させた状態を出力する際の処理例を示す第2のフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明に係る服装提案装置、服装提案方法、服装提案プログラムについて、図面を参照しながら、詳細に説明する。
【0019】
<実施の形態>
以下、図面を参照しながら、本発明に係る服装提案装置について詳細に説明する。
【0020】
図1は、服装提案装置を含む通信システムの構成例を示すシステム図である。服装提案装置100は、ネットワーク40を介して、外部の装置、例えば、ユーザの情報処理端末200と通信可能に接続されている。
【0021】
図1に示すように、ユーザは自身の情報処理端末200を利用して服装提案装置100にアクセスする。ユーザは自身の情報処理端末200から、服装提案装置100に対して、自身の顔画像及び全身画像の撮像写真を送信する。服装提案装置100は、受け付けた顔画像に基づいて、ユーザに似合う服装の種別を特定し、特定した種別に沿う衣服を特定する。そして、服装提案装置100は、情報処理端末200に、特定したユーザに似合う服装の種別を示す種別情報またはユーザに似合う衣服をまとった状態の着装写真、あるいはその両方を送信する。これにより、ユーザは、自身に似合う服装の種別や衣服を認識することができる。
【0022】
なお、服装提案装置100は、特定した服装の種別に沿う衣服を販売する店舗30の情報あるいはホームページ、あるいは、ECサイトのURLを情報処理端末200に送信してよく、これを受けて情報処理端末200は、店舗30のサイト情報にアクセスして衣服を購入してもよい。
【0023】
また、ネットワーク40は、各種の機器との間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。具体的には、ネットワークは、ワイヤレスLAN(wireless LAN:WLAN)や広域ネットワーク(wide area network:WAN)、ISDNs(integrated service digital networks)、無線LANs、LTE(long term evolution)、LTE-Advanced、第4世代(4G)、第5世代(5G)、第6世代(6G)、CDMA(code division multiple access)、WCDMA(登録商標)、イーサネット(登録商標)などである。また、ネットワークは、これらの例に限られず、例えば、公衆交換電話網(Public Switched Telephone Network:PSTN)やブルートゥース(Bluetooth(登録商標))、ブルートゥースローエナジー(Bluetooth Low Energy)、光回線、衛星通信網など、どのようなネットワークであってもよい。また、ネットワークは、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。
【0024】
以下、服装提案装置100について詳細に説明する。
【0025】
<構成>
図2は、服装提案装置100の構成例を示すブロック図である。服装提案装置100は、ユーザの顔画像の入力を受け付けて、顔画像が示す顔形のユーザに似合う服装の種別を特定し、その情報をユーザに提供することができる情報処理装置(コンピュータシステム)である。また、服装提案装置100は、特定した種別に合致する服装の情報を提供する情報処理装置であってもよく、当該服装の情報は衣服だけの写真であってもよいが、本実施形態においては、ユーザが当該衣服を着装した状態の画像を衣服の情報として提供する。服装提案装置100は、複数のユーザの情報処理端末からのアクセスを受けて情報を提供するサーバ装置として実現されてよいが、PCやタブレット端末などによって実現されてもよい。
【0026】
図2に示すように、服装提案装置100は、通信部110と、入力部120と、出力部130と、記憶部140と、制御部150と、を備える。
【0027】
通信部110は、ネットワーク40を介して、ユーザの情報処理端末200と通信する通信インターフェースである。通信部110は、受信した情報を制御部150に伝達する。また、通信部110は、制御部150からの指示にしたがって、指定された情報を指定された宛先に送信する。通信部110は、例えば、ユーザの情報処理端末200から送信されたユーザの顔画像と全身画像とを受信し、制御部150に伝達する。また、通信部110は、例えば、制御部150からの指示にしたがって、ユーザに似合う服装の種別を示す情報やユーザに似合う衣服の情報をユーザの情報処理端末200に送信する。
【0028】
入力部120は、服装提案装置100のユーザ(例えば、オペレータ等)からの入力を受け付けて、受け付けた入力内容を制御部150に伝達する。入力部120は、服装提案装置100のキーボードやマウスなどによって実現されてよく、フラッシュメモリ等の接続ポートにより実現されてもよい。入力部120は、一例として、接続されたフラッシュメモリに記憶されているユーザの顔画像と全身画像と、を制御部150に伝達することとしてよい。
【0029】
出力部130は、制御部150からの指示にしたがって、指定された情報を出力する。出力部130による出力は、例えば、服装提案装置100に接続されているモニタによる文字や画像による出力、服装提案装置100に接続されているスピーカによる音声による出力、通信部110を介して通信による外部の装置への出力などにより実現される。出力部130は、一例として、ユーザに似合う服装の種別を示すヒートマップを通信部110を介して、ユーザの情報処理端末200に送信してもよいし、ユーザに似合う衣服を着装した状態の合成写真をユーザの情報処理端末200に送信してもよい。
【0030】
記憶部140は、服装提案装置100が動作上必要とする各種プログラム及びデータを記憶する。記憶部140は、一例として、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリなどにより実現されてよいが、これらに限定するものではない。記憶部140は、ユーザに似合う服装の種別を特定してヒートマップを生成するためのプログラムや、ユーザに似合う服装を提案するためのプログラムを記憶していてよい。また、記憶部140は、ユーザに似合う服装の種別を特定するために用いる学習済みモデル141を記憶していてよく、各種の服装の種別に対応する実際の衣服を示す衣服情報142を対応情報として記憶していてよい。なお、記憶部140は、服装提案装置100がアクセス可能なネットワーク40上のクラウドストレージにより実現されてもよい。
【0031】
学習済みモデル141は、ユーザの顔画像に基づいて、ユーザに似合うデザインの種別を特定するためであって、本実施の形態においてはユーザに似合う服装の種別を特定するための学習モデルであり、ユーザの正面を撮像した顔画像を入力として、予め定められた服装の種別それぞれに対して似合う度合いを出力するモデルである。学習済みモデル141は、様々なユーザの顔画像それぞれに対して似合う服装の種別を示す情報を対応付けた情報を教師データとして学習した学習モデルであってよい。また、あるいは、学習済みモデル141は、様々なユーザの顔画像それぞれに対して予め定められた服装の種別それぞれが似合う度合いを示す情報を対応付けた情報を教師データとして学習した学習モデルであってもよい。学習済みモデル141は、服装の種別について、ユーザに似合う複数の種別を出力するものであることが望ましく、似合う度合いが高いものから所定数の種別情報を出力するものであってもよいし、種別全てについての似合う度合いを出力するものであってもよい。なお、学習済みモデル141は、所謂、機械学習、深層学習により生成されるモデルであってよく、公知のニューラルネットワーク、サポートベクタマシン、ナイーブベイズなどにより実現されてよいが、これらに限定するものではない。
【0032】
衣服情報142は、衣服の種別を示す種別情報と、衣服を示す情報と、が対応付けられた情報であり、種別情報に基づいて、当該種別情報が示す衣服の種別に対応する衣服を特定可能な情報である。衣服情報142は、衣服を示す情報として、衣服の写真や名称を記憶していてよく、当該衣服を着装したモデル画像を記憶していてもよい。また、各衣服に対して、複数の種別情報が対応付けられてもよい。
【0033】
制御部150は、服装提案装置100の各部を制御する機能を有するプロセッサである。制御部150は、記憶部140に記憶される各種データを利用し、各種プログラムを実行することで、服装提案装置100として果たすべき機能を果たす。
【0034】
制御部150は、受付部151と、特定部152、提案部153、生成部154として機能する。
【0035】
受付部151は、服装の種別あるいは衣服を提案する対象のユーザの顔画像の入力を受け付ける。また、受付部151は、当該ユーザの全身画像の入力を受け付ける。受付部151は、当該顔画像や全身画像を、通信部110や入力部120から受け付ける。受付部151は、受け付けた顔画像を特定部152に伝達する。また、受付部151は、受け付けた全身画像を提案部153及び生成部154に伝達する。受付部151は、一例として、
図4(a)、(b)に示すような顔画像400及び全身画像410を受け付ける。なお、全身画像410は、なるべくユーザの全身が写っていることが望ましいが、
図4(b)に示すように、一部(例えば、足元)が欠けていてもよい。また、全身画像は異なる角度から撮像された複数枚があることが望ましく、ポーズの異なる画像もあるとなおよい。
【0036】
特定部152は、受付部151から伝達された顔画像に基づいて、ユーザに似合う服装の種別を特定する。特定部152は、伝達された顔画像を、学習済みモデル141に入力して、顔画像のユーザに似合う服装の種別を特定する。特定部152は、学習済みモデル141が特定したユーザに似合う服装の種別を示す種別情報を生成する。種別情報は、服装の種別を示す文字列や各種別情報に適合する度合い(数値)を示す情報であってもよいが、本実施形態においては、種別情報を特定可能なヒートマップとして、出力部130に出力させる。即ち、特定部152は、種別情報として、服装の種別を示す情報が分布するマップ上において、どの種別が似合うのかを示すヒートマップを生成し、出力部130に出力させる(通信部110を介して情報処理端末200に送信させる)こととしてよい。
【0037】
ここで、服装の種別を示す種別情報のマップ300について説明する。
図3は、本実施形態に係る服装提案装置100により、ユーザに対して似合うと提案する服装の種別を示すマップであり、本実施形態においては服装の種別として、「キュートアイドル系」、「クリアスポーティ系」、「ソフトカジュアル平穏系」、「カジュアル人気者系」、「フェミニン癒し系」、「スポーティ体育会系」、「ダイナミック大胆系」、「エスニック民族系」、「ワイルド戦士系」、「トラディショナル探偵系」、「クラシックアンティーク系」、「ダンディアニキ系」、「ロマンティックファンタジー系」、「ナチュラルオーガニック系」、「ノーブル皇族系」、「ソフトモダンクール系」、「ゴージャスセレブ系」、「ハードモダン宇宙系」、「エレガントゴージャス華族系」、「ソフトエレガント妖精系」、「エレガントパリジェンヌ系」、「フォーマル学者系」の22種を規定しており、マップ300上において図示のように配置されている。
図3に示すマップ300は、フェミニン-マスキュリンを縦軸に、スタティック-ダイナミックを横軸にしたマップである。
図3のマップ300において上に行くほど女性的な服装の種別、下に行くほど弾性的な服装の種別となる。また、マップ300において右に行くほど落ち着いた印象の服装となり、左に行くほど、活動的、行動的な服装の種別となる。したがって、マップ300においては、左上の方が、客観的に親近感の湧きやすい服装種別となり、右上の方が、洗練間のある服装種別となり、左下の方が、力動感のある服装種別となり、右下の方が、信頼感のある服装種別となり、中央寄りになると自然感のある印象を与える服装種別となる。
【0038】
そして、当該マップ300に対して、特定部152は、ユーザに似合うと特定された服装種別がより強い色合いや目立つ色合いとなるように、一例として、
図5に示すようなヒートマップ500を生成し、出力部130に出力させてよい。
図5に示すヒートマップ500の例では、ハッチング310、320に示されるように、ユーザは、「ソフトモダンクール系」や「エレガントゴージャス華族系」に強い適性がある(ユーザに似合う)ことが示されている。また、当該ユーザは、「ノーブル皇族系」、「ナチュラルオーガニック系」、「ゴージャスセレブ系」、「フォーマル学者系」も、「ソフトモダンクール系」や「エレガントゴージャス華族系」と比べると似合う度合いは落ちるものの、ユーザに似合う服装の種別として特定されていることがわかる。このように、特定部152は、ユーザの顔画像に基づいて、ユーザに似合う服装の種別を特定することができ、その情報を出力することができる。したがって、特定部152は、ユーザに似合う服装の種別として、複数の種別情報を特定することができるので、ユーザに多様性に富んだ服装提案をすることができる。
【0039】
特定部152は、特定した服装種別を提案部153に伝達する。
【0040】
提案部153は、特定部152が特定した服装種別に対応する衣服を、衣服情報142を参照して、特定する。そして、提案部153は、特定した衣服の情報を、出力部130に出力する(通信部110を介してユーザの情報処理端末200に送信する)ように指示する。これにより、ユーザは、自身の似合う衣服について認識することができる。また、提案部153がユーザに提案する衣服の情報は、生成部154により生成された当該衣服をユーザが着装した状態の着装画像であってもよい。
【0041】
生成部154は、提案部153が特定した衣服と、受付部151から受け付けた全身画像とに基づいて、ユーザが、提案部153が特定した衣服を着装した、着装画像を生成し、提案部153に伝達する。生成部154は、一例として、衣服情報142に記憶されている衣服を着装したモデル画像と、受け付けた全身画像とで、ポーズの似ている対を特定し、特定したモデル画像に、ユーザの顔画像を合成しつつ、自然な印象になるように加工を施して、着装画像を生成する。
【0042】
また、生成部154は、当該加工として、ユーザを美化する美化処理を行うものであってよく、ユーザの見栄えが良くなるように各種の加工を施してもよい。ここでいう加工とは、ユーザに似合うメイクを施したり、ユーザの肌のホワイトニングであったり、しわ取りであったり、多少のスリム化、スマート化であったり、ユーザに似合う小物の追加であったり、目を二重にしたり、まつげを長くしたりなどの加工であってよい。これらの画像の加工については、既存の各種アルゴリズム(例えば、写真アプリ)を利用することができる。
図6は、
図4(a)、(b)に示すユーザの画像に基づいて、提案部153により特定された衣服をユーザに着装させた状態の着装画像の一例であって、美化処理を施した例を示している。
【0043】
生成部154は、生成したユーザが似合う衣服を着装した状態の着装画像を、提案部153に伝達する。
【0044】
以上が、服装提案装置100の構成例である。なお、ユーザの情報処理端末200は一般的なスマートフォンや携帯電話、ノートPC、タブレット端末と同様であるので、その詳細な説明は省略する。
【0045】
<動作>
ここから、服装提案装置100の動作例を説明する。
図7は、服装提案装置100によるユーザに対してユーザが似合う服装の種別情報の出力を行う動作例を示す第1のフローチャートである。
【0046】
図7に示すように、服装提案装置100の制御部150の受付部151は、ユーザの顔画像の入力を受け付ける(ステップS701)。受付部151は、受け付けた顔画像を特定部152に伝達する。
【0047】
特定部152は、受付部151からユーザの顔画像を伝達されると、当該顔画像に基づいて、ユーザに似合う服装の種別を特定する。即ち、特定部152は、伝達された顔画像を学習済みモデル141に入力する。そして、特定部152は、学習済みモデル141から出力された服装の種別情報に対して似合う度合いを示す情報に基づいて、ユーザに似合う服装の種別を特定する。即ち、服装の種別情報に対して似合う度合いが高い種別を特定する(ステップS702)。
【0048】
特定部152は、特定した種別に基づいて、ユーザに似合う服装の種別を示すヒートマップ(一例として、
図5参照)を作成する(ステップS703)。
【0049】
そして、提案部153は、作成したヒートマップを、ユーザに似合う服装の種別を示す種別情報として、出力部130に出力させる。出力部130は、指定された種別情報(ヒートマップ)を、通信部110を介して、情報処理端末200に送信し(ステップS704)、処理を終了する。
【0050】
図7に示す処理により、服装提案装置100は、ユーザに対して、ユーザに似合う服装の種別を提示することができる。したがって、ユーザは自身に似合う服装の種別を認識することができ、例えば、今後の衣服の購入の参考にすることができる。なお、特定部152は、ヒートマップではなく、特定した服装の種別を示す文字列を出力することとしてもよい。
【0051】
図8は、服装提案装置100によるユーザに対してユーザが似合う衣服の情報を出力する動作例を示す第2のフローチャートである。なお、
図8において、ステップS701、S702の処理は、
図7に示した同じ符号の処理と同様である。
【0052】
図8に示すように、服装提案装置100の制御部150の受付部151は、ユーザの顔画像の入力を受け付ける(ステップS701)。受付部151は、受け付けた顔画像を特定部152に伝達する。
【0053】
特定部152は、受付部151からユーザの顔画像を伝達されると、当該顔画像に基づいて、ユーザに似合う服装の種別を特定する。即ち、特定部152は、伝達された顔画像を学習済みモデル141に入力する。そして、特定部152は、学習済みモデル141から出力された服装の種別情報に対して似合う度合いを示す情報に基づいて、ユーザに似合う服装の種別を特定する。即ち、服装の種別情報に対して似合う度合いが高い種別を特定する(ステップS702)。特定部152は、特定した服装の種別情報を提案部153に伝達する。
【0054】
提案部153は、特定部152から伝達された種別情報に基づいて、ユーザに似合う衣服を特定する(ステップS803)。即ち、提案部153は、伝達された種別情報が対応付けられている衣服を、衣服情報142を参照して特定する。提案部153は、衣服情報142から複数の衣服を特定してもよく、最も似合うと想定される1つだけを特定してもよい。また、複数を提案する場合に、似合う度合いが高いものから順に所定数を特定するようにしてもよい。ここでいう似合う度合いは、一例として、ユーザに似合う服装の種別情報が複数あって、衣服に対して複数の種別情報が対応付けられている場合に、そのマッチング数が多いものが似合う度合いが高いとしてもよい。提案部153は、特定した衣服の情報を生成部154に伝達する。
【0055】
受付部151は、ユーザの全身画像の入力を受け付ける(ステップS804)。受付部151は受け付けた全身画像を生成部154に伝達する。
【0056】
生成部154は、伝達された全身画像と、提案部153が特定した衣服の情報と、に基づいて、ユーザが当該衣服を着装した状態を示す着装画像を生成する(ステップS805)。このとき、生成部154は、ユーザを美化する美化処理を施した着装画像を生成してもよい。生成部154は、生成した着装画像を提案部153に伝達する。
【0057】
そして、提案部153は、生成部154から伝達された着装画像を出力するよう、出力部130に指示する。そして、出力部130は、伝達された着装画像を、通信部110を介して、ユーザの情報処理端末200に送信し(ステップS806)、処理を終了する。
【0058】
これにより、服装提案装置100は、ユーザに似合う衣服を着たときにどのような雰囲気になるのかをユーザに示すことができる。したがって、ユーザに当該衣服の購買意欲を向上させることができる。なお、
図8において、顔画像の入力と全身画像の入力を受け付けるタイミング(ステップS701とステップS804)を別にしているが、これは、同時であってもよい。
【0059】
<まとめ>
本実施形態に係る服装提案装置100によれば、ユーザに似合う衣服の種別情報を出力することができる。衣服そのものではなく衣服の種別を示す情報を提供することで、ユーザに似合う服装に多様性を持たせることができる。また、ユーザに似合う衣服そのものを提案することもでき、ユーザに当該衣服を着装した状態の着装画像を提供することで、ユーザの購買意欲を向上させることができる。また、当該着装画像に対して美化処理を施すことで、ユーザの購買意欲を更に向上させることもできる。
【0060】
<補足>
上記実施の形態に係る服装提案装置100は、上記実施の形態に示した態様に限定するものではない。以下、各種変形例について説明する。
【0061】
(1) 上記実施の形態においては、服装提案装置100は、ユーザの顔に基づいて、ユーザに似合う服装の種別を特定し、その種別に応じた衣服を提案する例を説明した。しかしながら、当然にユーザにも好みがあり、提案する衣服がユーザの好みにあうかどうかは別である。そこで、服装提案装置100は、さらに、ユーザに似合い、かつ、ユーザの嗜好にも合致し得る衣服を提案するように構成されてもよい。
【0062】
そのために服装提案装置100の制御部150は、ユーザの嗜好を示す嗜好情報を取得する取得部を備えてもよい。取得部は、一例として、入力部120を介して、服装提案装置100のオペレータ等により対象のユーザの嗜好を示す情報が入力されたことにより取得してもよいし、ユーザの情報処理端末から通信部110を介してユーザ自身により入力された嗜好情報を通信により取得してもよいし、ユーザの許可がある場合にユーザのECサイト等における購買履歴を参照して、ユーザの嗜好情報を特定してもよいし、ユーザのブログ等がある場合には当該ブログに対する書き込み等を形態素解析等を利用して解析することでユーザの嗜好を解析して取得するようにしてもよい。
【0063】
嗜好情報は、基本的に、ユーザの衣服に対する嗜好を示す情報であってよく、一例として、色の好みであったり、衣服の素材に対する好みであったり、衣服の形状に対する好みであったり、衣服の種別(例えば、スカートを好むのか、パンツを好むのかなど)の好みであったりしてよい。また、嗜好情報は、好みの衣服全体に対する雰囲気を示す(表現する)情報(例えば、フォーマル、カジュアル、フェミニン、キュート、スタイリッシュ、ダンディ等)であってもよい。
【0064】
衣服情報142に登録される各衣服は、それぞれメタデータとして、当該衣服の特徴を示す情報が対応付けられる。当該メタデータは、衣服の色であったり、種別であったり、形状特徴を示す情報であったり、雰囲気を示す情報であったりしてよい。
【0065】
そして、提案部153は、ユーザの顔に基づいて特定された衣服の中から、更に、ユーザの嗜好情報に合致する衣服、即ち、ユーザの嗜好情報のうち少なくとも1つに対応するメタデータを有する衣服を提案することとしてよい。このとき、提案部153は、ユーザの嗜好情報に合致するメタデータを多く有する衣服の優先度を高くし、その衣服をまとったユーザの合成画像を優先的に表示するように出力部130に指示してもよい。また、提案部153は、ユーザの好みに合わずとも、ユーザに似合う度合いが高いと判定した衣服については、例えば、「ユーザ様の好みからは外れるかもしれませんが、こちらのような服装も似合われるかと思います。」などと説明して、その衣服を提示してもよい。
【0066】
このように、服装提案装置100は、ユーザに似合うだけでなく、更に、ユーザに似合った上で、ユーザの好みにも合致しそうな服装を提案することができるので、ユーザの衣服の購買意欲を更に高めることができる。
【0067】
(2) 上記実施の形態においては、服装提案装置100は、ユーザに服装の種別を示す種別情報の出力、ユーザに似合う衣服をまとった状態の画像の出力を行う例を示した。しかし、服装提案装置100は、更に、ユーザにその衣服を購入することができる店舗の紹介であったり、ECサイトの情報を提供したりしてもよい。
【0068】
これを実現するために、衣服情報142には、各衣服について、当該衣服を販売している店舗(店舗名や連絡先、所在など)の情報や、当該衣服を販売しているECサイトのURLの情報なども含まれてよい。
【0069】
そして、服装提案装置100は、例えば、ユーザに似合う衣服をまとった状態の画像に対して、ユーザから所定の入力(例えば、衣服に対するタッチ入力など)があった場合に、ユーザにより入力される住所情報から近いその衣服を販売している店舗の場所等の情報を出力してもよい。また、服装提案装置100は、店舗の場所などの情報に代えて、衣服を販売しているECサイトのURLを表示したり、あるいは、直接URLのECサイトにアクセスしたりするように、構成してもよい。
【0070】
こうすることで、ユーザが服装提案装置100に提示された衣服を気に入った場合に、ユーザにすぐにその衣服を購入することができる環境を提示することができ、ユーザに対して利便性の高い服装提案装置100を提供することができる。
【0071】
(3) 上記実施の形態においては、服装提案装置100は、ユーザに似合う衣服を提案する例を示した。しかし、服装提案装置100は、当該衣服以外のものを提案する提案装置として構成されてもよい。上記実施の形態においては、種別情報をユーザに似合う服装の種別を規定するものとして説明したが、種別情報は、ユーザに似合うデザインの種別を規定する情報であるとも言うことができ、ユーザに関連するデザインを提案することに流量することができる。上記実施の形態に示した種別情報は、ユーザに似合う雰囲気を規定しているともいえ、ユーザに関連するものを提案することに流用することができる。
【0072】
一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合う色を提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、色を示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応する色を提案部が特定する。そして、提案部は特定した色を示す情報をユーザに似合う色として出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う色を提案する装置となり、ユーザは、提案された色に基づいて、服を買ったり、車を買ったりなど何かを購入する際の参考にすることができる。
【0073】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うメイクを提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、メイクを示す情報とを対応付けた対応情報を用いて、特定部152により特定される種別情報に対応するメイクを提案部が特定する。そして、提案部は特定したメイクを示す情報をユーザに似合う色として出力部130に出力させることとしてよい。
したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うメイクを提案する装置となり、ユーザは、当該メイクが施された顔画像を見て、今後のメイクの参考にすることができる。また、この時、提案装置は、ユーザに似合うメイクをすることができるサロンであって、ユーザが通いやすいサロンを提案したりしてもよい。
【0074】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うヘアスタイルを提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、ヘアスタイルを示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応するヘアスタイルを提案部が特定する。そして、提案部は特定したヘアスタイルを示す情報をユーザに似合うヘアスタイルとして出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うヘアスタイルを提案する装置となり、当該ヘアスタイルになっているユーザの画像を見てユーザは今後のヘアスタイルの参考にすることができる。また、この時、提案装置は、ユーザに似合うヘアスタイルをすることができるヘアサロンであって、ユーザが通いやすいヘアサロンを提案したりしてもよい。
【0075】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うネイルを提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、ネイルを示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応するネイルを提案部が特定する。そして、提案部は特定したネイルを示す情報をユーザに似合うネイルとして出力部130に出力させることとしてよい。学習済みモデル141は、ユーザの顔画像と、当該ユーザに似合うネイルを学習したモデルであってもよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うネイルを提案する装置となり、今後のネイルの参考にすることができる。また、この時、提案装置は、ユーザに似合うネイルを施すことができるネイルサロンであって、ユーザが通いやすいネイルサロンを提案したりしてもよい。
【0076】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合う宝飾品(指輪やイヤリング、ピアス、ネックレス、カフス等)や小物(時計、タイ、ヘアバンド、バンダナ、靴、帽子など)を提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、宝飾品(あるいは小物)を示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応する宝飾品(あるいは小物)を提案部が特定する。そして、提案部は特定した宝飾品を示す情報をユーザに似合う宝飾品(あるいは小物)として出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う宝飾品や小物を提案する装置となり、今後の宝飾品や小物の購入の参考にすることができる。
【0077】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うインテリアを提案する装置であってもよい。インテリアは、一例として、少なくとも荷電や家具、家屋等の内装品(例えば、壁紙や使用する木材やタイル等)のいずれかが含まれてよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、インテリアを示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応するインテリアを提案部が特定する。そして、提案部は特定したインテリアを示す情報をユーザに似合うインテリアとして出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うインテリアを提案する装置となり、今後のインテリアの購入の参考にすることができる。
【0078】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合う不動産を提案する装置であってもよい。不動産は、一例として、家やアパート、マンション、店舗などであってよく、ビルや何らかの施設であってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、不動産を示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応する不動産を提案部が特定する。そして、提案部は特定した不動産を示す情報をユーザに似合う不動産として出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う不動産を提案する装置となり、今後の不動産の購入の参考にすることができる。
【0079】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うサービスを提案する装置であってもよい。サービスとしては一例として、旅行会社の旅行プランであってもよい。具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、サービス内容を示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応するサービス内容を提案部が特定する。そして、提案部は特定したサービス内容を示す情報をユーザに似合うサービスとして出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うサービス内容を提案する装置となり、今後のサービス内容の購入の参考にすることができる。
【0080】
また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに合う人物を提案する装置であってもよい。上述したように、種別情報は、ユーザに合う雰囲気を示すものであってよく、人物同士の場合、相性の良い雰囲気を有する人物も提案し得る。そこで、具体的には、提案装置は、対応情報として、衣服情報142に代えて、種別情報と、人物を示す情報とを対応付けた情報を用いて、特定部152により特定される種別情報に対応する人物を提案部が特定する。そして、提案部は特定した人物を示す情報をユーザに似合う人物として出力部130に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う人物を提案する装置となる。なお、ここでいう人物とは、例えば、学習塾の教師であったり、習い事の指導者であったり、メイクアップアーティストであったり、ネイリストであったり、何らかのデザイナーであったりしてもよいし、結婚相手であったりしてもよい。
【0081】
このように対応情報として、種別情報が示す各種別に対応する提案対象を対応付けた対応情報を変更するだけで、提案装置は、ユーザに似合う様々な提案をすることができる。また、対応情報を変更するだけなので、システムの構築の労力を抑制することができる。
【0082】
(4)上記実施の形態においては、対応情報としての衣服情報142には、実際の衣服が登録され、その中から、ユーザに似合う衣服が服装提案装置100により提案する例を説明したが、服装提案装置100が提案する衣服は提案部が生成した仮想のものであってもよい。具体的には、種別情報が示す各種別ごとに、似合う衣服を対応付けた情報を教師データとして、学習した学習モデルを用意する。そして、当該学習モデルに対して、特定部により特定される種別情報を入力することで、ユーザに似合う衣服を自動生成し、自動生成した衣服をユーザが着装した着装画像を生成して、出力してもよい。これにより、例えば、ユーザは、オーダーメイドの衣服のデザインを取得することができ、例えば、オーダーメイドによる衣服の製作を請け負う店舗等に衣服の製作を依頼することができてもよく、提案装置がその案内をしてもよい。
【0083】
なお、ここで、学習モデルは、ユーザに似合う服装を示す種別情報のヒートマップに対して、似合う衣服を対応付けた教師データを学習した学習モデルであってもよく、この場合に入力するのはヒートマップを入力することになる。このように提案装置は、自身で創作した衣服を提案することとしてもよい。
【0084】
(5) 上記実施の形態においては、受付部151は、ユーザの顔画像と、全身画像と、を受け付ける例を示している。しかし、これは、ユーザの顔が正面から写っている画像であれば、全身画像のみを受け付けることとしてもよい。この場合、特定部152は、全身画像からユーザの顔画像部分をトリミングして、これを顔画像として、学習済みモデル141に入力して、ユーザに似合う服装の種別を特定するようにしてもよい。
【0085】
(6) 上記実施の形態に示した衣服情報142は、適宜更新されてよく、例えば、新作が発表されるごとに更新されてよく、その場合に、新作の衣服の写真情報と、当該衣服の種別の情報とが衣服情報142に登録されてよい。当該登録は、服装提案装置100のオペレータによってされてもよいし、衣服を販売する店舗の店員やデザイナー等が服装提案装置100にアクセスして登録するように構成されてもよい。こうすることで、服装提案装置100は、常に最新の衣服を含めた提案をすることができるので、服装提案装置100を利用するユーザを飽きさせることがない服装提案を実現することができる。
【0086】
また、衣服情報142は、例えば、衣服のターゲットに応じて、複数に分割されてもよい。例えば、季節ごと(春用、春夏用、夏用、秋用、冬用、オールシーズンなど)に分けられてもよいし、対象年齢(チャイルド、アダルト、シニアなど)に分けられてもよい。換言すれば、各種の衣服情報142が設けられて記憶部140に記憶されてよい。このように構成することで、服装提案装置100は、提案する服装に季節感を出したり、ユーザにより適切な服装の提案をしたりすることができる。当該構成を実現するには、服装提案装置100は、ユーザからは顔画像や全身画像だけでなく、ユーザの属性情報(年齢、性別など)や、入力があった日の日時情報に基づいて、いずれの衣服情報を使用するかを特定するように構成されてよい。また、いずれの衣服情報を使用するかは、ユーザにより選択されてもよい。
【0087】
(7) 服装提案装置100は、服装提案装置100自身で特定したユーザに似合う服装の種別と、その際に入力されたユーザの顔画像との対を、新たな教師データとして、再学習を行って、学習済みモデル141を更新する再学習部を備えてもよい。
【0088】
(8) 上記実施の形態においては、ユーザが情報処理端末200から服装提案装置100にアクセスして、服装提案装置100からユーザ自身に似合う服装の種別や衣服を提案する例を示したが、服装提案装置100が実現した機能は、情報処理端末200によって実行される服装提案アプリ(アプリケーション)等によって実現されてもよい。当該服装提案アプリは、情報処理端末200単体で動作するスタンドアローン型で実現されてもよいし、服装提案アプリを介して服装提案装置100のようなサーバ装置と通信を行って連動するネットワーク型で実現されてもよい。
【0089】
(9) 服装提案装置100の各機能部をソフトウェアにより実現する場合、服装提案装置100は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラム及び各種情報がコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。すなわち、本発明に係る服装提案装置100は、CPUがRAM上にロードされたプログラムを実行することにより、上述した各構成部として機能する。上記記録媒体としては、「一時的でない有形の媒体」、例えば、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれた情報信号の形態でも実現され得る。
【0090】
なお、上記プログラムは、例えば、ActionScript、JavaScript(登録商標)、Python、Rubyなどのスクリプト言語、C言語、C++、C#、Objective-C、Swift、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装されてよい。さらに、特許請求の範囲における「部(section、module、unit)」との記載は、「手段」や「回路」に読み替えてもよい。例えば、通信部は、通信手段や通信回路に読み替えることができる。
【0091】
また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、服装提案装置100に提供されてもよい。
【0092】
(10) 上記実施の形態に示した各処理は、上記実施の形態に示した効果と同等の効果を実現できれば、適宜、その処理順序や処理タイミングを変更可能である。
【0093】
(11) 上記実施の形態に示した構成及び上記変形例に示した構成は、ユーザに似合うものを提案するという目的を実現するにあたり、適宜組み合わせることとしてよい。
【符号の説明】
【0094】
100 服装提案装置
110 通信部
120 入力部
130 出力部
140 記憶部
141 学習済みモデル
142 衣服情報
150 制御部
151 受付部
152 特定部
153 提案部
154 生成部
【要約】
【課題】ユーザに似合う服装を提案することができる服装提案装置を提供することを目的とする。
【解決手段】 服装提案装置は、人物の顔画像と、当該顔画像の人物に似合う1以上の服装の種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶部と、対象のユーザの顔画像の入力を受け付ける受付部と、受付部が受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定部と、特定部が特定した種別情報を出力する出力部と、を備える。
【選択図】
図2