(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147140
(43)【公開日】2024-10-16
(54)【発明の名称】試着室システム、試着方法、プログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20241008BHJP
G06T 19/00 20110101ALI20241008BHJP
【FI】
G06Q30/06
G06T19/00 A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023059959
(22)【出願日】2023-04-03
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】松岡 優太
【テーマコード(参考)】
5B050
5L030
5L049
【Fターム(参考)】
5B050AA03
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050CA08
5B050DA01
5B050EA04
5B050EA26
5B050FA02
5B050FA05
5L030BB72
5L049BB72
(57)【要約】
【課題】実店舗においてもVR空間のユーザエクスペリエンスを提供可能な試着室システム等を提供する。
【解決手段】試着室システムは、実店舗の試着室においてVR空間へのログインを行うためにユーザを認証する認証制御部11と、認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させる表示制御部12と、前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定する商品特定部13と、特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる反映部14と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証する認証制御部と、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させる表示制御部と、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定する商品特定部と、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる反映部と、
を備える、試着室システム。
【請求項2】
前記実店舗に設けられた通信端末又はユーザが携帯する通信端末を通じて、前記ユーザから、前記デジタルアイテム又は前記オンライン物理的商品を購入する購入要求を受け付ける購入要求受付部を更に備える、請求項1に記載の試着室システム。
【請求項3】
前記デジタルアイテム又は前記オンライン物理的商品を反映した前記アバターについて、VR空間の他のユーザからフィードバックを受け付けるフィードバック受付部を備える、請求項1に記載の試着室システム。
【請求項4】
カメラで撮影されたユーザの姿勢をリアルタイムに推定する姿勢推定部を更に備え、
前記反映部は、推定された前記ユーザの姿勢を、前記モニター上の前記アバターに反映する、請求項1に記載の試着室システム。
【請求項5】
前記認証制御部は、前記実店舗に設けられたカメラで撮影された前記ユーザの顔の画像に基づき、前記ユーザを認証する、請求項1に記載の試着室システム。
【請求項6】
前記他のユーザは、前記ユーザが予め設定した身近な関係のユーザである、請求項3に記載の試着室システム。
【請求項7】
前記他のユーザは、前記物理的商品及びデジタルアイテムを販売する販売店又はその関連会社が運営するVR空間のクローズドな環境のユーザである、請求項3に記載の試着室システム。
【請求項8】
前記フィードバックは、前記デジタルアイテム又は前記オンライン物理的商品を反映した前記アバターについての、前記他のユーザからのコメントを含む、請求項3に記載の試着室システム。
【請求項9】
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証し、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させ、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定し、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる、試着方法。
【請求項10】
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証し、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させ、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定し、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させることをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は試着室システム、試着方法、プログラムに関する。
【背景技術】
【0002】
メタバースのようにVR(Virtual Reality)空間上でデジタルアイテムや物理的商品の売り買いが可能なプラットフォームが登場している。実店舗を有する有名ブランドが、こうしたプラットフォーム上にVR空間にバーチャルショップを展開している場合もある。
【0003】
特許文献1には、仮想空間にてユーザのアバターに衣服を試着させる技術が開示されている。特許文献2には、ユーザが着用する衣服に関連する周辺情報に基づいて、ユーザの身体的特徴を推定し、アバターを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2021/261188号
【特許文献2】特開2020-119156号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
こうした背景から、実店舗の利点が徐々に失われつつある。実店舗において、VR空間を体験できる場所が求められている。
【0006】
本開示は、このような問題点を解決するためになされたものであり、実店舗においてもVR空間のユーザエクスペリエンスを提供可能な試着室システム等を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様にかかる試着室システムは、
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証する認証制御部と、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させる表示制御部と、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定する商品特定部と、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる反映部と、
を備える。
【0008】
本開示の一態様にかかる試着方法は、
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証し、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させ、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定し、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる。
【0009】
本開示の一態様にかかるプログラムは、
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証し、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させ、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定し、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させることをコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、実店舗においてもVR空間のユーザエクスペリエンスを提供可能な試着室システム等を提供することができる。
【図面の簡単な説明】
【0011】
【
図1】実施の形態1にかかる試着室システムの構成例を示すブロック図である。
【
図2】実施の形態1にかかる試着方法を説明するフローチャートである。
【
図3】いくつかの実施形態にかかる、試着室システムの概要を説明する図である。
【
図4】実施の形態2にかかる試着室システムの管理サーバの構成例を示すブロック図である。
【
図5】実施の形態2にかかる試着室システムの全体構成を説明する図である。
【
図6】実施の形態2にかかる試着室システムにおける顔認証プロセスを説明する図である。
【
図7】実施の形態2にかかる試着室システムにおける商品特定プロセスを説明する図である。
【
図8】実施の形態2にかかる試着室システムにおける姿勢推定プロセスを説明する図である。
【
図9】実施の形態2にかかる試着室システムにおける他のユーザからのフィードバック受付プロセスを説明する図である。
【発明を実施するための形態】
【0012】
実施形態1
以下、図面を参照して本実施の形態について説明する。
図1は、実施の形態1にかかる試着室システムの構成例を示すブロック図である。
試着室システムは、実店舗における試着室を、VR空間への入り口として利用する。実店舗における試着室は、基本的には、顧客が、他人から見られることがない、プライベートな空間である。そのため、顧客の個人情報(例えば、アバター情報や住所や支払い口座などの購入情報)の保護を配慮しつつ、店舗にとっては、物理的商品及びデジタルアイテムの販売の機会を獲得できる。試着室システムは、プロセッサ、メモリ及び通信インタフェース等を有する1つ以上のコンピュータとモニターにより実現され得る。試着室システム10は、
図1に示すように、認証制御部11、表示制御部12、商品特定部13、反映部14を含む。
【0013】
認証制御部11は、実店舗の試着室においてVR空間へのログインを行うためにユーザを認証する。認証方法は、顔認証、生体認証、パスワード認証など様々な方法を利用することができる。例えば、顔認証の場合には、試着室に配置されたカメラにより、ユーザの顔画像(認証情報)を取得し、事前に登録されたユーザの顔画像と一致するか否かにより行われ得る。パスワード認証の場合には、試着室に配置された通信端末により、ユーザがユーザID及びパスワード(認証情報)を入力することで、行われ得る。
【0014】
表示制御部12は、認証が成功した場合に、ユーザのためのVR空間のアバターを試着室内のモニターに表示させる。モニターは、VR空間への入り口であり得る。試着室に設けられたモニターには、ユーザのためのアバターが表示される。ユーザのためのアバターは、ユーザが予め設定したアバターであってもよいし、カメラにより撮影されたユーザの顔画像及び身体画像に基づいて自動生成された、類似するアバターであってもよい。
【0015】
商品特定部13は、試着室においてユーザが身に着けている実店舗で販売されるオフライン物理的商品を検知し特定する。商品特定方法は、様々な方法を利用することができる。試着室内のカメラで撮影された試着したユーザの全身画像から、画像検索システムにより、試着している1つ以上の商品を特定してもよい。あるいは、商品に取り付けられたRFIDタグを無線リーダにより読み取り、商品を特定してもよい。オフライン物理的商品は、実店舗に在庫のある商品であり、ユーザが試着室へ持ち込むことができる。
【0016】
反映部14は、特定されたオフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテムをモニターに表示されたアバターに反映させる。デジタルアイテムとは、VR空間のアイテムであり、主に、アバターが利用するアイテムであり得る。オフライン物理的商品に類似するVR空間のデジタルアイテムは、オフライン物理的商品とはサイズ違い商品、色違い商品、同一型の新商品又は古い商品等のVR空間の仮想的商品であり得る。
【0017】
あるいは、反映部14は、特定されたオフライン物理的商品に対応若しくは類似する、実店舗のオンラインショップで販売されるオンライン物理的商品を、モニターに表示されたアバターに反映させる。特定されたオフライン物理的商品に類似するオンライン物理的商品は、実店舗のオンラインショップで扱う類似商品(例えば、色違い商品や、サイズ違い商品、同一型番の新商品又は古い商品)であり、例えば、実店舗には在庫のない商品であり得る。
【0018】
図2は、実施の形態1にかかる試着方法を説明するフローチャートである。
認証制御部11は、実店舗の試着室においてVR空間へのログインを行うためにユーザを(例えば、カメラと通信端末又はキーボードなどの入力装置を用いて)認証する(ステップS11)。表示制御部12は、認証が成功した場合に、ユーザのためのVR空間のアバターを試着室内のモニターに表示させる(ステップS12)。商品特定部13は、試着室において前記ユーザが身に着けている実店舗で販売されるオフライン物理的商品を検知し特定する(ステップS13)。反映部14は、特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、モニターに表示されたアバターに反映させる(ステップS14)。
【0019】
以上説明した本実施形態にかかる試着室システム及び試着方法によれば、実店舗においてもVR空間のユーザエクスペリエンスを提供することができる。
【0020】
実施形態2
メタバースのようにVR空間上でデジタルアイテムや物理的商品の売り買いが可能なプラットフォームが登場している。実店舗を有する有名ブランドが、VR空間にバーチャルショップを展開している場合もある。バーチャルショップは、通信端末及びネットワーク等を介して、どこからでもアクセスすることができる。一部の有名ブランドは、同一の商品をリアルとデジタルで同時リリースする場合もある。VRプラットフォームの普及に伴い、デジタルアイテムの需要が高まると予想されている。本明細書で使用されるとき、デジタルアイテムとは、VR空間上アバターが使用するアイテムをいう。デジタルアイテムは、仮想的商品とも呼ばれる場合がある。
【0021】
こうした背景から、実店舗の利点が徐々に失われつつある。実店舗は、衣服などの物理的商品のみを販売するが、バーチャルショップであれば、物理的商品だけでなく、例えば、アバター用の衣服などVR空間で利用可能なデジタルアイテムも販売することができる。また、実店舗では、店舗内の在庫に保管できる物理的商品は、少ない数量に限られるが、オンラインショップであれば、広い倉庫を所有でき、より多く数量の物理的商品を扱うことができる。なお、本明細書で使用されるとき、実店舗やその倉庫等に置かれる物理的商品を、オフライン物理的商品又はオフライン商品と称される場合がある。また、オフラインショップが扱うことができる物理的商品は、オンライン物理的商品又はオンライン商品と称される場合がある。さらに、オンライン物理的商品は、オフライン物理的商品と重複する場合もあるが、一般的な販売形態では、オフライン物理的商品よりも取り扱い商品の数量が多い。
【0022】
実店舗も、オンライン物理的商品やデジタルアイテムを、通信端末等を介して販売することもできる。しかし、顧客が実店舗で、VR空間の顧客のアバター情報と関連付ける必要があるが、一部の顧客は、個人情報を公に開示したくない場合もある。例えば、年配の男性が、若い女性のアバターを利用していることを開示したくない場合もある。実店舗がデジタルアイテムを販売する場合、顧客のアバター情報と個人情報を関連付けながら手軽にショッピング可能であることと、こうした個人情報の保護も配慮することが必要とされる。
【0023】
顧客は、実店舗においては、VR空間上でアバターを操作しながら当該デジタルアイテムを購入する場合のような没入感を有しないため、実店舗でデジタルアイテムを購入することを躊躇する場合もある。また、顧客は、実店舗では在庫のないオンライン物理的商品を試着せずに購入することを躊躇する場合もある。
【0024】
そこで、本開示は、個人情報の保護を配慮しつつ、VR空間上でのアバター操作によるショッピングのようなユーザエクスペリエンスを提供可能な試着室システムを提案する。また、本開示は、実店舗でのオフライン試着室と、VR空間上のオンライン試着室とを融合した試着室システムを提案する。
【0025】
以下、本開示を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。
【0026】
図3は、いくつかの実施形態にかかる、試着室システムの概要を説明する図である。
ユーザ2は実店舗を訪問し、気に入った物理的商品3(本例では、帽子、服、スカート)をオフライン試着室(実店舗の試着室)に持っていき、試着する。ユーザ2は試着前又は後、オフライン試着室内のカメラ4で顔認証する。なお、顔認証以外の認証方法(例えば、パスワード認証、指紋認証など)も使用可能である。しかし、顔認証であれば、顧客はより手軽にショッピングを愉しむことができる。カメラが一体した通信端末5を用いて、顔認証を行ってもよい。通信端末5は、プロセッサ、メモリ、通信インタフェース等を有するコンピュータ端末である。
【0027】
ユーザ2である顧客がすでにVRプラットフォーム上に顧客自身のアバターを有する場合、認証に成功すると、オフライン試着室等に設置されたモニター6にユーザ2に関連付けられたアバター7が表示される。VRプラットフォームを初めて利用する一部のユーザは、VRプラットフォーム上にアバターを有しないので、デフォルトのアバター、ユーザの属性(例えば、年齢、性別、体型など)に類似したアバター又はユーザが任意に選択したアバターを表示してもよい。なお、図面で示す本例では、ユーザ2のアバター7は、ユーザ2の体型と同一又は類似である。ユーザの属性に類似したアバターは、カメラ4が撮影したユーザの画像から、自動生成されてもよい。
【0028】
ユーザ2が試着している物理的商品3(本例では、帽子、服、スカート)をカメラ4等で検知させることで、モニター6上に、物理的商品3に対応又は類似するデジタルアイテム8(本例では、帽子、服、スカートのデジタルアイテム)を試着したアバター7が表示される。いくつかの実施形態では、ユーザ2がアバター7にデジタルアイテム8(本例では、帽子、服、スカートのデジタルアイテム)を試着させるように通信端末5を操作することで、モニター6上に、デジタルアイテム8を試着したアバター7が表示されてもよい。
【0029】
また、いくつかの実施形態では、ユーザ2が試着している物理的商品3(本例では、帽子、服、スカート)をカメラ4等で検知させることで、モニター6上に、物理的商品3に対応又は類似するオンライン商品(本例では、帽子、服、スカートのオンライン商品)を試着したアバター7が表示される。類似するオンライン商品とは、例えば、色違い商品又はサイズ違い商品である。これにより、顧客は、実店舗に商品の在庫がないが、他店舗又はオンラインショップ(又は他の店舗)に当該商品の在庫がある場合、アバターに当該商品を試着させることができる。
【0030】
また、カメラ4で撮影されたユーザ2の姿勢をリアルタイムに推定し、ユーザ2のアバター7の姿勢に反映してもよい。これにより、VR空間上でのアバター操作によるショッピングのようなユーザエクスペリエンスを提供することができる。また、実店舗の顧客用のオフライン試着室を、VR空間上でのアバター用のオンライン試着室と融合することで、個人情報の保護を保護しつつ、オフライン物理的商品だけでなく、オンライン物理的商品及びデジタルアイテムの購入機会を提供することができる。
【0031】
ユーザ2は、VR空間上のアバター7の試着した衣服について、VR空間上の他のユーザ9(又はそのアバター)からフィードバック(例えば、「いいね(like)」、評価、感想)を得ることができる。他のユーザ9は、ユーザが予め設定した身近な関係のユーザ、すなわち、ユーザ2の実生活での友人又は家族などであってもよい。また他のユーザは、VR空間上の他のユーザであってもよい。VR空間上の他のユーザ9は、例えば、物理的商品3とデジタルアイテム8との両方を販売する販売店又はその関連会社等が運営するVR空間のクローズドな環境(例えば、販売店又はその関連会社が運営するファッションショーなどの特設ステージ)のVRユーザであり得る。これにより、当該販売店又はその関連会社等は、ユーザの個人情報保護に配慮しつつ、VR空間でのファッションショー等を通じて、VR空間上のデジタルアイテムや物理的商品の宣伝効果を得ることができる。
【0032】
以上説明した本実施形態によれば、実店舗においても、物理的商品だけでなく、デジタルアイテムを販売する機会を得ることができる。オフライン実店舗とオンライン店舗とを融合させることで、VR空間のユーザエクスペリエンスを提供することで、VRプラットフォームへの新規参加ユーザを拡大させることができる。更に、ユーザは、実店舗で、気軽に、セキュアに、アバター用のデジタルアイテム又は実店舗に在庫のないオンライン商品をアバターに試着させ、気に入った場合には、購入することができる。また、ユーザは、実店舗で、試着したアバターへのフィードバックを通じて、VR空間のユーザと交流することができる。実店舗は、VR空間のユーザ同士の交流を通じて、アバター用のデジタルアイテム又は実店舗に在庫のないオンライン商品等の宣伝機会を得ることもできる。
【0033】
図4は、試着室システムの管理サーバの構成例を示すブロック図である。
管理サーバ100は、メモリ110、通信部120、記憶部130及び制御部140を備える。
【0034】
メモリ110は、制御部140の処理内容を一時的に記憶する記憶領域であり、例えばRAM(Random Access Memory)等の揮発性記憶装置である。通信部120は、管理サーバ100の外部との通信を行うインタフェースである。記憶部130は、認証情報131、プログラム132等を記憶する記憶装置である。認証情報131は、例えば、顔画像情報、生体認証情報、パスワード認証情報(ユーザID、パスワード)などを含みうる。プログラム132は、本実施形態に係る試着方法が実装されたコンピュータプログラムである。
【0035】
制御部140は、認証制御部141、表示制御部142、商品特定部143、反映部144、姿勢推定部145、フィードバック受付部146及び購入要求受付部147を備える。制御部140は、管理サーバ100の動作を制御する制御装置であり、例えばCPU等のプロセッサである。制御部140は、記憶部130からプログラム134をメモリ110へ読み込ませ、実行する。これにより、制御部140は、認証制御部141、表示制御部142、商品特定部143、反映部144、姿勢推定部145、フィードバック受付部146及び購入要求受付部147としての機能を実現する。
【0036】
認証制御部141は、実店舗の試着室においてVR空間へのログインを行うためにユーザを認証する。認証方法は、生体認証、顔認証、パスワード認証など様々な方法を用いることができる。いくつかの実施形態では、認証制御部141は、試着室に設置されたカメラ4により撮影されたユーザの顔画像を用いて、顔認証を行うことができる。これにより、ユーザは、より手軽に実店舗の試着室においてVR空間へのログインを行うことができる。
【0037】
表示制御部142は、認証が成功した場合に、ユーザのためのVR空間のアバターを試着室内のモニター6に表示させる。ユーザ(顧客)がすでにVRプラットフォーム上に自身のアバターを有する場合、認証に成功すると、オフライン試着室等に設置されたモニター6にユーザ2に関連付けられたアバター7が表示される。初めて利用する一部のユーザは、VR空間上にアバターを有しないので、デフォルトのアバター、ユーザの属性(例えば、年齢、性別、体型など)に類似したアバター又はユーザが任意に選択したアバターを表示してもよい。ユーザの属性に類似したアバターは、カメラ4が撮影したユーザの画像から、自動生成されてもよい。なお、図面で示す本例では、ユーザ2のアバター7は、ユーザ2の体型と同一又は類似である。
【0038】
商品特定部143は、試着室においてユーザが身に着けている実店舗で販売されるオフライン物理的商品を検知し特定する。商品特定部143は、カメラ4により撮影されたユーザの身体全体の画像から、ユーザが身に着けているオフライン物理的商品を検知し特定することができる。商品特定部143は、ユーザが身に着けているオフライン物理的商品のICタグ、RFタグなどの無線識別手段を、無線リーダ(RFIDリーダ)により読み取ることで、特定することもできる。
【0039】
反映部144は、特定されたオフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテムをモニターに表示されたアバターに反映させることができる。また、反映部144は、特定されたオフライン物理的商品に対応若しくは類似する、実店舗のオンラインショップで販売されるオンライン物理的商品を、モニターに表示されたアバターに反映させることができる。ユーザは、デジタルアイテムやオンライン物理的商品を身に着けたアバター7を見て、デジタルアイテムやオンライン物理的商品を購入するか否かを決定することができる。
【0040】
姿勢推定部145は、試着室のカメラ4で撮影されたユーザの姿勢を推定する。反映部144は、推定されたユーザの姿勢を、モニター上のアバター7に反映する。例えば、反映部144及び姿勢推定部145は、ユーザがくるっと回ると、モニター上のアバター7もくるっと回るようにユーザの姿勢変化をアバター7にも反映することができる。また、いくつかの実施形態では、ユーザの表情の変化を、アバターの表情に反映してもよい。
【0041】
フィードバック受付部146は、デジタルアイテム又はオンライン物理的商品を反映したアバターについて、VR空間の他のユーザからフィードバック(例えば、いいね、コメント、感想)を受け付ける。他のユーザは、ユーザが予め設定した身近な関係のユーザ(例えば、友人や家族など)でありうる。また、他の実施形態では、他のユーザは、物理的商品及びデジタルアイテムを販売する販売店又はその関連会社が運営するVR空間のクローズドな環境のユーザでありうる。
【0042】
購入要求受付部147は、実店舗に設けられた通信端末又はユーザが携帯するユーザ端末等を通じて、ユーザから、デジタルアイテム又はオンライン物理的商品を購入する購入要求を受け付ける。ユーザは、前述したフィードバック受付部146による、デジタルアイテム又はオンライン物理的商品を反映したアバターについての他のユーザからのフィードバックを、モニター7(又は通信端末等)を介して認識することができ、購入するか否かを決定することができる。ユーザがデジタルアイテムを購入する場合は、決算が行われ、その後、VR空間上で、購入したデジタルアイテムを所持し利用することができる。ユーザがオンライン物理的商品を購入する場合、決算が行われ、その後、購入したオンライン物理的商品について、顧客の自宅や実店舗等への配送手配が行われる。
【0043】
図5は、実施の形態2にかかる試着室システムの全体構成を説明する図である。
ユーザ2は実店舗で気に入った商品3(本例では、帽子、服、スカート)を手に取り、オフライン試着室で試着する。試着後、ユーザは、試着室内のカーテン等で仕切られた空間(VR空間上のオンライン試着室への入り口であり得る)に移動する。この空間は、他の顧客や店員からは見られないプライベートな空間である。ここで、ユーザは、カメラ4や通信端末5を用いて、VR空間へのログインを行う。試着室システムは、顔照合システム、商品画像検索システム、及び姿勢推定システムを含み得る。試着室システムは、実店舗で扱うオフライン商品の在庫等の情報を管理する実店舗DB(及び、いくつかの実施形態では、図示していないが、実店舗のオンラインショップで扱うオンライン商品の在庫等の情報を管理するオンラインショップDB)を含む。また、実店舗がバーチャルショップを展開している場合、試着室システムは、VRプラットフォーム上のアバター情報を管理するアバターデータベース(DB)及びデジタルアイテム情報を管理するデジタルアイテムDBを含み得る。なお、前述した、試着室システムの管理サーバ100の構成要素の一部は、顔照合システム、商品画像検索システム、又は姿勢推定システムに実装される場合がある。試着室システムの管理サーバ100、顔照合システム、商品画像検索システム、及び姿勢推定システムはそれぞれ、有線又は無線ネットワークを介して互いに接続された別々のコンピュータにより実現される場合もある。
【0044】
図6は、実施の形態2にかかる試着室システムにおける顔認証プロセスを説明する図である。
ユーザは、試着室等のカメラ4で顔画像を撮影されると、顔照合システムは、ユーザの顔画像を、カメラ4からネットワークを介して取得する。顔照合システムは、取得したユーザの顔画像(認証情報)と、VR空間管理サーバのVRユーザの登録された顔画像と照合する。照合が一致する場合は、VR空間管理サーバは、アバターDBから、当該ユーザに関連付けられたアバターを取得し、試着室のモニター6に、ユーザ2のアバター7を表示する。
【0045】
図7は、試着室システムにおける商品特定プロセスを説明する図である。
ユーザ2は、物理的商品3(本例では、帽子、服、スカート)を身に着けた状態で、カメラ4によりユーザ2の身体全体を撮影されると、画像検索システムは、撮影されたユーザの全身画像を、ネットワークを介して取得し、ユーザの全身画像に基づいて、実店舗DBから、当該物理的商品3の情報を取得する。既知の物体及び画像認識技術を利用することができる。画像検索システムは、特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテムデータを、デジタルアイテムDBから取得する。また、画像検索システムは、特定された前記オフライン物理的商品に対応若しくは類似する、実店舗のオンラインショップで販売されるオンライン物理的商品データを取得する。その後、管理サーバ100の反映部144は、取得したデジタルアイテム8又はオンライン物理的商品を、モニター6のアバター7に試着させるようにアバターに反映する。
【0046】
図8は、試着室システムにおける姿勢推定プロセスを説明する図である。
ユーザ2が試着室で、物理的商品3を身に着けたまま、身体を動かすと、姿勢推定システムは、カメラ4により撮影されたユーザの画像を取得し、ユーザの姿勢を推定する。具体的には、姿勢推定システムは、機械学習を用いた骨格推定技術を用いて、身体画像において認識される人物の関節等の特徴に基づき人物の身体の少なくとも一部の骨格情報を抽出することができる。骨格情報は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン(ボーンリンク)」とから構成される情報である。姿勢推定システムは、例えばOpenPose等の骨格推定技術を用いてもよい。
【0047】
管理サーバ100の反映部144は、姿勢推定システムにより推定されたユーザの姿勢変化情報に基づき、リアルタイムに、アバター7の姿勢に反映することができる。例えば、ユーザが試着室内でくるっと回ると、モニター上のアバター7もくるっと回るようにユーザの姿勢変化をアバター7にも反映することができる。また、ユーザは、通信端末5を利用して、アバター7をVR空間のクローズド環境に移動し、他のユーザからフィードバックを受ける場合にも、ユーザが試着室内で所定のポーズをとると、モニター上のアバター7も同様のポーズをとるようにアバター7にユーザの姿勢変化が反映される。いくつかの実施形態では、ユーザの表情の変化(例えば、笑顔)を、アバターの表情に反映してもよい。
【0048】
図9は、試着室システムにおける他のユーザからのフィードバック受付プロセスを説明する図である。
ユーザは、試着室内で通信端末5を利用して、VR空間のクローズド環境において、アバター7の身につけたデジタルアイテム又はオンライン物理的商品について他のユーザからフィードバックを受けることができる。
図9に示すように、VR空間のプライベートルームでは、ユーザは、ユーザが予め設定した他のユーザ(例えば、友人や家族)と通信端末5(例えば、タブレット端末)を介してコミュニケーションをとることができる。コミュニケーションの方法としては、通信端末を介した音声通話でもよいし、VR空間上のアバター7に対して、ダッシュボード上にコメントやいいね(like)を受け付けてもよい。他のユーザからのコメントの例としては、デジタルアイテムの色違いアイテムを推薦する、別のアイテムを推薦するなどが挙げられる。ユーザは、通信端末5を操作して、アバター7に、別のアイテムを着せ替えたり、アイテムの色やサイズを変更したり、別のアイテムを追加したりといった処理を行うことができる。また、ユーザは、通信端末5を操作して、デジタルアイテム又はオンライン物理的商品を購入することができる。
【0049】
いくつかの実施形態では、物理的商品及びデジタルアイテムを販売する販売店又はその関連会社はVR空間のバーチャルショップも運営しうる。このバーチャルショップでは、
図9に示すように、デジタルアイテム8を身につけたアバター7は、他のユーザである観客が見つける特設ステージ(専用のお立ち台)上に立ち、他のユーザからのフィードバックを受けることができる。また、他のユーザである観客は、デジタルアイテム8を身につけたアバター7を見て、他のユーザの通信端末を用いて、気に入ったデジタルアイテム8を購入することができる。他のユーザの通信端末は、例えば、コンピュータ、スマートフォン、ヘッドマウントディスプレイデバイスなどであり得る。特設ステージには、ユーザ2のアバター7以外の、ユーザ2が利用する店舗の試着室とは異なる、他の店舗の試着室を利用する他のユーザのアバター7a、7bがデジタルアイテムやオンライン商品等を見に付けて、立っていてもよい。これにより、ユーザとアバターとの関係などの個人情報の保護が確保され得る。フィードバックは、デジタルアイテム8を身につけたアバター7についても、コメント(例えば、この色の服を合わせたほうがよい、このアイテムはどう?)を含みうる。なお、他のユーザである観客は、物理的商品及びデジタルアイテムを販売する販売店又はその関連会社が運営するVR空間のクローズドな環境のユーザでありうる。これにより、販売店等は、顧客の個人情報の保護を配慮しつつ、バーチャルショップでの様々なユーザとの交流を介して、販売する物理的商品又はデジタルアイテムの宣伝広告効果を得ることができる。
【0050】
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
【0051】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0052】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0053】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証する認証制御部と、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させる表示制御部と、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定する商品特定部と、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる反映部と、
を備える、試着室システム。
(付記2)
前記実店舗に設けられた通信端末又はユーザが携帯する通信端末を通じて、前記ユーザから、前記デジタルアイテム又は前記オンライン物理的商品を購入する購入要求を受け付ける購入要求受付部を更に備える、付記1に記載の試着室システム。
(付記3)
前記デジタルアイテム又は前記オンライン物理的商品を反映した前記アバターについて、VR空間の他のユーザからフィードバックを受け付けるフィードバック受付部を備える、付記1に記載の試着室システム。
(付記4)
カメラで撮影されたユーザの姿勢をリアルタイムに推定する姿勢推定部を更に備え、
前記反映部は、推定された前記ユーザの姿勢を、前記モニター上の前記アバターに反映する、付記1に記載の試着室システム。
(付記5)
前記認証制御部は、前記実店舗に設けられたカメラで撮影された前記ユーザの顔の画像に基づき、前記ユーザを認証する、付記1に記載の試着室システム。
(付記6)
前記他のユーザは、前記ユーザが予め設定した身近な関係のユーザである、付記3に記載の試着室システム。
(付記7)
前記他のユーザは、前記物理的商品及びデジタルアイテムを販売する販売店又はその関連会社が運営するVR空間のクローズドな環境のユーザである、付記3に記載の試着室システム。
(付記8)
前記フィードバックは、前記デジタルアイテム又は前記オンライン物理的商品を反映した前記アバターについての、前記他のユーザからのコメントを含む、付記3に記載の試着室システム。
(付記9)
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証し、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させ、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定し、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させる、試着方法。
(付記10)
実店舗の試着室においてVR空間へのログインを行うためにユーザを認証し、
認証が成功した場合に、前記ユーザのためのVR空間のアバターを前記試着室内のモニターに表示させ、
前記試着室において前記ユーザが身に着けている前記実店舗で販売されるオフライン物理的商品を検知し特定し、
特定された前記オフライン物理的商品に対応若しくは類似する、VR空間のデジタルアイテム、又は前記実店舗のオンラインショップで販売されるオンライン物理的商品を、前記モニターに表示された前記アバターに反映させることをコンピュータに実行させるプログラム。
【符号の説明】
【0054】
1 試着室システム
2 ユーザ
3 オフライン物理的商品
4 撮影装置
5 通信端末
6 モニター
7 アバター
8 デジタルアイテム
9 他のユーザ
10 試着室システム
11 認証制御部
12 表示制御部
13 商品特定部
14 反映部
100 管理サーバ
110 メモリ
120 通信部
130 記憶部
131 認証情報
132 プログラム
140 制御部
141 認証制御部
142 表示制御部
143 商品特定部
144 反映部
145 姿勢推定部
146 フィードバック受付部
147 購入要求受付部