IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ファミリーイナダ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-02
(45)【発行日】2024-08-13
(54)【発明の名称】ヘルスケアシステム及び処理装置
(51)【国際特許分類】
   G16H 20/00 20180101AFI20240805BHJP
   G16H 20/30 20180101ALI20240805BHJP
   G16H 20/70 20180101ALI20240805BHJP
【FI】
G16H20/00
G16H20/30
G16H20/70
【請求項の数】 19
(21)【出願番号】P 2020024005
(22)【出願日】2020-02-17
(65)【公開番号】P2021093105
(43)【公開日】2021-06-17
【審査請求日】2023-01-20
(31)【優先権主張番号】P 2019222072
(32)【優先日】2019-12-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000112406
【氏名又は名称】ファミリーイナダ株式会社
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】稲田 二千武
【審査官】田川 泰宏
(56)【参考文献】
【文献】特表2017-501518(JP,A)
【文献】特開2016-038810(JP,A)
【文献】特開2002-074038(JP,A)
【文献】特開2016-001360(JP,A)
【文献】特表2015-509772(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
G06Q 50/22
(57)【特許請求の範囲】
【請求項1】
ディスプレイと
カメラと、
コントローラと、を備え、
前記ディスプレイは、第1の向きと第2の向きとに、向きが可変であり、
前記コントローラは、いずれも前記カメラを用いる、複数の動作モードを実行可能であって、
前記複数の動作モードは、
前記カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードと、
指導画像を表示するとともに、前記カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードと、
表示データに基づく画像を表示又は電波を受信して再生することを指示する第3の動作モードと、を含み、
前記動作モードごとに実行に適した前記ディスプレイの向きが規定されており、
前記第1の動作モード及び前記第2の動作モードは、前記第1の向きで動作し、
前記第3モードは、少なくとも前記第2の向きで動作することを含むヘルスケアシステム。
【請求項2】
前記第1の動作モードでは、前記撮影画像は、少なくとも一部が、服飾品を装着したモデル画像の少なくとも一部とともに表示されるために用いられ、
前記第2の動作モードでは、前記撮影画像は、前記ユーザの動作を検出するために用いられる請求項1に記載のヘルスケアシステム。
【請求項3】
前記第1の動作モードは、前記撮影画像の予め記憶している範囲である第1の領域と、前記モデル画像の予め記憶している範囲である第2の領域とを、予め設定された配置規則に応じて同一画面内に配置することを含む請求項2に記載のヘルスケアシステム。
【請求項4】
異なる服飾品を装着した、複数のモデル画像を記憶する第1のメモリと、
前記異なる服飾品の中から服飾品の選択結果の入力を受け付ける入力装置と、をさらに備え、
前記第1の動作モードは、前記選択結果において選択された前記服飾品を装着したモデル画像を前記第1のメモリから抽出して前記試着画像を得ることを含む請求項3に記載のヘルスケアシステム。
【請求項5】
前記第1のメモリは、同一の服飾品について、体形の異なる複数のモデル画像を記憶し、
前記第1の動作モードは、前記体形の異なる前記複数のモデル画像の中から前記ユーザの体型に応じたモデル画像を抽出して前記試着画像を得ることを含む請求項4に記載のヘルスケアシステム。
【請求項6】
前記第1のメモリは、同一の服飾品について、モデルを正面から撮影した第1のモデル画像と前記モデルを正面以外から撮影した第2のモデル画像とを記憶し、
前記第1の動作モードは、前記第1のモデル画像から前記試着画像を得るとともに、前記試着画像と前記第2のモデル画像とを対応付けて表示することを含む請求項4又は5に記載のヘルスケアシステム。
【請求項7】
前記第1のメモリに記憶されている前記モデル画像には、前記カメラからモデルまでの距離に応じた異なる属性が設定されており、
前記第1の動作モードは、前記ユーザのサイズに応じた属性と前記モデル画像に設定されている前記属性との関係に基づいて前記第1の領域及び前記第2の領域の少なく一方のサイズを変更し、変更後の2つの領域を前記属性の関係に応じた配置規則に基づいて前記同一画面内に配置することを含む請求項4~6のいずれか一項に記載のヘルスケアシステム。
【請求項8】
前記撮影画像と前記モデル画像との少なくとも一方は動画である請求項2~7のいずれか一項に記載のヘルスケアシステム。
【請求項9】
前記第1の動作モードは、複数の服飾品の組み合わせのパターンに対する前記ユーザのユーザ特性のマッチング度合を、演算モデルを用いてパターンごとに算出し、算出された前記マッチング度合に基づいて1以上のパターンを提示することを含み、
前記服飾品を装着したモデル画像は、前記1以上のパターンを装着したモデル画像である請求項2~8のいずれか一項に記載のヘルスケアシステム。
【請求項10】
前記演算モデルは、前記パターンについて前記ユーザ特性ごとの前記マッチング度合を規定する情報を含む請求項9に記載のヘルスケアシステム。
【請求項11】
前記マッチング度合を算出することは、複数パターンのうちの前記ユーザが選択したパターンについての前記マッチング度合を算出することを含む請求項9又は10に記載のヘルスケアシステム。
【請求項12】
前記マッチング度合を算出することは、複数パターンそれぞれについての前記マッチング度合を算出することを含み、
前記複数パターンそれぞれの前記マッチング度合に基づいて、前記複数パターンの中から前記ユーザに提案するパターンを少なくとも1つ選択する請求項9又は10に記載のヘルスケアシステム。
【請求項13】
前記第1の動作モードは、前記試着画像に含まれる1以上の服飾品について購入の指示を受け付けると、指示された服飾品の購入処理を実行する装置に、前記指示された服飾品の購入処理に必要な情報を送信することを含む請求項1~12のいずれか一項に記載のヘルスケアシステム。
【請求項14】
前記指導画像は指導者による前記動作の見本画像を含み、
前記第2の動作モードは、
前記指導画像の表示中の前記ユーザの動作を前記カメラによって撮影することと、
前記見本画像を表示することと、を含む請求項1~13のいずれか一項に記載のヘルスケアシステム。
【請求項15】
前記第2の動作モードは、前記カメラによって撮影された前記ユーザの撮影画像を表示することをさらに含む請求項14に記載のヘルスケアシステム。
【請求項16】
前記アドバイスを入力する入力装置をさらに備える請求項1~15のいずれか一項に記載のヘルスケアシステム。
【請求項17】
構造物に固定して用いられるディスプレイと、
前記ディスプレイを用いる動作モードを実行可能なコントローラと、を備え、
前記ディスプレイは、前記構造物への固定具に対して第1の向きと第2の向きとに切替可能であり、
前記コントローラは、前記動作モード実行時の前記ディスプレイの向きを検出し、検出結果に応じて前記動作モードの処理を異ならせ
前記動作モードは、前記動作モードごとに実行に適した前記ディスプレイの向きが規定され、前記ディスプレイの異なる向きそれぞれに応じた複数の処理を含み、
前記動作モードの処理を異ならせることは、
前記コントローラが、検出された前記ディスプレイの向きに対応した前記処理を実行することと、
前記コントローラが、検出された前記ディスプレイの向きが実行する前記動作モードに適した向きでない場合に、前記適した向きである場合の前記動作モードの実行と異ならせることを含む処理装置。
【請求項18】
前記適した向きである場合の前記動作モードの実行と異ならせることは、前記ディスプレイの向きが前記動作モードに適した向きであることが検出されるまで、前記動作モードの開始を待機することを含む請求項17に記載の処理装置。
【請求項19】
前記ディスプレイの向きを切り替える機構をさらに備え、
前記適した向きである場合の前記動作モードの実行と異ならせることは、前記動作モードを実行するとともに、前記ディスプレイの向きを前記動作モードに適した向きとするように前記向きを切り替える機構を制御することを含む請求項17又は18に記載の処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ヘルスケアシステム及び処理装置に関する。
【背景技術】
【0002】
例えば、特表2015-509772号公報(以下、特許文献1)には、実際のフィットネストレーナーによって実行されるフィットネス運動を記録・電子化し、バーチャルフィットネストレーナーによるフィットネス運動として表示ユニットで再生可能とするフィットネス装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2015-509772号公報
【発明の概要】
【0004】
このようなフィットネス装置は、センサ機器などの一つの機能はフィットネス運動を記録するなどの単一の動作モードに用いられるものである。しかしながら、ヘルスケアにはさまざまなアプローチがあり、単一の動作モードではカバーしきれない場合がある。その点、複数の動作モードを搭載すると、複数の機能が必要となってしまう。そこで、搭載が必要な機能の増加を抑えつつ複数の動作モードを実行可能なヘルスケアシステム及び処理装置を提供する。
【0005】
ある実施の形態に従うと、ヘルスケアシステムは、カメラと、コントローラと、を備え、コントローラは、いずれもカメラを用いる、複数の動作モードを実行可能であって、複数の動作モードは、カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードと、指導画像を表示するとともに、カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードと、を含む。
【0006】
他の実施の形態に従うと、処理装置は、構造物に固定して用いられるディスプレイと、ディスプレイを用いる動作モードを実行可能なコントローラと、を備え、ディスプレイは、構造物への固定具に対して異なる向きに切替可能であり、コントローラは、動作モード実行時のディスプレイの向きを検出し、検出結果に応じて動作モードの処理を異ならせる。
【0007】
更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0008】
図1図1は、実施の形態に係るヘルスケアシステム(以下、システム)の構成の具体例を表した概略図である。
図2図2は、システムに含まれる処理装置の構成の概略図である。
図3図3は、システムに含まれるユーザ装置の構成の概略図である。
図4図4は、システムでの動作モードの遷移を表した図である。
図5図5は、ユーザ装置のディスプレイの向き及び対応した動作モードを説明する図である。
図6図6は、ディスプレイの向きと各動作モードでの動作との関係を表した図である。
図7図7は、モデル画像データベース(DB)の具体例を表した図である。
図8図8は、ユーザ画像DBの具体例を表した図である。
図9図9は、パターンテーブルの具体例を表した図である。
図10図10は、処理装置のプロセッサが実行する各処理を表した概略図である。
図11図11は、ユーザ画像の生成方法を説明する図である。
図12図12は、試着画像の表示処理の流れを表した図である。
図13図13は、試着モードにおいて装飾品を選択するための画面の具体例を表した概略図である。
図14図14は、試着画像の生成方法を説明する概略図である。
図15図15は、提案処理の流れの一例を表したフローチャートである。
図16図16は、パターンの提案画面の一例を表した概略図である。
図17図17は、提案処理の流れの他の例を表したフローチャートである。
図18図18は、パターンの提案画面の一例を表した概略図である。
図19図19は、パターンの提案画面の一例を表した概略図である。
図20図20は、レッスンモードの流れの具体例を表した図である。
図21図21は、レッスンモードにおける表示画面の具体例を表した図である。
図22図22は、試着モードにおける表示画面の他の具体例を表した概略図である。
図23図23は、別実施の形態に係るヘルスケアシステム(以下、システム)の構成の具体例を表した概略図である。
【発明を実施するための形態】
【0009】
<1.ヘルスケアシステム及び処理装置の概要>
【0010】
(1)本実施の形態に従うヘルスケアシステムは、カメラと、コントローラと、を備え、コントローラは、いずれもカメラを用いる、複数の動作モードを実行可能であって、複数の動作モードは、カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードと、指導画像を表示するとともに、カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードと、を含む。
【0011】
このように、複数の動作モードにおいて果たす機能が異なるにも関わらず単一のカメラを共通して用いることによって、動作モードごとにカメラを要する場合と比較して搭載が必要なカメラの数を抑えることができる。
【0012】
(2)好ましくは、第1の動作モードでは、撮影画像は、少なくとも一部が、服飾品を装着したモデル画像の少なくとも一部とともに表示されるために用いられ、第2の動作モードでは、撮影画像は、ユーザの動作を検出するために用いられる。このように、単一のカメラが動作モードごとに異なる機能を果たす。
【0013】
(3)好ましくは、第1の動作モードは、撮影画像の予め記憶している範囲である第1の領域と、モデル画像の予め記憶している範囲である第2の領域とを、予め設定された配置規則に応じて同一画面内に配置することを含む。第1の領域をユーザの撮影画像のうちの顔を含む領域、第2の領域をモデル画像のうちのモデルが装着した服飾品の領域とすることで、ユーザが服飾品を試着したような試着画像が得られる。
【0014】
(4)好ましくは、ヘルスケアシステムは、異なる服飾品を装着した、複数のモデル画像を記憶する第1のメモリと、異なる服飾品の中から服飾品の選択結果の入力を受け付ける入力装置と、をさらに備え、第1の動作モードは、選択結果において選択された服飾品を装着したモデル画像を第1のメモリから抽出して試着画像を得ることを含む。これにより、選択された服飾品を試着したような試着画像が得られる。
【0015】
(5)好ましくは、第1のメモリは、同一の服飾品について、体形の異なる複数のモデル画像を記憶し、第1の動作モードは、体形の異なる複数のモデル画像の中からユーザの体型に応じたモデル画像を抽出して試着画像を得ることを含む。これにより、ユーザが実際に試着した状態に近い試着画像が得られる。
【0016】
(6)好ましくは、第1のメモリは、同一の服飾品について、モデルを正面から撮影した第1のモデル画像とモデルを正面以外から撮影した第2のモデル画像とを記憶し、第1の動作モードは、第1のモデル画像から試着画像を得るとともに、試着画像と第2のモデル画像とを対応付けて表示することを含む。対応付けて表示することは、例えば、同一の表示画面に並べて表示することである。また、対応付けて表示することは、ボタン操作などで切り替え可能であってもよい。これにより、ユーザは、自身の試着の状態を正面からの試着画像で確認できるとともに、背面などの正面以外の試着の状態も確認することができる。
【0017】
(7)好ましくは、第1のメモリに記憶されているモデル画像には、カメラからモデルまでの距離に応じた異なる属性が設定されており、第1の動作モードは、ユーザのサイズに応じた属性とモデル画像に設定されている属性との関係に基づいて第1の領域及び第2の領域の少なく一方のサイズを変更し、変更後の2つの領域を属性の関係に応じた配置規則に基づいて同一画面内に配置することを含む。これにより、より高品質な試着画像が得られる。
【0018】
(8)好ましくは、撮影画像とモデル画像との少なくとも一方は動画である。
【0019】
(9)好ましくは、第1の動作モードは、複数の服飾品の組み合わせのパターンに対するユーザのユーザ特性のマッチング度合を、演算モデルを用いてパターンごとに算出し、算出されたマッチング度合に基づいて1以上のパターンを提示することを含み、服飾品を装着したモデル画像は、1以上のパターンを装着したモデル画像である。
【0020】
(10)好ましくは、演算モデルは、パターンについてユーザ特性ごとのマッチング度合を規定する情報を含む。このため、演算モデルを用いてマッチング度合を算出することができる。
【0021】
(11)好ましくは、マッチング度合を算出することは、複数パターンのうちのユーザが選択したパターンについてのマッチング度合を算出することを含む。これにより、ユーザの所望するパターンについてのマッチング度合が得られる。
【0022】
(12)好ましくは、マッチング度合を算出することは、複数パターンそれぞれについてのマッチング度合を算出することを含み、複数パターンそれぞれのマッチング度合に基づいて、複数パターンの中からユーザに提案するパターンを少なくとも1つ選択する。これにより、マッチング度合に基づいてユーザに提案するパターンが選択される。
【0023】
(13)好ましくは、第1の動作モードは、試着画像に含まれる1以上の服飾品について購入の指示を受け付けると、指示された服飾品の購入処理を実行する装置に、指示された服飾品の購入処理に必要な情報を送信することを含む。これにより、簡易な操作によって服飾品を購入することができる。
【0024】
(14)好ましくは、指導画像は指導者による動作の見本画像を含み、第2の動作モードは、指導画像の表示中のユーザの動作をカメラによって撮影することと、見本画像を表示することと、を含む。これにより、ユーザは見本画像を見ながら動作することができる。
【0025】
(15)好ましくは、第2の動作モードは、カメラによって撮影されたユーザの撮影画像を表示することをさらに含む。これにより、ユーザは自身の動作を見本画像と比較しやすくなる。
【0026】
(16)好ましくは、アドバイスを入力する入力装置をさらに備える。このため、入力装置から入力されたアドバイスが出力されるようになる。
【0027】
(17)本実施の形態に従う処理装置は、構造物に固定して用いられるディスプレイと、ディスプレイを用いる動作モードを実行可能なコントローラと、を備え、ディスプレイは、構造物への固定具に対して異なる向きに切替可能であり、コントローラは、動作モード実行時のディスプレイの向きを検出し、検出結果に応じて動作モードの処理を異ならせる。これにより、ディスプレイの向きによって異なる動作モードの処理が得られる。
【0028】
(18)好ましくは、動作モードは、ディスプレイの異なる向きそれぞれに応じた複数の処理を含み、動作モードの処理を異ならせることは、コントローラが、検出されたディスプレイの向きに対応した処理を実行することを含む。これにより、ある動作モードでは、ディスプレイの向きに対応した処理が行われるようになる。
【0029】
(19)好ましくは、動作モードごとに実行に適したディスプレイの向きが規定されており、動作モードの処理を異ならせることは、コントローラが、検出されたディスプレイの向きが実行する動作モードに適した向きでない場合に、適した向きである場合の動作モードの実行と異ならせることを含む。これにより、ある動作モードでは、ディスプレイが適した向きでない場合に、適した向きである場合と異なる処理が行われるようになる。異なる処理は、例えば、サイズを異ならせて表示させるような処理や、適した向きでないことを報知する処理、などである。
【0030】
(20)好ましくは、適した向きである場合の動作モードの実行と異ならせることは、ディスプレイの向きが動作モードに適した向きであることが検出されるまで、動作モードの開始を待機することを含む。これにより、ある動作モードでは、ディスプレイの向きが適した向きである場合にのみ動作が開始されるようになる。
【0031】
(21)好ましくは、処理装置はディスプレイの向きを切り替える機構をさらに備え、適した向きである場合の動作モードの実行と異ならせることは、動作モードを実行するとともに、ディスプレイの向きを動作モードに適した向きとするように向きを切り替える機構を制御することを含む。これにより、ある動作モードでは、ディスプレイの向きが適した向きでない場合に、適した向きに自動的に変更してから動作が開始されるようになる。
【0032】
<2.ヘルスケアシステム及び処理装置の例>
【0033】
[第1の実施の形態]
【0034】
本実施の形態に係るヘルスケアシステム(以下、システム)100は、ユーザのヘルスケアをトータルでサポートすることができるシステムである。ここでのヘルスケアは、心身のヘルスケアを意味し、運動、美容が及ぼす身体へのヘルスケアに加えて、精神的なヘルスケアも意図している。身体へのヘルスケアは、運動や美容などの動作を伴うものであって、その動作の指導を提供する。以降の説明では、レッスンモードと称される動作モードで実現される。精神的なヘルスケアは、ファッションの願望を満たすような出力、娯楽や美的な欲求を満たすような出力を行うものであって、そのような情報を表示する。以降の説明では、それぞれ、試着モード、絵画モード、及び、テレビ(TV)モードと称される動作モードで実現される。
【0035】
図1を参照して、システム100は、処理装置1を含む。また、システム100は、ユーザ装置5A,5Bを含む。ユーザ装置5A,5Bを代表させてユーザ装置5とも称する。処理装置1は、ユーザ装置5のコントローラとして機能する。
【0036】
ユーザ装置5A,5Bは、例えば、同一の装置である。ユーザ装置5Aは、ヘルスケアに関する動作を実行するユーザAが用いることが想定されている。ユーザ装置5Bは、ユーザAのヘルスケアに関する動作を指導するサポーターであるユーザBが用いることが想定されている。以降の説明において、ユーザA,ユーザBの区別ない「ユーザ」は、いずれのユーザであってもよい。
【0037】
ユーザ装置5は、機能部の一例としてのディスプレイ54を有し、ユーザに情報を出力する装置である。また、ユーザ装置5は、機能部の一例としてのカメラ56を有し、ユーザ装置5近傍を撮影する。ディスプレイ54及びカメラ56は、ユーザ装置5の有する機能の一例である。
【0038】
処理装置1及びユーザ装置5は、インターネット等の通信網2に接続可能である。処理装置1は、ユーザ装置5に対して制御信号を送信し、ユーザ装置5の動作を制御する。ユーザ装置5は、その動作によって得られたデータを処理装置1に送信する。
【0039】
図2を参照して、処理装置1は、プロセッサ11とメモリ12とを有するコンピュータで構成される。メモリ12は、一次記憶装置であってもよいし、二次記憶装置であってもよい。処理装置1は、通信網2にアクセスするための通信装置13をさらに有する。
【0040】
メモリ12は、様々なデータベース(DB)を有している。また、メモリ12は、プロセッサ11によって実行される、複数の動作モード用の複数のプログラムを記憶している。
【0041】
メモリ12に記憶されている複数のプログラムは、プロセッサ11に後述する試着モード処理111を実行させる、試着モードプログラム126を含む。また、複数のプログラムは、プロセッサ11に後述するレッスンモード処理116を実行させるためのレッスンモードプログラム127を含む。また、複数のプログラムは、プロセッサ11に後述する絵画モード処理118を実行させるための絵画モードプログラム128を含む。また、複数のプログラムは、プロセッサ11に後述するテレビ(TV)モード処理119を実行させるためのTVモードプログラム129を含む。
【0042】
プロセッサ11は、メモリ12に記憶されている複数のプログラムをそれぞれ実行することによって、例えば、試着モード処理111、レッスンモード処理116、絵画モード処理118、及び、TVモード処理119などの複数の動作モードを実行可能である。試着モード処理111、レッスンモード処理116、絵画モード処理118、及び、TVモード処理119は、プロセッサ11が実行可能な複数の動作モードの一例である。
【0043】
試着モード処理111は、試着画像をユーザ装置5のディスプレイ54に表示し、その表示を用いた各種動作を行う動作モードである。試着画像は、ユーザ画像の少なくとも一部と、選択されたパターンを装着したモデル画像の少なくとも一部とを併せて表示した画像を指す。ユーザ画像の少なくとも一部は、ユーザの顔を含む領域であり、モデル画像の少なくとも一部は服飾品を含む領域である。これにより、ユーザが選択した服飾品を装着したような画像がユーザ装置5のディスプレイ54に表示され、実際に試着していなくても、あたかもユーザが試着したかのように画像にて確認できる。詳細は後述する。
【0044】
レッスンモード処理116は、ユーザAのヘルスケアに関する動作に対する指導画像をユーザ装置5Aに表示する動作モードである。ヘルスケアに関する動作は、美容マッサージ動作を含む。また、ヘルスケアに関する動作は、スポーツの動作を含む。スポーツの動作は、例えば、ダンスや、筋力トレーニングなどの動作を含む。これにより、ユーザAは、スポーツジムやエステティックサロンなどに行かなくてもヘルスケアに関する動作を行うことができ、また、その際の指導画像を見ることができる。詳細は後述する。
【0045】
絵画モード処理118は、予め記憶している表示データに基づく画像を、所定の時間間隔でユーザ装置5に表示させる動作モードである。画像は、例えば、絵画であって、1又は複数を表示させてもよい。複数の絵画を表示させる場合、一定時間ずつ異なる絵画を表示させてもよい。これにより、ユーザ装置5を額縁や掛け軸のように用いることができ、高いインテリア性が得られる。
【0046】
TVモード処理119は、ユーザ装置5に対してテレビ放送波を受信して再生することを指示する動作モードである。これにより、ユーザ装置5からはテレビ番組が再生される。このため、ユーザ装置5をテレビとして用いることができる。
【0047】
図3を参照して、ユーザ装置5は、制御装置50と、出力機能としてディスプレイ54と、入力機能としてカメラ56と、を含む。制御装置50は、プロセッサ51とメモリ52とを有する。また、出力機能として、さらに、スピーカ55を有してもよい。さらに、入力機能として、マイク57や、タッチパネルなどの入力装置59を有してもよい。また、ユーザ装置5は、通信網2にアクセスしたり、後述する身体情報取得装置W(図23参照)と通信したりするための通信装置53をさらに有する。
【0048】
メモリ52は、一次記憶装置であってもよいし、二次記憶装置であってもよい。メモリ52は、プロセッサ51によって実行される、複数の動作モード用の複数のプログラムを記憶している。なお、メモリ52や処理装置1のメモリ12に、後述する指導画像を記憶させることもできる。
【0049】
メモリ52に記憶されている複数のプログラムは、プロセッサ51に後述する試着モード処理511を実行させる、試着モードプログラム521を含む。また、複数のプログラムは、プロセッサ51に後述するレッスンモード処理514を実行させるためのレッスンモードプログラム522を含む。また、複数のプログラムは、プロセッサ51に後述する絵画モード処理517を実行させるための絵画モードプログラム523を含む。また、複数のプログラムは、プロセッサ51に後述するテレビ(TV)モード処理518を実行させるためのTVモードプログラム524を含む。
【0050】
プロセッサ51は、メモリ52に記憶されているプログラムを実行することによって、処理装置1から送信される制御信号に従う処理を実行する。具体的には、プロセッサ51は、処理装置1から送信される制御信号に従って、メモリ52に記憶されている複数のプログラムをそれぞれ実行することによって、例えば、試着モード処理511、レッスンモード処理514、絵画モード処理517、及び、TVモード処理518などの複数の動作モードを実行可能である。試着モード処理511、レッスンモード処理514、絵画モード処理517、及び、TVモード処理518は、プロセッサ51が実行可能な複数の動作モードの一例である。
【0051】
試着モード処理511は、処理装置1からの指示に従って試着画像をディスプレイ54に表示し、その表示を用いた各種動作を行う動作モードである。レッスンモード処理514は、処理装置1からの指示に従ってカメラ56でユーザAを撮影して撮影画像を処理装置1に送信するとともに、指導画像を表示し、又、ユーザAのヘルスケアに関する動作に対するアドバイスを出力する動作モードである。絵画モード処理517は、処理装置1からの指示に従って送信された表示データに基づく画像をディスプレイ54に表示する動作モードである。TVモード処理518は、処理装置1からの指示に従ってテレビ放送波を受信して再生する動作モードである。
【0052】
システム100では、図4に示されたように、複数の動作モードが実行される。すなわち、図4を参照して、システム100では、初期状態S0から、ユーザの指示に応じて試着モードS1、レッスンモードS2、絵画モードS3、及び、TVモードS4に切り替わる。初期状態S0は、例えば、ユーザ装置5のディスプレイ54にホーム画面が表示され、動作モードが選択可能な状態、などである。なお、システム100は、これら以外の動作モードを含んでもよい。
【0053】
システム100で実行可能な複数の動作モードの中には、カメラ56を共通して用いる複数のモードが含まれる。カメラ56を用いる複数の動作モードは、図4の例では、試着モードS1及びレッスンモードS2である。
【0054】
上記複数の動作モードにおいて、カメラ56は共通して用いられるものの、カメラ56はこれら動作モードにおいてそれぞれ異なる機能を果たす。すなわち、図4を参照して、試着モードS1においては、カメラ56は、ユーザAの撮影S100に用いられる。撮影S100で得られた撮影画像は、試着画像の表示S102の際に、モデル画像とともに表示するユーザ画像として用いられるものである。
【0055】
レッスンモードS2においては、カメラ56は、ユーザAの動作の検出S200に用いられる。動作の検出S200は、カメラ56によって得られた撮影画像をユーザ装置5Bに表示し、ユーザBによってその画像からユーザAの動作を検出することを含む。また、動作の検出S200は、カメラ56によって得られた撮影画像を画像解析することでユーザAの動作を検出することを含んでもよい。画像解析によってユーザの動作を検出することは、例えば、ユーザが行った特定の動作の回数を検出すること、などである。検出されたユーザの動作に基づいて、ユーザ装置5Aではアドバイスの出力S202がなされる。
【0056】
このように異なる機能を果たす場合であっても単一の機能部を複数の動作モードに共通して用いることによって、必要とされる機能ごとにそれぞれ機能部を用意する場合に比べて機能部の数を減らすことができる。すなわち、この例の場合、それぞれの動作モード用に2つ以上カメラを搭載することなく、共通のカメラ56を各動作モードで用いることができる。その結果、装置を簡易にすることができる。
【0057】
図5を参照して、ユーザ装置5のディスプレイ54は矩形である。好ましくは、ディスプレイ54は等身大である。等身大とは、長手方向の長さが一般的な成人の身長よりも長いサイズを指し、例えば、長手方向の長さが150cm~200cm程度である。これにより、カメラ56で撮影されたユーザの全身がディスプレイ54に表示されるようになる。
【0058】
等身大のディスプレイ54は床面や壁面などの構造物に固定具6によって固定して用いられることが想定されている。構造物は、床面に設置されたテレビスタンドも含む。この場合、固定具6は、一例として、テレビスタンドの部品である。ディスプレイ54は、構造物であるテレビスタンドに対して固定具6によって固定されている。ディスプレイ54は、固定具6に対して第1の向きと第2の向きとに、向きが可変である。図5の例では、第1の向きは、長辺を縦、短辺を横にして縦長となる向き、つまり、長手方向が縦を向く向き、第2の向きは、長辺を横、短辺を縦にして横長となる向き、つまり、長手方向が横を向く向きである。
【0059】
ディスプレイ54の向きは、一例として、ディスプレイ54を物理的に回転させることによって可変となる。この場合、一例として、固定具6とディスプレイ54との接続部に回転部材が設けられる。回転部材は、人が操作することで回転する部材である。又は、回転部材は、処理装置1からの制御信号に従って回転が制御されてもよい。
【0060】
カメラ56は、プロセッサ51の制御に従って、又は、自動的に撮影動作を行い、撮影データをプロセッサ51に入力する。図1に示されたように、カメラ56は、一例として、ディスプレイ54の正面を撮影範囲とするようにディスプレイ54に内蔵されている。ディスプレイ54の、ユーザに向かう側の面を正面とする。
【0061】
好ましくは、カメラ56は、ディスプレイ54が第1の向きとなり、ユーザがその正面に立ったときにユーザの頭部付近となる高さに設置される。これにより、第1の向きでカメラ56によってディスプレイ54の正面に立つユーザの全身を撮影することができる。
【0062】
システム100では、動作モードごとに実行に適したディスプレイ54の向きが規定されている。すなわち、図5を参照して、試着モード及びレッスンモードは、実行に適したディスプレイ54の向きが第1の向きと規定されている。この場合、試着画像やヘルスケアに関する動作の指導画像が縦長画像である場合に、等身大で表示される。これによりユーザは試着画像や指導画像を見やすくなる。
【0063】
一方、TVモードは第2の向きと規定されている。この場合、横長の表示であることが多いテレビ用のコンテンツが、ディスプレイ54のサイズを有効に利用して表示されるようになる。これによりユーザはテレビ番組を見やすくなる。
【0064】
また、複数の動作モードの中には、実行に適したディスプレイ54の向きが規定されていないもの、又は、両向きともに適した向きと規定されたものがあってもよい。図5の例では、絵画モードについて、第1の向き及び第2の向き共に適した向き、つまり、適した向きが1つに規定されていない。
【0065】
これは、図2に示されたように、処理装置1のメモリ12に記憶されている絵画モードプログラム128には、縦長画像用プログラム81と横長画像用プログラム82とが含まれているためである。プロセッサ11は、ディスプレイ54が第1の方向のときに縦長画像用プログラム81を実行する。これにより、絵画モード処理118のうちの縦長画像表示処理81Aが行われる。また、プロセッサ11は、ディスプレイ54が第2の方向のときに横長画像用プログラム82を実行する。これにより、絵画モード処理118のうちの横長画像表示処理81Bが行われる。
【0066】
システム100では、処理装置1が動作モード実行時のユーザ装置5のディスプレイ54の向きを検出し、検出結果に応じて動作モードの処理が異なるように制御する。これは、言い換えると、ディスプレイ54を機能部として、縦方向での表示と横方向での表示と果たす機能が異なる場合であっても、複数の動作モードで共通の機能部を用いることに相当する。
【0067】
このために、ユーザ装置5は、センサ58をさらに含む。センサ58は、ディスプレイ54の向きの変化を検出するセンサである。センサ58は、例えば、ディスプレイ54の向きが変化する際に接触する位置に設けられた物理的なボタン、ディスプレイ54の向きが変化する際にセンサ光を遮るように設けられた発光素子及び受光素子、などである。センサ58は、検出結果を示すセンサ信号をプロセッサ51に入力する。
【0068】
なお、ディスプレイ54の向きは、プロセッサ51の制御に従って可変であってもよい。例えば、ユーザ装置5にはディスプレイ54の向きを変化させるための駆動機構が設けられ、入力装置59で受け付けたユーザ操作に従うプロセッサ51の制御によって駆動機構が駆動し、ディスプレイ54の向きが変化してもよい。この場合、センサ58は不要としてもよい。
【0069】
プロセッサ51は、図3に示されたように、検出処理519をさらに実行する。検出処理519は、センサ58からのセンサ信号に基づく信号を通信装置53に渡し、処理装置1に送信させる処理である。
【0070】
処理装置1のプロセッサ11は、図2に示されたように、判定処理115をさらに実行する。判定処理115は、ユーザ装置5から送信された上記のセンサ信号に基づく信号が、処理を実行する動作モードに対して規定されているディスプレイ54の向きに応じたものであるか否かを判定すること、つまり、ユーザ装置5のディスプレイ54の向きが実行しようとしている動作モードに適した向きであるか否かを判定することを含む。
【0071】
好ましくは、プロセッサ11は、各動作モードの処理111,116,118,119において、判定処理115での判定結果に応じて処理を異ならせる。すなわち、検出されたディスプレイ54の向きが実行する動作モードに適した向きでない場合に、適した向きである場合の動作モードの実行と異ならせる。一例として、プロセッサ11は、図6に表されたような制御を行う。すなわち、図6を参照して、プロセッサ11は、起動を指示された動作モードを確認し(ステップS11)、起動を指示された動作モードに応じて異なる制御を行う。
【0072】
実行する動作モードがレッスンモードである場合(ステップS11で「試着モード又はレッスンモード」、かつ、ステップS13でYES)、プロセッサ11は、ユーザ装置5からのセンサ信号に基づく信号が、ディスプレイ54の向きが第1の向きであることを示す信号であるか否か、すなわち、ディスプレイ54の向きが第1の向きであるか否かを判定する。判定結果が是である場合(ステップS15でYES)、プロセッサ11はレッスンモード処理116を実行する(ステップS17)。これにより、システム100ではレッスンモードの動作が開始する。
【0073】
判定結果が否である場合、つまり、ユーザ装置5のディスプレイ54が第2の方向である場合(ステップS15でNO)、プロセッサ11は、レッスンモード処理116として、ユーザ装置5のディスプレイ54に指導画像などを縮小表示させる(ステップS19)。ステップS19では、具体的には、縦長に設定されていた指導画像を第2の方向のディスプレイ54の縦方向の長さにあわせるように縮小して表示させる。これにより、横長であっても縦長の指導画像が表示されてレッスンモードの動作が開始される。
【0074】
好ましくは、この場合、プロセッサ11は、推奨方向として第1の方向を示す情報をユーザ装置5から出力させる(ステップS21)。例えば、「縦長にしてください」などの表示をディスプレイ54に行わせてもよい。これにより、ディスプレイ54の向きが適した方向にされることが促される。
【0075】
実行する動作モードが試着モードである場合も(ステップS11で「試着モード又はレッスンモード」、かつ、ステップS13でNO)、プロセッサ11は、上記ステップS15以下と同様の処理を行う。すなわち、ディスプレイ54が第1の向きである場合に(ステップS25でYES)、通常の試着モード処理111を実行し(ステップS27)、そうでない場合に(ステップS25でNO)、試着画像を縮小して表示するように試着モード処理111を実行するとともに(ステップS29)、推奨方向として第1の方向を示す情報をユーザ装置5から出力させる(ステップS31)。
【0076】
実行する動作モードが絵画モードである場合(ステップS11で「絵画モード」)、プロセッサ11は、ユーザ装置5からのセンサ信号に基づく信号に応じて、ディスプレイ54の向きが第1の向きか第2の向きかを判定する。そして、プロセッサ11は、ディスプレイ54の向きに対応した処理を実行する。
【0077】
具体的には、ディスプレイ54が第1の向きのとき(ステップS35でYES)、プロセッサ11は絵画モード処理118のうちの縦長画像表示処理81Aを実行する(ステップS39)。これにより、システム100では、ディスプレイ54の向きを縦向きとして絵画モードを実行させた場合、ディスプレイ54には縦長の絵画が表示される絵画モードが実行され、絵画が見やすく表示されるようになる。
【0078】
ディスプレイ54が第2の向きのとき(ステップS35でNO)、プロセッサ11は絵画モード処理118のうちの横長画像表示処理81Bを実行する(ステップS37)。これにより、システム100では、ディスプレイ54の向きを横向きとして絵画モードを実行させた場合、ディスプレイ54には横長の絵画が表示される絵画モードが実行され、絵画が見やすく表示されるようになる。
【0079】
実行する動作モードがTVモードである場合(ステップS11で「TVモード」)、プロセッサ11は、ディスプレイ54の向きが第2の向きであるか否かを判定する。判定結果が是である場合(ステップS41でYES)、プロセッサ11はTVモード処理119を実行する(ステップS43)。これにより、ユーザ装置5ではテレビ番組の再生が開始される。
【0080】
判定結果が否である場合、つまり、ユーザ装置5のディスプレイ54が第1の方向である場合(ステップS41でNO)、プロセッサ11は、TVモード処理119を実行せず、エラー表示させる(ステップS45)。これにより、TVモードの開始が適した向きである第2の向きとなるまで待機される。又は、ステップS45でエラー表示をさせた後、プロセッサ11は、ディスプレイ54の回転部材を回転させる制御信号をユーザ装置5に対して送信してもよい。この制御信号に従ってディスプレイ54が自動的に回転して第2の方向となった後にTVモード処理119を開始してもよい。なお、この制御は、上記のレッスンモードや試着モードで行われてもよい。すなわち、レッスンモードや試着モードでも、ディスプレイ54が適した向きになるまで実行を待機してもよい。
【0081】
(試着モード)
【0082】
メモリ12のDBは、試着モード処理111で用いられるDBを含む。試着モード処理111で用いられるDBは、モデル画像DB121、ユーザ画像DB122、及び、パターンテーブル123を含む。
【0083】
モデル画像DB121は、モデル画像データを、商品とサイズと属性との情報を付加して登録するデータベースである。モデル画像は、服飾品を装着したモデルを被写体として撮影することによって得られた撮影画像である。モデル画像に付加された商品の情報は、被写体であるモデルの装着している服飾品を特定する情報である。
【0084】
モデルは、1以上の服飾品を装着している。2以上の服飾品からなるパターンを装着していてもよい。パターンは、複数種類の服飾品の組み合わせを指す。服飾品が衣服である場合、パターンはいわゆるコーディネートとも呼ばれ、例えば、ジャケット、トップス、及び、ボトムの組み合わせ、などである。服飾品群は、例えば、ジャケット等のトップス、パンツやスカートなどのボトム、シャツやブラウスなどのインナー、スニーカーやサンダルなどの靴、帽子やマフラーやアクセサリーなどの装飾品、及び、バッグ、などのうちの1以上の組み合わせである。
【0085】
詳しくは、図7を参照して、モデル画像は、商品である服飾品ごとに装着したモデルが被写体として撮影された撮影画像であって、商品の識別情報、サイズ、その他の属性などと関連付けて記憶されている。
【0086】
サイズは、モデルの装着している服飾品のサイズを特定する情報である。ここでは、服飾品のサイズが異なるモデル画像は、被写体であるモデルが異なってもよい。つまり、服飾品のサイズにあった体型のモデルの撮影画像であってもよい。これにより、サイズごとに服飾品の着こなしを確認することが可能になる。
【0087】
ユーザ画像DB122は、図8に示されるように、ユーザ画像を識別情報、及び、その他属性に関連付けて登録するデータベースである。その他属性は、ユーザ画像における被写体のサイズに応じた属性を含み、例えば、ユーザの身長や体重などである。ユーザ画像は、一例として、ユーザ装置5の有するカメラ56によって撮影された、ユーザ装置5のユーザの撮影画像の少なくとも一部である。
【0088】
パターンテーブル123は、パターンに対するユーザ特性のマッチング度合を求めるための演算モデルを1つ以上含む。マッチング度合は、そのパターンがユーザに似合うパターンであるか否かを指標化したものであって、例えば、ポイントである。ポイントは、例えば、100点が似合う状態を表し、0点が似合わない状態を表すとした点数である。
【0089】
詳しくは、図9を参照して、パターンテーブル123は、パターンに対して、ユーザ属性ごとにポイントを規定する、演算モデルを含む。すなわち、図9の例の第1列目では、パターンP1について、性別「F」、年齢帯「20~30」、体形「S」、顔型「丸」、及び、肌色「色白」のユーザ属性についてポイント「95」を規定し、第2列目では、性別「F」、年齢帯「20~30」、体形「S」、顔型「丸」、及び、肌色「褐色」のユーザ属性についてポイント「60」を規定している。つまり、パターンテーブル123は、同一のパターンP1について、ユーザ属性ごとにポイントを規定する演算モデルを含む。この演算モデルを用いることにより、パターンP1について、ユーザ属性ごとにマッチング度合が得られる。
【0090】
ユーザ属性ごとのポイントは、例えば、スタイリストなどのマッチング度合を判定できる人によって決定された値であってもよい。その場合、演算モデルはそのスタイリストのスタイリングのポリシーを表したものになる。つまり、1つの演算モデルはその一人のスタイリストに対応したものとなっている。以降の説明において、演算モデルとスタイリストとが対応付けられていることは、演算モデルがスタイリストによって決定されたポイントをマッチング度合として規定するものであることを意味している。
【0091】
好ましくは、パターンテーブル123に含まれる1つの演算モデルは、図9に示されるように、複数のパターンP1,P2,…について、それぞれ、ユーザ属性ごとにポイントを規定している。この演算モデルを用いることにより、複数パターンP1,P2,…それぞれについて、ユーザ属性ごとにマッチング度合が得られる。演算モデルがスタイリストと対応したものである場合、複数のパターンP1,P2,…それぞれのユーザ属性ごとのポイントは、同一のスタイリストによって複数のパターンP1,P2,…それぞれに対して決定された値である。
【0092】
好ましくは、パターンテーブル123は、図9に示されるように、演算モデルを複数含む。すなわち、パターンテーブル123は、パターンP1,P2,…についてのユーザ属性ごとにマッチング度合を規定する演算モデルを、複数含む。
【0093】
演算モデルとスタイリストとが対応している場合、複数の演算モデルは、それぞれ異なるスタイリストによって決定された値をマッチング度合として規定したものである。そのような場合を想定して、図9の例では、複数の演算モデルそれぞれに「スタイリストA」、「スタイリストB」、「スタイリストC」…のタイトルが付されている。これは、複数の演算モデルがそれぞれ、「A」「B」「C」…で識別されるスタイリストに対応していることを意味している。つまり、パターンテーブル123は、複数スタイリストそれぞれに対応した複数の演算モデルを含んでいるものとされている。
【0094】
従って、演算モデルは、1又は複数のパターンのグループについて、適したユーザ属性の傾向を規定したものであって、各スタイリストの特性、つまり、各スタイリストの設定した1以上のパターンからなるパターングループの特性を表しているとも言える。
【0095】
図10を参照して、プロセッサ11が実行する試着モード処理111は、表示処理112を含む。表示処理112は、試着画像を表示するための処理であって、図10を参照して、選択処理21、抽出処理22、及び、配置処理23を含む。
【0096】
選択処理21は、ユーザ装置5から、ユーザの服飾品の選択結果を示すデータを受信し、モデル画像DB121に記憶されている複数のモデル画像の中から、ユーザによって選択された服飾品を示す商品の情報が付加されたモデル画像を選択することを含む。
【0097】
選択処理21は、さらに、ユーザ装置5からユーザの識別情報を受信し、ユーザ画像DB122に記憶されている複数のユーザ画像の中から、該当するユーザのユーザ画像を選択することを含む。該当するユーザ画像は、例えば、受信したユーザの識別情報に一致する識別情報に関連付けられたユーザ画像である。
【0098】
抽出処理22は、選択処理21によって選択されたモデル画像から、表示に用いる領域(以下、表示領域とも称する)を抽出する処理である。この処理を実行するために、プロセッサ11には、モデル画像中の、表示領域とする領域が、予め規定されている。これにより、表示領域を特定するための処理が不要となる。なお、抽出処理22は、表示に用いるユーザ画像から表示領域を抽出することを含んでもよい。
【0099】
配置処理23は、モデル画像の表示領域とユーザ画像の表示領域とを、予め設定された配置規則に応じて同一画面内に配置する処理である。
【0100】
好ましくは、配置処理23はサイズ変更処理24を含む。この場合、メモリ12に記憶されているモデル画像には、画像中の服飾品の大きさに応じた情報が付加されている。画像中の服飾品の大きさに応じた情報は、一例として、図11に示されたように、カメラCAから被写体Cまでの距離に応じた属性が設定されている。図11の例では、属性は、カメラCAから被写体Cまでの距離が属性に含まれている。サイズ変更処理24は、モデル画像の上記属性、及び、ユーザ画像における被写体のサイズに応じた属性の関係に基づいて、モデル画像の表示領域及びユーザ画像の表示領域の少なく一方のサイズを変更する処理である。
【0101】
好ましくは、配置処理23は、境界加工処理25を含む。境界加工処理25は、同一画面に配置されたモデル画像の表示領域とユーザ画像の表示領域との境界範囲を加工する処理であって、例えば、ぼかし加工などを行う処理である。
【0102】
試着モード処理111は、また、提案処理114を含む。提案処理114は、ユーザにパターンを提案するために必要な演算を行う処理である。提案処理114は、図10を参照して、属性抽出処理41を含む。属性抽出処理41は、ユーザ装置5から受信したユーザの識別情報に基づいて、ユーザ画像DB122にユーザ画像と関連付けて記憶されているユーザ属性を抽出する処理である。ユーザ属性が抽出されることで、後述の算出処理43での演算にユーザ属性を用いることができる。
【0103】
提案処理114は、第1提示処理42を含む。第1提示処理42は、パターンテーブル123に含まれる複数の演算モデルを、ユーザが選択可能な選択肢としてユーザ装置5のディスプレイ54に表示させる処理である。
【0104】
第1提示処理42は、演算モデルごとに、その演算モデルの選択肢として提示するための提示情報を予め記憶しておく。提示情報は、例えば、演算モデルに対応したスタイリストの名前などの演算モデルの識別情報である。好ましくは、提示情報は、スタイリスト名に加えて、演算モデルの特徴を表す情報である。演算モデルの特徴は、例えば、対象とするユーザの属性である。また、演算モデルに対応したスタイリストの特徴であってもよい。スタイリストの特徴は、例えば、スタイリングの対象となるユーザの属性、スタイリングのポリシー、得意とするスタイリング、活躍する雑誌などの媒体、スタイリングを手掛けた有名人、などである。
【0105】
第1提示処理42は、パターンテーブル123に含まれる複数の演算モデルそれぞれの提示情報を通信装置13に渡し、演算モデルの選択肢として表示させる制御信号とともにユーザ装置5に送信させることを含む。これにより、ユーザ装置5のディスプレイ54に複数の演算モデルの選択肢が表示される。その際に、上記のような演算モデルの特徴が表示されることによって、ユーザは、演算モデルを選択しやすくなる。
【0106】
好ましくは、第1提示処理42は、スタイリスト選択処理117を含む。スタイリスト選択処理117は、パターンテーブル123に含まれる複数の演算モデルのうちから1以上の演算モデルをユーザ装置5で提示する候補として選択する処理である。スタイリスト選択処理117では、一例として、演算モデルの登録日時や、季節などの、ユーザ装置5のユーザに関わらない情報に基づいて演算モデルが選択されてもよい。また、他の例として、ユーザ装置5のユーザの性別や年齢帯などのユーザの属性に応じて演算モデルが選択されてもよい。
【0107】
このように演算モデルが選択されることで、ユーザ装置5では、パターンテーブル123に含まれる複数の演算モデルのすべてではなく、選択された演算モデルが選択肢として表示されることになる。すなわち、ユーザ装置5に選択肢として表示される演算モデルの数を抑えることができる。それにより、ユーザは、処理に用いる演算モデルを選択しやすくなる。
【0108】
また、ユーザの性別や年齢帯などの属性に応じて演算モデルが選択されることで、ユーザは、自分の属性に適した演算モデルの中から処理に用いる演算モデルを選択することができる。その結果、効率的にマッチング度合を得ることができる。
【0109】
なお、スタイリスト選択処理117は、パターンテーブル123に含まれる複数の演算モデルのうちから1つの演算モデルを選択してもよい。この場合、ユーザ装置5には推奨する演算モデルが提示されることになり、その演算モデルを用いて演算を行うか否かの選択となる。これにより、ユーザは、演算モデルの選択を行う手間なく効率的にマッチング度合を得ることができる。
【0110】
提案処理114は、算出処理43を含む。算出処理43は、特定のパターンに対する、ユーザ装置5のユーザのマッチング度合を算出する処理である。特定のパターンは、例えば、ユーザ装置5からのデータによって指定されるパターンである。また、特定のパターンは、予め規定されているパターンであってもよい。
【0111】
算出処理43は、テーブル選択処理44を含む。テーブル選択処理44は、ユーザ装置5から受信した、第1提示処理42によってユーザ装置5に表示された選択肢のうちの選択結果を示すデータに基づいて、算出処理43に用いる演算モデルをパターンテーブル123から選択する処理である。図9の例において、「スタイリストA」が選択された場合、テーブル選択処理44では、パターンテーブル123から「スタイリストA」が付された演算モデルが選択される。これにより、算出処理43で選択された演算モデルを用いることができる。
【0112】
算出処理43は、選択された演算モデルにおいて、特定のパターンについて各属性に対して規定されているポイントのうち、属性抽出処理41で抽出された属性に応じたポイントを読み出すことを含む。これにより、ユーザ装置5のユーザについて特定のパターンに対するマッチング度合を示すポイントが得られる。
【0113】
提案処理114は、第2提示処理45を含む。第2提示処理45は、特定のパターンのマッチング度合をユーザ装置5に表示させる処理である。マッチング度合の表示は、マッチング度合そのものの表示であってもよいし、マッチング度合そのものに替えて、又は、加えて、マッチング度合に基づく表示であってもよい。マッチング度合に基づく表示は、マッチング度合に応じて予め規定されているテキストや画像などである。
【0114】
第2提示処理45は、算出処理43で算出されたマッチング度合を示すポイントを通信装置13に渡し、表示を指示する制御信号とともにユーザ装置5に送信させることを含む。これにより、ユーザ装置5のディスプレイ54に特定のパターンについてのマッチング度合が表示される。その結果、ユーザ装置5のユーザは、特定のパターンが自身に似合うか否かを知ることができる。
【0115】
好ましくは、第2提示処理45は、特定のパターンを構成する各服飾品を表す画像データ、又は、特定のパターンそのものを表す画像データをモデル画像DB121から抽出して通信装置13に渡し、表示を指示する制御信号とともにユーザ装置5に送信させることを含む。これにより、ユーザ装置5のディスプレイ54に特定のパターンの画像が表示される。その結果、ユーザは、特定のパターンを画像で確認することができる。
【0116】
より好ましくは、第2提示処理45は、さらに、ユーザの画像データをユーザ画像DB122から抽出して、ユーザの画像データと特定のパターンを表す画像データとを合わせた試着画像をユーザ装置5のディスプレイ54に表示させてもよい。試着画像は静止画であっても動画であってもよい。これにより、ユーザ装置5のディスプレイ54に、提案されたパターンが試着画像として表示される。その結果、ユーザ装置5のユーザは、特定のパターンを装着した状態、つまり、試着状態を画像で確認することができる。
【0117】
試着モード処理111は、また、購入処理113を含む。購入処理113は、表示処理112によってユーザ装置5のディスプレイ54に表示された服飾品を購入するための処理である。購入処理113は、ユーザ装置5から購入の指示を受け付けて、表示中の服飾品の販売サイトに購入に必要な情報を送信することを含む。
【0118】
好ましくは、購入処理113は、ユーザ装置5のディスプレイ54に複数の服飾品からなるパターンが表示されている場合に、ユーザ装置5から一括して購入の指示を受け付けると服飾品ごとにその服飾品を販売するサイトに必要な情報を渡して購入処理を行わせる。これにより、ユーザは、服飾品ごとに異なるサイトに対して購入のための操作を行う必要がなく、ユーザ操作が簡略化される。
【0119】
試着モードにおいて、モデル画像は、図11に示された生成方法によって生成される。すなわち、図11を参照して、カメラCA対して予め規定された位置関係となる撮影位置に被写体Cであるモデルを配置する。予め規定された位置関係は、カメラCAから規定の距離Lとなる位置である。モデルは、装飾品を装着した状態である。
【0120】
次に、距離Lに配置されたモデルを、カメラCAにて撮影する。この撮影によって得られたモデル画像31に、上記位置関係に応じた属性として、例えば距離Lを示すデータを付加してモデル画像DB121に格納する。また、好ましくは、さらに、服飾品のサイズを示すデータを付加する。これにより、図7に示されたようにモデル画像DB121にモデル画像が登録される。
【0121】
好ましくは、モデル画像は動画である。これにより、服飾品が衣服などの全方向から試着状態を確認したいものである場合、正面からのみならず、背面や側面も試着状態を確認できる。また、後述する試着画面において動いたときの服飾品の装着状態も表示されるため、あたかも実際に試着して動いているように試着状態を確認できる。
【0122】
距離Lは可変であってもよい。服飾品のサイズに応じてモデル画像における服飾品のサイズを変えることで、見やすくなるためである。例えば、服飾品がスーツなどの全身に装着されるものの場合、距離Lを大きくしてモデルの全身を撮影することが望まれる。一方、服飾品がシャツなどの全身に及ばない範囲に装着されるものの場合、距離Lを小さくして服飾品が大きくなるように撮影することが望まれる。このように、モデル画像に属性として付加される距離Lは、モデル画像の表示領域における被写体のサイズを示している。
【0123】
プロセッサ11で試着モード処理111の表示処理112が実行され、プロセッサ51で試着モード処理511が実行されることによって、システム100では、図12に示された流れで試着画面が表示される。すなわち、図12を参照して、ユーザ装置5では、ユーザによる服飾品の選択操作を受け付ける(ステップS51)。このとき、ユーザ装置5のディスプレイ54には、図13に示される、服飾品の選択用画面545が表示される。選択用画面545は、一例として、衣服などの通信販売用のサイトである。
【0124】
図13を参照して、選択用画面545は、服飾品を表示する領域548と、その服飾品の試着画面の表示を指示するボタン547と、を含む。そのほか、服飾品の購入処理を指示するボタンなどが含まれていてもよい。ステップS51の服飾品の選択を受け付けることは、例えば、選択用画面545においてボタン547のタッチを受け付けることである。ステップS51で服飾品の選択を受け付けると、ユーザ装置5は選択結果を示すデータを、ユーザの識別情報とともに処理装置1に送信する(ステップS53)。
【0125】
なお、ステップS51の服飾品の選択を受け付けることは、1つの服飾品を直接選択することのみに限定されない。他の例として、服飾品を使用する目的を選択することや、スタイリストなど服飾品を選択する者を選択すること、などによって、2つ以上の服飾品群からなる服飾品の組み合わせを選択することも含む。目的を選択することは、例えば、仕事に用いる服飾品、休日に用いる服飾品、パーティーなどの特定の催事に用いる服飾品、和服や洋装などの特定のモチーフをもって選択する服飾品などである。選択処理は、服飾品の組み合わせの選択も含む。つまり、選択処理は、1以上の服飾品を選択する処理を指す。そして、選択処理の選択結果は、選択された1つの服飾品を示す情報のみならず、複数の服飾品の組み合わせを示す目的やスタイリストなど服飾品を選択する者を示す情報も含む。
【0126】
選択結果を示すデータを受信した処理装置1では、ユーザの識別情報に基づいてそのユーザのユーザ画像をユーザ画像DB122から抽出する(ステップS55)。また、抽出されたユーザ画像に付加されているユーザの属性を抽出する(ステップS57)。ステップS57で抽出される属性は、ユーザの体型を示すデータを含む。
【0127】
処理装置1は、さらに、ユーザ装置5から受信した選択結果を示すデータに基づいて、選択された服飾品を装着しているモデル画像をモデル画像DB121から選択する(ステップS59)。さらに、処理装置1は、選択された服飾品を装着しているモデル画像の中から、ステップS57で抽出したユーザの体型に応じたサイズの服飾品を装着しているモデル画像を選択する(ステップS61)。
【0128】
処理装置1は、選択されたモデル画像及びユーザ画像それぞれから表示領域を抽出し(ステップS63)、同一画面に予め設定された配置規則に応じて配置する(ステップS65)。
【0129】
詳しくは、図14を参照して、処理装置1は、モデル画像31から表示領域311を抽出する。また、ユーザ画像32から表示領域321を抽出する。モデル画像31とユーザ画像32とは同じサイズであって、表示領域311と表示領域321とは、モデル画像31及びユーザ画像32の画像のサイズに対して設定されている境界線BOを挟む関係にある。すなわち、表示領域311は境界線BOよりも下、つまり、被写体であるモデルが服飾品を装着している部位を含む側、つまり、首から下の領域である。表示領域321は境界線BOよりも上、つまり、被写体であるユーザの顔を含む側の領域である。
【0130】
処理装置1は、画面540に表示領域311と表示領域321とを配置する。画面540はモデル画像31及びユーザ画像32と同じサイズであって、境界線BOに相当する境界を挟むように表示領域311と表示領域321とを配置する。すなわち、境界線BOに相当する境界よりも下の領域542に表示領域311を配置する。境界線BOに相当する境界よりも上の領域541に表示領域321を配置する。
【0131】
このようにして生成された画面データは、処理装置1からユーザ装置5に送信され(ステップS71)、ユーザ装置5のディスプレイ54にて表示される(ステップS73)。このようにモデル画像31の表示領域311とユーザ画像32の表示領域321とを配置規定に従って配置することによって、図14に示されたように、画面540の領域541ではユーザの顔が表示され、領域541の下に隣接する領域542にはモデル画像の首から下が表示される。これにより、容易な処理によって、画像の品質の劣化を抑えて、あたかもユーザが服飾品を装着しているような画面を表示することができる。特に、少なくとも一方の画像が動画である場合にも、領域541及び、又は領域542で動画を再生するだけで、試着画面を動画で表示することができる。つまり、容易な処理によって、画像の品質の劣化を抑えて、あたかもユーザが服飾品を装着しているような画面を動画で表示することができる。
【0132】
好ましくは、処理装置1は、モデル画像に属性として付加された距離Lと、ユーザ画像におけるユーザのサイズに応じた属性との関係に基づいて、表示領域321及び表示領域311の少なく一方のサイズを変更する(ステップS67)。
【0133】
例えば、ユーザ画像におけるユーザの顔のサイズが、距離Lが1800mmであるモデル画像の首から下の画像のサイズと対応している場合、図7の商品「シャツ1」に示されたような、距離Lが1000mmであるモデル画像の表示領域311と同一画面に配置するとサイズが適合しない。そこで、この場合、ユーザ画像の表示領域321を拡大した上で、それぞれの中心が一致するような配置で同一画面に配置する。又は、モデル画像の表示領域311を縮小した上で、それぞれの中心が一致するような配置で同一画面に配置してもよい。
【0134】
サイズ変更処理が行われることによって、ユーザ画像とモデル画像とにおいて被写体のサイズが異なる場合でも、画像解析などによってそれぞれの被写体のサイズを特定するなどの処理を不要として、これら被写体のサイズを容易に適切な関係にすることができる。その結果、容易な処理で品質の劣化を抑えて試着画面を表示させることができる。
【0135】
好ましくは、処理装置1は、画面540の境界線BOに相当する境界を挟む所定範囲549を境界加工処理する(ステップS69)。境界加工処理は、例えばぼかし処理などの、境界があいまいとなるような処理である。これにより、ユーザ画像とモデル画像との境界があいまいとなり、不自然さを抑えることができる。すなわち、容易な処理で試着画面の品質の劣化を抑えることができる。
【0136】
プロセッサ11で試着モード処理111の提案処理114が実行され、プロセッサ51で試着モード処理511が実行されることによって、システム100では、図15に示された流れで提案処理が実行される。また、その処理の際に、図16に示される画面をユーザ装置5に表示させる。なお、図15の処理は、ユーザ装置5の入力装置59によってパターンの選択を受け付け、又は、パターンの提案を行うことが指示され、そのユーザ操作に従う操作信号がユーザ装置5から入力されることによって開始される。
【0137】
図15を参照して、処理装置1のプロセッサ11は、ユーザ画像DB122を参照してユーザ装置5から受信した上記の操作信号からユーザ装置5のユーザを特定し、ユーザ画像DB122からそのユーザの属性を抽出する(ステップS101)。また、プロセッサ11は、ユーザ装置5から受信した上記の信号から、マッチング度合を算出する対象となる特定のパターンを特定する(ステップS103)。
【0138】
次に、プロセッサ11は、ユーザ装置5に演算モデルの選択肢を提示する処理を実行する。すなわち、プロセッサ11は、ユーザ装置5に演算モデルの選択肢として表示させる演算モデルを選択し(ステップS105)、通信装置13に、選択した演算モデルを選択肢として表示させるためのデータをユーザ装置5に送信させる(ステップS107)。なお、図9の例では演算モデルはスタイリストに対応付けられたものとしており、ステップS107では一例として、スタイリストを選択してそのスタイリストを特定するデータをユーザ装置5に送信させるものとしている。
【0139】
ステップS107で通信装置13によって送信されたデータを受信したユーザ装置5では、ディスプレイ54に図示しないスタイリストを選択するための画面が表示される。この画面を用いて、ユーザ装置5のユーザは用いる演算モデルとして希望するスタイリストを選択することができる。
【0140】
なお、スタイリストを選択するための画面は、スタイリストごとに、スタイリング対象となるユーザの属性、スタイリングを手掛けた有名人、及び、活躍する雑誌などの媒体、などを特徴として示してもよい。これにより、ユーザは演算モデルを選択しやすくなる。
【0141】
処理装置1のプロセッサ11は、ユーザ装置5からスタイリストの選択結果を示す信号を受信すると(ステップS109でYES)、演算処理に用いる演算モデルをパターンテーブル123から選択する(ステップS113)。なお、上記の信号がユーザ装置5から所定時間入力されない場合、プロセッサ11は、予めデフォルト設定されている演算モデルを選択してもよい(ステップS111)。又は、以降の処理を行わずに一連の処理を終了してもよい。
【0142】
プロセッサ11は、選択された演算モデルとステップS101で抽出したユーザの属性とを用いて、そのユーザに対するステップS103で特定されたパターンのマッチング度合を算出する(ステップS115)。そして、プロセッサ11は、通信装置13に、算出結果をユーザ装置5に送信させる(ステップS117)。好ましくは、プロセッサ11は、さらに、試着画像を生成し(ステップS119)、通信装置13に、試着画像をユーザ装置5に送信させる(ステップS121)。
【0143】
ステップS117及びステップS121で通信装置13によって送信されたデータを受信したユーザ装置5では、ディスプレイ54に図16のような提示画面561が表示される。すなわち、図16を参照して、提示画面561は、マッチング度合を表示する領域562を含み、ステップS117で送信されたマッチング度合を表示する。なお、上記したように、マッチング度合そのものに替えて、又は、加えて、マッチング度合に応じて予め規定されているテキストや画像などが表示されてもよい。すなわち、マッチング度合を表すポイントの表示は必須ではない。
【0144】
これにより、ユーザ装置5のユーザは、特定のパターンについて、自身へのマッチング度合、つまり、自分に似合うか否かを知ることができる。さらに、その際に、好みのスタイリストによる自分に似合うかどうかの判断結果を知ることができる。
【0145】
好ましくは、提示画面561は、試着画像を表示する領域563を含み、ステップS121で送信された試着画像を表示する。これにより、ユーザ装置5のユーザは、特定のパターンを視覚的に確認することができる。また、実際に試着しなくても試着状態を視覚的に確認することができる。また、試着画像がマッチング度合とともに表示されることで、自分に似合うパターン、又は、似合わないパターンを視覚的に確認することもできる。
【0146】
好ましくは、提示画面561は、マッチング度合が算出された特定のパターンを構成する各服飾品についての購入指示を受け付けるためのボタン564をさらに含む。ボタン564は、特定のパターンを構成する服飾品ごとにあってもよい。この場合、ユーザ装置5のプロセッサ51は、ボタン564によって指示された服飾品ごとに、処理装置1に対して購入処理を指示する。処理装置1のプロセッサ11は、ユーザ装置5から上記の指示を受け付けると(ステップS123でYES)、購入処理113を実行する(ステップS125)。
【0147】
これにより、ユーザ装置5のユーザは、特定のパターンを構成する服飾品を容易に購入できる。たとえば、特定のパターンを構成する服飾品が同一の販売元の商品でない場合、通常は、各販売元の販売用サイトを調べて購入手続きを行う必要がある。これに対して、提示画面561にボタン564が設けられることによって、ユーザは提示画面561から各服飾品の購入処理を行うことができ、利便性が格段に高まる。
【0148】
好ましくは、提示画面561は、個別のボタン564に替えて、又は、加えて、図16に示されたように特定のパターンを構成する複数の服飾品すべてを一括して購入する指示を受け付けるためのボタン565をさらに含んでもよい。この場合、ユーザ装置5のプロセッサ51は、処理装置1に対して複数の服飾品すべてについての購入処理を指示する。これにより、ユーザは服飾品ごとに購入処理を指示する必要がなくなり、利便性が格段に高まる。
【0149】
通常の通信販売で服飾品を購入する場合、ユーザは表示画面を見て自分で似合うか否かを判断した上で購入する。そのため、購入後に実際に装着してから似合わないと感じる場合もあり得る。この場合、購入した服飾品が使用されなかったり、購入元に返品されたりする場合もあり得る。この点、本システム100では、算出されたマッチング度合に基づいて、特に、所望するスタイリストによるマッチング度合に基づいて購入を判断することができるため、購入後にユーザが似合わないと感じる可能性を低減できる。これにより、販売元に対する顧客の満足度の向上にも貢献し得る。
【0150】
他の例として、図17に示された流れで提案処理が実行されてもよい。なお、図17のステップS201は、図15のステップS101と同じである。図17の処理では、図15のステップS103で行われたマッチング度合を算出するパターンを特定する処理が行われず、予め規定された複数のパターンがマッチング度合を算出するパターンとされる。また、図15のステップS105~S113で行われた演算テーブルを特定するための処理が行われず、マッチング度合の算出には、登録されているすべての演算テーブル、又は、そのうちの規定された演算テーブルが用いられる。
【0151】
図17の処理では、ステップS215で複数パターンについてマッチング度合を算出すると、プロセッサ11は、算出したマッチング度合を用いてユーザに提示する1以上のパターンを選択し(ステップS216)、選択したパターンをマッチング度合の算出結果とともにユーザ装置5に送信させる(ステップS217)。なお、以降、ステップS219~S225では、図15のステップS119~S125と同じ処理が行われる。
【0152】
ステップS217で通信装置13によって送信されたデータを受信したユーザ装置5では、ディスプレイ54に図18のような提示画面571が表示される。図18は、ユーザに似合うと判定されるマッチング度合のパターンを1つのみ提示する画面であり、似合う1つのパターンをユーザに推薦する画面と言える。すなわち、提示画面571は、ユーザに推薦するパターンであることを表示する領域576を含む。図18の例では、領域576に「あなたに似合うコーディネート」と表記されて、推薦するパターンであることが示されている。以降、領域572,573は図16の領域562,563、ボタン574,575は図16のボタン564,565と同じである。
【0153】
これにより、ユーザ装置5のユーザは、複数パターンの中から、自身へのマッチング度合が高いもの、つまり、自分に似合うパターンを知ることができる。さらに、その際に、好みのスタイリストによる自分に似合うかどうかの判断に基づいた似合うパターンを知ることができる。
【0154】
なお、ユーザに似合わないパターンが選択される場合、提示画面571では、ユーザ装置5のユーザに似合わないパターンが表示される。これにより、ユーザは、複数パターンの中から、自分には似合わないパターンを知ることができる。
【0155】
<他の例1>
他の例として、図19に示された提示画面581のように、ユーザ装置5に複数のパターンが表示されてもよい。図19の画面例では、領域582に、算出されたマッチング度合が所定の条件を満たす複数のパターンが表示される。所定の条件は、例えば、マッチング度合が予め設定された閾値以上、などである。これにより、所定の程度以上、似合うと判定される複数のパターンが提示されることになる。
【0156】
服飾品の画像が上記のように、当該服飾品を装着したモデルの首から下の画像である場合、領域582でのパターンの表示は、一例として、ユーザの顔画像とモデルの首から下の画像との組み合せであってもよい。また、他の例として、ユーザの顔画像との組み合せを行うことなく、モデルの首から下の画像のみであってもよい。この場合、領域582の表示の中から選択された画像について、さらに、ユーザの顔画像と組み合せて表示されてもよい。なお、これら画像は、静止画であっても動画であってもよい。
【0157】
この場合、ユーザは、領域582に表示された複数のパターンの中から1以上のパターンを選択してもよい。図19の画面例では、領域583に、例えば、選択されたパターンについてマッチング度合の算出に用いた演算モデルや演算モデルに該当するスタイリストに関する情報などが表示される。その他、各服飾品の情報や試着画像などが表示されるようにしてもよい。また、図19の画面例には、選択されたパターンについて購入用のサイトの表示を指示するボタン584が表示されてもよい。
【0158】
<他の例2>
試着モードでユーザ装置5に表示される画面は、試着画像以外の画像を含んでもよい。ここで、試着画像は、少なくとも、ユーザが通常、試着時に見ることのできる範囲の画像であればよい。通常、試着時に見ることのできる範囲の画像とは、鏡で見ることのできる範囲の画像であって、ユーザが顔を正面に向けた範囲で鏡に映る範囲の画像を指す。この場合のモデル画像は、モデルの顔を正面とした状態で首から下の肢体のカメラに対する角度を変化した画像となり、第1のモデル画像とする。第1のモデル画像の首から下の領域を、正面から撮影したユーザの顔画像とともに表示した試着画像は、ユーザが試着して鏡に映して視認する画像と同じように見ることができる。
【0159】
好ましくは、第1のモデル画像には、同一の服飾品を装着したモデルを、正面以外の角度から撮影したモデル画像が関連付けられてモデル画像DB121に格納されている。正面以外の角度から撮影したモデル画像を第2のモデル画像と称する。第2のモデル画像は、例えば、モデルの背後から撮影した画像、つまり、カメラに対して後ろ向きのモデルの撮影画像である。より好ましくは、第1のモデル画像と第2のモデル画像とは、同一の装飾品を装着し、同一のポーズをとったモデルの正面からと正面以外の角度からとの撮影画像である。
【0160】
この場合、処理装置1のプロセッサ11は試着モード処理111において、第1のモデル画像の首から下の領域とユーザ画像の首から上の領域とをあわせて表示することで試着画像を生成してユーザ装置5に表示させるとともに、第1のモデル画像に対応付けてモデル画像DB121に格納されている第2のモデル画像もユーザ装置5に表示させる。つまり、試着モードでユーザ装置5に表示される画面は、試着画像の他、試着画像とは異なる、通常ユーザが鏡で見ない角度の画像をさらに含んでもよい。
【0161】
プロセッサ11がこのような処理を行うことで、ユーザ装置5のディスプレイ54には、第1のモデル画像を用いた試着画像と第2のモデル画像とが対応付けて表示される。対応付けた表示の一例として、図22に示された試着画面596が表示される。すなわち、図22を参照して、試着画面596は、第1のモデル画像を用いた試着画像を表示する領域597と、第2のモデル画像を表示する領域598とを含む。又は、対応付けた表示の他の例として、表示の切り替えの指示をボタンなどによって受け付け、第1のモデル画像を用いた試着画像と第2のモデル画像とを切り替えて表示してもよい。
【0162】
第2のモデル画像は第1のモデル画像とは異なる角度から撮影されたものであるため、このように対応付けて表示されることによって、ユーザ装置5のユーザは、自身の試着状態を正面から確認できるとともに、その他の角度からも確認できる。このとき、その他の角度は通常、鏡で映して見えない角度であるため、ユーザの顔でなくても違和感がない。つまり、第2のモデル画像は首から下の領域をユーザの顔部分と合成する試着画像を生成しなくても、違和感なく正面以外の画像として視認される。またその際に、第1のモデル画像と第2のモデル画像とが同じポーズとすると、より自然に試着画像をその他の角度から見ているような表示とすることができる。
【0163】
(レッスンモード)
【0164】
メモリ12のDBは、レッスンモード処理116で用いられるDBを含む。レッスンモード処理116で用いられるDBは、アドバイスDB124及びサポートDB125を含む。
【0165】
アドバイスDB124は、アドバイスデータを登録するデータベースである。アドバイスデータは、ユーザのヘルスケアに関する動作に対するサポーターからのアドバイスを表したデータを指す。アドバイスDB124には、アドバイスデータがユーザのヘルスケアに関する動作を識別する情報と対応付けて記憶されている。
【0166】
サポートDB125は、サポートデータを登録するデータベースである。サポートデータは、ユーザのヘルスケアに関する動作に対する指導画像をユーザ装置5のディスプレイ54に表示させるためのデータである。指導画像は、静止画でも動画でもよい。指導画像は、見本となる画像(以下、見本画像)を含む。見本画像は、一例として、ユーザ装置5のカメラ56によって撮影された撮影画像である。指導画像は、さらに、動作のポイントや、動作に適した商品の情報などの画像を含んでもよい。
【0167】
サポートデータには、ヘルスケアに関する動作の種類に対応した識別情報が付加されている。ヘルスケアに関する動作の種類は、例えば、運動と美容とがあり、さらに、運動の中に細かな運動の種類が含まれてもよい。
【0168】
図2を参照して、プロセッサ11が実行するレッスンモード処理116は、表示処理61、アドバイス生成処理62、及び、購入処理63を含む。
【0169】
表示処理61は、ユーザ装置5のディスプレイ54に指導画像を表示する処理を含む。指導画像に含まれる見本画像は、好ましくは動画である。より好ましくは、見本画像は、ユーザ装置5Bのカメラ56で撮影されたユーザBの動画の撮影画像である。この場合、表示処理61は、サポートDB125からユーザBの撮影画像を読み出して通信装置13に渡し、表示を指示する指示信号とともにユーザ装置5Aに送信させることを含む。これにより、ユーザ装置5Aに見本画像を含む指導画像が表示される。
なお、見本画像は、処理装置1のメモリ12に予め記憶されていてもよいし、通信網2(ダウンロード)を介して、ユーザ装置5Aのメモリ52に記憶してもよい。通信網2(ダウンロード)を利用することで、見本画像を更新することができる。
また、見本画像は、複数あることが好ましい。例えば、動作の内容がそれぞれ異なる動作をしているものであってもよいし、動作の内容は同じ動作であるがそれぞれ速さが異なるものであってもよい。異なる速さとは、例えば、通常の速さ(通常速度)、通常の速さよりも低速(ゆっくり速度)、通常の速さよりも高速(速め速度)である。
【0170】
ユーザ装置5Aに指導画像が表示されることで、ユーザAは、指導画像に含まれる見本画像を見ながらヘルスケアに関する動作を行うことができる。例えば、ヘルスケアに関する動作がスポーツの動作である場合、ユーザAは、インストラクターであるユーザBの動作をユーザ装置5Aのディスプレイ54で表示させてそれを見ながら、その動作を模倣してスポーツの動作を行うことができる。これにより、ユーザAは、あたかもユーザBと一緒にスポーツの動作をしているような感覚となり、動作がしやすくなる。
【0171】
また、ヘルスケアに関する動作が美容マッサージ動作である場合も、ユーザAは、エステティシャンであるユーザBの動作をユーザ装置5Aのディスプレイ54で表示させてそれを見ながら、その動作を模倣して美容マッサージ動作を行うことができる。これにより、ユーザAは、あたかもユーザBと一緒に美容マッサージを行っているような感覚となり、効果的な美容マッサージとなり得る。
【0172】
また、表示処理61は、ユーザ装置5のディスプレイ54に動作中画像を表示する処理を含む。動作中画像は、ユーザ装置5Aのカメラ56によって撮影された、ヘルスケアに関する動作を行っているユーザAの撮影画像を表示する処理である。
【0173】
表示処理61は、ユーザ装置5Aから撮影画像を取得し、表示を指示する指示信号とともに通信装置13に渡し、ユーザ装置5Bに送信させることを含む。これにより、ユーザ装置5Bのディスプレイ54に動作中画像が表示される。その結果、インストラクターであるユーザBは、ユーザ装置5Bのディスプレイ54の表示によって、ユーザAの行っているヘルスケアに関する動作を見ることができる。そのため、ユーザBは、入力装置59を用いて、ユーザAの動作に対してアドバイスを入力することができる。
【0174】
好ましくは、表示処理61は、さらに、動作中画像をユーザ装置5Aのディスプレイ54に表示することを含む。これにより、ユーザ装置5Aのディスプレイ54には、見本画像と動作中画像とが併せて表示される。そのため、ユーザAは、自身の動作をユーザBの動作と比較でき、効果的に動作することができる。
【0175】
アドバイス生成処理62は、ユーザ装置5Bからの指示に応じてユーザ装置5Aに送信するアドバイスデータを生成する処理であって、アドバイスDB124から該当するアドバイスを読出し、ユーザ装置5Aに送信する形式に生成する処理を含む。アドバイスデータは、ユーザ装置5Aから、ユーザAの動作に対するアドバイスを出力させるためのデータである。アドバイスの出力は、表示でも音声でもその組み合わせもよい。ユーザ装置5Aに送信する形式に生成する処理は、例えば、特定の表示画像を付加したり、特定の音声を付加したりする処理である。
【0176】
アドバイス生成処理62は、さらに、生成したアドバイスデータを、出力を指示する指示信号とともに通信装置13に渡し、ユーザ装置5Aに送信させることを含む。このため、ユーザ装置5Aからアドバイスが出力される。出力されるアドバイスは表示や音声やその組み合わせなどである。これにより、ユーザAは、ヘルスケアに関する動作を行いながら、その動作に対するアドバイスをユーザ装置5Aから得ることができる。その結果、ユーザAは、インストラクターであるユーザBから遠隔でアドバイスを得ながらヘルスケアに関する動作を行うことができる。
【0177】
購入処理63は、指導画像に含まれる商品等のうち、ユーザ装置5から指示された商品等を購入するための処理である。購入処理63は、ユーザ装置5から購入の指示を受け付けて、予め記憶している販売用の装置に対して購入に必要な情報を送信することを含む。
【0178】
プロセッサ11でレッスンモード処理116が実行され、プロセッサ51でレッスンモード処理514が実行されることによって、システム100は、図20に示された流れでレッスンモードが動作する。すなわち、図20を参照して、レッスンモードが開始すると、ユーザ装置5A,5Bともに、カメラ56による撮影が行われ(ステップS81-1,S81-2)、撮影データが処理装置1に送信される(ステップS83-1,S83-2)。
【0179】
ユーザ装置5Aのカメラ56で撮影される画像は、ユーザAによるヘルスケアに関する動作の撮影画像であって、動作中画像である。ユーザ装置5Bのカメラ56で撮影される画像は、ユーザBによるヘルスケアに関する動作の撮影画像であって、見本画像である。
【0180】
処理装置1のプロセッサ11は、これら撮影データを用いて表示処理61を実行する(ステップS84)。処理によって生成された表示データは、処理装置1からユーザ装置5に送信される(ステップS85-1,S85-2)。これにより、ユーザ装置5には画面が表示される(ステップS87-1,S87-2)。
【0181】
ステップS87-1では、例えば図21に示されるような画面591が表示される。図21は、ヘルスケアに関する動作としてフィットネス動作を行っている場合の、ユーザ装置5Aに表示される画面を表している。
【0182】
図21を参照して、画面591は、見本画像を表示する領域592と、動作中画像を表示する領域593と、を含む。この画面591を表示させる場合、プロセッサ11はステップS84にて、ステップS83-1で得た撮影データを領域593に配置し、ステップS83-2で得た撮影データを領域592に配置し、表示させる。これにより、ユーザAは、遠隔で見本画像を見ながらフィットネス動作を行うことができる。また、見本画像と自身の動作とを比較しながらフィットネス動作を行うことができる。なお、動作中の画像の表示は必ずしも行われなくてもよい。この場合、画面591には領域593は含まれない。
【0183】
ステップS87-2では、ユーザ装置5Bに、少なくともユーザ装置5Aからの撮影データに基づく動作中画像が表示される。これにより、ユーザBは、遠隔でユーザAのヘルスケアに関する動作を見ることができる。
【0184】
図20において、ステップS81-1~S87-2の処理は、レッスンモード中、繰り返される。これにより、ユーザAはリアルタイムに見本画像を見ることができるとともに、ユーザBはリアルタイムに動作中画像を見ることができる。
【0185】
なお、図20では、指導画像に含まれる見本画像がユーザ装置5Bのカメラ56によって撮影されたユーザBの動作の撮影画像であるものとしているが、見本画像はユーザBの撮影画像に限定されず、他の画像であってもよい。例えば、処理装置1のメモリ12に予め記憶されている画像であってもよい。その場合、図20のステップS81-2,S83-2の処理はスキップされる。
【0186】
ユーザ装置5Bのプロセッサ51は、ユーザBによるアドバイスの入力を受け付けると(ステップS89)、入力データを処理装置1に送信する(ステップS91)。処理装置1のプロセッサ11は、受信した入力データからアドバイスデータを生成し、アドバイスDB124に格納する(ステップS93)。
【0187】
処理装置1のプロセッサ11は、アドバイスDB124に格納されたアドバイスデータを特定のタイミングでユーザ装置5Aに送信し(ステップS95)、出力させる。特定のタイミングは、例えば、ステップS91でユーザ装置5Bから入力データを受信してすぐである。また、特定のタイミングは、ユーザBによって指定されたタイミングであってもよい。
【0188】
処理装置1からアドバイスデータを受信すると、ユーザ装置5Aからは、アドバイスデータに基づくアドバイスが出力される(ステップS97)。図21の例では、スピーカ55から音声によるアドバイス595が出力されている。これにより、ユーザAは、遠隔でアドバイスを得ながらヘルスケアに関する動作を行うことができる。
【0189】
指導画像に商品等の広告画像が含まれている場合、指導画像には、さらに、商品等の購入を受け付けるボタンが含まれていてもよい。図21の例の場合、購入サイトの表示を指示するボタン594が含まれている。この場合、ユーザ装置5Aのプロセッサ51は、購入を指示するユーザ操作を受け付けると(ステップS99)、操作に基づいた指示データを処理装置1に送信する(ステップS131)。
【0190】
ユーザ装置5Aから上記の指示データを受信すると、処理装置1のプロセッサ11は購入処理63を実行する(ステップS133)。これにより、処理装置1から商品等の購入用データが購入処理を行う装置に送信され(ステップS135)、購入処理が指示される。これにより、ユーザは、ヘルスケアに関する動作において希望する商品等を容易な操作によって購入することができる。
【0191】
なお、上の例では、指導画像やアドバイスがユーザ装置5Bで撮影された撮影画像やユーザ装置5Bに対してユーザBが入力したデータに基づくものであるとしている。他の例として、サポートDB125やアドバイスDB124に予め登録されているデータをプロセッサ11が自動的に選択し、ユーザ装置5Aに送信するものであってもよい。この場合、プロセッサ11の実行するレッスンモード処理116は、サポートDB125やアドバイスDB124から該当するデータを選択することを含む。
【0192】
データの選択は、例えば、ユーザAの特性に基づいて行われてもよい。この場合、サポートDB125やアドバイスDB124には、ユーザAの特性に関連付けてデータが登録されている。そして、プロセッサ11は、ユーザAの特性に基づいてデータを選択する。ユーザAの特性は、例えば、ユーザ装置5Aから受信したユーザAの撮影画像から特定されてもよいし、ユーザ装置5Aに対して入力を要求してもよい。また、他の装置から取得されてもよい。
【0193】
指導画像(見本画像)を見ながらフィットネス動作を行う場合を例にして詳しく説明する。ユーザAは、フィットネスの動作をする前にユーザの身体情報(例えば、脈拍、心拍、発汗量など)を取得することができる身体情報取得装置W(図23参照)を装着する。身体情報取得装置Wは、腕に装着可能なリストバンド型のウェアラブル機器であることが好ましい。なお、身体情報取得装置Wは、ユーザの身体情報を取得することができるものであれば、どのようなものであってもよい。
身体情報取得装置Wは、通信機能(図示せず)を備えている。通信機能は、好ましくはBluetooth(登録商標)である。身体情報取得装置Wは、Bluetooth(登録商標)によりユーザ装置5の通信装置53と通信することができる。ユーザ装置5の通信装置53と通信することにより、身体情報取得装置Wで取得したユーザAの身体情報をユーザ装置5に送信することができる。なお、通信機能については一例であり、ユーザ装置5の通信装置53と通信できる形式であればどのようなものであってもよい。
【0194】
ユーザAは、身体情報取得装置Wを装着した状態で、ユーザ装置5Aのディスプレイ54に指導画像(インストラクターであるユーザBのフィットネスの動作)を通常の速度で表示する。ユーザAは、表示された指導画像に合わせて動作を開始する。動作することにより、ユーザAの心拍数は、動作前の状態と比べて徐々に速くなる。身体情報取得装置Wは、ユーザAの心拍数を経時的に取得している。そのため、ユーザAの心拍数がある一定の閾値を越えたことを検知すると、表示中の指導画像の動作の速度を変更するかどうかユーザAに対して報知する。また、表示中の指導画像の動作の速度を変更するかどうかユーザAに対して報知するのに同期して、ユーザAの身体情報(例えば、現在の心拍数など)に対する報知をするように構成してもよい。なお、一定の閾値については、ユーザAの性別や年代に応じて変更できるように構成されていることが好ましい。そうすることで、実際に使用するユーザAに適した状態を反映させることができる。
【0195】
報知方法は、スピーカ55から音声を出力する方法が好ましい。例えば、「心拍数が150を越えました。身体にかかる負荷が大きくなってきています。動作の速度を変更しますか?」というものである。なお、音声の内容は一例であり、ユーザAに報知することができる内容であれば、どのような内容であってもよい。また、ディスプレイ54上に文字として表示する方法であってもよい。例えば、「現在の心拍数:150。アドバイス:身体にかかる負荷が大きくなってきています。動作の速度を変更しますか?」というものである。なお、表示の内容は一例であり、ユーザAに報知することができる内容であれば、どのような内容であってもよい。また、スピーカ55による音声とディスプレイ54による表示を一緒に行ってもよい。
【0196】
ユーザAは、報知された内容に基づいて、指導画像の速度を変更するかどうか判断する。指導画像の速度を変更した方がよいと判断した場合、ユーザ装置5Aを操作し、指導画像の速度を変更(通常速度からゆっくり速度に変更)する。指導画像の速度を変更しなくてもよいと判断した場合、ユーザ装置5Aを操作せず、そのまま動作を続ける。
ユーザ装置5Aは、ユーザAの操作により、指導画像の速度の変更命令を受け付けると、ユーザ装置5Aのメモリ52に記憶されている指導画像(通常速度、ゆっくり速度、速め速度)の中から、現在、ディスプレイ54上に表示している指導画像の種類を判断(例えば、通常速度)し、操作命令の内容(例えば、ゆっくり速度に変更命令)と照合し、メモリ52に記憶されている指導画像の中から操作命令に対応したゆっくり速度を呼び出し、ディスプレイ54上に表示する。なお、ユーザ装置5Aのメモリ52に指導画像が記憶されている場合について説明したが、処理装置1のメモリ12に指導画像が記憶されていてもよい。処理装置1のメモリ12に指導画像が記憶されている場合、ユーザAの操作により、指導画像の速度の変更命令を受け付けると、処理装置1のメモリ12に記憶されている指導画像(通常速度、ゆっくり速度、速め速度)の中から、現在、ディスプレイ54上に表示している指導画像の種類を判断(例えば、通常速度)し、操作命令の内容(例えば、ゆっくり速度に変更命令)と照合し、メモリ52に記憶されている指導画像の中から操作命令に対応したゆっくり速度を呼び出し、通信網2を介してユーザ装置5Aに送信し、ユーザ装置5Aのディスプレイ54上に表示する。
【0197】
また、ユーザAの心拍数がある一定の閾値を越えたことを検知すると、ユーザ装置5Aのディスプレイ54上に表示中の指導画像の速度を変更せず、ユーザAの心拍数がある一定の閾値を越えたこと報知するように構成してもよい。ユーザAは、報知された内容に基づいて、実行中のフィットネスの動作を継続するか中止するかを判断する。
例えば、ある一定の閾値として、心拍数140を設定する。ユーザAは、ユーザ装置5Aのディスプレイ54上に表示された指導画像に合わせてフィットネスの動作を行う。ユーザAは、身体情報取得装置Wを装着している。そのため、ユーザ装置5Aは、フィットネスの動作を実行中のユーザAの心拍数が140を越えたことを検知すると、ディスプレイ54上に、「注意!心拍数が上昇しています。フィットネスの動作を継続しますか?中止しますか?」と表示する。ユーザAは、ユーザ自身のコンディションを考慮し、フィットネスの動作を継続するか、中止するか選択する。
【0198】
ユーザAが「中止」を選択した場合、ディスプレイ54上に表示されている指導画像が停止し、フィットネスの動作を終了する。なお、フィットネスの動作を終了する際、ディスプレイ54上に、「お疲れ様でした。明日も頑張りましょう!」といった表示をしてもよい。
ユーザAが「継続」を選択した場合、ディスプレイ54上に表示中の報知内容が消え、指導画像が引き続き表示される。なお、所定時間経過後に、同じ報知内容をディスプレイ54上に再度表示するようにしてもよいし、異なる報知内容(例えば、「警告!心拍数が上昇した状態が続いています。フィットネスの動作を継続しますか?中止しますか?」)を表示するようにしてもよい。また、報知内容をディスプレイ54の端にワイプ状に表示し続けるようにしてもよい。なお、ある一定の閾値は、ユーザAの性別や年代に応じて変更可能である。
【0199】
また、ユーザAの心拍数がある一定の閾値に近づいたことを検知すると、ユーザ装置5Aのディスプレイ54上に表示中の指導画像を一時停止し、スピーカ55から音声によりユーザAに対して報知するようにしてもよい。例えば、ある一定の閾値として、心拍数140を設定する。ユーザAは、ユーザ装置5Aのディスプレイ54上に表示された指導画像に合わせてフィットネスの動作を行う。ユーザAは、身体情報取得装置Wを装着している。そのため、ユーザ装置5Aは、フィットネスの動作を実行中のユーザAの心拍数が140に近づいた(例えば、心拍数130)ことを検知すると、表示中の指導画像を一時停止し、ユーザAに対して、スピーカ55から、「負荷が強いようです。少し休憩しませんか。」と報知を行う。スピーカ55による報知終了後、ディスプレイ54上に「再開する/再開しない」と表示する。ユーザAは、ユーザ自身のコンディションを考慮し、フィットネスの動作を再開するか、再開しないか選択する。
【0200】
ユーザAが「再開しない」を選択した場合、一時停止中の指導画像が終了し、フィットネスの動作を終了する。なお、フィットネスの動作を終了する際、ディスプレイ54上に、「お疲れ様でした。明日も頑張りましょう!」といった表示をしてもよい。
ユーザAが「再開する」を選択した場合、一時停止していた指導画像が再開し引き続き表示される。なお、所定時間経過後に、指導画像を一時停止し、同じ報知内容をスピーカ55から報知するようにしてもよい。なお、ある一定の閾値は、ユーザAの性別や年代に応じて変更可能である。
【0201】
本実施例においては、ユーザAがフィットネスの動作を再開するかどうかを選択する場合について説明したが、フィットネスの動作を再開するかどうかをユーザ装置5A又は処理装置1が自動的に判断するように構成してもよい。例えば、心拍数がある一定の閾値を下回ったことを検知すると、ユーザ装置5Aのディスプレイ54上に「休憩できましたか。フィットネスの動作を再開しましょう。まもなく一時停止していた指導画像を再生します。」と表示することでユーザAに対して報知を行い、その後、一時停止していた指導画像を再生する。なお、ディスプレイ54上への表示に同期してスピーカ55から、同じ内容を報知するように構成してもよい。
そうすることで、ユーザAに対して、これからフィットネスの動作が再開することを報知させることができるため、ユーザAは、フィットネスの動作を再開するための準備を整えることができる。
【0202】
ヘルスケアに基づく動作がメイクや顔の美容マッサージである場合、ユーザAの特性は、例えば、顔の形である。この場合、一例として、プロセッサ11は、ユーザ装置5Aから受信したユーザAの撮影画像よりユーザAの顔の形を認識し、顔の形に対応付けてサポートDB125やアドバイスDB124に記憶されているデータの中から認識されたユーザAの顔の形に対応したデータを選択する。なお、顔の形は、ユーザAがユーザ装置5Aに入力し、処理装置1に送信されるデータに含まれてもよい。これにより、レッスンモードでは、ユーザAの顔の形に応じたメイクや顔の美容マッサージがユーザAに対して指導画像として表示されたり、アドバイスとして出力されたりする。その結果、ユーザAは、自身に適した指導を受けながらメイクや顔の美容マッサージを行うことができる。
【0203】
[第2の実施の形態]
【0204】
以上の例では、本システム100の制御は処理装置1のプロセッサ11によって行われ、ユーザ装置5は、処理装置1からの制御信号に従って各動作モードでの処理を行っている。他の例として、ユーザ装置5のプロセッサ51が処理装置1のプロセッサ11が実行するとされた処理の少なくとも一部を実行してもよい。または、ユーザ装置5のプロセッサ51がすべての処理を行うようにしてもよい。例えば、試着モードにおける表示処理112はプロセッサ51によって行われてもよい。この場合、プロセッサ51は処理装置1からモデル画像を取得し、試着画像を生成してディスプレイ54に表示させる、などを行ってもよい。これにより、処理装置1の構成を容易にすることができる。
【0205】
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0206】
1 :処理装置
2 :通信網
5 :ユーザ装置
5A :ユーザ装置
5B :ユーザ装置
6 :固定具
11 :プロセッサ
12 :メモリ
13 :通信装置
21 :選択処理
22 :抽出処理
23 :配置処理
24 :サイズ変更処理
25 :境界加工処理
31 :モデル画像
32 :ユーザ画像
41 :属性抽出処理
42 :第1提示処理
43 :算出処理
44 :テーブル選択処理
45 :第2提示処理
50 :制御装置
51 :プロセッサ
52 :メモリ
53 :通信装置
54 :ディスプレイ
55 :スピーカ
56 :カメラ
57 :マイク
58 :センサ
59 :入力装置
61 :表示処理
62 :アドバイス生成処理
63 :購入処理
81 :縦長画像用プログラム
81A :縦長画像表示処理
81B :横長画像表示処理
82 :横長画像用プログラム
100 :システム
111 :試着モード処理
112 :表示処理
113 :購入処理
114 :提案処理
115 :判定処理
116 :レッスンモード処理
117 :スタイリスト選択処理
118 :絵画モード処理
119 :TVモード処理
121 :モデル画像DB
122 :ユーザ画像DB
123 :パターンテーブル
124 :アドバイスDB
125 :サポートDB
126 :試着モードプログラム
127 :レッスンモードプログラム
128 :絵画モードプログラム
129 :TVモードプログラム
311 :表示領域
321 :表示領域
511 :試着モード処理
514 :レッスンモード処理
517 :絵画モード処理
518 :TVモード処理
519 :検出処理
521 :試着モードプログラム
522 :レッスンモードプログラム
523 :絵画モードプログラム
524 :TVモードプログラム
540 :画面
541 :領域
542 :領域
545 :選択用画面
547 :ボタン
548 :領域
549 :所定範囲
561 :提示画面
562 :領域
563 :領域
564 :ボタン
565 :ボタン
571 :提示画面
572 :領域
573 :領域
574 :ボタン
575 :ボタン
576 :領域
581 :提示画面
582 :領域
583 :領域
584 :ボタン
591 :画面
592 :領域
593 :領域
594 :ボタン
595 :アドバイス
596 :試着画面
597 :領域
598 :領域
BO :境界線
C :被写体
CA :カメラ
L :距離
P1 :パターン
P2 :パターン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23