知財求人 - 知財ポータルサイト「IP Force」
▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022177492
(43)【公開日】2022-12-01
(54)【発明の名称】情報処理方法及び情報処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20221124BHJP
G06F 3/01 20060101ALI20221124BHJP
G06Q 50/10 20120101ALI20221124BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021083779
(22)【出願日】2021-05-18
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100118049
【弁理士】
【氏名又は名称】西谷 浩治
(72)【発明者】
【氏名】泉 裕子
(72)【発明者】
【氏名】小西 一暢
(72)【発明者】
【氏名】浦部 弘章
【テーマコード（参考）】
5B050
5E555
5L049
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050DA01
5B050EA07
5B050EA12
5B050EA19
5B050FA02
5E555AA13
5E555AA27
5E555AA71
5E555BA02
5E555BB02
5E555BC04
5E555BC17
5E555BE08
5E555BE17
5E555CA42
5E555CB66
5E555CC01
5E555DB32
5E555DB53
5E555DC21
5E555DC84
5E555EA22
5E555FA00
5L049CC12
(57)【要約】
【課題】ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することができる技術を提供する。
【解決手段】サーバ１は、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、設備モジュールを配置する空間の寸法と、空間における設備モジュールの配置位置とを示す空間情報を取得し、身体的特徴とモジュールデータと空間情報とに基づいて、空間に配置する第１設備モジュールを決定し、決定した第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、第１モジュールオブジェクトを提示装置２に仮想的に提示させる。
【選択図】図１
【解決手段】サーバ１は、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、設備モジュールを配置する空間の寸法と、空間における設備モジュールの配置位置とを示す空間情報を取得し、身体的特徴とモジュールデータと空間情報とに基づいて、空間に配置する第１設備モジュールを決定し、決定した第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、第１モジュールオブジェクトを提示装置２に仮想的に提示させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータが、
ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、
住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、
前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得し、
前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定し、
決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、
前記第１モジュールオブジェクトを提示装置に仮想的に提示させる、
情報処理方法。
ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、
住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、
前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得し、
前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定し、
決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、
前記第１モジュールオブジェクトを提示装置に仮想的に提示させる、
情報処理方法。
【請求項2】
さらに、提示された前記第１モジュールオブジェクトに対する前記ユーザの動作又は姿勢をセンシングして取得される第２センシングデータを取得し、
さらに、前記第２センシングデータから検出される動作又は姿勢に基づき前記身体的特徴を補正し、
前記第１設備モジュールの決定において、補正した前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１に記載の情報処理方法。
さらに、前記第２センシングデータから検出される動作又は姿勢に基づき前記身体的特徴を補正し、
前記第１設備モジュールの決定において、補正した前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１に記載の情報処理方法。
【請求項3】
さらに、前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第２設備モジュールを決定し、
さらに、決定した前記第２設備モジュールを仮想的に提示するための第２モジュールオブジェクトを生成し、
さらに、前記第２モジュールオブジェクトを前記提示装置に提示させ、
さらに、前記第２モジュールオブジェクトに対する前記ユーザの動作又は姿勢をセンシングして取得される前記第１センシングデータを取得する、
請求項１に記載の情報処理方法。
さらに、決定した前記第２設備モジュールを仮想的に提示するための第２モジュールオブジェクトを生成し、
さらに、前記第２モジュールオブジェクトを前記提示装置に提示させ、
さらに、前記第２モジュールオブジェクトに対する前記ユーザの動作又は姿勢をセンシングして取得される前記第１センシングデータを取得する、
請求項１に記載の情報処理方法。
【請求項4】
さらに、決定した前記第２設備モジュールの形状と、前記身体的特徴とを比較し、
さらに、比較結果を前記ユーザに通知するための通知情報を生成し、
さらに、前記通知情報を前記提示装置に提示させる、
請求項３記載の情報処理方法。
さらに、比較結果を前記ユーザに通知するための通知情報を生成し、
さらに、前記通知情報を前記提示装置に提示させる、
請求項３記載の情報処理方法。
【請求項5】
前記第１モジュールオブジェクトの提示において、前記第１モジュールオブジェクトを拡張現実又は複合現実として提示させる、
請求項１～４のいずれか１項に記載の情報処理方法。
請求項１～４のいずれか１項に記載の情報処理方法。
【請求項6】
前記設備モジュールには、金額、納品日数、ゴミ排出量及び前記空間への搬入方法が予め対応付けられており、
前記金額、前記納品日数、前記ゴミ排出量及び前記搬入方法のうちの前記ユーザが優先する優先事項が予め設定されており、
前記第１設備モジュールの決定において、前記身体的特徴と前記モジュールデータと前記空間情報と前記優先事項とに基づいて、前記第１設備モジュールを決定する、
請求項１～５のいずれか１項に記載の情報処理方法。
前記金額、前記納品日数、前記ゴミ排出量及び前記搬入方法のうちの前記ユーザが優先する優先事項が予め設定されており、
前記第１設備モジュールの決定において、前記身体的特徴と前記モジュールデータと前記空間情報と前記優先事項とに基づいて、前記第１設備モジュールを決定する、
請求項１～５のいずれか１項に記載の情報処理方法。
【請求項7】
さらに、前記ユーザの年齢を取得し、
さらに、所定年数経過後の経年変化した前記身体的特徴を予測し、
前記第１設備モジュールの決定において、予測した前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１～６のいずれか１項に記載の情報処理方法。
さらに、所定年数経過後の経年変化した前記身体的特徴を予測し、
前記第１設備モジュールの決定において、予測した前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１～６のいずれか１項に記載の情報処理方法。
【請求項8】
前記身体的特徴の取得において、前記空間を利用する複数のユーザの前記身体的特徴を取得し、複数の身体的特徴の論理積を算出し、
前記第１設備モジュールの決定において、算出した前記複数の身体的特徴の前記論理積と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１～７のいずれか１項に記載の情報処理方法。
前記第１設備モジュールの決定において、算出した前記複数の身体的特徴の前記論理積と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１～７のいずれか１項に記載の情報処理方法。
【請求項9】
前記身体的特徴の取得において、前記空間を利用する複数のユーザの前記身体的特徴を取得し、複数の身体的特徴の論理和を算出し、
前記第１設備モジュールの決定において、算出した前記複数の身体的特徴の前記論理和と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１～７のいずれか１項に記載の情報処理方法。
前記第１設備モジュールの決定において、算出した前記複数の身体的特徴の前記論理和と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定する、
請求項１～７のいずれか１項に記載の情報処理方法。
【請求項10】
ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得する第１取得部と、
住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得する第２取得部と、
前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得する第３取得部と、
前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定する決定部と、
決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成する生成部と、
前記第１モジュールオブジェクトを提示装置に仮想的に提示させる提示部と、
を備える情報処理システム。
住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得する第２取得部と、
前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得する第３取得部と、
前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定する決定部と、
決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成する生成部と、
前記第１モジュールオブジェクトを提示装置に仮想的に提示させる提示部と、
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、空間内に配置される設備モジュールを仮想的に提示させる技術に関するものである。
【背景技術】
【0002】
例えば、特許文献１には、実空間のセンシングに基づいて生成される仮想空間内に配置されるオブジェクトを適切に決定することが可能な情報処理装置が開示されている。
【0003】
特許文献１の情報処理装置は、第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて第１のユーザと第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部を備えている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１８／０９２３８４号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することが困難であり、更なる改善が必要とされていた。
【0006】
本開示は、上記の問題を解決するためになされたもので、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することができる技術を提供することを目的とするものである。
【課題を解決するための手段】
【0007】
本開示に係る情報処理方法は、コンピュータが、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得し、前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定し、決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、前記第１モジュールオブジェクトを提示装置に仮想的に提示させる。
【発明の効果】
【0008】
本開示によれば、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することができる。
【図面の簡単な説明】
【0009】
【図1】本開示の実施の形態１における画像提示システムの構成の一例を示す図である。
【図2】本開示の実施の形態１におけるサーバの構成の一例を示す図である。
【図3】本開示の実施の形態１における提示装置の構成の一例を示す図である。
【図4】本開示の実施の形態１におけるサーバによる身体的特徴抽出処理について説明するためのフローチャートである。
【図5】包丁で食べ物を切る動作に対応する身体的特徴について説明するための模式図である。
【図6】フライパンで調理する動作に対応する身体的特徴について説明するための模式図である。
【図7】高所に手を伸ばす動作に対応する身体的特徴について説明するための模式図である。
【図8】本開示の実施の形態１におけるサーバによるオブジェクト提示処理について説明するための第１のフローチャートである。
【図9】本開示の実施の形態１におけるサーバによるオブジェクト提示処理について説明するための第２のフローチャートである。
【図10】本実施の形態１において、提示装置に表示される第１モジュールオブジェクトの一例を示す図である。
【図11】本実施の形態１において、補正された身体的特徴に基づいて提示装置に表示される第１モジュールオブジェクトの一例を示す図である。
【図12】本開示の実施の形態２におけるサーバの構成の一例を示す図である。
【図13】本開示の実施の形態２におけるサーバによるオブジェクト提示処理について説明するための第１のフローチャートである。
【図14】本開示の実施の形態２におけるサーバによるオブジェクト提示処理について説明するための第２のフローチャートである。
【図15】本開示の実施の形態２におけるサーバによるオブジェクト提示処理について説明するための第３のフローチャートである。
【図16】本実施の形態２において、提示装置に表示される第２モジュールオブジェクトを見ながらユーザによって行われる所定の動作の一例を示す図である。
【図17】本実施の形態２において、提示装置に表示される第１モジュールオブジェクトの一例を示す図である。
【図18】本実施の形態２の変形例において、提示装置に表示される第２モジュールオブジェクト及び通知情報の一例を示す図である。
【図19】本実施の形態２の変形例において、提示装置に表示される第１モジュールオブジェクト及び通知情報の一例を示す図である。
【図20】本実施の形態１，２の変形例１において、標準モジュールＤＢに記憶されるモジュールデータの一例を示す図である。
【図21】本実施の形態１，２の変形例２において、提示装置に表示される第１モジュールオブジェクトの一例を示す図である。
【図22】本実施の形態１，２の変形例３において、提示装置に表示される第１モジュールオブジェクトの一例を示す図である。
【図23】本実施の形態１，２の変形例４において、提示装置に表示される第１モジュールオブジェクトの一例を示す図である。
【発明を実施するための形態】
【0010】
（本開示の基礎となった知見）
従来の情報処理装置は、第１の実空間の入力部から受信されるストリームに含まれる第１の実オブジェクトの３Ｄデータと、第２の実空間の入力部から受信されるストリームに含まれる第２の実オブジェクトの３Ｄデータとを、共有オブジェクトとして共有空間内にそれぞれ配置することにより、共有空間を生成し、生成した共有空間に基づいて自由視点のコンテンツを生成し、当該コンテンツを各実空間の出力部へそれぞれ送信している。
従来の情報処理装置は、第１の実空間の入力部から受信されるストリームに含まれる第１の実オブジェクトの３Ｄデータと、第２の実空間の入力部から受信されるストリームに含まれる第２の実オブジェクトの３Ｄデータとを、共有オブジェクトとして共有空間内にそれぞれ配置することにより、共有空間を生成し、生成した共有空間に基づいて自由視点のコンテンツを生成し、当該コンテンツを各実空間の出力部へそれぞれ送信している。
【0011】
上記のように、従来の情報処理装置では、第１の実空間及び第２の実空間に存在する第１の実オブジェクトに対応する第１の仮想オブジェクト及び第２の実オブジェクトに対応する第２の仮想オブジェクトが第１の実空間及び第２の実空間それぞれの出力部に提示されることが開示されているが、ユーザの身体的特徴に応じたオブジェクトが提示されることについては開示されていない。
【0012】
例えば、ユーザが家を新築又は改修する場合、ユーザは新築された家又は改修された家に実際には住んでいないため、事前に新たな住宅設備などの使用感を確認することができない。従来技術では、ユーザの身体的特徴に応じたオブジェクトが提示されることについては開示されていないため、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することが困難であった。
【0013】
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータが、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得し、前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定し、決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、前記第１モジュールオブジェクトを提示装置に仮想的に提示させる。
【0014】
この構成によれば、ユーザの身体的特徴に応じた第１設備モジュールが決定され、決定された第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトが提示装置に提示される。したがって、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することができる。また、ユーザは、実際に設備モジュールが空間内に配置される前に、仮想的に提示された設備モジュールの使用感を確認することができる。
【0015】
また、上記の情報処理方法において、さらに、提示された前記第１モジュールオブジェクトに対する前記ユーザの動作又は姿勢をセンシングして取得される第２センシングデータを取得し、さらに、前記第２センシングデータから検出される動作又は姿勢に基づき前記身体的特徴を補正し、前記第１設備モジュールの決定において、補正した前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定してもよい。
【0016】
この構成によれば、仮想的に提示された第１モジュールオブジェクトを利用しているユーザの動作又は姿勢に基づき身体的特徴が補正され、補正された身体的特徴に応じて第１設備モジュールが決定されるので、ユーザの身体的特徴により適した設備モジュールを仮想的に提示することができる。
【0017】
また、上記の情報処理方法において、さらに、前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第２設備モジュールを決定し、さらに、決定した前記第２設備モジュールを仮想的に提示するための第２モジュールオブジェクトを生成し、さらに、前記第２モジュールオブジェクトを前記提示装置に提示させ、さらに、前記第２モジュールオブジェクトに対する前記ユーザの動作又は姿勢をセンシングして取得される前記第１センシングデータを取得してもよい。
【0018】
この構成によれば、まず、モジュールデータと空間情報とに基づいて、空間に配置する第２設備モジュールが決定され、決定された第２設備モジュールを仮想的に提示するための第２モジュールオブジェクトが提示装置に提示される。この第２設備モジュールは、ユーザの身体的特徴を考慮したものではない。続いて、第２モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして取得される第１センシングデータが取得され、第１センシングデータに基づく身体的特徴が取得される。身体的特徴に応じた第１設備モジュールが決定され、決定された第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトが提示装置に提示される。この第１設備モジュールは、ユーザの身体的特徴を考慮したものである。
【0019】
したがって、ユーザの身体的特徴を考慮していない第２設備モジュールを表す第２モジュールオブジェクトが仮想的に提示され、第２モジュールオブジェクトを利用しているユーザの動作又は姿勢に基づき身体的特徴が取得され、ユーザの身体的特徴に応じた第１設備モジュールを表す第１モジュールオブジェクトが仮想的に提示される。これにより、ユーザの身体的特徴に適した設備モジュールを仮想的に提示することができる。
【0020】
また、上記の情報処理方法において、さらに、決定した前記第２設備モジュールの形状と、前記身体的特徴とを比較し、さらに、比較結果を前記ユーザに通知するための通知情報を生成し、さらに、前記通知情報を前記提示装置に提示させてもよい。
【0021】
この構成によれば、第２設備モジュールの形状と身体的特徴との比較結果がユーザに通知されるので、第２設備モジュールの形状がユーザの身体的特徴に適しているか否かをユーザに通知することができる。
【0022】
また、上記の情報処理方法において、前記第１モジュールオブジェクトの提示において、前記第１モジュールオブジェクトを拡張現実又は複合現実として提示させてもよい。
【0023】
この構成によれば、実在する空間内に第１モジュールオブジェクトを拡張現実又は複合現実として提示することができる。
【0024】
また、上記の情報処理方法において、前記設備モジュールには、金額、納品日数、ゴミ排出量及び前記空間への搬入方法が予め対応付けられており、前記金額、前記納品日数、前記ゴミ排出量及び前記搬入方法のうちの前記ユーザが優先する優先事項が予め設定されており、前記第１設備モジュールの決定において、前記身体的特徴と前記モジュールデータと前記空間情報と前記優先事項とに基づいて、前記第１設備モジュールを決定してもよい。
【0025】
この構成によれば、金額、納品日数、ゴミ排出量及び搬入方法のうちのユーザが優先する優先事項を考慮して第１設備モジュールが決定されるので、ユーザの優先事項に合った第１設備モジュールを提示することができる。
【0026】
また、上記の情報処理方法において、さらに、前記ユーザの年齢を取得し、さらに、所定年数経過後の経年変化した前記身体的特徴を予測し、前記第１設備モジュールの決定において、予測した前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定してもよい。
【0027】
この構成によれば、所定年数経過後の経年変化した身体的特徴が予測され、予測された身体的特徴に応じて第１設備モジュールが決定されるので、ユーザの将来の身体的特徴に応じた設備モジュールを提示することができる。
【0028】
また、上記の情報処理方法において、前記身体的特徴の取得において、前記空間を利用する複数のユーザの前記身体的特徴を取得し、複数の身体的特徴の論理積を算出し、前記第１設備モジュールの決定において、算出した前記複数の身体的特徴の前記論理積と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定してもよい。
【0029】
この構成によれば、空間を利用する複数のユーザのそれぞれの身体的特徴の論理積に応じた第１設備モジュールが決定されるので、複数のユーザの身体的特徴の重複する部分に応じた設備モジュールを提示することができる。
【0030】
また、上記の情報処理方法において、前記身体的特徴の取得において、前記空間を利用する複数のユーザの前記身体的特徴を取得し、複数の身体的特徴の論理和を算出し、前記第１設備モジュールの決定において、算出した前記複数の身体的特徴の前記論理和と前記モジュールデータと前記空間情報とに基づいて、前記第１設備モジュールを決定してもよい。
【0031】
この構成によれば、空間を利用する複数のユーザのそれぞれの身体的特徴の論理和に応じた第１設備モジュールが決定されるので、複数のユーザの身体的特徴の全体範囲に応じた設備モジュールを提示することができる。
【0032】
また、本開示は、以上のような特徴的な処理を実行する情報処理方法として実現することができるだけでなく、情報処理方法が実行する特徴的な方法に対応する特徴的な構成を備える情報処理システムなどとして実現することもできる。したがって、以下の他の態様でも、上記の情報処理方法と同様の効果を奏することができる。
【0033】
本開示の他の態様に係る情報処理システムは、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得する第１取得部と、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得する第２取得部と、前記設備モジュールを配置する空間の寸法と、前記空間における前記設備モジュールの配置位置とを示す空間情報を取得する第３取得部と、前記身体的特徴と前記モジュールデータと前記空間情報とに基づいて、前記空間に配置する第１設備モジュールを決定する決定部と、決定した前記第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成する生成部と、前記第１モジュールオブジェクトを提示装置に仮想的に提示させる提示部と、を備える。
【0034】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【0035】
【0036】
サーバ１は、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得し、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得し、設備モジュールを配置する空間の寸法と、空間における設備モジュールの配置位置とを示す空間情報を取得し、身体的特徴とモジュールデータと空間情報とに基づいて、空間に配置する第１設備モジュールを決定し、決定した第１設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成し、第１モジュールオブジェクトを提示装置２に仮想的に提示させる。サーバ１は、情報処理システムの一例である。
【0037】
サーバ１は、提示装置２及びカメラ３のそれぞれとネットワーク４を介して互いに通信可能に接続されている。ネットワーク４は、例えばインターネットである。なお、サーバ１の構成については、図２を用いて説明する。
【0038】
提示装置２は、例えば、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）デバイスであり、設備モジュール（第１設備モジュール）を表した第１モジュールオブジェクトを仮想的に提示する。ＭＲデバイスは、例えば、ユーザの頭部に装着される光学透過型のヘッドマウントディスプレイである。なお、ＭＲデバイスは、ビデオ透過型のヘッドマウントディスプレイであってもよい。提示装置２の構成については、図３を用いて説明する。
【0039】
なお、提示装置２は、ディスプレイを有する表示機器であれば良く、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイス、スマートフォン、又はタブレット型コンピュータであってもよい。
【0040】
カメラ３は、ユーザがいる空間（部屋）を俯瞰する位置に配置され、ユーザの動作又は姿勢を撮像する。カメラ３は、ユーザの動作又は姿勢をセンシングして第１センシングデータを取得する。また、カメラ３は、提示された第１モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして第２センシングデータを取得する。第１センシングデータ及び第２センシングデータは、ユーザの動作又は姿勢を撮像することによって得られた動画像データである。カメラ３は、ユーザの動作又は姿勢を撮像することによって得られた動画像データをサーバ１へ送信する。
【0041】
なお、カメラ３は、スマートフォン又はタブレット型コンピュータなどのカメラ付きの端末であってもよい。
【0042】
図２は、本開示の実施の形態１におけるサーバ１の構成の一例を示す図である。
【0043】
図２に示すサーバ１は、プロセッサ１１、メモリ１２及び通信部１３を備える。
【0044】
プロセッサ１１は、例えば、ＣＰＵ（中央演算処理装置）である。プロセッサ１１により、動作検出部１０１、身体的特徴抽出部１０２、最適モジュール決定部１０３、オブジェクト生成部１０４及び価格情報生成部１０５が実現される。
【0045】
メモリ１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はフラッシュメモリ等の各種情報を記憶可能な記憶装置である。メモリ１２により、身体的特徴ＤＢ（データベース）１２１、標準モジュールＤＢ１２２、建築情報記憶部１２３及びモジュール価格ＤＢ１２４が実現される。
【0046】
通信部１３は、カメラ３によって送信された動画像データを受信する。動画像データは、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータである。また、動画像データは、提示された第１モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして取得される第２センシングデータである。
【0047】
すなわち、通信部１３は、ユーザの動作又は姿勢をセンシングして取得される動画像データ（第１センシングデータ）を取得する。また、通信部１３は、提示された第１モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして取得される動画像データ（第２センシングデータ）を取得する。
【0048】
動作検出部１０１は、通信部１３によって受信された動画像データからユーザによって行われた所定の動作を検出する。所定の動作は、例えば、家事に関する動作である。所定の動作は、例えば、ユーザが包丁で食べ物を切る動作、ユーザがフライパンで調理する動作、ユーザが鍋を覗く動作、ユーザが高所に手を伸ばす動作、及びユーザがしゃがむ動作を含む。動作検出部１０１は、画像認識処理により、ユーザが複数の動作のうちのいずれの動作を行っているかを検出する。
【0049】
なお、本実施の形態１では、動作検出部１０１は、カメラ３によって得られた動画像データからユーザの動作を検出しているが、本開示は特にこれに限定されず、ユーザに装着されたセンサによって得られたセンシングデータからユーザの動作を検出してもよい。ユーザに装着されるセンサは、例えば、加速度センサ、ジャイロセンサ及び地磁気センサである。
【0050】
身体的特徴抽出部１０２は、通信部１３によって取得された動画像データからユーザの骨格を示す骨格データを抽出する。骨格データは、ユーザの関節等を示す複数の特徴点の座標と、各特徴点を繋ぐ直線とで表される。身体的特徴抽出部１０２は、２次元画像データから人の特徴点の座標を検出するソフトウエア（例えば、ＯｐｅｎＰｏｓｅ又は３Ｄ－ｐｏｓｅ－ｂａｓｅｌｉｎｅ）を利用してもよい。
【0051】
ここで、２次元画像データから骨格データを抽出する処理について説明する。
【0052】
身体的特徴抽出部１０２は、所定の動作を行っているユーザの画像を含む２次元画像データから骨格データを抽出する。骨格データは、頭を示す特徴点、両肩の中央を示す特徴点、右肩を示す特徴点、右肘を示す特徴点、右手を示す特徴点、左肩を示す特徴点、左肘を示す特徴点、左手を示す特徴点、腰を示す特徴点、右股関節を示す特徴点、右膝関節を示す特徴点、右足首関節を示す特徴点、右つま先を示す特徴点、左股関節を示す特徴点、左膝関節を示す特徴点、左足首関節を示す特徴点、及び左つま先を示す特徴点を含む。
【0053】
動画像データは、複数の２次元画像データで構成される。身体的特徴抽出部１０２は、動画像データを構成する複数の２次元画像データのそれぞれから時系列の骨格データを抽出する。なお、身体的特徴抽出部１０２は、全フレームの２次元画像データから骨格データを抽出してもよいし、所定フレーム毎の２次元画像データから骨格データを抽出してもよい。
【0054】
身体的特徴抽出部１０２は、動作検出部１０１によって検出された所定の動作に対応するユーザの身体的特徴を抽出する。検出された動作が、ユーザが包丁で食べ物を切る動作である場合、身体的特徴抽出部１０２は、肘の関節角度及び包丁を持つ手の特徴点から床までの距離を身体的特徴として抽出する。また、検出された動作が、ユーザがフライパンで調理する動作である場合、身体的特徴抽出部１０２は、肘の関節角度及び肘の特徴点とフライパンを持つ手の特徴点とを繋ぐ直線の中点から床までの距離を身体的特徴として抽出する。また、検出された動作が、ユーザが鍋を覗く動作である場合、身体的特徴抽出部１０２は、腰を曲げる角度を身体的特徴として抽出する。また、検出された動作が、ユーザが高所に手を伸ばす動作である場合、身体的特徴抽出部１０２は、高所に伸ばした方の腕の肩関節角度及び高所に伸ばした手の特徴点から床までの距離を身体的特徴として抽出する。また、検出された動作が、ユーザがしゃがむ動作である場合、身体的特徴抽出部１０２は、頭の特徴点から床までの距離を身体的特徴として抽出する。
【0055】
身体的特徴抽出部１０２は、動作検出部１０１によって検出された所定の動作と、抽出した身体的特徴とを対応付けて身体的特徴ＤＢ１２１に記憶する。
【0056】
身体的特徴ＤＢ１２１は、動作検出部１０１によって検出された所定の動作と、身体的特徴抽出部１０２によって抽出された身体的特徴とを対応付けて記憶している。身体的特徴ＤＢ１２１は、ユーザが包丁で食べ物を切る動作と、肘の関節角度及び床から包丁を持つ手の特徴点までの距離とを対応付けている。また、身体的特徴ＤＢ１２１は、ユーザがフライパンで調理する動作と、肘の関節角度及び床からフライパンを持つ手の特徴点までの距離とを対応付けている。また、身体的特徴ＤＢ１２１は、ユーザが鍋を覗く動作と、腰を曲げる角度とを対応付けている。また、身体的特徴ＤＢ１２１は、ユーザが高所に手を伸ばす動作と、高所に伸ばした方の腕の肩関節角度及び床から高所に伸ばした手の特徴点までの距離とを対応付けている。また、身体的特徴ＤＢ１２１は、ユーザがしゃがむ動作と、床から頭の特徴点までの距離とを対応付けている。
【0057】
また、身体的特徴抽出部１０２は、動画像データ（第２センシングデータ）から検出される動作又は姿勢に基づき身体的特徴を補正する。
【0058】
なお、身体的特徴抽出部１０２は、ユーザの動作を撮像することにより得られた動画像データを、機械学習により生成された識別モデルに入力することにより、識別モデルから出力される身体的特徴を取得してもよい。
【0059】
標準モジュールＤＢ１２２は、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを予め記憶する。標準モジュールＤＢ１２２は、種々の設備モジュールと、当該設備モジュールの寸法とを対応付けて記憶している。また、サイズが調整可能な設備モジュールの寸法は、上限値及び下限値を含んでもよい。
【0060】
建築情報記憶部１２３は、設備モジュールを配置する空間の寸法と、空間における設備モジュールの配置位置とを示す建築情報を記憶している。設備モジュールを配置する空間は、例えば、ユーザが新築する家又はユーザが改修する家の部屋である。なお、設備モジュールを配置する空間は、住宅だけでなく、施設又はオフィスであってもよい。
【0061】
モジュール価格ＤＢ１２４は、種々の設備モジュールと、当該設備モジュールの価格とを対応付けて予め記憶している。
【0062】
最適モジュール決定部１０３は、ユーザの動作又は姿勢をセンシングして取得される第１センシングデータに基づく身体的特徴を取得する。最適モジュール決定部１０３は、ユーザの身体的特徴を身体的特徴ＤＢ１２１から読み出す。
【0063】
また、最適モジュール決定部１０３は、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールを配置する空間の寸法と、空間における設備モジュールの配置位置とを示す建築情報（空間情報）を取得する。最適モジュール決定部１０３は、設備モジュールを配置する部屋（空間）の建築情報を建築情報記憶部１２３から読み出す。
【0064】
また、最適モジュール決定部１０３は、住宅設備、家電機器及び家具の少なくとも１つを含む設備モジュールに関するモジュールデータを取得する。最適モジュール決定部１０３は、建築情報に基づき、部屋（空間）に配置する設備モジュールに関するモジュールデータを標準モジュールＤＢ１２２から読み出す。
【0065】
また、最適モジュール決定部１０３は、身体的特徴とモジュールデータと建築情報（空間情報）とに基づいて、部屋（空間）に配置する設備モジュール（第１設備モジュール）を決定する。最適モジュール決定部１０３は、建築情報から、部屋に配置する設備モジュールの種類を特定する。最適モジュール決定部１０３は、特定した設備モジュールの種類から、利用する身体的特徴を取得する。最適モジュール決定部１０３は、身体的特徴に応じた設備モジュールの寸法を決定する。なお、メモリ１２は、身体的特徴に応じた設備モジュールの寸法を予め記憶している。最適モジュール決定部１０３は、モジュールデータを参照し、決定した寸法の設備モジュールを選択する。
【0066】
例えば、建築情報から特定した設備モジュールの種類が吊り戸棚である場合、最適モジュール決定部１０３は、ユーザが高所に手を伸ばす動作に対応付けられている身体的特徴を取得する。このとき、身体的特徴は、高所に伸ばした方の腕の肩関節角度及び床から高所に伸ばした手の特徴点までの距離である。最適モジュール決定部１０３は、肩関節角度及び距離に応じた吊り戸棚の寸法を決定する。最適モジュール決定部１０３は、モジュールデータを参照し、決定した寸法の吊り戸棚を選択する。
【0067】
なお、最適モジュール決定部１０３は、１つの設備モジュール（第１設備モジュール）を決定するのではなく、複数の設備モジュール（第１設備モジュール）を決定してもよい。
【0068】
また、最適モジュール決定部１０３は、身体的特徴抽出部１０２によって補正された身体的特徴とモジュールデータと建築情報（空間情報）とに基づいて、部屋（空間）に配置する設備モジュールを決定する。
【0069】
オブジェクト生成部１０４は、最適モジュール決定部１０３によって決定された設備モジュール（第１設備モジュール）を仮想的に提示するための第１モジュールオブジェクトを生成する。第１モジュールオブジェクトは、２次元又は３次元で表される。設備モジュールに対応するモジュールオブジェクトは、標準モジュールＤＢ１２２に予め記憶されている。
【0070】
通信部１３は、提示装置２によって送信された姿勢情報を受信する。姿勢情報は、例えば、加速度、角速度、方位、深度データ及び画像データである。姿勢情報により、ユーザがいる空間を認識することが可能となる。オブジェクト生成部１０４は、建築情報及び姿勢情報に基づき、ユーザの視点から見える第１モジュールオブジェクトを生成する。オブジェクト生成部１０４は、例えば、６０ｆｐｓ、３０ｆｐｓ又は２４ｆｐｓ等の所定のフレームレートで第１モジュールオブジェクトを生成する。
【0071】
通信部１３は、オブジェクト生成部１０４によって生成された第１モジュールオブジェクトを提示装置２へ送信する。これにより、通信部１３は、第１モジュールオブジェクトを提示装置２に仮想的に提示させる。
【0072】
価格情報生成部１０５は、提示した設備モジュールの見積価格をユーザに提示する場合、モジュール価格ＤＢ１２４を参照し、提示した設備モジュールの見積価格を示す価格情報を生成する。価格情報生成部１０５は、複数の設備モジュールが提示された場合、全ての設備モジュールの見積価格を示す価格情報を生成する。
【0073】
通信部１３は、価格情報生成部１０５によって生成された価格情報を提示装置２へ送信する。
【0074】
図３は、本開示の実施の形態１における提示装置２の構成の一例を示す図である。
【0075】
図３に示す提示装置２は、プロセッサ２１、カメラ２２、センサ２３、通信部２４及び表示部２５を備える。
【0076】
カメラ２２は、提示装置２の周囲を撮像する。より具体的には、カメラ２２は、ユーザの視線方向を撮像する。
【0077】
センサ２３は、提示装置２の姿勢を検出する。センサ２３は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、及び深度センサを含む。加速度センサは、提示装置２の加速度を検出する。ジャイロセンサは、提示装置２の角速度を検出する。地磁気センサは、提示装置２の方位を検出する。深度センサは、提示装置２の周囲の深度データを検出する。より具体的には、深度センサは、ユーザの視線方向の深度データを検出する。
【0078】
表示部２５は、透過型ディスプレイであり、ユーザが見ている実空間に種々の視覚情報を重畳して表示する。
【0079】
プロセッサ２１は、例えば、ＣＰＵである。プロセッサ２１により、動作指示部２１０、姿勢情報取得部２１１及びオブジェクト提示制御部２１２が実現される。
【0080】
動作指示部２１０は、ユーザに対して複数の動作のうちの所定の動作を行うよう指示するための動作指示画像を表示部２５に表示させる。動作指示部２１０は、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作を順にユーザに行わせる。動作指示部２１０は、ユーザに包丁で食べ物を切るように促す動作指示画像、ユーザにフライパンで調理するように促す動作指示画像、ユーザに鍋を覗くように促す動作指示画像、ユーザに高所に手を伸ばすように促す動作指示画像、及びユーザにしゃがむように促す動作指示画像を表示部２５に表示させる。なお、ユーザは、実際に、包丁で食べ物を切ったり、フライパンで調理したりする必要はなく、仮想的に、包丁で食べ物を切るまねをしたり、フライパンで調理するまねをしてもよい。
【0081】
姿勢情報取得部２１１は、カメラ２２から画像データを取得する。姿勢情報取得部２１１は、センサ２３から、加速度、角速度、方位及び深度データを取得する。姿勢情報取得部２１１は、例えば、加速度、角速度、方位、深度データ及び画像データを含む姿勢情報を取得する。姿勢情報取得部２１１は、通信部２４を介して姿勢情報をサーバ１へ送信する。
【0082】
通信部２４は、姿勢情報取得部２１１によって取得された姿勢情報をサーバ１へ送信する。通信部２４は、サーバ１によって送信された第１モジュールオブジェクトを受信する。
【0083】
オブジェクト提示制御部２１２は、通信部２４によって受信された第１モジュールオブジェクトを表示部２５に表示させる。表示部２５は、透過型ディスプレイであり、ユーザが見ている実空間に第１モジュールオブジェクトを重畳して表示する。なお、オブジェクト提示制御部２１２は、例えば、６０ｆｐｓ、３０ｆｐｓ又は２４ｆｐｓ等の所定のフレームレートで第１モジュールオブジェクトを表示する。これにより、ユーザに対して違和感のない設備モジュールを提示することができる。
【0084】
続いて、本開示の実施の形態１におけるサーバ１による身体的特徴抽出処理について説明する。
【0085】
図４は、本開示の実施の形態１におけるサーバ１による身体的特徴抽出処理について説明するためのフローチャートである。
【0086】
まず、ステップＳ１において、通信部１３は、所定の動作を行っているユーザを撮像することにより得られた動画像データをカメラ３から取得する。提示装置２は、ユーザに対して複数の動作のうちの所定の動作を行うように指示する。ユーザは、提示装置２による指示に従って所定の動作を行う。例えば、ユーザは、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作を行う。
【0087】
なお、ユーザに行わせる所定の動作は上記に限定されない。設備モジュールの種類に応じて、ユーザに行わせる動作は異なり、抽出される身体的特徴も異なる。上記の動作は、キッチンに配置する設備モジュールを決定するための動作である。浴室などの他の空間に配置する設備モジュールを決定する場合には、ユーザに対して体を洗う動作などの他の動作を行わせてもよい。
【0088】
次に、ステップＳ２において、動作検出部１０１は、通信部１３によって受信された動画像データからユーザによって行われた所定の動作を検出する。動作検出部１０１は、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作のうちのいずれの動作をユーザが行ったかを検出する。
【0089】
次に、ステップＳ３において、身体的特徴抽出部１０２は、動作検出部１０１によって検出された動作に対応するユーザの身体的特徴を抽出する。
【0090】
次に、ステップＳ４において、身体的特徴抽出部１０２は、動作検出部１０１によって検出された動作に対応付けて、抽出した身体的特徴を身体的特徴ＤＢ１２１に記憶する。
【0091】
次に、ステップＳ５において、動作検出部１０１は、所定の空間に対応する全ての動作が検出されたか否かを判断する。ここで、所定の空間に対応する全ての動作が検出されていないと判断された場合（ステップＳ５でＮＯ）、ステップＳ１に処理が戻り、通信部１３は、複数の動作のうちの別の動作を行ったユーザを撮像することにより得られた動画像データを取得する。
【0092】
一方、所定の空間に対応する全ての動作が検出されたと判断された場合（ステップＳ５でＹＥＳ）、身体的特徴抽出処理が終了する。
【0093】
図５は、包丁で食べ物を切る動作に対応する身体的特徴について説明するための模式図である。
【0094】
図５では、提示装置２を装着したユーザＵ１が包丁で食べ物を切る動作を行っている。この場合、身体的特徴抽出部１０２は、右肘を示す特徴点４２と右手を示す特徴点４３とを繋ぐ直線と、右肘を示す特徴点４２から水平に伸ばした直線とがなす角度を右肘の関節角度Ｘ１として抽出する。また、身体的特徴抽出部１０２は、包丁を持つ右手を示す特徴点４３から床までの距離Ｙ１を抽出する。そして、身体的特徴抽出部１０２は、右肘の関節角度Ｘ１及び距離Ｙ１を、ユーザＵ１が包丁で食べ物を切る動作に対応付けて身体的特徴ＤＢ１２１に記憶する。
【0095】
図６は、フライパンで調理する動作に対応する身体的特徴について説明するための模式図である。
【0096】
図６では、提示装置２を装着したユーザＵ１がフライパンで調理する動作を行っている。この場合、身体的特徴抽出部１０２は、右肘を示す特徴点４２と右手を示す特徴点４３とを繋ぐ直線と、右肘を示す特徴点４２から水平に伸ばした直線とがなす角度を右肘の関節角度Ｘ１として抽出する。また、身体的特徴抽出部１０２は、右肘を示す特徴点４２と右手を示す特徴点４３とを繋ぐ直線の中点から床までの距離Ｙ２を抽出する。そして、身体的特徴抽出部１０２は、右肘の関節角度Ｘ１及び距離Ｙ２を、ユーザＵ１がフライパンで調理する動作に対応付けて身体的特徴ＤＢ１２１に記憶する。
【0097】
図７は、高所に手を伸ばす動作に対応する身体的特徴について説明するための模式図である。
【0098】
図７では、提示装置２を装着したユーザＵ１が高所に手を伸ばす動作を行っている。この場合、身体的特徴抽出部１０２は、右肩を示す特徴点４１と右肘を示す特徴点４２とを繋ぐ直線と、右肩を示す特徴点４１から垂直に下ろした直線とがなす角度を右肩の関節角度Ｘ３として抽出する。また、身体的特徴抽出部１０２は、高所に伸ばした右手を示す特徴点４３から床までの距離Ｙ３を抽出する。そして、身体的特徴抽出部１０２は、右肩の関節角度Ｘ３及び距離Ｙ３を、ユーザＵ１が高所に手を伸ばす動作に対応付けて身体的特徴ＤＢ１２１に記憶する。
【0099】
続いて、本開示の実施の形態１におけるサーバ１によるオブジェクト提示処理について説明する。
【0100】
図８は、本開示の実施の形態１におけるサーバ１によるオブジェクト提示処理について説明するための第１のフローチャートであり、図９は、本開示の実施の形態１におけるサーバ１によるオブジェクト提示処理について説明するための第２のフローチャートである。
【0101】
まず、ステップＳ１１において、通信部１３は、ユーザがいる空間内に配置する設備モジュールに対応するモジュールオブジェクトを提示するためのモジュールオブジェクト提示指示を提示装置２から受信する。提示装置２は、空間内に配置する設備モジュールを表すモジュールオブジェクトを複合現実又は拡張現実として表示するためのユーザによる指示を受け付ける。
【0102】
次に、ステップＳ１２において、最適モジュール決定部１０３は、ユーザの身体的特徴を身体的特徴ＤＢ１２１から取得する。
【0103】
次に、ステップＳ１３において、最適モジュール決定部１０３は、設備モジュールを配置する部屋の建築情報を建築情報記憶部１２３から取得する。
【0104】
次に、ステップＳ１４において、最適モジュール決定部１０３は、建築情報に基づき、部屋に配置する設備モジュールに関するモジュールデータを標準モジュールＤＢ１２２から取得する。
【0105】
次に、ステップＳ１５において、最適モジュール決定部１０３は、身体的特徴とモジュールデータと建築情報とに基づいて、部屋に配置する設備モジュールを決定する。ここで、最適モジュール決定部１０３によって決定される設備モジュールは、ユーザの身体的特徴に合わせた最適な設備モジュールである。なお、最適モジュール決定部１０３は、１つの設備モジュールを決定するのではなく、複数の設備モジュールを決定してもよい。
【0106】
次に、ステップＳ１６において、通信部１３は、提示装置２によって送信された姿勢情報を受信する。
【0107】
次に、ステップＳ１７において、オブジェクト生成部１０４は、最適モジュール決定部１０３によって決定された設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成する。オブジェクト生成部１０４は、建築情報及び姿勢情報に基づき、ユーザの視点から見える第１モジュールオブジェクトを生成する。オブジェクト生成部１０４は、建築情報から、ユーザがいる空間を仮想３次元空間で表し、最適モジュール決定部１０３によって決定された設備モジュールを表す第１モジュールオブジェクトを仮想３次元空間内に配置する。そして、オブジェクト生成部１０４は、姿勢情報から、仮想３次元空間内におけるユーザの視点位置及び視線方向を特定し、ユーザの視野内に表示する第１モジュールオブジェクトを生成する。なお、オブジェクト生成部１０４は、最適モジュール決定部１０３によって複数の設備モジュールが決定された場合、複数の設備モジュールのそれぞれに対応する複数の第１モジュールオブジェクトを生成する。
【0108】
次に、ステップＳ１８において、通信部１３は、オブジェクト生成部１０４によって生成された第１モジュールオブジェクトを提示装置２へ送信する。提示装置２は、サーバ１によって送信された第１モジュールオブジェクトを受信し、受信した第１モジュールオブジェクトを表示する。
【0109】
図１０は、本実施の形態１において、提示装置２に表示される第１モジュールオブジェクトの一例を示す図である。
【0110】
図１０では、ユーザの身体的特徴に応じて決定された設備モジュールは、キッチンカウンターであり、キッチンカウンターを表す第１モジュールオブジェクト５１が表示部２５に表示されている。表示部２５は、拡張現実空間に第１モジュールオブジェクト５１を表示している。例えば、標準のキッチンカウンターの高さが９０ｃｍであり、ユーザの身体的特徴に応じて決定されたキッチンカウンターの高さが８８ｃｍである場合、床から８８ｃｍの位置に第１モジュールオブジェクト５１が表示される。
【0111】
なお、本実施の形態１では、オブジェクト生成部１０４は、第１モジュールオブジェクト５１だけでなく、第１モジュールオブジェクト５１とともにユーザに提示するメッセージを生成してもよい。表示部２５は、第１モジュールオブジェクト５１とともにメッセージ５２を表示してもよい。図１０には、「おすすめのキッチンカウンターの高さは８８ｃｍです」というメッセージ５２が表示されている。
【0112】
なお、オブジェクト生成部１０４は、第１モジュールオブジェクト５１だけでなく、ユーザを仮想的に表すユーザオブジェクトを生成してもよい。表示部２５は、第１モジュールオブジェクト５１とともにユーザオブジェクトを表示してもよい。ユーザオブジェクトは、実際にユーザを撮像することによって得られた画像であっても、仮想的に生成された画像であってもよい。ユーザの身長に応じたユーザオブジェクトが表示される。このように、ユーザオブジェクトが表示されることにより、ユーザは、ユーザオブジェクトに対比させて設備モジュールを客観的に見ることができる。
【0113】
図８に戻って、次に、ステップＳ１９において、通信部１３は、表示された第１モジュールオブジェクトに対して所定の動作を行っているユーザを撮像することにより得られた動画像データをカメラ３から取得する。ユーザは、表示された第１モジュールオブジェクトに対して所定の動作を行う。例えば、ユーザは、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作を行う。例えば、第１モジュールオブジェクトがキッチンカウンターである場合、ユーザは、包丁で食べ物を切る動作、フライパンで調理する動作、及び鍋を覗く動作を行う。また、例えば、第１モジュールオブジェクトが吊り戸棚である場合、ユーザは、吊り戸棚に手を伸ばす動作を行う。
【0114】
なお、提示装置２は、ユーザに対して複数の動作のうちの所定の動作を行うように指示してもよい。提示装置２は、最適モジュール決定部１０３によって決定された設備モジュールに対応する動作を行うように指示してもよい。
【0115】
次に、ステップＳ２０において、動作検出部１０１は、通信部１３によって受信された動画像データからユーザによって行われた所定の動作を検出する。動作検出部１０１は、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作のうちのいずれの動作をユーザが行ったかを検出する。
【0116】
次に、ステップＳ２１において、身体的特徴抽出部１０２は、動作検出部１０１によって検出された動作に対応するユーザの身体的特徴を抽出する。
【0117】
次に、ステップＳ２２において、身体的特徴抽出部１０２は、抽出した所定の動作に対応する身体的特徴が、身体的特徴ＤＢ１２１に記憶されている所定の動作に対応する身体的特徴と同じであるか否かを判断する。ここで、抽出した所定の動作に対応する身体的特徴が、身体的特徴ＤＢ１２１に記憶されている所定の動作に対応する身体的特徴と同じではないと判断された場合（ステップＳ２２でＮＯ）、ステップＳ２３において、身体的特徴抽出部１０２は、身体的特徴ＤＢ１２１に記憶されている所定の動作に対応する身体的特徴を、抽出した所定の動作に対応する身体的特徴に補正する。
【0118】
ステップＳ２３の処理が行われた後、ステップＳ１５において、最適モジュール決定部１０３は、補正された身体的特徴とモジュールデータと建築情報とに基づいて、部屋に配置する設備モジュールを決定する。これにより、表示された第１モジュールオブジェクトに対するユーザの動作に応じて、より最適な設備モジュールが決定される。
【0119】
図１１は、本実施の形態１において、補正された身体的特徴に基づいて提示装置２に表示される第１モジュールオブジェクトの一例を示す図である。
【0120】
図１１では、ユーザの身体的特徴に応じて決定された設備モジュールは、キッチンにおける吊り戸棚であり、吊り戸棚を表す第１モジュールオブジェクト５３が表示部２５に表示されている。表示部２５は、拡張現実空間に第１モジュールオブジェクト５３を表示している。第１モジュールオブジェクト５３は、補正された身体的特徴とモジュールデータと建築情報とに基づいて決定された吊り戸棚を表している。
【0121】
例えば、最初に身体的特徴に基づいて決定された設備モジュールが、天井からの高さが８０ｃｍである吊り戸棚であり、補正された身体的特徴に基づいて決定された設備モジュールが、天井からの高さが９５ｃｍである吊り戸棚である場合、オブジェクト生成部１０４は、天井からの高さが９５ｃｍである吊り戸棚を表す第１モジュールオブジェクト５３を生成する。
【0122】
なお、本実施の形態１では、オブジェクト生成部１０４は、第１モジュールオブジェクト５３だけでなく、第１モジュールオブジェクト５３とともにユーザに提示するメッセージを生成してもよい。表示部２５は、第１モジュールオブジェクト５３とともにメッセージ５４を表示してもよい。図１１には、「吊り戸棚を１５ｃｍ下げることも可能です」というメッセージ５４が表示されている。
【0123】
また、本実施の形態１では、サーバ１は、提示された第１モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして取得される動画像データを取得し、動画像データから検出される動作又は姿勢に基づき身体的特徴を補正しているが、本開示は特にこれに限定されない。サーバ１は、提示された第１モジュールオブジェクトに対するユーザの修正指示を受け付け、受け付けた修正指示に基づき身体的特徴を補正してもよい。例えば、ユーザは、提示された吊り戸棚を表す第１モジュールオブジェクトに対して手を伸ばし、現在提示されている吊り戸棚の位置が高いと感じた場合、現在提示されている吊り戸棚の位置を下げる修正指示を提示装置２に入力してもよい。サーバ１は、受け付けた修正指示に基づき身体的特徴を補正してもよい。
【0124】
図９に戻って、抽出した所定の動作に対応する身体的特徴が、身体的特徴ＤＢ１２１に記憶されている所定の動作に対応する身体的特徴と同じであると判断された場合（ステップＳ２２でＹＥＳ）、ステップＳ２４において、価格情報生成部１０５は、提示した設備モジュールの見積価格を提示するか否かを判断する。
【0125】
提示装置２は、提示された設備モジュールの見積価格を提示するか否かのユーザによる指示を受け付ける。例えば、提示装置２のプロセッサ２１は、提示された設備モジュールの見積価格を提示するか否かのユーザによる指示を受け付けるためのボタンオブジェクトを表示部２５に表示する。ボタンオブジェクトは、ユーザの視野内に拡張現実として表示される。表示されているボタンオブジェクトにユーザの指が重なった場合、提示された設備モジュールの見積価格を提示する指示が受け付けられる。提示された設備モジュールの見積価格を提示する指示が受け付けられた場合、提示装置２は、提示された設備モジュールの見積価格の提示を要求する見積価格提示要求をサーバ１へ送信する。
【0126】
価格情報生成部１０５は、通信部１３によって見積価格提示要求が受信された場合、提示した設備モジュールの見積価格を提示すると判断する。また、価格情報生成部１０５は、通信部１３によって見積価格提示要求が受信されない場合、提示した設備モジュールの見積価格を提示しないと判断する。
【0127】
ここで、提示した設備モジュールの見積価格を提示しないと判断された場合（ステップＳ２４でＮＯ）、ステップＳ１６に処理が戻る。
【0128】
一方、提示した設備モジュールの見積価格を提示すると判断された場合（ステップＳ２４でＹＥＳ）、ステップＳ２５において、価格情報生成部１０５は、モジュール価格ＤＢ１２４を参照し、提示した設備モジュールの見積価格を算出する。価格情報生成部１０５は、算出した見積価格を示す価格情報を生成する。
【0129】
次に、ステップＳ２６において、通信部１３は、価格情報生成部１０５によって生成された価格情報を提示装置２へ送信する。提示装置２の通信部２４は、価格情報を受信する。提示装置２のプロセッサ２１は、受信された価格情報を表示部２５に表示する。例えば、価格情報は、表形式で表され、提示された設備モジュールの種類、寸法、数量、及び見積価格を含む。複数の設備モジュールが提示された場合、価格情報は、複数の設備モジュールそれぞれの種類、寸法、数量、及び見積価格を含む。
【0130】
このように、ユーザの身体的特徴に応じた設備モジュール（第１設備モジュール）が決定され、決定された設備モジュールを仮想的に提示するための第１モジュールオブジェクトが提示装置２に提示される。したがって、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することができる。また、ユーザは、実際に設備モジュールが空間内に配置される前に、仮想的に提示された設備モジュールの使用感を確認することができる。
【0131】
なお、本実施の形態１では、提示装置２に第１モジュールオブジェクトが表示されるが、本開示は特にこれに限定されず、サーバ１は、部屋（空間）を俯瞰する位置に配置されたカメラ３によって撮像された画像に第１モジュールオブジェクトを重畳し、第１モジュールオブジェクトを重畳した画像を表示装置に表示させてもよい。この場合、カメラ３の空間内における位置及び撮像方向が建築情報に含まれることにより、カメラ３によって撮像された画像に第１モジュールオブジェクトを重畳することが可能となる。
【0132】
また、本実施の形態１では、提示装置２は、ユーザが見ている実空間に第１モジュールオブジェクトを重畳して表示させているが、本開示は特にこれに限定されず、空間全体を撮像した画像に第１モジュールオブジェクトを重畳して表示させてもよい。例えば、ユーザが、表示された第１モジュールオブジェクトの近くにいる場合、離れた位置から第１モジュールオブジェクトがどのように見えるのかがわからない。
【0133】
そこで、提示装置２は、ユーザがいる部屋全体を撮像した画像に第１モジュールオブジェクトを重畳し、第１モジュールオブジェクトを重畳した部屋全体を撮像した画像を表示させてもよい。部屋全体を撮像した画像は、部屋に配置されたカメラ３によって撮像することによって得られた画像であってもよいし、ユーザが携帯端末を用いて撮像することによって得られた画像であってもよい。サーバ１のメモリ１２又は提示装置２のメモリは、部屋全体を撮像した画像を記憶してもよい。部屋全体を撮像した画像は、例えば、部屋の天井の角部分から見た画像、部屋の入口から見た画像、部屋の窓から見た画像、又は在室時にユーザが滞在する可能性が高い場所から見た画像である。在室時にユーザが滞在する可能性が高い場所は、例えば、部屋の中心、又は床暖房が設置されているエリアの中心である。
【0134】
また、提示装置２は、ユーザが見ている実空間に第１モジュールオブジェクトを重畳して表示させるとともに、第１モジュールオブジェクトを重畳した空間全体を撮像した画像を表示させてもよい。この場合、提示装置２は、第１モジュールオブジェクトを重畳した空間全体を撮像した画像を、ユーザの視界の一部に表示させてもよい。
【0135】
また、提示装置２は、ユーザが見ている実空間に第１モジュールオブジェクトを重畳して表示させる第１表示状態と、ユーザが見ている実空間に第１モジュールオブジェクトを重畳して表示させるとともに、第１モジュールオブジェクトを重畳した空間全体を撮像した画像を表示させる第２表示状態とを切り替えてもよい。提示装置２は、切り替えボタンを表示し、表示された切り替えボタンがユーザによりタッチされた場合、第１表示状態から第２表示状態へ切り替えてもよい。また、提示装置２は、ユーザが現在の位置から所定距離以上離れた場合、例えば、ユーザが現在の位置から３歩以上離れた場合、第１表示状態から第２表示状態へ切り替えてもよい。
【0136】
（実施の形態２）
実施の形態１では、予め記憶されている第１センシングデータに基づく身体的特徴が取得され、取得された身体的特徴を用いて空間に配置する第１設備モジュールが決定される。これに対し、実施の形態２では、最初に第２設備モジュールが決定され、決定された第２設備モジュールを表す第２モジュールオブジェクトが提示され、提示された第２モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして第１センシングデータが取得される。
実施の形態１では、予め記憶されている第１センシングデータに基づく身体的特徴が取得され、取得された身体的特徴を用いて空間に配置する第１設備モジュールが決定される。これに対し、実施の形態２では、最初に第２設備モジュールが決定され、決定された第２設備モジュールを表す第２モジュールオブジェクトが提示され、提示された第２モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして第１センシングデータが取得される。
【0137】
図１２は、本開示の実施の形態２におけるサーバ１Ａの構成の一例を示す図である。
【0138】
図１２に示すサーバ１Ａは、プロセッサ１１Ａ、メモリ１２及び通信部１３Ａを備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
【0139】
プロセッサ１１Ａは、例えば、ＣＰＵである。プロセッサ１１Ａにより、動作検出部１０１、身体的特徴抽出部１０２、最適モジュール決定部１０３、オブジェクト生成部１０４Ａ、価格情報生成部１０５及び標準モジュール決定部１０６が実現される。
【0140】
標準モジュール決定部１０６は、モジュールデータと建築情報（空間情報）とに基づいて、部屋（空間）に配置する標準設備モジュール（第２設備モジュール）を決定する。標準モジュール決定部１０６は、建築情報から、部屋に配置する設備モジュールの種類及び寸法を特定する。標準モジュール決定部１０６は、モジュールデータを参照し、特定した設備モジュールの種類及び寸法に一致する標準設備モジュールを決定する。
【0141】
オブジェクト生成部１０４Ａは、標準モジュール決定部１０６によって決定された標準設備モジュールを仮想的に提示するための第２モジュールオブジェクトを生成する。なお、第２モジュールオブジェクトは、実施の形態１における第１モジュールオブジェクトと同様の方法で生成される。
【0142】
通信部１３Ａは、オブジェクト生成部１０４によって生成された第２モジュールオブジェクトを提示装置２へ送信する。これにより、通信部１３Ａは、第２モジュールオブジェクトを提示装置２に仮想的に提示させる。
【0143】
通信部１３Ａは、提示された第２モジュールオブジェクトに対するユーザの動作又は姿勢をセンシングして取得される動画像データ（第１センシングデータ）を取得する。動作検出部１０１は、通信部１３Ａによって受信された動画像データ（第１センシングデータ）からユーザによって行われた所定の動作を検出する。
【0144】
続いて、本開示の実施の形態２におけるサーバ１Ａによるオブジェクト提示処理について説明する。
【0145】
図１３は、本開示の実施の形態２におけるサーバ１Ａによるオブジェクト提示処理について説明するための第１のフローチャートであり、図１４は、本開示の実施の形態２におけるサーバ１Ａによるオブジェクト提示処理について説明するための第２のフローチャートであり、図１５は、本開示の実施の形態２におけるサーバ１Ａによるオブジェクト提示処理について説明するための第３のフローチャートである。
【0146】
まず、ステップＳ３１において、通信部１３Ａは、ユーザがいる空間内に配置する設備モジュールに対応するモジュールオブジェクトを提示するためのモジュールオブジェクト提示指示を提示装置２から受信する。
【0147】
次に、ステップＳ３２において、標準モジュール決定部１０６は、設備モジュールを配置する部屋の建築情報を建築情報記憶部１２３から取得する。
【0148】
次に、ステップＳ３３において、標準モジュール決定部１０６は、建築情報に基づき、部屋に配置する設備モジュールに関するモジュールデータを標準モジュールＤＢ１２２から取得する。
【0149】
次に、ステップＳ３４において、標準モジュール決定部１０６は、モジュールデータと建築情報とに基づいて、部屋に配置する標準設備モジュールを決定する。ここで、標準モジュール決定部１０６によって決定される標準設備モジュールは、ユーザの身体的特徴に合わせた最適な設備モジュールではなく、建築情報により予め決められた寸法の設備モジュールである。なお、標準モジュール決定部１０６は、１つの標準設備モジュールを決定するのではなく、複数の標準設備モジュールを決定してもよい。
【0150】
次に、ステップＳ３５において、通信部１３Ａは、提示装置２によって送信された姿勢情報を受信する。
【0151】
次に、ステップＳ３６において、オブジェクト生成部１０４Ａは、標準モジュール決定部１０６によって決定された標準設備モジュールを仮想的に提示するための第２モジュールオブジェクトを生成する。オブジェクト生成部１０４Ａは、建築情報及び姿勢情報に基づき、ユーザの視点から見える第２モジュールオブジェクトを生成する。オブジェクト生成部１０４Ａは、建築情報から、ユーザがいる空間を仮想３次元空間で表し、標準モジュール決定部１０６によって決定された標準設備モジュールを表す第２モジュールオブジェクトを仮想３次元空間内に配置する。そして、オブジェクト生成部１０４Ａは、姿勢情報から、仮想３次元空間内におけるユーザの視点位置及び視線方向を特定し、ユーザの視野内に表示する第２モジュールオブジェクトを生成する。
【0152】
次に、ステップＳ３７において、通信部１３Ａは、オブジェクト生成部１０４Ａによって生成された第２モジュールオブジェクトを提示装置２へ送信する。提示装置２は、サーバ１Ａによって送信された第２モジュールオブジェクトを受信し、受信した第２モジュールオブジェクトを表示する。
【0153】
次に、ステップＳ３８において、通信部１３Ａは、表示された第２モジュールオブジェクトに対して所定の動作を行っているユーザを撮像することにより得られた動画像データをカメラ３から取得する。ユーザは、表示された第２モジュールオブジェクトに対して所定の動作を行う。例えば、ユーザは、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作を行う。例えば、第２モジュールオブジェクトがキッチンカウンターである場合、ユーザは、包丁で食べ物を切る動作、フライパンで調理する動作、及び鍋を覗く動作を行う。また、例えば、第２モジュールオブジェクトが吊り戸棚である場合、ユーザは、吊り戸棚に手を伸ばす動作を行う。
【0154】
なお、提示装置２は、ユーザに対して複数の動作のうちの所定の動作を行うように指示してもよい。提示装置２は、標準モジュール決定部１０６によって決定された標準設備モジュールに対応する動作を行うように指示してもよい。
【0155】
次に、ステップＳ３９において、動作検出部１０１は、通信部１３Ａによって受信された動画像データからユーザによって行われた所定の動作を検出する。動作検出部１０１は、包丁で食べ物を切る動作、フライパンで調理する動作、鍋を覗く動作、高所に手を伸ばす動作、及びしゃがむ動作のうちのいずれの動作をユーザが行ったかを検出する。
【0156】
次に、ステップＳ４０において、身体的特徴抽出部１０２は、動作検出部１０１によって検出された動作に対応するユーザの身体的特徴を抽出する。
【0157】
次に、ステップＳ４１において、身体的特徴抽出部１０２は、動作検出部１０１によって検出された動作に対応付けて、抽出した身体的特徴を身体的特徴ＤＢ１２１に記憶する。
【0158】
次に、ステップＳ４２において、動作検出部１０１は、提示した第２モジュールオブジェクトに対する全ての動作が検出されたか否かを判断する。ここで、第２モジュールオブジェクトに対する全ての動作が検出されていないと判断された場合（ステップＳ４２でＮＯ）、ステップＳ３５に処理が戻り、通信部１３Ａは、第２モジュールオブジェクトに対する少なくとも１つの動作のうちの別の動作を行ったユーザを撮像することにより得られた動画像データを取得する。
【0159】
一方、第２モジュールオブジェクトに対する全ての動作が検出されたと判断された場合（ステップＳ４２でＹＥＳ）、ステップＳ４３において、最適モジュール決定部１０３は、ユーザの身体的特徴を身体的特徴ＤＢ１２１から取得する。
【0160】
【0161】
図１６は、本実施の形態２において、提示装置２に表示される第２モジュールオブジェクトを見ながらユーザによって行われる所定の動作の一例を示す図である。
【0162】
図１６では、標準設備モジュールは、キッチンにおける吊り戸棚であり、吊り戸棚を表す第２モジュールオブジェクト６１が表示部２５に表示されている。表示部２５は、拡張現実空間に第２モジュールオブジェクト６１を表示している。第２モジュールオブジェクト６１は、ユーザの身体的特徴が考慮されていない吊り戸棚を表している。
【0163】
ユーザは、提示装置２に表示された第２モジュールオブジェクトを見ながら所定の動作を行う。例えば、第２モジュールオブジェクトが吊り戸棚であれば、ユーザは、吊り戸棚に手を伸ばす動作を行う。サーバ１Ａは、ユーザの動作を撮像することにより得られた動画像データを取得し、取得した動画像データからユーザの動作を検出し、身体的特徴を抽出する。
【0164】
図１７は、本実施の形態２において、提示装置２に表示される第１モジュールオブジェクトの一例を示す図である。
【0165】
図１７では、ユーザの身体的特徴に応じて決定された設備モジュールは、キッチンにおける吊り戸棚であり、吊り戸棚を表す第１モジュールオブジェクト６２が表示部２５に表示されている。表示部２５は、拡張現実空間に第１モジュールオブジェクト６２を表示している。第１モジュールオブジェクト６２は、身体的特徴とモジュールデータと建築情報とに基づいて決定された吊り戸棚を表している。
【0166】
例えば、最初に決定された標準設備モジュールが、天井からの高さが８０ｃｍである吊り戸棚であり、身体的特徴に基づいて決定された設備モジュールが、天井からの高さが９５ｃｍである吊り戸棚である場合、オブジェクト生成部１０４Ａは、天井からの高さが９５ｃｍである吊り戸棚を表す第１モジュールオブジェクト６２を生成する。
【0167】
なお、本実施の形態２では、オブジェクト生成部１０４Ａは、第１モジュールオブジェクト６２だけでなく、第１モジュールオブジェクト６２とともにユーザに提示するメッセージを生成してもよい。表示部２５は、第１モジュールオブジェクト６２とともにメッセージ６３を表示してもよい。図１７には、「吊り戸棚を１５ｃｍ下げることも可能です」というメッセージ６３が表示されている。
【0168】
なお、本実施の形態２の変形例において、オブジェクト生成部１０４Ａは、標準モジュール決定部１０６によって決定された標準設備モジュール（第２設備モジュール）の形状と、身体的特徴とを比較し、比較結果に基づいてユーザに通知するための通知情報を生成し、通知情報を提示装置２に提示させてもよい。
【0169】
図１８は、本実施の形態２の変形例において、提示装置２に表示される第２モジュールオブジェクト及び通知情報の一例を示す図であり、図１９は、本実施の形態２の変形例において、提示装置２に表示される第１モジュールオブジェクト及び通知情報の一例を示す図である。
【0170】
図１８では、標準設備モジュールは、キッチンにおける吊り戸棚及び床であり、吊り戸棚を表す第２モジュールオブジェクト７１と、床を表す第２モジュールオブジェクト７２とが表示部２５に表示されている。表示部２５は、拡張現実空間に第２モジュールオブジェクト７１，７２を表示している。第２モジュールオブジェクト７１，７２は、ユーザの身体的特徴が考慮されていない吊り戸棚及び床を表している。
【0171】
ユーザは、提示装置２に表示された第２モジュールオブジェクトを見ながら所定の動作を行う。例えば、第２モジュールオブジェクト７２が床であれば、ユーザは、足を上げる動作を行う。サーバ１Ａは、ユーザの動作を撮像することにより得られた動画像データを取得し、取得した動画像データからユーザの動作を検出し、身体的特徴を抽出する。この場合、身体的特徴抽出部１０２は、ユーザが足を上げたときの床から足までの高さを抽出する。
【0172】
オブジェクト生成部１０４Ａは、標準設備モジュールの段差の高さが、ユーザの足の上がる高さよりも高い場合、第２モジュールオブジェクトとともに、比較結果をユーザに通知するための通知情報を生成する。図１８では、表示部２５は、第２モジュールオブジェクト７２とともに通知情報７３を表示している。図１８には、「あなたの身体ではひっかかるおそれのある段差が床にあります」という通知情報７３が表示されている。
【0173】
図１９では、標準設備モジュールは、キッチンにおける吊り戸棚及び床であり、吊り戸棚を表す第１モジュールオブジェクト７４と、床を表す第１モジュールオブジェクト７５とが表示部２５に表示されている。表示部２５は、拡張現実空間に第１モジュールオブジェクト７４，７５を表示している。第１モジュールオブジェクト７４，７５は、ユーザの身体的特徴が考慮された吊り戸棚及び床を表している。第１モジュールオブジェクト７４は、図１８に示す第２モジュールオブジェクト７１と同じ寸法である。
【0174】
最適モジュール決定部１０３は、段差がユーザの足の上がる高さよりも低い設備モジュールを決定する。オブジェクト生成部１０４Ａは、第１モジュールオブジェクトとともに、比較結果をユーザに通知するための通知情報を生成する。図１９では、表示部２５は、第１モジュールオブジェクト７５とともに通知情報７６を表示している。図１９には、「引っかからない段差の床に変更できます」という通知情報７６が表示されている。
【0175】
また、本実施の形態１，２の変形例１において、設備モジュールには、金額、納品日数、ゴミ排出量及び空間への搬入方法が予め対応付けられ、金額、納品日数、ゴミ排出量及び搬入方法のうちのユーザが優先する優先事項が予め設定されていてもよい。そして、最適モジュール決定部１０３は、身体的特徴とモジュールデータと建築情報（空間情報）と優先事項とに基づいて、第１設備モジュールを決定してもよい。
【0176】
図２０は、本実施の形態１，２の変形例１において、標準モジュールＤＢ１２２に記憶されるモジュールデータの一例を示す図である。
【0177】
図２０に示すように、標準モジュールＤＢ１２２は、種々の設備モジュールと、当該設備モジュールの寸法、金額、納品日数、ゴミ排出量及び搬入方法とを対応付けて記憶している。寸法は、設備モジュールの幅、奥行き及び高さを表している。納品日数は、設備モジュールの納品に要する日数を表している。ゴミ排出量は、設備モジュールを設置する際に排出されるごみの量を表している。搬入方法は、設備モジュールを空間内に搬入する方法を表している。搬入方法には、通常搬入と特殊搬入とがある。通常搬入は、設備モジュールをそのまま建物の入り口から搬入することが可能であることを表している。特殊搬入は、設備モジュールをそのまま建物の入り口から搬入することが困難であり、設備モジュールを分解又は切断することにより搬入することを表している。
【0178】
金額、納品日数、ゴミ排出量及び搬入方法のうちのいずれを優先するのかを示す優先事項が予め設定されている。ユーザは、金額、納品日数、ゴミ排出量及び搬入方法のうちのいずれかを優先事項として設定する。金額が優先事項として設定されている場合、最適モジュール決定部１０３は、種類及び寸法が同じ複数の設備モジュールの中から最も安い設備モジュールを選択する。納品日数が優先事項として設定されている場合、最適モジュール決定部１０３は、種類及び寸法が同じ複数の設備モジュールの中から最も納品日数が短い設備モジュールを選択する。ゴミ排出量が優先事項として設定されている場合、最適モジュール決定部１０３は、種類及び寸法が同じ複数の設備モジュールの中から最もゴミ排出量が少ない設備モジュールを選択する。搬入方法が優先事項として設定されている場合、最適モジュール決定部１０３は、種類及び寸法が同じ複数の設備モジュールの中から搬入方法が通常搬入である設備モジュールを選択する。
【0179】
すなわち、種類及び寸法が同じ設備モジュールであっても、製造メーカ及び材質などの違いにより、金額、納品日数、ゴミ排出量及び搬入方法が異なる場合がある。そのため、金額、納品日数、ゴミ排出量及び搬入方法のうちのいずれを優先するのかが予めユーザにより設定されることにより、よりユーザの優先事項に合った設備モジュールを提示することができる。
【0180】
また、本実施の形態１，２の変形例２において、最適モジュール決定部１０３は、ユーザの年齢を取得し、所定年数経過後の経年変化したユーザの身体的特徴を予測してもよい。そして、最適モジュール決定部１０３は、予測した身体的特徴とモジュールデータと建築情報（空間情報）とに基づいて、第１設備モジュールを決定してもよい。例えば、経年変化により、ユーザの身長が縮んだり、関節の可動域が狭くなったりすることがある。そこで、本実施の形態１，２の変形例２では、所定年数経過後の経年変化したユーザの身体的特徴を考慮した設備モジュールが決定される。
【0181】
図２１は、本実施の形態１，２の変形例２において、提示装置２に表示される第１モジュールオブジェクトの一例を示す図である。
【0182】
図２１において、破線で示される第１モジュールオブジェクト８１は、現在のユーザの身体的特徴に基づいて決定された吊り戸棚を表しており、実線で示される第１モジュールオブジェクト８３は、２０年後のユーザの身体的特徴に基づいて決定された吊り戸棚を表している。年齢と身体的特徴の一般的な平均値とは予め対応付けられている。提示装置２は、ユーザの現在の年齢の入力を受け付け、入力されたユーザの現在の年齢をサーバ１へ送信する。最適モジュール決定部１０３は、ユーザの現在の年齢から、２０年後の年齢における身体的特徴の変化量を算出し、２０年後のユーザの身体的特徴を予測する。最適モジュール決定部１０３は、現在の身体的特徴に基づいて設備モジュールを決定するとともに、２０年後の身体的特徴に基づいて設備モジュールを決定する。そして、オブジェクト生成部１０４は、現在の身体的特徴に基づく設備モジュールを仮想的に提示するための第１モジュールオブジェクトと、２０年後の身体的特徴に基づく設備モジュールを仮想的に提示するための第１モジュールオブジェクトとを生成する。
【0183】
表示部２５は、現在のユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト８１と、２０年後のユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト８３とを表示する。
【0184】
なお、オブジェクト生成部１０４は、第１モジュールオブジェクト８１，８３だけでなく、現在のユーザを仮想的に表すユーザオブジェクト８２と、２０年後のユーザを仮想的に表すユーザオブジェクト８４とを生成してもよい。表示部２５は、第１モジュールオブジェクト８１，８３とともにユーザオブジェクト８２，８４を表示してもよい。ユーザオブジェクト８２は、実際にユーザを撮像することによって得られた画像であっても、仮想的に生成された画像であってもよい。ユーザの現在の身長及び２０年後の予測される身長に応じたユーザオブジェクト８２，８４が表示される。
【0185】
このように、所定年数経過後の経年変化したユーザの身体的特徴に応じた設備モジュールを提示することができる。
【0186】
また、本実施の形態１，２の変形例３において、最適モジュール決定部１０３は、空間を利用する複数のユーザの身体的特徴を取得し、複数の身体的特徴の論理積を算出してもよい。そして、最適モジュール決定部１０３は、算出した複数の身体的特徴の論理積とモジュールデータと建築情報（空間情報）とに基づいて、第１設備モジュールを決定してもよい。例えば、家庭内において、キッチンは、父親、母親及び子供などの複数のユーザによって利用される。複数のユーザの身体的特徴はそれぞれ異なる可能性がある。そこで、最適モジュール決定部１０３は、複数の身体的特徴の論理積を算出し、算出した複数の身体的特徴の論理積を用いて設備モジュールを決定する。
【0187】
図２２は、本実施の形態１，２の変形例３において、提示装置２に表示される第１モジュールオブジェクトの一例を示す図である。
【0188】
図２２において、破線で示される第１モジュールオブジェクト９３は、第１ユーザの身体的特徴に基づいて決定された吊り戸棚を表しており、一点鎖線で示される第１モジュールオブジェクト９４は、第２ユーザの身体的特徴に基づいて決定された吊り戸棚を表しており、実線で示される第１モジュールオブジェクト９５は、第１ユーザの身体的特徴と第２ユーザの身体的特徴との論理積に基づいて決定された吊り戸棚を表している。最適モジュール決定部１０３は、空間を利用する第１ユーザの身体的特徴及び第２ユーザの身体的特徴を取得し、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積を算出する。最適モジュール決定部１０３は、算出した論理積とモジュールデータと建築情報（空間情報）とに基づいて、設備モジュールを決定する。そして、オブジェクト生成部１０４は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積に基づく設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成する。
【0189】
表示部２５は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９５を表示する。
【0190】
なお、オブジェクト生成部１０４は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９５だけでなく、第１ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９３及び第２ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９４を生成してもよい。表示部２５は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９５だけでなく、第１ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９３及び第２ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９４を表示してもよい。
【0191】
なお、オブジェクト生成部１０４は、第１モジュールオブジェクト９５だけでなく、主に空間内の設備モジュールを利用する第１ユーザを仮想的に表すユーザオブジェクト９１と、第１ユーザとは異なる第２ユーザを仮想的に表すユーザオブジェクト９２とを生成してもよい。表示部２５は、第１モジュールオブジェクト９５とともにユーザオブジェクト９１，９２を表示してもよい。ユーザオブジェクト９１，９２は、実際に第１ユーザ及び第２ユーザを撮像することによって得られた画像であっても、仮想的に生成された画像であってもよい。第１ユーザ及び第２ユーザの身長に応じたユーザオブジェクト９１，９２が表示される。
【0192】
また、最適モジュール決定部１０３は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積を、主に空間内の設備モジュールを利用する第１ユーザの身体的特徴により重み付けしてもよい。例えば、最適モジュール決定部１０３は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理積を、主に空間内の設備モジュールを利用する第１ユーザの身体的特徴に応じて広げてもよい。
【0193】
また、本実施の形態１，２の変形例４において、最適モジュール決定部１０３は、空間を利用する複数のユーザの身体的特徴を取得し、複数の身体的特徴の論理和を算出してもよい。そして、最適モジュール決定部１０３は、算出した複数の身体的特徴の論理和とモジュールデータと建築情報（空間情報）とに基づいて、第１設備モジュールを決定してもよい。例えば、家庭内において、キッチンは、父親、母親及び子供などの複数のユーザによって利用される。複数のユーザの身体的特徴はそれぞれ異なる可能性がある。そこで、最適モジュール決定部１０３は、複数の身体的特徴の論理和を算出し、算出した複数の身体的特徴の論理和を用いて設備モジュールを決定する。
【0194】
図２３は、本実施の形態１，２の変形例４において、提示装置２に表示される第１モジュールオブジェクトの一例を示す図である。
【0195】
図２３において、破線で示される第１モジュールオブジェクト９３は、第１ユーザの身体的特徴に基づいて決定された吊り戸棚を表しており、一点鎖線で示される第１モジュールオブジェクト９４は、第２ユーザの身体的特徴に基づいて決定された吊り戸棚を表しており、実線で示される第１モジュールオブジェクト９６は、第１ユーザの身体的特徴と第２ユーザの身体的特徴との論理和に基づいて決定された吊り戸棚を表している。最適モジュール決定部１０３は、空間を利用する第１ユーザの身体的特徴及び第２ユーザの身体的特徴を取得し、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和を算出する。最適モジュール決定部１０３は、算出した論理和とモジュールデータと建築情報（空間情報）とに基づいて、設備モジュールを決定する。そして、オブジェクト生成部１０４は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和に基づく設備モジュールを仮想的に提示するための第１モジュールオブジェクトを生成する。
【0196】
表示部２５は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９６を表示する。
【0197】
なお、オブジェクト生成部１０４は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９６だけでなく、第１ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９３及び第２ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９４を生成してもよい。表示部２５は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９６だけでなく、第１ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９３及び第２ユーザの身体的特徴に基づいて決定された吊り戸棚を表す第１モジュールオブジェクト９４を表示してもよい。
【0198】
なお、オブジェクト生成部１０４は、第１モジュールオブジェクト９６だけでなく、主に空間内の設備モジュールを利用する第１ユーザを仮想的に表すユーザオブジェクト９１と、第１ユーザとは異なる第２ユーザを仮想的に表すユーザオブジェクト９２とを生成してもよい。表示部２５は、第１モジュールオブジェクト９６とともにユーザオブジェクト９１，９２を表示してもよい。ユーザオブジェクト９１，９２は、実際に第１ユーザ及び第２ユーザを撮像することによって得られた画像であっても、仮想的に生成された画像であってもよい。第１ユーザ及び第２ユーザの身長に応じたユーザオブジェクト９１，９２が表示される。
【0199】
また、最適モジュール決定部１０３は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和を、主に空間内の設備モジュールを利用する第１ユーザの身体的特徴により重み付けしてもよい。例えば、最適モジュール決定部１０３は、第１ユーザの身体的特徴及び第２ユーザの身体的特徴の論理和を、主に空間内の設備モジュールを利用する第１ユーザの身体的特徴に応じて狭くしてもよい。
【0200】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
【0201】
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0202】
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【0203】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【0204】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【0205】
本開示に係る技術は、ユーザの身体的特徴に応じた設備モジュールを仮想的に提示することができるので、空間内に配置される設備モジュールを仮想的に提示させる技術として有用である。
【符号の説明】
【0206】
１，１Ａ サーバ
２ 提示装置
３ カメラ
４ ネットワーク
１１，１１Ａ プロセッサ
１２ メモリ
１３，１３Ａ 通信部
２１ プロセッサ
２２ カメラ
２３ センサ
２４ 通信部
２５ 表示部
１０１ 動作検出部
１０２ 身体的特徴抽出部
１０３ 最適モジュール決定部
１０４，１０４Ａ オブジェクト生成部
１０５ 価格情報生成部
１０６ 標準モジュール決定部
１２１ 身体的特徴ＤＢ
１２２ 標準モジュールＤＢ
１２３ 建築情報記憶部
１２４ モジュール価格ＤＢ
２１０ 動作指示部
２１１ 姿勢情報取得部
２１２ オブジェクト提示制御部
２ 提示装置
３ カメラ
４ ネットワーク
１１，１１Ａ プロセッサ
１２ メモリ
１３，１３Ａ 通信部
２１ プロセッサ
２２ カメラ
２３ センサ
２４ 通信部
２５ 表示部
１０１ 動作検出部
１０２ 身体的特徴抽出部
１０３ 最適モジュール決定部
１０４，１０４Ａ オブジェクト生成部
１０５ 価格情報生成部
１０６ 標準モジュール決定部
１２１ 身体的特徴ＤＢ
１２２ 標準モジュールＤＢ
１２３ 建築情報記憶部
１２４ モジュール価格ＤＢ
２１０ 動作指示部
２１１ 姿勢情報取得部
２１２ オブジェクト提示制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
