知財求人 - 知財ポータルサイト「IP Force」
特表2022-547319ホームオートメーションシステムのための３次元仮想ルームに基づくユーザーインターフェイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-11
(54)【発明の名称】ホームオートメーションシステムのための３次元仮想ルームに基づくユーザーインターフェイス
(51)【国際特許分類】
G06T 19/00 20110101AFI20221104BHJP
G06F 3/04815 20220101ALI20221104BHJP
G06F 3/0484 20220101ALI20221104BHJP
【ＦＩ】
G06T19/00 300B
G06F3/04815
G06F3/0484
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022516009
(86)(22)【出願日】2020-09-11
(85)【翻訳文提出日】2022-04-26
(86)【国際出願番号】 US2020050403
(87)【国際公開番号】W WO2021050872
(87)【国際公開日】2021-03-18
(31)【優先権主張番号】62/898,941
(32)【優先日】2019-09-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520268997
【氏名又は名称】サバント システムズ インコーポレイテッド
【氏名又は名称原語表記】Ｓａｖａｎｔ Ｓｙｓｔｅｍｓ，Ｉｎｃ．
(74)【代理人】
【識別番号】100087642
【弁理士】
【氏名又は名称】古谷 聡
(74)【代理人】
【識別番号】100082946
【弁理士】
【氏名又は名称】大西 昭広
(74)【代理人】
【識別番号】100195693
【弁理士】
【氏名又は名称】細井 玲
(72)【発明者】
【氏名】マドンナ，ロバート，ピー
(72)【発明者】
【氏名】マドンナ，マクッスウェル
(72)【発明者】
【氏名】タッツェル，デイヴィッド，ダブリュー
(72)【発明者】
【氏名】モルタ，マイケル，エイ
(72)【発明者】
【氏名】カリマン，ティモシー
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050BA13
5B050CA07
5B050DA05
5B050DA07
5B050EA07
5B050EA12
5B050EA13
5B050EA19
5B050FA05
5B050FA13
5E555AA27
5E555BA06
5E555BA15
5E555BB06
5E555BC01
5E555BC17
5E555BE17
5E555CA12
5E555CB12
5E555CB16
5E555CB34
5E555CB45
5E555CC05
5E555DA31
5E555DB11
5E555DB53
5E555DC09
5E555DC13
5E555DC63
5E555DD06
5E555EA07
5E555FA00
(57)【要約】
【課題】ホームオートメーションシステムのためのユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスの提供。
【解決手段】ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスにおいて、３Ｄ仮想ルームの各々は建物の対応する物理的部屋の実質的に写真のようにリアルな描写を示す。これには、物理的部屋の境界、物理的部屋に存在する家具、及びホームオートメーションシステムの制御下にある、物理的部屋に存在する装置の実質的に写真のようにリアルな描写が含まれる。ユーザーは、明示的ナビゲーションコマンド又は暗黙のアクションを使用して３Ｄ仮想ルーム内を移動し、３Ｄ空間で仮想カメラを移動させて様々な視点から仮想ルームを見れる。３Ｄ仮想ルーム内の装置の実質的に写真のようにリアルな描写と対話することで、ユーザーは物理的部屋にある対応する装置の状態の変更を指示できる。
【選択図】図１
【解決手段】ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスにおいて、３Ｄ仮想ルームの各々は建物の対応する物理的部屋の実質的に写真のようにリアルな描写を示す。これには、物理的部屋の境界、物理的部屋に存在する家具、及びホームオートメーションシステムの制御下にある、物理的部屋に存在する装置の実質的に写真のようにリアルな描写が含まれる。ユーザーは、明示的ナビゲーションコマンド又は暗黙のアクションを使用して３Ｄ仮想ルーム内を移動し、３Ｄ空間で仮想カメラを移動させて様々な視点から仮想ルームを見れる。３Ｄ仮想ルーム内の装置の実質的に写真のようにリアルな描写と対話することで、ユーザーは物理的部屋にある対応する装置の状態の変更を指示できる。
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザーナビゲート可能な３次元（３Ｄ）仮想ルームに基づくユーザーインターフェイスを使用してホームオートメーションシステムを制御するための方法であって、電子装置上で実行される制御アプリケーション（制御アプリ）により、３Ｄ空間において仮想カメラによって定義された視点から、ユーザーナビゲート可能な３Ｄ仮想ルームをレンダリングして表示し、前記ユーザーナビゲート可能な３Ｄ仮想ルームが、前記ホームオートメーションシステムの制御下にある、物理的部屋に存在する１つ以上の装置の描写、前記物理的部屋の１つ以上の境界の描写、及び前記物理的部屋に存在する１つ以上の家具の描写を含み、
ユーザーから明示的ナビゲーションコマンド又は暗黙のアクションを受信し、
前記明示的ナビゲーションコマンド又は暗黙のアクションに応答して、前記制御アプリにより、前記３Ｄ空間における前記仮想カメラの少なくとも位置又は向きを変更し、前記ユーザーナビゲート可能な３Ｄ仮想ルームを新しい視点から再レンダリングして表示し、
ユーザーインタラクションを受信し、
前記ユーザーインタラクションに応答して、前記ホームオートメーションシステムに、前記物理的部屋にある装置の状態を変更させ、
前記制御アプリにより、前記ユーザーナビゲート可能な３Ｄ仮想ルームにおける前記装置の描写、前記１つ以上の境界の描写、及び前記１つ以上の家具の描写の外観を動的に更新し、前記変更された状態を反映すること
を含む、方法。
【請求項2】
前記明示的ナビゲーションコマンド又は暗黙のアクションを受信することは、明示的ナビゲーションコマンドを受信することであり、前記明示的ナビゲーションコマンドは、タッチセンシティブディスプレイ画面上でのタッチジェスチャ又はカーソルの移動を含む、請求項１に記載の方法。
【請求項3】
前記明示的ナビゲーションコマンド又は暗黙のアクションを受信することは、暗黙のアクションを受信することであり、前記暗黙のアクションは、１つ以上の測位ビーコン、又は方位センサーを使用して検出された前記電子装置の位置又は向きの変化を含む、請求項１に記載の方法。
【請求項4】
前記仮想カメラの少なくとも位置又は向きを変更することは、自由な移動を含み、前記仮想カメラは、前記３Ｄ空間を通ってその位置まで水平若しくは垂直に自由に移動され、又は前記３Ｄ空間内でその向きまで自由に回転される、請求項１に記載の方法。
【請求項5】
前記仮想カメラの少なくとも位置又は向きを変更することは、前記仮想カメラを所定のノードに移動することを含み、前記仮想カメラは、前記３Ｄ空間を通って前記所定のノードの所定の位置まで移動され、又は前記３Ｄ空間内で前記所定のノードの所定の向きまで回転される、請求項１に記載の方法。
【請求項6】
前記ユーザーインタラクションは、前記ユーザーナビゲート可能な３Ｄ仮想ルーム内の前記装置の描写との対話である、請求項１に記載の方法。
【請求項7】
前記制御アプリにより、メニューを表示することをさらに含み、
前記ユーザーインタラクションは、前記メニューのメニューインターフェイス要素との対話である、請求項１に記載の方法。
【請求項8】
前記装置は、照明装置であり、前記装置の前記状態は、照度レベル、色、又は色温度のうちの少なくとも１つを含み、
前記装置の描写の外観を動的に更新することは、前記照明装置を前記照度レベル、色、又は色温度で表示することを含み、
前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観を動的に更新することは、前記照明装置によって引き起こされた前記１つ以上の境界の描写及び前記１つ以上の家具の描写に対する影及び反射の変更を含む、請求項１に記載の方法。
【請求項9】
前記装置は、電動ブラインドであり、前記装置の前記状態は、ブラインドの位置を含み、
前記装置の描写の外観を動的に更新することは、前記ブラインドを前記ブラインドの位置に表示することを含み、
前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観を動的に更新することは、前記ブラインドの位置によって引き起こされた前記１つ以上の境界の描写及び前記１つ以上の家具の描写に対する影及び反射の変更を含む、請求項１に記載の方法。
【請求項10】
前記装置は、ガス暖炉であり、前記装置の前記状態は、炎の状態を含み、
前記装置の前記描写の外観を動的に更新することは、前記炎の状態を有する前記ガス暖炉を表示することを含み、
前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観を動的に更新することは、前記炎の状態によって引き起こされた前記１つ以上の境界の描写及び前記１つ以上の家具の描写に対する影及び反射の変更を含む、請求項１に記載の方法。
【請求項11】
前記１つ以上の装置の描写、１つ以上の境界の描写、及び１つ以上の家具の描写は、それぞれ、実質的に写真のようにリアルな描写である、請求項１に記載の方法。
【請求項12】
ソフトウェアがエンコードされた非一時的電子装置読み取り可能媒体であって、前記ソフトウェアが、１つ以上の電子装置の１つ以上のプロセッサ上で実行されたときに、３Ｄ空間において仮想カメラによって定義された視点から、ユーザーナビゲート可能な３次元（３Ｄ）仮想ルームをレンダリングして表示し、前記ユーザーナビゲート可能な３Ｄ仮想ルームが、ホームオートメーションシステムの制御下にある、物理的部屋に存在する１つ以上の装置の描写を含み、
ユーザーから明示的ナビゲーションコマンド又は暗黙のアクションを受信し、
前記明示的ナビゲーションコマンド又は暗黙のアクションに応答して、前記３Ｄ空間における前記仮想カメラの少なくとも位置又は向きを変更し、前記３Ｄ仮想ルームを新しい視点から再レンダリングして表示し、
ユーザーインタラクションを受信し、
前記ユーザーインタラクションに応答して、前記ホームオートメーションシステムに、前記物理的部屋にある装置の状態を変更させ、
前記ユーザーナビゲート可能な３Ｄ仮想ルームにおける前記装置の描写の外観を動的に更新し、前記変更された状態を反映する
ように動作可能である、非一時的電子装置読み取り可能媒体。
【請求項13】
前記ユーザーナビゲート可能な３Ｄ仮想ルームは、前記物理的部屋の１つ以上の境界の描写及び前記物理的部屋に存在する１つ以上の家具の描写をさらに含み、前記動的に更新するように動作可能なソフトウェアは、前記ユーザーナビゲート可能な３Ｄ仮想ルームにおける前記１つ以上の境界の描写又は前記１つ以上の家具の描写の外観を更新し、前記変更された状態を反映するように動作可能なソフトウェアを含む、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項14】
前記仮想カメラの少なくとも位置又は向きを変更することは、自由な移動を含み、前記仮想カメラは、前記３Ｄ空間を通ってその位置まで水平若しくは垂直に自由に移動され、又は前記３Ｄ空間内でその向きまで自由に回転される、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項15】
前記仮想カメラの少なくとも位置又は向きを変更することは、前記仮想カメラを所定のノードに移動することを含み、前記仮想カメラは、前記３Ｄ空間を通って前記所定のノードの所定の位置まで移動され、又は前記３Ｄ空間内で前記所定のノードの所定の向きまで回転される、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項16】
前記装置は、照明装置であり、前記装置の前記状態は、照度レベル、色、又は色温度のうちの少なくとも１つを含み、
前記装置の描写の外観を動的に更新することは、前記照明装置を前記照度レベル、色、又は色温度で表示することを含む、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項17】
前記装置は、ガス暖炉であり、前記装置の前記状態は、炎の状態を含み、
前記装置の描写の外観を動的に更新することは、前記炎の状態を有する前記ガス暖炉を表示することを含む、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項18】
前記装置は、電動ブラインドであり、前記装置の前記状態は、ブラインドの位置を含み、
前記装置の描写の外観を動的に更新することは、前記ブラインドを前記ブラインドの位置に表示することが含む、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項19】
前記装置は、表示装置であり、前記装置の前記状態は、メディアコンテンツの状態を含み、
前記装置の描写の外観を動的に更新することは、前記メディアコンテンツの状態に対応するメディアコンテンツを前記表示装置のディスプレイ画面に表示することを含む、請求項１２に記載の非一時的電子装置読み取り可能媒体。
【請求項20】
ユーザーナビゲート可能な３次元（３Ｄ）仮想ルームに基づくユーザーインターフェイスによって制御されるホームオートメーションシステムであって、ディスプレイ画面と、３Ｄ仮想カメラの視点からユーザーナビゲート可能な３Ｄ仮想ルームをレンダリングし、前記ディスプレイ画面に表示するように構成された制御アプリケーション（制御アプリ）とを含む、リモートコントローラ、モバイルデバイス、又はヘッドマウントディスプレイ（ＨＭＤ）であって、前記ユーザーナビゲート可能な３Ｄ仮想ルームは、前記ホームオートメーションシステムの制御下にある、物理的部屋に存在する１つ以上の装置の描写、前記物理的部屋の１つ以上の境界の描写、及び前記物理的部屋に存在する１つ以上の家具の描写を含み、前記３Ｄ仮想カメラの視点が、ユーザーからの明示的ナビゲーションコマンド又は暗黙のアクションに応答して変更可能である、リモートコントローラ、モバイルデバイス、又はヘッドマウントディスプレイ（ＨＭＤ）と、
前記物理的部屋に存在する前記１つ以上の装置を制御するように構成された、前記リモートコントローラ、モバイルデバイス、又はヘッドマウントディスプレイ（ＨＭＤ）と通信するコントローラであって、前記ユーザーナビゲート可能な３Ｄ仮想ルームとのユーザーインタラクションに応答して装置の状態を変更するように構成されたコントローラと
を含み、
前記制御アプリが、前記ユーザーナビゲート可能な３Ｄ仮想ルームにおける前記装置の描写、前記１つ以上の境界の描写、及び前記１つ以上の家具の描写の外観を動的に更新し、前記変更された状態を反映するようにさらに構成されている、ホームオートメーションシステム。
【請求項21】
ホームオートメーションシステムのためのユーザーナビゲート可能な３次元（３Ｄ）仮想ルームに基づくユーザーインターフェイスを生成する方法であって、カメラにより、物理的部屋の２次元（２Ｄ）画像及び３Ｄ空間モデルを撮影し、前記２Ｄ画像及び３Ｄ空間モデルが、前記ホームオートメーションシステムの制御下にある、前記物理的部屋に存在する１つ以上の装置の描写、前記物理的部屋の１つ以上の境界の描写、及び前記物理的部屋に存在する１つ以上の家具の描写を含み、
電子装置を実行するアプリケーションにより、前記２Ｄ画像と前記３Ｄ空間モデルを１つにつなぎ合わせ、前記３Ｄ空間モデル内の対応する位置に画像データをリンクし、
前記つなぎ合わされた２Ｄ画像及び３Ｄ空間モデル内の前記１つ以上の装置の描写にヒット領域をタグ付けし、
前記つなぎ合わされ、タグ付けされた２Ｄ画像及び３Ｄ空間モデル内の前記１つ以上の装置に外観変更を割り当て、各外観変更が、前記装置への制御コマンドに関連する、それぞれの装置の描写、前記１つ以上の境界の描写、及び前記１つ以上の家具の描写の外観の更新を定義しており、
前記つなぎ合わされ、タグ付けされ、外観が割り当てられた２Ｄ画像及び３Ｄ空間モデルをユーザーナビゲート可能な３Ｄ仮想ルームとしてエクスポートすること
を含む、方法。
【請求項22】
前記電子装置又は別の電子装置上で実行される制御アプリケーション（アプリ）により、前記つなぎ合わされた２Ｄ画像及び３Ｄ空間モデルに基づいて、仮想カメラの視点から、前記ユーザーナビゲート可能な３Ｄ仮想ルームをレンダリングすることをさらに含む、請求項２１に記載の方法。
【請求項23】
前記レンダリングすることは、前記仮想カメラが、前記２Ｄ画像のうちの１つが撮影された位置に対応する位置にあると判定し、
前記２Ｄ画像のうちの前記１つのデータを使用して、前記仮想ルームをレンダリングすること
を含む、請求項２２に記載の方法。
【請求項24】
前記レンダリングすることは、前記仮想カメラが、前記２Ｄ画像のうちの１つが撮影された位置に対応する位置にないと判定し、
前記２Ｄ画像のうちの２つ以上を混ぜ合わせることによるデータを使用して、前記仮想ルームをレンダリングすること
を含む、請求項２２に記載の方法。
【請求項25】
前記つなぎ合わされた２Ｄ画像及び３Ｄ空間モデル内の視覚的アーティファクトを修正することをさらに含む、請求項２１に記載の方法。
【請求項26】
前記１つ以上の装置は、照明装置を含み、前記照明装置の描写の外観の更新は、照度レベル、色又は色温度のうちの少なくとも１つの変更を含み、
前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観の更新は、前記照度レベル、色又は色温度のうちの少なくとも１つの変更によって引き起こされた前記１つ以上の境界の描写及び前記１つ以上の家具の描写における影及び反射に対する変更を含む、請求項２１に記載の方法。
【請求項27】
前記１つ以上の装置は、電動ブラインドを含み、前記電動ブラインドの描写の外観の更新は、ブラインドの位置の変更を含み、
前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観の更新は、前記ブラインドの位置によって引き起こされた前記１つ以上の境界の描写及び前記１つ以上の家具の描写における影及び反射に対する変更を含む、請求項２１に記載の方法。
【請求項28】
前記１つ以上の装置は、ガス暖炉を含み、前記ガス暖炉の描写の外観の更新は、炎の状態の変更を含み、
前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観の更新は、前記炎の状態によって引き起こされた前記１つ以上の境界の描写及び前記１つ以上の家具の描写における影及び反射に対する変更を含む、請求項２１に記載の方法。
【請求項29】
前記１つ以上の装置は、表示装置を含み、前記表示装置の描写の外観の更新は、前記メディアコンテンツの状態に対応するメディアコンテンツを前記表示装置の描写におけるディスプレイ画面に表示することを含む、請求項２１に記載の方法。
【請求項30】
前記１つ以上の装置の描写、１つ以上の境界の描写、及び１つ以上の家具の描写は、それぞれ、実質的に写真のようにリアルな描写である、請求項１０に記載の方法。
【請求項31】
ソフトウェアがエンコードされた非一時的電子装置読み取り可能媒体であって、前記ソフトウェアが、１つ以上の電子装置の１つ以上のプロセッサ上で実行されたときに、物理的部屋の２次元（２Ｄ）画像及び３Ｄ空間モデルを撮影し、前記２Ｄ画像及び３Ｄ空間モデルが、前記ホームオートメーションシステムの制御下にある、前記物理的部屋に存在する１つ以上の装置の描写を含み、
前記２Ｄ画像と前記３Ｄ空間モデルを一つにつなぎ合わせ、前記３Ｄ空間モデル内の対応する位置に画像データをリンクし、
前記つなぎ合わされた２Ｄ画像及び３Ｄ空間モデル内の前記１つ以上の装置の描写にヒット領域をタグ付けし、
前記つなぎ合わされ、タグ付けされた２Ｄ画像及び３Ｄ空間モデル内の前記１つ以上の装置に外観変更を割り当て、各外観変更が、それぞれの装置の描写の外観の更新を定義しており、
前記つなぎ合わされ、タグ付けされ、外観が割り当てられた２Ｄ画像及び３Ｄ空間モデルをユーザーナビゲート可能な３Ｄ仮想ルームとしてエクスポートする
ように動作可能である、非一時的電子装置読み取り可能媒体。
【請求項32】
前記２Ｄ画像及び３Ｄ空間モデルは、物理的部屋の１つ以上の境界の描写、及び前記物理的部屋に存在する１つ以上の家具の描写をさらに含み、前記外観変更が、前記装置への前記制御コマンドに関連付けられた、前記１つ以上の境界の描写及び前記１つ以上の家具の描写の外観の更新をさらに定義している、請求項３１に記載の非一時的電子装置読み取り可能媒体。
【請求項33】
前記ソフトウェアは、前記つなぎ合わされた２Ｄ画像及び３Ｄ空間モデルに基づいて、仮想カメラの視点から、前記ユーザーナビゲート可能な３Ｄ仮想ルームをレンダリングする
ようにさらに動作可能である、請求項３１に記載の非一時的電子装置読み取り可能媒体。
【請求項34】
前記レンダリングするように動作可能なソフトウェアは、前記仮想カメラが、前記２Ｄ画像のうちの１つが撮影された位置に対応する位置にあると判定すると、
前記２Ｄ画像のうちの前記１つのデータを使用して、前記仮想ルームをレンダリングする
ようにさらに動作可能である、請求項３３に記載の非一時的電子装置読み取り可能媒体。
【請求項35】
前記レンダリングするように動作可能なソフトウェアは、前記仮想カメラが、前記２Ｄ画像のうちの１つが撮影された位置に対応する位置にないと判定すると、
前記２Ｄ画像のうちの２つ以上を混ぜ合わせることによるデータを使用して、前記仮想ルームをレンダリングする
ようにさらに動作可能である、請求項３３に記載の非一時的電子装置読み取り可能媒体。
【請求項36】
前記ソフトウェアは、前記つなぎ合わされた２Ｄ画像及び３Ｄ空間モデル内の視覚的アーティファクトを修正する
ようにさらに動作可能である、請求項３１に記載の非一時的電子装置読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本出願は、ロバート・ピー・マドンナらによって２０１９年９月１１日に出願された、「Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｒｔｕａｌ Ｒｏｏｍ－Ｂａｓｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ ａ Ｈｏｍｅ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国仮特許出願第６２／８９８，９４１号の利益を主張するものである。この米国仮特許出願の内容は、参照によりその全体が本明細書に組み込まれる。
本出願は、ロバート・ピー・マドンナらによって２０１９年９月１１日に出願された、「Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｒｔｕａｌ Ｒｏｏｍ－Ｂａｓｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ ａ Ｈｏｍｅ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国仮特許出願第６２／８９８，９４１号の利益を主張するものである。この米国仮特許出願の内容は、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
［技術分野］
本開示は、概して、装置制御に関するものであり、より具体的には、ホームオートメーションシステムにおいて装置を制御するためのユーザーインターフェイスに関するものである。
本開示は、概して、装置制御に関するものであり、より具体的には、ホームオートメーションシステムにおいて装置を制御するためのユーザーインターフェイスに関するものである。
【0003】
［背景情報］
家やその他の建物が大きくなり、より多くの装置で満たされるようになるにつれて、装置の制御は、ますます困難になる。従来、多くの装置は、メカニカルスイッチによって制御されてきた。メカニカルスイッチは信頼性が高く費用効果が高いものの、特に建物の同じ部屋に多くの装置が配置されている場合、メカニカルスイッチには、多くの制限がある。例えば、大きな部屋には、多数の照明装置、表示装置、電動ブラインド、暖房換気空調（ＨＶＡＣ）装置などが含まれる場合がある。これらすべての装置を制御するには、多数のメカニカルスイッチが必要になる場合がある。室内のメカニカルスイッチの数が増えると、使い勝手は低下する。メカニカルスイッチには、多くの場合、ラベルが付されておらず、ラベルが付されている場合でも、不可解な説明（「ランプ１」、「ランプ２」など）が付されているにすぎない。ユーザーは、部屋で利用可能な多くのメカニカルスイッチのどれがどの装置を制御するかを覚えていることを余儀なくされることがある。この対応関係を覚えていないユーザーは、一般に、試行錯誤により、所望の結果が偶然に得られるまでスイッチをぱちぱちと切り替える必要がある。
家やその他の建物が大きくなり、より多くの装置で満たされるようになるにつれて、装置の制御は、ますます困難になる。従来、多くの装置は、メカニカルスイッチによって制御されてきた。メカニカルスイッチは信頼性が高く費用効果が高いものの、特に建物の同じ部屋に多くの装置が配置されている場合、メカニカルスイッチには、多くの制限がある。例えば、大きな部屋には、多数の照明装置、表示装置、電動ブラインド、暖房換気空調（ＨＶＡＣ）装置などが含まれる場合がある。これらすべての装置を制御するには、多数のメカニカルスイッチが必要になる場合がある。室内のメカニカルスイッチの数が増えると、使い勝手は低下する。メカニカルスイッチには、多くの場合、ラベルが付されておらず、ラベルが付されている場合でも、不可解な説明（「ランプ１」、「ランプ２」など）が付されているにすぎない。ユーザーは、部屋で利用可能な多くのメカニカルスイッチのどれがどの装置を制御するかを覚えていることを余儀なくされることがある。この対応関係を覚えていないユーザーは、一般に、試行錯誤により、所望の結果が偶然に得られるまでスイッチをぱちぱちと切り替える必要がある。
【0004】
メカニカルスイッチの欠点を改善しようとする様々なタイプのホームオートメーションシステムが開発されてきた。こうしたシステムは、通常、種々の装置の動作を管理する１つ以上のコントローラを含む。コントローラとのインタラクション（「対話」又は「対話的操作」とも呼ばれる）は、種々の装置を制御するためのユーザーインターフェイスを提供する専用タッチスクリーンユニットのようなユーザーインターフェイス装置を介して行うことができる。ユーザーインターフェイスは、タッチセンシティブボタン又はスライダーのアレイを含む場合があり、各ボタン又はスライダーが、１つの装置又は装置のグループを制御する場合がある。
【0005】
ただし、このようなボタン中心の画面上のユーザーインターフェイスには、メカニカルスイッチと同じ多くの欠点がある。ボタンやスライダーは、メカニカルスイッチのように物理的に存在するのではなく、画面に表示されるが、非常によく似た働きをする。画面上のボタンやスライダーを見ても、ボタンやスライダーが何をするものかわからない場合がある。ラベルが設けられている場合もあるが、画面スペースの制約を考えると、そのようなラベルは、短くてわかりにくいことが多い。ラベルは、システムを設定する設置業者にとっては意味があるが、ユーザーにとっては本質的な意味がほとんどない場合がある。メカニカルスイッチの場合と同様に、ユーザーは画面上の各ボタンに触れるか、又は各スライダーをスライドさせて、試行錯誤により、どのボタン又はスライダーが目的の結果を達成するかを見つけ出す必要がある。
【0006】
最近では、メカニカルスイッチやボタン中心の画面上のユーザーインターフェイスの多くの欠点に対処する装置制御ソリューションが開発されている。このソリューションは、タッチスクリーンに表示される１つ以上の固定視点の２次元（２Ｄ）仮想ルームを含むユーザーインターフェイスを提供する。各仮想ルームは、建物の対応する物理的部屋の２Ｄ描写を示している。画面上に表示された固定視点の２Ｄ仮想ルーム内の装置の描写に触れることにより、ユーザーは、物理的部屋においてホームオートメーションシステムにより実施される装置の状態変更を指示することができる。物理的部屋において装置の状態が変更されると、固定視点の２Ｄ仮想ルームの外観が更新され、変更された状態が表示される。
【0007】
このタイプのソリューションは、メカニカルスイッチやボタン中心の画面上のユーザーインターフェイスの多くの欠点を解決するものであり、注目に値する進歩に相当するが、それでもまだ改善することができる。固定視点の２Ｄ仮想ルームに基づくインターフェイスの問題の１つは、ユーザーが建物の間取りや各部屋の具体的名前に精通している必要があることである。インターフェイス上には、様々な固定視点の２Ｄ仮想ルームがユーザーに対して表示される場合があり、ユーザーは、その中から選択する必要がある。ユーザーが建物付近で移動し、様々な物理的部屋にある装置を制御したい場合は、この選択を繰り返す必要がある。ユーザーが建物の間取りや各部屋の名前に精通していない場合、ユーザーは、所望の変更を実行するために使用すべき正しい仮想ルームを、試行錯誤により選択する必要がある。
【0008】
固定視点の２Ｄ仮想ルームに基づくインターフェイスの他の問題は、一部のタイプの状態変化を簡単に表現できないか、又は「自然」な形で表示できない場合があることである。従来技術によれば、固定視点の２Ｄ仮想ルームは、事前選択された同じ視点から、様々な状態にある物理的部屋の複数の２Ｄ画像（例えば、写真）を撮影することによって生成される。これには、全てオフの２Ｄ画像と、１つの装置が作動状態で、残りの全ての装置が非作動の状態での装置固有画像とが含まれる。複数の画像の中から様々な画像をフィルタで一つに結合し、様々な状態の組み合わせを有する種々の装置を含む固定視点の２Ｄ仮想ルームが生成される。このようなフィルタリングは、一部のタイプの状態変更（例えば、一部の照明状態の変更）については良好に機能するが、状態変更のタイプによっては（例えば、カラー照明状態、メディアコンテンツの状態、電動ブラインドの位置、ガス暖炉の炎の設定など）、現実的ではなく、少数の２Ｄ画像を結合しても、それらの外観は良好に再現されない。例えば、一部のカラー照明装置は、多数の色（例えば、３２ビットカラー）を生成する機能を有する場合がある。少数の２Ｄ画像をフィルタで一つに結合しても、単に可能性が多すぎて、物理的部屋におけるそれら全ての色の外観を、簡単にシミュレートできない場合がある。同様に、テレビのメディアコンテンツの状態（チャンネル、ソース、ファイルなど）は、少数の２Ｄ画像をフィルタで一つに結合しても、単に必要な情報がそこになく、簡単にシミュレートできない場合がある。同様に、フィルタリングは、複数の装置が相互に影響して物理的部屋の外観に影響が及ぼされるときの微妙な影響の違いを常に完全に再現するとは限らない。例えば、電動ブラインドの様々な位置、様々な照明装置からの人工的な光、ガス暖炉の炎からの周辺光などによって引き起こされる自然の太陽光の相互作用は、少数の２Ｄ画像を単にフィルタで結合するだけではうまく再現できない場合がある。
【0009】
固定視点の２Ｄ仮想ルームに基づくインターフェイスの他の問題は、部屋の形状や装置の配置によっては、望ましい視点を事前選択することが難しい場合があることである。通常、設置業者は、被写体の重なりを最小限に抑えながら多数の装置を適当なサイズで表示する２Ｄ画像を撮影するために、少数の視点を事前選択する。複雑な形状や普通でない配置の装置などを有する特定の部屋の場合、これらの目的に合致する少数の視点を事前選択することは、困難又は不可能な場合がある。固定視点の２Ｄ仮想ルームに基づくユーザーインターフェイスは、引き続き生成される可能性があり、その使いやすさは低下する可能性がある。
【0010】
そのため、これらの問題の一部又は全部に対処できる、ホームオートメーションシステムを制御するための改善された仮想ルームに基づくユーザーインターフェイスが必要とされている。
【発明の概要】
【課題を解決するための手段】
【0011】
［概要］
一実施形態では、ホームオートメーションシステムのための、ユーザーナビゲート可能な３次元（３Ｄ）仮想ルームに基づくユーザーインターフェイスが提供される。ユーザーナビゲート可能な３Ｄ仮想ルームの各々は、建物の対応する物理的部屋の実質的に写真のようにリアルな描写を示している。これには、物理的部屋の境界（壁、天井、床など）、物理的部屋に存在する家具（例えば、ソファ、椅子、ベッド、壁掛けなど）、及びホームオートメーションシステムの制御下にある、物理的部屋に存在する装置（例えば、照明装置、表示装置、電動ブラインド、ＨＶＡＣ装置、及び／又は他のタイプの装置）の実質的に写真のようにリアルな描写が含まれる。ユーザーは、明示的ナビゲーションコマンド（例えば、移動コマンドやノード選択）又は暗黙のアクション（例えば、測位ビーコン及び／又は方位センサーを使用して検出された装置の移動）を使用してユーザーナビゲート可能な３Ｄ仮想ルーム内を移動し、３Ｄ空間で仮想カメラを移動させて様々な視点から仮想ルームを見ることができる。ユーザーナビゲート可能な３Ｄ仮想ルーム内の装置の実質的に写真のようにリアルな描写と対話（例えば、接触、クリックなど）することにより、ユーザーは、物理的部屋にある対応する装置の状態の変更を指示することができる。物理的部屋にある装置の状態が変更されると、３Ｄグラフィックエンジンは、ユーザーナビゲート可能な３Ｄ仮想ルームの外観を動的に更新して変更を反映し、ユーザーが仮想ルーム内で見るものが、対応する物理的部屋内でのユーザーの体験を模倣するようにする。ユーザーは、３Ｄ空間を移動して部屋と部屋の関係を観察できるため、従来のインターフェイスよりも簡単に３Ｄ仮想ルームに基づくインターフェイスを操作できる。また、３Ｄグラフィックエンジンのおかげで、３Ｄ仮想ルームは、従来表現が困難だった種々の状態や外観エフェクトを表示できる場合がある。さらに、３Ｄ仮想ルームは、様々な部屋の形状や装置の配置に、より良好に適応できる場合がある。
一実施形態では、ホームオートメーションシステムのための、ユーザーナビゲート可能な３次元（３Ｄ）仮想ルームに基づくユーザーインターフェイスが提供される。ユーザーナビゲート可能な３Ｄ仮想ルームの各々は、建物の対応する物理的部屋の実質的に写真のようにリアルな描写を示している。これには、物理的部屋の境界（壁、天井、床など）、物理的部屋に存在する家具（例えば、ソファ、椅子、ベッド、壁掛けなど）、及びホームオートメーションシステムの制御下にある、物理的部屋に存在する装置（例えば、照明装置、表示装置、電動ブラインド、ＨＶＡＣ装置、及び／又は他のタイプの装置）の実質的に写真のようにリアルな描写が含まれる。ユーザーは、明示的ナビゲーションコマンド（例えば、移動コマンドやノード選択）又は暗黙のアクション（例えば、測位ビーコン及び／又は方位センサーを使用して検出された装置の移動）を使用してユーザーナビゲート可能な３Ｄ仮想ルーム内を移動し、３Ｄ空間で仮想カメラを移動させて様々な視点から仮想ルームを見ることができる。ユーザーナビゲート可能な３Ｄ仮想ルーム内の装置の実質的に写真のようにリアルな描写と対話（例えば、接触、クリックなど）することにより、ユーザーは、物理的部屋にある対応する装置の状態の変更を指示することができる。物理的部屋にある装置の状態が変更されると、３Ｄグラフィックエンジンは、ユーザーナビゲート可能な３Ｄ仮想ルームの外観を動的に更新して変更を反映し、ユーザーが仮想ルーム内で見るものが、対応する物理的部屋内でのユーザーの体験を模倣するようにする。ユーザーは、３Ｄ空間を移動して部屋と部屋の関係を観察できるため、従来のインターフェイスよりも簡単に３Ｄ仮想ルームに基づくインターフェイスを操作できる。また、３Ｄグラフィックエンジンのおかげで、３Ｄ仮想ルームは、従来表現が困難だった種々の状態や外観エフェクトを表示できる場合がある。さらに、３Ｄ仮想ルームは、様々な部屋の形状や装置の配置に、より良好に適応できる場合がある。
【0012】
ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスは、物理的部屋の３Ｄメッシュモデル及び２Ｄ画像を使用して生成できる。プロセスの一例において、設置業者は、物理的部屋の複数の位置に３Ｄカメラを配置し、重複する複数組の２Ｄ画像（例えば、２Ｄパノラマ画像）と３Ｄ空間モデル（例えば、３Ｄメッシュ）を撮影する。重複する２Ｄ画像（例えば、２Ｄパノラマ画像）と３Ｄ空間モデル（例えば、３Ｄメッシュ）はスティッチングアプリケーションにインポートされ、スティッチングアプリケーションは、３Ｄ空間モデル内の対応する位置に画像データをリンクする（すなわち、つなぎ合わせる）。つなぎ合わされた２Ｄ画像（例えば、２Ｄパノラマ画像）と３Ｄ空間モデル（例えば、３Ｄメッシュ）は、３Ｄモデリングアプリケーションにインポートされる。設置業者は、３Ｄモデリングアプリケーションを使用して視覚的アーティファクトを修正し、種々の装置の描写にヒット領域をタグ付けする。ヒット領域は、それらの装置の種々の特性、及び装置の状態を変更するために認識された制御コマンドに対応付けられる。設置業者はさらに、３Ｄモデリングアプリケーションを使用して、それらの装置の特性及び制御コマンドに合致する外観変更を、装置の描写に割り当てる。割り当てられる外観変更は、制御コマンドが発行されたときに、外観を物理的部屋で行われた変更に合致させるためにどのように更新しなければならないかを定義する。その後、つなぎ合わされ、アーティファクトが修正され、タグ付けされ、外観が割り当てられた２Ｄ画像と３Ｄ空間モデル（仮想ルームと呼ばれる）は、制御アプリにエクスポートされる。ユーザーは、制御アプリを使用してホームオートメーションシステムとその装置を制御することができる。
【0013】
仮想ルーム内の仮想カメラが、２Ｄ画像（例えば、２Ｄパノラマ画像）の１つが撮影された位置に対応する位置にある場合、制御アプリの３Ｄグラフィックエンジンは、必要に応じて外観変更を付加して、その２Ｄ画像（例えば、２Ｄパノラマ画像）のデータを表示することができる。仮想カメラが２Ｄ画像（例えば、２Ｄパノラマ画像）のどの位置にも対応しない位置を通って移動された場合、制御アプリの３Ｄグラフィックエンジンは、３Ｄ空間モデル（例えば、３Ｄメッシュ）を用いて、種々の利用可能な２Ｄ画像を混ぜ合わせ（例えば、アルファチャネルを変更し、それらの２Ｄ画像の層をレンダリングし）、必要に応じて外観変更を付加して、混ぜ合わされたデータを表示する。
【0014】
様々な追加の特徴及び代替の実施形態が実施されてもよいことを理解されたい。この概要は、単に読み手への簡単な紹介を意図するものであり、本明細書で言及されるが例が、本発明のあらゆる態様を網羅することや本発明の必須若しくは不可欠な態様であることを、示すものでも暗示するものでもない。
【図面の簡単な説明】
【0015】
以下の説明では、添付の図面を参照する。
【0016】
図１は、建物（例えば、住宅や商業ビル）の部屋にある装置を制御するように動作可能なホームオートメーションシステムの例示的アーキテクチャを示すブロック図である。
【0017】
図２Ａは、制御アプリによって表示できる例示的ユーザーナビゲート可能な３Ｄ仮想ルームのスクリーンショットである。
【0018】
【0019】
図２Ｄ～図２Ｅは、図２Ａの例示的ユーザーナビゲート可能な３Ｄ仮想ルームを示すスクリーンショットであり、仮想ルームを異なる視点から見るための、ナビゲーションノードを使用した３Ｄ空間における仮想カメラの移動を示している。
【0020】
【0021】
【0022】
【0023】
図２Ｍは、視覚的アーティファクトがなく、比較的高い解像度を有する、例示的ユーザーナビゲート可能な３Ｄ仮想ルームのスクリーンショットであり、この３Ｄ仮想ルームは、商用実施形態に比較的近い場合がある。
【0024】
図３は、ホームオートメーションシステムの装置を制御するために、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを操作する例示的な一連のステップを示すフロー図である。
【0025】
図４は、ホームオートメーションシステムの装置を制御するための、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを生成する例示的な一連のステップを示すフロー図である。
【発明を実施するための形態】
【0026】
［定義］
本明細書で使用される場合、「ホームオートメーションシステム」という用語は、住宅や商業ビルのような建物内の種々の装置（例えば、照明装置、表示装置、電動ブラインド、ＨＶＡＣ装置、及び／又は他のタイプの装置）を制御できる様々なタイプのホームコントロールシステム、「スマートホーム」システム、及び／又は装置制御システムを包含するように、広く解釈されるべきである。
本明細書で使用される場合、「ホームオートメーションシステム」という用語は、住宅や商業ビルのような建物内の種々の装置（例えば、照明装置、表示装置、電動ブラインド、ＨＶＡＣ装置、及び／又は他のタイプの装置）を制御できる様々なタイプのホームコントロールシステム、「スマートホーム」システム、及び／又は装置制御システムを包含するように、広く解釈されるべきである。
【0027】
本明細書で使用する場合、「物理的部屋」という用語は、物理的建物の内部、又は物理的建物に関連する外部空間であって、その場所で１つ以上の装置がサービスを提供できるものを指している。
【0028】
本明細書で使用する場合、「仮想ルーム」という用語は、物理的建物の内部、又は物理的建物に関連する外部空間の描写によって表された、物理的部屋のデジタルツイン（仮想的デジタル複製物）を指している。
【0029】
本明細書で使用される場合、「モバイルデバイス」という用語は、汎用オペレーティングシステムを実行する、人が運ぶのに適した電子装置を指している。スマートフォンのような装置は、モバイルデバイスと見なされるべきである。デスクトップコンピューター、サーバー又は他の主に据え置き型の計算装置は、通常、モバイルデバイスと見なされるべきではない。
【0030】
ホームオートメーションシステムの例
図１は、建物（例えば、住宅や商業ビル）の部屋にある装置を制御するように動作可能なホームオートメーションシステム１００の例示的アーキテクチャを示すブロック図である。システムの中核には、家庭内ローカルエリアネットワーク（ＬＡＮ）（例えば、イーサネット（登録商標）のような有線ネットワーク及び／又はＷｉ－Ｆｉ（登録商標）のような無線ネットワーク）１５０に結合されたホストコントローラ１１０がある。ホストコントローラは、プロセッサ、メモリ、及びストレージデバイスのようなハードウェアコンポーネントを含む場合があり、これらが全体として、ホストソフトウェア１１１を記憶し、実行する。ホストソフトウェア１１１は、装置１１２～１２４の動作を監視制御し、ビーコン１２５を利用し、ＵＩ解釈、システムの管理及び監視、ならびに、クラウドサービス１８０、リモートコントローラ１４０、モバイルデバイス１６０、及びシステムの制御に使用される他の電子装置１６５との同期を提供し、活動記録サービスを提供し、活動予測サービス及び／又は他のタイプの機能を提供するように構成されている。ホストコントローラ１１０は、それ自体のストレージデバイス内に家庭用データベース１３０を維持することができる。家庭用データベース１３０には、ホームオートメーションシステムによって制御される装置１１２～１２４とそれらの装置が提供できるサービスに関する情報、ならびに、システムの制御に使用されるコントローラ１４０、モバイルデバイス１６０、及び、他の電子装置１６５に関する情報を含む設定情報が記憶されている。
図１は、建物（例えば、住宅や商業ビル）の部屋にある装置を制御するように動作可能なホームオートメーションシステム１００の例示的アーキテクチャを示すブロック図である。システムの中核には、家庭内ローカルエリアネットワーク（ＬＡＮ）（例えば、イーサネット（登録商標）のような有線ネットワーク及び／又はＷｉ－Ｆｉ（登録商標）のような無線ネットワーク）１５０に結合されたホストコントローラ１１０がある。ホストコントローラは、プロセッサ、メモリ、及びストレージデバイスのようなハードウェアコンポーネントを含む場合があり、これらが全体として、ホストソフトウェア１１１を記憶し、実行する。ホストソフトウェア１１１は、装置１１２～１２４の動作を監視制御し、ビーコン１２５を利用し、ＵＩ解釈、システムの管理及び監視、ならびに、クラウドサービス１８０、リモートコントローラ１４０、モバイルデバイス１６０、及びシステムの制御に使用される他の電子装置１６５との同期を提供し、活動記録サービスを提供し、活動予測サービス及び／又は他のタイプの機能を提供するように構成されている。ホストコントローラ１１０は、それ自体のストレージデバイス内に家庭用データベース１３０を維持することができる。家庭用データベース１３０には、ホームオートメーションシステムによって制御される装置１１２～１２４とそれらの装置が提供できるサービスに関する情報、ならびに、システムの制御に使用されるコントローラ１４０、モバイルデバイス１６０、及び、他の電子装置１６５に関する情報を含む設定情報が記憶されている。
【0031】
ホームオートメーションシステムの装置１１２～１２４は、照明器具、調光モジュールなどの照明装置１１２；キーパッド、スイッチ、タッチスクリーンなどのインターフェイス装置１１３；住宅モニター／カメラ、モーションセンサー、家庭用健康管理センサー、関連するコントローラなどのセキュリティ装置１１４；表示装置（例えば、テレビ、モニターなど）、Ａ／Ｖ装置コントローラ、メディアサーバー、オーディオアンプ、ケーブルボックスなどのオーディオ装置１１６やビデオ装置１１８（総称してＡ／Ｖ装置）；電子ドアロック１２０；電動ブラインド１２１及び部屋内で動きを生み出す他のタイプの電動装置（例えば、テレビリフト、自動ドアなど）など；サーモスタット制御の冷暖房システム、ガス暖炉、全室ファンなどのＨＶＡＣ装置１２２；ＩＲブラスター、マトリックススイッチャー、シグナルエクステンダーなどの相互接続装置１２４；ならびに、他のタイプのホームオートメーションシステム装置を含む場合がある。装置１１２～１２４のそれぞれは、建物の物理的部屋に関連する（すなわち、関連して使用されるように構成される）場合があるため、部屋「に」あると言われることがある。この文脈で使用される場合、「に」という語は、部屋内に物理的に存在する装置、又は他の場所（例えば、リモート機器ラック）に存在し、そのような遠隔地から部屋に種々のサービスを提供する装置を包含すると解釈されるべきであることを理解されたい。
【0032】
ホームオートメーションシステムの装置１１２～１２４の通信機能は、実施形態によって異なっていてよい。例えば、少なくとも一部の装置は、それらがホストコントローラ１１０のような装置と通信できるようにするＬＡＮインターフェイス（例えば、イーサネット（登録商標）若しくはＷｉ－Ｆｉ（登録商標）アダプタ）及び／又はワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）インターフェイス（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）若しくはＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）アダプタ）を含む場合がある。同様に、一部の装置は、有線通信又はポイントツーポイントの無線通信（例えば、ＲＳ－２３２、ＲＳ－４８５、汎用入出力（ＧＰＩＯ）、赤外線（ＩＲ）など）のためのポート又はトランシーバーしか持たない場合があり、それらの技術を使用してホストコントローラ１１０や他の装置と通信する場合がある。一部の装置（例えば、ＩＲブラスターのような相互接続装置）は、異なるタイプの通信をブリッジ接続することができ、例えば、ＷＰＡＮインターフェイス（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）若しくはＢＬＥアダプタ）とポイントツーポイントの無線トランシーバー（例えば、ＩＲトランシーバー）の両方を含み、それらをブリッジ接続することができる。さらに、一部の装置は、ＬＡＮインターフェイス（例えば、イーサネット（登録商標）若しくはＷｉ－Ｆｉインターフェイス）を含むが、家庭内ＬＡＮ１５０を介してホストコントローラ１１０やホームオートメーションシステムの他の装置と直接通信するようには構成されない場合がある。代わりに、これらの装置は、インターネット１７０及びクラウドサービス１８０及び／又はサードパーティのインフラストラクチャ１９０にアクセスすることができ、これらが次いで、ホストコントローラ１１０と通信する場合がある。図１に示されているいくつかのＨＶＡＣ装置１２２は、このような形で通信できることを理解されたい。追加又は代替として、他のタイプの装置１１２～１２４が、このような形で通信してもよい。
【0033】
ホームオートメーションシステムは、建物内のリモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５の位置を判定するために、ＷＬＡＮ、ＷＰＡＮ、又は他の無線信号（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ、Ｗｉ－Ｆｉ（登録商標）、超広帯域（ＵＷＢ）、無線周波数識別子（ＲＦＩＤ）などの信号）を送受信する複数の測位ビーコンを含む場合がある。位置の判定は、受信信号強度（ＲＳＳ）を使用して最も近いビーコン位置を選択し、複数のビーコン位置とそれに関連する信号強度に基づいて三辺測量を実施するか、及び／又は他の技術を使用することにより、行うことができる。これらのビーコンは、スタンドアロンビーコン１２５のようなスタンドアロンの装置であってもよいし、又は他の機能を提供する装置１１２～１２４のうちの１つ以上に一体化されていてもよい。一実施形態では、ビーコンが照明装置１１２とキーパッドに一体化され、照明装置１１２は、照明機能と測位機能の両方を提供し、キーパッドは、ユーザーインターフェイス機能と測位機能の両方を提供する。
【0034】
ユーザーは、リモートコントローラ１４０を使用して、ホームオートメーションシステムの装置１１２～１２４を制御することができる。リモートコントローラ１４０は、タッチセンシティブディスプレイ画面、物理ボタン、通信インターフェイス（例えば、ＩＲ、ＷＰＡＮなど）、プロセッサ、メモリ、及びストレージデバイスを含む場合があり、これらが、ホストコントローラ１１０及びクラウドサービス１８０と接続するように構成された制御アプリを記憶し、実行する。リモートコントローラは、方位センサーをさらに含む場合があり、方位センサーは、測位ビーコンとあわせて、建物付近でのリモートコントローラの位置と向きの判定を可能にする。リモートコントローラ１４０上の制御アプリは、他の機能の中でもとりわけ、ホームオートメーションシステム１００の装置１１２～１２４を制御するための、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを表示することができる。
【0035】
ユーザーは、モバイルデバイス１６０を使用して、ホームオートメーションシステムの装置１１２～１２４を制御することもできる。モバイルデバイス１６０は、タッチセンシティブディスプレイ画面、通信インターフェイス（例えば、Ｗｉ－Ｆｉ（登録商標）、ＷＰＡＮなど）、プロセッサ、メモリ、及びストレージデバイスを含む場合があり、これらが、ホストコントローラ１１０及び／又はクラウドサービス１８０と接続するように構成された制御アプリ１６２を記憶し、実行する。モバイルデバイス１６０は、方位センサーをさらに含む場合があり、方位センサーは、測位ビーコンとあわせて、建物付近でのモバイルデバイス１６０の位置と向きの判定を可能にする。モバイルデバイス１６０上の制御アプリは、他の機能の中でもとりわけ、ホームオートメーションシステム１００の装置１１２～１２４を制御するための、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを表示することができる。
【0036】
さらにユーザーは、タブレットコンピュータ、ＧＯＯＧＬＥ ＧＬＡＳＳ（登録商標）ＨＵＤのようなヘッドマウントディスプレイ（ＨＭＤ）、専用タッチスクリーンユニット、テレビとリモートコントローラ、コンピューターとマウスのような別の電子装置１６５、又は他のタイプの技術を使用して、ホームオートメーションシステムの装置１１２～１２４を制御することもできる。電子装置１６５は、ディスプレイ画面（例えば、タッチセンシティブ、非タッチセンシティブ、ＨＭＤなど）、入力装置、通信インターフェイス（例えば、Ｗｉ－Ｆｉ（登録商標）、ＷＰＡＮなど）、プロセッサ、メモリ、及びストレージデバイスを含む場合があり、これらが、ホストコントローラ１１０及び／又はクラウドサービス１８０と接続するように構成されたソフトウェアを記憶し、実行する。
【0037】
電子装置１６５は、方位センサーをさらに含む場合があり、方位センサーは、測位センサーとあわせて、建物付近での電子装置１６５の位置と向きの判定を可能にする。例えば、電子装置１６５がＨＭＤであり、ビーコンがＢＬＥビーコンである実施形態では、位置の判定は、ＢＬＥ三辺測量によって行われる場合があり、向きの判定は、頭部の動きによって行われる場合がある。制御アプリは、ホームオートメーションシステムの装置１１２～１２４を制御するための３Ｄ仮想ルームに基づくユーザーインターフェイスをＨＭＤ上に表示することができ、ユーザーは、ＨＭＤの入力装置を用いて選択を行うことができる。
【0038】
また、電子装置１６５は、一緒に動作する複数の個別の装置を含む場合があることを理解されたい。例えば、電子装置１６５がテレビとリモコンである実施形態では、制御アプリは、３Ｄ仮想ルームに基づくユーザーインターフェイスをテレビの画面上に表示することができ、選択は、リモートコントローラで（例えば、画面上のカーソルを動かして種々の項目を選択することにより）受信することができる。
【0039】
リモートコントローラ１４０、モバイルデバイス１６０又は電子装置１６５は、装置の制御を実行するためにホストコントローラ１１０と通信することができる。一部の装置（例えば、モバイルデバイス１６０、電子装置１６５など）は、クラウドサービス１８０、ならびにそのホストアプリケーションプログラムインターフェイス（ＡＰＩ）１８２及びモバイルＡＰＩ１８４と通信することができる。クラウドサービス１８０は、他の機能の中でもとりわけ、ホームオートメーションコントローラへのリモートアクセス、家庭用データベース１３０の永続的バックアップ（設定データベース１８６へのデータの保存）、（サードパーティアダプタ１８８を介した）サードパーティインフラストラクチャへの接続、ユーザープロファイルや使用状況の追跡（ユーザーデータベース１８９へのデータの保存）、ならびに、無線更新のメカニズム、ホストクラッシュレポート、及びライセンス管理を提供することができる。
【0040】
ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスの操作
リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５上の制御アプリは、ホームオートメーションシステム１００の装置１１２～１２４を制御するための３Ｄ仮想ルームに基づくユーザーインターフェイスを表示することができる。インターフェイスは、複数のユーザーナビゲート可能な３Ｄ仮想ルームを含む場合があり、ユーザーナビゲート可能な３Ｄ仮想ルームの各々は、建物の対応する物理的部屋の実質的に写真のようにリアルな描写を示している。ユーザーナビゲート可能な３Ｄ仮想ルームの各々は、物理的部屋の境界（例えば、壁、天井、床など）、物理的部屋に存在する家具（例えば、ソファ、椅子、ベッド、壁掛けなど）、ならびに物理的部屋に存在する装置１１２～１２４（例えば、照明装置、表示装置、電動ブラインド、及び／又は他のタイプの装置）の実質的に写真のようにリアルな描写を含む場合がある。装置１１２～１２４の各々は、いくつかの可能な状態を有する場合がある。装置１１２～１２４によって、一組の二値の可能な状態（例えば、非アクティブな「オフ」状態とアクティブな「オン」状態）を有することもあれば、一組のもっと多数の可能な状態（例えば、複数の照度レベル、色（例えば、３２ビットカラー）、色温度（例えば、３０００Ｋ、５０００Ｋなど）、メディアコンテンツ（例えば、テレビチャンネル、ソース、個々のメディアファイルなど）、位置、温度など）を有することもある。
リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５上の制御アプリは、ホームオートメーションシステム１００の装置１１２～１２４を制御するための３Ｄ仮想ルームに基づくユーザーインターフェイスを表示することができる。インターフェイスは、複数のユーザーナビゲート可能な３Ｄ仮想ルームを含む場合があり、ユーザーナビゲート可能な３Ｄ仮想ルームの各々は、建物の対応する物理的部屋の実質的に写真のようにリアルな描写を示している。ユーザーナビゲート可能な３Ｄ仮想ルームの各々は、物理的部屋の境界（例えば、壁、天井、床など）、物理的部屋に存在する家具（例えば、ソファ、椅子、ベッド、壁掛けなど）、ならびに物理的部屋に存在する装置１１２～１２４（例えば、照明装置、表示装置、電動ブラインド、及び／又は他のタイプの装置）の実質的に写真のようにリアルな描写を含む場合がある。装置１１２～１２４の各々は、いくつかの可能な状態を有する場合がある。装置１１２～１２４によって、一組の二値の可能な状態（例えば、非アクティブな「オフ」状態とアクティブな「オン」状態）を有することもあれば、一組のもっと多数の可能な状態（例えば、複数の照度レベル、色（例えば、３２ビットカラー）、色温度（例えば、３０００Ｋ、５０００Ｋなど）、メディアコンテンツ（例えば、テレビチャンネル、ソース、個々のメディアファイルなど）、位置、温度など）を有することもある。
【0041】
図２Ａ～図２Ｍは、制御アプリによって表示できる、物理的建物の間仕切りのないキッチンとリビングルームに対応する例示的ユーザーナビゲート可能な３Ｄ仮想ルームを示すスクリーンショットである。図２Ａ～図２Ｌのスクリーンショットは低解像度で視覚的アーティファクトを含んでいるが、商業的実施形態は、高解像度でそれらのアーティファクトは修正されていることが好ましく、実質的に写真のようにリアルに見えることが好ましいことを理解されたい。図２Ｍは、商用的実施形態の好ましい外観にもっと近い例を示している。
【0042】
図２Ａは、制御アプリによって表示できる、例示的ユーザーナビゲート可能な３Ｄ仮想ルームを示すスクリーンショットである。このユーザーナビゲート可能な３Ｄ仮想ルームは、床２１０や壁２１２のような物理的部屋の境界；ソファ２２０、テーブルと椅子２２２及びストーブ２２４のような物理的部屋の家具；ならびに、ホームオートメーションシステム１００の制御下にある、シャンデリア２３０、埋め込み缶式の照明器具２３２～２３８及びテレビ２３９のような物理的部屋にある装置の実質的に写真のようにリアルに見える描写を含む。
【0043】
ユーザーは、明示的ナビゲーションコマンド又は暗黙のアクションを使用して仮想ルーム内を移動し、３Ｄ空間で仮想カメラを動かすことにより、様々な視点から仮想ルームを見ることができる。明示的ナビゲーションコマンドは、様々な形をとることができる。一実施形態において、明示的ナビゲーションコマンドは、移動コマンド（例えば、タッチセンシティブディスプレイ画面上でのスクロールやスワイプのようなタッチジェスチャ、カーソルの移動など）の形をとる場合がある。仮想カメラが３Ｄ空間を水平又は垂直に自由に移動され、３Ｄ空間内で様々な向きに自由に回転される場合、ナビゲーションには、自由な移動が含まれる場合がある。
【0044】
図２Ｂ～図２Ｃは、図２Ａの例示的ユーザーナビゲート可能な３Ｄ仮想ルームを示すスクリーンショットであり、仮想ルームを様々な視点から見るための、３Ｄ空間における仮想カメラの自由な移動を示している。移動アイコン２４０が表示される場合があり、移動アイコン２４０は、移動コマンド（例えば、スクロールジェスチャ、カーソル移動など）を受信したときに移動される場合がある。この例では、仮想カメラは、図２Ｂと図２Ｃの間で水平方向に前方に移動されている。
【0045】
別の実施形態では、明示的ナビゲーションコマンドは、ノード選択の形をとる場合がある。複数の所定のノードが、仮想ルーム内の所定の位置に配置され、アイコンとして表される場合がある。ノードのユーザー選択（例えば、タッチセンシティブディスプレイ画面上のノードへのタッチ、カーソルによる選択など）に応答してノードが選択されると、仮想カメラは、その位置に移動（例えば、「スナップ移動」）される。このような移動は、空間を通って仮想カメラを移動させ、その移動を示すように仮想ルームを連続的に更新しながら、「スムーズ」な形で表示される場合がある。各ノードは、所定の開始の向きに関連付けられている場合がある。ノードに到達すると、ナビゲーションコマンドに応答して、３Ｄ空間内で仮想カメラを様々な向きに自由に回転させることができる。
【0046】
図２Ｄ～図２Ｅは、図２Ａの例示的ユーザーナビゲート可能な３Ｄ仮想ルームのスクリーンショットであり、仮想ルームを異なる視点から見るための、ナビゲーションノードを使用した３Ｄ空間における仮想カメラの移動を示している。複数の選択ノード２４５、２４７が表示され、それらを選択（例えば、接触、クリックなど）することができる。この例では、選択ノード２４５が図２Ｄで選択され、これによって仮想カメラは、図２Ｃに示される視点に移動される。
【0047】
暗黙のアクションも、様々な形をとることができる。一実施形態では、暗黙のアクションは、測位ビーコン（及び、例えば、それらのＢｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ、ＲＦＩＤその他の信号）と方位センサーを使用して判定されたリモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５の位置及び向きに基づく場合がある。ユーザーは、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５を持ちながら物理的部屋の中を歩くことにより、仮想カメラを自由に移動させることができる。ユーザーは、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５を回転させることで、仮想ルームを自由に回転させることができる。電子装置がＨＭＤである場合、ユーザーの頭部の位置と向きが、仮想ルームにおける位置と向きに直接変換されてもよい。
【0048】
ユーザーナビゲート可能な３Ｄ仮想ルーム内の装置の実質的に写真のようにリアルな描写と対話（例えば、接触、クリックなど）することにより、ユーザーは、物理的部屋にある対応する装置の状態の変更を指示することができる。状態変更は、装置の種々の利用可能な状態（例えば、二元状態、多数の可能な状態など）を循環する場合がある。装置の状態が変更されると、制御アプリの３Ｄグラフィックエンジン（Ｕｎｉｔｙ（登録商標）又はＵｎｒｅａｌ（登録商標）グラフィックエンジンなど）は、ユーザーナビゲート可能な３Ｄ仮想ルームの外観を動的に更新することによってそれらの変更を反映し、ユーザーが仮想ルーム内で見るものが、対応する物理的部屋内でのユーザーの体験を模倣するようにする。動的更新は、状態が変更された各装置の写真のようにリアルな描写の外観（例えば、照度レベル、色、色温度、メディアコンテンツ、位置、又は他の視覚的特性）を変更することを含む場合がある。また、動的更新は、まだ状態が変更されていない境界、家具、及び他の装置の実質的に写真のようにリアルな描写の外観（例えば、影や反射）を変更し、それらの項目に関する状態変更の影響を描写することを含む場合がある。このように、３Ｄグラフィックエンジンは、状態が変更されたときにユーザーが物理的部屋で観察することになる体験を、仮想ルームにおいて模倣する。
【0049】
図２Ｆ～図２Ｇは、図２Ａの例示的ユーザーナビゲート可能な３Ｄ仮想ルームのスクリーンショットであり、照明装置の実質的に写真のようにリアルな描写とのユーザーインタラクションに応答した照明装置の明るさの変更を示している。図２Ｆでは、ユーザーは、照明装置、具体的には埋め込み缶式の照明器具２３２の描写と対話（例えば、接触、クリックなど）する。そのような対話に応答して、制御アプリは、ホームオートメーションシステム１００に、物理的部屋にある埋め込み缶式の照明器具２３２を作動させる。制御アプリのグラフィックエンジンはさらに、仮想ルームにおける埋め込み缶式の照明器具２３２の描写の外観を動的に更新して、照明器具２３２が点灯しているように見えるようにし（例えば、その位置に仮想的な光源を配置し）、さらに、その変更に基づいて、図２Ｇに示されるように、境界の描写（壁に表れる影や反射２５０など）、家具の描写（ソファに表れる影や反射２５４など）、及び他の装置の描写（シャンデリアに表れる影や反射２５２など）の外観を動的に更新する。
【0050】
図２Ｈ～図２Ｉは、図２Ａの例示的ユーザーナビゲート可能な３Ｄ仮想ルームのスクリーンショットであり、表示装置の実質的に写真のようにリアルな描写とのユーザーインタラクションに応答した表示装置の状態の変更を示している。ここで、状態は、メディアコンテンツの状態、すなわちチャンネル（例えば、テレビチャンネル）である。ただし、メディアコンテンツの状態は、例えばソース（例えば、ＤＶＤ、ケーブルボックスなどからの信号）、メディアファイル（例えば、動画ファイル、ＴＶ番組ファイルなど）のような他の形態をとる場合もあることを理解されたい。図２Ｈでは、ユーザーは、表示装置、具体的にはテレビ２３９の描写と対話（例えば、接触、クリックなど）する。そのような対話に応答して、制御アプリは、ホームオートメーションシステム１００に、物理的部屋にあるテレビのチャンネルを変更させる（ここでは、チャンネル６からチャンネル１に変更している）。このような変更は、（例えば、接触、クリックなどの繰り返しに応答して）いくつかの中間チャネルを通って循環することを含む場合がある。制御アプリのグラフィックエンジンはさらに、テレビ２３９の描写の外観を動的に更新し、図２Ｉに示されるように、そのチャンネルの実際のメディアコンテンツが、ユーザーナビゲート可能な３Ｄ仮想ルームのテレビ２３９内に表示されるようにする。
【0051】
照明装置の明るさの変更や表示装置の状態の変更の他に、他のタイプの装置１１２～１２４に対して多種多様な他のタイプの状態変更が行われてもよいことに留意されたい。例えば、電動ブラインドの実質的に写真のようにリアルな描写とのユーザーインタラクションに応答して、制御アプリは、ホームオートメーションシステム１００に、ブラインドのモーターを作動させ、ブラインドの位置を変更させる（例えば、ブラインドを開閉させる）ことができる。制御アプリのグラフィックエンジンはさらに、仮想ルームにおける電動ブラインドの描写の外観を動的に更新して、電動ブラインドの描写が新しいブラインドの位置を反映するようにし、さらに、その変更に基づいて、境界、家具及び他の装置の描写の外観を動的に更新する（例えば、窓から部屋に入る自然光の増減に応じて影や反射を変更する）。
【0052】
同様に、ガス暖炉の実質的に写真のようにリアルな描写とのユーザーインタラクションに応答して、制御アプリは、ホームオートメーションシステム１００に、電子点火ガス供給システムへ信号を送信させることで、炎を調節することができる。制御アプリのグラフィックエンジンはさらに、仮想ルームにおけるガス暖炉の描写の外観を動的に更新して、ガス暖炉の描写が変更された炎の状態を反映するようにし、さらに、変更された炎の状態に基づいて、境界、家具及び他の装置の描写の外観を動的に変更する（例えば、暖炉の炎の量に応じて影や反射を変更する）。
【0053】
装置の数が多いと、仮想ルームにおいて所望の装置の実質的に写真のようにリアルな描写を見つけることが難しい場合がある。同様に、装置の状態の数が多いと、状態を循環させることは、非効率的又は非現実的な場合がある。そのような場合、ユーザーナビゲート可能な３Ｄ仮想ルームは、ユーザーがインターフェイス要素と対話することに応答して、メニューを表示するように構成されてもよい。メニューには、制御可能な様々な装置、及び装置の状態を一覧表示することができる。ユーザーは、（例えば、接触、クリックなど）によって所望の装置や状態を選択できる。制御アプリは、ホームオートメーションシステムに所望の状態変更を行わせることができ、３Ｄグラフィックエンジンは、ユーザーナビゲート可能な３Ｄ仮想ルームの外観を動的に更新して変更を反映し、ユーザーが仮想ルーム内で見るものが、対応する物理的部屋内でのユーザーの体験を模倣するようにする。
【0054】
図２Ｊ～図２Ｌは、図２Ａのユーザーナビゲート可能な３Ｄ仮想ルームの例のスクリーンショットであり、メニュー上の選択に応答した照明装置の状態の変更を示している。図２Ｊにおいて、ユーザーは、メニューインターフェイス要素２６０と対話（例えば、接触、クリックなど）する。そのような対話に応答して、制御アプリは、図２Ｋに示されるように、例えば仮想ルームの上に重ね合わせる形でメニュー２７０を表示する。この例では、メニュー２７０は、物理的部屋にある種々の照明装置と、それらの照明装置の例えば照度レベル、色、色温度のような可能な状態とを含む。この例では、ユーザーは、照明装置（この例では、埋め込み缶式の照明器具２３８）、照度レベル、及び色を選択している。すると、制御アプリは、ホームオートメーションシステムに、埋め込み缶式の照明器具２３８を所望の色で所望のレベルまで発光させる。多数の異なる色をサポートすることができる（例えば、３２ビット色）。制御アプリのグラフィックエンジンはさらに、埋め込み缶式の照明器具２３８の描写の外観を動的に更新して、照明器具２３８の描写が所望の色で所望のレベルで点灯されているように見えるようにし（例えば、その位置に仮想的な光源を配置し）、さらに、図２Ｌに示されるように、境界、家具、及び、その部屋にある他の装置の描写の外観（例えば、影や反射）を動的に更新する。サポートされる色の数が多いと（例えば、３２ビットカラー）、様々な色を有する仮想ルームを観察することで部屋がどのように見えるかを確認できるため、制御を大幅に単純化できる場合がある。
【0055】
図２Ｍは、視覚的アーティファクトがなく、比較的高い解像度を有する、例示的ユーザーナビゲート可能な３Ｄ仮想ルームのスクリーンショットであり、この３Ｄ仮想ルームは、商用実施形態に比較的近い場合がある。見てわかるように、制御される装置（テレビ２３９など）、境界（壁など）、家具（ソファなど）、及び他の装置の描写は、実質的に写真のようにリアルに見える。図２Ａ～図２Ｌに示されている仮想ルームも、このように見える場合があることを理解されたい。
【0056】
図３は、ホームオートメーションシステム１００の装置１１２～１２４を制御するために、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを操作する例示的な一連のステップを示すフロー図である。図３の種々のステップは、上で詳細に説明した操作をまとめたものである。ステップ３１０で、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５上の制御アプリは、グラフィックエンジンを使用して、仮想カメラによって定義された第１の視点からのユーザーナビゲート可能な３Ｄ仮想ルームをレンダリングする。ユーザーナビゲート可能な３Ｄ仮想ルームは、物理的部屋の境界（例えば、壁、天井、床など）、物理的部屋にある家具（例えば、ソファ、椅子、ベッド、壁掛けなど）、及び、ホームオートメーションシステム１００の制御下にある、物理的部屋に存在する装置（例えば、照明装置、表示装置、電動ブラインド、ＨＶＡＣ装置及び／又は他のタイプの装置）の実質的に写真のようにリアルな描写を含む場合がある。ステップ３２０で、制御アプリは、制御アプリでレンダリングされたユーザーナビゲート可能な３Ｄ仮想ルームを、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５のディスプレイ画面（例えば、タッチセンシティブディスプレイ画面）に表示する。
【0057】
ステップ３３０で、制御アプリは、明示的ナビゲーションコマンド（例えば、移動コマンドやノード選択）又は暗黙のアクション（例えば、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５の位置若しくは向きの変更）を受信したか否かを判定する。受信した場合、ステップ３４０で、制御アプリは、それに応答して、仮想カメラの位置及び／又は向きを変更することにより視点を変更し、実行はステップ３１０にループバックし、そこでグラフィックエンジンは、この新しい視点から仮想ルームを再レンダリングする。受信していない場合、実行はステップ３５０に進み、そこで制御アプリは、ユーザーがユーザーナビゲート可能な３Ｄ仮想ルーム内の装置の実質的に写真のようにリアルな描写と対話（例えば、接触、クリックなど）したか否かを判定する。対話した場合、ステップ３６０で制御アプリは、ホームオートメーションシステム１００に、物理的部屋にあるその装置の状態を変更させる。さらに、ステップ３７０で制御アプリは、仮想ルームにおけるその装置の実質的に写真のようにリアルな描写の外観（例えば、照度レベル、色、色温度、メディアコンテンツ、位置、又はその他の視覚的特性）、ならびに境界、家具、及び他の装置の実質的に写真のようにリアルな描写の外観（例えば、影や反射）を動的に更新する。その後、実行はステップ３１０にループバックし、そこで制御アプリのグラフィックエンジンは、それらの新しい外観で仮想ルームを再レンダリングする。
【0058】
対話していない場合、実行はステップ３８０に進み、そこで制御アプリは、ユーザーがメニューインターフェイス要素と対話（例えば、接触、クリックなど）したか否かを判定する。対話した場合、ステップ３９０で、メニューが、ユーザーナビゲート可能な３Ｄ仮想ルームに重ね合わせる形で表示される。ステップ３９５で制御アプリは、メニュー上で装置と状態が選択されているか否かを判定する。選択されている場合、実行はステップ３６０にループバックし、そこで制御アプリは、ホームオートメーションシステム１００に、物理的部屋にあるのその装置の状態を変更させる。次に、ステップ３７０で制御アプリは、選択された状態に基づいて、仮想ルームにおける選択された装置の実質的に写真のようにリアルな描写の外観、ならびに境界、家具、及び他の装置の実質的に写真のようにリアルな描写の外観を動的に更新する。その後、実行はステップ３１０にループバックし、そこで制御アプリのグラフィックエンジンは、それらの新しい外観に基づいて仮想ルームを再レンダリングする。選択されていな場合、制御アプリは、さらなるユーザー入力を待ち、実行はステップ３３０にループバックする。
【0059】
ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスの生成
３Ｄ仮想ルームに基づくユーザーインターフェイスは通常、ローカル計算装置上やクラウドで実行される設定アプリケーションによって実行されるデータ収集及び設定の動作と、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５上で実行される制御アプリのグラフィックエンジンによって実行されるレンダリング動作との組み合わせによって生成される。図４は、ホームオートメーションシステムの装置１１２～１２４を制御するための、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを生成する一連のステップを示すフロー図である。ステップ４１０～４８０は、データ収集及び設定の動作を表しており、ステップ４８５～４９５は、レンダリング動作を表している。
３Ｄ仮想ルームに基づくユーザーインターフェイスは通常、ローカル計算装置上やクラウドで実行される設定アプリケーションによって実行されるデータ収集及び設定の動作と、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５上で実行される制御アプリのグラフィックエンジンによって実行されるレンダリング動作との組み合わせによって生成される。図４は、ホームオートメーションシステムの装置１１２～１２４を制御するための、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスを生成する一連のステップを示すフロー図である。ステップ４１０～４８０は、データ収集及び設定の動作を表しており、ステップ４８５～４９５は、レンダリング動作を表している。
【0060】
ステップ４１０で、設置業者は、物理的部屋の複数の位置に３Ｄカメラを配置し、重複する複数組の２Ｄ画像（例えば、２Ｄパノラマ画像）と３Ｄ空間モデル（例えば、３Ｄメッシュ）を撮影する。３Ｄカメラは、様々な撮像スキャン技術（例えば、シングルポイントレーザースキャン、ラインプロファイルレーザースキャン、ストラクチャードライト（非レーザー）検出、ステレオビジョンなど）のうちの何れを使用して３Ｄ空間モデルを生成してもよい。撮影時に装置をすべて非作動、すなわち「オフ」の状態にして、外観エフェクトの生成を単純化することが好ましい。
【0061】
ステップ４２０では、２Ｄ画像（例えば、２Ｄパノラマ画像）と３Ｄ空間モデル（例えば、３Ｄメッシュ）を、３Ｄカメラからスティッチングアプリケーションにインポートする。スティッチングアプリケーションは、クラウドで実行されてもよいし、ローカル計算装置上で実行されてもよい。一実施形態において、スティッチングアプリケーションは、Ｍａｔｔｅｒｐｏｒｔ（登録商標）のようなクラウドベースのソフトウェアパッケージであってもよい。ステップ４３０で、設置業者は、スティッチングアプリケーションを使用して、２Ｄ画像（例えば、２Ｄパノラマ画像）と３Ｄ空間モデル（例えば、３Ｄメッシュ）を１つにつなぎ合わせ、３Ｄ空間モデル内の対応する位置に画像データをリンクする（つなぎ合わせる）。
【0062】
ステップ４４０で、つなぎ合わされた２Ｄ画像と３Ｄ空間モデルは、３Ｄモデリングアプリケーションにインポートされる。３Ｄモデリングアプリケーションは、クラウドで実行されても、ローカル計算装置上で実行されてもよい。一実施形態おいて、３Ｄモデリングアプリケーションは、Ｕｎｉｔｙ（登録商標）やＵｎｒｅａｌ（登録商標）のような３Ｄ開発プラットフォームであってよい。ステップ４５０で、設置業者は、３Ｄモデリングアプリケーションを使用して視覚的アーティファクトを修正する。視覚的アーティファクトは、撮影プロセスやつなぎ合わせプロセスの際に様々な要因によって生じる可能性がある。例えば、ディスプレイ画面や窓ガラスのような反射面は、通常、うまく撮影できず、修正が必要な視覚的アーティファクトを生成することがある。ステップ４６０で、設置業者は、３Ｄモデリングアプリケーションを使用して、種々の装置の描写にヒット領域（すなわち、３Ｄヒットボックス）をタグ付けし、これらのヒット領域を、装置の種々の特性、及び装置の状態を変更するためのホームオートメーションシステム１００の制御コマンドに対応付ける。例えば、照明装置は、その外形範囲を取り囲むヒット領域がタグ付けされ、特定の照明制御コマンド（例えば、照度レベル、色、色温度などを変更するためのもの）によって制御される照明負荷の種々の発光特性に対応付けられる場合がある。同様に、表示装置は、その画面を取り囲むヒット領域がタグ付けされ、メディアコンテンツの状態（例えば、チャンネル、ソース、ファイルなど）に影響を与える特定の制御コマンドによって制御される表示装置の種々の表示特性に対応付けられる場合がある。同様に、電動ブラインドは、その外形範囲を取り囲むヒット領域がタグ付けされ、特定の位置制御コマンドによって制御される電動ブラインドの種々の移動特性に、対応付けられる場合がある。
【0063】
ステップ４７０で、設置業者は、３Ｄモデリングアプリケーションを使用して、装置の特性及び制御コマンドに合致する外観変更を、装置の描写に割り当てる。割り当てられる外観変更は、制御コマンドが発行されたときに、制御アプリのグラフィックエンジンが、装置の描写を物理的部屋で行われた変更に合致させるためにどのように更新しなければならないか、ならびに、外観変更によって、部屋の境界、家具、及び他の装置の外観がどのような影響を受けなければならないかを定義する。割り当てられる外観変更は、装置の特性に基づくタイプや境界を含む場合がある。ステップ４８０で、つなぎ合わされ、アーティファクトが修正され、タグ付けされ、外観が割り当てられた２Ｄ画像と３Ｄ空間モデル（仮想ルームと呼ばれる）は、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスに含めるために、制御アプリにエクスポートされる。
【0064】
仮想ルームは、制御アプリのグラフィックエンジンによってレンダリングされる。ステップ４８５で、制御アプリは、ユーザーの所望の視点を示す仮想カメラが、２Ｄ画像（例えば、２Ｄパノラマ画像）のうちの１つが撮影された位置に対応する位置にあるか否かを判定する。対応する位置にある場合、ステップ４８５で、制御アプリのグラフィックエンジンは、その位置から撮影された２Ｄ画像（例えば、２Ｄパノラマ画像）のデータを使用して仮想ルームをレンダリングする。対応する位置にない場合、ステップ４９５で、制御アプリのグラフィックエンジンは、３Ｄ空間モデル（例えば、３Ｄメッシュ）にしたがって、種々の利用可能な２Ｄ画像（例えば、２Ｄパノラマ画像）を混ぜ合わせ（例えば、アルファチャネルを変更し、それらの２Ｄ画像の層をレンダリングし）、混ぜ合わされたデータを使用して仮想ルームをレンダリングする。
【0065】
要約すると、ホームオートメーションシステムの種々の装置を制御するための、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスが提供される。上記の説明では特定の例を使用しているが、それらに対し、多数の修正及び／又は追加を行うことができることは明らかであるはずである。例えば、上では、リモートコントローラ１４０、モバイルデバイス１６０又は他の電子装置１６５の各々が、タッチセンシティブディスプレイ画面を有する場合があり、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスにおけるユーザー入力が、ジェスチャーや接触で行われる場合があることを説明したが、インターフェイスは、非タッチセンシティブ画面に適合されてもよく、ユーザー入力は、ポインティングデバイスやカーソルを介して受信されてもよいし（例えば、項目をクリックして選択が行われる）、又は他のタイプの入力装置を介して受信されてもよいことを理解されたい。
【0066】
同様に、上では、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスが、建物における設定されたホームオートメーションシステム１００の制御に使用できることを説明したが、ユーザーナビゲート可能な３Ｄ仮想ルームに基づくユーザーインターフェイスは、販売や設置の目的でホームオートメーションシステムをプレビューし、又は事前設定する際の使用にも、適合する場合がある。例えば、ユーザーナビゲート可能な３Ｄ仮想ルームを使用すれば、購入前に、建物で生成されるものよりも高い効果をユーザーに示すことができる。あるいは、システムが最初にインストール又はセットアップされるときの事前設定プロセス中に、生成できる可能性がある効果をユーザーに見せることができる。そのような場合、展示の時には、それらの効果を物理的部屋で実際に生成することはできない場合がある。
【0067】
さらに、上では、ユーザーナビゲート可能な３Ｄ仮想ルームが物理的部屋の外観を模倣することを説明し、様々なタイプの視覚的外観を説明したが、外観には、音のような、物理的部屋での体験の非視覚的態様も含まれる場合があることを理解されたい。そのような場合、制御アプリは、物理的部屋において再生されている音声、及び／又は物理的部屋における環境音を模倣する効果音を、リモートコントローラ１４０、モバイルデバイス１６０、及び他の電子装置１６５のスピーカーから再生することができる。例えば、ユーザーがテレビ２３９を起動してあるチャンネルに変更すると、そのチャンネルの実際の音声は、リモートコントローラ１４０、モバイルデバイス１６０、及び他の電子装置１６５のスピーカーから、ユーザーナビゲート可能な３Ｄ仮想ルームの視覚的表示とともに再生される場合がある。同様に、ユーザーが電動ブラインドの位置を変更すると、ブラインドの上昇又は下降を模倣する効果音が、リモートコントローラ１４０、モバイルデバイス１６０、及び他の電子装置１６５のスピーカーから、ユーザーナビゲート可能な３Ｄ仮想ルームの視覚的表示とともに再生される場合がある。
【0068】
さらに、上では、物理的部屋における装置の状態の変更は、ユーザーナビゲート可能な３Ｄ仮想ルームにおけるその装置の実質的に写真のようにリアルな描写とのユーザーインタラクション（例えば、ユーザーが装置の描写に触れたり、クリックしたりすること）に応答して行われる場合があることを説明したが、一部の状態変更は、所定の時刻に発動されるように構成されてもよいし、又は所定の条件が満たされたことに応答して発動されるように構成されてもよいことを理解されたい。一実施形態において、ユーザーは、システムと対話して、照明装置の照度レベル、色及び／又は色温度、又は他の状態を一日中動的に変化させるように設定することで、サーカディアン照明を提供する場合がある。こうした状態の変更は、少なくとも部分的に、屋外環境の現在の照明データを取得する屋外センサーに基づく場合がある。ユーザーナビゲート可能な３Ｄ仮想ルームにおける照明装置、境界、及び家具の描写の外観は、サーカディアン照明によって実施された変更後の状態を反映するように更新される。
【0069】
最後に、上記のステップは、ハードウェア、ソフトウェア（ソフトウェアを含む非一時的電子装置読み取り可能媒体として実施される）、ファームウェア、又はそれらの組み合わせの何れで実施されてもよいことを理解されたい。非一時的電子装置読み取り可能媒体は、ランダムアクセスメモリ（ＲＡＭ）のようなメモリ、ハードドライブやフラッシュ装置のようなディスク、又は他の有形のストレージデバイスの形をとる場合がある。一般に、上記の説明は、例としてのみ解釈されることを意図していることを理解されたい。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図2H】
【図2I】
【図2J】
【図2K】
【図2L】
【図2M】
【図3】
【図4】
【国際調査報告】