ホーム > 特許ランキング > 東芝ライフスタイル株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-03
(45)【発行日】2024-07-11
(54)【発明の名称】情報処理システム、機器コントローラ、およびプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240704BHJP
G06F 3/01 20060101ALI20240704BHJP
G06F 3/16 20060101ALI20240704BHJP
G06T 19/00 20110101ALI20240704BHJP
G09G 5/00 20060101ALI20240704BHJP
G01V 8/10 20060101ALI20240704BHJP
【ＦＩ】
G06F3/0481
G06F3/01 510
G06F3/16 650
G06T19/00 600
G09G5/00 510G
G09G5/00 550C
G01V8/10 S
【請求項の数】
9
(21)【出願番号】P 2020200274
(22)【出願日】2020-12-02
(65)【公開番号】P2022088045
(43)【公開日】2022-06-14
【審査請求日】2023-08-01
(73)【特許権者】
【識別番号】503376518
【氏名又は名称】東芝ライフスタイル株式会社
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100205785
【弁理士】
【氏名又は名称】▲高▼橋 史生
(74)【代理人】
【識別番号】100203297
【弁理士】
【氏名又は名称】橋口 明子
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100135301
【弁理士】
【氏名又は名称】梶井 良訓
(72)【発明者】
【氏名】林 航平
【審査官】▲高▼瀬 健太郎
(56)【参考文献】
【文献】特開２０１７－１２０５５６（ＪＰ，Ａ）
【文献】国際公開第２０１８／０１１８９２（ＷＯ，Ａ１）
【文献】特開平０７－０７３３３８（ＪＰ，Ａ）
【文献】特開２０２０－１１２９７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０４８１
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／１６
Ｇ０６Ｔ １９／００
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３７７
Ｇ０９Ｇ ５／３６
Ｇ０１Ｖ ８／１０
(57)【特許請求の範囲】
【請求項1】
空気調和機である家電機器に関連する情報を示す表示、または前記家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる制御部と、
カメラと、
調整対象の指標である周囲の温度または湿度を検出可能な検出部と、
を備え、
前記検出部は、検出された前記指標が所定条件を満たすか否かを判定し、
前記制御部は、前記カメラにより撮影された画像に前記家電機器が入る場合に前記操作部を表示させ、前記検出部により検出された前記指標が前記所定条件を満たすことを含む表示条件が成立する場合には、前記カメラにより撮影された画像に前記家電機器が入らない場合でも前記操作部を表示させる、
情報処理システム。
【請求項2】
前記所定条件は、前記検出部により検出された前記指標である周囲の温度が高温注意に対応する閾値以上であること、または、前記検出部により検出された前記指標である周囲の温度が低温注意に対応する閾値以下であることのうち少なくとも一方である、
請求項１に記載の情報処理システム。
【請求項3】
前記所定条件は、前記検出部により検出された前記指標である周囲の温度が特定物品に対応して設定された閾値以上であること、または、前記検出部により検出された前記指標である周囲の湿度が前記特定物品に対応して設定された閾値以上であることのうち少なくとも一方である、
請求項１または請求項２に記載の情報処理システム。
【請求項4】
前記検出部は、周囲に存在する物品として、前記特定物品を検出可能であり、
前記表示条件は、前記検出部により前記特定物品が検出され、且つ、前記所定条件が満たされることである、
請求項３に記載の情報処理システム。
【請求項5】
前記特定物品は、カメラまたは楽器である、
請求項３または請求項４に記載の情報処理システム。
【請求項6】
前記制御部は、前記検出部により検出された前記周囲の状態が第１条件を満たす場合に、前記第１条件に応じた前記操作部を表示させ、前記検出部により検出された前記周囲の状態が前記第１条件とは異なる第２条件を満たす場合に、前記第２条件に応じた前記操作部を表示させる、請求項１から請求項５のうちいずれか１項に記載の情報処理システム。
【請求項7】
前記制御部は、前記家電機器の動作状態に関するユーザの所定の操作が受け付けられた場合、前記家電機器の動作状態を変更する前に、前記家電機器の変更後の動作状態のシミュレーション結果を可視化した像を含む前記表示を、周囲の風景に重ねて表示させる、請求項１から請求項６のうちいずれか１項に記載の情報処理システム。
【請求項8】
空気調和機である家電機器に関連する情報を示す表示、または前記家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる制御部と、
カメラと、
調整対象の指標である周囲の温度または湿度を検出可能な検出部と、
を備え、
前記検出部は、検出された前記指標が所定条件を満たすか否かを判定し、
前記制御部は、前記カメラにより撮影された画像に前記家電機器が入る場合に前記操作部を表示させ、前記検出部により検出された前記指標が前記所定条件を満たすことを含む表示条件が成立する場合には、前記カメラにより撮影された画像に前記家電機器が入らない場合でも前記操作部を表示させる、
機器コントローラ。
【請求項9】
コンピュータに、空気調和機である家電機器に関連する情報を示す表示、または前記家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる表示ステップと、
調整対象の指標である周囲の温度または湿度を検出させる検出ステップと、
を実行させ、
前記検出ステップは、検出された前記指標が所定条件を満たすか否かを判定することを含み、
前記表示ステップは、カメラにより撮影された画像に前記家電機器が入る場合に前記操作部を表示させ、前記検出ステップで検出された前記指標が前記所定条件を満たすことを含む表示条件が成立する場合には、前記カメラにより撮影された画像に前記家電機器が入らない場合でも前記操作部を表示させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理システム、機器コントローラ、およびプログラムに関する。
【背景技術】
【0002】
自動車の車載システムにおいて、拡張現実の画像情報を利用者に提供する表示技術が知られている。家電機器に関する情報処理システムは、利便性の向上が期待されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－１４２７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、利便性の向上を図ることができる情報処理システム、機器コントローラ、およびプログラムを提供することである。
【課題を解決するための手段】
【0005】
実施形態の情報処理システムは、制御部と、カメラと、検出部とを持つ。前記制御部は、空気調和機である家電機器に関連する情報を示す表示、または前記家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる。前記検出部は、調整対象の指標である周囲の温度または湿度を検出可能である。前記検出部は、検出された前記指標が所定条件を満たすか否かを判定する。前記制御部は、前記カメラにより撮影された画像に前記家電機器が入る場合に前記操作部を表示させ、前記検出部により検出された前記指標が前記所定条件を満たすことを含む表示条件が成立する場合には、前記カメラにより撮影された画像に前記家電機器が入らない場合でも前記操作部を表示させる。
【図面の簡単な説明】
【0006】
【図1】第１実施形態のスマートグラスが使用される使用環境の一例を示す図。
【図2】第１実施形態のスマートグラスの物理構成を示す斜視図。
【図3】第１実施形態のスマートグラスの機能構成を示すブロック図。
【図4】第１実施形態のシーン１の制御例を示す図。
【図5】第１実施形態のシーン２の制御例を示す図。
【図6】第１実施形態のシーン２の制御例の変形例を示す図。
【図7】第１実施形態のシーン３の制御例を示す図。
【図8】第１実施形態のシーン４の制御例を示す図。
【図9】第１実施形態のシーン５の制御例を示す図。
【図10】第１実施形態のシーン５の制御例を示す図。
【図11】第１実施形態のシーン５の制御例の変形例を示す図。
【図12】第１実施形態のシーン６の制御例を示す図。
【図13】第１実施形態のシーン６の制御例の変形例を示す図。
【図14】第１実施形態のシーン７の制御例を示す図。
【図15】第１実施形態の気流の流れのシミュレーション結果の一例を示す図。
【図16】第１実施形態の壁に対する粒子の衝突時の動きに関する設定条件を示す図。
【図17】第１実施形態の気流を可視化した像の第１表示例を示す図。
【図18】第１実施形態の気流を可視化した像の第２表示例を示す図。
【図19】第１実施形態で用いられる座標系を示す図。
【図20】第２実施形態の制御例を示す図。
【図21】第３実施形態の端末装置を示す図。
【図22】第４実施形態の情報処理システムを示す図。
【発明を実施するための形態】
【0007】
以下、実施形態の情報処理システム、機器コントローラ、およびプログラムを、図面を参照して説明する。以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含み得る。「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含み得る。「ＸＸまたはＹＹ」とは、ＸＸとＹＹのうちいずれか一方の場合に限定されず、ＸＸとＹＹの両方の場合も含み得る。これは選択的要素が３つ以上の場合も同様である。「ＸＸ」および「ＹＹ」は、任意の要素（例えば任意の情報）である。本明細書で「画像」とは、静止画に限定されず、動画（映像）も含む。
【0008】
（第１実施形態）
［１．使用環境の一例］
まず、第１実施形態のスマートグラス１が使用される使用環境について説明する。スマートグラス１は、「情報処理装置」の一例であり、家電機器を操作する機器コントローラである。本実施形態のスマートグラス１は、「情報処理システム」の一例でもある。
［１．使用環境の一例］
まず、第１実施形態のスマートグラス１が使用される使用環境について説明する。スマートグラス１は、「情報処理装置」の一例であり、家電機器を操作する機器コントローラである。本実施形態のスマートグラス１は、「情報処理システム」の一例でもある。
【0009】
図１は、スマートグラス１が使用される使用環境の一例を示す図である。スマートグラス１は、例えば、ユーザＵの自宅で使用される。ユーザＵの自宅は、例えば、エアコン２、扇風機３、窓４、および換気扇５などを備える。ただし、扇風機３、窓４、および換気扇５は、存在しなくてもよい。
【0010】
エアコン２は、例えばヒートポンプを含み、冷房運転、暖房運転、または除湿運転などの空気調和運転を行う装置である。エアコン２は、「空気調和機」、「家電機器」、および「第１家電機器」のそれぞれ一例である。エアコン２は、例えば当該エアコン２の吹出口から気流を室内に吹き出すことで、室内の空気の温度や湿度を調整する。本明細書で「家電機器の動作」または「家電機器の動作状態」とは、家電機器自体の動作に限定されず、家電機器の動作による結果物（例えば空気調和機から吹き出される気流の動き）なども含み得る。
【0011】
エアコン２は、例えば、温度センサ２ａと、湿度センサ２ｂと、通信モジュール２ｃとを有する。温度センサ２ａは、エアコン２が設置された部屋の温度を検出する。湿度センサ２ｂは、エアコン２が設置された部屋の湿度を検出する。通信モジュール２ｃは、エアコン２を操作する機器コントローラ（例えば、スマートグラス１）と通信を行う。なお、「空気調和機」は、エアコンに限定されず、空気清浄機などでもよい。
【0012】
扇風機３は、エアコン２の動作（例えば、エアコン２から吹き出される気流）に影響を与える家電機器（第２家電機器）の一例である。扇風機３は、運転されることでエアコン２から吹き出される気流の少なくとも一部の流れ方向を変化させる。本実施形態では、扇風機３は、状態の少なくとも一部（例えば、扇風機３が向いている向き）についての情報がスマートグラス１により取得可能な要素の一例である。
【0013】
窓４および換気扇５の各々は、エアコン２の動作（例えば、エアコン２から吹き出される気流）に影響を与える物品の一例である。窓４の開閉状態や換気扇５の動作状態に応じてエアコン２から吹き出される気流の少なくとも一部の流れ方向が変化する。本実施形態では、窓４および換気扇５の各々は、状態についての情報（例えば、窓４の開閉状態や換気扇５の動作状態）がスマートグラス１により取得できない要素の一例である。
【0014】
［２．スマートグラスの物理構成］
次に、スマートグラス１の物理構成について説明する。
図２は、スマートグラス１の物理構成を示す斜視図である。スマートグラス１は、ユーザＵが頭に装着して使用するウェアラブル型の情報処理装置である。スマートグラス１は、例えば、フレーム１０、レンズ２０、投影部３０、カメラ４０、マイク５０、通信モジュール６０、および制御基板７０を有する。
次に、スマートグラス１の物理構成について説明する。
図２は、スマートグラス１の物理構成を示す斜視図である。スマートグラス１は、ユーザＵが頭に装着して使用するウェアラブル型の情報処理装置である。スマートグラス１は、例えば、フレーム１０、レンズ２０、投影部３０、カメラ４０、マイク５０、通信モジュール６０、および制御基板７０を有する。
【0015】
フレーム１０は、一般的な眼鏡のフレームと同様であり、ユーザＵが装着可能な鼻掛け部および耳掛け部などを含む。レンズ２０は、フレーム１０に取り付けられ、ユーザＵの目の前に位置する。レンズ２０は、例えば透明な素材で形成されるとともに、投影部３０により画像が投影可能な表示面２０ａを有する。ユーザＵは、レンズ２０を通して周囲の風景を見ることができる。
【0016】
投影部３０は、例えば小型のプロジェクタを有し、制御基板７０により生成された表示用情報を画像として表示面２０ａに投影する。これにより、ユーザＵは、仮想空間技術により表現された表示を周囲の風景に重ねて見ることができる。本明細書でいう「仮想空間技術」とは、いわゆるＸＲを意味し、拡張現実（ＡＲ：Augmented Reality）、複合現実（ＭＲ：Mixed Reality）、仮想現実（ＶＲ：Virtual Reality）、または代替現実（ＳＲ：Substitutional Reality）などを意味する。本実施形態の投影部３０は、拡張現実または複合現実により表現された表示を出力する。仮想現実または代替現実により表示が出力される例については、後述する。
【0017】
投影部３０は、「情報出力部」の一例である。ただし、情報出力部は、上記例に限定されず、ユーザＵの目に直接に画像を投影する網膜投影型の投影部などでもよい。この場合、レンズ２０は不要である。
【0018】
カメラ４０は、例えばフレーム１０に設けられ、スマートグラス１の周囲（例えば前方）を撮影する。マイク５０は、例えばフレーム１０に設けられ、スマートグラス１の周囲の音を取得する。
【0019】
通信モジュール６０は、エアコン２の通信モジュール２ｃと通信可能である。通信モジュール６０は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または赤外線通信により通信を行う通信モジュールであるが、これらに限定されない。通信モジュール６０は、エアコン２の通信モジュール２ｃと通信することで、エアコン２の温度センサ２ａおよび湿度センサ２ｂの検出結果を、エアコン２から取得する。
【0020】
制御基板７０は、回路基板と、回路基板に実装された複数の電子部品を含む。制御基板７０は、スマートグラス１を統括的に制御する。制御基板７０は、投影部３０による表示や、通信モジュール６０による通信などを制御する。制御基板７０については、詳しく後述する。
【0021】
［３．スマートグラスの機能構成］
図３は、スマートグラス１の機能構成を示すブロック図である。制御基板７０は、例えば、検出部１１０、受付部１２０、制御部１３０、および記憶部１４０を有する。検出部１１０、受付部１２０、および制御部１３０は、制御基板７０に搭載されたＣＰＵ（Central Processing Unit）のようなハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。ただし、これら機能部の全部または一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、またはＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部１４０は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリなどにより実現される。
図３は、スマートグラス１の機能構成を示すブロック図である。制御基板７０は、例えば、検出部１１０、受付部１２０、制御部１３０、および記憶部１４０を有する。検出部１１０、受付部１２０、および制御部１３０は、制御基板７０に搭載されたＣＰＵ（Central Processing Unit）のようなハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。ただし、これら機能部の全部または一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、またはＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部１４０は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリなどにより実現される。
【0022】
［３．１ 検出部］
検出部１１０は、カメラ４０で撮影された画像、マイク５０で収音された音、または通信モジュール６０により受信した情報に基づき、以下に説明する処理を行う。検出部１１０は、例えば、家電機器検出部１１１、状態検出部１１２、物品検出部１１３、周囲環境検出部１１４、および操作検出部１１５を有する。
検出部１１０は、カメラ４０で撮影された画像、マイク５０で収音された音、または通信モジュール６０により受信した情報に基づき、以下に説明する処理を行う。検出部１１０は、例えば、家電機器検出部１１１、状態検出部１１２、物品検出部１１３、周囲環境検出部１１４、および操作検出部１１５を有する。
【0023】
家電機器検出部１１１は、カメラ４０により撮影された画像に基づき、カメラ４０の画角にどのような家電機器が存在するかを判定する。例えば、記憶部１４０には、検出対象の家電機器の特徴量が登録された家電機器情報Ｉ１が記憶されている。「家電機器の特徴量」とは、家電機器の大きさ、形状、色、設置位置（例えばユーザＵから見た設置高さ）などである。家電機器検出部１１１は、カメラ４０により撮影された画像と、家電機器情報Ｉ１に含まれる各家電機器の特徴量とを比較することで、検出対象として予め設定された家電機器（例えば、スマートグラス１により操作可能な家電機器、例えばエアコン２）がカメラ４０により撮影された画像に存在するか否かを判定する。なお、検出対象として設定される家電機器は、ユーザＵにより追加や変更が可能である。
【0024】
本実施形態では、家電機器検出部１１１は、カメラ４０により撮影された画像に基づき、操作対象の家電機器（第１家電機器、例えばエアコン２）に加え、操作対象の家電機器の動作に影響を与える別の家電機器（第２家電機器、例えば扇風機３）を検出する。家電機器検出部１１１は、カメラ４０により撮影された第２家電機器の画像と、家電機器情報Ｉ１に含まれる家電機器の特徴量と比較することで、第２家電機器の存在に加え、第２家電機器の動作状態を検出する。例えば、家電機器検出部１１１は、扇風機３の動作状態として、扇風機３の動作の有無、扇風機３の向き、および首振りの有無などを検出する。
【0025】
状態検出部１１２は、周囲の状態を検出する。「周囲の状態」とは、スマートグラス１を装着したユーザＵの周囲の状態を意味し、例えばユーザＵが位置する部屋に関する状態を意味する。本実施形態では、状態検出部１１２は、通信モジュール６０により受信したエアコン２の温度センサ２ａおよび湿度センサ２ｂの検出結果に基づき、ユーザＵが位置する部屋の温度および湿度を検出する。これに代えて、状態検出部１１２は、スマートグラス１に温度センサおよび／または湿度センサが設けられる場合、スマートグラス１に設けられた温度センサおよび／または湿度センサの検出結果に基づき、ユーザＵが位置する部屋の温度および／または湿度を検出してもよい。またこれに代えて、スマートグラス１は、外部のネットワーク（例えばインターネット）を介して気象情報を取得し、気象情報に基づいてユーザＵの住居が位置する地域の外気温などを検出してもよい。
【0026】
さらに、状態検出部１１２は、上記のようにして検出された部屋の温度および／または湿度が所定条件を満たすか否かを判定する。例えば、記憶部１４０には、各種閾値が登録された閾値情報Ｉ２が記憶されている。閾値情報Ｉ２は、周囲の状況が所定条件を満たすか否かを判定するための各種閾値を含む。
【0027】
例えば、状態検出部１１２は、検出された部屋の温度と、閾値情報Ｉ２に含まれる高温注意用の閾値（熱中症リスクの閾値、例えば２８℃）とを比較することで、高温注意の条件を満たすか否かを判定する。同様に、状態検出部１１２は、検出された部屋の温度と、閾値情報Ｉ２に含まれる低温注意用の閾値（例えば１０℃）とを比較することで、低温注意の条件を満たすか否かを判定する。また、状態検出部１１２は、エアコン２が動作していない状態で検出された外気温に基づいて、高温注意の条件を満たすか否か、および／または低温注意の条件を満たすか否かを判定してもよい。また、状態検出部１１２は、検出された部屋の湿度と、後述する特定物品に応じた高湿度注意用の閾値（例えば湿度７０％）とを比較することで、特定物品に応じた高湿度注意の条件を満たすか否かを判定する。状態検出部１１２は、検出された部屋の湿度と、低湿度注意用の閾値（例えば３０％）とを比較することで、低湿度注意の条件を満たすか否かを判定してもよい。これら各種閾値は、ユーザＵによって追加や変更が可能であってもよい。
【0028】
物品検出部１１３は、カメラ４０により撮影された画像に基づき、カメラ４０の画角に特定物品が存在するか否かを判定する。例えば、特定物品は、温度または湿度の管理が必要な物品であり、カメラや楽器などである。例えば、記憶部１４０には、各特定物品の特徴量が登録された物品情報Ｉ３が記憶されている。特定物品の特徴量とは、特定物品の代表的な大きさ、形状、色などである。物品検出部１１３は、カメラ４０により撮影された画像と、物品情報Ｉ３に含まれる特定物品の特徴量とを比較することで、検出候補である特定物品がカメラ４０により撮影された画像に存在するか否かを判定する。特定物品は、ユーザＵにより追加や変更が可能である。例えば、ユーザＵは、特定物品をカメラ４０により撮影することで特定物品の登録を行うことができる。
【0029】
周囲環境検出部１１４は、カメラ４０により撮影された画像に基づき、ユーザＵの周囲環境を検出する。ユーザＵの周囲の環境は、例えばユーザＵが位置する部屋の間取りおよび部屋に配置された物品（例えば家具）を意味する。周囲環境検出部１１４により検出されたユーザＵの周囲環境を示す情報は、周囲環境情報Ｉ４として記憶部１４０に記憶される。
【0030】
操作検出部１１５は、カメラ４０により撮影された画像に基づき、操作対象の家電機器（例えばエアコン２）に対するユーザＵの操作を検出する。本実施形態では、後述する表示制御部１３２により家電機器を操作するための操作部Ｄ２（図４参照）が仮想空間技術により表示される。操作検出部１１５は、ユーザＵに対して表示された仮想的な操作部Ｄ２の表示位置（ユーザＵから見える位置）とカメラ４０により撮影された画像に含まれるユーザＵの指先の位置との位置関係、およびユーザＵの指先の動きなどに基づき、操作対象の家電機器に対するユーザＵの操作を検出する。これに代えて／加えて、操作検出部１１５は、マイク５０に対するユーザＵの音声入力に基づき、操作対象の家電機器に対するユーザＵの操作を検出してもよい。
【0031】
［３．２ 受付部］
受付部１２０は、状態についての情報を取得できない要素（例えば、窓４や換気扇５）に関するユーザＵの入力を受け付ける。例えば、後述する表示制御部１３２は、情報を取得できない要素の状態を問い合わせる質問をユーザＵに対して表示させる。そして、受付部１２０は、上記質問に対するユーザＵの入力（ユーザＵの回答）に基づき、情報を取得できない要素の状態を取得する。上記質問に対するユーザＵの入力は、例えば、操作検出部１１５により検出されるユーザＵの動作でもよいし、マイク５０に対するユーザＵの音声入力でもよい。また、受付部１２０は、操作対象の家電機器が配置された部屋の間取りまたは物品の配置の片方または両方を示すユーザＵの入力を受け付けてもよい。
受付部１２０は、状態についての情報を取得できない要素（例えば、窓４や換気扇５）に関するユーザＵの入力を受け付ける。例えば、後述する表示制御部１３２は、情報を取得できない要素の状態を問い合わせる質問をユーザＵに対して表示させる。そして、受付部１２０は、上記質問に対するユーザＵの入力（ユーザＵの回答）に基づき、情報を取得できない要素の状態を取得する。上記質問に対するユーザＵの入力は、例えば、操作検出部１１５により検出されるユーザＵの動作でもよいし、マイク５０に対するユーザＵの音声入力でもよい。また、受付部１２０は、操作対象の家電機器が配置された部屋の間取りまたは物品の配置の片方または両方を示すユーザＵの入力を受け付けてもよい。
【0032】
［３．３ 制御部］
制御部１３０は、検出部１１０により検出された情報、および受付部１２０により受け付けられた情報に基づき、以下に説明する処理を行う。制御部１３０は、例えば、計算部１３１、表示制御部１３２、および操作制御部１３３を有する。
制御部１３０は、検出部１１０により検出された情報、および受付部１２０により受け付けられた情報に基づき、以下に説明する処理を行う。制御部１３０は、例えば、計算部１３１、表示制御部１３２、および操作制御部１３３を有する。
【0033】
計算部１３１は、家電機器の動作状態に関するシミュレーションを行う。例えば、計算部１３１は、エアコン２からの気流の流れに関するシミュレーションを行う。計算部１３１による計算の具体例については詳しく後述する。
【0034】
表示制御部１３２は、家電機器に関連する情報を示す表示Ｄ１（図４参照）、または家電機器を操作するための操作部Ｄ２（図４参照）のうち一方または両方を仮想空間技術により表示させる。例えば、表示制御部１３２は、操作対象の家電機器の状態（ステータス）を含む表示Ｄ１を表示する。「家電機器の状態」とは、例えば、家電機器の電源のＯＮ／ＯＦＦの状態、実行中の運転モード、選択可能（変更可能）な運転モードの候補、タイマー設定の状態などのうち１つ以上である。本実施形態の表示制御部１３２は、表示Ｄ１に表示される家電機器の状態の１つとして、計算部１３１によりシミュレートされたエアコン２からの気流の流れを可視化した像ＦＩ（図５参照）を表示可能である。表示制御部１３２による表示の具体例については、後述するシーンごとの説明のなかで詳しく述べる。
【0035】
操作制御部１３３は、操作検出部１１５により検出された仮想空間上の操作部Ｄ２に対するユーザＵの操作に基づき、家電機器を操作するための制御指令を選択または生成し、選択または生成した制御指令を、通信モジュール６０を通じて操作対象の家電機器に送信する。
【0036】
本実施形態では、操作制御部１３３は、エアコン２に対して制御指令を送信する場合、気流の目標位置そのものを示す情報を送信するのではなく、赤外線リモコンで制御される一般的なエアコンに対する制御指令と同様に、左右方向で選択可能な複数段階の送風方向のうち何番目の送風方向を選択するか、上下方向に選択可能な複数段階の送風方向のうち何番目の送風方向を選択するか、または選択可能な複数段階の送風強さのうち何番目の送風強さを選択するか、といった制御指令をエアコン２に送信する。このようなエアコン２で選択可能な制御内容は、制御指令情報Ｉ５として記憶部１４０に予め記憶されている。制御指令情報Ｉ５は、例えば、外部ネットワーク（例えばインターネット）を通じてエアコン２の製造メーカのウェブサイトから取得可能である。操作制御部１３３による制御の具体例については、後述するシーンごとの説明のなかで詳しく述べる。
【0037】
［３．制御例］
以下では、スマートグラス１を用いた家電機器の制御例を、いくつかのシーンに分けて説明する。以下では、操作対象の家電機器（第１家電機器）としてエアコン２が該当し、操作対象の家電機器に影響を与える家電機器（第２家電機器）として扇風機３が該当する例を取り上げて説明する。
以下では、スマートグラス１を用いた家電機器の制御例を、いくつかのシーンに分けて説明する。以下では、操作対象の家電機器（第１家電機器）としてエアコン２が該当し、操作対象の家電機器に影響を与える家電機器（第２家電機器）として扇風機３が該当する例を取り上げて説明する。
【0038】
［３．１ シーン１］
図４は、シーン１の制御例を示す図である。シーン１は、エアコン２が動作していない場合を示すシーンである。図４中の（ａ）は、スマートグラス１がエアコン２を発見した瞬間を示す図である。図４中の（ｂ）は、スマートグラス１がエアコン２を発見した後の状態を示す図である。本実施形態では、表示制御部１３２は、カメラ４０の画角にエアコン２が入らない場合、表示Ｄ１および操作部Ｄ２を表示していない（図４中の（ａ）参照）。一方で、表示制御部１３２は、カメラの画角にエアコン２が入る場合（すなわち、カメラ４０により撮影された画像にエアコン２が入ることが家電機器検出部１１１により検出された場合）、周囲の風景に重ねて表示Ｄ１および操作部Ｄ２を表示させる（図４中の（ｂ）参照）。
図４は、シーン１の制御例を示す図である。シーン１は、エアコン２が動作していない場合を示すシーンである。図４中の（ａ）は、スマートグラス１がエアコン２を発見した瞬間を示す図である。図４中の（ｂ）は、スマートグラス１がエアコン２を発見した後の状態を示す図である。本実施形態では、表示制御部１３２は、カメラ４０の画角にエアコン２が入らない場合、表示Ｄ１および操作部Ｄ２を表示していない（図４中の（ａ）参照）。一方で、表示制御部１３２は、カメラの画角にエアコン２が入る場合（すなわち、カメラ４０により撮影された画像にエアコン２が入ることが家電機器検出部１１１により検出された場合）、周囲の風景に重ねて表示Ｄ１および操作部Ｄ２を表示させる（図４中の（ｂ）参照）。
【0039】
表示Ｄ１は、カメラ４０の画角に含まれる家電機器の種類（エアコンであること）および型式番号、エアコン２の状態、エアコン２が設置された部屋の状態、エアコン２から取得された情報（部屋の温度および湿度）などを示す情報Ｄ１ａを含む。情報Ｄ１ａは、例えば文字情報で表示される。一方で、操作部Ｄ２は、エアコン２の冷房運転を開始させるボタンＢ１ａ、エアコン２の自動運転を開始させるボタンＢ１ｂ、エアコン２の暖房運転を開始させるボタンＢ１ｃ、エアコン２のタイマーの設定変更を行うボタンＢ１ｄなどを含む。本明細書でいう「ボタン」とは、説明の便宜上の呼称であり、押す動作に限らず、スライドやその他の動作で操作されるものも含む。「ボタン」は、「アイコン」または「操作子」と読み替えられてもよい。
【0040】
本実施形態では、表示制御部１３２は、状態検出部１１２により検出された周囲の状態が第１条件を満たす場合（例えば、部屋の温度が高く、部屋の温度が第１閾値以上の場合）に、第１条件に応じた操作部Ｄ２（冷房運転のボタンＢ１ａを強調表示した操作部Ｄ２）を表示させる（図４中の（ｂ）参照）。一方で、表示制御部１３２は、状態検出部１１２により検出された周囲の状態が第１条件とは異なる第２条件を満たす場合（例えば、部屋の温度が低く、部屋の温度が第２閾値以下の場合）に、第２条件に応じた操作部Ｄ２（暖房運転のボタンＢ１ｃを強調表示した操作部Ｄ２）を表示させる。
【0041】
本実施形態では、表示制御部１３２は、状態検出部１１２により検出された周囲の状態が該当する条件に応じて、複数のボタンＢ１ａ，Ｂ１ｂ，Ｂ１ｃのなかでユーザＵによる操作可能性が高い順（優先度が高い順）に上側から配置する。例えば、部屋の温度が高い場合は、冷房運転のボタンＢ１ａが上段に配置され、自動運転のボタンＢ１ｂが中段に配置され、暖房運転のボタンＢ１ｃが下段に配置される。この表示順は、部屋の温度が低い場合は逆になる。また本実施形態では、図４中の（ｂ）に示すように、ユーザＵによる操作可能性が相対的に高いボタン（例えば冷房運転のボタンＢ１ａ）が他のボタン（例えばボタンＢ１ｂ，Ｂ１ｃ，Ｂ１ｄ）と比べて大きく表示される。一方で、ユーザＵによる操作可能性が相対的に低いボタン（例えば暖房運転のボタンＢ１ｃ）が他のボタン（例えばボタンＢ１ａ，Ｂ１ｂ，Ｂ１ｄ）と比べて小さく表示される。
【0042】
［３．２ シーン２］
図５は、シーン２の制御例を示す図である。シーン２は、シーン１の続きを示すシーンである。図５中の（ａ）は、ユーザＵが冷房運転のボタンＢ１ａを操作した瞬間を示す図である。図５中の（ｂ）は、ユーザＵが冷房運転のボタンＢ１ａを操作した後の状態を示す図である。本実施形態では、ユーザＵが操作部Ｄ２に対して操作すると、操作検出部１１５によりユーザＵの操作が検出される。操作制御部１３３は、操作検出部１１５により検出されたユーザＵの操作内容に対応する制御指令を制御指令情報Ｉ５から選択し、選択した制御指令をエアコン２に送信する。これにより、エアコン２の動作が開始される。
図５は、シーン２の制御例を示す図である。シーン２は、シーン１の続きを示すシーンである。図５中の（ａ）は、ユーザＵが冷房運転のボタンＢ１ａを操作した瞬間を示す図である。図５中の（ｂ）は、ユーザＵが冷房運転のボタンＢ１ａを操作した後の状態を示す図である。本実施形態では、ユーザＵが操作部Ｄ２に対して操作すると、操作検出部１１５によりユーザＵの操作が検出される。操作制御部１３３は、操作検出部１１５により検出されたユーザＵの操作内容に対応する制御指令を制御指令情報Ｉ５から選択し、選択した制御指令をエアコン２に送信する。これにより、エアコン２の動作が開始される。
【0043】
表示制御部１３２は、操作検出部１１５により検出されたユーザＵの操作内容と、エアコン２の変更後の設定状態とに基づき、部屋内の気流の流れ（例えば、気流の風量および風向）に関するシミュレーションを行う。そして、表示制御部１３２は、気流の流れのシミュレーション結果を可視化した像ＦＩを含む表示Ｄ１を表示させる。すなわち、表示制御部１３２は、気流の流れのシミュレーション結果を可視化した像ＦＩを、周囲の風景に重ねて表示させる。
【0044】
図５に示すように、気流の仮想的な像ＦＩにおける気流の向き（風向）は、例えば、空間内の各地点における流れ方向（ベクトル）を示す矢印により表示される。また、空間上の向きのないステータスについては，色の濃淡によって表示される。例えば、気流の仮想的な像ＦＩにおける風量は、空間内の各地点における風量の大きさ（スカラ）を示す色の濃淡により表示される．例えば、風量が多い領域ほど色が濃く、風量が少ない領域ほど色が薄く表示される。これに代えて、気流の仮想的な像ＦＩは、気流に含まれる粒子の流れにより表示されてもよい。この場合の例については、詳しく後述する。
【0045】
本実施形態では、表示制御部１３２は、スマートグラス１を装着したユーザＵが移動または向きを変えた場合、その新しい位置または新しい向きに応じた気流の仮想的な像ＦＩを表示させる。例えば、スマートグラス１を装着したユーザＵがエアコン２とは反対側を向いた場合、表示制御部１３２は、エアコン２から吹き出されてユーザＵの後方に流れる気流の仮想的な像ＦＩを含む表示Ｄ１を表示させる。
【0046】
本実施形態では、表示制御部１３２は、家電機器の動作状態の変更直後のシミュレーション結果を示す内容と、家電機器の動作状態の変更から一定時間経過後のシミュレーション結果を示す内容とを切り替え可能に表示させる。例えば、エアコン２に関して言えば、部屋が暑いうちはエアコン２の稼働状態が高くなり、エアコン２から吹き出される気流の量が多い。一方で、部屋が冷えた後はエアコン２の稼働状態は室温を維持する程度の低い稼働状態で十分となり、エアコン２から吹き出される気流の量は相対的に少ない。
【0047】
そこで、計算部１３１は、エアコン２の動作状態に関するユーザＵの所定の操作が受け付けられた場合（例えば、部屋が暑い状態で冷房運転のボタンＢ１ａが押された場合や、部屋が冷たい状態で暖房運転のボタンＢ１ｃが押された場合）、エアコン２の動作状態の変更直後（例えば動作開始直後）のシミュレーション結果と、部屋の温度が安定した後のエアコン２の動作状態のシミュレーション結果とをそれぞれ導出する。そして、表示制御部１３２は、エアコン２の動作状態の変更直後（例えば動作開始直後）のシミュレーション結果を可視化した気流の仮想的な像ＦＩと、部屋の温度が安定した後のエアコン２の動作状態のシミュレーション結果を可視化した気流の仮想的な像ＦＩとを、ユーザＵの操作に応じて切り替え可能に表示させる。このような構成によれば、ユーザＵは、エアコン２の動作状態の変更直後の気流と、部屋の温度が安定した後の動作状態の気流の流れとを容易に認識することができる。
【0048】
また、表示制御部１３２は、エアコン２の動作状態の複数の観点によるシミュレーション結果として、気流ベースのシミュレーション結果を可視化した内容と、部屋の温度ベースのシミュレーション結果を可視化した内容とを、ユーザＵの操作に応じて切り替え可能に表示させてもよい。
【0049】
図６は、シーン２の制御例の変形例を示す図である。本変形例では、表示制御部１３２は、表示Ｄ１として、エアコン２の動作状態の変更直後（例えば動作開始直後）のシミュレーション結果を可視化した気流の仮想的な像ＦＩ１と、部屋の温度が安定した後のエアコン２の動作状態のシミュレーション結果を可視化した気流の仮想的な像ＦＩ２とを重ねて表示する。このような構成によっても、ユーザＵは、エアコン２の動作状態の変更直後の気流と、部屋の温度が安定した後の動作状態の気流の流れとを容易に認識することができる。
【0050】
［３．３ シーン３］
図７は、シーン３の制御例を示す図である。シーン３は、状態検出部１１２により周囲の状態が所定条件を満たすことが検出された場合を示すシーンである。本実施形態では、表示制御部１３２は、上述したように、カメラ４０の画角にエアコン２が入る場合（すなわち、カメラ４０により撮影された画像にエアコン２が入ることが家電機器検出部１１１により検出された場合）、エアコン２を操作するための操作部Ｄ２を表示させる。一方で、表示制御部１３２は、カメラ４０の画角にエアコン２が入らない場合、エアコン２を操作するための操作部Ｄ２を非表示にする。
図７は、シーン３の制御例を示す図である。シーン３は、状態検出部１１２により周囲の状態が所定条件を満たすことが検出された場合を示すシーンである。本実施形態では、表示制御部１３２は、上述したように、カメラ４０の画角にエアコン２が入る場合（すなわち、カメラ４０により撮影された画像にエアコン２が入ることが家電機器検出部１１１により検出された場合）、エアコン２を操作するための操作部Ｄ２を表示させる。一方で、表示制御部１３２は、カメラ４０の画角にエアコン２が入らない場合、エアコン２を操作するための操作部Ｄ２を非表示にする。
【0051】
ただし、本実施形態では、カメラ４０の画角にエアコン２が入らない場合でも、状態検出部１１２により周囲の状態が所定条件を満たすことが検出された場合、エアコン２に関連する情報を示す表示Ｄ１と、エアコン２を操作するための操作部Ｄ２とを表示させる。「周囲の状態が所定条件を満たす場合」とは、例えば、状態検出部１１２により上述した高温注意または低温注意の条件が満たされる場合である。
【0052】
表示制御部１３２は、状態検出部１１２により高温注意の条件を満たすことが検出された場合、カメラ４０の画角にエアコン２が入らない場合でも、部屋の温度が高いことを示す注意喚起Ｄ３と、エアコン２の状態を示す表示Ｄ１と、冷房運転のボタンＢ１ａおよび操作しないことを選択するボタンＢ１ｅを含む操作部Ｄ２とを表示させる（図７参照）。一方で、表示制御部１３２は、状態検出部１１２により低温注意の条件を満たすことが検出された場合、カメラ４０の画角にエアコン２が入らない場合でも、部屋の温度が低いことを示す注意喚起Ｄ３と、エアコン２の状態を示す表示Ｄ１と、暖房運転のボタンＢ１ｃおよび操作しないことを選択するボタンＢ１ｅを含む操作部Ｄ２を表示させる。
【0053】
［３．４ シーン４］
図８は、シーン４の制御例を示す図である。シーン４は、温度または湿度の管理が必要な特定物品ＳＩ（例えばカメラや楽器）がカメラ４０の画角に入る場合を示すシーンである。本実施形態では、表示制御部１３２は、上述したように、カメラ４０の画角にエアコン２が入る場合、エアコン２を操作するための操作部Ｄ２を表示させる。一方で、表示制御部１３２は、カメラ４０の画角にエアコン２が入らない場合、エアコン２を操作するための操作部Ｄ２を非表示にする。
図８は、シーン４の制御例を示す図である。シーン４は、温度または湿度の管理が必要な特定物品ＳＩ（例えばカメラや楽器）がカメラ４０の画角に入る場合を示すシーンである。本実施形態では、表示制御部１３２は、上述したように、カメラ４０の画角にエアコン２が入る場合、エアコン２を操作するための操作部Ｄ２を表示させる。一方で、表示制御部１３２は、カメラ４０の画角にエアコン２が入らない場合、エアコン２を操作するための操作部Ｄ２を非表示にする。
【0054】
ただし、本実施形態では、カメラ４０の画角にエアコン２が入らない場合でも、状態検出部１１２により検出された周囲の状態が所定条件を満たし（例えば、部屋の温度が特定物品ＳＩに対応する特定閾値以上の場合、または部屋の湿度が特定物品ＳＩに対応する特定閾値以上の場合）を満たし、且つ、カメラ４０の画角に特定物品ＳＩが入る場合（すなわち、カメラ４０により撮影された画像に特定物品ＳＩが入ることが物品検出部１１３により検出された場合）、エアコン２を操作するための操作部Ｄ２を表示させる。特定物品ＳＩの種類と、その特定物品ＳＩに応じた温度または湿度の閾値との対応関係は、閾値情報Ｉ２の一部として記憶部１４０に記憶されている。
【0055】
例えば、表示制御部１３２は、状態検出部１１２により部屋の湿度が特定物品ＳＩに対応する特定閾値以上であることが検出され、且つ、カメラ４０の画角に特定物品が入る場合、カメラ４０の画角にエアコン２が入らない場合でも、特定部品ＳＩに対して部屋の湿度が高いことを示す注意喚起Ｄ４と、エアコン２の状態を示す表示Ｄ１と、エアコン２の除湿運転を開始するためのボタンＢ１ｆおよび操作しないことを選択するボタンＢ１ｅを含む操作部Ｄ２とを表示させる（図８参照）。一方で、表示制御部１３２は、状態検出部１１２により部屋の温度が特定物品ＳＩに対応する特定閾値以上であることが検出され、且つ、カメラ４０の画角に特定物品ＳＩが入る場合、特定部品ＳＩに対して部屋の温度が高いことを示す注意喚起Ｄ４と、エアコン２の状態をカメラ４０の画角にエアコン２が入らない場合でも、エアコン２の状態を示す表示Ｄ１と、エアコン２の冷房運転のボタンＢ１ａおよび操作しないことを選択するボタンＢ１ｅを含む操作部Ｄ２とを表示させる。
【0056】
［３．５ シーン５］
図９は、シーン５の制御例を示す図であり、操作部Ｄ２として第１態様の操作部Ｄ２１が表示されている場合を示す図である。シーン５は、エアコン２が動作している場合を示すシーンである。本実施形態では、表示制御部１３２は、操作部Ｄ２として第１態様の操作部Ｄ２１が表示されている場合、スマートグラス１を装着したユーザＵの移動または向きを変える動きに対して操作部Ｄ２の表示を追従させない。一方で、表示制御部１３２は、操作部Ｄ２として、第１態様とは異なる第２態様の操作部Ｄ２２が表示されている場合、スマートグラス１を装着したユーザＵの移動または向きを変える動きに対して操作部Ｄ２の表示を追従させる。
図９は、シーン５の制御例を示す図であり、操作部Ｄ２として第１態様の操作部Ｄ２１が表示されている場合を示す図である。シーン５は、エアコン２が動作している場合を示すシーンである。本実施形態では、表示制御部１３２は、操作部Ｄ２として第１態様の操作部Ｄ２１が表示されている場合、スマートグラス１を装着したユーザＵの移動または向きを変える動きに対して操作部Ｄ２の表示を追従させない。一方で、表示制御部１３２は、操作部Ｄ２として、第１態様とは異なる第２態様の操作部Ｄ２２が表示されている場合、スマートグラス１を装着したユーザＵの移動または向きを変える動きに対して操作部Ｄ２の表示を追従させる。
【0057】
詳しく述べると、本実施形態では、表示制御部１３２は、エアコン２が動作している状態で、カメラ４０の画角にエアコン２が入る場合、操作部Ｄ２として、エアコン２を操作するための第１態様の操作部Ｄ２１を表示させる。第１態様の操作部Ｄ２１は、エアコン２の気流の詳細設定ができない操作部である。例えば、第１態様の操作部Ｄ２１は、エアコン２の運転を停止させるボタンＢ２ａ、エアコン２の温度設定の操作画面へ遷移させるボタンＢ２ｂ、およびエアコン２の気流設定の操作画面へ遷移させるボタンＢ２ｃを含む。エアコン２の気流設定の操作画面を表示させるボタンＢ２ｃは、そのボタンＢ２ｃを押すだけでは気流の詳細設定はできない。このため、エアコン２の気流設定の操作画面へ遷移させるボタンＢ２ｃを含む操作部Ｄ２は、「エアコン２の気流の詳細設定できない操作部」の一例である。
【0058】
表示制御部１３２は、操作部Ｄ２として第１態様の操作部Ｄ２１が表示されている場合、ユーザＵの移動または向きを変える動きに対して操作部Ｄ２の表示を追従させない。「操作部Ｄ２の表示を追従させない」とは、例えば、カメラ４０の画角からエアコン２が外れる場合、表示制御部１３２により操作部Ｄ２が表示されない（操作部Ｄ２を非表示にする）ことを意味する。すなわち、スマートグラス１を装着したユーザＵがエアコン２とは異なる方向を見た場合、ユーザＵの視界からエアコン２が消えることに応じて、操作部Ｄ２の表示も消える。
【0059】
図１０は、シーン５の続きを示す図であり、操作部Ｄ２として第２態様の操作部Ｄ２２が表示されている場合を示す図である。本実施形態では、表示制御部１３２は、第１態様の操作部Ｄ２１における特定のボタン（例えば、気流設定のボタンＢ２ｃ）が操作されることで、第１態様の操作部Ｄ２１から遷移させた第２態様の操作部Ｄ２２を表示させる。第２態様の操作部Ｄ２２は、エアコン２の気流の詳細設定ができる操作部である。例えば、第２態様の操作部Ｄ２２は、エアコン２の風量を変更する操作子Ｂ３ａ、エアコン２の左右方向の風向を変更する操作子Ｂ３ｂ、エアコン２の上下方向の風向きを変更する操作子Ｂ３ｃ、気流の設定変更を中止するキャンセルボタンＢ３ｄ、および気流の設定変更の内容を確定してエアコン２に指示する送信ボタンＢ３ｅを含む。
【0060】
ここで本実施形態では、ユーザＵにより上述した操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃが操作されただけではエアコン２の動作は変更されず、送信ボタンＢ３ｅが押された時点で設定変更の内容が確定し、エアコン２の動作が変更される。本実施形態では、計算部１３１は、エアコン２の動作状態に関するユーザＵの所定の操作（例えば操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃのいずれかに対する操作）が受け付けられた場合、エアコン２の変更後の動作状態（例えば、操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃに対する操作に応じた変更後の気流の強さや向き）を予測するシミュレーションを行う。
【0061】
そして、表示制御部１３２は、エアコン２の動作状態を変更する前に、周囲の風景に対して、計算部１３１によるエアコン２の変更後の動作状態のシミュレーション結果を可視化した気流の仮想的な像ＦＩを含む表示Ｄ１を重ねて表示する。本実施形態では、エアコン２の動作状態が確定される前（例えば、送信ボタンＢ３ｅが押される前）に、操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃのいずれかが複数回に亘り操作された場合、操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃが操作される度に、計算部１３１により上記シミュレーションが再度行われ、そのシミュレーション結果を可視化した気流の仮想的な像ＦＩを含む表示Ｄ１がその都度、更新されて表示される（すなわち、切り替えて表示される）。
【0062】
表示制御部１３２は、操作部Ｄ２として第２態様の操作部Ｄ２２が表示されている場合、スマートグラス１を装着したユーザＵの移動または向きを変える動きに対して操作部Ｄ２の表示を追従させる。「操作部Ｄ２の表示を追従させる」とは、例えば、カメラ４０の画角からエアコン２が外れる場合でも、表示制御部１３２により操作部Ｄ２２をユーザＵの見える範囲内に表示し続けることを意味する。すなわち、スマートグラス１を装着したユーザＵがエアコン２とは異なる方向を見た場合でも、ユーザＵの視界に操作部Ｄ２の表示が残る。
【0063】
ここで上述したように、本実施形態の表示制御部１３２は、スマートグラス１を装着したユーザＵがエアコン２とは異なる方向を見た場合、その方向で見た場合の上記気流の仮想的な像ＦＩを表示させる。すなわち、スマートグラス１を装着したユーザＵがエアコン２とは反対側を向いた場合、エアコン２から吹き出されてユーザＵの後方に流れる気流の仮想的な像ＦＩが表示される。この状態で、ユーザＵにより操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃが操作されると、表示制御部１３２は、操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃに対する操作に応じてユーザＵの後方に流れる気流の仮想的な像ＦＩを変更する。これにより、ユーザＵは、例えば自分の後方や側方における気流の仮想的な像ＦＩを確認しながら、操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃを操作することで気流の設定を調整することができる。
【0064】
図１１は、シーン５の制御例の変形例を示す図である。本変形例では、表示制御部１３２は、エアコン２の動作状態に関するユーザＵの所定の操作が受け付けられた場合（例えば、ユーザＵにより操作子Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃの１つ以上が操作された場合）、表示Ｄ１として、エアコン２の動作状態の変更前のシミュレーション結果を可視化した気流の仮想的な像ＦＩＡと、エアコン２の動作状態の変更後のシミュレーション結果を可視化した気流の仮想的な像ＦＩＢとを重ねて表示させる。このような構成によれば、ユーザＵは、動作状態の変更前の様子と、動作状態の変更後の様子とを容易に比較することができる。これにより、ユーザＵの利便性をさらに高めることができる。
【0065】
［３．６ シーン６］
図１２は、シーン６を示す図である。本実施形態では、操作制御部１３３は、仮想空間上にユーザＵによって配置されたオブジェクトＯＢ（対象物）の位置に基づき家電機器の１つ以上の動作パラメータを導出し、導出した１つ以上の動作パラメータを家電機器に送信する。
図１２は、シーン６を示す図である。本実施形態では、操作制御部１３３は、仮想空間上にユーザＵによって配置されたオブジェクトＯＢ（対象物）の位置に基づき家電機器の１つ以上の動作パラメータを導出し、導出した１つ以上の動作パラメータを家電機器に送信する。
【0066】
例えば、表示制御部１３２は、操作部Ｄ２に代えて／加えて、仮想空間上にオブジェクトＯＢを配置可能である。オブジェクトＯＢ自体は、表示制御部１３２により生成される仮想的なものである。ユーザＵは、例えば指先の操作により、仮想空間上でオブジェクトＯＢの位置を変更可能である。図１２に示す例では、オブジェクトＯＢに向けてエアコン２から気流が流れるように、オブジェクトＯＢの位置に応じてエアコン２の動作状態が変更される場合である。
【0067】
ここで、操作制御部１３３は、オブジェクトＯＢの位置に応じてエアコン２の動作状態が変更される場合、オブジェクトＯＢの位置を示す情報をエアコン２に送信するわけではない。本実施形態では、オブジェクトＯＢの位置に応じたエアコン２の適切な動作パラメータが計算部１３１により求められる。エアコン２の動作パラメータは、例えば、赤外線リモコンで動く一般的なエアコンに対する制御指令と同様に、左右方向で選択可能な複数段階の送風方向のうち何番目の送風方向を選択するか、上下方向で選択可能な複数段階の送風方向のうち何番目の送風方向を選択するか、または選択可能な複数段階の送風強さのうち何番目の送風強さを選択するか、といったパラメータ（制御指令）であり、制御指令情報Ｉ５から選択される。
【0068】
図１３は、シーン６における変形例を示す図である。図１３に示す例は、オブジェクトＯＢに向けてエアコン２から気流が流れないように、オブジェクトＯＢの位置に応じてエアコン２の動作状態が変更される例である。例えば、ユーザＵは、風を当てたくない場所（ベッドや観葉植物の配置場所）にオブジェクトＯＢを配置することで、部屋内の特定の場所にだけは風が当たらないようにしつつ部屋の温度または湿度を整えることができる。
【0069】
［３．７ シーン７］
図１４は、シーン７を示す図である。本実施形態では、計算部１３１は、操作対象の家電機器（第１家電機器）とは別の家電機器（第２家電機器）が存在する場合、第２家電機器の影響を反映したシミュレーションを行う。例えば、計算部１３１は、家電機器検出部１１１により扇風機３が検出された場合、扇風機３の影響を反映したエアコン２からの気流の流れのシミュレーションを行う。
図１４は、シーン７を示す図である。本実施形態では、計算部１３１は、操作対象の家電機器（第１家電機器）とは別の家電機器（第２家電機器）が存在する場合、第２家電機器の影響を反映したシミュレーションを行う。例えば、計算部１３１は、家電機器検出部１１１により扇風機３が検出された場合、扇風機３の影響を反映したエアコン２からの気流の流れのシミュレーションを行う。
【0070】
本実施形態では、家電機器検出部１１１は、カメラ４０により撮影された画像に基づき、扇風機３の首の向き（扇風機３の風向き）を特定する。そして、計算部１３１は、特定された扇風機３の風向きを反映させてエアコン２からの気流の流れのシミュレーションを行う。そして、表示制御部１３２は、扇風機３の風向きを反映させてエアコン２からの気流の流れのシミュレーション結果を可視化した気流の仮想的な像ＦＩを含む表示Ｄ１を表示させる。
【0071】
なお、家電機器検出部１１１は、スマートグラス１と扇風機３との間で通信を行うことや、カメラ４０により羽根車の回転角度を検出可能な時間間隔で撮影された複数枚の扇風機の画像に基づき扇風機３の風量を示す情報を取得してもよい。この場合、制御部１３０は、特定された扇風機３の風向きと風量を反映させてエアコン２からの気流の流れのシミュレーションを行い、そのシミュレーションの結果を可視化した気流の仮想的な像ＦＩを含む表示Ｄ１を表示させてもよい。
【0072】
本実施形態では、計算部１３１は、状態についての情報を取得できない要素（例えば窓４または換気扇５）の状態を示すユーザＵの入力が受付部１２０により受け付けられた場合、受付部１２０により受け付けられたユーザＵの入力の内容に基づき、上記要素の状態（例えば、窓４の開閉状態、換気扇５の動作状態）を反映したシミュレーションを行う。そして、表示制御部１３２は、上記要素の状態を反映させてエアコン２からの気流の流れのシミュレーションの結果を可視化した気流の仮想的な像ＦＩを含む表示Ｄ１を表示させる。なお、状態についての情報を取得できない要素（例えば窓４または換気扇５）の状態は、カメラ４０により取得されてもよい。
【0073】
［４．気流に関するシミュレーション］
次に、気流に関するシミュレーションの一例について説明する。
次に、気流に関するシミュレーションの一例について説明する。
【0074】
［４．１ 周囲環境情報の取得］
本実施形態では、計算部１３１は、カメラ４０により撮影された画像に基づき家電機器が配置された部屋の間取りまたは部屋内の物品（例えば家具）の配置の片方または両方を認識し（すなわち、周辺環境検出部１１４より検出し）、認識した部屋の間取りおよび物品の配置を周囲環境情報Ｉ４として記憶部１４０に記憶する。そして、計算部１３１は、認識した部屋の間取りに応じた壁および部屋内の物品の表面をエアコン２からの気流の流れの制約条件として気流の流れのシミュレーションを行う。
本実施形態では、計算部１３１は、カメラ４０により撮影された画像に基づき家電機器が配置された部屋の間取りまたは部屋内の物品（例えば家具）の配置の片方または両方を認識し（すなわち、周辺環境検出部１１４より検出し）、認識した部屋の間取りおよび物品の配置を周囲環境情報Ｉ４として記憶部１４０に記憶する。そして、計算部１３１は、認識した部屋の間取りに応じた壁および部屋内の物品の表面をエアコン２からの気流の流れの制約条件として気流の流れのシミュレーションを行う。
【0075】
なお、制御部１３０は、カメラ４０による周囲環境情報の取得に代えて／加えて、受付部１２０により家電機器が配置された部屋の間取りまたは部屋内の物品の配置の片方または両方を示すユーザＵの入力を受付部１２０により受け付けてもよい。この場合、受付部１２０は、ユーザＵの入力に基づく内容を周囲環境情報Ｉ４の全部または一部として記憶部１４０に記憶する。そして、計算部１３１は、ユーザＵから入力された部屋の間取りに応じた壁および部屋内の物品の表面をエアコン２からの気流の流れの制約条件として気流の流れのシミュレーションを行う。
【0076】
［４．２ 粒子による近似］
図１５は、気流の流れのシミュレーション結果の一例を示す図である。本実施形態の計算部１３１は、気流の流れそのものを完全に計算することに代えて、気流に含まれる複数の粒子Ｐの動きを計算することでシミュレーションの計算量を低減している。また本実施形態の計算部１３１は、複数の粒子Ｐの動きを完全に計算することに代えて、エアコン２の１つ以上の動作パラメータ（段階的に設定された気流の風量や風向）に対応して予め用意されたシミュレーション結果（複数の粒子Ｐの動き）を、そのまままたは部屋の間取りや部屋内の物品の位置に応じた補正を行って用いることで、必要なシミュレーション結果を導出する。そして、表示制御部１３２は、導出されたシミュレーション結果を可視化した気流の流れの仮想的な像ＦＩを表示させる。具体的には、粒子Ｐには下記条件を与えられ、気流に関するシミュレーションが行われる。
図１５は、気流の流れのシミュレーション結果の一例を示す図である。本実施形態の計算部１３１は、気流の流れそのものを完全に計算することに代えて、気流に含まれる複数の粒子Ｐの動きを計算することでシミュレーションの計算量を低減している。また本実施形態の計算部１３１は、複数の粒子Ｐの動きを完全に計算することに代えて、エアコン２の１つ以上の動作パラメータ（段階的に設定された気流の風量や風向）に対応して予め用意されたシミュレーション結果（複数の粒子Ｐの動き）を、そのまままたは部屋の間取りや部屋内の物品の位置に応じた補正を行って用いることで、必要なシミュレーション結果を導出する。そして、表示制御部１３２は、導出されたシミュレーション結果を可視化した気流の流れの仮想的な像ＦＩを表示させる。具体的には、粒子Ｐには下記条件を与えられ、気流に関するシミュレーションが行われる。
【0077】
（１）粒子Ｐの初期状態（エアコン２から吹き出された直後の状態）
（１－１）気流の風量は、複数の粒子Ｐの初速度の大きさの平均で近似する。複数の粒子Ｐに対しては、一定の分布に従う初速度の大きさを与える。
（１－２）気流の風向は、複数の粒子Ｐの初速度の方向の平均で近似する。複数の粒子Ｐに対しては、一定の分布に従う初速度の方向を与える。
（１－３）粒子Ｐの初期位置は、エアコン２の付近で分布状に発生するものとする。
（１－４）粒子Ｐの初速度が大きいほど粒子Ｐの発生数を増加させる。これにより、粒子Ｐの速度が早い場合に、離散的に見えることを抑制することができる。また、粒子Ｐの初速度が大きいほど粒子Ｐの発生数を増加させることで、気流の風量を表現することができる。
（１－１）気流の風量は、複数の粒子Ｐの初速度の大きさの平均で近似する。複数の粒子Ｐに対しては、一定の分布に従う初速度の大きさを与える。
（１－２）気流の風向は、複数の粒子Ｐの初速度の方向の平均で近似する。複数の粒子Ｐに対しては、一定の分布に従う初速度の方向を与える。
（１－３）粒子Ｐの初期位置は、エアコン２の付近で分布状に発生するものとする。
（１－４）粒子Ｐの初速度が大きいほど粒子Ｐの発生数を増加させる。これにより、粒子Ｐの速度が早い場合に、離散的に見えることを抑制することができる。また、粒子Ｐの初速度が大きいほど粒子Ｐの発生数を増加させることで、気流の風量を表現することができる。
【0078】
（２）粒子Ｐのその後の動作（エアコン２から吹き出されてから一定時間経過後の状態）
（２－１）粒子Ｐの移動速度は、時間経過とともに減速。
（２－２）部屋の壁や物品の表面（以下ではこれらを纏めて「壁」と称する）との衝突では、粒子Ｐの速度は大きく減らず、壁に対する反射角は入射角よりも大きく設定する。これについては詳しく後述する。
（２－３）粒子Ｐには、一定時間経過後に上方に向く加速度が作用する。なお、加速度は冷房運転と暖房運転で異なる値が設定される。
（２－４）粒子Ｐの消滅条件は、一定時間が経過すること。ただし，壁に対して衝突した数が多いほど早く消滅する。
（２－１）粒子Ｐの移動速度は、時間経過とともに減速。
（２－２）部屋の壁や物品の表面（以下ではこれらを纏めて「壁」と称する）との衝突では、粒子Ｐの速度は大きく減らず、壁に対する反射角は入射角よりも大きく設定する。これについては詳しく後述する。
（２－３）粒子Ｐには、一定時間経過後に上方に向く加速度が作用する。なお、加速度は冷房運転と暖房運転で異なる値が設定される。
（２－４）粒子Ｐの消滅条件は、一定時間が経過すること。ただし，壁に対して衝突した数が多いほど早く消滅する。
【0079】
図１６は、壁Ｗに対する粒子Ｐの衝突時の動きに関する設定条件を示す図である。一般的に、空気の粒子Ｐは、壁Ｗに衝突した場合、入射角αと反射角β１とが等しくなることが知られている。ただし、本実施形態では、シミュレーションの計算量を低減するため、壁Ｗで反射した粒子Ｐと、壁Ｗに向かって進む後続の粒子Ｐとの衝突は生じないものとして取り扱う。そのため、本実施形態では、粒子Ｐが壁Ｗに衝突する場合、反射角β２が入射角αよりも大きくなるように（すなわち、粒子Ｐが壁Ｗの近くに流れるように）反射角β２が設定される。これにより、後続の粒子Ｐとの衝突を計算せずに、壁Ｗに衝突した粒子Ｐの実際に近い動きを近似することができる。
【0080】
［４．３ あたり判定］
本実施形態では、計算部１３１は、「あたり判定」と称する処理を行う。「あたり判定」は、粒子Ｐの動きを求めるシミュレーションにおいて、エアコン２から吹き出された粒子Ｐのうちスマートグラス１を装着したユーザＵに単位時間当たりに当たる粒子Ｐの個数をカウントする処理である。ユーザＵに当たる粒子Ｐの個数は、ユーザＵが感じる気流の強さと相関関係を有する。すなわち、ユーザＵに当たる粒子Ｐの個数が少ないほど、ユーザＵは弱い風を感じる。一方で、ユーザＵに当たる粒子Ｐの個数が多いほど、ユーザＵは強い風を感じる。このため、ユーザＵに当たる粒子Ｐの個数を求めることで、ユーザＵが感じる風の強さを数値化することができる。
本実施形態では、計算部１３１は、「あたり判定」と称する処理を行う。「あたり判定」は、粒子Ｐの動きを求めるシミュレーションにおいて、エアコン２から吹き出された粒子Ｐのうちスマートグラス１を装着したユーザＵに単位時間当たりに当たる粒子Ｐの個数をカウントする処理である。ユーザＵに当たる粒子Ｐの個数は、ユーザＵが感じる気流の強さと相関関係を有する。すなわち、ユーザＵに当たる粒子Ｐの個数が少ないほど、ユーザＵは弱い風を感じる。一方で、ユーザＵに当たる粒子Ｐの個数が多いほど、ユーザＵは強い風を感じる。このため、ユーザＵに当たる粒子Ｐの個数を求めることで、ユーザＵが感じる風の強さを数値化することができる。
【0081】
ここで、計算部１３１は、冷房運転が行われる場合、実際のユーザＵの身体の高さに対応する位置にあたり判定用の領域を配置し、その領域に対する粒子Ｐの衝突数（通過数）をカウントする。一方で、計算部１３１は、暖房運転が行われる場合、実際のユーザＵの身体の高さよりも低い位置（例えば、ユーザＵの足元付近の高さ位置）に判定用の領域を配置し、その領域に対する粒子Ｐの衝突数（通過数）をカウントする。このような構成によれば、暖房運転におけるユーザＵの感覚をより正確に反映することができる。
【0082】
［４．４ 気流の仮想的な像の表示例］
図１５に示すように、表示制御部１３２は、シミュレーション結果を可視化した気流の仮想的な像ＦＩとして、複数の粒子Ｐの動きを表示させる。すなわち、エアコン２の吹出口の付近から吹き出された複数の粒子Ｐの動きが表示される。このような粒子Ｐの動きは、気流の流れを線や矢印で示す場合と比べてユーザＵにとって直感的に分かりやすいものとなる。
図１５に示すように、表示制御部１３２は、シミュレーション結果を可視化した気流の仮想的な像ＦＩとして、複数の粒子Ｐの動きを表示させる。すなわち、エアコン２の吹出口の付近から吹き出された複数の粒子Ｐの動きが表示される。このような粒子Ｐの動きは、気流の流れを線や矢印で示す場合と比べてユーザＵにとって直感的に分かりやすいものとなる。
【0083】
本実施形態では、表示制御部１３２は、上述した「当たり判定」の結果に基づいて数値化された「ユーザＵが感じる風の強さ」を示す指標Ｄ１ｂを含む表示Ｄ１を表示する。本実施形態では、指標Ｄ１ｂは、バーのような表示態様で表示される。すなわち、ユーザＵに風が当たっていない状態を「０」とし、ユーザＵに一定以上の風が当たる状態を「１００」とし、その間のどの程度のレベルでユーザＵに風が当たっているのかが表示される。なお、指標Ｄ１ｂは、上記例に代えて、レベルに応じて色が異なるカラーバーや、「そよ風」や「暴風」といった文字、またはこれらの組み合わせで表現されてもよい。
【0084】
図１７は、気流を可視化した像ＦＩの第１表示例を示す図である。本変形例では、エアコン２から吹き出された複数の粒子Ｐのなかで、ユーザＵに当たりそうにない粒子ＰＡは第１色（例えば青色）で表示される。一方で、エアコン２から吹き出された複数の粒子Ｐのなかで、ユーザＵに当たりそうな粒子ＰＢは第２色（例えば赤色）で表示される。このような第１表示例によっても、どの程度のレベルでユーザＵに風が当たるのかをユーザＵに分かりやすく伝えることができる。
【0085】
図１８は、気流を可視化した像ＦＩの第２表示例を示す図である。本変形例では、エアコン２から吹き出された複数の粒子Ｐのなかで、ユーザＵに直近の単位時間で当たっている粒子ＰＣは第１色（例えば黄色）で表示される。エアコン２から吹き出された複数の粒子Ｐのなかで、過去にユーザＵに当たった粒子ＰＤは第２色（例えば赤色）で表示される。エアコン２から吹き出された複数の粒子Ｐのなかで、粒子ＰＢ，ＰＣ以外の粒子Ｐである粒子ＰＥは第３色（例えば青色）で表示される。このような第２表示例によっても、どの程度のレベルでユーザＵに風が当たるのかをユーザＵに分かりやすく伝えることができる。
【0086】
［４．５ 座標系の設定］
図１９は、本実施形態で用いられる座標系を示す図である。本実施形態では、３つの座標系が用いられる。
（１）エアコン２の位置を基準とした座標系（第１座標系Ｓ１）
（２）ユーザＵ（スマートグラス１）の位置を基準とした座標系（第２座標系Ｓ２）
（３）エアコン２が配置された部屋の実空間内の座標を示す座標系（第３座標系Ｓ３）
図１９は、本実施形態で用いられる座標系を示す図である。本実施形態では、３つの座標系が用いられる。
（１）エアコン２の位置を基準とした座標系（第１座標系Ｓ１）
（２）ユーザＵ（スマートグラス１）の位置を基準とした座標系（第２座標系Ｓ２）
（３）エアコン２が配置された部屋の実空間内の座標を示す座標系（第３座標系Ｓ３）
【0087】
本実施形態では、計算部１３１は、エアコン２の動作状態に関するシミュレーション（例えば粒子Ｐの動きを求めるシミュレーション）は、第１座標系Ｓ１で行う。ただし、計算部１３１は、壁（部屋の壁または物品の表面）に対する粒子Ｐの衝突とその後の流れについては、第１座標系Ｓ１では計算しない。そして、表示制御部１３２は、第１座標系Ｓ１で行われたシミュレーションの結果を、第３座標系Ｓ３の内容に変換して保持する。すなわち、表示制御部１３２は、第１座標系Ｓ１で行われたシミュレーションの結果を、第３座標系Ｓ３における部屋の実空間内の座標に関連付けて保持する。第３座標系Ｓ３は、第１座標系Ｓ１とは基準位置が異なる座標系の一例である。
【0088】
一方で、計算部１３１は、上述した「あたり判定」に関する処理を第２座標系Ｓ２で行う。例えば、計算部１３１は、第１座標系Ｓ１で求められた粒子Ｐの動きを求めるシミュレーションの結果の内容を第２座標系Ｓ２に変換し、第２座標系Ｓ２で設定された「あたり判定」のための領域に対して衝突する粒子Ｐの個数をカウントする。また、表示制御部１３２は、表示Ｄ１および操作部Ｄ２の表示位置を、第２座標系Ｓ２において決定する。
【0089】
計算部１３１は、上述した第３座標系Ｓ３に変換された上記シミュレーションの結果を用いて、第３座標系Ｓ３において壁Ｗ（部屋の壁または物品の表面）に対する粒子Ｐの衝突とその後の流れを計算し、第１座標系Ｓ１で計算された上記シミュレーションの結果を補正する。第３座標系Ｓ３では、エアコン２が配置された部屋の間取りおよび物品（例えば家具）が設定されている。
【0090】
そして、表示制御部１３２は、第３座標系Ｓ３で補正された上記シミュレーションの結果に基づいて気流を可視化した像ＦＩ（複数の粒子Ｐの動き）示す画像を生成し、生成した画像を表示Ｄ１の一部として表示させる。この場合、表示制御部１３２は、カメラ４０の画角にエアコン２が入る度に、エアコン２と第３座標系Ｓ３との位置関係を設定し直す。これにより、エアコン２と第３座標系Ｓ３との最初の位置関係が正しく設定されなかった場合でも、エアコン２と第３座標系Ｓ３との位置関係が修正される。
【0091】
このような座標系によれば、スマートグラス１が激しく動く（カメラ４０が激しく動く）場合でも処理が遅延することが生じにくくなる。また、シミュレーションに関する計算が第１座標系Ｓ１または第３座標系Ｓ３で行われると、スマートグラス１自身の座標が誤っていても、影響を受けにくくなる。また、エアコン２から吹き出された風は、風向変更による回転などを考慮すると、第１座標系Ｓ１のほうが計算のアルゴリズムや計算式を組み立てやすい。さらに、その風（近似する粒子Ｐ）はシミュレーション結果であるために、粒子Ｐとエアコン２のような相対位置の取得がないため、エアコン２基準のほうが計算は容易となる。
【0092】
座標系に関する第１変形例として、計算部１３１は、壁（部屋の壁または物品の表面）に対する粒子Ｐの衝突も含め気流に関する全てのシミュレーションを第１座標系Ｓ１で行い、第１座標系Ｓ１で保持されたシミュレーション結果が表示Ｄ１として表示されてもよい。このような第１変形例の構成によれば、スマートグラス１が激しく動く（カメラ４０が激しく動く）と処理が遅延する場合があり得るが、スマートグラス１が認識している現在の座標にずれがあっても影響を少なくすることができる。
【0093】
座標系に関する第２変形例として、計算部１３１は、壁（部屋の壁または物品の表面）に対する粒子Ｐの衝突も含め気流に関する全てのシミュレーションを第２座標系Ｓ２で行い、第２座標系Ｓ２で保持されたシミュレーション結果が表示Ｄ１として表示されてもよい。このような第２変形例の構成によれば、スマートグラス１が激しく動く（カメラ４０が激しく動く）と処理が遅延する場合があり得るが、そのような場合を除けば問題なく計算および表示を行うことができる。
【0094】
座標系に関する第３変形例として、計算部１３１は、気流に関する全てのシミュレーションを第３座標系Ｓ３で行い（すなわち、部屋の実空間内の座標に関連付けてエアコン２の動作状態のシミュレーションを行い）、第３座標系Ｓ３で保持されたシミュレーション結果が表示Ｄ１として表示されてもよい。すなわち、計算に用いる座標はスマートグラス１の動きによってぶれたりせず、計算の結果を実座標に対応付けるものである。このような第３変形例の構成によれば、スマートグラス１自身の座標が誤っていれば、結果も誤ったものになってしまうが、スマートグラス１が動いても気流の流れを計算し直すことが抑制されるため，エアコン２を見失ったり、カメラ４０が激しく動いたりしても影響を少なくすることができる。
【0095】
［５．利点］
本実施形態では、スマートグラス１は、エアコン２に関連する情報を示す表示Ｄ１、またはエアコン２を操作するための操作部Ｄ２のうち一方または両方を仮想空間技術により表示させる制御部１３０を有する。このような構成によれば、一般的な機器コントローラと比べて、ボタンの表示サイズや配置を動的に変更することができる。これにより、ユーザＵに対してより使いやすいユーザインターフェスを提供することができ、ユーザＵの利便性の向上を図ることができる。
本実施形態では、スマートグラス１は、エアコン２に関連する情報を示す表示Ｄ１、またはエアコン２を操作するための操作部Ｄ２のうち一方または両方を仮想空間技術により表示させる制御部１３０を有する。このような構成によれば、一般的な機器コントローラと比べて、ボタンの表示サイズや配置を動的に変更することができる。これにより、ユーザＵに対してより使いやすいユーザインターフェスを提供することができ、ユーザＵの利便性の向上を図ることができる。
【0096】
本実施形態では、制御部１３０は、検出部１１０により検出された周囲の状態が第１条件を満たす場合に、第１条件に応じた操作部Ｄ２を表示させ、検出部１１０により検出された周囲の状態が第１条件とは異なる第２条件を満たす場合に、第２条件に応じた操作部Ｄ２を表示させる。このような構成によれば、状況に応じて操作部Ｄ２の表示が変更される。これにより、ユーザＵの利便性のさらなる向上を図ることができる。
【0097】
本実施形態では、制御部１３０は、カメラ４０により撮影された画像にエアコン２が入る場合に操作部Ｄ２を表示させ、カメラ４０により撮影された画像にエアコン２が入らない場合でも、検出部１１０により検出された周囲の状態が所定条件を満たす場合に操作部Ｄ２を表示させる。このような構成によれば、暑い場合や寒い場合、湿度が高い場合などにユーザＵに対して任意のタイミングで提案を行うことができる。これにより、ユーザＵの利便性のさらなる向上を図ることができる。
【0098】
本実施形態では、制御部１３０は、周囲の状態が所定条件を満たし、且つ、特定物品ＳＩが検出された場合に、操作部Ｄ２を表示させる。このような構成によれば、暑さや湿度に弱い物品がある場合にユーザＵに対して任意のタイミングで提案を行うことができる。これにより、ユーザＵの利便性のさらなる向上を図ることができる。
【0099】
ここで、一般的な赤外線リモコンでは、「風向の変更」を行う場合に、どのように操作すれば実際に風がどこに向くか分かりにくい場合がある。また、部屋全体を意識した気流設定を行うことは困難である。しかしながら本実施形態では、気流の仮想的な像ＦＩが表示される。これより、エアコン２の気流を設定する際、例えば何段右に向ければ自分のほうに風が来るのか分かりやすく、設定してイメージが違えば調節するという作業を行うことが抑制される。これにより、ユーザＵの利便性のさらなる向上を図ることができる。また、３次元的な情報を用いるため，別角度から見た気流の全体像なども確認可能であり、部屋全体を意識した気流設定を行うことが容易になる。
【0100】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態は、スマートグラス１は、家電機器に関連する情報を示す表示Ｄ１を行うが、操作部Ｄ２を表示しない点で第１実施形態とは異なる。以下に説明する以外の構成は、第１実施形態の構成と同様である。
次に、第２実施形態について説明する。第２実施形態は、スマートグラス１は、家電機器に関連する情報を示す表示Ｄ１を行うが、操作部Ｄ２を表示しない点で第１実施形態とは異なる。以下に説明する以外の構成は、第１実施形態の構成と同様である。
【0101】
図２０は、第２実施形態の制御例を示す図である。本実施形態では、表示制御部１３２は、エアコン２に関連する情報を示す表示Ｄ１を行うが、操作部Ｄ２を表示しない。ユーザＵは、エアコン２の状態や気流の仮想的な像ＦＩを確認しながら、実際に存在する一般的な赤外線リモコンＲＣを用いてエアコン２を操作する。
【0102】
このような構成によっても、ユーザＵは、エアコン２の状態や気流の仮想的な像ＦＩを仮想空間技術による表示Ｄ１を確認しながらエアコン２の操作を行える。このため、ユーザＵの利便性が向上する。
【0103】
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態は、ユーザＵが操作する情報処理装置がスマートグラス１ではなく、スマートフォンまたはタブレット端末のような端末装置１Ａである点で第１実施形態とは異なる。以下に説明する以外の構成は、第１実施形態の構成と同様である。
次に、第３実施形態について説明する。第３実施形態は、ユーザＵが操作する情報処理装置がスマートグラス１ではなく、スマートフォンまたはタブレット端末のような端末装置１Ａである点で第１実施形態とは異なる。以下に説明する以外の構成は、第１実施形態の構成と同様である。
【0104】
図２１は、第３実施形態の端末装置１Ａを示す図である。端末装置１Ａは、第１実施形態のスマートグラス１と同様に、カメラ４０、マイク５０、通信モジュール６０、および制御基板７０を有する。端末装置１Ａは、液晶ディスプレイまたは有機ＥＬ(Electro Luminescence)ディスプレイである表示装置３０Ａを有する。表示装置３０Ａは、表示画面に重ねて配置された静電容量式のタッチセンサを含む。
【0105】
端末装置１Ａには、上述した検出部１１０、受付部１２０、および制御部１３０を実現するためのアプリケーションプログラムがインストールされている。端末装置１Ａは、「情報処理装置」の一例であり、家電機器を操作する機器コントローラである。本実施形態の端末装置１Ａは、「情報処理システム」の一例である。
【0106】
本実施形態では、表示制御部１３２は、カメラ４０によりリアルタイムで撮影された周囲の風景を表示装置３０Ａの表示画面に表示させる。そして、表示制御部１３２は、仮想空間技術による表示Ｄ１および／または操作部Ｄ２を、表示装置３０Ａの表示画面に表示させる。すなわち、表示制御部１３２は、仮想空間技術による表示Ｄ１および／または操作部Ｄ２を表示装置３０Ａと、カメラ４０によりリアルタイムで撮影された周囲の風景とを表示画面上に重ねて表示する。表示Ｄ１は、家電機器の状態を示す表示Ｄ１ａおよび／またはエアコン２からの気流を可視化した像ＦＩを含む。操作検出部１１５は、表示装置３０Ａの表示画面に対するユーザＵの操作に基づき、ユーザＵの操作を受け付ける。
【0107】
このような構成によれば、新たなデバイスの導入することなく、必要な場面でアプリケーションプログラムを起動することで拡張現実のリモコンを利用することができる。このため、ユーザＵの利便性が向上する。
【0108】
本実施形態の端末装置１Ａは、第１実施形態のスマートグラス１に関して説明した全ての制御例を実現可能である。例えば、ユーザＵが端末装置１Ａをエアコン２とは反対側に向けた場合、表示制御部１３２は、エアコン２から吹き出されてユーザＵの後方に流れる気流の仮想的な像ＦＩを含む表示Ｄ１を表示させる。本実施形態に関する説明は、第１実施形態に関する説明における「スマートグラス１」を「端末装置１Ａ」と読み替え、「スマートグラス１を装着したユーザＵ」を「端末装置１Ａを保持したユーザＵ」と読み替えればよい。本実施形態で「ユーザＵが向きを変えた場合」とは、「ユーザＵが端末装置１Ａの向きを変えた場合」を含み得る。
【0109】
（第４実施形態）
次に、第４実施形態について説明する。第４実施形態は、第１実施形態のスマートグラス１の機能の一部が別装置に設けられた点で第１実施形態とは異なる。以下に説明する以外の構成は、第１実施形態の構成と同様である。
次に、第４実施形態について説明する。第４実施形態は、第１実施形態のスマートグラス１の機能の一部が別装置に設けられた点で第１実施形態とは異なる。以下に説明する以外の構成は、第１実施形態の構成と同様である。
【0110】
図２２は、第４実施形態の情報処理システム２００を示す図である。情報処理システム２００は、ホスト装置２１０と、１つ以上のスマートグラス１（または端末装置１Ａ）を含む。ホスト装置２１０は、上述した検出部１１０、受付部１２０、および制御部１３０のうち一部または全部の機能を有する。ホスト装置２１０は、スマートグラス１（または端末装置１Ａ）と通信可能である。ホスト装置２１０は、例えば、家庭内に配置されるコンピュータであるが、外部のネットワーク上のサーバ装置などでもよい。
【0111】
このような構成によれば、第１実施形態と同様に、ユーザＵの利便性が向上する。本実施形態によれば、ホスト装置２１０の計算結果を複数人のユーザＵで共有することができ、複数人のユーザＵで同じ内容を見ることができる。これにより、ユーザＵの利便性がさらに向上する場合がある。
【0112】
以上、いくつかの実施形態および変形例について説明したが、実施形態および変形例は上記例に限定されない。例えば、表示Ｄ１および操作部Ｄ２の表示は、拡張現実（ＡＲ）や複合現実（ＭＲ）に限定されず、仮想現実（ＶＲ）や代替現実（ＳＲ）などでもよい。例えば、表示Ｄ１が重ねられる周囲の風景は、仮想現実により表示されるものでもよい。また、過去の家電機器の動作状態などが代替現実により表示されてもよい。
【0113】
また、スマートグラス１や端末装置１Ａは、エアコン２を操作する装置に限定されない。例えば、スマートグラス１は、周囲の風景と重ねてレシピを表示してもよい。レシピは、「家電機器に関連する情報」の一例である。この場合、ユーザＵは、レシピを見ながら料理をすることができるとともに、手を洗わず操作できるため、画面が小さくて見えなかったり押せなかったりすることが解消される。
【0114】
以上説明した少なくともひとつの実施形態によれば、情報処理システムは、家電機器に関連する情報を示す表示、または家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる制御部を持つことにより、利便性の向上を図ることができる。
【0115】
以下、いくつかの情報処理システムについて付記する。
［１］：家電機器に関連する情報を示す表示、または前記家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる制御部、
を備えた情報処理システム。
［２］：［１］に記載の情報処理システムにおいて、
前記制御部は、前記家電機器の動作状態に関するユーザの所定の操作が受け付けられた場合、前記家電機器の変更直後の動作状態のシミュレーション結果を可視化した像と、前記家電機器の変更から一定時間経過後の動作状態のシミュレーション結果を可視化した像とを重ねてまたは切り替え可能に表示させる。
［３］：［１］または［２］に記載の情報処理システムにおいて、
前記制御部は、第１態様で前記操作部が表示されている場合、ユーザの移動または向きを変える動きに対して前記操作部の表示を追従させず、前記第１態様とは異なる第２態様で前記操作部が表示されている場合、前記ユーザの移動または向きを変える動きに対して前記操作部の表示を追従させる。
［４］：［３］に記載の情報処理システムにおいて、
前記家電機器は、空気調和機であり、
前記第１態様の操作部は、前記空気調和機の気流の詳細設定ができない操作部であり、
前記第２態様の操作部は、前記空気調和機の気流の詳細設定ができる操作部である。
［５］：［１］から［４］のうちいずれか１つに記載の情報処理システムにおいて、
前記制御部は、前記家電機器の位置を基準とした座標系で前記家電機器の動作状態のシミュレーションを行い、そのシミュレーション結果の内容を含む前記表示を表示させる。
［６］：［１］から［４］のうちいずれか１つに記載の情報処理システムにおいて、
前記制御部は、前記家電機器が配置された部屋の実空間内の座標に関連付けて前記家電機器の動作状態のシミュレーションを行い、そのシミュレーション結果の内容を含む前記表示を表示させる。
［７］：［１］から［４］のうちいずれか１つに記載の情報処理システムにおいて、
前記制御部は、前記家電機器の位置を基準とした座標系で前記家電機器の動作状態のシミュレーションを行い、そのシミュレーション結果を前記家電機器が配置された部屋の実空間内の座標に関連付けた内容に変換し、変換した前記シミュレーション結果の内容を含む前記表示を表示させる。
［１］：家電機器に関連する情報を示す表示、または前記家電機器を操作するための操作部のうち一方または両方を仮想空間技術により表示させる制御部、
を備えた情報処理システム。
［２］：［１］に記載の情報処理システムにおいて、
前記制御部は、前記家電機器の動作状態に関するユーザの所定の操作が受け付けられた場合、前記家電機器の変更直後の動作状態のシミュレーション結果を可視化した像と、前記家電機器の変更から一定時間経過後の動作状態のシミュレーション結果を可視化した像とを重ねてまたは切り替え可能に表示させる。
［３］：［１］または［２］に記載の情報処理システムにおいて、
前記制御部は、第１態様で前記操作部が表示されている場合、ユーザの移動または向きを変える動きに対して前記操作部の表示を追従させず、前記第１態様とは異なる第２態様で前記操作部が表示されている場合、前記ユーザの移動または向きを変える動きに対して前記操作部の表示を追従させる。
［４］：［３］に記載の情報処理システムにおいて、
前記家電機器は、空気調和機であり、
前記第１態様の操作部は、前記空気調和機の気流の詳細設定ができない操作部であり、
前記第２態様の操作部は、前記空気調和機の気流の詳細設定ができる操作部である。
［５］：［１］から［４］のうちいずれか１つに記載の情報処理システムにおいて、
前記制御部は、前記家電機器の位置を基準とした座標系で前記家電機器の動作状態のシミュレーションを行い、そのシミュレーション結果の内容を含む前記表示を表示させる。
［６］：［１］から［４］のうちいずれか１つに記載の情報処理システムにおいて、
前記制御部は、前記家電機器が配置された部屋の実空間内の座標に関連付けて前記家電機器の動作状態のシミュレーションを行い、そのシミュレーション結果の内容を含む前記表示を表示させる。
［７］：［１］から［４］のうちいずれか１つに記載の情報処理システムにおいて、
前記制御部は、前記家電機器の位置を基準とした座標系で前記家電機器の動作状態のシミュレーションを行い、そのシミュレーション結果を前記家電機器が配置された部屋の実空間内の座標に関連付けた内容に変換し、変換した前記シミュレーション結果の内容を含む前記表示を表示させる。
【0116】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0117】
１…スマートグラス、２…エアコン（家電機器、第１家電機器）、３…扇風機（第２家電機器）、４０…カメラ、７０…制御基板、１１０…検出部、１２０…受付部、１３０…制御部、２００…情報処理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】