知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024057197
(43)【公開日】2024-04-24
(54)【発明の名称】表示装置、表示方法および表示プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240417BHJP
G06F 3/04815 20220101ALI20240417BHJP
G06F 3/16 20060101ALI20240417BHJP
G09G 5/00 20060101ALI20240417BHJP
G09G 5/377 20060101ALI20240417BHJP
G08B 21/02 20060101ALI20240417BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
G06F3/16 650
G06F3/16 680
G09G5/00 555D
G09G5/00 550C
G09G5/00 530M
G09G5/36 520L
G08B21/02
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022163762
(22)【出願日】2022-10-12
(71)【出願人】
【識別番号】303046277
【氏名又は名称】旭化成エレクトロニクス株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】一色 翔太
(72)【発明者】
【氏名】古屋 貴明
【テーマコード（参考）】
5C086
5C182
5E555
【Ｆターム（参考）】
5C086AA05
5C086AA09
5C086AA13
5C086AA22
5C086AA38
5C086FA17
5C182AA31
5C182AB14
5C182AB33
5C182AC02
5C182AC03
5C182BA01
5C182BA03
5C182BA24
5C182BA28
5C182BA29
5C182BA35
5C182BA54
5C182BC01
5C182BC14
5C182BC25
5C182BC26
5C182CB54
5C182DA02
5C182DA04
5C182DA14
5C182DA44
5E555AA27
5E555AA58
5E555BA38
5E555BB38
5E555BC04
5E555BC08
5E555BC09
5E555BE17
5E555CA41
5E555CA47
5E555CB45
5E555CB64
5E555CB66
5E555CB72
5E555CB74
5E555CC01
5E555CC05
5E555DA08
5E555DA23
5E555DB03
5E555DB31
5E555DB41
5E555DB53
5E555DC13
5E555DC63
5E555DD06
5E555DD08
5E555DD11
5E555EA09
5E555EA11
5E555EA14
5E555EA23
5E555FA00
(57)【要約】 （修正有）
【課題】表示装置を脱着することなく現実空間の状態を認知できる表示装置、表示方法および表示プログラムを提供する。
【解決手段】表示装置１００は、仮想空間の画像を表示する表示部１０と、送信部３０とを備える。表示部は、表示部の操作者が存在する現実空間の状態に係る状態情報をさらに表示する。送信部は、現実空間の状態を制御する制御機器に、現実空間の状態を制御するための制御情報を送信する。表示装置は、検知部１４をさらに備えてよい。表示部は、仮想空間に仮想入力画像をさらに表示してよい。送信部は、検知部により仮想入力画像への入力が検知された場合、制御機器に制御情報を送信してよい。
【選択図】図３
【解決手段】表示装置１００は、仮想空間の画像を表示する表示部１０と、送信部３０とを備える。表示部は、表示部の操作者が存在する現実空間の状態に係る状態情報をさらに表示する。送信部は、現実空間の状態を制御する制御機器に、現実空間の状態を制御するための制御情報を送信する。表示装置は、検知部１４をさらに備えてよい。表示部は、仮想空間に仮想入力画像をさらに表示してよい。送信部は、検知部により仮想入力画像への入力が検知された場合、制御機器に制御情報を送信してよい。
【選択図】図３
【特許請求の範囲】
【請求項1】
仮想空間の画像を表示する表示部と、送信部とを備え、
前記表示部は、前記表示部の操作者が存在する現実空間の状態に係る状態情報をさらに表示し、
前記送信部は、前記現実空間の状態を制御する制御機器に、前記現実空間の状態を制御するための制御情報を送信する、
表示装置。
前記表示部は、前記表示部の操作者が存在する現実空間の状態に係る状態情報をさらに表示し、
前記送信部は、前記現実空間の状態を制御する制御機器に、前記現実空間の状態を制御するための制御情報を送信する、
表示装置。
【請求項2】
検知部をさらに備え、
前記表示部は、前記仮想空間に仮想入力画像をさらに表示し、
前記送信部は、前記検知部により前記仮想入力画像への入力が検知された場合、前記制御機器に前記制御情報を送信する、
請求項１に記載の表示装置。
前記表示部は、前記仮想空間に仮想入力画像をさらに表示し、
前記送信部は、前記検知部により前記仮想入力画像への入力が検知された場合、前記制御機器に前記制御情報を送信する、
請求項１に記載の表示装置。
【請求項3】
前記状態情報は、前記現実空間の大気の状態を含む、請求項２に記載の表示装置。
【請求項4】
前記現実空間の状態を取得する状態取得部をさらに備える、請求項３に記載の表示装置。
【請求項5】
受信部をさらに備え、
前記現実空間の状態は、状態取得部により取得され、
前記受信部は、前記状態取得部により取得される前記現実空間の状態を受信する、
請求項３に記載の表示装置。
前記現実空間の状態は、状態取得部により取得され、
前記受信部は、前記状態取得部により取得される前記現実空間の状態を受信する、
請求項３に記載の表示装置。
【請求項6】
前記状態取得部は、前記現実空間の温度および湿度の少なくとも一方を取得し、
前記制御情報は、前記現実空間の温度および湿度の前記少なくとも一方を制御するための情報である、
請求項４または５に記載の表示装置。
前記制御情報は、前記現実空間の温度および湿度の前記少なくとも一方を制御するための情報である、
請求項４または５に記載の表示装置。
【請求項7】
前記状態取得部は、前記現実空間の二酸化炭素濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを取得し、
前記制御情報は、前記現実空間の二酸化炭素濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを制御するための情報である、
請求項４または５に記載の表示装置。
前記制御情報は、前記現実空間の二酸化炭素濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを制御するための情報である、
請求項４または５に記載の表示装置。
【請求項8】
前記状態取得部は、前記現実空間の一酸化炭素濃度を取得し、
前記状態情報は、前記現実空間の状態が異常状態にあること示す警告情報であり、
前記表示部は、前記一酸化炭素濃度が閾値濃度を超えている場合、前記仮想空間に前記警告情報を表示する、
請求項４または５に記載の表示装置。
前記状態情報は、前記現実空間の状態が異常状態にあること示す警告情報であり、
前記表示部は、前記一酸化炭素濃度が閾値濃度を超えている場合、前記仮想空間に前記警告情報を表示する、
請求項４または５に記載の表示装置。
【請求項9】
音声取得部と、
前記音声取得部により取得された音声が、前記仮想空間における音声か前記現実空間における音声かを識別する識別部と、
をさらに備え、
前記識別部により、前記音声取得部により取得された音声が前記現実空間における音声と識別された場合、前記表示部は前記仮想空間に、前記音声が発生している旨の情報を表示する、
請求項１から５のいずれか一項に記載の表示装置。
前記音声取得部により取得された音声が、前記仮想空間における音声か前記現実空間における音声かを識別する識別部と、
をさらに備え、
前記識別部により、前記音声取得部により取得された音声が前記現実空間における音声と識別された場合、前記表示部は前記仮想空間に、前記音声が発生している旨の情報を表示する、
請求項１から５のいずれか一項に記載の表示装置。
【請求項10】
前記音声取得部により取得される音声の音声発生源と前記表示部との距離を取得する距離取得部をさらに備え、
前記距離取得部により取得された距離が閾値距離を超えている場合、前記表示部は前記仮想空間に、前記音声が発生している旨の情報を表示する、
請求項９に記載の表示装置。
前記距離取得部により取得された距離が閾値距離を超えている場合、前記表示部は前記仮想空間に、前記音声が発生している旨の情報を表示する、
請求項９に記載の表示装置。
【請求項11】
前記状態情報は、前記現実空間への訪問者を示す情報、前記現実空間への配送物を受領する受領部の状態を示す情報、および、前記操作者に供給物を供給する供給者への注文情報の少なくとも一つを含む、請求項１または２に記載の表示装置。
【請求項12】
表示部が、仮想空間の画像、および、前記表示部の操作者が存在する現実空間の状態に係る状態情報を表示する第１表示ステップと、
送信部が、前記現実空間に配置され前記現実空間の状態を制御する制御機器に、前記現実空間の状態を制御するための制御情報を送信する送信ステップと、
を備える表示方法。
送信部が、前記現実空間に配置され前記現実空間の状態を制御する制御機器に、前記現実空間の状態を制御するための制御情報を送信する送信ステップと、
を備える表示方法。
【請求項13】
前記表示部が、前記仮想空間に仮想入力画像をさらに表示する第２表示ステップと、
検知部が、前記仮想入力画像への入力を検知する検知ステップと、
をさらに備え、
前記送信ステップは、前記検知ステップにおいて前記仮想入力画像への入力が検知された場合に、前記送信部が前記制御機器に前記制御情報を送信するステップである、
請求項１２に記載の表示方法。
検知部が、前記仮想入力画像への入力を検知する検知ステップと、
をさらに備え、
前記送信ステップは、前記検知ステップにおいて前記仮想入力画像への入力が検知された場合に、前記送信部が前記制御機器に前記制御情報を送信するステップである、
請求項１２に記載の表示方法。
【請求項14】
状態取得部が、前記現実空間の状態を取得する状態取得ステップと、
受信部が、前記状態取得ステップにおいて取得された前記現実空間の状態を受信する受信ステップと、
をさらに備える、請求項１３に記載の表示方法。
受信部が、前記状態取得ステップにおいて取得された前記現実空間の状態を受信する受信ステップと、
をさらに備える、請求項１３に記載の表示方法。
【請求項15】
音声取得部が、前記現実空間における音声を取得する音声取得ステップと、
識別部が、前記音声取得ステップにおいて取得された前記音声が前記仮想空間における音声か前記現実空間における音声かを識別する識別ステップと、
前記識別ステップにおいて前記音声が前記現実空間における音声と識別された場合、前記表示部が前記仮想空間に、前記音声が発生している旨の情報を表示する第３表示ステップと、
をさらに備える、請求項１２から１４のいずれか一項に記載の表示方法。
識別部が、前記音声取得ステップにおいて取得された前記音声が前記仮想空間における音声か前記現実空間における音声かを識別する識別ステップと、
前記識別ステップにおいて前記音声が前記現実空間における音声と識別された場合、前記表示部が前記仮想空間に、前記音声が発生している旨の情報を表示する第３表示ステップと、
をさらに備える、請求項１２から１４のいずれか一項に記載の表示方法。
【請求項16】
距離取得部が、前記音声取得ステップにおいて取得される前記音声の音声発生源と、前記表示部との距離を取得する距離取得ステップをさらに備え、
前記距離取得ステップにおいて取得された前記距離が閾値距離を超えている場合、前記第３表示ステップにおいて、前記表示部が前記仮想空間に、前記音声が発生している旨の情報を表示する、
請求項１５に記載の表示方法。
前記距離取得ステップにおいて取得された前記距離が閾値距離を超えている場合、前記第３表示ステップにおいて、前記表示部が前記仮想空間に、前記音声が発生している旨の情報を表示する、
請求項１５に記載の表示方法。
【請求項17】
前記状態情報は、前記現実空間への訪問者を示す情報、前記現実空間への配送物を受領する受領部の状態を示す情報、および、前記操作者に供給物を供給する供給者への注文情報の少なくとも一つを含む、請求項１２または１３に記載の表示方法。
【請求項18】
コンピュータを、請求項１から５のいずれか一項の表示装置として機能させるための表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法および表示プログラムに関する。
【背景技術】
【0002】
特許文献１には、「An electronic device providing information through a virtual environment is disclosed.」と記載されている（Abstract）。
特許文献２には、「観察者自ら電源をオフするタイミングが計ることのできるヘッドマウントディスプレイを提供する。」と記載されている（要約書）。
［先行技術文献］
［特許文献］
［特許文献１］ 米国特許第１１１２０６３０号明細書
［特許文献２］ 特開２０１２－２１２９９０号公報
特許文献２には、「観察者自ら電源をオフするタイミングが計ることのできるヘッドマウントディスプレイを提供する。」と記載されている（要約書）。
［先行技術文献］
［特許文献］
［特許文献１］ 米国特許第１１１２０６３０号明細書
［特許文献２］ 特開２０１２－２１２９９０号公報
【発明の概要】
【0003】
本発明の第１の態様においては、表示装置を提供する。表示装置は、仮想空間の画像を表示する表示部と、送信部とを備える。表示部は、表示部の操作者が存在する現実空間の状態に係る状態情報をさらに表示する。送信部は、現実空間の状態を制御する制御機器に、現実空間の状態を制御するための制御情報を送信する。
【0004】
表示装置は、検知部をさらに備えてよい。表示部は、仮想空間に仮想入力画像をさらに表示してよい。送信部は、検知部により仮想入力画像への入力が検知された場合、制御機器に制御情報を送信してよい。
【0005】
状態情報は、現実空間の大気の状態を含んでよい。
【0006】
表示装置は、現実空間の状態を取得する状態取得部をさらに備えてよい。
【0007】
表示装置は、受信部をさらに備えてよい。現実空間の状態は、状態取得部により取得されてよい。受信部は、状態取得部により取得される現実空間の状態を受信してよい。
【0008】
状態取得部は、現実空間の温度および湿度の少なくとも一方を取得してよい。制御情報は、現実空間の温度および湿度の少なくとも一方を制御するための情報であってよい。
【0009】
状態取得部は、現実空間の二酸化炭素濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを取得してよい。制御情報は、現実空間の二酸化炭素濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを制御するための情報であってよい。
【0010】
状態取得部は、現実空間の一酸化炭素濃度を取得してよい。状態情報は、現実空間の状態が異常状態にあること示す警告情報であってよい。表示部は、一酸化炭素濃度が閾値濃度を超えている場合、仮想空間に警告情報を表示してよい。
【0011】
表示装置は、音声取得部と、音声取得部により取得された音声が、仮想空間における音声か現実空間における音声かを識別する識別部とをさらに備えてよい。識別部により、音声取得部により取得された音声が現実空間における音声と識別された場合、表示部は仮想空間に、音声が発生している旨の情報を表示してよい。
【0012】
表示装置は、音声取得部により取得される音声の音声発生源と表示部との距離を取得する距離取得部をさらに備えてよい。距離取得部により取得された距離が閾値距離を超えている場合、表示部は仮想空間に、音声が発生している旨の情報を表示してよい。
【0013】
状態情報は、現実空間への訪問者を示す情報、現実空間への配送物を受領する受領部の状態を示す情報、および、操作者に供給物を供給する供給者への注文情報の少なくとも一つを含んでよい。
【0014】
本発明の第２の態様においては、表示方法を提供する。表示方法は、表示部が、仮想空間の画像、および、表示部の操作者が存在する現実空間の状態に係る状態情報を表示する第１表示ステップと、送信部が、現実空間に配置され現実空間の状態を制御する制御機器に、現実空間の状態を制御するための制御情報を送信する送信ステップとを備える。
【0015】
表示方法は、表示部が、仮想空間に仮想入力画像をさらに表示する第２表示ステップと、検知部が、仮想入力画像への入力を検知する検知ステップとをさらに備えてよい。送信ステップは、検知ステップにおいて仮想入力画像への入力が検知された場合に、送信部が制御機器に制御情報を送信するステップであってよい。
【0016】
表示方法は、状態取得部が、現実空間の状態を取得する状態取得ステップと、受信部が、状態取得ステップにおいて取得された現実空間の状態を受信する受信ステップとをさらに備えてよい。
【0017】
表示方法は、音声取得部が、現実空間における音声を取得する音声取得ステップと、識別部が、音声取得ステップにおいて取得された音声が仮想空間における音声か現実空間における音声かを識別する識別ステップと、識別ステップにおいて音声が現実空間における音声と識別された場合、表示部が仮想空間に、音声が発生している旨の情報を表示する第３表示ステップとをさらに備えてよい。
【0018】
表示方法は、距離取得部が、音声取得ステップにおいて取得される音声の音声発生源と、表示部との距離を取得する距離取得ステップをさらに備えてよい。距離取得ステップにおいて取得された距離が閾値距離を超えている場合、第３表示ステップにおいて、表示部は仮想空間に、音声が発生している旨の情報を表示してよい。
【0019】
状態情報は、現実空間への訪問者を示す情報、現実空間への配送物を受領する受領部の状態を示す情報、および、操作者に供給物を供給する供給者への注文情報の少なくとも一つを含んでよい。
【0020】
本発明の第３の態様においては、表示プログラムを提供する。表示プログラムは、コンピュータを表示装置として機能させる。
【0021】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0022】
【図1】現実空間３００の一例を示す図である。
【図2】仮想空間４００の画像の一例を示す図である。
【図3】本発明の一つの実施形態に係る表示装置１００の一例を示すブロック図である。
【図4】表示装置１００の他の一例を示す図である。
【図5】現実空間３００の他の一例を示す図である。
【図6】仮想空間４００の画像の他の一例を示す図である。
【図7】制御システム２００の一例を示す図である。
【図8A】現実空間３００の他の一例を示す図である。
【図8B】操作者１１０の耳１１２の近傍を示す模式図である。
【図9】現実空間３００および現実空間３００の周囲の一例を示す図である。
【図10】本発明の一つの実施形態に係る表示方法の一例を含むフローチャートである。
【図11】本発明の一つの実施形態に係る表示装置１００が全体的または部分的に具現化されてよいコンピュータ２２００の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0024】
図１は、現実空間３００の一例を示す図である。本例の現実空間３００は、部屋である。現実空間３００には、操作者１１０が存在する。操作者１１０は、生体である。本例の操作者１１０は、人間である。
【0025】
制御機器３０２は、現実空間３００の状態を制御する。制御機器３０２は、現実空間３００に配置されてよい。制御機器３０２は、例えば空調機器（エアコン）、空気清浄機、加湿器、除湿器、換気システム等である。現実空間３００の状態とは、現実空間３００の大気の状態を指してよい。本例においては、現実空間３００の大気とは、現実空間３００の空気を指す。
【0026】
表示装置１００は、表示部１０を備える。表示装置１００は、操作者１１０に装着されるウェアラブル端末であってよい。表示部１０は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルであってよい。表示装置１００は、ヘッドマウントディスプレイ（ＨＭＤ）方式のウェアラブル端末であってもよい。操作者１１０は、表示部１０を操作する。
【0027】
図２は、仮想空間４００の画像の一例を示す図である。表示部１０は、仮想空間４００の画像を表示する。仮想空間４００の画像は、仮想現実の画像である。当該画像は、操作者１１０（図１参照）が視認している画像である。
【0028】
仮想空間４００の画像は、仮想オブジェクト４１０を含んでよい。仮想オブジェクト４１０は、現実世界には存在しないオブジェクトである。本例において、仮想空間４００の画像は三種の仮想オブジェクト４１０を含む。本例において、仮想オブジェクト４１０－１は歌手であり、仮想オブジェクト４１０－２は聴衆であり、仮想オブジェクト４１０－３は岩場等である。本例においては、操作者１１０は仮想空間４００の画像を視認することにより、コンサートを疑似体験している。
【0029】
表示部１０は、状態情報３１０をさらに表示する。状態情報３１０は、現実空間３００の状態に係る情報である。状態情報３１０は、現実空間３００の状態を示す情報であってよい。本例においては、状態情報３１０は、現実空間３００の温度または湿度の情報である。状態情報３１０は、現実空間３００の外部の状態であって現実空間３００の状態に関わる情報であってもよい。
【0030】
表示部１０が状態情報３１０を表示しない場合、操作者１１０が現実空間３００の状態を認知するためには、操作者１１０は、装着中のＶＲゴーグル等を脱着する手間が生じる。表示装置１００においては、表示部１０は状態情報３１０を表示する。このため、操作者１１０は、装着中の表示装置１００を脱着することなく現実空間３００の状態を認知できる。
【0031】
表示部１０は、仮想空間４００に仮想入力画像４２０をさらに表示してよい。本例の仮想入力画像４２０は、仮想リモコンである。
【0032】
図３は、本発明の一つの実施形態に係る表示装置１００の一例を示すブロック図である。表示装置１００は、表示部１０および送信部３０を備える。表示装置１００は、画像生成部２４、状態取得部２８、受信部３４、音声取得部４０、識別部４４、距離取得部５０、検知部１４および制御部９０を備えてよい。
【0033】
表示装置１００は、コンピュータにより実現されてよい。制御部９０は、当該コンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。表示装置１００がコンピュータにより実現される場合、当該コンピュータには、当該コンピュータを表示装置１００として機能させるための表示プログラムがインストールされていてよく、後述する表示方法を実行させるため表示プログラムがインストールされていてもよい。
【0034】
表示装置１００の各ブロックは、ＶＲゴーグル等の単一の筐体に収容されてよく、複数の筐体に分散されて収容されてもよい。表示装置１００の各ブロックが複数の筐体に分散されて収容される場合、各ブロックは無線により通信してよい。
【0035】
画像生成部２４は、仮想空間４００の画像を生成する。画像生成部２４は、仮想空間４００の画像および状態情報３１０を重畳した画像を生成してよい。表示部１０は、仮想空間４００の画像および状態情報３１０が重畳された画像を表示してよい。
【0036】
送信部３０は、制御機器３０２（図１参照）に、現実空間３００（図１参照）の状態を制御するための制御情報を送信する。当該制御情報を、制御情報Ｉｃとする。制御機器３０２が加湿器であり、現実空間３００（図１参照）の湿度Ｈが予め定められた湿度Ｈｐよりも低い場合、制御情報Ｉｃは、当該加湿器の出力を大きくするよう制御するための情報である。
【0037】
操作者１１０（図１参照）が表示装置１００を装着している場合、操作者１１０は、現実空間３００（図１参照）の状態を認知しにくい。図１の例では、操作者１１０はコンサートを疑似体験するので、操作者１１０は当該コンサートに没入しやすい。このため、操作者１１０は、現実空間３００の状態および当該状態の変化を認知しにくい。このため、現実空間３００の状態が操作者１１０の生命に影響し得る状態である場合、操作者１１０には生命の危険が生じ得る。
【0038】
表示装置１００においては、表示部１０は状態情報３１０を表示する。このため、操作者１１０（図１参照）が表示装置１００を装着している場合であっても、操作者１１０は現実空間３００（図１参照）の状態を認知できる。
【0039】
表示装置１００においては、送信部３０が制御機器３０２（図１参照）に制御情報Ｉｃを送信する。このため、操作者１１０（図１参照）が現実空間３００（図１参照）の状態を認知していない場合であっても、制御機器３０２（図１参照）は、現実空間３００（図１参照）の状態を、操作者１１０の生命の危険が生じにくい状態に制御できる。
【0040】
検知部１４は、仮想入力画像４２０（図２参照）への入力を検知する。検知部１４は、操作者１１０による、仮想入力画像４２０への入力を検知してよい。本例においては、操作者１１０は仮想リモコンを、現実のリモコンを操作する感覚で操作する。検知部１４により仮想入力画像４２０への入力が検知された場合、送信部３０は制御機器３０２（図１参照）に制御情報Ｉｃを送信してよい。これにより、表示装置１００を装着した操作者１１０は、表示装置１００を脱着することなく、制御機器３０２（図１参照）を制御できる。
【0041】
状態情報３１０（図２参照）は、現実空間３００（図１参照）の大気の状態を含んでよい。現実空間３００の大気とは、現実空間３００の空気を指してよい。制御情報Ｉｃは、現実空間３００の大気の状態を制御するための情報であってよい。
【0042】
図４は、表示装置１００の他の一例を示す図である。本例において、表示装置１００は状態取得部２８を備える。状態取得部２８は、例えば温度センサ、湿度センサ、二酸化炭素センサ、一酸化炭素センサ、総揮発性有機化合物センサまたは粒子状物質センサである。状態取得部２８は、現実空間３００（図１参照）の状態を取得する。状態取得部２８が温度センサである場合、状態取得部２８は現実空間３００の温度を取得する。
【0043】
状態取得部２８は、現実空間３００（図１参照）の温度および湿度の少なくとも一方を取得してよい。状態情報３１０は、現実空間３００の温度または湿度の状態の少なくとも一方を示す情報であってよい。制御情報Ｉｃは、現実空間３００の温度および湿度の少なくとも一方を制御するための情報であってよい。
【0044】
状態取得部２８は、現実空間３００（図１参照）のＣＯ２（二酸化炭素）濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを取得してよい。状態情報３１０は、現実空間３００のＣＯ２（二酸化炭素）濃度の状態を示す情報であってよい。制御情報Ｉｃは、現実空間３００のＣＯ２（二酸化炭素）濃度、総揮発性有機化合物濃度および粒子状物質濃度の少なくとも一つを制御するための情報であってよい。
【0045】
制御部９０（図３参照）は、状態取得部２８により取得された現実空間３００（図１参照）の状態に基づいて、制御情報Ｉｃを生成してよい。送信部３０（図３参照）は、制御部９０により生成された制御情報Ｉｃを制御機器３０２（図１参照）に送信してよい。
【0046】
図５は、現実空間３００の他の一例を示す図である。本例においては、状態取得部２８は現実空間３００に配置されている。受信部３４（図３参照）は、状態取得部２８により取得される現実空間３００の状態を受信する。受信部３４は、現実空間３００の状態を無線により受信してよい。当該無線は、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線であってよい。
【0047】
図６は、仮想空間４００の画像の他の一例を示す図である。本例において、仮想オブジェクト４１０－４は銃である。本例においては、操作者１１０は仮想空間４００の画像を視認しながらゲームをしている。本例において、操作者１１０は仮想オブジェクト４１０－４を操作している。
【0048】
状態取得部２８は、現実空間３００（図１および図５参照）のＣＯ（一酸化炭素）濃度を取得してよい。状態情報３１０は、現実空間３００のＣＯ（一酸化炭素）濃度の状態を示す情報であってよい。本例においては、状態情報３１０は現実空間３００の状態が異常状態であることを示す警告情報である。図６では、当該警告情報は太線の枠、および、当該枠で囲まれた「実空間のご自身の身体に危機が迫っています」とのテキストベースの情報である。現実空間３００の状態が異常状態であるとは、現実空間３００のＣＯ（一酸化炭素）濃度が閾値濃度を超えている場合を指してよい。当該閾値濃度は、例えば２００ｐｐｍである。
【0049】
表示部１０は、現実空間３００のＣＯ（一酸化炭素）濃度が閾値濃度を超えている場合、仮想空間４００に、現実空間３００の状態が異常状態であることを示す警告情報を表示してよい。操作者１１０が仮想空間４００の画像を視認しながらゲームをしている場合、操作者１１０は、当該ゲームに没入しやすい。このため、現実空間３００において火災が発生している場合であっても、操作者１１０は火災に気付かない場合がある。本例においては、表示部１０は仮想空間４００に警告情報を表示する。このため、操作者１１０がゲームに没入している場合であっても、操作者１１０は現実空間３００（図１参照）の状態を認知できる。
【0050】
制御機器３０２（図１および図５参照）は、放水機器であってよい。放水機器は、例えばスプリンクラーである。制御情報Ｉｃ（図３参照）は、当該放水機器に放水を指示する情報であってよい。送信部３０（図３参照）は、当該放水機器に当該制御情報Ｉｃを送信してよい。
【0051】
受信部３４（図３参照）は、地震または津波に係る情報を受信してもよい。地震または津波に係る情報は、気象庁により発信された情報であってよい。表示部１０は、地震が発生したとの警告情報または津波が迫っているとの警告情報を、仮想空間４００に表示してよい。これにより、操作者１１０がゲームに没入している場合であっても、操作者１１０は地震または津波の発生を認知できる。
【0052】
図７は、制御システム２００の一例を示す図である。制御システム２００は、送信部３０、サーバ２４０および複数の制御機器３０２を有する。本例においては、制御システム２００は、六つの制御機器３０２（制御機器３０２－１～制御機器３０２－６）を有する。制御システム２００は、例えばＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）である。複数の制御機器３０２は、現実空間３００に配置されてよい。
【0053】
サーバ２４０は、受信部２１０、制御部２２０および送信部２３０を有してよい。受信部２１０は、送信部３０により送信された制御情報Ｉｃを受信する。制御部２２０は、例えばＣＰＵである。送信部２３０は、制御機器３０２に制御情報を送信する。当該制御情報を、制御情報Ｉｃ'とする。
【0054】
制御機器３０２－１は、例えば空調機器（エアコン）である。制御機器３０２－２は、例えば空気清浄機である。制御機器３０２－３は、例えば加湿器である。制御機器３０２－４は、例えば除湿器である。制御機器３０２－５は、例えば換気扇である。制御機器３０２－６は、例えばスプリンクラーである。
【0055】
制御部２２０は、制御情報Ｉｃに基づいて制御情報Ｉｃ'を生成してよい。制御部２２０は、制御情報Ｉｃに基づいて、現実空間３００の状態を予め定められた状態にするための制御情報Ｉｃ'を生成してよい。当該制御情報Ｉｃ'は、例えば、操作者１１０の生命の危険を減少可能な、各制御機器３０２の制御情報である。
【0056】
送信部２３０は、複数の制御機器３０２に制御情報Ｉｃ'を送信してよい。本例においては、送信部２３０は制御機器３０２－１～制御機器３０２－６に、それぞれ制御情報Ｉｃ'１～制御情報Ｉｃ'６を送信する。本例において、表示装置１００（図３参照）の送信部３０は、複数の制御機器３０２に制御情報Ｉｃ'を間接に送信する。
【0057】
状態情報３１０（図２および図６参照）は、制御システム２００の制御情報であってよい。本例においては、状態情報３１０はＨＥＭＳの制御情報Ｉｃ'１～制御情報Ｉｃ'６である。制御情報Ｉｃは、制御機器３０２の設定情報であってもよい。制御機器３０２の設定情報とは、制御機器３０２の起動時等において、制御機器３０２に予め定められた制御をさせるための情報である。制御機器３０２が空調機器（エアコン）である場合、当該制御機器３０２の設定情報とは、例えば当該空調機器の起動時における目標設定温度等である。
【0058】
【0059】
表示装置１００の制御部９０（図３参照）が、状態取得部２８（図３参照）により取得された現実空間３００（図１参照）の状態に基づいて、制御情報Ｉｃ'を生成してもよい。表示装置１００の送信部３０が、当該制御情報Ｉｃ'を複数の制御機器３０２に直接に送信してもよい。送信部３０が制御機器３０２に制御情報Ｉｃを送信するとは、送信部３０が複数の制御機器３０２に制御情報Ｉｃ'を間接に送信する場合（図７の場合）、および、直接に送信する場合が含まれてよい。
【0060】
図８Ａは、現実空間３００の他の一例を示す図である。現実空間３００には、音声発生源３０４が配置されている。音声発生源３０４は、例えばスピーカー、インターホン等である。
【0061】
音声取得部４０（図３参照）は、現実空間３００における音声を取得する。現実空間３００における音声には、現実空間３００の内部で生じている音声、および、外部で生じた音声が内部に伝搬した音声が含まれてよい。現実空間３００の内部で生じている音声は、音声発生源３０４により発生された音声であってよい。
【0062】
識別部４４（図３参照）は、音声取得部４０（図３参照）により取得された音声が、現実空間３００における音声か仮想空間４００（図２および図６参照）における音声かを識別する。識別部４４により、音声取得部４０により取得された音声が現実空間３００における音声と識別された場合、表示部１０は仮想空間４００に、現実空間３００において音声が発生している旨の情報を表示してよい。
【0063】
操作者１１０は、表示装置１００を装着している場合、仮想空間４００（図２および図６参照）において生じている音声を聴き得る。図２の例では、操作者１１０はコンサートを疑似体験するので、コンサートの音声を聴き得る。図６の例では、操作者１１０はゲームをしているので、ゲームにおいて発生している音声を聴き得る。これらの音声は、大音量である場合がある。このため、操作者１１０は現実空間３００における音声と、仮想空間４００における音声とが識別困難であり得る。操作者１１０が仮想空間４００に没入している場合、現実空間３００における音声を認知しない場合がある。
【0064】
本例においては、識別部４４（図３参照）が、現実空間３００における音声と仮想空間４００（図２および図６参照）における音声とを識別する。音声取得部４０（図３参照）により取得された音声が現実空間３００における音声と識別された場合、本例においては、表示部１０は仮想空間４００に、現実空間３００において音声が発生している旨の情報を表示する。このため、操作者１１０が表示装置１００を装着している場合であっても、操作者１１０は現実空間３００において音声が発生していることを認知できる。
【0065】
現実空間３００における音声とは、例えば、現実空間３００にＣＯ（一酸化炭素）濃度の異常等の状態が発生している旨の警報音であってよい。これにより、現実空間３００において火災等が発生している 場合であっても、操作者１１０は生命の危険を回避し得る。
【0066】
距離取得部５０（図３参照）は、音声発生源３０４と表示部１０との距離ｈを取得する。距離ｈの閾値距離を、閾値距離ｈｔとする。閾値距離ｈｔは、識別部４４（図３参照）が、現実空間３００における音声が操作者１１０の声か否かを識別し得る距離であってよい。操作者１１０が仮想空間４００に没入している場合、操作者１１０は仮想空間４００への没入に伴い声を発する場合がある。当該声とは、図２の例ではコンサートの音楽に合わせた操作者１１０の歌声等であり、図６の例ではゲームへの没入に伴う気合の声等である。
【0067】
距離ｈが閾値距離ｈｔを超えている場合、表示部１０は仮想空間４００（図２および図６参照）に、現実空間３００において音声が発生している旨の情報を表示してよい。識別部４４（図３参照）は、現実空間３００における音声が、音声発生源３０４の音声か操作者１１０の声かを識別することが困難であり得る。識別部４４は、距離ｈが閾値距離ｈｔを超えている場合、現実空間３００における音声が音声発生源３０４の音声であると識別してよい。識別部４４は、距離ｈが閾値距離ｈｔ以下である場合、現実空間３００における音声は操作者１１０の声であると識別してよい。
【0068】
操作者１１０が表示装置１００を装着している場合、閾値距離ｈｔは、操作者１１０の口と音声取得部４０（図３参照）との距離であってよい。閾値距離ｈｔは、例えば３０ｃｍである。
【0069】
図８Ｂは、操作者１１０の耳１１２の近傍を示す模式図である。本例において、操作者１１０は表示装置１００を装着している。表示装置１００は、複数の音声取得部４０を備えてよい。本例においては、表示装置１００は二つの音声取得部４０（音声取得部４０－１および音声取得部４０－２）を備えている。
【0070】
本例において、表示装置１００は筐体６０を有している。筐体６０は、挿入部６２を含む。挿入部６２は、操作者１１０の外耳道１１４に挿入される。筐体６０の外側には、音声取得部４０－１が設けられている。筐体６０の外側とは、現実空間３００を指してよい。筐体６０の内部空間６４には、音声取得部４０－２が設けられている。内部空間６４は、筐体６０に設けられた開口６６を通じて外耳道１１４と連通している。内部空間６４は、開口６６を除き、現実空間３００から隔離されている。
【0071】
音声取得部４０－１は、現実空間３００における音声を取得する。音声取得部４０－２は、操作者１１０の内部音声を取得する。本例においては、音声取得部４０－２は外耳道１１４における音声を取得する。操作者１１０が発声した場合、操作者１１０の発声に伴う振動は、操作者１１０の声帯から外耳道１１４に伝搬し得る。本例において、音声取得部４０－２は外耳道１１４に伝搬した当該振動を取得する。内部空間６４は現実空間３００から隔離されているので、音声取得部４０－２は現実空間３００の音声を取得しにくい。このため、音声取得部４０－２は操作者１１０が発生した音声を取得しやすい。
【0072】
音声取得部４０－１により取得された音声を音声Ｖｏとし、音声取得部４０－２により取得された音声を音声Ｖｉとする。識別部４４は、音声Ｖｏと音声Ｖｉとを識別してよい。識別部４４は、音声Ｖｏの強度と音声Ｖｉの強度とを比較してよい。音声の強度とは、当該音声に係る音波の振幅を指してよい。音声Ｖｏの強度が音声Ｖｉの強度よりも大きい場合、識別部４４は、音声取得部４０により取得された音声が音声発生源３０４の音声と識別してよい。音声Ｖｉの強度が音声Ｖｏの強度よりも大きい場合、識別部４４は、音声取得部４０により取得された音声が操作者１１０の発声による音声と識別してよい。
【0073】
識別部４４は、音声Ｖｏを認識する時刻を取得してよい。当該時刻を、時刻ｔｏとする。識別部４４は、音声Ｖｉを認識する時刻を取得してよい。当該時刻を、時刻ｔｉとする。識別部４４は、時刻ｔｏと時刻ｔｉとの時刻差を取得してよい。時刻ｔｏが時刻ｔｉよりも前の場合、識別部４４は、音声取得部４０により取得された音声が音声発生源３０４の音声と識別してよい。時刻ｔｉが時刻ｔｏよりも前の場合、識別部４４は、音声取得部４０により取得された音声が操作者１１０の発声による音声と識別してよい。
【0074】
図９は、現実空間３００および現実空間３００の周囲の一例を示す図である。本例において、現実空間３００は建造物３５０の一部である。建造物３５０は、例えば家屋である。本例において、建造物３５０には、認知部３２０、受領部３２２および電気機器３２４が配置されている。本例においては、操作者１１０に供給物を供給する供給者３２６が、建造物３５０の前の道路を移動中であるとする。制御機器３０２には、認知部３２０、受領部３２２、電気機器３２４および供給者３２６が含まれてよい。
【0075】
状態取得部２８は、現実空間３００の外部の情報をさらに取得してよい。認知部３２０、受領部３２２および電気機器３２４には、状態取得部２８が設けられていてよい。供給者３２６は、状態取得部２８を有してよい。認知部３２０、受領部３２２および電気機器３２４に設けられた状態取得部２８を、それぞれ状態取得部２８－１～状態取得部２８－３とする。供給者３２６が有する状態取得部２８を、状態取得部２８－４とする。本例において、状態取得部２８－１～状態取得部２８－４は、現実空間３００の外部の情報を取得する。
【0076】
状態情報３１０（図２および図６参照）は、現実空間３００への訪問者を示す情報、現実空間３００への配送物を受領する受領部の状態を示す情報、および、操作者１１０に供給物を供給する供給者への注文情報の少なくとも一つを含んでよい。現実空間３００への訪問者を示す情報を、情報Ｉｖとする。現実空間３００への配送物を受領する受領部の状態を示す情報を、情報Ｉｒとする。操作者１１０に供給物を供給する供給者への注文情報を、注文情報Ｉｏとする。情報Ｉｖ、情報Ｉｒおよび注文情報Ｉｏは、現実空間３００の外部の状態であって現実空間３００の状態に関わる情報の一例である。
【0077】
現実空間３００への訪問者とは、建造物３５０への訪問者を指してよい。認知部３２０は、建造物３５０への訪問者を認知してよい。認知部３２０は、例えばインターホンである。状態取得部２８－１は、認知部３２０の状態を取得してよい。本例においては、状態取得部２８－１は訪問者がインターホンを押したとの状態を取得する。
【0078】
認知部３２０は、状態取得部２８－１により取得された認知部３２０の状態を、表示装置１００に送信してよい。本例においては、認知部３２０は、認知部３２０の状態を表示装置１００に送信することにより、現実空間３００の状態を操作者１１０に認知させる。検知部１４（図３参照）により、仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は認知部３２０に、認知部３２０の制御に係る制御情報Ｉｃを送信してよい。認知部３２０は、当該制御情報Ｉｃに基づいて現実空間３００の状態を制御してよい。
【0079】
表示装置１００の受信部３４（図３参照）は、認知部３２０の状態を受信してよい。表示装置１００の制御部９０（図３参照）は、認知部３２０の状態に基づいて情報Ｉｖを生成してよい。表示部１０は、情報Ｉｖを仮想空間４００に表示してよい。これにより、操作者１１０は、仮想空間４００に没入している場合であっても、現実空間３００への訪問者を認知し得る。操作者１１０は、装着中の表示装置１００を脱着することなく、現実空間３００への訪問者を認知し得る。
【0080】
認知部３２０は、建造物３５０の鍵の状態を認知してもよい。状態取得部２８－１は、建造物３５０の鍵の状態を取得してよい。建造物３５０の鍵の状態とは、建造物３５０の玄関が施錠されているかされていないかの状態であってよい。本例においては、認知部３２０は、建造物３５０の鍵の状態を表示装置１００に送信することにより、現実空間３００の状態を操作者１１０に認知させる。検知部１４（図３参照）により、仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は認知部３２０に、建造物３５０における鍵の状態の制御に係る制御情報Ｉｃを送信してよい。認知部３２０は、当該制御情報Ｉｃに基づいて現実空間３００の状態を制御してよい。
【0081】
表示装置１００の受信部３４（図３参照）は、建造物３５０の鍵の状態を受信してよい。表示装置１００の制御部９０（図３参照）は、建造物３５０の鍵の状態に基づいて、建造物３５０の玄関の施錠に係る情報を生成してよい。表示部１０は、施錠に係る当該情報を仮想空間４００に表示してよい。
【0082】
現実空間３００への配送物とは、建造物３５０への配送物を指してよい。当該配送物は、例えば宅急便（登録商標）等の宅配物である。当該配送物を受領する受領部３２２は、例えば宅配ボックスである。状態取得部２８－２は、受領部３２２の状態を取得してよい。受領部３２２の状態とは、例えば、受領部３２２に配送物が未配送、今配送された、配送済み、等の状態である。
【0083】
受領部３２２は、状態取得部２８－２により取得された受領部３２２の状態を、表示装置１００に送信してよい。本例においては、受領部３２２は、受領部３２２の状態を表示装置１００に送信することにより、現実空間３００の状態を操作者１１０に認知させる。検知部１４（図３参照）により、仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は受領部３２２に、受領部３２２の制御に係る制御情報Ｉｃを送信してよい。受領部３２２は、当該制御情報Ｉｃに基づいて現実空間３００の状態を制御してよい。
【0084】
表示装置１００の受信部３４（図３参照）は、受領部３２２の状態を受信してよい。表示装置１００の制御部９０（図３参照）は、受領部３２２の状態に基づいて情報Ｉｒを生成してよい。表示部１０は、情報Ｉｒを仮想空間４００に表示してよい。これにより、操作者１１０は、仮想空間４００に没入している場合であっても、情報Ｉｒを認知し得る。操作者１１０は、装着中の表示装置１００を脱着することなく情報Ｉｒを認知し得る。
【0085】
受領部３２２が宅配ボックスである場合、受領部３２２の制御に係る制御情報Ｉｃには、宅配ボックスの施錠および開錠のためのパスワード等が含まれてよい。これにより、表示装置１００を装着した操作者１１０は、表示装置１００を脱着することなく、宅配ボックスを施錠および開錠できる。
【0086】
供給者３２６は、例えば宅配デリバリーサービス業者である。状態取得部２８－４は、当該供給物の供給状態を取得してよい。当該供給物の供給状態とは、例えば当該供給者への注文のステータス状態である。当該ステータス状態とは、供給物の発送前、発送後到着前（配送中）、発送済み、等の状態である。
【0087】
供給者３２６は、状態取得部２８－４により取得された、供給物の供給状態を、表示装置１００に送信してよい。本例においては、供給者３２６は、供給者３２６の状態を表示装置１００に送信することにより、現実空間３００の状態を操作者１１０に認知させる。検知部１４（図３参照）により、仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は供給者３２６に、供給者３２６の制御に係る制御情報Ｉｃを送信してよい。供給者３２６は、当該制御情報Ｉｃに基づいて現実空間３００の状態を制御してよい。
【0088】
【0089】
表示部１０は、注文情報Ｉｏを仮想空間４００に表示してよい。これにより、操作者１１０は、仮想空間４００に没入している場合であっても、注文情報Ｉｏを認知し得る。操作者１１０は、装着中の表示装置１００を脱着することなく注文情報Ｉｏを認知し得る。
【0090】
状態情報３１０（図２および図６参照）は、電気機器３２４の状態を示す情報を含んでもよい。当該情報を、情報Ｉｅとする。電気機器３２４は、例えば電気自動車である。電気機器３２４は、スマートフォン、ノートＰＣ等であってもよい。電気機器３２４が電気自動車である場合、情報Ｉｅは、電気機器３２４の充電状態を示す情報であってよい。電気機器３２４は、現実空間３００の外部に配置されてよい。
【0091】
状態取得部２８－３は、電気機器３２４への充電状態を取得してよい。電気機器３２４への充電状態とは、満充電量に対する現在の充電量の割合（即ち充電率）を指してよい。電気機器３２４は、状態取得部２８－３により取得された電気機器３２４の充電状態を、表示装置１００に送信してよい。本例においては、電気機器３２４は、電気機器３２４の状態を表示装置１００に送信することにより、現実空間３００の状態を操作者１１０に認知させる。検知部１４（図３参照）により、仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は電気機器３２４に、電気機器３２４の制御に係る制御情報Ｉｃを送信してよい。電気機器３２４は、当該制御情報Ｉｃに基づいて現実空間３００の状態を制御してよい。
【0092】
表示装置１００の受信部３４（図３参照）は、電気機器３２４の充電状態を受信してよい。表示装置１００の制御部９０（図３参照）は、電気機器３２４の充電状態に基づいて、充電状態を示す情報を生成してよい。当該情報を、情報Ｉｃｈとする。情報Ｉｃｈとは、充電率の情報、満充電に達したことを通知する情報等であってよい。
【0093】
表示部１０は、情報Ｉｃｈを仮想空間４００に表示してよい。これにより、操作者１１０は、仮想空間４００に没入している場合であっても、電気機器３２４への充電状態を認知し得る。操作者１１０は、装着中の表示装置１００を脱着することなく電気機器３２４への充電状態を認知し得る。
【0094】
電気機器３２４は、風呂釜であってもよい。情報Ｉｅは、風呂釜の状態を示す情報であってよい。当該情報Ｉｅは、追い炊き中、追い炊き完了等の情報であってよい。電気機器３２４が風呂釜である場合、表示部１０は、風呂釜の状態を示す情報Ｉｅを仮想空間４００に表示してよい。これにより、操作者１１０は、仮想空間４００に没入している場合であっても、風呂釜の状態を認知し得る。操作者１１０は、装着中の表示装置１００を脱着することなく風呂釜の状態を認知し得る。
【0095】
仮想入力画像４２０（図２参照）には、建造物３５０を施錠するかまたは施錠を解除するかの情報が表示されてよい。当該情報を、情報Ｉｖ'とする。操作者１１０（図１参照）は、仮想入力画像４２０に建造物３５０を施錠するかまたは施錠を解除するかを入力してよい。仮想入力画像４２０に入力するとは、操作者１１０が操作者１１０の指で、仮想入力画像４２０に表示されているボタンを押すことを指してよい。
【0096】
検知部１４（図３参照）は、仮想入力画像４２０（図２参照）への入力を検知する。制御情報Ｉｃ（図３参照）は、情報Ｉｖ'を含んでよい。検知部１４により仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は、認知部３２０に情報Ｉｖ'を送信してよい。これにより、表示装置１００を装着した操作者１１０は、表示装置１００を脱着することなく、建造物３５０を施錠するかまたは施錠を解除できる。
【0097】
仮想入力画像４２０（図２参照）には、供給者３２６への注文情報が表示されてよい。当該情報を、情報Ｉｏ'とする。情報Ｉｏ'は、例えば宅配デリバリーサービス業者に注文する食べ物の情報である。操作者１１０（図１参照）は、仮想入力画像４２０に供給者３２６への注文を入力してよい。
【0098】
検知部１４（図３参照）は、仮想入力画像４２０（図２参照）への入力を検知する。制御情報Ｉｃ（図３参照）は、情報Ｉｏ'を含んでよい。検知部１４により仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は、供給者３２６に情報Ｉｏ'を送信してよい。送信部３０（図３参照）は、供給者３２６の店舗に情報Ｉｏ'を送信してもよい。これにより、表示装置１００を装着した操作者１１０は、表示装置１００を脱着することなく、供給者３２６への注文を実施できる。
【0099】
仮想入力画像４２０（図２参照）には、電気機器３２４の制御情報が表示されてよい。電気機器３２４が電気自動車である場合の当該制御情報を、情報Ｉｃｈ'とする。情報Ｉｃｈ'は、例えば電気自動車の充電を開始または終了するとの情報である。電気機器３２４が風呂釜である場合の当該制御情報を、情報Ｉｅ'とする。情報Ｉｅ'は、例えば風呂釜の追い炊きを開始または終了するとの情報である。
【0100】
操作者１１０（図１参照）は、仮想入力画像４２０に電気機器３２４への操作を入力してよい。検知部１４（図３参照）は、仮想入力画像４２０（図２参照）への入力を検知する。制御情報Ｉｃ（図３参照）は、情報Ｉｃｈ'または情報Ｉｅ'を含んでよい。検知部１４により仮想入力画像４２０への入力が検知された場合、送信部３０（図３参照）は、電気機器３２４に情報Ｉｃｈ'または情報Ｉｅ'を送信してよい。これにより、表示装置１００を装着した操作者１１０は、表示装置１００を脱着することなく、電気機器３２４への操作を実施できる。
【0101】
図１０は、本発明の一つの実施形態に係る表示方法の一例を含むフローチャートである。本発明の一つの実施形態に係る表示方法は、表示装置１００（図３参照）における表示方法の一例である。表示方法は、第１表示ステップＳ１００および送信ステップＳ１０６を備える。表示方法は、状態取得ステップＳ９０、受信ステップＳ９２、第２表示ステップＳ１０２、検知ステップＳ１０４、音声取得ステップＳ１２０、識別ステップＳ１２２、距離取得ステップＳ１２４および第３表示ステップＳ１２６を備えてよい。
【0102】
第１表示ステップＳ１００は、表示部１０が、仮想空間４００の画像、および、表示部１０の操作者１１０が存在する現実空間３００の状態に係る状態情報３１０を表示するステップである。第１表示ステップの後、表示方法は送信ステップＳ１０６、第２表示ステップＳ１０２または音声取得ステップＳ１２０へ進む。
【0103】
送信ステップＳ１０６は、送信部３０が、現実空間３００に配置され現実空間３００の状態を制御する制御機器３０２に、現実空間３００の状態を制御するための制御情報Ｉｃを送信するステップである。これにより、操作者１１０（図１参照）が現実空間３００（図１参照）の状態を認知していない場合であっても、制御機器３０２（図１参照）は、現実空間３００（図１参照）の状態を、操作者１１０の生命の危険が生じにくい状態に制御できる。
【0104】
第２表示ステップＳ１０２は、表示部１０が、仮想空間４００に仮想入力画像４２０をさらに表示するステップである。検知ステップＳ１０４は、検知部１４が仮想入力画像４２０への入力を検知するステップである。検知ステップＳ１０４において仮想入力画像４２０への入力が検知された場合、表示方法は送信ステップＳ１０６に進む。検知ステップＳ１０４において仮想入力画像４２０への入力が検知されない場合、表示方法は第２表示ステップＳ１０２に戻る。
【0105】
送信ステップＳ１０６は、検知ステップＳ１０４において仮想入力画像４２０への入力が検知された場合に、送信部３０が制御機器３０２（図１参照）に制御情報Ｉｃを送信するステップであってよい。これにより、表示装置１００（図１参照）を装着した操作者１１０（図１参照）は、表示装置１００を脱着することなく、制御機器３０２を制御できる。
【0106】
状態取得ステップＳ９０は、状態取得部２８が現実空間３００の状態を取得するステップである。受信ステップＳ９２は、受信部３４が、状態取得ステップＳ９０において取得された現実空間３００の状態を受信するステップである。第１表示ステップＳ１００は、表示部１０が、受信ステップＳ９２において受信された現実空間３００の状態を表示するステップであってよい。
【0107】
音声取得ステップＳ１２０は、音声取得部４０が現実空間３００における音声を取得するステップである。識別ステップＳ１２２は、識別部４４が、音声取得ステップＳ１２０において取得された音声が仮想空間４００における音声か現実空間３００における音声かを識別するステップである。識別ステップＳ１２２において、音声取得ステップＳ１２０において取得された音声が現実空間３００における音声と識別された場合、表示方法は第３表示ステップＳ１２６または距離取得ステップＳ１２４に進む。識別ステップＳ１２２において、当該音声が現実空間３００における音声と識別されない場合、表示方法は音声取得ステップＳ１２０に戻る。
【0108】
第３表示ステップＳ１２６は、識別ステップＳ１２２において、音声取得ステップＳ１２０において取得された音声が現実空間３００における音声と識別された場合、表示部１０が仮想空間４００に、当該音声が発生している旨の情報を表示するステップである。距離取得ステップＳ１２４は、距離取得部５０が、音声取得ステップＳ１２０において取得される音声の音声発生源３０４と、表示部１０との距離を取得するステップである。距離取得ステップＳ１２４において取得された距離が閾値距離を超えている場合、第３表示ステップＳ１２６において、表示部１０は仮想空間４００に、音声取得ステップＳ１２０において取得された音声が発生している旨の情報を表示してよい。第３表示ステップＳ１２６の後、表示方法は送信ステップＳ１０６へ進む。
【0109】
状態情報３１０は、現実空間３００への訪問者を示す情報Ｉｖ、現実空間３００への配送物を受領する受領部３２２の状態を示す情報Ｉｒ、および、操作者１１０に供給物を供給する供給者３２６への注文情報Ｉｏの少なくとも一つを含んでよい。
【0110】
図１１は、本発明の一つの実施形態に係る表示装置１００が全体的または部分的に具現化されてよいコンピュータ２２００の一例を示す図である。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る表示装置１００に関連付けられる操作、または、表示装置１００の一または複数のセクションとして機能させることができ、または当該操作または当該一または複数のセクションを実行させることができ、またはコンピュータ２２００に、本発明の表示方法に係る各段階（図１０参照）を実行させることができる。当該プログラムは、コンピュータ２２００に本明細書に記載されたフローチャート（図１０）およびブロック図（図３および図７）におけるブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【0111】
本発明の一つの実施形態に係るコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６およびディスプレイデバイス２２１８を含む。ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６およびディスプレイデバイス２２１８は、ホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００は、通信インターフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６およびＩＣカードドライブ等の入出力ユニットをさらに含む。通信インターフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６およびＩＣカードドライブ等は、入出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータは、ＲＯＭ２２３０およびキーボード２２４２等のレガシの入出力ユニットをさらに含む。ＲＯＭ２２３０およびキーボード２２４２等は、入出力チップ２２４０を介して入出力コントローラ２２２０に接続されている。
【0112】
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作することにより、各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはＲＡＭ２２１４の中に、ＣＰＵ２２１２によって生成されたイメージデータを取得することにより、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【0113】
通信インターフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、読み取ったプログラムまたはデータを、ＲＡＭ２２１４を介してハードディスクドライブ２２２４に提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取るか、または、プログラムおよびデータをＩＣカードに書き込む。
【0114】
ＲＯＭ２２３０は、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、または、コンピュータ２２００のハードウェアに依存するプログラムを格納する。入出力チップ２２４０は、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ２２２０に接続してよい。
【0115】
プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い、情報の操作または処理を実現することによって構成されてよい。
【0116】
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース２２２２に対し、通信処理を命令してよい。通信インターフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0117】
ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにしてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４上のデータに対し、様々なタイプの処理を実行してよい。ＣＰＵ２２１２は、次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0118】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理されてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示に記載された、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索または置換等を含む、様々なタイプの処理を実行してよい。ＣＰＵ２２１２は、結果をＲＡＭ２２１４に対しライトバックしてよい。
【0119】
ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、第２の属性値を読み取ることにより、予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【0120】
上述したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００のコンピュータ可読媒体に格納されてよい。専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能である。プログラムは、当該記録媒体によりコンピュータ２２００に提供されてよい。
【0121】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0122】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0123】
１０・・・表示部、１４・・・検知部、２４・・・画像生成部、２８・・・状態取得部、３０・・・送信部、３４・・・受信部、４０・・・音声取得部、４４・・・識別部、５０・・・距離取得部、６０・・・筐体、６２・・・挿入部、６４・・・内部空間、６６・・・開口、９０・・・制御部、１００・・・表示装置、１１０・・・操作者、１１２・・・耳、１１４・・・外耳道、２００・・・制御システム、２１０・・・受信部、２２０・・・制御部、２３０・・・送信部、２４０・・・サーバ、３００・・・現実空間、３０２・・・制御機器、３０４・・・音声発生源、３１０・・・状態情報、３２０・・・認知部、３２２・・・受領部、３２４・・・電気機器、３２６・・・供給者、３５０・・・建造物、４００・・・仮想空間、４１０・・・仮想オブジェクト、４２０・・・仮想入力画像、２２００・・・コンピュータ、２２０１・・・ＤＶＤ－ＲＯＭ、２２１０・・・ホストコントローラ、２２１２・・・ＣＰＵ、２２１４・・・ＲＡＭ、２２１６・・・グラフィックコントローラ、２２１８・・・ディスプレイデバイス、２２２０・・・入出力コントローラ、２２２２・・・通信インターフェース、２２２４・・・ハードディスクドライブ、２２２６・・・ＤＶＤ－ＲＯＭドライブ、２２３０・・・ＲＯＭ、２２４０・・・入出力チップ、２２４２・・・キーボード
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】