特許 6094648 情報処理システム、情報処理装置、その制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6094648

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】情報処理システム、情報処理装置、その制御方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170306BHJP

   H04N 5/232 20060101ALI20170306BHJP

   G09G 5/00 20060101ALI20170306BHJP

   G09G 5/377 20060101ALI20170306BHJP

   G09G 5/36 20060101ALI20170306BHJP

   G09G 5/02 20060101ALI20170306BHJP

   G09G 5/10 20060101ALI20170306BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/232 Z

   G09G5/00 550C

   G09G5/00 530M

   G09G5/36 520M

   G09G5/00 510H

   G09G5/00 550X

   G09G5/00 555D

   G09G5/36 520D

   G09G5/00 530H

   G09G5/02 B

   G09G5/00 530D

   G09G5/36 520B

   G09G5/00 510V

   G09G5/10 B

【請求項の数】11

【全頁数】27

(21)【出願番号】特願2015-173275(P2015-173275)

(22)【出願日】2015年9月2日

(62)【分割の表示】特願2013-94781(P2013-94781)の分割

【原出願日】2013年4月26日

(65)【公開番号】特開2016-27480(P2016-27480A)

(43)【公開日】2016年2月18日

【審査請求日】2015年12月16日

(31)【優先権主張番号】特願2012-102299(P2012-102299)

(32)【優先日】2012年4月27日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(74)【代理人】

【識別番号】100208904

【弁理士】

【氏名又は名称】伊藤 秀起

(72)【発明者】

【氏名】八木 則明

(72)【発明者】

【氏名】入口 浩一

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００４−０９３８５１（ＪＰ，Ａ）

【文献】 特開２００１−２３６３９６（ＪＰ，Ａ）

【文献】 特開２０００−０７５７７９（ＪＰ，Ａ）

【文献】 特開２００４−２２７０７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０９Ｂ ９／００

Ｇ０６Ｑ ５０／１６

(57)【特許請求の範囲】

【請求項1】

三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理システムであって、
現実空間の開閉部を含む画像を取得する画像取得手段と、
前記画像取得手段で取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定手段と、
前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定手段で前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成手段と、
前記仮想空間生成手段で生成した仮想空間を提示する仮想空間提示手段と
を備えることを特徴とする情報処理システム。

【請求項2】

前記情報処理システムは、
前記仮想空間の所定の位置に光源を設定する光源設定手段と、
前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記光源設定手段で設定された光源の位置に応じて、前記部屋の内部の色を調整する色調整手段
を更に備えることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記色調整手段は、前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記光源設定手段で設定された光源の位置と前記部屋の外部に存在する三次元モデルとに応じて、前記部屋の内部の色を調整することを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記情報処理システムは、
前記仮想空間を提示するユーザごとに前記部屋の選択を受け付ける部屋選択受付手段 を更に備え、
前記仮想空間生成手段は、前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記部屋選択受付手段で選択を受け付けた前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定手段で前記現実空間の開閉部が開いていないと判定した場合に、前記部屋選択受付手段で選択を受け付けた前記部屋からの前記景観を視認不可能な仮想空間を生成し、
前記仮想空間提示手段は、前記仮想空間生成手段で生成した仮想空間を、ユーザごとに異なる景観で提示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記判定手段は、前記画像取得手段で取得した画像に、前記現実空間の開閉部を開くことで現れるマーカが含まれるか否かに基づいて、前記現実空間の開閉部が開いているか否かを判定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。

【請求項6】

前記開閉部は窓またはカーテンであることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。

【請求項7】

三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理システムの制御方法であって、
前記情報処理システムの画像取得手段が、現実空間の開閉部を含む画像を取得する画像取得ステップと、
前記情報処理システムの判定手段が、前記画像取得ステップで取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定ステップと、
前記情報処理システムの仮想空間生成手段が、前記判定ステップで前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定ステップで前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成ステップと、
前記情報処理システムの仮想空間提示手段が、前記仮想空間生成ステップで生成した仮想空間を提示する仮想空間提示ステップと
を備えることを特徴とする情報処理システムの制御方法。

【請求項8】

三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理システムの制御方法を実行可能なプログラムであって、
前記情報処理システムを、
現実空間の開閉部を含む画像を取得する画像取得手段と、
前記画像取得手段で取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定手段と、
前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定手段で前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成手段と、
前記仮想空間生成手段で生成した仮想空間を提示する仮想空間提示手段
として機能させることを特徴とするプログラム。

【請求項9】

三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理装置であって、
現実空間の開閉部を含む画像を取得する画像取得手段と、
前記画像取得手段で取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定手段と、
前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定手段で前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成手段と、
前記仮想空間生成手段で生成した仮想空間を提示する仮想空間提示手段と
を備えることを特徴とする情報処理装置。

【請求項10】

三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理装置の制御方法であって、
前記情報処理装置の画像取得手段が、現実空間の開閉部を含む画像を取得する画像取得ステップと、
前記情報処理装置の判定手段が、前記画像取得ステップで取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定ステップと、
前記情報処理装置の仮想空間生成手段が、前記判定ステップで前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定ステップで前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成ステップと、
前記情報処理装置の仮想空間提示手段が、前記仮想空間生成ステップで生成した仮想空間を提示する仮想空間提示ステップと
を備えることを特徴とする情報処理装置の制御方法。

【請求項11】

三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理装置の制御方法を実行可能なプログラムであって、
前記情報処理装置を、
現実空間の開閉部を含む画像を取得する画像取得手段と、
前記画像取得手段で取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定手段と、
前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定手段で前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成手段と、
前記仮想空間生成手段で生成した仮想空間を提示する仮想空間提示手段
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、現実空間に存在する開閉部を動作することにより、仮想空間に存在する部屋からの景観を提示することの可能な情報処理システム、情報処理装置、その制御方法、及びプログラムに関する。

【背景技術】

【0002】

従来、現実世界の情報と仮想世界の情報を組み合わせて、ヘッドマウントディスプレイ（ＨＭＤ）やスマートフォンに表示させる技術が存在する。例えば、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）技術や拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）技術などがある。

【0003】

特にＭＲ技術は、ユーザが装着したＨＭＤに現実世界の情報と仮想世界の情報を組み合わせて表示するので、あたかも目の前に仮想世界の情報が表示されているかのように見え、臨場感が非常に高い。このため、ＭＲ技術を用いて様々な活用が考えられている。

【0004】

例えば下記の参考文献１では、仮想のペットを育成するゲームのような複合現実感提示装置において、ユーザの所定部位による所定動作により、仮想物体の内部状態を遷移させることで、仮想物体の存在感の認知を容易にする技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００２−１１２２８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

他のＭＲ技術の活用としては、マンションギャラリーにおける活用が期待される。従来のマンションギャラリーでは、建築されるマンションのモデルルームを仮設し、実際に建築されるマンションの参考としている。ユーザはこのモデルルームを見て、部屋の間取りや雰囲気などを想像する。

【0007】

しかしながら、モデルルームは部屋の内部を仮設して表現することはできるが、窓の外の景観はモデルルームの設置された場所の景観となってしまうため、本来ユーザが望む景観ではない。

【0008】

特にマンションのような高層ビルにおいては、ユーザは日当たりや景色といった景観も考慮してマンションの購入を行うことが多いため、景観は重要である。この問題に対応するため、従来モデルルームでは、窓に高層から見た景色が印刷された紙を貼り付けるなどして、ユーザに景観を提示していた。

【0009】

しかしながら、景観は高さによって大きく変わるため、紙に印刷された単一の景観だけをユーザに提示しても、本来見えるはずの景観ではない可能性が高い。また、時間帯や季節によっても景観は大きく変わるため、紙では表現できない柔軟な景観表示を行う必要があった。

【0010】

本発明は、現実空間に存在する開閉部を動作することにより、仮想空間に存在する部屋からの景観を提示することの可能な仕組みを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記の目的を達成するために、本発明の情報処理システムは、三次元モデルで構成される部屋と景観とを含む仮想空間を生成することの可能な情報処理システムであって、現実空間の開閉部を含む画像を取得する画像取得手段と、前記画像取得手段で取得した画像に基づいて、前記現実空間の開閉部が開いているか否かを判定する判定手段と、前記判定手段で前記現実空間の開閉部が開いていると判定した場合に、前記部屋からの前記景観を視認可能な仮想空間を生成し、前記判定手段で前記現実空間の開閉部が開いていないと判定した場合に、前記部屋からの前記景観を視認不可能な仮想空間を生成する仮想空間生成手段と、前記仮想空間生成手段で生成した仮想空間を提示する仮想空間提示手段とを備えることを特徴とする。

【発明の効果】

【0012】

本発明によれば、現実空間に存在する開閉部を動作することにより、仮想空間に存在する部屋からの景観を提示することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態におけるＭＲシステムの一例を示す構成図である。

【図2】ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４の内部のハードウェア構成の一例を示す構成図である。

【図3】ＨＭＤ１０３の内部のハードウェア構成の一例を示す構成図である。

【図4】ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３、ＭＲ設定端末１０４のモジュール構成の一例を示す構成図である。

【図5】ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４による制御方法の処理手順の一例を示すフローチャートである。

【図6】ＭＲシステム設定画面６００の一例を示す構成図である。

【図7】基準座標テーブル７００、太陽方位テーブル７１０、ＨＭＤ管理テーブル７２０の一例を示す構成図である。

【図8】現実世界と３次元モデルの基準座標を補正する場合の一例を示す模式図である。

【図9】ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３によるＭＲ表示処理の処理手順の一例を示すフローチャートである。

【図10】ユーザが窓を開けた場合の処理概要を示す模式図である。

【図11】複数のユーザがグループとなっている場合の処理概要を示す模式図である。

【図12】ＭＲ管理サーバ１０１とＭＲ処理装置１０２による表示内容設定処理の処理手順の一例を示すフローチャートである。

【図13】マーカー管理テーブル１３００の一例を示す構成図である。

【図14】第２の実施形態における、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４による制御方法の処理手順の一例を示すフローチャートである。

【図15】太陽光１５０３を受けて建造物１５０２が作る影１５０４の概要を示す模式図である。

【図16】マスクオブジェクト（遮光）とマスクオブジェクト（透過）の切り替えの概要を示す模式図である。

【図17】第２の実施形態における、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３による制御方法の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、本発明の実施形態の一例について説明する。

【0015】

図１は、本発明の実施の形態に係るＭＲシステム１００（仮想空間表示システム）のシステム構成の一例を示す図である。本発明のＭＲシステム１００は、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４が設置されており、それら装置はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク１０５を介して相互にデータ通信可能に接続されている。また、ＭＲ処理装置１０２とＨＭＤ１０３（表示装置）は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を介して相互にデータ通信可能に接続されている。図１のネットワーク上やシステム上に接続される各種端末あるいはサーバの構成は一例であり、用途や目的に応じて様々な構成例がある。

【0016】

ＭＲ管理サーバ１０１は、複数のＭＲ処理装置１０２を管理するための装置である。ＭＲ管理サーバ１０１には、ＭＲ設定端末１０４から送信された各種設定情報を記憶し、ＭＲ処理装置１０２からの要求に応じて、当該設定情報をＭＲ処理装置１０２に送信する。各種設定情報には、例えばマンションギャラリーにおけるモデルルームの階層や部屋番号、月や時間帯の情報などが含まれる。また、複数のＨＭＤ１０３をグルーピングするためのグループ情報も記憶している。

【0017】

ＭＲ処理装置１０２（情報処理装置）は、ＨＭＤ１０３から送信された撮影情報に基づいてＭＲ管理サーバ１０１から設定情報を受け取り、当該設定情報に基づいて仮想空間上に表示する３次元モデルを設定し、それをＨＭＤ１０３に送信するための装置である。本実施例では、ＭＲ処理装置１０２は、ＨＭＤ１０３と１対１で接続されているものとして説明を行う。例えば、図１のＭＲ処理装置１０２ａ〜１０２ｄ、ＨＭＤ１０３ａ〜ＨＭＤ１０３ｄに示す通り、ＰＣ００１はＨＭＤ００１と接続されているが、一方ＰＣ００２はＨＭＤ００２と接続されている。ＭＲ処理装置１０２の処理能力を最大限に使用するためにこのような構成となっているが、複数のＨＭＤ１０３が接続されていてもよい。また、ＭＲ管理サーバ１０１とＭＲ処理装置１０２が１つの装置であってもよい（情報処理サーバ）。

【0018】

ＨＭＤ１０３は、接続されたＭＲ処理装置１０２から送信された３次元モデルを受信し、受信した３次元モデルを、ＨＭＤ１０３に備えられたビデオカメラ（撮影部）から入力された現実世界の情報と重ね合わせて、仮想世界に表示する装置である。ＭＲ技術の仕組みについては、前述した先行技術文献や従来技術の通りである。

【0019】

ＭＲ設定端末１０４は、ＨＭＤ１０３に表示する景色（３次元モデル）に関する設定やＨＭＤ１０３同士をグルーピングするための設定を受け付ける装置である。本実施例では、マンションギャラリーにおける使用を前提とするため、操作のしやすいタッチパネルを備えた端末を想定しているが、設定の入力を受け付けられれば他の装置でもよい。また、ＭＲ設定端末１０４の機能をＭＲ管理サーバ１０１やＭＲ処理装置１０２に含めてもよい。

【0020】

図２は、本発明の実施形態におけるＭＲ管理サーバ１０１、ＭＲ処理装置１０２、及びＭＲ設定端末１０４のハードウェア構成を示す図である。

【0021】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0022】

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ(Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ)やオペレーティングシステムプログラム（以下、ＯＳ）や、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

【0023】

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

【0024】

また、入力コントローラ（入力Ｃ）２０５は、キーボード２０９や不図示のマウス等のポインティングデバイスからの入力を制御する。

【0025】

ビデオコントローラ（ＶＣ）２０６は、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。表示器はＣＲＴだけでなく、液晶ディスプレイでも構わない。

【0026】

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

【0027】

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

【0028】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0029】

本発明のＭＲ管理サーバ１０１、ＭＲ処理装置１０２、及びＭＲ設定端末１０４が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

【0030】

次に、図３は、本発明の実施形態におけるＨＭＤ１０３のハードウェア構成を示す図である。

【0031】

ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。

【0032】

また、ＲＯＭ３０２には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ(Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ)やオペレーティングシステムプログラム（以下、ＯＳ）や、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。

【0033】

ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。

【0034】

また、入力コントローラ（入力Ｃ）３０５は、右目・左目ビデオカメラ（ビデオカメラ、撮影部）３０９からの入力を制御する。

【0035】

ビデオコントローラ（ＶＣ）３０６は、右目・左目ディスプレイ（ディスプレイ）３１０等の表示器への表示を制御する。表示器はＣＲＴだけでなく、液晶ディスプレイでも構わない。

【0036】

位置センサ３０７は、ＨＭＤ１０３を装着したユーザの位置や姿勢を検知するためのセンサである。例えば、ジャイロセンサやＧＰＳといったセンサを利用し、ユーザがどこでどんな姿勢や高さで現実空間を見ているのかを検知する。

【0037】

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。

【0038】

尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、右目・左目ディスプレイ３１０上での表示を可能としている。

【0039】

本発明のＨＭＤ１０３が後述する各種処理を実行するために用いられる各種プログラム等はＲＯＭ３０２に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。

【0040】

次に、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３、及びＭＲ設定端末１０４のモジュール構成を示す機能構成図について、図４を用いて説明する。尚、図４の各種端末あるいはサーバのモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。

【0041】

ＭＲ管理サーバ１０１は、送受信モジュール４１１、グループ管理モジュール４１２、記憶モジュール４１３を備える。

【0042】

送受信モジュール４１１は、ＭＲ処理装置１０２をはじめとする各種装置とデータの送受信をするためのモジュールである。グループ管理モジュール４１２は、ＭＲ設定端末１０４から送信されたグルーピングに関する情報（グループ情報）を管理するためのモジュールである。記憶モジュール４１３は、各種データやテーブルを記憶するためのモジュールである（記憶手段）。本実施例では特に後述する基準座標テーブル７００やＨＭＤ管理テーブル７２０（図７参照）を記憶している。

【0043】

ＭＲ処理装置１０２は、送受信モジュール４２１、マーカー検出モジュール４２２、位置判定モジュール４２３、記憶モジュール４２４を備える。

【0044】

送受信モジュール４２１は、ＭＲ管理サーバ１０１をはじめとする各種装置とデータの送受信をするためのモジュールである。マーカー検出モジュール４２２は、ＨＭＤ１０３で撮影された映像を受信し、当該映像に含まれるマーカーを検出するためのモジュールである。本実施例では、モデルルーム内に設置されたマーカーをＨＭＤ１０３が撮影するとそのマーカーに対応する３次元モデルを表示する仕組みとして説明するが、何かのアクションを検知して、そのアクションに応じた３次元モデルを表示するような仕組みでもよい。位置判定モジュール４２３は、後述するＨＭＤ１０３の位置検知モジュール４３４で検知した位置情報の結果、ＨＭＤ１０３を装着したユーザがどのような位置や姿勢なのかを判定するためのモジュールである。記憶モジュール４２４は、各種データ（特に３次元モデル）やテーブルを記憶するためのモジュールである（記憶手段）。本実施例では特に後述する太陽方位テーブル７１０（図７参照）やマーカー管理テーブル１３００（図１３参照）を記憶している。

【0045】

ＨＭＤ１０３は、送受信モジュール４３１、撮像モジュール４３２、位置検知モジュール４３４を備える。

【0046】

送受信モジュール４３１は、ＭＲ管理サーバ１０１をはじめとする各種装置とデータの送受信をするためのモジュールである。撮像モジュール４３２は、ＨＭＤ１０３の右目・左目ビデオカメラ３０９を用いて現実世界の情報を撮像するためのモジュールである。撮像は動画（映像）を前提として説明するが、画像であってもよい。表示モジュール４３３は、ＨＭＤ１０３の右目・左目ディスプレイ３１０に撮像モジュール４３２で撮像された映像と仮想世界の情報（３次元モデル等）を表示するためのモジュールである。位置検知モジュール４３４は、ＨＭＤ１０３がモデルルームのどこにいるのか、ユーザがどういう姿勢なのかを検知するためのモジュールである。

【0047】

ＭＲ設定端末１０４は、送受信モジュール４４１、表示モジュール４４２を備える。

【0048】

送受信モジュール４４１は、ＭＲ管理サーバ１０１をはじめとする各種装置とデータの送受信をするためのモジュールである。表示モジュール４４２は、ＭＲ設定端末１０４のＣＲＴ２１０に対して各種情報を表示させるためのモジュールである。

【0049】

次に、本発明の実施例におけるＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４によって行われる一連の処理について、図５に示すフローチャートを用いて説明する。尚、Ｓ１０１乃至Ｓ１０４の各ステップはＭＲ設定端末１０４におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ１０５乃至Ｓ１０８の各ステップはＭＲ管理サーバ１０１におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ１０９乃至Ｓ１１６の各ステップはＭＲ処理装置１０２におけるＣＰＵ２０１の制御の下、処理が行われる。

【0050】

尚、この処理をＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４に実行させるためのプログラムは、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４にインストールされているアプリケーションの一部、若しくはアドオンプログラムとして用意されていてもよいし、アプリケーションとは別にインストールされたプログラムとして用意されていてもよい。

【0051】

ステップＳ１０１では、ＭＲ設定端末１０４は、ＭＲ設定端末１０４のＣＲＴ２１０に対してＭＲシステム設定画面６００（図６参照）を表示させる。ＭＲシステム設定画面６００では、ＨＭＤ１０３を用いてモデルルームのシミュレーションをする際の設定項目の入力を受け付ける。具体的には、モデルルームの部屋番号（位置情報）や部屋の種別、月や時間帯（日時情報）といった設定と、使用するＨＭＤ１０３の設定（グループ情報）である。これ以外に設定項目があってもよい。例えば、部屋番号の代わりにマンションの棟と階を設定するような形態でもよい。

【0052】

ステップＳ１０２では、ＭＲ設定端末１０４は、ＭＲシステム設定画面６００の設定ボタン６０１がユーザからの操作によって押下されたか否かを判定する。設定ボタン６０１が押下されたと判定された場合には、ステップＳ１０３に処理を進め、そうでない場合にはＭＲシステム設定画面６００を表示し入力を受け付けた状態にしておく。

【0053】

ステップＳ１０３では、ＭＲ設定端末１０４は、ＭＲシステム設定画面６００に入力された設定内容（設定情報）を取得する。そして、ステップＳ１０４では、ＭＲ設定端末１０４は、ステップＳ１０３で取得した設定内容をＭＲ管理サーバ１０１に送信する。

【0054】

ステップＳ１０５では、ＭＲ管理サーバ１０１は、ステップＳ１０４においてＭＲ設定端末１０４から送信された設定内容を受信し、ＲＡＭ２０３等の記憶手段に記憶する。

【0055】

ステップＳ１０６では、ＭＲ管理サーバ１０１は、ステップＳ１０５で受信した設定内容から部屋番号と部屋種別を取得し、これらの情報を基に仮想世界における基準座標を取得する（設定情報取得手段）。基準座標は、現実空間と仮想空間を一致させるための基準となる座標である。後述する処理で仮想世界における基準座標と、現実世界における原点座標とを一致させることにより、現実空間と仮想空間のずれを解消する。基準座標は基準座標テーブル７００（図７参照）に記憶されている。つまり、取得した部屋番号と部屋種別に基づいて、基準座標テーブル７００から基準座標を取得する。

【0056】

基準座標テーブル７００（視点位置情報）は、ＭＲ管理サーバ１０１に記憶されており、部屋番号７０１、部屋種別７０２、基準座標７０３から構成されている。部屋番号７０１は、モデルルームごとに一意に設定された番号が格納されている。部屋種別７０２は、部屋番号７０１が示すモデルルーム内にある部屋の種別を示す情報が格納されている。基準座標７０３は、現実空間と仮想空間を一致させるための基準となる座標値（Ｘ座標、Ｙ座標、Ｚ座標）を示す情報が格納されている。

【0057】

ステップＳ１０７では、ＭＲ管理サーバ１０１は、ステップＳ１０５で受信した設定内容から使用するＨＭＤ１０３の識別番号を取得し、グルーピングしておく。ここでは、複数人のユーザがＨＭＤ１０３を使用して、モデルルームを閲覧する場合に、当該複数人のユーザに対して同様の情報を表示させるために、ここで使用するＨＭＤ１０３をグルーピングしておく。具体的には、ＨＭＤ管理テーブル７２０に対して、使用するＨＭＤ１０３を紐づけておく。紐づけの方法は様々だが、例えばＨＭＤ管理テーブル７２０における使用するＨＭＤ１０３のレコードのグループ名７２３に、同じグループ名を入力しておくことで、紐づけを行う。また、グルーピングを行うと共に、ＨＭＤ管理テーブル７２０の各項目をステップＳ１０５で受信した設定内容に更新する。更に、ステップＳ１０６で取得した基準座標をＨＭＤ１０３ごとに基準座標７２４に格納する。

【0058】

ＨＭＤ管理テーブル７２０は、ＭＲ管理サーバ１０１に記憶され、ＨＭＤ識別番号７２１、接続装置名７２２、グループ名７２３、基準座標７２４、月７２５、時間帯７２６から構成される。ＨＭＤ識別番号７２１は、ＨＭＤ１０３ごとに一意に割り振られた番号が格納されている。接続装置名７２２は、当該ＨＭＤ１０３が接続されたＭＲ処理装置１０２を示す情報が格納されている。グループ名７２３は、複数のＨＭＤ１０３をグルーピングするための情報（グループ情報）が格納されている。基準座標７２４は、取得した基準座標７０３が格納されている。月７２５は、ユーザから設定された月の情報が格納されている。時間帯７２６は、同じくユーザから設定された時間帯の情報が格納されている。

【0059】

ステップＳ１０８では、ＭＲ管理サーバ１０１は、ステップＳ１０６で取得した基準座標と、ステップＳ１０５で受信した設定内容に含まれる月と時間帯に関する情報をＭＲ処理装置１０２に送信する。送信するＭＲ処理装置１０２は、使用するＨＭＤ１０３と通信可能に接続されたＭＲ処理装置１０２とする。具体的には、ＨＭＤ管理テーブル７２０から使用するＨＭＤ１０３を特定し、特定されたＨＭＤ１０３に対応する接続装置名７２２に送信すればよい。

【0060】

ステップＳ１０９では、ＭＲ処理装置１０２は、ステップＳ１０８でＭＲ管理サーバ１０１から送信された基準座標と月・時間帯といった設定情報を受信し、ＲＡＭ２０３等の記憶手段に記憶する。

【0061】

ステップＳ１１０では、ＭＲ処理装置１０２は、ＭＲ処理装置１０２に記憶された３次元モデルを読み込む。読み込む３次元モデルは、モデルルームの内装や外装、風景といった情報、つまり仮想世界情報である。あらかじめ表示する３次元モデルは３次元ＣＡＤアプリケーション等によって作成しておき、ＭＲ処理装置１０２に記憶しておく。

【0062】

ステップＳ１１１では、ＭＲ処理装置１０２は、ステップＳ１０９で受信した基準座標に基づいて、ステップＳ１１０で読み込んだ３次元モデルの原点座標を補正する。図８に示すように、現実世界における基準座標をスタート地点としてしまうと、３次元モデルの原点座標とのずれがあるため、現実世界と仮想世界とがうまく一致しない。これを解消するために３次元モデルの原点座標を補正して、後述するステップＳ１１２でうまく現実世界と仮想世界を一致させるようにする。尚、現実世界と仮想世界の一致方法については、従来技術を用いるものとする。

【0063】

ステップＳ１１２では、ＭＲ処理装置１０２は、ステップＳ１１１で補正された原点座標から３次元モデルの位置を変更する。これにより、現実世界と仮想世界の情報が一致し、ずれが解消される。

【0064】

ステップＳ１１３では、ＭＲ処理装置１０２は、ステップＳ１０９で受信した月と時間帯から太陽方位を取得する。つまり、ユーザから設定された月と時間帯における太陽の方位を取得して、光源を設定し、よりリアルな景色を表示させることができる。太陽方位は、太陽方位テーブル７１０から取得できる。月と時間帯で方位角と高度を取得する。尚、太陽の方位は現実世界に設置されたセンサ等を利用して現在の太陽方位を取得し、３次元モデルに反映させるような形態でもよい。その場合、月と時間帯の情報は不要となり、センサ等から取得した太陽方位に基づいて、３次元モデルを設定する。更に別の実施形態としては、マンションが建築される予定の場所の緯度と経度、及びＭＲシステム設定画面６００に入力された月と時間帯から、太陽の方位を算出する方法もある。つまり、太陽の方位を算出する方法はこれらに限らず、様々な方法がある。

【0065】

太陽方位テーブル７１０は、ＭＲ処理装置１０２に記憶され、月７１１（時間情報）、時間帯７１２（時間情報）、方位角７１３、高度７１４から構成される。月７１１は、１月から１２月といった月を示す情報が格納されている。時間帯７１２は、０：００から２４：００といった時間帯を示す情報が格納されている。方位角７１３は、当該月と時間帯における太陽の方位角を示す情報が格納されている。高度７１４は、当該月と時間帯における太陽の高度を示す情報が格納されている。

【0066】

ステップＳ１１４では、ＭＲ処理装置１０２は、ステップＳ１１３で取得した太陽方位に基づいて、ステップＳ１１０で取得した３次元モデルに対して光源を設定し、３次元モデルの配色等を変更する。こうすることで、ユーザが望む月や時間帯の風景を表示することができる。特定の光源を設定して、３次元モデルの色を変化させる仕組みについては従来技術を利用するものとする。

【0067】

ステップＳ１１５では、ＭＲ処理装置１０２は、ステップＳ１１０で取得した３次元モデルに対して、表示しなくてもよいところにマスク処理を施す。例えば、部屋の中に柱があった場合には、当該柱を無視して柱の向こう側の情報を表示してしまうと、リアリティがなくなってしまうので、当該柱の部分にはマスクをかけて３次元モデルを表示させないようにすることで、これらを解決する。

【0068】

ステップＳ１１６では、ＭＲ処理装置１０２は、ＨＭＤ１０３に対してステップＳ１１５までに設定した３次元モデルを送信し、表示するための処理を実行する。ＭＲ表示処理の詳細は、後述する図９に示す。

【0069】

次に、本発明の実施例におけるＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３によって行われるＭＲ表示処理について、図９に示すフローチャートを用いて説明する。尚、Ｓ２０１、Ｓ２０６、Ｓ２０７、Ｓ２１３乃至Ｓ２１５の各ステップはＭＲ処理装置１０２におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ２０２乃至Ｓ２０５、Ｓ２１６乃至Ｓ２１８の各ステップはＨＭＤ１０３におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ２０８乃至Ｓ２１２の各ステップはＭＲ管理サーバ１０１におけるＣＰＵ２０１の制御の下、処理が行われる。

【0070】

尚、この処理をＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３に実行させるためのプログラムは、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＨＭＤ１０３にインストールされているアプリケーションの一部、若しくはアドオンプログラムとして用意されていてもよいし、アプリケーションとは別にインストールされたプログラムとして用意されていてもよい。

【0071】

ステップＳ２０１では、ＭＲ処理装置１０２は、前述したステップＳ１１５までに様々な処理が実行された３次元モデルを含む仮想世界情報をＨＭＤ１０３に送信する。仮想世界情報は、３次元モデル以外の情報を含んでもよい。例えば、３次元モデルの風景として表示されているビルの名前や山脈の名前、方角といった補足情報が考えられる。

【0072】

ステップＳ２０２では、ＨＭＤ１０３は、ステップＳ２０１でＭＲ処理装置１０２から送信された仮想世界情報を受信する。

【0073】

ステップＳ２０３では、ＨＭＤ１０３は、ステップＳ２０２で受信した仮想世界情報を、ＨＭＤ１０３の右目・左目ビデオカメラ３０９で撮像された映像に重ね合わせて、右目・左目ディスプレイ３１０に表示する。こうすることで現実世界の情報（撮像された映像）と仮想世界の情報（３次元モデル等）が重ね合わせて表示される。

【0074】

ステップＳ２０４では、ＨＭＤ１０３は、右目・左目ディスプレイ３１０で特定のマーカーが撮像されたか否かを判定する。マーカーとは、３次元モデルを表示するための指標となる目印である。当該マーカーを検知した場合に３次元モデルを動作させることで、より拡張性の高い仮想世界を提供できる。特定のマーカーが撮像されたと判定された場合には、ステップＳ２０５に処理を進め、そうでない場合にはそのまま待機する。本実施例ではマーカーが撮像されたか否かによって、その後のアクションを決定するようにしているが、何かしらのセンサによって動作指示を検知するようにしてもよい。方法は特に問わない。また、本実施例では、ＨＭＤ１０３がマーカーの撮影有無を判定しているが、ＨＭＤ１０３からＭＲ処理装置１０２に撮像映像（または撮像画像）を送信し、ＭＲ処理装置１０２で受信した後、ＭＲ処理装置１０２が当該撮像映像を解析して、マーカーが撮像されたか否かを判定してもよい。この場合には、ＨＭＤ１０３から随時撮像映像が送信されるので、ＭＲ処理装置１０２は、適宜画像処理を行って、マーカーが撮像されたかどうかを判定する。

【0075】

本実施例では、図１０に示すようにモデルルームの窓を開けたときを想定する。例えば、窓の裏にマーカーを設置しておく。モデルルームを訪れたユーザは窓を開けることで、設置されたマーカーをＨＭＤ１０３で撮像することができるので、このマーカーを検知して外の風景を表示するといった制御が可能となる。前述の通り、マーカーではなくセンサを窓に設置し、センサの動作によってＭＲ処理装置１０２が窓が動かされたか否かを判定してもよい。

【0076】

ステップＳ２０５では、ＨＭＤ１０３は、撮像されたマーカー画像（撮影情報）と、撮像したＨＭＤ１０３自身のＨＭＤ識別番号７２１をＭＲ処理装置１０２に送信する（撮影情報送信手段）。つまり、動作指示に応じてＭＲ処理装置１０２に処理内容を問い合わせる。

【0077】

ステップＳ２０６では、ＭＲ処理装置１０２は、ステップＳ２０５でＨＭＤ１０３から送信されたマーカー画像とＨＭＤ識別番号７２１を受信する（撮影情報受信手段）。

【0078】

ステップＳ２０７では、ＭＲ処理装置１０２は、ステップＳ２０６で受信したマーカー画像とＨＭＤ識別番号７２１をＭＲ管理サーバ１０１に送信する。尚、ステップＳ２０６及びステップＳ２０７を省略し、ステップＳ２０５でＨＭＤ１０３から直接ＭＲ管理サーバ１０１にマーカー画像とＨＭＤ識別番号７２１を送信するような形態でもよい。

【0079】

ステップＳ２０８では、ＭＲ管理サーバ１０１は、ステップＳ２０７でＭＲ処理装置１０２から送信されたマーカー画像とＨＭＤ識別番号７２１を受信する。

【0080】

ステップＳ２０９では、ＭＲ管理サーバ１０１は、ステップＳ２０８で受信したマーカー画像に基づいて、特定の動作を指示したユーザのＨＭＤ１０３を特定する。図１１に示すように、モデルルームのような狭い空間では、複数のグループが混在している可能性がある。例えば図１１に示すＧＰ００１グループが窓を開けた場合に、ＧＰ００２グループは関係がないにも関わらず、風景が表示されてしまうとＭＲシステム１００の処理負荷が高くなってしまう。よって、動作指示を行ったユーザが含まれるグループにのみ、３次元モデルを表示することが望ましい。このため、ステップＳ２０９において動作指示を行ったユーザを特定している。特定の方法は従来技術を利用するものとするが、撮像されたマーカー画像の大きさから判定してもよいし、撮像したＨＭＤ１０３の位置とマーカーが設置された位置とを比較して判定するようにしてもよい。

【0081】

ステップＳ２１０では、ＭＲ管理サーバ１０１は、ステップＳ２０９で特定されたＨＭＤ１０３と同じグループに属するＨＭＤ１０３を特定する（グループ特定手段）。具体的には、ステップＳ２０９で特定されたＨＭＤ１０３のグループ名７２３をＨＭＤ管理テーブル７２０から特定し、当該グループ名７２３と同一のグループ名７２３を持つＨＭＤ１０３を特定する。

【0082】

ステップＳ２１１では、ＭＲ管理サーバ１０１は、ステップＳ２１０で特定されたＨＭＤ１０３と通信可能に接続されたＭＲ処理装置１０２を特定する。具体的には、ステップＳ２１０で特定されたＨＭＤ１０３の接続装置名７２２をＨＭＤ管理テーブル７２０から特定する。

【0083】

ステップＳ２１２では、ＭＲ管理サーバ１０１は、ステップＳ２１１で特定されたＭＲ処理装置１０２に対して、マーカー表示指示を送信する。マーカー表示指示にはマーカー画像を含めるものとする。

【0084】

ステップＳ２１３では、ＭＲ処理装置１０２は、ステップＳ２１２でＭＲ管理サーバ１０１から送信されたマーカー表示指示を受信する。

【0085】

ステップＳ２１４では、ＭＲ処理装置１０２は、マーカー画像から表示内容を決定するための処理を行う。表示内容設定処理の詳細は、後述する図１２に示す。

【0086】

ステップＳ２１５では、ＭＲ処理装置１０２は、ステップＳ２１４の表示内容設定処理で特定された表示内容を、当該ＭＲ処理装置１０２と通信可能に接続されたＨＭＤ１０３に送信する（３次元モデル送信手段）。表示内容は、３次元モデルを動作させる動作内容や、表示する３次元モデルなどを含む。例えば、窓を開けた場合を想定すると、風景の３次元モデルを表示するために、窓に対してマスク処理をかける指示をＨＭＤ１０３に送信する。

【0087】

ステップＳ２１６では、ＨＭＤ１０３は、ステップＳ２１５でＭＲ処理装置１０２から送信された表示内容を受信し（３次元モデル受信手段）、ステップＳ２１７では、ＨＭＤ１０３は、ステップＳ２１６で受信した表示内容に基づいて、仮想世界の情報を表示する（表示手段）。例えば、窓の部分にマスク処理をかけて、外の風景（仮想世界の情報）を現実世界の情報を重ね合わせて表示させる。

【0088】

ステップＳ２１８では、ＨＭＤ１０３は、ＭＲシステム１００を終了するか否かを判定する。つまり、何かしらの終了指示があったか否かを判定する。終了すると判定された場合には、ＭＲ表示処理を終了して呼び出し元に処理を戻し、終了すると判定されなかった場合には、ステップＳ２０４に処理を戻す。

【0089】

次に、本発明の実施例におけるＭＲ管理サーバ１０１、ＭＲ処理装置１０２によって行われる表示内容設定処理について、図１２に示すフローチャートを用いて説明する。尚、Ｓ３０１乃至Ｓ３０３、Ｓ３０７、Ｓ３０８の各ステップはＭＲ処理装置１０２におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ３０４乃至Ｓ３０６の各ステップはＭＲ管理サーバ１０１におけるＣＰＵ２０１の制御の下、処理が行われる。

【0090】

尚、この処理をＭＲ管理サーバ１０１、ＭＲ処理装置１０２に実行させるためのプログラムは、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２にインストールされているアプリケーションの一部、若しくはアドオンプログラムとして用意されていてもよいし、アプリケーションとは別にインストールされたプログラムとして用意されていてもよい。

【0091】

ステップＳ３０１では、ＭＲ処理装置１０２は、前述したステップＳ２１３で受信したマーカー表示指示からマーカー画像を取得し、当該マーカー画像を解析して当該マーカーを識別するためのマーカー情報を抽出する。例えば、マーカー画像に当該マーカーを特定するための二次元バーコードを埋め込んでおき、画像処理することで何のマーカーが撮像されたのかを特定する。マーカー情報には、マーカーを識別するための情報が含まれていればよい。

【0092】

ステップＳ３０２では、ＭＲ処理装置１０２は、ステップＳ３０１で抽出したマーカー情報に基づいて、表示や動作を行う３次元モデルを特定する。具体的には、図１３に示すマーカー管理テーブル１３００を用いて特定する。マーカー情報からマーカー識別番号１３０１、マーカー種別１３０２、マーカー位置１３０３等を特定し、当該情報が含まれるレコードの表示モデル１３０４を特定するようにすればよい。

【0093】

マーカー管理テーブル１３００は、ＭＲ処理装置１０２に記憶されており、マーカー識別番号１３０１、マーカー種別１３０２、マーカー位置１３０３、表示モデル１３０４かから構成されている。マーカー識別番号１３０１は、マーカーごとに一意に割り振られた識別番号である。マーカー種別１３０２は、当該マーカーが設置された場所やマーカーが表示する３次元モデルの種別を示す情報である。マーカー位置１３０３は、当該マーカーが設置された位置を示す情報である。表示モデル１３０４は、表示や動作を行う３次元モデルが格納されている。表示モデル１３０４は、３次元モデルが格納されていてもよいし、動作指示内容が格納されていてもよい。

【0094】

ステップＳ３０３では、ＭＲ処理装置１０２は、ＭＲ処理装置１０２と通信可能に接続されたＨＭＤ１０３の設定内容の取得要求をＭＲ管理サーバ１０１に対して行う。つまり、月・時間帯といった３次元モデルを設定するための情報の取得要求を行う。

【0095】

ステップＳ３０４では、ＭＲ管理サーバ１０１は、ステップＳ３０３でＭＲ処理装置１０２から送信された設定内容の取得要求を受信する。

【0096】

ステップＳ３０５では、ＭＲ管理サーバ１０１は、設定内容取得要求を送信してきたＭＲ処理装置１０２と通信可能に接続されたＨＭＤ１０３の各種設定内容を取得する（設定情報取得手段）。具体的には、ＨＭＤ管理テーブル７２０から当該ＨＭＤ１０３の月７２５や時間帯７２６を取得する。

【0097】

ステップＳ３０６では、ＭＲ管理サーバ１０１は、ステップＳ３０５で取得した設定内容を、設定内容取得要求を送信してきたＭＲ処理装置１０２に対して送信する。

【0098】

ステップＳ３０７では、ＭＲ処理装置１０２は、ステップＳ３０６でＭＲ管理サーバ１０１から送信された設定内容を受信する。

【0099】

ステップＳ３０８では、ＭＲ処理装置１０２は、ステップＳ３０７で受信した設定内容に基づいて、ステップＳ３０２で特定された３次元モデルの表示形態を設定する（３次元モデル設定手段）。例えば、月・時間帯の情報があるなら、前述した通り太陽方位テーブル７１０から光源の方位角７１３と高度７１４を取得して３次元モデルに対して光源を設定する。または、設定内容にマスク処理があるならマスク処理を施す。このようにして、３次元モデルを設定したり動作内容を設定することで、前述したようにＨＭＤ１０３に設定した内容を表示させる。

【0100】

以上説明したように、本実施形態によれば、複合現実感を提示する装置に表示する３次元モデルの表示指示がなされると、あらかじめ設定された視点の情報を取得し、当該視点の情報に基づいて表示する３次元モデルの表示位置を決定することができるので、柔軟な景観表示を行うことができる効果を奏する。

【0101】

次に、本発明の第２の実施形態について説明を行う。

【0102】

第２の実施形態では、ＭＲシステムによって仮想世界を表示するモデルルームの室内に表示される３次元モデルも、設定された光源の影響を受けるようにする。特に、近隣に高層ビルが建っていたり、同じマンションの別の棟が隣に建っていたりする場合がある。この場合には、光源（太陽光）の位置によっては、これらの建築物が邪魔をして、部屋の内部が影で暗くなってしまう階や部屋が出てきてしまう。通常のマンションギャラリーは、マンションが建築される場所とは異なる場所で開催される上、階層までは再現できないため、近隣の建築物によって日照に影響を受けるかどうかまではわからない。更に、日照に影響があるかどうかは、階数や部屋の位置によって、大きく異なってくる。階が高ければ、近隣の建築物によって太陽光が遮られることは少ないが、階が低いと、近隣の建築物によって太陽光が遮られることが多い。また、太陽光の位置によっても日照に影響があるかどうかが変わってくる。これらの問題を受けて第２の実施形態では、日照に影響を受ける建築物を考慮することで、ＭＲシステムを用いてユーザに日照時間や日照状況を認識させる仕組みを説明する。

【0103】

また、第２の実施形態では、室内に入り込む太陽光を現実の物体を動かすことで制御する仕組みについても説明する。例えば、現実の窓に設置された現実のカーテンを動かすことで、仮想的な太陽光を室内の３次元モデルに反映するか否かを制御する。こうすることで、よりリアリティのある仮想世界を提供することができる。以下、これらの説明を行う。

【0104】

尚、第２の実施形態のシステムの構成、ハードウェアの構成、モジュールの構成は前述した実施形態と同様であるので、説明は省略する。

【0105】

次に、本発明の実施例におけるＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４によって行われる一連の処理について、図１４に示すフローチャートを用いて説明する。尚、Ｓ１０１乃至Ｓ１０４の各ステップはＭＲ設定端末１０４におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ１０５乃至Ｓ１０８の各ステップはＭＲ管理サーバ１０１におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ１０９乃至Ｓ１１３、Ｓ４０１乃至Ｓ４０６の各ステップはＭＲ処理装置１０２におけるＣＰＵ２０１の制御の下、処理が行われる。

【0106】

尚、この処理をＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４に実行させるためのプログラムは、ＭＲ管理サーバ１０１、ＭＲ処理装置１０２、ＭＲ設定端末１０４にインストールされているアプリケーションの一部、若しくはアドオンプログラムとして用意されていてもよいし、アプリケーションとは別にインストールされたプログラムとして用意されていてもよい。

【0107】

図１４のステップＳ１０１乃至ステップＳ１１３の各処理は、前述した図５のステップＳ１０１乃至ステップＳ１１３の各処理と同様であるので説明は省略する。

【0108】

ステップＳ４０１では、ＭＲ処理装置１０２は、ステップＳ１１３で取得した太陽方位に基づいて、ステップＳ１１０で取得した３次元モデル、つまり仮想世界に対して光源（太陽光）を設定する（光源決定手段）。太陽光の強さや色合いは、レイリー散乱やミー散乱を考慮して決定する。

【0109】

そして、ステップＳ４０２では、ＭＲ処理装置１０２は、ステップＳ１０１でＭＲシステム設定画面６００に入力を受け付けた部屋番号が示す部屋の日照に影響を与える仮想世界の建築物を特定する（３次元モデル特定手段）。例えば、図１５の１５００に示すように、仮想世界にはマンション１５０１と建築物１５０２が設置されており、ステップＳ４０１で設定された光源、つまり太陽光１５０３が設定されている。ここでいうマンション１５０１は、ユーザがＭＲシステムを使って体感するモデルルームのマンションである。建築物１５０２は、３次元モデルで表現された、近隣の建築物である。

【0110】

ステップＳ４０１で設定された太陽光１５０３により、太陽光が照射された場合、１５１０のように建築物１５０２によって影１５０４が発生する。影１５０４が発生する範囲については、太陽光１５０３の位置と建築物１５０２との位置に応じて、従来技術を用いてその範囲を算出する。１５１０の図は、１５００の図を右側面から見た図である。この発生した影１５０４によって影響を受けるマンション１５０１の箇所が１５０５である。つまり、この１５０５が示す範囲の高さにある部屋（部屋番号）をユーザが指定していた場合には、その部屋は建築物１５０２によって日照に影響を受けてしまう。つまり、ステップＳ４０２では、この建築物１５０２を日照に影響を受ける建築物と特定する。

【0111】

ステップＳ４０３では、ＭＲ処理装置１０２は、ステップＳ４０１で設定された光源の位置と、ステップＳ４０２で特定された建築物とに基づいて、ユーザから指定された部屋番号が示す部屋に入る日照角度とその日照の量を算出する。そして、ステップＳ４０４では、ＭＲ処理装置１０２は、ステップＳ１１０で読み込んだ３次元モデル、つまり仮想世界情報に対して、ステップＳ４０３で算出された日照角度やその日照の量を反映する（影反映手段）。これにより、仮想世界に設置された各種３次元モデルに陰影がつく。３次元モデルに対して色の変化を行わせるためには、レイトレーシング等の従来技術を用いることにより、実現する。

【0112】

ステップＳ４０５では、ＭＲ処理装置１０２は、現実世界のモデルルームに設置された窓の部分にマスクオブジェクトを設定する（マスクオブジェクト設定手段）。マスクオブジェクトは、仮想世界の３次元モデルが重なっていても、現実世界の物体をユーザに閲覧可能に表示させるためのオブジェクトである。このマスクオブジェクトが設置された場所は、仮想世界の３次元モデルではなく、現実世界の物体が見える。つまり、このマスクオブジェクトを窓の部分に設定すれば、仮想世界であっても現実の窓が見えるようになる。要は、ＰｈｏｔｏＳｈｏｐ（登録商標）等の画像処理ソフトウェアに搭載されているマスク機能と同様の仕組みである。本実施形態では、窓とカーテンを含むようにマスクオブジェクトを設置する。図１６の１６００は、窓とカーテンにマスクオブジェクトが設置された様子を示す図である。マスクオブジェクト自体は、無色透明であるため、ユーザからは認識できない。しかし、現実世界の窓とカーテンを含むようにマスクオブジェクトが設定されているので、ユーザはＨＭＤを通して仮想世界を閲覧したとしても、マスクオブジェクトが設定されている場所は現実世界の窓とカーテンが見える。

【0113】

ステップＳ４０６では、ＭＲ処理装置１０２は、ステップＳ４０５で設定されたマスクオブジェクトの特性を設定する。ここでいうマスクオブジェクトの特性とは、ステップＳ４０１で設定された光源が発する光を通すか否かを示すものである。つまり、マスクオブジェクトの特性を「透過」とすれば、そのマスクオブジェクトに対して照射された光は、マスクオブジェクトを通過する。一方、マスクオブジェクトの特性を「遮光」とすれば、そのマスクオブジェクトに対して照射された光は、マスクオブジェクトを通過しない。マスクオブジェクト自体は仮想世界ではユーザから見えないオブジェクトであるが、光源が発する光を通すか否かを設定できる。ステップＳ４０６では、このマスクオブジェクトの特性を「遮光」としておく。以上で、仮想世界情報の準備は完了である。

【0114】

次に、本発明の実施例におけるＨＭＤ１０３とＭＲ処理装置１０２によって行われる一連の処理について、図１７に示すフローチャートを用いて説明する。尚、Ｓ５０１、Ｓ５０５乃至Ｓ５０８、Ｓ５１４、Ｓ５１５、Ｓ５２０、Ｓ５２１の各ステップはＨＭＤ１０３におけるＣＰＵ２０１の制御の下、処理が行われる。また、Ｓ５０２乃至Ｓ５０４、Ｓ５０９乃至Ｓ５１３、Ｓ５１６乃至Ｓ５１９の各ステップはＭＲ処理装置１０２におけるＣＰＵ２０１の制御の下、処理が行われる。

【0115】

尚、この処理をＨＭＤ１０３とＭＲ処理装置１０２に実行させるためのプログラムは、ＨＭＤ１０３とＭＲ処理装置１０２にインストールされているアプリケーションの一部、若しくはアドオンプログラムとして用意されていてもよいし、アプリケーションとは別にインストールされたプログラムとして用意されていてもよい。

【0116】

ステップＳ５０１では、ＨＭＤ１０３は、ＨＭＤ１０３の右目・左目ビデオカメラ３０９で撮影された現実世界の映像（撮影映像）をＭＲ処理装置１０２に送信する（撮影映像送信手段）。

【0117】

ステップＳ５０２では、ＭＲ処理装置１０２は、ＨＭＤ１０３から送信された撮影映像を受信し（撮影映像受信手段）、ステップＳ５０３では、受信した撮影映像からＨＭＤ１０３の位置や姿勢を特定し（位置姿勢特定手段）、前述した図１４のフローチャートで生成された仮想世界情報と、特定した位置や姿勢の情報と、撮影映像とからＨＭＤ１０３に映し出す仮想世界情報（重畳映像）を生成する（重畳映像生成手段）。つまり、ＨＭＤ１０３で撮影された撮影映像に基づいて、現実世界の「どこで」「どちらを」見ているのかを特定し、その特定された位置と方向に基づいて仮想世界の視点位置を変更する（視点設定手段）。そして、変更された視点位置から見た仮想世界情報と、受信した撮影映像とを重ね合わせて、ＨＭＤ１０３に送信するための映像、つまり重畳映像を生成する。ＨＭＤ１０３の位置や姿勢を特定する方法は従来技術を用いるものとする。例えば、現実世界に位置や姿勢を特定するためのマーカーを貼りつけておき、そのマーカーの種類や位置、形状等からＨＭＤ１０３の位置や姿勢を特定してもよいし、ＨＭＤ１０３に備えられた位置センサ３０７によって位置や姿勢を特定してもよい。または、ＨＭＤ１０３を撮影するカメラを部屋に設置しておき、当該カメラの映像からＨＭＤ１０３の位置や姿勢を特定してもよい。ＨＭＤ１０３の位置や姿勢の特定方法はこれに限らない。ステップＳ５０４では、ＭＲ処理装置１０２は、ステップＳ５０３で生成された重畳映像をＨＭＤ１０３に送信する（重畳映像送信手段）。ステップＳ５０５では、ＨＭＤ１０３は、ＭＲ処理装置１０２から送信された重畳映像を受信する（重畳映像受信手段）。

【0118】

ステップＳ５０６では、ＨＭＤ１０３は、ステップＳ５０５で受信した重畳映像をＨＭＤ１０３の右目・左目ディスプレイ３１０に表示させる（表示手段）。つまり、ユーザから入力された各種設定に応じて生成された仮想世界情報をユーザに体感させる。尚、ＨＭＤ１０３の位置や姿勢は随時変化するので、前述したステップＳ５０１乃至ステップＳ５０６は常に繰り返されて、重畳映像が更新される。

【0119】

ステップＳ５０７では、ＨＭＤ１０３は、ＭＲシステムの終了指示がなされたか否かを判定する。ＨＭＤ１０３の電源が落とされたことを終了指示とみなしてもよいし、ＨＭＤ１０３にＭＲシステムを終了するボタンが備えられていてもよい。また、ＭＲ処理装置１０２の画面で終了指示がなされたことで終了とみなしてもよい。終了指示がなされたと判定された場合には、本一連の処理を終了する。終了指示がなされていない場合には、ステップＳ５０８に処理を進める。

【0120】

ステップＳ５０８では、ＨＭＤ１０３は、図１６に示すようなカーテン１６０１がユーザによって開けられたか、または閉じられたかを判定するべく、ＨＭＤ１０３の右目・左目ビデオカメラ３０９で撮像された映像をＭＲ処理装置１０２に送信する。

【0121】

ステップＳ５０９では、ＭＲ処理装置１０２は、ＨＭＤ１０３から送信された撮像映像を受信する。そして、ステップＳ５１０では、ＭＲ処理装置１０２は、受信した撮像映像を解析し、その解析の結果、ユーザによってカーテン１６０１が開けられたかを判定する。本実施形態では、撮像された映像を解析することにより、カーテン１６０１の開閉を判定するが、これに限らない。例えば、カーテン１６０１のカーテンレールにセンサを設けておき、このセンサが動作することにより、カーテン１６０１の開閉を判定してもよい。または、カーテンの裏の窓に特定のマーカーを設置しておき、当該マーカーが撮像されたとＭＲ処理装置１０２が判定したらカーテン１６０１が開けられたと判定してもよい。カーテン１６０１の開閉状況の判定はこれに限らない。ユーザによってカーテン１６０１が開けられたと判定された場合には、ステップＳ５１１に処理を進め、そうでない場合、つまりカーテンの状況に変化がないか、カーテンが閉じられた場合には、ステップＳ５１７に処理を進める。

【0122】

ステップＳ５１１では、ＭＲ処理装置１０２は、開けられたカーテン１６０１に対して前述したステップＳ４０５で設定されたマスクオブジェクトの特性を「遮光」から「透過」に変更する。つまり、光源から発した光を当該マスクオブジェクトが通過するように変更する。こうすることで、カーテン１６０１を閉じている状態では、マスクオブジェクトが光を通さないので、光源からの光を室内に通さない役割を果たすが、カーテン１６０１が開けられた場合には、このマスクオブジェクトが光を通すようになるので、光源からの光を室内に通す。つまり、カーテンの開閉動作に応じて、光源の光を通すか否かを制御することが可能となる。このように、現実の物体を動作させることで、仮想世界の情報を変更し、よりリアリティあふれる拡張現実感をユーザに提示することが可能となる。

【0123】

ステップＳ５１２では、ＭＲ処理装置１０２は、ステップＳ５１１で変更された内容を反映した仮想世界情報を再生成する。すでにステップＳ５０３において仮想世界情報は生成されているので、ステップＳ５１１の変更内容を反映させればよい。その変更が反映された仮想世界情報と受信したＳ５０９の映像とを重畳させて重畳映像を生成する。そして、ステップＳ５１３では、ＭＲ処理装置１０２は、ステップＳ５１２で生成された重畳映像をＨＭＤ１０３に表示させるべく、当該重畳映像をＨＭＤ１０３に送信する。

【0124】

ステップＳ５１４では、ＨＭＤ１０３では、ＭＲ処理装置１０２から送信された重畳映像を受信し、ステップＳ５１５では、受信した重畳映像をＨＭＤ１０３の右目・左目ディスプレイ３１０に表示させる。つまり、図１６の１６００に示すようにカーテン１６０１が閉まっている状態から、１６１０に示すようにカーテン１６０１が開けられた場合には、マスクオブジェクト１６０２の特性を「遮光」から「透過」に変更する。すると、マスクオブジェクト１６０３が窓の外に設定された光源からの光（太陽光）を通過させるようになり、部屋の内部の３次元モデルの色が変更される。つまり、部屋の床だったら１６０４に示すような範囲に対して光が当たっている場合をシミュレーションして、色を変化させる。ここで例えば、前述したように建築物が建っており、光源の角度からちょうどその建築物の影に隠れてしまう部屋だった場合には、ステップＳ４０３で算出された日照の量を反映した色で室内の３次元モデルの色を変更する。ステップＳ５１５の処理が終了したら、ステップＳ５０１に処理を戻して、ＨＭＤ１０３の位置姿勢の更新に応じた重畳映像の生成を繰り返し行う。

【0125】

一方、ステップＳ５１０でカーテンが開けられたと判定できなかった場合、ステップＳ５１６では、ＭＲ処理装置１０２は、ステップＳ５０９で受信した映像を解析した結果、ユーザによってカーテン１６０１が閉じられたかを判定する。カーテン１６０１が閉じられたかどうかを判定する方法は、前述したステップＳ５１０のカーテン１６０１が開けられたかを確認する方法と同様であるので、説明を省略する。カーテン１６０１が閉じられたと判定された場合には、ステップＳ５１７に処理を進め、そうでない場合には、ステップＳ５０１に処理を戻す。つまり、カーテン１６０１には何も変化がないとみなし、ＨＭＤ１０３の位置姿勢による重畳映像の更新を行う。

【0126】

ステップＳ５１７では、ＭＲ処理装置１０２は、閉じられたカーテン１６０１に対して前述したステップＳ５１１で変更されたマスクオブジェクトの特性を「透過」から「遮光」に変更する。つまり、光源から発した光を当該マスクオブジェクトが通過しないように変更する。要は、現実世界のカーテン１６０１は閉じられたのだから、室内にある３次元モデルが仮想世界に設定された光源の光の影響を受けてしまうと、現実的でない。そのため、カーテン１６０１が閉じられた場合には、当該カーテン１６０１に設定されたマスクオブジェクトが仮想世界に設定された光源からの光を遮断するように変更している。

【0127】

ステップＳ５１８では、ＭＲ処理装置１０２は、ステップＳ５１７で変更された内容を反映した仮想世界情報を再生成する。すでにステップＳ５０３において仮想世界情報は生成されているので、ステップＳ５１７の変更内容を反映させればよい。そして、ステップＳ５１２と同様にステップＳ５０９で受信した映像と重ね合わせて重畳映像を生成する。ステップＳ５１９では、ＭＲ処理装置１０２は、ステップＳ５１８で生成された重畳映像をＨＭＤ１０３に表示させるべく、当該重畳映像をＨＭＤ１０３に送信する。

【0128】

ステップＳ５２０では、ＨＭＤ１０３では、ＭＲ処理装置１０２から送信された重畳映像を受信し、ステップＳ５２１では、受信した重畳映像をＨＭＤ１０３の右目・左目ディスプレイ３１０に表示させる。つまり、図１６に示す１６１０に示す状態から１６００に示す状態に戻ることになる。マスクオブジェクト１６０３がマスクオブジェクト１６０２に示すように特性が「遮光」となるので、仮想世界に設定された光源からの光を遮断する。その結果、１６０４に示すように床の色が変わっていたが、光源からの光を反映していない色に変更される。つまり、ステップＳ４０４で生成された当初の色に戻る。ステップＳ５２１が終了したらステップＳ５０１に処理を戻す。

【0129】

このように、ＭＲシステムを用いて仮想的なマンションの部屋を体感する際に、光源の位置によって部屋の外部にある仮想的な建築物の影の影響を受けてしまう場合には、その影響を考慮して部屋の内部の３次元モデルの色を変更することで、日照も考慮したシミュレーションを行える。また、現実のカーテン等が開かれることで仮想世界に設定された光源の光を部屋の内部に反映するべく、当該カーテン等に設定されたマスクオブジェクトを光が通過するように変更する。そして、現実のカーテン等が閉じられた場合には、当該マスクオブジェクトを光が通過しないように変更する。こうすることで、現実の物体の動作に応じて、仮想世界に設定された光源の光を通す／通さないを制御できるので、現実世界と仮想世界を複合させたよりリアリティのあるシミュレーションを行える。

【0130】

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

【0131】

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

【0132】

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

【0133】

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

【0134】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

【0135】

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

【0136】

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

【0137】

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

【0138】

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

【0139】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

【0140】

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0141】

１００ ＭＲシステム
１０１ ＭＲ管理サーバ
１０２ ＭＲ処理装置
１０３ ＨＭＤ
１０４ ＭＲ設定端末
１０５ ネットワーク
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆ（インターフェース）コントローラ
２０９ 入力装置
２１０ ディスプレイ装置
２１１ 外部メモリ
３０１ ＣＰＵ
３０２ ＲＡＭ
３０３ ＲＯＭ
３０４ システムバス
３０５ 入力コントローラ
３０６ ビデオコントローラ
３０７ 位置センサ
３０８ 通信Ｉ／Ｆ（インターフェース）コントローラ
３０９ 右目・左目ビデオカメラ
３１０ 右目・左目ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】