知財求人 - 知財ポータルサイト「IP Force」
特開2024-71196情報処理装置、情報処理方法、プログラム、および情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071196
(43)【公開日】2024-05-24
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、および情報処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240517BHJP
G06F 3/01 20060101ALI20240517BHJP
【ＦＩ】
G06T19/00 300B
G06F3/01 510
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2022182022
(22)【出願日】2022-11-14
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】前鼻 毅
(72)【発明者】
【氏名】堀田 波星夫
(72)【発明者】
【氏名】千壽 朋子
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050BA11
5B050BA12
5B050CA07
5B050CA08
5B050EA07
5B050EA27
5B050FA06
5E555AA64
5E555BA02
5E555BA08
5E555BB02
5E555BB08
5E555BC08
5E555BD05
5E555BE17
5E555CA21
5E555CA42
5E555CB19
5E555CB20
5E555CB45
5E555CB74
5E555CC05
5E555CC26
5E555DA08
5E555DB03
5E555DB06
5E555DB32
5E555DC05
5E555DC13
5E555DC19
5E555FA00
(57)【要約】 （修正有）
【課題】仮想空間内で複数のユーザの視点の位置を対応付けて集合させる情報処理装置、情報処理方法、プログラム及び情報処理システムを提供する。
【解決手段】通信ネットワーク５０を介して相互に通信可能な複数の端末装置１０Ａ、１０Ｂ…１０ｎを備える表示システム１において、端末装置１０Ａは、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面を生成する生成部１５を備える。
【選択図】図６
【解決手段】通信ネットワーク５０を介して相互に通信可能な複数の端末装置１０Ａ、１０Ｂ…１０ｎを備える表示システム１において、端末装置１０Ａは、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面を生成する生成部１５を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、前記他のユーザの視点を示す他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する表示画面を生成する表示画面生成手段を備えた情報処理装置。
【請求項2】
前記他のユーザの操作に基づき外部装置から送信された、前記他のユーザの視点の位置を示す他の視点位置情報、および前記他のユーザの視点の近傍へ前記ユーザの視点を移動するよう指示する他の指示情報を受信する受信手段を備え、
前記表示画面生成手段は、
前記受信手段が受信した前記他の視点位置情報および前記他の指示情報に基づき、前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
前記表示画面生成手段は、
前記受信手段が受信した前記他の視点位置情報および前記他の指示情報に基づき、前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
【請求項3】
前記表示画面生成手段は、
前記他の視点が移動するときに、移動後の前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１または２記載の情報処理装置。
前記他の視点が移動するときに、移動後の前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１または２記載の情報処理装置。
【請求項4】
前記表示画面生成手段は、
前記他の視点が視界外の空間に移動するときに、移動後の前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項３記載の情報処理装置。
前記他の視点が視界外の空間に移動するときに、移動後の前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項３記載の情報処理装置。
【請求項5】
前記表示画面生成手段は、
前記他の視点が複数の候補から選択された視界外の空間に移動するときに、移動後の前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項４記載の情報処理装置。
前記他の視点が複数の候補から選択された視界外の空間に移動するときに、移動後の前記他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項４記載の情報処理装置。
【請求項6】
前記表示画面生成手段は、
前記他の視点と同じ方向を向くように前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
前記他の視点と同じ方向を向くように前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
【請求項7】
前記表示画面生成手段は、
前記他の視点に対して予め定められた位置関係で前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
前記他の視点に対して予め定められた位置関係で前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
【請求項8】
前記表示画面生成手段は、
前記他の視点に対応する位置に前記他のユーザのアバターを表示するとともに、前記アバターに重ならないように、前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項７記載の情報処理装置。
前記他の視点に対応する位置に前記他のユーザのアバターを表示するとともに、前記アバターに重ならないように、前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項７記載の情報処理装置。
【請求項9】
前記表示画面生成手段は、
前記ユーザの操作に基づき、前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
前記ユーザの操作に基づき、前記ユーザの視点を移動させた前記仮想空間を表示する前記表示画面を生成する請求項１記載の情報処理装置。
【請求項10】
前記ユーザの視点の位置を示す視点位置情報、および前記ユーザの視点の近傍へ他のユーザの視点を移動するよう指示する指示情報を、前記他のユーザの視点の位置に応じた仮想空間を表示する表示画面を生成する外部装置へ送信する送信手段を備えた請求項１記載の情報処理装置。
【請求項11】
ユーザの視点の位置に応じた仮想空間を表示するとともに、前記ユーザの操作に基づき、前記ユーザの視点の近傍に、他のユーザのアバターを移動させた前記仮想空間を表示する表示画面を生成する表示画面生成手段を備えた情報処理装置。
【請求項12】
ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、前記他のユーザの視点を示す他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する表示画面を生成する表示画面生成ステップを実行する情報処理方法。
【請求項13】
ユーザの視点の位置に応じた仮想空間を表示するとともに、前記ユーザの操作に基づき、前記ユーザの視点の近傍に、他のユーザのアバターを移動させた前記仮想空間を表示する表示画面を生成する表示画面生成ステップを実行する情報処理方法。
【請求項14】
ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、前記他のユーザの視点を示す他の視点の近傍に前記ユーザの視点を移動させた前記仮想空間を表示する表示ステップを実行する情報処理方法。
【請求項15】
ユーザの視点の位置に応じた仮想空間を表示するとともに、前記ユーザの操作に基づき、前記ユーザの視点の近傍に、他のユーザのアバターを移動させた前記仮想空間を表示する表示ステップを実行する情報処理方法。
【請求項16】
コンピュータに、請求項１２～１５の何れか記載の情報処理方法を実行させるプログラム。
【請求項17】
互いに通信可能な第１、第２の情報処理装置を備えた情報処理システムであって、
前記第１の情報処理装置は、
第１のユーザの視点の位置に応じた第１の仮想空間を表示するとともに、前記第１のユーザの操作に基づき、前記第１のユーザの視点の近傍に第２のユーザのアバターを移動させた前記第１の仮想空間を表示する第１の表示画面を生成する第１の表示画面生成手段と、
前記第２の情報処理装置に対して、前記第１のユーザの視点の位置を示す第１の視点位置情報、および前記第１のユーザの視点の位置へ前記第２のユーザの視点を移動するよう指示する指示情報を送信する送信手段と、
を備え
前記第２の情報処理装置は、
前記第１の情報処理装置から送信された、前記第１の視点位置情報、および前記指示情報を受信する受信手段と、
前記第２のユーザの視点に応じた第２の仮想空間を表示するとともに、前記受信手段により受信された前記第１の視点位置情報および前記指示情報に基づき、前記第１のユーザの視点の近傍に前記第２のユーザの視点を移動させた前記第２の仮想空間を表示する第２の表示画面を生成する第２の表示画面生成手段と、
を備える情報処理システム。
前記第１の情報処理装置は、
第１のユーザの視点の位置に応じた第１の仮想空間を表示するとともに、前記第１のユーザの操作に基づき、前記第１のユーザの視点の近傍に第２のユーザのアバターを移動させた前記第１の仮想空間を表示する第１の表示画面を生成する第１の表示画面生成手段と、
前記第２の情報処理装置に対して、前記第１のユーザの視点の位置を示す第１の視点位置情報、および前記第１のユーザの視点の位置へ前記第２のユーザの視点を移動するよう指示する指示情報を送信する送信手段と、
を備え
前記第２の情報処理装置は、
前記第１の情報処理装置から送信された、前記第１の視点位置情報、および前記指示情報を受信する受信手段と、
前記第２のユーザの視点に応じた第２の仮想空間を表示するとともに、前記受信手段により受信された前記第１の視点位置情報および前記指示情報に基づき、前記第１のユーザの視点の近傍に前記第２のユーザの視点を移動させた前記第２の仮想空間を表示する第２の表示画面を生成する第２の表示画面生成手段と、
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。
【背景技術】
【0002】
特許文献１には、ヘッドマウントディスプレイ装置のユーザが傾いている方向を検出するステップと、検出された前記傾いている方向に基づいて仮想空間におけるユーザの移動方向を決定するステップと、仮想空間におけるユーザの視界が、決定されたユーザの移動方向に移動するように、ヘッドマウントディスプレイ装置に視界を表示させるステップとを含む、仮想空間を提供するための方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７‐２２０１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、仮想空間における複数のユーザの視点の位置を対応付けることを課題とする。
【課題を解決するための手段】
【0005】
本発明の情報処理装置は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する表示画面を生成する表示画面生成手段を備える。
【発明の効果】
【0006】
本発明によれば、仮想空間における複数のユーザの視点の位置を対応付けることができる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施形態に係る表示システムの全体構成図である。
【図2】本実施形態に係るコントローラ２０の操作部を説明する図である。
【図3】押し込み移動の例を示す図である。
【図4】本実施形態に係る端末装置、サーバのハードウエア構成図である。
【図5】本実施形態に係るＨＭＤのハードウエア構成図である。
【図6】本実施形態に係る表示システムの機能ブロック図である。
【図7】本実施形態に係る部品情報管理テーブルの一例を示す概念図である。
【図8】本実施形態に係る視点位置情報管理テーブル、およびユーザ情報管理テーブルの一例を示す概念図である。
【図9】本実施形態に係る入出力画面の生成処理の一例を示すシーケンス図である。
【図10】本実施形態に係る移動処理の一例を示すフローチャートである。
【図11】本実施形態に係る複数人移動処理の一例を示すシーケンス図である。
【図12】本実施形態に係る入出力画面の説明図である。
【図13】本実施形態に係る入出力画面の第２の説明図である。
【図14】本実施形態に係る入出力画面の第３の説明図である。
【図16】本実施形態に係る集合処理の一例を示すフローチャートである。
【図17】本実施形態に係る集合処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0008】
図１は、本発明の実施形態に係る表示システムの全体構成図である。本実施形態の表示システム１は、情報処理システムの一例であり、ヘッドマウントディスプレイ（以下、ＨＭＤと記載する）８、端末装置１０、コントローラ２０、位置検知装置３０、およびサーバ４０によって構築されている。
【0009】
ＨＭＤ８は、表示装置の一例であり、端末装置１０は、情報処理装置の一例であり、サーバ４０は、情報処理装置の他の例である。
【0010】
端末装置１０およびサーバ４０は、単一のコンピュータによって構成されてもよいし、複数のコンピュータによって構成されてもよく、専用のソフトウエアプログラムがインストールされた汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよい。
【0011】
端末装置１０およびサーバ４０は、通信ネットワーク５０を介して通信することができる。通信ネットワーク５０は、インターネット、移動体通信網、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等によって構築されている。通信ネットワーク５０には、有線通信だけでなく、３Ｇ（３ｒｄＧｅｎｅｒａｔｉｏｎ）、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。
【0012】
ＨＭＤ８、コントローラ２０、および位置検知装置３０は、それぞれ端末装置１０と接続されるが、どのような接続形態で接続されてもよい。例えば、専用の接続線、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線ネットワーク、またはＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の近距離通信による無線ネットワークにより接続されてもよい。
【0013】
ＨＭＤ８は、ユーザの頭部に装着され、ユーザに対して三次元仮想空間等の画像を表示するためのディスプレイを有し、ＨＭＤ８の位置や基準方向に対する傾きに対応した画像をディスプレイ上に表示させる。なお、以下、三次元仮想空間は、単に仮想空間と記載する。
【0014】
画像は、ユーザの左右の目の視差を用いて画像を立体的に見せるため、左右の目のそれぞれに対応した２つの画像とされる。 このため、ＨＭＤ８は、左右の目のそれぞれに対応した画像を表示する２つのディスプレイを備えている。 基準方向は、例えば床に平行な任意の方向である。ＨＭＤ８は、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源を有し、赤外線を放射する。
【0015】
コントローラ２０は、ユーザが手で握る、もしくは手の位置に装着する操作手段で、ボタン、ホイール、タッチセンサ等を有し、ユーザからの入力を受け付け、受け付けた情報を端末装置１０へ送信するコントローラ２０も、赤外線ＬＥＤ等の光源を有し、赤外線を放射する。
【0016】
位置検知装置３０は、ユーザが向いた前方の任意の位置に配置され、ＨＭＤ８およびコントローラ２０から放射される赤外線から、ＨＭＤ８およびコントローラ２０の位置や傾きを検出し、それらの位置情報および傾き情報を出力する。位置検知装置３０は、例えば赤外線カメラ等を備え、撮像された画像に基づき、ＨＭＤ８およびコントローラ２０の位置や傾きを検出することができる。なお、ＨＭＤ８およびコントローラ２０が備える光源は、ＨＭＤ８やコントローラ２０の位置や傾きを高い精度で検出するため、複数設けられる。位置検知装置３０は、１以上のセンサから構成され、複数のセンサを用いる場合は、側方や後方等にも設けることができる。
【0017】
端末装置１０は、位置検知装置３０から出力されたＨＭＤ８の位置情報および傾き情報、コントローラ２０の位置情報、必要に応じてコントローラ２０の傾き情報に基づき、ＨＭＤ８の表示部に表示される仮想空間にユーザの分身を表すアバターや、ユーザ入力を支援するためのレーザ等のユーザオブジェクトを生成する。
【0018】
端末装置１０は、ＨＭＤ８の位置情報および傾き情報、仮想空間データに基づき、仮想空間におけるユーザの視野方向（正確にはＨＭＤ８の傾き方向）の画像であって、左右の目に対応した画像を生成し、ＨＭＤ８のディスプレイに表示させる処理を実行する。
【0019】
端末装置１０は、ネットワーク５０を介してサーバ４０と通信し、同じ仮想空間にいる他のユーザの位置情報等を取得し、他のユーザの分身を表すアバターをＨＭＤ８のディスプレイに表示させる処理を実行することができる。
【0020】
この場合、仮想空間を共有する複数のユーザにおける各ユーザは、ＨＭＤ８、端末装置１０、コントローラ２０、および位置検知装置３０を１セットとして利用し、各端末装置１０をサーバ４０と通信させることにより、他のユーザと仮想空間を共有することができる。
【0021】
表示システム１は、例えば、各ユーザのアバターを仮想空間としての仮想会議室に集め、ホワイトボード等を使用して会議を行うことに利用することができる。表示システム１は、ホワイトボード等を使用して会議の参加者が主体的に会議に参加することができるため、インタラクティブな会議を行う場合に利用することができる。
【0022】
表示システム１を利用した会議では、ユーザは、コントローラ２０を操作し、表示された画像内のユーザオブジェクトに触れる等してペン入力の機能を呼び出し、表示されたペンを手に取り、ペンを移動させ、ホワイトボードに文字を入力することができる。なお、これは１つの利用形態であるため、この利用形態に限定されるものではない。
【0023】
図１に示した例では、ＨＭＤ８およびコントローラ２０が光源を有し、位置検知装置３０を任意の位置に配置することを説明したが、ＨＭＤ８およびコントローラ２０が位置検知装置３０を備え、任意の位置に光源や赤外線を反射するマーカーを配置する構成であってもよい。
【0024】
マーカーを使用する場合、ＨＭＤ８およびコントローラ２０が光源および位置検知装置３０を備え、光源から出射した赤外線がマーカーに反射し、反射した赤外線を位置検知装置３０により検出することにより、ＨＭＤ８およびコントローラ２０の位置や傾きを検出することができる。
【0025】
位置検知装置３０とＨＭＤ８およびコントローラ２０との間に何らかの物体が存在する場合、赤外線が遮られ、正確に位置や傾きを検出することができなくなる。 このため、ＨＭＤ８およびコントローラ２０を使用して、操作や表示を行う場合、開けた空間で実行することが望ましい。
【0026】
図１に示す例では、ユーザがＨＭＤ８を装着し、コントローラ２０を手に握り、腕を伸ばしたり、広げたりすることができる空間が設けられ、その空間の外側に端末装置１０、位置検知装置３０が配置されている。
【0027】
図２は、本実施形態に係るコントローラ２０の操作部を説明する図である。
【0028】
コントローラ２０は、右コントローラ２０Ｒと左コントローラ２０Ｌを含む。右コントローラ２０Ｒは、ユーザの右手で操作される。左コントローラ２０Ｌは、ユーザの左手で操作される。右コントローラ２０Ｒと左コントローラ２０Ｌとは、別個の装置として対称に構成される。したがって、ユーザは、右コントローラ２０Ｒを把持した右手と、左コントローラ２０Ｌを把持した左手とをそれぞれ自由に動かすことができる。コントローラ２０は両手の操作を受け付ける一体型のコントローラであってもよい。
【0029】
右コントローラ２０Ｒ、左コントローラ２０Ｌは、親指スティック２１Ｒ、２１Ｌ、トリガー２４Ｒ、２４Ｌ、グリップ２５Ｒ、２５Ｌをそれぞれ備える。
【0030】
右コントローラ２０Ｒは、Ｂボタン２２Ｒ、Ａボタン２３Ｒを備え、左コントローラ２０Ｌは、Ｙボタン２２Ｌ、Ｘボタン２３Ｌを備える。
【0031】
ユーザは、右コントローラ２０Ｒ、左コントローラ２０Ｌコントローラの特定のトリガーまたはボタンを操作することにより、仮想空間内に表示されるメニューを設定する。ユーザは、仮想空間内に表示されるメニューを操作することにより、三次元データを選択する情報を入力したり、後述する非表示モードや透過モードを設定したりする。
【0032】
そして、右コントローラ２０Ｒ、左コントローラ２０Ｌをユーザが操作することにより、ＨＭＤ８のディスプレイに表示される仮想空間におけるユーザの視点を移動する。以下に、コントローラ２０の操作に基づき、ユーザの視点を移動する具体例を説明する。
【0033】
（レーザポイント移動）
レーザポイント移動は、主に、仮想空間上でユーザの視点を現在の位置から遠距離に移動させるために用いられる。
レーザポイント移動は、主に、仮想空間上でユーザの視点を現在の位置から遠距離に移動させるために用いられる。
【0034】
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌを持った腕を遠くに伸ばすと、位置検知装置３０により検出され、仮想空間内のユーザのアバターの手から照射されるレーザが表示される。
【0035】
ユーザが、レーザを床に当てると、マーカーオブジェクトが表示される。その時に、移動操作として、右コントローラ２０Ｒまたは左コントローラ２０Ｌのトリガー２４Ｒまたは２４Ｌを押下すると、マーカーオブジェクトの位置にユーザの視点が移動する。
【0036】
その際、ＨＭＤ８で閲覧する画像データの周縁をやや暗くしたり、画面全体を暗くしたりする、すなわち暗転することで視点移動に伴う酔いを軽減する。暗転は、具体的には、画面の全体または一部を黒表示または一部背景が見える黒表示として明るさ（輝度）を落とす処理を示す。
【0037】
表示システム１は、一例としてレーザポイント移動に係る以下の処理を実行する。
【0038】
最初に、位置検知装置３０によってＨＭＤ８やコントローラ２０の位置情報や傾きを推定する。
【0039】
次に、コントローラ２０の位置を起点とし、特定の長さで、特定方向にレーザを仮想空間上に配置する。特定方向とは、例えばコントローラ２０の所定の傾き方向である。特定の長さとは、例えば特開２０２２－０７８７７８で示した肩の推定位置とコントローラ２０の位置の距離に応じて長さを決定するような方法である。
【0040】
次に、配置されたレーザが通過する仮想空間上のオブジェクト上に移動可能であるか調べ、移動可能な場合は移動先のポイントを決定する。決定方法は後述する。
【0041】
移動先があると判断する場合は、移動が可能であるという移動可能フラグを立てユーザに移動可能であることを通知する。例えば、移動先のポイントに移動可能な移動先であることを表すマーカーオブジェクトを表示する。
【0042】
次に、仮想空間において、ＨＭＤ８の位置情報、傾き情報からＨＭＤ８の位置座標を中心とし傾きを適用した視野方向における画像データを生成する。
【0043】
移動先がないと判断する場合は、移動可能フラグを削除し、同様に画像データを生成する。
【0044】
移動可能フラグが立っている状態でユーザがコントローラ２０のボタンを押すなどの移動の意志を示した場合、移動先のポイントに移動する。
【0045】
移動する場合は、瞬間的に移動してユーザに急激な視覚的変化を与えると酔いやすいため、次に示すような方法によりＨＭＤ８で閲覧する画像データを仮想空間においてＨＭＤ８の位置情報、傾き情報からＨＭＤ８の位置座標を中心とし傾きを適用した視野方向における画像データから変化させ、瞬きに似た効果を与え視覚的な変化に順応できる余裕を与える。
【0046】
・移動する前に、画像データから徐々に暗くするフェードアウトを行う。
・移動中は画像データを真っ暗にする。
・移動した後に、画像データにフェードインして元に戻す。
・移動中は画像データを真っ暗にする。
・移動した後に、画像データにフェードインして元に戻す。
【0047】
移動では仮想空間上の移動ポイントの座標からあらかじめ推定または設定されたユーザが立っている地面からＨＭＤ８の高さ分だけ上方にユーザの視点が配置されるようにする。
【0048】
移動先のポイントの決定は次に示すような方法でレーザと特定オブジェクトの交点部分にユーザが立ちうる水平面が存在することを確認することで行う。また、レーザから近い方の特定オブジェクトに対して移動可能か調査していくことでユーザと移動先のポイントの間に壁などの遮蔽物があっても移動可能とする。特定オブジェクトは仮想空間上の建築物や地形などの移動対象となるオブジェクトである。
【0049】
最初に、レーザが通過するコントローラ２０から最も近い特定オブジェクトに対して、オブジェクトを構成するポリゴンの集合の中から特定ポリゴンを選択する。ポリゴンは三角形や四角形などの多角形の面であり、特定ポリゴンはレーザが通過するコントローラ２０から最も近いポリゴンである。
【0050】
レーザが通過するオブジェクトがない場合は、移動先がないと決定し調査を終了する。
【0051】
次に、特定ポリゴンの法線ベクトルと仮想空間の上方向のベクトルの内積からなす角を計算する。ポリゴンの法線は表向きの面から垂直方向のベクトルである。
【0052】
なす角が一定範囲内である場合に特定ポリゴンが水平面であると判断し、移動先のポイントをレーザと特定ポリゴンの交わる点として移動可能であると決定し調査を終了する。
【0053】
なす角が一定範囲外である場合には移動先にはならないと判断し、レーザが通過するコントローラ２０から次に近い特定オブジェクトに対して同様に特定ポリゴンが水平面であり移動可能か調査するのを繰り返す。
【0054】
レーザが通過する全ての特定オブジェクトにおいて水平面である特定ポリゴンがない場合は移動先がないと決定し調査を終了する。
【0055】
（透過移動）
透過移動は、レーザポイント移動の一例であり、主に、仮想空間上でユーザの視点を現在の位置から壁等の構造物の背後に移動させるために用いられる。
透過移動は、レーザポイント移動の一例であり、主に、仮想空間上でユーザの視点を現在の位置から壁等の構造物の背後に移動させるために用いられる。
【0056】
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌを持った手を遠くに伸ばすと、位置検知装置３０により検出され、仮想空間内のユーザのアバターの手から照射されるレーザが表示される。
【0057】
ユーザが、レーザを壁に当てると、壁は、一時的に表示されなくなるまたは透過して表示される。
【0058】
ユーザが、表示されなくなったまたは透過して表示された壁の背後の床にレーザを当てると、マーカーオブジェクトが表示される。その時に右コントローラ２０Ｒまたは左コントローラ２０Ｌのトリガー２４Ｒまたは２４Ｌを押下すると、マーカーオブジェクトの位置にユーザの視点が移動する。
【0059】
その際、ＨＭＤ８で閲覧する画像データの周縁をやや暗くしたり、画面全体を暗くしたりする、すなわち暗転することで視点移動に伴う酔いを軽減する。
【0060】
以下、透過移動に関して詳細に説明する。
【0061】
透過移動は、レーザポイント移動において仮想空間上のコントローラ位置から移動先となる水平面を持つオブジェクトまでの間にレーザが通過する全ての特定オブジェクトを一時的に表示しないようにし移動先のポイントを視覚的に確認できるモードである。
【0062】
壁などの視界を妨げるオブジェクトが複数存在する建築物内を移動する際に移動先がどこであるかを確認できる。また、仮想空間上で左右に壁があるような圧迫感を感じる狭い空間では酔いやすいが、透過移動のモードにすることでユーザが任意のオブジェクトを透過可能になり、圧迫感を感じにくくし酔いを抑える効果を狙っている。ユーザは壁を透過しないモードか透過移動のモードにするかを操作ＩＦによって選択することができる。特定オブジェクトは仮想空間上の建築物や地形などの移動対象となるオブジェクトである。
【0063】
表示システム１は、一例として透過移動に係る以下の処理を実行する。
【0064】
最初に、レーザポイント移動においての移動先のポイントを得る。
【0065】
移動先のポイントが存在する場合は、ポイントまでにレーザオブジェクトが通過する特定オブジェクトの全て、移動先がない場合はレーザオブジェクトが通過する特定オブジェクトの全てを列挙する。
【0066】
次に、列挙したオブジェクトそれぞれに対して透過表示、もしくは非表示を行う。透過開始時間が一定時間経過していない場合はオブジェクトを透過する。
【0067】
レーザオブジェクトを動かして、レーザオブジェクトが、列挙していたオブジェクトを通過しなくなった時点から、一定時間経過した場合はオブジェクトを再表示する。
【0068】
（前方移動）
前方移動は、主に、仮想空間上でユーザの視点を現在の位置から近距離に移動させるために用いられる。
前方移動は、主に、仮想空間上でユーザの視点を現在の位置から近距離に移動させるために用いられる。
【0069】
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを前方に倒すことで、ＨＭＤ８の向いている方向の一定距離前方に瞬時にユーザの視点が移動する。このときの「ＨＭＤ８の向いている方向」とは水平方向成分だけでなく垂直方向成分も含まれる。そのため、例えばＨＭＤ８が水平方向よりやや上を向いている場合は斜め上前方に移動し、移動先の視点の位置は移動前よりも高さが高くなる。
【0070】
（後方移動）
後方移動は、主に、仮想空間上でユーザの視点を現在の位置から近距離に移動させるために用いられる。
後方移動は、主に、仮想空間上でユーザの視点を現在の位置から近距離に移動させるために用いられる。
【0071】
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを後方に倒すことで、ＨＭＤ８の向いている方向の一定距離後方に瞬時にユーザの視点が移動する。このときの「ＨＭＤ８の向いている方向」とは水平方向成分だけとなり、垂直方向成分は含まれない。そのため、例えばＨＭＤ８が水平方向よりやや上を向いている場合でも、移動先の視点の位置は移動前と高さが同じとなり、斜め下後ろに下がるわけではない。
【0072】
また、ここでの移動量は前方移動での移動量よりも短いものになる。これにより前方移動と後方移動を繰り返しても同じ位置を往復することがないため、ユーザが位置を調整しやすくなっている。
【0073】
（水平回転）
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを左右に倒すことで、瞬時にユーザの視点が水平回転する。
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを左右に倒すことで、瞬時にユーザの視点が水平回転する。
【0074】
一例として、親指スティック２１Ｒまたは２１Ｌを左に倒すことで左に４５°、右に倒すことで右に４５°ユーザの視点が瞬時に水平回転する。
【0075】
これにより、ユーザは、自分自身の体を左右に回転させることなく、左右・後方の視界を見ることができる。
【0076】
また、ユーザの操作の熟練度に応じて、グリップ２５Ｒ、２５Ｌ等の特定のボタンを使うことにより細かい回転を行ってもよい。例えば、特定のボタンを押しながら同じ手の親指スティック２１Ｒまたは２１Ｌを操作することにより、半量の回転（２２．５°）となったりして、回転量の微調整を行うことが可能になる。
【0077】
（上昇移動）
ユーザが、右コントローラ２０ＲのＢボタン２２Ｒ、または左コントローラ２０ＬのＹボタンを押下することで、瞬時にユーザの視点が一定距離上方に移動する。移動方向は仮想空間上の地面に直交する正のＺ軸方向であり、ＨＭＤ８がどの方向を向いていても不変である。
ユーザが、右コントローラ２０ＲのＢボタン２２Ｒ、または左コントローラ２０ＬのＹボタンを押下することで、瞬時にユーザの視点が一定距離上方に移動する。移動方向は仮想空間上の地面に直交する正のＺ軸方向であり、ＨＭＤ８がどの方向を向いていても不変である。
【0078】
（下降移動）
ユーザが、右コントローラ２０ＲのＡボタン２３Ｒ、または左コントローラ２０ＬのＸボタン２３Ｌを押下することで、瞬時にユーザの視点が一定距離下方に移動する。
ユーザが、右コントローラ２０ＲのＡボタン２３Ｒ、または左コントローラ２０ＬのＸボタン２３Ｌを押下することで、瞬時にユーザの視点が一定距離下方に移動する。
【0079】
移動方向は仮想空間上の地面に直交する負のＺ軸方向であり、ＨＭＤ８がどの方向を向いていても不変である。
【0080】
また、ここでの移動量は上昇移動での移動量よりも短いものになる。これにより上昇移動と下降移動を繰り返しても同じ位置を往復することがないため、ユーザが位置を調整しやすくなっている。
【0081】
（押し込み移動）
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを上から押し込むことで、真下の地面に接地する位置に瞬時にユーザの視点が移動する。
ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを上から押し込むことで、真下の地面に接地する位置に瞬時にユーザの視点が移動する。
【0082】
移動先の算出方法としては、まず、親指スティック２１Ｒまたは２１Ｌを上から押し込んだ時点のユーザの位置から、仮想空間上の地面に直交する負のＺ軸方向に伸ばした時にユーザから最も近い仮想空間上のオブジェクトと交わる位置を求める。
【0083】
その位置から、あらかじめ推定または設定されたユーザが立っている地面からＨＭＤ８の高さ分だけ上方にずらした位置がユーザの視点の移動先となる。
【0084】
押し込み移動を行うことで、上昇移動や下降移動とは異なり、瞬時に実身長での視点確認等が容易に行える。
【0085】
（グリップ移動）
ユーザが、グリップ移動操作として、右コントローラ２０Ｒおよび左コントローラ２０Ｌのグリップ２５Ｒおよび２５Ｌを同時に押している状態で、右コントローラ２０Ｒおよび左コントローラ２０Ｌを動かすと、上下左右前後にユーザの視点を平行移動する。
ユーザが、グリップ移動操作として、右コントローラ２０Ｒおよび左コントローラ２０Ｌのグリップ２５Ｒおよび２５Ｌを同時に押している状態で、右コントローラ２０Ｒおよび左コントローラ２０Ｌを動かすと、上下左右前後にユーザの視点を平行移動する。
【0086】
仮装空間を両手で掴んで移動するイメージで、右コントローラ２０Ｒおよび左コントローラ２０Ｌのグリップ２５Ｒおよび２５Ｌを同時に押し始めた時点の両手の位置を基準として、連続的にユーザの視点が移動する。
【0087】
他の移動方法とは異なり一定の距離を瞬時に移動するのではなく、連続的にユーザの視点が移動するため、ユーザは細かい位置調整が可能になる。
【0088】
連続的にユーザの視点が移動するとベクションによる酔いが発生しやすくなるので、平行移動状態時にはＨＭＤ８で閲覧する画像データの周縁をやや暗くする、すなわち暗転することで酔いを軽減する。
【0089】
また、ユーザの操作の熟練度に応じて、グリップ移動の操作を有効または無効に切り替えることが可能である。
【0090】
図３は、押し込み移動の例を示す図であり、想空間上に水面９３０、地形９４０、および建築物９５０が配置されている状態を示す。
【0091】
図２で説明したように、ユーザが、右コントローラ２０Ｒまたは左コントローラ２０Ｌの親指スティック２１Ｒまたは２１Ｌを上から押し込むことで、ユーザから最も近い真下のオブジェクトに接地する位置に瞬時にユーザの視点が移動する。
【0092】
図３に示すように、ユーザのアバター８００は、最も近く真下にあるオブジェクトが建築物９５０の場合は建築物９５０に接地する位置に移動し、最も近く真下にあるオブジェクトが水面９３０の場合は水面９３０に接地する位置に移動し、最も近く真下にあるオブジェクトが地形９４０の場合は地形９４０に接地する位置に移動する。
【0093】
図４は、本実施形態に係る端末装置、サーバのハードウエア構成図である。端末装置１０の各ハードウエア構成は、１００番台の符号で示されており、サーバ４０の各ハードウエア構成は、４００番台の符号で示されている。
【0094】
以下、端末装置１０の各ハードウエア構成について説明するが、サーバ４０の各ハードウエア構成は同様であるため説明を省略する。
【0095】
端末装置１０は、コンピュータによって構築されており、図４に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）１０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ１０５、ディスプレイＩ／Ｆ１０６および通信Ｉ／Ｆ１０７を備えている。
【0096】
これらのうち、ＣＰＵ１０１は、端末装置１０全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。 ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。
【0097】
ＨＤ１０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ１０５は、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイＩ／Ｆ１０６は、ディスプレイ１０６ａに画像を表示させる回路である。ディスプレイ１０６ａは、カーソル、メニュー、ウインドウ、文字または画像等の各種情報を表示する液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示部の一種である。通信Ｉ／Ｆ１０７は、他の装置との通信に用いられるインターフェースである。通信Ｉ／Ｆ１０７は、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に対応したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等である。
【0098】
また、端末装置１０は、センサＩ／Ｆ１０８、音入出力Ｉ／Ｆ１０９、入力Ｉ／Ｆ１１０、メディアＩ／Ｆ１１１、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ１１２を備えている。
【0099】
センサＩ／Ｆ１０８は、検知装置３０に含まれるセンサアンプ３０２を介して検知情報を受信するインターフェースである。音入出力Ｉ／Ｆ１０９は、ＣＰＵ１０１の制御に従ってスピーカ１０９ａおよびマイク１０９ｂとの間で音信号の入出力を処理する回路である。入力Ｉ／Ｆ１１０は、端末装置１０に所定の入力手段を接続させるためのインターフェースである。
【0100】
キーボード１１０ａは、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス１１０ｂは、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。
【0101】
メディアＩ／Ｆ１１１は、フラッシュメモリ等の記録メディア１１１ａに対するデータの読み出しまたは書き込み（記憶）を制御する。ＤＶＤ－ＲＷドライブ１１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ１１２ａに対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。また、ＤＶＤ－ＲＷドライブ１１２は、ブルーレイディスク（登録商標）に対する各種データの読み出しまたは書き込みを制御するブルーレイドライブであってもよい。
【0102】
また、端末装置１０は、バスライン１１３を備えている。バスライン１１３は、ＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0103】
なお、上記各プログラムが記憶されたＨＤやＣＤ－ＲＯＭ等の記録媒体は、いずれもプログラム製品（Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ）として、国内または国外へ提供されることができる。端末装置１０は、例えば、本発明に係るプログラムが実行されることで本発明に係る情報処理方法を実現する。
【0104】
近距離通信回路１１７は、ＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の通信回路であり、アンテナ１１７ａと接続される。
【0105】
以上、端末装置１０およびサーバ４０の各ハードウエア構成について説明したが、コントローラ２０も同様または簡略されたハードウエア構成を備える。検知装置３０も、端末装置１０およびサーバ４０と同様または簡略されたハードウエア構成を備えるが、さらに、赤外線カメラ等のセンサまたは検知デバイスを備える。
【0106】
＜ＨＭＤのハードウエア構成＞
図５は、本実施形態に係るＨＭＤのハードウエア構成図である。ＨＭＤ８は、信号送受信部８０１、信号処理プロセッサ８０２、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３、パネルコントローラ８０４、ＲＯＭ８０５、ＣＰＵ８０６、表示部８０８Ｒ，８０８Ｌ、ＲＯＭ８０９、ＲＡＭ８１０、音声ＤＡＣ８１１、スピーカ８１２Ｒ，８１２Ｌ、ユーザ操作部８２０、装着センサ８２１、加速度センサ８２２、及び輝度センサ８３０を備えている。また、ＨＭＤ８は、電源供給を行う電源部８３０、及び、電源部８３０の電源供給を行ったり停止したりすることができる電源スイッチ８３１を備えている。
図５は、本実施形態に係るＨＭＤのハードウエア構成図である。ＨＭＤ８は、信号送受信部８０１、信号処理プロセッサ８０２、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３、パネルコントローラ８０４、ＲＯＭ８０５、ＣＰＵ８０６、表示部８０８Ｒ，８０８Ｌ、ＲＯＭ８０９、ＲＡＭ８１０、音声ＤＡＣ８１１、スピーカ８１２Ｒ，８１２Ｌ、ユーザ操作部８２０、装着センサ８２１、加速度センサ８２２、及び輝度センサ８３０を備えている。また、ＨＭＤ８は、電源供給を行う電源部８３０、及び、電源部８３０の電源供給を行ったり停止したりすることができる電源スイッチ８３１を備えている。
【0107】
これらのうち、信号送受信部８０１は、ケーブルを介して、ＡＶ信号を受信したり、ＣＰＵ８０６（後述）で処理された情報信号を送信したりする。本実施形態では、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）信号はケーブルを介してシリアル転送されるので、信号送受信部８０１では受信信号のシリアル・パラレル変換が行なわれる。
【0108】
信号処理プロセッサ８０２は、信号送受信部８０１で受信したＡＶ信号を映像信号と音声信号に分離して、それぞれに対して映像信号処理並びに音声信号処理を行なう。
【0109】
信号処理プロセッサ８０２では、映像信号処理として、輝度レベル調整やコントラスト調整、その他の画質改善が行なわれる。また、信号処理プロセッサ８０２は、ＣＰＵ８０６からの指示により、本来の映像信号に対して各種の処理を適用する。例えば、文字及び図形の少なくとも一方で構成されるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）情報を生成して、本来の映像信号に重畳する。ＲＯＭ８０５には、ＯＳＤ情報の生成に必要な信号パターンが格納されており、信号処理プロセッサ８０２はＲＯＭ８０５に格納されている情報を読み出す。
【0110】
本来の映像情報に重畳されるＯＳＤ情報の一例は、画面及び音声の出力調整などのためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。そして、映像信号処理を経て生成された画面情報は、ＶＲＡＭ８０３に一時的に格納される。供給された映像信号が立体視映像信号等左右で映像信号が異なるときには、信号処理プロセッサ８０２は左右の映像信号に分離して、画面情報を生成する。
【0111】
左右の表示部８０８Ｌ，８０８Ｒはそれぞれ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子からなる表示パネルと、表示パネルを駆動するゲート・ドライバー及びデータ・ドライバーからなる。また、左右の表示部８０８Ｌ，８０８Ｒにはそれぞれ広視野角を持つ光学系が装備される。但し、図５では光学系を省略している。
【0112】
ユーザは、左右の表示部８０８Ｌ，８０８Ｒに表示される仮想空間内のメニューを操作することにより、三次元データを選択する情報を入力したり、後述する非表示モードや透過モードを設定したりする。
【0113】
パネルコントローラ８０４は、所定の表示周期毎にＶＲＡＭ８０３から画面情報を読み出して、各表示部８０８Ｌ，８０８Ｒへ入力するための信号に変換するとともに、ゲート・ドライバー及びデータ・ドライバーの動作に用いられる、水平同期信号、垂直同期信号などのパルス信号を生成する。
【0114】
ＣＰＵ８０６は、ＲＯＭ８０９からＲＡＭ８１０にロードされたプログラムを実行して、ＨＭＤ８全体の動作を統括的に制御する。また、ＣＰＵ８０６は、信号送受信部８０１を介して、情報信号の送受信を制御する。
【0115】
ＨＭＤ８本体には、ユーザが指などで操作可能な１以上の操作子を備えたユーザ操作部８２０が装備されている。
【0116】
操作子は、図示しないが、例えば上下左右のカーソルキーと、中央の決定キーの組み合わせからなる。また、本実施形態では、ヘッドフォン８１２Ｌ，８１２Ｒの音量を増大する「＋」ボタンと、音量を低下させる「－」ボタンもユーザ操作部８２０に含まれるものとする。ＣＰＵ８０６は、ユーザ操作部８２０から入力されたユーザの指示に従って、表示部８０８Ｒ，８０８Ｌからの映像出力やヘッドフォン８１２Ｌ，８１２Ｒからの音声出力などに関する処理を信号処理プロセッサ８０２に対して指示する。また、ユーザ操作部８２０から映像の再生、停止、早送り、早戻しなどのコンテンツ再生に関する操作が指示されると、ＣＰＵ８０６は、信号送受信部８０１から、指示内容を通知するための情報信号を送信する。
【0117】
また、本実施形態では、ＨＭＤ８は、装着センサ８２１、加速度センサ８２２、輝度センサ８２３などの複数のセンサを装備している。これらのセンサ出力は、ＣＰＵ８０６に入力される。
【0118】
装着センサ８２１は、例えば機械スイッチなどからなる。ＣＰＵ８０６は、このセンサ出力によってＨＭＤ８がユーザに装着されているかどうか、すなわち、ＨＭＤ８が現在使用中であるかどうかを判定することができる。
【0119】
加速度センサ８２２は、例えば３軸で構成され、ＨＭＤ８に加わる加速度の大きさ及び方向を検出する。 ＣＰＵ８０６は、取得した加速度情報に基づいて、ＨＭＤ８を装着したユーザの頭部の移動をトラッキングすることができる。
【0120】
輝度センサ８２３は、ＨＭＤ８が現在置かれている環境における輝度を検出する。ＣＰＵ８０６は、輝度センサ８２３は、取得した輝度情報に基づいて、映像信号に対して適用する輝度レベル調整を制御するようにしてもよい。
【0121】
また、ＣＰＵ８０６は、必要に応じて、各センサ８２１～８２３から取得したセンサ情報を、信号送受信部８１１から送信することもできる。
【0122】
電源部８３０は、ＰＣ７から供給される駆動電力を、図５中の破線で囲まれた各回路部品へ供給する。また、ＨＭＤ８本体には、ユーザが指などで操作可能な電源スイッチ８３１が装備されている。電源部８３０は、電源スイッチ８３１が操作されたことに応じて、回路部品への給電のオン／オフを切り替えるようになっている。
【0123】
なお、電源スイッチ８３１で電源オフにした状態は、電源部８３０は給電状態で待機している、ＨＭＤ８の「スタンバイ」状態とする。
【0124】
図６は、本実施形態に係る表示システムの機能ブロック図である。
【0125】
表示システム１は、通信ネットワーク５０を介して相互に通信可能な複数の端末装置１０Ａ、１０Ｂ…１０ｎを備えるとともに、複数の端末装置１０Ａ、１０Ｂ…１０ｎのそれぞれに接続されるＨＭＤ８Ａ、コントローラ２０Ａ、および検知装置３０Ａと、ＨＭＤ８Ｂ、コントローラ２０Ｂ、および検知装置３０Ｂ等を備える。
【0126】
以下、端末装置１０Ａ、ＨＭＤ８Ａ、コントローラ２０Ａ、および検知装置３０Ａの機能を説明するが、端末装置１０Ｂ、ＨＭＤ８Ｂ、コントローラ２０Ｂ、および検知装置３０Ｂ等の機能も同様である。
【0127】
＜端末装置の機能構成＞
端末装置１０Ａは、送受信部１１、受付部１２、表示制御部１３、記憶・読出部１４、生成部１５、判断部１６、および通信部１７を備える。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。
端末装置１０Ａは、送受信部１１、受付部１２、表示制御部１３、記憶・読出部１４、生成部１５、判断部１６、および通信部１７を備える。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。
【0128】
ここで、送受信部１１等の手段は、端末装置１０Ｂが備える送受信部１１等の手段と区別する必要がある場合は、末尾にＡを記載するが、区別する必要がない場合は、末尾にＡを記載しない。
【0129】
また、端末装置１０Ａは、図４に示されているＲＡＭ１０３及びＨＤ１０４により構築される記憶部１０００を有している。記憶部１０００は、記憶手段の一例である。
【0130】
送受信部１１は、通信ネットワーク５０を介して、サーバ４０等の他の装置との間で、各種データまたは情報の送受信を行う機能である。送受信部１１は、主に、図４に示した通信Ｉ／Ｆ１０７およびＣＰＵ１０１で実行されるプログラム等によって実現される。送受信部１１は、送信手段および受信手段の一例である。
【0131】
【0132】
表示制御部１３は、図４に示したディスプレイ１０６ａに各種画面を表示させる機能である。表示制御部１３は、例えば、ＷＥＢブラウザ等を用いて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等により生成された画像データに係る画面を、ディスプレイ１０６ａに表示させる。表示制御部１３は、主に、図４に示したディスプレイＩ／Ｆ１０６、およびＣＰＵ１０１で実行されるプログラム等によって実現される。
【0133】
記憶・読出部１４は、記憶部１００に各種データを記憶させ、または記憶部１００から各種データを読み出す機能である。記憶・読出部１４は、主に、図４に示したＣＰＵ１０１で実行されるプログラム等によって実現される。
【0134】
記憶部１０００は、主に、図４に示したＲＯＭ１０２、ＨＤ１０４および記録メディア１１１ａによって実現される。
【0135】
生成部１５は、ディスプレイ１０６ａやＨＭＤ８Ａの表示部８０８Ｒ，８０８Ｌ等に表示させる各種画像データを生成する機能である。生成部１５は、主に、図４に示したＣＰＵ４０１で実行されるプログラム等によって実現される。生成部１５は、表示画面生成手段の一例である。
【0136】
判断部１６は、各種判断を実行する機能である。判断部１６は、主に、図４に示したＣＰＵ４０１で実行されるプログラム等によって実現される。
【0137】
通信部１７は、ＨＭＤ８Ａ、コントローラ２０Ａおよび検知装置３０Ａとの間で各種データ（または情報）の送受信を行う機能である。通信部１７は、主に、図４に示した近距離通信回路１１７、およびＣＰＵ１０１で実行されるプログラム等によって実現される。
【0138】
設定部１８は、各種判断を実行する機能である。設定部１８は、主に、図４に示したＣＰＵ４０１で実行されるプログラム等によって実現される。
【0139】
＜サーバの機能構成＞
サーバ４０は、送受信部４１、受付部４２、表示制御部４３、記憶・読出部４４、三次元処理部４５、および生成部４６を備える。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は機能する手段である。
サーバ４０は、送受信部４１、受付部４２、表示制御部４３、記憶・読出部４４、三次元処理部４５、および生成部４６を備える。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は機能する手段である。
【0140】
また、サーバ４０は、図４に示されているＲＡＭ４０３及びＨＤ４０４により構築される記憶部４０００を有している。記憶部４０００は、記憶手段の一例である。
【0141】
送受信部４１は、通信ネットワーク５０を介して、端末装置１０Ａ等の他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部４１は、主に、図４に示した通信Ｉ／Ｆ４０７およびＣＰＵ４０１で実行されるプログラム等によって実現される。送受信部４１は、送信手段および受信手段の一例である。
【0142】
【0143】
表示制御部４３は、図４に示したディスプレイ４０６ａに各種画面を表示させる機能である。表示制御部４３は、例えば、ＷＥＢブラウザ等を用いて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等により生成された画像データに係る画面を、ディスプレイ４０６ａに表示させる。表示制御部４３は、主に、図４に示したディスプレイＩ／Ｆ４０６、およびＣＰＵ４０１で実行されるプログラム等によって実現される。
【0144】
記憶・読出部４４は、記憶部４０００に各種データを記憶させ、または記憶部４０００から各種データを読み出す機能である。記憶・読出部４９は、主に、図４に示したＣＰＵ４０１で実行されるプログラム等によって実現される。
【0145】
記憶部４０００は、主に、図４に示したＲＯＭ４０２、ＨＤ４０４および記録メディア４１１ａによって実現される。記憶部４０００には、部品情報管理ＤＢ４００１、視点位置情報管理ＤＢ４００２およびユーザ情報管理ＤＢ４００３が構築されている。部品情報管理ＤＢ４００１は、後述する部品情報管理テーブルによって構成されている。
【0146】
三次元処理部４５は、主に、図４に示したＣＰＵ４０１の処理によって実現され、各種三次元処理を行う機能である。
【0147】
生成部４６は、ディスプレイ４０６ａや端末装置１０Ａのディスプレイ１０６ａやＨＭＤ８Ａの表示部８０８Ｒ，８０８Ｌ等に表示させる各種画像データを生成する機能である。生成部４６は、主に、図４に示したＣＰＵ４０１で実行されるプログラム等によって実現される。生成部４６は、表示画面生成手段の一例である。
【0148】
＜ＨＭＤの機能構成＞
ＨＭＤ８Ａは、音出力部８１、表示制御部８２、受付部８３、主制御部８４、装着センサ部８５、加速度センサ部８６、音制御部８７、及び通信部８８を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ８０５からＶＲＡＭ８０３上、又はＲＯＭ８０９からＲＡＭ８１０上に展開されたＨＭＤ８Ａ用プログラムに従ったＣＰＵ８０６からの命令によって動作することで実現される機能又は手段である。
ＨＭＤ８Ａは、音出力部８１、表示制御部８２、受付部８３、主制御部８４、装着センサ部８５、加速度センサ部８６、音制御部８７、及び通信部８８を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ８０５からＶＲＡＭ８０３上、又はＲＯＭ８０９からＲＡＭ８１０上に展開されたＨＭＤ８Ａ用プログラムに従ったＣＰＵ８０６からの命令によって動作することで実現される機能又は手段である。
【0149】
音出力部８１は、主にＣＰＵ８０６の処理、及びスピーカ８１２Ｒ，８１２Ｌによって実現され、装着者（参加者）へ音を伝える。
【0150】
表示制御部８２は、主にＣＰＵ８０６の処理、及び表示部８０８Ｒ，８０８Ｌによって実現され、選択した画像を表示する。
【0151】
表示制御部８２は、図５に示した表示部８０８Ｒ，８０８Ｌに各種画面を表示させる機能である。表示制御部８２は、主に、図５に示したパネルコントローラ８０４、およびＣＰＵ８０６で実行されるプログラム等によって実現される。
【0152】
主制御部８４は、主にＣＰＵ８０６によって実現され、ＨＭＤの処理に必要な処理を表す。
【0153】
【0154】
装着センサ部８５は、主にＣＰＵ８０６の処理、及び装着センサ８２１によって実現され、参加者がＨＭＤ８Ａを装着しているかを調べる処理を行う。加速度センサ部８６は、主にＣＰＵ８０６の処理、及び加速度センサ８２２によって実現されＨＭＤ８Ａの移動を検知する処理を行う。
【0155】
音制御部８７は、主にＣＰＵ８０６の処理、及び音声ＤＡＣ８１１によって実現され、ＨＭＤ８Ａから音を出す処理を制御する。
【0156】
通信部８８は、端末装置１０Ａとの間で各種データ（または情報）の送受信を行う機能である。通信部８８は、主に、ＣＰＵ８０６の処理、及び信号送受信部８０１によって実現される。
【0157】
＜コントローラの機能構成＞
コントローラ２０Ａは、通信部２１および受付部２２を備える。これら各部は、図４に示した端末装置、サーバの構成要素と同様または簡略された各構成要素のいずれかが動作することで実現される機能又は機能する手段である。
コントローラ２０Ａは、通信部２１および受付部２２を備える。これら各部は、図４に示した端末装置、サーバの構成要素と同様または簡略された各構成要素のいずれかが動作することで実現される機能又は機能する手段である。
【0158】
通信部２１は、端末装置１０Ａとの間で各種データ（または情報）の送受信を行う機能である。通信部２１は、主に、図４に示した近距離通信回路１１７と同様の通信回路によって実現される。
【0159】
受付部２２は、図４に示したキーボード１１０ａ等と同様の入力手段に対するユーザ入力を受け付ける機能である。
【0160】
＜検知装置の機能構成＞
検知装置３０Ａは、通信部３１および検知部３２を備える。これら各部は、図４に示した端末装置、サーバの構成要素と同様または簡略された各構成要素のいずれかによって動作することで実現される機能又は機能する手段である。
検知装置３０Ａは、通信部３１および検知部３２を備える。これら各部は、図４に示した端末装置、サーバの構成要素と同様または簡略された各構成要素のいずれかによって動作することで実現される機能又は機能する手段である。
【0161】
通信部３１は、端末装置１０Ａとの間で各種データ（または情報）の送受信を行う機能である。通信部３１は、主に、図４に示した近距離通信回路１１７と同様の通信回路で実行されるプログラム等によって実現される。
【0162】
検知部３２は、赤外線カメラ等のセンサまたは検知デバイスの出力に基づき、ＨＭＤ８Ａおよびコントローラ２０Ａの位置や傾きを検知する機能である。
【0163】
図７は、本実施形態に係る部品情報管理テーブルの一例を示す概念図である。部品情報管理テーブルは、仮想空間に含まれる構造物を構成する部品の属性を示す属性情報を管理するためのテーブルである。記憶部４０００には、図７に示されているような部品情報管理テーブルによって構成されている部品情報管理ＤＢ４００１が構築されている。
【0164】
図７では、構造物が建造物である例を示すが、構造物は、医療用のシミュレーションなどに持ちられる臓器等であってもよく、その場合、部品情報管理テーブルは、臓器等を構成するパーツの属性を示す属性情報を管理する。
【0165】
この部品情報管理テーブルでは、属性情報として、仮想空間に含まれる構造物を識別する構造物データ毎に、部品ＮＯ、部材情報、寸法情報、色情報、材料情報、位置情報、および施工日情報が関連づけられて管理されている。
【0166】
部材情報は、部品により構成される壁、床、天井、窓、配管、およびドア等の部材を識別する情報である。
【0167】
寸法情報は、仮想空間における部品の寸法を識別する情報であり、例えば、ＸＹＺの３軸方向の数値で示される。
【0168】
色情報は、部品の色を識別する情報であり、材料情報は、部品の材料を識別する情報である。
【0169】
位置情報は、仮想空間における部品の位置を識別する情報であり、例えば、ＸＹＺの３軸方向の座標で示される。これにより、複数の部品のそれぞれが、隣り合っているか否か識別することが可能になる。
【0170】
施工日情報は、現実の世界において、部品が施工される予定日を示す情報である。これにより、ある時点において未施工の部品を除いた構造物を識別することが可能になる。
【0171】
図８は、本実施形態に係る視点位置情報管理テーブル、およびユーザ情報管理テーブルの一例を示す概念図である。
【0172】
図８（ａ）に示す視点位置情報管理テーブルは、複数の視点位置を管理するためのテーブルである。記憶部４０００には、図８（ａ）に示されているような視点位置情報管理テーブルによって構成されている視点位置情報管理ＤＢ４００２が構築されている。
【0173】
この視点位置情報管理テーブルでは、視点の識別情報、移動順、プレビュー画像、視点位置が含まれる空間情報、位置情報、視点の向きを示す方向情報、および視点における画角を示す画角情報が関連づけられて管理されている。
【0174】
後述するように、視点位置情報管理ＤＢ４００２に記憶された移動順で複数の視点を順次移動させることにより、仮想空間におけるツアー機能を実現することができる。
【0175】
図８（ｂ）に示すユーザ情報管理テーブルは、ユーザの権限を管理するためのテーブルである。記憶部４０００には、図８（ｂ）に示されているようなユーザ情報管理テーブルによって構成されているユーザ情報管理ＤＢ４００３が構築されている。
【0176】
このユーザ情報管理テーブルでは、ユーザ名毎に、管理者、一般およびゲスト等の権限が関連づけられて管理されている。
【0177】
権限が一般であるユーザは、後述する単独移動操作およびツアー機能を開始する複数人移動操作を行うことが可能である。
【0178】
権限がゲストであるユーザは、後述する単独移動操作およびツアー機能を開始する複数人移動操作を行うことができないが、他のユーザが開始するツアー機能には参加可能である。
【0179】
権限が管理者であるユーザは、権限が一般であるユーザが可能な操作に加えて、ユーザ情報管理ＤＢ４００３におけるユーザ毎の権限を設定、変更することができる。
【0180】
権限が管理者であるユーザは、一例として、操作が不慣れなユーザに対してご操作を行わないように権限をゲストに設定する。
【0181】
図９は、本実施形態に係る入出力画面の生成処理の一例を示すシーケンス図である。
【0182】
ＨＭＤ８の受付部８３は、ユーザがユーザ操作部８２０によりＨＭＤ８の電源を入れて装着し、ＨＭＤ８の表示部８０８Ｌと８０８Ｒに表示された画像情報に基づいて、コントローラ２０を用いて三次元データを選択する情報を入力すると、選択を受け付ける（ステップＳ１）。
【0183】
通信部８８は、三次元データを選択する選択情報を端末装置１０に対して送信し、端末装置１０の通信部１７は、ＨＭＤ８から送信された選択情報を受信する（ステップＳ２）。
【0184】
送受信部１１は、ＨＭＤ８から受信した選択情報をサーバ４０に対して送信し、サーバ４０の送受信部４１は、端末装置１０から送信された選択情報を受信する（ステップＳ３）。
【0185】
記憶・読出部４４は、ステップＳ３で受信された選択情報を検索キーとして部品情報管理ＤＢ４００１を検索することで、選択情報に関連づけられた構造物データに係る部品の属性情報を読み出して、三次元処理部４５は、記憶・読出部４４が読みだした部品の属性情報に基づき、読み出した属性情報の部品により構成される構造物を含む仮想空間を生成する（ステップＳ４）。
【0186】
送受信部４１は、ステップＳ４で生成した仮想空間を示す仮想空間情報を端末装置１０に対して送信し、端末装置１０の送受信部１１は、サーバ４０から送信された仮想空間情報を受信する（ステップＳ５）。
【0187】
ＨＭＤ８の受付部８３は、ユーザによるユーザ操作部８２０に対する各種操作を受け付ける（ステップＳ６）。
【0188】
通信部８８は、ステップＳ６で受け付けた操作を示す操作情報を端末装置１０に対して送信し、端末装置１０の通信部１７は、ＨＭＤ８から送信された操作情報を受信する（ステップＳ７）。
【0189】
コントローラ２０の受付部２２は、図２で説明したユーザによる各種操作を受け付ける（ステップＳ８）。
【0190】
通信部２１は、ステップＳ８で受け付けた操作を示す操作情報を端末装置１０に対して送信し、端末装置１０の通信部１７は、コントローラ２０から送信された操作情報を受信する（ステップＳ９）。
【0191】
検知装置３０の検知部３２は、ＨＭＤ８およびコントローラ２０の位置や傾きを検知する（ステップＳ１０）。
【0192】
通信部３１は、ステップＳ１０で検知した情報を示す検知情報を端末装置１０に対して送信し、端末装置１０の通信部１７は、検知装置３０から送信された検知情報を受信する（ステップＳ１１）。
【0193】
端末装置１０の送受信部１１は、ステップＳ７でＨＭＤ８から受信した操作情報、ステップＳ９でコントローラ２０から受信した操作情報、およびステップＳ１１で検知装置３０から受信した検知情報をサーバ４０に対して送信し、サーバ４０の送受信部４１は、端末装置１０から送信されたこれらの情報を受信する（ステップＳ１２）。そして、サーバ４０の送受信部４１は、端末装置１０から受信したこれらの情報を他の端末装置に対して送信する。
【0194】
サーバ４０の送受信部４１は、ステップＳ１２で受信した情報に対応する情報を他の端末装置から受信すると端末装置１０に対して送信し、端末装置１０の送受信部１１は、サーバ４０から送信された情報を受信する（ステップＳ１３）。
【0195】
端末装置１０の生成部１５は、ステップＳ５で受信した仮想空間情報、ステップＳ７で受信した操作情報、ステップＳ９で受信した操作情報、ステップＳ１１で受信した検知情報、およびステップＳ１３で受信した情報に基づき、構造物を含む仮想空間を表示する入出力画面を生成する（ステップＳ１４）。ステップＳ１４は、表示画面生成ステップの一例である。
【0196】
端末装置１０の通信部１７は、ステップＳ１４で生成した入出力画面を示す入出力画面情報をＨＭＤ８に対して送信し、ＨＭＤ８の通信部８８は、端末装置１０から送信された入出力画面情報を受信する（ステップＳ１５）。
【0197】
表示制御部８２は、ステップＳ１５で受信した入出力画面情報が示す入出力画面を表示部８０８Ｒ，８０８Ｌに表示させる（ステップＳ１６）。ステップＳ１６は、表示ステップの一例である。
【0198】
以上の処理において、サーバ４０の生成部４６が、端末装置１０の生成部１５に代わって、ステップＳ１４と同様の処理を実行してもよい。
【0199】
この場合、サーバ４０の生成部４６は、ステップＳ４で生成した仮想空間、ステップＳ１２で受信した各種情報、およびステップＳ１３で他の端末装置から受信した情報に基づき、構造物を含む仮想空間を表示する入出力画面を生成する。
【0200】
そして、サーバ４０の送受信部４１は、生成した入出力画面を示す入出力画面情報を端末装置１０に対して送信し、端末装置１０の通信部１７は、ステップＳ１５と同様に、サーバ４０から受信した入出力画面情報をＨＭＤ８に対して送信する。
【0201】
また、以上の処理は、ＨＭＤ８、コントローラ２０、および検知装置３０が端末装置１０に接続されていない場合でも、同様に実行可能である。
【0202】
端末装置１０は、ＨＭＤ８、コントローラ２０、および検知装置３０が接続されているか否かを検知し、これらが接続されていない場合は、「端末画面モード」を自動的に選択して実行する。
【0203】
「端末画面モード」では、端末装置１０の受付部８３が、ステップＳ１と同様に、ユーザがキーボート１１０ａ、マウス１１０ｂ等の操作により三次元データを選択する情報を入力すると、選択を受け付ける。
【0204】
また、生成部１５は、ステップＳ１４と同様に、ステップＳ５で受信した仮想空間情報、キーボート１１０ａ、マウス１１０ｂ等の操作による入力情報、およびステップＳ１３で受信した情報に基づき、構造物を含む仮想空間を表示する入出力画面を生成する。
【0205】
そして、表示制御部１３は、ステップＳ１６と同様に、生成した入出力画面を端末装置１０のディスプレイ１１６ａに表示させる。ＨＭＤ８の８０８Ｌ、８０８Ｒに表示される入出力画面は、常に一人称視点であるが、端末装置１０のディスプレイ１１６ａに表示される入出力画面は、キーボート１１０ａ、マウス１１０ｂ等の操作により、第三者視点と一人称視点で切り替え可能である。
【0206】
図１０は、本実施形態に係る移動処理の一例を示すフローチャートである。
【0207】
端末装置１０の判断部１６は、ユーザ情報管理ＤＢ４００３に記憶されるユーザ情報に基づき、ユーザの権限がゲストか判断し（ステップＳ２１）、ユーザの権限がゲストである場合は、ステップＳ３０へ移行する。
【0208】
ステップＳ２１でユーザの権限がゲストではない場合、判断部１６は、通信部１７がコントローラ２０から受信した操作情報、および検知装置３０から受信した検知情報に基づき、仮想空間内のオブジェクトを用いて視点位置が選択されたか判断する（ステップＳ２２）。
【0209】
設定部１８は、視点位置情報管理ＤＢ４００２に記憶される視点位置情報に基づき、視点位置が選択された場合は、選択された視点位置を移動先に設定し（ステップＳ２３）、視点位置が選択されない場合は、予め定められた視点位置を移動先に設定する（ステップＳ２４）。
【0210】
ここで、予め定められた視点位置は、一例として、視点位置情報管理ＤＢ４００２に記憶された視点位置情報に基づき、移動順が最初の視点位置や、前回移動した視点位置の次の移動順の視点位置等である。これにより、視点位置情報管理ＤＢ４００２に記憶された移動順で複数の視点を順次移動させるツアー機能を実現する。
【0211】
判断部１６は、通信部１７がコントローラ２０から受信した操作情報、および検知装置３０から受信した検知情報に基づき、ユーザにより仮想空間内のオブジェクトを用いて単独移動操作がされたか判断し（ステップＳ２５）、単独移動操作がされた場合は、ステップＳ２９へ移行する。
【0212】
ステップＳ２５で単独移動操作がされていない場合、判断部１６は、通信部１７がコントローラ２０から受信した操作情報に基づき、ユーザにより複数人移動操作がされたか判断し（ステップＳ２６）、複数人移動操作がされていない場合は、ステップＳ３０へ移行する。
【0213】
ステップＳ２５で複数人移動操作がされた場合、送受信部１１は、ステップＳ２３またはＳ２４で設定されたユーザの移動先の視点の位置を示す視点位置情報、およびユーザの移動先の視点の近傍へ他のユーザの視点を移動するよう指示する指示情報を、サーバ４０へ送信する（ステップＳ２７）。
【0214】
そして、生成部１５は、視点の周囲または画面全体を暗転させるとともに、ステップＳ２３またはＳ２４で設定された移動先へユーザの視点を移動した入出力画面を生成する（ステップＳ２８）。これにより、ユーザに対して、瞬きに似た効果を与え視覚的な変化に順応できる余裕を与えて、瞬間的な視点移動に伴う酔いを軽減する。
【0215】
さらに、生成部１５は、移動先のユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する（ステップＳ２９）。ここで、ユーザの移動先の視点の近傍は、ユーザの移動先の視点と同じ位置であってもよく、ユーザの移動先の視点からの視界を共有できる範囲内で、ユーザの移動先の視点から離れた位置であっても良い。
【0216】
これにより、ユーザは、仮想空間内で移動後の自分の視点の近傍に他のユーザの視点を移動させることができるため、自分が開始したツアーに他のユーザを参加させることができる。
【0217】
判断部１６は、送受信部１１が他のユーザの移動先の視点の位置を示す他の視点位置情報、および移動先の他のユーザの視点の近傍へユーザの視点を移動するよう指示する他の指示情報を受信したか判断する（ステップＳ３０）。
【0218】
ステップＳ３０で受信したと判断した場合には、生成部１５は、視点の周囲または画面全体を暗転させるとともに、ステップＳ３０で受信した他のユーザの移動先の視点の位置の近傍へユーザの視点を移動した入出力画面を生成する（ステップＳ３１）。
【0219】
さらに、生成部１５は、ステップＳ３０で受信した他のユーザの移動先の視点の位置へ、他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する（ステップＳ３２）。
【0220】
これにより、ユーザは、仮想空間内で移動後の他のユーザの視点の近傍に自分の視点を移動することができるため、他のユーザが開始したツアーに参加することができる。
【0221】
以上において、ステップＳ２８、Ｓ２９、Ｓ３１およびＳ３２は、表示画面生成ステップの一例である。
【0222】
図１１は、本実施形態に係る複数人移動処理の一例を示すシーケンス図である。
【0223】
ユーザＢが使用するＨＭＤ８Ｂの表示制御部８２Ｂは、ユーザＢの視点の位置に応じた仮想空間を表示する入出力画面を表示部８０８ＲＢ，８０８ＬＢに表示させ（ステップＳ４１）、ユーザＡが使用するＨＭＤ８Ａの表示制御部８２Ａも、ユーザＡの視点の位置に応じた仮想空間を表示する入出力画面を表示部８０８ＲＡ，８０８ＬＡに表示させる（ステップＳ４２）。ユーザＡ、Ｂ以外の他のユーザｎも表示システム１に参加している場合、ユーザｎが使用するＨＭＤ８ｎの表示制御部８２ｎも、仮想空間を表示する入出力画面を表示部８０８Ｒｎ，８０８Ｌｎに表示させる。
【0224】
ユーザＡが使用するコントローラ２０Ａの受付部２２Ａは、図２で説明したユーザによる各種操作を受け付ける（ステップＳ４３）。
【0225】
通信部２１Ａは、ステップＳ４３で受け付けた操作を示す操作情報をユーザＡが使用する端末装置１０Ａに対して送信し、端末装置１０Ａの通信部１７Ａは、コントローラ２０Ａから送信された操作情報を受信する（ステップＳ４４）。
【0226】
ユーザＡが使用する検知装置３０Ａの検知部３２Ａは、ＨＭＤ８Ａおよびコントローラ２０Ａの位置や傾きを検知する（ステップＳ４５）。
【0227】
通信部３１Ａは、ステップＳ１０で検知した情報を示す検知情報を端末装置１０Ａに対して送信し、端末装置１０Ａの通信部１７Ａは、検知装置３０Ａから送信された検知情報を受信する（ステップＳ４６）。
【0228】
判断部１６Ａは、通信部１７Ａがコントローラ２０Ａから受信した操作情報に基づき、ユーザＡにより複数人移動操作がされたか判断する（ステップＳ４７）。
【0229】
ステップＳ４７で複数人移動操作がされた場合、送受信部１１Ａは、図１０のステップＳ２３またはＳ２４で設定されたユーザＡの移動先の視点の位置を示す視点位置情報、およびユーザＡの移動先の視点の近傍へユーザＢを含む他のユーザの視点を移動するよう指示する指示情報を、サーバ４０へ送信し、サーバ４０の送受信部４１は、これらの情報を受信する（ステップＳ４８）。
【0230】
生成部１５Ａは、図１０のステップＳ２８およびＳ２９で説明したように、設定された移動先へユーザＡの視点を移動し、移動先のユーザＡの視点の近傍に、ユーザＢを含む他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する（ステップＳ４９）。
【0231】
端末装置１０Ａの通信部１７Ａは、ステップＳ４９で生成した入出力画面を示す入出力画面情報をＨＭＤ８Ａに対して送信し、ＨＭＤ８Ａの通信部８８Ａは、端末装置１０Ａから送信された入出力画面情報を受信する（ステップＳ５０）。
【0232】
表示制御部８２Ａは、ステップＳ５０で受信した入出力画面情報が示す入出力画面を表示部８０８ＲＡ，８０８ＬＡに表示させる（ステップＳ５１）。ステップＳ５１は、表示ステップの一例である。
【0233】
また、サーバ４０の送受信部４１は、ステップＳ４８で端末装置１０Ａから受信したユーザＡの視点位置情報、および指示情報をユーザＢが使用する端末装置Ｂに対して送信し、端末装置１０Ｂの送受信部１１Ｂは、これらの情報を受信する（ステップＳ５２）。
【0234】
ユーザＡ、Ｂ以外の他のユーザｎも表示システム１に参加している場合、サーバ４０の送受信部４１は、ステップＳ４８で端末装置１０Ａから受信したユーザＡの視点位置情報、および指示情報を他のユーザｎが使用する端末装置１０ｎに対して送信し、端末装置１０ｎの送受信部１１ｎは、これらの情報を受信する。
【0235】
同様に、サーバ４０の送受信部４１は、端末装置１０ｎから受信したユーザｎの視点位置情報、および指示情報を端末装置１０Ｂに対して送信し、端末装置１０Ｂの送受信部１１Ｂは、これらの情報を受信する。
【0236】
生成部１５Ｂは、図１０のステップＳ３１およびＳ３２で説明したように、ユーザＡの移動先の視点の位置の近傍へユーザＢの視点を移動し、ユーザＡの移動先の視点の位置へ、ユーザＡのアバターを移動させた仮想空間を表示する入出力画面を生成する（ステップＳ５３）。
【0237】
端末装置１０Ｂの通信部１７Ｂは、ステップＳ５３で生成した入出力画面を示す入出力画面情報をＨＭＤ８Ｂに対して送信し、ＨＭＤ８Ｂの通信部８８Ｂは、端末装置１０Ｂから送信された入出力画面情報を受信する（ステップＳ５４）。
【0238】
表示制御部８２Ｂは、ステップＳ５４で受信した入出力画面情報が示す入出力画面を表示部８０８ＲＢ，８０８ＬＢに表示させる（ステップＳ５５）。ステップＳ５５は、表示ステップの一例である。
【0239】
ユーザＡ、Ｂ以外の他のユーザｎも表示システム１に参加している場合、他のユーザｎが使用する端末装置１０ｎおよびＨＭＤ８ｎは、ステップＳ５３～Ｓ５５と同様の処理を実行する。また、端末装置１０ＢおよびＨＭＤ８Ｂは、ユーザＡに代えて他のユーザｎについて、ステップＳ５３～Ｓ５５と同様の処理を実行する。
【0240】
以上において、ステップＳ５１およびＳ５５は、表示ステップの一例である。
【0241】
以上の処理において、サーバ４０の生成部４６が、端末装置１０Ａの生成部１５Ａに代わって、ステップＳ４９と同様の処理を実行してもよい。
【0242】
この場合、サーバ４０の生成部４６は、ステップＳ４８で受信した情報に基づき、図１０のステップＳ２８およびＳ２９で説明したように、設定された移動先へユーザＡの視点を移動し、移動先のユーザＡの視点の近傍に、ユーザＢを含む他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する。
【0243】
そして、サーバ４０の送受信部４１は、生成した入出力画面を示す入出力画面情報を端末装置１０に対して送信し、端末装置１０の通信部１７は、ステップＳ５０と同様に、サーバ４０から受信した入出力画面情報をＨＭＤ８に対して送信する。
【0244】
また、以上の処理は、ＨＭＤ８Ａ、コントローラ２０Ａ、および検知装置３０Ａが端末装置１０Ａに接続されていない場合でも、同様に実行可能である。
【0245】
端末装置１０Ａは、ＨＭＤ８Ａ、コントローラ２０Ａ、および検知装置３０Ａが接続されているか否かを検知し、これらが接続されていない場合は、「端末画面モード」を自動的に選択して実行する。
【0246】
「端末画面モード」では、端末装置１０Ａの生成部１５Ａは、キーボート１１０ａ、マウス１１０ｂ等による複数人移動操作に基づき、図１０のステップＳ２８およびＳ２９で説明したように、設定された移動先へユーザＡの視点を移動し、移動先のユーザＡの視点の近傍に、ユーザＢを含む他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する。
【0247】
そして、表示制御部１３Ａは、ステップＳ５１と同様に、生成した入出力画面を端末装置１０Ａのディスプレイ１１６ａに表示させる。端末装置１０Ａのディスプレイ１１６ａに表示される入出力画面は、キーボート１１０ａ、マウス１１０ｂ等の操作により、第三者視点と一人称視点で切り替え可能である。
【0248】
図１１に示した処理において、さらに、サーバ４０の生成部４６が、端末装置１０Ｂの生成部１５Ｂに代わって、ステップＳ５３と同様の処理を実行してもよい。
【0249】
また、図１１に示した処理は、ＨＭＤ８Ｂ、コントローラ２０Ｂ、および検知装置３０Ｂが端末装置１０Ｂに接続されていない場合でも、端末装置１０Ｂにおける「端末画面モード」にて同様に実行可能である。
【0250】
図１２は、本実施形態に係る入出力画面の説明図である。
【0251】
図１０（ａ）に示す入出力画面２０００は、カメラ９０２、およびユーザのアバターの手８５０を含む仮想空間を表示している。
【0252】
図１０（ｂ）に示す入出力画面２０００は、図１０（ａ）に示した状態から、ユーザが、コントローラ２０を操作してアバターの手８５０によりカメラ９０２を掴み、カメラ９０２のプレビュー画面９０４を含む仮想空間を表示している。
【0253】
ユーザは、コントローラ２０を移動してカメラ９０２を移動させることにより、プレビュー画面９０４による視界を変更し、登録したい視点位置を決めたら、コントローラ２０のトリガー２４をシャッターのように押下する。これにより、設定部１８は、プレビュー画面９０４に示される視点位置を示す視点位置情報を設定し、送受信部１１は設定された視点位置情報をサーバ４０へ送信する。視点位置情報は、図８（ａ）で説明したように、プレビュー画像、視点位置が含まれる空間情報、位置情報、視点の向きを示す方向情報、および視点における画角を示す画角情報を含む。
【0254】
サーバ４０の送受信部４１は、端末装置１０から送信された視点位置情報を受信し、記憶・読出部４４は、送受信部４１が受信した視点位置情報を視点位置情報管理ＤＢ４００２に記憶して登録する。ここで、記憶・読出部４４は、送受信部４１が受信した視点位置情報を記憶して登録する順番を移動順の初期値として視点位置情報管理ＤＢ４００２に記憶して登録する。
【0255】
図１３は、本実施形態に係る入出力画面の第２の説明図である。
【0256】
図１３（ａ）に示す入出力画面２０００は、アバターの手から照射されるレーザ８６０と、レーザ先端のマーカーオブジェクト８６５と、視点選択画面９１０を含む仮想空間を表示している。
【0257】
視点選択画面９１０は、視点画面９１２Ａ～９１２Ｃ、移動先候補画面９１４、選択ボタン９１６を含み、視点画面９１２Ａ～９１２Ｃは、視点位置情報管理ＤＢ４００２から読みだされた移動順に配置され、それぞれ視点位置情報管理ＤＢ４００２から読みだされた視点位置毎のプレビュー画像を示す。
【0258】
図１３（ｂ）に示す入出力画面２０００は、図１３（ａ）に示した状態から、レーザ８６０が視点画面９１２Ａに重なるように、ユーザが、コントローラ２０を移動してレーザ８６０を移動させた状態の仮想空間を表示している。
【0259】
この状態で、判断部１６は、図１０のステップＳ２２で説明したように、視点画面９１２Ａが選択されたと判断して、生成部１５は、移動先候補画面９１４に視点画面９１２Ａを拡大表示した入出力画面２０００を生成している。
【0260】
また、ユーザが、コントローラ２０で所定の操作を行うと、設定部１８は、視点画面９１２Ａ～９１２Ｃの移動順を設定し、送受信部１１は設定された移動順を示す情報を視点の識別情報と対応付けてサーバ４０へ送信する。
【0261】
サーバ４０の送受信部４１は、端末装置１０から送信された移動順を示す情報を受信し、記憶・読出部４４は、送受信部４１が受信した移動順を示す情報を視点の識別情報と対応付けて視点位置情報管理ＤＢ４００２に記憶して登録する。
【0262】
図１３（ｃ）に示す入出力画面２０００は、図１３（ｂ）に示した状態から、レーザ８６０が選択ボタン９１６に重なるように、ユーザが、コントローラ２０を移動してレーザ８６０を移動させた状態の仮想空間を表示している。
【0263】
この状態で、判断部１６は、図１０のステップＳ２５で説明したように、単独移動操作がされたと判断する。
【0264】
【0265】
図１４は、本実施形態に係る入出力画面の第３の説明図である。
【0266】
【0267】
図１４（ｂ）に示す入出力画面２０００は、複数人移動操作を行う前の第三者視点での仮想空間を表示しており、ユーザＡのアバターの手８５０Ａおよび頭８５５Ａと、ユーザＢのアバターの手８５０Ｂおよび頭８５５Ｂと、ユーザＤのアバターの手８５０Ｄおよび頭８５５Ｄと、を含んでいる。
【0268】
【0269】
図１４（ｄ）に示す入出力画面２０００は、図１４（ａ）に示した状態から複数人移動操作により、視点を移動した後のユーザＡの視点の位置に応じた一人称視点での仮想空間を表示している。ここで、図１４（ｄ）に示す入出力画面２０００の仮想空間は、図１４（ａ）に示した入出力画面２０００の仮想空間の視界外の空間、具体的には別の部屋における空間を示す。
【0270】
図１４（ｅ）に示す入出力画面２０００は、図１４（ｂ）に示した状態から複数人移動操作により視点を移動した後の第三者視点での仮想空間を表示しており、図１４（ｂ）に示す入出力画面２０００と同様に、ユーザＡのアバターの手８５０Ａおよび頭８５５Ａと、ユーザＢのアバターの手８５０Ｂおよび頭８５５Ｂと、ユーザＤのアバターの手８５０Ｄおよび頭８５５Ｄと、を含むとともに、さらに、ユーザＣのアバターの手８５０Ｃおよび頭８５５Ｃを含む。ここで、図１４（ｅ）に示す入出力画面２０００の仮想空間は、図１４（ｂ）に示した入出力画面２０００の仮想空間の視界外の空間、具体的には別の部屋における空間を示す。
【0271】
なお、図１４（ｄ）および図１４（ｅ）に示した状態において、ユーザＡ～Ｄの何れかが複数人移動操作を行うと、視点位置情報管理ＤＢ４００２に記憶された移動順を示す情報に基づき、次の移動順の視点位置の近傍へ図１４（ｃ）～図１４（ｅ）と同様にユーザＡ～Ｄの全ての視点を移動することができる。
【0272】
図１４（ｅ）に示すように、生成部１５は、ユーザＡの複数人移動操作に基づき、ユーザＡの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。これにより、ユーザＡは、仮想空間内で自分の視点を所望の位置に移動することができる。
【0273】
また、生成部１５は、ユーザＡの複数人移動操作によりユーザＡの視点が視界外の空間に移動するときに、ユーザＡの視点の近傍に、他のユーザＢ～Ｄのアバターの手８５０Ｂ～Ｄおよび頭８５５Ｂ～Ｄを移動させた仮想空間を表示する入出力画面２０００を生成する。
【0274】
これにより、端末装置１０ＡにおけるユーザＡの複数人移動操作に基づき、仮想空間内の視界外の移動先に複数のユーザＡ～Ｄの視点を集合させて、複数のユーザに対するツアー機能を実現することができる。
【0275】
そして、ユーザＡは、図１４（ｄ）に示す入出力画面２０００において左右を確認することにより、複数のユーザＢ～Ｄのアバター、すなわち視点が集合していることを認識できる。
【0276】
ここで、視界外の移動先は、図１３（ａ）および（ｂ）で説明したように、複数の候補を示す視点画面９１２Ａ～９２１Ｃから選択された視点における空間である。よって、仮想空間内の複数の候補から選択された視界外の移動先に複数のユーザの視点を集合させることができる。なお、複数のユーザの視点を集合させる位置は、視点位置情報管理ＤＢ４００２に登録された視点位置情報に限られず、ユーザＡが複数人移動操作を行ったときのユーザＡの視点の位置であってもよい。
【0277】
【0278】
図１５に示すように、ユーザＡのアバターの手８５０Ａおよび頭８５５Ａと、ユーザＢのアバターの手８５０Ｂおよび頭８５５Ｂと、ユーザＣのアバターの手８５０Ｃおよび頭８５５Ｃと、ユーザＤのアバターの手８５０Ｄおよび頭８５５Ｄは、移動後の仮想空間において、互いに重ならないように、所定の順番で同じ方向を向くように配置されている。
【0279】
すなわち、生成部１５は、複数人移動操作を行ったユーザＡの視点に対して予め定められた位置関係でユーザＢ～Ｄの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0280】
一例として、複数人移動操作を行ったユーザＡの視点を中心として、表示システム１にログインして参加した順番に、左隣、右隣、さらにその左隣のような順番で互いに所定の距離を空けてユーザＢ～Ｄの視点を配置したり、複数人移動操作を行ったユーザの視点の左隣等の特定の位置に特定のユーザの視点を配置したり、配置の順番を変更したり、してもよい。具体的には、ユーザの権限に基づき、例えばゲスト、一般、管理者の順に登録した視点から一番近い順に視点を配置してもよい。
【0281】
これにより、仮想空間内で複数のユーザの視点を予め定められた位置関係で集合させることができる。
【0282】
また、生成部１５は、ユーザＢ～Ｄの視点に対応する位置にユーザＢ～Ｄのアバターの手８５０Ｂおよび頭８５５Ｂ～８５０Ｄおよび頭８５５Ｄを表示するとともに、これらアバターに重ならないように、複数人移動操作を行ったユーザＡの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。すなわち、ユーザＢ～Ｄの視点及びアバターは、ユーザＡの移動先の視点からの視界を共有できる範囲内で、ユーザＡの移動先の視点から離れた位置に配置される。
【0283】
これにより、仮想空間内で複数のユーザの視点を集合させるときに、ユーザＢ～Ｄのアバターと複数人移動操作を行ったユーザＡの視点が重ならないようにすることができる。
【0284】
視点が重なってしまうと、他のユーザのアバターとの距離が近すぎてしまい、仮想空間内でのパーソナルスペースが侵されて不快に感じるため、視点が重ならないようにしている。また、視点が重なるようにして、他のユーザのアバターとの距離が近い時は他のユーザのアバターを非表示にすることで、不快感を軽減することも可能である。
【0285】
さらに、生成部１５は、ユーザＢ～Ｄの視点と同じ方向を向くように、複数人移動操作を行ったユーザＡの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。これにより、仮想空間内で複数のユーザの視点を集合させて、複数のユーザに対する視界を共有するツアー機能を実現することができる。
【0286】
図１６は、本実施形態に係る集合処理の一例を示すフローチャートである。
【0287】
端末装置１０の判断部１６は、ユーザ情報管理ＤＢ４００３に記憶されるユーザ情報に基づき、ユーザの権限がゲストか判断し（ステップＳ６１）、ユーザの権限がゲストである場合は、ステップＳ６５へ移行する。
【0288】
ステップＳ６１でユーザの権限がゲストではない場合、判断部１６は、通信部１７がコントローラ２０から受信した操作情報に基づき、ユーザにより集合操作がされたか判断し（ステップＳ６２）、集合操作がされていない場合は、ステップＳ６５へ移行する。
【0289】
ステップＳ６２で集合操作がされた場合、送受信部１１は、ユーザの視点の位置を示す視点位置情報、およびユーザの視点の近傍へ他のユーザの視点を移動するよう指示する指示情報を、サーバ４０へ送信する（ステップＳ６３）。
【0290】
そして、生成部１５は、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する（ステップＳ６４）。
【0291】
これにより、ユーザは、仮想空間内で自分の視点の近傍に他のユーザの視点を移動させることができるため、自分が開始したツアーに他のユーザを参加させることができる。
【0292】
判断部１６は、送受信部１１が他のユーザの視点の位置を示す他の視点位置情報、および他のユーザの視点の近傍へユーザの視点を移動するよう指示する他の指示情報を受信したか判断する（ステップＳ６５）。
【0293】
ステップＳ６５で受信したと判断した場合には、生成部１５は、視点の周囲または画面全体を暗転させるとともに、ステップＳ６５で受信した他のユーザの視点の位置の近傍へユーザの視点を移動した入出力画面を生成する（ステップＳ６６）。これにより、ユーザは、仮想空間内で他のユーザの視点の近傍に自分の視点を移動することができるため、他のユーザが開始したツアーに参加することができる。
【0294】
図１７は、本実施形態に係る集合処理の一例を示すシーケンス図である。
【0295】
ユーザＢが使用するＨＭＤ８Ｂの表示制御部８２Ｂは、ユーザＢの視点の位置に応じた仮想空間を表示する入出力画面を表示部８０８ＲＢ，８０８ＬＢに表示させ（ステップＳ７１）、ユーザＡが使用するＨＭＤ８Ａの表示制御部８２Ａも、ユーザＡの視点の位置に応じた仮想空間を表示する入出力画面を表示部８０８ＲＡ，８０８ＬＡに表示させる（ステップＳ７２）。ユーザＡ、Ｂ以外の他のユーザｎも表示システム１に参加している場合、ユーザｎが使用するＨＭＤ８ｎの表示制御部８２ｎも、仮想空間を表示する入出力画面を表示部８０８Ｒｎ，８０８Ｌｎに表示させる。
【0296】
ユーザＡが使用するコントローラ２０Ａの受付部２２Ａは、図２で説明したユーザによる各種操作を受け付ける（ステップＳ７３）。
【0297】
通信部２１Ａは、ステップＳ７３で受け付けた操作を示す操作情報をユーザＡが使用する端末装置１０Ａに対して送信し、端末装置１０Ａの通信部１７Ａは、コントローラ２０Ａから送信された操作情報を受信する（ステップＳ７４）。
【0298】
ユーザＡが使用する検知装置３０Ａの検知部３２Ａは、ＨＭＤ８Ａおよびコントローラ２０Ａの位置や傾きを検知する（ステップＳ７５）。
【0299】
通信部３１Ａは、ステップＳ１０で検知した情報を示す検知情報を端末装置１０Ａに対して送信し、端末装置１０Ａの通信部１７Ａは、検知装置３０Ａから送信された検知情報を受信する（ステップＳ７６）。
【0300】
判断部１６Ａは、通信部１７Ａがコントローラ２０Ａから受信した操作情報に基づき、ユーザＡにより集合操作がされたか判断する（ステップＳ７７）。
【0301】
ステップＳ７７で集合操作がされた場合、送受信部１１Ａは、ユーザＡの視点の位置を示す視点位置情報、およびユーザＡの視点の近傍へユーザＢを含む他のユーザの視点を移動するよう指示する指示情報を、サーバ４０へ送信し、サーバ４０の送受信部４１は、これらの情報を受信する（ステップＳ７８）。
【0302】
生成部１５Ａは、ユーザＡの視点の近傍に、ユーザＢを含む他のユーザのアバターを移動させた仮想空間を表示する入出力画面を生成する（ステップＳ７９）。
【0303】
端末装置１０Ａの通信部１７Ａは、ステップＳ７９で生成した入出力画面を示す入出力画面情報をＨＭＤ８Ａに対して送信し、ＨＭＤ８Ａの通信部８８Ａは、端末装置１０Ａから送信された入出力画面情報を受信する（ステップＳ８０）。
【0304】
表示制御部８２Ａは、ステップＳ８０で受信した入出力画面情報が示す入出力画面を表示部８０８ＲＡ，８０８ＬＡに表示させる（ステップＳ８１）。ステップＳ８１は、表示ステップの一例である。
【0305】
また、サーバ４０の送受信部４１は、ステップＳ７８で端末装置１０Ａから受信したユーザＡの視点位置情報、および指示情報をユーザＢが使用する端末装置Ｂに対して送信し、端末装置１０Ｂの送受信部１１Ｂは、これらの情報を受信する（ステップＳ８２）。
【0306】
ユーザＡ、Ｂ以外の他のユーザｎも表示システム１に参加している場合、サーバ４０の送受信部４１は、ステップＳ７８で端末装置１０Ａから受信したユーザＡの視点位置情報、および指示情報を他のユーザｎが使用する端末装置１０ｎに対して送信し、端末装置１０ｎの送受信部１１ｎは、これらの情報を受信する。
【0307】
同様に、サーバ４０の送受信部４１は、端末装置１０ｎから受信したユーザｎの視点位置情報、および指示情報を端末装置１０Ｂに対して送信し、端末装置１０Ｂの送受信部１１Ｂは、これらの情報を受信する。
【0308】
生成部１５Ｂは、図１６のステップＳ６６で説明したように、ユーザＡの視点の位置の近傍へユーザＢの視点を移動した仮想空間を表示する入出力画面を生成する（ステップＳ８３）。
【0309】
端末装置１０Ｂの通信部１７Ｂは、ステップＳ８３で生成した入出力画面を示す入出力画面情報をＨＭＤ８Ｂに対して送信し、ＨＭＤ８Ｂの通信部８８Ｂは、端末装置１０Ｂから送信された入出力画面情報を受信する（ステップＳ８４）。
【0310】
表示制御部８２Ｂは、ステップＳ８４で受信した入出力画面情報が示す入出力画面を表示部８０８ＲＢ，８０８ＬＢに表示させる（ステップＳ８５）。ステップＳ８５は、表示ステップの一例である。
【0311】
ユーザＡ、Ｂ以外の他のユーザｎも表示システム１に参加している場合、他のユーザｎが使用する端末装置１０ｎおよびＨＭＤ８ｎは、ステップＳ８３～Ｓ８５と同様の処理を実行する。また、端末装置１０ＢおよびＨＭＤ８Ｂは、ユーザＡに代えて他のユーザｎについて、ステップＳ５３～Ｓ５５と同様の処理を実行する。
【0312】
図１７に示した処理において、図１１に示した処理と同様に、サーバ４０の生成部４６が、端末装置１０Ａの生成部１５Ａに代わってステップＳ７９と同様の処理を実行したり、端末装置１０Ｂの生成部１５Ｂに代わってステップＳ８３と同様の処理を実行したり、してもよい。
【0313】
また、図１７に示した処理は、図１１に示した処理と同様に、ＨＭＤ８Ａ、コントローラ２０Ａ、および検知装置３０Ａが端末装置１０Ａに接続されていない場合でも、端末装置１０Ａにおける「端末画面モード」にて同様に実行可能であり、ＨＭＤ８Ｂ、コントローラ２０Ｂ、および検知装置３０Ｂが端末装置１０Ｂに接続されていない場合でも、端末装置１０Ｂにおける「端末画面モード」にて同様に実行可能である。
【0314】
●まとめ●
［第１態様］
以上説明したように、本発明の一実施形態に係る端末装置１０は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する生成部１５を備える。端末装置１０は情報処理装置の一例であり、入出力画面２０００は表示画面の一例であり、生成部１５は表示画面生成手段の一例である。
［第１態様］
以上説明したように、本発明の一実施形態に係る端末装置１０は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する生成部１５を備える。端末装置１０は情報処理装置の一例であり、入出力画面２０００は表示画面の一例であり、生成部１５は表示画面生成手段の一例である。
【0315】
これにより、仮想空間内で複数のユーザの視点の位置を対応付けて集合させて、複数のユーザに対するツアー機能を実現することができる。
【0316】
［第２態様］
第１態様において、端末装置１０Ｂは、他のユーザＡの操作に基づき外部装置の一例である端末装置１０Ａから送信された、他のユーザＡの視点の位置を示す他の視点位置情報、および他のユーザＡの視点の近傍へユーザＢの視点を移動するよう指示する他の指示情報を受信する送受信部１１を備え、生成部１５は、送受信部１１が受信した他の視点位置情報および他の指示情報に基づき、他の視点の近傍にユーザＢの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第１態様において、端末装置１０Ｂは、他のユーザＡの操作に基づき外部装置の一例である端末装置１０Ａから送信された、他のユーザＡの視点の位置を示す他の視点位置情報、および他のユーザＡの視点の近傍へユーザＢの視点を移動するよう指示する他の指示情報を受信する送受信部１１を備え、生成部１５は、送受信部１１が受信した他の視点位置情報および他の指示情報に基づき、他の視点の近傍にユーザＢの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0317】
これにより、端末装置１０Ａにおける他のユーザＡの操作に基づき、仮想空間内で複数のユーザの視点を集合させることができる。
【0318】
［第３態様］
第１態様または第２態様において、生成部１５は、他の視点が移動するときに、移動後の他の視点の近傍にユーザＡの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第１態様または第２態様において、生成部１５は、他の視点が移動するときに、移動後の他の視点の近傍にユーザＡの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0319】
これにより、仮想空間内の所定の移動先に複数のユーザの視点を集合させることができる。
【0320】
［第４態様］
第３態様において、生成部１５は、他の視点が視界外の空間に移動するときに、移動後の他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第３態様において、生成部１５は、他の視点が視界外の空間に移動するときに、移動後の他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0321】
これにより、仮想空間内の視界外の移動先に複数のユーザの視点を集合させることができる。
【0322】
なお、生成部１５は、他の視点が視界内の位置に移動するときに、移動後の他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成してもよい。具体的には、生成部１５は、他の視点が図２で説明したレーザポイント移動、透過移動、前方・後方移動、上昇・下降移動、押し込み移動、およびグリップ移動の何れかで移動するときに、移動後の他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成してもよい。
【0323】
［第５態様］
第４態様において、生成部１５は、他の視点が複数の候補から選択された視界外の空間に移動するときに、移動後の他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第４態様において、生成部１５は、他の視点が複数の候補から選択された視界外の空間に移動するときに、移動後の他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0324】
これにより、仮想空間内の複数の候補から選択された視界外の移動先に複数のユーザの視点を集合させることができる。
【0325】
［第６態様］
第１態様～第５態様の何れかにおいて、生成部１５は、他の視点と同じ方向を向くようにユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第１態様～第５態様の何れかにおいて、生成部１５は、他の視点と同じ方向を向くようにユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0326】
これにより、仮想空間内で複数のユーザの視点を集合させて、複数のユーザに対する視界を共有するツアー機能を実現することができる。
【0327】
［第７態様］
第１態様～第６態様の何れかにおいて、生成部１５は、他の視点に対して予め定められた位置関係でユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第１態様～第６態様の何れかにおいて、生成部１５は、他の視点に対して予め定められた位置関係でユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0328】
これにより、仮想空間内で複数のユーザの視点を予め定められた位置関係で集合させることができる。
【0329】
［第８態様］
第７態様において、生成部１５は、他の視点に対応する位置に他のユーザのアバターを表示するとともに、アバターに重ならないように、ユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第７態様において、生成部１５は、他の視点に対応する位置に他のユーザのアバターを表示するとともに、アバターに重ならないように、ユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0330】
これにより、仮想空間内で複数のユーザの視点を集合させるときに、他のユーザのアバターと自分の視点が重ならないようにすることができる。
【0331】
［第９態様］
第１態様～第８態様の何れかにおいて、生成部１５は、ユーザの操作に基づき、ユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
第１態様～第８態様の何れかにおいて、生成部１５は、ユーザの操作に基づき、ユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する。
【0332】
これにより、仮想空間内で他のユーザの視点の近傍に自分の視点を移動するだけでなく、自分の視点も所望の位置に移動することができる。
【0333】
［第１０態様］
第１態様～第９態様の何れかにおいて、端末装置１０Ａは、ユーザＡの視点の位置を示す視点位置情報、およびユーザＡの視点の近傍へ他のユーザＢの視点を移動するよう指示する指示情報を、他のユーザＢの視点の位置に応じた仮想空間を表示する入出力画面２０００Ｂを生成する端末装置Ｂへ送信する送受信部１１を備える。
第１態様～第９態様の何れかにおいて、端末装置１０Ａは、ユーザＡの視点の位置を示す視点位置情報、およびユーザＡの視点の近傍へ他のユーザＢの視点を移動するよう指示する指示情報を、他のユーザＢの視点の位置に応じた仮想空間を表示する入出力画面２０００Ｂを生成する端末装置Ｂへ送信する送受信部１１を備える。
【0334】
これにより、仮想空間内で他のユーザの視点の近傍に自分の視点を移動するだけでなく、自分の視点の近傍に他のユーザの視点を移動させることができる。
【0335】
［第１１態様］
本発明の一実施形態に係る端末装置１０は、ユーザの視点の位置に応じた仮想空間を表示するとともに、ユーザの操作に基づき、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する入出力画面２０００を生成する生成部１５を備える。
本発明の一実施形態に係る端末装置１０は、ユーザの視点の位置に応じた仮想空間を表示するとともに、ユーザの操作に基づき、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する入出力画面２０００を生成する生成部１５を備える。
【0336】
これにより、仮想空間内で自分の視点の近傍に他のユーザのアバターを移動させることができるため、他のユーザの視点が集合していることが認識できる。
【0337】
［第１２態様］
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する入出力画面生成ステップを実行する。
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する入出力画面２０００を生成する入出力画面生成ステップを実行する。
【0338】
［第１３態様］
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、ユーザの操作に基づき、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する入出力画面２０００を生成する入出力画面生成ステップを実行する。
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、ユーザの操作に基づき、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する入出力画面２０００を生成する入出力画面生成ステップを実行する。
【0339】
［第１４態様］
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する表示ステップを実行する。
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、他のユーザの操作に基づき、他のユーザの視点を示す他の視点の近傍にユーザの視点を移動させた仮想空間を表示する表示ステップを実行する。
【0340】
［第１５態様］
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、ユーザの操作に基づき、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する表示ステップを実行する。
本発明の一実施形態に係る情報処理方法は、ユーザの視点の位置に応じた仮想空間を表示するとともに、ユーザの操作に基づき、ユーザの視点の近傍に、他のユーザのアバターを移動させた仮想空間を表示する表示ステップを実行する。
【0341】
［第１６態様］
本発明の一実施形態に係るプログラムは、コンピュータに、第１２態様～第１５態様の何れか記載の情報処理方法を実行させるプログラム。
本発明の一実施形態に係るプログラムは、コンピュータに、第１２態様～第１５態様の何れか記載の情報処理方法を実行させるプログラム。
【0342】
［第１７態様］
本発明の一実施形態に係る情報処理システムの一例である表示システム１は、互いに通信可能な第１、第２の情報処理装置の一例である端末装置１０Ａ、１０Ｂを備え、端末装置１０Ａは、第１のユーザＡの視点の位置に応じた第１の仮想空間を表示するとともに、第１のユーザＡの操作に基づき、第１のユーザＡの視点の近傍に第２のユーザＢのアバターを移動させた第１の仮想空間を表示する第１の入出力画面２０００Ａを生成する第１の生成部１５Ａと、端末装置１０Ｂに対して、第１のユーザＡの視点の位置を示す第１の視点位置情報、および第１のユーザＡの視点の近傍へ第２のユーザＢの視点を移動するよう指示する指示情報を送信する送受信部１１Ａと、を備え端末装置１０Ｂは、端末装置１０Ａから送信された、第１の視点位置情報、および指示情報を受信する送受信部１１Ｂと、第２のユーザＢの視点に応じた第２の仮想空間を表示するとともに、送受信部１１Ｂにより受信された第１の視点位置情報および指示情報に基づき、第１のユーザＡの視点の近傍に第２のユーザＢの視点を移動させた第２の仮想空間を表示する第２の入出力画面２０００Ｂを生成する第２の生成部１５Ｂと、を備える。
本発明の一実施形態に係る情報処理システムの一例である表示システム１は、互いに通信可能な第１、第２の情報処理装置の一例である端末装置１０Ａ、１０Ｂを備え、端末装置１０Ａは、第１のユーザＡの視点の位置に応じた第１の仮想空間を表示するとともに、第１のユーザＡの操作に基づき、第１のユーザＡの視点の近傍に第２のユーザＢのアバターを移動させた第１の仮想空間を表示する第１の入出力画面２０００Ａを生成する第１の生成部１５Ａと、端末装置１０Ｂに対して、第１のユーザＡの視点の位置を示す第１の視点位置情報、および第１のユーザＡの視点の近傍へ第２のユーザＢの視点を移動するよう指示する指示情報を送信する送受信部１１Ａと、を備え端末装置１０Ｂは、端末装置１０Ａから送信された、第１の視点位置情報、および指示情報を受信する送受信部１１Ｂと、第２のユーザＢの視点に応じた第２の仮想空間を表示するとともに、送受信部１１Ｂにより受信された第１の視点位置情報および指示情報に基づき、第１のユーザＡの視点の近傍に第２のユーザＢの視点を移動させた第２の仮想空間を表示する第２の入出力画面２０００Ｂを生成する第２の生成部１５Ｂと、を備える。
【符号の説明】
【0343】
１ 表示システム（情報処理システムの一例）
８ ＨＭＤ（表示装置の一例）
８２ 表示制御部（表示制御手段の一例）
８８ 通信部（受信手段の一例）
８０８Ｌ、８０８Ｒ 表示部
１０ 端末装置（情報処理装置の一例）
１１ 送受信部（送信手段、受信手段の一例）
１５ 生成部（表示画面生成手段の一例）
１７ 通信部
２０ コントローラ
３０ 位置検知装置
４０ サーバ（情報処理装置の他の例）
５０ ネットワーク
８５０ アバターの手
８５５ アバターの頭
８６０ レーザ
８６５ マーカーオブジェクト
８７０ 暗転画像
９０２ カメラ
９０４ プレビュー画面
９１０ 視点選択画面
９１２ 視点画面
９１４ 移動先候補画面
９１６ 選択ボタン
２０００ 入出力画面（表示画面の一例）
８ ＨＭＤ（表示装置の一例）
８２ 表示制御部（表示制御手段の一例）
８８ 通信部（受信手段の一例）
８０８Ｌ、８０８Ｒ 表示部
１０ 端末装置（情報処理装置の一例）
１１ 送受信部（送信手段、受信手段の一例）
１５ 生成部（表示画面生成手段の一例）
１７ 通信部
２０ コントローラ
３０ 位置検知装置
４０ サーバ（情報処理装置の他の例）
５０ ネットワーク
８５０ アバターの手
８５５ アバターの頭
８６０ レーザ
８６５ マーカーオブジェクト
８７０ 暗転画像
９０２ カメラ
９０４ プレビュー画面
９１０ 視点選択画面
９１２ 視点画面
９１４ 移動先候補画面
９１６ 選択ボタン
２０００ 入出力画面（表示画面の一例）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
