知財求人 - 知財ポータルサイト「IP Force」
特開2024-92551仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024092551
(43)【公開日】2024-07-08
(54)【発明の名称】仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240701BHJP
G06F 3/04845 20220101ALI20240701BHJP
【ＦＩ】
G06T19/00 600
G06F3/04845
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022208575
(22)【出願日】2022-12-26
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】井原 章之
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050CA07
5B050CA08
5B050DA04
5B050EA07
5B050EA19
5B050EA27
5B050FA06
5E555AA12
5E555AA27
5E555BA02
5E555BB02
5E555BC08
5E555BE17
5E555CA02
5E555CA42
5E555CB05
5E555CB07
5E555CB31
5E555CC22
5E555DB57
5E555DC19
5E555FA00
(57)【要約】
【課題】現実世界の映像と重ね合わせた仮想物体を操作することが可能な仮想物体操作装置を提供する。
【解決手段】仮想物体操作装置１は、現実世界を撮影する天球カメラから入力される天球映像の指定された視線方向の映像と仮想物体とを重ね合わせたＭＲ映像を生成するＭＲ映像生成部１５と、ＭＲ映像生成部１５で生成されたＭＲ映像上において、仮想物体に対する操作指示を入力する操作指示入力部１３と、操作指示に対応する操作を仮想物体に対して行う操作部１４１と、操作部１４１で操作された仮想物体の位置情報を制御情報としてＨＭＤに送信する制御情報送信部１１と、ＨＭＤで仮想物体を操作された位置情報を制御情報として受信する制御情報受信部１２と、を備える。
【選択図】図４
【解決手段】仮想物体操作装置１は、現実世界を撮影する天球カメラから入力される天球映像の指定された視線方向の映像と仮想物体とを重ね合わせたＭＲ映像を生成するＭＲ映像生成部１５と、ＭＲ映像生成部１５で生成されたＭＲ映像上において、仮想物体に対する操作指示を入力する操作指示入力部１３と、操作指示に対応する操作を仮想物体に対して行う操作部１４１と、操作部１４１で操作された仮想物体の位置情報を制御情報としてＨＭＤに送信する制御情報送信部１１と、ＨＭＤで仮想物体を操作された位置情報を制御情報として受信する制御情報受信部１２と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
現実世界あるいは現実世界の映像に仮想物体を重ね合わせたＭＲ映像を表示するＨＭＤと同期して、前記仮想物体を操作する仮想物体操作装置であって、
前記現実世界を撮影する天球カメラから入力される天球映像の指定された視線方向の映像と前記仮想物体とを重ね合わせたＭＲ映像を生成するＭＲ映像生成部と、
前記ＭＲ映像生成部で生成されたＭＲ映像上において、前記仮想物体に対する操作指示を入力する操作指示入力部と、
前記操作指示に対応する操作を前記仮想物体に対して行う操作部と、
前記操作部で操作された前記仮想物体の位置情報を制御情報としてＨＭＤに送信する制御情報送信部と、
前記ＨＭＤで前記仮想物体を操作された位置情報を制御情報として受信する制御情報受信部と、
を備えることを特徴とする仮想物体操作装置。
前記現実世界を撮影する天球カメラから入力される天球映像の指定された視線方向の映像と前記仮想物体とを重ね合わせたＭＲ映像を生成するＭＲ映像生成部と、
前記ＭＲ映像生成部で生成されたＭＲ映像上において、前記仮想物体に対する操作指示を入力する操作指示入力部と、
前記操作指示に対応する操作を前記仮想物体に対して行う操作部と、
前記操作部で操作された前記仮想物体の位置情報を制御情報としてＨＭＤに送信する制御情報送信部と、
前記ＨＭＤで前記仮想物体を操作された位置情報を制御情報として受信する制御情報受信部と、
を備えることを特徴とする仮想物体操作装置。
【請求項2】
視点位置の変更操作を前記操作指示入力部から入力されることで、前記ＨＭＤを装着したユーザが予め前記天球カメラの位置に配置した仮想物体である新視点オブジェクトの位置に、前記視点位置を示す仮想物体である視点オブジェクトの位置を変更する視点変更部と、
前記視線方向の変更操作を前記操作指示入力部から入力されることで、前記視点オブジェクトの視線方向を変更する視線変更部と、をさらに備え、
前記ＭＲ映像生成部は、前記視点オブジェクトの位置を中心として、前記天球映像の前記視線方向に対応する映像から前記ＭＲ映像を生成することを特徴とする請求項１に記載の仮想物体操作装置。
前記視線方向の変更操作を前記操作指示入力部から入力されることで、前記視点オブジェクトの視線方向を変更する視線変更部と、をさらに備え、
前記ＭＲ映像生成部は、前記視点オブジェクトの位置を中心として、前記天球映像の前記視線方向に対応する映像から前記ＭＲ映像を生成することを特徴とする請求項１に記載の仮想物体操作装置。
【請求項3】
前記ＭＲ映像生成部は、
仮想物体である球体オブジェクトに、前記天球映像を描画する仮想球体描画部と、
前記天球映像を描画した前記球体オブジェクトの内部に前記仮想物体を配置する仮想物体配置部と、
前記仮想物体を配置した前記球体オブジェクトから、前記視線方向に対応する２次元画像を生成する２次元画像生成部と、
を備えることを特徴とする請求項１に記載の仮想物体操作装置。
仮想物体である球体オブジェクトに、前記天球映像を描画する仮想球体描画部と、
前記天球映像を描画した前記球体オブジェクトの内部に前記仮想物体を配置する仮想物体配置部と、
前記仮想物体を配置した前記球体オブジェクトから、前記視線方向に対応する２次元画像を生成する２次元画像生成部と、
を備えることを特徴とする請求項１に記載の仮想物体操作装置。
【請求項4】
外部装置の制御画面の画像を描画した仮想物体であるパネルオブジェクトの前記制御画面内の操作を前記操作指示入力部から入力されることで、前記外部装置に操作指示を制御情報として出力するパネル操作部をさらに備え、
前記ＭＲ映像生成部は、前記制御画面の画像を前記外部装置から入力し、前記パネルオブジェクト上に描画することを特徴とする請求項１に記載の仮想物体操作装置。
前記ＭＲ映像生成部は、前記制御画面の画像を前記外部装置から入力し、前記パネルオブジェクト上に描画することを特徴とする請求項１に記載の仮想物体操作装置。
【請求項5】
コンピュータを、請求項１から請求項４のいずれか一項に記載の仮想物体操作装置として機能させるための仮想物体操作プログラム。
【請求項6】
ネットワークを介して接続した請求項１から請求項４のいずれか一項に記載の複数の仮想物体操作装置と、
前記複数の仮想物体操作装置のうちの少なくとも１つに接続した天球カメラと、を備え、
前記複数の仮想物体操作装置で、前記天球カメラの指定された視線方向のＭＲ映像を共有することを特徴とする仮想物体表示システム。
前記複数の仮想物体操作装置のうちの少なくとも１つに接続した天球カメラと、を備え、
前記複数の仮想物体操作装置で、前記天球カメラの指定された視線方向のＭＲ映像を共有することを特徴とする仮想物体表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想物体を操作する仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システムに関する。
【背景技術】
【0002】
近年、実空間を撮影した現実世界の映像と仮想物体とを重ね合わせる複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が進展し、現実世界と仮想物体とのそれぞれの映像をシームレスに融合した映像（以下、ＭＲ映像）を表示することが可能になった。
この複合現実技術では、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザが、ＨＭＤに表示された映像を通じて仮想物体を認識することができる。
ＨＭＤは、近年、ＨＭＤを装着したユーザの手指の動きを追跡し、ＭＲ映像内の仮想物体を自由に動かすハンドトラッキングが可能になっている（例えば、非特許文献１参照）。
また、ＨＭＤをＷｅｂ会議等で用い、異なる拠点にいる２名のユーザのうち、一方のユーザがＨＭＤを装着し、ＨＭＤに表示されるＭＲ映像を共有する技術が開示されている（例えば、特許文献１参照）。
この複合現実技術では、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザが、ＨＭＤに表示された映像を通じて仮想物体を認識することができる。
ＨＭＤは、近年、ＨＭＤを装着したユーザの手指の動きを追跡し、ＭＲ映像内の仮想物体を自由に動かすハンドトラッキングが可能になっている（例えば、非特許文献１参照）。
また、ＨＭＤをＷｅｂ会議等で用い、異なる拠点にいる２名のユーザのうち、一方のユーザがＨＭＤを装着し、ＨＭＤに表示されるＭＲ映像を共有する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－０３３５７５号公報
【非特許文献】
【0004】
【非特許文献1】“Ｈｏｌｏｌｅｎｓ（登録商標）２,”［online］，マイクロソフトコーポレーション，［令和４年１２月６日検索］、インターネット＜ＵＲＬ：https://www.microsoft.com/ja-jp/hololens＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の特許文献１に記載の技術では、ＭＲ映像を見ることができるのはＨＭＤを装着したユーザのみであるため、ＨＭＤを装着していないユーザは、別の表示装置を介して共有されたＭＲ映像を眺めることしかできず、仮想物体を操作することができないという問題がある。
そこで、本発明は、ＨＭＤを装着していないユーザであっても、ＭＲ映像内の仮想物体を操作することが可能な仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システムを提供することを課題とする。
そこで、本発明は、ＨＭＤを装着していないユーザであっても、ＭＲ映像内の仮想物体を操作することが可能な仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係る仮想物体操作装置は、現実世界あるいは現実世界の映像に仮想物体を重ね合わせたＭＲ映像を表示するＨＭＤと同期して、仮想物体を操作する仮想物体操作装置であって、ＭＲ映像生成部と、操作指示入力部と、操作部と、制御情報送信部と、制御情報受信部と、を備える構成とした。
【0007】
かかる構成において、仮想物体操作装置は、ＭＲ映像生成部によって、現実世界を撮影する天球カメラから入力される天球映像の指定された視線方向の映像と仮想物体とを重ね合わせたＭＲ映像を生成する。このＭＲ映像は、ＨＭＤとは異なる視点の映像である。
そして、仮想物体操作装置は、操作指示入力部によって、ＭＲ映像生成部で生成されたＭＲ映像上において、仮想物体に対する操作指示をマウス等の操作として入力する。
そして、仮想物体操作装置は、操作部によって、操作指示に対応する移動、回転等の操作を仮想物体に対して行う。これによって、ＨＭＤを装着していないユーザでも仮想物体を操作することができる。
そして、仮想物体操作装置は、制御情報送信部によって、操作部で操作された仮想物体の位置情報を制御情報としてＨＭＤに送信する。また、仮想物体操作装置は、制御情報受信部によって、ＨＭＤで操作された仮想物体の位置情報を制御情報として受信する。これによって、仮想物体操作装置は、ＨＭＤとの間で仮想物体の位置を同期させることができる。
なお、仮想物体操作装置は、コンピュータを、前記した各部として機能させるための仮想物体操作プログラムで動作させることができる。
そして、仮想物体操作装置は、操作指示入力部によって、ＭＲ映像生成部で生成されたＭＲ映像上において、仮想物体に対する操作指示をマウス等の操作として入力する。
そして、仮想物体操作装置は、操作部によって、操作指示に対応する移動、回転等の操作を仮想物体に対して行う。これによって、ＨＭＤを装着していないユーザでも仮想物体を操作することができる。
そして、仮想物体操作装置は、制御情報送信部によって、操作部で操作された仮想物体の位置情報を制御情報としてＨＭＤに送信する。また、仮想物体操作装置は、制御情報受信部によって、ＨＭＤで操作された仮想物体の位置情報を制御情報として受信する。これによって、仮想物体操作装置は、ＨＭＤとの間で仮想物体の位置を同期させることができる。
なお、仮想物体操作装置は、コンピュータを、前記した各部として機能させるための仮想物体操作プログラムで動作させることができる。
【0008】
また、前記課題を解決するため、本発明に係る仮想物体表示システムは、複数の仮想物体操作装置と、複数の仮想物体操作装置のうちの少なくとも１つに接続した天球カメラと、を備える構成とした。
【0009】
かかる構成において、仮想物体表示システムは、複数の仮想物体操作装置で、天球カメラの指定された視線方向のＭＲ映像を共有する。
これによって、複数の仮想物体操作装置の各ユーザは、ＨＭＤを装着しなくても、共有したＭＲ映像内で仮想物体を操作することができるとともに、天球カメラの位置を視点とするＭＲ映像を視認することができる。
これによって、複数の仮想物体操作装置の各ユーザは、ＨＭＤを装着しなくても、共有したＭＲ映像内で仮想物体を操作することができるとともに、天球カメラの位置を視点とするＭＲ映像を視認することができる。
【発明の効果】
【0010】
本発明によれば、ＨＭＤを装着していないユーザであっても、ＭＲ映像内の仮想物体を操作することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第１実施形態に係る仮想物体表示システムの全体構成を示す構成図である。
【図2】ＨＭＤを装着していないユーザがモニタで視認するＭＲ映像の例を示す図である。
【図3】ＨＭＤを装着しているユーザがＨＭＤを介して視認するＭＲ映像の例を示す図である。
【図5】視点変更の手順を（ａ）～（ｄ）の順で説明するための説明図である。
【図7】本発明の第１実施形態に係る仮想物体表示システムの動作を示すフローチャートである。
【図10】仮想物体操作装置のユーザによる仮想物体の移動処理の動作を示すフローチャートである。
【図11】視点位置の変更処理の動作を示すフローチャートである。
【図12】視線方向の変更処理の動作を示すフローチャートである。
【図13】ＨＭＤのユーザによる仮想物体の移動処理の動作を示すフローチャートである。
【図14】本発明の第２実施形態に係る仮想物体表示システムの全体構成を示す構成図である。
【図15】ＨＭＤを装着していないユーザがモニタで視認するＭＲ映像の例を示す図である。
【図17】本発明の第２実施形態に係る仮想物体表示システムの動作を示すフローチャートである。
【図18】パネルオブジェクトの操作処理の動作を示すフローチャートである。
【図19】ＰＣを用いた仮想物体表示システムの実施例（その１）を示す構成図である。
【図20】ＰＣを用いた仮想物体表示システムの実施例（その２）を示す構成図である。
【図21】ＰＣを用いた仮想物体表示システムの実施例（その３）を示す構成図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施形態に係る仮想物体表示システムについて説明する。
【0013】
【0014】
仮想物体表示システム１００は、現実世界に重ねて仮想物体を描画したＭＲ映像を、ＨＭＤ３を装着したユーザＭ１に提示するとともに、ＨＭＤ３を装着していないユーザＭ２に、現実世界の映像に重ねて仮想物体を描画したＭＲ映像を、ユーザＭ１とは異なる視点で提示するものである。なお、視点とは、どこから見ているかという、対象を見るときの立脚点を意味する。さらに、仮想物体表示システム１００は、ＨＭＤ３を装着していないユーザＭ２が仮想物体を操作する機能を有する。
ここでは、仮想物体表示システム１００は、仮想物体操作装置１と、全天球カメラ２と、ＨＭＤ３と、通信機器４と、を備える。なお、実空間には現実物体（ここでは、机ＯＲ）が存在しているものとする。また、仮想物体操作装置１とＨＭＤ３とは、仮想物体の情報（位置、大きさ、向き、形状等）を記憶しているものとする。
ここでは、仮想物体表示システム１００は、仮想物体操作装置１と、全天球カメラ２と、ＨＭＤ３と、通信機器４と、を備える。なお、実空間には現実物体（ここでは、机ＯＲ）が存在しているものとする。また、仮想物体操作装置１とＨＭＤ３とは、仮想物体の情報（位置、大きさ、向き、形状等）を記憶しているものとする。
【0015】
仮想物体操作装置１は、ＨＭＤ３と同期して、仮想物体を操作するものである。
仮想物体操作装置１は、全天球カメラ２で撮影された映像のうちで指定された視線方向のＭＲ映像をモニタＭＯに表示するとともに、ユーザＭ２の指示により仮想物体の位置、向き等をＨＭＤ３と同期して操作する。なお、視線とは、視点から見ている対象への方向を意味する。
仮想物体操作装置１は、全天球カメラ２と、ＭＲ映像を表示するモニタ（表示装置）ＭＯと、ユーザＭ２が仮想物体を操作するための指示装置（マウスＭＳ、キーボードＫＢ等）と、を接続している。
なお、ここでは、仮想物体操作装置１が一台の例で説明するが、全天球カメラ２を仮想物体操作装置１の一台ずつに接続した状態で、ネットワークを介して同状態の仮想物体操作装置１を複数台設置しても構わない。また、仮想物体操作装置１はオンライン会議アプリを用いることでオンライン会議用端末として使用することも可能である。なお、仮想物体操作装置１を複数設置する例については、後記する実施例で説明する。
仮想物体操作装置１は、全天球カメラ２で撮影された映像のうちで指定された視線方向のＭＲ映像をモニタＭＯに表示するとともに、ユーザＭ２の指示により仮想物体の位置、向き等をＨＭＤ３と同期して操作する。なお、視線とは、視点から見ている対象への方向を意味する。
仮想物体操作装置１は、全天球カメラ２と、ＭＲ映像を表示するモニタ（表示装置）ＭＯと、ユーザＭ２が仮想物体を操作するための指示装置（マウスＭＳ、キーボードＫＢ等）と、を接続している。
なお、ここでは、仮想物体操作装置１が一台の例で説明するが、全天球カメラ２を仮想物体操作装置１の一台ずつに接続した状態で、ネットワークを介して同状態の仮想物体操作装置１を複数台設置しても構わない。また、仮想物体操作装置１はオンライン会議アプリを用いることでオンライン会議用端末として使用することも可能である。なお、仮想物体操作装置１を複数設置する例については、後記する実施例で説明する。
【0016】
仮想物体操作装置１に接続されたモニタＭＯには、図２に示すように、現実世界の映像に重ねて仮想物体を描画したＭＲ映像ＩＭＯが表示される。
一例として、図２中、ＨＭＤ３を装着したユーザＭ１および机ＯＲ以外は、仮想物体である。
ここでは、仮想物体の例として、３Ｄ（３次元）ＣＡＤ等で生成された立体構造物である観察・操作対象である対象仮想オブジェクトＯＴと、ＨＭＤ３の視点位置を示す視点オブジェクトＯＰＨＭＤと、その視線方向を示す視線オブジェクトＯＬＨＭＤとを示している。
一例として、図２中、ＨＭＤ３を装着したユーザＭ１および机ＯＲ以外は、仮想物体である。
ここでは、仮想物体の例として、３Ｄ（３次元）ＣＡＤ等で生成された立体構造物である観察・操作対象である対象仮想オブジェクトＯＴと、ＨＭＤ３の視点位置を示す視点オブジェクトＯＰＨＭＤと、その視線方向を示す視線オブジェクトＯＬＨＭＤとを示している。
【0017】
全天球カメラ（天球カメラ）２は、上下左右全方位の３６０度の天球映像を撮影するものである。
全天球カメラ２は、撮影した天球映像を仮想物体操作装置１に出力する。
全天球カメラ２は、撮影した天球映像を仮想物体操作装置１に出力する。
【0018】
ＨＭＤ３は、ユーザＭ１の頭部に装着され、ユーザＭ１の頭の位置や向きに応じて、現実世界に重ねて仮想物体を描画したＭＲ映像を表示するものである。なお、ＨＭＤ３は、ユーザＭ１がＭＲ映像内の仮想物体を動かすハンドトラッキング機能を有しているものを用いることとする。
また、ＨＭＤ３は、現実世界を半透明のディスプレイを通してそのまま眺める光学シースルー方式の装置であってもよいし、現実世界を撮影してディスプレイにその映像を表示するビデオシースルー方式の装置であっても構わない。
また、ここでは、ＨＭＤ３を装着したユーザを一人として説明するが、複数のユーザがＨＭＤ３を装着していてもよい。
また、ＨＭＤ３は、現実世界を半透明のディスプレイを通してそのまま眺める光学シースルー方式の装置であってもよいし、現実世界を撮影してディスプレイにその映像を表示するビデオシースルー方式の装置であっても構わない。
また、ここでは、ＨＭＤ３を装着したユーザを一人として説明するが、複数のユーザがＨＭＤ３を装着していてもよい。
【0019】
ＨＭＤ３には、図３に示すように、現実世界に重ねて仮想物体を描画したＭＲ映像ＩＨＭＤが表示される。
図３中、全天球カメラ２および机ＯＲ以外は、仮想物体である。
ここでは、仮想物体の例として、操作対象となる仮想オブジェクトＯＴと、仮想物体操作装置１のユーザＭ２が指示した視点位置を示す視点オブジェクトＯＰＣＡＭと、その視線方向を示す視線オブジェクトＯＬＣＡＭとを示している。
図３中、全天球カメラ２および机ＯＲ以外は、仮想物体である。
ここでは、仮想物体の例として、操作対象となる仮想オブジェクトＯＴと、仮想物体操作装置１のユーザＭ２が指示した視点位置を示す視点オブジェクトＯＰＣＡＭと、その視線方向を示す視線オブジェクトＯＬＣＡＭとを示している。
【0020】
通信機器４は、仮想物体操作装置１とＨＭＤ３との間で制御情報を送受信する通信装置である。
通信機器４は、例えば、仮想物体操作装置１およびＨＭＤ３との間で、無線でデータを送受信するＷｉ－Ｆｉルータを用いることができる。もちろん、仮想物体操作装置１と通信機器４とを、有線で接続する形態であっても構わない。
なお、仮想物体操作装置１とＨＭＤ３とが直接通信を行う構成とする場合、通信機器４を備える必要はない。
通信機器４は、例えば、仮想物体操作装置１およびＨＭＤ３との間で、無線でデータを送受信するＷｉ－Ｆｉルータを用いることができる。もちろん、仮想物体操作装置１と通信機器４とを、有線で接続する形態であっても構わない。
なお、仮想物体操作装置１とＨＭＤ３とが直接通信を行う構成とする場合、通信機器４を備える必要はない。
【0021】
ここで、仮想物体表示システム１００が処理する仮想物体について説明しておく。仮想物体表示システム１００が処理する仮想物体は、対象仮想オブジェクト、視点オブジェクト、視線オブジェクト、新視点オブジェクト、視点変更実行用オブジェクトおよび球体オブジェクトである。
【0022】
【0023】
視点オブジェクトは、ＨＭＤ３を装着したユーザＭ１の視点位置、ＨＭＤ３を装着していないユーザＭ２の視点位置（全天球カメラ２〔魚眼レンズ〕の位置）を示す仮想物体である。例えば、図２に示したＨＭＤ３を装着したユーザＭ１の視点位置を示す視点オブジェクトＯＰＨＭＤである。また、図３に示した全天球カメラ２の位置を示す視点オブジェクトＯＰＣＡＭである。
この視点オブジェクトは、形状は任意であるが、図２，図３に示したように、例えば、円柱等、向きが分かる立体形状で表すことが好ましい。
この視点オブジェクトは、形状は任意であるが、図２，図３に示したように、例えば、円柱等、向きが分かる立体形状で表すことが好ましい。
【0024】
視線オブジェクトは、視点オブジェクトに付随して、視線方向を示す直線等の仮想物体である。視線オブジェクトは、例えば、図２に示したＨＭＤ３を装着したユーザＭ１の視線方向を示す視線オブジェクトＯＬＨＭＤである。また、視線オブジェクトは、図３に示した全天球カメラ２からの視線方向を示す視線オブジェクトＯＬＣＡＭである。
なお、図２，図３の例では、視線オブジェクトＯＬＨＭＤ，ＯＬＣＡＭを破線のみで示している。しかし、視線オブジェクトは、実線、点線、鎖線等、どのような線種であっても構わない。また、視線オブジェクトは、視線の先を示す先端部に、視線方向を示す矢頭（→等）を付加した形状でも構わない。
また、図２，図３の例では、視線オブジェクトＯＬＨＭＤ，ＯＬＣＡＭは、視点オブジェクトＯＰＨＭＤ，ＯＰＣＡＭと、対象仮想オブジェクトＯＴとをそれぞれ終端とする線の形状としている。しかし、視線オブジェクトは、視線方向が分かれば、必ずしも、視点オブジェクトと対象仮想オブジェクトとを終端とする線の形状である必要ない。例えば、視線オブジェクトの線の一端または両端が、視点オブジェクトと対象仮想オブジェクトとから離間していても構わない。あるいは、視線オブジェクトの視点を始点端とし、視野の範囲を示す扇状の形状としても構わない。
なお、図２，図３の例では、視線オブジェクトＯＬＨＭＤ，ＯＬＣＡＭを破線のみで示している。しかし、視線オブジェクトは、実線、点線、鎖線等、どのような線種であっても構わない。また、視線オブジェクトは、視線の先を示す先端部に、視線方向を示す矢頭（→等）を付加した形状でも構わない。
また、図２，図３の例では、視線オブジェクトＯＬＨＭＤ，ＯＬＣＡＭは、視点オブジェクトＯＰＨＭＤ，ＯＰＣＡＭと、対象仮想オブジェクトＯＴとをそれぞれ終端とする線の形状としている。しかし、視線オブジェクトは、視線方向が分かれば、必ずしも、視点オブジェクトと対象仮想オブジェクトとを終端とする線の形状である必要ない。例えば、視線オブジェクトの線の一端または両端が、視点オブジェクトと対象仮想オブジェクトとから離間していても構わない。あるいは、視線オブジェクトの視点を始点端とし、視野の範囲を示す扇状の形状としても構わない。
【0025】
新視点オブジェクトは、全天球カメラ２の位置を移動させた際に、ＨＭＤ３を装着したユーザＭ１が全天球カメラ２の新しい位置に視点位置を移動させる際に用いる仮想物体である（後記する図５の新視点オブジェクトＯＰＮＥＷ）。なお、新視点オブジェクトは、実空間における全天球カメラ２の位置を特定するために使用されるもので、ＨＭＤ３を装着していないユーザＭ２の視点位置（視点オブジェクトＯＰＣＡＭの位置）を直接示すものではない。すなわち、全天球カメラ２の位置を移動させ、新視点オブジェクトを全天球カメラ２の位置に移動させた段階では、新視点オブジェクトの位置と視点オブジェクトの位置とは異なっている。
この新視点オブジェクトは、常に表示状態であるが、非表示状態を標準とし、全天球カメラ２の位置を変更する際に表示させることも可能である。
この新視点オブジェクトは、常に表示状態であるが、非表示状態を標準とし、全天球カメラ２の位置を変更する際に表示させることも可能である。
【0026】
視点変更実行用オブジェクトは、全天球カメラ２の位置を移動した際に、ＨＭＤ３を装着していないユーザＭ２が、視点位置の変更を実行するために選択（マウスボタンの押下等）されるボタン等の仮想物体である。この視点変更実行用オブジェクトが選択されることで、視点オブジェクトが新視点オブジェクトの位置に移動し、新視点オブジェクトの位置と視点オブジェクトの位置とが同じになる。
この視点変更実行用オブジェクトは、常に表示状態であるが、非表示状態を標準とし、全天球カメラ２の位置を変更する際に表示させることも可能である。
この視点変更実行用オブジェクトは、常に表示状態であるが、非表示状態を標準とし、全天球カメラ２の位置を変更する際に表示させることも可能である。
【0027】
球体オブジェクトは、全天球カメラ２で撮影された天球映像のフレームごとの天球画像を描画する仮想的な球体スクリーンである。なお、ここでは、球体オブジェクトを仮想物体としているが、この球体オブジェクトには、移動するという概念はなく、ＨＭＤ３には表示されない。
これらの仮想物体を用いた具体的な処理内容については後記する。
以上の構成によって、仮想物体表示システム１００は、ＨＭＤ３を装着していないユーザＭ２にモニタＭＯを介してＭＲ映像を提示することができる。さらに、仮想物体表示システム１００は、ＨＭＤ３を装着していないユーザＭ２が、仮想物体を操作することができる。
以下、仮想物体操作装置１およびＨＭＤ３の構成および動作について説明する。
これらの仮想物体を用いた具体的な処理内容については後記する。
以上の構成によって、仮想物体表示システム１００は、ＨＭＤ３を装着していないユーザＭ２にモニタＭＯを介してＭＲ映像を提示することができる。さらに、仮想物体表示システム１００は、ＨＭＤ３を装着していないユーザＭ２が、仮想物体を操作することができる。
以下、仮想物体操作装置１およびＨＭＤ３の構成および動作について説明する。
【0028】
【0029】
記憶部ＭＥは、仮想物体操作装置１で使用する仮想物体の情報を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶部ＭＥは、仮想物体情報記憶部１０を備える。
仮想物体情報記憶部１０には、仮想物体の構造情報、位置情報を記憶する。ここで、構造情報は、仮想物体の構造を特定する情報であって、例えば、３ＤＣＡＤで作成された立体構造の情報である。なお、構造情報には、仮想物体が動きを伴うものであった場合、その動きを示すアニメーション情報も含まれる。また、位置情報は、仮想物体の配置位置を特定する情報であって、３次元空間における位置座標（３変数）、方向（２変数）、スケール（１変数）等である。
また、仮想物体情報記憶部１０には、ＨＭＤ３を装着したユーザＭ１の視点位置、ＨＭＤ３を装着していないユーザＭ２の視点位置（全天球カメラ２の位置）と、それぞれの視線方向が記憶される。
仮想物体情報記憶部１０の各種情報は、予め初期値が設定されるが、後記する仮想物体制御部１４によって更新される。
ここでは、記憶部ＭＥは、仮想物体情報記憶部１０を備える。
仮想物体情報記憶部１０には、仮想物体の構造情報、位置情報を記憶する。ここで、構造情報は、仮想物体の構造を特定する情報であって、例えば、３ＤＣＡＤで作成された立体構造の情報である。なお、構造情報には、仮想物体が動きを伴うものであった場合、その動きを示すアニメーション情報も含まれる。また、位置情報は、仮想物体の配置位置を特定する情報であって、３次元空間における位置座標（３変数）、方向（２変数）、スケール（１変数）等である。
また、仮想物体情報記憶部１０には、ＨＭＤ３を装着したユーザＭ１の視点位置、ＨＭＤ３を装着していないユーザＭ２の視点位置（全天球カメラ２の位置）と、それぞれの視線方向が記憶される。
仮想物体情報記憶部１０の各種情報は、予め初期値が設定されるが、後記する仮想物体制御部１４によって更新される。
【0030】
制御部ＣＬは、仮想物体操作装置１の各種制御動作を行うものである。
制御部ＣＬは、制御情報送信部１１と、制御情報受信部１２と、操作指示入力部１３と、仮想物体制御部１４と、ＭＲ映像生成部１５と、を備える。
制御部ＣＬは、制御情報送信部１１と、制御情報受信部１２と、操作指示入力部１３と、仮想物体制御部１４と、ＭＲ映像生成部１５と、を備える。
【0031】
制御情報送信部１１は、仮想物体制御部１４で操作された仮想物体の位置情報を、制御情報としてＨＭＤ３に送信するものである。
ここでは、制御情報送信部１１は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報をＨＭＤ３に送信する。
ここでは、制御情報送信部１１は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報をＨＭＤ３に送信する。
【0032】
制御情報受信部１２は、ＨＭＤ３で操作された仮想物体の位置情報を、制御情報としてＨＭＤ３から受信するものである。制御情報受信部１２は、受信した制御情報を仮想物体制御部１４に出力する。
ここでは、制御情報受信部１２は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報を受信する。
ここでは、制御情報受信部１２は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報を受信する。
【0033】
操作指示入力部１３は、ＭＲ映像生成部１５で生成され、モニタＭＯに表示されたＭＲ映像上において、仮想物体に対する操作指示を入力するものである。
ここでは、操作指示入力部１３は、外部に接続したマウスＭＳ等の指示装置から、仮想物体に対する操作指示を入力する。操作指示は、例えば、マウスＭＳのボタンの押下／解放情報、ドラッグ情報、キーボードＫＢのキーの押下／解放情報等である。
操作指示入力部１３は、入力した操作指示を仮想物体制御部１４に出力する。
ここでは、操作指示入力部１３は、外部に接続したマウスＭＳ等の指示装置から、仮想物体に対する操作指示を入力する。操作指示は、例えば、マウスＭＳのボタンの押下／解放情報、ドラッグ情報、キーボードＫＢのキーの押下／解放情報等である。
操作指示入力部１３は、入力した操作指示を仮想物体制御部１４に出力する。
【0034】
仮想物体制御部１４は、操作指示入力部１３から入力される操作指示、および、ＨＭＤ３から入力される制御情報を契機として、仮想物体に対する操作を行うものである。
ここでは、仮想物体制御部１４は、権利取得部１４０と、操作部１４１と、視点変更部１４２と、視線変更部１４３と、を備える。
ここでは、仮想物体制御部１４は、権利取得部１４０と、操作部１４１と、視点変更部１４２と、視線変更部１４３と、を備える。
【0035】
権利取得部１４０は、仮想物体を選択または解放する操作指示を入力されることで、操作対象の操作の権利（以下、操作権）を取得または解放するものである。
権利取得部１４０は、仮想物体を選択する操作指示として、例えば、マウスＭＳの左ボタンを押下されることで、モニタＭＯ上のマウスＭＳが存在する位置に対応する仮想物体の操作権を取得する。
なお、マウスＭＳが存在する位置に対応する仮想物体は、仮想物体情報記憶部１０に記憶されている視点位置を中心とした視線方向における予め定めた画角内で、マウスＭＳの位置を投影した最も視点位置に近い位置に存在する仮想物体として検出することができる。
権利取得部１４０は、操作権を取得した旨（操作権取得情報）を、制御情報として制御情報送信部１１を介してＨＭＤ３に通知するとともに、仮想物体情報記憶部１０に記憶する。
権利取得部１４０は、仮想物体を選択する操作指示として、例えば、マウスＭＳの左ボタンを押下されることで、モニタＭＯ上のマウスＭＳが存在する位置に対応する仮想物体の操作権を取得する。
なお、マウスＭＳが存在する位置に対応する仮想物体は、仮想物体情報記憶部１０に記憶されている視点位置を中心とした視線方向における予め定めた画角内で、マウスＭＳの位置を投影した最も視点位置に近い位置に存在する仮想物体として検出することができる。
権利取得部１４０は、操作権を取得した旨（操作権取得情報）を、制御情報として制御情報送信部１１を介してＨＭＤ３に通知するとともに、仮想物体情報記憶部１０に記憶する。
【0036】
また、権利取得部１４０は、仮想物体を解放する操作指示として、例えば、マウスＭＳの左ボタンを解放されることで、操作権を解放する。権利取得部１４０は、操作権を解放した旨（操作権解放情報）を制御情報として制御情報送信部１１を介してＨＭＤ３に送信するとともに、仮想物体情報記憶部１０に記憶する。
【0037】
また、権利取得部１４０は、ＨＭＤ３から制御情報受信部１２を介して仮想物体の操作権を取得した旨（操作権取得情報）、あるいは、解放した旨（操作権解放情報）を制御情報として通知された場合、仮想物体情報記憶部１０にその仮想物体に対する操作権の有無を記憶する。
権利取得部１４０は、仮想物体を選択しようとしても、すでに操作権が取得されている場合、仮想物体の選択を行わないこととする。
なお、ここでは、操作権を取得して解放するまで、操作権を保持することとしているが、他のユーザが操作権を取得した段階で、自身の操作権が解放されたこととしてもよい。
操作権を他のユーザが取得できる仮想物体は、対象仮想オブジェクト、新視点オブジェクトである。
視点オブジェクト、視線オブジェクト、視点変更実行用オブジェクトについては、予め仮想物体操作装置１とＨＭＤ３とにそれぞれのユーザの操作権が設定されており、操作権を移動できない仮想物体とする。また、球体オブジェクトは、移動等の操作を行う対象ではないため、操作権の設定は行わないことにする。
権利取得部１４０は、仮想物体を選択しようとしても、すでに操作権が取得されている場合、仮想物体の選択を行わないこととする。
なお、ここでは、操作権を取得して解放するまで、操作権を保持することとしているが、他のユーザが操作権を取得した段階で、自身の操作権が解放されたこととしてもよい。
操作権を他のユーザが取得できる仮想物体は、対象仮想オブジェクト、新視点オブジェクトである。
視点オブジェクト、視線オブジェクト、視点変更実行用オブジェクトについては、予め仮想物体操作装置１とＨＭＤ３とにそれぞれのユーザの操作権が設定されており、操作権を移動できない仮想物体とする。また、球体オブジェクトは、移動等の操作を行う対象ではないため、操作権の設定は行わないことにする。
【0038】
操作部１４１は、操作指示入力部１３から操作指示を入力されることで、操作指示に対応する操作を仮想物体に対して行うものである。
操作部１４１は、例えば、仮想物体を移動する操作指示として、マウスＭＳの左ボタンが押下された状態（操作権が設定されている状態）でドラッグされることで、仮想物体の位置を移動させる。なお、仮想物体の３次元空間の移動は、例えば、マウスＭＳの左ボタンのドラッグによる水平方向および垂直方向の移動、マウスＭＳのトラックボールによる奥行き方向の移動、キーボードＫＢの矢印キーによる回転等、予め定めた指示で行うことができる。
また、操作部１４１が行う移動の操作には、回転、スケール変更等も含まれる。
操作部１４１は、マウスＭＳ等の操作量に応じて、仮想物体の移動量、回転量、スケールの比率等を算出し、仮想物体の新たな位置情報を求める。
操作部１４１は、操作後の仮想物体の位置情報を、仮想物体情報記憶部１０に記憶するとともに、仮想物体の特定情報（識別番号等）と位置情報とを、制御情報として制御情報送信部１１を介してＨＭＤ３に送信する。
操作部１４１は、例えば、仮想物体を移動する操作指示として、マウスＭＳの左ボタンが押下された状態（操作権が設定されている状態）でドラッグされることで、仮想物体の位置を移動させる。なお、仮想物体の３次元空間の移動は、例えば、マウスＭＳの左ボタンのドラッグによる水平方向および垂直方向の移動、マウスＭＳのトラックボールによる奥行き方向の移動、キーボードＫＢの矢印キーによる回転等、予め定めた指示で行うことができる。
また、操作部１４１が行う移動の操作には、回転、スケール変更等も含まれる。
操作部１４１は、マウスＭＳ等の操作量に応じて、仮想物体の移動量、回転量、スケールの比率等を算出し、仮想物体の新たな位置情報を求める。
操作部１４１は、操作後の仮想物体の位置情報を、仮想物体情報記憶部１０に記憶するとともに、仮想物体の特定情報（識別番号等）と位置情報とを、制御情報として制御情報送信部１１を介してＨＭＤ３に送信する。
【0039】
また、操作部１４１は、操作後の仮想物体の位置情報を、制御情報受信部１２から制御情報として入力されることで、仮想物体を操作後の位置に移動させるものでもある。
操作部１４１は、ＨＭＤ３から、制御情報受信部１２を介して、操作後の仮想物体の位置情報を通知された場合、その位置情報を仮想物体情報記憶部１０に記憶する。
操作部１４１は、ＨＭＤ３から、制御情報受信部１２を介して、操作後の仮想物体の位置情報を通知された場合、その位置情報を仮想物体情報記憶部１０に記憶する。
【0040】
視点変更部１４２は、視点位置（視点オブジェクトＯＰＣＡＭの位置）を変更する操作指示を入力されることで、視点位置を変更するものである。
視点変更部１４２は、視点位置を変更する操作指示として、操作指示入力部１３を介して、視点変更実行用オブジェクト上でマウスＭＳのボタンを押下されることで、視点オブジェクトの位置を、新視点オブジェクトの位置に変更する。
視点変更部１４２は、視点位置を変更する操作指示として、操作指示入力部１３を介して、視点変更実行用オブジェクト上でマウスＭＳのボタンを押下されることで、視点オブジェクトの位置を、新視点オブジェクトの位置に変更する。
【0041】
視点変更部１４２は、変更後の視点オブジェクトに付随して、視線オブジェクトを視点オブジェクトの位置から視線方向に延びる直線として更新する。
そして、視点変更部１４２は、視点オブジェクトおよび視線オブジェクトの位置情報を仮想物体情報記憶部１０に記憶するとともに、制御情報として制御情報送信部１１を介してＨＭＤ３に送信する。
なお、仮想物体操作装置１に対応する視点オブジェクトは、仮想物体操作装置１のユーザしか操作権を持っていない。そこで、全天球カメラ２の位置を変更した場合、ＨＭＤ３のユーザによって、ＨＭＤ３のユーザが移動可能な新視点オブジェクトを全天球カメラ２の位置に移動しておく。
そして、視点変更部１４２は、視点オブジェクトおよび視線オブジェクトの位置情報を仮想物体情報記憶部１０に記憶するとともに、制御情報として制御情報送信部１１を介してＨＭＤ３に送信する。
なお、仮想物体操作装置１に対応する視点オブジェクトは、仮想物体操作装置１のユーザしか操作権を持っていない。そこで、全天球カメラ２の位置を変更した場合、ＨＭＤ３のユーザによって、ＨＭＤ３のユーザが移動可能な新視点オブジェクトを全天球カメラ２の位置に移動しておく。
【0042】
ここで、図５を参照（適宜図１，図４参照）して、視点変更の処理について説明する。
図５は、ＨＭＤ３に表示されるＭＲ映像を示す。なお、説明を分かり易くするため、ＨＭＤ３の位置は固定されているものとする。
図５（ａ）は、全天球カメラ２の位置に視点オブジェクトＯＰＣＡＭが存在し、それ以外の仮想物体として、新視点オブジェクトＯＰＮＥＷが存在しているものとする。なお、新視点オブジェクトＯＰＮＥＷは、任意の場所に配置されていればよい。
ＨＭＤ３を装着したユーザＭ１は、図５（ｂ）に示すように、自分の意志、あるいは、ＨＭＤ３を装着していないユーザＭ２の要請（直接通話、電話、テレビ会議音声等）によって、全天球カメラ２の位置を物理的に移動させる。
そして、ＨＭＤ３を装着したユーザＭ１は、図５（ｃ）に示すように、３次元空間内の新視点オブジェクトＯＰＮＥＷを把持し、全天球カメラ２の新しい視点位置に移動させて新視点オブジェクトＯＰＮＥＷを離す。
図５は、ＨＭＤ３に表示されるＭＲ映像を示す。なお、説明を分かり易くするため、ＨＭＤ３の位置は固定されているものとする。
図５（ａ）は、全天球カメラ２の位置に視点オブジェクトＯＰＣＡＭが存在し、それ以外の仮想物体として、新視点オブジェクトＯＰＮＥＷが存在しているものとする。なお、新視点オブジェクトＯＰＮＥＷは、任意の場所に配置されていればよい。
ＨＭＤ３を装着したユーザＭ１は、図５（ｂ）に示すように、自分の意志、あるいは、ＨＭＤ３を装着していないユーザＭ２の要請（直接通話、電話、テレビ会議音声等）によって、全天球カメラ２の位置を物理的に移動させる。
そして、ＨＭＤ３を装着したユーザＭ１は、図５（ｃ）に示すように、３次元空間内の新視点オブジェクトＯＰＮＥＷを把持し、全天球カメラ２の新しい視点位置に移動させて新視点オブジェクトＯＰＮＥＷを離す。
【0043】
その後、ＨＭＤ３を装着していないユーザＭ２が、任意の位置に配置された視点変更実行用オブジェクトを選択（マウスボタンの押下等）することで、図５（ｄ）に示すように、視点変更部１４２は、視点オブジェクトＯＰＣＡＭの位置を新視点オブジェクトＯＰＮＥＷ（図５（ｃ））の位置に変更し、位置情報を仮想物体情報記憶部１０に記憶する。なお、視点変更部１４２は、視点オブジェクトの位置を変更した後、視点変更実行用オブジェクトを、視点オブジェクトの近傍で２次元の画面内に存在するように再配置することが好ましい。これによって、ユーザＭ２が視点変更実行用オブジェクトを探す手間を省くことができる。
また、視点変更部１４２は、更新された視点オブジェクトに付随して、視線オブジェクトの位置についても更新する。
図４に戻って、仮想物体操作装置１の構成について説明を続ける。
また、視点変更部１４２は、更新された視点オブジェクトに付随して、視線オブジェクトの位置についても更新する。
図４に戻って、仮想物体操作装置１の構成について説明を続ける。
【0044】
視線変更部１４３は、視線方向を変更（視点オブジェクトを回転）する操作指示を操作指示入力部１３から入力されることで、視線方向を変更するものである。
視線変更部１４３は、視点オブジェクトを回転する操作指示として、例えば、マウスＭＳの右ボタンを押下された状態でドラッグされることで、視点オブジェクトを回転させる。なお、視点オブジェクトの３次元空間における回転は、例えば、マウスＭＳの右ボタンのドラッグによる水平方向の回転、マウスＭＳの右ボタン押下時のトラックボールによる垂直方向の回転等、予め定めた指示で行うことができる。
このとき、視線変更部１４３は、回転後の視点オブジェクトに付随して、視線オブジェクトを更新する。
視線変更部１４３は、回転後の視点オブジェクトおよび視線オブジェクトの位置情報を、仮想物体情報記憶部１０に記憶するとともに、制御情報として制御情報送信部１１を介してＨＭＤ３に送信する。
視線変更部１４３は、視点オブジェクトを回転する操作指示として、例えば、マウスＭＳの右ボタンを押下された状態でドラッグされることで、視点オブジェクトを回転させる。なお、視点オブジェクトの３次元空間における回転は、例えば、マウスＭＳの右ボタンのドラッグによる水平方向の回転、マウスＭＳの右ボタン押下時のトラックボールによる垂直方向の回転等、予め定めた指示で行うことができる。
このとき、視線変更部１４３は、回転後の視点オブジェクトに付随して、視線オブジェクトを更新する。
視線変更部１４３は、回転後の視点オブジェクトおよび視線オブジェクトの位置情報を、仮想物体情報記憶部１０に記憶するとともに、制御情報として制御情報送信部１１を介してＨＭＤ３に送信する。
【0045】
ＭＲ映像生成部１５は、全天球カメラ２から入力される天球映像の指定された視線方向の映像と仮想物体とを重ね合わせたＭＲ映像を生成するものである。
ＭＲ映像生成部１５は、全天球カメラ２で撮影される映像と、仮想物体情報記憶部１０に記憶されている仮想物体の構造情報および位置情報とから、モニタＭＯに表示するフレームごとの画像をＭＲ映像として生成する。
ここでは、ＭＲ映像生成部１５は、仮想球体描画部１５０と、仮想物体配置部１５１と、２次元画像生成部１５２と、を備える。
ＭＲ映像生成部１５は、全天球カメラ２で撮影される映像と、仮想物体情報記憶部１０に記憶されている仮想物体の構造情報および位置情報とから、モニタＭＯに表示するフレームごとの画像をＭＲ映像として生成する。
ここでは、ＭＲ映像生成部１５は、仮想球体描画部１５０と、仮想物体配置部１５１と、２次元画像生成部１５２と、を備える。
【0046】
仮想球体描画部１５０は、仮想物体である球体オブジェクトに、天球映像をフレーム単位で天球画像として描画するものである。
ここでは、仮想球体描画部１５０は、球体オブジェクトの表面に、全天球カメラ２から入力される天球画像をマッピングする。
仮想球体描画部１５０は、天球画像を描画した球体オブジェクトを、仮想物体配置部１５１に出力する。
ここでは、仮想球体描画部１５０は、球体オブジェクトの表面に、全天球カメラ２から入力される天球画像をマッピングする。
仮想球体描画部１５０は、天球画像を描画した球体オブジェクトを、仮想物体配置部１５１に出力する。
【0047】
仮想物体配置部１５１は、仮想球体描画部１５０で天球画像を描画された球体オブジェクトの内部に、仮想物体を配置するものである。
仮想物体配置部１５１は、仮想物体情報記憶部１０に記憶されている仮想物体の構造情報および位置情報とから、球体オブジェクトの内部に仮想物体（対象仮想オブジェクト、視点オブジェクト、視線オブジェクト、新視点オブジェクトおよび視点変更実行用オブジェクト）を配置する。
仮想物体配置部１５１は、天球画像が描画された球体オブジェクトと、内部に配置された仮想物体の情報とを合わせて、２次元画像生成部１５２に出力する。
仮想物体配置部１５１は、仮想物体情報記憶部１０に記憶されている仮想物体の構造情報および位置情報とから、球体オブジェクトの内部に仮想物体（対象仮想オブジェクト、視点オブジェクト、視線オブジェクト、新視点オブジェクトおよび視点変更実行用オブジェクト）を配置する。
仮想物体配置部１５１は、天球画像が描画された球体オブジェクトと、内部に配置された仮想物体の情報とを合わせて、２次元画像生成部１５２に出力する。
【0048】
２次元画像生成部１５２は、仮想物体配置部１５１で生成された球体オブジェクトと仮想物体の情報から、視線方向の２次元画像を生成するものである。
２次元画像生成部１５２は、球体オブジェクトの中心を視点位置として、仮想物体情報記憶部１０に記憶されている視線方向のベクトルに垂直な２次元撮像面をもつ仮想的なカメラを配置する。そして、２次元画像生成部１５２は、視点位置から２次元撮像面を介して撮影される天球画像の画素および仮想物体を２次元撮像面に投影することにより、視線方向の２次元画像を生成する。
２次元画像生成部１５２は、生成した２次元画像をモニタＭＯに出力する。
ＭＲ映像生成部１５は、順次、２次元画像を予め定めたフレームレートで出力する。
これによって、ＨＭＤ３を装着していないユーザは、モニタＭＯを介して、ＭＲ映像を視認することができる。
２次元画像生成部１５２は、球体オブジェクトの中心を視点位置として、仮想物体情報記憶部１０に記憶されている視線方向のベクトルに垂直な２次元撮像面をもつ仮想的なカメラを配置する。そして、２次元画像生成部１５２は、視点位置から２次元撮像面を介して撮影される天球画像の画素および仮想物体を２次元撮像面に投影することにより、視線方向の２次元画像を生成する。
２次元画像生成部１５２は、生成した２次元画像をモニタＭＯに出力する。
ＭＲ映像生成部１５は、順次、２次元画像を予め定めたフレームレートで出力する。
これによって、ＨＭＤ３を装着していないユーザは、モニタＭＯを介して、ＭＲ映像を視認することができる。
【0049】
以上説明した構成によって、仮想物体操作装置１は、ＨＭＤ３を装着していないユーザＭ２に、ＨＭＤ３を装着したユーザＭ１とは異なる視点でＭＲ映像を提示することができる。また、仮想物体操作装置１は、ＨＭＤ３を装着していないユーザＭ２であっても、仮想物体を操作させることができる。
なお、仮想物体操作装置１は、コンピュータを、前記した制御部ＣＬの各部として機能させるためのプログラム（仮想物体制御プログラム）で動作させることができる。
例えば、仮想物体操作装置１は、仮想物体制御プログラムをＰＣ（パーソナルコンピュータ）で動作させることで実現することもできる。
なお、仮想物体操作装置１は、コンピュータを、前記した制御部ＣＬの各部として機能させるためのプログラム（仮想物体制御プログラム）で動作させることができる。
例えば、仮想物体操作装置１は、仮想物体制御プログラムをＰＣ（パーソナルコンピュータ）で動作させることで実現することもできる。
【0050】
【0051】
記憶部ＭＥは、ＨＭＤ３で使用する仮想物体の情報を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶部ＭＥは、仮想物体情報記憶部３０を備える。なお、一般的なＨＭＤで使用する情報、例えば、手指の動きを検出するための情報等は、ここでは説明を省略する。
ここでは、記憶部ＭＥは、仮想物体情報記憶部３０を備える。なお、一般的なＨＭＤで使用する情報、例えば、手指の動きを検出するための情報等は、ここでは説明を省略する。
【0052】
仮想物体情報記憶部３０は、仮想物体の構造情報、位置情報を記憶する。この仮想物体情報記憶部３０に記憶される情報は、図４で説明した仮想物体情報記憶部１０に記憶される情報と同じであるため、説明を省略する。
【0053】
制御部ＣＬは、ＨＭＤ３の各種制御動作を行うものである。
制御部ＣＬは、ＨＭＤ本体部３１と、仮想物体操作インタフェース（Ｉ／Ｆ）部３２と、を備える。
制御部ＣＬは、ＨＭＤ本体部３１と、仮想物体操作インタフェース（Ｉ／Ｆ）部３２と、を備える。
【0054】
ＨＭＤ本体部３１は、実空間に仮想物体を重ね合わせて表示デバイス（不図示）に表示して、ＨＭＤ３を装着したユーザにＭＲ映像を提示するものである。
ＨＭＤ本体部３１には、従来のハンドトラッキング機能を有するＨＭＤを用いればよい。ここでは、ＨＭＤ本体部３１は、ハンドトラッキング機能により、ＨＭＤ３を装着したユーザが仮想物体を把持した、解放した、移動させた等の各種動作を検出した場合、その動作内容を操作指示として仮想物体操作Ｉ／Ｆ部３２に出力する。
また、ＨＭＤ本体部３１は、仮想物体情報記憶部３０に記憶されている仮想物体情報の位置情報により、表示デバイスの対応する位置に仮想物体を表示する。
以下、本発明と直接関係しないＨＭＤ本体部３１の内容については、詳細な説明を省略する。
ＨＭＤ本体部３１には、従来のハンドトラッキング機能を有するＨＭＤを用いればよい。ここでは、ＨＭＤ本体部３１は、ハンドトラッキング機能により、ＨＭＤ３を装着したユーザが仮想物体を把持した、解放した、移動させた等の各種動作を検出した場合、その動作内容を操作指示として仮想物体操作Ｉ／Ｆ部３２に出力する。
また、ＨＭＤ本体部３１は、仮想物体情報記憶部３０に記憶されている仮想物体情報の位置情報により、表示デバイスの対応する位置に仮想物体を表示する。
以下、本発明と直接関係しないＨＭＤ本体部３１の内容については、詳細な説明を省略する。
【0055】
仮想物体操作Ｉ／Ｆ部３２は、仮想物体操作装置１による仮想物体の操作と、ＨＭＤ本体部３１による仮想物体の操作とを整合させるものである。
仮想物体操作Ｉ／Ｆ部３２は、制御情報送信部３１０と、制御情報受信部３２０と、仮想物体制御部３３０と、を備える。
仮想物体操作Ｉ／Ｆ部３２は、制御情報送信部３１０と、制御情報受信部３２０と、仮想物体制御部３３０と、を備える。
【0056】
制御情報送信部３１０は、仮想物体制御部３３０から出力されるＨＭＤ本体部３１で操作された仮想物体の位置情報を、制御情報として仮想物体操作装置１に送信するものである。
ここでは、制御情報送信部３１０は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報を仮想物体操作装置１に送信する。
ここでは、制御情報送信部３１０は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報を仮想物体操作装置１に送信する。
【0057】
制御情報受信部３２０は、仮想物体操作装置１で操作された仮想物体の位置情報を、制御情報として受信するものである。制御情報受信部３２０は、受信した制御情報を仮想物体制御部３３０に出力する。
ここでは、制御情報受信部３２０は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報を受信する。
ここでは、制御情報受信部３２０は、Ｗｉ－Ｆｉによって、通信機器４を介して制御情報を受信する。
【0058】
仮想物体制御部３３０は、ＨＭＤ本体部３１から入力される操作指示、および、仮想物体操作装置１から入力される制御情報により、仮想物体の操作を制御するものである。
ここでは、仮想物体制御部３３０は、権利取得部３３１と、操作部３３２と、を備える。
ここでは、仮想物体制御部３３０は、権利取得部３３１と、操作部３３２と、を備える。
【0059】
権利取得部３３１は、仮想物体を選択または解放する操作指示を入力されることで、操作対象の操作の権利（操作権）を取得または解放するものである。
権利取得部３３１は、仮想物体を選択する操作指示として、仮想物体を把持した旨をＨＭＤ本体部３１から入力されることで、仮想物体の操作権を取得する。
権利取得部３３１は、操作権を取得した旨（操作権取得情報）を、制御情報として制御情報送信部３１０を介して仮想物体操作装置１に通知するとともに、仮想物体情報記憶部３０に記憶する。
権利取得部３３１は、仮想物体を選択する操作指示として、仮想物体を把持した旨をＨＭＤ本体部３１から入力されることで、仮想物体の操作権を取得する。
権利取得部３３１は、操作権を取得した旨（操作権取得情報）を、制御情報として制御情報送信部３１０を介して仮想物体操作装置１に通知するとともに、仮想物体情報記憶部３０に記憶する。
【0060】
また、権利取得部３３１は、仮想物体を解放する操作指示として、仮想物体を離した旨をＨＭＤ本体部３１から入力されることで、仮想物体の操作権を解放する。
権利取得部３３１は、操作権を解放した旨（操作権解放情報）を、制御情報として制御情報送信部３１０を介して仮想物体操作装置１に通知するとともに、仮想物体情報記憶部３０に記憶する。
なお、ここでは、操作権を取得して解放するまで、操作権を保持することとしているが、他のユーザが操作権を取得した段階で、自身の操作権が解放されたこととしてもよい。
権利取得部３３１で操作権を取得、解放する対象となる仮想物体は、対象仮想オブジェクト、新視点オブジェクトである。
権利取得部３３１は、操作権を解放した旨（操作権解放情報）を、制御情報として制御情報送信部３１０を介して仮想物体操作装置１に通知するとともに、仮想物体情報記憶部３０に記憶する。
なお、ここでは、操作権を取得して解放するまで、操作権を保持することとしているが、他のユーザが操作権を取得した段階で、自身の操作権が解放されたこととしてもよい。
権利取得部３３１で操作権を取得、解放する対象となる仮想物体は、対象仮想オブジェクト、新視点オブジェクトである。
【0061】
操作部３３２は、ＨＭＤ本体部３１から入力される操作指示、および、仮想物体操作装置１から入力される制御情報を契機として、仮想物体に対する操作を行うものである。
操作部３３２は、ＨＭＤ本体部３１から仮想物体を移動（回転、スケール変更等も含む）した操作指示を入力した場合、仮想物体情報記憶部３０に記憶されている新たな位置情報を制御情報として制御情報送信部３１０を介して仮想物体操作装置１に送信する。
また、操作部３３２は、移動後の仮想物体の位置情報を、制御情報受信部３２０から制御情報として入力されることで、仮想物体を移動させる。
操作部３３２は、仮想物体操作装置１から、制御情報受信部３２０を介して、移動後の仮想物体の位置情報を通知された場合、その位置情報を仮想物体情報記憶部３０に記憶する。その後、ＨＭＤ本体部３１によって、新たな位置に仮想物体が表示されることになる。
操作部３３２は、ＨＭＤ本体部３１から仮想物体を移動（回転、スケール変更等も含む）した操作指示を入力した場合、仮想物体情報記憶部３０に記憶されている新たな位置情報を制御情報として制御情報送信部３１０を介して仮想物体操作装置１に送信する。
また、操作部３３２は、移動後の仮想物体の位置情報を、制御情報受信部３２０から制御情報として入力されることで、仮想物体を移動させる。
操作部３３２は、仮想物体操作装置１から、制御情報受信部３２０を介して、移動後の仮想物体の位置情報を通知された場合、その位置情報を仮想物体情報記憶部３０に記憶する。その後、ＨＭＤ本体部３１によって、新たな位置に仮想物体が表示されることになる。
【0062】
以上説明した構成によって、ＨＭＤ３の仮想物体操作Ｉ／Ｆ部３２は、ＨＭＤ３を装着していないユーザＭ２であっても、仮想物体操作装置１を介して仮想物体を操作させることができる。
なお、ＨＭＤ３の仮想物体操作Ｉ／Ｆ部３２は、ＨＭＤ３内のコンピュータを、前記した各部として機能させるためのプログラム（仮想物体操作Ｉ／Ｆプログラム）で動作させることができる。また、このコンピュータは、ＨＭＤ３とは別体で構成され、有線等でＨＭＤ３と接続されたものであっても構わない。
なお、ＨＭＤ３の仮想物体操作Ｉ／Ｆ部３２は、ＨＭＤ３内のコンピュータを、前記した各部として機能させるためのプログラム（仮想物体操作Ｉ／Ｆプログラム）で動作させることができる。また、このコンピュータは、ＨＭＤ３とは別体で構成され、有線等でＨＭＤ３と接続されたものであっても構わない。
【0063】
［仮想物体表示システムの動作］
次に、図７を参照（適宜図１，図４，図６参照）して、本発明の第１実施形態に係る仮想物体表示システム１００の動作について説明する。
本動作は、仮想物体操作装置１およびＨＭＤ３のそれぞれのユーザからの操作指示と、相手装置からの制御情報とをイベントとして動作するものであるため、イベントの発生順序は、これに限定されるものではない。
次に、図７を参照（適宜図１，図４，図６参照）して、本発明の第１実施形態に係る仮想物体表示システム１００の動作について説明する。
本動作は、仮想物体操作装置１およびＨＭＤ３のそれぞれのユーザからの操作指示と、相手装置からの制御情報とをイベントとして動作するものであるため、イベントの発生順序は、これに限定されるものではない。
【0064】
なお、操作権を必要とする仮想物体を操作する場合、操作対象の仮想物体の操作権を予め取得しておく必要があるが、ここでは、ステップとしての図示を省略する。具体的には、仮想物体操作装置１は、権利取得部１４０によって、仮想物体を選択する操作指示を入力された段階で操作権を取得し、ＨＭＤ３は、権利取得部３３１によって、仮想物体を把持する操作指示を入力された段階で操作権を取得する。以下では、仮想物体に対して必要に応じて操作権を取得しているものとする。
仮想物体操作装置１は、ステップＳ１０からＳ１８までの処理を終了が指示されるまで、繰り返し実行する。
また、ＨＭＤ３は、ステップＳ２０からＳ２４までの処理を終了が指示されるまで、繰り返し実行する。
仮想物体操作装置１は、ステップＳ１０からＳ１８までの処理を終了が指示されるまで、繰り返し実行する。
また、ＨＭＤ３は、ステップＳ２０からＳ２４までの処理を終了が指示されるまで、繰り返し実行する。
【0065】
まず、仮想物体操作装置１の動作について説明する。
ステップＳ１０において、仮想物体制御部１４は、操作指示入力部１３で入力された操作指示が、仮想物体を移動する指示であるか否かを判定する。
ここで、操作指示が仮想物体を移動（回転、スケール変更等を含む）する指示である場合（ステップＳ１０でＹｅｓ）、仮想物体操作装置１は、ステップＳ１１に動作を進める。一方、操作指示が仮想物体を移動する指示でない場合（ステップＳ１０でＮｏ）、仮想物体操作装置１は、ステップＳ１２に動作を進める。
ステップＳ１０において、仮想物体制御部１４は、操作指示入力部１３で入力された操作指示が、仮想物体を移動する指示であるか否かを判定する。
ここで、操作指示が仮想物体を移動（回転、スケール変更等を含む）する指示である場合（ステップＳ１０でＹｅｓ）、仮想物体操作装置１は、ステップＳ１１に動作を進める。一方、操作指示が仮想物体を移動する指示でない場合（ステップＳ１０でＮｏ）、仮想物体操作装置１は、ステップＳ１２に動作を進める。
【0066】
ステップＳ１１において、操作部１４１は、仮想物体の移動処理（新たな位置情報の算出）を行い、移動後の仮想物体の位置情報を制御情報として、制御情報送信部１１を介してＨＭＤ３に送信する。そして、仮想物体操作装置１は、ステップＳ１２に動作を進める。
【0067】
ステップＳ１２において、仮想物体制御部１４は、操作指示入力部１３で入力された操作指示が、仮想物体である視点オブジェクトの位置を変更する指示であるか否かを判定する。
ここで、操作指示が視点オブジェクトの位置を変更する指示である場合（ステップＳ１２でＹｅｓ）、仮想物体操作装置１は、ステップＳ１３に動作を進める。一方、操作指示が視点オブジェクトの位置を変更する指示でない場合（ステップＳ１２でＮｏ）、仮想物体操作装置１は、ステップＳ１４に動作を進める。
ここで、操作指示が視点オブジェクトの位置を変更する指示である場合（ステップＳ１２でＹｅｓ）、仮想物体操作装置１は、ステップＳ１３に動作を進める。一方、操作指示が視点オブジェクトの位置を変更する指示でない場合（ステップＳ１２でＮｏ）、仮想物体操作装置１は、ステップＳ１４に動作を進める。
【0068】
ステップＳ１３において、視点変更部１４２は、視点オブジェクトの位置を新視点オブジェクトの位置に変更（位置情報の更新）し、変更後の視点オブジェクトの位置情報を制御情報として、制御情報送信部１１を介してＨＭＤ３に送信する。そして、仮想物体操作装置１は、ステップＳ１４に動作を進める。
なお、このステップＳ１３の処理は、後記するステップＳ２３において、全天球カメラ２の移動後の新たな位置に、新視点オブジェクトの位置が移動された後に行われる処理である。
なお、このステップＳ１３の処理は、後記するステップＳ２３において、全天球カメラ２の移動後の新たな位置に、新視点オブジェクトの位置が移動された後に行われる処理である。
【0069】
ステップＳ１４において、仮想物体制御部１４は、操作指示入力部１３で入力された操作指示が、視線方向を変更（視点オブジェクトを回転）する指示であるか否かを判定する。
ここで、操作指示が視線方向を変更する指示である場合（ステップＳ１４でＹｅｓ）、仮想物体操作装置１は、ステップＳ１５に動作を進める。一方、操作指示が視線方向を変更する指示でない場合（ステップＳ１４でＮｏ）、仮想物体操作装置１は、ステップＳ１６に動作を進める。
ここで、操作指示が視線方向を変更する指示である場合（ステップＳ１４でＹｅｓ）、仮想物体操作装置１は、ステップＳ１５に動作を進める。一方、操作指示が視線方向を変更する指示でない場合（ステップＳ１４でＮｏ）、仮想物体操作装置１は、ステップＳ１６に動作を進める。
【0070】
ステップＳ１５において、視線変更部１４３は、視点オブジェクトの視線方向を指定された方向に回転させた位置に変更（位置情報の更新）し、変更後の視点オブジェクトの位置情報（方向を含む）を制御情報として、制御情報送信部１１を介してＨＭＤ３に送信する。そして、仮想物体操作装置１は、ステップＳ１６に動作を進める。
【0071】
ステップＳ１６において、仮想物体制御部１４は、制御情報受信部１２を介してＨＭＤ３から制御情報として位置情報を受信したか否かを判定する。
ここで、制御情報（位置情報）を受信した場合、ステップＳ１７において、操作部１４１は、仮想物体の位置を位置情報で示される位置に変更する。そして、仮想物体操作装置１は、ステップＳ１８に動作を進める。一方、制御情報（位置情報）を受信していない場合（ステップＳ１６でＮｏ）、仮想物体操作装置１は、ステップＳ１８に動作を進める。
ここで、制御情報（位置情報）を受信した場合、ステップＳ１７において、操作部１４１は、仮想物体の位置を位置情報で示される位置に変更する。そして、仮想物体操作装置１は、ステップＳ１８に動作を進める。一方、制御情報（位置情報）を受信していない場合（ステップＳ１６でＮｏ）、仮想物体操作装置１は、ステップＳ１８に動作を進める。
【0072】
ステップＳ１８において、ＭＲ映像生成部１５は、全天球カメラ２の映像と仮想物体とを位置情報に基づいて合成し、視線方向に対応した画像をモニタＭＯにＭＲ映像として表示する。
このステップＳ１８については、図８を参照してさらに詳細に説明する。
ステップＳ１８０において、仮想球体描画部１５０は、全天球カメラ２から入力される天球映像のフレームごとの天球画像を、球体オブジェクト（球体ＯＢＪ）に描画する。
ステップＳ１８１において、仮想物体配置部１５１は、天球画像が描画された球体オブジェクトの内部に、仮想物体（仮想ＯＢＪ）を配置する。
ステップＳ１８２において、２次元画像生成部１５２は、球体オブジェクトの中心を視点位置とし、視点位置から天球画像の画素および仮想物体を仮想的な２次元撮像面に投影することで、視線方向の２次元画像を生成する。
ステップＳ１８３において、２次元画像生成部１５２は、生成した２次元画像をモニタＭＯに出力する。
このステップＳ１８については、図８を参照してさらに詳細に説明する。
ステップＳ１８０において、仮想球体描画部１５０は、全天球カメラ２から入力される天球映像のフレームごとの天球画像を、球体オブジェクト（球体ＯＢＪ）に描画する。
ステップＳ１８１において、仮想物体配置部１５１は、天球画像が描画された球体オブジェクトの内部に、仮想物体（仮想ＯＢＪ）を配置する。
ステップＳ１８２において、２次元画像生成部１５２は、球体オブジェクトの中心を視点位置とし、視点位置から天球画像の画素および仮想物体を仮想的な２次元撮像面に投影することで、視線方向の２次元画像を生成する。
ステップＳ１８３において、２次元画像生成部１５２は、生成した２次元画像をモニタＭＯに出力する。
【0073】
これによって、仮想物体操作装置１に接続されたモニタＭＯには、実空間に仮想物体が配置されたＭＲ映像が表示される。また、仮想物体操作装置１のユーザがＨＭＤ３を装着していなくても、仮想物体を操作することができる。
【0074】
次に、図７に戻って、ＨＭＤ３の動作について説明する。
ステップ２０において、仮想物体制御部３３０は、制御情報受信部３２０を介して仮想物体操作装置１から制御情報として位置情報を受信したか否かを判定する。
ここで、制御情報（位置情報）を受信した場合（ステップＳ２０でＹｅｓ）、ステップＳ２１において、操作部３３２は、仮想物体の位置を位置情報で示される位置に変更する。そして、ＨＭＤ３は、ステップＳ２２に動作を進める。一方、制御情報（位置情報）を受信していない場合（ステップＳ２０でＮｏ）、ＨＭＤ３は、ステップＳ２２に動作を進める。
ステップ２０において、仮想物体制御部３３０は、制御情報受信部３２０を介して仮想物体操作装置１から制御情報として位置情報を受信したか否かを判定する。
ここで、制御情報（位置情報）を受信した場合（ステップＳ２０でＹｅｓ）、ステップＳ２１において、操作部３３２は、仮想物体の位置を位置情報で示される位置に変更する。そして、ＨＭＤ３は、ステップＳ２２に動作を進める。一方、制御情報（位置情報）を受信していない場合（ステップＳ２０でＮｏ）、ＨＭＤ３は、ステップＳ２２に動作を進める。
【0075】
ステップＳ２２において、仮想物体制御部３３０は、ＨＭＤ本体部３１から操作指示として、仮想物体を移動（回転、スケール変更等を含む）した操作指示が入力されたか否かを判定する。
ここで、仮想物体を移動した操作指示を入力した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３において、操作部３３２は、新たな位置情報を制御情報として制御情報送信部３１０を介して仮想物体操作装置１に送信する。そして、ＨＭＤ３は、ステップＳ２４に動作を進める。一方、操作指示が入力されていない場合（ステップＳ２２でＮｏ）、ＨＭＤ３は、ステップＳ２４に動作を進める。
ここで、仮想物体を移動した操作指示を入力した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３において、操作部３３２は、新たな位置情報を制御情報として制御情報送信部３１０を介して仮想物体操作装置１に送信する。そして、ＨＭＤ３は、ステップＳ２４に動作を進める。一方、操作指示が入力されていない場合（ステップＳ２２でＮｏ）、ＨＭＤ３は、ステップＳ２４に動作を進める。
【0076】
ステップＳ２４において、ＨＭＤ本体部３１は、現実空間の映像に仮想物体を合成したＭＲ映像を表示デバイスに表示する。
このステップＳ２４については、図９を参照してさらに詳細に説明する。
ステップＳ２４０において、ＨＭＤ本体部３１は、仮想物体情報記憶部３０に記憶されている仮想物体情報の位置情報により、画角に対応した２次元平面に仮想物体（仮想ＯＢＪ）を配置する。
ステップＳ２４１において、ＨＭＤ本体部３１は、ステップＳ２４０で２次元平面に配置した仮想物体を、現実空間に重ねて、表示デバイスに表示する。
このステップＳ２４については、図９を参照してさらに詳細に説明する。
ステップＳ２４０において、ＨＭＤ本体部３１は、仮想物体情報記憶部３０に記憶されている仮想物体情報の位置情報により、画角に対応した２次元平面に仮想物体（仮想ＯＢＪ）を配置する。
ステップＳ２４１において、ＨＭＤ本体部３１は、ステップＳ２４０で２次元平面に配置した仮想物体を、現実空間に重ねて、表示デバイスに表示する。
【0077】
これによって、ＨＭＤ３のユーザが操作した仮想物体を、仮想物体操作装置１のモニタＭＯ上で同期して表示することができる。また、仮想物体操作装置１のユーザが操作した仮想物体を、ＨＭＤ３に同期して表示することができる。
【0078】
次に、図７に示した動作を個別の動作内容ごとに説明する。
（仮想物体操作装置のユーザによる仮想物体の移動）
まず、図１０を参照して、仮想物体操作装置１のユーザが仮想物体を移動（回転、スケール変更等を含む）させる動作を行った場合の処理（ステップＳ１１，Ｓ２１）を説明する。
仮想物体操作装置１のユーザが仮想物体を移動させる動作（マウス動作）を行った場合、仮想物体操作装置１はステップＳ１１の動作（移動処理）を行い、ＨＭＤ３はステップＳ２１の動作（位置変更処理）を行う。
（仮想物体操作装置のユーザによる仮想物体の移動）
まず、図１０を参照して、仮想物体操作装置１のユーザが仮想物体を移動（回転、スケール変更等を含む）させる動作を行った場合の処理（ステップＳ１１，Ｓ２１）を説明する。
仮想物体操作装置１のユーザが仮想物体を移動させる動作（マウス動作）を行った場合、仮想物体操作装置１はステップＳ１１の動作（移動処理）を行い、ＨＭＤ３はステップＳ２１の動作（位置変更処理）を行う。
【0079】
ステップＳ１１０において、仮想物体操作装置１の操作部１４１は、操作指示に応じて仮想物体の移動後の新たな位置情報を算出する。
ステップＳ１１１において、操作部１４１は、仮想物体の位置情報を仮想物体情報記憶部１０に記憶し、更新する。
ステップＳ１１２において、操作部１４１は、移動後の新たな位置情報を、制御情報送信部１１を介して制御情報としてＨＭＤ３に送信する。
ステップＳ１１１において、操作部１４１は、仮想物体の位置情報を仮想物体情報記憶部１０に記憶し、更新する。
ステップＳ１１２において、操作部１４１は、移動後の新たな位置情報を、制御情報送信部１１を介して制御情報としてＨＭＤ３に送信する。
【0080】
ステップＳ２１０において、ＨＭＤ３の制御情報受信部３２０は、制御情報（位置情報）を受信する。
ステップＳ２１１において、操作部３３２は、ステップＳ２１０で受信した位置情報を仮想物体の新たな位置情報として仮想物体情報記憶部３０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、新たな位置に移動した仮想物体が表示されることになる。
ステップＳ２１１において、操作部３３２は、ステップＳ２１０で受信した位置情報を仮想物体の新たな位置情報として仮想物体情報記憶部３０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、新たな位置に移動した仮想物体が表示されることになる。
【0081】
（視点位置の変更）
次に、図１１を参照し、仮想物体操作装置１のユーザが視点位置の変更の指示を行った場合の処理（ステップＳ１３，Ｓ２１）を説明する。
仮想物体操作装置１のユーザが視点位置の変更を行う指示を行った場合、仮想物体操作装置１はステップＳ１３の動作を行い、ＨＭＤ３はステップＳ２１の動作を行う。
次に、図１１を参照し、仮想物体操作装置１のユーザが視点位置の変更の指示を行った場合の処理（ステップＳ１３，Ｓ２１）を説明する。
仮想物体操作装置１のユーザが視点位置の変更を行う指示を行った場合、仮想物体操作装置１はステップＳ１３の動作を行い、ＨＭＤ３はステップＳ２１の動作を行う。
【0082】
ステップＳ１３０において、仮想物体操作装置１の視点変更部１４２は、視点オブジェクト（視点ＯＢＪ）の位置情報を、仮想物体の位置情報を仮想物体情報記憶部１０に記憶されている新視点オブジェクト（新視点ＯＢＪ）の位置情報に更新し、仮想物体情報記憶部１０に記憶する。
なお、このとき、視点変更部１４２は、変更後の視点オブジェクトに付随して、視線オブジェクトを視点オブジェクトの位置から視線方向に延びる直線として更新する。
ステップＳ１３１において、視点変更部１４２は、移動後の新たな視点オブジェクトの位置情報（視線オブジェクトの位置情報を含む）を、制御情報送信部１１を介して制御情報としてＨＭＤ３に送信する。
なお、このとき、視点変更部１４２は、変更後の視点オブジェクトに付随して、視線オブジェクトを視点オブジェクトの位置から視線方向に延びる直線として更新する。
ステップＳ１３１において、視点変更部１４２は、移動後の新たな視点オブジェクトの位置情報（視線オブジェクトの位置情報を含む）を、制御情報送信部１１を介して制御情報としてＨＭＤ３に送信する。
【0083】
ステップＳ２１０において、ＨＭＤ３の制御情報受信部３２０は、制御情報（位置情報）を受信する。
ステップＳ２１１において、操作部３３２は、ステップＳ２１０で受信した位置情報を仮想物体（視点オブジェクト，視線オブジェクト）の新たな位置情報として仮想物体情報記憶部３０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、新たな位置に移動した仮想物体（視点オブジェクト、視線オブジェクト）が表示されることになる。
ステップＳ２１１において、操作部３３２は、ステップＳ２１０で受信した位置情報を仮想物体（視点オブジェクト，視線オブジェクト）の新たな位置情報として仮想物体情報記憶部３０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、新たな位置に移動した仮想物体（視点オブジェクト、視線オブジェクト）が表示されることになる。
【0084】
（視線方向の変更）
次に、図１２を参照し、仮想物体操作装置１のユーザが視線方向の変更の指示を行った場合の処理（ステップＳ１５，Ｓ２１）を説明する。
仮想物体操作装置１のユーザが視線方向の回転の指示を行った場合、仮想物体操作装置１はステップＳ１５の動作を行い、ＨＭＤ３はステップＳ２１の動作を行う。
次に、図１２を参照し、仮想物体操作装置１のユーザが視線方向の変更の指示を行った場合の処理（ステップＳ１５，Ｓ２１）を説明する。
仮想物体操作装置１のユーザが視線方向の回転の指示を行った場合、仮想物体操作装置１はステップＳ１５の動作を行い、ＨＭＤ３はステップＳ２１の動作を行う。
【0085】
ステップＳ１５０において、仮想物体操作装置１の視線変更部１４３は、視点オブジェクトを指定方向に回転させた後の位置情報を算出する。
ステップＳ１５１において、視線変更部１４３は、回転後の仮想オブジェクトの位置情報を仮想物体情報記憶部１０に記憶し、更新する。
なお、このとき、視線変更部１４３は、回転後の視点オブジェクトに付随して、視線オブジェクトを視点オブジェクトの位置から視線方向に延びる直線として位置情報を更新する。
ステップＳ１５２において、視線変更部１４３は、回転後の新たな位置情報を、制御情報送信部１１を介して制御情報としてＨＭＤ３に送信する。
ステップＳ１５１において、視線変更部１４３は、回転後の仮想オブジェクトの位置情報を仮想物体情報記憶部１０に記憶し、更新する。
なお、このとき、視線変更部１４３は、回転後の視点オブジェクトに付随して、視線オブジェクトを視点オブジェクトの位置から視線方向に延びる直線として位置情報を更新する。
ステップＳ１５２において、視線変更部１４３は、回転後の新たな位置情報を、制御情報送信部１１を介して制御情報としてＨＭＤ３に送信する。
【0086】
ステップＳ２１０において、ＨＭＤ３の制御情報受信部３２０は、制御情報（位置情報）を受信する。
ステップＳ２１１において、操作部３３２は、ステップＳ２１０で受信した位置情報を仮想物体（視点オブジェクト，視線オブジェクト）の新たな位置情報として仮想物体情報記憶部３０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、回転後の視点オブジェクト（視線オブジェクト）が表示されることになる。
ステップＳ２１１において、操作部３３２は、ステップＳ２１０で受信した位置情報を仮想物体（視点オブジェクト，視線オブジェクト）の新たな位置情報として仮想物体情報記憶部３０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、回転後の視点オブジェクト（視線オブジェクト）が表示されることになる。
【0087】
（ＨＭＤのユーザによる仮想物体の移動）
次に、図１３を参照して、ＨＭＤ３のユーザが仮想物体を移動（回転、スケール変更等を含む）させる動作を行った場合の処理（ステップＳ１７，Ｓ２３）を説明する。
ＨＭＤ３のユーザが仮想物体を移動させる動作を行った場合、ＨＭＤ３はステップＳ２３（移動処理）の動作を行い、仮想物体操作装置１はステップＳ１７の動作（位置変更処理）を行う。
次に、図１３を参照して、ＨＭＤ３のユーザが仮想物体を移動（回転、スケール変更等を含む）させる動作を行った場合の処理（ステップＳ１７，Ｓ２３）を説明する。
ＨＭＤ３のユーザが仮想物体を移動させる動作を行った場合、ＨＭＤ３はステップＳ２３（移動処理）の動作を行い、仮想物体操作装置１はステップＳ１７の動作（位置変更処理）を行う。
【0088】
ステップＳ２３０において、ＨＭＤ３のＨＭＤ本体部３１は、操作指示に応じて仮想物体の移動後の新たな位置情報を算出する。
ステップＳ２３１において、ＨＭＤ本体部３１は、仮想物体の位置情報を仮想物体情報記憶部３０に記憶し、更新する。
ステップＳ２３２において、操作部３３２は、移動後の新たな位置情報を、制御情報送信部３１０を介して制御情報として仮想物体操作装置１に送信する。
ステップＳ２３１において、ＨＭＤ本体部３１は、仮想物体の位置情報を仮想物体情報記憶部３０に記憶し、更新する。
ステップＳ２３２において、操作部３３２は、移動後の新たな位置情報を、制御情報送信部３１０を介して制御情報として仮想物体操作装置１に送信する。
【0089】
ステップＳ１７０において、仮想物体操作装置１の制御情報受信部１２は、制御情報（位置情報）を受信する。
ステップＳ１７１において、操作部１４１は、ステップＳ１７０で受信した位置情報を仮想物体の新たな位置情報として仮想物体情報記憶部１０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、新たな位置に移動した仮想物体が表示されることになる。
ステップＳ１７１において、操作部１４１は、ステップＳ１７０で受信した位置情報を仮想物体の新たな位置情報として仮想物体情報記憶部１０に記憶し、更新する。
その後、ステップＳ１８，Ｓ２４（図７）によって、新たな位置に移動した仮想物体が表示されることになる。
【0090】
以上、仮想物体表示システム１００の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
ここでは、操作対象を仮想物体としたが、外部の制御装置の制御画面を仮想物体とし、その仮想物体（制御画面）の内部をさらに操作対象としてもよい。
ここでは、操作対象を仮想物体としたが、外部の制御装置の制御画面を仮想物体とし、その仮想物体（制御画面）の内部をさらに操作対象としてもよい。
【0091】
＜第２実施形態＞
［仮想物体表示システムの全体構成］
以下、図１４を参照して、外部の制御装置の制御画面を操作対象とすることが可能な本発明の第２実施形態に係る仮想物体表示システム１００Ｂの全体構成について説明する。
［仮想物体表示システムの全体構成］
以下、図１４を参照して、外部の制御装置の制御画面を操作対象とすることが可能な本発明の第２実施形態に係る仮想物体表示システム１００Ｂの全体構成について説明する。
【0092】
図１４に示すように、仮想物体表示システム１００Ｂは、仮想物体表示システム１００（図１）の仮想物体操作装置１を仮想物体操作装置１Ｂに置き換え、仮想物体操作装置１Ｂに外部装置として情報処理装置５を接続して構成している。
仮想物体操作装置１Ｂおよび情報処理装置５以外の構成は、図１で説明した仮想物体表示システム１００と同じであるため、説明を省略する。
仮想物体操作装置１Ｂおよび情報処理装置５以外の構成は、図１で説明した仮想物体表示システム１００と同じであるため、説明を省略する。
【0093】
仮想物体操作装置１Ｂは、全天球カメラ２で撮影された映像のうちで指定された視点のＭＲ映像をモニタＭＯに表示するとともに、ユーザＭ２の指示により仮想物体の位置、向き等を操作するものである。さらに、仮想物体操作装置１Ｂは、情報処理装置５が表示する制御画面を仮想物体（パネルオブジェクト）上に描画し、その制御画面を制御するものでもある。
【0094】
例えば、仮想物体操作装置１Ｂは、モニタＭＯに、図１５に示すように、実空間を撮影した現実世界の画像と仮想物体であるパネルオブジェクトＯＰＮＬとを重ね合わせたＭＲ映像ＩＭＯを表示する。このパネルオブジェクトＯＰＮＬは、情報処理装置５が表示する制御画面の一例（ＲＧＢの色調整）を示している。
仮想物体操作装置１Ｂは、例えば、図１５のパネルオブジェクトＯＰＮＬにおいて、スライダーＳＬＤの位置を移動させたり、ボタンＢＴＮを押下したり、等の操作を可能とする。
情報処理装置（外部装置）５は、制御画面を表示するものであれば、特に種類を問わない。
仮想物体操作装置１Ｂは、例えば、図１５のパネルオブジェクトＯＰＮＬにおいて、スライダーＳＬＤの位置を移動させたり、ボタンＢＴＮを押下したり、等の操作を可能とする。
情報処理装置（外部装置）５は、制御画面を表示するものであれば、特に種類を問わない。
【0095】
【0096】
記憶部ＭＥは、仮想物体操作装置１Ｂで使用する仮想物体の情報を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶部ＭＥは、仮想物体情報記憶部１０を備える。なお、仮想物体情報記憶部１０に記憶する内容は、基本的に仮想物体操作装置１（図１）と同じである。ただし、ここでは、仮想物体として、パネルオブジェクトの構造情報、位置情報を記憶している。
ここでは、記憶部ＭＥは、仮想物体情報記憶部１０を備える。なお、仮想物体情報記憶部１０に記憶する内容は、基本的に仮想物体操作装置１（図１）と同じである。ただし、ここでは、仮想物体として、パネルオブジェクトの構造情報、位置情報を記憶している。
【0097】
パネルオブジェクトは、制御画面を表示する板状の仮想物体である。このパネルオブジェクトは、対象仮想オブジェクトと同様、操作権を設定して操作する仮想物体であり、操作権を他のユーザに移動できる仮想物体である。
【0098】
制御部ＣＬは、仮想物体操作装置１Ｂの各種制御動作を行うものである。
制御部ＣＬは、制御情報送信部１１と、制御情報受信部１２と、操作指示入力部１３と、仮想物体制御部１４Ｂと、ＭＲ映像生成部１５Ｂと、操作情報出力部１６と、を備える。仮想物体制御部１４Ｂ、ＭＲ映像生成部１５Ｂおよび操作情報出力部１６以外の構成は、仮想物体操作装置１（図１）と同じであるため、説明を省略する。
制御部ＣＬは、制御情報送信部１１と、制御情報受信部１２と、操作指示入力部１３と、仮想物体制御部１４Ｂと、ＭＲ映像生成部１５Ｂと、操作情報出力部１６と、を備える。仮想物体制御部１４Ｂ、ＭＲ映像生成部１５Ｂおよび操作情報出力部１６以外の構成は、仮想物体操作装置１（図１）と同じであるため、説明を省略する。
【0099】
仮想物体制御部１４Ｂは、操作指示入力部１３から入力される操作指示、および、ＨＭＤ３から入力される制御情報を契機として、仮想物体に対する操作を行うものである。
ここでは、仮想物体制御部１４Ｂは、権利取得部１４０と、操作部１４１と、視点変更部１４２と、視線変更部１４３と、パネル操作部１４４と、を備える。パネル操作部１４４以外の構成は、仮想物体操作装置１（図１）と同じであるため、説明を省略する。
ここでは、仮想物体制御部１４Ｂは、権利取得部１４０と、操作部１４１と、視点変更部１４２と、視線変更部１４３と、パネル操作部１４４と、を備える。パネル操作部１４４以外の構成は、仮想物体操作装置１（図１）と同じであるため、説明を省略する。
【0100】
パネル操作部１４４は、仮想物体であるパネルオブジェクトの内部に対する操作指示を入力されることで、その操作指示を操作情報として情報処理装置５に送信するものである。
パネル操作部１４４は、パネルオブジェクトの内部に対する操作指示として、パネルオブジェクト内部でマウスＭＳのボタンを押下されることで、その操作指示を、パネルオブジェクト内の相対位置とともに操作情報として操作情報出力部１６に出力する。
パネル操作部１４４は、パネルオブジェクトの内部に対する操作指示として、パネルオブジェクト内部でマウスＭＳのボタンを押下されることで、その操作指示を、パネルオブジェクト内の相対位置とともに操作情報として操作情報出力部１６に出力する。
【0101】
ＭＲ映像生成部１５Ｂは、実空間を撮影した現実世界の画像と仮想物体とを重ね合わせたＭＲ映像を生成するものである。
ここでは、ＭＲ映像生成部１５Ｂは、仮想球体描画部１５０と、仮想物体配置部１５１Ｂと、２次元画像生成部１５２と、を備える。仮想物体配置部１５１Ｂ以外の構成は、仮想物体操作装置１（図１）と同じであるため、説明を省略する。
ここでは、ＭＲ映像生成部１５Ｂは、仮想球体描画部１５０と、仮想物体配置部１５１Ｂと、２次元画像生成部１５２と、を備える。仮想物体配置部１５１Ｂ以外の構成は、仮想物体操作装置１（図１）と同じであるため、説明を省略する。
【0102】
仮想物体配置部１５１Ｂは、仮想球体描画部１５０で天球画像を描画された球体オブジェクトに、仮想物体を配置するものである。なお、仮想物体配置部１５１Ｂは、パネルオブジェクトの表面に、情報処理装置５から入力される映像（制御画面）を描画する。
これによって、モニタＭＯには、制御画面が描画されたパネルオブジェクトが表示されることになる。
これによって、モニタＭＯには、制御画面が描画されたパネルオブジェクトが表示されることになる。
【0103】
操作情報出力部１６は、パネル操作部１４４から入力される操作情報を、情報処理装置５に出力するものである。
操作情報出力部１６が操作情報を情報処理装置５に通知することで、情報処理装置５は、制御画面内の操作指示を取得し、指定された処理を実行することができる。
なお、ここでは情報処理装置５の数が一台である場合を説明したが、複数台の情報処理装置５を仮想物体操作装置１Ｂに接続させることも可能である。
操作情報出力部１６が操作情報を情報処理装置５に通知することで、情報処理装置５は、制御画面内の操作指示を取得し、指定された処理を実行することができる。
なお、ここでは情報処理装置５の数が一台である場合を説明したが、複数台の情報処理装置５を仮想物体操作装置１Ｂに接続させることも可能である。
【0104】
以上説明した構成によって、仮想物体操作装置１Ｂは、ＨＭＤ３を装着していないユーザＭ２に、ＨＭＤ３を装着したユーザＭ１とは異なる視点でＭＲ映像を提示することができる。また、仮想物体操作装置１Ｂは、ＨＭＤ３を装着していないユーザＭ２であっても、仮想物体を操作させることができる。さらに、仮想物体操作装置１Ｂは、パネルオブジェクトを介して、情報処理装置５の制御画面を操作することができる。
また、仮想物体操作装置１Ｂは、ＨＭＤ３と同期していない状況や、ユーザＭ２がＨＭＤ３を使用していない状況でも、情報処理装置５の制御画面を操作することができる。
なお、仮想物体操作装置１Ｂは、コンピュータを、前記した制御部ＣＬの各部として機能させるためのプログラム（仮想物体制御プログラム）で動作させることができる。
また、仮想物体操作装置１Ｂは、ＨＭＤ３と同期していない状況や、ユーザＭ２がＨＭＤ３を使用していない状況でも、情報処理装置５の制御画面を操作することができる。
なお、仮想物体操作装置１Ｂは、コンピュータを、前記した制御部ＣＬの各部として機能させるためのプログラム（仮想物体制御プログラム）で動作させることができる。
【0105】
［仮想物体表示システムの動作］
次に、図１７を参照（適宜図１４，図１６参照）して、本発明の第２実施形態に係る仮想物体表示システム１００Ｂの動作について説明する。
なお、仮想物体操作装置１ＢのステップＳ１０～Ｓ１８，ＨＭＤ３のステップＳ２０～Ｓ２４の動作は、図７で説明した仮想物体表示システム１００の動作と同じであるため、説明を省略する。
次に、図１７を参照（適宜図１４，図１６参照）して、本発明の第２実施形態に係る仮想物体表示システム１００Ｂの動作について説明する。
なお、仮想物体操作装置１ＢのステップＳ１０～Ｓ１８，ＨＭＤ３のステップＳ２０～Ｓ２４の動作は、図７で説明した仮想物体表示システム１００の動作と同じであるため、説明を省略する。
【0106】
ステップＳ３０において、仮想物体操作装置１Ｂのパネル操作部１４４は、操作指示入力部１３で入力された操作指示が、パネルオブジェクトの内部を操作する指示であるか否かを判定する。
ここで、操作指示がパネルオブジェクトの内部を操作する指示である場合（ステップＳ３０でＹｅｓ）、仮想物体操作装置１Ｂは、ステップＳ３１に動作を進める。一方、操作指示がパネルオブジェクトの内部を操作する指示でない場合（ステップＳ３０でＮｏ）、仮想物体操作装置１Ｂは、ステップＳ１８に動作を進める。
ステップＳ３１において、仮想物体操作装置１Ｂは、操作指示を操作情報として情報処理装置５に送信する。
また、ステップＳ４０において、情報処理装置５は、パネル操作実行処理として、操作指示の内容を実行する。
ここで、操作指示がパネルオブジェクトの内部を操作する指示である場合（ステップＳ３０でＹｅｓ）、仮想物体操作装置１Ｂは、ステップＳ３１に動作を進める。一方、操作指示がパネルオブジェクトの内部を操作する指示でない場合（ステップＳ３０でＮｏ）、仮想物体操作装置１Ｂは、ステップＳ１８に動作を進める。
ステップＳ３１において、仮想物体操作装置１Ｂは、操作指示を操作情報として情報処理装置５に送信する。
また、ステップＳ４０において、情報処理装置５は、パネル操作実行処理として、操作指示の内容を実行する。
【0107】
このステップＳ３１，Ｓ４０の処理、図１８を参照してさらに説明する。
ステップＳ３１０において、仮想物体操作装置１Ｂのパネル操作部１４４は、入力された操作指示をパネルオブジェクト内の相対位置とともに操作情報として、操作情報出力部１６を介して情報処理装置５に出力する。
ステップＳ４０１において、情報処理装置５は、ステップＳ３１０で出力された操作情報を受け取る。
ステップＳ４０２において、情報処理装置５は、ステップＳ４０１で受け取った操作情報で特定される制御画面の操作指示に対応する処理を実行する。
ステップＳ３１０において、仮想物体操作装置１Ｂのパネル操作部１４４は、入力された操作指示をパネルオブジェクト内の相対位置とともに操作情報として、操作情報出力部１６を介して情報処理装置５に出力する。
ステップＳ４０１において、情報処理装置５は、ステップＳ３１０で出力された操作情報を受け取る。
ステップＳ４０２において、情報処理装置５は、ステップＳ４０１で受け取った操作情報で特定される制御画面の操作指示に対応する処理を実行する。
【0108】
以上説明した仮想物体表示システム１００Ｂの構成および動作によって、仮想物体表示システム１００の作用効果に加えて、外部に接続した情報処理装置５の制御画面の操作を仮想物体の操作として扱うことができる。これによって、仮想物体表示システム１００Ｂは、情報処理装置５が離れた場所にあっても、制御画面を操作することができる。
【0109】
＜実施例＞
以下、図１９～図２１を参照して、パーソナルコンピュータ（ＰＣ）に仮想物体制御プログラムをインストールして仮想物体操作装置１を構成した場合の実施例について説明する。以下、仮想物体操作装置１をＰＣ１と表記する。なお、図１９～図２１では、マウスＭＳ、キーボードＫＢの図示を省略している。
以下、図１９～図２１を参照して、パーソナルコンピュータ（ＰＣ）に仮想物体制御プログラムをインストールして仮想物体操作装置１を構成した場合の実施例について説明する。以下、仮想物体操作装置１をＰＣ１と表記する。なお、図１９～図２１では、マウスＭＳ、キーボードＫＢの図示を省略している。
【0110】
図１９は、図１に示した仮想物体表示システム１００の構成を示している。
図１に示すように、仮想物体表示システム１００は、全天球カメラ２とモニタＭＯとが接続されたＰＣ１と、ＨＭＤ３と、を通信機器であるルータ４を介して通信接続（Ｗｉ－Ｆｉ接続）して構成することができる。
なお、図１４に示した仮想物体表示システム１００Ｂを構成する場合、図１９のＰＣ１に情報処理装置５を接続すればよい。
この仮想物体表示システム１００は、システムの最小構成である。
これによって、ＨＭＤ３を装着したユーザＭ１とＨＭＤ３を装着していないユーザＭ２とが、仮想物体を視認するとともに、操作することができる。
図１に示すように、仮想物体表示システム１００は、全天球カメラ２とモニタＭＯとが接続されたＰＣ１と、ＨＭＤ３と、を通信機器であるルータ４を介して通信接続（Ｗｉ－Ｆｉ接続）して構成することができる。
なお、図１４に示した仮想物体表示システム１００Ｂを構成する場合、図１９のＰＣ１に情報処理装置５を接続すればよい。
この仮想物体表示システム１００は、システムの最小構成である。
これによって、ＨＭＤ３を装着したユーザＭ１とＨＭＤ３を装着していないユーザＭ２とが、仮想物体を視認するとともに、操作することができる。
【0111】
図２０は、遠隔地で仮想物体を操作することが可能な仮想物体表示システム１００Ａ１の構成を示している。
仮想物体表示システム１００Ａ１は、全天球カメラ２とモニタＭＯとが接続されたＰＣ１と、ＨＭＤ３と、ルータ４と、インターネット（ネットワーク）Ｎを介して接続された複数のＰＣ１Ｂ，ＰＣ１Ｂ，…と、で構成される。なお、ＰＣ１ＢはそれぞれモニタＭＯを接続している。
ＰＣ１とルータ４とは、有線（例えば、ＬＡＮケーブル）で接続され、遠隔地のＰＣ１Ｂは、一般的なリモート操作機能付きのオンライン会議アプリ（例えば、ＺＯＯＭ（登録商標））を用いて画面を共有し、ＰＣ１の仮想物体制御プログラムを操作する。もちろん、ＰＣ１とルータ４とは、無線（例えば、Ｗｉ－Ｆｉ）で接続しても構わない。
この画面は、全天球カメラ２の指定された視線方向のＭＲ映像が表示された画面である。
仮想物体表示システム１００Ａ１は、全天球カメラ２とモニタＭＯとが接続されたＰＣ１と、ＨＭＤ３と、ルータ４と、インターネット（ネットワーク）Ｎを介して接続された複数のＰＣ１Ｂ，ＰＣ１Ｂ，…と、で構成される。なお、ＰＣ１ＢはそれぞれモニタＭＯを接続している。
ＰＣ１とルータ４とは、有線（例えば、ＬＡＮケーブル）で接続され、遠隔地のＰＣ１Ｂは、一般的なリモート操作機能付きのオンライン会議アプリ（例えば、ＺＯＯＭ（登録商標））を用いて画面を共有し、ＰＣ１の仮想物体制御プログラムを操作する。もちろん、ＰＣ１とルータ４とは、無線（例えば、Ｗｉ－Ｆｉ）で接続しても構わない。
この画面は、全天球カメラ２の指定された視線方向のＭＲ映像が表示された画面である。
【0112】
これによって、遠隔地のユーザＭ３は、ＰＣ１Ｂによって、仮想物体を視認することができる。また、ユーザＭ３は、オンライン会議アプリのリモート操作機能によって、共有された画面の操作権を取得し、その画面に対して選択（マウスボタンの押下等）をすることにより、仮想物体の操作権を取得し、仮想物体を操作することができる。
【0113】
図２１は、遠隔地で仮想物体を操作することが可能な仮想物体表示システム１００Ａ２の構成を示している。
仮想物体表示システム１００Ａ１（図２０）は、ＰＣ１と遠隔地のＰＣ１Ｂとを、直接、インターネットＮに接続した構成である。しかし、企業等ではネットワークに接続されたＰＣ（ＰＣ１Ｃ等）の秘匿性を考慮してインターネットＮへの接続はプロキシサーバを用いることが一般的である。
仮想物体表示システム１００Ａ２は、ＰＣ１とＰＣ１ＣとをプライベートＬＡＮで接続し、ＰＣ１Ｃと遠隔地のＰＣ１Ｂとを、プロキシサーバ６を介して接続している。このとき、プライベートＬＡＮ上で利用可能なリモートデスクトップ機能を使ってＰＣ１に接続し、ＰＣ１の仮想物体制御プログラムを操作できるようにした上で、その画面をオンライン会議アプリで共有し、別のＰＣから操作できるようにする。
仮想物体表示システム１００Ａ１（図２０）は、ＰＣ１と遠隔地のＰＣ１Ｂとを、直接、インターネットＮに接続した構成である。しかし、企業等ではネットワークに接続されたＰＣ（ＰＣ１Ｃ等）の秘匿性を考慮してインターネットＮへの接続はプロキシサーバを用いることが一般的である。
仮想物体表示システム１００Ａ２は、ＰＣ１とＰＣ１ＣとをプライベートＬＡＮで接続し、ＰＣ１Ｃと遠隔地のＰＣ１Ｂとを、プロキシサーバ６を介して接続している。このとき、プライベートＬＡＮ上で利用可能なリモートデスクトップ機能を使ってＰＣ１に接続し、ＰＣ１の仮想物体制御プログラムを操作できるようにした上で、その画面をオンライン会議アプリで共有し、別のＰＣから操作できるようにする。
【0114】
これによって、仮想物体表示システム１００Ａ２は、ネットワークに接続されたＰＣ（ＰＣ１Ｃ等）を秘匿しつつ、現地のユーザＭ２や遠隔地のユーザＭ３が、仮想物体を視認するとともに操作することができる。
なお、仮想物体表示システム１００Ａ１（図２０），１００Ａ２（図２１）の構成の場合、ＨＭＤ３を装着したユーザＭ１は、ＭＲ映像を使用したプレゼンテーションを行うこともできる。この場合、ユーザＭ１はユーザＭ２を兼ねて、現地において一人でプレゼンテーションを行うことも可能である。
また、仮想物体表示システム１００Ａ１（図２０），１００Ａ２（図２１）の構成の場合でも、ＰＣ１に情報処理装置５を接続し、各ＰＣ１を図１４に示した仮想物体操作装置１Ｂとすることで、遠隔地から、情報処理装置５の制御画面をパネルオブジェクトとして、制御画面を制御することが可能になる。
なお、仮想物体表示システム１００Ａ１（図２０），１００Ａ２（図２１）の構成の場合、ＨＭＤ３を装着したユーザＭ１は、ＭＲ映像を使用したプレゼンテーションを行うこともできる。この場合、ユーザＭ１はユーザＭ２を兼ねて、現地において一人でプレゼンテーションを行うことも可能である。
また、仮想物体表示システム１００Ａ１（図２０），１００Ａ２（図２１）の構成の場合でも、ＰＣ１に情報処理装置５を接続し、各ＰＣ１を図１４に示した仮想物体操作装置１Ｂとすることで、遠隔地から、情報処理装置５の制御画面をパネルオブジェクトとして、制御画面を制御することが可能になる。
【0115】
図２１では、現地のＰＣ１に全天球カメラ２を接続した構成を説明した。
しかし、全天球カメラ２を、遠隔地のＰＣ１Ｂに接続することとしてもよい。遠隔地のＰＣ１Ｂに全天球カメラ２を接続した状態で、オンライン会議アプリを使って現地のＰＣ１Ｃに全天球カメラ映像を送信し、ＰＣ１Ｃで受信した映像をモニタＭＯに描画し、その映像をＰＣ１に入力することにより、ＰＣ１で動作している仮想物体制御プログラム中の球体オブジェクトに対して、遠隔地の全天球カメラ映像を描画することができる。
この場合、仮想物体表示システム１００Ａ２全体で複数の全天球カメラ２を使用することができ、オンライン会議アプリ上で表示画面を切り替えることにより、仮想物体制御プログラムに各地の全天球カメラ映像を選択的に表示することが可能になる。
しかし、全天球カメラ２を、遠隔地のＰＣ１Ｂに接続することとしてもよい。遠隔地のＰＣ１Ｂに全天球カメラ２を接続した状態で、オンライン会議アプリを使って現地のＰＣ１Ｃに全天球カメラ映像を送信し、ＰＣ１Ｃで受信した映像をモニタＭＯに描画し、その映像をＰＣ１に入力することにより、ＰＣ１で動作している仮想物体制御プログラム中の球体オブジェクトに対して、遠隔地の全天球カメラ映像を描画することができる。
この場合、仮想物体表示システム１００Ａ２全体で複数の全天球カメラ２を使用することができ、オンライン会議アプリ上で表示画面を切り替えることにより、仮想物体制御プログラムに各地の全天球カメラ映像を選択的に表示することが可能になる。
【符号の説明】
【0116】
１００，１００Ｂ 仮想物体表示システム
１，１Ｂ 仮想物体操作装置
１０ 仮想物体情報記憶部
１１ 制御情報送信部
１２ 制御情報受信部
１３ 操作指示入力部
１４ 仮想物体制御部
１４０ 権利取得部
１４１ 操作部
１４２ 視点変更部
１４３ 視線変更部
１５ ＭＲ映像生成部
１５０ 仮想球体描画部
１５１ 仮想物体配置部
１５２ ２次元画像生成部
２ 全天球カメラ（天球カメラ）
３ ＨＭＤ
３０ 仮想物体情報記憶部
３１ ＨＭＤ本体部
３２ 仮想物体操作インタフェース部
３１０ 制御情報送信部
３２０ 制御情報受信部
３３０ 仮想物体制御部
３３１ 権利取得部
３３２ 操作部
４ 通信機器
５ 情報処理装置（外部装置）
１，１Ｂ 仮想物体操作装置
１０ 仮想物体情報記憶部
１１ 制御情報送信部
１２ 制御情報受信部
１３ 操作指示入力部
１４ 仮想物体制御部
１４０ 権利取得部
１４１ 操作部
１４２ 視点変更部
１４３ 視線変更部
１５ ＭＲ映像生成部
１５０ 仮想球体描画部
１５１ 仮想物体配置部
１５２ ２次元画像生成部
２ 全天球カメラ（天球カメラ）
３ ＨＭＤ
３０ 仮想物体情報記憶部
３１ ＨＭＤ本体部
３２ 仮想物体操作インタフェース部
３１０ 制御情報送信部
３２０ 制御情報受信部
３３０ 仮想物体制御部
３３１ 権利取得部
３３２ 操作部
４ 通信機器
５ 情報処理装置（外部装置）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】