ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089241
(43)【公開日】2024-07-03
(54)【発明の名称】表示制御装置
(51)【国際特許分類】
G06F 3/04815 20220101AFI20240626BHJP
G06T 19/00 20110101ALI20240626BHJP
G06F 3/0484 20220101ALI20240626BHJP
G06F 3/0346 20130101ALI20240626BHJP
G06F 3/01 20060101ALI20240626BHJP
【ＦＩ】
G06F3/04815
G06T19/00 A
G06F3/0484
G06F3/0346 425
G06F3/01 510
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022204492
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】山崎 仁史
【テーマコード（参考）】
5B050
5B087
5E555
【Ｆターム（参考）】
5B050BA09
5B050DA01
5B050EA05
5B050EA07
5B050EA12
5B050EA28
5B050FA02
5B050FA09
5B087AA07
5B087AA09
5B087AB02
5B087DD03
5E555AA11
5E555AA27
5E555AA63
5E555BA05
5E555BA06
5E555BA38
5E555BB05
5E555BB06
5E555BB38
5E555BC17
5E555BE16
5E555BE17
5E555CA10
5E555CA42
5E555CA44
5E555CA45
5E555CB07
5E555CB15
5E555CB21
5E555CB55
5E555CB65
5E555CB66
5E555CB82
5E555CC26
5E555CC27
5E555DA08
5E555DA09
5E555DB41
5E555DB49
5E555DB53
5E555DB56
5E555DB57
5E555DC19
5E555EA11
5E555FA00
(57)【要約】
【課題】仮想的な３次元空間において、ユーザが複数の仮想オブジェクトを容易に移動させることができる表示制御装置を提供する。
【解決手段】表示制御部１１２は、ディスプレイ２８に対して、仮想空間ＶＳを表示させる。管理部１１３は、仮想空間ＶＳにおいて、ユーザＵ１を中心とする球面を示す基準オブジェクトＢＯと、基準オブジェクトＢＯに配置された仮想オブジェクトＶＯとを管理する。移動制御部１１５は、仮想空間ＶＳにおいて、基準オブジェクトＢＯの回転に合わせて、仮想オブジェクトＶＯを移動させる。
【選択図】図８
【解決手段】表示制御部１１２は、ディスプレイ２８に対して、仮想空間ＶＳを表示させる。管理部１１３は、仮想空間ＶＳにおいて、ユーザＵ１を中心とする球面を示す基準オブジェクトＢＯと、基準オブジェクトＢＯに配置された仮想オブジェクトＶＯとを管理する。移動制御部１１５は、仮想空間ＶＳにおいて、基準オブジェクトＢＯの回転に合わせて、仮想オブジェクトＶＯを移動させる。
【選択図】図８
【特許請求の範囲】
【請求項1】
表示装置に対して、仮想空間を表示させる表示制御部、
前記仮想空間において、ユーザを中心とする球面を示す基準オブジェクトと、前記基準オブジェクトに配置された１又は複数の仮想オブジェクトとを管理する管理部、及び
前記仮想空間において、前記基準オブジェクトの回転に合わせて、前記１又は複数の仮想オブジェクトを移動させる移動制御部
を備える表示制御装置。
前記仮想空間において、ユーザを中心とする球面を示す基準オブジェクトと、前記基準オブジェクトに配置された１又は複数の仮想オブジェクトとを管理する管理部、及び
前記仮想空間において、前記基準オブジェクトの回転に合わせて、前記１又は複数の仮想オブジェクトを移動させる移動制御部
を備える表示制御装置。
【請求項2】
前記ユーザの第１操作に応じて、前記基準オブジェクトにおいて前記１又は複数の仮想オブジェクトが配置されていない基準点を特定する特定部を更に備え、
前記移動制御部は、前記ユーザが前記基準点を移動させる第２操作に応じて、前記基準点の移動に伴って前記基準オブジェクトを回転させることにより、前記１又は複数の仮想オブジェクトを回転させる
請求項１に記載の表示制御装置。
前記移動制御部は、前記ユーザが前記基準点を移動させる第２操作に応じて、前記基準点の移動に伴って前記基準オブジェクトを回転させることにより、前記１又は複数の仮想オブジェクトを回転させる
請求項１に記載の表示制御装置。
【請求項3】
前記ユーザの第３操作に応じて、前記１又は複数の仮想オブジェクトのうち１つの仮想オブジェクトを選択する選択部を更に備え、
前記移動制御部は、前記ユーザが前記１つの仮想オブジェクトを移動させる第４操作に応じて、前記１つの仮想オブジェクトを移動させる
請求項２に記載の表示制御装置。
前記移動制御部は、前記ユーザが前記１つの仮想オブジェクトを移動させる第４操作に応じて、前記１つの仮想オブジェクトを移動させる
請求項２に記載の表示制御装置。
【請求項4】
前記移動制御部は、前記第４操作に応じて、前記基準オブジェクト内において前記１つの仮想オブジェクトを移動させる
請求項３に記載の表示制御装置。
請求項３に記載の表示制御装置。
【請求項5】
前記仮想空間は、前記基準オブジェクト上に配置された１又は複数のサブオブジェクトを更に含んでおり、
前記１又は複数のサブオブジェクトは、球体状であり、前記１又は複数の仮想オブジェクトを含んでおり、
前記移動制御部は、
前記ユーザの第５操作に応じて、前記１又は複数のサブオブジェクトのうち、１つのサブオブジェクトを選択し、
前記ユーザの第６操作に応じて、前記１つのサブオブジェクトを回転させる
請求項１に記載の表示制御装置。
前記１又は複数のサブオブジェクトは、球体状であり、前記１又は複数の仮想オブジェクトを含んでおり、
前記移動制御部は、
前記ユーザの第５操作に応じて、前記１又は複数のサブオブジェクトのうち、１つのサブオブジェクトを選択し、
前記ユーザの第６操作に応じて、前記１つのサブオブジェクトを回転させる
請求項１に記載の表示制御装置。
【請求項6】
前記仮想空間は、前記基準オブジェクト上に配置された１又は複数のサブオブジェクトを更に含んでおり、
前記１又は複数のサブオブジェクトは、球体状であり、前記１又は複数の仮想オブジェクトを含んでおり、
前記移動制御部は、前記サブオブジェクトに配置されている１又は複数の仮想オブジェクトのうち、前記ユーザの第７操作に応じて選択された１つの仮想オブジェクトを、前記サブオブジェクトから取り出して前記基準オブジェクト上に配置する
請求項１に記載の表示制御装置。
前記１又は複数のサブオブジェクトは、球体状であり、前記１又は複数の仮想オブジェクトを含んでおり、
前記移動制御部は、前記サブオブジェクトに配置されている１又は複数の仮想オブジェクトのうち、前記ユーザの第７操作に応じて選択された１つの仮想オブジェクトを、前記サブオブジェクトから取り出して前記基準オブジェクト上に配置する
請求項１に記載の表示制御装置。
【請求項7】
外部装置から、前記基準オブジェクトを示す第１の画像情報及び前記１又は複数の仮想オブジェクトを示す第２の画像情報を取得する取得部を更に備え、
前記表示制御部は、前記第１の画像情報及び前記第２の画像情報に基づいて、前記基準オブジェクト及び前記１又は複数の仮想オブジェクトを含む前記仮想空間を表示させる
請求項１に記載の表示制御装置。
前記表示制御部は、前記第１の画像情報及び前記第２の画像情報に基づいて、前記基準オブジェクト及び前記１又は複数の仮想オブジェクトを含む前記仮想空間を表示させる
請求項１に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置に関する。
【背景技術】
【0002】
ＶＲ（Virtual Reality）技術、ＡＲ（Augmented Reality）技術、又はＭＲ（Mixed Reality）技術を含むＸＲ技術を用いて実現される３次元空間において、ユーザの位置を中心として、３６０度方向に複数の仮想オブジェクトが表示されることがある。この場合、ユーザが、ユーザの背後に位置している仮想オブジェクトを閲覧するためには、ユーザは、姿勢を変えてユーザ自身の顔を後ろに向ける必要がある。しかし、ユーザが混み合った環境にいる場合には、ユーザの姿勢及び顔の向きを変える行為が制限されることがある。このような場合、ユーザは、ユーザの背後に位置している仮想オブジェクトを手動でユーザの正面に移動する手段を用いることが考えられる。
【0003】
特許文献１は、仮想的な３次元空間において仮想オブジェクトを移動させるために、ポインティングデバイスを用いる技術を開示している。この技術において、ユーザは、複数の仮想オブジェクトの中から、移動の対象となる１つの仮想オブジェクトを選択する。選択された仮想オブジェクトは、ユーザの操作に応じて移動する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】再表２００８／０５９６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１に係る技術において、ユーザは、ポインティングデバイスを用いて、個々のオブジェクトを個別に移動させる必要がある。その結果、複数のオブジェクトを移動させる場合、オブジェクトの数が増えるに従って、ユーザによるオブジェクトを移動させるための操作が煩雑になるという問題があった。
【0006】
本発明は、上記のような課題を解決するために為されたものであり、仮想的な３次元空間において、ユーザが複数の仮想オブジェクトを容易に移動させることができる表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の好適な態様に係る表示制御装置は、表示装置に対して、仮想空間を表示させる表示制御部、仮想空間において、ユーザを中心とする球面を示す基準オブジェクトと、基準オブジェクトに配置された１又は複数の仮想オブジェクトとを管理する管理部、及び仮想空間において、基準オブジェクトの回転に合わせて、１又は複数の仮想オブジェクトを移動させる移動制御部を備える。
【発明の効果】
【0008】
本発明に係る表示制御装置によれば、仮想的な３次元空間において、ユーザが複数の仮想オブジェクトを容易に移動させることができる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る表示制御装置を含む情報処理システムの構成図である。
【図2】ＭＲグラスの外観を示す斜視図である。
【図3】ＭＲグラスを用いることによりユーザに提供される仮想空間の模式図である。
【図4】ＭＲグラスの構成例を示すブロック図である。
【図5】端末装置の構成例を示すブロック図である。
【図6】初期座標テーブルのデータ構造の一例を示す説明図である。
【図7】サーバの構成例を示すブロック図である。
【図10】第２実施形態に係る表示制御装置を含む情報処理システムの構成図である。
【図11】第２実施形態に係る端末装置の構成例を示すブロック図である。
【図12】仮想空間内の基準オブジェクト、サブオブジェクト、及び仮想オブジェクトの模式図である。
【図14】初期座標テーブルのデータ構造の一例を示す説明図である。
【発明を実施するための形態】
【0010】
【0011】
【0012】
情報処理システム１は、端末装置１０、ＭＲグラス２０、外部装置としてのサーバ３０、及び通信網ＮＥＴを備えている。図1には、３つの端末装置１０－１～１０－３、及び３つの端末装置１０－１～１０－３にそれぞれ対応する３つのＭＲグラス２０－１～２０－３が示されている。端末装置１０は、３つの端末装置１０－１～１０－３のうちのいずれか１つを表している。ＭＲグラス２０は、３つのＭＲグラス２０－１～２０－３のうちのいずれか１つを表している。情報処理システム１は、ＭＲグラス２０を装着したユーザに対して、ＭＲ技術を用いて、仮想空間を提供するシステムである。
【0013】
情報処理システム１において、端末装置１０－１とサーバ３０、端末装置１０－２とサーバ３０、端末装置１０－３とサーバ３０とは、それぞれ通信網ＮＥＴを介して互いに通信可能に接続されている。また、端末装置１０－１とＭＲグラス２０－１、端末装置１０－２とＭＲグラス２０－２、及び端末装置１０－３とＭＲグラス２０－３とは、それぞれ互いに通信可能に接続されている。なお、図１において、端末装置１０とＭＲグラス２０との組として、３組が例示されているが、当該組数はあくまで一例であって、情報処理システム１は、任意の数の端末装置１０とＭＲグラス２０との組を備えることが可能である。
【0014】
端末装置１０は、ＭＲグラス２０に対して、仮想空間に配置される仮想オブジェクトをそれぞれ表示させる。また、仮想オブジェクトは、例えば、静止画像、動画、３Ｄ－ＣＧモデル、ＨＴＭＬファイル、テキストファイル等のデータを示す仮想オブジェクト及びアプリケーションを示す仮想オブジェクトである。
【0015】
ここで、テキストファイルとしては、例えば、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例えば、ブラウザ、ＳＮＳを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末装置であることが好適である。
【0016】
ＭＲグラス２０は、ユーザの頭部に装着されるウェアラブルディスプレイである。ＭＲグラス２０は、端末装置１０による制御に従って、ユーザの両眼に対応する各レンズにそれぞれ設けられている表示パネルに仮想オブジェクトを表示させる。
【0017】
サーバ３０は、通信網ＮＥＴを介して、端末装置１０－１～１０－３に対して各種データを提供する。
【0018】
１．１．２．ＭＲグラスの構成
図２は、ＭＲグラス２０の外観を示す斜視図である。図２に示されるように、ＭＲグラス２０は、一般的な眼鏡と同様に左テンプル９１及び右テンプル９２、ブリッジ９３、左フレーム９４及び右フレーム９５、並びに左眼用レンズ４１Ｌ及び右眼用レンズ４１Ｒを有している。ブリッジ９３には、撮像装置２６が設けられている。撮像装置２６は外界を撮像する。また、撮像装置２６は、撮像した画像を示す撮像情報を出力する。
図２は、ＭＲグラス２０の外観を示す斜視図である。図２に示されるように、ＭＲグラス２０は、一般的な眼鏡と同様に左テンプル９１及び右テンプル９２、ブリッジ９３、左フレーム９４及び右フレーム９５、並びに左眼用レンズ４１Ｌ及び右眼用レンズ４１Ｒを有している。ブリッジ９３には、撮像装置２６が設けられている。撮像装置２６は外界を撮像する。また、撮像装置２６は、撮像した画像を示す撮像情報を出力する。
【0019】
図示しないが、ＭＲグラス２０には、動き検出装置が設けられている。ＭＲグラス２０は、ユーザの動きを検出するセンサとして、地磁気センサ、加速度センサ、及びジャイロセンサを備えている。ＭＲグラス２０は、出力デバイス、即ち、ディスプレイとして、左眼用ディスプレイ及び右眼用ディスプレイとを備えている。
【0020】
左眼用ディスプレイは、左眼用レンズ４１Ｌ、左眼用表示パネル、及び左眼用光学部材を有している。左眼用表示パネルとしては、例えば、液晶パネル、有機ＥＬパネル等の各種の表示パネルが好適に利用される。左眼用光学部材は、導光体及びハーフミラーを含んでいる。導光体は、左眼用表示パネルから出射した光をハーフミラーに導く。ハーフミラーは、外界の光を透過させて、ユーザの左眼に外界の光を導く一方で、導光体からの光を反射することにより、ユーザの左眼に左眼用表示パネルから出射した光を導く。
【0021】
右眼用ディスプレイは、右眼用レンズ４１Ｒ、右眼用表示パネル、及び右眼用光学部材を有している。右眼用表示パネルには、左眼用表示パネルと同様の表示パネルが利用される。右眼用光学部材は、左眼用光学部材と同様の導光体及びハーフミラーを含んでいる。導光体は、右眼用表示パネルから出射した光をハーフミラーに導く。ハーフミラーは、外界の光を透過させて、ユーザの右眼に外界の光を導く一方で、導光体からの光を反射することにより、ユーザの右眼に右眼用表示パネルから出射した光を導く。
【0022】
以上の構成により、ユーザは、ＭＲグラス２０を装着することにより、左眼用表示パネル及び右眼用表示パネルに表示される画像を、外界の様子と重ね合わせて観察することができる。また、ＭＲグラス２０は、視差を伴う両眼画像のうち、左眼用画像を左眼用表示パネルに表示させ、右眼用画像を右眼用表示パネルに表示させる。これにより、ＭＲグラス２０は、ユーザに対し、表示された画像があたかも奥行き及び立体感を持つかのように知覚させることが可能となる。
【0023】
図２に示されるように、左テンプル９１の軸及び右テンプル９２の軸を含む平面をｘ－ｙ平面とし、ｘ－ｙ平面において、ＭＲグラス２０の前後方向と平行な軸をｘ軸、ｘ－ｙ平面において、ｘ軸と直交する軸をｙ軸とする。また、ｘ－ｙ平面に直交する軸をｚとする。
【0024】
図３は、ＭＲグラス２０を用いることによりユーザに提供される仮想空間の模式図である。図３に示されるように、仮想空間ＶＳは、１つの基準オブジェクトＢＯと複数の仮想オブジェクトＶＯとを含んでいる。基準オブジェクトＢＯは、仮想空間ＶＳにおいて、ユーザＵ１を中心とする半径ｒの球面を示している。ここで、基準オブジェクトＢＯは、透明なオブジェクトである。従って、ユーザＵ１は、基準オブジェクトＢＯを透かして、基準オブジェクトＢＯよりも外側の外界を視認できる。
【0025】
図３において、仮想オブジェクトＶＯは、５つの仮想オブジェクトＶＯ１～ＶＯ５を含んでいる。仮想オブジェクトＶＯ１～ＶＯ５は、それぞれ基準オブジェクトＢＯ上に配置されている。仮想オブジェクトＶＯ１～ＶＯ５は、例えば、ブラウザ、クラウドサービス、画像、動画等の各種コンテンツを示している。なお、図３における仮想オブジェクトＶＯの個数は、あくまで例示であって、仮想オブジェクトＶＯの個数は、本開示に限定されない。
【0026】
ユーザＵ１は、仮想空間ＶＳ上の仮想オブジェクトＶＯ１～ＶＯ５が表示されたＭＲグラス２０を装着した状態において公共の空間を行き来することにより、公共の空間において、プライベートな空間としての仮想空間ＶＳを体験することが可能となる。ひいては、ユーザＵ１は、仮想空間ＶＳに配置された仮想オブジェクトＶＯ１～ＶＯ５がもたらす便益を享受しながら、公共の空間において行動することが可能となる。
【0027】
本実施形態においては、図３に示されるように、仮想オブジェクトＶＯ１～ＶＯ５のうち、いずれの組合せの２つの仮想オブジェクトＶＯも、ユーザＵ１から見て、仮想空間ＶＳにおいて重ならないように表示される。
【0028】
また、ユーザＵ１は、端末装置１０を把持している。端末装置１０により、ＭＲグラス２０の表示パネルに仮想オブジェクトＶＯを表示させる制御には、端末装置１０をポインティングデバイスとして用いる制御が含まれる。従って、ユーザＵ１は、把持している端末装置１０の姿勢を変えることにより、仮想空間ＶＳにおける仮想オブジェクトＶＯの表示態様を変更することができる。端末装置１０の中心軸Ａ１と基準オブジェクトＢＯとの交点、又は中心軸Ａ１と仮想オブジェクトＶＯとの交点は、以下、指示点Ｐ１と称される。
【0029】
図４は、ＭＲグラス２０の構成例を示すブロック図である。ＭＲグラス２０は、処理装置２１、記憶装置２２、視線取得装置２３、ＧＰＳ装置２４、動き検出装置２５、撮像装置２６、通信装置２７、及び表示装置としてのディスプレイ２８を備えている。ＭＲグラス２０の各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。なお、本明細書における「装置」という用語は、回路、デバイス、ユニット等の他の用語に読み替えてもよい。
【0030】
処理装置２１は、ＭＲグラス２０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置２１は、例えば、周辺装置とのインタフェース、演算装置、及びレジスタを含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成されている。なお、処理装置２１の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置２１は、各種の処理を並列的又は逐次的に実行する。
【0031】
記憶装置２２は、処理装置２１により読み取り及び書き込みが可能な記録媒体であり、処理装置２１が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶している。
【0032】
視線取得装置２３は、ユーザＵ１の視線を取得し、取得結果に基づいてユーザＵ１の視線の方向を示す視線情報を処理装置２１に出力する。視線取得装置２３による視線の取得方法としては、どのような方法が用いられてもよい。視線取得装置２３は、例えば、ユーザＵ１の目頭の位置と虹彩の位置とに基づいて、視線情報を取得してもよい。処理装置２１へ出力された視線情報は、通信装置２７を介して、端末装置１０へ出力される。
【0033】
ＧＰＳ装置２４は、複数の衛星からの電波を受信し、受信した電波から位置情報を生成する。位置情報は、ＭＲグラス２０の位置を示す。位置情報は、例えば、ＭＲグラス２０の緯度と経度とを示す。位置情報はＧＰＳ装置２４から取得される。なお、ＭＲグラス２０は、どのような方法により位置情報を取得してもよい。また、位置情報は、位置を特定できるのであれば、どのような形式であってもよい。取得された位置情報は、処理装置２１へ出力される。処理装置２１へ出力された位置情報は、通信装置２７を介して、端末装置１０へ出力される。
【0034】
動き検出装置２５は、ＭＲグラス２０の動きを検出して、動きデータを処理装置２１に出力する。動きデータは、Ｘ軸、Ｙ軸、及びＺ軸の各方向の加速度をそれぞれ示す加速度データ及びＸ軸、Ｙ軸、及びＺ軸の各軸を回転の中心とする角加速度をそれぞれ示す角加速度データを含んでいる。動き検出装置２５には、加速度を検出する加速度センサ、角加速度を検出するジャイロセンサ等の慣性センサ、及びＭＲグラス２０が向いている方角を検出する地磁気センサが含まれている。
【0035】
加速度センサは、互いに直交するＸ軸、Ｙ軸、及びＺ軸の各方向の加速度をそれぞれ検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸の各軸を回転の中心とする角加速度をそれぞれ検出する。地磁気センサは、Ｘ軸、Ｙ軸、及びＺ軸の各方向の地磁気をそれぞれ検出し、ＭＲグラス２０が向いている方角を検出する。動き検出装置２５は、ジャイロセンサからの出力情報に基づいて、ＭＲグラス２０の姿勢を示す姿勢情報を生成する。また、動き検出装置２５は、ＭＲグラス２０の動きに係る動き情報を処理装置２１へ出力する。処理装置２１へ出力された動き情報は、通信装置２７を介して、端末装置１０へ出力される。
【0036】
撮像装置２６は、外界を撮像することにより得られた撮像情報を出力する。撮像装置２６は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備えている。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は、撮像信号を増幅したうえでＡＤ変換器に出力する。ＡＤ変換器は、アナログ信号である増幅された撮像信号を、デジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置２１に出力される。処理装置２１へ出力された撮像情報は、通信装置２７を介して、端末装置１０へ出力される。
【0037】
これにより、端末装置１０では、撮像装置２６による撮像情報に基づいて、ユーザＵ１の各種のジェスチャーが認識され、認識されたジェスチャーに応じた制御が実行される。即ち、撮像装置２６は、ポインティングデバイス及びタッチパネルのように、ユーザＵ１の指示を入力するための入力装置として機能する。
【0038】
通信装置２７は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置２７は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２７は、有線接続用のコネクタを備え、コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置２７は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0039】
ディスプレイ２８は、画像を表示するデバイスである。ディスプレイ２８は、処理装置２１による制御に基づいて各種の画像を表示する。ディスプレイ２８は、左眼用ディスプレイ及び右眼用ディスプレイを含んでいる。
【0040】
処理装置２１は、例えば、記憶装置２２から制御プログラムＰＲ２を読み出して実行することにより取得部２１１及び表示制御部２１２として機能する。
【0041】
取得部２１１は、端末装置１０から制御信号、第１の画像情報、及び第２の画像情報を取得する。制御信号は、ディスプレイ２８への表示を制御するための信号である。制御信号は、端末装置１０が備えている後述の表示制御部１１２により生成される。第１の画像情報及び第２の画像情報は、ディスプレイ２８に表示させる画像を示す情報である。第１の画像情報は、基準オブジェクトＢＯを示す情報である。第２の画像情報は、仮想オブジェクトＶＯ１～ＶＯ５を示す情報である。第１の画像情報及び第２の画像情報は、端末装置１０の記憶装置１２に記憶されていてもよいし、サーバ３０の後述の記憶装置３２に記憶されていてもよい。
【0042】
また、取得部２１１は、視線取得装置２３から入力される視線情報、ＧＰＳ装置２４から入力される位置情報、動き検出装置２５から入力される動き情報、及び撮像装置２６から入力される撮像情報を取得する。そのうえで、取得部２１１は、取得した視線情報、位置情報、動き情報、及び撮像情報を通信装置２７へ出力する。
【0043】
表示制御部２１２は、取得部２１１により取得された端末装置１０からの制御信号に基づいて、ディスプレイ２８における表示を制御する。また、表示制御部２１２は、取得部２１１により取得された第１の画像情報及び第２の画像情報に基づいて、ディスプレイ２８に仮想空間ＶＳ、即ち、基準オブジェクトＢＯ及び仮想オブジェクトＶＯ１～ＶＯ５を表示させる。
【0044】
１．１．３．端末装置の構成
図５は、端末装置１０の構成例を示すブロック図である。端末装置１０は、表示制御装置としての処理装置１１、記憶装置１２、通信装置１３、ディスプレイ１４、入力装置１５、及び慣性センサ１６を備えている。端末装置１０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図５は、端末装置１０の構成例を示すブロック図である。端末装置１０は、表示制御装置としての処理装置１１、記憶装置１２、通信装置１３、ディスプレイ１４、入力装置１５、及び慣性センサ１６を備えている。端末装置１０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0045】
処理装置１１は、端末装置１０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置１１が備えている機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
【0046】
記憶装置１２は、処理装置１１により読み取り及び書き込みが可能な記録媒体である。記憶装置１２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Random Access Memory）である。
【0047】
記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ１及び初期座標テーブルＴＢＬ１を含む各種のデータを記憶している。また、記憶装置１２は、処理装置１１のワークエリアとして機能する。
【0048】
ユーザＵ１は、端末装置１０を操作することにより、基準オブジェクトＢＯを、ユーザＵ１を中心に回転させることができる。これにより、基準オブジェクトＢＯに配置された仮想オブジェクトＶＯ１～ＶＯ５は、基準オブジェクトＢＯのユーザＵ１を中心とする回転に合わせて、仮想オブジェクトＶＯ１～ＶＯ５を移動させる。
【0049】
通信装置１３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置１３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置１３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0050】
ディスプレイ１４は、画像及び文字情報を表示するデバイスである。ディスプレイ１４は、処理装置１１の制御のもとで各種の画像を表示する。例えば、液晶パネル及び有機ＥＬ（Electro Luminescence）パネル等の各種の表示パネルがディスプレイ１４として好適に利用される。
【0051】
入力装置１５は、ＭＲグラス２０を頭部に装着したユーザＵ１からの操作を受け付ける。例えば、入力装置１５は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置１５は、タッチパネルを含んで構成されている場合、ディスプレイ１４を兼ねていてもよい。
【0052】
慣性センサ１６は、慣性力を検出するセンサである。慣性センサ１６は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、１つ以上のセンサを含んでいる。処理装置１１は、慣性センサ１６の出力情報に基づいて、端末装置１０の姿勢を検出する。
【0053】
また、処理装置１１は、端末装置１０の姿勢に基づいて、仮想空間ＶＳにおいて、仮想オブジェクトＶＯの選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザＵ１が、端末装置１０の中心軸Ａ１を仮想オブジェクトＶＯに向けた状態において入力装置１５に対して所定の操作を実行することにより、中心軸Ａ１が向けられた仮想オブジェクトＶＯが選択される。所定の操作は、例えば、ダブルタップである。このとき、ユーザＵ１には、ＭＲグラス２０を通して、中心軸Ａ１が仮想オブジェクトＶＯを指示しているように視認されるのが好適である。この場合、中心軸Ａ１を示す画像がＭＲグラス２０に表示される。
【0054】
また、ユーザＵ１が、端末装置１０の中心軸Ａ１を仮想オブジェクトＶＯが配置されていない仮想空間ＶＳに向けた状態において入力装置１５に対して所定の操作を実行することにより、基準オブジェクトＢＯが選択される。このとき、ユーザＵ１には、ＭＲグラス２０を通して、中心軸Ａ１が基準オブジェクトＢＯを指示しているように視認されるのが好適である。この場合、中心軸Ａ１を示す画像がＭＲグラス２０に表示される。
【0055】
このように、端末装置１０は、仮想空間ＶＳ内のオブジェクトを指示するためのポインティングデバイス及び仮想空間ＶＳを制御するための携帯型のコントローラとして機能する。
【0056】
処理装置１１は、記憶装置１２から制御プログラムＰＲ１を読み出して実行することにより、取得部１１１、表示制御部１１２、管理部１１３、特定部１１４、移動制御部１１５、及び選択部１１６として機能する。
【0057】
取得部１１１は、ＭＲグラス２０を頭部に装着したユーザＵ１の動作に応じた指示情報を取得する。ここで、ユーザＵ１の動作とは、例として、ユーザＵ１が入力装置１５を用いて端末装置１０へ入力することである。より詳細に述べると、ユーザＵ１の動作は、入力装置１５の特定部位の押下であってよい。あるいは、ユーザＵ１の動作は、端末装置１０をポインティングデバイス又は携帯型のコントローラとして用いた操作であってよい。特に、ユーザＵ１の動作が、入力装置１５の特定部位の押下、端末装置１０をポインティングデバイスとして用いた操作、又は端末装置１０を携帯型のコントローラとして用いた操作である場合、指示情報は、操作情報と称される。
【0058】
取得部１１１は、サーバ３０から仮想オブジェクトＶＯ１～ＶＯ５を示す画像情報及び基準オブジェクトＢＯを示す画像情報を取得する。また、取得部１１１は、入力装置１５から操作情報を取得する。更に、取得部１１１は、ＭＲグラス２０のＧＰＳ装置２４から位置情報を取得する。
【0059】
また、取得部１１１は、通信装置１３を用いることにより、サーバ３０から画像情報を取得する。取得部１１１は、取得した画像情報を記憶装置１２に格納する。取得部１１１は、記憶装置１２に格納された画像情報を取得する。
【0060】
表示制御部１１２は、ＭＲグラス２０に対して、仮想空間ＶＳ、及び基準オブジェクトＢＯ上に配置された複数の仮想オブジェクトＶＯを表示させる。より具体的には、表示制御部１１２は、ＭＲグラス２０に表示させる画像のデータを画像情報に基づいて生成し、生成したデータを、通信装置１３を介してＭＲグラス２０へ送信する。
【0061】
表示制御部１１２は、取得部１１１により取得された画像情報に基づいて、ディスプレイ１４に仮想空間ＶＳを表示させる。
【0062】
管理部１１３は、基準オブジェクトＢＯと、基準オブジェクトＢＯ上に配置されている仮想オブジェクトＶＯ１～ＶＯ５とを管理している。管理部１１３は、例として、基準オブジェクトＢＯ上における仮想オブジェクトＶＯ１～ＶＯ５の位置、基準オブジェクトＢＯとＭＲグラス２０との位置関係、及び仮想オブジェクトＶＯ１～ＶＯ５を識別するＩＤを管理している。仮想オブジェクトＶＯ１～ＶＯ５を表示するための３Ｄデータは、記憶装置１２に記憶されている。
【0063】
特定部１１４は、ユーザＵ１の第１操作に応じて、基準オブジェクトＢＯにおいて、基準点ＳＰを特定する。基準点ＳＰは、基準オブジェクトＢＯにおいて、仮想オブジェクトＶＯ１～ＶＯ５が配置されていない領域にある点である。第１操作は、例えば、次のようにユーザＵ１により実行される操作である。ユーザＵ１は端末装置１０の中心軸Ａ１を仮想オブジェクトＶＯ１～ＶＯ５が配置されていない領域に向けた状態において、入力装置１５に対して所定の操作を実行する。所定の操作としては、例えば、ダブルタップが挙げられる。これにより、図３に示した例では、指示点Ｐ１が基準点ＳＰとして特定される。
【0064】
移動制御部１１５は、仮想空間ＶＳにおいて、基準オブジェクトＢＯのユーザＵ１を中心とする回転に合わせて、仮想オブジェクトＶＯ１～ＶＯ５を移動させる。より具体的には、移動制御部１１５は、ユーザＵ１の第２操作に応じて、基準点ＳＰの移動に伴って基準オブジェクトＢＯをユーザＵ１を中心として回転させることにより、仮想オブジェクトＶＯ１～ＶＯ５を回転させる。第２操作は、第１操作の後、ユーザＵ１が入力装置１５を用いて、特定された基準点ＳＰを移動させたい位置までドラッグする操作である。これにより、仮想オブジェクトＶＯ１～ＶＯ５は、互いの相対的な位置関係を維持したままユーザＵ１を中心として回転する。
【0065】
また、移動制御部１１５は、選択部１１６により、ユーザＵ１の第３操作に応じて仮想オブジェクトＶＯ１～ＶＯ５のうち１つの仮想オブジェクトＶＯｎ（ｎ＝１～５）が選択されると、ユーザＵ１の第４操作に応じて、基準オブジェクトＢＯ内において、選択された１つの仮想オブジェクトＶＯを移動させる。第３操作は、端末装置１０の中心軸Ａ１が仮想オブジェクトＶＯ１～ＶＯ５のうち１つの仮想オブジェクトＶＯｎを指示している状態において、ユーザＵ１が入力装置１５をダブルタップする操作である。第４操作は、第３操作の後、ユーザＵ１が入力装置１５を用いて、選択された仮想オブジェクトＶＯｎを移動させたい位置までドラッグする操作である。
【0066】
選択部１１６は、取得部１１１によって取得された操作情報に基づいて、仮想空間ＶＳに配置された仮想オブジェクトＶＯ１～ＶＯ５のうち１つの仮想オブジェクトＶＯｎを選択する。
【0067】
図６は、初期座標テーブルＴＢＬ１のデータ構造の一例を示す説明図である。以下、図６を参照することにより、管理部１１３における仮想オブジェクトＶＯの管理について、より詳細に説明する。図６の初期座標テーブルＴＢＬ１は、記憶装置１２に記憶されている。初期座標テーブルＴＢＬ１には、仮想オブジェクトＶＯ１～ＶＯ５にそれぞれ割り振られたＩＤと、仮想オブジェクトＶＯ１～ＶＯ５がそれぞれ配置される位置の初期値との関係が規定されている。
【0068】
仮想オブジェクトＶＯ１～ＶＯ５は、球面状の基準オブジェクトＢＯ上に配置される。そこで、図６の初期座標テーブルＴＢＬ１において、仮想オブジェクトＶＯ１～ＶＯ５が配置される位置の座標は、ユーザＵ１を原点とする三次元極座標（ｒ，θ，φ）により定義されている。ｒは、座標の原点からの距離であり、この場合、基準オブジェクトＢＯの半径に相当する。θは仰角であり、この場合、図２のｚ軸に対する角度である。φは方位角であり、この場合、図２のｘ軸に対する角度である。
【0069】
処理装置１１は、初期座標テーブルＴＢＬ１を参照することにより、仮想オブジェクトＶＯ１～ＶＯ５を基準オブジェクトＢＯ上の何れの位置に配置するかを把握できる。初期座標テーブルＴＢＬ１によれば、ＩＤ「００１」の仮想オブジェクトの初期座標は（３００，ａａａ，ｂｂｂ）であることが把握される。この場合、ＩＤ「００１」の仮想オブジェクトの初期位置は、半径ｒ、即ち、ユーザＵ１からの距離が３００、仰角θがａａａ、方位角φがｂｂｂの位置である。
【0070】
ＭＲグラス２０が起動されると、管理部１１３は、基準オブジェクトＢＯ上に座標の標準位置を設定する。座標の標準位置は、三次元座標において、仰角θが９０°、方位角φが０°となる位置、即ち、図２のｘ軸と基準オブジェクトＢＯとが交差する位置である。例えば、座標の標準位置は、ユーザＵ１がディスプレイ２８を覗いたとき、ディスプレイ２８の中央位置と一致するような基準オブジェクトＢＯ上の位置に設定される。なお、座標の標準位置は、上記の例に限定されない。
【0071】
また、管理部１１３は、ＭＲグラス２０が起動されたときのＭＲグラス２０の絶対的な姿勢、即ち、絶対方位を取得部１１１によりＭＲグラス２０から取得し、初期方位として記憶装置１２に記憶させる。
【0072】
また、管理部１１３は、ユーザＵ１による第１モードと第２モードとの間のモード切替操作を受け付ける。ユーザＵ１のモード切替操作は、入力装置１５により行われる。
【0073】
管理部１１３は、ユーザＵ１により第１モードが選択された場合、ユーザＵ１の姿勢に追従して、仮想オブジェクトＶＯ１～ＶＯ５を表示する。言い換えると、ユーザＵ１により仮想オブジェクトＶＯを移動させるための操作がない限り、標準位置に対する仮想オブジェクトＶＯ１～ＶＯ５の相対位置は変わらない。
【0074】
管理部１１３は、ユーザＵ１により第２モードが選択された場合、記憶装置１２から読み出した初期座標テーブルＴＢＬ１を、一時的な座標テーブルとして、記憶装置１２に記憶させる。ユーザＵ１が姿勢を変更して、ＭＲグラス２０の絶対方位が初期方位から変更された場合、管理部１１３は、ユーザＵ１の姿勢の変更前後におけるＭＲグラス２０の絶対方位の偏差に基づいて、一時的な座標テーブルを更新する。管理部１１３は、一時的な座標テーブルに従って、仮想オブジェクトＶＯ１～ＶＯ５を配置する。そのため、ユーザＵ１が姿勢を変更した場合には、仮想オブジェクトＶＯ１～ＶＯ５は、ユーザＵ１の姿勢に追従せずに、あたかも実空間に固定されているかのように、ディスプレイ２８に表示される。言い換えると、仮想オブジェクトＶＯ１～ＶＯ５の標準位置に対する位置は、ユーザＵ１が姿勢を変更した分だけ変化する。
【0075】
なお、基準オブジェクトＢＯの半径ｒは３ｍに設定されているが、この数値はあくまで例示であって、本発明はこれに限定されない。例えば、基準オブジェクトＢＯの半径ｒは、３ｍよりも長く設定されていてもよいし、３ｍよりも短く設定されていてもよい。また、半径ｒは、ユーザＵ１等の操作により、適宜変更できるようになっていてもよい。
【0076】
以下、ユーザＵ１により第１モードが選択された場合を前提に、処理装置１１の動作を説明する。
【0077】
１．１．４．サーバの構成
図７は、サーバ３０の構成例を示すブロック図である。サーバ３０は、処理装置３１、記憶装置３２、通信装置３３、ディスプレイ３４、及び入力装置３５を備えている。サーバ３０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図７は、サーバ３０の構成例を示すブロック図である。サーバ３０は、処理装置３１、記憶装置３２、通信装置３３、ディスプレイ３４、及び入力装置３５を備えている。サーバ３０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0078】
処理装置３１は、サーバ３０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置３１は、例えば、周辺装置とのインタフェース、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置３１の機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。
【0079】
記憶装置３２は、処理装置３１により読み取り及び書き込みが可能な記録媒体であり、処理装置３１が実行するための制御プログラムＰＲ３を含む複数のプログラムを記憶している。また、記憶装置３２は、ＭＲグラス２０のディスプレイ２８に表示させるための画像情報ＩＦを記憶している。
【0080】
通信装置３３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置３３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置３３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置３３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0081】
ディスプレイ３４は、画像及び文字情報を表示するデバイスである。ディスプレイ３４は、処理装置３１による制御のもとで各種の画像を表示する。例えば、液晶パネル、有機ＥＬパネル等の各種の表示パネルがディスプレイ３４として好適に利用される。
【0082】
入力装置３５は、情報処理システム１の管理者による操作を受け付ける機器である。例えば、入力装置３５は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置３５は、タッチパネルを含んで構成されている場合、ディスプレイ３４を兼ねてもよい。とりわけ、情報処理システム１の管理者は、入力装置３５を用いることにより、制御プログラムＰＲ３を修正することが可能である。
【0083】
処理装置３１は、例えば、記憶装置３２から制御プログラムＰＲ３を読み出して実行することによって、取得部３１１及び出力部３１２として機能する。
【0084】
取得部３１１は、通信装置３３を用いることにより、端末装置１０から各種の情報を取得する。当該情報には、例として、仮想オブジェクトＶＯ１～ＶＯ５に対するユーザＵ１の操作内容を示す情報が含まれている。また、当該ユーザＵ１が、クラウドサービスを利用する場合、当該情報には、クラウドサービスにより提供されるアプリケーションへの入力情報が含まれる。
【0085】
出力部３１２は、ＭＲグラス２０を頭部に装着したユーザＵ１に対して、端末装置１０が仮想空間ＶＳを提供するうえで必要となる情報を端末装置１０に出力する。当該情報には、仮想オブジェクトＶＯ自体に係る情報及びクラウドサービスを利用するための図示しないアプリケーションに係る情報が含まれる。
【0086】
１．２．第１実施形態の動作
図８は、図５の処理装置１１の第１の動作を示すフローチャートである。以下、図８を参照することにより、処理装置１１の第１の動作について説明する。図８のルーチンは、例えば、処理装置１１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
図８は、図５の処理装置１１の第１の動作を示すフローチャートである。以下、図８を参照することにより、処理装置１１の第１の動作について説明する。図８のルーチンは、例えば、処理装置１１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
【0087】
ステップＳ１１において、処理装置１１は、取得部１１１として機能することにより、操作情報を取得する。
【0088】
ステップＳ１２において、処理装置１１は、表示制御部１１２として機能することにより、基準オブジェクトＢＯ上に仮想オブジェクトＶＯ１～ＶＯ５を配置する。
【0089】
ステップＳ１３において、処理装置１１は、特定部１１４として機能することにより、ユーザＵ１によって第１操作が行われたか否かを判定する。
【0090】
ステップＳ１３において、処理装置１１が、ユーザＵ１によって第１操作が行われたと判定した場合、即ち、ステップＳ１３における判定結果が肯定的であった場合、処理装置１１は、ステップＳ１４の処理を実行する。この場合、ステップＳ１４において、処理装置１１は、特定部１１４として機能することにより、基準点ＳＰを特定する。
【0091】
次いで、ステップＳ１５において、処理装置１１は、移動制御部１１５として機能することにより、ユーザＵ１によって第２操作が行われたか否かを判定する。
【0092】
ステップＳ１５において、処理装置１１が、ユーザＵ１によって第２操作が行われたと判定した場合、即ち、ステップＳ１５における判定結果が肯定的であった場合、処理装置１１は、ステップＳ１６の処理を実行する。この場合、ステップＳ１６において、処理装置１１は、移動制御部１１５として機能することにより、基準オブジェクトＢＯを回転させ、本ルーチンを一旦終了する。
【0093】
一方、ステップＳ１３において、処理装置１１が、ユーザＵ１によって第１操作が行われなかったと判定した場合、即ち、ステップＳ１３における判定結果が否定的であった場合、処理装置１１は、ステップＳ１４の処理を省略してステップＳ１５の処理を実行する。
【0094】
また、ステップＳ１５において、処理装置１１が、ユーザＵ１によって第２操作が行われなかったと判定した場合、即ち、ステップＳ１５における判定結果が否定的であった場合、処理装置１１は、ステップＳ１６の処理を省略して本ルーチンを一旦終了する。
【0095】
図９は、図５の処理装置１１の第２の動作を示すフローチャートである。以下、図９を参照することにより、処理装置１１の第２の動作について説明する。図９のルーチンは、例えば、処理装置１１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
【0096】
ステップＳ１１において、処理装置１１は、取得部１１１として機能することにより、操作情報を取得する。
【0097】
ステップＳ１２において、処理装置１１は、表示制御部１１２として機能することにより、基準オブジェクトＢＯ上に仮想オブジェクトＶＯ１～ＶＯ５を配置する。
【0098】
ステップＳ２１において、処理装置１１は、選択部１１６として機能することにより、ユーザＵ１によって第３操作が行われたか否かを判定する。
【0099】
ステップＳ２１において、処理装置１１が、ユーザＵ１によって第３操作が行われたと判定した場合、即ち、ステップＳ２１における判定結果が肯定的であった場合、処理装置１１は、ステップＳ２２の処理を実行する。この場合、ステップＳ２２において、処理装置１１は、選択部１１６として機能することにより、仮想オブジェクトＶＯ１～ＶＯ５のうち、１つの仮想オブジェクトＶＯｎを選択する。
【0100】
次いで、ステップＳ２３において、処理装置１１は、移動制御部１１５として機能することにより、ユーザＵ１によって第４操作が行われたか否かを判定する。
【0101】
ステップＳ２３において、処理装置１１が、ユーザＵ１によって第４操作が行われたと判定した場合、即ち、ステップＳ２３における判定結果が肯定的であった場合、処理装置１１は、ステップＳ２４の処理を実行する。この場合、ステップＳ２４において、処理装置１１は、移動制御部１１５として機能することにより、選択された仮想オブジェクトＶＯｎを移動させ、本ルーチンを一旦終了する。
【0102】
一方、ステップＳ２１において、処理装置１１が、ユーザＵ１によって第３操作が行われなかったと判定した場合、即ち、ステップＳ２１における判定結果が否定的であった場合、処理装置１１は、ステップＳ２２の処理を省略してステップＳ２３の処理を実行する。
【0103】
また、ステップＳ２３において、処理装置１１が、ユーザＵ１によって第４操作が行われなかったと判定した場合、即ち、ステップＳ２３における判定結果が否定的であった場合、処理装置１１は、ステップＳ２４の処理を省略して本ルーチンを一旦終了する。
【0104】
１．３．第１実施形態が奏する効果
以上の説明によれば、第１実施形態に係る処理装置１１は、表示制御部１１２、管理部１１３、及び移動制御部１１５を備えている。表示制御部１１２は、ディスプレイ２８に対して、仮想空間ＶＳを表示させる。管理部１１３は、仮想空間ＶＳにおいて、ユーザＵ１を中心とする球面を示す基準オブジェクトＢＯと、基準オブジェクトＢＯに配置されている仮想オブジェクトＶＯ１～ＶＯ５とを管理する。移動制御部１１５は、仮想空間ＶＳにおいて、基準オブジェクトＢＯの回転に合わせて、仮想オブジェクトＶＯ１～ＶＯ５を移動させる。
以上の説明によれば、第１実施形態に係る処理装置１１は、表示制御部１１２、管理部１１３、及び移動制御部１１５を備えている。表示制御部１１２は、ディスプレイ２８に対して、仮想空間ＶＳを表示させる。管理部１１３は、仮想空間ＶＳにおいて、ユーザＵ１を中心とする球面を示す基準オブジェクトＢＯと、基準オブジェクトＢＯに配置されている仮想オブジェクトＶＯ１～ＶＯ５とを管理する。移動制御部１１５は、仮想空間ＶＳにおいて、基準オブジェクトＢＯの回転に合わせて、仮想オブジェクトＶＯ１～ＶＯ５を移動させる。
【0105】
これによれば、複数の仮想オブジェクトがユーザＵ１の背後に位置している場合であっても、基準オブジェクトＢＯを回転させることにより、ユーザＵ１の前面にまとめて移動させることができる。即ち、ユーザＵ１による煩雑な操作が不要となり、仮想オブジェクトを容易に移動させることができる。
【0106】
また、処理装置１１は、特定部１１４を更に備えている。特定部１１４は、ユーザＵ１の第１操作に応じて、基準オブジェクトにおいて仮想オブジェクトＶＯ１～ＶＯ５が配置されていない基準点ＳＰを特定する。移動制御部１１５は、ユーザＵ１が基準点ＳＰを移動させる第２操作に応じて、基準点ＳＰの移動に伴って基準オブジェクトＢＯを回転させることにより、仮想オブジェクトＶＯ１～ＶＯ５を回転させる。
【0107】
これによれば、ユーザＵ１は、例えば、ユーザＵ１の前面の基準オブジェクトＢＯ上において、基準点ＳＰを特定することができる。そして、ユーザＵ１は、ユーザＵ１前面の基準点ＳＰを移動させて基準オブジェクトＢＯを回転させることにより、自身の姿勢を大きく変えることなく、ユーザＵ１の背後の１又は複数の仮想オブジェクトをユーザＵ１の前面に移動させることができる。即ち、これによれば、仮想オブジェクトを容易に移動させることができる。
【0108】
また、処理装置１１は、選択部１１６を更に備えている。選択部１１６は、ユーザＵ１の第３操作に応じて、仮想オブジェクトＶＯ１～ＶＯ５のうち、１つの仮想オブジェクトＶＯｎを選択する。移動制御部１１５は、ユーザＵ１が１つの仮想オブジェクトＶＯｎを移動させる第４操作に応じて、１つの仮想オブジェクトＶＯｎを移動させる。
【0109】
これによれば、ユーザＵ１は、複数の仮想オブジェクトＶＯ１～ＶＯ５をまとめて移動させるだけでなく、複数の仮想オブジェクトＶＯ１～ＶＯ５の中から、任意の１つの仮想オブジェクトＶＯｎを選択することができる。また、ユーザＵ１は、仮想空間ＶＳ内において、選択した仮想オブジェクトＶＯｎだけを移動させることができる。
【0110】
また、移動制御部１１５は、第４操作に応じて、基準オブジェクトＢＯ内において１つの仮想オブジェクトＶＯｎを移動させる。
【0111】
これによれば、ユーザＵ１は、複数の仮想オブジェクトＶＯ１～ＶＯ５の中から、任意の１つの仮想オブジェクトＶＯｎを選択し、ユーザＵ１を中心として、選択した仮想オブジェクトＶＯｎを回転させることができる。
【0112】
また、処理装置１１は、取得部１１１を更に備えている。取得部１１１は、サーバ３０から、基準オブジェクトＢＯを示す第１の画像情報及び仮想オブジェクトＶＯ１～ＶＯ５を示す第２の画像情報を取得する。表示制御部１１２は、第１の画像情報及び第２の画像情報に基づいて、基準オブジェクトＢＯ及び仮想オブジェクトＶＯ１～ＶＯ５を含む仮想空間ＶＳを表示させる。
【0113】
これによれば、処理装置１１は、第２の画像情報をまとめて管理できるため、基準オブジェクトＢＯ上において、仮想オブジェクトＶＯ１～ＶＯ５を表示する位置を、容易にまとめて変更できる。
【0114】
２．第２実施形態
以下、図１０～図１６を参照することにより、本発明の第２実施形態に係る表示制御装置の構成について説明する。なお、以下の説明では、説明の簡略化のため、第１実施形態と同一の構成要素に対しては、同一の符号を用いると共に、その機能の説明を省略することがある。また、以下の説明では、説明の簡略化のため、主として、第２実施形態が、第１実施形態に比較して相違する点について説明する。
以下、図１０～図１６を参照することにより、本発明の第２実施形態に係る表示制御装置の構成について説明する。なお、以下の説明では、説明の簡略化のため、第１実施形態と同一の構成要素に対しては、同一の符号を用いると共に、その機能の説明を省略することがある。また、以下の説明では、説明の簡略化のため、主として、第２実施形態が、第１実施形態に比較して相違する点について説明する。
【0115】
２．１．第２実施形態の構成
２．１．１．全体構成
図１０は、本発明の第２実施形態に係る情報処理システムの全体構成を示す図である。情報処理システム１Ａは、第１実施形態に係る情報処理システム１と比較して、端末装置１０に代えて端末装置１０Ａを備えている点において異なっている。
２．１．１．全体構成
図１０は、本発明の第２実施形態に係る情報処理システムの全体構成を示す図である。情報処理システム１Ａは、第１実施形態に係る情報処理システム１と比較して、端末装置１０に代えて端末装置１０Ａを備えている点において異なっている。
【0116】
図１１は、第２実施形態に係る端末装置１０Ａの構成例を示すブロック図である。端末装置１０Ａは、第１実施形態に係る端末装置１０と比較して、処理装置１１に代えて処理装置１１Ａを備えている点及び記憶装置１２に代えて記憶装置１２Ａを備えている点において異なっている。
【0117】
処理装置１１Ａは、基準オブジェクトＢＯ上に１又は複数のサブオブジェクトを生成する点において、処理装置１１と異なっている。サブオブジェクトは、１又は複数の仮想オブジェクトＶＯがその内部に配置されるオブジェクトである。
【0118】
また、処理装置１１Ａは、１又は複数のサブオブジェクトを選択する点において、処理装置１１と異なっている。更に、処理装置１１Ａは、基準オブジェクトＢＯ上において、１又は複数のサブオブジェクトを移動させる点において、処理装置１１と異なっている。
【0119】
処理装置１１Ａは、記憶装置１２Ａから制御プログラムＰＲ４を読み出して実行することにより、取得部１１１、表示制御部１１２Ａ、管理部１１３Ａ、特定部１１４、移動制御部１１５Ａ、及び選択部１１６として機能する。なお、取得部１１１、特定部１１４、及び選択部１１６は、第１実施形態に係る処理装置１１の機能としての取得部１１１、特定部１１４、及び選択部１１６と機能的に同一であるため、その説明は省略される。
【0120】
表示制御部１１２Ａは、ＭＲグラス２０に対して、仮想空間ＶＳ、基準オブジェクトＢＯ上に配置された複数のサブオブジェクト、及び基準オブジェクトＢＯ又はサブオブジェクト上に配置された複数の仮想オブジェクトＶＯを表示させる。
【0121】
管理部１１３Ａは、基準オブジェクトＢＯと、基準オブジェクトＢＯ上に配置されているサブオブジェクトと、基準オブジェクトＢＯ上に配置されている仮想オブジェクトとを管理する。
【0122】
移動制御部１１５Ａは、仮想空間ＶＳにおいて、基準オブジェクトＢＯのユーザＵ１を中心とする回転に合わせて、サブオブジェクト及び仮想オブジェクトＶＯを移動させる。
【0123】
記憶装置１２Ａは、処理装置１１Ａが実行する制御プログラムＰＲ４及び初期座標テーブルＴＢＬ２を含む各種のデータを記憶している。また、記憶装置１２Ａは、処理装置１１Ａのワークエリアとして機能する。
【0124】
図１２は、仮想空間内の基準オブジェクト、サブオブジェクト、及び仮想オブジェクトの模式図である。図１２に示されるように、仮想空間ＶＳは、基準オブジェクトＢＯ、サブオブジェクトＳＯ、及び仮想オブジェクトＶＯを含んでいる。基準オブジェクトＢＯは、仮想空間ＶＳにおいて、ユーザＵ１を中心とする球面を示している。基準オブジェクトＢＯは、透明なオブジェクトである。サブオブジェクトＳＯは、球体状のオブジェクトである。サブオブジェクトＳＯは、サブオブジェクトＳＯ１～ＳＯ４を含んでいる。
【0125】
仮想オブジェクトＶＯは、仮想オブジェクトＶＯ１～ＶＯ５を含んでいる。仮想オブジェクトＶＯ１は、サブオブジェクトＳＯ１に配置されている。仮想オブジェクトＶＯ２は、サブオブジェクトＳＯ２に配置されている。仮想オブジェクトＶＯ３は、サブオブジェクトＳＯ３に配置されている。仮想オブジェクトＶＯ４は、基準オブジェクトＢＯに配置されている。仮想オブジェクトＶＯ５は、サブオブジェクトＳＯ４に配置されている。
【0126】
ユーザＵ１は、頭部にＭＲグラス２０を装着し、端末装置１０Ａを把持している。端末装置１０Ａの中心軸Ａ２と基準オブジェクトＢＯとの交点、中心軸Ａ２とサブオブジェクトＳＯとの交点、又は中心軸Ａ２と仮想オブジェクトＶＯとの交点は、以下、指示点Ｐ２と称される。
【0127】
図１３は、図１２のサブオブジェクトＳＯのより詳細な模式図である。図１２には、仮想オブジェクトＶＯ１が示されていたが、実際には、図１３に示されるように、サブオブジェクトＳＯ１には、仮想オブジェクトＶＯ１として６つの仮想オブジェクトＶＯ１１～ＶＯ１６がサブオブジェクトＳＯ１の周方向に配置されている。本例において、６つの仮想オブジェクトＶＯ１１～ＶＯ１６は、同一のアプリケーションについてのオブジェクトである。ユーザＵ１は、端末装置１０Ａを操作して、サブオブジェクトＳＯ１をその場において回転させることにより、仮想オブジェクトＶＯ１１～ＶＯ１６のそれぞれをユーザＵ１の正面に移動させることができる。
【0128】
管理部１１３Ａは、例えば、同一のアプリケーションについて、複数の異なるウィンドウがそれぞれ仮想オブジェクトＶＯとして基準オブジェクトＢＯ上に表示されたとき、球体状のサブオブジェクトＳＯを生成する。そして、管理部１１３Ａは、当該複数の異なるウィンドウにそれぞれ対応する仮想オブジェクトＶＯをサブオブジェクトＳＯ内に配置する。
【0129】
また、管理部１１３Ａは、互いに異なる２つのアプリケーションについての仮想オブジェクトＶＯであっても、以下のユーザＵ１の操作により、１つのサブオブジェクトＳＯ内に配置することができる。基準オブジェクトＢＯ上の１つの仮想オブジェクトＶＯがユーザＵ１により選択された後、基準オブジェクトＢＯ上のもう１つの仮想オブジェクトＶＯの上までドラッグされた場合、２つの仮想オブジェクトＶＯをその内部に包含するサブオブジェクトＳＯが生成される。
【0130】
図１４は、初期座標テーブルＴＢＬ２のデータ構造の一例を示す説明図である。以下、図１４を参照することにより、管理部１１３ＡにおけるサブオブジェクトＳＯの管理について、より詳細に説明する。図１４の初期座標テーブルＴＢＬ２は、記憶装置１２Ａに記憶されている。初期座標テーブルＴＢＬ２には、サブオブジェクトＳＯ１～ＳＯ４にそれぞれ割り振られたＩＤと、サブオブジェクトＳＯ１～ＳＯ４がそれぞれ配置される位置の初期値との関係が規定されている。
【0131】
サブオブジェクトＳＯ１～ＳＯ４は、球面状の基準オブジェクトＢＯ上に配置される。そこで、図１４の初期座標テーブルＴＢＬ２において、サブオブジェクトＳＯ１～ＳＯ４が配置される位置の座標は、ユーザＵ１を原点とする三次元極座標（ｒ，θ，φ）により定義されている。
【0132】
処理装置１１Ａは、初期座標テーブルＴＢＬ２を参照することにより、サブオブジェクトＳＯ１～ＳＯ４を基準オブジェクトＢＯ上の何れの位置に配置できるかを把握できる。初期座標テーブルＴＢＬ２によれば、ＩＤ「００１」のサブオブジェクトの初期座標は（３００，ｋｋｋ，ｌｌｌ）であることが把握される。この場合、ＩＤ「００１」のサブオブジェクトの初期位置は、半径ｒ、即ち、ユーザＵ１からの距離が３００、仰角θがｋｋｋ、方位角φがｌｌｌの位置である。
【0133】
移動制御部１１５Ａは、ユーザＵ１の第５操作に応じて、サブオブジェクトＳＯ１～ＳＯ４のうち、１つのサブオブジェクトＳＯを選択する。例として、サブオブジェクトＳＯ１を選択する場合を考える。この場合、第５操作は、端末装置１０Ａの中心軸Ａ２をサブオブジェクトＳＯ１の領域のうち、仮想オブジェクトＶＯ１１～ＶＯ１６が配置されていない領域に向けた状態において、入力装置１５に対して所定の操作を行う操作である。所定の操作としては、例えば、ダブルタップが挙げられる。
【0134】
ユーザＵ１による第５操作の後、移動制御部１１５Ａは、ユーザＵ１の第６操作に応じて、サブオブジェクトＳＯ１を回転させる。第６操作は、第５操作の後において、サブオブジェクトＳＯ１を回転させたい方向、即ち、右方向又は左方向に中心軸Ａ２の指示点Ｐ２を移動させる操作である。第５操作及び第６操作により、ユーザＵ１は、サブオブジェクトＳＯ１内の複数の仮想オブジェクトＶＯ１１～ＶＯ１６のうち、任意の仮想オブジェクトＶＯを閲覧することができる。
【0135】
移動制御部１１５Ａは、サブオブジェクトＳＯ１に配置されている仮想オブジェクトＶＯ１１～ＶＯ１６のうち、ユーザＵ１の第７操作に応じて選択された仮想オブジェクトＶＯ１１を、サブオブジェクトＳＯ１から取り出して基準オブジェクトＢＯ上に配置する。第７操作は、以下の選択操作の後、以下のドラッグ操作を実行する操作である。選択操作は、中心軸Ａ２の指示点Ｐ２がサブオブジェクトＳＯ１内の仮想オブジェクトＶＯ１１上に位置している状態において、ユーザＵ１が入力装置１５に所定の操作を行うことにより仮想オブジェクトＶＯ１１を選択する操作である。ドラッグ操作は、仮想オブジェクトＶＯ１を基準オブジェクトＢＯ上の移動させたい位置までドラッグする操作である。ここでは、サブオブジェクトＳＯ１の中の仮想オブジェクトＶＯ１１を例に説明したが、選択される仮想オブジェクトＶＯは、これに限定されない。
【0136】
また、サブオブジェクトＳＯ１～ＳＯ４は、第１実施形態の仮想空間ＶＳにおける仮想オブジェクトＶＯ１～ＶＯ５と同様に、ユーザＵ１による以下の第８操作に応じて、ユーザＵ１を中心に、まとめて移動させることができる。
【0137】
特定部１１４Ａは、ユーザＵ１の第８操作に応じて、基準オブジェクトＢＯにおいて、基準点ＳＰを特定する。基準点ＳＰは、基準オブジェクトＢＯにおいて、サブオブジェクトＳＯ１～ＳＯ４及び仮想オブジェクトＶＯ１～ＶＯ５が配置されていない点である。第８操作は、例えば、次のようにユーザＵ１により実行される操作である。ユーザＵ１は端末装置１０Ａの中心軸Ａ２をサブオブジェクトＳＯ１～ＳＯ４及び仮想オブジェクトＶＯ１～ＶＯ５が配置されていない領域に向けた状態において、入力装置１５に対して所定の操作を実行する。これにより、図１２に示した例では、指示点Ｐ２が基準点ＳＰとして特定される。
【0138】
ユーザＵ１による第８操作の後、前述の第２操作が実行されることにより、サブオブジェクトＳＯ１～ＳＯ４は、互いの相対的な位置関係を維持したままユーザＵ１を中心として回転する。
【0139】
図１５は、図１１の処理装置１１Ａの第１の動作を示すフローチャートである。以下、図１５を参照することにより、処理装置１１Ａの第１の動作について説明する。図１５のルーチンは、例えば、処理装置１１Ａが起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
【0140】
ステップＳ１１において、処理装置１１Ａは、取得部１１１として機能することにより、操作情報を取得する。
【0141】
ステップＳ３１において、処理装置１１Ａは、表示制御部１１２Ａとして機能することにより、基準オブジェクトＢＯ上又はサブオブジェクトＳＯ１～ＳＯ４上に仮想オブジェクトＶＯ１～ＶＯ５を表示する。
【0142】
ステップＳ３２において、処理装置１１Ａは、移動制御部１１５Ａとして機能することにより、ユーザＵ１によって第５操作が行われたか否かを判定する。
【0143】
ステップＳ３２において、処理装置１１Ａが、ユーザＵ１によって第５操作が行われたと判定した場合、即ち、ステップＳ３２における判定結果が肯定的であった場合、処理装置１１Ａは、ステップＳ３３の処理を実行する。この場合、ステップＳ３３において、処理装置１１Ａは、移動制御部１１５Ａとして機能することにより、サブオブジェクトＳＯ１～ＳＯ４のうち、1つのサブオブジェクトＳＯを選択する。
【0144】
ステップＳ３４において、処理装置１１Ａは、移動制御部１１５Ａとして機能することにより、ユーザＵ１によって第６操作が行われたか否かを判定する。
【0145】
ステップＳ３４において、処理装置１１Ａが、ユーザＵ１によって第６操作が行われたと判定した場合、即ち、ステップＳ３４における判定結果が肯定的であった場合、処理装置１１Ａは、ステップＳ３５の処理を実行する。この場合、ステップＳ３５において、処理装置１１Ａは、移動制御部１１５Ａとして機能することにより、選択された１つのサブオブジェクトＳＯを回転させ、本ルーチンを一旦終了する。
【0146】
一方、ステップＳ３２において、処理装置１１Ａが、ユーザＵ１によって第５操作が行われなかったと判定した場合、即ち、ステップＳ３２における判定結果が否定的であった場合、処理装置１１Ａは、ステップＳ３３の処理を省略してステップＳ３４の処理を実行する。
【0147】
また、ステップＳ３４において、処理装置１１Ａが、ユーザＵ１によって第６操作が行われなかったと判定した場合、即ち、ステップＳ３４における判定結果が否定的であった場合、処理装置１１Ａは、ステップＳ３５の処理を省略して本ルーチンを一旦終了する。
【0148】
図１６は、図１１の処理装置１１Ａの第２の動作を示すフローチャートである。以下、図１６を参照することにより、処理装置１１Ａの第２の動作について説明する。図１６のルーチンは、例えば、処理装置１１Ａが起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
【0149】
ステップＳ１１において、処理装置１１Ａは、取得部１１１として機能することにより、操作情報を取得する。
【0150】
ステップＳ３１において、処理装置１１Ａは、表示制御部１１２Ａとして機能することにより、基準オブジェクトＢＯ上又はサブオブジェクトＳＯ１～ＳＯ４上に仮想オブジェクトＶＯ１～ＶＯ５を配置する。
【0151】
ステップＳ４１において、処理装置１１Ａは、移動制御部１１５Ａとして機能することにより、ユーザＵ１によって第７操作が行われたか否かを判定する。
【0152】
ステップＳ４１において、処理装置１１Ａが、ユーザＵ１によって第７操作が行われたと判定した場合、即ち、ステップＳ４１における判定結果が肯定的であった場合、処理装置１１Ａは、ステップＳ４２の処理を実行する。この場合、ステップＳ４２において、処理装置１１Ａは、移動制御部１１５Ａとして機能することにより、選択された１つのサブオブジェクトＳＯ上の仮想オブジェクトＶＯを基準オブジェクトＢＯ上に配置し、本ルーチンを一旦終了する。
【0153】
一方、ステップＳ４１において、処理装置１１Ａが、ユーザＵ１によって第７操作が行われなかったと判定した場合、即ち、ステップＳ４１における判定結果が否定的であった場合、処理装置１１Ａは、ステップＳ４２の処理を省略して本ルーチンを一旦終了する。
【0154】
なお、上記例において、ユーザＵ１は、サブオブジェクトＳＯ１内の１つの仮想オブジェクトＶＯ１を選択し、仮想オブジェクトＶＯ１のみを基準オブジェクトＢＯに移動させる。しかし、これだけでなく、ユーザＵ１は、サブオブジェクトＳＯ１内の複数の仮想オブジェクトＶＯを同時に選択し、複数の仮想オブジェクトＶＯをまとめて基準オブジェクトＢＯに移動させてもよい。
【0155】
２．３．第２実施形態が奏する効果
以上の説明によれば、第２実施形態に係る処理装置１１Ａにおいて、第１実施形態に係る処理装置１１に対して、仮想空間ＶＳは、基準オブジェクトＢＯ上に配置されたサブオブジェクトＳＯを更に含んでいる。サブオブジェクトＳＯは、球体状であり、１又は複数の仮想オブジェクトＶＯを含んでいる。移動制御部１１５Ａは、ユーザＵ１の第５操作に応じて、サブオブジェクトＳＯ１～ＳＯ４のうち、１つのサブオブジェクトＳＯ１を選択し、ユーザＵ１の第６操作に応じて、１つのサブオブジェクトＳＯ１を回転させる。
以上の説明によれば、第２実施形態に係る処理装置１１Ａにおいて、第１実施形態に係る処理装置１１に対して、仮想空間ＶＳは、基準オブジェクトＢＯ上に配置されたサブオブジェクトＳＯを更に含んでいる。サブオブジェクトＳＯは、球体状であり、１又は複数の仮想オブジェクトＶＯを含んでいる。移動制御部１１５Ａは、ユーザＵ１の第５操作に応じて、サブオブジェクトＳＯ１～ＳＯ４のうち、１つのサブオブジェクトＳＯ１を選択し、ユーザＵ１の第６操作に応じて、１つのサブオブジェクトＳＯ１を回転させる。
【0156】
これによれば、ユーザＵ１は、１つのサブオブジェクトを回転させることにより、当該サブオブジェクト上の複数の仮想オブジェクトのうち、任意の仮想オブジェクトを、ユーザＵ１が閲覧可能な位置に容易に移動させることができる。
【0157】
また、第２実施形態に係る処理装置１１Ａにおいて、第１実施形態に係る処理装置１１に対して、仮想空間ＶＳは、基準オブジェクトＢＯ上に配置されたサブオブジェクトＳＯを更に含んでいる。サブオブジェクトＳＯは、球体状であり、１又は複数の仮想オブジェクトＶＯを含んでいる。移動制御部１１５Ａは、サブオブジェクトＳＯ１に配置されている仮想オブジェクトＶＯ１１～ＶＯ１６のうち、ユーザＵ１の第７操作に応じて選択された仮想オブジェクトＶＯ１１を、サブオブジェクトＳＯ１から取り出して基準オブジェクトＢＯ上に配置する。
【0158】
これによれば、ユーザＵ１は１又は複数の仮想オブジェクトＶＯをサブオブジェクトＳＯから基準オブジェクトＢＯへ容易に移動することができる。更に、ユーザＵ１は、サブオブジェクトＳＯ内の複数の仮想オブジェクトＶＯをまとめて移動することができる。
【0159】
３．変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を組み合わせてもよい。
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を組み合わせてもよい。
【0160】
３．１．変形例１
第１実施形態に係る処理装置１１において、仮想オブジェクトＶＯは、基準オブジェクト上に配置され、第２実施形態に係る処理装置１１Ａにおいて、仮想オブジェクトＶＯ及びサブオブジェクトＳＯは、基準オブジェクトＢＯ上に配置されていた。しかし、基準オブジェクトＢＯ上に配置されない仮想オブジェクトＶＯ及びサブオブジェクトＳＯが存在してもよい。例えば、基準オブジェクトＢＯ上に配置されていない仮想オブジェクトＶＯ及びサブオブジェクトＳＯは、基準オブジェクトＢＯの回転に追従することなく、その位置が固定されればよい。
第１実施形態に係る処理装置１１において、仮想オブジェクトＶＯは、基準オブジェクト上に配置され、第２実施形態に係る処理装置１１Ａにおいて、仮想オブジェクトＶＯ及びサブオブジェクトＳＯは、基準オブジェクトＢＯ上に配置されていた。しかし、基準オブジェクトＢＯ上に配置されない仮想オブジェクトＶＯ及びサブオブジェクトＳＯが存在してもよい。例えば、基準オブジェクトＢＯ上に配置されていない仮想オブジェクトＶＯ及びサブオブジェクトＳＯは、基準オブジェクトＢＯの回転に追従することなく、その位置が固定されればよい。
【0161】
３．２．変形例２
第１実施形態に係る処理装置１１において、ユーザＵ１の第４操作により、基準オブジェクトＢＯ上において、選択された仮想オブジェクトＶＯを移動させていた。しかし、仮想オブジェクトＶＯは、基準オブジェクトＢＯ上と、基準オブジェクトＢＯ上ではない仮想空間ＶＳ内との間で移動させてもよい。
第１実施形態に係る処理装置１１において、ユーザＵ１の第４操作により、基準オブジェクトＢＯ上において、選択された仮想オブジェクトＶＯを移動させていた。しかし、仮想オブジェクトＶＯは、基準オブジェクトＢＯ上と、基準オブジェクトＢＯ上ではない仮想空間ＶＳ内との間で移動させてもよい。
【0162】
３．３．変形例３
また、第２実施形態に係る移動制御部１１５Ａにおいて、ユーザＵ１の第７操作に応じて選択された仮想オブジェクトＶＯ１は、サブオブジェクトＳＯ１から取り出されて基準オブジェクトＢＯ上に配置されていた。しかし、本発明の実施態様は、これに限定されない。例えば、移動制御部１１５Ａは、ユーザＵ１の第９操作に応じて、サブオブジェクトＳＯ１に配置されている仮想オブジェクトＳＯ１１～ＳＯ１６を、すべて基準オブジェクトＢＯ上に配置してもよい。
また、第２実施形態に係る移動制御部１１５Ａにおいて、ユーザＵ１の第７操作に応じて選択された仮想オブジェクトＶＯ１は、サブオブジェクトＳＯ１から取り出されて基準オブジェクトＢＯ上に配置されていた。しかし、本発明の実施態様は、これに限定されない。例えば、移動制御部１１５Ａは、ユーザＵ１の第９操作に応じて、サブオブジェクトＳＯ１に配置されている仮想オブジェクトＳＯ１１～ＳＯ１６を、すべて基準オブジェクトＢＯ上に配置してもよい。
【0163】
第９操作は、以下の選択操作の後、以下のスワイプ操作を実行する操作である。選択操作は、中心軸Ａ２の指示点Ｐ２が、サブオブジェクトＳＯ１内のうち、仮想オブジェクトＶＯ１１～ＶＯ１６が存在しない領域に位置している状態において、ユーザＵ１が入力装置１５に所定の操作を行うことによりサブオブジェクトＳＯ１を選択する操作である。スワイプ操作は、選択操作に続いて、サブオブジェクトＳＯ１を、例えば、下方向にスワイプする操作である。スワイプ操作により、仮想オブジェクトＶＯ１１～ＶＯ１６は、すべて基準オブジェクトＢＯ上に配置される。これにより、仮想オブジェクトを含まないこととなったサブオブジェクトＳＯ１は、仮想空間ＶＳ内から削除されてもよいし、何も含まない状態で基準オブジェクトＢＯ上に配置されていてもよい。
【0164】
３．４．変形例４
図６及び図１１には示されていないが、端末装置１０及び１０Ａは、ＭＲグラス２０が備えているＧＰＳ装置２４と同様のＧＰＳ装置を備えていてもよい。この場合、取得された位置情報は、処理装置１１又は１１Ａへ出力される。処理装置１１又は１１Ａへ出力された位置情報は、通信装置１３を介して、ＭＲグラス２０へ出力される。従って、この場合、ＭＲグラス２０は、ＧＰＳ装置２４を備えていなくてもよい。
図６及び図１１には示されていないが、端末装置１０及び１０Ａは、ＭＲグラス２０が備えているＧＰＳ装置２４と同様のＧＰＳ装置を備えていてもよい。この場合、取得された位置情報は、処理装置１１又は１１Ａへ出力される。処理装置１１又は１１Ａへ出力された位置情報は、通信装置１３を介して、ＭＲグラス２０へ出力される。従って、この場合、ＭＲグラス２０は、ＧＰＳ装置２４を備えていなくてもよい。
【0165】
３．５．変形例５
また、第１実施形態及び第２実施形態において、仮想空間ＶＳに対するユーザＵ１の操作は、端末装置１０及び１０Ａの姿勢を変更させる動作及び入力装置１５への入力動作により行われる。しかし、仮想空間ＶＳに対するユーザＵ１の操作は、ＭＲグラス２０に対するユーザＵ１の目視であってもよい。ユーザＵ１の操作が目視である場合、操作情報は、ＭＲグラス２０におけるユーザＵ１の視点である。この場合、操作情報は、ＭＲグラス２０から端末装置１０又は１０Ａへ送信される。例えば、上述の第１操作は、仮想空間ＶＳ内のうち、仮想オブジェクトＶＯ１～ＶＯ５が配置されていない部分の任意の一点をユーザＵ１が所定期間注視する操作であってもよい。
また、第１実施形態及び第２実施形態において、仮想空間ＶＳに対するユーザＵ１の操作は、端末装置１０及び１０Ａの姿勢を変更させる動作及び入力装置１５への入力動作により行われる。しかし、仮想空間ＶＳに対するユーザＵ１の操作は、ＭＲグラス２０に対するユーザＵ１の目視であってもよい。ユーザＵ１の操作が目視である場合、操作情報は、ＭＲグラス２０におけるユーザＵ１の視点である。この場合、操作情報は、ＭＲグラス２０から端末装置１０又は１０Ａへ送信される。例えば、上述の第１操作は、仮想空間ＶＳ内のうち、仮想オブジェクトＶＯ１～ＶＯ５が配置されていない部分の任意の一点をユーザＵ１が所定期間注視する操作であってもよい。
【0166】
３．６．変形例６
また、第１実施形態に係る情報処理システム１において、端末装置１０とＭＲグラス２０とは別体として実現されている。第２実施形態に係る情報処理システム１Ａにおいても同様に、端末装置１０ＡとＭＲグラス２０とは別体として実現されている。しかし、本発明の実施形態における端末装置１０又は１０Ａ、及びＭＲグラス２０の実現方法は、これには限定されない。例えば、ＭＲグラス２０が、端末装置１０又は１０Ａと同一の機能を備えることにより、端末装置１０又は１０Ａと、ＭＲグラス２０とが単一の筐体内で実現されてもよい。
また、第１実施形態に係る情報処理システム１において、端末装置１０とＭＲグラス２０とは別体として実現されている。第２実施形態に係る情報処理システム１Ａにおいても同様に、端末装置１０ＡとＭＲグラス２０とは別体として実現されている。しかし、本発明の実施形態における端末装置１０又は１０Ａ、及びＭＲグラス２０の実現方法は、これには限定されない。例えば、ＭＲグラス２０が、端末装置１０又は１０Ａと同一の機能を備えることにより、端末装置１０又は１０Ａと、ＭＲグラス２０とが単一の筐体内で実現されてもよい。
【0167】
３．７．変形例７
また、第１実施形態に係る情報処理システム１及び第２実施形態に係る情報処理システム１Ａにおいて、基準オブジェクトＢＯは透明なオブジェクトに設定されており、ユーザＵ１は、基準オブジェクトＢＯを透かして外界を視認できるようになっている。しかし、本発明の実施形態における情報処理システム１又は１Ａの実現方法は、これに限定されない。例えば、情報処理システムは、ＶＲゴーグルを装着したユーザに対して、不透明な基準オブジェクトを提供してもよい。
また、第１実施形態に係る情報処理システム１及び第２実施形態に係る情報処理システム１Ａにおいて、基準オブジェクトＢＯは透明なオブジェクトに設定されており、ユーザＵ１は、基準オブジェクトＢＯを透かして外界を視認できるようになっている。しかし、本発明の実施形態における情報処理システム１又は１Ａの実現方法は、これに限定されない。例えば、情報処理システムは、ＶＲゴーグルを装着したユーザに対して、不透明な基準オブジェクトを提供してもよい。
【0168】
４．その他
（１）上述した実施形態では、記憶装置１２、記憶装置１２Ａ、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（１）上述した実施形態では、記憶装置１２、記憶装置１２Ａ、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
【0169】
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0170】
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0171】
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0172】
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0173】
（６）図１～図２９に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0174】
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0175】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0176】
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0177】
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0178】
（１０）上述した実施形態において、端末装置１０、端末装置１０Ａ、及びサーバ３０は、移動局（ＭＳ：Mobile Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」等の用語は、互換的に使用され得る。
【0179】
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0180】
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0181】
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0182】
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0183】
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0184】
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0185】
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0186】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
【符号の説明】
【0187】
１，１Ａ…情報処理システム、１０，１０Ａ…端末装置、１１，１１Ａ…処理装置、２８…ディスプレイ、３０…サーバ、１１１…取得部、１１２，１１２Ａ…表示制御部、１１３，１１３Ａ…管理部、１１４，１１４Ａ…特定部、１１５，１１５Ａ…移動制御部、１１６…選択部、ＢＯ…基準オブジェクト、ＩＦ…画像情報、ＳＯ，ＳＯ１～ＳＯ４…サブオブジェクト、ＳＰ…基準点、Ｕ１…ユーザ、ＶＯ，ＶＯ１～ＶＯ６，ＶＯ１１～１６…仮想オブジェクト、ＶＳ…仮想空間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】