(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】情報処理装置、表示装置、情報処理システムおよびプログラム
(51)【国際特許分類】
G06F 3/0484 20220101AFI20240918BHJP
【ＦＩ】
G06F3/0484
【請求項の数】
11
(21)【出願番号】P 2020156605
(22)【出願日】2020-09-17
(65)【公開番号】P2022050162
(43)【公開日】2022-03-30
【審査請求日】2023-08-30
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】佐々木 裕丈
【審査官】塚田 肇
(56)【参考文献】
【文献】国際公開第２０２０／１１０２７０（ＷＯ，Ａ１）
【文献】特表２０１７－５００６７３（ＪＰ，Ａ）
【文献】特開２０１７－１１７００８（ＪＰ，Ａ）
【文献】特開２０１４－１６４４４９（ＪＰ，Ａ）
【文献】国際公開第２０１７／１４５４２３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１，３／０４８－３／０４８９５
(57)【特許請求の範囲】
【請求項1】
プロセッサを備え、前記プロセッサは、
仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、
前記複数のオブジェクトからオブジェクト群を抽出し、
前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、
前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する
ことを特徴とする情報処理装置。
【請求項2】
プロセッサを備え、前記プロセッサは、
仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、
前記複数のオブジェクトからオブジェクト群を抽出し、
前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、
前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定し、
前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示し、
前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定し、
特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する
ことを特徴とする情報処理装置。
【請求項3】
前記案内オブジェクトは、線および面の少なくとも一方として表示されることを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記オブジェクト群の仮想空間内の位置とユーザの視野との関係により、特定した前記一のオブジェクトの表示態様を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記表示態様の変更は、特定した前記一のオブジェクトの位置を移動して表示するときの方向であることを特徴とする請求項１に記載の情報処理装置。
【請求項6】
前記プロセッサは、前記オブジェクト群を構成するオブジェクトの仮想空間内の姿勢により、特定した前記一のオブジェクトの姿勢を変化させて表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項7】
仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトと、を表示し、前記操作オブジェクトの仮想空間内の操作に応じ、前記複数のオブジェクトから抽出されたオブジェクト群の中から特定された一のオブジェクトを、当該オブジェクト群の当該仮想空間内の位置と前記ユーザの頭部の位置との関係により、当該一のオブジェクトの表示態様を変更して表示することで、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する表示装置。
【請求項8】
プロセッサを備え、前記プロセッサは、
仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、
前記複数のオブジェクトからオブジェクト群を抽出し、
前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、
前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する
ことを特徴とする情報処理システム。
【請求項9】
仮想空間を表示する表示装置と、前記表示装置で表示する仮想空間の表示情報を作成する情報処理装置と、
を備え、
前記情報処理装置は、プロセッサを備え、
前記プロセッサは、
仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、
前記複数のオブジェクトからオブジェクト群を抽出し、
前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、
前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定し、
前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示し、
前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定し、
特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する
ことを特徴とする情報処理システム。
【請求項10】
コンピュータに、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示する機能と、
前記複数のオブジェクトからオブジェクト群を抽出する機能と、
前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定する機能と、
前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する機能と、
を実現させるためのプログラム。
【請求項11】
コンピュータに、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示する機能と、
前記複数のオブジェクトからオブジェクト群を抽出する機能と、
前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定する機能と、
前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定する機能と、
前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示する機能と、
前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定する機能と、
特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、表示装置、情報処理システム、プログラムに関する。
【背景技術】
【0002】
従来より、仮想空間をコンピュータにより作り出し、この仮想空間内でユーザが行動する体験ができる仮想現実（ＶＲ：Virtual Reality）のような空間拡張技術が存在する。また、空間拡張技術には、ディスプレイ等に、実在する現実空間に仮想空間を重ね合わせる拡張現実（ＡＲ：Augmented Reality）や、現実空間と仮想空間とを混合し、現実のものと仮想的なものがリアルタイムで影響しあう複合現実（ＭＲ：Mixed Reality）なども存在する。
【0003】
特許文献１には、ポインティング操作において、ポインタ移動中のピーク速度とその時点でのターゲットまでの距離に相関があり、ピーク速度からターゲットまでの距離を求め、ポインタ位置、方向とからターゲット位置を予測することで、ポインティング操作時に、ユーザがポインタを移動させたいオブジェクト位置を、システム側が操作完了前に予測できることにより、その場所に存在するアイコンが示すアプリケーションを起動し始める等して、作業時間を短縮できるシステムを構築することが記載されている。
【0004】
また、特許文献２には、コンピュータグラフィックス及びポインタを表示させた画面上において、ユーザからの所定の操作入力に応じて、ポインタの表示位置近傍に操作メニューを表示することが記載されている。そして、この操作メニューより所望の項目を指示することにより、操作指示が行なわれる。ここで、操作メニューは、項目を表示するための複数の項目領域をポインタの指示位置を取り巻くように該表示位置の周囲に配置し、複数の項目領域とポインタの表示位置の間が空洞になっている、環形状を有する。
【0005】
さらに、特許文献３には、情報処理装置は、頭部装着型表示装置を装着したユーザの頭部の位置姿勢を検出する第一の検出手段と、ユーザの視野範囲内に存在することが記載されている。情報処理装置は、タスクの実行に用いられる入力装置を識別する第一の識別手段と、ユーザの視野範囲内に存在する、ユーザが入力装置を操作するための操作媒体を識別する第二の識別手段と、ユーザの頭部の位置姿勢に基づいて、ユーザの視点位置から入力装置までの第一距離を検出する第二の検出手段と、ユーザの頭部の位置姿勢に基づいて、ユーザの視点位置から操作媒体までの第二距離を検出する第三の検出手段と、第一距離と第二距離とに基づいて、実行すべきタスクを判別する判別手段と、を備える。
【先行技術文献】
【特許文献】
【0006】
【文献】特表２００５－３５２７３８号公報
【文献】特開２００５－１０７９６３号公報
【文献】特開２０１７－５９０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
仮想空間内で、複数のオブジェクトを表示し、この中からユーザが一のオブジェクトを選択しようとするときに、複数のオブジェクトが仮想空間内で近接して配置されていると、ユーザが意図したオブジェクトとは異なるオブジェクトが選択されてしまう場合がある。そのため、ユーザが意図したオブジェクトを選択するためには、オブジェクトの位置を正確に指定するなど、細かい操作が必要になるときがある。
本発明は、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理装置等を提供することを目的とする。
本発明は、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理装置である。
請求項２に記載の発明は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定し、前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示し、前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定し、特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理装置である。
請求項３に記載の発明は、前記案内オブジェクトは、線および面の少なくとも一方として表示されることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記オブジェクト群の仮想空間内の位置とユーザの視野との関係により、特定した前記一のオブジェクトの表示態様を変更することを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記表示態様の変更は、特定した前記一のオブジェクトの位置を移動して表示するときの方向であることを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記オブジェクト群を構成するオブジェクトの仮想空間内の姿勢により、特定した前記一のオブジェクトの姿勢を変化させて表示させることを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトと、を表示し、前記操作オブジェクトの仮想空間内の操作に応じ、前記複数のオブジェクトから抽出されたオブジェクト群の中から特定された一のオブジェクトを、当該オブジェクト群の当該仮想空間内の位置と前記ユーザの頭部の位置との関係により、当該一のオブジェクトの表示態様を変更して表示することで、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する表示装置である。
請求項８に記載の発明は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理システムである。
請求項９に記載の発明は、仮想空間を表示する表示装置と、前記表示装置で表示する仮想空間の表示情報を作成する情報処理装置と、を備え、前記情報処理装置は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定し、前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示し、前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定し、特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理システムである。
請求項１０に記載の発明は、コンピュータに、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示する機能と、前記複数のオブジェクトからオブジェクト群を抽出する機能と、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定する機能と、前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する機能と、を実現させるためのプログラムである。
請求項１１に記載の発明は、コンピュータに、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示する機能と、前記複数のオブジェクトからオブジェクト群を抽出する機能と、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定する機能と、前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定する機能と、前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示する機能と、前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定する機能と、特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定し、前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示し、前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定し、特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理装置である。
請求項３に記載の発明は、前記案内オブジェクトは、線および面の少なくとも一方として表示されることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記オブジェクト群の仮想空間内の位置とユーザの視野との関係により、特定した前記一のオブジェクトの表示態様を変更することを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記表示態様の変更は、特定した前記一のオブジェクトの位置を移動して表示するときの方向であることを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記オブジェクト群を構成するオブジェクトの仮想空間内の姿勢により、特定した前記一のオブジェクトの姿勢を変化させて表示させることを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトと、を表示し、前記操作オブジェクトの仮想空間内の操作に応じ、前記複数のオブジェクトから抽出されたオブジェクト群の中から特定された一のオブジェクトを、当該オブジェクト群の当該仮想空間内の位置と前記ユーザの頭部の位置との関係により、当該一のオブジェクトの表示態様を変更して表示することで、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する表示装置である。
請求項８に記載の発明は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理システムである。
請求項９に記載の発明は、仮想空間を表示する表示装置と、前記表示装置で表示する仮想空間の表示情報を作成する情報処理装置と、を備え、前記情報処理装置は、プロセッサを備え、前記プロセッサは、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示し、前記複数のオブジェクトからオブジェクト群を抽出し、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定し、前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定し、前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示し、前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定し、特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示することを特徴とする情報処理システムである。
請求項１０に記載の発明は、コンピュータに、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示する機能と、前記複数のオブジェクトからオブジェクト群を抽出する機能と、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定する機能と、前記オブジェクト群の仮想空間内の位置とユーザの頭部の位置との関係により、特定した前記一のオブジェクトの表示態様を変更することで、当該一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する機能と、を実現させるためのプログラムである。
請求項１１に記載の発明は、コンピュータに、仮想空間内に、複数のオブジェクトと、ユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトとを表示する機能と、前記複数のオブジェクトからオブジェクト群を抽出する機能と、前記操作オブジェクトの仮想空間内の操作に応じ、前記オブジェクト群の中から一のオブジェクトを特定する機能と、前記ユーザが前記オブジェクト群の中から前記一のオブジェクトの選択を行うときに、前記操作オブジェクトの仮想空間内の移動を案内する案内領域を設定する機能と、前記操作オブジェクトの仮想空間内の移動を案内する前記案内領域としてのオブジェクトであって、前記オブジェクト群を構成するオブジェクトの個数で区切られたそれぞれの区間が当該オブジェクトの何れかに対応している案内オブジェクトをさらに表示する機能と、前記区間の中で、前記操作オブジェクトに最も近い区間に対応する前記オブジェクトを前記一のオブジェクトとして特定する機能と、特定した前記一のオブジェクトを、当該一のオブジェクト以外の他のオブジェクトに対し識別可能に表示する機能と、を実現させるためのプログラムである。
【発明の効果】
【0009】
請求項１の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理装置を提供することができる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項２の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理装置を提供することができる。また、ユーザがオブジェクトの選択を行う際に、入力装置の操作がより容易になる。また、ユーザが、案内領域を案内オブジェクトとして、視覚的に把握することができる。また、一のオブジェクトの特定が、より容易になる。
請求項３の発明によれば、ユーザにより認識しやすい案内オブジェクトを表示することができる。
請求項４～６の発明によれば、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項７の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる表示画面を表示する表示装置を提供することができる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項８の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理システムを提供することができる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項９の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理システムを提供することができる。また、ユーザがオブジェクトの選択を行う際に、入力装置の操作がより容易になる。また、ユーザが、案内領域を案内オブジェクトとして、視覚的に把握することができる。また、一のオブジェクトの特定が、より容易になる。
請求項１０の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる機能をコンピュータにより実現できる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項１１の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる機能をコンピュータにより実現できる。また、ユーザがオブジェクトの選択を行う際に、入力装置の操作がより容易になる。また、ユーザが、案内領域を案内オブジェクトとして、視覚的に把握することができる。また、一のオブジェクトの特定が、より容易になる。
請求項２の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理装置を提供することができる。また、ユーザがオブジェクトの選択を行う際に、入力装置の操作がより容易になる。また、ユーザが、案内領域を案内オブジェクトとして、視覚的に把握することができる。また、一のオブジェクトの特定が、より容易になる。
請求項３の発明によれば、ユーザにより認識しやすい案内オブジェクトを表示することができる。
請求項４～６の発明によれば、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項７の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる表示画面を表示する表示装置を提供することができる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項８の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理システムを提供することができる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項９の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる情報処理システムを提供することができる。また、ユーザがオブジェクトの選択を行う際に、入力装置の操作がより容易になる。また、ユーザが、案内領域を案内オブジェクトとして、視覚的に把握することができる。また、一のオブジェクトの特定が、より容易になる。
請求項１０の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる機能をコンピュータにより実現できる。また、ユーザが、一のオブジェクトを、より認識しやすくなる。
請求項１１の発明によれば、仮想空間内で複数のオブジェクトが互いに近接して配置されていても、ユーザが、意図するオブジェクトを容易に選択することができる機能をコンピュータにより実現できる。また、ユーザがオブジェクトの選択を行う際に、入力装置の操作がより容易になる。また、ユーザが、案内領域を案内オブジェクトとして、視覚的に把握することができる。また、一のオブジェクトの特定が、より容易になる。
【図面の簡単な説明】
【0010】
【図1】本実施の形態における情報処理システムの構成例を示す図である。
【図2】（ａ）～（ｃ）は、ドキュメントオブジェクトの選択が困難になる場合の例を示した図である。
【図3】本実施の形態における情報処理装置および表示装置の機能構成例を表すブロック図である。
【図4】情報処理システムの動作について説明したフローチャートである。
【図5】決定手段が、マーカーの位置により入力装置等の位置および姿勢を決定する処理について説明したフローチャートである。
【図8】（ａ）～（ｅ）は、特定手段が、操作オブジェクトの移動に応じ、一のドキュメントオブジェクトを特定し、他のドキュメントオブジェクトに対し順次移動させて表示する方法について示した図である。
【図9】（ａ）～（ｂ）は、案内オブジェクトの他の形態を示した図である。
【図10】（ａ）～（ｃ）は、特定されたドキュメントオブジェクトの移動する方向を変更する形態について示した図である。
【図11】（ａ）～（ｂ）は、ドキュメントオブジェクトが移動するときの距離について示した図である。
【図12】（ａ）～（ｂ）は、ドキュメントオブジェクトが移動するときに姿勢を変化させる場合について示した図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0012】
＜情報処理システム全体の説明＞
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示するように本実施の形態の情報処理システム１は、表示情報を作成する情報処理装置１０と、表示情報を基に表示画面２０ａに画像を表示する表示装置２０と、情報の入力を行う入力装置３０と、ユーザの頭部、表示装置２０および入力装置３０を撮影するカメラ４０とを備える。
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示するように本実施の形態の情報処理システム１は、表示情報を作成する情報処理装置１０と、表示情報を基に表示画面２０ａに画像を表示する表示装置２０と、情報の入力を行う入力装置３０と、ユーザの頭部、表示装置２０および入力装置３０を撮影するカメラ４０とを備える。
【0013】
情報処理装置１０は、表示装置２０の表示画面２０ａで表示する仮想現実空間（ＶＲ空間）の表示情報を作成する。詳しくは後述するが、表示装置２０の表示画面２０ａには、各種オブジェクトが表示される。表示されるオブジェクトは、例えば、ユーザの頭部を表すユーザ頭部オブジェクト、表示画面２０ａを表すディスプレイオブジェクト、入力装置３０を表す入力装置オブジェクト、ドキュメントを表すドキュメントオブジェクト、入力装置オブジェクトの移動を案内する案内オブジェクトなどである。なおここで、「ドキュメント」は、文字情報や画像情報を電子化した電子文書である。この電子文書は、情報処理システム１で扱うことができるものであれば、形式およびデータ構造等について特に限られるものではない。表示画面２０ａに表示されるオブジェクトは、現実空間に実在する必要はない、この場合、ユーザの頭部を表すユーザ頭部オブジェクト、表示画面２０ａを表すディスプレイオブジェクト、入力装置３０を表す入力装置オブジェクトは、現実空間に存在するが、ドキュメントを表すドキュメントオブジェクトは、現実空間に存在する必要はない。また、入力装置オブジェクトの移動を案内する案内オブジェクトは、現実空間には存在しない。
【0014】
また、情報処理装置１０は、現実空間において検出されたユーザの頭部の位置および姿勢の情報に基づき、ＶＲ空間内のユーザの頭部の位置および姿勢を算出し、ユーザ頭部オブジェクトを表示するために使用する。同様に、情報処理装置１０は、現実空間において検出され表示装置２０の位置および姿勢の情報に基づき、ＶＲ空間内の表示画面２０ａの位置および姿勢を算出し、ディスプレイオブジェクトを表示するために使用する。さらに、情報処理装置１０は、現実空間において検出された入力装置３０の位置および姿勢の情報に基づき、ＶＲ空間内の入力装置３０の位置および姿勢を算出し、入力装置オブジェクトを表示するために使用する。なおここで、「現実空間」とは、現実の世界における空間であり、「仮想現実空間（ＶＲ空間）」とは、コンピュータ上に構築された実世界を模した世界を表した３次元の空間である。
さらに、ドキュメントのオブジェクトは、任意の位置および姿勢でＶＲ空間内に配置することができ、さらにユーザの過去の操作の結果を反映することもでき、情報処理装置１０が、位置および姿勢を算出する。
さらに、ドキュメントのオブジェクトは、任意の位置および姿勢でＶＲ空間内に配置することができ、さらにユーザの過去の操作の結果を反映することもでき、情報処理装置１０が、位置および姿勢を算出する。
【0015】
情報処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、情報処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、本実施の形態の情報の処理等が行われるようになっている。
【0016】
情報処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）、記憶手段であるメインメモリ、およびＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージを備える。ここで、ＣＰＵは、プロセッサの一例であり、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
また、情報処理装置１０は、外部との通信を行うための通信インタフェースを備える。
また、情報処理装置１０は、外部との通信を行うための通信インタフェースを備える。
【0017】
表示装置２０は、上述したＶＲ空間を表示する。表示装置２０は、例えば、２眼のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）である。つまりユーザは、頭部にこのヘッドマウントディスプレイを装着し、そして、ヘッドマウントディスプレイ内部においてユーザの目前に配される表示画面２０ａにて表示される画像を見る。表示画面２０ａは、例えば液晶ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：organic electroluminescence display）など、画像を表示する機能を備えたもので構成される。
本実施の形態では、表示装置２０は、表示画面２０ａにドキュメントの閲覧や操作のためのＶＲ空間を表示する。また、この表示画面２０ａは、視差を提示でき、ユーザは奥行きなど３次元的にＶＲ空間を認識することができる。
本実施の形態では、表示装置２０は、表示画面２０ａにドキュメントの閲覧や操作のためのＶＲ空間を表示する。また、この表示画面２０ａは、視差を提示でき、ユーザは奥行きなど３次元的にＶＲ空間を認識することができる。
【0018】
入力装置３０は、ＶＲ空間に存在するオブジェクトを操作する。入力装置３０は、情報の入力を行えるものであれば、特に限られるものではない。また、入力装置３０は、物理的に存在する物体でもよいし、ユーザの手や指であってもよい。入力装置３０が、物理的に存在する物体の場合、入力装置３０は、例えば、マウス型、ペン型、キーボード型の入力デバイスである。入力装置３０が３次元の位置を検出できるマウス型の入力デバイスである場合、空間内を移動することで、カーソルの移動やボタンの選択などを行う。図では、ユーザが入力装置３０としてマウス型の入力デバイスを使用する場合を示している。また、入力装置３０がペン型の入力デバイスである場合、ユーザが手に持ち、ペンのように操作し、書き込みを行うことができる。形状は、ペン状であり、文字や図形を書くなどの情報の入力を行うことができる。ペン型の入力デバイスは、スタイラスペンなどであってもよく、ボールペン、鉛筆、万年筆など実際に筆記可能なペンであってもよい。さらに、キーボード型の入力デバイスは、押下することで情報の入力を行う複数のキーを有する。よって、キーボード型の入力装置３０は、実際のキーボードであってもよい。
入力装置３０が、ユーザの手や指である場合、マイクロソフト社のＫｉｎｅｃｔ（登録商標）等のように、ＲＧＢカメラ、深度センサ等を備えるカメラ４０で撮影する。そして、情報処理装置１０が、ユーザの手や指の動きを解析することで、ユーザの手や指の３次元座標を取得することができる。
入力装置３０が、ユーザの手や指である場合、マイクロソフト社のＫｉｎｅｃｔ（登録商標）等のように、ＲＧＢカメラ、深度センサ等を備えるカメラ４０で撮影する。そして、情報処理装置１０が、ユーザの手や指の動きを解析することで、ユーザの手や指の３次元座標を取得することができる。
【0019】
また、入力装置３０は、１つであっても複数存在してもよい。また、入力装置３０は、操作信号を送信することで、ＶＲ空間に存在するオブジェクトを操作するだけでなく、例えば、特定モードの開始や終了などを行えるようにしてもよい。操作信号の送信は、物理的なボタン操作で行ってもよく、ユーザの手や指によるジェスチャーを認識することにより行ってもよい。
【0020】
カメラ４０は、例えば、入射した光を収束する光学系と、光学系により収束された光を検出するイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。
【0021】
カメラ４０は、ユーザの頭部、表示装置２０および入力装置３０を撮影する。カメラ４０は、例えば、ＲＧＢカメラ、深度センサ等をさらに備え、これにより撮影する対象をセンシングし、３次元測定を行う。これにより情報処理装置１０が、ユーザの頭部、表示装置２０および入力装置３０の位置および姿勢を算出することができる。このようなカメラ４０としては、特に限られるものではなく、市販のものを使用することができる。例えば、Leap Motion社のLeap Motion（登録商標）、Intel社のRealSense（登録商標）、Microsoft社のKinect等を使用することができる。
【0022】
また、ユーザの頭部、表示装置２０および入力装置３０にマーカーを設け、このマーカーの撮影画像を基に、それぞれの位置および姿勢を判断してもよい。「マーカー」は、何からの標識である。さらに具体的には、「マーカー」は、例えば、ＬＥＤ等の発光装置を規定の３次元形状に配置したものである。また、１次元バーコードや２次元バーコードのように平面に印刷されたものであってもよい。マーカーの取り付け位置は予め定められており、情報処理装置１０が保持している。マーカーは、固有のＩＤ番号の情報を持ち、ユーザの頭部、表示装置２０および入力装置３０のそれぞれを区別することができる。
【0023】
情報処理装置１０および表示装置２０は、例えば、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また、情報処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ－２３２Ｃ等を介して接続されていてもよい。ただし、これに限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）等の無線接続であってもよい。
さらに情報処理装置１０およびカメラ４０とは、図示する例では、有線で接続されており、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ－２３２Ｃを介して接続されている。これによりカメラ４０で撮影された画像の画像情報が、有線により情報処理装置１０に送られる。ただし、これに限られるものではなく、上述した無線接続であってもよい。
また、情報処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ－２３２Ｃ等を介して接続されていてもよい。ただし、これに限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）等の無線接続であってもよい。
さらに情報処理装置１０およびカメラ４０とは、図示する例では、有線で接続されており、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ－２３２Ｃを介して接続されている。これによりカメラ４０で撮影された画像の画像情報が、有線により情報処理装置１０に送られる。ただし、これに限られるものではなく、上述した無線接続であってもよい。
【0024】
このような情報処理システム１において、ユーザは、表示画面２０ａを見ながら、入力装置３０を利用し、ＶＲ空間内のドキュメントオブジェクトに対し操作を行うことで、ドキュメントの処理を行う。ドキュメントの処理は、例えば、ドキュメントの作成、ドキュメントの選択、ドキュメントの閲覧、ドキュメントの修正、ドキュメントの削除である。
しかしながら、複数のドキュメントオブジェクトが重なるなど、ＶＲ空間内で近接する位置にある場合、ドキュメントの選択が困難になる場合がある。
しかしながら、複数のドキュメントオブジェクトが重なるなど、ＶＲ空間内で近接する位置にある場合、ドキュメントの選択が困難になる場合がある。
【0025】
図２（ａ）～（ｃ）は、ドキュメントオブジェクトの選択が困難になる場合の例を示した図である。
このうち、図２（ａ）は、ドキュメントオブジェクトの選択を行う前の状態を示している。
図示する例では、表示画面２０ａに、ドキュメントオブジェクトＯｄ１～Ｏｄ５が表示されている。また、入力装置オブジェクトＯｎとして、ユーザの手のオブジェクトが表示されている。そして、入力装置オブジェクトＯｎには、操作オブジェクトＯｓが表示される。操作オブジェクトＯｓは、入力装置オブジェクトＯｎの中でオブジェクトに対し操作を行う箇所を表す。この操作オブジェクトＯｓは、ＶＲ空間中で、一定の範囲を占める。この場合、操作オブジェクトＯｓは、ポインタであると言うこともできる。よって、例えば、ドキュメントオブジェクトＯｄ５を選択しようとする場合、ユーザは、操作オブジェクトＯｓを、ドキュメントオブジェクトＯｄ５に合わせ、入力装置３０を使用して予め定められた操作を行う。この操作は、入力装置３０がマウス型の入力デバイスであるときは、例えば、クリックなどの操作である。また、入力装置３０がユーザの手や指であった場合は、予め定められたジェスチャーである。
ここでは、ＶＲ空間内に複数のオブジェクトの一例であるドキュメントオブジェクトＯｄ１～Ｏｄ５を表示する。そして、ＶＲ空間内にユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトＯｓを表示している。「入力情報」は、上述したクリックやジェスチャーなどの操作を行ったときに、ユーザの指示として情報処理装置１０に入力される情報である。
このうち、図２（ａ）は、ドキュメントオブジェクトの選択を行う前の状態を示している。
図示する例では、表示画面２０ａに、ドキュメントオブジェクトＯｄ１～Ｏｄ５が表示されている。また、入力装置オブジェクトＯｎとして、ユーザの手のオブジェクトが表示されている。そして、入力装置オブジェクトＯｎには、操作オブジェクトＯｓが表示される。操作オブジェクトＯｓは、入力装置オブジェクトＯｎの中でオブジェクトに対し操作を行う箇所を表す。この操作オブジェクトＯｓは、ＶＲ空間中で、一定の範囲を占める。この場合、操作オブジェクトＯｓは、ポインタであると言うこともできる。よって、例えば、ドキュメントオブジェクトＯｄ５を選択しようとする場合、ユーザは、操作オブジェクトＯｓを、ドキュメントオブジェクトＯｄ５に合わせ、入力装置３０を使用して予め定められた操作を行う。この操作は、入力装置３０がマウス型の入力デバイスであるときは、例えば、クリックなどの操作である。また、入力装置３０がユーザの手や指であった場合は、予め定められたジェスチャーである。
ここでは、ＶＲ空間内に複数のオブジェクトの一例であるドキュメントオブジェクトＯｄ１～Ｏｄ５を表示する。そして、ＶＲ空間内にユーザからの入力情報に基づきこのオブジェクトを操作する操作オブジェクトＯｓを表示している。「入力情報」は、上述したクリックやジェスチャーなどの操作を行ったときに、ユーザの指示として情報処理装置１０に入力される情報である。
【0026】
そして、ユーザは、図２（ａ）の状態から、図２（ｂ）に示すように、入力装置オブジェクトＯｎをドキュメントオブジェクトＯｄ５に近づけ、ドキュメントオブジェクトＯｄ５の選択をする。しかしこのとき、図２（ｃ）に示すように、近接するドキュメントオブジェクトＯｄ４が選択されてしまう場合がある。つまり、入力装置３０を利用し、複数のドキュメントオブジェクトＯｄ１～Ｏｄ５のうちの１つを選択しようとしても、ＶＲ空間中の操作オブジェクトＯｓのわずかな位置ずれにより、近接する他のドキュメントオブジェクトを選択してしまうことがある。また、ドキュメントを構成するページは、同じドキュメントの中で互いに近接する位置にあるため、ページを選択する場合にも同様のことが生じ得る。
そこで、本実施の形態では、情報処理システム１を以下の構成にし、この問題の抑制を図っている。
そこで、本実施の形態では、情報処理システム１を以下の構成にし、この問題の抑制を図っている。
【0027】
＜情報処理装置１０および表示装置２０の説明＞
【0028】
図３は、本実施の形態における情報処理装置１０および表示装置２０の機能構成例を表すブロック図である。なお、図３では、情報処理装置１０および表示装置２０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の情報処理装置１０は、カメラ４０から３次元測定結果や画像情報を取得する情報取得手段１１０と、ユーザの頭部、表示装置２０および入力装置３０の現実空間での位置および姿勢を決定する決定手段１２０と、ユーザの頭部、表示装置２０および入力装置３０の大きさ・形状等や、オブジェクトについての情報を保存する保存手段１３０と、ドキュメントオブジェクトを特定する特定手段１４０と、表示装置２０の表示画面２０ａで表示する表示情報を作成する作成手段１５０とを備える。
図示するように本実施の形態の情報処理装置１０は、カメラ４０から３次元測定結果や画像情報を取得する情報取得手段１１０と、ユーザの頭部、表示装置２０および入力装置３０の現実空間での位置および姿勢を決定する決定手段１２０と、ユーザの頭部、表示装置２０および入力装置３０の大きさ・形状等や、オブジェクトについての情報を保存する保存手段１３０と、ドキュメントオブジェクトを特定する特定手段１４０と、表示装置２０の表示画面２０ａで表示する表示情報を作成する作成手段１５０とを備える。
【0029】
情報取得手段１１０は、ユーザの頭部、表示装置２０および入力装置３０を撮影するカメラ４０から、これらの３次元測定結果や画像情報を取得する。
この場合、カメラ４０は、図１に示すように現実空間に存在するユーザの頭部、表示装置２０および入力装置３０を撮影する。そして、これらの３次元測定結果や撮影した画像情報は、カメラ４０から情報処理装置１０に送られ、情報取得手段１１０が取得する。この場合、画像情報は、動画の画像情報であるが、例えば、４０ミリ秒毎など予め定められた短い時間間隔で撮影された複数の静止画の画像情報であってもよい。
また、情報取得手段１１０は、入力装置３０から、入力情報を取得する。
この場合、カメラ４０は、図１に示すように現実空間に存在するユーザの頭部、表示装置２０および入力装置３０を撮影する。そして、これらの３次元測定結果や撮影した画像情報は、カメラ４０から情報処理装置１０に送られ、情報取得手段１１０が取得する。この場合、画像情報は、動画の画像情報であるが、例えば、４０ミリ秒毎など予め定められた短い時間間隔で撮影された複数の静止画の画像情報であってもよい。
また、情報取得手段１１０は、入力装置３０から、入力情報を取得する。
【0030】
決定手段１２０は、ユーザの頭部、表示装置２０および入力装置３０の位置および姿勢を決定する。このとき決定手段１２０は、３次元測定結果から、ユーザの頭部、表示装置２０および入力装置３０を認識し、これらの位置および姿勢を決定する。また、マーカーを使用する場合は、マーカーの画像情報を基に、これらの位置および姿勢を決定する。
【0031】
保存手段１３０は、ユーザの頭部、表示装置２０および入力装置３０のＩＤ番号、現実空間における大きさ・形状等を保持する。大きさ・形状については、保存手段１３０は、例えば、形状を３次元座標またはその３次元座標を用いた数式で表した３Ｄモデルとして保持することができる。また、マーカーを使用する場合は、マーカーの取り付け位置を保持する。
また、保存手段１３０は、ＶＲ空間で表示するオブジェクトについての情報を保存する。オブジェクトについての情報は、例えば、オブジェクトの大きさ・形状の情報であり、形状を３次元座標またはその３次元座標を用いた数式で表現されるとともに、オブジェクトの特性を表す属性情報を含んでもよい。この特性を表す情報としては、表面の材質感を表す情報であったり、重さを表す情報であったり、硬さを表す情報等であってもよい。また、オブジェクトがドキュメントオブジェクトＯｄの場合、ドキュメントの内容についての情報を保存する。即ち、ドキュメントに含まれる文字情報や画像情報について記憶する。
また、保存手段１３０は、ＶＲ空間で表示するオブジェクトについての情報を保存する。オブジェクトについての情報は、例えば、オブジェクトの大きさ・形状の情報であり、形状を３次元座標またはその３次元座標を用いた数式で表現されるとともに、オブジェクトの特性を表す属性情報を含んでもよい。この特性を表す情報としては、表面の材質感を表す情報であったり、重さを表す情報であったり、硬さを表す情報等であってもよい。また、オブジェクトがドキュメントオブジェクトＯｄの場合、ドキュメントの内容についての情報を保存する。即ち、ドキュメントに含まれる文字情報や画像情報について記憶する。
【0032】
特定手段１４０は、操作オブジェクトＯｓのＶＲ空間内の操作に応じ、一のドキュメントオブジェクトＯｄを特定する。詳しくは後述するが、操作オブジェクトＯｓのＶＲ空間内の位置に応じ、一のドキュメントオブジェクトＯｄとこれ以外の他のドキュメントオブジェクトＯｄとを区別することで特定を行う。
【0033】
作成手段１５０は、ユーザの頭部、表示装置２０および入力装置３０の３Ｄモデルを、ユーザ頭部オブジェクト、ディスプレイオブジェクト、入力装置オブジェクトＯｎとしてＶＲ空間に配置し、表示情報を作成する。このとき、ＶＲ空間において、各オブジェクトを現実空間中と同様の位置および姿勢で配置することが好ましい。さらに、各オブジェクトを、現実空間と同様の大きさおよび形状で配置することが好ましい。ただし、これに限られるものではなく、大きさおよび形状を変更してもよい。また、色については、ＶＲ空間と現実空間とで一致させる必要は必ずしもない。
【0034】
また、作成手段１５０は、ドキュメントオブジェクトＯｄなど他のオブジェクトを、ＶＲ空間に配置し、表示情報を作成する。このとき、ドキュメントオブジェクトＯｄの表示面に、ドキュメントの内容を表示するようにする。さらに、詳しくは後述するが、作成手段１５０は、ドキュメントオブジェクトＯｄを、ユーザが選択したいときに、一のドキュメントオブジェクトＯｄを他のドキュメントオブジェクトＯｄに対し、識別可能に表示する表示情報を作成する。
【0035】
また、図３に示すように、表示装置２０は、表示情報を取得する表示情報取得手段２１０と、表示情報を基に画像を表示する画像表示手段２２０とを備える。
【0036】
表示情報取得手段２１０は、作成手段１５０が作成した画像情報を取得する。また、画像表示手段２２０は、作成手段１５０が作成した画像情報を基に画像を表示する。画像表示手段２２０は、例えば、上述した表示画面２０ａである。
【0037】
よって、表示装置２０で表示される画面は、上述したＶＲ空間であり、画像表示手段２２０は、ＶＲ空間中で、上述したオブジェクトを表示する。
【0038】
＜情報処理システム１の動作の説明＞
【0039】
次に、情報処理システム１の動作について説明する。
図４は、情報処理システム１の動作について説明したフローチャートである。
まずカメラ４０が、ユーザの頭部、表示装置２０および入力装置３０を撮影する（ステップ１０１）。そして、３次元測定結果や撮影した画像情報は、情報処理装置１０に送られる。
この３次元測定結果や画像情報は、情報処理装置１０の情報取得手段１１０が取得する（ステップ１０２）。
図４は、情報処理システム１の動作について説明したフローチャートである。
まずカメラ４０が、ユーザの頭部、表示装置２０および入力装置３０を撮影する（ステップ１０１）。そして、３次元測定結果や撮影した画像情報は、情報処理装置１０に送られる。
この３次元測定結果や画像情報は、情報処理装置１０の情報取得手段１１０が取得する（ステップ１０２）。
【0040】
次に、決定手段１２０が、情報取得手段１１０が取得した３次元測定結果や画像情報を基に、現実空間での、ユーザの頭部、表示装置２０および入力装置３０の位置および姿勢を決定する（ステップ１０３）。
【0041】
図５は、決定手段１２０が、マーカーの位置により入力装置３０等の位置および姿勢を決定する処理について説明したフローチャートである。図５は、図４のステップ１０３の処理についてより詳しく説明した図である。
ここでは、まず画像からマーカーを抽出する（ステップ２０１）。このときマーカーが複数ある場合は、各マーカーの画像を抽出する。
そして、抽出したマーカーからＩＤ番号を取得する（ステップ２０２）。
さらに、撮影した画像中のマーカーの大きさや変形状態を基に、入力装置３０等の位置および姿勢を決定する（ステップ２０３）。
そして、ＩＤ番号に対応する入力装置３０等の位置および姿勢の情報を更新する（ステップ２０４）。
ここでは、まず画像からマーカーを抽出する（ステップ２０１）。このときマーカーが複数ある場合は、各マーカーの画像を抽出する。
そして、抽出したマーカーからＩＤ番号を取得する（ステップ２０２）。
さらに、撮影した画像中のマーカーの大きさや変形状態を基に、入力装置３０等の位置および姿勢を決定する（ステップ２０３）。
そして、ＩＤ番号に対応する入力装置３０等の位置および姿勢の情報を更新する（ステップ２０４）。
【0042】
図４に戻り、作成手段１５０が、決定手段１２０が求めた位置や姿勢、保存手段１３０に保存されたオブジェクトの情報を基に、ＶＲ空間に表示する表示情報を作成する（ステップ１０４）。
そして、作成手段１５０は、作成した表示情報を、表示装置２０に送信し、表示装置２０の表示情報取得手段２１０が取得する(ステップ１０５)。
そして、画像表示手段２２０が、表示情報を基に、表示画面２０ａに画像を表示する(ステップ１０６)。これにより、ＶＲ空間中に、ユーザ頭部オブジェクト、ディスプレイオブジェクト、入力装置オブジェクトＯｎ、ドキュメントオブジェクトＯｄなどの各オブジェクトが表示される。
そして、作成手段１５０は、作成した表示情報を、表示装置２０に送信し、表示装置２０の表示情報取得手段２１０が取得する(ステップ１０５)。
そして、画像表示手段２２０が、表示情報を基に、表示画面２０ａに画像を表示する(ステップ１０６)。これにより、ＶＲ空間中に、ユーザ頭部オブジェクト、ディスプレイオブジェクト、入力装置オブジェクトＯｎ、ドキュメントオブジェクトＯｄなどの各オブジェクトが表示される。
【0043】
次に、特定手段１４０は、ユーザの操作により、近接ドキュメント選択モードになっているか否かを判断する（ステップ１０７）。近接ドキュメント選択モードは、近接する複数のドキュメントオブジェクトＯｄの中から１つのドキュメントオブジェクトＯｄを選択する際に使用されるモードであり、ユーザが予め定められた操作を行うことで、このモードにすることができる。この操作は、例えば、ボタン操作やジェスチャー操作である。近接ドキュメント選択モードになっているか否かは、ユーザに対し明示されることが好ましい。例えば、入力装置オブジェクトＯｎや操作オブジェクトＯｓの色や形を変更したり、これらのオブジェクトの近くにこのモードになっていることを示す文字やアイコン等のオブジェクトを表示する。近接ドキュメント選択モードは、ユーザがドキュメントの選択を行ったときに終了する。また、ユーザがこのモードを終了するための予め定められた操作をしたときに終了するようにしてもよい。この操作は、例えば、ボタン操作やジェスチャー操作である。
【0044】
その結果、近接ドキュメント選択モードではない場合（ステップ１０７でＮｏ）、ステップ１０１に戻る。
対して、近接ドキュメント選択モードである場合（ステップ１０７でＹｅｓ）、特定手段１４０は、ＶＲ空間中の複数のドキュメントオブジェクトＯｄからオブジェクト群を抽出する。「オブジェクト群」は、オブジェクトの集まりであり、ここでは、下記の第１のオブジェクト群および第２のオブジェクト群である。
この場合、まず、特定手段１４０は、ＶＲ空間中の複数のドキュメントオブジェクトＯｄから第１のオブジェクト群Ｇ１を抽出する（ステップ１０８）。
さらに、特定手段１４０は、操作オブジェクトＯｓの位置により、第１のオブジェクト群Ｇ１の中から、第２のオブジェクト群Ｇ２を抽出する（ステップ１０９）。
対して、近接ドキュメント選択モードである場合（ステップ１０７でＹｅｓ）、特定手段１４０は、ＶＲ空間中の複数のドキュメントオブジェクトＯｄからオブジェクト群を抽出する。「オブジェクト群」は、オブジェクトの集まりであり、ここでは、下記の第１のオブジェクト群および第２のオブジェクト群である。
この場合、まず、特定手段１４０は、ＶＲ空間中の複数のドキュメントオブジェクトＯｄから第１のオブジェクト群Ｇ１を抽出する（ステップ１０８）。
さらに、特定手段１４０は、操作オブジェクトＯｓの位置により、第１のオブジェクト群Ｇ１の中から、第２のオブジェクト群Ｇ２を抽出する（ステップ１０９）。
【0045】
図６（ａ）～（ｂ）は、図４のステップ１０８で抽出される第１のオブジェクト群Ｇ１について示した図である。
特定手段１４０は、ユーザの視認する範囲Ｒ１にあるドキュメントオブジェクトＯｄを第１のオブジェクト群Ｇ１として抽出する。特定手段１４０は、ユーザの視認する範囲Ｒ１を、ユーザの頭部Ｔの位置や姿勢を基に算出する。そして、特定手段１４０は、この範囲Ｒ１に含まれるドキュメントオブジェクトＯｄを第１のオブジェクト群Ｇ１として選択する。
この範囲Ｒ１は、表示画面２０ａで表示する全ての領域とすることができる。図６（ａ）は、表示画面２０ａで表示する全ての領域をユーザの視認する範囲Ｒ１とした場合を示す。そして、この範囲Ｒ１内のドキュメントオブジェクトＯｄとして、ドキュメントオブジェクトＯｄ１～Ｏｄ１２が、第１のオブジェクト群Ｇ１として抽出されたことを示している。
また、範囲Ｒ１は、表示画面２０ａで表示する一部の領域としてもよい。図６（ｂ）は、表示画面２０ａで表示する一部の領域をユーザの視認する範囲Ｒ１とした場合を示す。そして、この範囲Ｒ１内のドキュメントオブジェクトＯｄ５～Ｏｄ８が、第１のオブジェクト群Ｇ１として抽出されたことを示している。
特定手段１４０は、ユーザの視認する範囲Ｒ１にあるドキュメントオブジェクトＯｄを第１のオブジェクト群Ｇ１として抽出する。特定手段１４０は、ユーザの視認する範囲Ｒ１を、ユーザの頭部Ｔの位置や姿勢を基に算出する。そして、特定手段１４０は、この範囲Ｒ１に含まれるドキュメントオブジェクトＯｄを第１のオブジェクト群Ｇ１として選択する。
この範囲Ｒ１は、表示画面２０ａで表示する全ての領域とすることができる。図６（ａ）は、表示画面２０ａで表示する全ての領域をユーザの視認する範囲Ｒ１とした場合を示す。そして、この範囲Ｒ１内のドキュメントオブジェクトＯｄとして、ドキュメントオブジェクトＯｄ１～Ｏｄ１２が、第１のオブジェクト群Ｇ１として抽出されたことを示している。
また、範囲Ｒ１は、表示画面２０ａで表示する一部の領域としてもよい。図６（ｂ）は、表示画面２０ａで表示する一部の領域をユーザの視認する範囲Ｒ１とした場合を示す。そして、この範囲Ｒ１内のドキュメントオブジェクトＯｄ５～Ｏｄ８が、第１のオブジェクト群Ｇ１として抽出されたことを示している。
【0046】
図７は、図４のステップ１０９で抽出される第２のオブジェクト群Ｇ２について示した図である。
ここでは、図６（ａ）の状態から、特定手段１４０が、第２のオブジェクト群Ｇ２を選定した場合を示している。特定手段１４０は、操作オブジェクトＯｓの位置により、ドキュメントブジェクトＯｄの中から第２のオブジェクト群Ｇ２を抽出する。
ここでは、第１のオブジェクト群Ｇ１であるドキュメントオブジェクトＯｄ１～Ｏｄ１２の中から、ドキュメントオブジェクトＯｄ５～Ｏｄ８が、第２のオブジェクト群Ｇ２として選定されたことを示している。つまりこの場合、操作オブジェクトＯｓの位置から近くにあるドキュメントオブジェクトＯｄ５～Ｏｄ８が、第２のオブジェクト群Ｇ２として選定される。この場合、近くにあるか否かは、ＶＲ空間中のユークリッド距離により判断される。即ち、この場合、操作オブジェクトＯｓの位置から、ＶＲ空間中のユークリッド距離が比較的小さいドキュメントオブジェクトＯｄが、第２のオブジェクト群Ｇ２として選定される。
ここでは、図６（ａ）の状態から、特定手段１４０が、第２のオブジェクト群Ｇ２を選定した場合を示している。特定手段１４０は、操作オブジェクトＯｓの位置により、ドキュメントブジェクトＯｄの中から第２のオブジェクト群Ｇ２を抽出する。
ここでは、第１のオブジェクト群Ｇ１であるドキュメントオブジェクトＯｄ１～Ｏｄ１２の中から、ドキュメントオブジェクトＯｄ５～Ｏｄ８が、第２のオブジェクト群Ｇ２として選定されたことを示している。つまりこの場合、操作オブジェクトＯｓの位置から近くにあるドキュメントオブジェクトＯｄ５～Ｏｄ８が、第２のオブジェクト群Ｇ２として選定される。この場合、近くにあるか否かは、ＶＲ空間中のユークリッド距離により判断される。即ち、この場合、操作オブジェクトＯｓの位置から、ＶＲ空間中のユークリッド距離が比較的小さいドキュメントオブジェクトＯｄが、第２のオブジェクト群Ｇ２として選定される。
【0047】
図４に戻り、次に、特定手段１４０は、操作オブジェクトＯｓのＶＲ空間内の操作に応じ、第２のオブジェクト群Ｇ２の中から一のドキュメントオブジェクトＯｄを特定する（ステップ１１０）。具体的には、特定手段１４０は、操作オブジェクトＯｓの移動に応じ、第２のオブジェクト群Ｇ２の中から最も近いドキュメントオブジェクトＯｄを特定する。
そして、作成手段１５０は、特定した一のドキュメントオブジェクトＯｄを、このドキュメントオブジェクトＯｄ以外の他のドキュメントオブジェクトＯｄに対し識別可能に表示する（ステップ１１１）。具体的には、作成手段１５０は、特定手段１４０が特定した一のドキュメントオブジェクトＯｄを、このドキュメントオブジェクトＯｄ以外の他のドキュメントオブジェクトＯｄに対し順次移動させて表示する表示情報を作成する。
そして、作成手段１５０は、特定した一のドキュメントオブジェクトＯｄを、このドキュメントオブジェクトＯｄ以外の他のドキュメントオブジェクトＯｄに対し識別可能に表示する（ステップ１１１）。具体的には、作成手段１５０は、特定手段１４０が特定した一のドキュメントオブジェクトＯｄを、このドキュメントオブジェクトＯｄ以外の他のドキュメントオブジェクトＯｄに対し順次移動させて表示する表示情報を作成する。
【0048】
図８（ａ）～（ｅ）は、特定手段１４０が、操作オブジェクトＯｓの移動に応じ、一のドキュメントオブジェクトＯｄを特定し、他のドキュメントオブジェクトＯｄに対し順次移動させて表示する方法について示した図である。
このうち、図８（ａ）は、特定した一のドキュメントオブジェクトＯｄを移動させる前の状態を示した図である。作成手段１５０は、第２のオブジェクト群Ｇ２が抽出されると、第２のオブジェクト群Ｇ２の近くに、操作オブジェクトＯｓのＶＲ空間内の移動を案内するオブジェクトである案内オブジェクトＯａを表示する。この案内オブジェクトＯａは、ユーザが第２のオブジェクト群Ｇ２の中から一のドキュメントオブジェクトＯｄの選択を行うときに、操作オブジェクトＯｓのＶＲ空間内の移動を案内する案内領域の一例である。「案内領域」は、ＶＲ空間内で、ユーザが一のドキュメントオブジェクトＯｄを選択するときに、操作オブジェクトＯｓの移動を案内するために表示される領域である。
このうち、図８（ａ）は、特定した一のドキュメントオブジェクトＯｄを移動させる前の状態を示した図である。作成手段１５０は、第２のオブジェクト群Ｇ２が抽出されると、第２のオブジェクト群Ｇ２の近くに、操作オブジェクトＯｓのＶＲ空間内の移動を案内するオブジェクトである案内オブジェクトＯａを表示する。この案内オブジェクトＯａは、ユーザが第２のオブジェクト群Ｇ２の中から一のドキュメントオブジェクトＯｄの選択を行うときに、操作オブジェクトＯｓのＶＲ空間内の移動を案内する案内領域の一例である。「案内領域」は、ＶＲ空間内で、ユーザが一のドキュメントオブジェクトＯｄを選択するときに、操作オブジェクトＯｓの移動を案内するために表示される領域である。
【0049】
案内オブジェクトＯａは、例えば、線および面の少なくとも一方として表示される。図８（ａ）では、案内オブジェクトＯａを、直線を使用して表示した例を示している。この案内オブジェクトＯａは、点線矢印Ｏａ１と、区切り線Ｏａ２とからなる。この案内オブジェクトＯａは、区切り線Ｏａ２により、第２のオブジェクト群Ｇ２を構成するドキュメントオブジェクトＯｄの個数で区切られ、区切られたそれぞれの区間は、これらのドキュメントオブジェクトＯｄの何れかに対応する。この場合、第２のオブジェクト群Ｇ２を構成するドキュメントオブジェクトＯｄは、ドキュメントオブジェクトＯｄ５～Ｏｄ８の４つである。よって、案内オブジェクトＯａは、４つの区間に区切られる。図８（ａ）では、この４つの区間を区間（１）～（４）として図示している。そして、区間（１）～（４）は、ドキュメントオブジェクトＯｄ５～Ｏｄ８にそれぞれ対応する。なお、（１）～（４）は、案内オブジェクトＯａの一部として表示してもよいが、表示する必要は必ずしもない。なお、表示する場合は、（１）～（４）の表示は、案内オブジェクトＯａの一部として捉えることができる。
【0050】
ここで、ユーザは、案内オブジェクトＯａに沿って、操作オブジェクトＯｓが移動するように、入力装置３０を操作する。図８（ａ）では、操作オブジェクトＯｓの移動の様子を、軌跡Ｋとして図示している。
そして、操作オブジェクトＯｓが移動するに従い、特定手段１４０が、一のドキュメントオブジェクトＯｄを特定し、作成手段１５０は、図８（ｂ）～（ｅ）に示すような表示情報を作成し、表示画面２０ａに表示させる。
具体的には、特定手段１４０は、設定された区間の中で、操作オブジェクトＯｓに最も近い区間に対応するドキュメントオブジェクトＯｄを一のドキュメントオブジェクトＯｄとして特定する。そして、作成手段１５０は、この一のドキュメントオブジェクトＯｄを、他のドキュメントオブジェクトＯｄに対し順次移動させるようにする。
そして、操作オブジェクトＯｓが移動するに従い、特定手段１４０が、一のドキュメントオブジェクトＯｄを特定し、作成手段１５０は、図８（ｂ）～（ｅ）に示すような表示情報を作成し、表示画面２０ａに表示させる。
具体的には、特定手段１４０は、設定された区間の中で、操作オブジェクトＯｓに最も近い区間に対応するドキュメントオブジェクトＯｄを一のドキュメントオブジェクトＯｄとして特定する。そして、作成手段１５０は、この一のドキュメントオブジェクトＯｄを、他のドキュメントオブジェクトＯｄに対し順次移動させるようにする。
【0051】
例えば、操作オブジェクトＯｓが、図８（ｂ）に示す位置にある場合、操作オブジェクトＯｓに最も近い案内オブジェクトＯａの区間は、区間（１）である。このとき、特定手段１４０は、区間（１）に対応するドキュメントオブジェクトＯｄ５を一のドキュメントオブジェクトＯｄとして特定する。そして、作成手段１５０は、ドキュメントオブジェクトＯｄ５を、他のドキュメントオブジェクＯｄ６～Ｏｄ８に対し移動させて表示する表示情報を作成する。この場合、ドキュメントオブジェクトＯｄ５は、他のドキュメントオブジェクトＯｄ６～Ｏｄ８に対し、上方向に移動する。
【0052】
また、操作オブジェクトＯｓが、図８（ｃ）に示す位置にある場合、操作オブジェクトＯｓに最も近い案内オブジェクトＯａの区間は、区間（２）である。このとき、特定手段１４０は、区間（２）に対応するドキュメントオブジェクトＯｄ６を一のドキュメントオブジェクトＯｄとして特定する。そして、作成手段１５０は、ドキュメントオブジェクトＯｄ６を、他のドキュメントオブジェクＯｄ５、Ｏｄ７、Ｏｄ８に対し、上方向に移動する表示情報を作成する。なおこのとき、ドキュメントオブジェクトＯｄ５は、図８（ａ）で示す元の位置に戻る。つまり、ドキュメントオブジェクトＯｄ５は、操作オブジェクトＯｓの移動に従い、一時的に移動し、区間（１）以外の区間では、元の位置に戻して表示される。
【0053】
同様に、操作オブジェクトＯｓが、図８（ｄ）～（ｅ）に示す位置にある場合、操作オブジェクトＯｓに最も近い案内オブジェクトＯａの区間は、それぞれ区間（３）および区間（４）である。このとき、特定手段１４０は、区間（３）や区間（４）に対応するドキュメントオブジェクトＯｄ７やドキュメントオブジェクトＯｄ８を一のドキュメントオブジェクトＯｄとして特定する。そして、作成手段１５０は、ドキュメントオブジェクトＯｄ７やドキュメントオブジェクトＯｄ８を、他のドキュメントオブジェクＯｄに対し、上方向に移動する表示情報を作成する。なおこのとき、移動するドキュメントオブジェクトＯｄ以外のドキュメントオブジェクトＯｄは、図８（ａ）で示す元の位置に戻る。
【0054】
なお、ドキュメントブジェクトＯｄを順次移動させる順番は、各ドキュメントブジェクトＯｄのＶＲ空間中の位置に応じて設定される。また、複数のドキュメントブジェクトＯｄのＶＲ空間中の位置と姿勢が、同じである場合、ドキュメントブジェクトＯｄのページ番号などの属性に応じて順序が設定される。
【0055】
図９（ａ）～（ｂ）は、案内オブジェクトＯａの他の形態を示した図である。
このうち、図９（ａ）は、案内オブジェクトＯａとして、曲線を使用して表示した場合を示した図である。この案内オブジェクトＯａは、曲線Ｏａ３と、区切り線Ｏａ２とからなる。そして、図８（ａ）の場合と同様に、案内オブジェクトＯａは、４つの区間に区切られ、それぞれの区間（１）～（４）は、ドキュメントオブジェクトＯｄ５～Ｏｄ８にそれぞれ対応する。
また、図９（ｂ）は、案内オブジェクトＯａとして、面を使用して表示した場合を示した図である。この案内オブジェクトＯａは、面Ｏａ４と、区切り線Ｏａ２とからなる。そして、図８（ａ）の場合と同様に、案内オブジェクトＯａは、４つの区間に区切られる。図９（ｂ）では、この４つの区間を区間（１）～（４）として図示している。そして、図８（ａ）の場合と同様に、案内オブジェクトＯａは、４つの区間に区切られ、それぞれの区間（１）～（４）は、ドキュメントオブジェクトＯｄ５～Ｏｄ８にそれぞれ対応する。
このうち、図９（ａ）は、案内オブジェクトＯａとして、曲線を使用して表示した場合を示した図である。この案内オブジェクトＯａは、曲線Ｏａ３と、区切り線Ｏａ２とからなる。そして、図８（ａ）の場合と同様に、案内オブジェクトＯａは、４つの区間に区切られ、それぞれの区間（１）～（４）は、ドキュメントオブジェクトＯｄ５～Ｏｄ８にそれぞれ対応する。
また、図９（ｂ）は、案内オブジェクトＯａとして、面を使用して表示した場合を示した図である。この案内オブジェクトＯａは、面Ｏａ４と、区切り線Ｏａ２とからなる。そして、図８（ａ）の場合と同様に、案内オブジェクトＯａは、４つの区間に区切られる。図９（ｂ）では、この４つの区間を区間（１）～（４）として図示している。そして、図８（ａ）の場合と同様に、案内オブジェクトＯａは、４つの区間に区切られ、それぞれの区間（１）～（４）は、ドキュメントオブジェクトＯｄ５～Ｏｄ８にそれぞれ対応する。
【0056】
再び図４に戻り、次に、特定手段１４０は、ユーザが、移動したドキュメントオブジェクトＯｄを選択したか否かを判断する（ステップ１１２）。ドキュメントオブジェクトＯｄの選択は、ユーザが、入力装置３０を使用して予め定められた操作を行うことで行うことができる。この操作は、入力装置３０がマウス型の入力デバイスであるときは、例えば、クリックなどの操作である。また、入力装置３０がユーザの手や指であった場合は、予め定められたジェスチャーである。つまり、上述したように、ドキュメントオブジェクトＯｄ５～Ｏｄ８の何れかが移動したときに、この操作が行われると、特定手段１４０は、ユーザが、移動したドキュメントオブジェクトＯｄを選択したと判断する。
その結果、ドキュメントオブジェクトＯｄを選択された場合（ステップ１１２でＹｅｓ）、特定手段１４０は、近接ドキュメント選択モードを終了する（ステップ１１３）。そして、選択されたドキュメントオブジェクトＯｄに対し、予め定められた処理が実行される（ステップ１１４）。この処理は、例えば、選択されたドキュメントオブジェクトＯｄの拡大表示や編集画面の表示などである。
その結果、ドキュメントオブジェクトＯｄを選択された場合（ステップ１１２でＹｅｓ）、特定手段１４０は、近接ドキュメント選択モードを終了する（ステップ１１３）。そして、選択されたドキュメントオブジェクトＯｄに対し、予め定められた処理が実行される（ステップ１１４）。この処理は、例えば、選択されたドキュメントオブジェクトＯｄの拡大表示や編集画面の表示などである。
【0057】
対して、ドキュメントオブジェクトＯｄを選択されていない場合（ステップ１１２でＮｏ）、特定手段１４０は、近接ドキュメント選択モードの終了が選択されたか否かを判断する（ステップ１１５）。近接ドキュメント選択モードの終了は、ユーザが、入力装置３０を使用して予め定められた操作を行うことで行うことができる。また、入力装置３０がユーザの手や指であった場合は、予め定められたジェスチャーにより行うことができる。
その結果、近接ドキュメント選択モードの終了が選択された場合（ステップ１１５でＹｅｓ）、近接ドキュメント選択モードを終了し、一連の処理を終了する。
対して、近接ドキュメント選択モードの終了が選択されていない場合（ステップ１１５でＮｏ）、ステップ１１０に戻る。
その結果、近接ドキュメント選択モードの終了が選択された場合（ステップ１１５でＹｅｓ）、近接ドキュメント選択モードを終了し、一連の処理を終了する。
対して、近接ドキュメント選択モードの終了が選択されていない場合（ステップ１１５でＮｏ）、ステップ１１０に戻る。
【0058】
なお、上述した例では、操作オブジェクトＯｓの移動に従い、ドキュメントオブジェクトＯｄ５～Ｏｄ８を、一時的に移動させて表示したが、これに限られるものではない。例えば、特定されたドキュメントオブジェクトＯｄをハイライト表示したり、色や形を一時的に変更してもよい。また、ドキュメントオブジェクトＯｄを回転させるなどの動作であってもよい。
また、作成手段１５０は、特定した一のドキュメントオブジェクトＯｄの表示態様を変更するようにしてもよい。具体的には、表示態様を変更は、例えば、特定した一のドキュメントオブジェクトＯｄを移動して表示するときの方向である。
また、作成手段１５０は、特定した一のドキュメントオブジェクトＯｄの表示態様を変更するようにしてもよい。具体的には、表示態様を変更は、例えば、特定した一のドキュメントオブジェクトＯｄを移動して表示するときの方向である。
【0059】
図１０（ａ）～（ｃ）は、特定されたドキュメントオブジェクトＯｄの移動する方向を変更する形態について示した図である。
このうち、図１０（ａ）～（ｂ）は、第２のオブジェクト群Ｇ２のＶＲ空間内の位置とユーザの頭部Ｔの位置との関係により、特定した一のドキュメントオブジェクトＯｄの移動する方向を変更する場合について示した図である。
図１０（ａ）は、ＶＲ空間内で、第２のオブジェクト群Ｇ２の上下方向の中心位置が、ユーザの頭部Ｔの位置よりも低い位置にある場合を示した図である。そしてこのとき、特定した一のドキュメントオブジェクトＯｄであるドキュメントオブジェクトＯｄ６が移動する方向を示している。この場合、図示するように、ドキュメントオブジェクトＯｄ６は、上方向へ移動した方が、ユーザは、これを認識しやすくなる。
このうち、図１０（ａ）～（ｂ）は、第２のオブジェクト群Ｇ２のＶＲ空間内の位置とユーザの頭部Ｔの位置との関係により、特定した一のドキュメントオブジェクトＯｄの移動する方向を変更する場合について示した図である。
図１０（ａ）は、ＶＲ空間内で、第２のオブジェクト群Ｇ２の上下方向の中心位置が、ユーザの頭部Ｔの位置よりも低い位置にある場合を示した図である。そしてこのとき、特定した一のドキュメントオブジェクトＯｄであるドキュメントオブジェクトＯｄ６が移動する方向を示している。この場合、図示するように、ドキュメントオブジェクトＯｄ６は、上方向へ移動した方が、ユーザは、これを認識しやすくなる。
【0060】
また、図１０（ｂ）は、ＶＲ空間内で、第２のオブジェクト群Ｇ２の上下方向の中心位置が、ユーザの頭部Ｔの位置よりも高い位置にある場合を示した図である。そしてこのとき、特定した一のドキュメントオブジェクトＯｄであるドキュメントオブジェクトＯｄ６が移動する方向を示している。この場合、図示するように、ドキュメントオブジェクトＯｄ６は、下方向へ移動した方が、ユーザは、これを認識しやすくなる。
【0061】
さらに、図１０（ｃ）は、ドキュメントオブジェクトＯｄ５～Ｏｄ８の周囲に他のドキュメントオブジェクトＯｄであるドキュメントオブジェクトＯｄ２１～Ｏｄ２２が存在する場合を示している。このとき、特定した一のドキュメントオブジェクトＯｄであるドキュメントオブジェクトＯｄ６は、ドキュメントオブジェクトＯｄ２１～Ｏｄ２２を避ける方向に移動させることが好ましい。図示する例では、ドキュメントオブジェクトＯｄ６は、ドキュメントオブジェクトＯｄ２１～Ｏｄ２２が存在する方向以外の方向に移動する。
【0062】
また、ドキュメントオブジェクトＯｄが移動するときの距離は、ユーザが認識しやすい距離であることが好ましい。
即ち、この距離が小さすぎると、ドキュメントオブジェクトＯｄが移動したことを、ユーザは、認識しにくい。また、この距離が大きすぎると、ユーザの視野の範囲外にドキュメントオブジェクトＯｄが移動することになり、同様に、ドキュメントオブジェクトＯｄが移動したことを、ユーザは、認識しにくくなる。
即ち、この距離が小さすぎると、ドキュメントオブジェクトＯｄが移動したことを、ユーザは、認識しにくい。また、この距離が大きすぎると、ユーザの視野の範囲外にドキュメントオブジェクトＯｄが移動することになり、同様に、ドキュメントオブジェクトＯｄが移動したことを、ユーザは、認識しにくくなる。
【0063】
図１１（ａ）～（ｂ）は、ドキュメントオブジェクトＯｄが移動するときの距離について示した図である。
このうち、図１１（ａ）は、ドキュメントオブジェクトＯｄが移動するときの距離が小さすぎないようにする方法について示した図である。
ここでは、ＶＲ空間中で、第２のオブジェクト群Ｇ２に属するドキュメントオブジェクトＯｄ５～Ｏｄ８を包含する直方体状の領域Ｒ２を設定する。そして、領域Ｒ２の範囲を超え、領域Ｒ２とドキュメントオブジェクトＯｄ６とが重ならない距離で、ドキュメントオブジェクトＯｄ６を上方向に移動させた場合を示している。この場合、ドキュメントオブジェクトＯｄ６と、他のドキュメントオブジェクトＯｄ５、Ｏｄ７、Ｏｄ８とは、重なりが生じず、ユーザは、ドキュメントオブジェクトＯｄ６が移動したことを認識しやすい。
このうち、図１１（ａ）は、ドキュメントオブジェクトＯｄが移動するときの距離が小さすぎないようにする方法について示した図である。
ここでは、ＶＲ空間中で、第２のオブジェクト群Ｇ２に属するドキュメントオブジェクトＯｄ５～Ｏｄ８を包含する直方体状の領域Ｒ２を設定する。そして、領域Ｒ２の範囲を超え、領域Ｒ２とドキュメントオブジェクトＯｄ６とが重ならない距離で、ドキュメントオブジェクトＯｄ６を上方向に移動させた場合を示している。この場合、ドキュメントオブジェクトＯｄ６と、他のドキュメントオブジェクトＯｄ５、Ｏｄ７、Ｏｄ８とは、重なりが生じず、ユーザは、ドキュメントオブジェクトＯｄ６が移動したことを認識しやすい。
【0064】
また、図１１（ｂ）は、ドキュメントオブジェクトＯｄが移動するときの距離が大きすぎないようにする方法について示した図である。
ここでは、ＶＲ空間中で、ユーザの頭部Ｔに向かう方向に、ドキュメントオブジェクトＯｄ６を移動する場合を示している。また、移動する距離は、ユーザの頭部Ｔの手前とする。この場合、ユーザ方向にドキュメントオブジェクトＯｄ６が移動するため、ユーザの視野の範囲外にドキュメントオブジェクトＯｄ６が移動することはない。この場合、ユーザは、ドキュメントオブジェクトＯｄ６が移動したことを認識しやすい。
この場合、作成手段１５０は、第２のオブジェクト群Ｇ２のＶＲ空間内の位置とユーザの視野との関係により、特定した一のドキュメントオブジェクトＯｄの表示態様を変更する、と言うこともできる。
ここでは、ＶＲ空間中で、ユーザの頭部Ｔに向かう方向に、ドキュメントオブジェクトＯｄ６を移動する場合を示している。また、移動する距離は、ユーザの頭部Ｔの手前とする。この場合、ユーザ方向にドキュメントオブジェクトＯｄ６が移動するため、ユーザの視野の範囲外にドキュメントオブジェクトＯｄ６が移動することはない。この場合、ユーザは、ドキュメントオブジェクトＯｄ６が移動したことを認識しやすい。
この場合、作成手段１５０は、第２のオブジェクト群Ｇ２のＶＲ空間内の位置とユーザの視野との関係により、特定した一のドキュメントオブジェクトＯｄの表示態様を変更する、と言うこともできる。
【0065】
また、ドキュメントオブジェクトＯｄが移動するときの姿勢を、ユーザがより認識しやすいように変更してもよい。
図１２（ａ）～（ｂ）は、ドキュメントオブジェクトＯｄが移動するときに姿勢を変化させる場合について示した図である。
ここで、図１２（ａ）は、ドキュメントオブジェクトＯｄが移動するときに姿勢を変化させない場合を示した図である。この場合、ドキュメントオブジェクトＯｄ７が移動しているが、移動後のドキュメントオブジェクトＯｄの表示面は、ユーザ側に向いていないため、ユーザは、この表示面を認識しにくい。
図１２（ａ）～（ｂ）は、ドキュメントオブジェクトＯｄが移動するときに姿勢を変化させる場合について示した図である。
ここで、図１２（ａ）は、ドキュメントオブジェクトＯｄが移動するときに姿勢を変化させない場合を示した図である。この場合、ドキュメントオブジェクトＯｄ７が移動しているが、移動後のドキュメントオブジェクトＯｄの表示面は、ユーザ側に向いていないため、ユーザは、この表示面を認識しにくい。
【0066】
対して、図１２（ｂ）は、ドキュメントオブジェクトＯｄが移動するときに姿勢を変化させた場合を示した図である。この場合、移動後のドキュメントオブジェクトＯｄ７の表示面は、ユーザ側に向くように姿勢が変化しており、ユーザは、この表示面を認識しやすい。なお、姿勢の変化は一時的なものであり、ドキュメントオブジェクトＯｄ７が元に位置に戻るときは、姿勢も元の姿勢に戻る。
この場合、作成手段１５０は、第２のオブジェクト群Ｇ２を構成するドキュメントオブジェクトＯｄのＶＲ空間内の姿勢により、特定した一のドキュメントオブジェクトＯｄの姿勢を変化させて表示させる、と言うこともできる。
この場合、作成手段１５０は、第２のオブジェクト群Ｇ２を構成するドキュメントオブジェクトＯｄのＶＲ空間内の姿勢により、特定した一のドキュメントオブジェクトＯｄの姿勢を変化させて表示させる、と言うこともできる。
【0067】
以上説明した情報処理システム１によれば、ＶＲ空間内で複数のドキュメントオブジェクトＯｄが互いに近接して配置されていても、ユーザが、意図するドキュメントオブジェクトＯｄを容易に選択することができる。
【0068】
なお、以上説明した情報処理装置１０により作成された表示情報を表示する表示装置２０は、ＶＲ空間内に、複数のドキュメントオブジェクトＯｄと、ユーザからの入力情報に基づきこのドキュメントオブジェクトＯｄを操作する操作オブジェクトＯｓと、を表示し、操作オブジェクトＯｓのＶＲ空間内の操作に応じ、複数のドキュメントオブジェクトＯｄから抽出されたオブジェクト群の中から特定された一のドキュメントオブジェクトＯｄを、一のドキュメントオブジェクトＯｄ以外の他のドキュメントオブジェクトＯｄに対し識別可能に表示する表示装置の一例であると、捉えることができる。
この場合、表示装置２０では、ユーザがオブジェクト群の中から一のドキュメントオブジェクトＯｄの選択を行うときに、操作オブジェクトＯｓのＶＲ空間内の移動を案内するオブジェクトである案内オブジェクトＯａをさらに表示する。
また、表示装置２０では、オブジェクト群のＶＲ空間内の位置とユーザの頭部Ｔの位置との関係により、一のドキュメントオブジェクトＯｄの表示態様を変更して表示してもよい。
この場合、表示装置２０では、ユーザがオブジェクト群の中から一のドキュメントオブジェクトＯｄの選択を行うときに、操作オブジェクトＯｓのＶＲ空間内の移動を案内するオブジェクトである案内オブジェクトＯａをさらに表示する。
また、表示装置２０では、オブジェクト群のＶＲ空間内の位置とユーザの頭部Ｔの位置との関係により、一のドキュメントオブジェクトＯｄの表示態様を変更して表示してもよい。
【0069】
なお、以上説明した形態では、第１のオブジェクト群Ｇ１を抽出した後に、さらに第２のオブジェクト群Ｇ２を抽出したが、第１のオブジェクト群Ｇ１を抽出せずに、第２のオブジェクト群Ｇ２を抽出してもよい。
また、以上説明した形態では、オブジェクトとして、ドキュメントオブジェクトＯｄを選択する場合を説明したが、これに限られるものではなく、ＶＲ空間中で表示されるオブジェクトであれば、特に限定することなく適用が可能である。
さらに、以上説明した形態では、案内オブジェクトＯａは、線や面により設定されたが、空間により設定されたり、立体形状のオブジェクトとして設定されてもよい。
またさらに、以上説明した形態では、表示装置２０により仮想空間の表示、即ち、ＶＲ（Virtual Reality、仮想現実）を利用した表示を行ったが、これに限られるものではなく、ＡＲ（Augmented Reality、拡張現実）やＭＲ（Mixed Reality、複合現実）を利用してもよい。
また、以上説明した形態では、オブジェクトとして、ドキュメントオブジェクトＯｄを選択する場合を説明したが、これに限られるものではなく、ＶＲ空間中で表示されるオブジェクトであれば、特に限定することなく適用が可能である。
さらに、以上説明した形態では、案内オブジェクトＯａは、線や面により設定されたが、空間により設定されたり、立体形状のオブジェクトとして設定されてもよい。
またさらに、以上説明した形態では、表示装置２０により仮想空間の表示、即ち、ＶＲ（Virtual Reality、仮想現実）を利用した表示を行ったが、これに限られるものではなく、ＡＲ（Augmented Reality、拡張現実）やＭＲ（Mixed Reality、複合現実）を利用してもよい。
【0070】
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における情報処理装置１０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
ここで以上説明を行った本実施の形態における情報処理装置１０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【0071】
よって本実施の形態で情報処理装置１０が行う処理は、コンピュータに、ＶＲ空間内に、複数のドキュメントオブジェクトＯｄと、ユーザからの入力情報に基づきこのドキュメントオブジェクトＯｄを操作する操作オブジェクトＯｓとを表示する機能と、複数のドキュメントオブジェクトＯｄからオブジェクト群を抽出する機能と、操作オブジェクトＯｓのＶＲ空間内の操作に応じ、オブジェクト群の中から一のドキュメントオブジェクトＯｄを特定する機能と、特定した一のドキュメントオブジェクトＯｄを、一のドキュメントオブジェクトＯｄ以外の他のドキュメントオブジェクトＯｄに対し識別可能に表示する機能と、を実現させるためのプログラムとして捉えることができる。
【0072】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。
【0073】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0074】
１…情報処理システム、１０…情報処理装置、２０…表示装置、２０ａ…表示画面、３０…入力装置、４０…カメラ、１１０…情報取得手段、１２０…決定手段、１３０…保存手段、１４０…特定手段、１５０…作成手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
