ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181639
(43)【公開日】2023-12-25
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20231218BHJP
【ＦＩ】
G06F3/01 570
G06F3/01 510
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022094887
(22)【出願日】2022-06-13
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】山崎 仁史
(72)【発明者】
【氏名】長沼 孝典
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA01
5E555AA46
5E555BA38
5E555BB38
5E555BC01
5E555BC04
5E555BE17
5E555CA42
5E555CB65
5E555CB66
5E555DA08
5E555DB03
5E555DB18
5E555DB57
5E555DC09
5E555DC11
5E555DC19
5E555DC29
5E555EA22
5E555FA00
(57)【要約】
【課題】仮想オブジェクトについてのユーザの操作性を向上させる情報処理装置を提供する。
【解決手段】端末装置２０は、表示制御部２１１と、認識部２１２と、判定部２１３と、仮想オブジェクト制御部２１４とを備える。判定部２１３は、仮想空間において手の位置がアイコンに対応する領域に位置し、且つ手のジェスチャの種別が第１種別であると認識された後、第１種別のジェスチャが保たれた状態で、第１仮想オブジェクトへ手の位置が移動し、且つ第１仮想オブジェクトに対応する領域において手のジェスチャの種別が第１種別から第２種別に変化したと認識されたかを判定する第１判定を実行する。仮想オブジェクト制御部２１４は、判定部２１３による第１判定の判定結果が肯定の場合、第１仮想オブジェクトに対してアイコンに対応付けられた処理を実行する。
【選択図】図６
【解決手段】端末装置２０は、表示制御部２１１と、認識部２１２と、判定部２１３と、仮想オブジェクト制御部２１４とを備える。判定部２１３は、仮想空間において手の位置がアイコンに対応する領域に位置し、且つ手のジェスチャの種別が第１種別であると認識された後、第１種別のジェスチャが保たれた状態で、第１仮想オブジェクトへ手の位置が移動し、且つ第１仮想オブジェクトに対応する領域において手のジェスチャの種別が第１種別から第２種別に変化したと認識されたかを判定する第１判定を実行する。仮想オブジェクト制御部２１４は、判定部２１３による第１判定の判定結果が肯定の場合、第１仮想オブジェクトに対してアイコンに対応付けられた処理を実行する。
【選択図】図６
【特許請求の範囲】
【請求項1】
ユーザが視認する表示装置に、第１仮想オブジェクト及びアイコンが現実空間に重畳された仮想空間の一部を表示させる表示制御部と、
前記仮想空間における前記ユーザの手の位置及び前記手のジェスチャの種別を、外界を撮像することによって得られた撮像画像に基づいて認識する認識部と、
前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で、前記第１仮想オブジェクトに向けて前記手の位置が移動し、且つ前記第１仮想オブジェクトに対応する領域において前記手のジェスチャの種別が前記第１種別から第２種別に変化したと認識されたかを判定する第１判定を実行する判定部と、
前記判定部による前記第１判定の判定結果が肯定の場合、前記第１仮想オブジェクトに対して前記アイコンに対応付けられた処理を実行する仮想オブジェクト制御部と、
を備える情報処理装置。
前記仮想空間における前記ユーザの手の位置及び前記手のジェスチャの種別を、外界を撮像することによって得られた撮像画像に基づいて認識する認識部と、
前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で、前記第１仮想オブジェクトに向けて前記手の位置が移動し、且つ前記第１仮想オブジェクトに対応する領域において前記手のジェスチャの種別が前記第１種別から第２種別に変化したと認識されたかを判定する第１判定を実行する判定部と、
前記判定部による前記第１判定の判定結果が肯定の場合、前記第１仮想オブジェクトに対して前記アイコンに対応付けられた処理を実行する仮想オブジェクト制御部と、
を備える情報処理装置。
【請求項2】
前記表示制御部は、
前記アイコンを、前記仮想空間における所定の位置に固定配置する、
請求項１に記載の情報処理装置。
前記アイコンを、前記仮想空間における所定の位置に固定配置する、
請求項１に記載の情報処理装置。
【請求項3】
前記判定部は、
前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で前記手の位置が移動し、且つ前記手の位置の移動方向の延長線上に前記第１仮想オブジェクトに対応する領域が位置する状態において前記手のジェスチャの種別が前記第１種別から第２種別に変化したと認識されたかを判定する第２判定を実行し、
前記仮想オブジェクト制御部は、
前記判定部による前記第２判定の判定結果が肯定である場合に、前記第１仮想オブジェクトに対して前記処理を実行する、
請求項１に記載の情報処理装置。
前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で前記手の位置が移動し、且つ前記手の位置の移動方向の延長線上に前記第１仮想オブジェクトに対応する領域が位置する状態において前記手のジェスチャの種別が前記第１種別から第２種別に変化したと認識されたかを判定する第２判定を実行し、
前記仮想オブジェクト制御部は、
前記判定部による前記第２判定の判定結果が肯定である場合に、前記第１仮想オブジェクトに対して前記処理を実行する、
請求項１に記載の情報処理装置。
【請求項4】
前記表示制御部は、
前記仮想空間において、前記延長線に沿った線を前記表示装置に表示させる、
請求項３に記載の情報処理装置。
前記仮想空間において、前記延長線に沿った線を前記表示装置に表示させる、
請求項３に記載の情報処理装置。
【請求項5】
前記第１仮想オブジェクトは、
情報を表示するウィンドウであり、
前記処理は、
前記ウィンドウの表示を最小化する第１処理、
前記ウィンドウを非表示にする第２処理、
前記ウィンドウに表示された情報を保存する第３処理、
前記ウィンドウにおいて動画の再生を開始する第４処理、及び、
前記ウィンドウにおいて再生されている動画を停止する第５処理
の少なくとも１つの処理を含む
請求項１に記載の情報処理装置。
情報を表示するウィンドウであり、
前記処理は、
前記ウィンドウの表示を最小化する第１処理、
前記ウィンドウを非表示にする第２処理、
前記ウィンドウに表示された情報を保存する第３処理、
前記ウィンドウにおいて動画の再生を開始する第４処理、及び、
前記ウィンドウにおいて再生されている動画を停止する第５処理
の少なくとも１つの処理を含む
請求項１に記載の情報処理装置。
【請求項6】
前記表示制御部は、
前記第１仮想オブジェクトと第２仮想オブジェクトとを前記表示装置に表示し、
前記判定部による前記第１判定は、
前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で、前記第１仮想オブジェクトに対応する領域、又は前記第２仮想オブジェクトに対応する領域まで前記手の位置が移動し、且つ前記手のジェスチャの種別が前記第１種別から前記第２種別に変化したと認識されたかについての判定であり、
前記仮想オブジェクト制御部は、
前記判定部による前記第１判定の判定結果が肯定の場合、前記第１仮想オブジェクト及び前記第２仮想オブジェクトのうち、前記手の位置を含む領域に対応する仮想オブジェクトに対し前記アイコンに対応付けられた処理を実行する
請求項１に記載の情報処理装置。
前記第１仮想オブジェクトと第２仮想オブジェクトとを前記表示装置に表示し、
前記判定部による前記第１判定は、
前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で、前記第１仮想オブジェクトに対応する領域、又は前記第２仮想オブジェクトに対応する領域まで前記手の位置が移動し、且つ前記手のジェスチャの種別が前記第１種別から前記第２種別に変化したと認識されたかについての判定であり、
前記仮想オブジェクト制御部は、
前記判定部による前記第１判定の判定結果が肯定の場合、前記第１仮想オブジェクト及び前記第２仮想オブジェクトのうち、前記手の位置を含む領域に対応する仮想オブジェクトに対し前記アイコンに対応付けられた処理を実行する
請求項１に記載の情報処理装置。
【請求項7】
前記仮想空間が、前記表示装置に表示された前記仮想空間の一部から外れた位置に配置され、アプリケーションが対応付けられた第３仮想オブジェクトを含み、
前記第３仮想オブジェクトの前記アプリケーションの状態が第１状態から第２状態へ遷移したことを検出する状態検出部を備え、
前記表示制御部は、
前記状態検出部によって、前記第１状態から前記第２状態への遷移が検出された場合、前記アプリケーションに対応する第１アイコンを前記表示装置に表示させた後、前記第１アイコンの位置から前記第３仮想オブジェクトの位置に向かって移動する視覚効果を生じる第４仮想オブジェクトを前記表示装置に表示させる、
請求項２に記載の情報処理装置。
前記第３仮想オブジェクトの前記アプリケーションの状態が第１状態から第２状態へ遷移したことを検出する状態検出部を備え、
前記表示制御部は、
前記状態検出部によって、前記第１状態から前記第２状態への遷移が検出された場合、前記アプリケーションに対応する第１アイコンを前記表示装置に表示させた後、前記第１アイコンの位置から前記第３仮想オブジェクトの位置に向かって移動する視覚効果を生じる第４仮想オブジェクトを前記表示装置に表示させる、
請求項２に記載の情報処理装置。
【請求項8】
前記表示制御部は、
前記ユーザの頭部の動き又は前記ユーザの視線の動きに応じて、前記第４仮想オブジェクトの移動速度を制御する、
請求項７に記載の情報処理装置。
前記ユーザの頭部の動き又は前記ユーザの視線の動きに応じて、前記第４仮想オブジェクトの移動速度を制御する、
請求項７に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置に関する。
【背景技術】
【0002】
特許文献１は、ユーザが両手の拳を突き合わせるジェスチャを検知した場合、タブを閉じる処理を実行する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１４－５０３９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、拡張現実空間又は複合現実空間に複数の仮想オブジェクトが存在する場合、ジェスチャに応じて何らかの処理を実行するとすれば、ユーザはターゲットとなる仮想オブジェクトを指定する操作が必要となる。
【0005】
本開示は、仮想オブジェクトについてのユーザの操作性を向上させる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る情報処理装置は、ユーザが視認する表示装置に、第１仮想オブジェクト及びアイコンが現実空間に重畳された仮想空間の一部を表示させる表示制御部と、前記仮想空間における前記ユーザの手の位置及び前記手のジェスチャの種別を、外界を撮像することによって得られた撮像画像に基づいて認識する認識部と、前記仮想空間において、前記手の位置が前記アイコンに対応する領域に位置し、且つ前記手のジェスチャの種別が第１種別であると認識された後、前記第１種別のジェスチャが保たれた状態で、前記第１仮想オブジェクトに向けて前記手の位置が移動し、且つ前記第１仮想オブジェクトに対応する領域において前記手のジェスチャの種別が前記第１種別から第２種別に変化したと認識されたかを判定する第１判定を実行する判定部と、前記判定部による前記第１判定の判定結果が肯定の場合、前記第１仮想オブジェクトに対して前記アイコンに対応付けられた処理を実行する仮想オブジェクト制御部と、を備える。
【発明の効果】
【0007】
本開示によれば、仮想オブジェクトについてのユーザの操作性を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】情報処理システム１の全体構成を示すブロック図。
【図2】ユーザＵが位置する仮想空間ＶＳの一例を示す説明図。
【図4】ＸＲグラス３０の外観の一例を示す斜視図。
【図5】ＸＲグラス３０の電気的な構成の一例を示すブロック図。
【図6】端末装置２０の電気的な構成の一例を示すブロック図。
【図8】アイコンＩＣＮの位置の固定についての説明図。
【図9】判定部２１３によって判定される一連の動作の説明図。
【図10】端末装置２０の動作例を示すフローチャート。
【図11】変形例１の端末装置２０の動作例を示すフローチャート。
【図12】仮想空間ＶＳにおける延長線Ｌｅに沿った線ＶＯＥの表示例を示す図。
【図13】変形例３の端末装置２０の電気的な構成の一例を示すブロック図。
【図14】仮想空間ＶＳにおけるアプリケーションに対応する第１アイコンＩＣＮ_Ａ及び第４仮想オブジェクトＶＯ４の表示例を示す図。
【発明を実施するための形態】
【0009】
【0010】
１．１：実施形態の構成
図１は、情報処理システム１の全体構成を示すブロック図である。
図１に示されるように、情報処理システム１は、ユーザ装置１０と、管理サーバ４０と、を備える。ユーザ装置１０は、ユーザＵによって使用される装置である。情報処理システム１において、ユーザ装置１０の個数は１台に限らず２台以上でもよい。管理サーバ４０は、ユーザ装置１０の位置を管理する位置管理サーバ４０Ａと、仮想オブジェクトを管理するオブジェクト管理サーバ４０Ｂと、を含む。
図１は、情報処理システム１の全体構成を示すブロック図である。
図１に示されるように、情報処理システム１は、ユーザ装置１０と、管理サーバ４０と、を備える。ユーザ装置１０は、ユーザＵによって使用される装置である。情報処理システム１において、ユーザ装置１０の個数は１台に限らず２台以上でもよい。管理サーバ４０は、ユーザ装置１０の位置を管理する位置管理サーバ４０Ａと、仮想オブジェクトを管理するオブジェクト管理サーバ４０Ｂと、を含む。
【0011】
情報処理システム１において、位置管理サーバ４０Ａとユーザ装置１０とは、通信網ＮＷを介して互いに通信する。オブジェクト管理サーバ４０Ｂとユーザ装置１０とは、通信網ＮＷを介して互いに通信する。また、ユーザ装置１０は、端末装置２０及びＸＲグラス３０を備える。端末装置２０とＸＲグラス３０とは無線通信又は有線通信を用いて互いに通信する。
【0012】
端末装置２０は、ＸＲグラス３０の表示を制御する機能を少なくとも有した情報処理装置の一例である。また、端末装置２０は、ＸＲグラス３０と位置管理サーバ４０Ａ及びオブジェクト管理サーバ４０Ｂとの間の通信を中継する中継装置として機能する。端末装置２０は、例えば、スマートフォン及びタブレット端末に代表される携帯型の情報処理装置が用いられる。
【0013】
ＸＲグラス３０は、ユーザＵの頭部に装着される。ＸＲグラス３０は、仮想オブジェクトを視認可能なシースルー方式のグラスである。ユーザＵは、ＸＲグラス３０を通して、現実空間を視認しながら仮想オブジェクトも視認する。仮想オブジェクトは、仮想空間ＶＳの中に配置される仮想的なオブジェクトであり、仮想空間ＶＳにおいて、現実空間の座標系に対応付けられた位置に配置される。
ユーザＵは、ＸＲグラス３０を用いることによって、現実空間と仮想空間ＶＳが複合された拡張現実空間又は複合現実空間を認識する。拡張現実空間とは、現実空間に実存するオブジェクトである実オブジェクトＲＯに仮想オブジェクトを重ねて表示することが可能な仮想空間ＶＳを意味する。複合現実空間とは、現実空間の実オブジェクトＲＯと仮想オブジェクトとが相互に関係する仮想空間ＶＳを意味する。拡張現実空間では、仮想オブジェクトは単に実オブジェクトＲＯと重畳して表示される。これに対して、複合現実空間では、仮想オブジェクトの物理モデルを用いることによって、仮想オブジェクトと実オブジェクトＲＯとの間の相互の作用を表現できる。例えば、ユーザＵがボールの仮想オブジェクトを実オブジェクトＲＯの壁に投げると、ボールが壁で跳ね返る様子が表現される。
以下、仮想空間ＶＳとして拡張現実空間を説明する。
ユーザＵは、ＸＲグラス３０を用いることによって、現実空間と仮想空間ＶＳが複合された拡張現実空間又は複合現実空間を認識する。拡張現実空間とは、現実空間に実存するオブジェクトである実オブジェクトＲＯに仮想オブジェクトを重ねて表示することが可能な仮想空間ＶＳを意味する。複合現実空間とは、現実空間の実オブジェクトＲＯと仮想オブジェクトとが相互に関係する仮想空間ＶＳを意味する。拡張現実空間では、仮想オブジェクトは単に実オブジェクトＲＯと重畳して表示される。これに対して、複合現実空間では、仮想オブジェクトの物理モデルを用いることによって、仮想オブジェクトと実オブジェクトＲＯとの間の相互の作用を表現できる。例えば、ユーザＵがボールの仮想オブジェクトを実オブジェクトＲＯの壁に投げると、ボールが壁で跳ね返る様子が表現される。
以下、仮想空間ＶＳとして拡張現実空間を説明する。
【0014】
図１に示されＸＲグラス３０は、外界を撮像する撮像装置３６（図４参照）を備える。撮像装置３６によって撮像された撮像画像Ｇｋは、端末装置２０を介して位置管理サーバ４０Ａに送信される。位置管理サーバ４０Ａは、端末装置２０から送信される撮像画像Ｇｋを受信する。位置管理サーバ４０Ａは、撮像画像Ｇｋに基づいて、グラス位置情報Ｐｋと、方向情報Ｄｋとを特定し、これらグラス位置情報Ｐｋと、方向情報Ｄｋとを端末装置２０へ返信する。グラス位置情報Ｐｋは、現実空間におけるＸＲグラス３０の位置を示す情報である。方向情報Ｄｋは、現実空間におけるＸＲグラス３０の指向方向を示す情報である。
【0015】
位置管理サーバ４０Ａは、特徴点マップＭを記憶している。特徴点マップＭは、複数の特徴点を三次元のグローバル座標系によって表現したデータである。特徴点マップＭは、例えば、ステレオカメラを用いて撮像した画像から複数の特徴点を抽出することによって生成される。現実空間における位置はグローバル座標系によって表現される。
【0016】
位置管理サーバ４０Ａは、撮像画像Ｇｋから複数の特徴点を抽出し、抽出した複数の特徴点を特徴点マップＭに記憶されている複数の特徴点と照合することによって、撮像画像Ｇｋが撮像された位置と撮像の方向とを特定する。位置管理サーバ４０Ａは、撮像された位置をグラス位置情報Ｐｋとし、撮像の方向を方向情報Ｄｋとする。
【0017】
ＸＲグラス３０は、撮像画像Ｇｋを位置管理サーバ４０Ａへ周期的に送信することによって、グラス位置情報Ｐｋ及び方向情報Ｄｋを位置管理サーバ４０Ａから周期的に取得する。なお、ＸＲグラス３０は、ローカル座標のリアルタイムのトラッキングを実行し、位置管理サーバ４０Ａから取得するグラス位置情報Ｐｋ及び方向情報Ｄｋを用いて、リアルタイムに自身の位置及び自身の指向方向を補正する。この補正によって、ＸＲグラス３０は、リアルタイムにグローバル座標系で表される自身の位置及び自身の指向方向を認識できる。
以下の説明では、ＸＲグラス３０が補正したグラス位置情報Ｐｋを補正後グラス位置情報Ｐｃｋと称し、ＸＲグラス３０が補正した方向情報Ｄｋを補正後方向情報Ｄｃｋと称する。
以下の説明では、ＸＲグラス３０が補正したグラス位置情報Ｐｋを補正後グラス位置情報Ｐｃｋと称し、ＸＲグラス３０が補正した方向情報Ｄｋを補正後方向情報Ｄｃｋと称する。
【0018】
オブジェクト管理サーバ４０Ｂは、ユーザ装置１０から補正後グラス位置情報Ｐｃｋと補正後方向情報Ｄｃｋとを受信した場合、補正後グラス位置情報Ｐｃｋ及び補正後方向情報Ｄｃｋに基づいて、仮想オブジェクトのレンダリングを実行する。オブジェクト管理サーバ４０Ｂは、レンダリングした仮想オブジェクトを端末装置２０に送信する。仮想オブジェクトは、任意のオブジェクトを模した例えば画像のデータである。
【0019】
以下では、情報を表示するウィンドウを仮想オブジェクトの例として説明する。ウィンドウは、コンピュータのＧＵＩ（Graphical User Interface）において、情報の表示に用いられる領域である。この領域の形状は典型的には平面視矩形である。情報には、文字、静止画像及び動画像が少なくとも該当する。
また、仮想空間ＶＳには、少なくとも１つの仮想オブジェクトが配置される。以下では、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２、及び第３仮想オブジェクトＶＯ３の３つの仮想オブジェクトが仮想空間ＶＳに配置された場合を説明する。
また、仮想空間ＶＳには、少なくとも１つの仮想オブジェクトが配置される。以下では、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２、及び第３仮想オブジェクトＶＯ３の３つの仮想オブジェクトが仮想空間ＶＳに配置された場合を説明する。
【0020】
図２は、ユーザＵが位置する仮想空間ＶＳの一例を示す説明図である。
なお、同図に示す仮想空間ＶＳは拡張現実空間である。同図において、実線は現実空間に実存する実オブジェクトＲＯを示し、破線は仮想オブジェクト（第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３）を示す。
また、同図において、Ｘ軸、Ｙ軸及びＺ軸の直交座標軸は、空間の理解を容易にするために便宜的に示したものであり、現実空間を示すグローバル座標系及びローカル座標を正確に示したものではない。以下の説明において、ユーザＵを基点とし、撮像方向Ｄｐが指向する方向を前方と定義し、この前方の反対方向を後方と定義する。同図において撮像方向ＤｐはＸ軸に平行である。
図２の例は、ユーザＵの前方に１つの実オブジェクトＲＯと、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２とが位置し、ユーザＵの後方に第３仮想オブジェクトＶＯ３が位置した仮想空間ＶＳを示している。また、仮想空間ＶＳにおいて、ユーザＵ、実オブジェクトＲＯ、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のＸ座標値はそれぞれ、Ｘ＿Ｕ、Ｘ_ＲＯ、Ｘ_ＶＯ１、Ｘ_ＶＯ２、Ｘ_ＶＯ３である。また、これらのＸ座標値のうち、Ｘ_ＶＯ１はＸ_ＶＯ２よりも大きく、第１仮想オブジェクトＶＯ１はユーザＵを基点として第２仮想オブジェクトＶＯ２よりも遠くに配置されている。
なお、同図に示す仮想空間ＶＳは拡張現実空間である。同図において、実線は現実空間に実存する実オブジェクトＲＯを示し、破線は仮想オブジェクト（第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３）を示す。
また、同図において、Ｘ軸、Ｙ軸及びＺ軸の直交座標軸は、空間の理解を容易にするために便宜的に示したものであり、現実空間を示すグローバル座標系及びローカル座標を正確に示したものではない。以下の説明において、ユーザＵを基点とし、撮像方向Ｄｐが指向する方向を前方と定義し、この前方の反対方向を後方と定義する。同図において撮像方向ＤｐはＸ軸に平行である。
図２の例は、ユーザＵの前方に１つの実オブジェクトＲＯと、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２とが位置し、ユーザＵの後方に第３仮想オブジェクトＶＯ３が位置した仮想空間ＶＳを示している。また、仮想空間ＶＳにおいて、ユーザＵ、実オブジェクトＲＯ、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のＸ座標値はそれぞれ、Ｘ＿Ｕ、Ｘ_ＲＯ、Ｘ_ＶＯ１、Ｘ_ＶＯ２、Ｘ_ＶＯ３である。また、これらのＸ座標値のうち、Ｘ_ＶＯ１はＸ_ＶＯ２よりも大きく、第１仮想オブジェクトＶＯ１はユーザＵを基点として第２仮想オブジェクトＶＯ２よりも遠くに配置されている。
【0021】
図３は、図２のユーザＵがＸＲグラス３０を通して前方を視たときに視認する視野像ＩＭＧの模式図である。
図３に示すように、前掲図２の仮想空間ＶＳのうち、ユーザＵは自身の前方である撮像方向Ｄｐに対応する空間（すなわち、仮想空間ＶＳの一部）を視認する。具体的には、仮想空間ＶＳに配置された第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のうち、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２を視認する。また、前掲図２に示すように、第１仮想オブジェクトＶＯ１は第２仮想オブジェクトＶＯ２よりもユーザＵから撮像方向Ｄｐに沿って遠くに位置するため、図３に示すように、第１仮想オブジェクトＶＯ１は第２仮想オブジェクトＶＯ２よりも小さく表示される。この表示により遠近感が表現される。
図３に示すように、前掲図２の仮想空間ＶＳのうち、ユーザＵは自身の前方である撮像方向Ｄｐに対応する空間（すなわち、仮想空間ＶＳの一部）を視認する。具体的には、仮想空間ＶＳに配置された第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のうち、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２を視認する。また、前掲図２に示すように、第１仮想オブジェクトＶＯ１は第２仮想オブジェクトＶＯ２よりもユーザＵから撮像方向Ｄｐに沿って遠くに位置するため、図３に示すように、第１仮想オブジェクトＶＯ１は第２仮想オブジェクトＶＯ２よりも小さく表示される。この表示により遠近感が表現される。
【0022】
図４は、ＸＲグラス３０の外観の一例を示す斜視図である。
ＸＲグラス３０は、テンプル３０１及び３０２と、ブリッジ３０３と、フレーム３０４及び３０５と、リム３０６及び３０７と、レンズ３１０Ａ及び３１０Ｂと、撮像レンズＬＥＮとを備え、これらが外観から視認される。
ＸＲグラス３０は、テンプル３０１及び３０２と、ブリッジ３０３と、フレーム３０４及び３０５と、リム３０６及び３０７と、レンズ３１０Ａ及び３１０Ｂと、撮像レンズＬＥＮとを備え、これらが外観から視認される。
【0023】
ブリッジ３０３は、一方向に延び、リム３０６及び３０７が繋がる部材である。ブリッジ３０３は、延在方向の略中央部に、撮像レンズＬＥＮが設けられている。撮像レンズＬＥＮは、図５に示される撮像装置３６が備える部材である。
【0024】
フレーム３０４は、ユーザＵの左耳に引っ掛けられるテンプル３０１とブリッジ３０３とを繋ぐ棒状の部材である。フレーム３０４は、左眼用の表示パネルと左眼用の光学部材とを備えている。表示パネルは、例えば、液晶パネル又は有機ＥＬ（Electro Luminescence）パネルである。左眼用の表示パネルは、端末装置２０からの制御に基づいて、仮想オブジェクト（第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３）に対応する投射画像を表示する。左眼用の光学部材は、左眼用の表示パネルから射出された光をレンズ３１０Ａに導光する光学部材である。
【0025】
フレーム３０５は、ユーザＵの右耳に引っ掛けられるテンプル３０２とブリッジ３０３とを繋ぐ棒状の部材である。フレーム３０５は、右眼用の表示パネルと右眼用の光学部材とを備えている。右眼用の表示パネルは、端末装置２０からの制御に基づいて、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３に対応する投射画像を表示する。右眼用の光学部材は、右眼用の表示パネルから射出された光をレンズ３１０Ｂに導光する光学部材である。リム３０６は、左眼用のレンズ３１０Ａを保持する。リム３０７は、右眼用のレンズ３１０Ｂを保持する。
【0026】
レンズ３１０Ａ及び３１０Ｂの各々は、ハーフミラーを有する。ハーフミラーは、現実空間の光を透過させることによって、現実空間の光をユーザＵの眼に導く。また、ハーフミラーは、光学部材によって導光された第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３を示す光をユーザＵの眼に向けて反射する。ハーフミラーを透過した現実空間の光と、ハーフミラーによって反射された第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３を示す光とが重畳してユーザＵの眼に入ることによって、ユーザＵは、現実空間に第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３が位置しているように知覚する。すなわち、レンズ３１０Ａ及び３１０Ｂは、眼球の前面に配置される透過型の表示装置として機能する。
【0027】
図５は、ＸＲグラス３０の電気的な構成の一例を示すブロック図である。
ＸＲグラス３０は、第１処理装置３１と、記憶装置３２と、検出装置３５と、撮像装置３６と、通信装置３７と、投影装置３８と、を備える。これら第１処理装置３１、記憶装置３２、検出装置３５、撮像装置３６、通信装置３７及び投影装置３８がバスを介して相互にデータ送受可能に接続される。
ＸＲグラス３０は、第１処理装置３１と、記憶装置３２と、検出装置３５と、撮像装置３６と、通信装置３７と、投影装置３８と、を備える。これら第１処理装置３１、記憶装置３２、検出装置３５、撮像装置３６、通信装置３７及び投影装置３８がバスを介して相互にデータ送受可能に接続される。
【0028】
第１処理装置３１は、１または複数のＣＰＵ（Central Processing Unit）を含む。ＣＰＵは、周辺装置とのインターフェース、演算装置及びレジスタ等を含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。第１処理装置３１は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）およびＦＰＧＡ（Field Programmable Gate Array）等の回路がＣＰＵに代えて、又はＣＰＵと併せて用いられてもよい。
【0029】
記憶装置３２は、第１処理装置３１が読み取り可能な記録媒体である。記憶装置３２は、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Random Access Memory）である。記憶装置３２は、第１制御プログラムＰＲ１を記憶する。第１制御プログラムＰＲ１は、ＸＲグラス３０の動作を制御するプログラムである。
【0030】
検出装置３５は、ＸＲグラス３０の状態を検出する。検出装置３５は、例えば、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサ、並びに、方位を検出する地磁気センサが該当する。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。検出装置３５は、ジャイロセンサの出力情報に基づいて、ＸＲグラス３０の姿勢を示す姿勢情報を生成する。また、検出装置３５は、ＸＲグラス３０の動きに関する動き情報を生成する。動き情報は、３軸の加速度を各々示す加速度情報及び３軸の角加速度を各々示す角加速度情報を含む。検出装置３５は、これら姿勢情報、及び動き情報、ＸＲグラス３０の方位を示す方位情報を第１処理装置３１に出力する。
【0031】
撮像装置３６の構成例は、撮像光学系および撮像素子を有する構成である。撮像光学系は、少なくとも１つの撮像レンズＬＥＮ（図４参照）を含む光学系である。撮像光学系は、プリズム等の各種の光学素子を撮像レンズＬＥＮの他に有してもよいし、ズームレンズまたはフォーカスレンズ等を有してもよい。撮像素子は、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary MOS）イメージセンサー等である。
【0032】
通信装置３７は、ＸＲグラス３０が他の装置と通信を行うための通信インターフェースを備える。通信装置３７は、無線通信または有線通信を用いて端末装置２０と通信する。本実施形態において、通信装置３７は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信を用いて端末装置２０の通信装置２３（図６参照）と通信する。
【0033】
投影装置３８は、レンズ３１０Ａ及び３１０Ｂ、左眼用の表示パネル、左眼用の光学部材、右眼用の表示パネル、および右眼用の光学部材を含む。レンズ３１０Ａ及び３１０Ｂは、上述の通り、ユーザＵの眼球の前面に配置される表示として機能する。投影装置３８は、端末装置２０からの制御に基づいて、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３に対応する投射画像を左眼用の表示パネルおよび右眼用の表示パネルに表示する。
【0034】
図６は、端末装置２０の電気的な構成の一例を示すブロック図である。
端末装置２０は、第２処理装置２１、記憶装置２２、通信装置２３、及びタッチディスプレイ２４を備える。端末装置２０の各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
端末装置２０は、第２処理装置２１、記憶装置２２、通信装置２３、及びタッチディスプレイ２４を備える。端末装置２０の各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
【0035】
第２処理装置２１は、端末装置２０の全体を制御する１又は複数のＣＰＵを含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサ及びＣＰＵの各々は、コンピュータの一例である。第２処理装置２１は、ＤＳＰ、ＡＳＩＣ、ＰＬＤおよびＦＰＧＡ等の回路がＣＰＵに代えて、又はＣＰＵと併せて用いられてもよい。第２処理装置２１は、各種の処理を並列的又は逐次的に実行する。
【0036】
記憶装置２２は、第２処理装置２１による読取及び書込が可能な記録媒体を含む。また、記憶装置２２は、複数のプログラムを記憶する。これら複数のプログラムは、第２処理装置２１が実行する第２制御プログラムＰＲ２を少なくとも含む。また、記憶装置２２は、第２処理装置２１のワークエリアとして機能する。
【0037】
通信装置２３は、端末装置２０が他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置２３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２３は、有線接続用のコネクターを備え、上記コネクターに対応するインターフェース回路を備えていてもよい。また、通信装置２３は、無線通信インターフェースを備えていてもよい。
【0038】
タッチディスプレイ２４は、画像及び文字情報を表示するデバイスである。また、タッチディスプレイ２４は、ユーザＵのタッチ操作による入力を受け付ける入力装置を含む。
【0039】
第２処理装置２１は、記憶装置２２から第２制御プログラムＰＲ２を読み出して実行する。第２処理装置２１は、第２制御プログラムＰＲ２の実行により、表示制御部２１１と、認識部２１２と、判定部２１３と、仮想オブジェクト制御部２１４と、して機能する。
【0040】
表示制御部２１１は、ＸＲグラス３０の投影装置３８を制御することによって、ＸＲグラス３０のレンズ３１０Ａ及び３１０Ｂに、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２、及び第３仮想オブジェクトＶＯ３のうち、ユーザＵの視野内に位置する第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２（すなわち、仮想空間ＶＳの一部）を表示させる。ＸＲグラス３０のレンズ３１０Ａ及び３１０Ｂは、上述の通り、ユーザＵが視認する透過型の表示装置である。第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２の表示によって、ユーザＵの眼前の現実空間に、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２が重畳された仮想空間ＶＳがユーザＵによって視認される。
【0041】
また、表示制御部２１１は、ＸＲグラス３０の投影装置３８を制御することによって、ＸＲグラス３０のレンズ３１０Ａ及び３１０ＢにアイコンＩＣＮを表示させる。アイコンＩＣＮは、ウィンドウである第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のいずれか１つに対し、ユーザＵが択一的に所定処理の実行命令を入力するために用いられる。
以下の説明において、所定処理は、次の第１処理から第５処理の少なくともいずれか１を含む処理である。第１処理は、ユーザＵによって選択されたウィンドウの表示を最小化にする処理である。第２処理は、ユーザＵによって選択されたウィンドウを非表示にする処理である。第３処理は、ユーザＵによって選択されたウィンドウに表示された情報を保存する処理である。情報の保存先は適宜である。第４処理は、ユーザＵによって選択されたウィンドウにおいて動画の再生を開始する処理である。第５処理は、ユーザＵによって選択されたウィンドウにおいて再生されている動画を停止する処理である。
以下の説明において、所定処理は、次の第１処理から第５処理の少なくともいずれか１を含む処理である。第１処理は、ユーザＵによって選択されたウィンドウの表示を最小化にする処理である。第２処理は、ユーザＵによって選択されたウィンドウを非表示にする処理である。第３処理は、ユーザＵによって選択されたウィンドウに表示された情報を保存する処理である。情報の保存先は適宜である。第４処理は、ユーザＵによって選択されたウィンドウにおいて動画の再生を開始する処理である。第５処理は、ユーザＵによって選択されたウィンドウにおいて再生されている動画を停止する処理である。
【0042】
図７は、図２の仮想空間ＶＳにおけるアイコンＩＣＮの表示例を示す図である。
図７に示されるように、表示制御部２１１は、アイコンＩＣＮを表示させる場合、ユーザＵの前方において、ユーザＵの位置（Ｘ座表値：Ｘ_Ｕ）から所定の距離だけＸ軸方向に離れた位置（Ｘ座標値：Ｘ＿ＩＣＮ）にアイコンＩＣＮが配置される。具体的には、ユーザＵのＸ座標値がＸ＿Ｕであり、ユーザＵとアイコンＩＣＮの離間距離がＱである場合、アイコンＩＣＮは、Ｘ座標値Ｘ＿ＩＣＮがＸ_Ｕ＋Ｑとなる位置に配置される。離間距離Ｑの値はユーザＵの手が届く範囲であれば任意である。
図７に示されるように、表示制御部２１１は、アイコンＩＣＮを表示させる場合、ユーザＵの前方において、ユーザＵの位置（Ｘ座表値：Ｘ_Ｕ）から所定の距離だけＸ軸方向に離れた位置（Ｘ座標値：Ｘ＿ＩＣＮ）にアイコンＩＣＮが配置される。具体的には、ユーザＵのＸ座標値がＸ＿Ｕであり、ユーザＵとアイコンＩＣＮの離間距離がＱである場合、アイコンＩＣＮは、Ｘ座標値Ｘ＿ＩＣＮがＸ_Ｕ＋Ｑとなる位置に配置される。離間距離Ｑの値はユーザＵの手が届く範囲であれば任意である。
【0043】
また、表示制御部２１１は、アイコンＩＣＮの表示制御において、ＸＲグラス３０の方向（撮像装置３６の指向方向）に依らずに、レンズ３１０Ａ及び３１０Ｂの表示領域内の一定の位置にアイコンＩＣＮを表示させる。この表示制御部２１１による制御により、図８に示すように、ユーザＵが頭部を左方向又は右方向に振って撮像方向Ｄｐを左斜前方向又は右斜前方向に変えたと場合でも、ユーザＵの視野像ＩＭＧにおいてアイコンＩＣＮが常に一定の位置に固定される。
【0044】
認識部２１２は、仮想空間ＶＳにおけるユーザＵの手の位置Ｐｈ及び手のジェスチャの種別を、撮像装置３６によって撮像された撮像画像Ｇｋに基づいて認識する。端末装置２０は、撮像画像ＧｋをＸＲグラス３０の撮像装置３６から周期的に取得し、認識部２１２が手の位置Ｐｈ及びジェスチャの種別を特定する画像認識処理を撮像画像Ｇｋに対して行う。なお、ＸＲグラス３０が深度センサを備える場合、認識部２１２は、撮像画像Ｇｋに加え、深度センサの検出値を用いて、手の位置Ｐｈ及びジェスチャの種別を特定してもよい。
【0045】
手のジェスチャは、ユーザＵがアイコンＩＣＮに対する操作を示すために、手そのもの又は１本以上の手指を所定の態様で動かす動作を言う。また、手のジェスチャの種別は、少なくとも次の第１種別及び第２種別を含む。第１種別のジェスチャは、ユーザＵがアイコンＩＣＮを選択する操作を示す手の動きである。第２種別は、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のいずれか１に対し、アイコンＩＣＮに対応付けられた所定の処理の実行をユーザＵが指示することを示す手の動きである。
【0046】
この説明において、第１種別のジェスチャにはピンチイン、第２種別のジェスチャにはピンチアウトがそれぞれ予め割り当てられている。ピンチインは、ユーザＵが２本の指でアイコンＩＣＮをつまむように２本の指の間隔を狭める手の動きである。ピンチアウトは、ユーザＵが２本の指でつまんでいるアイコンＩＣＮを離すように、これら２本の指の間隔を広げる手の動きである。なお、第１種別及び第２種別のジェスチャには、ピンチイン及びピンチアウト以外の任意のジェスチャが割り当てられてもよい。
【0047】
判定部２１３は、認識部２１２の認識結果に基づいて第１判定を行う。第１判定は、仮想空間ＶＳにおいて、ユーザＵの手が次の一連の動きを行ったか否かについての判定である。判定対象の一連の動きは、図９に示すように、大別して、アイコン選択動作、ターゲット指定動作、及び、実行指示動作の３つの動きを含む。
アイコン選択動作は、ユーザＵがアイコンＩＣＮの選択を明示する動きであり、仮想空間ＶＳにおいて、手の位置ＰｈがアイコンＩＣＮの対応領域に位置し、且つ手のジェスチャの種別が第１種別を示す動きである。アイコンＩＣＮの対応領域は、手のジェスチャがアイコンＩＣＮに対して行われたと判定される領域であり、仮想空間ＶＳにおいて、アイコンＩＣＮを内包する所定の大きさの領域が予め設定される。
アイコン選択動作は、ユーザＵがアイコンＩＣＮの選択を明示する動きであり、仮想空間ＶＳにおいて、手の位置ＰｈがアイコンＩＣＮの対応領域に位置し、且つ手のジェスチャの種別が第１種別を示す動きである。アイコンＩＣＮの対応領域は、手のジェスチャがアイコンＩＣＮに対して行われたと判定される領域であり、仮想空間ＶＳにおいて、アイコンＩＣＮを内包する所定の大きさの領域が予め設定される。
【0048】
ターゲット指定動作は、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３の中からユーザＵがアイコンＩＣＮに対応付けられた処理を実行する対象（ターゲット）を明示的に指定する動作である。この説明において、ターゲット指定動作は、第１種別のジェスチャが保たれた状態で、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれかに向かって手の位置Ｐｈが移動し、いずれか１つの対応領域に手の位置Ｐｈが達する、という動きである。第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のそれぞれの対応領域は、対応する仮想オブジェクトがユーザＵによって指定されたと判定される領域であり、仮想空間ＶＳにおいて、対応する仮想オブジェクトを内包する所定の大きさの領域が予め設定される。
【0049】
実行指示動作は、ターゲット指定動作によって指定された仮想オブジェクトに対し、アイコンＩＣＮに対応付けられた処理の実行をユーザＵが明示的に指示する動作である。この説明において、実行指示動作は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域に手の位置Ｐｈが位置する状態において、手のジェスチャの種別が第１種別から第２種別に変化する、という動きである。
【0050】
判定部２１３は、手の位置Ｐｈ及び手のジェスチャの種別についての認識部２１２の認識結果と、アイコンＩＣＮ、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のそれぞれの対応領域の設定値とに基づいて第１判定を行う。対応領域の設定値は、例えば、記憶装置２２に予め記憶されている。
【0051】
仮想オブジェクト制御部２１４は、判定部２１３による第１判定の判定結果が肯定の場合、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のうち、手の位置Ｐｈの移動によってユーザＵが明示的に指示した仮想オブジェクトに対し、アイコンＩＣＮに対応付けられた処理を実行する。
【0052】
【0053】
ステップＳ１０において、第２処理装置２１は、仮想空間ＶＳの一部をＸＲグラス３０に表示させる。仮想空間ＶＳは、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３と、アイコンＩＣＮとが現実空間に重畳された仮想的な空間（拡張現実空間又は複合現実空間）である。ステップＳ１０の処理により、ユーザＵが仮想空間ＶＳを視認する。
【0054】
ステップＳ１１において、第２処理装置２１は、仮想空間ＶＳにおけるユーザＵの手の位置Ｐｈ及び手のジェスチャの種別を、撮像画像Ｇｋに基づいて認識する。
ステップＳ１２において、第２処理装置２１は、ユーザＵの手の位置ＰｈがアイコンＩＣＮの対応領域に位置し、且つ手のジェスチャの種別が第１種別か否かを判定する。第２処理装置２１は、判定結果が肯定的である場合、ステップＳ１３に処理を進める。ステップＳ１２の処理により、ユーザＵによってアイコンＩＣＮが選択されたか否かが判定される。
ステップＳ１２において、第２処理装置２１は、ユーザＵの手の位置ＰｈがアイコンＩＣＮの対応領域に位置し、且つ手のジェスチャの種別が第１種別か否かを判定する。第２処理装置２１は、判定結果が肯定的である場合、ステップＳ１３に処理を進める。ステップＳ１２の処理により、ユーザＵによってアイコンＩＣＮが選択されたか否かが判定される。
【0055】
ステップＳ１３において、第２処理装置２１は、第１種別のジェスチャが保たれたまま、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のいずれかの対応領域までユーザＵの手の位置Ｐｈが移動したか否かを判定する。第２処理装置２１は、判定結果が肯定的である場合、ステップＳ１４に処理を進める。ステップＳ１３の処理により、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のいずれか１つが、アイコンＩＣＮに対応する処理の実行対象にユーザＵによって選択されたか否かが判定される。
【0056】
ステップＳ１４において、第２処理装置２１は、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のいずれかの対応領域において、ジェスチャの種別が第１種別から第２種別へ変化したか否かを判定する。第２処理装置２１は、判定結果が肯定的である場合、ステップＳ１５に処理を進める。ステップＳ１４の処理により、処理の実行がユーザＵによって指示されたか否かが判定される。
【0057】
ステップＳ１５において、第２処理装置２１は、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のうち、手の位置Ｐｈが含まれる対応領域に対応する仮想オブジェクトに対し、アイコンＩＣＮに対応付けられた処理を実行する。
【0058】
図１０に示すフローチャートの処理において、第２処理装置２１は、ステップＳ１０において表示制御部２１１として機能する。ステップＳ１１において認識部２１２として機能する。第２処理装置２１は、ステップＳ１２、ステップＳ１３、及びステップＳ１４において判定部２１３として機能する。また、第２処理装置２１は、ステップＳ１５において仮想オブジェクト制御部２１４として機能する。
【0059】
１．３：実施形態が奏する効果
以上の説明において、端末装置２０は、シースルー方式のＸＲグラス３０を制御する情報処理装置の一例である。
端末装置２０は、表示制御部２１１と、認識部２１２と、判定部２１３と、仮想オブジェクト制御部２１４と、を備える。表示制御部２１１は、ユーザＵが視認するＸＲグラス３０に、第１仮想オブジェクトＶＯ１及びアイコンＩＣＮが現実空間に重畳された仮想空間ＶＳの一部を表示させる。認識部２１２は、仮想空間ＶＳにおけるユーザＵの手の位置Ｐｈ及び手のジェスチャの種別を、外界を撮像することによって得られた撮像画像Ｇｋに基づいて認識する。判定部２１３は、仮想空間ＶＳにおいて、手の位置ＰｈがアイコンＩＣＮに対応する領域に位置し、且つ手のジェスチャの種別が第１種別であると認識部２１２によって認識された後、第１種別のジェスチャが保たれた状態で、第１仮想オブジェクトＶＯ１まで手の位置Ｐｈが移動し、且つ第１仮想オブジェクトＶＯ１に対応する領域において手のジェスチャの種別が第１種別から第２種別に変化したと認識部２１２によって認識されたかを判定する第１判定を実行する。仮想オブジェクト制御部２１４は、判定部２１３による第１判定の判定結果が肯定の場合、第１仮想オブジェクトＶＯ１に対してアイコンＩＣＮに対応付けられた処理を実行する。
以上の説明において、端末装置２０は、シースルー方式のＸＲグラス３０を制御する情報処理装置の一例である。
端末装置２０は、表示制御部２１１と、認識部２１２と、判定部２１３と、仮想オブジェクト制御部２１４と、を備える。表示制御部２１１は、ユーザＵが視認するＸＲグラス３０に、第１仮想オブジェクトＶＯ１及びアイコンＩＣＮが現実空間に重畳された仮想空間ＶＳの一部を表示させる。認識部２１２は、仮想空間ＶＳにおけるユーザＵの手の位置Ｐｈ及び手のジェスチャの種別を、外界を撮像することによって得られた撮像画像Ｇｋに基づいて認識する。判定部２１３は、仮想空間ＶＳにおいて、手の位置ＰｈがアイコンＩＣＮに対応する領域に位置し、且つ手のジェスチャの種別が第１種別であると認識部２１２によって認識された後、第１種別のジェスチャが保たれた状態で、第１仮想オブジェクトＶＯ１まで手の位置Ｐｈが移動し、且つ第１仮想オブジェクトＶＯ１に対応する領域において手のジェスチャの種別が第１種別から第２種別に変化したと認識部２１２によって認識されたかを判定する第１判定を実行する。仮想オブジェクト制御部２１４は、判定部２１３による第１判定の判定結果が肯定の場合、第１仮想オブジェクトＶＯ１に対してアイコンＩＣＮに対応付けられた処理を実行する。
【0060】
端末装置２０は、以上の構成を有するため、ユーザＵの操作性が向上する。詳述すると、仮想空間ＶＳにおいて、操作アイコンが仮想オブジェクトに設けられている場合、仮想オブジェクトがユーザＵから遠方に位置するほど、仮想オブジェクトとともに操作アイコンも小さくなり、ユーザＵの手による操作が難しくなる。一方、本実施形態によれば、仮想空間ＶＳにおいて、アイコンＩＣＮは第１仮想オブジェクトＶＯ１と独立して配置されるため、ユーザＵから第１仮想オブジェクトＶＯ１までの距離によってアイコンＩＣＮの操作性が影響を受けることがない。また、ユーザＵが第１仮想オブジェクトＶＯ１に対応する領域まで手の位置Ｐｈを移動することで、アイコンＩＣＮに対応付けられた処理の対象物が指定されるため、仮想オブジェクトに設けられた操作アイコンを操作する構成と比較して、手の位置Ｐｈを移動させる先のターゲットが大きく、誤操作を防止でき、操作性が向上する。
【0061】
また、表示制御部２１１は、アイコンＩＣＮを、仮想空間ＶＳにおける所定の位置に固定配置する。
端末装置２０は、以上の構成を有するため、ユーザＵが頭部を動かすことでユーザＵが視認する方向（撮像方向Ｄｐ）が変化しても、アイコンＩＣＮは、仮想空間ＶＳにおける所定の位置に固定される。アイコンＩＣＮが固定されるため、ユーザＵは拡張現実空間又は複合現実空間において、視認する方向を変えたとしてもアイコンＩＣＮを探す必要がなく、操作性が向上する。
端末装置２０は、以上の構成を有するため、ユーザＵが頭部を動かすことでユーザＵが視認する方向（撮像方向Ｄｐ）が変化しても、アイコンＩＣＮは、仮想空間ＶＳにおける所定の位置に固定される。アイコンＩＣＮが固定されるため、ユーザＵは拡張現実空間又は複合現実空間において、視認する方向を変えたとしてもアイコンＩＣＮを探す必要がなく、操作性が向上する。
【0062】
また、第１仮想オブジェクトＶＯ１は、情報を表示するウィンドウであり、アイコンＩＣＮに対向付けられた処理は、ウィンドウの表示を最小化する第１処理、ウィンドウを非表示にする第２処理、ウィンドウに表示された情報を保存する第３処理、ウィンドウにおいて動画の再生を開始する第４処理、及び、ウィンドウにおいて再生されている動画を停止する第５処理の少なくとも１つの処理を含む。
端末装置２０は、以上の構成を有するため、ウィンドウ又はウィンドウの情報に対するユーザＵの操作性が向上する。
端末装置２０は、以上の構成を有するため、ウィンドウ又はウィンドウの情報に対するユーザＵの操作性が向上する。
【0063】
また、表示制御部２１１は、第１仮想オブジェクトＶＯ１と第２仮想オブジェクトＶＯ２とをＸＲグラス３０に表示する。判定部２１３による第１判定は、仮想空間ＶＳにおいて、手の位置ＰｈがアイコンＩＣＮに対応する領域に位置し、且つ手のジェスチャの種別が第１種別であると認識された後、第１種別のジェスチャが保たれた状態で、第１仮想オブジェクトＶＯ１に対応する領域又は第２仮想オブジェクトＶＯ２に対応する領域まで手の位置Ｐｈが移動し、且つ手のジェスチャの種別が第１種別から第２種別に変化したと認識されたかについての判定である。仮想オブジェクト制御部２１４は、判定部２１３による第１判定の判定結果が肯定の場合、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２のうち、手の位置Ｐｈを含む領域に対応する仮想オブジェクトに対しアイコンＩＣＮに対応付けられた処理を実行する。
端末装置２０は、以上の構成を有するため、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２を含む複数の仮想オブジェクトが仮想空間ＶＳに配置されている場合でも、ユーザＵは、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２に共通のアイコンＩＣＮによって、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２のいずれかを選択的に操作できる。また、互いに異なる第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２を、ユーザＵは統一された操作体系で操作することができ、操作性が向上する。
端末装置２０は、以上の構成を有するため、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２を含む複数の仮想オブジェクトが仮想空間ＶＳに配置されている場合でも、ユーザＵは、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２に共通のアイコンＩＣＮによって、第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２のいずれかを選択的に操作できる。また、互いに異なる第１仮想オブジェクトＶＯ１及び第２仮想オブジェクトＶＯ２を、ユーザＵは統一された操作体系で操作することができ、操作性が向上する。
【0064】
２：変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
【0065】
２．１：変形例１
上述した端末装置２０は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域まで手の位置Ｐｈが移動した場合に、アイコンＩＣＮに対応付けられた処理の対象を特定する。しかし、本開示は、実施形態に限定されない。本開示において、端末装置２０は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域のうち、手の位置Ｐｈの移動方向に位置する対応領域に基づいて、処理の対象を特定してもよい。
上述した端末装置２０は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域まで手の位置Ｐｈが移動した場合に、アイコンＩＣＮに対応付けられた処理の対象を特定する。しかし、本開示は、実施形態に限定されない。本開示において、端末装置２０は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域のうち、手の位置Ｐｈの移動方向に位置する対応領域に基づいて、処理の対象を特定してもよい。
【0066】
図１１は、変形例１の端末装置２０の動作例を示すフローチャートである。なお、同図において、実施形態において説明した図９と同一の処理については同一の符号を付し、その説明を省略する。
図１１に示すように、変形例１の動作例は、ステップＳ１３ａ及びＳ１４ａが実施形態の動作例のステップＳ１３及びステップＳ１４と異なる。ステップＳ１３ａ及びＳ１４ａは、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３の中から、アイコンＩＣＮに対応付けられた処理の実行対象（ターゲット）を特定し、特定した仮想オブジェクトに対する、ユーザＵによる処理の実行指示を特定するステップである。
具体的には、ステップＳ１３ａにおいて、端末装置２０の第２処理装置２１は、第１種別のジェスチャが保たれたまま、ユーザＵの手の位置Ｐｈが移動したか否かを判定する。第２処理装置２１は、判定結果が肯定的である場合、ステップＳ１４ａに処理を進める。
ステップＳ１４ａにおいて、第２処理装置２１は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域が、手の位置Ｐｈの移動方向の延長線上に位置する状態において手のジェスチャの種別が第１種別から第２種別に変化したと認識されたかを判定する（第２判定）。
これらステップＳ１３ａ、Ｓ１４ａの処理により、アイコンＩＣＮに対応付けられた処理の実行対象と、特定した仮想オブジェクトに対する処理の実行指示と、が特定される。
図１１に示すように、変形例１の動作例は、ステップＳ１３ａ及びＳ１４ａが実施形態の動作例のステップＳ１３及びステップＳ１４と異なる。ステップＳ１３ａ及びＳ１４ａは、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３の中から、アイコンＩＣＮに対応付けられた処理の実行対象（ターゲット）を特定し、特定した仮想オブジェクトに対する、ユーザＵによる処理の実行指示を特定するステップである。
具体的には、ステップＳ１３ａにおいて、端末装置２０の第２処理装置２１は、第１種別のジェスチャが保たれたまま、ユーザＵの手の位置Ｐｈが移動したか否かを判定する。第２処理装置２１は、判定結果が肯定的である場合、ステップＳ１４ａに処理を進める。
ステップＳ１４ａにおいて、第２処理装置２１は、第１仮想オブジェクトＶＯ１の対応領域、第２仮想オブジェクトＶＯ２の対応領域及び第３仮想オブジェクトＶＯ３の対応領域のいずれか１の対応領域が、手の位置Ｐｈの移動方向の延長線上に位置する状態において手のジェスチャの種別が第１種別から第２種別に変化したと認識されたかを判定する（第２判定）。
これらステップＳ１３ａ、Ｓ１４ａの処理により、アイコンＩＣＮに対応付けられた処理の実行対象と、特定した仮想オブジェクトに対する処理の実行指示と、が特定される。
【0067】
なお、図１１に示すフローチャートの処理において、第２処理装置２１は、ステップＳ１２、ステップＳ１３ａ、及びステップＳ１４ａにおいて判定部２１３として機能する。
【0068】
変形例１の端末装置２０の動作例によって、ユーザＵは、第１仮想オブジェクトＶＯ１、第２仮想オブジェクトＶＯ２及び第３仮想オブジェクトＶＯ３のそれぞれの対応領域のいずれか１つまで手の位置Ｐｈを移動させずとも、処理の実行対象とする仮想オブジェクトを、手の位置Ｐｈの移動方向によって選択できる。したがって、処理の実行対象とする仮想オブジェクトがユーザＵから遠くに配置されている場合でも、ユーザＵは腕を大きく伸ばすことなく仮想オブジェクトを処理対象に選択でき、腕の疲れを感じることがない。
【0069】
２．２：変形例２
上述した変形例１において、端末装置２０は、第１種別のジェスチャを保ったままユーザＵの手の位置Ｐｈが移動した場合、図１２に示すように、手の位置Ｐｈの移動の延長線Ｌｅに沿って延びる線ＶＯＥをＸＲグラス３０（表示装置）に表示させてもよい。この線ＶＯＥの表示により、処理の実行対象とする仮想オブジェクトをユーザＵは容易に認識できる。
上述した変形例１において、端末装置２０は、第１種別のジェスチャを保ったままユーザＵの手の位置Ｐｈが移動した場合、図１２に示すように、手の位置Ｐｈの移動の延長線Ｌｅに沿って延びる線ＶＯＥをＸＲグラス３０（表示装置）に表示させてもよい。この線ＶＯＥの表示により、処理の実行対象とする仮想オブジェクトをユーザＵは容易に認識できる。
【0070】
２．３：変形例３
上述した実施形態の説明において、仮想空間ＶＳの第３仮想オブジェクトＶＯ３は、ユーザＵの後方に配置されているため、ユーザＵが前方を向いている場合はＸＲグラス３０に表示されることがなくユーザＵによって視認されることがない。また、例えばメール又はＳＮＳ（Social networking service）を表示するアプリケーションが第３仮想オブジェクトＶＯ３に対応付けられている場合、このアプリケーションの状態が通常の状態（第１状態）から、新着メッセージの受信をユーザＵに通知する状態（第２状態）へ遷移したとしても、第３仮想オブジェクトＶＯ３がユーザＵの後方に位置するため、ユーザＵはアプリケーションの状態の遷移を把握し難い。そこで、変形例３の端末装置２０は、アプリケーションの状態の遷移をユーザＵが把握し易くする構成を備える。なお、アプリケーションの第２状態は、ユーザＵへ通知する状態に限らず任意である。
上述した実施形態の説明において、仮想空間ＶＳの第３仮想オブジェクトＶＯ３は、ユーザＵの後方に配置されているため、ユーザＵが前方を向いている場合はＸＲグラス３０に表示されることがなくユーザＵによって視認されることがない。また、例えばメール又はＳＮＳ（Social networking service）を表示するアプリケーションが第３仮想オブジェクトＶＯ３に対応付けられている場合、このアプリケーションの状態が通常の状態（第１状態）から、新着メッセージの受信をユーザＵに通知する状態（第２状態）へ遷移したとしても、第３仮想オブジェクトＶＯ３がユーザＵの後方に位置するため、ユーザＵはアプリケーションの状態の遷移を把握し難い。そこで、変形例３の端末装置２０は、アプリケーションの状態の遷移をユーザＵが把握し易くする構成を備える。なお、アプリケーションの第２状態は、ユーザＵへ通知する状態に限らず任意である。
【0071】
図１３は、変形例３の端末装置２０の電気的な構成の一例を示すブロック図である。なお、同図において、実施形態において説明した図６と同一の処理については同一の符号を付し、その説明を省略する。
図１３に示すように、変形例３の端末装置２０は、状態検出部２１５を備える点で実施形態の端末装置２０と異なる。状態検出部２１５は、第３仮想オブジェクトＶＯ３に対応付けられたアプリケーションの状態が第１状態から第２状態へ遷移したことを検出する。また、表示制御部２１１は、状態検出部２１５によって、第１状態から第２状態への遷移が検出された場合、図１４に示すように、仮想空間ＶＳにおいてユーザＵの前方（撮像方向Ｄｐ）に、アプリケーションに対応する第１アイコンＩＣＮ_ＡをＸＲグラス３０に表示させる。第１アイコンＩＣＮ_Ａには、ユーザＵがアプリケーションを識別可能にする図像が描かれている。表示制御部２１１は、第１アイコンＩＣＮ_Ａを表示させた後、第４仮想オブジェクトＶＯ４をＸＲグラス３０に表示させる。第４仮想オブジェクトＶＯ４は、第１アイコンＩＣＮ_Ａの位置から第３仮想オブジェクトＶＯ３の位置に向かって移動する視覚効果を生じる仮想的なオブジェクトであり、ユーザＵの視線誘導効果を誘起する。第４仮想オブジェクトＶＯ４の具体的態様は、例えば弾丸、ロケット、光線が挙げられる。また、表示制御部２１１は、第４仮想オブジェクトＶＯ４の表示において、第４仮想オブジェクトＶＯ４の移動速度、又は、第１アイコンＩＣＮ_Ａの表示タイミングから第４仮想オブジェクトＶＯ４の表示タイミングまでの時間を、ユーザＵの頭部の動き又はユーザＵの視線の動きに応じて制御する。この制御により、ユーザＵが第４仮想オブジェクトＶＯ４の表示を見失わないよう、ユーザＵの頭部の動き又はユーザＵの視線の動きに応じて、第４仮想オブジェクトＶＯ４の移動速度、又は、第４仮想オブジェクトＶＯ４の表示タイミングが遅らせたり早めたりされ、第４仮想オブジェクトＶＯ４の認識率が高められる。
図１３に示すように、変形例３の端末装置２０は、状態検出部２１５を備える点で実施形態の端末装置２０と異なる。状態検出部２１５は、第３仮想オブジェクトＶＯ３に対応付けられたアプリケーションの状態が第１状態から第２状態へ遷移したことを検出する。また、表示制御部２１１は、状態検出部２１５によって、第１状態から第２状態への遷移が検出された場合、図１４に示すように、仮想空間ＶＳにおいてユーザＵの前方（撮像方向Ｄｐ）に、アプリケーションに対応する第１アイコンＩＣＮ_ＡをＸＲグラス３０に表示させる。第１アイコンＩＣＮ_Ａには、ユーザＵがアプリケーションを識別可能にする図像が描かれている。表示制御部２１１は、第１アイコンＩＣＮ_Ａを表示させた後、第４仮想オブジェクトＶＯ４をＸＲグラス３０に表示させる。第４仮想オブジェクトＶＯ４は、第１アイコンＩＣＮ_Ａの位置から第３仮想オブジェクトＶＯ３の位置に向かって移動する視覚効果を生じる仮想的なオブジェクトであり、ユーザＵの視線誘導効果を誘起する。第４仮想オブジェクトＶＯ４の具体的態様は、例えば弾丸、ロケット、光線が挙げられる。また、表示制御部２１１は、第４仮想オブジェクトＶＯ４の表示において、第４仮想オブジェクトＶＯ４の移動速度、又は、第１アイコンＩＣＮ_Ａの表示タイミングから第４仮想オブジェクトＶＯ４の表示タイミングまでの時間を、ユーザＵの頭部の動き又はユーザＵの視線の動きに応じて制御する。この制御により、ユーザＵが第４仮想オブジェクトＶＯ４の表示を見失わないよう、ユーザＵの頭部の動き又はユーザＵの視線の動きに応じて、第４仮想オブジェクトＶＯ４の移動速度、又は、第４仮想オブジェクトＶＯ４の表示タイミングが遅らせたり早めたりされ、第４仮想オブジェクトＶＯ４の認識率が高められる。
【0072】
変形例３の端末装置２０により、ユーザＵは、ＸＲグラス３０の表示範囲の外に位置する第３仮想オブジェクトＶＯ３に対応したアプリケーションの状態の遷移を、第１アイコンＩＣＮ_Ａの表示によって速やかに把握でき、第４仮想オブジェクトＶＯ４の表示によって第３仮想オブジェクトＶＯ３の位置を直感的に把握できる。
【0073】
３：その他
（１）上述した実施形態では、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＷから送信されてもよい。
（１）上述した実施形態では、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＷから送信されてもよい。
【0074】
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0075】
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0076】
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0077】
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0078】
（６）図１から図１４に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0079】
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0080】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0081】
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0082】
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0083】
（１０）上述した実施形態において、ユーザ装置１０、端末装置２０、及びＸＲグラス３０は、移動局（ＭＳ：Mobile Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」等の用語は、互換的に使用され得る。
【0084】
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0085】
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0086】
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0087】
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0088】
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0089】
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0090】
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0091】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
【符号の説明】
【0092】
１…情報処理システム、１０…ユーザ装置、２１…第２処理装置、３１…第１処理装置、２０…端末装置、３０…ＸＲグラス、３６…撮像装置、２１１…表示制御部、２１２…認識部、２１３…判定部、２１４…仮想オブジェクト制御部、２１５…状態検出部、３１０Ａ、３１０Ｂ…レンズ、Ｇｋ…撮像画像、ＩＣＮ…アイコン、ＩＣＮ_Ａ…第１アイコン、ＩＭＧ…視野像、Ｌｅ…延長線、ＲＯ…実オブジェクト、ＶＯ１…第１仮想オブジェクト、ＶＯ２…第２仮想オブジェクト、ＶＯ３…第３仮想オブジェクト、ＶＯ４…第４仮想オブジェクト、ＶＯＥ…線、ＶＳ…仮想空間。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
