ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023104144
(43)【公開日】2023-07-28
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20230721BHJP
【ＦＩ】
G06F3/01 570
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022004962
(22)【出願日】2022-01-17
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】山崎 仁史
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA64
5E555BA02
5E555BA08
5E555BB02
5E555BB08
5E555BC04
5E555BE17
5E555CA22
5E555CA42
5E555CB66
5E555CC03
5E555DA08
5E555DB20
5E555DC19
5E555FA00
(57)【要約】
【課題】仮想キーが正しい位置とは異なる位置に設定されることを低減可能な技術を提供する。
【解決手段】情報処理装置は、第１仮想キーを仮想空間に位置させる仮想キー設定部と、少なくとも１つの指によって行われるジェスチャーを検出するジェスチャー検出部と、前記少なくとも１つの指とは異なる第１指の指先位置を検出する指先検出部と、前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する仮想キー制御部と、を含む。
【選択図】図５
【解決手段】情報処理装置は、第１仮想キーを仮想空間に位置させる仮想キー設定部と、少なくとも１つの指によって行われるジェスチャーを検出するジェスチャー検出部と、前記少なくとも１つの指とは異なる第１指の指先位置を検出する指先検出部と、前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する仮想キー制御部と、を含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
第１仮想キーを仮想空間に位置させる仮想キー設定部と、
少なくとも１つの指によって行われるジェスチャーを検出するジェスチャー検出部と、
前記少なくとも１つの指とは異なる第１指の指先位置を検出する指先検出部と、
前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する仮想キー制御部と、
を含む情報処理装置。
少なくとも１つの指によって行われるジェスチャーを検出するジェスチャー検出部と、
前記少なくとも１つの指とは異なる第１指の指先位置を検出する指先検出部と、
前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する仮想キー制御部と、
を含む情報処理装置。
【請求項2】
前記第１仮想キーは、仮想キーボードが有する複数の仮想キーのいずれかであり、
前記仮想キー設定部は、前記仮想キーボードを前記仮想空間に位置させることによって前記第１仮想キーを前記仮想空間に位置させ、
前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記第１仮想キーを前記目標位置に移動する、
請求項１に記載の情報処理装置。
前記仮想キー設定部は、前記仮想キーボードを前記仮想空間に位置させることによって前記第１仮想キーを前記仮想空間に位置させ、
前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記第１仮想キーを前記目標位置に移動する、
請求項１に記載の情報処理装置。
【請求項3】
前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記複数の仮想キーのうち前記第１仮想キーとは異なる仮想キーを移動せずに、前記第１仮想キーを前記目標位置に移動する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記仮想キーボードを移動することによって前記第１仮想キーを前記目標位置に移動する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項5】
前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記複数の仮想キーの中で前記目標位置に最も近い仮想キーを、前記第１仮想キーとして、前記目標位置に移動する、
請求項２から４のいずれか１項に記載の情報処理装置。
請求項２から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記第１指を有する第１手とは異なる第２手の動きを検出する動き検出部と、
前記動き検出部によって検出された前記第２手の動きに基づいて、前記仮想キーボードの位置を変更する位置変更部と、をさらに含む、
請求項２から５のいずれか１項に記載の情報処理装置。
前記動き検出部によって検出された前記第２手の動きに基づいて、前記仮想キーボードの位置を変更する位置変更部と、をさらに含む、
請求項２から５のいずれか１項に記載の情報処理装置。
【請求項7】
前記位置変更部が実行する前記仮想キーボードの位置の変更に応じて、表示装置に、前記仮想キーボードをスクロール表示させる第１表示制御部を、さらに含む、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記第２手は、前記少なくとも１つの指を有する手である、
請求項６又は７に記載の情報処理装置。
請求項６又は７に記載の情報処理装置。
【請求項9】
前記動き検出部は、前記第２手の動きとして、前記少なくとも１つの指の動きを検出する、
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
表示装置に、前記複数の仮想キーの中で前記目標位置に最も近い仮想キーを拡大表示させる第２表示制御部を、さらに含む、
請求項２から９のいずれか１項に記載の情報処理装置。
請求項２から９のいずれか１項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置に関する。
【背景技術】
【0002】
特許文献１は、仮想キーであるアイコンを用いてキー操作を実行する技術を開示している。この技術では、３つの指先が検出されると、当該３つ指先の各々の位置にアイコンが割り当てられる。その後、３つの指先のいずれかが、所定値以上の距離を移動した場合、所定値以上の距離を移動した指に割り当てられたアイコンに対応するキー操作が実行される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－６１８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載の技術において、仮想キーの指先位置への割り当てを開始するトリガとして、指によって行われるジェスチャー（例えば、人差し指と中指を相互に重ねるジェスチャー）を用いる態様が考えられる。この態様では、ジェスチャーを行った指の指先位置に仮想キーが設定される。
【0005】
しかしながら、この態様では、仮想キーが設定される指によってジェスチャーが行われるため、ジェスチャーを行った指の指先位置を検出し難くなる可能性が生じる。このため、仮想キーが設定されるはずの正しい位置とは異なる位置に仮想キーが設定されやすくなってしまう。
【0006】
本発明の目的は、仮想キーが正しい位置とは異なる位置に設定されることを低減可能な情報処理装置を提供することである。
【課題を解決するための手段】
【0007】
一態様に係る情報処理装置は、第１仮想キーを仮想空間に位置させる仮想キー設定部と、少なくとも１つの指によって行われるジェスチャーを検出するジェスチャー検出部と、前記少なくとも１つの指とは異なる第１指の指先位置を検出する指先検出部と、前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する仮想キー制御部と、を含む。
【発明の効果】
【0008】
一態様によれば、仮想キーが正しい位置とは異なる位置に設定されることを低減できる。
【図面の簡単な説明】
【0009】
【図1】情報処理システム１００を示す図である。
【図2】仮想キーボード３を表す画像４の一例を示す図である。
【図3】ユーザＡの右手Ｃと仮想キーボード３とを示す図である。
【図4】ＭＲグラス１の一例を示す図である。
【図5】携帯機器２の一例を示す図である。
【図6】ワールド座標系ＣＳ２とローカル座標系ＣＳ１との関係の一例を示す図である。
【図7】仮想空間Ｋ２に位置する仮想キーボード３の一例を示す図である。
【図8】仮想空間Ｋ２における基準面Ｐ１の一例を示す図である。
【図9】仮想空間Ｋ２に配置された仮想カメラＮ１の一例を示す図である。
【図10】ユーザＡの指先位置Ｃ１と仮想キーボード３との位置関係を示す図である。
【図11】目標位置Ｍ１への仮想キー３１Ｈの移動の一例を示す図である。
【図12】仮想キーボード３を仮想空間Ｋ２に配置する動作の一例を説明するための図である。
【図13】仮想キーボード３を移動する動作の一例を説明するための図である。
【図14】仮想キーボード３の移動の例を示す図である。
【図15】第３変形例に係る携帯機器２Ａの一例を示す図である。
【図16】複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを拡大表示する一例を示す図である。
【発明を実施するための形態】
【0010】
Ａ：第１実施形態
Ａ１：情報処理システム１００
図１は、情報処理システム１００を示す図である。情報処理システム１００は、ＭＲ（Mixed Reality）グラス１と、携帯機器２と、を含む。情報処理システム１００は、後述の図７に示される仮想キーボード３をＭＲグラス１に表示する。仮想キーボード３は、仮想空間Ｋ２に位置する。仮想キーボード３の形態は、図７に示される形態に限らず適宜変更可能である。
Ａ１：情報処理システム１００
図１は、情報処理システム１００を示す図である。情報処理システム１００は、ＭＲ（Mixed Reality）グラス１と、携帯機器２と、を含む。情報処理システム１００は、後述の図７に示される仮想キーボード３をＭＲグラス１に表示する。仮想キーボード３は、仮想空間Ｋ２に位置する。仮想キーボード３の形態は、図７に示される形態に限らず適宜変更可能である。
【0011】
図１に示されるＭＲグラス１を装着したユーザＡは、仮想空間Ｋ２に位置する仮想キーボード３と、現実空間Ｋ１に位置する現実の物体を、同時に視認できる。情報処理システム１００は、仮想キーボード３に対する操作をユーザＡから受け付ける。情報処理システム１００は、仮想キーボード３に対する操作に応じて、キー操作処理を実行する。
【0012】
ＭＲグラス１は、眼鏡型の表示装置である。ＭＲグラス１は、透過型の表示装置の一例である。透過型の表示装置は、光を透過し且つ画像を表示する表示装置である。透過型の表示装置は、ＭＲグラス１に限らず、例えば、ゴーグル形状の透過型ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）でもよい。
【0013】
透過型の表示装置は、ＸＲ（X Reality）グラス等の表示装置の一例である。ＸＲグラスは、スマートグラスとも称される。ＸＲグラス等の表示装置は、透過型の表示装置に限らず、例えば、ビデオシースルー形式の表示装置でもよい。ビデオシースルー形式の表示装置は、物体を撮像することによって当該物体の画像を生成するカメラを有する。ビデオシースルー形式の表示装置は、カメラが生成した画像に仮想オブジェクトの画像を重ねることによって得られる画像を表示する。仮想オブジェクトは、例えば、仮想キーボード３である。ビデオシースルー形式の表示装置は、例えば、ビデオシースルー形式のＨＭＤである。
【0014】
ＭＲグラス１は、テンプル９１及び９２と、ブリッジ９３と、胴部９４及び９５と、レンズ９６Ｌ及び９６Ｒと、カメラ１１Ｌ及び１１Ｒを含む。
【0015】
胴部９４は、左眼用の表示パネルと、左眼用の光学部材と、を含む。表示パネルは、例えば、液晶パネル又は有機ＥＬ（Electro Luminescence）パネルである。
【0016】
左眼用の表示パネルは、仮想空間Ｋ２に位置する仮想キーボード３を表す画像４を表示する。図２は、仮想キーボード３を表す画像４の一例を示す図である。仮想キーボード３は、仮想的に生成されたキーボードである。仮想キーボード３は、現実空間Ｋ１には存在しない。仮想キーボード３は、複数の仮想キー３１を有する。
【0017】
図１に示される胴部９４における左眼用の表示パネルは、仮想キーボード３の画像４を表す光を出射することによって画像４を表示する。胴部９４における左眼用の光学部材は、左眼用の表示パネルから射出された光をレンズ９６Ｌに導光する光学部材である。
【0018】
胴部９５は、右眼用の表示パネルと、右眼用の光学部材と、を含む。右眼用の表示パネルは、仮想空間Ｋ２に位置する仮想キーボード３を表す画像４を表示する。右眼用の表示パネルは、仮想キーボード３の画像４を表す光を出射することによって画像４を表示する。右眼用の光学部材は、右眼用の表示パネルから射出された光をレンズ９６Ｒに導光する光学部材である。
【0019】
レンズ９６Ｌ及び９６Ｒは、それぞれ、ハーフミラーを有する。レンズ９６Ｌのハーフミラーは、左眼用の光学部材によって導光された光をユーザＡの左眼ＢＬに反射する。レンズ９６Ｌのハーフミラーは、現実空間Ｋ１に位置する物体を表す光を透過することによって、現実空間Ｋ１に位置する物体を表す光をユーザＡの左眼ＢＬに導く。レンズ９６Ｒのハーフミラーは、右眼用の光学部材によって導光された光をユーザＡの右眼ＢＲに反射する。レンズ９６Ｒのハーフミラーは、現実空間Ｋ１に位置する物体を表す光を透過することによって、現実空間Ｋ１に位置する物体を表す光をユーザＡの右眼ＢＲに導く。このため、ＭＲグラス１を装着しているユーザＡは、例えば図３に示されるように、ユーザＡの右手Ｃと、仮想キーボード３を、視認できる。
【0020】
図１に示されるカメラ１１Ｌ及び１１Ｒは、それぞれ、被写体を撮像する。被写体は、例えば、ユーザＡの左右の「手」である。「手」は、ユーザＡの手首から指先までの、身体の部分を意味する。「手」は、親指と、人差指と、中指と、薬指と、小指と、を含む。以下の説明において、英語圏でいう「親指（thumb）」を「指（finger）」と呼ぶ場合がある。つまり、「指（fingers）」は、親指と、人差指と、中指と、薬指と、小指と、を含む概念である。
【0021】
カメラ１１Ｌ及び１１Ｒは、基線長（baseline length）である第１距離だけ相互に離れている。このため、被写体がユーザＡの左右の手である場合、情報処理システム１００は、カメラ１１Ｌ及び１１Ｒを用いることによって、左右の手の３次元の形状を特定できる。左右の手の３次元の形状を特定するための構成は、カメラ１１Ｌとカメラ１１Ｒに限られない。例えば、左右の手の３次元の形状を特定するための構成は、３つ以上のカメラ、又は、深度センサでもよい。カメラ１１Ｌ及び１１Ｒは、左右の手の３次元の形状を特定するために物理量を計測する２個以上のセンサの一例である。
【0022】
左右の手の３次元の形状は、１０本の指の指先位置と、左右の手のひらの形状と、を示す。このため、情報処理システム１００は、左右の手の３次元の形状の変化に基づいて、左右のいずれかの手の指によって行われるジェスチャーを検出できる。
【0023】
ＭＲグラス１には、ローカル座標系ＣＳ１が定められている。ローカル座標系ＣＳ１は、ＭＲグラス１の座標系である。カメラ１１Ｌ及び１１Ｒを用いて特定される左右の手の３次元の形状は、ローカル座標系ＣＳ１の座標によって示される。ローカル座標系ＣＳ１は、ｘ１軸とｙ１軸とｚ１軸とによって定められる。ｘ１軸とｙ１軸とｚ１軸は、相互に直交する。ローカル座標系ＣＳ１の原点は、カメラ１１Ｌに位置する。ｚ１軸は、カメラ１１Ｌの撮像方向と一致する。
【0024】
図１では、説明の簡略化のため、ローカル座標系ＣＳ１の原点は、カメラ１１Ｌに位置していない。ｚ１軸は、カメラ１１Ｌの撮像方向と一致していない。なお、図１に示されるように、ローカル座標系ＣＳ１の原点は、カメラ１１Ｌに位置していなくてもよい。ｚ１軸は、カメラ１１Ｌの撮像方向と一致していなくてもよい。ローカル座標系ＣＳ１の原点は、カメラ１１Ｌではなくカメラ１１Ｒに位置してもよい。ローカル座標系ＣＳ１の原点が、カメラ１１Ｒに位置する場合、ｚ１軸は、カメラ１１Ｒの撮像方向と一致してもよい。
【0025】
携帯機器２は、スマートフォンである。携帯機器２は、スマートフォンに限らず、例えば、タブレット又はノート型パーソナルコンピュータでもよい。携帯機器２は、端末装置とも称される。携帯機器２は、情報処理装置の一例である。情報処理装置は、携帯機器２に限らず、例えば、ＭＲグラス１と直接的又は間接的に通信するデスクトップパーソナルコンピュータ、又は、ＭＲグラス１と直接的又は間接的に通信するサーバでもよい。
【0026】
携帯機器２は、有線にてＭＲグラス１と接続される。携帯機器２は、無線にてＭＲグラス１と接続されてもよい。携帯機器２は、ＭＲグラス１を制御する。例えば、携帯機器２は、ＭＲグラス１に、仮想キーボード３を表す画像４を表示させる。
【0027】
Ａ２：ＭＲグラス１
図４は、ＭＲグラス１の一例を示す図である。ＭＲグラス１は、カメラ１１Ｌ及び１１Ｒに加えて、表示装置１２と、加速度センサ１３と、ジャイロセンサ１４と、操作ボタン１５と、通信装置１６と、記憶装置１７と、処理装置１８と、バス１９と、を含む。
図４は、ＭＲグラス１の一例を示す図である。ＭＲグラス１は、カメラ１１Ｌ及び１１Ｒに加えて、表示装置１２と、加速度センサ１３と、ジャイロセンサ１４と、操作ボタン１５と、通信装置１６と、記憶装置１７と、処理装置１８と、バス１９と、を含む。
【0028】
バス１９は、情報を通信するための配線である。バス１９は、カメラ１１Ｌと、カメラ１１Ｒと、表示装置１２と、加速度センサ１３と、ジャイロセンサ１４と、操作ボタン１５と、通信装置１６と、記憶装置１７と、処理装置１８とを、相互に接続する。バス１９は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
【0029】
カメラ１１Ｌは、被写体を撮像することによって画像データＤ１を生成する。画像データＤ１は、動画を表すデータである。画像データＤ１は、一連の静止画データを含む。画像データＤ１の各静止画データは、画像データＤ１が表す動画の１コマを構成する静止画を表す。
【0030】
カメラ１１Ｒは、被写体を撮像することによって画像データＤ２を出力する。画像データＤ２は、動画を表すデータである。画像データＤ２は、一連の静止画データを含む。画像データＤ２の各静止画データは、画像データＤ２が表す動画の１コマを構成する静止画を表す。
【0031】
表示装置１２は、図１を用いて説明された、レンズ９６Ｌと、左眼用の表示パネルと、左眼用の光学部材と、レンズ９６Ｒと、右眼用の表示パネルと、右眼用の光学部材と、を含む。表示装置１２は、現実空間Ｋ１に位置する物体を表す光を透過する。表示装置１２は、さらに、仮想空間Ｋ２に位置する仮想キーボード３を表す画像４を表示する。ユーザＡがＭＲグラス１を装着したとき、表示装置１２は、ユーザＡの左眼ＢＬ及び右眼ＢＲの前に位置する。このため、ＭＲグラス１を装着したユーザＡは、現実空間Ｋ１に位置する物体と、仮想空間Ｋ２に位置する物体と、を視認できる。例えば、ユーザＡは、現実空間Ｋ１に位置するユーザＡの右手Ｃと、仮想空間Ｋ２に位置する仮想キーボード３を、視認できる。
【0032】
加速度センサ１３は、ＭＲグラス１の加速度を計測する。加速度センサ１３は、ＭＲグラス１の加速度の計測結果に基づいて、加速度データＥ１を生成する。加速度データＥ１は、ＭＲグラス１の加速度を示すデータである。例えば、加速度データＥ１は、ｘ１軸、ｙ１軸及びｚ１軸の各方向におけるＭＲグラス１の加速度を示す。加速度データＥ１に基づいて、ＭＲグラス１の移動方向とＭＲグラス１の移動距離が特定される。
【0033】
ジャイロセンサ１４は、ｘ１軸とｙ１軸とｚ１軸の各軸を中心とするＭＲグラス１の回転の角加速度を計測する。ジャイロセンサ１４は、ＭＲグラス１の角加速度の計測結果に基づいて、角加速度データＥ２を生成する。角加速度データＥ２は、ＭＲグラス１の角加速度を示すデータである。例えば、角加速度データＥ２は、ｘ１軸とｙ１軸とｚ１軸の各軸を中心とするＭＲグラス１の回転の角加速度を示す。角加速度データＥ２に基づいて、ＭＲグラス１の回転が特定される。
【0034】
操作ボタン１５は、ユーザＡによって操作可能なボタンである。操作ボタン１５は、ユーザＡによって操作可能な複数のボタンを有してもよい。操作ボタン１５は、操作データＦ１を生成する。操作データＦ１は、操作ボタン１５の操作状態を示すデータである。
【0035】
通信装置１６は、携帯機器２と有線にて通信する。通信装置１６は、無線にて携帯機器２と通信してもよい。通信装置１６は、包括データＧ１を携帯機器２に送信する。包括データＧ１は、画像データＤ１と画像データＤ２と加速度データＥ１と角加速度データＥ２と操作データＦ１とを含むデータである。包括データＧ１は、操作データＦ１を含まなくてもよい。通信装置１６は、携帯機器２から画像データＨ１を受信する。画像データＨ１は、仮想キーボード３の画像４を表すデータである。画像データＨ１は、例えば画像データＤ１と画像データＤ２と加速度データＥ１と角加速度データＥ２とに基づいて、携帯機器２によって生成される。
【0036】
記憶装置１７は、処理装置１８が読み取り可能な記録媒体である。記憶装置１７は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。記憶装置１７は、プログラムＰＧ１を記憶する。
【0037】
処理装置１８は、１又は複数のＣＰＵ（Central Processing Unit）を含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサ及びＣＰＵの各々は、コンピュータの一例である。
【0038】
処理装置１８は、記憶装置１７からプログラムＰＧ１を読み取る。処理装置１８は、プログラムＰＧ１を実行することによって、取得部１８１及び動作制御部１８２として機能する。取得部１８１及び動作制御部１８２のうち少なくとも１つは、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。
【0039】
取得部１８１は、画像データＤ１と、画像データＤ２と、加速度データＥ１と、角加速度データＥ２と、操作データＦ１と、を取得する。
【0040】
動作制御部１８２は、ＭＲグラス１を制御する。例えば、動作制御部１８２は、取得部１８１から、画像データＤ１と、画像データＤ２と、加速度データＥ１と、角加速度データＥ２と、操作データＦ１と、を受け取る。動作制御部１８２は、画像データＤ１と、画像データＤ２と、加速度データＥ１と、角加速度データＥ２と、操作データＦ１と、を含む包括データＧ１を生成する。動作制御部１８２は、通信装置１６に、包括データＧ１を携帯機器２へ送信させる。動作制御部１８２は、通信装置１６が携帯機器２から画像データＨ１を受信した場合、通信装置１６から画像データＨ１を取得する。動作制御部１８２は、画像データＨ１に基づく画像を表示装置１２に表示させる。画像データＨ１に基づく画像は、例えば、仮想キーボード３を表す画像４である。
【0041】
Ａ３：携帯機器２
図５は、携帯機器２の一例を示す図である。携帯機器２は、入力装置２１と、表示装置２２と、通信装置２３と、記憶装置２４と、処理装置２５と、バス２６と、を含む。
図５は、携帯機器２の一例を示す図である。携帯機器２は、入力装置２１と、表示装置２２と、通信装置２３と、記憶装置２４と、処理装置２５と、バス２６と、を含む。
【0042】
バス２６は、情報を通信するための配線である。バス２６は、入力装置２１と、表示装置２２と、通信装置２３と、記憶装置２４と、処理装置２５とを、相互に接続する。バス２６は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
【0043】
入力装置２１は、タッチパネルを含む。入力装置２１は、タッチパネルに加えて、複数の操作キーを含んでもよい。入力装置２１は、タッチパネルを含まずに、複数の操作キーを含んでもよい。入力装置２１は、ユーザＡが行う操作を受け付ける。
【0044】
表示装置２２は、ディスプレイを含む。表示装置２２のディスプレイの上には入力装置２１のタッチパネルが積層されている。表示装置２２は、種々の情報を表示する。
【0045】
通信装置２３は、ＭＲグラス１と有線にて通信する。通信装置２３は、無線にてＭＲグラス１と通信してもよい。通信装置２３は、包括データＧ１をＭＲグラス１から受信する。通信装置２３は、画像データＨ１をＭＲグラス１に送信する。
【0046】
記憶装置２４は、処理装置２５が読み取り可能な記録媒体である。記憶装置２４は、例えば、不揮発性メモリーと揮発性メモリーとを含む。記憶装置２４は、プログラムＰＧ２を記憶する。
【0047】
処理装置２５は、１又は複数のＣＰＵを含む。処理装置２５は、情報処理装置の他の例である。処理装置２５は、記憶装置２４からプログラムＰＧ２を読み取る。処理装置２５は、プログラムＰＧ２を実行することによって、手データ生成部２５１、指先検出部２５２、座標変換部２５３、仮想キー設定部２５４、画像データ生成部２５５、ジェスチャー検出部２５６、仮想キー制御部２５７、及び操作検出部２５８として機能する。手データ生成部２５１、指先検出部２５２、座標変換部２５３、仮想キー設定部２５４、画像データ生成部２５５、ジェスチャー検出部２５６、仮想キー制御部２５７、及び操作検出部２５８のうち少なくとも１つは、ＤＳＰ、ＡＳＩＣ及びＦＰＧＡ等の回路によって構成されてもよい。
【0048】
手データ生成部２５１は、通信装置２３を介して包括データＧ１を取得する。手データ生成部２５１は、包括データＧ１から画像データＤ１及びＤ２を読み取る。画像データＤ１は、ＭＲグラス１のカメラ１１Ｌが生成した画像データである。画像データＤ２は、ＭＲグラス１のカメラ１１Ｒが生成した画像データである。手データ生成部２５１は、画像データＤ１及びＤ２に基づいて、手データＪ１を生成する。手データＪ１は、ユーザＡの両手の３次元形状を、ＭＲグラス１に定められたローカル座標系ＣＳ１の座標によって示すデータである。
【0049】
例えば、手データ生成部２５１は、画像データＤ１に含まれる静止画データと、画像データＤ２に含まれる静止画データと、に基づいて、手データＪ１を生成する。手データ生成部２５１は、手データＪ１を生成するための画像データＤ１内の静止画データと、手データＪ１を生成するための画像データＤ２内の静止画データと、の各々を、所定時間が経過するごとに、最新の静止画データに変更する。手データ生成部２５１は、静止画データを変更するごとに、最新の静止画データを用いて手データＪ１を生成する。所定時間は、例えば０．２秒である。所定時間は、０．２秒に限らず、０．２秒よりも短い時間でもよいし、０．２秒よりも長い時間でもよい。
【0050】
指先検出部２５２は、手データＪ１に基づいて、ユーザＡの左右の手の各指の指先を検出する。指先検出部２５２は、各指の指先の検出結果に基づいて、指先データＪ２を生成する。指先データＪ２は、各指の指先位置を、ＭＲグラス１に定められたローカル座標系ＣＳ１の座標によって示すデータである。指先検出部２５２は、手データＪ１ごとに、指先データＪ２を生成する。
【0051】
座標変換部２５３は、ＭＲグラス１に定められたローカル座標系ＣＳ１の座標を、ワールド座標系ＣＳ２の座標に変換する。ワールド座標系ＣＳ２は、現実空間Ｋ１に定められる座標系である。
【0052】
図６は、ワールド座標系ＣＳ２とローカル座標系ＣＳ１との関係の一例を示す図である。ワールド座標系ＣＳ２は、ｘ２軸とｙ２軸とｚ２軸とによって定められる。ｘ２軸とｙ２軸とｚ２軸は、相互に直交する。
【0053】
図５に示される座標変換部２５３は、現実空間Ｋ１におけるワールド座標系ＣＳ２のｘ２軸、ｙ２軸及びｚ２軸の位置を、現実空間Ｋ１におけるローカル座標系ＣＳ１のｘ１軸、ｙ１軸及びｚ１軸のタイミングｔ０のときの位置に定める。タイミングｔ０は、現実空間Ｋ１にワールド座標系ＣＳ２を定めるためのタイミングを意味する。タイミングｔ０は、例えば、ユーザＡが入力装置２１に入力した「キーボード設定指示」を座標変換部２５３が受け付けるタイミングである。「キーボード設定指示」は、仮想キーボード３を設定するための指示である。
【0054】
タイミングｔ０のとき、ローカル座標系ＣＳ１のｘ１軸、ｙ１軸及びｚ１軸は、ワールド座標系ＣＳ２のｘ２軸、ｙ２軸及びｚ２軸と、それぞれ一致する。タイミングｔ０後のＭＲグラス１の移動に伴い、ローカル座標系ＣＳ１のｘ１軸、ｙ１軸及びｚ１軸は、ワールド座標系ＣＳ２のｘ２軸、ｙ２軸及びｚ２軸からそれぞれずれる。タイミングｔ０後のＭＲグラス１の回転に伴い、ローカル座標系ＣＳ１のｘ１軸、ｙ１軸及びｚ１軸は、ワールド座標系ＣＳ２のｘ２軸、ｙ２軸及びｚ２軸からそれぞれずれる。
【0055】
座標変換部２５３は、包括データＧ１から加速度データＥ１を読み取る。座標変換部２５３は、加速度データＥ１に基づいて、タイミングｔ０以降におけるＭＲグラス１の移動を特定する。座標変換部２５３は、ＭＲグラス１の移動として、タイミングｔ０以降におけるＭＲグラス１の移動方向と、タイミングｔ０以降におけるＭＲグラス１の移動距離と、を特定する。
【0056】
座標変換部２５３は、包括データＧ１から角加速度データＥ２を読み取る。座標変換部２５３は、角加速度データＥ２に基づいて、タイミングｔ０以降におけるＭＲグラス１の回転を特定する。座標変換部２５３は、ＭＲグラス１の回転として、タイミングｔ０以降におけるＭＲグラス１の回転方向と、タイミングｔ０以降におけるＭＲグラス１の回転角度と、を特定する。
【0057】
座標変換部２５３は、タイミングｔ０以降の期間において指先データＪ２を受け付けるごとに、ＭＲグラス１の移動と、ＭＲグラス１の回転と、を特定する。座標変換部２５３は、ＭＲグラス１の移動とＭＲグラス１の回転とを特定するごとに、最新のＭＲグラス１の移動及び回転に基づいて、指先データＪ２が示す各指の指先位置を、ローカル座標系ＣＳ１の座標からワールド座標系ＣＳ２の座標に変換する。
【0058】
例えば、座標変換部２５３は、タイミングｔ０から最新の指先データＪ２の受付け時点までの期間におけるＭＲグラス１の移動に基づいて、ＭＲグラス１の移動に対応する平行移動行列を特定する。座標変換部２５３は、タイミングｔ０から最新の指先データＪ２の受付け時点までの期間におけるＭＲグラス１の回転に基づいて、ＭＲグラス１の回転に対応する回転行列を特定する。座標変換部２５３は、平行移動行列と回転行列とを用いることによって、最新の指先データＪ２が示す各指の指先位置を、ローカル座標系ＣＳ１の座標からワールド座標系ＣＳ２の座標に変換する。座標変換部２５３は、指先データＪ３を生成する。指先データＪ３は、最新の指先データＪ２が示す各指の指先位置をワールド座標系ＣＳ２の座標によって示すデータである。座標変換部２５３は、指先データＪ２ごとに、指先データＪ３を生成する。
【0059】
また、座標変換部２５３は、ＭＲグラス１の移動とＭＲグラス１の回転とを特定するごとに、最新のＭＲグラス１の移動及び回転に基づいて、カメラ１１Ｌのローカル座標系ＣＳ１の座標を、ワールド座標系ＣＳ２の座標に変換する。カメラ１１Ｌのローカル座標系ＣＳ１の座標は、予め定められている。カメラ１１Ｌのローカル座標系ＣＳ１の座標は、例えば、ローカル座標系ＣＳ１の原点の座標である。
【0060】
座標変換部２５３は、ＭＲグラス１の移動とＭＲグラス１の回転とを特定するごとに、最新のＭＲグラス１の移動及び回転に基づいて、カメラ１１Ｌの撮像方向を示すローカル座標系ＣＳ１の座標を、ワールド座標系ＣＳ２の座標に変換する。カメラ１１Ｌの撮像方向は、予め定められている。カメラ１１Ｌの撮像方向は、例えば、ローカル座標系ＣＳ１のｘ１軸の方向である。
【0061】
座標変換部２５３は、カメラデータＪ４を生成する。カメラデータＪ４は、カメラ１１Ｌのワールド座標系ＣＳ２の座標と、カメラ１１Ｌの撮像方向を示すワールド座標系ＣＳ２の座標と、を示すデータである。カメラデータＪ４は、上述のデータに限らず、カメラ１１Ｒのワールド座標系ＣＳ２の座標と、カメラ１１Ｒの撮像方向を示すワールド座標系ＣＳ２の座標と、を示すデータでもよい。カメラデータＪ４は、カメラ１１Ｌとカメラ１１Ｒとの間に地点のワールド座標系ＣＳ２の座標と、カメラ１１Ｌ又は１１Ｒの撮像方向を示すワールド座標系ＣＳ２の座標と、を示すデータでもよい。カメラデータＪ４は、例えば、仮想キーボード３の画像４を表す画像データＨ１を生成するために使用される。座標変換部２５３は、ＭＲグラス１の移動とＭＲグラス１の回転とを特定するごとに、カメラデータＪ４を生成する。
【0062】
仮想キー設定部２５４は、仮想キーボード３を仮想空間Ｋ２に位置させる。図７は、仮想空間Ｋ２に位置する仮想キーボード３の一例を示す図である。仮想空間Ｋ２は、仮想キー設定部２５４によって生成される仮想的な３次元空間である。仮想空間Ｋ２には、ワールド座標系ＣＳ２が定められている。仮想空間Ｋ２では、ワールド座標系ＣＳ２のｘ２軸、ｙ２軸及びｚ２軸の各位置は、予め固定されている。
【0063】
図５に示される仮想キー設定部２５４は、タイミングｔ１に応じて、仮想キーボード３を仮想空間Ｋ２に位置させる。タイミングｔ１は、仮想空間Ｋ２に仮想キーボード３を位置させるためのタイミングを意味する。タイミングｔ１は、例えば、ユーザＡが入力装置２１に入力した「キーボード設定指示」を仮想キー設定部２５４が受け付けるタイミングである。
【0064】
タイミングｔ１は、上述のタイミングに限らない。例えば、タイミングｔ１は、後述するジェスチャー検出部２５６がユーザＡによって行われる第１ジェスチャーを検出したタイミングでもよい。第１ジェスチャーは、例えば、ユーザＡの左手の人差し指の指先を、ユーザＡの左手の親指の指先に接触させるジェスチャーである。第１ジェスチャーは、上述のジェスチャーに限らない。例えば、第１ジェスチャーは、ユーザＡの左手の中指の指先を、ユーザＡの左手の親指の指先に接触させるジェスチャーでもよい。
【0065】
仮想キー設定部２５４は、仮想キーボード３が配置される基準面Ｐ１を、タイミングｔ１におうじて仮想空間Ｋ２内に決定する。
【0066】
図８は、仮想空間Ｋ２における基準面Ｐ１の一例を示す図である。図８では、仮想空間Ｋ２には存在しないユーザＡの右手Ｃが、説明のために点線にて示されている。図８に示される右手Ｃの仮想空間Ｋ２におけるワールド座標系ＣＳ２の座標位置は、右手Ｃの現実空間Ｋ１におけるワールド座標系ＣＳ２の座標位置と一致する。
【0067】
図５に示される仮想キー設定部２５４は、例えば、右手Ｃの複数の指の指先位置に基づいて、基準面Ｐ１を決定する。基準面Ｐ１を決定するために必要な指先位置の数は、少なくとも３つである。
【0068】
仮想キー設定部２５４は、まず、タイミングｔ１の時点における最新の指先データＪ３に基づいて、右手Ｃの５本の指のうち３本の指の指先位置を特定する。仮想キー設定部２５４は、３本の指の指先位置を含む面を、基準面Ｐ１として決定する。
【0069】
仮想空間Ｋ２において３点が決定されれば、これら３点を含む平面は一意に決定される。基準面Ｐ１が平面である場合、仮想キー設定部２５４は、３本の指の指先位置を含む平面を基準面Ｐ１として決定する。
【0070】
基準面Ｐ１は、平面に限らず、例えば曲面でもよい。基準面Ｐ１が曲面である場合、仮想キー設定部２５４は、所定の関数を用いて曲面を決定する。所定の関数は、入力される３点の３次元座標に応じた曲面を一意に定める。仮想キー設定部２５４は、所定の関数に３本の指の指先位置を入力する。仮想キー設定部２５４は、所定の関数が３本の指の指先位置に応じて定める曲面を、基準面Ｐ１として決定する。基準面Ｐ１が曲面である場合、仮想キーボード３は、いわゆるエルゴノミクスタイプのキーボードでもよい。
【0071】
基準面Ｐ１を決定するために用いられる３本の指の指先位置は、例えば、親指の指先位置と、薬指の指先位置と、子指の指先位置である。親指、薬指及び小指は、右手Ｃの甲から見て、右手Ｃの左端、右手Ｃの右端よりも左の位置、右手Ｃの右端にそれぞれ位置する。このため、親指の指先位置と、薬指の指先位置と、子指の指先位置が、基準面Ｐ１を決定するために用いられる場合、右手Ｃ全体によって基準面Ｐ１が決定される。
【0072】
仮想キー設定部２５４は、４本以上の指の指先位置に基づいて基準面Ｐ１を決定してもよい。この場合、仮想キー設定部２５４は、まず、各指の指先位置から基準面Ｐ１までの距離を誤差として特定する。続いて、仮想キー設定部２５４は、例えば最小２乗法を用いて、誤差の合計を最小にする基準面Ｐ１を定める。
【0073】
仮想キー設定部２５４は、複数の指の指先位置を用いることなく基準面Ｐ１を決定してもよい。例えば、仮想キー設定部２５４は、仮想空間Ｋ２の任意の位置に基準面Ｐ１を決定してもよい。
【0074】
仮想キー設定部２５４は、基準面Ｐ１を決定すると、基準面Ｐ１に仮想キーボード３を配置する。
【0075】
仮想キー設定部２５４は、基準面Ｐ１に仮想キーボード３を配置すると、最新の指先データＪ３に基づいて、右手Ｃの中指の指先位置を特定する。右手Ｃの中指は、参照指の一例である。参照指は、右手Ｃの中指に限らず、例えば、右手Ｃの親指、右手Ｃの人差し指、右手Ｃの薬指又は右手Ｃの小指でもよい。
【0076】
仮想キー設定部２５４は、右手Ｃの中指の指先位置を特定すると、基準面Ｐ１に沿って仮想キーボード３をずらすことによって、右手Ｃの中指の指先位置に、仮想キーボード３において「Ｈ」を表す仮想キー３１を位置させる。以下、「Ｈ」を表す仮想キー３１を仮想キー３１Ｈと称する。仮想キー３１Ｈは、第１仮想キーの一例である。第1仮想キーは、仮想キー３１Ｈに限らず、仮想キー３１Ｈとは異なる仮想キー３１でもよい。仮想キー３１Ｈとは異なる仮想キー３１は、例えば、「Ｊ」を表す仮想キー３１又は「Ｋ」を表す仮想キー３１である。
【0077】
仮想キー設定部２５４は、仮想空間Ｋ２において右手Ｃの中指の指先位置に仮想キー３１Ｈを位置させると、仮想空間データＪ５を生成する。仮想空間データＪ５は、仮想キーボード３が配置された仮想空間Ｋ２を表すデータである。
【0078】
画像データ生成部２５５は、仮想空間データＪ５とカメラデータＪ４とに基づいて、画像データＨ１を生成する。カメラデータＪ４は、カメラ１１Ｌのワールド座標系ＣＳ２の座標と、カメラ１１Ｌの撮像方向を示すワールド座標系ＣＳ２の座標と、を示す。
【0079】
画像データ生成部２５５は、仮想空間データＪ５が表す仮想空間Ｋ２において、カメラデータＪ４が示すカメラ１１Ｌのワールド座標系ＣＳ２の座標位置に、仮想カメラＮ１を配置する。カメラデータＪ４が、カメラ１１Ｒのワールド座標系ＣＳ２の座標位置を示す場合、画像データ生成部２５５は、仮想空間Ｋ２において、カメラデータＪ４が示すカメラ１１Ｒのワールド座標系ＣＳ２の座標位置に、仮想カメラＮ１を配置する。カメラデータＪ４が、カメラ１１Ｌとカメラ１１Ｒの間の地点のワールド座標系ＣＳ２の座標位置を示す場合、画像データ生成部２５５は、仮想空間Ｋ２において、カメラデータＪ４が示す地点のワールド座標系ＣＳ２の座標位置に、仮想カメラＮ１を配置する。
【0080】
図９は、仮想空間Ｋ２に配置された仮想カメラＮ１の一例を示す図である。仮想カメラＮ１の撮像方向は、カメラデータＪ４が示すカメラ１１Ｌの撮像方向と一致する。カメラデータＪ４がカメラ１１Ｒの撮像方向を示す場合、仮想カメラＮ１の撮像方向は、カメラデータＪ４が示すカメラ１１Ｒの撮像方向と一致する。
【0081】
図５に示される画像データ生成部２５５は、仮想カメラＮ１が仮想空間Ｋ２を撮像することによって得られる撮像画像データを、画像データＨ１として生成する。このため、画像データＨ１は、ＭＲグラス１を装着しているユーザＡの視線に応じた画像を表す。ＭＲグラス１を装着しているユーザＡの視線に応じた画像は、例えば、仮想キーボード３を表す画像４である。
【0082】
画像データ生成部２５５は、通信装置２３に、画像データＨ１をＭＲグラス１へ送信させる。ＭＲグラス１は、画像データＨ１を受信すると、画像データＨ１が表す画像（例えば、仮想キーボード３の画像４）を表示する。このため、ユーザＡは、ＭＲグラス１に表示された仮想キーボード３を見ながら、仮想キーボード３を操作できる。
【0083】
仮想空間Ｋ２に仮想キーボード３が配置された時点からの時間の経過に伴い、ユーザＡは、ユーザＡの指と仮想キーボード３との距離を認識し難くなる。例えば、時間の経過に伴い、図１０に示されるようにユーザＡの指先位置Ｃ１が仮想キーボード３から離れてしまった場合、ユーザＡは、ユーザＡの指と仮想キーボード３との距離を認識し難くなってしまう。
【0084】
携帯機器２は、ユーザＡがユーザＡの指と仮想キーボード３との距離を再び認識可能とするために、ユーザＡの指と仮想キーボード３との位置関係を設定し直すことができる。例えば、携帯機器２は、ユーザＡの左手の指によって行われる第２ジェスチャーを検出すると、ユーザＡの右手Ｃの中指の指先位置に対応する仮想空間Ｋ２上の目標位置Ｍ１に、仮想キー３１Ｈを移動する。すなわち、携帯機器２は、第２ジェスチャーを行わない指の指先位置に対応する目標位置Ｍ１に、仮想キー３１Ｈを移動する。このように、携帯機器２では、第２ジェスチャーを行う指が、目標位置Ｍ１に対応する指と異なる。
【0085】
なお、第２ジェスチャーを行う指が、目標位置Ｍ１に対応する指と同じである場合、第２ジェスチャーの内容によっては、目標位置Ｍ１に対応する指の指先位置が検出し難くなるおそれがある。また、第２ジェスチャーを行う指が目標位置Ｍ１に対応する指と同じである場合に目標位置Ｍ１に対応する指の指先位置を検出し易くするためには、第２ジェスチャーの内容が制限される。すなわち、第２ジェスチャーの自由度が低くなる。
【0086】
携帯機器２では、第２ジェスチャーを行う指が、目標位置Ｍ１に対応する指と異なる。このため、第２ジェスチャーによって目標位置Ｍ１に対応する指の指先位置が検出し難くなることを低減でき、第２ジェスチャーの自由度が低くなることを回避可能である。
【0087】
図１１は、目標位置Ｍ１への仮想キー３１Ｈの移動の一例を示す図である。図１１において、点線によって示される仮想キーボード３及び点線によって示される仮想キー３１Ｈは、移動前の仮想キーボード３及び移動前の仮想キー３１Ｈを表す。実線によって示される仮想キーボード３及び実線によって示される仮想キー３１Ｈは、移動後の仮想キーボード３及び移動前の仮想キー３１Ｈを表す。
【0088】
図５に示されるジェスチャー検出部２５６は、第２ジェスチャーを検出する。第２ジェスチャーは、ユーザＡの指と仮想キーボード３との位置関係を設定し直すためのジェスチャーである。第２ジェスチャーは、例えば、ユーザＡの左手の人差し指を、ユーザＡの左手の中指に接触させるジェスチャーである。ユーザＡの左手の人差し指とユーザＡの左手の中指は、少なくとも１つの指の一例である。少なくとも１つの指は、ユーザＡの両手の１０本の指のうち、１本の指、２本の指、３本の指、４本の指、５本の指、６本の指、７本の指、８本の指又は９本の指である。
【0089】
第２ジェスチャーは、上述のジェスチャーに限らない。例えば、第２ジェスチャーは、ユーザＡの左手の小指の指先を、ユーザＡの左手の親指の指先に接触させるジェスチャーでもよい。第２ジェスチャーは、第１ジェスチャーと同じジェスチャーでもよい。
【0090】
ジェスチャー検出部２５６は、最新の手データＪ１を含む複数の手データＪ１に基づいて、第２ジェスチャーを検出する。手データＪ１は、ユーザＡの両手の３次元形状を示す。ジェスチャー検出部２５６は、第２ジェスチャーを検出すると、検出データＪ６を生成する。検出データＪ６は、第２ジェスチャーの検出を表すデータである。ジェスチャー検出部２５６は、検出データＪ６を仮想キー制御部２５７に提供する。
【0091】
仮想キー制御部２５７は、ユーザＡの指と仮想キーボード３との位置関係を設定し直す。仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、仮想空間Ｋ２における目標位置Ｍ１に仮想キー３１Ｈを移動する。
【0092】
仮想キー制御部２５７は、検出データＪ６を受け付けた場合、ジェスチャー検出部２５６が第２ジェスチャーを検出したと判断する。
【0093】
仮想キー制御部２５７は、検出データＪ６を受け付けると、仮想空間データＪ５に基づいて、仮想キーボード３が仮想空間Ｋ２に位置しているかを判断する。例えば、仮想キー制御部２５７は、仮想空間データＪ５を参照することによって、仮想キーボード３が仮想空間Ｋ２に位置しているかを判断する。仮想空間データＪ５が仮想キーボード３を表す場合、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置していると判断する。仮想空間データＪ５が仮想キーボード３を表さない場合、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置していないと判断する。
【0094】
なお、仮想空間データＪ５は、仮想キー設定部２５４が仮想空間Ｋ２に仮想キー３１Ｈを位置させると生成される。このため、仮想空間データＪ５が生成されている場合、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置していると判断してもよい。仮想空間データＪ５が生成されていない場合、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置していないと判断してもよい。
【0095】
仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置していると判断すると、最新の指先データＪ３が示す右手Ｃの中指の指先位置を、目標位置Ｍ１として決定する。
【0096】
右手Ｃの中指は、「少なくとも１つの指」とは異なる第１指の一例である。第１指は、右手Ｃの中指に限らず、例えば、右手Ｃの親指、右手Ｃの人差し指、右手Ｃの薬指又は右手Ｃの小指でもよい。第１指は、上述の参照指でもよい。参照指は、仮想キーボード３を仮想空間Ｋ２に位置させるために用いられる指である。第１指が参照指である構成では、ユーザＡは、第１指及び参照指として用いられる１つの指と、仮想キーボード３と、の位置関係を意識すれば、仮想キーボード３とユーザの指との位置関係を認識できる。このため、第１指が参照指と異なる構成と比べて、ユーザＡは、第１仮想キーの位置とユーザの指との位置関係を認識し易くなる。なお、第１指は、参照指と異なってもよい。
【0097】
最新の指先データＪ３が示す右手Ｃの中指の指先位置は、「指先検出部２５２が検出した第１指の指先位置に対応する仮想空間Ｋ２上の目標位置」の一例である。
【0098】
仮想キー制御部２５７は、目標位置Ｍ１を決定すると、仮想キー設定部２５４を制御することによって、仮想空間Ｋ２における目標位置Ｍ１に仮想キー３１Ｈを移動する。
【0099】
例えば、仮想キー制御部２５７は、仮想キーボード３を移動することによって仮想キー３１Ｈを目標位置Ｍ１に移動する。一例を挙げると、仮想キー制御部２５７は、第１移動指示Ｊ７を仮想キー設定部２５４に提供することによって、仮想キー設定部２５４に、仮想キーボード３を移動させて仮想キー３１Ｈを目標位置Ｍ１に移動させる。第１移動指示Ｊ７は、仮想キーボード３を移動することによって仮想キー３１Ｈを目標位置Ｍ１に移動させる指示である。仮想キー設定部２５４は、第１移動指示Ｊ７に応じて、仮想空間Ｋ２において、仮想キーボード３を移動させて仮想キー３１Ｈを目標位置Ｍ１に移動する。
【0100】
なお、仮想キーボード３が仮想空間Ｋ２に配置されていない場合、仮想キー制御部２５７は、仮想キー３１Ｈを移動しない。
【0101】
仮想キー制御部２５７は、目標位置Ｍ１を決定してから第１移動指示Ｊ７を提供するまでの期間において、仮想キー設定部２５４に、最新の指先データＪ３に基づいて基準面Ｐ１を再決定させてもよい。例えば、仮想キー制御部２５７は、目標位置Ｍ１を決定してから第１移動指示Ｊ７を提供するまでの期間において、基準面Ｐ１を再決定する指示を、仮想キー設定部２５４に提供する。基準面Ｐ１を再決定する手法は、基準面Ｐ１を決定する手法と同様である。この場合、仮想キー制御部２５７は、再決定された基準面Ｐ１上で仮想キーボード３を移動することによって、仮想キー３１Ｈを目標位置Ｍ１に移動する。
【0102】
仮想キー設定部２５４は、仮想キーボード３を移動すると、仮想空間データＪ５を更新する。更新後の仮想空間データＪ５は、移動後の仮想キーボード３が位置する仮想空間Ｋ２を表す。
【0103】
操作検出部２５８は、仮想キーボード３に対する操作を検出する。例えば、操作検出部２５８は、最新の仮想空間データＪ５と、最新の指先データＪ３と、に基づいて、仮想キーボード３に対する操作を検出する。例えば、最新の指先データＪ３が示す複数の指先位置のいずれかが、仮想キーボード３の仮想キー３１のいずれかの中に入る場合、操作検出部２５８は、指先位置が入った仮想キー３１への操作を検出する。操作検出部２５８は、仮想キーボード３に対する操作の検出結果に基づいて、キー操作処理を実行する。キー操作処理は、操作された仮想キー３１に対応づけられた処理である。例えば、仮想キー３１Ｈが操作された場合、操作検出部２５８は、キー操作処理として、「Ｈ」という文字を入力する処理を実行する。
【0104】
Ａ４：動作の説明
携帯機器２の動作を説明する。まず、仮想キーボード３を仮想空間Ｋ２に配置する動作を説明する。続いて、仮想キーボード３を移動する動作を説明する。
携帯機器２の動作を説明する。まず、仮想キーボード３を仮想空間Ｋ２に配置する動作を説明する。続いて、仮想キーボード３を移動する動作を説明する。
【0105】
図１２は、仮想キーボード３を仮想空間Ｋ２に配置する動作の一例を説明するための図である。
【0106】
ステップＳ１０１において手データ生成部２５１は、画像データＤ１及びＤ２に基づいて、手データＪ１を生成する。手データＪ１は、ユーザＡの両手の３次元形状をローカル座標系ＣＳ１の座標によって示すデータである。
【0107】
続いて、ステップＳ１０２において指先検出部２５２は、手データＪ１に基づいて、指先データＪ２を生成する。指先データＪ２は、ユーザＡの左右の手の各指の指先位置をローカル座標系ＣＳ１の座標によって示すデータである。
【0108】
続いて、ステップＳ１０３において座標変換部２５３は、指先データＪ２と加速度データＥ１と角加速度データＥ２とに基づいて、指先データＪ３を生成する。指先データＪ３は、指先データＪ２が示す各指の指先位置をワールド座標系ＣＳ２の座標によって示すデータである。
【0109】
続いて、ステップＳ１０４において座標変換部２５３は、加速度データＥ１と角加速度データＥ２に基づいて、カメラデータＪ４を生成する。カメラデータＪ４は、カメラ１１Ｌのワールド座標系ＣＳ２の座標と、カメラ１１Ｌの撮像方向を示すワールド座標系ＣＳ２の座標と、を示すデータである。ステップＳ１０４は、ステップＳ１０３が実行される前に実行されてもよい。
【0110】
続いて、ステップＳ１０５において仮想キー設定部２５４は、タイミングｔ１に応じて、仮想キーボード３を仮想空間Ｋ２に位置させる。タイミングｔ１は、例えば、ユーザＡが入力装置２１に入力した「キーボード設定指示」を仮想キー設定部２５４が受け付けるタイミングである。
【0111】
ステップＳ１０５では仮想キー設定部２５４は、例えば、右手Ｃの複数の指の指先位置に基づいて、基準面Ｐ１を仮想空間Ｋ２内に決定する。仮想キー設定部２５４は、基準面Ｐ１を決定すると、基準面Ｐ１に仮想キーボード３を配置する。仮想キー設定部２５４は、基準面Ｐ１に仮想キーボード３を配置すると、最新の指先データＪ３に基づいて、右手Ｃの中指の指先位置を特定する。仮想キー設定部２５４は、右手Ｃの中指の指先位置を特定すると、基準面Ｐ１に沿って仮想キーボード３をずらすことによって、右手Ｃの中指の指先位置に、「Ｈ」を表す仮想キー３１Ｈを位置させる。
【0112】
図１３は、仮想キーボード３を移動する動作の一例を説明するための図である。ジェスチャー検出部２５６は、ステップＳ２０１において手データＪ１に基づいて第２ジェスチャーを検出すると、ステップＳ２０２において検出データＪ６を生成する。第２ジェスチャーは、例えば、ユーザＡの左手の人差し指を、ユーザＡの左手の中指に接触させるジェスチャーである。検出データＪ６は、第２ジェスチャーの検出を表すデータである。
【0113】
続いて、ステップＳ２０３において仮想キー制御部２５７は、仮想空間データＪ５に基づいて、仮想キーボード３が仮想空間Ｋ２に位置するかを判断する。
【0114】
仮想キー制御部２５７は、ステップＳ２０３において仮想キーボード３が仮想空間Ｋ２に位置していると判断すると、ステップＳ２０４において指先データＪ３に基づいて目標位置Ｍ１を決定する。目標位置Ｍ１は、最新の指先データＪ３が示す右手Ｃの中指の指先位置である。
【0115】
続いて、ステップＳ２０５において仮想キー制御部２５７は、仮想キー設定部２５４を制御することによって、仮想空間Ｋ２における目標位置Ｍ１に仮想キー３１Ｈを移動する。このため、ＭＲグラス１を装着しているユーザＡは、仮想キーボード３が右手Ｃの中指の指先に吸い付くような感覚を得る。
【0116】
ステップＳ２０１においてジェスチャー検出部２５６が第２ジェスチャーを検出しない場合、図１３に示される処理が終了する。ステップＳ２０３において仮想キーボード３が仮想空間Ｋ２に位置していない場合、図１３に示される処理が終了する。
【0117】
Ａ５：第１実施形態のまとめ
仮想キー設定部２５４は、仮想キー３１Ｈを仮想空間Ｋ２に位置させる。ジェスチャー検出部２５６は、ユーザＡの左手の人差し指をユーザＡの左手の中指に接触させる第２ジェスチャーを検出する。指先検出部２５２は、ユーザＡの左右の手の各指の指先位置を検出する。このため、指先検出部２５２は、少なくとも、ユーザＡの右手Ｃの中指の指先位置を検出する。仮想キー制御部２５７は、仮想キー３１Ｈが仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、指先検出部２５２が検出したユーザＡの右手Ｃの中指の指先位置に対応する仮想空間Ｋ２上の目標位置Ｍ１に仮想キー３１Ｈを移動する。
仮想キー設定部２５４は、仮想キー３１Ｈを仮想空間Ｋ２に位置させる。ジェスチャー検出部２５６は、ユーザＡの左手の人差し指をユーザＡの左手の中指に接触させる第２ジェスチャーを検出する。指先検出部２５２は、ユーザＡの左右の手の各指の指先位置を検出する。このため、指先検出部２５２は、少なくとも、ユーザＡの右手Ｃの中指の指先位置を検出する。仮想キー制御部２５７は、仮想キー３１Ｈが仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、指先検出部２５２が検出したユーザＡの右手Ｃの中指の指先位置に対応する仮想空間Ｋ２上の目標位置Ｍ１に仮想キー３１Ｈを移動する。
【0118】
ジェスチャー検出部２５６は、仮想キー３１Ｈの移動先に対応する右手Ｃの中指とは異なる指によって行われるジェスチャーを検出する。このため、仮想キー３１Ｈの移動先に対応する右手Ｃの中指によってジェスチャーが行われる状況を回避できる。よって、右手Ｃの中指によって行われるジェスチャーによってユーザＡの右手Ｃの中指の指先位置を検出し難くなるという課題を解決できる。
【0119】
仮想キー３１Ｈは、第１仮想キーの一例である。第１仮想キーは、仮想キーボード３に含まれる仮想キー３１のいずれかである。第１仮想キーは、仮想キーボード３に含まれる仮想キー３１のいずれかに限らない。例えば、第１仮想キーは、仮想キーボード３に含まれない仮想キーでもよい。仮想キーボード３に含まれない仮想キーは、例えば、動画用の仮想ＰＬＡＹキー又は動画用の仮想停止キーである。
【0120】
仮想キー３１Ｈの移動先に対応する右手Ｃの中指は、第１指の一例である。第１指は、右手Ｃの中指に限らない。第１指は、ユーザＡの左右の手の１０本の指のうち、いずれか１つの指であればよい。
【0121】
第２ジェスチャーを行うユーザＡの左手の人差し指及びユーザＡの左手の中指は、第２ジェスチャーを行う少なくとも１つの指の一例である。第２ジェスチャーを行う少なくとも１つの指は、ユーザＡの左手の人差し指とユーザＡの左手の中指に限らない。第２ジェスチャーを行う少なくとも１つの指は、ユーザＡの左右の手の１０本の指のうち、第１指と異なる１以上の指であればよい。
【0122】
第１実施形態では、第２ジェスチャーを行う指と第１指との組合せは、左手の指と右手Ｃの指との組合せである。左手の指と右手Ｃの指との組合せは、相互に異なる手の指の組合せを意味する。第２ジェスチャーを行う指と第１指との組合せは、相互に異なる手の指の組合せに限らない。例えば、第２ジェスチャーを行う指と第１指との組合せは、同じ手の異なる指の組合せでもよい。同じ手の異なる指の組合せは、例えば、右手Ｃの親指と右手Ｃの人差し指との組合せ、又は、左手の人差し指と左手の中指との組合せである。
【0123】
仮想キー設定部２５４は、仮想キーボード３を仮想空間Ｋ２に位置させることによって仮想キー３１Ｈを仮想空間Ｋ２に位置させる。仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、仮想キー３１Ｈを目標位置Ｍ１に移動する。このため、仮想キーボード３に含まれる仮想キーを目標位置Ｍ１に移動できる。
【0124】
仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、仮想キーボード３を移動することによって仮想キー３１Ｈを目標位置Ｍ１に移動する。このため、第２ジェスチャーに応じて仮想キーボード３の全体を移動できる。
【0125】
Ｂ：変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
【0126】
Ｂ１：第１変形例
第１実施形態において、仮想キー制御部２５７は、仮想キーボード３を移動することによって第１仮想キー（例えば、仮想キー３１Ｈ）を目標位置Ｍ１に移動する代わりに、複数の仮想キー３１のうち第１仮想キーとは異なる仮想キー３１を移動せずに、第１仮想キーを目標位置Ｍ１に移動してもよい。
第１実施形態において、仮想キー制御部２５７は、仮想キーボード３を移動することによって第１仮想キー（例えば、仮想キー３１Ｈ）を目標位置Ｍ１に移動する代わりに、複数の仮想キー３１のうち第１仮想キーとは異なる仮想キー３１を移動せずに、第１仮想キーを目標位置Ｍ１に移動してもよい。
【0127】
例えば、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、第２移動指示を、仮想キー設定部２５４に提供する。第２移動指示は、複数の仮想キー３１のうち第１仮想キー（例えば、仮想キー３１Ｈ）とは異なる仮想キー３１を移動せずに、第１仮想キーを目標位置Ｍ１に移動させる指示である。仮想キー設定部２５４は、第２移動指示に応じて、仮想空間Ｋ２において、複数の仮想キー３１のうち第１仮想キーとは異なる仮想キー３１を移動せずに、第１仮想キーを目標位置Ｍ１に移動する。
【0128】
第１変形例によれば、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、複数の仮想キー３１のうち第１仮想キーとは異なる仮想キー３１を移動せずに、第１仮想キーを目標位置Ｍ１に移動する。このため、ユーザＡが第１仮想キーのみの操作を希望する場合、移動する必要のない仮想キー３１を移動することを避けられる。よって、移動する必要のない仮想キー３１を移動する処理を低減できる。
【0129】
なお、第１変形例では、移動後の第１仮想キーが他の仮想キー３１と重なる可能性がある。第１仮想キーが他の仮想キー３１と重なる場合、ユーザＡが第１仮想キーを操作したにも関わらず、操作検出部２５８が、他の仮想キー３１への操作を検出してしまう可能性がある。このため、第１仮想キーが他の仮想キー３１と重なる場合、操作検出部２５８は、第１仮想キーと重なる仮想キー３１への操作を無効にしてもよい。この場合、ユーザＡが第１仮想キーを操作したにも関わらず、操作検出部２５８が、他の仮想キー３１への操作を検出することを防ぐことができる。
【0130】
Ｂ２：第２変形例
第１実施形態および第１変形例では、第１仮想キーは固定される。例えば、仮想キー３１Ｈが第１仮想キーとして固定される。
第１実施形態および第１変形例では、第１仮想キーは固定される。例えば、仮想キー３１Ｈが第１仮想キーとして固定される。
【0131】
しかしながら、第１実施形態および第１変形例において、第１仮想キーは変更されてもよい。例えば、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを第１仮想キーとして決定してもよい。
【0132】
この場合、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを、目標位置Ｍ１に移動する。
【0133】
例えば、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、まず、最新の仮想空間データＪ５を取得する。
【0134】
続いて、仮想キー制御部２５７は、最新の仮想空間データＪ５を参照することによって、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを、第１仮想キーとして決定する。
【0135】
続いて、仮想キー制御部２５７は、第１仮想キーを目標位置Ｍ１に移動する。例えば、仮想キー制御部２５７は、第３移動指示を仮想キー設定部２５４に提供することによって、仮想キー設定部２５４に、第１仮想キーを目標位置Ｍ１に移動させる。第３移動指示は、第１仮想キーとして決定された仮想キー３１を、仮想キーボード３を移動することによって目標位置Ｍ１に移動させる指示である。仮想キー設定部２５４は、第３移動指示に応じて、仮想空間Ｋ２において、仮想キーボード３を移動させて第1仮想キーを目標位置Ｍ１に移動する。
【0136】
仮想キー制御部２５７は、第４移動指示を仮想キー設定部２５４に提供することによって、仮想キー設定部２５４に、第１仮想キーを目標位置Ｍ１に移動させてもよい。第４移動指示は、複数の仮想キー３１のうち第１仮想キーとして決定された仮想キーとは異なる仮想キー３１を移動せずに、第１仮想キーとして決定された仮想キーを目標位置Ｍ１に移動させる指示である。仮想キー設定部２５４は、第４移動指示に応じて、仮想空間Ｋ２において、複数の仮想キー３１のうち第１仮想キーとして決定された仮想キーとは異なる仮想キー３１を移動せずに、第１仮想キーとして決定された仮想キーを目標位置Ｍ１に移動する。
【0137】
第２変形例によれば、仮想キー制御部２５７は、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを、第１仮想キーとして決定する。目標位置Ｍ１は、ユーザＡの第１指（例えば、ユーザＡの右手Ｃの中指）の指先位置に応じた位置である。このため、ユーザＡは、第１指の位置を変更することによって、第１仮想キーを変更できる。
【0138】
また、仮想キー制御部２５７は、仮想キーボード３が仮想空間Ｋ２に位置する状況においてジェスチャー検出部２５６が第２ジェスチャーを検出した場合、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを、目標位置Ｍ１に移動する。このため、ユーザＡは、第１指を操作対象の仮想キーに近づけた状態で第２ジェスチャーを行うことによって、操作対象の仮想キーを第１指によって操作しやすい位置に移動できる。
【0139】
Ｂ３：第３変形例
第１実施形態および第１変形例から第２変形例では、ユーザＡは、例えば右手Ｃの人差し指を移動することによって、右手Ｃの人差し指を操作対象の仮想キー３１の場所に位置させる。
第１実施形態および第１変形例から第２変形例では、ユーザＡは、例えば右手Ｃの人差し指を移動することによって、右手Ｃの人差し指を操作対象の仮想キー３１の場所に位置させる。
【0140】
しかしながら、電車の中などの環境及びユーザＡの姿勢によって、右手Ｃの人差し指の移動範囲は制限される。
【0141】
このため、第１実施形態および第１変形例から第２変形例において、例えば、「ユーザＡの右手Ｃ」とは異なる「ユーザＡの左手」の動きに基づいて、仮想キーボード３の位置が変更されてもよい。
【0142】
この場合、ユーザＡの左手によって仮想キーボード３を移動できるので、ユーザＡの左手によって仮想キーボード３を移動できない構成に比べて、ユーザＡの右手Ｃの移動距離を短くできる。
【0143】
図１４は、仮想キーボード３を移動せずに右手Ｃが「Ａ」を示す仮想キー３１に移動する場合と、左手によって仮想キーボード３を移動させて右手Ｃを「Ａ」を示す仮想キー３１に移動する場合と、を示す図である。図１４において、移動距離Ｌ１は、仮想キーボード３を移動せずに右手Ｃのみが「Ａ」を示す仮想キー３１に移動する場合での移動距離である。移動距離Ｌ２は、左手によって仮想キーボード３を移動させて右手Ｃを「Ａ」を示す仮想キー３１に移動する場合における移動距離である。図１４に示されるように、移動距離Ｌ２は移動距離Ｌ１よりも短くなる。
【0144】
右手Ｃは、第１手の一例である。第１手は、右手Ｃに限らず、第１指を有する手であればよい。ユーザＡの左手は、第２手の一例である。第２手は、ユーザＡの左手に限らず、第１手とは異なる手であればよい。
【0145】
【0146】
携帯機器２Ａは、携帯機器２が有する構成要素に加えて、動き検出部２５９と位置変更部２６０を含む。携帯機器２Ａの記憶装置２４は、プログラムＰＧ２の代わりに、プログラムＰＧ３を記憶する。携帯機器２Ａの処理装置２５は、記憶装置２４からプログラムＰＧ３を読み取る。携帯機器２Ａの処理装置２５は、プログラムＰＧ３を実行することによって、手データ生成部２５１、指先検出部２５２、座標変換部２５３、仮想キー設定部２５４、画像データ生成部２５５、ジェスチャー検出部２５６、仮想キー制御部２５７、操作検出部２５８、動き検出部２５９、及び位置変更部２６０として機能する。手データ生成部２５１、指先検出部２５２、座標変換部２５３、仮想キー設定部２５４、画像データ生成部２５５、ジェスチャー検出部２５６、仮想キー制御部２５７、操作検出部２５８、動き検出部２５９、及び位置変更部２６０のうち少なくとも１つは、ＤＳＰ、ＡＳＩＣ及びＦＰＧＡ等の回路によって構成されてもよい。
【0147】
動き検出部２５９は、ユーザＡの左手の動きを検出する。例えば、動き検出部２５９は、手データＪ１に基づいて、ユーザＡの左手の動きを検出する。動き検出部２５９は、ユーザＡの左手の動きとして、第２ジェスチャーを行うユーザＡの左手の指の動きを検出する。第２ジェスチャーを行うユーザＡの左手の指は、例えば、ユーザＡの左手の人差し指を、ユーザＡの左手の中指である。ユーザＡの左手の動きは、第２ジェスチャーを行うユーザＡの左手の指の動きに限らず、ユーザＡの左手の指のうち、第２ジェスチャーを行うユーザＡの左手の指とは異なる指でもよい。動き検出部２５９は、ユーザＡの左手の動きとして、第２ジェスチャーを行うユーザＡの左手の指の移動方向と、第２ジェスチャーを行うユーザＡの左手の指の移動距離と、を検出する。動き検出部２５９は、ユーザＡの左手の動きの検出結果に基づいて、動き検出データＪ８を生成する。動き検出データＪ８は、第２ジェスチャーを行うユーザＡの左手の指の移動方向と、第２ジェスチャーを行うユーザＡの左手の指の移動距離と、を示すデータである。
【0148】
動き検出部２５９は、ユーザＡの左手のワールド座標系ＣＳ２の座標位置が、仮想キーボード３と接触する位置である状況において、ユーザＡの左手の動きを検出してもよい。換言すると、ＭＲグラス１を装着しているユーザＡが、ユーザＡの左手の一部を、ＭＲグラス１に表示される仮想キーボード３と重ねる状況において、動き検出部２５９は、ユーザＡの左手の動きを検出してもよい。この場合、動き検出部２５９は、例えば、仮想空間データＪ５と指先データＪ３とに基づいて、ユーザＡの左手のワールド座標系ＣＳ２の座標位置が、仮想キーボード３と接触する位置であるか否かを判断する。
【0149】
位置変更部２６０は、動き検出部２５９によって検出されたユーザＡの左手の動きに基づいて、仮想キーボード３の位置を変更する。例えば、位置変更部２６０は、仮想空間Ｋ２において、動き検出データＪ８が示す移動方向に、動き検出データＪ８が示す移動距離だけ、仮想キーボード３を移動する。一例を挙げると、位置変更部２６０は、キーボード移動指示を仮想キー設定部２５４に提供することによって仮想キーボード３の位置を変更する。キーボード移動指示は、仮想空間Ｋ２において、動き検出データＪ８が示す移動方向に、動き検出データＪ８が示す移動距離だけ、仮想キーボード３を移動させる指示である。仮想キー設定部２５４は、キーボード移動指示に応じて、仮想空間Ｋ２において、動き検出データＪ８が示す移動方向に、動き検出データＪ８が示す移動距離だけ、仮想キーボード３を移動する。
【0150】
画像データ生成部２５５は、位置変更部２６０が実行する仮想キーボード３の移動に応じて、ＭＲグラス１に、仮想キーボード３をスクロール表示させてもよい。例えば、画像データ生成部２５５は、位置変更部２６０が実行する仮想キーボード３の移動を仮想カメラＮ１にて撮像することによって得られる撮像画像データを生成する。画像データ生成部２５５は、撮像画像データを編集することによって、仮想キーボード３のスクロールを表す画像データＨ１を生成する。画像データ生成部２５５は、当該画像データＨ１を通信装置２３からＭＲグラス１に送信することによって、ＭＲグラス１に、仮想キーボード３をスクロール表示させる。ＭＲグラス１は、当該画像データＨ１に基づいて、仮想キーボード３をスクロール表示する。画像データ生成部２５５は、第１表示制御部の一例である。
ＭＲグラス１は、表示装置の一例である。
ＭＲグラス１は、表示装置の一例である。
【0151】
第３変形例によれば、ユーザＡの左手によって仮想キーボード３を移動できる。このため、ユーザＡの左手によって仮想キーボード３を移動できない構成に比べて、ユーザＡの右手Ｃの移動距離を短くできる。
【0152】
仮想キーボード３を移動するための第２手は、第２ジェスチャーを行う指を有する手（例えば、左手）である。このため、ユーザＡに、第２ジェスチャーを行う指を有する第２手（例えば、左手）を、仮想キーボード３の移動に関する手と認識させ、かつ、第２手とは異なる第１手（例えば、右手）を、仮想キー３１を操作する手と認識させることができる。よって、ユーザＡは、仮想キーボード３の移動に関する手と、仮想キー３１を操作する手を、混同し難くなる。
【0153】
動き検出部２５９は、第２手の動きとして、第２ジェスチャーを行うユーザＡの左手の指の動きを検出する。このため、ユーザＡは、第２ジェスチャーを行う指によって仮想キーボード３を移動できる。
【0154】
画像データ生成部２５５が、位置変更部２６０が実行する仮想キーボード３の移動に応じて、ＭＲグラス１に、仮想キーボード３をスクロール表示させる場合、ユーザＡに、仮想キーボード３の移動をスクロール表示によって知らせることができる。
【0155】
Ｂ４：第４変形例
第１実施形態および第１変形例から第３変形例において、画像データ生成部２５５は、ＭＲグラス１に、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを拡大表示させてもよい。
第１実施形態および第１変形例から第３変形例において、画像データ生成部２５５は、ＭＲグラス１に、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを拡大表示させてもよい。
【0156】
【0157】
例えば、画像データ生成部２５５は、最新の仮想空間データＪ５を参照することによって、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを、近接仮想キーとして決定する。画像データ生成部２５５は、仮想空間Ｋ２を仮想カメラＮ１にて撮像することによって得られる撮像画像データを生成する。画像データ生成部２５５は、撮像画像データを編集することによって、近接仮想キーのみを拡大表示した画像を表す画像データＨ１を生成する。画像データ生成部２５５は、当該画像データＨ１を通信装置２３からＭＲグラス１に送信することによって、ＭＲグラス１に、近接仮想キーを拡大表示させる。ＭＲグラス１は、当該画像データＨ１に基づいて、近接仮想キーを拡大表示する。画像データ生成部２５５は、第２表示制御部の一例である。ＭＲグラス１は、表示装置の一例である。
【0158】
第４変形例によれば、画像データ生成部２５５は、ＭＲグラス１に、複数の仮想キー３１の中で目標位置Ｍ１に最も近い仮想キーを拡大表示させる。目標位置Ｍ１に最も近い仮想キーは、操作対象の仮想キー３１である可能性が高い。このため、操作対象の仮想キー３１を拡大表示することができる。よって、操作対象の仮想キー３１を拡大表示しない構成に比べて、ユーザＡに操作対象の仮想キー３１を認識させ易くできる。
【0159】
Ｂ５：第５変形例
第１実施形態および第１変形例から第４変形例において、ジェスチャー検出部２５６は、手データＪ１とは異なるデータに基づいて、第２ジェスチャーを検出してもよい。
第１実施形態および第１変形例から第４変形例において、ジェスチャー検出部２５６は、手データＪ１とは異なるデータに基づいて、第２ジェスチャーを検出してもよい。
【0160】
ＭＲグラス１の操作ボタン１５が、ユーザＡの左手の指での操作を受け付けるためにＭＲグラス１の胴部９４に位置するとする。さらに、第２ジェスチャーが、操作ボタン１５を押すというジェスチャーであるとする。この場合、ジェスチャー検出部２５６は、包括データＧ１に含まれる操作データＦ１に基づいて、第２ジェスチャーを検出する。
【0161】
第５変形例によれば、手データＪ１を用いることなく、第２ジェスチャーを検出できる。
【0162】
Ｂ６：第６変形例
第１実施形態および第１変形例から第５変形例において、指先検出部２５２は、指先に装着された位置検出装置の出力に基づいて、指先位置を検出してもよい。
第１実施形態および第１変形例から第５変形例において、指先検出部２５２は、指先に装着された位置検出装置の出力に基づいて、指先位置を検出してもよい。
【0163】
第６変形例によれば、手データＪ１を用いることなく、指先位置を検出できる。
【0164】
Ｂ７：第７変形例
携帯機器２又は２Ａの処理装置２５によって実現される各要素は、ＭＲグラス１の処理装置１８によって実現されてもよい。この場合、ＭＲグラス１は、情報処理装置の一例である。
携帯機器２又は２Ａの処理装置２５によって実現される各要素は、ＭＲグラス１の処理装置１８によって実現されてもよい。この場合、ＭＲグラス１は、情報処理装置の一例である。
【0165】
第７変形例によれば、携帯機器２を省略できる。
【0166】
Ｃ：その他
（１）図４、図５又は図１５に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。各機能の実現方法は特に限定されない。各機能は、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続することによって構成される装置を用いて実現されてもよい。各機能は、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（１）図４、図５又は図１５に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。各機能の実現方法は特に限定されない。各機能は、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続することによって構成される装置を用いて実現されてもよい。各機能は、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0167】
（２）本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
【0168】
（３）第１実施形態及び第１変形例～第７変形例の各々においては、記憶装置１７及び記憶装置２４は、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリー（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
【0169】
（４）第１実施形態及び第１変形例～第７変形例の各々は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTA-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、6th generation mobile communication system（６Ｇ）、xth generation mobile communication system（ｘＧ）（ｘは、例えば整数又は小数）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、New radio access（ＮＸ）、Future generation radio access（ＦＸ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。
【0170】
（５）第１実施形態及び第１変形例～第７変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0171】
（６）第１実施形態及び第１変形例～第７変形例の各々において、入出力された情報等は特定の場所（例えば、メモリー）に保存されてもよいし、管理テーブルを用いて管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0172】
（７）第１実施形態及び第１変形例～第７変形例の各々において、判断は、１ビットによって表される値（０か１か）に基づいて行われてもよいし、真偽値（Boolean：true又はfalse）に基づいて行われてもよいし、数値の比較（例えば、所定の値との比較）に基づいて行われてもよい。
【0173】
（８）第１実施形態及び第１変形例～第７変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0174】
（９）第１実施形態及び第１変形例～第７変形例の各々において説明したデータなどは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。なお、本明細書において説明した用語及び本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
【0175】
（１０）第１実施形態及び第１変形例～第７変形例の各々において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0176】
（１１）第１実施形態及び第１変形例～第７変形例の各々において、ＭＲグラス１、携帯機器２及び携帯機器２Ａの少なくとも一方は、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
【0177】
（１２）移動局は、送信装置、受信装置又は通信装置などと呼ばれてもよい。移動局は、移動体に搭載されたデバイス、又は移動体自体などであってもよい。移動体は、移動可能な物体を意味する。移動体の移動速度は任意である。移動体は、停止可能である。移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶（ship and other watercraft）、飛行機、ロケット、人工衛星、ドローン（登録商標）、マルチコプター、クアッドコプター、気球、及びこれらに搭載される物を含み、またこれらに限らない。移動体は、運行指令に基づいて自律走行する移動体であってもよい。移動体は、乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよし、ロボット（有人型又は無人型）であってもよい。移動局は、必ずしも通信動作時に移動しない装置も含む。例えば、移動局は、センサなどのＩｏＴ（Internet of Things）機器であってもよい。
【0178】
（１３）第１実施形態及び第１変形例～第７変形例の各々において、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「決定」したとみなす事などを含み得る。また、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリー中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。また、「決定」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0179】
（１４）第１実施形態及び第１変形例～第７変形例の各々において、「接続された(connected)」という用語、又はこれのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0180】
（１５）第１実施形態及び第１変形例～第７変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0181】
（１６）本明細書において使用する「第１」及び「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること又は何らかの形において第１要素が第２要素に先行しなければならないことを意味しない。
【0182】
（１７）第１実施形態及び第１変形例～第７変形例の各々において「含む（include）」、「含んでいる（including）」及びそれらの変形が、本明細書あるいは特許請求の範囲において使用されている場合、これら用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0183】
（１８）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0184】
（１９）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
【0185】
Ｄ：上述の形態又は変形例から把握される態様
上述の形態又は変形例の少なくとも１つから以下の態様が把握される。
上述の形態又は変形例の少なくとも１つから以下の態様が把握される。
【0186】
Ｄ１：第１態様
第１態様に係る情報処理装置は、仮想キー設定部と、ジェスチャー検出部と、指先検出部と、仮想キー制御部と、を含む。仮想キー設定部は、第１仮想キーを仮想空間に位置させる。ジェスチャー検出部は、少なくとも１つの指によって行われるジェスチャーを検出する。指先検出部は、前記少なくとも１つの指とは異なる第１指の指先位置を検出する。仮想キー制御部は、前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する。
第１態様に係る情報処理装置は、仮想キー設定部と、ジェスチャー検出部と、指先検出部と、仮想キー制御部と、を含む。仮想キー設定部は、第１仮想キーを仮想空間に位置させる。ジェスチャー検出部は、少なくとも１つの指によって行われるジェスチャーを検出する。指先検出部は、前記少なくとも１つの指とは異なる第１指の指先位置を検出する。仮想キー制御部は、前記第１仮想キーが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記指先検出部が検出した前記第１指の指先位置に対応する前記仮想空間上の目標位置に前記第１仮想キーを移動する。
【0187】
この態様によれば、仮想キーが正しい位置とは異なる位置に設定されることを低減することができる。
【0188】
Ｄ２：第２態様
第１態様の例（第２態様）において、前記第１仮想キーは、仮想キーボードが有する複数の仮想キーのいずれかである。前記仮想キー設定部は、前記仮想キーボードを前記仮想空間に位置させることによって前記第１仮想キーを前記仮想空間に位置させる。前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記第１仮想キーを前記目標位置に移動する。この態様によれば、仮想キーボードに含まれる仮想キーを目標位置に移動できる。
第１態様の例（第２態様）において、前記第１仮想キーは、仮想キーボードが有する複数の仮想キーのいずれかである。前記仮想キー設定部は、前記仮想キーボードを前記仮想空間に位置させることによって前記第１仮想キーを前記仮想空間に位置させる。前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記第１仮想キーを前記目標位置に移動する。この態様によれば、仮想キーボードに含まれる仮想キーを目標位置に移動できる。
【0189】
Ｄ３：第３態様
第２態様の例（第３態様）において、前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記複数の仮想キーのうち前記第１仮想キーとは異なる仮想キーを移動せずに、前記第１仮想キーを前記目標位置に移動する。この態様によれば、例えば、ユーザが第１仮想キーのみの操作を希望する場合、移動する必要のない仮想キーを移動することを避けられる。よって、移動する必要のない仮想キーを移動する処理を低減できる。
第２態様の例（第３態様）において、前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記複数の仮想キーのうち前記第１仮想キーとは異なる仮想キーを移動せずに、前記第１仮想キーを前記目標位置に移動する。この態様によれば、例えば、ユーザが第１仮想キーのみの操作を希望する場合、移動する必要のない仮想キーを移動することを避けられる。よって、移動する必要のない仮想キーを移動する処理を低減できる。
【0190】
Ｄ４：第４態様
第２態様の例（第４態様）において、前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記仮想キーボードを移動することによって前記第１仮想キーを前記目標位置に移動する。この態様によれば、ジェスチャーに応じて仮想キーボードの全体を移動できる。
第２態様の例（第４態様）において、前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記仮想キーボードを移動することによって前記第１仮想キーを前記目標位置に移動する。この態様によれば、ジェスチャーに応じて仮想キーボードの全体を移動できる。
【0191】
Ｄ５：第５態様
第２態様から第４態様のいずれかの例（第５態様）において、前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記複数の仮想キーの中で前記目標位置に最も近い仮想キーを、前記第１仮想キーとして、前記目標位置に移動する。この態様によれば、ユーザは、第１指を操作対象の仮想キーに近づけた状態でジェスチャーを行うことによって、操作対象の仮想キーを第１指によって操作しやすい位置に移動できる。
第２態様から第４態様のいずれかの例（第５態様）において、前記仮想キー制御部は、前記仮想キーボードが前記仮想空間に位置する状況において前記ジェスチャー検出部が前記ジェスチャーを検出した場合、前記複数の仮想キーの中で前記目標位置に最も近い仮想キーを、前記第１仮想キーとして、前記目標位置に移動する。この態様によれば、ユーザは、第１指を操作対象の仮想キーに近づけた状態でジェスチャーを行うことによって、操作対象の仮想キーを第１指によって操作しやすい位置に移動できる。
【0192】
Ｄ６：第６態様
第２態様から第５態様のいずれかの例（第６態様）において、前記第１指を有する第１手とは異なる第２手の動きを検出する動き検出部と、前記動き検出部によって検出された前記第２手の動きに基づいて、前記仮想キーボードの位置を変更する位置変更部と、をさらに含む。この態様によれば、第２手によって仮想キーボードを移動できる。このため、第２手によって仮想キーボードを移動できない構成に比べて、操作対象の仮想キーを操作するために必要な第１手の移動距離を短くできる。
第２態様から第５態様のいずれかの例（第６態様）において、前記第１指を有する第１手とは異なる第２手の動きを検出する動き検出部と、前記動き検出部によって検出された前記第２手の動きに基づいて、前記仮想キーボードの位置を変更する位置変更部と、をさらに含む。この態様によれば、第２手によって仮想キーボードを移動できる。このため、第２手によって仮想キーボードを移動できない構成に比べて、操作対象の仮想キーを操作するために必要な第１手の移動距離を短くできる。
【0193】
Ｄ７：第７態様
第６態様の例（第７態様）において、前記位置変更部が実行する前記仮想キーボードの位置の変更に応じて、表示装置に、前記仮想キーボードをスクロール表示させる第１表示制御部を、さらに含む。この態様によれば、ユーザに、仮想キーボードの移動をスクロール表示によって知らせることができる。
第６態様の例（第７態様）において、前記位置変更部が実行する前記仮想キーボードの位置の変更に応じて、表示装置に、前記仮想キーボードをスクロール表示させる第１表示制御部を、さらに含む。この態様によれば、ユーザに、仮想キーボードの移動をスクロール表示によって知らせることができる。
【0194】
Ｄ８：第８態様
第６態様又は第７態様の例（第８態様）において、前記第２手は、前記少なくとも１つの指を有する手である。この態様によれば、ユーザに、ジェスチャーを行う指を有する第２手を、仮想キーボードの移動に関する手と認識させ、かつ、第２手とは異なる第１手を、仮想キーを操作する手と認識させることができる。よって、ユーザは、仮想キーボードの移動に関する手と、仮想キーを操作する手を、混同し難くなる。
第６態様又は第７態様の例（第８態様）において、前記第２手は、前記少なくとも１つの指を有する手である。この態様によれば、ユーザに、ジェスチャーを行う指を有する第２手を、仮想キーボードの移動に関する手と認識させ、かつ、第２手とは異なる第１手を、仮想キーを操作する手と認識させることができる。よって、ユーザは、仮想キーボードの移動に関する手と、仮想キーを操作する手を、混同し難くなる。
【0195】
Ｄ９：第９態様
第８態様の例（第９態様）において、前記動き検出部は、前記第２手の動きとして、前記少なくとも１つの指の動きを検出する。この態様によれば、ユーザは、ジェスチャーを行う指によって仮想キーボードを移動できる。
第８態様の例（第９態様）において、前記動き検出部は、前記第２手の動きとして、前記少なくとも１つの指の動きを検出する。この態様によれば、ユーザは、ジェスチャーを行う指によって仮想キーボードを移動できる。
【0196】
Ｄ１０：第１０態様
第２態様から第９態様のいずれかの例（第１０態様）において、表示装置に、前記複数の仮想キーの中で前記目標位置に最も近い仮想キーを拡大表示させる第２表示制御部を、さらに含む。目標位置に最も近い仮想キーは、操作対象の仮想キーである可能性が高い。このため、この態様によれば、操作対象の仮想キーを拡大表示することができる。よって、操作対象の仮想キーを拡大表示しない構成に比べて、ユーザに操作対象の仮想キーを認識させ易くできる。
第２態様から第９態様のいずれかの例（第１０態様）において、表示装置に、前記複数の仮想キーの中で前記目標位置に最も近い仮想キーを拡大表示させる第２表示制御部を、さらに含む。目標位置に最も近い仮想キーは、操作対象の仮想キーである可能性が高い。このため、この態様によれば、操作対象の仮想キーを拡大表示することができる。よって、操作対象の仮想キーを拡大表示しない構成に比べて、ユーザに操作対象の仮想キーを認識させ易くできる。
【符号の説明】
【0197】
１…ＭＲグラス、２…携帯機器、２Ａ…携帯機器、３…仮想キーボード、４…画像、１１Ｌ…カメラ、１１Ｒ…カメラ、１２…表示装置、１３…加速度センサ、１４…ジャイロセンサ、１５…操作ボタン、１６…通信装置、１７…記憶装置、１８…処理装置、１９…バス、２１…入力装置、２２…表示装置、２３…通信装置、２４…記憶装置、２５…処理装置、２６…バス、３１…仮想キー、９１…テンプル、９３…ブリッジ、９４…胴部、９５…胴部、９６Ｌ…レンズ、９６Ｒ…レンズ、１００…情報処理システム、１８１…取得部、１８２…動作制御部、２５１…手データ生成部、２５２…指先検出部、２５３…座標変換部、２５４…仮想キー設定部、２５５…画像データ生成部、２５６…ジェスチャー検出部、２５７…仮想キー制御部、２５８…操作検出部、２５９…動き検出部、２６０…位置変更部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】