特許 7442783 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 3/023 20060101AFI20240227BHJP

   G06F 3/0489 20220101ALI20240227BHJP

   G06F 3/04815 20220101ALI20240227BHJP

   G06F 3/04886 20220101ALI20240227BHJP

【ＦＩ】

G06F3/023 460

G06F3/0489

G06F3/04815

G06F3/023 470

G06F3/04886

【請求項の数】 7

(21)【出願番号】P 2019203287

(22)【出願日】2019-11-08

(65)【公開番号】P2021077097

(43)【公開日】2021-05-20

【審査請求日】2022-10-17

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】志築 文太郎

(72)【発明者】

【氏名】▲柳▼原 直貴

【審査官】石川 亮

(56)【参考文献】

【文献】中国特許出願公開第１０９６８３６６７（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９５４２２３９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０２３

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

仮想空間を示す画像を表示装置に表示する仮想空間表示部と、
前記仮想空間に、曲面に沿って配列された複数の仮想キーを含む仮想キーボードを配置する仮想キーボード配置部と、
入力装置を介して指示される前記仮想空間内の指示位置を検出する指示位置検出部と、
前記仮想キーボードを含む領域における前記指示位置の軌跡に基づいて、１または複数の単語を前記仮想空間に提示する単語提示部と、
を備えた情報処理装置。

【請求項2】

前記曲面は、前記仮想空間における操作の起点位置から奥行方向に向かって凹んだ凹面である、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記指示位置検出部は、ユーザが保持する前記入力装置の現実空間における動きに基づいて、前記指示位置を検出する、
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記情報処理装置は、前記仮想キーボードの配置位置を変更可能な第１モード、および、前記仮想キーボードを用いて単語を入力可能な第２モードのそれぞれにおいて動作可能であり、
前記仮想キーボード配置部は、前記第１モードにおいて、前記指示位置の変化に伴い前記仮想キーボードの配置位置を前記指示位置の近傍に移動させ、前記第１モードから前記第２モードに移行後、前記仮想キーボードの配置位置を、前記第２モードに移行する直前の配置位置に固定し、
前記単語提示部は、前記第２モードにおいて検出された指示位置の軌跡に基づいて、前記１または複数の単語を提示する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記単語提示部は、複数の単語を提示する場合、各単語に対応する選択領域を含むガイドオブジェクトを前記仮想空間に提示し、
前記ガイドオブジェクトに含まれる複数の選択領域のうち、前記入力装置を介して指示された選択領域に対応する単語を選択する単語選択部をさらに備える、
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

仮想空間を示す画像を表示装置に表示するステップと、
前記仮想空間に、曲面に沿って配列された複数の仮想キーを含む仮想キーボードを配置するステップと、
入力装置を介して指示される前記仮想空間内の指示位置を検出するステップと、
前記仮想キーボードを含む領域における前記指示位置の軌跡に基づいて、１または複数の単語を前記仮想空間に提示するステップと、
を情報処理装置が実行する情報処理方法。

【請求項7】

請求項１～５のいずれか１項に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ｘＲ環境において文字を入力する技術に関する。

【背景技術】

【0002】

ｘＲ（X Reality または Extended Reality）と称される技術が近年、普及している。ｘＲとは、仮想現実（ＶＲ：Virtual Reality）、拡張現実（ＡＲ：Augmented Reality）、複合現実（ＭＲ：Mixed Reality）、代替現実（Substitutional Reality）等といった技術の総称である。例えば、ＶＲを用いたゲームや、会議等のアプリケーションでは、文字の入力が必要となる場合がある。そのため、ｘＲにより提供される環境（以下においてｘＲ環境と称する）において文字を入力する技術が知られている。

【0003】

非特許文献１には、ｘＲ環境に配置された平面状の仮想キーボードに含まれる仮想キーを、位置トラッキングされるコントローラまたは指先を用いてタイピングさせる技術が記載されている。非特許文献２には、入力したい単語を構成する各文字の仮想キーを通るような軌跡を平面状の仮想キーボード上に描くことによって、当該単語を入力する技術が記載されている。非特許文献３には、ｘＲ環境に配置された平面状の仮想キーボード上に上述の軌跡を描くために、指に装着するリング型のデバイスを用いる技術が記載されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Marco Speicher, Anna Maria Feit, Pascal Ziegler, and Antonio Kruger, "Selection-based Text Entry in Virtual Reality", In Proc of CHI'18. ACM, New York, NY, USA, Article 647, pp1-13.

【文献】Per-Ola Kristensson and Shumin Zhai, "SHARK2 : A Large Vocabulary Shorthand Writing System for Pen-based Computers", In Proc of UIST'04 ACM, New York, NY, USQ, pp43-52.

【文献】Aakar Gupta, Cheng Ji, Hui-Shyong Yeo, Aaron Quigley, and Daniel Vogel, "RotoSwype: Word-Gesture Typing using a Ring", In Proc of CHI'19 ACM, New York, NY, USA, Article 14, pp1-12.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１、３に記載された技術では、仮想キーが平面に沿って配置されているため、仮想空間において操作の起点となる起点位置からの距離が最も近い仮想キーと、最も遠い仮想キーとの間では、当該距離の差が大きい。なお、仮想空間における操作の起点位置とは、仮想空間の視点であってもよいし、現実空間におけるコントローラまたは指の位置に対応する仮想空間の位置であってもよい。このため、ユーザは、これらの仮想キーを操作するために、現実空間において手の動きを微調整する必要があり、疲労を感じやすい。

【0006】

本発明の一態様は、ｘＲ環境における文字入力操作においてユーザの疲労を軽減することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、仮想空間を示す画像を表示装置に表示する仮想空間表示部と、前記仮想空間に、曲面に沿って配列された複数の仮想キーを含む仮想キーボードを配置する仮想キーボード配置部と、を備える。

【0008】

上記の構成によれば、複数の仮想キーを配列する曲面の形状を適宜設定することにより、仮想空間における操作の起点となる起点位置からの距離が最も近い仮想キーと、最も遠い仮想キーとの間の距離の差を、平面に沿って配列されている場合に比べて縮めることができる。このため、ユーザがこれらの仮想キーを操作するために現実空間において手の動きを調整する程度が低減される。その結果、ｘＲ環境における文字入力操作においてユーザの疲労を軽減することができる。

【0009】

本発明の一態様に係る情報処理装置において、前記曲面は、前記仮想空間における操作の起点となる起点位置から奥行方向に向かって凹んだ凹面である、ことが好ましい。

【0010】

上記構成によれば、複数の仮想キーを凹面に沿って配列することにより、起点位置から各仮想キーまでの距離をより均等に近づけることができる。起点位置から各仮想キーまでの距離が均等に近づくほど、複数の仮想キーを操作する際にユーザが腕、肩、手首等を曲げる角度を変化させる程度を小さくすることができる。その結果、ユーザの疲労がさらに軽減される。

【0011】

本発明の一態様に係る情報処理装置は、入力装置を介して指示される前記仮想空間内の指示位置を検出する指示位置検出部と、前記仮想キーボードを含む領域における前記指示位置の軌跡に基づいて、１または複数の単語を前記仮想空間に提示する単語提示部と、をさらに備える、ことが好ましい。

【0012】

上記の構成によれば、平面に沿って配置された複数の仮想キーを含む仮想キーボードを用いる場合に比べて、同一平面に含まれる仮想キーの数を減らすことができる。その結果、同一の軌跡に基づいて予測される単語の数を低減することができ、文字入力の予測精度が向上する。

【0013】

本発明の一態様に係る情報処理装置において、前記指示位置検出部は、ユーザが保持する前記入力装置の現実空間における動きに基づいて、前記指示位置を検出する、ことが好ましい。

【0014】

上記の構成によれば、目的の各仮想キーを順次通るよう指示位置の軌跡を描くために入力装置を動かすユーザの疲労を軽減する。

【0015】

本発明の一態様に係る情報処理装置において、前記情報処理装置は、前記仮想キーボードの配置位置を変更可能な第１モード、および、前記仮想キーボードを用いて単語を入力可能な第２モードのそれぞれにおいて動作可能であり、前記仮想キーボード配置部は、前記第１モードにおいて、前記指示位置の変化に伴い前記仮想キーボードの配置位置を前記指示位置の近傍に移動させ、前記第１モードから前記第２モードに移行後、前記仮想キーボードの配置位置を、前記第２モードに移行する直前の配置位置に固定し、前記単語提示部は、前記第２モードにおいて検出された指示位置の軌跡に基づいて、前記１または複数の単語を提示する、ことが好ましい。

【0016】

上記の構成において、第１モードは、仮想空間における仮想キーボードの配置位置を変更可能なモードである。また、第２モードは、仮想キーボードを用いて単語を入力可能なモードである。上記構成によれば、ユーザは、第１モードで仮想空間において好みの位置に仮想キーボードを配置してから第２モードで軌跡を描く操作を行うことができる。また、仮想空間に、仮想キーボード以外に、ユーザが行っている他の作業に関わるオブジェクトが配置されている場合、ユーザは、当該他の作業を邪魔しない位置に仮想キーボードを配置することができる。このような第１モードおよび第２モードを有することにより、操作性が向上するとともにユーザの疲労が軽減される。

【0017】

本発明の一態様に係る情報処理装置において、前記単語提示部は、複数の単語を提示する場合、各単語に対応する選択領域を含むガイドオブジェクトを前記仮想空間に提示し、前記ガイドオブジェクトに含まれる複数の選択領域のうち、前記入力装置を介して指示された選択領域に対応する単語を選択する単語選択部をさらに備える、ことが好ましい。

【0018】

上記の構成によれば、複数の単語が予測された場合のユーザの選択操作をより容易にする。

【0019】

また、上記の課題を解決するために、本発明の一態様に係る情報処理方法は、仮想空間を示す画像を表示装置に表示するステップと、前記仮想空間に、曲面に沿って配列された複数の仮想キーを含む仮想キーボードを配置するステップと、入力装置を介して指示される前記仮想空間内の指示位置を検出するステップと、前記仮想キーボードを含む領域における前記指示位置の軌跡に基づいて、１または複数の単語を前記仮想空間に提示するステップと、を情報処理装置が実行する。

【0020】

上記の構成によれば、上述した情報処理装置と同様の効果を奏する。

【0021】

また、上記の課題を解決するために、本発明の一態様に係るプログラムは、上述した情報処理装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させる。

【0022】

上記の構成によれば、上述した情報処理装置と同様の効果を奏する。

【0023】

なお、上述したプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0024】

本発明の一態様によれば、ｘＲ環境における文字入力操作においてユーザの疲労を軽減することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の特徴的な構成である仮想キーボードの一例を示す図である。

【図2】図１に示す仮想キーボードを構成する仮想キーを示す図である。

【図3】図１に示す仮想キーボードの断面図である。

【図4】図１に示す仮想キーボードの他の断面図である。

【図5】本発明の一実施形態に係る情報処理装置の機能的な構成を示すブロック図である。

【図6】本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図7】本発明の一実施形態において用いられる入力装置の一例の外観を示す図である。

【図8】本発明の一実施形態に係る情報処理装置の動作を説明するフローチャートである。

【図9】本発明の一実施形態における文字入力の具体例を示す模式図である。

【図10】本発明の一実施形態における文字入力の他の具体例を示す模式図である。

【図11】図１０に示す具体例において複数の候補から１つを選択する選択操作を説明する模式図である。

【図12】本発明の一実施形態に係る仮想キーボードの外観を示す六面図である。

【図13】本発明の一実施形態に係る仮想キーボードの変形例の外観を示す六面図である。

【図14】本発明の一実施形態に係る仮想キーボードの他の変形例の外観を示す六面図である。

【図15】本発明の一実施形態に係る仮想キーの変形例を示す図である。

【図16】平面状の仮想キーボードを用いた文字入力について説明する模式図である。

【発明を実施するための形態】

【0026】

〔本発明の特徴〕
本発明の特徴は、ｘＲ環境においてユーザに提供される仮想空間に、仮想キーボードを構成する複数の仮想キーを曲面に沿って配列することにある。本願発明者らは、複数の仮想キーを曲面に沿って配列することにより、ユーザの疲労を軽減することを見出した。また、ｘＲ環境における文字入力の手法として、単語を構成する各文字のキーを通るような軌跡を仮想キーボード上に描く手法を採用する場合、曲面に沿って配列された仮想キーを用いることにより、単語の予測精度を向上させることを見出した。本発明の特徴について図１～図４を参照して説明する。

【0027】

図１は、本発明の特徴的な構成である仮想キーボードＫＢ１０の一例を示す図である。なお、以降の図面において、Ｚ軸は、仮想空間に設置された仮想カメラが向く方向（すなわち、仮想空間の視点から見た奥行方向）を示し、Ｙ軸は、Ｚ軸方向を向くユーザから見た上下方向を示し、Ｘ軸は、Ｚ軸方向を向くユーザから見た左右方向を示す。図１において、仮想キーボードＫＢ１０を構成する各仮想キーは、曲面に沿ってＱＷＥＲＴＹ配列で配列されている。ここで、各仮想キーが配列される曲面は、仮想空間における操作の起点となる起点位置から奥行方向に向かって凹む凹面であることが好ましい。なお、起点位置とは、仮想空間の視点であってもよい。また、起点位置とは、現実空間における後述のコントローラ３０の位置に対応する仮想空間の位置であってもよい。以降、凹面である曲面を、凹曲面とも記載する。図１の例では、仮想キーが沿う曲面は、球面の一部である。ただし、仮想キーが配列される凹曲面は、球面の一部に限らず、楕円面の一部であってもよいし、双極面の一部であってもよいし、その他の凹曲面であってもよい。

【0028】

図２は、仮想キーボードＫＢ１０を構成する複数の仮想キーＫ１の１つを示す図である。図２に示すように、仮想キーＫ１は、直方体状である。また、仮想キーＫ１の内部には、当該仮想キーＫ１に割り当てられた文字を示す文字オブジェクトＣ１が配置される。仮想キーＫ１の表面は半透明であり、内部に配置された文字オブジェクトＣ１が外部から視認できる。なお、仮想キーＫ１に割り当てられた文字の表示態様は、図２の例に限られない。例えば、仮想キーＫ１のＺ軸負方向側の表面に、当該仮想キーＫ１に割り当てられた文字が表示される態様であってもよい。

【0029】

図３は、図１に示す仮想キーボードＫＢ１０のＡ－Ａ’線の断面をＹ軸正方向から見た断面図である。なお、図３において、各仮想キーＫ１に割り当てられた文字を示す文字オブジェクトをＹ軸正方向から見た態様で示す代わりに、分かり易さのため、当該文字を、文字として認識可能な態様で当該仮想キーＫ１を示す矩形内に記載している。図３に示すように、各仮想キーＫ１は、曲面の一例である球面ｓｐｈの一部に沿って配列されている。

【0030】

図４は、図１に示す仮想キーボードＫＢ１０のＢ－Ｂ’線の断面をＸ軸負方向から見た断面図である。なお、図４でも、分かり易さのため、各仮想キーＫ１に割り当てられた文字を、文字として認識可能な態様で記載している。図４に示すように、各仮想キーＫ１は、球面ｓｐｈの一部に沿って配列されている。

【0031】

（予測精度の向上）
ここで、図３に示すように、仮想キーボードＫＢ１０において、単語「ｔｉｐ」を構成する各文字のキーを通る軌跡Ｒ１１と、単語「ｔｏｐ」を構成する各文字のキーを通る軌跡Ｒ１２とは異なっており、類似度が低い。したがって、軌跡Ｒ１１（または軌跡Ｒ１２）に基づいて１つの単語「ｔｉｐ」（または「ｔｏｐ」）が予測される。つまり、軌跡Ｒ１１（または軌跡Ｒ１２）から予測される単語の候補数は１つである。

【0032】

ここで、仮想キーボードＫＢ１０と比較するため、従来の仮想キーボードＫＢ９０を図１６に示す。図１６では、仮想キーボードＫＢ９０を構成する複数の仮想キーは、平面に沿って配列されている。図１６に示すように、単語「ｔｉｐ」を構成する各文字のキーを通る軌跡Ｒ９１と、単語「ｔｏｐ」を構成する各文字のキーを通る軌跡Ｒ９２とは、ほぼ同一である。したがって、軌跡Ｒ９１（または軌跡Ｒ９２）に基づいて２つの単語「ｔｉｐ」および「ｔｏｐ」が予測される。つまり、軌跡Ｒ９１（または軌跡Ｒ９２）から予測される単語の候補数は２つである。

【0033】

このように、曲面に沿って配列された仮想キーＫ１を用いることで、軌跡から予測される単語の候補数が低減し、予測精度が向上する。

【0034】

（入力操作の疲労軽減）
ここで、複数の仮想キーが平面に沿って配置された従来の仮想キーボードＫＢ９０では、端に近い仮想キーほど、仮想空間における操作の起点位置からの距離が遠くなる。そのため、ユーザは、端に近い仮想キーを通過するよう軌跡を描くために手を遠くまで伸ばす必要があり、疲労の原因となる。

【0035】

これに対して、本実施形態に係る仮想キーボードＫＢ１０では、仮想キーＫ１を配置する曲面を凹曲面としているので、仮想キーＫ１が平面に沿って配置される場合に比べて、仮想空間における操作の起点位置から仮想キーＫ１各々までの距離の差が小さくなる。したがって、ユーザは、手を遠くまで伸ばすことなく、所望の仮想キーＫ１を通る軌跡を描くことができる。特に、図１、図３、図４に示したように、仮想キーＫ１を配置する曲面を球面ｓｐｈの一部とする場合、仮想空間における操作の起点位置から各仮想キーＫ１までの距離は、ほぼ同一となる。したがって、ユーザは、腕を曲げる角度を大きく変えることなく肩、肘、または手首等を中心に手を動かすことにより、所望の仮想キーＫ１を通る軌跡を描くことができる。

【0036】

このように、凹曲面（特に球面）に沿って配列された仮想キーＫ１を用いることで、入力操作におけるユーザの疲労を軽減することができる。

【0037】

〔実施形態〕
以下、本発明の一実施形態に係る情報処理システム１について、図面を参照して詳細に説明する。

【0038】

＜情報処理システム１の構成＞
図５は、情報処理システム１の構成を示すブロック図である。情報処理システム１は、情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ：head-mounted display）２０と、コントローラ３０とを含む。ＨＭＤ２０は、本発明における表示装置の一実施形態である。コントローラ３０は、本発明における入力装置の一実施形態である。

【0039】

情報処理装置１０は、ユーザに仮想空間を提供するとともに、仮想空間において文字入力を受け付ける装置である。情報処理装置１０は、機能的な構成として、制御部１１と、記憶部１２とを含む。制御部１１は、仮想空間表示部１１１と、仮想キーボード配置部１１２と、指示位置検出部１１３と、単語提示部１１４と、単語選択部１１５とを含む。記憶部１２は、基準軌跡情報Ｄ１２１を記憶する。各機能ブロックおよび基準軌跡情報Ｄ１２１の詳細については後述する。また、情報処理装置１０は、ＨＭＤ２０およびコントローラ３０と、それぞれ通信可能に接続されている。

【0040】

ＨＭＤ２０は、情報処理装置１０から出力される仮想空間を示す画像を表示するデバイスである。ＨＭＤ２０は、頭部に装着可能となっている。また、ＨＭＤ２０は、自装置の動き（移動、傾き、速度等）を検出して情報処理装置１０に出力する。当該動きの情報は、情報処理装置１０において、仮想空間における仮想カメラの位置および向きを計算するために用いられる。なお、ＨＭＤ２０としては、公知のヘッドマウントディスプレイを採用可能である。

【0041】

コントローラ３０は、情報処理装置１０に対する仮想空間での入力操作を受け付けるデバイスである。コントローラ３０は、ユーザの片手によって保持可能となっている。また、コントローラ３０は、自装置の動き（移動、傾き、速度等）を検出して情報処理装置１０に出力する。当該動きの情報は、情報処理装置１０において、ユーザが指示する仮想空間内の位置（以降、指示位置と記載する）を算出するために用いられる。また、コントローラ３０は、ボタン型、レバー型等の操作部品を含み、操作部品に対するユーザの操作を検出して情報処理装置１０に出力する。また、コントローラ３０は、情報処理装置１０による制御の基に、自装置を振動させる。コントローラ３０の振動により、ユーザに対して操作のフィードバックが与えられる。なお、コントローラ３０としては、公知のコントローラを採用可能である。

【0042】

＜情報処理システム１のハードウェア構成＞
図６は、情報処理システム１を構成する各装置のハードウェア構成の一例を示すブロック図である。

【0043】

（情報処理装置１０のハードウェア構成）
情報処理装置１０は、プロセッサ１０１と、メモリ１０２と、入出力インタフェース１０３とを含むコンピュータ装置によって構成される。これらの要素は、バスにより互いに接続される。入出力インタフェース１０３には、ＨＭＤ２０およびコントローラ３０が接続される。

【0044】

プロセッサ１０１は、メモリ１０２に記憶されたプログラムに含まれる命令を実行することによって、入出力インタフェース１０３を制御しながら、情報処理装置１０に含まれる制御部１１（特に、仮想空間表示部１１１、仮想キーボード配置部１１２、指示位置検出部１１３、単語提示部１１４、および単語選択部１１５）として機能する。

【0045】

プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等によって構成可能である。ただし、プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み込んで実行する演算装置であればよく、これらに限られない。

【0046】

メモリ１０２には、コンピュータ装置を情報処理装置１０として動作させるためのプログラム、および、基準軌跡情報Ｄ１２１を含む各種データが格納される。メモリ１０２は、情報処理装置１０に含まれる記憶部１２を構成する。メモリ１０２は、例えば、主記憶装置、補助記憶装置、または、これらの任意の組み合わせ等により構成可能である。主記憶装置としては、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリが挙げられるが、これに限られない。また、補助記憶装置としては、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）等の不揮発性メモリが挙げられるが、これらに限られない。

【0047】

入出力インタフェース１０３には、ＨＭＤ２０およびコントローラ３０が接続される。入出力インタフェース１０３は、無線および有線のいずれであってもよく、例えば、ＵＳＢ（Universal Serial Bus）インタフェース、赤外線、Bluetooth（登録商標）等の近距離通信インタフェース、またはこれらの組み合わせが用いられる。

【0048】

（ＨＭＤ２０のハードウェア構成）
ＨＭＤ２０は、制御装置２０１と、入出力インタフェース２０２と、センサ２０３と、表示パネル２０４とを含む。

【0049】

制御装置２０１は、マイクロコントローラによって構成され、ＨＭＤ２０の各部の動作を制御する。

【0050】

入出力インタフェース２０２は、情報処理装置１０の入出力インタフェース１０３に接続される。

【0051】

センサ２０３は、磁気センサ、加速度センサ、ジャイロセンサ、またはこれらの組み合わせ等によって構成され、自装置の動きを検出する。あるいは、センサ２０３は、ＨＭＤ２０の外部に設けられたカメラによって構成され、ＨＭＤ２０に内蔵された光源（図示せず）からの光を検出することにより自装置の動きを検出する。検出された自装置の動きを示す情報は、制御装置２０１によって情報処理装置１０に送信される。

【0052】

表示パネル２０４は、情報処理装置１０から受信される仮想空間を示す画像を表示する。表示パネル２０４は、ＨＭＤ２０がユーザの頭部に装着された状態でユーザの左右の眼の前に配置されるよう構成される。仮想空間を示す画像は、左画像と右画像とを含む。左画像および右画像がユーザの左目および右目によって分離して視認されることで、視差を利用した立体感のある仮想空間がユーザに視認される。表示パネル２０４は、光を透過する透過型であってもよいし非透過型であってもよい。

【0053】

なお、ＨＭＤ２０は、さらに、カメラ、スピーカ、マイク等を備えていてもよい。また、ＨＭＤ２０は、仮想空間を示す画像を表示可能なデバイスであれば、上述したハードウェア構成に限らず、その他のハードウェア構成を有するデバイスであってもよい。

【0054】

（コントローラ３０のハードウェア構成）
コントローラ３０は、制御装置３０１と、入出力インタフェース３０２と、センサ３０３と、操作ボタン３０４と、操作スティック３０５と、振動デバイス３０６とを含む。

【0055】

図７は、コントローラ３０の外観の一例を示す図である。図７に示すように、コントローラ３０は、片手で保持可能であり、人差し指で操作可能な操作ボタン３０４と、親指で操作可能な操作スティック３０５とを有している。

【0056】

制御装置３０１は、マイクロコントローラによって構成され、コントローラ３０の各部の動作を制御する。

【0057】

入出力インタフェース３０２は、情報処理装置１０の入出力インタフェース１０３に接続される。

【0058】

センサ３０３は、磁気センサ、加速度センサ、ジャイロセンサ、またはこれらの組み合わせ等によって構成され、自装置の動きを検出する。あるいは、センサ３０３は、コントローラ３０の外部に設けられたカメラによって構成され、コントローラ３０に内蔵された光源（図示せず）からの光を検出することにより自装置の動きを検出する。検出された自装置の動きを示す情報は、制御装置３０１によって情報処理装置１０に送信される。

【0059】

操作ボタン３０４は、押下および解放の操作が可能なボタン型の操作部品であり、例えば、プッシュボタンによって構成される。操作ボタン３０４は、例えば、図７に示したように、トリガーを引くような操作によって押下が可能なトリガーボタンと呼ばれるプッシュボタンであってもよい。操作ボタン３０４の押下、解放が制御装置３０１によって検出されると、当該検出を示す情報が情報処理装置１０に送信される。

【0060】

操作スティック３０５は、基準位置を中心に任意の方向に任意の角度で傾ける操作が可能なレバー型の操作部品であり、例えば、図７に示したようなジョイスティックによって構成される。操作スティック３０５の傾きの方向および傾きの角度が制御装置３０１によって検出されると、当該検出を示す情報が情報処理装置１０に送信される。

【0061】

振動デバイス３０６は、コントローラ３０を振動させるためのデバイスである。振動デバイス３０６は、駆動回路（図示せず）からの駆動信号の供給に応じて振動する。駆動回路は、制御装置３０１から入力される振動時間、振動周波数、振動振幅等のデータに基づいて、駆動信号を振動デバイス３０６に供給する。

【0062】

なお、コントローラ３０は、さらに、カメラ、スピーカ、マイク等を備えていてもよい。また、また、コントローラ３０は、仮想空間での入力操作を受け付け可能なデバイスであれば、上述したハードウェア構成に限らず、その他のハードウェア構成を有するデバイスであってもよい。

【0063】

（情報処理装置１０の機能的な構成の詳細）
図３を参照しながら、情報処理装置１０の機能的な構成の詳細について説明する。

【0064】

仮想空間表示部１１１は、仮想空間を示す画像をＨＭＤ２０に表示する。具体的には、仮想空間表示部１１１は、仮想空間を規定する情報を生成する。仮想空間を規定する情報は、例えば、仮想空間に配置される仮想オブジェクトの外観、その配置位置および向き等をそれぞれ示す情報を含む。仮想オブジェクトの配置位置および向きは、仮想空間における絶対的な座標であるワールド座標系、任意の仮想オブジェクトを基準としたローカル座標系、またはこれらの組み合わせによって表される。また、仮想空間表示部１１１は、仮想空間内に仮想カメラを配置してその向きを設定し、仮想カメラの視点から仮想空間を見た画像を、仮想空間を示す画像として生成する。また、仮想空間表示部１１１は、生成した仮想空間を示す画像を、ＨＭＤ２０に送信して表示させる。また、仮想空間表示部１１１は、仮想空間における仮想オブジェクトの変化（例えば、配置済みの仮想オブジェクトの動き、外観の変化、新たな仮想オブジェクトの配置等）に応じて、仮想空間を示す画像を更新する。また、仮想空間表示部１１１は、ＨＭＤ２０から受信する当該装置の動きを示す情報に基づいて、仮想カメラの位置および向きを変更し、当該変更に応じて仮想空間を示す画像を更新する。また、仮想空間表示部１１１は、更新した仮想空間を示す画像をＨＭＤ２０に送信して表示を更新させる。これにより、ユーザは、自身の動きに応じて仮想空間における視野が変更されるので、仮想空間に存在するような仮想現実感を享受する。

【0065】

仮想キーボード配置部１１２は、仮想空間に、曲面に沿って配列された複数の仮想キーＫ１を含む仮想キーボードＫＢ１０を配置する。また、複数の仮想キーＫ１は、凹曲面に沿って配置されてもよい。本実施形態では、凹曲面の一例である球面の一部に沿って、複数の仮想キーＫ１が配置されている。

【0066】

指示位置検出部１１３は、コントローラ３０を介して指示される仮想空間内の指示位置を検出する。例えば、指示位置は、仮想空間におけるワールド座標系で表される。この場合、指示位置は、仮想キーボードＫＢ１０を基準とするローカル座標系の座標に適宜変換されてもよい。また、指示位置検出部１１３は、ユーザによって保持されるコントローラ３０の現実空間における動きに基づいて、仮想空間における指示位置を検出する。なお、コントローラ３０の現実空間における動きを示す情報は、コントローラ３０から受信する。

【0067】

単語提示部１１４は、仮想キーボードＫＢ１０を含む領域における指示位置の軌跡に基づいて、１または複数の単語を仮想空間に提示する。

【0068】

ここで、仮想キーボードＫＢ１０を含む領域は、仮想キーボードＫＢ１０が配置された領域であってもよいし、仮想キーボードＫＢ１０が配置された領域からその周辺までを含む領域であってもよい。

【0069】

具体的には、単語提示部１１４は、記憶部１２に記憶された基準軌跡情報Ｄ１２１が示す基準軌跡のうち、指示位置の軌跡に類似する基準軌跡を特定し、特定した基準軌跡に関連付けられた単語を仮想空間に提示する。

【0070】

ここで、基準軌跡情報Ｄ１２１について説明する。基準軌跡情報Ｄ１２１は、各単語と、当該単語を入力するための基準となる基準軌跡を示す情報とを関連付けた情報である。ある単語の基準軌跡は、当該単語を構成する各文字に対応する仮想キーＫ１の配置位置を、当該単語の綴り順に結ぶ三次元的なパターンとして表される。また、基準軌跡は、仮想キーボードＫＢ１０を基準としたローカル座標系で表される。基準軌跡において、単語を構成する各文字に対応する仮想キーＫ１間は、直線、曲線、またはこれらの組み合わせによって結ばれる。基準軌跡は、計算によって算出されてもよいし、ユーザによって入力された軌跡に基づいて決定されてもよい。

【0071】

具体的には、単語提示部１１４は、仮想キーボードＫＢ１０を含む領域において、指示位置検出部１１３によって検出される指示位置を少なくとも一時的に記憶部１２に記憶する。また、単語提示部１１４は、指示位置の履歴が示す各位置を結ぶ三次元的なパターンを、指示位置の軌跡として取得する。なお、指示位置の軌跡は、仮想キーボードＫＢ１０を基準としたローカル座標系で表される。また、単語提示部１１４は、指示位置の軌跡に類似する基準軌跡として、類似度が閾値以上の基準軌跡を特定してもよいし、類似度が高い順に所定数の基準軌跡を特定してもよい。なお、軌跡の類似度を算出する手法としては、公知の手法を適用可能である。例えば、非特許文献１に記載された「Proportional Shape Matching」の手法を用いてもよいが、これに限られない。

【0072】

このようにして、単語提示部１１４は、指定位置の軌跡に類似する１または複数の基準軌跡の各々に関連付けられた単語を、軌跡から予測される単語として特定する。複数の単語が予測された場合、単語提示部は、複数の単語とともに、ガイドオブジェクトを仮想空間に提示する。ガイドオブジェクトには、複数の選択領域が含まれる。各選択領域は、予測された複数の単語の１つに対応する。ガイドオブジェクトの例については後述する。

【0073】

単語選択部１１５は、ガイドオブジェクトに含まれる複数の選択領域のうち、コントローラ３０を介して指示された選択領域に対応する単語を選択する。

【0074】

（仮想キーボードの配置位置を変更する機能）
制御部１１が有する機能の他の１つとして、仮想キーボードの配置位置を変更する機能がある。情報処理装置１０は、仮想キーボードＫＢ１０の配置位置を変更可能な第１モード、および、仮想キーボードＫＢ１０を用いて単語を入力可能な第２モードのそれぞれにおいて動作可能である。本実施形態では、第１モードは、コントローラ３０において操作ボタン３０４が押下されていない状態において提供される。また、第２モードは、コントローラ３０において操作ボタン３０４が押下されている状態において提供される。換言すると、情報処理装置１０は、第１モードで動作中に、コントローラ３０から操作ボタン３０４が押下されたことを示す情報を受信すると第２モードに移行する。また、情報処理装置１０は、第２モードで動作中に、コントローラ３０から操作ボタン３０４の押下が解除されたことを示す情報を受信すると第１モードに移行する。また、本実施形態では、第１モードにおいて、単語選択部１１５による単語の選択処理が行われる。

【0075】

仮想キーボード配置部１１２は、第１モードにおいて、指示位置の変化に伴い、仮想キーボードＫＢ１０の配置位置を指示位置の近傍に移動させる。また、仮想キーボード配置部１１２は、第１モードから第２モードに移行後、仮想キーボードＫＢ１０の配置位置を、第２モードに移行する直前の配置位置に固定する。また、単語提示部１１４は、第２モードにおいて検出された指示位置の軌跡に基づいて、１または複数の単語を仮想空間に提示する。例えば、単語提示部１１４は、第２モードにおいて所定のタイミング毎に、その時点までに検出された指示位置の軌跡を参照して１または複数の単語を提示してもよい。所定のタイミングとは、例えば、指示位置がいずれかの仮想キーを通過したことが検出されたタイミングであってもよいし、所定間隔であってもよい。この場合、第２モードにおいてユーザが仮想キーボードＫＢ１０上に軌跡を描いている間、軌跡から予測される単語が順次更新されて表示される。また、単語提示部１１４は、第２モードから第１モードに移行後、直近の第２モードにおいて検出された指示位置の軌跡を参照して、１または複数の単語を提示してもよい。この場合、ユーザが仮想キーボードＫＢ１０上に軌跡を描き終わると、軌跡から予測される単語が表示される。

【0076】

これにより、ユーザは、例えば、仮想キーボードＫＢ１０の配置位置を好みの位置に変更した上で、操作ボタン３０４を押下して仮想キーボードＫＢ１０の配置位置を当該位置に固定し、操作ボタン３０４を押下したまま文字入力を行うことができる。

【0077】

（ユーザ操作のフィードバック機能）
制御部１１が有する機能のさらに他の１つとして、ユーザ操作をフィードバックする機能がある。制御部１１は、仮想空間における指示位置に、ポインタオブジェクトを配置する。また、制御部１１は、指示位置が仮想キーＫ１の領域に入ったことを検出すると、ユーザに対するフィードバック処理を実行する。ユーザに対するフィードバック処理の一例として、該当する仮想キーＫ１の色を通常色から選択色に変更する処理がある。また、他の例として、コントローラ３０を所定期間振動させる処理がある。所定期間の一例としては、例えば、５ミリ秒間等が挙げられるが、これに限られない。仮想キーボード配置部１１２は、指示位置が仮想キーＫ１の領域から出たことを検出すると、当該仮想キーＫ１に係るフィードバックを解除する処理を実行する。解除する処理の一例としては、該当する仮想キーＫ１の色を選択色から通常色に変更する処理がある。

【0078】

＜情報処理装置１０の動作＞
以上のように構成された情報処理装置１０の動作Ｓ１について説明する。情報処理装置１０は、記憶部１２に記憶されたプログラムを実行することによって、以下の動作Ｓ１を実行する。なお、動作Ｓ１の開始時において、情報処理装置１０上では、文字入力の対象となる入力対象アプリケーションが動作しているものとする。また、入力対象アプリケーションは、仮想空間に、文字入力領域を含む入力領域オブジェクトを配置しているものとする。また、以下の説明において、仮想空間表示部１１１が仮想空間を示す画像を更新する処理については説明を省略している。

【0079】

ステップＳ１０１において、仮想空間表示部１１１は、ＨＭＤ２０に仮想空間を示す画像を表示させる。

【0080】

ステップＳ１０２において、仮想キーボード配置部１１２は、仮想空間に、曲面に沿って配列された複数の仮想キーＫ１を含む仮想キーボードＫＢ１０を配置する。

【0081】

ステップＳ１０３において、制御部１１は、第１モードを開始する。

【0082】

ステップＳ１０４において、制御部１１は、第２モードが開始したか否かを判断する。前述したように、制御部１１は、コントローラ３０から操作ボタン３０４が押下されたことを示す情報を受信した場合、第２モードが開始したと判断すればよい。

【0083】

ステップＳ１０４においてＮｏと判断した場合、制御部１１は、情報処理装置１０を第１モードで動作させ、ステップＳ１０５の処理を実行する。

【0084】

ステップＳ１０５において、指示位置検出部１１３は、仮想空間における指示位置を検出する。

【0085】

ステップＳ１０６において、仮想キーボード配置部１１２は、仮想キーボードＫＢ１０の配置位置を指示位置の近傍に移動する。

【0086】

一方、ステップＳ１０４においてＹｅｓと判断した場合、制御部１１は、情報処理装置１０を第２モードで動作させ、ステップＳ１０７の処理を実行する。

【0087】

ステップＳ１０７において、指示位置検出部１１３は、仮想空間における指示位置を検出する。

【0088】

ステップＳ１０８において、単語提示部１１４は、指示位置の軌跡に基づいて予測した単語を提示する。具体的には、単語提示部１１４は、この時点までに得られた指示位置の軌跡に類似する基準軌跡を特定し、特定した基準軌跡に関連付けられた単語を、予測した単語として提示する。なお、第２モードにおいては、指示位置の検出後に本ステップの処理が実行され、ステップＳ１０６の処理が実行されないことにより、仮想キーボードＫＢ１０の配置位置は、第１モードから第２モードに移行する直前の位置に固定される。

【0089】

ステップＳ１０９において、単語提示部１１４は、仮想空間にガイドオブジェクトを表示する。ただし、本ステップの処理は、ステップＳ１０８において複数の単語が予測された場合に実行され、１つだけの単語が予測された場合には省略される。

【0090】

ステップＳ１１０において、制御部１１は、第２モードが終了したか否かを判断する。前述したように、制御部１１は、コントローラ３０から操作ボタン３０４の押下が解除されたことを示す情報を受信した場合、第２モードが終了したと判断すればよい。

【0091】

ステップＳ１１０においてＮｏと判断された場合、情報処理装置１０は、ステップＳ１０７からの処理を繰り返す。次のステップＳ１０８では、前回のステップＳ１０８で参照した指示位置の軌跡よりも延長された軌跡が参照される。したがって、予測される単語は、前回のステップＳ１０８で予測された単語とは少なくとも一部が異なる可能性がある。つまり、ユーザが操作ボタン３０４を押しながら仮想キーボードＫＢ１０上に軌跡を描いている間、軌跡から予測される単語が順次更新されて表示される。

【0092】

ステップＳ１１０においてＹｅｓと判断された場合、制御部１１は、第２モードを終了し、ステップＳ１１１の処理を実行する。

【0093】

ステップＳ１１１において、単語選択部１１５は、ガイドオブジェクトに含まれる複数の選択領域のうち、コントローラ３０を介して指示された選択領域に対応する単語を選択する。ただし、本ステップの処理は、ステップＳ１０９の処理が省略されてガイドオブジェクトが表示されていない場合には、省略される。

【0094】

ステップＳ１１２において、制御部１１は、選択された単語を、入力対象アプリケーションに入力する。なお、ステップＳ１０８で１つの単語が提示され、ステップＳ１０９、Ｓ１１１の各処理が省略された場合には、当該単語が入力される。入力対象アプリケーションオブジェクトは、入力領域オブジェクトの入力領域に、入力された単語を表示する。

【0095】

以上で、情報処理装置１０は動作Ｓ１を終了する。

【0096】

＜具体例＞
情報処理装置１０を用いて文字入力を行う動作の具体例について、図面を参照して説明する。

【0097】

（具体例１）
図９は、情報処理装置１０によって第２モードにおいて提供される仮想空間の一例を示す図である。図９において、仮想空間には、仮想キーボードＫＢ１０と、入力領域オブジェクトＦ８０１と、コントローラオブジェクトＣ８０２と、ポインタオブジェクトＰ８０５とが配置されている。なお、図９には、５つのポインタオブジェクトＰ８０５を示しているが、これらのポインタオブジェクトＰ８０５は、１つのポインタオブジェクトＰ８０５が順次通過した位置を示すために記載しており、同時に複数のポインタオブジェクトＰ８０５が配置されることを意味するものではない。なお、以下の具体例の説明において、文字「Ａ」等に関連付けられた仮想キーＫ１を、仮想キー「Ａ」等と記載する。

【0098】

入力領域オブジェクトＦ８０１は、入力対象アプリケーションによって仮想空間に配置されたオブジェクトであり、文字を入力する入力領域を有する。

【0099】

コントローラオブジェクトＣ８０２は、ユーザによって保持されるコントローラ３０の現実空間における動きに応答して仮想空間において動く仮想オブジェクトである。仮想オブジェクトは、指示位置検出部１１３によって仮想空間に配置される。ユーザは、コントローラオブジェクトＣ８０２を視認することにより、コントローラ３０を容易に操作することができる。

【0100】

ポインタオブジェクトＰ８０５は、ユーザに保持されるコントローラ３０の現実空間における動きに基づいて検出される指示位置に配置される。ポインタオブジェクトＰ８０５の配置位置は、指示位置の変化に伴い移動する。

【0101】

図９は、ポインタオブジェクトＰ８０５が、仮想キー「Ｗ」、「Ａ」、「Ｔ」、「Ｃ」、「Ｈ」の配置位置を順に通過し、指示位置の軌跡Ｒ１３が描かれたことを示している。ユーザは、コントローラ３０を保持した片手を現実空間で動かすことにより、ポインタオブジェクトＰ８０５を移動させて軌跡Ｒ１３を描く。このとき、ポインタオブジェクトＰ８０５が各仮想キーＫ１の配置位置を通過する際には、該当する仮想キーＫ１が通常色から選択色に変化し、コントローラ３０が振動する。これにより、ユーザは、ポインタオブジェクトＰ８０５が意図した仮想キーＫ１を通過したことを確認することができ、目的の軌跡をより確実に描くことができる。

【0102】

ここでは、単語提示部１１４は、軌跡Ｒ１３に基づいて１つの単語「ｗａｔｃｈ」を予測したとする。具体的には、単語提示部１１４は、基準軌跡情報Ｄ１２１のうち、軌跡Ｒ１３に類似する基準軌跡として１つの基準軌跡を特定し、特定した基準軌跡に関連付けられた単語「ｗａｔｃｈ」を特定する。

【0103】

予測された単語が１つであるため、単語提示部１１４は、単語を選択するためのガイドオブジェクトの配置を省略し、入力対象アプリケーションに対して単語「ｗａｔｃｈ」を入力する。これにより、入力領域オブジェクトＦ８０２の入力領域に「ｗａｔｃｈ」が表示される。

【0104】

本具体例に示すように、単語「ｗａｔｃｈ」を構成する各文字の仮想キーＫ１は、仮想キーボードＫＢ１０の中央から左端までの範囲に渡っている。これらの仮想キーＫ１は球面に沿って配置されているため、仮想空間における操作の起点位置からこれらの各仮想キーＫ１までの距離は、ほぼ同一である。したがって、ユーザは、コントローラ３０を保持した腕を曲げた角度を大きく変化させることなく、現実空間において肩、肘、または手首等を中心に手を動かすだけで、ポインタオブジェクトＰ８０５に目的の仮想キーＫ１を通過させることができる。その結果、文字入力操作におけるユーザの疲労が軽減される。

【0105】

（具体例２）
図１０は、情報処理装置１０によって第２モードにおいて提供される仮想空間の他の一例を示す図である。図１０において、仮想空間には、具体例１と同様の仮想オブジェクトに加えて、候補オブジェクトＷ８０３＿１～Ｗ８０３＿３と、ガイドオブジェクトＧ８０４とが配置されている。

【0106】

図１０では、仮想キー「Ｔ」、「Ｅ」、「Ｘ」、「Ｔ」の配置位置を順に通過した指示位置の軌跡Ｒ１４が描かれている。軌跡Ｒ１４を描く際のユーザの操作およびフィードバックについては、具体例１で説明した通りである。

【0107】

ここで、単語提示部１１４は、軌跡Ｒ１４に基づいて３つの単語「ｔｅｘｔ」、「ｔｅｓｔ」、「ｒｅｓｔ」を予測したとする。具体的には、単語提示部１１４は、基準軌跡情報Ｄ１２１のうち、軌跡Ｒ１４に類似する基準軌跡として、類似度の高いものから順に３つの基準軌跡を特定し、特定した基準軌跡にそれぞれ関連付けられた単語「ｔｅｘｔ」、「ｔｅｓｔ」、「ｒｅｓｔ」を特定する。単語提示部１１４は、これらの各単語を、候補オブジェクトＷ８０３＿１～Ｗ８０３＿３内に提示する。

【0108】

候補オブジェクトＷ８０３＿１～Ｗ８０３＿３は、単語提示部１１４によって予測された複数の単語をそれぞれ提示するためのオブジェクトである。以降、候補オブジェクトＷ８０３＿１～Ｗ８０３＿３を区別して説明する必要がない場合には、それぞれを単に候補オブジェクトＷ８０３とも記載する。この例では、３つの単語が予測されたため、３つの候補オブジェクトＷ８０３が配置されている。

【0109】

３つの候補オブジェクトＷ８０３は、軌跡の類似度が高い順に、所定の配置順序で表示されてもよい。例えば、この例では、候補オブジェクトＷ８０３＿１、Ｗ８０３＿２、Ｗ８０３＿３は、類似度が高い順に上、左、右の配置順序で表示される。

【0110】

また、３つの候補オブジェクトＷ８０３は、表示する単語が互いに異なる点以外で、表示態様が互いに異なる。この例では、３つの候補オブジェクトＷ８０３は、単語を表示する領域のテクスチャが互いに異なっている。なお、これらの表示態様の違いは、テクスチャの違いに限られない。例えば、３つの候補オブジェクトＷ８０３は、単語を表示する領域の枠の色が異なっていてもよい。

【0111】

また、複数の単語が単語予測されたため、単語提示部１１４は、単語を選択するためのガイドオブジェクトＧ８０４を配置する。ガイドオブジェクトＧ８０４は、予測された各単語に対応する選択領域を含む。この例では、ガイドオブジェクトＧ８０４は、円形であり、予測された単語の個数分の扇形の選択領域Ｇ８０４＿１～Ｇ８０４＿３に分割される。以降、選択領域Ｇ８０４＿１～Ｇ８０４＿３を区別して説明する必要がない場合には、それぞれを単に選択領域Ｇ８０４＿ｘとも記載する。各選択領域Ｇ８０４＿ｘは、対応する単語を表示する候補オブジェクトＷ８０３と同じ表示態様で表示される。この例では、各選択領域Ｇ８０４＿ｘには、対応する単語を表示する候補オブジェクトＷ８０３と同じテクスチャが適用される。

【0112】

単語選択部１１５は、コントローラ３０を介して指示された選択領域Ｇ８０４＿ｘに対応する単語を選択する。本具体例では、コントローラ３０の操作スティック３０５の操作によって、選択領域Ｇ８０４＿ｘが指示される。図１１は、操作スティック３０５の操作による選択領域Ｇ８０４＿ｘの指示を説明する模式図である。前述したように、操作スティック３０５は、基準位置を中心に任意の方向に任意の角度で傾けることが可能である。図１１におけるｘｙ座標の原点は、操作スティックの基準位置を示す。また、原点を始点とし点Ｐ８０６を終点とするベクトルの方向は、操作スティック３０５の傾きの方向を示し、当該ベクトルの大きさは、操作スティック３０５の傾きの角度を示す。また、原点を中心とする単位円は、選択領域Ｇ８０４＿１～Ｇ８０４＿３からなるガイドオブジェクトＧ８０４に対応する。単語選択部１１５は、点Ｐ８０６が含まれる選択領域Ｇ８０４＿ｘを、コントローラ３０によって指示された選択領域Ｇ８０４＿ｘとして特定し、特定した選択領域Ｇ８０４＿ｘに対応する単語を選択する。

【0113】

なお、本具体例では、提示する単語の候補数を３つとしているが、提示する候補数の数は限定されない。例えば、類似度が高い順に２または４以上の単語を候補として提示する場合、ガイドオブジェクトＧ８０４は、候補の個数分に分割された選択領域Ｇ８０４＿ｘを含む。

【0114】

また、本具体例では、ガイドオブジェクトＧ８０４の分割数を３つとしているが、ガイドオブジェクトＧ８０４の分割数は限定されない。例えば、提示する単語の候補数が４つである場合、ガイドオブジェクトＧ８０４の分割数を４つとしてもよい。

【0115】

また、本具体例では、ガイドオブジェクトＧ８０４の分割数が単語の候補数と同一である例について説明したが、これに限定されない。例えば、単語の候補数が１０個の場合に、同時に表示する候補オブジェクトＷ８０３およびガイドオブジェクトＧ８０４の分割数を３つとしてもよい。この場合、単語提示部１１４は、類似度が高いものから順に３つの単語の候補を、３つの候補オブジェクトＷ８０３内に表示する。ユーザは、候補オブジェクトＷ８０３の中に目的の単語が無い場合は、他の候補となる単語の表示を指示する所定の操作を行う。所定の操作は、例えば、操作ボタン３０４に対する操作であってもよい。単語提示部１１４は、３つの候補オブジェクトＷ８０３を提示中に操作ボタン３０４に対する操作を受け付けると、３つの候補オブジェクトＷ８０３内に、現在表示中の３つの候補となる単語に替えて、次に類似度が高い３つの候補となる単語を表示する。

【0116】

本具体例に示すように、ユーザは、予測された複数の単語のうち１つを選択するために、選択したい単語の候補オブジェクトＷ８０３と同じ表示態様の選択領域Ｇ８０４＿ｘの方向に、操作スティック３０５を傾ければよい。このように、ガイドオブジェクトＧ８０４を表示することにより、予測された複数の単語のうち１つを選択するユーザの操作が容易になる。

【0117】

また、本具体例に示すように、軌跡Ｒ１４は、仮想キー「Ｔ」を通過してから仮想キー「Ｅ」を通過するまでに仮想キー「Ｒ」を通過していない。また、軌跡Ｒ１４は、仮想キーＫ１「Ｅ」を通過してから仮想キー「Ｘ」を通過するまでの間に仮想キー「Ｓ」を通過していない。これは、複数の仮想キーＫ１が球面に沿って配置されていることにより、単語を構成する各文字の仮想キーＫ１間の軌跡が、当該単語を構成しない文字の仮想キーＫ１を通過する可能性が低減されるためである。したがって、軌跡Ｒ１４と、単語「ｔｅｘｔ」に関連付けられた軌跡との類似度は、単語「ｒｅｓｔ」および単語「ｔｅｓｔ」にそれぞれ関連付けられた軌跡との類似度よりも高い。

【0118】

これに対して、複数の仮想キーＫ１が平面に沿って配置されている場合、仮想キー「Ｔ」、「Ｅ」、「Ｘ」、「Ｔ」を順に通過する軌跡は、仮想キー「Ｒ」および仮想キー「Ｓ」を通過する可能性が高いと考えられる。したがって、当該軌跡から予測される３つの単語の類似度は、同等となる。

【0119】

このように、複数の候補を提示する場合であっても、情報処理装置１０は、平面に沿って複数の仮想キーＫ１が配置された仮想キーボードを用いる場合と比べて、軌跡が類似する順に複数の単語を提示することができ、予測精度を向上させる。

【0120】

なお、ユーザが単語「ｔｅｘｔ」を入力したい場合であっても、軌跡Ｒ１４が、仮想キー「Ｔ」を通過してから仮想キー「Ｅ」を通過するまでに仮想キー「Ｒ」を通過するケースが考えられる。また、軌跡Ｒ１４が、仮想キー「Ｅ」を通過してから仮想キー「Ｘ」を通過するまでに仮想キー「Ｓ」を通過するケースが考えられる。しかしながら、ユーザが、ポインタオブジェクトＰ８０５に仮想キー「Ｒ」（または「Ｓ」）を意図的に通過させる場合は、軌跡Ｒ１４は仮想キー「Ｒ」（または「Ｓ」）の体心またはその近傍を通過すると考えられる。一方、ユーザの意図によらずに、ポインタオブジェクトＰ８０５が仮想キー「Ｒ」（または「Ｓ」）を通過する場合は、軌跡Ｒ１４は、意図した場合よりも仮想キー「Ｒ」（または「Ｓ」）の表面に近い領域を通過すると考えられる。したがって、ユーザが単語「ｔｅｘｔ」を入力したい場合に意図せず仮想キー「Ｒ」（または「Ｓ」）を通過する軌跡Ｒ１４と、単語「ｔｅｘｔ」に関連付けられた軌跡との類似度は、単語「ｒｅｓｔ」に関連付けられた軌跡との類似度よりも高いことが期待できる。

【0121】

＜仮想キーボードＫＢ１０の外観＞
次に、本実施形態に係る仮想キーボードＫＢ１０の外観について図面を参照して説明する。図１２は、仮想キーボードＫＢ１０の外観を示す六面図であり、紙面の上側に平面図、下側に底面図、平面図および底面図の間に正面図を示している。また、正面図の左側に左側面図、正面図の右側に右側面図、右側面図の右側に背面図を示している。なお、正面図は、仮想空間の視点から奥行方向に向かって仮想キーボードＫＢ１０を見た図である。図１２に示すように、仮想キーボードＫＢ１０は、アルファベット「Ａ」～「Ｚ」までの各々に関連付けられた２６個の仮想キーＫ１を有している。また、平面図および底面図等から分かるように、各仮想キーＫ１は、仮想空間おける操作の起点位置（ここでは、仮想空間の視点）から奥行方向に向かって凹んだ凹曲面に沿って配列されている。

【0122】

〔変形例〕
（仮想キーボードおよび仮想キーの外観の他のバリエーション）
図１３は、仮想キーボードＫＢ１０Ａの外観を示す六面図である。図１３に示すように、仮想キーボードＫＢ１０Ａの外観は、仮想キーボードＫＢ１０とは異なる。六面図を構成する各図の配置については、図１２を参照して説明した通りであるため、説明を繰り返さない。仮想キーボードＫＢ１０Ａは、アルファベット「Ａ」～「Ｚ」、および数字「０」～「９」までの各々に関連付けられた３６個の仮想キーを有している。また、平面図および底面図等から分かるように、各仮想キーは、仮想空間おける操作の起点位置（ここでは、仮想空間の視点）から奥行方向に向かって凹んだ凹曲面に沿って配列されている。

【0123】

図１４は、仮想キーボードＫＢ１０Ｂの外観を示す六面図である。図１４に示すように、仮想キーボードＫＢ１０の外観は、仮想キーボードＫＢ１０およびＫＢ１０Ａとは異なる。六面図を構成する各図の配置については、図１２を参照して説明した通りであるため、説明を繰り返さない。仮想キーボードＫＢ１０Ｂは、かな「あ」～「ん」、濁点、句読点の各々に関連付けられた４８個の仮想キーを有している。また、平面図および底面図等から分かるように、各仮想キーは、仮想空間おける操作の起点位置（ここでは、仮想空間の視点）から奥行方向に向かって凹んだ凹曲面に沿って配列されている。

【0124】

図１５は、仮想キーＫ１の外観の変形例を示す図である。図１５において、仮想キーＫ２は、球体状である。仮想キーＫ２の内部には、仮想キーＫ２に割り当てられた文字を示す文字オブジェクトＣ２が配置されている。仮想キーＫ２の表面は半透明であり、内部に配置された文字オブジェクトＣ２が外部から視認可能となっている。

【0125】

なお、上述した実施形態において、仮想キーボードＫＢ１０および仮想キーＫ１の外観は、仮想キーボードＫＢ１０Ａ、ＫＢ１０Ｂ、仮想キーＫ２に限らず、様々な態様に変形可能である。例えば、仮想キーボードＫＢ１０を構成する仮想キーに割り当てられる文字、仮想キーの個数、仮想キーが配列される曲面の形状、仮想キーの配列順序、仮想キーの形状等は、上述したものに限定されない。また、複数の仮想キーが配列される曲面の形状は、凹曲面に限らず、その他の曲面に配置されてもよい。

【0126】

（複数のコントローラ３０）
上述した実施形態では、情報処理システム１が、片手で保持可能な１つのコントローラ３０を有する例を中心に説明した。ただし、情報処理システム１は、片手で保持可能な複数のコントローラ３０を有してもよい。例えば、ユーザは、両手にそれぞれコントローラ３０を保持して操作を行ってもよい。

【0127】

例えば、指示位置検出部１１３は、同時に複数の指示位置を検出し、単語提示部１１４は、第１の指示位置の軌跡と、当該軌跡の入力期間の少なくとも一部において検出された第２の指示位置との組み合わせに基づいて、単語を提示してもよい。例えば、ユーザは、左手に保持した第２のコントローラ３０を用いて特定の仮想キーの領域を第２の指示位置として指示することにより文字セットの変更を指示してもよい。これにより、ユーザは、左手に保持した第２のコントローラ３０を用いて文字セットの変更を指示しながら、右手に保持した第１のコントローラ３０を用いて第１の指示位置の軌跡を描くことができる。そのような特定の仮想キーとしては、例えば、仮想キー「シフト」（図示せず）等が挙げられるが、これに限られない。この場合、仮想キーボード配置部１１２は、文字セットの変更が指示されている期間中、仮想キーボードＫＢ１０の一部または全部を構成する各仮想キーの代わりに、当該仮想キーとは異なる文字に割り当てられた仮想キーを配置する。

【0128】

また、例えば、各コントローラ３０による指示位置の指示は、仮想キーボードＫＢ１０を含む領域を分割した分割領域において有効となっていてもよい。例えば、指示位置検出部１１３は、仮想キーボードＫＢ１０を含む領域の右半分では第１のコントローラ３０を介して指示される指示位置を取得し、左半分では第２のコントローラ３０を介して指示される指示位置を取得してもよい。これにより、ユーザは、仮想キーボードＫＢ１０を含む領域に軌跡を描くために、右半分の領域では右手に保持した第１のコントローラ３０を用い、左半分の領域では左手に保持した第２のコントローラ３０を用いることができる。

【0129】

また、例えば、各コントローラ３０による指示位置の指示は、仮想空間に配置された複数の仮想キーボードの各々に対して有効となっていてもよい。複数の仮想キーボードは、同一の構成であってもよいし、少なくとも１つが異なる構成であってもよい。例えば、仮想空間に、２つの仮想キーボードＫＢ１０が配置されていてもよい。また、例えば、仮想空間に、仮想キーボードＫＢ１０Ａおよび仮想キーボードＫＢ１０Ｂが配置されていてもよい。例えば、仮想空間に、第１および第２の仮想キーボードが配置されているとする。この場合、指示位置検出部１１３は、第１のコントローラ３０を介して、第１の仮想キーボードに対する指示位置を取得し、第２のコントローラ３０を介して、第２の仮想キーボードに対する指示位置を取得する。これにより、ユーザは、仮想空間に配置された複数の仮想キーボードを用いて、効率的に入力操作を行うことができる。

【0130】

（コントローラオブジェクトの配置）
上述した実施形態では、仮想空間において、仮想キーボードＫＢ１０の近傍にコントローラオブジェクトＣ８０２が配置される例を中心に説明した。ただし、コントローラオブジェクトＣ８０２が配置される位置は、仮想キーボードＫＢ１０の近傍に限定されない。具体的には、ユーザがコントローラ３０を現実空間で動かすことによって、ポインタオブジェクトＰ８０５が仮想キーボードＫＢ１０を含む領域を通るように、ポインタオブジェクトＰ８０５およびコントローラオブジェクトＣ８０２間の位置関係が規定される。また、当該位置関係は、ユーザにより設定可能であってもよい。これにより、ユーザは、例えば、コントローラ３０を保持した手を下に降ろしたまま手首を動かすだけで、仮想キーボードＫＢ１０を含む領域にポインタオブジェクトＰ８０５の軌跡を描くことができる。これにより、ユーザの疲労感がさらに軽減される。

【0131】

（入力装置の他のバリエーション）
上述した実施形態では、情報処理システム１が、片手で保持可能なコントローラ３０を有する例を中心に説明した。ただし、情報処理システム１は、コントローラ３０に替えて、仮想空間における位置を指示可能なその他の入力装置を有していてもよい。例えば、情報処理装置１０は、両手で保持して現実空間で動かすことにより仮想空間における位置を指示するパッド型の入力装置を有していてもよい。

【0132】

（表示装置のバリエーション）
上述した実施形態では、情報処理システム１が、ＨＭＤ２０を有する例を中心に説明した。ただし、情報処理システム１は、ＨＭＤ２０に替えて、ユーザに仮想空間を提示可能なその他の表示装置を有していてもよい。例えば、情報処理システム１は、仮想空間を示す左画像および右画像を表示するディスプレイと、当該左画像および右画像を立体視するためのメガネとからなる表示装置を有していてもよい。また、例えば、情報処理システム１は、ＨＭＤ２０に替えて、仮想空間を体感可能な部屋を実現する技術（例えば、ＣＡＶＥ：Cave automatic virtual environment）において用いられる表示装置を有していてもよい。また、例えば、情報処理システム１は、ＨＭＤ２０に替えて、三次元的に配置された画素を用いて立体映像を表示する立体表示装置を用いてもよい。

【0133】

（単語選択部のバリエーション）
また、上述した実施形態では、単語選択部１１５は、操作スティック３０５の操作によって選択される選択領域Ｇ８０４＿ｘに基づいて単語を選択するものとして説明した。ただし、単語選択部１１５は、その他の入力操作に基づいて単語を選択してもよい。例えば、単語選択部１１５は、コントローラオブジェクトＣ８０２またはポインタオブジェクトＰ８０５が接触した選択領域Ｇ８０４＿ｘを特定し、特定した選択領域Ｇ８０４＿ｘに対応する単語を選択してもよい。また、例えば、単語選択部１１５は、ＨＭＤ２０の傾きに基づいてユーザの視線の方向に存在する選択領域Ｇ８０４＿ｘを特定し、特定した選択領域Ｇ８０４＿ｘに対応する単語を選択してもよい。また、単語選択部１１５は、コントローラ３０を介して指示される、仮想空間における指示方向が示す単語を選択してもよい。また、例えば、単語選択部１１５は、マイク（図示せず）を用いてユーザの音声情報を取得し、当該音声情報が示す単語を選択してもよい。

【0134】

（その他の変形例）
上述した実施形態では、単語提示部１１４は、指示位置の軌跡に基づいて単語を提示するために、基準軌跡情報Ｄ１２１を用いる例について説明した。これに限らず、単語提示部１１４は、例えば、軌跡を示す情報から単語を予測するよう学習された機械学習モデルを用いてもよい。この場合、単語提示部１１４は、指示位置の軌跡を示す情報を機械学習モデルに入力し、機械学習モデルから出力される単語を提示すればよい。そのような機械学習モデルは、記憶部１２に記憶されていてもよいし、情報処理装置１０の外部の周辺装置、ネットワーク上の装置等に記憶されていてもよい。

【0135】

〔ソフトウェアまたはハードウェアによる実現例〕
上述した実施形態および各変形例では、情報処理装置１０の制御部１１が、ソフトウェアによって構成される例について説明した。すなわち、コンピュータ装置を情報処理装置１０として動作させるためにコンピュータ装置によって実行されるプログラムが、図６に示したメモリ１０２に記憶され、プロセッサ１０１が当該プログラムを読み取って実行することにより、制御部１１の各機能が実現される。

【0136】

なお、この場合、コンピュータ装置を情報処理装置１０として動作させるためのプログラムは、必ずしもコンピュータ装置内部のメモリ１０２に記憶されていなくてもよい。コンピュータ装置を情報処理装置１０として動作させるためのプログラムは、例えば、外部記録媒体に記録されてもよい。外部記録媒体の具体例としては、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などが挙げられるが、これらに限られない。この場合、外部記録媒体に記録されたプログラムは、プロセッサ１０１によって読み込まれて実行される。また、本発明は、外部記録媒体に記録されたプログラム、または、当該外部記録媒体としても実現され得る。

【0137】

また、コンピュータ装置を情報処理装置１０として動作させるためのプログラムは、通信ネットワークを介してコンピュータ装置に供給されてもよい。この場合、通信ネットワークは、プログラムを伝送可能なネットワークであればよく、特に限定されない。また、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0138】

なお、情報処理装置１０の制御部１１は、ソフトウェアによる実現に限らず、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現されてもよい。

【0139】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0140】

１ 情報処理システム
１０、１０Ａ、１０Ｂ 情報処理装置
１１ 制御部
１２ 記憶部
１１１ 仮想空間表示部
１１２ 仮想キーボード配置部
１１３ 指示位置検出部
１１４ 単語提示部
１１５ 単語選択部
２０ ヘッドマウントディスプレイ（ＨＭＤ）
３０ コントローラ
１０１ プロセッサ
１０２ メモリ
１０３、２０２、３０２ 入出力インタフェース
２０１、３０１ 制御装置
２０３、３０３ センサ
２０４ 表示パネル
３０４ 操作ボタン
３０５ 操作スティック
３０６ 振動デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】