特開 2025-27693 プログラム、プログラムを記憶した記憶媒体、文字入力システム、及び文字入力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025027693

(43)【公開日】2025-02-28

(54)【発明の名称】プログラム、プログラムを記憶した記憶媒体、文字入力システム、及び文字入力方法

(51)【国際特許分類】

   G06F 3/0487 20130101AFI20250220BHJP

   G06F 3/0338 20130101ALI20250220BHJP

【ＦＩ】

G06F3/0487

G06F3/0338 413

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023132736

(22)【出願日】2023-08-16

(71)【出願人】

【識別番号】523312576

【氏名又は名称】株式会社アオミネクスト

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】中村 真護

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA07

5B087AB02

5B087AB09

5B087BC08

5B087DD06

5E555AA16

5E555BA08

5E555BB08

5E555BC19

5E555BE16

5E555BE17

5E555CA19

5E555CA21

5E555CA22

5E555DA08

5E555DA09

5E555DB41

5E555DC09

5E555FA00

(57)【要約】

【課題】ウェアラブルディスプレイ端末に好適な文字入力のためのプログラムを提供する。
【解決手段】プログラム（１５０）は、コンピュータに、文字の入力操作を受ける少なくとも一つ以上のキーを含む文字入力インタフェース（３２０）の映像データを生成し、映像データをウェアラブルディスプレイ端末（１０）に送信し、文字入力インタフェースに含まれるキーのうち、リモートコントローラ（２０）の動きに連動するポインタが重畳したキーを文字選択操作待機モードに遷移させ、文字選択操作待機モード中にリモートコントローラの操作信号を受信すると、当該操作信号に基づいて前記キーに割り当てられた文字を前記ウェアラブルディスプレイ端末に表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
文字の入力操作を受ける少なくとも一つ以上のキーを含む文字入力インタフェースの映像データをウェアラブルディスプレイ端末に送信する機能と、
前記文字入力インタフェースに含まれるキーのうち、リモートコントローラの動きに連動するポインタが重畳したキーを文字選択操作待機モードに遷移させる機能と、
前記文字選択操作待機モード中に、前記リモートコントローラの操作信号を受信すると、当該操作信号に基づいて前記キーに割り当てられた文字を前記ウェアラブルディスプレイ端末に表示させる機能と、を実現させるためのプログラム。

【請求項2】

請求項１に記載のプログラムであって、
前記リモートコントローラは、第１操作子及び第２操作子を備え、
前記第１操作子は、オン及びオフの入力操作を受け付ける操作子であり、
前記第２操作子は、４種類の入力操作を受け付ける操作子であり、
前記文字入力インタフェースは、少なくとも１０キーを含み、
各キーには、日本語の５０音を構成する母音行及び子音行の各先頭の第１音がそれぞれ割り当てられ、
前記第１操作子の入力操作は、各キーに割り当てられた母音行及び子音行の第１音の選択操作であり、前記第２操作子の前記４種類の入力操作のうちの第１操作は、各キーに割り当てられた母音行及び子音行の第２音の選択操作であり、
前記４種類の入力操作のうちの第２操作は、各キーに割り当てられた母音行及び子音行の第３音の選択操作であり、
前記４種類の入力操作のうちの第３操作は、各キーに割り当てられた母音行及び子音行の第４音の選択操作であり、
前記４種類の入力操作のうちの第４操作は、各キーに割り当てられた母音行及び子音行の第５音の選択操作である、プログラム。

【請求項3】

請求項１に記載のプログラムであって、
前記リモートコントローラは、第１操作子及び当該リモートコントローラの運動を検出するモーションセンサを備え、
前記第１操作子は、オン及びオフの入力操作を受け付ける操作子であり、
前記文字入力インタフェースは、少なくとも１０キーを含み、
各キーには、日本語の５０音を構成する母音行及び子音行の各先頭の第１音がそれぞれ割り当てられ、
前記第１操作子の入力操作は、各キーに割り当てられた母音行及び子音行の第１音の選択操作であり、前記第１操作子の入力操作と共に前記モーションセンサが検出したセンサ情報に基づいて、前記リモートコントローラの運動方向を４方向に分類し、
前記４方向のうちの第１方向への運動操作は、各キーに割り当てられた母音行及び子音行の第２音の選択操作であり、
前記４方向のうちの第２方向への運動操作は、各キーに割り当てられた母音行及び子音行の第３音の選択操作であり、
前記４方向のうちの第３方向への運動操作は、各キーに割り当てられた母音行及び子音行の第４音の選択操作であり、
前記４方向のうちの第４方向への運動操作は、各キーに割り当てられた母音行及び子音行の第５音の選択操作である、プログラム。

【請求項4】

請求項１、２、又は３に記載のプログラムを記憶した記憶媒体。

【請求項5】

文字入力システムであって、
請求項１、２、又は３に記載のプログラムを記憶したコンピュータと、
ウェアラブルディスプレイ端末と、
リモートコントローラと、を含み、
前記コンピュータは、前記リモートコントローラから前記操作信号を受信し、
前記コンピュータから前記ウェアラブルディスプレイ端末に対して前記文字入力インタフェースの映像データ、及び前記リモートコントローラの操作信号に従って選択された前記キーに割り当てられた文字の映像データを送信し、
前記ウェアラブルディスプレイ端末は、前記文字入力インタフェース及び前記リモートコントローラの操作信号に従って選択された前記キーに割り当てられた文字を表示する、文字入力システム。

【請求項6】

コンピュータが、
文字の入力操作を受ける少なくとも一つ以上のキーを含む文字入力インタフェースの映像データを生成してウェアラブルディスプレイ端末に送信するステップと、
前記文字入力インタフェースに含まれるキーのうち、リモートコントローラの動きに連動するポインタが重畳したキーを文字選択操作待機モードに遷移させるステップと、
前記文字選択操作待機モード中に、前記リモートコントローラの操作信号を受信すると、当該操作信号に基づいて前記キーに割り当てられた文字を前記ウェアラブルディスプレイ端末に表示させるステップと、を実行する、文字入力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、プログラムを記憶した記憶媒体、文字入力システム、及び文字入力方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイへの入力操作としてジェスチャー操作が知られている。例えば特許文献１の明細書段落００４８、００４９には、「ＣＰＵは、ＨＭＤに表示された仮想入力デバイスに対するユーザの入力操作を検出する。このような検出は、例えば、カメラによって撮影されたユーザの手や指の動きを追跡する技術を利用することによってなされ得る。ユーザの手や指の動きを追跡する技術としては、画像処理を応用した様々な技術を適用することが可能である。例えば、下記の文献に記載の技術は、ユーザの手や指の動きを追跡する技術として好適に適用することが可能な技術の一例である。文献：佐々木ほか、”てのひらだいやる：Ｗｅａｒａｂｌｅ Ｃｏｍｐｕｔｅｒ用入力インタフェース”、信学技報（ＴＥＣＮＩＣＡＬ ＲＥＰＯＲＴ ＯＦＩＥＩＣＥ） ＰＲＭＵ ２０００－１５７（２００１－１）あるいは、ユーザの指先に接触センサを装着し、接触センサからの出力信号に基づいてユーザの指の動きを追跡するよう（特許文献１明細書から一部抜粋）」との記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－３１８６５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

コンピュータへの入力装置として広くキーボードが知られている。このキーボードをヘッドマウントディスプレイの入力装置として適用し、例えば仮想的なキーボードをヘッドマウントディスプレイに表示して特許文献１のジェスチャー動作を用いて文字入力することも考えられる。

【0005】

しかし、ヘッドマウントディスプレイはユーザの眼前にディスプレイを保持できる大きさのディスプレイを搭載する必要があるため、画面領域の大きさに制約がある。そのため、仮想的なキーボードをヘッドマウントディスプレイに表示すると個々のキーの大きさが必然的に小さくなり両手を使ったジェスチャー動作では正確にキー入力が行えず文字入力操作が円滑に行えないという課題がある。この課題は、ヘッドマウントディスプレイに限らず、スマートグラス、ＡＲグラス（仮想現実表示グラス）などのウェアラブルディスプレイ端末に共通した課題である。

【0006】

本発明は、上記の事情に鑑みてなされたものであり、その目的は、ウェアラブルディスプレイ端末の文字入力に好適なプログラム、プログラムを記憶した記憶媒体、文字入力システム、及び文字入力方法を提供することにある。

【課題を解決するための手段】

【0007】

前記課題を解決するために、特許請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、コンピュータに、文字の入力操作を受ける少なくとも一つ以上のキーを含む文字入力インタフェースの映像データを生成し、前記映像データをウェアラブルディスプレイ端末に送信する機能と、前記文字入力インタフェースに含まれるキーのうち、リモートコントローラの動きに連動するポインタが重畳したキーを文字選択操作待機モードに遷移させる機能と、前記文字選択操作待機モード中に、前記リモートコントローラの操作信号を受信すると、当該操作信号に基づいて前記キーに割り当てられた文字を前記ウェアラブルディスプレイ端末に表示させる機能と、を実現させるためのプログラムである。

【0008】

また本発明は、上記プログラムを記憶した記憶媒体である。

【0009】

また本発明は、文字入力システムであって、上記プログラムを記憶したコンピュータと、ウェアラブルディスプレイ端末と、リモートコントローラと、を含み、前記コンピュータは、前記リモートコントローラから前記操作信号を受信し、前記コンピュータから前記ウェアラブルディスプレイ端末に対して前記文字入力インタフェースの映像データ、及び前記リモートコントローラの操作信号に従って選択された前記キーに割り当てられた文字の映像データを送信し、前記ウェアラブルディスプレイ端末は、前記文字入力インタフェース及び前記リモートコントローラの操作信号に従って選択された前記キーに割り当てられた文字を表示する。

【0010】

また本発明は、文字入力方法であって、コンピュータが、文字の入力操作を受ける少なくとも一つ以上のキーを含む文字入力インタフェースの映像データをウェアラブルディスプレイ端末に送信するステップと、前記文字入力インタフェースに含まれるキーのうち、リモートコントローラの動きに連動するポインタが重畳したキーを文字選択操作待機モードに遷移させるステップと、前記文字選択操作待機モード中に、前記リモートコントローラの操作信号を受信すると、当該操作信号に基づいて前記キーに割り当てられた文字を前記ウェアラブルディスプレイ端末に表示させるステップ、を実行する。

【発明の効果】

【0011】

本発明によれば、ウェアラブルディスプレイ端末の文字入力に好適なプログラム、プログラムを記憶した記憶媒体、文字入力システム、及び文字入力方法を提供することができる。上記した以外の目的、構成、効果については以下の実施形態において明らかにされる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る文字入力システムの概要を示す図である。

【図2】ＨＭＤのハードウェア構成図である。

【図3】リモートコントローラのハードウェア構成図である。

【図4】パーソナルコンピュータのハードウェア構成図である。

【図5】文字入力システムの機能ブロック図である。

【図6】仮想空間の一態様を概念的に表す図である。

【図7】本実施形態に係る文字入力システム１における第１入力モードでの処理の流れを示すフローチャートである。

【図8】本実施形態に係る文字入力システム１における第１入力モードでの処理の流れを示すフローチャートである。

【図9】ＨＭＤで表示される画面表示例を示す図である。

【図10】ＨＭＤで表示される画面表示例を示す図である。

【図11】フリック類似操作の方向判定処理についての説明図である。

【図12】リモートコントローラの操作子へのボタンの割り付け例を示す図である。

【図13】リモートコントローラの操作子へのボタンの割り付け例を示す図である。

【図14】リモートコントローラの操作子へのボタンの割り付け例を示す図である。

【図15】文字入力システムにおける第２入力モードでの処理の流れを示すフローチャートである。

【図16】文字入力システムにおける第２入力モードでの処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面に基づいて説明する。なお、以下に記載する本発明の実施形態は、本発明を具体化する際の一例を示すものであって、本発明の範囲を実施形態の記載の範囲に限定するものではない。従って、本発明は、実施形態に種々の変更を加えて実施することができる。

【0014】

本実施形態は、ウェアラブルディスプレイ端末と、別体に構成されたリモートコントローラとを連携した文字入力システムに係る。ウェアラブルディスプレイ端末の種類として、例えば、ヘッドマウントディスプレイ（以下「ＨＭＤ」記載する。）、スマートグラス、ＡＲグラス（仮想現実表示グラス）等があり、ＨＭＤは没入型でもよいし透過型でもよい。以下では没入型ＨＭＤを用いた文字入力システムを例示して説明する。

【0015】

［文字入力システム１の概要］
図１は、本実施形態に係る文字入力システム１の概要を示す図である。図１に示すように、文字入力システム１は、ＨＭＤ１０、リモートコントローラ２０、及びパーソナルコンピュータ（以下「ＰＣ」と略記する）３０を含み、これらを通信接続して構成される。

【0016】

ＨＭＤ１０は、ディスプレイ１１、制御装置１２、ＨＭＤ側近距離無線通信機１３、及びディスプレイ１１をユーザの眼前に保持するための保持体１９を備える。ＨＭＤ側近距離無線通信機１３は一例としてＢｌｕｅｔｏｏｈ（登録商標、以下「ＢＴ」と略記する）通信機を用いてもよい。

【0017】

リモートコントローラ２０は、筐体２９にリモコン側近距離無線通信機２１を備え、筐体２９の背面に操作ボタン２２を備える。リモコン側近距離無線通信機２１は一例としてＢＴ通信機を用い、ＨＭＤ側近距離無線通信機１３又はＰＣ３０と通信接続される。ＨＭＤ１０が映像生成処理を行う場合はリモートコントローラ２０の操作信号をＨＭＤ１０が直接受信してＨＭＤ１０に表示する映像に反映させてもよい。またＰＣ３０が映像生成処理を行い、その映像信号をＨＭＤ１０が受信して表示する態様であれば、リモートコントローラ２０の操作信号はＰＣ３０が受信するように構成されてもよい。本実施形態では、後者例に挙げて以下の説明を行う。

【0018】

ＰＣ３０は、例えばデスクトップパソコンを用いて構成される。ＰＣ３０は、インターネットなどの通信ネットワーク４０を介して仮想現実提供サーバ５０に通信接続されてもよい。そして仮想現実提供サーバ５０から仮想現実の描画データをＰＣ３０が受信し、仮想現実映像データを生成してＨＭＤ１０にＰＣ３０から送信する。その際、ＰＣ３０はリモートコントローラ２０から受信した操作信号に従って文字入力を受け付け、入力された文字を仮想現実映像に重複した仮想現実映像を生成する。以下では仮想現実をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）と記載する。

【0019】

［ＨＭＤ１０の構成］
図２は、ＨＭＤ１０のハードウェア構成図である。ＨＭＤ１０は、プロセッサ１０１、ＲＡＭ１０２、ディスプレイ１０３、ストレージ１０４、入力インタフェース１０５、モーションセンサ１０６、アウトカメラ１０７、通信インタフェース１０８、マイク１０９、及びスピーカ１１０を備え、これらが通信バス１１１により互いに接続されている。

【0020】

プロセッサ１０１は、ストレージ１０４に格納されている端末プログラム１０４Ｐに含まれる一連の命令を実行することによって、後述する処理を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、その他のデバイスとして実現される。

【0021】

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、揮発性メモリである。

【0022】

一例として、ディスプレイ１０３は、非透過型の表示装置として実現される。ディスプレイ１０３は、例えば、ユーザの両目の前方に位置するようにＨＭＤ１０の本体に配置されている。非透過型のディスプレイ１０３は、例えば、液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）モニタとして実現される。

【0023】

他の例として、ディスプレイ１０３は、透過型の表示装置として実現される。この場合のＨＭＤ１０は、ユーザの目を覆う密閉型ではなく、メガネ型のような開放型となる。ディスプレイ１０３は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。一例として、透過型のディスプレイ１０３は、ＨＭＤ１０に搭載されたカメラで撮像した現実空間の画像を表示してもよい。他の例として、透過型のディスプレイ１０３は、透過率を調整可能に構成されていてもよい。そして、透過型のディスプレイ１０３は、表示領域の一部の透過率を高く設定して、現実空間を直接視認できるようにしてもよい。

【0024】

また、ディスプレイ１０３は、ユーザに３次元画像を視認させるために、以下の構成を採用してもよい。一例として、ディスプレイ１０３は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含んでもよい。他の例として、ディスプレイ１０３は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合のディスプレイ１０３は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

【0025】

ストレージ１０４は、データを永続的に保持する記憶媒体であり、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、その他の不揮発記憶媒体として実現される。また、ストレージ１０４は、メモリカードのように着脱可能な記憶媒体として実現されてもよい。ストレージ１０４には、ＨＭＤ１０の制御に必要な端末プログラム１０４Ｐが格納される。

【0026】

入力インタフェース１０５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。

【0027】

モーションセンサ１０６は、ＨＭＤ１０の動き、例えばＨＭＤ１０をユーザの頭部に装着している場合は、ＨＭＤ１０とユーザの頭部とがほぼ一体となって運動するのでユーザの頭部の動きを検出する。モーションセンサ１０６は、例えば３軸加速度センサを用いて実現される。

【0028】

アウトカメラ１０７は、外界映像を撮像するカメラである。没入型のＨＭＤ１０ではアウトカメラ１０７のスルー画像をディスプレイ１０３に表示することでユーザがＨＭＤ１０を装着したまま外界映像を視認して自分の周囲の状況を把握することができる。

【0029】

通信インタフェース１０８は、ＨＭＤ１０と外部機器とを通信接続するためのインタフェースである。一例として、通信インタフェース１０８をＵＳＢ端子として構成し、ＢＴドングルをＨＭＤ側近距離無線通信機１３として用い、リモートコントローラ２０又はＰＣ３０と近距離無線通信が行えるように構成してもよい。マルチペアリング対応のＢＴ通信機を用いて、リモートコントローラ２０とＰＣ３０との同時接続を実現してもよい。

【0030】

マイク１０９は、ＨＭＤ１０周辺の集音を行う装置である。ユーザが音声入力をする際はマイク１０９がユーザの音声を集音してＨＭＤ１０に入力し、音声認識処理を実行することで音声入力が行える。

【0031】

スピーカ１１０は、ディスプレイ１０３に表示中のコンテンツの音声や、その他の音声を出力する音声出力装置である。

【0032】

［リモートコントローラ２０の構成］
図３は、リモートコントローラ２０のハードウェア構成図である。リモートコントローラ２０は、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作スイッチ２０４、モーションセンサ２０５、及びＢＴ通信機２０６を備え、これらが通信バス２０９により互いに接続されている。

【0033】

ＲＡＭ２０２は、揮発性メモリであり、処理プログラムやデータの一時記憶領域として用いられる。

【0034】

ＲＯＭ２０３は、リモートコントローラ２０の処理プログラムを格納する。

【0035】

操作スイッチ２０４は、文字種類の選択、確定を行うためのフリック類似操作を行う際にユーザが押し下げるスイッチである。「フリック類似操作」とは、リモートコントローラ２０を振った際の加速度により入力指示を行うための操作である。従来のスマートフォンやタブレット端末で行うフリック操作は、スマートフォンやタブレット端末の表面に積層されたタッチパネルを押圧した状態で指を上下左右の何れかの方向に動かす操作であるが、リモートコントローラ２０を用いて同様の操作を行おうとしてもタッチパネルがないためフリック操作そのものは行えない。よって、本実施形態に係る文字入力ＵＩプログラム１５０を搭載したＨＭＤ１０では、従来のフリック操作とは全く異なる特有の制御処理を実行しているが、ユーザに対しては疑似的なフリック操作を行ったような操作感を演出することが目的の操作であるため、本実施形態では「フリック類似操作」と称する。なおフリック類似操作は文字選択操作を行うためのリモートコントローラの所定の動作に相当する。

【0036】

モーションセンサ２０５は、リモートコントローラ２０の動きを検出するセンサであり、例えば３軸加速度センサを用いて実現される。

【0037】

プロセッサ２０１は、例えばＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）を用いて構成され、ＲＯＭ２０３からリモートコントローラ２０の制御プログラムを読み出してＲＡＭ２０２にロードして実行する。プロセッサ２０１は、操作スイッチ２０４の操作情報、モーションセンサ２０５が検出したリモートコントローラ２０の動き等を、ＢＴ通信機２０６を介してＨＭＤ１０に送信する。よってＢＴ通信機２０６はリモコン側近距離無線通信機に相当する。

【0038】

［ＰＣ３０の構成］
図４は、ＰＣ３０のハードウェア構成図である。ＰＣ３０は、プロセッサ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ストレージ３０４、入力インタフェース３０５、通信インタフェース３０６を備え、これらが通信バス３０９により互いに接続されている。各部の詳細は、ＨＭＤ１０、リモートコントローラ２０と重複するので省略する。

【0039】

プロセッサ３０１は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて実現される。

【0040】

ＲＡＭ３０２は、揮発性メモリであり、処理プログラムやデータの一時記憶領域として用いられる。

【0041】

ＲＯＭ３０３は、ＰＣのオペレーティングシステムプログラムなどを記憶した不揮発性メモリである。

【0042】

ストレージ３０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）など不揮発性記憶媒体により実現され、本実施形態に係る文字入力ＵＩプログラム１５０（図５参照）や仮想現実表示プログラム１６０（図５参照）を格納する。

【0043】

［文字入力システム１の機能ブロック図］
図５は、文字入力システム１の機能ブロック図である。図５に示すように、ＰＣ３０は、文字入力ＵＩプログラム１５０と仮想現実表示プログラム１６０とを含む。仮想現実表示プログラム１６０は任意であるが、以下の説明ではアバターを仮想空間に配置した仮想現実映像を表示中に文字入力を行う例を挙げて説明するため、ＰＣ３０は、仮想現実表示プログラム１６０を含むと説明している。また、ＰＣ３０は、ＨＭＤ１０に対してＶＲ映像等の表示データを送信する通信制御部１７０を含む。

【0044】

文字入力ＵＩプログラム１５０は、ポインタ制御部１５１、文字入力ＵＩ表示制御部１５２、及び文字入力制御部１５３を含む。これらの各部は、プロセッサ３０１がストレージ３０４に格納された文字入力ＵＩプログラム１５０を読み出してＲＡＭ３０２にロードすることで、文字入力ＵＩプログラム１５０の各部の機能が実現する。各部の機能については、本実施形態に係る文字入力システム１における処理の流れに沿って後述する。

【0045】

［仮想空間９０の概要］
図６は、仮想空間９０の一態様を概念的に表す図である。図６に示すように、仮想空間９０は、中心Ｃの３６０度方向の全体を覆う全天球状の構造を有する。図６では説明を複雑にしないために、仮想空間９０の上半分の天球が例示されている。仮想空間９０では各メッシュが規定される。各メッシュの位置は、仮想空間９０に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。仮想空間９０に展開可能なパノラマ画像９１（静止画、動画等）を構成する各部分画像は、仮想空間９０において対応する各メッシュにそれぞれ対応付けられる。

【0046】

例えば、仮想空間９０では、中心Ｃを原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、及び前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。

【0047】

仮想空間９０の中心ＣにＨＭＤ１０のユーザの視点を置き、このユーザ視点から仮想空間９０におけるユーザの視線（基準視線９３）を中心とするに仮想空間９０における視界領域９４を規定する。

【0048】

プロセッサ３０１は、仮想空間９０に展開されたパノラマ画像９１のうち、視界領域９４に含まれる部分画像を、仮想現実映像９７として生成（抽出）し、ＨＭＤ１０に表示させる。すなわち、視界領域９４は、仮想空間９０内におけるユーザの視界に相当する。さらに、仮想空間９０内で仮想カメラ９２の位置及び向きの変化に追従して視界領域９４が移動し、ＨＭＤ１０に表示される仮想現実映像９７が更新される。すなわち、ユーザの視界が移動する。

【0049】

文字入力ＵＩプログラム１５０において表示される文字入力ＵＩ３２０（文字入力インタフェース）は、仮想空間９０において視界領域９４よりも手前に配置される。従って、ＨＭＤ１０のユーザ視点では、文字入力ＵＩ３２０と仮想現実映像９７とが重なる場合は、オクルージョン処理を行い文字入力ＵＩ３２０が仮想現実映像９７よりも手前に見えるように表示される。オクルージョン処理では、文字入力ＵＩ３２０の透過率を０％にして文字入力ＵＩ３２０と重複する仮想現実映像９７が全く見えないようにすることキーの視認性を向上させてもよいし、透過率を例えば５０％に設定し文字入力をしながら仮想現実映像９７も視認できるように表示制御してもよい。透過率は０～１００％で任意に設定できる。なお、オクルージョン処理において、文字入力ＵＩ３２０は基本的には最前面に表示するが、後述するアバター登録画面よりも奥側に表示させるなど、文字入力ＵＩ３２０の表示順位をユーザに適宜設定させるように構成してもよい。

【0050】

さらにプロセッサ３０１は、リモートコントローラ２０で受け付けたユーザの操作に連動して、文字の選択、入力を行う。具体的にはリモートコントローラ２０のモーションセンサ２０５で検知したリモートコントローラ２０の動きに応じて仮想空間９０内でポインタ３３０を移動させる。またプロセッサ１０１は、モーションセンサ２０５で検知した加速度と、操作ボタン２２が押し下げられたことを示す操作信号とに基づいて文字入力ＵＩ３２０でどの文字が選択されたかを決定し、選択された文字を含む仮想現実映像９７をＨＭＤ１０に表示する。

【0051】

本実施形態に係る文字入力システムは日本語５０音の文字入力に好適である。以下では、日本語入力を例に挙げて説明する。本実施形態に係る文字入力システム１には、人差し指の動きと手首の動きとを入力操作に併用する第１入力モードと、指の動きだけで入力操作が行える第２入力モードと、がある。第１入力モードと第２入力モードは、ＨＭＤ１０に表示された設定画面（不図示）においてどちらかのモードを選択して設定する。

【0052】

［第１入力モード］
図７、図８は、文字入力システム１における第１入力モードでの処理の流れを示すフローチャートである。図９、図１０は、ＨＭＤ１０で表示される画面表示例を示す図である。

【0053】

本実施形態に係る文字入力システム１による処理の開始に先立ち、ＰＣ３０とＨＭＤ１０、リモートコントローラ２０とＰＣ３０の間で近距離無線通信接続が確立しているものとする。

【0054】

ＰＣ３０は仮想現実表示プログラム１６０を実行し、仮想現実映像として、図９に示すアバター３００とアバター登録画面３１０を含む仮想現実映像を生成し、ＨＭＤ１０に送信する。ＨＭＤ１０はディスプレイ１０３に表示する（Ｓ０１）。

【0055】

文字入力ＵＩ３２０の表示条件が成立すると（Ｓ０２：Ｙｅｓ）、文字入力ＵＩ表示制御部１５２は、文字入力ＵＩ３２０を生成し、ＰＣ３０からＨＭＤ１０に送信されてディスプレイ１０３に文字入力ＵＩ３２０を表示する（Ｓ０３）。

【0056】

文字入力ＵＩ３２０の表示条件の一例として、ユーザがリモートコントローラ２０を操作してポインタ３３０を図９のアバター登録画面３１０の文字入力欄３１１にあてると、仮想現実表示プログラム１６０が文字入力欄３１１内にカーソル３１２を表示し入力待ち状態に遷移する。この入力待ち状態への遷移を文字入力ＵＩ３２０の表示条件としてもよい。

【0057】

文字入力ＵＩ表示制御部１５２は、既述の通り仮想現実映像９７の手前に文字入力ＵＩ３２０を配置し、オクルージョン処理を実行する（図６参照）。本実施形態では、文字入力ＵＩ表示制御部１５２は、４行×３列のマトリックス状に１２個のキーを配列し、そのうちの１０個のキーにひらがな又はカタカナの５０音を各キーに５文字ずつ割り当て、残り２個のキーには別の機能、例えば入力モードの変更や、句読点、クエスチョンマーク、エクスクラメーションマークなどの特殊記号の入力機能を割り当てた１２キーを含む文字入力ＵＩ３２０を表示する。

【0058】

各キーにはあ行、か行、さ行、た行、な行、は行、ま行、や行、わ行の各文字が割り当てられる。図９、図１０の文字入力ＵＩ３２０に含まれる１２キーでは、各行の先頭文字（第１音、例えばあ行の「あ」に相当する）のみが各キーに表示されており、あ行の第２～第５音（例えば、あ行の「い、う、え、お」に相当する）は表示を省略されている。これにより、各キーに割り当てられた行の視認性が向上すると共に、第２～第５音の表示を省略しても日本語を理解できる者であれば、スマートフォンやタブレット端末の１２キーで第２～第５音が第１音を中心に左、上、右、下の順に割り当てられていることを容易に推測できるので、操作性を損ねることはない。なお、各キーにおいて第１音中心に表示し、その周囲に第２～第５音を左、上、右、下の順で配置して表示してもよい。

【0059】

更に本実施形態に係る文字入力ＵＩ３２０は、１２キーに加え、削除キー、改行キー、スペースキーなどの機能キーを９個含むが、これは任意である。

【0060】

ポインタ制御部１５１は、リモートコントローラ２０によって示されたポインタが、いずれかのキーに当たっているかを判断する（Ｓ０４）。ポインタ制御部１５１は、ポインタ３３０の仮想空間９０内における位置（仮想空間内の３次元座標）を演算する。演算手法はいくつかあるが、一例を挙げるならば、リモートコントローラ２０がオンとなった時刻にポインタ３３０の仮想空間９０内の基準点（起点）を自動的に定める。例えば、図６の仮想空間９０内において基準視線９３とパノラマ画像９１との交点をポインタ３３０の基準点とする。こうすれば、ユーザの視点方向に一致する基準視線９３上にポインタ３３０が表示されるので、リモートコントローラ２０をオンにしたときからユーザの視界領域９４の中心にポインタ３３０が表示され、ユーザがポインタ３３０を見失うといった不具合を回避できる。

【0061】

その後、リモートコントローラ２０のモーションセンサ２０５は、リモートコントローラ２０のＸＹＺ軸からなる３次元実空間における加速度を検出する。ここでＺＸ平面は水平面内における２軸であり、Ｙ軸はＺＸ平面に直交する鉛直軸である。Ｘ軸は、リモートコントローラ２０を把持するユーザの左右方向軸であり、Ｚ軸方向はユーザから見て奥行方向軸である。モーションセンサ２０５は、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向の時刻ｔｎにおける加速度（ａ_ｘｔｎ，ａ_ｙｔｎ，ａ_ｚｔｎ）をセンサ情報として検出する。そしてリモートコントローラ２０からＨＭＤ１０に加速度（ａ_ｘｔｎ，ａ_ｙｔｎ，ａ_ｚｔｎ）が送信される。

【0062】

ポインタ制御部１５１は、加速度（ａ_ｘｔｎ，ａ_ｙｔｎ，ａ_ｚｔｎ）を二重積分して基準点（起点）に加算することで、リモートコントローラ２０が指し示している仮想空間９０内の方向（又は座標）を演算し、ディスプレイ１０３の仮想現実映像９７にポインタ３３０を重畳する。ポインタ制御部１５１は、演算したポインタ３３０が、文字入力ＵＩ３２０のいずれかのキーに当たっていると判断すると（Ｓ０４：Ｙｅｓ）、文字入力制御部１５３はポインタが当たっているキーを文字選択操作待機モードに遷移させる（Ｓ０４）。以下、文字選択操作待機モードにある状態をアクティベート、文字選択操作待機モードにない状態をインアクティベートという。文字選択操作は、アクティベート中のキーの第１音を選択する場合は、リモートコントローラ２０をほぼ動かすことなく操作ボタン２２の押し下げ操作、アクティベートしたキーの第２～５音を選択する場合は、リモートコントローラ２０の操作ボタン２２の押し下げた状態でフリック類似操作を行うことにより実行する。

【0063】

図９の例では、ポインタ３３０が「ま」行の文字が割り当てられてキー３２１に重畳しているのでキー３２１がアクティベートしている。アクティベートキーとインアクティベートキーとの区別は、表示態様の差別化により実現してもよい。表示態様の変化は、表示色の変更、点滅表示、またインアクティベートのキーの透過度は高く（又は低く）、アクティベートされたキーは透過度を低く（又は高く）表示してもよい。表示態様の差別化は、文字入力ＵＩ表示制御部１５２が実行する。

【0064】

ＰＣ３０がリモートコントローラ２０からモーションセンサ２０５のセンサ情報及び操作ボタン２２の押下信号の受信を待機する（Ｓ０６：Ｎｏ）。ＰＣ３０がリモートコントローラ２０から操作ボタン２２の押下信号を受信中に、更にモーションセンサ２０５のセンサ情報を受信すると（Ｓ０６：Ｙｅｓ）、ポインタ制御部１５１はセンサ情報に基づいてポインタの動き方向を演算し、ポインタの動き方向をポインタの現時点の位置を起点とし０方向又は上下左右方向のいずれかに分類する（Ｓ０７）。

【0065】

図１１は、フリック類似操作の方向判定処理についての説明図である。ユーザがフリック類似操作を行ったかはＸＹ平面内のリモートコントローラ２０の加速度を基にポインタ制御部１５１が判定する。よって受信したセンサ情報（ａ_ｘｔｎ，ａ_ｙｔｎ，ａ_ｚｔｎ）のうち、ａ_ｚｔｎはフリック類似操作の方向判定処理では用いない。ポインタ制御部１５１は、図１１に示すように、
・｜加速度ａ_ｘｔｎ｜≦ｍａ_ｘかつ｜加速度ａ_ｙｔｎ｜≦ｍａ_ｙであれば、０方向（Ｓ０８：０方向）、
・加速度ａ_ｘｔｎ＜－ｍａ_ｘかつ｜加速度ａ_ｙｔｎ｜≦｜加速度ａ_ｘｔｎ｜あれば左方向（Ｓ０８：左方向）、
・加速度ａ_ｙｔｎ＞ｍａ_ｙかつ｜加速度ａ_ｘｔｎ｜≦｜加速度ａ_ｙｔｎ｜であれば上方向（Ｓ０８：上方向）、
・加速度ａ_ｘｔｎ＞ｍａ_ｘかつ｜加速度ａ_ｙｔｎ｜≦｜加速度ａ_ｘｔｎ｜であれば右方向（Ｓ０８：右方向）、
・加速度ａ_ｙｔｎ＜－ｍａ_ｙかつ｜加速度ａ_ｘｔｎ｜≦｜加速度ａ_ｙｔｎ｜であれば下方向（Ｓ０８：下方向）、
と判定する（Ｓ０８）。ｍａ_ｘ、ｍａ_ｙはフリック類似操作を誤検出しないために設けた左右方向、上下方向の静止マージン加速度である。静止マージン加速度を設けることで、ユーザがフリック類似操作を意図していないにもかかわらず手が動いたために検出された加速度により、フリック類似操作と認識されることを防ぎ操作性を向上させることができる。なお、本実施形態では、加速度を基にフリック類似操作がされたかを判定したが、加速度を時間積分して速度を求めてフリック類似操作がされたかを判定してもよい。

【0066】

文字入力制御部１５３は、ポインタの動き方向に応じた文字を選択して確定する。より詳細には、文字入力制御部１５３は動き方向が０方向であれば（Ｓ０８：０方向）、アクティベートしたキーに割り当てられた第１音の選択を確定させる（Ｓ０９）。一例として、第１音はキーの中心に記載された中心文字、「あ行」であれば「あ」として定めてもよい。同様に文字入力制御部１５３は動き方向が左方向であれば（Ｓ０８：左方向）、アクティベートしたキーに割り当てられた第２音の選択を確定させ（Ｓ１０）、動き方向が上方向であれば（Ｓ０８：方向）、アクティベートしたキーに割り当てられた第３音の選択を確定させ（Ｓ１１）、動き方向が右方向であれば（Ｓ０８：右方向）、アクティベートしたキーに割り当てられた第４音の選択を確定させ（Ｓ１２）、動き方向が下方向であれば（Ｓ０８：下方向）、アクティベートしたキーに割り当てられた第５音の選択を確定させる（Ｓ１３）。

【0067】

文字入力制御部１５３は、ステップＳ０９～Ｓ１２で選択確定された文字を文字入力領域に入力して表示する（Ｓ１４）。図１０の例では、アクティベートした「ま」行のキーにポインタ３３０がある状態でリモートコントローラ２０の操作ボタン２２を押し下げ、リモートコントローラ２０を加速度ａ_ｘｔｎ＜－ｍａ_ｘかつ｜加速度ａ_ｙｔｎ｜≦｜加速度ａ_ｘｔｎ｜を満たすように振ると、ポインタ３３０が図１０の矢印３３１で示す方向に移動して左方向へのフリック類似操作をポインタ制御部１５１が検出し、文字入力制御部１５３が文字入力欄３１１に「み」を入力して表示する。なお、図１０の矢印３３１は、説明の便宜のため図示したものであり、ディスプレイ１０３にはポインタ３３０が動いて表示されるのみで矢印３３１は表示されない。

【0068】

ＰＣ３０において文字入力ＵＩ３２０の表示終了条件が成立するまでは（Ｓ１５：Ｎｏ）、ステップＳ０４に戻り、文字入力ＵＩ３２０を用いた文字入力を継続する。文字入力ＵＩ３２０の表示終了条件が成立すると（Ｓ１５：Ｙｅｓ）、文字入力ＵＩ表示制御部１５２は、ディスプレイ１０３に表示されている文字入力ＵＩ３２０の表示を非表示に遷移させて、文字入力処理を終了する。

【0069】

文字入力ＵＩ３２０の表示終了条件として、例えば仮想現実表示プログラム１６０がアバター登録画面３１０の表示を停止した場合や、文字入力欄３１１内でカーソル３１２が非表示に遷移したことを条件としてもよい。

【0070】

本実施形態によれば、手指のボタン操作と手首のスナップ動作（フリック類似操作）とを併用して文字入力が行える。従って、リモートコントローラ２０にボタンと加速度センサとがあるが、第２モードで使用する４種類の入力が行える操作子がない場合でも、文字入力操作が行える。

【0071】

［第２入力モード］
図１２、図１３、図１４は、リモートコントローラの操作子へのボタンの割り付け例を示す図である。

【0072】

第２入力モードは、リモートコントローラ２０の第１操作子と、第２操作子とを用いる。第１操作子は入力オン、オフの切替が可能な操作子、第２操作子は、４種類の入力が可能な操作子を用いる。

【0073】

図１２のリモートコントローラ２０Ａでは、第１操作子として背面ボタン２４０を、第２操作子としてスティック２４１を用いる。そして、背面ボタン２４０に日本語の母音「あ」行、子音「か、さ、た、な、は、ま、や、ら、わ」の各行の第１音、即ち「あ」行における「あ」を割り当てる。また第２操作子であるスティック２４１の運動方向を４方向に分類し、その４方向のうちの第１方向（例えば左方向）に各行の第２音、即ち「あ」行における「い」、スティック２４１の４方向のうちの第２方向（例えば上方向）に各行の第３音、即ち「あ」行における「う」、スティック２４１の４方向のうちの第３方向（例えば右方向）に各行の第４音、即ち「あ」行における「え」、スティック２４１の４方向のうちの第４方向（例えば下方向）に各行の第５音、即ち「あ」行における「お」を割り当てる。子音の各行についても同様である。

【0074】

図１３のリモートコントローラ２０Ｂでは、第１操作子として背面ボタン２４０を、第２操作子としてトラックパッド２４２を用いる。そしてトラックパッド２４２のタッチ面を４領域に分割し、第１分割領域２４２ａに各行の第２音、即ち「あ」行における「い」、第２分割領域２４２ｂに各行の第３音、即ち「あ」行における「う」、第３分割領域２４２ｃに各行の第４音、即ち「あ」行における「え」、第４分割領域２４２ｄに各行の第５音、即ち「あ」行における「お」を割り当てる。子音の各行についても同様である。なお、背面ボタン２４０に日本語の母音「あ」行、子音「か、さ、た、な、は、ま、や、ら、わ」の各行の第１音、即ち「あ」行における「あ」を割り当てる点は図１２の例と同様である。

【0075】

図１４のリモートコントローラ２０Ｃでは、５つのボタンを用いて、第１操作子及び第２操作子を実現する。すなわち、第１操作子として右肩ボタン２５０を、第２操作子として左ボタン２５１、上ボタン２５２、右ボタン２５３、下ボタン２５４を用いる。そして右肩ボタン２５０に日本語の母音「あ」行、子音「か、さ、た、な、は、ま、や、ら、わ」の各行の第１音、即ち「あ」行における「あ」、左ボタン２５１に各行の第２音、即ち「あ」行における「い」、上ボタン２５２に各行の第３音、即ち「あ」行における「う」、右ボタン２５３に各行の第４音、即ち「あ」行における「え」、下ボタン２５４に各行の第５音、即ち「あ」行における「お」を割り当てる。子音の各行についても同様である。左ボタン２５１、上ボタン２５２、右ボタン２５３、下ボタン２５４の各ボタンの押下操作は、それぞれ第１操作、第２操作、第３操作、第４操作に相当する。

【0076】

図１５、図１６は、文字入力システム１における第２入力モードでの処理の流れを示すフローチャートである。図１５、図１６において、図７、図８で示した第１入力モードの処理の流れと共通するステップについては重複説明を省略する。

【0077】

ＰＣ３０は、アクティベートしたキーがある状態で（Ｓ０５）、リモートコントローラ２０から背面ボタン２４０又は右肩ボタン２５０の押下信号を受信すると（Ｓ２１：Ｙｅｓ）、母音又は子音の第１音の選択を確定し（Ｓ２２）、ステップＳ１４へ進む。

【0078】

一方、ＰＣ３０は、アクティベートしたキーがある状態で（Ｓ０５）、リモートコントローラ２０から背面ボタン２４０が押し下げられておらず（Ｓ２１：Ｎｏ）、スティック２４１の方向操作信号、トラックパッド２４２のタッチ信号、又は上下左右ボタン２５１～２５４の押下信号を受信すると（Ｓ２３：Ｙｅｓ）、方向操作信号、タッチ信号、押下信号に従って、第２音から第５音のいずれかの選択が確定し（Ｓ１０～Ｓ１３）、ステップＳ１４へ進む。背面ボタン２４０の押下信号、及びスティック２４１の方向操作信号、トラックパッド２４２のタッチ信号、又は上下左右ボタン２５１～２５４の押下信号のいずれも受信しなければ（Ｓ２３：Ｎｏ）、ステップＳ１５へ進む。

【0079】

第２入力モードによれば、フリック類似操作のように手首のスナップ動作を用いることなく、手指の操作だけで文字入力が行える。

【0080】

第２入力モードの変形例として、ステップＳ２１で背面ボタン２４９の押下信号を受信している状態のまま、スティック２４１の方向操作信号、トラックパッド２４２のタッチ信号、又は上下左右ボタン２５１～２５４の押下信号を受信すると（Ｓ２３：Ｙｅｓ）、方向操作信号、タッチ信号、押下信号に従って、第２音から第５音のいずれかの選択が確定し（Ｓ１０～Ｓ１３）、ステップＳ１４へ進むように構成してもよい。この場合は、例えば背面ボタン２４９の押下信号のみが所定時間、例えば１秒以上継続すると第１音が選択されたと判断するように構成されてもよい。

【0081】

第２入力モードの他の変形例として、背面ボタン２４０が備えられていないリモートコントローラ、又は背面ボタン２４０が備えられていてもスティック２４１のみ、又はトラックパッド２４２のみで入力できるようにしてもよい。例えば、スティック２４１を上下左右に倒すことなく押し込む動作をすると（図１１と０方向入力に相当する）第１音が選択されるように構成されてもよい。またトラックパッド２４２のタッチ面を図１１で示す５領域に分割して、中央領域（図１１の０方向領域）をタッチすると第１音が選択されるように構成されてもよい。この変形例では図１５のＳ２１の判定は経由しなくてもよい。

【0082】

［自動切り替えモード］
上記では、第１入力モード又は第２入力モードのどちらか一方のみが有効であるとして説明したが、第１入力モード又は第２入力モードを自動で切り替えして文字入力を受け付けてもよい。自動検出による場合は、スナップ操作（フリック類似操作）を検出すると第１入力モード、スティック操作を検出すると第２入力モードに切り替わる。

【0083】

本実施形態によれば、ＨＭＤなどのウェアラブルディスプレイ端末の装着時の文字入力がリモートコントローラを用いることで円滑に行え、操作性が向上する。例えばジェスチャー動作と比較すると、ジェスチャー動作では指をアウトカメラで認識する必要がある。ここで、ポインタよりも太い指でも隣接するキーをおさない大きさでキーを表示する必要があるので、文字入力ＵＩの表示領域がリモートコントローラを用いる場合と比べて大きくなり、限られたディスプレイ１０３の表示領域に他の仮想現実オブジェクト、例えばアバターや入力欄を表示しにくくなるという制約が生じる。これに対して本実施形態では、リモートコントローラを用いてポインタをキーに合わせてフリック類似操作を行うので、キーはポインタが重なる大きさがあればよく、ディスプレイ１０３の表示領域の有効活用が行える。

【0084】

また、本実施形態では、ポインタがキーに重畳するようにリモートコントローラの向きを変えてリモートコントローラの操作ボタンを押しながらリモートコントローラを所望する方向に振るフリック類似操作を行うだけで文字の選択操作及び入力表示が行えるので、ジェスチャー動作よりもより文字入力に必要な操作が簡易となりの文字入力の操作性が向上する。

【0085】

上記実施形態は本発明の一実施形態を示すにすぎず、本発明は上記実施形態に限定されない。また本発明に係るプログラムは、単一のプログラムに限定されず、複数のプログラムの集合体でもよい。また、本発明に係るプログラムは、単一の装置で実行されるものに限定されず、複数の装置で分担して実行されてもよい。

【0086】

例えば、リモートコントローラ２０に赤外線発光器を搭載し、ＨＭＤ１０とは別体に構成された複数の赤外線受光器を配列したレシーバを設けてもよい。そしてリモートコントローラ２０から照射された赤外線をレシーバに搭載したどの赤外線受光器が受信したかにより、レシーバからみたリモートコントローラの２０の相対位置（リモコン相対位置という）を検出する。同様にレシーバとＨＭＤ１０との間で赤外線通信を行い、ＨＭＤ１０がレシーバの相対位置を検出する。ＨＭＤ１０は、レシーバからリモコン相対位置を受信し、ＨＭＤ１０からみたレシーバの位置にさらにリモコン相対位置を加算することで、レシーバを中継してＨＭＤ１０に対するリモートコントローラ２０の相対位置を検出し、その相対位置をポインタ３３０で表示するように構成してもよい。この場合、リモートコントローラ２０のモーションセンサ２０５のセンサ情報は、フリック類似操作の検出にのみ用いればよい。

【0087】

また、文字入力ＵＩとして１２キーを例に挙げたが、１０１個のキーがある「１０１キーボード」であっても、ポインタがキーに重畳するようにリモートコントローラ２０を動かし、操作ボタン２２を押し下げながら所定の加速度以上で動かすフリック類似操作により、文字入力を行ってもよい。１０１キーボードでキーに対して１文字のアルファベットが割り当てられている場合は、動き方向までは検出しなくてもよくどの方向でもフリック類似操作が検出されると文字選択操作が確定したと判定すればよい。

【0088】

さらに、プログラムによって実現される各手段の一部または全部は、集積回路などのハードウェアで実現することもできる。さらに、プログラムは、コンピュータによって読み出し可能な非一過性の記録媒体に記録されて提供されてもよい。記録媒体とは、例えば、ハードディスク、ＳＤカード、ＤＶＤの他、インターネット上のサーバ等を指す。

【符号の説明】

【0089】

１：文字入力システム，１０：ＨＭＤ，１１：ディスプレイ，１２：制御装置，１３：ＨＭＤ側近距離無線通信機，１９：保持体，２０：リモートコントローラ，２０Ａ：リモートコントローラ，２０Ｂ：リモートコントローラ，２０Ｃ：リモートコントローラ，２１：リモコン側近距離無線通信機，２２：操作ボタン，２９：筐体，３０：ＰＣ，４０：通信ネットワーク，５０：仮想現実提供サーバ，９０：仮想空間，９１：パノラマ画像，９２：仮想カメラ，９３：基準視線，９４：視界領域，９７：仮想現実映像，１０１：プロセッサ，１０２：ＲＡＭ，１０３：ディスプレイ，１０４：ストレージ，１０４Ｐ：端末プログラム，１０５：入力インタフェース，１０６：モーションセンサ，１０７：アウトカメラ，１０８：通信インタフェース，１０９：マイク，１１０：スピーカ，１１１：通信バス，１５０：文字入力ＵＩプログラム，１５１：ポインタ制御部，１５２：文字入力ＵＩ表示制御部，１５３：文字入力制御部，１６０：仮想現実表示プログラム，１７０：通信制御部，２０１：プロセッサ，２０２：ＲＡＭ，２０３：ＲＯＭ，２０４：操作スイッチ，２０５：モーションセンサ，２０６：ＢＴ通信機，２０９：通信バス，２４０：背面ボタン，２４１：スティック，２４２：トラックパッド，２４２ａ：第１分割領域，２４２ｂ：第２分割領域，２４２ｃ：第３分割領域，２４２ｄ：第４分割領域，２４９：背面ボタン，２５０：右肩ボタン，２５１：左ボタン，２５２：上ボタン，２５３：右ボタン，２５４：下ボタン，３００：アバター，３０１：プロセッサ，３０２：ＲＡＭ，３０３：ＲＯＭ，３０４：ストレージ，３０５：入力インタフェース，３０６：通信インタフェース，３０９：通信バス，３１０：アバター登録画面，３１１：文字入力欄，３１２：カーソル，３２１：キー，３３０：ポインタ，３３１：矢印

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】