(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023129717
(43)【公開日】2023-09-14
(54)【発明の名称】ヘッドマウント情報処理装置およびその制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230907BHJP
G06F 3/0486 20130101ALI20230907BHJP
G06F 3/0346 20130101ALI20230907BHJP
【ＦＩ】
G06F3/01 570
G06F3/01 514
G06F3/0486
G06F3/0346 424
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023124295
(22)【出願日】2023-07-31
(62)【分割の表示】P 2021525503の分割
【原出願日】2019-06-13
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】高見澤 尚久
(57)【要約】
【課題】ユーザの利便性を向上させることが可能なヘッドマウント情報処理装置およびその制御方法を提供する。
【解決手段】ユーザの頭部に装着された状態で使用される本体デバイス２と、ユーザの手首または手に装着された状態で使用され、本体デバイスを制御するコントローラと、を有する。例えば、本体デバイス２において、方向検出部９１は、コントローラの位置・姿勢センサの検出結果に基づき、コントローラの方向を演算によって検出する。回転検出部９２は、コントローラの位置・姿勢センサの検出結果に基づき、コントローラの方向を回転軸とするコントローラの回転を演算によって検出する。操作命令変換部８７は、方向検出部９１の検出結果および回転検出部９２の検出結果を、本体デバイス２に対する命令に変換する。
【選択図】図６Ｂ
【解決手段】ユーザの頭部に装着された状態で使用される本体デバイス２と、ユーザの手首または手に装着された状態で使用され、本体デバイスを制御するコントローラと、を有する。例えば、本体デバイス２において、方向検出部９１は、コントローラの位置・姿勢センサの検出結果に基づき、コントローラの方向を演算によって検出する。回転検出部９２は、コントローラの位置・姿勢センサの検出結果に基づき、コントローラの方向を回転軸とするコントローラの回転を演算によって検出する。操作命令変換部８７は、方向検出部９１の検出結果および回転検出部９２の検出結果を、本体デバイス２に対する命令に変換する。
【選択図】図６Ｂ
【特許請求の範囲】
【請求項1】
ユーザの頭部に装着された状態で使用される本体デバイスと、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置であって、
前記コントローラは、
前記本体デバイスと通信を行う近接通信インタフェースと、
第１のセンサと、
を有し、
前記本体デバイスは、
前記コントローラと通信を行う近接通信インタフェースと、
所定の画像を表示するディスプレイと、
を有し、
前記コントローラは、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を検出する方向検出部と、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を検出する回転検出部と、
を有し、
前記コントローラまたは前記本体デバイスは、
前記方向検出部の検出結果および前記回転検出部の検出結果を、前記本体デバイスに対する命令に変換する操作命令変換部を有し、
前記操作命令変換部は、
前記方向検出部によって検出された前記コントローラの方向を移動命令に変換し、
前記回転検出部によって検出された前記コントローラの回転をトリガ命令に変換し、
前記本体デバイスは、
ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を前記移動命令に基づいて制御し、前記２次元空間上での指し位置が指すオブジェクトを前記トリガ命令に基づいて選択する表示制御部を有する、
ヘッドマウント情報処理装置。
前記コントローラは、
前記本体デバイスと通信を行う近接通信インタフェースと、
第１のセンサと、
を有し、
前記本体デバイスは、
前記コントローラと通信を行う近接通信インタフェースと、
所定の画像を表示するディスプレイと、
を有し、
前記コントローラは、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を検出する方向検出部と、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を検出する回転検出部と、
を有し、
前記コントローラまたは前記本体デバイスは、
前記方向検出部の検出結果および前記回転検出部の検出結果を、前記本体デバイスに対する命令に変換する操作命令変換部を有し、
前記操作命令変換部は、
前記方向検出部によって検出された前記コントローラの方向を移動命令に変換し、
前記回転検出部によって検出された前記コントローラの回転をトリガ命令に変換し、
前記本体デバイスは、
ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を前記移動命令に基づいて制御し、前記２次元空間上での指し位置が指すオブジェクトを前記トリガ命令に基づいて選択する表示制御部を有する、
ヘッドマウント情報処理装置。
【請求項2】
請求項１記載のヘッドマウント情報処理装置において、
前記操作命令変換部は、
前記回転検出部によって検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、
前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
前記表示制御部は、
前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
ヘッドマウント情報処理装置。
前記操作命令変換部は、
前記回転検出部によって検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、
前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
前記表示制御部は、
前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
ヘッドマウント情報処理装置。
【請求項3】
請求項１記載のヘッドマウント情報処理装置において、
前記操作命令変換部は、
前記コントローラを回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、前記回転させた状態が元に戻された場合に、前記ドラッグ＆ドロップの終了命令を発行し、
前記表示制御部は、
前記ドラッグ＆ドロップの開始命令から前記ドラッグ＆ドロップの終了命令までの期間で発行された前記移動命令に応じて、前記２次元空間上での指し位置が指すオブジェクトの位置を移動する、
ヘッドマウント情報処理装置。
前記操作命令変換部は、
前記コントローラを回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、前記回転させた状態が元に戻された場合に、前記ドラッグ＆ドロップの終了命令を発行し、
前記表示制御部は、
前記ドラッグ＆ドロップの開始命令から前記ドラッグ＆ドロップの終了命令までの期間で発行された前記移動命令に応じて、前記２次元空間上での指し位置が指すオブジェクトの位置を移動する、
ヘッドマウント情報処理装置。
【請求項4】
請求項１記載のヘッドマウント情報処理装置において、
前記コントローラまたは前記本体デバイスは、
さらに、前記第１のセンサの検出結果に基づき、前記回転軸の方向に向けた前記コントローラの移動を演算によって検出する突出検出部を有し、
前記操作命令変換部は、
さらに、前記突出検出部によって検出された前記コントローラの移動を、前記本体デバイスに対する別のトリガ命令に変換する、
ヘッドマウント情報処理装置。
前記コントローラまたは前記本体デバイスは、
さらに、前記第１のセンサの検出結果に基づき、前記回転軸の方向に向けた前記コントローラの移動を演算によって検出する突出検出部を有し、
前記操作命令変換部は、
さらに、前記突出検出部によって検出された前記コントローラの移動を、前記本体デバイスに対する別のトリガ命令に変換する、
ヘッドマウント情報処理装置。
【請求項5】
請求項１記載のヘッドマウント情報処理装置において、
前記本体デバイスは、
前記操作命令変換部からの前記トリガ命令が一定期間発行されなかった場合、前記コントローラからの入力を無効にする、
ヘッドマウント情報処理装置。
前記本体デバイスは、
前記操作命令変換部からの前記トリガ命令が一定期間発行されなかった場合、前記コントローラからの入力を無効にする、
ヘッドマウント情報処理装置。
【請求項6】
請求項１記載のヘッドマウント情報処理装置において、
前記コントローラは、
前記第１のセンサの一つである３軸角速度センサと、
前記ユーザの手を撮像するカメラと、
を備え、
前記方向検出部は、
前記第１のセンサの検出結果に基づいて検出される前記コントローラの方向に、前記カメラの撮像画像に基づいて検出される手の方向を加えた方向を、前記操作命令変換部へ出力する、
ヘッドマウント情報処理装置。
前記コントローラは、
前記第１のセンサの一つである３軸角速度センサと、
前記ユーザの手を撮像するカメラと、
を備え、
前記方向検出部は、
前記第１のセンサの検出結果に基づいて検出される前記コントローラの方向に、前記カメラの撮像画像に基づいて検出される手の方向を加えた方向を、前記操作命令変換部へ出力する、
ヘッドマウント情報処理装置。
【請求項7】
請求項１記載のヘッドマウント情報処理装置において、
前記コントローラは、ウォッチ型の携帯情報端末である、
ヘッドマウント情報処理装置。
前記コントローラは、ウォッチ型の携帯情報端末である、
ヘッドマウント情報処理装置。
【請求項8】
請求項１記載のヘッドマウント情報処理装置において、
前記本体デバイスは、
前記第１のセンサの検出結果に基づき前記ポインティングビームまたはカーソルの２次元空間上での指し位置を調整する表示調整部と、
第２のセンサと、
前記第２のセンサの検出結果に基づき、前記本体デバイスの回転を検出する本体デバイス回転検出部と、
を有し、
前記本体デバイス回転検出部が、前記本体デバイスの回転を検知した場合、
前記表示調整部は、
前記ポインティングビームまたはカーソルの２次元空間上での指し位置を、前記本体デバイスの回転方向とは逆方向に移動した位置に表示する、
ヘッドマウント情報処理装置。
前記本体デバイスは、
前記第１のセンサの検出結果に基づき前記ポインティングビームまたはカーソルの２次元空間上での指し位置を調整する表示調整部と、
第２のセンサと、
前記第２のセンサの検出結果に基づき、前記本体デバイスの回転を検出する本体デバイス回転検出部と、
を有し、
前記本体デバイス回転検出部が、前記本体デバイスの回転を検知した場合、
前記表示調整部は、
前記ポインティングビームまたはカーソルの２次元空間上での指し位置を、前記本体デバイスの回転方向とは逆方向に移動した位置に表示する、
ヘッドマウント情報処理装置。
【請求項9】
ユーザの頭部に装着された状態で使用される本体デバイスと、前記本体デバイスを制御するコントローラと、を有するヘッドマウント情報処理装置の制御方法であって、
前記コントローラは、前記本体デバイスと通信を行う近接通信インタフェースと、第１のセンサと、を有し、
前記本体デバイスは、前記コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有し、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を検出し、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を検出し、
検出された前記コントローラの方向を移動命令に変換し、
検出された前記コントローラの回転をトリガ命令に変換し、
ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を前記移動命令に基づいて制御し、前記２次元空間上での指し位置が指すオブジェクトを前記トリガ命令に基づいて選択する、
ヘッドマウント情報処理装置の制御方法。
前記コントローラは、前記本体デバイスと通信を行う近接通信インタフェースと、第１のセンサと、を有し、
前記本体デバイスは、前記コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有し、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を検出し、
前記第１のセンサの検出結果に基づき、前記コントローラの方向を回転軸とする前記コントローラの回転を検出し、
検出された前記コントローラの方向を移動命令に変換し、
検出された前記コントローラの回転をトリガ命令に変換し、
ポインティングビームまたはカーソルの２次元空間上での指し位置を前記ディスプレイに表示し、前記２次元空間上での指し位置を前記移動命令に基づいて制御し、前記２次元空間上での指し位置が指すオブジェクトを前記トリガ命令に基づいて選択する、
ヘッドマウント情報処理装置の制御方法。
【請求項10】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、
前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
ヘッドマウント情報処理装置の制御方法。
検出された前記コントローラの回転の回転量が予め定めた回転閾値を超えた場合に前記トリガ命令を発行し、
前記回転閾値よりも小さい値である回転開始閾値を超えた場合に回転開始通知を発行し、
前記回転開始通知を受けた時点で、前記２次元空間上での指し位置が指す前記オブジェクトを仮選択状態にし、その後、前記トリガ命令を受けた場合に、前記トリガ命令を受けた時点での前記２次元空間上での指し位置が前記仮選択状態の前記オブジェクトを指しているか否かに関わらず前記仮選択状態の前記オブジェクトを選択状態に変更する、
ヘッドマウント情報処理装置の制御方法。
【請求項11】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
前記コントローラを回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、前記回転させた状態が元に戻された場合に、前記ドラッグ＆ドロップの終了命令を発行し、
前記ドラッグ＆ドロップの開始命令から前記ドラッグ＆ドロップの終了命令までの期間で発行された前記移動命令に応じて、前記２次元空間上での指し位置が指すオブジェクトの位置を移動する、
ヘッドマウント情報処理装置の制御方法。
前記コントローラを回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、前記回転させた状態が元に戻された場合に、前記ドラッグ＆ドロップの終了命令を発行し、
前記ドラッグ＆ドロップの開始命令から前記ドラッグ＆ドロップの終了命令までの期間で発行された前記移動命令に応じて、前記２次元空間上での指し位置が指すオブジェクトの位置を移動する、
ヘッドマウント情報処理装置の制御方法。
【請求項12】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
さらに、前記第１のセンサの検出結果に基づき、前記回転軸の方向に向けた前記コントローラの移動を演算によって検出し、
検出された前記コントローラの移動を、前記本体デバイスに対する別のトリガ命令に変換する、
ヘッドマウント情報処理装置の制御方法。
さらに、前記第１のセンサの検出結果に基づき、前記回転軸の方向に向けた前記コントローラの移動を演算によって検出し、
検出された前記コントローラの移動を、前記本体デバイスに対する別のトリガ命令に変換する、
ヘッドマウント情報処理装置の制御方法。
【請求項13】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
前記トリガ命令が一定期間発行されなかった場合、前記コントローラからの入力を無効にする、
ヘッドマウント情報処理装置の制御方法。
前記トリガ命令が一定期間発行されなかった場合、前記コントローラからの入力を無効にする、
ヘッドマウント情報処理装置の制御方法。
【請求項14】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
前記コントローラは、前記第１のセンサの一つである３軸角速度センサと、前記ユーザの手を撮像するカメラと、を備え、
前記第１のセンサの検出結果に基づいて検出される前記コントローラの方向に、前記カメラの撮像画像に基づいて検出される手の方向を加えた方向を出力する、
ヘッドマウント情報処理装置の制御方法。
前記コントローラは、前記第１のセンサの一つである３軸角速度センサと、前記ユーザの手を撮像するカメラと、を備え、
前記第１のセンサの検出結果に基づいて検出される前記コントローラの方向に、前記カメラの撮像画像に基づいて検出される手の方向を加えた方向を出力する、
ヘッドマウント情報処理装置の制御方法。
【請求項15】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
前記コントローラは、ウォッチ型の携帯情報端末である、
ヘッドマウント情報処理装置の制御方法。
前記コントローラは、ウォッチ型の携帯情報端末である、
ヘッドマウント情報処理装置の制御方法。
【請求項16】
請求項９記載のヘッドマウント情報処理装置の制御方法において、
前記本体デバイスは、第２のセンサを有し、
前記第１のセンサの検出結果に基づき、前記ポインティングビームまたはカーソルの２次元空間上での指し位置を調整し、
前記第２のセンサの検出結果に基づき、前記本体デバイスの回転を検出し、
前記本体デバイスの回転を検知した場合、前記ポインティングビームまたはカーソルの２次元空間上での指し位置を、前記本体デバイスの回転方向とは逆方向に移動した位置に表示する、
ヘッドマウント情報処理装置の制御方法。
前記本体デバイスは、第２のセンサを有し、
前記第１のセンサの検出結果に基づき、前記ポインティングビームまたはカーソルの２次元空間上での指し位置を調整し、
前記第２のセンサの検出結果に基づき、前記本体デバイスの回転を検出し、
前記本体デバイスの回転を検知した場合、前記ポインティングビームまたはカーソルの２次元空間上での指し位置を、前記本体デバイスの回転方向とは逆方向に移動した位置に表示する、
ヘッドマウント情報処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウント情報処理装置およびその制御方法に関し、コントローラによってヘッドマウント情報処理装置を制御する技術に関する。
【背景技術】
【0002】
特許文献１には、両手首の回りに着用される各ウェアラブルデバイスにそれぞれカメラを設置し、左手および右手のカメラでそれぞれ右手および左手の画像データを取得することで、両手のジェスチャを認識する方式が示される。また、取得した画像データが手の位置を示さないと判断される際に、各ウェアラブルデバイスに設置された慣性センサを用いてウェアラブルデバイスの位置を決定する方式が示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１７－５１６１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ヘッドマウント情報処理装置は、ＨＭＤ（Head Mounted Display）とも呼ばれ、ユーザの頭部に装着された状態で使用され、ディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報等を表示することができる。このようなヘッドマウント情報処理装置（以降、ＨＭＤと略す場合有り）では、ユーザは、ＨＭＤ附属のコントローラを手に所持した状態で、コントローラを介してＨＭＤの制御を行う場合がある。しかし、この場合、ユーザの手がコントローラによって塞がってしまい、手を自由に使うことが困難になり得る。その結果、ユーザの利便性が低下する恐れがある。
【0005】
本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、ユーザの利便性を向上させることが可能なヘッドマウント情報処理装置およびその制御方法を提供することにある。
【0006】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【0007】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【0008】
代表的なヘッドマウント情報処理装置は、ユーザの頭部に装着された状態で使用される本体デバイスと、ユーザの手首または手に装着された状態で使用され、本体デバイスを制御するコントローラと、を有する。コントローラは、本体デバイスと通信を行う近接通信インタフェースと、コントローラの位置・姿勢を検出する位置・姿勢センサと、を有する。本体デバイスは、コントローラと通信を行う近接通信インタフェースと、所定の画像を表示するディスプレイと、を有する。コントローラまたは本体デバイスは、方向検出部と、回転検出部と、操作命令変換部と、を有する。方向検出部は、位置・姿勢センサの検出結果に基づき、コントローラの方向を演算によって検出する。回転検出部は、位置・姿勢センサの検出結果に基づき、コントローラの方向を回転軸とするコントローラの回転を演算によって検出する。操作命令変換部は、方向検出部の検出結果および回転検出部の検出結果を、本体デバイスに対する命令に変換する。
【発明の効果】
【0009】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、ヘッドマウント情報処理装置において、ユーザの利便性を向上させることが可能になる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施の形態１によるヘッドマウント情報処理装置の外形例を示す概略図である。
【図21】本発明の実施の形態４によるヘッドマウント情報処理装置において、コントローラの装着箇所の変形例を示す図である。
【図23】本発明の実施の形態４によるヘッドマウント情報処理装置において、ユーザ座標系の変形例を示す図である。
【図24】本発明の比較例となるヘッドマウント情報処理装置において、コントローラの外形例を示す概略図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0012】
（実施の形態１）
《ＨＭＤの概略》
図１は、本発明の実施の形態１によるヘッドマウント情報処理装置の外形例を示す概略図である。図２（ａ）および図２（ｂ）は、図１におけるコントローラのそれぞれ異なる外形例を示す概略図である。図１のヘッドマウント情報処理装置（ＨＭＤ）１は、本体デバイス２と、コントローラ３とを備える。本体デバイス２は、ユーザの頭部に装着された状態で使用され、ディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報等を表示することができる。この際の表示方式として、ＶＲ型（非透過型）またはＭＲ型（透過型）等が知られている。コントローラ３は、ユーザの手首または手に装着された状態（例えば巻いた状態）で使用され、ユーザの操作に応じて本体デバイス２を制御する。
《ＨＭＤの概略》
図１は、本発明の実施の形態１によるヘッドマウント情報処理装置の外形例を示す概略図である。図２（ａ）および図２（ｂ）は、図１におけるコントローラのそれぞれ異なる外形例を示す概略図である。図１のヘッドマウント情報処理装置（ＨＭＤ）１は、本体デバイス２と、コントローラ３とを備える。本体デバイス２は、ユーザの頭部に装着された状態で使用され、ディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報等を表示することができる。この際の表示方式として、ＶＲ型（非透過型）またはＭＲ型（透過型）等が知られている。コントローラ３は、ユーザの手首または手に装着された状態（例えば巻いた状態）で使用され、ユーザの操作に応じて本体デバイス２を制御する。
【0013】
コントローラ３は、例えば、図２（ａ）に示されるように、ＨＭＤ１附属の専用部品であるリストバンド型のコントローラ３ａであっても、図２（ｂ）のコントローラ３ｂに示されるように、汎用的なウォッチ型の携帯情報端末（所謂、スマートウォッチ）等であってもよい。いずれの場合でも、コントローラ３は、少なくとも、コントローラ３の位置・姿勢を検出する位置・姿勢センサ５と、本体デバイス２と通信を行う通信部（図示せず）とを備える。また、図２（ｂ）の場合には、コントローラ３ｂに、本体デバイス２を制御するためのソフトウェアが組み込まれる。
【0014】
図３は、図１において、本体デバイスのディスプレイに表示される画像の一例を示す図である。図３の画像１０内には、オブジェクトの一つである実行ボタン１１と、ポインティングビーム１２とが含まれる。ユーザは、実行ボタン（オブジェクト）１１を選択したい場合、コントローラ３を用いてポインティングビーム１２の指し位置を実行ボタン１１に合わせ、その状態で所定の操作を行う。
【0015】
《コントローラ（比較例）の概略》
図２４は、本発明の比較例となるヘッドマウント情報処理装置において、コントローラの外形例を示す概略図である。図２４に示すコントローラ１１０は、ユーザが手に所持した状態で使用される。コントローラ１１０は、例えば、２個のボタンスイッチ（ＡおよびＢ）を備える。ユーザは、コントローラ１１０の方向を操作することで、図３に示したポインティングビーム１２の指し位置を操作し、指し位置を実行ボタン１１に合わせた状態でボタンスイッチ（例えばＡ）を押下することで実行ボタン１１を選択する。
図２４は、本発明の比較例となるヘッドマウント情報処理装置において、コントローラの外形例を示す概略図である。図２４に示すコントローラ１１０は、ユーザが手に所持した状態で使用される。コントローラ１１０は、例えば、２個のボタンスイッチ（ＡおよびＢ）を備える。ユーザは、コントローラ１１０の方向を操作することで、図３に示したポインティングビーム１２の指し位置を操作し、指し位置を実行ボタン１１に合わせた状態でボタンスイッチ（例えばＡ）を押下することで実行ボタン１１を選択する。
【0016】
しかし、この場合、ユーザの手がコントローラ１１０によって塞がってしまい、手を自由に使うことが困難になり得る。また、コントローラ１１０の必要時／不必要時に応じてコントローラ１１０を持ち替える手間や、あるいは、必要時にコントローラ１１０を探す手間等が生じる場合もある。さらに、本体デバイス２に何らかのコマンド（トリガ命令）を発行したい場合、発行するコマンドの数がボタンスイッチの数（この例では２個）によって制限される。図３のようなアプリケーションの例では、１個のボタンスイッチで足りるが、アプリケーションによって更に多くのボタンスイッチが必要とされる場合がある。以上のようなことから、ユーザの利便性が低下する恐れがある。
【0017】
《コントローラ（実施の形態１）の概略》
図４は、図１において、ユーザによるコントローラの操作方法の一例を説明する図である。図４に示すように、ユーザは、コントローラ３を手首に装着した状態（例えば巻いた状態）で使用する。ユーザは、図３においてポインティングビーム１２の指し位置を操作する場合、図４の方向操作１６ａに示されるように、腕の方向を変えることでコントローラの方向１５を変える。また、ユーザは、図３において指し位置が指すオブジェクト（実行ボタン）１１を選択する場合、図４の回転操作１６ｂに示されるように、手首の回転によってコントローラ３を回転させる。ここで、コントローラの方向１５は、コントローラ３を回転する際の回転軸の方向と一致する。言い換えれば、コントローラ３の方向１５は、コントローラ３が有するリストバンド形状の軸線方向となる。
図４は、図１において、ユーザによるコントローラの操作方法の一例を説明する図である。図４に示すように、ユーザは、コントローラ３を手首に装着した状態（例えば巻いた状態）で使用する。ユーザは、図３においてポインティングビーム１２の指し位置を操作する場合、図４の方向操作１６ａに示されるように、腕の方向を変えることでコントローラの方向１５を変える。また、ユーザは、図３において指し位置が指すオブジェクト（実行ボタン）１１を選択する場合、図４の回転操作１６ｂに示されるように、手首の回転によってコントローラ３を回転させる。ここで、コントローラの方向１５は、コントローラ３を回転する際の回転軸の方向と一致する。言い換えれば、コントローラ３の方向１５は、コントローラ３が有するリストバンド形状の軸線方向となる。
【0018】
コントローラ３は、方向操作１６ａに伴うコントローラ３の方向１５と、回転操作１６ｂに伴うコントローラ３の回転とを位置・姿勢センサ５で検出する。位置・姿勢センサ５は、３軸角速度センサ（ジャイロセンサ）を含む。詳細は後述するが、ＨＭＤ１は、この位置・姿勢センサ５の検出結果を、ポインティングビーム１２の指し位置の移動命令や、またはトリガ命令（コマンド）に適宜変換する。
【0019】
ポインティングビーム１２の指し位置の制御に際し、コントローラ３の方向１５の角度変化量と、ポインティングビーム１２の方向の角度変化量とは、必ずしも、１対１対応でなくてもよい。例えば、ユーザによる腕の動きを抑えたいような場合、ＨＭＤ１は、初期設定等に基づいて、コントローラ３の方向１５の角度変化量に対してポインティングビーム１２の角度変化量が大きくなるように制御すればよい。一方、ユーザにポインティングビーム１２の指し位置をきめ細かく制御させたいような場合、ＨＭＤ１は、初期設定等に基づいて、コントローラ３の方向１５の角度変化量に対してポインティングビーム１２の角度変化量が小さくなるように制御すればよい。
【0020】
トリガ命令（コマンド）の制御に際し、ＨＭＤ１は、例えば、ユーザが手首を平常時の位置から一時的に左回転させた場合、その回転操作１６ｂを位置・姿勢センサ５を用いて検出し、左回転用コマンドの１回発生と判別する。これは、図２４のコントローラ１１０において、例えば、ボタンスイッチＡの押下と等価である。同様に、ＨＭＤ１は、手首の一時的な右回転に応じて、右回転用コマンドの１回発生と判別する。これは、図２４のコントローラ１１０において、例えば、ボタンスイッチＢの押下と等価である。
【0021】
このようなコントローラ３を用いると、図２４の場合と異なり、ユーザの手がコントローラ３によって塞がれなくなるため、手を自由に使うことが可能になる。また、ユーザは、コントローラ３を、必要時／不必要時に関わらず手首に装着したままの状態であっても特に違和感を感じないため、コントローラ３を持ち替える手間や探す手間等も生じない。さらに、ユーザの動きをコマンド（トリガ命令）に変換するため、図２４のようなボタンスイッチを設けずに、コマンドの数を適宜増やすことも可能である。
【0022】
なお、実施の形態では、図２（ａ）、図２（ｂ）に示したように、手首（または手（図２１で後述））に巻いた状態で使用されるコントローラ３への適用を想定するが、場合によっては、図２４のようなコントローラ１１０に適用することも可能である。この場合、手は塞がれるものの、ボタンスイッチに加えて、回転操作等によってもコマンドを発行できるため、使用可能なコマンド数を増やすことが可能になる。
【0023】
《ＨＭＤの構成》
図５は、図１のヘッドマウント情報処理装置の概略構成例を示す回路ブロック図である。図５において、コントローラ３は、例えば、位置・姿勢センサ５と、カメラ２０と、測距センサ２１と、ＣＰＵ（Central Processing Unit）２２と、メモリ２３と、近接通信インタフェース２４と、これらを相互に接続するバス２６と、近接通信インタフェース２４に接続されるアンテナ２５とを備える。位置・姿勢センサ５は、加速度センサ（３軸加速度センサ）３０と、ジャイロセンサ（３軸角速度センサ）３１と、地磁気センサ３２とを備え、コントローラ３の位置・姿勢を検出する。
図５は、図１のヘッドマウント情報処理装置の概略構成例を示す回路ブロック図である。図５において、コントローラ３は、例えば、位置・姿勢センサ５と、カメラ２０と、測距センサ２１と、ＣＰＵ（Central Processing Unit）２２と、メモリ２３と、近接通信インタフェース２４と、これらを相互に接続するバス２６と、近接通信インタフェース２４に接続されるアンテナ２５とを備える。位置・姿勢センサ５は、加速度センサ（３軸加速度センサ）３０と、ジャイロセンサ（３軸角速度センサ）３１と、地磁気センサ３２とを備え、コントローラ３の位置・姿勢を検出する。
【0024】
加速度センサ３０は、コントローラ３の加速度を検出することで、コントローラ３の３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の動きを検出する。ジャイロセンサ３１は、コントローラ３の角速度を検出することで、コントローラ３の３軸（Ｘ軸、Ｙ軸、Ｚ軸）回りの回転方向の動きを検出する。地磁気センサ３２は、地球の磁力を検出することで、コントローラ３の方位を検出する。地磁気センサ３２の検出結果は、例えば、コントローラ３の方向検出の補正等に使用可能である。加速度センサ３０およびジャイロセンサ３１は、６軸センサや慣性センサ等と呼ばれる場合もある。
【0025】
カメラ２０は、ユーザの手を含めて、コントローラ３外部の画像を撮像する。この画像によって、コントローラ３の方向検出を補正することも可能である。測距センサ２１は、例えば、赤外線やレーザなどの反射を利用して対象物との距離を測定する。近接通信インタフェース２４は、アンテナ２５を介して、本体デバイス２と近距離無線通信を行う。近距離無線通信の方式として、例えば、電子タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）等が挙げられる。
【0026】
メモリ２３は、例えば、フラッシュメモリおよびワーク用のＲＡＭ等であり、プログラム３５および各種情報データ３６を記憶する。プログラム３５には、ＯＳ（Operating System）と、当該ＯＳ上で動作し、コントローラ３内の各部を制御する各種制御プログラム等が含まれる。情報データ３６には、プログラム３５で使用する各種パラメータ等が含まれる。ＣＰＵ２２は、メモリに記憶されるプログラム３５を実行することで、コントローラ３内の各部を制御する。その一つとして、ＣＰＵ２２は、位置・姿勢センサ５の検出結果を処理し、その処理結果を近接通信インタフェース２４を介して本体デバイス２へ送信する。なお、ＣＰＵ２２は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等の各種演算処理専用プロセッサを含んでもよい。
【0027】
本体デバイス２は、カメラ４０と、測距センサ４１と、ディスプレイ４２と、音声出力部４３と、マイク４４と、位置・姿勢センサ４５と、ＣＰＵ４６と、メモリ４７と、通信インタフェース４８と、近接通信インタフェース５０と、これらを相互に接続するバス５２とを備える。また、本体デバイス２は、通信インタフェース４８に接続されるアンテナ４９と、近接通信インタフェース５０に接続されるアンテナ５１とを備える。
【0028】
位置・姿勢センサ４５は、コントローラ３の場合と同様に、加速度センサ（３軸加速度センサ）６０と、ジャイロセンサ（３軸角速度センサ）６１と、地磁気センサ６２とを備え、加えて、ＧＰＳ（Global Positioning System）受信器６３を備えることで本体デバイス２の位置・姿勢を検出する。カメラ４０は、本体デバイス２外部の画像（例えばユーザ前方の風景等）を撮像する。コントローラ３の場合と同様に、この画像によって、本体デバイス２における位置・姿勢センサ４５の方向検出を補正することも可能である。
【0029】
測距センサ４１は、例えば、赤外線やレーザなどの反射を利用して対象物との距離を測定する。近接通信インタフェース５０は、コントローラ３の場合と同様に、アンテナ５１を介して、コントローラ３と近距離無線通信を行う。また、通信インタフェース４８は、アンテナ４９を介して、コントローラ３を除く外部（例えば、外部のサーバ装置等）と無線通信を行う。無線通信の方式として、代表的には、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.11g）などが挙げられる。
【0030】
ディスプレイ４２は、例えば、液晶パネル等であり、ＡＲまたはＶＲの画像等を代表に、所定の画像を表示する。この際に、ディスプレイ４２は、カメラ４０で撮像した画像をＡＲの画像として表示することも可能である。音声出力部４３は、例えば、装置内部の音声信号を音声に変換して装置外部へ放音するスピーカ５５や、または、ユーザの耳に装着された状態で放音するイヤホン５６等を備える。マイク４４は、例えば、装置外部で生じた周囲音を集音して音声信号に変換したり、または、ユーザからの発声音声を集音して音声信号に変換する。
【0031】
メモリ４７は、コントローラ３の場合と同様に、プログラム６５および各種情報データ６６を記憶する。プログラム６５には、ＯＳと、当該ＯＳ上で動作し、本体デバイス２内の各部を制御する各種制御プログラム等が含まれる。情報データ６６には、プログラム６５で使用する各種パラメータ等が含まれる。ＣＰＵ４６は、メモリ４７に記憶されるプログラム６５を実行することで、本体デバイス２内の各部を制御する。その一つとして、ＣＰＵ４６は、コントローラ３による位置・姿勢センサ５の処理結果を近接通信インタフェース５０で受信し、その受信内容に応じてディスプレイ４２の画像制御等を行う。なお、ＣＰＵ４６は、ＤＳＰ、ＧＰＵ等の各種演算処理専用プロセッサを含んでもよい。
【0032】
《ＣＰＵ周りの主要部の詳細》
図６Ａは、図５のコントローラにおけるＣＰＵ周りの主要部の構成例を示すブロック図であり、図６Ｂは、図５の本体デバイスにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。図６Ａにおいて、制御部７０は、センサデータ処理部７５と、通信制御部７６とを備える。これらの各部は、例えば、図５のＣＰＵ２２がメモリ２３に記憶されるプログラム３５を実行することでＣＰＵ２２上に実装される。
図６Ａは、図５のコントローラにおけるＣＰＵ周りの主要部の構成例を示すブロック図であり、図６Ｂは、図５の本体デバイスにおけるＣＰＵ周りの主要部の構成例を示すブロック図である。図６Ａにおいて、制御部７０は、センサデータ処理部７５と、通信制御部７６とを備える。これらの各部は、例えば、図５のＣＰＵ２２がメモリ２３に記憶されるプログラム３５を実行することでＣＰＵ２２上に実装される。
【0033】
センサデータ処理部７５は、位置・姿勢センサ５の検出結果である角速度ベクトルωＣおよび加速度ベクトルａＣを定期的に取得する。角速度ベクトルωＣは、ジャイロセンサ３１によって得られ、加速度ベクトルａＣは、加速度センサ３０によって得られる。通信制御部７６は、センサデータ処理部７５で取得した角速度ベクトルωＣおよび加速度ベクトルａＣを近接通信インタフェース（Ｉ／Ｆと略す）２４を介して、本体デバイス２へ定期的に送信する。
【0034】
図６Ｂにおいて、制御部８０は、通信制御部８５と、センサデータ処理部８６と、操作命令変換部８７と、表示調整部８９と、表示制御部８８とを備える。これらの各部は、例えば、図５のＣＰＵ４６がメモリ４７に記憶されるプログラム６５を実行することでＣＰＵ４６上に実装される。通信制御部８５は、コントローラ３からの角速度ベクトルωＣおよび加速度ベクトルａＣを近接通信Ｉ／Ｆ５０を介して取得する。
【0035】
センサデータ処理部８６は、方向検出部９１と、回転検出部９２と、原点座標検出部９３とを備える。方向検出部９１は、コントローラ３における位置・姿勢センサ５の検出結果に基づき、コントローラ３の方向（言い換えれば図４の方向操作１６ａ）を演算によって検出する。回転検出部９２は、コントローラ３における位置・姿勢センサ５の検出結果に基づき、コントローラ５の方向（図４の符号１５）を回転軸とするコントローラ５の回転（言い換えれば図４の回転操作１６ｂ）を演算によって検出する。具体的には、方向検出部９１および回転検出部９２は、それぞれ、通信制御部８５からの角速度ベクトルωＣに基づき、コントローラ３の方向および回転を検出する。
【0036】
原点座標検出部９３は、コントローラ３における位置・姿勢センサ５の検出結果に基づき、コントローラ５の座標系における原点座標を検出する。具体的には、原点座標検出部９３は、通信制御部８５からの加速度ベクトルａＣに基づき、原点座標を検出し、ひいては、コントローラ５の平行移動を検出する。場合によっては、コントローラ５の平行移動に応じて、図３のポインティングビーム１２の指し位置を平行移動させることも可能である。なお、センサデータ処理部８６は、このような各種演算に際して、メモリ４７内に、情報データ６６である座標系情報６６ａを適宜記憶する。
【0037】
操作命令変換部８７は、方向検出部９１の検出結果および回転検出部９２の検出結果を、本体デバイス２に対する命令に変換する。ここで、前述したように、ユーザは、ポインティングビーム１２の指し位置を動かす場合に腕の方向を変えることでコントローラ３の方向を変え、指し位置が指すオブジェクトを選択する場合（すなわちトリガ命令を発行する場合）に手首の回転によってコントローラ３を回転させる。詳細は後述するが、方向検出部９１は、コントローラ３の方向の検出結果として正規化四元数である回転ｑＣＳを出力し、回転検出部９２は、コントローラ３の軸回りの回転の検出結果として回転角ＲＲＣを出力する。
【0038】
操作命令変換部８７は、方向検出部９１によって検出されたコントローラ３の方向（回転ｑＣＳ）をポインティングビーム１２の移動命令ＭＶに変換し、回転検出部９２によって検出されたコントローラの回転（回転角ＲＲＣ）をトリガ命令ＴＧに変換する。この際に、メモリ６６ｂには、例えば、右回転用コマンド、左回転コマンドといった各種トリガ命令と回転角ＲＲＣとの対応関係が、情報データ６６である操作命令情報６６ｂとして予め記憶される。操作命令変換部８７は、当該操作命令情報６６ｂに基づいて、コントローラの回転（回転角ＲＲＣ）をトリガ命令ＴＧに変換する。
【0039】
表示調整部８９は、本体デバイス２における位置・姿勢センサ４５の検出結果を反映して、移動命令ＭＶが表すポインティングビームの指し位置を調整する。具体例として、ユーザが頭と腕を共に正面に向けた状態で、ポインティングビーム１２の指し位置が画面の中心に定まっている場合を想定する。この状態で、ユーザが頭だけを右に角度θだけ回すと、腕は動かしていないため、そのままでは、頭に対して腕が左に角度θだけズレた体勢で、依然として、指し位置は画面の中心に存在することになる。
【0040】
しかし、このような場合、ユーザは、体感的に、指し位置が画面の中心から左に角度θだけズレた位置になることを好む場合が多い。この場合、ユーザが腕を右に角度θだけ回すことで再び頭と腕の方向が一致した時点で、指し位置は画面の中心に戻ることになる。表示調整部８９は、このようなユーザの体感を反映し、移動命令ＭＶの内容を変更することで指し位置を変更する処理を行う。具体的には、表示調整部８９は、例えば、位置・姿勢センサ４５を用いてユーザの頭が右に角度θだけ回転したことを検出した場合には、指し位置が左に角度θだけ回転するように移動命令ＭＶを変更する。
【0041】
表示制御部８８は、図３に示したように、ポインティングビーム１２の指し位置をディスプレイ４２に表示し、当該指し位置を表示調整部８９からの移動命令ＭＶに応じて制御し、当該指し位置が指すオブジェクト１１をトリガ命令に応じて選択する。なお、ここでは、方向検出部９１、回転検出部９２および原点座標検出部９３は、本体デバイス２の制御部８０に設けられたが、場合によっては、コントローラ３の制御部７０に設けられてもよい。加えて、操作命令変換部８７も、場合によっては、コントローラ３の制御部７０に設けられてもよい。また、制御部７０，８０は、ＣＰＵ２２，４６によるプログラム処理に限らず、場合によっては、ＦＰＧＡ（Field Programmable Gate Array）等のハードウエアや、または、ハードウエアとソフトウエアの組み合わせで実装されてもよい。
【0042】
《ＨＭＤの全体制御フロー》
図７は、図５のヘッドマウント情報処理装置における概略的な制御方法の一例を示すフロー図である。図７において、コントローラ３は、電源オンの後（ステップＳ１０１）、初期化処理を行う（ステップＳ１０２）。初期化処理は、センサデータの処理に伴う座標軸を初期化するためのものであり、例えば、ユーザに、予め定めた操作方法で初期化コマンドを入力させることで行われる。
図７は、図５のヘッドマウント情報処理装置における概略的な制御方法の一例を示すフロー図である。図７において、コントローラ３は、電源オンの後（ステップＳ１０１）、初期化処理を行う（ステップＳ１０２）。初期化処理は、センサデータの処理に伴う座標軸を初期化するためのものであり、例えば、ユーザに、予め定めた操作方法で初期化コマンドを入力させることで行われる。
【0043】
その後、コントローラ３は、図６Ａのセンサデータ処理部７５を用いてセンサデータ（角速度ベクトルωＣおよび加速度ベクトルａＣ）を取得する処理（ステップＳ１０３）と、通信制御部７６を用いて当該センサデータを送信する処理（ステップＳ１０４）とを所定の検出周期毎に行う。そして、コントローラ３は、当該ステップＳ１０３，Ｓ１０４の処理を電源オフとなるまで繰り返す（ステップＳ１０５）。
【0044】
一方、本体デバイス２も、電源オンの後（ステップＳ２０１）、初期化処理を行う（ステップＳ２０２）。この初期化処理（ステップＳ２０２）は、コントローラ３の初期化処理（ステップＳ１０２）に連動して行われる。そして、本体デバイス２は、初期化処理（ステップＳ２０２）において、例えば、初期化コマンドが入力された時点のコントローラ３の座標軸に対して、ポインティングビーム１２の指し位置を一義的に対応付ける。
【0045】
その後、本体デバイス２は、コントローラ３におけるステップＳ１０４の処理に応じて、図６Ｂの通信制御部８５を介してコントローラ３からのセンサデータを逐次受信する（ステップＳ２０３）。すなわち、本体デバイス２は、コントローラ３の位置・姿勢が初期化時点からどのように変化したかを表すセンサデータを逐次受信する。
【0046】
そして、本体デバイス２は、受信したセンサデータに基づき、図６Ｂの方向検出部９１等を用いてコントローラ３の方向（方向の変化）を検出し、当該検出結果に基づき、表示制御部８８を用いてポインティングビーム１２の指し位置を更新する（ステップＳ２０４）。また、本体デバイス２は、受信したセンサデータに基づき、図６Ｂの回転検出部９２および操作命令変換部８７を用いて、ユーザからのトリガ命令の検出とその種類の判別を行い、トリガ命令の種類に応じた処理を行う（ステップＳ２０５）。そして、本体デバイス２は、当該ステップＳ２０３～Ｓ２０５の処理を電源オフとなるまで繰り返す（ステップＳ２０６）。
【0047】
《制御部の詳細》
《記号の用法》
以下、図６Ａおよび図６Ｂに示した制御部７０，８０の詳細な処理内容について説明する。コントローラ３における位置・姿勢センサ５の検出結果を処理する方式として、代表的には、オイラー角を用いる方式や、正規化四元数を用いる方式等が挙げられる。実施の形態１では、一例として、正規化四元数を用いる場合を想定する。正規化四元数を用いるにあたって、まずは、明細書で使用する記号の用法について説明する。
《記号の用法》
以下、図６Ａおよび図６Ｂに示した制御部７０，８０の詳細な処理内容について説明する。コントローラ３における位置・姿勢センサ５の検出結果を処理する方式として、代表的には、オイラー角を用いる方式や、正規化四元数を用いる方式等が挙げられる。実施の形態１では、一例として、正規化四元数を用いる場合を想定する。正規化四元数を用いるにあたって、まずは、明細書で使用する記号の用法について説明する。
【0048】
座標系の回転は、正規化四元数を用いて表すことができる。正規化四元数とは、ノルムが１の四元数であり、ある軸の回りの回転を表す。単位ベクトル（ｎＸ，ｎＹ，ｎＺ）を回転軸とした角度ηの回転ｑを表す正規化四元数は、式（１）で与えられる。式（１）において、ｉ，ｊ，ｋは四元数の単位である。また、角度ηが正である場合の回転ｑは、単位ベクトル（ｎＸ，ｎＹ，ｎＺ）の方向に向いた状態での右回りの回転に対応する。任意の座標系の回転は、この正規化四元数で表される。
ｑ＝ｃｏｓ（η／２）＋ｎＸｓｉｎ（η／２）ｉ＋ｎＹｓｉｎ（η／２）ｊ＋ｎＺｓｉｎ（η／２）ｋ …（１）
ｑ＝ｃｏｓ（η／２）＋ｎＸｓｉｎ（η／２）ｉ＋ｎＹｓｉｎ（η／２）ｊ＋ｎＺｓｉｎ（η／２）ｋ …（１）
【0049】
式（１）における回転ｑの実数部分をＳｃ（ｑ）と定義し、回転ｑのベクトル部分をＶｃ（ｑ）と定義する。ｑ＊は、回転ｑの四元数に対する共役四元数を表す。四元数のノルムを１に正規化する演算子を［・］と定義する。回転ｑを任意の四元数とすると、式（２）は、［・］の定義であり、式（２）の右辺の分母は、回転ｑの四元数のノルムである。また、座標点あるいはベクトル（ｐＸ，ｐＹ，ｐＺ）を表現する四元数ｐは、式（３）で表される。
［ｑ］＝ｑ／（ｑｑ＊）１／２ …（２）
ｐ＝ｐＸｉ＋ｐＹｊ＋ｐＺｋ …（３）
［ｑ］＝ｑ／（ｑｑ＊）１／２ …（２）
ｐ＝ｐＸｉ＋ｐＹｊ＋ｐＺｋ …（３）
【0050】
明細書においては、特に断りがない限り、成分表示でない座標点やベクトルを表す記号は四元数表示であるものとし、回転を表す記号は正規化四元数であるものとする。ここで、単位ベクトルｎ方向へのベクトルの射影演算子をＰＳ（ｎ）と定義する。ベクトルｐの射影は式（４）で表される。また、座標点あるいは方向ベクトルｐ１が回転ｑで表される原点中心の回転操作により座標点あるいは方向ベクトルｐ２に変換されたとすると、方向ベクトルｐ２は、式（５）で算出される。
ＰＳ（ｎ）ｐ＝－ｎＳｃ（ｎｐ） …（４）
ｐ２＝ｑｐ１ｑ＊ …（５）
ＰＳ（ｎ）ｐ＝－ｎＳｃ（ｎｐ） …（４）
ｐ２＝ｑｐ１ｑ＊ …（５）
【0051】
ここで、カイラリティが等しい任意の２つの座標系間で方向を合わせるための回転ｑは次のようにして得られる。まず、単位ベクトルｎ１を単位ベクトルｎ２に重ねるように、ｎ１とｎ２を含む平面に垂直な軸回りに回転させる正規化四元数Ｒ（ｎ１，ｎ２）は、式（６）で与えられる。
Ｒ（ｎ１，ｎ２）＝［１－ｎ２ｎ１］ …（６）
Ｒ（ｎ１，ｎ２）＝［１－ｎ２ｎ１］ …（６）
【0052】
座標系“１”を回転させて、各軸の方向を座標系“２”の各軸に合わせることを考える。記号として、座標系“１”のＹ軸、Ｚ軸方向の単位ベクトルの座標系“２”での表現を、ｎＹ１２、ｎＺ１２と定義し、座標系“２”のＹ軸、Ｚ軸方向の単位ベクトルの座標系“２”自身での表現を、ｎＹ、ｎＺと定義する。回転は座標系“２”の中の表現として求められる。
【0053】
最初に、座標系“１”のＺ軸を回転させて座標系“２”のＺ軸の方向に合わせることを考える。その回転ｑＴ１は、式（６）を用いて、式（７）で与えられる。この回転ｑＴ１により、座標系“２”において、座標系“１”のＹ軸を表す単位ベクトルｎＹ１２は、式（８）の単位ベクトルｎＹ１２ｍとなる。単位ベクトルｎＹ１２ｍは、座標系“２”のＺ軸に直交している。そこで、次に、この単位ベクトルｎＹ１２ｍを座標系“２”のＺ軸回りに回転させて座標系“２”のＹ軸方向に合わせることを考える。その回転ｑＴ２は、式（９）で与えられる。
ｑＴ１＝Ｒ（ｎＺ１２，ｎＺ） …（７）
ｎＹ１２ｍ＝ｑＴ１ｎＹ１２ｑＴ１ ＊ …（８）
ｑＴ２＝Ｒ（ｎＹ１２ｍ，ｎＹ） …（９）
ｑＴ１＝Ｒ（ｎＺ１２，ｎＺ） …（７）
ｎＹ１２ｍ＝ｑＴ１ｎＹ１２ｑＴ１ ＊ …（８）
ｑＴ２＝Ｒ（ｎＹ１２ｍ，ｎＹ） …（９）
【0054】
以上により、座標系“１”を回転させて、各軸の方向を座標系“２”の各軸の方向に合わせる回転ｑＴの座標系“２”での表現は、式（７）～式（９）に基づき、式（１０）で得られる。その結果、座標系“１”においてｎ１と表される単位ベクトル、あるいは回転を表す正規化四元数は、座標系“２”では、式（１１）の単位ベクトルｎ２で表現される。すなわち、座標系“１”を回転ｑＴによって回転させた場合、回転後の座標系“２”の視点で、回転前の座標系“１”の単位ベクトルｎ１は、回転ｑＴの逆回りに回転しているように見える。
ｑＴ＝ｑＴ２ｑＴ１ …（１０）
ｎ２＝ｑＴ ＊ｎ１ｑＴ …（１１）
ｑＴ＝ｑＴ２ｑＴ１ …（１０）
ｎ２＝ｑＴ ＊ｎ１ｑＴ …（１１）
【0055】
《方向検出部および原点座標検出部の詳細》
まず、コントローラ３に紐付けされるコントローラ座標系の表現について説明する。コントローラ座標系の座標軸は、ジャイロセンサ３１の座標軸である。図８Ａおよび図８Ｂは、図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。図８Ａおよび図８Ｂには、一例として、ユーザが、右手にコントローラ３を装着し、位置・姿勢センサ５（ジャイロセンサ３１）を手首の内側に配置した例が示される。
まず、コントローラ３に紐付けされるコントローラ座標系の表現について説明する。コントローラ座標系の座標軸は、ジャイロセンサ３１の座標軸である。図８Ａおよび図８Ｂは、図６Ａのコントローラに紐付けされるコントローラ座標系の一例を示す図である。図８Ａおよび図８Ｂには、一例として、ユーザが、右手にコントローラ３を装着し、位置・姿勢センサ５（ジャイロセンサ３１）を手首の内側に配置した例が示される。
【0056】
ここで、コントローラ３が有するリストバンド形状の軸線方向をＸ軸とする。また、Ｘ軸と垂直であり、バンド面に対して垂直方向をＹ軸とし、バンド面に対して平行方向をＺ軸とする。掌の面を垂直方向にして腕を水平方向にしたときにＺ軸が垂直方向になる。明細書では、このような座標系を右手系の座標系と呼ぶ。明細書では、特に断りのない限り、右手系の座標系を用いることとする。
【0057】
ユーザは、図７のステップＳ１０２において、腕を基準の位置に置いた状態で、コントローラ３等の初期化を行う。例えば、手首を３回連続して内側に倒す、という動きを初期化コマンドとする。この場合、図６Ｂの制御部８０は、例えば、角速度ベクトルωＣにおけるＺ軸周りの回転成分に基づいて初期化コマンドを検出することができる。ここで、明細書では、当該初期化時点のコントローラ座標系を初期座標系と呼ぶ。初期座標系は固定された座標系であり、コントローラ座標系はコントローラ３の動きに応じて変化する座標系である。コントローラ座標系の向きは、初期座標系の向きを回転させることで得られる。この回転を表す正規化四元数をｑＣＳで表現する。初期化時における回転ｑＣＳは、例えば、回転無しを意味する１である。
【0058】
コントローラ座標系の回転は、ジャイロセンサ３１で検出される。補助的に、地磁気センサ３２、カメラ２０、測距センサ２１を用いてもよいが、必須の構成要素ではない。ジャイロセンサ３１が検出する角速度ベクトルωＣを（ωＸ，ωＹ，ωＺ）とすると、この角速度ベクトルωＣは、式（１２）の四元数で表現される。式（１２）の角速度ベクトルωＣは、コントローラ座標系での表現である。したがって、初期座標系での角速度ベクトルωＳは、式（１３）で与えられる。すなわち、初期座標系を回転ｑＣＳで回転させることでコントローラ座標系が得られる場合、初期座標系の視点で、コントローラ座標系の角速度ベクトルωＣは回転ｑＣＳで回転しているように見える。
ωＣ＝ωＸｉ＋ωＹｊ＋ωＺｋ …（１２）
ωＳ＝ｑＣＳωＣｑＣＳ ＊ …（１３）
ωＣ＝ωＸｉ＋ωＹｊ＋ωＺｋ …（１２）
ωＳ＝ｑＣＳωＣｑＣＳ ＊ …（１３）
【0059】
ここで、回転ｑＣＳが初期座標系における表現であることに注意すると、回転ｑＣＳの時間発展を決定する差分方程式は、式（１３）の関係を反映して、式（１４）となる。式（１４）において、Δｔをジャイロセンサ３１の検出周期に定めると、回転ｑＣＳは、Δｔ毎に得られる角速度ベクトルωＣを受けて逐次更新される。これにより、コントローラ３が初期化時点からどのように回転したかを逐次得ることができる。図６Ｂの方向検出部９１は、式（１４）に基づき演算を行うことで、Δｔ毎に回転ｑＣＳを出力する。
ΔｑＣＳ／Δｔ＝（１／２）ωＳｑＣＳ＝（１／２）ｑＣＳωＣ …（１４）
ΔｑＣＳ／Δｔ＝（１／２）ωＳｑＣＳ＝（１／２）ｑＣＳωＣ …（１４）
【0060】
なお、式（１４）で回転ｑＣＳを演算する際、近似精度を上げる手法を併用してもよいし、回転ｑＣＳのノルムを１に保つ補正を加えてもよい。さらに、誤差の蓄積を補正するために、地磁気センサ３２による地磁気方向の測定結果を利用してもよいし、カメラ２０や測距センサ２１によって検出した外界の特徴点の位置情報を利用してもよい。
【0061】
次に、原点座標検出部９３の処理内容について説明する。例えば、コントローラ３の平行移動、すなわちコントローラ座標系原点の移動も制御に使用する場合に、原点座標検出部９３による処理が行われる。コントローラ座標系の初期座標系における原点座標の更新は、加速度センサ３０によって検出される加速度ベクトルａＣに基づいて行われる。加速度ベクトルａＣを（ａＸ，ａＹ，ａＺ）とすると、加速度ベクトルａＣは、式（１５）の四元数で表現される。この加速度ベクトルａＣは、コントローラ座標系での表現であるため、初期座標系での加速度ベクトルａＳは、式（１６）で与えられる。
ａＣ＝ａＸｉ＋ａＹｊ＋ａＺｋ …（１５）
ａＳ＝ｑＣＳａＣｑＣＳ ＊ …（１６）
ａＣ＝ａＸｉ＋ａＹｊ＋ａＺｋ …（１５）
ａＳ＝ｑＣＳａＣｑＣＳ ＊ …（１６）
【0062】
ここで、初期座標系におけるコントローラ座標系の原点座標をＯＣＳ、コントローラ座標系の原点の速度ベクトルをｖＳ、重力加速度ベクトルをｇＳとする。重力加速度ベクトルｇＳは、図７のステップＳ１０２におけるコントローラ３の初期化時に測定される。当該重力加速度ベクトルｇＳを用いると、速度ベクトルｖＳの時間発展を決定する差分方程式は式（１７）となる。また、原点座標ＯＣＳの時間発展を決定する差分方程式は式（１８）となる。
ΔｖＳ／Δｔ＝ａＳ－ｇＳ …（１７）
ΔＯＣＳ／Δｔ＝ｖＳ …（１８）
ΔｖＳ／Δｔ＝ａＳ－ｇＳ …（１７）
ΔＯＣＳ／Δｔ＝ｖＳ …（１８）
【0063】
式（１７）および式（１８）において、Δｔを加速度センサ３０の検出周期に定めると、速度ベクトルｖＳは、Δｔ毎に得られる加速度ベクトルａＳ（加速度ベクトルａＣ）を受けて逐次更新され、この速度ベクトルｖｓに基づいて、原点座標ＯＣＳも逐次更新される。図６Ｂの原点座標検出部９３は、式（１６）、式（１７）および式（１８）に基づき演算を行うことで、Δｔ毎に、加速度ベクトルａＳ、速度ベクトルｖＳおよび原点座標ＯＣＳを更新する。
【0064】
なお、式（１７）および式（１８）で速度ベクトルｖｓおよび原点座標ＯＣＳを演算する際、近似精度を上げる手法を併用してもよい。また、カメラ２０や測距センサ２１によって検出した外界の特徴点の位置情報を利用してもよい。さらに、処理を簡素化するために、加速度センサ３０の検出周期は、ジャイロセンサ３１の検出周期と同じであってもよい。
【0065】
《初期化処理の詳細》
図７の初期化処理（ステップＳ１０２，Ｓ２０２）に際し、ユーザは、まず、腕を基準の位置に置き、そこでコントローラ３の初期化コマンドを入力する。初期化コマンドは、例えば、前述したように手首を３回内側に倒す（右手の場合は左に回転させる）といった動作の他に、もう一方の手でコントローラ３を３回叩く、といった動作で入力されてもよい。あるいは、初期化コマンドは、このような動作に限らず、例えば、本体デバイス２に設置されたハードスイッチの押下等によって入力されてもよい。
図７の初期化処理（ステップＳ１０２，Ｓ２０２）に際し、ユーザは、まず、腕を基準の位置に置き、そこでコントローラ３の初期化コマンドを入力する。初期化コマンドは、例えば、前述したように手首を３回内側に倒す（右手の場合は左に回転させる）といった動作の他に、もう一方の手でコントローラ３を３回叩く、といった動作で入力されてもよい。あるいは、初期化コマンドは、このような動作に限らず、例えば、本体デバイス２に設置されたハードスイッチの押下等によって入力されてもよい。
【0066】
例えば、本体デバイス２のセンサデータ処理部８６は、初期化コマンドが入力された時点、あるいは、動作による入力であれば、初期化コマンドである、と確定した時点のコントローラ座標系を新たな初期座標系として認識する。そして、センサデータ処理部８６は、その時点のコントローラ座標系の回転ｑＣＳを、回転無しを表す１にリセットする。さらに、センサデータ処理部８６は、手首の回転角ＲＲＣ（後述）を０にリセットする。
【0067】
また、センサデータ処理部８６は、初期化時に腕を静止させている状態で、コントローラ３から受信した加速度ベクトルａＣに基づいて重力加速度ベクトルｇＣ（コントローラ座標系）を測定する。式（１９）に示されるように、初期座標系における重力加速度ベクトルｇＳは、当該コントローラ座標系における重力加速度ベクトルｇＣと同じである。重力加速度ベクトルｇＳは、例えば、前述した式（１７）で用いられる。
ｇＳ＝ｇＣ …（１９）
ｇＳ＝ｇＣ …（１９）
【0068】
《コントローラ方向の検出とビーム位置の更新の詳細》
図７におけるステップＳ２０４の処理の詳細について説明する。図８Ｂに示されるように、ユーザの腕の方向は、コントローラ座標系において単位ベクトルｎＡＣで定められる。そして、初期化時点からの回転ｑＣＳによって、各時点（各検出周期）における腕の方向が算出される。初期座標系における腕の方向の単位ベクトルをｎＡＳとすると、単位ベクトルｎＡＳは式（２０）で求まる。
ｎＡＳ=ｑＣＳｎＡＣｑＣＳ ＊ …（２０）
図７におけるステップＳ２０４の処理の詳細について説明する。図８Ｂに示されるように、ユーザの腕の方向は、コントローラ座標系において単位ベクトルｎＡＣで定められる。そして、初期化時点からの回転ｑＣＳによって、各時点（各検出周期）における腕の方向が算出される。初期座標系における腕の方向の単位ベクトルをｎＡＳとすると、単位ベクトルｎＡＳは式（２０）で求まる。
ｎＡＳ=ｑＣＳｎＡＣｑＣＳ ＊ …（２０）
【0069】
図９は、図７において、コントローラ方向の検出とビーム位置の更新に伴う処理内容の一例を説明する図である。図６Ｂの操作命令変換部８７は、式（２０）に基づき、回転ｑＣＳによって単位ベクトルｎＡＣから単位ベクトルｎＡＳに角度変化量αだけ向きが変更された場合、例えば、図９に示されるように、ポインティングビーム１２の指し位置も角度変化量αだけ向き変更するように移動命令ＭＶを生成する。
【0070】
この際に、ポインティングビーム１２の角度変化量αは、ポインティングビーム１２を表示する空間である本体デバイス２の座標系で制御される。この本体デバイス２の座標系を、明細書ではユーザ座標系と呼ぶ。初期座標系での回転ｑＣＳは、ユーザ座標系では回転ｑＣＳＵで表現される。操作命令変換部８７は、例えば、移動命令ＭＶとして、回転ｑＣＳＵを出力する。
【0071】
図１０は、図６Ｂの本体デバイスに紐付けされるユーザ座標系の一例を示す図である。ユーザ座標系は、図１０に示されるように、本体デバイス２に固定された座標系であり、例えば、Ｘ軸が水平面内で本体デバイス２の正面方向であり、Ｙ軸が水平面内でユーザの左手方向であり、Ｚ軸が垂直上向き方向である。ポインティングビーム１２の表示に関し、図６Ｂの表示制御部８８は、コントローラ３を装着した腕の肘が位置する近傍に、ポインティングビーム１２の起点を設定し、ポインティングビーム１２がこの起点から伸びているかのようにディスプレイ４２に表示を行う。そして、表示制御部８８は、ポインティングビーム１２の伸びる方向を操作命令変換部８７からの移動命令ＭＶ（具体的には回転ｑＣＳＵ）で制御する。なお、表示制御部８８は、当該起点の位置をユーザの好みで調整してもよい。
【0072】
また、初期座標系とユーザ座標系との位置関係は、例えば、予め設計上で定められる。代表的には、本体デバイス２を装着したユーザが正面方向を向いた状態で、ポインティングビーム１２が起点から水平正面方向に延びるような位置関係に設計される。図７の初期化処理（ステップＳ１０２，Ｓ２０２）において、ユーザは、この設計上で定めた位置関係を維持した状態で、初期化コマンドを発行する。
【0073】
ここで、ユーザ座標系の視点で、コントローラ３の初期座標系の方向をユーザ座標系の方向に合わせる回転をｑＴとする。回転ｑＴは、予め設計上で定めることができ、代表的には、回転無し（すなわち、初期座標系とユーザ座標系の方向が一致した状態）を表す１である。ただし、ユーザの操作上の都合（例えば、腕の方向とポインティングビーム１２の方向とが所定角だけズレていた方が操作が容易等）がある場合、回転ｑＴは、１でない別の値であってもよい。この回転ｑＴを用いるとユーザ座標系における回転ｑＣＳＵは式（２１）で与えられる。図６Ｂの操作命令変換部８７は、式（２１）を演算し、回転ｑＣＳＵを出力する。
ｑＣＳＵ＝ｑＴ ＊ｑＣＳｑＴ …（２１）
ｑＣＳＵ＝ｑＴ ＊ｑＣＳｑＴ …（２１）
【0074】
また、ポインティングビーム１２の初期状態での単位ベクトルをｎＡＵ０、向き変更後のポインティングビーム１２の単位ベクトルをｎＡＵとすると、単位ベクトルｎＡＵは式（２２）で求まる。図６Ｂの表示制御部８８は、式（２２）に基づき、ポインティングビーム１２の指し位置を制御する。
ｎＡＵ＝ｑＣＳＵｎＡＵ０ｑＣＳＵ ＊ …（２２）
ｎＡＵ＝ｑＣＳＵｎＡＵ０ｑＣＳＵ ＊ …（２２）
【0075】
なお、前述したように、ユーザは、腕を基準の位置に定めた状態で初期化コマンドを発行するが、この際に、腕の位置が理想的な基準の位置からズレる場合がある。この位置ズレによって、腕の方向とポインティングビーム１２の方向との間に、角度差のオフセットが生じ得るが、ユーザの体感上、位置ズレがある程度の範囲内に収まっている限り、特に問題は生じない。一方、方向検出部９１が回転ｑＣＳを演算する際にも、誤差が生じ得る。この誤差は、蓄積されることによって時系列的に拡大し得るため、その際には、ユーザは、初期化をやり直せばよい。
【0076】
図１１は、図６Ｂの表示制御部によってディスプレイに表示されるポインティングビームの表示態様の一例を示す図である。ディスプレイ４２には、ユーザ座標系の空間上で、オブジェクト（図１１では実行ボタン）１１と共にポインティングビーム１２が表示される。ポインティングビーム１２は、表示空間内を、表示可能な範囲で延びた形で表示される。まず、ポインティングビーム１２の指し位置がオブジェクト１１に当たっていない場合、オブジェクト１１は、非選択状態である（ステップＳ３０１）。
【0077】
次に、ユーザが腕の方向を操作することで、ポインティングビーム１２の指し位置がオブジェクト１１に当たると、オブジェクト１１は、仮選択状態となり、仮選択状態を表す表示に変わる（ステップＳ３０２）。この仮選択状態で、ユーザがポインティングビーム１２の指し位置を変えずに、例えば、手首を回転させると（回転操作１６ｂを行うと）、オブジェクト１１は、選択状態となり、選択状態を表す表示に変わる（ステップＳ３０３）。表示制御部８８は、このような表示変更を行うと共に、ステップＳ３０３のようにオブジェクト１１が選択された（言い換えれば、実行ボタンが押下された）場合には、その旨を所定の処理部に通知することで所定の処理部に対応する処理を行わせる。
【0078】
《トリガ解析（回転検出部および操作命令変換部）の詳細》
次に、図７におけるステップＳ２０５の処理の詳細について説明する。手首の回転は、腕の方向を回転軸とした回転である。このため、ジャイロセンサ３１の出力から当該回転軸方向の成分を抽出することで、手首の回転を検出することができる。図８Ｂに示したように、コントローラ座標系における腕の方向（図８ＢではＸ軸方向）の単位ベクトルをｎＡＣとする。
次に、図７におけるステップＳ２０５の処理の詳細について説明する。手首の回転は、腕の方向を回転軸とした回転である。このため、ジャイロセンサ３１の出力から当該回転軸方向の成分を抽出することで、手首の回転を検出することができる。図８Ｂに示したように、コントローラ座標系における腕の方向（図８ＢではＸ軸方向）の単位ベクトルをｎＡＣとする。
【0079】
ここで、一般化して記述すると、手首の回転の角速度ベクトルωＲＣのコントローラ座標系における表現は、式（４）の射影演算子と、コントローラ座標系の角速度ベクトルωＣとを用いて、式（２３）となる。手首を回転させると、単位ベクトルｎＡＣ方向の成分が生じる。図６Ｂの回転検出部９２は、式（２３）に基づいて、角速度ベクトルωＣの中から当該単位ベクトルｎＡＣ方向の成分を抽出することで、手首の回転を検出する。
ωＲＣ＝ＰＳ（ｎＡＣ）ωＣ …（２３）
ωＲＣ＝ＰＳ（ｎＡＣ）ωＣ …（２３）
【0080】
また、角速度ベクトルωＲＣを基に、手首の回転位置を回転角ＲＲＣで表すと、回転角ＲＲＣは、式（２４）の発展方程式で算出される。回転検出部９２は、式（２４）に基づき、回転角ＲＲＣを算出する。
ΔＲＲＣ／Δｔ＝ωＲＣ …（２４）
ΔＲＲＣ／Δｔ＝ωＲＣ …（２４）
【0081】
ここで、コントローラ３の初期化時点での回転角ＲＲＣを０°とする。図６Ｂの操作命令変換部８７は、当該回転検出部９２からの回転角ＲＲＣに基づいてトリガ命令ＴＧを判別する。図１２Ａおよび図１２Ｂは、図６Ｂの操作命令変換部において、トリガ命令の判別方法の一例を示す図である。図１２Ａおよび図１２Ｂに示されるように、操作命令変換部８７（詳細には図６Ｂの操作命令情報６６ｂ）は、予め、ベースラインＲＲＣ０を基準とした回転閾値ＲＲＣＴ１，ＲＲＣＴ２を備える。
【0082】
操作命令変換部８７は、回転検出部９２によって検出されたコントローラ３の回転の回転量（回転角ＲＲＣ）が予め定めた回転閾値ＲＲＣＴ１，ＲＲＣＴ２を超えた場合にトリガ命令を発行する。図１２Ａの例では、ユーザは、手首を、回転閾値ＲＲＣＴ１を超える回転角で右回転したのち元に戻している。これに応じて、操作命令変換部８７は、右回転に対応する第１トリガ命令を１回発行する（言い換えれば、第１ボタンが１回押下されたと判別する）。
【0083】
図１２Ｂの例では、ユーザは、手首を、回転閾値ＲＲＣＴ２を超える回転角で左回転したのち元に戻すという動作を連続して２回行っている。これに応じて、操作命令変換部８７は、左回転に対応する第２トリガ命令を２回発行する（言い換えれば、第２ボタンが２回押下されたと判別する）。ここで、操作命令変換部８７は、予め定めた一定時間内に生じた複数回のトリガ命令の発生状況に応じて、最終的な１回のトリガ命令を定めることも可能である。図１２Ｂの例では、操作命令変換部８７は、一定時間内に生じた２回の第２トリガ命令の発行を、所謂、ダブルクリックとして取り扱うことができる。
【0084】
なお、ベースラインＲＲＣ０は、角度検出の誤差や手首の保持角度のズレ等に伴い、０°とは限らない。そこで、操作命令変換部８７は、式（２５）のように、回転角ＲＲＣの低周波成分を取り出し、それをベースラインＲＲＣ０として設定してもよい。式（２５）の右辺は、回転角ＲＲＣの平均化処理を意味する。平均化処理の方法としては、例えば、式（２６）に示される指数移動平均処理等が挙げられる。式（２６）において、ξは、平均化係数であり、０から１の間の値をとる。
ＲＲＣ０＝＜ＲＲＣ＞ …（２５）
＜ＲＲＣ（ｔ＋Δｔ）＞＝ξＲＲＣ（ｔ）＋（１－ξ）＜ＲＲＣ（ｔ）＞ …（２６）
ＲＲＣ０＝＜ＲＲＣ＞ …（２５）
＜ＲＲＣ（ｔ＋Δｔ）＞＝ξＲＲＣ（ｔ）＋（１－ξ）＜ＲＲＣ（ｔ）＞ …（２６）
【0085】
ここで、このような手首の回転によるトリガ命令を用いると、図６Ｂの方向検出部９が手首の回転の影響を受け、ポインティングビーム１２の指し位置がユーザの意図からズレる恐れがある。具体的には、例えば、図１１のステップＳ３０３において、ユーザは、オブジェクト（実行ボタン）１１を選択状態にする際に、ポインティングビーム１２の指し位置が回転操作１６ｂによってオブジェクト１１からズレてしまい、オブジェクト１１を選択状態にできない恐れがある。
【0086】
そこで、図１３Ａ、図１３Ｂ、図１４に示されるような方式を用いることが有益となる。図１３Ａおよび図１３Ｂは、図６Ｂの操作命令変換部および表示制御部において、オブジェクトの選択に伴う処理内容の一例を説明する図であり、図１４は、図６Ｂの操作命令変換部において、オブジェクトの選択に伴う処理内容の一例を説明する図である。
【0087】
図１４に示されるように、操作命令変換部８７は、例えば、図１２Ａで述べたような回転閾値ＲＲＣＴ１に加えて、回転閾値ＲＲＣＴ１よりも小さい値である回転開始閾値ＲＲＣＳＴを備える。そして、操作命令変換部８７は、回転検出部９２によって検出されたコントローラ３の回転の回転量（回転角ＲＲＣ）が回転閾値ＲＲＣＴ１を超えた場合にトリガ命令を発行し、回転開始閾値ＲＲＣＳＴを超えた場合に回転開始通知を発行する。
【0088】
一方、図１３Ａまたは図１３Ｂに示されるように、表示制御部８８は、回転開始通知を受けた時点で、ポインティングビーム１２の指し位置が指すオブジェクト（実行ボタン）１１を仮選択状態にする（ステップＳ４０１，Ｓ５０１）。その後、表示制御部８８は、トリガ命令を受けた場合に、トリガ命令を受けた時点での指し位置が仮選択状態のオブジェクト１１を指しているか否かに関わらず、仮選択状態のオブジェクト１１を選択状態に変更する（ステップＳ４０２，Ｓ５０２）。
【0089】
具体的な処理内容として、図１３Ａの例では、表示制御部８８は、オブジェクト１１を仮選択状態にした場合に（ステップＳ４０１）、このオブジェクト１１の仮選択状態を、その後の実際の指し位置の移動有無に関わらず一定時間維持する。また、図１３Ｂの例では、表示制御部８８は、オブジェクト１１を仮選択状態にした場合に（ステップＳ５０１）、その後の実際の指し位置の移動有無に関わらず、指し位置は一定時間変わらないものとみなして処理する。
【0090】
《初期化処理における座標系の補正》
図７のステップＳ１０２で述べたように、ユーザは、腕を基準の位置に置いた状態で初期化コマンドを入力する。基準の位置は、例えば、腕を水平方向に保つ位置である。ただし、ユーザが腕を水平方向に保ったつもりでも、実際には、腕が水平方向から若干ズレてしまっている場合がある。すなわち、ユーザが体感する水平方向と、重力加速度に基づく実際の水平方向との間に誤差が生じ得る。この誤差は、ユーザが腕の方向によってポインティングビーム１２を操作する際に、ユーザに違和感を生じさせる。そこで、水平方向をユーザの体感に整合させるため、重力加速度ベクトルを利用した補正を行ってもよい。
図７のステップＳ１０２で述べたように、ユーザは、腕を基準の位置に置いた状態で初期化コマンドを入力する。基準の位置は、例えば、腕を水平方向に保つ位置である。ただし、ユーザが腕を水平方向に保ったつもりでも、実際には、腕が水平方向から若干ズレてしまっている場合がある。すなわち、ユーザが体感する水平方向と、重力加速度に基づく実際の水平方向との間に誤差が生じ得る。この誤差は、ユーザが腕の方向によってポインティングビーム１２を操作する際に、ユーザに違和感を生じさせる。そこで、水平方向をユーザの体感に整合させるため、重力加速度ベクトルを利用した補正を行ってもよい。
【0091】
具体的には、初期化処理で得られる重力加速度ベクトルｇＳ（式（１９））に対して、理想的な状態での（設計上での）初期座標系における重力加速度ベクトルをｇＳ０とする。また、初期座標系からコントローラ座標系への回転ｑＣＳの初期値をｑＣＳ０とする。この場合、図６Ｂの方向検出部９１は、回転ｑＣＳの初期値ｑＣＳ０を、回転無しを表す１ではなく、重力加速度ベクトルのズレの分だけ回転した値に設定する。すなわち、方向検出部９１は、式（６）の正規化四元数Ｒ（ｎ１，ｎ２）を用いて、初期値ｑＣＳ０を式（２７）の値に設定する。これにより、ユーザの違和感を軽減することが可能になる
ｑＣＳ０＝Ｒ（ｇS，ｇS０） …（２７）
ｑＣＳ０＝Ｒ（ｇS，ｇS０） …（２７）
【0092】
《ディスプレイの表示形態の変形例》
図１５は、図１において、本体デバイスのディスプレイに表示される図３とは異なる画像の一例を示す図である。図１５では、図３に示したポインティングビーム１２の代わりにカーソル１３が表示される。この場合、ユーザの視線から見て、カーソル１３に重なったオブジェクト（実行ボタン）１１が選択対象となる。図３の場合と同様に、ユーザは、カーソルの位置（指し位置）を、腕の方向で制御する。
図１５は、図１において、本体デバイスのディスプレイに表示される図３とは異なる画像の一例を示す図である。図１５では、図３に示したポインティングビーム１２の代わりにカーソル１３が表示される。この場合、ユーザの視線から見て、カーソル１３に重なったオブジェクト（実行ボタン）１１が選択対象となる。図３の場合と同様に、ユーザは、カーソルの位置（指し位置）を、腕の方向で制御する。
【0093】
図６Ｂの表示制御部８８は、例えば、処理上でユーザを中心とした球面を想定し、表示しないポインティングビーム１２とその球面との交点にカーソル１３を表示する。また、表示制御部８８は、カーソル１３がユーザの視認できる領域内に存在しない場合は、コントローラ３によるトリガ命令の入力を無効にしてもよい。これは、ポインティングビーム１２の場合でも同様である。
【0094】
《実施の形態１の主要な効果》
以上、実施の形態１のヘッドマウント情報処理装置を用いることで、代表的には、ユーザの利便性を向上させることが可能になる。具体的には、ユーザは、図２４に示したようなコントローラ１１０を用いる場合と異なり、手を自由に使えるようになる。また、ユーザの動き方に応じてトリガ命令（コマンド）の数を増やすことが可能になる。なお、前述したように、このユーザの動き方に応じたトリガ命令（コマンド）は、図２４に示したようなコントローラ１１０に適用することも可能である。
以上、実施の形態１のヘッドマウント情報処理装置を用いることで、代表的には、ユーザの利便性を向上させることが可能になる。具体的には、ユーザは、図２４に示したようなコントローラ１１０を用いる場合と異なり、手を自由に使えるようになる。また、ユーザの動き方に応じてトリガ命令（コマンド）の数を増やすことが可能になる。なお、前述したように、このユーザの動き方に応じたトリガ命令（コマンド）は、図２４に示したようなコントローラ１１０に適用することも可能である。
【0095】
（実施の形態２）
《トリガ命令の変形例》
図１６Ａは、本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの操作命令変換部によるトリガ命令の判別方法の一例を示す図である。図１６Ｂは、図１６Ａに応じた、図６Ｂの表示制御部の処理内容の一例を説明する図である。図６Ｂの操作命令変換部８７は、コントローラ３を回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、当該回転させた状態が元に戻された場合に、ドラッグ＆ドロップの終了命令を発行する。
《トリガ命令の変形例》
図１６Ａは、本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの操作命令変換部によるトリガ命令の判別方法の一例を示す図である。図１６Ｂは、図１６Ａに応じた、図６Ｂの表示制御部の処理内容の一例を説明する図である。図６Ｂの操作命令変換部８７は、コントローラ３を回転させた状態が維持された場合に、ドラッグ＆ドロップの開始命令を発行し、当該回転させた状態が元に戻された場合に、ドラッグ＆ドロップの終了命令を発行する。
【0096】
図１６Ａの例では、操作命令変換部８７は、回転検出部９２からの回転角ＲＲＣが回転閾値ＲＲＣＴ１を超え、図１２Ａの場合と異なり、当該回転閾値ＲＲＣＴ１を超えた状態が一定時間Ｔ１を超えた場合にドラッグ＆ドロップの開始命令を発行する。その後、操作命令変換部８７は、回転角ＲＲＣが、ベースラインＲＲＣ０と回転閾値ＲＲＣＴ１との間のベースラインＲＲＣ０寄りに設けた回転終了閾値ＲＲＣＥＤを下回った場合に、ドラッグ＆ドロップの終了命令を発行する。
【0097】
一方、ユーザは、図１６Ｂに示されるように、ポインティングビーム１２の指し位置を所定のオブジェクト１７に合わせた状態で手首を右回転し、その状態を維持する（ステップＳ６０１）。その後、ユーザは、手首の右回転を維持した状態で腕の方向を変えたのち（ステップＳ６０２）、手首の右回転を元に戻す（ステップＳ６０３）。操作命令変換部８７は、ステップＳ６０１に応じてドラッグ＆ドロップの開始命令を発行し、ステップＳ６０３に応じてドラッグ＆ドロップの終了命令を発行する。図６Ｂの表示制御部８８は、ドラッグ＆ドロップの開始命令からドラッグ＆ドロップの終了命令までの期間で、操作命令変換部８７によって発行された移動命令ＭＶ（すなわち腕の方向の変化）に応じて、ポインティングビーム１２の指し位置が指すオブジェクト１７の位置を移動する。
【0098】
図１７は、本発明の実施の形態２によるヘッドマウント情報処理装置において、図６Ｂの本体デバイスの変形例を示すブロック図である。図１７の本体デバイス２は、図６Ｂの構成例に加えて、センサデータ処理部８６ａ内に突出検出部９４を備える。突出検出部９４は、コントローラ３の位置・姿勢センサ５の検出結果に基づき、腕の方向（すなわち回転軸の方向）に向けたコントローラ３の移動を演算によって検出する。また、これに応じて、図１７の操作命令変換部８７ａは、突出検出部９４によって検出されたコントローラ３の移動を、別のトリガ命令ＴＧに変換する。
【0099】
図１８は、図１７に応じた、ユーザによるコントローラの操作方法の一例を説明する図である。図１８に示されるように、ユーザは、腕の方向１５（回転軸の方向）に向けて腕の突き出し操作１６ｃを行うことで、トリガ命令を発行する。例えば、ユーザは、ポインティングビームの指し位置を対象のオブジェクトに合わせた状態で突き出し操作１６ｃを行うことで、当該対象のオブジェクトに対してトリガ命令を発行する。
【0100】
このような突き出し操作１６ｃは、コントローラ３内の加速度センサ３０を用いて検出できる。具体的に説明すると、まず、図１７に示す原点座標検出部９３は、図６Ｂおよび式（１６）～式（１８）で述べたように、加速度センサ３０からの加速度ベクトルａＣに基づいて、初期座標系における加速度ベクトルａＳ、速度ベクトルｖＳおよび原点座標ＯＣＳを検出する。ただし、この原点座標ＯＣＳは、検出誤差によってドリフトすることがある。
【0101】
そこで、図１７の突出検出部９４は、例えば、加速度ベクトルａＳにおける腕の方向への絶対値成分が予め定めた閾値を超えた時点で、腕の突き出し動作の開始を認識する。そして、突出検出部９４は、突き出し動作の開始時点の原点座標ＯＣＳを起点ＯＣＳ０とし、起点ＯＣＳ０を基準に、その後の原点座標ＯＣＳの腕の方向への偏差ベクトルＯＣＳｄを演算する。具体的には、突出検出部９４は、式（４）の射影演算子ＰＳ（ｎ）と、初期座標系における腕の方向の単位ベクトルｎＡＳとを用いて、式（２８）を演算する。さらに、突出検出部９４は、式（２９）に基づき、偏差ベクトルＯＣＳｄのノルムＤを演算する。
ＯＣＳｄ＝ＰＳ（ｎＡＳ）（ＯＣＳ－ＯＣＳ０） …（２８）
Ｄ＝（ＯＣＳｄＯＣＳｄ ＊）1/2 …（２９）
ＯＣＳｄ＝ＰＳ（ｎＡＳ）（ＯＣＳ－ＯＣＳ０） …（２８）
Ｄ＝（ＯＣＳｄＯＣＳｄ ＊）1/2 …（２９）
【0102】
図１９は、図１７の操作命令変換部において、トリガ命令の判別方法の一例を示す図である。図１９に示されるように、操作命令変換部８７ａは、予め突出閾値ＤＴを備える。操作命令変換部８７ａは、突出検出部９４からのノルムＤが突出閾値ＤＴを超えた場合、トリガ命令（第３トリガ命令）ＴＧを発行する。当該トリガ命令ＴＧは、例えば、実施の形態１で述べたように、手首の右回転および左回転が第１および第２ボタンの押下に対応する場合、第３ボタンの押下に対応する。
【0103】
《実施の形態２の主要な効果》
以上、実施の形態２のヘッドマウント情報処理装置を用いることで、実施の形態１で述べた各種効果に加えて、トリガ命令（コマンド）の数を更に増やすことが可能になる。また、図１８における突き出し操作１６ｃと、図１６Ｂにおけるドラッグ動作とを組み合わせて用いることも可能である。この場合、ユーザは、例えば、３Ｄ表示内でオブジェクトを移動する際に、突き出し操作１６ｃによって３Ｄ表示内の奥行き方向へオブジェクトを移動することが可能になる。
以上、実施の形態２のヘッドマウント情報処理装置を用いることで、実施の形態１で述べた各種効果に加えて、トリガ命令（コマンド）の数を更に増やすことが可能になる。また、図１８における突き出し操作１６ｃと、図１６Ｂにおけるドラッグ動作とを組み合わせて用いることも可能である。この場合、ユーザは、例えば、３Ｄ表示内でオブジェクトを移動する際に、突き出し操作１６ｃによって３Ｄ表示内の奥行き方向へオブジェクトを移動することが可能になる。
【0104】
さらに、このドラッグ動作を利用して、ＨＭＤ１は、例えば、ユーザがポインティングビームの方向を定めた状態で、手首を右または左に回転させた状態を維持すると、ビームの方向に、仮想空間内でのユーザの位置を前進（例えば左回転時）または後退（例えば右回転時）するような制御を行ってもよい。
【0105】
（実施の形態３）
《コントローラによる制御方法のその他の例》
図２０は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図６Ａおよび図６Ｂの構成例を利用したその他の制御方法の一例を説明する図である。例えば、図６Ｂの操作命令変換部８７は、回転検出部９２によって検出されるコントローラ３の回転の回転量（回転角ＲＲＣ）を、本体デバイス２における連続的な制御で使用される状態制御命令に変換してもよい。状態制御として、例えば、仮想空間内での回転の位置・速度制御等が挙げられる。
《コントローラによる制御方法のその他の例》
図２０は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図６Ａおよび図６Ｂの構成例を利用したその他の制御方法の一例を説明する図である。例えば、図６Ｂの操作命令変換部８７は、回転検出部９２によって検出されるコントローラ３の回転の回転量（回転角ＲＲＣ）を、本体デバイス２における連続的な制御で使用される状態制御命令に変換してもよい。状態制御として、例えば、仮想空間内での回転の位置・速度制御等が挙げられる。
【0106】
図２０の例では、ディスプレイ４２の画像１０内に、ダイヤルのオブジェクト１８が表示される。ユーザは、回転操作１６ｂに伴う手首の回転量によって、このダイヤルの回転量を操作する。この場合、操作命令変換部８７は、回転量（回転角ＲＲＣ）をそのまま表示制御部８８へ出力し、表示制御部８８は、この回転量に応じてダイヤルの回転量の表示を逐次更新する。
【0107】
なお、ユーザは、例えば、ダイヤルのオブジェクト１８にポインティングビームを合わせた状態で、突き出し操作１６ｃを行ったのちに回転操作１６ｂを行ってもよい。この場合、表示制御部８８は、図１７の操作命令変換部８７ａからの突き出し操作１６ｃに応じたトリガ命令を受けてオブジェクト１８を選択し、その状態で、操作命令変換部８７からの回転量（回転角ＲＲＣ）に応じてダイヤルの回転量の表示を逐次更新する。これにより、例えば、ポインティングビームがたまたま横切っただけでダイヤルの値が変更されてしまうような事態を防止できる。
【0108】
《実施の形態３の主要な効果》
以上、実施の形態３のヘッドマウント情報処理装置を用いることで、実施の形態１等で述べた各種効果に加えて、ユーザは、手首の回転操作によって本体デバイス２に対して連続的な制御（状態制御）を行うことが可能になる。
以上、実施の形態３のヘッドマウント情報処理装置を用いることで、実施の形態１等で述べた各種効果に加えて、ユーザは、手首の回転操作によって本体デバイス２に対して連続的な制御（状態制御）を行うことが可能になる。
【0109】
（実施の形態４）
《コントローラの装着箇所（変形例）》
図２１は、本発明の実施の形態４によるヘッドマウント情報処理装置において、コントローラの装着箇所の変形例を示す図である。ユーザは、図２１に示されるように、コントローラ３を手首ではなく、手（甲または掌位置）に巻いた状態で使用してもよい。この場合、手首に巻く場合と比較して手の自由度が低下するものの、ユーザは、掌部分の向きでポインティングビームの方向を制御できるため、腕の方向を大きく変更しなくて済む。
《コントローラの装着箇所（変形例）》
図２１は、本発明の実施の形態４によるヘッドマウント情報処理装置において、コントローラの装着箇所の変形例を示す図である。ユーザは、図２１に示されるように、コントローラ３を手首ではなく、手（甲または掌位置）に巻いた状態で使用してもよい。この場合、手首に巻く場合と比較して手の自由度が低下するものの、ユーザは、掌部分の向きでポインティングビームの方向を制御できるため、腕の方向を大きく変更しなくて済む。
【0110】
ただし、この場合、手首の回転軸（腕の方向）とポインティングビームの方向を決めるコントローラ３の軸線方向が一致しない状態になり得る。このため、手首の回転を検出するために、手首部分に、別途、角速度センサ１０１を搭載したベルト１００等を装着する方式にしてもよい。手首の角速度センサ１０１により手首の回転を検出した場合は、図１３Ａまたは図１３Ｂの場合と同様に、ポインティングビームの指し位置を変化させないような制御を行ってもよい。
【0111】
図２２は、図２１のヘッドマウント情報処理装置において、ディスプレイに表示される画像の一例を示す図である。コントローラ３を図２１のような箇所に装着した場合、手の位置がポインティングビームの起点になるため、手の移動により、起点の移動を行ってもよい。この場合、図２２に示されるように、起点の位置１０５を表示することが望ましい。手の位置は、コントローラ３内の加速度センサ３０を使用して検出することができる。なお、ここでは、ユーザは、コントローラ３を手に巻いた状態で使用したが、場合によっては、指に巻いた状態で使用してもよい。
【0112】
《ユーザ座標系（変形例）》
図２３は、本発明の実施の形態４によるヘッドマウント情報処理装置において、ユーザ座標系の変形例を示す図である。ユーザ座標系は、図１０に示したような本体デバイス２に固定される座標系の他に、図２３に示されるように、ユーザの胴体に固定される座標系であってもよい。図２３の例では、胴体の正面水平方向がＸ軸とされ、水平面内でユーザの左手方向がＹ軸とされ、垂直方向がＺ軸とされる。
図２３は、本発明の実施の形態４によるヘッドマウント情報処理装置において、ユーザ座標系の変形例を示す図である。ユーザ座標系は、図１０に示したような本体デバイス２に固定される座標系の他に、図２３に示されるように、ユーザの胴体に固定される座標系であってもよい。図２３の例では、胴体の正面水平方向がＸ軸とされ、水平面内でユーザの左手方向がＹ軸とされ、垂直方向がＺ軸とされる。
【0113】
本体デバイス２と胴体との位置関係は、例えば、本体デバイス２のカメラ４０等で胴体を撮像し、画像解析を行うこと検出することができる。あるいは、胴体に、別途、姿勢センサを設置することで検出することも可能である。ポインティングビームの指し位置は、腕の方向で制御されるため、このように、胴体に固定された座標系を基準にポインティングビームを表示することで、よりユーザの体感に合った制御ができる場合がある。
【0114】
（実施の形態５）
《ＨＭＤにおけるその他の変形例》
《複合センサ》
例えば、図５において、コントローラ３に搭載されるジャイロセンサ３１の検出結果とカメラ２０の撮像画像との組み合わせによって、ポインティングビームの指し位置を制御することも可能である。具体的には、例えば、コントローラ３は、カメラ２０の撮像画像に基づいて、手の甲（または掌でもよい）の特徴点の方向を検出し、当該特徴点の基準点からの方向変化分を画像処理によって検出する。
《ＨＭＤにおけるその他の変形例》
《複合センサ》
例えば、図５において、コントローラ３に搭載されるジャイロセンサ３１の検出結果とカメラ２０の撮像画像との組み合わせによって、ポインティングビームの指し位置を制御することも可能である。具体的には、例えば、コントローラ３は、カメラ２０の撮像画像に基づいて、手の甲（または掌でもよい）の特徴点の方向を検出し、当該特徴点の基準点からの方向変化分を画像処理によって検出する。
【0115】
そして、図６Ｂの方向検出部９１は、位置・姿勢センサ５の検出結果に基づいて検出されるコントローラ３の方向に、当該カメラ２０の撮像画像に基づいて検出される手の方向を加えた方向を、操作命令変換部８７へ出力する。これにより、表示制御部８８は、腕の方向の変化分に、手の特徴点の方向変化分を加えた分だけコントローラ座標系が回転したものとみなして、ポインティングビームの指し位置を制御する。
【0116】
詳細な処理内容として、例えば、図６Ｂの方向検出部９１は、変更されたコントローラ座標系の回転をｑＣＳＭとして、式（１４）で算出される回転ｑＣＳの代わりに用いる。コントローラ座標系において、手の甲の特徴点の基準位置での単位方向ベクトルをｎＨ０、カメラ２０の撮像画像に基づいて逐次検出される特徴点の単位方向ベクトルをｎＨとすると、基準位置からの回転ｑＨは、式（６）の正規化四元数Ｒ（ｎ１，ｎ２）を用いて、式（３０）で求められる。この回転ｑＨは、例えば、コントローラ３のＣＰＵ２２を用いて算出され、本体デバイス２へ送信される。
ｑＨ＝Ｒ（ｎＨ０，ｎＨ） …（３０）
ｑＨ＝Ｒ（ｎＨ０，ｎＨ） …（３０）
【0117】
回転ｑＨは、コントローラ座標系における表現であり、初期座標系では式（３１）の回転ｑＨＳで表現される。これにより、変更されたコントローラ座標系の回転ｑＣＳＭは、回転ｑＣＳに回転ｑＨＳを加えて式（３２）で求まる。方向検出部９１は、例えば、手首の回転に応じて自身で算出した回転ｑＣＳと、コントローラ３から受信した回転ｑＨとを用いて式（３１）および式（３２）を演算することで、回転ｑＣＳＭを求める。
ｑＨＳ＝ｑＣＳｑＨｑＣＳ ＊ …（３１）
ｑＣＳＭ＝ｑＨＳｑＣＳ＝ｑＣＳＲ（ｎＨ０，ｎＨ） …（３２）
ｑＨＳ＝ｑＣＳｑＨｑＣＳ ＊ …（３１）
ｑＣＳＭ＝ｑＨＳｑＣＳ＝ｑＣＳＲ（ｎＨ０，ｎＨ） …（３２）
【0118】
このような複合センサを用いることにより、ユーザは、手首にコントローラ３を装着した状態で、あたかも、手の甲にコントローラ３を設置しているかのようにポインティングビームの指し位置を操作することができる。これにより、ユーザは、手の甲にコントローラ３を設置する煩わしさから解放されると共に、腕をさほど大きく動かすことなく、腕の方向と手の方向とを組み合わせてポインティングビームの指し位置を操作することが可能になる。その結果、ユーザの利便性の向上が図れる。
【0119】
《ポインティングビームの回転角制御》
前述した図９の例では、コントローラ３の角度変化量αと、ポインティングビームの角度変化量αとが同じである場合を示したが、ポインティングビームの角度変化量は、コントローラ３の角度変化量よりも大きい、または小さくてもよい。これにより、ユーザは、例えば、腕の動きを抑えた状態でポインティングビームの指し位置を操作することや、または、指し位置をきめ細かく制御すること等が可能になる。その結果、ユーザの利便性の向上が図れる。
前述した図９の例では、コントローラ３の角度変化量αと、ポインティングビームの角度変化量αとが同じである場合を示したが、ポインティングビームの角度変化量は、コントローラ３の角度変化量よりも大きい、または小さくてもよい。これにより、ユーザは、例えば、腕の動きを抑えた状態でポインティングビームの指し位置を操作することや、または、指し位置をきめ細かく制御すること等が可能になる。その結果、ユーザの利便性の向上が図れる。
【0120】
詳細な処理内容として、例えば、図６Ｂの表示制御部８８は、コントローラ３の角度変化量に係数を掛けて、ポインティングビームの指し位置の角度変化量を制御する。具体的には、表示制御部８８は、正の係数をｗとして、回転ｑＣＳの代わりに式（３４）のように角度変化量をｗ倍に変更した回転ｑＣＳｍを使用して、ポインティングビームの指し位置を制御する。式（３４）では、回転ｑＣＳが表す角度変化量がλとされ、角度変化量λは、回転ｑＣＳの実数部分を用いて式（３３）で求まる。なお、式（３３）におけるｃｏｓ－１は、０からπの値を取る。
｜λ｜＝２ｃｏｓ－１（Ｓｃ（ｑＣＳ）） …（３３）
ｑＣＳｍ＝ｃｏｓ（ｗ｜λ｜／２）＋ｓｉｎ（ｗ｜λ｜／２）Ｖｃ（ｑＣＳ）／ｓｉｎ（｜λ｜／２） …（３４）
｜λ｜＝２ｃｏｓ－１（Ｓｃ（ｑＣＳ）） …（３３）
ｑＣＳｍ＝ｃｏｓ（ｗ｜λ｜／２）＋ｓｉｎ（ｗ｜λ｜／２）Ｖｃ（ｑＣＳ）／ｓｉｎ（｜λ｜／２） …（３４）
【0121】
《タイムアウト機能》
コントローラ３を使用するか否か（すなわちオン・オフ）を切り替える場合、明示的なスイッチ等を設けてもよいが、自動的にオン・オフを切り替える機能を設けることも可能である。具体的には、本体デバイス２は、例えば、操作命令変換部８７からのトリガ命令が一定期間発行されなかった場合、タイムアウトとしてコントローラ３からの入力を無効にする。その後、コントローラからの入力を再開する場合には、例えば、ユーザに初期化コマンドを発行させる。
コントローラ３を使用するか否か（すなわちオン・オフ）を切り替える場合、明示的なスイッチ等を設けてもよいが、自動的にオン・オフを切り替える機能を設けることも可能である。具体的には、本体デバイス２は、例えば、操作命令変換部８７からのトリガ命令が一定期間発行されなかった場合、タイムアウトとしてコントローラ３からの入力を無効にする。その後、コントローラからの入力を再開する場合には、例えば、ユーザに初期化コマンドを発行させる。
【0122】
例えば、作業支援等のアプリケーションを実行している場合、ユーザは、トリガ命令（コマンド）を発行する意図ではなく、手首の回転等を行うことがある。この際に、手首の回転等がトリガ命令と解釈されたら不都合が生じ得る。そこで、本体デバイス２は、トリガ命令が一定期間発行されなかった場合、コントローラ３からの入力を無効にする。これにより、ユーザの利便性の向上が図れる。
【0123】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0124】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0125】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0126】
１：ヘッドマウント情報処理装置（ＨＭＤ）、２：本体デバイス、３，３ａ，３ｂ：コントローラ、５：位置・姿勢センサ、１０：画像、１１：オブジェクト、１２：ポインティングビーム、１５：コントローラの方向、１６ａ：方向操作、１６ｂ：回転操作、１６ｃ：突き出し操作、１７，１８：オブジェクト、２０：カメラ、２１：測距センサ、２２：ＣＰＵ、２３：メモリ、２４：近接通信インタフェース、２５：アンテナ、２６：バス、３０：加速度センサ、３１：ジャイロセンサ、３２：地磁気センサ、３５：プログラム、３６：情報データ、４０：カメラ、４１：測距センサ、４２：ディスプレイ、４３：音声出力部、４４：マイク、４５：位置・姿勢センサ、４６：ＣＰＵ、４７：メモリ、４８：通信インタフェース、４９：アンテナ、５０：近接通信インタフェース、５１：アンテナ、５２：バス、５５：スピーカ、５６：イヤホン、６０：加速度センサ、６１：ジャイロセンサ、６２：地磁気センサ、６３：ＧＰＳ受信器、６５：プログラム、６６：情報データ、６６ａ：座標系情報、６６ｂ：操作命令情報、７０：制御部、７５：センサデータ処理部、７６：通信制御部、８０：制御部、８５：通信制御部、８６：センサデータ処理部、８７：操作命令変換部、８８：表示制御部、８９：表示調整部、９１：方向検出部、９２：回転検出部、９３：原点座標検出部、９４：突出検出部、１００：ベルト、１０１：角速度センサ、１０５：起点の位置、１１０：コントローラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】