特開 2024-175532 情報処理装置、情報処理装置の制御方法、表示装置、表示装置の制御方法、システム、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175532

(43)【公開日】2024-12-18

(54)【発明の名称】情報処理装置、情報処理装置の制御方法、表示装置、表示装置の制御方法、システム、プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241211BHJP

   G09G 5/00 20060101ALI20241211BHJP

   G09G 5/38 20060101ALI20241211BHJP

【ＦＩ】

G06F3/01 510

G09G5/00 550C

G09G5/00 510A

G09G5/38 100

G09G5/00 510H

G09G5/00 510G

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2023093384

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】上條 弘明

【テーマコード（参考）】

5C182

5E555

【Ｆターム（参考）】

5C182AB02

5C182AB08

5C182AB14

5C182AB25

5C182AB33

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA29

5C182BA39

5C182BA46

5C182BA47

5C182BC22

5C182BC25

5C182BC26

5C182CB42

5C182DA14

5C182DA44

5C182DA65

5E555AA64

5E555BA02

5E555BA04

5E555BA38

5E555BB38

5E555BC04

5E555CA04

5E555CA05

5E555CA10

5E555CA12

5E555CA15

5E555CA17

5E555CA41

5E555CA42

5E555CA44

5E555CA45

5E555CB21

5E555CB66

5E555DA08

5E555DA09

5E555FA00

(57)【要約】      （修正有）

【課題】ユーザが移動体に搭乗している場合、コントローラの慣性情報から移動体の動きとユーザ操作とを区別する装置を提供する。
【解決手段】表示装置ＨＭＤ１００は、コントローラ２００の位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得手段（慣性計測部）と、表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する加速度センサや角加速度センサといった慣性センサから構成される慣性計測装置（ＩＭＵ；Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ））と、を有し、第一の変化量及び第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、表示装置に仮想オブジェクトを表示する。
【選択図】図６

【特許請求の範囲】

【請求項1】

コントローラによって入力を受け付ける表示装置であって、
前記表示装置に仮想オブジェクトを表示する表示制御手段と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得手段と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する慣性センサと、を有し、
前記表示制御手段は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置。

【請求項2】

前記第三の変化量は、前記コントローラと前記表示装置との相対的な変化量である、
ことを特徴とする請求項１に記載の表示装置。

【請求項3】

前記第三の変化量は、前記第一の変化量から前記第二の変化量を差し引いた変化量である、
ことを特徴とする請求項２に記載の表示装置。

【請求項4】

前記表示装置は、ユーザが乗っている移動体に固定されている、
ことを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。

【請求項5】

撮像画像を取得する撮像手段と、
前記撮像画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定手段と、
前記推定手段の推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得手段と、をさらに有し、
前記表示制御手段は、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする請求項１に記載の表示装置。

【請求項6】

前記第三の変化量は、前記第一の変化量と前記第四の変化量とを足し合わせて、前記第二の変化量を差し引いて取得される変化量である、
ことを特徴とする請求項５に記載の表示装置。

【請求項7】

前記第三の変化量は、前記第二の変化量から前記第四の変化量を差し引いた変化量を、前記第一の変化量から差し引いて取得される変化量である、
ことを特徴とする請求項５に記載の表示装置。

【請求項8】

ユーザが移動体に乗って前記表示装置を使用する場合、
前記第三の変化量は、前記移動体と前記コントローラとの相対的な変化量である、
ことを特徴とする請求項５乃至７のいずれか１項に記載の表示装置。

【請求項9】

前記表示装置は、前記ユーザの頭部に装着される装置である、
ことを特徴とする請求項１乃至３、及び５乃至７のいずれか１項に記載の表示装置。

【請求項10】

前記表示制御手段は、前記第四の変化量に基づいて、前記表示装置に背景画像を表示する、
ことを特徴とする請求項５乃至７のいずれか１項に記載の表示装置。

【請求項11】

コントローラによって入力を受け付ける情報処理装置であって、
表示装置に仮想オブジェクトを表示する表示制御手段と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得手段と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得手段と、を有し、
前記表示制御手段は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置。

【請求項12】

前記第三の変化量は、前記コントローラと前記表示装置との相対的な変化量である、
ことを特徴とする請求項１１に記載の情報処理装置。

【請求項13】

前記第三の変化量は、前記第一の変化量から前記第二の変化量を差し引いた変化量である、
ことを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記表示装置から画像を取得する画像取得手段と、
前記画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定手段と、
前記推定手段の推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得手段と、をさらに有し、
前記表示制御手段は、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする請求項１１に記載の情報処理装置。

【請求項15】

前記第三の変化量は、前記第一の変化量と前記第四の変化量とを足し合わせて、前記第二の変化量を差し引いて取得される変化量である、
ことを特徴とする請求項１４に記載の情報処理装置。

【請求項16】

前記第三の変化量は、前記第二の変化量から前記第四の変化量を差し引いた変化量を、前記第一の変化量から差し引いて取得される変化量である、
ことを特徴とする請求項１４に記載の情報処理装置。

【請求項17】

ユーザが移動体に乗って前記表示装置を使用する場合、
前記第三の変化量は、前記移動体と前記コントローラとの相対的な変化量である、
ことを特徴とする請求項１４乃至１６のいずれか１項に記載の情報処理装置。

【請求項18】

前記表示制御手段は、前記第四の変化量に基づいて、前記表示装置に背景画像を表示する、
ことを特徴とする請求項１４乃至１６のいずれか１項に記載の情報処理装置。

【請求項19】

コントローラによって入力を受け付ける表示装置のシステムであって、
前記表示装置に仮想オブジェクトを表示する表示制御装置と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得装置と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する慣性センサと、を有し、
前記表示制御装置は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置のシステム。

【請求項20】

コンピュータを請求項１又は５に記載の表示装置の各手段として機能させるためのプログラム。

【請求項21】

コントローラによって入力を受け付ける表示装置の制御方法であって、
前記表示装置に仮想オブジェクトを表示する表示制御ステップと、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得ステップと、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する検出ステップと、を有し、
前記表示制御ステップは、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置の制御方法。

【請求項22】

コントローラによって入力を受け付ける情報処理装置のシステムであって、
表示装置に仮想オブジェクトを表示する表示制御装置と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得装置と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得装置と、を有し、
前記表示制御装置は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置のシステム。

【請求項23】

コンピュータを請求項１１又は１４に記載の情報処理装置の各手段として機能させるためのプログラム。

【請求項24】

コントローラによって入力を受け付ける情報処理装置の制御方法であって、
表示装置に仮想オブジェクトを表示する表示制御ステップと、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得ステップと、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得ステップと、を有し、
前記表示制御ステップは、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、情報処理装置に関するものである。

【背景技術】

【0002】

近年、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、現実空間とは異なる空間をユーザに感じさせるような、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）技術や仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）技術が知られている。このような技術において、ユーザがＨＭＤを装着したまま、ＨＭＤに対する各種制御を行うことが検討されている。ＨＭＤは、ＨＭＤに内蔵している加速度センサや角速度センサの情報からＨＭＤの位置や姿勢を取得して制御している。

【0003】

上述のようなＨＭＤを、自動車などの乗物に搭乗して利用する場合、上述の加速度センサや角速度センサで得られる情報に、ユーザの動作だけでなく乗物の動作も含まれてしまう。そうすると、本来ユーザが見たい方向とは異なる映像が映像表示装置に表示されてしまうという問題が生じ得る。この問題を解消するために、特許文献１では、ユーザの身体に設置されたモーションセンサから取得したユーザの動作から、乗物に配置されたモーションセンサから取得した乗物の動作を減算して、ＨＭＤに表示する映像を決定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－０４９８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献に開示された従来技術では、乗物に搭乗せずにＨＭＤを使用する場合に必要のない、乗物に配置するためのモーションセンサを別途用意するという手間が生じる。そこで本発明は、ユーザが移動体に搭乗している場合であっても、上述のようなモーションセンサを別途用意することなく、移動体の動きとユーザ操作とを区別して操作が可能な表示装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は上述した課題に鑑みてなされたものであり、表示装置から得られる慣性情報とコントローラから得られる慣性情報とに基づいて、コントローラを介した入力を受け付ける。

【発明の効果】

【0007】

本発明によれば、ユーザが移動体に搭乗している場合であっても、モーションセンサを別途用意することなく、移動体の動きとユーザ操作とを区別して操作が可能な表示装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る情報処理システムを示す図である。

【図2】第１の実施形態に係るＨＭＤの構成の一例を説明する概略図である。

【図3】第１の実施形態に係るコントローラの構成の一例を説明する概略図である。

【図4】第１の実施形態に係るＨＭＤを自動車の中で使用する例を説明する概略図である。

【図5】第１の実施形態に係るコントローラの処理の手順を説明するフローチャート図である。

【図6】第１の実施形態に係るＨＭＤの処理の手順を説明するフローチャート図である。

【図7】第１の実施形態に係るユーザ操作が発生しないシナリオを説明する図である。

【図8】第１の実施形態に係るユーザ操作が発生するシナリオを説明する図である。

【図9】第１の実施形態に係るユーザ操作が発生しないシナリオを説明する図である。

【図10】第１の実施形態に係るユーザ操作が発生するシナリオを説明する図である。

【図11】第２の実施形態に係るＨＭＤの処理の手順を説明するフローチャート図である。

【図12】第２の実施形態に係るユーザ操作が発生するシナリオを説明する図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

（第１の実施形態）
図１を参照して、第１の実施形態に係る情報処理システム１について説明する。情報処理システム１は、ＨＭＤ１００、およびコントローラ２００を有する。

【0011】

ＨＭＤ１００は、ユーザの頭部に装着される頭部装着型の表示装置（電子機器）である。ＨＭＤ１００には、ＨＭＤ１００がユーザの正面の範囲を撮像した撮像画像と、ＨＭＤ１００の姿勢に応じた形態のＣＧ（コンピュータグラフィックス）などのコンテンツとが合成された合成画像が表示される。Ｂｌｕｅｔｏｏｔｈ（登録商標）により、コントローラ２００と接続され、コントローラ２００による入力を受け付ける。

【0012】

コントローラ２００は、ＨＭＤ１００の各種制御を行う。コントローラ２００に対してユーザの操作が行われると、ユーザの操作に応じてＨＭＤ１００が制御される。コントローラ２００は、図１に示すように、ユーザの指に装着して支持可能な指輪型（リング型）の形状や手で保持する手持ち型の形状が考えられる。また、コントローラ２００は、ディスプレイ表示上で決定操作や選択操作を行う物理的なボタンを有している。コントローラ２００は、Ｂｌｕｅｔｏｏｔｈによる無線通信をＨＭＤ１００と行う。なお、コントローラ２００の形状は指輪型や手持ち型であるとしたが、指や手、又は腕で支持可能であれば、これに限定されるものではない。なお、ボタンは物理的なボタンであるとしたが、トラックパッド、タッチパネル、ホイール、トラックボールのように操作可能であればよい。

【0013】

なお、ここではＨＭＤ１００とコントローラ２００とで構成された情報処理システムとしたが、ＨＭＤ１００の各構成を、ＰＣ、スマートフォン、ゲーム機またはタブレット端末といった情報処理装置が有していてもよい。この場合、ＰＣは、ＵＳＢケーブル（登録商標）のような有線または、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）のような無線によりＨＭＤ１００と接続される。

【0014】

＜ＨＭＤの内部構成＞
図２を参照して、ＨＭＤ１００の内部構成を説明する。ＨＭＤ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、システムバス１０４、ＧＰＵ１０５、表示部１０６、通信部１０７、慣性計測部１０８、地磁気センサ１０９、撮像部１１０を有する。

【0015】

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０４に接続された各構成を制御する。なお、ＣＰＵ１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

【0016】

ＲＡＭ１０２は、撮像部１１０で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリ、ＣＰＵ１０１の作業領域等として使用される。

【0017】

ＲＯＭ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、ＣＰＵ１０１で実行される後述のプログラム等が格納される。ＲＯＭ１０３に格納されたプログラムには、後述するコントローラの慣性情報補正処理を実現するプログラムが含まれる。

【0018】

ＧＰＵ１０５は、仮想空間上に仮想オブジェクト描画するグラフィックス処理装置である。ＣＰＵ１０１は、ＧＰＵ１０５で表示部１０６に表示する画像の表示制御を行う。

【0019】

表示部１０６は、描画されたグラフィックスの表示に利用される液晶パネルや有機ＥＬパネルなどの出力機器である。ユーザがＨＭＤ１００を装着している状態では、ユーザのそれぞれの眼の前に有機ＥＬパネルが配される。

【0020】

通信部１０７は有線または無線通信機能を有し、コントローラ２００の通信部２０５と通信し、データの送受信を行う。

【0021】

慣性計測部１０８は、ＨＭＤ１００の位置や姿勢を検出するためのセンサである。そして、慣性計測部１０８は、ＨＭＤ１００の位置や姿勢に対応するような、ユーザ（ＨＭＤ１００を装着したユーザ）の位置情報や姿勢情報を取得する。慣性計測部１０８は、加速度センサや、角加速度センサといった慣性センサから構成される慣性計測装置（ＩＭＵ；Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を有する。慣性計測部１０８は、ユーザの位置情報や姿勢情報を取得する際に用いられ、ＣＰＵ１０１はユーザの位置情報や姿勢情報を慣性計測部１０８から取得する。なお、慣性計測部１０８では姿勢情報のみ検出できてもよく、位置情報のみ検出できてもよく、姿勢情報と位置情報との両方が検出できてもよい。すなわち、姿勢情報および位置情報の少なくとも一方が検出できてもよい。

【0022】

地磁気センサ１０９は、ＨＭＤ１００の方角を検出するためのセンサである。ＣＰＵ１０１はＨＭＤ１００の方角の情報を地磁気センサ１０９から取得する。なお、地磁気センサ１０９は、慣性計測部１０８に含まれていてもよい。

【0023】

撮像部１１０は、ＨＭＤ１００の周辺環境を撮影するための装置である。撮像部１１０は、２台のカメラ（撮像装置）を含む。２台のカメラは、ユーザが通常時に見ている空間と同様の空間を映像や画像で撮影するために、ＨＭＤ１００の装着時のユーザの左右の眼の位置の近くに配置される。２台のカメラが撮影により被写体（ユーザの正面の範囲）を撮影した画像は、ＣＰＵ１０１に出力される。また、撮像部１１０における２台のカメラは、ステレオカメラによる測距により、２台のカメラから被写体までの距離の情報を距離情報として取得できる。撮像部１１０からの画像をもとにＣＰＵ１０１がＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の公知の技術によってＨＭＤ１００の自己位置を推定する。ＨＭＤ１００の位置や姿勢の推定結果より、所定の時間のＨＭＤ１００の変化量を算出する。なお、撮像部１１０は、映像を撮影して、出力していてもよい。なお、ＣＰＵ１０１は、撮像部１１０からの映像から自己位置を推定するＶｉｓｕａｌ ＳＬＡＭの他、レーザーを使用したＬｉＤＡＲ ＳＬＡＭ（ＬｉＤＡＲ；Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）によって自己位置を推定できてもよい。なお、ＴｏＦセンサ（ＴｏＦ；Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）を使用したＤｅｐｔｈ ＳＬＡＭによって自己位置を推定できてもよい。

【0024】

＜コントローラの内部構成＞
図３を参照して、コントローラ２００の内部構成を説明する。

【0025】

コントローラ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、システムバス２０４、通信部２０５、慣性計測部２０６、地磁気センサ２０７を有する。

【0026】

ＣＰＵ２０１はＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０４に接続された各構成を制御する。なお、ＣＰＵ２０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。なお、ＣＰＵ２０１がコントローラを制御する代わりに、ＣＰＵ１０１がＣＰＵ２０１での処理を行ってもよい。

【0027】

ＲＡＭ２０２は、慣性計測部２０６で検出された位置や姿勢に関するデータを一時的に保持するバッファメモリや、ＣＰＵ２０１の作業領域等として使用される。

【0028】

ＲＯＭ２０３は、電気的に消去・記録可能な不揮発性のメモリであり、ＣＰＵ２０１で実行されるプログラム等が格納される。ＲＯＭ２０３に格納されたプログラムには、後述するコントローラの姿勢、動き、方角をＨＭＤ１００に送信する処理を実現するプログラムが含まれる。

【0029】

通信部２０５は有線または無線通信機能を有し、ＨＭＤ１００の通信部１０７と通信し、データの送受信を行う。

【0030】

慣性計測部２０６は、コントローラ２００の位置や姿勢を検出するためのセンサである。そして、慣性計測部２０６は、コントローラ２００の位置や姿勢に対応するような、ユーザ（コントローラ２００を装着したユーザ）の手や指の位置情報や姿勢情報を取得する。慣性計測部２０６は、加速度センサや角加速度センサといった慣性センサから構成される慣性計測装置を有する。慣性計測部２０６は、ユーザの位置情報や姿勢情報を取得する際に用いられ、ＣＰＵ２０１はユーザの位置情報や姿勢情報を慣性計測部２０６から取得する。なお、慣性計測部２０６では姿勢情報のみ検出できてもよく、位置情報のみ検出できてもよく、姿勢情報と位置情報との両方が検出できてもよい。すなわち、姿勢情報および位置情報の少なくとも一方が検出できてもよい。なお、慣性計測部２０６で検出されるユーザの位置情報や姿勢情報は、ＣＰＵ１０１が取得していてもよい。

【0031】

地磁気センサ２０７は、コントローラ２００の方角を検出するためのセンサである。ＣＰＵ２０１はコントローラ２００の方角を地磁気センサ２０７から取得する。

【0032】

＜従来技術における操作例＞
図４（ａ）、図４（ｂ）を用いて、移動体である自動車に搭乗しているユーザがＨＭＤを使用している場面を説明する。また、ＨＭＤ１００とコントローラ２００との慣性情報に基づく従来の処理概要について説明する。

【0033】

図４（ａ）は、移動体の一例として自動車３００に搭乗したユーザ６００がＨＭＤ１００を頭部に装着し、コントローラ２００を指６０１に装着している場面を表す図である。また、自動車３００は移動軌跡５００に沿って移動した場合を想定しており、この移動の間、ユーザは自動車の中でＨＭＤ１００とコントローラ２００を静止した状態でユーザ操作を行わない場合を想定している。ここでは、角速度センサから取得される姿勢情報について説明し、加速度センサから取得される位置情報は省略する。また、ここでは簡易的に、Ｚ軸を中心とした回転角度で変化量を示す。自動車３０１の時点では、ユーザ６００の頭部に装着しているＨＭＤ１００は慣性情報５０１に示されるような姿勢の変化が慣性計測部１０８で検出される。また、ユーザの指６０１に装着しているコントローラ２００は慣性情報５０２に示されるような変化が慣性計測部２０６で検出される。すなわち、ＨＭＤ１００の慣性計測部１０８とコントローラ２００の慣性計測部２０６では、自動車３００から自動車３０１の姿勢の変化分が検出されている。

【0034】

図４（ｂ）は、自動車３００の時点でのＨＭＤ１００の表示部１０６に表示されている仮想空間４００の画面を表す図である。仮想空間４００の画面は、ＨＭＤ１００の位置や姿勢に応じて、表示される画面が変化する。ここでは自動車に搭乗した状態で、金魚すくいのゲームを行う場面を想定している。また、コントローラ２００の位置や姿勢に応じて、仮想空間４００の仮想オブジェクトであるポイ４０１が表示される。ユーザは仮想空間でアバターが座った状態で金魚すくいをするゲームを想定し、アバターの位置は固定されており、ユーザは３６０度首を動かすことで金魚が泳ぐ水槽を眺める向きを変えることが出来る。この金魚すくいのゲームでは、ユーザが頭を動かすと、頭の位置および姿勢、すなわちＨＭＤ１００の位置および姿勢に応じて、表示部１０６に表示される画面が変化する。ここでは、簡易的に、姿勢の変化によって画面が変わる場合を想定し、自動車の移動による自動車の位置の変化は考慮せず、自動車の移動によるユーザの姿勢の変化、すなわち自動車の移動によるユーザの向きの変化を考慮している。

【0035】

図４（ａ）で示されているように自動車３００が９０°右折し、自動車３０１の地点まで移動し、その移動中でユーザは全く動かなかったとする。自動車３００に搭乗していなければ、ユーザは全く動かない場合、表示画面は変化しない。にもかかわらず、慣性計測部１０８で検出される慣性情報５０１に応じて、ＨＭＤ１００の表示部１０６に表示される画面が、頭を９０°右に向けたときと同じように変化する。また、慣性計測部２０６で検出されたコントローラの慣性情報５０１に応じてＨＭＤ１００で描画されている仮想空間４００内のポイ４０１も９０°右に移動することになる。すなわち、表示画面の背景映像が変更され、ポイ４０１の表示画面での位置は変化しない。この場合、ユーザは自動車の中で静止していたはずが、自動車の移動により、慣性情報が検出され、ユーザが動いたと見なされて画面や仮想オブジェクトが変化してしまう。

【0036】

以下、本発明の制御手段を例示する処理フローについて、図を参照しながら説明する。

【0037】

＜コントローラのユーザ操作検出時の処理＞
図５のフローチャート図を用いて、コントローラ２００がユーザ操作検出時に行う処理について説明する。Ｓ５００において、ＣＰＵ２０１は、慣性計測部２０６からコントローラ２００の慣性情報を検知したか、すなわちコントローラ２００の位置や姿勢の変化が検出されたかを判定する。ＣＰＵ２０１は、コントローラ２００の慣性情報を検知した場合、Ｓ５０１に進む。ＣＰＵ２０１は、コントローラ２００の慣性情報を検知しなかった場合、Ｓ５００の処理を繰り返す。

【0038】

Ｓ５０１において、ＣＰＵ２０１は、慣性計測部２０６からコントローラ２００の慣性情報を読み出す。

【0039】

Ｓ５０２において、ＣＰＵ２０１は、コントローラ２００の慣性情報を、通信部２０５を介してＨＭＤ１００のＣＰＵ１０１へ送信する。なお、図５のフローチャートでは、ＣＰＵ２０１による処理としたが、ＨＭＤ１００のＣＰＵ１０１がこのフローチャートに沿って処理を行ってもよい。

【0040】

＜ＨＭＤのデータ受信時の処理＞
図６のフローチャート図を用いて、ＨＭＤ１００がコントローラ２００から慣性情報を受信して仮想オブジェクトを移動させる処理について説明する。

【0041】

Ｓ６００において、ＣＰＵ１０１は、ユーザの操作対象である仮想オブジェクトをＧＰＵ１０５で描画する制御を行い、Ｓ６０１に進む。

【0042】

Ｓ６０１において、ＣＰＵ１０１は、ユーザの操作対象である仮想オブジェクトを表示部１０６で表示をする制御を行い、Ｓ６０２に進む。

【0043】

Ｓ６０２において、ＣＰＵ１０１は、コントローラ２００から慣性情報の受信を検知したことを判定する。ＣＰＵ１０１は、コントローラ２００から慣性情報の受信を検知した場合は、Ｓ６０３に進む。ＣＰＵ１０１は、コントローラ２００から慣性情報の受信を検知しない場合は、Ｓ６０２の処理を繰り返す。

【0044】

Ｓ６０３において、ＣＰＵ１０１は、通信部１０７を介してコントローラ２００の慣性情報を受信し、Ｓ６０４に進む。

【0045】

Ｓ６０４において、ＣＰＵ１０１は、慣性計測部１０８からＨＭＤ１００の慣性情報を読み出し、Ｓ６０５に進む。

【0046】

Ｓ６０５において、ＣＰＵ１０１は、読み出したＨＭＤ１００の慣性情報と受信したコントローラ２００の慣性情報から移動体の移動量・回転量を算出する。ユーザに移動体に乗りながらＨＭＤ１００を使用する場合、事前に頭をあまり振らないよう促すことで、ＨＭＤ１００の慣性情報を移動体の慣性情報とみなすことができる。なお、ＨＭＤ１００の慣性情報とコントローラ２００の慣性情報との一致する成分の変化量を移動体の移動量・回転量としてもよい。

【0047】

Ｓ６０６において、ＣＰＵ１０１は、コントローラ２００の慣性情報から移動体の移動量・回転量を差し引いたユーザ操作によるコントローラの移動量・回転量を算出し、Ｓ６０７に進む。ここで、ユーザ操作によるコントローラの移動量・回転量とは、すなわちＨＭＤ１００に対するコントローラ２００の相対的な移動量・回転量にあたる。

【0048】

Ｓ６０７において、ＣＰＵ１０１は、ユーザ操作によるコントローラの移動量・回転量に合わせて仮想オブジェクトの座標を移動させ、Ｓ６００に進む。

【0049】

移動体の移動量・回転量の算出方法とコントローラの移動量・回転量の算出方法については、後述する。

【0050】

なお、図６のフローチャートにおいて、Ｓ６０４の処理の後、Ｓ６０６に進み、ＣＰＵ１０１は、コントローラ２００の慣性情報からＨＭＤ１００の慣性情報を差し引いて、ユーザ操作によるコントローラの移動量・回転量を算出し、Ｓ６０７に進んでもよい。

【0051】

＜移動体の回転量の算出方法とユーザ操作によるコントローラの回転量の算出方法＞
図４（ｂ）、図７（ａ）、図７（ｂ）を用いて、ＨＭＤとコントローラとの慣性情報のうち、取得される角速度に基づいて、移動体の回転量を識別し、ユーザ操作によって加えられた操作量のみを抽出し、ユーザ操作として反映する例について説明する。ここでは、移動の間にユーザが動かない場合を想定する。ここでは、角速度センサから取得される姿勢情報について説明し、加速度センサから取得される位置情報は省略する。また、ここでは簡易的に、Ｚ軸を中心とした回転角度で変化量を示す。

【0052】

図７（ａ）では、自動車３００に搭乗したユーザ６００がＨＭＤ１００を頭部に装着し、コントローラ２００を指６０１に装着している場面を表す図である。自動車３００は移動軌跡５００に沿って移動した場合を想定しており、この移動の間、ユーザは自動車の中でＨＭＤ１００とコントローラ２００を静止した状態でユーザ操作を行わない場合を想定している。自動車３０１の時点では、ユーザ６００の頭部に装着しているＨＭＤ１００は慣性情報５１１に示されるような姿勢の変化（θ２）が慣性計測部１０８で検出される。また、ユーザの指６０１に装着しているコントローラ２００は慣性情報５１２に示されるような姿勢の変化（θ２）が慣性計測部２０６で検出される。すなわち、ＨＭＤ１００の慣性計測部１０８とコントローラ２００の慣性計測部２０６では、自動車３００から自動車３０１の姿勢の変化分（θ２）、すなわち自動車の向きの変化分（θ２）が検出されている。ＨＭＤ１００のＣＰＵ１０１は、コントローラ２００の慣性情報５１２から、ＨＭＤ１００の慣性情報５１１を差し引くことで、ユーザの操作によるコントローラの回転量（θ１）を算出する。図７（ａ）では、ユーザ操作を行っていないため、ユーザ操作によるコントローラの回転量（θ１）は、０°である。

【0053】

図７（ｂ）は、自動車３０１の時点でのＨＭＤ１００の表示部１０６に表示されている仮想空間４１０の画面を表す図である。ユーザ操作を行っていないため、ユーザ操作によるコントローラの回転量（θ１）は、０°と算出されているため、図４（ｂ）の表示画面から変化しない。

【0054】

図４（ｂ）、図８（ａ）、図８（ｂ）を用いて、ＨＭＤとコントローラとの慣性情報のうち、取得される角速度に基づいて、移動体の回転量を識別し、ユーザ操作によって加えられた操作量のみを抽出し、ユーザ操作として反映する例について説明する。ここでは、移動の間にユーザはＨＭＤ１００を動かしておらず、コントローラ２００のみを動かした場合を想定する。ここでは、角速度センサから取得される姿勢情報について説明し、加速度センサから取得される位置情報は省略する。また、ここでは簡易的に、Ｚ軸を中心とした回転角度で変化量を示す。

【0055】

図８（ａ）では、自動車３００に搭乗したユーザ６００がＨＭＤ１００を頭部に装着し、コントローラ２００を指６０１に装着している場面を表す図である。また、自動車３００は移動軌跡５００に沿って移動した場合を想定している。この移動の間、ユーザは自動車の中でＨＭＤ１００を動かしておらず、コントローラ２００のみを動かした場合を想定している。コントローラ２００はユーザの操作により姿勢が（θ１）だけ変化している。自動車３０１の時点では、ユーザ６００の頭部に装着しているＨＭＤ１００は慣性情報５１１に示されるような姿勢の変化（θ２）が慣性計測部１０８で検出される。また、ユーザの指６０１に装着しているコントローラ２００は慣性情報５１２に示されるような姿勢の変化（θ１＋θ２）が慣性計測部２０６で検出される。すなわち、ＨＭＤ１００の慣性計測部１０８とコントローラ２００の慣性計測部２０６では、自動車３００から自動車３０１の姿勢の変化分（θ２）、すなわち自動車の向きの変化分（θ２）が検出されている。ＨＭＤ１００のＣＰＵ１０１は、コントローラ２００の慣性情報５２２（θ１＋θ２）から、ＨＭＤ１００の慣性情報５２１（θ２）を差し引くことで、ユーザの操作によるコントローラの回転量（θ１）を算出する。

【0056】

図８（ｂ）では、自動車３０１の時点でのＨＭＤ１００の表示部１０６に表示されている仮想空間４２０の画面を表す図である。ユーザ操作を行ったため、ユーザ操作によるコントローラの回転量（θ１）に基づいて、図４（ｂ）の表示画面から変化し、ポイ４２１は、コントローラの回転量５２３（θ１）だけ回転した状態でＨＭＤ１００の表示部１０６に表示される。

【0057】

具体的に数値を当てはめると、自動車の向きの変化分（θ２＝９０°）の変化があり、ユーザはコントローラを回転量（θ１＝４５°）の分だけ動かしたとする。すると、ＨＭＤ１００の慣性計測部１０８では、（θ２＝９０°）、コントローラ２００の慣性計測部２０６では、（θ１＋θ２＝１３５°）が検出される。ＨＭＤ１００のＣＰＵ１０１は、コントローラの回転量を差し引くことで、（θ１＝４５°）を算出するよう制御する。以上、前記説明した実施形態によって、ユーザが移動体に搭乗している場合であっても、コントローラの操作情報とＨＭＤの操作情報とに基づいて、正確にユーザの操作を検出することを可能にしたＨＭＤを提供することが可能である。

【0058】

なお、ここでは慣性計測部１０８と慣性計測部２０６とのそれぞれの慣性情報から回転量を算出したが、地磁気センサ１０９と地磁気センサ２０７とのそれぞれの地磁気情報から回転量を算出してもよい。

【0059】

＜移動体の移動量の算出方法とユーザ操作によるコントローラの移動量の算出方法＞
図９（ａ）、図９（ｂ）を用いて、ＨＭＤとコントローラとの慣性情報のうち、取得される加速度に基づいて、移動体の移動量を識別し、ユーザ操作によって加えられた操作量のみを抽出し、ユーザ操作として反映する例について説明する。ここでは、移動の間にユーザが動かない場合を想定する。ここでは、加速度センサから取得される姿勢情報について説明し、角速度センサから取得される姿勢情報は省略する。また、ここでは簡易的に、Ｘ軸方向の位置の変化量を示す。

【0060】

図９（ａ）では、自動車３００に搭乗したユーザ６００がＨＭＤ１００を頭部に装着し、コントローラ２００を指６０１に装着している場面を表す図である。また、自動車３００は移動軌跡５３０に沿って移動した場合を想定しており、この移動の間、ユーザは自動車の中でＨＭＤ１００とコントローラ２００を静止した状態でユーザ操作を行わない場合を想定している。自動車３３１の時点では、ユーザ６００の頭部に装着しているＨＭＤ１００は慣性情報５３１に示されるような位置の変化（Δ２）が慣性計測部１０８で検出される。また、ユーザの指６０１に装着しているコントローラ２００は慣性情報５３２に示されるような位置の変化（Δ２）が慣性計測部２０６で検出される。すなわち、ＨＭＤ１００の慣性計測部１０８とコントローラ２００の慣性計測部２０６では、自動車３００から自動車３３１の位置の変化分（Δ２）が検出されている。ＨＭＤ１００のＣＰＵ１０１は、コントローラ２００の慣性情報５１２から、ＨＭＤ１００の慣性情報５１１を差し引くことで、ユーザの操作によるコントローラの移動量（Δ１）、すなわち位置の変化量（Δ１）を算出する。図７（ａ）では、ユーザ操作を行っていないため、ユーザ操作によるコントローラの移動量（Δ１）は、０である。

【0061】

図９（ｂ）は、自動車３３０の時点でのＨＭＤ１００の表示部１０６に表示されている仮想空間４３０の画面を表す図である。仮想空間４３０の画面は、ＨＭＤ１００の位置や姿勢に応じて、表示される画面が変化する。ここでは自動車に搭乗した状態で、金魚すくいのゲームを行う場面を想定している。また、コントローラ２００の位置や姿勢に応じて、仮想空間４３０の仮想オブジェクトであるポイ４３１が表示される。また、移動軌跡５３０に沿って移動した場合も、ＨＭＤ１００のＣＰＵ１０１で、ユーザ操作によるコントローラの移動量（Δ１）は、０であることが算出されるため、同じ画面が表示される。

【0062】

図９（ｂ）、図１０（ａ）、図１０（ｂ）を用いて、ＨＭＤとコントローラとの慣性情報のうち、取得される加速度に基づいて、移動体の移動量を識別し、ユーザ操作によって加えられた操作量のみを抽出し、ユーザ操作として反映する例について説明する。ここでは、移動の間にユーザはＨＭＤ１００を動かしておらず、コントローラ２００のみを動かした場合を想定する。ここでは、加速度センサから取得される姿勢情報について説明し、角速度センサから取得される姿勢情報は省略する。また、ここでは簡易的に、Ｘ軸方向の位置の変化量を示す。

【0063】

図１０（ａ）では、自動車３００に搭乗したユーザ６００がＨＭＤ１００を頭部に装着し、コントローラ２００を指６０１に装着している場面を表す図である。また、自動車３００は移動軌跡５３０に沿って移動した場合を想定している。この移動の間、ユーザは自動車の中でＨＭＤ１００を動かしておらず、コントローラ２００のみを動かした場合を想定している。コントローラ２００はユーザの操作により位置が（Δ１）だけ変化している。自動車３３１の時点では、ユーザ６００の頭部に装着しているＨＭＤ１００は慣性情報５４１に示されるような位置の変化（Δ２）が慣性計測部１０８で検出される。また、ユーザの指６０１に装着しているコントローラ２００は慣性情報５４２に示されるような位置の変化（Δ１＋Δ２）が慣性計測部２０６で検出される。すなわち、ＨＭＤ１００の慣性計測部１０８とコントローラ２００の慣性計測部２０６では、自動車３００から自動車３３１の位置の変化分（Δ２）、すなわち自動車の移動の変化分（Δ２）が検出されている。ＨＭＤ１００のＣＰＵ１０１は、コントローラ２００の慣性情報５４２（Δ１＋Δ２）から、ＨＭＤ１００の慣性情報５４１（Δ２）を差し引くことで、ユーザの操作によるコントローラの移動量（Δ１）を算出する。

【0064】

図１０（ｂ）は、自動車３３１の時点でのＨＭＤ１００の表示部１０６に表示されている仮想空間４４０の画面を表す図である。ユーザ操作を行ったため、ユーザ操作によるコントローラの移動量（Δ１）に基づいて、図９（ｂ）の表示画面から変化し、ポイ４４１は、コントローラの移動量（Δ１）だけ移動した状態でＨＭＤ１００の表示部１０６に表示される。以上、前記説明した実施形態によって、ユーザが移動体に搭乗している場合であっても、コントローラの慣性情報とＨＭＤの慣性情報からユーザの移動操作を検出することを可能にしたＨＭＤを提供することが可能である。

【0065】

なお、慣性計測部１０８や慣性計測部２０６で検出される加速度のままで差分をとってもよく、差分となる加速度を二回積分して移動量を算出してもよい。

【0066】

なお、第１の実施形態では、表示装置として、ユーザの頭部に装着するＨＭＤとしたが、表示装置は、移動体に置かれている、または固定されているディスプレイを備えた装置であってもよい。この場合は、表示装置で取得される慣性情報が、移動体の慣性情報と一致すると見なし、コントローラから取得される慣性情報から、表示装置で取得される慣性情報を差し引くことで、ユーザ操作によるコントローラの移動量・回転量が算出できる。すなわち、移動体に対するコントローラ２００の相対的な移動量・回転量が算出できる。

【0067】

（第２の実施形態）
第２の実施形態では、ＨＭＤ１００のＣＰＵ１０１は、ＳＬＡＭといった技術によって、撮像部１１０の撮像画像に基づいて、ＨＭＤ１００の移動体の中での自己位置を推定する。第２の実施形態では、ＨＭＤ１００のＣＰＵ１０１は、移動体の中での自己位置を推定した結果、所定の時間の間に移動体の中で変化した位置や姿勢の変化量を算出できる。また、ＨＭＤ１００のＣＰＵ１０１は、ＨＭＤ１００の位置や姿勢の推定結果を用いて、仮想空間の背景画像の描画を行う。

【0068】

＜ＨＭＤのデータ受信時の処理＞
図１１のフローチャート図を用いて、ＨＭＤ１００がコントローラ２００から慣性情報を受信して仮想オブジェクトを移動させる処理について説明する。

【0069】

Ｓ６００において、ＣＰＵ１０１は、ユーザの操作対象である仮想オブジェクトをＧＰＵ１０５で描画する制御を行い、Ｓ６０１に進む。

【0070】

Ｓ６０１において、ＣＰＵ１０１は、表示画面と、ユーザの操作対象である仮想オブジェクトとを、表示部１０６で表示をする制御を行い、Ｓ６０２に進む。

【0071】

Ｓ６０２において、ＣＰＵ１０１は、コントローラ２００から慣性情報の受信を検知したことを判定する。ＣＰＵ１０１は、コントローラ２００から慣性情報の受信を検知した場合は、Ｓ６０３に進む。ＣＰＵ１０１は、コントローラ２００から慣性情報の受信を検知しない場合は、Ｓ６０２の処理を繰り返す。

【0072】

Ｓ６０３において、ＣＰＵ１０１は、通信部１０７を介してコントローラ２００の慣性情報を受信し、Ｓ６０４に進む。

【0073】

Ｓ６０４において、ＣＰＵ１０１は、慣性計測部１０８からＨＭＤ１００の慣性情報を読み出し、Ｓ１１０５に進む。

【0074】

Ｓ１１０５において、ＣＰＵ１０１は、撮像部１１０から画像取得を行った撮像画像に基づき、移動体の中での自己位置を推定する。ＨＭＤ１００の自己位置推定情報として、ＨＭＤ１００移動体の中での移動量および回転量を算出し、Ｓ１１０６に進む。

【0075】

Ｓ１１０６において、ＣＰＵ１０１は、ＨＭＤ１００の慣性情報からＨＭＤ１００の移動体の中での自己位置推定情報を差し引き、移動体の移動量および回転量を算出し、Ｓ１１０７に進む。

【0076】

Ｓ１１０７において、ＣＰＵ１０１は、コントローラ２００の慣性情報から移動体の移動量および回転量を差し引き、ユーザ操作によるコントローラ２００の移動量および回転量を算出し、Ｓ１１０８に進む。ここで、ユーザ操作によるコントローラの移動量・回転量とは、すなわち移動体に対するコントローラ２００の相対的な移動量・回転量にあたる。

【0077】

Ｓ１１０８において、ＣＰＵ１０１は、ＨＭＤ１００の移動体の中での自己位置推定情報に基づいて、表示部１０６に表示する表示画面、すなわち背景画像をＧＰＵ１０５で描画する制御を行い、Ｓ１１０９に進む。

【0078】

Ｓ１１０９において、ＣＰＵ１０１は、ユーザ操作によるコントローラ２００の移動量および回転量に合わせて仮想オブジェクトの座標を移動させ、Ｓ６００に進む。

【0079】

移動体の移動量および回転量の算出方法とユーザ操作によるコントローラ２００の移動量および回転量の算出方法については、後述する。

【0080】

＜移動体の回転量の算出方法とユーザ操作によるコントローラ２００の回転量の算出方法＞
図４（ｂ）、図１２（ａ）、図１２（ｂ）で、ＨＭＤ１００とコントローラ２００とのそれぞれの角速度と、ＨＭＤ１００の移動体の中での自己位置推定情報とに基づいて、移動体の回転量を識別し、ユーザ操作による回転量のみを抽出して反映する例を説明する。ここでは、移動の間にユーザはＨＭＤ１００とコントローラ２００との両方を動かした場合を想定する。ここでは、角速度センサから取得される姿勢情報について説明し、加速度センサから取得される位置情報は省略する。また、ここでは簡易的に、Ｚ軸を中心とした回転角度で変化量を示す。

【0081】

図１２（ａ）では、自動車３００に搭乗したユーザ６００がＨＭＤ１００を頭部に装着し、コントローラ２００を指６０１に装着している場面を表す図である。また、自動車３００は移動軌跡５５０に沿って移動した場合を想定している。この移動の間、ユーザは自動車の中でＨＭＤ１００とコントローラ２００との両方を動かした場合を想定している。コントローラ２００はユーザの操作により姿勢が（θ３）だけ変化している。自動車３５１の時点では、姿勢の変化分（θ４）だけ姿勢が変化している。この時点で、ユーザ６００の頭部に装着しているＨＭＤ１００では自己位置推定情報として、姿勢の変化（θ５）がＣＰＵ１０１で算出される。ユーザ６００の頭部に装着しているＨＭＤ１００では慣性情報５５１に示されるような姿勢の変化（θ４＋θ５）が慣性計測部１０８で検出される。また、ユーザの指６０１に装着しているコントローラ２００では、慣性情報５５２に示されるような姿勢の変化（θ３＋θ４）が慣性計測部２０６で検出される。

【0082】

ＨＭＤ１００のＣＰＵ１０１は、ＨＭＤ１００の慣性情報５５１（θ４＋θ５）から、ＨＭＤ１００の移動体の中での自己位置推定情報に基づく姿勢の変化（θ５）を差し引くことで、移動体の回転量（θ４）を算出する。ＨＭＤ１００のＣＰＵ１０１は、コントローラ２００の慣性情報５５２（θ３＋θ４）から移動体の回転量（θ４）を差し引くことで、ユーザ操作による回転量（θ３）を算出する。なお、ここでは一度、移動体の回転量（θ４）を算出してからユーザ操作による回転量（θ３）を算出するとした。しかし、ＨＭＤ１００の移動体の中での自己位置推定情報に基づく姿勢の変化（θ５）と慣性情報５５２（θ３＋θ４）とを足し合わせ、慣性情報５５１（θ４＋θ５）を差し引いて、ユーザ操作による回転量（θ３）を一度に算出してもよい。

【0083】

図８（ｂ）では、自動車３５１の時点でのＨＭＤ１００の表示部１０６に表示されている仮想空間４５０の画面を表す図である。ユーザ操作を行ったため、ユーザ操作によるコントローラの回転量（θ３）に基づいて、図４（ｂ）の表示画面から変化し、ポイ４５１は、コントローラの回転量（θ３）だけ回転した状態でＨＭＤ１００の表示部１０６に表示される。また、ＨＭＤ１００の表示部１０６に表示される背景映像は、ＨＭＤ１００の移動体の中での自己位置推定情報に基づく姿勢の変化（θ５）だけ回転した状態でＨＭＤ１００の表示部１０６に表示される。

【0084】

具体的に数値を当てはめると、自動車の向きの変化分（θ４＝９０°）の変化があり、ユーザはコントローラを回転量（θ３＝４５°）の分だけ動かしたとする。また、ユーザはＨＭＤ１００を移動体の中で（θ５＝４５°）の分だけ動かしたとする。すると、ＨＭＤ１００の慣性計測部１０８では、（θ４＋θ５＝１３５°）、コントローラ２００の慣性計測部２０６では、（θ３＋θ４＝１３５°）が検出される。ＨＭＤ１００のＣＰＵ１０１は、ＨＭＤ１００の慣性情報５５１（θ４＋θ５＝１３５°）から、ＨＭＤ１００の移動体の中での自己位置推定情報に基づく姿勢の変化（θ５＝４５°）を差し引くことで、移動体の回転量（θ４＝４５°）を算出する。ＨＭＤ１００のＣＰＵ１０１は、コントローラ２００の慣性情報５５２（θ３＋θ４＝１３５°）から移動体の回転量（θ４＝４５°）を差し引くことで、ユーザ操作による回転量（θ３＝４５°）を算出する。以上、前記説明した実施形態によって、ユーザが移動体に搭乗している場合であっても、ＨＭＤの自己位置推定情報と、コントローラの慣性情報と、ＨＭＤの慣性情報から正確にユーザの操作を検出することを可能にしたＨＭＤを提供することが可能である。

【0085】

（その他の実施形態）
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又は制御部やＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【0086】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

【0087】

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

【0088】

［構成１］
コントローラによって入力を受け付ける表示装置であって、
前記表示装置に仮想オブジェクトを表示する表示制御手段と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得手段と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する慣性センサと、を有し、
前記表示制御手段は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置。

【0089】

［構成２］
前記第三の変化量は、前記コントローラと前記表示装置との相対的な変化量である、
ことを特徴とする構成１に記載の表示装置。

【0090】

［構成３］
前記第三の変化量は、前記第一の変化量から前記第二の変化量を差し引いた変化量である、
ことを特徴とする構成１又は２に記載の表示装置。

【0091】

［構成４］
前記表示装置は、ユーザが乗っている移動体に固定されている、
ことを特徴とする構成１から３のいずれか１項に記載の表示装置。

【0092】

［構成５］
撮像画像を取得する撮像手段と、
前記撮像画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定手段と、
前記推定手段の推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得手段と、をさらに有し、
前記表示制御手段は、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする構成１に記載の表示装置。

【0093】

［構成６］
前記第三の変化量は、前記第一の変化量と前記第四の変化量とを足し合わせて、前記第二の変化量を差し引いて取得される変化量である、
ことを特徴とする構成５に記載の表示装置。

【0094】

［構成７］
前記第三の変化量は、前記第二の変化量から前記第四の変化量を差し引いた変化量を、前記第一の変化量から差し引いて取得される変化量である、
ことを特徴とする構成５に記載の表示装置。

【0095】

［構成８］
ユーザが移動体に乗って前記表示装置を使用する場合、
前記第三の変化量は、前記移動体と前記コントローラとの相対的な変化量である、
ことを特徴とする構成５から７のいずれか１項に記載の表示装置。

【0096】

［構成９］
前記表示装置は、前記ユーザの頭部に装着される装置である、
ことを特徴とする構成１から８のいずれか１項に記載の表示装置。

【0097】

［構成１０］
前記表示制御手段は、前記第四の変化量に基づいて、前記表示装置に背景画像を表示する、
ことを特徴とする構成５から７のいずれか１項に記載の表示装置。

【0098】

［構成１１］
コントローラによって入力を受け付ける情報処理装置であって、
表示装置に仮想オブジェクトを表示する表示制御手段と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得手段と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得手段と、を有し、
前記表示制御手段は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置。

【0099】

［構成１２］
前記第三の変化量は、前記コントローラと前記表示装置との相対的な変化量である、
ことを特徴とする構成１１に記載の情報処理装置。

【0100】

［構成１３］
前記第三の変化量は、前記第一の変化量から前記第二の変化量を差し引いた変化量である、
ことを特徴とする構成１１又は１２に記載の情報処理装置。

【0101】

［構成１４］
前記表示装置から画像を取得する画像取得手段と、
前記画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定手段と、
前記推定手段の推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得手段と、をさらに有し、
前記表示制御手段は、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする構成１１に記載の情報処理装置。

【0102】

［構成１５］
前記第三の変化量は、前記第一の変化量と前記第四の変化量とを足し合わせて、前記第二の変化量を差し引いて取得される変化量である、
ことを特徴とする構成１４に記載の情報処理装置。

【0103】

［構成１６］
前記第三の変化量は、前記第二の変化量から前記第四の変化量を差し引いた変化量を、前記第一の変化量から差し引いて取得される変化量である、
ことを特徴とする構成１４に記載の情報処理装置。

【0104】

［構成１７］
ユーザが移動体に乗って前記表示装置を使用する場合、
前記第三の変化量は、前記移動体と前記コントローラとの相対的な変化量である、
ことを特徴とする構成１４から１６のいずれか１項に記載の情報処理装置。

【0105】

［構成１８］
前記表示制御手段は、前記第四の変化量に基づいて、前記表示装置に背景画像を表示する、
ことを特徴とする構成１４から１７のいずれか１項に記載の情報処理装置。

【0106】

［システム］
コントローラによって入力を受け付ける表示装置のシステムであって、
前記表示装置に仮想オブジェクトを表示する表示制御装置と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得装置と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する慣性センサと、を有し、
前記表示制御装置は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置のシステム。

【0107】

［システム］
コントローラによって入力を受け付ける表示装置のシステムであって、
前記表示装置に仮想オブジェクトを表示する表示制御装置と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得装置と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する慣性センサと、
撮像画像を取得する撮像装置と、
前記撮像画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定装置と、
前記推定装置の推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得装置と、を有し、
前記表示制御装置は、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置のシステム。

【0108】

［プログラム］
コンピュータを構成１から１０のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。

【0109】

［制御方法］
コントローラによって入力を受け付ける表示装置の制御方法であって、
前記表示装置に仮想オブジェクトを表示する表示制御ステップと、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得ステップと、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する検出ステップと、
撮像画像を取得する撮像ステップと、
前記撮像画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定ステップと、
前記推定ステップの推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得ステップと、を有し、
前記表示制御ステップは、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置の制御方法。

【0110】

［制御方法］
コントローラによって入力を受け付ける表示装置の制御方法であって、
前記表示装置に仮想オブジェクトを表示する表示制御ステップと、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する取得ステップと、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を検出する検出ステップと、を有し、
前記表示制御ステップは、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする表示装置の制御方法。

【0111】

［システム］
コントローラによって入力を受け付ける情報処理装置のシステムであって、
表示装置に仮想オブジェクトを表示する表示制御装置と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得装置と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得装置と、を有し、
前記表示制御装置は、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置のシステム。

【0112】

［システム］
コントローラによって入力を受け付ける情報処理装置のシステムであって、
表示装置に仮想オブジェクトを表示する表示制御装置と、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得装置と、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得装置と、
前記表示装置から画像を取得する画像取得装置と、
前記画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定装置と、
前記推定装置の推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得装置と、を有し、
前記表示制御装置は、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置のシステム。

【0113】

［プログラム］
コンピュータを構成１１から１８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【0114】

［制御方法］
コントローラによって入力を受け付ける情報処理装置の制御方法であって、
表示装置に仮想オブジェクトを表示する表示制御ステップと、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得ステップと、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得ステップと、を有し、
前記表示制御ステップは、前記第一の変化量及び前記第二の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置の制御方法。

【0115】

［制御方法］
コントローラによって入力を受け付ける情報処理装置の制御方法であって、
表示装置に仮想オブジェクトを表示する表示制御ステップと、
前記コントローラの位置及び姿勢の少なくとも一方の変化量である第一の変化量を取得する第一の取得ステップと、
前記表示装置の位置及び姿勢の少なくとも一方の変化量である第二の変化量を取得する第二の取得ステップと、
前記表示装置から画像を取得する画像取得ステップと、
前記画像に基づいて、前記表示装置の位置及び姿勢の少なくとも一方を推定する推定ステップと、
前記推定ステップの推定結果に基づいて、前記表示装置の位置及び姿勢の少なくとも一方の変化量である第四の変化量を取得する第四の取得ステップと、を有し、
前記表示制御ステップは、前記第一の変化量、前記第二の変化量及び前記第四の変化量に基づく、位置及び姿勢の少なくとも一方の変化量である前記第三の変化量に基づいて、前記表示装置に前記仮想オブジェクトを表示する、
ことを特徴とする情報処理装置の制御方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】