特許 6250592 ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6250592

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20171211BHJP

   G06F 3/01 20060101ALI20171211BHJP

   G06T 19/00 20110101ALI20171211BHJP

【ＦＩ】

   G06F3/0484 150

   G06F3/01 510

   G06T19/00 300B

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2015-112591(P2015-112591)

(22)【出願日】2015年6月2日

(65)【公開番号】特開2016-224823(P2016-224823A)

(43)【公開日】2016年12月28日

【審査請求日】2016年6月2日

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】西舘 正臣

(72)【発明者】

【氏名】岡山 龍一

(72)【発明者】

【氏名】藍 圭介

【審査官】 星野 昌幸

(56)【参考文献】

【文献】 特開２０１３−０２９９５８（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１９４１３５（ＷＯ，Ａ１）

【文献】 特開平１１−１５３９８７（ＪＰ，Ａ）

【文献】 特開２０１４−１３７６４６（ＪＰ，Ａ）

【文献】 特開２００４−２４６７１２（ＪＰ，Ａ）

【文献】 特開２００２−１６３１０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

仮想３次元空間に配置された視点の位置から注視点の位置に向かって見た様子を表す画像を表示させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの回転、及び、前記ヘッドマウントディスプレイの移動を検出する検出部と、
前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する表示制御部と、を含み、
前記表示制御部は、前記検出部による回転の検出に応じて、前記注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御し、
前記表示制御部は、前記検出部による移動の検出に応じて、前記移動の向きに相対的に移動した前記視点の位置から前記移動の向きに前記視点と同じ距離だけ相対的に移動した前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する、
ことを特徴とするヘッドマウントディスプレイ。

【請求項2】

前記表示制御部は、前記検出部による回転の検出に応じて、前記注視点の位置及び前記注視点までの距離が維持されたまま検出された回転の向きに相対的に旋回した前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する、
ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。

【請求項3】

前記表示制御部は、制限操作を受けている期間は、前記検出部による回転の検出の有無に関わらず表示されている画像の変化を制限する、
ことを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。

【請求項4】

前記ヘッドマウントディスプレイは、仮想３次元空間に配置された視点からオブジェクトを見た様子を表す画像を表示させるヘッドマウントディスプレイであって、
前記オブジェクトは、移動後の前記視点と前記オブジェクトとの距離の変化に応じて変化する、
ことを特徴とする請求項１から３のいずれか一項に記載のヘッドマウントディスプレイ。

【請求項5】

前記表示制御部は、基準の相対位置から前記オブジェクトを見た様子が表示されるよう徐々に表示内容を変化させる、
ことを特徴とする請求項４に記載のヘッドマウントディスプレイ。

【請求項6】

前記オブジェクトの面には、選択肢が配置されており、
選択操作の受付に応じて、表示されている前記オブジェクトの面に配置されている選択肢に応じた処理を実行する処理実行部、をさらに含む、
ことを特徴とする請求項４又は５に記載のヘッドマウントディスプレイ。

【請求項7】

仮想３次元空間に配置された視点の位置から注視点の位置に向かって見た様子を表す画像を表示させる情報処理装置であって、
前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する表示制御部、を含み、
前記表示制御部は、ヘッドマウントディスプレイの回転、及び、前記ヘッドマウントディスプレイの移動を検出する検出部による回転の検出に応じて、前記注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御し、
前記表示制御部は、前記検出部による移動の検出に応じて、前記移動の向きに相対的に移動した前記視点の位置から前記移動の向きに前記視点と同じ距離だけ相対的に移動した前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する、
ことを特徴とする情報処理装置。

【請求項8】

仮想３次元空間に配置された視点の位置から注視点の位置に向かって見た様子を表す画像を表示させる表示制御方法であって、
ヘッドマウントディスプレイの回転、及び、前記ヘッドマウントディスプレイの移動を検出するステップと、
前記回転の検出に応じて、前記注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御するステップと、
前記検出するステップでの移動の検出に応じて、前記移動の向きに相対的に移動した前記視点の位置から前記移動の向きに前記視点と同じ距離だけ相対的に移動した前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御するステップと、
を含むことを特徴とする表示制御方法。

【請求項9】

仮想３次元空間に配置された視点の位置から注視点の位置に向かって見た様子を表す画像を表示させるコンピュータに、
ヘッドマウントディスプレイの回転、及び、前記ヘッドマウントディスプレイの移動を検出する手順、
前記回転の検出に応じて、前記注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点の位置から前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する手順、
前記検出する手順での移動の検出に応じて、前記移動の向きに相対的に移動した前記視点の位置から前記移動の向きに前記視点と同じ距離だけ相対的に移動した前記注視点の位置に向かって見た様子を表す画像が表示されるよう制御する手順、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラムに関する。

【背景技術】

【0002】

加速度センサ等を備え、姿勢を変化させることにより表示内容を変化させることができる携帯型のゲームシステムやゲーム装置が知られている（特許文献１〜４参照）。特許文献１、２に記載されている技術では、視点の基本座標を傾きセンサによって検出される傾き方向とは逆方向に回転させることで３次元のゲーム空間が、ゲーム装置等の傾き連動して傾けられるかのような感覚をプレイヤに与えることができる。

【0003】

また、ユーザが頭部に装着して、仮想３次元空間に配置された視点からオブジェクトを見た様子を表す画像を視覚等するためのヘッドマウントディスプレイ（ＨＭＤ）が知られている。このようなＨＭＤのなかには、ユーザの頭部の姿勢の変化に連動して仮想３次元空間に配置された視点の位置や視線方向が変化するものがある。例えば、ユーザが頭部を回転させずに動かすと、仮想３次元空間に配置された視点の視線方向は維持されたまま、頭部が動いた方向に視点の位置が移動する。また例えば、ユーザが頭部の位置を変えずに回転させると、仮想３次元空間に配置された視点の位置は維持されたまま、頭部が回転した向きに視線方向が回転する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−３３４３７９号公報

【特許文献2】特開２００３−３２５９７４号公報

【特許文献3】特開２００６−６８０２７号公報

【特許文献4】特開２００６−１１０３８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

仮想３次元空間内においてユーザから見て前方に配置されているように見えるオブジェクトを様々な角度から視覚するためには、従来のＨＭＤではユーザは当該オブジェクトの位置に相当する実空間内の位置を中心に頭部を様々な位置に旋回させる必要があった。例えば当該オブジェクトを反対側から視覚するためには、ユーザは当該オブジェクトの位置に相当する実空間内の位置の奥に回り込む必要があった。このように従来のＨＭＤでは、ユーザから見て前方に配置されているように見える、仮想３次元空間に配置されたオブジェクトをあらゆる角度から視覚する際のユーザの負担は小さいとはいえなかった。

【0006】

ここで特許文献１、２に記載の技術を、例えばＨＭＤを装着している状況などといった頭部の姿勢に関わらずユーザの眼前に表示部が配置される状況に適用することが考えられる。しかし当該技術は、上述のように、視点の基本座標を傾きセンサによって検出される傾き方向とは逆方向に回転させる。そのため、当該技術を頭部の姿勢に関わらずユーザの眼前に表示部が配置される状況に適用してもユーザには違和感があった。

【0007】

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、仮想３次元空間内においてユーザから見て前方に配置されているように見えるオブジェクトを様々な角度から視覚する際のユーザの負担を軽減することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明に係るヘッドマウントディスプレイは、仮想３次元空間に配置された視点からオブジェクトを見た様子を表す画像を表示させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの回転を検出する検出部と、前記検出部による回転の検出に応じて、注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点から前記オブジェクトを見た様子を表す画像が表示されるよう制御する表示制御部と、を含む。

【0009】

本発明の一態様では、前記表示制御部は、前記検出部による回転の検出に応じて、注視点の位置及び前記オブジェクトまでの距離が維持されたまま検出された回転の向きに相対的に旋回した前記視点から前記オブジェクトを見た様子を表す画像が表示されるよう制御する。

【0010】

また、本発明の一態様では、前記検出部は、前記ヘッドマウントディスプレイの移動も検出し、前記注視点の位置は、前記検出部による移動の検出に応じて相対的に移動する。

【0011】

この態様では、前記オブジェクトは、移動後の前記視点と前記オブジェクトとの距離の変化に応じて変化してもよい。

【0012】

また、本発明の一態様では、前記表示制御部は、基準の相対位置から前記オブジェクトを見た様子が表示されるよう徐々に表示内容を変化させる。

【0013】

また、本発明の一態様では、前記表示制御部は、制限操作を受けている期間は、前記検出部による回転の検出の有無に関わらず表示されている画像の変化を制限する。

【0014】

また、本発明の一態様では、前記オブジェクトの面には、選択肢が配置されており、選択操作の受付に応じて、表示されている前記オブジェクトの面に配置されている選択肢に応じた処理を実行する処理実行部、をさらに含む。

【0015】

また、本発明に係る情報処理装置は、仮想３次元空間に配置された視点からオブジェクトを見た様子を表す画像を表示させる情報処理装置であって、回転の検出に応じて、注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点から前記オブジェクトを見た様子を表す画像が表示されるよう制御する表示制御部、を含む。

【0016】

また、本発明に係る表示制御方法は、仮想３次元空間に配置された視点から当該仮想３次元空間に配置されたオブジェクトを見た様子を表す画像を表示させる表示制御方法であって、回転を検出するステップと、回転の検出に応じて、注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点から前記オブジェクトを見た様子を表す画像が表示されるよう制御するステップと、を含む。

【0017】

また、本発明に係るプログラムは、仮想３次元空間に配置された視点から当該仮想３次元空間に配置されたオブジェクトを見た様子を表す画像を表示させるコンピュータに、回転を検出する手順、回転の検出に応じて、注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した前記視点から前記オブジェクトを見た様子を表す画像が表示されるよう制御する手順、を実行させる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態の全体構成の一例を示す図である。

【図2】本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。

【図3】仮想３次元空間の一例を示す図である。

【図4】頭部の回転と表示内容の変化との関係の一例を示す図である。

【図5】仮想３次元空間の一例を示す図である。

【図6】頭部の移動の一例を示す図である。

【図7】仮想３次元空間の一例を示す図である。

【図8】頭部が移動する際の表示内容の変化の一例を示す図である。

【図9】本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。

【図10】本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示す図である。

【図11】頭部の移動の一例を示す図である。

【図12】仮想３次元空間の一例を示す図である。

【図13】仮想３次元空間の一例を示す図である。

【図14】頭部が移動する際の表示内容の変化の一例を示す図である。

【図15】視点とメニューオブジェクトとの間の距離に応じたメニューオブジェクトの変化、及び、視点が移動可能な範囲の制限の一例について説明する説明図である。

【図16】メニューオブジェクトの回転の一例を説明する説明図である。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態について、図面を参照しながら説明する。

【0020】

図１は、本発明の一実施形態の全体構成の一例を示す図である。図２は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１０の構成の一例を示す図である。図１に示すように、本実施形態では、ＨＭＤ１０は、コントローラ１２と通信可能になっている。そしてＨＭＤ１０のユーザは、コントローラ１２を操作することでＨＭＤ１０に対する各種の操作を行うことができるようになっている。

【0021】

図２に示すように、本実施形態に係るＨＭＤ１０には、例えば、制御部２０、記憶部２２、通信部２４、表示部２６、センサ部２８、が含まれる。

【0022】

制御部２０は、例えば記憶部２２に記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

【0023】

記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部２２には、制御部２０によって実行されるプログラムなどが記憶される。

【0024】

通信部２４は、例えば無線ＬＡＮポートなどといった通信インタフェースである。本実施形態に係る通信部２４は、例えばコントローラ１２から送信される操作信号を受信する。

【0025】

表示部２６は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、画像や映像などを表示させる。本実施形態では、図１に示すように、ＨＭＤ１０を装着するユーザの眼前に表示部２６が配置されている。なお本実施形態に係る表示部２６が、３次元映像を表示可能であってもよい。

【0026】

センサ部２８は、例えば加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、などのセンサであり、ＨＭＤ１０の姿勢、回転量、移動量などを計測する。

【0027】

本実施形態に係るセンサ部２８は、ＨＭＤ１０の姿勢、回転量、移動量などの計測結果を所定のフレームレート（例えば、１／６０秒間隔）で、制御部２０に出力する。そして制御部２０は、当該計測結果に基づいて、単位時間あたりのＨＭＤ１０の移動量及び回転量、すなわちＨＭＤ１０の速度及び角速度を特定する。このようにして本実施形態では、所定のフレームレートでＨＭＤ１０の移動量及び回転量を特定できるようになっている。そして本実施形態では、特定された移動量及び回転量に基づいて、仮想３次元空間内の視点３０の位置及び視線方向が以下に説明するように所定のフレームレートで変化する。

【0028】

本実施形態に係るＨＭＤ１０の表示部２６は、図３に例示する仮想３次元空間に配置された視点３０から、当該仮想３次元空間に配置されたオブジェクトを見た様子を表す画像を表示する。図３に例示する仮想３次元空間には、このようなオブジェクトの一例として、六面体であるメニューオブジェクト３２が配置されている。そして本実施形態に係るメニューオブジェクト３２の各面には、それぞれ「Ａ」〜「Ｆ」のうちのいずれかのアルファベットが示された選択肢３４が配置されている。ここでは例えば、メニューオブジェクト３２の前面には「Ａ」の選択肢３４が、上面には「Ｂ」の選択肢３４が、右側面には「Ｃ」の選択肢３４が配置されていることとする。また図３には明示されていないが、メニューオブジェクト３２の背面には「Ｄ」の選択肢３４が、下面には「Ｅ」の選択肢３４が、左側面には「Ｆ」の選択肢３４が配置されていることとする。

【0029】

そして本実施形態では例えば、初期状態では、図３に示すように、視線方向が「Ａ」の選択肢３４を向くよう視点３０が仮想３次元空間内の位置Ｐ１に配置される。そのため本実施形態では例えば、初期状態では、表示部２６には「Ａ」の選択肢３４が表示されることとなる。

【0030】

また本実施形態では例えば、初期状態では、図３に示すように、メニューオブジェクト３２の中心に注視点３６が設定される。そして初期状態では、視点３０の視線方向は注視点３６を通るようになっている。ここでは例えば注視点３６が位置Ｐ０に設定されていることとする。

【0031】

なお、図３に示す仮想３次元空間では、初期状態における視線方向をＸ軸正方向、初期状態における視点３０から見て右方向をＹ軸正方向、初期状態における視点３０から見て上方向をＺ軸正方向とする。

【0032】

そして本実施形態では、ＨＭＤ１０を装着したユーザが頭部を回転させることで、表示される選択肢３４を変更できるようになっている。また本実施形態では、ユーザによる選択操作に応じて、選択操作が行われた際に表示されている選択肢３４に応じた処理、例えば、表示されている選択肢３４に対応付けられるゲームプログラムの開始や設定画面の表示などが実行される。

【0033】

本実施形態では、ＨＭＤ１０を装着したユーザが頭部を回転させると、回転の向きに相対的に視点３０が旋回する。そして本実施形態では視点３０が旋回する際に注視点３６の位置及び視点３０からメニューオブジェクト３２までの距離が維持される。

【0034】

ここで視点３０が位置Ｐ１に配置されている際に、図４の（１）のＡ欄に示すようにユーザが下を向くように頭部を回転させたとする。この場合、図３に示すように視線方向が下を向くように視点３０が経路Ｒ１に沿って位置Ｐ２まで旋回する。ここでは例えば、視点３０は、ＸＺ平面上を、図３における右から見て、すなわちＹ軸負方向に沿って見て時計回りに９０度旋回することとなる。すると図４の（１）のＢ欄に示すように、表示部２６に表示される選択肢３４が「Ａ」から「Ｂ」に変化する。

【0035】

また視点３０が位置Ｐ１に配置されている際に、図４の（２）のＡ欄に示すようにユーザが左を向くように頭部を回転させたとする。この場合、図３に示すように視線方向が左を向くように視点３０が経路Ｒ２に沿って位置Ｐ３まで旋回する。ここでは例えば、視点３０は、ＸＹ平面上を、図３における上から見て、すなわちＺ軸負方向に沿って見て反時計回りに９０度旋回することとなる。すると図４の（２）のＢ欄に示すように、表示部２６に表示される選択肢３４が「Ａ」から「Ｃ」に変化する。

【0036】

また視点３０が位置Ｐ１に配置されている際に、図４の（３）のＡ欄に示すようにユーザが上から見て反時計回りにユーザが後ろを向くように頭部を回転させたとする。この場合、図３に示すように視線方向が後ろを向くように視点３０が経路Ｒ２及び経路Ｒ３に沿って位置Ｐ４まで旋回する。ここでは例えば、視点３０は、ＸＹ平面上を、図３における上から見て、すなわちＺ軸負方向に沿って見て反時計回りに１８０度旋回することとなる。すると図４の（３）のＢ欄に示すように、表示部２６に表示される選択肢３４が「Ａ」から「Ｄ」に変化する。

【0037】

また視点３０が位置Ｐ１に配置されている際に、図４の（４）のＡ欄に示すようにユーザが上を向くように頭部を回転させたとする。この場合、図３に示すように視線方向が上を向くように視点３０が経路Ｒ４に沿って位置Ｐ５まで旋回する。ここでは例えば、視点３０は、ＸＺ平面上を、図３における右から見て、すなわちＹ軸負方向に沿って見て反時計回りに９０度旋回することとなる。すると図４の（４）のＢ欄に示すように、表示部２６に表示される選択肢３４が「Ａ」から「Ｅ」に変化する。

【0038】

また視点３０が位置Ｐ１に配置されている際に、図４の（５）のＡ欄に示すようにユーザが右を向くように頭部を回転させたとする。この場合、図３に示すように視線方向が右を向くように視点３０が経路Ｒ５に沿って位置Ｐ６まで旋回する。ここでは例えば、視点３０は、ＸＹ平面上を、図３における上から見て、すなわちＺ軸負方向に沿って見て時計回りに９０度旋回することとなる。すると図４の（５）のＢ欄に示すように、表示部２６に表示される選択肢３４が「Ａ」から「Ｆ」に変化する。

【0039】

また視点３０が位置Ｐ１に配置されている際に、図４の（６）のＡ欄に示すようにユーザが上から見て時計回りにユーザが後ろを向くように頭部を回転させたとする。この場合、図３に示すように視線方向が後ろを向くように視点３０が経路Ｒ５及び経路Ｒ６に沿って位置Ｐ４まで旋回する。ここでは例えば、視点３０は、ＸＹ平面上を、図３における上から見て、すなわちＺ軸負方向に沿って見て時計回りに１８０度旋回することとなる。すると図４の（６）のＢ欄に示すように、表示部２６に表示される選択肢３４が「Ａ」から「Ｄ」に変化することとなる。

【0040】

以上のように本実施形態では、ＨＮＤ１０を装着したユーザの頭部の回転に応じて注視点３６の位置が維持されたままユーザの頭部の回転の向きに相対的に視点が旋回する。そのため、ユーザから見て前方に配置されているように見える仮想３次元空間内に配置されたオブジェクトをユーザはあらゆる角度から無理なく視覚することができる。このようにして本実施形態によれば、ユーザから見て前方に配置されているように見える仮想３次元空間内に配置されたオブジェクトを視覚する際のユーザの負担が軽減されることとなる。

【0041】

また本実施形態に係るＨＭＤ１０は、ユーザの頭部の姿勢の変化に連動して仮想３次元空間に配置された視点の位置や視線方向が変化する従来のバーチャルリアリティ（ＶＲ）技術に係るＨＭＤとは明らかに動作が異なる。そうであるにも関わらず、メニューオブジェクト３２の位置に対応する実空間内における位置を中心に頭部を旋回させた際の本実施形態に係るＨＭＤ１０における表示の変化は、従来のＶＲ技術に係るＨＭＤと同様となる。そのため従来のＶＲ技術に係るＨＭＤに慣れているユーザであっても本実施形態に係るＨＭＤ１０を違和感なく使用できることとなる。

【0042】

また本実施形態では、視点３０が旋回する際に、注視点３６の位置だけではなく、視点３０からメニューオブジェクト３２までの距離も維持される。そのため、視点３０からメニューオブジェクト３２までの距離が維持されない場合よりも、ユーザはメニューオブジェクト３２をより無理なく視覚できることとなる。

【0043】

なお、図５に示すように、ユーザの頭部の回転に応じて、ユーザの頭部の回転の向きに視点３０が旋回する代わりに、メニューオブジェクト３２が回転するようにしてもよい。またこの場合に、視点３０及びメニューオブジェクト３２の位置が維持されてもよい。この場合も、注視点の位置が維持されたまま、相対的には、視点３０がユーザの頭部の回転の向きに旋回することとなる。要はメニューオブジェクト３２の回転が表示されればよく、その際に視点３０が旋回してもメニューオブジェクト３２が回転しても表示としては等価である。

【0044】

また、以上の説明では、ユーザの頭部が回転した角度と、視点３０が旋回する角度は一致しているが、ユーザの頭部が回転した角度と、視点３０が旋回する角度が一致しなくてもよい。例えば、ユーザの頭部が回転した角度の２倍の角度だけ、視点３０が旋回するようにしてもよい。

【0045】

また本実施形態では、ＨＭＤ１０を装着したユーザが頭部を左右に移動させると、頭部の移動の向きに相対的に視点３０及び注視点３６が移動する。なお視点３０及び注視点３６が移動する距離は、ユーザの頭部が移動する距離に比例するようにしてもよい。また本実施形態では、注視点３６は視点３０と同じ向きに同じ距離だけ移動する。ここでは例えば、図６に示すように、ユーザの頭部が実空間内における位置Ｐ７に配置されていることとする。そしてユーザの頭部が位置Ｐ７に配置されている際には、図７に示すように、視点３０は位置Ｐ３に配置されていることとする。また視点３０の視線方向は位置Ｐ０に設定されている注視点３６を向いていることとする。そして表示部２６には、図８の中央に示されているように、「Ｃ」の選択肢３４が表示されていることとする。

【0046】

図６に示すようにユーザの頭部が位置Ｐ７に配置されている際に、例えば、ユーザの頭部が経路Ｒ７に沿って位置Ｐ７から位置Ｐ８まで左に移動したとする。この場合、図７に示すように、視点３０は、経路Ｒ９に沿って位置Ｐ３から位置Ｐ１０まで左に移動する。そして注視点３６は、経路Ｒ１０に沿って位置Ｐ０から位置Ｐ１１まで左に移動する。すると図８の左側に示すように、表示部２６に表示されるメニューオブジェクト３２が右に移動する。

【0047】

また図６に示すようにユーザの頭部が位置Ｐ７に配置されている際に、例えば、ユーザの頭部が経路Ｒ８に沿って位置Ｐ７から位置Ｐ９まで右に移動したとする。この場合、図７に示すように、視点３０は、経路Ｒ１１に沿って位置Ｐ３から位置Ｐ１２まで右に移動する。そして注視点３６は、経路Ｒ１２に沿って位置Ｐ０から位置Ｐ１３まで右に移動する。すると図８の右側に示すように、表示部２６に表示されるメニューオブジェクト３２が左に移動する。

【0048】

以上のようにして本実施形態では、ユーザが頭部を左右に動かすことで、視点３０の位置を相対的に左右に移動させることができる。また同様にして、ユーザが頭部を前後又は上下に動かした際に、視点３０の位置が相対的に前後又は上下に移動するようにしてもよい。また、視点３０や注視点３６の位置を移動させる代わりに、メニューオブジェクト３２の位置を移動させるようにしてもよい。

【0049】

なお本実施形態に係るＨＭＤ１０が、ユーザが頭部を上下左右に動かした際に、その後に頭部を回転させるまでは、移動量に応じてメニューオブジェクト３２の別の面が表示される上下左右移動モードとなるようにしてもよい。上下左右移動モードでは例えば所定の移動量より大きい上又は下への頭部の移動が行われる度に、表示されているメニューオブジェクト３２の面が上又は下の隣の面に変化するようにしてもよい。また例えば所定の移動量より大きい左又は右への頭部の移動が行われる度に、表示されているメニューオブジェクト３２の面が左又は右の隣の面に変化するようにしてもよい。そしてその後ユーザが頭部を回転させた際に、頭部の回転に応じて注視点３６の位置が維持されたままユーザの頭部の回転の向きに相対的に視点が旋回する回転モードにＨＭＤ１０が移行するようにしてもよい。

【0050】

以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。

【0051】

図９は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図９に示す機能のすべてが実装される必要はなく、また、図１３に示す機能以外の機能が実装されていても構わない。

【0052】

図９に示すように、本実施形態に係るＨＭＤ１０は、機能的には例えば、視点データ記憶部４０、検出部４２、視点制御部４４、操作受付部４６、表示制御部４８、処理実行部５０、を含む。視点データ記憶部４０は、記憶部２２を主として実装される。検出部４２は、制御部２０及びセンサ部２８を主として実装される。視点制御部４４、処理実行部５０は、制御部２０を主として実装される。操作受付部４６は、通信部２４を主として実装される。表示制御部４８は、制御部２０及び表示部２６を主として実装される。

【0053】

そして以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムを制御部２０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給される。

【0054】

視点データ記憶部４０は、視点３０の位置及び視線方向を示すデータを記憶する。本実施形態では例えば、視点データ記憶部４０には、仮想３次元空間内における注視点３６の位置の座標値を示す注視点位置データと、注視点３６の位置を始点として視点３０の位置を終点とするベクトルを示す視点ベクトルデータとが記憶されていることとする。このように注視点３６の位置と注視点３６の位置を始点として視点３０の位置を終点とするベクトルとによって視点３０の位置及び視線方向が管理されていても構わない。

【0055】

検出部４２は、本実施形態では例えば、ＨＭＤ１０の回転を検出する。また検出部４２は、本実施形態では、ＨＭＤ１０の移動も検出する。検出部４２は、本実施形態では例えば、センサ部２８が出力する計測結果に基づいて、所定のフレームレートでＨＭＤ１０の移動量及び回転量を検出する。ここでは例えば加速度センサの計測結果に基づいて移動量が特定され、ジャイロセンサの計測結果に基づいて回転量が特定される。

【0056】

視点制御部４４は、本実施形態では例えば、検出部４２が検出した移動量及び回転量に基づいて、視点３０の位置及び視線方向が変化するよう制御する。視点制御部４４は、例えば、図３〜図５を参照して説明したように、ＨＭＤ１０の回転の検出に応じて、注視点３６の位置が維持されたまま、検出された回転の向きに視点３０を相対的に旋回させる。なおここで、視点制御部４４は、注視点３６の位置及び視点３０とオブジェクトとの距離が維持されたまま、視点３０を旋回させてもよい。また視点制御部４４が、図６〜図８を参照して説明したように、ＨＭＤ１０の移動の検出に応じて、視点３０が相対的に移動するよう制御してもよい。視点制御部４４は、具体的には例えば、検出部４２が検出した移動量及び回転量に基づいて、視点データ記憶部４０に記憶されている注視点位置データが示す座標値及び視点ベクトルデータが示すベクトルを更新する。

【0057】

操作受付部４６は、本実施形態では例えば、コントローラ１２に対するユーザの操作に応じて、当該操作に対応付けられる操作信号をコントローラ１２から受け付ける。

【0058】

表示制御部４８は、本実施形態では例えば、検出部４２による回転の検出に応じて、注視点３６の位置が維持されたまま検出された回転の向きに相対的に旋回した視点３０からオブジェクトを見た様子を表す画像が表示部２６に表示されるよう制御する。本実施形態では例えば、視点制御部４４によって位置や視線方向が制御された視点３０からメニューオブジェクト３２を見た様子を表す画像が表示部２６に表示されることとなる。

【0059】

処理実行部５０は、本実施形態では例えば、上述したように、選択操作の受付に応じて、表示部２６に表示されているオブジェクトの面に配置されている選択肢に応じた処理を実行する。

【0060】

ここで、本実施形態に係るＨＭＤ１０において所定のフレームレートで行われる表示制御処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。図１０に示す処理例では、仮想３次元空間にメニューオブジェクト３２が配置されていることとする。

【0061】

まず、検出部４２が、直前のフレームから当該フレームまでの期間におけるＨＭＤ１０の移動量及び回転量を特定する（Ｓ１０１）。

【0062】

そして、視点制御部４４が、Ｓ１０１に示す処理で特定された移動量及び回転量に基づいて、当該フレームにおける視点３０及び注視点３６の位置を決定する（Ｓ１０２）。

【0063】

Ｓ１０２に示す処理では例えば、視点データ記憶部４０に記憶されている注視点位置データが示す座標値及び視点ベクトルデータが示すベクトルが更新される。具体的には例えば、視点データ記憶部４０に記憶されている注視点位置データが示す座標値は、Ｓ１０１に示す処理で特定された移動量の値に所定の係数を乗じた値を当該座標値に加算した値に更新される。また、視点データ記憶部４０に記憶されている視点ベクトルデータが示すベクトルは、始点を中心に当該ベクトルをＳ１０１に示す処理で特定された回転量に応じて回転させた向きのベクトルに更新される。ここで視点ベクトルデータが示すベクトルが回転する角度が、例えば、Ｓ１０１に示す処理で特定された回転量が表す角度の所定倍の角度であってもよい。

【0064】

そして、表示制御部４８が、Ｓ１０２に示す処理で決定された視点３０の位置からＳ１０２に示す処理で決定された注視点３６の位置に向かって見た様子を表す画像を表示部２６に表示させる（Ｓ１０３）。本処理例では、当該フレームにおける注視点３６の位置の座標値は、Ｓ１０２に示す処理による更新後の注視点位置データが示す座標値に相当する。また当該フレームにおける視点３０の位置の座標値は、Ｓ１０２に示す処理による更新後の注視点位置データが示す位置をＳ１０２に示す処理で更新された後の視点ベクトルデータが示すベクトルだけ移動させた位置の座標値に相当する。

【0065】

そして本処理例では、上述したように、Ｓ１０１〜Ｓ１０３に示す処理が所定のフレームレートで繰り返し実行されることとなる。このようにして本実施形態では、頭部の回転や移動に追従して、表示部２６に表示される画像が所定のフレームレートで更新されることとなる。

【0066】

なお本実施形態において、視点３０が前後に移動した際には、仮想３次元空間に配置されたオブジェクトが、移動後の視点３０と仮想３次元空間に配置されたオブジェクトとの間の距離の変化に応じて変化してもよい。以下、視点３０と仮想３次元空間に配置されたオブジェクトとの間の距離の変化に応じた当該オブジェクトの変化について説明する。

【0067】

ここでは例えば、図１１に示すように、ユーザの頭部が実空間内における位置Ｐ１４に配置されていることとする。そしてユーザの頭部が位置Ｐ１４に配置されている際には、図１２及び図１３に示すように、視点３０は位置Ｐ３に配置されていることとする。また視点３０の視線方向は位置Ｐ０に設定されている注視点３６を向いていることとする。そして表示部２６には、図１４の中央に示されているように、「Ｃ」の選択肢３４が表示されていることとする。

【0068】

図１１に示すようにユーザの頭部が位置Ｐ１４に配置されている際に、例えば、ユーザの頭部が経路Ｒ１３に沿って位置Ｐ１４から位置Ｐ１５まで前に移動したとする。この場合、図１２に示すように、視点３０は、経路Ｒ１５に沿って位置Ｐ３から位置Ｐ１７まで前に移動する。そして仮想３次元空間に配置されているメニューオブジェクト３２は、図１２に示すメニューオブジェクト６０に変化する。すると図１４の上側に示すように、表示部２６にメニューオブジェクト６０が表示されることとなる。

【0069】

図１２に示すメニューオブジェクト６０は、メニューオブジェクト３２と同様に六面体であり、各面には４つずつ選択肢６２が配置されている。またメニューオブジェクト６０の面は、メニューオブジェクト３２のいずれかの面と対応付けられている。そして互いに対応付けられているメニューオブジェクト６０の面とメニューオブジェクト３２の面とは同じ向きを向いている。例えば、「Ａ１」〜「Ａ４」の選択肢６２が配置されているメニューオブジェクト６０の面は、「Ａ」の選択肢３４が配置されているメニューオブジェクト３２の面に対応付けられる。そして「Ａ１」〜「Ａ４」の選択肢６２が配置されているメニューオブジェクト６０の面と、「Ａ」の選択肢３４が配置されているメニューオブジェクト３２の面とは、同じ向きを向いている。また本実施形態では、メニューオブジェクト６０に配置されている選択肢６２は例えば、メニューオブジェクト３２における対応する面の選択肢３４のサブカテゴリとなっている。そして、表示されている選択肢６２のいずれかを選択する操作に応じて、選択された選択肢６２に応じた処理が実行されることとなる。

【0070】

また図１１に示すようにユーザの頭部が位置Ｐ１４に配置されている際に、例えば、ユーザの頭部が経路Ｒ１４に沿って位置Ｐ１４から位置Ｐ１６まで後ろに移動したとする。この場合、図１３に示すように、視点３０は、経路Ｒ１６に沿って位置Ｐ３から位置Ｐ１８まで後ろに移動する。そして仮想３次元空間に配置されているメニューオブジェクト３２は、図１３に示す３つのメニューオブジェクト６４に変化する。すると図１４の下側に示すように、表示部２６にメニューオブジェクト６４が表示されることとなる。このように仮想３次元空間に配置されているオブジェクトの数が、移動後の視点３０と仮想３次元空間に配置されたオブジェクトとの間の距離の変化に応じて変化してもよい。

【0071】

図１３に示す３つのメニューオブジェクト６４は、いずれも六面体である。そしてメニューオブジェクト６４の各面には選択肢６６が配置されている。そして本実施形態では、メニューオブジェクト６４の面に配置されている選択肢６６は例えば、メニューオブジェクト３２における対応する面に配置されている選択肢３４の上位カテゴリとなっている。そして、表示されているメニューオブジェクト６４のいずれかを選択する操作に応じて、選択されたメニューオブジェクト６４に配置されている選択肢６６に応じた処理が実行されることとなる。

【0072】

以上のようにすると、ユーザが頭部を前後に動かすことで、表示されるオブジェクトや選択可能な選択肢を変化させることが可能となる。

【0073】

また視点３０が移動可能な範囲が制限されても構わない。具体的には例えば、視点３０とメニューオブジェクト３２との間の距離が所定の範囲に制限されても構わない。

【0074】

以下、視点３０とメニューオブジェクト３２との間の距離に応じたメニューオブジェクト３２の変化、及び、視点３０が移動可能な範囲の制限の一例について、図１５を参照しながらさらに説明する。

【0075】

以下の説明では、初期状態における視点３０とメニューオブジェクト３２との距離がｄ０であることとする。なお本実施形態では、視点３０とメニューオブジェクト３２との間の距離とは、視点３０の位置とメニューオブジェクト３２の代表点の位置との間の距離、例えば、視点３０の位置とメニューオブジェクト３２の中心の位置との間の距離を指すこととする。

【0076】

ここで例えば、視点３０が移動可能な範囲が、視点３０とメニューオブジェクト３２との間の距離がｄｍｉｎ以上ｄｍａｘ以下である図１５に例示する視点移動可能範囲に制限されてもよい（ここでｄｍｉｎ＜ｄ０＜ｄｍａｘ）。すなわち視点３０とメニューオブジェクト３２との間の距離がｄｍｉｎよりも短くならないよう、またｄｍａｘよりも長くならないよう制御されても構わない。

【0077】

また図１５に示すように、本実施形態では、メニューオブジェクト３２がメニューオブジェクト６０やメニューオブジェクト６４に変化する距離の範囲が設定されていてもよい。図１５の例では、視点３０とメニューオブジェクト３２との距離がｄｍｉｎ以上ｄ１以下である場合に、メニューオブジェクト３２はメニューオブジェクト６０に変化して、メニューオブジェクト６０が表示される（ここでｄｍｉｎ＜ｄ１＜ｄ０）。また、視点３０とメニューオブジェクト３２との距離がｄ２以上ｄｍａｘ以下である場合に、メニューオブジェクト３２はメニューオブジェクト６４に変化して、メニューオブジェクト６４が表示される（ここでｄ０＜ｄ２＜ｄｍａｘ）。また、視点３０とメニューオブジェクト３２との距離がｄ１よりも長くｄ２よりも短い場合に、メニューオブジェクト３２が表示される。

【0078】

なお本実施形態において、ＨＭＤ１０が初期状態の姿勢となった際に、視点３０の位置及び視線方向が初期状態となり、メニューオブジェクト３２が表示されるようにしてもよい。

【0079】

また、仮想３次元空間に配置されているオブジェクトを基準の相対位置、例えば、初期状態における相対位置から見た様子が表示されるよう徐々に表示内容を変化させてもよい。例えば、視点３０が旋回した際に、視点３０の旋回に追従して「Ａ」の選択肢３４が見えるようになる向きにメニューオブジェクト３２が徐々に回転するようにしてもよい。

【0080】

ここで図１６を参照しながら、メニューオブジェクト３２が徐々に回転する処理の一例について説明する。図１６は、図３に示す仮想３次元空間を上から見た、すなわちＺ軸負方向に沿って見た様子を示す図である。図１６に示す例では視点３０の位置座標の移動平均に基づいてメニューオブジェクト３２の向きが決定される。ここでは例えば、図１６に示すように、あるフレームにおいて特定された視点３０の位置がＰａ（ｘ１，ｙ１，ｚ１）であることとする。そして当該フレームの直前のフレームにおいて特定された視点３０の位置がＰｂ（ｘ２，ｙ２，ｚ２）であることとする。同様に、当該フレームの２つ前のフレーム、３つ前のフレーム、４つ前のフレームにおいて特定された視点３０の位置がそれぞれＰｃ（ｘ３，ｙ３，ｚ３）、Ｐｄ（ｘ４，ｙ４，ｚ４）、Ｐｅ（ｘ５，ｙ５，ｚ５）であることとする。そして、位置Ｐａ、位置Ｐｂ、位置Ｐｃ、位置Ｐｄ、及び、位置Ｐｅの座標の平均が、メニューオブジェクト３２の向きの基準となる位置Ｐｆの座標として特定される。ここでは例えば、位置Ｐｆ（（ｘ１＋ｘ２＋ｘ３＋ｘ４＋ｘ５）／５，（ｙ１＋ｙ２＋ｙ３＋ｙ４＋ｙ５）／５，（ｚ１＋ｚ２＋ｚ３＋ｚ４＋ｚ５）／５）が特定される。そして例えば、メニューオブジェクト３２の基準となる面である「Ａ」の選択肢３４が配置されている面が位置Ｐｆとメニューオブジェクト３２の中心の位置でもある注視点３６の位置Ｐ０とを結ぶ線分に対して垂直になるようメニューオブジェクト３２が回転する。

【0081】

このようにすれば、ユーザがＨＭＤ１０を回転させることで、メニューオブジェクト３２を回転させることができることとなる。また同様にして、ＨＭＤ１０の移動に応じてメニューオブジェクト３２が移動するようにしてもよい。

【0082】

なお、メニューオブジェクト３２が徐々に回転する処理は上述のものに限定されない。例えば、視点３０の位置座標の移動平均に基づいてメニューオブジェクト３２の向きが決定される必要はない。また例えば、注視点３６の位置Ｐ０を中心とする円周上の位置が位置Ｐｆとして特定されてもよい。

【0083】

また例えば所定のボタンを押下する操作などといった制限操作をユーザが行っている期間は、ＨＭＤ１０が回転しても移動しても表示される画像が変化しないようにしてもよい。こうすれば、ユーザは表示内容を変化させずに頭部を回転させたり移動させたりすることができることとなる。そのため例えばユーザは、無理な体勢となっている場合に、表示内容を変化させずに自然な体勢に戻すことができることとなる。

【0084】

また例えば、所定のボタンを押下する操作などといったリセット操作をユーザが行った際に、上述の初期状態などといった、基準の相対位置からオブジェクトを見た様子が表示される状態に表示内容が変化するようにしてもよい。

【0085】

なお図９に示す視点制御部４４が、図１１〜図１５を参照して説明したメニューオブジェクトの変化や図１５を参照して説明したメニューオブジェクトの回転を実行するようにしてもよい。また視点制御部４４が、図１５を参照して説明したように、視点３０とオブジェクトとの間の距離が所定の視点移動可能範囲に制限されるよう制御してもよい。

【0086】

また表示制御部４８が、制限操作を受けている期間は、検出部４２による回転の検出の有無に関わらず表示部２６に表示されている画像の変化を制限するようにしてもよい。

【0087】

なお以上の内容は、表示部２６に２次元画像が表示される場合にも３次元画像が表示される場合にも適用可能である。３次元画像が表示される場合には、左目用画像に対応付けられる視点３０と右目用画像に対応付けられる視点３０のそれぞれについて、上述の処理が実行されることとなる。

【0088】

なお、本発明は上述の実施形態に限定されるものではない。

【0089】

例えば本発明をＨＭＤ１０以外の装置に適用してもよい。例えば、ユーザの眼前にディスプレイが配置されるようユーザに把持される携帯型のゲーム装置等のコンピュータに本発明を適用してもよい。またユーザが装着する筐体にはめ込まれることでディスプレイがユーザの眼前に配置されることとなる携帯型のコンピュータに本発明を適用してもよい。また例えば、エンタテインメント装置などといったＨＭＤ１０と通信可能な情報処理装置が以上で説明した制御を行ってもよい。例えば、ＨＭＤ１０と通信可能な情報処理装置が、ＨＭＤ１０の回転の検出に応じて、注視点の位置が維持されたまま検出された回転の向きに相対的に旋回した視点からオブジェクトを見た様子を表す画像が表示部２６に表示されるよう制御してもよい。

【符号の説明】

【0090】

１０ ヘッドマウントディスプレイ（ＨＭＤ）、１２ コントローラ、２０ 制御部、２２ 記憶部、２４ 通信部、２６ 表示部、２８ センサ部、３０ 視点、３２ メニューオブジェクト、３４ 選択肢、３６ 注視点、４０ 視点データ記憶部、４２ 検出部、４４ 視点制御部、４６ 操作受付部、４８ 表示制御部、５０ 処理実行部、６０ メニューオブジェクト、６２ 選択肢、６４ メニューオブジェクト、６６ 選択肢。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】