特許 7462591 表示制御装置及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-28

(45)【発行日】2024-04-05

(54)【発明の名称】表示制御装置及び表示制御方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240329BHJP

   G06F 3/01 20060101ALI20240329BHJP

   G06F 3/04815 20220101ALI20240329BHJP

   G09G 5/36 20060101ALI20240329BHJP

   G09G 5/37 20060101ALI20240329BHJP

   H04N 5/64 20060101ALI20240329BHJP

【ＦＩ】

G09G5/00 510V

G09G5/00 510G

G09G5/00 550C

G06F3/01 510

G06F3/04815

G09G5/36 500

G09G5/37 600

H04N5/64 511A

【請求項の数】 6

(21)【出願番号】P 2021088448

(22)【出願日】2021-05-26

(62)【分割の表示】P 2020055471の分割

【原出願日】2015-12-02

(65)【公開番号】P2021152665

(43)【公開日】2021-09-30

【審査請求日】2021-05-26

【審判番号】

【審判請求日】2022-10-28

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】掛 智一

(72)【発明者】

【氏名】石田 隆行

(72)【発明者】

【氏名】鈴木 章

(72)【発明者】

【氏名】亘理 靖展

【合議体】

【審判長】中塚 直樹

【審判官】田辺 正樹

【審判官】濱本 禎広

(56)【参考文献】

【文献】特開２００２－１７０１３２（ＪＰ，Ａ）

【文献】特開２００７－２９９３２６（ＪＰ，Ａ）

【文献】特開２００５－１７４０２１（ＪＰ，Ａ）

【文献】特開２０１５－１８７７９７（ＪＰ，Ａ）

【文献】特開２００７－３１２９３０（ＪＰ，Ａ）

【文献】特開２００２－２６３３７１（ＪＰ，Ａ）

【文献】“佐藤カフジのＶＲ ＧＡＭＩＮＧ ＴＯＤＡＹ！ 連載第１３回 「Ｐｌａｙｓｔａｔｉｏｎ ＶＲ」、ＴＧＳ ２０１５出展タイトルを試した！貴重な機会。ゲームファンが一般日にプレイするべきタイトルは？！”，［ｏｎｌｉｎｅ］，平成２７年９月１８日，ＧＡＭＥ Ｗａｔｃｈ，［令和５年８月１８日検索］，インターネット ＜ＵＲＬ：ｈｔｔｐｓ：／／ｇａｍｅ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｄｏｃｓ／ｓｅｒｉｅｓ／ｖｒｇａｍｉｎｇ／７２１８４３．ｈｔｍｌ＞

【文献】“ＰｌａｙＳｔａｔｉｏｎ．Ｂｌｏｇ ＰｌａｙＳｔａｔｉｏｎ「Ｒ」ＶＲでゲームの世界に飛び込もう！”，［ｏｎｌｉｎｅ］，平成２７年１１月２４日，Ｓｏｎｙ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｉｎｃ．，［令和５年８月１８日検索］，インターネット ＜ＵＲＬ：ｈｔｔｐｓ：／／ｂｌｏｇ．ｊａ．ｐｌａｙｓｔａｔｉｏｎ．ｃｏｍ／２０１５／１１／２４／２０１５１１２４－ｐｓｖｒ／＞

【文献】“ソニーの没入型ＶＲヘッドセットシステムの正式名が「ＰｌａｙＳｔａｔｉｏｎ ＶＲ」に決定”，［ｏｎｌｉｎｅ］，平成２７年９月１８日，ＰＲＯＮＥＷＳ，［令和５年８月１８日検索］，インターネット ＜ＵＲＬ： ｈｔｔｐｓ：／／ｊｐ．ｐｒｏｎｅｗｓ．ｃｏｍ／ｎｅｗｓ／２０１５０９１８１８２５３３７２７．ｈｔｍｌ＃：～：ｔｅｘｔ＝％Ｅ３％８２％ＢＤ％Ｅ３％８３％８Ｂ％Ｅ３％８３％ＢＣ％Ｅ３％８３％ＢＢ％Ｅ３％８２％Ｂ３％Ｅ３％８３％Ｂ３％Ｅ３％８３％９４％Ｅ３％８３％Ａ５％Ｅ３％８３％ＢＣ％Ｅ３％８２％ＢＦ％Ｅ３％８２％Ａ８％Ｅ３％８３％Ｂ３％Ｅ３％８２％ＢＦ％Ｅ３％８３％８６％Ｅ３％８２％Ａ４％Ｅ３％８３％Ｂ３％Ｅ３％８３％Ａ１％Ｅ３％８３％Ｂ３％Ｅ３％８３％８８％ＥＦ％ＢＣ％８８ＳＣＥ％ＥＦ％ＢＣ％８９，％Ｅ３％８１％８２％Ｅ３％８２％８Ｂ％Ｅ４％Ｂ８％９６％Ｅ７％９５％８Ｃ％Ｅ３％８２％９２％Ｅ４％ＢＤ％９３％Ｅ９％Ａ８％９３％Ｅ３％８１％Ａ７％Ｅ３％８１％８Ｄ％Ｅ３％８２％８Ｂ％Ｅ３％８０％８２＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G09G3/00-5/42

H04N5/64

G06F3/01, 3/048-3/04895

(57)【特許請求の範囲】

【請求項1】

プレイヤーズキャラクタの視点位置及び視線方向を設定して仮想三次元空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備え、
前記表示制御部は、前記仮想三次元空間内に離散的に設定された複数の位置のうち、前記ヘッドマウントディスプレイに表示されている前記仮想三次元空間内の位置の中からユーザの入力装置に対する操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御装置。

【請求項2】

前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ視点位置の画像を表示させることを特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に異なる視点位置の画像を表示させることを特徴とする請求項１に記載の表示制御装置。

【請求項4】

複数の前記視点位置は、前記仮想三次元空間内に静的に設定されていることを特徴とする請求項１から３のいずれかに記載の表示制御装置。

【請求項5】

表示制御部が、プレイヤーズキャラクタの視点位置及び視線方向を設定して仮想三次元空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップを備え、
前記表示制御部は、前記仮想三次元空間内に離散的に設定された複数の位置のうち、前記ヘッドマウントディスプレイに表示されている前記仮想三次元空間内の位置の中からユーザの入力装置に対する操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御方法。

【請求項6】

コンピュータを、
プレイヤーズキャラクタの視点位置及び視線方向を設定して仮想三次元空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部として機能させ、
前記表示制御部は、前記仮想三次元空間内に離散的に設定された複数の位置のうち、前記ヘッドマウントディスプレイに表示されている前記仮想三次元空間内の位置の中からユーザの入力装置に対する操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置及び表示制御方法に関する。

【背景技術】

【0002】

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。

【課題を解決するための手段】

【0004】

上記課題を解決するために、本発明のある態様の表示制御装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備える。表示制御部は、仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に視点位置を変更可能とし、表示制御部は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる。

【0005】

本発明の別の態様は、表示制御方法である。この方法は、表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップを備える。表示制御部は、仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に視点位置を変更可能とし、表示制御部は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる。

【0006】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0007】

本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係るゲームシステムの使用環境を示す図である。

【図2】実施の形態に係るヘッドマウントディスプレイの外観図である。

【図3】ヘッドマウントディスプレイの機能構成図である。

【図4】入力装置の外観構成を示す図である。

【図5】入力装置の内部構成を示す図である。

【図6】ゲーム装置の構成を示す図である。

【図7】ゲーム装置の機能構成図である。

【図8】図８（ａ）～（ｃ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。

【図9】視点位置及び視線方向の設定方法を説明するための模式図である。

【図10】図１０（ａ）（ｂ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。

【図11】ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。

【図12】図１２（ａ）～（ｃ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。

【図13】実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。

【発明を実施するための形態】

【0009】

本実施の形態では、ヘッドマウントディスプレイ（ＨＭＤ）を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。

【0010】

図１は、実施の形態に係るゲームシステム１の使用環境を示す。ゲームシステム１は、ゲームプログラムを実行するゲーム装置１０と、ユーザの指示をゲーム装置１０に入力するための入力装置２０と、ユーザの周囲の実空間を撮像する撮像装置１４と、ゲーム装置１０により生成される第１ゲーム画像を表示するヘッドマウントディスプレイ１００と、ゲーム装置１０により生成される第２ゲーム画像を表示する表示装置１２とを備える。

【0011】

ゲーム装置１０は、入力装置２０又はヘッドマウントディスプレイ１００により入力される指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢などに基づいてゲームプログラムを実行し、第１ゲーム画像を生成してヘッドマウントディスプレイ１００に伝送し、第２ゲーム画像を生成して表示装置１２に伝送する。

【0012】

ヘッドマウントディスプレイ１００は、ゲーム装置１０において生成された第１ゲーム画像を表示する。また、ヘッドマウントディスプレイ１００に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置１０へ伝送する。ヘッドマウントディスプレイ１００は、ゲーム装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮなどにより無線接続されてもよい。

【0013】

表示装置１２は、ゲーム装置１０において生成された第２ゲーム画像を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。

【0014】

入力装置２０は、ユーザによる指示入力をゲーム装置１０に伝送する機能をもち、本実施の形態ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力装置２０とゲーム装置１０は、Bluetooth（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力装置２０は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。

【0015】

入力装置２０はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置２０のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置１０に送信される。

【0016】

撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。撮像装置１４により撮像された画像は、ゲーム装置１０において、入力装置２０及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力装置２０又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。

【0017】

本実施例のゲームシステム１において、入力装置２０及びヘッドマウントディスプレイ１００は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力装置２０を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。

【0018】

また、入力装置２０及びヘッドマウントディスプレイ１００は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力装置２０及びヘッドマウントディスプレイ１００の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。

【0019】

図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１１２、及び発光部１１４を備える。

【0020】

本体部１１０には、ディスプレイ、位置情報を取得するためのＧＰＳユニット、姿勢センサ、通信装置などが備えられる。頭部接触部１１２には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部１１４は、上述したように、ゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される画像においてヘッドマウントディスプレイ１００の位置を算出するための基準として機能する。

【0021】

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。

【0022】

本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

【0023】

図３は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース１２２、出力インタフェース１３０、バックライト１３２、通信制御部１４０、ネットワークアダプタ１４２、アンテナ１４４、記憶部１５０、ＧＰＳユニット１６１、無線ユニット１６２、姿勢センサ１６４、外部入出力端子インタフェース１７０、外部メモリ１７２、時計部１８０、表示装置１９０、及び制御部１６０を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。

【0024】

制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置１９０に表示させる。バックライト１３２は、表示装置１９０を構成する液晶ディスプレイにバックライトを供給する。

【0025】

通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。

【0026】

記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

【0027】

ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。

【0028】

姿勢センサ１６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

【0029】

外部入出力端子インタフェース１７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリである。

【0030】

時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。

【0031】

図４は、入力装置２０の外観構成を示す。図４（ａ）は、入力装置２０の上面構成を示し、図４（ｂ）は、入力装置２０の下面構成を示す。入力装置２０は、発光体２２およびハンドル２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル２４の上面には、操作ボタン３０、３２、３４、３６、３８が設けられ、下面には操作ボタン４０が設けられる。ユーザはハンドル２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８は、押下式に構成され、ユーザは押下することで操作する。操作ボタン４０は、アナログ量を入力できるものであってよい。

【0032】

ユーザは表示装置１２に表示されるゲーム画面を見ながらゲームを行う。撮像装置１４は、ゲームアプリケーションの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面でゲームをプレイすることが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力装置２０を撮像できる。

【0033】

図５は、入力装置２０の内部構成を示す。入力装置２０は、無線通信モジュール４８、処理部５０、発光部６２および操作ボタン３０、３２、３４、３６、３８、４０を備える。無線通信モジュール４８は、ゲーム装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部５０は、入力装置２０における所期の処理を実行する。

【0034】

処理部５０は、メイン制御部５２、入力受付部５４、３軸加速度センサ５６、３軸ジャイロセンサ５８および発光制御部６０を有する。メイン制御部５２は、無線通信モジュール４８との間で必要なデータの送受を行う。

【0035】

入力受付部５４は、操作ボタン３０、３２、３４、３６、３８、４０からの入力情報を受け付け、メイン制御部５２に送る。３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。なお、ここでは、入力装置２０の幅方向をＸ軸、高さ方向をＹ軸、長手方向をＺ軸と設定する。３軸加速度センサ５６および３軸ジャイロセンサ５８は、入力装置２０のハンドル２４内に配置され、ハンドル２４内の中心近傍に配置されることが好ましい。無線通信モジュール４８は、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期でゲーム装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。

【0036】

発光制御部６０は、発光部６２の発光を制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整して、発光部６２を所望の色に発光させる。

【0037】

無線通信モジュール４８はゲーム装置１０から発光指示を受け取ると、メイン制御部５２に供給し、メイン制御部５２は、発光制御部６０に発光指示を供給する。発光制御部６０は、発光部６２が発光指示により指定された色で発光するように、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を制御する。たとえば発光制御部６０は、各ＬＥＤをＰＷＭ（パルス幅変調）制御で点灯制御してもよい。

【0038】

図６は、ゲーム装置１０の構成を示す。ゲーム装置１０は、フレーム画像取得部８０、画像処理部８２、デバイス情報導出部８４、無線通信モジュール８６、入力受付部８８、出力部９０およびアプリケーション処理部３００を備える。本実施例におけるゲーム装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、ゲーム装置１０は複数のＣＰＵを有してもよい。

【0039】

無線通信モジュール８６は、入力装置２０の無線通信モジュール４８との間で無線通信を確立する。これにより入力装置２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、ゲーム装置１０に所定の周期で送信できるようになる。

【0040】

無線通信モジュール８６は、入力装置２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部８８に供給する。入力受付部８８は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部３００は、センサ検出値情報を、入力装置２０の姿勢情報として取り扱う。

【0041】

フレーム画像取得部８０はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。画像処理部８２は、フレーム画像から発光体画像を抽出する。画像処理部８２は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力装置２０の発光体２２が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部８２は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部８２は、フレーム画像データを所定の閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。この所定の閾値を超える輝度で発光体２２を点灯させることで、画像処理部８２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部８２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。

【0042】

デバイス情報導出部８４は、画像処理部８２で特定された発光体画像の位置および大きさから、撮像装置１４からみた入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出する。デバイス情報導出部８４は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を構成する。デバイス情報導出部８４は、フレーム画像ごとに入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を、ゲームの操作指示として受け取る。

【0043】

アプリケーション処理部３００は、入力装置２０の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームアプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部９０から表示装置１２に送られ、表示画像として出力される。

【0044】

図７は、ゲーム装置１０の機能構成図である。ゲーム装置１０のアプリケーション処理部３００は、制御部３１０及びデータ保持部３６０を備える。制御部３１０は、ゲーム制御部３１１、指示入力取得部３１２、ＨＭＤ情報取得部３１４、入力装置情報取得部３１５、第１画像生成部３１６、及び第２画像生成部３１７を備える。

【0045】

データ保持部３６０は、ゲーム装置１０において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。

【0046】

指示入力取得部３１２は、入力装置２０又はヘッドマウントディスプレイ１００が受け付けたユーザによる指示入力に関する情報を入力装置２０又はヘッドマウントディスプレイ１００から取得する。

【0047】

ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、ＨＭＤ情報取得部３１４は、デバイス情報導出部８４から、ヘッドマウントディスプレイ１００の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。ヘッドマウントディスプレイ１００の姿勢に関する情報は、デバイス情報導出部８４がヘッドマウントディスプレイ１００の撮像画像を解析することにより取得されてもよい。

【0048】

入力装置情報取得部３１５は、入力装置２０から、入力装置２０の姿勢に関する情報を取得する。また、入力装置情報取得部３１５は、デバイス情報導出部８４から、入力装置２０の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。入力装置２０の姿勢に関する情報は、デバイス情報導出部８４が入力装置２０の撮像画像を解析することにより取得されてもよい。

【0049】

入力装置２０が撮像装置１４の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置１４により撮像されなかった場合、入力装置情報取得部３１５は、前回取得された入力装置２０の位置と、その時点以降に取得された入力装置２０の姿勢に関する情報に基づいて、入力装置２０の位置を算出する。例えば、入力装置２０の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置２０の位置からのずれを算出することにより、現在の入力装置２０の位置を算出してもよい。入力装置２０が撮像装置１４により撮像されない間は、同様にして入力装置２０の位置を逐次算出する。入力装置２０が撮像装置１４により再度撮像された場合、加速度データにより逐次算出された入力装置２０の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、デバイス情報導出部８４により新たに算出された入力装置２０の位置を現在の入力装置２０の位置としてもよい。ヘッドマウントディスプレイ１００についても同様である。

【0050】

ゲーム制御部３１１は、ゲームプログラムを実行し、指示入力取得部３１２が取得したユーザによる指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部３１１は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置２０の方向キーやアナログスティックなどによる入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。

【0051】

第１画像生成部３１６は、ヘッドマウントディスプレイ１００に表示すべき画像を生成する。第１画像生成部３１６は、ゲーム制御部３１１により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ１００の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第１画像生成部３１６は、所定のタイミングでヘッドマウントディスプレイ１００の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第１画像生成部３１６は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ１００に表示すべき画像などを追加して、第１画像を生成する。第１画像生成部３１６により生成された第１画像は、無線通信モジュール又は有線通信モジュールを介してヘッドマウントディスプレイ１００に送信される。

【0052】

第２画像生成部３１７は、表示装置１２に表示すべき画像を生成する。ヘッドマウントディスプレイ１００に表示される画像と同じ画像を表示装置１２に表示する場合は、第１画像生成部３１６により生成された第１画像が表示装置１２にも送信される。ヘッドマウントディスプレイ１００に表示される画像とは異なる画像を表示装置１２に表示する場合、例えば、ヘッドマウントディスプレイ１００を装着したユーザと、表示装置１２を視聴しているユーザとが、対戦ゲームを実行する場合などは、第２画像生成部３１７は、第１画像生成部３１６とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第２画像生成部３１７は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置１２に表示すべき画像などを追加して、第２画像を生成する。第２画像生成部３１７により生成された第２画像は、無線通信モジュール又は有線通信モジュールを介して表示装置１２に送信される。

【0053】

図８は、ヘッドマウントディスプレイに表示される画像の例を示す。ゲーム制御部３１１は、ゲームフィールドに設定された複数の位置の間で視点位置を変更する機能を提供する。図８（ａ）に示す表示画面においては、ゲームフィールドに設定された複数の位置のうちの一つを視点位置として生成されたゲームフィールドの画像が表示される。表示画面には、ゲームフィールドに視点位置として設定された位置を示すマーカー５００及び５０２が更に表示されている。ユーザが首を上下左右に振ってヘッドマウントディスプレイ１００の姿勢を変更すると、第１画像生成部３１６は、ヘッドマウントディスプレイ１００の姿勢に応じて視線方向を変更する。ヘッドマウントディスプレイ１００の内側にユーザの眼球を撮影するためのカメラを設け、ユーザの視線方向を検出することを可能とする場合は、ユーザの視線を更に加味して視線方向を変更してもよい。ユーザの視線は、既知の任意の視線追跡技術を用いて検出してもよい。

【0054】

ユーザが、マーカーの方向に顔又は視線を向けることにより、マーカーが表示画面の中央付近に設定された所定の範囲内に入ると、図８（ｂ）に示すように、ゲーム制御部３１１は、第１画像生成部３１６にマーカー５００の表示態様を変更させ、マーカー５００により示される位置が視点位置の設定候補として選択されたことを示す。視点位置の設定候補が選択された状態で、ユーザが所定のボタンを入力したり、所定のジェスチャーを実行したりするなどして、視点位置を変更するよう指示すると、ゲーム制御部３１１は、選択されているマーカー５００により示される位置に視点位置を変更するよう第１画像生成部３１６に指示する。第１画像生成部３１６は、図８（ｃ）に示すように、マーカー５００の位置を視点位置とするゲームフィールドの画像を生成して表示する。図８（ｃ）に示す表示画面には、図８（ａ）に示す表示画面において視点位置に設定されていた位置を示すマーカー５０４が表示される。

【0055】

図９は、視点位置及び視線方向の設定方法を説明するための模式図である。本実施の形態では、ゲームフィールドの中央付近を中心とする球面上に視点位置が設定され、視点位置からゲームフィールドの中央付近の第１の位置を見る方向にデフォルトの視線方向が設定される。これにより、視点位置がどこに設定されても、ゲームフィールドを見渡すことが可能な画像を表示することができる。第１画像生成部３１６は、視点位置を変更するとき、視点位置を球面に沿って滑らかに移動させ、視点位置の移動中も、視点位置からゲームフィールドの第１の位置を見る方向に視線方向を設定してゲームフィールドの画像を生成する。これにより、視点位置の変更する間も、ゲームフィールドを見渡すことが可能な画像を表示することができるので、視点位置が大きく移動されるような場合であっても、視点位置がどこに移動されるのかをユーザに分かりやすく示すことができる。なお、視点位置は、ゲームフィールドの任意の点を中心とする球面又は回転楕円体面に設けられてもよいし、それら以外の任意の曲面上に設けられてもよい。また、視点位置を変更するときに、変更前の視点位置から変更後の視点位置まで視点位置を直線状又は曲線状に連続的に変化させてもよい。図８に示した例では、下側の半球面は地中になるので、上側の半球面にのみ視点位置を設定可能であるが、宇宙空間などをゲームフィールドとする場合は、下側の半球面にも視点位置を設定可能としてもよい。

【0056】

図１０は、ヘッドマウントディスプレイに表示される画像の例を示す。図１０（ａ）に示すように、ある視点位置から見たゲームフィールドの画像が表示されているときに、ユーザが頭を前方に移動させることにより、ヘッドマウントディスプレイ１００を前方に移動させると、ゲーム制御部３１１は、第１画像生成部３１６に、視点位置をゲームフィールドの中央付近の第２の位置に移動させる。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００が所定の距離以上前方に移動されたときに視点位置を移動させてもよいし、ヘッドマウントディスプレイ１００の移動速度が所定値以上であったときに視点位置を移動させてもよい。これにより、図１０（ｂ）に示すように、視点位置を観客席からゲームフィールドの中央付近に移動させることができるので、観客の視点でサッカーなどのゲームを見ていたユーザが、競技中のフィールド内に入り込むような体験を提供することができる。また、ヘッドマウントディスプレイ１００を用いた分かりやすい視点移動方法を提供することができる。

【0057】

図１１は、ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。本図に示すゲームにおいて、ユーザは穴５１２の開いた箱５１０の中に隠れ、ハンマー５１４で叩かれないようにしながら穴５１２から顔を出して、プレート５１６に書かれた文字を読み取る。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の位置に基づいて視点位置を変更させる。ゲーム制御部３１１は、所定のタイミングでハンマー５１４が叩く穴５１２を決定し、決定された穴５１２の上にハンマー５１４を振り下ろす。ユーザの視点位置が穴５１２よりも上に出ているときに、その穴５１２にハンマー５１４が振り下ろされると、ユーザがハンマー５１４で叩かれたものとする。ユーザが所定回数以上ハンマー５１４で叩かれると、ゲームオーバーとする。

【0058】

図１２は、ヘッドマウントディスプレイに表示される画像の例を示す。図１２（ａ）は、ユーザが真ん中の穴から上を見上げたときのゲーム画面を示す。真ん中の穴にハンマーが振り下ろされようとしている。図１２（ｂ）は、ユーザがヘッドマウントディスプレイ１００を右に移動させて、視点位置を右側の穴の下に移動させたときのゲーム画面を示す。ハンマーは真ん中の穴に振り下ろされようとしているので、しばらくの間は右側の穴にハンマーが振り下ろされることはない。このとき、ユーザがヘッドマウントディスプレイ１００を上に移動させて、視点位置を右側の穴から上に移動させると、図１２（ｃ）に示すように、箱の外側に配置されたプレートに書かれた文字を視認することができる。

【0059】

図１３は、実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。ユーザが椅子などに座った状態でゲームを行う場合、腰の位置は固定されているので、頭を円弧状に移動させることになるが、ゲームを行う際に支障なく移動可能な範囲はせいぜい１００～１２０°程度である。したがって、ヘッドマウントディスプレイ１００の移動可能範囲を有効に利用するために、ゲーム制御部３１１は、ヘッドマウントディスプレイ１００が水平方向に移動された場合に、垂直方向に移動された場合よりも大きく視点位置を移動させる。また、ヘッドマウントディスプレイ１００が左右に移動された場合に、真ん中の穴の幅に対応する移動量を超えると、真ん中の穴と左右の穴との間の領域を飛ばして、左右の穴の下に視点位置を移動させる。具体的には、真ん中の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ１００を右に移動させたとき、ヘッドマウントディスプレイ１００が位置５２０に達すると、視点位置を真ん中の穴の右端の位置から右側の穴の左端の位置にジャンプさせる。また、右側の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ１００を左に移動させたとき、ヘッドマウントディスプレイ１００が位置５２２に達すると、視点位置を右側の穴の左端の位置から真ん中の穴の右端の位置に移動させる。これにより、ゲームにおいて視点位置を移動させる必要性がない又は少ない領域には視点位置を移動させず、視点位置を移動させる必要性がある又は多い所定の領域にのみ視点位置を移動可能とするので、ヘッドマウントディスプレイ１００の移動可能範囲を有効に利用して、視点位置を移動させることができる。また、入力装置２０などを使用しなくてもヘッドマウントディスプレイ１００の移動により容易に視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。また、右へ移動させる場合に視点位置をジャンプさせる位置５２０と、左へ移動させる場合に視点位置をジャンプさせる位置５２２とを異ならせてヒステリシスを設けるので、ヘッドマウントディスプレイ１００の角度が閾値付近の位置に対応する角度になっているときに、視点位置が頻繁に左右にジャンプしてしまう事態を低減させることができる。

【0060】

左右の穴の上に視点位置を移動させようとすると、ヘッドマウントディスプレイ１００を左右に傾けた状態でヘッドマウントディスプレイ１００を上方に移動させる必要があるが、ユーザが体を左右に傾けた状態で頭を真上に移動させるのは容易ではない。したがって、本実施の形態では、ヘッドマウントディスプレイ１００が左右に傾いた状態で上下に移動された場合に、移動方向が斜めに傾いていたとしても、ゲーム制御部３１１は、視点位置を鉛直方向に移動させ、水平方向には移動させない。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の移動ベクトルの鉛直方向の成分に対応する移動量で視点位置を鉛直方向に移動させ、水平方向の成分を無視してもよいし、ヘッドマウントディスプレイ１００の移動ベクトルの大きさに対応する移動量で視点位置を鉛直方向に移動させてもよい。このように、ヘッドマウントディスプレイ１００の移動に応じて視点位置を変更する場合に、ヘッドマウントディスプレイ１００の移動ベクトルを所定の方向のベクトルに変換することにより、視点位置の移動方向を所定の方向に限定し、不要な方向へ視点位置が移動してしまうのを防ぐことができる。また、必要な方向にのみ視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。

【0061】

このような技術は、例えば、プレイヤーズキャラクタが壁などの障害物に隠れ、飛んでくる弾丸などをよけるようなゲームなどにも適用可能である。

【0062】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0063】

上記の例では、ヘッドマウントディスプレイ１００の表示装置１９０に両眼立体視用の画像が表示されたが、別の例では、単眼立体視用の画像が表示されてもよい。

【0064】

上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ１００が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。

【符号の説明】

【0065】

１０ ゲーム装置、２０ 入力装置、１００ ヘッドマウントディスプレイ、１９０ 表示装置、３１１ ゲーム制御部、３１２ 指示入力取得部、３１４ ＨＭＤ情報取得部、３１５ 入力装置情報取得部、３１６ 第１画像生成部、３１７ 第２画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】