特許 6927797 ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6927797

(24)【登録日】2021年8月10日

(45)【発行日】2021年9月1日

(54)【発明の名称】ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210823BHJP

   G06F 3/01 20060101ALI20210823BHJP

   G06F 3/0481 20130101ALI20210823BHJP

【ＦＩ】

   G06T19/00 300B

   G06F3/01 510

   G06F3/01 570

   G06F3/0481 150

【請求項の数】8

【全頁数】30

(21)【出願番号】特願2017-160326(P2017-160326)

(22)【出願日】2017年8月23日

(65)【公開番号】特開2019-40303(P2019-40303A)

(43)【公開日】2019年3月14日

【審査請求日】2020年7月29日

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100120112

【弁理士】

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】青山 真弥

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１７−０５９１９６（ＪＰ，Ａ）

【文献】 特開２０１７−１３８７０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントデバイスを介して仮想空間をユーザに提供するためのコンピュータにより実施される方法であって、
前記仮想空間に配置された仮想カメラを動作させるステップと、
前記仮想カメラの移動方向を特定するステップと、
前記仮想空間を前記仮想カメラの視界の範囲で表した視界画像を生成するステップと、
前記仮想カメラの向きを基準に定まる１以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報に基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
特定された前記視認性の低下度合いに基づいて、前記視界画像の視認性を低下させるステップと、
視認性が低下された前記視界画像を、前記ヘッドマウントデバイスの表示部に出力するステップと、
を含み、
前記第１低下度合い情報は、前記仮想カメラの向きを基準に定まる複数の軸方向に対する視認性の低下度合いを定め、
前記視認性の低下度合いを特定するステップは、
前記移動方向を前記複数の軸方向の成分に分解するステップと、
前記第１低下度合い情報と前記複数の軸方向の成分とを用いて、前記移動方向における前記成分毎の視認性の低下度合いを特定するステップと、
特定された前記成分毎の視認性の低下度合いに基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
を含む、方法。

【請求項2】

前記軸方向の成分は、前記移動方向に対する当該軸方向での移動割合を示し、
前記分解するステップでは、前記軸方向と前記移動方向との角度差が小さいほど当該軸方向の成分の値が大きくなるように、前記移動方向を前記複数の軸方向の成分に分解し、
前記移動方向における前記成分毎の視認性の低下度合いを特定するステップでは、前記軸方向毎に、前記第１低下度合い情報が示す当該軸方向での視認性の低下度合いに当該軸方向の成分を乗じることで、前記移動方向における前記成分毎の視認性の低下度合いを特定し、
前記移動方向における視認性の低下度合いを特定するステップでは、特定された前記成分毎の視認性の低下度合いを合算して、前記移動方向における視認性の低下度合いを特定する、請求項１に記載の方法。

【請求項3】

前記複数の軸方向は、ロール軸方向、ピッチ軸方向及びヨー軸方向を含み、
前記第１低下度合い情報は、前記ロール軸方向に対する視認性の低下度合いを、前記ピッチ軸方向及び前記ヨー軸方向に対する視認性の低下度合いよりも小さく定めている、請求項１又は２に記載の方法。

【請求項4】

前記第１低下度合い情報は、前記ロール軸方向のうちの前記仮想カメラの正面方向に対する視認性の低下度合いを、前記ロール軸方向のうちの前記正面方向と反対方向に対する視認性の低下度合いよりも小さく定めている、請求項３に記載の方法。

【請求項5】

前記仮想カメラの回転速度を特定するステップをさらに含み、
前記視認性の低下度合いを特定するステップでは、前記第１低下度合い情報と、前記仮想カメラの回転速度に対する視認性の低下度合いを定めた第２低下度合い情報とに基づいて、前記移動方向及び特定された前記回転速度における視認性の低下度合いを特定する、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記第２低下度合い情報は、前記回転速度が所定速度に達するまでの間、前記回転速度が速くなるほど、前記視認性の低下度合いが高くなるように定めている、請求項５に記載の方法。

【請求項7】

請求項１から６のいずれかに記載の方法をプロセッサに実行させるためのプログラム。

【請求項8】

コンピュータであって、
前記コンピュータが備えるプロセッサによる、ヘッドマウントデバイスを介して仮想空間をユーザに提供するための制御により、
前記仮想空間に配置された仮想カメラを動作させるステップと、
前記仮想カメラの移動方向を特定するステップと、
前記仮想空間を前記仮想カメラの視界の範囲で表した視界画像を生成するステップと、
前記仮想カメラの向きを基準に定まる１以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報に基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
特定された前記視認性の低下度合いに基づいて、前記視界画像の視認性を低下させるステップと、
視認性が低下された前記視界画像を、前記ヘッドマウントデバイスの表示部に出力するステップと、
が実行され、
前記第１低下度合い情報は、前記仮想カメラの向きを基準に定まる複数の軸方向に対する視認性の低下度合いを定め、
前記視認性の低下度合いを特定するステップは、
前記移動方向を前記複数の軸方向の成分に分解するステップと、
前記第１低下度合い情報と前記複数の軸方向の成分とを用いて、前記移動方向における前記成分毎の視認性の低下度合いを特定するステップと、
特定された前記成分毎の視認性の低下度合いに基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
を含む、コンピュータ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータに関する。

【背景技術】

【0002】

特許文献１には、ヘッドマウントデバイス（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ、ＨＭＤ）の移動以外の要因により仮想空間内で仮想カメラが移動し、仮想カメラの移動量が所定量を超える場合に、視野画像のうち、視軸を中心とする所定範囲を除く領域について、情報量を低減させる技術が開示されている。

【0003】

特許文献１に開示された技術は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間における酔い（いわゆる「ＶＲ酔い」）を低減する技術の一例である。今後、仮想体験を損なうことなくＶＲ酔いを低減するための様々な技術の開発が進むものと考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−５９１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、仮想体験を損なうことなくＶＲ酔いを低減するための新規な手法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一実施形態によれば、ヘッドマウントデバイスを介して仮想空間をユーザに提供するためのコンピュータにより実施される方法であって、
前記仮想空間に配置された仮想カメラを動作させるステップと、
前記仮想カメラの移動方向を特定するステップと、
前記仮想空間を前記仮想カメラの視界の範囲で表した視界画像を生成するステップと、
前記仮想カメラの向きを基準に定まる１以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報に基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
特定された前記視認性の低下度合いに基づいて、前記視界画像の視認性を低下させるステップと、
視認性が低下された前記視界画像を、前記ヘッドマウントデバイスの表示部に出力するステップと、
を含む、方法が提供される。

【0007】

本開示の別の実施形態によれば、上記方法をプロセッサに実行させるためのプログラムが提供される。

【0008】

本開示の別の実施形態によれば、コンピュータであって、
前記コンピュータが備えるプロセッサによる、ヘッドマウントデバイスを介して仮想空間をユーザに提供するための制御により、
前記仮想空間に配置された仮想カメラを動作させるステップと、
前記仮想カメラの移動方向を特定するステップと、
前記仮想空間を前記仮想カメラの視界の範囲で表した視界画像を生成するステップと、
前記仮想カメラの向きを基準に定まる１以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報に基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
特定された前記視認性の低下度合いに基づいて、前記視界画像の視認性を低下させるステップと、
視認性が低下された前記視界画像を、前記ヘッドマウントデバイスの表示部に出力するステップと、
が実行される、コンピュータが提供される。

【発明の効果】

【0009】

本開示の実施形態により、仮想体験を損なうことなくＶＲ酔いを低減するための新規な手法を提供することができる。

【0010】

本開示のその他の特徴及び利点は、後述する実施形態の説明、添付の図面及び特許請求の範囲の記載から明らかなものとなる。

【図面の簡単な説明】

【0011】

【図1】ＨＭＤシステムの構成を概略的に示す図である。

【図2】本開示の一実施形態による、コンピュータの基本的なハードウェア構成の例を表すブロック図である。

【図3】一実施形態に従う、ＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。

【図4】一実施形態に従う、仮想空間を表現する一態様を概念的に表す図である。

【図5】一実施形態に従う、ＨＭＤを装着するユーザの頭部を上から表した図である。

【図6】仮想空間において視認領域をｘ方向から見たｙｚ断面を表す図である。

【図7】仮想空間において視認領域をｙ方向から見たｘｚ断面を表す図である。

【図8A】一実施形態に従う、コントローラの概略構成を表す図である。

【図8B】一実施形態に従う、コントローラの概略構成を表す図である。

【図9】本開示の一実施形態による、ＨＭＤシステムを介してユーザに仮想体験を提供するための、コンピュータの機能を示すブロック図である。

【図10】ユーザが没入する仮想空間の画像を表示部に表示するための一般的な処理のフロー図である。

【図11】本開示の一実施形態による方法のフローチャートである。

【図12】図１１のステップ１１１０において実行される処理の具体例を示すフローチャートである。

【図13】一実施形態における、ユーザに対応するアバターが仮想空間内を移動する様子を概略的に表す図である。

【図14】移動方向を複数の成分に分解する様子を概略的に説明する図である。

【図15】第１低下度合い情報の例を示す図である。

【図16】一実施形態における、ユーザに対応するアバターが仮想空間内を移動する様子を概略的に表す図である。

【図17A】移動方向を複数の成分に分解する様子を概略的に説明する図である。

【図17B】移動方向を複数の成分に分解する様子を概略的に説明する図である。

【図17C】移動方向を複数の成分に分解する様子を概略的に説明する図である。

【図18】一実施形態における、ユーザに対応するアバターが仮想空間内を移動する様子を概略的に表す図である。

【図19】第２低下度合い情報の例を示す図である。

【図20】図１９のグラフから読み取られて数値化された第２低下度合い情報の例を示す図である。

【図21】本開示の実施形態に従って生成される、視認性が低下した視界画像の例を示す図である。

【発明を実施するための形態】

【0012】

［本開示の実施形態の説明］
はじめに、本開示の例示的な実施形態の構成を列記して説明する。本開示の実施形態による方法、プログラム及びコンピュータは、以下のような構成を備えてもよい。

【0013】

（項目１）
ヘッドマウントデバイスを介して仮想空間をユーザに提供するためのコンピュータにより実施される方法であって、
前記仮想空間に配置された仮想カメラを動作させるステップと、
前記仮想カメラの移動方向を特定するステップと、
前記仮想空間を前記仮想カメラの視界の範囲で表した視界画像を生成するステップと、
前記仮想カメラの向きを基準に定まる１以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報に基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
特定された前記視認性の低下度合いに基づいて、前記視界画像の視認性を低下させるステップと、
視認性が低下された前記視界画像を、前記ヘッドマウントデバイスの表示部に出力するステップと、
を含む、方法。

【0014】

（項目２）
前記第１低下度合い情報は、前記仮想カメラの向きを基準に定まる複数の軸方向に対する視認性の低下度合いを定め、
前記視認性の低下度合いを特定するステップは、
前記移動方向を前記複数の軸方向の成分に分解するステップと、
前記第１低下度合い情報と前記複数の軸方向の成分とを用いて、前記移動方向における前記成分毎の視認性の低下度合いを特定するステップと、
特定された前記成分毎の視認性の低下度合いに基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
を含む、項目１に記載の方法。

【0015】

（項目３）
前記軸方向の成分は、前記移動方向に対する当該軸方向での移動割合を示し、
前記分解するステップでは、前記軸方向と前記移動方向との角度差が小さいほど当該軸方向の成分の値が大きくなるように、前記移動方向を前記複数の軸方向の成分に分解し、
前記移動方向における前記成分毎の視認性の低下度合いを特定するステップでは、前記軸方向毎に、前記第１低下度合い情報が示す当該軸方向での視認性の低下度合いに当該軸方向の成分を乗じることで、前記移動方向における前記成分毎の視認性の低下度合いを特定し、
前記移動方向における視認性の低下度合いを特定するステップでは、特定された前記成分毎の視認性の低下度合いを合算して、前記移動方向における視認性の低下度合いを特定する、項目２に記載の方法。

【0016】

（項目４）
前記複数の軸方向は、ロール軸方向、ピッチ軸方向及びヨー軸方向を含み、
前記第１低下度合い情報は、前記ロール軸方向に対する視認性の低下度合いを、前記ピッチ軸方向及び前記ヨー軸方向に対する視認性の低下度合いよりも小さく定めている、項目２又は３に記載の方法。

【0017】

（項目５）
前記第１低下度合い情報は、前記ロール軸方向のうちの前記仮想カメラの正面方向に対する視認性の低下度合いを、前記ロール軸方向のうちの前記正面方向と反対方向に対する視認性の低下度合いよりも小さく定めている、項目４に記載の方法。

【0018】

（項目６）
前記仮想カメラの回転速度を特定するステップをさらに含み、
前記視認性の低下度合いを特定するステップでは、前記第１低下度合い情報と、前記仮想カメラの回転速度に対する視認性の低下度合いを定めた第２低下度合い情報とに基づいて、前記移動方向及び特定された前記回転速度における視認性の低下度合いを特定する、項目１から５のいずれか１項に記載の方法。

【0019】

（項目７）
前記第２低下度合い情報は、前記回転速度が所定速度に達するまでの間、前記回転速度が速くなるほど、前記視認性の低下度合いが高くなるように定めている、項目６に記載の方法。

【0020】

（項目８）
項目１から７のいずれかに記載の方法をプロセッサに実行させるためのプログラム。

【0021】

（項目９）
コンピュータであって、
前記コンピュータが備えるプロセッサによる、ヘッドマウントデバイスを介して仮想空間をユーザに提供するための制御により、
前記仮想空間に配置された仮想カメラを動作させるステップと、
前記仮想カメラの移動方向を特定するステップと、
前記仮想空間を前記仮想カメラの視界の範囲で表した視界画像を生成するステップと、
前記仮想カメラの向きを基準に定まる１以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報に基づいて、前記移動方向における視認性の低下度合いを特定するステップと、
特定された前記視認性の低下度合いに基づいて、前記視界画像の視認性を低下させるステップと、
視認性が低下された前記視界画像を、前記ヘッドマウントデバイスの表示部に出力するステップと、
が実行されるコンピュータ。

【0022】

［本開示の実施形態の詳細］
以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同様の要素には同様の符号を付してある。それらの名称及び機能も同様である。このような要素については重複する説明が省略される。

【0023】

図１を参照して、ヘッドマウントデバイス（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ、ＨＭＤ）システム１００の構成について説明する。図１は、ＨＭＤシステム１００の構成を概略的に示す。一例では、ＨＭＤシステム１００は、家庭用のシステム又は業務用のシステムとして提供される。ＨＭＤは、表示部を備える所謂ヘッドマウントディスプレイであってもよく、表示部を有するスマートフォン等の端末を装着可能なヘッドマウント機器であってもよい。

【0024】

ＨＭＤシステム１００は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ１１０は、表示部１１２と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含んでもよい。

【0025】

一例では、コンピュータ２００は、インターネット等のネットワーク１９２に接続可能であってもよく、ネットワーク１９２に接続されるサーバ１５０等のコンピュータと通信可能であってもよい。別の態様において、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりにセンサ１１４を含んでもよい。

【0026】

ＨＭＤ１１０は、ユーザ１９０の頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像及び左目用の画像を表示部１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。

【0027】

表示部１１２は、例えば、非透過型の表示装置として実現される。一例では、表示部１１２は、ユーザの両目の前方に位置するように、ＨＭＤ１１０の本体に配置される。したがって、ユーザは、表示部１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像等を含む。ある実施形態において、表示部１１２は、スマートフォン等の情報表示端末が備える液晶表示部又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示部として実現され得る。

【0028】

一例では、表示部１１２は、右目用の画像を表示するためのサブ表示部と、左目用の画像を表示するためのサブ表示部とを含み得る。別の態様において、表示部１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、表示部１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

【0029】

一例では、ＨＭＤ１１０は、複数の光源（図示せず）を含む。各光源は、例えば、赤外線を発するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ１２０は、ＨＭＤ１１０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１１０の位置及び傾きを検出してもよい。

【0030】

ある態様において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置及び傾きを検出することができる。

【0031】

別の態様において、ＨＭＤ１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ１１０は、センサ１１４を用いて、ＨＭＤ１１０自身の位置及び傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、ジャイロセンサ等である場合、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置及び傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。また、ＨＭＤ１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は、仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。

【0032】

注視センサ１４０は、ユーザ１９０の右目及び左目の視線が向けられる方向（視線）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある態様において、注視センサ１４０は、右目用のセンサ及び左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目及び左目に赤外光を照射するとともに、照射光に対する角膜及び虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線を検知することができる。

【0033】

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の態様において、サーバ１５０は、他のユーザによって使用されるＨＭＤに仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。

【0034】

コントローラ１６０は、有線又は無線によりコンピュータ２００に接続される。コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある態様において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の態様において、コントローラ１６０は、ユーザ１９０の身体又は衣類の一部に装着可能に構成される。別の態様において、コントローラ１６０は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の態様において、コントローラ１６０は、ユーザ１９０から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

【0035】

ある態様において、モーションセンサ１３０は、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０Ａに設けられる。ある実施形態において、現実空間における安全のため、コントローラ１６０Ａは、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の態様において、複数の操作ボタンを有する一般的な構造のコントローラ１６０Ｂが用いられてもよい。別の態様において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。ユーザ１９０の身体の様々な部分の位置、向き、動きの方向、動きの距離などを検知する光学式センサが用いられてもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

【0036】

図２を参照して、本開示の実施形態に係るコンピュータ２００について説明する。図２は、本開示の一実施形態によるコンピュータ２００の基本的なハードウェア構成の例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２０２と、メモリ２０４と、ストレージ２０６と、入出力インターフェース２０８と、通信インターフェース２１０とを備える。各構成要素は、それぞれ、バス２１２に接続される。

【0037】

プロセッサ２０２は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２０４又はストレージ２０６に格納されているプログラムに含まれる一連の命令を実行する。ある態様において、プロセッサ２０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のデバイスとして実現される。

【0038】

メモリ２０４は、プログラム及びデータを一時的に保存する。プログラムは、例えば、ストレージ２０６からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２０２によって生成されたデータとを含む。ある態様において、メモリ２０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリとして実現される。

【0039】

ストレージ２０６は、プログラム及びデータを永続的に保持する。ストレージ２０６は、例えば、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、フラッシュメモリ等の不揮発性記憶装置として実現される。ストレージ２０６に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ２０６に格納されるデータは、仮想空間を規定するためのデータ及びオブジェクト等を含む。

【0040】

別の態様において、ストレージ２０６は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の態様において、コンピュータ２００に内蔵されたストレージ２０６の代わりに、外部の記憶装置に保存されているプログラム及びデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

【0041】

ある実施形態において、入出力インターフェース２０８は、ＨＭＤ１１０、ＨＭＤセンサ１２０及びモーションセンサ１３０との間で信号を通信する。ある態様において、入出力インターフェース２０８は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の端子を用いて実現される。なお、入出力インターフェース２０８は上述のものに限られない。

【0042】

ある実施形態において、入出力インターフェース２０８は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース２０８は、コントローラ１６０及びモーションセンサ１３０から出力された信号の入力を受ける。別の態様において、入出力インターフェース２０８は、プロセッサ２０２から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力、発光等を実行する。

【0043】

通信インターフェース２１０は、ネットワーク１９２に接続され、ネットワーク１９２に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある態様において、通信インターフェース２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線通信インターフェース、あるいは、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の無線通信インターフェースとして実現される。なお、通信インターフェース２１０は上述のものに限られない。

【0044】

ある態様において、プロセッサ２０２は、ストレージ２０６にアクセスし、ストレージ２０６に格納されている１つ以上のプログラムをメモリ２０４にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２０２は、入出力インターフェース２０８を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいて表示部１１２に映像を表示する。

【0045】

図２に示される例では、コンピュータ２００は、ＨＭＤ１１０の外部に設けられている。しかし、別の態様において、コンピュータ２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、表示部１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

【0046】

また、コンピュータ２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

【0047】

ある実施形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向及び水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の１つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、及び前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸として規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

【0048】

ある態様において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置及び傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置及び傾きの時間的変化を検出できる。

【0049】

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

【0050】

図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置及び傾きを検出する。プロセッサ２０２は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。

【0051】

図３に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、及び前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、及びロール方向（ｗ軸）として設定する。

【0052】

ある態様において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ２０２は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、及び前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）及びロール方向（ｗ軸）に一致する。

【0053】

ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）及びロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。

【0054】

ＨＭＤセンサ１２０は、検出されたＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置及び傾きに関わらず、常に一定である。ＨＭＤ１１０の位置及び傾きが変わると、当該位置及び傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置及び傾きが変化する。

【0055】

ある態様において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度及び複数の点間の相対的な位置関係（例えば、各点間の距離等）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ２０２は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。

【0056】

図４を参照して、仮想空間についてさらに説明する。図４は、ある実施形態に従う仮想空間４００を表現する一態様を概念的に表す図である。仮想空間４００は、中心４０６の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間４００のうちの上半分の天球が例示されている。仮想空間４００では各メッシュが規定される。各メッシュの位置は、仮想空間４００に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間４００に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間４００において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像が展開される仮想空間４００をユーザに提供する。

【0057】

ある態様において、仮想空間４００では、中心４０６を原点とするｘｙｚ座標系が規定される。ｘｙｚ座標系は、例えば、グローバル座標系に平行である。ｘｙｚ座標系は視点座標系の一種であるため、ｘｙｚ座標系における水平方向、鉛直方向（上下方向）及び前後方向は、それぞれｘ軸、ｙ軸及びｚ軸として規定される。したがって、ｘｙｚ座標系のｘ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ｘｙｚ座標系のｙ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ｘｙｚ座標系のｚ軸（前後方向）がグローバル座標系のｚ軸と平行である。

【0058】

ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ４０４が、仮想空間４００の中心４０６に配置される。ある態様において、プロセッサ２０２は、仮想カメラ４０４が撮影する画像をＨＭＤ１１０の表示部１１２に表示する。仮想カメラ４０４は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間４００を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置及び向きの変化が、仮想空間４００において同様に再現され得る。

【0059】

ＨＭＤ１１０の場合と同様に、仮想カメラ４０４には、ｕｖｗ視野座標系が規定される。仮想空間４００における仮想カメラ４０４のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定される。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ４０４の傾きも変化する。また、仮想カメラ４０４は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間４００において移動することもできる。

【0060】

コンピュータ２００のプロセッサ２０２は、仮想カメラ４０４の配置位置と、基準視線４０８とに基づいて、仮想空間４００における視認領域４１０を規定する。視認領域４１０は、仮想空間４００のうち、ＨＭＤ１１０を装着したユーザが視認する領域に対応する。

【0061】

注視センサ１４０によって検出されるユーザ１９０の視線は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０が表示部１１２を視認する際の視点座標系に等しい。また、仮想カメラ４０４のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある態様に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線を、仮想カメラ４０４のｕｖｗ視野座標系におけるユーザの視線とみなすことができる。

【0062】

図５を参照して、ユーザの視線の決定について説明する。図５は、ある実施形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。

【0063】

ある態様において、注視センサ１４０は、ユーザ１９０の右目及び左目の各視線を検出する。ある態様において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１及びＬ１を検出する。別の態様において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２及びＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２及びＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１及びＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

【0064】

コンピュータ２００が、視線の検出結果として、視線Ｒ１及びＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１及びＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２及びＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２及びＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線Ｎ０は、視認領域４１０に対してユーザ１９０が実際に視線を向けている方向に相当する。

【0065】

別の態様において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの部分に、マイク及びスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間４００に対して、音声による指示を与えることができる。

【0066】

また、別の態様において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間４００においてテレビ番組を表示することができる。

【0067】

さらに別の態様において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

【0068】

図６及び図７を参照して、視認領域４１０について説明する。図６は、仮想空間４００において視認領域４１０をｘ方向から見たｙｚ断面を表す図である。図７は、仮想空間４００において視認領域４１０をｙ方向から見たｘｚ断面を表す図である。

【0069】

図６に示されるように、ｙｚ断面における視認領域４１０は、領域６０２を含む。領域６０２は、仮想カメラ４０４の配置位置と基準視線４０８と仮想空間４００のｙｚ断面とによって定義される。プロセッサ２０２は、仮想空間おける基準視線４０８を中心として極角αを含む範囲を、領域６０２として規定する。

【0070】

図７に示されるように、ｘｚ断面における視認領域４１０は、領域７０２を含む。領域７０２は、仮想カメラ４０４の配置位置と基準視線４０８と仮想空間４００のｘｚ断面とによって定義される。プロセッサ２０２は、仮想空間４００における基準視線４０８を中心とした方位角βを含む範囲を、領域７０２として規定する。極角α及びβは、仮想カメラ４０４の配置位置と仮想カメラ４０４の向きとに応じて定まる。

【0071】

ある態様において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像を表示部１１２に表示させることにより、仮想空間における視界をユーザ１９０に提供する。視界画像は、仮想空間画像４０２のうち視認領域４１０に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ４０４も動く。その結果、仮想空間４００における視認領域４１０の位置が変化する。これにより、表示部１１２に表示される視界画像は、仮想空間画像４０２のうち、仮想空間４００においてユーザが向いた方向の視認領域４１０に重畳する画像に更新される。ユーザは、仮想空間４００における所望の方向を視認することができる。

【0072】

このように、仮想カメラ４０４の向き（傾き）は仮想空間４００におけるユーザの視線（基準視線４０８）に相当し、仮想カメラ４０４が配置される位置は、仮想空間４００におけるユーザの視点に相当する。したがって、仮想カメラ４０４を移動（配置位置を変える動作、向きを変える動作を含む）させることにより、表示部１１２に表示される画像が更新され、ユーザ１９０の視界（視点、視線を含む）が移動される。

【0073】

ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間４００に展開される仮想空間画像４０２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間４００への高い没入感覚をユーザに与えることができる。

【0074】

ある態様において、プロセッサ２０２は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間４００において仮想カメラ４０４を移動し得る。この場合、プロセッサ２０２は、仮想空間４００における仮想カメラ４０４の位置及び向きに基づいて、ＨＭＤ１１０の表示部１１２に投影される画像領域（すなわち、仮想空間４００における視認領域４１０）を特定する。

【0075】

ある実施形態に従うと、仮想カメラ４０４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含んでもよい。また、ユーザ１９０が３次元の仮想空間４００を認識できるように、適切な視差が、２つの仮想カメラに設定されてもよい。

【0076】

図８Ａを参照して、コントローラ１６０の一例であるコントローラ１６０Ａについて説明する。図８Ａは、ある実施形態に従うコントローラ１６０Ａの概略構成を表す図である。

【0077】

ある態様において、コントローラ１６０Ａは、右コントローラと左コントローラとを含み得る。説明を簡単にするために、図８Ａにおけるコントローラ１６０Ａは右コントローラを示す。右コントローラは、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある態様において、右コントローラと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の態様において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ１６０Ａについて説明する。

【0078】

右コントローラ１６０Ａは、グリップ８０２と、フレーム８０４と、天面８０６とを備える。グリップ８０２は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ８０２は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

【0079】

グリップ８０２は、ボタン８０８及び８１０と、モーションセンサ１３０とを含む。ボタン８０８は、グリップ８０２の側面に配置され、右手の中指による操作を受け付ける。ボタン８１０は、グリップ８０２の前面に配置され、右手の人差し指による操作を受け付ける。ある態様において、ボタン８０８、８１０は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ８０２の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ８０２は、モーションセンサ１３０を備えなくてもよい。

【0080】

フレーム８０４は、その円周方向に沿って配置された複数の赤外線ＬＥＤ８１２を含む。赤外線ＬＥＤ８１２は、コントローラ１６０Ａを使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ８１２から発せられた赤外線は、右コントローラ１６０Ａと左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、２列に配置された赤外線ＬＥＤ８１２が示されているが、配列の数は図８に示されるものに限られない。１列あるいは３列以上の配列が使用されてもよい。

【0081】

天面８０６は、ボタン８１４及び８１６と、アナログスティック８１８とを備える。ボタン８１４及び８１６は、プッシュ式ボタンとして構成される。ボタン８１４及び８１６は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック８１８は、ある態様において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間４００に配置されるオブジェクトを移動するための操作を含む。

【0082】

ある態様において、右コントローラ１６０Ａ及び左コントローラは、赤外線ＬＥＤ８１２等の部材を駆動するための電池を含む。電池は、１次電池及び２次電池のいずれであってもよく、その形状は、ボタン型、乾電池型等任意であり得る。別の態様において、右コントローラ１６０Ａと左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ８００及び左コントローラは、ＵＳＢインターフェースを介して電力を供給され得る。

【0083】

図８Ｂを参照して、コントローラ１６０の一例であるコントローラ１６０Ｂについて説明する。図８Ｂは、ある実施形態に従うコントローラ１６０Ｂの概略構成を表す図である。

【0084】

コントローラ１６０Ｂは、複数のボタン８２０（８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ）及び８２２（８２２ａ、８２２ｂ、８２２ｃ、８２２ｄ）と、左右のアナログスティック８２４Ｌ及び８２４Ｒとを備える。各ボタン８２０及び８２２は、プッシュ式ボタンとして構成される。ボタン８２０及び８２２は、ユーザ１９０の手の親指による操作を受け付ける。ユーザ１９０の手の人差し指又は中指による操作を受け付けることが可能な不図示のトリガー式のボタンが、更にコントローラ１６０Ｂに設けられてもよい。アナログスティック８２４Ｌ及び８２４Ｒは、ある態様において、それぞれ初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間４００に配置されるオブジェクトを移動するための操作を含む。ボタン８２０（８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ）及び８２２（８２２ａ、８２２ｂ、８２２ｃ、８２２ｄ）並びにアナログスティック８２４Ｌ及び８２４Ｒ（更に、含まれる場合には不図示のトリガー式ボタン）には、それぞれ別個の操作コマンドが割り当てられる。操作コマンドは、例えば、仮想空間４００内のオブジェクトに指令を与えるためのコマンド、ゲームのメニュー画面等において各種の設定を行うためのコマンド、及びユーザ１９０が仮想空間４００を体験している際にコンピュータ２００に入力し得る任意の他のコマンドを含む。各ボタン又はアナログスティックに割り当てられた操作コマンドは、例えばゲームの進行や場面の変化に応じて、動的に変更されてもよい。

【0085】

ある態様において、コントローラ１６０Ｂは、その外表面に配置された不図示の複数の赤外線ＬＥＤを含んでもよい。赤外線ＬＥＤは、コントローラ１６０Ｂを使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤから発せられた赤外線は、コントローラ１６０Ｂの位置や姿勢（傾き、向き）を検出するために使用され得る。またコントローラ１６０Ｂは、内部の電子部品を駆動するための電池を含む。電池は、１次電池及び２次電池のいずれであってもよく、その形状は、ボタン型、乾電池型等任意であり得る。別の態様において、コントローラ１６０Ｂは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、コントローラ１６０Ｂは、ＵＳＢインターフェースを介して電力を供給され得る。

【0086】

図９は、本開示の一実施形態による、ＨＭＤシステム１００を介してユーザに仮想体験を提供するための、コンピュータ２００の機能を示すブロック図である。コンピュータ２００は、主にＨＭＤセンサ１２０、モーションセンサ１３０、注視センサ１４０、コントローラ１６０からの入力に基づいて、様々な処理を実行する。

【0087】

コンピュータ２００は、プロセッサ２０２と、メモリ２０４と、通信制御部２０５とを備える。プロセッサ２０２は、仮想空間特定部９０２と、ＨＭＤ動作検知部９０４と、視線検知部９０６と、基準視線決定部９０８と、視界領域決定部９１０と、仮想視点特定部９１２と、視界画像生成部９１４と、仮想カメラ制御部９１６と、移動方向分析部９１８と、回転速度分析部９２０と、視認性特定部９２２と、視界画像出力部９２４とを含み得る。メモリ２０４は様々な情報を格納するように構成され得る。一例では、メモリ２０４は、仮想空間データ９２６、オブジェクトデータ９２８、アプリケーションデータ９３０、視認性低下度合い情報９３２、その他のデータ９３４を含んでもよい。メモリ２０４はまた、ＨＭＤセンサ１２０、モーションセンサ１３０、注視センサ１４０、コントローラ１６０等からの入力に対応した出力情報をＨＭＤ１１０に関連付けられる表示部１１２へ提供するための演算に必要な、各種データを含んでもよい。オブジェクトデータ９２８は、仮想空間内に配置される様々なオブジェクトに関するデータを含んでもよい。表示部１１２は、ＨＭＤ１１０に内蔵されてもよいし、ＨＭＤ１１０に取り付け可能な別のデバイス（例えば、スマートフォン）のディスプレイであってもよい。

【0088】

図９においてプロセッサ２０２内に含まれるコンポーネントは、プロセッサ２０２が実行する機能を具体的なモジュールとして表現する１つの例にすぎない。複数のコンポーネントの機能が単一のコンポーネントによって実現されてもよい。プロセッサ２０２がすべてのコンポーネントの機能を実行するように構成されてもよい。

【0089】

図１０は、ユーザが没入する仮想空間の画像を表示部１１２に表示するための一般的な処理のフロー図である。

【0090】

図９及び図１０を参照して、仮想空間の画像を提供するためのＨＭＤシステム１００の一般的な処理を説明する。仮想空間４００は、ＨＭＤセンサ１２０、注視センサ１４０及びコンピュータ２００等の相互作用によって提供され得る。

【0091】

処理はステップ１００２において開始する。一例として、アプリケーションデータ９３０に含まれるゲームアプリケーションがコンピュータ２００によって実行されてもよい。ステップ１００４において、プロセッサ２０２（又は、仮想空間特定部９０２）は、仮想空間データ９２６を参照するなどして、ユーザが没入する仮想空間４００を構成する天球状の仮想空間画像４０２を生成する。ＨＭＤセンサ１２０によってＨＭＤ１１０の位置や傾きが検知される。ＨＭＤセンサ１２０によって検知された情報はコンピュータ２００に送信される。ステップ１００６において、ＨＭＤ動作検知部９０４は、ＨＭＤ１１０の位置情報、傾き情報等を取得する。ステップ１００８において、取得された位置情報及び傾き情報に基づいて視界方向が決定される。

【0092】

注視センサ１４０がユーザの左右の目の眼球の動きを検出すると、当該情報がコンピュータ２００に送信される。ステップ１０１０において、視線検知部９０６は、右目及び左目の視線が向けられる方向を特定し、視線方向Ｎ０を決定する。ステップ１０１２において、基準視線決定部９０８は、ＨＭＤ１１０の傾きにより決定された視界方向又はユーザの視線方向Ｎ０を基準視線４０８として決定する。基準視線４０８はまた、ＨＭＤ１１０の位置や傾きに追随する仮想カメラ４０４の位置及び傾きに基づいて決定されてもよい。

【0093】

ステップ１０１４において、視界領域決定部９１０は、仮想空間４００における仮想カメラ４０４の視界領域４１０を決定する。図４に示すように、視界領域４１０は、仮想空間画像４０２のうちユーザの視界を構成する部分である。視界領域４１０は基準視線４０８に基づいて決定される。視界領域４１０をｘ方向から見たｙｚ断面図及び視界領域４１０をｙ方向から見たｘｚ断面図は、既に説明した図６及び図７にそれぞれ示されている。

【0094】

ステップ１０１６において、視界画像生成部９１４は、視界領域４１０に基づいて視界画像を生成する。視界画像は、右目用と左目用の２つの２次元画像を含む。これらの２次元画像が表示部１１２に重畳される（より具体的には、右目用画像が右目用表示部に出力され、左目用画像が左目用表示部に出力される）ことにより、３次元画像としての仮想空間４００がユーザに提供される。ステップ１０１８において、視界画像出力部９２４は、視界画像に関する情報を表示部１１２に出力する。表示部１１２は、受信した視界画像の情報に基づいて、当該視界画像を表示する。処理はステップ１０２０において終了する。

【0095】

図１１は、本開示の一実施形態による方法１１００のフローチャートである。図１２は、図１１のステップ１１１０において実行される処理の具体例を示すフローチャートである。本開示の一実施形態において、コンピュータプログラムが、図１１及び図１２に示される各ステップをプロセッサ２０２（又はコンピュータ２００）に実行させてもよい。また、本開示の別の実施形態は、少なくともプロセッサを備え、当該プロセッサの制御により方法１１００を実行するコンピュータとして実施することもできる。

【0096】

以下、本開示の実施形態について具体的に説明する。ここでは、本開示の実施形態を適用することができる具体例として、ユーザが、当該ユーザに関連付けられるアバター、他のオブジェクト等が配置された仮想空間に没入して楽しむことができるゲームを想定する。しかし、本開示の実施形態は、必ずしもこのような態様に限定されない。本開示の実施形態が、特許請求の範囲において規定される範囲に含まれる様々な態様を取り得ることは、当業者にとって明らかであろう。

【0097】

図１３は、ゲームのプレイ中、ＨＭＤの動き以外の要因（ユーザによるコントローラの操作、アプリケーションによって予め規定されるアバターの移動など）に応じて、ユーザに対応するアバターが仮想空間内を移動する様子を概略的に表す図である。ユーザ１３０４はＨＭＤ１１０を頭部に装着する。この例では、ユーザ１３０４は、図８Ｂに示す構成を有するコントローラ１６０Ｂを操作する。これはコントローラの一例にすぎないことが理解されよう。図８Ａに示すコントローラ１６０Ａなどの、ユーザの身体に装着可能な他の態様のコントローラを含む、様々なコントローラを本開示の実施形態に適用することができる。別の例において、ユーザ１３０４がコントローラを装着せず、ユーザ１３０４に装着されないセンサがユーザ１３０４の動きを検出してもよい。例えば、ユーザ１３０４を撮影するカメラの信号が、ユーザ１３０４の動きを表す信号として、コンピュータ２００に入力されてもよい。

【0098】

本開示の実施形態においては、仮想カメラが移動しないときにはＶＲ酔いが生じにくいことを前提とする。また、ＨＭＤの動きに起因して仮想カメラが移動する場合、仮想カメラが回転してもＶＲ酔いが生じにくいことを前提とする。

【0099】

仮想空間１３００内には、ユーザ１３０４によって操作されるアバター１３０６が配置される。この例では、アバター１３０６は、仮想空間１３００内を自由に移動できる円盤状のオブジェクト１３０８に乗っているものと仮定する。ゲームのプレイ中、ユーザ１３０４は、コントローラ１６０Ｂを操作すること等によって、ユーザ１３０４に関連付けられるアバター１３０６に様々な動作を行わせることができる。

【0100】

図１３に示されるように、アバター１３０６の位置に仮想カメラ１３０２が配置されてもよい。ユーザ１３０４は、仮想カメラ１３０２により（アバター１３０６の視点から）得られた仮想空間１３００の映像を見ることができる。

【0101】

図１１に戻り、処理はステップ１１０２において開始する。プロセッサ２０２は、メモリ２０４に格納されているアプリケーションデータ９３０に含まれるゲームプログラムを読み出して実行する。仮想空間特定部９０２は、仮想空間データ９２６、オブジェクトデータ９２８等に基づいて、実行されたゲームのための仮想空間データを特定する。アバター１３０６に関するデータは、オブジェクトデータ９２８、アプリケーションデータ９３０等に含まれてもよい。仮想空間データは、ユーザ１３０４に関連付けられるアバター１３０６を含む仮想空間を規定する。

【0102】

処理はステップ１１０４に進み、仮想カメラ制御部９１６は、ユーザ１３０４による操作に基づいて、仮想空間１３００内で仮想カメラ１３０２を動作させる。本実施形態では、ユーザ１３０４が頭部１９０を動かさず、仮想カメラ１３０２が、ユーザ１３０４によるコントローラ１６０Ｂに対する操作、アプリケーションによって予め規定されるアバター１３０６の移動などの、ＨＭＤ１１０の動き以外の要因によって動作されることを想定する。

【0103】

処理はステップ１１０６に進む。図１３の例において、オブジェクト１３０８に乗っているアバター１３０６は、位置１３Ａから位置１３Ｂへと、水平面上を移動する。上述のように、この例ではユーザ１３０４は頭部１９０を動かしていないので、ＨＭＤ１１０も動かない。したがって、点線矢印１３１０により示される仮想カメラ１３０２の向きが変化しないまま、仮想カメラ１３０２は、仮想カメラ１３０２の向き１３１０とは異なる、実線矢印１３１２により示される移動方向に移動する。移動方向分析部９１８は、仮想カメラ１３０２の移動方向１３１２を特定する。特定された移動方向１３１２に関する情報はメモリ２０４に格納されてもよい。

【0104】

処理はステップ１１０８に進む。視界画像生成部９１４は、仮想空間データ、仮想カメラ１３０２の位置及び向き等に基づいて、視界画像を生成する。視界画像は、例えば、図１０に関連して既に説明された処理によって生成される。

【0105】

処理はステップ１１１０に進み、視認性特定部９２２は、ステップ１１０８において生成された視界画像に対して適用するべき視認性の低下度合いを特定する。

【0106】

図１２は、ステップ１１１０において実行される処理の具体例を示すフローチャートである。

【0107】

ステップ１２０２において、移動方向分析部９１８は、ステップ１１０６により特定された仮想カメラ１３０２の移動方向１３１２を複数の軸方向の成分に分解する。

【0108】

図１４は、移動方向１３１２を複数の成分に分解する様子を概略的に説明する図である。移動方向分析部９１８は、仮想カメラ１３０２の向き１３１０を基準として、ロール軸方向、ピッチ軸方向及びヨー軸方向を設定する。図１３の例において、仮想カメラ１３０２は、位置１３Ａから位置１３Ｂへと水平に移動する。したがって、移動方向１３１２は、ロール軸方向成分及びピッチ軸方向成分を有し、ヨー軸方向成分を有さない。各軸方向の成分は、移動方向１３１２に対する当該軸方向での移動割合を示す。

【0109】

移動方向分析部９１８は、それぞれの軸の方向と移動方向１３１２との間の角度差が小さいほど当該軸方向の成分の値が大きくなるように、移動方向１３１２を複数の軸方向の成分に分解してもよい。この例では、移動方向１３１２は、正のロール軸方向（以下、「ロール（＋）軸方向」とも呼ぶ）に対して時計回りに３０°だけ傾き、正のピッチ軸方向（以下、「ピッチ（＋）軸方向」とも呼ぶ）に対して反時計回りに６０°だけ傾いている。したがって、移動方向１３１２は、ロール（＋）軸方向の成分がピッチ（＋）軸方向の成分より大きくなるように分解されてもよい。例えば、ロール（＋）軸方向の成分が（９０°−３０°）／９０°＝６０／９０と計算され、ピッチ（＋）軸方向の成分が（９０°−６０°）／９０°＝３０／９０と計算されてもよい。各軸方向の成分は、他の方法で計算されてもよい。例えば、上記の例において、ロール（＋）軸方向の成分はｃｏｓ（３０°）＝√３／２と計算され、ピッチ（＋）軸方向の成分はｃｏｓ（６０°）＝１／２と計算されてもよい。

【0110】

処理はステップ１２０４に進み、視認性特定部９２２は、移動方向１３１２における成分毎の視認性の低下度合いを特定する。視認性特定部９２２は、仮想カメラ１３０２の向きを基準として定まる１つ以上の方向に対する視認性の低下度合いを定めた第１低下度合い情報と、ステップ１２０２により得られた複数の軸方向の成分とを用いて、成分毎の視認性の低下度合いを特定してもよい。

【0111】

図１５は、第１低下度合い情報の例を示す。第１低下度合い情報は、ロール軸方向に対する視認性の低下度合いがピッチ軸方向及びヨー軸方向に対する視認性の低下度合いよりも小さくなるように規定されてもよい。第１低下度合い情報はまた、ロール軸方向のうちの仮想カメラ１３０２の正面方向（ロール（＋）軸方向）に対する視認性の低下度合いが、ロール軸方向のうちの正面方向とは反対方向（ロール（−）軸方向）に対する視認性の低下度合いよりも小さくなるように規定されてもよい。本実施形態のように、ユーザ１３０４が頭部１９０を動かさずに仮想カメラ１３０２を移動させる場合、ロール（＋）軸方向への移動が最もＶＲ酔いが発生しにくく、ロール（−）軸方向への移動がその次にＶＲ酔いが発生しにくく、ピッチ軸方向やヨー軸方向への移動が最もＶＲ酔いが発生し易いと考えられるためである。これは、ロール（＋）軸方向への移動が最も画面変化を予測し易く、ロール（−）軸方向への移動がその次に画面変化を予測し易く、ピッチ軸方向やヨー軸方向への移動が最も画面変化を予測しにくいと考えられるためである。図１５に示す例示的な第１低下度合い情報１５００において、ロール（＋）軸方向、ロール（−）軸方向、ピッチ（＋）軸方向、ピッチ（−）軸方向、ヨー（＋）軸方向及びヨー（−）軸方向に対応する視認性の低下度合いは、それぞれ、１０、３０、５０、５０、５０及び５０である。これは一例にすぎず、第１低下度合い情報は実施態様に合わせて様々に規定され得ることが理解されるべきである。

【0112】

視認性特定部９２２は、それぞれの軸方向に関して、第１低下度合い情報が示す当該軸方向に対応する視認性の低下度合いにステップ１２０２により得られた当該軸方向の成分を乗じることによって、移動方向１３１２における成分毎の視認性の低下度合いを特定してもよい。例えば、上述のように、図１４の例の場合には、移動方向１３１２は、６０／９０の大きさを有するロール（＋）軸方向の成分と３０／９０の大きさを有するピッチ（＋）軸方向の成分とに分解される。図１５に示すように、ロール（＋）軸方向に対応する視認性の低下度合いは１０であり、ピッチ（＋）軸方向に対応する視認性の低下度合いは５０である。したがって、移動方向１３１２のロール（＋）軸方向の成分の視認性の低下度合いは、１０（ロール（＋）軸方向に対応する視認性の低下度合い）×（６０／９０）（ロール（＋）軸方向の成分）＝２０／３という計算により求められてもよい。移動方向１３１２のピッチ（＋）軸方向の成分の視認性の低下度合いは、５０（ピッチ（＋）軸方向に対応する視認性の低下度合い）×（３０／９０）（ピッチ（＋）軸方向の成分）＝５０／３として求められてもよい。

【0113】

ステップ１２０６及び１２０８は、仮想カメラ１３０２が回転する場合に実行される処理であるので、図１３の例では実行されない。これらのステップの処理については別の例に関連して後述する。

【0114】

処理はステップ１２１０に進み、視認性特定部９２２は、ステップ１２０４により特定された成分毎の視認性の低下度合いに基づいて、移動方向１３１２における視認性の低下度合いを特定する。視認性特定部９２２は、成分毎の視認性の低下度合いを合算することによって、移動方向１３１２における視認性の低下度合いを求めてもよい。例えば、移動方向１３１２の視認性の低下度合いは、２０／３（ロール（＋）軸方向の成分の視認性の低下度合い）＋５０／３（ピッチ（＋）軸方向の成分の視認性の低下度合い）≒２３という計算により求められてもよい。

【0115】

図１１に戻り、ステップ１１１２において、視界画像生成部９１４は、ステップ１１１０により特定された視認性の低下度合いを用いて、ステップ１１０８により生成された視界画像の視認性を低下させる。例えば、視界画像の視認性の最大値が１００（％）であるとき、図１３の例における視界画像の視認性は１００（％）−２３（％）＝７７（％）に低下する。視認性を低下させる処理は様々な手法により実現することができる。例えば、ブラー処理、光量低下処理、コントラスト低下処理などが行われてもよい。視界画像の任意の領域の視認性が低下されてもよい。例えば、視界画像内の周辺領域の視認性が低下されてもよい。

【0116】

処理はステップ１１１４に進み、視界画像出力部９２４は、ステップ１１１２により得られた、視認性が低下した視界画像を、ＨＭＤ１１０に関連付けられる表示部１１２に出力する。これにより、ＨＭＤ１１０の動き以外の要因によってアバター１３０６が位置１３Ａから位置１３Ｂへと移動するとき、表示部１１２を介してユーザ１３０４に提供される視界画像の視認性が低下する。

【0117】

このように、本実施形態によれば、ユーザの仮想体験を損なうことなくＶＲ酔いを低減する新規な手法を提供することができる。

【0118】

図１６は、ＨＭＤ１１０の動き以外の要因（ユーザ１３０４によるコントローラ１６０Ｂの操作、アプリケーションによって予め規定されるアバター１３０６の移動など）に応じて、ユーザに対応するアバターが仮想空間内を移動する様子を概略的に表す図である。図１３の例とは異なり、アバター１３０６（及び仮想カメラ１３０２）は、実線矢印１６１２により示されるように、位置１６Ａから位置１６Ｂへと、仮想空間内で斜め上方向に移動する。図１３の例と同様に、移動方向１６１２は、点線矢印１６１０により示される仮想カメラ１３０２の向きとは異なる。

【0119】

図１６の例において視界画像の視認性を低下させる処理は基本的に図１３の例の場合と同様である。但し、図１３において仮想カメラ１３０２が水平方向に２次元的に移動するのに対して、図１６において仮想カメラ１３０２は３次元的に移動するので、処理は部分的に異なる。以下では、図１３及び図１６の例について共通する処理に関する詳細な説明は適宜省略される。

【0120】

図１７Ａ、図１７Ｂ及び図１７Ｃは、ステップ１２０２の処理によって移動方向１６１２が複数の成分に分解される様子を概略的に説明する図である。移動方向分析部９１８は、仮想カメラ１３０２の向き１６１０を基準として、ロール軸方向、ピッチ軸方向及びヨー軸方向を設定する。図１６の例において、仮想カメラ１３０２は、位置１６Ａから位置１６Ｂへと３次元的に移動する。したがって、移動方向１６１２は、ロール軸方向の成分、ピッチ軸方向の成分及びヨー軸方向の成分を有する。それぞれの軸方向の成分は、移動方向１６１２に対する当該軸方向での移動割合を示す。

【0121】

この例では、図１７Ａに示すように、ヨー軸方向から見た場合、移動方向１６１２は、ロール（＋）軸方向に対して時計回りに４５°だけ傾き、ピッチ（＋）軸方向に対して反時計回りに４５°だけ傾いている。また、図１７Ｂに示すように、ピッチ軸方向から見た場合、移動方向１６１２は、ヨー（＋）軸方向に対して時計回りに６０°だけ傾き、ロール（＋）軸方向に対して反時計回りに３０°だけ傾いている。また、図１７Ｃに示すように、ロール軸方向から見た場合、移動方向１６１２は、ヨー（＋）軸方向に対して時計回りに６０°だけ傾き、ピッチ（＋）軸方向に対して反時計回りに３０°だけ傾いている。

【0122】

図１７Ａに示される関係から、ヨー軸方向から見た移動方向１６１２のロール（＋）軸方向の成分が（９０°−４５°）／９０°＝４５／９０という計算により求められてもよく、ピッチ（＋）軸方向の成分が（９０°−４５°）／９０°＝４５／９０という計算により求められてもよい。図１７Ｂに示される関係から、ピッチ軸方向から見た移動方向１６１２のヨー（＋）軸方向の成分が（９０°−６０°）／９０°＝３０／９０という計算により求められてもよく、ロール（＋）軸方向の成分が（９０°−３０°）／９０°＝６０／９０という計算により求められてもよい。図１７Ｃに示される関係から、ロール軸方向から見た移動方向１６１２のヨー（＋）軸方向の成分が（９０°−６０°）／９０°＝３０／９０という計算により求められてもよく、ピッチ（＋）軸方向の成分が（９０°−３０°）／９０°＝６０／９０という計算により求められてもよい。各軸方向の成分は、他の方法で計算されてもよい。

【0123】

図１３の例と同様に、ステップ１２０４において、視認性特定部９２２は、移動方向１６１２における成分毎の視認性の低下度合いを特定する。図１５に示される第１低下度合い情報１５００を用いる場合、ロール（＋）軸方向、ピッチ（＋）軸方向及びヨー（＋）軸方向に対する視認性の低下度合いは、それぞれ、１０、５０及び５０である。一例として、移動方向１６１２のロール（＋）軸方向の成分の視認性の低下度合いは、（１０（ロール（＋）軸方向の成分の視認性の低下度合い）×（４５／９０）（ヨー軸方向から見たロール（＋）軸方向の成分＋１０×（６０／９０）（ピッチ軸方向から見たロール（＋）軸方向の成分））／３（重み付けの例示的な値）＝３５／９という計算により求められてもよい。また、移動方向１６１２のピッチ（＋）軸方向の成分の視認性の低下度合いは、（５０（ピッチ（＋）軸方向の成分の視認性の低下度合い）×（４５／９０）（ヨー軸方向から見たピッチ（＋）軸方向の成分＋５０×（６０／９０）（ロール軸方向から見たピッチ（＋）軸方向の成分））／３＝１７５／９という計算により求められてもよい。また、移動方向１６１２のヨー（＋）軸方向の成分の視認性の低下度合いは、（５０（ヨー（＋）軸方向の成分の視認性の低下度合い）×（３０／９０）（ピッチ軸方向から見たヨー（＋）軸方向の成分＋５０×（３０／９０）（ロール軸方向から見たヨー（＋）軸方向の成分））／３＝１００／９という計算により求められてもよい。

【0124】

図１３の例と同様に、ステップ１２１０において、視認性特定部９２２は、それぞれの成分の視認性の低下度合いを合算してもよい。例えば、移動方向１６１２の視認性の低下度合いは、３５／９（ロール（＋）軸方向の成分の視認性の低下度合い）＋１７５／９（ピッチ（＋）軸方向の成分の視認性の低下度合い）＋１００／９（ヨー（＋）軸方向の成分の視認性の低下度合い）≒３４という計算により求められてもよい。したがって、この例の場合、ステップ１１１２において、視界画像生成部９１４は、視界画像の視認性を最大値の１００（％）から１００（％）−３４（％）＝６６（％）へと低下させてもよい。ステップ１１１４において、視界画像出力部９２４は、視認性が低下した視界画像を、ＨＭＤ１１０に関連付けられる表示部１１２に出力する。

【0125】

図１８は、ＨＭＤの動き以外の要因に応じて、ユーザに対応するアバターが仮想空間内を移動する様子を概略的に表す図である。この例では、アバター１３０６（及び仮想カメラ１３０２）は、実線矢印１８１２により示されるように、位置１８Ａから位置１８Ｂへと、仮想空間内で水平方向に移動し、さらに、矢印１８１４及び１８１５により示されるように回転する。移動方向１８１２は図１３における移動方向１３１２と同じ方向であり、点線矢印１８１０により示される仮想カメラ１３０２の向きとは異なるものとする。位置１８Ａ及び１８Ｂはそれぞれ位置１３Ａ及び１３Ｂと同じであるものとする。したがって、ステップ１２０２及び１２０４の処理により求められる、移動方向１８１２におけるロール（＋）軸方向の成分の視認性低下度合い及びピッチ（＋）軸方向の成分の視認性低下度合いは、それぞれ、２０／３及び５０／３である。

【0126】

仮想カメラ１３０２は、位置１８Ａから位置１８Ｂへ移動するだけでなく、矢印１８１４及び１８１６で示すように回転する。本実施形態において、当該回転は、ＨＭＤ１１０の動き以外の要因（ユーザ１３０４によるコントローラ１６０Ｂに対する操作、アプリケーションによって予め規定されるアバター１３０６の移動など）により引き起こされる。

【0127】

ステップ１２０４の後、処理はステップ１２０６に進み、回転速度分析部９２０は、仮想カメラ１３０２の回転速度を特定する。特定された回転速度はメモリ２０４に格納されてもよい。

【0128】

処理はステップ１２０８に進み、回転速度分析部９２０は、ステップ１２０６により得られた回転速度に対応する視認性の低下度合いを特定する。回転速度分析部９２０は、回転速度に対する視認性の低下度合いを定めた第２低下度合い情報を用いて、視認性の低下度合いを特定してもよい。

【0129】

図１９は、第２低下度合い情報の一例を示す。図１９において、第２低下度合い情報１９００は、回転速度（回転／秒、ｒｐｓ）と視認性低下度合いとの間の関係を示すグラフとして表現されている。第２低下度合い情報１９００は、回転速度が所定速度に達するまでの間、回転速度が速くなるほど視認性の低下度合いが大きくなるように規定されてもよい。さらに、視認性低下度合いの増加率は、回転速度が小さいときほど大きく、回転速度が大きいほど緩やかであってもよい。図１９に示される関係は、予めメモリ２０４に格納されていてもよい。

【0130】

図２０は、図１９のグラフから読み取られて数値化された第２低下度合い情報の例を示す。この例において、回転速度０．０５ｒｐｓ、０．１ｒｐｓ、０．２ｒｐｓ、０．３ｒｐｓ、０．４ｒｐｓ、０．５ｒｐｓ、０．６ｒｐｓ、０．７ｒｐｓ、０．８ｒｐｓ、０．９ｒｐｓ及び１．０ｒｐｓに対応する視認性低下度合いは、それぞれ、１５、２５、３７．５、４４、４７、４８．５、４９．５、４９．８、５０、５０及び５０である。これは一例にすぎず、第２低下度合い情報２０００は実施態様に合わせて様々に規定され得ることが理解されるべきである。図１８の例における回転速度が０．１ｒｐｓであると仮定すると、ステップ１２０８において、回転速度に対応する視認性低下度合いは２５であると特定される。

【0131】

処理はステップ１２１０に進む。視認性特定部９２２は、ステップ１２０４により特定された移動方向１８１２における成分毎の視認性の低下度合い、及びステップ１２０８により特定された回転速度に対応する視認性の低下度合いに基づいて、最終的な視認性の低下度合いを特定する。この例では、第１低下度合い情報１５００に基づいて求められる移動方向１８１２に対する視認性の低下度合いは、２０／３＋５０／３≒２３である。第２低下度合い情報２０００に基づいて求められる回転速度に対する視認性の低下度合いは２５である。最終的な視認性の低下度合いは、上記２つの視認性低下度合いを合算し、２３＋２５＝４８という計算により求められてもよい。この場合、ステップ１１１２において、視界画像生成部９１４は、視界画像の視認性を最大値の１００（％）から１００（％）−４８（％）＝５２（％）へと低下させる。ステップ１１１４において、視界画像出力部９２４は、視認性が低下した視界画像を、ＨＭＤ１１０に関連付けられる表示部１１２に出力する。

【0132】

このように、本実施形態によれば、ＨＭＤの動き以外の要因に応じてユーザに対応するアバターが仮想空間内で移動し且つ回転する場合、仮想カメラの移動による視認性の低下度合い及び仮想カメラの回転による視認性の低下度合いの両方に基づいて、視界画像の視認性の低下度合いが特定される。

【0133】

図２１は、本開示の実施形態に従って生成される、視認性が低下した視界画像の例を示す。図２１（Ａ）、（Ｂ）及び（Ｃ）は、それぞれ、図１３、図１６及び図１８の例に対応する。上述のように、図１３、図１６及び図１８における視認性の低下度合いは、それぞれ、２３、３４及び４８である。したがって、図２１（Ｂ）の視界画像の視認性は図２１（Ａ）の視界画像の視認性より低く、図２１（Ｃ）の視界画像の視認性は図２１（Ｂ）の視界画像の視認性よりさらに低い。視認性を低下させる手法はどのような手法を採用してもよく、例えば、ブラ―処理、光量低下処理、解像度低下処理、及びコントラスト低下処理などが挙げられるが、これらの手法に限定されるものではない。なお、図２１（Ａ）、（Ｂ）及び（Ｃ）に示す例では、視界画像全体の視認性を低下させた場合を例にとり説明したが、視認性を低下させる領域はこれに限定されるものではない。例えば、仮想カメラ４０４の基準視線４０８で注視される視界画像上の要素を含む所定の領域については視認性を低下させず、当該所定の領域外の領域に対して視認性を低下させるようにしてもよい。所定の領域は、例えば、仮想カメラ４０４の基準視線４０８で注視される視界画像上の要素を中心とした矩形領域や円状の領域などが挙げられるが、これらに限定されるものではない。

【0134】

上述のように、本開示の実施形態によれば、ユーザによるコントローラの操作、アプリケーションによって予め規定されるアバターの移動などの、ＨＭＤの動き以外の要因によって仮想カメラが移動されるときでも、仮想体験を損なうことなくＶＲ酔いを低減するための新規な手法を提供することができる。

【0135】

本開示の実施形態が、プロセッサ２０２（又は、コンピュータ２００）、方法１１００、プロセッサ２０２（又は、コンピュータ２００）に方法１１００を実行させるコンピュータプログラム等として実施することができることは、当業者にとって明らかであろう。

【0136】

上述の実施形態においては、ＨＭＤ装置によってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤ装置として、透過型のＨＭＤ装置を採用してもよい。この場合、透過型のＨＭＤ装置を介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間又は複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）空間における仮想体験をユーザに提供してもよい。この場合、手オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間でコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

【0137】

本開示の実施形態が説明されたが、これらが例示にすぎず、本開示の範囲を限定するものではないことが理解されるべきである。本開示の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良等を適宜行うことができることが理解されるべきである。本開示の範囲は、上述した実施形態のいずれによっても限定されるべきではなく、特許請求の範囲及びその均等物によって規定されるべきである。

【符号の説明】

【0138】

１００…ＨＭＤシステム、１１２…表示部、１１４…センサ、１２０…ＨＭＤセンサ、１３０…モーションセンサ、１４０…注視センサ、１５０…サーバ、１６０Ａ、１６０Ｂ…コントローラ、１９０…頭部、１９２…ネットワーク、２００…コンピュータ、２０２…プロセッサ、２０４…メモリ、２０５…通信制御部、２０６…ストレージ、２０８…入出力インターフェース、２１０…通信インターフェース、２１２…バス、４００…仮想空間、４０２…仮想空間画像、４０４…仮想カメラ、４０６…中心、４０８…基準視線、４１０…視界領域、８００…右コントローラ、８０２…グリップ、８０４…フレーム、８０６…天面、８０８、８１０、８１４、８１６…ボタン、８１２…赤外線ＬＥＤ、８１８…アナログスティック、８２０、８２２…ボタン、８２４Ｒ、８２４Ｌ…アナログスティック、９０２…仮想空間特定部、９０４…ＨＭＤ動作検知部、９０６…視線検知部、９０８…基準視線決定部、９１０…視界領域決定部、９１２…仮想視点特定部、９１４…視界画像生成部、９１６…仮想カメラ制御部、９１８…移動方向分析部、９２０…回転速度分析部、９２２…視認性特定部、９２４…視界画像出力部、９２６…仮想空間データ、９２８…オブジェクトデータ、９３０…アプリケーションデータ、９３２…視認性低下度合い情報、９３４…その他のデータ、１３００…仮想空間、１３０２…仮想カメラ、１３０４…ユーザ、１３０６…アバター、１３０８…オブジェクト、１５００…第１低下度合い情報、１９００、２０００…第２低下度合い情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図17C】

【図18】

【図19】

【図20】

【図21】