特許 6092437 仮想空間画像提供方法、及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6092437

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】仮想空間画像提供方法、及びそのプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170227BHJP

   G06F 3/01 20060101ALI20170227BHJP

   G06F 3/0481 20130101ALI20170227BHJP

   H04N 5/64 20060101ALI20170227BHJP

【ＦＩ】

   G06T19/00 300B

   G06F3/01 510

   G06F3/0481

   H04N5/64 511A

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2016-17825(P2016-17825)

(22)【出願日】2016年2月2日

【審査請求日】2016年6月10日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100153028

【弁理士】

【氏名又は名称】上田 忠

(72)【発明者】

【氏名】猪俣 篤

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 国際公開第２０１５／０６８６５６（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／１９７２２６（ＷＯ，Ａ１）

【文献】 特開平１０−３４１３８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００ −１９／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８− ３／０４８１

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイに提供する方法であって、
前記ヘッドマウント・ディスプレイの回転方向及び回転速度を取得するステップと、
前記ヘッドマウント・ディスプレイの変位に基づいて前記仮想空間画像にぼかし処理を施すステップであって、前記回転方向に対応する画面上の方向における前記仮想空間画像の両側の端部領域に、前記回転速度に応じた範囲及び強さでぼかし処理を施すステップと、
を具備したことを特徴とする方法。

【請求項2】

請求項１に記載の方法において、前記ヘッドマウント・ディスプレイの回転方向及び回転速度を、前記ヘッドマウント・ディスプレイの回転に応じた角速度ベクトルを検出することにより取得することを特徴とする方法。

【請求項3】

請求項１又は２に記載の方法において、前記ぼかし処理を施す方向、及び／又は、前記ぼかし処理を施す強さが段階的に設定されることを特徴とする方法。

【請求項4】

請求項１〜３のいずれか１項に記載の方法において、前記回転速度が所定値未満の場合には前記ぼかし処理を施さないことを特徴とする方法。

【請求項5】

請求項１〜４のいずれか１項に記載の方法において、前記回転方向及び／又は回転速度は、離散値として取得されることを特徴とする方法。

【請求項6】

コンピュータに請求項１〜５のいずれか１項に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイ（Head Mounted Display：以下、「ＨＭＤ」）に提供する方法、及びそのプログラムに関する。

【背景技術】

【0002】

特許文献１には、撮像装置の動きの角速度を検出し、その角速度に応じて中心部に対する外周部ないし周縁部のぼかし量を設定したフィルタ処理を行うことによって、映像酔いを防ぐ手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１１６３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の撮像装置は現実空間に置かれたものであり、ＨＭＤを装着して仮想空間に没入しているときのような特殊な視聴環境を想定したものではない。本発明は、ＨＭＤを用いて仮想現実（Virtual Reality:以下ＶＲ）を提供するに当たっての映像酔い（いわゆるＶＲ酔い）を低減することを課題とする。

【0005】

特許文献１に開示されている手法は、立体カメラから取得された入力映像信号に基づいて、特徴検出部により検出対象箇所の動きベクトルを検出して画像の動きの大きさを判断し、判断結果に応じて映像品質を低下させて観察者の視覚的負担を軽減させるというものである。

【0006】

しかしながら、特許文献１は、ＶＲ空間におけるユーザの視野がＨＭＤの動きと同期しているようなケースに対応するものではなく、そのようなケースに適したＶＲ酔いの低減手法は一切開示されていない。

【0007】

本発明は、上記のような課題に鑑みてなされたものであり、その目的は、ＶＲ空間におけるユーザの視野がＨＭＤの動きと同期しているようなケースに特に適した、ＶＲ酔いを低減するための、ユーザが視認する仮想空間画像をＨＭＤに提供する方法、及びそのプログラムを提供することである。

【課題を解決するための手段】

【0008】

上述した課題を解決するための本発明の基本的態様は、ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイに提供する方法であって、前記ヘッドマウント・ディスプレイの回転方向及び回転速度を取得するステップと、前記回転方向に基づいて画像情報量低減化処理を施す方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップと、ユーザが視認する仮想空間において、前記ヘッドマウント・ディスプレイの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ、を具備したことを特徴とする方法に係るものである。なお、本発明における「画像情報量低減化処理」とは、ＨＭＤを装着したユーザが視認する仮想空間画像において、画像情報量を低下させるための処理を意味するものである。画像情報量低減化処理は、画像のぼかし、コントラストの低減、色度情報の低減等の画像情報量を低減させるための各種画像処理を包含する。

【発明の効果】

【0009】

本発明によれば、ＶＲ空間におけるユーザの視野がＨＭＤの動きと連動している視認状態において、ＶＲ酔いを低減することができる。そして、今後、ＨＭＤの高解像度化が進展していく場合にも、高解像度化に伴うＶＲ酔いの発生を効果的に低減させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の一実施形態に係る方法の主要構成を示すフローチャートである。

【図2】図２は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図である。

【図3】図３は、画像生成装置２００の基本機能の構成を示すブロック図である。

【図4A】図４Ａは、ユーザの頭の動きを模式的に示す模式図である。

【図4B】図４Ｂは、センサによるポジション・トラッキングと仮想空間内に配置される仮想カメラとの間の関係を示す模式図である。

【図5】図５は、本発明の実施の一形態に係るフローチャートである。

【図6A】図６Ａは、ＨＭＤのＹ軸回りの回転によりヨー角について角速度が発生した場合に仮想現実空間の水平方向に対して、画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である

【図6B】図６Ｂは、ＨＭＤのＸ軸回りの回転によりピッチ角について角速度が発生した場合に仮想現実空間の垂直方向に対して、画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。

【図6C】図６Ｃは、ＨＭＤの変位方向（図６Ｃでは斜め方向）に画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。

【図7】図７は、画像情報量低減化処理の一態様である画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲の一例を説明するための模式図である。

【発明を実施するための形態】

【0011】

〔本発明の実施形態の説明〕
本発明の実施の形態の概要を例示的に列挙すると以下のとおりである。
〔形態１〕
ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイに提供する方法であって、
前記ヘッドマウント・ディスプレイの回転方向及び回転速度を取得するステップと、
前記回転方向に基づいて画像情報量低減化処理を施す方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップと、
ユーザが視認する仮想空間において、前記ヘッドマウント・ディスプレイの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ、を具備したことを特徴とする方法。
本形態１によれば、ＶＲ酔いを低減しつつ、視認性の低下を防止することができる。

【0012】

〔形態２〕
形態１に記載の方法において、前記ヘッドマウント・ディスプレイの回転方向及び回転速度を、前記ヘッドマウント・ディスプレイの回転に応じた角速度ベクトルを検出することにより取得することを特徴とする方法。
本形態２によれば、ヘッドマウント・ディスプレイの回転方向及び回転速度の取得を簡便に行うことができる。

【0013】

〔形態３〕
形態１又は２に記載の方法において、前記画像情報量低減化処理を施す方向、及び／又は、画像情報量低減化処理を施す強さが段階的に設定されることを特徴とする方法。
本形態３によれば、画像情報量低減化処理を簡便に実現することができる。

【0014】

〔形態４〕
形態１〜３に記載の方法において、前記回転速度が所定値未満の場合には前記画像情報量低減化処理を施さないことを特徴とする方法。
本形態４によれば、特に、視認性の低下を防止することができる。

【0015】

〔形態５〕
形態１〜４に記載の方法において、前記回転方向及び／又は回転速度は、離散値として取得されることを特徴とする方法。
本形態５によれば、画像情報量低減化処理の方向及び／又は程度の設定を簡素化することができるとともに、回転の際の微小なブレ等の影響を回避できる。

【0016】

本発明の他の実施の形態は、上記各方法をコンピュータにより実現するためのプログラムに係るものである。
そして、前記プログラムにおいても、前記方法と同様の作用効果を奏するものである。

【0017】

以下、本発明に係る実施の一形態を図面に基づいて詳細に説明する。なお、本発明は、以下において説明する実施の形態に限定されるべきではなく、特許請求の範囲の記載に基づき解釈されるべきである。また、当業者であれば、他の類似する実施形態を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。

【0018】

〔本発明の構成の概要〕
本発明は、概略以下のような新規な知見に基づいて案出されたものである。
今、仮に、ユーザが現実空間におり、頭を水平方向に回転させた場合の態様を想定すると、回転速度が速い（大きい）場合には、視野角が小さく視認範囲は視線方向に狭まっており、また、周辺領域はモーションブラーのエフェクトがかかってぼやけて視認されることになる。そして、このような視認態様に基づき、ユーザは、自然な視覚系の情報を取得することができ、中心部分の視認領域を除き、取得する情報量を視覚的な負担を生じさせにくい程度に抑えることができる。

【0019】

他方、ＨＭＤを装着したユーザが視認する仮想現実空間においても、ＨＭＤの変位速度が大きい場合に、視認範囲を視線方向に狭め、前記ヘッドマウント・ディスプレイの変位方向に基づいて前記画像情報量低減化処理を施す方向を決定し、ユーザが視認する仮想空間画像に対して、中心部分の視認領域を除き、情報量を低減させるような視認態様を実現することができれば、ユーザは、前述の現実空間のケースと同様に比較的自然な視覚系の情報を取得することが期待できる。そして、中心部分の視認領域を除いた情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするＶＲ酔いを低減させることが期待できる。

【0020】

図１は、上述のような新規な知見に基づく本発明の実施の一形態に係る方法の主要構成を示すフローチャートである。フローチャートには、主要構成として、ＨＭＤの回転方向及び回転速度を取得するステップ２、前記回転方向に基づいて画像情報量低減化処理の方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップ３、及び、ユーザが視認する仮想空間において、ＨＭＤの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ４が示されているが、その詳細については後述する（例えば、図５に係る説明参照）。

【0021】

〔全体システムのハードウェア構成の概要〕
図２は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図であり、全体システム１００のハードウェア構成として、ＨＭＤ１２０と、画像生成装置２００とを含むものである。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。

【0022】

ＨＭＤ１２０は、ユーザ１０１の頭に装着されて利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、センサ１２６とを備える。ＨＭＤ１２０は更に、不図示のスピーカ（ヘッドホン）を備えてもよい。

【0023】

ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１０１の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１２０の外界の光景はユーザ１０１の視界から遮断され、ユーザ１０１の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間、例えば、コンピュータゲームで作り出される世界を画像化した仮想現実空間画像である。

【0024】

センサ１２６は、ＨＭＤ１２０を装着したユーザ１０１の頭がどちらの方向を向いているかを検知するためのセンサである。センサ１２６としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１０１の頭の向きが算出される。ユーザ１０１の頭の向きは、ユーザ１０１が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに利用することができる。例えば、ユーザ１０１が頭を右（又は左、上、下）に向けると、ディスプレイ１２２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出されることになる。

【0025】

なおセンサ１２６として、ＨＭＤ１２０の外部に設けられたセンサを適用することとしてもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の、室内の固定位置に設置された赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１０１の頭の向きを特定することができる。

【0026】

画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するためのシステムである。画像生成装置２００は、ハードウェア構成として、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０６と、通信インターフェイス２０８とを少なくとも備える。画像生成装置２００は、専用の装置であってもよいが、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット端末等として実現することが可能である。

【0027】

メモリ２０４には、少なくともオペレーティングシステムと画像生成用プログラムとが格納されている。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。

【0028】

プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納されたプログラムを実行することによって、画面生成が行われる。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。

【0029】

ユーザ入力インターフェイス２０６は、画像表示システム１００のユーザから画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０６の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。

【0030】

通信インターフェイス２０８は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。

【0031】

なお、画像生成用プログラムは、ＳＮＳプラットフォームとは独立したプログラムとして構築してもよいし、ＳＮＳプラットフォーム上で提供されるプログラムとすることもできる。プログラムが、ＳＮＳプラットフォーム上で提供されるプログラムの場合には、プログラム（アプリケーションソフトウェア）がサーバに実装されており、該サーバが、各ユーザの入力操作に応じて画像生成のための演算処理やデータ処理を実行することになる。したがって、このようなケースにおいては、メモリ２０４に画像生成用プログラムを格納しておく必要はない。

【0032】

〔画像生成装置の基本的動作〕
次に、画像生成装置２００の基本的動作について説明する。なお、以下の説明においては、仮想空間を仮想現実（ＶＲ）空間とする。

【0033】

図３は、画像生成装置２００の基本機能の構成を示すブロック図であり、図２に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される画像生成処理の機能を表す。

【0034】

画像生成部２３１は、ＨＭＤ１２０に表示するための画像を生成する。例えば、画像生成部２３１は、記憶部２２０から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部２３１は、ＨＭＤ１２０を装着した第２ユーザ１０１がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実空間画像を生成する。仮想現実空間画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部２３１によって生成される仮想現実空間画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバター（自分自身）の体の一部（手や足）やアバターが手で持っている物体（銃や剣）等の様々なオブジェクトを含む。仮想現実空間を構成するこのような各オブジェクトの配置位置、形状、色など、仮想現実空間画像を生成するのに必要なデータは、仮想現実空間構成情報２２１として記憶部２２０に格納されている。画像生成部２３１は、記憶部２２０から取得した仮想現実空間構成情報２２１に基づいて、このようなコンピュータゲームの仮想現実空間画像を生成する。

【0035】

また、画像生成部２３１は、センサ１２６からの出力値に基づいて画像を変化させている。例えば、画像生成部２３１が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ１２６からの出力値が示すユーザ１０１の頭の動きに追従して移り変わっていく様子を表す画像であってよい。一例として、図４Ａは、ユーザの頭の動きを模式的に示す。図示されるように、ユーザ１０１の頭の中心とＨＭＤ１２０の中心（ディスプレイ１２２の画面中心）とを結ぶ軸をＺ軸、ユーザ１０１の頭の中心と頭頂部とを結ぶ軸をＹ軸、ユーザ１０１の頭の中心を通りＹ軸及びＺ軸に直交する軸をＸ軸にとる。センサ１２６が例えば角速度センサである場合、センサ１２６からはＸ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角のそれぞれの角速度の値が出力される。画像生成部２３１は、これらの角速度の出力値、即ちユーザ１０１の頭の向きに基づいて、仮想現実空間画像を変化させる。例えば、ユーザ１０１が頭を右に向けた場合、Ｙ軸回りのヨー角が変化する。画像生成部２３１は、Ｙ軸の角速度値の変化に合わせて、仮想現実空間内でユーザの右方向にある光景が映し出されるように、仮想現実空間画像を変化させる。同様に、ユーザ１０１が頭を右に傾けた場合、Ｚ軸回りのロール角が変化する。画像生成部２３１は、Ｚ軸の角速度値の変化に合わせて、仮想現実空間内におけるユーザの視界が右に傾くように、仮想現実空間画像を変化させる。

【0036】

また、画像生成部２３１は、ユーザの位置に基づいて画像を変化させている。例えば、ユーザが仮想現実空間内を歩き回る場合、画像生成部２３１が生成する画像は、仮想現実空間内でユーザが現在立っている位置から見える光景を表す画像であってよい。一例として、仮想現実空間内におけるユーザの経時的な位置情報が記憶部２２０に記憶される。画像生成部２３１は、記憶部２２０から仮想現実空間内におけるユーザの直前の位置情報を取得する。またゲームコントローラなどのユーザ入力インターフェイス２０６からは、ユーザが仮想現実空間内を歩き回るための操作入力として、ユーザの移動方向及び移動速度の指示が入力される。画像生成部２３１は、記憶部２２０から取得したユーザの直前の位置情報と、ユーザ入力インターフェイス２０６から入力されたユーザの移動方向及び移動速度の情報とに基づいて、仮想現実空間内におけるユーザの現在位置を算出する。算出したユーザの現在位置に基づいて、画像生成部２３１は、仮想現実空間内をユーザが歩くのに合わせてユーザの視界が移り変わるように、仮想現実空間画像を変化させる。

【0037】

図４Ｂは、センサ１２６によるポジション・トラッキングと仮想空間４０２内に配置される仮想カメラ４０４との間の関係を示す模式図である。因みに、ポジション・トラッキングとは、センサ１２６を用いてＨＭＤ１２０の位置や傾きに関する情報を検知する機能を意味する。

【0038】

図４Ｂに示すように、仮想空間４０２の内部の所定位置に仮想カメラ４０４が配置され、仮想空間４０２の外部（現実空間）にセンサ１２６が仮想的に配置される。視界領域４０８は、仮想空間画像４１０のうちユーザの視界を構成する部分（視界画像４１８）である。視界領域４０８は基準視線４１２に基づいて決定され、基準視線４１２は仮想カメラ４０４の位置及び傾きに基づいて決定される。このようにして、ＨＭＤ１２０の装着者であるユーザの頭部の動きに応じて、３次元仮想空間としてのＶＲ空間内の所定位置に配置された仮想カメラ４０４が制御され、仮想カメラ４０４により取得された視界領域４０８の映像（視界画像４１８）がユーザにより視認される。ユーザが視認する視界領域４０８は、仮想カメラ４０４の基準視線４１２によって決定され、当該基準視線４１２がＨＭＤ１２０のＺ軸方向（図４Ａ参照）に一致するように、ＨＭＤ１２０の動きと仮想カメラ４０４の動きが対応付けられている。

【0039】

このようにして、画像生成部２３１では、仮想現実空間内におけるユーザの位置と頭の向きに応じた仮想現実空間画像が生成される。生成された仮想現実空間画像は、画像出力部２３９を介してＨＭＤ１２０へ出力されて、ディスプレイ１２２に表示される。これによりユーザは、仮想現実空間において、現在自分が立っている場所から頭を向けた方向に存在する仮想的光景を見ることができる。

【0040】

〔処理の態様例〕
次に、本発明の実施の一形態に係る処理の一例の概略を、図５、図６Ａ、図６Ｂに示されるような例に基づき説明する。図５は、本発明の実施の一形態に係る処理動作を示すフローチャートである。また、図６Ａは、仮想現実空間の水平方向に対して画像情報量低減化処理の一態様である画像のぼかしを付与した場合の態様例を表す模式図、図６Ｂは、仮想現実空間の垂直方向に対して画像情報量低減化処理の一態様である画像のぼかしを付与した場合の態様例を表す模式図、図６Ｃは、ＨＭＤの変位方向（図６Ｃでは斜め方向）に画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。

【0041】

まず、ＨＭＤの角速度センサ１２６（図２参照）から出力されるＸ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角のそれぞれの角速度ωX，ωY，ωZを検出する（Ｓ５０１）。

【0042】

必要に応じて、検出された各角速度ωX，ωY，ωZに対して離散化処理を行う（Ｓ５０２）。ここで、離散化処理とは、連続した値を持つデータである検出された各角速度ωX，ωY，ωZを非連続的な数値（離散値）に置き換えることを意味する。このような離散化処理は、各角速度ωX，ωY，ωZに微小な変動がある場合にその変動の影響を回避するのに有効な手法である。なお、離散化によって得られる離散値は、必ずしも等間隔とする必要はない。例えば、所定値未満の検出値を「０」とみなしたり、所定の範囲を細分化するような離散化も適宜採用し得る。

【0043】

角速度ωX，ωY，ωZにより、各角速度ωX，ωY，ωZを成分とする３次元角速度ベクトルΩが決定される。そこで、角速度ベクトルΩの大きさ｜Ω｜、及び、方向Ω／｜Ω｜を取得する（Ｓ５０３）。

【0044】

必要に応じて、角速度ベクトルΩについて、その大きさ｜Ω｜、及び、方向Ω／｜Ω｜に対して離散化処理を行う（Ｓ５０４）。これは、前述のように、角速度ベクトルΩの大きさ｜Ω｜、及び、方向Ω／｜Ω｜に微小な変動がある場合にその変動の影響を回避するのに有効な手法である。なお、離散化によって得られる離散値は、必ずしも等間隔とする必要はないことも前述のとおりである。

【0045】

次に、角速度ベクトルΩの大きさ｜Ω｜が所定値未満か否かを判定する（Ｓ５０５）。判定結果が是の場合には、画像のぼかしに係る処理を実施しない。また、判定結果が否の場合には、以下のステップに進む。

【0046】

次に、角速度ベクトルΩの方向（ＨＭＤの変位方向）Ω／｜Ω｜に基づいて画像のぼかし処理を施す方向を設定するとともに、角速度ベクトルΩの大きさ｜Ω｜に基づいて画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲を設定する（Ｓ５０６）。なお、ぼかしの強さとは、画像に対してぼかし処理を施す程度を意味し、換言すれば、画像情報量の低減の程度を表すものである。

【0047】

上述の画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲の設定について、図７に基づき説明する。図７は、画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲の一例を説明するための模式図であり、ＨＭＤの変位速度が大きくなるに従って、画像のぼかし処理を施す周辺領域の範囲を拡大するとともに、当該周辺領域における画像のぼかしの強さを増大させて、自然な視認態様を実現するようにした手法の一例を説明するものである。

【0048】

図７において、ＨＭＤの変位方向が図面上で水平方向の場合が説明されており、（β）には、視認範囲中で画像のぼかし処理を施す周辺領域の範囲が示されている。また、（α）には、視認範囲の中心から左右に、画像のぼかしの強さが実線Ａ、一点鎖線Ｂ、破線Ｃで示されている。ここで、実線Ａ、一点鎖線Ｂ、破線Ｃは、それぞれ、ＨＭＤの変位速度が大、中、小のケースに対応するものであり、ＨＭＤの変位速度の大きさに応じた周辺領域における画像のぼかしの強さを模式的に示すものである。図７から明らかなように、ＨＭＤの変位速度が大である程、画像のぼかし処理を施す周辺領域の範囲が大となり、当該周辺領域における画像のぼかしの強さも大となっている。なお、画像のぼかしの強さが、端部方向に行くに従って強くなっているのは、画像のぼかし処理を施さない状態から画像のぼかし処理を徐々に施すように移行させてＨＭＤを装着するユーザに自然な視認態様を提供するためである。また、ＨＭＤの変位速度に応じた画像のぼかしのエフェクトを得るために、実線Ａ、一点鎖線Ｂ、破線Ｃで直線の傾きを異ならせている。図７においては、実線Ａ、一点鎖線Ｂ、破線Ｃが直線状の態様で表されているが、必ずしも、直線に限られるものではなく、曲線状の態様や、段階状に変化する態様であってもよい。

【0049】

そして、ＨＭＤの変位に基づいて前記画像のぼかし処理を実施し、ユーザが視認する仮想空間において画像情報量を低減させた画像を生成する（Ｓ５０７）。

【0050】

上述のステップＳ５０７の処理により得られた画像の具体例を、図６Ａ、図６Ｂ、及び図６Ｃを用いて詳細に説明する。図６Ａは、ＨＭＤのＹ軸回りの回転によりヨー角について角速度が発生した場合に仮想現実空間の水平方向に対して画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。また、図６Ｂは、ＨＭＤのＸ軸回りの回転によりピッチ角について角速度が発生した場合に仮想現実空間の垂直方向に対して画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。更に、図６Ｃは、ＨＭＤの変位方向（図６Ｃでは斜め方向）に画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。

【0051】

まず、ＨＭＤのＹ軸回りの回転によりヨー角について角速度が発生した場合に仮想現実空間の水平方向に対して画像のぼかしを付与することにより生成された画像の図６Ａに示される態様例について説明する。図６Ａの態様例においては、ＨＭＤのＹ軸回りの回転によりヨー角について角速度が発生していることから、当該角速度の大きさに基づいて、水平方向の画像のぼかしの大きさ及び画像のぼかし処理を施す範囲が設定されている。具体的には、当該角速度の大きさが、大、中、小の３段階で示した場合の「中」の段階にある場合が想定されており、中段階の角速度の大きさに基づいて画像のぼかし処理を施す周辺領域の幅を大、中、小の３段階の中の中段階に設定するとともに、当該周辺領域における画像のぼかしの強さ（大きさ）を大、中、小の３段階の中の中段階に設定するものである。そして、このような構成により、上述のように、ユーザは比較的自然な視覚系の情報を取得することができ、取得する情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするＶＲ酔いを低減させることができる。

【0052】

なお、図６Ａの態様例において、角速度の大きさが大又は小となるに従って、画像のぼかし処理を施す周辺領域の幅や画像のぼかしの大きさも大又は小とすることができる。

【0053】

次に、仮想現実空間の垂直方向に対して画像のぼかしを付与することにより生成された画像の図６Ｂに示される態様例を説明する。図６Ｂの態様例においては、ＨＭＤのＸ軸回りの回転によりピッチ角について角速度が発生していることから、当該角速度の大きさに基づいて、垂直方向の画像のぼかしの大きさ及びその画像のぼかし処理を施す範囲が設定されている。具体的には、当該角速度の大きさが、大、中、小の３段階で示した場合の「中」の段階にある場合が想定されており、中段階の角速度の大きさに基づいて画像のぼかし処理を施す周辺領域の幅を大、中、小の３段階の中の中段階に設定するとともに、当該周辺領域における画像のぼかしの強さ（大きさ）を大、中、小の３段階の中の中段階に設定するものである。そして、このような構成により、上述のように、ユーザは比較的自然な視覚系の情報を取得することができ、取得する情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするＶＲ酔いを低減させることができる。

【0054】

なお、図６Ｂの態様例においても、角速度の大きさが大又は小となるに従って、画像のぼかし処理を施す周辺領域の幅や画像のぼかしの大きさも大又は小とすることができる。

【0055】

次に、ＨＭＤの変位方向に画像のぼかしを付与することにより生成された画像の図６Ｃに示される態様例を説明する。一般に、ＨＭＤの変位は、ＨＭＤのＸ軸、Ｙ軸、Ｚ軸回りの回転をもたらすことから、ＨＭＤの変位により、Ｘ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角のそれぞれについて角速度が発生する。この場合には、Ｘ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角を成分とする角速度ベクトルを求め、当該角速度ベクトルの方向に基づいて、画像のぼかし処理を施す方向を決定するとともに、当該角速度ベクトルの大きさに基づいて画像のぼかし処理を施す周辺領域の幅や画像のぼかしの強さ（大きさ）を決定することができる。

【0056】

図６Ｃにおいては、ＨＭＤの変位方向（角速度ベクトルの方向）は、画面上で水平及び垂直方向にそれぞれ成分を有することから、画像のぼかし処理を施す方向は、画面上で斜め方向となる。なお、図６Ｃにおいては、当該角速度ベクトルの大きさが、大、中、小の３段階で示した場合の「中」の段階にある場合が想定されており、中段階の角速度の大きさに基づいて画像のぼかし処理を施す周辺領域（斜め方向の領域）の幅を大、中、小の３段階の中の中段階に設定するとともに、当該周辺領域における画像のぼかしの強さ（大きさ）を大、中、小の３段階の中の中段階に設定するものである。そして、このような構成により、上述のように、ユーザは比較的自然な視覚系の情報を取得することができ、取得する情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするＶＲ酔いを低減させることができる。

【0057】

なお、図６Ｃの態様例においても、角速度ベクトルの大きさが大又は小となるに従って、画像のぼかし処理を施す周辺領域の幅や画像のぼかしの強さ（大きさ）も大又は小とすることができる。そして、ＨＭＤの変位方向に基づいて前記画像のぼかし処理を施す方向を決定し、ユーザが視認する仮想空間画像に対して情報量を低減させた画像を生成することができる。

【0058】

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。

【符号の説明】

【0059】

２ ＨＭＤの回転方向及び回転速度を取得するステップ
３ ＨＭＤの回転方向に基づいて画像情報量低減化処理の方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップ
４ ユーザが視認する仮想空間において、ＨＭＤの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ
１２０ ヘッドマウント・ディスプレイ（ＨＭＤ）
１２２ ディスプレイ
１２６ センサ
１５０ 有線ケーブル
２００ 画像生成装置
２０２ プロセッサ
２０４ メモリ
２０６ ユーザ入力インターフェイス
２０８ 通信インターフェイス
２２０ 記憶部
２２１ 仮想現実空間構成情報
２３０ 処理部
２３１ 画像生成部
２３９ 画像出力部
４０２ 仮想空間
４０４ 仮想カメラ
４０６ 中心
４０８ 視界領域
４１０ 仮想空間画像
４１２ 基準視線
４１８ 視界画像

【要約】

【課題】ＶＲ空間におけるユーザの視野がＨＭＤの動きと同期しているようなケースに適したＶＲ酔い低減方法を提供する。
【解決手段】ＨＭＤのＸ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角のそれぞれの角速度ωX，ωY，ωZを検出し（Ｓ５０１）、各角速度ωX，ωY，ωZを成分とする３次元角速度ベクトルΩの大きさ｜Ω｜、方向Ω／｜Ω｜を取得する（Ｓ５０３）。次に、角速度ベクトルΩの大きさ｜Ω｜が所定値未満か否かを判定し（Ｓ５０５）、判定結果が否の場合には、角速度ベクトルΩの方向Ω／｜Ω｜に基づいて画像のぼかしの方向を設定するとともに、角速度ベクトルΩの大きさ｜Ω｜に基づいて画像のぼかしの大きさ及び前記画像のぼかし処理を施す範囲を設定する（Ｓ５０６）。それにより、ＨＭＤの変位に基づいて前記画像のぼかし処理を実施し、ユーザが視認する仮想空間において画像情報量を低減させた画像を生成する（Ｓ５０７）。
【選択図】図５

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図7】

【図6A】

【図6B】

【図6C】