特開 2024-98257 画像生成装置、画像生成方法および画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098257

(43)【公開日】2024-07-23

(54)【発明の名称】画像生成装置、画像生成方法および画像生成プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240716BHJP

   A63F 13/25 20140101ALI20240716BHJP

   G06F 3/01 20060101ALI20240716BHJP

【ＦＩ】

G06T19/00 300B

A63F13/25

G06F3/01 510

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023001646

(22)【出願日】2023-01-10

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】池田 貴一

(72)【発明者】

【氏名】中川 武

(72)【発明者】

【氏名】天田 崇

(72)【発明者】

【氏名】中村 和城

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA11

5B050CA07

5B050DA10

5B050EA07

5B050EA12

5B050EA13

5B050EA18

5B050EA27

5B050FA02

5B050FA09

5E555AA15

5E555AA27

5E555BA08

5E555BA09

5E555BA27

5E555BB08

5E555BC11

5E555BE16

5E555BE17

5E555CA29

5E555DA08

5E555FA00

(57)【要約】

【課題】仮想空間内のユーザの配置のずれにより三次元画像に対してユーザが違和感を覚えることを抑制する技術を提供する。
【解決手段】本発明の画像生成装置２００は、ヘッドマウントディスプレイ１００の位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間においてユーザが配置される位置及び方向である基準位置及び基準方向の少なくとも１つを決定する基準決定部２０２と、基準位置及び基準方向の少なくとも１つに基づいて、仮想空間におけるユーザの視点位置及び視点方向の少なくとも１つを決定する視点決定部２０３と、視点位置及び視点方向の少なくとも１つに基づいて、仮想空間のオブジェクトをレンダリングして三次元画像を生成するレンダリング部２０４と、三次元画像を新たな基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するリプロジェクション部２０５ｂと、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間においてユーザが配置される位置及び方向である基準位置及び基準方向の少なくとも１つを決定する基準決定部と、
前記基準位置及び基準方向の少なくとも１つに基づいて、前記仮想空間における前記ユーザの視点位置及び視点方向の少なくとも１つを決定する視点決定部と、
前記視点位置及び視点方向の少なくとも１つに基づいて、前記仮想空間のオブジェクトをレンダリングして三次元画像を生成するレンダリング部と、
前記三次元画像を新たな前記基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するリプロジェクション部と、
を備える、画像生成装置。

【請求項2】

前記視点決定部は、前記ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力にさらに基づいて、前記視点位置及び視点方向の少なくとも１つを決定し、
前記リプロジェクション処理は、前記ヘッドマウントディスプレイの位置及び方向の少なくとも１つから前記ヘッドマウントディスプレイの新たな前記位置及び方向の少なくとも１つへの変化量と、前記基準位置及び基準方向の少なくとも１つから前記新たな基準位置及び基準方向の少なくとも１つへの変化量とに基づいて、前記三次元画像を新たな前記視点位置及び視点方向の少なくとも１つに合うように変換する、
請求項１に記載の画像生成装置。

【請求項3】

前記三次元画像を前記ヘッドマウントディスプレイに表示させた後、前記リプロジェクション処理を施した三次元画像を前記ヘッドマウントディスプレイに表示させる表示制御部を備え、
前記リプロジェクション処理は、前記三次元画像が表示されたタイミングから所定時間経過後の前記新たな基準位置及び基準方向の少なくとも１つに合うように前記三次元画像を変換する、
請求項１に記載の画像生成装置。

【請求項4】

前記リプロジェクション処理は、前記ヘッドマウントディスプレイに前記三次元画像が表示されるときの前記新たな基準位置及び基準方向の少なくとも１つに合うように前記三次元画像を変換する、
請求項１に記載の画像生成装置。

【請求項5】

前記異なる指示入力は、前記ヘッドマウントディスプレイとは異なるユーザ入力装置を介した指示入力と、前記仮想空間内での予め定められたシーンを進行させるための指示入力と、のうちの少なくとも１つを含む、
請求項１に記載の画像生成装置。

【請求項6】

ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間におけるユーザの基準位置及び基準方向の少なくとも１つを決定するステップと、
前記基準位置及び基準方向の少なくとも１つに基づいて、前記仮想空間における前記ユーザの視点位置及び視点方向の少なくとも１つを決定するステップと、
前記視点位置及び視点方向の少なくとも１つに基づいて、前記仮想空間のオブジェクトをレンダリングして三次元画像を生成するステップと、
前記三次元画像を新たな前記基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するステップと、
を備える、画像生成方法。

【請求項7】

コンピュータに、
ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間におけるユーザの基準位置及び基準方向の少なくとも１つを決定するステップと、
前記基準位置及び基準方向の少なくとも１つに基づいて、前記仮想空間における前記ユーザの視点位置及び視点方向の少なくとも１つを決定するステップと、
前記視点位置及び視点方向の少なくとも１つに基づいて、前記仮想空間のオブジェクトをレンダリングして三次元画像を生成するステップと、
前記三次元画像を新たな前記基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するステップと、
を実行させるための画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成技術に関する。

【背景技術】

【0002】

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外をユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ：Virtual Reality）映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示される。これにより、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

【0003】

このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の位置及び方向と連動して視点位置及び視点方向を変えてＶＲ映像を生成した場合、ＶＲ映像の生成から表示までに遅延がある。そのため、映像生成時に前提としたユーザの頭部の位置及び方向と、ＶＲ映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の位置及び方向との間でずれが発生する場合がある。その結果、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。そこで、描画画像を映像表示時のヘッドマウントディスプレイの位置及び方向に合ったものに補正するリプロジェクション処理が一般的に用いられている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想空間におけるユーザの視点位置及び視点方向は、ヘッドマウントディスプレイの位置及び方向だけでなく、仮想空間においてユーザが配置される位置及び方向の変化に応じて変化する。このユーザが配置される位置及び方向は、映像生成時点と次の映像生成時点との間に変化する場合がある。この場合、この間に変化したユーザの配置される位置及び方向が反映されず、三次元画像がユーザの予期したものは異なるものとなり、ユーザが違和感を覚える場合がある。

【0005】

上記を鑑み、本発明の目的は、仮想空間内のユーザの配置のずれにより三次元画像に対してユーザが違和感を覚えることを抑制する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の画像生成装置は、ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間においてユーザが配置される位置及び方向である基準位置及び基準方向の少なくとも１つを決定する基準決定部と、前記基準位置及び基準方向の少なくとも１つに基づいて、前記仮想空間における前記ユーザの視点位置及び視点方向の少なくとも１つを決定する視点決定部と、前記視点位置及び視点方向の少なくとも１つに基づいて、前記仮想空間のオブジェクトをレンダリングして三次元画像を生成するレンダリング部と、前記三次元画像を新たな前記基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するリプロジェクション部と、を備える。

【0007】

本発明の他の態様の画像生成方法は、ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間におけるユーザの基準位置及び基準方向の少なくとも１つを決定するステップと、前記基準位置及び基準方向の少なくとも１つに基づいて、前記仮想空間における前記ユーザの視点位置及び視点方向の少なくとも１つを決定するステップと、前記視点位置及び視点方向の少なくとも１つに基づいて、前記仮想空間のオブジェクトをレンダリングして三次元画像を生成するステップと、前記三次元画像を新たな前記基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するステップと、を備える。

【0008】

本発明の他の態様の画像生成プログラムは、コンピュータに、ヘッドマウントディスプレイの位置及び方向の少なくとも１つの指示入力とは異なる指示入力に基づいて、仮想空間におけるユーザの基準位置及び基準方向の少なくとも１つを決定するステップと、前記基準位置及び基準方向の少なくとも１つに基づいて、前記仮想空間における前記ユーザの視点位置及び視点方向の少なくとも１つを決定するステップと、前記視点位置及び視点方向の少なくとも１つに基づいて、前記仮想空間のオブジェクトをレンダリングして三次元画像を生成するステップと、前記三次元画像を新たな前記基準位置及び基準方向の少なくとも１つに合うように変換するリプロジェクション処理を実行するステップと、を実行させるための画像生成プログラムである。

【0009】

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、仮想空間内のユーザの配置のずれにより三次元画像に対してユーザが違和感を覚えることを抑制する技術を提供することが可能となる。

【図面の簡単な説明】

【0011】

【図1】ヘッドマウントディスプレイの外観図である。

【図2】画像生成システムの構成図である。

【図3】図２の画像生成装置の構成図である。

【図4】基準位置及び基準方向、ＨＭＤ位置及びＨＭＤ方向、並びに視点位置及び視点方向の関係を説明するための図である。

【図5】第１実施形態の画像生成装置における画像生成に関する処理の流れを示すフローチャートである。

【図6】基準位置及び基準方向の変化量とＨＭＤ位置及びＨＭＤ方向の変化量と新たな視点位置及び視点方向との関係を説明するための図である。

【図7】第１実施形態のリプロジェクション処理の流れを説明するための図である。

【図8】第２実施形態の画像生成装置における画像生成に関する処理の流れを示すフローチャートである。

【図9】第２実施形態のリプロジェクション処理の流れを説明するための図である。

【発明を実施するための形態】

【0012】

第１実施形態
図１は、ヘッドマウントディスプレイ（ＨＭＤ）１００の外観図である。ＨＭＤ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドフォンから出力される音声や音楽などを聴くための表示装置である。

【0013】

ＨＭＤ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりＨＭＤ１００を装着したユーザの頭部の位置と頭部の回転角や傾きなどの方向を計測することができる。ＨＭＤ１００においては、例えば、ＨＭＤ１００の電源がオンされた時点の頭部の位置及び方向を基準として頭部の位置及び方向が検出される。ＨＭＤ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ＨＭＤ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。

【0014】

図２は、本実施形態に係る画像生成システムの構成図である。画像生成システム１は、ＨＭＤ１００、画像生成装置２００及び入力装置３００を含む。

【0015】

本実施形態の画像生成装置２００は、ゲーム機である。画像生成装置２００は、ネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

【0016】

画像生成装置２００は基本的に、コンテンツのプログラムを処理し、三次元画像を生成してＨＭＤ１００に送信する。コンテンツのプログラムやデータは、例えば、ゲームなどのコンテンツのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体（不図示）からメディアドライブ（不図示）によって読み出される。このＲＯＭ媒体は、光ディスクや光磁気ディスク、ブルーレイ（登録商標）ディスクなどの読出専用の記録メディアである。ある態様の画像生成装置２００は、ＨＭＤ１００を装着したユーザの頭部の位置及び方向（以下、ＨＭＤ位置及びＨＭＤ方向）並びに後述の基準位置及び基準方向に基づいて視点位置及び視点方向を決定し、それに応じた視野となるようにコンテンツの三次元画像を所定のレートで生成し、ＨＭＤ１００に送信する。

【0017】

ＨＭＤ１００は、画像生成装置２００が生成した三次元画像を受信して表示する。ＨＭＤ１００に表示される三次元画像は、予めカメラで撮影された画像の他、ゲーム画像のようなコンピュータグラフィックスによる画像や、ネットワーク経由で配信される遠隔地のライブ画像であってもよい。また、ＨＭＤ１００に表示される三次元画像は、ＶＲ画像、ＡＲ（拡張現実）画像、ＭＲ（複合現実）画像等であってもよい。

【0018】

入力装置３００は、ユーザから受け付けた各種入力を画像生成装置２００に供給する。例えば、入力装置３００は、仮想空間内のユーザの位置及び方向を変更するための指示入力を画像生成装置２００に供給する。入力装置３００は、ゲームコントローラ、キーボード、マウス、ジョイスティック、ユーザのジェスチャを取得するビデオカメラ、平板型ディスプレイの表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現される。本実施形態の入力装置３００は、ユーザ入力装置の一例である。

【0019】

図３は、図２の画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウェアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。画像生成装置２００の少なくとも一部の機能は、ＨＭＤ１００によって実装されてもよい。あるいは、画像生成装置２００の少なくとも一部の機能は、ネットワークを介して画像生成装置２００に接続されたサーバによって実装されてもよい。画像生成装置２００は、ゲーム制御部２０１と、基準決定部２０２と、視点決定部２０３と、レンダリング部２０４と、画像処理部２０５と、送信部２０６と、記憶部２０７と、を備える。

【0020】

ゲーム制御部２０１は、記憶部２０７から読み出したゲームプログラムを実行してゲームを進行させる。ゲーム制御部２０１は、仮想空間内で予め定められたシーンを進行させるための指示入力を基準決定部２０２に送信して、仮想空間内のユーザの後述の基準位置及び基準方向を変更させる。「仮想空間内で予め定められたシーン」とは、例えば、仮想空間内でオブジェクトがユーザに及ぼす作用を表すシーンや、仮想空間内で発生するイベントシーン等を指す。「仮想空間内でオブジェクトがユーザに及ぼす作用」とは、例えば、仮想空間内で、ユーザが物体のオブジェクトに衝突する、ユーザが敵キャラクタのオブジェクトに押される又は引っ張られるなどのユーザとオブジェクトとの位置関係に応じて予め定められる方向にユーザを移動させる作用や、ユーザが乗り物のオブジェクトに乗るなどの乗り物の予め定められた進行経路に従ってユーザを移動させる作用等を指す。「仮想空間内で発生するイベントシーン」は、ムービーシーンなどの予め定められたパターンでユーザの強制的に移動させるシーン等を指す。

【0021】

基準決定部２０２は、ＨＭＤ１００の位置及び方向（以下、ＨＭＤ位置及びＨＭＤ方向）の指示入力とは異なる指示入力に基づいて、仮想空間においてユーザが配置される位置及び方向である基準位置及び基準方向を決定する。基準位置及び基準方向は、ＨＭＤ位置及びＨＭＤ方向の変化によらずに変化する。例えば、基準位置及び基準方向は、入力装置３００を介した指示入力、及び仮想空間内での予め定められたシーンを進行させるためのゲーム制御部２０１からの指示入力のうちの少なくとも１つに基づいて変化する。例えば、基準位置は仮想空間内のユーザの身体的な中心部（例えば、胴体の中心部など）に設定され、基準方向は仮想空間内のユーザの身体の向き（例えば、胴体の向きなど）に設定される。なお、基準位置をユーザの身体的な中心部に設定することはあくまで一例であり、基準位置としては、少なくともユーザの位置に基づく任意の位置に設定することができる。

【0022】

例えば、基準決定部２０２は、記憶部２０７から仮想空間における基準位置及び基準方向を読み出し、入力装置３００及びゲーム制御部２０１の少なくとも１つから受け付けた指示入力に基づいて基準位置及び基準方向を決定する。基準決定部２０２は、この決定した基準位置及び基準方向によって記憶部２０７における基準位置及び基準方向を更新する。

【0023】

視点決定部２０３は、ＨＭＤ位置及びＨＭＤ方向並びに基準位置及び基準方向を取得し、これらに基づいて、仮想空間におけるユーザの視点位置及び視点方向を決定する。例えば、視点決定部２０３は、基準位置及び基準方向を基準として、基準位置及び基準方向に対するＨＭＤ１００の相対位置及び相対方向を反映させるように、視点位置及び視点方向を決定する。

【0024】

図４を用いて、基準位置及び基準方向、ＨＭＤ位置及びＨＭＤ方向、並びに視点位置及び視点方向の関係を説明する。図４は、互いに直交するｘ軸、ｙ軸、及びｚ軸からなる三次元仮想空間をｚ方向から見た図である。ｘ軸を中心軸とした回転角度α、ｙ軸を中心軸とした回転角度β、及びｚ軸を中心軸とした回転角度γとする。図４に示すように、基準位置が（ｘ１、ｙ１、ｚ１）に決定され、ＨＭＤ位置が（ｘ２、ｙ２、ｚ２）と検出された場合、視点位置は（ｘ１＋ｘ２、ｙ１＋ｙ２、ｚ１＋ｚ２）に決定される。また、基準方向が（α１、β１、γ１）に決定され、ＨＭＤ方向が（α２、β２、γ２）と検出された場合、視点方向は（α１＋α２、β１＋β２、γ１＋γ２）に決定される。

【0025】

レンダリング部２０４は、記憶部２０７から画像の生成に必要な画像データを読み出し、仮想空間のオブジェクトをレンダリングして三次元画像を生成する。例えば、レンダリング部２０４は、視点決定部２０３によって決定されたユーザの視点位置及び視点方向に基づいて、ＨＭＤ１００を装着したユーザの視点位置から視点方向に見える仮想空間のオブジェクトをレンダリングして三次元画像を生成する。

【0026】

画像処理部２０５は、レンダリングされた画像に必要に応じた処理を施すことにより、ＨＭＤ１００で表示される三次元画像（以下、ＨＭＤ画像という）を生成し、送信部２０６に与える。画像処理部２０５は、ポストプロセス部２０５ａと、リプロジェクション部２０５ｂと、歪み処理部２０５ｃと、を含む。

【0027】

ポストプロセス部２０５ａは、レンダリング部２０４から供給された画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、三次元画像が自然で滑らかに見えるように後処理を施す。

【0028】

リプロジェクション部２０５ｂは、リプロジェクション処理を実行する。リプロジェクション処理は、第１リプロジェクション処理と第２リプロジェクションとを含む。第１リプロジェクション処理及び第２リプロジェクションについては後述する。リプロジェクション部２０５ｂは、リプロジェクション処理を施した三次元画像を歪み処理部２０５ｃに供給する。

【0029】

歪み処理部２０５ｃは、三次元画像に対してＨＭＤ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施す。

【0030】

送信部２０６は、画像処理部２０５において生成されたＨＭＤ画像をＨＭＤ１００に送信する。本実施形態の送信部２０６は、第１リプロジェクション処理を施したＨＭＤ画像を送信した後、第２リプロジェクション処理を施したＨＭＤ画像を送信する。これにより、本実施形態の送信部２０６は、第１リプロジェクション処理を施したＨＭＤ画像をＨＭＤ１００に表示させた後、第２リプロジェクション処理を施したＨＭＤ画像をＨＭＤ１００に表示させる。本実施形態の送信部は、表示制御部の一例である。

【0031】

記憶部２０７は、基準位置及び基準方向、画像の生成に必要なデータや各種処理を実行するための各種プログラムを格納している。

【0032】

図５を用いて、本実施形態の画像生成装置における画像生成に関する処理Ｓ１００を説明する。

【0033】

ステップＳ１０１で、基準決定部２０２は、基準位置及び基準方向を決定する。本実施形態の基準決定部２０２は、入力装置３００及びゲーム制御部２０１の少なくとも１つから受け付けた指示入力に基づいて、三次元画像をレンダリングするタイミング（以下、描画タイミング）での位置及び方向となるように基準位置及び基準方向を決定する。
基準決定部２０２は、決定した基準位置及び基準方向を視点決定部２０３に供給する。また、基準決定部２０２は、基準位置及び基準方向を新たに決定した場合には、その新たに決定した基準位置及び基準方向をリプロジェクション部２０５ｂに供給する。

【0034】

ステップＳ１０２で、視点決定部２０３は、ＨＭＤ位置及びＨＭＤ方向並びに基準位置及び基準方向に基づいて視点位置及び視点方向を設定する。視点決定部２０３は、決定された視点位置及び視点方向をレンダリング部２０４に供給する。

【0035】

ステップＳ１０３で、レンダリング部２０４は、決定された視点位置及び視点方向に基づいて、仮想空間のオブジェクトをレンダリングして三次元画像を生成する。レンダリング部２０４は、生成した三次元画像を画像処理部２０５のポストプロセス部２０５ａに供給する。

【0036】

ステップＳ１０４で、ポストプロセス部２０５ａは、レンダリングした三次元画像について、ポストプロセスを実行する。ポストプロセス部２０５ａは、ポストプロセスを施した三次元画像をリプロジェクション部２０５ｂに供給する。

【0037】

ステップＳ１０５で、リプロジェクション部２０５ｂは、新たな第１ＨＭＤ位置及び第１ＨＭＤ方向を取得する。ここでの新たな第１ＨＭＤ位置及び第１ＨＭＤ方向は、三次元画像の描画タイミングで得られたＨＭＤ位置及びＨＭＤ方向である。

【0038】

ステップＳ１０６で、リプロジェクション部２０５ｂは、ＨＭＤ位置及びＨＭＤ方向から新たな第１ＨＭＤ位置及び第１ＨＭＤ方向への変化量に基づいて、ポストプロセスを施した三次元画像に対して第１リプロジェクション処理を実行する。第１リプロジェクション処理は、ＨＭＤ位置及びＨＭＤ方向及び新たなＨＭＤ位置及びＨＭＤ方向に基づいて、ポストプロセスが施された三次元画像を新たなＨＭＤ位置及びＨＭＤ方向に合うように変換する処理である。第１リプロジェクション処理により、ステップＳ１０２におけるＨＭＤ位置及びＨＭＤ方向と描画タイミングで得られた新たな第１ＨＭＤ位置及び第１ＨＭＤ方向とのずれによる遅延を低減することができる。リプロジェクション部２０５ｂは、ポストプロセス及び第１リプロジェクション処理を施した三次元画像を歪み処理部２０５ｃに供給する。

【0039】

ステップＳ１０７で、歪み処理部２０５ｃは、ポストプロセス及び第１リプロジェクション処理を施した三次元画像に対して歪み処理を実行する。歪み処理部２０５ｃは、ポストプロセス、第１リプロジェクション処理及び歪み処理を施した三次元画像を送信部２０６に供給する。

【0040】

ステップＳ１０８で、送信部２０６は、ポストプロセス、第１リプロジェクション処理及び歪み処理を施した三次元画像をＨＭＤ画像としてＨＭＤ１００に送信する。これにより、ＨＭＤ１００において第１リプロジェクション処理が施されたＨＭＤ画像が表示されることになる。

【0041】

ステップＳ１０９で、リプロジェクション部２０５ｂは、新たな基準位置及び基準方向並びに新たな第２ＨＭＤ位置及び第２ＨＭＤ方向を取得する。新たな基準位置及び基準方向並びに新たな第２ＨＭＤ位置及び第２ＨＭＤ方向は、例えば、ＨＭＤ画像がＨＭＤ１００に表示されるタイミングから所定時間経過後の基準位置及び基準方向並びにＨＭＤ位置及びＨＭＤ方向である。例えば、レンダリングが６０ｆｐｓ（フレーム／秒）のフレームレートで行われ、フレームインターバルが１６．６ミリ秒である場合、ＨＭＤ画像がＨＭＤ１００に表示されるタイミングから所定時間として８．３ミリ秒経過後の基準位置及び基準方向並びにＨＭＤ位置及びＨＭＤ方向が新たな基準位置及び基準方向並びに新たな第２ＨＭＤ位置及び第２ＨＭＤ方向とされる。なお、ＨＭＤ画像がＨＭＤ１００に表示されるタイミングは、画像生成装置２００でレンダリングされた画像がＨＭＤ１００に伝送される際に想定される伝送時間等を考慮して定められる。

【0042】

ステップＳ１１０で、リプロジェクション部２０５ｂは、基準位置及び基準方向から新たな基準位置及び基準方向への変化量（以下、基準位置及び基準方向の変化量という）と、ＨＭＤ位置及びＨＭＤ方向から新たな第２ＨＭＤ位置及び第２ＨＭＤ方向への変化量（以下、ＨＭＤ位置及びＨＭＤ方向の変化量という）と、に基づいて、第２リプロジェクション処理を実行する。第２リプロジェクション処理は、基準位置及び基準方向及び新たな基準位置及び基準方向とＨＭＤ位置及びＨＭＤ方向及び新たなＨＭＤ位置及びＨＭＤ方向とに基づいて、ポストプロセスが施された三次元画像を新たな視点位置及び視点方向に合うように変換する処理である。第２リプロジェクション処理により、ポストプロセスが施された三次元画像が新たな視点位置及び視点方向から見える三次元画像に変換される。

【0043】

ここで、図６を用いて、基準位置及び基準方向の変化量とＨＭＤ位置及びＨＭＤ方向の変化量と新たな視点位置及び視点方向との関係を説明する。図６に示すように、ステップＳ１０２において決定された視点位置を（ｘ、ｙ、ｚ）とし、基準位置の変化量を（Δｘｒ、Δｙｒ、Δｚｒ）とし、ＨＭＤ位置の変化量を（Δｘｈ、Δｙｈ、Δｚｈ）とすると、新たな視点位置は（ｘ＋Δｘｒ＋Δｘｈ、ｙ＋Δｙｒ＋Δｙｈ、ｚ＋Δｚｒ＋Δｚｈ）と表される。また、ステップＳ１０２において決定された視点方向を（α、β、γ）とし、基準方向の変化量を（Δαｒ、Δβｒ、Δγｒ）とし、ＨＭＤ方向の変化量を（Δαｈ、Δβｈ、Δγｈ）とすると、新たな視点方向は（α＋Δαｒ＋Δαｈ、β＋Δβｒ＋Δβｈ、γ＋Δγｒ＋Δγｈ）と表される。

【0044】

リプロジェクション部２０５ｂは、例えば、上記のように表される新たな視点位置に基づいて視点位置を線形補完し、上記のように表される新たな視点方向に基づいて視点方向を球面線形補完することにより、リプロジェクション処理を実行する。これにより、新たな視点位置及び視点方向に合うように三次元画像が変換される。リプロジェクション部２０５ｂは、第２リプロジェクション処理を施した三次元画像を歪み処理部２０５ｃに供給する。

【0045】

ステップＳ１１１で、歪み処理部２０５ｃは、第２リプロジェクション処理を施した三次元画像に対して歪み処理を実行する。歪み処理部２０５ｃは、ポストプロセス、第２リプロジェクション処理及び歪み処理を施した三次元画像を送信部２０６に供給する。

【0046】

ステップＳ１１２で、送信部２０６は、ポストプロセス、第２リプロジェクション処理及び歪み処理を施した三次元画像をＨＭＤ画像としてＨＭＤ１００に送信する。これにより、ＨＭＤ１００において第２リプロジェクション処理が施されたＨＭＤ画像が表示されることになる。

【0047】

ステップＳ１１２の後、処理Ｓ１００は終了する。

【0048】

図７を用いて、第１実施形態のリプロジェクション処理の流れを説明する。図７中、同期タイミングＶｓｙｎｃはＨＭＤ１００の表示パネルの垂直同期タイミングを示す。三次元画像の描画タイミングに到達すると、その描画タイミングにおける基準位置及び基準方向並びにＨＭＤ位置及びＨＭＤ方向に基づくレンダリング処理１が実行される。次に、描画された三次元画像に対して、レンダリング処理１の描画タイミングで得られた新たな第１ＨＭＤ位置及び第１ＨＭＤ方向に基づいて第１リプロジェクション処理が実行され、その第１リプロジェクション処理済みの三次元画像がＨＭＤ１００に送信される。その結果、タイムスタンプｔ０で第１リプロジェクション処理が適用された三次元画像１－１がＨＭＤ１００で表示される（上記ステップＳ１０１～Ｓ１０８に対応）。第１リプロジェクション処理において基準位置及び基準方向を考慮しない理由は、上述のように三次元画像１－１が描画タイミングでの基準位置及び基準方向が用いられることから、タイムスタンプｔ０における基準位置及び基準方向が概ね反映されているとみなすことができるためである。次に、レンダリング処理１において描画された三次元画像に対して、タイムスタンプｔ０から所定時間経過後（例えば、タイムスタンプｔ１の直前）の新たな基準位置及び基準方向並びに新たな第２ＨＭＤ位置及び第２ＨＭＤ方向に基づいて第２リプロジェクション処理が実行され、その第２リプロジェクション処理済みの三次元画像がＨＭＤ１００に送信される。ここでの所定時間は、例えば、三次元画像がＨＭＤ１００に表示されるタイミングから次のフレームの三次元画像がＨＭＤ１００に表示されるタイミングまでの間のフレームインターバル時間未満の時間であり、例えば、フレームインターバル時間の半分に相当する時間に設定することができる。例えば、フレームインターバル時間が１６．６ｍｓである場合、所定時間は８．３ｍｓに設定される。その後、タイムスタンプｔ１で第２リプロジェクション処理が適用された三次元画像１－２がＨＭＤ１００で表示される（上記ステップＳ１０９～Ｓ１１２に対応）。

【0049】

次の描画タイミングに到達すると、その描画タイミングにおける基準位置及び基準方向並びにＨＭＤ位置及びＨＭＤ方向に基づくレンダリング処理２が実行される。次に、描画された三次元画像に対して、レンダリング処理２の描画タイミングで得られた新たな第１ＨＭＤ位置及び第１ＨＭＤ方向に基づいて第１リプロジェクション処理が実行され、タイムスタンプｔ２で第１リプロジェクション処理が適用された三次元画像２－１がＨＭＤ１００で表示される。次に、レンダリング処理２において描画された三次元画像に対してタイムスタンプｔ２から所定時間経過後（例えば、タイムスタンプｔ３の直前）の新たな基準位置及び基準方向並びに新たな第２ＨＭＤ位置及び第２ＨＭＤ方向に基づいて第２リプロジェクション処理が実行され、タイムスタンプｔ３で第２リプロジェクション処理が適用された三次元画像２－２がＨＭＤ１００で表示される。

【0050】

ここで、映像生成時点と次の映像生成時点との間に例えば入力装置３００やゲーム制御部２０１からの指示入力がなされることにより、この間に仮想空間のユーザの基準位置及び基準方向が変更する場合がある。描画が例えば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、１６．６７ミリ秒ほどの間に変化した基準位置及び基準方向がＨＭＤ画像に反映されないこととなる。その結果、ＨＭＤ画像がユーザの予期したものは異なるものとなり、ユーザが違和感を覚える場合がある。

【0051】

本実施形態では、三次元画像を新たな基準位置及び基準方向に合うように変換するリプロジェクション処理が実行される。本構成によると、映像生成時点と次の映像生成時点との間の基準位置及び基準方向の変化がＨＭＤ画像に反映されるため、この基準位置及び基準方向の変化によりＨＭＤ画像に対してユーザが違和感を覚えることを抑制することができる。

【0052】

本実施形態では、第２リプロジェクション処理は、ＨＭＤ位置及びＨＭＤ方向から新たな第２ＨＭＤ位置及び第２ＨＭＤ方向への変化量と、基準位置及び基準方向から新たな基準位置及び基準方向への変化量とに基づいて、三次元画像を新たな視点位置及び視点方向に合うように変換する。本構成によると、基準位置及び基準方向の変化に加えて、ＨＭＤ位置及びＨＭＤ方向の変化を加味してリプロジェクション処理が実行されるため、ＨＭＤ画像に対してユーザが違和感を覚えることをより効果的に抑制できる。

【0053】

本実施形態では、送信部２０６は、三次元画像をＨＭＤ１００に表示させた後、第２リプロジェクション処理を施した三次元画像をＨＭＤ１００に表示させ、第２リプロジェクション処理は、三次元画像が表示されたタイミングから所定時間経過後の新たな基準位置及び基準方向に合うように変換する。本構成によると、三次元画像を表示した後に、新たな基準位置及び基準方向に合うように変換した画像を補間することにより、より高フレームレートでの表示を実現できる。

【0054】

以下、実施形態の変形例について説明する。

【0055】

本実施形態では、ＨＭＤ位置及びＨＭＤ方向並びに基準位置及び基準方向に基づいて視点位置及び視点方向が決定されたが、これに限定されず、基準位置及び基準方向に基づいて視点位置及び視点方向が決定されてもよい。この場合、新たな基準位置及び基準方向に基づいて、リプロジェクション処理が実行されればよい。

【0056】

本実施形態では、位置及び方向についてリプロジェクション処理が実行されたが、位置及び方向の少なくとも１つについてリプロジェクション処理が実行されてもよい。

【0057】

本実施形態では、図７に示すように、三次元画像の描画タイミングから次の描画タイミングまでの間に、第２リプロジェクション処理が適用された三次元画像が１つ生成されて表示されたが、これに限定されず、第２リプロジェクション処理が適用された三次元画像がそれぞれ異なるタイムスタンプにおいて２つ以上生成されてそれぞれ表示されてもよい。

【0058】

本実施形態では、第１リプロジェクション処理を施したＨＭＤ画像を送信した後、第２リプロジェクション処理を施したＨＭＤ画像を送信したが、これに限定されず、リプロジェクション処理を施していないＨＭＤ画像（すなわち、ステップＳ１０３のレンダリング処理により生成された三次元画像）を送信した後、第２リプロジェクション処理を施したＨＭＤ画像を送信してもよい。

【0059】

第２実施形態
以下、本発明の第２実施形態を説明する。第２実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

【0060】

図８を用いて、本実施形態の画像生成装置における画像生成に関する処理Ｓ２００を説明する。ステップＳ２０１～Ｓ２０８は、図５のステップＳ１０１～Ｓ１０４、Ｓ１０９～Ｓ１１２と基本的に同様である。すなわち、本実施形態の処理Ｓ２００は、図５のステップＳ１０８のような新たなＨＭＤ位置及びＨＭＤ方向のみに基づく第１リプロジェクション処理を実行するものではなく、三次元画像がＨＭＤ１００に表示されるタイミングの新たな基準位置及び基準方向並びに新たなＨＭＤ位置及びＨＭＤ方向に基づく第２リプロジェクション処理を実行するものである。

【0061】

図９を用いて、第２実施形態のリプロジェクション処理の流れを説明する。三次元画像の描画タイミングに到達すると、その描画タイミングにおける基準位置及び基準方向並びにＨＭＤ位置及びＨＭＤ方向に基づくレンダリング処理１が実行される。次に、レンダリング処理１において描画された三次元画像に対して、その三次元画像がＨＭＤ１００に表示されるタイミングの新たな基準位置及び基準方向並びに新たなＨＭＤ位置及びＨＭＤ方向に基づいて第２リプロジェクション処理が実行され、その第２リプロジェクション処理済みの三次元画像がＨＭＤ１００に送信される。ここでは、例えば、三次元画像がＨＭＤ１００に送信されるタイミング（タイムスタンプｔ０）に得られた基準位置等を「三次元画像がＨＭＤ１００に表示されるタイミングの新たな基準位置等」とみなしてもよいし、描画タイミング後に新たに得られた基準位置等に基づいて公知の手法により予測された「三次元画像がＨＭＤ１００に表示されるタイミングの新たな基準位置等」が用いられてもよい。その後、三次元画像がＨＭＤ１００に表示されるタイミングでの新たな基準位置及び基準方向並びに新たなＨＭＤ位置及びＨＭＤ方向に基づくリプロジェクション処理が適用された三次元画像がＨＭＤ１００で表示される。

【0062】

ここで、三次元画像の生成から表示までの間には若干の遅延があるため、この間に基準位置及び基準方向がずれる場合がある。これに対し、本実施形態では、リプロジェクション処理は、三次元画像がＨＭＤ１００に表示されるタイミングの新たな基準位置及び基準方向に合うように三次元画像を変換する。本構成によると、ユーザが基準位置及び基準方向のずれを感知しにくくなるため、ＨＭＤ画像に対してユーザが違和感を覚えることをより効果的に抑制できる。

【0063】

第２実施形態においても、第１実施形態の変形例のように、三次元画像の描画タイミングから次の描画タイミングまでの間に、そのレンダリング処理における三次元画像が最初に表示されたタイミングから所定時間経過後の新たな基準位置及び基準方向に合うように新たにリプロジェクション処理が適用された三次元画像が１つ又は複数表示されてもよ
即ち、図９においては１つのレンダリング処理に対して第２リプロジェクション処理を１回のみ行う実施形態としたが、１つのレンダリング処理に対して、複数回の第２リプロジェクション処理を行う実施形態としてもよい。

【0064】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

【符号の説明】

【0065】

１００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２０１ ゲーム制御部、 ２０２ 基準決定部、 ２０３ 視点決定部、 ２０４ レンダリング部、 ２０５ 画像処理部、 ２０５ａ ポストプロセス部、 ２０５ｂ リプロジェクション部、 ２０５ｃ 歪み処理部、 ２０６ 送信部、 ２０７ 記憶部、 ３００ 入力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】