特許 7599370 画像生成装置、画像生成方法および画像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-05

(45)【発行日】2024-12-13

(54)【発明の名称】画像生成装置、画像生成方法および画像表示プログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241206BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 510A

G09G5/00 550B

G09G5/00 550X

【請求項の数】 8

(21)【出願番号】P 2021063122

(22)【出願日】2021-04-01

(65)【公開番号】P2022158328

(43)【公開日】2022-10-17

【審査請求日】2024-01-29

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】池田 貴一

【審査官】薄井 義明

(56)【参考文献】

【文献】国際公開第２０１８／２２５１８７（ＷＯ，Ａ１）

【文献】国際公開第２０１５／０９８２９２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２４３４７２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１６５２９６２（ＣＮ，Ａ）

【文献】特開２０２０－０４２５９２（ＪＰ，Ａ）

【文献】特開２０２０－０７１７１８（ＪＰ，Ａ）

【文献】特開２０１７－２１５８７５（ＪＰ，Ａ）

【文献】特開２０２０－０６４５２０（ＪＰ，Ａ）

【文献】特開２０２０－０４８１８５（ＪＰ，Ａ）

【文献】特開２０１９－１０６６２８（ＪＰ，Ａ）

【文献】特開２０２１－０３５８１０（ＪＰ，Ａ）

【文献】特開２０２０－０７１３９４（ＪＰ，Ａ）

【文献】特表２０１８－５００６１６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００４４７９２（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１５８８９６（ＷＯ，Ａ１）

【文献】国際公開第２０１６／００２３１８（ＷＯ，Ａ１）

【文献】国際公開第２０１９／２２９８１６（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０８０１７７（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１６９９４（ＷＯ，Ａ１）

【文献】山口 勝也, 木島 竜吾，ＶＲシステムのためのＵＳＢ通信を用いた統合時間軸の構成とＰＣ－デバイス同期精度の評価，第２１回日本バーチャルリアリティ学会大会論文集，日本，2016年09月16日，P.33D-01

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、
現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて画像をレンダリングするレンダリング部と、
前記予測した遅延時間に基づいて、レンダリングされた前記画像に対してリプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、
前記画像生成に関する処理の開始から、前記画像処理部によって前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積する時間蓄積部と、
を備え、
前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
前記時間予測部は、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測し、
前記時間蓄積部は、前記ヘッドマウントディスプレイの垂直同期タイミング毎にカウント値を増分するカウンタを備え、
前記時間蓄積部は、前記画像生成に関する処理の開始から前記レンダリングされた画像に対する画像処理の開始までの前記カウント値に基づいて算出された前記描画時間を前記データ記憶部に蓄積することを特徴とする画像生成装置。

【請求項2】

ＨＭＤ画像の生成を開始させるための描画コマンドのフレームデータにフレームＩＤを紐づけてレンダリング部に供給する描画コマンド供給部と、
画像生成に関する処理の開始から前記ＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、
現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて画像をレンダリングする前記レンダリング部と、
前記予測した遅延時間に基づいて、レンダリングされた前記画像に対してリプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、
前記画像生成に関する処理の開始から、前記画像処理部によって前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積する時間蓄積部と、
を備え、
前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
前記時間予測部は、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測し、
を備え、
前記レンダリング部は、前記描画コマンドに応答してレンダリング処理を開始し、前記レンダリングされた画像のフレームデータに前記フレームＩＤを紐づけて前記画像処理部に供給し、
前記画像処理部は、前記ＨＭＤ画像のフレームデータに前記フレームＩＤを紐づけ、
前記時間蓄積部は、前記フレームＩＤにそれぞれ紐づけられた、前記描画コマンドのフレームデータにおける前記描画コマンドの生成開始時のタイムスタンプと、前記画像処理部による前記画像処理の開始時のタイムスタンプとに基づいて算出された前記描画時間を前記データ記憶部に蓄積する、画像生成装置。

【請求項3】

前記姿勢情報及び前記予測した遅延時間に基づいて、前記現在から前記予測した遅延時間の経過後の前記ヘッドマウントディスプレイの姿勢の予測結果を示す予測姿勢情報を生成する姿勢予測部をさらに備え、
前記画像処理部は、前記予測姿勢情報に基づいて、前記レンダリングされた画像にリプロジェクション処理を施すことにより、前記ＨＭＤ画像を生成する、請求項１又は２に記載の画像生成装置。

【請求項4】

前記描画コマンド供給部は、前記画像に関する処理とは別の後続の画像に関する処理において、前記画像に関する処理が実行されている前記フレームデータに紐づけられたフレームＩＤとは異なるフレームＩＤを前記描画コマンドに紐づける、請求項２に記載の画像生成装置。

【請求項5】

画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測するステップと、
現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得するステップと、
前記姿勢情報に基づいて画像をレンダリングするステップと、
前記予測した遅延時間に基づいて、レンダリングされた前記画像に対してリプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成するステップと、
前記画像生成に関する処理の開始から、前記生成するステップにおいて前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積するステップと、
を含み、
前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
前記予測するステップは、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測し、
前記蓄積するステップは、前記ヘッドマウントディスプレイの垂直同期タイミング毎にカウント値を増分するカウンタによる、前記画像生成に関する処理の開始から前記レンダリングされた画像に対する画像処理の開始までの前記カウント値に基づいて前記描画時間を算出するステップと、算出された前記描画時間を前記データ記憶部に蓄積するステップとを含むことを特徴とする画像生成方法。

【請求項6】

ＨＭＤ画像の生成を開始させるための描画コマンドのフレームデータにフレームＩＤを紐づけるステップと、
画像生成に関する処理の開始から前記ＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測するステップと、
現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得するステップと、
前記姿勢情報に基づいて画像をレンダリングするステップと、
前記予測した遅延時間に基づいて、レンダリングされた前記画像に対してリプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成するステップと、
前記画像生成に関する処理の開始から、前記生成するステップにおいて前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積するステップと、
を含み、
前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
前記予測するステップは、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測し、
前記レンダリングするステップは、前記フレームＩＤが紐付けられた前記描画コマンドに応答してレンダリング処理を開始し、前記レンダリングされた画像のフレームデータに前記フレームＩＤを紐づけ、
前記生成するステップは、前記レンダリングされた画像のフレームデータに紐付けられた前記フレームＩＤに基づいて、前記ＨＭＤ画像のフレームデータに前記フレームＩＤを紐づけ、
前記蓄積するステップは、前記フレームＩＤにそれぞれ紐づけられた、前記描画コマンドのフレームデータにおける前記描画コマンドの生成開始時のタイムスタンプと、前記画像処理の開始時のタイムスタンプとに基づいて算出された前記描画時間を前記データ記憶部に蓄積することを特徴とする画像生成方法。

【請求項7】

プロセッサを、
画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、
現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて画像をレンダリングするレンダリング部と、
前記予測した遅延時間に基づいて、レンダリングされた前記画像に対してリプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、
前記画像生成に関する処理の開始から、前記画像処理部によって前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積する時間蓄積部と、
として機能させ、
前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
前記時間予測部は、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測し、
前記時間蓄積部は、前記ヘッドマウントディスプレイの垂直同期タイミング毎にカウント値を増分するカウンタを備え、
前記時間蓄積部は、前記画像生成に関する処理の開始から前記レンダリングされた画像に対する画像処理の開始までの前記カウント値に基づいて算出された前記描画時間を前記データ記憶部に蓄積する、画像生成プログラム。

【請求項8】

プロセッサを、
ＨＭＤ画像の生成を開始させるための描画コマンドのフレームデータにフレームＩＤを紐づけてレンダリング部に供給する描画コマンド供給部と、
画像生成に関する処理の開始から前記ＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、
現在の前記ヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて画像をレンダリングする前記レンダリング部と、
前記予測した遅延時間に基づいて、レンダリングされた前記画像に対してリプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、
前記画像生成に関する処理の開始から、前記画像処理部によって前記レンダリングされた画像に対する画像処理が開始されるまでの描画時間をデータ記憶部に蓄積する時間蓄積部と、
として機能させ、
前記データ記憶部は、前記ＨＭＤ画像が生成されてから前記ヘッドマウントディスプレイに表示されるまでの表示処理時間を予め記憶しており、
前記時間予測部は、前記蓄積された描画時間及び前記表示処理時間に基づいて前記遅延時間を予測し、
前記レンダリング部は、前記描画コマンドに応答してレンダリング処理を開始し、前記レンダリングされた画像のフレームデータに前記フレームＩＤを紐づけて前記画像処理部に供給し、
前記画像処理部は、前記ＨＭＤ画像のフレームデータに前記フレームＩＤを紐づけ、
前記時間蓄積部は、前記フレームＩＤにそれぞれ紐づけられた、前記描画コマンドのフレームデータにおける前記描画コマンドの生成開始時のタイムスタンプと、前記画像処理部による前記画像処理の開始時のタイムスタンプとに基づいて算出された前記描画時間を前記データ記憶部に蓄積する、画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成技術に関する。

【背景技術】

【0002】

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ：Virtual Reality）映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示される。これにより、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

【0003】

このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動き（姿勢）と連動して視点や視線方向を変えてＶＲ映像を生成した場合、ＶＲ映像の生成から表示までに遅延がある。そのため、映像生成時に前提としたユーザの姿勢と、ＶＲ映像をヘッドマウントディスプレイに表示した時点でのユーザの姿勢との間でずれが発生する場合がある。その結果、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。そこで、描画画像を映像表示時の姿勢に合ったものに補正するリプロジェクション処理が一般的に用いられている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ヘッドマウントディスプレイを用いて画像を提供するために、性能の異なる様々な画像生成システムが開発されている。それに伴い、利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用する技術が求められている。

【0005】

上記を鑑み、本発明の目的は、利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の画像生成装置は、画像生成に関する処理の開始からＨＭＤ画像がヘッドマウントディスプレイに表示されるまでの遅延時間を予測する時間予測部と、前記予測した遅延時間に基づいて、リプロジェクション処理を実行することにより、前記ＨＭＤ画像を生成する画像処理部と、を備えることを特徴とする。

【0007】

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0008】

本発明によれば、利用する画像生成システムに応じて画像の生成から表示までの遅延時間をより適切に設定して、リプロジェクション処理に適用することが可能となる。

【図面の簡単な説明】

【0009】

【図1】ヘッドマウントディスプレイの外観図である。

【図2】画像生成システムの構成図である。

【図3】図２の画像生成装置の構成図である。

【図4】画像生成に関する処理の開始からＨＭＤ画像がＨＭＤに表示されるまでの流れを説明するための図である。

【図5】画像生成装置における画像生成に関する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

（実施形態）
図１は、ヘッドマウントディスプレイ（ＨＭＤ）１００の外観図である。ＨＭＤ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドフォンから出力される音声や音楽などを聴くための表示装置である。

【0011】

ＨＭＤ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりＨＭＤ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

【0012】

ＨＭＤ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ＨＭＤ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。

【0013】

ＨＭＤ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ＨＭＤ１００に表示される画像の生成方法を説明する。なお、本実施の形態の画像生成方法は、狭義のＨＭＤ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

【0014】

図２は、本実施の形態に係る画像生成システムの構成図である。画像生成システム１は、ＨＭＤ１００及び画像生成装置２００を含む。ＨＭＤ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）や映像出力インタフェースの規格であるＤｉｓｐｌａｙＰｏｒｔなどのインタフェースを介して画像生成装置２００に接続される。

【0015】

本実施形態では、ＨＭＤ１００と画像生成装置２００の間のデータ伝送路３００はＨＤＭＩ伝送路またはＤｉｓｐｌａｙＰｏｒｔ伝送路である。ＨＤＭＩ規格またはＤｉｓｐｌａｙＰｏｒｔ規格では、画像フレームに紐付けてセカンダリデータパケットを伝送することができ、セカンダリデータパケットにフレームに関連するメタデータを含めることができる。ＨＤＭＩ２．１規格には動的ＨＤＲ（High Dynamic Range）と呼ばれる機能があり、映像の動的メタデータ（Dynamic Metadata）を参照してシーンに応じてフレーム毎に輝度や色の深度を最適に調整した映像を生成することができる。ＨＤＭＩ２．１規格では動的メタデータは、シーンの最大輝度、平均輝度、最小輝度など動的ＨＤＲに必要な情報を映像に同期させて伝送することができる。ＨＭＤ１００と画像生成装置２００の通信インタフェースは、メタデータを映像と同期させて伝送できるものであれば、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔに限られない。

【0016】

画像生成装置２００は、ＨＭＤ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してＨＭＤ１００の予測位置・姿勢情報を生成する。画像生成装置２００は、ＨＭＤ１００の予測位置・姿勢情報を前提としてＨＭＤ１００用の画像（以下、ＨＭＤ画像とする）を描画し、ＨＭＤ１００に伝送する。

【0017】

本実施形態の画像生成装置２００はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

【0018】

画像生成装置２００は基本的に、コンテンツのプログラムを処理し、ＨＭＤ画像を生成してＨＭＤ１００に送信する。コンテンツのプログラムやデータは、ゲームなどのコンテンツのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体（不図示）からメディアドライブ（不図示）によって読み出される。このＲＯＭ媒体は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。ある態様において画像生成装置２００は、ＨＭＤ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるようにコンテンツのＨＭＤ画像を所定のレートで生成する。

【0019】

ＨＭＤ１００はＨＭＤ画像のデータを受信し、コンテンツの画像として表示する。ＨＭＤ１００に表示される映像は、予めカメラで撮影された映像の他、ゲーム映像のようなコンピュータグラフィックスによる映像や、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。また、ＨＭＤ１００に表示される画像は、ＶＲ画像、ＡＲ（拡張現実）画像、ＭＲ画像等であってもよい。

【0020】

図３は、図２の画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウェアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。画像生成装置２００は、位置・姿勢取得部２０１と、視点・視線設定部２０２と、描画コマンド供給部２０３と、時間蓄積部２０４と、時間予測部２０５と、位置・姿勢予測部２０６と、レンダリング部２０７と、画像処理部２０８と、ＨＤＭＩ送受信部２０９と、データ記憶部２１０と、を備える。

【0021】

画像生成装置２００の少なくとも一部の機能をＨＭＤ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

【0022】

位置・姿勢取得部２０１は、ＨＭＤ１００の現在の位置・姿勢情報Ｌ１をＨＭＤ１００から取得する。

【0023】

視点・視線設定部２０２は、位置・姿勢取得部２０１により取得されたＨＭＤ１００の位置・姿勢情報Ｌ１を用いて、ユーザの視点位置および視線方向を設定する。

【0024】

描画コマンド供給部２０３は、ＨＭＤ画像の生成を開始させるための描画コマンドを生成する。描画コマンド供給部２０３は、描画コマンドのフレームデータを後述のフレームＩＤに紐づける。

【0025】

時間蓄積部２０４は、同一のフレームＩＤに紐づけられた各フレームデータに関する後述の第１及び第２タイムスタンプを蓄積して後述の描画時間を算出し、この描画時間をデータ記憶部２１０に蓄積する。

【0026】

時間予測部２０５は、後述するように、データ記憶部２１０に蓄積された過去の描画時間及び表示処理時間に基づいて、画像生成に関する処理を開始してからＨＭＤ画像がＨＭＤ１００に表示されるまでの遅延時間を予測する。

【0027】

位置・姿勢予測部２０６は、時間予測部２０５により予測された遅延時間の間の位置および姿勢の変化量を予測する。位置・姿勢予測部２０６は、ＨＭＤ１００を装着したユーザの頭部の並進速度や角速度に遅延時間を乗じることで位置および姿勢の変化量を求めることができる。位置・姿勢予測部２０６は、現在の位置・姿勢情報Ｌ１に遅延時間の間の位置および姿勢の変化量を加算することにより遅延時間の経過後の予測位置・姿勢情報Ｌ２を生成する。

【0028】

レンダリング部２０７は、描画コマンドに応答して、データ記憶部２１０から画像の生成に必要な画像データを読み出し、仮想空間のオブジェクトをレンダリングして画像を生成する。例えば、レンダリング部２０７は、視点・視線設定部２０２によって設定されたユーザの視点位置および視線方向にしたがって、ＨＭＤ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングすることにより画像を生成する。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。レンダリング部２０７は、レンダリング画像のフレームデータを後述のフレームＩＤに紐づける。

【0029】

画像処理部２０８は、レンダリング画像に必要に応じた画像処理を施すことにより、ＨＭＤ画像を生成し、ＨＤＭＩ送受信部２０９に与える。画像処理部２０８は、ポストプロセス部２０８ａと、リプロジェクション部２０８ｂと、歪み処理部２０８ｃとを含む。画像処理部２０８は、ＨＭＤ画像のフレームデータを後述のフレームＩＤに紐づける。

【0030】

ポストプロセス部２０８ａは、レンダリング部２０７から供給された画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、ＣＧ画像が自然で滑らかに見えるように後処理を施す。

【0031】

リプロジェクション部２０８ｂは、位置・姿勢予測部２０６から予測位置・姿勢情報Ｌ２を受け取り、ポストプロセスが施された画像に対してリプロジェクション処理を施す。これにより、リプロジェクション部２０８ｂは、ポストプロセスが施された画像を遅延時間に応じた視点位置・視線方向から見える画像に変換する。

【0032】

歪み処理部２０８ｃは、リプロジェクション処理が施された画像に対してＨＭＤ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施すことにより、ＨＭＤ画像を生成する。

【0033】

ＨＤＭＩ送受信部２０９は、画像処理部２０８からＨＭＤ画像を受け取る。ＨＤＭＩ送受信部２０９は、ＨＤＭＩにしたがってＨＭＤ画像をＨＭＤ１００に伝送する。

【0034】

データ記憶部２１０は、画像の生成に必要なデータや各種処理を実行するための各種プログラムを格納する。データ記憶部２１０は、後述する第１及び第２タイムスタンプをフレームＩＤに紐づけて記憶する。データ記憶部２１０は、後述する描画時間及び表示処理時間を記憶する。

【0035】

ここで、ＨＭＤ１００の姿勢を検知し、次の描画範囲を確定し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がＨＭＤ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、ＨＭＤ１００の回転を検知してから画像を出力するまでに１フレーム分の遅れが生じる。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。さらに、画像生成装置２００で描画された画像をデータ伝送路３００でＨＭＤ１００に伝送する際にもレイテンシが生じる。

【0036】

そこで、生成された画像に対してリプロジェクション処理が行われる。リプロジェクション処理において、レンダリングした画像を遅延時間経過後に想定されるＨＭＤ１００の位置と姿勢に合わせて補正することで、人間がずれを感知しにくいようにしている。

【0037】

従来、この遅延時間は、ゲームなどのコンテンツの制作者側によって、そのコンテンツに合わせて個別に設定されている。一方で、ＨＭＤ１００を用いて画像を提供するために、性能の異なる様々な画像生成システムが開発されている。このような異なる性能の画像生成システム間では、遅延時間はＨＭＤ１００及び画像生成装置２００によって異なる。例えば、画像生成に関する処理の開始から画像処理部によるレンダリング画像に対する画像処理が開始されるまでの描画時間は、ＨＭＤ１００及び画像生成装置２００毎に異なる。また、例えば、画像生成装置２００において生成されたＨＭＤ画像がＨＭＤ１００に表示されるまでの表示処理時間は、ＨＭＤ１００及び画像生成装置２００の性能に依存して異なる。そのため、設定された遅延時間が特定の画像生成システムにおいて適切ではない場合がある。その結果、画像生成時に前提としたユーザの姿勢と、ＨＭＤ画像をＨＭＤ１００に表示した時点でのユーザの姿勢との間でずれが発生し、ユーザはＶＲ酔いをしてしまう場合があった。

【0038】

本実施形態では、画像生成装置２００において画像生成に関する処理の開始からＨＭＤ画像がＨＭＤ１００に表示されるまでの遅延時間が予測される。ここでの画像生成に関する処理とは、描画コマンドの生成処理、レンダリング画像の生成処理及びＨＭＤ画像の生成処理（レンダリング画像に対する画像処理）を含む。本実施形態では、画像生成システム毎に予測された遅延時間を用いてリプロジェクション処理が実行される。したがって、画像生成システムの性能に起因した、画像生成時に前提としたユーザの姿勢とＨＭＤ画像をＨＭＤ１００に表示した時点でのユーザの姿勢との間のずれを抑制できる。以下、これについて詳細に説明する。

【0039】

図４を用いて、画像生成に関する処理の開始からＨＭＤ画像がＨＭＤ１００に表示されるまでの流れを説明する。図４中、同期タイミングＶｓｙｎｃはＨＭＤ１００の表示パネルの垂直同期タイミングを示し、処理タイミングＶ’は画像生成に関する処理のスレッドが立ち上がるタイミングを示す。

【0040】

処理タイミングＶ’になると、タイミングｔ１で、ＣＰＵによってフレームＩＤ１を引数にbeginFrame()を宣言するＡＰＩがコールされ、描画コマンド供給部２０３が描画コマンドの生成処理を開始する。このとき、描画コマンド供給部２０３は、描画コマンドのフレームデータにフレームＩＤ１を紐づける。

【0041】

その後、タイミングｔ２で、ＣＰＵによってフレームＩＤ１に紐づいたフレームデータのタイムスタンプを返すＡＰＩがコールされる。このとき、時間予測部２０５は、データ記憶部２１０に蓄積された過去の描画時間及び表示処理時間と同期タイミングＶｓｙｎｃとに基づいて、遅延時間を予測する。例えば、時間予測部２０５は、過去の描画時間及び表示処理時間を足し合わせた時間を遅延時間として算出する。時間予測部２０５は、予測した遅延時間を位置・姿勢予測部２０６に供給する。

【0042】

ここでの描画時間とは、画像生成に関する処理の開始から画像処理部２０８によるレンダリング画像に対する画像処理が開始されるまでの時間である。ここでの過去の描画時間は、データ記憶部２１０に蓄積された描画時間のうちの任意のいくつかの描画時間の平均値である。このように過去の描画時間として上記平均値を採用することにより、過去の描画時間を予測時間により細かい値まで反映させることができる。なお、初回起動時のような描画時間がデータ記憶部２１０に蓄積されていない状態では、時間予測部２０５は、例えば描画時間を０として遅延時間を予測し、それ以降は蓄積された描画時間を用いて遅延時間を予測する。

【0043】

ここでの表示処理時間は、画像生成装置２００において生成されたＨＭＤ画像がＨＭＤ１００に表示されるまでの時間である。図４に示すように、この表示処理時間は、ＨＭＤ画像の生成処理の開始時から次の同期タイミングＶｓｙｎｃまでの第１処理時間と、この同期タイミングＶｓｙｎｃからＨＭＤ画像がＨＭＤ１００に表示されるまでの第２処理時間と、を含む。

【0044】

第１処理時間は、例えばゲームなどのコンテンツの制作者側によって事前に設定された値としてデータ記憶部２１０に記憶される。第１処理時間は、コンテンツ毎に適した値に設定される。

【0045】

第２処理時間は、画像生成システム１に固有の値として事前にデータ記憶部２１０に記憶されている。第２処理時間は、画像生成システム１において事前にその評価を行うことで得られる。本実施形態では、異なる複数の画像生成システム１全体について評価することによって得られた第２処理時間の理論値が用いられる。これに限定されず、１つの画像生成システム１毎にキャリブレーションされた第２処理時間が用いられてもよい。

【0046】

タイミングｔ３で描画コマンドの生成処理が完了すると、描画コマンド供給部２０３は、フレームＩＤ１に紐づけられた描画コマンドのフレームデータをレンダリング部２０７に供給する。タイミングｔ３後の次の処理タイミングＶ’になると、位置・姿勢取得部２０１によって位置・姿勢情報Ｌ１が取得され、位置・姿勢情報Ｌ１に基づいて視点・視線設定部２０２によって視点位置及び視点方向が設定される。

【0047】

レンダリング部２０７は、設定された視点位置及び視点方向に基づいて、レンダリング処理を開始する。このとき、レンダリング部２０７は、レンダリング画像のフレームデータに、フレームＩＤ１を紐づける。また、位置・姿勢予測部２０６は、予測した遅延時間及び位置・姿勢情報Ｌ１に基づいて予測位置・姿勢情報Ｌ２を生成する。

【0048】

タイミングｔ４でレンダリング処理が完了すると、レンダリング部２０７は、フレームＩＤ１に紐づけられたレンダリング画像のフレームデータを画像処理部２０８に供給する。また、位置・姿勢予測部２０６は、予測位置・姿勢情報Ｌ２を画像処理部２０８に供給する。

【0049】

タイミングｔ４後の次の処理タイミングＶ’のタイミングｔ５になると、画像処理部２０８は、レンダリング画像について、ポストプロセス、リプロジェクション処理、歪み処理等を施すためのＨＭＤ画像の生成処理（レンダリング画像に対する画像処理）を開始する。特に、リプロジェクション部２０８ｂは、予測位置・姿勢情報Ｌ２に基づいて、リプロジェクション処理を施す。このとき、画像処理部２０８は、ＨＭＤ画像のフレームデータにフレームＩＤ１を紐づける。

【0050】

タイミングｔ６でＨＭＤ画像の生成処理が完了すると、ＨＤＭＩ送受信部２０９は、ＨＤＭＩにしたがってＨＭＤ画像をＨＭＤ１００に伝送する。これにより、タイミングｔ７でＨＭＤ１００においてＨＭＤ画像が表示されることになる。なお、タイミングｔ７をタイミングｔ５の後の同期タイミングＶｓｙｎｃとその次の同期タイミングＶｓｙｎｃとの間の中間のタイミングとしたのは、ＨＭＤ１００でのＨＭＤ画像の表示がある同期タイミングＶｓｙｎｃから部分的に完了していき、その次の同期タイミングＶｓｙｎｃで全て完了することを考慮したためである。

【0051】

タイミングｔ７でＨＭＤ画像が表示されると、時間蓄積部２０４は、描画コマンドのフレームデータに紐づけられたフレームＩＤ１に基づいて、描画コマンドの生成開始時の第１タイムスタンプ（beginFrame()のタイムスタンプ）をデータ記憶部２１０に蓄積する。時間蓄積部２０４は、ＨＭＤ画像に紐づけられたフレームＩＤ１に基づいて、画像処理部２０８による画像処理の開始時の第２タイムスタンプをデータ記憶部２１０に蓄積する。

【0052】

時間蓄積部２０４は、第１及び第２タイムスタンプに基づいて、描画コマンドの生成処理の開始時からＨＭＤ画像の生成処理の完了時までの描画時間を算出する。時間蓄積部２０４は、算出した描画時間をデータ記憶部２１０に蓄積する。これらの蓄積された描画時間は、以降の画像生成に関する処理において使用される。

【0053】

タイミングｔ３での描画コマンドの生成処理の完了時に戻ると、ｔ３後の次に処理タイミングＶ’において、描画コマンド供給部２０３は、フレームＩＤ２に紐づけて描画コマンドを生成する。このとき、フレームＩＤ１は、レンダリング処理においてレンダリング画像のフレームに紐づけられて使用されている。描画コマンド供給部２０３は、フレームＩＤが少なくともバッファ分だけコンフリクトしないように、描画コマンドの生成処理において、他の画像生成に関する処理におけるレンダリング処理に使用されているフレームＩＤ１とは異なるフレームＩＤ２を使用する。

【0054】

図５を用いて、本実施形態の画像生成装置における画像生成に関する処理Ｓ１００を説明する。

【0055】

ステップＳ１０１で、描画コマンド供給部２０３は、描画コマンドの生成処理を開始する。このとき、描画コマンド供給部２０３は、描画コマンドのフレームデータにフレームＩＤ１を紐づけ、そのフレームＩＤ１をデータ記憶部２１０に記憶させる。描画コマンド供給部２０３は、描画コマンドの生成を開始すると、予測指示を時間予測部２０５に供給する。

【0056】

ステップＳ１０２で、時間予測部２０５は、データ記憶部２１０から読み出した過去の描画時間及び表示処理時間と同期タイミングＶｓｙｎｃとに基づいて、遅延時間を予測する。時間予測部２０５は、予測した遅延時間を位置・姿勢予測部２０６に供給する。

【0057】

描画コマンドのフレームデータの生成が完了すると、ステップＳ１０３で、描画コマンド供給部２０３は、フレームＩＤ１に紐づけられた描画コマンドのフレームデータをレンダリング部２０７に供給する。

【0058】

ステップＳ１０４で、位置・姿勢取得部２０１は、位置・姿勢情報Ｌ１を取得する。位置・姿勢取得部２０１は、取得した位置・姿勢情報Ｌ１を視点・視線設定部２０２及び位置・姿勢予測部２０６に供給する。

【0059】

ステップＳ１０５で、視点・視線設定部２０２は、位置・姿勢情報Ｌ１に基づいて視点位置及び視点方向を設定する。視点・視線設定部２０２は、設定された視点位置及び視点方向を示す視点情報をレンダリング部２０７に供給する。

【0060】

ステップＳ１０６で、レンダリング部２０７は、設定された視点位置及び視点方向に基づいて、レンダリング処理を実行する。このとき、レンダリング部２０７は、レンダリング画像のフレームデータにフレームＩＤ１を紐づける。レンダリング部２０７は、フレームＩＤ１に紐づけられたレンダリング画像のフレームデータを画像処理部２０８のポストプロセス部２０８ａに供給する。また、位置・姿勢予測部２０６は、予測した遅延時間及び位置・姿勢情報Ｌ１に基づいて予測位置・姿勢情報Ｌ２を生成して画像処理部２０８のリプロジェクション部２０８ｂに供給する。

【0061】

ステップＳ１０７で、画像処理部２０８のポストプロセス部２０８ａは、レンダリング画像について、ポストプロセスを実行する。画像処理部２０８のポストプロセス部２０８ａは、ポストプロセスを施した画像をリプロジェクション部２０８ｂに供給する。

【0062】

ステップＳ１０８で、リプロジェクション部２０８ｂは、予測位置・姿勢情報Ｌ２に基づいて、リプロジェクション処理を実行する。予測位置・姿勢情報Ｌ２は遅延時間に基づいて生成されるため、このリプロジェクション処理が施された画像は遅延時間を反映することとなる。リプロジェクション部２０８ｂは、リプロジェクション処理を施した画像を歪み処理部２０８ｃに供給する。

【0063】

ステップＳ１０９で、歪み処理部２０８ｃは、リプロジェクション処理を施した画像に歪み処理を実行する。上記ステップＳ１０７～Ｓ１０９の画像処理により、ＨＭＤ画像が生成される。ＨＭＤ画像には、フレームＩＤ１が紐づけられる。歪み処理部２０８ｃは、フレームＩＤ１に紐づけられたＨＭＤ画像をＨＤＭＩ送受信部２０９に供給する。

【0064】

ステップＳ１１０で、ＨＤＭＩ送受信部２０９は、ＨＤＭＩにしたがってＨＭＤ画像をＨＭＤ１００に伝送する。これにより、ＨＭＤ１００においてＨＭＤ画像が表示されることになる。

【0065】

ステップＳ１１１で、時間蓄積部２０４は、各フレームデータに紐づけられたフレームＩＤ１に基づいて、第１及び第２タイムスタンプをデータ記憶部２１０に蓄積する。また、時間蓄積部２０４は、第１及び第２タイムスタンプの差分に基づいて描画時間を算出する。時間蓄積部２０４は、算出した描画時間をデータ記憶部２１０に蓄積する。

【0066】

ステップＳ１１１の後、画像生成に関する処理Ｓ１００は終了する。

【0067】

以下、本実施形態の作用及び効果について説明する。

【0068】

本実施形態では、画像生成システム１の性能に応じてより適切な遅延時間を用いてリプロジェクション処理が実行される。本構成によると、画像生成時と画像表示時のユーザの姿勢のずれを抑制できる。その結果、ユーザのＶＲ酔いを抑制することが可能となる。

【0069】

本実施形態では、時間蓄積部２０４は描画時間をデータ記憶部２１０に蓄積し、時間予測部２０５はその蓄積された描画時間に基づいて遅延時間を予測する。ここで、上述したように、異なる性能の画像生成システム間ではそれぞれ描画時間及び表示処理時間が異なる。本実施形態によると、その画像生成システム１の描画時間を蓄積し、またその画像生成システム１についての表示処理時間をデータ記憶部２１０に予め記憶しておき、これらを遅延時間の予測に利用することにより、より正確に遅延時間を予測することが可能となる。

【0070】

本実施形態では、描画コマンド供給部２０３、レンダリング部２０７及び画像処理部２０８は各処理におけるフレームデータをフレームＩＤに紐づけて供給する。時間蓄積部２０４は、フレームＩＤにそれぞれ紐づけられた各フレームデータにおける第１～第３タイムスタンプをデータ記憶部２１０に蓄積する。ここで、例えば、図４において、フレームＩＤ２に対応する画像生成に関する処理がフレームＩＤ１に対応する画像生成に関する処理よりも前に完了する場合がある。このとき、各処理におけるフレームデータにフレームＩＤが紐づけられていない場合、完了した処理がどの画像生成に関する処理に対応するのかを把握できない。したがって、画像生成に関する処理における各フレームデータに同一のフレームＩＤを紐づけることにより、その画像生成に関する処理が完了するタイミングを明確に把握することが可能となる。

【0071】

（変形例）
以下、実施形態の変形例について説明する。

【0072】

本実施形態では、描画時間及び表示処理時間に基づいて遅延時間が予測されたが、これに限定されず、他の手法により遅延時間が予測されてもよい。例えば、時間予測部２０５は、描画時間に基づいてＨＭＤ１００での表示に適した同期タイミングＶｓｙｎｃを求め、画像生成に関する処理の開始から求めた同期タイミングＶｓｙｎｃまでの時間を算出する。時間予測部２０５は、この算出した時間と第２処理時間を足し合わせた時間を遅延時間としてもよい。

【0073】

本実施形態では、過去の描画時間はデータ記憶部２１０に蓄積された描画時間のうちの任意のいくつかの描画時間の平均値としたが、これに限定されない。例えば、過去の描画時間は、下記のように算出されてもよい。すなわち、時間蓄積部２０４は、同期タイミングＶｓｙｎｃ毎にカウント値を増分（例えばカウント値を１増分）するＶｓｙｎｃカウンタを備える。時間蓄積部２０４は、beginFrame(frameId)をコールしたタイミングで、Ｖｓｙｎｃカウンタのカウント値をチェックする。時間蓄積部２０４は、beginFrame(frameId)で使用されたフレームＩＤと同一のフレームＩＤに関するＨＭＤ画像の生成処理が開始するタイミングで、再びＶｓｙｎｃカウンタのカウント値をチェックする。時間蓄積部２０４は、これらのカウント値の差分に基づいて画像生成に関する処理の開始からＨＭＤ画像の生成処理の開始までのカウント値を算出し、データ記憶部２１０に蓄積する。時間蓄積部２０４は、データ記憶部２１０に蓄積された過去のいくつかの描画時間において、そのカウント値の多数決を取る。時間蓄積部２０４は、多数決の結果として得られたカウント値に基づいて描画時間を算出し、データ記憶部２１０に蓄積する。具体的には、多数決の結果として得られたカウント値に同期タイミングＶｓｙｎｃの周期 (例えば、８．３３ｍｓ(１２０Ｈｚ）、１１．１１ｍｓ（９０Ｈｚ）など）を掛け合わせることにより描画時間を算出する。時間予測部２０５は、この描画時間を用いて遅延時間を予測する。本構成によると、不意に描画時間が延びてしまった場合に、予測時間においてその影響を受けにくくすることができる。また、過去の描画時間は、例えば、データ記憶部２１０に蓄積した描画時間の直近の値や中央値等であってもよい。

【0074】

本実施形態では、画像生成に関する処理における各フレームデータにフレームＩＤが紐づけられたが、これに限定されず、各フレームデータにフレームＩＤが紐づけられなくてもよい。

【0075】

本実施形態では、レンダリング画像に対して、予測位置・姿勢情報に基づいてリプロジェクション処理が実行されたが、これに限定されない。例えば、予測位置・姿勢情報に基づいて画像をレンダリングすることでリプロジェクション処理が実行されてもよい。

【0076】

本実施形態では、ＨＤＭＩにしたがってＨＭＤ画像が送信されたが、これに限定されず、無線通信によってＨＭＤ画像が送信されてもよい。

【0077】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

【符号の説明】

【0078】

１００ ヘッドマウントディスプレイ、２００ 画像生成装置、２０１ 位置・姿勢取得部、２０２ 視点・視線設定部、２０３ 描画コマンド供給部、２０４ 時間蓄積部２０８、２０５ 時間予測部、２０６ 位置・姿勢予測部、２０７ レンダリング部、２０８ 画像処理部、２０８ａ ポストプロセス部、２０８ｂ リプロジェクション部、２０８ｃ 歪み処理部、２０９ ＨＤＭＩ送受信部、２１０ データ記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】