特許 7047085 画像生成装置、画像生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-25

(45)【発行日】2022-04-04

(54)【発明の名称】画像生成装置、画像生成方法、およびプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20220328BHJP

   G09G 5/377 20060101ALI20220328BHJP

【ＦＩ】

G09G5/00 510A

G09G5/00 530M

G09G5/00 550C

G09G5/00 555D

G09G5/36 520N

【請求項の数】 7

(21)【出願番号】P 2020521665

(86)(22)【出願日】2018-05-28

(86)【国際出願番号】 JP2018020398

(87)【国際公開番号】W WO2019229816

(87)【国際公開日】2019-12-05

【審査請求日】2020-10-22

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】池田 貴一

【審査官】斎藤 厚志

(56)【参考文献】

【文献】特開２０１２－０３３０３８（ＪＰ，Ａ）

【文献】特許第６２０７６８５（ＪＰ，Ｂ１）

【文献】特開２０１３－００３３３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

画像生成装置であって、
別のデバイスでレンダリングされた画像に対してリプロジェクション処理を施すリプロジェクション部と、
リプロジェクション処理の対象外の重畳画像であってユーザの姿勢に関係なく画面の一定の位置に表示されるべき重畳画像を前記リプロジェクション部によるリプロジェクション処理後の画像に合成する合成部とを含み、
前記リプロジェクション処理の対象外の重畳画像は、あらかじめ当該画像生成装置に記憶されており、前記リプロジェクション処理の対象外の重畳画像を前記リプロジェクション部によるリプロジェクション処理後の画像に合成するために必要な合成情報が、前記別のデバイスでレンダリングされた画像のメタデータとして提供されることを特徴とする画像生成装置。

【請求項2】

前記合成情報は、前記リプロジェクション処理の対象外の重畳画像を合成する位置に関する情報を含むことを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記リプロジェクション処理の対象外の重畳画像は、前記別のデバイスと当該画像生成装置との間で一意に特定可能な識別情報が付与され、前記識別情報が前記メタデータに含まれることを特徴とする請求項１または２に記載の画像生成装置。

【請求項4】

前記メタデータは前記別のデバイスでレンダリングされた画像のフレームデータに同期して伝送される同期信号に挿入されることを特徴とする請求項１から３のいずれかに記載の画像生成装置。

【請求項5】

前記リプロジェクション処理の対象外の重畳画像のフレームレートは、前記別のデバイスでレンダリングされた画像のフレームレートよりも低いことを特徴とする請求項１から４のいずれかに記載の画像生成装置。

【請求項6】

画像生成装置における画像生成方法であって、
別のデバイスでレンダリングされた画像に対してリプロジェクション処理を施すリプロジェクションステップと、
リプロジェクション処理の対象外の重畳画像であってユーザの姿勢に関係なく画面の一定の位置に表示されるべき重畳画像を前記リプロジェクションステップによるリプロジェクション処理後の画像に合成する合成ステップとを含み、
前記リプロジェクション処理の対象外の重畳画像は、あらかじめ当該画像生成装置に記憶されており、前記リプロジェクション処理の対象外の重畳画像を前記リプロジェクションステップによるリプロジェクション処理後の画像に合成するために必要な合成情報が、前記別のデバイスでレンダリングされた画像のメタデータとして提供されることを特徴とする画像生成装置における画像生成方法。

【請求項7】

別のデバイスでレンダリングされた画像に対してリプロジェクション処理を施すリプロジェクション機能と、
リプロジェクション処理の対象外の重畳画像であってユーザの姿勢に関係なく画面の一定の位置に表示されるべき重畳画像を前記リプロジェクション機能によるリプロジェクション処理後の画像に合成する合成機能とをコンピュータに実現させ、
前記リプロジェクション処理の対象外の重畳画像は、あらかじめ当該コンピュータに記憶されており、前記リプロジェクション処理の対象外の重畳画像を前記リプロジェクション機能によるリプロジェクション処理後の画像に合成するために必要な合成情報が、前記別のデバイスでレンダリングされた画像のメタデータとして提供されることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像生成技術に関する。

【背景技術】

【0002】

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（Virtual Reality）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。

【0004】

そこで、映像生成時の姿勢データと映像表示時の姿勢データの差分にもとづいて描画画像を映像表示時の姿勢に合ったものに補正するリプロジェクション処理が一般的に用いられている。しかしながら、画面に表示されるＦＰＳ（First Person Shooter）の照準マークやメッセージ用ユーザインタフェースなどユーザの姿勢に関係なく画面の一定の位置に表示されるべき重畳画像までもリプロジェクション処理によって動いてしまうという不都合が生じていた。

【0005】

本発明はこうした課題に鑑みてなされたものであり、その目的は、リプロジェクションによる不都合が生じない画像生成技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の画像生成装置は、別のデバイスでレンダリングされた画像に対してリプロジェクション処理を施すリプロジェクション部と、リプロジェクション処理の対象外の重畳画像を前記リプロジェクション部によるリプロジェクション処理後の画像に合成する合成部とを含む。

【0007】

本発明の別の態様は、画像生成方法である。この方法は、別のデバイスでレンダリングされた画像に対してリプロジェクション処理を施すリプロジェクションステップと、リプロジェクション処理の対象外の重畳画像を前記リプロジェクションステップによるリプロジェクション処理後の画像に合成する合成ステップとを含む。

【0008】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によれば、リプロジェクションによる不都合が生じない画像生成技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】ヘッドマウントディスプレイの外観図である。

【図2】本実施の形態に係る画像転送システムの構成図である。

【図3】図３（ａ）および図３（ｂ）は、リプロジェクション処理の課題を説明する図である。

【図4】図４（ａ）および図４（ｂ）は、リプロジェクション処理の別の課題を説明する図である。

【図5】図２のレンダリング装置においてリプロジェクション処理を行う場合の機能構成を説明する図である。

【図6】図２のヘッドマウントディスプレイにおいてリプロジェクション処理を行う場合の機能構成を説明する図である。

【図7】本実施の形態に係るヘッドマウントディスプレイの機能構成を説明する図である。

【図8】本実施の形態に係るヘッドマウントディスプレイの機能構成図である。

【図9】本実施の形態に係るレンダリング装置の機能構成図である。

【図10】本実施の形態に係る画像生成手順を説明するシーケンス図である。

【発明を実施するための形態】

【0011】

図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

【0012】

ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

【0013】

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。

【0014】

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

【0015】

図２は、本実施の形態に係る画像転送システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）や、映像出力インタフェースの規格であるＤｉｓｐｌａｙＰｏｒｔなどのインタフェースでレンダリング装置２００に接続される。

【0016】

本実施の形態では、ヘッドマウントディスプレイ１００とレンダリング装置２００の間のデータ伝送路３００はＨＤＭＩ伝送路またはＤｉｓｐｌａｙＰｏｒｔ伝送路である。

【0017】

ＨＤＭＩ規格またはＤｉｓｐｌａｙＰｏｒｔ規格では、画像フレームに紐付けてセカンダリデータパケットを伝送することができ、セカンダリデータパケットにフレームに関連するメタデータを含めることができる。

【0018】

ＨＤＭＩ２．１規格には動的ＨＤＲ（High Dynamic Range）と呼ばれる機能があり、映像の動的メタデータ（Dynamic Metadata）を参照してシーンに応じてフレーム毎に輝度や色の深度を最適に調整した映像を生成することができる。ＨＤＭＩ２．１規格では動的メタデータは、シーンの最大輝度、平均輝度、最小輝度など動的ＨＤＲに必要な情報を映像に同期させて伝送することができる。

【0019】

ヘッドマウントディスプレイ１００とレンダリング装置２００の通信インタフェースは、メタデータを映像と同期させて伝送できるものであれば、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔに限られない。

【0020】

レンダリング装置２００の一例はゲーム機である。レンダリング装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをレンダリング装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、レンダリング装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

【0021】

ヘッドマウントディスプレイ１００に表示される映像は、あらかじめカメラで撮影された映像の他、ゲーム映像のようなコンピュータグラフィックスによる映像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。

【0022】

ヘッドマウントディスプレイ１００の姿勢を検知し、次の描画範囲を確定し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、ヘッドマウントディスプレイ１００の回転を検知してから画像を出力するまでに１フレーム分の遅れが生じる。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。

【0023】

さらに、レンダリング装置２００で描画された画像をデータ伝送路３００でヘッドマウントディスプレイ１００に伝送する際にもレイテンシが生じる。

【0024】

そこで、生成された画像に対してリプロジェクション処理を行うことで人間がずれを感知しにくいようにしている。レンダリング装置２００が遅延時間経過後のヘッドマウントディスプレイ１００の位置・姿勢情報を予測して描画を行うこともリプロジェクションの一種であるが、本実施の形態では、レンダリング装置２００が描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報と、レンダリング装置２００により描画された画像をヘッドマウントディスプレイ１００で表示する際のヘッドマウントディスプレイ１００の最新の位置・姿勢情報とのずれを補償するための画像の補正処理をリプロジェクションと呼ぶ。

【0025】

具体的には描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報とヘッドマウントディスプレイ１００の最新の位置・姿勢情報の差分を求め、ヘッドマウントディスプレイ１００の最新の位置・姿勢情報に合うように画像を補正する処理が行われ、画像変換やフレーム補間などの技術が用いられる。

【0026】

本実施の形態では、レンダリング装置２００が映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測して画像を描画し、画像合成に必要な情報をメタデータとして映像のフレームデータに同期させてヘッドマウントディスプレイ１００に伝送する。ヘッドマウントディスプレイ１００は、レンダリング装置２００から受信した画像を最新のヘッドマウントディスプレイ１００の位置・姿勢情報にもとづいて補正するリプロジェクション処理を施し、メタデータを参照して重畳画像をリプロジェクション処理後の画像に合成する。

【0027】

本実施の形態では、ヘッドマウントディスプレイ１００の描画処理性能の制約から、レンダリング処理はレンダリング装置２００において行い、描画画像出力およびリプロジェクション処理などの軽度のグラフィックス処理をヘッドマウントディスプレイ１００が担うことを前提として説明する。まず、本実施の形態の画像生成技術により解決すべきリプロジェクション処理の課題を説明する。

【0028】

図３（ａ）および図３（ｂ）は、リプロジェクション処理の課題を説明する図である。

【0029】

図３（ａ）は、描画された元画像４００に重畳画像４１０が重畳された合成画像を示す。元画像４００は、ヘッドマウントディスプレイ１００を装着するユーザの姿勢に合わせて描画されており、重畳画像４１０はゲームなどのアプリケーションに応じて表示されるＦＰＳの照準マークやメッセージなどのユーザインタフェースである。ここでは重畳画像４１０は元画像４００の中央に位置する。

【0030】

図３（ｂ）は、ユーザの最新の姿勢に合わせて図３（ａ）の合成画像にリプロジェクション処理を施した結果を示す。ここではユーザが右に首を振ったため、合成画像を左下方向に移動する補正が行われる。言い換えれば、表示範囲４０２が右上方向に移動することになる。合成画像全体を移動させるため、重畳画像４１２も一緒に移動してしまい、重畳画像４１２はもはや表示範囲４０２の中央ではなくなる。本来は中央に位置しているはずの重畳画像４１２がリプロジェクション処理によって左下方向にずれるため、ユーザは違和感を感じることになる。

【0031】

図４（ａ）および図４（ｂ）は、リプロジェクション処理の別の課題を説明する図である。

【0032】

図４（ａ）は、図３（ａ）と同様に、描画された元画像４００に重畳画像４１０が重畳された合成画像を示す。ここでは、合成画像全体にリプロジェクション処理を施す代わりに、重畳画像４１０の領域にはリプロジェクション処理を施さず、重畳画像４１０の領域以外にリプロジェクション処理を施す。

【0033】

図４（ｂ）は、ユーザの最新の姿勢に合わせて図４（ａ）の合成画像に内、重畳画像４１０の領域以外にリプロジェクション処理を施した結果を示す。重畳画像４１０の領域以外は、図３（ｂ）と同様に、左下方向に移動するが、重畳画像４１６の領域はリプロジェクション処理が施されないため、そのまま表示範囲４０２の中央に位置する。しかしながら、図４（ａ）の元画像４００において重畳画像４１０が存在していた領域は描画データが存在しないため、リプロジェクション処理の結果、図４（ｂ）に示すように黒領域４１４になってしまう。

【0034】

図３（ｂ）および図４（ｂ）で説明したような不都合を解決するには、元画像４００にあらかじめリプロジェクション処理を施し、リプロジェクション処理後の画像に重畳画像４１０を合成して合成画像を生成する必要がある。

【0035】

図５は、レンダリング装置２００においてリプロジェクション処理を行う場合の機能構成を説明する図である。

【0036】

レンダリング装置２００にリプロジェクション部５００と合成部５１０が設けられる。リプロジェクション部５００は、ヘッドマウントディスプレイ１００の姿勢を予測して描画された元画像５３０に対してリプロジェクション処理を施し、リプロジェクション処理後の画像５３２を生成する。合成部５１０は、リプロジェクション処理後の画像５３２に重畳画像５４０を合成し、合成画像５５０を生成する。合成画像５５０はデータ伝送路３００を経由してヘッドマウントディスプレイ１００に送信される。

【0037】

レンダリング装置２００がリプロジェクション処理後の画像５３２に重畳画像５４０を合成するため、重畳画像５４０はリプロジェクション処理を受けず、図３（ｂ）および図４（ｂ）で説明したような不都合は生じない。これはレンダリング処理とリプロジェクション処理が同一のデバイスで行われるという閉じた環境であることが前提となっている。しかしながら、レンダリング装置２００では、ヘッドマウントディスプレイ１００の姿勢を予測してリプロジェクション処理を実行することはできるが、ヘッドマウントディスプレイ１００に表示される時点での現実の姿勢を反映することができない。そのため、表示される画像を予測した姿勢に合わせることができても、最新の姿勢に合わせることができないという問題がある。

【0038】

また、処理系によってはヘッドマウントディスプレイ１００側でリプロジェクション処理を行う必要がある。たとえば、ＨＤ（High Definition）等のディスプレイパネルの特性に合わせて画像の解像度やフレームレートなどを変換する処理が必要になる場合、ヘッドマウントディスプレイ１００側でパネル特性に合わせたリプロジェクション処理を行うことが望ましい。また、ネットワークを介してヘッドマウントディスプレイ１００に画像を伝送する場合は、遅延時間が長くなり、また遅延時間に変動があるため、ヘッドマウントディスプレイ１００側で最新の姿勢に合わせたリプロジェクション処理を行うことが望ましい。

【0039】

そこで、次にヘッドマウントディスプレイ１００側でリプロジェクション処理と合成処理を行う構成を検討する。

【0040】

図６は、ヘッドマウントディスプレイ１００においてリプロジェクション処理を行う場合の機能構成を説明する図である。

【0041】

レンダリング装置２００は、描画された元画像５３０と重畳画像５４０をデータ伝送路３００を経由してヘッドマウントディスプレイ１００に送信する。ヘッドマウントディスプレイ１００にリプロジェクション部６０と合成部６６が設けられる。リプロジェクション部６０は、別のデバイスであるレンダリング装置２００から受け取った元画像５３０に対してヘッドマウントディスプレイ１００の最新の姿勢にもとづいてリプロジェクション処理を施し、リプロジェクション処理後の画像５３２を生成する。合成部６６は、リプロジェクション処理後の画像５３２にレンダリング装置２００から受け取った重畳画像５４０を合成し、合成画像５５０を生成する。合成画像５５０はディスプレイ６８に表示される。

【0042】

ヘッドマウントディスプレイ１００がリプロジェクション処理後の画像５３２に重畳画像５４０を合成するため、重畳画像５４０はリプロジェクション処理の対象外であり、図３（ｂ）および図４（ｂ）で説明したような不都合は生じない。また、ヘッドマウントディスプレイ１００によるリプロジェクション処理には予測した姿勢ではなく、現実の姿勢を反映させることができるため、表示される画像を最新の姿勢に正確に合わせることができる。しかしながら、この構成を実現するには、レンダリング装置２００が元画像５３０と重畳画像５４０の両方をデータ伝送路３００を経由してヘッドマウントディスプレイ１００に送信する必要があるが、データ伝送路３００の伝送帯域不足や伝送インタフェースの規格上の制約から、二つの画像を同時に送信することはできないという問題がある。

【0043】

そこで、本実施の形態では、元画像５３０と重畳画像５４０を同時に伝送するのではなく、重畳画像５４０を前もってヘッドマウントディスプレイ１００側に記憶しておき、重畳画像５４０を合成するために必要な情報をメタデータとして元画像５３０と同期して伝送する。こうすることにより、重畳画像５４０を元画像５３０と同時に伝送する必要がなくなる。

【0044】

図７は、本実施の形態のヘッドマウントディスプレイ１００の機能構成を説明する図である。

【0045】

重畳画像５４０はあらかじめヘッドマウントディスプレイ１００に記憶されている。レンダリング装置２００が重畳画像５４０を生成してヘッドマウントディスプレイ１００に前もって送信してもよい。重畳画像５４０は固定位置に表示するＦＰＳの照準やメニュー画面であるという特性上、元画像５３０に比べて高頻度で更新されないことから、レンダリング装置２００は、事前に重畳画像５４０を生成してヘッドマウントディスプレイ１００に供給することができる。あるいは、ヘッドマウントディスプレイ１００が重畳画像５４０を生成してもよい。重畳画像５４０は元画像５３０よりもサイズも小さく、解像度も低くてよいため、ヘッドマウントディスプレイ１００で生成することも可能である。いずれにしても、重畳画像５４０は、ヘッドマウントディスプレイ１００とレンダリング装置２００の間で画像インデックスによって一意に特定されるように構成される。

【0046】

レンダリング装置２００は、描画された元画像５３０とメタデータ５４２をデータ伝送路３００を経由してヘッドマウントディスプレイ１００に送信する。メタデータ５４２には、重畳画像５４０を元画像５３０に合成するために必要な合成情報が格納される。合成情報には、重畳画像の使用の有無、重畳画像を一意に特定可能な識別情報（画像インデックス）、合成用アルファ値、重畳画像を合成する画像上の位置情報、画像サイズ、画像の縦横のスケール（倍率）などが含まれる。

【0047】

重畳画像は、複数枚用意してもよい。重畳画像はヘッドマウントディスプレイ１００で生成して記憶してもよい。その場合、ヘッドマウントディスプレイ１００は、重畳画像の合成情報をレンダリング装置２００に送信し、レンダリング装置２００側で重畳画像を特定し、重畳画像の合成情報を指定することができるようにする。

【0048】

あるいは、レンダリング装置２００が重畳画像を生成し、ヘッドマウントディスプレイ１００に描画データを送信しないタイミングで重畳画像をあらかじめヘッドマウントディスプレイ１００に送信してもよい。たとえば、描画が６０Ｈｚで行われ、リプロジェクション処理で１２０Ｈｚのフレームレートに変換する場合、本実施の形態ではヘッドマウントディスプレイ１００でリプロジェクション処理をするため、データ伝送路３００の伝送帯域は６０Ｈｚでよい。描画データを伝送しない空き時間が生じるので、重畳画像をその間に送信することができる。即ち、重畳画像のフレームレートは、ヘッドマウントディスプレイ１００でレンダリングされた画像のフレームレートよりも低くてもよい。

【0049】

ヘッドマウントディスプレイ１００にリプロジェクション部６０と合成部６６が設けられる。リプロジェクション部６０は、描画された元画像５３０に対してヘッドマウントディスプレイ１００の最新の姿勢にもとづいてリプロジェクション処理を施し、リプロジェクション処理後の画像５３２を生成する。合成部６６は、メタデータ５４２を参照してリプロジェクション処理後の画像５３２に対して重畳画像５４０を合成し、合成画像５５０を生成する。合成画像５５０はディスプレイ６８に表示される。

【0050】

本実施の形態の構成では、レンダリング装置２００が元画像５３０と重畳画像５４０の両方を同時にデータ伝送路３００を経由してヘッドマウントディスプレイ１００に送信する必要がなく、レンダリング装置２００は元画像５３０にメタデータ５４２を同期させてヘッドマウントディスプレイ１００に送信すればよい。データ伝送路３００の伝送インタフェースの規格におけるセカンダリパケットなどの機能を用いれば、メタデータ５４２を元画像５３０に同期させて送信することができる。

【0051】

以下、本実施の形態のヘッドマウントディスプレイ１００とレンダリング装置２００の構成と動作を詳細に説明する。

【0052】

図８は、ヘッドマウントディスプレイ１００の機能構成図である。

【0053】

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

【0054】

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

【0055】

記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

【0056】

外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

【0057】

時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。

【0058】

ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を送受信する。ＨＤＭＩ送受信部９０がレンダリング装置２００から受け取るフレームデータにはメタデータが関連づけられており、メタデータにはフレームデータに合成されるべき重畳画像を特定する識別情報と重畳画像の合成位置を指定する位置情報が含まれる。また、メタデータにはレンダリング装置２００が当該フレームデータの描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２が含まれる。

【0059】

制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。

【0060】

姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。

【0061】

姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１は、通信制御部４０または外部入出力端子インタフェース７０を介してレンダリング装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１をレンダリング装置２００に送信してもよい。レンダリング装置２００は、受信したヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画する。

【0062】

姿勢センサ６４は、レンダリング装置２００から描画データを受け取った際、ヘッドマウントディスプレイ１００の最新の位置・姿勢情報Ｌ３を検出し、位置・姿勢差分計算部６２に与える。位置・姿勢差分計算部６２は、レンダリング装置２００が描画の際に前提とした予測位置・姿勢情報Ｌ２をＨＤＭＩ送受信部９０から受け取る。位置・姿勢差分計算部６２は、最新の位置・姿勢情報Ｌ３と予測位置・姿勢情報Ｌ２の差分ΔＬを求め、リプロジェクション部６０に与える。ここで、最新の位置・姿勢情報Ｌ３と予測位置・姿勢情報Ｌ２の差分ΔＬは、一般にはヘッドマウントディスプレイ１００の位置情報と姿勢情報の両方が異なるが、位置情報と姿勢情報のいずれか一方のみが異なる場合もあることに留意する。

【0063】

リプロジェクション部６０は、ＨＤＭＩ送受信部９０がレンダリング装置２００から受け取った描画データに対して差分ΔＬにもとづいた補正をかけることにより、リプロジェクションを実行し、リプロジェクション後の描画データを制御部１０に与える。

【0064】

合成部６６は、メタデータによって指定される重畳画像を記憶部５０から読み出し、リプロジェクション後の描画データに重畳画像を合成して合成画像を生成する。制御部１０は、合成画像を出力インタフェース３０に供給してディスプレイに表示させる。

【0065】

図９は、本実施の形態に係るレンダリング装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

【0066】

レンダリング装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、レンダリング装置２００の少なくとも一部の機能を、ネットワークを介してレンダリング装置２００に接続されたサーバに実装してもよい。

【0067】

位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１をヘッドマウントディスプレイ１００から取得する。

【0068】

遅延時間取得部２２０は、ある時刻での視点位置から視線方向に見える画像を描画してからヘッドマウントディスプレイ１００に表示するまでに要する遅延時間を取得する。この遅延時間には描画処理に要する時間の他、画像データを伝送するのに要する時間が含まれる。遅延時間取得部２２０は、３次元描画ハードウェア性能と伝送路の伝送遅延にもとづいて遅延時間を求める。

【0069】

位置・姿勢予測部２３０は、遅延時間取得部２２０により求められた遅延時間の間の位置および姿勢の変化量を予測する。位置・姿勢予測部２３０は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進速度や角速度に遅延時間を乗じることで位置および姿勢の変化量を求めることができる。位置・姿勢予測部２３０は、現在の位置・姿勢情報Ｌ１に遅延時間の間の位置および姿勢の変化量を加算することにより遅延時間経過後の予測位置・姿勢情報Ｌ２を予測し、予測位置・姿勢情報Ｌ２を視点・視線設定部２４０とメタデータ生成部２７０に供給する。

【0070】

視点・視線設定部２４０は、位置・姿勢予測部２３０により取得されたヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２を用いて、ユーザの視点位置および視線方向を更新する。

【0071】

画像生成部２５０は、画像記憶部２６０から画像データを読み出し、視点・視線設定部２４０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える画像を生成し、ＨＤＭＩ送受信部２８０に与える。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。

【0072】

メタデータ生成部２７０は、フレームデータに重畳画像を合成するために必要な合成情報をフレームデータに関連づけるべきメタデータに埋め込む。また、メタデータ生成部２７０は、位置・姿勢予測部２３０から予測位置・姿勢情報Ｌ２を取得し、フレームデータに関連づけるべきメタデータに予測位置・姿勢情報Ｌ２を埋め込む。メタデータ生成部２７０は、メタデータをＨＤＭＩ送受信部２８０に供給する。

【0073】

ＨＤＭＩ送受信部２８０は、画像生成部２５０からフレームデータを受け取り、メタデータ生成部２７０から重畳画像の合成情報および予測位置・姿勢情報Ｌ２が埋め込まれたメタデータを受け取る。ＨＤＭＩ送受信部２８０は、ＨＤＭＩにしたがってフレームデータにメタデータを同期させ、フレームデータとメタデータをヘッドマウントディスプレイ１００に伝送する。

【0074】

メタデータをフレームデータに同期させて同一の伝送路で伝送する方法を説明する。フレームデータと動的メタデータは一例としてＨＤＭＩ伝送路で伝送される。各フレームデータの直前には垂直ブランキング信号ＶＢｌａｎｋが挿入されるが、垂直ブランキング信号ＶＢｌａｎｋにメタデータが挿入される。

【0075】

このように各フレームデータの垂直ブランキング信号ＶＢｌａｎｋに各フレームデータに適用すべき各メタデータを挿入して同一のＨＤＭＩ伝送路で伝送すれば、各フレームデータに各メタデータが同期するため、ヘッドマウントディスプレイ１００は各メタデータを対応する各フレームデータに正しく適用することができる。

【0076】

ＨＤＭＩ２．１規格では各フレームデータのＶＢｌａｎｋ信号に各フレームに適用すべきメタデータを挿入して伝送することが検討されている。ここではＨＤＭＩ２．１規格のＶＢｌａｎｋ信号にメタデータを挿入する例を説明したが、これは一例であり、各フレームに同期する何らかの同期信号にメタデータを挿入して伝送すればよい。

【0077】

図１０は、本実施の形態に係る画像生成手順を説明するシーケンス図である。

【0078】

ヘッドマウントディスプレイ１００の姿勢センサ６４は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１を検出する（Ｓ１０）。ヘッドマウントディスプレイ１００は現在の位置・姿勢情報Ｌ１をレンダリング装置２００に通知する（Ｓ１２）。

【0079】

レンダリング装置２００は、ヘッドマウントディスプレイ１００とレンダリング装置２００の間の伝送遅延とレンダリング装置２００における描画にかかる処理遅延により発生する遅延時間を求める。レンダリング装置２００の位置・姿勢予測部２３０は、現在の位置・姿勢情報Ｌ１から、遅延時間を経過した後のヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２を予測する（Ｓ１４）。

【0080】

レンダリング装置２００の画像生成部２５０は、予測位置・姿勢情報Ｌ２にもとづいてヘッドマウントディスプレイ１００を装着したユーザに見える画像を描画する（Ｓ１６）。

【0081】

レンダリング装置２００のＨＤＭＩ送受信部２８０は、描画されたフレームデータに予測位置・姿勢情報Ｌ２と重畳画像を合成するために必要な合成情報とをメタデータとして関連づけてヘッドマウントディスプレイ１００に伝送する（Ｓ１８）。

【0082】

レンダリング装置２００からフレームデータを受け取ると、ヘッドマウントディスプレイ１００の姿勢センサ６４は、ヘッドマウントディスプレイ１００の最新の位置・姿勢情報Ｌ３を検出し、位置・姿勢差分計算部６２は、最新の位置・姿勢情報Ｌ３と予測位置・姿勢情報Ｌ２の差分ΔＬを求める（Ｓ２０）。

【0083】

リプロジェクション部６０は、差分ΔＬにもとづいてフレームデータにリプロジェクション処理を施し、最新の位置・姿勢情報Ｌ３に合った画像を生成する（Ｓ２２）。

【0084】

合成部６６は、メタデータに含まれる合成情報を参照し、合成情報に含まれる識別情報にもとづいて重畳画像を特定し、合成情報に含まれる位置情報とスケールにもとづいて重畳画像をリプロジェクション後の画像の指定された位置に指定されたスケールで合成する（Ｓ２４）。ヘッドマウントディスプレイ１００は合成画像を表示する（Ｓ２６）。

【0085】

以上述べたように、本実施の形態のレンダリング装置２００によれば、画像をレンダリングし、重畳画像を合成するために必要な合成情報をメタデータとして画像のフレームデータに同期させてヘッドマウントディスプレイ１００に伝送することができる。ヘッドマウントディスプレイ１００は、メタデータから合成情報を抽出し、画像のフレームデータにリプロジェクションを施した後、合成情報に指定されたパラメータにしたがって、あらかじめ用意された重畳画像をリプロジェクション後の画像に合成することができる。これにより、固定した位置に表示すべき重畳画像がリプロジェクション処理の影響を受けるのを防ぐことができる。また、重畳画像を描画フレームと同時に伝送する必要がないため、データ伝送路３００の伝送帯域に制約がある状況でも実施することができる。

【0086】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

【0087】

上記の説明では、レンダリング装置２００で描画された元画像をヘッドマウントディスプレイ１００でリプロジェクション処理し、重畳画像を合成する場合を説明したが、元画像をレンダリングするデバイスと、元画像に対してリプロジェクション処理を行うデバイスが異なるものであれば、本実施の形態の画像生成技術を適用することができる。したがって、リプロジェクション処理と合成処理を行うデバイスはヘッドマウントディスプレイ１００に限定されるものではなく、たとえば、携帯端末などであってもよい。

【符号の説明】

【0088】

１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ バックライト、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６０ リプロジェクション部、 ６２ 位置・姿勢差分計算部、 ６４ 姿勢センサ、 ６６ 合成部、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ８０ 時計部、 ９０ ＨＤＭＩ送受信部、 １００ ヘッドマウントディスプレイ、 ２００ レンダリング装置、 ２１０ 位置・姿勢取得部、 ２２０ 遅延時間取得部、 ２３０ 位置・姿勢予測部、 ２４０ 視点・視線設定部、 ２５０ 画像生成部、 ２６０ 画像記憶部、 ２７０ メタデータ生成部、 ２８０ ＨＤＭＩ送受信部、 ３００ データ伝送路。

【産業上の利用可能性】

【0089】

画像生成技術に利用できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】