特許 7594945 画像生成装置、プログラム、画像生成方法および画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-27

(45)【発行日】2024-12-05

(54)【発明の名称】画像生成装置、プログラム、画像生成方法および画像表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241128BHJP

   G09G 5/36 20060101ALI20241128BHJP

   G09G 5/00 20060101ALI20241128BHJP

   G02B 27/02 20060101ALI20241128BHJP

   H04N 13/344 20180101ALI20241128BHJP

   H04N 13/122 20180101ALI20241128BHJP

【ＦＩ】

G06T19/00 A

G09G5/36 500

G09G5/00 510V

G09G5/00 555D

G09G5/00 530H

G02B27/02 Z

H04N13/344

H04N13/122

【請求項の数】 5

(21)【出願番号】P 2021037685

(22)【出願日】2021-03-09

(65)【公開番号】P2022137945

(43)【公開日】2022-09-22

【審査請求日】2024-02-13

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】池田 貴一

【審査官】鈴木 明

(56)【参考文献】

【文献】国際公開第２０１１／０４５８７２（ＷＯ，Ａ１）

【文献】特開２０２０－０５２１４３（ＪＰ，Ａ）

【文献】特開２０１０－０５７０６９（ＪＰ，Ａ）

【文献】特開２０１９－１０６６２８（ＪＰ，Ａ）

【文献】特開２０２１－０１５１５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０２Ｂ ２７／０２

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ １３／１２２

(57)【特許請求の範囲】

【請求項1】

歪みが与えられていないソース画像を生成するソース画像生成部と、
前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像を生成するＨＭＤ画像生成部と、
前記ソース画像に基づいて、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像を生成するミラーリング画像生成部と、
を備え、
前記ソース画像は、前記ヘッドマウントディスプレイの右目用画像及び左目用画像を含み、
前記ミラーリング画像生成部は、前記右目用画像及び前記左目用画像の一方の画像の一部分を用いて、前記ミラーリング画像を生成し、
前記ＨＭＤ画像生成部は、前記画像の一部分にリプロジェクション処理を施すことにより前記ＨＭＤ画像を生成し、
前記ミラーリング画像生成部は、前記リプロジェクション処理が反映された前記ＨＭＤ画像に関する前記ヘッドマウントディスプレイの視野角に対応するテクスチャを参照することにより、３次元表示態様の前記ミラーリング画像を生成することを特徴とする画像生成装置。

【請求項2】

前記ミラーリング画像生成部は、前記平板型ディスプレイの画面サイズに対応するパネルに前記一方の画像の前記一部分を貼り付けることにより、２次元表示態様の前記ミラーリング画像を生成する、請求項１に記載の画像生成装置。

【請求項3】

プロセッサを、
歪みが与えられていないソース画像を生成するソース画像生成部と、
前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像を生成するＨＭＤ画像生成部と、
前記ソース画像に基づいて、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像を生成するミラーリング画像生成部と、
として機能させ、
前記ソース画像は、前記ヘッドマウントディスプレイの右目用画像及び左目用画像を含み、
前記ミラーリング画像生成部は、前記右目用画像及び前記左目用画像の一方の画像の一部分を用いて、前記ミラーリング画像を生成し、
前記ＨＭＤ画像生成部は、前記画像の一部分にリプロジェクション処理を施すことにより前記ＨＭＤ画像を生成し、
前記ミラーリング画像生成部は、前記リプロジェクション処理が反映された前記ＨＭＤ画像に関する前記ヘッドマウントディスプレイの視野角に対応するテクスチャを参照することにより、３次元表示態様の前記ミラーリング画像を生成することを特徴とするプログラム。

【請求項4】

歪みが与えられていないソース画像を生成するステップと、
前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像と、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像とを生成するステップと、
を含み、
前記ソース画像は、前記ヘッドマウントディスプレイの右目用画像及び左目用画像を含み、
前記生成するステップは、前記右目用画像及び前記左目用画像の一方の画像の一部分を用いて、前記ミラーリング画像を生成するステップを含み、
前記生成するステップは、前記画像の一部分にリプロジェクション処理を施すことにより前記ＨＭＤ画像を生成するステップを含み、
前記生成するステップは、前記リプロジェクション処理が反映された前記ＨＭＤ画像に関する前記ヘッドマウントディスプレイの視野角に対応するテクスチャを参照することにより、３次元表示態様の前記ミラーリング画像を生成するステップを含むことを特徴とする画像生成方法。

【請求項5】

歪みが与えられていないソース画像を生成するソース画像生成部と、
前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像を生成するＨＭＤ画像生成部と、
前記ソース画像に基づいて、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像を生成するミラーリング画像生成部と、
前記ＨＭＤ画像を前記ヘッドマウントディスプレイに供給するＨＭＤ画像供給部と、
前記ミラーリング画像を前記平板型ディスプレイに供給するミラーリング画像供給部と、
を備える画像生成装置と、
前記供給されたＨＭＤ画像を表示する前記ヘッドマウントディスプレイと、
前記供給されたミラーリング画像を表示する前記平板型ディスプレイと、
を備え、
前記ソース画像は、前記ヘッドマウントディスプレイの右目用画像及び左目用画像を含み、
前記ミラーリング画像生成部は、前記右目用画像及び前記左目用画像の一方の画像の一部分を用いて、前記ミラーリング画像を生成し、
前記ＨＭＤ画像生成部は、前記画像の一部分にリプロジェクション処理を施すことにより前記ＨＭＤ画像を生成し、
前記ミラーリング画像生成部は、前記リプロジェクション処理が反映された前記ＨＭＤ画像に関する前記ヘッドマウントディスプレイの視野角に対応するテクスチャを参照することにより、３次元表示態様の前記ミラーリング画像を生成することを特徴とする画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成技術に関する。

【背景技術】

【0002】

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（Virtual Reality）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

【0003】

一方で、近年、ヘッドマウントディスプレイが表示している画面を他の表示装置との間で共有するためのミラーリングが提案されている。ミラーリングとは、送信装置が表示している画面の情報として、画像データを、ネットワークを介して受信装置へ伝送することで、表示している画面を送信装置と受信装置とで共有する技術である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ヘッドマウントディスプレイを用いて画像を提供するための新しいシステムが開発されている。これに伴い、この新しいシステムにおいて高品質のミラーリング画像を提供するためのミラーリング技術が求められている。

【0005】

上記を鑑み、本発明の目的は、ヘッドマウントディスプレイを用いて画像を提供するための新しいシステムにおいて、高品質のミラーリング画像を提供するためのミラーリング技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の画像生成装置は、歪みが与えられていないソース画像を生成するソース画像生成部と、前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像を生成するＨＭＤ画像生成部と、前記ソース画像に基づいて、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像を生成するミラーリング画像生成部と、を備えることを特徴とする。

【0007】

本発明のある態様のプログラムは、プロセッサを、歪みが与えられていないソース画像を生成するソース画像生成部と、前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像を生成するＨＭＤ画像生成部と、前記ソース画像に基づいて、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像を生成するミラーリング画像生成部と、として機能させることを特徴とする。

【0008】

本発明のある態様の画像生成方法は、歪みが与えられていないソース画像を生成するステップと、前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像と、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像とを生成するステップと、を含むことを特徴とする。

【0009】

本発明のある態様の画像表示システムは、歪みが与えられていないソース画像を生成するソース画像生成部と、前記ソース画像に基づいて、ヘッドマウントディスプレイにおいて表示されるＨＭＤ画像を生成するＨＭＤ画像生成部と、前記ソース画像に基づいて、前記ＨＭＤ画像を平板型ディスプレイにおいてミラーリングするためのミラーリング画像を生成するミラーリング画像生成部と、前記ＨＭＤ画像を前記ヘッドマウントディスプレイに供給するＨＭＤ画像供給部と、前記ミラーリング画像を前記平板型ディスプレイに供給するミラーリング画像供給部と、を備える画像生成装置と、前記供給されたＨＭＤ画像を表示する前記ヘッドマウントディスプレイと、前記供給されたミラーリング画像を表示する前記平板型ディスプレイと、を備えることを特徴とする。

【0010】

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、ヘッドマウントディスプレイを用いて画像を提供するための新しいシステムにおいて、高品質のミラーリング画像を提供するためのミラーリング技術を提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】ヘッドマウントディスプレイの外観図である。

【図2】画像生成システムの構成図である。

【図3】本実施形態のミラーリングシステムを説明するための図である。

【図4】図２のレンダリング装置の構成図である。

【図5】図５（ａ）及び図５（ｂ）はそれぞれ３次元表示におけるヘッドマウンドディスプレイ用画像及びミラーリング画像の例である。

【図6】図６（ａ）及び（ｂ）はそれぞれ２次元表示におけるヘッドマウンドディスプレイ用画像及びミラーリング画像の例である。

【図7】レンダリング装置における処理の流れを示すフローチャートである。

【図8】比較例のミラーリングシステムを説明するための図である。

【図9】変形例のミラーリングシステムを説明するための図である。

【発明を実施するための形態】

【0013】

（実施形態）
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

【0014】

ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

【0015】

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。

【0016】

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明する。なお、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

【0017】

図２は、本実施の形態に係る画像転送システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）や映像出力インタフェースの規格であるＤｉｓｐｌａｙＰｏｒｔなどのインタフェースを介してレンダリング装置２００に接続される。レンダリング装置２００には平板型ディスプレイ３０２が接続される。本実施形態のレンダリング装置２００は、画像生成装置の一例である。

【0018】

本実施の形態では、ヘッドマウントディスプレイ１００とレンダリング装置２００の間のデータ伝送路３００はＨＤＭＩ伝送路またはＤｉｓｐｌａｙＰｏｒｔ伝送路である。ＨＤＭＩ規格またはＤｉｓｐｌａｙＰｏｒｔ規格では、画像フレームに紐付けてセカンダリデータパケットを伝送することができ、セカンダリデータパケットにフレームに関連するメタデータを含めることができる。ＨＤＭＩ２．１規格には動的ＨＤＲ（High Dynamic Range）と呼ばれる機能があり、映像の動的メタデータ（Dynamic Metadata）を参照してシーンに応じてフレーム毎に輝度や色の深度を最適に調整した映像を生成することができる。ＨＤＭＩ２．１規格では動的メタデータは、シーンの最大輝度、平均輝度、最小輝度など動的ＨＤＲに必要な情報を映像に同期させて伝送することができる。ヘッドマウントディスプレイ１００とレンダリング装置２００の通信インタフェースは、メタデータを映像と同期させて伝送できるものであれば、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔに限られない。

【0019】

本実施形態のレンダリング装置２００はゲーム機である。レンダリング装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをレンダリング装置２００に提供してもよい。

【0020】

レンダリング装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。コンテンツのプログラムやデータは、ゲームなどのコンテンツのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体（不図示）からメディアドライブ（不図示）によって読み出される。このＲＯＭ媒体は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。ある態様においてレンダリング装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるようにコンテンツの表示画像を所定のレートで生成する。

【0021】

ヘッドマウントディスプレイ１００は当該表示画像のデータを受信し、コンテンツの画像として表示する。ヘッドマウントディスプレイ１００に表示される映像は、予めカメラで撮影された映像の他、ゲーム映像のようなコンピュータグラフィックスによる映像や、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。また、ヘッドマウントディスプレイ１００に表示される画像は、ＶＲ画像、ＡＲ（拡張現実）画像ＭＲ画像等であってもよい。

【0022】

平板型ディスプレイ３０２は、画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、具体的には液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等のいずれでもよい。あるいは、平板型ディスプレイ３０２は、タブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。

【0023】

ここで、図９の比較例を用いて、ヘッドマウントディスプレイ１００に表示された画像を平板型ディスプレイ３０２に表示することによって共有するためのミラーリング技術について、想定される手法を説明する。図９のミラーリングシステムは、レンダリング装置４００と、ヘッドマウントディスプレイ１００と、平板型ディスプレイ３０２と、出力制御装置５００と、を含む。出力制御装置５００は、レンダリング装置４００とは別体に設けられてレンダリング装置４００に接続される。出力制御装置５００は、レンダリング装置４００が出力したデータを処理する。出力制御装置５００は、処理したデータをヘッドマウントディスプレイ用の出力ポート５００ａ及びミラーリング画像用の出力ポート５００ｂを介してヘッドマウントディスプレイ１００と平板型ディスプレイ３０２とにそれぞれ中継する。

【0024】

図９のミラーリングシステムでは、まず、レンダリング装置４００は、コンテンツに関するソース画像として左目用画像Ｌ及び右目用画像Ｒを生成する。レンダリング装置４００は、ヘッドマウントディスプレイ１００の接眼レンズによる歪みに合わせた歪み補正を左目用画像Ｌ及び右目用画像Ｒに施すことによりヘッドマウントディスプレイ１００用の双眼画像Ｃを生成する。双眼画像Ｃは、画像を立体視させることを想定したものであり、表示パネルに対応する画像平面を２分割してなる左右の領域に、左目用画像Ｌと右目用画像Ｒからなる一対の視差画像をそれぞれ配置した構成を有する。ここで、ヘッドマウントディスプレイ１００ではユーザの眼前と周囲に視野角の広い映像を表示させるために曲率の高い光学レンズを採用し、ユーザがレンズを介してディスプレイパネルを覗き込む構成になっている。曲率の高いレンズを用いるとレンズの歪曲収差によって映像が歪んでしまう。そこで、曲率の高いレンズを通して見たときに正しく見えるように、レンダリングされた画像に対して予め歪み処理を施し、歪み処理後の画像をヘッドマウントディスプレイに伝送してディスプレイパネルに表示し、ユーザが曲率の高いレンズを通して見ると正常に見えるようにする。レンダリング装置４００は、この双眼画像Ｃを出力制御装置５００に供給する。

【0025】

出力制御装置５００は、この双眼画像Ｃをヘッドマウンドディスプレイ用画像（以下、ＨＭＤ画像）ＣとしてＨＭＤ画像用出力ポート５００ａを介してヘッドマウントディスプレイ１００にそのまま供給する。また、出力制御装置５００は、双眼画像Ｃのうち左目用部分、右目用部分のどちらかの画像に、上記歪み補正と逆の補正を施し、その補正を施した画像の中央部分を切り取ることによって平板型ディスプレイ３０２用のミラーリング画像Ｍを生成する。出力制御装置５００は、このミラーリング画像Ｍをミラーリング画像用出力ポート５００ｂを介して平板型ディスプレイ３０２に供給する。このようにして、ヘッドマウントディスプレイ１００にＨＭＤ画像Ｃが表示され、平板型ディスプレイ３０２にミラーリング画像Ｍが表示され、図９のミラーリングシステムにおいてミラーリングが実現される。しかし、図９のミラーリングシステムでは、歪み補正と逆の補正を施す必要があるため、ミラーリング画像Ｍが劣化してしまうという問題がある。

【0026】

一方、図３の新しいミラーリングシステムが開発されている。図３のミラーリングシステムは、レンダリング装置２００と、ヘッドマウントディスプレイ１００と、平板型ディスプレイ３０２と、を含む。図３のシステムでは、図９のシステムのようにレンダリング装置４００とヘッドマウントディスプレイ１００及び平板型ディスプレイ３０２との間に出力制御装置５００が設けられていない。図３のシステムでは、ソース画像を生成して、ソース画像に必要な処理を施してＨＭＤ画像及びミラーリング画像を生成して、ヘッドマウントディスプレイ１００及び平板型ディスプレイ３０２にそれぞれ供給する各々の機能が同一の装置内で実現されている。

【0027】

図３のシステムにおけるミラーリングの手法の概要を説明する。レンダリング装置２００は、コンテンツに関するソース画像として左目用画像Ｌ及び右目用画像Ｒを生成する。レンダリング装置２００は、ソース画像に基づいて、ヘッドマウントディスプレイ１００の接眼レンズによる歪みに合わせた歪み補正やヘッドマウントディスプレイ１００の最新の位置情報及び姿勢情報に基づくリプロジェクション処理等を左目用画像Ｌ及び右目用画像Ｒに施すことにより双眼画像Ｃを生成する。レンダリング装置２００は、生成した双眼画像ＣをＨＭＤ画像としてＨＭＤ画像用出力ポート２００ａを介してヘッドマウントディスプレイ１００に供給する。

【0028】

また、レンダリング装置２００は、ソース画像に基づいて、左目用画像Ｌ及び右目用画像Ｒの一方の画像（本実施形態では右目用画像Ｒ）に後述の処理を施すことにより、ミラーリング画像Ｍを生成する。レンダリング装置２００は、生成したミラーリング画像Ｍとしてミラーリング画像用出力ポート２００ｂを介して平板型ディスプレイ３０２に供給する。このようにして、ヘッドマウントディスプレイ１００にＨＭＤ画像Ｃが表示され、平板型ディスプレイ３０２にミラーリング画像Ｍが表示され、図３のミラーリングシステムにおいてミラーリングが実現される。

【0029】

本実施形態によると、ソース画像を歪み補正することによりミラーリング画像Ｍを生成しており、図９のミラーリングシステムのように歪み補正と逆の補正を施していないため、ミラーリング画像Ｍの劣化を抑制することが可能となる。その結果、高品質のミラーリング画像を提供することが可能となる。以下、本実施形態のミラーリングの手法を詳細に説明する。

【0030】

図４は、図２のレンダリング装置２００の構成図である。レンダリング装置２００は、入力データ取得部２０１と、情報処理部２０２と、ソース画像生成部２０３と、ソース画像加工部２０４と、第１及び第２通信部２０５ａ及び２０５ｂと、画像の生成に必要なデータを格納するデータ記憶部２０６と、を含む。図４は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

【0031】

第１及び第２通信部２０５ａ及び２０５ｂは、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）など所定のプロトコルにより通信を確立する。第１通信部２０５ａは、ＨＭＤ画像用出力ポート２００ａを介してヘッドマウントディスプレイ１００と通信可能に構成される。第１通信部２０５ａは、ヘッドマウントディスプレイ１００からヘッドマウントディスプレイ１００の位置情報及び姿勢情報を受信する。第１通信部２０５ａは、ヘッドマウントディスプレイ１００にＨＭＤ画像Ｃを供給可能に構成される。本実施形態の第１通信部２０５ａは、ＨＭＤ画像供給部の一例である。第２通信部２０５ｂは、ミラーリング画像用出力ポート５００ｂを介して平板型ディスプレイ３０２と通信可能に構成される。第２通信部２０５ｂは、平板型ディスプレイ３０２にミラーリング画像Ｍを供給可能に構成される。本実施形態の第２通信部２０５ｂは、ミラーリング画像供給部の一例である。

【0032】

入力データ取得部２０１は、入力データを取得する。入力データは、入力装置（不図示）を介して入力されたユーザ操作の内容を示す操作情報や、第１通信部２０５ａを介して取得したユーザの頭部の位置情報及び姿勢情報等を含む。ここで、ユーザ操作とは、実行するアプリケーションの選択、処理の開始／終了、コマンド入力など、一般的な情報処理でなされるものでよい。入力データ取得部２０１は、取得した入力データを情報処理部２０２に供給する。

【0033】

情報処理部２０２は、ゲームなど実行するアプリケーションに応じた情報処理を行う。情報処理部２０２は、例えば、入力データに基づいて、ゲームを進捗させたり対応する処理を実施したりする。情報処理部２０２は、情報処理の結果をソース画像生成部２０３に供給する。

【0034】

ソース画像生成部２０３は、情報処理の結果に基づいて、データ記憶部２０６から必要なデータを読み出すことにより、出力すべきゲーム画像などのソース画像を生成する。例えば、ソース画像生成部２０３は、ユーザの頭部の位置や姿勢に対応する視点から見た仮想世界に関する左目用画像Ｌ及び右目用画像Ｒをソース画像として生成する。ソース画像生成部２０３は、このようにして、歪みが与えられていないソース画像を生成する。ソース画像生成部２０３は、ソース画像を画像加工部２０４に供給する。

【0035】

画像加工部２０４は、ソース画像に必要に応じた加工を施すことにより、ＨＭＤ画像Ｃ及びミラーリング画像Ｍを生成する。ソース画像加工部２０４は、ＨＭＤ画像Ｃを生成するＨＭＤ画像生成部２０４ａと、ミラーリング画像Ｍを生成するミラーリング画像生成部２０４ｂと、を含む。

【0036】

ＨＭＤ画像生成部２０４ａは、ソース画像としての左目用画像Ｌ及び右目用画像Ｒを左右の視差画像として描画したうえで、必要な処理を施して左右に配置した双眼画像Ｃを生成する。この必要な処理としては、レンズを考慮した歪み補正、ヘッドマウントディスプレイ１００の最新の位置情報及び姿勢情報に基づくリプロジェクション処理、メニュー画面等の重畳処理等を含み、各々一般的な手法を適用することができる。ＨＭＤ画像生成部２０４ａは、生成した双眼画像ＣをＨＭＤ画像Ｃとして第１通信部２０５ａを介してヘッドマウントディスプレイ１００に供給する。

【0037】

ミラーリング画像生成部２０４ｂは、ソース画像としての左目用画像Ｌ及び右目用画像Ｒの一方の画像（本実施形態では右目用画像Ｒ）の一部分（例えば中央部分）を用いて、ミラーリング画像Ｍを生成する。ミラーリング画像生成部２０４ｂは、ミラーリング画像Ｍを第２通信部２０５ｂを介して平板型ディスプレイ３０２に供給する。以下、ミラーリング画像生成部２０４ｂにおけるミラーリング画像の生成手法について説明する。

【0038】

まず、３次元表示態様におけるミラーリング画像Ｍを生成する場合について説明する。ミラーリング画像生成部２０４ｂは、ＨＭＤ画像生成部２０４ａにおけるリプロジェクション処理が反映されたＨＭＤ画像Ｃに関するヘッドマウントディスプレイ１００の視野角（ＵＶ座標値）を求める。ＵＶ座標値は、テクスチャ属性を参照するためのパラメータ座標である。ミラーリング画像生成部２０４ｂは、求めたＵＶ座標値を用いて視野角に対応するテクスチャを参照することで、右目用画像Ｒの一部分に対応する複数のテクスチャ画像を生成する。ミラーリング画像生成部２０４ｂは、その複数のテクスチャ画像を重畳することによって３次元表示態様のミラーリング画像Ｍを生成する。このように、ＨＭＤ画像生成部２０４ａにおける処理後の双眼画像Ｃにおける視野角と同じ視野角を用いることにより、リプロジェクション処理後のＨＭＤ画像Ｃの視野に合わせるようにミラーリング画像Ｍを生成することが可能となる。したがって、ヘッドマウントディスプレイ１００のトラッキングの影響が抑制された高品質の３次元表示態様のミラーリング画像Ｍを提供することが可能となる。また、処理後の双眼画像Ｃにおけるヘッドマウントディスプレイ１００の視野角を用いて平板型ディスプレイ３０２のディスプレイの横幅を合わせ、テクスチャを選ぶことができる。さらに、画質をソース画像のテクスチャに依存させることが可能となる。

【0039】

次に、２次元表示態様のミラーリング画像Ｍを生成する場合について説明する。ミラーリング画像生成部２０４ｂは、平板型ディスプレイ３０２の画面サイズに対応する１６：９のパネル（仮想スクリーン）に右目用画像Ｒの一部分をテクスチャとして貼り付けることにより、２次元表示態様のミラーリング画像Ｍを生成する。これにより、ヘッドマウントディスプレイ１００のトラッキング（頭の動き）に関係なく、右目用画像Ｒの一部分がそのまま表示される。したがって、ヘッドマウントディスプレイ１００のトラッキングの影響が抑制された高品質の２次元表示態様のミラーリング画像Ｍを提供することが可能となる。ここで、２次元表示態様のミラーリング画像Ｍは、仮想空間内に２次元平面の映像を映し出す際に用いられ、例えば、仮想の映画スクリーンを仮想空間内に表示する際に、２次元表示態様のミラーリング画像Ｍが利用される。

【0040】

このようにヘッドマウントディスプレイ１００及び平板型ディスプレイ３０２にそれぞれＨＭＤ用画像及びミラーリング画像が供給されることにより、ヘッドマウントディスプレイ１００及び平板型ディスプレイ３０２にこれらの画像がそれぞれ表示される。図５（ａ）及び（ｂ）は３次元表示におけるＨＭＤ画像Ｃ及びミラーリング画像Ｍの例である。図６（ａ）及び（ｂ）は２次元表示におけるＨＭＤ画像Ｃ及びミラーリング画像Ｍの例である。

【0041】

以下、図７を参照して、本実施形態のＨＭＤ画像Ｃ及びミラーリング画像Ｍをヘッドマウントディスプレイ１００及び平板型ディスプレイ３０２にそれぞれ表示させるための処理Ｓ１０について説明する。ステップＳ１１で、ソース画像生成部２０３は、歪みが与えられていないソース画像を生成する。ステップＳ１２で、画像加工部２０４は、ソース画像に基づいて、ＨＭＤ画像Ｃとミラーリング画像Ｍとを生成する。ステップＳ１３で、第１通信部２０５ａがＨＭＤ画像Ｃをヘッドマウントディスプレイ１００に供給するとともに、第２通信部２０５ｂがミラーリング画像Ｍを平板型ディスプレイ３０２に供給する。Ｓ１３の後、処理Ｓ１０は終了する。

【0042】

（変形例）
以下、実施形態の変形例について説明する。

【0043】

実施形態では、ミラーリング画像Ｍは、右目用画像Ｒの一部分を用いて生成されたが、これに限定されない。例えば、ミラーリング画像Ｍは、ＨＭＤ画像生成部２０４ａによって生成された双眼画像Ｃと同等のものであってもよい（図８参照）。この場合、ミラーリング画像生成部２０４ｂは、ＨＭＤ画像生成部２０４ａと同様の処理を行うことにより双眼画像Ｃを生成し、これをミラーリング画像Ｍとして平板型ディスプレイ３０２に供給してもよい。本構成によると、ヘッドマウントディスプレイ１００に供給されるＨＭＤ画像Ｃ（双眼画像Ｃ）を平板型ディスプレイ３０２で確認することができるため、開発者がデバッグを行うことが容易になる。

【0044】

本実施形態では、レンダリング装置２００はゲーム機であるが、これに限定されない。レンダリング装置２００は、さらにネットワークを介してヘッドマウントディスプレイ１００及び平板型ディスプレイ３０２に接続されたサーバ等であってもよい。

【0045】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

【符号の説明】

【0046】

１００ ヘッドマウントディスプレイ、２００ レンダリング装置、２００ａ ＨＭＤ画像用出力ポート、２００ｂ ミラーリング画像用出力ポート２００ｂ、２０１ 入力データ取得部、２０２ 情報処理部、２０３ ソース画像生成部、２０４ ソース画像加工部、２０４ａ ＨＭＤ画像生成部、２０４ｂ ミラーリング画像生成部、２０５ 通信部、２０６ データ記憶部、３００ データ伝送路、３０２ 平板型ディスプレイ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】