知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
特許7607759画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、および画像表示方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-19
(45)【発行日】2024-12-27
(54)【発明の名称】画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、および画像表示方法
(51)【国際特許分類】
H04N 13/282 20180101AFI20241220BHJP
H04N 13/366 20180101ALI20241220BHJP
H04N 13/194 20180101ALI20241220BHJP
H04N 13/111 20180101ALI20241220BHJP
H04N 5/66 20060101ALI20241220BHJP
【ＦＩ】
H04N13/282
H04N13/366
H04N13/194
H04N13/111
H04N5/66 Z
【請求項の数】
14
(21)【出願番号】P 2023522069
(86)(22)【出願日】2021-05-19
(86)【国際出願番号】 JP2021018931
(87)【国際公開番号】W WO2022244131
(87)【国際公開日】2022-11-24
【審査請求日】2023-10-24
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】有松 和之
(72)【発明者】
【氏名】濱田 全章
(72)【発明者】
【氏名】河原 裕幸
【審査官】西田 光宏
(56)【参考文献】
【文献】国際公開第２０２１／０４９２８１（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２１／００６５４３２（ＵＳ，Ａ１）
【文献】国際公開第２０１８／２２１２１１（ＷＯ，Ａ１）
【文献】特開２０１５－０１９３２６（ＪＰ，Ａ）
【文献】国際公開第２０１７／１８３３４６（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０９０３１６（ＷＯ，Ａ１）
【文献】韓国公開特許第１０－２０２０－０１４３２７６（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ １／００－１９／２０
Ｇ０６Ｖ １０／００－４０／７０
Ｇ０９Ｆ ９／００－９／４６
Ｇ０９Ｇ ５／００
Ｈ０４Ｎ ５／６６
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ ９／１２
Ｈ０４Ｎ １３／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
表示対象の空間に対する視点の変化に係る情報に基づき、所定の時間ステップで参照視点を設定する視点設定部と、前記参照視点に対応する視野で前記空間を表した参照画像を描画する参照画像描画部と、
前記空間のうち前記参照画像に表されない遮蔽部分のカラー情報を、前記参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得する追加データ生成部と、
前記参照画像と前記追加サンプリングデータを対応づけて、表示装置に送信する送信部と、
を備え、
前記追加データ生成部は、前記表示装置が前記参照画像を用いた表示処理を行う際の視点を予測し、予測した視点からの前記カラー情報を取得することを特徴とする画像データ生成装置。
【請求項2】
前記追加データ生成部は、複数の視点を設定したうえ前記カラー情報を取得することを特徴とする請求項１に記載の画像データ生成装置。
【請求項3】
前記追加データ生成部は、前記カラー情報を取得した、前記遮蔽部分の位置に係る情報を、前記追加サンプリングデータに含めることを特徴とする請求項１または２に記載の画像データ生成装置。
【請求項4】
前記参照画像描画部は、前記参照画像に表されるオブジェクトの深度の分布に基づく面積で画像平面を分割してなるパッチの頂点の位置情報、および前記参照視点の位置情報を、前記参照画像のデータに含め、前記追加データ生成部は、前記パッチの面積に基づき、前記カラー情報を取得する対象を抽出することを特徴とする請求項１から３のいずれかに記載の画像データ生成装置。
【請求項5】
前記追加データ生成部は、前記参照画像における像の輪郭を含む所定範囲の領域に対応する、前記空間内の領域を、前記異なる視点からレイトレーシングにより描画することにより、前記カラー情報を取得することを特徴とする請求項１から４のいずれかに記載の画像データ生成装置。
【請求項6】
視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す表示装置であって、参照視点に対応する視野で前記空間を表した参照画像のデータと、前記空間のうち前記参照画像に表されない遮蔽部分のカラー情報を含む追加サンプリングデータと、を取得する画像データ取得部と、
前記参照画像を、最新の視点に対応する視野での画像に変換するとともに、前記追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成するリプロジェクション部と、
前記表示画像を出力する表示部と、
を備えたことを特徴とする表示装置。
【請求項7】
前記画像データ取得部は、前記参照画像の平面を分割してなるパッチの頂点の位置情報、および前記参照視点の位置情報を、前記参照画像に対応づけて取得し、前記リプロジェクション部は、前記参照視点から前記最新の視点へのビュースクリーンの変化に対応する変換を、前記パッチの単位で行うことを特徴とする請求項６に記載の表示装置。
【請求項8】
前記リプロジェクション部は、前記参照画像を参照したカラー値のフィルタリングにおいて、前記追加サンプリングデータが示すカラー情報を挿入することにより、表示画像の画素値を決定することを特徴とする請求項６または７に記載の表示装置。
【請求項9】
前記リプロジェクション部は、前記参照画像を参照して前記表示画像の画素値を決定したうえ、遮蔽により画素値が決定されない部分について、前記追加サンプリングデータが示すカラー情報を用いて画素値を決定することを特徴とする請求項６または７に記載の表示装置。
【請求項10】
画像データ生成装置と表示装置を含み、視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す画像表示システムであって、前記画像データ生成装置は、
所定の時間ステップで参照視点を設定する視点設定部と、
前記参照視点に対応する視野で前記空間を表した参照画像を描画する参照画像描画部と、
前記空間のうち前記参照画像に表されない遮蔽部分のカラー情報を、前記参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得する追加データ生成部と、
前記参照画像と前記追加サンプリングデータを対応づけて送信する送信部と、を備え、
前記表示装置は、
前記参照画像と前記追加サンプリングデータとを取得する画像データ取得部と、
前記参照画像を、最新の視点に対応する視野での画像に変換するとともに、前記追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成するリプロジェクション部と、
前記表示画像を出力する表示部と、
を備えたことを特徴とする画像表示システム。
【請求項11】
表示対象の空間に対する視点の変化に係る情報に基づき、所定の時間ステップで参照視点を設定するステップと、前記参照視点に対応する視野で前記空間を表した参照画像を描画するステップと、
前記空間のうち前記参照画像に表されない遮蔽部分のカラー情報を、前記参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得するステップと、
前記参照画像と前記追加サンプリングデータを対応づけて、表示装置に送信するステップと、
を含み、
前記カラー情報を追加サンプリングデータとして取得するステップは、前記表示装置が前記参照画像を用いた表示処理を行う際の視点を予測し、予測した視点からの前記カラー情報を取得することを特徴とする画像データ生成方法。
【請求項12】
視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す表示装置が、参照視点に対応する視野で前記空間を表した参照画像のデータと、前記参照画像に表されない遮蔽部分のカラー情報を含む追加サンプリングデータと、を取得するステップと、
前記参照画像を、最新の視点に対応する視野での画像に変換するとともに、前記追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成するステップと、
前記表示画像を出力するステップと、
を含むことを特徴とする画像表示方法。
【請求項13】
表示対象の空間に対する視点の変化に係る情報に基づき、所定の時間ステップで参照視点を設定する機能と、前記参照視点に対応する視野で前記空間を表した参照画像を描画する機能と、
前記空間のうち前記参照画像に表されない遮蔽部分のカラー情報を、前記参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得する機能と、
前記参照画像と前記追加サンプリングデータを対応づけて、表示装置に送信する機能と、
をコンピュータに実現させ、
前記カラー情報を追加サンプリングデータとして取得する機能は、前記表示装置が前記参照画像を用いた表示処理を行う際の視点を予測し、予測した視点からの前記カラー情報を取得することを特徴とするコンピュータプログラム。
【請求項14】
視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す表示装置において、参照視点に対応する視野で前記空間を表した参照画像のデータと、前記参照画像に表されない遮蔽部分のカラー情報を含む追加サンプリングデータと、を取得する機能と、
前記参照画像を、最新の視点に対応する視野での画像に変換するとともに、前記追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成する機能と、
前記表示画像を出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視野が変化する画像を生成する画像データ生成装置、当該画像を表示する表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造に関する。
【背景技術】
【0002】
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ヘッドマウントディスプレイを装着したユーザの視線に応じた画像が表示されるようにすることでＶＲ（仮想現実）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
表示装置の種類によらず、ユーザによる視点や視線の操作を許容する場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理の負荷が増大する。表示装置とは別の装置から画像データを転送する場合は、その転送時間も必要になる。結果として、操作に対応する視野での画像が表示されるまでに看過できない遅延が生じ、臨場感が損なわれたり違和感を与えたりしやすくなる。ヘッドマウントディスプレイの場合は特に、頭部の動きに対し映像が遅れることによる映像酔いも問題となる。
【0004】
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像表示の応答性と品質を両立させることのできる技術を提供することにある。
【課題を解決するための手段】
【0005】
本発明のある態様は画像データ生成装置に関する。この画像データ生成装置は、表示対象の空間に対する視点の変化に係る情報に基づき、所定の時間ステップで参照視点を設定する視点設定部と、参照視点に対応する視野で空間を表した参照画像を描画する参照画像描画部と、空間のうち参照画像に表されない遮蔽部分のカラー情報を、参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得する追加データ生成部と、参照画像と追加サンプリングデータを対応づけて、表示装置に送信する送信部と、を備えたことを特徴とする。
【0006】
本発明の別の態様は表示装置に関する。この表示装置は、視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す表示装置であって、参照視点に対応する視野で空間を表した参照画像のデータと、空間のうち参照画像に表されない遮蔽部分のカラー情報を含む追加サンプリングデータと、を取得する画像データ取得部と、参照画像を、最新の視点に対応する視野での画像に変換するとともに、追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成するリプロジェクション部と、表示画像を出力する表示部と、を備えたことを特徴とする。
【0007】
本発明のさらに別の態様は画像表示システムに関する。この画像表示システムは、画像データ生成装置と表示装置を含み、視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す画像表示システムであって、画像データ生成装置は、所定の時間ステップで参照視点を設定する視点設定部と、参照視点に対応する視野で空間を表した参照画像を描画する参照画像描画部と、空間のうち参照画像に表されない遮蔽部分のカラー情報を、参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得する追加データ生成部と、参照画像と追加サンプリングデータを対応づけて送信する送信部と、を備え、表示装置は、参照画像と追加サンプリングデータとを取得する画像データ取得部と、参照画像を、最新の視点に対応する視野での画像に変換するとともに、追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成するリプロジェクション部と、表示画像を出力する表示部と、を備えたことを特徴とする。
【0008】
本発明のさらに別の態様は画像データ生成方法に関する。この画像データ生成方法は、表示対象の空間に対する視点の変化に係る情報に基づき、所定の時間ステップで参照視点を設定するステップと、参照視点に対応する視野で空間を表した参照画像を描画するステップと、空間のうち参照画像に表されない遮蔽部分のカラー情報を、参照視点と異なる視点を設定したうえで、追加サンプリングデータとして取得するステップと、参照画像と追加サンプリングデータを対応づけて、表示装置に送信するステップと、を含むことを特徴とする。
【0009】
本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表す表示装置が、参照視点に対応する視野で空間を表した参照画像のデータと、参照画像に表されない遮蔽部分のカラー情報を含む追加サンプリングデータと、を取得するステップと、参照画像を、最新の視点に対応する視野での画像に変換するとともに、追加サンプリングデータを用いてカラー情報を追加することにより表示画像を生成するステップと、表示画像を出力するステップと、を含むことを特徴とする。
【0010】
本発明のさらに別の態様は画像データのデータ構造に関する。このデータ構造は、視点の変化に係る情報に基づき、視野を変化させて表示対象の空間を表すための画像データであって、参照視点に対応する視野で空間を表した参照画像のデータと、参照視点の位置情報と、空間のうち参照画像に表されない遮蔽部分のカラー情報と、カラー情報を取得した、遮蔽部分の位置に係る情報と、を対応づけ、表示装置の画像データ取得部が取得し、リプロジェクション部が、参照画像を、最新の視点に対応する視野での画像に変換するとともに、遮蔽部分の像としてカラー情報を追加することにより表示画像を生成することを特徴とする。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0012】
本発明によれば、画像表示の応答性と品質を両立させることができる。
【図面の簡単な説明】
【0013】
【図1】本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。
【図2】本実施の形態における画像表示システムの構成例を示す図である。
【図3】本実施の形態で画像データ生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。
【図4】本実施の形態の画像データ生成装置における各フレームの生成処理とヘッドマウントディスプレイにおける表示処理の進捗の様子を例示する図である。
【図5】本実施の形態における、視点の変化に対する画像の変化を説明するための図である。
【図6】本実施の形態における画像データ生成装置の内部回路構成を示す図である。
【図7】本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。
【図8】本実施の形態における画像データ生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。
【図9】本実施の形態において画像データ生成装置からヘッドマウントディスプレイへ送信する画像データの構造例を示す図である。
【図10】本実施の形態におけるヘッドマウントディスプレイのリプロジェクション部が表示画像を生成する手法の概念を説明するための図である。
【図11】本実施の形態において、追加サンプリングデータを用いたリプロジェクションの効果を画素レベルで説明するための図である。
【図12】本実施の形態において画像データ生成装置が画像のデータを生成し送信する処理手順を示すフローチャートである。
【図13】本実施の形態においてヘッドマウントディスプレイが画像を表示する処理手順を示すフローチャートである。
【図14】本実施の形態における実際の参照画像と、最新視点を想定した画像を示す図である。
【図17】ディスオクルージョンの領域についても、参照画像のカラー情報をフィルタリングして画素値を決定した結果を示す図である。
【図18】本実施の形態において参照画像および追加サンプリングデータを用いて画素値を決定した結果を示す図である。
【発明を実施するための形態】
【0014】
本実施の形態は、ユーザの位置や姿勢、ユーザ操作などに応じて、表示対象の３次元空間に対する視野が変化するように画像を表示するシステムに関する。この限りにおいて画像を表示させる装置は、ヘッドマウントディスプレイ、ウェアラブル端末、携帯端末、平板型ディスプレイ、テレビ受像器など特に限定されないが、以後、ヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。
【0015】
出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。
【0016】
この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すればＡＲ（拡張現実）を実現できる。また、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）などの技術により撮影画像を解析することで、ヘッドマウントディスプレイ１００の位置や姿勢を特定することもできる。
【0017】
図２は、本実施の形態における画像表示システムの構成例を示す。（ａ）に示す構成においてヘッドマウントディスプレイ１００ａは、無線ＬＡＮ（Local Area Network）やＨＤＭＩ（登録商標）などにより画像データ生成装置２００ａと接続される。画像データ生成装置２００ａは、さらにＷＡＮ（World Area Network）などのネットワークを介してサーバに接続されてもよい。この場合、画像データ生成装置２００ａは、ゲームや動画像などの電子コンテンツをサーバからダウンロードしてもよい。（ｂ）に示す構成においてヘッドマウントディスプレイ１００ｂは、ＷＡＮなどのネットワーク１６０を介して画像データ生成装置２００ｂに接続される。
【0018】
なお画像データ生成装置２００ａは、ゲーム装置やパーソナルコンピュータなど、個人が所有し画像生成以外の機能も有する情報処理装置であってよい。また画像データ生成装置２００ｂは、ネットワーク１６０を介してクライアントに電子コンテンツを配信するゲームサーバ、動画配信サーバ、クラウドサーバなどのサーバであってもよい。以後、それらを総称して「画像データ生成装置２００」と呼ぶ。画像データ生成装置２００とヘッドマウントディスプレイ１００との通信形態、画像データ生成装置２００に接続するヘッドマウントディスプレイ１００の数などは特に限定されない。
【0019】
画像データ生成装置２００は、ヘッドマウントディスプレイ１００、ひいてはそれを装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野で表示画像を生成してヘッドマウントディスプレイ１００にストリーミング転送する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像データ生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、観賞や情報提供のための画像を生成してもよい。いずれにしろ画像データ生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの視点に対応する視野で、３次元空間を表す画像を描画する。
【0020】
図３は、本実施の形態で画像データ生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像データ生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。
【0021】
ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。
【0022】
このような態様を実現するため、画像データ生成装置２００は、ヘッドマウントディスプレイ１００の位置や姿勢に係る情報をリアルタイムで取得したうえ、対応する画像（動画像のフレーム）を生成し、ヘッドマウントディスプレイに送信する、という一連の処理を繰り返す。図４は、画像データ生成装置２００における各フレームの生成処理とヘッドマウントディスプレイ１００における表示処理の進捗の様子を例示している。
【0023】
図は横方向の共通の時間軸に対し、上段に画像データ生成装置２００における画像生成処理、下段にヘッドマウントディスプレイ１００における表示処理を、１フレームを１つの５角形矢印でそれぞれ示している。この例では画像データ生成装置２００は、ヘッドマウントディスプレイ１００における表示のフレームレートより低いレートでフレームを生成する。一例として表示レートが１２０ｆｐｓの場合、画像データ生成装置２００は６０ｆｐｓでフレームを生成、送信する。このようにフレームの生成周期を表示の更新周期より長くすることで、時間をかけて高品質の画像を生成できるとともに全体としてビットレートを抑えられる。
【0024】
ただし本実施の形態におけるフレームレートの関係はこれに限らず、生成と表示を同じレートとしても構わない。いずれにしろ各フレームの生成と表示には時間的なずれが生じ、図示するように生成レートを低くしたり、伝送形態に依存してデータ転送時間が長くなったりするほど時間ずれは大きくなる。そこでヘッドマウントディスプレイ１００において、表示直前におけるユーザの視点に対応するように画像を補正すれば、時間ずれの影響を軽減させることができる。このような視点の変化に対応する補正を「リプロジェクション」と呼ぶ。
【0025】
図の例では、まず画像データ生成装置２００が、時刻ｔ０でヘッドマウントディスプレイ１００から取得した位置姿勢情報に基づき、生成する画像の視点を決定する。そして時刻ｔ１にかけて、対応する視野で画像１４０ａを生成しつつ、順次ヘッドマウントディスプレイ１００に送信する。ヘッドマウントディスプレイ１００は送信された画像に対し、その時点（時刻ｔ２）での位置姿勢を踏まえてリプロジェクションを行い、時刻ｔ３で表示パネルに出力する。この例では送信された画像１４０ａに対し、左方向への視点移動に対応するリプロジェクションを行った結果、テーブルのオブジェクトが右側に寄った画像１４０ｂが表示される。
【0026】
このように時刻ｔ０からｔ２の間に生じた視点の変化を、リプロジェクション処理によって吸収することにより、ユーザの動きに対し遅延の少ない画像を表示させ続けることができる。これによりフレームの生成レートを表示レートと独立に設定でき、上記のような画質向上やビットレート軽減の効果も得られる。以後、画像データ生成装置２００が生成する画像を「参照画像」、参照画像の生成において設定する視点を「参照視点」、ヘッドマウントディスプレイ１００がリプロジェクション時に設定する視点を「最新視点」と呼ぶ。
【0027】
なお画像データ生成装置２００は、時刻ｔ０、ｔ１、・・・などフレームの生成レートに対応する時間ステップで順次参照視点を設定する。設定の根拠となるデータは、視点の変化をもたらす情報であれば、表示装置の種類や表示目的などによって様々でよい。例えば図示するようにヘッドマウントディスプレイ１００の位置姿勢情報を用いてもよいし、図示しない入力装置を介した、視点変化に係るユーザ操作の内容を取得してもよい。あるいはユーザ操作に応じてゲームプログラムなどのアプリケーションが決定する視点の情報を取得してもよい。それらは包括的に「視点の変化に係る情報」と捉えられる。最新視点についても当然、それらの情報のいずれかに基づき、表示のフレームレートに対応する時間ステップで決定する。
【0028】
図５は、視点の変化に対する画像の変化を説明するための図である。図は、オブジェクト１４２ａ、１４２ｂ、背景１４４が配置された表示対象の３次元空間と視点を俯瞰した状態を表している。ここで網掛けで示された視錐台の領域１４６が参照視点からの視野とすると、画像データ生成装置２００は、領域１４６内に存在するオブジェクトを、ビュースクリーン１４ａに射影した状態を表す参照画像を生成する。すなわち参照画像には、オブジェクト１４２ａ、１４２ｂ、背景１４４のうち、太線で示された面の像が表される。
【0029】
視点が矢印のように移動した場合、最新視点に対応する視錐台の領域１４８も変化するため、ビュースクリーン１４ｂへ射影される像の変化は、移動や変形のみならず、遮蔽されていた部分の出現を伴う場合がある。図の例では例えば、オブジェクト１４２ａのうち参照視点からは遮蔽されている、破線で示された面１５０が見えるようになる。このように、視点の変化により遮蔽されていた部分が出現することをディスオクルージョンと呼ぶ。ディスオクルージョンは図示するように、１つのオブジェクト１４２ａの別の面について発生するほか、手前のオブジェクトの背後にあるオブジェクトや背景についても発生する。
【0030】
最新視点においてディスオクルージョンが発生した場合、参照画像には当該部分の情報が含まれていないため、単純な像の変換のみでは正確な表現ができない。すなわち参照画像に表された像に対し並進や回転の変換を施した際、画素値を決定できない、いわゆる「穴」の部分が生じる。その対策として、ヘッドマウントディスプレイ１００において、最新視点からの画像を部分的に描画して穴を埋めることが考えられる。
【0031】
しかしながらこの場合、当該描画処理のために、表示対象の空間情報や各オブジェクトのモデルデータなどを、画像データ生成装置２００からヘッドマウントディスプレイ１００に送信する必要が生じる。例えばレイトレーシングにより高精細な画像を表示させるシステムにおいては、空間のジオメトリ情報、テクスチャデータ、光源情報、マテリアル情報などを全てヘッドマウントディスプレイ１００に送信する必要がある。結果として送信データのサイズが増大するとともにリプロジェクションに時間を要し、表示までの遅延時間の増加につながる。
【0032】
そこで本実施の形態では、ディスオクルージョンが発生する可能性のある部分について、画像データ生成装置２００が投機的にカラー情報を生成する。すなわち画像データ生成装置２００は、参照視点以外の視点からの画像を部分的に描画し、その画素値すなわちカラー情報を、参照画像のデータに追加してヘッドマウントディスプレイ１００に送信する。ヘッドマウントディスプレイ１００はリプロジェクション処理において、送信された参照画像を最新視点に基づき補正するとともに、ディスオクルージョンが生じた部分について、追加で送信されたカラー情報を用いて画素値を決定する。
【0033】
一般的な環境においては、ディスオクルージョンが生じる面積割合は画像全体に対し僅かであり、データサイズの増加も数パーセント以下となる。したがって、モデルデータ全体を送信してヘッドマウントディスプレイ１００側で描画する場合と比較し、データ転送時間への影響を格段に抑えられる。また、画像データ生成装置２００の潤沢なリソースによって追加の情報を生成することにより、投機的な処理による所要時間への影響も抑えられる。さらに、ヘッドマウントディスプレイ１００における処理負荷の増大を回避できるため、処理性能の低いヘッドマウントディスプレイ１００であっても実現しやすい。以下、画像データ生成装置２００が追加で生成するカラー情報を「追加サンプリングデータ」、追加サンプリングデータを生成するために設定する、参照視点以外の視点を「追加視点」と呼ぶ。
【0034】
図６は、画像データ生成装置２００の内部回路構成を示している。画像データ生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。
【0035】
入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、図示しない表示装置などへデータを出力する出力部２３６、図示しない入力装置などからデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。
【0036】
ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像データ生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って画像の描画処理を行う。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【0037】
図７は、ヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。
【0038】
ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像データ生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２はＣＰＵ１２０における処理に必要なプログラムやデータを格納する。表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。上述のとおり、左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。
【0039】
音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像データ生成装置２００との間でデータを送受するためのインターフェースであり、既知の通信技術により通信を確立する。画像データ生成装置２００から送信された画像のデータは、通信部１３２を介してＣＰＵ１２０の制御のもと表示部１２４に表示される。
【0040】
モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を所定のレートで取得する。ステレオカメラ１１０は図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。モーションセンサ１３４による計測値やステレオカメラ１１０による撮影画像のデータ、あるいはそれらから得られるヘッドマウントディスプレイ１００の位置姿勢に係るデータは、通信部１３２を介して画像データ生成装置２００に所定のレートで送信される。
【0041】
図８は、本実施の形態における画像データ生成装置２００およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。画像データ生成装置２００は上述のとおり、電子ゲームを進捗させたり動画像を配信したりする一般的な情報処理を行ってよいが、図８では特に、表示画像を生成する機能に着目して示している。
【0042】
また図８に示す機能ブロックは、ハードウェア的には、図６または７に示したＣＰＵ、ＧＰＵ、各種メモリ、センサなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0043】
画像データ生成装置２００は、ヘッドマウントディスプレイ１００の位置姿勢に係る情報を取得する状態情報取得部２６０、参照視点を設定する視点設定部２６２、参照画像を描画する参照画像描画部２６４、追加サンプリングデータを生成する追加データ生成部２６８、表示対象のシーンのモデルデータを記憶するシーンデータ記憶部２６６、生成した画像のデータをヘッドマウントディスプレイ１００に送信する画像データ送信部２７０を備える。
【0044】
状態情報取得部２６０はヘッドマウントディスプレイ１００から、モーションセンサの計測値、ステレオカメラ１１０による撮影画像などのデータを取得し、ヘッドマウントディスプレイ１００の位置や姿勢を所定のレートで算出する。なおヘッドマウントディスプレイ１００側で位置や姿勢の情報を算出し、状態情報取得部２６０はそれを所定のレートで取得してもよい。視点設定部２６２は、状態情報取得部２６０が取得した位置や姿勢に対応するように、表示対象の空間に対する視点の位置および視線の方向を、参照視点として所定のレートで設定する。なお視点設定部２６２は、それまでの視点の動きの履歴に基づき、ヘッドマウントディスプレイ１００において画像が表示されるタイミングでの視点の位置や視線の方向を予測し、これを参照視点として設定してもよい。
【0045】
参照画像描画部２６４は、視点設定部２６２が設定した参照視点からの視野で表示対象の空間を表した参照画像を所定のレートで描画する。この画像は、ゲームなどの情報処理を行った結果であってもよい。シーンデータ記憶部２６６には、画像描画に必要なオブジェクトモデルのデータやシーンの進捗に係る情報を格納しておく。参照画像描画部２６４は、シーンデータ記憶部２６６に格納されたデータや、必要に応じてヘッドマウントディスプレイ１００から送信された撮影画像のデータなどを用いて参照画像を描画する。
【0046】
参照画像描画部２６４は好適には、参照視点からビュースクリーンの各画素を通る光線（レイ）とオブジェクトとの交差判定、および光の反射特性に基づく物理計算によりカラー情報を取得するレイトレーシングにより参照画像を描画する。これにより、オブジェクト表面の材質や光源の状態などを精度よく反映させた精細な画像を描画できる。この際、参照画像描画部２６４は、各画素が表すオブジェクト表面までの深度情報、すなわち奥行き方向の距離値も生成する。レイトレーシングにより画像を描画する場合、レイの交差判定において深度情報は容易に取得できる。
【0047】
深度情報は、ヘッドマウントディスプレイ１００におけるリプロジェクションに用いられる。深度情報を用いて、ある画像を異なる視点から見た画像に補正する技術として、３Ｄワーピングが知られている（例えばAndre Schollmeyer、外４名、"Efficient Hybrid Image Warping for High Frame-Rate Stereoscopic Rendering"、 IEEE Transactions on Visualization and Computer Graphics、２０１７年１月２５日、Vol. 23、 Issue 4、p. 1332-1341、Niko Wismann、外３名、"Accelerated Stereo Rendering with Hybrid Reprojection-Based Rasterization and Adaptive Ray-Tracing"、2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)、２０２０年３月２２日、p. 828-835参照）。
【0048】
上記文献において３Ｄワーピングは、ステレオ画像の一方の画像から他方の画像を生成する目的で用いられる。一方、本実施の形態では、ヘッドマウントディスプレイ１００におけるリプロジェクションにこの技術を適用する。すなわち深度情報を用いて各画素を一旦、仮想３次元空間に逆射影し、表示直前の最新視点に対応するビュースクリーンに射影し直すことによりリプロジェクションを行う。
【0049】
この際、全画素を射影し直す代わりに、画像平面を所定規則で分割してなる小領域（以後、「パッチ」と呼ぶ）単位で射影変換し、その内部の画素値をテクスチャマッピングと同様の手順で決定することにより、処理効率を上げることができる。上記文献では、オブジェクトの輪郭部分など深度が不連続に変化している部分については最小面積のパッチとし、そこから離れるほどパッチの面積が大きくなるように、ワーピング前の画像を分割している。これにより、視点の変化による影響が大きい輪郭線などにおいて、より細かい変換を実現できる。このような技術をアダプティブグリッドワーピングと呼ぶ。
【0050】
本実施の形態でもアダプティブグリッドワーピングを適用し、効率的に３Ｄワーピングを行うことにより、より低遅延での表示を実現できる。この場合、参照画像描画部２６４は、まず参照画像の画素ごとに深度を取得したうえ、その空間変化に応じてパッチの面積が変化するように画像平面を分割する。定性的には上述のとおり、深度が不連続に変化している箇所に近いほど、パッチの面積を小さくする。パッチの面積制御の拠り所となる情報は深度のほか、参照画像におけるエッジの抽出結果や、表示空間のジオメトリ情報などであってもよい。そして参照画像描画部２６４は、各パッチの頂点における深度情報を抽出して送信対象とする。
【0051】
追加データ生成部２６８は、参照画像においてディスオクルージョンの発生する可能性のある部分を抽出し、その部分のカラー情報を、追加サンプリングデータとして所定のレートで取得する。追加データ生成部２６８は例えば、参照視点から所定規則でずらした位置に追加視点を設定し、そこから見える表示対象空間のうち、参照画像に表されていない部分を抽出したうえ、当該部分のカラー情報を取得する。
【0052】
追加視点は、それまでの参照視点の変化の履歴から、ヘッドマウントディスプレイ１００における同フレームのリプロジェクション時の視点、すなわち最新視点を予測することで設定してもよい。この場合、追加データ生成部２６８は、参照視点を設定する時刻と、ヘッドマウントディスプレイ１００において最新視点が設定される時刻との時間差を、ヘッドマウントディスプレイ１００とのハンドシェイクなどにより特定する。そして参照視点の時間変化を、当該時間差分外挿することにより最新視点を予測し追加視点とする。
【0053】
あるいは追加データ生成部２６８は、参照画像で表されているオブジェクトの形状に基づき、微小時間後に見える可能性の高い当該オブジェクトの部分をまず特定し、当該部分が見える視点を追加視点として設定してもよい。ここで、微小時間後に見える可能性の高いオブジェクトの部分は、参照画像における像の輪郭近傍に存在する可能性が高い。アダプティブグリッドワーピングを適用する場合、像の輪郭近傍には最小面積のパッチが形成される。追加データ生成部２６８はこれを利用し、パッチの面積が所定値以下の領域に対応するオブジェクト上の部分を処理対象とし、当該部分を別視点から見たときのカラー情報を取得してもよい。なお、最新視点を予測して追加視点とする場合も、参照画像における像の輪郭領域を同様に抽出し、オブジェクト上の対応する部分についてカラー情報を取得してよい。
【0054】
いずれにしろ追加データ生成部２６８は、シーンデータ記憶部２６６に格納されたデータに基づき、追加視点から見た部分的な像をレイトレーシングにより描画することで、追加サンプリングデータについても精細かつ正確なカラー情報を生成できる。追加データ生成部２６８は、追加視点の位置情報、当該視点からの部分的なカラー情報、および、その部分の深度情報を、追加サンプリングデータとして生成する。なお追加視点は１つでも複数でもよい。
【0055】
画像データ送信部２７０は、参照画像描画部２６４が描画した参照画像と、追加データ生成部２６８が生成した追加サンプリングデータとを対応づけてヘッドマウントディスプレイ１００に順次送信する。なおヘッドマウントディスプレイ１００において立体映像を表示させる場合、参照画像描画部２６４および追加データ生成部２６８は、左目用画像、右目用画像の双方について同様の処理を実施する。あるいは参照画像描画部２６４および追加データ生成部２６８は、左目用画像、右目用画像のどちらか一方の画像、または中間の視点からの画像のデータを生成しておき、ヘッドマウントディスプレイ１００において、３Ｄワーピングにより最終的なステレオ画像を生成してもよい。
【0056】
ヘッドマウントディスプレイ１００は、位置姿勢に係る情報を画像データ生成装置２００に送信する状態情報送信部２７４、画像データ生成装置２００から送信された画像のデータを取得する画像データ取得部２７２、リプロジェクションにより表示画像を生成するリプロジェクション部２７６、および、リプロジェクション後の画像を表示する表示部２８２を備える。
【0057】
状態情報送信部２７４は、図７のステレオカメラ１１０、およびモーションセンサ１３４の少なくともいずれかを含み、撮影画像や計測値のデータを所定のレートで画像データ生成装置２００に送信する。あるいは状態情報送信部２７４は、それらのデータからヘッドマウントディスプレイ１００の位置や姿勢を算出したうえ、当該データを画像データ生成装置２００に送信してもよい。画像データ取得部２７２は、画像データ生成装置２００から送信された参照画像のデータおよび追加サンプリングデータを所定のレートで取得する。
【0058】
リプロジェクション部２７６は、図７のステレオカメラ１１０、およびモーションセンサ１３４の少なくともいずれかを含み、ヘッドマウントディスプレイ１００の最新の位置や姿勢を特定したうえ最新視点を設定し、それに対応するように参照画像のリプロジェクションを行う。詳細にはリプロジェクション部２７６は、画素変位処理部２７８および画素値決定部２８０を含む。画素変位処理部２７８は、参照視点から最新視点への変化に対応する、参照画像の画素の変位先を求める。すなわち深度情報に基づき、参照画像の画素を一旦、３次元空間に逆射影したうえ、最新視点に対応するビュースクリーンに射影し直す。上述の３Ｄワーピングによれば、パッチの頂点をまず変位させ、ＵＶ座標により内部の画素の変位先を決定する。
【0059】
画素値決定部２８０は、変位前後の画素の位置関係に基づき、参照画像の対応する位置のカラー値を参照することにより、表示画像の画素値を決定する。画素変位処理部２７８と画素値決定部２８０の以上の処理は概ね、参照画像をテクスチャとしたテクスチャマッピングと同様に実現できる。ただし画素値決定部２８０は、追加サンプリングデータを参照先に加えることにより、より正確に画像値を決定する。すなわち視点の変化によって引き延ばされたパッチについて、適切な位置に追加サンプリングデータを挿入することで、参照先のパッチの解像度を擬似的に向上させる。
【0060】
これにより、像が不適切に引き延ばされたり輪郭が不鮮明になったりする現象を抑えることができる。リプロジェクション部２７６はこのほか、ステレオ画像の生成、接眼レンズの歪みを踏まえた補正、色差補正などを適宜行ってよい。表示部２８２は、リプロジェクション部２７６がリプロジェクションにより生成した、最新視点に対応する表示画像を表示パネルに順次表示させる。
【0061】
図９は、画像データ生成装置２００からヘッドマウントディスプレイ１００へ送信する画像データの構造例を示している。図示する画像データ３０は、画像データ生成装置２００で生成される１フレーム分のデータを表し、参照画像データと追加サンプリングデータを含む。なお図は１フレーム分の画像データに含まれる情報の種類を示しているに過ぎず、画像データ生成装置２００からヘッドマウントディスプレイ１００に送信するデータの順序を規定するものではない。
【0062】
参照画像データは、参照視点情報３２、画素値３４、パッチ情報３６を含む。参照視点情報３２は、参照画像を描画する際に設定した参照視点の３次元空間での位置座標を示す。画素値３４は、参照画像の描画結果である全画素の値、すなわちカラー情報を画素列順に示す。パッチ情報３６は、画像平面を分割してなるパッチの位置情報を示し、例えば各頂点の画像平面での位置座標と深度により構成される。
【0063】
追加サンプリングデータは追加視点ごとに、追加視点情報３８ａ、３８ｂと画素情報４０ａ、４０ｂを含む。追加視点情報３８ａ、３８ｂは、追加視点の３次元空間での位置座標を示す。画素情報４０ａ、４０ｂは、追加視点から見た、オブジェクト上のポイントのカラー情報と、当該ポイントの位置情報により構成される。ここで「ポイント」とは、追加視点に対応するビュースクリーンの１画素に対応し、レイトレーシングにおいてはレイと交差するオブジェクト上の箇所である。
【0064】
ポイントの位置情報は、追加視点に対応するビュースクリーンでの位置座標と深度により表してもよいし、３次元空間における位置座標で表してもよい。後者の場合、追加視点の位置情報は省略してもよい。追加視点の数や、１つの追加視点に対しカラー情報を取得するポイントの数は特に限定されない。オブジェクト上の同じポイントであっても、視線の角度によって厳密には色の変化が生じることに鑑みれば、追加視点が最新視点に近いほどディスオクルージョン部分を正確に表現できる。一方、追加視点やカラー情報を取得するポイントが少ないほど、処理の負荷は軽減される。したがって、表示に求められる精度と画像データ生成装置２００の処理性能、通信帯域、視点変化の予測精度などに応じて、追加視点やポイントの数を最適化してよい。
【0065】
図１０は、ヘッドマウントディスプレイ１００のリプロジェクション部２７６が表示画像を生成する手法の概念を説明するための図である。画像データ生成装置２００から送信される参照画像５２は、表示対象の３次元空間に存在するオブジェクト５０を参照視点５４から見た状態を描画したものである。図では立方体のオブジェクト５０のうち面Ａが見えているものとして、正方形の像５６が表されている。画像データ生成装置２００は参照画像５２のほか追加サンプリングデータとして、例えば追加視点５８からオブジェクト５０を見た像のうち、参照視点からは見えない面Ｂのカラー情報を取得し、参照画像のデータと対応づけて送信する。
【0066】
図では煩雑さを避けるため、追加視点５８に対応するビュースクリーンを示していないが、通常のレイトレーシングと同様にビュースクリーンを設定し、像５６の輪郭部分の所定範囲の領域に対応する、表示対象の空間の領域について画像を描画すればよい。あるいは、追加視点５８から発生させたレイがオブジェクト５０の面Ｂ上で交差するポイントの３次元位置座標と、そこで得られるカラー情報とを追加サンプリングデータとしてもよい。ヘッドマウントディスプレイ１００のリプロジェクション部２７６は、最新の位置や姿勢に基づき最新視点６０を設定したうえで、参照画像５２に表れている像５６を３Ｄワーピングにより変化させる。
【0067】
すなわち深度情報に基づき、像５６から３次元空間での面Ａを仮想的に形成し（例えば矢印ａ）、最新視点６０に対応するビュースクリーン６２に射影し直す（例えば矢印ｂ）。これにより、ビュースクリーン６２には、オブジェクト５０の面Ａの像６４が形成される。参照画像の平面上の位置座標から３次元位置座標への変換、および３次元位置座標からビュースクリーン６２上の位置座標への変換は、実際には一般的な変換行列で一度に計算できる。また上述のとおり、参照画像５２を分割してなるパッチの頂点に対し変換を行い、パッチ内部の画素については参照画像５２の対応する位置の画素値をサンプリングすることで、像６４などの画素値を決定できる。
【0068】
一方、最新視点６０からはオブジェクト５０の面Ｂも見える場合、リプロジェクション部２７６は、追加サンプリングデータを用いてその像６６を形成する。追加サンプリングデータとして、追加視点５８に対応するビュースクリーン上で面Ｂの像を表している場合は、深度情報に基づき３次元空間で仮想的に面Ｂを形成し、ビュースクリーン６２に射影するワーピングを行う（例えば矢印ｃ、ｄ）。面Ｂ上の３次元位置座標にカラー情報が対応づけられている場合は、そのポイントをビュースクリーン６２に射影する（例えば矢印ｄ）。
【0069】
これにより、参照画像５２には含まれていない、オブジェクト５０の面Ｂの情報を、リプロジェクションにより正確に追加でき、精細な画像を高い精度で表示できる。なお図はわかりやすさのために、追加サンプリングデータで表される像６６の大きさを誇張しているが、実際は１画素～数画素程度の幅である。したがって追加サンプリングデータによって画像データ生成装置２００から送信するデータ量を大きく変化させることなく、応答性と画質を両立させた表示が可能になる。
【0070】
図１１は追加サンプリングデータを用いたリプロジェクションの効果を画素レベルで説明するための図である。図の左側は、参照画像における２×２個の４つの画素７２ａ、７２ｂ、７２ｃ、７２ｄを示している。このうち画素７２ａ、７２ｂは前景の白いオブジェクトの像、画素７２ｃ、７２ｄはグレーの背景の像を表す。参照画像では、横方向に隣接する画素７２ａ／７２ｃ、あるいは画素７２ｂ／７２ｄで色が大きく変化するため、オブジェクトの実際の輪郭７４は画素レベルの精度で視認される。
【0071】
ヘッドマウントディスプレイ１００のリプロジェクション部２７６において３Ｄワーピングを行うと、参照画像では隣接していた４つの画素７２ａ、７２ｂ、７２ｃ、７２ｄで囲まれた領域７０が、図の右側に示すように引き延ばされることがある。すなわち前景の像は背景の像より変位量が大きくなるため、横方向の視点移動に対し領域７６ａ、７６ｂは横方向に引き延ばされている。なお上述のアダプティブグリッドワーピングによれば、オブジェクトの輪郭で最小のパッチが形成されるため、領域７０はワーピング前のパッチ、領域７６ａ、７６ｂはワーピング後のパッチに対応する。
【0072】
ここで領域７６ａは、ワーピング後、追加サンプリングデータを用いずに決定したカラー分布、領域７６ｂは、ワーピング後、追加サンプリングデータを用いて決定したカラー分布を示している。なお実際にはどちらの場合も、内部の画素列に対して画素値を決定する。追加サンプリングデータを用いない領域７６ａの場合、画素値の決定には参照画像のみが用いられる。参照画像からは画素７２ａ、７２ｂが白、画素７２ｃ、７２ｄがグレー、という情報のみが得られるため、それらの４つの画素からの距離に応じたフィルタリングにより広範囲のグラデーションとなる。すなわち領域の引き延ばしとともに色分布も引き延ばされ、背景と前景がブレンドされたような色のにじみが出現しやすくなる。
【0073】
一方、追加サンプリングデータとして、ポイント７８ａ、７８ｂ、７８ｃのカラー情報を用いた場合、実際の輪郭７４よりオブジェクト側に含まれるポイント７８ａ、７８ｂは白、背景側に含まれるポイント７８ｃはグレーで制御されるため、フィルタリングしても色がにじむ範囲を格段に狭めることができる。図示する例は前景と背景の２色の分布を示しているが、図１０のように、新たに見えた面などによって第３の色が出現する場合でも当然、対応する位置に当該色を表すことができる。結果として、リプロジェクションにより本来の像が引き延ばされたり別のオブジェクトとの境界が不鮮明になったりする画質の劣化を抑えられる。
【0074】
次に、以上の構成によって実現できる画像表示システムの動作について説明する。図１２は、画像データ生成装置２００が画像のデータを生成し送信する処理手順を示すフローチャートである。まず状態情報取得部２６０は、ヘッドマウントディスプレイ１００の位置や姿勢に係る状態情報を取得する（Ｓ１０）。次に視点設定部２６２は、当該位置や姿勢に対応するように参照視点を設定する（Ｓ１２）。続いて参照画像描画部２６４は、参照視点に対しビュースクリーンを設定し、オブジェクトを表す参照画像をレイトレーシングなどにより描画する（Ｓ１４）。
【0075】
さらに参照画像描画部２６４は、参照画像の深度情報などに基づき画像平面をパッチに分割し、頂点の深度情報を抽出する（Ｓ１６）。一方、追加データ生成部２６８は、参照視点と異なる追加視点を設定し（Ｓ１８）、そこから見たオブジェクト上の、部分的なポイントのカラー情報をレイトレーシングなどにより取得することで、追加サンプリングデータを生成する（Ｓ２０）。なお上述のとおり追加データ生成部２６８は、視点移動の履歴に基づき最新視点を予測することで追加視点としてもよいし、オブジェクトの形状などからディスオクルージョンが発生する可能性の高い部分を特定し、当該部分を別角度から見られる視点を追加視点としてもよい。
【0076】
ディスオクルージョンが発生する可能性の高い部分は、Ｓ１６における参照画像のパッチ分割の結果、所定面積以下のパッチが形成された領域としてもよい。追加データ生成部２６８は、当該領域近傍で参照画像には表されない、オブジェクト上のポイントのカラー情報を追加サンプリングデータとして取得する。そして画像データ送信部２７０は、図９で例示したような、参照画像のデータおよび追加サンプリングデータを対応づけて、ヘッドマウントディスプレイ１００に送信する（Ｓ２２）。ユーザ操作などにより表示を終了させる必要が生じない間は、画像データ生成装置２００はＳ１０からＳ２２の処理をフレーム単位で繰り返す（Ｓ２４のＮ）。表示を終了させる必要が生じたら、画像データ生成装置２００は全処理を終了させる（Ｓ２４のＹ）。
【0077】
図１３は、ヘッドマウントディスプレイ１００が画像を表示する処理手順を示すフローチャートである。まず画像データ取得部２７２は、画像データ生成装置２００から参照画像のデータおよび追加サンプリングデータを対応づけて取得する（Ｓ３０）。次にリプロジェクション部２７６の画素変位処理部２７８は、ヘッドマウントディスプレイ１００の最新の位置や姿勢に基づき最新視点を設定し、参照視点からの視点の変化に対応する参照画像の画素の変位先を取得する（Ｓ３２）。この処理は、パッチの３Ｄワーピングにより実現してよい。
【0078】
次に画素値決定部２８０は、参照画像と追加サンプリングデータを用いて、表示画像の画素値を決定する（Ｓ３４）。具体的には画素値決定部２８０は、視点の変化に応じた変位前後の画素の位置関係に基づき、表示画像の画素値を、参照画像における対応する位置のカラー情報を用いて決定する。またディスオクルージョンが発生している部分については、追加サンプリングデータの対応するポイントのカラー情報を用いて画素値を決定する。両者は個別に実施してもよいし同時に実施してもよい。前者の場合、ディスオクルージョンにより画素値が決定できない「穴」部分を、追加サンプリングデータを用いて後から埋める。後者の場合、表示画像の画素に対応する、参照画像上の位置の参照時に、追加のカラー情報を挿入してフィルタリングを行う。リプロジェクション部２７６はその他、表示に必要な補正を適宜実施してよい。
【0079】
表示部２８２は、リプロジェクション部２７６がリプロジェクションにより生成した表示画像のデータを、順次表示パネルに出力して表示させる（Ｓ３６）。ユーザ操作などにより表示を終了させる必要が生じない間は、ヘッドマウントディスプレイ１００はＳ３０からＳ３６の処理をフレーム単位で繰り返す（Ｓ３８のＮ）。表示を終了させる必要が生じたら、ヘッドマウントディスプレイ１００は全処理を終了させる（Ｓ３８のＹ）。
【0080】
図１４～１８は、実際の描画結果を示している。まず図１４の（ａ）は参照画像であり、立方体と円柱が配置された３次元空間を描画した結果である。（ｂ）は、同じ空間を別の視点から見た様子を表す画像を、（ａ）と同様に描画した結果である。以後、（ｂ）の画像を得る視点を最新視点と想定し、当該画像と同等の画像を、（ａ）の画像からリプロジェクションにより作り出す様子を示す。
【0081】
図１５は、図１４の（ａ）に示した参照画像をパッチに分割した状態を示している。この例ではアダプティブグリッドワーピングを想定している。したがって白い線で示すパッチの分割境界は、オブジェクトの輪郭に近づくほど高い密度で設定される。輪郭上のパッチは、例えば図１１に示すように、隣接する４画素を頂点とする最小面積となる。
【0082】
図１６の（ａ）は、図１５のように形成したパッチを、最新視点に基づきワーピングした状態を示している。（ｂ）は、ワーピング後のパッチに対し参照画像の画素値をマッピングした状態を示している。この画像のうち、領域８０、８２は、図１４の（ａ）に示した参照画像では表されない、ディスオクルージョンの領域である。図１７は、ディスオクルージョンの領域についても、参照画像のカラー情報をフィルタリングして画素値を決定した結果を表す。図１１の領域７６ａについて説明したように、ディスオクルージョン領域で色のにじみが発生し、前景と背景の境界が不鮮明になるとともに、立方体のオブジェクトの面が判別できない状態となっている。
【0083】
図１８は本実施の形態により、参照画像および追加サンプリングデータを用いて画素値を決定した結果を示す。追加サンプリングデータによってディスオクルージョン領域についても適切なカラー情報が得られた結果、前景と背景の境界が鮮明になるとともに、立方体のうち新たに見えた面についても高い精度で表現されている。すなわち図１４の（ｂ）で示した本来の画像に近い画像がリプロジェクションにより得られることがわかる。
【0084】
以上述べた本実施の形態によれば、画像データ生成装置は、表示側での視点操作に応じた参照視点で参照画像を生成して送信し、表示装置において最新の視点に対応する表示画像をリプロジェクションにより生成する。この際、画像データ生成装置は、参照視点からの視点変化によってディスオクルージョンが発生する可能性のある領域について、オブジェクトを別視点から見たカラー情報を投機的に生成し、追加サンプリングデータとして送信しておく。これにより表示装置におけるリプロジェクションで実際にディスオクルージョンが発生したとき、追加サンプリングデータにより正確なカラー情報を挿入でき、直近の視点での画像を精度よく表示できる。
【0085】
リプロジェクションには、画像表面を分割してなるパッチ単位での３Ｄワーピングを用いる。ここで、オブジェクトの像の輪郭に近いほどパッチの面積が小さくなるように分割することにより、正確な表現が求められる輪郭付近で、より正確なワーピングを実現できるとともに、追加サンプリングに適した領域を、パッチ分割とともに特定できる。結果として、視点の変化に伴う輪郭付近の像の変化を、効率的かつ正確に表現できる。追加サンプリングデータを用いることにより、リプロジェクションの精度が高くなるため、画像の生成レートを表示のフレームレートと独立に設定できる。結果として、時間をかけて高品質な参照画像を描画できるとともに、転送データサイズを抑えられ、高精細な画像を応答性よく表示できる。
【0086】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0087】
１００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ ＣＰＵ、 １２２ メインメモリ、 １２４ 表示部、 １３２ 通信部、 １３４ モーションセンサ、 ２００ 画像データ生成装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２３２ 通信部、 ２３４ 記憶部、 ２６０ 状態情報取得部、 ２６２ 視点設定部、 ２６４ 参照画像描画部、 ２６６ シーンデータ記憶部、 ２６８ 追加データ生成部、 ２７０ 画像データ送信部、 ２７２ 画像データ取得部、 ２７４ 状態情報送信部、 ２７６ リプロジェクション部、 ２７８ 画素変位処理部、 ２８０ 画素値決定部、 ２８２ 表示部。
【産業上の利用可能性】
【0088】
以上のように本発明は、画像データ生成装置、電子コンテンツサーバ、画像配信サーバ、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む画像処理システムなどに利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】