特許 7232477 コンピュータ実装方法およびコンピュータ実装システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-22

(45)【発行日】2023-03-03

(54)【発明の名称】コンピュータ実装方法およびコンピュータ実装システム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20230224BHJP

   H04N 19/85 20140101ALI20230224BHJP

   H04N 13/194 20180101ALI20230224BHJP

   H04N 13/178 20180101ALI20230224BHJP

   H04N 13/161 20180101ALI20230224BHJP

   G06T 15/00 20110101ALI20230224BHJP

【ＦＩ】

H04N19/597

H04N19/85

H04N13/194

H04N13/178

H04N13/161

G06T15/00 501

【請求項の数】 37

(21)【出願番号】P 2020511173

(86)(22)【出願日】2018-03-07

(65)【公表番号】

(43)【公表日】2020-11-05

(86)【国際出願番号】 CA2018050268

(87)【国際公開番号】W WO2019036794

(87)【国際公開日】2019-02-28

【審査請求日】2021-02-08

(31)【優先権主張番号】15/683,992

(32)【優先日】2017-08-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519314308

【氏名又は名称】アヴァロン ホログラフィクス インコーポレイテッド

【氏名又は名称原語表記】ＡＶＡＬＯＮ ＨＯＬＯＧＲＡＰＨＩＣＳ ＩＮＣ．

【住所又は居所原語表記】Ｔｏｗｅｒ Ｃｏｒｐｏｒａｔｅ Ｃａｍｐｕｓ， Ｃｏｌｌｅｇｅ Ｈｏｕｓｅ ２４０， Ｗａｔｅｒｆｏｒｄ Ｂｒｉｄｇｅ Ｒｏａｄ， Ｓｔ．Ｊｏｈｎ’ｓ， Ｎｅｗｆｏｕｎｄｌａｎｄ ａｎｄ Ｌａｂｒａｄｏｒ Ａ１Ｅ １Ｅ２， ＣＡ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】ランボルト、チャック

(72)【発明者】

【氏名】ブノワ、ドノヴァン

(72)【発明者】

【氏名】トローク、マシュー

(72)【発明者】

【氏名】ロッキャー、ロバード

(72)【発明者】

【氏名】ハミルトン、マシュー

【審査官】鉢呂 健

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０１７３８８３（ＵＳ，Ａ１）

【文献】国際公開第２０１７／０４２１３３（ＷＯ，Ａ１）

【文献】GRAZIOSI, Danillo B. et al.，Compression for full-parallax light field displays，Proceedings Volume 9011, Stereoscopic Displays and Applications XXV，2014年03月06日，Vol. 9011，pp. 90111A-1 - 90111A-14，<URL:https://www.spiedigitallibrary.org/conference-proceedings-of-spie/9011/90111A/Compression-for-full-parallax-light-field-displays/10.1117/12.2040846.full?SSO=1>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０４Ｎ １３／１９４

Ｈ０４Ｎ １３／１７８

Ｈ０４Ｎ １３／１６１

Ｇ０６Ｔ １５／００

(57)【特許請求の範囲】

【請求項1】

ｉ．ソースから、ライトフィールドデータ又はシーンの３Ｄ記述を含むデータセットを受信するステップと、
ｉｉ．前記データセットを、各データ階層が要素画像コンテンツを含む複数のデータ階層に分割するステップと、
ｉｉｉ．複数のデータ階層の各データ階層をサンプリング及びレンダリングして、各データ階層に対応するライトフィールドを符号化し、ライトフィールドのセットを符号化する圧縮データのセットを生成するステップと、
を含み、
前記データセットを複数のデータ階層へ前記分割するステップが、階層化スキームに従って実施されて、アレイされたライトフィールドの分布としての前記データ階層の前記符号化を容易にし、各データ階層の深度は、前記データ階層と表示面との間の距離が増加するにつれて指数関数的に増加する、
コンピュータ実装方法。

【請求項2】

前記複数のデータ階層の各データ階層を前記サンプリングするステップが、各データ階層に対応する各ライトフィールドに対して、各データ階層の前記要素画像コンテンツからサンプリングされた参照要素画像を指定する１つ以上のプレノプティックサンプリングスキームに従って実装される、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記データ階層に対応する前記ライトフィールドを効率的に符号化するように選択されたレンダリング技術を適用することにより実装される、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記レンダリング技術が、透視レンダリング技術であるか、又はどの技術が最小数のドローコールを使用するかに基づく斜めレンダリング技術である、請求項３に記載のコンピュータ実装方法。

【請求項5】

前記レンダリング技術がレイキャスティング技術である、請求項３または４に記載のコンピュータ実装方法。

【請求項6】

可変小数ビット表現を前記複数のデータ階層の各データ階層に割り当てるステップを更に含んで、前記データセットの圧縮を最適化する、請求項１～５の何れか１項に記載のコンピュータ実装方法。

【請求項7】

前記圧縮データのセットを伝送するステップ及び復号するステップを更に含んで、前記ライトフィールドのセットを構築する、請求項１～６の何れか１項に記載のコンピュータ実装方法。

【請求項8】

前記圧縮データを伝送する前記ステップが、２Ｄディスプレイケーブルを使用して実装される、請求項７に記載のコンピュータ実装方法。

【請求項9】

前記圧縮データのセットを復号する前記ステップが、各データ階層に対応する前記ライトフィールドを符号化するようにサンプリングされレンダリングされた各データ階層に対して、ビュー合成プロトコルを実行することにより実装される、請求項７に記載のコンピュータ実装方法。

【請求項10】

各ビュー合成プロトコルが、各データ階層に対応する前記ライトフィールドを構築するために使用される参照要素画像からの画素アレイの多段階再構築の命令を含む、請求項９に記載のコンピュータ実装方法。

【請求項11】

前記画素アレイの前記多段階再構築が、列復号による第１段階及び行復号による第２段階で実行される、請求項１０に記載のコンピュータ実装方法。

【請求項12】

前記画素アレイの前記多段階再構築が、行復号による第１段階及び列復号による第２段階で実行される、請求項１０に記載のコンピュータ実装方法。

【請求項13】

１つ以上の前記ビュー合成プロトコルが、エッジ適合補間を適用して実行されて、前記画素アレイの前記多段階再構築を最適化する、請求項１０に記載のコンピュータ実装方法。

【請求項14】

前記ライトフィールドの前記セット内の前記ライトフィールドをマージするステップを更に含んで、ディスプレイでディスプレイライトフィールドを生成する、請求項７に記載のコンピュータ実装方法。

【請求項15】

前記圧縮データのセットが、前記ディスプレイライトフィールドのコア符号化表現を生成するために使用される、請求項１４に記載のコンピュータ実装方法。

【請求項16】

前記ディスプレイライトフィールドの残留符号化表現を符号化するステップ及び圧縮するステップを更に含む、請求項１５に記載のコンピュータ実装方法。

【請求項17】

前記ライトフィールドのセットの前記コア符号化表現及び前記残留符号化表現が使用されて、前記ディスプレイライトフィールドを生成する、請求項１６に記載のコンピュータ実装方法。

【請求項18】

前記ディスプレイライトフィールドが、前記ディスプレイの錐台体積を表す、請求項１４に記載のコンピュータ実装方法。

【請求項19】

前記ディスプレイライトフィールドが、前記ディスプレイの内側錐台体積及び外側錐台体積を表す、請求項１４に記載のコンピュータ実装方法。

【請求項20】

データセットであって、ライトフィールドデータ又はシーンの３Ｄ記述を含むデータセットを提供するためのソースと、
ｉ．前記ソースから受信した前記データセットを各データ階層が要素画像コンテンツを含む複数のデータ階層に分割し、
ｉｉ．前記複数のデータ階層の各データ階層をサンプリングしレンダリングして、各データ階層に対応するライトフィールドをエンコードし、ライトフィールドのセットをエンコーディングする圧縮データのセットを生成するように、
構成された１つ以上のプロセッサを含む前記ソースと通信するエンコーダと、
圧縮データのセットを符号化器から復号器に伝送する手段と、
圧縮データのセットを復号してライトフィールドのセットを構築するように構成された１つ以上のプロセッサを含む復号器と、
を含み、
階層化スキームを実装して、アレイされたライトフィールドの分布としての前記データ階層の符号化を容易にすることにより、前記データセットを複数のデータ階層に分割し、各データ階層の深度は、前記データ階層と表示面との間の距離が増加するにつれて指数関数的に増加する、
コンピュータ実装システム。

【請求項21】

前記符号化器の前記１つ以上のプロセッサが、各データ階層に対応する各ライトフィールドに対して、各データ階層の前記要素画像コンテンツからサンプリングされた参照要素画像を指定する１つ以上のプレノプティックサンプリングスキームを実装することにより、前記複数のデータ階層の各データ階層をサンプリングする、請求項２０に記載のコンピュータ実装システム。

【請求項22】

前記符号化器の前記１つ以上のプロセッサが、前記データ階層に対応する前記ライトフィールドを効率的に符号化するように選択されたレンダリング技術を実行することにより各データ層をレンダリングする、請求項２０または２１に記載のコンピュータ実装システム。

【請求項23】

前記レンダリング技術が、透視レンダリング技術であるか、又はどの技術が最小数のドローコールを使用するかに基づく斜めレンダリング技術である、請求項２２に記載のコンピュータ実装システム。

【請求項24】

前記レンダリング技術がレイキャスティング技術である、請求項２２または２３に記載のコンピュータ実装システム。

【請求項25】

前記符号化器の前記１つ以上のプロセッサが、可変小数ビット表現を前記複数のデータ階層の各データ階層に割り当てるように構成されて、前記データセットの圧縮を最適化する、請求項２０～２４の何れか１項に記載のコンピュータ実装システム。

【請求項26】

前記伝送手段が２Ｄディスプレイケーブルである、請求項２０～２５の何れか１項に記載のコンピュータ実装システム。

【請求項27】

前記復号器の前記１つ以上のプロセッサが、各データ階層に対応する前記ライトフィールドを符号化するようにサンプリングされレンダリングされた各データ階層に対してビュー合成プロトコルを実行することにより、前記圧縮データのセットの前記復号を実装する、請求項２０～２６の何れか１項に記載のコンピュータ実装システム。

【請求項28】

各ビュー合成プロトコルが、各データ階層に対応する前記ライトフィールドを構築するために使用される参照要素画像からの画素アレイの多段階再構築のための命令を含む、請求項２７に記載のコンピュータ実装システム。

【請求項29】

前記画素アレイの前記多段階再構築が、列復号による第１段階及び行復号による第２段階で実行される、請求項２８に記載のコンピュータ実装システム。

【請求項30】

前記画素アレイの前記多段階再構築が、行復号による第１段階及び列復号による第２段階で実行される、請求項２８に記載のコンピュータ実装システム。

【請求項31】

１つ以上の前記ビュー合成プロトコルが、エッジ適合補間の適用により実行されて、前記画素アレイの前記多段階再構築を最適化する、請求項２８に記載のコンピュータ実装システム。

【請求項32】

前記復号器の前記１つ以上のプロセッサが、前記ライトフィールドセット内の前記ライトフィールドをマージするように更に構成されて、ディスプレイでディスプレイライトフィールドを生成する、請求項２０～３１の何れか１項に記載のコンピュータ実装システム。

【請求項33】

前記圧縮データのセットが使用されて、前記ディスプレイライトフィールドのコア符号化表現を生成する、請求項３２に記載のコンピュータ実装システム。

【請求項34】

前記符号化器の前記１つ以上のプロセッサが、前記ディスプレイライトフィールドの残留符号化表現を符号化し圧縮するように更に構成される、請求項３３に記載のコンピュータ実装システム。

【請求項35】

前記復号器の前記１つ以上のプロセッサが、前記ライトフィールドのセットの前記コア符号化表現及び前記残留符号化表現を使用して、前記ディスプレイライトフィールドを生成する、請求項３４に記載のコンピュータ実装システム。

【請求項36】

前記ディスプレイライトフィールドが、前記ディスプレイの錐台体積を表す、請求項３２～３５の何れか１項に記載のコンピュータ実装システム。

【請求項37】

前記ディスプレイライトフィールドが、前記ディスプレイの内側錐台体積及び外側錐台体積を表す、請求項３２～３６の何れか１項に記載のコンピュータ実装システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像（ライトフィールド）データの符号化及び復号に関し、ライトフィールドディスプレイで双方向多次元コンテンツを提供するためのデータ圧縮及び解凍システム並びに方法を含む。

【背景技術】

【0002】

オートステレオスコピック高角度解像度、広視野角（ＦＯＶ）、マルチビューディスプレイは、ユーザに視覚体験の向上を与える。３Ｄチューリングテスト（Ｂａｎｋｓらによって説明されている）に合格できる３次元ディスプレイには、標準の既存のディスプレイによって投影される２次元画像の代わりに、ライトフィールド表現が必要である。現実的なライトフィールド表現は、ディスプレイデータを伝送するために膨大な量の帯域幅を必要とするが、これは少なくともギガ画素のデータを含むであろう。これらの帯域幅要件は、現在、当技術分野で以前から知られている技術によって提供される帯域幅能力を超えている。今後の消費者向けビデオ規格は８Ｋ Ｕｌｔｒａ Ｈｉｇｈ－Ｄｅｆ（ＵＨＤ）であり、ディスプレイ毎に３３．１メガ画素のデータのみを提供する。

【0003】

送信のためにデータを圧縮することは、当技術分野では従来知られている。データは、次のような様々なタイプの送信用に圧縮することができるが、これらに限定されない：インターネット又はイーサネットネットワークを介したデータの長距離送信；又は、グラフィカルプロセッシングユニット（ＧＰＵ）によって作成され、ディスプレイデバイスに転送される合成マルチビューの送信。そのようなデータは、ビデオストリーミング、リアルタイムの双方向ゲーム、又は任意の他のライトフィールドディスプレイに使用することができる。

【0004】

圧縮ライトフィールド伝送のためのいくつかのコーデックが、当技術分野で従来知られている。Ｏｌｓｓｏｎらは、ライトフィールド全体のデータセットを処理して冗長性を低減し、圧縮表現を生成する圧縮技術を教示している。ライトフィールドのサブコンポーネント（すなわち、要素画像）は、ビデオシーケンスとして処理されて、標準のビデオコーディング技術を使用して冗長性を活用する。Ｖｅｔｒｏらは、より高い圧縮レートを達成するために、ライトフィールドサブコンポーネント間の冗長性を活用する圧縮標準のマルチビュー特化を教示しているが、より集中的な処理を犠牲にしている。これらの技術は十分な圧縮比を達成できない可能性があり、良好な比が達成されると符号化及びデコーディングプロセスはリアルタイムレートを超える。これらのアプローチは、ライトフィールド全体が、符号化される前にストレージディスク又はメモリに存在することを前提としている。したがって、大量の画素を必要とする大きなライトフィールドディスプレイでは、ストレージメディアからの読み取り時に過度の遅延が発生する。

【0005】

多次元コンテンツをリアルタイムで配信するためのハードウェア制限を克服しようとする試みでは、様々な方法及びシステムが知られているが、これらの方法及びシステムは、独自の制限を有する。

【0006】

米国特許第９７２７９７０号は、３Ｄ画像データをデータグループに分離することによりホログラムを生成する分散並列（マルチプロセッサ）コンピューティング方法及び装置を開示しており、それは、データグループからホログラム値を計算して、ホログラフィック面上の異なる位置に表示されるホログラム値を計算し、各位置の値を合計してホログラフィックディスプレイを生成する。ホログラフィックディスプレイの生成に焦点を当てた開示として、適用される戦略は、ライトフィールドよりも小さいスケールで細かい操作を伴うものであり、この例では、色とそれに続く色画像プレーンによるデータの並べ替えと分割、次いで更に画像をサブ画像に分割することによって特徴づけられる。

【0007】

米国特許出願公開第２０１７０１４２４２７号には、複数の要素画像（ホーゲル）が単一のホーゲルへと崩壊することに基づいたコンテンツ適応ライトフィールド圧縮が記載されている。本開示は、保証された圧縮レートを達成することを説明しているが、画像損失は変化し、開示されているようにホーゲルを組み合わせると、利用できる冗長性の保証はない。

【0008】

米国特許出願公開第２０１６０３６０１７７号は、深度情報を利用する完全視差圧縮ライトフィールド合成方法を記載しており、要素画像セットのサブセットを形成する要素画像のセットからライトフィールドを作成するためのビュー合成方法の適用に関する。本明細書で説明されるビュー合成技術は、後方ワーピング中に引き起こされる再構成アーチファクトを処理する方法を説明又は提供しない。

【0009】

米国特許出願公開第２０５０２０１１７６号は、キャプチャされるシーン内のオブジェクトの距離に基づいてライトフィールド内の要素画像のサブサンプリングを開示する完全視差圧縮ライトフィールド３Ｄイメージングシステムの方法を記載している。これらの方法では、符号化の速度を向上させることができる単純な条件を使用してライトフィールドをダウンサンプリングする可能性について説明しているが、最悪の場合、ダウンサンプリングが発生しない３Ｄシーンが存在し、符号化は、符号化前にライトフィールド全体が存在することに依存する変換符号化技術に依存する。

【0010】

データ伝送機能の向上、データ符号化器復号器（コーデック）の改善、ライトフィールドディスプレイへの多次元コンテンツのリアルタイム配信のためのデータ伝送とコーデック機能の両方を改善する方法の必要性が残っている。

【発明の概要】

【0011】

本発明は、概して、リアルタイムでライトフィールドディスプレイを駆動するための３Ｄ画像データの符号化及び復号に関し、これは、現在のハードウェアの制限を克服するか又は実装することができる。

【0012】

本開示の目的は、システム伝送遅延を低減し、高帯域幅レートを有するコーデックを提供して、ビデオストリーミング及びリアルタイムの双方向ゲームにおける適用のために、リアルタイムで、良好な解像度で、ライトフィールドディスプレイで、ライトフィールドの生成を提供することである。ライトフィールド又は３Ｄシーンデータは、階層(階層化されたライトフィールドに対応する)に分解され、サンプリングされ、レンダリングされて、伝送のためにデータを圧縮し、次いで復号されて、ライトフィールドディスプレイでデータ階層に対応するライトフィールドを構築しマージする。

【0013】

一態様によれば、
ｉ．ソースから、ライトフィールドデータ又はシーンの３Ｄ記述を含むデータセットを受信するステップと、
ｉｉ．データセットを、各データ階層が要素画像コンテンツを含む複数のデータ階層に分割するステップと、
ｉｉｉ．複数のデータ階層の各データ階層をサンプリング及びレンダリングして、各データ階層に対応するライトフィールドを符号化し、ライトフィールドのセットを符号化する圧縮データのセットを生成するステップと、を含む、コンピュータ実装方法が提供される。

【0014】

本方法の一実施形態では、データセットを複数のデータ階層へ分割するステップは、階層化スキームに従って実施されて、アレイされたライトフィールドの分布としてのライトフィールドのセットの符号化を容易にし、それによって、各ライトフィールドの深度が、ライトフィールドと表示面との間の距離が増加するにつれて増加する。関連する実施形態では、各ライトフィールドの深度は指数関数的に増加する。

【0015】

本方法の別の実施形態では、複数のデータ階層の各データ階層をサンプリングするステップは、各データ階層に対応する各ライトフィールドに対して、各データ階層の要素画像コンテンツからサンプリングされた参照要素画像を指定する１つ以上のプレノプティックサンプリングスキームに従って実装される。

【0016】

本方法の更に更なる実施形態では、データ階層をレンダリングするステップは、データ階層に対応するライトフィールドを効率的に符号化するように選択されたレンダリング技術を適用することにより実装される。関連する実施形態では、レンダリング技術は、透視レンダリング、斜めレンダリング、又はレイキャスティング技術であってもよい。

【0017】

一実施形態では、可変小数ビット表現を複数のデータ階層の各データ階層に割り当てるステップを更に含んで、データセットの圧縮を最適化する。

【0018】

更に別の実施形態では、本方法は、圧縮データのセットを伝送するステップ及び復号するステップを更に含んで、ライトフィールドのセットを構築する。１つの関連する実施形態では、圧縮データを伝送するステップは、２Ｄディスプレイケーブルを使用して実装される。

【0019】

本発明の更なる関連する実施形態では、圧縮データのセットを復号するステップは、各データ階層に対応する前記ライトフィールドを符号化するようにサンプリングされレンダリングされた各データ階層に対してビュー合成プロトコルを実行することによって実装される。他の関連する実施形態では、各ビュー合成プロトコルは、各データ階層に対応するライトフィールドを構築するために使用される参照要素画像からの画素アレイの多段階再構築のための命令を含む。画素アレイの多段階再構築は、列復号による第１段階及び行復号による第２段階、又は代替的に行復号による第１段階及び列復号による第２段階で実行される。

【0020】

本方法の更に別の実施形態では、１つ以上のビュー合成プロトコルは、エッジ適合補間の適用により実行されて、画素アレイの再構築を最適化する。

【0021】

一実施形態では、本方法は、ライトフィールドのセット内のライトフィールドをマージするステップを更に含んで、ディスプレイでディスプレイライトフィールドを生成する。圧縮データのセットが使用されて、ディスプレイライトフィールドのコア符号化表現を生成する。関連する実施形態では、本方法は更に、ディスプレイライトフィールドの残留符号化表現を符号化するステップ及び圧縮するステップを更に含む。ライトフィールドのセットのコア及び残留符号化表現が使用されて、ディスプレイライトフィールドを生成することができる。例示的な実施形態では、ディスプレイライトフィールドは、ディスプレイの錐台体積、又は代替的にディスプレイの内側錐台及び外側錘台を表す。

【0022】

別の態様によれば、
データセットであって、ライトフィールドデータ又はシーンの３Ｄ記述を含むデータセットのソースと、
ｉ．ソースから受信したデータセットを各データ階層が要素画像コンテンツを含む複数のデータ階層に分割し、
ｉｉ．複数のデータ階層の各データ階層をサンプリングしレンダリングして、各データ階層に対応するライトフィールドを符号化し、ライトフィールドのセットを符号化する圧縮データのセットを生成するように、構成された１つ以上のプロセッサを含むソースと通信する符号化器と、
圧縮データのセットを符号化器から復号器に伝送する手段と、
圧縮データのセットを復号してライトフィールドのセットを構築するように構成された１つ以上のプロセッサを含む復号器と、を含む、コンピュータ実装システムが提供される。

【0023】

本システムの一実施形態では、符号化器の１つ以上のプロセッサは、階層化スキームを実装して、アレイされたライトフィールドの分布としてのライトフィールドのセットの符号化を容易にすることにより、データセットを複数のデータ階層に分割し、それにより各ライトフィールドの深度が、ライトフィールドと表示面との間の距離が増加するにつれて増加する。関連する実施形態では、各ライトフィールドの深度は指数関数的に増加する。

【0024】

本システムの別の実施形態では、符号化器の１つ以上のプロセッサは、各データ階層に対応する各ライトフィールドに対して、各データ階層の要素画像コンテンツからサンプリングされた参照要素画像を指定する１つ以上のプレノプティックサンプリングスキームを実装することにより、複数のデータ階層の各データ階層をサンプリングする。

【0025】

更に本システムの更なる実施形態では、符号化器の１つ以上のプロセッサは、データ階層に対応するライトフィールドを効率的に符号化するように選択されたレンダリング技術を適用することによって実行することにより、各データ層をレンダリングする。関連する実施形態では、レンダリング技術は、透視レンダリング、斜めレンダリング、又はレイキャスティング技術であってもよい。

【0026】

本システムの一実施形態では、符号化器の１つ以上のプロセッサは、可変小数ビット表現を複数のデータ階層の各データ階層に割り当てるように構成されて、データセットの圧縮を最適化する。

【0027】

本システムの更に別の実施形態では、伝送手段は２Ｄディスプレイケーブルである。

【0028】

本システムの更に関連する実施形態では、復号器の１つ以上のプロセッサは、各データ階層に対応するライトフィールドを符号化するようにサンプリングされレンダリングされた各データ階層に対してビュー合成プロトコルを実行することにより、圧縮データのセットの復号を実装する。他の関連する実施形態では、各ビュー合成プロトコルは、各データ階層に対応するライトフィールドを構築するために使用される参照要素画像からの画素アレイの多段階再構築のための命令を含む。画素アレイの多段階再構築は、列復号による第１段階及び行復号による第２段階、又は代替的に行復号による第１段階及び列復号による第２段階で実行される。

【0029】

本システムの更に別の実施形態では、１つ以上のビュー合成プロトコルが、エッジ適合補間の適用により実行されて、画素アレイの再構築を最適化する。

【0030】

本システムの一実施形態では、復号器の１つ以上のプロセッサが、ライトフィールドセット内のライトフィールドをマージするように更に構成されて、ディスプレイでディスプレイライトフィールドを生成する。圧縮データのセットが使用されて、ディスプレイライトフィールドのコア符号化表現を生成する。関連する実施形態では、本方法は更に、ディスプレイライトフィールドの残留符号化表現を符号化するステップ及び圧縮するステップを更に含む、ライトフィールドのセットのコア及び残留符号化表現が使用されて、ディスプレイライトフィールドを生成することができる。例示的な実施形態では、ディスプレイライトフィールドは、ディスプレイの錐台体積、又は代替的にディスプレイの内側錐台体積及び外側錘台体積を表す。

【0031】

更なる態様によれば、１つ以上のプロセッサと、１つ以上のプロセッサに、以下のステップを含む方法を実行させるように構成された命令を含む１つ以上のメモリコンポーネントとを含むコンピュータ実装システムであって、
ｉ．ソースから、ライトフィールドデータ又はシーンの３Ｄ記述を含むデータセットを受信するステップと、
ｉｉ．データセットを、各データ階層が要素画像コンテンツを含む複数のデータ階層に分割するステップと、
ｉｉｉ．複数のデータ階層の各データ階層をサンプリング及びレンダリングして、各データ階層に対応するライトフィールドを符号化し、ライトフィールドのセットを符号化する圧縮データのセットを生成するステップと、を含む、コンピュータ実装方法が提供される。

【0032】

更に別の態様によれば、１つ以上プロセッサに、以下のステップを含む方法を実行させるように構成された命令を含む非一時的コンピュータ可読媒体であって、
ｉ．ソースから、ライトフィールドデータ又はシーンの３Ｄ記述を含むデータセットを受信するステップと、
ｉｉ．データセットを、各データ階層が要素画像コンテンツを含む複数のデータ階層に分割するステップと、
ｉｉｉ．複数のデータ階層の各データ階層をサンプリング及びレンダリングして、各データ階層に対応するライトフィールドを符号化し、ライトフィールドのセットを符号化する圧縮データのセットを生成するステップと、
を含む、コンピュータ実装方法が提供される。

【図面の簡単な説明】

【0033】

本発明のこれらの及び他の特徴は、添付の図面を参照する以下の詳細な説明においてより明らかになるであろう。

【図1】本開示に係る階層化シーン分解（コーデック）システムの実施形態の概略図（ブロック図）である。

【図2】ライトフィールドディスプレイの内側錐台体積及び外側錐台体積の概略的な上から見た図である。

【図3A】本開示に係る画素再構築のためのエッジ適合補間の適用を概略的に示す。

【図3B】画素アレイを再構築するプロセスフローを示す。

【図4】本開示に係る画像（画素）再構築プロセスの一部として、画素行列内のサンプリングスキームによって指定された要素画像を概略的に示す。

【図5】本開示に係る画像（画素）再構築プロセスの一部として、画素行列の列毎の再構築を概略的に示す。

【図6】本開示に係る画像（画素）再構築プロセスの一部として、画素行列の後続の行毎の再構築を示す。

【図7】本開示に係る例示的なコーデックシステムの実施形態を概略的に示す。

【図8】ディスプレイの内側錐台ライトフィールドに相関する画像データセットの例示的な階層化シーン分解（１０階層の階層化スキーム）を概略的に示す。

【図9】ディスプレイの内側錐台及び外側錐台ライトフィールド領域にそれぞれ相関する画像データの例示的な階層化シーン分解（１０階層の２階層化スキーム）を概略的に示す。

【図10】本開示に係る例示的なコーデックプロセスフローを示す。

【図11】本開示に係る、３Ｄ画像（シーン）データを符号化して、階層化され圧縮されたコア符号化（ライトフィールド）表現を生成するための例示的なプロセスフローを示す。

【図12】本開示に係る、ディスプレイで（ディスプレイ）ライトフィールドを構築するためにコア符号化表現を復号するための例示的なプロセスフローを示す。

【図13】本開示に係る、ディスプレイで（ディスプレイ／最終）ライトフィールドを生成するためにコア画像データと共に使用するための残留画像データを符号化及び復号するための例示的なプロセスフローを示す。

【発明を実施するための形態】

【0034】

本発明は概して、ライトフィールドディスプレイでライトフィールドの効率的な(迅速な)伝送と再構築を提供するために、ライトフィールドデータ又は多次元シーンデータ圧縮及び解凍のためのコーデックシステム及び方法に関する。

【0035】

本発明の様々な特徴は、図中の例示と併せた以下の詳細な説明から明らかになるであろう。本明細書に開示の階層化シーン分解コーデックの設計要因、構造及び使用は、本明細書に記載され特許請求される本発明の範囲を制限することを意図しない実施形態を表す様々な実施例を参照して説明される。本発明が関連する分野の当業者は、本発明の範囲及び精神から逸脱することなく本開示の教示に従って実施できる、本明細書に開示されていない本発明の他の変形、実施例及び実施形態が存在し得ることを理解するであろう。
（定義）

【0036】

別段の定めがない限り、本明細書において使用される全ての技術的及び科学的用語は、本発明が関連する当業者によって一般に理解されているものと同じ意味を有する。

【0037】

用語「ａ」又は「ａｎ」は、本明細書で「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語と共に使用される場合、「１つ」を意味することができるが、「１つ以上」、「少なくとも１つ」、「１つ又は複数」の意味とも一致する。

【0038】

本明細書において使用される用語「構成する（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、及び「含有する（ｃｏｎｔａｉｎｉｎｇ）」、並びにそれらの文法的変形は、包括的又はオープンエンドであり、追加の列挙されていない要素及び／又は方法ステップを除外するものではない。組成物、デバイス、物品、システム、使用又は方法と関連して本明細書中で使用する場合、用語「本質的にからなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」は、追加の要素及び／又は方法のステップが存在し得ることを意味するが、これらの追加は、記載された組成物、デバイス、物品、システム、方法及び使用機能の態様に実質的に影響を及ぼさないことを意味する。組成物、デバイス、物品、システム、使用又は方法に関連して本明細書中で使用される場合、用語「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、追加の要素及び／又は方法のステップの存在を除外する。特定の要素及び／又はステップを含むものとして本明細書に記載される構成、デバイス、物品、システム、使用又は方法は、特定の実施形態では、本質的にそれらの要素及び／又はステップから構成され、他の実施形態では、これらの実施形態が具体的に言及されているかどうかによらず、それらの要素及び／又はステップから構成される。

【0039】

本明細書において使用される場合、用語「約」は、所与の値からの約＋／－１０％の変動を指す。そのような変動は、特に言及されているかどうかによらず、本明細書において提供される任意の値に常に含まれることを理解されたい。

【0040】

本明細書における範囲の列挙は、本明細書で特に明記しない限り、範囲及び範囲内の個々の値の両方を、範囲を示すために使用される数字と同じ場所の値に伝えることを意図している。

【0041】

任意の例の又は例示的な言語の使用、例えば、「など（ｓｕｃｈ ａｓ）」、「例示的な実施形態（ｅｘｅｍｐｌａｒｙ ｅｍｂｏｄｉｍｅｎｔ）」、「例示的な実施形態（ｉｌｌｕｓｔｒａｔｉｖｅ ｅｍｂｏｄｉｍｅｎｔ）」及び「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」は、本発明に関連する態様、実施形態、変形、要素又は特徴を例示又は示すことを意図し、本発明の範囲を限定することを意図しない。

【0042】

本明細書で使用される用語「接続する」及び「接続された」は、本開示の要素又は特徴の間の直接的又は間接的な物理的関連付けを指す。したがって、これらの用語は、接続されていると説明される要素又は機能間に介在する他の要素又は機能が存在する場合でも、部分的又は完全に互いに包含される、取り付けられる、結合される、配置される、接合される、と通信する、動作可能に関連付けられる要素又は機能を示すと理解される場合がある。

【0043】

本明細書で使用される用語「画素」は、ディスプレイを作成するために使用される光源及び発光機構を指す。

【0044】

本明細書で使用される場合、基本レベルでの用語「ライトフィールド」は、オクルージョンのない、空間内のポイントを介してあらゆる方向に流れる光の量を示す関数である。したがって、ライトフィールドは、自由空間内の光の位置と方向の関数として放射輝度を表す。ライトフィールドは、様々なレンダリングプロセスを通じて合成的に生成することができ、又はライトフィールドカメラ又はライトフィールドカメラのアレイからキャプチャすることができる。

【0045】

本明細書で使用される場合、用語「ライトフィールドディスプレイ」は、デバイスに入力された有限数のライトフィールド放射輝度サンプルからライトフィールドを再構築するデバイスである。放射輝度サンプルは、赤、緑、青（ＲＧＢ）のカラー成分を表す。ライトフィールドディスプレイで再構築する場合、ライトフィールドは、４次元空間から単一のＲＧＢカラーへのマッピングとしても理解できる。４つの次元には、ディスプレイの垂直方向寸法及び水平方向寸法、並びにライトフィールドの方向成分を表す２つの次元が含まれる。ライトフィールドは関数LF:(x,y,u,v)→(r,g,b)として定義される。

【0046】

固定されたx_f、y_fの場合、LF(x_f,y_f,u,v)は、「要素画像」と呼ばれる２次元（２Ｄ）画像を表す。要素画像は、固定されたx_f、y_f位置からのライトフィールドの方向画像である。複数の要素画像が並んで接続されている場合、得られる画像は「積分画像」と呼ばれる。積分画像は、ライトフィールドディスプレイに必要な全ライトフィールドとして理解することができる。

【0047】

本明細書に開示される組成物、デバイス、物品、方法及び使用の任意の実施形態は、当業者によってそのまま、又は本発明の範囲及び精神から逸脱することなくそのような変形又は均等物を作成することによって実施できると考えられる。

【0048】

階層化シーン分解（ＬＳＤ）コーデックシステム及び方法

【0049】

本開示に係るコーデックは、ライトフィールドディスプレイを生成するための既知のサンプリング、レンダリング、及びビュー合成方法に基づいて描画する戦略を適用し、その戦略を、その導出、実装及びアプリケーションを含む、本明細書で開示される新規の階層化シーン分解戦略と共に使用するために適合させる。

【0050】

３Ｄディスプレイ

【0051】

当技術分野で以前から知られている従来のディスプレイは、理想的に均一なサンプリングを可能にする、実質的に等間隔に配置され、２次元行に構成された空間画素からなる。対照的に、３次元ディスプレイには空間サンプルと角度サンプルの両方が必要である。典型的な３次元ディスプレイの空間サンプリングは均一のままであるが、角度空間でのディスプレイのフットプリントの観点から、角度サンプルは必ずしも均一とは見なされない。角度レイ分布に対する様々なライトフィールドパラメータ化のレビューについては、米国特許第６，５４９，３０８号を参照されたい。

【0052】

ライトフィールドの方向成分としても知られる角度サンプルは、「Ｔｈｅ Ｌｕｍｉｇｒａｐｈ」においてＧｏｒｔｌｅｒらによって教示された平面パラメータ化など、さまざまな方法でパラメータ化することができる。ライトフィールド関数が位置に関して離散化されるとき、ライトフィールドは、「Ｐｌｏｎｏｐｔｉｃ Ｓａｍｐｌｉｎｇ」においてＣｈａｉによって教示されたように、平面パラメータ化されたピンホールプロジェクタの規則的に間隔をおいたアレイとして理解することができる。固定されたx_f、y_fの場合、要素画像LF(x_f,y_f,u,v)は、任意のレイパラメータ化を使用してピンホールプロジェクタによって投影された画像として理解できる２次元画像を表す。ライトフィールドディスプレイの場合、連続的な要素画像は有限数のライトフィールド放射輝度サンプルで表される。理想化された平面パラメータ化されたピンホールプロジェクタの場合、有限数のサンプルが規則的な間隔で画像平面にマッピングされる（平面内の規則的な間隔は、対応する角度方向空間の規則的な間隔に対応しない）。

【0053】

平面パラメータ化の考慮は、ライトフィールドの方向成分が様々な他の任意のパラメータ化によってパラメータ化され得るので、本開示の範囲又は精神を制限することを意図したものではない。例えば、物理的に具現化されたピンホールプロジェクタのレンズの歪み又はその他の光学効果は、平面パラメータ化の歪みとしてモデル化することができる。更に、ディスプレイ成分は、「Ａ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｆｕｎｃｔｉｏｎｓ ｆｒｏｍ ｎｏｎｕｎｉｆｏｒｍｌｙ ｓｐａｃｅｄ ｓａｍｐｌｅｓ」においてＣｌａｒｋらによって教示されたような、ワープ関数を用いて定義することができる。

【0054】

ワーピング関数α(u,v)は、ピンホールプロジェクタの歪んだ平面パラメータ化を行い、ライトフィールド内で方向性レイの任意の代替角度分布を生成する。ライトフィールドピンホールプロジェクタから伝搬するレイの角度分布は、ピンホールプロジェクタの焦点距離fと対応する２次元ワーピング関数α(u,v)によって決定される。

【0055】

１人以上のユーザにライトフィールドを投影するオートステレオスコピックライトフィールドディスプレイは、次のように定義される：
D=(M_x,M_y,N_u,N_v,f,a,D_LP)

【0056】

式中、(M_x,M_y)はディスプレイの空間解像度の水平及び垂直寸法であり、(N_u,N_v)はディスプレイの角度解像度成分の水平及び垂直寸法である。ディスプレイは、ピッチD_LP、焦点距離f、及びディスプレイによって投影されるライトフィールドのレイ方向の分布を定義するワーピング関数αを備えた、理想的なライトフィールドプロジェクタのアレイである。

【0057】

ライトフィールドディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を駆動するライトフィールドLF(x,y,u,v)は、x方向のM_xライトフィールド放射輝度サンプル、y方向のM_yライトフィールド放射輝度サンプル、並びにu及びv方向のN_u及びN_vライトフィールド放射輝度サンプルを必要とする。Dは単一のワーピング関数αで定義されるが、実用的なピンホールプロジェクタに大きなマイクロレンズの変動が存在して、角度レイの分布を、マイクロレンズ毎に大きく変動させる場合、理想化されたライトフィールドピンホールプロジェクタのアレイ内の各ライトフィールド平面パラメータ化されたピンホールプロジェクタは、独自のワーピング関数αを持つことができる。

【0058】

ライトフィールドディスプレイのレンダリング

【0059】

Ｈａｌｌｅらの「Ｆａｓｔ ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ｒｅｎｄｅｒｉｎｇ ｆｏｒ ｆｕｌｌ ｐａｒａｌｌａｘ ｓｐａｔｉａｌ ｄｉｓｐｌａｙｓ」は、ディスプレイの内側錐台体積と外側錐台体積内にあるオブジェクトをレンダリングする方法を提供している。図２は、これら２つの別個のビュー錐台によって定義される体積領域内のオブジェクトを表すライトフィールドディスプレイを示しており、内側錐台体積（１１０）はディスプレイ表面（３００）の後方（すなわち、ディスプレイ内）に配置され、外側錐台体積（２１０）はディスプレイ表面の前面（すなわち、ディスプレイの外側）に配置される。図示のように、様々なオブジェクト（プリズム状及び円形形状として概略的に図示されている）が、ディスプレイ面（３００）からの様々な深度に配置されている。

【0060】

Ｈａｌｌｅらは、内側錐台体積及び外側錐台体積が別々の２つのライトフィールドとして別々にレンダリングされる二重錐台レンダリング技術を教示している。内側錐台体積LF_O(x,y,u,v)及び外側錐台体積LF_P(x,y,u,v)は、深度結合プロセスを通して単一ライトフィールドLF(x,y,u,v)に再結合される。

【0061】

この手法ではピンホールカメラレンダリングモデルを用いて、ライトビームの個々の要素画像を生成する。各要素画像（すなわち、各レンダリングされ平面パラメータ化されたピンホールプロジェクタ画像）は、２つのカメラを使用することを必要とする：内部錐台体積をキャプチャするための１つのカメラと、外側錐台体積をキャプチャする１つのカメラである。Ｈａｌｌｅらは、標準の正視カメラとその共役擬似カメラを使用して、ライトフィールドのサンプリング領域でピンホールプロジェクタ画像をレンダリングすることを教示している。ピンホールカメラCの場合、対応する共役カメラはC^*と示される。

【0062】

ワーピング関数αを使用してパラメータ化されたプロジェクタでライトフィールドディスプレイ内の要素画像をキャプチャするために、理想的な平面パラメータ化されたピンホールカメラの再パラメータ化に基づく汎用ピンホールカメラが使用される。Ｇｏｒｔｌｅｒらによって教示されたように、焦点距離fのピンホールカメラCは、２つの平行な平面によって作成されたパラメータ化によって定義されたライトレイを有する。ピンホールカメラCは、画像I_C(u,v)をキャプチャし、ここで(u,v)は、レイパラメータ化平面の座標である。汎用ピンホールカメラ、C_αは、Ｃｌａｒｋらによって教示されたように、２次元の連続した可逆的なタイムワーピング関数を使用してワープされた平面パラメータ化カメラに基づく。ワーピング関数α(u,v)に関して、逆関数はγ(u,v)である。したがって、C_α,I_cα=I_C(α(u,v))の画像である。

【0063】

汎用ピンホールカメラ、C_αが与えられると、

二重錐台レンダリングが完了する。汎用ピンホールカメラペアのM_x×M_yグリッドから生成されたビューは、ライトフィールドディスプレイのライトフィールドをレンダリングするためにレンダリングされる。

【0064】

したがって、特定のライトフィールドディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)のライトフィールドLF(x,y,u,v)を生成するためにレンダリングする必要があるすべての汎用ピンホールカメラペアのセットは、次のように定義される：

【数1】

【0065】

歪曲のないカメラ(O={(C_α(x,y)|1≦x≦M_x,1≦y≦M_y})のセットは、内側錐台体積に対応するライトフィールド画像をキャプチャし、共役汎用カメラ

【数2】

のセットは、外側錐台体積に対応する画像をキャプチャする。上述のように、内側錐台体積と外側錐台体積は、単一のライトフィールドに結合される。

【0066】

ライトフィールドディスプレイのデータ圧縮

【0067】

Ｐｉａｏらは、データの冗長性を識別するために、ライトフィールドの先験的な物理的性質を利用している。冗長性は、空間内の隣接する点を表す要素画像に重要な重複情報が含まれているという観察に基づいて、要素画像を破棄するために使用される。これにより、破棄する情報を識別するために、計算的に複雑なデータ変換を実行する必要がなくなる。そのような方法は、各要素画像に関連する深度マップ情報を利用しない。

【0068】

「Ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ Ｆｕｌｌ－Ｐａｒａｌｌａｘ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙｓ」において、Ｇｒａｚｉｏｓｉらは、ライトフィールド冗長性を低減するために、単純ピンホールカメラカバレッジジオメトリに基づいてサブサンプル画像の基準を提案している。Ｇｒａｚｉｏｓｉらによって教示されたダウンサンプリング技術は、２次元画像及びビデオデータ用の他のコーデックスキームでよく使用される複雑なベース分解よりも単純である。オブジェクトがシーンの深くにある場合、ライトフィールドはより低いレートでサンプリングされる。例えば、２つの別々のピンホールカメラが２つの異なる視野を提供する場合、１つの要素画像から次の要素画像への違いはほとんどなく、２つのピンホールカメラからのビューは重なる。ビューはジオメトリ（三角形)のオーバーラップに基づいてサブサンプリングされるが、ビュー内の画素は圧縮されない。これらの画素は実質的なものであり得るので、Ｇｒａｚｉｏｓｉらは画素を標準的な２次元画像圧縮技術で圧縮している。

【0069】

Ｇｒａｚｉｏｓｉらは、オブジェクトの最少深度dに基づく要素画像間のサンプリングギャップ(ΔEI)は次のように計算できることを教示しており、式中、θはライトフィールドディスプレイのビューを表し、Pは積分イメージングディスプレイのレンズピッチを表す：

【数3】

【0070】

この戦略は、画像のオクルージョンがない場合に、前面平行平面の理論的に無損失の圧縮を提供する。式に示されているように、サンプリングギャップはdと共に増加し、必要な要素画像が少なくなると圧縮レートが向上する。十分に小さいdに対して、ΔEIは0に達する可能性がある。したがって、このダウンサンプリング技術では圧縮レートは保証されない。オブジェクトが画面に近い、又は画面の距離にある複数の小さなオブジェクトを含むシーンでは、各要素画像は深度0で少なくともいくつかのピクセルを有し、この技術はゲインを提供しない、すなわち積分画像にわたってΔEI=0である。

【0071】

Ｇｒａｚｉｏｓｉらは、レンダリングプロセスを初期符号化プロセスと同等にしている。全ての要素画像を生成するのではなく、この方法は、情報の再構築に必要な数だけを生成し、情報の損失を最小限に抑える。深度マップは、符号化用に選択された要素画像に含まれており、欠落した要素画像は、深度画像ベースのレンダリング（ＤＩＢＲ）に関連付けられた十分に確立されたワーピング技術を使用して再構築される。選択された要素画像はＨ.２６４／ＡＶＣ法と同様の方法を用いて更に圧縮され、画像は最終的なＤＩＢＲベースの復号フェーズの前に圧縮される。この方法は、適切な信号歪みレベルで圧縮レートを改善するが、時間ベースの性能結果は得られない。そのような符号化及び復号は、高帯域幅レートに対して良好な低遅延性能を提供することができない。更に、この方法は、表示画面から遠く離れた単一のオブジェクトに対する使用に制限される。複数のオブジェクトが重なり、表示画面に近いオブジェクトが多いシーンでは、圧縮は、Ｈ.２６４／ＡＶＣスタイルの符号化を使用するように強制される。

【0072】

Ｃｈａｉは、特定のシーン深度で前面平行平面オブジェクトを表現するのに必要な角度帯域幅の量を決定するために、プレノプティックサンプリング理論を教示している。Ｚｗｉｃｋｅｒらは、ディスプレイの被写界深度は角度解像度に基づいており、解像度が高いほど被写界深度が大きくなることを教示している。したがって、ディスプレイ画面に近いオブジェクトは、より低い角度解像度で適切に表現されるが、遠くのオブジェクトはより大きな角度解像度を必要とする。Ｚｗｉｃｋｅｒらは、平面パラメータ化に基づく理想的な投影レンズによる最大の被写界深度を教示している：
Z_DOF=(fP_l)/P_p

【0073】

式中、P_lはレンズピッチ、P_pは画素ピッチ、fはレンズの焦点距離である。等方性角度解像度（すなわちN=N_u=N_v）の３次元ディスプレイでは、N=P_l/P_pである。したがって、Z_DOF=fN。

【0074】

ディスプレイの完全な空間解像度を表すために必要な角度解像度を所与の深度dで決定するために、方程式は次のように再配置される：
N_res(d)=d/f

【0075】

したがって、シーンへの各焦点距離の距離は、表示画面の所与空間解像度でオブジェクトを完全に表現するために必要な角度解像度の別の画素を追加する。

【0076】

階層化シーン分解とサンプリングスキーム

【0077】

Ｇｒａｚｉｏｓｉらが教示したサンプリングギャップと、Ｚｗｉｃｋｅｒらが教示したプレノプティックサンプリング理論は、包括的なライトフィールドサンプリング戦略を提供する：Ｇｒａｚｉｏｓｉらは、遠くのオブジェクトに対するダウンサンプリングを増加させている(ΔEI)が、Ｚｗｉｃｋｅｒらは近くのオブジェクトに対するダウンサンプリングを増加させている(N_res)。しかし、シーンを表す単一のライトフィールドをダウンサンプリングする場合、これらの戦略を組み合わせても圧縮は保証されない。したがって、本開示は、多次元シーンを複数の階層に分割する。複数の（データ）階層へのこの分割は、本明細書では階層化シーン分解と呼ばれる。K₁とK₂が自然数である場合、L=(K₁,K₂,L^O,L^P)を定義し、３次元ディスプレイの内側と外側の錐台体積を分割する。内側の錐台はK₁階層のセットに分割され、ここで

【数4】

である。各内側錐台階層は、ディスプレイ表面平面から1≦i≦K₁に対して、

【数5】

でディスプレイ表面に平行な境界平面の対によって定義される。外側錐台はK₂階層のセットに分割され、ここで、

【数6】

である。各外側錐台階層は、ディスプレイ表面平面から1≦i≦K₂に対して、

【数7】

でディスプレイ表面に平行な境界平面の対によって定義される。代替実施形態では、内側及び外側錐台体積は、互いに異なる階層スキームによって分割されてもよい。

【0078】

階層化シーン分解階層の各々は、階層の平面境界領域に対するシーン制限に基づいて、関連するライトフィールド（本明細書では「ライトフィールド階層」とも呼ばれる）を有する。1≦i≦K₁に対する内側錐台階層

【数8】

、又は1≦j≦K₂に対する外側錐台階層

【数9】

を有するライトフィールドディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)の階層化シーン分解L=(K₁,K₂,L^O,L^P)を考える。内部錐台ライトフィールド

【数10】

は、汎用ピンホールカメラのセットO={C_a(x,y)|1≦x≦M_x,1≦y≦M_y}から生成される。この式は、

【数11】

であるライトフィールド表示からの距離dの空間のみが画像化されるように制約される。したがって、x,y及びC_a(x,y)∈Oが固定された内側錐台階層の場合、

【数12】

が計算される。同様に、外部錐台ライトフィールド

【数13】

は、汎用ピンホールカメラのセット

【数14】

から生成される。この式は、

【数15】

であるライトフィールド表示面からの距離dの空間のみが画像化されるように制約される。したがって、x,y及びC_a(x,y)∈Pが固定された外側錐台階層の場合、

【数16】

が計算される。

【0079】

階層化シーン分解Lに関連する内側及び外側錐台領域のライトフィールドのセットを、更に定義することができる。階層化シーン分解L=(K₁,K₂,L^O,L^P)を有するライトフィールドディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を仮定する。内側錐台領域のライトフィールドのセットは、

【数17】

として定義される。外側錐台領域のライトフィールドのセットは、

【数18】

として定義される。

【0080】

定義されているように、階層化シーン分解は、各階層のライトフィールドを生成する。階層化シーン分解では、正視カメラは内側錐台体積ライトフィールドを生成し、擬似カメラは外側錐台体積ライトフィールドを生成する。これらの汎用ピンホールカメラ対によってキャプチャされたシーンが不透明な表面のみで構成されている場合、ライトフィールドの各ポイントは、汎用ピンホールカメラプレーンから対応する画像化された空間のポイントまでの距離を示す関連する深度値を有する。ライトフィールド

【数19】

が与えられると、

【数20】

関連付けられたイメージング汎用ピンホールカメラレイに対応する表面交差点がない場合、深度マップはD_m=∞である。それらのドメインにわたって、

【数21】

である。言い換えると、階層化シーン分解階層のライトフィールドに関連付けられた深度マップは、階層自体の深度境界によってバインドされる。

【0081】

マージ操作により、階層化シーン分解階層セットを内側と外側の錐台体積にすることができ、又はLF_O及びLF_Pである。内側と外側の錐台体積ライトフィールドは、マージ演算子*_mでマージされる。例えば、LF₁(x,y,u,v)及びLF₂(x,y,u,v)の２つの任意のライトフィールドが与えられた場合、i=argmin_j∈{1,2}D_m[LF_j](x,y,u,v)、*_mは次のように定義される：

【数22】

したがって、LF_O(x,y,u,v)及びLF_P(x,y,u,v)は、内側錐台階層及び外側錐台階層に関連付けられたライトフィールドをマージすることにより、O^LF及びP^LFのセットから復元することができる。例えば、

【数23】

【0082】

本開示は、階層化シーン分解演算と、データをマージして分解を逆にする逆演算とを提供する。K階層で階層化シーン分解を実行すると、K倍の数の個々のライトフィールドが作成されると理解されている。階層化シーン分解の値は、階層によって誘導されるライトフィールドにあり、適切なサンプリング方式で複数のダウンサンプリングされた階層化シーン分解ライトフィールド階層に必要な合計データサイズは、元のライトフィールドのサイズよりも大幅に小さいため、これらのライトフィールド階層は、元の総ライトフィールド又は内側錐台体積又は外側錐台体積ライトフィールドよりもダウンサンプリングに適している。

【0083】

当業者は、ライトフィールドを首尾よくサンプリングすることができる複数種類のサンプリングスキームが存在することを理解するであろう。提供されるサンプリングスキームSは、階層化シーン分解階層ライトフィールド内の各要素画像の個別サンプリングレートを指定するなど、他のサンプリングスキームを採用できるため、本発明の範囲及び精神を制限又は逸脱することを意図したものではない。比較的単純なサンプリングスキームは、より大きなサンプリング制御を備えた効果的なコーデックを提供できるため、本開示は、本発明の範囲及び精神を限定又は逸脱することなく、開示を説明するための単純なサンプリングスキームを提供する。

【0084】

本開示に従って提供されるライトフィールドサンプリングスキームは、ライトフィールド符号化方法を表す。ディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)及び階層化シーン分解L=(K₁,K₂,L^O,L^P)が与えられた場合、本開示は、Lに関連付けられたサンプリングスキームSを、L^O又はL^Pの任意の階層l_iに関連付けられたM_x×M_y２値行列M_S[l_i]として、及び各階層l_iを対R(l_i)=(n_x,n_y)にマッピングするマッピング関数R(l_i)を、提供する。(x_m,y_m)のM_S[l_i]の２値({0,1})エントリは、要素画像LF_li(x_m,y_m,u,v)がサンプリングスキームに含まれているかどうかを示し、(1)はLF_li(x_m,y_m,u,v)が含まれることを示し、(0)はLF_li(x_m,y_m,u,v)が含まれないことを示す。R(l_i)=(n_x,n_y)は、ライトフィールドLF_liの要素画像がn_x×n_yの解像度でサンプリングされることを示す。

【0085】

本開示は、プレノプティックサンプリング理論を利用する階層化シーン分解ライトフィールド符号化プロセスも提供する。以下の説明は、階層化シーン分解Lの内側錐台体積L^Oに関係するが、外側錐台体積L^Pも同様の方法で符号化することができる。

【0086】

各l_i∈L^oについて、対応するライトフィールドLF_liの深度マップは、範囲

【数24】

のdに制限される。

【数25】

の作成を案内するために次の式を使用してサンプリングスキームSを作成する：

【数26】

【0087】

言い換えると、ΔEIは、各階層化シーン分解階層に関連付けられたM_S行列の「１」エントリ間の距離をガイドする。次の式は、階層内の個々の要素画像の解像度

【数27】

を設定する：

【数28】

【0088】

ΔEIとN_resの両方を使用して個々の階層化シーン分解階層サンプリングレートを駆動するこのサンプリングスキームは、階層ドプレノプティックサンプリング理論のサンプリングスキーム（「プレノプティックサンプリングスキーム」とも呼ばれる）と見なすことができる。このプレノプティックサンプリングスキームは、プレノプティックサンプリング理論の恒等関数α(t)=tを利用したディスプレイに基づいている。この階層毎のサンプリングスキームは、階層内のオブジェクトがお互いをオクルードしない前面平行平面シーンオブジェクトのロスレス圧縮を提供する。

【0089】

前面平行平面シーンオブジェクトのみの仮定は制限的であり、典型的なシーンを表していない。階層内のオクルージョンが、特にサイズが大きな階層化シーン分解階層に対して、必然的に存在する。顕著な知覚可能なアーチファクトを導入することなく、潜在的なシーンの全範囲をキャプチャ及び符号化するために、システムは、本開示のライトフィールドプレノプティックサンプリングスキームに加えて情報を利用することができる。

【0090】

例えば、表面は平面に様々な傾斜角でより局所的に近似される。「Ｏｎ ｔｈｅ ｂａｎｄｗｉｄｔｈ ｏｆ ｔｈｅ ｐｌｅｎｏｐｔｉｃ ｆｕｎｃｔｉｏｎ」において、Ｄｏらは、傾斜したライトフィールドディスプレイ面のスペクトル特性評価を可能にするタイムワーピング技術を理論化している。この作業は、ダウンサンプリングの必要な減少及び局所帯域幅の変化の正確な特性評価の必要性が、表面の傾斜の度合い、シーン内のオブジェクトの深度、ＦＯＶエッジでのオブジェクトの配置によって誘導されることを示唆している。したがって、前面平行ジオメトリ偏差からの信号歪みが知覚的に有意である場合、残留表現は、生じた損失を補償するために、付加的な要素画像データ又は補足的な要素画像データを適応的に送信することができる(静的サンプリングスキームを動的に変更する)。

【0091】

したがって、本開示は、コーデックによるライトフィールドの符号化及び復号のための「コア」又は「残留」情報としての識別を提供する。ライトフィールドディスプレイD及び対応する階層化シーン分解Lが、関連付けられたサンプリングスキームSを用いて与えられる場合、本開示は、コーデックによって符号化及び復号された「コア」表現として、L及びSに関連付けられた符号化されたダウンサンプリングされたライトフィールド、並びに階層化シーン分解階層の数及び階層の深度を考慮する。復号処理中に必要とされ得るライトフィールドのコア(符号化された)表現と共に伝送される任意の追加情報は、コーデックによって処理されるライトフィールドの「残留」表現とみなされ、最後の表示されたライトフィールドを生成するために、ライトフィールドのコア表現と共に使用される。

【0092】

階層ベースの圧縮分析

【0093】

予測可能な圧縮レートが、ダウンサンプリング基準（達成可能な圧縮レートを示さない）と共に、リアルタイムのレンダリング及び伝送システムを作成するために必要とされる。以下は、本開示の階層化シーン分解符号化戦略の圧縮分析を提供する。

【0094】

すでに記載したように、プレノプティックサンプリング理論だけに基づいてライトフィールドをダウンサンプリングしても、圧縮レートは保証されない。本開示は、ダウンサンプリングライトフィールド符号化戦略を提供し、低遅延のリアルタイムライトフィールドコーデックを可能にする。一実施形態では、ΔEIとN_resの両方を使用するプレノプティックサンプリング理論に基づく相補的サンプリングスキームが、個々の階層化シーン分解階層サンプリングレートを駆動するために用いられる。階層化シーン分解は、３Ｄシーン全体を複数のライトフィールドとして表し、階層の数の係数だけシーン表現を拡張する。本開示は、層深度が適切に選択された場合、プレノプティックサンプリング理論に基づくダウンサンプリングと組み合わせたときに圧縮レートを保証できることを更に企図する。

【0095】

特定の階層化シーン分解階層l_iに対応するライトフィールドLF_liの場合、階層の制限された深度範囲は、階層のライトフィールドに対して保証された圧縮レートを提供する。単一階層内に完全に含まれるシーンをダウンサンプリングすることで達成可能な圧縮レートは、次の定理で説明することができる。

【0096】

定理１

【0097】

等方性の角度解像度N=N_u=N_v、階層化シーン分解L及び関連するサンプリングスキームS=(M_s,R)を備えたディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を考える。d_min(l_i)<Z_DOF(D)となるように、対応するライトフィールドLF_liを有する階層化シーン分解階層l_iを想定し、「１」エントリ間の距離がΔEI(d_min(l_i))及びR(l_i)=N_res(d_max(l_i))に設定されるように、M_s[LF_li]が選択される。階層化シーン分解階層l_iに対するSに関連付けられた圧縮比は1:N²((d_min(l_i))/(d_max(l_i)))である。

【0098】

証明１

【0099】

0＜c,d≦Z_DOFの場合、d_min (l_i)=Z_DOF/c及びd_max(l_i)=Z_DOF/dである、ディスプレイの最大被写界深度内の階層化シーン分解階層を検討する。したがって、c=Z_DOF/(d_min(l_i))及びd=Z_DOF/(d_max(l_i))及びd/c=d_min(l_i)/d_max(l_i)である。したがって、ΔEI(d_min(l_i))=N/c及びN_res(d_max(l_i))=N/dである。

【0100】

このサブサンプリングレートに基づいて、システムはすべての(N/c)^th要素画像を必要とし、したがって1:(N/c)²の圧縮比を提供する。要素画像のサブサンプリングは、1:d²の圧縮レートを提供する。したがって、合計圧縮レートは1:(N/c)²*1:d²=1:N²(d/c)²である。圧縮係数の項c_f=d_min(l_i)/d_max(l_i)が圧縮レートを決定する。

【0101】

d_min(l_i)=Z_DOF及び(d_max(l_i))が任意の深度まで拡張できる別のケースがあり得る。ΔEI(Z_DOF)=Nであり、N_resはすべての深度d≧Z_DOFに対してNの可能な最大値に達することがわかっている。このサブサンプリングレートに基づいて、システムはすべてのN^thの要素画像を必要とし、したがってライトフィールドに1:N²の圧縮比が提供される。Z_DOFを超えて追加の階層化シーン分解階層を追加すると、前面平行平面オブジェクトを表現するときに冗長な表現機能が追加される。したがって、コア符号化表現を作成する場合、階層内の最大被写界深度でシーン全体を最適に分解できる。

【0102】

階層化シーン分解階層をダウンサンプリングするための圧縮計算式が与えられると、階層パラメータが変化するときに圧縮係数がどのように変化するかを判断することができる。固定幅の階層、又は一部のwでd_max(l_i)-d_min(l_i)=wの場合、d_max(l_i)-d_min(l_i)=wがディスプレイプレーンに最も近いときにc_f項が最小化される。したがって、ディスプレイプレーンに近い階層化シーン分解階層は、ディスプレイプレーンから更に離れた階層と同じ圧縮比を実現するために、より狭い幅を必要とする。この圧縮レート分析は、ディスプレイプレーンから深度Z_DOFまでの空間にある複数の隣接する前面平面階層に分割されたシーンに拡張することができる。

【0103】

定理２

【0104】

等方性の角度解像度N=N_u=N_v、階層化シーン分解L及び関連するサンプリングスキームS=(M_s,R)を備えたディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を検討する。S_LF=M_xM_YN_uN_vとし、ライトフィールド内の画像画素数を示す。階層化シーン分解表現の圧縮比は、次のように定義することができる：

【数29】

【0105】

証明２

【0106】

次の圧縮レートでダウンサンプリングされた特定の階層化シーン分解階層の場合：

【数30】

【0107】

圧縮レートを計算するには、圧縮されたフォームの各階層のサイズを計算して合計し、圧縮された階層の合計サイズをライトフィールドのサイズで除算する。圧縮された階層のセットのサイズが次の合計であると考える：

【数31】

【0108】

したがって、結合された階層の圧縮比は次のとおりである：

【数32】

【0109】

階層化シーン分解階層の幅が可変で、d_min(i)及びd_max(i)がi^th階層の前面及び後面の境界深度を表すシステムでは、階層化シーン分解表現の圧縮比は次のとおりである：

【数33】

【0110】

一定の階層化シーン分解階層の合計

【数34】

は単調に減少し、１に向かっている。

【0111】

したがって、ディスプレイプレーンに近い位置にある階層化されたシーン分解階層は、ディスプレイプレーンから遠い同じ幅の階層よりも低い圧縮比を実現する。効率を最大化するために、幅の狭い階層化シーン分解階層はディスプレイプレーンの近くに配置され、幅の広い階層化シーン分解階層はディスプレイプレーンから遠くに配置され、この配置により、シーン全体で均一な圧縮比が維持される。

【0112】

階層化シーン分解階層の数とサイズ

【0113】

階層化シーン分解に必要な階層の数と階層のサイズを決定するために、α(t)=t恒等関数を有するライトフィールドディスプレイが例として提供される。他の機能を利用することができるため、この恒等関数の考慮は、本開示の範囲又は精神を制限することを意図していない。当業者は、ディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)は単一の恒等関数αで定義されるが、平面パラメータ化されたピンホールプロジェクタのアレイ内の各ライトフィールド平面パラメータ化されたピンホールプロジェクタは、一意の恒等関数αを有し得ることを理解するであろう。

【0114】

前面平面を無損失で表現するために（オクルージョンがないと仮定して）、深度Z_DOFに配置された前面境界を有する単一の階層化シーン分解階層は、Z_DOFから無限までのシステムを表す。コア表現を生成するために、これらの層はコア表現の観点から追加の代表的な電力を提供しないので、ライトフィールドディスプレイの最大深度に位置する最も深い層を超える階層化シーン分解階層は考慮されない。これは、内側錐台体積階層及び外側錐台体積階層のセットの両方に適用される。

【0115】

ディスプレイプレーンからディスプレイの最大被写界深度までの領域内で、階層化シーン分解階層は、ライトフィールドディスプレイf値の整数倍である最大距離深度及び最小距離深度を利用する。幅が狭い階層化シーン分解階層は、階層毎の圧縮比が向上し、それにより全体的なシーン圧縮比が向上する。しかし、より多くの階層を再構築してマージする必要があるため、分解の階層の数が多くなると、復号に必要な処理量が増加する。したがって、本開示は、異なる層深度を有する階層分布スキームを教示する。一実施形態では、より狭い幅を有する階層化シーン分解階層（及び相関により上記階層によって表されるライトフィールド）がディスプレイ平面の近くに配置され、ディスプレイ平面からの距離が増加するにつれて、階層幅(すなわち、前面階層境界と後面階層境界との間の深度の差)が指数関数的に増大する。

【0116】

視差符号化／復号

【0117】

各階層に適用されるサンプリング方式から生成されるライトフィールドの符号化された階層化シーン分解表現は、主にＲＧＢ色及び視差を含む複数の画素で構成される。一般的に、フィールドの幅により再構築中の操作の精度が向上するため、画素の視差（深度）フィールドに適切なビット幅を選択することが重要である。しかし、ビット数を増やすと、達成される圧縮レートにマイナスに寄与する。

【0118】

本開示では、所与のサンプリングスキームによって指定されたＲＧＢ色及び視差画素の各階層は、個々の画素に対応する特定の範囲の視差を有する。本開示は、深度情報の精度を高めるために、各階層化シーン分解階層内のこの狭い範囲の視差を活用する。従来の画素表現では、シーン全体の視差の範囲は固定数の値にマッピングされる。例えば、１０ビットの視差符号化では、１０２４個の異なる深度値しか存在できない。本開示の階層化シーン分解では、各階層が既知の深度境界を有するので、同じ固定数の値が各階層化シーン分解階層に適用される。これは、画素再構築の精度を維持しながら、深度チャネルの幅を小さくすることで伝送帯域幅を削減できるため、有利である。例えば、システムが８ビットの視差幅を実装し、シーンが８階層のシーン分解階層に分解される場合、合計２０４８の異なる視差値を使用でき、各階層は８ビット表現に基づいて２５６の異なる可能な値を有する。これは、内側又は外側の錐台内の可能な視差値の範囲全体を特定のビット数にマッピングするよりも効率的である。

【0119】

本開示は、同じ数のビットを使用するが、ビットは解釈され、各階層化シーン分解階層内の視差を明確に表す。各階層化シーン分解階層は互いに独立しているため、深度（ビット）符号化は階層毎に異なり、より正確な固定小数点表現を提供するように設計できる。例えば、ディスプレイスクリーンに近い階層化シーン分解階層は、より小さな深度値を有し、少数の整数ビットと多数の小数ビットを有する固定小数点形式を使用できるが、ディスプレイスクリーンから遠く離れた階層化シーン分解階層は、より大きな深度値を有し、多数の整数ビットと少数の小数ビットを有する固定小数点形式を使用できる。

【0120】

小数ビットは、階層毎に構成可能である：
MinFixedPoint=1/(2^{FractionalBits})
MaxFixedPoint=2^{16-FractionalBits}-MinFixedPoint

【0121】

視差は、ライトフィールドの後処理段階の深度から計算され、次の式を使用して符号化される：
ScaleFactor=(MaxFixedPoint-MinFixedPoint)/(NearClipDisparity-FarClipDisparity)
EncodedDisparity=(Disparity-FarClipDisparity)*ScaleFactor+MinFixedPoint

【0122】

視差は、次の式を使用して復号される：
ScaleFactor=(MaxFixedPoint-MinFixedPoint)/(NearClipDisparity-FarClipDisparity)
nencodedDisparity=(EncodedDisparity-MinFixedPoint)/ScaleFactor+FarClipDisparity

【0123】

一般化された例示的な実施形態－コーデックの実装とアプリケーション

【0124】

概要

【0125】

本開示は、平面パラメータ化、任意のディスプレイパラメータ化、パラメータ化の組み合わせ、又は他の任意の構成又はパラメータ化タイプなど、様々なタイプの角度画素パラメータ化のための符号化器－復号器を定義するが、これらに限定されない。本開示の一般化された例示的な実施形態は、多次元ビデオストリーミング、多次元双方向ゲーム、又は他のライトフィールド表示シナリオのための合成ライトフィールドを生成する方法を提供する。リアルタイムの双方向コンテンツでライトフィールドディスプレイを駆動できるレンダリングシステムとプロセスが提供される。ライトフィールドディスプレイでは、ライトフィールドを長期間保存する必要はないが、双方向のユーザ体験をサポートするには、ライトフィールドを低遅延でレンダリング及び伝送する必要がある。

【0126】

図７は、本発明の一般化された例示的な実施形態のコーデックシステムの概要を提供する。ゲームエンジン又は双方向グラフィックスコンピュータ（７０）は、３次元シーンデータをＧＰＵ（７１）に伝送する。ＧＰＵはデータを符号化し、表示ポート（７２）を介してＦＰＧＡやＡＳＩＣなどの復号プロセッサを含む復号ユニット（７３）に送る。復号ユニット（７３）は、復号されたデータをライトフィールドディスプレイ（７４）に送る。

【0127】

図１は、合成又はビデオデータソース（５０）からのライトフィールドデータが符号化器（５１）に入力される、別の一般化された例示的な階層化シーン分解コーデックシステムを示す。ＧＰＵ（４３）は内側の錐台体積データを浮動かして複数の階層に分割し、ＧＰＵ（５３）は外側の錐台体積データを符号化して追加の複数の階層に分割する。図１は、内側と外側の錐台体積階層専用の個別のＧＰＵ（４３、５３）を示しているが、単一のＧＰＵを使用して内側と外側の錐台体積階層の両方を処理することができる。階層化シーン分解階層の各々は復号器（５２）に送信され、そこで複数の内側錐台体積層（４４（１）から４４（＊））と複数の外側錐台体積層（５４（１）から５４（＊））ライトフィールドが復号され、単一の内側錐台体積階層（４５）と単一の外側錐台体積階層（５５）にマージされる。次に、二重錐台レンダリングに従って、内側及び外側錐台体積が合成されて、再構築された単一のライトフィールドデータのセット（５６）になり、又は本明細書では「最終ライトフィールド」又は「ディスプレイライトフィールド」とも呼ばれる。

【0128】

図１０～図１３は、本開示に係る例示的なコーデックプロセスの実装を示す。

【0129】

図１０は、画像記述又はライトフィールドデータのフォーマットの３Ｄシーンデータが符号化のために符号化器にロードされる（４００）例示的な階層化シーン分解ＣＯＤＥＣ方法を示し、その結果、データ（サブセット）は図に示すように、又は代替的に、３Ｄシーンを表すデータセット全体が分割される（４０３）。分割のための３Ｄシーンデータサブセットの識別の場合（４０２）、状況に応じて所望され得るように、識別プロセスは、１つのパス又はグループ化でデータセットを分割する機能を単に参照する（例えば、図１１で詳細に示すように、内部錐台及び外部錐台データ階層を符号化する）ことを意図した一般的なプロセスステップ参照であることが理解される。これに関して、データサブセットの識別は、事前符号化処理ステップ又は符号化サブプロセス段階の一部を形成する処理ステップを意味する場合がある（４０１）。データのサブセットは、タグ付け、指定、確認、スキャン、更にはコンパイル又はグループ化して、階層のセットを生成する（３Ｄシーンの分解）ことができる（４０３）。データサブセットの分割（４０３）に続いて、各データ階層は、本開示に従ってサンプリング及びレンダリングされて、圧縮（画像）データを生成する（４０４）。データ層の圧縮に続いて、圧縮されたデータは、別様には本明細書では「階層ライトフィールド」、階層ライトフィールド画像、及びライトフィールド階層とも呼ばれる、ライトフィールドのセット、を（再）構築する（４０７）ための解凍、復号、及び再構成ステップを含む復号サブプロセス（４０６）のために復号器に伝送される（４０５）。構築された階層ライトフィールドは、３Ｄシーンを表示する（４０９）最終ライトフィールドを生成するためにマージされる（４０８）。

【0130】

３Ｄシーンを表すライトフィールドの配信をリアルタイムで最適化するための（例えば、アーチファクトを最小化するための）例示的な並列コーデックプロセスが図１３に示されている。このプロセスは、３Ｄシーンデータを符号化器にロードするステップと（７００）、最終ライトフィールドの残留符号化表現を符号化及び圧縮するステップ（７０１）と、残留符号化表現を復号器に伝送するステップ（７０２）と、残留符号化表現を復号するステップと、残留符号化表現をコア符号化表現と共に使用して、最終ライトフィールドを生成し（７０３）、ディスプレイに３Ｄシーンを表示するステップ（７０４）と、を含む。

【0131】

図１１は、図１０に示された実施形態に関連する実施形態を示し、３Ｄシーンデータ（５００）に基づいて導出された２つのデータ（サブ）セット（５０２、５０３）が分割のために識別され（５０１）、各データセットの深度差のある階層への分割が、各データセット、すなわち複数のデータ階層に相当するものに対する２つの異なる階層化スキームに従って、実装される（５０４、５０５）。ライトフィールドディスプレイの内側錐台体積と外側錐台体積をそれぞれ表すデータ階層（５０６、５０７）の各セット（複数）は、サンプリングスキームに従って、階層毎にサンプリングされ、サンプリングされた各階層は、データを圧縮し（５０８、５０９）、それぞれプロセスステップ（５０８、５０９）で２セットの圧縮（画像）データ（５１０、５１１）を生成するようにレンダリングされる。次いで、データ階層のセット（５０６、５０７）に対応するライトフィールドのセットを符号化する圧縮データのセット（５１０、５１１）を結合して（５１２）、最終的な（ディスプレイ）ライトフィールドの階層化されたコア符号化表現（５１３）を生成する。

【0132】

図１２は、ライトフィールドのセットを再構築し、ディスプレイで最終ライトフィールドを生成するコーデックの方法又はプロセスの実施形態を示す。ライトフィールド（階層ライトフィールド）のセットは、マルチステージビュー合成プロトコルを使用して、コアで符号化された表現（５１３）から（再）構築される（６００）。プロトコル（ＶＳ１－ＶＳ８として指定される）は、コア符号化表現（５１３）の８つの階層の各々（６０１－６０８）に適用され、そのプロトコルは、復号される各データ階層ライトフィールドの特性に応じて異なっても異ならなくてもよい。各プロトコルは、本明細書においてエッジ適合補間と呼ばれる非線形補間の形態を適用して（６０９）、コア符号化表現から再構成された階層ライトフィールド（６１０）のセット内の良好な画像解像度及びシャープネスを提供することができ、これにより、画像シャープネスが保証される。階層ライトフィールド（６１０）はマージされる。この場合、２つのデータサブセットに対応する２セットのライトフィールド（６１１、６１２）をマージして、２セットのマージライトフィールドを生成することが示されている（６１３、６１４）。マージされたライトフィールドのセット（６１３、６１４）は、例えば、最終ライトフィールドの内側錐台体積及び外側錐台体積を表すことができ、それに応じてマージされ（６１５）、ディスプレイで最終ライトフィールド（６１６）を生成することができる。

【0133】

コーデック符号化器／符号化

【0134】

本開示に係る符号化は、リアルタイム双方向コンテンツ（例えば、ゲーム又はシミュレーション環境用）の生成、及びライトフィールド汎用ピンホールカメラ又はカメラアレイを通してキャプチャされた既存の多次元データセットをサポートするように設計されている。

【0135】

ライトフィールドディスプレイD、階層化シーン分解L、及びサンプリングスキームSの場合、システム符号化器は、サンプリングスキームに含まれる各階層化シーン分解階層に対応するライトフィールドに関連付けられた要素画像を生成する。各要素画像は、汎用ピンホールカメラに対応している。要素画像は、サンプリングスキームで指定された解像度でサンプリングされ、各要素画像には深度マップが含まれている。

【0136】

レンダリングパフォーマンスを実現して、リアルタイムの双方向コンテンツを多次元ディスプレイに非常に高い解像度とサイズで駆動して、本明細書に記載される１つの技術のみに依存する欠点を解決するためのハイブリッド又は組み合わせレンダリングアプローチを適用することにより、大きな課題を克服した。

【0137】

恒等関数αが与えられると、特定の階層化シーン分解階層の符号化スキームで指定された汎用ピンホールカメラのセットを、標準のグラフィックススビューポートレンダリングを使用して体系的にレンダリングすることができる。このレンダリング方法は、特に多数の基本的要素画像を含むサンプリングスキームを有する階層化シーン分解階層の場合、多数のドローコールをもたらす。したがって、現実的な自動立体ライトフィールドディスプレイに対して階層化シーン分解を利用するシステムでは、このレンダリング方法だけではリアルタイムパフォーマンスは提供されない。

【0138】

標準のグラフィックスドローコールを利用したレンダリング技術は、汎用ピンホールカメラの平面パラメータ化（恒等関数α）のレンダリングを透視変換に制限する。ハードウェアに最適化されたラスタ化機能は、従来の２次元ディスプレイでの高品質のリアルタイムレンダリングに必要なパフォーマンスを提供する。これらの加速されたハードウェア機能は、平面パラメータ化に基づく。あるいは、平行斜投影では、標準のラスタ化されたグラフィックスパイプラインを使用して、汎用ピンホールカメラの平面パラメータ化をレンダリングすることができる。

【0139】

本開示は、三角形のセットをディスプレイ画面上の画素に変換することにより、汎用ピンホールカメラビューをレンダリングするためのラスタ化の適用を企図している。多数のビューをレンダリングする場合、すべての三角形をすべてのビューでラスタ化する必要があり、斜めレンダリングは、各階層化シーン分解階層に必要なレンダリングパスの数を減らし、すべての任意の恒等関数αに適合することができる。システムは、恒等関数α指定された角度毎に１つの平行斜め投影を利用する。データがレンダリングされると、システムは「スライスアンドダイス」ブロック変換（米国特許第６，５４９，３０８号及び第７，４３６，５３７号参照）を実行して、角度毎のグループ化から保存されたデータを要素画像グループに再グループ化する。「スライスアンドダイス」法だけでは、多数の角度をレンダリングする場合、多くの個別の斜めレンダリングドローコールを必要とするリアルタイムの双方向コンテンツには非効率的である。

【0140】

任意の恒等関数αは、レイトレーシングレンダリングシステムでも対応できる。レイトレーシングでは、任意の角度を指定は、平面パラメータ化を受け入れるよりも高いパフォーマンスを必要としない。しかし、最新の高速化されたＧＰＵを使用するレンダリングシステムを必要とするリアルタイム双方向コンテンツの場合、ラスタ化は、レイトレーシングレンダリングシステムよりも信頼性の高いパフォーマンススケーラビリティを提供する。

【0141】

本開示は、ライトフィールドを効率的に符号化するためのいくつかのハイブリッドレンダリングアプローチを提供する。一実施形態では、符号化スキームは、より少ない角度サンプルを必要とするより多くの画像で、ディスプレイ面の近くに位置する階層化シーン分解階層をレンダリングし、より少ない画像及びより多くの角度サンプルで、ディスプレイ面から更に離れて位置する階層をレンダリングする。関連する実施形態では、透視レンダリング、斜めレンダリング、及びレイトレーシングを組み合わせて、階層化シーン分解階層をレンダリングしており、これらのレンダリング技術は、様々なインターリーブレンダリング法で実装することができる。

【0142】

本開示の一般化された例示的な実施形態によれば、１つ以上のライトフィールドは、２次元ピンホールカメラのアレイをレンダリングするＧＰＵによって符号化される。レンダリングされた表現は、階層化シーン分解階層の各々に適用されるサンプリングスキームから画素を計算することによって作成される。画素シェーダが符号化アルゴリズムを実行する。一般的なＧＰＵは、１つの伝送フレームでシーン毎に最大２～４個のピンホールカメラビューを生成するように最適化されている。本開示は、数百又は数千のピンホールカメラビューを同時にレンダリングすることを必要とし、したがって、データをより効率的にレンダリングするために複数のレンダリング技術が用いられる。

【0143】

最適化されたアプローチの１つでは、ディスプレイ面から更に離れた階層化シーン分解階層の汎用ピンホールカメラは、透視レンダリングと呼ばれる標準グラフィックスパイプラインビューポート操作を使用してレンダリングされる。ディスプレイプレーンに近い位置にある階層化シーン分解階層の汎用ピンホールカメラは、「スライスアンドダイス」ブロック変換を使用してレンダリングされる。これらの方法を組み合わせることにより、階層化プレノプティックサンプリング理論のサンプリングスキームの高効率レンダリングが提供される。本開示は、階層化シーン分解階層を提供し、ディスプレイプレーンから更に離れて位置する階層は、より高い解像度のより少ない数の要素画像を含み、ディスプレイ面により近い階層は、より低い解像度のより多くの要素画像を含む。その方法は各要素画像に対して１回のドローコールのみを必要とするため、透視レンダリングを使用して、表示面から更に離れた階層のより少数の要素画像をレンダリングするのが、効率的である。しかし、あるポイントで、ディスプレイ面による近く位置する階層の透視レンダリングは、これらの階層がより多数の要素画像を含み、ドローコールの回数が増えるため、非効率になる。ディスプレイ面に近く位置する階層に位置する要素画像は、比較的少数の角度に対応するため、斜めレンダリングでは、これらの要素画像をドローコールの回数を減らして効率的にレンダリングすることができる。一実施形態では、システムが透視レンダリング、斜めレンダリング、又はレイトレーシングを使用して階層化シーン分解階層をレンダリングするべき場所を決定するプロセスが提供され、閾値アルゴリズムを適用して、各階層化シーン分解階層は、レンダリングされる要素画像の数(すなわち、透視レンダリングドローコールの数)と、特定の階層深度(すなわち、斜めレンダリングドローコールの数)で必要とされる要素画像のサイズとを比較するために評価され、レンダリングドローコールの最小数が必要とされるレンダリング方法(技術)が実装される。

【0144】

標準のグラフィックスコールを利用できない場合、システムは透視レンダリング又は斜めレンダリングの代わりにレイトレーシングを実装することができる。したがって、別の実施形態では、代替のレンダリング方法は、レイトレーシングを使用して、ディスプレイ面により近い位置にある階層、又はディスプレイ面により近い位置にある階層の一部をレンダリングする。

【0145】

レイトレーシングレンダリングシステムでは、階層化シーン分解階層の各画素は、ライトフィールドによって定義されるライトレイに関連付けられる。各レイがキャストされ、標準的なレイトレーシング方法に従って、階層化シーン分解との交差が計算される。レイトレーシングは、従来のＧＰＵレンダリングでは困難な任意のレイ角度に対応できるため、標準のＧＰＵレンダリングパイプラインで期待される標準の平面パラメータ化に準拠しない恒等関数αをレンダリングする場合に有利である。

【0146】

当業者は、階層化シーン分解要素画像を首尾よく符号化できる複数のレンダリング方法及びレンダリング方法の組み合わせがあることを理解するであろう。他のレンダリング方法は、システムの基礎となる計算アーキテクチャ、利用されるサンプリングスキーム、及びライトフィールドディスプレイの恒等関数αに応じて、様々なコンテキストで効率を提供することができる。

【0147】

コーデック復号器／復号

【0148】

本開示に係る復号は、符号化戦略（サンプリング及びレンダリング）を活用するように設計されている。ダウンサンプリングされた階層化シーン分解からの階層化ライトフィールドのセットとしてのコア表現は、ライトフィールドLF^O及びLF^Pを再構築するために復号される。階層化シーン分解L=(K₁,K₂,L^O,L^P)及び関連するサンプリングスキームS=(M_s,R)を備えたディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を検討する。要素画像は、サンプリングスキームSで指定されたようにダウンサンプリングされた、分解されたLF^O及びLF^PライトフィールドからライトフィールドLF^O及びLF^Pを再構築することによって復号される。ディスプレイ面に近い内側及び外側の錐台体積階層が最初に確認され、空でない画素が見つかるまでディスプレイ面から更に離れた内側及び外側の錐台体積階層に移動するように、画素が整列し、空でない画素からのデータは、表示面に近い空の画素に伝送される。代替実施形態では、特定の実装は、ライトフィールドディスプレイの内側錐台体積又は外側錐台体積への表示を制限する場合があり、それにより、LF^O又はLF^Pの１つの復号が必要になる。

【0149】

一実施形態では、復号化プロセスは以下の擬似コードによって表される：
コア階層復号：
各l_i∈L^oに対して：

【数35】

【0150】

同様の手順でLF^Pを再構築する。各階層化シーン分解階層は、所与のサンプリングスキームSで定義された制限されたサンプルから再構築される。内側錐台体積階層又は外側錐台体積階層のそれぞれは、LF^O又はLF^Pを再現するためにマージされる。

【0151】

ＲｅｃｏｎＬＦは、様々な計算及びコーデック後の画質特性を有する様々な形式で実行することができる。ＲｅｃｏｎＬＦ入力は、所与のサンプリングスキームS及び対応するダウンサンプリングされた深度マップD_m[LF_li]で定義されたLF_liデータのサブセットである。Ｇｒａｚｉｏｓｉらによって説明されている深度画像ベースのレンダリング（ＤＩＢＲ）は、入力ライトフィールドを再構築することができる。ＤＩＢＲは、投影レンダリング法として分類することができる。再投影技術とは対照的に、Ｗｉｄｍｅｒらによって教示されたスクリーン空間レイキャスティングなどのレイキャスティング法は、ライトフィールドを再構築することができる。レイキャスティングは、再投影よりも高い柔軟性を実現するが、計算リソースの要件を増す。

【0152】

ＤＩＢＲアプローチでは、サンプリングスキームSで指定された要素画像を参照「ビュー」として使用して、不足している要素画像をライトフィールドから合成する。「Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｉｍａｇｅｓ ｆｏｒ Ｍｕｌｔｉ－Ｖｉｅｗ Ｃｏｄｉｎｇ」においてＶｉｎｃｅｎｔ Ｊａｎｔｅｔによって、及びＧｒａｚｉｏｓｉら等によって説明されているように、システムがＤＩＢＲ再構成を使用する場合、プロセスには通常、前方ワーピング、マージ、及び後方投影が含まれる。

【0153】

逆投影法を適用すると、要素画像などの合成ビューでクラックやサンプリングアーチファクトを回避することができる。逆投影では、要素画像の深度マップ又は視差マップが、ターゲット画像の再構成に必要な参照画像とともに合成されると仮定しており、このような合成は、通常、フォワードワーピングプロセスを介して行われる。ターゲット画像の各画素の視差値を用いて、システムは画素を参照画像の対応する位置にワープする。通常、この参照画像の位置は整数画素グリッド上に配置されないため、隣接する画素値の値を補間する必要がある。当該技術分野で既知の逆投影の実装は、単純な線形補間を使用する。しかし、線形補間には問題がある可能性がある。ワープされた参照画像の位置がオブジェクトのエッジ境界上又はその近くにある場合、エッジ境界を越えた情報が補間演算に含まれるため、補間された値に大きなアーチファクトが生じる可能性がある。合成画像は、「にじみ」又はぼやけたエッジで生成される。

【0154】

本開示は、補間サブステップのための逆投影技術を提供し、エッジが不鮮明又はぼやけない高品質の合成画像を生成する。本開示は、エッジ適合補間（ＥＡＩ）を導入し、システムは、深度マップ情報を組み込んで、参照画像内のゆがんだ画素の色を計算するための補間演算に必要な画素を識別する。ＥＡＩは、ローパスフィルタリング操作中にエッジを適応させ保持する非線形補間手順である。ターゲット画像I_t(x,y)、参照画像I_r (x,y)並びに深度マップD_m(I_t)及びD_m(I_r)を備えたディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を考える。本開示は、深度マップD_m(I_t)ピンホールカメラパラメータ（f、αなど）及び平面パラメータ化されたピンホールプロジェクタのディスプレイのアレイの相対位置を利用して、各I_t画素整数(x,y,)を、I_rの実数位置(x_w,y_w)にワープする。(x_w,y_w)が整数座標位置にない可能性が高いシナリオでは、I_r整数サンプルに基づいて値を再構築する必要がある。

【0155】

当技術分野で知られている線形補間法は、２×２画素近傍に位置する４つの最も近い整数座標からI_r(x_w,y_w)を再構築する。代替的な再構築方法では、より大きな近傍（３×３画素近傍など）を使用して、異なる再構築品質で同様の結果を生成する（Ｍａｒｓｃｈｎｅｒら、「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｉｌｔｅｒｓ ｆｏｒ ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ」参照）。これらの線形補間法には、信号の基本的なジオメトリに関する知見がない。再構成が、画像内のエッジで区切られた異なるオブジェクトに属する画素近傍を利用する場合、エッジ画像が不鮮明になるか又はぼやける。他のオブジェクトの色を誤って含むと、ゴーストアーチファクトが作成される。本開示は、深度マップD_m(I_r)を使用して複数のオブジェクトが重なるときに作成されるエッジの存在を予測することにより、画素近傍を重み付け又は省略する方法を提供することにより、この再構築問題を解決する。

【0156】

図３は、テクスチャ（８０，８３）を示しており、黒い点として示されているサンプリング位置が、再構築中の別の画像に逆投影されている。サンプリング位置は、背景が白い暗いオブジェクトの境界付近にある。最初の再構築行列（８１）では、完全な２ｘ２近傍が、線形補間などの既知の手法を使用してサンプリング位置の値を再構築する。これは、暗いオブジェクトが再構築に含まれるため、非白色画素（８２）をもたらす。第２の再構築行列（８４）は、本開示のＥＡＩ技術を使用して、３つの隣接する白色画素からサンプリング位置を再構築する。ＥＡＩはオブジェクトのエッジを検出し、暗い画素を省略して、正しい白い画素の再構築を行う（８５）。

【0157】

ターゲット画像I_t(x,y)の固定された任意の座標(x_r,y_r)の場合、d_tは位置の深度を定義する：
d_t=D_m[I_r (x_r,y_r)]

【0158】

ターゲット画像座標(x_r,y_r)は、参照画像座標(x_w,y_w)にワープする。

【0159】

(x_w,y_w)に近いポイントのmサイズの近傍では、セットはNS={(x_i,y_i)|1≦i≦m}である。各近傍の重みは次のように定義される：
w_i=f(d_t,D_m[I_r](x_i,y_i)]

【0160】

式中、w_iは、深度(x_r,y_r)とインデックスに対応する(x_w,y_w)の近傍の深度の関数である。次の式は、所与の閾t_eに対する有効なw_iを表す；

【数36】

【0161】

閾値t_eは、形状パラメータである。重み関数は、I_r(x_r,y_r)の再構築方法を決定する：
I_r(x_r,y_r)=Recon(w₁I_r(x₁,y₁),(w₂I_r(x₂,y₂),...(w_mI_r(x_m,y_m))

【0162】

Ｒｅｃｏｎ関数は、単純な修正線形補間であることができ、w_iの重みが標準の重み付け手順に組み込まれ、総重量が１を維持するように再正規化される。

【0163】

本開示は、階層化シーン分解を再構成するための性能最適化された復号方法も提供する。階層化シーン分解L=(K₁,K₂,L^O,L^P)及び関連するサンプリングスキームS=(M_s,R)を備えたディスプレイD=(M_x,M_y,N_u,N_v,f,a,D_LP)を検討する。要素画像は、サンプリングスキームSで指定されたようにダウンサンプリングされた、分解されたライトフィールドLF^O及びLF^PからライトフィールドLF^O及びLF^Pを再構成することによって復号される。上記のように、特定の実装では、ライトフィールドディスプレイの内側錐台体積又は外側錐台体積への表示を制限する場合があり、それによってLF^O又はLF^Pの１つの復号が必要になる。

【0164】

LF^Oは、サンプリングスキームSで指定された要素画像を復号することで再構築することができる。特定の階層に対するＲｅｃｏｎＬＦ法には、欠落要素画像の欠落画素を再構築する順序に関する固有の制約は含まれない。本開示の目的は、スループットを最大化する方法を使用して欠落画素を再構築することである。有効なライトフィールドディスプレイに十分な大きさのライトフィールドは、双方向フレームレートでコンテンツを提供するために並外れた量のデータスループットを必要とするため、再構築データ伝送の改善が必要である。

【0165】

本開示は、双方向フレームレートでのコンテンツの改善されたデータ送信により画素再構築を改善するための基本的な制約のセットを導入する。ＲｅｃｏｎＬＦへの入力として、M_x×M_yの要素画像を含む単一のライトフィールドL_i∈L_oを考える。画素（言い換えると、要素画像）は２つの基本的なパスで再構築される。各パスは、要素画像のアレイの別々の次元で動作する。システムは最初のパスを列復号として実行し、２番目のパスを行復号として実行して、各画素を再構築する。本開示は、列復号に続く行復号を採用するシステムを説明しているが、行復号に続く列復号を採用するシステムも利用できるため、これは本発明の範囲及び精神を限定するものではない。

【0166】

最初のパスでは、サンプリングスキームSによって指定された要素画像を参照画素として使用して、欠落している画素を埋める。図４は、行列内の要素画像をＢ又は青色画素として示している。欠落している画素は、同じ列の参照画素から厳密に合成される。これらの新たに合成された列方向の画素は、図５でＲ又は赤色画素として示されている。新たに再構成された画素は、バッファに書き込まれ、他の要素画像と同じ行に位置するピクセル参照画素を再構成する第２パスに対して更に画素参照を行う。図６は、これらの新たに合成された行方向の画素をＧ又は緑色画素として示している。

【0167】

一実施形態では、画素アレイを再構築するプロセスは、次の擬似コードアルゴリズムによって表される：
次元分解ライトフィールド再構築：
パス１：
L_iの要素画像の各行に対して
行内の各欠落している要素画像に対して
要素画像内の各行に対して
参照画像内の同じ行から画素を読み込む（キャッシュする）
欠落している行における各画素に対して
参照情報から画素を再構築して書き込む
パス２：
L_iの要素画像の各列に対して
列内の各欠落している要素画像に対して
要素画像内の各列に対して
同じ列から参照画素を読み込む（キャッシュする）
欠落している列における各画素に対して
参照情報から画素を再構築し
書き込む

【0168】

この性能最適化復号法により、行復号及び列復号制約は、再構築操作に必要な効果的な作業動作データセットを制限することができる。

【0169】

欠落している要素画像の単一の行を再構築するために、システムは参照要素画像からの画素の対応する行のみを必要とする。同様に、欠落している要素画像の単一列を再構築するには、システムは参照要素画像からの対応する画素列のみを必要とする。当技術分野で以前から知られている復号方法は復号のために要素画像全体を必要とするため、この方法はより小さなデータセットを必要とする。

【0170】

比較的大きな要素画像サイズを復号する場合でも、欠落した要素画像の行と列を再構築しながら、削減されたデータセットをバッファに保存することができ、それによりデータ伝送が改善される。

【0171】

すべてのレンダリングされたデータが復号され、複数の内側及び外側ディスプレイ体積階層の各々が再構築されると、階層は単一の内側ディスプレイ体積階層と単一の外側ディスプレイ体積階層にマージされる。階層化シーン分解階層は、段階的な解凍で部分的に解凍することも、同時に完全に解凍することもできる。アルゴリズム的に、階層化シーン分解階層は、前面から後面又は後面から前面のプロセスにより解凍することができる。最後の二重錐台マージプロセスでは、内側と外側のディスプレイ体積階層を組み合わせて、ライトフィールドディスプレイの最終ライトフィールドを作成する。

【0172】

本明細書に記載される本発明のより良い理解を得るために、図面を参照して以下の実施例を記載する。これらの実施例は、本発明の例示的な実施形態を説明することを意図しており、決して本発明の範囲を限定することを意図していないことが理解されるであろう。

【実施例】

【0173】

実施例１：ライトフィールドディスプレイ用の例示的な符号化器及び符号化方法

【0174】

本発明の以下の例示的実施形態は、本発明が複数のシステムパラメータを首尾よく実装することができるので、本発明の範囲を限定することを意図したものではない。上述のように、当技術分野で以前から知られている従来のディスプレイは、理想的に均一なサンプリングを可能にする、実質的に等間隔に配置され、２次元行に構成された空間画素からなる。対照的に、３次元（３Ｄ）ディスプレイには空間サンプルと角度サンプルの両方が必要である。典型的な３次元ディスプレイの空間サンプリングは均一のままであるが、角度空間でのディスプレイのフットプリントの観点から、角度サンプルは必ずしも均一とは見なされない。

【0175】

例示的な実施形態では、複数のライトフィールド平面パラメータ化されたピンホールプロジェクタは、ライトフィールドの指向性成分としても知られる角度サンプルを提供する。ライトフィールドディスプレイは640×480の空間解像度と512×512の角度解像度用に設計されている。複数の平面パラメータ化ピンホールプロジェクタは、恒等関数αで理想化されている。複数の平面パラメータ化されたピンホールプロジェクタの各々の間のピッチは1mmであり、それによって640mm×400mmのディスプレイスクリーンを定義する。ディスプレイには、近似焦点距離f=289μmに対応する120°ＦＯＶがある。

【0176】

このライトフィールドディスプレイには、640×480×512×512=80.5billionのＲＧＢ画素が含まれている。各ＲＧＢ画素には８ビットが必要であるため、ライトフィールドディスプレイの１フレームには80.5billion×8×3=1.93Tbが必要である。双方向コンテンツを提供するライトフィールドディスプレイの場合、データは30frames/sで駆動され、1.93Tb×30frames/s=58.0Tb/sの帯域幅が必要である。当技術分野で知られている現在のディスプレイは、32.4Gb/sの最大帯域幅を提供するディスプレイポートテクノロジによって駆動されるため、このようなディスプレイは、双方向ライトフィールドディスプレイに必要な途方もない帯域幅を提供するために１０２４を超えるディスプレイポートケーブルを必要とし、コストとフォームファクタ設計の制約をもたらす。

【0177】

例示的な実施形態は、デュアルディスプレイポート１．３ケーブル出力を備えた加速ＧＰＵを備えたコンピュータからライトフィールドディスプレイにデータを配信する。40Gb/sの控えめな最大スループットを考慮する。符号化されたフレームは、ディスプレイポート接続を介して、ライトフィールドディスプレイの近くに物理的に配置された復号ユニットへの伝送のために十分小さい必要がある。

【0178】

例示的な実施形態の階層化シーン分解は、必要なデータスループットを可能にするように設計されている。上記で定義した寸法では、ライトフィールドディスプレイの最大被写界深度はZ_DOF=(289 microns)(512)=147968microns=147.986mmである。階層化シーン分解は、ライトフィールドディスプレイの被写界深度領域内に複数の階層化シーン分解階層を配置し、ディスプレイスクリーンからの階層化シーン分解階層の距離がZ_DOF未満になるようにする。この例示的実施例では、ディスプレイの内側錐台体積内にのみオブジェクトが配置されたライトフィールドディスプレイについて説明する。この例示的な実施例は、本発明が、ディスプレイの外側錐台体積内にのみオブジェクトが配置されたライトフィールドディスプレイ、又はディスプレイの内側錐台体積と外側錐台体積の両方の中にオブジェクトが配置されたライトフィールドディスプレイなどの、複数のシステムパラメータをうまく実装することができるため、本発明の範囲を限定することを意図したものではない。１つの錐台ボリュームに限定される実施形態は、より少ない数の階層化シーン分解階層を必要とし、それにより、生成される符号化ライトフィールドのサイズをわずかに減少させる。

【0179】

例示的な実施形態は、１０層の階層化シーン分解階層を定義する。必要に応じて、階層化シーン分解階層を追加して、オクルージョンで失われる可能性のあるデータをキャプチャし、又は全体的な圧縮レートを増すことができる。しかし、階層化シーン分解階層を追加するには、復号器からの追加の計算が必要であるため、階層化シーン分解階層の数は慎重に選択される。例示的な実施形態は、前面及び後面境界から１０層の階層化シーン分解階層を特定し、階層の分割面がディスプレイ面に平行であると仮定する。

【0180】

各階層化シーン分解階層は、ディスプレイ面から定義された距離に配置され、その距離は、焦点距離fの倍数で指定され、最大被写界深度512fまでである。幅の狭い階層化シーン分解階層は、ディスプレイ面の近くに集中し、階層幅（つまり、前面階層境界と後面階層境界との間の深度の差）は、ディスプレイ面からの距離が大きくなるにつれて２のべき乗で指数関数的に増加する。本発明のこの実施形態は、本発明の範囲を限定することを意図したものではなく、他の階層構成を首尾よく実装することができる。

【0181】

次の表（表１）は、例示的な実施形態の階層化シーン分解階層構成を記載しており、プレノプティックサンプリング理論に基づいてサブサンプリングされた階層化シーン分解階層を作成するサンプリングスキームを提供する。

【0182】

【表1】

【0183】

上記の表で、階層０は、当技術分野で知られている従来の２次元ディスプレイのように、ディスプレイスクリーン平面に表示される画像をキャプチャする。階層０には、固定深度で640×480画素が含まれているため、深度情報は必要ない。合計データサイズは、各８ビットのＲＧＢ値及び深度値を有する各画素に対して計算される（代替の実施形態では、１６ビットなどのより大きなビット値が必要になる場合がある）。例示的な実施形態では、要素画像解像度及びサンプリングギャップは上記の式から計算され、選択されたサンプリングスキームは要素画像解像度及びサンプリングギャップ制限を反映する。

【0184】

上記の表で説明したように、結合された階層化シーン分解システムは、400.5Mbの合計サイズを有する。したがって、30frames/sのレートでデータを生成するには、30×0.4005=12.01GB/sの帯域幅が必要である。この符号化されたフォームは、シーンのオクルージョンを表すために必要な追加情報とともに、デュアルディスプレイポート１．３ケーブルを介して伝送される。

【0185】

例示的な実施形態では、階層化シーン分解階層は符号化器によって構成され、ディスプレイ面により近い階層（階層０～５）を生成する斜めレンダリング技術及びディスプレイ面から更に離れた位置にある階層（階層６～９）を生成する透視レンダリング技術、を効率的に実装する。各要素画像は、単一のレンダリングビューに対応する。

【0186】

階層６では、レンダリングされる個別の角度の数（64×64=4096）が、レンダリングされるビューの数（21×16=336）を超えている。これは、斜めレンダリング方法と透視レンダリング方法の間の効率の移行を示す。特定の実装の態様は、正確な最適な移行ポイントをそらす追加のオーバーヘッドを提供する可能性があることに注意する必要がある。当技術分野で知られている最新のグラフィックス加速技術で使用するために、ジオメトリシェーダのインスタンス化を使用して、透視レンダリングを効率的に実装することができる。ドローコールを通じてジオメトリに繰り返しアクセスすることなく、及び全く同じデータを取得するためにメモリに繰り返しアクセスすることなく、同じ入力シーンジオメトリのセットから複数のビューがレンダリングされる。

【0187】

図８は、内側錐台体積（１１０）に１０層のシーン分解階層（１００～１０９）を備えた例示的実施形態を示している。内側の錐台体積層は、ディスプレイ画面の平面（３００）から延びている。階層は上の表で説明したように定義される。内側錐台体積層０（１００）の前面境界は１ｆ、内側錐台体積層１（１０１）は１ｆ、内側錐台体積層２（１０２）は２ｆ、内側錐台体積層３（１０３）は４ｆなどである。内側錐台体積階層０～５（１００～１０５）及び外側錐台体積階層０～５（２００～２０５）は斜めレンダリング技術でレンダリングされ、外側錐台体積階層６～９（１０６～１０９）は透視レンダリング技術でレンダリングされる。

【0188】

図９は、内側錐台体積（１１０）に１０層のシーン分解層（１００～１０９）と外側錐台体積（２１０）に１０層のシーン分解階層（２００～２０９）を備えた代替実施形態を示す。内側及び外側の錐台体積階層は、ディスプレイ画面の平面（３００）から延びている。内側と外側の錐台体積層は互いに鏡像として示されているが、内側と外側の錐台体積は、異なる数の階層、異なるサイズの階層、又は異なる深度の層を有することができる。内側錐台体積階層０～５（１００～１０５）及び外側錐台体積階層０～５（２００～２０５）は、斜めレンダリング技術でレンダリングされ、外側錐台体積階層６～９（１０６～１０９）及び外側錐台体積階層６～９（２０６～２０９）は、透視レンダリング技術でレンダリングされる。

【0189】

代替実施形態は、レイトレーシング符号化ベースのアプローチでシステムを実装することができる。完全な階層化シーン分解階層表現のレンダリングには、単一ビューの高速レンダリングが望ましい従来の２次元ディスプレイ上の双方向グラフィックスにＧＰＵが最適化されているため、ここで説明する最適化でも、ＧＰＵパフォーマンスの向上が必要になる場合がある。レイトレーシングアプローチの計算コストは、システムがレンダリングする画素数の直接的な関数である。階層化シーン分解階層システムには、いくつかの２次元単一ビューシステムに匹敵する数の画素が含まれているが、階層分解及び対応するサンプリング方式により、画素の形式と配置が大きく異なる。したがって、光線の一部又はすべてをトレースする方が効率的な実装である場合がある。

【0190】

実施例２：ライトフィールドディスプレイのコーデック復号器及び復号方法

【0191】

本発明の例示的な実施形態では、復号器は、デュアルディスプレイポート１．３ケーブルを介してＧＰＵから、12.01GB/sの符号化コア表現データに加えて、残留表現データを受信する。圧縮コア表現データは、カスタマイズされたＦＰＧＡ、ＡＳＩＣ、又はその他の集積回路を使用して復号され、効率的な復号が実装される（図１３に示すように、残留表現データは個別に復号される）。12.01GB/sのコア表現は、最終的なライトフィールド表示のために58Tb/sに解凍される。このコア表現には、オクルージョンのレンダリングに必要な残留表現が含まれていないことに注意されたい。(58Tb/s)/(12.01GB/s)は4833:1の圧縮比を提供する。これは高性能の圧縮比であるが、再構築に残留表現データが含まれていない限り、再構築されたライトフィールドデータはオクルージョンベースのアーチファクトを示す場合がある。

【0192】

図８に示される例示的な実施形態では、個々の階層化シーン分解階層を再構築し、再構築された階層を内側錐台体積層にマージすることにより、データが復号される。図９に示すような代替実施形態では、個々の階層化シーン分解階層を再構築し、再構築された階層を内側錐台体積層と外側錐台体積層にマージすることにより、データが復号される。

【0193】

単一階層化シーン分解階層は、当技術分野で知られている画像ベースレンダリングの分野からのビュー合成技術を使用して、データの所与のサンプリングスキームサンプリングから再構築することができる。例えば、Ｇｒａｚｉｏｓｉらは、参照要素画像を使用して、単一パスでライトフィールドを再構築することを指定している。この方法は、複数次元で再構築された画像からオフセットされた参照要素画像を使用する。要素画像データは３次元のシーンポイント（ＲＧＢ色及び視差を含む）を表すため、ピクセルは非線形関数として復号され（ただし、参照要素画像とターゲット要素画像との間の方向ベクトルに固定される）、したがって、同じサイズのストレージバッファーが必要である。より大きな要素画像を復号する場合、復号ハードウェアに応じて、メモリストレージ又は帯域幅の制約が生じる可能性がある。

【0194】

２４ビット色を備えた512×512画素の要素画像サイズのライトフィールドディスプレイの場合、復号器は512×512=262,144の24ビット値（この実施例では視差ビットなし）を保存できるバッファを必要とする。現在の高性能ＦＰＧＡデバイスは、18/20ビット幅のメモリ及び512個のメモリ位置を持つ36/40ビット幅のメモリとして使用できる、1024個のメモリ位置として構成された内部ブロックメモリ（ＢＲＡＭ）を提供する。同じクロックサイクルで画像を読み書きできるバッファは、非線形復号プロセスにより書き込みポートが非決定的なアクセスパターンを使用するため、２つの参照要素画像を保持するのに十分大きい。512×512画素画像用にＦＰＧＡデバイスにこのバッファを実装するには、1024個のＢＲＡＭブロックが必要である。使用される再構築アルゴリズムに応じて、各復号器パイプラインに複数のバッファが必要になる場合がある。高密度ライトフィールドディスプレイのデータレートを満たすために、システムには100を超える並列パイプラインが必要になる場合があり、これは、現在のＦＰＧＡデバイスよりもはるかに多くのパイプラインである。各バッファには独立した読み取り／書き込みポートが必要であるため、現在のＡＳＩＣデバイスにこのようなシステムを実装することはできない。

【0195】

本開示は、画素再構築プロセスを複数の単一次元段階に分割することにより、バッファ及びメモリの制限を回避する。本開示は、一次元再構築を実施して、基準要素画像とターゲットとの間の方向ベクトルを修正された経路に固定する。再構築は非線形のままであるが、ターゲット位置に変換される参照画素は、ターゲット画素の同じ行又は列の位置にロックされる。したがって、復号器バッファは一度に１行又は１列をキャプチャすることだけを必要とする。上記の24ビット色の512×512画素の要素画像の場合、復号器バッファは２つの36/40×512ＢＲＡＭを必要とする24ビット幅、1024の深度のメモリとして構成される。したがって、本開示は、512倍、又は複数の大きさだけメモリフットプリントを低減した。これにより、現在のＦＰＧＡデバイスによって100を超える復号パイプラインをサポートする必要があるディスプレイ画素フィルレートが可能になる。

【0196】

多段階復号アーキテクチャは、ライトフィールドディスプレイ内の二次元画素アレイを再構築するために二段階を必要とする。２つの段階は互いに直交しており、要素画像の行又は列を再構築する。最初の復号段階では、画素スケジューラを使用して、出力画素が次の段階の入力画素と互換性があることを確認する必要があり得る。各復号段階で必要とされる非常に高い帯域幅のため、ローカルストレージ要件を低減するために、前の段階からの出力画素の一部を再利用する必要がある場合がある。この場合、外部バッファを使用して、最初の段階からすべての出力画素をキャプチャできるため、続く復号段階が画素データに効率的にアクセスでき、ロジックリソースとメモリ帯域幅を低減することができる。

【0197】

本開示の外部メモリバッファを用いた多段階復号により、復号プロセスを、必要なメモリ帯域幅を高価なオンダイメモリからダブルデータレート（ＤＤＲ）メモリデバイスなどの低コストメモリデバイスに転送することができる。高性能の復号画素スケジューラにより、この外部メモリバッファからの参照画素の再利用が最大化され、システムがより狭い又はより遅いメモリインターフェースを使用できるようになる。

【0198】

本明細書で参照されるすべての特許、特許出願、刊行物、及びデータベースエントリの開示は、あたかも各々のそのような特許、特許出願、出版物、及びデータベースのエントリが、参照により組み込まれていると具体的かつ個別に示されているかのように、参照によりその全体が同程度に具体的に本明細書に組み込まれる。

【0199】

特定の具体的な実施形態を参照して本発明を説明したが、本発明の精神及び範囲から逸脱することなく、その様々な変更が当業者には明らかであろう。当業者に明らかなそのような変更はすべて、添付の特許請求の範囲内に含まれることが意図されている。

【0200】

参考文献リスト

【0201】

BANKS, MARTIN S., DAVID M. HOFFMAN, JOOHWAN KIM AND GORDON WETZSTEIN. "3D Displays" Annual Review of Vision Science. 2016. pp. 397-435.
CHAI, JIN-XIANG, XIN TONG, SHING-CHOW CHAN, AND HEUNG-YEUNG SHUM. "Plenoptic Sampling"
CLARK, JAMES J., MATTHEW R. PALMER AND PETER D. LAWRENCE. "A Transformation Method for the Reconstruction of Functions from Nonuniformly Spaced Samples" IEEE Transactions on Acoustics, Speech, and Signal Processing. October 1985. pp 1151-1165. Vol. ASSP-33, No. 4.
DO, MINH N., DAVY MARCHAND-MAILLET AND MARTIN VETTERLI. "On the Bandwidth of the Plenoptic Function" IEEE Transactions on Image Processing. pp. 1-9
GORTLER, STEVEN J., RADEK GRZESZCZUK, RICHARD SZELISKI, AND MICHAEL F. COHEN. "The Lumigraph" 43-52.
HALLE, MICHAEL W. AND ADAM B. KROPP. "Fast Computer Graphics Rendering for Full Parallax Spatial Displays"
JANTET, VINCENT. "Layered Depth Images for Multi-View Coding" Multimedia. pp. 1-135. Universite Rennes 1, 2012. English.
LEVOY, MARC, AND PAT HANRAHAN. "Light Field Rendering" SIGGRAPH. pp. 1-12.
MARSCHNER, STEPHEN R. AND RICHARD J. LOBB. "An Evaluation of Reconstruction Filters for Volume Rendering" IEEE Visualization Conference 1994.
PIAO, YAN, AND XIAOYUAN YAN. "Sub-sampling Elemental Images for Integral Imaging Compression" IEEE. pp. 1164-1168. 2010.
VETRO, ANTHONY, THOMAS WIEGAND, AND GARY J. SULLIVAN. "Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard." Proceedings of the IEEE. pp. 626-642. April 2011. Vol. 99, No. 4.
WIDMER, S., D. PAJAK, A. SCHULZ, K. PULLI, J. KAUTZ, M. GOESELE, AND D. LUEBKE. "An Adaptive Acceleration Structure for Screen-Space Ray Tracing"
ZWICKER, M., W. MATUSIK, F. DURAND, H. PFISTER. "Antialiasing for Automultiscopic 3D Displays" Eurographics Symposium on Rendering. 2006.

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】