特表 2024-513890 多平面画像のシーケンスを符号化／復号するための方法及び装置、コンピュータ生成ホログラムを再構成するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-27

(54)【発明の名称】多平面画像のシーケンスを符号化／復号するための方法及び装置、コンピュータ生成ホログラムを再構成するための方法及び装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240319BHJP

   H04N 19/70 20140101ALI20240319BHJP

【ＦＩ】

H04N19/597

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023561332

(86)(22)【出願日】2022-03-29

(85)【翻訳文提出日】2023-11-06

(86)【国際出願番号】 EP2022058322

(87)【国際公開番号】W WO2022214365

(87)【国際公開日】2022-10-13

(31)【優先権主張番号】21305464.6

(32)【優先日】2021-04-09

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドラジック、ヴァルター

(72)【発明者】

【氏名】ドイェン、ディディエ

(72)【発明者】

【氏名】ブアソン、ギヨーム

(72)【発明者】

【氏名】アリー、ヴァレリー

(72)【発明者】

【氏名】ブラック ドゥ ラ ぺリエール、ヴァンソン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC01

5C159MA04

5C159MA05

5C159PP03

5C159PP13

5C159RB09

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

３Ｄシーンを表す多平面画像のシーケンスを符号化／復号するための方法（１４００）及び装置が提供され、多平面画像のシーケンスは少なくとも１つの多平面画像を含み、多平面画像は複数の層を含み、符号化することは、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで符号化し、少なくとも１つの多平面画像を符号化することを含む。
多平面画像のシーケンスからコンピュータ生成ホログラムを再構成するための方法（１１００）及び装置も提供される。

【特許請求の範囲】

【請求項1】

３Ｄシーンを表す多平面画像のシーケンスであって、前記多平面画像のシーケンスが少なくとも１つの多平面画像を含み、多平面画像が複数の層を含む、多平面画像のシーケンスを符号化することを含む方法であって、前記符号化することが、
－前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで符号化することと、
－前記少なくとも１つの多平面画像を符号化することと、
を含む、方法。

【請求項2】

３Ｄシーンを表す多平面画像のシーケンスであって、前記多平面画像のシーケンスが少なくとも１つの多平面画像を含み、多平面画像が複数の層を含む、多平面画像のシーケンスを符号化するための装置であって、前記装置が、
－前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで符号化し、
－前記少なくとも１つの多平面画像を符号化する、
ように構成された１つ以上のプロセッサを備える、装置。

【請求項3】

前記少なくとも１つの多平面画像を符号化することが、前記少なくとも１つの多平面画像の前記複数の層から抽出されたパッチを符号化することを含み、前記インジケータがパッチレベルで符号化される、請求項１に記載の方法若しくは請求項２に記載の装置。

【請求項4】

前記少なくとも１つの多平面画像を符号化することが、前記参照多平面画像の対応する層に対して変化した前記多平面画像の全ての層を符号化することを含む、請求項１又は３に記載の方法若しくは請求項２又は３に記載の装置。

【請求項5】

前記多平面画像のシーケンスを符号化することが、前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示すインジケータを符号化することを更に含む、請求項４に記載の方法又は装置。

【請求項6】

前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示す前記インジケータが、パッチレベルで符号化される、請求項５に記載の方法又は装置。

【請求項7】

前記多平面画像のシーケンスを符号化することが、前記少なくとも１つの多平面画像の前記複数の層のうちの前記少なくとも１つの層について、前記少なくとも１つの多平面画像の前記複数の層のうちの前記少なくとも１つの層と、前記参照多平面画像の前記対応する層との間で決定された類似性メトリックに基づいて、前記少なくとも１つの層が前記参照多平面画像の前記対応する層に対して変化したか否かを判定することを更に含む、請求項１又は３～５のいずれか一項に記載の方法若しくは請求項２～５のいずれか一項に記載の装置。

【請求項8】

３Ｄシーンを表す多平面画像のシーケンスであって、前記多平面画像のシーケンスが少なくとも１つの多平面画像を含み、多平面画像が複数の層を含む、多平面画像のシーケンスを復号することを含む方法であって、前記復号することが、
－前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで復号すること
を含む、方法。

【請求項9】

３Ｄシーンを表す多平面画像のシーケンスであって、前記多平面画像のシーケンスが少なくとも１つの多平面画像を含み、多平面画像が複数の層を含む、多平面画像のシーケンスを復号するための装置であって、前記装置が、
－前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで復号する
ように構成された１つ以上のプロセッサを含む、装置。

【請求項10】

前記少なくとも１つの多平面画像の前記複数の層の各層がパッチのセットとして符号化され、前記インジケータがパッチレベルで符号化される、請求項８に記載の方法若しくは請求項９に記載の装置。

【請求項11】

前記多平面画像のシーケンスを復号することが、前記少なくとも１つの層が変化したか否かを示す前記インジケータに基づいて前記３Ｄシーンを再構成することを更に含む、請求項８又は１０に記載の方法若しくは請求項９又は１０に記載の装置。

【請求項12】

前記多平面画像のシーケンスを復号することが、前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示すインジケータを復号することを更に含む、請求項８又は１０～１１のいずれか一項に記載の方法若しくは請求項９～１１のいずれか一項に記載の装置。

【請求項13】

前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示す前記インジケータが、パッチレベルで符号化される、請求項１２に記載の方法又は装置。

【請求項14】

前記多平面画像のシーケンスを復号することが、前記少なくとも１つの多平面画像の前記複数の層のうちの前記少なくとも１つの層を取得することであって、
－前記復号されたインジケータが、前記少なくとも１つの層が前記ビットストリーム内に存在することを示す場合、前記少なくとも１つの層が、前記ビットストリームから前記少なくとも１つの層を復号することによって取得され、
－そうでなければ、前記少なくとも１つの層が、前記参照多平面画像の前記対応する層から取得される、
取得することを更に含む、請求項１２又は１３に記載の方法又は装置。

【請求項15】

前記多平面画像のシーケンスを復号することが、前記少なくとも１つの層が変化したか否かを示す前記インジケータに基づいて、前記少なくとも１つの多平面画像から少なくとも１つのコンピュータ生成ホログラムを再構成することを更に含む、請求項８又は１０～１４のいずれか一項に記載の方法若しくは請求項９～１４のいずれか一項に記載の装置。

【請求項16】

多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成することを含む方法であって、前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含み、
－前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の層が参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、方法。

【請求項17】

多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成するように構成された１つ以上のプロセッサを備える装置であって、前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含み、
－前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の層が参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、装置。

【請求項18】

前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の前記層が前記参照多層画像の前記対応する層に対して変化したという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記少なくとも１つのコンピュータ生成ホログラムの平面に向かう前記多層画像の前記層の伝搬から取得される、請求項１６に記載の方法又は請求項１７に記載の装置。

【請求項19】

前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、前記多層コンピュータ生成ホログラムの各層を蓄積することによって前記少なくとも１つのコンピュータ生成ホログラムを取得することを含む、請求項１６又は１８に記載の方法若しくは請求項１７又は１８に記載の装置。

【請求項20】

多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成することを含む方法であって、前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含み、
前記多層コンピュータ生成ホログラムが、複数の順序付けられた層を含み、第１の層が、前記少なくとも１つのコンピュータ生成ホログラムの平面から前記複数の層のうちで最も近い層であり、最後の層が、前記少なくとも１つのコンピュータ生成ホログラムの平面から前記複数の層のうちで最も遠い層であり、
前記多層コンピュータ生成ホログラムの前記少なくとも１つの層と前記多層コンピュータ生成ホログラムの前記最後の層との間の層にある前記多層コンピュータ生成ホログラムの層にそれぞれ対応する前記多層画像の全ての層が、参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、方法。

【請求項21】

多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成するように構成された１つ以上のプロセッサを備える装置であって、前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含み、
前記多層コンピュータ生成ホログラムが、複数の順序付けられた層を含み、第１の層が、前記少なくとも１つのコンピュータ生成ホログラムの平面から前記複数の層のうちで最も近い層であり、最後の層が、前記少なくとも１つのコンピュータ生成ホログラムの平面から前記複数の層のうちで最も遠い層であり、
前記多層コンピュータ生成ホログラムの前記少なくとも１つの層と前記多層コンピュータ生成ホログラムの前記最後の層との間の層にある前記多層コンピュータ生成ホログラムの層にそれぞれ対応する前記多層画像の全ての層が、参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、装置。

【請求項22】

前記多層コンピュータ生成ホログラムの前記少なくとも１つの層と前記多層コンピュータ生成ホログラムの前記最後の層との間にある前記多層コンピュータ生成ホログラムの層にそれぞれ対応する前記多層画像の少なくとも１つの層が、参照多層画像の対応する層に対して変化しているという判定に応答して、
前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の前記層と、前記多層コンピュータ生成ホログラムの前記層が前記最後の層から前記第１の層に向かって走査されるときに前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に先行する前記多層コンピュータ生成ホログラムの前記層の、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層の平面に向かう伝搬とから取得される、請求項２０に記載の方法又は請求項２１に記載の装置。

【請求項23】

前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、前記少なくとも１つのコンピュータ生成ホログラムの前記平面に向かって前記多層コンピュータ生成ホログラムの前記第１の層を伝搬させることによって前記少なくとも１つのコンピュータ生成ホログラムを取得することを含む、請求項２０又は２２に記載の方法若しくは請求項２１又は２２に記載の装置。

【請求項24】

前記多層画像の層が前記参照多層画像の対応する層に対して変化したか否かを判定することが、前記多層画像の前記層と前記参照多層画像の前記対応する層との間で判定された類似性基準に基づく、請求項１６又は１８～２０又は２２～２３のいずれか一項に記載の方法若しくは請求項１７～１９又は請求項２１～２３のいずれか一項に記載の装置。

【請求項25】

前記類似性基準が第１の値を下回る場合に、前記多層画像の前記層が前記参照多層画像の前記対応する層に対して変化していないと判定される、請求項２４に記載の方法又は装置。

【請求項26】

前記多層画像の層が前記参照多層画像の対応する層に対して変化したか否かを判定することが、前記多層画像の前記層が変化したことを示すインジケータをビットストリームから取得することを含む、請求項１６又は１８～２０又は２２～２３のいずれか一項に記載の方法若しくは請求項１７～１９又は２１～２３のいずれか一項に記載の装置。

【請求項27】

前記多層画像及び前記多層コンピュータ生成ホログラムが同じ数の層を有する、請求項１６又は１８～２０又は２２～２６のいずれか一項に記載の方法若しくは請求項１７～１９又は２１～２６のいずれか一項に記載の装置。

【請求項28】

前記少なくとも１つのコンピュータ生成ホログラムを再構成することが、ビットストリームから前記多層画像の少なくとも１つの層を復号することを更に含む、請求項１６又は１８～２０又は２２～２７のいずれか一項に記載の方法若しくは請求項１７～１９又は２１～２７のいずれか一項に記載の装置。

【請求項29】

少なくとも１つの多平面画像を表すデータを含むビットストリームを含むコンピュータ可読媒体であって、前記多平面画像が複数の層を含み、前記ビットストリームが、前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータを更に含む、コンピュータ可読媒体。

【請求項30】

前記ビットストリームが、前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示すインジケータを更に含む、請求項２９に記載のコンピュータ可読媒体。

【請求項31】

１つ以上のプロセッサに、請求項１、３～８、１０～１６、１８～２０、２２～２８のいずれか一項に記載の方法を実行させるための命令を記憶している、コンピュータ可読記憶媒体。

【請求項32】

１つ以上のプロセッサによってプログラムが実行されると、前記１つ以上のプロセッサに、請求項１、３～８、１０～１６、１８～２０、２２～２８のいずれか一項に記載の方法を実行させるための命令を含む、コンピュータプログラム製品。

【請求項33】

デバイスであって、
－請求項９～１５又は１７～１９又は２１～２８のいずれか一項に記載の装置と、
－（ｉ）信号を受信するように構成されたアンテナであって、前記信号が前記少なくとも１つの多平面画像を表すデータを含む、アンテナ、（ｉｉ）受信された信号を、前記少なくとも１つの多平面画像を表すデータを含む周波数の帯域に制限するように構成された帯域制限器、又は（ｉｉｉ）前記３Ｄシーンを表示するように構成されたディスプレイのうちの少なくとも１つと、
を備える、デバイス。

【請求項34】

前記ディスプレイがホログラフィックディスプレイである、請求項３３に記載のデバイス。

【請求項35】

ＴＶ、携帯電話、タブレット、又はセットトップボックスを備える、請求項３３又は３４に記載のデバイス。

【請求項36】

装置であって、
○請求項２９～３０のいずれか一項に記載の信号を含むデータにアクセスするように構成されたアクセスユニットと、
○アクセスされた前記データを送信するように構成された送信機と、を備える、装置。

【請求項37】

請求項３９～３０のいずれか一項に記載の信号を含むデータにアクセスすることと、アクセスされた前記データを送信することと、を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、概して、ホログラフィック表現を含む、三次元（３Ｄ）シーン及び立体ビデオコンテンツの分野に関する。本実施形態は、概して、３Ｄシーンを表す多平面画像を符号化及び復号するための方法及び装置に関する。より具体的には、本実施形態は、多平面画像からコンピュータ生成ホログラムを符号化／復号／再構成するための方法及び装置に関する。

【背景技術】

【0002】

本節は、以下に説明及び／又は特許請求される本原理の様々な態様に関連し得る様々な技術の態様を読者に紹介することを意図している。この考察は、本原理の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

【0003】

マルチプレーン画像（ＭＰＩ）は、各層が実際にシーンの３Ｄ空間のスライスである立体シーンの積層表現である。各スライスは、基礎となる中心投影（例えば、透視、球面、．．．）及び層間間隔を定義するサンプリング法則に従ってサンプリングされる。層は、シーンの任意の３Ｄ交差オブジェクトのテクスチャ（すなわち色情報）並びに透明度情報を含む。このスライスされた表現から、基礎となる投影の中心の周りの限られた領域内に位置する任意の視点を復元／合成することが可能である。これは、最も近い層から始まって最も遠い層へと各層を適切な重み（すなわち透明度）と混合する効率的なアルゴリズム（例えば、「逆」画家のアルゴリズム）を利用して実行することができる。このような技術は、他の既知のビュー合成プロセスよりもはるかに高速に実行し得る。

【0004】

ＭＩＶ規格（ＩＳＯ／ＩＥＣ ＣＤ ２３０９０－１２，Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ －Ｃｏｄｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ －Ｐａｒｔ １２：ＭＰＥＧ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ，Ｎ１９４８２，２０２０年７月４日）のような異なるアプローチは、シンタックス修正なしにＭＰＩフォーマットで表された没入型ビデオコンテンツを転送するために、既に使用されているかも知れない。例えば、ＭＩＶの親仕様であるＶ３Ｃ（ＩＳＯ／ＩＥＣ ＦＤＩＳ ２３０９０－５，Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ －Ｃｏｄｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ －Ｐａｒｔ ５：Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ－ｂａｓｅｄ Ｃｏｄｉｎｇ（Ｖ３Ｃ）ａｎｄ Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ（Ｖ－ＰＣＣ），Ｎ１９５７９，２０２０年７月４日）で規定される透明度属性のみがアクティブ化されなければならない。ＭＰＩは、テクスチャ及び透明度パッチアトラス画像をそれぞれ符号化する２つのビデオビットストリームとして搬送され得る。各パッチの深度（すなわち３Ｄシーンの投影点と投影表面又は投影中心との間の距離に対応する形状データ）は（ＭＰＩ符号化の原理のため）一定であり、例えば、アトラス情報データストリームで、及び／又はデータストリームのうちの１つのメタデータで、又は異なるトラック内のアトラスの２つのシーケンスを符号化する１つのデータストリームのメタデータでシグナリングされてもよい。

【0005】

デジタルホログラフィ（ＤＨ）の原理は、３次元オブジェクトによって放射された全く同じ光波面を再構成することである。この波面は、視差及び距離に関する全ての情報を搬送する。両方のタイプの情報は、従来の２次元撮像システム（デジタルカメラ、２次元画像．．．）によって失われ、最近のマルチビューライトフィールドディスプレイを使用して視差のみを取得することができる。このようなディスプレイが視差及び深度キューの両方をレンダリングすることができないことで、輻輳－調節競合につながり、眼精疲労、頭痛、吐き気、及び現実性の欠如を引き起こす可能性がある。

【0006】

ホログラフィは、歴史的に、コヒーレント光源から来る参照ビームと、対象物上での参照ビームの反射によって形成される物体波との干渉の記録に基づいている。干渉パターンは、感光性材料に記録され、局所的に（微視的に）回折格子のように見え、格子ピッチは、記録に使用される波長程度である。一旦この干渉パターンが記録されてしまうと、元の参照波によるその照明は、物体波、及び３Ｄオブジェクトの元の波面を再形成する。

【0007】

ホログラフィの元の概念は、デジタルホログラフィの最新の概念に進化した。高い安定性及び感光性材料の要件は、ホログラフィを動的３Ｄコンテンツの表示にとって非実用的にした。液晶ディスプレイの出現により、入射波面の位相を変調し、こうして入射波面を任意に成形する可能性は、動的デバイス上に干渉パターンを再形成することを可能にした。ホログラムは、今回は計算することができ、コンピュータ生成ホログラム（ＣＧＨ）と呼ぶことができる。ＣＧＨの合成は、感光性材料上に以前に記録された干渉パターンの計算を必要とし、これは、フーリエ光学を使用して様々な方法を通じて行うことができる。物体波（すなわち、３Ｄ画像）は、例えば、ＣＧＨを有する液晶オンシリコン空間光変調器（ＬＣＯＳ ＳＬＭ）ディスプレイ上の液晶を参照ビームで照明することによって得ることができる。

【発明の概要】

【0008】

一態様によれば、３Ｄシーンを表す多平面画像のシーケンスを符号化するための方法が提供され、多平面画像のシーケンスは少なくとも１つの多平面画像を含み、多平面画像は複数の層を含む。符号化することは、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで符号化することと、少なくとも１つの多平面画像を符号化することと、を含む。

【0009】

シーンは、経時的に進展するという点で、動的である。このように、多平面画像のシーケンスは、時間的多平面画像のシーケンスである。

【0010】

別の態様によれば、３Ｄシーンを表す多平面画像のシーケンスを符号化するための装置が提供され、多平面画像のシーケンスは少なくとも１つの多平面画像を含み、多平面画像は複数の層を含み、装置は、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームで符号化し、少なくとも１つの多平面画像を符号化するように構成された１つ以上のプロセッサを備える。

【0011】

別の態様によれば、３Ｄシーンを表す多平面画像のシーケンスを復号するための方法が提供され、多平面画像のシーケンスは少なくとも１つの多平面画像を含み、多平面画像は複数の層を含み、当該復号することは、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層について、少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームから復号することを含む。

【0012】

別の態様によれば、３Ｄシーンを表す多平面画像のシーケンスを復号するための装置が提供され、多平面画像のシーケンスは少なくとも１つの多平面画像を含み、多平面画像は複数の層を含み、装置は、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層について、少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータをビットストリームから復号するように構成された１つ以上のプロセッサを含む。

【0013】

本明細書に記載される全ての実施形態において、３Ｄシーンは、経時的に進展するという点で、動的である。このように、多平面画像のシーケンスは、時間的多平面画像のシーケンスである。

【0014】

別の態様によれば、多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成するための方法が提供され、少なくとも１つのコンピュータ生成ホログラムを再構成することは、多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含む。一実施形態によれば、多層コンピュータ生成ホログラムの少なくとも１つの層に対応する多層画像の層が参照多層画像の対応する層に対して変化していないという判定に応答して、多層コンピュータ生成ホログラムの少なくとも１つの層が参照多層コンピュータ生成ホログラムの対応する層から取得され、参照多層コンピュータ生成ホログラムは、参照多層画像から以前に再構成されている。

【0015】

別の実施形態によれば、多層コンピュータ生成ホログラムは、複数の順序付けられた層を含み、第１の層は、少なくとも１つのコンピュータ生成ホログラムの平面から複数の層のうちで最も近い層であり、最後の層は、少なくとも１つのコンピュータ生成ホログラムの平面から複数の層のうちで最も遠い層である。この実施形態によれば、多層コンピュータ生成ホログラムの少なくとも１つの層と多層コンピュータ生成ホログラムの最後の層との間の層にある多層コンピュータ生成ホログラムの層にそれぞれ対応する多層画像の全ての層が、参照多層画像の対応する層に対して変化していないという判定に応答して、多層コンピュータ生成ホログラムの少なくとも１つの層が参照多層コンピュータ生成ホログラムの対応する層から取得され、参照多層コンピュータ生成ホログラムは、参照多層画像から以前に再構成されている。

【0016】

別の態様によれば、多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成するための装置が提供され、装置は、本明細書に開示される実施形態のいずれか１つに従って多層画像から少なくとも１つのコンピュータ生成ホログラムを再構成するように構成された１つ以上のプロセッサを備える。

【0017】

別の態様によれば、コンピュータ生成ホログラムのシーケンスを符号化するための方法が提供され、コンピュータ生成ホログラムのシーケンスを表す多平面画像のシーケンスは、コンピュータ生成ホログラムのシーケンスを再構成するために使用されるメタデータと共にビットストリームで符号化される。多平面画像のシーケンスは、本明細書に記載される実施形態のいずれか１つに従って符号化される。

【0018】

別の態様によれば、コンピュータ生成ホログラムのシーケンスを復号するための方法が提供され、コンピュータ生成ホログラムのシーケンスを表す多平面画像のシーケンスは、コンピュータ生成ホログラムのシーケンスを再構成するために使用されるメタデータと共にビットストリームから復号される。多平面画像のシーケンスは、本明細書に記載される実施形態のいずれか１つに従って復号され、コンピュータ生成ホログラムのシーケンスは、本明細書に記載される実施形態のいずれか１つに従って再構成される。

【0019】

別の態様によれば、コンピュータ生成ホログラムのシーケンスを符号化及び復号するための装置が提供され、装置は、本明細書に記載される実施形態のいずれか１つに従ってコンピュータ生成ホログラムのシーケンスを符号化又は復号するための方法のステップを実行するように構成された１つ以上のプロセッサを備える。

【0020】

１つ以上の実施形態はまた、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、上記で記載された実施形態のいずれかによる方法のいずれか１つを実行させる命令を含む、コンピュータプログラムも提供する。本実施形態のうちの１つ以上はまた、多平面画像又はコンピュータ生成ホログラムを符号化又は復号するための命令、又は上記で記載された方法のいずれかに従ってコンピュータ生成ホログラムを再構成するための命令を記憶したコンピュータ可読記憶媒体も提供する。１つ以上の実施形態はまた、これまで述べた方法により起こされたビットストリームを記憶しているコンピュータ可読記憶媒体を提供する。１つ以上の実施形態によりまた、上で説明された方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。

【図面の簡単な説明】

【0021】

本開示は、以下の説明を読むと、より良好に理解され、他の特定の特徴及び利点が明らかになり、本明細書は、添付の図面を参照する。

【図1】本原理の非限定的な実施形態による、図３、図４、図６、図８、図９、図１１、図１４、図１７、図１８、図１９、図２０のいずれか１つに関連して説明される方法を実施するように構成され得るデバイスの例示的なアーキテクチャを示す図である。

【図2】オブジェクトの層ベース表現の一例を示す図である。

【図3】一実施形態による、ＭＰＩからＣＧＨを決定するための方法の一例を示す図である。

【図4】別の実施形態による、ＭＰＩからＣＧＨを決定するための方法の一例を示す図である。

【図5】多層ＣＧＨの一例を示す図である。

【図6】別の実施形態による、ＭＰＩからＣＧＨを決定するための方法の一例を示す図である。

【図7】本開示の一実施形態による多層ＣＧＨ表現を示す図である。

【図8】一実施形態による、ＭＰＩのｅシーケンスからＣＧＨのシーケンスを決定するための方法の一例を示す図である。

【図9】別の実施形態による、ＭＰＩからＣＧＨを決定するための方法の一例を示す図である。

【図10】本開示の別の実施形態による多層ＣＧＨ表現を示す図である。

【図11】別の実施形態による、ＭＰＩのｅシーケンスからＣＧＨのシーケンスを決定するための方法の一例を示す図である。

【図12】本原理の非限定的な実施形態による、３Ｄシーンのシーケンスを表すデータの符号化、送信、及び復号の非限定的な例を示す図である。

【図13】本原理の非限定的な実施形態による、立体シーンを表すＭＰＩベースのアトラスの構築を示す図である。

【図14】本原理の一実施形態によるＭＰＩのシーケンスを符号化するための方法のブロック図である。

【図15】本原理の非限定的な実施形態による、データがパケットベースの送信プロトコルを介して送信されるときのストリームのシンタックスの一実施形態の一例を示す図である。

【図16】本原理の非限定的な実施形態による、中心視点からの球面投影を示す図である。

【図17】本原理の一実施形態によるＭＰＩを符号化するための方法のブロック図である。

【図18】本原理の一実施形態によるＭＰＩのシーケンスを復号するための方法１８００のブロック図である。

【図19】本原理の別の実施形態によるＭＰＩのシーケンスを復号するための方法１９００のブロック図である。

【図20】本原理の一実施形態によるＭＰＩを復号するための方法２０００のブロック図である。

【発明を実施するための形態】

【0022】

図１は、様々な態様及び実施形態が実装され得るシステムの一例のブロック図を示す。システム１００は、以下に記載の様々なコンポーネントを含むデバイスとして具現化され得、本明細書に記載の態様のうちの１つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム１００の要素は、単独で、又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又は個別のコンポーネントで具現化され得る。例えば、少なくとも１つの実施形態において、システム１００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は個別のコンポーネントにわたって分散している。様々な実施形態では、システム１００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、他のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１００は、本出願に記載された態様のうちの１つ以上を実装するように構成される。

【0023】

システム１００は、例えば、本出願に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１１０を含む。プロセッサ１１０は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知であるように様々な他の回路を含み得る。システム１００は、少なくとも１つのメモリ１２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１００は、記憶デバイス１４０を含み、この記憶デバイスは、限定されるものではないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／若しくは光ディスクドライブを含む、不揮発性メモリ並びに／又は揮発性メモリを含み得る。記憶デバイス１４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び／又はネットワークアクセス可能な記憶デバイスを含み得る。

【0024】

システム１００は、例えば、符号化ビデオ／３Ｄシーン又は復号ビデオ／３Ｄシーンを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１３０を含み、エンコーダ／デコーダモジュール１３０は、それ自体のプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール１３０は、符号化機能及び／又は復号機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化及び復号モジュールのうちの一方又は両方を含み得る。加えて、エンコーダ／デコーダモジュール１３０は、システム１００の個別の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ１１０内に組み込まれ得る。

【0025】

本出願に記載の様々な態様を実行するためにプロセッサ１１０又はエンコーダ／デコーダ１３０上にロードされるプログラムコードは、記憶デバイス１４０内に記憶され、その後、プロセッサ１１０による実行のためにメモリ１２０上にロードされ得る。様々な実施形態によれば、プロセッサ１１０、メモリ１２０、記憶デバイス１４０、及びエンコーダ／デコーダモジュール１３０のうちの１つ以上は、本出願に記載されるプロセスの実行中に、様々な項目のうちの１つ以上を記憶し得る。このような記憶された項目は、入力ビデオ／３Ｄシーン、復号ビデオ／３Ｄシーン又は復号ビデオ／３Ｄシーンの一部、ビットストリーム、行列、変数、並びに式、方程式、演算、及び演算論理の処理からの中間結果又は最終結果を含み得るが、これらに限定されない。

【0026】

いくつかの実施形態では、プロセッサ１１０及び／又はエンコーダ／デコーダモジュール１３０の内部のメモリは、命令を記憶し、符号化又は復号中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１１０又はエンコーダ／デコーダモジュール１３０のいずれかであり得る）の外部のメモリが、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ１２０及び／又は記憶デバイス１４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指し、ＭＰＥＧ－２はまたＩＳＯ／ＩＥＣ１３８１８を指し、１３８１８－１はまたＨ．２２２として既知であり、１３８１８－２はまたＨ．２６２として既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２はまた既知である）、又はＶＶＣ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）によって開発中の新しい標準である多用途ビデオコーディング）などのビデオのコーディング動作及び復号動作のための作業メモリとして使用される。

【0027】

システム１００の要素への入力は、ブロック１０５に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（Radio Frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。図１に示されていない他の例は、コンポジットビデオを含む。

【0028】

様々な実施形態では、ブロック１０５の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部分は、これらの様々な機能を実行するチューナを含み得、例えば、受信した信号をより低い周波数（例えば、中間周波数、若しくは近接ベースバンド周波数）に、又はベースバンドにダウンコンバートすることが含まれる。セットトップボックスの一実施形態では、ＲＦ部とその関連する入力処理要素は、有線（例えば、ケーブル）媒体上で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、また所望の周波数帯域に再びフィルタ処理することによって、周波数選択を行う。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ－デジタル変換器を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。

【0029】

加えて、ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続全体にわたって、システム１００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理ＩＣ内又はプロセッサ１１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、個別のインターフェースＩＣ内又はプロセッサ１１０内に実装され得る。復調され、誤り訂正され、逆多重化されたストリームは、例えば、プロセッサ１１０と、出力デバイス上での提示のための必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ１３０とを含む、様々な処理要素に提供される。

【0030】

システム１００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続構成１１５、例えば、Ｉ２Ｃバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信し得る。

【0031】

システム１００は、通信チャネル１９０を介して他のデバイスとの接続を可能にする通信インターフェース１５０を含む。通信インターフェース１５０は、限定されるものではないが、通信チャネル１９０を介してデータを送信及び受信するように構成された送受信機を含み得る。通信インターフェース１５０は、限定されるものではないが、モデム又はネットワークカードを含み得、通信チャネル１９０は、例えば、有線及び／又は無線媒体内に実装され得る。

【0032】

データは、様々な実施形態では、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などのＷｉ－Ｆｉネットワークを使用して、システム１００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１９０及び通信インターフェース１５０を介して受信される。これらの実施形態の通信チャネル１９０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、入力ブロック１０５のＨＤＭＩＩ接続を介してデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１００に提供する。更に別の実施形態は、入力ブロック１０５のＲＦ接続を使用して、ストリーミングされたデータをシステム１００に提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

【0033】

システム１００は、出力信号を、ディスプレイ１６５、スピーカ１７５、及び他の周辺デバイス１８５を含む、様々な出力デバイスに提供し得る。様々な実施形態のディスプレイ１６５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１６５は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は他のデバイス用とすることができる。ディスプレイ１６５はまた、他のコンポーネントと統合することができ（例えば、スマートフォンのように）、又は別々にすることもできる（例えば、ラップトップ用の外部モニタ）。他の周辺デバイス１８５は、実施形態の様々な例において、スタンドアロンのデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語でＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施形態は、システム１００の出力に基づいて機能を提供する１つ以上の周辺デバイス１８５を使用する。例えば、ディスクプレーヤは、システム１００の出力を再生する機能を実行する。

【0034】

様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ、ＣＥＣ、又はユーザ介入あり若しくはユーザ介入なしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム１００とディスプレイ１６５、スピーカ１７５、又は他の周辺デバイス１８５との間で通信される。出力デバイスは、それぞれのインターフェース１６０、１７０、及び１８０を通じた専用接続を介してシステム１００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１５０を介し、通信チャネル１９０を使用して、システム１００に接続され得る。ディスプレイ１６５及びスピーカ１７５は、例えば、テレビなどの電子デバイスにおいて、システム１００の他のコンポーネントと共に単一ユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース１６０は、ディスプレイドライバ、例えば、タイミングコントローラ（timing controller、ＴＣｏｎ）チップを含む。

【0035】

ディスプレイ１６５及びスピーカ１７５は、代替的に、例えば、入力１０５のＲＦ部分が個別のセットトップボックスの一部である場合、他のコンポーネントのうちの１つ以上から分離され得る。ディスプレイ１６５及びスピーカ１７５が外部コンポーネントである様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む、専用の出力接続を介して提供され得る。

【0036】

実施形態は、プロセッサ１１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実行することができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１２０は、技術的環境に適切な任意のタイプのものとすることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリデバイスなど、任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１１０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。

【0037】

ＣＧＨ及びＤＨは、最初の３Ｄシーンによって放射されたのと全く同じ波面を再形成することによって輻輳－調節競合を解決する。そのために、ホログラムを計算する必要があり、これは、ＣＧＨの平面内のシーンによって放射された波面を計算することによって行われ、これを、再生（ホログラムの照明）に使用される参照光に関連付けることができる。最新の光学では、波面伝搬は、光回折、例えばフーリエ光学を通じてモデル化され、波面の各点は、二次発光源と見なすことができる。

【0038】

したがって、ＣＧＨ合成の１つの主な態様は、３Ｄオブジェクト又はシーンによって（ホログラム）平面に向かって放射された波面を評価することである。ＣＧＨは、異なるアプローチを使用して、任意の形態の３Ｄコンテンツから合成することができる。点群又は積層された３Ｄシーンに基づいて、２つの主要な方法が使用される。

【0039】

ＣＧＨを合成するための様々なアプローチが可能である。例えば、あるアプローチは点群に基づく。別のアプローチは、積層された３Ｄシーンに基づく。

【0040】

点群アプローチは、ホログラムの各画素の照明に対する３Ｄシーンの各点の寄与を計算することを含む。このモデルを使用して、各点は、完璧な球面発光部と見なすか、又はＰｈｏｎｇのモデルを使用して記述することができる。すると、ホログラム平面内の明視野は、各画素について、全ての点の寄与の合計に等しい。このアプローチの複雑さは、シーン内の点の数と画素の数との積に比例し、したがって、これは重要な計算負荷を暗示し、オクルージョンの計算を個別に必要とする。各点及び各画素の合計は、Ｒａｙｌｅｉｇｈ－Ｓｏｍｍｅｒｆｅｌｄ又はＨｕｙｇｅｎｓ－Ｆｒｅｓｎｅｌの式によって記述される。

【0041】

三次元シーンは、３Ｄシーンのスライスと見なされる、層の重ね合わせとして記述することもできる。このパラダイムから、シーンは層の重ね合わせとして記述され、その各々には、シーン内の深度が関連付けられる。３Ｄシーンのこの記述は、回折のフーリエ変換モデルに非常によく適合している。これは、特に角スペクトルのモデルの場合に該当する。ＣＧＨを計算するための層アプローチは、伝搬変換（ＰＴ）内に埋め込まれた高速フーリエ変換アルゴリズム（ＦＦＴ）の使用による低複雑度及び高計算速度の利点を有し、高速での単一層の処理を可能にする。アクティブ画素内のマスクの実装、又はピンポンアルゴリズムを通じてオクルージョンに対処するために、いくつかの技術も設計された。１つのアプローチは、最も遠い層、例えば背景層から始まるシーンを通る光の伝搬をシミュレートすることである。次いで、層間伝搬変換によって、最も遠い層からホログラム平面までの光伝搬が計算される。詳細には、次の層平面Ｎ＋１によって受信された層Ｎによって放射された光が計算され、この層Ｎ＋１の寄与（Ｎ＋１によって放射された光を意味する）が結果に加算される。層Ｎ＋１によって放射された光は、層マスクによって増大する。層Ｎ＋１によって放射された光は、両方の寄与の和に等しい。

【0042】

ＣＧＨの合成のための層ベースの方法は、高速計算方法である。マルチプレーン画像（ＭＰＩ）は、層コンテンツの特定のケースである。ＭＰＩは、ほぼ常にマルチビューシーンから生じる３Ｄシーンの層記述を含むが、コンピュータ生成シーンから取得される可能性もある。ＭＰＩ「フォーマット」は、典型的には、ほんの数例を挙げると、固定解像度（画素単位）画像のセット、及び各画像の深度並びに合成カメラの焦点距離のようなパラメータを収集するメタデータのセットと見なすことができる。図２は、３Ｄオブジェクトがｎ個の層のセットにスライスされ、各画像層Ｉが深度ｚ_ｉに関連付けられる、層ベースの３Ｄシーンの一例を示す。

【0043】

本原理によれば、ＭＰＩ層は、コンピュータ生成ホログラムを生成するように、層ベースのフォーマットで表される３Ｄ画像又は３Ｄビデオコンテンツに適用される。これらの層は、シーンの正投影又は透視投影として表されてもよい。３Ｄシーンにおけるオクルージョンの問題に対処するために、層ベースのコンテンツは、４つのチャネル、すなわち３つのテクスチャＲ、Ｇ、及びＢチャネル、並びにアルファ値に対応する第４のチャネルで構成される。「Ｓｏｆｔ ３ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ」，Ｅ．Ｐｅｎｎｅｒ ａｎｄ Ｌ．Ｚｈａｎｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ Ａｓｉａ，ｖｏｌ．３６，ｎ°６，２０１７，において、マルチプレーン画像（ＭＰＩ）表現は、バイナリではないアルファチャネルを有する透視投影コンテンツとして記載されている。この非バイナリ値はここで、オクルージョンの境界におけるオブジェクト間の滑らかな遷移を有するシーンの異なる視点のレンダリングを可能にするためのものである。非バイナリ値は、所与の層内の所与の画素が存在する確率を記述するのに役立つ。非バイナリ値は、計算されたＣＧＨに対する層の画素の寄与を記述する。

【0044】

本開示の一態様によれば、ＭＰＩからＣＧＨを構築する方法が提供される。本態様の一実施形態によれば、非バイナリアルファチャネルによって提供される情報は、ＣＧＨ計算に組み込まれる。層ｎのそれぞれのアルファパラメータをＣＧＨ計算に組み込むために、いくつかの変形例が可能である。

【0045】

第１の実施形態によれば、ＭＰＩの全ての層は、以下の式を使用して、ホログラム計画に直接伝搬される。
（１）ＣＧＨ（ｘ，ｙ，ｚ）＝Σ_ｌＨ_ｌ（ｘ，ｙ，ｚ_ｌ）
（２）ここで、Ｈ_ｌ（ｘ，ｙ，ｚ_ｌ）＝α（ｘ，ｙ，ｚ_ｌ）^＊Ｈｏｌｏ（ｘ，ｙ，ｚ_ｌ）
ここで、ＣＧＨ（ｘ，ｙ，ｚ）は計算されたホログラムであり、Ｈｏｌｏ（ｘ，ｙ，ｚ_ｌ）はホログラム平面への層Ｉの伝搬の結果であり、α（ｘ，ｙ，ｚ_ｌ）は層ｌの画素（ｘ，ｙ）の非バイナリ確率である。

【0046】

この実施形態によれば、全ての層がホログラム平面に伝搬される。結果的なホログラムは、全ての伝搬層を蓄積することによって取得される（式（１））。

【0047】

第２の実施形態によれば、ＭＰＩの各層は、ホログラム平面に向かって次の層に伝搬される。任意の層ｌ＋１について、この層におけるホログラムは、以下の式によって与えられる。
（３）Ｈ_ｌ＋１（ｘ，ｙ，ｚ_ｌ＋１）＝α（ｘ，ｙ，ｚ_ｌ＋１）×ＲＧＢ_ｌ＋１（ｘ，ｙ，ｚ_ｌ＋１）＋Ｈｏｌｏ_ｌ＋１（ｘ，ｙ，（ｚ_ｌ－ｚ_ｌ＋１））
ここで、Ｈ_ｌ＋１（ｘ，ｙ，ｚ_ｌ＋１）は画素（ｘ，ｙ）の層ｌ＋１におけるホログラムであり、α（ｘ，ｙ，ｚ_ｌ＋１）は層ｌ＋１の画素（ｘ，ｙ）の非バイナリ確率であり、ＲＧＢ_ｌ＋１（ｘ，ｙ，ｚ_ｌ＋１）は層ｌ＋１のテクスチャであり、Ｈｏｌｏ_ｌ＋１（ｘ，ｙ，（ｚ_ｌ－ｚ_ｌ＋１））は層ｌにおけるホログラム層の層ｌ＋１への伝搬である。

【0048】

一般に、シーンがＮｘＮの点で構成され、ＣＧＨがＮｘＮの復号画素のサイズを有する場合、ＣＧＨの計算は、ｏ（Ｎ^４）程度の計算複雑度を必要とする。点群の代わりに、ＣＧＨを生成するために平面画像が使用される場合、計算は、その複雑度がｏ（２Ｎ^２）に低減されるＦＦＴ法を用いて行うことができる。シーンがｎ個の層にスライスされる場合、複雑度は最終的に、点群に基づく方法よりも２桁小さいｎ．ｏ（２Ｎ^２）である。これは、シーンのＭＰＩ表現の重要度を示す。しかし、数学的複雑さにおけるこの莫大な利得があっても、ＭＰＩ層から作られた１つのフレームからの単一フレームＣＧＨの生成は、現代のハードウェア機器では非常に困難である。

【0049】

図３は、上記の第１の実施形態による、ＭＰＩからＣＧＨを決定するための方法３００の一例を示す。図３において、動作は、３０１で、結果層、例えばホログラム層又は平面から最も遠い第１の層、例えば背景層で開始する。３０２において、残りの層の状態がチェックされる。すなわち、３０２におけるチェックは、第１の層以外に考慮すべき追加の層があるか否かを判定する。そうでない場合には（３０２で「いいえ」）、動作は３０３で終了し、第１の層の画像情報に関連付けられた波面が結果層に直接伝搬する。追加の層がある場合には（例えば、３０２で「はい」）、動作は３０４で継続し、現在の層の画像情報に関連付けられた波面の結果層への直接の伝搬が決定される。次いで、３０５において、結果層への層の伝搬は、結果層に伝搬波面を形成するために、結果層における他の層の伝搬に追加又は組み合わされる。３０５の後、３０６において動作は次の層に進み、３０２における残りの層状態のチェックに進む。このように、各層の画像情報に関連付けられた波面は、結果層に直接伝搬され、他の層の寄与と直接組み合わされる。例えば、複数の層の各々から結果層への寄与が、例えば背景層及び１つ以上の中間層などの第１の層について各々決定され、結果を形成するために組み合わされる。実際には、各層の寄与は、結果層に直接伝搬され、結果層に伝搬波面を形成するために、結果層において組み合わされる。

【0050】

この実施形態によれば、ＣＧＨは、上記の第１の実施形態に関連する式によっても説明されるように、単一層変換の累積である。ＣＧＨは、連続する層をＣＧＨに変換することによって更新される。ＭＰＩがｎ個の層を有する場合、これは、ｎ個のＣＧＨが計算されることを意味するが、最後に、これらの全ての累積のみが式１の直線性によって利用可能である。

【0051】

変形例では、この実施形態は平行方式で実施することができ、層は平行にホログラム平面に伝搬される。例えば、一度にｍ個の平面を処理することができる超並列プロセッサ（ＣＰＵ）を使用することができる。したがって、このプロセッサは、一度にｍ個の平面をＣＧＨの平面に伝搬させ、そこで結果が原子的に追加される（これは、ＣＧＨの画素の計算の結果が増分されている限り、それは「ロック」されており、この画素がロックされている限り、別の平面がその寄与を追加することはできないことを意味する。このプロセスは、並列計算中に、いくつかのプロセッサがメモリ内で同時に書き込みすることを回避する）。プロセッサが空きリソースを有するとすぐに、プロセッサ占有率が常に最大かつｍに等しくなるように、計算のために別の平面をプッシュすることができる。

【0052】

図４は、上記の第２の実施形態による、ＣＧＨからＭＰＩを決定するための方法４００の一例を示す。図４において、動作は、４０１で、結果層、例えばホログラム層又は平面から最も遠い第１の層、例えば背景層で開始する。

【0053】

４０２において、残りの層の状態がチェックされる。すなわち、４０２におけるチェックは、現在の層が考慮すべき最後の層であるか否かを判定する。これが該当する場合には（４０２で「はい」）、結果層において伝搬波面を提供するために、４０３で結果層、例えばホログラム平面へのＭＰＩの現在の層の画像情報の伝搬が決定され、４０４で動作が終了する。

【0054】

現在の層が最後の１つではない場合には（例えば、４０２で「いいえ」）、動作は４０５で継続し、次の層への現在の層の伝搬が決定される。例えば、第１の層、例えば背景層から第２の層、例えば第１の層と結果層との間の中間層への伝搬が決定される。４０６において、次の層への伝搬は、次の層と組み合わされ、例えば、次の層に追加される。言い換えると、次のＭＰＩ層の画像情報が、伝搬された現在の層に追加される。

【0055】

次いで、動作は４０８で継続し、最後の層のチェックのための４０２の繰り返し及び次の層への現在の層の伝搬によって、次の層が選択される。このように、結果層で伝搬波面を提供するために、最後の層からの結果的な波面が結果層に伝搬するまで、全ての層が各層から次の層に波面を順次伝搬させたと見なされるまで、４０２から４０８の動作が繰り返される。

【0056】

「ビデオＣＧＨ」の場合、ＭＰＩのシーケンスが考慮されなければならず、これは、ビデオがＭＰＩの複数のフレーム（ｉはフレーム番号を示し、ｉはそのフレーム内の層番号を示す）からなることを意味する。図３及び図４に示されるワークフローは、ビデオＣＧＨの各フレームに適用される必要がある。時刻ｔ_ｉにおいて、第１又は第２の実施形態を使用してＣＧＨが計算され、時刻ｔ_ｉ＋１において、同じプロセスを再度行うことによって次のＣＧＨが計算される。このため、ビデオ又は動的ＣＧＨを計算することは、時間及びリソースを消費する可能性がある。

【0057】

しかしながら、時刻ｔ_ｉのＭＰＩと時刻ｔ_ｉ＋１のＭＰＩとの間では、いくつかの層のみが変化した確率が非常に高い。オブジェクトがあるフレームから次のフレームに移動しているが、例えば背景と前景との間のいくつかの層のみであるシーンの場合には、ｔ_ｉにおけるＭＰＩのいくつかの層は、ｔ_ｉ＋１でも同じままとなる。したがって、これは、動的又はビデオＣＧＨの場合にＣＧＨ決定を改善するために必要である。

【0058】

本開示の一実施形態によれば、図３及び図４に記載された方法は、（最終ＣＧＨだけでなく）各層に対応する各ＣＧＨを追加の前に記憶するために、修正される。そうするために、新しい積層構造がＣＧＨのために定義され、これは以下で多層ＣＧＨと呼ばれる。積層ベースのＣＧＨ構造は、それが決定される各ＭＰＩと同じ数ｎの層を有する。この新しい構造は、画像を含まず、各層に１つのＣＧＨを含む。これは多層ＣＧＨである。

【0059】

図５は、時刻ｔｉにおける各ＭＰＩフレームＭＰＩ（ｔｉ）がｎ個の層Ｌ_{１，．．．，ｎ}（ｔｉ）で構成されることを示す。ＭＰＩ層に対応して、ホログラム層のセットＨ_{１，．．．，ｎ}（ｔｉ）がある。最終ＣＧＨは、ＣＧＨが上記の第１の実施形態から決定されるとき、和：ＣＧＨ（ｔｉ）＝Σ_ｌＨ_ｌ（ｔｉ）である。

【0060】

図６は、別の実施形態による、ＭＰＩからＣＧＨを決定するための方法６００の一例を示す。図６は、ＣＧＨの決定の第１の実施形態の代替的な決定を示し、ＭＰＩ層から、ｎ個の異なるＣＧＨからなるＣＧＨの層（式１からのＨ_ｌ（ｘ，ｙ，ｚ_ｌ））が決定及び記憶される。式１の直線性に起因して、最終ＣＧＨが計算されるのは最後だけであるが、中間計算は依然として利用可能である。

【0061】

図６において、動作は、６０１で、結果層、例えばホログラム層又は平面から最も遠い第１の層、例えば背景層で開始する。６０２において、残りの層の状態がチェックされる。すなわち、６０２におけるチェックは、第１の層以外に考慮すべき追加の層があるか否かを判定する。そうでない場合には（６０２で「いいえ」）、６０３において、多層ＣＧＨの全ての層が結果層に蓄積され、６０４において動作が終了する。追加の層がある場合には（例えば、６０２で「はい」）、動作は６０５で継続し、現在の層の画像情報に関連付けられた波面の結果層への直接の伝搬が決定される。次いで、６０６において、画像層の伝搬から６０５において取得されたＣＧＨ層が記憶される。

【0062】

６０７において、動作は次の層に進み、６０２における残りの層状態のチェックに進む。

【0063】

この実施形態によれば、結果層への画像層の伝搬は多層ＣＧＨの各層について記憶される。

【0064】

一旦全ての画像層が伝搬及び記憶されると、伝搬された画像層は、６０３において結果層に伝搬波面を形成するために、結果層における他の層の伝搬に追加又は組み合わされる。

【0065】

本開示の一実施形態によれば、多層ＣＧＨの各層は、最終ＣＧＨを生成するために使用されるＭＰＩの画像層がホログラム平面に伝搬されるたびに記憶される。したがって、ＭＰＩ層が前のＭＰＩのＭＰＩ層に対して変化していないときに既に計算されたＣＧＨ層を再利用することができるので、計算時間及び演算を節約することができる。

【0066】

図７は、既に決定されたＣＧＨ層を再利用することができる、ＣＧＨを生成するための第１の実施形態の変形例を示す。図７において、各セグメントは層である。図７は、ＭＰＩのためのセグメント（層）のセット及び対応する多層ＣＧＨのための同じ数の層を示し、これは各フレームｔにおけるものである。図７では、フレームｔ_ｉからｔ_ｉ＋Ｉまでのフレームが表されている。ｔ_ｉからｔ_ｉ＋ＩまでのＭＰＩフレームでは、格子縞を有するセグメントは、２つの時間間隔ｔ_ｉからｔ_ｉ＋１までの間に変化しない層を示す。斜めストライプセグメントは、ｔ_ｉからｔ_ｉ＋１までのフレームで何らかの空間変化を有する層を示す。ＣＧＨ層フレームでは、斜めストライプセグメントは、同じ瞬間ｔ_ｉにおいて対応するＭＰＩ層から計算された層を示す。空白セグメントは、参照ＣＧＨ層フレームからｔ_ｉにおけるＣＧＨ層フレームにコピーされた層を示す。

【0067】

一変形例によれば、参照ＣＧＨ層フレームは、時刻ｔ_ｉ－１に決定された前の多層ＣＧＨの対応する層である。別の変形例では、参照ＣＧＨ層フレームは、ビデオ内のイントラピクチャなど、多層ＣＧＨのグループの第１の多層ＣＧＨの対応する層である。

【0068】

ビデオ符号化用語と同様に、時刻ｔ_ｉにおいて、全てのＣＧＨ層Ｈ_ｉを計算する必要がある場合、フレームｔ_ｉはイントラフレームと呼ばれる。例えば、計算されるのは第１のＣＧＨであってもよく、その場合、以前に記憶されたマルチＣＧＨは利用可能ではない。

【0069】

前のフレームとは独立して全ての計算が行われる参照フレームを必要とする理由は、複数ある。
－ＭＰＩの全ての層は、以下の理由により、時刻ｔｉに変化している。
○ビデオの開始である。
○シーンカットがある。
○ズーム又はパンがある。
○何らかの理由で、深度の異なる層を設定することが決定される。
－符号化又は復号化において、フレームを新たにリセットする必要がある。

【0070】

表記Ｈ_ｌ（ｔ_ｉ）＝Ｔ［Ｌ_ｌ（ｔ_ｉ）］が導入される。これは、層ｌ及び層ｔ_ｉにおけるホログラムＨ_ｌｌ（ｔ_ｉ）が、時刻ｔ_ｉにおけるＭＰＩ層ｌ（Ｌ_ｌ）の変換Ｔであることを意味する。特にここでの変換は、ＭＰＩ層の空間画像から対応する層におけるコンピュータ生成ホログラムを取得するために数学的変換が使用されることを意味する。したがって、変換は、Ｒａｌｅｉｇｈ－Ｓｏｍｍｅｒｆｅｌｄ、Ｈｕｙｇｅｎｓ－Ｆｒｅｓｎｅｌ、Ｆｒｅｓｎｅｌ、又はＦｒａｕｎｈｏｆｆｅｒ積分変換、平面波の角スペクトル、Ｈｕｙｇｅｎｓ畳み込み法、二段階Ｆｒｅｓｎｅｌ、又はホログラムを計算するために使用される任意の他の方法であり得る。

【0071】

図８は、図７に示される実施形態による、ＭＰＩのシーケンスからＣＧＨのシーケンスを決定するための方法８００の一例を示す。図８において、動作は、８０１で、ＣＧＨのシーケンスを生成するために使用されるＭＰＩのシーケンスの第１のフレームで開始する。８０２において、現在のフレームが参照フレームであるか否かが判定される。現在のフレームが第１のフレームであるとき、予以前に記憶された多層ＣＧＨはないので、第１のフレームは、常に参照フレームである。

【0072】

現在のフレームが参照フレームであるとき（８０２で「はい」）、多層ＣＧＨの全ての層が計算されなければならず、次いで、動作は８０３で継続し、図６で説明された方法６００のステップが、現在のＭＰＩフレームを入力として実行される。次いで、８０４において、動作は次のフレームに進み、８０５において、処理すべき残りのフレームがあるか否かが判定される。そうでない場合には（８０５で「いいえ」）、８１３で動作が終了する。

【0073】

処理すべき残りのフレームがある場合には（８０５で「はい」）、動作は８０２で継続し、現在のフレームが参照フレームであるか否かをチェックする。

【0074】

そうでない場合（８０２で「いいえ」）、現在のＭＰＩからのＣＧＨの生成は、８０６で、結果層、例えばホログラム層又は平面から最も遠い第１の層、例えば背景層で開始する。８０７において、残りの層の状態がチェックされる。すなわち、８０７におけるチェックは、第１の層以外に考慮すべき追加の層があるか否かを判定する。そうでない場合には（８０７で「いいえ」）、８０８において、多層ＣＧＨの全ての層が結果層に蓄積され、８０４において動作次のフレームに続く。

【0075】

追加の層がある場合には（例えば、８０７で「はい」）、動作は８０９で継続し、現在のＭＰＩの現在の層が参照ＭＰＩの対応する層に対して変化したか否かが判定される。そうでない場合には（８０９で「いいえ」）、８１０において、多層ＣＧＨの現在の層は、以前に決定されている、参照多層ＣＧＨの対応する層に設定される。言い換えると、参照多層ＣＧＨの対応する層は、多層ＣＧＨの現在の層にコピーされる。

【0076】

現在のＭＰＩの現在の層が参照ＭＰＩの対応する層に対して変化している場合（８０９で「はい」）、８１１において、現在の層の画像情報に関連付けられた波面の結果層への直接的な伝搬が決定される。

【0077】

次いで、８１１又は８１０の後、８１２において動作は次の層に進み、８０７における残りの層状態のチェックに進む。

【0078】

実施形態によれば、ＭＰＩの層が参照ＭＰＩの対応する層に対して変化していない場合、多層ＣＧＨの対応する層は計算されず、参照多層ＣＧＨの以前に計算された層から取得される。

【0079】

現在の層の対応する層は、ここでは、現在の層と同じ深度に関連付けられた層として理解されるべきである。

【0080】

以下に、図８を用いて説明された実施形態の別の変形例を実行するアルゴリズムの一例を示す。

【0081】

アルゴリズム：

【0082】

【表1】

【0083】

この変形例では、「ＣＧＨフレームを計算？」テストは、ＣＧＨの現在のフレームが式（１）から計算される必要があるか否かをチェックする。以前に記憶された多層ＣＧＨが既にある場合、又は現在のフレームがリフレッシュフレームではない場合には、その層が前のＭＰＩフレームの対応する層に対して変化しているか否かが、現在のＭＰＩの各層についてチェックされる。

【0084】

この変形例によれば、参照フレームは、シーケンス内の前のフレームである。現在のフレームのＭＰＩ層が参照フレームの対応する層に対して変化しているとき、ＣＧＨ層は式（１）から決定され、参照ＣＧＨ層として将来の使用のために記憶される。この変形例は、８１１の後に、８１１で伝搬された現在の層が参照として詳細の使用のために記憶される追加のステップ（図８には図示せず）と共に、図８で説明された方法ステップで実施することができる。

【0085】

非常に貪欲な変換Ｔは、各フレームで変化した層にのみ適用されるので、膨大な量の時間が節約されることがわかる。

【0086】

瞬間ｔ_ｉ及びｔ_ｉ＋１におけるＭＰＩ層は、厳密な意味で等しい必要がないことに留意されたい。例えば、使用されるメトリックが何であれ、瞬間ｔ_ｉ及びｔ_ｉ＋１における層の両方の発生の間の類似性を計算することができ、その結果を所定の値に対してテストすることができる。

【0087】

層の数を結果として得ることができるので、利得も得ることができる。当然ながら、ズーム及びパンのようないくつかの撮影操作は、計算の数においていかなる経済性も生じさせないが、任意の立体視覚体験と同様に、３Ｄ劇場投影からの蓄積された知識は、このタイプのコンテンツでは、これらの種類の撮影を節約して使用することが最良であることを語り手に示しており、観客は、追加された第３の次元の全潜在能力を使用するためにシーンを調査する時間を必要とする。

【0088】

図９は、別の実施形態による、ＭＰＩからＣＧＨを決定するための方法９００の一例を示す。図９は、ＭＰＩの層が次の層の平面に伝搬されるＣＧＨの決定の第２の実施形態の代替的な決定を示す。この実施形態によれば、伝搬層が記憶される。

【0089】

図９において、動作は、９０１で、結果層、例えばホログラム層又は平面から最も遠い第１の層、例えば背景層で開始する。９０２において、残りの層の状態がチェックされる。すなわち、９０２におけるチェックは、現在の層が考慮すべき最後の層であるか否かを判定する。これが該当する場合には（９０２で「はい」）、結果層において伝搬波面を提供するために、９０３で結果層、例えばホログラム平面への現在の層の伝搬が決定され、９０４で動作が終了する。

【0090】

現在の層が最後の１つではない場合には（例えば、９０２で「いいえ」）、動作は９０５で継続し、次の層への現在の層の伝搬が決定される。例えば、第１の層、例えば背景層から第２の層、例えば第１の層と結果層との間の中間層への伝搬が決定される。９０６において、伝搬層は、積層ＣＧＨ行列、すなわち多層ＣＧＨ内に記憶される。

【0091】

９０７において、次の層への伝搬は、次の層と組み合わされ、例えば、次の層に追加される。言い換えると、次のＭＰＩ層の画像情報が、伝搬された現在の層に追加される。

【0092】

次いで、動作は９０８で継続し、最後の層のチェックのための９０２の繰り返し及び次の層への現在の層の伝搬によって、次の層が選択される。このように、結果層で伝搬波面を提供するために、最後の層からの結果的な波面が結果層に伝搬するまで、全ての層が各層から次の層に波面を順次伝搬させたと見なされるまで、９０２から９０８の動作が繰り返される。

【0093】

図１０は、既に決定されたＣＧＨ層を再利用することができる、ＣＧＨを生成するための第２の実施形態の変形例を示す。しかしながら、この実施形態によれば、ＭＰＩ層は、ホログラム平面上で直接ではなくＭＰＩの次の層に伝搬されるので、１つの層がＭＰＩ内で変化してしまうとすぐに、その層からＣＧＨ平面への残りの全ての層の変換Ｔが計算されなければならない。

【0094】

各セグメントは層である。ＭＰＩフレームｉからｉ＋Ｉについて、格子縞を有するセグメントは、２つの時間間隔ｉとｉ＋ｌとの間で変化しない層を示す。斜めストライプセグメントは、フレームｉからフレームｉ＋１への何らかの空間変化を有する層を示す。ＣＧＨ層フレームでは、斜めストライプセグメントは、同じ瞬間ｔ_ｉにおいて対応するＭＰＩ層から計算された層を示す。空白セグメントは、前のＣＧＨ層フレームｉ－１からＣＧＨ層フレームｉにコピーされた層を示す。

【0095】

図１０からわかるように、伝搬は、ＭＰＩの最も遠い層から連続的である（最大深度層は層スタックの底部にある）。この実施形態の式（３）から、ＣＧＨ平面から最も遠いＭＰＩ層ｌは、最初に変換され、層ｌ＋１に伝搬され、そこで、ｌ＋２に再び伝搬される前に、ＲＧＢ画像によって増大され、以下同様にＣＧＨ平面まで行われる。これは、フレームｉとｉ＋１との間でＭＰＩの１つの層ｘが変化した場合、ｘの前のＣＧＨ層（ｎを含むものからｘを含まないものまでの［ｎ，ｘ［）のみが、ＣＧＨフレームｉから変化することなくコピーされることを意味する。［ｘ，１］からの全ての層が計算されなければならない。

【0096】

ＣＧＨを生成するための第１の実施形態では、層の寄与がＣＧＨの平面内で計算され、ＣＧＨを生成するための第２の実施形態では、各層がＣＧＨ平面内ではなく、ＣＧＨ平面の方向で並んだ次の層の平面内に寄与を有することに留意されたい。すると、このような伝搬は、静止層の「チェーン」と見なすことができ、これは任意の変化する層によって破壊される。チェーンのいずれかのリンクが交換される（すなわち、層が変化する）場合、リンク（含まれる）とＣＧＨ平面との間のチェーンの全ての部分が交換される（すなわち、この層からの伝搬が、最後の静止層の寄与から再度全て計算される）。

【0097】

図１１は、図１０に示される実施形態による、ＭＰＩのシーケンスからＣＧＨのシーケンスを決定するための方法１１００の一例を示す。図１１において、動作は、１１０１で、ＣＧＨのシーケンスを生成するために使用されるＭＰＩのシーケンスの第１のフレームで開始する。１１０２において、現在のフレームが参照フレームであるか否かが判定される。現在のフレームが第１のフレームであるとき、予以前に記憶された多層ＣＧＨはないので、第１のフレームは、常に参照フレームである。

【0098】

現在のフレームが参照フレームであるとき（１１０２で「はい」）、多層ＣＧＨの全ての層が計算されなければならず、次いで、動作は１１０３で継続し、図９で説明された方法９００のステップが、現在のＭＰＩフレームを入力として実行される。次いで、１１０４において、動作は次のフレームに進み、１１０５において、処理すべき残りのフレームがあるか否かが判定される。そうでない場合には（１１０５で「いいえ」）、１１１３で動作が終了する。

【0099】

処理すべき残りのフレームがある場合には（１１０５で「はい」）、動作は１１０２で継続し、現在のフレームが参照フレームであるか否かをチェックする。

【0100】

そうでない場合（１１０２で「いいえ」）、現在のＭＰＩからのＣＧＨの生成は、１１０６で、結果層、例えばホログラム層又は平面から最も遠い第１の層、例えば背景層で開始する。

【0101】

１１０７において、残りの層の状態がチェックされる。すなわち、１１０７におけるチェックは、現在の層が考慮すべき現在のＭＰＩフレームの最後の層であるか否かを判定する。これが該当する場合には（１１０７で「はい」）、結果層において伝搬波面を提供するために、１１０８で結果層、例えばホログラム平面への現在の層の伝搬が決定され、動作は１１０４で次のフレームに続く。

【0102】

現在の層が最後の層ではない場合には（例えば、１１０２で「いいえ」）、動作は１１０９で継続し、現在のＭＰＩの現在の層又は現在のＭＰＩの前の層が参照ＭＰＩの対応する層に対して変化したか否かが判定される。そうでない場合には（１１０９で「いいえ」）、１１１０において、多層ＣＧＨの現在の層は、以前に決定及び記憶されている、参照多層ＣＧＨの対応する層に設定される。言い換えると、参照多層ＣＧＨの対応する層は、多層ＣＧＨの現在の層にコピーされる。

【0103】

現在のＭＰＩの現在の層又は現在のＭＰＩの前の層が参照ＭＰＩの対応する層に対して変化している場合（１１０９で「はい」）、１１１１において、現在の層から次の層への伝搬が決定される。１１１２において、次の層への伝搬は、次の層と組み合わされ、例えば、次の層に追加される。言い換えると、次のＭＰＩ層の画像情報が、伝搬された現在の層に追加される。

【0104】

次いで、１１１２又は１１１０の後、１１１３において動作は次の層に進み、１１０７における残りの層状態のチェックに進む。

【0105】

上記の実施形態によれば、ＭＰＩの現在の層及び全ての前の層が参照ＭＰＩのそれらの対応する層に対して変化していないとき、多層ＣＧＨの現在の層は計算されず、参照多層ＣＧＨの以前に計算された層から取得される。

【0106】

以下に、上記の実施形態を実行するアルゴリズムの一例を示す。

【0107】

【表2】

【0108】

この変形例では、「ＣＧＨフレームを計算？」テストは、ＣＧＨの現在のフレームが式（３）から計算される必要があるか否かをチェックする。以前に記憶された多層ＣＧＨが既にある場合、又は現在のフレームがリフレッシュフレームではない場合には、現在の層又は前の層が前のＭＰＩフレームの対応する層に対して変化しているか否かが、現在のＭＰＩの各層についてチェックされる。

【0109】

この変形例によれば、参照フレームは、シーケンス内の前のフレームである。現在のフレームの現在のＭＰＩ層又は前の層が参照フレームのその対応する層に対して変化しているとき、ＣＧＨ層は式（３）から決定され、現在の層上の前の層の伝搬は、参照ＣＧＨ層として将来の使用のために記憶される。

【0110】

この変形例は、１１１１の後及び１１１２の前に、１１１１で伝搬された現在の層が参照として詳細の使用のために記憶される追加のステップ（図１１には図示せず）と共に、図１１で説明された方法ステップで実施することができる。

【0111】

その実施形態でも、瞬間ｔ_ｉ及びｔ_ｉ＋１におけるＭＰＩ層は、厳密な意味で等しい必要がない。第１の実施形態と同様に、瞬間ｔ_ｉ及びｔ_ｉ＋１の連続発生の間の類似性基準を計算することができ、その結果を例えば所定の閾値に対してテストすることができる。

【0112】

ここで注意すべきことは、ｆｏｒループは最後の層ｎで始まり、層ｎから層１までの層に進むことである。１つ目は、ＣＧＨ最終平面ＣＧＨ（ｔ_ｉ＋１）＝Ｔ［Ｈ_ｌ（ｔ_ｉ＋１）］に伝播される。加算は、層が最後から第１の層に伝搬される間に行われる。

【0113】

上記の実施形態では、ＣＧＨはＭＰＩコンテンツから決定されており、隣接するフレームのＭＰＩの層間の差が予測され、ＣＧＨ決定における適切な簡略化が実行される。

【0114】

一実施形態によれば、ＭＰＩのシーケンスからＣＧＨのシーケンスを生成するための上記の実施形態は、３ＤシーンがＭＰＩのセットとしてネットワークを通じて送信され、ＣＧＨのシーケンスが送信及び復号されたＭＰＩのセットから再構成される送信システムにおいて使用することができる。一変形例によれば、ＭＰＩのセットは、以下のＭＩＶ圧縮方式（ＭＤＳ２０００１＿ＷＧ０４＿Ｎ０００４９，Ｔｅｘｔ ｏｆ ＩＳＯ／ＩＥＣ ＤＩＳ ２３０９０－１２ ＭＰＥＧ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ）に従って圧縮される。

【0115】

この場合、ＭＰＩはそのまま送信されるのではなく、パッチベースのコンテンツに変換される。各層は、パッチのセットに変換される。層は、この層に属する全てのパッチが静的（参照フレームの対応する層の対応するパッチに対して変化しない）であれば、静的（参照フレームの対応する層に対して変化しない）であると考えられる。

【0116】

ＭＩＶ技術の最初のユースケースでは、デコーダ側で、所与のビューポートのビュー合成のみが予測された。圧縮プロセスの入力であり得るＭＰＩ構造は、復号側でレンダリングされるとは想定されない。反対に、ＣＧＨアプリケーションの場合、ＭＰＩは、上述のように、異なる変換を適用するために再構成されなければならない。コンテンツに基づいて計算量を制限するという考えは、有効なままである。連続するフレーム間で変化していない層がわかっている場合、ＭＰＩ全体を再構成しないことが可能である。再構成を簡略化するために、送信前に、連続するフレーム間で所与の層が変化したか否かが判定される。使用されるメトリックが何であれ、瞬間ｔ_ｉ及びｔ_ｉ＋１における層の両方の発生の間の類似性を計算することができ、その結果を決定された値に対してテストすることができる。

【0117】

次いで、これが変化する層であるか否かを示すバイナリ情報を各フレームの各層に関連付けることによって、メタデータのセットが構築される。このメタデータストリームは、ＭＩＶコンテンツと共に送信される。復号側では、これらのメタデータに基づいて、層の全てのパッチが変化しないパッチであるとマークされている場合には、対応する層は変化していない。変化しない層としてマークされた層は、再構成されない。関連するＣＧＨ層は、前のフレームの対応するＣＧＨ層から直接コピーされる。

【0118】

この実施形態によれば、フレームの現在の層、又は現在の層の任意の前の層が参照フレームの対応するものに対して変化したか否かのチェック（それぞれ図８及び図１１のステップ８０９、１１０９）は、現在の層が変化したか否かを示す送信された項目に基づいて実行される。

【0119】

この実施形態のいくつかの変形例を以下に記載する。以下の実施形態は、コンピュータ生成ホログラムを使用してレンダリングされた３Ｄシーンの場合について記載されるが、これらの実施形態は、任意の他の３Ｄシーンレンダリングに適用することができ、コンピュータ生成ホログラムに限定されないことに留意されたい。以下でわかるように、以下に記載される方法及びシステムは、一般的な方法で任意の３Ｄシーン表現に適用することができる。

【0120】

図１２は、３Ｄシーンのシーケンスを表すデータの符号化、送信及び復号化の非限定的な例を示す。例えば、同時に、３ＤｏＦ、３ＤｏＦ＋及び６ＤｏＦ復号化に適合することができる符号化形式。

【0121】

３Ｄシーン１２００のシーケンスが取得される。写真のシーケンスが２Ｄビデオであるとき、３Ｄシーンのシーケンスは３Ｄ（立体とも呼ばれる）ビデオである。３Ｄシーンのシーケンスは、３ＤｏＦ、３Ｄｏｆ＋又は６ＤｏＦレンダリング及び表示のための立体ビデオレンダリングデバイスに提供され得る。

【0122】

３Ｄシーン１２００のシーケンスは、エンコーダ１２０１に提供される。エンコーダ１２０１は、入力として１つの３Ｄシーン又は３Ｄシーンのシーケンスを取り、入力を表すビットストリームを提供する。ビットストリームは、メモリ１２０２内に、及び／又は電子データ媒体上に記憶されてもよく、ネットワーク１２０２を介して送信されてもよい。３Ｄシーンのシーケンスを表すビットストリームは、メモリ１２０２から読み取られてもよく、及び／又はデコーダ１２０３によってネットワーク１２０２から受信されてもよい。デコーダ１２０３は、当該ビットストリームによって入力され、例えば、点群フォーマットで３Ｄシーンのシーケンスを提供する。

【0123】

エンコーダ１２０１は、いくつかのステップを実施するいくつかの回路を備え得る。第１のステップでは、エンコーダ１２０１は、各３Ｄシーンを少なくとも１つの２Ｄ写真に投影する。３Ｄ投影は、三次元点を二次元平面にマッピングする任意の方法である。グラフィックデータを表示するための最新の方法は、平面（いくつかのビット平面からの画素情報）二次元媒体に基づいているため、このタイプの投影の使用は、特にコンピュータグラフィック、操作及びドラフト化において広範囲に及ぶ。投影回路１２１１は、シーケンス１２００の３Ｄシーンのための少なくとも１つの二次元フレーム１２１５を提供する。フレーム１２１５は、フレーム１２１５上に投影された３Ｄシーンを表す色情報及び深度情報を含む。変形例では、色情報及び深度情報は、２つの別個のフレーム１２１５及び１２１６において符号化される。

【0124】

メタデータ１２１２は、投影回路１２１１によって使用及び更新される。メタデータ１２１２は、投影動作（例えば、投影パラメータ）並びに色及び深度情報がフレーム１２１５及び１２１６内で編成される方法に関する情報を含む。

【0125】

ビデオ符号化回路１２１３は、フレーム１２１５及び１２１６のシーケンスをビデオとして符号化する。３Ｄシーン１２１５及び１２１６の写真（又は３Ｄシーンの写真のシーケンス）は、ビデオエンコーダ１２１３によってストリーム内で符号化される。次いで、ビデオデータ及びメタデータ１２１２は、データカプセル化回路１２１４によってデータストリーム内でカプセル化される。

【0126】

エンコーダ１２１３は、例えば、
－ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ １０９１８－１ ＵＩＴ－Ｔ推奨Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｔ．８１／ｅｎ、
－ＭＰＥＧ－４ ＡＶＣ又はｈ２６４とも呼ばれるＡＶＣ。ＵＩＴ－ＴＨ．２６４及びＩＳＯ／ＣＥＩ ＭＰＥＧ－４－Ｐａｒｔ １０（ＩＳＯ／ＣＥＩ１４４９６－１０）の両方で規定される、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６４／ｅｎ，ＨＥＶＣ（その仕様は、ＩＴＵウェブサイト、Ｔ推奨、Ｈ系列、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎで見出される）、
－３Ｄ－ＨＥＶＣ（仕様がＩＴＵウェブサイト、Ｔ推奨、Ｈ系列、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ ａｎｎｅｘ Ｇ ａｎｄ Ｉで見出されるＨＥＶＣの拡張子）、
－Ｇｏｏｇｌｅによって開発されたＶＰ９、又は
－Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＶ１（ＡＯ媒体ビデオ１）
などのエンコーダに準拠する。

【0127】

データストリームは、デコーダ１２０３によって、例えばネットワーク１２０２を介してアクセス可能なメモリに記憶される。デコーダ１２０３は、復号の異なるステップを実施する異なる回路を備える。デコーダ１２０３は、エンコーダ１２０１によって生成されたデータストリームを入力として取り、ヘッドマウントデバイス（ＨＭＤ）又はホログラフィックディスプレイのような立体ビデオ表示デバイスによってレンダリング及び表示される３Ｄシーン１２０４のシーケンスを提供する。ホログラフィックディスプレイの場合、デコーダ又は復号されたコンテンツからＣＧＨを決定又は計算する追加のモジュールによって実行される表示の前に、もう１つのステップがある。デコーダ１２０３は、ソース１２０２からストリームを取得する。例えば、ソース１２０２は、
－例えば、ビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（又は読み取り専用メモリ）、ハードディスクなどのローカルメモリと、
－例えば、質量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク又は磁気サポートとのインターフェースなどのストレージインターフェースと、
－例えば、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）などの通信インターフェースと、
－ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェースと、
を含むセットに属する。

【0128】

デコーダ１２０３は、データストリーム内で符号化されたデータを抽出するための回路１２３４を備える。回路１２３４は、データストリームを入力として取り、ストリーム及び二次元ビデオにおいて符号化されたメタデータ１２１２に対応するメタデータ１２３２を提供する。ビデオは、フレームのシーケンスを提供するビデオデコーダ１２３３によって復号される。復号化されたフレームは、色及び深度情報を含む。変形例では、ビデオデコーダ１２３３は、一方が色情報を含み、他方が深度情報を含む、２つのフレームのシーケンスを提供する。回路１２３１は、復号されたフレームからの色及び深度情報を投影せず、３Ｄシーン１２０４のシーケンスを提供するために、メタデータ１２３２を使用する。ホログラフィックコンテンツの場合、回路１２３１は、上記の実施形態のいずれか１つに従って、復号されたコンテンツ（色及び最終的には深度）から計算されたＣＧＨを使用する。３Ｄシーン１２０４のシーケンスは、３Ｄシーン１２００のシーケンスに対応し、２Ｄビデオとしての符号化及びビデオ圧縮に関する精度を失う可能性がある。

【0129】

図１３は、立体シーンを表すＭＰＩベースのアトラスの構造を示す。マルチプレーン画像（ＭＰＩ）は、各層が実際にシーンの３Ｄ空間のスライスである立体シーンの積層表現である。各スライスは、基礎となる中心投影（例えば、透視、球面、．．．）及び層間間隔を定義するサンプリング法則に従ってサンプリングされる。層は、シーンの任意の３Ｄ交差オブジェクトのテクスチャ（すなわち色情報）並びに透明度情報を含む。このスライスされた表現から、基礎となる投影の中心の周りの限られた領域内に位置する任意の視点を復元／合成することが可能である。これは、最も近い層から始まって最も遠い層へと各層を適切な重み（すなわち透明度）と混合する効率的なアルゴリズム（例えば、「逆」画家のアルゴリズム）を利用して実行することができる。このような技術は、他の既知のビュー合成プロセスよりもはるかに高速に実行し得る。ＭＰＩは、テクスチャ及び透明度パッチアトラス画像をそれぞれ符号化する２つのビデオビットストリームとして搬送され得る。各パッチの深度（すなわち３Ｄシーンの投影点と投影表面又は投影中心との間の距離に対応する形状データ）は（ＭＰＩ符号化の原理のため）一定であり、例えば、アトラス情報データストリームで、及び／又はデータストリームのうちの１つのメタデータで、又は異なるトラック内のアトラスの２つのシーケンスを符号化する１つのデータストリームのメタデータでシグナリングされてもよい。以下は、アトラス内の空間位置ｐｄｕ＿２ｄ＿ｐｏｓ＿ｘ，ｐｄｕ＿２ｄ＿ｐｏｓ＿ｙに位置するパッチｐの深度（ｐｄｕ＿ｄｅｐｔｈ＿ｓｔａｒｔ）をシグナリングするためのシンタックスの一例である。

【0130】

【表3】

【0131】

図１４は、本原理の一実施形態による３Ｄシーンを表すＭＰＩのシーケンスを符号化するための方法１４００のブロック図を示す。

【0132】

符号化すべきＭＰＩのシーケンスがプロセスに入力される。１４０１において、以前に復号されたＭＰＩが参照ＭＰＩとして使用するために記憶されているか否かが判定される。参照ＭＰＩが記憶されていない場合には、動作は１４０４で継続し、現在のＭＰＩはビットストリームで符号化される（１４０４）。ＭＰＩを符号化するための一実施形態の一例が、図１７を参照して以下に記載される。１４０５において、ＭＰＩに関連付けられたメタデータは、当該ビットストリームに、又は別個のビットストリームで符号化される。次いで、符号化されたＭＰＩは復号され、参照ＭＰＩとして将来使用するために記憶される（１４０６）。

【0133】

１４０１において、参照ＭＰＩがメモリに記憶されていると判定された場合、動作は１４０２で継続する。１４０２において、符号化すべき現在のＭＰＩの現在の層が、以前に記憶された参照ＭＰＩの対応する層に対して変化したか否かが判定される。参照ＭＰＩの対応する層は、現在のＭＰＩの現在の層と同じ深度を有する層である。ステップ１４０２は、ＭＰＩの全ての層に対して実行される。

【0134】

一実施形態によれば、現在のＭＰＩの層が参照ＭＰＩの対応する層に対して変化したか否かを判定することは、現在の層と対応する層との間で決定された類似性メトリックに基づく。例えば、層の２つの画像の間の距離を計算し、ある値に対してテストすることができる。距離が値を下回る場合、現在の層は参照ＭＰＩの対応する層に対して変化していないと判定される。

【0135】

次いで、現在のＭＰＩが符号化され（１４０４）、現在のＭＰＩに関連付けられたメタデータが符号化される（１４０５）。

【0136】

一実施形態によれば、１４０５において、現在のＭＰＩの層の各々について、層が参照ＭＰＩの対応する層に対して変化したか否かを示すインジケータが、メタデータで符号化される。この実施形態によれば、層が参照ＭＰＩの対応する層に対して変化していなかったとしても、層はビットストリームで符号化される。

【0137】

一変形例によれば、インジケータは、層ベースのデータと共にビットストリームで符号化される。

【0138】

別の変形例によれば、ＭＰＩはそのまま送信されるのではなく、プルーニングされてパッチベースのコンテンツに変換される。各層は、パッチのセットに変換される。この変形例によれば、インジケータはパッチレベルで、すなわちパッチデータで符号化される。

【0139】

現在のＭＰＩは復号され、参照ＭＰＩとして将来使用するために（１４０６において）メモリに記憶される。１４０７において、シーケンスの全てのＭＰＩが処理されたか否かがチェックされる。符号化すべきＭＰＩがもうない場合、動作は終了し、そうでなければ動作は１４０１で継続する。

【0140】

本原理の一実施形態によれば、ＭＰＩは、Ｖ３Ｃ／ＭＩＶ仕様に従って符号化される。この実施形態によれば、以下のように、アトラスフレームパラメータセットＭＩＶ拡張シンタックスにフラグが追加される。（追加されたシンタックス要素は下線が引かれている）

【0141】

【表4】

【0142】

追加されたフラグ「ａｆｍｅ＿Ｓｔａｔｉｃ＿ｐａｔｃｈ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、例えば３２ビットで符号化されたインジケータ（Ｓｔａｔｉｃ＿ｐａｔｃｈと呼ばれる）の定義を可能にし、次の３２フレームについて、対応するパッチが参照ビューに対して静的（すなわち変化していない）であるか否かを示すバイナリ値を与える。例えば、値＝１はパッチが変化していないことを示し、値＝０はパッチが変化したことを示す）。Ｓｔａｔｉｃ＿ｐａｔｃｈ値は、以下に示されるパッチデータユニットＭＩＶ拡張シンタックスで与えられる。この値は、次の３２フレームにわたって、又は次のパッチデータまで有効である。

【0143】

【表5】

【0144】

別の実施形態では、層が参照ＭＰＩの対応する層に対して変化したか否かを示すインジケータは、ＭＰＩ構造を記述し、ＭＰＩの各層について層が新しいかどうかをフレームごとに示す、ＭＰＩ層グリッド記述情報を使用して送信される。

【0145】

上記の実施形態では、ＭＰＩ全体がＣＧＨ決定に利用可能である。ＭＰＩ全体をフレームごとに分散させることを可能にする、ＭＰＩ分散段階が追加される。

【0146】

別の実施形態によれば、ＭＰＩがネットワークを通じて送信され、ＭＰＩベースの符号化方式に従って圧縮される場合が考えられるが、送信されたＭＰＩは全ての層を含むのではなく、新しい／更新された層のみを含む。

【0147】

このようなアーキテクチャを維持するために、ＭＰＩ層アレイを記述し、送信されたＭＰＩが各層を含むか否かをフレームごとに示すためのメタデータフォーマットが使用される。このメタデータストリームは、ＭＰＩコンテンツと共に送信される。復号側では、受信された全ての新しい層が復号及び再構成され、上記の実施形態のいずれか１つを使用して、ＣＧＨ全体が再構成される。

【0148】

言い換えると、現在のＭＰＩについて、層が参照ＭＰＩの対応する層に対して変化していないと判定されたとき、この層はビットストリームで符号化されない。

【0149】

ＭＰＩがパッチベースで符号化される変形例では、エンコーダがパッチのみを操作して層を操作しないので、所与のパッチの存在のメタデータがフレームごとに送信される。

【0150】

このメタデータストリームは、ＭＰＩコンテンツと共に送信される。

【0151】

上記と同様の方法で、Ｖ３Ｃ／ＭＩＶ仕様のセクション８．２．１．４及び８．２．１．７は以下のように修正され、フラグａｆｍｅ＿Ｐｒｅｓｅｎｃｅ＿ｐａｔｃｈ ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びデータＰｒｅｓｅｎｃｅ ＿ｐａｔｃｈをパッチごとに導入する。

【0152】

【表6】

【0153】

【表7】

【0154】

この実施形態によれば、インジケータＰｒｅｓｅｎｃｅ＿ｐａｔｃｈは、パッチが属する層が参照ＭＰＩの対応する層に対して変化したか否かを示すインジケータとして解釈することができる。ＭＰＩの層についてパッチが存在しない場合、層は参照ＭＰＩの対応する層に対して変化していないと見なすことができる。

【0155】

同様に、インジケータＰｒｅｓｅｎｃｅ＿ｐａｔｃｈは、パッチが参照ＭＰＩの対応する層の対応するパッチに対して変化したか否かを示すインジケータとして解釈することができる。

【0156】

図１５は、データがパケットベースの送信プロトコルを介して送信されるときのストリームのシンタックスの一実施形態の一例を示す。図１５は、立体ビデオストリームの例示的な構造１５０を示す。構造は、シンタックスの独立した要素においてストリームを編成する容器からなる。構造は、ストリームの全てのシンタックス要素に共通のデータのセットであるヘッダ部分１５１を含み得る。例えば、ヘッダ部分は、シンタックス要素に関するメタデータのいくつかを含み、それらの各々の性質及び役割を説明する。ヘッダ部分はまた、図１２のメタデータ１２１２の一部、例えば、３Ｄシーンの点をフレーム１２１５及び１２１６上に投影するために使用される中心視点の座標を含み得る。構造は、シンタックス１５２の要素と、シンタックス１５３の少なくとも１つの要素とを含むペイロードを含む。シンタックス要素１５２は、色及び深度フレームを表すデータを含む。画像は、ビデオ圧縮方法に従って圧縮されている場合がある。

【0157】

シンタックス１５３の要素は、データストリームのペイロードの一部であり、シンタックス１５２の要素のフレームがどのように符号化されるかについてのメタデータ、例えば、３Ｄシーンの点をフレーム上に投影するか、パッキングするために使用されるパラメータを含み得る。そのようなメタデータは、ビデオの各フレーム又は（ビデオ圧縮標準において写真のグループ（Group of Pictures、ＧｏＰ）としても既知である）フレームのグループと関連付けられ得る。

【0158】

いくつかの実施形態によれば、メタデータ１５３は、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層が参照多平面画像の対応する層に対して変化したか否かを示すインジケータを含む。

【0159】

別の実施形態によれば、メタデータ１５３は、少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、少なくとも１つの層がビットストリーム、すなわちビデオデータ１５２内に存在するか否かを示すインジケータを含む。

【0160】

図１６は、４つの投影中心の一例を有するパッチアトラスアプローチを示す。３Ｄシーン１６０は、特徴を含む。例えば、投影中心１６１は遠近投影カメラであり、カメラ１６３は正投影カメラである。カメラはまた、例えば、球形マッピング（例えば、正距円筒図法マッピング）又は立方体マッピングを有する全方向カメラであり得る。３Ｄシーンの３Ｄ点は、メタデータの投影データに記載された投影動作に従って、投影中心に位置する仮想カメラに関連付けられた２Ｄ平面上に投影される。図１６の例では、カメラ１６１によって捕捉された点の投影は、遠近法マッピングに従ってパッチ１６２上にマッピングされ、カメラ１６３によって捕捉された点の投影は、直交マッピングに従ってパッチ１６４上にマッピングされる。

【0161】

投影された画素のクラスタリングは複数の２Ｄパッチをもたらし、これらは長方形のアトラス１６５にパッキングされる。アトラス内のパッチの組織は、アトラスレイアウトを定義する。一実施形態では、同一のレイアウトを有する２つのアトラス：１つはテクスチャ（すなわち、色）情報のためのものであり、１つは奥行き情報のためのもの。同じカメラ又は２つの別個のカメラによって捕捉された２つのパッチは、例えば、パッチ１６４及び１６６のような３Ｄシーンの同じ部分を表す情報を含み得る。

【0162】

パッキング動作は、生成されたパッチごとにパッチデータを生成する。パッチデータは、投影データの参照（例えば、投影データのテーブル内のインデックス又は投影データへのポインタ（メモリ又はデータストリーム内のアドレス））及びアトラス内のパッチの場所及びサイズを説明する情報（例えば、ピクセルの上部左角座標、サイズ、及び幅）を説明する情報を含む。パッチデータ項目は、１つ又は２つのアトラスの圧縮データと関連付けられてデータストリーム内でカプセル化されるメタデータに追加される。

【0163】

図１７は、本原理の一実施形態によるＭＰＩベースの３Ｄシーンを符号化するための方法１７０のブロック図を示す。ステップ１７１において、マルチプレーン画像として表される３Ｄシーンが取得される。パッチ画像は、ＭＰＩ表現の異なる層から抽出される。パッチは、いずれかのテクスチャパッチである（すなわち、透明度値を含む色値）。ステップ１７２において、これらのパッチはアトラスにパッキングされる。一変形例では、テクスチャパッチは透明度値を含まず、対応する透明度パッチが取得される。別の実施形態では、パッチは、それらの性質（すなわちテクスチャ又は色、透明度、深度．．．）に従って別個のアトラスにパックされる。ステップ１７２では、表現の要素をシグナリングするためにメタデータが構築される。一変形例によれば、ＭＰＩ表現の深度層の数が、メタデータ内のビューレベルで符号化される。ステップ１７３において、パッチが属する深度層が、パッチの記述を表すシンタックス構造でシグナリングされる。ステップ１７４において、生成されたアトラス及び生成されたメタデータはデータストリーム内で符号化される。

【0164】

図１８は、本原理の一実施形態によるＭＰＩのシーケンスを復号するための方法１８００のブロック図を示す。１８０１において、メタデータがビットストリームから復号され、メタデータは、現在のＭＰＩの複数の層のうちの少なくとも１つの層について、少なくとも１つの層が参照ＭＰＩの対応する層に対して変化したか否かを示すインジケータを含む。一変形例によれば、１８０２において、現在のＭＰＩは、ビットストリームから復号される。ステップ１８０１及び１８０２は、シーケンスの全てのＭＰＩが復号されるまで繰り返される。１８０３において、３Ｄシーンは、復号されたＭＰＩと、少なくとも１つの層が変化したか否かを示す復号されたインジケータとから再構成される。

【0165】

例えば、１８０３において、ＣＧＨのシーケンスを再構成又は生成するための上記の実施形態のいずれか１つを実施することができる。別の実施形態によれば、３Ｄシーンは、ヘッドマウントディスプレイ上で３Ｄデータをレンダリングするための方法など、任意の他のレンダリング方法を使用して再構成することができる。

【0166】

図１９は、本原理の一実施形態によるＭＰＩのシーケンスを復号するための方法１９００のブロック図を示す。１９０１において、メタデータがビットストリームから復号され、メタデータは、現在のＭＰＩの複数の層のうちの少なくとも１つの層について、少なくとも１つの層が参照ＭＰＩの対応する層に対して変化したか否かを示すインジケータを含む。１９０２において、現在のＭＰＩの符号化されたデータは、ビットストリームから復号される。ＭＰＩを表す符号化されたデータを復号するための方法の一例は、図２０に関連して以下に記載される。

【0167】

１９０３において、チェックは、参照ＭＰＩが以前に記憶されているか否かを判定する。そうでない場合には、（１９０３で「いいえ」）、１９０４において、現在のＭＰＩの全ての層は、１９０２で復号されたデータから再構成され、参照として将来使用するために記憶される。次いで、残りの全てのＭＰＩが処理されたか否かをチェックすることにより、動作は１９０９で継続する。残りのＭＰＩがない場合、動作は１９１０で終了する。

【0168】

処理されなければならない他のＭＰＩがある場合（１９０９で「はい」）、動作は次のＭＰＩに進み、１９０１で新たに現在のＭＰＩのメタデータの復号に進む。

【0169】

１９０３において、以前に記憶された参照ＭＰＩがある場合には（１９０３で「はい」）、現在の層が参照ＭＰＩの対応する層に対して変化したか否かを判定することにより、動作は１９０５で進む。決定には、１９０１で現在の層についてビットストリームから以前に復号されたインジケータを使用する。現在の層が変化したことをインジケータが示す場合には（１９０５で「はい」）、現在の層は、現在のＭＰＩについてビットストリームから復号されたデータから再構成される。現在の層が変化していない場合には（１９０５で「いいえ」）、ＭＰＩの現在の層は再構成されない。参照ＭＰＩの対応する層は、ＭＰＩから３Ｄシーンを再構成するときにＭＰＩの現在の層として使用することができる。

【0170】

１９０７において、現在のＭＰＩの全ての層が処理されたか否かが判定される。処理すべき更なる層がある場合（１９０７で「はい」）、動作は１９０５で繰り返す。現在のＭＰＩの全ての層が処理されている場合（１９０７で「いいえ」）、全てのＭＰＩが処理されてしまうまで、動作は１９０９で次のＭＰＩを用いて継続する。この実施形態によれば、ＭＰＩのシーケンスは、参照ＭＰＩに基づいて再構成される。

【0171】

一実施形態によれば、方法１９００は、ＣＧＨのシーケンスを再構成又は生成するために、上記の実施形態のいずれか１つで使用することができる。３Ｄシーンは、ＭＰＩの再構成されたシーケンスと、少なくとも１つの層が変化したか否かを示す復号されたインジケータとから再構成される。

【0172】

図２０は、本原理の一実施形態によるＭＰＩを復号するための方法２０００のブロック図を示す。この実施形態では、ＭＰＩは、パッチベースのアプローチを使用して、例えば図１７で示された方法を使用して、ビットストリームで符号化されている。ステップ２０１０において、マルチプレーン画像ベースの立体シーンを表すデータストリームが取得される。ステップ２０２０において、データストリームは、少なくとも１つのアトラス画像及び関連するメタデータを取得するために復号される。一実施形態では、１つのアトラスのみが取得され、アトラスの画素は、色、透明度、及び深度成分を含む異なる性質の値を埋め込む。別の実施形態では、いくつかのアトラスが取得され、１つのアトラスの画素は、色、透明度、及び深度成分のうちの少なくとも１つを含み、３つの成分が少なくとも１つのアトラスで符号化される。ステップ２０３０において、所与のパッチが属している深度層が、メタデータ内のパッチの記述を表すシンタックス構造から取得される。

【0173】

様々な実装形態は、復号化することを含む。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して行われるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。

【0174】

更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0175】

様々な実装形態は、符号化を伴う。「復号化（decoding）」に関する上記の考察と同様に、本出願で使用される「符号化（encoding）」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスには、更に又は代替として、例えば、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスも含まれる。

【0176】

更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0177】

本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

【0178】

本開示では、例えば、送信又は記憶することができるシンタックスなどの様々な情報を説明してきた。この情報は、様々な様式でパッケージ化又は配置することができ、例えば、情報をＳＰＳ、ＰＰＳ、ＮＡＬユニット、ヘッダ（例えば、ＮＡＬユニットヘッダ、又はスライスヘッダ）、又はＳＥＩメッセージに入れるなど、ビデオ規格において一般的な様式を含む。他の様式も利用可能であり、例えば、情報を以下のうちの１つ以上に入れるなどのシステムレベル又はアプリケーションレベルの規格において一般的な様式を含む。
ａ．ＳＤＰ（セッション記述プロトコル（session description protocol））、例えば、ＲＦＣに説明され、ＲＴＰ（リアルタイム輸送プロトコル（Real-time Transport Protocol））送信と連動して使用されるような、セッション告知及びセッション招待の目的のためのマルチメディア通信セッションを記述するためのフォーマット。
ｂ．例えば、ＤＡＳＨに説明され、ＨＴＴＰを介して送信されるようなＤＡＳＨ ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）記述子であり、記述子は、コンテンツ表現に追加の特性を提供するために、表現又は表現の集合に関連付けられる。
ｃ．例えば、ＲＴＰストリーミング中に使用されるような、ＲＴＰヘッダ拡張子。
ｄ．例えば、ＯＭＡＦで使用され、いくつかの仕様では、「ａｔｏｍｓ」としても既知である一意のタイプ識別子及び長さによって画定されるオブジェクト指向構築ブロックであるボックスを使用するような、ＩＳＯベースメディアファイルフォーマット（ISO Base Media File Format）。
ｅ．ＨＴＴＰを介して送信されるＨＬＳ（ＨＴＴＰライブストリーミング（HTTP Live Streaming））マニフェスト。マニフェストは、例えば、バージョン又はバージョンの集合の特性を提供するために、コンテンツのバージョン又はバージョンの集合に関連付けることができる。

【0179】

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。

【0180】

本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実施することができ、プロセッサとは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（「Personal Digital Assistant、ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。

【0181】

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、並びにそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、並びに他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。

【0182】

加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。

【0183】

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

【0184】

加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

【0185】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（A，B，and/or C）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A，B，and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。

【0186】

当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【手続補正書】

【提出日】2023-12-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータ生成ホログラムのシーケンスを符号化することを含む方法であって、前記符号化することが、
－前記コンピュータ生成ホログラムのシーケンスを表す多平面画像のシーケンスをビットストリームで符号化することと、
－前記多平面画像のシーケンスの少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記多平面画像のシーケンスの参照多平面画像の対応する層に対して変化したか否かを示すインジケータを前記ビットストリームで符号化することと、
を含む、方法。

【請求項2】

コンピュータ生成ホログラムのシーケンスを符号化するための装置であって、前記装置が、
－前記コンピュータ生成ホログラムのシーケンスを表す多平面画像のシーケンスをビットストリームで符号化し、
－前記多平面画像のシーケンスの少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記多平面画像のシーケンスの参照多平面画像の対応する層に対して変化したか否かを示すインジケータを前記ビットストリームで符号化する、
ように構成された１つ以上のプロセッサを備える、装置。

【請求項3】

コンピュータ生成ホログラムのシーケンスを復号することを含む方法であって、
前記コンピュータ生成ホログラムのシーケンスを表す多平面画像のシーケンスをビットストリームから復号することと、
前記多平面画像のシーケンスの少なくとも１つの多平面画像の複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記多平面画像のシーケンスの参照多平面画像の対応する層に対して変化したか否かを示すインジケータを前記ビットストリームから復号することと、
前記少なくとも１つの層が変化したか否かを示す前記インジケータに基づいて、前記少なくとも１つの多平面画像から前記コンピュータ生成ホログラムのシーケンスの少なくとも１つのコンピュータ生成ホログラムを再構成することと、
を含む、方法。

【請求項4】

コンピュータ生成ホログラムのシーケンスを復号するための装置であって、前記装置が、
前記コンピュータ生成ホログラムのシーケンスを表す多平面画像のシーケンスをビットストリームから復号し、
前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が、前記多平面画像のシーケンスの参照多平面画像の対応する層に対して変化したか否かを示すインジケータを前記ビットストリームから復号し、
前記少なくとも１つの層が変化したか否かを示す前記インジケータに基づいて、前記少なくとも１つの多平面画像から前記コンピュータ生成ホログラムのシーケンスの少なくとも１つのコンピュータ生成ホログラムを再構成する、
ように構成された１つ以上のプロセッサを備える、装置。

【請求項5】

前記少なくとも１つの多平面画像の前記複数の層の各層がパッチのセットとして符号化され、前記インジケータがパッチレベルで符号化される、請求項１又は３に記載の方法若しくは請求項２又は４に記載の装置。

【請求項6】

前記多平面画像のシーケンスを復号することが、前記少なくとも１つの多平面画像の前記複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示すインジケータを復号することを更に含む、請求項３又は５のいずれか一項に記載の方法若しくは請求項４～５のいずれか一項に記載の装置。

【請求項7】

前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示す前記インジケータが、パッチレベルで符号化される、請求項６に記載の方法又は装置。

【請求項8】

多層画像のシーケンスからコンピュータ生成ホログラムのシーケンスを再構成することを含む方法であって、前記シーケンスの各コンピュータ生成ホログラムが多層コンピュータ生成ホログラムとして表され、前記方法が、前記コンピュータ生成ホログラムのシーケンスの多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含み、
－前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の層が多層画像のシーケンスの参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記コンピュータ生成ホログラムのシーケンスの参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、方法。

【請求項9】

多層画像のシーケンスからコンピュータ生成ホログラムのシーケンスを再構成するように構成された１つ以上のプロセッサを備える装置であって、前記シーケンスの各コンピュータ生成ホログラムが多層コンピュータ生成ホログラムとして表され、前記１つ以上のプロセッサが、前記コンピュータ生成ホログラムのシーケンスの多層コンピュータ生成ホログラムの少なくとも１つの層を取得するように更に構成され、
－前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の層が多層画像のシーケンスの参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記コンピュータ生成ホログラムのシーケンスの参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、装置。

【請求項10】

前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の前記層が前記参照多層画像の前記対応する層に対して変化したという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記少なくとも１つのコンピュータ生成ホログラムの平面に向かう前記多層画像の前記層の伝搬から取得される、請求項８に記載の方法又は請求項９に記載の装置。

【請求項11】

前記多層コンピュータ生成ホログラムを再構成することが、前記多層コンピュータ生成ホログラムの各層を蓄積することを含む、請求項８又は１０に記載の方法若しくは請求項９又は１０に記載の装置。

【請求項12】

多層画像のシーケンスからコンピュータ生成ホログラムのシーケンスを再構成することを含む方法であって、前記シーケンスの各コンピュータ生成ホログラムが多層コンピュータ生成ホログラムとして表され、前記方法が、前記コンピュータ生成ホログラムのシーケンスの多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含み、
前記多層コンピュータ生成ホログラムが、複数の順序付けられた層を含み、第１の層が、前記多層コンピュータ生成ホログラムの平面から前記複数の層のうちで最も近い層であり、最後の層が、前記多層コンピュータ生成ホログラムの平面から前記複数の層のうちで最も遠い層であり、
前記多層コンピュータ生成ホログラムの前記少なくとも１つの層と前記多層コンピュータ生成ホログラムの前記最後の層との間の層にある前記多層コンピュータ生成ホログラムの層にそれぞれ対応する前記多層画像の全ての層が、前記多層画像のシーケンスの参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記コンピュータ生成ホログラムのシーケンスの参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、方法。

【請求項13】

装置であって、
多層画像のシーケンスからコンピュータ生成ホログラムのシーケンスを再構成し、前記シーケンスの各コンピュータ生成ホログラムが多層コンピュータ生成ホログラムとして表され、前記方法が、前記コンピュータ生成ホログラムのシーケンスの多層コンピュータ生成ホログラムの少なくとも１つの層を取得することを含む、
ように構成された１つ以上のプロセッサを備え、
前記多層コンピュータ生成ホログラムが、複数の順序付けられた層を含み、第１の層が、前記多層コンピュータ生成ホログラムの平面から前記複数の層のうちで最も近い層であり、最後の層が、前記多層コンピュータ生成ホログラムの平面から前記複数の層のうちで最も遠い層であり、
前記多層コンピュータ生成ホログラムの前記少なくとも１つの層と前記多層コンピュータ生成ホログラムの前記最後の層との間の層にある前記多層コンピュータ生成ホログラムの層にそれぞれ対応する前記多層画像の全ての層が、前記多層画像のシーケンスの参照多層画像の対応する層に対して変化していないという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記コンピュータ生成ホログラムのシーケンスの参照多層コンピュータ生成ホログラムの対応する層から取得され、前記参照多層コンピュータ生成ホログラムが、前記参照多層画像から以前に再構成されている、装置。

【請求項14】

前記多層コンピュータ生成ホログラムの前記少なくとも１つの層と前記多層コンピュータ生成ホログラムの前記最後の層との間にある前記多層コンピュータ生成ホログラムの層にそれぞれ対応する前記多層画像の少なくとも１つの層が、参照多層画像の対応する層に対して変化したという判定に応答して、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層が、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に対応する前記多層画像の前記層と、前記多層コンピュータ生成ホログラムの前記層が前記最後の層から前記第１の層に向かって走査されるときに前記多層コンピュータ生成ホログラムの前記少なくとも１つの層に先行する前記多層コンピュータ生成ホログラムの前記層の、前記多層コンピュータ生成ホログラムの前記少なくとも１つの層の平面に向かう伝搬とから取得される、方法１２又は請求項１３に記載の装置。

【請求項15】

前記多層コンピュータ生成ホログラムを再構成することが、前記少なくとも１つのコンピュータ生成ホログラムの前記平面に向かって前記多層コンピュータ生成ホログラムの前記第１の層を伝搬させることを含む、請求項１２又は１４に記載の方法若しくは請求項１３又は１４に記載の装置。

【請求項16】

前記多層画像の層が前記参照多層面画像の対応する層に対して変化したか否かを判定することが、前記多層画像の前記層と前記参照多層画像の前記対応する層との間で判定された類似性基準に基づく、請求項８又は１０～１２又は１４～１５のいずれか一項に記載の方法若しくは請求項９～１１又は請求項１３～１５のいずれか一項に記載の装置。

【請求項17】

前記類似性基準が第１の値を下回る場合に、前記多層画像の前記層が前記参照多層画像の前記対応する層に対して変化していないと判定される、請求項１６に記載の方法又は装置。

【請求項18】

前記多層画像の層が前記参照多層画像の対応する層に対して変化したか否かを判定することが、前記多層画像の前記層が変化したか否かを示すインジケータをビットストリームから取得することを含む、請求項８又は１０～１２又は１４～１５のいずれか一項に記載の方法若しくは請求項９～１１又は１３～１５のいずれか一項に記載の装置。

【請求項19】

コンピュータ生成ホログラムのシーケンスを表す多層画像のシーケンスを表すデータを含むビットストリームを備えるコンピュータ可読媒体であって、前記ビットストリームが、少なくとも１つの多層画像の複数の層のうちの少なくとも１つの層について、前記少なくとも１つの層が前記多層画像のシーケンスの参照多層画像の対応する層に対して変化したか否かを示すインジケータ、又は前記少なくとも１つの層が前記ビットストリーム内に存在するか否かを示すインジケータのうちの少なくとも１つを更に含む、コンピュータ可読媒体。

【請求項20】

１つ以上のプロセッサに、請求項１、３、５～８、１０～１２、１４～１８のいずれか一項に記載の方法を実行させるための命令を記憶している、コンピュータ可読記憶媒体。

【請求項21】

（ｉ）信号を受信するように構成されたアンテナであって、前記信号が前記多層画像のシーケンスを表すデータを含む、アンテナ、（ｉｉ）受信された信号を、前記多層画像のシーケンスを表すデータを含む周波数の帯域に制限するように構成された帯域制限器、又は（ｉｉｉ）前記コンピュータ生成ホログラムのシーケンスを表示するように構成されたディスプレイ、のうちの少なくとも１つを備える、請求項４、９、又は１３のいずれか一項に記載の装置。

【請求項22】

前記ディスプレイがホログラフィックディスプレイである、請求項２１に記載の装置。

【国際調査報告】