特表 2024-538699 ボリュメトリックコンテンツを符号化／復号するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-23

(54)【発明の名称】ボリュメトリックコンテンツを符号化／復号するための方法及び装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20241016BHJP

   H04N 19/70 20140101ALI20241016BHJP

【ＦＩ】

H04N19/597

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024520865

(86)(22)【出願日】2022-10-18

(85)【翻訳文提出日】2024-05-21

(86)【国際出願番号】 EP2022078900

(87)【国際公開番号】W WO2023072669

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】21306517.0

(32)【優先日】2021-10-28

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＢＬＵＥＴＯＯＴＨ

３．ＭＡＴＬＡＢ

(71)【出願人】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(74)【代理人】

【識別番号】110002848

【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所

(72)【発明者】

【氏名】ドイエン、ディディエ

(72)【発明者】

【氏名】ショーヴォー、アマンディーヌ

(72)【発明者】

【氏名】ブラック ドゥ ラ ペリエール、ヴァンサン

(72)【発明者】

【氏名】シュポー、ベルトラン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC01

5C159MA16

5C159MB22

5C159PP03

5C159PP13

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

多平面画像から計算機合成ホログラムを再構成する方法及び装置が提供される。計算機合成ホログラムを再構成することは、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、データは、パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、第１の位置は、パッチの再構成されたコンテンツを３Ｄシーン内に配置するために使用され、復号することと、少なくとも１つのパッチについて、パッチを第２の画像内に配置するための第２の位置を判定することであって、第２の画像は、計算機合成ホログラムを判定するために使用されるように意図されている、判定することとを含む。

【特許請求の範囲】

【請求項1】

多平面画像から計算機合成ホログラムを再構成することを含む方法であって、前記計算機合成ホログラムを再構成することが、
－前記多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、複合することと、
－前記少なくとも１つのパッチについて、前記パッチを第２の画像内に配置するための第２の位置を判定することであって、前記第２の画像が、計算機合成ホログラムを判定するために使用されるように意図されている、判定することとを含む方法。

【請求項2】

多平面画像から計算機合成ホログラムを再構成するように構成された１つ又は複数のプロセッサを含む装置であって、前記計算機合成ホログラムを再構成することが、
－前記多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、複合することと、
－前記少なくとも１つのパッチについて、第２の画像内に前記パッチを配置するための第２の位置を判定することであって、前記第２の画像は、前記計算機合成ホログラムを判定するために使用されるように意図されている、判定することとを含む装置。

【請求項3】

前記第２の画像の幅又は高さの少なくとも一方が、前記第１の画像のそれぞれの幅又は高さよりも小さい、請求項１に記載の方法又は請求項２に記載の装置。

【請求項4】

前記第２の位置を判定することが、前記パッチに関連する少なくとも１つのシンタックス要素を復号することを含み、前記少なくとも１つのシンタックス要素が前記第２の位置を表す、請求項１若しくは３に記載の方法又は請求項２若しくは３に記載の装置。

【請求項5】

－前記第２の位置を使用して前記少なくとも１つのパッチを前記第２の画像内に配置し、
－少なくとも前記第２の画像及び前記パッチの前記第１の位置に基づいて、前記計算機合成ホログラムを再構成するように更に構成される、前記１つ又は複数のプロセッサを更に含む、請求項１若しくは３～４のいずれか一項に記載の方法、又は請求項２～４のいずれか一項に記載の装置。

【請求項6】

前記第２の位置を判定することが、
－前記第２の画像内のパッチ間の分離値を判定することであって、前記分離値が、前記再構成された計算機合成ホログラムを表示するために使用される少なくとも１つのディスプレイの少なくとも１つの特性に基づく、判定することを含む、請求項１若しくは３～５のいずれか一項に記載の方法、又は請求項２～５のいずれか一項に記載の装置。

【請求項7】

前記少なくとも１つのディスプレイの前記少なくとも１つの特性は、前記ディスプレイのピクセルピッチ、又は前記ディスプレイからの前記計算機合成ホログラムの視距離のうちの少なくとも１つである、請求項６に記載の装置の方法。

【請求項8】

－前記判定された第２の位置を使用して前記第２の画像内に配置された少なくとも２つのパッチが前記判定された分離値によって分離されていないという判定に応答して、前記第２の画像内に配置された全てのパッチが前記判定された分離値によって分離されるように、前記第２の画像内の前記少なくとも２つのパッチを再配置するように更に構成される、前記１つ又は複数のプロセッサを更に含む、請求項６若しくは７に記載の方法、又は請求項６若しくは７に記載の装置。

【請求項9】

前記第２の位置を判定することが、
－パッチを再配置することができる前記第２の画像内の領域を示すデータ、又は前記第２の画像内で再配置する必要があるパッチを示すデータのうちの少なくとも１つを復号することを含む、請求項１、３若しくは５～８のいずれか一項に記載の方法又は請求項２、３若しくは５～８のいずれか一項に記載の装置。

【請求項10】

前記第２の位置を判定することが、前記復号されたデータに基づく、請求項９に記載の方法又は装置。

【請求項11】

前記第２位置を使用して前記少なくとも１つのパッチを前記第２画像内に配置することが、前記判定された分離値を考慮に入れる、請求項５、８又は１０のいずれか一項に記載の方法又は装置。

【請求項12】

前記計算機合成ホログラムを再構成することが、
－前記第２の画像をホログラム面に伝播させることであって、前記第２の画像が、前記多平面画像の前記第１の画像と同じ深度を有する、伝播させることと、
－前記パッチの前記第１の位置を使用して、前記パッチに対応する伝播データを前記計算機合成ホログラム内に配置することとを含む、請求項５～１１のいずれか一項に記載の方法又は装置。

【請求項13】

前記パッチの前記第２の位置を判定することが、前記少なくとも１つの層の前記パッチが配置される領域よりも小さい領域における前記多平面画像の前記少なくとも１つの層のパッチのグループ化に基づく、請求項１若しくは３～１２のいずれか一項に記載の方法又は請求項２～１２のいずれか一項に記載の装置。

【請求項14】

前記グループ化が、パッチが重なり合わない各パッチの周囲領域を考慮に入れ、前記周囲領域が、前記少なくとも一層の前記パッチから計算機合成ホログラムを再構成するときに判定される伝播ゾーンに対応する、請求項１３に記載の方法又は装置。

【請求項15】

前記少なくとも１つのシンタックス要素が、水平オフセット及び垂直オフセットを含む、請求項４～１４のいずれか一項に記載の方法又は装置。

【請求項16】

ビットストリーム内の前記第２の位置の存在を示すシンタックス要素を復号するように更に構成されている前記１つ又は複数のプロセッサを更に含む、請求項４～１５のいずれか一項に記載の方法、又は請求項４～１５のいずれか一項に記載の装置。

【請求項17】

前記少なくとも１つのパッチのピクセルが一定の深度を有することを示すシンタックス要素を復号するように更に構成されている前記１つ又は複数のプロセッサを更に含む、請求項４～１６のいずれか一項に記載の方法、又は請求項４～１６のいずれか一項に記載の装置。

【請求項18】

計算機合成ホログラム再構成のための情報がビットストリーム内に存在するか否かを示すシンタックス要素を復号するように更に構成されている前記１つ又は複数のプロセッサを更に含む、請求項４～１７のいずれか一項に記載の方法、又は請求項４～１７のいずれか一項に記載の装置。

【請求項19】

方法であって、
－多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームで符号化することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、符号化することと、
－第２の画像を使用して計算機合成ホログラムを再構成するときに、少なくとも１つのパッチについて、第２の画像内に少なくとも１つのパッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定することと、
－前記少なくとも１つの情報の項目をビットストリーム内で符号化することとを含む方法。

【請求項20】

１つ又は複数のプロセッサを備える装置であって、前記１つ又は複数のプロセッサが、
－多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームで符号化することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用され、符号化し、
－第２の画像を使用して計算機合成ホログラムを再構成するときに、少なくとも１つのパッチについて、第２の画像内に少なくとも１つのパッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定し、
－前記少なくとも１つの情報の項目をビットストリーム内で符号化するように構成された１つ又は複数のプロセッサを備える装置。

【請求項21】

ビットストリームであって、
－前記多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、データと、
－第２の画像を使用して計算機合成ホログラムを再構成するときに、少なくとも１つのパッチについて、第２の画像内に少なくとも１つのパッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を表すデータとを含むビットストリーム。

【請求項22】

前記少なくとも１つの情報の項目が、
－パッチを再配置することができる第２の画像内の領域を示すデータと、
－前記第２の画像内で再配置されなければならないパッチを示すデータと、
－前記少なくとも１つのパッチに関連付けられた少なくとも１つのシンタックス要素であって、前記少なくとも１つのシンタックス要素が前記第２の位置を表す、少なくとも１つのシンタックス要素と、
－ビットストリーム内の第２の位置の存在を示すシンタックス要素と、
－前記少なくとも１つのパッチのピクセルが一定の深度を有することを示すシンタックス要素と、
－計算機合成ホログラム再構成のための情報がビットストリーム内に存在するか否かを示すシンタックス要素のうちの少なくとも１つを含む、請求項１９に記載の方法、又は請求項２０に記載の装置、又は請求項２１に記載のビットストリーム。

【請求項23】

請求項２１又は２２に記載のビットストリームを含むコンピュータ可読媒体。

【請求項24】

１つ又は複数のプロセッサに、請求項１、３～１８のいずれか一項に記載の方法を実行させるための命令を記憶しているコンピュータ可読記憶媒体。

【請求項25】

プログラムが１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１、３～１８のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム製品。

【請求項26】

デバイスであって、
－請求項２～１８のいずれか一項に記載の装置と、
－（ｉ）信号を受信するように構成されたアンテナであって、前記信号が、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを含み、前記データが、前記パッチを前記多平面画像の第１の画像内に配置するための第１の位置を含み、前記第１の位置が、前記パッチの再構成されたコンテンツを３Ｄシーンに配置するために使用される、アンテナ、（ｉｉ）前記受信信号を、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表す前記データを含む周波数の帯域に制限するように構成された帯域リミッタ、又は（ｉｉｉ）前記計算機合成ホログラムを表示するように構成されたディスプレイのうちの少なくとも１つとを備えるデバイス。

【請求項27】

前記ディスプレイがホログラフィックディスプレイである、請求項２６に記載のデバイス。

【請求項28】

ＴＶ、携帯電話、タブレット、又はセットトップボックスを備える、請求項２６又は２７に記載のデバイス。

【請求項29】

装置であって、
○請求項２１～２２のいずれか一項に記載のビットストリームを含む信号を含むデータにアクセスするように構成されたアクセスユニットと、
○アクセスされた前記データを送信するように構成された送信機と、を備える、装置。

【請求項30】

請求項２１～２２のいずれか一項に記載のビットストリームを含む信号を含むデータにアクセスすることと、前記アクセスされたデータを送信することとを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、一般に、コンピュータ生成ホログラフィを含む、三次元（３Ｄ）シーン及びボリュメトリックビデオコンテンツの領域に関する。本実施形態は、概して、３Ｄシーンを表す多平面画像を符号化及び復号するための方法及び装置に関する。より具体的には、本実施形態は、多平面画像から計算機合成ホログラムを符号化／復号／再構成するための方法及び装置に関する。

【背景技術】

【0002】

本節は、以下に説明及び／又は特許請求される本原理の様々な態様に関連し得る様々な技術の態様を読者に紹介することを意図している。この考察は、本原理の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

【0003】

デジタルホログラフィ（ＤＨ）の原理は、３次元オブジェクトによって放射された全く同じ光波面を再構成することである。この波面は、視差及び距離に関する全ての情報を搬送する。両方のタイプの情報は、従来の２次元撮像システム（デジタルカメラ、２次元画像．．．）によって失われ、最近のマルチビューライトフィールドディスプレイを使用して視差のみを取得することができる。このようなディスプレイが視差及び深度キューの両方をレンダリングすることができないことで、輻輳－調節競合につながり、眼精疲労、頭痛、吐き気、及び現実性の欠如を引き起こす可能性がある。

【0004】

ホログラフィは、歴史的に、コヒーレント光源から来る参照ビームと、対象物上での参照ビームの反射によって形成される物体波との干渉の記録に基づいている。干渉パターンは、感光性材料に記録され、局所的に（微視的に）回折格子のように見え、格子ピッチは、記録に使用される波長程度である。一旦この干渉パターンが記録されてしまうと、元の参照波によるその照明は、物体波、及び３Ｄオブジェクトの元の波面を再形成する。

【0005】

ホログラフィの元の概念は、デジタルホログラフィの最新の概念に進化した。高い安定性及び感光性材料の要件は、ホログラフィを動的３Ｄコンテンツの表示にとって非実用的にした。液晶ディスプレイの出現により、入射波面の位相を変調し、こうして入射波面を任意に成形する可能性は、動的デバイス上に干渉パターンを再形成することを可能にした。ホログラムは、今回は計算することができ、計算機合成ホログラム（ＣＧＨ）と呼ぶことができる。ＣＧＨの合成は、感光性材料上に以前に記録された干渉パターンの計算を必要とし、これは、フーリエ光学を使用して様々な方法を通じて行うことができる。物体波（すなわち、３Ｄ画像）は、例えば、ＣＧＨを有する液晶オンシリコン空間光変調器（ＬＣＯＳ ＳＬＭ）ディスプレイ上の液晶を参照ビームで照明することによって得ることができる。

【0006】

ＣＧＨを計算する方法は、検討しているソースに応じていくつかある。ポイントクラウドに適用される場合、各ポイントは光源と見なされる。ＣＧＨは、光源と見なされる各ポイントの寄与の合計に対応する。計算コストは、ポイントクラウド時間のポイントの数、ホログラム面のピクセル単位の解像度の大きさにあるため、膨大である。

【0007】

この計算量を低減するために、層ベースの手法が好ましい。原理は、ＦＦＴベースの処理をピクセルではなく層に適用することによってホログラムを計算することである。層は、所与の深度にあるピクセルのグループであり、全ての層は、単一のＦＦＴベースの動作を使用してホログラム面に伝播される。その後、３Ｄコンテンツは層のグループとして編成されなければならず、１つの層に属する各ピクセルは同じ深度を有すると見なされる。

【0008】

ボリュメトリックコンテンツのＣＧＨ計算時間は、特に入力が層ベースのフォーマットである場合には、極めて膨大であり得る。層ベースのフォーマットのＣＧＨ計算時間は、層のサイズが同じであることを考慮すると、層の数に比例する。ホログラムの表示にリアルタイム性が求められる場合、ＣＧＨの算出時間を短縮する必要がある。

【0009】

したがって、最新技術を改善する必要がある。

【発明の概要】

【0010】

一態様によれば、計算機合成ホログラムを多平面画像から再構成するための方法が提供され、計算機合成ホログラムを再構成することは、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、パッチの再構成されたコンテンツを３Ｄシーン内に配置するために使用され、復号することと、当該少なくとも１つのパッチについて、当該パッチを第２の画像内に配置するための第２の位置を判定することであって、当該第２の画像は、計算機合成ホログラムを判定するために使用されるように意図されている、判定することとを含む。

【0011】

別の態様によれば、計算機合成ホログラムを多平面画像から再構成するための装置が提供され、装置は、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーン内に配置するために使用され、復号し、当該少なくとも１つのパッチについて、当該パッチを第２の画像内に配置するための第２の位置を判定することであって、当該第２の画像は、計算機合成ホログラムを判定するために使用されるように意図されている、判定するように構成された１つ又は複数のプロセッサを備える。

【0012】

別の態様によれば、多平面画像を符号化する方法が提供され、符号化することは、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームにおいて符号化することであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーンに配置するために使用される、符号化することと、少なくとも当該少なくとも１つのパッチについて、当該第２の画像を使用して計算機合成ホログラムを再構成する際に、第２の画像内に当該パッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定することと、当該少なくとも１つの情報の項目をビットストリームに符号化することとを含む。

【0013】

別の態様によれば、多平面画像を符号化する装置が提供され、装置は、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームにおいて符号化することであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーンに配置するために使用され、符号化し、少なくとも当該少なくとも１つのパッチについて、当該第２の画像を使用して計算機合成ホログラムを再構成する際に、第２の画像内に当該パッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定し、当該少なくとも１つの情報の項目をビットストリームに符号化するように構成された１つ又は複数のプロセッサを備える。別の態様によれば、１つ又は複数の実施形態は、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーン内に配置するために使用される、データと、少なくとも当該少なくとも１つのパッチについて、当該第２の画像を使用して計算機合成ホログラムを再構成するときに、当該パッチを第２の画像内に配置するための第２の位置を判定することを可能にする、少なくとも１つの情報の項目を表すデータとを含むビットストリームに関する。

【0014】

１つ以上の実施形態はまた、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、上記で記載された実施形態のいずれかによる方法のいずれか１つを実行させる命令を含む、コンピュータプログラムも提供する。本実施形態のうちの１つ又は複数はまた、多平面画像又は計算機合成ホログラムを符号化又は復号するための命令、又は上記で記載された方法のいずれかに従って計算機合成ホログラムを再構成するための命令を記憶したコンピュータ可読記憶媒体も提供する。１つ以上の実施形態はまた、これまで述べた方法により起こされたビットストリームを記憶しているコンピュータ可読記憶媒体を提供する。１つ以上の実施形態によりまた、上で説明された方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。

【図面の簡単な説明】

【0015】

本開示は、以下の説明を読むと、より良好に理解され、他の特定の特徴及び利点が明らかになり、本明細書は、添付の図面を参照する。

【図1】本原理の非限定的な実施形態による、図２～図１７のいずれか１つに関連して説明された方法を実施するように構成され得るデバイスの例示的なアーキテクチャを示す図である。

【図2】ＭＰＩコンテンツの層の集合の一例を示す図である。

【図3】異なるパッチに基づくＭＩＶコンテンツの一例を示す図である。

【図4】画像のサイズとその画像からのＣＧＨの計算時間との関係を示す図である。

【図5】一実施形態による、ＭＰＩからＣＧＨを符号化／復号／再構成するためのワークフローの概要を示す図である。

【図6】一実施形態による、ＣＧＨを再構成するために使用することができるＭＰＩコンテンツを符号化するための方法を示す図である。

【図7】一実施形態による、受信されたＭＰＩコンテンツからＣＧＨを再構成するための方法を示す図である。

【図8】２つの深度に対応するＭＰＩの２つの層の例を示す図である。

【図9】アクティブ領域がバウンディングボックスに含まれるＭＰＩの２つの異なる層の例を示す図である。

【図10】コンテンツを再構成するために有用なデータを全て保持しながら、層画像の対応するサイズを縮小する、二つの層の再配置の一例を示す図である。

【図11】パッチが非重複領域によって分離されている再配置された層の一例を示す図である。

【図12】別の実施形態による、受信したＭＰＩコンテンツからＣＧＨを再構成するための方法を示す図である。

【図13】別の実施形態による、受信したＭＰＩコンテンツからＣＧＨを再構成するための方法を示す図である。

【図14】別の実施形態による、受信したＭＰＩコンテンツからＣＧＨを再構成する方法を示す図である。

【図15】本原理の一例による通信ネットワークを介して通信する二つの遠隔デバイスを示す。

【図16】本原理の一例による信号のシンタックスを示す。

【図17】ＭＰＩの層の画像に対してサイズが縮小された画像内のパッチの第２の位置を判定する方法を示す。

【発明を実施するための形態】

【0016】

図１は、様々な態様及び実施形態が実装され得るシステムの一例のブロック図を示す。システム１００は、以下に記載の様々なコンポーネントを含むデバイスとして具現化され得、本明細書に記載の態様のうちの１つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム１００の要素は、単独で、又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又は個別のコンポーネントで具現化され得る。例えば、少なくとも１つの実施形態では、システム１００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は別個のコンポーネントにわたって分散している。様々な実施形態では、システム１００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、他のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１００は、本出願に記載された態様のうちの１つ以上を実装するように構成される。

【0017】

システム１００は、例えば、本出願に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１１０を含む。プロセッサ１１０は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知であるように様々な他の回路を含み得る。システム１００は、少なくとも１つのメモリ１２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１００は、記憶デバイス１４０を含み、この記憶デバイスは、限定されるものではないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／若しくは光ディスクドライブを含む、不揮発性メモリ並びに／又は揮発性メモリを含み得る。記憶デバイス１４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び／又はネットワークアクセス可能な記憶デバイスを含み得る。

【0018】

システム１００は、例えば、符号化ビデオ／３Ｄシーン又は復号ビデオ／３Ｄシーンを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１３０を含み、エンコーダ／デコーダモジュール１３０は、それ自体のプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール１３０は、符号化機能及び／又は復号機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化及び復号モジュールのうちの一方又は両方を含み得る。加えて、エンコーダ／デコーダモジュール１３０は、システム１００の別個の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ１１０内に組み込まれ得る。

【0019】

本出願に記載の様々な態様を実行するためにプロセッサ１１０又はエンコーダ／デコーダ１３０上にロードされるプログラムコードは、記憶デバイス１４０内に記憶され、その後、プロセッサ１１０による実行のためにメモリ１２０上にロードされ得る。様々な実施形態によれば、プロセッサ１１０、メモリ１２０、記憶デバイス１４０、及びエンコーダ／デコーダモジュール１３０のうちの１つ以上は、本出願に記載されるプロセスの実行中に、様々な項目のうちの１つ以上を記憶し得る。このような記憶された項目は、入力ビデオ／３Ｄシーン、復号ビデオ／３Ｄシーン又は復号ビデオ／３Ｄシーンの一部、ビットストリーム、行列、変数、並びに式、方程式、演算、及び演算論理の処理からの中間結果又は最終結果を含み得るが、これらに限定されない。

【0020】

いくつかの実施形態では、プロセッサ１１０及び／又はエンコーダ／デコーダモジュール１３０の内部のメモリは、命令を記憶し、符号化又は復号中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１１０又はエンコーダ／デコーダモジュール１３０のいずれかであり得る）の外部のメモリが、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ１２０及び／又は記憶デバイス１４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指し、ＭＰＥＧ－２はまたＩＳＯ／ＩＥＣ１３８１８を指し、１３８１８－１はまたＨ．２２２として既知であり、１３８１８－２はまたＨ．２６２として既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２はまた既知である）、又はＶＶＣ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）によって開発中の新しい標準である多用途ビデオコーディング）などのビデオのコーディング動作及び復号動作のための作業メモリとして使用される。

【0021】

システム１００の要素への入力は、ブロック１０５に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。他の実施例には、図１には示されていないが、コンポジットビデオが含まれる。

【0022】

様々な実施形態では、ブロック１０５の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差訂正器、及びデマルチプレクサを含む。ＲＦ部分は、これらの様々な機能を実行するチューナを含み得、例えば、受信した信号をより低い周波数（例えば、中間周波数、若しくは近接ベースバンド周波数）に、又はベースバンドにダウンコンバートすることが含まれる。セットトップボックスの一実施形態では、ＲＦ部とその関連する入力処理要素は、有線（例えば、ケーブル）媒体上で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、また所望の周波数帯域に再びフィルタ処理することによって、周波数選択を行う。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ－デジタル変換器を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。

【0023】

加えて、ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続全体にわたって、システム１００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内又はプロセッサ１１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内又はプロセッサ１１０内に実装され得る。例えば、プロセッサ１１０、並びにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ１３０を含む様々な処理要素に、復調され、誤り訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために、必要に応じて、データストリームを処理する。

【0024】

システム１００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続構成１１５、例えば、Ｉ２Ｃバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信し得る。

【0025】

システム１００は、通信チャネル１９０を介して他のデバイスとの通信を可能にする通信インターフェース１５０を含む。通信インターフェース１５０は、限定されるものではないが、通信チャネル１９０を介してデータを送信及び受信するように構成された送受信機を含み得る。通信インターフェース１５０は、限定されるものではないが、モデム又はネットワークカードを含み得、通信チャネル１９０は、例えば、有線及び／又は無線媒体内に実装され得る。

【0026】

データは、様々な実施形態では、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などのＷｉ－Ｆｉネットワークを使用して、システム１００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル１９０及び通信インターフェース１５０によって受信される。これらの実施形態の通信チャネル１９０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１０５のＨＤＭＩ接続によってデータを配信するセットトップボックスを使用して、システム１００にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック１０５のＲＦ接続を使用して、システム１００にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

【0027】

システム１００は、出力信号を、ディスプレイ１６５、スピーカ１７５、及び他の周辺デバイス１８５を含む、様々な出力デバイスに提供し得る。様々な実施形態のディスプレイ１６５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１６５は、テレビ、タブレット、ラップトップ、携帯電話（携帯電話）、又は他のデバイス、ニアアイディスプレイを含むホログラフィックディスプレイ、ヘッドアップディスプレイ、又はＴＶディスプレイ用とすることができる。また、ディスプレイ１６５を、他のコンポーネントと統合することができ（例えば、スマートフォン内のように）、又は別個にする（例えば、ラップトップ用の外部モニタ）こともできる。他の周辺デバイス１８５は、実施形態の様々な例において、スタンドアロンのデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語でＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施形態は、システム１００の出力に基づいて機能を提供する１つ以上の周辺デバイス１８５を使用する。例えば、ディスクプレーヤは、システム１００の出力を再生する機能を実施する。

【0028】

様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ、ＣＥＣ、又はユーザ介入あり若しくはユーザ介入なしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム１００とディスプレイ１６５、スピーカ１７５、又は他の周辺デバイス１８５との間で通信される。出力デバイスは、それぞれのインターフェース１６０、１７０、及び１８０を通じた専用接続を介してシステム１００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１５０を介し、通信チャネル１９０を使用して、システム１００に接続され得る。ディスプレイ１６５及びスピーカ１７５は、例えば、テレビなどの電子デバイスにおいて、システム１００の他のコンポーネントと共に単一ユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース１６０は、ディスプレイドライバ、例えば、タイミングコントローラ（timing controller、ＴＣｏｎ）チップを含む。

【0029】

ディスプレイ１６５及びスピーカ１７５は、代替的に、例えば、入力１０５のＲＦ部分が個別のセットトップボックスの一部である場合、他のコンポーネントのうちの１つ以上から分離され得る。ディスプレイ１６５及びスピーカ１７５が外部コンポーネントである様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む、専用の出力接続を介して提供され得る。

【0030】

実施形態は、プロセッサ１１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実行することができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１２０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリデバイスなど、任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１１０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。

【0031】

本開示の目的は、ＣＧＨを計算するのに必要なグローバル時間を短縮することである。グローバルＣＧＨに対する層の寄与を計算する時間は層のサイズに関連しているため、本開示の目的は、各層のサイズを最適化し、最終的にグローバル計算時間を短縮することである。

【0032】

多平面画像は、ボリュメトリックコンテンツを表すために使用されるデータフォーマットである。Ｅ．Ｐｅｎｎｅｒ ａｎｄ Ｌ．Ｚｈａｎｇ，「Ｓｏｆｔ ３ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ，」Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ Ａｓｉａ，ｖｏｌ．３６，ｎｏ．６，２０１７において、Ｐｅｎｎｅｒ及びＺｈａｎｇは、ピクセルが所与の深度にある確率を表す非バイナリパラメータを含む多視点コンテンツからそのようなＭＰＩを生成する解決策を提案している。非バイナリ情報は、ピクセルが所与の深度にあるという確実性はないが、このピクセルがこの深度にある確率がより高いという事実を反映する。この非バイナリ情報は、オブジェクトの輪郭を正しく記述するのに有用である。

【0033】

ＭＰＩフォーマットは、ビュー合成アプリケーションによく適合している。Ｂ．Ｖａｎｄａｍｅらによる、「ＰＩＰＥＬＩＮＥ ＦＯＲ ＲＥＡＬ－ＴＩＭＥ ＶＩＤＥＯ ＶＩＥＷ ＳＹＮＴＨＥＳＩＳ」、Ｐｒｏｃ．ＩＣＭＥ ２０２０、ＶａｎｄａｍｅらこのＭＰＩフォーマットをどのように使用してリアルタイムビュー合成を生成することができるかを示す。図２は、ＭＰＩコンテンツの層のセットを示し、各層は、最小深度ｚｍｉｎと最大深度ｚｍａｘとの間の所与の深度ｚに対応する（上部）。下部には、ＭＰＩからのビュー合成の原理が提示されている。小さな灰色の正方形は、所与の視点の１つのビューを合成するために所与の視点方向に沿った全ての層から統合される連続情報に対応する。

【0034】

ＭＰＩは、ＭＩＶ圧縮技術のための１つの入力フォーマットとして提案されている（ＩＳＯ／ＩＥＣ ２３０９０－１２：２０２１（Ｅ）ＭＰＥＧ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ）。ＭＩＶのシンタックスは、ＭＰＩの各層のテクスチャに関連するアルファ非バイナリパラメータを統合するように適合されている。ＭＩＶ送信の場合、非冗長ＭＰＩ情報のみが送信される。ＭＩＶコンテンツは、図３に示すようなパッチの集合である。

【0035】

デコーダ側では、ビュー合成アプリケーションのために、MPI全体を再構成する必要はない。復号側では、必要なパッチのみが復号され、レンダラは復号されたパッチを使用して必要なビュー合成を実行する。

【0036】

ＭＰＩからＣＧＨを計算する時間の推定
入力がＭＰＩコンテンツである場合、ＣＧＨは、ＣＧＨ平面位置までのそれぞれの距離で各層の伝播を実行することによって計算される。計算時間は層のサイズにのみ依存するため、同じサイズのｎ個の層の全計算時間は次式で与えられる。

【0037】

【数1】

ここで、ＣＴｔｏｔは合計計算時間であり、ＣＴｌａｙｅｒは１つの層を計算する時間である。各層は同じサイズを有する。

【0038】

層が同じサイズを有さない場合、合計時間は、各層の個々の時間の合計に等しい。

【0039】

【数2】

ここで、ＣＴｌａｙｅｒ（ｎ）は層ｎを計算する時間である。

【0040】

ボリュメトリックコンテンツのCGH計算時間は、特に入力がMPI形式である場合には、極めて膨大であり得る。上述したように、MPIのCGH計算時間は、層のサイズが同じであれば、層の数に比例する。ホログラムを表示するためにリアルタイムの態様が必要な場合、計算時間を短縮することが望ましい。

【0041】

ＣＧＨの計算時間は、ピクチャのサイズと直接相関する。図４に示される曲線は、マットラボ符号に基づいて、所与のサイズのピクチャについての計算時間を秒単位で与える。計算時間は、ｍａｔｌａｂの代わりにＧＰＵを使用して大幅に短縮することができるが、計算時間とピクチャのサイズとの間の法則は同じままである。ピクチャは正方形の写真であり、横軸上の１０２８は１０２８^＊１０２８のピクチャを意味する。計算時間はプラットフォーム及びソフトウェアに与えられ、注目すべき重要なことは、ピクチャのサイズを制限する大きな利点である。これは、プラットフォームがどのようなものであっても当てはまる。計算は、一例として角度スペクトルアルゴリズムについて与えられている。

【0042】

ＣＧＨを再構成することを可能にするボリュメトリックコンテンツを符号化するための方法及び復号するための方法が提供される。これらの方法の目的は、再構成時にＣＧＨを計算するのに必要な全体的な時間を短縮することである。グローバルＣＧＨへの層の寄与を計算する時間は層のサイズに関連するため、提供される方法の目的は、各層のサイズを最小化して、最終的にグローバル計算時間を短縮することである。

【0043】

ＭＰＩコンテンツがＭＩＶ規格を介して送信される場合、異なる層は所与の数のパッチに分割される。各パッチは、パッチに関連付けられた深度及び３Ｄシーン内のパッチの位置を記憶するための独自のメタデータを有する。

【0044】

本開示の一実施形態によれば、シーン内のパッチの物理的場所がＭＩＶコンテンツのパッチに関連付けられるだけでなく、層内の別の場所にも関連付けられ、そのような位置はＣＧＨの計算時間を最適化する。シーン内のパッチの初期位置は、ＣＧＨ計算プロセスの終了時の再配置を保証するために保持されるが、パッチの第２の位置が判定され、ＣＧＨ計算の場合に使用される。

【0045】

図５は、本開示の一実施形態による、ＭＰＩコンテンツに基づくホログラフィックディスプレイのためのワークフローの一例を示す。このシステムには、ＭＰＩで表されるコンテンツ、又はＭＰＩのシーケンスが入力される。表現を簡単にするために、図５では限られた数の層しか表されていないが、ＭＰＩはより多くの層、例えば２５６の異なる深度レベルに対応する２５６の層を有することができる。ＭＰＩ前処理は、ＭＰＩを、標準的なビデオコーダを使用して圧縮されるフォーマットに変換するために適用される。例えば、ＭＰＩは、ＭＩＶ圧縮方式などのパッチのアトラスに変換することができる。

【0046】

本開示の一実施形態によれば、デコーダにおける対応するＣＧＨ計算時間を最小化する各層における各パッチの最適な位置決めが判定される。一実施形態では、パッチの位置決めのそのような判定は、エンコーダ側で行うことができる。したがって、メタデータのセットが構築され、符号化されたＭＰＩと共にデコーダに送信される。この実施形態によれば、ＣＧＨのデコーダ又はレンダリングデバイスは、ＣＧＨ信号を計算するときに各層のパッチを再配置するだけでよい。

【0047】

変形例では、デコーダ又はレンダリングデバイスはまた、例えばＣＧＨを再構成するときに層の伝播の結果に影響を与えるディスプレイの特性を考慮に入れるために、エンコーダから受信したパッチの位置決めを適合させることもできる。

【0048】

別の実施形態では、パッチの位置決めの判定は、デコーダ側で行うことができる。この実施形態によれば、デコーダは、シーンの階層化／ＭＰＩ表現を含むＭＩＶビットストリームを受信し、コンテンツを再配置して階層の画像サイズを縮小する方法を判定する。したがって、デコーダに追加のメタデータを送信する必要はない。更に別の実施形態では、パッチの位置決めの判定の一部をエンコーダで行うことができ、次いで、位置決めの判定のこの部分に関連するメタデータがデコーダに送信され、その結果、デコーダは、位置決めの判定を終了するために更に進むことができる。この実施形態では、エンコーダは、ＭＰＩ表現の層を分析し、コンテンツをどのように並べ替えるかに関するヒントをダウンストリームエンティティ（デコーダ又はレンダリングデバイス）に提供する。例えば、エンコーダは、移動されるべき極端な位置でパッチを識別することを可能にし、そのようなパッチが再配置され得る開放領域の位置及びサイズを識別することを可能にするメタデータを送信する。次に、デコーダは、メタデータを入力として使用し、メタデータに基づいてパッチの配置を判定するが、前の実施形態のように完全な解析を行う必要はない。

【0049】

パッチの新しい位置を判定するための方法の一例は、図１７を参照して以下で更に説明される。

【0050】

図６は、一実施形態による、ＣＧＨを再構成するために使用することができるＭＰＩコンテンツを符号化するための方法を示す図である。６０において、ＭＰＩ、又は動的ＣＧＨの場合はＭＰＩのシーケンスがビットストリームで符号化される。例えば、ＭＰＩコンテンツは、ＭＩＶフレームワークを使用して符号化することができる。ＭＩＶフレームワークによれば、ＭＰＩの層画像は、パッチを含むセットアトラスに分解される。パッチを表すデータはビットストリーム内で符号化される。各パッチに関連付けられたデータは、多平面画像の画像内のパッチの位置を表す第１の位置を含む。第１の位置は、パッチから再構成されたコンテンツを３Ｄシーンに配置するために使用される。

【0051】

６１において、少なくとも１つの情報の項目が判定される。情報の項目は、ＣＧＨが第２の画像を使用してデコーダ側で再構成されるときに、パッチについて、第２の画像内のパッチを再配置するための第２の位置を判定することを可能にする。情報の項目は、第２の画像が第１の画像に対して縮小されたサイズを有するように、第２の画像内のパッチを再配置することを可能にする。

【0052】

６２において、判定された情報の項目は、ＭＰＩコンテンツと共にビットストリームに符号化される。変形例によれば、情報の項目は、ビットストリーム内のパッチに関連付けられたシンタックス要素として符号化される。他の変形例では、情報の項目は、例えば付加拡張情報（ＳＥＩ）メッセージにおいてメタデータとして符号化される。

【0053】

図７は、一実施形態による、受信されたＭＰＩコンテンツからＣＧＨを再構成するための方法を示す。７０において、ＭＰＩ、又は動的ＣＧＨの場合はＭＰＩのシーケンスがビットストリームから復号される。例えば、ＭＰＩコンテンツは、ＭＩＶフレームワークを使用して符号化されている。ＭＩＶフレームワークによれば、ＭＰＩの層画像は、パッチを含むセットアトラスに分解される。パッチを表すデータがビットストリームから復号される。各パッチに関連付けられたデータは、多平面画像の画像内のパッチの位置を表す第１の位置を含む。第１の位置は、パッチから再構成されたコンテンツを３Ｄシーンに配置するために使用される。

【0054】

７１において、第１の画像に対してサイズが縮小された第２の画像においてパッチを再配置することを可能にするパッチの第２の位置が判定される。第２の画像は、計算機合成ホログラムを再構成するために使用されることが意図されている。

【0055】

一実施形態によれば、７２において、ＣＧＨは、第２の画像を使用して再構成される。

【0056】

ＣＧＨは、デコーダによって、又はレンダリング又は表示デバイスなどの別のデバイスによって再構成することができる。ＣＧＨの再構成に用いるデータをＭＰＩコンテンツと表記する。ＭＰＩは層のセットを含み、各層は一定の深度を有する。したがって、上述の実施形態によれば、第２の画像はＭＰＩの層ごとに判定される。すなわち、各第２の画像は、それが関連付けられている層の深度と同じ深度に関連付けられている。変形例によれば、ＣＧＨの再構成は、第２の画像がＭＰＩの画像であるかのように同様の方法で、判定された第２のピクチャの各々をホログラム面に伝播することによって実行される。次いで、各パッチに対応する伝播データは、第１の位置がパッチの再構成されたコンテンツを３Ｄ空間に配置することを可能にするので、各パッチに関連付けられた第１の位置を使用してＣＧＨに配置される。

【0057】

上述したように、第２の画像は、第１の画像に対して縮小されたサイズを有する。言い換えれば、第２の画像の幅又は高さの少なくとも一方は、第１の画像のそれぞれの幅又は高さよりも小さい。（エンコーダ又はデコーダのいずれかでの）第２の画像の判定は、層のパッチが最初に配置された領域又は画像よりも小さい領域又は画像内の多平面画像の層のパッチのグループ化によって実行される。以下に説明するように、グループ化は、パッチが重複しない各パッチの周囲領域を考慮に入れる。この周囲領域は、ＣＧＨを計算するためのパッチデータを伝播する際のパッチコンテンツの伝播領域に相当する。

【0058】

ＭＰＩは、異なる深度の３Ｄシーンを表す層の集合である。これは、限られた視野（ＦＯＶ）を有するカメラの所与のセットから取得又は生成されているため、空のピクセルを有する各層の一部があり、これは所与のＦＯＶのそのような深度に対応する情報が存在しないことを意味する。層の数が多いほど、各層における空のピクセルの割合が高くなる。ＣＧＨ計算の観点から、膨大な数の空のピクセルを有する計算層は最適化されていない。図４から分かるように、計算時間を短縮するために、層のサイズを制限することが重要である。本明細書で提供される実施形態の目的は、ピクチャ全体よりも小さい領域にパッチをグループ化することによって層構造を修正することである。

【0059】

図８は、白色部分が空のピクセルに対応するＭＰＩコンテンツの２つの異なる層を表す。白色領域が非常に重要であるが、例えば第１の層の右側部分にも分離されたピクセルがあることが分かる。ＣＧＨ計算のためにフレーム全体を考慮して、最終的に品質を維持することができる。

【0060】

図９は同じ層を表し、空の領域は白色であり、アクティブ領域は長方形のバウンディングボックスに拡張されている。これらの長方形の領域は、ＭＰＩ／ＭＩＶのコンテキストで定義されているように、パッチのセットとして見ることができる。

【0061】

ピクチャ全体がＣＧＨとして計算される場合、時間計算は最大である。分離された領域が考慮される場合、全ての計算の合計はそれほど低くない場合がある。本明細書で提供される実施形態は、初期ピクチャサイズよりも小さい領域内の異なる領域をグループ化する方法を提供する。処理される画像のピクセルサイズの縮小は、処理時間及びリソースの削減につながる。

【0062】

図１０は、元のピクチャよりも小さい新しいピクチャを判定するための、図９に示すパッチの変位（矢印で示す）の例を示す。パッチが新しいピクチャ内の新しい位置に再配置された後、ＣＧＨ計算は、より小さいピクチャに適用されるため、より高速である。より小さいピクチャは、例えば、初期ピクチャの空の領域内のパッチの一部又は全部を再配置し、初期ピクチャの幅及び高さをアクティブエリアのみにサイズ変更することによって得られる。図１０では、新しいピクチャ領域が思考ラインで示されている。ＣＧＨ計算は、所与の距離への層内のピクセルの伝播に対応する。処理パラメータ（ピクセルピッチ、波長、及び伝播距離）に基づいて、パッチは、伝播されるときに重複を回避するように分離されなければならない。ピクチャ内のパッチのこの最小分離（以下ではＤｍｉｎと呼ぶ）は、以下の式によって与えられ、式中、ｚはホログラムの距離であり、λはレーザの波長であり、ｐはホログラムを表示するために使用されるディスプレイのピクセルピッチである。

【0063】

【数3】

【0064】

パッチの再配置位置がデコーダ側で判定されるとき、Ｄｍｉｎ値はディスプレイの特性から判定され得る。しかしながら、パッチの再配置位置がエンコーダ側で判定され、デコーダに送られるとき、これらのパラメータは送信前には分からない。この変形例によれば、Ｄｍｉｎ値は、所与のピクセルピッチ及び所与の距離を有するディスプレイの範囲に対して判定される。

【0065】

例えば、ｚ＝０．０１ｍ、λ＝５００ｎｍ、ｐ＝６．４μｍを用いたＤｍｉｎの数値推定は、約６０ピクセルのＤｍｉｎ値を提供する。

【0066】

所与のパラメータのセットに対するこの分離値が知ることにより、層内のパッチの位置を修正して、この層のサイズを縮小することができる。

【0067】

図１０は、ＣＧＨ計算で考慮すべき合計サイズを縮小するために一部のパッチに適用され得る変位（矢印）を示している（太線枠）。これらの例では、計算のために考慮されるピクチャサイズが大幅に縮小される。この操作は各層に対して繰り返すことができる。

【0068】

図１１は、各層（新しいピクチャ）の最終サイズと、層の各パッチの新しい配置とを示す。各パッチを囲む灰色の部分は、パッチが重複しないＣＧＨ計算によるコンテンツの伝播に対応する。したがって、パッチを取り囲む領域の幅は、判定されたＤｍｉｎ値によって与えられる。これは、標準的なホログラフィックディスプレイ特性に基づいて定義され得る。別の変形例では、Ｄｍｉｎの極値を使用して、重複が起こらないことを保証することができる。

【0069】

図５に記載のワークフローに関して、一実施形態によれば、パッチの変位はＣＧＨを再構成するときにのみ適用され、すなわち、パッチの変位は送信前に適用されない。そのような座標を判定することを可能にする各パッチ又はデータの将来の位置の座標のみがデータストリームに関連付けられる。変形例では、そのような情報は、以下で更に説明するように、Ｖ３Ｃ／ＭＩＶ仕様のメタデータとして挿入される。

【0070】

図１２は、一実施形態による、受信されたＭＰＩコンテンツからＣＧＨを再構成するための方法を示す。１２００において、ＭＰＩ、又は動的ＣＧＨの場合はＭＰＩのシーケンスがビットストリームから復号される。例えば、ＭＰＩコンテンツは、上述したようにＭＩＶフレームワークを用いて符号化されている。

【0071】

この実施形態によれば、ＭＰＩの層の画像に対してサイズが縮小された画像を提供するためのパッチの変位は、エンコーダで、例えば上述の方法を使用して判定される。その後、パッチの変位は、ＭＩＶコンテンツを有するビットストリームにおいて符号化される。

【0072】

１２０１では、ビットストリームからデータを復号することによって、パッチのための第２の位置が判定される。例えば、第２の位置がＭＩＶ仕様に追加される。変形例では、ＭＩＶフォーマットを使用したＣＧＨの伝送は、ホログラフィック使用事例専用のプロファイルを追加することによって指定される。このようなプロファイルは、ＭＰＩコンテンツ専用の既存の「ＭＩＶ Ｅｘｔｅｎｄｅｄ Ｒｅｓｔｒｉｃｔｅｄ Ｇｅｏｍｅｔｒｙ」プロファイル（区間Ａ ４．２）から、第２のパッチ位置用の新しいシンタックス要素を更に必要とすることによって導出される。

【0073】

別の変形例では、ＣＧＨの伝送専用のＶ３Ｃ仕様（ＩＳＯ／ＩＥＣ ２３０９０－５：２０２１（２Ｅ）Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ－ｂａｓｅｄ Ｃｏｄｉｎｇ ａｎｄ Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ ２ｎｄ Ｅｄｉｔｉｏｎ）の分離されたＨＯＬＯ拡張が指定され、これは、ＭＩＶ又はＶ－ＰＣＣがＶ３Ｃの拡張であるのと同じ方法であり、以下の表で下線が引かれるようにセクション８．３．６．１．１でシグナリングされる。

【0074】

【表1】

【0075】

ａｓｐｓ＿ｈｏｌｏ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ａｓｐｓ＿ｈｏｌｏ＿ｅｘｔｅｎｓｉｏｎ（）シンタックス構造が存在することを指定する。

【0076】

Ｖ３Ｃの提案されたＨＯＬＯ拡張は、アトラスシーケンスパラメータセット（ＡＳＰＳ）、共通アトラスフレーム（ＣＡＦ）、及びパッチデータユニット（ＰＤＵ）シンタックス構造を拡張するためのシンタックス構造を含む。特にカメラパラメータ及び深度量子化を指定するＣＡＦのＭＩＶ拡張は、ＨＯＬＯ拡張のためにそのまま再利用することができる。

【0077】

ＡＳＰＳのＨＯＬＯ拡張は、１つのフラグａｓｈｅ＿ｐａｔｃｈ＿ｃｏｎｓｔａｎｔ＿ｄｅｐｔｈ＿ｆｌａｇのみを含み、これは、以下の表で指定されるように、送信されたＣＧＨコンテンツが効果的にＭＰＩコンテンツであることを保証するために１に設定される（深度は所与の層に対して一定である）：

【0078】

【表2】

【0079】

Ｖ３Ｃのパッチデータユニットシンタックスは、ＨＯＬＯ拡張のシグナリングを可能にするために、以下の表において下線が引かれているように修正される。

【0080】

【表3】

【0081】

ＰＤＵのＨＯＬＯ拡張は、以下の表で指定されるように、第２のパッチ位置を指定する。

【0082】

【表4】

ここで、ｐｄｕ＿３ｄ＿ｏｆｆｓｅｔ＿ｕ＿ｈｏｌｏ［ｔｉｌｅＩＤ］［ｐａｔｃｈＩｄｘ］及びｐｄｕ＿３ｄ＿ｏｆｆｓｅｔ＿ｖ＿ｈｏｌｏ［ｔｉｌｅＩＤ］［ｐａｔｃｈＩｄｘ］値は、パッチが属するＭＰＩの層の画像におけるパッチの初期位置（第１の位置）を表し、パッチのサイズは、上記のパッチデータユニット（ＰＤＵ）のシンタックスによって依然として与えられる。

【0083】

それぞれ水平方向と垂直方向のシフト。

【0084】

１２０２において、パッチは、復号された位置を使用して画像内に配置される。次に、１２０３において、画像を使用してＣＧＨが再構成される。

【0085】

先に図７を参照して説明したように、新しい画像の判定は、ＭＰＩの各層に対して実行される。１２０３において、ＣＧＨを再構成するとき、各新しい画像はホログラム面に伝播される。次いで、各パッチに対応する伝播データは、パッチデータユニット内でコード化されている各パッチに関連付けられた第１の位置を使用してＣＧＨ内に配置される。

【0086】

図１３は、図１２で説明した実施形態の変形例による、受信したＭＰＩコンテンツからＣＧＨを再構成する方法を示す。この変形例によれば、１３００において、新しい画像内のパッチ間の分離値Ｄｍｉｎが判定される。この分離値は、ピクセルピッチ又は視距離など、再構成されたＣＧＨを表示するために使用されるディスプレイの少なくとも１つの特性に基づく。エンコーダ側では、どのディスプレイがデコーダ側で使用されるかが事前に分からないため、これらの値は利用できない。エンコーダ側で判定された第２の位置は、ディスプレイの範囲に対して判定されたデフォルトのＤｍｉｎ値を仮定しているか、又は最悪の場合の値を仮定しているか、又はＤｍｉｎ値が考慮されていない場合がある。

【0087】

ここで説明する変形例によれば、Ｄｍｉｎ値は、上記の式を使用して、消費者側で使用されるディスプレイの特性を使用してデコーダ側で判定される。

【0088】

次に、１３０１において、１２０２における第２の位置を使用したパッチの配置から得られた新しい画像がＤｍｉｎ値を満たすかどうかがチェックされる、すなわち、新しい画像内のパッチが少なくとも２ｘＤｍｉｎに等しいピクセル数だけ分離されているかどうかが検証される。新しい画像内の長方形のパッチ、又はパッチの長方形のバウンディングボックスを考慮すると、パッチのバウンディングボックスはＤｍｉｎに等しい幅の領域で囲まれる。パッチのバウンディングボックス及び周囲領域は、拡張バウンディングボックス（図１１に示すように、）を画定する。新しい画像は、パッチの拡張バウンディングボックスが互いに重ならない場合に、パッチの分離基準を満たす。

【0089】

少なくとも２つの拡張バウンディングボックスが重なると判定されると、１３０２において、新しい画像内に配置された全てのパッチが２ｘＤｍｉｎだけ分離されるように、重なり合うパッチが新しい画像内に再配置される。例えば、画像サイズをパッチの重なり量で与えられる値だけ拡張することによって再配置を実行することができ、全てのパッチは新しい画像において重なり方向（水平、垂直、又はその両方）にシフトされる。

【0090】

図１４は、別の実施形態による、受信したＭＰＩコンテンツからＣＧＨを再構成する方法を示す。この実施形態によれば、各パッチの第２の位置は送信されないが、新しい画像内のパッチの配置をガイドするためのヒントがビットストリームで送信される。１４００において、先の実施形態と同様に、ＭＰＩコンテンツが受信ビットストリームから復号される。１４０１において、配置をガイドするデータがビットストリームから復号される。例えば、このデータは、パッチを再配置することができる新しい画像内の領域を示すデータ、又は新しい画像内で再配置する必要があるパッチを示すデータとすることができる。例えば、再配置すべきパッチは、現在のパッチが再配置される必要があるか否かを示す現在のパッチのパッチデータユニットシンタックス内のフラグを送信することによって識別することができる。空の領域のリストは、例えば、より高いレベル、画像レベル、又はＭＰＩレベルで送信され得る。

【0091】

１４０２において、Ｄｍｉｎ値は、上記の式を使用してディスプレイの特性を使用して判定される。１４０３において、パッチの再配置は、Ｄｍｉｎ値及び復号されたデータ（空のスペースのリスト、再配置すべきパッチのリスト）を使用して判定される。この変形例は、正しいＤｍｉｎ値を使用しながら、デコーダ側でのパッチの再配置の判定を高速化することを可能にする。パッチの再配置が判定されると、１４０４でパッチが新しい画像内に配置され、１４０５でＣＧＨが再構成される。先の実施形態に関して、ＣＧＨを再構成する前に、新しい画像内の再配置及びパッチ配置の判定がＭＰＩの各層に対して実行される。

【0092】

図１７は、パッチの新しい位置（又は第２の位置）を判定するための方法の一例を示す。本方法は、ＭＰＩの画像層内のパッチ及びそれらの位置を入力として取得し、縮小されたサイズの画像内のパッチの新しい位置及び縮小されたサイズの画像のサイズを出力として提供する。この方法は、ＭＰＩ層の画像内のパッチの位置が両側で既知であるため、エンコーダ側又はデコーダ側のいずれかで使用され得る。１７００において、画像層内の全てのパッチを含む画像バウンディングボックスが判定される。この画像バウンディングボックスは、画像層の全てのパッチを含む長方形の形状である。画像バウンディングボックスサイズは、ピクチャサイズ以下である。簡単にするために、図９に示すように、パッチはそれ自体のバウンディングボックス内で考慮される。すなわち、パッチは、ＭＩＶフレームワークを使用する場合、ＭＰＩの画像層における位置及びサイズがパッチデータユニットシンタックス内のビットストリーム内で符号化される長方形の形状も有する。

【0093】

１７０１において、画像バウンディングボックスの境界パッチが選択される。境界パッチは、画像バウンディングボックスの境界におけるパッチとして理解されるべきである。境界パッチは、画像バウンディングボックスの１つの境界と同じ位置を有するパッチである。境界パッチは、１７００で判定された画像バウンディングボックスと少なくとも１つの共通エッジを共有する。

【0094】

１７０２において、各境界パッチは、画像バウンディングボックス内の最も近い利用可能な位置に移動される。利用可能な位置は、画像バウンディングボックス内の空の領域である。変形例では、パッチの利用可能な位置を判定することは、隣接パッチが伝播後に重複しないようにパッチ間の距離を考慮に入れる。したがって、この変形例では、利用可能な位置は、画像バウンディングボックス内の空の領域であり、伝播後に隣接パッチと重ならないほど十分に離れている。したがって、パッチの利用可能な位置を判定するとき、上記の式を使用して判定されたＤｍｉｎ値が考慮される。方法がエンコーダ又はデコーダで実行されるかどうかに応じて、Ｄｍｉｎ値は、ディスプレイの範囲の特性に基づくＤｍｉｎ値の推定値として判定され、又はＤｍｉｎ値は、デコーダ側で使用されるディスプレイの特性に基づいて判定される。

【0095】

境界パッチの利用可能な位置を見つけることができないことが起こり得る。その場合、境界パッチは画像バウンディングボックス内の最後の位置に残される。

【0096】

全ての境界パッチが利用可能な位置に（可能な限り）再配置されると、画像バウンディングボックスは１７０３で再計算される。１７０４において、新しい画像バウンディングボックスが前の画像バウンディングボックスよりも小さいかどうかが判定される。新しい画像バウンディングボックスがより小さい場合、プロセスはステップ１７０１から１７０４を繰り返す。新しい画像バウンディングボックスが前の画像バウンディングボックスより小さくない場合、プロセスは１７０５で終了する。新しい画像は、最後に判定された画像バウンディングボックスとして提供される。

【0097】

パッチの新しい位置を判定するための上記の方法は、単純な方法の例示であり、この実施形態のより複雑な実施形態又は変形例も使用することができる。

【0098】

図１５に示される一実施形態では、通信ネットワークＮＥＴを介した２つの遠隔デバイスＡとＢとの間の送信コンテキストにおいて、デバイスＡは、図１～図１４及び図１７に説明されるようなボリュメトリックコンテンツを符号化するための方法を実装するように構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを備え、デバイスＢは、図１４～図１７に関連して説明されるようなビデオを復号するための方法を実装するように構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを備える。

【0099】

一実施例によれば、ネットワークは、デバイスＡからデバイスＢを含む復号デバイスにＣＧＨを表す符号化データをブロードキャスト／送信するように適合されたブロードキャストネットワークである。

【0100】

デバイスＡによって送信されるように意図された信号は、ＭＰＩコンテンツを表す符号化データと、ＭＰＩコンテンツの少なくとも１つのパッチについて、当該画像を使用して計算機合成ホログラムを再構成するときに縮小されたサイズを有する画像内にパッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を表すデータとを含む少なくとも１つのビットストリームを搬送する。ビットストリームは、本原理の任意の実施形態から生成されてもよい。変形例では、ビットストリームは、以下のデータ、すなわち、パッチを再配置することができる第２の画像内の領域を示すデータ、第２の画像内で再配置する必要があるパッチを示すデータ、少なくとも１つのパッチに関連付けられた少なくとも１つのシンタックス要素であって、当該少なくとも１つのシンタックス要素は第２の位置を表す、少なくとも１つのシンタックス要素、ビットストリーム内の第２の位置の存在を示すシンタックス要素、少なくとも１つのパッチのピクセルが一定の深度を有することを示すシンタックス要素、計算機合成ホログラム再構成のための情報がビットストリーム内に存在するか否かを示すシンタックス要素のうちの少なくとも１つを含む。

【0101】

図１６は、パケットベースの送信プロトコル上で送信されるそのような信号のシンタックスの一例を示す。各送信パケットＰは、ヘッダＨ及びペイロードＰＡＹＬＯＡＤを含む。いくつかの実施形態では、ペイロードＰＡＹＬＯＡＤは、上述した実施形態のいずれか１つに従って符号化された、コーディングされたビデオデータを含み得る。

【0102】

様々な実装形態は、復号を伴う。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して実施されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。

【0103】

更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0104】

様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実施されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスには、更に又は代替として、例えば、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスも含まれる。

【0105】

更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0106】

本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

【0107】

本開示では、例えば、送信又は記憶することができるシンタックスなどの様々な情報を説明してきた。この情報は、様々な様式でパッケージ化又は配置することができ、例えば、情報をＳＰＳ、ＰＰＳ、ＮＡＬユニット、ヘッダ（例えば、ＮＡＬユニットヘッダ、又はスライスヘッダ）、又はＳＥＩメッセージに入れるなど、ビデオ規格において一般的な様式を含む。他の様式も利用可能であり、例えば、情報を以下のうちの１つ以上に入れるなどのシステムレベル又はアプリケーションレベルの規格において一般的な様式を含む。
ａ．ＳＤＰ（セッション記述プロトコル（session description protocol））、例えば、ＲＦＣに説明され、ＲＴＰ（リアルタイム輸送プロトコル（Real-time Transport Protocol））送信と連動して使用されるような、セッション告知及びセッション招待の目的のためのマルチメディア通信セッションを記述するためのフォーマット。
ｂ．例えば、ＤＡＳＨに説明され、ＨＴＴＰを介して送信されるようなＤＡＳＨ ＭＰＤ（Media Presentation Description）記述子であり、記述子は、コンテンツ表現に追加の特性を提供するために、表現又は表現の集合に関連付けられる。
ｃ．例えば、ＲＴＰストリーミング中に使用されるような、ＲＴＰヘッダ拡張子。
ｄ．例えば、ＯＭＡＦで使用され、いくつかの仕様では、「ａｔｏｍｓ」としても既知である一意のタイプ識別子及び長さによって画定されるオブジェクト指向構築ブロックであるボックスを使用するような、ＩＳＯベースメディアファイルフォーマット（ISO Base Media File Format）。
ｅ．ＨＴＴＰを介して送信されるＨＬＳ（ＨＴＴＰライブストリーミング（HTTP Live Streaming））マニフェスト。マニフェストは、例えば、バージョン又はバージョンの集合の特性を提供するために、コンテンツのバージョン又はバージョンの集合に関連付けることができる。

【0108】

図がフロー図として提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフロー図も提供するものと理解されたい。本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実施することができ、プロセッサとは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（Personal Digital Assistant、「ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。

【0109】

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、並びにそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、並びに他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。

【0110】

加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。

【0111】

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

【0112】

加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの方式で関与する。

【0113】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうちの少なくとも１つ」の場合、次の「／」、「及び／又は」、及び「のうちの少なくとも１つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。

【0114】

当業者には明白であるように、実装形態は、例えば、記憶され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実施するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に記憶することができる。

【0115】

多くの実施形態が説明されている。これらの実施形態の特徴は、様々な特許請求の範疇及びタイプにわたって単独でも、いかなる組み合わせでも提供され得る。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる：
－計算機合成ホログラムを再構成することは、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーン内に配置するために使用され、復号することと、当該少なくとも１つのパッチについて、当該パッチを第２の画像内に配置するための第２の位置を判定することであって、当該第２の画像は、計算機合成ホログラムを判定するために使用されるように意図されている、判定することとを含む、計算機合成ホログラムを多平面画像から再構成するための方法／装置、
－多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームにおいて符号化することであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーンに配置するために使用される、符号化することと、少なくとも当該少なくとも１つのパッチについて、第２の画像を使用して計算機合成ホログラムを再構成する際に、当該第２の画像内に当該パッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定することと、当該少なくとも１つの情報の項目をビットストリームに符号化することとを含む、ＣＧＨ再構成に適したＭＰＩコンテンツを符号化するための方法／装置、
－第２の画像の幅又は高さの少なくとも一方は、第１の画像のそれぞれの幅又は高さよりも小さい、方法／装置、
－第２の位置を判定することが、パッチに関連する少なくとも１つのシンタックス要素を符号化／復号することを含み、当該少なくとも１つのシンタックス要素は第２の位置を表す、方法／装置。
－パッチが第２の位置を用いて第２の画像に配置され、計算機合成ホログラムは少なくとも第２の画像及び当該パッチの第１の位置に基づいて再構成される、方法／装置、
－第２の位置を判定することは、当該第２の画像内のパッチ間の分離値を判定することであって、当該分離値は、再構成された計算機合成ホログラムを表示するために使用される少なくとも１つのディスプレイの少なくとも１つの特性に基づく、判定することを含む、方法／装置、
－少なくとも１つのディスプレイの少なくとも１つの特性は、ディスプレイのピクセルピッチ、又はディスプレイからの計算機合成ホログラムの視距離のうちの少なくとも１つである、方法／装置、
－判定された第２の位置を使用して第２の画像内に配置された少なくとも２つのパッチが判定された分離値によって分離されていないという判定に応答して、第２の画像内に配置された全てのパッチが判定された分離値によって分離されるように、少なくとも２つのパッチが第２の画像内に再配置される方法／装置、
－第２の位置を判定することは、パッチを再配置することができる第２の画像内の領域を示すデータ、又は第２の画像内で再配置する必要があるパッチを示すデータのうちの少なくとも１つを符号化／復号することを含む、方法／装置、
－第２の位置を判定することは、符号化／復号されたデータに基づく、方法／装置、
－第２の位置を使用して少なくとも１つのパッチを第２の画像内に配置することは、当該判定された分離値を考慮に入れる、方法／装置、
－当該第２の画像をホログラム面に伝播することであって、当該第２の画像は、多平面画像の当該第１の画像と同じ深度を有する、伝播することと、計算機合成ホログラム内に配置することであって、伝播データは、当該パッチの第１の位置を使用して当該パッチに対応する、配置することとを含む、計算機合成ホログラムを再構成する方法／装置、
－１つのパッチの第２の位置を判定することは、少なくとも１つの層のパッチが配置される領域よりも小さい領域における多平面画像の当該少なくとも１つの層のパッチのグループ化に基づく、方法／装置、
－グループ化は、パッチが重なり合わない各パッチの周囲領域を考慮に入れ、周囲領域が、少なくとも一層のパッチから計算機合成ホログラムを再構成するときに判定される伝播ゾーンに対応する、方法／装置、
－少なくとも１つのシンタックス要素が、水平オフセット及び垂直オフセットを含む、方法／装置、
－ビットストリーム中の第２の位置の存在を示すシンタックス要素がビットストリームから復号され／ビットストリーム中で符号化される方法／装置、
－少なくとも１つのパッチのピクセルが一定の深度を有することを示すシンタックス要素がビットストリームから／において復号／符号化される方法／装置、
－計算機合成ホログラム再構成のための情報がビットストリーム内に存在するか否かを示すシンタックス要素がビットストリームから復号／符号化される方法／装置、
－多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータであって、当該データは、当該パッチを多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置は、当該パッチの再構成されたコンテンツを３Ｄシーン内に配置するために使用される、データと、少なくとも当該少なくとも１つのパッチについて、当該第２の画像を使用して計算機合成ホログラムを再構成するときに、当該パッチを第２の画像内に配置するための第２の位置を判定することを可能にする、少なくとも１つの情報の項目を表すデータとを含むビットストリーム、
－少なくとも１つの情報の項目が：
－パッチを再配置することができる第２の画像内の領域を示すデータ、
－第２の画像内で再配置されなければならないパッチを示すデータ、
－少なくとも１つのパッチに関連付けられた少なくとも１つのシンタックス要素であって、当該少なくとも１つのシンタックス要素が第２の位置を表す、少なくとも１つのシンタックス要素、
－ビットストリーム内の第２の位置の存在を示すシンタックス要素、
－少なくとも１つのパッチのピクセルが一定の深度を有することを示すシンタックス要素、
－計算機合成ホログラム再構成のための情報がビットストリーム内に存在するか否かを示すシンタックス要素、のうちの少なくとも１つを含む方法／装置／ビットストリーム。
－上記で引用された実施形態のいずれか１つによるビットストリームを含むコンピュータ可読媒体、
－１つ又は複数のプロセッサに、上記で引用した実施形態のいずれか１つによる方法を実行させるための命令を記憶しているコンピュータ可読記憶媒体、
－プログラムが１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、上記で引用した実施形態のいずれか１つによる方法を実行させる、命令を含むコンピュータプログラム製品、
－上記で引用した実施形態のいずれか１つによるによる装置であって、（ｉ）信号を受信するように構成されたアンテナであって、信号が、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを含み、当該データが、当該パッチを当該多平面画像の第１の画像内に配置するための第１の位置を含み、当該第１の位置が、当該パッチの再構成されたコンテンツを３Ｄシーンに配置するために使用される、アンテナ、（ｉｉ）受信信号を、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを含む周波数の帯域に制限するように構成された帯域リミッタ、又は（ｉｉｉ）計算機合成ホログラムを表示するように構成されたディスプレイのうちの少なくとも１つとを備えるデバイス、
－ホログラフィックディスプレイを有し、上記で引用した実施形態のいずれか１つによる装置を含むデバイス、
－ＴＶ、携帯電話、タブレット、又はセットトップボックスのいずれか１つを含む、上記で引用した実施形態のいずれか１つによるによる装置を含むデバイス。
－上記で引用した実施形態のいずれか１つによるビットストリームを含む信号を含むデータにアクセスするように構成されたアクセスユニットと、アクセスされたデータを送信するように構成された送信機とを備える送信装置、
－上記で引用した実施形態のいずれか１つによるビットストリームを含む信号を含むデータにアクセスし、アクセスされたデータを送信するための方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2024-06-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

多平面画像から計算機合成ホログラムを再構成することを含む方法であって、前記計算機合成ホログラムを再構成することが、
前記多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、複合することと、
前記少なくとも１つのパッチについて、前記少なくとも１つのパッチを第２の画像内に配置するための第２の位置を判定することであって、前記第２の画像が、前記第１の画像よりも縮小されたサイズを有し、前記計算機合成ホログラムを判定するために使用されるように意図されている、判定することと
を含む方法。

【請求項2】

多平面画像から計算機合成ホログラムを再構成するように構成された１つ又は複数のプロセッサを含む装置であって、前記計算機合成ホログラムを再構成することが、
－前記多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを復号することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、複合することと、
－前記少なくとも１つのパッチについて、前記少なくとも１つのパッチを第２の画像内に配置するための第２の位置を判定することであって、前記第２の画像が、前記第１の画像よりも縮小されたサイズを有し、前記計算機合成ホログラムを判定するために使用されるように意図されている、判定することと
を含む装置。

【請求項3】

前記第２の画像の幅又は高さの少なくとも一方が、前記第１の画像のそれぞれの幅又は高さよりも小さい、請求項１に記載の方法。

【請求項4】

前記第２の位置を判定することが、前記パッチに関連する少なくとも１つのシンタックス要素を復号することを含み、前記少なくとも１つのシンタックス要素が前記第２の位置を表す、請求項２又は３に記載の装置。

【請求項5】

前記１つ又は複数のプロセッサが、
－前記第２の位置を使用して前記少なくとも１つのパッチを前記第２の画像内に配置し、
－少なくとも前記第２の画像及び前記少なくとも１つのパッチの前記第１の位置に基づいて、前記計算機合成ホログラムを再構成するように更に構成される、請求項２又は４のいずれか一項に記載の装置。

【請求項6】

前記第２の位置を判定することが、
－前記第２の画像内のパッチ間の分離値を判定することであって、前記分離値が、前記再構成された計算機合成ホログラムを表示するために使用される少なくとも１つのディスプレイの少なくとも１つの特性に基づく、判定することを含む、請求項２又は４～５のいずれか一項に記載の装置。

【請求項7】

前記少なくとも１つのディスプレイの前記少なくとも１つの特性は、前記ディスプレイのピクセルピッチ、又は前記ディスプレイからの前記計算機合成ホログラムの視距離のうちの少なくとも１つである、請求項６に記載の装置。

【請求項8】

前記１つ又は複数のプロセッサが、
－前記判定された第２の位置を使用して前記第２の画像内に配置された少なくとも２つのパッチが前記判定された分離値によって分離されていないという判定に応答して、前記第２の画像内に配置された全てのパッチが前記判定された分離値によって分離されるように、前記第２の画像内の前記少なくとも２つのパッチを再配置するように更に構成される、請求項６又は７に記載の装置。

【請求項9】

前記第２の位置を判定することが、
－パッチを再配置することができる前記第２の画像内の領域を示すデータ、又は前記第２の画像内で再配置する必要があるパッチを示すデータのうちの少なくとも１つを復号することを含む、請求項２、３又は５～８のいずれか一項に記載の装置。

【請求項10】

前記第２の位置を使用して前記少なくとも１つのパッチを前記第２の画像内に配置することが、前記判定された分離値を考慮に入れる、請求項６、８のいずれか一項に記載の装置。

【請求項11】

前記計算機合成ホログラムを再構成することが、
－前記第２の画像をホログラム面に伝播させることであって、前記第２の画像が、前記多平面画像の前記第１の画像と同じ深度を有する、伝播させることと、
－前記少なくとも１つのパッチの前記第１の位置を使用して、前記少なくとも１つのパッチに対応する伝播データを前記計算機合成ホログラム内に配置することとを含む、請求項５～１０のいずれか一項に記載の装置。

【請求項12】

前記少なくとも１つのパッチの前記第２の位置を判定することが、前記少なくとも１つの層の前記パッチが配置される領域よりも小さい領域における前記多平面画像の前記少なくとも１つの層のパッチのグループ化に基づく、請求項２～１１のいずれか一項に記載の装置。

【請求項13】

前記グループ化が、パッチが重なり合わない各パッチの周囲領域を考慮に入れ、前記周囲領域が、前記少なくとも一層の前記パッチから計算機合成ホログラムを再構成するときに判定される伝播ゾーンに対応する、請求項１２に記載の装置。

【請求項14】

前記少なくとも１つのシンタックス要素が、水平オフセット及び垂直オフセットを含む、請求項４に記載の装置。

【請求項15】

前記第２の位置を判定することが、
－前記第２の画像内のパッチ間の分離値を判定することであって、前記分離値が、前記再構成された計算機合成ホログラムを表示するために使用される少なくとも１つのディスプレイの少なくとも１つの特性に基づく、判定することを含む、請求項１又は３～５のいずれか一項に記載の方法。

【請求項16】

前記少なくとも一つのディスプレイの前記少なくとも１つの特性が、前記ディスプレイのピクセルピッチ又は前記ディスプレイからの前記計算機合成ホログラムの視距離の少なくとも一方である、請求項１５に記載の方法。

【請求項17】

－前記判定された第２の位置を使用して前記第２の画像内に配置された少なくとも２つのパッチが前記判定された分離値によって分離されていないという判定に応答して、前記第２の画像内に配置された全てのパッチが前記判定された分離値によって分離されるように、前記第２の画像内の前記少なくとも２つのパッチを再配置することを更に含む、請求項１５又は１６に記載の方法。

【請求項18】

前記第２の位置を使用して前記少なくとも１つのパッチを前記第２の画像内に配置することが、前記判定された分離値を考慮に入れる、請求項１５又は１６のいずれか一項に記載の方法。

【請求項19】

方法であって、
－多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームで符号化することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用される、符号化することと、
－第２の画像を使用して計算機合成ホログラムを再構成するときに、少なくとも１つのパッチについて、第２の画像内に少なくとも１つのパッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定することであって、第２の画像が、第１の画像よりも小さいサイズを有する、判定することと、
－前記ビットストリーム内の前記少なくとも１つの情報の項目を符号化することと
を含む方法。

【請求項20】

１つ又は複数のプロセッサを備える装置であって、前記１つ又は複数のプロセッサが、
－多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータをビットストリームで符号化することであって、前記データが、前記多平面画像の第１の画像内に前記パッチを配置するための第１の位置を含み、前記第１の位置が、３Ｄシーン内に前記パッチの再構成されたコンテンツを配置するために使用され、符号化し、
－第２の画像を使用して計算機合成ホログラムを再構成するときに、少なくとも１つのパッチについて、第２の画像内に少なくとも１つのパッチを配置するための第２の位置を判定することを可能にする少なくとも１つの情報の項目を判定することであって、第２の画像が、第１の画像よりも縮小されたサイズを有する、判定し、
－前記ビットストリーム内の前記少なくとも１つの情報の項目を符号化するように構成された１つ又は複数のプロセッサを備える装置。

【請求項21】

前記少なくとも１つの情報の項目が、
－パッチを再配置することができる第２の画像内の領域を示すデータと、
－前記第２の画像内で再配置されなければならないパッチを示すデータと、
－前記少なくとも１つのパッチに関連付けられた少なくとも１つのシンタックス要素であって、前記少なくとも１つのシンタックス要素が前記第２の位置を表す、少なくとも１つのシンタックス要素と、
－ビットストリーム内の第２の位置の存在を示すシンタックス要素と、
－前記少なくとも１つのパッチのピクセルが一定の深度を有することを示すシンタックス要素と、
－計算機合成ホログラム再構成のための情報がビットストリーム内に存在するか否かを示すシンタックス要素のうちの少なくとも１つを含む、請求項２０に記載の装置。

【請求項22】

１つ又は複数のプロセッサに、請求項１、３又は１５～１９のいずれか一項に記載の方法を実行させるための命令を記憶しているコンピュータ可読記憶媒体。

【請求項23】

デバイスであって、
－請求項２又は４～１４のいずれか一項に記載の装置と、
－（ｉ）信号を受信するように構成されたアンテナであって、前記信号が、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表すデータを含み、前記データが、前記パッチを前記多平面画像の第１の画像内に配置するための第１の位置を含み、前記第１の位置が、前記パッチの再構成されたコンテンツを３Ｄシーンに配置するために使用される、アンテナ、（ｉｉ）前記受信信号を、多平面画像の少なくとも１つの層の少なくとも１つのパッチを表す前記データを含む周波数の帯域に制限するように構成された帯域リミッタ、又は（ｉｉｉ）前記計算機合成ホログラムを表示するように構成されたディスプレイのうちの少なくとも１つとを備えるデバイス。

【請求項24】

前記ディスプレイがホログラフィックディスプレイである、請求項２３に記載のデバイス。

【請求項25】

ＴＶ、携帯電話、タブレット、又はセットトップボックスを備える、請求項２３又は２４に記載のデバイス。

【国際調査報告】