特表 2022-533754 ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-25

(54)【発明の名称】ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品

(51)【国際特許分類】

   G06T 17/00 20060101AFI20220715BHJP

   H04N 19/85 20140101ALI20220715BHJP

【ＦＩ】

G06T17/00

H04N19/85

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021569317

(86)(22)【出願日】2020-04-15

(85)【翻訳文提出日】2022-01-05

(86)【国際出願番号】 FI2020050243

(87)【国際公開番号】W WO2020234509

(87)【国際公開日】2020-11-26

(31)【優先権主張番号】20195425

(32)【優先日】2019-05-22

(33)【優先権主張国・地域又は機関】FI

(81)【指定国・地域】

(71)【出願人】

【識別番号】515076873

【氏名又は名称】ノキア テクノロジーズ オサケユイチア

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】シュヴァルツ セバスチャン

(72)【発明者】

【氏名】ロイメラ キンモ

(72)【発明者】

【氏名】ペソネン ミカ

【テーマコード（参考）】

5B080

5C159

【Ｆターム（参考）】

5B080AA00

5B080AA14

5B080AA17

5B080AA19

5B080BA02

5B080BA04

5B080CA01

5B080DA06

5B080FA02

5B080FA03

5B080FA09

5B080FA15

5B080FA17

5B080GA00

5B080GA02

5B080GA06

5B080GA22

5C159LA00

5C159PP03

(57)【要約】

復号化のための方法は、映像提示に関する圧縮ビットストリームを受信することと、受信されたビットストリームから、映像フレームの３次元ブロックに関するデータを復号化することと、映像フレームのブロックごとに、表面パラメータに関する情報を決定することと、表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成することと、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出することと、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定することと、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすることと、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成することと、再構成された３次元データに従って映像提示をレンダリングのために再構成することと、を含む。

【特許請求の範囲】

【請求項1】

符号化のための方法であって、
－ 映像提示フレームを受信することであって、前記映像提示が３次元データを表現する、受信することと、
－ 前記映像提示フレームから１つまたは複数のパッチを生成することと、
－ 映像フレームのパッチを１つまたは複数のブロックに分割することと、
－ パッチの前記１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定することと、
－ 前記決定された表面パラメータをビットストリームに符号化することと、
－ 前記符号化されたビットストリームをレンダリング装置への伝送のために記憶することと、
を含む、方法。

【請求項2】

復号化のための方法であって、
－ 映像提示に関する圧縮ビットストリームを受信することであって、前記ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、受信することと、
－ 前記受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化することと、
－ 前記映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定することと、
－ 前記１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成することと、
－ 視点から前記ピクセルの座標への前記３次元ブロックのピクセルごとの光線方向を算出することと、
－ 前記生成されたバウンディングボックスに対する前記光線の交差に従って少なくとも２つの点を決定することと、
－ 前記決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすることと、
－ ブロックのための１つまたは複数の表面パラメータに関する前記情報に従って前記ジオメトリ画像および前記テクスチャ画像から３次元データを再構成することと、
－ 前記再構成された３次元データに従って映像提示をレンダリングのために再構成することと、
を含む、方法。

【請求項3】

ビットストリームを符号化するための装置であって、
－ 映像提示フレームを受信するための手段であって、前記映像提示が３次元データを表現する、手段と、
－ 前記映像提示フレームから１つまたは複数のパッチを生成するための手段と、
－ 映像フレームのパッチを１つまたは複数のブロックに分割するための手段と、
－ パッチの前記１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定するための手段と、
－ 前記決定された表面パラメータをビットストリームに符号化するための手段と、
－ 前記符号化されたビットストリームをレンダリング装置への伝送のために記憶するための手段と、
を備える、装置。

【請求項4】

前記表面パラメータがパッチの深度または深度差である、請求項３に記載の装置。

【請求項5】

前記表面パラメータが、深度差から決定されたレンダリング厚さパラメータである、請求項３に記載の装置。

【請求項6】

前記レンダリング厚さパラメータを補足強化情報（ＳＥＩ）メッセージに符号化するための手段をさらに備える、請求項３～５のいずれか１項に記載の装置。

【請求項7】

前記レンダリングパラメータがブロックごとに決定される、請求項３～６のいずれか１項に記載の装置。

【請求項8】

前記レンダリングパラメータが占有マップに符号化される、請求項３～７のいずれか１項に記載の装置。

【請求項9】

深度レイヤの間の色補間を前記ビットストリームに符号化することをさらに含む、請求項３～８のいずれか１項に記載の装置。

【請求項10】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備える、請求項３～９のいずれか１項に記載の装置。

【請求項11】

ビットストリームを復号化するための装置であって、
－ 映像提示に関する圧縮ビットストリームを受信するための手段であって、前記ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、手段と、
－ 前記受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化するための手段と、
－ 前記映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定するための手段と、
－ 前記１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成するための手段と、
－ 視点から前記ピクセルの座標への前記３次元ブロックのピクセルごとの光線方向を算出するための手段と、
－ 前記生成されたバウンディングボックスに対する前記光線の交差に従って少なくとも２つの点を決定するための手段と、
－ 前記決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストするための手段と、
－ ブロックのための１つまたは複数の表面パラメータに関する前記情報に従って前記ジオメトリ画像および前記テクスチャ画像から３次元データを再構成するための手段と、
－ 前記再構成された３次元データに従って映像提示をレンダリングのために再構成するための手段と、
を備える、装置。

【請求項12】

１つまたは複数の表面パラメータに関する前記情報がビットストリームから復号化される、請求項１１に記載の装置。

【請求項13】

１つまたは複数の表面パラメータに関する前記情報が様々な深度レイヤのピクセルから決定される、請求項１１に記載の装置。

【請求項14】

前記レイキャストを終えるための前記条件が、ピクセルの位置上の両方の深度レイヤのための深度値を決定することによって、前記視光線からの深度値を算出することによって、および前記視光線からの前記深度値を、前記決定された深度値と比較することによって決定される、請求項１１～１３のいずれか１項に記載の装置。

【請求項15】

前記レイキャストを終えるための前記条件が、深度差値およびピクセル座標から形成された別のバウンディングボックスから決定される、請求項１１～１４のいずれか１項に記載の装置。

【請求項16】

前記表面パラメータがパッチの深度または深度差である、請求項１１～１５のいずれか１項に記載の装置。

【請求項17】

前記表面パラメータが、深度差から決定されたレンダリング厚さパラメータである、請求項１１～１５のいずれか１項に記載の装置。

【請求項18】

前記光線方向に基づいて少なくとも２つの点を決定し、２次元座標における前記２つの点の間のあらゆるピクセルをレイキャストすることをさらに含む、請求項１１～１７のいずれか１項に記載の装置。

【請求項19】

前記２つの点の間の２次元ピクセルごとに第１および第２の深度レイヤのための深度値を得ることをさらに含む、請求項１８に記載の装置。

【請求項20】

点群コンテンツと前記光線との間の交差が存在するかどうかを決定することをさらに含む、請求項１９に記載の装置。

【請求項21】

前記レンダリング厚さパラメータを補足強化情報（ＳＥＩ）メッセージから復号化するための手段をさらに備える、請求項１１～２０のいずれか１項に記載の装置。

【請求項22】

前記レンダリングパラメータがブロックごとに復号化される、請求項１１～２１のいずれか１項に記載の装置。

【請求項23】

前記レンダリングパラメータが占有マップから復号化される、請求項１１～２２のいずれか１項に記載の装置。

【請求項24】

深度レイヤの間の色補間を前記ビットストリームから復号化することをさらに含む、請求項１１～２３のいずれか１項に記載の装置。

【請求項25】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備える、請求項１１～２４のいずれか１項に記載の装置。

【請求項26】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備える装置であって、前記メモリおよび前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも以下のこと：
－ 映像提示フレームを受信することであって、前記映像提示が３次元データを表現する、受信することと、
－ 前記映像提示フレームから１つまたは複数のパッチを生成することと、
－ 映像フレームのパッチを１つまたは複数のブロックに分割することと、
－ パッチの前記１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定することと、
－ 前記決定された表面パラメータをビットストリームに符号化することと、
－ 前記符号化されたビットストリームをレンダリング装置への伝送のために記憶することと、
を遂行させるように構成されている、装置。

【請求項27】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備える装置であって、前記メモリおよび前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも以下のこと：
－ 映像提示に関する圧縮ビットストリームを受信することであって、前記ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、受信することと、
－ 前記受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化することと、
－ 前記映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定することと、
－ 前記１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成することと、
－ 視点から前記ピクセルの座標への前記３次元ブロックのピクセルごとの光線方向を算出することと、
－ 前記生成されたバウンディングボックスに対する前記光線の交差に従って少なくとも２つの点を決定することと、
－ 前記決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすることと、
－ ブロックのための１つまたは複数の表面パラメータに関する前記情報に従って前記ジオメトリ画像および前記テクスチャ画像から３次元データを再構成することと、
－ 前記再構成された３次元データに従って映像提示をレンダリングのために再構成することと、
を遂行させるように構成されている、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本解決策は、概して、ボリュメトリック映像符号化に関する。特に、本解決策は点群圧縮に関する。

【背景技術】

【0002】

写真撮影術および映画撮影術の始まり以来、最も一般的な種類の画像および映像コンテンツは、比較的狭い視野を有するカメラによって取り込まれ、平面ディスプレイ上の長方形シーンとして表示されてきた。カメラは主に指向性を有し、これにより、それらは限られた視野角（それらが向けられた視野）のみを取り込む。

【0003】

より最近では、新たな画像および映像取り込みデバイスが利用可能になっている。これらのデバイスはそれらの周りの全方位にわたる視覚および音声コンテンツを取り込むことができる。すなわち、それらは、時として、３６０度視野と称される、全視野角を取り込むことができる。より正確には、それらは球面状の視野（すなわち、全ての空間方向において３６０度）を取り込むことができる。さらに、ヘッドマウンテッドディスプレイなどの、新たな種類の出力技術が発明され、生産されている。これらのデバイスは、人が自分の周りの全方位にわたる視覚コンテンツを見ることを可能にし、３６０度カメラによって取り込まれたシーン内に「溶け込んでいる（ｉｍｍｅｒｓｅｄ）」感覚を与える。視野が球面状である、新たな取り込みおよび表示パラダイムは、一般的に、仮想現実感（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）と称され、人々が将来においてメディアコンテンツを体験することになる一般的な仕方になると考えられている。

【0004】

ボリュメトリック映像のためには、１つまたは複数の３Ｄ（３次元）カメラを用いてシーンが取り込まれ得る。カメラはシーン内の異なる位置および配向にある。考慮すべき課題は、２Ｄ（２次元）映像コンテンツと比べて、ボリュメトリック３Ｄ映像コンテンツははるかにより多くのデータを有し、これにより、それを観視することは（それを記憶場所から観視デバイスへ転送することを伴うか、伴わないかに関わらず）多量の帯域幅：ディスクＩ／Ｏ、ネットワークトラフィック、メモリ帯域幅、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィック処理装置））アップロードを必要とすることである。ボリュメトリックコンテンツを取り込むことも、特に、並列に用いられる複数の取り込みデバイスが存在するときには、多量のデータを生み出す。

【発明の概要】

【0005】

今般、ボリュメトリック映像符号化のための改善をもたらすために、改善された方法、および本方法を実施する技術的機器が発明された。様々な態様は、独立請求項において記載されるものによって特徴付けられる、方法、装置、および内部に記憶されたコンピュータプログラムを含むコンピュータ可読媒体を含む。様々な実施形態が従属請求項において開示される。

【0006】

第１の態様によれば、符号化のための方法であって、映像提示フレーム（ｖｉｄｅｏ ｐｒｅｓｅｎｔａｔｉｏｎ ｆｒａｍｅ）を受信することであって、映像提示が３次元データを表現する、受信することと、映像提示フレームから１つまたは複数のパッチを生成することと、映像フレームのパッチを１つまたは複数のブロックに分割することと、パッチの該１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定することと、決定された表面パラメータをビットストリームに符号化することと、符号化されたビットストリームをレンダリング装置への伝送のために記憶することと、を含む、方法が提供される。

【0007】

第２の態様によれば、復号化のための方法であって、映像提示に関する圧縮ビットストリームを受信することであって、ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、受信することと、受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化することと、映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定することと、１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成することと、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出することと、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定することと、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすることと、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成することと、再構成された３次元データに従って映像提示をレンダリングのために再構成することと、を含む、方法が提供される。

【0008】

第３の態様によれば、ビットストリームを符号化するための装置であって、映像提示フレームを受信するための手段であって、映像提示が３次元データを表現する、手段と、映像提示フレームから１つまたは複数のパッチを生成するための手段と、映像フレームのパッチを１つまたは複数のブロックに分割するための手段と、パッチの該１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定するための手段と、決定された表面パラメータをビットストリームに符号化するための手段と、符号化されたビットストリームをレンダリング装置への伝送のために記憶するための手段と、を備える、装置が提供される。

【0009】

第４の態様によれば、ビットストリームを復号化するための装置であって、映像提示に関する圧縮ビットストリームを受信するための手段であって、ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、手段と、受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化するための手段と、映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定するための手段と、１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成するための手段と、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出するための手段と、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定するための手段と、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストするための手段と、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成するための手段と、再構成された３次元データに従って映像提示をレンダリングのために再構成するための手段と、を備える、装置が提供される。

【0010】

第５の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備える装置であって、メモリおよびコンピュータプログラムコードが、少なくとも１つのプロセッサを用いて、装置に、少なくとも以下のこと：映像提示フレームを受信することであって、映像提示が３次元データを表現する、受信することと、映像提示フレームから１つまたは複数のパッチを生成することと、映像フレームのパッチを１つまたは複数のブロックに分割することと、パッチの該１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定することと、決定された表面パラメータをビットストリームに符号化することと、符号化されたビットストリームをレンダリング装置への伝送のために記憶することと、を遂行させるように構成されている、装置が提供される。

【0011】

第６の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備える装置であって、メモリおよびコンピュータプログラムコードが、少なくとも１つのプロセッサを用いて、装置に、少なくとも以下のこと：映像提示に関する圧縮ビットストリームを受信することであって、ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、受信することと、受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化することと、映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定することと、１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成することと、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出することと、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定することと、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすることと、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成することと、再構成された３次元データに従って映像提示をレンダリングのために再構成することと、を遂行させるように構成されている、装置が提供される。

【0012】

第７の態様によれば、コンピュータプログラムコードを含むコンピュータプログラム製品であって、コンピュータプログラムコードが、少なくとも１つのプロセッサ上で実行されたときに、装置またはシステムに、映像提示フレームを受信することであって、映像提示が３次元データを表現する、受信することと、映像提示フレームから１つまたは複数のパッチを生成することと、映像フレームのパッチを１つまたは複数のブロックに分割することと、パッチの該１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定することと、決定された表面パラメータをビットストリームに符号化することと、符号化されたビットストリームをレンダリング装置への伝送のために記憶することと、を行わせるように構成されている、コンピュータプログラム製品が提供される。

【0013】

第８の態様によれば、コンピュータプログラムコードを含むコンピュータプログラム製品であって、コンピュータプログラムコードが、少なくとも１つのプロセッサ上で実行されたときに、装置またはシステムに、映像提示に関する圧縮ビットストリームを受信することであって、ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、受信することと、受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化することと、映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定することと、１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成することと、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出することと、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定することと、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすることと、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成することと、再構成された３次元データに従って映像提示をレンダリングのために再構成することと、を行わせるように構成されている、コンピュータプログラム製品が提供される。

【0014】

一実施形態によれば、１つまたは複数の表面パラメータに関する情報はビットストリームから復号化される。

【0015】

一実施形態によれば、１つまたは複数の表面パラメータに関する情報は様々な深度レイヤ（ｄｅｐｔｈ ｌａｙｅｒ）のピクセルから決定される。

【0016】

一実施形態によれば、レイキャストを終えるための条件は、ピクセルの位置上の両方の深度レイヤのための深度値を決定することによって、視光線からの深度値を算出することによって、および視光線からの深度値を、決定された深度値と比較することによって決定される。

【0017】

一実施形態によれば、レイキャストを終えるための条件は、深度差値およびピクセル座標から形成された別のバウンディングボックスから決定される。

【0018】

一実施形態によれば、表面パラメータはパッチの深度または深度差である。

【0019】

一実施形態によれば、表面パラメータは、深度差から決定されたレンダリング厚さ（ｒｅｎｄｅｒｉｎｇ ｔｈｉｃｋｎｅｓｓ）パラメータである。

【0020】

一実施形態によれば、少なくとも２つの点が光線方向に基づいて決定され、２次元座標における該２つの点の間のあらゆるピクセルをレイキャストする。

【0021】

一実施形態によれば、上記の２つの点の間の２次元ピクセルごとに第１および第２の深度レイヤのための深度値が得られる。

【0022】

一実施形態によれば、点群コンテンツ（ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ）と光線との間の交差が存在するかどうかが決定される。

【0023】

一実施形態によれば、レンダリング厚さパラメータは補足強化情報（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージに符号化されるか、またはそれから復号化される。

【0024】

一実施形態によれば、レンダリングパラメータはブロックごとに符号化／復号化される。

【0025】

一実施形態によれば、レンダリングパラメータは占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）に符号化されるか、またはそれから復号化される。

【0026】

一実施形態によれば、深度レイヤの間の色補間がビットストリームに符号化されるか、またはそれから復号化される。

【0027】

一実施形態によれば、コンピュータプログラム製品は非一時的コンピュータ可読媒体上に組み込まれている。

【0028】

以下において、添付の図面を参照して様々な実施形態がより詳細に説明される。

【図面の簡単な説明】

【0029】

【図1】圧縮プロセスの一例を示す図である。

【図2】レイヤ投影構造の一例を示す図である。

【図3】復元プロセスの一例を示す図である。

【図4】フレーム内のパッチの一例を示す図である。

【図5】３Ｄにおけるブロックの一例を示す図である。

【図6】２Ｄにおけるブロックの一例を示す図である。

【図7】可能性のあるレンダリング表面厚さ値を有する復号化された信号の一例を示す図である。

【図8】一実施形態に係る方法を示すフローチャートである。

【図9】別の実施形態に係る方法を示すフローチャートである。

【図10】一実施形態に係るシステムを示す図である。

【図11】一実施形態に係る符号化プロセスを示す図である。

【図12】一実施形態に係る復号化プロセスを示す図である。

【発明を実施するための形態】

【0030】

以下において、いくつかの実施形態がデジタルボリュメトリック映像との関連で説明される。特に、いくつかの実施形態はデジタルボリュメトリック映像素材の符号化および復号化を可能にする。本実施形態は、例えば、ＭＰＥＧ映像ベースの点群符号化（Ｖｉｄｅｏ－Ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｄｉｎｇ、Ｖ－ＰＣＣ）において適用可能である。

【0031】

ボリュメトリック映像は、１つまたは複数の３次元（３Ｄ）カメラを用いて取り込まれ得る。複数のカメラが用いられているときには、取り込まれた映像場面は、カメラが同じ世界に対する異なる視点を提供するよう、同期される。伝統的な２次元／３次元（２Ｄ／３Ｄ）映像とは対照的に、ボリュメトリック映像は、観視者が自由に動いて世界の異なる部分を観察できる世界の３Ｄモデルを記述する。

【0032】

ボリュメトリック映像は、観視者が６自由度（ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ、ＤＯＦ）で動くことを可能にする。ユーザが２～３自由度（ヨー、ピッチ、および場合によっては、ロール）を有する、一般的な３６０°映像とは対照的に、ボリュメトリック映像は、平坦な画像平面ではなく、形状の３Ｄボリュームを表現する。ボリュメトリック映像フレームは、それらが、単なる２Ｄ平面の代わりに、３Ｄボリュームのコンテンツをモデル化するため、大量のデータを包含する。しかし、ボリュームの比較的小さい部分のみが経時的に変化する。したがって、初期状態、およびフレーム間で生じ得る変化に関する情報のみを符号化することによって、総データ量を低減することが可能になり得る。ボリュメトリック映像は、例えば、合成３Ｄアニメーションからレンダリングするか、ストラクチャフロムモーション（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）などの３Ｄ再構成技法を用いて多視点映像から再構成するか、あるいはカメラ、およびＬｉＤＡＲなどの深度センサの組み合わせを用いて取り込むことができる。

【0033】

ボリュメトリック映像データは３次元シーンまたはオブジェクトを表現し、拡張現実感（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）、仮想現実感（ＶＲ）、および複合現実感（ｍｉｘｅｄ ｒｅａｌｉｔｙ、ＭＲ）適用物のための入力として用いることができる。このようなデータは、ジオメトリ（３Ｄ空間における形状、サイズ、位置）、およびそれぞれの属性（例えば、色、不透明度、反射率、…）を記述する。加えて、ボリュメトリック映像データは所与の時間インスタンス（２Ｄ映像におけるフレームなど）におけるジオメトリおよび属性の任意の可能な時間変化を規定することができる。ボリュメトリック映像は、３Ｄモデル、すなわち、コンピュータ生成イマジナリ（ｃｏｍｐｕｔｅｒ－ｇｅｎｅｒａｔｅｄ ｉｍａｇｉｎａｒｙ、ＣＧＩ）から生成するか、あるいは種々の取り込みソリューション、例えば、マルチカメラ、レーザ走査、映像および専用深度センサの組み合わせ、およびその他のものを用いて現実世界シーンから取り込むことができる。また、ＣＧＩおよび現実世界データの組み合わせも可能である。このようなボリュメトリックデータのための表現形式の例は、三角形メッシュ、点群、またはボクセルを含む。シーンに関する時間情報は、２Ｄ映像における個々の取り込みインスタンス、すなわち、「フレーム」、または他の手段、例えば、時間の関数としてのオブジェクトの位置の形で含まれ得る。

【0034】

ボリュメトリック映像は３Ｄシーン（またはオブジェクト）を記述するため、このようなデータは任意の視点から観視することができる。したがって、ボリュメトリック映像は、特に、６ＤＯＦ観視能力を提供するための、任意のＡＲ、ＶＲ、またはＭＲ適用物のための重要な形式である。

【0035】

増大する計算リソース、および３Ｄデータ獲得デバイスにおける進歩は、自然のシーンの非常に詳細なボリュメトリック映像表現の再構成を可能にした。赤外線、レーザ、飛行時間および構造化光が、３Ｄ映像データを構築するために用いることができるデバイスの例である。３Ｄデータの表現は、３Ｄデータがどのように用いられるのかに依存する。ボリュメトリック医療データを表現するには、密ボクセル（Ｄｅｎｓｅ Ｖｏｘｅｌ）アレイが用いられてきた。３Ｄグラフィックスでは、多角形メッシュが広範に用いられている。他方で、トポロジが必ずしも２Ｄ多様体であるとは限らない現実世界の３Ｄシーンの取り込みなどの適用物には、点群がよく適している。３Ｄデータを表現する別の仕方は、３Ｄデータを、多視点プラス深度（ｍｕｌｔｉ－ｖｉｅｗ ｐｌｕｓ ｄｅｐｔｈ）の場合と同様に、テクスチャおよび深度マップのセットとして符号化することである。多視点プラス深度において用いられる技法に密接に関連しているのは、高度マップ、およびマルチレベル表面マップ（ｍｕｌｔｉ－ｌｅｖｅｌ ｓｕｒｆａｃｅ ｍａｐ）の使用である。

【0036】

３Ｄ点群において、各３Ｄ表面の各点は、色、および／または面法線もしくは材料反射率などの他の属性情報を有する３Ｄ点として記述される。点群は、座標系における、例えば、Ｘ、Ｙ、およびＺ座標によって定義される３次元座標系におけるデータ点（すなわち、位置）のセットである。点は、スクリーン空間における、例えば、３Ｄ空間におけるオブジェクトの外面を表現し得る。点は属性のベクトルに関連付けられ得る。点群は、オブジェクトまたはシーンを点の合成物として再構成するために用いることができる。点群は、複数のカメラおよび深度センサを用いることによって取り込むことができる。動的点群は一連の静的点群であり、各静的点群はそれ自体で「点群フレーム」である。

【0037】

密点群（ｄｅｎｓｅ ｐｏｉｎｔ ｃｌｏｕｄｓ）またはボクセルアレイ内において、再構成された３Ｄシーンは、数千万個、またはさらには、数億個の点を包含し得る。このような表現が記憶されるか、またはエンティティの間で交換されることになる場合には、このとき、効率的な圧縮が必要とされる。点群、メッシュ、ボクセルなどの、ボリュメトリック映像表現形式は十分な時間的圧縮性能を有しない。３Ｄ空間における動き補償のための対応関係を識別することは、ジオメトリおよびそれぞれの属性がどちらも変化し得るため、不良定義問題になる。例えば、時間的に連続した点群フレームが必ずしも同数のメッシュ、点、またはボクセルを有するとは限らない。したがって、動的３Ｄシーンの圧縮は非効率的である。２Ｄ映像に基づくボリュメトリックデータ、すなわち、多視点および深度を圧縮するためのアプローチは、より良好な圧縮効率を有するが、シーン全体を網羅することはまれである。したがって、それらは限定的な６ＤＯＦ能力をもたらすのみである。

【0038】

上述のアプローチの代わりに、メッシュ、点、および／またはボクセルとして表現された３Ｄシーンが１つまたは複数のジオメトリ上に投影され得る。これらのジオメトリを２Ｄ平面（１つのジオメトリ当たり２つの平面：１つはテクスチャのためのもの、１つは深度のためのもの）上に「広げる（ｕｎｆｏｌｄｅｄ）」ことができ、これが、次に、標準的な２Ｄ映像圧縮技術を用いて符号化され得る。関連投影ジオメトリ情報が、符号化された映像ファイルと一緒に復号器へ伝送され得る。復号器は映像を復号化し、逆投影を遂行し、３Ｄシーンを任意の所望の表現形式（必ずしも開始時の形式とは限らない）で再生成し得る。

【0039】

ボリュメトリックモデルを２Ｄ平面上に投影することは、高効率の時間的圧縮を用いる標準的な２Ｄ映像符号化ツールを用いることを可能にする。それゆえ、符号化効率が大きく増大する。周知の２Ｄ映像ベースのアプローチ、すなわち、多視点および深度の代わりに、ジオメトリ投影を用いることは、シーン（またはオブジェクト）のより良好なカバレッジをもたらす。それゆえ、６ＤＯＦ能力が改善される。個々のオブジェクトのためにいくつかのジオメトリを用いることはシーンのカバレッジをさらに改善する。さらに、標準的な映像符号化ハードウェアを投影面のリアルタイムの圧縮／復元のために利用することができる。投影および逆投影ステップは複雑性の低いものである。

【0040】

圧縮プロセスの概要が次に簡単に説明される。このようなプロセスは、例えば、Ｖ－ＰＣＣにおいて適用され得る。符号化段階において、入力点群フレームは以下の仕方で処理される：まず、ボリュメトリック３Ｄデータが、異なる構成要素における３Ｄ投影のセットとして表現され得る。分離段階において、画像が、ジオメトリのための遠方および近方成分ならびに対応する属性成分に分解され、加えて、占有マップ２Ｄ画像が、用いられることになる画像の部分を指示するために作成され得る。２Ｄ投影は、入力点群フレームのジオメトリ特性に基づく独立したパッチで構成される。パッチが生成され、映像符号化のための２Ｄフレームが作成された後に、占有マップ、ジオメトリ情報、および補助情報が圧縮され得る。プロセスの最後に、別個のビットストリームが出力圧縮バイナリファイルに多重化される。

【0041】

図１は符号化プロセスをより詳細な様態で示す。

【0042】

プロセスは、パッチ生成１０２、ジオメトリ画像生成１０４、およびテクスチャ画像生成１０５のために提供される点群フレーム１０１を表現する入力フレームから開始する。各点群フレーム１０１は、固有の座標および属性を有する３Ｄボリュメトリック空間内の点のデータセットを表現する。

【0043】

パッチ生成１０２のプロセスは、最良の圧縮をもたらす方略を用いて３Ｄサンプルを所与の投影平面上の２Ｄサンプルに変換することによって、点群フレーム１０１を分解する。一例によれば、パッチ生成１０２のプロセスは、点群フレーム１０１を、滑らかな境界を有する最小限の数のパッチに分解し、その一方で、再構成誤差も最小限に抑えることを目指す。

【0044】

パッチ生成１０２の初期段階において、各点ごとの法線が推定される。接平面およびその対応する法線は、点ごとに、既定の探索距離以内の該点の最近傍点ｍに基づいて定義される。ｋ次元木が、データを分離し、点ｐ_iの付近の近傍を見いだすために用いられてもよく、点のそのセットの重心

【0045】

【数1】

が、法線を定義するために用いられる。重心ｃは次式のように計算され得る：

【数2】

【0046】

法線は、定義された点群のための固有分解から次式のように推定される：

【数3】

【0047】

この情報に基づいて、各点は、点群バウンディングボックスの対応する平面に関連付けられる。各平面は、以下の値を有する対応する法線

【数4】

によって定義される：
－ （１．０，０．０，０．０）、
－ （０．０，１．０，０．０）、
－ （０．０，０．０，１．０）、
－ （－１．０，０．０，０．０）、
－ （０．０，－１．０，０．０）、
－ （０．０，０．０，－１．０）

【0048】

より正確には、各点は、最も近い法線を有する（すなわち、点法線

【数5】

と面法線

【数6】

とのドット積を最大化する）平面に関連付けられ得る。

【数7】

【0049】

法線の符号は、「中心」との関係で点の位置に依存して定義される。

【0050】

初期クラスタ化は、その後、各点に関連付けられたクラスタインデックスを、その法線、およびその最近傍点のクラスタインデックスに基づいて反復的に更新することによって、洗練され得る。パッチ生成１０２の最終ステップは、連結成分抽出手順（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ｅｘｔｒａｃｔｉｏｎ ｐｒｏｃｅｄｕｒｅ）を適用することによってパッチを抽出することを含み得る。

【0051】

入力点群フレーム１０１のためにパッチ生成１０２において決定されたパッチ情報は、パッチパッキング（ｐａｔｃｈ ｐａｃｋｉｎｇ）１０３へ、ジオメトリ画像生成１０４へ、テクスチャ画像生成１０５へ、属性平滑化（３Ｄ）１０９へ、および補助パッチ情報圧縮１１３へ送られる。パッチパッキング１０３は、生成されたパッチを適切に考慮することによって、ならびに各パッチに対応するジオメトリおよびテクスチャデータをサイズＷｘＨの２Ｄ格子上に効率的に配置することを試みることによって、ジオメトリおよびテクスチャマップを生成することを目指す。このような配置はまた、この２Ｄ格子上に配置されたときの別個のパッチの間の最小距離を指定する、ユーザ定義の最小サイズブロックＴｘＴ（例えば、１６ｘ１６）も考慮する。パラメータＴはビットストリーム内に符号化され、復号器へ送信され得る。

【0052】

パッキングプロセス１０３は、パッチをＷｘＨ格子内に挿入することを反復的に試み得る。ＷおよびＨは、符号化されることになるジオメトリ／テクスチャ画像の解像度に対応する、ユーザ定義パラメータである。パッチの場所は、ラスタ走査順序で遂行され得る全数探索を通じて決定され得る。最初に、パッチが、重なりのない挿入を保証するであろう仕方で２Ｄ格子上に配置される。（Ｔの倍数である値に丸められた）パッチに属するサンプルは、占有されたブロックとして考慮される。加えて、隣接したパッチ間のセーフガード（ｓａｆｅｇｕａｒｄ）が、Ｔの倍数である少なくとも１つのブロックの距離に強制される。パッチは、パッチインデックスリストに基づいて、順序に従って処理される。リストからの各パッチは格子上に反復的に配置される。格子解像度は元の点群サイズに依存し、その幅（Ｗ）および高さ（Ｈ）が復号器へ伝送される。次のパッチのために利用可能な空き空間が存在しない場合には、格子の高さ値が最初に２倍にされ、このパッチの挿入が再び評価される。全てのパッチの挿入が成功した場合には、このとき、高さは必要最小限の値に切り落とされる。しかし、この値は、符号器において元々指定された値よりも低く設定されることを許されない。ＷおよびＨのための最終値は、適切な映像コーデックを用いてテクスチャおよびジオメトリ映像信号を符号化するために用いられるフレーム解像度に対応する。

【0053】

ジオメトリ画像生成１０４およびテクスチャ画像生成１０５は、ジオメトリ画像およびテクスチャ画像を生成するように構成されている。画像生成プロセスは、点群のジオメトリおよびテクスチャを画像として記憶するためにパッキングプロセスの間に計算された３Ｄ－２Ｄマッピングを利用し得る。複数の点が同じピクセルに投影される場合をよりうまく扱うために、各パッチは、レイヤと称される、２つの画像上に投影され得る。例えば、Ｈ（ｕ，ｙ）を、同じピクセル（ｕ，ｖ）に投影された現在のパッチの点のセットとする。図２はレイヤ投影構造の一例を示す。近方レイヤ（ｎｅａｒ ｌａｙｅｒ）とも呼ばれる、第１のレイヤは、最も低い深度Ｄ０を有するＨ（ｕ，ｖ）の点を記憶する。遠方レイヤ（ｆａｒ ｌａｙｅｒ）と称される、第２のレイヤは、間隔［Ｄ０，Ｄ０＋Δ］内の最も高い深度を有するＨ（ｕ，ｖ）の点を取り込む。ここで、Δは、表面厚さを記述するユーザ定義パラメータである。生成された映像は以下の特性を有し得る：
● ジオメトリ：ＷｘＨ ＹＵＶ４２０－８ｂｉｔ、
● テクスチャ：ＷｘＨ ＹＵＶ４２０－８ｂｉｔ、

【0054】

ジオメトリ映像は単色であることに留意されたい。加えて、テクスチャ生成手順は、再サンプリングされた点に関連付けられるべき色を計算するために、再構成／平滑化されたジオメトリを利用する。

【0055】

連結成分内の異なる表面の混合を防止するために、その連結成分内に複数の異なる表面のスタックが存在するときには、表面分離方法が適用される。表面を分離するための方法のうちの１つは、ＲＧＢ色領域内の点のＭＳＥ値の差を用いることである：

【0056】

次の場合には、パッチが分離される。
ＭＳＥ（Ｒ₁－Ｒ₂，Ｇ₁－Ｇ₂，Ｂ₁－Ｂ₂）＞閾値；
閾値＝２０
ここで、Ｒ₁、Ｇ₁、Ｂ₁は、Ｔ０に属する属性値であり、Ｒ₂、Ｇ₂、Ｂ₂は、Ｔ１に属する属性値である。

【0057】

ジオメトリ画像およびテクスチャ画像は画像パディング（ｉｍａｇｅ ｐａｄｄｉｎｇ）１０７に提供され得る。画像パディング１０７はまた、ジオメトリ画像およびテクスチャ画像と共に用いられるべき占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ、ＯＭ）１０６も入力として受信し得る。占有マップ１０６は、格子のセルごとに、それが空き空間に属するのか、それとも点群に属するのかを指示するバイナリマップを含み得る。換言すれば、占有マップ（ＯＭ）は、占有されたピクセルおよび占有されていないピクセルが区別され、それぞれ示される、バイナリ値のバイナリ画像であり得る。占有マップは、代替的に、追加の情報がそれに記憶されることを可能にする非バイナリ画像を含み得る。したがって、ＤＯＭの表現値はバイナリ値または他の値、例えば、整数値を含み得る。２Ｄ格子の１つのセルは画像生成プロセスの間にピクセルを生成し得ることに留意されたい。

【0058】

パディングプロセス１０７は、映像圧縮に適した区分的に滑らかな画像を生成するために、パッチ間の空き空間を充填することを目指す。例えば、単純なパディング方略では、ＴｘＴ（例えば、１６ｘ１６）ピクセルの各ブロックが独立して圧縮される。ブロックが空いている（すなわち、占有されていない、すなわち、全てのそのピクセルが空き空間に属する）場合には、このとき、ブロックのピクセルは、ラスタ順序で以前のＴｘＴブロックの最後の行または列のどちらかを複製することによって充填される。ブロックが満杯である（すなわち、占有されている、すなわち、空のピクセルがない）場合には、何も行われない。ブロックが、空のピクセルおよび充填されたピクセルの両方を有する場合には（すなわち、エッジブロック）、このとき、空のピクセルは、それらの空でない近傍点の平均値を反復的に充填される。

【0059】

パディングされたジオメトリ画像およびパディングされたテクスチャ画像は映像圧縮１０８のために提供され得る。生成された画像／レイヤは映像フレームとして記憶され、例えば、高効率映像符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）テストモデル１６（ＨＭ）映像コーデックを用いて、パラメータとして提供されたＨＭ構成に従って圧縮され得る。映像圧縮１０８はまた、平滑化１０９のために提供されるべき再構成されたジオメトリ画像も生成し、平滑化されたジオメトリが、再構成されたジオメトリ画像、およびパッチ生成１０２からのパッチ情報に基づいて決定される。平滑化されたジオメトリは、テクスチャ画像を適応させるためにテクスチャ画像生成１０５に提供され得る。

【0060】

パッチは、メタデータとしてパッチごとに符号化／復号化された補助情報に関連付けられ得る。補助情報は、投影平面のインデックス、２Ｄバウンディングボックス、深度δ０、接線シフト（ｔａｎｇｅｎｔｉａｌ ｓｈｉｆｔ）ｓ０、および複接線シフト（ｂｉｔａｎｇｅｎｔｉａｌ ｓｈｉｆｔ）ｒ０を用いて表現されたパッチの３Ｄ位置を含み得る。

【0061】

以下のメタデータがあらゆるパッチのために符号化／復号化され得る：
● 投影平面のインデックス
○ 平面（１．０，０．０，０．０）および（－１．０，０．０，０．０）のためのインデックス０
○ 平面（０．０，１．０，０．０）および（０．０，－１．０，０．０）のためのインデックス１
○ 平面（０．０，０．０，１．０）および（０．０，０．０，－１．０）のためのインデックス２。
● ２Ｄバウンディングボックス（ｕ０，ｖ０，ｕ１，ｖ１）
● 深度δ０、接線シフトｓ０、および複接線シフトｒ０を用いて表現されたパッチの３Ｄ位置（ｘ０，ｙ０，ｚ０）。選定された投影平面に応じて、（δ０、ｓ０、ｒ０）は以下のように計算される：
○ インデックス０、δ０＝ｘ０、ｓ０＝ｚ０、およびｒ０＝ｙ０
○ インデックス１、δ０＝ｙ０、ｓ０＝ｚ０、およびｒ０＝ｘ０
○ インデックス２、δ０＝ｚ０、ｓ０＝ｘ０、およびｒ０＝ｙ０

【0062】

また、ＴｘＴブロックごとに、その関連パッチインデックスを提供するマッピング情報が以下のように符号化され得る：
● ＴｘＴブロックごとに、Ｌを、パッチのインデックスの順序付けられたリストとし、これにより、それらの２Ｄバウンディングボックスがそのブロックを包含するようにする。リスト内の順序は、２Ｄバウンディングボックスを符号化するために用いられる順序と同じである。Ｌは候補パッチのリストと呼ばれる。
● パッチ間の空き空間はパッチとして考慮され、全てのブロックの候補パッチリストに追加される、特別インデックス０を付与される。
● Ｉを、現在のＴｘＴブロックが属するパッチのインデックスとし、Ｊを、Ｌ内のＩの位置とする。インデックスＩを明示的に符号化する代わりに、その位置Ｊが代わりに算術的に符号化され、これはより優れた圧縮効率をもたらす。

【0063】

圧縮プロセスは以下の例示的な動作のうちの１つまたは複数を含み得る：
● バイナリ値が、同じＴｘＴブロックに属するＢ０ｘＢ０サブブロックに関連付けられ得る。それが少なくとも、パディングされていないピクセルを包含する場合には、値１がサブブロックに関連付けられ、さもなければ、０が関連付けられる。サブブロックが１の値を有する場合には、それは、満杯であると言われ、さもなければ、それは空きサブブロックである。
● ＴｘＴブロックの全てのサブブロックが満杯である（すなわち、値１を有する）場合。ブロックは、満杯であると言われる。さもなければ、ブロックは、非満杯であると言われる。
● ＴｘＴブロックごとに、それが満杯であるか否かを指示するためのバイナリ情報が符号化され得る。
● ブロックが非満杯である場合には、満杯／空きサブブロックの場所を指示する追加情報が以下のように符号化され得る：
○ 異なる走査順序が、サブブロックのために、例えば、右上または左上の角部から出発して、水平に、鉛直に、または対角線的に定義され得る
○ 符号器が走査順序のうちの１つを選定し、そのインデックスをビットストリームに含めて明示的に信号で通知し得る。
○ サブブロックに関連付けられたバイナリ値が、ランレングス符号化方略を用いることによって符号化され得る。
・ 初期サブブロックのバイナリ値が符号化される。
・ 符号器によって選択された走査順序を追う間に、０および１の連続ラン（ｃｏｎｔｉｎｕｏｕｓ ｒｕｎ）が検出される。
・ 検出されたランの数が符号化される。
・ 最後のものを除く、各ランの長さも符号化される。

【0064】

占有マップ符号化（非可逆条件）において、解像度（幅／Ｂ０）ｘ（高さ／Ｂ１）の２次元バイナリ画像。ここで、幅および高さは、圧縮されることが意図されたジオメトリおよびテクスチャ画像の幅および高さである。１と等しいサンプルは、ジオメトリおよびテクスチャ画像内の対応する／共通の位置にあるサンプルまたは複数のサンプルが、復号化する際に点群の点として考慮されるべきであることを意味し、その一方で、０と等しいサンプルは無視されるべきである（一般的にパディング情報を含む）。占有マップの解像度はジオメトリおよびテクスチャ画像のものと同じでなくてもよく、代わりに、占有マップはＢ０ｘＢ１ブロックの精度で符号化され得るであろう。可逆符号化を達成するために、Ｂ０およびＢ１は、１と等しくなるように選択される。実際面では、Ｂ０＝Ｂ１＝２またはＢ０＝Ｂ１＝４が、占有マップを符号化するために必要とされるビット数を大幅に低減しつつ、視覚的に許容可能な結果をもたらすことができる。生成されたバイナリ画像は単一の色平面のみをカバーする。しかし、４：２：０コーデックの普及を前提とすると、「中間（ｎｅｕｔｒａｌ）」または固定値クロマ平面を用いて画像を拡張することが望ましくなり得る（例えば、８ビットコーデックの使用を仮定して、全てのサンプル値が０または１２８と等しいクロマ平面を追加する）。

【0065】

得られた映像フレームは、可逆符号化ツールサポート（例えば、ＡＶＣ、ＨＥＶＣ ＲＥｘｔ、ＨＥＶＣ－ＳＣＣ）を有する映像コーデックを用いることによって圧縮され得る。

【0066】

占有マップは、占有マップ内の解像度ＴｘＴの空きおよび非空きブロックを検出することによって単純化されてもよく、非空きブロックのためにのみ、我々はそれらのパッチインデックスを以下のように符号化する：
○ ＴｘＴブロックごとに、そのブロックを包含する全てのパッチを考慮することによって、候補パッチのリストが作成される。
○ 候補のリストがパッチの逆順に並べ替えられる。
○ ブロックごとに、
１．候補のリストが１つのインデックスを有する場合には、このとき、何も符号化されない。
２．さもなければ、このリスト内のパッチのインデックスが算術的に符号化される。

【0067】

点群ジオメトリ再構成プロセスは、ジオメトリ／テクスチャ画像／レイヤ内の非空きピクセルを検出するために、占有マップ情報を利用する。それらのピクセルに関連付けられた点の３Ｄ位置は、補助パッチ情報およびジオメトリ画像を活用するによって計算される。より正確には、Ｐを、ピクセル（ｕ，ｖ）に関連付けられた点とし、（δ０，ｓ０，ｒ０）を、それが属するパッチの３Ｄ位置とし、（ｕ０，ｖ０，ｕ１，ｖ１）をその２Ｄバウンディングボックスとする。Ｐは、深度δ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）、および複接線シフトｒ（ｕ，ｖ）を用いて以下のように表すことができるであろう：
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）はジオメトリ画像のルマ成分である。

【0068】

属性平滑化手順１０９は、圧縮アーチファクトのゆえにパッチ境界において生じ得る潜在的な不連続を軽減することを目指す。本実施のアプローチは境界点をそれらの最近傍点の質量中心へ移動させる。

【0069】

マルチプレクサ１１２が、映像圧縮１０８からの圧縮ジオメトリ映像および圧縮テクスチャ映像、ならびに任意選択的に、補助パッチ情報圧縮１１１からの圧縮補助パッチ情報を受信し得る。マルチプレクサ１１２は、受信されたデータを用いて圧縮ビットストリームを生成する。

【0070】

図３はＭＰＥＧ点群符号化（ＰＣＣ）のための復元プロセスの概要を示す。デマルチプレクサ２０１が圧縮ビットストリームを受信し、多重分離後に、圧縮テクスチャ映像および圧縮ジオメトリ映像を映像復元２０２に提供する。加えて、デマルチプレクサ２０１は圧縮占有マップを占有マップ復元２０３へ伝送する。それはまた、圧縮補助パッチ情報を補助パッチ情報圧縮２０４へ伝送し得る。映像復元２０２からの復元ジオメトリ映像は、復元占有マップおよび復元補助パッチ情報と同様に、ジオメトリ再構成２０５へ送られる。点群ジオメトリ再構成２０５のプロセスは、ジオメトリ／テクスチャ画像／レイヤ内の非空きピクセルを検出するために、占有マップ情報を利用する。それらのピクセルに関連付けられた点の３Ｄ位置は、補助パッチ情報およびジオメトリ画像を活用することによって計算され得る。

【0071】

再構成されたジオメトリ画像は、圧縮アーチファクトのゆえにパッチ境界において生じ得る潜在的な不連続を軽減することを目指す、平滑化２０６のために提供され得る。本実施のアプローチは境界点をそれらの最近傍点の質量中心へ移動させる。平滑化されたジオメトリは、映像復元２０２からの復元テクスチャ映像も受信する、テクスチャ再構成２０７へ伝送され得る。テクスチャ再構成のためのテクスチャ値はテクスチャ画像から直接読み取られる。テクスチャ再構成２０７は、再構成された点群を、再構成された点群をさらに提供する、色平滑化２０８のために出力する。

【0072】

占有情報の符号化を、ジオメトリ画像を用いて遂行することができる。特定の深度値、例えば、０、または特定の深度値範囲が、ピクセルが修復され（ｉｎｐａｉｎｔｅｄ）、原素材内に存在しないことを指示するために確保され得る。特定の深度値または特定の深度値範囲は、例えば、規格において、あらかじめ定められ得るか、あるいは特定の深度値または特定の深度値範囲はビットストリーム内に、もしくはそれと平行に符号化され得、および／またはビットストリームから、もしくはそれと平行に復号化され得る。占有情報を深度サンプルアレイ内に多重化するこの仕方はシャープエッジを画像内に生み出し、これは、追加のビットレート、およびシャープエッジの周りの圧縮アーチファクトを被り得る。

【0073】

時間的に変化するボリュメトリックシーン／オブジェクトを圧縮する１つの仕方は、３Ｄ表面をいくらかの数の既定の２Ｄ平面上に投影することである。次に、通常の２Ｄ映像圧縮アルゴリズムを用いて、投影された表面の様々な態様を圧縮することができる。例えば、空間およびテクスチャ座標を有する時間的に変化する３Ｄ点群を、一連の、平面の少なくとも２つのセットに対応付けることができ、２つのセットのうちの一方はテクスチャデータを搬送し、他方は、投影平面からの、対応付けられた３Ｄ表面点の距離を搬送する。

【0074】

受信側における正確な２Ｄ－３Ｄ再構成のために、復号器は、どの２Ｄ点が「有効（ｖａｌｉｄ）」であるのか、およびどの点が補間／パディングに由来するのかを承知していなければならない。これは追加のデータの伝送を必要とする。追加のデータはジオメトリ画像内に既定の深度値（例えば、０）または既定の範囲の深度値としてカプセル化されてもよい。ジオメトリ画像はぼかされない／パディングされないため、これはテクスチャ画像上においてのみ符号化効率を増大させることになる。さらに、ジオメトリ画像のオブジェクト境界におけるアーチファクトを符号化することは、後処理を必要とし、隠蔽不可能になり得る、激しいアーチファクトを生み出し得る。

【0075】

単純なＶ－ＰＣＣ復号器の実装形態は、現在のところ、全ての復号化および再構成されたデータを点としてレンダリングするように構成されている。しかし、現在のところ、モバイルデバイスは、何百万個もの点をレンダリングするようには設計されていない。ゲームおよび同様のアプリケーションは三角形をレンダリングプリミティブとして用いるため、レンダリングプリミティブのような点はモバイルグラフィック処理装置（ＧＰＵ）のための最適化ではない。点が近傍の点と重なり合う場合があるため、レンダリング密点群の品質が視覚アーチファクトを被る場合もある。これは、点群コンテンツが至近距離から見られたときに、不快な視覚品質をもたらし得る。最適には、各点を、より良好な視覚品質をもたらすであろう立方体を用いてレンダリングすることができるであろう。しかし、このような場合には、各立方体は１２個の三角形から成ることになるであろう。これは、２つの三角形（クワッド）を有するレンダリング点よりも６倍複雑であり、したがって、電池の制約があるモバイルデバイス上では決して実用的でないことが認識される。

【0076】

本実施形態は、高速で高品質のレンダリングパイプラインを導入することによる点群のレンダリング性能および視覚品質に狙いを定められている。本実施形態は、符号化のための方法、および対応する装置を用いたレンダリングのための方法を提供する。

【0077】

一実施形態に係る、符号化のための方法では、ボリュメトリック映像フレームが入力として受信され、ボリュメトリック映像フレームは３Ｄサンプルのセットとして表現される。パッチ生成プロセス（図１；１０２）が各３Ｄサンプルを、異なる投影に関連するいくつかの２Ｄサンプルに変換する。パッチパッキング（図１；１０３）において、生成されたパッチに基づいてジオメトリおよびテクスチャ画像（図１；１０４、１０５）が生成される。各パッチは２つの画像、すなわち、２つのレイヤ上にさらに投影される。第１のレイヤは「近方レイヤ」、または深度０レイヤと呼ばれ、第２のレイヤは「遠方レイヤ」、または深度１レイヤと呼ばれる。第１のレイヤはパッチの点のセットの最も低い深度値を記憶し、第２のレイヤはパッチの点のセットの最も高い深度値を記憶する。それゆえ、フレームは、ジオメトリおよび対応する属性成分のための遠方および近方成分に分解される。加えて、占有マップ（図１；１０６）が、フレームの占有された部分および占有されていない部分を指示するために作成される。

【0078】

符号器はパッチごとの表面パラメータを決定する。例えば、表面パラメータは、符号器によってパッチ深度差から算出される、「レンダリング厚さ」パラメータであることができる。符号器は深度フレームを符号化し、復号器によって用いられる復号化された深度値を見いだすためにそれらを復号化する。符号器は深度０および深度１レイヤからの元の最大深度値を用い、復号化された深度最小値を深度０および深度１レイヤから減算する。この値は元の深度値と復号化された深度値との最大深度差であり、レンダリング厚さパラメータは所与のパッチのための全てのピクセルについての最大差の値である。符号器は、所与のパッチのための全てのピクセルについての厚さ値の間に大きな分散が存在するかどうかを検出することができる。符号器は、厚さ値の間に大きな分散が存在するかどうかを検出することができ、高い分散を有するパッチについては、パッチをより小さいものに分割することができる。

【0079】

上述のレンダリング厚さなどの、事前に算出された表面パラメータが符号化ビットストリーム内に記憶される。パラメータは、パッチごとに、レイヤごとに、または単一のレイヤのために提供された、レンダリング厚さパラメータによって信号で通知され得る。

【0080】

レンダリング厚さパラメータ（８ビット）は、符号化ビットストリームに含めて、または追加のＳＥＩメッセージを用いて信号で通知され得る。代わりに、レンダリング厚さパラメータは、より正確な厚さパラメータを与える、ブロック（例えば、１６ｘ１６）レベルごとに信号で通知されてもよい。レンダリング厚さパラメータはまた、ＳＥＩメッセージに含めて信号で通知する代わりに、占有マップ内に記憶されてもよい。占有マップ値０は、ピクセルが占有されていないことを意味し、任意の他の値は厚さ値を直接レンダリングしている。代替的に、０は、占有されていないことを意味し、１は深度０と深度１との間の充填値を意味し、値２以上は実際のレンダリング厚さを与える。これは小さいレンダリング厚さ値を最適化し、より良好な圧縮を与えることになる。符号器はまた、隣接した厚さ値をフィルタリングすることもできる。例えば、厚さ値が３、２、３、３である場合には、符号器は、全ての値を３にすると決定することができる。

【0081】

また、パッチのうちの一部はピクセルごとのレンダリング厚さ値を用い得、他のパッチはパッチごとの値を用い得ることも可能である。パッチごとの値またはピクセルごとの占有マップ値を用いるための、パッチごとに追加の１ビットの信号が存在することができる。なおさらなる代替例として、レンダリング厚さは、レイヤごとに、または単一のレイヤのためにのみ別個に信号で通知することができる。

【0082】

別の実施形態によれば、レイヤ間の色補間を、同様に、または代わりに、ビットストリームに含めて信号で通知することができる。モード０はレイヤ０および１の間で色を補間しないが、モード１はレイヤの間で色を補間することができる。

【0083】

別の実施形態によれば、元の深度０および復号化された深度０との差が算出され、差（デルタ）が占有マップに符号化される。符号化された深度０値は非可逆であり、占有マップに符号化されたデルタ値は可逆であるため、これは可逆の深度０座標を可能にする。

【0084】

点群のレンダリングのための方法は以下のステップを含むことができる：

【0085】

本方法は、以前の実施形態に従って符号化された、ビットストリームを受信することによって開始する。ビットストリームは少なくともジオメトリ画像およびテクスチャ画像を含む。本方法は、ビットストリームから、対応するパッチを復号化することを含む。図４は、パッチ４２０を含むフレーム４１０の一例を示す。復号化されたパッチ４２０は、例えば、１６ｘ１６ピクセルのサイズを有するブロック４２５に分割される。ブロック４２５ごとに、深度最小および深度最大が決定される。第１の代替例によれば、深度最小および深度最大は深度レイヤ０および深度レイヤ１のピクセルからリアルタイムに算出される。第２の代替例によれば、深度最小および深度最大値は、それらが符号器によって記憶されたパッチメタデータから復号化され得る。

【0086】

決定された深度最小および深度最大値は、パッチのコンテンツが投影される、ブロックのための、すなわち、ピクセルのブロック全体のための３Ｄバウンディングボックス（ＡＡＢＢ）（「第１のバウンディングボックス」とも称される）を形成するために用いられることになる。任意選択的に、この局面において、形成されたバウンディングボックスを視錐台に対してチェックすることができ、可視でない場合には、カリングして除去することができる。ピクセルのブロックによって形成された点群データが可視である場合には、ブロックはフレームバッファに３次元立方体（１２個の三角形）として描画され得る。図５は、３Ｄのブロック５２５を含む、フレーム５１０を示し、ブロック５２５は、レンダリングされたピクセル５３０を含む。

【0087】

第２の局面において、３Ｄブロック５２５の各ピクセル５３０がフレームバッファにレンダリングされる。ピクセル５３０ごとに、ユーザの視点から３Ｄにおけるピクセルへの座標への光線の方向が算出され得る。視点は観視デバイスの頭部配向検出器（ｈｅａｄ－ｏｒｉｅｎｔａｔｉｏｎ ｄｅｔｅｃｔｏｒ）によって検出され得る。光線に基づいて、「入口点」および「出口点」が、ブロックの生成された３次元バウンディングボックス（ＡＡＢＢ）に対する光線の交差に従って決定される。

【0088】

図６は２Ｄにおけるパッチのブロック６２５を示す。ブロック６２５内で、光線は６４０を用いて指示される。図６において、入口点は６４１を用いて指示され、出口点は６４５を用いて指示される。これらの２つの点６４１、６４５は、どの３Ｄ座標において光線がバウンディングボックス（ＡＡＢＢ）に入ることになるのか、および光線がバウンディングボックス（ＡＡＢＢ）を出る３Ｄ座標の点を決定することになる。これらの２つの点６４１、６４５はブロック６２５内の２Ｄ座標に対応する。これらの２Ｄ座標の間において、「入口点」６４１と「出口点」６４５との間で光線によって交差されるあらゆるピクセル６５０が、「入口点」６４１から開始する順序で訪問されるよう、レイキャストが行われる。これらのピクセルは、６５０を用いて指示されとおりのパターン充填を用いて示される。レイキャスト（「レイマーチング」または「レイトレーシング」としても知られる）では、入口点６４１と出口点６４５との間の各ピクセルが、深度値を得るために評価される。

【0089】

レイキャストは、点群に対する光線の交差または「出口点」に到達するまで、視光線に沿ってピクセルからピクセルへと継続される。交差を決定するために、深度レイヤ０および深度レイヤ１の両方のための深度値が２Ｄブロックピクセルごとに取り出される。レイキャストのステップごとに、光線からの深度値も算出される。ここで、光線からの深度値が深度レイヤ０と深度レイヤ１との間にある場合には、それは点群コンテンツと光線との交差として決定される。この交差はまた、深度差値（深度０－深度１）および処理されているピクセルの２Ｄ座標から別のバウンディングボックス（ＡＡＢＢ）（「第２のバウンディングボックス」とも称される）を形成することによって、より正確に算出することもできる。第２のバウンディングボックスは、単一のピクセルによって表現される点位置のスパンのためのものである。第２のバウンディングボックスのサイズは、１ｘ１ｘ（深度１－深度０＋厚さ）、すなわち、その１つのピクセル内に投影された表面の深度を有する単一のピクセルのサイズであり得る。深度差はレンダリング表面厚さパラメータによって拡大することができる。

【0090】

交差が決定されない場合には、プロセスは次の２Ｄピクセルを用いて継続される。

【0091】

交差に到達した後に、交差深度値はＧＰＵによって、深度バッファ内に書き込まれた深度値と比較されることになる。交差が観視者に対して閉ざされている（ｃｌｏｓｅｄ）場合には、新たな深度値が深度バッファに書き込まれ、新たに算出された色値が書き込まれることになる。それゆえ、（どのレイヤが交差に最も近いのかに依存して）テクスチャレイヤ０またはテクスチャレイヤ１の色値が取り出される。代替的に、テクスチャレイヤ０とテクスチャレイヤ１との間の補間された色を用いることができる。

【0092】

深度圧縮アーチファクトのゆえに、非可逆圧縮が用いられる場合には、穴を作り出すことができるよう、深度０および深度１の値を変更することができる。これは符号器において検出することができ、モデルが最終的にレンダリングされる際に穴を効果的に充填するために表面厚さ値をそれらの領域内で増大させることができる。図７は、深度値が圧縮によって変更される単純な１つの深度レイヤの事例を示す。図７は、元の表面７１０および復号化された単一のレイヤ７２０を示す。これらの穴は符号器によって評価され、および新たな表面レンダリング厚さ値が深度ピクセルごとに算出され、これにより、より多くの表面厚さが、穴を修復するために追加される。図７は、（０，０，２，１，０，０，０，１，２，０）７３０に算出された、可能なレンダリング表面厚さ値を有する復号化信号を示した。レンダリング表面厚さパラメータを用いた点群の再構成は、表面をより厚くするために新たな点が作成されるよう表面を拡張することを可能にする。レンダリング表面厚さパラメータによって生成された新たな点が、暗いピクセル７２５を用いて示されている。ピクセルごとの値からパッチごとの値まで様々あるレンダリング表面厚さパラメータを信号で通知する様々な仕方が存在する。点再構成が用いられる場合には、レンダリング厚さパラメータに基づいて新たな点を生成する必要があることに留意されたい。しかし、これは、上述されたレイトレーシングプロセスが用いられる場合には、バウンディングボックス（ＡＡＢＢ）サイズをレンダリング表面厚さによって調整することができるため、当てはまらない。したがって、より多くの点が構築された場合には存在したようなボックスサイズを調整する追加の実行コストが存在しない。

【0093】

可逆および非可逆符号化されたフレーム内には、ＸＹＺ座標を包含するだけの追加の特別パッチ（ＰＣＭ、ｍｉｓｓｅｄ ｐｏｉｎｔｓ ｐａｔｃｈｅｄ（パッチされた欠失点））が存在することができる。点がランダムな位置にあるため、これらの種類のパッチをレイキャストすることは可能でない。しかし、欠失点の数が少ないため、立方体を用いて各点をレンダリングすることによってこれらの特別パッチをレンダリングすることが可能である。これは、それらの点がレイトレースされたのと同じ品質をもたらすことになる（点ごとに単一の立方体）。

【0094】

図８は、一実施形態に係る符号化のための方法を示すフローチャートである。方法は、映像提示フレームを受信すること（８１０）であって、映像提示が３次元データを表現する、受信すること（８１０）と、映像提示フレームから１つまたは複数のパッチを生成すること（８２０）と、映像フレームのパッチを１つまたは複数のブロックに分割すること（８３０）と、パッチの該１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定すること（８４０）と、決定された表面パラメータをビットストリームに符号化すること（８５０）と、符号化されたビットストリームをレンダリング装置への伝送のために記憶すること（８６０）と、を含む。

【0095】

図９は、別の実施形態に係る復号化のための方法を示すフローチャートである。方法は、映像提示に関する圧縮ビットストリームを受信すること（９１０）であって、ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、受信すること（９１０）と、受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化すること（９２０）と、映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定すること（９３０）と、１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成すること（９４０）と、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出すること（９５０）と、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定すること（９６０）と、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストすること（９７０）と、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成すること（９８０）と、再構成された３次元データに従って映像提示をレンダリングのために再構成すること（９９０）と、を含む。

【0096】

上述の例における３次元データは点群であることができる。

【0097】

一実施形態に係る装置は、少なくとも、映像提示フレームを受信するための手段であって、映像提示が３次元データを表現する、手段と、映像提示フレームから１つまたは複数のパッチを生成するための手段と、映像フレームのパッチを１つまたは複数のブロックに分割するための手段と、パッチの該１つまたは複数のブロックに関する情報に従ってパッチごとの表面パラメータを決定するための手段と、決定された表面パラメータをビットストリームに符号化するための手段と、符号化されたビットストリームをレンダリング装置への伝送のために記憶するための手段と、を備える。

【0098】

手段は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備え、プロセッサはプロセッサ回路機構をさらに含み得る。メモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、様々な実施形態に係る図８におけるフローチャートの方法を遂行させるように構成されている。

【0099】

別の実施形態に係る装置は、少なくとも、映像提示に関する圧縮ビットストリームを受信するための手段であって、ビットストリームが少なくともジオメトリ画像およびテクスチャ画像を含む、手段と、受信されたビットストリームから、映像フレームの１つまたは複数の３次元ブロックに関するデータを復号化するための手段と、映像フレームのブロックごとに、１つまたは複数の表面パラメータに関する情報を決定するための手段と、１つまたは複数の表面パラメータに従って３次元ブロックのためのバウンディングボックスを生成するための手段と、視点からピクセルの座標への３次元ブロックのピクセルごとの光線方向を算出するための手段と、生成されたバウンディングボックスに対する光線の交差に従って少なくとも２つの点を決定するための手段と、決定された少なくとも２つの点の間の点を、レイキャストを終えるための条件が満たされるまでレイキャストするための手段と、ブロックのための１つまたは複数の表面パラメータに関する情報に従ってジオメトリ画像およびテクスチャ画像から３次元データを再構成するための手段と、再構成された３次元データに従って映像提示をレンダリングのために再構成するための手段と、を備える。

【0100】

手段は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリと、を備え、プロセッサはプロセッサ回路機構をさらに含み得る。メモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、様々な実施形態に係る図９におけるフローチャートの方法を遂行させるように構成されている。

【0101】

上述の例における３次元データは点群であることができる。

【0102】

図１０は、本実施形態に係るボリュメトリック映像を観視するためのシステムおよび装置を示す。システムのタスクは、特定の場所からの十分な視覚および聴覚情報を取り込み、これにより、異なる場所に物理的に位置する１人または複数人の観視者によって、および任意選択的に、将来における後の時点で、その場所にいることの体験、または存在の、説得力のある再現が達成され得るようにするというものである。このような再現は、観視者が自分の眼および自分の耳を使ってシーン内のオブジェクトの距離および位置を決定することができるよう、単一のカメラまたはマイクロフォンによって取り込まれ得る、より多くの情報を必要とする。視差を有する画像対を作成するために、２つのカメラソースが用いられる。同様の仕方で、人間の聴覚系が音の方向を感知することができるよう、少なくとも２つのマイクロフォンが用いられる（一般的に知られている立体音は、２つの音声チャネルを記録することによって作り出される）。人間の聴覚系は、音の方向を検出するための、例えば、音声信号のタイミングの差における、手がかりを検出することができる。

【0103】

図１０のシステムは、３つの部分：画像ソース１００１、１００３、サーバ１００５、およびレンダリングデバイス１００７を含み得る。画像ソースは、重なり合う視野を有する２つ以上のカメラを備える映像取り込みデバイス１００１であることができ、これにより、映像取り込みデバイスの周りの風景の領域が少なくとも２つのカメラから取り込まれる。映像取り込みデバイス１００１は、異なる方向からやって来る音声のタイミングおよび位相差を取り込むために、複数のマイクロフォン（図には示されていない）を備え得る。映像取り込みデバイス１００１は、複数のカメラの配向（観視方向）を検出し、記録することができるよう、高解像度配向センサを備え得る。映像取り込みデバイス１００１は、コンピュータプロセッサ、プロセッサ１、およびメモリ、メモリ１を備えるか、またはそれらに機能的に接続されており、メモリは、映像取り込みデバイス１００１を制御するためのコンピュータプログラムコードを含む。映像取り込みデバイス１００１によって取り込まれた画像ストリームは、別のデバイスにおける、例えば、ビューワにおける使用のためにメモリ、メモリ１および／または着脱式メモリ、メモリ９上に記憶され、ならびに／あるいは通信インターフェース通信１を用いてサーバ１００５へ伝送され得る。

【0104】

映像取り込みデバイス１００１が、画像ストリーム、または複数のこうしたものを作成することの代替として、またはそれに加えて、合成画像の１つまたは複数の画像ソースデバイス１００３がシステム内に存在してもよい。合成画像のこのような画像ソースデバイス１００３は、仮想世界のコンピュータモデルを用いて、それが伝送する様々な画像ストリームを計算し得る。例えば、画像ソースデバイス１００３は、仮想観視位置に配置されたＮ個の仮想カメラに対応するＮ個の映像ストリームを計算し得る。映像ストリームのこのような合成セットが観視のために用いられるときには、観視者は３次元仮想世界を見ることができる。画像ソースデバイス１００３は、コンピュータプロセッサ、プロセッサ３、およびメモリ、メモリ３を備えるか、またはそれらに機能的に接続されており、メモリは、画像ソースデバイス１００３を制御するためのコンピュータプログラムコードを含む。映像取り込みデバイス１００１に加えて、記憶、処理、およびデータストリームサービングネットワークが存在し得る。例えば、映像取り込みデバイス１００１または画像ソースデバイス１００３からの出力を記憶するサーバ１００５または複数のサーバが存在し得る。サーバ１００５は、コンピュータプロセッサ、プロセッサ５、およびメモリ、メモリ５を備えるか、またはそれらに機能的に接続されており、メモリは、サーバ１００５を制御するためのコンピュータプログラムコードを含む。サーバ１００５は、通信インターフェース通信５を通じて、有線もしくは無線ネットワーク接続、またはその両方によって、ソース１００１および／または１００３、ならびにビューワデバイス１００９に接続され得る。

【0105】

取り込まれた、または作成された映像コンテンツを観視するために、１つまたは複数のビューワデバイス１００９（再生デバイスとしても知られる）が存在し得る。これらのビューワデバイス１００９は１つまたは複数のディスプレイを有し得、レンダリングモジュール１００７を備えるか、またはそれに機能的に接続され得る。レンダリングモジュール１００７は、コンピュータプロセッサ、プロセッサ７、およびメモリ、メモリ７を備え、メモリは、ビューワデバイス１００９を制御するためのコンピュータプログラムコードを含む。ビューワデバイス１００９は、サーバからの映像データストリームを受信するため、および映像データストリームを復号化するためのデータストリーム受信器を備え得る。データストリームは、通信インターフェースを介してネットワーク接続を通じて、またはメモリカードのようなメモリデバイス１０１１から受信され得る。ビューワデバイス１００９は、観視に適した形式へのデータの処理のためのグラフィック処理装置を有し得る。ビューワデバイス１００９は、レンダリングされた立体映像シーケンスを観視するための高解像度立体画像ヘッドマウンテッドディスプレイであることができる。ヘッドマウンテッドディスプレイは配向検出器１０１３および立体音声ヘッドフォンを有し得る。一実施形態によれば、ビューワデバイス１００９は、（立体映像を表示するための）３Ｄ技術を可能にされたディスプレイであり、レンダリングデバイス１００７は、それに接続された頭部配向検出器１０１５を有し得る。代替的に、ボリュメトリック映像レンダリングは、立体の眼の対の代わりに単一の眼からの視点をレンダリングすることによって、２Ｄで行うことができるため、ビューワデバイス１００９は２Ｄディスプレイを備えてもよい。デバイス１００１、１００３、１００５、１００７、１００９のうちの任意のものは、コンピュータまたはポータブルコンピューティングデバイスであるか、あるいはこのようなものに接続され得る。このようなデバイスは、本文書において説明された様々な例に係る方法を実施するためのコンピュータプログラムコードを有し得る。

【0106】

上述されたように、ビューワデバイスはヘッドマウンテッドディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ、ＨＭＤ）であることができる。ヘッドマウンテッドディスプレイは、左および右眼画像を表示するための２つのスクリーン区分または２つのスクリーンを含む。ディスプレイは眼の近くにあり、したがって、画像を容易に視認可能にするため、および眼の視野のできるだけ多くを占めるよう画像を広げるために、レンズが用いられる。デバイスは、たとえ、ユーザが自分の頭部を回しても、それが所定位置にとどまるよう、ユーザの頭部に取り付けられる。デバイスは、頭部の運動および頭部の方向を決定するための配向検出モジュールを有し得る。ヘッドマウンテッドディスプレイは、記録／ストリーミングされたコンテンツの３次元（３Ｄ）知覚をユーザに与える。

【0107】

画像ソースのうちの任意のものによって取り込まれた、または生成された映像素材は、入力映像を記憶／伝送に適した圧縮表現に変換する符号器に提供され得る。圧縮映像は、圧縮映像表現を元の視認可能な形態に復元することができる復号器に提供される。符号器は、画像ソース内、またはサーバ内に配置され得る。復号器は、サーバ内、またはＨＭＤなどの、ビューワ内に配置され得る。符号器は、映像をよりコンパクトな形態で（すなわち、より低いビットレートで）表現するために、元の映像シーケンス内のいくらかの情報を破棄してもよい。図１１に、符号化プロセスの一例が示されている。図１１は、符号化されるべき画像（Ｉⁿ）、画像ブロックの予測された表現（Ｐ’ⁿ）、予測誤差信号（Ｄⁿ）、再構成された予測誤差信号（Ｄ’ⁿ）、予備再構成画像（Ｉ’ⁿ）、最終再構成画像（Ｒ’ⁿ）、変換（Ｔ）および逆変換（Ｔ^-1）、量子化（Ｑ）および逆量子化（Ｑ^-1）、エントロピー符号化（Ｅ）、参照フレームメモリ（ＲＦＭ）、インター予測（Ｐ^inter）、イントラ予測（Ｐ^intra）、モード選択（ＭＳ）、ならびにフィルタリング（Ｆ）を示す。図１２に、復号化プロセスの一例が示されている。図１２は、画像ブロックの予測された表現（Ｐ’ⁿ）、再構成された予測誤差信号（Ｄ’ⁿ）、予備再構成画像（Ｉ’ⁿ）、最終再構成画像（Ｒ’ⁿ）、逆変換（Ｔ^-1）、逆量子化（Ｑ^-1）、エントロピー復号化（Ｅ^-1）、参照フレームメモリ（ＲＦＭ）、予測（インターまたはイントラのどちらか）（Ｐ）、ならびにフィルタリング（Ｆ）を示す。

【0108】

様々な実施形態は利点をもたらし得る。例えば、本実施形態は、点レンダリングおよび自動穴埋めと比べて、優れた視覚品質をゼロコストでもたらす。加えて、レンダリングが点レンダリングよりも高速であるため、省エネルギーであるか、またはより複雑な点群のどちらかをレンダリングすることができる。加えて、様々な実施形態は、パッチごと、またはピクセルごとの柔軟な厚さの信号伝達を提供する。

【0109】

様々な実施形態は、メモリ内に常駐し、関連装置に本方法を実施させるコンピュータプログラムコードの助けを受けて実施され得る。例えば、デバイスは、データを処理、受信および伝送するための回路機構および電子機器、メモリ内のコンピュータプログラムコード、ならびにコンピュータプログラムコードを実行させたときに、デバイスに一実施形態の特徴を実施させるプロセッサを備え得る。なおさらに、サーバのようなネットワークデバイスは、データを処理、受信および伝送するための回路機構および電子機器、メモリ内のコンピュータプログラムコード、ならびにコンピュータプログラムコードを実行させたときに、ネットワークデバイスに一実施形態の特徴を実施させるプロセッサを備え得る。コンピュータプログラムコードは１つまたは複数の動作特性を含む。上記動作特性は、上記コンピュータによって上記プロセッサの種類に基づいて構成を通じて定義されており、システムがバスによって上記プロセッサに接続可能であり、一実施形態に係るシステムのプログラム可能な動作特性が、少なくとも、図８または図９のフローチャートによって定義されるとおりのステップを含む。

【0110】

所望の場合には、本明細書において説明される異なる機能は、異なる順序で、および／または他のものと同時に遂行され得る。さらに、所望の場合には、上述の機能および実施形態のうちの１つまたは複数は任意選択的なものであり得るか、または組み合わせられ得る。

【0111】

実施形態の様々な態様が独立請求項において提示されているが、他の態様は、記載された実施形態および／または従属請求項からの特徴と独立請求項の特徴との他の組み合わせを含み、請求項において明示的に提示された組み合わせのみを含むものではない。

【0112】

また、本明細書において、以上は例示的な実施形態を説明しているが、これらの説明は限定的な意味で捉えられるべきでないことにも留意されたい。むしろ、添付の請求項において定義されるとおりの本開示の範囲から逸脱することなく行われ得る、いくつかの変形および変更が存在する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】