特許 7561135 深度の符号化および復号の方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】深度の符号化および復号の方法および装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240926BHJP

   G06T 9/00 20060101ALI20240926BHJP

【ＦＩ】

H04N19/597

G06T9/00

【請求項の数】 16

(21)【出願番号】P 2021554675

(86)(22)【出願日】2020-03-17

(65)【公表番号】

(43)【公表日】2022-05-11

(86)【国際出願番号】 US2020023060

(87)【国際公開番号】W WO2020190898

(87)【国際公開日】2020-09-24

【審査請求日】2023-03-15

(31)【優先権主張番号】19305338.6

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】フリュールー，ジュリアン

(72)【発明者】

【氏名】ドレ，ルノー

(72)【発明者】

【氏名】チュードル，フランク

【審査官】久保 光宏

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２８６１０７（ＵＳ，Ａ１）

【文献】中国特許第１０４８２０９８１（ＣＮ，Ｂ）

【文献】欧州特許出願公開第１５９１９６３（ＥＰ，Ａ１）

【文献】欧州特許出願公開第３４３２５８１（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

Ｇ０６Ｔ９／００－９／４０

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

３Ｄビデオコンテンツシーンを表す３Ｄポイントクラウドの第１の点と第２の点との間の距離を表す値を、前記３Ｄポイントクラウドの第３の点、所与の角度、および誤差値によって定義される量子化関数を使用して量子化することによって量子化値を取得することであって、前記量子化関数は、前記量子化値と前記誤差値とを逆量子化することによって得られる合計が第４の点を生成するように、かつ第４の点（点Ａ）、前記第３の点（点Ｂ）、前記第２の点（点Ｃ）からなる角度ＡＢＣが前記所与の角度以下になるように定義される、ことと、
前記量子化関数を表すメタデータに関連付けられた量子化値を、データストリームにおいて符号化することと、を含む方法。

【請求項2】

前記メタデータが、前記所与の角度および前記第３の点の座標、または前記第１の点と前記第３の点との間の距離を含む、請求項１に記載の方法。

【請求項3】

前記メタデータが、前記量子化関数の逆関数に対応するルックアップテーブルを含む、請求項１に記載の方法。

【請求項4】

前記第１の点および前記第３の点が、所与のゾーンに属し、前記第３の点が、前記所与の角度を最大化するように選択される、請求項１に記載の方法。

【請求項5】

前記所与の角度が人間の視力の測度に対応する、および／または前記誤差値が１に等しい、請求項１に記載の方法。

【請求項6】

プロセッサに関連付けられたメモリを備えるデバイスであって、前記プロセッサが、
３Ｄビデオコンテンツシーンを表す３Ｄポイントクラウドの第１の点と第２の点との間の距離を表す値を、前記３Ｄポイントクラウドの第３の点、所与の角度、および誤差値によって定義される量子化関数を使用して量子化することによって量子化値を取得することであって、前記量子化関数は、前記量子化値と前記誤差値を逆量子化することによって得られる合計が第４の点を生成するように、かつ第４の点（点Ａ）、前記第３の点（点Ｂ）、前記第２の点（点Ｃ）からなる角度ＡＢＣが前記所与の角度以下になるように定義される、ことと、
前記量子化関数を表すメタデータに関連付けられた量子化値を、データストリームにおいて符号化することと、を行うように構成された、デバイス。

【請求項7】

前記メタデータが、前記所与の角度および前記第３の点の座標、または前記第１の点と前記第３の点との間の距離を含む、請求項６に記載のデバイス。

【請求項8】

前記メタデータが、前記量子化関数の逆関数に対応するルックアップテーブルを含む、請求項６に記載のデバイス。

【請求項9】

前記第１の点および前記第３の点が、所与のゾーンに属し、前記第３の点が、前記所与の角度を最大化するように選択される、請求項６に記載のデバイス。

【請求項10】

前記所与の角度が人間の視力の測度に対応する、および／または前記誤差値が１に等しい、請求項６の一項に記載のデバイス。

【請求項11】

データストリームから、量子化値と、量子化関数を表す関連するメタデータとを復号することであって、前記量子化関数が、第３の点、所与の角度、および誤差値によって定義される、復号することであって、前記量子化関数は、前記量子化値と前記誤差値とを逆量子化することによって得られる合計が第４の点を生成するように、かつ第４の点（点Ａ）、前記第３の点（点Ｂ）、第２の点（点Ｃ）からなる角度ＡＢＣが前記所与の角度以下になるように定義される、ことと、
前記量子化関数の逆関数に従って、前記量子化値を逆量子化することと、を含む、方法。

【請求項12】

前記メタデータが、前記所与の角度および前記第３の点の座標、または第１の点と前記第３の点との間の距離を含む、請求項１１に記載の方法。

【請求項13】

前記メタデータが、前記量子化関数の逆関数に対応するルックアップテーブルを含む、請求項１１に記載の方法。

【請求項14】

プロセッサを備えるデバイスであって、前記プロセッサが、
データストリームから、量子化値と、量子化関数を表す関連するメタデータとを復号することであって、前記量子化関数が、第３の点、所与の角度、および誤差値によって定義され、前記量子化関数は、前記量子化値と前記誤差値とを逆量子化することによって得られる合計が第４の点を生成するように、かつ第４の点（点Ａ）、前記第３の点（点Ｂ）、第２の点（点Ｃ）からなる角度ＡＢＣが前記所与の角度以下になるように定義される、復号することと、
前記量子化関数の逆関数に従って、前記量子化値を逆量子化することと、を行うように構成された、デバイス。

【請求項15】

前記メタデータが、前記所与の角度および前記第３の点の座標、または第１の点と前記第３の点との間の距離を含む、請求項１４に記載のデバイス。

【請求項16】

前記メタデータが、前記量子化関数の逆関数に対応するルックアップテーブルを含む、請求項１４に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

１．技術分野
本原理は、概して、３次元（３Ｄ）シーンおよびボリュメトリックビデオコンテンツの領域に関する。本文書はまた、例えば、モバイルデバイスまたはヘッドマウントディスプレイ（ＨＭＤ）などのエンドユーザデバイスにボリュメトリックコンテンツをレンダリングするための、３Ｄシーンのジオメトリを表すデータの符号化、フォーマッティング、および復号との関連においても理解される。

【背景技術】

【0002】

２．背景技術
本節では、読者に当技術分野の様々な態様を紹介することを意図しており、これらの態様は、以下に説明および／または特許請求される本原理の様々な態様に関連し得る。この議論は、読者に背景情報を提供して、本原理の様々な態様のより良好な理解を容易にするのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということを理解されたい。

【0003】

近年、利用可能な広視野コンテンツ（最大３６０°）が増えてきている。このようなコンテンツは、ユーザがコンテンツを、ヘッドマウントディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォンなどのような没入型表示デバイスで見ることにより全部を目で見るということができない可能性がある。これは、所定の瞬間に、ユーザがコンテンツの一部のみを閲覧している可能性があることを意味している。しかしながら、ユーザは通常、頭部の移動、マウスの移動、タッチスクリーン、音声などのような様々な手段によりコンテンツ内をナビゲートすることができる。通常、このコンテンツを符号化および復号することが望ましい。

【0004】

３６０°フラットビデオとも呼ばれる没入型ビデオによりユーザは、ユーザ自身の周りのあらゆるものを、ユーザの頭部を注視点の周りに回転させることにより見ることを可能にする。回転により、３自由度（３ＤｏＦ）の体験のみが可能になる。例えばヘッドマウントディスプレイデバイス（ＨＭＤ）を使用するなど、最初の全方向ビデオ体験のために３ＤｏＦビデオが十分であったとしても、３ＤｏＦビデオは、例えば視差を体験することにより、より多くの自由度を期待するビューアをすぐにイライラさせてしまう可能性がある。さらに、３ＤｏＦはまた、ユーザがユーザの頭部を回転させるだけでなく、ユーザの頭部を３つの方向に並進移動させ、並進移動が３ＤｏＦビデオ体験では再現されることがないので、めまいを引き起こす可能性もある。

【0005】

広視野コンテンツは、とりわけ、３次元コンピュータグラフィックイメージシーン（３Ｄ ＣＧＩシーン）、ポイントクラウド、または没入型ビデオとすることができる。多くの条件を使用して、このような没入型ビデオ：例えば、仮想現実（ＶＲ）ビデオ、３６０ビデオ、パノラマビデオ、４π立体視ビデオ、没入型ビデオ、全方向性ビデオ、または広視野ビデオを設計することができる。

【0006】

ボリュメトリックビデオ（６自由度（６ＤｏＦ）ビデオとしても知られている）は、３ＤｏＦビデオの代替である。６ＤｏＦビデオを見る場合、回転に加えて、ユーザは見つめているコンテンツ内で頭部や身体を並進移動させることができ、視差やボリュームさえも体験することができる。このようなビデオは、没入感およびシーンの奥行き感をかなり深めることができ、着実な視覚的フィードバックを頭部の並進移動中に与えることによりめまいを防止することができる。コンテンツを専用センサにより作成して、注目シーンのカラーおよび奥行きを同時に記録することが可能になる。写真測量技術と組み合わせたカラーカメラ装置の使用は、技術的困難が残るとしても、このような記録を実行する方法である。

【0007】

３ＤｏＦビデオは、テクスチャ画像（例えば、緯度／経度射影マッピングまたは正距円筒射影マッピングに従って符号化される球面画像）のマッピング解除から得られる画像列を含むが、６ＤｏＦビデオフレームには、いくつかの視点からの情報が埋め込まれる。これらのビデオフレームは、３次元撮影から得られる一時的な一連のポイントクラウドとして表示できる。ビューイング状態に応じて、２種類のボリュメトリックビデオが考えられ得る。第１の種類（すなわち、全６ＤｏＦ）が、ビデオコンテンツ内の完全に自由なナビゲーションを可能にするのに対し、第２の種類（別名、３ＤｏＦ＋）は、ユーザビューイング空間を、ビューイングバウンディングボックスと呼ばれる限定されたボリュームに制限して、頭部の限定された並進移動、および視差体験を可能にする。この第２のコンテキストは、着座視聴者の自由なナビゲーション状態と受動ビューイング状態との間の貴重なトレードオフである。

【0008】

ボリュメトリックビデオの特定のケース以外に、３Ｄシーンまたはボリュメトリックコンテンツの深度情報の符号化および復号は、特に符号化される深度値の範囲が大きく、符号化に使用できるビット深度が十分な量の符号化値とともに提供されない場合には、問題になる可能性がある。

【発明の概要】

【0009】

３．発明の概要
以下に、本原理のいくつかの態様の基本的な理解を提供するために、本原理の簡略化された概要を提示する。この概要は、本原理の網羅的な要約ではない。本原理の主要なまたは重要な要素を特定することを意図していない。以下の概要は、以下に提供されるより詳細な説明への前置きとして、本原理のいくつかの態様を単純化した形で提示しているにすぎない。

【0010】

本原理は、ポイントクラウドの点とポイントクラウド内に位置する第１の点との間の距離を表すデータを符号化する方法に関連する。この方法は、第３の点、所与の角度、および誤差値によって定義される量子化関数を使用することにより、第１の点と第２の点との間の距離を表す値を量子化することを含む。量子化関数は、量子化値と誤差値との合計の逆量子化が第４の点を生成するように、角度第４の点、第３の点、第２の点が所与の角度以下になるように定義され得る。値が量子化されると、この方法は、量子化関数を表すメタデータに関連付けられて、この量子化値をデータストリーム内に符号化する。一実施形態では、量子化関数は、エンコーダとデコーダの両方によって知られているパラメータ化された関数であり、したがって、メタデータは、所与の角度および／または誤差値および／または第３の点の座標、もしくは変形態では、第１の点と第３の点の間の距離を含む。別の実施形態では、メタデータは、量子化関数の逆関数に応答するルックアップテーブルからなる。

【0011】

本原理はまた、そのような方法を実装するデバイスによって生成されるデータストリームに関連する。データストリームは、ポイントクラウドの点とポイントクラウド内に位置する第１の点との間の距離を表す量子化値を表すデータを含み、この距離は、第３の点、所与の角度、および誤差値によって定義される量子化関数を使用して量子化されている。

【0012】

本原理はまた、ポイントクラウドの点とポイントクラウド内の第１の点との間の距離を表すデータを復号する方法に関連する。この方法は、データストリームから量子化値および関連するメタデータを復号することを含む。メタデータは、第３の点、所与の角度、および誤差値によって定義される量子化関数を表すデータを含む。この方法は、この量子化関数の逆関数を使用して、抽出された量子化値をさらに逆量子化する。一実施形態では、逆量子化関数は、エンコーダとデコーダの両方によって知られているパラメータ化された関数であり、したがって、メタデータは、所与の角度および／または誤差値および／または第３の点の座標、もしくは変形態では、第１の点と第３の点の間の距離を含む。この実施形態では、復号側において、逆量子化関数は、これらのパラメータによって初期化される。変形態では、これらのパラメータのうちの１つにデフォルト値が設定されている場合、これらのパラメータの一部は任意選択である。別の実施形態では、メタデータは、量子化関数の逆関数に応答するルックアップテーブルを含む。距離の実数値は、量子化値をテーブル内で調べることによって取得される。

【0013】

本原理はまた、そのような方法を実装するために構成されたプロセッサを備えるデバイスに関連する。

【図面の簡単な説明】

【0014】

４．図面の簡単な説明
以下の説明を読み取ると、本開示が、より良好に理解され、他の特定の特徴および利点が明らかになり、この説明は、添付の図面を参照している。

【図1】本原理の非限定的な実施形態による、オブジェクトの３次元（３Ｄ）モデル、および３Ｄモデルに対応するポイントクラウドの点を示す。

【図2】本原理の非限定的な実施形態による、一連の３Ｄシーンを表すデータの符号化、送信、および復号の非限定的な例を示す。

【図3】本原理の非限定的な実施形態による、図８および９に関連して説明される方法を実装するように構成され得るデバイスの例示的なアーキテクチャを示す。

【図4】本原理の非限定的な実施形態による、データがパケットベース送信プロトコルを介して送信されるときのストリームのシンタックスの一実施形態の例を示す。

【図5】本原理の非限定的な実施形態による、中心の視点からの球形射影を示す。

【図6】本原理の非限定的な実施形態による、射影の中心（別名、第１の点）から見える３Ｄシーンの点の深度情報を含む射影マップの例を示す。

【図7】本原理の非限定的な実施形態による、３Ｄシーン内の第２の視点に従って量子化誤差がどのように知覚されるかを示す。

【図8】本原理の非限定的な実施形態による、３Ｄシーンの点の深度を表すデータを符号化する方法を示す。

【図9】本原理の非限定的な実施形態による、３Ｄシーンの点と３Ｄシーン内の第１の点との間の距離を表すデータを復号する方法を示す。

【発明を実施するための形態】

【0015】

５．実施形態の詳細な説明
本原理は、本原理の例が示される添付の図面を参照して以下でより完全に説明される。しかしながら、本原理は、多くの代替形態で具体化されてもよく、本明細書に明示される例に限定されるものとして解釈されるべきではない。したがって、本原理は様々な修正形態および代替形態を受け入れる余地があるが、その特定の例は、図面に例として示され、本明細書で詳細に説明される。しかしながら、本原理を開示された特定の形態に限定する意図はないが、むしろ、本開示は、特許請求の範囲で定義されているように本原理の精神および範囲に含まれるすべての修正物、等価物、および代替物を網羅すると理解されたい。

【0016】

本明細書で使用される専門用語は、特定の例を説明することのみを目的とし、本原理を限定することを意図していない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、特にコンテキストが明示しない限り、複数形も含むことが意図される。本明細書で使用される場合、「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。さらに、要素が別の要素に「応答する」または「接続される」と言及される場合、それは他の要素に直接応答するか、もしくは接続され得るか、または介在する要素が存在し得る。対照的に、要素が他の要素に「直接応答する」または「直接接続される」と言及される場合、介在する要素は存在しない。本明細書で使用される場合、「および／または」という用語は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含み、「／」と略記することができる。

【0017】

本明細書では、第１、第２などの用語を使用して様々な要素を説明する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本原理の教示から逸脱することなく、第１の要素を第２の要素と呼ぶことができ、同様に、第２の要素を第１の要素と呼ぶことができる。

【0018】

一部の図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生することがあることを理解されたい。

【0019】

一部の例は、ブロック図および動作フローチャートに関して説明されており、各ブロックは、指定された論理機能（複数可）を実装するための１つ以上の実行可能な命令を含む回路要素、モジュール、またはコードの一部を表す。他の実装形態では、ブロックに記載されている機能（複数可）が記載されている順序とは異なる順序で発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際、実質的に同時に実行されることがあるか、またはブロックは、伴う機能に応じて、時には逆の順序で実行されることがある。

【0020】

本明細書における「一例による」または「一例における」への言及は、例に関して説明される特定の特徴、構造、または特性が、本原理の少なくとも１つの実装形態に含まれ得ることを意味する。本明細書の様々な場所での一例による」または「一例における」という語句の出現は、必ずしも全て同じ例を指しているわけではなく、別個のまたは代替的な例が他の例を必ずしも相互に排除しているわけでもない。

【0021】

特許請求の範囲に現れる参照番号は、例示としてのみであり、特許請求の範囲の範囲に限定的な影響を与えないものとする。明示的には説明されていないが、本例および変形態は、任意の組み合わせまたは部分的な組み合わせで用いられてもよい。

【0022】

本開示の非限定的な実施形態によれば、３Ｄシーンの点の深度を表すデータを符号化および復号する方法およびデバイスが本明細書に提示される。本原理によれば、３Ｄシーン内の点の深度は、この点と、本明細書では第１の点または射影の中心と呼ばれる所与の点との間の距離（例えば、デカルト基準フレームにおけるユークリッド距離）である。符号化する３Ｄシーンの一部が、射影の中心に対して画像平面に射影される。中心射影演算は、マッピング演算、例えば、球体マッピング射影（正距円筒射影（ＥＲＰ）もしくはカッシーニ射影もしくは正弦曲線射影）または（立方体の面の様々なレイアウトによる）キューブマッピング射影またはピラミッド形マッピング射影に関連して使用される。本開示のコンテキストでは、深度データは、量子化され、画像データとして、すなわち、２Ｄ行列、ピクセルの配列として記憶される。このような画像は圧縮され、デコーダに送信されて解凍される。

【0023】

点Ｐ０が、画像平面に射影され、その深度が、（すなわち、浮動小数点値で表される）実数として記憶される。量子化は、入力を、値の連続するまたは他の大きいセット（実数など）から、典型的には０とｎとの間の整数の区間などの離散セットに制約するプロセスである。したがって、量子化する値の数がｎよりも大きい場合、量子化によって精度が失われる。符号化時に、距離ｄ０は、量子化関数に従って値ｖ０として量子化され、復号時に、値ｖ０は、逆量子化関数に従って距離ｄ１に逆量子化される。次に、点Ｐ１が、射影の中心から距離Ｄ１において逆射影される。

【0024】

圧縮－解凍演算により、量子化値にいくつかの誤差が発生する。量子化値ｖ０は、圧縮－解凍後に、ｖ０－δとｖ０＋δとの間の値ｖ２をボールト（vault）する場合があり、ここで、例えば、δ＝１または２または１０である。この値ｖ２は、逆量子化関数に従って距離ｄ２において逆量子化される。したがって、点Ｐ１の代わりに、点Ｐ２は、射影の中心のそばを通る同じ線上で、射影の中心から距離ｄ２において逆射影される。誤差（ｄ１－ｄ２）は、量子化関数に依存する。また、Ｐ１とＰ２との間の位置の誤差は、それらがそこから観察される視点Ａの位置に応じて異なって知覚される。実際、角度

【数1】

は、Ａから見られたＰ１とＰ２との間の位置の差を決定する。例えば、人間の視力と呼ばれる角度γ＝０．５’（０．５分角）未満では、人間の目は、３Ｄ空間内の２つの異なる点を区別できないことが知られている。

【0025】

本原理の非限定的な実施形態によれば、３Ｄシーンの点と３Ｄシーン内の第１の点との間の距離を表すデータが、データストリーム内に符号化される。これらの深度データは、第２の点、所与の角度、および誤差値に従って定義される量子化関数を使用することによって量子化され、その結果、２つの量子化値間の誤差値の差は、上記第２の点において上記所与の角度よりも低い誤差角度につながる。深度データは、点Ｐ₁と射影の中心との間の距離を表す。圧縮前の点Ｐの深度データの量子化値と、解凍後の同じデータの量子化値との間の誤差値の差（例えば、１、３、または７の差）は、異なる距離におけるこのデータの逆射影につながり、点Ｐ２を射影の中心に対してより遠くにまたはより近くに設定する。所与の点Ａにおける誤差角度は、量子化値の誤差値のために、この所与の点において形成される角度

【数2】

である。本原理によれば、量子化関数は、３Ｄシーン内の所与の第２の点について、量子化値の誤差が、誤差値と呼ばれる所与レベルであるとき、誤差角度が、（予想される精度に従って選択された）所与の角度を超えないことを保証するように決定される。

【0026】

図１は、オブジェクトの３次元（３Ｄ）モデル１０、および３Ｄモデル１０に対応するポイントクラウド１１の点を示す。３Ｄモデル１０およびポイントクラウド１１は、例えば、他のオブジェクトを含む３Ｄシーンのオブジェクトの可能な３Ｄ表現に対応し得る。モデル１０は３Ｄメッシュ表現であり得、ポイントクラウド１１の点はメッシュの頂点であり得る。ポイントクラウド１１の点はまた、メッシュの面の表面上に分散する点でもあり得る。モデル１０は、ポイントクラウド１１のスプラッティングバージョンとしても表され得、モデル１０の表面は、ポイントクラウド１１の点をスプラッティングすることによって作成される。モデル１０は、ボクセルまたはスプラインなど、多数の様々な表現で表すことができる。図１は、ポイントクラウドが３Ｄオブジェクトの表面表現で定義され得、３Ｄオブジェクトの表面表現がクラウドの点から生成され得ることを示している。本明細書で使用される場合、（３Ｄシーンの拡張点により）３Ｄオブジェクトの点を画像に射影することは、この３Ｄオブジェクトの任意の表現、例えばポイントクラウド、メッシュ、スプラインモデルまたはボクセルモデルを射影することと同等である。

【0027】

ポイントクラウドは、例えば、ベクトルベースの構造としてメモリ内で表すことができ、各点は、視点の基準フレーム内のそれ自体の座標（例えば、３次元座標ＸＹＺ、または視点から／への立体角および距離（深度と呼ばれる））と、成分とも呼ばれる１つ以上の属性とを有する。成分の例は、様々な色空間内で、例えばＲＧＢ（赤、緑、および青）またはＹＵＶ（Ｙはルマ成分であり、ＵＶは２つのクロミナンス成分である）で表すことができる色成分である。ポイントクラウドは、オブジェクトを含む３Ｄシーンの表現である。３Ｄシーンは、所与の視点または視点の範囲から見ることができる。ポイントクラウドは、次のような様々な方法によって取得することができる。
・任意選択で深度能動感知デバイスによって補完された、カメラ装置によって撮影される実際のオブジェクトのキャプチャから、
・モデル化ツール内の仮想カメラ装置によって撮影される仮想／合成オブジェクトのキャプチャから、
・実際のオブジェクトと仮想オブジェクトの両方の混合から。

【0028】

図２は、一連の３Ｄシーンを表すデータの符号化、送信、および復号の非限定的な例を示す。符号化フォーマットは、例えば、同時に、３ＤｏＦ、３ＤｏＦ＋、および６ＤｏＦ復号と互換性があり得る。

【0029】

一連の３Ｄシーン２０が取得される。一連のピクチャは２Ｄビデオであるため、一連の３Ｄシーンは、３Ｄ（ボリュメトリックとも呼ばれる）ビデオである。一連の３Ｄシーンは、３ＤｏＦ、３ＤｏＦ＋、または６ＤｏＦのレンダリングおよび表示のために、ボリュメトリックビデオレンダリングデバイスに提供され得る。

【0030】

一連の３Ｄシーン２０は、エンコーダ２１に提供される。エンコーダ２１は、１つの３Ｄシーンまたは一連の３Ｄシーンを入力として受け取り、入力を表すビットストリームを提供する。ビットストリームは、メモリ２２および／または電子データ媒体に記憶され得、ネットワーク２２を介して送信され得る。一連の３Ｄシーンを表すビットストリームは、メモリ２２から読み取られ、および／またはデコーダ２３によってネットワーク２２から受信され得る。デコーダ２３は、上記ビットストリームによって入力され、例えばポイントクラウドフォーマットで、一連の３Ｄシーンを提供する。

【0031】

エンコーダ２１は、いくつかのステップを実装するいくつかの回路を備え得る。第１のステップでは、エンコーダ２１が、各３Ｄシーンを少なくとも１つの２Ｄピクチャに射影する。３Ｄ射影は、３次元の点を２次元の平面にマッピングする任意の方法である。グラフィカルデータを表示するための現在のほとんどの方法は、平面（複数のビットプレーンからのピクセル情報）の２次元媒体に基づいているため、このタイプの射影の使用は、特にコンピュータグラフィックス、エンジニアリング、および製図において広く使用されている。射影回路２１１は、一連の３Ｄシーン２０のために少なくとも１つの２次元フレーム２１１１を提供する。フレーム２１１１は、フレーム２１１１に射影された３Ｄシーンを表す深度情報を含む。変形態では、３Ｄシーンの点の色情報を表す色情報も射影され、フレーム２１１１のピクセルに記憶される。別の変形態では、色および深度の情報は、２つの別個のフレーム２１１１および２１１２内に符号化される。例えば、図１の３Ｄシーン１０の点は、深度情報のみを含む。モデルにテクスチャは添付されておらず、３Ｄシーンの点には色成分がない。いずれの場合も、深度情報は、３Ｄシーンの表現で符号化される必要がある。

【0032】

メタデータ２１２は、射影回路２１１によって使用および更新される。メタデータ２１２は、図５～７に関連して説明されるように、射影演算に関する情報（例えば、射影パラメータ）、ならびに色および深度情報がフレーム２１１１および２１１２内で編成される方法に関する情報を含む。本原理によれば、メタデータは、深度情報を符号化するために使用される逆量子化関数を表す情報を含む。

【0033】

ビデオ符号化回路２１３は、一連のフレーム２１１１および２１１２をビデオとして符号化する。３Ｄシーン２１１１および２１１２のピクチャ（または３Ｄシーンの一連のピクチャ）は、ビデオエンコーダ２１３によってストリーム内に符号化される。次に、ビデオデータおよびメタデータ２１２は、データカプセル化回路２１４によってデータストリーム内にカプセル化される。

【0034】

エンコーダ２１３は、例えば、以下のようなエンコーダに準拠している。
－ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ １０９１８－１ ＵＩＴ－Ｔ勧告Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｔ．８１／ｅｎ、
－ＡＶＣ、別名ＭＰＥＧ－４ ＡＶＣまたはｈ２６４。ＵＩＴ－Ｔ Ｈ．２６４とＩＳＯ／ＣＥＩ ＭＰＥＧ－４ Ｐａｒｔ １０（ＩＳＯ／ＣＥＩ １４４９６－１０）の両方において指定、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６４／ｅｎ、ＨＥＶＣ（その仕様は、ＩＴＵ Ｗｅｂサイト、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎに見出される）、
－３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張であり、この仕様は、ＩＴＵウェブサイト、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ附属書ＧおよびＩに見出される）、
－Ｇｏｏｇｌｅによって開発されたＶＰ９、あるいは
－Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）。

【0035】

データストリームは、デコーダ２３によって、例えばネットワーク２２を介してアクセス可能なメモリに記憶される。デコーダ２３は、復号の様々なステップを実装する様々な回路を備える。デコーダ２３は、エンコーダ２１によって生成されたデータストリームを入力として受け取り、ヘッドマウントデバイス（ＨＭＤ）のようなボリュメトリックビデオ表示デバイスによってレンダリングおよび表示される一連の３Ｄシーン２４を提供する。デコーダ２３は、ソース２２からストリームを取得する。例えば、ソース２２は、以下を含むセットに属する。
－ローカルメモリ、例えばビデオメモリまたはＲＡＭ（もしくは、ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（または、読み取り専用メモリ）、ハードディスク、
－ストレージインターフェース、例えば大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース、
－通信インターフェース、例えば有線インターフェース（例えば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）またはワイヤレスインターフェース（ＩＥＥＥ８０２．１１インターフェースもしくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）、および
－ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェース。

【0036】

デコーダ２３は、データストリーム内に符号化されたデータを抽出するための回路２３４を備える。回路２３４は、データストリームを入力として受け取り、ストリーム内に符号化されたメタデータ２１２に対応するメタデータ２３２および２次元ビデオを提供する。本原理によれば、メタデータ２３２は、３Ｄシーンの点の深度を取り出すために使用する逆量子化関数を表す情報を含む。本開示のコンテキストでは、点の深度は、逆射影する点と射影の中心との間の距離に対応する。射影の中心の座標は、メタデータ２３２に含まれるか、またはデフォルトで、例えば、３Ｄシーンの３Ｄ空間の基準フレームの原点において定義される。ビデオは、ビデオデコーダ２３３によって復号され、ビデオデコーダ２３３は一連のフレームを提供する。復号されたフレームは深度情報を含む。圧縮－解凍プロセスにより、復号後の深度の量子化値は、符号化時の深度の量子化値と異なる場合がある。変形態では、復号されたフレームは、深度情報および色情報を含む。別の変形態では、ビデオデコーダ２３３は、フレームの２つのシーケンスを提供し、１つは色情報を含み、もう１つは深度情報を含む。回路２３１は、メタデータ２３２を使用して、逆量子化関数を取り出し、深度情報を逆射影し、最終的に、復号されたフレームから色情報を逆射影して、一連の３Ｄシーン２４を提供する。一連の３Ｄシーン２４は、一連の３Ｄシーン２０に対応し、２Ｄビデオとしての符号化およびビデオ圧縮に関連して精度が失われる可能性がある。復号されたシーケンス２４の３Ｄシーンは、３Ｄシーンをビューポートの画像平面に射影することによって、現在の視点からレンダリングされる。

【0037】

図３は、図８および９に関連して説明される方法を実装するように構成することができるデバイス３０の例示的なアーキテクチャを示す。図２のエンコーダ２１および／またはデコーダ２３は、このアーキテクチャを実装することができる。あるいは、エンコーダ２１および／またはデコーダ２３の各回路は、例えば、それらのバス３１を介しておよび／またはＩ／Ｏインターフェース３６を介して互いにリンクされた、図３のアーキテクチャによるデバイスであり得る。

【0038】

デバイス３０は、データおよびアドレスバス３１によって互いにリンクされた以下の要素を備える。
－例えば、ＤＳＰ（またはデジタル信号プロセッサ）である、マイクロプロセッサ３２（またはＣＰＵ）、
－ＲＯＭ（または読み取り専用メモリ）３３、
－ＲＡＭ（またはランダムアクセスメモリ）３４、
－ストレージインターフェース３５、
－アプリケーションから送信されるデータを受信するＩ／Ｏインターフェース３６、および
－電源、例えばバッテリ。

【0039】

一例によれば、電源はデバイスの外部にある。上記メモリの各メモリでは、本明細書において使用される単語「ｒｅｇｉｓｔｅｒ（レジスタ）」は、小容量のエリア（いくつかのビット）または非常に大きいエリア（例えば、プログラム全体もしくは大量の受信データもしくは復号データ）に対応することができる。ＲＯＭ３３は、少なくともプログラムおよびパラメータを含む。ＲＯＭ３３は、本原理による技術を実行するためのアルゴリズムおよび命令を記憶し得る。オンに切り替わると、ＣＰＵ３２は、ＲＡＭ内にプログラムをアップロードして、対応する命令を実行する。

【0040】

ＲＡＭ３４は、レジスタに、ＣＰＵ３２により実行され、デバイス３０がオンに切り替わった後にアップロードされるプログラムを含み、入力データをレジスタに含み、方法の異なる状態の中間データをレジスタに含み、方法を実行するために使用される他の変数をレジスタに含む。

【0041】

本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号で実装することができる。（例えば、方法またはデバイスとしてのみ考察された）単一の形態の実装形態の場合でのみ考察されたとしても、考察された機能の実装形態は他の形態（例えば、プログラム）でも実装され得る。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えば、装置に実装することができ、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、一般に、処理デバイスを指す、例えば、プロセッサなどに実装することができる。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。

【0042】

例によれば、デバイス３０は、図８および９に関連して説明される方法を実装するように構成され、以下を含むセットに属する。
－－モバイルデバイス、
－－通信デバイス、
－－ゲームデバイス、
－－タブレット（または、タブレットコンピュータ）、
－－ラップトップ、
－－静止画カメラ、
－－ビデオカメラ、
－－符号化チップ、
－－サーバ（例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ、またはウェブサーバ）。

【0043】

図４は、データがパケットベース送信プロトコルを介して送信されるときのストリームのシンタックスの一実施形態の例を示す。図４は、ボリュメトリックビデオストリームの例示的な構造４を示している。構造は、ストリームを個別のシンタックス要素に編成するコンテナ内に存在する。この構造は、ストリームのあらゆるシンタックス要素に共通するデータのセットであるヘッダ部４１を含むことができる。例えば、ヘッダ部は、シンタックス要素に関するメタデータの一部を含み、それらの各々の性質および役割を記述している。ヘッダ部分はまた、図２のメタデータ２１２の一部、例えば、３Ｄシーンの点をフレーム２１１１および２１１２に射影するために使用される中心視点の座標を含み得る。構造は、シンタックス４２の要素とシンタックス４３の少なくとも１つの要素とを含むペイロードを含む。シンタックス要素４２は、色および深度フレームを表すデータを含む。画像は、ビデオ圧縮方法に従って圧縮されている可能性がある。

【0044】

シンタックス４３の要素は、データストリームのペイロードの一部であり、シンタックス４２の要素のフレームがどのように符号化されるかに関するメタデータ、例えば、３Ｄシーンの点をフレームに射影およびパッキングするために使用されるパラメータを含み得る。このようなメタデータは、ビデオの各フレームに、またはフレームのグループ（ビデオ圧縮規格ではピクチャのグループ（ＧｏＰ）としても知られている）に関連付けることができる。

【0045】

図５は、中心の視点５０からの球形射影を示している。図５の例では、３Ｄシーンは、３つのオブジェクト５２、５３、および５４を含む。オブジェクト５２の点は、視点５０に従って、前側および裏側を備えた表面を形成する。オブジェクト４２の裏側の点は、視点５０からは見えない。オブジェクト５３および５４の点は、視点５０に従って、前面を備えた表面を形成する。オブジェクト５３の点は、視点５０から見えるが、オブジェクト５３の表面による掩蔽のために、オブジェクト５４の点の一部のみが視点から見える。したがって、球面射影（正距円筒射影ＥＲＰ）は、３Ｄシーンのあらゆる点をフレームに射影するわけではない。透視射影や正射影のような、他の多くのタイプの射影を使用できる。例えば、視点５０から見えるポイントクラウドの点は、射影方法に従って射影マップ５１に射影される。図５の例では、射影方法は球形射影、例えば緯度／経度の射影または正距円筒射影（別名ＥＲＰ）であるため、射影マップは、図５では球体５１として表される。変形態では、射影方法は、キューブ射影方法、ピラミッド形射影方法、または視点５０を中心とする任意の射影方法である。オブジェクト５２の前側の点は、射影マップの領域５５内に射影される。オブジェクト５２の裏側の点は、視点５０からは見えないので、射影されていない。オブジェクト５３のあらゆる点が、視点５０から見ることができる。それらは、射影方法に従って、射影マップ５１の領域５６に射影される。一実施形態では、オブジェクト５４の点の一部のみが、視点５０から見える。オブジェクト５４の見える点は、射影マップ５１の領域５７に射影される。射影マップ５１のピクセルに記憶された情報は、３Ｄシーン内の射影された点と射影の中心５０との間の距離に対応する。変形態では、射影された点の色成分も、射影マップ５１のピクセルに記憶される。

【0046】

図６は、本原理の非限定的な実施形態による、射影の中心（別名、第１の点）から見える３Ｄシーンの点の深度情報を含む射影マップ６０の例を示す。図６の例では、３Ｄシーンの点が射影の中心から遠いほど、画像６０内のピクセルはより明るくなる。画像６０のピクセルに記憶される距離は、灰色のレベル、すなわち、０とＮ＝２ⁿ－１との間の区間に属する整数で量子化され、ｎは、符号化ビット深度（すなわち、整数値の符号化に使用されるビット数であり、典型的にはＨＥＶＣコーデックの場合は８、１０、または１２）である。図６の例では、深度は１０ビットでコード化されているため、ピクセルには０と１０２３との間の値が記憶される。深度情報は、例えば図６の例では、ｚ_min＝０．５メートルからｚ_max＝２８メートルになる。１０２４個を超える異なる距離があり、実数値を離散値に変換するには量子化関数を使用する必要がある。以下のアフィン変換の式１または逆関数の式２は、深度の実数値ｚを量子化するための可能な量子化関数である。

【数3】

【数4】

しかしながら、そのような量子化は、知覚的に一貫しておらず、むしろ、ｚ_minおよびｚ_maxに本質的に依存してシーン駆動される。

【0047】

図７は、３Ｄシーン内の第２の視点に従って量子化誤差がどのように認識されるかを示す。図７の例では、点７１が射影マップの画像平面に射影されている。球体７２は、３ＤｏＦ＋シナリオのコンテキストにおいてユーザが３Ｄシーンをそれから見ることができる、ビューイングバウンディングボックスとも呼ばれるビューイングゾーンを表す。球体７２はまた、射影マップを表し得る。点７１と第１の点７３（すなわち、射影の中心）との間の距離７４（我々はｚと呼ぶ）は、量子化関数ｆによって量子化され、量子化値ｖが、射影マップのピクセルに記憶される。射影マップは、図２に示すように、画像コーデックによって圧縮され、復号側において解凍される。値ｖは、この圧縮－解凍プロセスによって、例えば＋または－１、５、または８だけ、値ｖ’へとシフトされている可能性がある。第１の点７３と逆射影された点７６との間の距離は、値ν’に逆量子化関数を適用することによって決定される。距離７４と、点７６と点７３との間の距離との間のデルタ７５は、圧縮誤差によるものである。デルタ７５は、逆量子化関数に依存しているため、量子化関数に依存する。第１の点７３から観察すると、デルタ７５は、点７６と、逆射影された点を囲んでいるその隣接点との関係においてのみ知覚できる。しかしながら、別の視点ゾーン、例えば点７７から観察すると、デルタ７５は、点７１の位置と点７６の位置との間のこのデルタが、点７７を指す角度７８を形成するので、それ自体で知覚される。角度７８が大きいほど、圧縮誤差によって生成される視覚的アーティファクトはより大きくなる。角度７８は、点７７における誤差角度と呼ばれる。

【0048】

本原理によれば、量子化関数は、３Ｄ空間内の第２の点について角度７８を事前決定角度γよりも低く保つために選択され、パラメータ化される。例えば、第２の点７７または７９が、３Ｄシーンの所与の３ＤｏＦ＋レンダリング用に定義されたビューイングゾーン内で選択される。例えば、角度γは、約０．５分角の既知の人間の視力に対応する値に設定される。角度γは、予想される圧縮誤差レベルに対する量子化の予想されるロバスト性に応じて、任意の角度値に設定され得る。このコンテキストでは、ビューイングゾーン内のユーザの場所に応じて、本明細書ではΦ（ｚ）と呼ばれる、関連する誤差角度７８は、ユーザが射影の中心に立つときはヌルになる可能性があるが、彼が点Ａに立つときはより大幅に大きくなる可能性がある。図７の例では、ビューイングゾーンは球体であり、Φ（ｚ）の最大値は、バウンディング球体の前縁上の点において取得されることが示され得る。このプロパティは、ゾーンに制約のあるビューイング点の場合（すなわち３ＤｏＦ＋レンダリング）、ユーザがビューイングゾーン内で視覚的アーティファクトを経験するのを防ぐ専用の深度量子化法則（すなわち関数）を設計するために重要である。我々が、ビューイングゾーン上でΦ_max（ｚ）、Φ（ｚ）の最大値を呼び出した場合、量子化法則は、関連する量子化誤差がΦ_max（ｚ）＝γを強制することを保証するはずであり、ここで、γは、圧縮誤差レベルに対する量子化関数の予想されるロバスト性、例えば、前述の人間の視力のために事前決定された角度である。このような方法を行うことにより、関連する誤差角度が、知覚可能なしきい値よりも低いままであるため、圧縮－解凍プロセスによる量子化誤差がビューイングゾーンから知覚されなくなることが保証される。結果として得られる量子化法則は、事前決定された角度γと、例えばビューイングゾーン内にある、第２の点の座標とにのみ依存する。変形態では、第２の点の座標の代わりに、量子化関数は、第１の点からの距離に依存し得る。これは、第１の点を中心とする球体上の任意の点、例えば図７の点７９に従って量子化関数を定義することと同等である。

【0049】

そのような量子化法則は、最適な位置（Φ（ｚ）＝Φ_max（ｚ））において分析的に扱いにくいが、量子化離散テーブルが数値的に取得され得る。例えば、点７９における誤差角度が、１の値誤差の場合に事前決定された角度γよりも小さくなる（すなわち、値ｖの解凍された値がｖ＋１またはｖ－１になる）ように強制する量子化関数のための良好な近似は、射影７３の中心から距離Ｒにある点７９について、式３によって取得できる。

【0050】

【数5】

ここで、Ｋは、事前決定された最大深度値に対してｑ_P（ｚ）＝０となるように設定された定数である。これらの基準に従う量子化関数の定義は、コンテキストに依存する。第２の点のための良い候補を見つけることは、ビューイングゾーンの形状およびサイズに依存する。選択された関数は、図７の例におけるように、常に扱いやすいとは限らない。言い換えると、パラメータ化可能な関数は、エンコーダおよびデコーダによって知られている必要があり、エンコーダにおける選択されたパラメータは、復号側において取り出されるために、フォーマッティングされたストリーム内の３Ｄシーンに関連付けられたメタデータ内に符号化される必要がある。別の実施形態では、逆量子化関数に応答するルックアップテーブル（ＬＵＴ）が、エンコーダにおいて構築され、３Ｄシーンを表す画像に関連付けられたメタデータ内に符号化される。ルックアップテーブルは、量子化値の区間のあらゆる値を距離の実数値に関連付ける情報である。この実施形態は、逆量子化関数がデコーダによって事前に知られる必要がないという利点を有する。デコーダは、ストリームからＬＵＴを抽出し、このＬＵＴを使用して、量子化された深度から実数の深度を取り出す。量子化関数は、（上記で定義した）第２の点における誤差角度が、値誤差ｅの場合に事前決定された角度γよりも小さくなることを強制するように決定されているため、ＬＵＴとして符号化された逆量子化関数も、同じ基準を強制する。

【0051】

３ＤｏＦ＋レンダリングシナリオのための３Ｄシーンまたは一連の３Ｄシーンの符号化および復号のコンテキストでは、本原理は、シナリオのビューイングゾーン内のビューの任意の視点に対して、事前決定されたレベルよりも低い、例えば、人間の視力よりも低い知覚量子化誤差を保証するという利点を有する。

【0052】

図８は、本原理の非限定的な実施形態による３Ｄシーンの点の深度を表すデータを符号化する方法を示す。ステップ８１において、深度データをソースから取得し、第２の点、所与の角度、および誤差値に従って決定される量子化関数を使用することによって量子化し、その結果、２つの量子化値間の上記誤差値の差は、第２の点において所与の角度よりも低い誤差角度につながる。深度データを、量子化し、画像またはビデオコーデックで圧縮された画像のピクセルに記憶する。ステップ８２において、圧縮された画像を、量子化関数の逆関数を表すメタデータに関連してデータストリーム内に符号化する。一実施形態では、逆量子化関数は、エンコーダとデコーダの両方によって知られているパラメータ化された関数である。この実施形態では、メタデータは、角度および／または誤差値および／または第２の点の座標、もしくは第１の点と第２の点との間の距離を含む。これらのメタデータは、デコーダによって事前決定され、事前に認識されている場合は任意選択である。別の実施形態では、あらゆる可能な量子化値を、量子化関数によって決定された距離に関連付けるルックアップテーブルが生成され、圧縮された画像に関連してデータストリーム内に符号化される。

【0053】

図９は、３Ｄシーンの点と３Ｄシーン内の第１の点との間の距離を表すデータを復号する方法を示す。ステップ９１において、３Ｄシーンのジオメトリを表すデータを符号化するデータストリームをストリームから取得する。圧縮画像と、逆量子化関数を表すメタデータとを、データストリームから抽出する。画像を解凍する。ステップ９２において、量子化値を逆量子化関数に適用することによって、解凍された画像のピクセルに含まれる深度情報の実数値を取り出す。３Ｄシーンの点は逆射影され、すなわち、画像内のピクセルの座標と、画像の生成に使用される射影演算とに従って決定された方向において、第１の点からの逆量子化された距離に設定される。一実施形態では、逆量子化関数は、エンコーダとデコーダの両方によって知られているパラメータ化された関数である。メタデータは、関数を初期化するために必要なパラメータ、すなわち、角度および／または誤差値および／または第２の点の座標、もしくは第１の点と第２の点との間の距離を含む。これらのメタデータは、デコーダによって事前決定され、事前に認識されている場合は任意選択である。別の実施形態では、逆量子化関数は、メタデータ内にルックアップテーブルとして符号化される。距離の実数値は、ピクセルに記憶された量子化値に従って、このルックアップテーブルから直接取り出される。

【0054】

本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号で実装することができる。（例えば、方法またはデバイスとしてのみ考察された）単一の形態の実装形態の場合でのみ考察されたとしても、考察された機能の実装形態は他の形態（例えば、プログラム）でも実装され得る。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えば、装置に実装することができ、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、一般に、処理デバイスを指す、例えば、プロセッサなどに実装することができる。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスのような通信デバイスも含む。

【0055】

本明細書で説明される様々なプロセスおよび特徴の実装形態は、多種多様な異なる機器または用途において具体化することができる、具体的には、例えばデータ符号化、データ復号、ビュー生成、テクスチャ処理、および他の画像処理、ならびに関連するテクスチャ情報および／または深度情報に関連付けられる機器または用途において具体化することができる。このような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、入力を符号化器に供給するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、および他の通信デバイスを含む。明らかであるはずであるように、機器は、可搬式とすることができ、移動車両にさえ搭載することができる。

【0056】

また、方法は、プロセッサにより実行される命令で実装することができ、このような命令（および／または、実装形態により生成されるデータ値）は、例えば集積回路、ソフトウェア担体のようなプロセッサ可読媒体に記憶する、または例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）またはデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ）と表記される場合が多いＤＶＤのような）、ランダムアクセスメモリ（「ＲＡＭ」）、またはリードオンリーメモリ（「ＲＯＭ」）のような他のストレージデバイスに記憶することができる。命令は、プロセッサ可読媒体に有形に具現化されるアプリケーションプログラムを形成することができる。命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせで行うことができる。命令は、例えば、オペレーティングシステム、個別アプリケーション、または２つの組み合わせに見出すことができる。したがって、プロセッサは、例えば、処理を実行するように構成されたデバイス、および処理を実行する命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実装形態により生成されるデータ値を記憶することができる。

【0057】

当業者には明らかであるように、実装形態は、情報を搬送するようにフォーマット化される多種多様な信号を生成することができ、この情報は、例えば、記憶または送信することができる。情報は、例えば、方法を実行する命令、または説明される実装形態のうちの１つにより生成されるデータを含むことができる。例えば、信号は、データとして、説明される実施形態のシンタックスを書き込む、または読み出すルールを伝達するようにフォーマットすることができる、またはデータとして、説明される実施形態より記述された実際のシンタックス値を伝達するようにフォーマットすることができる。このような信号は、例えば電磁波としてフォーマットする（例えば、スペクトルの無線周波数部分を使用して）ことができる、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知のように、多種多様な異なる有線リンクまたは無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶されてもよい。

【0058】

多数の実装形態が説明されてきた。それにもかかわらず、様々な変更を行うことができることが理解されよう。例えば、異なる実装形態の要素は、他の実装形態を生成するために組み合わせる、補足する、変更する、または削除することができる。また、当業者であれば、他の構造および処理を、開示される構造および処理に替えて用いることができ、結果として得られる実装形態が、少なくとも実質的に同じ機能（複数可）を、少なくとも実質的に同じ方法（複数可）で実行して、開示される実装形態として少なくとも実質的に同じ結果（複数可）を達成することを理解するであろう。したがって、これらの実装形態および他の実装形態は、本出願により想到される。
［付記１］
第３の点（７７、７９）、所与の角度、および誤差値によって定義される量子化関数を使用することにより、第１の点と第２の点との間の距離を表す値を量子化することと、
前記量子化関数を表すメタデータ（４３）に関連付けられた量子化値（４２）を、データストリーム（４）において符号化することと、を含む方法。
［付記２］
前記量子化関数は、前記量子化値と前記誤差値との合計の逆量子化が第４の点を生成するように、かつ角度第４の点、前記第３の点、前記第２の点が前記所与の角度以下になるように定義される、付記１に記載の方法。
［付記３］
前記メタデータが、前記所与の角度および前記第３の点の座標、または前記第１の点と前記第３の点との間の距離を含む、付記１または２に記載の方法。
［付記４］
前記メタデータが、前記量子化関数の逆関数に応答するルックアップテーブルを含む、付記１または２に記載の方法。
［付記５］
前記第１の点および前記第３の点が、所与のゾーンに属し、前記第３の点が、前記所与の角度を最大化するように選択される、付記２～４の一項に記載の方法。
［付記６］
前記所与の角度が人間の視力の測度に対応する、および／または前記誤差値が１に等しい、付記１～５の一項に記載の方法。
［付記７］
プロセッサ（３２）を備えるデバイス（３０）であって、前記プロセッサ（３２）が、
第３の点（７７、７９）、所与の角度、および誤差値によって定義される量子化関数を使用することにより、第１の点と第２の点との間の距離を表す値を量子化することと、
前記量子化関数を表すメタデータ（４３）に関連付けられた量子化値（４２）を、データストリーム（４）において符号化することと、を行うように構成された、デバイス。
［付記８］
前記量子化関数は、前記量子化値と前記誤差値との合計の逆量子化が第４の点を生成するように、かつ角度第４の点、前記第３の点、前記第２の点が前記所与の角度以下になるように定義される、付記７に記載のデバイス。
［付記９］
前記メタデータが、前記所与の角度および前記第３の点の座標、または前記第１の点と前記第３の点との間の距離を含む、付記７または８に記載のデバイス。
［付記１０］
前記メタデータが、前記量子化関数の逆関数に応答するルックアップテーブルを含む、付記７または８に記載のデバイス。
［付記１１］
前記第１の点および前記第３の点が、所与のゾーンに属し、前記第３の点が、前記所与の角度を最大化するように選択される、付記８～１０の一項に記載のデバイス。
［付記１２］
前記所与の角度が人間の視力の測度に対応する、および／または前記誤差値が１に等しい、付記７～１１の一項に記載のデバイス。
［付記１３］
データストリーム（４）から、量子化値（４２）と、量子化関数を表す関連するメタデータ（４３）とを復号することであって、前記量子化関数が、第３の点（７７、７９）、所与の角度、および誤差値によって定義される、復号することと、
前記量子化関数の逆関数に従って、前記量子化値を逆量子化することと、を含む、方法。
［付記１４］
前記量子化関数は、前記量子化値と前記誤差値との合計の逆量子化が第４の点を生成するように、かつ角度第４の点、前記第３の点、第２の点が前記所与の角度以下になるように定義される、付記１３に記載の方法。
［付記１５］
前記メタデータが、前記所与の角度および前記第３の点の座標、または第１の点と前記第３の点との間の距離を含む、付記１３または１４に記載の方法。
［付記１６］
前記メタデータが、前記量子化関数の逆関数に応答するルックアップテーブルを含む、付記１３または１４に記載の方法。
［付記１７］
プロセッサを備えるデバイスであって、前記プロセッサが、
データストリーム（４）から、量子化値（４２）と、量子化関数を表す関連するメタデータ（４３）とを復号することであって、前記量子化関数が、第３の点（７７、７９）、所与の角度、および誤差値によって定義される、復号することと、
前記量子化関数の逆関数に従って、前記量子化値を逆量子化することと、を行うように構成された、デバイス。
［付記１８］
前記量子化関数は、前記量子化値と前記誤差値との合計の逆量子化が第４の点を生成するように、かつ角度第４の点、前記第３の点、第２の点が前記所与の角度以下になるように定義される、付記１７に記載のデバイス。
［付記１９］
前記メタデータが、前記所与の角度および前記第３の点の座標、または第１の点と前記第３の点との間の距離を含む、付記１７または１８に記載のデバイス。
［付記２０］
前記メタデータが、前記量子化関数の逆関数に応答するルックアップテーブルを含む、付記１７または１８に記載のデバイス。
［付記２１］
第１の点と第２の点との間の距離を表す値であって、前記値が、第３の点（７７、７９）、所与の角度、および誤差値によって定義される量子化関数によって量子化される、値と、
前記量子化関数を表すメタデータと、を含むデータストリーム。
［付記２２］
前記メタデータが、前記所与の角度および前記第３の点の座標、または前記第１の点と前記第３の点との間の距離を含む、付記２１に記載のデータストリーム。
［付記２３］
前記メタデータが、前記量子化関数の逆関数に応答するルックアップテーブルを含む、付記２１に記載のデータストリーム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】