特許 7623089 テクスチャベースの没入型ビデオコーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】テクスチャベースの没入型ビデオコーディング

(51)【国際特許分類】

   H04N 19/20 20140101AFI20250121BHJP

   H04N 19/597 20140101ALI20250121BHJP

【ＦＩ】

H04N19/20

H04N19/597

【請求項の数】 24

(21)【出願番号】P 2022554297

(86)(22)【出願日】2020-12-23

(65)【公表番号】

(43)【公表日】2023-05-24

(86)【国際出願番号】 US2020066944

(87)【国際公開番号】W WO2021211173

(87)【国際公開日】2021-10-21

【審査請求日】2023-09-01

(31)【優先権主張番号】63/009,356

(32)【優先日】2020-04-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ボイス、ジル

(72)【発明者】

【氏名】サラヒエ、バゼル

【審査官】田中 崇大

(56)【参考文献】

【文献】特開２０１９－０９６２９４（ＪＰ，Ａ）

【文献】特表平１１－５１１８８４（ＪＰ，Ａ）

【文献】特開２０１９－２０１４３６（ＪＰ，Ａ）

【文献】特表２０２３－５０６８３２（ＪＰ，Ａ）

【文献】Basel Salahieh et al.，Multi-Pass Renderer in MPEG Test Model for Immersive Video，2019 Picture Coding Symposium，2020年01月09日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

方法であって、
第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別する段階と、
第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別する段階であって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、段階と、
前記第１ビューにおける隣接画素を比較する段階と、
前記隣接画素の前記比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別する段階であって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、段階と、
符号化ビデオデータに含める少なくとも１つのアトラスを生成する段階であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチおよび対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、段階と
を備える方法。

【請求項2】

前記第１ビューについての第１のプルーニングマスクを生成する段階であって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、段階を更に備える、請求項１に記載の方法。

【請求項3】

前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない、請求項２に記載の方法。

【請求項4】

前記第２ビューについての第２のプルーニングマスクを生成する段階であって、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく、段階を更に備える、請求項２または３に記載の方法。

【請求項5】

前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に対応する画素を含む、請求項４に記載の方法。

【請求項6】

第３ビューについての第３のプルーニングマスクを生成する段階であって、前記第３のプルーニングマスクは、第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素に対応する画素、および、前記第２ビューの前記第２の対応する画素に対応する画素を含む、段階を更に備える、請求項４または５に記載の方法。

【請求項7】

維持される第１の複数の画素、第２の複数の画素、および第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを生成する段階であって、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの前記第２の対応する画素に含まれる前記第３の対応する画素を含む、段階を更に備える、請求項６に記載の方法。

【請求項8】

前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約する段階を更に備える、請求項７に記載の方法。

【請求項9】

前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影しない前記第１ビューの前記複数の画素の複数のものであると識別する段階を更に備える、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記第１の対応する画素が、前記第２ビューに再投影されるとき前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別する段階を更に備える、請求項１から８のいずれか一項に記載の方法。

【請求項11】

前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツ間の差分が閾値を満たすとき、前記第１の対応する画素の前記第１のもの、および、前記第２の対応する画素の前記第２のものを、同様のものとして識別する段階を更に備える、請求項１０に記載の方法。

【請求項12】

前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む、請求項１から８のいずれか一項に記載の方法。

【請求項13】

請求項１から１２のいずれか一項に記載の方法を実行するための手段を備える装置。

【請求項14】

装置によって実行されると、請求項１から１２のいずれか一項に記載の方法を前記装置に実行させるための機械可読命令を備えるコンピュータプログラム。

【請求項15】

少なくとも１つのメモリと、
前記メモリにおける機械可読命令と、
請求項１から１２のいずれか一項に記載の方法を実行するために前記機械可読命令のインスタンス化または実行の少なくとも１つを行うプロセッサ回路と
を備えるシステム。

【請求項16】

方法であって、
符号化ビデオデータにおけるフラグを識別する段階であって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、段階と、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得する段階であって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、段階と、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する第２の画素との比較に基づいて、デプス情報を判定する段階と、
前記判定されたデプス情報からターゲットビューを合成する段階と
を備える方法。

【請求項17】

前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む、請求項１６に記載の方法。

【請求項18】

前記第２のマップに基づいて前記対応する第２のパッチを再構築する段階を更に備える、請求項１７に記載の方法。

【請求項19】

前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する第２の画素を識別する段階を更に備える、請求項１６から１８のいずれか一項に記載の方法。

【請求項20】

前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定する段階であって、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する、段階を更に備える、請求項１６から１８のいずれか一項に記載の方法。

【請求項21】

請求項１６から２０のいずれか一項に記載の方法を実行するための手段を備える装置。

【請求項22】

装置によって実行されると、請求項１６から２０のいずれか一項に記載の方法を前記装置に実行させるための機械可読命令を含むコンピュータプログラム。

【請求項23】

少なくとも１つのメモリと、
前記メモリにおける機械可読命令と、
請求項１６から２０のいずれか一項に記載の方法を実行するために前記機械可読命令のインスタンス化または実行の少なくとも１つを行うプロセッサ回路と
を備えるシステム。

【請求項24】

請求項１４または２２に記載のコンピュータプログラムを格納するコンピュータ可読格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本特許は、２０２０年４月１３日に出願された、米国仮特許出願第６３／００９，３５６号の利益を主張する。米国仮特許出願第６３／００９，３５６号は、参照によって、全体が本明細書に組み込まれる。米国特許出願第６３／００９，３５６号に対する優先権が本明細書において主張される。

【0002】

本開示は概して、ビデオコーディングに関し、より具体的には、テクスチャベースの没入型ビデオコーディングに関する。

【背景技術】

【0003】

圧縮／解凍（コーデック）システムにおいて、圧縮効率およびビデオ品質は、重要な性能基準である。例えば、視覚的品質は、多くのビデオアプリケーションにおけるユーザ体験の重要な性質であり、圧縮効率は、ビデオファイルを格納するために必要なメモリストレージの量、および／または、ビデオコンテンツを送信および／またはストリーミングするために必要な帯域幅の量に影響する。ビデオエンコーダはビデオ情報を圧縮し、その結果、より多くの情報を、所与の帯域幅を介して送信でき、または、所与のメモリ空間または同様のものに格納できる。圧縮された信号またはデータは次に、ユーザに表示するために、信号またはデータを復号または圧縮解除するデコーダによって復号される。多くの実装において、より大きい圧縮による、より高い視覚的品質が望まれる。

【0004】

現在、没入型ビデオコーディングのための規格が策定されており、それらには、ムービングピクチャエクスパーツグループ（ＭＰＥＧ）没入型ビデオコーディングが含まれる。そのような規格は、没入型ビデオおよび点群コーディングの文脈において、圧縮効率および再構築品質を確立および改善することを目的とする。

【図面の簡単な説明】

【0005】

【図1】例示的なＭＰＥＧ没入型ビデオ（ＭＩＶ）エンコーダのブロック図である。

【0006】

【図2】選択された入力ビューからの例示的なパッチ形成を示す。

【0007】

【図3】例示的なＭＩＶデコーダのブロック図である。

【0008】

【図4】アトラスパッチからのプルーニング済みビューの例示的な再構築を示す。

【0009】

【図5】本開示の教示による例示的なテクスチャベースＭＩＶエンコーダのブロック図である。

【0010】

【図6】図５のテクスチャベースＭＩＶエンコーダにおける入力ビューからの例示的なアトラス生成を示す。

【0011】

【図7】本開示の教示による例示的なテクスチャベースＭＩＶデコーダのブロック図である。

【0012】

【図8】図７のテクスチャベースのＭＩＶデコーダによって実装される例示的なレンダリングプロセスのブロック図である。

【0013】

【図9】図７のテクスチャベースのＭＩＶデコーダにおける例示的なアトラスビュー再構築を示す。

【0014】

【図10】ＭＩＶエクステンションを有する例示的なビデオベースのボリュメトリックビデオコーディング（Ｖ３Ｃ）サンプルストリーミングを示す。

【0015】

【図11】図５のテクスチャベースＭＩＶエンコーダを実装するために実行され得る機械可読命令を表すフローチャートである。

【0016】

【図12】図５のテクスチャベースＭＩＶエンコーダに含まれる例示的な対応関係ラベリング部を実装するために実行され得る機械可読命令を表すフローチャートである。

【0017】

【図13】図５のテクスチャベースＭＩＶエンコーダに含まれる例示的な対応関係プルーニング部を実装するために実行され得る機械可読命令を表すフローチャートである。

【0018】

【図14】図５のテクスチャベースＭＩＶエンコーダに含まれる例示的な対応関係パッチパッキング部を実装するために実行され得る機械可読命令を表すフローチャートである。

【0019】

【図15】図７のテクスチャベースのＭＩＶデコーダを実装するために実行され得る機械可読命令を表すフローチャートである。

【0020】

【図16】本開示の少なくともいくつかの実装による例示的なシステムの説明図である。

【0021】

【図17】本開示の少なくともいくつかの実装に従ってすべて配置された例示的なデバイスを示す。

【0022】

【図18】図５のテクスチャベースＭＩＶエンコーダを実装するために図１１、１２、１３および１４の命令を実行するよう構築された例示的な処理プラットフォームのブロック図である。

【0023】

【図19】図７のテクスチャベースのＭＩＶデコーダを実装するために図１５の命令を実行するように構築された例示的な処理プラットフォームのブロック図である。

【0024】

【図20】消費者（例えば、ライセンス、販売および／または使用）、小売業者（例えば、販売、再販売、ライセンスおよび／またはサブライセンス）、および／または、相手先商標製造会社（ＯＥＭ）（例えば、小売業者に、および／または、直接購入顧客に配布される製品に含める）などのクライアントデバイスへソフトウェア（例えば、図１１、１２、１３、１４および１５の例示的なコンピュータ可読命令に対応するソフトウェア）を配布するための例示的なソフトウェア配布プラットフォームのブロック図である。

【0025】

図は縮尺通りではない。 概して、同じまたは同様の部分を指すために、同じ参照番号が図面および添付の書面の記述を通じて使用される。

【0026】

特に別段の指定が無い限り、「第１」、「第２」、「第３」などの記述語は、本明細書において、リストにおける優先度、物理的順序、配置、および／または、何等かの順序の任意の意味であるとみなすことなく、または、さもなければ示すことなく使用され、単に、開示される例の理解を容易にするために要素を区別するためのラベルおよび／または恣意的な名称として使用される。いくつかの例において、「第１」という記述語は、詳細な説明における要素を指すために使用され得るが、請求項においては、同一の要素が、「第２」または「第３」などの異なる記述語で参照され得る。そのような場合、そのような記述語は単に、それらの要素を明白に識別するために（さもなければ、例えばそれらの要素は同一の名称を共有する）使用され得ることを理解されたい。本明細書において使用される場合、「凡そ」および「約」は、製造許容差および／または他の現実の不完全性に起因して厳密でないことがあり得る寸法を指す。本明細書で使用されているように、「実質的にリアルタイム」とは、ほぼ瞬間的に発生することを指すが、現実には計算時間、送信などの遅延があることは認識されるべきである。 したがって、別段の定めが無い限り、「実質的にリアルタイム」とは、リアルタイム±１秒を指す。

【発明を実施するための形態】

【0027】

添付図面を参照して、１または複数の実施形態または実装をここで説明する。 特定の構成および配置が説明されるが、これは例示的な目的に過ぎないことが理解されるべきである。当業者であれば、説明の思想および範囲から逸脱することなく、他の構成および配置が利用され得ることを理解するであろう。本明細書に説明される技法および／または配置はまた、本明細書において説明されるもの以外に、様々な他のシステムおよび用途においても利用され得ることは当業者にとって明らかである。

【0028】

以下の説明では、例えばシステムオンチップ（ＳｏＣ）アーキテクチャなどのアーキテクチャにおいて明示され得る様々な実装を記載するが、本明細書において説明する技法および／または配置の実装は、特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的の任意のアーキテクチャおよび／またはコンピューティングシステムにより実装され得る。 例えば、例えば複数の集積回路（ＩＣ）チップおよび／またはパッケージを利用する様々なアーキテクチャ、および／または、様々なコンピューティングデバイス、および／または、セットトップボックスおよびスマートフォンなどの消費者用電子（ＣＥ）デバイスは、本明細書において説明される技法および／または配置を実装し得る。更に、以下の説明では、システムコンポーネントのロジック実装、タイプおよび相互関係、ならびに、論理パーティショニング／インテグレーション選択などの多くの具体的な詳細を説明し得るが、請求される主題は、そのような具体的な詳細無しで実施され得る。他の場合において、本明細書において開示されるマテリアルを曖昧にしないようにするべく、例えば、制御構造および完全ソフトウェア命令シーケンスなど、いくつかのマテリアルは、詳細に示されないことがあり得る。

【0029】

「一実装」、「実装」、「例示的な実装」等についての本明細書における言及は、説明される実装が特定の特徴、構造または特性を含み得ることを示すが、全ての実施形態がそのような特定の特徴、構造または特性を必ずしも含まないことがある。 更に、そのような語句は、必ずしも同一の実装を指すわけではない。更に、特定の特徴、構造または特性が、実施形態に関連して説明されるとき、本明細書において明示に説明されるかどうかに関わらず、他の実装に関連して、そのような特徴、構造または特性をもたらすことは、当業者の知識内であることが示される。

【0030】

"実質的に"、"近く"、"凡そ"、"近辺"、および"約"という用語は、一般的に、ターゲット値の＋／－１０％以内にあることを指す。 例えば、使用の明示的な文脈において指定される場合を除き、「実質的に等しい」、「ほぼ等しい」、および「凡そ等しい」という用語は、そのように説明されたものの間には、偶発的な変動だけがあることを意味する。本技術分野において、そのような変動は、典型的には、予め定められた目標値の±１０％以下である。

【0031】

デジタルメディア技術の進歩により、新しいメディアフォーマットの魅力的な没入型体験の提供が可能になっている。ムービングピクチャエクスパーツグループ（ＭＰＥＧ）は、没入型メディアアクセスおよび提供をサポートする規格を策定している一標準化団体である。例えば、没入型メディアのコーディングされた表現（ＭＰＥＧ－１）は、パノラマ３６０°ビデオ、ボリュメトリックポイントクラウド、および没入型ビデオなどの没入型メディアフォーマットに関する没入型メディア産業規格のセットである。

【0032】

ＭＰＥＧは、ＭＰＥＧ没入型ビデオ（ＭＩＶ）と称される没入型ビデオコーディング規格を策定している。本明細書において「没入型ビデオコーディング規格」と称される、ＭＩＶ規格（Ｊ． Ｂｏｙｃｅ， Ｒ． Ｄｏｒｅ， Ｖ． Ｋｕｍａｒ Ｍａｌａｍａｌ Ｖａｄａｋｉｔａｌ （Ｅｄｓ．）， "Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４ ｏｆ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ"， ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ／Ｎ１９００１、２０２０年１月、ブリュッセル、ベルギー）および没入型ビデオのテストモデル（ＴＭＩＶ）（Ｂ． Ｓａｌａｈｉｅｈ， Ｂ． Ｋｒｏｏｎ， Ｊ． Ｊｏｎｇ， Ｍ． Ｄｏｍａｎｓｋｉ （Ｅｄｓ．）， "Ｔｅｓｔ Ｍｏｄｅｌ ４ ｆｏｒ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ"， ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ／Ｎ１９００２、２０２０年１月、ブリュッセル、ベルギー）を参照されたい。ＭＩＶ規格は、没入型ビデオのビットストリームフォーマットおよび復号プロセスを指定する。没入型ビデオのテストモデルは、参照符号化プロセスおよびレンダリングプロセスを説明するが、しかしながら、これらのプロセスは、ＭＩＶ規格に対して規範的なものではない。

【0033】

ＭＩＶドラフト規格は、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオコーデックを使用して、特定の位置および向きにおける各々の複数の入力ビューについてのテクスチャおよびデプスビデオをコーディングする。ＭＩＶ規格は、参照レンダリング部を指定するのではなく、必要なメタデータおよび復号済みストリームを指定する。参照レンダリング部の意図される出力は、テクスチャのパースペクティブビューポートであり、ビューポートは、視聴者位置および向きに基づいて選択され、没入型メディアデコーダの出力を使用して生成される。ＭＩＶ規格は、視聴者が６の自由度（６ＤｏＦ）で動的に移動し、（例えば、ヘッドマウントディスプレイ、例えば位置入力を有する２次元（２Ｄ）モニタなどによってサポートされるような）制限された範囲内で位置（ｘ、ｙ、ｚ）および向き（ヨー、ピッチ、ロール）を調節することを可能にする。

【0034】

ＭＩＶ規格において、デプス情報（ジオメトリとしても知られている）は、テクスチャコンテンツに沿ってストリーミングされる場合に追加の帯域幅を必要とし得る没入型ビデオコーディングのためのビットストリームの一部として割り当てられ得る。追加的に、プルーニング、クラスタリングおよびパッキングなど、ＭＩＶのテストモデルにおいて実装される符号化動作は、デプスのみを利用し、テクスチャ情報を考慮しないので、重要な没入型のキュー（例えば、鏡面性、透明性、異なるカメラからのキャプチャされたビューについての変動する照明条件）が抽出パッチ（すなわち、ビューからの長方形領域）において失われる。さらに、直接的にキャプチャ／提供されていない場合、デプスマップを推定することは、コストが大きい動作であり得、デプス推定アルゴリズムの局所的性質に起因して、自然のコンテンツについて、すべてのカメラにわたってデプス整合性を維持することは困難であり得る。したがって、いくつかのサービスは、デプスを使用しないことを選択し、ＭＩＶによって現在サポートされていない。現在、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）などの標準ビデオコーデックを別々に使用して、様々なキャプチャカメラからのテクスチャコンテンツが符号化され、送信され得るか、または、ＭＶ－ＨＥＶＣなどのビデオコーデックのマルチビューエクステンションを使用して、予測符号化され得る。次に、ビュー合成技法が呼び出され、復号されたテクスチャコンテンツおよびビューポート情報（すなわち、目標の視聴位置および向き）に基づいて、望ましいビューポートをレンダリングする。そのようなビュー合成は、投影を適切に実行するために、復号されたテクスチャに対するデプス推定（または別のタイプの視差情報）前処理段階を必要とし得る。しかしながら、そのような手法は、異なるビューにわたる角度冗長性を完全に利用しない。なぜなら、別のビューの同時符号化は、符号化における冗長性をもたらすからである。ＭＶ－ＨＥＶＣにおいてビュー間予測は、従来のフレーム間時間予測と同様であるが、ブロックモーションモデルにおける水平方向シフトのみがサポートされ、それにより、ＭＩＶにおいて利用されるビュー間相関を利用する再投影ベースの手法と比較して、非効率的な帯域幅利用につながる。

【0035】

テクスチャベースの没入型ビデオコーディングのための方法、装置およびシステムが本明細書において開示される。本明細書において開示される例示的な符号化技法およびメタデータシグナリング技法は、別個にシグナリングされるデプスオプションおよび占有マップを有し、対応関係符号化動作をサポートし、ＭＩＶビットストリームからデプスを除外することを可能にする。いくつかの開示された例示的な符号化技法において、入力ビューごとのテクスチャ情報のみが利用され、入力ビューごとのデプス情報を必要としない。カメラパラメータも利用されるが、テクスチャコンテンツからも推定／推論され得る。開示される例示的な符号化技法は、利用可能な入力ビューにわたるテクスチャコンテンツにおける対応関係パッチを識別して冗長テクスチャ情報を除去することを含む。開示される例示的な符号化技法は、符号化されたビットストリームにおいて、識別された対応関係パッチと共にテクスチャコンテンツを送信する。開示された例示的な技法は、帯域幅の更なる節約を提供し（デプスが符号化済みビットストリームの一部として符号化されないため）、これにより、より多くの没入型キューが提供されることを可能にし、より広い範囲の没入型アプリケーションをサポートする。

【0036】

本明細書において開示される例示的な復号技法は、コーディング済みテクスチャビデオ、コーディング済み占有ビデオ、およびメタデータを含む入力ビットストリームを受信する。開示される例示的な復号技法は、コーディング済みテクスチャビデオからデプス情報を推論する。開示される例示的な復号技法は、コーディング済みテクスチャビデオにおける対応関係情報を取得する。開示される例示的な復号技法は、テクスチャパッチと、他のビューからの対応するテクスチャパッチとを使用して、ビデオデータにおけるデプス情報を推論する。開示される例示的な復号技法は更に、メタデータならびに所望の視聴位置および向きに沿って、テクスチャパッチおよび対応するテクスチャパッチに基づいてビューポートを合成することを含む。

【0037】

図１は、例示的な没入型ビデオ（ＭＩＶ）エンコーダ１００のブロック図である。例示的なＭＩＶエンコーダ１００は、例示的なビュー最適化部１０２、例示的なアトラス構築部１０４、例示的なデプス／占有コーディング部１２０、例示的なジオメトリスケーリング部１２２、例示的なビデオエンコーダ１３２、および例示的なビデオエンコーダ１３４を含む。例示的なＭＩＶエンコーダ１００は、例示的なソースビュー１０１を受信する。例えば、ソースビュー１０１は、キャプチャされたシーンのテクスチャデータ（例えばテクスチャビットストリーム）およびデプスデータ（例えばデプスビットストリーム）を含む。本明細書において使用される「テクスチャ」および「属性」は、交換可能に使用され、画素の色成分（例えば、赤・緑・青（ＲＧＢ）成分）など、画素の可視的な性質を指す。本明細書において使用される「デプス」および「ジオメトリ」は、別段の定めが無い限り、交換可能に使用される。画素のジオメトリは典型的には、参照平面からの画素の距離を指す画素のデプスを含むからである。例えば、ソースビュー１０１は、ビデオキャプチャ部によって生成されたソースビュー、コンピュータによって生成された仮想ビューなどであり得る。示された例において、ソースビュー１０１はビデオシーケンスとして表される。例示的なＭＩＶエンコーダ１００は更に、例示的なソースカメラパラメータリスト１０３を受信する。例えば、ソースカメラパラメータリスト１０３は、ソースカメラの位置、ソースカメラの角度などを含み得る。

【0038】

例示的なビュー最適化部１０２は、符号化するビューを選択する。例えば、ビュー最適化部１０２は、ソースビュー１０１を分析して、どのビューを符号化するかを選択する。いくつかの例において、ビュー最適化部１０２は、ソースビュー１０１のビューを基本ビューまたは追加ビューとしてラベリングする。本明細書において使用される場合、基本ビューとは、単一パッチとしてアトラスにおいてパッキングされるべき入力ビューである。本明細書において使用される場合、追加ビューとは、１または複数のパッチにおいてプルーニングおよびパッキングされるべき入力ビューである。例えば、ビュー最適化部１０２は、画素レートの制限、入力ビューあたりのサンプルカウントなどの基準に基づいて、いくつの基本ビューが入力ビューにあり得るかを判定し得る。

【0039】

例示的なアトラス構築部１０４は、例示的なビュー最適化部１０２によって判定された基本および／または追加ビューを受信する。図２に関連して示されるように、アトラス構築部１０４は、プルーニングおよびクラスタリングを使用して、選択されたビュー（例えば、基本および／または追加ビュー）からパッチを形成し、それらは１または複数のアトラスにパッキングされ、その各々は、任意選択のテクスチャ成分および必要なデプス成分を含む。例示的なアトラス構築部１０４は、例示的なプルーニング部１０６、例示的なマスク集約部１０８、例示的なパッチパッキング部１１０、および例示的なアトラス生成部１１２を含む。例示的なプルーニング部１０６は、追加ビューをプルーニングする。例えば、プルーニング部１０６は、基本ビューのデプスおよび／またはテクスチャデータを追加ビューおよび／または以前にプルーニングされたビューのデプスおよび／またはテクスチャデータのそれぞれに投影し、非冗長の閉塞領域を抽出する。

【0040】

例示的なマスク集約部１０８は、例示的なプルーニング部１０６によって生成されたプルーニング結果を集約してパッチを生成する。例えば、マスク集約部１０８は、イントラ期間（例えば、フレームの予め定められた集合）にわたって、モーションの要因となるプルーニング結果（例えばプルーニングマスク）を累積する。例示的なパッチパッキング部１１０は、パッチを１または複数の例示的なアトラス１１６にパッキングする。例えば、パッチパッキング部１１０は、クラスタリングを実行して（例えば、プルーニングマスクにおける画素を組み合わせてパッチを形成する）、矩形パッチを抽出してアトラスにパッキングする。いくつかの例において、パッチパッキング部１１０は、処理されたイントラ期間にわたってフレームごとのコンテンツを更新する。

【0041】

パッチパッキング部１１０は、パッチをパッチ識別子（例えばパッチＩＤ）でタグ付けする。パッチＩＤはパッチインデックスを識別する。例えば、パッチＩＤは、生成されたパッチの数より０から１小さい範囲であり得る。パッチパッキング部１１０は、ブロック‐パッチマップ（例えば、パッチＩＤマップ）を生成し得る。ブロック‐パッチマップは、１または複数の画素の所与のブロックに関連付けられたパッチＩＤを示す二次元アレイ（例えば、アトラスにおける点位置／場所を表す）である。パッチパッキング部１１０は、例示的なデータ１１４（ブロック‐パッチマップおよびパッチＩＤデータを含む）をデプス／占有コーディング部１２０に提供する。アトラス生成部１１２は、パッチパッキング部１１０からのパッチデータを使用して、デプス／占有成分１１８を有するアトラス、および、任意選択のテクスチャ成分を有するアトラス１１６を生成する。アトラス生成部１１２は、デプス／占有成分１１８を有するアトラスをデプス／占有コーディング部１２０に提供する。アトラス生成部１１２は、任意選択のテクスチャ成分を有するアトラス１１６を属性（テクスチャ）ビデオデータ１２８として例示的なビデオエンコーダ１３４に提供する。

【0042】

デプス／占有コーディング部１２０は、占有マップを生成し、パッチの画素が占有されているか（例えば、有効）、または、占有されていないか（例えば、無効）を示す。いくつかの例において、占有マップはバイナリマップである。いくつかのそのような例において、占有マップは、画素が占有されていることを示す１の値を有し、画素が占有されていないことを示す０の値を有する。デプス／占有コーディング部１２０は、パッチパッキング部１１０からのデータ１１４に含まれるブロック‐パッチマップおよびパッチＩＤデータに基づいて、ならびに、アトラス生成部１１２からのデプス／占有成分１１８を有するアトラスのデータに基づいて、占有マップを生成する。デプス／占有コーディング部１２０は、例示的なＭＩＶデータビットストリーム１３０における占有マップ、ブロック‐パッチマップ、およびパッチＩＤデータを含む。示された例において、ＭＩＶデータビットストリーム１３０は、ビューとアトラスとの間でそれらをマッピングするためのパッチパラメータ、ブロック‐パッチマップを後に取得するために必要な重複パッチを公開するためのパッキング順序、ビデオベース点群圧縮（Ｖ－ＰＣＣ）パラメータセット、および、適応パラメータセット（ビューパラメータを含む）、および、ビデオコーディングデータからの任意の他のメタデータを含む。

【0043】

ジオメトリスケーリング部１２２は、デプス／占有コーディング部１２０からアトラスのデプス（ジオメトリ）データを取得する。ジオメトリスケーリング部１２２は、デプスデータを含むアトラスごとにジオメトリビデオデータの量子化およびスケーリングを実行する。ジオメトリスケーリング部１２２は、デプス（ジオメトリ）成分１２４を有するアトラスをデプス（ジオメトリ）ビデオデータ１２６として例示的なビデオエンコーダ１３２に提供する。

【0044】

例示的なビデオエンコーダ１３２は、デプス（ジオメトリ）ビデオデータ１２６から、符号化されたアトラスを生成する。例示的なビデオエンコーダ１３４は、属性（テクスチャ）ビデオデータ１２８から、符号化されたアトラスを生成する。例えば、ビデオエンコーダ１３２は、例示的なデプス（ジオメトリ）ビデオデータ１２６（アトラスを含む）を受信し、ＨＥＶＣビデオエンコーダを使用してデプス成分を例示的なＨＥＶＣビットストリーム１３６に符号化する。追加的に、ビデオエンコーダ１３４は、例示的な属性（テクスチャ）ビデオデータ１２８（アトラスを含む）を受信し、ＨＥＶＣビデオエンコーダを使用してテクスチャ成分を例示的なＨＥＶＣビットストリーム１３８に符号化する。しかしながら、例示的なビデオエンコーダ１３２および例示的なビデオエンコーダ１３４は、追加的に、または代替的に、高度ビデオコーディング（ＡＶＣ）ビデオエンコーダなどを使用し得る。例示的なＨＥＶＣビットストリーム１３６および例示的なＨＥＶＣビットストリーム１３８は、ビューとアトラスとの間でそれらをマッピングするためのパッチパラメータ、ブロック‐パッチマップを後に取得するなどのために必要な重複パッチを公開するためのパッキング順序、デプス（ジオメトリ）ビデオデータ１２６および属性（テクスチャ）ビデオデータ１２８にそれぞれ関連するその他を含み得る。

【0045】

図２は、選択された入力ビューからの例示的なパッチ形成を示す。入力ビューは、例示的な第１ビュー２０２、例示的な第２ビュー２０４および例示的な第３ビュー２０６を含む。例えば、第１ビュー２０２はビュー０であり、第２ビュー２０４はビュー１であり、第３ビュー２０６はビュー２である。例えば、ビュー２０２、２０４、２０６は、ビュー表現２０８（例えば、属性（テクスチャ）マップ、ジオメトリ（デプス）マップ、エンティティ（オブジェクト）マップ）を含む。図２の示された例において、ビュー２０２、２０４、２０６のビュー表現２０８は、第３の人物を含む。すなわち、ビュー２０２、２０４、２０６は、第３の人物に関して、３つの異なる角度で、３つの異なるカメラからキャプチャされる。

【0046】

例示的なプルーニング部１０６（図１）は、ビュー２０２、２０４、２０６をプルーニングしてパッチを生成する。例えば、第１ビュー２０２は、例示的な第１のパッチ２１０および例示的な第２のパッチ２１２を含み、第２ビュー２０４は、例示的な第３のパッチ２１４を含み、第３ビュー２０６は、例示的な第４のパッチ２１６および例示的な第５のパッチ２１８を含む。いくつかの例において、各パッチは、１つのそれぞれのエンティティ（オブジェクト）に対応する。例えば、第１のパッチ２１０は第１の人物の頭部に対応し、第２のパッチ２１２は第２の人物の頭部に対応し、第３のパッチ２１４は第２の人物の腕に対応し、第４のパッチ２１６は第３の人物の頭部に対応し、第５のパッチ２１８は第２の人物の脚に対応する。

【0047】

いくつかの例において、パッチパッキング部１１０（図１）は、パッチＩＤでパッチをタグ付けする。例えば、パッチパッキング部１１０は、２のパッチＩＤで第１のパッチ２１０を、５のパッチＩＤで第２のパッチ２１２を、８のパッチＩＤで第３のパッチ２１４を、３のパッチＩＤで第４のパッチ２１６を、７のパッチＩＤで第５のパッチ２１８をタグ付けする。

【0048】

例示的なアトラス生成部１１２（図１）は例示的な第１のアトラス２２０および例示的な第２のアトラス２２２を生成する。アトラス２２０、２２２は、テクスチャ（属性）マップおよびデプス（ジオメトリ）マップを含む。示された例において、第１のアトラス２２０は、例示的な第１のパッチ２１０、例示的な第２のパッチ２１２、および例示的な第３のパッチ２１４を含む。示された例において、第２のアトラス２２２は例示的な第４のパッチ２１６および例示的な第５のパッチ２１８を含む。

【0049】

図３は、例示的な没入型ビデオ（ＭＩＶ）デコーダ３００のブロック図である。例示的なＭＩＶデコーダ３００は、例示的なビデオデコーダ３０８、例示的なビデオデコーダ３１２、例示的なブロック‐パッチマップデコーダ３１８、例示的なＭＩＶデコーダおよび解析部３１６、例示的なジオメトリスケーリング部３２６、例示的なカル部３２８、ならびに例示的なレンダリング部３３０を含む。例示的なレンダリング部３３０は、例示的なコントローラ３３２、例示的な合成部３３４、および例示的なインペイント部３３６を含む。図３の示された例において、ＭＩＶデコーダ３００は、ジオメトリ成分および任意選択でテクスチャ属性についてのビデオサブストリームの各々についての符号化ビデオシーケンス（ＣＶＳ）を受信する。いくつかの例において、ＭＩＶデコーダ３００は、例示的なＭＩＶデータビットストリーム１３０、例示的なＨＥＶＣビットストリーム１３６、および例示的なＨＥＶＣビットストリーム１３８を例示的なＭＩＶエンコーダ１００から受信する（図１）。

【0050】

図３の示された例において、ビデオデコーダ３０８はＨＥＶＣビットストリーム１３８を受信する。ＨＥＶＣビットストリーム１３８は、属性（テクスチャ）ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップなどを後に取得するために利用される重複したパッチを公開するためのパッキング順序を含む。ビデオデコーダ３０８は一連の復号済みテクスチャピクチャ３１０を生成する。ビデオデコーダ３１２はＨＥＶＣビットストリーム１３６を受信する。ＨＥＶＣビットストリーム１３６は、デプス（ジオメトリ）ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序などを含む。ビデオデコーダ３０８は、一連の復号済みデプスピクチャ３１４を生成する。ビデオデコーダ３０８およびビデオデコーダ３１２は、復号済みテクスチャピクチャ３１０および復号済みデプスピクチャ３１４の一連の復号されたピクチャのペアを生成する。いくつかの例において、復号済みテクスチャピクチャ３１０および復号済みデプスピクチャ３１４は、同一または異なる解像度を有し得る。示された例において、例示的な復号済みテクスチャピクチャ３１０および例示的な復号済みデプスピクチャ３１４は例示的なアトラスを表す。いくつかの例において、ビデオデコーダ３０８およびビデオデコーダ３１２はＨＥＶＣデコーダであり得る。図３の示された例において、ビデオデコーダ３０８は復号済みテクスチャピクチャ３１０をレンダリング部３３０に提供する。ビデオデコーダ３１２は復号済みデプスピクチャ３１４をジオメトリスケーリング部３２６に、および、ブロック‐パッチマップデコーダ３１８に提供する。

【0051】

ＭＩＶデコーダおよび解析部３１６はＭＩＶデータビットストリーム１３０を受信する。例示的なＭＩＶデコーダおよび解析部３１６は、ＭＩＶデータビットストリーム１３０を解析し、例示的なアトラスデータ３２０および例示的なビデオベース点群圧縮（Ｖ－ＰＣＣ）および視点パラメータセット３２２を生成する。例えば、ＭＩＶデコーダおよび解析部３１６は、例示的なパッチリスト、カメラパラメータリストなどについての符号化済みＭＩＶデータビットストリーム１３０を解析する。ＭＩＶデコーダおよび解析部３１６は、アトラスデータ３２０ならびにＶ－ＰＣＣおよび視点パラメータセット３２２を例示的なブロック‐パッチマップデコーダ３１８、例示的なカル部３２８、および例示的なレンダリング部３３０に提供する。

【0052】

ブロック‐パッチマップデコーダ３１８は、復号済みデプスピクチャ３１４をビデオデコーダ３１２から、アトラスデータ３２０（パッチリストおよびカメラパラメータリストを含む）ならびにＶ－ＰＣＣおよび視点パラメータセット３２２を例示的なＭＩＶデコーダおよび解析部３１６から受信する。ブロック‐パッチマップデコーダ３１８は、ブロック‐パッチマップ３２４を復号して、復号済みデプスピクチャ３１４のアトラスにおける点位置／場所を判定する。示された例において、ブロック‐パッチマップ３２４は、復号済みデプスピクチャ３１４のうち１または複数の画素の所与のブロックに関連付けられたパッチＩＤを示す二次元アレイ（例えば、アトラスにおける点位置／場所を表す）である。ブロック‐パッチマップデコーダ３１８は、ブロック‐パッチマップ３２４を例示的なジオメトリスケーリング部３２６に提供する。図３の示された例において、ジオメトリスケーリング部３２６は、復号済みデプスピクチャ３１４に含まれるアトラスごとにジオメトリビデオデータのアップスケーリングを実行する。ジオメトリスケーリング部３２６は、復号済みデプスピクチャ３１４に含まれるアトラスごとのアップスケーリングされたジオメトリビデオデータを例示的なカル部３２８および例示的なレンダリング部３３０に提供する。

【0053】

例示的なカル部３２８は、ジオメトリ‐スケーリングされたブロック‐パッチマップ３２４をジオメトリスケーリング部３２６から受信し、また、アトラスデータ３２０（パッチリストおよびカメラパラメータリストを含む）ならびにＶ－ＰＣＣおよび視点パラメータセット３２２を例示的なＭＩＶデコーダおよび解析部３１６から受信する。カル部３２８は、例示的な視聴位置および視聴向き３４０（例えばターゲットビュー）に基づいてパッチカルを実行する。カル部３２８は、視聴位置および視聴向き３４０をユーザから受信し得る。カル部３２８は、ブロック‐パッチマップ３２４を使用して、ターゲット視聴位置および視聴向き３４０に基づいて、可視でないアトラスデータ３２０からのブロックをフィルタリングして除去する。

【0054】

例示的なレンダリング部３３０は、例示的なビューポート３３８を生成する。例えば、レンダリング部３３０は、復号済みテクスチャピクチャ３１０および復号済みデプスピクチャ３１４からの復号されたアトラス、アトラスデータ３２０（例えば、アトラスパラメータリスト、カメラパラメータリスト、アトラスパッチ占有マップ）、ならびに視聴者位置および向き３４２の１または複数にアクセスする。すなわち、例示的なレンダリング部３３０は、例示的な視聴者位置および向き３４２に基づいて選択されるテクスチャ画像のパースペクティブビューポートを出力する。本明細書において開示される例において、視聴者は、６の自由度（６ＤｏＦ）で動的に移動でき（例えば、視聴者位置および向き３４２を調節する）、制限範囲内において位置（ｘ，ｙ，ｚ）および向き（ヨー、ピッチ、ロール）を調節する（例えば、ヘッドマウントディスプレイ、または、位置入力を有する２次元モニタ、または同様のものによってサポートされる）。レンダリング部３３０は、パッチ、ビュー、またはアトラスを含んでいるかどうかにかかわらず、必要なデプス成分（復号済みデプスピクチャ３１４）および任意選択のテクスチャ成分（復号済みテクスチャピクチャ３１０）の両方に基づいて例示的なビューポート３３８を生成する。

【0055】

図３の示された例において、レンダリング部３３０は、コントローラ３３２、合成部３３４およびインペイント部３３６を含む。例示的なコントローラ３３２は、復号済みデプスピクチャ３１４または復号済みテクスチャピクチャ３１０におけるアトラスの画素が視聴者位置および向き３４２において占有されているかどうかを示す、アトラスデータ３２０からのアトラスパッチ占有マップにアクセスする。コントローラ３３２は、図４に関連して下で更に詳細に説明されるブロック‐パッチマップを使用して、復号済みテクスチャピクチャ３１０および復号済みデプスピクチャ３１４のアトラスにおけるパッチからプルーニング済みビューを再構築する。本明細書において開示される例において、プルーニング済みビューは、復号済みテクスチャピクチャ３１０および復号済みデプスピクチャ３１４のアトラス内に保持されるパッチによって占有される、エンコーダ側（例えば、図１のＭＩＶエンコーダ１００）のソース（入力）ビューの部分的なビュー表現である。コントローラ３３２は、視聴者位置および向き３４２に属するプルーニング済みビューを再構築する。いくつかの例において、視聴者位置および向き３４２に属するプルーニング済みビューは、別のプルーニングされた、または全体ビューにおけるコンテンツの存在に起因して、穴を含み得る。合成部３３４は、コントローラ３３２および視聴者位置および向き３４２からのアトラスパッチ占有マップおよび再構築されたプルーニング済みビューに基づいてビュー合成を実行する。本明細書において開示される例において、インペイント部３３６は、一致する値を有する再構築されたプルーニング済みビューにおける任意の存在しない画素を満たす。

【0056】

図４は、アトラスパッチからのプルーニング済みビューの例示的な再構築４００を示す。図４に示されるように、アトラス４０６は、アトラス４０２およびアトラス４０４を含む。いくつかの例において、ビデオデコーダ３０８（図３）およびビデオデコーダ３１２（図３）はアトラス４０２、４０４を復号する。図４の示された例において、アトラス４０２、４０４はテクスチャマップおよびデプスマップを含む。アトラス４０２は、例示的な第１のパッチ４１０、例示的な第２のパッチ４１２、および例示的な第３のパッチ４１４を含む。アトラス４０４は、例示的な第４のパッチ４１６および例示的な第５のパッチ４１８を含む。いくつかの例において、パッチは、例示的なパッチパッキング部１１０（図１）によって判定されたパッチＩＤを含む。例えば、第１のパッチ４１０は２のパッチＩＤを含み、第２のパッチ４１２は５のパッチＩＤを含み、第３のパッチ４１４は８のパッチＩＤを含み、第４のパッチ４１６は３のパッチＩＤを含み、第５のパッチ４１８は７のパッチＩＤを含む。

【0057】

いくつかの例において、ブロック‐パッチマップデコーダ３１８（図３）は、ブロック‐パッチマップを使用して、ビュー表現４０８に含まれる利用可能なビュー４２０、４２４、４２６に第１のパッチ４１０、第２のパッチ４１２、第３のパッチ４１４、第４のパッチ４１６および第５のパッチ４１８をマッチする。ブロック‐パッチマップデコーダ３１８は、利用可能なビューにパッチをマッチし、利用可能なビュー４２０、４２４、４２６を少なくとも部分的に再構築する。例えば、ブロック‐パッチマップデコーダ３１８は、第１のパッチ４１０および第２のパッチ４１２を第１の利用可能なビュー４２０に、第３のパッチ４１４を第２の利用可能なビュー４２４に、第４のパッチ４１６および第５のパッチ４１８を第３の利用可能なビュー４２６にマッチする。

【0058】

いくつかの例において、各パッチは、利用可能なビュー（例えば、第１の利用可能なビュー４２０、第２の利用可能なビュー４２４、および第３の利用可能なビュー４２６）における１つのそれぞれのエンティティ（オブジェクト）に対応する。例えば、第１の利用可能なビュー４２０において、第１のパッチ４１０は第１の人物の頭部に対応し、第２のパッチ４１２は第２の人物の頭部に対応し、第２の利用可能なビュー４２４において、第３のパッチ４１４は第２の人物の腕に対応し、第３の利用可能なビュー４２６において、第４のパッチ４１６は第３の人物の頭部に対応し、第５のパッチ４１８は第２の人物の脚に対応する。

【0059】

図５は、本開示の教示による例示的なテクスチャベースの没入型ビデオ（ＭＩＶ）エンコーダ５００のブロック図である。示された例のテクスチャベースＭＩＶエンコーダ５００において、属性（例えば、テクスチャ、エンティティ、反射率など）のみがビューごとに入力され、ビューごとのデプスは提供されない（または任意選択である）。いくつかの実施形態において、カメラパラメータが利用され得る（例えば符号化される）。いくつかの例において、そのようなカメラパラメータは、（例えばデコーダにおいて）テクスチャコンテンツから推定／推論され得る。図５の示された例において、例示的なテクスチャベースＭＩＶエンコーダ５００は、例示的なビュー最適化部５０２、例示的なデプス推論部５０４、例示的な対応関係アトラス構築部５０６、例示的な占有パッキング部５２４、例示的なビデオエンコーダ５３４、および例示的なビデオエンコーダ５３６を含む。例示的な対応関係アトラス構築部５０６は、例示的な対応関係ラベリング部５０８、例示的な対応関係プルーニング部５１０、例示的なマスク集約部５１２、例示的な対応関係パッチパッキング部５１４、および例示的なアトラス生成部５１６を含む。

【0060】

示された例において、例示的なテクスチャベースＭＩＶエンコーダ５００は、例示的なソースビュー５０１を受信する。例えば、ソースビュー５０１は、キャプチャされたシーンのテクスチャデータ（例えば、テクスチャビットストリーム）、および、場合によっては、デプスデータ（例えば、デプスビットストリーム）を含む。例えば、ソースビュー５０１は、ビデオキャプチャ部によって生成されたソースビュー、コンピュータによって生成された仮想ビューなどであり得る。追加的に、または代替的に、ソースビュー５０１は、他の属性（例えば、エンティティ、反射率など）を含む。示された例において、ソースビュー５０１はビデオシーケンスとして表される。例示的なテクスチャベースＭＩＶエンコーダ５００は更に、例示的なソースカメラパラメータリスト５０３を受信する。例えば、ソースカメラパラメータリスト５０３は、ソースカメラがどこに位置するか、ソースカメラの角度などを含み得る。

【0061】

例示的なビュー最適化部５０２は、カメラパラメータリスト５０３からのカメラパラメータを使用して、符号化するビューを識別する。例えば、ビュー最適化部５０２は、ソースビュー５０１を分析し、どのビューを符号化するかを選択する。いくつかの例において、ビュー最適化部５０２は、ソースビュー５０１のビューを基本ビューまたは追加ビューとしてラベリングする。本明細書において使用される場合、基本ビューとは、単一パッチとしてアトラスにおいてパッキングされるべき入力ビューである。本明細書において使用される場合、追加ビューとは、１または複数のパッチにおいてプルーニングおよびパッキングされるべき入力ビューである。本明細書において開示される例において、ビュー最適化部は、ソースビュー５０１をビュー識別情報（ＩＤ）でラベリングする。

【0062】

例示的なデプス推論部５０４は、任意選択のデプス推論プロセスを実行して、デプス情報をソースビュー５０１から取得する。例えば、デプス推論部５０４は、ソースビュー５０１についての実際のデプスマップを推定し、オプティカルフローなどの技法を使用してソースビュー５０１の視差表現を計算し、ビューに跨るモーション技法からの構造を使用して、ビューごとの点群表現などを発見する。本明細書において開示される例において、デプス推論部５０４は、ソースビュー５０１に含まれる任意のデプス情報があるかどうかを判定する。デプス推論部５０４が、任意のデプス情報を判定しない、または、デプス推論部５０４が例示的な実装から省略される場合、テクスチャベースＭＩＶエンコーダ５００は、ソースビュー５０１に含まれるテクスチャ情報のみを用いて進む。

【0063】

対応関係アトラス構築部５０６は、例示的なビュー最適化部１０２によって判定された基本および／または追加ビューを受信する。対応関係アトラス構築部５０６は、基本および／または追加ビューにおけるテクスチャコンテンツ／情報を評価して、ソースビューごとの固有のテクスチャ情報を識別し、固有のテクスチャ情報をパッチとして抽出する。追加的に、または代替的に、対応関係アトラス構築部５０６は、基本および／または追加ビューにおける他の属性コンテンツ／情報（例えば、エンティティ、反射率など）を評価して、ソースビューごとの固有の属性情報を識別し、固有の属性情報をパッチとして抽出する。いくつかの例において、対応関係アトラス構築部５０６は、デプス推論部５０４から（利用可能な場合に）任意選択のデプス情報を評価する。対応関係アトラス構築部５０６は、選択されたビュー（例えば、基本および／または追加ビュー）からパッチを形成し、ラベリング、プルーニング、およびクラスタを使用してパッチを判定する。対応関係アトラス構築部５０６は、対応関係ラベリング部５０８、対応関係プルーニング部５１０、マスク集約部５１２、対応関係パッチパッキング部５１４、およびアトラス生成部５１６を含む。

【0064】

対応関係ラベリング部５０８は、すべてのビュー（例えば、基本および／または追加ビュー）に跨る対応する画素を識別し、テクスチャコンテンツ（および／または他の属性コンテンツ）および利用可能な場合はデプス情報に基づいて、それらをラベリングする。したがって、対応関係ラベリング部５０８は、固有画素および対応する画素を識別するための手段の例である。本明細書において開示される例において、３次元世界に対する第１ビューからの第１の画素の投影解除（ｕｎｐｒｏｊｅｃｔｉｏｎ）、および、後の第２ビューに対する第１の画素の再投影が、第２ビューからの第２の画素と同一の場所に第１の画素を配置する場合、第１の画素および第２の画素（第１ビューからの第１の画素および第２ビューからの第２の画素）は、対応する画素とみなされる。本明細書において開示される例において、第１ビューおよび第２ビューは、基本ビュー、追加ビュー、および／または、基本ビューおよび追加ビューの組み合わせであり得る。いくつかの例において、対応関係ラベリング部５０８は、マルチビュー特徴抽出およびパターン認識技法（例えば、従来型またはＡＩベース）を使用して、同様のマルチビューコンテンツに対して訓練された後にすべてのビューにまたがるマッチされた画素を識別およびラベリングする。

【0065】

示された例において、対応関係ラベリング部５０８は、固有のもの、または対応するものとして画素をラベリングし、これにより、ビュー最適化部５０２からのすべてのソースビューにわたる対応する画素を識別する。対応関係ラベリング部５０８は、画素を、他の利用可能なビューにおいて対応する画素を有しない任意のビューからのそれらの画素について、「固有」としてラベリングする。例えば、端末カメラの端の領域、または、特定のビューのみによって可視である閉塞領域に位置する画素は、典型的には、「固有」の画素としてラベリングされる。対応関係ラベリング部５０８は、画素を、他のの利用可能なビューにおいて１または複数の対応する画素を有する任意のビューからのそれらの画素について「対応」するものとしてラベリングする。２以上の対応する画素の各グループについて、対応関係ラベリング部５０８は、そのグループにおける対応する画素が同様のテクスチャコンテンツを有するかどうかを判定する。例えば、対応関係ラベリング部５０８は、２つの対応する画素間でテクスチャコンテンツを比較し、テクスチャコンテンツにおける差分を閾値と比較する。いくつかの例において、閾値は、色成分（例えば、赤・緑・青（ＲＧＢ）成分）における差分であり得る。例えば、閾値は、色成分の任意の１つの間の５（またはいくつかの他の値）の差分であり得る。対応関係ラベリング部５０８は、テクスチャコンテンツにおける差分が閾値より下であるとき、対応する画素が同様のテクスチャコンテンツを有すると判定する。対応関係ラベリング部５０８は、対応する画素を「同様のテクスチャ」としてラベリングし、対応する画素の座標（例えばｘ、ｙ）位置と共に対応する画素を含むソースビューのビューＩＤを対応関係リストに格納する。例えば、対応関係リストは、エントリ｛（４，２７，３３），（７，４５０，２７０）を含み得る。この例において、２つの対応する同様のテクスチャ画素がある（一方は、画像座標（２７，３３）におけるビューＩＤ４を有するソースビューに位置し、他方は、画像座標（４５０，２７０）におけるビューＩＤ７を有するソースビューに位置する）。

【0066】

いくつかの例において、対応関係ラベリング部５０８は、テクスチャコンテンツにおける差分が閾値の上であるとき、異なるテクスチャコンテンツを有する対応する画素（ただし、対応する投影された場所を有し、したがって、対応する画素として分類される）を判定する。いくつかの例において、対応する画素は、異なる反射情報、異なる照明／光情報、異なるカメラセッティングに起因する色の不整合などに基づいて、異なるテクスチャコンテンツを有すると判定され得る。対応関係ラベリング部５０８は、対応する画素を「異なるテクスチャ」としてラベリングし、対応する画素の座標（例えば、ｘ、ｙ）位置と共に対応する画素を含むソースビューのビューＩＤを対応関係リストに格納する。本明細書において開示される例において、対応関係ラベリング部５０８は、対応する画素についての追加のラベル「同様のテクスチャ」および「異なるテクスチャ」を含み、対応関係プルーニング部５１０がそのような情報を使用して冗長性を低減し、これにより、非冗長情報を出力することを可能にする。いくつかの例において、対応関係ラベリング部は、「同様のテクスチャ」および「異なるテクスチャ」ラベルおよび／または画素の追加のラベルについて他の名称／識別子を使用して、利用可能な場合、テクスチャ以外の属性における対応する画素の差分を示す。例えば、追加のラベルは、透明性、反射率、モーションなどにおける差分を識別し得る。対応関係ラベリング部５０８は、対応関係ラベリングマップ、および、対応関係のケースに関するビューについてのインデックスされた（例えば、ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｉｄ））画素ワイズの対応関係リストを出力する。

【0067】

対応関係プルーニング部５１０は、予め判定される、構成可能である、などである、１または複数の基準（例えば、ビュー間の重複する情報、キャプチャカメラ間の距離など）に従って、プルーニング順序を判定する。本明細書において開示される例において、基本ビューは、プルーニング中に最初に順序付けられる。いくつかの例において、基本ビュー（例えば、１または複数の基準に基づいて選択される）の第１のものは、プルーニングされない状態で維持され、ソースビュー５０１に含まれる任意の他の基本ビューおよび追加ビューはプルーニングされ得る。本明細書において開示される例において、対応関係プルーニング部５１０は、ソースビューをプルーニングし、ビューにおける画素を維持するか（例えば、プルーニングマスク画素が「１」に設定される）、または除去するか（例えば、プルーニングマスク画素が「０」に設定される）を示すバイナリプルーニングマスク（ビューごとに１つ）を出力する。対応関係プルーニング部５１０は、対応関係ラベリング部５０８からのラベリングされた画素を使用してソースビューをプルーニングする。

【0068】

いくつかの例において、対応関係プルーニング部５１０は、プルーニングマスクの画素を０（またはいくつかの他の初期値）に初期化する。いくつかの例において、対応関係プルーニング部は、第１（または唯一）の基本ビューに対応するプルーニングマスクにおけるすべての画素を１（または、初期値とは異なるいくつかの他の値）に設定して、第１の基本ビューのいずれの画素もプルーニングされないことを示す。対応関係プルーニング部５１０は、他のビューの各々について対応関係ラベリング部５０８によって「固有」および「対応する異なるテクスチャ」としてラベリングされた画素を識別し、値１を有するビューについての対応するプルーニングマスクにおける画素を設定する。いくつかの例において、対応関係プルーニング部５１０は、「対応する異なるテクスチャ」画素についての重み付け方式を設定することを選択でき、それにより、大きく重複するビューに属するものがプルーニングされ、互いから遠いビューが維持される。例えば、ビューのソース（例えばカメラ）間の距離が閾値（例えば、１０フィート離れている、２０フィート離れているなど）を満たすとき、ビューは、互いから遠いとみなされ得る。

【0069】

対応関係プルーニング部５１０は、他のビューにおいて対応関係リストを検索し、他のビューの各々について対応関係ラベリング部５０８によって「対応する同様のテクスチャ」としてラベリングされた画素を識別する。いくつかの例において、対応関係リストに含まれる画素の少なくとも２つが、２つの以前にプルーニングされたビューに属する場合、対応関係プルーニング部５１０は、関連付けられたプルーニングマスクにおける画素を０（例えば、画素がプルーニングされることを示すための初期値）に維持する。さもなければ、対応関係プルーニング部５１０は、関連付けられたプルーニングマスクにおける画素を１（例えば、画素がプルーニングされないことを示す、初期値以外の値）に設定する。いくつかの例において、２つのプルーニングビューにおける「対応する同様のテクスチャ」としてラベリングされた少なくとも２つの画素が選択され、デプス情報を推論するために例示的なデコーダによって使用される関連付けられたプルーニングマスクにおいて１に設定される。

【0070】

本明細書において開示される例において、対応関係プルーニング部５１０は、すべてのビューにわたるすべての画素が処理されてビューごとのプルーニングマスクを識別するまで、プルーニングを繰り返す。追加的に、または代替的に、対応関係プルーニング部５１０は、他の属性コンテンツ／情報（例えば、エンティティ、反射率など）を使用してプルーニングを完了できる。したがって、対応関係プルーニング部５１０は、プルーニングマスクを生成するための手段の例である。対応関係プルーニング部５１０は、異なるテクスチャ情報、または、テクスチャベースＭＩＶエンコーダ５００に存在しないデプス情報を判定するために例示的なデコーダによって使用されることができる重要な情報を提供するために最小限の対応関係情報を有する場合、符号化されたビットストリームにおける対応する画素を維持する。

【0071】

例示的なマスク集約部５１２は、例示的な対応関係プルーニング部５１０によって生成されたプルーニング結果を集約してパッチを生成する。例えば、マスク集約部１０８は、イントラ期間（例えば、フレームの予め定められた集合）にわたって、モーションの要因となるプルーニング結果（例えばプルーニングマスク）を累積する。したがって、マスク集約部５１２は、プルーニングマスクを集約するための手段の例である。例示的な対応関係パッチパッキング部５１４は、マスク集約部５１２からの集約されたプルーニングマスクに対してクラスタリングを実行する。

【0072】

いくつかの例において、対応関係パッチパッキング部５１４は、対応関係パッチを識別するパッチ識別情報（ｐａｔｃｈ＿ｉｄ）を含むそれぞれのパッチワイズ対応関係リストでタグ付けできるパッチを抽出する。対応関係パッチパッキング部５１４は、対応関係を有しない（例えば、隣接画素は両方とも「固有」としてラベリングされる）所与の集約されたプルーニング済みマスクにおける隣接画素を識別し、隣接画素を１つのパッチにグループ化する。本明細書において開示される例において、隣接画素がグループ化されるパッチは、空のパッチワイズの対応関係リストに関連付けられる。

【0073】

いくつかの例において、対応関係パッチパッキング部５１４は、他の集約されたプルーニング済みマスクにおける画素を有する「対応する同様のテクスチャ」または「対応する異なるテクスチャ」としてラベリングされた所与の集約されたプルーニング済みマスクにおける隣接画素を識別し、対応関係パッチパッキング部５１４は、これらの隣接画素を１つのパッチにパッキングする。対応関係パッチパッキング部５１４はまた、すべての他の集約されたプルーニング済みマスクにおける関連付けられた画素を、ビューごとに１つのパッチにグループ化し、その結果、複数の対応関係パッチが生じる。対応関係パッチパッキング部５１４は、所与の集約されたプルーニング済みマスクにおけるパッチ、および、すべての他の集約されたプルーニング済みマスクにおけるパッチを、対応関係パッチのｐａｔｃｈ＿ｉｄを示すパッチワイズの対応関係リストでタグ付けする。本明細書において開示される例において、対応関係パッチは、異なるビューに属する必要がある（例えば、各々が固有のｖｉｅｗ＿ｉｄを有する）。例えば、同一のビューに属する（例えば、同一のｖｉｅｗ＿ｉｄを有する）２つのパッチは対応関係パッチであり得ない。対応関係パッチパッキング部５１４は、集約されたプルーニング済みマスクにおけるすべての画素がクラスタリングされ、関連付けられた対応関係情報を有するパッチにおいて抽出されるまで、このクラスタリングを繰り返す。したがって、対応関係パッチパッキング部５１４は、パッチを判定するための手段の例である。本明細書において開示される例において、対応関係パッチパッキング部５１４は、第１の基本ビューのすべての情報を複数のパッチ（例えば、単一パッチ全体ではない）にクラスタリングし、他の利用可能なビューにおけるパッチとの対応関係を確立する。

【0074】

本明細書において開示される例において、各ビューにおける各パッチについてパッチワイズの対応関係リストをシグナリングするときに使用されるビットを節約するために、周期的な方式で、各パッチごとに１つの対応関係パッチのみを示すことが可能である。例えば、ｐａｔｃｈ＿ｉｄ２、５、８の３つの対応関係パッチをそれぞれ想定すると、ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｉｄは各々のパッチパラメータに導入され得る。そのような例において、ｐａｔｃｈ＿ｉｄ＝２のパッチは、ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｉｄ＝５、または、完全リストｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｌｉｓｔ＝［５，８］を有し、ｐａｔｃｈ＿ｉｄ＝５のパッチは、ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｉｄ＝８または完全リストｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｌｉｓｔ＝［２，８］を有し、ｐａｔｃｈ＿ｉｄのパッチは、ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｉｄ＝２または完全リストｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｉｎｇ＿ｌｉｓｔ＝［２，５］を有する。

【0075】

パッチのクラスタリングおよび抽出が完了すると、対応関係パッチパッキング部５１４は、ブロック‐パッチマップ（例えば、パッチＩＤマップ）を生成できる。ブロック‐パッチマップは、１または複数の画素の所与のブロックに関連付けられたパッチＩＤを示す二次元アレイ（例えば、アトラスにおける点位置／場所を表す）である。

【0076】

アトラス生成部５１６は、テクスチャパッチをテクスチャのみのアトラス５２０に書き込む（テクスチャベースＭＩＶエンコーダ５００において、アトラスについてデプス成分が存在しないため）。アトラス生成部５１６は、テクスチャのみのアトラス５２０を例示的な属性（テクスチャ）ビデオデータ５３０として例示的なビデオエンコーダ５３６に出力する。したがって、アトラス生成部５１６は、アトラスを生成するための手段の例である。アトラス生成部５１６はまた、関連付けられたアトラスと同一のサイズのバイナリ占有マップ５２２（アトラスあたり１つ）を例示的な占有パッキング部５２４に出力する。アトラス生成部５１６は、ビューパラメータおよび他のシーケンス情報に加えて、アトラス間でパッチがどのようにマッピングされるかを伝えるメタデータを生成し、メタデータ５１８を例示的な占有パッキング部５２４および例示的なビデオエンコーダ５３６に出力する。

【0077】

占有パッキング部５２４は占有マップ５２２をアトラス生成部５１６から受信する。いくつかの例において、占有パッキング部５２４は、Ｘ個のバイナリ画素（ビット）ごとに１つの成分にパッキングし（例えば、Ｘは８ビット、１０ビットなどであり得る）、その結果、明示的にシグナリングされる占有マップについてのサイズが低減され、画素レートが節約される。いくつかの例において、占有パッキング部５２４は、レングスコーディング技法を使用して、ロスレス方式で、反復パターンを圧縮する。いくつかの例において、占有パッキング部５２４は、例示的なＭＩＶデータビットストリーム５３２におけるパッキングされた占有マップ５２６、ブロック‐パッチマップ、および、パッチＩＤデータを含む。示された例において、ＭＩＶデータビットストリーム５３２は、ビューとアトラスとの間でそれらをマッピングするためのパッチパラメータ、ブロック‐パッチマップを後に取得するために必要な重複パッチを公開するためのパッキング順序、ビデオベース点群圧縮（Ｖ－ＰＣＣ）パラメータセット、および、適応パラメータセット（ビューパラメータを含む）、および、ビデオコーディングデータからの任意の他のメタデータを含む。いくつかの例において、ＭＩＶデータビットストリーム５３２は、符号化ビデオデータがビュー／アトラスにおいてジオメトリ（デプス）情報を含まないことを識別するためのフラグ（またはビット）を含む。

【0078】

例示的なビデオエンコーダ５３４は、占有ビデオデータ５２８から符号化されたアトラスを生成する。例示的なビデオエンコーダ５３６は、属性（テクスチャ）ビデオデータ５３０から符号化されたアトラスを生成する。例えば、ビデオエンコーダ５３４は、例示的な占有ビデオデータ５２８を受信し、ＨＥＶＣビデオエンコーダを使用して、パッキングされた占有マップ５２６を例示的なＨＥＶＣビットストリーム５３８に符号化する。追加的に、ビデオエンコーダ５３６は、例示的な属性（テクスチャ）ビデオデータ５３０（アトラスを含む）を受信し、ＨＥＶＣビデオエンコーダを使用してテクスチャ成分を例示的なＨＥＶＣビットストリーム５４０に符号化する。しかしながら、例示的なビデオエンコーダ５３４および例示的なビデオエンコーダ５３６は、追加的に、または代替的に、高度ビデオコーディング（ＡＶＣ）ビデオエンコーダなどを使用し得る。例示的なＨＥＶＣビットストリーム５３８および例示的なＨＥＶＣビットストリーム５４０は、ビューとアトラスとの間でマッピングするためのパッチパラメータ、後にブロック‐パッチマップを取得することなどに必要な重複パッチを公開するためのパッキング順序、占有ビデオデータ５２８および属性（テクスチャ）ビデオデータ５３０にそれぞれ関連するものを含み得る。本明細書において開示される例において、占有ビデオデータ５２８および属性（テクスチャ）ビデオデータ５３０におけるパッキングされた占有マップは、ビデオコーディングされ、ＭＩＶデータビットストリーム５３２に含まれるメタデータと共に多重化され、これは、デコーダ（例えば、図７の例示的なテクスチャベースＭＩＶデコーダ７００）、および／または、ストレージ、ならびに、復号およびユーザへの提示のために任意の数のデコーダへの最終的な送信のためのメモリデバイスへ送信され得る。

【0079】

図６は、図５のテクスチャベースＭＩＶエンコーダ５００における入力ビューからの例示的なアトラス生成を示す。入力ビューは、例示的な第１ビュー６０２、例示的な第２ビュー６０４、および例示的な第３ビュー６０６を含む。示された例において、第１ビュー６０２はビュー０ともラベリングされ、第２ビュー６０４はビュー１ともラベリングされ、第３ビュー６０６はビュー２ともラベリングされる。示された例において、ビュー６０２、６０４、６０６は、ビュー表現６０８（例えば、属性（テクスチャ）マップ）を含む。図６の示された例において、ビュー６０２、６０４、６０６のビュー表現６０８は第３の人物を含む。すなわち、ビュー６０２、６０４、６０６は、第３の人物に関して、３つの異なる角度における３つの異なるカメラからキャプチャされる。

【0080】

例示的な対応関係プルーニング部５１０（図５）は、ビュー６０２、６０４、６０６をプルーニングして、パッチを生成する。例えば、第１ビュー６０２は、例示的な第１のパッチ６１０および例示的な第２のパッチ６１２を含み、第２ビュー６０４は例示的な第３のパッチ６１６を含み、第３ビュー６０６は例示的な第４のパッチ６２４および例示的な第５のパッチ６２６を含む。いくつかの例において、各パッチは、１つのそれぞれのエンティティ（オブジェクト）に対応する。例えば、第１のパッチ２１０は第１の人物の頭部に対応し、第２のパッチ２１２は第２の人物の頭部に対応し、第３のパッチ２１４は第２の人物の腕に対応し、第４のパッチ２１６は第３の人物の頭部に対応し、第５のパッチ２１８は第２の人物の脚に対応する。

【0081】

例示的な対応関係プルーニング部５１０は、ビュー６０２、６０４、６０６をプルーニングして、対応関係パッチを生成する。例えば、第１ビュー６０２は、例示的な第１の対応関係パッチ６１４を含み、第２ビュー６０４は例示的な第２の対応関係パッチ６１８、例示的な第３の対応関係パッチ６２０、および例示的な第４の対応関係パッチ６２２を含み、第３ビュー６０６は例示的な第５の対応関係パッチ６２８を含む。本明細書において開示される例において、対応関係プルーニング部５１０は、例示的な対応関係ラベリング部５０８（図５）からのラベリングされた画素（例えば対応する同様のテクスチャ、異なるテクスチャなど）を使用して、対応関係パッチ６１４、６１８、６２０、６２２、６２８を識別する。示された例において、第１ビュー６０２の第１の対応関係パッチ６１４は第２ビュー６０４の第３のパッチ６１６に対応し、第２ビュー６０４の第２の対応関係パッチ６１８は第１ビュー６０２の第１のパッチ６１０に対応し、第２ビュー６０４の第３の対応関係パッチ６２０は第３ビュー６０６の第４のパッチ６２４に対応し、第２ビュー６０４の第４の対応関係パッチ６２２は第３ビュー６０６の第５のパッチ６２６に対応し、第３ビュー６０６の第５の対応関係パッチ６２８は第１ビュー６０２の第２のパッチ６１２に対応する。いくつかの実施形態において、対応する画素を判定するための閾値は、より多くの画素が「同様」ではなく「異なる」とみなされるように、調節され得（図５に関連して上で説明される）、これにより、例示的なデコーダがパッチからデプス情報を取得できるように、十分な情報を送信する冗長性を増加させる。例えば、対応関係プルーニング部５１０は、対応関係パッチにおいて、より多くの対応する画素を含む。

【0082】

いくつかの例において、対応関係パッチパッキング部５１４（図５）は、パッチＩＤでパッチを、対応関係パッチＩＤで対応関係パッチをタグ付けする。例えば、対応関係パッチパッキング部５１４は、２のパッチＩＤで第１のパッチ６１０を、５のパッチＩＤで第２のパッチ６１２を、８のパッチＩＤで第３のパッチ６１６を、３のパッチＩＤで第４のパッチ６２４を、７のパッチＩＤで第５のパッチ６２６をタグ付けする。対応関係パッチパッキング部５１４は、１８のパッチＩＤで第１の対応関係パッチ６１４を、１２のパッチＩＤで第２の対応関係パッチ６１８を、１３のパッチＩＤで第３の対応関係パッチ６２０を、１７のパッチＩＤで第４の対応関係パッチ６２２を、１５のパッチＩＤで第５の対応関係パッチ６２８をタグ付けする。

【0083】

例示的なアトラス生成部５１６（図５）は、例示的な第１のアトラス６３０および例示的な第２のアトラス６３２を生成する。アトラス６３０、６３２は、テクスチャ（属性）マップ（例えば、テクスチャ＃０およびテクスチャ＃１）を含む。例示的な第１のアトラス６３０は、第１のパッチ６１０、第２のパッチ６１２、第３のパッチ６１６、第３の対応関係パッチ６２０、および第５の対応関係パッチ６２８を含む。例示的な第２のアトラス６３２は、第４のパッチ６２４、第５のパッチ６２６、第１の対応関係パッチ６１４、第２の対応関係パッチ６１８、および第４の対応関係パッチ６２２を含む。いくつかの例において、対応関係パッチパッキング部５１４は、第１のアトラス６３０および第２のアトラス６３２に関連付けられた対応関係リストを生成する。対応関係リストは、対応する画素の座標（例えば、ｘ、ｙ）位置と共に対応する画素を含むソースビューのビューＩＤを格納する。例えば、対応関係パッチパッキング部５１４は、第１の対応関係パッチ６１４に含まれる画素を識別し、第１の対応関係パッチ６１４における対応する画素の座標（例えば、ｘ、ｙ）位置と共に対応する画素（例えば、第１ビュー６０２）を含むソースビューのビューＩＤを格納する。アトラス生成部５１６は、それぞれの対応関係リストで第１のアトラス６３０および第２のアトラス６３２をタグ付けし、対応関係パッチ（例えば、第１の対応関係パッチ６１４、第２の対応関係パッチ６１８、第３の対応関係パッチ６２０、第４の対応関係パッチ６２２、および第５の対応関係パッチ６２８）を識別する。

【0084】

図７は、本開示の教示による例示的なテクスチャベースの没入型ビデオ（ＭＩＶ）デコーダ７００のブロック図である。例示的なテクスチャベースＭＩＶデコーダ７００は、例示的なビデオデコーダ７０８、例示的なビデオデコーダ７１２、例示的な占有アンパッキング部７１４、例示的なＭＩＶデコーダおよび解析部７１８、例示的なブロック‐パッチマップデコーダ７２０、例示的なカル部７２８、および、例示的なレンダリング部７３０を含む。例示的なレンダリング部７３０は、例示的なコントローラ７３２、例示的なデプス推論部７３４、例示的な合成部７３６、および例示的なインペイント部７３８を含む。図７に示されるように、テクスチャベースのＭＩＶデコーダ７００の入力ビットストリーム（例えば、図５のテクスチャベースＭＩＶエンコーダ５００から受信される）は、コーディング済みテクスチャビデオ、コーディングされた占有ビデオ、およびメタデータを含む。いくつかの例において、テクスチャベースのＭＩＶデコーダ７００は、例示的なＨＥＶＣビットストリーム５４０、例示的なＨＥＶＣビットストリーム５３８、および例示的なＭＩＶデータビットストリーム５３２を例示的なテクスチャベースＭＩＶエンコーダ５００（図５）から受信する。

【0085】

図７の示された例において、ビデオデコーダ７０８はＨＥＶＣビットストリーム５４０を受信する。ＨＥＶＣビットストリーム５４０は、属性（テクスチャ）ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序などを含む。ビデオデコーダ７０８は、復号済みテクスチャピクチャ７１０のシーケンスを生成する。ビデオデコーダ７１２は、ＨＥＶＣビットストリーム５３８を受信する。ＨＥＶＣビットストリーム５３８は、復号された占有ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序、占有マップなどを含む。ビデオデコーダ７１２は、復号された占有ビデオデータを例示的な占有アンパッキング部７１４に提供する。示された例において、例示的な復号済みテクスチャピクチャ７１０は、例示的なアトラスを表す。いくつかの例において、ビデオデコーダ７０８およびビデオデコーダ７１２はＨＥＶＣデコーダであり得る。したがって、ビデオデコーダ７０８およびビデオデコーダ７１２は、符号化ビデオデータ（例えば、ＨＥＶＣビットストリーム５３８およびＨＥＶＣビットストリーム５４０）を復号するための手段の例である。図７の示された例において、ビデオデコーダ７０８は、復号済みテクスチャピクチャ７１０をレンダリング部７３０に提供する。

【0086】

例示的な占有アンパッキング部７１４は、パッキングプロセスを反転し、復号済みテクスチャピクチャ７１０のテクスチャアトラスと同一のサイズの占有マップ７１６を取得する。いくつかの例において、ランレングス符号化技法を使用して占有コンテンツが符号化される場合、占有のためのビデオデコーダ７１２および占有アンパッキング部７１４がランレングスデコーダによって置き換えられ、符号化プロセスを反転し、バイナリ占有マップを再構築する。本明細書において開示される例において、占有アンパッキング部７１４は、占有マップ７１６をレンダリング部７３０およびブロック‐パッチマップデコーダ７２０に提供する。

【0087】

ＭＩＶデコーダおよび解析部７１８は、ＭＩＶデータビットストリーム５３２を受信する。例示的なＭＩＶデコーダおよび解析部７１８は、ＭＩＶデータビットストリーム５３２を解析して、例示的なアトラスデータ７２２および例示的なビデオベース点群圧縮（Ｖ－ＰＣＣ）および視点パラメータセット７２４を生成する。例えば、ＭＩＶデコーダおよび解析部７１８は、例示的なパッチリスト、カメラパラメータリストなどについての符号化されたＭＩＶデータビットストリーム５３２を解析する。示された例において、ＭＩＶデコーダおよび解析部７１８は、ＭＩＶデータビットストリーム５３２を解析して、符号化ビデオデータがジオメトリ（デプス）情報を含まないことを示すためにフラグ（またはビット）が設定されているかどうかを識別する。したがって、ＭＩＶデコーダおよび解析部７１８は、符号化ビデオデータ（例えば、ＭＩＶデータビットストリーム５３２）におけるフラグを識別するための手段の例である。ＭＩＶデコーダおよび解析部７１８は、アトラスデータ７２２、および、Ｖ－ＰＣＣおよび視点パラメータセット７２４を例示的なブロックパッチマップデコーダ７２０、例示的なカル部７２８、および例示的なレンダリング部７３０に提供する。

【0088】

ブロック‐パッチマップデコーダ７２０は、占有マップ７１６をビデオデコーダ７１２から、アトラスデータ７２２（パッチリストおよびカメラパラメータリストを含む）ならびにＶ－ＰＣＣおよび視点パラメータセット７２４を例示的なＭＩＶデコーダおよび解析部７１８から受信する。ブロック‐パッチマップデコーダ７２０は、ブロック‐パッチマップ７２６を復号して、テクスチャアトラスおよび占有マップ７１６における点位置／場所を判定する。示された例において、ブロック‐パッチマップ７２６は、テクスチャアトラスのうち１または複数の画素の所与のブロックに関連付けられたパッチＩＤを示す二次元アレイ（例えば、アトラスにおける点位置／場所を表す）である。ブロック‐パッチマップデコーダ７２０はブロック‐パッチマップ７２６を例示的なカル部７２８に提供する。本明細書において説明されるテクスチャベースの技法において、ビットストリームにおいてコーディングされたデプス（ジオメトリ）は無く、したがって、ジオメトリスケーリング部は除去されることに留意されたい。

【0089】

例示的なカル部７２８は、ブロック‐パッチマップ７２６をブロック‐パッチマップデコーダ７２９から、アトラスデータ７２２（パッチリストおよびカメラパラメータリストを含む）ならびにＶ－ＰＣＣおよび視点パラメータセット７２４を例示的なＭＩＶデコーダおよび解析部７１８から受信する。カル部７２８は、例示的な視聴位置および視聴向き７４２（例えばターゲットビュー）に基づいて、パッチカルを実行する。カル部７２８は、視聴位置および視聴向き７４２をユーザから受信し得る。カル部７２８は、ターゲット視聴位置および視聴向き７４２に基づいて可視でないブロック‐パッチマップ７２６に基づいてアトラスデータ７２２からブロックをフィルタリングして除去する。

【0090】

例示的なレンダリング部７３０は、例示的なビューポート７４０を生成する。例えば、レンダリング部７３０は、復号済みテクスチャピクチャ３１０からの復号されたアトラス、ならびに、占有マップ７１６、アトラスデータ７２２（例えば、アトラスパラメータリスト、カメラパラメータリスト、アトラスパッチ占有マップ）、Ｖ－ＰＣＣおよび視点パラメータセット７２４、および視聴者位置および向き７４４のうち１または複数にアクセスする。すなわち、例示的なレンダリング部７３０は、例示的な視聴者位置および向き７４４に基づいて選択されたテクスチャ画像のパースペクティブビューポートを出力する。本明細書において開示される例において、視聴者は、６の自由度（６ＤｏＦ）で動的に移動でき（例えば、視聴者位置および向き７４４を調節する）、制限範囲内において位置（ｘ，ｙ，ｚ）および向き（ヨー、ピッチ、ロール）を調節する（例えば、ヘッドマウントディスプレイ、または、位置入力を有する２次元モニタ、または同様のものによってサポートされる）。したがって、レンダリング部７３０は、ターゲットビューを生成する手段の例である。レンダリング部７３０は、テクスチャ成分（復号済みテクスチャピクチャ３１０）、および、対応関係テクスチャ成分に基づく推論されたデプス成分の両方に基づいて、例示的なビューポート７４０を生成する。

【0091】

図７の示された例において、レンダリング部７３０は、コントローラ７３２、デプス推論部７３４、合成部７３６およびインペイント部７３８を含む。例示的なコントローラ７３２は、復号済みテクスチャピクチャ７１０におけるアトラスの画素が視聴者位置および向き７４４において占有されているかどうかを示すアトラスパッチ占有マップ７１６にアクセスする。本明細書において開示される例において、復号済みテクスチャピクチャ７１０の復号されたアトラスは、必要に応じて、デプス推論を可能にするのに十分な情報を含む。いくつかの例において、コントローラ７３２は、ブロック‐パッチマップを使用して、復号済みテクスチャピクチャ７１０におけるアトラス内のパッチを置き換える。コントローラ７３２は、ブロック‐パッチマップを使用して、復号済みテクスチャピクチャ７１０のアトラスにおけるパッチからプルーニング済みビューを再構築する。本明細書において開示される例において、プルーニング済みビューは、復号済みテクスチャピクチャ７１０のアトラス内に保持されるパッチによって占有される、エンコーダ側（例えば、図５のテクスチャベースＭＩＶエンコーダ５００）におけるソース（入力）ビューの部分的ビュー表現である。コントローラ７３２は、視聴者位置および向き７４４に属するプルーニング済みビューを再構築する。いくつかの例において、視聴者位置および向き７４４に属するプルーニング済みビューは、別のプルーニングされた、または全体ビューにおけるコンテンツの存在に起因して、穴を含み得る。

【0092】

示された例において、デプス推論部７３４は、プルーニング済みビューからデプス情報を推論する。各ビューにおける再マッピングされた各パッチは、異なるプルーニング済みビューからの少なくとも１つの対応関係パッチを有するので（符号化段階においてその画素が「固有」としてラベリングされるまで）、デプス推論部７３４は、対応関係パッチを使用して、復号済みテクスチャピクチャ７１０のアトラスからデプス情報を判定する（例えば、推論／推定する）。いくつかの例において、デプス推論部７３４は、復号済みテクスチャピクチャ７１０内で利用可能な（または、関連するＳＥＩメッセージにおいて補足される）ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ＿ｉｄ（またはｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ＿ｌｉｓｔ）を使用して対応関係パッチを識別する。ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ＿ｉｄにおける対応関係パッチの識別情報（または、ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ＿ｌｉｓｔ）は、デプス推論部７３４が、例えば、限定されたウィンドウ内で、対応関係画素を効率的に検索することを可能にし（対応関係パッチの厳密な場所が知られているため）、これにより、従来のステレオベースのデプス推定技法において通常展開されるコストの大きい検索およびブロックマッチ動作の必要性を取り除く。いくつかの例において、デプス推論部７３４は、プルーニング済みビュー内で利用可能な場合、２より多くの対応関係パッチを使用して、推定品質を改善し得る（例えば、「対応する異なるテクスチャ」としてラベリングされる対応関係パッチ、または、「対応する同様のテクスチャ」としてラベリングされるものについては、２より多くの対応関係パッチを可能にする許容差を有する）。デプス推論部７３４は、視聴者モーションとインタラクティブなリアルタイム性能を提供する。

【0093】

図７の示された例において、合成部７３６は、コントローラ７３２ならびに視聴者位置および向き７４４からのアトラスパッチ占有マップおよび再構築されたプルーニング済みビューに基づいてビュー合成を実行する。本明細書において開示される例において、インペイント部７３８は、一致する値を有する再構築されたプルーニング済みビューにおける任意の存在しない画素を満たす。

【0094】

図８は、図７のテクスチャベースのＭＩＶデコーダ７００によって実装される例示的なレンダリングプロセスのブロック図である。例示的なレンダリングプロセス８００は、例示的な復号ジオメトリ（デプス）アトラス８０２、例示的な復号占有アトラス８０４、例示的な復号テクスチャ属性アトラス８０６、例示的なアトラス情報８０８、例示的なビュー情報８１０、例示的なジオメトリビデオスケーリングプロセス８１２、例示的な占有ビデオ再構築プロセス８１４、例示的なエンティティフィルタリングプロセス８１６、例示的なソースビュー再構築プロセス８１８、例示的なデプス復号プロセス８２０、例示的なデプス推定プロセス８２２、例示的な再構築ビュー‐ビューポート投影プロセス８２４、ならびに、例示的な混合およびインペイントプロセス８２６を含む。示された例において、アトラス情報８０８は、アトラスパラメータおよびパッチリストを含み、ビュー情報８１０はビューパラメータを含む。例示的なレンダリングプロセス８００は、デプス情報が利用可能である、または利用可能でないとき、テクスチャベースのＭＩＶデコーダ７００（図７）のレンダリングプロセスを示す。

【0095】

示された例において、エンティティフィルタリングプロセス８１６は、アトラス情報８０８を解析して、デプス（ジオメトリ）アトラスがビットストリームに含まれるかどうかを識別するビットストリームインジケータ（例えば、フラグ、ビットなど）を識別する。例えば、アトラス情報８０８は、デプス情報がアトラスに含まれるかどうかをアトラスが識別するためのフラグ（例えば、ｖｐｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］、ｊは０または１の二進値を示す）を含み得る。いくつかの例において、デプス情報が存在することをアトラス情報８０８が示す場合、例示的なジオメトリビデオスケーリングプロセス８１２は、復号済みジオメトリ（デプス）アトラス８０２からジオメトリ（デプス）情報を復号することに進む。示された例において、占有ビデオ再構築プロセス８１４は、復号済み占有アトラス８０４および復号済みテクスチャ属性アトラス８０６についての占有マップを再構築する。

【0096】

デプス情報が存在することをアトラス情報８０８が示すいくつかの例において、例示的なレンダリングプロセスが例示的なソースビュー再構築プロセス８１８、例示的なデプス復号プロセス８２０、および例示的な再構築ビュービューポート投影プロセス８２４を実行して、復号済みジオメトリ（デプス）アトラス８０２、復号済み占有アトラス８０４、復号済みテクスチャ属性アトラス８０６、アトラス情報８０８、およびビュー情報８１０を使用して、テクスチャおよびジオメトリ画像のパースペクティブビューポートを判定および出力する。デプス情報が存在しないことをアトラス情報８０８が示す例において、例示的なレンダリングプロセス８００は、例示的なデプス復号プロセス８２０を実行せず、代わりに、デプス推定プロセス８２２を実行する。そのような例において、デプス推定プロセス８２２は、復号済み占有アトラス８０４、復号済みテクスチャ属性アトラス８０６、アトラス情報８０８、および、ビュー情報８１０を使用して、テクスチャ属性アトラス８０６の各々からデプス値を判定する（例えば、推論／推定する）。図８の示された例において、レンダリングプロセス８００は、提供されたデプスアトラス（例えば、復号済みジオメトリ（デプス）アトラス８０２）から、または、提供された占有マップおよびテクスチャアトラス（例えば、復号済み占有アトラス８０４および復号済みテクスチャ属性アトラス８０６）からのデプスの推論から、デプス情報を判定し得る。本明細書において開示される例において、アトラス情報８０８に含まれるインジケータは、どのプロセス（例えば、例示的なデプス復号プロセス８２０または例示的なデプス推定プロセス８２２）が、パースペクティブビューポートについてのデプス情報を判定するために実行されるかを判定する。

【0097】

図９は、図７のテクスチャベースのＭＩＶデコーダ７００における例示的なアトラスビュー再構築９００を示す。図９に示されるように、アトラス９０６はアトラス９０２およびアトラス９０４を含む。いくつかの例において、ビデオデコーダ７０８（図７）およびビデオデコーダ７１２（図７）はアトラス９０２、９０４を復号する。図９の示された例において、アトラス９０２、９０４は、テクスチャマップ（例えば、テクスチャ＃０およびテクスチャ＃１）を含む。アトラス９０２は、例示的な第１のパッチ９１０、例示的な第２のパッチ９１２、例示的な第３のパッチ９１４、例示的な第１の対応関係パッチ９１６、および例示的な第２の対応関係パッチ９１８を含む。例示的なアトラス９０４は、例示的な第４のパッチ９２０、例示的な第５のパッチ９２２、例示的な第３の対応関係パッチ９２４、例示的な第４の対応関係パッチ９２６、および例示的な第５の対応関係パッチ９２８を含む。いくつかの例において、パッチはパッチＩＤを含み、対応関係パッチは、例示的な対応関係パッチパッキング部５１４（図５）によって判定された対応関係パッチＩＤを含む。例えば、第１のパッチ９１０は２のパッチＩＤを含み、第２のパッチ９１２は５のパッチＩＤを含み、第３のパッチ９１４は８のパッチＩＤを含み、第４のパッチ９２０は３のパッチＩＤを含み、第５のパッチ９２２は７のパッチＩＤを含む。１３のパッチＩＤを有する第１の対応関係パッチ９１６、１５のパッチＩＤを有する第２の対応関係パッチ９１８、１２のパッチＩＤを有する第３の対応関係パッチ９２４、１７のパッチＩＤを有する第４の対応関係パッチ６２２、１８のパッチＩＤを有する第５の対応関係パッチ９２８。

【0098】

いくつかの例において、ブロック‐パッチマップデコーダ７２０（図７）は、ブロック‐パッチマップを使用して、第１のパッチ９１０、第２のパッチ９１２、第３のパッチ９１４、第１の対応関係パッチ９１６、第２の対応関係パッチ９１８、第４のパッチ９２０、第５のパッチ９２２、第３の対応関係パッチ９２４、第４の対応関係パッチ９２６、および第５の対応関係パッチ９２８を、例示的なビュー表現９０８に含まれる利用可能なビュー９３０、９３４、９３６とマッチする。ブロック‐パッチマップデコーダ７２０は、パッチおよび対応関係パッチを利用可能なビューとマッチして、利用可能なビュー９３０、９３４、９３６を少なくとも部分的に再構築する。例えば、ブロック‐パッチマップデコーダ７２０は、第１のパッチ９１０、第２のパッチ９１２、および第５の対応関係パッチ９２８を、第１の利用可能なビュー９３０、第３のパッチ９１４、第１の対応関係パッチ９１６、第３の対応関係パッチ９２４および第４の対応関係パッチ９２６を第２の利用可能なビュー９３４に、第４のパッチ９２０、第５のパッチ９２２、および第２の対応関係パッチ９１８を第３の利用可能なビュー９３６にマッチする。

【0099】

いくつかの例において、各パッチおよび対応関係パッチは、利用可能なビュー（例えば、第１の利用可能なビュー９３０、第２の利用可能なビュー９３４、および第３の利用可能なビュー９３６）における１つのそれぞれのエンティティ（オブジェクト）に対応する。例えば、第１の利用可能なビュー９３０における第１のパッチ９１０、および、第２の利用可能なビュー９３４における第３の対応関係パッチ９２４は、第１の人物の頭部に対応し、第１の利用可能なビュー９３０における第２のパッチ９１２および第２の対応関係パッチ９１８は、第３の人物の頭部に対応し、第２の利用可能なビュー９３４における第３のパッチ９１４および第１の利用可能なビュー９３０における第５の対応関係パッチ９２８は、第３の人物の腕に対応し、第３の利用可能なビュー９３６における第４のパッチ９２０および第２の利用可能なビュー９３４における第１の対応関係パッチ９１６は、第２の人物の頭部に対応し、第５のパッチ９２２および第４の対応関係パッチ９２６は、第３の人物の脚に対応する。本明細書において開示される例において、パッチ（例えば、第１のパッチ９１０、第２のパッチ９１２、第３のパッチ９１４、第４のパッチ９２０、および第５のパッチ９２２）は、別個の利用可能なビューにおける対応関係パッチ（例えば、第１の対応関係パッチ９１６、第２の対応関係パッチ９１８、第３の対応関係パッチ９２４、第４の対応関係パッチ９２６、および第５の対応関係パッチ９２８）にマッチされ、テクスチャマップからの追加のテクスチャ情報を提供し、アトラス（例えば、アトラス９０２およびアトラス９０４）において提供されないデプス情報を判定する。いくつかの例において、例示的なビデオデコーダ７０８（図７）は、例示的なＨＥＶＣビットストリーム５４０（図７）を復号して、アトラス９０２、９０４および図５の例示的なテクスチャベースＭＩＶエンコーダ５００からのそれぞれの対応関係リストを識別する。アトラス９０２、９０４の対応関係リストは、パッチに関連付けられた対応関係パッチの各々について、ソースビューのビューＩＤ、および、対応する画素の座標（例えば、ｘ、ｙ）位置を識別する。例えば、アトラス９０２についての対応関係リストは、第１の対応関係パッチ９１６のソースビュー（第１の利用可能なビュー９３０）、および、第１の対応関係パッチ９１６に含まれる対応する画素の座標（例えば、ｘ、ｙ）位置を、第４のパッチ９２０に関連付けられている（例えばマッチする）と識別する。

【0100】

図１０は、ＭＩＶエクステンション（例えば、例示的なＶ３Ｃサンプルストリーム１０００）を有する例示的なＶ３Ｃサンプルストリームを示す。例えば、テクスチャベースＭＩＶエンコーダ５００は、Ｖ３Ｃサンプルストリーム１０００を生成する。例示的なＶ３Ｃサンプルストリーム１０００は、例示的なＶ３Ｃパラメータセット１００２、例示的な共通アトラスデータ１００４、例示的なアトラスデータ１００６、例示的なジオメトリビデオデータ１００８、例示的な属性ビデオデータ１０１０、および例示的な占有ビデオデータ１０１１を含む。

【0101】

例えば、Ｖ３Ｃパラメータセット１００２は、例示的なＩＶアクセスユニットパラメータおよび例示的なＩＶシーケンスパラメータを含む。例示的な共通アトラスデータ１００４は例示的なビューパラメータリスト１０１２を含む。例えば、共通アトラスデータ１００４は、アトラスサブビットストリームを含むが、主なネットワーク抽象化層（ＮＡＬ）ユニットは、ビューパラメータリスト１０１２またはその更新を含む共通アトラスフレーム（ＣＡＦ）である。例示的なアトラスデータ１００６は、例示的なＳＥＩメッセージを含むＮＡＬサンプルストリームである。例えば、アトラスデータ１００６は、パッチデータユニット（ＰＤＵ）のリストを保持するアトラスタイル層（ＡＴＬ）を含む。本明細書において開示される例において、各ＰＤＵは、アトラスにおけるパッチと、仮定の入力ビューにおける同一のパッチとの間の関係を説明する。例示的なアトラスデータ１００６は、例示的なアトラスタイル層１０１４（例えばパッチデータ１０１４）を含む。例えば、パッチデータ１０１４は、例えば、イントラ期間１０１６のみに（例えば、イントラ期間１０１６あたり１回）送信される。いくつかの例において、フレーム順序カウントＮＡＬユニットは、すべてのインターフレームを一度にスキップするために使用される。

【0102】

本明細書において開示される例において、適応型パラメータセット（共通アトラスデータ１００４に含まれる）は、テクスチャベースのシグナリングオプションを含む。いくつかの例において、ＭＩＶ動作モードは、以下の表１のような適応パラメータセットにおける専用メタデータシンタックス要素（例えば、ａｐｓ＿ｏｐｅｒａｔｉｏｎ＿ｍｏｄｅ）によって示される。

【表1】

表１

【0103】

いくつかの実施形態において、ａｐｓ＿ｏｐｅｒａｔｉｏｎ＿ｍｏｄｅは、以下の表２に定義されるように、ＭＩＶ動作モードを指定する。

【表2】

表２

【0104】

本明細書において開示される例において、Ｖ３Ｃパラメータセット１００２は、例示的なインジケータ（ｖｐｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］）を含み、インジケータ（ｊ）のインデックスは、０に等しく設定され、ジオメトリが存在しないことを示す。

【0105】

いくつかの例において、ｖｍｅ＿ｅｍｂｅｄｄｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｆｌａｇがｖｐｓ＿ｍｉｖ＿ｅｘｔｅｎｓｉｏｎ（）に追加され、表３に関連して下で定義されるように、占有がジオメトリに組み込まれていないことを示す。

【表3】

表３

【0106】

いくつかの例において、アトラス機能ごとの一定のデプスパッチをサポートするために、インジケータ（フラグ）（例えば、ａｓｍｅ＿ｐａｔｃｈ＿ｃｏｎｓｔａｎｔ＿ｄｅｐｔｈ＿ｆｌａｇ）がａｓｐｓ＿ｍｉｖ＿ｅｘｔｅｎｓｉｏｎ（）に追加される。いくつかの例において、インジケータが設定されるとき、ジオメトリビデオは、アトラスのために存在せず、その値はｐｄｕ＿ｄｅｐｔｈ＿ｓｔａｒｔ［ｐ］シンタックス要素によって直接判定される。

【表4】

表４

【0107】

上の表４の例において、１に等しく設定されたａｓｍｅ＿ｐａｔｃｈ＿ｃｏｎｓｔａｎｔ＿ｄｅｐｔｈ＿ｆｌａｇは、ｖｐｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ａｔｌａｓＩｄｘ］が０に等しいとき、復号されたデプスは、本明細書に開示されるように導出されることを指定する。いくつかの例において、０に等しく設定されたａｓｍｅ＿ｐａｔｃｈ＿ｃｏｎｓｔａｎｔ＿ｄｅｐｔｈ＿ｆｌａｇは、ｖｐｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ａｔｌａｓＩｄｘ］が０に等しいとき、デプスが外部手段によって判定されることを指定する。

【0108】

デプス内に黙示的に組み込まれているか、または、サブビットストリームに明示的に存在するか（および、占有サブビットストリームビデオについて、成分ごとにいくつのビットがパッキングされているか）にかかわらず、占有マップのシグナリングは、以下の表５に示されるように、アトラスデータ１００６において設定されるアトラスシーケンスパラメータを使用して、アトラスごとに判定され得る。

【表5】

表５

【0109】

例えば、１に等しいシンタックス要素ｍａｓｐ＿ｏｃｃｕｐａｎｃｙ＿ｓｕｂｂｉｔｓｔｒｅａｍ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＣＣ＿ＯＶＤ ｖｐｃｃユニットが３ＶＣシーケンスに存在し得ることを指定する。０に等しいｍａｓｐ＿ｏｃｃｕｐａｎｃｙ＿ｓｕｂｂｉｔｓｔｒｅａｍ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＣＣ＿ＯＶＤ ｖｐｃｃユニットが３ＶＣシーケンスに存在しないことを指定する。存在しないとき、ｍａｓｐ＿ｏｃｃｕｐａｎｃｙ＿ｓｕｂｂｉｔｓｔｒｅａｍ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０に等しいと推論される。

【0110】

シンタックス要素ｍａｓｐ＿ｏｃｃｕｐａｎｃｙ＿ｎｕｍ＿ｐａｃｋｅｄ＿ｂｉｔｓは、いくつの連続する占有値が１つのサンプルとしてパッキングされるかを指定する。占有マップのサイズは、（ＡｓｐｓＦｒａｍｅＦｒａｍｅＷｉｄｔｈ［ａ］／ｍａｓｐ＿ｏｃｃｕｐａｎｃｙ＿ｎｕｍ＿ｐａｃｋｅｄ＿ｂｉｔｓ）×ＡｓｐｓＦｒａｍｅＦｒａｍｅＨｅｉｇｈｔ［ａ］になるように低減される。

【0111】

さらに、パッチごとの対応関係情報は、表６において以下のように定義され得る。

【表6】

表６

【0112】

例えば、シンタックス要素ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ＿ｉｄは、ｐａｔｃｈＩｄｘに等しいインデックスを有するパッチに関連付けられた対応関係パッチｉｄを指定する。ｐｄｕ＿ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ＿ｉｄが存在しない場合、０ｘＦＦＦＦ（例えば、有効でない）であると推論され、これは、ｐａｔｃｈＩｄｘに等しいインデックスを有するパッチについて対応関係パッチが存在しないことを意味する。いくつかの実施形態において、追加的または代替的に、アトラスごとのパッチごとの専用ＳＥＩメッセージ内において、対応関係情報はシグナリングされる。

【0113】

テクスチャベースＭＩＶエンコーダ５００を実装する例示的な方式が図５に示されるが、図５に示される要素、プロセスおよび／またはデバイスの１または複数は、組み合わされ、分割され、再配置され、省略され、取り除かれ、および／または、任意の他の方式で実装され得る。更に、例示的なビュー最適化部５０２、例示的なデプス推論部５０４、例示的な対応関係アトラス構築部５０６、例示的な対応関係ラベリング部５０８、例示的な対応関係プルーニング部５１０、例示的なマスク集約部５１２、例示的な対応関係パッチパッキング部５１４、例示的なアトラス生成部５１６、例示的な占有パッキング部５２４、例示的なビデオエンコーダ５３４、例示的なビデオエンコーダ５３６、および／または、より一般に、図５の例示的なテクスチャベースＭＩＶエンコーダ５００は、ハードウェア、ソフトウェア、ファームウェア、および／または、ハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせによって実装され得る。したがって、例えば、例示的なビュー最適化部５０２、例示的なデプス推論部５０４、例示的な対応関係アトラス構築部５０６、例示的な対応関係ラベリング部５０８、例示的な対応関係プルーニング部５１０、例示的なマスク集約部５１２、例示的な対応関係パッチパッキング部５１４例示的なビデオエンコーダ５３４、例示的なアトラス生成部５１６、例示的な占有パッキング部５２４、例示的なビデオエンコーダ５３６のいずれか、および／または、より一般に、例示的なテクスチャベースＭＩＶエンコーダ５００は、１または複数のアナログまたはデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、および／または、フィールドプログラマブルロジックデバイス（ＦＰＬＤ）によって実装され得る。単にソフトウェアおよび／またはファームウェア実装をカバーするように本特許の装置またはシステムクレームのいずれかを読むとき、例示的なビュー最適化部５０２、例示的なデプス推論部５０４、例示的な対応関係アトラス構築部５０６、例示的な対応関係ラベリング部５０８、例示的な対応関係プルーニング部５１０、例示的なマスク集約部５１２、例示的な対応関係パッチパッキング部５１４、例示的なアトラス生成部５１６、例示的な占有パッキング部５２４、例示的なビデオエンコーダ５３４、および／または、例示的なビデオエンコーダ５３６の少なくとも１つは、当該ソフトウェアおよび／またはファームウェアを含む、メモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスクＣＤ、ブルーレイディスクなど、非一時的コンピュータ可読ストレージデバイスまたはストレージディスクを含むように、本明細書において明示的に定義される。なお更に、図５の例示的なテクスチャベースＭＩＶエンコーダ５００は、図５に示されるものに加えて、または、その代わりに、１または複数要素、プロセスおよび／またはデバイスを含み得、および／または、示される要素、プロセス、およびデバイスのいずれか１つより多いもの、または、すべてを含み得る。本明細書で使用されるように、「と通信する」という表現は、その変形例を含み、直接通信、および／または、１または複数の中間要素を介する間接通信を包含し、直接的な物理的（例えば、有線）通信および／または常時通信を必要としないが、むしろ、周期的な間隔、スケジュールされた間隔、非周期的な間隔、および／または一度だけのイベントにおける選択的な通信を追加的に含む。

【0114】

テクスチャベースのＭＩＶデコーダ７００を実装する例示的な方式が図７に示されているが、図７に示される要素、プロセスおよび／またはデバイスの１または複数は、組み合わされ、分割され、再配置され、省略され、取り除かれ、および／または、任意の他の方式で実装され得る。更に、例示的なビデオデコーダ７０８、例示的なビデオデコーダ７１２、例示的な占有アンパッキング部７１４、例示的なＭＩＶデコーダおよび解析部７１８、例示的なブロック‐パッチマップデコーダ７２０、例示的なカル部７２８、例示的なレンダリング部７３０、例示的なコントローラ７３２、例示的なデプス推論部７３４、例示的な合成部７３６、例示的なインペイント部７３８、および／または、より一般に、図７の例示的なテクスチャベースＭＩＶデコーダ７００は、ハードウェア、ソフトウェア、ファームウェア、および／または、ハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせで実装され得る。したがって、例えば、例示的なビデオデコーダ７０８、例示的なビデオデコーダ７１２、例示的な占有アンパッキング部７１４、例示的なＭＩＶデコーダおよび解析部７１８、例示的なブロック‐パッチマップデコーダ７２０、例示的なカル部７２８、例示的なレンダリング部７３０、例示的なコントローラ７３２、例示的なデプス推論部７３４、例示的な合成部７３６、例示的なインペイント部７３８、および／または、より一般には、例示的なテクスチャベースＭＩＶデコーダ７００のいずれかは、１または複数のアナログまたはデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ｋ特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、および／または、フィールドプログラマブルロジックデバイス（ＦＰＬＤ）によって実装され得る。単にソフトウェアおよび／またはファームウェア実装をカバーするように本特許の装置またはシステムクレームのいずれかを読むとき、例示的なビデオデコーダ７０８、例示的なビデオデコーダ７１２、例示的な占有アンパッキング部７１４、例示的なＭＩＶデコーダおよび解析部７１８、例示的なブロック‐パッチマップデコーダ７２０、例示的なカル部７２８、例示的なレンダリング部７３０、例示的なコントローラ７３２、例示的なデプス推論部７３４、例示的な合成部７３６、および／または、例示的なインペイント部７３８の少なくとも１つは、当該ソフトウェアおよび／またはファームウェアを含む、メモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスクＣＤ、ブルーレイディスクなど、非一時的コンピュータ可読ストレージデバイスまたはストレージディスクを含むように、本明細書において明示的に定義される。なお更に、図７の例示的なテクスチャベースＭＩＶデコーダ７００は、図７に示されるものに加えて、または、その代わりに、１または複数要素、プロセスおよび／またはデバイスを含み得、および／または、示される要素、プロセス、およびデバイスのいずれか１つより多いもの、または、すべてを含み得る。本明細書で使用されるように、「と通信する」という表現は、その変形例を含み、直接通信、および／または、１または複数の中間要素を介する間接通信を包含し、直接的な物理的（例えば、有線）通信および／または常時通信を必要としないが、むしろ、周期的な間隔、スケジュールされた間隔、非周期的な間隔、および／または一度だけのイベントにおける選択的な通信を追加的に含む。

【0115】

図５のテクスチャベースＭＩＶエンコーダ５００を実装するための例示的なハードウェアロジック、機械可読命令、ハードウェア実装ステートマシン、および／または、それらの任意の組み合わせを表すフローチャートが図１１～図１４に示される。機械可読命令は、図１８に関連して後述する例示的なプロセッサプラットフォーム１８００に示されるプロセッサ１８１２のような、コンピュータプロセッサおよび／またはプロセッサ回路によって実行するための１または複数の実行可能プログラムまたは実行可能プログラムの一部であってもよい。 プログラムは、ＣＤ‐ＲＯＭ、フロッピディスク、ハードドライブ、ＤＶＤ、ブルーレイディスク、またはプロセッサ１８１２に関連付けられるメモリなどの非一時的コンピュータ可読記憶媒体に格納されたソフトウェアで具現化され得るが、全体のプログラムおよび／またはその一部は、代替的に、プロセッサ１８１２以外のデバイスにより実行されることおよび／またはファームウェアもしくは専用ハードウェアで具現化されることが可能である。 更に、例示的なプログラムが、図４に示されるフローチャートを参照して説明されているが、例示的なテクスチャベースＭＩＶエンコーダ５００を実装する多くの他の方法が代替的に使用され得る。例えば、ブロックの実行順序が変更され得、および／または説明されたブロックの一部が変更され得、除去され得、または組み合わされ得る。 さらにまたはあるいは、これらのブロックのいずれかまたは全てが、ソフトウェアまたはファームウェアを実行することなく、対応するオペレーションを実行するように構築された、１または複数のハードウェア回路（例えば、ディスクリートおよび／または統合されたアナログおよび／またはデジタル回路、ＦＰＧＡ、ＡＳＩＣ、比較器、演算増幅器（オペアンプ）、論理回路など）によって実装されてもよい。 プロセッサ回路は、異なるネットワーク上の場所および／または１または複数のデバイスに局所的に分散していてもよい（例えば、単一の機械に搭載されたマルチコアプロセッサ、サーバラックに分散した複数のプロセッサなど）。

【0116】

図７のテクスチャベースのＭＩＶデコーダ７００を実装するための例示的なハードウェアロジック、機械可読命令、ハードウェア実装ステートマシン、および／または、それらの任意の組み合わせを表すフローチャートが図１５に示される。機械可読命令は、図１９に関連して後述する例示的なプロセッサプラットフォーム１９００に示されるプロセッサ１９１２のような、コンピュータプロセッサおよび／またはプロセッサ回路によって実行するための１または複数の実行可能プログラムまたは実行可能プログラムの一部であってもよい。 プログラムは、ＣＤ‐ＲＯＭ、フロッピディスク、ハードドライブ、ＤＶＤ、ブルーレイディスク、またはプロセッサ１９１２に関連付けられるメモリなどの非一時的コンピュータ可読記憶媒体に格納されたソフトウェアで具現化され得るが、全体のプログラムおよび／またはその一部は、代替的に、プロセッサ１９１２以外のデバイスにより実行されることおよび／またはファームウェアもしくは専用ハードウェアで具現化されることが可能である。 更に、例示的なプログラムが、図４に示されるフローチャートを参照して説明されているが、例示的なテクスチャベースＭＩＶデコーダ７００を実装する多くの他の方法が代替的に使用され得る。例えば、ブロックの実行順序が変更され得、および／または説明されたブロックの一部が変更され得、除去され得、または組み合わされ得る。 さらにまたはあるいは、これらのブロックのいずれかまたは全てが、ソフトウェアまたはファームウェアを実行することなく、対応するオペレーションを実行するように構築された、１または複数のハードウェア回路（例えば、ディスクリートおよび／または統合されたアナログおよび／またはデジタル回路、ＦＰＧＡ、ＡＳＩＣ、比較器、演算増幅器（オペアンプ）、論理回路など）によって実装されてもよい。 プロセッサ回路は、異なるネットワーク上の場所および／または１または複数のデバイスに局所的に分散していてもよい（例えば、単一の機械に搭載されたマルチコアプロセッサ、サーバラックに分散した複数のプロセッサなど）。

【0117】

本明細書に説明された機械可読命令は、圧縮フォーマット、暗号化フォーマット、フラグメンテーションフォーマット、コンパイルフォーマット、実行可能なフォーマット、パッケージフォーマット等のうちの１または複数で格納されてよい。 本明細書に記載されている機械可読命令は、機械実行可能命令を作成、製造、および／または生成するために利用することができるデータまたはデータ構造（例えば、命令の一部、コード、コードの表現など）として格納されてもよい。 例えば、機械可読命令は断片化され、ネットワークまたはネットワークの集合体の同じまたは異なる場所（例えば、クラウド内、エッジデバイス内など）に位置する１または複数のストレージデバイスおよび／またはコンピューティングデバイス（例えば、サーバ）に格納されてもよい。 機械可読命令は、コンピューティングデバイスおよび／または他の機械によって直接的に読み込み、解釈、および／または、実行可能であるように、インストール、修正、適合、更新、組み合わせ、補完、構成、解読、解凍、アンパック、配布、再割り当て、コンパイルなどの１または複数を必要とし得る。例えば、機械可読命令は、別個のコンピューティングデバイス上で個々に圧縮、暗号化および格納された複数の部分に格納され得る。これらの部分は、解読、圧縮解除および結合された場合、本明細書において説明されるもののようなプログラムを共に形成し得る１または複数の機能を実装する実行可能命令のセットを形成する。

【0118】

別の例において、機械可読命令は、プロセッサ回路によって読み取られ得る状態で格納され得るが、特定のコンピューティングデバイスまたは他のデバイス上で命令を実行するために、ライブラリ（例えば、ダイナミックリンクライブラリ（ＤＬＬ））、ソフトウェア開発キット（ＳＤＫ）、アプリケーションプログラミングインタフェース（ＡＰＩ）などの追加を必要とし得る。別の例において、機械可読命令は、機械可読命令および／または対応するプログラムが全体的にまたは部分的に実行され得る前に構成（例えば、格納された設定、データ入力、記録されたネットワークアドレスなど）される必要があり得る。 このように、本明細書で使用されているように、機械可読媒体は、保存されているとき、或いは静止状態または移動中の機械可読命令および／またはプログラムの特定のフォーマットまたは状態にかかわらず、機械可読命令および／またはプログラムを含むことができる。

【0119】

本明細書に説明された機械可読命令は、任意の過去、現在または将来の命令言語、スクリプト言語、プログラミング言語等により表されてよい。 例えば、機械可読命令は、以下の言語、すなわち、Ｃ言語、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｃ＃、Ｐｅｒｌ、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、構造化照会言語（ＳＱＬ）、Ｓｗｉｆｔなどのいずれかを使用して表され得る。

【0120】

上記のように、図１１～図１５の例示的なプロセスは、ハードディスクドライブ、フラッシュメモリ、リードオンリメモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、および／または、任意の他のストレージデバイス、または、任意の期間（例えば、長期間、永久的な時間、短い瞬間、一時的バッファリング、および／または、情報のキャッシュ）にわたって情報が格納されるストレージディスクなど、非一時的コンピュータおよび／または機械可読媒体に格納された実行可能命令（例えば、コンピュータおよび／または機械可読命令）を使用して実装され得る。本明細書に使用される場合、非一時的コンピュータ可読媒体という用語は、任意の種類のコンピュータ可読ストレージデバイスおよび／またはストレージディスクを含み、伝搬する信号を排除し、送信媒体を排除するように明示的に定義される。

【0121】

「含む（ｉｎｃｌｕｄｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」（およびこれらのすべての形態および時制）は、本明細書ではオープンエンドの用語として用いられている。 したがって、請求項が、プリアンブルとして、または、任意の種類の請求項の記載において、任意の形態の「含む」または「備える」（例えば、備える、含む、備え、含み、有し、など）を利用するときは常に、対応する請求項または記載の範囲を逸脱することなく、追加の要素、用語などが存在し得ることを理解されたい。本明細書において使用される場合、「少なくとも」という語句が、例えば請求項のプリアンブルにおける移行句として使用されるとき、「備える」および「含む」という用語がオープンエンドであるのと同じ方式でオープンエンドである。「ａｎｄ／ｏｒ（および／または）」という用語は、例えば、Ａ、Ｂ、および／またはＣなどの形で用いられると、Ａ、Ｂ、Ｃの任意の組み合わせまたはこれらのサブセット、例えば、（１）Ａだけ、（２）Ｂだけ、（３）Ｃだけ、（４）ＡとＢ、（５）ＡとＣ、（６）ＢとＣ、および（７）ＡとＢとＣなどを意味する。 構造、要素、項目、オブジェクトおよび／または物を説明する文脈において本明細書で使用されるように、「ＡおよびＢのうちの少なくとも１つ」という表現は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装例を指すことを意図している。 同様に、構造、要素、項目、オブジェクトおよび／または物を説明する文脈において本明細書で使用されるように、「ＡまたはＢのうちの少なくとも１つ」という表現は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装例を指すことを意図している。 処理、命令、動作、活動および／または段階の実行または実施を説明する文脈において本明細書で使用されるように、「ＡおよびＢのうちの少なくとも１つ」という表現は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装例を指すことを意図している。 同様に、本明細書で「ＡまたはＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」という文言がプロセス、命令、アクション、アクティビティおよび／またはステップの実施または実行を説明する文脈で用いられる場合、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのうちの任意のものを含む実装を指す意図である。

【0122】

本明細書で用いられる、単一の言及（例えば、「１つの（ａ）」、「１つの（ａｎ）」、「第１（ｆｉｒｓｔ）」、第２（ｓｅｃｏｎｄ）」等）は、複数を除外しない。 本明細書で用いられる「１つの（ａ）」または「１つの（ａｎ）」エンティティという用語は、そのエンティティの１または複数を指す。 本明細書において「１つの（ａ）」（または「１つの（ａｎ）」、「１または複数（ｏｎｅ ｏｒ ｍｏｒｅ）」および「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」という用語は交換可能に用いられてよい。 さらに、複数の手段、要素、または方法のアクションは、個別に列挙されていても、例えば、単一のユニットまたはプロセッサによって実装され得る。追加的に、個別の機能が異なる例または請求項に含まれ得るが、これらは場合によっては組み合わされ得、異なる例または請求項に含まれることは、機能の組み合わせが実行可能でない、および／または、有利でないことを示唆するものではない。

【0123】

図１１は、図５のテクスチャベースＭＩＶエンコーダ５００を実装するために実行され得る機械可読命令を表すフローチャートである。図１１のプログラム１１００は、例示的なビュー最適化部５０２（図５）がシーンのビデオデータを受信するブロック１１０２で実行を開始する。例えば、ビュー最適化部５０２は、テクスチャマップを含む入力ビュー（例えば、図５のソースビュー５０１）を受信する。ブロック１１０４において、例示的な対応関係ラベリング部５０８（図５）は、利用可能な入力ビューの対応する画素を識別、合成、およびラベリングする。例えば、対応関係ラベリング部５０８は、すべてのビュー（例えば、基本および／または追加ビュー）にわたる対応する画素を識別し、テクスチャコンテンツに基づいてそれらをラベリングする。下で更に詳細に説明されるように、図１２の例示的なフローチャート１１０４は、利用可能な入力ビューの対応する画素を識別、合成、およびラベリングするために実装され得る、例示的な機械可読命令を表す。

【0124】

ブロック１１０６において、例示的な対応関係プルーニング部５１０（図５）は、基本ビューおよび追加ビューに対して対応関係プルーニングを実行する。例えば、対応関係プルーニング部５１０は、対応関係ラベリング部５０８からのラベリングされた画素に基づいて、基本ビューおよび追加ビューをプルーニングする。下で更に詳細に説明されるように、図１３の例示的なフローチャート１１０６は、基本ビューおよび追加ビューに対して対応関係プルーニングを実行するために実装され得る例示的な機械可読命令を表す。ブロック１１０８において、例示的な対応関係プルーニング部５１０は、対応関係プルーニングマスクを判定する。例えば、対応関係プルーニング部５１０は、ビューにおける画素が維持されるか（例えば、プルーニングマスク画素が「１」に設定される）、または、除去されるか（例えば、プルーニングマスク画素が「０」に設定される）を示すバイナリプルーニングマスク（ビューあたり１）を出力する。

【0125】

ブロック１１１０において、例示的な対応関係パッチパッキング部５１４（図５）は、対応関係パッチを生成する。例えば、対応関係パッチパッキング部５１４は、対応関係パッチを識別するパッチ識別情報（ｐａｔｃｈ＿ｉｄ）を含むそれぞれのパッチワイズ対応関係リストでタグ付けできるパッチを抽出する。下で更に詳細に説明されるように、図１４の例示的なフローチャート１１１０は、対応関係パッチを生成するために実装され得る例示的な機械可読命令を表す。ブロック１１１２において、例示的なアトラス生成部５１６（図５）はアトラスを生成する。例えば、アトラス生成部５１６は、対応関係パッチパッキング部５１４からのテクスチャパッチを、テクスチャのみのアトラスに書き込む（テクスチャベースＭＩＶエンコーダ５００におけるアトラスについてデプス成分が存在しないため）。

【0126】

ブロック１１１４において、例示的なテクスチャベースＭＩＶエンコーダ５００は、符号化されたビットストリームを生成する。例えば、ビデオエンコーダ５３４およびビデオエンコーダ５３６は、占有ビデオデータ５２８（図５）および属性（テクスチャ）ビデオデータ５３０（図５）からの符号化されたアトラスをそれぞれ生成する。ビデオエンコーダ５３４は、例示的な占有ビデオデータ５２８を受信し、占有マップを例示的なＨＥＶＣビットストリーム５３８（図５）に符号化する。ビデオエンコーダ５３６は、例示的な属性（テクスチャ）ビデオデータ５３０（アトラスを含む）を受信し、テクスチャ成分を例示的なＨＥＶＣビットストリーム５４０（図５）に符号化する。例示的なＨＥＶＣビットストリーム５３８は、復号された占有ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序、占有マップなどを含む。例示的なＨＥＶＣビットストリーム５４０は、属性（テクスチャ）ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序などを含む。いくつかの例において、ＭＩＶデータビットストリーム５３２は、符号化ビデオデータ（例えば、ＨＥＶＣビットストリーム５３８およびＨＥＶＣビットストリーム５４０）がビュー／アトラスにおいてジオメトリ（デプス）情報を含まないことを識別するためのフラグ（またはビット）を含む。本明細書において開示される例において、占有ビデオデータ５２８および属性（テクスチャ）ビデオデータ５３０におけるパッキングされた占有マップは、ビデオコーディングされ、ＭＩＶデータビットストリーム５３２に含まれるメタデータと共に多重化され、これは、デコーダ（例えば、図７の例示的なテクスチャベースＭＩＶデコーダ７００）、および／または、ストレージ、ならびに、復号およびユーザへの提示のために任意の数のデコーダへの最終的な送信のためのメモリデバイスへ送信され得る。ブロック１１１４の後、プログラム１１００が終了する。

【0127】

図１２は、図５のテクスチャベースＭＩＶエンコーダ５００に含まれる例示的な対応関係ラベリング部５０８（図５）を実装するために実行され得る機械可読命令を表すフローチャートである。図１２のプログラム１１０４は、例示的な対応関係ラベリング部５０８が第１の利用可能な入力ビューから第１の画素を選択するブロック１２０２で実行を開始する。ブロック１２０４において、例示的な対応関係ラベリング部５０８は、第２の利用可能な入力ビューから第２の画素を選択する。例えば、対応関係ラベリング部５０８は、第１の画素および第２の画素（第１の利用可能なビューからの第１の画素および第２の利用可能なビューからの第２の画素）を任意の利用可能な入力ビュー（例えば基本および／または追加ビュー）から選択し、利用可能な場合、テクスチャコンテンツおよびデプス情報に基づいてそれらをラベリングする。

【0128】

ブロック１２０６において、例示的な対応関係ラベリング部５０８は、３次元世界に対する第１の画素の投影解除を判定する。ブロック１２０８において、例示的な対応関係ラベリング部５０８は、第２の利用可能な入力ビューに対する第１の画素の再投影を判定する。ブロック１２１０において、例示的な対応関係ラベリング部５０８は、第１の画素が第２の画素と同一の場所にあるかどうかを判定する。第１の画素が第２の画素と同一の場所にあると例示的な対応関係ラベリング部５０８が判定した場合、ブロック１２１２において、例示的な対応関係ラベリング部５０８は、第１の画素および第２の画素を対応する画素としてラベリングする。本明細書において開示される例において、３次元世界に対する、第１の利用可能な入力ビューからの第１の画素の投影解除、および、第２の利用可能な入力ビューに対する、第１の画素のその後の再投影によって、第１の画素が第２の利用可能な入力ビューからの第２の画素と同一の場所に配置される場合、第１の画素および第２の画素は、対応する画素とみなされる。ブロック１２１０に戻ると、第１の画素が第２の画素と同一の場所にないと例示的な対応関係ラベリング部５０８が判定する場合、ブロック１２１４において、例示的な対応関係ラベリング部５０８は、第１の画素および第２の画素を固有画素としてラベリングする。任意の利用可能な入力ビューからの画素が他の利用可能な入力ビューにおける対応する画素を有しない場合、対応関係ラベリング部５０８は、画素を「固有」としてラベリングする。例えば、端末カメラの端の領域、または、特定のビューのみによって可視である閉塞領域に位置する画素は、典型的には、「固有」の画素としてラベリングされる。

【0129】

ブロック１２１６において、例示的な対応関係ラベリング部５０８は、追加の画素があるかどうかを判定する。追加の画素があると例示的な対応関係ラベリング部５０８が判定した場合、プログラム１１０４は、例示的な対応関係ラベリング部５０８が第１の利用可能な入力ビューから異なる画素を選択するブロック１２０２に戻る。ブロック１２１６に戻ると、追加の画素が無いと例示的な対応関係ラベリング部５０８が判定した場合、ブロック１２１８において、例示的な対応関係ラベリング部５０８は、追加の利用可能な入力ビューがあるかどうかを判定する。追加の利用可能な入力ビューがあると例示的な対応関係ラベリング部５０８が判定した場合、プログラム１１０４は、例示的な対応関係ラベリング部５０８が異なる利用可能な入力ビューから第１の画素を選択するブロック１２０２に戻る。ブロック１２１８に戻ると、追加の利用可能な入力ビューが無いと例示的な対応関係ラベリング部５０８が判定した場合、ブロック１２１２において、例示的な対応関係ラベリング部５０８は、すべての利用可能な入力ビューから対応する画素を選択する。

【0130】

ブロック１２２２において、例示的な対応関係ラベリング部５０８は、２つの対応する画素間でテクスチャコンテンツを比較する。例えば、対応する画素の各々について、対応関係ラベリング部５０８は、対応する画素が同様のテクスチャコンテンツを有するかどうかを判定する。ブロック１２２４において、例示的な対応関係ラベリング部５０８は、テクスチャコンテンツにおける差分が閾値を満たすかどうかを判定する。例えば、対応関係ラベリング部５０８は、２つの対応する画素間でテクスチャコンテンツを比較し、テクスチャコンテンツにおける差分を閾値と比較する。いくつかの例において、閾値は、色成分（例えば、赤・緑・青（ＲＧＢ）成分）における差分であり得る。例えば、閾値は、色成分の任意の１つの間の５（またはいくつかの他の値）の差分であり得る。テクスチャコンテンツにおける差分が閾値を満たさないと例示的な対応関係ラベリング部５０８が判定した場合、ブロック１２２６において、例示的な対応関係ラベリング部５０８は、対応する画素を同様のものとしてラベリングする。対応関係ラベリング部５０８は、テクスチャコンテンツにおける差分が閾値より下であるとき、対応する画素が同様のテクスチャコンテンツを有すると判定する。対応関係ラベリング部５０８は、対応する画素を「同様のテクスチャ」としてラベリングし、対応する画素の座標（例えばｘ、ｙ）位置と共に対応する画素を含むソースビューのビューＩＤを対応関係リストに格納する。

【0131】

ブロック１２２４に戻ると、テクスチャコンテンツにおける差分が閾値を満たさないと例示的な対応関係ラベリング部５０８が判定した場合、ブロック１２２８において、例示的な対応関係ラベリング部５０８は、対応する画素を異なるものとしてラベリングする。テクスチャコンテンツにおける差分が閾値より上であるとき、対応関係ラベリング部５０８は、２つの対応する画素が異なるテクスチャコンテンツを有すると判定する。いくつかの例において、対応する画素は、異なる反射情報、異なる照明／光情報、異なるカメラセッティングに起因する色の不整合などに基づいて、異なるテクスチャコンテンツを有すると判定され得る。対応関係ラベリング部５０８は、対応する画素を「異なるテクスチャ」としてラベリングし、対応する画素の座標（例えば、ｘ、ｙ）位置と共に対応する画素を含むソースビューのビューＩＤを対応関係リストに格納する。

【0132】

ブロック１２３０において、例示的な対応関係ラベリング部５０８は、追加の対応する画素があるかどうかを判定する。追加の対応する画素があると例示的な対応関係ラベリング部５０８が判定した場合、プログラム１１０４は、例示的な対応関係ラベリング部５０８が２つの異なる対応する画素間でテクスチャコンテンツを比較するブロック１２２０に戻る。ブロック１２３０に戻ると、例示的な対応関係ラベリング部５０８が、追加の対応する画素が無いと判定した場合、プログラム１１０４が完了し、図１１のプログラム１１００に戻る。

【0133】

図１３は、図５のテクスチャベースＭＩＶエンコーダ５００に含まれる例示的な対応関係プルーニング部５１０（図５）を実装するために実行され得る機械可読命令を表すフローチャートである。図１３のプログラム１１０６は、例示的な対応関係プルーニング部５１０がすべての画素を基本ビューのプルーニングマスクのものに設定するブロック１３０２で、実行を開始する。対応関係プルーニング部５１０は、予め判定される、構成可能である、などである、所与の基準（例えば、ビュー間の重複する情報、キャプチャカメラ間の距離など）に従って、プルーニング順序を判定する。本明細書において開示される例において、基本ビューは、プルーニング中に最初に順序付けられる。例えば、基本ビュー（例えば、１または複数の基準に基づいて選択される）の第１のものは、プルーニングされない状態で維持され、ソースビュー５０１（図５）に含まれる任意の他の基本ビューおよび追加ビューはプルーニングされ得る。

【0134】

ブロック１３０４において、例示的な対応関係プルーニング部５１０は追加ビューを選択する。例えば、対応関係プルーニング部５１０は、ソースビュー５０１から追加ビューを選択する。ブロック１３０６において、例示的な対応関係プルーニング部５１０は、固有としてラベリングされたビュー画素に対応する画素マスクの画素を１に設定する（例えば、画素がプルーニングされないことを示す）。ブロック１３０８において、例示的な対応関係プルーニング部５１０は、対応する、および、異なるものとしてラベリングされたビュー画素に対応する画素マスクの画素を１に設定する（例えば、画素がプルーニングされないことを示す）。対応関係プルーニング部５１０は、他のビューの各々について対応関係ラベリング部５０８によって「固有」および「対応する異なるテクスチャ」としてラベリングされた画素を識別し、値１を有するビューについての対応するプルーニングマスクにおける画素を設定する。いくつかの例において、対応関係プルーニング部５１０は、「対応する異なるテクスチャ」画素についての重み付け方式を設定することを選択でき、それにより、大きく重複するビューに属するものがプルーニングされ、互いから遠いビューが維持される。例えば、ビューのソース（例えばカメラ）間の距離が閾値（例えば、１０フィート離れている、２０フィート離れているなど）を満たすとき、ビューは、互いから遠いとみなされ得る。

【0135】

ブロック１３１０において、例示的な対応関係プルーニング部５１０は、対応する、および、同様のものとしてラベリングされた現在のプルーニング済みビューにおける画素が２つの以前にプルーニングされたビューに含まれるかどうかを判定する。対応関係プルーニング部５１０は、他のビューにおいて対応関係リストを検索し、他のビューの各々について対応関係ラベリング部５０８によって「対応する同様のテクスチャ」としてラベリングされた画素を識別する。対応する、および、同様のものとしてラベリングされた現在のプルーニング済みビューにおける画素が２つの以前にプルーニングされたビューに含まれる（例えば、２つの以前にプルーニングされたビューにおける画素が１に設定される）かどうかを例示的な対応関係プルーニング部５１０が判定した場合、ブロック１３１２において、例示的な対応関係プルーニング部５１０は、対応する、および、同様のものとしてラベリングされた画素を０に設定する（例えば、画素がプルーニングされることを示す）。いくつかの例において、対応関係リストに含まれる画素の少なくとも２つが以前にプルーニングされたビューに属する場合、対応関係プルーニング部５１０は、関連付けられたプルーニングマスクにおける画素を０に維持する。ブロック１３１０に戻ると、対応する、および、同様のものとしてラベリングされた現在のプルーニング済みビューにおける画素が２つの以前にプルーニングされたビューに含まれない（例えば、２つの以前にプルーニングされたビューの少なくとも１つが、画素を含まない、または、２つの以前にプルーニングされたビューの少なくとも１つにおける画素が０に設定される）と例示的な対応関係プルーニング部５１０が判定した場合、ブロック１３１４において、例示的な対応関係プルーニング部５１０は、対応する、および、同様のものとしてラベリングされた画素を１に設定する（例えば、画素がプルーニングされないことを示す）。いくつかの例において、「対応する、同様のテクスチャ」としてラベリングされた少なくとも２つの画素が選択され、デプス情報を推論するために例示的なデコーダによって使用される関連付けられたプルーニングマスクにおいて１に設定される。

【0136】

ブロック１３１６において、例示的な対応関係プルーニング部５１０は、現在のプルーニング済みビューにおいて、対応する、および同様のものとしてラベリングされた追加の画素があるかどうかを判定する。現在のプルーニング済みビューにおいて、対応する、および、同様のものとしてラベリングされた追加の画素があると例示的な対応関係プルーニング部５１０が判定した場合、プログラム１１０６は、対応する、および、同様のものとしてラベリングされた現在のプルーニング済みビューにおける画素が２つの以前にプルーニングされたビューに含まれるかどうかを例示的な対応関係プルーニング部５１０が判定するブロック１３１０に戻る。ブロック１３１６に戻ると、現在のプルーニング済みビューにおいて、対応する、および、同様のものとしてラベリングされた追加の画素が無いと例示的な対応関係プルーニング部５１０が判定した場合、ブロック１３１８において、例示的な対応関係プルーニング部５１０は、追加ビューがあるかどうかを判定する。追加ビューがあると例示的な対応関係プルーニング部５１０が判定した場合、プログラム１１０６は、対応する、および、同様のものとしてラベリングされた現在のプルーニング済みビューにおける画素が２つの以前にプルーニングされたビューに含まれるかどうかを例示的な対応関係プルーニング部５１０が判定するブロック１３１０に戻る。ブロック１３１８に戻ると、追加ビューが無いと例示的な対応関係プルーニング部５１０が判定した場合、プログラム１１０６が完了し、図１１のプログラム１１００に戻る。

【0137】

図１４は、図５のテクスチャベースＭＩＶエンコーダ５００に含まれる例示的な対応関係パッチパッキング部５１４（図５）を実装するために実行され得る機械可読命令を表すフローチャートである。図１４のプログラム１１１０は、例示的な対応関係パッチパッキング部５１４が例示的な対応関係プルーニング部５１０（図５）からプルーニング済み対応関係マスクを取得するブロック１４０２で実行を開始する。

【0138】

ブロック１４０４において、例示的な対応関係パッチパッキング部５１４は、プルーニング済み対応関係マスクにおける隣接画素を比較する。例えば、対応関係パッチパッキング部５１４は、プルーニング済み対応関係マスクにおける隣接画素のラベリングを比較する。ブロック１４０６において、例示的な対応関係パッチパッキング部５１４は、隣接画素が固有としてラベリングされるかどうかを判定する。例えば、対応関係パッチパッキング部５１４は、対応関係を有しない所与の集約されたプルーニング済みマスクにおいて隣接画素を識別する（例えば、隣接画素は両方とも、プルーニング済み対応関係マスクにおいて「固有」としてラベリングされる）。隣接画素が固有としてラベリングされていると例示的な対応関係パッチパッキング部５１４が判定した場合、ブロック１４０８において、例示的な対応関係パッチパッキング部５１４は、対応関係リストを有しない１つのパッチに隣接画素をグループ化する。例えば、対応関係パッチパッキング部５１４は、対応関係を有しない所与の集約されたプルーニング済み対応関係マスク（例えば、隣接画素は両方とも「固有」としてラベリングされる）における隣接画素を１つのパッチにグループ化し、パッチは、空のパッチワイズ対応関係リストに関連付けられる。

【0139】

ブロック１４０６に戻ると、隣接画素が固有としてラベリングされていないと例示的な対応関係パッチパッキング部５１４が判定した場合、ブロック１４１０において、例示的な対応関係パッチパッキング部５１４は、隣接画素が対応するもの（同様、または、異なるもののいずれか）としてラベリングされているかどうかを判定する。例えば、対応関係パッチパッキング部５１４は、「対応する同様のテクスチャ」または「対応する異なるテクスチャ」としてラベリングされている所与の集約されたプルーニング済みマスクにおける隣接画素を識別する。隣接画素が対応するもの（同様、または異なるもののいずれか）としてラベリングされていると例示的な対応関係パッチパッキング部５１４が判定した場合、ブロック１４１２において、例示的な対応関係パッチパッキング部５１４は、隣接画素を第２のパッチにグループ化する。ブロック１４１０に戻ると、隣接画素が対応するもの（同様、または異なる）としてラベリングされていないと例示的な対応関係パッチパッキング部５１４が判定した場合、ブロック１４１６において、例示的な対応関係パッチパッキング部５１４は、プルーニング済み対応関係マスクにおいて追加の画素があるかどうかを判定する。

【0140】

ブロック１４１４において、例示的な対応関係パッチパッキング部５１４は、対応関係パッチを識別する対応関係リストを用いて第２のパッチをタグ付けする。例えば、対応関係パッチパッキング部５１４は、対応関係パッチのｐａｔｃｈ＿ｉｄを示すパッチワイズ対応関係リストを用いて、所与の集約されたプルーニング済み対応関係マスクにおける第２のパッチをタグ付けする。対応関係パッチパッキング部５１４はまた、すべての他の集約されたプルーニング済み対応関係マスクにおける関連付けられた画素を、ビューごとに１つのパッチ（例えば、第２のパッチ）にグループ化し、その結果、複数の対応関係パッチが生じる。

【0141】

ブロック１４１６において、例示的な対応関係パッチパッキング部５１４は、プルーニング済み対応関係マスクにおいて追加の画素があるかどうかを判定する。プルーニング済み対応関係マスクに追加の画素があると例示的な対応関係パッチパッキング部５１４が判定した場合、プログラム１１１０は、例示的な対応関係パッチパッキング部５１４がプルーニング済み対応関係マスクにおける異なる隣接画素を比較するブロック１４０４に戻る。ブロック１４１６に戻ると、例示的な対応関係パッチパッキング部５１４が、プルーニング済み対応関係マスクに追加の画素が無いと判定した場合、プログラム１１１０は完了し、図１１のプログラム１１００に戻る。

【0142】

図１５は、図７のテクスチャベースのＭＩＶデコーダ７００を実装するために実行され得る機械可読命令を表すフローチャートである。図１５のプログラム１５００は、例示的なテクスチャベースＭＩＶデコーダ７００（図７）が符号化データを受信するブロック１５０２で実行を開始する。例えば、テクスチャベースのＭＩＶデコーダ７００は、例示的なテクスチャベースＭＩＶエンコーダ５００（図５）によって生成された例示的なＨＥＶＣビットストリーム５４０、例示的なＨＥＶＣビットストリーム５３８、例示的なＭＩＶデータビットストリーム５３２を受信する。ブロック１５０４において、例示的なテクスチャベースＭＩＶデコーダ７００は、符号化データを逆多重化および復号する。例えば、ビデオデコーダ７０８（図７）およびビデオデコーダ７１２（図７）は、符号化アトラスを復号して、テクスチャおよび占有データを含む復号アトラスを生成する。いくつかの例において、ＨＥＶＣビットストリーム５４０は、属性（テクスチャ）ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序などを含む。ビデオデコーダ７０８は、復号されたテクスチャアトラス（例えば、復号済みテクスチャピクチャ７１０）のシーケンスを生成する。いくつかの例において、ＨＥＶＣビットストリーム５３８は、復号された占有ビデオデータに関するパッチパラメータを含む。そのようなパラメータの例は、ビューとアトラスとの間のパッチのマップ、ブロック‐パッチマップを後に取得するために利用される重複したパッチを公開するためのパッキング順序、占有マップなどを含む。ビデオデコーダ７１２は、占有アトラスを復号する。

【0143】

ブロック１５０６において、例示的なＭＩＶデコーダおよび解析部７１８はパラメータリストを判定する。例えば、ＭＩＶデコーダおよび解析部７１８（図７）はＭＩＶデータビットストリーム５３２を受信する。例示的なＭＩＶデコーダおよび解析部７１８はＭＩＶデータビットストリーム５３２を解析して、例示的なアトラスデータ７２２（図７）および例示的なビデオベース点群圧縮（Ｖ－ＰＣＣ）および視点パラメータセット７２４（図７）を生成する。例えば、ＭＩＶデコーダおよび解析部７１８は、例示的なパッチリスト、カメラパラメータリストなどのために、符号化ＭＩＶデータビットストリーム５３２を解析する。ブロック１５０８において、例示的占有アンパッキング部７１４（図７）は、アトラスパッチ占有マップをアンパックする。例えば、占有アンパッキング部７１４は、パッキングプロセスを反転して、復号済みテクスチャピクチャ７１０（図７）のテクスチャアトラスと同一サイズの占有マップ７１６（図７）を取得する。

【0144】

ブロック１５１０において、例示的なＭＩＶデコーダおよび解析部７１８は、デプス情報が符号化ビットストリームに含まれるかどうかを判定する。例えば、ＭＩＶデコーダおよび解析部７１８は、アトラスデータ７２２（図７）が、デプス情報が符号化ビットストリーム（例えば、ＨＥＶＣビットストリーム５４０、ＨＥＶＣビットストリーム５３８、およびＭＩＶデータビットストリーム５３２）に含まれるかどうかを示すインジケータ（例えば、フラグ、ビットなど）を含むかどうかを判定する。例示的なＭＩＶデコーダおよび解析部７１８が、含まれるデプス情報があると判定した場合、ブロック１５１４において、例示的なレンダリング部７３０はビューを合成する。例えば、合成部７３６（図７）は、アトラス（テクスチャおよびデプス）、占有マップおよび／またはパラメータに基づいてシーンを合成する。ブロック１５１４の後に、プログラム１５００が終了する。

【0145】

ブロック１５１０に戻ると、例示的なＭＩＶデコーダおよび解析部７１８が、含まれるデプス情報が無いと判定した場合、ブロック１５１２において、例示的なレンダリング部７３０は、対応関係パッチからのデプス情報を判定する。例えば、デプス推論部７３４は、テクスチャアトラスの対応関係パッチを使用してデプス情報を推論する。ブロック１５１２の後、プログラム１５００は、例示的なレンダリング部７３０がビューを合成するブロック１５１４に続く。例えば、合成部７３６は、テクスチャアトラス、占有マップ、推論デプス情報、および／またはパラメータに基づいてシーンを合成する。ブロック１５１４の後に、プログラム１５００が終了する。

【0146】

図１６～図１７は、説明された技法を実装するための例示的なシステムおよびデバイス、エンコーダ（例えば、図１のＭＩＶエンコーダ１００、図５のテクスチャベースＭＩＶエンコーダ５００など）、および、デコーダ（例えば、図３のＭＩＶデコーダ３００、図７のテクスチャベースのＭＩＶデコーダ７００）を示す。例えば、本明細書において説明される任意のエンコーダ（エンコーダシステム）、デコーダ（デコーダシステム）またはビットストリームエクストラクタは、図１６に示されるシステムおよび／または図１７において実装されるデバイスを介して実装され得る。いくつかの例において、説明された技法では、エンコーダ（例えば、図１のＭＩＶエンコーダ１００、図５のテクスチャベースＭＩＶエンコーダ５００など）、および、デコーダ（例えば、図３のＭＩＶデコーダ３００、図７のテクスチャベースのＭＩＶデコーダ７００）は、パーソナルコンピュータ、ラップトップコンピュータ、タブレット、ファブレット、スマートフォン、デジタルカメラ、ゲーミングコンソール、ウェアラブルデバイス、ディスプレイデバイス、オールインワンデバイス、ツーインワンデバイス、または同様ものなど、本明細書において説明された任意の好適なデバイスまたはプラットフォームを介して実装され得る。

【0147】

本明細書において説明するシステムの様々なコンポーネントは、ソフトウェア、ファームウェアおよび／またはハードウェアおよび／またはそれらの任意の組み合わせに実装されてよい。 例えば、本明細書において説明されるデバイスまたはシステムの様々なコンポーネントは、少なくとも部分的に、例えば、スマートフォンなどのコンピューティングシステムにおいて見られ得るものなどのコンピューティングシステムオンチップ（ＳｏＣ）のハードウェアによって提供され得る。当業者であれば、本明細書に説明されるシステムは、対応する図において示されなかった追加のコンポーネントを含み得ることを理解し得る。例えば、本明細書において説明されたシステムは、明確にするために示されなかった追加のコンポーネントを含み得る。

【0148】

本明細書において論じる例示的なプロセスの実装が、図示された順序で示される全てのオペレーションの実行を含み得るが、本開示はこの点で限定されず、様々な例において、本明細書における例示的なプロセスの実装は、示されるオペレーションのサブセット、図示されたものとは異なる順序で実行されるオペレーションまたは追加のオペレーションのみを含み得る。

【0149】

加えて、本明細書において論じるオペレーションのうちのいずれか１または複数は、１または複数のコンピュータプログラム製品により提供される命令に応答して行われ得る。 そのようなプログラム製品は、例えばプロセッサによって実行されたときに本明細書において説明される機能を提供し得る命令を提供する信号伝達メディアを含み得る。コンピュータプログラム製品は、１または複数の機械可読媒体のいずれかの形態において提供され得る。したがって、例えば、１または複数のグラフィックス処理ユニットまたはプロセッサコアを含むプロセッサは、１または複数の機械可読媒体によってプロセッサへ伝送されるプログラムコードおよび／または命令または命令セットに応答して、本明細書における例示的なプロセスのブロックの１または複数を実行し得る。概して、機械可読媒体は、本明細書において説明されるデバイスおよび／またはシステムのいずれかに、デバイスまたはシステムの少なくとも一部、または、本明細書において説明された任意の他のモジュールまたはコンポーネントを実装させ得るプログラムコードおよび／または命令または命令セットの形態でソフトウェアを伝送し得る。

【0150】

本明細書において使用される場合、「モジュール」という用語は、ソフトウェアロジック、ファームウェアロジック、ハードウェアロジック、および／または、本明細書において説明される機能を提供するよう構成される回路の任意の組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード、および／または命令セットまたは命令として具現化され得、本明細書において使用される場合、「ハードウェア」は、例えば、単一、または、任意の組み合わせである、ハードワイヤード回路、プログラマブル回路、ステートマシン回路構成、固定機能回路、実行ユニット回路、および／または、プログラマブル回路によって実行される命令を格納するファームウェアを含み得る。モジュールは、集合的に、または個別に、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）など、より大きいシステムの部分を形成する回路として具現化され得る。

【0151】

図１６は、本開示の少なくともいくつかの実装に従って構成された例示的なシステム１６００の例示的な図である。 いくつかの例において、システム１６００は、モバイルデバイスシステムであり得るが、システム１６００はこの文脈に限定されない。例えば、システム１６００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、セルラ電話、セルラ電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（スマートフォン、スマートタブレット、またはスマートテレビ等）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、全自動カメラ、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ）、監視カメラ、カメラを含む監視システムなどへ組み込まれてよい。

【0152】

いくつかの例において、システム１６００は、ディスプレイ１６２０に結合されたプラットフォーム１６０２を含む。プラットフォーム１６０２は、コンテンツサービスデバイス１６３０またはコンテンツ配信デバイス１６４０などのコンテンツデバイス、または、画像センサ１６１９などの他のコンテンツソースから、コンテンツを受信してよい。 例えば、プラットフォーム１６０２は、画像センサ１６１９または任意の他のコンテンツソースから、本明細書において説明される画像データを受信し得る。１または複数のナビゲーション機能を備えるナビゲーションコントローラ１６５０を用いて、例えば、プラットフォーム１６０２および／またはディスプレイ１６２０と対話することができる。これらの要素の各々が、以下でより詳細に記載される。

【0153】

いくつかの例において、プラットフォーム１６０２は、チップセット１６０５、プロセッサ１６１０、メモリ１６１２、アンテナ１６１３、ストレージ１６１４、グラフィックスサブシステム１６１５、アプリケーション１６１６、画像信号プロセッサ１６１７、および／または無線部１６１８の任意の組み合わせを含み得る。チップセット１６０５は、プロセッサ１６１０、メモリ１６１２、ストレージ１６１４、グラフィックスサブシステム１６１５、アプリケーション１６１６、画像信号プロセッサ１６１７、および／または無線部１６１８との間での相互通信を提供してよい。 例えば、チップセット１６０５は、ストレージ１６１４との相互通信を提供することができるストレージアダプタ（図示せず）を含み得る。

【0154】

プロセッサ１６１０は、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサもしくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットに互換性のある複数のプロセッサ、マルチコアもしくは任意の他のマイクロプロセッサ、または中央処理装置（ＣＰＵ）として実装され得る。 いくつかの例において、プロセッサ１６１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサなどであり得る。

【0155】

メモリ１６１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）のような揮発性メモリデバイスとして実装されてよいが、これらに限定されない。

【0156】

ストレージ１６１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、取付型ストレージデバイス、フラッシュメモリ、バッテリーバックアップ型ＳＤＲＡＭ（同期ＤＲＡＭ）および／またはネットワークアクセス可能なストレージデバイスのような不揮発性ストレージデバイスとして実装されてよいが、これらに限定されない。 いくつかの例において、ストレージ１６１４は、例えば、複数のハードドライブが含まれる場合、有価値のデジタル媒体へのストレージ性能増強保護を増大させる技術を備えることができる。

【0157】

画像信号プロセッサ１６１７は、画像処理に使用される専用デジタル信号プロセッサまたは同様のものとして実装され得る。いくつかの例において、画像信号プロセッサ１６１７は、単一命令複数データまたは複数命令複数データアーキテクチャまたは同様のものに基づいて実装され得る。いくつかの例において、画像信号プロセッサ１６１７は、メディアプロセッサとして特徴付けられ得る。本明細書において説明されるように、画像信号プロセッサ１６１７は、システムオンチップアーキテクチャに基づいて、および／または、マルチコアアーキテクチャに基づいて実装され得る。

【0158】

グラフィックスサブシステム１６１５は、表示のために静止画像または動画のような複数の画像の処理を実行し得る。 グラフィックスサブシステム１６１５は、例えば、グラフィックス処理ユニット（ＧＰＵ）またはビジュアルプロセッシングユニット（ＶＰＵ）であってもよい。 アナログまたはデジタルインタフェースは、グラフィックスサブシステム１６１５およびディスプレイ１６２０を通信可能に結合するように用いられてもよい。 例えば、このインタフェースは、高精細度マルチメディアインタフェース、ディスプレイポート、ワイヤレスＨＤＭＩ（登録商標）、および／または、ワイヤレスＨＤ準拠技法のいずれであってもよい。 グラフィックスサブシステム１６１５は、プロセッサ１６１０またはチップセット１６０５に統合することができる。いくつかの実装において、グラフィックスサブシステム１６１５は、チップセット１６０５に通信可能に結合されたスタンドアロンデバイスであり得る。

【0159】

本明細書に説明されるグラフィックスおよび／または動画処理技法は、様々なハードウェアアーキテクチャで実装され得る。 例えば、グラフィックスおよび／または動画機能は、チップセット内に統合され得る。 あるいは、別個のグラフィックスおよび／またはビデオプロセッサが用いられてもよい。 更に別の実装において、グラフィックスおよび／またはビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって提供され得る。更なる実施形態では、これらの機能は消費者電子デバイスにおいて実装することができる。

【0160】

無線部１６１８は、様々な好適な無線通信技法を用いて信号を送信および受信することが可能な１または複数の無線部を含んでよい。 そのような複数の技法は、１または複数の無線ネットワークにわたる複数の通信を含み得る。 例示的な無線ネットワークは、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラネットワーク、および衛星ネットワークを含む（が、これらに限定されない）。そのような複数のネットワークにわたって通信する場合に、無線部１６１８は、任意のバージョンの１または複数の適用可能規格に準拠して動作し得る。

【0161】

いくつかの例において、ディスプレイ１６２０は、任意のテレビ型モニタまたはディスプレイを含み得る。ディスプレイ１６２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビ様デバイス、および／またはテレビを含むことができる。ディスプレイ１６２０は、デジタルおよび／またはアナログであってもよい。 いくつかの例において、ディスプレイ１６２０は、ホログラフィックディスプレイであってよい。 また、ディスプレイ１６２０は、視覚投影を受信し得る透明面であってもよい。 そのような複数の投影は、様々な形態の情報、画像、および／またはオブジェクトを伝え得る。 例えば、そのような複数の投影は、モバイル拡張現実（ＭＡＲ）アプリケーションのための視覚オーバーレイであってもよい。 １または複数のソフトウェアアプリケーション１６１６の制御下で、プラットフォーム１６０２は、ユーザインタフェース１６２２をディスプレイ１６２０上に表示し得る。

【0162】

いくつかの例において、コンテンツサービスデバイス（複数の場合もある）１６３０は、任意の国内サービス、国際サービス、および／または独立サービスによってホストすることができ、したがって、例えば、インターネットを介してプラットフォーム１６０２にアクセス可能である。コンテンツサービスデバイス１６３０は、プラットフォーム１６０２および／またはディスプレイ１６２０に結合され得る。 プラットフォーム１６０２および／またはコンテンツサービスデバイス１６３０は、ネットワーク１６６０ に、およびネットワーク１６６０からメディア情報を通信する（例えば送信し、および／または受信する）べくネットワーク１６６０に結合され得る。 コンテンツ配信デバイス１６４０は、プラットフォーム１６０２および／またはディスプレイ１６２０にも結合され得る。

【0163】

画像センサ１６１９は、シーンに基づいて画像データを提供し得る任意の好適な画像センサを含み得る。例えば、画像センサ１６１９は、半導体電荷結合デバイス（ＣＣＤ）ベースのセンサ、相補型金属酸化物半導体（ＣＭＯＳ）ベースのセンサ、Ｎ型金属酸化膜半導体（ＮＭＯＳ）ベースのセンサ、または同様のものを含み得る。例えば、画像センサ１６１９は、画像データを生成するためにシーンの情報を検出し得る任意のデバイスを含み得る。

【0164】

いくつかの例において、コンテンツサービスデバイス（複数の場合もある）１６３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、デジタル情報および／またはコンテンツを配信可能なインターネット対応デバイスまたは家電、およびネットワーク１６６０を介してまたは直接、コンテンツをコンテンツプロバイダーとプラットフォーム１６０２および／またはディスプレイ１６２０との間で単方向または双方向に通信可能な任意の他の同様のデバイスを含むことができる。コンテンツは単方向および／または双方向に、ネットワーク１６６０を介してシステム１６００内の構成要素の任意の１つおよびコンテンツプロバイダーへ並びにそれらから通信することができることが理解されよう。コンテンツの複数の例としては、例えば、動画、音楽、医療およびゲーム情報等を含む任意のメディア情報が挙げられ得る。

【0165】

コンテンツサービスデバイス１６３０は、メディア情報、デジタル情報、および／または他のコンテンツを含むケーブルテレビプログラム等のコンテンツを受信し得る。 コンテンツプロバイダの例は、任意のケーブルまたは衛星テレビ、またはラジオ、またはインターネットコンテンツプロバイダを備えてよい。 提供される例は、いかなる方式でも、本開示による実装を限定することを意図するものではない。

【0166】

いくつかの例において、プラットフォーム１６０２は、１または複数のナビゲーション機能を有するナビゲーションコントローラ１６５０から制御信号を受信することができる。ナビゲーションコントローラ１６５０のナビゲーション機能は、例えば、ユーザインタフェース１６２２と情報をやりとりするために用いられてよい。 様々な実施形態では、ナビゲーションコントローラ１６５０は、ユーザーが空間（例えば、連続した多次元の）データをコンピュータに入力できるようにするコンピュータハードウェアコンポーネント（特にヒューマンインタフェースデバイス）とすることができるポインティングデバイスとすることができる。グラフィカルユーザインタフェース（ＧＵＩ）、テレビ、およびモニタ等の多くのシステムが、物理的ジェスチャを用いて、ユーザにデータを制御させ、コンピュータまたはテレビへ提供させることができる。

【0167】

ナビゲーションコントローラ１６５０のナビゲーション機能の移動は、ポインタ、カーソル、フォーカスリング、またはディスプレイに表示される他の視覚的インジケータの移動によってディスプレイ（例えば、ディスプレイ１６２０）で再現することができる。例えば、ソフトウェアアプリケーション１６１６の制御のもとで、ナビゲーションコントローラ１６５０に位置する複数のナビゲーション機能が、例えば、ユーザインタフェース１６２２上に表示される複数の仮想的なナビゲーション機能へとマッピングされてよい。 様々な実施形態において、ナビゲーションコントローラ１６５０は、 別個の要素ではなく、プラットフォーム１６０２および／またはディスプレイ１６２０へ統合されてよい。 しかしながら、本開示は、本明細書において示される、または説明される要素または文脈に限定されない。

【0168】

いくつかの例において、ドライバー（図示せず）は、例えば、イネーブルされる場合、ユーザーが、初期ブートアップ後にボタンに触れることで、テレビのようにプラットフォーム１６０２を瞬時にオンオフできるようにする技術を含むことができる。プログラムロジックは、プラットフォームが「オフ」のときでも、プラットフォーム１６０２が、コンテンツをメディアアダプタまたは他のコンテンツサービスデバイス１６３０もしくはコンテンツ配信デバイス１６４０にストリーミングすることを可能にし得る。加えて、チップセット１６０５は、例えば、５．１サラウンドサウンドオーディオおよび／または高分解能７．１サラウンドサウンドオーディオについてのハードウェアおよび／またはソフトウェアサポートを含み得る。ドライバは、複数の統合グラフィックスプラットフォームためのグラフィックスドライバを含み得る。 様々な実施形態において、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスグラフィックスカードを備えてよい。

【0169】

いくつかの例において、システム１６００において示された複数の要素の１または複数のいずれが統合化されてもよい。 例えば、プラットフォーム１６０２およびコンテンツサービスデバイス１６３０が統合されてもよく、またはプラットフォーム１６０２およびコンテンツ配信デバイス１６４０が統合されてもよく、または例えば、プラットフォーム１６０２、コンテンツサービスデバイス１６３０、およびコンテンツ配信デバイス１６４０が統合されてもよい。 様々な実施形態において、プラットフォーム１６０２およびディスプレイ１６２０は、統合されたユニットであってもよい。 例えば、ディスプレイ１６２０およびコンテンツサービスデバイス１６３０が統合されてもよく、またはディスプレイ１６２０およびコンテンツ配信デバイス１６４０が統合されてもよい。 これらの複数の例は、本開示を限定する意図ではない。

【0170】

様々な実施形態において、システム１６００は、無線システム、有線システム、または両方の組み合わせとして実装され得る。 無線システムとして実装される場合、システム１６００は、１または複数のアンテナ、トランスミッタ、レシーバ、トランシーバ、増幅器、フィルタ、制御ロジック等のような無線共有媒体を介して通信するのに好適な複数のコンポーネントおよびインタフェースを含み得る。 無線共有媒体の例としては、ＲＦスペクトル等のような無線スペクトルの一部が挙げられ得る。 有線システムとして実装される場合、システム１６００は、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する物理的なコネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ等の有線通信媒体を介して通信するのに適する構成要素およびインタフェースを含むことができる。有線通信媒体の複数の例としては、ワイヤ、ケーブル、金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、光ファイバ等が挙げられ得る。

【0171】

プラットフォーム１６０２は、情報を通信するための１または複数の論理チャネルまたは物理チャネルを確立し得る。 情報は、メディア情報および制御情報を含み得る。 メディア情報は、ユーザ向けのコンテンツを表す任意のデータを指し得る。 コンテンツの複数の例としては、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「ｅメール」）メッセージ、ボイスメールメッセージ、英数字記号、グラフィックス、画像、ビデオ、テキスト等からのデータが挙げられ得る。 音声会話からのデータは、例えば、発言情報、無音期間、バックグラウンドノイズ、コンフォートノイズ、トーン等であり得る。 制御情報は、自動システム向けの複数のコマンド、命令、または制御ワードを表す任意のデータを指し得る。 例えば、制御情報は、システムを通じてメディア情報をルーティングし、または予め定められたようにメディア情報を処理するようノードに指示するべく用いられ得る。 しかしながら、実施形態は、図１６に示されるか、または説明される要素もしくは状況に限定されない。

【0172】

上記のように、システム１６００は、異なる物理的スタイルまたはフォームファクタで具現化され得る。 図１７は、本開示の少なくともいくつかの実装に従って配置された例示的なスモールフォームファクタデバイス１７００を示す。いくつかの例において、システム１６００はデバイス１７００を介して実装され得る。他の例において、本明細書またはその一部において説明される他のシステム、コンポーネント、またはモジュールはデバイス１７００を介して実装され得る。例えば、様々な実施形態において、デバイス１７００は、無線機能を有するモバイルコンピューティングデバイスとして実装することができる。モバイルコンピューティングデバイスは、処理システムおよび、例えば１または複数のバッテリ等のモバイル電源またはパワーサブライを備える任意のデバイスを参照してよい。

【0173】

モバイルコンピューティングデバイスの例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、セルラ電話、コンビネーションセルラ電話／ＰＤＡ、スマートデバイス（例えば、スマートフォン、スマートタブレット、またはスマートモバイルテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージデバイス、データ通信デバイス、カメラ（例えば、全自動カメラ、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ）などを含み得る。

【0174】

モバイルコンピューティングデバイスの例はまた、モータ車両またはロボットによって実装されるように、または、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡型コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、靴型コンピュータ、衣類型コンピュータ、および他のウェアラブルコンピュータなど、人間によって装着されるように配置されたコンピュータを含み得る。例えば、様々な実施形態において、モバイルコンピューティングデバイスは、コンピュータアプリケーション並びに音声通信および／またはデータ通信を実行可能なスマートフォンとして実装することができる。例を挙げる目的で、いくつかの実施形態が、スマートフォンとして実装されたモバイルコンピューティングデバイスと共に説明されるかもしれないが、他の実施形態が、他の無線モバイルモバイルコンピューティングデバイスを同様に用いて実装されうることは当然であってよい。 実施形態は、この文脈に限定されない。

【0175】

図１７に示されるように、デバイス１７００は、表側１７０１および裏側１７０２を有するハウジングを備え得る。デバイス１７００は、ディスプレイ１７０４、入力／出力（Ｉ／Ｏ）デバイス１７０６、カラーカメラ１７２１、カラーカメラ１７２２、および統合アンテナ１７０８を備える。いくつかの実施形態において、カラーカメラ１７２１およびカラーカメラ１７２２は、本明細書において説明されるような平面画像を取得する。いくつかの実施形態において、デバイス１７００は、カラーカメラ１７２１および１７２２を含まず、デバイス１７００は、別のデバイスから入力画像データ（例えば、本明細書において説明される任意の入力画像データ）を取得する。デバイス１７００はまた、ナビゲーション機能１７１２を備えてよい。 Ｉ／Ｏデバイス１７０６は、情報をモバイルコンピューティングデバイスに入力する任意の好適なＩ／Ｏデバイスを含むことができる。Ｉ／Ｏデバイス１７０６の例としては、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、マイクロホン、スピーカー、音声認識デバイス、およびソフトウェア等を挙げることができる。情報はまた、マイク（示されない）を通じてデバイス１７００に入力され得るか、または、音声認識デバイスによってデジタル化され得る。示されるように、デバイス１７００は、デバイス１７００の裏側１７０２（または他の場所）に統合されたカラーカメラ１７２１、１７２２と、フラッシュ１７１０とを含み得る。他の例において、カラーカメラ１７２１、１７２２、およびフラッシュ１７１０は、デバイス１７００の表側１７０１に統合され得、または、カメラの表側および裏側の両方のセットが提供され得る。カラーカメラ１７２１、１７２２、およびフラッシュ１７１０は、ディスプレイ１７０４に出力される、および／または、例えばアンテナ１７０８を介してデバイス１７００から遠隔通信される画像またはストリーミングビデオになるように処理され得る、ＩＲテクスチャ補正を有するカラー画像データを発生させるためのカメラモジュールのコンポーネントであり得る。

【0176】

例示的な実施形態は、ハードウェア要素、ソフトウェア要素、または両方の組み合わせを用いて実装することができる。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路素子、（例えば、トランジスタ、抵抗器、キャパシタ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含んでよい。 ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、手順、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、記号、またはこれらの任意の組み合わせを含んでよい。 ハードウェア要素および／またはソフトウェア要素を使用して実施形態が実装されるかどうかの判定は、所望の計算速度、出力レベル、耐熱性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバススピード、および他の設計または性能の制約など、任意の数の係数に応じて異なってよい。

【0177】

いくつかの例において、少なくとも１つの実施形態の１または複数の態様は、機械可読媒体に記憶された代表的な命令によって実装することができ、命令は、プロセッサ内の様々な論理を表し、機械によって読み取られると、機械に、本明細書で説明される技法を実行させる論理を組み立てさせる。そのような表現は、「ＩＰコア」として知られ、有形の機械可読媒体に記憶され、様々な顧客または製造施設に供給されて、実際に論理を作る製造機械またはプロセッサにロードすることができる。

【0178】

図１８は、図５のテクスチャベースＭＩＶエンコーダ５００を実装するために、図１１～図１４の命令を実行するよう構築される例示的なプロセッサプラットフォーム１８００のブロック図である。プロセッサプラットフォーム１８００は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械（例えば、ニューラルネットワーク）、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、インターネット機器、ＤＶＤプレーヤ、ＣＤプレーヤ、デジタルビデオレコーダ、ブルーレイプレーヤ、ゲーミングコンソール、パーソナルビデオレコーダ、セットトップボックス、ヘッドセットもしくは他のウェアラブルデバイス、または任意の他の種類のコンピューティングデバイスであり得る。

【0179】

示された例のプロセッサプラットフォーム１８００は、プロセッサ１８１２を含む。 示された例のプロセッサ１８１２は、ハードウェアである。 例えば、プロセッサ１８１２は、１または複数の集積回路、論理回路、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、または任意の所望のファミリーもしくは製造者からのコントローラで実装されてよい。 ハードウェアプロセッサは、半導体ベース（例えば、シリコンベース）のデバイスであってよい。 この例において、プロセッサはビュー最適化部５０２、例示的なデプス推論部５０４、例示的な対応関係アトラス構築部５０６、例示的な対応関係ラベリング部５０８、例示的な対応関係プルーニング部５１０、例示的なマスク集約部５１２、例示的な対応関係パッチパッキング部５１４、例示的なアトラス生成部５１６、例示的な占有パッキング部５２４、例示的なビデオエンコーダ５３４、および例示的なビデオエンコーダ５３６を実装する。

【0180】

示された例のプロセッサ１８１２は、ローカルメモリ１８１３（例えば、キャッシュ）を含む。 示された例のプロセッサ１８１２は、バス１８１８を介して、揮発性メモリ１８１４および不揮発性メモリ１８１６を含むメインメモリと通信する。 揮発性メモリ１８１４は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳ（登録商標）ダイナミックランダムアクセスメモリ（ＲＤＲＡＭ（登録商標））および／または任意の他のタイプのランダムアクセスメモリデバイスで実装されてよい。 不揮発性メモリ１８１６は、フラッシュメモリおよび／または任意の他の所望のタイプのメモリデバイスで実装されてよい。 メインメモリ１８１４、１８１６へのアクセスはメモリコントローラによって制御される。

【0181】

示された例のプロセッサプラットフォーム１８００はまた、インタフェース回路１８２０も含む。 インタフェース回路１８２０は、イーサネット（登録商標）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、近距離通信（ＮＦＣ）インタフェースおよび／またはＰＣＩエクスプレスインタフェース等の任意のタイプのインタフェース規格で実装されてよい。

【0182】

示された例において、１または複数の入力デバイス１８２２は、インタフェース回路１８２０に接続される。 入力デバイス１８２２は、ユーザがデータおよび／またはコマンドをプロセッサ１８１２に入力することを許容する。 入力デバイスは、例えば、オーディオセンサ、マイク、カメラ（スチールまたはビデオ）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントおよび／または音声認識システムにより実装され得る。

【0183】

１または複数の出力デバイス１８２４もまた、示された例のインタフェース回路１８２０に接続される。 出力デバイス１８２４は、例えば、ディスプレイデバイス（例えば、発光ダイオード（ＬＥＤ））、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、ブラウン管ディスプレイ（ＣＲＴ）、インプレーススイッチング（ｉｎ‐ｐｌａｃｅ ｓｗｉｔｃｈｉｎｇ：ＩＰＳ）ディスプレイ、タッチスクリーン等）、触覚出力デバイス、プリンタおよび／またはスピーカで実装されてよい。 したがって、示された例のインタフェース回路１８２０は典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、および／またはグラフィックスドライバプロセッサを含む。

【0184】

示された例のインタフェース回路１８２０はまた、トランスミッタ、レシーバ、トランシーバ、モデム、住居用ゲートウェイ、無線アクセスポイント、および／または、ネットワーク１８２６を介した外部マシン（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にするためのネットワークインタフェース等の通信デバイスも含む。 通信は、例えば、イーサネット（登録商標）接続、デジタル加入者線（ＤＳＬ）接続、電話回線接続、同軸ケーブルシステム、衛星システム、有視界無線システム、セルラ電話システム等を介したものであってよい。

【0185】

示された例のプロセッサプラットフォーム１８００はまた、ソフトウェアおよび／またはデータを格納するための１または複数の大容量ストレージデバイス１８２８も含む。 このような大容量ストレージデバイス１８２８の例には、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、独立ディスク冗長アレイ（ＲＡＩＤ）システム、およびデジタル多用途ディスク（ＤＶＤ）ドライブが含まれる。

【0186】

図１１～図１４の機械実行可能命令１８３２は、大容量ストレージデバイス１８２８、揮発性メモリ１８１４、不揮発性メモリ１８１６、および／または、ＣＤもしくはＤＶＤなどの取り外し可能非一時的コンピュータ可読記憶媒体に格納され得る。

【0187】

図１９は、図７のテクスチャベースのＭＩＶデコーダ７００を実装するために図１５の命令を実行するように構築される例示的なプロセッサプラットフォーム１９００のブロック図である。プロセッサプラットフォーム１９００は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械（例えば、ニューラルネットワーク）、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、インターネット機器、ＤＶＤプレーヤ、ＣＤプレーヤ、デジタルビデオレコーダ、ブルーレイプレーヤ、ゲーミングコンソール、パーソナルビデオレコーダ、セットトップボックス、ヘッドセットもしくは他のウェアラブルデバイス、または任意の他の種類のコンピューティングデバイスであり得る。

【0188】

示された例のプロセッサプラットフォーム１９００は、プロセッサ１９１２を含む。 示された例のプロセッサ１９１２は、ハードウェアである。 例えば、プロセッサ１９１２は、１または複数の集積回路、論理回路、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、または任意の所望のファミリーもしくは製造者からのコントローラで実装されてよい。 ハードウェアプロセッサは、半導体ベース（例えば、シリコンベース）のデバイスであってよい。 この例において、プロセッサは、ビデオデコーダ７０８、例示的なビデオデコーダ７１２、例示的な占有アンパッキング部７１４、例示的なＭＩＶデコーダおよび解析部７１８、例示的なブロック‐パッチマップデコーダ７２０、例示的なカル部７２８、例示的なレンダリング部７３０、例示的なコントローラ７３２、例示的なデプス推論部７３４、例示的な合成部７３６、および例示的なインペイント部７３８を実装する。

【0189】

示された例のプロセッサ１９１２は、ローカルメモリ１９１３（例えば、キャッシュ）を含む。 示された例のプロセッサ１９１２は、バス１９１８を介して、揮発性メモリ１９１４および不揮発性メモリ１９１６を含むメインメモリと通信する。 揮発性メモリ１９１４は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳ（登録商標）ダイナミックランダムアクセスメモリ（ＲＤＲＡＭ（登録商標））および／または任意の他のタイプのランダムアクセスメモリデバイスで実装されてよい。 不揮発性メモリ１９１６は、フラッシュメモリおよび／または任意の他の所望のタイプのメモリデバイスで実装されてよい。 メインメモリ１９１４、１９１６へのアクセスはメモリコントローラによって制御される。

【0190】

示された例のプロセッサプラットフォーム１９００はまた、インタフェース回路１９２０も含む。 インタフェース回路１９２０は、イーサネット（登録商標）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、近距離通信（ＮＦＣ）インタフェースおよび／またはＰＣＩエクスプレスインタフェース等の任意のタイプのインタフェース規格で実装されてよい。

【0191】

示された例において、１または複数の入力デバイス１９２２は、インタフェース回路１９２０に接続される。 入力デバイス１９２２は、ユーザがデータおよび／またはコマンドをプロセッサ１９１２に入力することを許容する。 入力デバイスは、例えば、オーディオセンサ、マイク、カメラ（スチールまたはビデオ）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントおよび／または音声認識システムにより実装され得る。

【0192】

１または複数の出力デバイス１９２４もまた、示された例のインタフェース回路１９２０に接続される。 出力デバイス１９２４は、例えば、ディスプレイデバイス（例えば、発光ダイオード（ＬＥＤ））、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、ブラウン管ディスプレイ（ＣＲＴ）、インプレーススイッチング（ｉｎ‐ｐｌａｃｅ ｓｗｉｔｃｈｉｎｇ：ＩＰＳ）ディスプレイ、タッチスクリーン等）、触覚出力デバイス、プリンタおよび／またはスピーカで実装されてよい。 したがって、示された例のインタフェース回路１９２０は典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、および／またはグラフィックスドライバプロセッサを含む。

【0193】

示された例のインタフェース回路１９２０はまた、トランスミッタ、レシーバ、トランシーバ、モデム、住居用ゲートウェイ、無線アクセスポイント、および／または、ネットワーク１９２６を介した外部マシン（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にするためのネットワークインタフェース等の通信デバイスも含む。 通信は、例えば、イーサネット（登録商標）接続、デジタル加入者線（ＤＳＬ）接続、電話回線接続、同軸ケーブルシステム、衛星システム、有視界無線システム、セルラ電話システム等を介したものであってよい。

【0194】

示された例のプロセッサプラットフォーム１９００はまた、ソフトウェアおよび／またはデータを格納するための１または複数の大容量ストレージデバイス１９２８も含む。 このような大容量ストレージデバイス１９２８の例には、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、独立ディスク冗長アレイ（ＲＡＩＤ）システム、およびデジタル多用途ディスク（ＤＶＤ）ドライブが含まれる。

【0195】

図１５の機械実行可能命令１９３２は、大容量ストレージデバイス１９２８に、揮発性メモリ１９１４に、不揮発性メモリ１９１６に、および／または、ＣＤまたはＤＶＤなどの取り外し可能な非一時的コンピュータ可読記憶媒体に格納され得る。

【0196】

図１８の例示的なコンピュータ可読命令１８３２、および／または、図１９の例示的なコンピュータ可読命令１９３２などのソフトウェアを第三者に配布するための例示的なソフトウェア配布プラットフォーム２００５を示すブロック図が図２０に示される。例示的なソフトウェア配布プラットフォーム２００５は、ソフトウェアを他のコンピューティングデバイスに格納および送信することが可能な任意のコンピュータサーバ、データ設備、クラウドサービスなどによって実装され得る。第三者は、ソフトウェア配布プラットフォームを所有および／または運用するエンティティの顧客であり得る。例えば、ソフトウェア配布プラットフォームを所有および／または運用するエンティティは、図１８の例示的なコンピュータ可読命令１８３２および／または図１９の例示的なコンピュータ可読命令１９３２など、ソフトウェアの開発元、販売元、および／またはライセンサであり得る。第三者は、使用および／または再販売および／またはサブライセンスするためにソフトウェアを購入および／またはライセンスする消費者、ユーザ、小売業者、ＯＥＭなどであり得る。示された例において、ソフトウェア配布プラットフォーム２００５は１または複数のサーバおよび１または複数のストレージデバイスを含む。ストレージデバイスは、上記のような、図１８の例示的なコンピュータ可読命令１８３２、および／または、図１９の例示的なコンピュータ可読命令１９３２に対応し得るコンピュータ可読命令１８３２および／または１９３２を格納する。例示的なソフトウェア配布プラットフォーム２００５の１または複数のサーバは、インターネット、および／または、上記の例示的なネットワーク１８２６、１９２６のいずれかの任意の１または複数に対応し得るネットワーク２０１０と通信する。いくつかの例において、１または複数のサーバは、商業トランザクションの一部としてソフトウェアを要求側に送信するための要求に応答する。ソフトウェアの配信、販売、および／またはライセンスのための支払いは、ソフトウェア配布プラットフォームの１または複数のサーバによって、および／または、第三者の支払いエンティティを介して処理され得る。サーバは、購入者および／またはライセンサがコンピュータ可読命令１８３２および／または１９３２をソフトウェア配布プラットフォーム２００５からダウンロードすることを可能にする。例えば、図１８の例示的なコンピュータ可読命令１８３２に対応し得るソフトウェアは、図５のテクスチャベースＭＩＶエンコーダ５００を実装するためにコンピュータ可読命令１８３２を実行する例示的なプロセッサプラットフォーム１８００にダウンロードされ得る。例えば、図１９の例示的なコンピュータ可読命令１９３２に対応し得るソフトウェアは、図７のテクスチャベースのＭＩＶデコーダ７００を実装するためにコンピュータ可読命令１９３２を実行する例示的なプロセッサプラットフォーム１９００にダウンロードされ得る。いくつかの例において、ソフトウェア配布プラットフォーム２００５の１または複数のサーバは、改善、パッチ、更新などが配信されエンドユーザデバイスにおけるソフトウェアに適用されることを確実にするために、定期的にソフトウェア（例えば、図１８の例示的なコンピュータ可読命令１８３２、および／または、図１９の例示的なコンピュータ可読命令１９３２）を提供、送信、および／または、強制更新する。

【0197】

上記から、テクスチャベースの没入型ビデオコーディングを可能にする例示的な方法、装置および製品が開示されたことが理解される。開示される方法、装置および製品は、対応関係リストにおける対応関係パッチを判定して割り当てることによってコンピューティングデバイスを使用する効率を改善する。例えば、テクスチャベースのエンコーダは、対応関係パッチのリストをアトラスに格納する。テクスチャベースのエンコーダは、対応関係パッチを識別して、ビュー間の異なるテクスチャ情報からデプス情報を推論する。テクスチャベースのエンコーダは、符号化ビットストリームを送信するために必要な帯域幅が少ない。なぜなら、テクスチャベースのエンコーダは、任意のデプスアトラスを送信しないからである。テクスチャベースのデコーダは、テクスチャベースのエンコーダからのアトラスに含まれる対応関係パッチのリストに起因して、関心のある対応関係パッチを識別するために必要な帯域幅が相対的に少ない。開示された方法、装置、および製品は、したがって、コンピュータの機能における１または複数の改善に向けられている。

【0198】

テクスチャベースの没入型ビデオコーディングのための例示的な方法、装置、システム、および製品が本明細書において開示される。その更なる例および組み合わせは、以下を含む。

【0199】

例１は、ビデオエンコーダであって、
（ｉ）第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別し、（ｉｉ）第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別するための対応関係ラベリング部であって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のものおよび前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、対応関係ラベリング部と、
（ｉ）前記第１ビューにおける隣接画素を比較し、（ｉｉ）前記隣接画素の比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別するための対応関係パッチパッキング部であって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、対応関係パッチパッキング部と、
符号化ビデオデータに含める少なくとも１つのアトラスを生成するアトラス生成部であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチ、および、対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、アトラス生成部と
を備えるビデオエンコーダを含む。

【0200】

例２は、前記第１ビューについての第１のプルーニングマスクを生成するための対応関係プルーニング部であって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、対応関係プルーニング部を更に備える、例１に記載のビデオエンコーダを含む。

【0201】

例３は、例２のビデオエンコーダを含み、前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない。

【0202】

例４は、例２または例３のいずれか１つに記載のビデオエンコーダを含み、前記対応関係プルーニング部は、前記第２ビューについての第２のプルーニングマスクを生成し、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく。

【0203】

例５は、例４に記載のビデオエンコーダを含み、前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素を含む。

【0204】

例６は、例４または例５のいずれか１つに記載のビデオエンコーダを含み、前記対応関係プルーニング部は、第３ビューについての第３のプルーニングマスクを生成し、前記第３のプルーニングマスクは、第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの第２の対応する画素に含まれる対応する画素を含む。

【0205】

例７は、例６に記載のビデオエンコーダを含み、前記対応関係プルーニング部は、維持される第１の複数の画素、第２の複数の画素、および第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを生成して、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素、および、前記第２ビューの前記第２の対応する画素に含まれる前記第３の対応する画素を含む。

【0206】

例８は、例７に記載のビデオエンコーダを含み、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約するためのマスク集約部を更に備える。

【0207】

例９は、例１に記載のビデオエンコーダを含み、前記対応関係ラベリング部は、前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影しない前記第１ビューの前記複数の画素の複数のものであると識別する。

【0208】

例１０は、例１に記載のビデオエンコーダを含み、前記対応関係ラベリング部は、前記第１の対応する画素が、前記第２ビューに再投影されるときに前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別する。

【0209】

例１１は、例１０に記載のビデオエンコーダを含み、前記対応関係ラベリング部は、前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツの差分が閾値を満たすとき、前記第１の対応する画素の前記第１のもの、および、前記第２の対応する画素の前記第２のものを同様のものとして識別する。

【0210】

例１２は、例１に記載のビデオエンコーダを含み、前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む。

【0211】

例１３は、例１に記載のビデオエンコーダを含み、入力ビューは属性マップを含む。

【0212】

例１４は、例１に記載のビデオエンコーダを含み、前記符号化ビデオデータは、前記少なくとも１つのアトラスがデプスマップを含まないことを識別するフラグを含む。

【0213】

例１５は、命令を備える少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令は実行されるとき、１または複数のプロセッサに、少なくとも、
第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別すること、
第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別することであって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、こと、
前記第１ビューにおける隣接画素を比較すること、
前記隣接画素の前記比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別することであって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、こと、ならびに、
符号化ビデオデータに含める少なくとも１つのアトラスを生成する段階であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチおよび対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、こと
を行わせる、少なくとも１つの非一時的コンピュータ可読媒体を含む。

【0214】

例１６は、例１５に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第１ビューについての第１のプルーニングマスクを生成することであって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、ことを行わせる。

【0215】

例１７は、例１６に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない。

【0216】

例１８は、例１６または例１７のいずれか１つに記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第２ビューについての第２のプルーニングマスクを生成することであって、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく、ことを行わせる。

【0217】

例１９は、例１８に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素を含む。

【0218】

例２０は、例１８または例１９のいずれか１つに記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、第３ビューについての第３のプルーニングマスクを生成することであって、前記第３のプルーニングマスクは、前記第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの第２の対応する画素に含まれる対応する画素を含む、ことを行わせる。

【0219】

例２１は、例２０に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、維持される、第１の複数の画素、第２の複数の画素、および第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを生成することであって、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素、および、前記第２ビューの第２の対応する画素に含まれる前記第３の対応する画素を含む、ことを行わせる。

【0220】

例２２は、例２１に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約させる。

【0221】

例２３は、例１５に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影しない前記第１ビューの前記複数の画素の複数のものであると識別させる。

【0222】

例２４は、例１５に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第１の対応する画素が、前記第２ビューに再投影されるときに前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別することを行わせる。

【0223】

例２５は、例２４に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツ間の差分が閾値を満たすとき、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の前記第２のものを、同様のものとして識別することを行わせる。

【0224】

例２６は、例１５に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む。

【0225】

例２７は、例１５に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記符号化ビデオデータは、少なくとも１つのアトラスがデプスマップを含まないことを識別するフラグを含む。

【0226】

例２８は、方法であって、
第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別する段階と、
第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別する段階であって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、段階と、
前記第１ビューにおける隣接画素を比較する段階と、
前記隣接画素の前記比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別する段階であって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、段階と、
符号化ビデオデータに含める少なくとも１つのアトラスを生成する段階であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチおよび対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、段階と
を備える方法を含む。

【0227】

例２９は、例２８の方法を含み、前記第１ビューについての第１のプルーニングマスクを生成する段階であって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、段階を更に備える。

【0228】

例３０は、例２９に記載の方法を含み、前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない。

【0229】

例３１は、例２９または例３０のいずれ１つに記載の方法を含み、前記第２ビューについての第２のプルーニングマスクを生成する段階であって、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく、段階を更に備える。

【0230】

例３２は、例３１に記載の方法を含み、前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素を含む。

【0231】

例３３は、例３１または３２のいずれか１つに記載の方法を含み、第３ビューについての第３のプルーニングマスクを生成する段階であって、前記第３のプルーニングマスクは、第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素、および、前記第２ビューの前記第２の対応する画素を含む、段階を更に備える。

【0232】

例３４は、例３３に記載の方法を含み、維持される第１の複数の画素、第２の複数の画素、および第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および、前記第３のプルーニングマスクを生成する段階であって、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの前記第２の対応する画素に含まれる前記第３の対応する画素を含む、段階を更に備える。

【0233】

例３５は、例３４に記載の方法を含み、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約する段階を更に備える。

【0234】

例３６は、例２８の方法を含み、前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影しない前記第１ビューの前記複数の画素の複数のものであると識別する段階を更に備える。

【0235】

例３７は、例２８の方法を含み、前記第１の対応する画素が、前記第２ビューに再投影されるとき前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別する段階を更に備える。

【0236】

例３８は、例３７に記載の方法を含み、前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツ間の差分が閾値を満たすとき、前記第１の対応する画素の前記第１のもの、および、前記第２の対応する画素の前記第２のものを、同様のものとして識別する段階を更に備える。

【0237】

例３９は、例２８に記載の方法を含み、前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む。

【0238】

例４０は、例２８に記載の方法を含み、前記符号化ビデオデータは、前記少なくとも１つのアトラスがデプスマップを含まないことを識別するためのフラグを含む。

【0239】

例４１は、ビデオデコーダであって、
ビットストリームデコーダであって、
符号化ビデオデータにおけるフラグを識別することであって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、こと、ならびに、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得することであって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、こと
を行うビットストリームデコーダと、
レンダリング部であって、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する画素との比較に基づいて、デプス情報を判定すること、および、
前記判定されたデプス情報からターゲットビューを合成すること
を行うレンダリング部と
を備えるビデオデコーダを含む。

【0240】

例４２は、例４１に記載のビデオデコーダを含み、前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む。

【0241】

例４３は、例４２に記載のビデオデコーダを含み、前記レンダリング部は、前記第２のマップに基づいて前記対応する第２のパッチを再構築する。

【0242】

例４４は、例４１のビデオデコーダを含み、前記レンダリング部は、前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する画素を識別する。

【0243】

例４５は、例４１または４４のいずれか１つに記載のビデオデコーダを含み、前記レンダリング部は、前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定し、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する。

【0244】

例４６は、命令を備える少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令は実行されるとき、１または複数のプロセッサに、少なくとも、
符号化ビデオデータにおけるフラグを識別することであって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、こと、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得することであって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、こと、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する第２の画素との比較に基づいて、デプス情報を判定すること、ならびに、
前記判定されたデプス情報からターゲットビューを合成すること
を行わせる、少なくとも１つの非一時的コンピュータ可読媒体を含む。

【0245】

例４７は、例４６に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む。

【0246】

例４８は、例４７に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は前記１または複数のプロセッサに、前記第２のマップに基づいて前記対応する第２のパッチを再構築させる。

【0247】

例４９は、例４６に記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する第２の画素を識別させる。

【0248】

例５０は、例４６または４９のいずれか１つに記載の少なくとも１つの非一時的コンピュータ可読媒体を含み、前記命令は、前記１または複数のプロセッサに、前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定することであって、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する、ことを行わせる。

【0249】

例５１は、方法であって、
符号化ビデオデータにおけるフラグを識別する段階であって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、段階と、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得する段階であって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、段階と、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する第２の画素との比較に基づいて、デプス情報を判定する段階と、
前記判定されたデプス情報からターゲットビューを合成する段階と
を備える方法を含む。

【0250】

例５２は、例５１に記載の方法を含み、前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む。

【0251】

例５３は、例５２の方法を含み、前記第２のマップに基づいて前記対応する第２のパッチを再構築する段階を更に備える。

【0252】

例５４は、例５１に記載の方法を含み、前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する第２の画素を識別する段階を更に備える。

【0253】

例５５は、例５１または例５４のいずれか１つの方法を含み、前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定する段階であって、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する、段階を更に備える。

【0254】

特定の例示的な方法、装置および製品が本明細書において開示されているが、本特許の網羅する範囲はこれらに限定されない。 むしろ、本特許は、本特許の請求項の範囲に公正に含まれるすべての方法、装置および製品を網羅する。

【0255】

以下の特許請求の範囲は、ここで参照によって本明細書に組み込まれ、各請求項は、本開示の別個の実施形態として自立している。 ［他の可能な項目］
（項目１）
ビデオエンコーダであって、
（ｉ）第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別し、（ｉｉ）第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別するための対応関係ラベリング部であって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のものおよび前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、対応関係ラベリング部と、
（ｉ）前記第１ビューにおける隣接画素を比較し、（ｉｉ）前記隣接画素の比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別するための対応関係パッチパッキング部であって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、対応関係パッチパッキング部と、
符号化ビデオデータに含める少なくとも１つのアトラスを生成するアトラス生成部であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチ、および、対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、アトラス生成部と
を備えるビデオエンコーダ。
（項目２）
前記第１ビューについての第１のプルーニングマスクを生成するための対応関係プルーニング部であって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、対応関係プルーニング部を更に備える、項目１に記載のビデオエンコーダ。
（項目３）
前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない、項目２に記載のビデオエンコーダ。
（項目４）
前記対応関係プルーニング部は、前記第２ビューについての第２のプルーニングマスクを生成し、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく、項目２に記載のビデオエンコーダ。
（項目５）
前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素を含む、項目４に記載のビデオエンコーダ。
（項目６）
前記対応関係プルーニング部は、第３ビューについての第３のプルーニングマスクを生成し、前記第３のプルーニングマスクは、第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの第２の対応する画素に含まれる対応する画素を含む、項目４に記載のビデオエンコーダ。
（項目７）
前記対応関係プルーニング部は、維持される第１の複数の画素、第２の複数の画素、および第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および、前記第３のプルーニングマスクを生成して、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素、および、前記第２ビューの前記第２の対応する画素に含まれる前記第３の対応する画素を含む、項目６に記載のビデオエンコーダ。
（項目８）
前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約するためのマスク集約部を更に備える、項目７に記載のビデオエンコーダ。
（項目９）
前記対応関係ラベリング部は、前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影されない前記第１ビューの前記複数の画素の複数のものであると識別する、項目１に記載のビデオエンコーダ。
（項目１０）
前記対応関係ラベリング部は、前記第１の対応する画素が、前記第２ビューに再投影されるときに前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別する、項目１に記載のビデオエンコーダ。
（項目１１）
前記対応関係ラベリング部は、前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツの差分が閾値を満たすとき、前記第１の対応する画素の前記第１のもの、および、前記第２の対応する画素の前記第２のものを同様のものとして識別する、項目１０に記載のビデオエンコーダ。
（項目１２）
前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む、項目１に記載のビデオエンコーダ。
（項目１３）
入力ビューは属性マップを含む、項目１に記載のビデオエンコーダ。
（項目１４）
前記符号化ビデオデータは、前記少なくとも１つのアトラスがデプスマップを含まないことを識別するフラグを含む、項目１に記載のビデオエンコーダ。
（項目１５）
命令を備える少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令は実行されるとき、１または複数のプロセッサに、少なくとも、
第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別すること、
第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別することであって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、こと、
前記第１ビューにおける隣接画素を比較すること、
前記隣接画素の前記比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別することであって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、こと、ならびに、
符号化ビデオデータに含める少なくとも１つのアトラスを生成する段階であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチおよび対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、こと
を行わせる、少なくとも１つの非一時的コンピュータ可読媒体。
（項目１６）
前記命令は、前記１または複数のプロセッサに、前記第１ビューについての第１のプルーニングマスクを生成することであって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、ことを行わせる、項目１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目１７）
前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない、項目１６に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目１８）
前記命令は、前記１または複数のプロセッサに、前記第２ビューについての第２のプルーニングマスクを生成することであって、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく、ことを行わせる、項目１６に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目１９）
前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素を含む、項目１８に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２０）
前記命令は、前記１または複数のプロセッサに、第３ビューについての第３のプルーニングマスクを生成することであって、前記第３のプルーニングマスクは、前記第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの第２の対応する画素に含まれる対応する画素を含む、ことを行わせる、項目１８に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２１）
前記命令は、前記１または複数のプロセッサに、維持される、第１の複数の画素、第２の複数の画素、および、第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および、前記第３のプルーニングマスクを生成することであって、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素、および、前記第２ビューの第２の対応する画素に含まれる前記第３の対応する画素を含む、ことを行わせる、項目２０に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２２）
前記命令は、前記１または複数のプロセッサに、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約させる、項目２１に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２３）
前記命令は、前記１または複数のプロセッサに、前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影しない前記第１ビューの前記複数の画素の複数のものであると識別させる、項目１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２４）
前記命令は、前記１または複数のプロセッサに、前記第１の対応する画素が、前記第２ビューに再投影されるときに前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別することを行わせる、項目１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２５）
前記命令は、前記１または複数のプロセッサに、前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツ間の差分が閾値を満たすとき、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の前記第２のものを、同様のものとして識別することを行わせる、項目２４に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２６）
前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む、項目１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２７）
前記符号化ビデオデータは、少なくとも１つのアトラスがデプスマップを含まないことを識別するフラグを含む、項目１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目２８）
方法であって、
第１ビューの複数の画素に含まれる第１の固有画素および第１の対応する画素を識別する段階と、
第２ビューの複数の画素に含まれる第２の固有画素および第２の対応する画素を識別する段階であって、前記第１の対応する画素の複数のものは、前記第２の対応する画素の複数のものとそれぞれの対応関係を有し、前記第１の対応する画素の第１のもの、および、前記第２の対応する画素の第２のものは、同様のテクスチャ情報または異なるテクスチャ情報の少なくとも１つを有するものとして分類される、段階と、
前記第１ビューにおける隣接画素を比較する段階と、
前記隣接画素の前記比較および前記対応関係に基づいて、固有画素の第１のパッチおよび対応する画素の第２のパッチを識別する段階であって、前記第２のパッチは、前記第２ビューにおける対応関係パッチを識別する対応関係リストでタグ付けされる、段階と、
符号化ビデオデータに含める少なくとも１つのアトラスを生成する段階であって、前記少なくとも１つのアトラスは、固有画素の前記第１のパッチおよび対応する画素の前記第２のパッチを含み、前記符号化ビデオデータはデプスマップを含まない、段階と
を備える方法。
（項目２９）
前記第１ビューについての第１のプルーニングマスクを生成する段階であって、前記第１のプルーニングマスクは、前記第１の固有画素および前記第１の対応する画素からのテクスチャ情報に基づく、段階を更に備える、項目２８に記載の方法。
（項目３０）
前記第１の対応する画素は、以前にプルーニングされたビューに含まれる対応する画素を含まない、項目２９に記載の方法。
（項目３１）
前記第２ビューについての第２のプルーニングマスクを生成する段階であって、前記第２のプルーニングマスクは、前記第２の固有画素および前記第２の対応する画素からのテクスチャ情報に基づく、段階を更に備える、項目２９に記載の方法。
（項目３２）
前記第２の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素を含む、項目３１に記載の方法。
（項目３３）
第３ビューについての第３のプルーニングマスクを生成する段階であって、前記第３のプルーニングマスクは、第３の固有画素および第３の対応する画素からのテクスチャ情報に基づき、前記第３の対応する画素は、前記第１ビューの前記第１の対応する画素に含まれる対応する画素、および、前記第２ビューの前記第２の対応する画素を含む、段階を更に備える、項目３１に記載の方法。
（項目３４）
維持される第１の複数の画素、第２の複数の画素、および第３の複数の画素を識別するための第１の値と、プルーニングされる第４の複数の画素を識別するための第２の値とを含むように、前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを生成する段階であって、前記第４の複数の画素は、前記第１ビューの前記第１の対応する画素および前記第２ビューの前記第２の対応する画素に含まれる前記第３の対応する画素を含む、段階を更に備える、項目３３に記載の方法。
（項目３５）
前記第１のプルーニングマスク、前記第２のプルーニングマスク、および前記第３のプルーニングマスクを集約する段階を更に備える、項目３４に記載の方法。
（項目３６）
前記第１の固有画素が、前記第２ビューに再投影されるときに前記第２ビューの前記複数の画素の複数のものの場所に投影しない前記第１ビューの前記複数の画素の複数のものであると識別する段階を更に備える、項目２８に記載の方法。
（項目３７）
前記第１の対応する画素が、前記第２ビューに再投影されるとき前記第２ビューの前記第２の対応する画素のそれぞれのものの場所に投影する前記第１ビューの前記複数の画素の複数のものであると識別する段階を更に備える、項目２８に記載の方法。
（項目３８）
前記第１ビューおよび前記第２ビューにおけるそれぞれのテクスチャコンテンツ間の差分が閾値を満たすとき、前記第１の対応する画素の前記第１のもの、および、前記第２の対応する画素の前記第２のものを、同様のものとして識別する段階を更に備える、項目３７に記載の方法。
（項目３９）
前記少なくとも１つのアトラスは、属性マップまたは占有マップの少なくとも１つを含む、項目２８に記載の方法。
（項目４０）
前記符号化ビデオデータは、前記少なくとも１つのアトラスがデプスマップを含まないことを識別するためのフラグを含む、項目２８に記載の方法。
（項目４１）
ビデオデコーダであって、
ビットストリームデコーダであって、
符号化ビデオデータにおけるフラグを識別することであって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、こと、ならびに、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得することであって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、こと
を行うビットストリームデコーダと、
レンダリング部であって、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する画素との比較に基づいて、デプス情報を判定すること、および、
前記判定されたデプス情報からターゲットビューを合成すること
を行うレンダリング部と
を備えるビデオデコーダ。
（項目４２）
前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む、項目４１に記載のビデオデコーダ。
（項目４３）
前記レンダリング部は、前記第２のマップに基づいて前記対応する第２のパッチを再構築する、項目４２に記載のビデオデコーダ。
（項目４４）
前記レンダリング部は、前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する画素を識別する、項目４１に記載のビデオデコーダ。
（項目４５）
前記レンダリング部は、前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定し、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する、項目４１に記載のビデオデコーダ。
（項目４６）
命令を備える少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令は実行されるとき、１または複数のプロセッサに、少なくとも、
符号化ビデオデータにおけるフラグを識別することであって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、こと、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得することであって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、こと、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する第２の画素との比較に基づいて、デプス情報を判定すること、ならびに、
前記判定されたデプス情報からターゲットビューを合成すること
を行わせる、少なくとも１つの非一時的コンピュータ可読媒体。
（項目４７）
前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む、項目４６に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目４８）
前記命令は前記１または複数のプロセッサに、前記第２のマップに基づいて前記対応する第２のパッチを再構築させる、項目４７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目４９）
前記命令は、前記１または複数のプロセッサに、前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する第２の画素を識別させる、項目４６に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目５０）
前記命令は、前記１または複数のプロセッサに、前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定することであって、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する、ことを行わせる、項目４６に記載の少なくとも１つの非一時的コンピュータ可読媒体。
（項目５１）
方法であって、
符号化ビデオデータにおけるフラグを識別する段階であって、前記フラグは、デプスマップを含まない第１のアトラスおよび第２のアトラスを識別する、段階と、
前記符号化ビデオデータを復号して、（ｉ）第１ビューの第１のメタデータおよび（ｉｉ）第２ビューの第２のメタデータを取得する段階であって、前記第１ビューおよび前記第２ビューからのパッチは、同一のアトラスに属するか、または、異なるアトラスにわたって分布し、前記第１ビューは、第１のアトラス内の第１のパッチを含み、前記第２ビューは、対応関係リストでタグ付けされた前記第１のアトラスまたは第２のアトラス内の対応する第２のパッチを含む、段階と、
前記第１のパッチに含まれる画素と、前記対応する第２のパッチに含まれる対応する第２の画素との比較に基づいて、デプス情報を判定する段階と、
前記判定されたデプス情報からターゲットビューを合成する段階と
を備える方法。
（項目５２）
前記第１のメタデータは、前記第１ビューにおける画素のブロックを、前記第１ビューに含まれる前記第１のパッチにマッピングする第１のマップを含み、前記第２のメタデータは、前記第２ビューにおける画素のブロックを、前記第２ビューに含まれる前記対応する第２のパッチにマッピングする第２のマップを含む、項目５１に記載の方法。
（項目５３）
前記第２のマップに基づいて前記対応する第２のパッチを再構築する段階を更に備える、項目５２に記載の方法。
（項目５４）
前記符号化ビデオデータからの前記対応関係リストに基づいて、前記対応する第２のパッチにおける前記対応する第２の画素を識別する段階を更に備える、項目５１に記載の方法。
（項目５５）
前記第１ビューからの前記第１のパッチの第１のものと、前記第１のパッチの前記第１のものに対応すると判定された、前記第２ビューからの前記対応する第２のパッチのそれぞれのものとに基づいて前記デプス情報を判定する段階であって、前記対応する第２のパッチの前記それぞれのものは、前記第１のパッチの前記第１のものとは異なるテクスチャ情報、または、前記第１のパッチの前記第１のものと同様のテクスチャ情報を有する、段階を更に備える、項目５１に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】