特表2024-541503ビデオコーディング方法、装置並びにその、コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-08
(54)【発明の名称】ビデオコーディング方法、装置並びにその、コンピュータプログラム
(51)【国際特許分類】
H04N 19/597 20140101AFI20241031BHJP
H04N 19/70 20140101ALI20241031BHJP
【ＦＩ】
H04N19/597
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531215
(86)(22)【出願日】2023-04-20
(85)【翻訳文提出日】2024-05-28
(86)【国際出願番号】 US2023019190
(87)【国際公開番号】W WO2023229762
(87)【国際公開日】2023-11-30
(31)【優先権主張番号】63/346,655
(32)【優先日】2022-05-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/303,129
(32)【優先日】2023-04-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】シュウ，シャオゾン
(72)【発明者】
【氏名】ティエン，ジュン
(72)【発明者】
【氏名】ザン，シャン
(72)【発明者】
【氏名】ホアン，チャオ
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC01
5C159MA04
5C159MA05
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
コンピュータコードを含む方法及び装置を提供し、該コンピュータコードは、１つ又は複数のプロセッサに、少なくとも１つの三次元（３Ｄ）ビジュアルコンテンツのボリュームデータを取得するステップと、前記ボリュームデータから複数の３Ｄメッシュを分割することによってパッチを取得するステップであって、前記パッチが少なくとも１つの前記３Ｄメッシュの頂点を含む、ステップと、前記パッチの頂点のサブセットを含む予測グループを形成するステップと、前記パッチの複数の前記頂点のサブセットに対して、前記予測グループの予測モードを集合的にシグナリングするステップと、を実行させるように構成される。
【特許請求の範囲】
【請求項1】
少なくとも１つの三次元（３Ｄ）ビジュアルコンテンツのボリュームデータを取得するステップと、前記ボリュームデータから複数の３Ｄメッシュを分割することによってパッチを取得するステップであって、前記パッチが少なくとも１つの前記３Ｄメッシュの複数の頂点を含む、ステップと、
前記パッチの複数の頂点のサブセットを含む予測グループを形成するステップと、
前記パッチの複数の頂点のサブセットに対して、前記予測グループの予測モードを集合的にシグナリングするステップと、を含む、ビデオコーディング方法。
【請求項2】
前記サブセットは、所定数の複数の前記頂点を含み、前記所定数は、６４、３２、及び１６のいずれかである、請求項１に記載のビデオコーディング方法。
【請求項3】
前記パッチの複数の頂点の第２のサブセットを含む第２の予測グループを形成するステップと、前記パッチの複数の頂点の第２のサブセットに対して、前記第２の予測グループの第２の予測モードを集合的にシグナリングするステップと、を更に含み、
前記予測モードをシグナリングするステップと前記第２の予測モードをシグナリングするステップの両方は、少なくとも１つの前記３Ｄメッシュのメッシュフレーム及びメッシュスライスの少なくとも１つをイントラ予測モードに設定するか否かを決定することに基づいて行われる、請求項２に記載のビデオコーディング方法。
【請求項4】
前記予測モードをシグナリングするステップと前記第２の予測モードをシグナリングするステップの両方は、少なくとも１つの前記３Ｄメッシュのメッシュフレーム及びメッシュスライスの少なくとも１つを前記イントラ予測モードに設定しないと決定することに基づいて、前記イントラ予測モード及びインター予測モードのいずれかとして独立して行われる、請求項３に記載のビデオコーディング方法。
【請求項5】
複数の前記頂点のうちの現在頂点から予測子位置へのシフトを示す３Ｄ変位ベクトルをシグナリングするステップを更に含む、請求項１に記載のビデオコーディング方法。
【請求項6】
前記３Ｄ変位ベクトルをシグナリングするステップは、複数のフラグをシグナリングするステップを含み、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのそれぞれについて、前記３Ｄ変位ベクトルが非ゼロ成分を含むか否かを示す、請求項５に記載のビデオコーディング方法。
【請求項7】
前記３Ｄ変位ベクトルをシグナリングするステップは、グループフラグをシグナリングするステップを含み、前記グループフラグは、複数の前記頂点のサブセットのグループについて、前記３Ｄ変位ベクトルが非ゼロ成分を含むか否かを示す、請求項５に記載のビデオコーディング方法。
【請求項8】
フラグをシグナリングするステップを更に含み、前記フラグは、複数の前記頂点のサブセットのグループについて、前記グループに変換を実施するか否かを示す、請求項７に記載のビデオコーディング方法。
【請求項9】
複数のフラグをシグナリングするステップを更に含み、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのグループの成分のそれぞれについて、前記グループの成分のそれぞれに変換を実施するか否かを示す、請求項７に記載のビデオコーディング方法。
【請求項10】
前記３Ｄ変位ベクトルをシグナリングするステップは、複数のフラグをシグナリングするステップを含み、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのそれぞれについて、前記３Ｄ変位ベクトルの成分が非ゼロベクトルを含むか否かを示す、請求項５に記載のビデオコーディング方法。
【請求項11】
コンピュータプログラムコードを記憶するように構成された少なくとも１つのメモリと、前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードの指示に従って動作するように構成された少なくとも１つのプロセッサと、を含み、
前記コンピュータプログラムコードは、
少なくとも１つの前記プロセッサに、少なくとも１つの三次元（３Ｄ）ビジュアルコンテンツのボリュームデータを取得させるように構成された取得コードと、
少なくとも１つの前記プロセッサに、前記ボリュームデータから複数の３Ｄメッシュを分割することによってパッチを取得させるように構成された更なる取得コードであって、前記パッチが少なくとも１つの前記３Ｄメッシュの複数の頂点を含む、更なる取得コードと、
少なくとも１つの前記プロセッサに、前記パッチの複数の前記頂点のサブセットを含む予測グループを形成させるように構成された形成コードと、
少なくとも１つの前記プロセッサに、前記パッチの複数の前記頂点のサブセットに対して、前記予測グループの予測モードを集合的にシグナリングさせるように構成されたシグナリングコードと、を含む、ビデオコーディング装置。
【請求項12】
前記サブセットは、所定数の複数の前記頂点を含み、前記所定数は、６４、３２、及び１６のいずれかである、請求項１１に記載のビデオコーディング装置。
【請求項13】
前記形成コードは、少なくとも１つの前記プロセッサに、前記パッチの複数の頂点の第２のサブセットを含む第２の予測グループを形成させるように更に構成され、前記シグナリングコードは、少なくとも１つの前記プロセッサに、前記パッチの複数の頂点の第２のサブセットに対して、前記第２の予測グループの第２の予測モードを集合的にシグナリングさせるように更に構成され、
前記予測モードのシグナリングと前記第２の予測モードのシグナリングの両方は、少なくとも１つの前記３Ｄメッシュのメッシュフレーム及びメッシュスライスの少なくとも１つをイントラ予測モードに設定するか否かを決定することに基づいて行われる、請求項１２に記載のビデオコーディング装置。
【請求項14】
前記予測モードのシグナリングと前記第２の予測モードのシグナリングの両方は、少なくとも１つの前記３Ｄメッシュのメッシュフレーム及びメッシュスライスの少なくとも１つを前記イントラ予測モードに設定しないと決定することに基づいて、前記イントラ予測モード及びインター予測モードのいずれかとして独立して行われる、請求項１３に記載のビデオコーディング装置。
【請求項15】
前記シグナリングコードは、少なくとも１つの前記プロセッサに、複数の前記頂点のうちの現在頂点から予測子位置へのシフトを示す３Ｄ変位ベクトルをシグナリングさせるように更に構成される、請求項１１に記載のビデオコーディング装置。
【請求項16】
前記３Ｄ変位ベクトルのシグナリングは、複数のフラグをシグナリングすることを含み、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのそれぞれについて、前記３Ｄ変位ベクトルが非ゼロ成分を含むか否かを示す、請求項１５に記載のビデオコーディング装置。
【請求項17】
前記３Ｄ変位ベクトルのシグナリングは、グループフラグをシグナリングすることを含み、前記グループフラグは、複数の前記頂点のサブセットのグループについて、前記３Ｄ変位ベクトルが非ゼロ成分を含むか否かを示す、請求項１５に記載のビデオコーディング装置。
【請求項18】
前記シグナリングコードは、少なくとも１つの前記プロセッサに、フラグをシグナリングさせるように更に構成され、前記フラグは、複数の前記頂点のサブセットのグループについて、前記グループに変換を実施するか否かを示す、請求項１７に記載のビデオコーディング装置。
【請求項19】
前記シグナリングコードは、少なくとも１つの前記プロセッサに、複数のフラグをシグナリングさせるように更に構成され、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのグループの成分のそれぞれについて、前記グループの成分のそれぞれに変換を実施するか否かを示す、請求項１７に記載のビデオコーディング装置。
【請求項20】
コンピュータに請求項１～１０のいずれか１項に記載のビデオコーディング方法を実施させる、コンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２２年５月２７日に出願された米国仮出願第６３／３４６，６５５号、及び２０２３年４月１９日に出願された米国出願第１８／３０３，１２９号に対する優先権を主張し、これらの出願の全体が参照により本明細書に明示的に組み込まれるものとする。
【0002】
本開示は、動的メッシュ圧縮のための、導出されたメッシュ三角形分割に基づくメッシュ頂点予測を含む一連の高度なビデオコーディング技術を対象としている。
【背景技術】
【0003】
３Ｄ撮影、モデリング及びレンダリングの進歩は、複数のプラットフォーム及び装置にわたる３Ｄコンテンツの遍在的存在を促進した。現在では、ある大陸で赤ちゃんの最初の一歩を撮影し、祖父母が別の大陸でその赤ちゃんを見て（そして交流してもよい）、完全没入体験を楽しむことができるようにする。それにもかかわらず、そのような現実感を実現するために、モデルはこれまで以上に洗練されており、大量のデータがそれらのモデルの作成及び消費にリンクされる。
【0004】
したがって、そのような問題に対する技術的解決策が望まれている。
【発明の概要】
【課題を解決するための手段】
【0005】
コンピュータプログラムコードを記憶するように構成されたメモリと、前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードの指示に従って動作するように構成された１つ又は複数のプロセッサと、を含む方法及び装置が提供される。前記コンピュータプログラムコードは、少なくとも１つの前記プロセッサに、少なくとも１つの三次元（３Ｄ）ビジュアルコンテンツのボリュームデータを取得させるように構成された取得コードと、少なくとも１つの前記プロセッサに、前記ボリュームデータから複数の３Ｄメッシュを分割することによってパッチを取得させるように構成された更なる取得コードであって、前記パッチが少なくとも１つの前記３Ｄメッシュの複数の頂点を含む、更なる取得コードと、少なくとも１つの前記プロセッサに、前記パッチの複数の前記頂点のサブセットを含む予測グループを形成させるように構成された形成コードと、少なくとも１つの前記プロセッサに、前記パッチの複数の前記頂点のサブセットに対して、前記予測グループの予測モードを集合的にシグナリングさせるように構成されたシグナリングコードと、を前記プロセッサに実施させるように構成される。
【0006】
例示的な実施形態において、前記サブセットは、所定数の複数の前記頂点を含み、前記所定数は、６４、３２、及び１６のいずれかである。
【0007】
例示的な実施形態において、前記形成コードは、少なくとも１つの前記プロセッサに、前記パッチの複数の頂点の第２のサブセットを含む第２の予測グループを形成させるように更に構成され、前記シグナリングコードは、少なくとも１つの前記プロセッサに、前記パッチの複数の頂点の第２のサブセットに対して、前記第２の予測グループの第２の予測モードを集合的にシグナリングさせるように更に構成され、前記予測モードのシグナリングと前記第２の予測モードのシグナリングの両方は、少なくとも１つの前記３Ｄメッシュのメッシュフレーム及びメッシュスライスの少なくとも１つをイントラ予測モードに設定するか否かを決定することに基づいて行われる。
【0008】
例示的な実施形態において、前記予測モードのシグナリングと前記第２の予測モードのシグナリングの両方は、少なくとも１つの前記３Ｄメッシュのメッシュフレーム及びメッシュスライスの少なくとも１つを前記イントラ予測モードに設定しないと決定することに基づいて、前記イントラ予測モード及びインター予測モードのいずれかとして独立して行われる。
【0009】
例示的な実施形態において、前記シグナリングコードは、少なくとも１つの前記プロセッサに、複数の前記頂点のうちの現在頂点から予測子位置へのシフトを示す３Ｄ変位ベクトルをシグナリングさせるように更に構成される。
【0010】
例示的な実施形態において、前記３Ｄ変位ベクトルのシグナリングは、複数のフラグをシグナリングすることを含み、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのそれぞれについて、前記３Ｄ変位ベクトルが非ゼロ成分を含むか否かを示す。
【0011】
例示的な実施形態において、前記３Ｄ変位ベクトルのシグナリングは、グループフラグをシグナリングすることを含み、前記グループフラグは、複数の前記頂点のサブセットのグループについて、前記３Ｄ変位ベクトルが非ゼロ成分を含むか否かを示す。
【0012】
例示的な実施形態において、前記シグナリングコードは、少なくとも１つの前記プロセッサに、フラグをシグナリングさせるように更に構成され、前記フラグは、複数の前記頂点のサブセットのグループについて、前記グループに変換を実施するか否かを示す。
【0013】
例示的な実施形態において、前記シグナリングコードは、少なくとも１つの前記プロセッサに、複数のフラグをシグナリングさせるように更に構成され、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのグループの成分のそれぞれについて、前記グループの成分のそれぞれに変換を実施するか否かを示す。
【0014】
例示的な実施形態において、前記３Ｄ変位ベクトルのシグナリングは、複数のフラグをシグナリングすることを含み、複数の前記フラグのそれぞれは、複数の前記頂点のサブセットのそれぞれについて、前記３Ｄ変位ベクトルの成分が非ゼロベクトルを含むか否かを示す。
【図面の簡単な説明】
【0015】
開示された主題の更なる特徴、性質及び様々な利点は、下記の詳細な説明及び添付の図面からより明らかになる。
【図1】実施形態に係る概略図である。
【図2】実施形態に係る簡略化したブロック図である。
【図3】実施形態に係る簡略化したブロック図である。
【図4】実施形態に係る簡略化したブロック図である。
【図5】実施形態に係る簡略化した図である。
【図6】実施形態に係る簡略化した図である。
【図7】実施形態に係る簡略化した図である。
【図8】実施形態に係る簡略化した図である。
【図9】AおよびBは、実施形態に係る簡略化した図である。
【図10】実施形態に係る簡略化したブロック図である。
【図11】実施形態に係る簡略化したブロック図である。
【図12】実施形態に係る簡略化したブロック図である。
【図13】実施形態に係る簡略化した図である。
【図14】実施形態に係る簡略化した図である。
【図15】実施形態に係る簡略化した図である。
【図16】実施形態に係る簡略化した図である。
【図17】実施形態に係る簡略化した図である。
【図18】実施形態に係る簡略化した図である。
【図19】実施形態に係る簡略化した図である。
【図20】実施形態に係る簡略化したフローチャートである。
【図21】実施形態に係る簡略化したフローチャートである。
【図22】実施形態に係る簡略化したフローチャートである。
【図23】実施形態に係る簡略化した図である。
【図24】実施形態に係る簡略化した図である。
【図25】実施形態に係る簡略化した図である。
【図26】実施形態に係る簡略化した図である。
【発明を実施するための形態】
【0016】
後述する提案された特徴は、別々に使用されてもよく、任意の順序で組み合わせて使用されてもよい。更に、実施形態は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施されてもよい。一例では、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されるプログラムを実行する。
【0017】
図１は、本開示の一実施形態に係る通信システム１００の簡略化したブロック図を示す。通信システム１００は、ネットワーク１０５を介して相互接続された少なくとも２つの端末１０２、１０３を含んでもよい。データの単方向送信の場合、第１の端末１０３は、ネットワーク１０５を介して、ビデオデータを他方の端末１０２に送信するためにローカル位置でビデオデータをコード化することができる。第２の端末１０２は、ネットワーク１０５から他方の端末のコード化されたビデオデータを受信し、コード化されたデータをデコードし、復元されたビデオデータを表示することができる。データの単方向送信は、メディア供給用途などにおいて一般的である。
【0018】
図１は、例えば、ビデオ会議中に発生し得るコード化されたビデオの双方向送信をサポートするために設けられた第２の対の端末１０１、１０４を示す。データの双方向送信の場合、端末１０１及び１０４のうちの一方は、ネットワーク１０５を介して、撮影されたビデオデータを端末１０１及び１０４のうちの他方の端末に送信するためにローカル位置で撮影されたビデオデータをコード化することができる。端末１０１、１０４のうちの一方はさらに、端末１０１、１０４のうちの他方の端末によって送信されたコード化されたビデオデータを受信し、コード化されたデータをデコードし、復元されたビデオデータをローカル表示装置に表示することができる。
【0019】
図１において、端末１０１、１０２、１０３、１０４は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されてもよいが、本開示の原理は、これらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー及び／又は専用のビデオ会議機器における用途を見出す。ネットワーク１０５は、例えば有線及び／又は無線通信ネットワークを含む、端末１０１、１０２、１０３、１０４の間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１０５は、回線交換及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本議論の目的のために、ネットワーク１０５のアーキテクチャ及びトポロジーは、本明細書において以下で説明されない限り、本開示の動作にとって重要ではない可能性がある。
【0020】
図２は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、及びＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応用途に等しく適用可能である。
【0021】
ストリーミングシステムは、撮影サブシステム２０３を含んでもよく、撮影サブシステム２０３は、例えば非圧縮ビデオサンプルストリーム２１３を作成するビデオソース２０１、例えばデジタルカメラを含み得る。そのサンプルストリーム２１３は、エンコードされたビデオビットストリームと比較すると、高いデータ量として強調されてもよく、また、ビデオソース２０１に結合されたエンコーダ２０２によって処理することができ、ビデオソース２０１は、例えば上述したカメラであってもよい。エンコーダ２０２は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。サンプルストリームと比較すると、より低いデータ量として強調され得るエンコードされたビデオビットストリーム２０４は、将来の使用のためにストリーミングサーバ２０５に記憶することができる。１つ以上のストリーミングクライアント２１２及び２０７は、ストリーミングサーバ２０５にアクセスして、エンコードされたビデオビットストリーム２０４のコピー２０８及び２０６を検索することができる。クライアント２１２は、エンコードされたビデオビットストリーム２０８の入り方向コピーをデコードし、ディスプレイ２０９又は他のレンダリングデバイス（図示せず）でレンダリングできる出方向ビデオサンプルストリーム２１０を作成することができる、ビデオデコーダ２１１を含んでもよい。いくつかのストリーミングシステムにおいて、ビデオビットストリーム２０４、２０６及び２０８は、特定のビデオコーディング／圧縮規格に従ってエンコードすることができる。これらの規格の例は、上述されており、本明細書で更に記載される。
【0022】
図３は、本発明の一実施形態に係るビデオデコーダ３００の機能ブロック図であり得る。
【0023】
受信機３０２は、デコーダ３００によってデコードされる１つ以上のコード化ビデオシーケンスを受信してもよく、同一又は別の実施形態では、一度に１つのコード化ビデオシーケンスを受信し、各コード化ビデオシーケンスのデコーディングは、他のコード化ビデオシーケンスから独立している。コード化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル３０１から受信されてもよい。受信機３０２は、それぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、コード化オーディオデータ及び／又は補助データストリームとともに、エンコードされたビデオデータを受信してもよい。受信機３０２は、コード化ビデオシーケンスを他のデータから分離してもよい。ネットワークジッタを防止するために、バッファメモリ３０３は、受信機３０２とエントロピーデコーダ／パーサ３０４（以降、「パーサ」）の間に結合されてもよい。受信機３０２が十分な帯域幅及び可制御性を有する記憶／転送装置から、又は等同期ネットワークからデータを受信する際に、バッファメモリ３０３は必要ではないことがあり、小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ３０３が必要であることがあり、比較的大きいことがあり、有利には適応サイズであることができる。
【0024】
ビデオデコーダ３００は、エントロピーコード化ビデオシーケンスからシンボル３１３を再構築するパーサ３０４を含んでもよい。これらのシンボルのカテゴリは、デコーダ３００の動作を管理するために使用される情報を含み、そして、デコーダの不可欠な部分ではないが、デコーダに結合することができるディスプレイ３１２のようなレンダリングデバイスを制御する情報を潜在的に含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態であってもよい。パーサ３０４は、受信されたコード化ビデオシーケンスを構文解析／エントロピーデコードしてもよい。コード化ビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に合わせることができ、可変長コーディング、ハフマンコーディング、コンテキスト感受性を有するか又は有さない算術コーディングなどを含む、当業者に周知の原理に従うことができる。パーサ３０４は、グループに対応する少なくとも１つのパラメータに基づいて、コード化ビデオシーケンスからビデオデコーダ内の画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出してもよい。サブグループは、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。エントロピーデコーダ／パーサは、コード化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報も抽出してもよい。
【0025】
パーサ３０４は、シンボル３１３を作成するために、バッファメモリ３０３から受信されたビデオシーケンスに対してエントロピーデコーディング／構文解析動作を実行してもよい。パーサ３０４は、エンコードされたデータを受信し、特定のシンボル３１３を選択的にデコードしてもよい。更に、パーサ３０４は、特定のシンボル３１３を動き補償予測ユニット３０６、スケーラ／逆変換ユニット３０５、イントラ予測ユニット３０７又はループフィルタ３１１に提供するか否かを決定してもよい。
【0026】
シンボル３１３の再構築は、コード化されたビデオピクチャ又はその一部（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロック）のタイプ及び他の要因に応じて、複数の異なるユニットに関与することができる。どのユニットが、どのように関与するかは、パーサ３０４によってコード化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御することができる。パーサ３０４と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。
【0027】
すでに述べた機能ブロックに加え、デコーダ３００は、以下で説明されるようにいくつかの機能ユニットに概念的に細分することができる。商業的制約で動作する実際の実施では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合することができる。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分は適切である。
【0028】
第１のユニットは、スケーラ／逆変換ユニット３０５である。スケーラ／逆変換ユニット３０５は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数とを、シンボル３１３としてパーサ３０４から受信する。スケーラ／逆変換ユニット３０５は、アグリゲータ３１０に入力可能なサンプル値を含むブロックを出力することができる。
【0029】
いくつかの場合では、スケーラ／逆変換ユニット３０５の出力サンプルは、イントラコード化ブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することができる。このような予測情報は、イントラピクチャ予測ユニット３０７によって提供することができる。いくつかの場合では、イントラピクチャ予測ユニット３０７は、現在（部分的に再構築された）ピクチャ３０９から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックと同じサイズ及び形状のブロックを生成する。アグリゲータ３１０は、いくつかの場合では、サンプルごとに、イントラ予測ユニット３０７が生成した予測情報を、スケーラ／逆変換ユニット３０５によって提供される出力サンプル情報に追加する。
【0030】
他の場合では、スケーラ／逆変換ユニット３０５の出力サンプルは、インターコード化された、潜在的に動き補償されたブロックに関係することができる。このような場合に、動き補償予測ユニット３０６は、参照ピクチャメモリ３０８にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル３１３に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ３１０によってスケーラ／逆変換ユニットの出力に追加することができる（この場合に、残差サンプル又は残差信号と呼ばれる）。動き補償ユニットが予測サンプルを取り出す参照ピクチャメモリ内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャ成分を有し得るシンボル３１３の形態で動き補償ユニットに利用可能な動きベクトルによって制御することができる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるときに参照ピクチャメモリから取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。
【0031】
アグリゲータ３１０の出力サンプルは、ループフィルタユニット３１１において様々なループフィルタリング技術によって用いられてもよい。ビデオ圧縮技術は、コード化されたビデオビットストリームに含まれ、パーサ３０４からのシンボル３１３としてループフィルタユニット３１１に利用可能とされたパラメータによって制御されるループ内フィルタ技術を含むことができ、コード化ピクチャ又はコード化ビデオシーケンスの（デコーディング順序で）前の部分のデコーディング中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできる。
【0032】
ループフィルタユニット３１１の出力は、レンダリングデバイス３１２へ出力することができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ５５７に記憶することができるサンプルストリームであり得る。
【0033】
特定のコード化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用することができる。コード化ピクチャが完全に再構築され、コード化ピクチャが（例えば、パーサ３０４によって）参照ピクチャとして識別されると、現在参照ピクチャ３０９は、参照ピクチャバッファ３０８の一部になることができ、次のコード化ピクチャの再構築を開始する前に新しい現在ピクチャメモリを再割当てすることができる。
【0034】
ビデオデコーダ３００は、ＩＴＵ－Ｔ勧告Ｈ．２６５などの規格において文書化され得る所定のビデオ圧縮技術に従ってデコーディング動作を実行することができる。コード化ビデオシーケンスは、ビデオ圧縮技術文書又は規格、特にその中のプロファイル文書で指定されたように、コード化ビデオシーケンスがビデオ圧縮技術又は規格の構文に従うという意味で、使用されているビデオ圧縮技術又は規格によって指定された構文に従うことができる。コード化ビデオシーケンスの複雑さがビデオ圧縮技術又は規格のレベルで限定される範囲内にあることも、コンプライアンスに対して必要である。いくつかの場合では、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。いくつかの場合では、レベルによって設定された制限は、仮想参照デコーダ（ＨＲＤ）の仕様及びコード化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のためのメタデータによって更に制限され得る。
【0035】
一実施形態では、受信機３０２は、エンコードされたビデオとともに追加の（冗長）データを受信することができる。追加のデータは、コード化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、及び／又は、元のビデオデータをより正確に再構築するためにビデオデコーダ３００によって使用されてもよい。追加のデータは、例えば、時間的、空間的又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態であり得る。
【0036】
図４は、本開示の一実施形態に係るビデオエンコーダ４００の機能ブロック図であり得る。
【0037】
エンコーダ４００は、エンコーダ４００によってコード化されるビデオ画像を撮影し得るビデオソース４０１（エンコーダの一部ではない）からビデオサンプルを受信することができる。
【0038】
ビデオソース４０１は、エンコーダ（３０３）によってコード化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ・・・）及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース４０１は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース４０１は、ローカル画像情報をビデオシーケンスとして撮影するカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。
【0039】
一実施形態によれば、エンコーダ４００は、リアルタイムで又は用途によって要求される任意の他の時間制約の下でソースビデオシーケンスのピクチャをコード化し、コード化ビデオシーケンス４１０に圧縮することができる。適切なコーディング速度を実施することは、コントローラ４０２の機能の１つである。コントローラは、以下で説明されるように他の機能ユニットを制御し、これらの機能ユニットに機能的に結合される。明瞭にするために、結合は図示されていない。コントローラによって設定されたパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値…）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ４０２の他の機能が特定のシステム設計に対して最適化されたビデオエンコーダ４００に関係する場合があるため、当業者であれば、これらの機能を容易に識別することができる。
【0040】
いくつかのビデオエンコーダは、当業者が「コーディングループ」として容易に認識するもので動作する。過度に簡略化した説明として、コーディングループは、エンコーダ４００（以下、「ソースコーダ」）のエンコーディング部分（コード化される入力ピクチャ及び参照ピクチャに基づくシンボルの作成を担当する）と、エンコーダ４００に埋め込まれた（ローカル）デコーダ４０６とを含むことができる。この（ローカル）デコーダ４０６は、シンボルを再構築して、（リモート）デコーダでも作成されるサンプルデータを作成する（シンボルとコード化ビデオビットストリームとの間の任意の圧縮は、開示された主題で考えられるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリームは、参照ピクチャメモリ４０５に入力される。シンボルストリームのデコーディングにより、（ローカル又はリモート）デコーダの位置に関係なくビット正確な結果が得られるため、参照ピクチャバッファのコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコーディング中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性のこの基本原理（及び、例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、当業者に周知のものである。
【0041】
「ローカル」デコーダ４０６の動作は、前文で図３に関連して既に詳細に説明された、「リモート」デコーダ３００の動作と同様であり得る。しかしながら、図４も簡単に参照し、シンボルが利用可能であり、エントロピーコーダ４０８及びパーサ３０４によるコード化ビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆であり得るため、チャネル３０１、受信機３０２、バッファメモリ３０３及びパーサ３０４を含むデコーダ３００のエントロピーデコーディング部分は、ローカルデコーダ４０６では完全に実施されない場合がある。
【0042】
これで分かるように、デコーダに存在する構文解析／エントロピーデコーディング以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。
【0043】
その動作の一部として、ソースコーダ４０３は、動き補償予測コーディングを実行してもよく、動き補償予測コーディングは、「参照フレーム」として指定されたビデオシーケンスからの１つ以上の予めコード化されたフレームを参照して入力フレームを予測的にコード化する。このようにして、コーディングエンジン４０７は、入力フレームの画素ブロックと、入力フレームへの予測基準として選択され得る参照フレームの画素ブロックとの差をコード化する。
【0044】
ローカルビデオデコーダ４０６は、ソースコーダ４０３によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームのコード化されたビデオデータをデコードすることができる。コーディングエンジン４０７の動作は、有利には非可逆プロセスであり得る。コード化されたビデオデータがビデオデコーダ（図４に図示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ４０６は、ビデオデコーダによって参照フレームに対して実行され得るデコーディングプロセスを再現し、再構築された参照フレームを、例えばキャッシュであり得る参照ピクチャメモリ４０５に記憶させることができる。このようにして、エンコーダ４００は、遠端ビデオデコーダによって取得される再構築された参照フレームと共通するコンテンツ（送信エラー無し）を有する再構築された参照フレームのコピーをローカルに記憶し得る。
【0045】
予測子４０４は、コーディングエンジン４０７の予測検索を実行することができる。つまり、新しいコード化されるフレームについて、予測子４０４は、（候補の参照画素ブロックとしての）サンプルデータ、又は、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ４０５で検索することができる。予測子４０４は、適切な予測基準を見つけるために、サンプルブロック／画素ブロックごとに動作することができる。いくつかの場合では、予測子４０４によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ４０５に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。
【0046】
コントローラ４０２は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含む、例えばビデオコーダであり得るソースコーダ４０３のコーディング動作を管理してもよい。
【0047】
前述の全ての機能ユニットの出力は、エントロピーコーダ４０８でエントロピーコーディングされてもよい。エントロピーコーダは、例えば、ハフマンコーディング、可変長コーディング、算術コーディングなどの当業者の既知の技術に従って、様々な機能ユニットによって生成されたシンボルを無損失で圧縮することにより、これらのシンボルをコード化ビデオシーケンスに変換する。
【0048】
送信機４０９は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル４１１を介した送信の準備のために、エントロピーコーダ４０８によって作成されたコード化ビデオシーケンスをバッファリングすることができる。送信機４０９は、ソースコーダ４０３からのコード化されたビデオデータを、送信されるべき他のデータ、例えば、コード化オーディオデータ及び／又は補助データストリーム（ソースが図示されていない）とマージしてもよい。
【0049】
コントローラ４０２は、エンコーダ４００の動作を管理してもよい。コーディング中、コントローラ４０２は、各コード化ピクチャに特定のコード化ピクチャタイプを割り当てることができ、これは、各々のピクチャに適用され得るコーディング技術に影響を及ぼし得る。例えば、ピクチャは、下記のフレームタイプのいずれかが割り当てられてもよいことが多い。
【0050】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるフレームを使用せずにコード化及びデコードされ得るものであり得る。いくつかのビデオコーデックは、例えば、インディペンデントデコーダリフレッシュピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャの変形及びそれらの各々の用途及び特徴を知っている。
【0051】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトル及び参照インデックスを使用したイントラ予測又はインター予測によってコード化及びデコードされ得るものであり得る。
【0052】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトル及び参照インデックスを使用したイントラ予測又はインター予測によってコード化及びデコードされ得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために３つ以上の参照ピクチャ及び関連メタデータを使用することができる。
【0053】
ソースピクチャは、一般的に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８又は１６×１６サンプルのブロック）に空間的に細分化され、ブロックごとにコード化されてもよい。ブロックは、ブロックの各々のピクチャに適用されるコーディング割り当てによって決定された他の（既にコード化された）ブロックを参照して予測的にコード化され得る。例えば、Ｉピクチャのブロックは、非予測的にコード化されてもよく、同一のピクチャの既にコード化されたブロックを参照して予測的にコード化されてもよい（空間的予測又はイントラ予測）。Ｐピクチャの画素ブロックは、１つの予めコード化された参照ピクチャを参照して、空間的予測又は時間的予測を介して非予測的にコード化されてもよい。Ｂピクチャのブロックは、１つ又は２つの予めコード化された参照ピクチャを参照して、空間的予測又は時間的予測を介して非予測的にコード化されてもよい。
【0054】
エンコーダ４００は、例えばビデオコーダであってもよく、ＩＴＵ－Ｔ勧告Ｈ．２６５などの所定のビデオコーディング技術又は規格に従ってコーディング動作を実行することができる。動作中、エンコーダ４００は、入力ビデオシーケンスの時間的冗長性及び空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。したがって、コード化されたビデオデータは、使用されるビデオコーディング技術又は規格によって指定された構文に従う場合がある。
【0055】
一実施形態では、送信機４０９は、エンコードされたビデオとともに追加のデータを送信してもよい。ソースコーダ４０３は、このようなデータをコード化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャ及びスライスなどの他の形態の冗長データ、補足強化情報（ＳＥＩ）メッセージ、ビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含み得る。
【0056】
図５は、ＨＥＶＣ及びＪＥＭで使用されるイントラ予測モードを示す。自然ビデオで示される任意のエッジ方向を撮影するために、指向性イントラモードの数は、３３からＨＥＶＣで使用されるように６５まで拡張される。ＨＥＶＣの上にある、ＪＥＭにおける追加の指向性モードは、図５に点線の矢印で示され、平面モードとＤＣモードは同じままである。これらのより高密度の指向性イントラ予測モードは、全てのブロックサイズ、並びに輝度及び彩度の両方のイントラ予測に適用される。図５に示すように、奇数イントラ予測モードインデックスに関連付けられた、点線の矢印で特定される指向性イントラ予測モードは、奇数イントラ予測モードと呼ばれる。偶数イントラ予測モードインデックスに関連付けられた、実線の矢印で特定される指向性イントラ予測モードは、偶数イントラ予測モードと呼ばれる。本明細書では、図５において実線又は点線の矢印で示される指向性イントラ予測モードは、角度モードとも称される。
【0057】
ＪＥＭでは、合計６７のイントラ予測モードが輝度イントラ予測に使用される。イントラモードをコード化するために、サイズ６の最確モード（ＭＰＭ）リストが、隣接するブロックのイントラモードに基づいて構築される。イントラモードがＭＰＭリストになければ、イントラモードが選択されたモードに属するか否かを示すフラグがシグナリングされる。ＪＥＭ－３．０では、１６個の選択されたモードがあり、４つの角度モードごとに均一に選択される。ＪＶＥＴ－Ｄ０１１４及びＪＶＥＴ－Ｇ００６０では、均一に選択されたモードを置き換えるために１６個のセカンダリＭＰＭが導出される。
【0058】
図６は、イントラ指向性モードに利用されるＮ個の参照層を示す。ブロックユニット６１１、セグメントＡ６０１、セグメントＢ６０２、セグメントＣ６０３、セグメントＤ６０４、セグメントＥ６０５、セグメントＦ６０６、第１の参照層６１０、第２の参照層６０９、第３の参照層６０８、及び第４の参照層６０７がある。
【0059】
ＨＥＶＣとＪＥＭの両方、及びＨ．２６４／ＡＶＣなどの他の規格では、現在ブロックの予測に使用される参照サンプルは、最も近い参照ライン（行又は列）に制限される。複数の参照ラインイントラ予測の方法では、候補参照ライン（行又は列）の数がイントラ指向性モードに対して１（つまり最も近い）からＮまで増加し、Ｎは１以上の整数である。図２は、４×４予測ユニット（ＰＵ）を例として、マルチラインイントラ指向性予測方法の概念を示す。イントラ指向性モードでは、予測子を生成するために、Ｎ個の参照層のうちの１つを任意に選択することができる。言い換えれば、予測子ｐ（ｘ，ｙ）は、参照サンプルＳ１、Ｓ２…ＳＮのうちの１つから生成される。イントラ指向性モードに対してどの参照層が選択されたかを示すフラグをシグナリングする。Ｎが１に設定されれば、イントラ指向性予測方法は、ＪＥＭ２．０の従来の方法と同じになる。図６では、参照ライン６１０、６０９、６０８、６０７は、左上の参照サンプルとともに６つのセグメント６０１、６０２、６０３、６０４、６０５、６０６で構成される。本明細書では、参照層は、参照ラインとも呼ばれる。現在ブロックユニット内の左上の画素の座標は（０，０）であり、第１の参照ラインの左上の画素は（－１，－１）である。
【0060】
ＪＥＭでは、輝度成分の場合、イントラ予測サンプルの生成に使用される隣接するサンプルは、生成プロセスの前にフィルタリングされる。フィルタリングは、指定されたイントラ予測モードと変換ブロックサイズによって制御される。イントラ予測モードがＤＣであれば、あるいは変換ブロックサイズが４ｘ４に等しければ、隣接するサンプルは、フィルタリングされない。指定されたイントラ予測モードと垂直モード（又は水平モード）との間の距離が、事前に定義された閾値よりも大きければ、フィルタリングプロセスが有効になる。隣接するサンプルのフィルタリングには、［１，２，１］フィルタとバイリニアフィルタが使用される。
【0061】
位置依存イントラ予測組合せ（ＰＤＰＣ）方法は、フィルタリングされていない境界参照サンプルと、フィルタリングされた境界参照サンプルを使用したＨＥＶＣスタイルのイントラ予測との組み合わせを呼び出すイントラ予測方法である。（ｘ，ｙ）に位置する各予測サンプルｐｒｅｄ［ｘ］［ｙ］は、以下のとおり計算される。
ｐｒｅｄ[ｘ][ｙ]＝(ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１＋ｗＴＬ×Ｒ－１，－１＋(６４－ｗＬ－ｗＴ－ｗＴＬ)×ｐｒｅｄ[ｘ][ｙ]＋３２)＞＞６ （式２－１）
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ、現在サンプル（ｘ，ｙ）の上部と左側に位置するフィルタリングされていない参照サンプルを表し、Ｒ－１，－１は、現在ブロックの左上隅に位置するフィルタリングされていない参照サンプルを表す。重み付けは、以下のとおり計算される。
ｗＴ＝３２＞＞((ｙ＜＜１)＞＞シフト) （式２－２）
ｗＬ＝３２＞＞((ｘ＜＜１)＞＞シフト) （式２－３）
ｗＴＬ＝－（ｗＬ＞＞４）－（ｗＴ＞＞４） （式２－４）
シフト＝（ｌｏｇ２（幅）＋ｌｏｇ２（高さ）＋２）＞＞２ （式２－５）
ｐｒｅｄ[ｘ][ｙ]＝(ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１＋ｗＴＬ×Ｒ－１，－１＋(６４－ｗＬ－ｗＴ－ｗＴＬ)×ｐｒｅｄ[ｘ][ｙ]＋３２)＞＞６ （式２－１）
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ、現在サンプル（ｘ，ｙ）の上部と左側に位置するフィルタリングされていない参照サンプルを表し、Ｒ－１，－１は、現在ブロックの左上隅に位置するフィルタリングされていない参照サンプルを表す。重み付けは、以下のとおり計算される。
ｗＴ＝３２＞＞((ｙ＜＜１)＞＞シフト) （式２－２）
ｗＬ＝３２＞＞((ｘ＜＜１)＞＞シフト) （式２－３）
ｗＴＬ＝－（ｗＬ＞＞４）－（ｗＴ＞＞４） （式２－４）
シフト＝（ｌｏｇ２（幅）＋ｌｏｇ２（高さ）＋２）＞＞２ （式２－５）
【0062】
図７は、ＤＣモードＰＤＰＣが１つの４×４ブロック内の（０，０）及び（１，０）の位置に対して重み付け（ｗＬ、ｗＴ、ｗＴＬ）を行うダイアグラム７００を示す。ＰＤＰＣがＤＣイントラモード、平面イントラモード、水平イントラモード及び垂直イントラモードに適用されれば、例えばＨＥＶＣ ＤＣモード境界フィルタ又は水平／垂直モードエッジフィルタなどの追加の境界フィルタは必要ではない。図７は、右上の対角モードに適用されるＰＤＰＣの参照サンプルＲｘ，－１、Ｒ－１，ｙ及びＲ－１，－１の定義を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。参照サンプルＲｘ，－１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１で与えられ、参照サンプルＲ－１，ｙの座標ｙは同様に、ｙ＝ｘ’＋ｙ’＋１で与えられる。
【0063】
図８は、局所照明補償（ＬＩＣ）ダイアグラム８００を示し、照明変化の線形モデルに基づいており、スケーリング係数ａ及びオフセットｂを使用する。そして、インターモードでコード化されたコーディングユニット（ＣＵ）のそれぞれに対して、適応的に有効又は無効になる。
【0064】
ＬＩＣがＣＵに適用される場合、最小二乗誤差法を使用して、現在ＣＵの隣接するサンプルとそれらの対応する参照サンプルを使用してパラメータａ及びｂを導出する。より具体的には、図８に示すように、ＣＵのサブサンプリング（２：１サブサンプリング）された隣接するサンプル及び参照ピクチャ内の（現在ＣＵ又はサブＣＵの動き情報によって識別される）対応するサンプルが使用される。ＩＣパラメータは、導出され、予測方向ごとに別々に適用される。
【0065】
ＣＵがマージモードでコード化される場合、マージモードでの動き情報のコピーと同様の方法でＬＩＣフラグが隣接するブロックからコピーされ、それ以外の場合、ＬＩＣが適用されるか否かを示すＬＩＣフラグがＣＵにシグナリングされる。
【0066】
図９Ａは、ＨＥＶＣで使用されるイントラ予測モード９００を示す。ＨＥＶＣには、合計３５個のイントラ予測モードがあり、そのうち、モード１０は水平モードであり、モード２６は垂直モードであり、モード２、モード１８及びモード３４は対角モードである。イントラ予測モードは、３つの最確モード（ＭＰＭ）と残りの３２個のモードによってシグナリングされる。
【0067】
図９Ｂは、ＶＶＣの実施形態では合計８７個のイントラ予測モードがあることを示し、ここで、モード１８が水平モードであり、モード５０が垂直モードであり、モード２、モード３４及びモード６６が対角モードである。モード－１～－１０及びモード６７～７６は、広角イントラ予測（ＷＡＩＰ）モードと呼ばれる。
【0068】
ＰＤＰＣ式に従って、イントラ予測モード（ＤＣ、平面、角度）及び参照サンプルの線形組み合わせを使用して位置（ｘ，ｙ）にある予測サンプルｐｒｅｄ（ｘ，ｙ）を予測する。
【0069】
ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１－ｗＴＬ×Ｒ－１，－１＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ、現在サンプル（ｘ，ｙ）の上部と左側に位置する参照サンプルを表し、Ｒ－１，－１は、現在ブロックの左上隅に位置する参照サンプルを表す。
ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ、現在サンプル（ｘ，ｙ）の上部と左側に位置する参照サンプルを表し、Ｒ－１，－１は、現在ブロックの左上隅に位置する参照サンプルを表す。
【0070】
ＤＣモードの場合、幅及び高さの寸法を持つブロックに対して、重み付けを以下のとおり計算する。
【0071】
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ），ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ），ｗＴＬ＝（ｗＬ＞＞４）＋（ｗＴ＞＞４）
ここで、ｎＳｃａｌｅ＝（ｌｏｇ２（幅）－２＋ｌｏｇ２（高さ）－２＋２）＞＞２、ｗＴは、同じ水平座標を持つ上記参照ラインに位置する参照サンプルの重み付け係数を表し、ｗＬは、同じ垂直座標を持つ左側参照ラインに位置する参照サンプルの重み付け係数を表し、ｗＴＬは、現在ブロックの左上の参照サンプルの重み付け係数を表し、ｎＳｃａｌｅは、軸に沿って重み付け係数が減少する（ｗＬが左から右に減少するか、ｗＴが上から下に減少する）速度、つまり重み付け係数の減少率を指定し、現在の設計では、該重み付け係数の減少率は、Ｘ軸（左から右へ）とＹ軸（上から下へ）に沿って同様である。そして、３２は、隣接するサンプルの初期重み付け係数を表し、初期重み付け係数は、現在ＣＢの左上のサンプルに割り当てられた上部（左又は左上）の重み付けでもあり、ＰＤＰＣプロセスにおける隣接するサンプルの重み付け係数は、この初期重み付け係数以下である必要がある。
ここで、ｎＳｃａｌｅ＝（ｌｏｇ２（幅）－２＋ｌｏｇ２（高さ）－２＋２）＞＞２、ｗＴは、同じ水平座標を持つ上記参照ラインに位置する参照サンプルの重み付け係数を表し、ｗＬは、同じ垂直座標を持つ左側参照ラインに位置する参照サンプルの重み付け係数を表し、ｗＴＬは、現在ブロックの左上の参照サンプルの重み付け係数を表し、ｎＳｃａｌｅは、軸に沿って重み付け係数が減少する（ｗＬが左から右に減少するか、ｗＴが上から下に減少する）速度、つまり重み付け係数の減少率を指定し、現在の設計では、該重み付け係数の減少率は、Ｘ軸（左から右へ）とＹ軸（上から下へ）に沿って同様である。そして、３２は、隣接するサンプルの初期重み付け係数を表し、初期重み付け係数は、現在ＣＢの左上のサンプルに割り当てられた上部（左又は左上）の重み付けでもあり、ＰＤＰＣプロセスにおける隣接するサンプルの重み付け係数は、この初期重み付け係数以下である必要がある。
【0072】
平面モードの場合、ｗＴＬ＝０、水平モードの場合、ｗＴＬ＝ｗＴ、垂直モードの場合、ｗＴＬ＝ｗＬである。ＰＤＰＣの重み付けは、加算とシフトのみで計算することができる。式１を使用して１つのステップでｐｒｅｄ（ｘ，ｙ）の値を計算することができる。
【0073】
図１０は、無指向性メディアアプリケーションフォーマット（ＯＭＡＦ）で記載される３６０度仮想現実（ＶＲ３６０）ストリーミングを可能にし得るＯＭＡＦにおける例示的な視点依存処理の簡略化されたブロックスタイルのワークフローダイアグラム１０００を示す。
【0074】
取得ブロック１００１では、画像データがＶＲ３６０内のシーンを表すことができる場合、同じ時間インスタンスの複数の画像及びオーディオのデータなどのビデオデータＡを取得する。処理ブロック１００３では、スティッチング、１つ以上の仮想現実（ＶＲ）角度又は他の角度／視点に関して投影されたピクチャへのマッピング、及び領域ごとのパッキングのうちの１つ以上によって同じ時間インスタンスの画像Ｂｉを処理する。更に、プロセスの配信及びレンダリングを支援するために、このような処理された情報及び他の情報のいずれかを示すメタデータを作成することができる。
【0075】
データＤに関しては、画像エンコーディングブロック１００５では、投影されたピクチャをデータＥｉにエンコードし、視点に依存しないストリーミングでメディアファイルとして構成し、ビデオエンコーディングブロック１００４では、ビデオピクチャを例えば単層ビットストリームとしてのデータＥｖとしてエンコードし、データＢａに関しては、オーディオエンコーディングブロック１００２では、オーディオデータをデータＥａにエンコードすることもできる。
【0076】
データＥａ、Ｅｖ及びＥｉ、全体のコード化ビットストリームＦｉ及び／又はＦを、（コンテンツ配信ネットワーク（ＣＤＮ）／クラウド）サーバに記憶することができ、通常、配信ブロック１００７などでは、ＯＭＡＦプレーヤー１０２０に完全に送信することができ、そして、頭部／目追跡ブロック１００８からの、ユーザがＶＲ画像装置を通して該装置の視点仕様に対して見ている角度などの様々なメタデータ、ファイル再生、向き／視点メタデータに関して、現在視点に対応するデコードピクチャの少なくとも１つのエリアが表示ブロック１０１６でユーザにレンダリングされるように、デコーダによって完全にデコードすることができる。ＶＲ３６０の目立った特徴は、任意の特定の時点で１つの視点のみを表示できることであり、このような特徴は、ユーザの視点（又は、推奨視点のタイムドメタデータなどの他の任意の基準）に応じて選択的に配信することで、無指向性ビデオシステムの性能を向上させるために利用することができる。例えば、例示的な実施形態によれば、視点依存の配信は、タイルベースのビデオコーディングによって有効にすることができる。
【0077】
上述したエンコーディングブロックと同様に、例示的な実施形態に係るＯＭＡＦプレーヤー１０２０は、同様に、１つ以上のデータＦ’及び／又はＦ’ｉ及びメタデータのファイル／セグメントのカプセル化解除に関してこのようなエンコーディングの１つ以上の側面を逆にし、オーディオデコーディングブロック１０１０でオーディオデータＥ’ｉを、ビデオデコーディングブロック１０１３でビデオデータＥ’ｖを、画像デコーディングブロック１０１４で画像データＥ’ｉをデコードして、オーディオレンダリングブロック１０１１でデータＢ’ａのオーディオレンダリングを進め、画像レンダリングブロック１０１５でデータＤ’の画像レンダリングを進め、それにより、向き／視点メタデータなどの様々なメタデータに従うＶＲ３６０形式で、表示ブロック１０１６で表示データＡ’ｉを、ラウドスピーカ／ヘッドフォンロック１０１２でオーディオデータＡ’ｓを出力することができる。様々なメタデータは、ＯＭＡＦプレーヤー１０２０のユーザによって又はＯＭＡＦプレーヤー１０２０のユーザのために選択され得る様々なトラック、言語、品質、ビューに応じて、データのデコーディング及びレンダリングプロセスのうちの１つに影響を及ぼし得る。本明細書に記載される処理の順序は、例示的な実施形態のために示され、処理が他の例示的な実施形態に従って他の順序で実施され得ることを理解されたい。
【0078】
図１１は、６自由度メディアの撮影／生成／（デコード）コーディング／レンダリング／表示に関して点群データ（本明細書では「Ｖ－ＰＣＣ」）のビュー位置及び角度依存処理を有する（コード化）点群データの簡略化されたブロックスタイルのコンテンツフロープロセスダイアグラム１１００を示す。記載される特徴は、別々に使用されてもよく、任意の順序で組み合わせて使用されてもよく、図示される要素のうち、特にエンコーディング及びデコーディングのための要素は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施することができ、１つ以上のプロセッサは、例示的な実施形態に係る非一時的なコンピュータ可読媒体に記憶されるプログラムを実行することができることを理解されたい。
【0079】
ダイアグラム１１００は、Ｖ－ＰＣＣに従ってコード化点群データをストリーミングする例示的な実施形態を示す。
【0080】
ボリュームデータ取得ブロック１１０１では、現実世界の視覚シーン又はコンピュータ生成の視覚シーン（又はそれらの組み合わせ）を、１組のカメラ装置によって撮影するか、又はコンピュータによってボリュームデータとして合成することができ、任意の形式を有し得るボリュームデータを、点群への変換ブロック１１０２で画像処理を通じて、（量子化された）点群データ形式に変換することができる。例えば、例示的な実施形態によれば、ボリュームデータからのデータは、ボリュームデータ及び任意の関連データから以下に記載される値のうちの１つ以上を所望の点群形式に引くことによって点群の点のうちのいくつかの点に変換されたエリアデータごとのエリアデータであってもよい。例示的な実施形態によれば、ボリュームデータは、例えば、３Ｄデータセットの２Ｄ投影が行われ得るスライスなどの、２Ｄ画像の３Ｄデータセットであってもよい。例示的な実施形態によれば、点群データ形式は、１つ以上の様々な空間内のデータ点の表現を含み、ボリュームデータを表現するために使用することができ、サンプリング及びデータ圧縮に関して、例えば時間的冗長性に関して改善を与えることができ、例えば、ｘ、ｙ、ｚ形式の点群データは、点群データの複数の点のそれぞれで、色の値（例えば、ＲＧＢ）、輝度、強度などを表し、プログレッシブデコーディング、ポリゴンメッシュ、ダイレクトレンダリング、２Ｄ四分木データの八分木３Ｄ表現とともに使用することができる。
【0081】
画像への投影ブロック１１０３では、取得された点群データを２Ｄ画像に投影し、ビデオベースの点群コーディング（Ｖ－ＰＣＣ）を用いて画像／ビデオピクチャとしてエンコードすることができる。投影された点群データは、属性と、ジオメトリと、占有マップと、画家のアルゴリズム、レイキャスティングアルゴリズム、（３Ｄ）バイナリ空間分割アルゴリズムなどによる点群データの再構築に使用される他のメタデータとで構成されてもよい。
【0082】
一方、シーンジェネレータブロック１１０９では、シーンジェネレータは、例えば監督の意向又はユーザの好みによって、６自由度（ＤｏＦ）メディアのレンダリング及び表示に使用されるいくつかのメタデータを生成することができる。このような６ＤｏＦメディアは、点群コード化データ内に又は少なくとも点群コード化データに従って仮想体験に関して前後、上下及び左右に移動することを可能にする追加の次元に加えて、３Ｄ軸Ｘ、Ｙ、Ｚ上の回転変化によるシーンの３Ｄ視聴のような３６０ＶＲを含んでもよい。シーン記述メタデータは、コード化点群データと、ＶＲ３６０、ライトフィールド、オーディオなどを含む他のメディアデータとで構成された１つ以上のシーンを定義し、図１１及び関連する記述に示されるように、１つ以上のクラウドサーバ及び／又はファイル／セグメントのカプセル化／カプセル化解除処理に提供することができる。
【0083】
このような記述が例示的な実施形態を表すとき、上述したビデオ及び画像のエンコーディングと同様（理解されるように、オーディオエンコーディングも上述したように提供され得る）のビデオエンコーディングブロック１１０４及び画像エンコーディングブロック１１０５の後、ファイル／セグメントカプセル化ブロック１１０６では、コード化点群データを、１つ以上のビデオコンテナ形式などの特定のメディアコンテナファイル形式に従って、ファイル再生用のメディアファイル、又はストリーミング用の初期化セグメントとメディアセグメントのシーケンスとして構成し、とりわけ、以下に記載されるＤＡＳＨに関して使用できるように、処理を行う。ファイルコンテナは、シーンジェネレータブロック１１０９などからのシーン記述メタデータをファイル又はセグメントに含めることもできる。
【0084】
例示的な実施形態によれば、ファイルは、ユーザ又は作成者の入力に応じて要求に基づいて送信されるように、シーン記述メタデータに応じて、６ＤｏＦメディアのうち、少なくとも１つのビュー位置と、その／それらのビュー位置での少なくとも１つ以上の角度ビューを１回以上含んでカプセル化される。更に、例示的な実施形態によれば、このようなファイルのセグメントは、単一の視点及びそれでの角度を１回以上示す６ＤｏＦメディアの一部など、このようなファイルの１つ以上の部分を含んでもよいが、これらは、例示的な実施形態に過ぎず、ネットワーク、ユーザ、作成者の能力及び入力などの様々な条件に応じて変更されてもよい。
【0085】
例示的な実施形態によれば、点群データを、ビデオエンコーディングブロック１１０４及び画像エンコーディングブロック１１０５のうちの１つ以上などで独立してコード化される複数の２Ｄ／３Ｄ領域に分割する。次に、ファイル／セグメントカプセル化ブロック１１０６では、点群データの独立コード化されたパーティションのそれぞれをファイル及び／又はセグメント内のトラックとしてカプセル化することができる。例示的な実施形態によれば、各点群トラック及び／又はメタデータトラックは、ビュー位置／角度依存処理に有用ないくつかのメタデータを含んでもよい。
【0086】
例示的な実施形態によれば、ファイル／セグメントカプセル化ブロックに関してカプセル化されたファイル及び／又はセグメントに含まれるメタデータなど、ビュー位置／角度依存処理に有用なメタデータは、インデックス付きの２Ｄ／３Ｄパーティションのレイアウト情報、３Ｄボリュームパーティションを１つ以上の２Ｄパーティション（例えば、タイル／タイルグループ／スライス／サブピクチャのいずれか）と関連する（動的）マッピング情報、６ＤｏＦ座標系上の各３Ｄパーティションの３Ｄ位置、代表的なビュー位置／角度リスト、３Ｄボリュームパーティションに対応する選択されたビュー位置／角度リスト、選択されたビュー位置／角度に対応する２Ｄ／３Ｄパーティションのインデックス、各２Ｄ／３Ｄパーティションの品質（ランク）情報、例えば各ビュー位置／角度に応じた各２Ｄ／３Ｄパーティションのレンダリング情報のうちの１つ以上を含む。Ｖ－ＰＣＣプレーヤーのユーザによって要求される場合又はＶ－ＰＣＣプレーヤーのユーザ向けのコンテンツ作成者によって指示される場合、このようなメタデータを呼び出すと、このようなメタデータに関して望ましい６ＤｏＦメディアの特定の部分に対するより効率的な処理を可能にすることができ、それにより、Ｖ－ＰＣＣプレーヤーは、６ＤｏＦメディアの未使用の部分を配信するのではなく、そのメディアの特定の部分に焦点を当てて他の部分より高品質の画像を配信することができる。
【0087】
例えば、クラウドサーバブロック１１０７では、ファイル／セグメントカプセル化ブロック１１０６から、（例えば、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）による）配信メカニズムを使用して、ファイル又は該ファイルの１つ以上のセグメントをＶ－ＰＣＣプレーヤー１１２５及びクラウドサーバのいずれかに直接的に配信することができ、クラウドサーバブロック１１０７では、クラウドサーバがファイルから１つ以上のトラック及び／又は１つ以上の特定の２Ｄ／３Ｄパーティションを抽出することができ、複数のコード化点群データを１つのデータにマージすることができる。
【0088】
位置／視野角追跡ブロック１１０８などのデータによれば、現在の視野位置及び角度がクライアントシステムにおいて６ＤｏＦ座標系で定義される場合、クラウドサーバブロック１１０７では、ビュー位置／角度メタデータを、ファイル／セグメントカプセル化ブロック１１０６から配信するか又は他の方法でクラウドサーバに既にあるファイル又はセグメントから処理することができ、それにより、クラウドサーバは、ストアファイルから適切なパーティションを抽出し、例えばＶ－ＰＣＣプレーヤー１１２５を有するクライアントシステムからのメタデータに応じて、それらを（必要に応じて）マージすることができ、抽出されたデータは、ファイル又はセグメントとしてクライアントに配信することができる。
【0089】
このようなデータに関して、ファイル／セグメントカプセル化解除ブロック１１１５では、ファイルカプセル化解除器は、ファイル又は受信されたセグメントを処理し、コード化ビットストリームを抽出し、メタデータを構文解析し、次に、コード化点群データをビデオデコーディングブロック及び画像デコーディングブロックでデコードして点群再構築ブロック１１１２で点群データを再構築し、再構築された点群データを、表示ブロック１１１４で表示することができ、及び／又は、シーンジェネレータブロック１１０９に従ってシーン記述データに関してシーン構成ブロック１１１３で１つ以上の様々なシーン記述に応じて最初に構成することができる。
【0090】
上記を考慮すると、このような例示的なＶ－ＰＣＣフローは、Ｖ－ＰＣＣ規格に対する利点を表し、該Ｖ－ＰＣＣ規格は、記載された複数の２Ｄ／３Ｄエリアに対するパーティショニング能力と、単一の整合コード化ビデオビットストリームへのコード化２Ｄ／３Ｄパーティションの圧縮ドメインアセンブリの能力と、整合コード化ビットストリームへのコード化ピクチャのコード化２Ｄ／３Ｄのビットストリーム抽出能力とのうちの１つ以上を含み、このようなＶ－ＰＣＣシステムのサポートは、上述したメタデータのうちの１つ以上を運ぶメタデータを含むメカニズムをサポートするＶＶＣビットストリーム用のコンテナ形成を含めることによって更に改善される。
【0091】
この観点から、また以下で更に記載される例示的な実施形態によれば、「メッシュ」という用語は、ボリュームオブジェクトの表面を記載する１つ以上のポリゴンの構成を示す。各ポリゴンは、３Ｄ空間内の頂点と、接続性情報と呼ばれる、頂点がどのように接続されるかの情報とによって定義される。任意選択で、色、法線などの頂点属性をメッシュ頂点に関連付けることができる。２Ｄ属性マップ内のメッシュをパラメータ化するマッピング情報を利用することにより、属性をメッシュの表面に関連付けることもできる。このようなマッピングは、メッシュ頂点に関連付けられた、ＵＶ座標又はテクスチャ座標と呼ばれるパラメトリック座標のセットによって記述することができる。２Ｄ属性マップは、テクスチャ、法線、変位などの高解像度属性情報を記憶するために使用される。例示的な実施形態によれば、このような情報は、テクスチャマッピング、シェーディングなどの様々な目的に使用することができる。
【0092】
それにもかかわらず、動的メッシュシーケンスは、経時的に変化する大量の情報で構成される可能性があるため、大量のデータを必要とする可能性がある。したがって、このようなコンテンツを記憶し送信するには、効率的な圧縮技術が必要である。ＩＣ、ＭＥＳＨＧＲＩＤ及びＦＡＭＣなどのメッシュ圧縮規格は、常時接続性、時変ジオメトリ及び頂点属性を有する動的メッシュに対処するようにＭＰＥＧによって以前に開発された。しかしながら、これらの規格では、時変属性マップ及び接続性情報が考慮されていない。通常、ＤＣＣ（デジタルコンテンツ作成）ツールは、このような動的メッシュを生成する。一方、特にリアルタイムの制約の下で常時接続性動的メッシュを生成することは、ボリューム取得技術にとって困難である。このタイプのコンテンツは、既存の規格ではサポートされない。本明細書の例示的な実施形態によれば、時変接続性情報及び任意選択で時変属性マップを有する動的メッシュを直接的に処理する新しいメッシュ圧縮規格の側面を記載し、この規格は、リアルタイム通信、ストレージ、自由視点ビデオ、ＡＲ、ＶＲなどの様々な用途向けの非可逆圧縮及び可逆圧縮を対象とする。ランダムアクセス及びスケーラブル／プログレッシブコーディングなどの機能性も考えられる。
【0093】
図１２は、２Ｄアトラスサンプリングベースの方法などの１つの動的メッシュ圧縮の例示的なフレームワーク１２００を表す。入力メッシュ１２０１の各フレームは、追跡、再メッシュ化、パラメータ化、ボクセル化などの一連の動作によって前処理することができる。なお、これらの動作は、エンコーダのみによって行われてもよく、デコーディングプロセスの一部ではない可能性があることを意味し、このような可能性は、例えば、エンコーダのみの場合に０、その他の場合に１を示すフラグによってメタデータ内でシグナリングすることができる。その後、２Ｄ ＵＶアトラスを有するメッシュ１２０２を取得することができ、メッシュの各頂点は、２Ｄアトラスにおいて１つ以上の関連するＵＶ座標を有する。次に、２Ｄアトラスにおいてサンプリングすることによって、メッシュを、ジオメトリマップ及び属性マップを含む複数のマップに変換することができる。次に、これらの２Ｄマップを、ＨＥＶＣ、ＶＶＣ、ＡＶ１、ＡＶＳ３などのビデオ／画像コーデックによってコード化することができる。デコーダ１２０３側では、デコードされた２Ｄマップからメッシュを再構築することができる。任意の後処理及びフィルタリングは、再構築メッシュ１２０４に適用することもできる。なお、３Ｄメッシュ再構築の目的で、他のメタデータをデコーダ側にシグナリングする可能性がある。なお、境界頂点のｕｖ座標及びｘｙｚ座標を含むチャート境界情報をビットストリーム内で予測、量子化、エントロピーコーディング化することができる。量子化ステップサイズは、品質とビットレートとの間でトレードオフするようにエンコーダ側で設定することができる。
【0094】
いくつかの実施形態では、３Ｄメッシュをいくつかのセグメント（又はパッチ／チャート）に分割することができ、例示的な実施形態によれば、１つ以上の３Ｄメッシュセグメントが「３Ｄメッシュ」であると考えられてもよい。各セグメントは、ジオメトリ、属性及び接続性情報と関連している、接続された頂点のセットで構成される。図１３の例１３００に示すように、３Ｄメッシュセグメントから上述した２Ｄ ＵＶアトラス１２０２ブロックなどの２ＤチャートへのマッピングのＵＶパラメータ化プロセス１３０２では、１つ以上のメッシュセグメント１３０１を２Ｄ ＵＶアトラス１３０４内の２Ｄチャート１３０３にマッピングする。メッシュセグメント内の各頂点（ｖｎ）には、２Ｄ ＵＶアトラス内の２Ｄ ＵＶ座標が割り当てられる。なお、２Ｄチャート内の頂点（ｖｎ）は、それらの対応する３Ｄチャートの接続成分を形成する。各頂点のジオメトリ、属性、接続性情報は、それらの対応する３Ｄ頂点から受け継ぐこともできる。例えば、頂点ｖ４が頂点ｖ０、ｖ５、ｖ１、ｖ３に直接的に接続されるという情報を示すことができ、他の各頂点の情報も同様に示すことができる。更に、例示的な実施形態によれば、このような２Ｄテクスチャメッシュは更に、パッチごとに、例えば１つの「パッチ」としての各三角形（ｖ２、ｖ５、ｖ３）のパッチごとに、色情報などの情報を示し、図１６の例１６００の少なくともＵＶパラメトリック特徴に関して示され、２Ｄチャートにおける境界頂点の図を示す図１７の例１７００も参照されたい。
【0095】
例えば、図１３の例１３００の特徴に加えて、３Ｄメッシュセグメント１３０１を複数の別個の２Ｄチャート１４０１及び１４０２にマッピングすることもできる図１４の例１４００を参照されたい。この場合、３Ｄの頂点は、２Ｄ ＵＶアトラスの複数の頂点に対応してもよい。図１４に示すように、２Ｄ ＵＶアトラスでは、同じ３Ｄメッシュセグメントは、図１３のような単一のチャートではなく、複数の２Ｄチャートにマッピングされる。例えば、３Ｄ頂点ｖ１とｖ４はそれぞれ、２つの２Ｄ対応関係ｖ１、ｖ１’とｖ４、ｖ４’を有する。そのため、各チャートが３Ｄジオメトリ、属性及び接続性情報と関連している複数（通常は３つ以上）の頂点を含んでもよい図１４に示すように、３Ｄメッシュの通常の２Ｄ ＵＶアトラスは、複数のチャートで構成されてもよい。
【0096】
図１５は、境界頂点Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７を有するチャート内の導出された三角形分割を示す例１５００を示す。このような情報が提供されると、任意の三角形分割方法を適用して、頂点（境界頂点及びサンプリングされた頂点を含む）間の接続性を作成することができる。例えば、各頂点について、最も近い２つの頂点を見つける。或いは、全ての頂点について、設定された回数の試行後に最小数の三角形に達するまで継続的に三角形を生成する。例１５００に示すように、様々な規則的な形状の繰り返した三角形と様々な異形三角形があり、異形三角形は、通常、境界頂点に最も近く、他の任意の三角形と同じであっても同じでなくてもよい独自の固有の寸法を有する。接続性情報は、明示的なシグナリングによって再構築することもできる。例示的な実施形態によれば、ポリゴンが暗黙のルールによって復元できない場合、エンコーダは、ビットストリーム内で接続性情報をシグナリングすることができる。
【0097】
上述したパッチを見ると、例１５００は、例えば、図１４及び１５のいずれかに示される頂点ｖ３、ｖ２、ｖ５で形成されるパッチのようなパッチを表すことができる。
【0098】
境界頂点Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７は、２Ｄ ＵＶ空間で定義される。図１５に示すように、黒丸の頂点は、接続成分（パッチ／チャート）の境界エッジ上にあるため、境界頂点となる。境界エッジは、エッジが１つの三角形にのみ現れるか否かを確認することで決定することができる。例示的な実施形態によれば、ジオメトリ情報、例えば、現在２Ｄ ＵＶパラメトリック形式の３Ｄ ＸＹＺ座標、及び２Ｄ ＵＶ座標という境界頂点の情報は重要であり、ビットストリームでシグナリングされるべきである。
【0099】
例えば、図１４に示すように、３Ｄの境界頂点が２Ｄ ＵＶアトラスの複数の頂点に対応する場合、３Ｄ ＸＵＺから２Ｄ ＵＶへのマッピングは１対複数にすることができる。したがって、マッピング関数を示すＵＶ－ｔｏ－ＸＹＺ（又はＵＶ２ＸＹＺと呼ばれる）インデックスをシグナリングすることができる。ＵＶ２ＸＹＺは、各２Ｄ ＵＶ頂点を３Ｄ ＸＹＺ頂点に対応させるインデックスの１Ｄ配列であってもよい。
【0100】
例示的な実施形態によれば、メッシュ信号を効率的に表現するために、メッシュ頂点間の接続性情報とともにメッシュ頂点のサブセットを最初にコード化することができる。元のメッシュでは、これらの頂点間の接続は、元のメッシュからサブサンプリングされるため、存在しない可能性がある。頂点間の接続性情報をシグナリングするには様々な方法があるため、このようなサブセットは、ベースメッシュ又はベース頂点と呼ばれる。
【0101】
しかしながら、他の頂点は、既にデコードされた２つ以上のメッシュ頂点間に補間を適用することによって予測することができる。予測子頂点は、接続された２つの既存の頂点のエッジに沿ったジオメトリ位置を有するため、予測子のジオメトリ情報は、隣接するデコードされた頂点に基づいて計算することができる。いくつかの場合では、コード化される頂点から頂点予測子までの変位ベクトル又は予測誤差が更にコード化される必要がある。例えば、図１８の例１８００を参照すると、このようなエッジベースの頂点予測の例を示し、より具体的には、左側に示す、三角形を平行四辺形に拡張することによる外挿と、右側に示す、２つの既存の頂点の加重平均による補間とによるイントラ予測を使用した頂点ジオメトリ予測を示す。ベース頂点（すなわち、図１８の左側の実線三角形１８０１）のデコーディング後、これらのベース頂点の間の補間を、接続されたエッジに沿って行うことができる。例えば、各エッジの中点を予測子として生成することができる。したがって、これらの補間された点のジオメトリ位置は、２つの隣接するデコードされた頂点の（重み付けされた）平均である（図１８の左側の点線１８０２）。すでにデコードされた２つの頂点の間に複数の中間点がある場合も、同様の方法で実行することができる。したがって、コード化される実際の頂点は、変位ベクトルを予測子に追加することによって再構築することができる（図７の中部）。これらの追加の頂点をデコーディングした後も、新しくデコードされた頂点と既存のベース頂点との接続は維持される。また、新しくデコードされた頂点間の接続を更に確立することができる。これらの新しくデコードされた頂点１８０３とベース頂点を一緒に接続することによって、ベース頂点とともに新しいエッジに沿ってより多くの中間頂点予測子を生成することができる（図７の右側）。したがって、より多くのデコードされる実際の頂点は、関連する変位ベクトルとともに存在する。
【0102】
例示的な実施形態によれば、メッシュフレーム１９０２のメッシュ頂点は、予めコード化されたメッシュフレーム１９０１のデコードされた頂点から予測することもできる。この予測メカニズムは、インター予測と呼ばれる。メッシュジオメトリインター予測の例は、インター予測を使用した頂点ジオメトリ予測を示す図１９の例１９００に示される（以前のメッシュフレームの頂点が現在フレームの頂点の予測子となる）。いくつかの場合では、コード化される頂点から頂点予測子までの変位ベクトル又は予測誤差が更にコード化される必要がある。
【0103】
例示的な実施形態によれば、複数の方法は、動的メッシュ圧縮のために実施され、上述したエッジベースの頂点予測フレームワークの一部であり、まず、ベースメッシュをコード化し、次に、ベースメッシュのエッジからの接続性情報に基づいてより多くの追加の頂点を予測する。なお、これらは個別に又は任意の組み合わせで適用することができる。
【0104】
例えば、図２０の予測モードの頂点グループ化の例示的なフローチャート２０００を考える。例えば図１５を参照して、メッシュ内の頂点を、Ｓ２０１において取得し、Ｓ２０２において予測目的で異なるグループに分割することができる。一例では、分割を、上述したように、Ｓ２０４におけるパッチ／チャートパーティショニングを使用して行う。別の例では、分割を各パッチ／チャートパーティショニングＳ２０５において行う。Ｓ２０４に進むかＳ２０５に進むかについての決定Ｓ２０３を、フラグなどによってシグナリングすることができる。Ｓ２０５の場合、同じパッチ／チャートのいくつかの頂点は、予測グループを形成し、同じ予測モードを共有するが、同じパッチ／チャートの他のいくつかの頂点は、別の予測モードを使用することができる。本明細書において、「予測モード」は、デコーダがパッチを含むビデオコンテンツの予測を行うために使用する特定のモードであると考えることができ、予測モードは、イントラ予測モードとインター予測モードにカテゴリ的に分割することができ、各カテゴリ内で、デコーダが選択する異なる特定のモードが存在する可能性がある。例示的な実施形態によれば、各グループでは、「本明細書における予測グループ」は、同じ特定のモード（例えば、特定の角度での角度モード）又は同じカテゴリカル予測モード（例えば、全てがイントラ予測モードであるが、異なる角度で予測できる）を共有するグループであってもよい。Ｓ２０６におけるこのようなグループ化は、グループごとに関与する頂点のそれぞれの数を決定することによって、異なるレベルで割り当てることができる。例示的な実施形態によれば、例えば、パッチ／チャート内のスキャン順序に続く６４個、３２個又は１６個の頂点ごとに、同じ予測モードを割り当て、他の頂点に、異なる予測モードを割り当ててもよい。各グループについて、予測モードは、イントラ予測モードであっても、インター予測モードであってもよい。これをシグナリングするか又は割り当てることができる。例示的なフローチャート２０００によれば、Ｓ２０７において例えばメッシュフレーム又はメッシュスライスのフラグがイントラタイプを示すか否かを確認することによって、そのメッシュフレーム又はメッシュスライスがイントラタイプであると決定されれば、そのメッシュフレーム又はメッシュスライス内の頂点の全てのグループは、イントラ予測モードを使用する必要があり、そうでなければ、Ｓ２０８において、そのメッシュフレーム又はメッシュスライス内の全ての頂点のグループごとにイントラ予測モード又はインター予測モードのいずれかを選択することができる。
【0105】
更に、メッシュ頂点のグループがイントラ予測モードを使用する場合、その頂点は、現在メッシュの同じサブパーティション内の予めコード化された頂点を使用することによってのみ予測することができる。例示的な実施形態によれば、サブパーティションは、場合によっては、現在メッシュ自体であってもよく、メッシュ頂点のグループがインター予測モードを使用する場合、その頂点は、例示的な実施形態によれば、別のメッシュフレームからの予めコード化された頂点を使用することによってのみ予測することができる。上述した情報のそれぞれを決定し、フラグなどによってシグナリングすることができる。上記予測特徴は、Ｓ２１０において発生し、上記予測の結果及びシグナリングは、Ｓ２１１において発生することができる。
【0106】
例示的な実施形態によれば、例示的なフローチャート２０００及び以下に記載されるフローチャート２１００における頂点のグループ内の頂点のそれぞれについて、予測後、残差は、３Ｄ変位ベクトルとなり、現在頂点からその予測子へのシフトを示す。頂点のグループの残差は、更に圧縮される必要がある。一例では、Ｓ２１１における変換は、そのシグナリングとともに、エントロピーコーディングの前に頂点グループの残差に適用することができる。以下の方法は、変位ベクトルのグループのコーディングを処理するために実施することができる。例えば、１つの方法では、変位ベクトルのグループ、一部の変位ベクトル又はその成分がゼロ値のみを有する状況を適切にシグナリングする。別の実施形態では、各変位ベクトルが非ゼロ成分を有するか否かについてのフラグをシグナリングし、有さなければ、この変位ベクトルの全ての成分のコーディングをスキップすることができる。更に、別の実施形態では、変位ベクトルの各グループが非ゼロベクトルを有するか否かについてのフラグをシグナリングし、有さなければ、このグループ内の全ての変位ベクトルのコーディングをスキップすることができる。更に、別の実施形態では、変位ベクトルの各グループの各成分が非ゼロベクトルを有するか否かについてのフラグをシグナリングし、有さなければ、このグループ内の全ての変位ベクトルのこの成分のコーディングをスキップすることができる。更に、別の実施形態では、変位ベクトルのグループ又はこの変位ベクトルのグループの成分に変換を行う必要がある状況をシグナリングする可能性があり、必要がなければ、変換をスキップし、量子化／エントロピーコーディングをこのグループ又はこのグループの成分に直接的に適用することができる。更に、別の実施形態では、変位ベクトルの各グループに変換を行う必要があるか否かについてのフラグをシグナリングすることができ、必要がなければ、このグループ内の全ての変位ベクトルの変換コーディングをスキップすることができる。更に、別の実施形態では、変位ベクトルの各グループの各成分に変換を行う必要があるか否かについてのフラグをシグナリングし、必要がなければ、このグループ内の全ての変位ベクトルのこの成分の変換コーディングをスキップすることができる。頂点予測残差の処理に関するこの段落の上述した実施形態は、組み合わせて、それぞれ異なるパッチ上で並行して実施することもできる。
【0107】
図２１は、例示的なフローチャート２１００を示し、Ｓ２２１において、データユニット全体としてコード化されたメッシュフレームを取得することができ、これは、メッシュフレームの全ての頂点又は属性がそれらの間に相関関係を有し得ることを意味する。或いは、Ｓ２２２における決定に応じて、Ｓ２２３において、メッシュフレームを、２Ｄビデオ又は画像のスライス又はタイルと概念が似た、より小さな独立したサブパーティションに分割することができる。Ｓ２２４において、コード化メッシュフレーム又はコード化メッシュサブパーティションには、予測タイプを割り当てることができる。可能な予測タイプは、イントラコード化タイプ及びインターコード化タイプを含む。イントラコード化タイプの場合、Ｓ２２５において、同じフレーム又はスライスの再構築された部分に基づく予測のみを許可する。一方、インター予測タイプの場合、Ｓ２２５において、イントラメッシュフレーム予測に加えて、予めコード化されたメッシュフレームに基づく予測を許可する。更に、インター予測タイプは、Ｐタイプ又はＢタイプなどのより多くのサブタイプに分類することができる。Ｐタイプでは、予測目的で１つの予測子のみを使用できるが、Ｂタイプでは、予めコード化された２つのメッシュフレームからの２つの予測子を使用して予測子を生成することができる。２つの予測子の加重平均は、一例であってもよい。メッシュフレームが全体としてコード化される場合、フレームは、イントラ又はインターコード化メッシュフレームとみなすことができる。インターメッシュフレームの場合、シグナリングを介して、Ｐ又はＢタイプを更に識別することができる。或いは、メッシュフレームがフレーム内で更に分割されてコード化される場合、Ｓ２２４において、サブパーティションのそれぞれに予測タイプを割り当てる。上述した情報のそれぞれを決定し、フラグなどによってシグナリングすることができ、図２０のＳ２１０及びＳ２１１と同様に、上記予測特徴は、Ｓ２２６において発生し、上記予測の結果及びシグナリングは、Ｓ２２７において発生することができる。
【0108】
そのため、動的メッシュシーケンスは、経時的に変化する大量の情報で構成される可能性があるため、大量のデータを必要とする可能性があり、したがって、このようなコンテンツを記憶し送信するには、効率的な圧縮技術を必要とし、図２０及び２１について上述した特徴は、同じメッシュフレーム内の予めデコードされた頂点（イントラ予測）又は以前のコード化メッシュフレームからの頂点（インター予測）を使用することで少なくともメッシュ頂点の３Ｄ位置予測の改善を可能にすることによるこのような効率の向上を表す。
【0109】
更に、例示的な実施形態では、層２３０２の前の層の再構築された頂点に基づいて、層２３０２の変位ベクトルを生成することができる。現在の層２３０２のインデックスがＴであると仮定すると、層２３０３Ｔ＋１の頂点の予測子は、現在の層２３０２の再構築された頂点に基づいて生成される。このような層ベースの予測構造の例は、再構築ベースの頂点予測、即ちエッジベースの補間を使用したプログレッシブ頂点予測を示す図２３の例２３００に示され、予測子は、予測子頂点ではなく、予めデコードされた頂点に基づいて生成される。
【0110】
このような例２３００について、図２２の例示的なフローチャート２２００を参照し、現在の層上の補間された頂点が予測値であるため、このような値は、次の層上の頂点予測子を生成するために使用される前に再構築する必要がある。これは、Ｓ２３１においてベースメッシュをコード化し、Ｓ２３２において頂点予測を実施し、次にＳ２３３において現在の層のデコードされた変位ベクトルを層２３０２などの頂点の予測子に追加することによって行われる。次に、Ｓ２３５において、この層２３０３の再構築された頂点と、前の層の全てのデコードされた頂点、例えばＳ２３４において確認されたこのような層の頂点値の追加のものとを、次の層２３０３の予測子頂点を生成するために使用することができる。このプロセスは、次のように要約することもできる。Ｐ［ｔ］（Ｖｉ）が層ｔ上の頂点Ｖｉの予測子を表し、Ｒ［ｔ］（Ｖｉ）が層ｔ上の再構築された頂点Ｖｉを表し、Ｄ［ｔ］（Ｖｉ）が層ｔ上の頂点Ｖｉの変位ベクトルを表し、ｆ（＊）が予測子ジェネレータを表し、特に、既存の２つの頂点の平均を表すことができるように設定する。次に、例示的な実施形態によれば、各層ｔについて、以下の式がある。
Ｐ［ｔ］（Ｖｉ）＝ｆ（Ｒ［ｓ｜ｓ＜ｔ］（Ｖｊ），Ｒ［ｍ｜ｍ＜ｔ］（Ｖｋ））
ここで、Ｖｊ及びＶｋは、前の層の再構築された頂点である。
Ｒ［ｔ］（Ｖｉ）＝Ｐ［ｔ］（Ｖｉ）＋Ｄ［ｔ］（Ｖｉ） 式（１）
Ｐ［ｔ］（Ｖｉ）＝ｆ（Ｒ［ｓ｜ｓ＜ｔ］（Ｖｊ），Ｒ［ｍ｜ｍ＜ｔ］（Ｖｋ））
ここで、Ｖｊ及びＶｋは、前の層の再構築された頂点である。
Ｒ［ｔ］（Ｖｉ）＝Ｐ［ｔ］（Ｖｉ）＋Ｄ［ｔ］（Ｖｉ） 式（１）
【0111】
次に、１つのメッシュフレーム内の全ての頂点を層０（ベースメッシュ）、層１、層２…などに分割する。次に、１つの層上の頂点の再構築は、前の層上の頂点の再構築に依存する。上記式では、Ｐ、Ｒ、Ｄのそれぞれは、３Ｄメッシュ表現のコンテキストの下で３Ｄベクトルを表す。Ｄは、デコードされた変位ベクトルであり、量子化がこのベクトルに適用されても適用されなくてもよい。
【0112】
例示的な実施形態によれば、再構築された頂点を使用した頂点予測は、特定の層に、例えば、層０及び層１にのみ適用することができる。他の層の場合、頂点予測は、隣接する予測子頂点を再構築のために変位ベクトルを追加することなく、引き続き使用することができる。それにより、前の層を再構築するのを待たずに、これらの他の層を同時に処理することができる。例示的な実施形態によれば、各層について、再構築ベースの頂点予測を選択するか予測子ベースの頂点予測を選択するかをシグナリングすることができ、或いは、再構築ベースの頂点予測を使用しない層（及びその後続の層）をシグナリングすることができる。
【0113】
頂点予測子が再構築された頂点によって生成される変位ベクトルの場合、ウェーブレット変換などの変換を更に実行することなく量子化を適用することができる。頂点予測子が他の予測子頂点によって生成される変位ベクトルの場合、変換を必要とする可能性があり、それらの変位ベクトルの変換係数に量子化を適用することができる。
【0114】
そのため、動的メッシュシーケンスは、経時的に変化する大量の情報で構成される可能性があるため、大量のデータを必要とする可能性がある。したがって、このようなコンテンツを記憶し送信するには、効率的な圧縮技術を必要とする。上述した補間ベースの頂点予測法のフレームワークでは、変位ベクトルを圧縮することが重要な手順の一つであり、これは、コード化ビットストリームの主要な部分を占め、本開示の焦点であり、例えば、図２２の特徴は、このような圧縮を提供することによってこのような問題を軽減する。
【0115】
更に、上述した他の例と同様に、更にそれらの実施形態と同様に、動的メッシュシーケンスは、経時的に変化する大量の情報で構成される可能性があるため、それでも大量のデータを必要とする可能性があり、そのため、このようなコンテンツを記憶し送信するには、効率的な圧縮技術を必要とする。前述の２Ｄアトラスサンプリングベースの方法のフレームワークでは、重要な利点は、デコーダ側でサンプリングされた頂点と境界頂点から接続性情報を推測することによって達成することができる。これは、デコーディングプロセスの主要な部分であり、以下に記載される更なる例の焦点である。
【0116】
例示的な実施形態によれば、ベースメッシュの接続性情報は、エンコーダ側とデコーダ側の両方で、各チャートのデコードされた境界頂点とサンプリングされた頂点から推測（導出）することができる。
【0117】
同様に上述したように、任意の三角形分割方法を適用して、頂点（境界頂点及びサンプリングされた頂点を含む）間の接続性を作成することができる。図１５の例１５００及び以下で更に説明される図２５の例２５００に示す内部頂点などを使用して内部頂点のサンプリングを行っていないチャートに対しても、同様の接続性作成方法が適用されるが、例示的な実施形態によれば、境界頂点とサンプリングされた頂点に対して異なる三角形分割方法を使用することをシグナリングことができる。
【0118】
例えば、例示的な実施形態によれば、任意のサンプリング位置の４つの隣接する点ごとに、占有点の数が３以上であるか否かを決定し（占有点又は非占有点の例は、占有マップ例２５００を示す図２５で強調表示され、占有マップ例２５００では、各円が整数画素を表す）、４点間の三角形の接続性は、特定のルールによって推測することができる。例えば、図２４の例２４００に示すように、４つの点のうちの３つが占有されると決定されれば、図示の例（２）、（３）、及び（４）では、それらの点は、これらの例のように、直接的に相互接続して三角形を形成することができ、一方、４つの点が全て占有されると決定されれば、図２４の例（１）に示すように、それらの点を使用して２つの三角形を形成する。なお、隣接する点の数が異なれば、異なるルールを適用することができる。このプロセスは、図２５に更に示すように、多くの点にわたって実施されてもよい。本実施形態では、再構築メッシュは、図２４のような三角形メッシュであり、少なくとも図２５の内部部分（規則性に従ってシグナリングされていないと決定されず、その代わりに、個別のシグナリングではなく推測によってコード化及びデコードされ得る）において正三角形メッシュであるが、個別にシグナリングされるべき周囲において不規則な三角形とされる。
【0119】
複雑さとデータ処理を更に軽減するために、図２５に示されるこのような内部の正三角形の四角形メッシュは、図２４の例（１）の四角形メッシュとして推測されてもよく、これにより、内部の正三角形メッシュを推測する代わりに、減少している数の内部の正四角形メッシュを推測するため、計算量が更に軽減される。
【0120】
例示的な実施形態によれば、図２４の例（１）のように、４つの隣接する点が全て占有されると決定される場合、四角形メッシュを再構築してもよい。
【0121】
以上の説明から推定すると、図２５に示すように、例２５００の再構築メッシュがハイブリッドタイプであり得ることが示され、すなわち、メッシュフレーム内の一部の領域は、三角形メッシュを生成し、他の領域は、四角形メッシュを生成し、上記三角形メッシュのいくつかは、その中の他の三角形メッシュと比較して規則的なものであってもよく、いくつかは、境界上のメッシュのような不規則なものであってもよいが、境界上の全てのメッシュが不規則なものである必要はない。
【0122】
例示的な実施形態によれば、このような接続性のタイプは、シーケンスヘッダー、スライスヘッダーなどの高レベルの構文でシグナリングすることができる。
【0123】
上述したように、接続性情報は、例えば不規則な形状の三角形メッシュに対して明示的なシグナリングによって再構築することもできる。つまり、ポリゴンが暗黙のルールによって復元できないと決定されれば、エンコーダは、ビットストリーム内で接続性情報をシグナリングすることができる。例示的な実施形態によれば、このような明示的なシグナリングのオーバーヘッドは、ポリゴンの境界に応じて削減することができる。例えば、図２５の例２５００に示すように、三角形の接続性情報は、推測できる図２４の通常の例２４００に従うような暗黙のルールと、図２５の少なくともメッシュ境界上に示される不規則な形状のポリゴンのうちの１つに対する明示的なシグナリングとの両方によって再構築されるようにシグナリングされることになる。
【0124】
実施形態によれば、シグナリングされると決定されるものは、境界頂点とサンプリングされた位置との間の接続性情報にしかないが、サンプリングされた位置自体の間の接続性情報が推測される。
【0125】
また、任意の実施形態では、１つのメッシュから別のメッシュへの推測された接続性（予測として）との差のみをビットストリーム内でシグナリングできるように、接続性情報を予測によってシグナリングすることができる。
【0126】
なお、例示的な実施形態によれば、（例えば、三角形ごとに時計回り又は反時計回りで推測される）推測された三角形の向きは、シーケンスヘッダー、スライスヘッダーなどの高レベルの構文で全てのチャートに対してシグナリングすることができるか又はエンコーダ及びデコーダによって固定（仮定）することができる。推測された三角形の向きは、各チャートに対して異なる方法でシグナリングすることもできる。
【0127】
また、任意の再構築メッシュは、元のメッシュと異なる接続性を有してもよい。例えば、元のメッシュは三角形メッシュであってもよいが、再構築メッシュはポリゴンメッシュ（例えば、四角形メッシュ）であってもよい。
【0128】
例示的な実施形態によれば、任意のベース頂点の接続性情報がシグナリングされなくてもよく、その代わりに、エンコーダ側とデコーダ側の両方で同じアルゴリズムを使用してベース頂点間のエッジを導出することができる。例えば、どのように例２５００の最底部の頂点が全て占有されるかを確認することによって、コーディングは、そのような頂点がベースとして占有されると決定し、その後に任意のベース頂点の接続性情報がシグナリングされなくてもよく、その代わりに、エンコーダ側とデコーダ側の両方で同じアルゴリズムを使用してベース頂点間のエッジを導出するように推測することによって、そのような情報を利用することができる。例示的な実施形態によれば、追加のメッシュ頂点の予測された頂点の補間は、ベースメッシュの導出されたエッジに基づくものであってもよい。
【0129】
例示的な実施形態によれば、フラグは、ベース頂点の接続性情報がシグナリングされるか導出されるかをシグナリングするために使用することができ、このようなフラグは、シーケンスレベル、フレームレベルなどのビットストリームの異なるレベルでシグナリングすることができる。
【0130】
例示的な実施形態によれば、まず、エンコーダ側とデコーダ側の両方で同じアルゴリズムを使用してベース頂点間のエッジを導出する。次に、ベースメッシュ頂点の元の接続性と比較して、導出されたエッジと実際のエッジとの間の差をシグナリングする。したがって、差をデコーディングした後、ベース頂点の元の接続性を復元することができる。
【0131】
一例では、導出されたエッジについて、元のエッジと比較したときに間違っていると決定されれば、このような情報を（このエッジを形成する頂点のペアを示すことによって）ビットストリーム内でシグナリングすることができ、元のエッジについて、導出されなければ、（このエッジを形成する頂点のペアを示すことによって）ビットストリーム内でシグナリングすることができる。更に、境界エッジ上の接続性と境界エッジに関する頂点補間は、内部の頂点及びエッジとは別々に行うことができる。
【0132】
よって、本明細書に記載される例示的な実施形態によって、上述した技術的問題を、これらの技術的解決手段のうちの１つ以上によって有利に改善することができる。例えば、動的メッシュシーケンスは、経時的に変化する大量の情報で構成される可能性があるため、大量のデータを必要とする可能性があり、したがって、本明細書に記載される例示的な実施形態は、このようなコンテンツを記憶し送信する効率的な圧縮技術を少なくとも表す。
【0133】
上述した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施し、１つ以上のコンピュータ可読媒体に物理的に記憶することができるか、又は、特別に構成された１つ以上のハードウェアプロセッサによって実施することができる。例えば、図２６は、開示された主題の特定の実施形態を実施することに適したコンピュータシステム２６００を示す。
【0134】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又はそのようなメカニズムを施されて、コンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって直接、又は解釈、マイクロコード実行などによって実行することができる命令を含むコードを作成する任意の適切な機械コード又はコンピュータ言語を用いてコード化することができる。
【0135】
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータ又はその構成要素上で実行することができる。
【0136】
コンピュータシステム２６００について、図２６に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能範囲に関する限定を示唆することを意図するものではない。構成要素の構成は、コンピュータシステム２６００の例示的な実施形態で示される構成要素のうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきではない。
【0137】
コンピュータシステム２６００は、特定のヒューマンインタフェース入力デバイスを含んでもよい。このようなヒューマンインタフェース入力デバイスは、例えば触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）を通じて、１人以上の人間ユーザによる入力に応答することができる。ヒューマンインタフェースデバイスは、オーディオ（スピーチ、音楽、周囲音など）、画像（スキャンされた画像、静止画像カメラから取得した写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）などの、人間による意識的な入力に必ずしも直接的に関連しない特定のメディアを取り込むために使用することもできる。
【0138】
入力ヒューマンインタフェースデバイスは、キーボード２６０１、マウス２６０２、トラックパッド２６０３、タッチスクリーン２６１０、ジョイスティック２６０５、マイクフォン２６０６、スキャナ２６０７及びカメラ２６０８（それぞれが１つのみ示される）のうちの１つ以上を含んでもよい。
【0139】
コンピュータシステム２６００は、特定のヒューマンインタフェース出力デバイスをさらに含んでもよい。このようなヒューマンインタフェース出力デバイスは、例えば触覚出力、音、光、及び匂い／味を通じて、１人以上の人間ユーザの感覚を刺激することができる。このようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン２６１０又はジョイスティック２６０５による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ２６０９、ヘッドフォン（図示せず）など）、視覚出力デバイス（それぞれがタッチスクリーン入力能力、触覚フィードバック能力の有無にかかわらず、一部が、ステレオグラフィック出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレ及びスモークタンク（図示せず）などの手段を介して、２次元の視覚出力又は３次元以上の出力を出力できる、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン２６１０など）、及びプリンタ（図示せず）を含んでもよい。
【0140】
コンピュータシステム２６００は、ヒューマンアクセス可能な記憶装置と、それらに関連する媒体、例えば、ＣＤ／ＤＶＤ ２６１１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ ２６２０若しくは同様な媒体、サムドライブ２６２２、及びリムーバブルハードドライブ若しくはソリッドステートドライブ２６２３を含む光媒体、テープ及びフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用ＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどとをさらに含んでもよい。
【0141】
当業者は、本明細書に開示された主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことをさらに理解すべきである。
【0142】
コンピュータシステム２６００は、１つ以上の通信ネットワーク２６９８へのインタフェース２６９９をさらに含んでもよい。ネットワーク２６９８は、例えば、無線、有線、光ネットワークであり得る。ネットワーク２６９８は更に、ローカル、ワイドエリア、メトロポリタン、車両用及び産業用、リアルタイム、遅延耐性ネットワークなどであり得る。ネットワーク２６９８の例は、イーサネット及び無線ＬＡＮなどのローカルエリアネットワークと、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワークと、ケーブルＴＶ、衛星ＴＶ及び地上波放送ＴＶを含むＴＶ有線又は無線ワイドエリアデジタルネットワークと、ＣＡＮバスなどを含む車両用及び産業用ネットワークと、を含む。特定のネットワーク２６９８は、一般的に、特定の汎用データポート又は周辺バス（２６５０及び２６５１）（例えば、コンピュータシステム２６００のＵＳＢポートなど）に接続された外部ネットワークインタフェースアダプターを必要とする。他のネットワークは、一般的に、以下で説明するようにシステムバスに接続することによって、コンピュータシステム２６００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）。これらのネットワーク２６９８のいずれかを使用して、コンピュータシステム２６００は、他のエンティティと通信することができる。このような通信は、例えば、ローカル又はワイドエリアデジタルネットワークを使用して、他のコンピュータシステムに対して、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、ＣＡＮバスから特定のＣＡＮバスデバイスへ）、又は双方向であってもよい。上述したように、特定のプロトコルとプロトコルスタックをこれらのネットワークとネットワークインタフェースのそれぞれに使用することができる。
【0143】
前述のヒューマンインタフェースデバイス、ヒューマンアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム２６００のコア２６４０に接続することができる。
【0144】
コア２６４０は、１つ以上の中央処理装置（ＣＰＵ）２６４１、グラフィックス処理装置（ＧＰＵ）２６４２、グラフィックアダプター２６１７、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）２６４３の形態の専用プログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ２６４４などを含むことができる。これらのデバイスは、リードオンリメモリ（ＲＯＭ）２６４５、ランダムアクセスメモリ２６４６、及びユーザがアクセスできない内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置２６４７と共に、システムバス２６４８を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス２６４８は、１つ以上の物理プラグの形態でアクセス可能であり、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺デバイスは、コアのシステムバス２６４８に直接的に接続されてもよく、周辺バス２６４９を介して接続されてもよい。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどを含む。
【0145】
ＣＰＵ２６４１、ＧＰＵ２６４２、ＦＰＧＡ２６４３及びアクセラレータ２６４４は、組み合わせて、前述のコンピュータコードを構成できる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ２６４５又はＲＡＭ２６４６に記憶することができる。過渡的なデータは、ＲＡＭ２６４６に記憶することもできるが、恒久的なデータは、例えば内部大容量記憶装置２６４７に記憶することができる。ＣＰＵ２６４１、ＧＰＵ２６４２、大容量記憶装置２６４７、ＲＯＭ２６４５、ＲＡＭ２６４６などのうちの１つ以上と密接に関連付けることができるキャッシュメモリを使用して、任意のメモリデバイスに対する高速記憶及び検索を可能にすることができる。
【0146】
コンピュータ可読媒体には、様々なコンピュータ実施動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよく、コンピュータソフトウェア分野の当業者によく知られている利用可能な種類のものであってもよい。
【0147】
限定ではなく、あくまでも一例として、アーキテクチャ２６００、具体的にはコア２６４０を有するコンピュータシステムは、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行した結果として機能を提供することができる。このようなコンピュータ可読媒体は、コア内部大容量記憶装置２６４７又はＲＯＭ２６４５などの、非一時的な性質のコア２６４０の特定の記憶装置以外に、以上に紹介したようにユーザがアクセス可能な大容量記憶装置に関連付けられる媒体であり得る。本開示の様々な実施形態を実施するソフトウェアは、そのようなデバイスに記憶でき、コア２６４０によって実行することができる。コンピュータ可読媒体は、特定の需要に応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア２６４０、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ２６４６に記憶されたデータ構造を定義するステップと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更するステップとを含む、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。加えて又は代替として、コンピュータシステムは、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ２６４４）に配線されるか又は他の方法で具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの参照は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ可読媒体への参照は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具体化する回路、又はその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。
【0148】
本開示は、一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、及び様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか又は記載されていないが、本開示の原理を具体化するため、その思想及び範囲内に含まれる様々なシステム及び方法を考案できることが理解されよう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【国際調査報告】