IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴィド スケール インコーポレイテッドの特許一覧

特表2022-538890ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション
<>
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図1A
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図1B
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図1C
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図1D
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図2
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図3
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図4
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図5
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図6
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図7
  • 特表-ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-06
(54)【発明の名称】ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション
(51)【国際特許分類】
   H04N 19/70 20140101AFI20220830BHJP
   H04N 19/597 20140101ALI20220830BHJP
【FI】
H04N19/70
H04N19/597
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021577997
(86)(22)【出願日】2020-07-02
(85)【翻訳文提出日】2022-02-24
(86)【国際出願番号】 US2020040667
(87)【国際公開番号】W WO2021003371
(87)【国際公開日】2021-01-07
(31)【優先権主張番号】62/869,705
(32)【優先日】2019-07-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.3GPP
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ハムザ、アーマッド
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC01
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159PP04
5C159PP13
5C159RC11
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
メディアコンテンツ処理デバイスは、パラメータセットで示される1つ以上の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示し得る1つ以上のメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号できる。パラメータセットはビジュアルボリュメトリックビデオベースのパラメータセットを含み得る。1つ以上のアクティブな属性サブビットストリームをメッセージがデコーダによって受信され得る。デコーダは、1つ以上のメッセージに基づいてビジュアルメディアコンテンツを復号するためにどの属性サブビットストリームを使用するかを判定するなどの復号を実行できる。例えば、1つまたは複数の属性サブビットストリームの非アクティブ化を示すために、1つ以上のメッセージが生成され、デコーダに送信され得る。デコーダは、非アクティブな属性サブビットストリームを判定し、1つ以上のメッセージに基づいてビジュアルメディアコンテンツを復号するために非アクティブな属性サブビットストリームをスキップできる。
【特許請求の範囲】
【請求項1】
1つまたは複数のプロセッサを備えた、メディアコンテンツを復号する装置であって、
前記1つまたは複数のプロセッサは、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、前記ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを判定し、
前記メッセージに基づいてアクティブな属性サブビットストリームを使用して前記ビジュアルボリュメトリックコンテンツを復号する
ように構成されている、装置。
【請求項2】
1つまたは複数のプロセッサを備えた、メディアコンテンツ処理装置であって、
前記1つまたは複数のプロセッサは、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを判定し、
前記属性サブビットストリームの非アクティブ化を示すメッセージを生成する
ように構成されている、装置。
【請求項3】
1つまたは複数のプロセッサを備えた、メディアコンテンツを復号する装置であって、
前記1つまたは複数のプロセッサは、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得し、
前記パラメータセットに示されている複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージを受信し、
前記メッセージに基づいて、アクティブな属性サブビットストリームと非アクティブな属性サブビットストリームを判定し、
前記アクティブな属性サブビットストリームを使用して前記ビジュアルボリュメトリックコンテンツを復号し、前記非アクティブな属性サブビットストリームをスキップする
ように構成されている、装置。
【請求項4】
メディアコンテンツを復号する方法であって、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、前記ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを判定することと、
前記メッセージに基づいてアクティブな属性サブビットストリームを使用して前記ビジュアルボリュメトリックコンテンツを復号することと
を備える方法。
【請求項5】
メディアコンテンツを処理する方法であって、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを判定することと、
前記属性サブビットストリームの非アクティブ化を示すメッセージを生成することと
を備える方法。
【請求項6】
メディアコンテンツを復号する方法であって、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得することと、
前記パラメータセットに示されている複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージを受信することと、
前記メッセージに基づいて、アクティブな属性サブビットストリームと非アクティブな属性サブビットストリームを判定することと、
前記アクティブな属性サブビットストリームを使用して前記ビジュアルボリュメトリックコンテンツを復号し、前記非アクティブな属性サブビットストリームをスキップすることと
を備える方法。
【請求項7】
前記メッセージは、ビットストリームにおいてシグナリングされる、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項8】
前記メッセージは、補足的な付加情報(SEI)メッセージを含む、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項9】
前記メッセージは、ビットストリームが終了するまで持続する永続性スコープを有する、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項10】
前記メッセージは、前記メッセージとは異なる別のメッセージが受信されるまで持続する永続性スコープを有する、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項11】
前記メッセージは、前記ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される複数の属性サブビットストリームのうちのアクティブな属性サブビットストリームの数を示すインジケータを備える、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項12】
前記パラメータセットは、属性情報を含むビジュアルボリュメトリックビデオベースのパラメータセット(VPS)を備え、
前記メッセージは、アクティブな属性サブビットストリームの属性情報の一部を参照する、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項13】
前記複数の属性サブビットストリームは、ビジュアルボリュメトリックコンテンツに関連付けられるテクスチャ情報、材料情報、透明度情報、および/または反射率情報を示す、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項14】
前記パラメータセットは、前記複数の属性サブビットストリームのそれぞれの属性サブビットストリームに関連付けられるマップ情報を示し、前記メッセージは、前記複数の属性サブビットストリームのそれぞれの属性サブビットストリームに関連付けられるマップ情報のうちのどのマップ情報がアクティブであるかを示し、前記ビジュアルボリュメトリックコンテンツは、アクティブなマップ情報を使用して復号される、請求項1、請求項2、若しくは請求項3の装置または請求項4、請求項5、若しくは請求項6の方法。
【請求項15】
前記メッセージは、前記ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される前記複数の属性サブビットストリームがアクティブであるというインジケータを備える、請求項1の装置または請求項4の方法。
【請求項16】
非アクティブな属性サブビットストリームは、前記メッセージに基づいて判定され、前記非アクティブな属性サブビットストリームは、前記ビジュアルボリュメトリックコンテンツの復号のためにスキップされる、請求項1の装置または請求項4の方法。
【請求項17】
前記パラメータセットで示されているが、前記メッセージで示されていない属性サブビットストリームは、非アクティブな属性サブビットストリームであると判定され、前記非アクティブな属性サブビットストリームは、前記ビジュアルボリュメトリックコンテンツの復号のためにスキップされる、請求項1の装置または請求項4の方法。
【請求項18】
前記メッセージは、前記パラメータセットで示されている前記属性サブビットストリームに関連付けられるインジケータを参照しないことによって前記属性サブビットストリームの非アクティブ化を示す、請求項2の装置または請求項5の方法。
【請求項19】
前記属性サブビットストリームの非アクティブ化は、ビットレートアダプテーションに基づいて判定される、請求項2の装置または請求項5の方法。
【請求項20】
請求項4乃至19のいずれか一項に記載の方法にしたがって生成されるデータコンテンツを含む非一時的なコンピュータ可読媒体。
【請求項21】
1つまたは複数のプロセッサに請求項4乃至19のいずれか一項に記載の方法を実行させる命令を含むコンピュータ可読媒体。
【請求項22】
1つまたは複数のプロセッサによって実行されるとき、請求項4乃至19のいずれか一項に記載の方法を実行する命令を備えるコンピュータプログラム製品。
【請求項23】
請求項1、2、3および7乃至19のいずれか一項に従うメディアコンテンツ処理または復号装置と、
(i)イメージを表すデータを含む信号を受信するように構成されたアンテナ、(ii)受信した前記信号を、前記イメージを表すデータを含む周波数の帯域に制限するように構成された帯域リミッタ、および(iii)前記イメージを表示するように構成されたディスプレイのうちの少なくとも1つと
を備えたデバイス。
【請求項24】
テレビ、携帯電話、タブレット、またはセットトップボックス(STB)を備えた、請求項1、2、3および7乃至19のいずれか一項に記載の装置。
【請求項25】
請求項4乃至19のいずれか一項に記載の方法に従うメッセージを備えた信号。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2019年7月2日に出願された「ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブストリームの動的アダプテーション」と題された米国仮特許出願第62/869,705号の優先権を主張し、その全体は、あたかも本明細書に完全に記載されているかのように、参照により組み込まれる。
【背景技術】
【0002】
ビデオコーディングシステムは、デジタルビデオ信号を圧縮するために、例えば、そのような信号に必要なストレージおよび/または伝送帯域幅を減らすために使用され得る。ビデオコーディングシステムは、例えば、ウェーブレットベースのシステム、オブジェクトベースのシステム、および/またはブロックベースのハイブリッドビデオコーディングシステムなどのブロックベースのシステムを含み得る。
【発明の概要】
【0003】
システム、方法、および手段は、ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブビットストリームなどの、ビジュアルボリュメトリックコンテンツの動的アダプテーションについて開示されている。ビジュアルボリュメトリックコンテンツの動的アダプテーションは、ビジュアルボリュメトリックコンテンツにおける1つまたは複数の変更を示し得る1つまたは複数のメッセージおよび/またはパラメータセットに基づき得る。変更は、例えば、アクティブな属性および/またはコーデックにおける変更を含むことができる。例えば、ストリーミングセッションにおけるビットレートアダプテーション処理は、(例えば、リソースの可用性、帯域幅属性、クライアントコーディング機能、および/またはクライアントレンダリング機能などの動作環境に基づいて)ビデオコンポーネントに対する1つまたは複数の属性を追加し/ドロップし、および/またはビデオコンポーネントのリプレゼンテーションを異なるコーデックで符号化されたリプレゼンテーションに変更することができる。1つまたは複数のメッセージおよび/またはパラメータセットが生成されてデコーダに送信され、例えば、変更インジケーションを含み得るビジュアルボリュメトリックコンテンツ処理情報を示すことができる。デコーダは、1つまたは複数のメッセージおよび/またはパラメータセットに基づいて、どの属性サブビットストリームおよび/またはコーデックを復号に使用するかを決定するなどの復号を実行することができる。
【0004】
1つまたは複数のメッセージおよび/またはパラメータセットは、例えば、コンポーネントコーデック変更(CCC)メッセージ、アクティブ属性(AA)メッセージ、コンポーネント変更パラメータセット(CCPS)、および/またはパラメータセットアクティベーション(PSA)メッセージを含むことができる。例えば、ビジュアルボリュメトリックコンテンツビットストリームの補足的な付加情報(SEI)メッセージおよび/またはパラメータセットは、ビジュアルボリュメトリックコンテンツのアダプティブストリーミングをサポートすることができる。メッセージ(例えば、CCC SEIメッセージ)は、デコーダ(例えば、ビジュアルボリュメトリックコンテンツデコーダ)に1つまたは複数のビジュアルボリュメトリックコンテンツのコンポーネントに対するコーデック変更を通知することにより、参照コンポーネントに対してどのビデオコーデックを使用するかをデコーダに決定させることができる。メッセージ(例えば、AA SEIメッセージ)は、デコーダ(例えば、ビジュアルボリュメトリックコンテンツデコーダ)に1つまたは複数のビジュアルボリュメトリックコンテンツのコンポーネントに対する属性変更を通知することにより、どのアクティブな属性を使用して、どの非アクティブな属性を参照コンポーネントのために無視するかをデコーダに決定させることができる。パラメータセット(例えば、CCPS)は、パラメータセット(例えば、シーケンスパラメータセット(SPS))に関して1つまたは複数のビジュアルボリュメトリックコンテンツのコンポーネントに対してなされた変更(例えば、属性またはコーデック)についての情報を含むことができ、それにより、どのビデオコーデックおよびアクティブな属性を参照コンポーネントのために使用するかをデコーダに決定させることができる。メッセージ(例えば、PSA SEIメッセージ)は、どのパラメータセットがビジュアルボリュメトリックコンテンツのコンポーネントに対してアクティブであるかをデコーダに決定させることができる。デコーダは、例えば、メッセージおよび/またはパラメータセットに基づいて、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを決定し、アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号することができる。
【0005】
一例では、メッセージは、ビジュアルボリュメトリックコンテンツのビットストリームの復号処理(例えば、メッセージの受信後)で用いるのにアクティブな属性サブビットストリームのセットを示すことができる。1つまたは複数のメッセージおよび/またはパラメータセットは、ビジュアルボリュメトリックコンテンツのビットストリームにおける属性コンポーネントサブストリームのサブセットのアクティブ化をシグナリングすることができる。1つまたは複数のメッセージおよび/またはパラメータセットは、ビジュアルボリュメトリックコンテンツのコンポーネントサブストリームに対するコーデック変更をシグナリングすることができる。ビジュアルボリュメトリックコンテンツデコーダは、例えば、参照パラメータセットでシグナリングされた少なくとも1つの属性が非アクティブであるかどうかを示すインジケーションを取得すること、例えば、インジケーションが参照パラメータセットにおける少なくとも1つの属性が非アクティブであることを示す場合、アクティブな属性インジケーション(例えば、アクティブな属性の数およびそれらの属性のインデックス)を取得すること、例えば、アクティブな属性インジケーションに基づいて非アクティブな属性を識別すること、または復号の間、参照パラメータセットにおける非アクティブな属性をスキップすることのうちの1つまたは複数を実行するように構成されることができる。
【0006】
一例では、方法は、ポイントクラウドストリーミングサービスにおいてポイントクラウドコンポーネントサブビットストリームの動的アダプテーションを実行するように実装され得る。方法は、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームの属性サブビットストリームを非アクティブ化することを決定すること、および例えば、属性サブビットストリームの非アクティブ化を示すために本明細書に記載したようにメッセージを生成することを備えることができる。方法は、例えば、ビジュアルメディアコンテンツ処理またはコーディング装置などの装置によって実装され得る。ビジュアルメディアコンテンツ処理またはコーディング装置は、DASHクライアントまたはストリーミングクライアント、例えば、ビデオベースのポイントクラウド圧縮(V-PCC)クライアントを含むことができる。
【0007】
ビジュアルメディアコンテンツを復号する方法は、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを判定すること、およびメッセージに基づいてアクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号することを備えることができる。パラメータセットで示される属性は、ビジュアルメディアコンテンツを特徴づけることができる。
【0008】
メディアコンテンツを処理する方法は、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを判定すること、および属性サブビットストリームの非アクティブ化を示すメッセージを生成することを備えることができる。
【0009】
ビジュアルメディアコンテンツを復号する方法は、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得することと、パラメータセットに示されている複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージを受信することと、メッセージに基づいてアクティブな属性サブビットストリームと非アクティブな属性サブビットストリームを判定することと、アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号し、非アクティブな属性サブビットストリームをスキップすることとを備える。
【0010】
メッセージは、ビットストリームにおいてシグナリングされ得る。メッセージは、補足的な付加情報(SEI)メッセージを含み得る。メッセージは、ビットストリームが終了するまで持続する永続性スコープを有し得る。メッセージは、当該メッセージとは異なる別のメッセージが受信されるまで持続する永続性スコープを有し得る。メッセージは、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される複数の属性サブビットストリームのうちのアクティブな属性サブビットストリームの数を示すインジケータを備えることができる。
【0011】
パラメータセットは、属性情報を含むビジュアルボリュメトリックパラメータセットを含むことができる。メッセージは、アクティブな属性サブビットストリームの属性情報の一部を参照することができる。パラメータセットは、複数の属性を示すことができる。メッセージは、パラメータセットで示されている複数の属性サブビットストリームがアクティブであるというインジケータを備えることができる。
【0012】
パラメータセットは、複数の属性サブビットストリームのそれぞれの属性サブビットストリームに関連付けられるマップ情報を示し得る。メッセージは、例えば、パラメータセットで示されている複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すことによって、どのマップ情報がアクティブであるかを示し得る。ビジュアルボリュメトリックコンテンツは、アクティブなマップ情報、例えば、アクティブな属性サブビットストリームに関連付けられるマップ情報を使用して復号され得る。
【0013】
複数の属性サブビットストリームは、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるテクスチャ情報、材料情報、透明度情報、および/または反射率情報を示すことができる。アクティブな属性サブビットストリームは、メッセージに基づいて判定され得る。非アクティブな属性サブビットストリームはビジュアルボリュメトリックコンテンツの復号のためにスキップされ得る。前記パラメータセットで示されているが、前記メッセージで示されていない属性サブビットストリームは、非アクティブな属性サブビットストリームであると判定され得る。非アクティブな属性サブビットストリームは、ビジュアルボリュメトリックコンテンツの復号のためにスキップされ得る。
【0014】
例えば、パラメータセットで示されている属性サブビットストリームに関連付けられるインジケータを参照しないことによって、属性サブビットストリームの非アクティブ化はメッセージによって示され得る。属性サブビットストリームの非アクティブ化は、例えば、ビットレートアダプテーションに基づいて判定され得る。
【0015】
1つまたは複数の方法は、1つまたは複数のプロセッサによって実行されると、1つまたは複数の方法を行う、コンピュータ可読媒体またはコンピュータプログラム製品に格納され得るコンピュータ実行可能命令を実行するように構成された1つまたは複数のプロセッサを備える装置によって実装され得る。このため、装置は、1つまたは複数の方法を行うように構成された1つまたは複数のプロセッサを備える。コンピュータ可読媒体またはコンピュータプログラム製品は、命令を実行することによって1つまたは複数のプロセッサに1つまたは複数の方法を実行させる命令を備える。コンピュータ可読媒体は、1つまたは複数の方法に従って生成されたデータコンテンツを含むことができる。信号は、1つまたは複数の方法に従うメッセージを含むことができる。デバイスは、ビジュアルメディアコンテンツ処理またはコーディング装置などの装置を含むことができる。デバイスは、テレビ、携帯電話、タブレット、またはセットトップボックスを含むことができる。デバイスは、(i)イメージを表すデータを含む信号を受信するように構成されたアンテナ、(ii)受信した信号を、イメージを表すデータを含む周波数の帯域に制限するように構成された帯域リミッタ、および(iii)イメージを表示するように構成されたディスプレイのうちの少なくとも1つを含むことができる。
【0016】
本明細書のいずれかにおいて開示される各特徴が記載されているが、それらは、別々に/個別に、および本明細書に開示される他の特徴および/または本明細書で暗黙的または明示的に参照されるか、さもなければ開示される主題の範囲内に含まれる可能性がある他の場所に開示される任意の特徴と任意の組み合わせで実装され得る。
【図面の簡単な説明】
【0017】
図1A】1つまたは複数の開示されている実施形態が実装され得る例示的な通信システムを示すシステム図である。
図1B】一実施形態による、図1Aに示されている通信システム内で使用され得る例示的な無線送受信ユニット(WTRU)を示すシステム図である。
図1C】一実施形態による、図1Aに示されている通信システム内で使用され得る例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を示すシステム図である。
図1D】一実施形態による、図1Aに示されている通信システム内で使用され得るさらなる例示的なRANおよびさらなる例示的なCNを示すシステム図である。
図2】例示的なビデオエンコーダを示す図である。
図3】ビデオデコーダの例を示す図である。
図4】様々な態様および例が実装され得るシステムの例を示す図である。
図5】V-PCC(video-based point cloud compression)のビットストリーム構造の例を示す図である。
図6】例示的なメディアプレゼンテーション記述(MPD)階層データモデルを示す図である。
図7】メッセージング(例えば、表5に示されるメッセージ)に基づいてビジュアルボリュメトリックコンテンツを処理する方法の例を示す図である。
図8】メッセージング(例えば、表5に示されるメッセージ)に基づいてビジュアルボリュメトリックコンテンツを処理する方法の例を示す図である。
【発明を実施するための形態】
【0018】
様々な図を参照して例示的な実施形態の詳細を説明する。この説明は、可能な実装の詳細な例を提供するが、その詳細は例示を目的としたものであり、本願の範囲を制限するものではないことを了解されたい。
【0019】
図1Aは、1つまたは複数の開示された実施形態を実施できる例示的な通信システム100を示す図である。通信システム100は、複数の無線ユーザに音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを提供する多元接続システムであってよい。通信システム100は、無線帯域幅を含むシステムリソースの共有を通してそのようなコンテンツに複数の無線ユーザがアクセスすることを可能にし得る。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT-UW-DFT-S-OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタ処理済みOFDM、フィルタバンクマルチキャリア(FBMC)などの1つまたは複数のチャネルアクセス方式を採用することができる。
【0020】
図1Aに示すように、通信システム100は、無線送受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含んでよいが、開示する実施形態が、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することを理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスであってよい。例えば、WTRU102a、102b、102c、102dは、いずれも「ステーション」および/または「STA」と呼ばれることがあるが、これらは、無線信号を送信および/または受信するように構成されてよく、ユーザ機器(UE)、移動局、固定またはモバイル加入者ユニット、サブスクリプションベースのユニット、ページャ、セルラー電話機、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ノートブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi-Fiデバイス、IoTデバイス、腕時計または他のウェアラブル、ヘッドマウントディスプレイ(HMD)、車両、ドローン、医療機器および応用例(例えば遠隔手術)、産業デバイスおよび応用例(例えば、産業上のおよび/または自動化された処理チェーンのコンテキストで動作する、ロボットおよび/または他の無線デバイス)、消費者電子デバイス、商業および/または産業無線ネットワーク上で動作するデバイスなどを含むことができる。WTRU102a、102b、102c、および102dはいずれも、互換的にUEと呼ばれることがある。
【0021】
通信システム100はまた、基地局114aおよび/または基地局114bを含むこともできる。基地局114a、114bの各々は、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインタフェースして、CN106/115、インターネット110、および/または他のネットワーク112などの1つまたは複数の通信ネットワークへのアクセスを容易にするように構成された、任意のタイプのデバイスであってよい。例えば、基地局114a、114bは、ベーストランシーバステーション(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、新無線(NR)ノードB、サイトコントローラ、アクセスポイント(AP)、無線ルータなどであってよい。基地局114a、114bはそれぞれ単一の要素として描かれているが、基地局114a、114bが任意の数の相互接続された基地局および/またはネットワーク要素を含み得ることは理解されるであろう。
【0022】
基地局114aは、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、リレーノードなどのネットワーク要素(図示せず)をも含み得るRAN104/113の一部であってよい。基地局114aおよび/または基地局114bは、セル(図示せず)と呼ばれ得る1つまたは複数のキャリア周波数上で無線信号を送信および/または受信するように構成されてよい。これらの周波数は、認可スペクトル、無認可スペクトル、または認可スペクトルと無認可スペクトルとの組合せにあってよい。セルは、比較的固定的であり得るかまたは時間に伴って変化し得る特定の地理エリアに、無線サービスのためのカバレッジを提供することができる。セルは、セルセクタにさらに分割されてよい。例えば、基地局114aに関連付けられるセルは、3つのセクタに分割されてよい。従って、一実施形態では、基地局114aは、3つの送受信機、すなわち、セルのセクタごとに1つの送受信機を含んでよい。一実施形態では、基地局114aは、多入力多出力(MIMO)技術を採用してよく、セルのセクタごとに複数の送受信機を利用してよい。例えば、所望の空間的方向で信号を送信および/または受信するために、ビームフォーミングが使用されてよい。
【0023】
基地局114a、114bは、エアインタフェース116を介してWTRU102a、102b、102c、102dのうちの1つまたは複数と通信することができ、エアインタフェース116は、任意の適切な無線通信リンク(例えば、無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であってよい。エアインタフェース116は、任意の好適な無線アクセス技術(RAT)を使用して確立されてよい。
【0024】
より詳細には、上記のように、通信システム100は、多元接続システムであってよく、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなどの1つまたは複数のチャネルアクセス方式を採用してよい。例えば、RAN104/113における基地局114aおよびWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインタフェース115/116/117を確立し得るユニバーサルモバイルテレコミュニケーションズシステム(UMTS)地上波無線アクセス(UTRA)などの無線技術を実装してよい。WCDMA(登録商標)は、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)などの通信プロトコルを含んでよい。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)および/または高速ULパケットアクセス(HSUPA)を含んでよい。
【0025】
一実施形態では、基地局114aおよびWTRU102a、102b、102cは、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実装することができ、これは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE-A)および/またはLTEアドバンストプロ(LTE-A Pro)を使用してエアインタフェース116を確立することができる。
【0026】
一実施形態では、基地局114aおよびWTRU102a、102b、102cは、新無線(NR)を使用してエアインタフェース116を確立し得るNR無線アクセスなどの無線技術を実装してよい。
【0027】
一実施形態では、基地局114aおよびWTRU102a、102b、102cは、複数の無線アクセス技術を実装することができる。例えば、基地局114aおよびWTRU102a、102b、102cは、例えば、デュアル接続性(DC)原理を使用してLTE無線アクセスとNR無線アクセスとを一緒に実装することができる。従って、WTRU102a、102b、102cによって利用されるエアインタフェースは、複数のタイプの無線アクセス技術および/または複数のタイプの基地局(例えば、eNBおよびgNB)との間で送られる送信によって特徴づけられてよい。
【0028】
他の実施形態では、基地局114aおよびWTRU102a、102b、102cは、IEEE802.11(すなわち、WiFi(Wireless Fidelity))、IEEE802.16(すなわち、WiMAX(Worldwide Interoperability for Microwave Access))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、インタリム規格2000(IS-2000)、インタリム規格95(IS-95)、インタリム規格856(IS-856)、GSM(登録商標)(Global System for Mobile communications)、GSM進化型高速データレート(EDGE)、GSM EDGE(GERAN)などの無線技術を実装してよい。
【0029】
図1Aにおける基地局114bは、例えば、無線ルータ、ホームNodeB、ホームeNodeB、またはアクセスポイントであってよく、職場、家庭、車両、構内、産業設備、(例えば、ドローンが使用するための)空中回廊、道路などの局所的エリアでの無線接続性を容易にするために任意の好適なRATを利用してよい。一実施形態では、基地局114bおよびWTRU102c、102dは、無線ローカルエリアネットワーク(WLAN)を確立するためにIEEE802.11などの無線技術を実装してよい。一実施形態では、基地局114bおよびWTRU102c、102dは、無線パーソナルエリアネットワーク(WPAN)を確立するためにIEEE802.15などの無線技術を実装してよい。また別の実施形態では、基地局114bおよびWTRU102c、102dは、ピコセルまたはフェムトセルを確立するためにセルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用してよい。図1Aに示すように、基地局114bは、インターネット110への直接接続を有してよい。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がなくてよい。
【0030】
RAN104/113は、CN106/115と通信していてよく、CN106/115は、WTRU102a、102b、102c、102dのうちの1つもしくは複数に音声、データ、アプリケーション、および/またはVoIPサービスを提供するように構成された任意のタイプのネットワークであってよい。データは、異なるスループット要件、待ち時間要件、誤り耐性要件、信頼性要件、データスループット要件、モビリティ要件などの変動するサービス品質(QoS)要件を有してよい。CN106/115は、呼制御、課金サービス、モバイル位置情報サービス、プリペイド発呼、インターネット接続性、ビデオ配信などを与え、および/またはユーザ認証などの高レベルなセキュリティ機能を実行してよい。図1Aには示されていないが、RAN104/113および/またはCN106/115が、RAN104/113と同じRATまたは異なるRATを採用する他のRANと直接的または間接的に通信していてもよいことを理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されることに加えて、CN106/115はまた、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を採用する別のRAN(図示せず)と通信していることがある。
【0031】
CN106/115はまた、PSTN108、インターネット110および/または他のネットワーク112にアクセスするためにWTRU102a、102b、102c、102dのためのゲートウェイとして働いてよい。PSTN108は、基本電話サービス(POTS)を提供する回線交換電話網を含んでよい。インターネット110は、TCP/IPインターネットプロトコルスイートにおけるTCP、UDPおよび/またはIPなどの共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含んでよい。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される有線および/または無線通信ネットワークを含んでよい。例えば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを採用してよい1つまたは複数のRANに接続された別のCNを含んでよい。
【0032】
通信システム100におけるWTRU102a、102b、102c、102dの一部または全部は、マルチモード能力を含んでよい(例えば、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数の送受信機を含んでよい)。例えば、図1Aに示すWTRU102cは、セルラベースの無線技術を採用し得る基地局114aと通信し、IEEE802無線技術を採用し得る基地局114bと通信するように構成されてよい。
【0033】
図1Bは、例示的なWTRU102を示すシステム図である。図1Bに示すように、WTRU102は、特に、プロセッサ118、送受信機120、送受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、GPSチップセット136、および/または他の周辺機器138を含んでよい。WTRU102が実施形態との一貫性を維持しながら前述の要素の任意のサブコンビネーションを備え得ることは理解されるであろう。
【0034】
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアに関連する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他のタイプの集積回路(IC)、状態機械などであってよい。プロセッサ118は、信号符号化、データ処理、電力制御、入出力処理、および/またはWTRU102が無線環境において動作することを可能にする任意の他の機能を実行してよい。プロセッサ118は、送受信要素122に結合され得る送受信機120に結合されてよい。図1Bに、別個の構成要素としてプロセッサ118と送受信機120を示しているが、プロセッサ118と送受信機120が電子パッケージまたはチップに一緒に統合されてよいことを理解されよう。
【0035】
送受信要素122は、エアインタフェース116を介して基地局(例えば、基地局114a)との間で信号を送受信するように構成されてよい。例えば、一実施形態では、送受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであってよい。一実施形態では、送受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成されたエミッタ/検出器であってよい。また別の実施形態では、送受信要素122は、RF信号と光信号との両方を送信および/または受信するように構成されてよい。送受信要素122が任意の組合せの無線信号を送信および/または受信するように構成されてよいことは理解されるであろう。
【0036】
図1Bでは送受信要素122が単一の要素として描かれているが、WTRU102は、任意の数の送受信要素122を含んでよい。より詳細には、WTRU102は、MIMO技術を採用してよい。従って、一実施形態では、WTRU102は、エアインタフェース116を介して無線信号を送信および受信するための2つ以上の送受信要素122(例えば、複数のアンテナ)を含んでよい。
【0037】
送受信機120は、送受信要素122によって送信されることになる信号を変調し、送受信要素122によって受信された信号を復調するように構成されてよい。上記のように、WTRU102は、マルチモード能力を有してよい。従って、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11などの複数のRATを介して通信することを可能にするための複数の送受信機を含んでよい。
【0038】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合されてよく、それらからユーザ入力データを受信してよい。プロセッサ118はまた、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力してよい。さらに、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132などの任意のタイプの好適なメモリの情報にアクセスし、それにデータを記憶してよい。非リムーバブルメモリ130は、RAM、ROM、ハードディスク、または任意の他のタイプのメモリストレージデバイスを含んでよい。リムーバブルメモリ132は、SIMカード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含んでよい。他の実施形態では、プロセッサ118は、サーバまたはホームコンピュータ(図示せず)上など、WTRU102上に物理的に位置しないメモリの情報にアクセスし、それにデータを記憶してよい。
【0039】
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102における他の構成要素に電力を分配および/または制御するように構成されてよい。電源134は、WTRU102に電力供給するための任意の好適なデバイスであってよい。例えば、電源134は、1つまたは複数の乾電池バッテリ(例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)など)、太陽電池、燃料電池などを含んでよい。
【0040】
プロセッサ118はまた、WTRU102の現在のロケーションに関するロケーション情報(例えば、経度および緯度)を提供するように構成され得るGPSチップセット136に結合されてよい。GPSチップセット136からの情報に加えて、または、それの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインタフェース116を介してロケーション情報を受信し、および/または2つ以上の近くの基地局から受信される信号のタイミングに基づいてそのロケーションを決定してよい。WTRU102が、実施形態との一貫性を維持しながら、任意の好適なロケーション決定方法によってロケーション情報を取得してよいことを理解されよう。
【0041】
プロセッサ118はさらに、他の周辺機器138にも結合されてよく、周辺機器138は、追加の特徴、機能、および/または有線若しくは無線接続性を提供する1つまたは複数のソフトウェアおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオのための)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビジョン送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、バーチャルリアリティおよび/または拡張現実(VR/AR)デバイス、アクティビティトラッカなどを含んでよい。周辺機器138は、1つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、向きセンサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体センサ、および/もしくは湿度センサのうちの1つまたは複数であってよい。
【0042】
WTRU102は、(例えば、(例えば、送信のための)ULと(例えば、受信のための)ダウンリンクとの両方のための特定のサブフレームに関連する)信号の一部または全部の送信および受信が並列および/または同時であってよい全二重無線を含んでよい。全二重無線は、ハードウェア(例えば、チョーク)またはプロセッサ(例えば、別個のプロセッサ(図示せず)またはプロセッサ118)を介した信号処理のいずれかを介して自己干渉を小さくするかおよび/または実質的になくすために干渉管理ユニットを含んでよい。一実施形態では、WTRU102は、(例えば、(例えば、送信のための)ULまたは(例えば、受信のための)ダウンリンクのいずれかのための特定のサブフレームに関連する)信号の一部または全部の送信および受信のための半二重無線を含んでよい。
【0043】
図1Cは、一実施形態による、RAN104およびCN106を示すシステム図である。上記のように、RAN104は、E-UTRA無線技術を採用して、エアインタフェース116を介してWTRU102a、102b、102cと通信することができる。RAN104はまた、CN106とも通信していてよい。
【0044】
RAN104はeノードB160a、160b、160cを含むことができるが、RAN104が実施形態との一貫性を維持しながら任意の数のeノードBを含み得ることは理解されるであろう。eノードB160a、160b、160cはそれぞれ、エアインタフェース116を介してWTRU102a、102b、102cと通信するための1つまたは複数の送受信機を備えることができる。一実施形態では、eノードB160a、160b、160cは、MIMO技術を実装してよい。従って、eノードB160aは、例えば、WTRU102aに無線信号を送信するおよび/またはそれから無線信号を受信するために複数のアンテナを使用してよい。
【0045】
eノードB160a、160b、160cの各々は、特定のセル(図示せず)に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリングなどを扱うように構成されてよい。図1Cに示すように、eノードB160a、160b、160cは、X2インタフェースを介して相互に通信してよい。
【0046】
図1Cに示されるCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166とを含んでよい。上記の要素の各々がCN106の一部として示されているが、これらの要素のいずれかがCNオペレータ以外のエンティティによって所有および/または動作されてよいことを理解されよう。
【0047】
MME162は、S1インタフェースを介してRAN104内のeノードB160a、160b、160cの各々に接続されてよく、制御ノードとして働いてよい。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチの間に特定のサービングゲートウェイを選択することなどを担当してよい。MME162は、RAN104とGSMおよび/またはWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
【0048】
SGW164は、S1インタフェースを介してRAN104内のeノードB160a、160b、160cの各々に接続されてよい。SGW164は、概して、WTRU102a、102b、102cとの間でユーザデータパケットをルーティングし、転送することができる。SGW164は、eノードB間のハンドオーバの間にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cのために利用可能であるときにページングをトリガすること、WTRU102a、102b、102cのコンテキストを管理および記憶することなどの他の機能を実行してよい。
【0049】
SGW164は、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするためにインターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得るPGW166に接続されてよい。
【0050】
CN106は、他のネットワークとの通信を容易にし得る。例えば、CN106は、WTRU102a、102b、102cと従来の固定通信デバイスとの間の通信を容易にするためにPSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに与えてよい。例えば、CN106は、CN106とPSTN108との間のインタフェースとしての働きをするIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むか、またはこのIPゲートウェイと通信することができる。さらに、CN106は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含み得る他のネットワーク112へのアクセスを、WTRU102a、102b、102cに提供することができる。
【0051】
WTRUが無線端末として図1A図1Dに記載されているが、いくつかの代表的な実施形態では、そのような端末が(例えば、一時的にまたは永続的に)通信ネットワークとの有線通信インタフェースを使用し得ると考えられる。
【0052】
代表的な実施形態では、他のネットワーク112は、WLANであってよい。
【0053】
インフラストラクチャ基本サービスセット(BSS)モードのWLANには、BSS用のアクセスポイント(AP)と、APに関連付けられた1つ以上のステーション(STA)がある。APは、BSSへのトラフィックおよび/またはBSSからのトラフィックを搬送する配信システム(DS)または別のタイプの有線/無線ネットワークへの、アクセスまたはインタフェースを有することができる。生じたSTAへのトラフィックは、APを通して到着してよく、STAに送られてよい。STAからBSSの外部の宛先に発信されるトラフィックは、APに送信され、それぞれの宛先に配信されてよい。BSS内のSTA間のトラフィックは、APを介して送信でき、例えば、送信元STAがAPにトラフィックを送信し、APが宛先STAにトラフィックを配信する場合がある。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なされたり、呼ばれたりする場合がある。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を使用して、送信元STAと宛先STAの間で(例えば、直接)送信できる。特定の代表的な実施形態では、DLSは、802.11e DLSまたは802.11zトンネルDLS(TDLS)を使用することができる。独立BSS(IBSS)モードを使用するWLANにはAPがない場合があり、IBSS内またはIBSSを使用するSTA(例えば、全てのSTA)は相互に直接通信する場合がある。IBSS通信モードは、本明細書では「アドホック」通信モードと呼ばれることがある。
【0054】
802.11acインフラストラクチャモードの動作または同様の動作モードを使用する場合、APは、プライマリチャネルなどの固定チャネルでビーコンを送信することができる。プライマリチャネルは、固定幅(例えば、20MHzの広い帯域幅)またはシグナリングを介して動的に設定された幅にすることができる。プライマリチャネルは、BSSの動作チャネルであってよく、APとの接続を確立するためにSTAによって使用されてよい。特定の代表的な実施形態では、搬送波感知多重アクセス/衝突回避方式(CSMA/CA)は、例えば802.11システムにおいて実装され得る。CSMA/CAの場合、APを含むSTA(例えば、全てのSTA)がプライマリチャネルを検知することができる。プライマリチャネルが特定のSTAによって感知/検出され、および/またはビジーであると判断された場合、特定のSTAはバックオフすることができる。1つのSTA(例えば、ただ1つのステーション)は、特定のBSSでいつでも送信できる。
【0055】
ハイスループット(HT)STAは、例えばプライマリ20MHzチャネルと隣接または非隣接20MHzチャネルとを組み合わせて40MHz幅のチャネルを形成することを介して、40MHz幅のチャネルを通信に使用することができる。
【0056】
ベリーハイスループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHz幅のチャネルをサポートすることができる。40MHzおよび/または80MHzのチャネルは、連続する20MHzチャネルを組み合わせることによって形成できる。160MHzチャネルは、8つの連続した20MHzチャネルを結合することによって、または2つの非連続80MHzチャネルを結合することによって形成されてよく、後者は80+80構成と呼ばれることがある。80+80構成の場合、データは、チャネル符号化後にセグメントパーサの中を通されてよく、セグメントパーサはデータを2つのストリームに分割することができる。逆高速フーリエ変換(IFFT)処理、および時間領域処理は、各ストリームで個別に実行できる。ストリームは、2つの80MHzチャネル上にマッピングされてよく、データは送信側STAによって送信されてよい。受信側STAの受信機では、80+80構成についての上記の動作を逆にすることができ、組み合わされたデータを媒体アクセス制御(MAC)に送信することができる。
【0057】
サブ1GHz動作モードが、802.11afおよび802.11ahによってサポートされる。802.11afおよび802.11ahでは、チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acで使用されるものに対して相対的に低減される。802.11afは、TVホワイトスペース(TVWS)スペクトルにおける5MHz、10MHz、および20MHzの帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して1MHz、2MHz、4MHz、8MHz、および16MHzの帯域幅をサポートする。代表的な実施形態によれば、802.11ahは、マクロカバレッジエリア中のMTCデバイスなど、メータータイプ制御/マシンタイプ通信をサポートすることができる。MTCデバイスは、特定の機能、例えば、特定のおよび/または制限された帯域幅のサポート(例えば、サポートのみ)を含む制限された機能を有し得る。MTCデバイスは、閾値を超えるバッテリ寿命を有するバッテリを含み得る(例えば、非常に長いバッテリ寿命を維持する)。
【0058】
WLANシステムは、802.11n、802.11ac、802.11af、および802.11ahなど複数のチャネルおよびチャネル帯域幅をサポートすることができ、このWLANシステムは、プライマリチャネルとして指定され得るチャネルを含む。プライマリチャネルは、BSS中の全てのSTAによってサポートされる最大共通動作帯域幅に等しい帯域幅を有することができる。プライマリチャネルの帯域幅は、最小帯域幅の動作モードをサポートするBSSで動作している全てのSTAの中から、STAによって設定および/または制限される場合がある。802.11ahの例では、APとBSS中の他のSTAとが2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅動作モードをサポートする場合であっても、プライマリチャネルは、1MHzモードをサポートする(例えば、それだけをサポートする)STA(例えば、MTCタイプのデバイス)のために1MHz幅であってよい。キャリア感知および/またはネットワーク割り当てベクトル(NAV)設定は、プライマリチャネルのステータスに依存し得る。例えば、(1MHzの動作モードのみをサポートする)STAがAPに送信しているために、プライマリチャネルがビジーである場合、周波数帯域の大部分がアイドル状態のままであり、利用できる場合があったとしても、全体の利用可能な周波数帯域は、ビジーであると考えられ得る。
【0059】
米国では、802.11ahで使用できる使用可能な周波数帯域は、902MHz~928MHzである。韓国では、利用可能な周波数帯域は、917.5MHz~923.5MHzである。日本では、利用可能な周波数帯域は916.5MHz~927.5MHzである。802.11ahで使用可能な合計帯域幅は、国コードに応じて6MHz~26MHzである。
【0060】
図1Dは、一実施形態による、RAN113およびCN115を示すシステム図である。上記のように、RAN113は、エアインタフェース116を介してWTRU102a、102b、102cと通信するためにNR無線技術を採用することができる。RAN113はまた、CN115と通信していてもよい。
【0061】
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、一実施形態と一貫性を保ちながら、任意の数のgNBを含み得ることが理解されるであろう。gNB180a、180b、180cはそれぞれ、エアインタフェース116を介してWTRU102a、102b、102cと通信するための1つまたは複数の送受信機を含み得る。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装することができる。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cとの間で信号を送信および/または受信することができる。従って、例えばgNB180aは、複数のアンテナを使用して、WTRU102aとの間で無線信号を送信および/または受信することができる。一実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装することができる。例えば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信することができる。これらのコンポーネントキャリアのサブセットが無認可スペクトル上にあり、残りのコンポーネントキャリアが認可スペクトル上にあってよい。一実施形態では、gNB180a、180b、180cは、多地点協調(CoMP)技術を実装することができる。例えば、WTRU102aは、gNB180aとgNB180b(および/またはgNB180c)とから協調送信を受信することができる。
【0062】
WTRU102a、102b、102cは、スケーラブルヌメロロジー(scalable numerology)に関連付けられた伝送を使用してgNB180a、180b、180cと通信することができる。例えば、OFDMシンボルスペーシングおよび/またはOFDMサブキャリアスペーシングは、異なる伝送、異なるセル、および/または無線伝送スペクトルの異なる部分によって変動し得る。WTRU102a、102b、102cは、様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して(例えば、様々な数のOFDMシンボルを含み、および/または持続する様々な長さの絶対時間)、gNB180a、180b、180cと通信することができる。
【0063】
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(例えば、eノードB160a、160b、160cなど)にもアクセスすることなく、gNB180a、180b、180cと通信することができる。スタンドアロン構成では、WTRU102a、102b、102cは、1つまたは複数のgNB180a、180b、180cをモビリティアンカーポイントとして利用することができる。スタンドアロン構成では、WTRU102a、102b、102cは、無認可帯域中の信号を使用してgNB180a、180b、180cと通信することができる。非スタンドアロン構成では、WTRU102a、102b、102cは、eノードB160a、160b、160cなど別のRANとも通信/接続しながら、gNB180a、180b、180cと通信/接続することができる。例えば、WTRU102a、102b、102cは、DC原理を実装して、ほぼ同時に1つまたは複数のgNB180a、180b、180cおよび1つまたは複数のeノードB160a、160b、160cと通信することができる。非スタンドアロン構成では、eノードB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカーとしての働きをすることができ、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレッジおよび/またはスループットを提供することができる。
【0064】
gNB180a、180b、180cのそれぞれは、特定のセル(図示せず)に関連付けられ得、並びに無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続、NRとE-UTRA間のインターワーキング、ユーザプレーンデータのユーザプレーン機能(UPF)184a、184bへのルーティング、コントロールプレーン情報のアクセスおよびモビリティ管理機能(AMF)182a、182bへのルーティングなどを処理するように構成され得る。図1Dに示すように、gNB180a、180b、180cは、Xnインタフェースを介して互いに通信することができる。
【0065】
図1Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF)183a、183b、および場合によってはデータネットワーク(DN)185a、185bを含み得る。上記の要素の各々がCN115の一部として示されているが、これらの要素のいずれかがCNオペレータ以外のエンティティによって所有および/または動作されてよいことを理解されよう。
【0066】
AMF182a、182bは、N2インタフェースを介してRAN113内の1つまたは複数のgNB180a、180b、180cに接続され、制御ノードとして機能し得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザの認証、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bの選択、登録エリアの管理、NASシグナリングの終了、モビリティ管理などを担当し得る。ネットワークスライシングは、WTRU102a、102b、102cで利用されているサービスのタイプに基づいて、WTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。例えば、超高信頼性低遅延(URLLC)アクセスに依存するサービス、拡張された大規模モバイルブロードバンド(eMBB)アクセスに依存するサービス、マシンタイプ通信(MTC)アクセス用のサービスなど、様々なユースケースに対して様々なネットワークスライスを確立できる。AMF182は、RAN113と、LTE、LTE-A、LTE-A Pro、および/またはWiFiなどの非3GPPアクセス技術などの他の無線技術を使用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
【0067】
SMF183a、183bは、N11インタフェースを介してCN115内のAMF182a、182bに接続され得る。SMF183a、183bはまた、N4インタフェースを介してCN115内のUPF184a、184bに接続され得る。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを介したトラフィックのルーティングを構成することができる。SMF183a、183bは、WTRUまたはUEのIPアドレスの管理および割り当て、PDUセッションの管理、ポリシー実施およびQoSの制御、ダウンリンクデータ通知の提供などの他の機能を実行することができる。PDUセッションタイプは、IPベース、非IPベース、イーサネット(登録商標)ベースなどであってよい。
【0068】
UPF184a、184bは、N3インタフェースを介してRAN113内の1つまたは複数のgNB180a、180b、180cに接続され得、これは、WTRU102a、102b、102cに、インターネット110などのパケット交換ネットワークへのアクセスを提供し、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にする。UPF184、184bは、パケットのルーティングおよび転送、ユーザプレーンポリシーの実施、マルチホームPDUセッションのサポート、ユーザプレーンQoSの処理、ダウンリンクパケットのバッファリング、モビリティアンカーの提供などの他の機能を実行することができる。
【0069】
CN115は、他のネットワークとの通信を容易にし得る。例えば、CN115は、CN115とPSTN108との間のインタフェースとして働くIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよいか、またはそれと通信してよい。さらに、CN115は、他のサービスプロバイダによって所有および/または動作される他の有線および/または無線ネットワークを含み得る他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得る。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インタフェース、およびUPF184a、184bとローカルデータネットワーク(DN)185a、185bとの間のN6インタフェースを介して、UPF184a、184bを通ってDN185a、185bに接続され得る。
【0070】
図1A~1Dと、図1A~1Dの対応する記述とに鑑みて、WTRU102a~d、基地局114a~b、eノードB160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~bおよび/または本明細書に記載の他の任意のデバイスのうちの1つまたは複数に関する、本明細書に記載の機能のうちの1つ若しくは複数または全てが、1つまたは複数のエミュレーションデバイス(図示せず)によって実施されてよい。エミュレーションデバイスは、本明細書に記載の機能のうちの1つ若しくは複数または全てをエミュレートするように構成された1つまたは複数のデバイスであってよい。例えば、エミュレーションデバイスは、他のデバイスをテストするため、並びに/またはネットワークおよび/若しくはWTRU機能をシミュレートするために使用されてよい。
【0071】
エミュレーションデバイスは、ラボ環境および/またはオペレータネットワーク環境で他のデバイスの1つまたは複数のテストを実装するように設計することができる。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/または無線通信ネットワークの一部として完全にまたは部分的に実装および/またはデプロイされて、1つ若しくは複数または全ての機能を実施することができる。1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として一時的に実装/デプロイされて、1つ若しくは複数または全ての機能を実施することができる。エミュレーションデバイスは、テストの目的で別のデバイスに直接結合することができ、および/または無線通信を使用してテストを実行することができる。
【0072】
1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として実装/デプロイされずに、全ての機能を含めた1つまたは複数の機能を実施することもできる。例えば、エミュレーションデバイスは、1つまたは複数のコンポーネントのテストを実装するために、テスト用ラボにおけるテスト用シナリオで、かつ/または非デプロイ(例えばテスト用の)有線および/若しくは無線通信ネットワークにおけるテスト用シナリオで、利用されてよい。1つまたは複数のエミュレーションデバイスは、テスト機器であってよい。直接RF結合、および/または、RF回路(例えば、1つ若しくは複数のアンテナを備え得る)を介した無線通信が、エミュレーションデバイスによって使用されて、データが送信および/または受信されてよい。
【0073】
この出願は、ツール、機能、例や実施形態、モデル、アプローチなどを含む様々な態様を説明する。これらの態様の多くは具体的に説明されており、少なくとも個々の特性を示すために、制限的に聞こえるかもしれない方法で説明されることが多い。ただし、これは説明を明確にするためのものであり、これらの態様の適用または範囲を制限するものではない。実際、様々な態様の全てを組み合わせて交換し、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせて交換することもできる。
【0074】
この出願で説明および検討されている態様は、様々な形式で実装できる。本明細書に記載の図5図8は、いくつかの実施形態を提供し得るが、他の実施形態が企図される。図5および図8の議論は、実装の幅を制限するものではない。少なくとも1つの態様は、一般に、ビデオの符号化および復号に関連し、少なくとも1つの他の態様は、一般に、生成または符号化されたビットストリームの送信に関連する。これらおよび他の態様は、方法、装置、本明細書に記載された方法のいずれかに従ってビデオデータを符号化または復号するための命令を記憶したコンピュータ可読記憶媒体、および/または本明細書に記載された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装することができる。
【0075】
本願では、「再構成された」および「復号された」という用語は交換可能に使用でき、「ピクセル」および「サンプル」という用語は交換可能に使用でき、「画像」、「ピクチャ」および「フレーム」という用語は交換可能に使用できる。
【0076】
様々な方法が本明細書に記載されており、各方法は、記載された方法を達成するための1つまたは複数のステップまたはアクションを含む。方法の適切な動作のために特定のステップまたはアクションの順序が必要でない限り、特定のステップおよび/またはアクションの順序および/または使用は、変更され、または組み合わせ得る。さらに、「第1の」、「第2の」などの用語は、例えば、「第1の復号」および「第2の復号」などの要素、構成要素、ステップ、動作などを変更するために様々な実施形態で使用され得る。このような用語の使用は、特に必要な場合を除き、変更された操作の順序を意味するものではない。したがって、この例では、第1の復号は、第2の復号の前に実行される必要はなく、例えば、第2の復号の前、第2の復号の間中、または第2の復号との重複期間内に発生し得る。
【0077】
本願に記載の様々な方法および他の態様は、モジュール、例えば、図2および図3に示されるようなエンコーダ200およびデコーダ300のイントラ予測モジュール、エントロピー符号化モジュールおよび/または復号モジュール(260、360、245、330)を修正する(ために使用される)ことができる。さらに、本明細書に開示される主題は、VVCまたはHEVCに限定されない態様を提示し、例えば、標準または推奨に記載されているかどうかにかかわらず、既存であるか将来的に開発されるかどうかにかかわらず、任意のタイプ、フォーマット、またはバージョンのビデオコーディング、およびそのような標準および推奨の拡張(VVCおよびHEVEを含む)に適用することができる。特に明記されていない限り、または技術的に排除されていない限り、本願に記載の態様は、個別にまたは組み合わせて使用できる。
【0078】
ビット値ロジック(例えば、0または1の値のロジック)、数値範囲(例えば、0~255)、CCC SEIメッセージのペイロードタイプ値が12であり、AA SEIメッセージのペイロードタイプ値が13であるなど、様々な数値が本願で説明する例では使用される。これらおよび他の特定の値は、例を説明するためのものであり、説明される態様は、これらの特定の値に限定されない。
【0079】
図2は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ200の変形が企図されるが、エンコーダ200は、予想される全ての変形を説明することなく、明確にするために以下に説明される。
【0080】
符号化される前に、ビデオシーケンスは、符号化前処理(101)を受けることができ、例えば、入力カラーピクチャに色変換を適用し(例えば、RGB4:4:4からYCbCr4:2:0への変換)、または、信号分布を圧縮に対してより弾力性のあるものにするために、入力ピクチャ成分の再マッピングを実行する(例えば、色成分の1つのヒストグラム均等化を使用して)ことができる。メタデータは、前処理に関連付けて、ビットストリームに添付することができる。
【0081】
エンコーダ200では、ピクチャは、以下に説明するように、エンコーダ要素によって符号化される。符号化されるピクチャは、分割され(202)、例えば、符号化ユニット(CU:Coding Unit)の単位で処理される。各ユニットは、例えば、イントラモードまたはインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されると、イントラ予測が実行される(260)。インターモードでは、動き推定(275)と動き補償(270)が実行される。エンコーダは、ユニットを符号化するためにイントラモードまたはインターモードのどちらを使用するかを決定し(205)、例えば、予測モードフラグによってイントラモード/インターモードの決定を示す。予測残差は、例えば、元の画像ブロックから予測ブロックを減算(210)することによって計算される。
【0082】
予測残差は、変換され(225)、量子化される(230)。量子化された変換係数、および動きベクトルやその他の構文要素は、ビットストリームを出力するためにエントロピー符号化(245)される。エンコーダは、変換をスキップし、変換されていない残差信号に直接量子化を適用することができる。エンコーダは、変換と量子化の両方をバイパスでき、つまり、残差は、変換または量子化プロセスの適用なしで直接コード化される。
【0083】
エンコーダは、符号化されたブロックを復号して、さらなる予測のための参照を提供する。量子化された変換係数は、予測残差を復号するために逆量子化(240)および逆変換(250)される。復号された予測残差と予測ブロックを組み合わせて(255)、画像ブロックが再構築される。ループ内フィルタ(265)は、再構成された画像に適用されて、例えば、符号化アーチファクトを低減するための非ブロック化/SAO(サンプル適応オフセット)フィルタリングを実行する。フィルタリングされた画像は、参照ピクチャバッファ(280)に保存される。
【0084】
図3は、ビデオデコーダの例を示す図である。例示的なデコーダ300では、ビットストリームは、以下に説明するように、デコーダ要素によって復号される。ビデオデコーダ300は、一般に、図2に記載されているように、符号化パスと逆の復号パスを実行する。エンコーダ200はまた、一般に、ビデオデータの符号化の一部としてビデオ復号を実行することができる。例えば、エンコーダ200は、本願で提示するビデオ復号ステップの1つまたは複数を実行することができる。エンコーダは、復号された画像を再構築して、例えば、参照ピクチャ、エントロピー符号化コンテキスト、および他のデコーダ関連の状態変数のうちの1つまたは複数に関してデコーダとの同期を維持する。
【0085】
特に、デコーダの入力は、ビデオビットストリームを含むが、これはビデオエンコーダ200によって生成され得る。ビットストリームは、変換係数、動きベクトル、および他のコード化された情報を取得するために、最初にエントロピー復号される(330)。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。従って、デコーダは、復号されたピクチャ分割情報に従ってピクチャを分割(335)することができる。変換係数は、予測残差を復号するために逆量子化(340)および逆変換(350)される。復号された予測残差と予測ブロックを組み合わせて(355)、画像ブロックが再構築される。予測ブロックは、イントラ予測(360)または動き補償予測(すなわち、インター予測)(375)から取得できる(370)。ループ内フィルタ(365)は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(380)に保存される。
【0086】
復号された画像は、復号後処理(385)、例えば逆色変換(例えば、YCbCr4:2:0からRGB4:4:4に変換)、または符号化前処理(201)において実施された再マッピング処理の逆を実施する逆再マッピングをさらに受けることができる。復号後処理では、符号化前処理で導出され、ビットストリームで通知されるメタデータを使用できる。
【0087】
図4は、本願に記載の様々な態様および実施形態が実装されているシステムの例を示す図である。システム400は、以下に説明する様々な構成要素を含むデバイスとして具体化することができ、この文書に記載される1つまたは複数の態様を実行するように構成される。このようなデバイスの例には、限定されるわけではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、コネクテッド家電製品、およびサーバなどの様々な電子デバイスが含まれる。システム400の要素は、単独でまたは組み合わせて、単一の集積回路(IC)、複数のIC、および/または個別の構成要素で具体化することができる。例えば、少なくとも1つの実施形態では、システム400の処理要素およびエンコーダ/デコーダ要素は、複数のICおよび/または個別の構成要素にわたって分散されている。様々な実施形態では、システム400は、例えば、通信バスを介して、または専用の入力および/または出力ポートを介して、1つまたは複数の他のシステムまたは他の電子デバイスに通信可能に結合される。様々な実施形態では、システム400は、本願に記載されている態様のうちの1つまたは複数を実装するように構成される。
【0088】
システム400は、例えば、本願に記載されている様々な態様を実施するために、そこにロードされた命令を実行するように構成された少なくとも1つのプロセッサ410を含む。プロセッサ410は、エンベデッドメモリ、入出力インタフェース、および当技術分野で知られている他の様々な回路を含むことができる。システム400は、少なくとも1つのメモリ420(例えば、揮発性メモリデバイス、および/または不揮発性メモリデバイス)を含む。システム400は、不揮発性メモリおよび/または揮発性メモリを含み得る記憶装置440を含むが、これには、限定されるわけではないが、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)、PROM(Programmable Read-Only Memory)、RAM(Random Access Memory)、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブが含まれる。記憶装置440は、非限定的な例として、内蔵型記憶装置、接続型記憶装置(取り外し可能および取り外し不可能な記憶装置を含む)、および/またはネットワークアクセス可能な記憶装置を含むことができる。
【0089】
システム400は、例えば、データを処理して符号化されたビデオまたは復号されたビデオを提供するように構成されたエンコーダ/デコーダモジュール430を含み、エンコーダ/デコーダモジュール430は、それ自体のプロセッサおよびメモリを含むことができる。エンコーダ/デコーダモジュール430は、符号化および/または復号機能を実行するためにデバイスに含めることができるモジュールを表す。知られているように、デバイスは、符号化モジュールおよび復号モジュールの一方または両方を含むことができる。さらに、エンコーダ/デコーダモジュール430は、システム400の別個の要素として実装することができ、または当業者に知られているように、ハードウェアおよびソフトウェアの組み合わせとしてプロセッサ410内に組み込むことができる。
【0090】
本明細書に記載された様々な態様を実行するためにプロセッサ410またはエンコーダ/デコーダ430にロードされるプログラムコードは、記憶装置440に格納され、その後、プロセッサ410による実行のためにメモリ420にロードされ得る。様々な実施形態によれば、プロセッサ410、メモリ420、記憶装置440、およびエンコーダ/デコーダモジュール430のうちの1つまたは複数は、本明細書に記載されたプロセスの実行中に様々なアイテムのうちの1つまたは複数を記憶することができる。そのような格納されたアイテムは、限定されるわけではないが、入力ビデオ、復号されたビデオまたは復号されたビデオの一部、ビットストリーム、行列、変数、並びに方程式、式、演算、および論理演算の処理からの中間または最終結果を含むことができる。
【0091】
いくつかの実施形態では、プロセッサ410および/またはエンコーダ/デコーダモジュール430の内部のメモリは、命令を格納し、符号化または復号中に必要とされる処理のためのワーキングメモリを提供するために使用される。しかしながら、他の実施形態では、処理装置の外部のメモリ(例えば、処理装置は、プロセッサ410またはエンコーダ/デコーダモジュール430のいずれかであり得る)が、これらの機能のうちの1つまたは複数のために使用される。外部メモリは、メモリ420および/または記憶装置440、例えば、動的揮発性メモリおよび/または不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを格納する。少なくとも1つの実施形態では、RAMなどの高速外部動的揮発性メモリが、ビデオ符号化および復号操作のためのワーキングメモリとして使用される。ビデオ符号化および復号操作には、MEPG-2(MPEGは、Moving Picture Experts Groupを指し、MPEG-2は、ISO/IEC13818とも称されており、13818-1はH.222としても知られ、13818-2はH.262としても知られている)、HEVC(HEVCは、高効率ビデオコーディングを指し、H.265およびMPEG-H Part2としても知られている)、またはVVC(Versatile Video Coding、JVET(Joint Video Experts Team)によって開発されている新しい標準)などが含まれる。
【0092】
システム400の要素への入力は、ブロック445に示されるように、様々な入力デバイスを介して提供され得る。このような入力デバイスには、限定されるわけではないが(i)例えば放送局によって無線で送信されたRF信号を受信する無線周波数(RF)部分、(ii)コンポーネント(COMP)入力端子(またはCOMP入力端子のセット)、(iii)ユニバーサルシリアルバス(USB)入力端子、および/または(iv)HDMI(登録商標)(High Definition Multimedia Interface)入力端子が含まれる。図4には示されていない他の例は、コンポジットビデオを含む。
【0093】
様々な実施形態では、ブロック445の入力デバイスは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択し(信号を選択する、または信号を周波数の帯域に帯域制限するとも呼ばれる)、(ii)選択された信号をダウンコンバートし、(iii)特定の実施形態においてチャネルと呼ぶことができる信号周波数帯域を選択するために(例えば)周波数のより狭い帯域に再び帯域制限し、(iv)ダウンコンバートされ帯域制限された信号を復調し、(v)エラー修正を実行し、および(vi)データパケットの所望のストリームを選択するために逆多重化する、のに適した要素に関連付けることができる。様々な実施形態のRF部分は、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー補正器、およびデマルチプレクサを実行するための1つまたは複数の要素を含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数または近ベースバンド周波数)またはベースバンドにダウンコンバートすることを含む、これらの様々な機能を実行するチューナーを含むことができる。1つのセットトップボックスの実施形態では、RF部分およびその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、フィルタリング、ダウンコンバート、および所望の周波数帯域への再フィルタリングによって周波数選択を実行する。様々な実施形態は、上記の(および他の)要素の順序を再配置し、これらの要素のいくつかを削除し、および/または同様の、または異なる機能を実行する他の要素を追加する。要素の追加には、例えば、増幅器やアナログ-デジタル変換器の挿入など、既存の要素の間に要素を挿入することが含まれる。様々な実施形態において、RF部分はアンテナを含む。
【0094】
さらに、USBおよび/またはHDMI端子は、USBおよび/またはHDMI接続を介してシステム400を他の電子デバイスに接続するためのそれぞれのインタフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、別個の入力処理IC内またはプロセッサ410内に実装され得ることが理解されるべきである。同様に、USBまたはHDMIインタフェース処理の態様は、必要に応じて、別個のインタフェースIC内またはプロセッサ410内で実装できる。復調され、誤り訂正され、逆多重化されたストリームは、例えば、プロセッサ410、およびメモリおよびストレージ要素と組み合わせて動作するエンコーダ/デコーダ430を含む様々な処理要素に提供され、出力デバイス上での提示に必要なデータストリームを処理する。
【0095】
システム400の様々な要素を統合ハウジング内に提供することができる。統合ハウジング内で、様々な要素を相互接続し、適切な接続構成425、例えば、インターIC(I2C)バス、配線、およびプリント回路基板を含む当技術分野で知られている内部バスを使用してそれらの間でデータを送信することができる。
【0096】
システム400は、通信チャネル460を介して他のデバイスとの通信を可能にする通信インタフェース450を含む。通信インタフェース450は、限定されるわけではないが、通信チャネル460を介してデータを送信および受信するように構成されたトランシーバを含むことができる。通信インタフェース450は、限定されるわけではないが、モデムまたはネットワークカードを含むことができ、通信チャネル460は、例えば、有線および/または無線媒体内に実装することができる。
【0097】
データは、様々な実施形態において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、電気電子技術者協会を指す)などの無線ネットワークを使用して、システム400にストリーミングされるか、さもなければ提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合された通信チャネル460および通信インタフェース450を介して受信される。これらの実施形態の通信チャネル460は、典型的には、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続されている。他の実施形態は、入力ブロック445のHDMI接続を介してデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム400に提供する。さらに他の実施形態は、入力ブロック445のRF接続を使用して、ストリーミングされたデータをシステム400に提供する。上述したように、様々な実施形態は、非ストリーミング方式でデータを提供する。さらに、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラーネットワークまたはブルートゥース(登録商標)ネットワークを使用する。
【0098】
システム400は、ディスプレイ475、スピーカ485、および他の周辺機器495を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ475は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、および/または折り畳み式ディスプレイのうちの1つまたは複数を含む。ディスプレイ475は、テレビ、タブレット、ラップトップ、携帯電話(移動電話)、または他のデバイス用であり得る。ディスプレイ475はまた、他の構成要素(例えば、スマートフォンのように)と統合することも、または別個に(例えば、ラップトップ用の外部モニタ)統合することもできる。他の周辺機器495は、実施形態の様々な例において、1つまたは複数のスタンドアロンデジタルビデオディスク(またはデジタル多用途ディスク)(両方の用語でDVR)、ディスクプレーヤ、ステレオシステム、および/または照明装置を含む。様々な実施形態は、システム400の出力に基づく機能を提供する1つまたは複数の周辺機器495を使用する。例えば、ディスクプレーヤは、システム400の出力を再生する機能を実行する。
【0099】
様々な実施形態では、制御信号は、システム400と、ディスプレイ475、スピーカ485または他の周辺機器495との間で、AVリンク、CEC(Consumer Electronics Control)、ユーザの介入の有無に関わらずデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインタフェース470、480、および490を介した専用接続を介してシステム400に通信可能に結合され得る。あるいは、出力デバイスは、通信インタフェース450を介して通信チャネル460を使用してシステム400に接続され得る。ディスプレイ475およびスピーカ485は、例えば、テレビなどの電子デバイス内のシステム400の他の構成要素と単一のユニットに統合することができる。様々な実施形態では、ディスプレイインタフェース470は、例えば、タイミングコントローラ(T Con)チップなどのディスプレイドライバを含む。
【0100】
あるいは、ディスプレイ475およびスピーカ485は、例えば、入力445のRF部分が別個のセットトップボックスの一部である場合、他の構成要素の1つまたは複数から分離することができる。ディスプレイ475およびスピーカ485が外部コンポーネントである様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、またはCOMP出力を含む専用の出力接続を介して提供することができる。
【0101】
実施形態は、プロセッサ410によって、またはハードウェアによって、またはハードウェアとソフトウェアの組み合わせによって実装されるコンピュータソフトウェアによって実行され得る。非限定的な例として、実施形態は、1つまたは複数の集積回路によって実施することができる。メモリ420は、技術環境に適切な任意のタイプのものであり得、非限定的な例としての、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、およびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装することができる。プロセッサ410は、技術環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの1つまたは複数を包含することができる。
【0102】
様々な実装には、復号が含まれる。本願で使用される「復号」は、表示に適した最終出力を生成するために、例えば、受信した符号化シーケンスに対して実行されるプロセスの全てまたは一部を含むことができる。様々な実施形態では、そのようなプロセスは、典型的にはデコーダによって実行される1つまたは複数のプロセス、例えば、エントロピー復号、逆量子化、逆変換、および差動復号を含む。様々な実施形態では、そのようなプロセスはまた、あるいは代わりに、本願で説明される様々な実装のデコーダによって実行されるプロセス、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示されているどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいてビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを決定すること、アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号すること、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示されている複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すメッセージを受信すること、メッセージに基づいて、アクティブな属性サブビットストリームと非アクティブな属性サブビットストリームを決定すること、アクティブな属性サブビットストリームを受信すること、アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号し、非アクティブな属性サブビットストリームをスキップすること、メッセージに基づいて非アクティブな属性サブビットストリームを決定すること、パラメータセットに示されているがメッセージには示されていない属性サブビットストリームが非アクティブな属性サブビットストリームであると決定すること、ビジュアルボリュメトリックコンテンツの復号のために非アクティブな属性サブビットストリームをスキップすること、等を含む。
【0103】
さらなる例として、一実施形態では、「復号」は、エントロピー復号のみを指し、別の実施形態では、「復号」は、差動復号のみを指し、別の実施形態では、「復号」は、エントロピー復号と差動復号の組み合わせを指す。「復号プロセス」という用語が、具体的に操作のサブセットを指すことを意図するのか、または一般により広い復号プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によく理解されるであろう。
【0104】
様々な実装には、符号化が含まれる。「復号」に関する上記の説明と同様に、本願で使用される「符号化」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに実行されるプロセスの全てまたは一部を含むことができる。様々な実施形態では、そのようなプロセスは、典型的にはエンコーダによって実行される1つまたは複数のプロセス、例えば、分割、差動符号化、変換、量子化、およびエントロピー符号化を含む。様々な実施形態では、そのようなプロセスはまた、または代わりに、本願で説明される様々な実装のエンコーダによって実行されるプロセス、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示されている複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを決定すること、ビットレートアダプテーションに基づいてビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示されている複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを決定すること、属性サブビットストリームの非アクティブ化を示すメッセージを生成して送信すること、等を含む。
【0105】
さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差動符号化のみを指し、別の実施形態では、「符号化」は、差動符号化とエントロピー符号化の組み合わせを指す。「符号化プロセス」という用語が、具体的に操作のサブセットを指すことを意図するのか、または一般により広い符号化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によく理解されるだろう。
【0106】
表1~表7、および本明細書で提示されている説明や図面で示されている構文要素などの、本明細書で使用されている構文要素は、説明的な用語であることに留意されたい。そのため、それらは、他の構文要素名の使用を排除するものではない。
【0107】
図がフロー図として提示される場合、それは対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示される場合、それは対応する方法/プロセスのフロー図も提供することを理解されたい。
【0108】
符号化プロセスの間、計算の複雑さの制約を考慮して、レートと歪みの間のバランスまたはトレードオフが通常考慮される。レート歪みの最適化は、通常、レートの加重和と歪みの加重和であるレート歪み関数を最小化するものとして定式化される。レート歪みの最適化問題を解決するには、様々なアプローチがある。例えば、アプローチは、考慮される全てのモードまたはコーディングパラメータ値を含む全ての符号化オプションの広範なテストに基づいており、コーディングおよびデコード後の再構成された信号のコーディングコストおよび関連する歪みを完全に評価する。特に、再構成された信号ではなく、予測または予測残差信号に基づく近似歪みの計算で、符号化の複雑さを節約するために、より高速なアプローチを使用することもできる。可能な符号化オプションの一部のみに近似歪みを使用し、他の符号化オプションには完全な歪みを使用するなど、これら2つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチは最適化を実行するために様々な手法のいずれかを採用するが、最適化は必ずしもコーディングコストと関連する歪みの両方の完全な評価ではない。
【0109】
本明細書に記載の実装および態様は、例えば、方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装することができる。単一の形式の実装(例えば、方法としてのみ説明)のコンテキストでのみ説明されている場合でも、説明されている機能の実装は、他の形式(例えば、装置またはプログラム)で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能ロジックデバイスを含む、一般に処理デバイスを指すプロセッサに実装することができる。プロセッサには、例えば、コンピュータ、携帯電話、携帯情報端末(PDA)などの通信デバイス、およびエンドユーザ間の情報の通信を容易にする他のデバイスも含まれる。
【0110】
「一実施形態」、「実施形態」、「一例」、「一実装」または「実装」、並びにそれらの他の変形例への言及は、実施形態に関連して説明される特定の特徴、構造、特性などが少なくとも1つの実施形態に含まれることを意味する。従って、本願中の様々な場所に現れる「一実施形態において」、「実施形態において」、「一例において」、「一実装において」または「実装において」並びに他の任意の変形の記載の出現は、同じ実施形態または例を必ずしも全て指すとは限らない。
【0111】
さらに、本願は、様々な情報の「決定」を参照する場合がある。情報の決定は、例えば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の検索のうちの1つまたは複数を含むことができる。取得には、受信、検索、構築、生成、および/または決定が含まれる場合がある。
【0112】
さらに、本願は、様々な情報への「アクセス」を指す場合がある。情報へのアクセスは、例えば、情報の受信、情報の検索(例えば、メモリから)、情報の保存、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測、または情報の推定のうちの1つまたは複数を含むことができる。
【0113】
さらに、本願は、様々な情報の「受信」を指す場合がある。受信とは、「アクセス」と同様に、広義の用語を意味する。情報の受信は、例えば、情報へのアクセス、または(例えば、メモリからの)情報の検索のうちの1つまたは複数を含むことができる。さらに、「受信」は、典型的には、例えば、情報の保存、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定などの操作中に何らかの形で含まれる。
【0114】
例えば、「A/B」、「Aおよび/またはB」および「AおよびBの少なくとも1つ」の場合における、「/」、「および/または」および「少なくとも1つ」のいずれかの使用は、最初にリストされたオプション(A)のみの選択、または2番目にリストされたオプション(B)のみの選択、または両方のオプション(AおよびB)の選択を含むことを意図していることが理解されるべきである。さらなる例として、「A、B、および/またはC」および「A、B、およびCの少なくとも1つ」の場合、そのような言い回しは、1番目にリストされたオプション(A)のみの選択、または2番目にリストされたオプション(B)のみの選択、または3番目にリストされたオプション(C)のみの選択、または1番目と2番目にリストされたオプション(AとB)のみの選択、または1番目と3番目にリストされたオプション(AとC)のみの選択、または2番目と3番目にリストされたオプション(BとC)のみの選択、または3つ全てのオプション(AとBとC)の選択を含んでいることを意図している。これは、当業者および関連分野の者に明らかなように、記載されている数の項目について拡張することができる。
【0115】
また、本明細書で使用される場合、「信号」という用語は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、いくつかの実施形態では、(例えば、デコーダへの)エンコーダ信号は、復号のためのビデオコンポーネントサブビットストリーム、復号のためのビデオコンポーネントコーデックの変更またはアクティブ/非アクティブコーデック、復号のためのビデオコンポーネント属性変更またはアクティブ/非アクティブ属性、復号のためのビデオコンポーネントの属性セットの変更またはアクティブ/非アクティブなパラメータセットなどに変化する。このように、一実施形態では、同じパラメータがエンコーダ側とデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用できるように、特定のパラメータをデコーダに送信(明示的なシグナリング)することができる。逆に、デコーダがすでに他のパラメータと同様に特定のパラメータを持っている場合は、特定のパラメータを送信せずにシグナリングを使用して(暗黙のシグナリング)、デコーダが特定のパラメータを認識して選択できるようにすることができる。実際の機能の送信を回避することにより、様々な実施形態でビット節約が実現される。シグナリングは様々な方法で達成できることが理解されるべきである。例えば、1つまたは複数の構文要素、フラグなどは、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は「シグナル」という単語の動詞形式に関するものであるが、「シグナル」という単語は本明細書では名詞として使用することもできる。
【0116】
当業者に明らかであるように、実装は、例えば、格納または送信することができる情報を運ぶようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令または説明された実装の1つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを運ぶようにフォーマットされ得る。そのような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)またはベースバンド信号としてフォーマットすることができる。フォーマットには、例えば、データストリームの符号化、および符号化されたデータストリームを有するキャリアの変調が含まれ得る。信号が運ぶ情報は、例えば、アナログ情報またはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンクを介して送信され得る。信号は、プロセッサで読み取り可能な媒体に保存できる。
【0117】
ここで説明する例は、3Dコンテンツに適用できる場合がある。ここで説明する例は、ビジュアルボリュメトリックコンテンツに適用できる場合がある。ビジュアルボリュメトリックコンテンツは、ポイントクラウドでキャプチャされる場合がある。ビジュアルボリュメトリックコンテンツは、没入型ビデオコンテンツにキャプチャされる場合がある。本明細書で説明される例は、ビデオベースのポイントクラウド圧縮(V-PCC)またはビジュアルボリュメトリックビデオベースのコーディング(V3C)に適用可能であり得る。例えば、特定の例はV-PCCの観点から説明できるが、例はV3Cにも同様に適用できる。従って、ある意味で、これらの用語は互換的に使用でき、V-PCCの観点から説明した例はV3Cにも同様に適用できる。
【0118】
3Dポイントクラウドは、3Dコンテンツ(例えば、没入型メディア)を表すために使用できる。ポイントクラウドは、3次元(3D)空間で表される点のセットを含むことができる。(例えば、各)ポイントは、ポイントの位置および/または1つまたは複数の属性(例えば、ポイントの色、透明度、取得時間、レーザーの反射率または材料特性など)を示す座標に関連付けることができる。ポイントクラウドは、例えば、1つまたは複数のカメラ、深度センサ、および/または光検出および測距(LiDAR)レーザースキャナを使用してキャプチャまたはデプロイできる。ポイントクラウドは、複数の点を含む場合がある。(例えば、各)ポイントは、3次元(3D)空間にマッピングされる一連の座標(例えば、x、y、z座標)で表すことができる。オブジェクトのサンプリングに基づいて点(point)を生成することができる。例では、ポイントクラウド内の点の数は数百万または数十億のオーダーである可能性がある。ポイントクラウドを使用して、1つまたは複数のオブジェクトおよび/またはシーンを再構築できる。
【0119】
デコードとエンコードを含むV3Cを使用して、3Dコンテンツを処理できる。ボリュメトリックコンテンツは、例えば、効率的に保存および送信されるように、表現および/または圧縮され得る。ボリュメトリックコンテンツは、ビジュアルボリュメトリックコンテンツを含み得る。ビジュアルボリュメトリックコンテンツは、ビジュアルボリュメトリックビデオベースのコーディング(V3C)および/またはビデオベースのポイントクラウド圧縮(V-PCC)に基づいて処理され得る。ビジュアルボリュメトリックコンテンツは、V3CコンテンツまたはV-PCCコンテンツを含むことができる。
【0120】
V3Cは、ポイントクラウド圧縮に基づく場合がある。ポイントクラウド圧縮は、ポイントクラウドの幾何学的座標および/または属性のロッシーおよび/またはロスレスコーディング(例えば、符号化または復号)をサポートし得る。ポイントクラウドは、様々なアプリケーション(例えば、テレプレゼンス、仮想現実(VR)、大規模なダイナミック3Dマップ)をサポートするためにデプロイされ得る。
【0121】
図5は、V-PCC(video-based point cloud compression)のビットストリーム構造の例を示す。図5に示されるように、ビデオビットストリームが生成され得る。V-PCCビットストリームは、例えば、生成されたビデオビットストリームおよびそれぞれのメタデータを一緒に多重化することによって生成され得る。
【0122】
V-PCCビットストリームは、例えば、図5に示されるように、V-PCCユニットのセットを含み得る。表1は、V-PCCユニットの構文例を示しており、これには、V-PCCユニットヘッダおよびV-PCCユニットペイロードが含まれ得る。表2は、V-PCCユニットヘッダの構文例を示す。表3は、V-PCCユニットペイロードの構文例を示す。V-PCCユニットヘッダには、(例えば、表2に示されるように)V-PCCユニットタイプの表示を含めることができる。例では、ユニットタイプがVPCC_OVD、VPCC_GVD、またはVPCC_AVDであるV-PCCユニットは、例えば、占有、ジオメトリ、および/または属性データユニットを含み得る。占有率、ジオメトリ、および/または属性データユニットの3つのコンポーネントを使用して、ビジュアルボリュメトリックコンテンツ(例えば、ポイントクラウドで表される)を再構築できる。V-PCC属性ユニットヘッダは、属性タイプと、属性タイプに関連付けられ得るインデックスを示す場合がある。属性タイプのインスタンスが複数存在する場合がある。
【0123】
占有、ジオメトリ、および属性のV-PCCユニットを含むペイロードは、ビデオコーダー(例えば、デコーダ)によってデコードされ得るビデオデータユニット(例えば、ネットワーク抽象レイヤ(NAL)ユニット)に対応することがあり、対応する占有、ジオメトリ、および属性パラメータセットV-PCCユニットにおいて指定され得る。
【0124】
【表1】
【0125】
【表2】
【0126】
【表3】
【0127】
メディアコンテンツのコード化(例えば、符号化または復号)、再構成、表示などに関連する1つまたは複数のプロセスを支援するために、1つまたは複数のメッセージ(例えば、補足的な付加情報メッセージ)を使用することができる。
【0128】
ネットワーク配信条件の変化は、動的に適応させることができる。例えば、HTTPを介したMPEG動的適応型ストリーミング(MPEG-DASH)は、例えば、エンドユーザエクスペリエンスを提供するために、ネットワーク配信条件の変化に動的に適応できる配信形式である。
【0129】
動的HTTPストリーミングは、サーバで利用可能な1つまたは複数のビットレートでマルチメディアコンテンツを配信することができる。マルチメディアコンテンツは、複数のメディアコンポーネント(例えば、オーディオ、ビデオ、テキスト)を含む場合がある。メディアコンポーネントが異なれば、特性も異なり得る。メディアコンポーネントの特性は、例えば、メディアプレゼンテーション記述(MPD:media presentation description)によって記述され得る。
【0130】
図6は、例示的なMPD階層データモデルを示す。図6に示されるように、MPDは、一連の期間(例えば、時間間隔)を記述し得る。例えば、メディアコンテンツコンポーネントの符号化バージョンのセットは、期間中に変更されない場合がある。期間は、開始時間と期間に関連付けることができる。期間は、1つまたは複数のアダプテーションセット(例えば、図6に示されるアダプテーションセット1などのアダプテーションセット)から構成され得る。DASHストリーミングクライアントは、例えば、図1A図1Dに関して本明細書で説明されるような、WTRUであり得る。
【0131】
アダプテーションセットは、言語、メディアタイプ、画像アスペクト比、役割、アクセシビリティ、視点、評価プロパティなどのうちの1つまたは複数などの、(例えば、同一の)プロパティを共有する1つまたは複数の(例えば、いくつかの)メディアコンテンツコンポーネントの符号化バージョンのセットを表すことができる。例えば、アダプテーションセットは、マルチメディアコンテンツのビジュアルコンポーネントの様々なビットレートを含むことができる。アダプテーションセットは、(例えば、同じ)マルチメディアコンテンツのオーディオコンポーネント(例えば、低品質のステレオおよび/または高品質のサラウンド音響)の異なるビットレートを含む場合がある。アダプテーションセットは、複数のリプレゼンテーションを含む場合がある。
【0132】
リプレゼンテーションは、1つまたは複数(例えば、いくつか)のメディアコンポーネントの配送可能な符号化バージョンを記述する場合がある。リプレゼンテーションは、例えば、ビットレート、解像度、チャネル数、および/または他の特性によって他の表現とは異なる場合がある。リプレゼンテーションは、1つまたは複数のセグメントを含むことができる。リプレゼンテーション要素の属性(例えば、@id、@bandwidth、@qualityRankingおよび@dependencyId)は、(例えば、)リプレゼンテーションの1つまたは複数のプロパティを指定(するために使用)できる。
【0133】
セグメントは、リクエスト(例えば、HTTPリクエスト)で取得できる。(例えば、各)セグメントは、URL(例えば、サーバー上のアドレス可能な場所)を含む場合がある。セグメントは、例えば、HTTP GETまたはバイト範囲を持つHTTP GETを使用してダウンロードできる。
【0134】
DASHクライアントは、MPD XMLドキュメントを解析することができる。DASHクライアントは、例えば、アダプテーションセットの要素に基づいて、アダプテーションセットのコレクション(例えば、その環境に適したもの)を選択できる。クライアントは、アダプテーションセット(例えば、それぞれのアダプテーションセット内)の(例えば、1つの)リプレゼンテーションを選択できる。クライアントは、たとえば、@bandwidth属性の値、クライアントコーディング機能、および/またはクライアントレンダリング機能に基づいてリプレゼンテーションを選択できる。クライアントは、選択したリプレゼンテーションの初期化セグメントをダウンロードできる。クライアントは、コンテンツにアクセスできる(例えば、セグメント全体またはセグメントのバイト範囲を要求することによって)。クライアントは、例えば、プレゼンテーションが開始された後、またはプレゼンテーション中に、メディアコンテンツを消費し続ける場合がある。クライアントは、プレゼンテーション中にメディアセグメントおよび/またはメディアセグメントの一部を要求する(例えば、継続的に要求する)ことができる。クライアントは、メディアプレゼンテーションのタイムラインに従ってコンテンツを再生できる。クライアントは、例えば、クライアント環境からの更新された情報に基づいて、第1のリプレゼンテーションから第2のリプレゼンテーションに切り替えることができる。クライアントは、例えば、2つ以上のピリオドにわたって、コンテンツを継続的に再生できる。メディアプレゼンテーション(例えば、セグメントでクライアントによって消費されている)は終了し、ピリオドが開始され、および/または、例えば、リプレゼンテーションにおけるアナウンスされたメディアの終わりに向かって、MPDが再フェッチされ得る。
【0135】
ボリュメトリックコンテンツコンポーネントサブストリームの変更(例えば、アクティブな属性および/またはコーデックの変更)は、デコーダにシグナリングされる場合がある。変更は、例えば、ストリーミングセッションのビットレートアダプテーションプロセスによって引き起こされ得る。
【0136】
バーチャルリアリティ(VR)および没入型3Dグラフィックスなどのマルチメディアアプリケーションは、3Dポイントクラウドで実装され、または3Dポイントクラウドによって表現されることができ、これにより、仮想世界との相互作用および/または通信の更新された形式が可能になる。動的なボリュメトリックコンテンツ(例えば、ポイントクラウドで表される)は、大量の情報を生成することができる。効率的なコーディングアルゴリズムを使用して、ボリュメトリックコンテンツを圧縮し、例えば、ボリュメトリックコンテンツによるストレージおよび/または伝送リソースの使用を減らすことができる。例えば、圧縮された動的ボリュメトリックコンテンツのビットストリームは、非圧縮情報のビットストリームよりも少ない伝送リソースを使用する場合がある。
【0137】
DASHは、ボリュメトリックコンテンツ情報/データを運ぶ(例えば、ストリーミングする)ために使用できる。DASHシグナリングは、DASHボリュメトリックコンテンツデータストリーミングをサポートすることができる。ボリュメトリックコンテンツビットストリームは、複数のコンポーネントサブストリームを含む場合があり、ビットレートアダプテーションのための次元数を増やす場合がある。コンピューティングデバイス(例えば、スマートフォンなどのDASHクライアント)は、コーデックごとに複数のビデオコーデックインスタンスを有する場合がある。DASHクライアント(例えば、WTRU)は、例えば、メディア処理容量または能力に基づいて、またはそれらを管理するために、ボリュメトリックコンテンツコンポーネントのコード化されたメディアバージョンの中から(例えば、動的に)選択することができる。DASHクライアントは、WTRUであってよい。
【0138】
ボリュメトリックコンテンツコンポーネントのコード化されたメディアバージョンの動的な選択は、例えば、クライアントによってサポートされるインスタンスの数、解像度、および/またはコーデックタイプに基づき得る。動的選択のサポートは、例えば、高レベルの構文で実装できる。例えば、V-PCCトラックは、VPCC_SPSなどのV-PCCシーケンスパラメータセット(SPS)を含み得、これは、ビデオ符号化されたコンポーネントサブストリームのためのコーデック識別子(ID)を含み得る。異なるコーデック間の切り替えは、例えば、コンポーネントサブストリームに異なるコーデックIDの組み合わせを持つ複数のVPCC_SPSユニットを使用することによって実装できる。コンテンツ作成者は、コーデックと解像度の様々な組み合わせを含む様々なV-PCCトラックを生成する場合と生成しない場合がある。
【0139】
特定の属性コンポーネントは、ボリュメトリックコンテンツの再構築に使用できない場合がある。ビットレートアダプテーション(例えば、ストリーミングクライアントに利用可能)は、ボリュメトリックコンテンツ(例えば、ポイントクラウド)の再構築に使用できない属性サブビットストリームをドロップする(例えば、ダウンロードしない、または非アクティブ化する)ことによって含まれ得るか、または実装できる。ボリュメトリックコンテンツの再構築に使用される属性の数とそれぞれのインデックスは、VPCC_SPSユニットに格納できる。ボリュメトリックコンテンツデコーダは、例えば、補足的な付加情報(SEI)メッセージ、例えば、コンポーネントコーデック変更(CCC)SEIメッセージなどに基づいて、新しいSPSで再初期化することなく、属性数の変更を処理する(ように構成する)ことができる。
【0140】
ビジュアルメディアコンテンツ処理デバイス(例えば、エンコーダまたはデコーダ)は、属性をドロップすることができ、これには、例えば、属性または属性に関する若しくは属性に関連付けられる情報をダウンロードしないことが含まれ得る。デコーダは、非アクティブな属性をスキップまたは無視することができ、これには、例えば、ビデオビットストリーム内の非アクティブな属性に関する情報または非アクティブな属性に関連付けられる情報(例えば、非アクティブな属性サブビットストリーム)などをデコードしない、デコーダを割り当てない、データを更新しないことを期待または受信しない、使用しないことが含まれ得る。
【0141】
サブストリーム、サブ・ストリーム、およびサブビットストリームは、ビットストリームの一部を参照するために交換可能に使用され得る。サブストリームは属性に関連付けられ、属性サブビットストリームを参照する場合がある。
【0142】
属性(例えば、パラメータセットで示される)は、ボリュメトリックコンテンツを特徴付ける場合がある。属性は、例えば、色、透明度、反射率、テクスチャ、表面法線、タイムスタンプ、マテリアルIDなどのボリュメトリックフレーム内の(例えば、各)ポイントに関連付けることができるスカラーまたはベクトルプロパティを含むことができる。
【0143】
属性情報は、属性数、属性インデックス、属性タイプ、属性ID、コーデックID、属性の永続性、属性の次元またはチャネルの数、属性パーティションなどの属性に関する情報を含むことができる。
【0144】
パラメータセットは、ボリュメトリックコンテンツを特徴付ける属性の属性情報を含むことができる。パラメータセットは、V-PCCコンポーネント(例えば、占有、ジオメトリ、または属性データユニットなどのV-PCCユニット)、コーデック(例えば、占有、ジオメトリ、または属性)、ジオメトリ(例えば、ポイントクラウド内の点の座標)、属性(例えば、変更済み、アクティブ、非アクティブなどのステータスをもつ)、属性情報などの1つまたは複数のパラメータを含むことができる。パラメータセットは、シーケンスパラメータセット(SPS)、コンポーネント変更パラメータセット(CCPS)、ビデオベースのポイントクラウド圧縮パラメータセット(VPS)など、任意のタイプまたは形式にすることができる。
【0145】
SEIメッセージは、ボリュメトリックコンテンツのアダプティブストリーミングをサポートすることができる。例えば、コンポーネントコーデック変更(CCC)SEIメッセージは、1つまたは複数のビジュアルボリュメトリックコンテンツコンポーネントへのコーデック変更をボリュメトリックコンテンツデコーダに通知することができる。CCC SEIメッセージは、ボリュメトリックコンテンツシーケンスパラメータセットを参照することができる。CCC SEIメッセージでシグナリングされるコーデックIDの変更は、参照されるSPSユニットでシグナリングされ得る対応するコンポーネントに関連している(例えば、不随している)可能性がある。ボリュメトリックコンテンツデコーダは、受信したCCC SEIメッセージでシグナリングされたそれぞれのコンポーネントおよびコーデックIDのビデオコーダー(例えば、新しいビデオデコーダ)をインスタンス化することができる。表4は、CCC SEIメッセージの構文例を示す。
【0146】
メッセージ(例えば、CCC SEIメッセージ)は、プレフィックスSEIメッセージを含むことができ、PDG_PREFIX_SEIタイプのパッチデータグループ(PDG)ユニットで伝送される場合がある。例えば、CCC SEIメッセージのペイロードタイプ値を値12に設定できる。CCC SEIメッセージの永続性スコープには、ビットストリームの残りの部分が含まれ得る。例えば、シグナリングされたコンポーネントのコーデックの変更は、ストリームが終了するまで、または別のCCC SEIメッセージが検出されるまで持続する場合がある。
【0147】
ビットレートアダプテーションは、ボリュメトリックコンテンツコンポーネントのリプレゼンテーションを別のリプレゼンテーションに切り替える(例えば、変更または更新する)決定を含むことができる。ボリュメトリックコンテンツストリーミングクライアントは、ビジュアルボリュメトリックコンテンツコンポーネントのリプレゼンテーションを別のリプレゼンテーションに切り替えることを決定することができる。切り替えで使用可能なリプレゼンテーションは、別のコーデックを使用してコーディングできる。例えば、第1のリプレゼンテーションは、AVCを使用して符号化され、第2のリプレゼンテーションは、HEVCを使用して符号化され得る。ボリュメトリックコンテンツストリーミングクライアントは、(例えば、別の利用可能なリプレゼンテーションへの切り替えインジケーションに基づいて)、指示、選択、または選ばれたリプレゼンテーションのコーデックのコーデックIDを含むCCC SEIメッセージを含むVPCC_PDGユニットを挿入できる。VPCC_PDGユニットは、例えば、コーディングデバイス(例えば、デコーダ)に送信されるボリュメトリックコンテンツビットストリームの前に挿入され得る。例えば、ストリーミングクライアントは、ボリュメトリックコンテンツコンポーネントのリプレゼンテーションを、SPS(例えば、V-PCC SPS)で指定されたリプレゼンテーションとは異なるコーデックを使用して符号化されたリプレゼンテーションに変更または更新することを決定することができる。本明細書で説明するように、ボリュメトリックコンテンツコンポーネントのリプレゼンテーションに対する変更または更新は、例えば、ストリーミングセッション中の制限されたネットワーク帯域幅に応答して実行され得る。ボリュメトリックコンテンツコンポーネントのリプレゼンテーションは、ビットレートの低いリプレゼンテーションに変更または更新することができ、これは、例えば、ストリーミングセッション中に利用可能な帯域幅が低い場合(例えば、閾値を下回る場合)、別のコーデックを使用してコード化できる。
【0148】
【表4】
【0149】
CCC SEIメッセージ構文のフィールドのセマンティクス(表4に示されているCCC SEIメッセージ構文の例など)には、例えば、以下の1つ以上が含まれ得る。
【0150】
sps_idなどの変数は、CCC SEIメッセージが関連するビジュアルボリュメトリックコンテンツシーケンスパラメータセット(例えば、V-PCCシーケンスパラメータセット)のIDを示すことができる。
【0151】
occupancy_codec_change_flagなどの変数は、占有コンポーネントのコーデックが変更されたかどうかを示すことができる。例えば、occupancy_codec_change_flagの値が1の場合、コーデックが変更されたことを示し得る。
【0152】
Geometry_codec_change_flagなどの変数は、ジオメトリコンポーネントのコーデックが変更されたかどうかを示すことができる。例えば、geometry_codec_change_flagの値が1の場合、コーデックが変更されたことを示し得る。
【0153】
attributes_codecs_change_flagなどの変数は、1つまたは複数の属性コンポーネントのコーデックが変更されたかどうかを示すことができる。例えば、attributes_codecs_change_flagの値が1の場合は、少なくとも1つの属性のコーデックが変更されたことを示し、attributes_codecs_change_flagの値が0の場合は、どの属性に対してもコーデックの変更が発生していないことを示し得る。
【0154】
occupancy_codec_idなどの変数は、占有マップ情報の新規または更新されたコーデックの識別子を示すことができる。例えば、occupancy_codec_idは、0から255までの範囲内の値に設定できる。
【0155】
Geometry_codec_idなどの変数は、ジオメトリ情報の新規または更新されたコーデックの識別子を示すことができる。例えば、Geometry_codec_idは、0から255までの範囲内の値に設定できる。
【0156】
pcm_geometry_codec_change_flagなどの変数は、PCMコード化ポイントのジオメトリデータのコーデックが変更されたかどうかを示すことができる。例えば、pcm_geometry_codec_change_flagの値が1の場合、コーデックが変更されたことを示し得る。PCMは、パルス符号変調を表す場合がある。いくつかの例では、PCMはポイントクラウドマップを表す場合がある。
【0157】
例えば、pcm_geometry_codec_idなどの変数は、PCMコード化ポイントのジオメトリデータの新しいコーデックの識別子を示す場合がある(例えばPCMコード化ポイントが別のストリームに符号化されている場合)。例えば、pcm_geometry_codec_idの値は、0から255までの範囲内の値に設定できる。
【0158】
attribute_count_minus1、attribute_count_plus1などの変数は、CCC SEIメッセージでコーデックの変更がシグナリングされる属性の数を示す場合がある。
【0159】
attribute_idx[i]などの変数は、関連するSEIメッセージのi番目の属性のボリュメトリックコンテンツシーケンスパラメータセット(例えば、V-PCCシーケンスパラメータセット)の属性インデックスを示す場合がある。
【0160】
attribute_codec_change_flag[i]などの変数は、SEIメッセージのi番目の属性のコーデックが変更されたかどうかを示す場合がある。例えば、attribute_codec_change_flag[i]の値が1の場合、コーデックが変更されたことを示し得る。
【0161】
attribute_codec_id[i]などの変数は、SEIメッセージ内のインデックスiを持つ属性ビデオデータの新しいコーデックの識別子を示す場合がある。例えば、attribute_codec_id[i]は、0から255までの範囲内であり得る。
【0162】
pcm_attribute_codec_change_flag[i]などの変数は、SEIメッセージの属性iのPCMコード化ポイントの属性ビデオデータのコーデックが変更されたかどうかを示す場合がある。例えば、pcm_attribute_codec_change_flag[i]の値が1の場合、コーデックが変更されたことを示し得る。
【0163】
pcm_attribute_codec_id[i]などの変数は、例えば、存在する場合、SEIメッセージ内の属性iのPCMコード化ポイントの属性データの新しいコーデックの識別子を示す場合がある(例えば、PCMコード化ポイントが別のストリームで符号化される)。例えば、pcm_attribute_codec_id[i]の値は、0から255までの範囲内であり得る。
【0164】
アクティブ属性(AA)SEIメッセージは、例えば、(例えば、コーデックのV-PCCで)シグナリングされた1つまたは複数の属性が1つまたは複数のジュアルボリュメトリックコンテンツコンポーネントについて変更されていることをビジュアルボリュメトリックコンテンツデコーダに通知(たとえば、示す)ことができる。AA SEIメッセージは、特定のビジュアルボリュメトリックコンテンツシーケンスパラメータセットを参照する場合がある。AA SEIメッセージには、例えば、属性のサブセット(例えば、そのサブセットのみ)をアクティブにする必要がある場合などに、アクティブな属性の属性インデックスを含めることができる。シーケンスパラメータセットデコーダは、参照されたSPS内の他の属性(例えば、AA SEIメッセージにリストされていない属性)を無視する(例えば、非アクティブと見なす)場合がある。表5は、AA SEIメッセージの構文例を示す。
【0165】
AA SEIメッセージは、プレフィックスSEIメッセージである場合がある。AA SEIメッセージは、タイプPDG_PREFIX_SEIのパッチデータグループユニットで伝送される場合がある。AA SEIメッセージのペイロードタイプ値は、例えば、13であってよい。AA SEIメッセージの永続性スコープは、例えば、ビットストリームの残りを含むことができる。例えば、シグナリングされたアクティブな属性は、ストリームが終了するまで、または後続のAA SEIメッセージが受信されるまで持続する場合がある。
【0166】
ビットレートアダプテーションは、ボリュメトリックコンテンツの属性の1つまたは複数をドロップすることを決定するボリュメトリックコンテンツストリーミングクライアントを含み得る(例えば、当該クライアントによって実装され得る)。ボリュメトリックコンテンツストリーミングクライアントは、例えばネットワーク帯域幅が制限されているために、ボリュメトリックコンテンツの1つまたは複数の属性をドロップすることを決定することができる。ボリュメトリックコンテンツストリーミングは、例えば、V-PCCストリーミングクライアントのビットレートアダプテーションプロセスがV-PCCコンテンツの1つまたは複数の属性をドロップすることを決定した場合、アクティブな属性のリストを含むAA SEIメッセージを含むVPCC_PDGユニットを挿入することができる。ボリュメトリックコンテンツストリーミングは、例えば、ボリュメトリックコンテンツビットストリームがデコーダに送信される前に、アクティブな属性のリストを含むAA SEIメッセージを含むVPCC_PDGユニットを挿入することができる。デコーダ(例えば、VPCC_PDGユニットを受信するデコーダ)は、非アクティブな属性をスキップしたり、非アクティブな属性に関連付けられたビットストリーム内のボリュメトリックコンテンツユニットを要求しない場合がある。
【0167】
メッセージは、例えば、ボリュメトリックコンテンツのコーディング、再構成、表示などを支援するために情報を通信することができる。情報は、1つまたは複数の属性、属性情報、ボリュメトリックコンテンツに関連付けられたパラメータセットに示される属性サブビットストリームがアクティブまたは非アクティブであるかの表示、パラメータセットの属性情報に関連付けられる属性がアクティブであるかの表示、メッセージの永続性の表示(例えば、ビットストリームの終了まで、または別のメッセージが受信されるまで)、パラメータセットで識別されたアクティブな属性の数の表示、パラメータセット内の複数の属性がアクティブであることの表示、および/またはメッセージがパラメータセットに示されている属性を参照していない場合に属性が非アクティブ化されていることの表示を含むことができる。メッセージは、SEIメッセージ(例えば、コンポーネントコーデック変更(CCC)メッセージ、アクティブ属性(AA)メッセージ、パラメータセットアクティベーション(PSA)メッセージなど)など、任意のタイプまたは形式にすることができる。メッセージは、パラメータセット(例えば、V3Cシーケンスパラメータセット)を参照し、関連し、または関連付けることができる。メッセージはビットストリームに含まれていてよい。
【0168】
【表5】
【0169】
AA SEIメッセージ構文のフィールドのセマンティクス(表5に示されているAA SEIメッセージ構文の例など)には、例えば、以下の1つまたは複数が含まれ得る。
【0170】
sps_idなどの表示は、AA SEIメッセージが関連するビジュアルボリュメトリックコンテンツコンテンツ(たとえば、V-PCC)シーケンスパラメータセットのIDを示す場合がある。
【0171】
all_attributes_active_flagなどの表示は、参照されたSPSでシグナリングされた属性がアクティブであるかどうかを示す場合がある。例えば、all_attributes_active_flagの値が1の場合、全ての属性がアクティブであることを示し得る。all_attributes_active_flagの値が0の場合、属性のサブセットがアクティブであることを示し得る。
【0172】
attribute_count_minus1、attribute_count_plus1などの変数は、AA SEIメッセージでシグナリングされたアクティブな属性の数を示す場合がある。
【0173】
attribute_idx[i]などの変数は、関連するAA SEIメッセージのインデックスiにあるアクティブな属性のV-PCC SPSの属性インデックスを示す場合がある。
【0174】
表6のAA SEIメッセージ構文のフィールドのセマンティクスは、単なる例を意味している。メッセージ(例えば、AA SEIメッセージ)には、より少ない情報が含まれる場合がある。例えば、メッセージに表示sps_idが含まれていない場合がある。メッセージ(例えば、AA SEIメッセージ)には、より多くの情報(例えば、パラメータセットに示されているアクティブレイヤまたはマップ情報)が含まれる場合がある。
【0175】
コンポーネント変更パラメータセット(CCPS)には、例えば、ボリュメトリックシーケンスパラメータセット(例えば、V-PCC SPS)に関して、コンポーネントサブストリームに加えられた変更に関する情報が含まれる場合がある。CCPSには、コーデックの変更および/またはアクティブな属性に関する情報が含まれる場合がある。CCPSは、例えば、V-PCCユニット(例えば、特定のタイプのV-PCCユニット)で運ばれ得る。表6は、CCPSの構文例を示す。
【0176】
【表6-1】
【0177】
【表6-2】
【0178】
CCPS構文のフィールドのセマンティクス(表6に示されているCCPSメッセージ構文の例など)には、例えば、以下の1つまたは複数が含まれ得る。
【0179】
ccps_component_change_parameter_set_idなどの変数は、他の構文要素によって参照できるようにCCPSの識別子を提供する場合がある。例えば、ccps_component_change_parameter_set_idの値は、0から255までの範囲内であり得る。
【0180】
ccps_sps_idなどの変数は、CCPSが関連するボリュメトリックコンテンツ(例えば、V-PCC)シーケンスパラメータセットのIDを示す場合がある。
【0181】
ccps_component_codec_change_flagなどの変数は、1つまたは複数のボリュメトリックコンテンツ(例えば、V-PCC)コンポーネントに対してコーデックの変更が発生したかどうかを示す場合がある。例えば、ccps_component_codec_change_flagの値が1の場合、コーデックの変更が発生したことを示し得る。
【0182】
ccps_active_attributes_change_flagなどの変数は、アクティブな属性のセットが変更されたかどうかを示す場合がある。例えば、ccps_active_attributes_change_flagの値が1の場合、アクティブな属性のセットに変更が発生したことを示し得る。
【0183】
ccps_occupancy_codec_change_flagなどの変数は、占有コンポーネントのコーデックが変更されたかどうかを示すことができる。例えば、ccps_occupancy_codec_change_flagの値が1の場合、コーデックが変更されたことを示し得る。
【0184】
ccps_geometry_codec_change_flagなどの変数は、ジオメトリコンポーネントのコーデックが変更されたかどうかを示すことができる。例えば、ccps_geometry_codec_change_flagの値が1の場合、コーデックが変更されたことを示し得る。
【0185】
ccps_attributes_codecs_change_flagなどの変数は、1つまたは複数の属性コンポーネントのコーデックが変更されたかどうかを示すことができる。例えば、ccps_attributes_codecs_change_flagの値が1の場合、少なくとも1つの属性のコーデックが変更されたことを示し得る。ccps_attributes_codecs_change_flagの値が0の場合、どの属性に対してもコーデックの変更が発生していないことを示し得る。
【0186】
ccps_occupancy_codec_idなどの変数は、占有マップ情報の新規コーデックの識別子を示すことができる。例えば、ccps_occupancy_codec_idの値は、0から255までの範囲内であり得る。
【0187】
ccps_geometry_codec_idなどの変数は、ジオメトリ情報の新規コーデックの識別子を示すことができる。例えば、ccps_geometry_codec_idの値は、0から255までの範囲内であり得る。
【0188】
ccps_pcm_geometry_codec_change_flagなどの変数は、PCMコード化ポイントのジオメトリビデオデータのコーデックが変更されたかどうかを示すことができる。例えば、ccps_pcm_geometry_codec_change_flagの値が1の場合、コーデックが変更されたことを示し得る。
【0189】
例えば、ccps_pcm_geometry_codec_idなどの変数は、例えば、存在する場合、PCMコード化ポイントが別のビデオストリームに符号化されている場合、PCMコード化ポイントのジオメトリデータの新しいコーデックの識別子を示す場合がある。例えば、ccps_pcm_geometry_codec_idの値は、0から255までの範囲内であり得る。
【0190】
ccps_codec_change_attribute_count_minus1、ccps_codec_change_attribute_count_plus1などの変数は、ccpsでコーデックの変更がシグナリングされる属性の数を示す場合がある。
【0191】
ccps_codec_change_attribute_idx[i]などの変数は、CCPSのcodec_change_information()構造体のインデックスiにある属性のV-PCC SPSの属性インデックスを示す場合がある。
【0192】
ccps_attribute_codec_change_flag[i]などの変数は、CCPSのcodec_change_information()構造体のi番目の属性のコーデックが変更されたかどうかを示す場合がある。例えば、ccps_attribute_codec_change_flag[i]の値が1の場合、i番目の属性のコーデックが変更されたことを示し得る。
【0193】
ccps_attribute_codec_id[i]などの変数は、CCPSのcodec_change_information()構造体のインデックスiを持つ属性データの新しいコーデックの識別子を示す場合がある。例えば、ccps_attribute_codec_id[i]の値は、0から255までの範囲内であり得る。
【0194】
ccps_pcm_attribute_codec_change_flag[i]などの変数は、CCPSのcodec_change_information()構造体の属性iのPCMコード化ポイントの属性ビデオデータのコーデックが変更されたかどうかを示す場合がある。例えば、ccps_pcm_attribute_codec_change_flag[i]の値が1の場合、コーデックが変更されたことを示し得る。
【0195】
例えば、ccps_pcm_attribute_codec_id[i]などの変数は、存在する場合、例えば、PCMコード化ポイントが別のストリームで符号化されている場合、CCPSのcodec_change_information()構造内の属性iのPCMコード化ポイントの属性データの新規コーデックの識別子を示す場合がある。例えば、ccps_pcm_attribute_codec_id[i]の値は、0から255までの範囲内であり得る。
【0196】
ccps_all_attributes_active_flagなどの変数は、参照されたSPSでシグナリングされた属性がアクティブであるかどうかを示す場合がある。例えば、ccps_all_attributes_active_flagの値が1の場合、全ての属性がアクティブであることを示し得る。ccps_all_attributes_active_flagの値が0の場合、属性のサブセットがアクティブであることを示し得る。
【0197】
ccps_active_attribute_count_minus1、ccps_active_attribute_count_plus1などの変数は、CCPSでシグナリングされるアクティブな属性の数を示す場合がある。
【0198】
ccps_active_attribute_idx[i]などの変数は、CCPSのactive_attribute_information()構造体のインデックスiにあるアクティブ属性のボリュメトリックコンテンツ(例えば、V-PCC)SPSの属性インデックスを示す場合がある。
【0199】
パラメータセットアクティベーション(PSA)SEIメッセージは、PSA SEIメッセージに続く可能性のあるボリュメトリックコンテンツ(例えば、V-PCC)ユニットに対してアクティブなパラメータセットを示す場合がある。表7は、PSA SEIメッセージの構文例を示す。
【0200】
【表7】
【0201】
PSA SEIメッセージ構文のフィールドのセマンティクス(表7に示されているPSA SEIメッセージ構文の例など)には、例えば、以下の1つまたは複数が含まれ得る。
【0202】
active_sequence_parameter_set_idなどの変数は、アクティブなボリュメトリックコンテンツSPS(例えば、アクティブ化する必要があるV-PCC SPS)のsps_sequence_parameter_set_idの値を示したり、同じ値になる場合がある。例えば、active_sequence_parameter_set_idの値は、0から15までの範囲内であり得る。
【0203】
component_change_flagなどの変数は、コンポーネント変更パラメータセットをアクティブにするかどうかを示す場合がある。例えば、component_change_flagの値が1の場合、コンポーネント変更パラメータセットをアクティブ化する必要があることを示し得る。
【0204】
active_component_change_parameter_set_idなどの変数は、アクティブ化されるCCPSのccps_component_change_parameter_set_idの値を示したり、値と等しくなったりする場合がある。active_component_change_parameter_set_idの値は、0から255までの範囲内であり得る。
【0205】
PSA SEIメッセージ(例えば、表7に示されるように、例示的なエンコーダ200によって生成され、例示的なデコーダ300によって受信され得る)は、ボリュメトリックコンテンツ(例えば、V-PCC)に関連付けられるどのパラメータセットがV-PCCコンポーネントに対してアクティブであるかを示し得る。CCC SEIメッセージ(例えば、例示的なエンコーダ200によって生成され、例示的なデコーダ300によって受信される)は、ボリュメトリックコンテンツ(例えば、図5に示されるV-PCCビットストリーム)におけるボリュメトリックコンテンツコンポーネント(例えば、図5、表1、2、3に示されるV-PCCユニット)をどのコーデックを使用して復号するべきかを示し得る。
【0206】
図7は、1つまたは複数のメッセージに基づいてビジュアルボリュメトリックコンテンツを処理する方法の例を示す。図7に記載の方法は、例示的なエンコーダまたは例示的なクライアントデバイスによって実行され得る。本明細書に開示される例および他の例は、図7に示される例示的な方法700に従って動作することができる。方法700は、符号702および符号704を含む。符号702において、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される1つまたは複数の属性サブビットストリームの属性サブビットストリームを非アクティブ化する決定がなされ得る。符号704において、属性サブビットストリームの非アクティブ化を示すメッセージが生成され、送信され得る。例示的な方法700は、例えば、例示的なエンコーダ200などのエンコーダによって実施され得る。例示的な方法700は、例えば、ビジュアルボリュメトリックコンテンツストリーミングクライアントなどのストリーミングクライアントによって実装され得る。例示的な方法700は、例えば、ビジュアルボリュメトリックビットストリームSEIメッセージおよび/または例えば、CCCメッセージ、AAメッセージ、CCPS、および/またはPSAメッセージを含むパラメータセットについて本明細書に記載される例示的な構文およびセマンティクスに従って実装され得る。
【0207】
図8は、1つまたは複数のメッセージに基づいてビジュアルボリュメトリックコンテンツを処理する方法の例を示す。図8に記載の方法は、デコーダに適用され得る。本明細書に開示される例および他の例は、図8に示される例示的な方法800に従って動作することができる。方法800は、符号802および符号804を含む。符号802において、ビジュアルボリュメトリックに関連付けられるパラメータセットに示される1つまたは複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかについての決定を行うことができる。符号804において、ビジュアルボリュメトリックコンテンツは、メッセージに基づいて、アクティブな属性サブビットストリーム(例えば、符号802で決定されたアクティブな属性サブビットストリーム)を使用して復号され得る。例示的な方法800は、例えば、例示的なデコーダ300などのデコーダによって実施され得る。例示的な方法800は、例えば、ビジュアルボリュメトリックコンテンツデコーダなどのメディアコンテンツデコーダによって実施され得る。例示的な方法800は、例えば、ビジュアルボリュメトリックビットストリームSEIメッセージおよび/または例えば、CCCメッセージ、AAメッセージ、CCPS、および/またはPSAメッセージを含むパラメータセットについて本明細書に記載される例示的な構文およびセマンティクスに従って実装され得る。
【0208】
多くの実施形態が本明細書に記載されている。実施形態の特徴は、様々なクレームのカテゴリおよびタイプにわたって、単独で、または任意の組み合わせで提供され得る。さらに、実施形態は、例えば、以下のいずれかなどの様々な請求項のカテゴリおよびタイプにわたって、本明細書に記載の特徴、デバイスまたは態様の1つまたは複数を、単独でまたは任意の組み合わせで含むことができる。
【0209】
デコーダは、1つまたは複数のメッセージに基づいてメディアコンテンツをデコードすることができ、これは、パラメータセットに示される1つまたは複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すことができる。メディアコンテンツは、例えば、ビジュアルボリュメトリックコンテンツを含み得る。パラメータセットは、ビジュアルボリュメトリックコンテンツに関連付けられ得る。例えば、パラメータセットは、ビジュアルボリュメトリックビデオベースのパラメータセットを含み得る。デコーダは、1つまたは複数のメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを決定するなどの復号を実行することができる。図8に示される例示的な方法に従って動作する例示的なデコーダ300などのメディアコンテンツデコーダは、メディアコンテンツに関連付けられたパラメータセットに示される1つまたは複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを決定することができる。図8に示される例示的な方法に従って動作する例示的なデコーダ300などのメディアコンテンツデコーダは、メッセージに基づいてアクティブな属性サブビットストリームを使用して、ビジュアルボリュメトリックコンテンツを復号することができる。
【0210】
パラメータセットに示されている属性サブビットストリームは、ビジュアルボリュメトリックコンテンツに関する情報を示す場合がある。属性サブビットストリームは、ビジュアルボリュメトリックコンテンツを特徴付ける属性に関連付けられたサブビットストリームを含み得る。属性サブビットストリームは、色、透明度、反射率、テクスチャなどのメディアコンテンツを特徴付ける属性を含み得る。
【0211】
メッセージは、例えば、AA SEIメッセージ(例えば、表5に示されるような)などのビジュアルボリュメトリックSEIメッセージを含むことができ、これは、ビジュアルボリュメトリックSPSを参照し、アクティブな属性の属性インデックスを示すことができる。アクティブな属性サブビットストリームのリストを示すメッセージは、デコーダによって受信され得る。メッセージは、例えば、1つまたは複数の属性サブビットストリームの非アクティブ化を示すために、生成されてデコーダに送信され得る。デコーダは、メッセージに基づいて非アクティブな属性サブビットストリームを決定することができる。デコーダは、メッセージ(例えば、AA SEIメッセージ)でアクティブであることが示されている属性サブビットストリームを使用して、ビジュアルボリュメトリックコンテンツをデコードすることができる。デコーダは、ビジュアルボリュメトリックコンテンツをデコードするために、メッセージ内で非アクティブであることが示されている属性サブビットストリームをスキップすることができる。
【0212】
エントロピー復号、逆量子化、逆変換、および差動復号のうちの1つまたは複数を含む復号ツールおよび技術を使用して、図8に記載される方法をデコーダにおいて可能にすることができる。これらの復号ツールおよび技法を使用して、本明細書の図8または他の部分に記載された方法に従って、ビジュアルボリュメトリックコンテンツなどのメディアコンテンツを受信すること;メディアコンテンツを復号すること;ビジュアルボリュメトリックコンテンツなどのメディアコンテンツを復号するためにどの属性サブビットストリームを使用するかを決定すること;メッセージ、例えば、AA SEIメッセージ、CCC SEIメッセージおよびPSA SEIメッセージなどのSEIメッセージを受信し、および解析すること;属性サブビットストリームに関連付けられるマップ情報を示し得る、SPSおよびCCPSなどのパラメータセットを受信し、および解析することであって、アクティブなマップ情報は、示されたアクティブ属性サブビットストリームによって示される、こと;メッセージおよび/またはパラメータセットに基づいて決定されたアクティブな属性サブビットストリームまたは当該アクティブな属性サブビットストリームに関連付けられるアクティブなマップ情報を使用してビジュアルボリュメトリックコンテンツを復号すること;ビットストリームの終わりまで、または別のメッセージが到着するまでなど、メッセージの持続性を決定すること;ビジュアルボリュメトリックコンテンツに関連付けられる、アクティブな属性サブビットストリームを示すメッセージによって参照される属性情報を持つVPSを含むパラメータセットなどのパラメータセットにおいて示されている1つまたは複数の属性サブビットストリームにおけるアクティブな属性サブビットストリームの数を決定すること;ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットの1つまたは複数の属性サブビットストリームがアクティブであることをメッセージ内のインジケータに基づいて決定すること;属性サブビットストリームが非アクティブであることを(例えば、属性サブビットストリームがメッセージではなくパラメータセットに示されていることに基づいて、または、例えば、属性サブビットストリーム若しくは属性サブビットストリームのインジケータを参照していないメッセージに基づいて、または、例えば、ビットレートアダプテーションに基づいて)決定し、ビジュアルボリュメトリックコンテンツの復号のために非アクティブな属性サブビットストリームをスキップすること;および上記のいずれかに関連するその他のデコーダの動作、のうちの1つまたは複数を可能にすることができる。
【0213】
エンコーダ(例えば、本明細書で説明されるエンコーダ)は、例えば、ストリーミングサービスにおいてビットストリームとして送信され得るビジュアルボリュメトリックコンテンツを生成するために、メディアコンテンツを符号化することができる。エンコーダまたはクライアントデバイス(例えば、アプリケーション)は、1つまたは複数のメッセージを生成し、および送信することができ、これは、パラメータセットに示されている1つまたは複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すことができる。パラメータセットは、ビジュアルボリュメトリックコンテンツに関連付けられ得る。例えば、パラメータセットは、ビジュアルボリュメトリックビデオベースのパラメータセット(VPS)を含み得る。
【0214】
エンコーダまたはクライアントデバイス(例えば、アプリケーション)は、例えば、属性サブビットストリーム、オペレーティング環境、リソースの可用性、帯域幅属性、クライアントコーディング機能、および/またはクライアントレンダリング機能の妥当性の評価に基づいて、パラメータセットで示されている1つまたは複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるか、または非アクティブであるかを決定することができる。一例では、エンコーダまたはクライアントデバイスは、ストリーミングセッションにおけるビットレートアダプテーションに基づいて、パラメータセットに示される1つまたは複数の属性サブビットストリームのうちのどの属性サブビットストリームを非アクティブ化するかを決定することができる。エンコーダまたはクライアントデバイスは、パラメータセットに示される1つまたは複数の属性サブビットストリームのうちのどの属性サブビットストリームを非アクティブ化するかについての決定に基づいて、1つまたは複数の属性の非アクティブ化を示すことができる。図7に示される例示的な方法に従って動作するメディアコンテンツプロセッサ(例えば、例示的なエンコーダ200などのエンコーダ)は、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される1つまたは複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを決定することができる。メディアコンテンツプロセッサは、本明細書で説明されるようなストリーミングクライアントデバイスを含み得る。
【0215】
図7に示される例示的な方法に従って動作するメディアコンテンツプロセッサ(例えば、例示的なエンコーダ200などのエンコーダ)は、1つまたは複数の属性サブビットストリームの非アクティブ化を示すメッセージを生成し、例えば、デコーダに送信することができる。メッセージは、例えば、AA SEIメッセージ(例えば、表5に示されるような)などのビジュアルボリュメトリックSEIメッセージを含むことができ、これは、VPSを参照し、アクティブな属性の属性インデックスを示すことができる。1つまたは複数の非アクティブおよび/またはアクティブ属性サブビットストリームを含むメッセージは、エンコーダによってデコーダに送信され得る。
【0216】
量子化、エントロピー符号化、逆量子化、逆変換、および差動符号化のうちの1つまたは複数を含む符号化ツールおよび技術を使用して、エンコーダにおいて図7に記載の方法を可能にすることができる。これらの符号化ツールおよび技法を使用して、本明細書の図7または他の部分に記載された方法に従って、ビジュアルボリュメトリックコンテンツなどのメディアコンテンツを生成し、または送信すること;メディアコンテンツを符号化すること;ビジュアルボリュメトリックコンテンツなどのメディアコンテンツを符号化するためにどの属性サブビットストリームを使用するかを決定すること;メッセージ、例えば、AA SEIメッセージ、CCC SEIメッセージおよびPSA SEIメッセージなどのSEIメッセージを生成し、および送信すること;属性サブビットストリームに関連付けられるマップ情報を示し得る、SPSおよびCCPSなどのパラメータセットを生成し、および送信することであって、アクティブなマップ情報は、示されたアクティブ属性サブビットストリームによって示される、こと;アクティブな属性サブビットストリームまたは当該アクティブな属性サブビットストリームに関連付けられるアクティブなマップ情報を使用してビジュアルボリュメトリックコンテンツを符号化すること;ビットストリームの終わりまで、または別のメッセージが到着するまでなど、メッセージの持続性を示すこと;ビジュアルボリュメトリックコンテンツに関連付けられる(アクティブな属性サブビットストリームを示すメッセージによって参照される属性情報を持つVPSを含むパラメータセットなどの)パラメータセットにおいて示されている1つまたは複数の属性サブビットストリームにおけるアクティブな属性サブビットストリームの数を示すこと;ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットの1つまたは複数の属性サブビットストリームがアクティブであることをメッセージにおいて示すこと;属性サブビットストリームが非アクティブであることを(例えば、属性サブビットストリームがメッセージではなくパラメータセットに示されていることに基づいて、または、例えば、属性サブビットストリーム若しくは属性サブビットストリームのインジケータを参照していないメッセージに基づいて、または、例えば、ビットレートアダプテーションに基づいて)示し、ビジュアルボリュメトリックコンテンツの符号化のために非アクティブな属性サブビットストリームをスキップすること;および上記のいずれかに関連するその他のデコーダの動作、のうちの1つまたは複数を可能にすることができる。
【0217】
表1~表7に示される構文要素などの構文要素は、例えば、デコーダがアクティブな属性サブビットストリームおよび/またはコーデックのインジケーションを識別して図8に示されているような復号方法を実行できるようにするために、シグナリングに挿入され得る。例えば、構文要素は、デコーダに以下のインジケーションの1つまたは複数が、復号で使用するためにアクティブであるか、または非アクティブであるかを示すために、属性サブビットストリーム、属性サブビットストリームID、パラメータセット、属性サブビットストリーム変更表示、属性コーデック変更表示、属性コーデックID、属性アクティブ表示、属性サブビットストリーム非アクティブ表示、アクティブ属性カウント表示、アクティブパラメータセット表示、アクティブパラメータセットID、アクティブパラメータセット変更表示のうちの1つまたは複数のインジケーションを含むことが出来る。一例として、構文要素は、本明細書で説明される属性インデックス、アクティブ、非アクティブまたは変更フラグなどの属性状態、および/または属性カウントのうちの1つまたは複数のインジケーション、および/またはデコーダが本明細書で記載した1つまたは複数の例を実行するために使用するパラメータのインジケーションを含むことができる。
【0218】
図8に記載の方法は、例えば、デコーダで適用する構文要素に基づいて選択および/または適用することができる。例えば、デコーダは、ビジュアルボリュメトリックコンテンツを復号するために使用される属性サブビットストリームおよび/またはコーデックのアクティブ/非アクティブステータスの変化を示すインジケーション(例えば、メッセージまたはパラメータセットにおける)を受信することができる。インジケーションに基づいて、デコーダは、図8に記載されているように、ビジュアルボリュメトリックコンテンツを復号するのに使用する属性サブビットストリームおよび/またはコーデックを選択することができる。
【0219】
ビットストリームまたは信号は、記述された構文要素またはそれらのバリエーションの1つまたは複数を含むことができる。例えば、ビットストリームまたは信号は、図8に記載されるような復号方法を実行するためのアクティブな属性サブビットストリームおよび/またはコーデックのインジケーションを示す構文要素を含むことができる。
【0220】
ビットストリームまたは信号は、本明細書の1つまたは複数の例に従って生成された情報を伝達する構文を含み得る。例えば、情報またはデータは、図7および図8に示される例の範囲内で本明細書で説明される任意の例を含む、図7および8に示されるような例を実行する際に生成され得る。生成された情報またはデータは、ビットストリームまたは信号に含まれる構文で伝達され得る。
【0221】
デコーダがアクティブな属性サブビットストリームおよびコーデックを使用して、エンコーダによって使用される方法に対応する方法でビジュアルボリュメトリックコンポーネントを復号できるようにする構文要素は、信号に挿入されることができる。例えば、復号に使用する属性サブビットストリームおよびコーデックを示す1つまたは複数のメッセージおよび/またはパラメータセットは、本明細書の1つまたは複数の例を使用して生成され得る。
【0222】
記載された構文要素またはそれらの変形の1つまたは複数を含むビットストリームまたは信号を生成および/または送信および/または受信および/または復号するための方法、プロセス、装置、媒体記憶命令、媒体記憶データ、または信号。
【0223】
記載された任意の例による、生成および/または送信および/または受信および/または復号のための方法、プロセス、装置、媒体記憶命令、媒体記憶データ、または信号。
【0224】
限定されるわけではないが、任意の数または組み合わせの以下の1つまたは複数にしたがう方法、プロセス、装置、媒体記憶命令、媒体記憶データ、または信号:メディアコンテンツを処理しまたは復号すること;ポイントクラウドストリーミングサービスでポイントクラウドコンポーネントサブビットストリームの動的アダプテーションを実行すること;参照パラメータセットでシグナリングされた少なくとも1つの属性が非アクティブであるかどうかを示すインジケーションを取得すること;ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示された1つまたは複数の属性サブビットストリームの属性サブビットストリームを非アクティブ化することを決定すること:属性サブビットストリームの非アクティブ化を示すメッセージを生成して送信すること;インジケーションが、参照パラメータセットの少なくとも1つの属性が非アクティブであることを示している場合、アクティブな属性のインジケーション(例えば、アクティブな属性の数とそれぞれの属性インデックス)を取得すること;例えば、アクティブな属性のインジケーションに基づいて、非アクティブな属性を識別すること;復号中に、参照パラメータセットの非アクティブな属性をスキップすること;ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得すること;パラメータセットに示されている1つまたは複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージを受信すること;メッセージに基づいて、アクティブな属性サブビットストリームと非アクティブな属性サブビットストリームを決定すること;ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される1つまたは複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを決定すること;メッセージに基づいてアクティブな属性サブビットストリームを使用して、ビジュアルボリュメトリックコンテンツを復号すること;アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号し、非アクティブな属性サブビットストリームをスキップすること;SEIメッセージなどのメッセージをビットストリームでシグナリングし、または受信すること;ビットストリームが終了するまで、またはメッセージとは異なる別のメッセージが受信されるまで持続する永続性スコープを持つ当該メッセージをシグナリングし、または受信すること;ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される複数の属性サブビットストリームのうちのアクティブな属性サブビットストリームの数を示すインジケータを備えたメッセージをシグナリングし、または受信すること;属性情報を含むVPSを含むパラメータセットをシグナリングし、または受信すること;アクティブな属性サブビットストリームのVPS内の属性情報の一部を参照するメッセージをシグナリングし、または受信すること;パラメータセットに示される複数の属性サブビットストリームがアクティブであることを示すインジケータを含むメッセージをシグナリングし、または受信すること;複数の属性のそれぞれの属性サブビットストリームに関連付けられたマップ情報を示すパラメータセットをシグナリングし、または受信すること;例えば、パラメータセットに示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すことによって、どのマップ情報がアクティブであるかを示すメッセージをシグナリングし、または受信すること;アクティブな属性サブビットストリームに関連付けられたアクティブなマップ情報を使用して、ビジュアルボリュメトリックコンテンツを復号すること;例えば、ビジュアルボリュメトリックコンテンツに関連するか、またはそれを特徴付けるテクスチャ情報、材料情報、透明度情報、および/または反射率情報を示す1つまたは複数の属性サブビットストリームをシグナリングし、および/または受信すること;メッセージに基づいて非アクティブな属性サブビットストリームを決定すること;パラメータセットに示されているがメッセージには示されていない属性サブビットストリームを非アクティブなサブビットストリームとして決定すること;ビジュアルボリュメトリックコンテンツの復号のために非アクティブな属性サブビットストリームをスキップすること;メッセージ内の属性サブビットストリームの非アクティブ化のインジケーションを示すこと、または受信すること;。属性サブビットストリームまたは属性サブビットストリームのインジケータがメッセージにおいて参照されていない場合に、属性サブビットストリームが非アクティブ化されていると判定すること;および/または属性サブビットストリームがビットレートアダプテーションに基づいて非アクティブ化されていることを決定すること。
【0225】
ビジュアルボリュメトリックストリーミングサービスにおけるビジュアルボリュメトリックコンポーネントサブビットストリームなどのビジュアルボリュメトリックコンテンツの動的アダプテーションを実行する、本明細書に記載の例のいずれかによる、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
【0226】
本明細書に記載の例のいずれかによる、ビジュアルボリュメトリックストリーミングサービスにおけるビジュアルボリュメトリックコンポーネントサブビットストリームなどのビジュアルボリュメトリックコンテンツの動的アダプテーションを実行し、その結果であるビジュアルリプレゼンテーションを(例えば、モニタ、スクリーンまたは他の種類のディスプレイを使用して)表示する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
【0227】
本明細書に記載の例のいずれかによる、符号化されたボリュメトリックフレームを含む信号を受信するチャネルを(例えば、チューナーを使用して)選択し、ビジュアルボリュメトリックストリーミングサービスにおけるビジュアルボリュメトリックコンポーネントサブビットストリームなどのビジュアルボリュメトリックコンテンツの動的アダプテーションを実行する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
【0228】
本明細書に記載の例のいずれかによる、符号化されたボリュメトリックフレームを含む信号を無線で受(例えば、アンテナを使用して)受信し、ビジュアルボリュメトリックストリーミングサービスにおけるビジュアルボリュメトリックコンポーネントサブビットストリームなどのビジュアルボリュメトリックコンテンツの動的アダプテーションを実行する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
【0229】
上記では特徴および要素が特定の組合せで記述されているが、各特徴または要素は、単独で使用されることも可能であり、または他の特徴および要素との任意の組合せで使用され得ることを、当業者は理解するであろう。また、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行されるようにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてよい。コンピュータ可読媒体の例には、電子信号(有線または無線接続を介して送信される)およびコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体の例は、以下のものに限定されないが、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、磁気媒体(内蔵ハードディスクおよびリムーバブルディスクなど)、光磁気媒体、並びに光学媒体(CD-ROMディスクおよびデジタル多用途ディスク(DVD)など)を含む。ソフトウェアと連携したプロセッサが使用されて、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータ中で使用される無線周波数送受信機が実装されてよい。
図1A
図1B
図1C
図1D
図2
図3
図4
図5
図6
図7
図8
【国際調査報告】