特許 7522125 ポイントクラウドの適応ストリーミングの方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】ポイントクラウドの適応ストリーミングの方法及び装置

(51)【国際特許分類】

   H04N 21/235 20110101AFI20240717BHJP

   H04N 19/597 20140101ALI20240717BHJP

   H04N 19/70 20140101ALI20240717BHJP

   H04N 21/2662 20110101ALI20240717BHJP

【ＦＩ】

H04N21/235

H04N19/597

H04N19/70

H04N21/2662

【請求項の数】 20

(21)【出願番号】P 2021553345

(86)(22)【出願日】2020-03-06

(65)【公表番号】

(43)【公表日】2022-04-27

(86)【国際出願番号】 US2020021431

(87)【国際公開番号】W WO2020185578

(87)【国際公開日】2020-09-17

【審査請求日】2023-03-03

(31)【優先権主張番号】62/815,725

(32)【優先日】2019-03-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/866,043

(32)【優先日】2019-06-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/908,630

(32)【優先日】2019-10-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514041959

【氏名又は名称】ヴィド スケール インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ハムザ、アーマッド

(72)【発明者】

【氏名】フ、ヨン

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第２０１８／１５０９３３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

ハイパーテキスト転送プロトコル（ＨＴＴＰ）を使用してネットワークを介して、ポイントクラウド（ＰＣ）を構成する複数のビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）構成要素を含むＰＣに対応するＰＣデータ（ＰＣＤ）をストリーミングする、送信機、受信機、プロセッサ、及びメモリの何れかを含む回路を備えたネットワークノードであって、前記ネットワークノードは、
ＨＴＴＰの動的適応ストリーミング（ＤＡＳＨ）メディア提示記述（ＭＰＤ）において前記ＰＣの前記ＰＣＤに関連付けられた情報を生成することであって、
前記ＤＡＳＨ ＭＰＤにおいて前記生成された情報は、少なくとも、
（１）前記ＰＣのメイン適応セット（ＡＳ）であって、前記メインＡＳは、少なくとも、（ｉ）前記メインＡＳがＶ－ＰＣＣデータに対応することを示すコーデック属性の値及び（ｉｉ）前記ＰＣの表現の少なくとも１つのＶ－ＰＣＣシーケンスパラメータセットを含む初期化セグメントを示す情報を含む、メインＡＳと、
（２）複数の構成要素ＡＳであって、前記複数の構成要素ＡＳのそれぞれは、前記Ｖ－ＰＣＣ構成要素の１つに対応し、少なくとも、（ａ）前記対応するＶ－ＰＣＣ構成要素のタイプを識別するＶ－ＰＣＣ構成要素記述子であって、前記タイプは、ジオメトリ、占有、又は属性を含む、Ｖ－ＰＣＣ構成要素記述子及び（ｂ）前記対応するＶ－ＰＣＣ構成要素の少なくとも１つのプロパティを示す情報を含む、複数の構成要素ＡＳと、
を示す情報を含む、生成することと、
前記ネットワークを経由して前記ＤＡＳＨ ＭＰＤを送信することと、
を行うように構成される、ネットワークノード。

【請求項2】

前記ネットワークを経由して前記ＰＣＤを送信するように構成され、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）がＶ－ＰＣＣコンテンツのメディアコンテナとして使用され、
前記メインＡＳの前記初期化セグメントは、Ｖ－ＰＣＣトラックに関連付けられたメタデータ情報を提供する１つ又は複数のＶ－ＰＣＣＧｒｏｕｐＢｏｘインスタンスを含むメタボックスを含む、請求項１に記載のネットワークノード。

【請求項3】

前記メインＡＳの前記初期化セグメントは、（１）適応レベルにおける１つの初期化セグメントと、（２）前記メインＡＳの全ての表現のＶ－ＰＣＣシーケンスパラメータセットとを示す情報を含む、請求項１に記載のネットワークノード。

【請求項4】

前記メインＡＳは、前記ＰＣの複数の表現のそれぞれの初期化セグメントを示す情報を含み、
前記ＰＣの表現に対応する各初期化セグメントは、その表現のＶ－ＰＣＣシーケンスパラメータセットを含む、請求項１に記載のネットワークノード。

【請求項5】

前記Ｖ－ＰＣＣ構成要素記述子は、対応するＶ－ＰＣＣ構成要素を符号化するのに使用されたコーデックのビデオコーデック属性を示す情報を含む、請求項１に記載のネットワークノード。

【請求項6】

前記ＡＳは、前記対応する構成要素のジオメトリ、占有マップ、又は属性の１つを示す値を有する役割記述子ＤＡＳＨ要素を示す情報を含む、請求項１に記載のネットワークノード。

【請求項7】

前記Ｖ－ＰＣＣ構成要素記述子情報は、前記対応するＶ－ＰＣＣ構成要素のレイヤ又は前記対応するＶ－ＰＣＣ構成要素の属性タイプの何れかを識別する、請求項１に記載のネットワークノード。

【請求項8】

前記メインＡＳは、前記メインＡＳが対応する特定のポイントクラウドのＶＰＣＣ記述子と、構成要素ＡＳの識別子を示す、請求項１に記載のネットワークノード。

【請求項9】

前記ＰＣの前記Ｖ－ＰＣＣデータが前記ＰＣの２つ以上のバージョンを含む場合、前記ＰＣの前記バージョンに対応する１つの表現及びそれぞれのＶＰＣＣ記述子をそれぞれ含む別個のメインＡＳにおいて前記ＰＣの各バージョンをシグナリングするように更に構成され、前記ＰＣの異なるバージョンに対応する別個のメインＡＳは全て、ＰＣ識別子（ＩＤ）属性に同じ値を有する、請求項８に記載のネットワークノード。

【請求項10】

前記メインＡＳの異なる表現として前記ＰＣの異なるバージョンをシグナリングするように更に構成され、
それぞれのＶ－ＰＣＣ記述子は、前記メインＡＳの各表現に存在し、
前記ＰＣ ＩＤ属性は、（１）各表現に存在し、前記メインＡＳ内の全ての表現に同じ値を有してシグナリングされるか、又は（２）省かれるかの何れかである、請求項９に記載のネットワークノード。

【請求項11】

前記ＤＡＳＨ ＭＰＤは、前記ＰＣの前記メインＡＳの識別子（ＩＤ）及びＰＣ構成要素に対応する複数の構成要素ＡＳに関連付けられるＩＤを含む属性の値を示す事前選択情報を含み、
前記属性は事前選択構成要素属性であり、
前記同じＰＣの２つ以上のバージョンが利用可能であり、
前記２つ以上のバージョンのそれぞれは、各ＰｒｅＳｅｌｅｃｔｉｏｎ要素においてシグナリングされ、
前記事前選択構成要素属性のＩＤリスト中の最初のＩＤは、前記メインＡＳ内の同じＰＣの２つ以上のバージョンの対応する１つの表現のＩＤである、請求項８に記載のネットワークノード。

【請求項12】

前記ＰＣの前記メインＡＳは、関連ＩＤ属性に構成要素ＡＳのＩＤのリストを示す情報を含み、関連タイプ属性の値は前記Ｖ－ＰＣＣの４ＣＣに設定される、請求項８に記載のネットワークノード。

【請求項13】

前記ＰＣの前記メインＡＳは、従属性ＩＤ属性を使用して前記構成要素ＡＳの何れかのＩＤのリストを示す情報を含む、請求項８に記載のネットワークノード。

【請求項14】

前記ＤＡＳＨ ＭＰＤは、前記ＰＣのジオメトリメタデータ及び属性メタデータの少なくとも一方を示す情報を含む、請求項１に記載のネットワークノード。

【請求項15】

前記ジオメトリメタデータを示す情報は、スキームＩＤユニバーサルリソースインジケータ（ＵＲＩ）属性に含まれる、請求項１４に記載のネットワークノード。

【請求項16】

前記属性メタデータを示す情報は、スキームＩＤユニバーサルリソースインジケータ（ＵＲＩ）属性に含まれる、請求項１４に記載のネットワークノード。

【請求項17】

ハイパーテキスト転送プロトコル（ＨＴＴＰ）を使用してネットワークを介して、ポイントクラウド（ＰＣ）を構成する複数のビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）構成要素を含むＰＣに対応するＰＣデータ（ＰＣＤ）をストリーミングするネットワークノードの方法であって、
ＨＴＴＰの動的適応ストリーミング（ＤＡＳＨ）メディア提示記述（ＭＰＤ）において前記ＰＣの前記ＰＣＤに関連付けられた情報を生成することであって、
前記ＤＡＳＨ ＭＰＤにおいて前記生成された情報は、少なくとも、
（１）前記ポイントクラウドのメイン適応セット（ＡＳ）であって、前記メインＡＳは、少なくとも、（ｉ）前記メインＡＳがＶ－ＰＣＣデータに対応することを示すコーデック属性の一意の値及び（ｉｉ）前記ＰＣの表現の少なくとも１つのＶ－ＰＣＣシーケンスパラメータセットを含む初期化セグメントを示す情報を含む、メインＡＳと、
（２）複数の構成要素ＡＳであって、前記複数の構成要素ＡＳのそれぞれは、前記Ｖ－ＰＣＣ構成要素の１つに対応し、少なくとも、（ａ）前記対応するＶ－ＰＣＣ構成要素のタイプを識別するＶ－ＰＣＣ構成要素記述子であって、前記タイプは、ジオメトリ、占有、又は属性を含む、Ｖ－ＰＣＣ構成要素記述子及び（ｂ）前記対応するＶ－ＰＣＣ構成要素の少なくとも１つのプロパティを示す情報を含む、複数の構成要素ＡＳと、
を示す情報を含む、生成することと、
前記ネットワークを経由して前記ＤＡＳＨ ＭＰＤを送信することと、
を含む方法。

【請求項18】

前記ネットワークを経由して前記ＰＣＤを送信することを更に含み、
国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）がＶ－ＰＣＣコンテンツのメディアコンテナとして使用され、
前記メインＡＳの前記初期化セグメントにおいて、Ｖ－ＰＣＣトラックに関連付けられたメタデータ情報を提供する１つ又は複数のＶ－ＰＣＣＧｒｏｕｐＢｏｘインスタンスを含むメタボックス、請求項１７に記載の方法。

【請求項19】

前記メインＡＳの前記初期化セグメントは、適応レベルにおける１つの初期化セグメントを示す情報を含み、前記１つの初期化セグメントは、前記メインＡＳの全ての表現のＶ－ＰＣＣシーケンスパラメータセットを含む、請求項１７に記載の方法。

【請求項20】

前記メインＡＳは、前記ＰＣの複数の表現のそれぞれの初期化セグメントを示す情報を含み、
前記ＰＣの表現に対応する各初期化セグメントは、その表現のＶ－ＰＣＣシーケンスパラメータセットを含む、請求項１７に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

背景
[0001] 高品質３Ｄポイントクラウドは近年、没入型メディアの高度表現として出現した。ポイントクラウドは、各ポイントに関連付けられた色、透明度、取得時間、レーザの反射率、又は材料特性等の１つ又は複数の属性と共に各ポイントのロケーションを示す座標を使用して、３Ｄ空間で表される１組のポイントからなる。ポイントクラウドを作成するためのデータは、幾つかの方法で捕捉することができる。例えば、ポイントクラウドを捕捉する一技法は、複数のカメラ及び深度センサを使用する。光検出及び測距（ＬｉＤＡＲ）レーザスキャナも一般に、ポイントクラウドの捕捉に使用される。ポイントクラウドを使用して物体及びシーンを現実的に再構築するために必要なポイントの数は、約数百万（又は数十億）である。したがって、効率的な表現及び圧縮が、ポイントクラウドデータの記憶及び送信にとって極めて重要である。

【0002】

[0002] ３Ｄポイントを捕捉しレンダリングする技術の近年の進化は、テレプレゼンス、仮想現実、及び大規模動的３Ｄマップの分野での新規用途に繋がってきた。ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ムービングピクチャーエキスパーツグループ（ＭＰＥＧ）の３Ｄグラフィックスサブグループは現在、２つの３Ｄポイントクラウド圧縮（ＰＣＣ）規格の開発に取り組んでいる：静的ポイントクラウド（静止物体のポイントクラウド）用のジオメトリベース圧縮規格及び動的ポイントクラウド（移動物体のポイントクラウド）用のビデオベース圧縮規格。これらの規格の目標は、３Ｄポイントクラウドの効率的且つ相互運用可能な記憶及び送信をサポートすることである。これらの規格の要件の中には、ポイントクラウドジオメトリ座標及び属性の不可逆的符号化及び／又は可逆的符号化をサポートすることがある。

【0003】

図面の簡単な説明
[0003] 本明細書に添付される図面と併せて例として与えられる以下の詳細な説明から、より詳細な理解を有し得る。そのような図面における図は、詳細な説明のように、例である。したがって、図及び詳細な説明は、限定として見なされるべきではなく、他の等しく有効な例も可能であり、適当である。更に、図中の同様の参照番号は同様の要素を示す。

【図面の簡単な説明】

【0004】

【図1A】[0004]１つ又は複数の実施形態を実行及び／又は実施し得る一例のビデオ符号化及び復号化システムを示すブロック図である。

【図1B】[0005]図１Ａのビデオ符号化及び／又は復号化システムと併用される一例のビデオエンコーダユニットを示すブロック図である。

【図2】[0006]一般的なブロックベースのハイブリッドビデオ符号化システムのブロック図である。

【図3】[0007]ブロックベースのビデオデコーダの一般的なブロック図である。

【図4】[0008]ビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）のビットストリームの構造を示す。

【図5】[0009]ＭＰＤ階層データモデルを示す。

【図6】[0010]ＭＰＥＧ－ＤＡＳＨ ＭＰＤファイル内の１つのポイントクラウドに属するＶ－ＰＣＣ構成要素をグループ化する例示的なＤＡＳＨ構成を示す。

【図7】[0011]実施形態によるポイントクラウドコンテンツをストリーミングする例示的なデコーダプロセスを示す流れ図である。

【発明を実施するための形態】

【0005】

詳細な説明
実施形態を実施し得る例示的なシステム
[0012] 図１Ａは、１つ又は複数の実施形態を実行及び／又は実施し得る一例のビデオ符号化及び復号化システム１００を示すブロック図である。システム１００は、通信チャネル１１６を介して符号化ビデオ情報を宛先デバイス１１４に送信し得るソースデバイス１１２を含み得る。

【0006】

[0013] ソースデバイス１１２及び／又は宛先デバイス１１４は、広範囲の任意のデバイスであり得る。幾つかの代表的な実施形態では、ソースデバイス１１２及び／又は宛先デバイス１１４は、通信チャネル１１６を介してビデオ情報を通信することができる無線ハンドセット又は任意の無線デバイス等の無線送信及び／又は受信ユニット（ＷＴＲＵ）を含み得、その場合、通信チャネル１１６は無線リンクを含む。しかしながら、本明細書に記載、開示、又は他の方法で明示的、暗示的、及び／又は本質的に提供される（まとめて「提供される」）方法、装置、及びシステムは、必ずしも無線用途又は設定に限定されない。例えば、これらの技法は、地上波テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、インターネットビデオ送信、記憶媒体に符号化される符号化デジタルビデオ、及び／又は他の状況に適用し得る。通信チャネル１１６は、符号化ビデオデータの送信に適した無線又は有線媒体の任意の組合せを含み得、及び／又は任意の組合せであり得る。

【0007】

[0014] ソースデバイス１１２は、ビデオエンコーダユニット１１８、送信及び／又は受信（Ｔｘ／Ｒｘ）ユニット１２０、及び／又はＴｘ／Ｒｘ要素１２２を含み得る。示されるように、ソースデバイス１１２はビデオソース１２４を含み得る。宛先デバイス１１４は、Ｔｘ／ＲＸ要素１２６、Ｔｘ／Ｒｘユニット１２８、及び／又はビデオデコーダユニット１３０を含み得る。示されるように、宛先デバイス１１４は表示デバイス１３２を含み得る。Ｔｘ／Ｒｘユニット１２０、１２８のそれぞれは、送信機、受信機、若しくは送信機と受信機との組合せ（例えば、送受信機又は送信機－受信機）であり得、又はそれを含み得る。Ｔｘ／Ｒｘ要素１２２、１２６のそれぞれは、例えばアンテナであり得る。この開示によれば、ソースデバイス１１２のビデオエンコーダユニット１１８及び／又は宛先デバイス１１４のビデオデコーダユニット１３０は、本明細書に提供される符号化技法を適用するように構成及び／又は適合（まとめて「適合」）し得る。

【0008】

[0015] ソースデバイス１１２及び宛先デバイス１１４は、他の要素／構成要素又は機構を含み得る。例えば、ソースデバイス１１２は、外部ビデオソースからビデオデータを受信するように適合し得る。宛先デバイス１１４は、外部表示デバイス（図示せず）とインターフェースし得、及び／又は（例えば統合された）表示デバイス１３２を含み得、及び／又は使用し得る。幾つかの実施形態では、ビデオエンコーダユニット１１８によって生成されたデータストリームは、直接デジタル転送等により、データを搬送波信号に変調せずに他のデバイスに伝達し得、他のデバイスは、送信のためにデータを変調してもよく、又はしなくてもよい。

【0009】

[0016] 本明細書に提供される技法は、任意のデジタルビデオ符号化及び／又は復号化デバイスによって実行し得る。一般に、本明細書に提供される技法は別個のビデオ符号化デバイス及び／又はビデオ復号化デバイスによって実行されるが、本技法は、通常、「ＣＯＤＥＣ」と呼ばれるビデオエンコーダ／デコーダ組合せによって実行することもできる。本明細書に提供される技法は、ビデオプリプロセッサ等によって実行することもできる。ソースデバイス１１２及び宛先デバイス１１４は、ソースデバイス１１２が、宛先デバイス１１４への送信に向けて符号化ビデオ情報を生成し得る（及び／又はビデオデータを受信、及び生成し得る）そのような符号化デバイスの単なる例である。幾つかの代表的な実施形態では、ソースデバイス１１２及び宛先デバイス１１４は、デバイス１１２、１１４のそれぞれがビデオ符号化及び復号化構成要素及び／又は要素（まとめて「要素」）の両方を含み得るような実質的に対称的に動作し得る。したがって、システム１００は、ソースデバイス１１２と宛先デバイス１１４との間の単方向及び双方向ビデオ伝送の何れかをサポートし得る（例えば、特に、任意のビデオストリーミング、ビデオ再生、ビデオブロードキャスト、テレビ電話、及び／又はテレビ会議の）。特定の代表的な実施形態では、ソースデバイス１１２は、例えば、１つ又は複数の宛先デバイスに向けた符号化ビデオ情報を生成（及び／又はビデオデータを受信し、及び生成）するように適合されたビデオストリーミングサーバであり得、その場合、宛先デバイスは、有線及び／又は無線通信システムを経由してソースデバイス１１２と通信し得る。

【0010】

[0017] 外部ビデオソース及び／又はビデオソース１２４は、ビデオカメラ等のビデオ捕捉デバイス、前に捕捉されたビデオを含むビデオアーカイブ、及び／又はビデオコンテンツプロバイダからのビデオフィードであり得、及び／又はそれらを含み得る。特定の代表的な実施形態では、外部ビデオソース及び／又はビデオソース１２４は、ソースビデオとしてコンピュータグラフィクスベースデータ、又はライブビデオ、アーカイブビデオ、及び／又はコンピュータ生成ビデオの組合せを生成し得る。特定の代表的な実施形態では、ビデオソース１２４がビデオカメラである場合、ソースデバイス１１２及び宛先デバイス１１４は、カメラフォン又はビデオフォンであり得、又はそれを実施し得る。

【0011】

[0018] 捕捉された、予め捕捉された、コンピュータ生成されたビデオ、ビデオフィード、及び／又は他のタイプのビデオデータ（まとめて「未符号化ビデオ」）は、ビデオエンコーダユニット１１８によって符号化されて、符号化ビデオ情報を形成し得る。Ｔｘ／Ｒｘユニット１２０は、符号化ビデオ情報を変調し得る（例えば、通信規格に従って、符号化ビデオ情報を搬送する１つ又は複数の変調信号を形成し得る）。Ｔｘ／Ｒｘユニット１２０は、変調信号を送信のために送信機に送り得る。送信機は、Ｔｘ／Ｒｘ要素１２２を介して変調信号を宛先デバイス１１４に送信し得る。

【0012】

[0019] 宛先デバイス１１４において、Ｔｘ／Ｒｘユニット１２８は、Ｔｘ／Ｒｘ要素１２６を介してオーバーチャネル１１６から変調信号を受信し得る。Ｔｘ／Ｒｘユニット１２８は、変調信号を復調して、符号化ビデオ情報を取得し得る。Ｔｘ／ＲＸユニット１２８は、符号化ビデオ情報をビデオデコーダユニット１３０に渡し得る。

【0013】

[0020] ビデオデコーダユニット１３０は、符号化ビデオ情報を復号化して、復号化ビデオデータを取得し得る。符号化ビデオ情報は、ビデオエンコーダユニット１１８によって定義されたシンタックス情報を含み得る。このシンタックス情報は１つ又は複数の要素（「シンタックス要素」）を含み得、その幾つか又は全ては符号化ビデオ情報の復号化に有用であり得る。シンタックス要素は、例えば、符号化ビデオ情報の特性を含み得る。シンタックス要素は、符号化ビデオ情報の形成に使用される非符号化ビデオの特性を含むこともでき、及び／又は非符号化ビデオの処理を記述することもできる。

【0014】

[0021] ビデオデコーダユニット１３０は、後に記憶及び／又は外部ディスプレイ（図示せず）に表示するために、復号化ビデオデータを出力し得る。特定の代表的な実施形態では、ビデオデコーダユニット１３０は、復号化ビデオデータを表示デバイス１３２に出力し得る。表示デバイス１３２は、復号化ビデオデータをユーザに表示するように適合された任意の個々の表示デバイス、複数の表示デバイス、多種多様な表示デバイスの組合せを含み得る。そのような表示デバイスの例には、特に、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、及び／又は陰極線管（ＣＲＴ）がある。

【0015】

[0022] 通信チャネル１１６は、無線周波数（ＲＦ）スペクトル若しくは１つ若しくは複数の物理的伝送線等の任意の無線若しくは有線通信媒体、又は無線媒体と有線媒体との任意の組合せであり得る。通信チャネル１１６は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネット等のグローバルネットワーク等のパケットベースネットワークの一部をなし得る。通信チャネル１１６は一般に、有線媒体及び／又は無線媒体の任意の適した組合せを含め、ビデオデータをソースデバイス１１２から宛先デバイス１１４に送信する任意の適した通信媒体又は異なる通信媒体の集まりを表す。通信チャネル１１６は、ルータ、スイッチ、基地局、及び／又はソースデバイス１１２から宛先デバイス１１４への通信を促進するのに有用であり得る任意の他の機器を含み得る。デバイス１１２と１１４との間のそのような通信を促進し得る通信システム例の詳細は、図１５Ａ～図１５Ｅを参照して以下に提供される。ソースデバイス１１２及び宛先デバイス１１４を表し得るデバイスの詳細についても同様に以下に提供する。

【0016】

[0023] ビデオエンコーダユニット１１８及びビデオデコーダユニット１３０は、例えば、特に、ＭＰＥＧ－２、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｈ．２６４／ＡＶＣ、及び／又はＳＶＣ拡張に従って拡張されたＨ．２６４（「Ｈ．２６４／ＳＶＣ」）等の１つ又は複数の規格及び／又は仕様に従って動作し得る。本明細書に記載の方法、装置、及び／又はシステムが、異なる規格に従って実施される（及び／又は異なる規格に準拠する）他のビデオエンコーダ、デコーダ、及び／又はＣＯＤＥＣ、又は将来のビデオエンコーダ、デコーダ、及び／又はＣＯＤＥＣを含むプロプライエタリビデオエンコーダ、デコーダ、及び／又はＣＯＤＥＣに適用可能なことを当業者なら理解する。本明細書に記載の技法は、いかなる特定の符号化規格にも限定されない。

【0017】

[0024] 先に記したＨ．２６４／ＡＶＣの関連する部分は、ＩＴＵ－Ｔ推奨Ｈ．２６４として、又はより具体的には、“ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG4-AVC),‘Advanced Video Coding for Generic Audiovisual Services,’v5, March, 2010;”として国際電気通信連合（International Telecommunications Union）から入手可能であり、これは、参照により本明細書に援用され、本明細書ではＨ．２６４規格、Ｈ．２６４仕様、Ｈ．２６４／ＡＶＣ規格及び／又は仕様と呼ばれ得る。本明細書に提供される技法は、Ｈ．２６４規格に準拠（例えば、概して準拠）するデバイスに適用し得る。

【0018】

[0025] 図１Ａに示されていないが、ビデオエンコーダユニット１１８及びビデオデコーダユニット１３０のそれぞれは、オーディオエンコーダ及び／又はオーディオデコーダを含み得、及び／又はオーディオエンコーダ及び／又はオーディオデコーダと統合し得る（適宜）。ビデオエンコーダユニット１１８及びビデオデコーダユニット１３０は、適切なＭＵＸ－ＤＥＭＵＸユニット、又は共通データストリーム及び／又は別個のデータストリームにおいてオーディオ及びビデオの両方の符号化を扱う他のハードウェア及び／又はソフトウェアを含み得る。該当する場合、ＭＵＸ－ＤＥＭＵＸユニットは、例えば、ＩＴＵ－Ｔ推奨Ｈ．２２３マルチプレクサプロトコル及び／又はユーザデータグラムプロトコル（ＵＤＰ）等の他のプロトコルに準拠し得る。

【0019】

[0026] １つ又は複数のビデオエンコーダユニット１１８及び／又はビデオデコーダユニット１３０は、１つ又は複数のエンコーダ及び／又はデコーダに含まれ得、その何れかはＣＯＤＥＣの一部として統合し得、特に、各カメラ、コンピュータ、モバイルデバイス、加入者デバイス、ブロードキャストデバイス、セットトップボックス、及び／又はサーバと統合し得、及び／又は組合せ得る。ビデオエンコーダユニット１１８及び／又はビデオデコーダユニット１３０は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せ等の任意の多種多様な、適したエンコーダ及び／又はデコーダ回路としてそれぞれ実施し得る。ビデオエンコーダユニット１１８及びビデオデコーダユニット１３０の何れか又は両方は実質的にソフトウェアとして実施し得、ビデオエンコーダユニット１１８及び／又はビデオデコーダユニット１３０の要素の動作は、１つ又は複数のプロセッサ（図示せず）によって実行される適切なソフトウェア命令によって実行し得る。そのような実施形態は、プロセッサに加えて、オフチップ構成要素、例えば特に、外部記憶装置（例えば不揮発性メモリの形態）及び／又は入力／出力インターフェースを含み得る。

【0020】

[0027] ビデオエンコーダユニット１１８及び／又はビデオデコーダユニット１３０の要素の動作が、１つ又は複数のプロセッサによって実行されるソフトウェア命令によって実行し得る任意の実施形態では、ソフトウェア命令は、例えば特に、磁気ディスク、光ディスク、任意の他の揮発性（例えば、ランダムアクセスメモリ（「ＲＡＭ」））、不揮発性（例えば、読み取り専用メモリ（「ＲＯＭ」））、及び／又はＣＰＵにより可読の大容量記憶システムを含むコンピュータ可読媒体に保持し得る。コンピュータ可読媒体は、専ら処理システムに存在し得、及び／又は処理システムにローカル又はリモートであり得る複数の相互接続された処理システムに分散した協働する又は相互接続されたコンピュータ可読媒体を含み得る。

【0021】

[0028] 図１Ｂは、システム１００等のビデオ符号化及び／又は復号化システムと併用される一例のビデオエンコーダユニット１１８を示すブロック図である。ビデオエンコーダユニット１１８は、ビデオエンコーダ１３３、出力バッファ１３４、及びシステムコントローラ１３６を含み得る。ビデオエンコーダ１３３（又はその１つ若しくは複数の要素）は、例えば特に、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＡＶＣのＳＶＣ拡張（Ｈ．２６４／ＡＶＣ付録Ｇ）、ＨＥＶＣ、及び／又はＨＥＶＣのスケーラブル拡張（ＳＨＶＣ）等の１つ又は複数の規格及び／又は仕様に従って実施し得る。本明細書に提供される方法、装置、及び／又はシステムが、異なる規格及び／又は将来のＣＯＤＥＣを含むプロプライエタリＣＯＤＥＣに従って実施される他のビデオエンコーダにも適用可能であり得ることを当業者なら理解する。

【0022】

[0029] ビデオエンコーダ１３３は、ビデオソース１２４及び／又は外部ビデオソース等のビデオソースから提供されたビデオ信号を受信し得る。このビデオ信号は未符号化ビデオを含み得る。ビデオエンコーダ１３３は、未符号化ビデオを符号化し、符号化（すなわち圧縮された）ビデオビットストリーム（ＢＳ）をその出力に提供し得る。

【0023】

[0030] 符号化ビデオビットストリームＢＳは出力バッファ１３４に提供し得る。出力バッファ１３４は、符号化ビデオビットストリームＢＳをバッファリングし、通信チャネル１１６を介して送信するために、バッファリングビットストリーム（ＢＢＳ）としてそのような符号化ビデオビットストリームＢＳを提供し得る。

【0024】

[0031] 出力バッファ１３４から出力されたバッファリングビットストリームＢＢＳは、後に閲覧又は送信するために記憶装置（図示せず）に送信し得る。特定の代表的な実施形態では、ビデオエンコーダユニット１１８は、指定された一定のビットレート及び／又は可変ビットレート（例えば、遅延をもって（例えば、非常に遅い又は最小遅延））で通信チャネル１１６を介してバッファリングビットストリームＢＢＳを送信し得る視覚的通信用に構成し得る。

【0025】

[0032] 符号化ビデオビットストリームＢＳ、そして順番にバッファリングビットストリームＢＢＳは、符号化ビデオ情報のビットを搬送し得る。バッファリングビットストリームＢＢＳのビットは、符号化ビデオフレームのストリームとして配置し得る。符号化ビデオフレームは、イントラ符号化フレーム（例えばＩフレーム）又はインター符号化フレーム（例えば、Ｂフレーム及び／又はＰフレーム）であり得る。符号化ビデオフレームのストリームは、例えば、一連のピクチャグループ（ＧＯＰ）として配置し得、各ＧＯＰの符号化ビデオフレームは指定された順序で配置される。一般に、各ＧＯＰは、イントラ符号化フレーム（例えばＩフレーム）で始まり、１つ又は複数のインター符号化フレーム（例えば、Ｐフレーム及び／又はＢフレーム）が続き得る。各ＧＯＰは１つのみのイントラ符号化フレームを含み得るが、任意のＧＯＰは複数のイントラ符号化フレームを含み得る。Ｂフレームは、例えば、双方向予測は単方向予測（Ｐフレーム）と比較して追加の符号化遅延を生じさせ得るため、リアルタイムの低遅延用途では使用されない可能性があることが意図される。追加及び／又は他のフレームタイプを使用することもでき、符号化ビデオフレームの特定の順序は、当業者により理解されるように、変更し得る。

【0026】

[0033] 各ＧＯＰはシンタックスデータ（「ＧＯＰシンタックスデータ」）を含み得る。ＧＯＰシンタックスデータは、ＧＯＰのヘッダ、ＧＯＰの１つ又は複数のフレームのヘッダ、及び／又は他の場所に配置し得る。ＧＯＰシンタックスデータは、各ＧＯＰの符号化ビデオフレームの順序を示し、定量化し、分類し及び／又は記述し得る。各符号化ビデオフレームはシンタックスデータ（「符号化フレームシンタックスデータ」）を含み得る。符号化フレームシンタックスデータは、各符号化ビデオフレームの符号化モードを示し及び／又は記述し得る。

【0027】

[0034] システムコントローラ１３６は、チャネル１１６に関連付けられた種々のパラメータ及び／又は制約、ビデオエンコーダユニット１１８の計算能力、ユーザによる需要等を監視し得、チャネル１１６の指定された制約及び／又は状況に適した付随する体感品質（ＱｏＥ）を提供するためのターゲットパラメータを確立し得る。ターゲットパラメータの１つ又は複数は、指定された制約及び／又はチャネル状況に応じて時折又は定期的に調整し得る。一例として、ＱｏＥは、例えば、符号化ビデオシーケンスの相対知覚品質と一般に呼ばれるメトリックを含め、ビデオ品質を評価する１つ又は複数のメトリックを使用して定量的に評価し得る。例えば、ピーク信号対雑音比（「ＰＳＮＲ」）メトリックを使用して測定される符号化ビデオシーケンスの相対知覚品質が、符号化ビットストリームＢＳのビットレート（ＢＲ）により制御し得る。ターゲットパラメータ（例えば、量子化パラメータ（ＱＰ）を含む）の１つ又は複数は、符号化ビットストリームＢＳのビットレートに関連付けられた制約内で相対知覚品質を最大化するように調整し得る。

【0028】

[0035] 図２は、システム１００等のビデオ符号化及び／又は復号化システムと併用されるブロックベースハイブリッドビデオエンコーダ２００のブロック図である。

【0029】

[0036] 図２を参照すると、ブロックベースハイブリッド符号化システム２００は、特に、変換ユニット２０４、量子化ユニット２０６、エントロピー符号化ユニット２０８、逆量子化ユニット２１０、逆変換ユニット２１２、第１の加算器２１６、第２の加算器２２６、空間予測ユニット２６０、動き予測ユニット２６２、基準ピクチャ記憶装置２６４、１つ又は複数のフィルタ２６６（例えば、ループフィルタ）、及び／又はモード決定及びエンコーダコントローラユニット２８０を含み得る。

【0030】

[0037] ビデオエンコーダ２００の詳細は単なる例示であるとされ、現実世界の実施は異なり得る。現実世界の実施態様は、例えば、より多数の、より少数の、及び／又は異なる要素を含み得、及び／又は図２に示される配置から異なって配置され得る。例えば、別個に示されているが、変換ユニット２０４及び量子化ユニット２０６の両方の機能の幾つか又は全ては、例えば、Ｈ．２６４規格のコア変換を使用する実施態様等の現実世界の実施態様の幾つかでは高度に統合し得る。同様に、逆量子化ユニット２１０及び逆変換ユニット２１２は、現実世界の実施態様の幾つか（例えば、Ｈ．２６４又はＨＥＶＣ規格準拠実施態様）では高度に統合し得るが、同様に、概念目的で別個に示されている。

【0031】

[0038] 上述したように、ビデオエンコーダ２００は、その入力２０２においてビデオ信号を受信し得る。ビデオエンコーダ２００は、受信した未符号化ビデオから符号化ビデオ情報を生成し、符号化ビデオ情報（例えば、任意のイントラフレーム又はインターフレーム）をその出力２２０から符号化ビデオビットストリームＢＳの形態で出力し得る。ビデオエンコーダ２００は、例えば、ハイブリッドビデオエンコーダとして動作し、未符号化ビデオの符号化にブロックベースの符号化プロセスを利用し得る。そのような符号化プロセスを実行するとき、ビデオエンコーダ２００は、未符号化ビデオの個々のフレーム、ピクチャ、及び／又は画像（まとめて「未符号化ピクチャ」）に対して動作し得る。

【0032】

[0039] ブロックベースの符号化プロセスを促進するために、ビデオエンコーダ２００は、その入力２０２において受信した各未符号化ピクチャを複数の未符号化ビデオブロックにスライシング、区画化、分割、及び／又は区分化（まとめて「区分化」）し得る。例えば、ビデオエンコーダ２００は、未符号化ピクチャを複数の未符号化ビデオ区分（例えばスライス）に区分化し得、未符号化ビデオ区分のそれぞれを未符号化ビデオブロックに区分化し得る（例えば、次に区分化し得る）。ビデオエンコーダ２００は、未符号化ビデオブロックを空間予測ユニット２６０、動き予測ユニット２６２、モード決定及び符号化コントローラユニット２８０、及び／又は第１の加算器２１６に渡し、供給し、送信し、又は提供し得る。より詳細に以下に説明するように、未符号化ビデオブロックはブロック毎に提供し得る。

【0033】

[0040] 空間予測ユニット２６０は、未符号化ビデオブロックを受信し、そのようなビデオブロックをイントラモードで符号化し得る。イントラモードは、空間ベースの圧縮の幾つかのモードの何れかを指し、イントラモードでの符号化は、未符号化ピクチャの空間ベースの圧縮を提供しようと努める。空間ベースの圧縮は、もしあれば、未符号化ピクチャ内のビデオ情報の空間冗長性を低減又はなくすことから生じ得る。予測ブロックを形成するに当たり、空間予測ユニット２６０は、既に符号化（「符号化ビデオブロック」）及び／又は再構築（「再構築ビデオブロック」）された未符号化ピクチャの１つ又は複数のビデオブロックを基準として各未符号化ビデオブロックの空間予測（又は「イントラ予測」）を実行し得る。符号化ビデオブロック及び／又は再構築ビデオブロックは、未符号化ビデオブロックの近隣、隣接、又は近傍（例えば、近く）にあり得る。

【0034】

[0041] 動き予測ユニット２６２は、入力２０２から未符号化ビデオブロックを受信し、それらをインターモードで符号化し得る。インターモードは、例えば、Ｐモード（単方向予測）及び／又はＢモード（双方向予測）を含む時間ベースの圧縮の幾つかのモードの何れかを指す。インターモードでの符号化は、未符号化ピクチャの時間ベースの圧縮を提供しようと努める。時間ベースの圧縮は、もしあれば、未符号化ピクチャ及び１つ又は複数の基準（例えば隣接）ピクチャ間のビデオ情報の時間冗長性を低減又はなくすことから生じ得る。動き／時間的予測ユニット２６２は、基準ピクチャ（「基準ビデオブロック」）の１つ又は複数のビデオブロックに対する各未符号化ビデオブロックの時間的予測（又は「インター予測」）を実行し得る。実行される時間的予測は、単方向予測（例えば、Ｐモードの場合）及び／又は双方向予測（例えば、Ｂモードの場合）であり得る。

【0035】

[0042] 単方向予測の場合、基準ビデオブロックは、１つ又は複数の先に符号化されたピクチャ及び／又は先に再構築されたピクチャからであり得る。符号化されたピクチャ及び／又は再構築された１つ又は複数のピクチャは、未符号化ピクチャの近隣、隣接、及び／又は近傍にあり得る。

【0036】

[0043] 双方向予測の場合、基準ビデオブロックは、１つ又は複数の先に符号化されたピクチャ及び／又は先に再構築されたピクチャからであり得る。符号化されたピクチャ及び／又は再構築されたピクチャは、未符号化ピクチャの近隣、隣接、及び／又は近傍にあり得る。

【0037】

[0044] 複数の基準ピクチャが使用される場合（Ｈ．２６４／ＡＶＣ及び／又はＨＥＶＣ等の近年のビデオ符号化規格等の場合であり得る）、ビデオブロック毎に、その基準ピクチャインデックスが、続く出力及び／又は送信のためにエントロピー符号化ユニット２０８に送信され得る。基準インデックスは、時間的予測が基準ピクチャ記憶装置２６４内のどの１つ又は複数の基準ピクチャから来るのかを識別するのに使用し得る。

【0038】

[0045] 典型的には高度に統合されるが、動き推定及び動き補償に関する動き／時間的予測ユニット２６２の機能は、別個のエンティティ又はユニット（図示せず）により実行されてもよい。動き推定は、基準ピクチャビデオブロックに対する各未符号化ビデオブロックの動きを推定するのに実行し得、未符号化ビデオブロックの動きベクトルを生成することを含み得る。動きベクトルは、符号化中の未符号化ビデオブロックに対する予測ブロックの変位を示し得る。この予測ブロックは、例えば、符号化中の未符号化ビデオブロックのピクセル差に関して密に一致することがわかった基準ピクチャビデオブロックである。一致は、絶対差の和（ＳＡＤ）、二乗差の和（ＳＳＤ）、及び／又は他の差分メトリックによって判断し得る。動き補償は、動き推定によって特定された動きベクトルに基づいて予測ブロックをフェッチ及び／又は生成することを含み得る。

【0039】

[0046] 動き予測ユニット２６２は、未符号化ビデオブロックを基準ピクチャ記憶装置２６４に記憶された基準ピクチャからの基準ビデオブロックと比較することによって、未符号化ビデオブロックの動きベクトルを計算し得る。動き予測ユニット２６２は、基準ピクチャ記憶装置２６４に含まれる基準ピクチャの部分ピクセル位置の値を計算し得る。幾つかの場合、加算器２２６又はビデオエンコーダ２００の別のユニットが、再構築ビデオブロックの部分ピクセル位置を計算し得、再構築ビデオブロックを部分ピクセル位置の計算された値と共に基準ピクチャ記憶装置２６４に記憶し得る。動き予測ユニット２６２は、基準ピクチャの（例えば、Ｉフレーム、及び／又はＰフレーム、及び／又はＢフレームの）サブ整数（sub-integer）ピクセルを補間し得る。

【0040】

[0047] 動き予測ユニット２６２は、選択された動き予測子に対して動きベクトルを符号化するように構成し得る。動き／時間的予測ユニット２６２によって選択される動き予測子は、例えば、既に符号化された近隣ブロックの動きベクトルの平均値に等しいベクトルであり得る。未符号化ビデオブロックの動きベクトルを符号化するには、動き／時間的予測ユニット２６２は、動きベクトルと動き予測子との間の差分を計算して、動きベクトル差分値を形成し得る。

【0041】

[0048] Ｈ．２６４及びＨＥＶＣは、１組の潜在な基準フレームを「リスト」と呼ぶ。基準ピクチャ記憶装置２６４に記憶される１組の基準ピクチャは、基準フレームのそのようなリストに対応し得る。動き／時間的予測ユニット２６２は、基準ピクチャ記憶装置２６４からの基準ピクチャの基準ビデオブロックを未符号化ビデオブロック（例えば、Ｐフレーム又はＢフレームの）と比較し得る。基準ピクチャ記憶装置２６４内の基準ピクチャがサブ整数ピクセルの値を含む場合、動き／時間的予測ユニット２６２によって計算される動きベクトルは、基準ピクチャのサブ整数ピクセルロケーションを指し得る。動き／時間的予測ユニット２６２は、計算された動きベクトルをエントロピー符号化ユニット２０８及び動き／時間的予測ユニット２６２の動き補償機能に送信し得る。動き予測ユニット２６２（又はその動き補償機能）は、符号化中の未符号化ビデオブロックに対する予測ブロックの誤差値を計算し得る。動き予測ユニット２６２は、予測ブロックに基づいて予測データを計算し得る。

【0042】

[0049] モード決定及びエンコーダコントローラユニット２８０は、符号化モードであるイントラモード又はインターモードの一方を選択し得る。モード決定及びエンコーダコントローラユニット２８０は、例えば、レート歪み最適化法及び／又は各モードで生成された誤差結果に基づいてそれを行い得る。

【0043】

[0050] ビデオエンコーダ２００は、動き予測ユニット２６２から提供された予測データを符号化中の未符号化ビデオブロックから減算することによって、残差ブロック（「残差ビデオブロック」）を形成し得る。加算器２１６は、この減算演算を実行し得る１つ又は複数の要素を表す。

【0044】

[0051] 変換ユニット２０４は、変換を残差ビデオブロックに適用して、そのような残差ビデオブロックをピクセル値領域から周波数領域等の変換領域に変換し得る。変換は、例えば、本明細書に提供される変換である離散コサイン変換（ＤＣＴ）又は概念的に同様の変換の何れかであり得る。変換の他の例には、特に、Ｈ．２６４及び／又はＨＥＶＣに定義される変換、ウェーブレット変換、整数変換、及び／又はサブバンド変換がある。変換ユニット２０４による残差ビデオブロックへの変換の適用は、残差ビデオブロックの変換係数の対応するブロック（「残差変換係数」）を生成する。これらの残差変換係数は、残差ビデオブロックの周波数成分の大きさを表し得る。変換ユニット２０４は、残差変換係数を量子化ユニット２０６に転送し得る。

【0045】

[0052] 量子化ユニット２０６は、残差変換係数を量子化して、符号化ビットレートを更に低減し得る。例えば、量子化プロセスは、残差変換係数の幾つか又は全てに関連付けられたビット深度を低減し得る。特定の場合、量子化ユニット２０６は、ＱＰに対応する量子化レベルによって残差変換係数の値を除算して、量子化変換係数のブロックを形成し得る。量子化の程度は、ＱＰ値を調整することによって変更し得る。量子化ユニット２０６は、所望の数の量子化ステップを使用して量子化を適用し、残差変換係数を表し得、使用されるステップ数（又はそれに対応して量子化レベルの値）は、残差ビデオブロックを表すのに使用される符号化ビデオビットの数を決め得る。量子化ユニット２０６は、レートコントローラ（図示せず）からＱＰ値を取得し得る。量子化に続き、量子化ユニット２０６は、量子化変換係数をエントロピー符号化ユニット２０８及び逆量子化ユニット２１０に提供し得る。

【0046】

[0053] エントロピー符号化ユニット２０８は、エントロピー符号化を量子化変換係数に適用して、エントロピー符号化係数（すなわち、ビットストリーム）を形成し得る。エントロピー符号化ユニット２０８は、適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、及び／又は他のエントロピー符号化技法を使用して、エントロピー符号化係数を形成し得る。ＣＡＢＡＣでは、当業者により理解されるように、コンテキスト情報（「コンテキスト」）の入力が求められ得る。このコンテキストは、例えば、近隣ビデオブロックに基づき得る。

【0047】

[0054] エントロピー符号化ユニット２０８は、エントロピー符号化係数を動きベクトル及び１つ又は複数の基準ピクチャインデックスと共に、生の符号化ビデオビットストリームの形態で内部ビットストリームフォーマット（図示せず）に提供し得る。このビットストリームフォーマットは、ヘッダ及び／又は例えば、ビデオデコーダユニット３００（図３）が生の符号化ビデオビットストリームから符号化ビデオブロックを復号化できるようにする他の情報を含む追加情報を生の符号化ビデオビットストリームに添付することにより、バッファ１３４（図１Ｂ）の出力に提供される符号化ビデオビットストリームＢＳを形成し得る。エントロピー符号化に続き、エントロピー符号化ユニット２０８から提供された符号化ビデオビットストリームＢＳは、例えば、出力バッファ１３４に出力し得、例えば、チャネル１１６を介して宛先デバイス１１４に送信し得、又は後に送信又は検索するためにアーカイブし得る。

【0048】

[0055] 特定の代表的な実施形態では、エントロピー符号化ユニット２０８又はビデオエンコーダ１３３、２００の別のユニットは、エントロピー符号化に加えて他の符号化機能を実行するように構成し得る。例えば、エントロピー符号化ユニット２０８は、ビデオブロックのコードブロックパターン（ＣＢＰ）値を特定するように構成し得る。特定の代表的な実施形態では、エントロピー符号化ユニット２０８は、ビデオブロック内の量子化変換係数のランレングス符号化を実行し得る。一例として、エントロピー符号化ユニット２０８は、ジグザグスキャン又は他のスキャンパターンを適用して、量子化変換係数をビデオブロックに配置し、更に圧縮するためにゼロの長さを符号化し得る。エントロピー符号化ユニット２０８は、符号化ビデオビットストリームＢＳでの送信に適切なシンタックス要素を用いてヘッダ情報を構築し得る。

【0049】

[0056] 逆量子化ユニット２１０及び逆変換ユニット２１２は、逆量子化及び逆変換をそれぞれ適用して、例えば、後に基準ビデオブロックの１つ（例えば、基準ピクチャリスト内の基準ピクチャの１つ内）として使用するために、残差ビデオブロックをピクセル領域で再構築し得る。

【0050】

[0057] モード決定及びエンコーダコントローラユニット２８０は、再構築された残差ビデオブロックを基準ピクチャ記憶装置２６４に記憶された基準ピクチャの１つの予測ブロックに適用することにより、基準ビデオブロックを計算し得る。モード決定及びエンコーダコントローラユニット２８０は、１つ又は複数の補間フィルタを再構築残差ビデオブロックに適用して、動き推定に使用するためにサブ整数ピクセル値（例えば、半ピクセル位置の）を計算し得る。

【0051】

[0058] 加算器２２６は、再構築残差ビデオブロックを動き補償予測ビデオブロックに追加して、基準ピクチャ記憶装置２６４に記憶される再構築ビデオブロックを生成し得る。再構築（ピクセル値領域）ビデオブロックは、動き予測ユニット２６２（又はその動き推定機能及び／又はその動き補償機能）により、続く未符号化ビデオ内の未符号化ビデオブロックをインター符号化するための基準ブロックの１つとして使用され得る。

【0052】

[0059] フィルタ２６６（例えばループフィルタ）は、デブロックフィルタを含み得る。デブロックフィルタは、再構築されたマクロブロックに存在し得る視覚的アーチファクトを除去するように動作可能である。これらのアーチファクトは、例えば、Ｉタイプ、Ｐタイプ、又はＢタイプ等の異なる符号化モードの使用に起因して符号化プロセスに導入され得る。アーチファクトは、例えば、受信したビデオブロックの境界及び／又はエッジに存在し得、デブロックフィルタは、ビデオブロックの境界及び／又はエッジを平滑化して、視覚的品質を改善するように動作可能である。デブロックフィルタは、加算器２２６の出力をフィルタリングし得る。フィルタ２６６は、ＨＥＶＣ規格によってサポートされるサンプル適応オフセット（ＳＡＯ）フィルタ等の他のインループフィルタを含み得る。

【0053】

[0060] 図３は、図１Ａのビデオデコーダユニット１３０等のビデオデコーダユニットと併用される一例のビデオデコーダ３００を示すブロック図である。ビデオデコーダ３００は、入力３０２、エントロピー復号化ユニット３０８、動き補償予測ユニット３６２、空間予測ユニット３６０、逆量子化ユニット３１０、逆変換ユニット３１２、基準ピクチャ記憶装置３６４、フィルタ３６６、加算器３２６、及び出力３２０を含み得る。ビデオデコーダ３００は、一般に、ビデオエンコーダ１３３、２００に関して提供された符号化プロセスの逆である復号化プロセスを実行し得る。この復号化プロセスは、以下に記載のように実行し得る。

【0054】

[0061] 動き補償予測ユニット３６２は、エントロピー復号化ユニット３０８から受信した動きベクトルに基づいて予測データを生成し得る。動きベクトルは、符号化動きベクトルに対応するビデオブロックの動き予測子に関して符号化し得る。動き補償予測ユニット３６２は、例えば、復号化すべきビデオブロックの近隣のブロックの動きベクトルの中央値として、動き予測子を決定し得る。動き予測子を決定した後、動き補償予測ユニット３６２は、符号化ビデオビットストリームＢＳから動きベクトル差分値を抽出し、動きベクトル差分値を動き予測子に加算することによって符号化動きベクトルを復号化し得る。動き補償予測ユニット３６２は、符号化動きベクトルと同じ解像度に動き予測子を量子化し得る。特定の代表的な実施形態では、動き補償予測ユニット３６２は、同じ精度を幾つか又は全ての符号化動き予測子に使用し得る。別の例として、動き補償予測ユニット３６２は、シーケンスパラメータセット、スライスパラメータセット、又は符号化ビデオビットストリームＢＳから得られるピクチャパラメータセットに含まれるデータを分析することにより、上記方法の何れかを使用し、どの方法を使用すべきかを判断するように構成し得る。

【0055】

[0062] 動きベクトルを復号化した後、動き補償予測ユニット３６２は、動きベクトルにより識別された予測ビデオブロックを基準ピクチャ記憶装置３６４の基準ピクチャから抽出し得る。動きベクトルが、半ピクセル等の部分ピクセル位置を指す場合、動き補償予測ユニット３６２は、部分ピクセル位置の値を補間し得る。動き補償予測ユニット３６２は、これらの値の補間に適応補間フィルタ又は固定補間フィルタを使用し得る。動き補償予測ユニット３６２は、フィルタ３６６の何れを使用すべきかの指標、種々の代表的な実施形態では、フィルタ３６６の係数を受信した符号化ビデオビットストリームＢＳから取得し得る。

【0056】

[0063] 空間予測ユニット３６０は、符号化ビデオビットストリームＢＳにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ビデオブロックを形成し得る。逆量子化ユニット３１０は逆量子化し得る（例えば、符号化ビデオビットストリームＢＳにおいて提供され、エントロピー復号化ユニット３０８により復号化された量子化ブロック係数を逆量子化し得る）。逆量子化プロセスは、例えば、Ｈ．２６４により定義されるように、従来のプロセスを含み得る。逆量子化プロセスは、各ビデオブロックのビデオエンコーダ１３３、２００により計算された量子化パラメータＱＰを使用して、適用すべき量子化の程度及び／又は逆量子化の程度を決め得る。

【0057】

[0064] 逆変換ユニット３１２は、逆変換（例えば、本明細書に記載の任意の変換の逆、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセス）を変換係数に適用して、ピクセル領域での残差ビデオブロックを生成し得る。動き補償予測ユニット３６２は、動き補償ブロックを生成し得、補間フィルタに基づいて補間を実行し得る。サブピクセル精度の動き推定で使用すべき補間フィルタの識別子は、ビデオブロックのシンタックス要素に含まれ得る。動き補償予測ユニット３６２は、ビデオブロックの符号化中、ビデオエンコーダ１３３、２００によって使用される補間フィルタを使用して、基準ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償予測ユニット３６２は、受信したシンタックス情報に従ってビデオエンコーダ１３３、２００により使用された補間フィルタを特定し、その補間フィルタを予測ブロックの生成に使用し得る。

【0058】

[0065] 動き補償予測ユニット２６２は、（１）符号化ビデオシーケンスの１つ又は複数のピクチャの符号化に使用されたビデオブロックのサイズの特定にシンタックス情報を使用し得、（２）符号化ビデオシーケンスのフレームの各ビデオブロックがいかに区画化されたかを記述する区画化情報を使用し得、（３）各区画がいかに符号化されたかを示すモード（又はモード情報）を使用し得、（４）各インター符号化ビデオブロックの１つ又は複数の基準ピクチャを使用し得、及び／又は（５）符号化ビデオシーケンスの復号化するための他の情報を使用し得る。

【0059】

[0066] 加算器３２６は、動き補償予測ユニット３６２又は空間予測ユニット３６０により生成された対応する予測ブロックと残差ブロックを合算して、復号化ビデオブロックを形成し得る。ループフィルタ３６６（例えば、デブロックフィルタ又はＳＡＯフィルタ）は、復号化ビデオブロックをフィルタリングして、ブロックノイズアーチファクトを除去し、及び／又は視覚的品質を改善するために適用され得る。復号化ビデオブロックは基準ピクチャ記憶装置３６４に記憶し得、これは、続く動き補償に基準ビデオブロックを提供し得、表示デバイス（図示せず）への提示に向けて復号化ビデオを生成し得る。

【0060】

ポイントクラウド圧縮
[0067] 図４は、ビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）のビットストリームの構造を示す。生成されたビデオビットストリーム及びメタデータは一緒に多重化されて、最終Ｖ－ＰＣＣビットストリームを生成する。

【0061】

[0068] Ｖ－ＰＣＣビットストリームは、図４に示されるように１組のＶ－ＰＣＣユニットで構成される。Ｖ－ＰＣＣ規格コミュニティドラフト（Ｖ－ＰＣＣ ＣＤ）の最新版において定義されるＶ－ＰＣＣユニットのシンタックスを表１に与え、表１では、各Ｖ－ＰＣＣユニットはＶ－ＰＣＣユニットヘッダ及びＶ－ＰＣＣユニットペイロードを有する。Ｖ－ＰＣＣユニットヘッダは、Ｖ－ＰＣＣユニットタイプ（表２）を記述する。ユニットタイプ２、３、及び４を有するＶ－ＰＣＣユニットは、コミュニティドラフトで定義されるように、占有、ジオメトリ、及び属性データユニットである。これらのデータユニットは、ポイントクラウドの再構築に必要な３つの主な構成要素を表す。Ｖ－ＰＣＣユニットタイプに加えて、Ｖ－ＰＣＣ属性ユニットヘッダは、属性タイプ及びそのインデックスも指定し、同じ属性タイプの複数のインスタンスをサポートできるようにする。

【0062】

[0069] 占有、ジオメトリ、及び属性Ｖ－ＰＣＣユニットのペイロード（表３）は、対応する占有、ジオメトリ、及び属性パラメータセットＶ－ＰＣＣユニットにおいて指定されるビデオデコーダにより復号化することができるビデオデータユニット（例えば、ＨＥＶＣ ＮＡＬ（ネットワーク抽象レイヤ）ユニット）に対応する。

【0063】

【表1】

【0064】

【表2】

【0065】

【表3】

【0066】

ＨＴＴＰ経由の動的ストリーミング（ＤＡＳＨ）
[0070] ＭＰＥＧのＨＴＴＰ経由の動的適応ストリーミング（ＭＰＥＧ－ＤＡＳＨ）は、変化するネットワーク状況に動的に適応することにより可能な限り最良のビデオ体感をエンドユーザに提供するユニバーサル配信フォーマットである。

【0067】

[0071] ＭＰＥＧ－ＤＡＳＨ等のＨＴＴＰ適応ストリーミングでは、マルチメディアコンテンツの種々のビットレート代替をサーバで利用できるようにする必要がある。加えて、マルチメディアコンテンツは、それぞれが異なる特性を有し得る幾つかのメディア構成要素（例えば、オーディオ、ビデオ、テキスト）を含み得る。ＭＰＥＧ－ＤＡＳＨでは、これらの特性はメディア提示記述（ＭＰＤ）によって記述される。

【0068】

[0072] 図５はＭＰＤ階層データモデルを示す。ＭＰＤは、メディアコンテンツ構成要素の一貫した組の符号化バージョンが変わらないＰｅｒｉｏｄのシーケンスを記述する。各Ｐｅｒｉｏｄは開始時間及び持続時間を有し、１つ又は複数の適応セット（ＡｄａｐｔａｔｉｏｎＳｅｔ）で構成される。

【0069】

[0073] Ａｄａｐｔａｔｉｏｎ Ｓｅｔは、言語、メディアタイプ、ピクチャアスペクト比、役割、アクセス可能性、及び格付けプロパティ等の同一のプロパティを共有する１つ又は幾つかのメディアコンテンツ構成要素の１組の符号化バージョンを表す。例えば、ＡｄａｐｔａｔｉｏｎＳｅｔは、同じマルチメディアコンテンツの異なるビットレートのビデオ構成要素を含み得る。別のＡｄａｐｔａｔｉｏｎＳｅｔは、同じマルチメディアコンテンツの異なるビットレートのオーディオ構成要素（例えば、より低品質のステレオ及びより高品質のサラウンド音）を含み得る。各ＡｄａｐｔａｔｉｏｎＳｅｔは通常、複数のＲｅｐｒｅｓｅｎｔａｔｉｏｎを含む。

【0070】

[0074] Ｒｅｐｒｅｓｅｎｔａｔｉｏｎは、ビットレート、解像度、チャネル数、又は他の特性が他の表現と変わる１つ又は幾つかのメディア構成要素の配信可能符号化バージョンを記述する。各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎは１つ又は複数のセグメントからなる。＠ｉｄ、＠ｂａｎｄｗｉｄｔｈ、＠ｑｕａｌｉｔｙＲａｎｋｉｎｇ、及び＠ｄｅｐｅｎｄｅｎｃｙＩｄ等のＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素の属性は、関連付けられたＲｅｐｒｅｓｅｎｔａｔｉｏｎのプロパティを指定するのに使用される。Ｒｅｐｒｅｓｅｎｔａｔｉｏｎは、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎからの部分情報を記述し、部分情報を抽出する、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎの一部であるサブ表現を含むこともできる。サブ表現は、そのサブ表現が含まれるＲｅｐｒｅｓｅｎｔａｔｉｏｎの低品質バージョンにアクセスする能力を提供し得る。

【0071】

[0075] Ｓｅｇｍｅｎｔは、１つのＨＴＴＰ要求を用いて検索することができるデータの最大単位である。各セグメントは、ＨＴＴＰ ＧＥＴ又はバイト範囲を有するＨＴＴＰ ＧＥＴを使用してダウンロードすることができるＵＲＬ、すなわち、サーバ上のアドレス可能なロケーションを有する。

【0072】

[0076] このデータモデルを使用するために、ＤＡＳＨクライアントはＭＰＤ ＸＭＬをパーズし、各ＡｄａｐｔａｔｉｏｎＳｅｔ要素において提供される情報に基づいてその環境に適したＡｄａｐｔａｔｉｏｎＳｅｔの集まりを選択する。各ＡｄａｐｔａｔｉｏｎＳｅｔ内で、クライアントは、典型的には＠ｂａｎｄｗｉｄｔｈ属性の値に基づいて、クライアントの復号化及びレンダリング能力も考慮に入れて１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎを選択する。クライアントは、選択されたＲｅｐｒｅｓｅｎｔａｔｉｏｎの初期化セグメントをダウンロードし、次に、Ｓｅｇｍｅｎｔ全体又はＳｅｇｍｅｎｔのバイト範囲を要求することによりコンテンツにアクセスする。提示が開始されると、クライアントは、引き続きＭｅｄｉａ Ｓｅｇｍｅｎｔ又はＭｅｄｉａ Ｓｅｇｍｅｎｔの部分を要求し、メディア提示時系列に従ってコンテンツを再生することにより、メディアコンテンツを引き続き消費する。クライアントは、その環境からの更新された情報を考慮に入れてＲｅｐｒｅｓｅｎｔａｔｉｏｎを切り替え得る。クライアントは、Ｐｅｒｉｏｄにわたり連続してコンテンツを再生すべきである。クライアントがＳｅｇｍｅｎｔに含まれるメディアをＲｅｐｒｅｓｅｎｔａｔｉｏｎにおいてアナウンスされたメディアの終わりに向けて消費した時点で、Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎが終了され、新しいＰｅｒｉｏｄが開始され、又はＭＰＤを再フェッチする必要がある。

【0073】

ＤＡＳＨにおける記述子
[0077] ＭＰＥＧ－ＤＡＳＨは、メディアコンテンツについての特定用途向け情報を提供する記述子の概念を導入している。記述子要素は全て同じ方法で構造化され、すなわち、記述子要素は、スキームを識別するＵＲＩを提供する＠ｓｃｈｅｍｅＩｄＵｒｉ属性、任意選択的な属性である＠ｖａｌｕｅ、及び任意選択的な属性である＠ｉｄを含む。要素のセマンティクスは、利用されるスキームに特有である。スキームを識別するＵＲＩは、ＵＲＮ（ユニバーサルリソース名）又はＵＲＬ（ユニバーサルリソースロケータ）であり得る。ＭＰＤは、これらの要素の使用の仕方についてのいかなる特定の情報も提供しない。適切なスキーム情報を用いて記述子要素をインスタンス作成するのは、ＤＡＳＨフォーマットを利用するアプリケーション次第である。これらの要素の１つを使用するＤＡＳＨアプリケーションはまず、ＵＲＩの形態でスキーム識別子を定義しなければならず、次に、そのスキーム識別子が使用されるとき、要素の値空間を定義しなければならない。構造化データが必要とされる場合、任意の拡張要素又は属性を別個の名前空間において定義し得る。記述子は、ＭＰＤ内の幾つかのレベルで出現し得る：
－ＭＰＤレベルにおける要素の存在は、その要素がＭＰＤ要素の子であることを意味しする。
－適応セットレベルにおける要素の存在は、その要素がＡｄａｐｔａｔｉｏｎＳｅｔ要素の子要素であることを意味する。
－表現レベルにおける要素の存在は、その要素がＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素の子要素であることを意味する。

【0074】

事前選択
[0078] ＭＰＥＧ－ＤＡＳＨでは、バンドルとは、１つのデコーダインスタンスによりまとめて消費し得る１組のメディア構成要素である。各バンドルは、デコーダ特有情報を含み、デコーダをブートストラップするメインメディア構成要素を含む。ＰｒｅＳｅｌｅｃｔｉｏｎは、まとめて消費されることが予期されるバンドル内のメディア構成要素のサブセットを定義する。

【0075】

[0079] メインメディア構成要素を含むＡｄａｐｔａｔｉｏｎＳｅｔは、メインＡｄａｐｔａｔｉｏｎＳｅｔと呼ばれる。メインメディア構成要素は、バンドルに関連付けられた任意のＰｒｅＳｅｌｅｃｔｉｏｎに常に含まれる。加えて、各バンドルは１つ又は複数の部分ＡｄａｐｔａｔｉｏｎＳｅｔを含み得る。部分ＡｄａｐｔａｔｉｏｎＳｅｔは、メインＡｄａｐｔａｔｉｏｎＳｅｔと組み合わせてのみ処理し得る。

【0076】

[0080] Ｐｒｅｓｅｌｅｃｔｉｏｎは、表４に定義されるように、ＰｒｅＳｅｌｅｃｔｉｏｎ要素を通して定義し得る。ＰｒｅＳｅｌｅｃｔｉｏｎの選択は、ＰｒｅＳｅｌｅｃｔｉｏｎ要素に含まれる属性及び要素に基づく。

【0077】

【表4】

【0078】

ポイントクラウドの適応ストリーミング
[0081] ビデオ等の従来のマルチメディアアプリケーションはなお人気があるが、ＶＲ及び没入型３Ｄグラフィックス等の新しいメディアに大きな関心が寄せられている。高品質３Ｄポイントクラウドは近年、仮想世界との新しい形態の対話及び通信を可能にする没入型メディアの高度表現として出現した。そのような動的ポイントクラウドを表すのに必要な大量の情報により、効率的な符号化アルゴリズムが必要とされる。ＭＰＥＧの３ＤＧワークグループは現在、ＭＰＥＧ＃１２４会議でリリースされたコミュニティドラフト（ＣＤ）バージョンを用いたビデオベースポイントクラウド圧縮規格の開発に取り組んでいる。ＣＤの最新バージョンは、圧縮された動的ポイントクラウドのビットストリームを定義している。これと平行してＭＰＥＧは、ポイントクラウドデータを搬送するシステム規格も開発中である。

【0079】

[0082] 上記ポイントクラウド規格は、ポイントクラウドの符号化及び記憶の態様のみに対処している。しかしながら、実用的なポイントクラウドアプリケーションが、ネットワークを経由したポイントクラウドデータのストリーミングを必要とすることが考えられる。そのようなアプリケーションは、コンテンツがいかに生成されたかに応じてポイントクラウドコンテンツのライブ又はオンデマンドストリーミングを実行し得る。更に、ポイントクラウドの表現に大量の情報が必要であることに起因して、そのようなアプリケーションは、ネットワークの過負荷を避けるために、適応ストリーミング技法をサポートし、任意の所与の瞬間でのネットワーク容量に関してその瞬間での最適な閲覧体感を提供する必要がある。

【0080】

[0083] ポイントクラウドの適応配信の強力な一方法候補は、ＨＴＴＰ経由の動的適応ストリーミング（ＤＡＳＨ）である。しかしながら、現在のＭＰＥＧ－ＤＡＳＨ規格は、ＭＰＥＧ Ｖ－ＰＣＣ規格に基づくポイントクラウドストリームを含め、ポイントクラウドメディアのいかなるシグナリングメカニズムも提供していない。したがって、ストリーミングクライアントがメディア提示記述子（ＭＰＤ）ファイル内のポイントクラウドストリーム及びそれらの構成要素サブストリームを識別できるようにする新しいシグナリング要素を定義することが重要である。加えて、ストリーミングクライアントが、サポート可能なポイントクラウド又はその構成要素の最良のバージョンを選択できるように、ポイントクラウド構成要素に関連付けられた異なる種類のメタデータをシグナリングする必要もある。

【0081】

[0084] 従来のメディアコンテンツと異なり、Ｖ－ＰＣＣメディアコンテンツは幾つかの構成要素で構成され、幾つかの構成要素は複数のレイヤを有する。各構成要素（及び／又はレイヤ）は、Ｖ－ＰＣＣビットストリームのサブストリームとして別個に符号化される。ジオメトリ及び占有マップ（テクスチャ等の幾つかの属性に加えて）等の幾つかの構成要素サブストリームは、従来のビデオエンコーダ（例えば、Ｈ．２６４／ＡＶＣ又はＨＥＶＣ）を使用して符号化される。しかしながら、これらのサブストリームは、ポイントクラウドをレンダリングするために、追加のメタデータと共にまとめて復号化される必要がある。

【0082】

[0085] 幾つかのＸＭＬ要素及び属性が定義される。これらのＸＭＬ要素は別個の名前空間「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９」において定義される。名前空間指示子「ｖｐｃｃ：」は、このドキュメントにおけるこの名前空間を参照するのに使用される。

【0083】

ＤＡＳＨ ＭＰＤにおけるＶ－ＰＣＣ構成要素のシグナリング
[0086] 各Ｖ－ＰＣＣ構成要素及び／又は構成要素レイヤは、ＤＡＳＨマニフェスト（ＭＰＤ）ファイルにおいて、Ｖ－ＰＣＣコンテンツのメインアクセスポイントとして機能する追加のＡｄａｐｔａｔｉｏｎＳｅｔ（以下、「メインＡｄａｐｔａｔｉｏｎＳｅｔ」）を有する別個のＡｄａｐｔａｔｉｏｎＳｅｔ（以下、「構成要素ＡｄａｐｔａｔｉｏｎＳｅｔ」）として表すことができる。別の実施形態では、解像度毎に１構成要素当たり１つの適応セットがシグナリングされる。

【0084】

[0087] 実施形態では、全てのＶ－ＰＣＣ構成要素ＡｄａｐｔａｔｉｏｎＳｅｔを含むＶ－ＰＣＣストリームの適応セットは、「ｖｐｃ１」に設定された＠ｃｏｄｅｃｓ属性（例えば、Ｖ－ＰＣＣに定義される）の値を有するものとし、これは、ＭＰＤがクラウドポイントに関することを示す。別の実施形態では、メインＡｄａｐｔａｔｉｏｎＳｅｔのみが、「ｖｐｃ１」に設定された＠ｃｏｄｅｃｓ属性を有し、一方、ポイントクラウド構成要素のＡｄａｐｔａｔｉｏｎＳｅｔの＠ｃｏｄｅｃｓ属性（又はＡｄａｐｔａｔｉｏｎＳｅｔ要素の＠ｃｏｄｅｃｓがシグナリングされない場合、各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、その構成要素の符号化に使用された各コーデックに基づいて設定される。ビデオ符号化構成要素の場合、＠ｃｏｄｅｃｓの値は「ｒｅｓｖ．ｐｃｃｖ．ＸＸＸＸ」に設定されるものとし、ここで、ＸＸＸＸはビデオコーデック（例えば、ａｖｃ１又はｈｖｃ１）の４文字コード（４ＣＣ）に対応する。

【0085】

[0088] 構成要素ＡｄａｐｔａｔｉｏｎＳｅｔ内のＶ－ＰＣＣ構成要素のタイプ（例えば、占有マップ、ジオメトリ、又は属性）を識別するために、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子を「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９：ｃｏｍｐｏｎｅｎｔ」と等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性と併用し得る。この記述子はＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子と呼ばれる。

【0086】

[0089] 適応セットレベルにおいて、適応セットのＲｅｐｒｅｓｅｎｔａｔｉｏｎに提示される各ポイントクラウド構成要素に１つのＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子をシグナリングし得る。

【0087】

[0090] 実施形態では、ＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子の＠ｖａｌｕｅ属性は存在しないものとする。ＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子は、表５において指定されるような要素及び属性を含み得る。

【0088】

【表5】

【0089】

【表6】

【0090】

[0091] ＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子の種々の要素及び属性のデータ型は、以下のＸＭＬスキームにおいて定義し得る。

【数1】

【0091】

[0092] 実施形態では、メインＡｄａｐｔａｔｉｏｎＳｅｔは、適応セットレベルにおける１つの初期化セグメント又は表現レベル（各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎに１つ）における複数の初期化セグメントの何れかを含むものとする。実施形態では、初期化セグメントは、コミュニティドラフトにおいて定義されるように、Ｖ－ＰＣＣデコーダの初期化に使用されるＶ－ＰＣＣシーケンスパラメータセットを含むものとする。１つの初期化セグメントの場合、全てのＲｅｐｒｅｓｅｎｔａｔｉｏｎのＶ－ＰＣＣシーケンスパラメータセットは、初期化セグメントに含まれ得る。２つ以上のＲｅｐｒｅｓｅｎｔａｔｉｏｎがメインＡｄａｐｔａｔｉｏｎＳｅｔにおいてシグナリングされる場合、各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎの初期化セグメントは、その特定のＲｅｐｒｅｓｅｎｔａｔｉｏｎのＶ－ＰＣＣシーケンスパラメータセットを含み得る。ＩＳＯ／ＩＥＣ ２３０９０－１０のＷＤに定義されるように、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）がＶ－ＰＣＣコンテンツのメディアコンテナとして使用される場合、初期化セグメントは、ＩＳＯ／ＩＥＣ １４４９６－１２に定義されるように、メタボックスを含むこともできる。このメタボックスは、ＶＰＣＣ ＣＤに定義されるように、ファイルフォーマットレベルにおけるトラック及びトラック間の関係を記述するメタデータ情報を提供する１つ又は複数のＶＰＣＣＧｒｏｕｐＢｏｘインスタンスを含む。

【0092】

[0093] 実施形態では、メインＡｄａｐｔａｔｉｏｎＳｅｔのＲｅｐｒｅｓｅｎｔａｔｉｏｎのメディアセグメントは、コミュニティドラフトで定義されたＶ－ＰＣＣトラックの１つ又は複数のトラックフラグメントを含む。構成要素ＡｄａｐｔａｔｉｏｎＳｅｔのＲｅｐｒｅｓｅｎｔａｔｉｏｎのメディアセグメントは、ファイルフォーマットレベルにおける対応する構成要素トラックの１つ又は複数のトラックフラグメントを含む。

【0093】

[0094] 別の実施形態では、本明細書では＠ｖｉｄｅｏＣｏｄｅｃ属性と呼ばれる追加の属性がＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子に定義され、その値は、対応するポイントクラウド構成要素の符号化に使用されたコーデックを示す。これは、２つ以上のポイントクラウド構成要素がＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎに存在する状況をサポートできるようにする。

【0094】

[0095] 別の実施形態では、Ｒｏｌｅ記述子要素は、Ｖ－ＰＣＣ構成要素の新たに定義された値と併用されて、対応するＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎの役割（例えば、ジオメトリ、占有マップ、又は属性）を示し得る。例えば、ジオメトリ、占有マップ、及び属性構成要素はそれぞれ以下の対応する値を有し得る：ｖｐｃｃ－ジオメトリ、ｖｐｃｃ－占有、及びｖｐｃｃ－属性。表５に記載されるものから構成要素タイプ属性を差し引いたものと同様の追加のＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子要素を適応セットレベルでシグナリングして、構成要素のレイヤ及び属性タイプ（構成要素がポイントクラウド属性である場合）を識別し得る。

【0095】

Ｖ－ＰＣＣ適応セットのグループ化
[0096] ストリーミングクライアントは、対応する要素内のＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子をチェックすることにより、ＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ内のポイントクラウド構成要素のタイプを識別することが可能である。しかしながら、ストリーミングクライアントは、ＭＰＤファイルに存在する異なるポイントクラウドストリームを区別し、それらの各構成要素ストリームを識別する必要もある。

【0096】

[0097] 「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９：ｖｐｃ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素を導入し得、これは本明細書ではＶＰＣＣ記述子と呼ばれる。多くとも１つのＶＰＣＣ記述子が、ポイントクラウドのメインＡｄａｐｔａｔｉｏｎＳｅｔの適応セットレベルに存在し得る。２つ以上のＲｅｐｒｅｓｅｎｔａｔｉｏｎがメインＡｄａｐｔａｔｉｏｎＳｅｔに存在する場合、多くとも１つのＶＰＣＣ記述子が表現レベル（すなわち、各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に存在し得る。表６は、実施形態によるＶＰＣＣ記述子の属性を示す。

【0097】

【表7】

【0098】

[0098] ポイントクラウドの２つ以上のバージョンが利用可能である（例えば、異なる解像度）場合、各バージョンは、１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ及び＠ｐｃＩｄ属性に同じ値を有するＶＰＣＣ記述子を含む別個の構成要素ＡｄａｐｔａｔｉｏｎＳｅｔに存在し得る。別の実施形態では、ポイントクラウドの異なるバージョンは、１つの（メイン）ＡｄａｐｔａｔｉｏｎＳｅｔのＲｅｐｒｅｓｅｎｔａｔｉｏｎとしてシグナリングし得る。そのような場合、ＶＰＣＣ記述子は各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎに存在するものとし、＠ｐｃＩｄ属性は、メインＡｄａｐｔａｔｉｏｎＳｅｔにおいて全てのＲｅｐｒｅｓｅｎｔａｔｉｏｎに同じ値を用いてシグナリングされてもよく、又は省かれてもよい。

【0099】

[0099] 別の実施形態では、ＰｒｅＳｅｌｅｃｔｉｏｎが、ポイントクラウドのメインＡｄａｐｔａｔｉｏｎＳｅｔのＩＤの後にポイントクラウド構成要素に対応する構成要素ＡｄａｐｔａｔｉｏｎＳｅｔのＩＤを含む＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性の値と共にＭＰＤでシグナリングされる。ＰｒｅＳｅｌｅｃｔｉｏｎの＠ｃｏｄｅｃｓ属性は「ｖｐｃ１」に設定されるものとし、ＰｒｅＳｅｌｅｃｔｉｏｎメディアがビデオベースポイントクラウドであることを示す。ＰｒｅＳｅｌｅｃｔｉｏｎは、Ｐｅｒｉｏｄ要素内のＰｒｅＳｅｌｅｃｔｉｏｎ要素、又は適応セットレベル（若しくは複数のバージョン／表現が同じポイントクラウドに利用可能な場合、表現レベル）における事前選択記述子を使用してシグナリングし得る。ＰｒｅＳｅｌｅｃｔｉｏｎ要素が使用され、同じポイントクラウドの２つ以上のバージョンが利用可能な場合、各バージョンは別個のＰｒｅＳｅｌｅｃｔｉｏｎ要素でシグナリングされ、＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性のＩＤリストの最初のＩＤは、メインＡｄａｐｔａｔｉｏｎＳｅｔにおける対応するポイントクラウドバージョンのＲｅｐｒｅｓｅｎｔａｔｉｏｎのＩＤである。図６は、ＭＰＥＧ－ＤＡＳＨ ＭＰＤファイル内の１つのポイントクラウドに属するＶ－ＰＣＣ構成要素をグループ化する例示的なＤＡＳＨ構成を示す。

【0100】

[0100] 事前選択記述子を使用して、このグループ化／関連付けは以下のようにシグナリングし得る。

【数2】

【0101】

[0101] 別の実施形態では、ポイントクラウドのメインＡｄａｐｔａｔｉｏｎＳｅｔ又はそのＲｅｐｒｅｓｅｎｔａｔｉｏｎは、ＩＳＯ／ＩＥＣ ２３００９－１において定義される＠ａｓｓｏｃｉａｔｉｏｎＩｄ属性を使用して構成要素のＡｄａｐｔａｔｉｏｎＳｅｔ及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎの識別子を列記し得、＠ａｓｓｏｃｉａｔｉｏｎＴｙｐｅ値はＶ－ＰＣＣの４ＣＣ（すなわち、「ｖｐｃ１」）に設定される。

【0102】

[0102] 別の実施形態では、ポイントクラウドのメインＡｄａｐｔａｔｉｏｎＳｅｔ又はそのＲｅｐｒｅｓｅｎｔａｔｉｏｎは、ＩＳＯ／ＩＥＣ ２３００９－１において定義される＠ｄｅｐｅｎｄｅｎｃｙＩｄ属性を使用して構成要素のＡｄａｐｔａｔｉｏｎＳｅｔ及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎの識別子を列記し得る。これは、ポイントクラウドを再構築するために、メインＡｄａｐｔａｔｉｏｎＳｅｔ内のセグメントはポイントクラウド構成要素の構成要素ＡｄａｐｔａｔｉｏｎＳｅｔからのセグメントと併せて復号化される必要があるため、固有の従属性があるためである。

【0103】

構成要素メタデータのシグナリング
[0103] ジオメトリメタデータ及び属性メタデータは通常、レンダリングに使用される。これらはＶ－ＰＣＣビットストリームのパラメータセット内でシグナリングされる。しかしながら、ストリーミングクライアントが可能な限り早期にこれらのメタデータ要素の情報を取得することができるように、これらのメタデータ要素をＭＰＤにおいてシグナリングすることが必要であり得る。加えて、ストリーミングクライアントは、異なるジオメトリ及び属性メタデータ値を有するポイントクラウドの複数のバージョンから選択を行い得る（例えば、クライアントがシグナリングされた値をサポートするか否かに基づいて）。

【0104】

ジオメトリメタデータのシグナリング
[0104] 「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９：ｇｅｏｍ＿ｍｅｔａ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素を導入し得、これは本明細書ではジオメトリメタデータ記述子又はｇｅｏＭｅｔａ記述子と呼ばれる。多くとも１つのｇｅｏｍＭｅｔａ記述子がＭＰＤレベルに存在し得、その場合、以下考察するように下位レベルでｇｅｏＭｅｔａ記述子によりオーバーライドされない限り、ＭＰＤにおいてシグナリングされる全てのポイントクラウドのジオメトリ構成要素に当てはまる。多くとも１つのｇｅｏｍＭｅｔａ記述子が、メインＡｄａｐｔａｔｉｏｎＳｅｔ内の適応セットレベルに存在し得る。多くとも１つのｇｅｏｍＭｅｔａ記述子が、メインＡｄａｐｔａｔｉｏｎＳｅｔ内の表現レベルに存在し得る。ｇｅｏｍＭｅｔａ記述子が特定のレベルに存在する場合、ｇｅｏｍＭｅｔａ記述子は、上位レベルにおいてシグナリングされるあらゆるｇｅｏｍＭｅｔａ記述子をオーバーライドする。

【0105】

[0105] 実施形態では、ｇｅｏｍＭｅｔａ記述子の＠ｖａｌｕｅ属性は存在しないものとする。実施形態では、ｇｅｏｍＭｅｔａ記述子は、表７に指定される要素及び属性を含む。

【0106】

【表8】

【0107】

【表9】

【0108】

【表10】

【0109】

[0106] 実施形態では、ｇｅｏｍＭｅｔａ記述子の種々の要素及び属性のデータ型は、以下のＸＭＬスキーマにおいて定義されるようなものであり得る。

【数3】

【数4】

【0110】

属性メタデータのシグナリング
[0107] 「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９：ａｔｔｒ＿ｍｅｔａ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素を導入し得、これは本明細書では属性メタデータ記述子又はａｔｔｒＭｅｔａ記述子と呼ばれる。多くとも１つのａｔｔｒＭｅｔａ記述子が、メインＡｄａｐｔａｔｉｏｎＳｅｔ内の適応セットレベルに存在し得る。多くとも１つのａｔｔｒＭｅｔａ記述子が、メインＡｄａｐｔａｔｉｏｎＳｅｔ内の表現レベルに存在し得る。ａｔｔｒＭｅｔａ記述子が表現レベルに存在する場合、ａｔｔｒＭｅｔａ記述子は、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎが属するＡｄａｐｔａｔｉｏｎＳｅｔの適応セットレベルにおいてシグナリングされるあらゆるａｔｔｒＭｅｔａ記述子をオーバーライドする。

【0111】

[0108] 実施形態では、ａｔｔｒＭｅｔａ記述子の＠ｖａｌｕｅ属性は存在しない。実施形態では、ａｔｔｒＭｅｔａ記述子は、表８において指定される要素及び属性を含み得る。

【0112】

【表11】

【0113】

【表12】

【0114】

【表13】

【0115】

[0109] 実施形態では、ａｔｔｒＭｅｔａ記述子の種々の要素及び属性のデータ型は以下のＸＭＬスキーマにおいて定義されるようなものであり得る。

【数5】

【0116】

クライアント挙動のストリーミング
[0110] ＤＡＳＨクライアント（デコーダノード）は、ＭＰＤにおいて提供される情報によりガイドされる。以下は、メインポイントクラウドＡｄａｐｔａｔｉｏｎＳｅｔへの構成要素ＡｄａｐｔａｔｉｏｎＳｅｔの関連付けがＶＰＣＣ記述子を使用してシグナリングされる実施形態を仮定した、本明細書に提示されるシグナリングに従ってストリーミングポイントクラウドコンテンツを処理する一例のクライアント挙動である。図７は、実施形態による一例のストリーミングクライアントプロセスを示す流れ図である。

【0117】

[0111] ７１１において、クライアントはまず、ＨＴＴＰ要求を発行し、ＭＰＤファイルをコンテンツサーバからダウンロードする。次に、クライアントはＭＰＤファイルをパーズして、ＭＰＤファイル内のＸＭＬ要素の対応するインメモリ表現を生成する。

【0118】

[0112] 次に、７１３において、Ｐｅｒｉｏｄ内の利用可能なポイントクラウドメディアコンテンツを識別するために、ストリーミングクライアントはＡｄａｐｔａｔｉｏｎＳｅｔ要素をスキャンして、「ｖｐｃ１」に設定された＠ｃｏｄｅｃｓ属性及びＶＰＣＣ記述子要素を有するＡｄａｐｔａｔｉｏｎＳｅｔを見つける。その結果生成されるサブセットは、ポイントクラウドコンテンツの１組のメインＡｄａｐｔａｔｉｏｎＳｅｔである。

【0119】

[0113] 次に、７１５において、ストリーミングクライアントは、それらのＡｄａｐｔａｔｉｏｎＳｅｔのＶＰＣＣ記述子をチェックすることにより一意のポイントクラウドの数を識別し、ＶＰＣＣ記述子に同じ＠ｐｃＩｄ値を有するＡｄａｐｔａｔｉｏｎＳｅｔを同じコンテンツのバージョンとしてグループ化する。

【0120】

[0114] ７１７において、ユーザがストリーミングを望むポイントクラウドコンテンツに対応する＠ｐｃＩｄ値を有するＡｄａｐｔａｔｉｏｎＳｅｔのグループが識別される。グループが２つ以上のＡｄａｐｔａｔｉｏｎＳｅｔを含む場合、ストリーミングクライアントは、サポートされるバージョン（例えばビデオ解像度）を有するＡｄａｐｔａｔｉｏｎＳｅｔを選択する。その他の場合、グループの単独のＡｄａｐｔａｔｉｏｎＳｅｔが選ばれる。

【0121】

[0115] 次に、７１９において、ストリーミングクライアントは、選ばれたＡｄａｐｔａｔｉｏｎＳｅｔのＶＰＣＣ記述子をチェックして、ポイントクラウド構成要素のＡｄａｐｔａｔｉｏｎＳｅｔを識別する。これらは、＠ｏｃｃｕｐａｎｃｙＩｄ、＠ｇｅｏｍｅｔｒｙＩｄ、及び＠ａｔｔｒｉｂｕｔｅＩｄ属性の値から識別される。ｇｅｏｍＭｅｔａ及び／又はａｔｔｒＭｅｔａ記述子が選ばれたメインＡｄａｐｔａｔｉｏｎＳｅｔに存在する場合、ストリーミングクライアントは、いかなるセグメントもダウンロードする前に、ポイントクラウドストリームのシグナリングされたレンダリング構成をサポートするか否かを識別することが可能である。その他の場合、クライアントは、初期化セグメントからこの情報を抽出する必要がある。

【0122】

[0116] 次に、７２１において、クライアントは、Ｖ－ＰＣＣデコーダの初期化に必要なパラメータセットを含むメインＡｄａｐｔａｔｉｏｎＳｅｔの初期化セグメントをダウンロードすることにより、ポイントクラウドのストリーミングを開始する。

【0123】

[0117] ７２３において、ビデオ符号化構成要素ストリームの初期化セグメントがダウンロードされ、メモリにキャッシュされる。

【0124】

[0118] ７２５において、次に、ストリーミングクライアントは、ＨＴＴＰを経由して平行してメインＡｄａｐｔａｔｉｏｎＳｅｔ及び構成要素ＡｄａｐｔａｔｉｏｎＳｅｔからの時間を合わせたメディアセグメントのダウンロードを開始し、ダウンロードされたセグメントはインメモリセグメントバッファに記憶される。

【0125】

[0119] ７２７において、時間を合わせたメディアセグメントは、各バッファから削除され、各初期化セグメントと連結される。

【0126】

[0120] 最後に、７２９において、メディアコンテナ（例えばＩＳＯＢＭＦＦ）がパーズされて、基本ストリーム情報を抽出し、Ｖ－ＰＣＣ規格に従ってＶ－ＰＣＣビットストリームを構造化し、次に、ビットストリームが、Ｖ－ＰＣＣデコーダに渡される。

【0127】

[0121] 特徴及び要素は特定の組合せで上述されているが、各特徴又は要素が単独で又は他の特徴及び要素との任意の組合せで使用可能なことを当業者なら理解しよう。加えて、本明細書に記載の方法は、コンピュータ又はプロセッサにより実行するために、コンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、又はファームウェアで実施し得る。非一時的コンピュータ可読記憶媒体の例には、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体及びＣＤ－ＲＯＭディスク等の光学媒体、並びにデジタル多用途ディスク（ＤＶＤ）があるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサは、ＷＴＲＵ １０２、ＵＥ、端末、基地局、ＲＮＣ、又は任意のホストコンピュータでの使用に向けて無線周波数送受信機を実施するのに使用し得る。

【0128】

[0122] 更に、上述した実施形態では、処理プラットフォーム、計算システム、コントローラ、及びプロセッサを含む他のデバイスが記載されている。これらのデバイスは、少なくとも１つの中央演算処理装置（「ＣＰＵ」）及びメモリを含み得る。コンピュータプログラミングの当業者によれば、動作、及び演算又は命令の象徴的表現への参照は、種々のＣＰＵ及びメモリにより実行し得る。そのような動作及び演算又は命令は、「実行される」、「コンピュータ実行される」、又は「ＣＰＵ実行される」と参照し得る。

【0129】

[0123] 動作、及び演算又は命令の象徴的表現が、ＣＰＵによる電気信号の操作を含むことを当業者なら理解しよう。電気システムは、電気信号の変換又は低減及びメモリシステムにおけるメモリロケーションにおけるデータビットの維持を生じさせることができ、それにより、ＣＰＵの演算、及び信号の他の処理を再構成又は他の方法で変更するデータビットを表す。データビットが維持されるメモリロケーションは、データビットに対応する又はデータビットを表す特定の電気、磁気、光学、又は有機特性を有する物理的ロケーションである。例示的な実施形態が上記プラットフォーム又はＣＰＵに限定されず、他のプラットフォーム及びＣＰＵが提供された方法をサポートすることもできることを理解されたい。

【0130】

[0124] データビットは、磁気ディスク、光ディスク、及びＣＰＵ可読の任意の他の揮発性（例えばランダムアクセスメモリ（「ＲＡＭ」））又は不揮発性（例えば読み取り専用メモリ（「ＲＯＭ」））大容量記憶システムを含むコンピュータ可読媒体で維持することもできる。コンピュータ可読媒体は、専ら処理システムに存在し、又は処理システムにローカル又はリモートであり得る複数の相互接続された処理システムに分散する、協働又は相互接続されたコンピュータ可読媒体を含み得る。代表的な実施形態が上記メモリに限定されず、他のプラットフォーム及びメモリが記載の方法をサポートすることもできることが理解される。

【0131】

[0125] 例示的な実施形態では、本明細書に記載の任意の演算、プロセス等は、コンピュータ可読媒体に記憶されたコンピュータ可読命令として実施し得る。コンピュータ可読命令は、モバイルユニット、ネットワーク要素、及び／又は任意の他の計算デバイスのプロセッサにより実行し得る。

【0132】

[0126] システムの態様のハードウェア実施とソフトウェア実施との間の区別は殆どない。ハードウェア又はソフトウェアの使用は一般に（しかし、特定の状況では、ハードウェアとソフトウェアとの間の選択が大きくなり得るという点で常にではない）、費用対効率のトレードオフを表す設計の選択である。本明細書に記載のプロセス、及び／又はシステム、及び／又は他の技術を行えるようにし得る種々の手段（例えば、ハードウェア、ソフトウェア、及び／又はファームウェア）があり得、好ましい手段は、プロセス、及び／又はシステム、及び／又は他の技術が展開される状況に伴って様々であり得る。例えば、スピード及び正確性が最重要であると実施者が判断する場合、実施者は主にハードウェア及び／又はファームウェア手段を選び得る。柔軟性が最重要である場合、実施者は主にソフトウェア実施を選び得る。代替的には、実施者は、ハードウェア、ソフトウェア、及び／又はファームウェアの何らかの組合せを選び得る。

【0133】

[0127] 上記詳細な説明は、ブロック図、フローチャート、及び／又は例の使用を介してデバイス及び／又はプロセスの種々の実施形態を記載した。そのようなブロック図、フローチャート、及び／又は例が１つ又は複数の機能及び／又は演算を含む限り、そのようなブロック図、フローチャート、又は例内の各機能及び／又は演算が個々に及び／又はまとめて、多種多様なハードウェア、ソフトウェア、ファームウェア、又はそれらの略あらゆる組合せにより実施し得ることが当業者には理解されよう。例として、適したプロセッサには、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つ又は複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、及び／又は状態機械がある。

【0134】

[0128] 特徴及び要素は特定の組合せで先に提供されているが、各特徴又は要素が単独で又は他の特徴及び要素と任意の組合せで使用可能なことを当業者なら理解しよう。本開示は、本願に記載の特定の実施形態に関して限定されるべきではなく、本願に記載の特定の実施形態は種々の態様の例示として意図される。当業者には明らかであるように、趣旨及び範囲から逸脱せずに多くの変更及び変形を行うことができる。本願の説明で使用される要素、動作、又は命令は、明らかにそのように提供される場合を除き、本発明にとって極めて重要又は重要であるものとして解釈されるべきではない。本明細書に列記されたものに加えて、本開示の範囲内の機能的に均等な方法及び装置が上記説明から当業者に明らかになろう。そのような変更及び変形は、添付の特許請求の範囲内であることが意図される。本開示は、添付の特許請求の範囲及びそのような特許請求の範囲が権利を有する全範囲の均等物に関してのみ限定されるべきである。本開示が特定の方法又はシステムに限定されないことを理解されたい。

【0135】

[0129] 本明細書で使用される用語は、特定の実施形態を記載することだけを目的とし、限定を意図しないことも理解されたい。本明細書で使用される場合、本明細書で言及されるとき、用語「局（station）」及びその略語「ＳＴＡ」、「ユーザ機器」及びその略語「ＵＥ」は、（ｉ）以下に記載される等の無線送信及び／又は受信ユニット（ＷＴＲＵ）、（ｉｉ）以下に記載される等のＷＴＲＵの幾つかの実施形態の何れか、（ｉｉｉ）特に、以下に記載される等のＷＴＲＵの幾つかの又は全ての構造及び機能が構成された無線可能及び／又は有線可能（例えば接続可能）なデバイス、（ｉｉｉ）以下に記載される等のＷＴＲＵの全て未満の構造及び機能が構成された無線可能及び／又は有線可能なデバイス、又は（ｉｖ）同様のものを意味し得る。

【0136】

[0130] 特定の代表的な実施形態では、本明細書に記載の趣旨の幾つかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、及び／又は他の集積フォーマットを介して実施し得る。しかしながら、本明細書に開示される実施形態の幾つかの態様が全体的又は部分的に、集積回路で、１つ若しくは複数のコンピュータで実行される１つ若しくは複数のコンピュータプログラムとして（例えば、１つ若しくは複数のコンピュータシステムで実行される１つ若しくは複数のプログラムとして）、１つ若しくは複数のプロセッサで実行される１つ若しくは複数のプログラムとして（例えば、１つ若しくは複数のマイクロプロセッサで実行される１つ若しくは複数のプログラムとして）、ファームウェアとして、又はそれらの略あらゆる組合せとして等しく実施し得、回路を設計すること及び／又はソフトウェア及びファームウェアのコードを書くことが、本開示に鑑みて十分に当業者の技能内にあることを当業者なら認識しよう。加えて、本明細書に記載の趣旨のメカニズムが、多種多様な形態でプログラム製品として配布し得、本明細書に記載の趣旨の例示的な実施形態が、配布の実際の実行に使用される信号搬送媒体の特定のタイプに関係なく適用されることを当業者は理解しよう。信号搬送媒体の例には、以下があるが、これらに限定されない：フロッピーディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ等の記録可能型媒体、並びにデジタル及び／又はアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンク等）等の伝送型媒体。

【0137】

[0131] 本明細書に記載の趣旨は時に、異なる他の構成要素内に含まれる異なる構成要素又は異なる他の構成要素と接続された異なる構成要素を示す。そのような図示されたアーキテクチャが単なる例であり、実際には、同じ機能を達成する多くの他のアーキテクチャが実施可能であることを理解されたい。概念の意味では、同じ機能を達成する構成要素の任意の配置は事実上、所望の機能を達成し得るように「関連付けられる」。したがって、本明細書において特定の機能を達成するために組み合わせられた任意の２つの構成要素は、アーキテクチャ又は介在構成要素に関係なく、所望の機能が達成されるように互いと「関連付けられる」と見ることができる。同様に、そうして関連付けられた任意の２つの構成要素は、所望の機能を達成するように互いと「動作可能に接続」又は「動作可能に結合」されるとして見ることもでき、そうして関連付けることが可能な任意の２つの構成要素は、所望の機能を達成するように互いと「動作可能に結合可能」であるとして見ることもできる。動作可能に結合可能な具体例には、物理的に嵌合可能及び／又は物理的に相互作用可能な構成要素、及び／又は無線相互作用可能であり及び／又は無線で相互作用する構成要素、及び／又は論理的に相互作用し及び／又は論理的に相互作用可能な構成要素があるが、これらに限定されない。

【0138】

[0132] 本明細書における略あらゆる複数形及び／又は単数形の用語の使用に関して、当業者ならば、状況及び／又は用途に適切なように複数形から単数形に及び／又は単数形から複数形に変換することができる。種々の単数形／複数形の置換は、明確さのために本明細書に明示的に記載され得る。

【0139】

[0133] 一般に、本明細書、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語が一般に、「オープン」用語（例えば、用語「含んでいる」は「～を含んでいるがこれに限定されない」として解釈されるべきであり、用語「有する」は「少なくとも～を有する」として解釈されるべきであり、用語「含む」は「～を含むがこれに限定されない」として解釈されるべき等）として意図されることが当業者には理解されよう。導入される請求項記載事項の特定の数が意図される場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しないことが当業者には更に理解されよう。例えば、１つのみの項目が意図される場合、用語「１つ」又は同様の文言が使用され得る。理解の助けとして、以下の添付の特許請求の範囲及び／又は本明細書における説明は、請求項記載事項を導入するために導入句「少なくとも１つ」及び「１つ又は複数」の使用を含み得る。しかしながら、そのような句の使用は、不定冠詞「１つの（a）」又は「１つの（an）」による請求項記載事項の導入が、そのように導入される請求項記載事項を含むいかなる特定の請求項も、同じ請求項が導入句「１つ又は複数」又は「少なくとも１つ」及び「１つの（a）」又は「１つの（an）」等の不定冠詞を含む場合であっても、そのような１つのみの記載を含む実施形態に限定することの暗示として解釈されるべきではない（例えば、「１つの（a）」及び／又は「１つの（an）」は、「少なくとも１つ」又は「１つ又は複数」を意味すると解釈されるべきである）。請求項記載事項を導入するために使用される定冠詞の使用についても同じことが当てはまる。加えて、導入される請求項記載事項の特定の数が明示的に記載される場合であっても、そのような記載が少なくとも記載された数を意味するものと解釈すべきであることを当業者なら認識しよう（例えば、他の修飾がない「２つの記載事項」の裸の記載は、少なくとも２つの記載事項又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ、及びＣの少なくとも１つ等」と同様の表現法が使用される場合、一般にそのような構造は、当業者がその表現法を理解する意味（例えば、「Ａ、Ｂ、及びＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／又はＡ、Ｂ、及びＣを一緒に等有するシステムを含むが、これらに限定されない）で意図される。「Ａ、Ｂ、又はＣの少なくとも１つ等」と同様の表現法が使用される場合、一般にそのような構造は、当業者がその表現法を理解する意味（例えば、「Ａ、Ｂ、又はＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／又はＡ、Ｂ、及びＣを一緒に等有するシステムを含むが、これらに限定されない）で意図される。２つ以上の代替の用語を提示する略あらゆる離語及び／又は離接句は、説明にあろうと、特許請求の範囲にあろうと、又は図面にあろうと関係なく、それらの用語の１つ、それらの用語の何れか一方、又は両用語を含む可能性を意図するものと理解されるべきであることが当業者には更に理解されよう。例えば、句「Ａ又はＢ」は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解される。更に、複数の項目及び／又は項目の複数のカテゴリの列記が続く用語「の何れか」は、本明細書で使用される場合、個々に又は他の項目及び／又は項目の他のカテゴリと組み合わせて、項目及び／又は項目のカテゴリ「の何れか」、「の任意の組合せ」、「の任意の複数」、及び／又は「の複数の任意の組合せ」を含むことが意図される。更に、本明細書で使用される場合、用語「セット」又は「グループ」は、ゼロを含む任意の数の項目を含むことが意図される。更に、本明細書で使用される場合、用語「数」はゼロを含む任意の数を含むことが意図される。

【0140】

[0134] 加えて、本開示の特徴又は態様がマーカッシュ群に関して記載される場合、本開示がそれにより、マーカッシュ群の任意の個々の要素又は要素のサブグループに関しても記載されることを当業者なら認識しよう。

【0141】

[0135] 当業者には理解されるように、書面での説明を提供することに関して等、ありとあらゆる目的で、本明細書に開示される全ての範囲は、考えられるありとあらゆる下位範囲及びその下位範囲の組合せも包含する。任意の列記された範囲は、同範囲が少なくとも２等分、３等分、４等分、５等分、１０等分等に分割することを十分に記載し、そのような分割を可能にするものとして容易に認識することができる。非限定的な例として、本明細書で論じる各範囲は、下部３分の１、中央３分の１及び上部３分の１等に容易に分割し得る。また当業者には理解されるように、「～まで」、「少なくとも」、「～より大きい」、「～より小さい」等の全ての文言は記載の数字を含み、また上述したような下位範囲に続けて分割可能な範囲を指している。最後に、当業者なら理解するように、範囲には、その個々の要素が含まれる。したがって、例えば、１～３個の細胞を有する群は、１、２、又は３個の細胞を有する群を指す。同様に、１～５個の細胞を有する群は、１、２、３、４、又は５個の細胞を有する群を指す等々。

【0142】

[0136] 更に、特許請求の範囲は、その趣旨で記される場合を除き、提供される順序又は要素に限定されるものとして読まれるべきではない。加えて、任意の請求項での用語「～する手段」の使用は、米国特許法第１１２条（ｆ）又はミーンズプラスファンクション請求項形式を引き合いに出すことが意図され、用語「～する手段」がないあらゆる請求項はそのように意図されない。

【0143】

[0137] 本発明は特定の実施形態を参照して本明細書に示され説明されるが、本発明は示される細部に限定されることは意図されない。むしろ、特許請求の範囲の均等物の範囲及び幅内で、本発明から逸脱せずに種々の変更を細部に行い得る。

【0144】

[0138] 本開示全体を通して、特定の代表的な実施形態が、代替の代表的な実施形態において又は他の代表的な実施形態と組み合わせて使用し得ることを当業者ならば理解する。

【0145】

[0139] 特徴及び要素を特定の組合せで上述したが、各特徴又は要素が単独で又は他の特徴及び要素との任意の組合せで使用することができることを当業者ならば理解しよう。加えて、本明細書に記載の方法は、コンピュータ又はプロセッサにより実行されるコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、又はファームウェアで実施し得る。非一時的コンピュータ可読記憶媒体の例には、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体及びＣＤ－ＲＯＭディスク等の光学媒体、並びにデジタル多用途ディスク（ＤＶＤ）があるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサは、ＷＲＴＵ、ＵＥ、端末、基地局、ＲＮＣ、又は任意のホストコンピュータでの使用に向けて無線周波数送受信機を実施するのに使用し得る。

【0146】

[0140] 更に、上述した実施形態では、処理プラットフォーム、計算システム、コントローラ、及びプロセッサを含む他のデバイスが記載されている。これらのデバイスは、少なくとも１つの中央演算処理装置（「ＣＰＵ」）及びメモリを含み得る。コンピュータプログラミングの当業者によれば、動作、及び演算又は命令の象徴的表現への参照は、種々のＣＰＵ及びメモリにより実行し得る。そのような動作及び演算又は命令は、「実行される」、「コンピュータ実行される」、又は「ＣＰＵ実行される」と参照し得る。

【0147】

[0141] 動作、及び演算又は命令の象徴的表現が、ＣＰＵによる電気信号の操作を含むことを当業者なら理解しよう。電気システムは、電気信号の変換又は低減及びメモリシステムにおけるメモリロケーションにおけるデータビットの維持を生じさせることができ、それにより、ＣＰＵの演算、及び信号の他の処理を再構成又は他の方法で変更するデータビットを表す。データビットが維持されるメモリロケーションは、データビットに対応する又はデータビットを表す特定の電気、磁気、光学、又は有機特性を有する物理的ロケーションである。

【0148】

[0142] データビットは、磁気ディスク、光ディスク、及びＣＰＵ可読の任意の他の揮発性（例えばランダムアクセスメモリ（「ＲＡＭ」））又は不揮発性（例えば読み取り専用メモリ（「ＲＯＭ」））大容量記憶システムを含むコンピュータ可読媒体で維持することもできる。コンピュータ可読媒体は、専ら処理システムに存在し、又は処理システムにローカル又はリモートであり得る複数の相互接続された処理システムに分散する協働又は相互接続されたコンピュータ可読媒体を含み得る。代表的な実施形態が上記メモリに限定されず、他のプラットフォーム及びメモリが記載の方法をサポートすることもできることが理解される。

【0149】

[0143] 本願の説明で使用される要素、動作、又は命令は、明らかにそのように記載される場合を除き、本発明にとって極めて重要又は重要であるものとして解釈されるべきではない。加えて、冠詞「１つの（a）」は１つ又は複数の項目を包含することが意図される。１つのみの項目が意図される場合、用語「１つ」又は同様の文言が使用される。更に、複数の項目及び／又は項目の複数のカテゴリの列記が続く用語「の何れか」は、本明細書で使用される場合、個々に又は他の項目及び／又は項目の他のカテゴリと組み合わせて、項目及び／又は項目のカテゴリ「の何れか」、「の任意の組合せ」、「の任意の複数」、及び／又は「の複数の任意の組合せ」を含むことが意図される。更に、本明細書で使用される場合、用語「セット」は、ゼロを含む任意の数の項目を含むことが意図される。更に、本明細書で使用される場合、用語「数」はゼロを含む任意の数を含むことが意図される。

【0150】

[0144] 更に、特許請求の範囲は、その趣旨で記される場合を除き、記載される順序又は要素に限定されるものとして読まれるべきではない。加えて、任意の請求項での用語「～する手段」の使用は、米国特許法第１１２条（ｆ）を引き合いに出すことが意図され、用語「～する手段」がないあらゆる請求項はそのように意図されない。

【0151】

[0145] 例として、適したプロセッサには、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つ又は複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、及び／又は状態機械がある。

【0152】

[0146] ソフトウェアと関連するプロセッサを使用して、無線送受信ユニット（ＷＲＴＵ）、ユーザ機器（ＵＥ）、端末、基地局、モビリティ管理エンティティ（ＭＭＥ）又は進化パケットコア（ＥＰＣ）、又は任意のホストコンピュータで使用する無線周波数送受信機を実施し得る。ＷＲＴＵは、ハードウェア及び／又はソフトウェア無線（ＳＤＲ）を含むソフトウェアで実施されるモジュール、並びにカメラ、ビデオカメラモジュール、ビデオフォン、スピーカフォン、振動デバイス、スピーカ、マイクロホン、テレビジョン送受信機、ハンズフリーヘッドセット、キーボード、Bluetooth（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、近距離通信（ＮＦＣ）モジュール、液晶ディスプレイ（ＬＣＤ）表示ユニット、有機発光ダイオード（ＯＬＥＤ）表示ユニット、デジタル音楽プレーヤ、メディアプレーヤ、テレビゲームプレーヤモジュール、インターネットブラウザ、及び／又は任意の無線ローカルエリアネットワーク（ＷＬＡＮ）又は超広帯域（ＵＷＢ）モジュール等の他の構成要素と併せて使用し得る。

【0153】

[0147] 本発明を通信システムに関して説明したが、システムがマイクロプロセッサ／汎用コンピュータ（図示せず）上のソフトウェアで実施し得ることが意図される。特定の実施形態では、種々の構成要素の機能の１つ又は複数は、汎用コンピュータを制御するソフトウェアで実施し得る。

【0154】

[0148] 加えて、本発明は特定の実施形態を参照して示され説明されたが、本発明は示される細部に限定されることは意図されない。むしろ、特許請求の範囲の均等物の範囲及び幅内で、本発明から逸脱せずに種々の変更を細部に行い得る。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】