特開2024-23661 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特開2024-23661コーディングビデオシーケンスを復号／符号化する方法、装置、コンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024023661

(43)【公開日】2024-02-21

(54)【発明の名称】コーディングビデオシーケンスを復号／符号化する方法、装置、コンピュータプログラム

(51)【国際特許分類】

H04N 19/70 20140101AFI20240214BHJP

H04N 19/31 20140101ALI20240214BHJP

【ＦＩ】

H04N19/70

H04N19/31

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023210672

(22)【出願日】2023-12-14

(62)【分割の表示】P 2021559115の分割

【原出願日】2021-02-01

(31)【優先権主張番号】63/000,980

(32)【優先日】2020-03-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/097,636

(32)【優先日】2020-11-13

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎修

(72)【発明者】

【氏名】チョイ，ビョンドゥ

(72)【発明者】

【氏名】リィウ，シャン

(72)【発明者】

【氏名】ウェンジャー，ステファン

(57)【要約】（修正有）

【課題】ビデオコーディング及び復号する方法及びシステムを提供する。
【解決手段】復号する方法は、コーディングビデオシーケンスを取得するステップと、前記コーディングビデオシーケンスを復号するステップと、を含む。コーディングビデオシーケンスの中のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットの時間的サブレイヤ識別子の値は、ＶＣＬＮＡＬユニットにより参照されるビデオパラメータセット（ＶＰＳ）の中の、ＶＰＳを参照する各コーディングビデオシーケンス内のレイヤに存在する時間的サブレイヤの最大数を指定するｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値以下に制約される。
【選択図】図２２

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによりコーディングビデオシーケンスを復号する方法であって、前記方法は、
前記コーディングビデオシーケンスを取得するステップと、
前記コーディングビデオシーケンスを復号するステップと、
を含み、
前記コーディングビデオシーケンスの中のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットの時間的サブレイヤ識別子の値は、前記ＶＣＬＮＡＬユニットにより参照されるビデオパラメータセット（ＶＰＳ）の中の、前記ＶＰＳを参照する各コーディングビデオシーケンス内のレイヤに存在可能な時間的サブレイヤの最大数を指定するvps_max_sublayers_minus１の値以下に制約される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本願は、Ｕ．Ｓ．Ｃ．§１１９の下で、参照により開示の全体がここに組み込まれる、米国特許商標局に、２０２０年３月２７日に出願した米国仮出願番号第６３／０００,９８０号、及び２０２０年１１月１３日に出願した米国特許出願番号第１７／０９７,６３６号、の優先権を主張する。

【0002】

［技術分野］
開示の主題は、ビデオコーディング及び復号に関し、より具体的には、複数レイヤを有するコーディングビデオストリームにおける出力レイヤ導出に関する。

【背景技術】

【0003】

動き補償と共にインターピクチャ予測を用いるビデオコーディング及び復号が数十年間、知られている。非圧縮デジタルビデオは、一連のピクチャで構成されることができ、各ピクチャは、例えば１９２０×１０８０個のルミナンスサンプル及び関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は６０Ｈｚの固定又は可変ピクチャレート（略式にフレームレートとしても知られている）を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、８ビット／サンプルの１０８０ｐ６０４：２：０ビデオ（６０Ｈｚフレームレートで１９２０×１０８０ルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのようなビデオは６００Ｇｂｙｔｅより多くの記憶空間を必要とする。

【0004】

ビデオコーディング及び復号の１つの目的は、圧縮を通じて、入力ビデオ信号の中の冗長性の削減であり得る。圧縮は、幾つかの場合には大きさで２桁以上も、前述の帯域幅又は記憶空間要件を軽減するのを助けることができる。損失又は無損失圧縮の両方、及びそれらの組み合わせが利用できる。無損失圧縮は、元の信号の正確なコピーが圧縮された元の信号から再構成可能である技術を表す。損失圧縮を用いると、再構成された信号は、元の信号と同一ではないが、元の信号と再構成された信号との間の歪みは、意図される用途のために有用な再構成された信号を生成するのに十分に小さい。ビデオの場合には、損失圧縮が広く利用される。耐えうる歪みの量は、アプリケーションに依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン投稿アプリケーションのユーザよりも高い歪みに耐え得る。達成可能な圧縮比は、許容可能／耐性歪みが高いほど、高い圧縮比を生じ得ることを反映できる。

【0005】

ビデオエンコーダ及びデコーダは、例えば動き補償、変換、量子化、及びエントロピーコーディングを含む幾つかの広い分類からの技術を利用できる。このうちの幾つかが以下に紹介される。

【0006】

歴史的に、ビデオエンコーダ及びデコーダは、多くの場合にコーディングビデオシーケンス（coded video sequence (CVS)）、グループオブピクチャ（Group of Pictures (GOP)）、又は同様のマルチピクチャ時間フレームについて定義され一定のままである所与のピクチャサイズで動作する傾向がある。例えば、ＭＰＥＧ－２では、システム設計は、Ｉピクチャでだけでなく、従って標準的にＧＯＰについて、シーンのアクティビティのような要因に依存して水平方向の解像度（従って、ピクチャサイズ）を変更することが知られている。ＣＶＳの中の異なる解像度の使用のための参照ピクチャの再サンプリングは、例えばITU-T Rec. H.２６３ Annex P により知られている。しかしながら、ここで、ピクチャサイズは変化しないので、参照ピクチャのみが再サンプリングされ、結果として（ダウンサンプリングの場合には）ピクチャキャンバスの部分のみが使用され、（アップサンプリングの場合には）シーンの部分のみがキャプチャされる可能性がある。更に、H.２６３ Annex Qは、上方向又は下方向に、（各次元において）２の倍数で個々のマクロブロックの再サンプリングを許容する。ここでも、ピクチャサイズは同じままである。Ｈ．２６３ではマクロブロックのサイズは固定され、従ってシグナリングされる必要がない。

【0007】

予測ピクチャにおけるピクチャサイズの変更は、近年のビデオコーディングにおいてより主流となっている。例えば、ＶＰ９は、参照ピクチャ再サンプリング及びピクチャ全体の解像度の変化を許容する。同様に、ＶＶＣを対象としている特定の提案（例えば、参照によりここに全体が組み込まれる、Hendry, et. al, “On adaptive resolution change (ARC) for VVC”, Joint Video Team document JVET-M０１３５-v１, Jan９-１９, ２０１９を含む）は、異なる－より高い又はより低い－解像度への参照ピクチャ全体の再サンプリングを許容する。該文献では、シーケンスパラメータセットの中にコーディングされピクチャパラメータセットの中のピクチャ毎のシンタックス要素により参照されるべき異なる候補解像度が提案される。

【発明の概要】

【0008】

ビデオビットストリームないの適応型ピクチャサイズのシグナリングのための技術が開示される。

【0009】

少なくとも１つのプロセッサによりコーディングビデオシーケンスを復号する例示的な方法は、前記コーディングビデオシーケンスを取得するステップと、前記コーディングビデオシーケンスを復号するステップと、を含んでよい。前記コーディングビデオシーケンスの中のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットの時間的サブレイヤ識別子の値は、前記ＶＣＬＮＡＬユニットにより参照されるビデオパラメータセット（ＶＰＳ）の中の、前記ＶＰＳを参照する各コーディングビデオシーケンス内のレイヤに存在し得る時間的サブレイヤの最大数を指定するvps_max_sublayers_minus１の値以下に制約される。

【0010】

幾つかの実施形態では、max_tid_il_ref_pics_plus１[i]の値がゼロであることは、ｉ番目のレイヤの非イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャによりインターレイヤ予測が使用されないことを指定する。

【0011】

幾つかの実施形態では、max_tid_il_ref_pics_plus１[i]の値がゼロより大きいことは、ｉ番目のレイヤのピクチャを復号するために、max_tid_il_ref_pics_plus１[i]－１より大きい時間的サブレイヤ識別子を有するピクチャが、インターレイヤ参照ピクチャ（ＩＬＲＰ）として使用されないことを指定する。

【0012】

幾つかの実施形態では、max_tid_il_ref_pics_plus１[i]の値は、存在しないとき、vps_max_sublayers_minus１+１に等しいと推定される。

【0013】

幾つかの実施形態では、max_tid_il_ref_pics_plus１[i]は、vps_max_sublayers_minus１+１より小さい又は等しくなるよう制約される。

【0014】

幾つかの実施形態では、サブレイヤ毎の出力レイヤセットは、独立レイヤについて導出されないよう制約される。

【0015】

幾つかの実施形態では、第１変数NumSubLayersInLayerInOLS[i][j]は、ｉ番目のＯＬＳの中のｊ番目のレイヤの中のサブレイヤの数を指定し、第２変数OutputLayerIdInOls[i][j]は、ｉ番目のＯＬＳの中のｊ番目の出力レイヤのnuh_layer_idの値を指定し、第３変数LayerUsedAsOutputLayerFlag[k]は、ｋ番目のレイヤが少なくとも１つのＯＬＳの中の出力レイヤとして使用されるかどうかを指定する。更に、前記第１変数、前記第２変数、及び前記第３変数は、変数max_tid_il_ref_pics_plus１[i]の値から導出される。

【0016】

幾つかの実施形態では、max_tid_il_ref_pics_plus１及びlayerIncludedInOlsFlagは、独立レイヤについて導出されないよう制約される。

【0017】

コーディングビデオシーケンスを復号する例示的な装置は、プログラムコードを格納するよう構成される少なくとも１つのメモリと、前記プログラムコードを読み出し、前記プログラムコードにより命令されるように動作するよう構成される少なくとも１つのプロセッサと、を含み、前記プログラムコードは、前記少なくとも１つのプロセッサに、前記コーディングビデオシーケンスを取得させるよう構成される取得コードと、前記少なくとも１つのプロセッサに、前記コーディングビデオシーケンスを復号させるよう構成される復号コードと、を含む。前記コーディングビデオシーケンスの中のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットの時間的サブレイヤ識別子の値は、前記ＶＣＬＮＡＬユニットにより参照されるビデオパラメータセット（ＶＰＳ）の中の、前記ＶＰＳを参照する各コーディングビデオシーケンス内のレイヤに存在し得る時間的サブレイヤの最大数を指定するvps_max_sublayers_minus１の値以下に制約される。

【0018】

例示的な非一時的コンピュータ可読媒体は、命令を格納してよく、前記命令は１つ以上の命令を含み、前記１つ以上の命令は、ビデオシーケンスを取得する装置の１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記コーディングビデオシーケンスを取得させ、前記コーディングビデオシーケンスを復号させる。前記コーディングビデオシーケンスの中のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットの時間的サブレイヤ識別子の値は、前記ＶＣＬＮＡＬユニットにより参照されるビデオパラメータセット（ＶＰＳ）の中の、前記ＶＰＳを参照する各コーディングビデオシーケンス内のレイヤに存在し得る時間的サブレイヤの最大数を指定するvps_max_sublayers_minus１の値以下に制約される。

【図面の簡単な説明】

【0019】

開示の主題の更なる特徴、特性、及び種々の利点は、以下の詳細な説明及び添付の図面から一層明らかになるだろう。

【0020】

【図1】実施形態による、通信システムの簡易ブロック図の概略図である。

【0021】

【図2】実施形態による、通信システムの簡易ブロック図の概略図である。

【0022】

【図3】実施形態による、デコーダの簡易ブロック図の概略図である。

【0023】

【図4】実施形態による、エンコーダの簡易ブロック図の概略図である。

【0024】

【図5】示されるように、従来技術又は実施形態によるＡＲＣパラメータをシグナリングするオプションの概略図である。

【0025】

【図6】実施形態によるシンタックステーブルの例である。

【0026】

【図7】実施形態による、コンピュータシステムの概略図である。

【0027】

【図8】適応型解像度変更によるスケーラビリティの予測康応の例である。

【0028】

【図9】実施形態によるシンタックステーブルの例である。

【0029】

【図10】アクセスユニット毎のＰＯＣサイクル及びアクセスユニットカウント値のパース及び復号の簡易ブロック図の概略図である。

【0030】

【図11】マルチレイヤサブピクチャを含むビデオビットストリームの概略図である。

【0031】

【図12】拡張解像度を有する選択されたサブピクチャの表示の概略図である。

【0032】

【図13】マルチレイヤサブピクチャを含むビデオビットストリームの復号及び表示処理のブロック図である。

【0033】

【図14】サブピクチャの拡張レイヤを有する３６０ビデオディスプレイの概略図である。

【0034】

【図15】サブピクチャ及び対応するレイヤ及びピクチャ予測構造のレイアウト情報の例である。

【0035】

【図16】局所領域の空間スケーラビリティモダリティを有する、サブピクチャ及び対応するレイヤ及びピクチャ予測構造のレイアウト情報の例である。

【0036】

【図17】サブピクチャレイアウト情報のシンタックステーブルの例である。

【0037】

【図18】サブピクチャレイアウト情報のＳＥＩメッセージのシンタックステーブルの例である。

【0038】

【図19】各出力レイヤセットの出力レイヤ及び、プロファイル／ティア／レベル情報を示すシンタックステーブルの例である。

【0039】

【図20】各出力レイヤセットの出力レイヤモードを示すシンタックステーブルの例である。

【0040】

【図21】各出力レイヤセットの各レイヤの予め送信されたサブピクチャを示すシンタックステーブルの例である。

【0041】

【図22】サブレイヤ毎の指示を有する出力レイヤセットを示すシンタックステーブルの例である。

【発明を実施するための形態】

【0042】

ピクチャが、異なる品質を有する複数のレイヤで構成されるビットストリームに符号化されるとき、ビットストリームは、どのレイヤがデコーダ側で出力されてよいかを指定するシンタックス要素を有してよい。出力されるべきレイヤのセットは、出力レイヤセットとして定義される。複数レイヤ及びスケーラビリティをサポートする最新のビデオコーデックでは、１つ以上の出力レイヤセットが、ビデオパラメータセットの中でシグナリングされる。出力レイヤセット及びそれらの依存関係、プロファイル／ティア／レベル及び仮想デコーダ参照モデルパラメータを指定するそれらのシンタックス要素は、パラメータセットの中で効率的にシグナリングされる必要がある。

【0043】

図１は、本開示の実施形態による通信システム（１００）の簡易ブロック図を示す。システム（１００）は、ネットワーク（１５０）を介して相互接続される少なくとも２つの端末（１１０～１２０）を含んでよい。データの一方向送信では、第１端末（１１０）は、ネットワーク（１５０）を介して他の端末（１２０）へ送信するために、ビデオデータをローカル位置でコーディングしてよい。第２端末（１２０）は、ネットワーク（１５０）から他の端末のコーディングビデオデータを受信し、コーディングデータを復号して、復元したビデオデータを表示してよい。単方向データ伝送は、メディアサービングアプリケーション等で共通であってよい。

【0044】

図１は、例えばビデオ会議中に生じ得る、コーディングビデオの双方向送信をサポートするために適用される第２の端末ペア（１３０、１４０）を示す。データの双方向送信では、各端末（１３０、１４０）は、ネットワーク（１５０）を介して他の端末へ送信するために、ローカルでキャプチャしたビデオデータをコーディングしてよい。各端末１３０、１４０は、また、他の端末により送信されたコーディングビデオデータを受信してよく、コーディングデータを復号してよく、及び復元したビデオデータをローカルディスプレイ装置で表示してよい。

【0045】

図１では、端末装置（１１０～１４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されてよいが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ、及び／又は専用ビデオ会議設備による適用がある。ネットワーク（１５０）は、端末（１１０～１４０）の間でコーディングビデオデータを運ぶ任意の数のネットワークを表し、例えば有線及び／又は無線通信ネットワークを含む。通信ネットワーク（１５０）は、回線切り替え及び／又はパケット切り替えチャネルでデータを交換してよい。代表的なネットワークは、電子通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本発明の議論の目的で、ネットワーク（１５０）のアーキテクチャ及びトポロジは、以下で特に断りの無い限り、本開示の動作にとって重要でないことがある。

【0046】

図２は、開示の主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示の主題は、例えばビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティック、等を含むデジタル媒体への圧縮ビデオの格納、他のビデオ可能アプリケーション、等に等しく適用可能である。

【0047】

ストリーミングシステムは、例えば非圧縮ビデオサンプルストリーム（２０２）を生成するビデオソース（２０１）、例えばデジタルカメラを含み得るキャプチャサブシステム（２１３）を含んでよい。サンプルストリーム（２０２）は、符号化ビデオビットストリームと比べるとき高データ容量を強調するために太線で示され、カメラ（２０１）に結合されるエンコーダ（２０３）により処理できる。エンコーダ（２０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下に詳述するように開示の主題の態様を可能にし又は実装することができる。符号化ビデオビットストリーム（２０４）は、サンプルストリームと比べたとき、低データ容量を強調するために細線で示され、将来の使用のためにストリーミングサーバ（２０５）に格納できる。１つ以上のストリーミングクライアント（２０６、２０８）は、ストリーミングサーバ（２０５）にアクセスして、符号化ビデオビットストリーム（２０４）のコピー（２０７、２０９）を読み出すことができる。クライアント（２０６）は、ビデオデコーダ（２１０）を含むことができる。ビデオデコーダ（３１０）は、符号化ビットストリーム（２０７）の入来するコピーを復号し、ディスプレイ（２１２）又は他のレンダリング装置（図示しない）においてレンダリング可能な出力ビデオサンプルストリーム（２１１）を生成する。幾つかのストリーミングシステムでは、ビデオビットストリーム（２０４、２０７、２０９）は、特定のビデオコーディング／圧縮規格に従い符号化できる。これらの規格の例は、ITU-T Recommendation H.２６５を含む。策定中のビデオコーディング規格は、略式にVVC（Versatile Video Coding）として知られている。開示の主題は、ＶＶＣの文脈で使用されてよい。

【0048】

図３は、本開示の一実施形態によるビデオデコーダ２１０のブロック図を示す。

【0049】

受信機（３１０）は、ビデオデコーダ（２１０）により復号されるべき１つ以上のコーディングビデオシーケンス、同じ又は別の実施形態では、一度に１つのコーディングビデオシーケンスを受信してよい。ここで、各コーディングビデオシーケンスの復号は、他のコーディングビデオシーケンスと独立している。コーディングビデオシーケンスは、符号化ビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであってよいチャネル（３１２）から受信されてよい。受信機（３１０）は、他のデータ、例えば、それぞれの使用エンティティ（図示しない）へと転送され得るコーディング音声データ及び／又は補助データストリームと共に、符号化ビデオデータを受信してよい。受信機（３１０）は、他のデータからコーディングビデオシーケンスを分離してよい。ネットワークジッタを除去するために、バッファメモリ（３１５）は、受信機（３１０）とエントロピーデコーダ／パーサ（３２０）（以後、「パーサ」）との間に接続されてよい。受信機（３１０）が、十分な帯域幅の記憶／転送装置から制御可能に、又はアイソクロナス（isosynchronous）ネットワークから、データを受信しているとき、バッファ（３１５）は、必要なくてよく又は小さくできる。インターネットのようなベストエフォート型パケットネットワークで使用する場合、バッファ（３１５）が必要であってよく、比較的大きくすることができ、有利なことに適応サイズにすることができる。

【0050】

ビデオデコーダ（２１０）は、エントロピーコーディングビデオシーケンスからシンボル（３２１）を再構成するために、パーサ（３２０）を含んでよい。これらのシンボルのカテゴリは、デコーダ（２１０）の動作を管理するために使用される情報、及び場合によっては図２に示したようにデコーダの統合部分ではないがデコーダに接続され得るディスプレイ（２１２）のようなレンダリング装置を制御するための情報を含む。レンダリング装置のための制御情報は、SEI（Supplementary Enhancement Information）メッセージ又はVUI（Video Usability Information）パラメータセットフラグメント（図示しない）の形式であってよい。パーサ（３２０）は、受信された符号かビデオシーケンスをパース／エントロピー復号してよい。コーディングビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト依存関係を有する又は有しない算術的コーディング、等を含む、当業者によく知られた原理に従うことができる。パーサ（３２０）は、コーディングビデオシーケンスから、ビデオデコーダの中のピクセルのサブグループのうちの少なくとも１つについて、該グループに対応する少なくとも１つのパラメータに基づき、サブグループパラメータのセットを抽出してよい。サブグループは、ＧＯＰ（Groups of Picture）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（Coding Units：CU）、ブロック、変換ユニット（Transform Units：TU）、予測ユニット（Prediction Units：PU）、等を含み得る。エントロピーデコーダ／パーサは、コーディングビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、等のような情報も抽出してよい。

【0051】

パーサ（３２０）は、バッファ（３１５）から受信したビデオシーケンスに対してエントロピー復号／パース動作を実行して、シンボル（３２１）を生成してよい。

【0052】

シンボル（３２１）の再構成は、コーディングビデオピクチャ又はその部分の種類（例えば、インター及びイントラピクチャ、インター及びイントラブロック）及び他の要因に依存して、複数の異なるユニットを含み得る。どのユニットがどのように含まれるかは、パーサ（３２０）によりコーディングビデオシーケンスからパースされたサブグループ制御情報により制御できる。パーサ３２０と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確さのために示されない。

【0053】

既に言及した機能ブロックを超えて、デコーダ（２１０）は、後述のように、多数の機能ユニットに概念的に細分化できる。商用的制約の下で動作する実際の実装では、これらのユニットの多くは、互いに密に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示の主題を説明する目的で、機能ユニットへの以下の概念的細分化は適切である。

【0054】

第１ユニットは、スケーラ及び／又は逆変換ユニット（３５１）である。スケーラ及び／又は逆変換ユニット（３５１）は、量子化済み変換係数、及び、どの変換が使用されるべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクス、等を含む制御情報を、パーサ（３２０）からのシンボル（３２１）として受信する。これは、アグリゲータ（３５５）に入力され得るサンプル値を含むブロックを出力できる。

【0055】

幾つかの例では、スケーラ及び／又は逆変換ユニット（３５１）の出力サンプルは、イントラコーディングブロック、つまり、前に再構成されたピクチャからの予測情報を使用しないが現在ピクチャの前に再構成された部分からの予測情報を使用可能なブロック、に属することができる。このような予測情報は、イントラピクチャ予測ユニット（３５２）により提供できる。幾つかの場合には、イントラピクチャ予測ユニット（３５２）は、再構成中のブロックと同じサイズ及び形状のブロックを、現在（部分的にさは再構成された）ピクチャ（３５６）からフェッチした周囲の既に再構成された情報を用いて、生成する。アグリゲータ（３５５）は、幾つかの場合には、サンプル毎に、イントラ予測ユニット（３５２）の生成した予測情報を、スケーラ／逆変換ユニット（３５１）により提供された出力サンプル情報に追加する。

【0056】

他の場合には、スケーラ及び／又は逆変換ユニット（３５１）の出力サンプルは、インターコーディングされた、場合によっては動き補償されたブロックに関連し得る。このような場合には、動き補償予測ユニット（３５３）は、参照ピクチャメモリ（３５７）にアクセスして、予測のために使用されるサンプルをフェッチできる。ブロックに関連するシンボル（３２１）に従いフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ（３５５）により、出力サンプル情報を生成するために、スケーラ／逆変換ユニットの出力に追加され得る（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニットが予測サンプルをフェッチする参照ピクチャメモリ内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有し得るシンボル（３２１）の形式で、動き補償予測ユニットの利用可能な動きベクトルにより制御できる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるとき参照ピクチャメモリからフェッチされたサンプル値の補間、動きベクトル予測メカニズム、等も含み得る。

【0057】

アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）において種々のループフィルタリング技術を受け得る。ビデオ圧縮技術は、コーディングビデオビットストリームに含まれ且つパーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能にされたパラメータにより制御されるが、コーディングピクチャ又はコーディングビデオシーケンスの（復号順序で）前の部分の復号中に取得されたメタ情報にも応答し、前に再構成されループフィルタリングされたサンプル値にも応答し得るインループフィルタ技術を含み得る。

【0058】

ループフィルタユニット（３５６）の出力は、レンダー装置（２１２）へと出力でき及び将来のインターピクチャ予測で使用するために参照ピクチャメモリ（３５６）に格納され得るサンプルストリームであり得る。

【0059】

特定のコーディングピクチャは、一旦完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。コーディングピクチャが完全に再構成され、コーディングピクチャが（例えばパーサ（３２０）により）参照ピクチャとして識別されると、現在参照ピクチャ（３５６）は、参照ピクチャバッファ（３５７）の一部になることができ、後続のコーディングピクチャの再構成を開始する前に、新鮮な現在ピクチャメモリを再割り当てできる。

【0060】

ビデオデコーダ（３２０）は、ITU-T Recのような規格で策定され得る所定のビデオ圧縮技術に従い復号動作を実行してよい。H.２６５。コーディングビデオシーケンスが、ビデオ圧縮技術又は規格で、具体的にはその中のプロファイル文書で指定された、ビデオ圧縮技術又は規格のシンタックスに従うという意味で、コーディングビデオシーケンスは、使用中のビデオ圧縮技術又は規格により指定されたシンタックスに従ってよい。また、遵守のために必要なことは、コーディングビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルにより定められる限界の範囲内であることであり得る。幾つかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル／秒で測定される）、最大参照ピクチャサイズ、等を制限する。レベルにより設定される限界は、幾つかの場合には、ＨＲＤ（Hypothetical Reference Decoder）仕様及びコーディングビデオシーケンスの中でシグナリングされるＨＤＲバッファ管理のためのメタデータを通じて更に制限され得る。

【0061】

実施形態では、受信機（３１０）は、符号化ビデオと共に追加（冗長）データを受信してよい。追加データは、コーディングビデオシーケンスの部分として含まれてよい。追加データは、データを正しく復号するため及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ３２０により使用されてよい。追加データは、例えば、時間的、空間的、又はＳＮＲ拡張レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、等の形式であり得る。

【0062】

図４は、本開示の一実施形態によるビデオエンコーダ（２０３）の機能ブロック図であり得る。

【0063】

エンコーダ（２０３）は、ビデオサンプルを、エンコーダ（２０３）によりコーディングされるべきビデオ画像をキャプチャし得るビデオソース（２０１）（エンコーダの部分ではない）から受信してよい。

【0064】

ビデオソース（２０１）は、エンコーダ（２０３）によりコーディングされるべきソースビデオシーケンスを、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、BT.６０１ Y CrCb, RGB,．．．）、及び任意の適切なサンプリング構造（例えば、Y CrCb ４:２:０, Y CrCb ４:４:４）のデジタルビデオサンプルストリームの形式で、提供してよい。メディア提供システムでは、ビデオソース（２０１）は、前に準備されたビデオを格納する記憶装置であってよい。ビデオ会議システムでは、ビデオソース（２０３）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであってよい。ビデオデータは、続けて閲覧されると動きを与える複数の個別ピクチャとして提供されてよい。ピクチャ自体は、ピクセルの空間的配列として組織化されてよい。各ピクセルは、使用中のサンプリング構造、色空間、等に依存して、１つ以上のサンプルを含み得る。当業者は、ピクセルとサンプルとの間の関係を直ちに理解できる。以下の説明はサンプルに焦点を当てる。

【0065】

実施形態によると、エンコーダ（２０３）は、ソースビデオシーケンスのピクチャを、コーディングビデオシーケンス（４４３）へと、リアルタイムに又はアプリケーションにより要求される任意の他の時間制約の下でコーディングし圧縮してよい。適切なコーディング速度の実施は、制御部（４５０）の１つの機能である。制御部は、後述するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確さのために図示されない。制御部により設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、GOP（group of pictures）レイアウト、最大動きベクトル探索範囲、等を含み得る。当業者は、特定のシステム設計のために最適化されたビデオエンコーダ（２０３）に関連し得るとき、制御部４５０の他の機能を直ちに識別できる。

【0066】

幾つかのビデオエンコーダは、当業者が「コーディングループ」として直ちに認識する中で動作する。非常に簡略化した説明として、コーディングループは、エンコーダ（４３０）（以後、「ソースコーダ」）（コーディングされるべき入力ピクチャと参照ピクチャとに基づき、シンボルを生成する）及びエンコーダ（２０３）内に組み込まれ、シンボルを再構成して、（シンボルとコーディングビデオビットストリームとの間の任意の圧縮が開示の主題において考慮されるビデオ圧縮技術の中で無損失であるとき）（リモート）デコーダが生成し得るサンプルデータを生成する（ローカル）デコーダ（４３３）の符号化部分を含むことができる。再構成されたサンプルストリームは、参照ピクチャメモリ４３４に入力される。シンボルストリームの復号が、デコーダ位置（ローカル又はリモート）と独立にビット正確な結果をもたらすとき、参照ピクチャバッファの内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分が、復号中に予測を用いるときデコーダが「見る」のと正確に同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（及び、例えばチャネルエラーのために同期性が維持できない場合には、結果として生じるドリフト）は、当業者によく知られている。

【0067】

「ローカル」デコーダ（４３３）の動作は、図３と関連して以上に詳述した「リモート」デコーダ（２１０）のものと同じであり得る。簡単には図３も参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（４４５）及びパーサ（３２０）によるコーディングビデオシーケンスへのシンボルの符号化／復号が無損失であり得るので、チャネル（３１２）、受信機（３１０）、バッファ（３１５）、及びパーサ（３２０）を含むデコーダ（２１０）のエントロピー復号部分は、ローカルデコーダ（４３３）に完全に実装されなくてよい。

【0068】

この点で行われる考察は、デコーダ内に存在するパース／エントロピー復号を除く任意のデコーダ技術も、対応するエンコーダ内と実質的に同一の機能形式で存在する必要があるということである。この理由から、開示の主題は、デコーダ動作に焦点を当てる。エンコーダ技術の説明は、それらが包括的に説明されるデコーダ技術の逆であるので、省略できる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。

【0069】

動作中、幾つかの例では、ソースコーダ（４３０）は、動き補償された予測コーディングを実行してよい。これは、「参照フレーム」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたフレームを参照して予測的に入力フレームをコーディングする。この方法では、コーディングエンジン（４３２）は、入力フレームのピクセルブロックと、入力フレームに対する予測基準として選択されてよい参照フレームのピクセルブロックとの間の差分をコーディングする。

【0070】

ローカルビデオデコーダ（４３３）は、ソースコーダ（４３０）により生成されたシンボルに基づき、参照フレームとして指定されてよいフレームのコーディングビデオデータを復号してよい。コーディングエンジン（４３２）の動作は、有利なことに、損失処理であってよい。コーディングビデオデータがビデオデコーダ（図４に図示されない）において復号され得るとき、再構成ビデオシーケンスは、標準的に、幾つかのエラーを有するソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ（４３３）は、参照フレームに対してビデオデコーダにより実行され得る復号処理を複製し、参照ピクチャキャッシュ（４３４）に格納されるべき再構成参照フレームを生じ得る。このように、エンコーダ（２０３）は、（伝送誤りが無ければ）遠端ビデオデコーダにより取得される再構成参照フレームと共通の内容を有する再構成参照フレームのコピーをローカルに格納してよい。

【0071】

予測器（４３５）は、コーディングエンジン（４３２）のために予測探索を実行してよい。つまり、コーディングされるべき新しいフレームについて、予測器（４３５）は、新しいピクチャのための適切な予測基準として機能し得る（候補参照ピクセルブロックのような）サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状、等のような特定のメタデータについて、参照ピクチャメモリ（４３４）を検索してよい。予測器（４３５）は、適切な予測基準を見付けるために、サンプルブロック－ピクセルブロック毎に動作してよい。幾つかの例では、予測器（４３５）により取得された検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に格納された複数の参照ピクチャから引き出された予測基準を有してよい。

【0072】

制御部（４５０）は、例えば、ビデオデータの符号化のために使用されるパラメータ及びサブグループパラメータの設定を含む、ビデオコーダ（４３０）のコーディング動作を管理してよい。

【0073】

全ての前述の機能ユニットの出力は、エントロピーコーダ（４４５）におけるエントロピーコーディングを受けてよい。エントロピーコーダは、ハフマンコーディング、可変長コーディング、算術コーディング、等のような当業者によく知られた技術に従いシンボルを無損失圧縮することにより、種々の機能ユニットにより生成されたシンボルを、コーディングビデオシーケンスへと変換する。

【0074】

送信機（４４０）は、コーディングビデオデータを格納し得る記憶装置へのハードウェア／ソフトウェアリンクであってよい通信チャネル（４６０）を介する伝送のために準備するために、エントロピーコーダ（４４５）により生成されたコーディングビデオシーケンスをバッファリングしてよい。送信機（４４０）は、ビデオコーダ（４３０）からのコーディングビデオデータを、送信されるべき他のデータ、例えばコーディング音声データ及び／又は補助データストリーム（図示されないソース）とマージ（merge）してよい。

【0075】

制御部（４５０）は、エンコーダ（２０３）の動作を管理してよい。コーディング中、制御部（４５０）は、それぞれのピクチャに適用され得るコーディング技術に影響し得る特定のコーディングピクチャタイプを、各コーディングピクチャに割り当ててよい。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの１つとして割り当てられてよい。

【0076】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のフレームを使用せずにコーディング及び復号され得るピクチャであってよい。幾つかのビデオコーデックは、例えばIDR（Independent Decoder Refresh）ピクチャを含む異なる種類のイントラピクチャを許容する。当業者は、Ｉピクチャの変形、及びそれらの個々の適用及び特徴を認識する。

【0077】

予測ピクチャ（Ｐピクチャ）は、殆どの場合、各ブロックのサンプル値を予測するために１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いてコーディング及び復号され得るピクチャであってよい。

【0078】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いてコーディング及び復号され得るピクチャであってよい。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連付けられたメタデータを使用できる。

【0079】

ソースピクチャは、共通に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、又は１６×１６個のサンプルのブロック）に空間的に細分化され、ブロック毎にコーディングされてよい。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てにより決定される他の（既にコーディングされた）ブロックへの参照により予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、又はそれらは同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して、空間予測を介して又は時間予測を介して、非予測的にコーディングされてよい。

【0080】

ビデオコーダ（２０３）は、ITU-T Rec. H.２６５のような所定のビデオコーディング技術又は規格に従いコーディング動作を実行してよい。その動作において、ビデオコーダ（２０３）は、入力ビデオシーケンスの中の時間的及び空間的冗長性を利用する予測コーディング動作を含む種々の圧縮動作を実行してよい。コーディングビデオデータは、したがって、使用されているビデオコーディング技術又は規格により指定されたシンタックスに従ってよい。

【0081】

一実施形態では、送信機（４４０）は、符号化ビデオと共に追加データを送信してよい。ビデオコーダ（４３０）は、このようなデータをコーディングビデオシーケンスの部分として含んでよい。追加データは、時間／空間／ＳＮＲ拡張レイヤ、冗長ピクチャ及びスライスのような他の形式の冗長データ、SEI（Supplementary Enhancement Information）メッセージ、VUI（Visual Usability Information）パラメータセットフラグメント、等を含んでよい。

【0082】

開示の主題の特定の態様を更に詳細に説明する前に、この記載の残りの部分で参照される幾つかの用語を紹介する必要がある。

【0083】

サブピクチャは、以下では、幾つかの場合には、サンプル、ブロック、マクロブロック、コーディングユニット、又は意味論的にグループ化され変更された解像度で独立にコーディングされてよい同様のエンティティの長方形構成を表してよい。１つ以上のサブピクチャは、ピクチャのためであってよい。１つ以上のコーディングサブピクチャは、コーディングピクチャを形成してよい。１つ以上のサブピクチャは、ピクチャに組み立てられてよく、１つ以上のサブピクチャは、ピクチャから抽出されてよい。特定の環境では、１つ以上のコーディングサブピクチャは、サンプルレベルに変換することなく、圧縮ドメインにおいてコーディングピクチャへと組み立てられてよく、同じ又は特定の他の場合には、１つ以上のコーディングサブピクチャは、圧縮ドメインにおいてコーディングピクチャから抽出されてよい。

【0084】

適応型解像度変更（Adaptive Resolution Change (ARC)）は、以下では、例えば参照ピクチャ再サンプリングにより、コーディングビデオシーケンス内のピクチャ又はサブピクチャの解像度の変更を許容するメカニズムを表す。ＡＲＣパラメータは、以下では、適応型解像度変更を実行するために必要な制御情報を表す。これは、例えば、フィルタパラメータ、スケーリング因子、出力及び／又は参照ピクチャの解像度、種々の制御フラグ、等を含んでよい。

【0085】

上述の説明は、単一の意味的に独立したコーディングビデオピクチャをコーディング及び復号することに焦点を当てている。独立したＡＲＣパラメータによる複数のサブピクチャのコーディング／復号の意味、及びその暗示される追加の複雑さを説明する前にＡＲＣパラメータのシグナリングが説明され得る。

【0086】

図５を参照すると、ＡＲＣパラメータをシグナリングする幾つかの新規な選択肢が示される。選択肢の各々と共に記されるように、それらは、コーディング効率、複雑さ、及びアーキテクチャの観点で、特定の利点及び特定の欠点を有するビデオコーディング規格又は技術はＡＲＣパラメータをシグナリングするために、これらの選択肢、又は従来技術から分かる選択肢、のうちの１つ以上を選択してよい。選択肢は、相互に排他的でなくてよく、或いは、アプリケーションの必要、技術的に関連する規格、又はエンコーダの選択に基づき、交換されてよい。

【0087】

ＡＲＣパラメータのクラスは以下を含んでよい：

【0088】

－Ｘ及びＹ次元において別個の又は結合された、アップサンプル及び／又はダウンサンプル因子。

【0089】

－時間次元の追加に伴う、所与の数のピクチャについて一定速度ズームイン／アウトを示す、アップサンプル及び／又はダウンサンプル因子。

【0090】

－上述の２つのうちのいずれかは、因子を含むテーブルを指してよい１つ以上のおそらく短いシンタックス要素のコーディングを含んでよい。

【0091】

－Ｘ又はＹ次元における、結合された又は別個の、入力ピクチャ、出力ピクチャ、参照ピクチャ、コーディングピクチャの、サンプル、ブロック、マクロブロック、ＣＵ、又は任意の他の適切な粒度のユニット内の解像度。１つより多くの解像度がある場合（例えば、入力ピクチャについて１つ、参照ピクチャについて１つ）、特定の場合には、値の１つのセットが、値の別のセットから推定されてよい。これは、例えば、フラグの使用により制御することができる。更に詳細な例については以下を参照する。

【0092】

－「ワーピング（warping）」座標は、ここでも上述のような適切な粒度で、H.２６３ Annex P で使用されるものを含む。H.２６３ Annex Pは、このようなワーピング座標をコーディングするための１つの効率的な方法を定義するが、他の更に効率的な可能性のある方法も考案される可能性がある。例えば、Annex Pのワーピング座標の可変長リバーシブルＨｕｆｆｍａｎ型コーディングは、適切な長さのバイナリコーディングにより置き換えられる。ここで、バイナリコードワードの長さは、例えば、最大ピクチャサイズから導出され、場合によっては特定の係数により乗算され特定の値によりオフセットされ得、従って、最大ピクチャサイズの境界の外部での「ワーピング」を可能にする。

【0093】

－アップサンプル及び／又はダウンサンプルフィルタパラメータ。最も簡単な場合には、アップサンプリング及び／又はダウンサンプリングのための単一のフィルタのみがあってよい。しかしながら、特定の場合には、フィルタ設計において更なる柔軟性を可能にすることが有利であり、これは、フィルタパラメータのシグナリングを必要とする場合がある。このようなパラメータは、可能なフィルタ設計のリスト内のインデックスを通じて選択されてよい。フィルタは完全に指定されてよく（例えば、フィルタ係数のリストを通じて、適切なエントロピーコーディング技術を用いて）、フィルタは、アップサンプル及び／又はダウンサンプル比を通じて暗示的に選択されてよく、該アップ／ダウンサンプル比に従い上述のメカニズムのうちのいずれかに従いシグナリングされる、等である。

【0094】

以下では、コードワードを通じて示される、アップサンプル及び／又はダウンサンプル因子（Ｘ及びＹ次元の両方で使用されるべき同じ因子）の有限セットのコーディングを想定する。そのコードワードは、有利なことに、例えばＨ．２６４及びＨ．２６５のようなビデオコーディング仕様における特定のシンタックス要素について共通のＥｘｔ－Ｇｏｌｏｍｂコードを使用する可変長コードワードであり得る。アップサンプル及び／又はダウンサンプル因子への値の１つの適切なマッピングは、例えば表１に従うことができる。
表１

【表1】

【0095】

多くの同様のマッピングが、ビデオ圧縮技術又は規格において利用可能なアプリケーションの必要並びにアップ及びダウンスケールメカニズムの能力に従い、考案され得る。表は、より多くの値に拡張され得る。値は、Ｅｘｔ－Ｇｏｌｏｍｂコード以外のエントロピーコーディングメカニズムにより、例えばバイナリコーディングを用いて表されてもよい。それは、再サンプリング因子がビデオ処理エンジン（主にエンコーダ及びデコーダ）自体の外部で、例えばＭＡＮＥにより対象とされるとき、特定の利点を有してよい。留意すべきことに、解像度の変化が要求されない（おそらく）最も一般的な状況では、Ｅｘｔ－Ｇｏｌｏｍｂコードは、短く、上述の表の中では、単一のビットのみになるよう選択できる。それは、最も一般的な場合にバイナリコードを使用することに勝るコーディング効率の利点を有し得る。

【0096】

表中のエントリの数は、それらの意味と共に、完全に又は部分的に設定可能であってよい。例えば、表の基本的概要は、シーケンス又はデコーダパラメータセットのような「高（high）」パラメータセットの中で伝達されてよい。代替として又は実施形態では、１つ以上のこのような表が、ビデオコーディング技術又は規格の中で定義されてよく、例えばデコーダ又はシーケンスパラメータセットを通じて選択されてよい。

【0097】

以下では、上述のようにコーディングされたアップサンプリング及び／又はダウンサンプリング因子（ＡＲＣ情報）がビデオコーディング技術又は規格シンタックスにどのように含まれるかを説明する。同様の検討は、１つ又は幾つかのコードワード制御アップサンプリング／ダウンサンプリングフィルタに適用され得る。フィルタ又は他のデータ構造のために比較的に大容量のデータが必要とされるときの議論については以下を参照する。

【0098】

Ｈ．２６３ Annex Pは、ＡＲＣ情報（５０２）を４個のワーピング座標の形式で、ピクチャヘッダ（５０１）に、具体的にはＨ．２６３ＰＬＵＳＰＴＹＰＥ（５０３）ヘッダ拡張に含める。これは、（ａ）利用可能なピクチャヘッダがあるとき、及び（ｂ）ＡＲＣ情報の頻繁な変更が期待されるとき、賢明な設計選択であり得る。しかしながら、Ｈ．２６３型のシグナリングを使用するときのオーバヘッドは非常に大きくなることがあり、ピクチャヘッダが過渡的特性であり得るので、スケーリング係数がピクチャ境界の間に属しないことがある。

【0099】

先に引用されたJVCET-M１３５-v１は、ピクチャパラメータセット（５０４）内に位置するＡＲＣ参照情報（５０５）（インデックス）、シーケンスパラメータセット（５０７）内に位置する目標解像度を含むインデックステーブル（５０６）、を含む。シーケンスパラメータセット（５０７）内のテーブル（５０６）内の可能な解像度の配置は、著者により作成された言葉によると、能力交換中に相互運用交渉点としてＳＰＳを用いて正当性を示すことができる。解像度は、適切なピクチャパラメータセット（５０４）を参照することにより、ピクチャ毎に、テーブル（５０６）内の値により設定された限度の範囲内で、変化できる。

【0100】

更に図５を参照すると、ビデオビットストリームの中でＡＲＣ情報を運ぶために、以下の追加の選択肢が存在し得る。これらの選択肢の各々は、上述のように、既存技術に勝る特定の利点を有する。選択肢は、同じコーディング技術又は規格の中に同時に存在してよい。

【0101】

実施形態では、再サンプリング（ズーム）因子のようなＡＲＣ情報（５０９）は、スライスヘッダ、ＧＯＢヘッダ、タイルヘッダ、又はタイルグループヘッダ（以後、タイルグループヘッダ）の中に存在してよい。これは、例えば上述のように単一の可変長ｕｅ（ｖ）又は数ビットの固定長コードワードのように、ＡＲＣ情報が小さい場合に十分である。ＡＲＣ情報をタイルグループヘッダ内に直接有することは、ＡＲＣ情報が、ピクチャ全体ではなく例えばタイルグループにより表されるサブピクチャに適用可能であるという追加の利点を有する。以下も参照する。更に、ビデオ圧縮技術又は規格がピクチャ全体の適応型解像度変更を想定する場合でも（例えば、適応型解像度変更に基づくタイルグループとは対照的に）、ＡＲＣ情報をタイルグループヘッダに入れることは、Ｈ．２６３形式のピクチャヘッダに入れることに対して、誤り回復の観点から特定の利点を有する。

【0102】

同じ又は別の実施形態では、ＡＲＣ情報（５１２）自体は、例えばピクチャパラメータセット、ヘッダパラメータセット、タイルパラメータセット、適応パラメータセット、等（示された適応パラメータセット）のような適切なパラメータセット（５１１）内に存在してよい。そのパラメータセットの半は、有利なことに、ピクチャ、例えばタイルグループより大きくない。ＡＲＣ情報の使用は、関連パラメータセットの活性化を通じて暗に示される。例えば、ビデオコーディング技術又は規格が、ピクチャに基づくＡＲＣを想定するとき、ピクチャパラメータセット又は均等物が適切であってよい。

【0103】

同じ又は別の実施形態では、ＡＲＣ参照情報（５１３）は、タイルグループヘッダ（５１４）又は同様のデータ構造内に存在してよい。該参照情報（５１３）は、単一のピクチャを超える範囲を有するパラメータセット（５１６）、例えばシーケンスパラメータセット、又はデコーダパラメータセット、の中で利用可能なＡＲＣ情報のサブセット（５１５）を表し得る。

【0104】

JVET-M０１３５-v１で使用されるように、タイルグループヘッダからのＰＰＳ、ＰＰＳ、ＳＰＳの間接的に示唆された活性化の追加のレベルは、ピクチャパラメータセットのように、ちょうどシーケンスパラメータセットのように、能力交渉宣言のために使用できる（ＲＦＣ３９８４のような特定の規格では有する）ので、不要と思われる。しかしながら、ＡＲＣ情報が、例えばタイルグループによって表現されるサブピクチャにも適用可能でなければならない場合、適応パラメータセットまたはヘッダパラメータセットのようなタイルグループに限定された活性化範囲を有するパラメータセットは、適切な選択であり得る。また、ＡＲＣ情報が無視できるより大きなサイズであり、例えば多数のフィルタ係数のようなフィルタ制御情報を含む場合、コーディング効率の観点から、ヘッダ（５０８）を直接使用するより、パラメータが適切な選択であり得る。これらの設定が、同じパラメータセットを参照することにより、将来のピクチャ又はサブピクチャにより再利用できるからである。

【0105】

シーケンスパラメータセット又は複数のピクチャに渡る範囲を有する別の上位パラメータセットを使用するとき、特定の考察が当てはまる：

【0106】

１．ＡＲＣ情報テーブル（５１６）を格納するパラメータセットは、幾つかの場合には、シーケンスパラメータセットであり得るが、他の場合には、有利なことにデコーダパラメータセットである。デコーダパラメータセットは、複数のＣＶＳ、つまりコーディングビデオストリームの活性化範囲、つまり、セッション開始からセッション終了までの全てのコーディングビデオビット、を有することができる。このような範囲は、可能なＡＲＣ因子が場合によってはハードウェアで実装されるデコーダの特徴であり、ハードウェア特徴はＣＶＳであり、１秒以下の長さ）によって変化しない傾向があるので、より適切であり得る（少なくとも幾つかの娯楽システムでは、グループオブピクチャ（Group of Pictures）。つまり、テーブルをシーケンスパラメータセットに入れることは、ここに、特に以下の２と関連して記載される配置の選択肢に明示的に含まれる。

【0107】

２．ＡＲＣ情報（５１３）は、JVCET-M０１３５-v１におけるようなピクチャパラメータセットにではなく、有利なことに、ピクチャ／スライス／タイル／ＧＯＢ／タイルグループヘッダ（以下ではタイルグループヘッダ）（５１４）に直接配置されてよい。理由は以下の通りである：エンコーダが、例えばＡＲＣ参照情報のような、ピクチャパラメータセット内の単一の値を変更したいとき、エンコーダは新しいＰＰＳを生成し、その新しいＰＰＳを参照しなければならない。ＡＲＣ参照情報だけが変化し、例えばＰＰＳ内の量子化マトリクス情報のような他の情報がそのままであると仮定する。このような情報は、相当なサイズであり、新しいＰＰＳを完成させるために再送信される必要がある場合がある。ＡＲＣ参照情報は、テーブル（５１３）の中のインデックスのように、単一のコードワードであってよく、変化する唯一の値であり得るので、例えば量子化マトリクス情報の全部を再送信することは面倒であり無駄である。従って、コーディング効率の観点から、JVET-M０１３５-v１とは反対に、ＰＰＳを通じる遠回しなことを回避することが、非常に適切であり得る。同様に、ＡＲＣ参照情報をＰＰＳに入れることは、ピクチャパラメータセット活性化の範囲がピクチャであるので、ＡＲＣ参照情報（５１３）により参照されるＡＲＣ情報が、サブピクチャにではなく必ずピクチャ全体に適用されるという追加の欠点を有する。

【0108】

同じ又は別の実施形態では、図６に概要が示されるように、ＡＲＣパラメータのシグナリングが以下に詳細に説明される。図６は、少なくとも１９９３年以来、ビデオコーディング規格で使用されるような表現でシンタックス図を示す。このようなシンタックス図の表記は、Ｃ形式のプログラミングにほぼ従う。太字体の行は、ビットストリーム内に現れるシンタックス要素を示す。太字ではない行は、制御フロー又は変数の設定を示すことがある。

【0109】

（場合によっては長方形の）ピクチャ部分に適用可能なヘッダの例示的なシンタックス構造としてのタイルグループヘッダ（６０１）は、条件付きで、可変長のＥｘｔ－Ｇｏｌｏｍｂコーディングされたシンタックス要素dec_pic_size_idx（６０２）（太字で示される）を含み得る。タイルグループヘッダ内のこのシンタックス要素の存在は、適応型解像度（６０３）、ここでは太字で示されないフラグの値の使用において制御できる。これは、フラグがビットストリーム内に、シンタックスダイアグラム内で生じるポイントで、存在することを意味する。このピクチャ又は部分について適応型解像度が使用されるか否かは、ビットストリーム内又は外の高レベルシンタックス構造の中でシグナリングできる。示される例では、それは、以下に概説するシーケンスパラメータセットの中でシグナリングされる。

【0110】

更に図６を参照すると、シーケンスパラメータセット（６１０）の抜粋も示される。示される最初のシンタックス要素は、adaptive_pic_resolution_change_flag（６１１）である。真のとき、そのフラグは、適応型解像度の使用を示すことができ、それは特定の制御情報を必要とし得る。例では、このような制御情報は、パラメータセット（６１２）の中のｉｆ（）文に基づくフラグの値及びタイルグループヘッダ（６０１）に基づき、条件付きで存在する。

【0111】

適応型解像度が使用されるとき、本例では、サンプルのユニットの中に出力解像度がコーディングされる（６１３）。参照符号６１３は、output_pic_width_in_luma_samples及びoutput_pic_height_in_luma_samplesの両方を表し、これらは出力ピクチャの解像度を一緒に定義し得る。その他の場合、ビデオコーディング技術又は規格では、どの値にも特定の制限が定義できる。例えば、レベル定義は、合計の出力サンプルの数を制限してよく、これは、それら２つのシンタックス要素の値の積であり得る。また、特定のビデオコーディング技術又は規格、又は例えばシステム規格のような外部技術又は規格は、番号付けの範囲（例えば、一方又は両方の次元が２のべき乗の数値により除算可能でなければならい）、又はアスペクト比（例えば、幅及び高さが４：３又は１６：９のような関係になければならない）を制限してよい。このような制限は、ハードウェア実装を実現するため又は他の理由で導入されてよく、従来良く知られている。

【0112】

特定のアプリケーションでは、エンコーダは、デコーダに、サイズが出力ピクチャサイズであることを暗示的に想定させるのではなく、特定の参照ピクチャサイズを使用するよう指示することが推奨され得る。本例では、シンタックス要素reference_pic_size_present_flag（６１４）は、参照ピクチャ次元（６１５）（ここでも参照符号は幅及び高さの両方を表す）の条件付きの存在を制御する。

【0113】

最終的に、幅及び高さを有する可能な復号ピクチャの表が示される。このような表は、例えば、テーブル指示（num_dec_pic_size_in_luma_samples_minus１）（６１６）により表現できる。「minus１」は、シンタックス要素の値の解釈を表し得る。例えば、コーディングされた値が０（ゼロ）である場合、１つのテーブルエントリが存在する。値が５である場合、６個のテーブルエントリが存在する。テーブル内の各「行」について、復号ピクチャの幅及び高さがシンタックス（６１７）に含まれる。

【0114】

存在するテーブルエントリ（６１７）は、タイルグループヘッダ内のシンタックス要素dec_pic_size_idx（６０２）を用いてインデックス付けできる。それにより、タイルグループ毎に異なる復号サイズ、事実上のズーム倍率を可能にする。

【0115】

特定のビデオコーディング技術又は規格、例えばＶＰ９は、空間的スケーラビリティを有効にするために、時間スケーラビリティと関連して（開示の主題と全く異なる方法でシグナリングされる）特定の形式の参照ピクチャ再サンプリングを実施することにより、空間的スケーラビリティをサポートする。特に、特定の参照ピクチャは、空間拡張層の基礎を形成するために、ＡＲＣ型の技術を用いて、より高い解像度へとアップサンプリングされてよい。これらのアップサンプリングされたピクチャは、詳細を追加するために、高解像度における通常の予測メカニズムを使用して、精緻化され得る。

【0116】

開示の主題は、このような環境で使用できる。特定の場合には、同じ又は別の実施形態で、ＮＡＬユニットヘッダ内の値、例えばTemporal IDフィールドが、時間だけでなく空間層も示すために使用できる。そうすることで、特定のシステム設計に特定の利点がもたらされる可能性がある。例えば、ＮＡＬユニットヘッダTemporal ID値に基づき時間層選択フォワーディングのために生成され最適化された既存の選択フォワーディングユニット（Selected Forwarding Units (SFU)）は、拡張可能な環境で、変更無しに使用できる。それを有効にするために、コーディングピクチャサイズと時間層との間のマッピングがＮＡＬユニットヘッダ内のTemporal IDフィールドにより示されるという要件が存在し得る。

【0117】

幾つかのビデオコーディング技術では、アクセスユニット（Access Unit (AU)）は、コーディングピクチャ、スライス、タイル、ＮＡＬユニット、等を表すことができ、これらはキャプチャされ、所与の時点でそれぞれのピクチャ／スライス／タイル／ＮＡＬユニットビットストリームへと構成される。時点は、構成時間であり得る。

【0118】

ＨＥＶＣ、及び特定の他のビデオコーディング技術では、ピクチャオーダカウント（picture order count (POC)）値は、複合ピクチャバッファ（decoded picture buffer (DPB)）に格納された複数の参照ピクチャの中の選択された参照ピクチャを示すために使用できる。アクセスユニット（ＡＵ）が１つ以上のピクチャ、スライス、又はタイルを含むとき、同じＡＵに属する各ピクチャ、スライス、又はタイルは、同じＰＯＣ値を運んでよく、その値から、それらが同じ構成時間のコンテンツから生成されたことが導出できる。言い換えると、２つのピクチャ／スライス／タイルが同じ所与のＰＯＣ値を運ぶシナリオでは、それは、同じＡＵに属し同じ構成時間を有する２つのピクチャ／スライス／タイルを示すことができる。反対に、２つのピクチャ／タイル／スライスが異なるＰＯＣ値を有することは、それらのピクチャ／スライス／タイルがことなるＡＵに属し異なる構成時間を有することを示すことができる。

【0119】

開示の主題の実施形態では、前述の厳格な関係は緩和でき、アクセスユニットは、異なるＰＯＣ値を有するピクチャ、スライス、又はタイルを含むことができる。ＡＵ内で異なるＰＯＣ値を許容することにより、同一の提示時間を有する場合によっては独立に復号可能なピクチャ／スライス／タイルを識別するためにＰＯＣ値を使用することが可能になる。これは、一方で、以下の更に詳述されるように、参照ピクチャ選択シグナリング（例えば、参照ピクチャセットシグナリング、又は参照ピクチャリストシグナリング）の変更を伴わずに、複数のスケーラブルなレイヤのサポートを可能にできる。

【0120】

しかしながら、ＰＯＣ値だけから、異なるＰＯＣ値を有するピクチャ／スライス／タイルに対して、ピクチャ／スライス／タイルが属するＡＵを識別できることが依然として望ましい。これは、後述するように達成できる。

【0121】

同じ又は他の実施形態では、アクセスユニットカウント（access unit count (AUC)）は、ＮＡＬユニットヘッダ、スライスヘッダ、タイルグループヘッダ、ＳＥＩメッセージ、パラメータセット、又はＡＵデリミタのような上位シンタックス構造の中でシグナリングされてよい。ＡＵＣの値は、どのＮＡＬユニット、ピクチャ、スライス、又はタイルが所与のＡＵに属するかを識別するために使用されてよい。ＡＵＣの値は、異なる構成時点に対応してよい。ＡＵＣ値は、ＰＯＣの値の倍数と等しくてよい。ＰＯＣ値を整数値により除算することにより、ＡＵＣ値が計算されてよい。特定の場合には、除算演算は、デコーダの実装に特定の負荷をかけ得る。そのような場合には、ＡＵＣ値の番号付け空間における小さな制約が、除算演算をシフト演算により置き換えることを可能にする。例えば、ＡＵＣ値は、ＰＯＣ値範囲の最上位ビット（Most Significant Bit (MSB)）値に等しくてよい。

【0122】

同じ実施形態では、ＡＵ毎のＰＯＣサイクルの値（poc_cycle_au）は、ＮＡＬユニットヘッダ、スライスヘッダ、タイルグループヘッダ、ＳＥＩメッセージ、パラメータセット、又はＡＵデリミタのような上位シンタックス構造の中でシグナリングされてよい。poc_cycle_auは、同じＡＵにどれだけ多くの異なる連続するＰＯＣ値が関連付けられ得るかを示してよい。例えば、poc_cycle_auの値が４に等しい場合、両端を含む０～３に等しいＰＯＣ値を有するピクチャ、スライス、又はタイルは、０に等しいＡＵＣ値を有するＡＵに関連付けられ、両端を含む４～７に等しいＰＯＣ値を有するピクチャ、スライス、又はタイルは、１に等しいＡＵＣ値を有するＡＵに関連付けられる。従って、ＡＵＣの値は、poc_cycle_auの値によりＰＯＣ値を除算することにより、推定されてよい。

【0123】

同じ又は別の実施形態では、poc_cyle_auの値は、例えばビデオパラメータセット（video parameter set (VPS)）内に位置する、コーディングビデオシーケンス内の空間又はＳＮＲレイヤの数を識別する情報から導出されてよい。このような可能な関係は、以下に簡単に説明される。上述の様な導出はＶＰＳ内の少数のビットを節約することができ、従ってコーディング効率を向上し得るが、ピクチャのようなビットストリームの所与の小さな部分に対してpoc_cycle_auを最小化できるように、poc_cycle_auを、ビデオパラメータセットより階層的に下にある適切な上位シンタックス構造内に明示的にコーディングすることは有利である。この最適化は、ＰＯＣ値（及び／又はＰＯＣを間接的に参照するシンタックス要素の値）が下位のシンタックス構造にコーディングされ得るので、上述の導出処理を通じて節約できるよりも多くのビットを節約できる。

【0124】

同じ又は別の実施形態では、図９は、コーディングビデオシーケンスの中の全部のピクチャ／スライスについて使用されるpoc_cycle_auを示すＶＰＳ（又はＳＰＳ）の中のvps_poc_cycle_auのシンタックス要素、及びスライスヘッダの中の現在スライスのpoc_cycle_auを示すslice_poc_cycle_auのシンタックス要素をシグナリングするためのシンタックステーブルの例を示す。ＰＯＣ値がＡＵ毎に一様に増大する場合、ＶＰＳ内のvps_contant_poc_cycle_per_auは１に設定され、vps_poc_cycle_auはＶＰＳの中でシグナリングされる。この場合には、slice_poc_cycle_auは明示的にシグナリングされず、各ＡＵのＡＵＣの値は、ＰＯＣの値をvps_poc_cycle_auにより除算することにより計算される。ＰＯＣ値がＡＵ毎に一様に増大しない場合、ＶＰＳ内のvps_contant_poc_cycle_per_auは０に設定される。この場合、vps_access_unit_cntはシグナリングされないが、slice_access_unit_cntは、スライス又はピクチャ毎にスライスヘッダ内でシグナリングされる。各スライス又はピクチャは、slice_access_unit_cnt の異なる値を有してよい。各ＡＵのＡＵＣの値は、ＰＯＣの値をslice_poc_cycle_auにより除算することにより計算される。図１０は、関連するワークフローを示すブロック図を示す。

【0125】

同じ又は別の実施形態では、ピクチャ、スライス、又はタイルのＰＯＣの値が異なり得る場合でも、同じＡＵＣ値を有するＡＵに対応するピクチャ、スライス、又はタイルは、同じ復号又は出力時点に関連付けられてよい。従って、同じＡＵ内のピクチャ、スライス、又はタイルに渡るインターパーシング及び／又は復号依存関係を有しないで、同じＡＵに関連付けられたピクチャ、スライス、又はタイルの全部又は一部は、並行して復号されてよく、同じ時点で出力されてよい。

【0126】

同じ又は別の実施形態では、ピクチャ、スライス、又はタイルのＰＯＣの値が異なってよい場合でも、同じＡＵＣ値を有するＡＵに対応するピクチャ、スライス、又はタイルは、同じ構成／表示時点に関連付けられてよい。構成時点がコンテナフォーマットに含まれるとき、ピクチャが異なるＡＵに対応しても、ピクチャが同じ構成時点を有するならば、ピクチャは同じ時点で表示できる。

【0127】

同じ又は他の実施形態では、各ピクチャ、スライス、又はタイルは、同じＡＵ内で同じ一時的識別子（temporal_id）を有してよい。ある時点に対応するピクチャ、スライス、又はタイルの全部又は一部は、同じ時間的サブレイヤに関連付けられてよい。同じ又は他の実施形態では、各ピクチャ、スライス、又はタイルは、同じＡＵ内で異なる空間レイヤ識別子（layer_id）を有してよい。ある時点に対応するピクチャ、スライス、又はタイルの全部又は一部は、同じ又は異なる空間レイヤに関連付けられてよい。

【0128】

図８は、適応型解像度変更によるtemporal_id、layer_id、ＰＯＣ、及びＡＵＣの組合せを有するビデオシーケンス構造の例を示す。本例では、ＡＵＣ＝０を有する第１ＡＵの中のピクチャ、スライス、又はタイルは、temporal_id=０及びlayer_id=０又は１を有してよく、一方で、ＡＵＣ＝１を有する第２ＡＵの中のピクチャ、スライス、又はタイルは、temporal_id=１及びlayer_id=０又は１をそれぞれ有してよい。ＰＯＣの値は、temporal_id及びlayer_id.の値と無関係に、ピクチャ当たり１だけ増大する。本例では、poc_cycle_auの値は、２に等しくなる。望ましくは、poc_cycle_auの値は、（空間スケーラビリティ）レイヤの数に等しく設定されてよい。本例では、従って、ＰＯＣの値は２だけ増大され、ＡＵＣの値は１だけ増大される。

【0129】

上述の実施形態では、参照ピクチャ指示及びインターピクチャ又はインターレイヤ予測構造の全部又は一部は、ＨＥＶＣにおける既存の参照ピクチャセット（reference picture set (RPS)）シグナリング又は参照ピクチャリスト（reference picture list (RPL)）を用いてサポートされてよい。ＲＰＳ又はＲＰＬでは、選択された参照ピクチャが、ＰＯＣの値又は現在ピクチャと選択された参照ピクチャとの間のＰＯＣのデルタ値をシグナリングすることにより、示される。開示の主題では、ＲＰＳ及びＲＰＬは、シグナリングを変更せずに、インターピクチャ又はインターレイヤ予測構造を示すために使用できるが、以下の制約を伴う。参照ピクチャのtemporal_idの値が現在ピクチャのtemporal_idの値より大きい場合、現在ピクチャは、動き補償又は他の予測のために参照ピクチャを使用しなくてよい。参照ピクチャのlayer_idの値が現在ピクチャのlayer_idの値より大きい場合、現在ピクチャは、動き補償又は他の予測のために参照ピクチャを使用しなくてよい。

【0130】

同じ又は他の実施形態では、時間的動きベクトル予測のためのＰＯＣ差に基づく動きベクトルスケーリングは、アクセスユニット内の複数のピクチャに渡り無効にされてよい。従って、各ピクチャはアクセスユニット内で異なるＰＯＣ値を有してよいが、動きベクトルは、アクセスユニット内の時間的動きベクトル予測のためにスケーリングされ使用されない。これは、同じＡＵ内の異なるＰＯＣを有する参照ピクチャは、同じ時点を有する参照ピクチャと考えられるからである。従って、実施形態では、参照ピクチャが現在ピクチャに関連付けられたＡＵに属するとき、動きベクトルスケーリング関数は１を返してよい。

【0131】

同じ及び他の実施形態では、時間的動きベクトル予測のためのＰＯＣ差に基づく動きベクトルスケーリングは、任意的に、参照ピクチャの空間解像度が現在ピクチャの空間解像度と異なるとき、複数のピクチャに渡り無効にされてよい。動きベクトルスケーリングが許可されるとき、動きベクトルは、ＰＯＣ差、及び現在ピクチャと参照ピクチャとの亜大の空間解像度比に基づきスケーリングされる。

【0132】

同じ又は別の実施形態では、特にpoc_cycle_auが一様でない値を有するとき（vps_contant_poc_cycle_per_au==０のとき）、動きベクトルは、時間的動きベクトル予測のために、ＰＯＣ差の代わりに、ＡＵＣ差に基づきスケーリングされてよい。その他の場合（vps_contant_poc_cycle_per_au==１のとき）、ＡＵＣ差に基づく動きベクトルスケーリングは、ＰＯＣ差に基づく動きベクトルスケーリングと同じであってよい。

【0133】

同じ又は別の実施形態では、動きベクトルがＡＵＣ差に基づきスケーリングされるとき、現在ピクチャと同じＡＵ内の（同じＡＵＣ値を有する）参照動きベクトルは、動きベクトル予測のためにＡＵＣ差に基づきスケーリングされ使用されず、現在ピクチャと参照ピクチャとの間の空間解像度比に基づくスケーリングを伴わないか又は伴う。

【0134】

同じ及び他の実施形態では、ＡＵＣ値は、ＡＵの境界を識別するために使用され、ＡＵ粒度の入力及び出力タイミングを必要とする仮説参照デコーダ（hypothetical reference decoder (HRD)）動作のために使用される。多くの場合に、ＡＵ内で最上位レイヤを有する復号ピクチャが、表示のために出力されてよい。ＡＵＣ値及びlayer_id値は、出力ピクチャを識別するために使用できる。

【0135】

実施形態では、ピクチャは１つ以上のサブピクチャで構成されてよい。各サブピクチャは、ピクチャの局所領域又は全体領域をカバーしてよい。サブピクチャによりサポートされる領域は、別のサブピクチャによりサポートされる領域と重なり合ってよく又はそうでなくてよい。１つ以上のサブピクチャにより構成される領域は、ピクチャの全体領域をカバーしてよく又はそうでなくてよい。ピクチャがサブピクチャで構成される場合、サブピクチャによりサポートされる領域は、ピクチャによりサポートされる領域と同一である。

【0136】

同じ実施形態では、サブピクチャは、コーディングピクチャのために使用されたコーディング方法と同様のコーディング方法によりコーディングされてよい。サブピクチャは、独立にコーディングされてよく、又は別のサブピクチャ又はコーディングピクチャに依存してコーディングされてよい。サブピクチャは、別のサブピクチャ又はコーディングピクチャからのパーシング依存関係を有してよく又は有しなくてよい。

【0137】

同じ実施形態では、コーディングサブピクチャは、１つ以上のレイヤに含まれてよい。レイヤ内のコーディングサブピクチャは、異なる空間解像度を有してよい。元のサブピクチャは、空間的に再サンプリング（アップサンプリング又はダウンサンプリング）され、異なる空間解像度パラメータによりコーディングされ、レイヤに対応するビットストリームに含まれてよい。

【0138】

同じ又は別の実施形態では、（W,H）を有するサブピクチャは、コーディングされ、レイヤ０に対応するコーディングビットストリームに含まれてよい。ここで、Wはサブピクチャの幅を示し、Hはサブピクチャの高さをそれぞれ示す。一方で、元の空間解像度を有し、（W*S_w,k,H*S_h,k）を有するサブピクチャからアップサンプリング（又はダウンサンプリング）されたサブピクチャは、コーディングされ、レイヤｋに対応するコーディングビットストリームに含まれてよい。ここで、S_w,k,S_h,kは、水平及び垂直方向の再サンプリング比を示す。S_w,k,S_h,kの値が１より大きい場合、再サンプリングはアップサンプリングに等しい。一方で、S_w,k,S_h,kの値が１より小さい場合、再サンプリングはダウンサンプリングに等しい。

【0139】

同じ又は別の実施形態では、レイヤ内のコーディングサブピクチャは、同じサブピクチャ又は異なるサブピクチャ内の別のレイヤ内のコーディングサブピクチャと異なる視覚的品質を有し得る。例えば、レイヤｎ内のサブピクチャｉは、量子化パラメータQ_i,nによりコーディングされ、レイヤｍ内のサブピクチャｊは、量子化パラメータQ_j,m.によりコーディングされる。

【0140】

同じ又別の実施形態では、レイヤ内のコーディングサブピクチャは、独立して復号可能であってよく、同じ局所領域の別のレイヤ内のコーディングサブピクチャからのパーシング又は復号依存関係を有しない。同じ局所領域の別のサブピクチャレイヤを参照することなく独立に復号可能なサブピクチャレイヤは、独立サブピクチャレイヤである。独立したサブピクチャレイヤ内のコーディングサブピクチャは、同じサブピクチャレイヤからの前のコーディングサブピクチャからの復号又はパーシング依存関係を有してよく又は有しなくてよいが、コーディングサブピクチャは、別のサブピクチャレイヤ内のコーディングピクチャからの依存関係を有しなくてよい。

【0141】

同じ又別の実施形態では、レイヤ内のコーディングサブピクチャは、依存して復号可能であってよく、同じ局所領域の別のレイヤ内のコーディングサブピクチャからのパーシング又は復号依存関係を有する。同じ局所領域の別のサブピクチャレイヤを参照して依存して復号可能なサブピクチャレイヤは、依存サブピクチャレイヤである。依存サブピクチャ内のコーディングサブピクチャは、同じサブピクチャに属するコーディングサブピクチャ、同じサブピクチャレイヤ内の前のコーディングサブピクチャ、又は両方の参照サブピクチャを参照してよい。

【0142】

同じ又別の実施形態では、コーディングサブピクチャは、１つ以上の独立サブピクチャレイヤ及び１つ以上の依存サブピクチャレイヤで構成される。しかしながら、コーディングサブピクチャについて、少なくとも１つの独立サブピクチャレイヤが存在してよい。独立サブピクチャレイヤは、ＮＡＬユニットヘッダ又は別の上位シンタックス構造内に存在し得る、０に等しいレイヤ識別子（layer_id）の値を有してよい。０に等しいlayer_idを有するサブピクチャレイヤは、基本サブピクチャレイヤである。

【0143】

同じ又別の実施形態では、ピクチャは、１つ以上の前景サブピクチャ及び１つ以上の背景サブピクチャで構成される。背景サブピクチャによりサポートされる領域は、ピクチャの領域と等しくてよい。前景サブピクチャによりサポートされる領域は、背景サブピクチャによりサポートされる領域と重なり合ってよい。背景サブピクチャは、基本サブピクチャレイヤであってよく、一方で、前景サブピクチャは、非基本（拡張）サブピクチャレイヤであってよい。１つ以上の非基本サブピクチャレイヤは、復号のために同じ基本レイヤを参照してよい。ａに等しいlayer_idを有する各々の非基本サブピクチャレイヤは、ｂに等しいlayer_idを有する非基本サブピクチャレイヤを参照してよい。ここで、ａはｂより大きい。

【0144】

同じ又別の実施形態では、ピクチャは、背景サブピクチャを有する又は有しない１つ以上の前景サブピクチャで構成されてよい。各サブピクチャは、それ自体の基本サブピクチャレイヤ及び１つ以上の非基本（拡張）レイヤを有してよい。各基本サブピクチャレイヤは、１つ以上の非基本サブピクチャレイヤにより参照されてよい。ａに等しいlayer_idを有する各々の非基本サブピクチャレイヤは、ｂに等しいlayer_idを有する非基本サブピクチャレイヤを参照してよい。ここで、ａはｂより大きい。

【0145】

同じ又別の実施形態では、ピクチャは、背景サブピクチャを有する又は有しない１つ以上の前景サブピクチャで構成されてよい。（基本又は非基本）サブピクチャレイヤ内の各コーディングサブピクチャは、同じサブピクチャに属する１つ以上の非基本レイヤのサブピクチャ、及び同じサブピクチャに属さない１つ以上の非基本レイヤのサブピクチャにより参照されてよい。

【0146】

同じ又別の実施形態では、ピクチャは、背景サブピクチャを有する又は有しない１つ以上の前景サブピクチャで構成されてよい。レイヤａ内のサブピクチャは、同じレイヤ内の複数のサブピクチャに更にパーティションされてよい。レイヤｂ内の１つ以上のコーディングサブピクチャは、レイヤａ内のパーティションされたサブピクチャを参照してよい。

【0147】

同じ又は別の実施形態では、コーディングビデオシーケンス（coded video sequence (CVS)）は、コーディングピクチャのグループであってよい。ＣＶＳは、１つ以上のコーディングサブピクチャシーケンス（coded sub-picture sequences (CSPS)）で構成されてよい。ここで、ＣＳＰＳは、ピクチャの同じ局所領域をカバーするコーディングサブピクチャのグループであってよい。ＣＳＰＳは、コーディングビデオシーケンスと同じ又は異なる時間解像度を有してよい。

【0148】

同じ又は別の実施形態では、ＣＳＰＳは、コーディングされ１つ以上のレイヤに含まれてよい。ＣＳＰＳは、１つ以上のＣＳＰＳレイヤで構成されてよい。ＣＳＰＳに対応する１つ以上のＣＳＰＳレイヤを復号することは、同じ局所領域に対応するサブピクチャのシーケンスを再構成してよい。

【0149】

同じ又は別の実施形態では、ＣＳＰＳに対応するＣＳＰＳレイヤの数は、別のＣＳＰＳに対応するＣＳＰＳレイヤの数と同じ又は異なってよい。

【0150】

同じ又は別の実施形態では、ＣＳＰＳレイヤは、別のＣＳＰＳレイヤと異なる時間解像度（例えば、フレームレート）を有してよい。元の（未圧縮）サブピクチャシーケンスは、時間的に再サンプリング（アップサンプリング又はダウンサンプリング）され、異なる時間解像度パラメータによりコーディングされ、レイヤに対応するビットストリームに含まれてよい。

【0151】

同じ又別の実施形態では、フレームレートＦを有するサブピクチャシーケンスは、コーディングされ、レイヤ０に対応するコーディングビットストリームに含まれてよい。一方で、F*S_t,kにより元のサブピクチャシーケンスから時間的にアップサンプリング（又はダウンサンプリング）されたサブピクチャシーケンスは、コーディングされ、レイヤｋに対応するコーディングビットストリームに含まれてよい。ここで、S_t,kはレイヤｋの時間サンプリング比を示す。S_t,kの値が１より大きい場合、時間再サンプリング処理は、フレームレートアップコンバージョンと等しい。一方で、S_t,kの値が１より小さい場合、時間再サンプリング処理は、フレームレートダウンコンバージョンと等しい。

【0152】

同じ又は別の実施形態では、動き補償又は任意のインターレイヤ予測のために、ＣＳＰＳレイヤａを有するサブピクチャがＣＳＰＳレイヤｂを有するサブピクチャにより参照されるとき、ＣＳＰＳレイヤａの空間解像度がＣＳＰＳレイヤｂの空間解像度と異なる場合、ＣＳＰＳレイヤａの復号ピクセルは、再サンプリングされ、参照のために使用される。再サンプリング処理は、アップサンプリングフィルタリング又はダウンサンプリングフィルタリングを必要としてよい。

【0153】

図１１は、０に等しいlayer_idを有する背景ビデオＣＳＰＳ及び複数の前景ＣＳＰＳレイヤを含む例示的なビデオストリームを示す。コーディングサブピクチャは１つ以上のＣＳＰＳレイヤで構成されてよいが、いずれの前景ＣＳＰＳレイヤにも属さない背景領域は、基本レイヤを構成してよい。基本レイヤは、背景領域及び前景領域を含んでよく、拡張ＣＳＰＳレイヤは前景領域を含む。拡張ＣＳＰＳレイヤは、同じ領域において、基本レイヤより良好な視覚的品質を有してよい。拡張ＣＳＰＳレイヤは、同じ領域に対応する、基本レイヤの再構成ピクセル及び動きベクトルを参照してよい。

【0154】

同じ又は別の実施形態では、基本レイヤに対応するビデオビットストリームは、トラックに含まれ、一方で、各サブピクチャに対応するＣＳＰＳレイヤは、ビデオファイル内の別のトラックに含まれる。

【0155】

同じ又は別の実施形態では、基本レイヤに対応するビデオビットストリームは、トラックに含まれ、一方で、同じlayer_idに対応するＣＳＰＳレイヤは、別のトラックに含まれる。本例では、レイヤｋに対応するトラックは、レイヤｋに対応するＣＳＰＳレイヤのみを含む。

【0156】

同じ又別の実施形態では、各サブピクチャの各ＣＳＰＳレイヤは、別のトラックに格納される。各トラックは、１つ以上の他のトラックからのパーシング又は復号依存関係を有してよく又は有しなくてよい。

【0157】

同じ又別の実施形態では、各トラックは、サブピクチャの全部又は一部のＣＳＰＳレイヤのレイヤｉ～レイヤｊに対応するビットストリームを含んでよい。ここで、０<i=<j=<k、ｋはＣＳＰＳの最高レイヤである。

【0158】

同じ又別の実施形態では、ピクチャは、深さマップ、アルファマップ、３Ｄジオメトリデータ、占有マップ、等を含む１つ以上の関連データで構成される。このような関連する時限メディアデータは、１又は複数のデータサブストリームに分割でき、各データサブストリームは、１つのサブピクチャに対応する。

【0159】

同じ又別の実施形態では、図１２は、マルチレイヤサブピクチャ方法に基づくビデオ会議の例を示す。ビデオストリームには、背景ピクチャに対応する１つの基本レイヤビデビットストリーム、及び前景サブピクチャに対応する１つ以上の拡張レイヤビデオビットストリームが含まれる。各拡張レイヤビデオビットストリームは、ＣＳＰＳレイヤに対応する。表示において、基本レイヤに対応するピクチャがデフォルトで表示される。それは、ピクチャ内の１つ以上のユーザのピクチャを含む（ピクチャインピクチャ（picture in a picture (PIP)））。特定のユーザがクライアントの制御により選択されると、選択されたユーザに対応する拡張ＣＳＰＳレイヤが、拡張品質又は空間解像度により、復号され、表示される図１３は、動作の図を示す。

【0160】

同じ又別の実施形態では、ネットワーク中間ボックス（例えばルータ）は、帯域幅に依存して、ユーザへ送信すべきレイヤのサブセットを選択してよい。ピクチャ／サブピクチャ編成は、帯域幅適応のために使用されてよい。例えば、ユーザが帯域幅を有しない場合、ルータはレイヤを削除するか、又はそれらの重要性により若しくは使用される設定に基づき幾つかのサブピクチャを選択する。これは、帯域幅に適応するために動的に行うことができる。

【0161】

図１４は、３６０度ビデオの使用例を示す。球体の３６０度ピクチャが平面ピクチャに投影されるとき、投影３６０度ピクチャは、基本レイヤのような複数のサブピクチャにパーティションされてよい。特定のサブピクチャの拡張レイヤは、コーディングされ、クライアントへ送信されてよい。デコーダは、全部のサブピクチャを含む基本レイヤ、及び選択されたサブピクチャの拡張レイヤの両方を復号可能であってよい。現在の視点が選択されたサブピクチャと同じとき、表示されたピクチャは、拡張レイヤを有する復号サブピクチャにより、より高い品質を有してよい。或いは、基本レイヤを有する復号ピクチャは、低品質で表示できる。

【0162】

同じ又別の実施形態では、表示のためのレイアウト情報は、ファイル内に、補助情報（例えば、ＳＥＩメッセージ又はメタデータ）として存在してよい。１つ以上の復号サブピクチャは、シグナリングされたレイアウト情報に従い、再配置され表示されてよい。レイアウト情報は、ストリーミングサーバ又はブロードキャスタによりシグナリングされてよく、又はネットワークエンティティ若しくはクラウドサーバにより再生成されてよく、又はユーザのカスタマイズされた設定により決定されてよい。

【0163】

実施形態では、入力ピクチャは、１つ以上の（長方形）サブ領域に分割され、各サブ領域は独立レイヤとしてコーディングされてよい。局所領域に対応する各独立レイヤは、ユニークなlayer_id値を有してよい。独立レイヤ毎に、サブピクチャサイズ及び位置情報がシグナリングされてよい。例えば、ピクチャサイズ（幅、高さ）、左上角のオフセット情報（x_offset,y_offset）である。図１５は、分割されたサブピクチャのレイアウト、そのサブピクチャサイズ及び位置情報、及びその対応するピクチャ予測構造の例を示す。サブピクチャサイズ及びサブピクチャ位置を含むレイアウト情報は、パラメータセット、スライス若しくはグループのヘッダ、又はＳＥＩメッセージのような上位シンタックス構造の中でシグナリングされてよい。

【0164】

同じ実施形態で、独立レイヤに対応する各サブピクチャは、ＡＵ内の自身のユニークなＰＯＣ値を有してよい。ＤＰＢに格納されたピクチャの中の参照ピクチャがＲＰＳ又はＲＰＬ構造内のシンタックス要素を用いて示される場合、レイヤに対応する各サブピクチャのＰＯＣ値が使用されてよい。

【0165】

同じ又別の実施形態では、（インターレイヤ）予測構造を示すために、layer_idは使用されなくてよく、ＰＯＣ（デルタ）値が使用されてよい。

【0166】

同じ実施形態では、レイヤ（又は局所領域）に対応するＮに等しいＰＯＣ値を有するサブピクチャは、動き補償予測のために、同じレイヤ（又は同じ局所領域）に対応する、Ｎ＋Ｋに等しいＰＯＣ値を有するサブピクチャの参照ピクチャとして使用さてよく又は使用されなくてよい。殆どの場合、数値Ｋの値は、サブ領域の数に等しくてよい、（独立）レイヤの最大数に等しくてよい。

【0167】

同じ又別の実施形態では、図１６は図１５の拡張された場合を示す。入力ピクチャが複数の（例えば４個の）サブ領域に分割されるとき、各局所領域は、１つ以上のレイヤによりコーディングされてよい。この場合、独立レイヤの数は、サブ領域の数に等しくてよく、１つ以上のレイヤがサブ領域に対応してよい。従って、各サブ領域は、１つ以上の独立レイヤ及び０以上の従属レイヤによりコーディングされてよい。

【0168】

同じ実施形態では、図１６において、入力ピクチャは４個のサブ領域に分割されてよい。右上サブ領域は、２つのレイヤ、つまりレイヤ１及びレイヤ４としてコーディングされてよい。一方で、右下サブ領域は、２つのレイヤ、つまりレイヤ３及びレイヤ５としてコーディングされてよい。この場合、レイヤ４は、動き補償予測のためにレイヤ１を参照してよく、レイヤ５は、動き補償のためにレイヤ３を参照してよい。

【0169】

同じ又別の実施形態では、レイヤ境界に跨がるインループフィルタ（例えば、デブロッキングフィルタ、適応型インループフィルタ、リシェーパ、バイラテラルフィルタ、又は任意の深層学習に基づくフィルタ）は、（任意的に）無効にされてよい。

【0170】

同じ又別の実施形態では、レイヤ境界に跨がる動き補償予測又はイントラブロックコピーは、（任意的に）無効にされてよい。

【0171】

同じ又別の実施形態では、サブピクチャの境界における動き補償予測又はインループフィルタのための境界パディングは、任意的に処理されてよい。境界パディングが処理されるか否かを示すフラグが、パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ、又はＡＰＳ）又はスライス若しくはタイルグループヘッダ、又はＳＥＩメッセージのような上位シンタックス構造の中でシグナリングされてよい。

【0172】

同じ又別の実施形態では、サブ領域（又はサブピクチャ）のレイアウト情報は、ＶＰＳ又はＭＰＳ内でシグナリングされてよい。図１７は、ＶＰＳ及びＳＰＳ内のシンタックス要素の例を示す。本例では、vps_sub_picture_dividing_flagがＶＰＳ内でシグナリングされる。フラグは、入力ピクチャが複数のサブ領域に分割されるか否かを示してよい。vps_sub_picture_dividing_flagの値が０に等しいとき、現在ＶＰＳに対応するコーディングビデオシーケンスの中の入力ピクチャは、複数のサブ領域に分割されなくてよい。この場合、入力ピクチャサイズは、ＳＰＳ内でシグナリングされる、コーディングピクチャサイズ（pic_width_in_luma_samples, pic_height_in_luma_samples）に等しくてよい。vps_sub_picture_dividing_flagの値が１に等しいとき、入力ピクチャは、複数のサブ領域に分割されてよい。この場合、シンタックス要素vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesは、ＶＰＳ内でシグナリングされる。vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesの値は、それぞれ入力ピクチャの幅及び高さに等しくてよい。

【0173】

同じ実施形態で、vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesの値は、復号のために使用されなくてよいが、構成及び表示のために使用されてよい。

【0174】

同じ実施形態で、vps_sub_picture_dividing_flagの値が１に等しいとき、シンタックス要素pic_offset_x及びpic_offset_yは、特定のレイヤに対応するＳＰＳ内でシグナリングされてよい。この場合、ＳＰＳ内でシグナリングされるコーディングピクチャサイズ（pic_width_in_luma_samples, pic_height_in_luma_samples）は、特定のレイヤに対応するサブ領域の幅及び高さに等しくてよい。また、サブ領域の左上角の位置（pic_offset_x, pic_offset_y）は、ＳＰＳ内でシグナリングされてよい。

【0175】

同じ実施形態で、サブ領域の左上角の位置（pic_offset_x, pic_offset_y）は、復号のために使用されなくてよいが、構成及び表示のために使用されてよい。

【0176】

同じ又別の実施形態では、入力ピクチャのサブ領域の全部又は一部のレイアウト情報（サイズ及び位置）、レイヤ間の依存情報は、パラメータセット又はＳＥＩメッセージ内でシグナリングされてよい。図１８は、サブ領域のレイアウトの情報、レイヤ間の依存関係、及びサブ領域と１つ以上のレイヤとの間の関係を示すためのシンタックス要素の例を示す。本例では、シンタックス要素num_sub_regionは、現在コーディングビデオシーケンス内の（長方形）サブ領域の数を示し、シンタックス要素elementnum_layersは、現在コーディングビデオシーケンス内のレイヤの数を示す。num_layersの値は、num_sub_regionの値に等しいか又はそれより大きくてよい。任意のサブ領域が単一のレイヤとしてコーディングされるとき、num_layersの値はnum_sub_regionの値に等しくてよい。１つ以上のサブ領域が複数のレイヤとしてコーディングされるとき、num_layersの値はnum_sub_regionの値より大きくてよい。シンタックス要素direct_dependency_flag[i][j]は、ｊ番目のレイヤからｉ番目のレイヤへの依存関係を示す。num_layers_for_region[i]は、ｉ番目のサブ領域に関連付けられたレイヤの数を示す。sub_region_layer_id[i][j]は、ｉ番目のサブ領域に関連付けられたｊ番目のレイヤのlayer_idを示す。sub_region_offset_x[i]及びsub_region_offset_y[i]は、それぞれｉ番目のサブ領域の左上角の水平及び垂直位置を示す。sub_region_width[i]及びsub_region_height[i]は、それぞれｉ番目のサブ領域の幅及び高さを示す。

【0177】

一実施形態では、１つ以上のレイヤを示すために設定される出力レイヤがプロファイルティアレベル情報と共に又は伴わずに出力されるかを指定する１つ以上のシンタックス要素は、上位シンタックス構造、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージ内でシグナリングされてよい。図１９を参照すると、ＶＰＳを参照するコーディングビデオシーケンス内の出力レイヤセット（output layer set (OLS)）の数を示すシンタックス要素num_output_layer_setsは、ＶＰＳ内でシグナリングされてよい。出力レイヤセット毎に、output_layer_flagが、出力レイヤの数と同数だけシグナリングされてよい。

【0178】

同じ実施形態で、１に等しいoutput_layer_flag[i]は、ｉ番目のレイヤが出力されることを指定する。０に等しいvps_output_layer_flag[i]は、ｉ番目のレイヤが出力されないことを指定する。

【0179】

同じ又別の実施形態では、出力レイヤセット毎のプロファイルティアレベル情報を指定する１つ以上のシンタックス要素は、上位シンタックス構造、例えば、ＶＰＳ、ＤＰＳ、ＭＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージ内でシグナリングされてよい。更に図１９を参照すると、ＶＰＳを参照するコーディングビデオシーケンス内のＯＬＳ当たりのプロファイルティアレベル情報の数を示すシンタックス要素num_profile_tile_levelは、ＶＰＳ内でシグナリングされてよい。出力レイヤセット毎に、プロファイルティアレベル情報のシンタックス要素のセット、又はプロファイルティアレベル情報内のエントリの中の特定のプロファイルティアレベル情報を示すインデックスが、出力レイヤの数だけシグナリングされてよい。

【0180】

同じ実施形態では、profile_tier_level_idx[i][j]は、ｉ番目のＯＬＳのｊ番目のレイヤに適用されるprofile_tier_level()シンタックス構造のインデックスを、ＶＰＳ内のprofile_tier_level()シンタックス構造のリストへと指定する。

【0181】

同じ又別の実施形態では、図２０を参照すると、シンタックス要素num_profile_tile_level及び／又はnum_output_layer_setsは、最大レイヤ数が１より大きいとき（vps_max_layers_minus１>０）、シグナリングされてよい。

【0182】

同じ又別の実施形態では、図２０を参照すると、ｉ番目の出力レイヤセットについての出力レイヤシグナリングのモードを示すシンタックス要素vps_output_layers_mode[i]が、ＶＰＳ内に存在してよい。

【0183】

同じ実施形態で、０に等しいvps_output_layers_mode[i]は、最上位レイヤのみがｉ番目の出力レイヤセットと共に出力されることを指定する。１に等しいvps_output_layer_mode[i]は、全部のレイヤが、ｉ番目の出力レイヤセットと共に出力されることを指定する。２に等しいvps_output_layer_mode[i]は、出力されるレイヤが、ｉ番目の出力レイヤセットと共に、１に等しいvps_output_layer_flag[i][j]を有するレイヤであることを指定する。より多くの値が予約されてよい。

【0184】

同じ実施形態で、output_layer_flag[i][j]は、ｉ番目の出力レイヤセットのvps_output_layers_mode[i]の値に依存してシグナリングされてよく又はされなくてよい。

【0185】

同じ又別の実施形態では、図２０を参照すると、flagvps_ptl_signal_flag[i]がｉ番目の出力レイヤセットについて存在してよい。vps_ptl_signal_flag[i]の値に依存して、ｉ番目の出力レイヤセットのプロファイルティアレベル情報は、シグナリングされてよく又はされなくてよい。

【0186】

同じ又別の実施形態では、図２１を参照すると、現在ＣＶＳ内のサブピクチャの数max_subpics_minus１は、上位シンタックス構造、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージ内でシグナリングされてよい。

【0187】

同じ又別の実施形態では、図２１を参照すると、ｉ番目のサブピクチャのサブピクチャ識別子sub_pic_id[i]は、最大レイヤサブピクチャ数が１より大きいとき（max_subpics_minus１>０）、シグナリングされてよい。

【0188】

同じ又別の実施形態では、各出力レイヤセットの各レイヤに属するサブピクチャ識別子を示す１つ以上のシンタックス要素が、ＶＰＳ内でシグナリングされてよい。図２２を参照すると、ｋ番目のサブピクチャを示すsub_pic_id_layer[i][j][k]は、ｉ番目の出力レイヤセットのｊ番目のレイヤ内に存在する。これらの情報により、デコーダは、特定の出力レイヤセットの各レイヤについて、どのサブピクチャが復号され出力され得るかを認識してよい。

【0189】

実施形態では、ピクチャヘッダ（picture header (PH)）は、コーディングピクチャの全部のスライスに適用されるシンタックス要素を含むシンタックス構造である。ピクチャユニット（picture unit (PU)）は、指定された分類ルールに従い互いに関連付けられた、復号順で連続する、正確に１つのコーディングピクチャを含むＮＡＬユニットのセットである。ＰＵは、ピクチャヘッダ（picture header (PH)）と、コーディングピクチャに対応する１つ以上のＶＣＬＮＡＬユニットとを含んでよい。

【0190】

実施形態では、ＳＰＳ（ＲＢＳＰ）は、参照され、０に等しいTemporalIdを有する少なくとも１つのＡＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0191】

実施形態では、ＳＰＳ（ＲＢＳＰ）は、参照され、ＳＰＳを参照する１つ以上のＰＰＳを含む、ＣＶＳ内で０に等しいTemporalIdを有する少なくとも１つのＡＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0192】

実施形態では、ＳＰＳ（ＲＢＳＰ）は、１つ以上のＰＰＳにより参照され、ＳＰＳを参照する１つ以上のＰＰＳを含む、ＣＶＳ内でＳＰＳＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idを有する少なくとも１つのＰＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0193】

実施形態では、ＳＰＳ（ＲＢＳＰ）は、１つ以上のＰＰＳにより参照され、０に等しいTemporalId及びＳＰＳＮＡＬユニットを参照するＰＰＳＮＡＬユニットの最低のnuh_layer_id値に等しいnuh_layer_idを有する１つ以上のＰＵ内に含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0194】

実施形態では、ＳＰＳ（ＲＢＳＰ）は、１つ以上のＰＰＳにより参照され、０に等しいTemporalId及びＳＰＳを参照する１つ以上のＰＰＳを含む、ＣＶＳ内でＳＰＳＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idを有する少なくとも１つのＰＵに含まれ、又は外部手段を通じて提供され又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0195】

同じ又は別の実施形態では、pps_seq_parameter_set_idは、参照されるＳＰＳのsps_seq_parameter_set_idの値を指定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内のコーディングピクチャにより参照される全部のＰＰＳの中で同じであってよい。

【0196】

同じ又別の実施形態では、ＣＶＳ内で特定の値のsps_seq_parameter_set_idを有する全部のＳＰＳＮＡＬユニットは同じコンテンツを有してよい。

【0197】

同じ又別の実施形態では、nuh_layer_idの値に拘わらず、ＳＰＳＮＡＬユニットは、sps_seq_parameter_set_idの同じ値空間を共有してよい。

【0198】

同じ又別の実施形態では、ＳＰＳＮＡＬユニットのnuh_layer_id値は、ＳＰＳＮＡＬユニットを参照するＰＰＳＮＡＬユニットの最低のnuh_layer_id値に等しくてよい。

【0199】

実施形態では、ｍに等しいnuh_layer_idを有するＳＰＳが、ｎに等しいnuh_layer_idを有する１つ以上のＰＰＳにより参照されるとき、ｍに等しいnuh_layer_idを有するレイヤは、ｎに等しいnuh_layer_idを有するレイヤ、又はｍに等しいnuh_layer_idを有するレイヤの（直接又は間接）参照レイヤと同じであってよい。

【0200】

実施形態では、ＰＰＳ（ＲＢＳＰ）は、参照され、ＰＰＳＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0201】

実施形態では、ＰＰＳ（ＲＢＳＰ）は、参照され、ＰＰＳを参照する１つ以上のＰＨ（又はコーディングスライスＮＡＬユニット）を含む、ＣＶＳ内のＰＰＳＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0202】

実施形態では、ＰＰＳ（ＲＢＳＰ）は、１つ以上のＰＨ（又はコーディングスライスＮＡＬユニット）により参照され、ＰＰＳを参照する１つ以上のＰＨ（又はコーディングスライスＮＡＬユニット）を含む、ＣＶＳ内のＰＰＳＮＡＬユニットを参照するコーディングスライスＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idを有する少なくとも１つのＰＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0203】

実施形態では、ＰＰＳ（ＲＢＳＰ）は、１つ以上のＰＨ（又はコーディングスライスＮＡＬユニット）により参照され、１つ以上のＰＨ（又はコーディングスライスＮＡＬユニット）を含む、ＣＶＳ内のＰＰＳＮＡＬユニットを参照するコーディングスライスＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_id及びＰＰＳＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＰＵに含まれ、又は外部手段を通じて提供され又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。

【0204】

同じ又は別の実施形態では、PH内のph_pic_parameter_set_idは、使用中の参照されるＰＰＳのpps_pic_parameter_set_idの値を指定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内のコーディングピクチャにより参照される全部のＰＰＳの中で同じであってよい。

【0205】

同じ又別の実施形態では、PU内で特定の値のpps_pic_parameter_set_idを有する全部のPPS ＮＡＬユニットは同じコンテンツを有してよい。

【0206】

同じ又別の実施形態では、nuh_layer_idの値に拘わらず、PPS ＮＡＬユニットは、pps_pic_parameter_set_idの同じ値空間を共有してよい。

【0207】

同じ又別の実施形態では、ＰＰＳＮＡＬユニットのnuh_layer_id値は、ＰＰＳＮＡＬユニットを参照するＮＡＬユニットを参照するコーディングスライスＮＡＬユニットの最低のnuh_layer_id値に等しくてよい。

【0208】

実施形態では、ｍに等しいnuh_layer_idを有するPPSが、ｎに等しいnuh_layer_idを有する１つ以上のコーディングスライスＮＡＬユニットにより参照されるとき、ｍに等しいnuh_layer_idを有するレイヤは、ｎに等しいnuh_layer_idを有するレイヤ、又はｍに等しいnuh_layer_idを有するレイヤの（直接又は間接）参照レイヤと同じであってよい。

【0209】

【0210】

【0211】

【0212】

【0213】

【0214】

同じ又別の実施形態では、PU内で特定の値のpps_pic_parameter_set_idを有する全部のPPS ＮＡＬユニットは同じコンテンツを有してよい。

【0215】

同じ又別の実施形態では、nuh_layer_idの値に拘わらず、PPS ＮＡＬユニットは、pps_pic_parameter_set_idの同じ値空間を共有してよい。

【0216】

【0217】

【0218】

出力レイヤは出力される出力レイヤセットのレイヤを示す。出力レイヤセット（output layer set (OLS)）は、指定されたレイヤのセットで構成されるレイヤセットを示し、レイヤセットの中の１つ以上のレイヤは、出力レイヤとして指定される。出力レイヤセット（ＯＬＳ）レイヤインデックスは、ＯＬＳ内のレイヤのリストへの、ＯＬＳ内のレイヤのインデックスである。

【0219】

サブレイヤは、特定の値のTemporalId変数及び関連付けられた非ＶＣＬＮＡＬユニットを有するＶＣＬＮＡＬユニットで構成される時間的にスケーラブルなビットストリームの時間的にスケーラブルなレイヤを示す。サブレイヤ表現は、特定のサブレイヤ及び下位のサブレイヤのＮＡＬユニットで構成されるビットストリームのサブセットを示す。

【0220】

ＶＰＳＲＢＳＰは、参照され、０に等しいTemporalIdを有する少なくとも１つのＡＵに含まれ、又は外部手段を通じて提供される前に、復号処理に利用可能であってよい。ＣＶＳ内で特定の値のvps_video_parameter_set_idを有する全部のＶＰＳＮＡＬユニットは同じコンテンツを有してよい。図２２は、ＶＰＳＲＢＳＰの例を示す。

【0221】

vps_video_parameter_set_idは、他のシンタックス要素による参照のためにＶＰＳの識別子を提供する。vps_video_parameter_set_idの値は０より大きくてよい。

【0222】

vps_max_sublayers_minus１に１を加えたものは、ＶＰＳを参照する各ＣＶＳ内に存在し得る時間的サブレイヤの最大数を指定する。

【0223】

vps_max_sublayers_minus１に１を加えたものは、ＶＰＳを参照する各ＣＶＳ内に存在し得る時間的サブレイヤの最大数を指定する。vps_max_sublayers_minus１の値は、両端を含む０～６の範囲であってよい。

【0224】

１に等しいvps_all_layers_same_num_sublayers_flagは、時間的サブレイヤの数がＶＰＳを参照する各ＣＶＳ内の全部のレイヤについて同じであることを指定する。０に等しいvps_all_layers_same_num_sublayers_flagは、ＶＰＳを参照する各ＣＶＳ内のレイヤが、同じ数の時間的サブレイヤを有してよいか又はそうでないかを指定する。存在しないとき、vps_all_layers_same_num_sublayers_flagの値は１に等しいと推定される。

【0225】

１に等しいvps_all_independent_layers_flagは、ＣＶＳ内の全部のレイヤが、インターレイヤ予測を使用しないで独立にコーディングされることを指定する。０に等しいvps_all_independent_layers_flagは、ＣＶＳ内のレイヤのうちの１つ以上がインターレイヤ予測を使用してよいことを指定する。存在しないとき、vps_all_independent_layers_flagの値は１に等しいと推定される。

【0226】

vps_layer_id[i]は、ｉ番目のレイヤのnuh_layer_id値を指定する。ｍ及びｎの任意の２つの負ではない整数値について、ｍがｎより小さいとき、vps_layer_id[m]の値はvps_layer_id[n]より小さくてよい。

【0227】

１に等しいvps_independent_layer_flag[i]は、インデックスｉを有するレイヤがインターレイヤ予測を使用しないことを指定する。０に等しいvps_independent_layer_flag[i]は、インデックスｉを有するレイヤが、インターレイヤ予測を使用してよいこと、及び両端を含む０～ｉ－１の範囲内のシンタックス要素vps_direct_ref_layer_flag[i][j]がＶＰＳ内に存在することを指定する。存在しないとき、vps_independent_layer_flag[i]の値は１に等しいと推定される。

【0228】

０に等しいvps_direct_ref_layer_flag[i][j]は、インデックスｊを有するレイヤが、インデックスｉを有するレイヤの直接参照レイヤではないことを指定する。１に等しいvps_direct_ref_layer_flag[i][j]は、インデックスｊを有するレイヤが、インデックスｉを有するレイヤの直接参照レイヤであることを指定する。両端を含む０～vps_max_layers_minus１の範囲内のｉ及びｊについてvps_direct_ref_layer_flag[i][j]が存在しないとき、それは０に等しいと推定される。vps_independent_layer_flag[i]が０に等しいとき、両端を含む０～ｉ－１の範囲内のｊの少なくとも１つの値が存在してよく、その結果、vps_direct_ref_layer_flag[i][j]の値は１に等しい。

【0229】

変数NumDirectRefLayers[i]、DirectRefLayerIdx[i][d]、NumRefLayers[i]、RefLayerIdx[i][r]、及びLayerUsedAsRefLayerFlag[j]は、以下のように導出される。

【数1】

【0230】

vps_layer_id[i]に等しいnuh_layer_idを有するレイヤのレイヤインデックスを指定する変数GeneralLayerIdx[i]は、以下のように導出される。

【数2】

【0231】

両端を含む０～vps_max_layers_minus１の範囲内のｉ及びｊの両方の任意の２つの異なる値について、dependencyFlag[i][j]が１に等しいとき、ｉ番目のレイヤに適用されるchroma_format_idc及びbit_depth_minus８の値が、それぞれｊ番目のレイヤに適用されるchroma_format_idc及びbit_depth_minus８の値に等しくなり得ることがビットストリーム規格適合性の要件である。

【0232】

１に等しいmax_tid_ref_present_flag[i]は、シンタックス要素max_tid_il_ref_pics_plus１[i]が存在することを指定する。０に等しいmax_tid_ref_present_flag[i]は、シンタックス要素max_tid_il_ref_pics_plus１[i]が存在しないことを指定する。

【0233】

０に等しいmax_tid_il_ref_pics_plus１[i]は、インターレイヤ予測が、ｉ番目のレイヤの非ＩＲＡＰピクチャにより使用されないことを指定する。０より大きいmax_tid_il_ref_pics_plus１[i]は、ｉ番目のレイヤのピクチャを復号するために、max_tid_il_ref_pics_plus１[i]－１より大きいTemporalIdを有するピクチャが、ＩＬＲＰとして使用されないことを指定する。存在しないとき、max_tid_il_ref_pics_plus１[i]の値は７に等しいと推定される。

【0234】

１に等しいeach_layer_is_an_ols_flagは、各ＯＬＳが１つのレイヤのみを含み、ＶＰＳを参照するＣＶＳ内の各レイヤ自体が、含まれる単一のレイヤが出力レイヤのみであるＯＬＳであることを指定する。０に等しいeach_layer_is_an_ols_flagは、１つより多くのレイヤを含んでよい。vps_max_layers_minus１が０に等しい場合、each_layer_is_an_ols_flagの値は１に等しいと推定される。その他の場合、vps_all_independent_layers_flagが０に等しいとき、each_layer_is_an_ols_flagの値は０に等しいと推定される。

【0235】

０に等しいols_mode_idcは、ＶＰＳにより指定されるＯＬＳの合計数がvps_max_layers_minus１+１に等く、ｉ番目のＯＬＳは両端を含む０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳ内の最上位レイヤのみが出力されることを指定する。

【0236】

１に等しいols_mode_idcは、ＶＰＳにより指定されるＯＬＳの合計数がvps_max_layers_minus１+１に等く、ｉ番目のＯＬＳは両端を含む０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳ内の全部のレイヤが出力されることを指定する。

【0237】

２に等しいols_mode_idcは、ＶＰＳにより指定されるＯＬＳの合計数が明示的にシグナリングされ、各ＯＬＳにうちて、出力レイヤが明示的にシグナリングされ、他のレイヤはＯＬＳの出力レイヤの直接又は間接参照レイヤであるレイヤであることを指定する。

【0238】

ols_mode_idcの値は、両端を含む０～２の範囲であってよい。値３のols_mode_idcは、ＩＴＵ－Ｔ／ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。

【0239】

vps_all_independent_layers_flagが１に等しく、each_layer_is_an_ols_flagが０に等しいとき、ols_mode_idcの値は２に等しいと推定される。

【0240】

num_output_layer_sets_minus１に１を加えたものは、ols_mode_idcが２に等しいとき、ＶＰＳにより指定されるＯＬＳの合計数を指定する。

【0241】

ＶＰＳにより指定されるＰＬＳの合計数を指定する変数TotalNumOlssは、以下のように導出される。

【数3】

【0242】

１に等しいols_output_layer_flag[i][j]は、ols_mode_idcが２に等しいとき、vps_layer_id[j]に等しいnuh_layer_idを有するレイヤがｉ番目のＯＬＳの出力レイヤであることを指定する。０に等しいols_output_layer_flag[i][j]は、ols_mode_idcが２に等しいとき、vps_layer_id[j]に等しいnuh_layer_idを有するレイヤがｉ番目のＯＬＳの出力レイヤではないことを指定する。

【0243】

ｉ番目のＯＬＳ内の出力レイヤの数を指定する変数NumOutputLayersInOls[i]、ｉ番目のＯＬＳ内のｊ番目のレイヤの中のサブレイヤの数を指定する変数NumSubLayersInLayerInOLS[i][j]、ｉ番目のＯＬＳの中のｊ番目の出力レイヤのnuh_layer_idを指定する変数OutputLayerIdInOls[i][j]、及び、ｋ番目のレイヤが少なくとも１つのＯＬＳ内の出力レイヤとして使用されるかどうかを指定する変数LayerUsedAsOutputLayerFlag[k]は、以下のように導出される

【数4】

【0244】

両端を含む０～vps_max_layers_minus１の範囲のｉの各値について、LayerUsedAsRefLayerFlag[i]及びLayerUsedAsOutputLayerFlag[i]の値は、両方とも０に等しくなくてよい。言い換えると、少なくとも１つのＯＬＳの出力レイヤでも任意の他のレイヤの直接参照レイヤでもないレイヤは存在しなくてよい。

【0245】

各ＯＬＳについて、出力レイヤである少なくとも１つのレイヤが存在してよい。言い換えると、両端を含む０～TotalNumOlss－１の範囲のｉの任意の値について、NumOutputLayersInOls[i]の値は１以上であってよい。

【0246】

ｉ番目のＯＬＳ内のレイヤの数を指定する変数NumLayersInOls[i]、及びｉ番目のＯＬＳ内のｊ番目のレイヤのnuh_layer_id値を指定する変数LayerIdInOls[i][j]は、以下のように導出される。

【数5】

【0247】

LayerIdInOls[i][j]に等しいnuh_layer_idequalを有するレイヤのＯＬＳレイヤインデックスを指定する変数OlsLayerIdx[i][j]は、以下のように導出される。

【数6】

【0248】

各ＯＬＳ内の最下位レイヤは独立レイヤであってよい。言い換えると、両端を含む０～TotalNumOlss－１の範囲のｉの各々について、vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[i][０]]]の値は１に等しくてよい。

【0249】

各レイヤは、ＶＰＳにより指定された少なくとも１つのＯＬＳに含まれよい。言い換えると、両端を含む０～vps_max_layers_minus１の範囲のｋについてvps_layer_id[k]のうちの１つに等しい特定の値のnuh_layer_idnuhLayerIdを有する各レイヤについて、値ｉ及びｊの少なくとも１つのペアが存在してよい。ここで、ｉは両端を含む０～TotalNumOlss－１の範囲にあり、ｊは端を含むNumLayersInOls[i]－１の範囲にあり、その結果、LayerIdInOls[i][j]の値はnuhLayerIdに等しい。

【0250】

実施形態では、コーディングビデオシーケンス内の任意のＶＣＬＮＡＬユニットのtemporalIdの値は、ＶＣＬＮＡＬユニットにより参照されるＶＰＳ内のvps_max_sublayers_minus１より大きくなくてよい。

【0251】

同じ又別の実施形態では、max_tid_il_ref_pics_plus１[i]は以下のセマンティクスを有する：０に等しいmax_tid_il_ref_pics_plus１[i]は、ｉ番目のレイヤの非ＩＲＡＰピクチャによりインターレイヤ予測が使用されないことを指定する。０より大きいmax_tid_il_ref_pics_plus１[i]は、ｉ番目のレイヤのピクチャを復号するために、max_tid_il_ref_pics_plus１[i]－１より大きいTemporalIdを有するピクチャが、ＩＬＲＰとして使用されないことを指定する。存在しないとき、max_tid_il_ref_pics_plus１[i]の値はvps_max_sublayers_minus１+１に等しいと推定される。

【0252】

同じ又別の実施形態では、max_tid_il_ref_pics_plus１[i]はvps_max_sublayers_minus１+１より大きくなくてよい。

【0253】

実施形態では、サブレイヤ毎の出力レイヤセットは、独立レイヤについて導出されなくてよい。従って、max_tid_il_ref_pics_plus１及びlayerIncludedInOlsFlagは、独立レイヤについて導出されなくてよい。

【0254】

同じ又別の実施形態では、ｉ番目のＯＬＳ内の出力レイヤの数を指定する変数NumOutputLayersInOls[i]、ｉ番目のＯＬＳ内のｊ番目のレイヤの中のサブレイヤの数を指定する変数NumSubLayersInLayerInOLS[i][j]、ｉ番目のＯＬＳの中のｊ番目の出力レイヤのnuh_layer_idを指定する変数OutputLayerIdInOls[i][j]、及び、ｋ番目のレイヤが少なくとも１つのＯＬＳ内の出力レイヤとして使用されるかどうかを指定する変数LayerUsedAsOutputLayerFlag[k]は、以下のように導出される。

【数7】

【0255】

上述の適応型解像度パラメータをシグナリングする技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装でき、１つ以上のコンピュータ可読媒体に物理的に格納できる。例えば、図７は、本開示の主題の特定の実施形態を実装するのに適するコンピュータシステム７００を示す。

【0256】

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク等のメカニズムにより処理されて、コンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）、等により直接又はインタープリット、マイクロコード実行、等を通じて実行可能な命令を含むコードを生成し得る、任意の適切な機械コード又はコンピュータ言語を用いてコーディングできる。

【0257】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、等を含む種々のコンピュータ又はそのコンポーネントで実行できる。

【0258】

コンピュータシステム７００の図７に示すコンポーネントは、本来例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に対するようないかなる限定も示唆しない。さらに、コンポーネントの構成も、コンピュータシステム７００の例示的な実施形態に示されたコンポーネントのうちのいずれか又は組み合わせに関連する任意の依存関係又は要件を有すると解釈されるべきではない。

【0259】

コンピュータシステム７００は、特定のヒューマンインタフェース入力装置を含んでよい。このようなヒューマンインタフェース入力装置は、例えば感覚入力（例えば、キーストローク、スワイプ、データグラブ動作）、音声入力（例えば、音声、クラッピング）、視覚的入力（例えば、ジェスチャ）、嗅覚入力（示されない）を通じた１人以上の人間のユーザによる入力に応答してよい。ヒューマンインタフェース装置は、必ずしも人間による意識的入力に直接関連する必要のない特定の媒体、例えば音声（例えば、会話、音楽、環境音）、画像（例えば、スキャンされた画像、デジタルカメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、３次元ビデオ、立体ビデオを含む）をキャプチャするためにも使用できる。

【0260】

入力ヒューマンインタフェース装置は、キーボード７０１、マウス７０２、トラックパッド７０３、タッチスクリーン７１０、データグラブ７０４、ジョイスティック７０５、マイクロフォン７０６、スキャナ７０７、カメラ７０８、のうちの１つ以上を含んでよい（そのうちの１つのみが示される）。

【0261】

コンピュータシステム７００は、特定のヒューマンインタフェース出力装置も含んでよい。このようなヒューマンインタフェース出力装置は、例えば感覚出力、音声、光、及び匂い／味を通じて１人以上の人間のユーザの感覚を刺激してよい。このようなヒューマンインタフェース出力装置は、感覚出力装置を含んでよい（例えば、タッチスクリーン７１０、データグラブ７０４、又はジョイスティック７０５による感覚フィードバック、しかし入力装置として機能しない感覚フィードバック装置も存在し得る）、音声出力装置（例えば、スピーカ７０９、ヘッドフォン（図示しない）、視覚的出力装置（例えば、スクリーン７１０、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それぞれタッチスクリーン入力能力を有し又は有さず、それぞれ感覚フィードバック能力を有し又は有さず、これらのうちの幾つかは例えば立体出力、仮想現実眼鏡（図示しない）、ホログラフィックディスプレイ、及び発煙剤タンク（図示しない）、及びプリンタ（図示しない）のような手段を通じて２次元視覚出力又は３次元以上の出力を出力可能であってよい））。

【0262】

コンピュータシステム７００は、人間のアクセス可能な記憶装置、及び、例えばCD/DVD等の媒体７２１を備えるCD/DVDROM/RW７２０のような光学媒体、サムドライブ７２２、取り外し可能ハードドライブ又は個体状態ドライブ７２３、テープ及びフロッピディスク（図示しない）のようなレガシー磁気媒体、セキュリティドングル（図示しない）等のような専用ROM/ASIC/PLDに基づく装置のような関連する媒体も含み得る。

【0263】

当業者は、本開示の主題と関連して使用される用語「コンピュータ可読媒体」が伝送媒体、搬送波、又は他の一時的信号を包含しないことも理解すべきである。

【0264】

コンピュータシステム７００は、１つ以上の通信ネットワークへのインタフェースも含み得る。ネットワークは、例えば無線、有線、光であり得る。ネットワークへは、更に、ローカル、広域、都市域、車両及び産業、リアルタイム、耐遅延性、等であり得る。ネットワークの例は、イーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＥＴ等を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業、等を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺機器バス（７４９）（例えば、コンピュータシステム７００のＵＳＢポート）に取り付けられる外部ネットワークインタフェースを必要とする。他のものは、一般に、後述するようなシステムバスへの取り付けによりコンピュータシステム７００のコアに統合される（例えば、イーサネットインタフェースをＰＣコンピュータシステムへ、又はセルラネットワークインタフェースをスマートフォンコンピュータシステムへ）。これらのネットワークを用いて、コンピュータシステム７００は、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、放送ＴＶ）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓ装置へのＣＡＮｂｕｓ）、又は例えばローカル又は広域デジタルネットワークを用いて他のコンピュータシステムへの双方向であり得る。特定のプロトコル及びプロトコルスタックが、上述のネットワーク及びネットワークインタフェースの各々で使用され得る。

【0265】

前述のヒューマンインタフェース装置、人間のアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム７００のコア７４０に取り付け可能である。

【0266】

コア７４０は、１つ以上の中央処理ユニット（CPU）７４１、グラフィック処理ユニット（GPU）７４２、FPGAの形式の専用プログラマブル処理ユニット７４３、特定タスクのためのハードウェアアクセラレータ７４４、等を含み得る。これらの装置は、読み出し専用メモリ（ＲＯＭ）７４５、ランダムアクセスメモリ７４６、内部のユーザアクセス不可能なハードドライブ、ＳＳＤ、等のような内蔵大容量記憶装置７４７と共に、システムバス７４８を通じて接続されてよい。幾つかのコンピュータシステムでは、追加CPU、GPU、等による拡張を可能にするために、システムバス７４８は、１つ以上の物理プラグの形式でアクセス可能である。周辺機器は、コアのシステムバス７４８に直接に、又は周辺機器バス７４９を通じて、取り付け可能である。周辺機器バスのアーキテクチャは、ＰＣＩ、ＵＳＢ、等を含む。

【0267】

CPU７４１、GPU７４２、FPGA７４３、及びアクセラレータ７４４は、結合されて前述のコンピュータコードを生成可能な特定の命令を実行できる。該コンピュータコードは、ROM７４５又はRAM７４６に格納できる。一時的データもRAM７４６に格納でき、一方で、永久的データは例えば内蔵大容量記憶装置７４７に格納できる。メモリ装置のうちのいずれかへの高速記憶及び読み出しは１つ以上のCPU７４１、GPU７４２、大容量記憶装置７４７、ROM７４５、RAM７４６等に密接に関連付けられ得るキャッシュメモリの使用を通じて可能にできる。

【0268】

コンピュータ可読媒体は、種々のコンピュータにより実施される動作を実行するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構成されたものであり得、又は、コンピュータソフトウェア分野の当業者によく知られ利用可能な種類のものであり得る。

【0269】

例として及び限定ではなく、アーキテクチャを有するコンピュータシステム７００、及び具体的にはコア７４０は、プロセッサ（CPU、GPU、FPGA、アクセラレータ、等を含む）が１つ以上の有形コンピュータ可読媒体内に具現化されたソフトウェアを実行した結果として、機能を提供できる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置７４７又はROM７４５のような非一時的特性のコア７４０の特定の記憶装置、及び上述のようなユーザアクセス可能な大容量記憶装置と関連付けられた媒体であり得る。本開示の種々の実施形態を実装するソフトウェアは、このような装置に格納されコア７４０により実行できる。コンピュータ可読媒体は、特定の必要に従い、１つ以上のメモリ装置又はチップを含み得る。ソフトウェアは、コア７４０及び具体的にはその中のプロセッサ（CPU、GPU、FPGA、等を含む）に、ソフトウェアにより定義された処理に従うRAM７４６に格納されたデータ構造の定義及び該データ構造の変更を含む、ここに記載した特定の処理又は特定の処理の特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、ここに記載の特定の処理又は特定の処理の特定の部分を実行するためにソフトウェアと一緒に又はそれに代わって動作可能な論理ハードワイヤド又は他の回路内の実装（例えば、アクセラレータ７４４）の結果として機能を提供できる。ソフトウェアへの言及は、ロジックを含み、適切な場合にはその逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためにソフトウェアを格納する（集積回路（IC）のような）回路、実行のためにロジックを実装する回路、又はそれらの両方を含み得る。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを含む。

【0270】

本開示は、幾つかの例示的な実施形態を記載したが、代替、置換、及び種々の代用の均等物が存在し、それらは本開示の範囲に包含される。当業者に明らかなことに、ここに明示的に示され又は説明されないが、本開示の原理を実施し、したがって、本開示の精神及び範囲に含まれる多数のシステム及び方法を考案可能である。

【図1】