特許 7719076 サブピクチャに関連するビデオコーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-28

(45)【発行日】2025-08-05

(54)【発明の名称】サブピクチャに関連するビデオコーディング

(51)【国際特許分類】

   H04N 19/33 20140101AFI20250729BHJP

   H04N 19/70 20140101ALI20250729BHJP

【ＦＩ】

H04N19/33

H04N19/70

【請求項の数】 12

(21)【出願番号】P 2022536874

(86)(22)【出願日】2020-12-18

(65)【公表番号】

(43)【公表日】2023-02-20

(86)【国際出願番号】 EP2020086937

(87)【国際公開番号】W WO2021123101

(87)【国際公開日】2021-06-24

【審査請求日】2023-12-13

(31)【優先権主張番号】19218973.6

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】サンチェス デ ラ フエンテ ヤゴ

(72)【発明者】

【氏名】ズーリング カルステン

(72)【発明者】

【氏名】ヘルゲ コーネリアス

(72)【発明者】

【氏名】ツェル トーマス

(72)【発明者】

【氏名】スクピン ロベルト

(72)【発明者】

【氏名】ウィーガンド トーマス

【審査官】大桃 由紀雄

(56)【参考文献】

【文献】Adrian Browne et al.，Slice/tile level CABAC zero-word constraints，JVET-O0517，2019年07月04日

【文献】Ye-Kui Wang et al.，AHG12: Sub-picture based motion-constrained independent regions，JVET-O0141-v2，2019年06月25日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

複数のサブピクチャを備える、ビデオのピクチャをデータストリームに符号化するためのエンコーダであって、
前記ピクチャの符号化は、前記複数のサブピクチャのうちの第１のサブピクチャを、前記第１のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記データストリームに符号化するように構成された、少なくとも１つのハードウェアプロセッサを備え、前記第１のサブピクチャの符号化は、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagに値１を符号化することと、
前記第１のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいと判断することであって、RawMinCuBits＝MinCbSizeY×MinCbSizeY×(BitDepth＋2×BitDepth／(SubWidthC×SubHeightC))である、判断することと、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagの値が１であることと、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいとの判断と、に基づいて、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるまで１以上のcabac_zero_wordsを前記データストリームに追加することと、
を備える、エンコーダ。

【請求項2】

前記少なくとも１つのハードウェアプロセッサは、前記複数のサブピクチャのうちの第２のサブピクチャを、前記第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記データストリームに符号化するようにさらに構成された、請求項１に記載のエンコーダ。

【請求項3】

前記少なくとも１つのハードウェアプロセッサは、前記複数のサブピクチャのうちの第２のサブピクチャを、前記第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記データストリームに符号化するようにさらに構成された、請求項１に記載のエンコーダ。

【請求項4】

前記第２のサブピクチャの符号化は、前記第２のサブピクチャに関連付けられたsubpic_treated_as_pic_flagに対して値１を符号化することを備える、請求項３に記載のエンコーダ。

【請求項5】

前記第２のサブピクチャの符号化は、
前記第２のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいと判断することであって、RawMinCuBits＝MinCbSizeY×MinCbSizeY×(BitDepth＋2×BitDepth／(SubWidthC×SubHeightC))である、判断することと、
前記第２のサブピクチャに関連付けられたsubpic_treated_as_pic_flagの値が１であり、前記第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいとの判断に基づいて、前記第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるまで１以上のcabac_zero_wordsをデータストリームに追加することと、
を備える、請求項４に記載のエンコーダ。

【請求項6】

複数のサブピクチャを備えるピクチャをビデオビットストリームから復号するためのデコーダであって、前記デコーダは、
前記複数のサブピクチャの第１のサブピクチャを、BinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋(RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記ビデオビットストリームから復号するように構成された少なくとも１つのハードウェアプロセッサを備え、前記第１のサブピクチャの復号は、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagに対して値１を復号することと、
前記第１のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいと判断することであって、RawMinCuBits＝MinCbSizeY×MinCbSizeY×(BitDepth＋2×BitDepth／(SubWidthC×SubHeightC))である、判断することと、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagの値が１であることと、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいとの判断と、に基づいて、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるまで１以上のcabac_zero_wordsを挿入することと、
を備える、デコーダ。

【請求項7】

前記複数のサブピクチャは、第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記第２のサブピクチャを備える、請求項６に記載のデコーダ。

【請求項8】

複数のサブピクチャを備える、ビデオのピクチャをデータストリームに符号化するための方法であって、
前記複数のサブピクチャのうちの第１のサブピクチャを、前記第１のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記データストリームに符号化することを備え、前記第１のサブピクチャの符号化は、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagに値１を符号化することと、
前記第１のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいと判断することであって、RawMinCuBits＝MinCbSizeY×MinCbSizeY×(BitDepth＋2×BitDepth／(SubWidthC×SubHeightC))である、判断することと、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagの値が１であることと、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいとの判断と、に基づいて、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるまで１以上のcabac_zero_wordsを前記データストリームに追加することと、を備える、
方法。

【請求項9】

前記ビデオの前記ピクチャを前記データストリームに符号化することは、前記複数のサブピクチャのうちの第２のサブピクチャを、前記第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記データストリームに符号化することを備える、請求項８に記載の方法。

【請求項10】

ビデオビットストリームから複数のサブピクチャを備えるピクチャを復号するための方法であって、
前記複数のサブピクチャの第１のサブピクチャを、BinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋(RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記ビデオビットストリームから復号することを備え、前記第１のサブピクチャの復号は、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagに対して値１を復号することと、
前記第１のサブピクチャのBinCountsInNalUnitsが、（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいと判断することであって、RawMinCuBits＝MinCbSizeY×MinCbSizeY×(BitDepth＋2×BitDepth／(SubWidthC×SubHeightC))である、判断することと、
前記第１のサブピクチャに関連付けられたsubpic_treated_as_pic_flagの値が１であることと、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32より大きいとの判断と、に基づいて、前記第１のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるまで１以上のcabac_zero_wordsを挿入することと、
を備える、方法。

【請求項11】

前記複数のサブピクチャは、第２のサブピクチャのBinCountsInNalUnitsが（32÷3）×NumBytesInVclNalUnits＋（RawMinCuBits×PicSizeInMinCbsY）÷32以下となるように前記第２のサブピクチャを備える、請求項１０に記載の方法。

【請求項12】

コンピュータ上で実行されると、請求項８から１１のいずれか一項に記載の方法を実行するように構成されたプログラムコードが格納された、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、ビデオコーディングの概念、特にサブピクチャに関する。

【0002】

複数のコード化されたビデオビットストリームまたはデータストリームが共同で復号される特定のビデオベースのアプリケーションが存在する。例えば共同ビットストリームにマージされ、複数の参加者からのコード化されたビデオストリームが単一のエンドポイントで処理されるマルチパーティ会議などの単一のデコーダ、または例えばＶＲ（仮想現実）のアプリケーションでの３６０度のタイルビデオ再生用のタイルベースのストリーミングに供給される。

【0003】

高効率ビデオコーディング（ＨＥＶＣ）の場合、モーション制約タイルセットが定義され、モーションベクトルは、現在のタイルセット（またはタイル）とは異なるタイルセット（またはタイル）を参照しないように制約された。したがって、問題のタイルセット（またはタイル）は、復号の結果に影響を与えることなく、ビットストリームから抽出するか、別のビットストリームにマージすることができ、例えば復号されたサンプルは、問題のタイルセット（またはタイル）が単独で復号されるか、各画像に対してより多くのタイルセット（またはタイル）を有するビットストリームの一部として復号されるかに関係なく、完全に一致する。

【0004】

後者では、そのような技術が役立つ３６０度ビデオの例が示されている。ビデオは空間的にセグメント化され、各空間セグメントは、図１に示すように、さまざまな空間解像度の複数の表現で、ストリーミングするクライアントに提供される。この図は、２つの解像度で６×４の空間セグメントに分割された３６０度のビデオを投影したキューブマップを示している。簡単にするために、これらの独立した復号可能な空間セグメントは、この説明ではタイルと呼ばれる。

【0005】

ユーザは通常、９０×９０度の視野を表す青の中実の視野の境界を介して、図２の左側に示されているように、最新のヘッドマウントディスプレイを使用する場合、３６０度ビデオ全体を構成するタイルのサブセットのみを表示する。図２で緑色で網掛けされている対応するタイルは、最高の解像度でダウンロードされる。

【0006】

ただし、クライアントのアプリケーションはまた、ユーザの突然の向きの変更を処理するために、図２で赤で網掛けされている現在のビューポートの外側にある他のタイルの表現をダウンロードして復号する必要がある。したがって、このようなアプリケーションのクライアントは、現在のビューポートを最高の解像度でカバーするタイルと、現在のビューポートの外側のタイルを比較的低い解像度でダウンロードするが、タイルの解像度の選択は常にユーザの向きに合わせて調整される。クライアント側でダウンロードした後、ダウンロードしたタイルを単一のビットストリームにマージして単一のデコーダで処理することは、限られた計算リソースと電力リソースを備える一般的なモバイルデバイスの制約に対処する手段である。図３は、上記の例のジョイントビットストリームで可能なタイルの配置を示している。ジョイントビットストリームを生成するためのマージ操作は、圧縮ドメイン処理を介して実行する必要がある、例えばトランスコーディングによるピクセルドメインでの処理を回避する。

【0007】

ＨＥＶＣビットストリームは主にインターコーディングツールに関係するいくつかの制約に従って符号化しているため、マージプロセスを実行できる、例えば上記のようにモーションベクトルを制約する。

【0008】

新たに登場したコーデックＶＶＣは、同じ目標を達成するためのより効果的な他の手段、つまりサブピクチャを提供する。サブピクチャを使用すると、全体画像よりも小さい領域を、境界が画像であるかのように扱われるという意味で、画像と同様に扱うことができる、例えば運動補償のために境界拡張を適用し、例えば運動ベクトルが領域の外側を指している場合、領域の最後のサンプル（交差する境界）が繰り返され、画像の境界で行われるのとまったく同じように、予測に使用される参照ブロックにサンプルが生成される。これにより、モーションベクトルはＨＥＶＣ ＭＣＴＳのようにエンコーダで制約されず、対応する効率が低下する。

【0009】

新しいＶＶＣコーディング標準は、マルチレイヤサポート用のメインプロファイルでスケーラブルなコーディングツールを提供することも想定している。したがって、上記のアプリケーションシナリオのさらに効率的な構成は、低解像度のコンテンツ全体をより少ない頻度のＲＡＰで符号化することによって実現できる。ただし、これには、常にベースレイヤに低解像度のコンテンツが含まれ、拡張レイヤに幾ばくか高解像度のコンテンツが含まれるレイヤコーディング構造を使用する必要がある。階層化されたコーディング構造を図１に示す。

【0010】

ただし、ビットストリームの単一領域の抽出を可能にするいくつかのユースケースには依然として関心があり得る。例えば、エンドツーエンドの遅れが高次のユーザは、３６０度のビデオ全体を低解像度（すべてのタイル）でダウンロードするが、エンドツーエンドの遅れが低次のユーザは、低解像度コンテンツのタイルを少なくダウンロードする、例えばダウンロードする高解像度タイルと同じ数である。

【0011】

したがって、階層化されたサブピクチャの抽出は、ビデオコーディングの標準によって適切に処理される必要がある。これには、デコーダ側またはエクストラクター側で適切な知識を保証する追加のシグナリングが必要である。

【0012】

したがって、本発明の目的は、現在利用可能なメカニズムを改善するこの追加のシグナリングを提供することである。

【0013】

本願の独立請求項の主題によってこの目的が達成される。

【0014】

本願の第１の態様によれば、データストリームは、ビデオの複数の画像に復号され、データストリームは、少なくとも２つのレイヤに複数の画像を含む。この場合、少なくとも１つのレイヤの画像は、所定のレイヤ固有の数のサブピクチャ、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む。その中の表示は、言い換えれば、データストリームから復号または解析し、異なるレイヤの対応するサブピクチャまたは対応する画像の境界の少なくとも１つが、互いに一直線化しているという表示を解釈する。

【0015】

本願の第２の態様によれば、一定のビットレートのデータストリームが処理され、複数の画像のそれぞれが所定の数のサブピクチャに分割される方法で、中に符号化された前記複数の画像を有し、各サブピクチャは、運動補償のための境界拡張の境界を含む。サブピクチャデータストリームは、少なくとも１つのサブピクチャのデータストリームに含まれるダミーデータを保持すること、及び抽出されたデータストリームが関係しない別のサブピクチャのデータストリームに含まれるダミーデータを削除することによって、一定のビットレートで少なくとも１つのサブピクチャに関連するデータストリームから生成する。

【0016】

本発明の第３の態様によれば、サブピクチャ抽出が、複数のレイヤに符号化されたビデオの複数の画像を有するデータストリームに対して実行され、この場合、すべてのレイヤの複数の画像のそれぞれが所定の数のサブピクチャに分割され、各サブピクチャは運動補償のための境界拡張のための境界を含む。サブピクチャ抽出は、１つまたは複数のサブピクチャに対応しないデータストリームのＮＡＬユニットをドロップすること、及びパラメータセット及び／またはピクチャヘッダを書き換えることによって、関心のある１つまたは複数のサブピクチャに関連する抽出されたデータストリームへデータストリームに対して実行される。

【0017】

本発明の第４の態様によれば、ビデオの複数の画像がデータストリームに符号化され、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む。複数の画像は、スライスの単位で符号化され、スライスのスライスヘッダに書き込まれ、第１の構文要素及びサブピクチャ識別情報パラメータがあり、第１の構文要素及びサブピクチャ識別情報パラメータは、１ずつ増加し、ビットで区切られ、１に設定され、スライスの少なくとも１つのスライスヘッダでデータストリームに書き込まれる。

【0018】

本発明の第５の態様によれば、ビデオの複数の画像がデータストリームに符号化され、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む。複数の画像がスライスの単位で符号化され、スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータが書き込まれる。その中で、第１の構文要素及びサブピクチャ識別情報パラメータがデータストリームに書き込まれるので、第１の構文要素は第１のビットの長さで書き込まれ、サブピクチャ識別情報パラメータは第２のビットの長さで書き込まれ、第１の構文要素はサブピクチャ識別情報パラメータに先行し、第１の構文要素が１つ増加したデータストリームに書き込まれるように、またサブピクチャ識別情報パラメータが特定の値だけ増加したデータストリームに書き込まれ、その後に少しで続き、１に設定するようにする。

【0019】

特定の値は、第１のビットの長さと第２のビットの長さの合計が３１ビットより小さいかどうかをチェックし、第１のビットの長さと第２のビットの長さの合計が３１ビットより小さい場合は、特定の値を値１に設定すること、また第１及び第２のビットの長さの合計が３１ビット以上の場合は、特定の値を値４に設定することに決定される。

【0020】

本発明の第６の態様によれば、ビデオの複数の画像がデータストリームに符号化され、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む。各サブピクチャは、コンテキスト適応型バイナリ算術コーディングを使用して符号化され、この場合、ビデオエンコーダは、サブピクチャのいずれかが所定ビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライスの終わりに少なくとも１つのサブピクチャのデータストリームを提供するように構成される。

【0021】

上記のすべての態様は、符号化または復号に限定されず、符号化及び復号のそれぞれの他の態様は、同じ原理に基づいている。本願の前述の態様に関して、すべての態様などの前述の態様の２つ以上がビデオコーデックに同時に実装されるように、同じものを組み合わせることができることに留意されたい。

【0022】

本願の好ましい実施形態が、図に関して以下に説明される。

【図面の簡単な説明】

【0023】

【図1】２つの解像度で６ｘ４のタイルに並べられた、立方体地図投影法の３６０度のビデオを示している。

【図2】３６０度ビデオストリーミングのユーザビューポートとタイルの選択を示している。

【図3】マージ操作後のジョイントビットストリームにおける結果として生じるタイル配置（パッキング）を示している。

【図4】スケーラブルなサブピクチャベースのビットストリームを示している。

【図5】例示的な構文要素を示す。

【図6】例示的な構文要素を示す。

【図7】例示的な構文要素を示す。

【図8】例示的な構文要素を示す。

【図9】例示的な構文要素を示す。

【図10】例示的な構文要素を示す。

【図11】例示的な構文要素を示す。

【図12】サブピクチャに分割された異なる層の画像を示している。

【図13】下位レイヤと上位レイヤの間で一直線化された境界である境界と、下位レイヤで対応がない上位レイヤの境界を示している。

【図14】例示的な構文要素を示す。

【図15】高解像度層ではなく低解像度層で提供される例示的な関心領域（ＲｏＩ）を示している。

【図16】例示的なレイヤ及びサブピクチャ構成を示す。

【図17】例示的な構文要素を示す。

【図18】例示的な構文要素を示す。

【図19】サブピクチャ抽出のために、サブピクチャがダミーデータで埋められている、一定のビットレートを有するデータストリームを示す。

【図20】サブピクチャ抽出のために、サブピクチャがダミーデータで埋められている、一定のビットレートを有するデータストリームを示す。

【図21】例示的な構文要素を示す。

【図22】例示的な構文要素を示す。

【図23】例示的な構文要素を示す。

【図24】例示的な構文要素を示す。

【図25】例示的な構文要素を示す。

【図26】ｃａｂａｃゼロワードを使用した符号化を示している。

【発明を実施するための形態】

【0024】

以下では、本発明の追加の実施形態及び態様が説明され、これらは、個別に、または本明細書に記載の特徴及び機能及び詳細のいずれかと組み合わせて使用することができる。

【0025】

第１の実施形態は、層及びサブピクチャ、特にサブピクチャの境界一直線化（２．１）に関する。

【0026】

サブピクチャの境界がレイヤ間で一直線化していることが通知される、例えばレイヤごとに同じ数のサブピクチャが存在し、すべてのサブピクチャの境界はサンプルが正確に併置されている。これは、例えば図４に示されている。このようなシグナリングは、例えばｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇによって実装できる。このフラグｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］が設定されている場合、例えば１に等しい値を持つ場合、コード化されたレイヤワイズビデオシーケンスＣＬＶＳの各コード化された画像のｉ番目のサブピクチャは、ループ内フィルタリング操作を除く、復号プロセスの画像として扱われるように指定される。ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］が設定されていない場合、例えば値が０の場合、ＣＬＶＳ内の各コード化画像のｉ番目のサブピクチャは、ループ内フィルタリング操作を除く復号プロセスで画像として扱われないように指定される。フラグが存在しない場合は、例えばｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値は１に等しいと推測される設定されていると見なすことができる。

【0027】

抽出器／受信機はスライスヘッダに存在するサブピクチャＩＤを検索して、対象のサブピクチャに属していないすべてのＮＡＬユニットをドロップできるため、シグナリングは抽出に有用である。サブピクチャが一直線化されると、サブピクチャＩＤはレイヤ間で１対１でマッピングされる。これは、サブピクチャＩＤ Ａによって識別されるエンハンスメント層サブピクチャＡのすべてのサンプルについて、ベース層サブピクチャＢの併置されたサンプルが、サブピクチャＩＤ Ｂｎによって識別される単一のサブピクチャに属することを意味する。

【0028】

説明されているように一直線化がない場合、参照レイヤの各サブピクチャに対して、参照レイヤに複数のサブピクチャが存在する可能性があり、ビットストリームの抽出または並列化の観点、レイヤのサブピクチャの部分的なオーバーラップから、遥かに劣悪であることに留意されたい。

【0029】

特定の実装では、サブピクチャの一直線化の表示は、これがレイヤ固有のシグナリングであるため、ＶＰＳで示されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）構造の制約フラグによって行うことができる。これは、例えば図５に示されている。

【0030】

構文は、出力レイヤセット（ＯＬＳ）内のレイヤがサブピクチャを一直線化していることを示すことができる。別のオプションは、ビットストリームの全レイヤの一直線化を示すことであり、例えばすべてのＯＬＳに対して、シグナリングＯＬＳを独立させることが挙げられる。

【0031】

言い換えれば、この実施形態では、データストリームは、ビデオの複数の画像に復号され、データストリームは、少なくとも２つのレイヤに複数の画像を含む。この例では、１つのレイヤがベースレイヤ（図４の「低解像度」）で、もう１つのレイヤが拡張レイヤ（図４の「高解像度」）である。両方のレイヤの画像は、タイルとも時に呼ばれるサブピクチャに分割され、少なくとも図４の例では、ベースレイヤの各サブピクチャには、エンハンスメントレイヤにおいて対応するサブピクチャがある。図４に示すサブピクチャの境界は、運動補償の境界拡張に使用される。

【0032】

復号では、異なるレイヤの対応するサブピクチャの境界の少なくとも１つが互いに一直線化していると解釈される表示がある。簡単な注記として、本明細書の説明全体を通して、異なる層のサブピクチャは、それらのコロケーションのために互いに対応していると理解され、すなわち、それらは、それらが含まれる画像の中の同じ位置に配置されることに留意されたい。サブピクチャは、それが含まれている同じピクチャ内の他のいずれかのサブピクチャから独立してコード化される。しかしながら、そのレイヤの画像の相互に対応するサブピクチャを説明する用語の特定の層のサブピクチャ及びこれらの相互に対応するサブピクチャは、これらの相互に対応するサブピクチャの外側の領域からの符号化依存性が不要であるように、また、例えば、境界の拡張がこれらの相互に対応するサブピクチャ内のブロックの運動ベクトルによって指し示される運動補償参照部分、すなわち、サブピクチャの境界を超えて延びるこれらの参照部分の一部分に使用されるよう、運動補償予測及び時間予測を使用して符号化される。そのようなレイヤの画像のサブピクチャへの細分割は、互いに重なり合うサブピクチャが互いに対応し、一種の独立してコード化されたサブビデオを形成するような方法で行われる。サブピクチャは、層間予測に関連して機能する場合もあることに留意されたい。コーディング／デコーディングにレイヤ間予測が利用できる場合、あるレイヤの１つの画像が、下のレイヤの別の画像から予測され、両方の画像が同じ時刻になる。あるレイヤの１つの画像の１つのブロックと呼ばれる領域は、別の層の参照画像のサブピクチャの境界を超えて広がり、１つのブロックが併置されている、つまり領域がオーバーレイされている領域は、境界で埋められる拡張、つまり、参照画像の併置されたサブピクチャの外部からのコンテンツを使用しないことによる。

【0033】

画像が１つのサブピクチャにのみ分割されている場合、つまり画像がサブピクチャとして扱われている場合、画像はレイヤ間で相互に対応し、画像の境界が一直線化され、運動補償の境界拡張に使用されていることを示す。

【0034】

少なくとも２つの層内の複数の画像のそれぞれは、１つまたは複数のサブピクチャに分割することもでき、異なる層内の対応するサブピクチャのすべての境界が互いに一直線化する程度まで表示を解釈することができる。

【0035】

以下は、サブピクチャＩＤの対応（２．２）に関するものである。

【0036】

サブピクチャの境界の一直線化に加えて、サブピクチャが一直線化されている場合に、レイヤ間で互いに対応するサブピクチャＩＤの検出を容易にすることも必要である。

【0037】

最初のオプションでは、ビットストリームのサブピクチャＩＤは異なる、例えば各サブピクチャＩＤは、ＯＬＳの１つのレイヤでのみ使用できる。これにより、各レイヤサブピクチャは独自のＩＤによって一意に識別できる。これは、例えば図６に示されている。

【0038】

これは、２つのレイヤが１つのＯＬＳに属しているかどうかに関係なく、ビットストリーム全体で一意のＩＤ、例えばビットストリームの任意のＯＬＳにも当てはまる可能性があることに留意されたい。したがって、一実施形態では、任意のサブピクチャＩＤの値は、ビットストリーム内で一意である（例えば、ｕｎｉｑｕｅ＿ｉｄｓ＿ｉｎ＿ｂｉｔｓｔｒｅａｍ＿ｆｌａｇ）。

【0039】

２番目のオプションでは、レイヤ内のサブピクチャは、（ＯＬＳまたはビットストリーム全体の）別のレイヤ内の対応する一直線化されたサブピクチャと同じＩＤ値を有する。これにより、サブピクチャＩＤ値を照合するだけで、対応するサブピクチャを非常に簡単に識別できる。また、抽出プロセスは、対象のサブピクチャごとに１つのＩＤのみが抽出器で必要とされるため、簡略化されている。これは、例えば図７に示されている。ａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｕｎｉｑｕｅ＿ｆｌａｇの代わりに、ＳｕｂｐｉｃＩｄＶａｌ制約を使用することもできる。

【0040】

以下は、サブピクチャのシグナリング順序（２．３）に関するものである。

【0041】

サブピクチャＩＤのシグナリング順序、位置、及び寸法も制約されている場合、サブピクチャＩＤの対応の処理を大幅に簡素化できる。これは、対応する一直線化されたサブピクチャと一意のサブピクチャＩＤが示されている場合（例えば、フラグｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇとａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｕｎｉｑｕｅ＿ｆｌａｇが１に設定されている場合）、サブピクチャの定義（位置、幅、高さ、境界線の処理、その他のプロパティを含む）をＯＬＳ上のすべてのＳＰＳにわたって一直線化させる必要があることを意味する。

【0042】

例えば、構文要素ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、可能なリサンプリング要素を考慮して、レイヤとそのすべての参照レイヤ、及びｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ ［ｉ］、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ ［ｉ］、ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１ ［ｉ］、ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］で同じ値を有する必要がある。

【0043】

この実施形態では、すべての層のＳＰＳ内のサブピクチャの順序（ＳＰＳ内の構文要素の緑色のマーキングを参照）は、同じになるように制約されている。これにより、サブピクチャとレイヤ間の位置の簡単な照合と検証が可能になる。これは、例えば図８に示されている。

【0044】

サブピクチャＩＤシグナリングは、以下に示すように、ＳＰＳ、ＰＰＳ、またはＰＨのそれぞれの上書き機能で発生する可能性があり、ａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇが１の場合、サブピクチャＩＤの値はすべてのレイヤで同じである必要がある。ｕｎｉｑｕｅ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇが１の場合、サブピクチャＩＤの値は複数のレイヤで発生しないようにする必要がある。これは、例えば図９から１１に示されている。

【0045】

言い換えれば、この実施形態では、相対的なサブピクチャ位置及びサブピクチャの寸法は、すべての層の対応するサブピクチャについて同じであるという指示が解釈される。例えば、データストリーム内のシグナリング順序を表す対応するサブピクチャの位置と次元を示す構文要素のインデックスは同じである。表示は、データストリームの層ごとに１つのフラグ、フラグがデータストリームに存在する層を含む層のサブピクチャ一直線化を示すフラグ、及び参照画像としてのそのフラグのレイヤの画像のいずれかを使用するものなどの１つまたは複数の上位層を含み得る。

【0046】

図１２はこれを示す。その中に、階層化されたデータストリームのレイヤの写真が示されている。レイヤ１の画像１２１１は、例示的に、サブピクチャに分割されておらず、言い換えれば、１つのサブピクチャのみに分割されていないため、（サブ）画像Ｌ１（１）が存在する。レイヤ２の画像１２１２は、４つのサブピクチャＬ２（１）からＬ２（４）に分割される。ここでは３から４の上位レイヤの画像は、同じ方法で分割される。画像は層間予測を使用してコード化されている、つまり、層間予測はコーディング／復号に使用できることに留意されたい。ある層の１つの画像は、下の層の別の画像から予測でき、両方の画像は、同じ時刻の場合である。ここでも、サブピクチャの境界は、相互予測で境界の彼方を引き起こす、つまり、ある層の１つの画像の１つのブロックと呼ばれる領域は、別の層の参照画像のサブピクチャの境界を超えて広がり、１つのブロックが併置され、参照画像の併置されたサブピクチャの外部からのコンテンツを使用しないことによって埋められる。さらに、サブピクチャに分割される各レイヤでは、画像は一定のサイズである必要がある場合がある、つまり、各レイヤの画像のサイズは変化しない、つまり、ＲＰＲは使用されない。レイヤＬ１などの単一サブピクチャレイヤの場合、さまざまなピクチャサイズとＲＰＲの適用が許可される場合がある。次に、表示のフラグは、上記のように、レイヤ２以上のサブピクチャが一直線化していることを示し得る。つまり、上位層の画像１２１３、１２１４、層３以上は、すべて層２と同じサブピクチャ分割を有している。層３以上のサブピクチャも、層３と同じサブピクチャＩＤを有している。結果として２超のレイヤには、サブピクチャＬＸ（１）からＬＸ（４）もあり、この場合Ｘはレイヤの番号である。図１２は、いくつかのより高い層３及び４についてこれを例示的に示しているが、１つまたは２つ以上のより高い層も存在することができ、その場合、表示もそれに関連する。したがって、表示が行われたレイヤ（ここではレイヤ２）の上の各レイヤのサブピクチャ、つまりフラグが設定されているサブピクチャは、同じインデックスを有する。レイヤ２の対応するサブピクチャとして１、２、３、または４であり、レイヤ２の対応するサブピクチャと同じサイズ及び併置された境界を有する。対応するサブピクチャは、ピクチャ内で互いに併置されているものである。この場合も、このような表示のフラグは、他の各レイヤにも存在する可能性があり、ここで、レイヤ３やレイヤ４などの上位レイヤにも同じサブピクチャの細分を設定することができる。

【0047】

少なくとも２つの層の複数の画像のそれぞれが１つまたは複数のサブピクチャに分割されるとき、表示は、１つまたは複数の層のそれぞれについて、それぞれの層よりも高い１つまたは複数のより高い層の画像がサブピクチャに分割されることを示し、所定の層固有のサブピクチャの数がそれぞれの層及び１つまたは複数の上位層に対して等しくなり、所定の層固有の数のサブピクチャの境界がそれぞれの層と１つまたは複数の上位層との間で空間的に一致するようにする。

【0048】

特に、これを図１２の画像に当てはめると、レイヤ２以上のサブピクチャが一直線化していることが示されれば、レイヤ３以上も対応して一直線化したサブピクチャを有することが明らかになる。

【0049】

１つまたは複数の上位層は、予測のためにそれぞれの層の画像を使用することができる。

【0050】

また、サブピクチャのＩＤは、それぞれのレイヤと１つ以上の上位レイヤの間で同じである。

【0051】

また、図１２には、サブピクチャ抽出器１２１０が示されており、これは、今議論したレイヤがコード化されているビットストリームから、レイヤ２～４の１つまたは複数のサブピクチャの特定のセットに固有の抽出ビットストリームをコーディングするためのものである。完全なビットストリームから、レイヤ化された画像の関心領域に関連する部分を抽出し、ここでは、サブピクチャの例として、画像の右上隅を抽出する。したがって、抽出器１２１０は、タイＲｏＩに関連するビットストリーム全体の部分、すなわち、上記の表示がサブピクチャ調整を示さない、すなわち、上記のフラグが設定されていない任意の層の画像全体に関連する部分を抽出し、及び相互に一直線化されたレイヤ内の画像のサブピクチャに関連する部分、つまり、フラグが設定されている部分と、サブピクチャがＲｏＩをオーバーレイするいずれかの上位レイヤ、ここでは例としてＬ２（２）、Ｌ３（２）、及びＬ４（２）である。言い換えれば、出力層セットにあり、サブピクチャ層、ここでは２～４である、の参照として機能する、図１２の場合のＬ１などの任意の単一サブピクチャ層は、抽出器１２１０によって抽出されたビットストリームに含まれ、抽出されたビットストリームでは、ＨＬＳの層間予測パラメータがそれに応じて調整される、つまり、抽出されたビットストリームでは、レイヤ２～４の以前のサブピクチャに分割された上位層の画像がＲｏＩ内のサブピクチャにのみトリミングされるほど小さいことを反映するために、スケーリングウィンドウの条件が調整される。サブピクチャが互いに一直線化していることを表示が示しているため、抽出は簡単である。サブピクチャ一直線化の表示を利用する別の方法は、復号をより簡単に編成するデコーダである可能性がある。

【0052】

以下は、下位層（２．４）のサブピクチャの境界サブセットに関するものである。

【0053】

符号化を高速化するためのレイヤ内の領域の完全並列符号化など、他のユースケースが存在する可能性があり、この場合、解像度が高く、レイヤが高次であるほどサブピクチャの数が多くなる（空間スケーラビリティ）。このような場合、一直線化も望ましい。さらなる実施形態は、上位層のサブピクチャの数が下位（参照）層のサブピクチャの数よりも多い場合、下位層のすべてのサブピクチャの境界が上位層（同じ場所に配置された境界）に対応するものを有することである。図１３は、下位層と上位層の間で一直線化された境界である境界と、下位層で対応がない上位層の境界を示している。

【0054】

そのプロパティを通知するための例示的な構文を図１４に示す。

【0055】

以下は、サブピクチャの境界の層状運動補償予測の影響（２．５）に関するものである。

【0056】

サブピクチャがレイヤ内のみであるか、レイヤ間でも独立したサブピクチャであるかは、ビットストリームに示される。より具体的には、この表示は、レイヤ間で実行される運動補償予測がサブピクチャの境界も考慮に入れるかどうかを示す。一例には、図１５に示されているように、ＲｏＩがコンテンツの低解像度バージョン（低次のレイヤ）で設けられ（例えば、１０８０ｐコンテンツ内の７２０ｐ ＲｏＩ）、高解像度コンテンツ（例えば、４ｋ解像度の高次のレイヤ）では設けられない場合がある。

【0057】

別の実施形態では、レイヤ間で実行される運動補償予測がサブピクチャの境界をまた考慮に入れるかどうかは、サブピクチャがレイヤ間で一直線化されているかどうかという事実に依存する。そうである場合、中間層予測などの運動補償を考慮して境界が考慮される。例えば、運動補償では境界の外側のサンプル位置を使用すること、またはそのようなサンプル位置のサンプル値は境界内のサンプル値から外挿されることが、許容されない。それ以外の場合、境界は層間運動補償予測では無視される。

【0058】

以下は、サブピクチャ縮小参照ＯＬＳ（２．６）に関するものである。

【0059】

レイヤ付きのサブピクチャの使用について検討できるもう１つのユースケースは、ＲｏＩスケーラビリティである。このようなユースケースの潜在的なレイヤとサブピクチャの構成の図を図１６に示す。このような場合、下位レイヤのＲｏＩ部分またはサブピクチャのみが上位レイヤに必要である、つまり、ＲｏＩにのみ関心があるときに、つまり、指定された例のベースレイヤまたは拡張レイヤで７２０ｐバージョンを復号しているときに復号されることが必要なサンプルが少なくて済むことを意味している。それでも、ビットストリームのサブセットのみ復号する必要があること、したがって、ＲｏＩに関連付けられたサブビットストリームのレベルはベースレイヤ全体及びエンハンスメントレイヤよりも低次である（復号されるサンプルが少ない）ことを、デコーダに示す必要がある。

【0060】

この例では、１０８０＋４Ｋの代わりに、７２０＋４Ｋのみを復号する必要がある。

【0061】

一実施形態では、ＯＬＳシグナリングは、１つのレイヤが完全に必要とされるのではなく、そのサブピクチャのみが必要であることを示す。各出力レイヤについて、表示がなされると（ｒｅｄｕｃｅｄ＿ｓｕｂｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが１に等しい）、参照に使用される関連するサブピクチャＩＤのリストが与えられる（ｎｕｍ＿ｓｕｂ＿ｐｉｃ＿ｉｄｓ、ｓｕｂＰｉｃＩｄＴｏＤｅｃｏｄｅＦｏｒＲｅｆｅｒｅｎｃｅ）。これは、例えば図１７に示されている。

【0062】

別の実施形態では、ＯＬＳ内の層の不要なサブピクチャがＯＬＳビットストリームから削除される場合に必要とされるであろうＰＴＬを示す追加のＰＴＬシグナリングが提示される。オプションを図１８に示しており、この場合、それぞれの構文がＶＰＳに追加されている。

【0063】

以下は、一定のビットレート（ＣＢＲ）とサブピクチャ（３）に関するものである。

【0064】

態様によれば、ビデオ処理装置は、複数の画像を含むデータストリームから復号されたビデオの複数の画像を処理するように構成され得、複数の画像、例えばすべてのレイヤの各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、またビデオ処理装置は、ダミーデータを維持することによって、データストリームから一定のビットレートで少なくとも１つのサブピクチャを生成するように構成され、そのデータの例は、サブピクチャの直後のサブピクチャのためのデータストリームに含まれるか、またはデータストリームで別のサブピクチャが発生するまでサブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報を含むデータストリームに含まれる、ＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージがある。データスチームが層状データストリームである場合、このコード化された画像は１つの層に関連する可能性があり、サブピクチャごとのビットレート制御が各層に適用され得ることに留意されたい。

【0065】

別の態様によれば、ビデオエンコーダは、複数の画像を含むデータストリームにビデオの複数の画像を符号化するように構成され得、すべてのレイヤの複数の画像の各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、またビデオエンコーダは、データストリームのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージを包含することによって、一定のビットレートで少なくとも１つのサブピクチャをデータストリームに生成するように構成され、各サブピクチャについて、各サブピクチャの直後であるか、サブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報を含む。

【0066】

別の態様によれば、ビデオを処理するための方法は、複数の画像を含むデータストリームから復号されたビデオの複数の画像を処理するステップを有し得、複数の画像、例えばすべてのレイヤの各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、また方法は、ダミーデータを維持することによって、データストリームから一定のビットレートで少なくとも１つのサブピクチャを生成するステップを含み、そのデータの例は、サブピクチャの直後のサブピクチャのためのデータストリームに含まれるか、またはデータストリームで別のサブピクチャが発生するまでサブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報を含むデータストリームに含まれる、ＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージがある。

【0067】

別の態様によれば、ビデオを符号化するための方法は、複数の画像を含むデータストリームにビデオの複数の画像を符号化するステップを有し得、複数の画像、例えばすべてのレイヤの複数の画像の各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、また方法は、データストリームのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージを包含することによって、一定のビットレートで少なくとも１つのサブピクチャをデータストリームに符号化するステップを含み、各サブピクチャについて、各サブピクチャの直後であるか、サブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報がある。

【0068】

サブピクチャを含むビットストリームが符号化され、関連するＨＲＤ構文要素が固定ビットレート（ＣＢＲ）ビットストリームを定義する場合がある、例えば少なくとも１つのスケジューリング値に対してｃｂｒ＿ｆｌａｇは１に設定され、ビットストリームが一定のビットレートビットストリームに対応し、頻繁に、いわゆるフィラーデータ、ＶＣＬ ＮＡＬユニットまたはフィラーペイロードＳＥＩ（非ＶＣＬ ＮＡＬユニット）、例えばＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージを使用することによることを示す。

【0069】

ただし、サブピクチャビットストリームが抽出された場合、このプロパティが引き続き適用されるかどうかは明確ではない。

【0070】

一実施形態では、サブピクチャの抽出プロセスは、常にＶＢＲビットストリームをもたらす方法で定義される。ＣＢＲケースを示す／保証する可能性はない。その場合、ＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージは、抽出プロセス中に単に破棄される。

【0071】

別の実施形態では、各サブピクチャのＣＢＲ「動作点」は、サブピクチャを構成するＶＣＬ ＮＡＬユニットの直後、したがってサブピクチャのＣＢＲ「動作点」の抽出中に、それぞれのＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージを配置することによって保証されることが示され、サブピクチャＶＣＬ ＮＡＬユニットに関連付けられたそれぞれのＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージは、サブピクチャのサブビットストリームが抽出プロセス中に抽出されるときに保持され、抽出プロセスが別のサブピクチャを対象とする抽出プロセス中または非ＣＢＲの「動作点」にて保持される。このような表示は、例えばｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇを使用して実行できる。したがって、例えば、ｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが０に等しい場合、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＦＤ＿ＮＵＴに等しいすべてのＮＡＬユニットと、フィラーペイロードＳＥＩメッセージを含むＳＥＩＮＡＬユニットが削除される。

【0072】

説明されているプロセスでは、ＦＤ＿ＮＵＴまたはフィラーペイロードＳＥＩメッセージがドロップされたかどうかを知るために、ＶＣＬ ＮＡＬユニットとそれに関連する非ＶＣＬＮＡＬユニットの状態を保持する必要があり、直接先行するＶＣＬＮＡＬユニットのサブピクチャＩＤが何であったかを知る必要がある。このプロセスを容易にするために、ＦＤ＿ＮＵＴとＦｉｌｌｅｒ Ｐａｙｌｏａｄ ＳＥＩにシグナリングが追加され、それらが特定のサブピクチャＩＤに属していることを表示する。あるいは、別の実施形態では、次のＳＥＩメッセージまたはＮＡＬユニットが、別のサブピクチャＩＤを示す別のＳＥＩメッセージの存在まで、サブピクチャＩＤを有する所与のサブピクチャに属することを示すＳＥＩメッセージがビットストリームに追加される。

【0073】

言い換えれば、複数の画像のそれぞれが所定の数のサブピクチャに分割され、各サブピクチャが運動補償のための境界の拡張のための境界を含むように、中に符号化された複数の画像を有する一定のビットレートのデータストリームが処理され、処理により、一定のビットレートの少なくとも１つのサブピクチャに関連するサブピクチャのデータストリームは、少なくとも１つのサブピクチャのデータストリームに含まれるダミーデータを保持し、抽出されたデータストリームが関係しない別のサブピクチャのデータストリームに含まれるダミーデータを除去することによって、データストリームから生成される。

【0074】

これは、図１９及び２０で見ることができ、処理されたデータストリームにコード化されたビデオの例示的な２つの画像１９１０及び１９２０が示されている。これらの画像は、それぞれサブピクチャ１９１１、１９１２、１９１３、及び１９２１、１９２２、及び１９２３に分割され、いくつかのエンコーダ１９３０によってビットストリーム１９４５の対応するアクセスユニット１９４０及び１９５０に符号化される。

【0075】

サブピクチャへの細分化は、単に例示のために示されている。説明のために、アクセスユニットＡＵは、それぞれ、いくつかのヘッダ情報部分、ＨＩ１及びＨＩ２も含むように示されているが、これは単に説明のためであり、画像は、いくつかの部分に断片化されたビットストリーム１９４５にコード化されるように示され、例えばそれぞれ、ＶＣＬ ＮＡＬユニット、１９４１、１９４２、１９４３、１９５１、１９５２、及び１９５３などであり、１９４０及び１９５０の画像のサブピクチャごとに１つのＶＣＬユニットが存在するが、これは説明のみを目的として行われ、１つのサブピクチャが複数のそのような部分またはＶＣＬＮＡＬユニットに断片化／コード化することによるものであり得る。

【0076】

エンコーダは、サブピクチャを表す各データ部分の最後にダミーデータｄを含めることによって、一定のビットレートのデータストリームを作成する、つまり、各サブピクチャのダミーデータ１９４４、１９４５、１９４６、１９５４、１９５５、及び１９５６になる。ダミーデータは、図１９に十字を使用して示されている。それにおいて、ダミーデータ１９４４はサブピクチャ１９１１に対応し、１９４５はサブピクチャ１９１２に対応し、１９４６はサブピクチャ１９１３に対応し、１９５４はサブピクチャ１９２１に対応し、１９５５はサブピクチャ１９２２に対応し、１９５６はサブピクチャ１９２３に対応する。一部のサブピクチャでは、ダミーデータが必要ない可能性がある。

【0077】

オプションで、前述のように、サブピクチャを複数のＮＡＬユニットに分散させることもできる。この場合、ダミーデータは、各ＮＡＬユニットの最後、またはそのサブピクチャの最後のＮＡＬユニットの最後に挿入できる。

【0078】

次に、一定のビットレートのデータストリーム１９４５は、サブピクチャ抽出器１９６０によって処理され得、サブピクチャ抽出器１９６０は、例として、サブピクチャ１９１１及び対応するサブピクチャ１９２１、つまり併置されているため、ビットストリーム１９４５でコード化された相互に対応するビデオのサブピクチャに関連する情報を抽出する。抽出されたサブピクチャのセットは複数である可能性がある。抽出の結果、抽出されたビットストリーム１９５５になる。抽出のために、抽出されたサブピクチャ１９１１／１９２１のＮＡＬユニット１９４１及び１９５１が抽出され、抽出されたビットストリーム１９５５に引き継がれ、他のサブピクチャの他のＶＣＬ ＮＡＬユニットは、抽出されないものが無視またはドロップされ、抽出されたサブピクチャ（２）に対応するダミーデータｄのみが抽出されたビットストリーム１９５５に引き継がれ、他のすべてのサブピクチャのダミーデータもドロップされる。つまり、他のＶＣＬ ＮＡＬユニットの場合、ダミーデータｄが削除される。必要に応じて、ヘッダ部分ＨＩ３及びＨＩ４は、以下に詳述するように変更され得る。それらは、ＰＰＳ及び／またはＳＰＳ及び／またはＶＰＳ及び／またはＡＰＳなどのパラメータセットに関連するか、またはそれらを含み得る。

【0079】

したがって、抽出されたビットストリーム１９５５は、ビットストリーム１９４５のアクセスユニット１９４０及び１９５０に対応するアクセスユニット１９７０及び１９８０を含み、一定のビットレートである。次に、抽出器１９６０によってかように生成されたビットストリームは、デコーダ１９９０によって復号されて、サブビデオ、すなわち、抽出されたサブピクチャ１９１１及び１９２１のみから構成されるサブピクチャを含むビデオを生成することができる。抽出は、当然、ビットストリーム１９４５のビデオの画像の複数のサブピクチャに影響を及ぼし得る。

【0080】

別の代替案として、１つまたは複数のサブピクチャが１つまたは複数のＮＡＬユニットにコード化されているかどうかに関係なく、ダミーデータは、データストリームの最後にある各アクセスユニット内で順序付けられ得るが、各ダミーデータがそれぞれのアクセスユニットにコード化された対応するサブピクチャと関連する。これは、１９４０と１９５０の代わりに図２０に示されて、アクセスユニット２０４０と２０５０と名付けている。

【0081】

ダミーデータは、ＶＣＬ ＮＡＬユニットと区別できるように、特定のＮＡＬユニットタイプのＮＡＬユニットである場合があることに留意されたい。

【0082】

一定のビットレートであるとしてビットストリーム１９４５を取得する別の方法も図２０で説明され得るが、ここでは、一定のビットレートはサブピクチャごとに作成されない。むしろ、それはグローバルに作られている。図２０に示すように、ダミーデータは、ここで、ＡＵの終わりにあるすべてのサブピクチャに完全に含めることができ、図１９に対応するデータストリーム部分のみを例示的に示す。その中で、アクセスユニット２０４０及び２０５０において。サブピクチャを表すデータ部分、それぞれ２０４４、２０４５、２０４６、２０５４、２０５５、及び２０５６は互いに直接続き、ダミーデータはサブピクチャの最後、それぞれのアクセスユニットの最後に追加される。

【0083】

サブピクチャ選択ダミーデータ削除を実行するかどうか、つまり、サブピクチャビットストリームを抽出するときにすべてのダミーデータを削除する必要があるかどうか、または関心のあるサブピクチャのダミーデータ（複数可）、つまり抽出されるものは、図１９に示すように保持する必要があるかどうか、ということを抽出器によって処理されるビットストリームで表示される。

【0084】

また、データストリームがサブピクチャごとに一定のビットレートではないことが示されている場合、抽出器１９６０は、すべてのＮＡＬユニットのすべてのダミーデータｄを削除することができ、結果として抽出されるサブピクチャビットストリームは、一定のビットレートではない。

【0085】

ダミーデータの配置は、アクセスユニット内で、今説明した例に比べて変更される可能性があり、ＶＣＬユニット間またはアクセスユニットの先頭に配置される可能性があることに留意されたい。

【0086】

処理装置または抽出器１９６０の上記及び下記のプロセスは、例えば、デコーダによっても実行できることに留意されたい。

【0087】

言い換えれば、データストリームは、解釈、例えば復号及び解析によって処理することができ、データストリームのサブピクチャの少なくとも１つの抽出可能なセットが、抽出されたサブピクチャのビットストリームが一定のビットレートになるように抽出可能であることを示す。この表示は、例えば、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージから処理するか、それらに含めることができ、例えば、ｃｂｒ＿ｆｌａｇまたはｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇにすることができる。

【0088】

データストリームはまた、データストリームの１つまたは複数のサブピクチャの抽出可能なセットが一定のビットレートでコード化されていないという表示を解釈して処理することができ、その表示は、例えば、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージにおけるものであり、そのように示される場合は、すべてのダミーデータが削除される。

【0089】

前述のように、ダミーデータにはＦＤ＿ＮＵＴ、特別なＮＡＬユニットが含まれる場合がある。追加的または代替的に、ダミーデータは、フィラーペイロード補足拡張情報、ＳＥＩ、メッセージを含み得る。

【0090】

データストリームは、解釈を使用して処理することもでき、例えば、生成が一定のビットレートの抽出されたデータストリームになるかどうか、この場合、ビデオ処理装置はダミーデータｄの保持と削除を実行する、または、生成が一定のビットレートである抽出されたデータストリームに終わらないかどうか、この場合、ビデオ処理装置はすべてのダミーデータの削除を実行するということの、抽出されたデータストリームの生成のためのデータストリームからの表示を復号する。

【0091】

最後に、前述のダミーデータは、例えば、ＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩ、メッセージを含むことができる。

【0092】

以下は、サブピクチャ抽出の完了に関するもの、パラメータセットの書き換え（４）である。

【0093】

別の態様によれば、ビデオ処理装置は、ビデオの複数の画像を含むデータストリームに対してサブピクチャ抽出を実行するように構成され得、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが許可されるというデータストリーム内の表示を解釈する。

【0094】

前の態様を参照するときの別の態様によれば、ビデオ処理装置は、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報を提供するデータストリームの表示を解釈するようにさらに構成され得る。

【0095】

さらに別の態様によれば、ビデオエンコーダは、ビデオの複数の画像をデータストリームに符号化するように構成され得、データストリームは、複数の画像を含み、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが、データストリームにおいてサブピクチャ抽出を実行するときに許可される、という表示する。

【0096】

前の態様を参照するときの別の態様によれば、ビデオエンコーダは、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報を提供するデータストリームの表示を解釈するようにさらに構成され得る。

【0097】

別の態様によれば、ビデオを処理するための方法は、ビデオの複数の画像を含むデータストリームに対してサブピクチャ抽出を実行するように構成され得、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが許可されるというデータストリーム内の表示を解釈する。

【0098】

前の態様を参照するときの別の態様によれば、ビデオを処理するための方法は、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報をデータストリームに表示するようにさらに構成され得る。

【0099】

別の態様によれば、ビデオを処理するための方法は、ビデオの複数の画像を含むデータストリームにてサブピクチャ抽出実行するステップであって、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含む、実行するステップ、及びデータストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが、データストリームにおいて許可される、という表示を解釈するステップを有し得る。

【0100】

前の態様を参照するときの別の態様によれば、ビデオを処理するための方法は、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報を提供するデータストリームの表示を解釈するステップをさらに有し得る。

【0101】

別の態様は、データストリームについて言及し得、それに対しビデオが符号化され、ビデオは複数の画像を含み、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが許可される、という表示する。

【0102】

通常、ビットストリーム抽出プロセスは、（サブ）レイヤに対して次のように指定されている。
－ 対象の（サブ）レイヤに対応しないＮＡＬユニットをドロップする
－ ＳＥＩメッセージをドロップする（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩ、Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ ＳＥＩなど）
－ オプションで、対象の（サブ）レイヤに関連付けられたネストされたＳＥＩメッセージから適切なＳＥＩメッセージを取得する

【0103】

ただし、上で説明したように、ＮＡＬユニットを（サブ）レイヤごとよりも細かい粒度でドロップする、例えばサブピクチャ抽出では、これまでに解決されていない問題が発生する可能性がある。例は、上記のＣＢＲのＦＤ＿ＮＵＴの説明を参照されたい。別の問題はパラメータセットから発生する。（サブ）レイヤ抽出では、パラメータセットには、抽出された（サブ）レイヤに関係のない追加情報が含まれる可能性があり、例えば、ドロップされた（サブ）レイヤに関する情報が含まれるが、抽出されたサブビットストリームの（サブ）レイヤを依然記述しているという意味で正しいということがある。ドロップされた（サブ）レイヤのその追加情報は、まさに無視し得る。サブピクチャ抽出に関しては、この設計原理は複雑すぎて維持できず、そのため、例えばＨＥＶＣでは、ＭＣＴＳをネストするＳＥＩメッセージに置換パラメータセットが含まれる。ただし、ＶＶＣでは、状況をさらに複雑にし、ＳＥＩメッセージをネストするＨＥＶＣスタイルのソリューションを実行不可能にする画像ヘッダが定義されている。

【0104】

したがって、サブピクチャ抽出を実行するときにパラメータセットが変更される。パラメータセットには、サブピクチャ抽出を実行するときに変更する必要がある、画像サイズ、ｐｒｏｆｉｌｅ＿ｌｅｖｅｌ情報、タイリング／スライスグリッド（画像ヘッダにも存在する可能性がある）などの情報が含まれていることに留意されたい。

【0105】

一実施形態では、抽出プロセスは次のように定義される。
－ 対象のサブピクチャに対応しないＮＡＬユニットをドロップする
－ ＳＥＩメッセージをドロップする（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩ、Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ ＳＥＩなど）
－ 対象の（サブ）レイヤに関連付けられたネストされたＳＥＩメッセージから適切なＳＥＩメッセージを取得する
－ パラメータセットをドロップする
－ 適切なパラメータセットを追加する
－ 画像ヘッダをドロップする
－ 適切な画像ヘッダを追加する

【0106】

「適切な」パラメータセットと画像ヘッダを生成する必要がある。抽出前のパラメータセットと画像ヘッダを書き直すことによるのが最も見込みがある。
変更が必要な情報は次のとおりである。
－ レベルとＨＲＤ関連
－ 画像のサイズ
－ タイリング／スライス／サブピクチャグリッド

【0107】

結果として得られるレベル及びＨＲＤ関連の情報は、それぞれのＳＥＩメッセージ（サブピクチャレベル情報ＳＥＩメッセージ）から抽出して、パラメータセットの書き換えに使用できる。

【0108】

各サブピクチャのサイズはＳＰＳで簡単に見つけられるため、プロセスで抽出された単一のサブピクチャがある場合、結果の画像サイズを簡単に導き出すことができる。ただし、ビットストリームから複数のサブピクチャが抽出される場合、例えば、結果のビットストリームには複数のサブピクチャが含まれ、結果の画像サイズは、外的手段によって定義された配置によって異なる。

【0109】

一実施形態では、ビットストリームは、元のビットストリーム内の長方形の領域に対応するサブピクチャの抽出のみが許可され、元のビットストリーム内のそれらの相対的な配置が変更されないように保たれることを制約した。したがって、抽出された領域内での並べ替えやギャップは許可されない。

【0110】

サブピクチャの座標は現在、図２１に示すように、ｔｏｐ＿ｌｅｆｔの座標と幅及び高さを表すパラメータによって定義されている。これにより、左上、右上、左下、右下のコーナーまたは領域を簡単に導出できる。したがって、抽出プロセスは、抽出されたすべてのサブピクチャに対して実行され、さらに小さい座標が見つかった場合（最小値の検索など）、ｔｏｐ＿ｌｅｆｔ座標の最小の「ｘ」及び「ｙ」の座標を更新し、さらに小さい座標が見つかった場合（最大値の検索など）、右下の座標の最大の「ｘ」及び「ｙ」の座標を更新する。例えば、以下が挙げられる。

【0111】

ＭｉｎＴｏｐＬｅｆｔＸ＝ＰｉｃＷｉｄｔｈ
ＭｉｎＴｏｐＬｅｆｔＹ＝ ＰｉｃＨｅｉｇｈｔ
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＸ＝０
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＹ＝０
Ｆｏｒ ｉ＝０．．ＮｕｍＥｘｔＳｕｂＰｉｃＭｉｎｕｓ１
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］＜ＭｉｎＴｏｐＬｅｆｔＸ）
ＭｉｎＴｏｐＬｅｆｔＸ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］＜ＭｉｎＴｏｐＬｅｆｔＹ）
ＭｉｎＴｏｐＬｅｆｔＹ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］＞ＭａｘＢｏｔｔｏｍＲｉｇｈｔＸ）
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＸ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］＞ ＭａｘＢｏｔｔｏｍＲｉｇｈｔＹ）
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＹ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］

【0112】

次に、この値を使用して、ＭｉｎＴｏｐＬｅｆｔＸまたはＭｉｎＴｏｐＬｅｆｔＹのそれぞれの値を差し引くことにより、最大画像サイズと、各抽出されたサブピクチャのｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ ［ｉ］、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ｉ］の新しい値を導出できる。

【0113】

代替の実施形態では、議論された値を必要とせずに、または導出することなく、パラメータセット及び画像ヘッダを書き換えることを可能にするシグナリングが提供される。抽出されるサブピクチャの潜在的な組み合わせごとに、パラメータセットで書き換える必要のある画像サイズを提供できる。これは、例えばＳＥＩメッセージの形式で実行できる。ＳＥＩメッセージには、再書き込みに役立つ情報が内部にあることを示すｐａｒａｍｅｔｅｒ＿ｔｙｐｅ構文要素を含めることができる。例えば、タイプ０は、画像サイズ、抽出されたビットストリームのタイプ１レベル、画像ヘッダ内のタイプ２情報、それらの組み合わせなどである。

【0114】

言い換えると、複数のレイヤに符号化されたビデオの複数の画像を有するデータストリームに対してサブピクチャ抽出を実行し、この場合、すべてのレイヤの複数の画像のそれぞれが所定の数のサブピクチャに分割され、各サブピクチャは運動補償のための境界拡張のための境界を含む。サブピクチャ抽出は、１つまたは複数のサブピクチャに対応しないデータストリームのＮＡＬユニットをドロップすること、及びパラメータセット及び／またはピクチャヘッダを書き換えることによって、関心のある１つまたは複数のサブピクチャに関連する抽出されたデータストリームへデータストリームに対して実行される。

【0115】

これを図１９に関してもう一度説明していく。サブピクチャ１９１２、１９１３、１９２２、１９２３は、対象のサブピクチャ（複数可）に属していないため、サブピクチャ抽出１９６０では必要なく、対応するＮＡＬユニット１９４２、１９４３、１９５２、１９５３は、抽出によって完全にドロップすることができる。今回、図１９のダミーデータの存在は任意であると理解されるべきであり、または存在する場合、図２０で説明されているように、同じことがサブピクチャによって非特異的である可能性がある。

【0116】

しかしながら、図１９に関して今説明した例では、抽出器１９６０は、ヘッダ情報ＨＩ１及びＨＩ２をそれぞれＨＩ３及びＨＩ４に書き換えることができる。サブピクチャを抽出するときに同時に行うことができるこのプロセスにおいて、ヘッダ情報は、例えば、ビデオパラメータセット、ＶＰＳ、及び／またはシーケンスパラメータセット、ＳＰＳ、及び／または画像パラメータセット、ＰＰＳなどであり得、その特定の変数値を書き換えることによって変更できる。

【0117】

書き換えのための情報は、データストリームから導出され得、データストリームに存在することができ、実際のヘッダ情報ＨＩ１及びＨＩ２に加えて、追加情報は、ＨＲＤ関連情報、画像サイズ、及び／またはサブピクチャへの細分割に関連し得る。書き換えが許可されていること、または追加が存在することの表示、及び／または追加情報は、データストリームで示すことができ、例えば、補足の拡張情報、ＳＥＩ、メッセージを伴う。

【0118】

サブピクチャ抽出は、抽出されたデータストリームが抽出されたサブピクチャのセットからなるように実行でき、そのそれぞれがデータストリーム内の長方形の領域に対応するという点で長方形であるようさらに構成される。

【0119】

書き換え可能な値には、輝度サンプルのサブピクチャ幅、輝度サンプルのサブピクチャ高さ、レベル情報、ＨＲＤ関連パラメータ、及びピクチャサイズがある。

【0120】

以下は、ｓｕｂ＿ｐｉｃ＿ｉｄ（５）のエミュレーション防止の廃止に関するものである。

【0121】

サブピクチャＩＤは、現在ＶＶＣのスライスヘッダに通知される。これは、例えば図２２に示されている。

【0122】

ただし、それらはスライスヘッダの第１の構文要素の１つとして記述されているため、その値に簡単にアクセスできる。抽出プロセス（またはＩＤを変更／チェックする必要があるマージプロセス）では、サブピクチャＩＤの値を読み書きする必要があるため、簡単にアクセスできることが望ましいことに留意されたい。その値に簡単にアクセスするためにまだ欠けている１つの側面は、エミュレーションの防止である。構文要素ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂは最大１６ビットの長さであり、値０、例えば０ｘ００００をとることができる。ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの長さは１６ビットである。したがって、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ値とｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ値の組み合わせによっては、エミュレーション防止が行われる可能性があり、これにより、上位レイヤの適用によるサブピクチャＩＤの解析がより複雑になり、上位レイヤの適用の変更または変更がさらに困難になる、なぜならｓｌｉｃｅ＿ｈｅａｄｅｒにエミュレートされた防止の長さは、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの値がｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＊の別の値に変更された場合に変更される可能性がある。

【0123】

一実施形態では、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂがｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１に変更され、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄがｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１に変更されるため、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂとｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの間でエミュレーション防止が発生することはない。これはｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの解析には役立つが、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの値を変更する必要があるユースケースの解決策にはならない。ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１は、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１を含むスライスヘッダの最後のバイトにあるｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１の最下位ビットがゼロでないことを保証しないことに留意されたい。したがって、そのバイトで０ｘ００が発生し、次の２バイトの構文要素の値に応じてエミュレーション防止がトリガーされる可能性がある。

【0124】

別の実施形態では、１つの１ビット構文要素が、図２３の例のように、ｓｌｉｃ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１の後に続き、これは、説明された問題を解決するであろう。

【0125】

明らかに、提供されるソリューションにはオーバーヘッドが伴う。例えば、追加の１ビットとｘ＿ｐｌｕｓ１構文要素である。さらに、説明されている問題は次の場合にのみ発生する。

【0126】

・ ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂとｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの間で発生するエミュレーション防止の場合：両方の構文要素を合わせた長さが２４ビットより大きい場合。
・ ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１及び次の構文要素で発生するエミュレーション防止の場合：ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１が複数のバイトにわたる場合。

【0127】

説明されている問題はあまり頻繁に発生しない可能性があるため、説明されている変更は、画像ヘッダのいずれかのパラメータセットのいくつかのゲーティングフラグに条件付けられる可能性がある。これは、例えば図２４に示されている。ここで、Ｖａｌ（ｓｕｂｐｉｕｃ ｉｄへのオフセット）は、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１とｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｌｕｓＶａｌのコード化された長さの組み合わせから次のように決定される。

【0128】

Ｖａｌ ＝ ｃｏｄｅｄＬｅｎｇｔｈ（ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１ ＋ ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｌｕｓＶａｌ） ＜ ３１ ？ １ ： ４．

【0129】

これは、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１とｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｌｕｓＶａｌのコード化された長さが一緒にしても３１ビットより短い場合、Ｖａｌが「１」の値に設定され、それ以外の場合は「４」の値に設定されると読み取れる。

【0130】

以下は、ＣＡＢＡＣゼロワードに関するものである（６）。

【0131】

ｃａｂａｃ＿ｚｅｒｏ＿ｗｏｒｄは、各スライスの最後に挿入できる。それらは、画像のどのスライスにも配置できる。現在のビデオの仕様では、ビンとビットの比率が高すぎる場合にｃａｂａｃ＿ｚｅｒｏ＿ｗｏｒｄｓが挿入されることを保証する、画像レベルの制約について説明している。

【0132】

サブピクチャが抽出され、これらが特定のプロファイルとレベルに準拠していることが示されている場合、ＡＵに適用される次の条件が各サブピクチャにも個別に適用されることが要件である必要がある。

【0133】

変数ＲａｗＭｉｎＣｕＢｉｔｓを次のように導出する。
ＲａｗＭｉｎＣｕＢｉｔｓ ＝
ＭｉｎＣｂＳｉｚｅＹ＊ＭｉｎＣｂＳｉｚｅＹ＊ （ＢｉｔＤｅｐｔｈ ＋ ２ ＊ ＢｉｔＤｅｐｔｈ／（ ＳｕｂＷｉｄｔｈＣ ＊ ＳｕｂＨｅｉｇｈｔＣ ））

【0134】

ＢｉｎＣｏｕｎｔｓＩｎＮａｌＵｎｉｔｓの値は、（３２÷３）＊ ＮｕｍＢｙｔｅｓＩｎＶｃｌＮａｌＵｎｉｔｓ ＋（ＲａｗＭｉｎＣｕＢｉｔｓ ＊ ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ）÷３２以下である必要がある。

【0135】

したがって、ビットストリーム制約または表示は、各サブピクチャが個別に上記の条件を満たすことを示す。

【0136】

第１の実施形態として、フラグは、サブピクチャが言及された制約を満たすことを示す制約フラグとしてシグナリングすることができる。これは、例えば図２５に示されている。

【0137】

別の実施形態では、そのような制約の履行は、以下の条件の一方または両方に基づく。
１） サブピクチャのｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇが１に等しい
２） ビットストリームには、サブピクチャのレベル適合性表示が含まれ、例えば ＳＥＩメッセージ（既存のｓｕｂｐｉｃ＿ｌｅｖｅｌ＿ｉｎｆｏ ＳＥＩメッセージ）による。

【0138】

言い換えると、ビデオの複数の画像をデータストリームに符号化することにおいて、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、コンテキスト適応型バイナリ算術コーディングを使用して符号化され得る。

【0139】

この場合、データストリームは、サブピクチャのいずれかが所定のビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライスまたは ＶＣＬ ＮＡＬユニットの終わりに少なくとも１つのサブピクチャを提供する。

【0140】

図２６に見られるように、エンコーダは、以下の方法でビットストリーム２６０５を生成することができる。２つのアクセスユニット２６２０または２６３０の部分が例示的に示されている。それらのそれぞれは、図１９の画像について例示的に示されるように、サブピクチャに細分されるようにその中に符号化された画像を有する。しかしながら、図２６は、各画像の正確に１つのサブピクチャに関連するビットストリームのそれらの部分に集中している。ＡＵ２６２１の場合、符号化は、例示的に、そのＡＵ２６１０の画像のサブピクチャがコード化された１つのスライス２６２１のみをもたらし、ＡＵ２６０の場合、３つのスライス、すなわち、２６３１、２６３２、及び２６３３が生じ、そのＡＵ２６３０のサブピクチャがコーディングされている。

【0141】

エンコーダは、ＣＡＢＡＣなどのバイナリ算術コーディングを使用する。つまり、構文要素を使用して、ビデオまたは画像のコンテンツを説明するために生成された構文要素を符号化する。まだバイナリ値が設定されていないものは、ビン文字列に２値化される。したがって、画像は構文要素に符号化され、順次一連のビンに符号化され、順次データストリームに算術的にコード化され、ビットストリームの各部分に至り、その各々は、サブピクチャなど、そこに符号化されたビデオの特定の部分を有する。この部分は特定のビット数を消費し、順次ビンの場合に特定の数を算術的にコード化することによって生成され、ビンとビットの比率が得られる。デコーダは逆のことを行い、１つのサブピクチャに関連付けられた部分が算術的に復号されてビンのシーケンスが生成され、次に２値化されて構文要素が生成され、そこから順次デコーダがサブピクチャを再構築できる。そのため、「ｂｉｎ－ｔｏ－ｂｉｔｒａｔｉｏ」の「ｂｉｎ」は、コード化される２値化されたシンボルのビット数または桁数を表し、「ｂｉｔ」は、ＣＡＢＡＣビットストリームの書き込み／読み取りビット数を表す。

【0142】

所定のビン対ビット比を超えることを回避するために、エンコーダは、各サブピクチャについて、それぞれのサブピクチャがコード化された１つまたは複数のスライスのＣＡＢＡＣコード化部分のビンとビットの比率をチェックし、比率が高すぎる場合、それぞれのサブピクチャがコード化されている１つまたは複数のスライスの１つまたは複数の終わりにＣＡＢＡＣコード化されるゼロワードをできるだけ多くＣＡＢＡＣエンコーディングエンジンに供給し、レーションがもはや超えられないようにする。これらのｃａｂａｃゼロワードは、図２６ではゼロ、つまり「０」で示されている。それらは、サブピクチャ２６２１の終わり、すなわち最後のスライスの終わりに追加されるか、またはサブピクチャのスライス２６３１、２６３２、及び２６３３の１つまたは複数の端に分散される方法で追加され得る。つまり、図２６は図２６の分散的なバリアントを示しているが、代わりにゼロワードを最後のスライス２６１３の最後に完全に追加することもできる。

【0143】

データストリーム２６０５は、デコーダ２６４０に到達すると、デコーダがデータストリーム、または少なくとも上記のサブピクチャに関連するその部分を復号し、ＡＵ２６２０及び２６３０内の対応するデータ部分を解析する。そうすることで、デコーダ２６４０は、ビンとビットの比率を超えないために必要なゼロワードの数を決定することによって、特定のサブピクチャの１つまたは複数のスライスの終わりにコード化されたゼロワードの量または数を決定でき、ｃａｂａｃゼロワードを破棄することができる。しかしながら、デコーダ２６４０が、他の手段によってゼロワードを他の構文要素から区別し、その後ゼロワードを破棄することができるような方法でスライスを解析することができることも可能であろう。すなわち、デコーダは、特定の所定の範囲に比率を得るのに必要な数のゼロワードをＣＡＢＡＣ復号し続けるために、特定のサブピクチャの１つまたは複数のスライスのビンとビットの比率をチェックする場合もしない場合もある。そうでない場合、デコーダは、構文的に他の構文要素から、ＣＡＢＡＣ復号されたゼロワードを区別することができる。

【0144】

比率条件が満たされない場合、デコーダ２６４０は特定のエラーモードに陥り、所定のエラーの処理がデコーダによってトリガーされ得る。

【0145】

最後に、サブピクチャの数は任意の数であり得ることに留意されたい。言い換えれば、少なくとも１つは、特に２つ以上のサブピクチャを意味することができる。

【0146】

独立性のプロパティ、例えばｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇについて、及び対応するレベルの適合性の表示、例えば、補足拡張情報、ＳＥＩ、メッセージについて、各サブピクチャを評価することが出来る。そのとき、評価に応じて、評価に従ってのみ、サブピクチャにゼロワードを提供することができる。

【0147】

少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの終わりにゼロワードでデータストリームを提供することができ、コンテキスト適応算術コーディングを使用するデータストリームへのそれぞれのサブピクチャに対するコード化されたビンの数は、所定の係数と、それぞれのサブピクチャに関連付けられたデータストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の積を使用して決定される数以下である。

【0148】

少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの終わりにゼロワードでデータストリームを提供することもでき、コンテキスト適応算術コーディングを使用するデータストリームへのそれぞれのサブピクチャに対するコード化されたビンの数は、第１の所定の係数と、それぞれのサブピクチャに関連付けられたデータストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の第１の積、及び第２の所定の係数と、コーディングブロックごとの最小ビット数とそれぞれのサブピクチャを構成するコーディングブロックの数の間の第２の積の合計を使用して決定される数以下である。

【0149】

いくつかの態様が装置の観点で説明されているが、これらの態様が対応する方法の説明も表すことが明らかであり、ブロックまたはデバイスは方法ステップ、または方法ステップの特徴に対応する。同様に、方法ステップの観点で説明された態様もまた、対応するブロックもしくは項目、または対応する装置の特徴の説明を表す。いくつかの、またはすべての方法ステップは、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路などのハードウェア装置によって（またはそれを使用して）実行され得る。いくつかの実施形態では、ほとんどの重要な方法ステップのうちの１つ以上は、そのような装置によって実行されてもよい。

【0150】

発明のデータストリームは、デジタル記憶媒体に記憶されてもよく、またはインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体上で伝送されてもよい。

【0151】

特定の実装要件に応じて、発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装されてもよい。実装態様は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または、協働することが可能な）、そこに記憶された電子可読制御信号を有する、デジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行されてもよい。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。

【0152】

本発明による、いくつかの実施形態は、電子的に可読な制御信号を有するデータキャリアを含み、これらの制御信号がプログラム可能なコンピュータシステムと協働することができることで、本明細書に記載の方法のうちの１つが実行される。

【0153】

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに格納され得る。

【0154】

他の実施形態は、本明細書に記載の方法のうちの１つを実行し、機械可読キャリアに格納されるコンピュータプログラムを含む。

【0155】

換言すれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行するときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0156】

したがって、発明の方法の更なる実施形態は、そこに記録された、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は典型的には、有形であり、及び／または非一時的である。

【0157】

したがって、発明の方法の更なる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号シーケンスは、例えば、インターネットを介してなど、データ通信接続を介して転送されるように構成され得る。

【0158】

さらなる実施形態は、例えば、本明細書に記載の方法のうちの１つを実行するように構成される、または適合されるコンピュータ、またはプログラマブルロジックデバイスなどの処理手段を含む。

【0159】

さらなる実施形態は、コンピュータを含み、その上には、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされている。

【0160】

本発明による、さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信器に転送する（例えば、電子的に、または光学的に）ように構成される、装置またはシステムを含む。受信器は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを含み得る。

【0161】

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）は、本明細書に記載の方法の機能の一部またはすべてを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。概して、方法は、いずれかのハードウェア装置によって好ましくは実行される。

【0162】

本明細書で説明される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実装されてもよい。

【0163】

本明細書で説明される装置、または本明細書で説明される装置のいずれかの構成要素は、ハードウェア及び／またはソフトウェアにおいて少なくとも部分的に実装されてもよい。

【0164】

本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実行されてもよい。

【0165】

本明細書で説明される方法、または本明細書で説明される装置のいずれかの構成要素は、ハードウェア及び／またはソフトウェアにおいて少なくとも部分的に実装されてもよい。

【0166】

上述の実施形態は、本発明の原理の例示に過ぎない。構成及び詳細の修正や変更が、当業者に明らかであろうことが理解される。したがって、本明細書の実施形態の記述及び説明として提示された具体的な詳細によってではなく、差し迫る特許請求の範囲によってのみ限定されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】