(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-17
(45)【発行日】2024-07-25
(54)【発明の名称】映像コーディング方法、装置、及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/70 20140101AFI20240718BHJP
H04N 19/30 20140101ALI20240718BHJP
【ＦＩ】
H04N19/70
H04N19/30
【請求項の数】
10
【外国語出願】
(21)【出願番号】P 2023030615
(22)【出願日】2023-03-01
(62)【分割の表示】P 2021555875の分割
【原出願日】2020-10-15
(65)【公開番号】P2023065565
(43)【公開日】2023-05-12
【審査請求日】2023-10-13
(31)【優先権主張番号】62/954,099
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/063,060
(32)【優先日】2020-10-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チョイ，ビョンドゥ
(72)【発明者】
【氏名】リィウ，シャン
(72)【発明者】
【氏名】ウェンジャー，ステファン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／０５９６８８（ＷＯ，Ａ１）
【文献】Rickard Sjoberg, Mitra Damghanian, and Martin Pettersson，AHG17: Picture header NAL unit type，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0377-v2，14th Meeting: Marrakesh, MA，2019年01月，pp.1-8
【文献】Hendry, Ye-Kui Wang, and Jianle Chen，AHG17: On Access Unit Delimiter and Picture Header，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0120-v1，16th Meeting: Geneva, CH，2019年09月，pp.1-3
【文献】Hendry, and Ye-Kui Wang，JVET-P0120_SpecText.docx，2019年09月，pp.35,44-46,83-88,108-110，https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0120-v1.zip
【文献】Wade Wan, Tim Hellman, and Brian Heng，AHG17: Picture Header，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0239-v1，16th Meeting: Geneva, CH，2019年09月，pp.1-8
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
エンコーダが実行する映像符号化の方法であって、当該方法は、ソース映像シーケンスを符号化して符号化映像シーケンスを生成するステップと、
前記符号化映像シーケンスをデコーダに送信するステップと、
を有し、
前記符号化映像シーケンスはピクチャユニットを含み、該ピクチャユニットは、ピクチャヘッダ（ＰＨ）ネットワーク抽象化層（ＮＡＬ）ユニットと、該ＰＨ ＮＡＬユニットに対応する少なくとも１つの符号化スライスＮＡＬユニットとを含み、
前記符号化映像シーケンスは更に、前記ＰＨ ＮＡＬユニット及び前記符号化スライスＮＡＬユニットによって参照されるＰＰＳ ＮＡＬユニットを含み、該ＰＰＳ ＮＡＬユニットは、ピクチャパラメータセット（ＰＰＳ）及び第１の層識別子を含み、
前記符号化映像シーケンスは更に、前記ＰＰＳ ＮＡＬユニットによって参照されるＳＰＳ ＮＡＬユニットを含み、該ＳＰＳ ＮＡＬユニットは、シーケンスパラメータセット（ＳＰＳ）及び第２の層識別子を含み、前記第１の層識別子の値は、前記第２の層識別子の値より大きい又は等しく、
前記ＳＰＳ ＮＡＬユニットは、単一のアクセスユニット内で前記ＰＰＳ ＮＡＬユニットの前に、前記デコーダに利用可能であり、且つ
前記ＰＰＳ ＮＡＬユニットは、前記ＰＨ ＮＡＬユニット及び前記少なくとも１つの符号化スライスＮＡＬユニットの前に、前記デコーダに利用可能である、
方法。
【請求項2】
前記ＳＰＳ ＮＡＬユニットの時間識別子がゼロに等しい、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの符号化スライスＮＡＬユニットの層識別子が、前記ＰＰＳ ＮＡＬユニットの層識別子より大きい又は等しい、請求項１に記載の方法。
【請求項4】
前記ＰＨ ＮＡＬユニット、前記少なくとも１つの符号化スライスＮＡＬユニット、及び前記ＰＰＳ ＮＡＬユニットは、前記単一のアクセスユニットに含まれる、請求項１に記載の方法。
【請求項5】
前記符号化映像シーケンスは更に、ステップワイズ・テンポラル・サブレイヤ・アクセス（ＳＴＳＡ）ピクチャに対応するＳＴＳＡ ＮＡＬユニットを含み、
前記ＳＴＳＡ ＮＡＬユニットは、前記ＰＰＳ ＮＡＬユニットと前記少なくとも１つの符号化スライスＮＡＬユニットとの間には位置しない、
請求項１に記載の方法。
【請求項6】
前記ＰＨ ＮＡＬユニット、前記少なくとも１つの符号化スライスＮＡＬユニット、前記ＰＰＳ ＮＡＬユニット、及び前記ＳＴＳＡ ＮＡＬユニットは、前記単一のアクセスユニットに含まれる、請求項５に記載の方法。
【請求項7】
前記ＰＰＳ ＮＡＬユニットの時間識別子が、前記ＳＴＳＡ ＮＡＬユニットの時間識別子に等しい、請求項５に記載の方法。
【請求項8】
前記ＰＰＳ ＮＡＬユニットのピクチャオーダカウント（ＰＯＣ）が、前記ＳＴＳＡ ＮＡＬユニットのＰＯＣ以上である、請求項５に記載の方法。
【請求項9】
映像符号化ための装置であって、当該装置は、
プログラムコードを格納するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み出し、前記プログラムコードによって命令されるように動作するよう構成された少なくとも１つのプロセッサと、
を有し、
前記プログラムコードは、前記少なくとも１つのプロセッサによって実行されるときに、前記少なくとも１つのプロセッサに請求項１乃至８のいずれか一項に記載の方法を実行させる、
装置。
【請求項10】
コンピュータに請求項１乃至８のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、２０１９年１２月２７日に出願された米国仮特許出願第６２／９５４，０９９号、及び２０２０年１０月５日に出願された米国特許出願第１７／０６３，０６０号からの優先権を主張するものであり、それらの全体をここに援用する。
【0002】
本開示に係る事項は、映像符号化及び復号に関し、より具体的には、符号化映像ストリームにおけるパラメータセットの参照及び範囲に関する。
【背景技術】
【0003】
動き補償を用いるインターピクチャ予測を使用した映像符号化及び復号が知られている。圧縮されていないデジタル映像は一連のピクチャで構成され、各ピクチャが、例えば、１９２０×１０８０の輝度（ルミナンス）サンプル及び関連する色（クロミナンス）サンプルの空間寸法を持つ。一連のピクチャは、固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を持つことができ、例えば、毎秒６０ピクチャ、すなわち、６０Ｈｚのピクチャレートを持ち得る。圧縮されていない映像は、かなりのビットレート要求を持つ。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０映像（６０Ｈｚのフレームレートで１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのような映像は、６００Ｇバイトを超えるストレージ空間を必要とする。
【0004】
映像の符号化及び復号の１つの目的は、圧縮を通じての入力映像信号の冗長性の低減であるとし得る。圧縮は、前述の帯域幅要求又はストレージ空間要求を、場合によって２桁以上の大きさで、低減させる助けとなることができる。可逆圧縮及び不可逆圧縮の双方、並びにこれらの組み合わせを使用することができる。可逆圧縮は、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。不可逆圧縮を使用する場合、再構成された信号は、原信号と同じにならないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図した用途に有用にするのに十分な小ささである。映像の場合、不可逆圧縮が広く用いられる。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン寄与アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比はそれを反映し、より高い許容／我慢できる歪みは、より高い圧縮比をもたらすことができる。
【0005】
ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピー符号化を含む幾つかの広範なカテゴリからの技術を利用することができ、それらの一部を以下にて紹介する。
【0006】
歴史的に、ビデオエンコーダ及びデコーダは、符号化映像シーケンス（coded video sequence；ＣＶＳ）、グループ・オブ・ピクチャ（Group of Pictures；ＧＯＰ）、又は類似のマルチピクチャ時間フレームに対して大抵の場合は規定されて一定のままにされた所与のピクチャサイズで動作する傾向にあった。例えば、ＭＰＥＧ－２では、例えばシーンのアクティブさなどのファクタに依存して水平解像度（及びそれによりピクチャサイズ）を変化させるシステム設計が知られているが、それはＩピクチャにおいてのみであり、従って典型的にＧＯＰに対してのみである。ＣＶＳ内で異なる解像度を使用するための参照ピクチャの再サンプリングは、例えば、ＩＴＵ－Ｔ勧告Ｈ．２６３付属書Ｐから知られている。しかしながら、そこでは、ピクチャサイズは変わらずに参照ピクチャのみが再サンプリングされ、可能性として、（ダウンサンプリングの場合に）使用されるピクチャキャンバスの部分のみ、又は（アップサンプリングの場合に）キャプチャされるシーンの部分のみになりかねない。また、Ｈ．２６３付属書Ｑは、上方又は下方に（各次元において）２倍の、個々のマクロブロックの再サンプリングを可能にしている。やはり、ピクチャサイズは同じままである。マクロブロックのサイズは、Ｈ．２６３では固定されており、故に、シグナリングされる必要はない。
【0007】
現代の映像符号化では、予測ピクチャにおけるピクチャサイズの変更が、より主流となった。例えば、ＶＰ９は、ピクチャ全体に対して参照ピクチャの再サンプリング及び解像度の変更を可能にする。同様に、ＶＶＣに向けて為された特定の提案（例えば、Ｈｅｎｄｒｙらの、“On adaptive resolution change (ARC) for VVC”、ジョイントビデオチーム文書ＪＶＥＴ－Ｍ０１３５－ｖ１、２０１９年１月９日から１９日を含み、その全体をここに援用する）は、より高い又はより低い、異なる解像度への参照ピクチャ全体の再サンプリングを可能にするものである。その文書では、複数の異なる候補解像度がシーケンスパラメータセット内に符号化され、ピクチャパラメータセット内のピクチャごとの構文要素によって参照されることが提案されている。
【発明の概要】
【0008】
一実施形態において、少なくとも１つのプロセッサを使用して符号化映像ビットストリームを復号する方法が提供され、当該方法は、前記符号化映像ビットストリームから符号化映像シーケンスを取得するステップと、前記符号化映像シーケンスからのピクチャユニットを取得するステップと、前記ピクチャユニットに含まれるピクチャヘッダ（ＰＨ）ネットワーク抽象化層（ＮＡＬ）ユニットを取得するステップと、前記ピクチャユニットに含まれる少なくとも１つの符号化スライスＮＡＬユニットを取得するステップと、前記ＰＨ ＮＡＬユニット、前記少なくとも１つの符号化スライスＮＡＬユニット、前記符号化映像シーケンスから得られるＰＰＳ ＮＡＬユニットに含まれるピクチャパラメータセット（ＰＰＳ）、及び前記符号化映像シーケンスから得られるＳＰＳ ＮＡＬユニットに含まれるシーケンスパラメータセット（ＳＰＳ）に基づいて、符号化ピクチャを復号するステップと、前記復号したピクチャを出力するステップと、を含み、前記ＳＰＳ ＮＡＬユニットは、前記ＰＰＳ ＮＡＬユニットの前に、前記少なくとも１つのプロセッサに利用可能であり、且つ前記ＰＰＳ ＮＡＬユニットは、前記ＰＨ ＮＡＬユニット及び前記少なくとも１つの符号化スライスＮＡＬユニットの前に、前記少なくとも１つのプロセッサに利用可能である。
【0009】
一実施形態において、符号化映像ビットストリームを復号するための装置が提供され、当該装置は、プログラムコードを格納するように構成された少なくとも１つのメモリと、前記プログラムコードを読み出し、前記プログラムコードによって命令されるように動作するよう構成された少なくとも１つのプロセッサと、を含み、前記プログラムコードは、前記少なくとも１つのプロセッサに、前記符号化映像ビットストリームから符号化映像シーケンスを取得させるように構成された第１の取得コードと、前記少なくとも１つのプロセッサに、前記符号化映像シーケンスからのピクチャユニットを取得させるように構成された第２の取得コードと、前記少なくとも１つのプロセッサに、前記ピクチャユニットに含まれるピクチャヘッダ（ＰＨ）ネットワーク抽象化層（ＮＡＬ）ユニットを取得させるように構成された第３の取得コードと、前記少なくとも１つのプロセッサに、前記ピクチャユニットに含まれる少なくとも１つの符号化スライスＮＡＬユニットを取得させるように構成された第４の取得コードと、前記少なくとも１つのプロセッサに、前記ＰＨ ＮＡＬユニット、前記少なくとも１つの符号化スライスＮＡＬユニット、前記符号化映像シーケンスから得られるＰＰＳ ＮＡＬユニットに含まれるピクチャパラメータセット（ＰＰＳ）、及び前記符号化映像シーケンスから得られるＳＰＳ ＮＡＬユニットに含まれるシーケンスパラメータセット（ＳＰＳ）に基づいて、符号化ピクチャを復号させるように構成された復号コードと、前記少なくとも１つのプロセッサに、前記復号したピクチャを出力させるように構成された出力コードと、を含み、前記ＳＰＳ ＮＡＬユニットは、前記ＰＰＳ ＮＡＬユニットの前に、前記少なくとも１つのプロセッサに利用可能であり、且つ前記ＰＰＳ ＮＡＬユニットは、前記ＰＨ ＮＡＬユニット及び前記少なくとも１つの符号化スライスＮＡＬユニットの前に、前記少なくとも１つのプロセッサに利用可能である。
【0010】
一実施形態において、命令を格納した非一時的なコンピュータ読み取り可能媒体が提供され、前記命令は、符号化映像ビットストリームを復号するための装置の１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、前記符号化映像ビットストリームから符号化映像シーケンスを取得させ、前記符号化映像シーケンスからのピクチャユニットを取得させ、前記ピクチャユニットに含まれるピクチャヘッダ（ＰＨ）ネットワーク抽象化層（ＮＡＬ）ユニットを取得させ、前記ピクチャユニットに含まれる少なくとも１つの符号化スライスＮＡＬユニットを取得させ、前記ＰＨ ＮＡＬユニット、前記少なくとも１つの符号化スライスＮＡＬユニット、前記符号化映像シーケンスから得られるＰＰＳ ＮＡＬユニットに含まれるピクチャパラメータセット（ＰＰＳ）、及び前記符号化映像シーケンスから得られるＳＰＳ ＮＡＬユニットに含まれるシーケンスパラメータセット（ＳＰＳ）に基づいて、符号化ピクチャを復号させ、前記復号したピクチャを出力させる、１つ以上の命令を含み、前記ＳＰＳ ＮＡＬユニットは、前記ＰＰＳ ＮＡＬユニットの前に、前記１つ以上のプロセッサに利用可能であり、且つ前記ＰＰＳ ＮＡＬユニットは、前記ＰＨ ＮＡＬユニット及び前記少なくとも１つの符号化スライスＮＡＬユニットの前に、前記１つ以上のプロセッサに利用可能である。
【図面の簡単な説明】
【0011】
本開示に係る事項の更なる特徴、性質、及び様々な利点が、以下の詳細な説明及び添付の図面から、よりいっそう明らかになる。
【図1】一実施形態に従った通信システムの簡略ブロック図の概略図である。
【図2】一実施形態に従った通信システムの簡略ブロック図の概略図である。
【図3】一実施形態に従ったデコーダの簡略ブロック図の概略図である。
【図4】一実施形態に従ったエンコーダの簡略ブロック図の概略図である。
【図7】一実施形態に従った、適応解像度変更を用いたスケーラビリティ向けの予測構造の一例である。
【図8】一実施形態に従った構文テーブルの一例である。
【図9】一実施形態に従った、アクセスユニットごとのＰＯＣサイクル及びアクセスユニットカウント値を構文解析及び復号することの簡略ブロック図の概略図である。
【図10】一実施形態に従った、多層サブピクチャを含む映像ビットストリーム構造の概略図である。
【図11】一実施形態に従った、高められた解像度での選択されたサブピクチャの表示の概略図である。
【図12】一実施形態に従った、多層サブピクチャを含む映像ビットストリームの復号及び表示プロセスのブロック図である。
【図13】一実施形態に従った、サブピクチャのエンハンスメント層を用いた３６０映像表示の概略図である。
【図14】一実施形態に従った、ブピクチャのレイアウト情報、並びにその対応する層及びピクチャ予測構造の一例である。
【図15】一実施形態に従った、局所領域の空間的スケーラビリティモダリティを用いた、サブピクチャのレイアウト情報、並びにその対応する層及びピクチャ予測構造の一例である。
【図17】一実施形態に従った、サブピクチャレイアウト情報に関するＳＥＩメッセージの構文テーブルの一例である。
【図18】一実施形態に従った、各出力層セットについての出力層及びプロファイル／ティア／レベル情報を示す構文テーブルの一例である。
【図19】一実施形態に従った、各出力層セットについての出力層モードオンを示す構文テーブルの一例である。
【図20】一実施形態に従った、各出力層セットについての各層の現在サブピクチャを示す構文テーブルの一例である。
【図21】一実施形態に従った、符号化映像ビットストリームを復号するためのプロセスの一例のフローチャートである。
【図22】一実施形態に従ったコンピュータシステムの概略図である。
【発明を実施するための形態】
【0012】
図１は、本開示の一実施形態に従った通信システム（１００）の簡略化したブロック図を例示している。システム（１００）は、ネットワーク（１５０）を介して相互接続された少なくとも２つの端末（１１０－１２０）を含み得る。データの一方向伝送では、第１の端末（１１０）は、ネットワーク（１５０）を介した他方の端末（１２０）への伝送のために、ローカル位置で映像データを符号化し得る。第２の端末（１２０）は、他方の端末の符号化された映像データをネットワーク（１５０）から受信し、符号化されたデータを復号し、そして、復元された映像データを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。
【0013】
図１は、例えばテレビ会議中に発生し得る符号化された映像の双方向伝送をサポートするように設けられた第２対の端末（１３０、１４０）を例示している。データの双方向伝送では、各端末（１３０、１４０）が、ローカル位置でキャプチャされた映像データを、ネットワーク（１５０）を介した他方の端末への伝送のために符号化し得る。各端末（１３０、１４０）はまた、他方の端末によって送信された符号化された映像データを受信することができ、符号化データを復号し、そして、復元された映像データをローカルのディスプレイ装置に表示し得る。
【0014】
図１では端末（１１０－１４０）がサーバ、パーソナルコンピュータ、及びスマートフォンとして例示され得るが、本開示の原理はそのように限定されるものではないとし得る。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器での適用を見出すものである。ネットワーク（１５０）は、例えば、有線通信ネットワーク及び／又は無線通信ネットワークを含め、端末（１１０－１４０）間で符号化された映像データを伝達するあらゆる数のネットワークを表す。通信ネットワーク（１５０）は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク（１５０）のアーキテクチャ及びトポロジーは、以下にて説明しない限り、本開示の動作にとって重要ではないとし得る。
【0015】
図２は、本開示に係る事項に関するアプリケーションの一例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を例示している。本開示に係る事項は、例えば、テレビ会議や、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮映像の格納などを含め、映像を使用可能な他の用途にも等しく適用可能であるとし得る。
【0016】
ストリーミングシステムは、キャプチャサブシステム（２１３）を含むことができ、これは、例えば未圧縮の映像サンプルストリーム（２０２）を作り出す例えばデジタルカメラといった映像ソース（２０１）を含むことができる。そのサンプルストリーム（２０２）は、符号化された映像ビットストリームと比較して高いデータボリュームであることを強調するために太線として描かれており、カメラ２０１に結合されたエンコーダ（２０３）によって処理され得る。エンコーダ（２０３）は、更に詳細に後述される本開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。符号化された映像ビットストリーム（２０４）は、サンプルストリームと比較して低いデータボリュームであることを強調するために細線として描かれており、後の使用のためにストリーミングサーバ（２０５）に格納されることができる。１つ以上のストリーミングクライアント（２０６、２０８）が、符号化された映像ビットストリーム（２０４）のコピー（２０７、２０９）を取り出すためにストリーミングサーバ（２０５）にアクセスすることができる。クライアント（２０６）は、入ってくる符号化された映像ビットストリームのコピー（２０７）を復号し、出ていく映像サンプルストリーム（２１１）を作り出すビデオデコーダ（２１０）を含むことができ、出ていく映像サンプルストリーム（２１１）が、ディスプレイ（２１２）又は他のレンダリング装置（図示せず）上でレンダリングされ得る。一部のストリーミングシステムにおいて、映像ビットストリーム（２０４、２０７、２０９）は、特定の映像符号化／圧縮標準に従って符号化されることができる。それらの標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。非公式にバーサタイルビデオコーディングすなわちＶＶＣとして知られる映像符号化標準が開発中である。本開示に係る事項は、ＶＶＣの文脈で使用され得る。
【0017】
図３は、本開示の一実施形態に従ったビデオデコーダ（２１０）の機能ブロック図であるとし得る。
【0018】
受信器（３１０）が、デコーダ（２１０）によって復号される１つ以上の符号化映像シーケンスを受信することができ、同じ又は他の実施形態において、一度に１つの符号化映像シーケンスを受信することができ、各符号化映像シーケンスの復号は、他の符号化映像シーケンスとは独立である。符号化映像シーケンスは、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得るものであるチャネル（３１２）から受信され得る。受信器（３１０）は、符号化映像データを、例えば符号化された音声データ及び／又は補助データストリームといった他のデータと共に受信してもよく、それらのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器（３１０）は、符号化映像シーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器（３１０）とエントロピーデコーダ／パーサ（３２０）（以下、“パーサ”）との間にバッファメモリ（３１５）が結合され得る。受信器（３１０）が、十分な帯域幅及び可制御性の格納／転送装置から又は等同期ネットワークからデータを受信しているとき、バッファ（３１５）は、必要とされないことがあり、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファ（３１５）が必要とされ得るとともに、比較的大きくされ、そして有利には、適応可能なサイズのものにされ得る。
【0019】
ビデオデコーダ（２１０）は、エントロピー符号化された映像シーケンスからシンボル（３２１）を再構成するためのパーサ（３２０）を含み得る。それらシンボルのカテゴリは、デコーダ（２１０）の動作を管理するために使用される情報を含むとともに、可能性として、例えばディスプレイ（２１２）などのレンダリング装置を制御する情報を含み得る。ディスプレイ（２１２）などのレンダリング装置は、デコーダの一体部分ではないが、図３に示したようにデコーダに結合されることができる。（１つ以上の）レンダリング装置用の制御情報は、補足拡張情報（Supplementary Enhancement Information；ＳＥＩ）メッセージ又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ（３２０）は、受け取った符号化映像シーケンスを構文解析／エントロピー復号し得る。符号化映像シーケンスの符号化は、映像符号化技術又は標準によることができ、可変長符号化、ハフマン符号化、文脈依存性を持つ又は持たない算術符号化などを含め、当業者に周知の原理に従うことができる。パーサ（３２０）は、符号化映像シーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、サブピクチャ、タイル、スライス、ブリック、マクロブロック、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。タイルは、ピクチャの特定のタイル列及び行内の矩形領域のＣＵ／ＣＴＵを指し示し得る。ブリックは、特定のタイル内の矩形領域のＣＵ／ＣＴＵ行を指し示し得る。スライスは、ＮＡＬユニットに含まれるものであるピクチャの１つ以上のブリックを指し示し得る。サブピクチャは、ピクチャ内の矩形領域の１つ以上のスライスを指し示し得る。エントロピーデコーダ／パーサはまた、符号化映像シーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。
【0020】
パーサ（３２０）は、シンボル（３２１）を生み出すよう、バッファ（３１５）から受け取った映像シーケンスにエントロピー復号／構文解析処理を実行し得る。
【0021】
シンボル（３２１）の再構成には、符号化された映像ピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットがどのように関与するかは、パーサ（３２０）によって符号化映像シーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（３２０）と以下の複数ユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。
【0022】
既述の機能ブロックを超えて、デコーダ２１０は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、本開示に係る事項を説明するという目的のためには、以下の機能ユニットへの概念的な細分化が適切である。
【0023】
第１のユニットは、スケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）は、パーサ（３２０）からの（１つ以上の）シンボル（３２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受け取る。これは、アグリゲータ（３５５）に入力されることが可能な、サンプル値を有するブロックを出力することができる。
【0024】
場合により、スケーラ／逆変換（３５１）の出力サンプルは、イントラ符号化されたブロック、すなわち、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロック、に関係し得る。このような予測情報は、イントラピクチャ予測ユニット（３５２）によって提供されることができる。場合により、イントラピクチャ予測ユニット（３５２）は、現在の（部分的に再構成された）ピクチャ（３５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。アグリゲータ（３５５）は、場合により、サンプル毎に、イントラ予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供される出力サンプル情報に付加する。
【0025】
他の場合には、スケーラ／逆変換ユニット（３５１）の出力サンプルは、インター符号化された、動き補償された可能性のあるブロックに関係し得る。このような場合、動き補償予測ユニット（３５３）が、参照ピクチャメモリ（３５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル（３２１）に従って動き補償した後、これらのサンプルが、アグリゲータ（３５５）によって、スケーラ／逆変換ユニットの出力（この場合、残余サンプル又は残余信号と呼ぶ）に付加されて、出力サンプル情報を生成することができる。そこから動き補償ユニットが予測サンプルをフェッチする参照ピクチャメモリ内のアドレスは、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル（３２１）の形態で動き補償ユニットに利用可能な動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリからフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。
【0026】
アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）にて様々なループフィルタリング技術に掛けられ得る。映像圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化映像ビットストリームに含められてパーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能にされるパラメータによって制御されるが、符号化ピクチャ又は符号化映像シーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。
【0027】
ループフィルタユニット（３５６）の出力は、レンダリング装置（２１２）に出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリに格納され得る。
【0028】
ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。ある符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ（３２０）によって）特定されると、現在の参照ピクチャ（３５８）が参照ピクチャバッファ（３５７）の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャメモリが再割り当てされ得る。
【0029】
ビデオデコーダ２１０は、例えばＩＴＵ－Ｔ勧告Ｈ．２３５などの標準にて文書化され得る所定の映像圧縮技術に従って復号処理を実行し得る。符号化映像シーケンスは、映像圧縮技術文書又は標準、特にその中のプロファイル文書の中で規定されるように映像圧縮技術又は標準の構文を忠実に守るという意味で、使用される映像圧縮技術又は標準によって規定される構文に従い得る。また、準拠のためにこれまた必要なことは、符号化映像シーケンスの複雑さが、映像圧縮技術又は標準のレベルによって定められる限度内であることである。場合により、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、場合により、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化映像シーケンスにてシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。
【0030】
一実施形態において、受信器（３１０）は、符号化された映像と共に追加（冗長）データを受信し得る。追加データは、（１つ以上の）符号化映像シーケンスの一部として含められ得る。追加データは、データを適切に復号するため、及び／又は元の映像データをいっそう正確に再構成するために、ビデオデコーダ（２１０）によって使用され得る。追加データは、例えば、時間的、空間的、又はＳＮＲエンハンスメント層、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。
【0031】
図４は、本開示の一実施形態に従ったビデオエンコーダ（２０３）の機能ブロック図とし得る。
【0032】
エンコーダ（２０３）は、エンコーダ（２０３）によって符号化される（１つ以上の）映像画像をキャプチャし得る映像ソース（２０１）（エンコーダの一部ではない）から映像サンプルを受信し得る。
【0033】
映像ソース（２０１）は、エンコーダ（２０３）によって符号化されるソース映像シーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）のものとし得るデジタル映像サンプルストリームの形態で提供し得る。メディアサービス提供システムにおいて、映像ソース（２０１）は、事前に準備された映像を格納したストレージ装置とし得る。テレビ会議システムでは、映像ソース（２０１）は、ローカルな画像情報を映像シーケンスとしてキャプチャするカメラとし得る。映像データは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを有することができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。
【0034】
一実施形態によれば、エンコーダ（２０３）は、ソース映像シーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される他の時間制約下で、符号化映像シーケンス（４４３）へと符号化及び圧縮し得る。適切な符号化速度を強制することは、コントローラ（４５０）の１つの機能である。コントローラは、後述するような他の機能ユニットを制御し、それらのユニットに機能的に結合される。その結合は、明瞭さのために図示されていない。コントローラによって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。当業者は、特定のシステム設計に合わせて最適化されるビデオエンコーダ（２０３）に関連し得るものとして、コントローラ（４５０）の他の機能を直ちに特定することができる。
【0035】
一部のビデオエンコーダは、当業者が“符号化ループ”として直ちに認識するものにて動作する。過度に単純化した説明として、符号化ループは、エンコーダの符号化部分（４３０）（以下、“ソースコーダ”）（符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいてシンボルを作成することを担う）と、エンコーダ（２０３）に埋め込まれた（ローカル）デコーダ（４３３）とで構成されることができ、（ローカル）デコーダ（４３３）は、シンボルを再構成して、（リモート）デコーダも作成し得る（本開示に係る事項において検討している映像圧縮技術においては、シンボルと符号化映像ビットストリームとの間の如何なる圧縮も可逆であるため）ものであるサンプルデータを生成する。その再構成されたサンプルストリームが、参照ピクチャメモリ（４３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャバッファのコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに“見る”のとまったく同じサンプル値を参照ピクチャサンプルとして“見る”。この参照ピクチャ同期性の基本原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、当業者によく知られている。
【0036】
“ローカル”デコーダ（４３３）の動作は、“リモート”デコーダ（２１０）のものと同じであるとすることができ、それは、図３に関連して既に詳細に上述されている。しかし、図４も簡単に参照するに、シンボルが利用可能であり、且つエントロピーコーダ（４４５）及びパーサ（３２０）によるシンボルの符号化映像シーケンスへの符号化／復号は可逆であるとし得るので、チャネル（３１２）、受信器（３１０）、バッファ（３１５）、及びパーサ（３２０）を含むデコーダ（２１０）のエントロピー復号部分は、ローカルデコーダ（４３３）に完全に実装されなくてよい。
【0037】
この時点で気付くことができることには、デコーダ内に存在する構文解析／エントロピー復号を除く如何なるデコーダ技術も必ず、対応するエンコーダ内で、実質的に同じ機能的形態で存在する必要がある。この理由により、本開示に係る事項はデコーダ動作に焦点を当てている。エンコーダ技術の説明は、徹底して説明したデコーダ技術の逆であるため、省略することができる。特定の分野においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0038】
その動作の一部として、ソースコーダ（４３０）は、入力フレームを、映像シーケンスからの、“参照フレーム”として指定された１つ以上の先に符号化されたフレームに対して予測的に符号化するものである動き補償予測符号化を実行し得る。斯くして、符号化エンジン（４３２）は、入力フレームのピクセルブロックと、入力フレームに対する（１つ以上の）予測参照として選択され得る（１つ以上の）参照フレームのピクセルブロックとの間の差分を符号化する。
【0039】
ローカルビデオデコーダ（４３３）は、参照フレームとして指定され得るフレームの符号化映像データを、ソースコーダ（４３０）によって作成されたシンボルに基づいて復号し得る。符号化エンジン（４３２）の動作は、有利には、不可逆プロセスとし得る。符号化映像データがビデオデコーダ（図４には示されていない）で復号され得るとき、再構成された映像シーケンスは典型的に、幾分の誤差を伴うソース映像シーケンスのレプリカであり得る。ローカルビデオデコーダ（４３３）は、参照フレーム上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照フレームを参照ピクチャキャッシュ（４３４）に格納させるようにし得る。斯くして、エンコーダ（２０３）は、ファーエンドのビデオデコーダによって得られることになる再構成参照フレームと共通のコンテンツを持つ再構成参照フレームのコピーをローカルに格納し得る。
【0040】
予測器（４３５）は、符号化エンジン（４３２）のために予測探索を実行し得る。すなわち、符号化すべき新たなフレームに関して、予測器（４３５）は、新たなピクチャ用の適切な予測参照としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動画ベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ（４３４）を検索し得る。予測器（４３５）は、適切な予測参照を見出すために、ピクセルブロック毎に動作し得る。場合により、予測器（４３５）によって得られた検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に格納された複数の参照ピクチャから引き出された予測参照を有し得る。
【0041】
コントローラ（４５０）は、例えば、映像データを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、映像コーダ（４３０）の符号化処理を管理し得る。
【0042】
前述の全ての機能ユニットの出力が、エントロピーコーダ（４４５）におけるエントロピー符号化に掛けられ得る。エントロピーコーダは、例えばハフマン符号化、可変長符号化、算術符号化などといった当業者に知られた技術に従ってシンボルを無損失圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化映像シーケンスへと変換する。
【0043】
送信器（４４０）が、エントロピーコーダ（４４５）によって生成された符号化映像シーケンスをバッファリングし、それを、通信チャネル（４６０）を介した伝送のために準備し得る。通信チャネル（４６０）は、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得る。送信器（４４０）は、映像コーダ（４３０）からの符号化映像データを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージし得る。
【0044】
コントローラ（４５０）は、エンコーダ（２０３）の動作を管理し得る。符号化において、コントローラ（４５０）は、各符号化ピクチャに、それぞれのピクチャに適用され得る符号化技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャはしばしば、以下のフレームタイプの１つとして割り当てられ得る。
【0045】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のフレームを使用することなく、符号化コード化及び復号され得るものとし得る。一部の映像コーデックは、例えば独立デコーダリフレッシュピクチャを含め、異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。
【0046】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。
【0047】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。同様に、多重予測画像は、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。
【0048】
ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎に符号化され得る。ブロックは、それらブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは非予測的に符号化されることができ、あるいは、それらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。
【0049】
ビデオコーダ（２０３）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定の映像符号化技術又は標準に従って符号化処理を実行し得る。その動作において、ビデオコーダ（２０３）は、入力映像シーケンスにおける時間的及び空間的な冗長性を活用する予測的な符号化処理を含め、様々な圧縮処理を実行し得る。符号化された映像データは、それ故に、使用されている映像符号化技術又は標準によって規定される構文に従い得る。
【0050】
一実施形態において、送信器（４４０）は、符号化された映像と共に追加データを送信し得る。映像コーダ（４３０）が、そのようなデータを、符号化映像シーケンスの一部として含め得る。追加データは、時間的／空間的／ＳＮＲエンハンスメント層、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、補足拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを有し得る。
【0051】
最近、複数の意味的に独立したピクチャ部分の、単一のビデオピクチャへの、圧縮ドメイン集約又は抽出が注目を集めている。特に、例えば、３６０コーディング又は特定の監視アプリケーションのコンテキストにおいて、複数の意味的に独立したソースピクチャ（例えば、立方体投影３６０シーンの６つの立方体表面、又はマルチカメラ監視セットアップの場合の個々のカメラ入力）が、所与の時点でのシーン毎の異なるアクティビティに対処するために、別々の適応解像度設定を必要とすることがある。換言すれば、エンコーダは、所定の時点で、３６０シーン又は監視シーンの全体を構成する複数の異なる意味的に独立したピクチャに対して異なる再サンプリング係数を使用することを選択することがある。単一のピクチャに結合されるとき、それは参照ピクチャの再サンプリングが実行されること、及び符号化されるピクチャの複数の部分のために適応解像度符号化シグナリングが利用可能であることを必要とする。
【0052】
以下にて、この説明の残りの部分で参照されることになる幾つかの用語を紹介する。
【0053】
サブピクチャは、一部のケースで、意味的にグループ化され、変更された解像度で独立に符号化され得る矩形構成のサンプル、ブロック、マクロブロック、符号化ユニット、又は類似のエンティティを指し得る。１つ以上のサブピクチャでピクチャを形成することができる。１つ以上の符号化サブピクチャが、符号化ピクチャを形成し得る。１つ以上のサブピクチャを１つのピクチャへと組み立てることができ、また、１つ以上のサブピクチャをピクチャから抽出することができる。特定の環境において、１つ以上の符号化サブピクチャが、サンプルレベルへのトランスコーディングなしで圧縮ドメインにて符号化ピクチャへと組み立てられることができ、同じ又は他のケースにおいて、１つ以上の符号化サブピクチャが、圧縮ドメインにて符号化ピクチャから抽出されることができる。
【0054】
適応解像度変更（Adaptive Resolution Change；ＡＲＣ）は、例えば参照ピクチャ再サンプリングによって、符号化映像シーケンス内のピクチャ又はサブピクチャの解像度の変更を可能にする機構を指し得る。これ以降、ＡＲＣパラメータは、適応解像度変更を実行するために必要とされる制御情報を指し、それは、例えば、フィルタパラメータ、スケーリング係数、出力及び／又は参照ピクチャの解像度、種々の制御フラグなどを含み得る。
【0055】
実施形態において、単一の意味的に独立した符号化映像ピクチャ上で符号化及び復号が実行され得る。独立したＡＲＣパラメータを持つ複数のサブピクチャの符号化／復号の意味あい及びそれがもたらす追加の複雑さを説明する前に、ＡＲＣパラメータをシグナリングするためのオプションを説明しておく。
【0056】
図５Ａ－図５Ｅを参照するに、ＡＲＣパラメータをシグナリングするための幾つかの実施形態が示されている。これらの実施形態の各々で言及するように、これらは、符号化効率、複雑性、及びアーキテクチャの観点から、一定の利点及び一定の欠点を有し得る。映像符号化標準又は技術は、ＡＲＣパラメータをシグナリングするために、これらの実施形態のうちの１つ以上又は関連技術から知られるオプションを選択し得る。これらの実施形態は、相互に排他的であるわけではなく、考えられる限りにおいて、用途上のニーズ、関与する標準技術、又はエンコーダの選択に基づいて相互に入れ換えられ得る。
【0057】
ＡＲＣパラメータのクラスは、以下を含み得る。
【0058】
－ Ｘ及びＹの次元で別々の又は組み合わされるアップ／ダウンサンプリング係数。
【0059】
－ 所与の数のピクチャに対する一定速度のズームイン／アウトを指し示す、時間次元の追加を伴うアップ／ダウンサンプリング係数。
【0060】
－ 上の２つのうちいずれかは、（１つ以上の）ファクタを含むテーブル内を指し得る１つ以上の恐らくは短い構文要素の符号化を伴い得る。
【0061】
－ 組み合わせての又は別々の、入力ピクチャ、出力ピクチャ、参照ピクチャ、符号化ピクチャのサンプル、ブロック、マクロブロック、符号化ユニット（ＣＵ）、又は他の好適な粒度の単位での、Ｘ次元又はＹ次元における解像度。２つ以上の解像度（例えば、入力ピクチャ用の１つ、参照ピクチャ用の１つ）が存在する場合、特定のケースにおいて、１組の値が別の１組の値から推定され得る。これは、例えばフラグの使用によって、ゲーティングされ得る。より詳細な例について、以下を参照されたい。
【0062】
－ “ワーピング”座標は、やはり上述のような好適な粒度での、Ｈ．２６３付属書Ｐで使用されるものと類似である。Ｈ．２６３付属書Ｐは、このようなワーピング座標を符号化するための１つの効率的な手法を規定しているが、考えられる限りにおいて、可能性としてもっと効率的な他の手法も考案され得る。例えば、付属書Ｐのワーピング座標の可変長可逆“ハフマン”形式の符号化は、好適な長さのバイナリ符号化によって置き換えられてもよく、その場合、バイナリコードワードの長さが、例えば、最大ピクチャサイズから導出され、場合により、最大ピクチャサイズの境界の外に“ワープ”することを可能にするよう、ある一定の係数を乗算され、そして、ある一定の値だけオフセットされ得る。
【0063】
－ アップ又はダウンサンプリングフィルタパラメータ。実施形態において、アップサンプリング及び／又はダウンサンプリングのための単一のフィルタのみが存在し得る。しかしながら、実施形態において、フィルタ設計においていっそうの柔軟性を可能にすることが望ましいとすることができ、それがフィルタパラメータのシグナリングを必要とし得る。そのようなパラメータは、可能なフィルタ設計のリスト内のインデックスを介して選択されることができ、フィルタは、完全に指定されることができ（例えば、フィルタ係数のリストを介して、適切なエントロピー符号化技術を用いて）、フィルタは、代わってそれが上述の機構のうちのいずれかに従ってシグナリングされるアップ／ダウンサンプリング比を通じて暗示的に選択され得る。
【0064】
これ以降、この説明は、コードワードを通じて指し示される有限セットのアップ／ダウンサンプリング係数の符号化（Ｘ次元及びＹ次元の両方で同じ係数が使用される）を仮定する。そのコードワードは、例えばＨ．２６４及びＨ．２６５などの映像符号化仕様における特定の構文要素に対して普及しているＥｘｔ－Ｇｏｌｏｍｂ符号を用いて、可変長符号化され得る。１つの好適な、アップ／ダウンサンプリング係数への値のマッピングは、例えば、表１に従うことができる。
【表1】
【0065】
多くの類似のマッピングが、用途のニーズ、及び映像圧縮技術又は標準で利用可能なアップスケール及びダウンスケール機構の能力に従って考案され得る。この表は、より多くの値に拡張されてもよい。値はまた、例えばバイナリ符号化を用いて、Ｅｘｔ－Ｇｏｌｏｍｂ符号以外のエントロピー符号化機構によって表現されてもよい。これは、例えばＭＡＮＥによってなど、映像処理エンジン（エンコーダ及びデコーダ第一）自体の外側で再サンプリング係数が関心あるものであった場合に、ある一定の利点を有し得る。なお、解像度変更が要求されない状況では、上の表では１ビットのみである短いＥｘｔ－Ｇｏｌｏｍｂ符号を選択することができる。これは、最も一般的なケースに対してバイナリコードを使用するものよりも、符号化効率上の利点を有し得る。
【0066】
表の中のエントリの数及びそれらのセマンティクスは、完全に又は部分的に設定可能とし得る。例えば、表の基本的な骨子は、例えばシーケンス又はデコーダパラメータセットなどの“ハイ”パラメータセットにて伝えられ得る。実施形態において、１つ以上のこのような表が、映像符号化技術又は標準で規定されることができ、例えばデコーダ又はシーケンスパラメータセットを通じて選択され得る。
【0067】
以下、上述のように符号化されるアップサンプリング／ダウンサンプリング係数（ＡＲＣ情報）がどのように映像符号化技術又は標準の構文に含められるかについて説明する。同様の考察が、アップ／ダウンサンプリングフィルタを制御する１つ又は少数のコードワードに適用され得る。フィルタ又は他のデータ構造に比較的大量のデータが必要とされる場合の議論ついて以下を参照されたい。
【0068】
図５Ａに示すように、Ｈ．２６３付属書Ｐは、４つのワーピング座標の形態をしたＡＲＣ情報（５０２）をピクチャヘッダ（５０１）に含め、具体的にはＨ．２６３ ＰＬＵＳＰＴＹＰＥ（５０３）ヘッダ拡張に含める。これは、ａ）利用可能なピクチャヘッダが存在し、且つｂ）ＡＲＣ情報の頻繁な変更が予期される場合に、合理的な設計選択となり得る。しかしながら、Ｈ．２６３様式のシグナリングを使用する場合のオーバヘッドは非常に高くなることがあり、また、ピクチャヘッダが一時的な性質のものであり得るので、スケーリング係数がピクチャ境界の間で適切でないことがある。
【0069】
図５Ｂに示すように、ＪＶＣＥＴ－Ｍ１３５－ｖ１は、ピクチャパラメータセット（５０４）内に位置するＡＲＣ参照情報（５０５）（インデックス）を含み、代わってシーケンスパラメータセット（５０７）内に位置するターゲット解像度を含むテーブル（５０６）を索引付ける。シーケンスパラメータセット（５０７）内のテーブル（５０６）中の可能な解像度の配置は、筆者によって為される言葉による記述によれば、能力入れ換え中の相互運用性折衝点としてＳＰＳを使用することによって正当化され得る。解像度は、適切なピクチャパラメータセット（５０４）を参照することによって、ピクチャからピクチャへと、テーブル（５０６）中の値によって設定される制限内で変化することができる。
【0070】
図５Ｃ－図５Ｅを参照するに、以下の実施形態は、映像ビットストリーム内でＡＲＣ情報を伝達するために存在し得る。これらのオプションは各々、上述の実施形態に対する一定の利点を有する。同じ映像符号化技術又は標準において複数の実施形態が同時に存在してもよい。
【0071】
例えば図５Ｃに示す実施形態などの実施形態において、例えば再サンプリング（ズーム）係数などのＡＲＣ情報（５０９）は、スライスヘッダ、ＧＯＰヘッダ、タイルヘッダ、又はタイルグループヘッダ内に存在し得る。図５Ｃは、タイルグループヘッダ（５０８）が使用される実施形態を例示している。これは、例えば上で示したように、例えば単一の可変長ｕｅ（ｖ）又は数ビットの固定長コードワードなど、ＡＲＣ情報が小さい場合に適当であり得る。タイルグループヘッダ内に直接的にＡＲＣ情報を持つことは、ピクチャ全体ではなく例えばそのタイルグループによって表されるサブピクチャに対してＡＲＣ情報を適用可能にし得るという追加な利点を有する。以下も参照されたい。さらに、映像圧縮技術又は標準が（例えば、タイルグループベースの適応解像度変更とは対照的に）ピクチャ全体の適応解像度変更のみを想定している場合であっても、ＡＲＣ情報をタイルグループヘッダに入れることは、Ｈ．２６３様式のピクチャヘッダにそれを入れることと比べて、エラー耐性の観点から一定の利点を有する。
【0072】
例えば図５Ｄに示す実施形態などの実施形態において、ＡＲＣ情報（５１２）自体は、例えばピクチャパラメータセット、ヘッダパラメータセット、タイルパラメータセット、適応パラメータセットなどの適切なパラメータセット内に存在してもよい。図５Ｄは、適応パラメータセット（５１１）が使用される実施形態を例示している。このパラメータセットの範囲は、有利には、例えばタイルグループなど、ピクチャよりも大きくないとし得る。ＡＲＣ情報の使用は、関連するパラメータセットの有効化による暗示的なものである。例えば、映像符号化技術又は標準がピクチャベースのＡＲＣのみを企図する場合、ピクチャパラメータセット又は同等物が適切であり得る。
【0073】
例えば図５Ｅに示す実施形態などの実施形態において、ＡＲＣ参照情報（５１３）は、タイルグループヘッダ（５１４）又は類似のデータ構造内に存在し得る。この参照情報（５１３）は、例えばシーケンスパラメータセット又はデコーダパラメータセットといった、単一のピクチャを超える範囲を持つパラメータセット（５１６）内で利用可能なＡＲＣ情報のサブセット（５１５）を参照することができる。
【0074】
ＪＶＥＴ－Ｍ０１３５－ｖ１で使用されるようなタイルグループヘッダ、ＰＰＳ、ＳＰＳからの、この追加レベルの、ＰＰＳの間接暗示的有効化は、不要であるように見える。何故なら、ピクチャパラメータセットを、シーケンスパラメータセットと同様に、能力折衝又はアナウンスに使用することができる（且つ、例えばＲＦＣ３９８４などの特定の標準において、有する）からである。しかしながら、ＡＲＣ情報が、例えばタイルグループによって表されるサブピクチャにも適用可能であるべき場合、例えば適応パラメータセット又はヘッダパラメータセットなどの、タイルグループに限られた有効化範囲を持つパラメータセットの方が良い選択となり得る。また、ＡＲＣ情報が、無視できる大きさよりも大きいものであり、例えば、多数のフィルタ係数などのフィルタ制御情報を含む場合、パラメータは、ヘッダ（５０８）を直接使用するよりも、符号化効率の観点から良い選択となり得る。何故なら、それらの設定は、同じパラメータセットを参照することによって将来のピクチャ又はサブピクチャによって再利用可能とし得るからである。
【0075】
シーケンスパラメータセット、又は複数のピクチャにまたがる範囲を持つ別のより高いパラメータセットを使用する場合、以下の一定の考察が適用され得る。
【0076】
１． ＡＲＣ情報テーブル（５１６）を格納するパラメータセットは、一部のケースにおいてシーケンスパラメータセットとすることができるが、他のケースにおいて有利にはデコーダパラメータセットとし得る。デコーダパラメータセットは、複数のＣＶＳ、はっきり言えば符号化映像ストリーム、すなわち、セッション開始からセッション解除までの全ての符号化映像ビット、という有効化範囲を持つことができる。このような範囲はいっそう適切であり得る。何故なら、取り得るＡＲＣ係数は、恐らくはハードウェアにて実装されるデコーダ機能とすることができ、ハードウェア機能は、ＣＶＳ（これは、少なくとも一部の娯楽システムにおいて、１秒以下の長さのグループ・オブ・ピクチャである）とともに変化する傾向にはないからである。とは言え、テーブルをシーケンスパラメータセットに入れることは、特に以下のポイント２に関連してここに記載される配置オプションに明確に含まれることである。
【0077】
２． ＡＲＣ参照情報（５１３）は、有利には、ＪＶＣＥＴ－Ｍ０１３５－ｖ１においてのようにピクチャパラメータ内にではなく、例えばタイルグループヘッダ（５１４）など、ピクチャ／スライスタイル／ＧＯＰ／タイルグループヘッダ内に直接配置され得る。例えば、エンコーダが、例えばＡＲＣ参照情報など、ピクチャパラメータセット内の単一の値を変更したい場合、新しいＰＰＳを作成し、その新しいＰＰＳを参照しなければならない。ＡＲＣ参照情報のみが変化し、例えばＰＰＳ内の量子化行列情報などの他の情報はそのままであると仮定する。このような情報は、かなりのサイズのものとなることがあり、新しいＰＰＳを完全にするために再送される必要がある。ＡＲＣ参照情報（５１３）は、例えばテーブルへのインデックスなどの単一のコードワードとすることができ、そして、それが変化する唯一の値であるので、例えば量子化行列情報の全てを再送することは煩雑で無駄の多いこととなり得る。そうであれば、ＪＶＥＴ－Ｍ０１３５－ｖ１で提案されているように、ＰＰＳを介した遠回りなやり方を回避することが、符号化効率の観点からかなり良好なものとなり得る。同様に、ＡＲＣ参照情報をＰＰＳ内に置くことは、ピクチャパラメータセット有効化の範囲がピクチャであるため、ＡＲＣ参照情報（５１３）によって参照されるＡＲＣ情報が、サブピクチャに適用されるのでなく、ピクチャ全体に適用され得るという更なる欠点を有する。
【0078】
同じ実施形態又は他の一実施形態において、ＡＲＣパラメータのシグナリングは、図６Ａ－６Ｂに概要を示す詳細例に従うことができる。図６Ａ－図６Ｂは、例えば少なくとも１９９３年以降の映像符号化標準で使用されるような、Ｃ様式のプログラミングに大まかに従う表記法を用いた表現タイプの構文図を示している。太字のラインはビットストリームに存在する構文要素を示し、太字でないラインは制御フローや変数の設定を示すことが多い。
【0079】
図６Ａに示されるように、ピクチャの（矩形とし得る）部分に適用可能なヘッダの例示的な構文構造としてのタイルグループヘッダ（６０１）は、条件付きで、可変長のＥｘｐ－Ｇｏｌｏｍｂ符号化構文要素dec_pic_size_idx（６０２）（太字で示されている）を含むことができる。タイルグループヘッダ内のこの構文要素の存在は、ここでは太字で示されていないフラグの値である適応解像度（６０３）の使用にてゲーティングされることができ、これが意味することは、構文図の中で発生する箇所で、フラグがビットストリーム中に存在するということである。このピクチャ又はその一部に対して適応解像度が使用されるか否かは、ビットストリームの内側又は外側の任意の高水準構文構造にてシグナリングされることができる。図示した例では、それは、以下に概説するようにシーケンスパラメータセット内でシグナリングされる。
【0080】
図６Ｂを参照して、シーケンスパラメータセット（６１０）の抜粋も示す。図示の最初の構文要素は、adplicative_pic_resolution_change_flag（６１１）である。真であるとき、このフラグは、適応解像度の使用を指し示すことができ、代わってこれは、特定の制御情報を必要とし得る。この例において、そのような制御情報は、パラメータセット（６１２）及びタイルグループヘッダ（６０１）内のｉｆ（）ステートメントに基づくフラグの値に基づいて、条件付きで存在する。
【0081】
適応解像度が使用されるとき、この例において、出力解像度がサンプル単位で符号化される（６１３）。参照符号６１３は、output_pic_width_in_luma_samples及びoutput_pic_height_in_luma_samplesの両方を指しており、これらが一緒になって、出力ピクチャの解像度を定めることができる。映像符号化技術又は標準のどこかで、いずれかの値に対する特定の制限が定められ得る。例えば、これらの２つの構文要素の値の積とし得るものである出力サンプルの総数を、レベル規定が制限することがある。また、特定の映像符号化技術若しくは標準、又は例えばシステム標準などの外部の技術若しくは標準が、ナンバリング範囲（例えば、一方又は両方の次元が２のべき乗の数で除算可能でなければならない）又はアスペクト比（例えば、幅及び高さが例えば４：３又は１６：９などの関係になければならない）を制限することがある。このような制限は、ハードウェア実装を容易にするため、又は他の理由のために導入されることがあり、技術的によく知られている。
【0082】
特定の用途において、エンコーダがデコーダに、暗黙的にそのサイズを出力ピクチャサイズと仮定するのではなく、所定の参照ピクチャサイズを使用するように指示することが望ましいことがある。この例では、構文要素reference_pic_size_present_flag（６１４）が、参照ピクチャ寸法（６１５）（ここでも、この参照符号は幅及び高さの両方を指している）の条件付き存在をゲーティングする。
【0083】
最後に、可能な復号ピクチャの幅及び高さのテーブルが示されている。このようなテーブルは、例えば、テーブルインジケーション（num_dec_pic_size_in_luma_samples_minus1）（６１６）によって表されることができる。“ｍｉｎｕｓ１”は、この構文要素の値の解釈を指すことができる。例えば、符号化された値がゼロである場合、１つのテーブルエントリが存在し、値が５である場合、６つのテーブルエントリが存在する。テーブル内の各“ライン”で、復号ピクチャの幅及び高さが構文（６１７）に含められている。
【0084】
提示したテーブルエントリ（６１７）は、タイルグループヘッダ内の構文要素dec_pic_size_idx（６０２）を用いて索引付けられることができ、それにより、タイルグループごとに異なる復号サイズ（事実上、ズーム係数）が可能にされる。
【0085】
例えばＶＰ９といった特定の映像符号化技術又は標準は、空間的スケーラビリティを可能にするために、時間的スケーラビリティと共に、特定の形態の参照ピクチャ再サンプリングを実装することによって空間的スケーラビリティをサポートする。特に、特定の参照ピクチャが、ＡＲＣスタイルの技術を用いて、より高い解像度へとアップサンプリングされ、空間エンハンスメント層のベースを形成し得る。これらアップサンプリングされたピクチャは、ディテールを追加するよう、その高い解像度で通常の予測機構を用いて精緻化され得る。
【0086】
ここで説明される実施形態は、そのような環境で使用されることができる。特定のケースで、同じ又は他の一実施形態において、ＮＡＬユニットヘッダ内の例えば時間ＩＤ（Temporal ID）フィールドなどの値が、時間層だけでなく空間層も指し示すために使用され得る。そうすることは、特定のシステム設計に関して一定の利点を有することができ、例えば、ＮＡＬユニットヘッダの時間ＩＤ値に基づいて選択される時間層のために作成されて最適化された既存の選択転送ユニット（Selected Forwarding Units；ＳＦＵ）を、スケーラブルな環境のために、変更なく使用することができる。これを可能にするために、符号化ピクチャサイズと時間層との間のマッピングがＮＡＬユニットヘッダ内の時間ＩＤフィールドによって指し示される必要があるとし得る。
【0087】
一部の映像符号化技術では、アクセスユニット（ＡＵ）が、時間における所与のインスタンスにおいてキャプチャされてそれぞれピクチャ／スライス／タイル／ＮＡＬユニットビットストリームへと合成された（１つ以上の）符号化ピクチャ、スライス、タイル、ＮＡＬユニットなどを参照することができる。この時間インスタンスは、例えば、合成時間とし得る。
【0088】
ＨＥＶＣ及び他の特定の映像符号化技術では、ピクチャオーダカウント（ＰＯＣ）値が、復号ピクチャバッファ（decoded picture buffer；ＤＰＢ）に格納された複数の参照ピクチャの中から選択された参照ピクチャを指し示すために使用され得る。アクセスユニット（ＡＵ）が１つ以上のピクチャ、スライス又はタイルを含む場合、同一のＡＵに属する各ピクチャ、スライス又はタイルは、同一のＰＯＣ値を担持することができ、それから、それらが同一の合成時間のコンテンツから作成されたものであるということを導出することができる。換言すれば、２つのピクチャ／スライス／タイルが同一のＰＯＣ値を担持しているシナリオで、それは、それら２つのピクチャ／スライス／タイルが同じＡＵに属し且つ同じ合成時間を持つことを指し示すものであるとすることができる。逆に、異なるＰＯＣ値を持つ２つのピクチャ／タイル／スライスは、それらのピクチャ／スライス／タイルが異なるＡＵに属し、異なる合成時間を持つことを指し示すことができる。
【0089】
実施形態において、この厳正な関係は、アクセスユニットが異なるＰＯＣ値を有する複数のピクチャ、スライス、又はタイルを含むことができるという点で緩和され得る。１つのＡＵ内で複数の異なるＰＯＣ値を許すことにより、ＰＯＣ値を用いて、等しいプレゼンテーション時間を持つ潜在的に独立して復号可能なピクチャ／スライス／タイルを特定することが可能になる。これは、ひいては、更に詳細に後述するように、例えば参照ピクチャセットシグナリング又は参照ピクチャリストシグナリングといった参照ピクチャ選択シグナリングの変更なしに、複数のスケーラブル層のサポートを可能にすることができる。
【0090】
しかしながら、ＰＯＣ値のみから、ピクチャ／スライス／タイルが属するＡＵを、異なるＰＯＣ値を持つ他のピクチャ／スライス／タイルに対して識別できることがなおも望ましい。これは、以下に説明するようにして達成されることができる。
【0091】
実施形態において、アクセスユニットカウント（ＡＵＣ）が、例えばＮＡＬユニットヘッダ、スライスヘッダ、タイルグループヘッダ、ＳＥＩメッセージ、パラメータセット、又はＡＵデリミタなどの高水準構文構造にてシグナリングされ得る。ＡＵＣの値は、どのＮＡＬユニット、ピクチャ、スライス、又はタイルが所与のＡＵに属するかを特定するために使用され得る。ＡＵＣの値は、区別可能な合成時間インスタンスに対応しているとし得る。ＡＵＣ値はＰＯＣ値の倍数に等しいとし得る。ＰＯＣ値を整数値で除算することにより、ＡＵＣ値が算出され得る。特定のケースにおいて、除算演算は、デコーダ実装に一定の負担をかけ得る。そのような場合、ＡＵＣ値のナンバリング空間における小さな制約が、除算演算をシフト演算で置き換えることを可能にし得る。例えば、ＡＵＣ値は、ＰＯＣ値範囲の最上位ビット（ＭＳＢ）値に等しいとし得る。
【0092】
実施形態において、ＡＵごとのＰＯＣサイクルの値（poc_cycle_au）が、例えばＮＡＬユニットヘッダ、スライスヘッダ、タイルグループヘッダ、ＳＥＩメッセージ、パラメータセット、又はＡＵデリミタなどの高水準構文構造にてシグナリングされ得る。poc_cycle_auは、どれだけの数の連続した異なるＰＯＣ値が同じＡＵに関連付けられ得るかを指し示し得る。例えば、poc_cycle_auの値が４に等しい場合、両端を含めて０－３に等しいＰＯＣ値を持つピクチャ、スライス又はタイルを、０に等しいＡＵＣ値を持つＡＵに関連付けることができ、両端を含めて４－７に等しいＰＯＣ値を持つピクチャ、スライス又はタイルを、１に等しいＡＵＣ値を持つＡＵに関連付けることができる。従って、ＡＵＣの値は、ＰＯＣ値をpoc_cycle_auの値で割ることによって推定され得る。
【0093】
実施形態において、poc_cyle_auの値は、例えばビデオパラメータセット（ＶＰＳ）内に位置した、符号化映像シーケンス内の空間又はＳＮＲ層の数を特定する情報から導出され得る。そのような可能な関係の一例を以下にて簡単に説明する。上述の導出は、ＶＰＳにおいて数ビットを節約し、従って符号化効率を改善し得るが、一部の実施形態において、poc_cycle_auは、例えばピクチャなどのビットストリームの所与の小さい部分に対してpoc_cycle_auを最小化することができるように、階層的にビデオパラメータセットの下で適切な高水準構文構造にて明示的に符号化されてもよい。この最適化は、ＰＯＣ値、及び／又はＰＯＣを間接的に参照する構文要素の値が、低水準構文構造にて符号化され得るので、上の導出プロセスを通じて節約できるものよりも多くのビットを節約し得る。
【0094】
実施形態において、図８は、符号化映像シーケンス内の全てのピクチャ／スライスに使用されるpoc_cycle_auを指し示すものであるＶＰＳ（又はＳＰＳ）内のvps_poc_cycle_auの構文要素と、スライスヘッダ内の現在スライスのpoc_cycle_auを指し示すものであるslice_poc_cycle_auの構文要素とをシグナリングするための構文テーブルの一例を示している。ＰＯＣ値がＡＵごとに一様に増加する場合、ＶＰＳ内のvps_contant_poc_cycle_per_auを１に設定しく設定されることができ、ＶＰＳ内でvps_poc_cycle_auがシグナリングされ得る。この場合、slice_poc_cycle_auは明示的にシグナリングされなくてよく、各ＡＵのＡＵＣの値は、ＰＯＣの値をvps_poc_cycle_auで割ることによって算出され得る。ＰＯＣ値がＡＵごとに一様に増加しない場合には、ＶＰＳ内のvps_contant_poc_cycle_per_auは０に等しく設定され得る。この場合、vps_access_unit_cntはシグナリングされずに、slice_access_unit_cntが各スライス又はピクチャのスライスヘッダ内でシグナリングされ得る。各スライス又はピクチャが異なる値のslice_access_unit_cntを持ち得る。各ＡＵのＡＵＣの値は、ＰＯＣの値をslice_poc_cycle_auで割ることによって算出され得る。
【0095】
図９は、上のプロセスの一例を示すブロック図を示している。例えば、動作Ｓ９１０にて、ＶＰＳ（又はＳＰＳ）を構文解析することができ、動作Ｓ９２０にて、ＡＵごとのＰＯＣサイクルが符号化映像シーケンス内で一定であるかを決定することができる。ＡＵごとのＰＯＣサイクルが一定である場合（動作Ｓ９２０でＹＥＳ）、動作Ｓ９３０にて、特定のアクセスユニットに関するアクセスユニットカウントの値が、符号化映像シーケンスについてシグナリングされるpoc_cycle_au及び該特定のアクセスユニットのＰＯＣ値から算出され得る。ＡＵごとのＰＯＣサイクルが一定でない場合（動作Ｓ９２０でＮＯ）、動作Ｓ９４０にて、特定のアクセスユニットに関するアクセスユニットカウントの値が、ピクチャレベルでシグナリングされるpoc_cycle_au及び該特定のアクセスユニットのＰＯＣ値から算出され得る。動作Ｓ９５０にて、新たなＶＰＳ（又はＳＰＳ）を構文解析することができる。
【0096】
実施形態において、たとえピクチャ、スライス、又はタイルのＰＯＣの値が異なり得るとしても、同じＡＵＣ値を有するＡＵに対応するピクチャ、スライス、又はタイルは、同じ復号又は出力時間インスタンスに関連付けられ得る。従って、同一のＡＵ内のピクチャ、スライス又はタイルにわたっての相互構文解析／復号依存性なしに、同一のＡＵに関連付けられたピクチャ、スライス又はタイルの全て又はサブセットが並列に復号され、同じ時間インスタンスで出力され得る。
【0097】
実施形態において、たとえピクチャ、スライス、又はタイルのＰＯＣの値が異なり得るとしても、同じＡＵＣ値を有するＡＵに対応するピクチャ、スライス、又はタイルは、同じ合成／表示時間インスタンスに関連付けられ得る。合成時間がコンテナ形式で含まれる場合、たとえピクチャが異なるＡＵに対応していても、それらのピクチャが同じ合成時間を持つ場合には、それらのピクチャは同じ時間インスタンスで表示されることができる。
【0098】
実施形態において、各ピクチャ、スライス、又はタイルは、同じＡＵ内で同じ時間識別子（temporal_id）を有し得る。ある時間インスタンスに対応するピクチャ、スライス又はタイルの全て又はサブセットが、同じ時間サブレイヤに関連付けられ得る。実施形態において、各ピクチャ、スライス、又はタイルは、同じＡＵ内で同じ又は異なる空間層ＩＤ（layer_id）を有し得る。ある時間インスタンスに対応するピクチャ、スライス又はタイルの全て又はサブセットが、同じ又は異なる空間層に関連付けられ得る。
【0099】
図７は、適応解像度変更でのtemporal_id、layer_id、ＰＯＣ、ＡＵＣ値の組み合わせを有する映像シーケンス構造の一例を示している。この例において、ＡＵＣ＝０の第１のＡＵ内のピクチャ、スライス、タイルは、temporal_id＝０及びlayer_id＝０又は１を有することができ、ＡＵＣ＝１の第２のＡＵのピクチャ、スライス、タイルは、temporal_id＝１及びlayer_id＝０又は１を有することができる。ＰＯＣの値は、temporal_id及びlayer_idの値に関係なく、ピクチャごとに１ずつ増加される。この例において、poc_cycle_auの値は２に等しいとすることができる。実施形態において、poc_cycle_auの値は、（空間スケーラビリティ）層の数に等しく設定され得る。この例では、従って、ＰＯＣの値は２ずつ増加され、ＡＵＣの値は１ずる増加される。
【0100】
上の実施形態では、ＨＥＶＣにおける既存の参照ピクチャセット（ＲＰＳ）シグナリング又は参照ピクチャリスト（ＲＰＬ）シグナリングを使用することによって、インターピクチャ又はインターレイヤ予測構造及び参照ピクチャインジケーションの全て又はサブセットがサポートされ得る。ＲＰＳ又はＲＰＬでは、選択された参照ピクチャは、ＰＯＣの値又は現在ピクチャと選択された参照ピクチャとの間のＰＯＣのデルタ値をシグナリングすることによって指し示され得る。実施形態において、ＲＰＳ及びＲＰＬを用いることで、以下の制約はあるが、シグナリングの変更なしに、インターピクチャ又はインターレイヤ予測構造を指し示すことができる。参照ピクチャのtemporal_idの値が現在ピクチャのtemporal_idの値よりも大きい場合、現在ピクチャは、動き補償又は他の予測のためにその参照ピクチャを使用しないとし得る。参照ピクチャのlayer_idの値が現在ピクチャのlayer_idの値よりも大きい場合、現在ピクチャは、動き補償又は他の予測のためにその参照ピクチャを使用しないとし得る。
【0101】
実施形態において、時間動きベクトル予測に関するＰＯＣ差に基づく動きベクトルスケーリングは、アクセスユニット内の複数のピクチャにまたがっては無効にされ得る。従って、アクセスユニット内で各ピクチャは異なるＰＯＣ値を有し得るが、動きベクトルは、スケーリングされず、アクセスユニット内での時間動きベクトル予測には使用されない。これは何故なら、同じＡＵ内の異なるＰＯＣを持つ参照ピクチャは、同じ時間インスタンスを持つ参照ピクチャと見なされるからである。従って、実施形態において、参照ピクチャが、現在ピクチャに関連付けられたＡＵに属する場合、動きベクトルスケーリング関数は１を返し得る。
【0102】
実施形態において、時間動きベクトル予測に関するＰＯＣ差に基づく動きベクトルスケーリングは、参照ピクチャの空間解像度が現在ピクチャの空間解像度と異なる場合には、オプションで、複数のピクチャにまたがっては無効にされ得る。動きベクトルスケーリングが可能にされるとき、動きベクトルは、現在ピクチャと参照ピクチャとの間のＰＯＣ差及び空間分解能比の双方に基づいてスケーリングされる。
【0103】
実施形態において、動きベクトルは、特にpoc_cycle_auが不均一な値を有する場合（例えば、vps_contant_poc_cycle_per_au＝＝０の場合）、時間動きベクトル予測のために、ＰＯＣ差の代わりにＡＵＣ差に基づいてスケーリングされ得る。そうでない場合（例えば、vps_contant_poc_cycle_per_au＝＝１の場合）には、ＡＵＣ差に基づく動きベクトルスケーリングは、ＰＯＣ差に基づく動きベクトルスケーリングと同じになり得る。
【0104】
実施形態において、動きベクトルがＡＵＣ差に基づいてスケーリングされる場合、現在ピクチャと同じＡＵ（同じＡＵＣ値を有する）における参照動きベクトルは、ＡＵＣ差に基づいてスケーリングされず、スケーリングなしで、又は現在ピクチャと参照ピクチャとの間の空間分解能比に基づくスケーリングを用いて、動きベクトル予測に使用される。
【0105】
実施形態において、ＡＵＣ値は、ＡＵの境界を特定するために使用されることができ、ＡＵ粒度での入力及び出力タイミングを必要とするものである仮説的リファレンスデコーダ（ＨＲＤ）動作に使用され得る。実施形態において、ＡＵ内の最も高い層を用いた復号ピクチャが表示のために出力され得る。出力ピクチャを特定するためにＡＵＣ値及びlayer_id値を使用することができる。
【0106】
実施形態において、ピクチャは、１つ以上のサブピクチャを含み得る。各サブピクチャは、ピクチャの局所領域又は全領域をカバーし得る。サブピクチャによってサポートされる領域は、別のサブピクチャによってサポートされる領域と重なり合ってもよいし、重なり合わなくてもよい。１つ以上のサブピクチャによってカバーされる領域は、ピクチャの全領域をカバーしてもよいし、カバーしなくてもよい。ピクチャがサブピクチャを含む場合に、サブピクチャによってサポートされる領域は、ピクチャによってサポートされる領域と同じであってもよい。
【0107】
実施形態において、サブピクチャは、符号化されるピクチャに使用される符号化方法と同様の符号化方法によって符号化され得る。サブピクチャは、別のサブピクチャ又は符号化ピクチャに独立して符号化されてもよいし、依存して符号化されてもよい。サブピクチャは、別のサブピクチャ又は符号化ピクチャからの何らかの構文解析依存性を有してもよいし、有しなくてもよい。
【0108】
実施形態において、符号化サブピクチャは、１つ以上の層に含まれ得る。層内の符号化サブピクチャは、異なる空間分解能を有し得る。元のサブピクチャが、空間的に再サンプリング（例えば、アップサンプリング又はダウンサンプリング）され、異なる空間解像度パラメータで符号化され、そして、層に対応するビットストリームに含められ得る。
【0109】
実施形態において、Ｗはサブピクチャの幅を示し且つＨはサブピクチャの高さを示すとして、（Ｗ，Ｈ）を有するサブピクチャが、層０に対応する符号化ビットストリームに符号化されて含められ、Ｓｗ，ｋ、Ｓｈ，ｋは水平方向及び垂直方向の再サンプリング比を示すとして、（Ｗ＊Ｓｗ，ｋ，Ｈ＊Ｓｈ，ｋ）の、元の空間分解能を持つサブピクチャからアップサンプリング（又はダウンサンプリング）されたサブピクチャが、層ｋに対応する符号化ビットストリームに符号化されて含められ得る。Ｓｗ，ｋ、Ｓｈ，ｋの値が１より大きい場合、その再サンプリングはアップサンプリングとし得る。Ｓｗ，ｋ、Ｓｈ，ｋの値が１より小さい場合、その再サンプリングはダウンサンプリングとし得る。
【0110】
実施形態において、層内の符号化サブピクチャは、同じサブピクチャ又は異なるサブピクチャ内の別の層の符号化サブピクチャのものとは異なる視覚品質を持ち得る。例えば、層ｎ内のサブピクチャｉは量子化パラメータＱｉ，ｎで符号化され、層ｍ内のサブピクチャｊは量子化パラメータＱｊ，ｍで符号化され得る。
【0111】
実施形態において、層内の符号化サブピクチャは、同じ局所領域の別の層内の符号化サブピクチャからの構文解析又は復号依存性なしで、独立して復号可能であり得る。同じ局所領域の別のサブピクチャ層を参照することなく独立して復号可能であるとすることができるサブピクチャ層を、独立サブピクチャ層とし得る。独立サブピクチャ層内の符号化サブピクチャは、同じサブピクチャ層内の先に符号化されたサブピクチャからの復号又は構文解析依存性を有していてもよいし、有しなくてもよいが、符号化サブピクチャは、別のサブピクチャ層内の符号化ピクチャからの如何なる依存性も有しないとし得る。
【0112】
実施形態において、層内の符号化サブピクチャは、同じ局所領域の別の層内の符号化サブピクチャからの構文解析又は復号依存性ありで、従属して復号可能であってもよい。同じ局所領域の別のサブピクチャ層を参照して従属的に復号可能であるとすることができるサブピクチャ層を、従属サブピクチャ層とし得る。従属サブピクチャ層内の符号化サブピクチャは、同じサブピクチャに属する符号化サブピクチャ、同じサブピクチャ層内の先に符号化されたサブピクチャ、又は両方の参照サブピクチャを参照し得る。
【0113】
実施形態において、符号化サブピクチャは、１つ以上の独立サブピクチャ層と１つ以上の従属サブピクチャ層とを含んでもよい。しかしながら、少なくとも１つの独立サブピクチャ層が符号化サブピクチャに存在し得る。独立サブピクチャ層のＮＡＬユニットヘッダ又は他の高水準構文構造内に存在し得るものである層識別子（layer_id）の値は、０に等しいとし得る。０に等しいlayer_idを有するサブピクチャ層を、ベースサブピクチャ層とし得る。
【0114】
実施形態において、ピクチャは、１つ以上の前景サブピクチャと１つの背景サブピクチャとを含み得る。背景サブピクチャによってサポートされる領域は、ピクチャの領域と等しいとし得る。前景サブピクチャによってサポートされる領域は、背景サブピクチャによってサポートされる領域と重なり合い得る。背景サブピクチャはベースサブピクチャ層とすることができ、前景サブピクチャは非ベース（エンハンスメント）サブピクチャ層とすることができる。１つ以上の非ベースサブピクチャ層が、復号のために同じベース層を参照し得る。ａはｂより大きいとして、ａに等しいlayer_idを有する各非ベースサブピクチャ層は、ｂに等しいlayer_idを有する非ベースサブピクチャ層を参照し得る。
【0115】
実施形態において、ピクチャは、背景サブピクチャありで又はなしで、１つ以上の前景サブピクチャを含み得る。各サブピクチャが、それ自身のベースサブピクチャ層と１つ以上の非ベース（エンハンスメント）層とを有し得る。各ベースサブピクチャ層は、１つ以上の非ベースサブピクチャ層によって参照され得る。ａはｂより大きいとして、ａに等しいlayer_idを有する各非ベースサブピクチャ層は、ｂに等しいlayer_idを有する非ベースサブピクチャ層を参照し得る。
【0116】
実施形態において、ピクチャは、背景サブピクチャありで又はなしで、１つ以上の前景サブピクチャを含み得る。（ベース又は非ベース）サブピクチャ層内の各符号化サブピクチャは、同じサブピクチャに属する１つ以上の非ベース層サブピクチャ、及び同じサブピクチャに属しない１つ以上の非ベース層サブピクチャによって参照され得る。
【0117】
実施形態において、ピクチャは、背景サブピクチャありで又はなしで、１つ以上の前景サブピクチャを含み得る。層ａ内のサブピクチャが更に、同じ層内の複数のサブピクチャに分割されてもよい。層ｂ内の１つ以上の符号化サブピクチャが、層ａ内の分割されたサブピクチャを参照してもよい。
【0118】
実施形態において、符号化映像シーケンス（ＣＶＳ）は、一群の符号化ピクチャであるとし得る。ＣＶＳは、１つ以上の符号化サブピクチャシーケンス（ＣＳＰＳ）を含むことができ、ＣＳＰＳは、ピクチャの同じ局所領域をカバーする一群の符号化サブピクチャであるとし得る。ＣＳＰＳは、符号化映像シーケンスと同じ又は異なる時間解像度を持ち得る。
【0119】
実施形態において、ＣＳＰＳは、１つ以上の層に符号化されて含められ得る。ＣＳＰＳは、１つ以上のＣＳＰＳ層を含み得る。あるＣＳＰＳに対応する１つ以上のＣＳＰＳ層を復号することで、同じ局所領域に対応するサブピクチャのシーケンスを再構成することができる。
【0120】
実施形態において、あるＣＳＰＳに対応するＣＳＰＳ層の数は、別のＣＳＰＳに対応するＣＳＰＳ層の数と同じであってもよいし、異なってもよい。
【0121】
実施形態において、ＣＳＰＳ層は、別のＣＳＰＳ層とは異なる時間解像度（例えば、フレームレート）を持ち得る。元の（未圧縮）サブピクチャシーケンスが、時間的に再サンプリング（例えば、アップサンプリング又はダウンサンプリング）され、異なる時間解像度パラメータで符号化され、そして、層に対応するビットストリームに含められ得る。
【0122】
実施形態において、フレームレートＦを有するサブピクチャシーケンスが、層０に対応する符号化ビットストリームに符号化されて含められ、Ｓｔ，ｋは層ｋに対する時間サンプリング比を示すとして、Ｆ＊Ｓｔ，ｋを有する、元のサブピクチャシーケンスから時間的にアップサンプリング（又はダウンサンプリング）されたサブピクチャシーケンスが、層ｋに対応する符号化ビットストリームに符号化されて含められ得る。Ｓｔ，ｋの値が１より大きい場合、その時間再サンプリングプロセスはフレームレートアップ変換であるとし得る。Ｓｔ，ｋの値が１より小さい場合、その時間再サンプリングプロセスはフレームレートダウン変換であるとし得る。
【0123】
実施形態において、ＣＳＰＳ層ａを有するサブピクチャが、動き補償又は何らかのインターレイヤ予測のために、ＣＳＰＳ層ｂを有するサブピクチャによって参照されるとき、ＣＳＰＳ層ａの空間解像度がＣＳＰＳ層ｂの空間解像度とは異なる場合、ＣＳＰＳ層ａ内の復号されたピクセルが再サンプリングされ、参照のために使用される。この再サンプリングプロセスは、アップサンプリングフィルタリング又はダウンサンプリングフィルタリングを使用し得る。
【0124】
図１０は、０に等しいｌａｙｅｒ＿ｉｄを有する背景映像ＣＳＰＳと、複数の前景ＣＳＰＳ層とを含む映像ストリームの一例を示している。符号化サブピクチャは、１つ以上のＣＳＰＳ層を含むことができる、いずれの前景ＣＳＰＳ層にも属さないものである背景領域はベース層を含むことができる。ベース層は背景領域及び前景領域を含むことができ、エンハンスメントＣＳＰＳ層は前景領域を含むことができる。エンハンスメントＣＳＰＳ層は、同じ領域においてベース層よりも良好な視覚品質を有し得る。エンハンスメントＣＳＰＳ層は、同じ領域に対応するベース層の再構成されたピクセル及び動きベクトルを参照し得る。
【0125】
実施形態において、ベース層に対応する映像ビットストリームはトラックに含められ、各サブピクチャに対応するＣＳＰＳ層は、映像ファイル内の分離されたトラックに含められる。
【0126】
実施形態において、ベース層に対応する映像ビットストリームはトラックに含められ、同じレイヤＩＤを持つＣＳＰＳ層が、分離されたトラックに含められる。この例において、層ｋに対応するトラックは、層ｋに対応するＣＳＰＳ層のみを含む。
【0127】
実施形態において、各サブピクチャの各ＣＳＰＳ層が別々のトラックに格納される。各トラックは、１つ以上の他のトラックからの構文解析又は復号依存性を有していてもよいし、有しなくてもよい。
【0128】
実施形態において、０＜ｉ＝＜ｊ＝＜ｋであり、ｋはＣＳＰＳの最上層であるとして、各トラックは、サブピクチャの全て又はサブセットのＣＳＰＳ層の層ｉから層ｊに対応するビットストリームを含み得る。
【0129】
実施形態において、ピクチャは、奥行きマップ、アルファマップ、３Ｄジオメトリデータ、占有率マップなどを含む１つ以上の関連メディアデータを含む。そのような関連する時間付きメディデータは、各々が１つのサブピクチャに対応する１つ又は複数のデータサブストリームに分割されることができる。
【0130】
図１１は、多層サブピクチャ法に基づくテレビ会議の一例を示している。映像ストリームに、背景ピクチャに対応する１つのベース層映像ビットストリームと、前景サブピクチャに対応する１つ以上のエンハンスメント層映像ビットストリームとが含まれる。各エンハンスメント層映像ビットストリームがＣＳＰＳ層に対応し得る。ディスプレイに、ベースレイヤに対応するピクチャがデフォルトで表示される。これは、一人以上のユーザのピクチャ・イン・ピクチャ（ＰＩＰ）を含んでいる。特定のユーザがクライアントの制御によって選択されると、選択されたユーザに対応するエンハンスメントＣＳＰＳ層が復号され、高められた品質又は空間解像度で表示され得る。
【0131】
図１２は、上のプロセスの一例を示すブロック図を示している。例えば、動作Ｓ１２１０にて、複数の層を有する映像ビットストリームが復号され得る。動作Ｓ１２２０にて、背景領域及び１つ以上の前景サブピクチャが特定され得る。動作Ｓ１２３０にて、例えば前景サブピクチャのうちの１つである特定のサブピクチャ領域が選択されたかが判定され得る。特定のサブピクチャ領域が選択された場合（動作Ｓ１２３０でＹＥＳ）、増強サブピクチャが復号されて表示され得る。特定のサブピクチャ領域が選択されていない場合（動作Ｓ１２３０でＮＯ）、背景領域が復号されて表示され得る。
【0132】
実施形態において、ネットワーク中間ボックス（例えば、ルータ）が、その帯域幅に応じて、複数の層のうちユーザに送信すべきサブセットを選択し得る。ピクチャ／サブピクチャ編成が、帯域幅適応に使用され得る。例えば、ユーザが帯域幅を持たない場合、ルータは、重要性によって又は使用セットアップに基づいて、層を剥ぎ取り又は一部のサブピクチャを選択し、これは、帯域幅に適応するように動的に行われることができる。
【0133】
図１３は、３６０映像のユースケースに関係する一実施形態を示している。例えばピクチャ１３１０とする球形の３６０ピクチャが平面ピクチャ上に投影されるとき、投影３６０ピクチャは、ベース層としての複数のサブピクチャに分割され得る。例えば、それら複数のサブピクチャは、後ろサブピクチャ、上サブピクチャ、右サブピクチャ、左サブピクチャ、前サブピクチャ、及び下サブピクチャを含み得る。例えば前サブピクチャとする特定のサブピクチャのエンハンスメント層が符号化されてクライアントに送信され得る。デコーダは、全てのサブピクチャを含むベース層と、選択されたサブピクチャのエンハンスメント層との両方を復号することができ得る。現在のビューポートが選択されたサブピクチャと同じある場合、表示されるピクチャは、エンハンスメント層を有する復号サブピクチャを用いて、より高い品質を有し得る。そうでない場合には、ベース層を有する復号ピクチャを、より低い品質で表示することができる。
【0134】
実施形態において、表示のための何らかのレイアウト情報が、補足情報（例えばＳＥＩメッセージ又はメタデータなど）としてファイル内に存在し得る。１つ以上の復号サブピクチャが、シグナリングされたレイアウト情報に応じて再配置されて表示され得る。レイアウト情報は、ストリーミングサーバ又はブロードキャスタによってシグナリングされてもよいし、ネットワークエンティティ又はクラウドサーバによって再生成されてもよいし、あるいは、ユーザのカスタマイズ設定によって決定されてもよい。
【0135】
実施形態において、入力ピクチャが１つ以上の（矩形の）サブ領域に分割されるとき、各サブ領域が、独立した層として符号化され得る。局所領域に対応する各独立層が、固有のlayer_id値を有し得る。各独立層について、サブピクチャサイズ及び位置情報がシグナリングされ得る。例えば、ピクチャサイズ（幅、高さ）、左上隅のオフセット情報（x_offset、y_offset）。図１４は、分割されたサブピクチャのレイアウト、そのサブピクチャサイズ及び位置情報、並びに対応するピクチャ予測構造の一例を示している。（１つ以上の）サブピクチャサイズ及び（１つ以上の）サブピクチャ位置を含むこのレイアウト情報は、例えば（１つ以上の）パラメータセット、スライス若しくはタイルグループのヘッダ、又はＳＥＩメッセージなどの高水準構文構造にてシグナリングされ得る。
【0136】
実施形態において、独立した層に対応する各サブピクチャは、ＡＵ内にその固有のＰＯＣ値を有し得る。ＤＰＢに格納された複数のピクチャの中のある参照ピクチャが、ＲＰＳ又はＲＰＬ構造内の（１つ以上の）構文要素を用いることによって指し示されるとき、層に対応する各サブピクチャの（１つ以上の）ＰＯＣ値が使用され得る。
【0137】
実施形態において、（インターレイヤ）予測構造を示すために、layer_idは使用されずに、ＰＯＣ（デルタ）値が使用されてもよい。
【0138】
実施形態において、層（又は局所領域）に対応するＮに等しいＰＯＣ値を有するサブピクチャが、動き補償予測のために、同じ層（又は同じ局所領域）に対応するＮ＋Ｋに等しいＰＯＣ値を有するサブピクチャの参照ピクチャとして使用されたり使用されなかったりし得る。大抵の場合、数Ｋの値は、サブ領域の数に等しいとし得るものである（独立した）層の最大数に等しいとし得る。
【0139】
実施形態において、図１５は、図１４の拡張ケースを示している。入力ピクチャが複数の（例えば、４つの）サブ領域に分割されるとき、各局所領域が、１つ以上の層で符号化され得る。この場合、独立した層の数は、サブ領域の数に等しいとすることができ、１つ以上の層がサブ領域に対応し得る。従って、各サブ領域が、１つ以上の独立層とゼロ以上の従属層とで符号化され得る。
【0140】
実施形態において、図１５で、入力ピクチャは４つのサブ領域に分割され得る。一例として、右上のサブ領域は、層１及び層４である２つの層として符号化され、右下のサブ領域は、層３及び層５である２つの層として符号化され得る。この場合、層４は、動き補償予測のために層１を参照し、層５は、動き補償のために層３を参照し得る。
【0141】
実施形態において、層境界にまたがるインループ（in-loop）フィルタリング（例えば、デブロッキングフィルタリング、適応インループフィルタリング、リシェイパ、バイラテラルフィルタリング、又は任意のディープラーニングベースのフィルタリング）は、（オプションで）無効にされ得る。
【0142】
実施形態において、層境界にまたがる動き補償予測又はイントラブロックコピーは、（オプションで）無効にされ得る。
【0143】
実施形態において、サブピクチャの境界における動き補償予測又はインループフィルタリングのための境界パディングが、オプションで処理され得る。境界パディングが処理されるか否かを指し示すフラグが、例えば（１つ以上の）パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ、若しくはＡＰＳ）、スライス若しくはタイルグループヘッダ、又はＳＥＩメッセージなどの高水準構文構造にてシグナリングされ得る。
【0144】
実施形態において、（１つ以上の）サブ領域（又は（１つ以上の）サブピクチャ）のレイアウト情報は、ＶＰＳ又はＳＰＳ内でシグナリングされてもよい。図１６Ａは、ＶＰＳにおける構文要素の一例を示し、図１６Ｂは、ＳＰＳにおける構文要素の一例を示している。この例では、vps_sub_picturing_dividing_flagがＶＰＳ内でシグナリングされる。このフラグは、（１つ以上の）入力ピクチャが複数のサブ領域に分割されるか否かを指し示し得る。vps_sub_picture_dividing_flagの値が０に等しい場合、現在ＶＰＳに対応する（１つ以上の）符号化映像シーケンス内の（１つ以上の）入力ピクチャは、複数のサブ領域に分割されないとし得る。この場合、入力ピクチャサイズは、ＳＰＳ内でシグナリングされるものである符号化ピクチャサイズ（pic_width_in_luma_samples、pic_height_in_luma_samples）と等しいとし得る。vps_sub_picture_dividing_flagの値が１に等しい場合、（１つ以上の）入力ピクチャは複数のサブ領域に分割され得る。この場合、構文要素vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesがＶＰＳ内でシグナリングされる。vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesの値は、それぞれ、（１つ以上の）入力ピクチャの幅と高さに等しいとし得る。
【0145】
実施形態において、vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesの値は、復号に使用されずに、合成及び表示に使用されてもよい。
【0146】
実施形態において、vps_sub_picture_dividing_flagの値が１に等しい場合、構文要素pic_offset_x及びpic_offset_yが、（ａ）特定の（１つ以上の）層に対応するものであるＳＰＳ内でシグナリングされ得る。この場合、ＳＰＳ内でシグナリングされる符号化ピクチャサイズ（pic_width_in_luma_samples、pic_height_in_luma_samples）は、特定の層に対応するサブ領域の幅及び高さに等しいとし得る。また、サブ領域の左上隅の位置（pic_offset_x、pic_offset_y）も、ＳＰＳ内でシグナリングされ得る。
【0147】
実施形態において、サブ領域の左上隅の位置情報（pic_offset_x、pic_offset_y）は、復号に使用されずに、合成及び表示に使用されてもよい。
【0148】
実施形態において、（１つ以上の）入力ピクチャの（１つ以上の）サブ領域の全て又はサブセットのレイアウト情報（サイズ及び位置）、（１つ以上の）層の間の依存性情報が、パラメータセット又はＳＥＩメッセージ内でシグナリングされ得る。図１７は、サブ領域のレイアウトの情報、層間の依存性、及びサブ領域と１つ以上の層との間の関係を示す構文要素の一例を示している。この例において、構文要素num_sub_regionは、現在符号化されている映像シーケンス内の（矩形の）サブ領域の数を示す。構文要素num_layersは、現在符号化されている映像シーケンス内の層の数を示す。num_layersの値は、num_sub_regionの値に等しいかそれより大きいとし得る。任意のサブ領域が単一の層として符号化されるとき、num_layersの値はnum_sub_regionの値に等しいとし得る。１つ以上のサブ領域が複数の層として符号化されるとき、num_layersの値はnum_sub_regionの値より大きいとし得る。構文要素direct_dipendency_flag[i][j]は、ｊ番目の層からｉ番目の層への依存性を示す。num_layers_for_region[i]は、ｉ番目のサブ領域に関連する層の数を示す。sub_region_layer_id[i][j]は、ｉ番目のサブ領域に関連するｊ番目の層のlayer_idを示す。sub_region_offset_x[i]及びsub_region_offset_y[i]は、それぞれ、ｉ番目のサブ領域の左上隅の水平及び垂直位置を示す。sub_region_width[i]及びsub_region_height[i]は、それぞれ、ｉ番目のサブ領域の幅及び高さを示す。
【0149】
実施形態において、プロファイルティアレベル情報あり又はなしで出力される１つ以上の層を示すように出力層セットを指定する１つ以上の構文要素が、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージといった高水準構文構造にてシグナリングされ得る。図１８を参照するに、ＶＰＳを参照する符号化映像シーケンス内の出力層セット（ＯＬＳ）の数を示す構文要素num_output_layer_setsが、ＶＰＳ内でシグナリングされ得る。各出力レイヤセットに対して、output_layer_flagが出力層の数と同じだけシグナリングされ得る。
【0150】
実施形態において、１に等しいoutput_layer_flag[i]は、ｉ番目の層が出力されることを規定する。０に等しいvps_output_layer_flag[i]は、ｉ番目の層が出力されないことを規定する。
【0151】
実施形態において、各出力層セットについてのプロファイルティアレベル情報を規定する１つ以上の構文要素が、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ又はＳＥＩメッセージといった高水準構文構造にてシグナリングされ得る。なおも図１８を参照するに、ＶＰＳを参照する符号化映像シーケンス内のＯＬＳごとのプロファイルティアレベル情報の数を示す構文要素num_profile_tile_levelが、ＶＰＳ内でシグナリングされ得る。各出力レイヤセットに対して、プロファイルティアレベル情報のための構文要素のセット、又はプロファイルティアレベル情報内のエントリの中の特定のプロファイルティアレベル情報を指し示すインデックスが、出力レイヤの数と同じだけシグナリングされ得る。
【0152】
実施形態において、profile_tier_level_idx[i][j]は、ＶＰＳ内のprofile_tier_level()構文構造のリスト中の、ｉ番目のＯＬＳのｊ番目の層に適用されるprofile_tier_level()構文構造のインデックスを規定する。
【0153】
実施形態において、図１９を参照するに、最大層数が１より大きいとき（vps_max_layers_minus1＞０）、構文要素num_profile_tile_level及び／又はnum_output_layer_setsがシグナリングされ得る。
【0154】
実施形態において、図１９を参照するに、ｉ番目の出力層セットについての出力層シグナリングのモードを示す構文要素vps_output_layers_mode[i]が、ＶＰＳ内に存在してもよい。
【0155】
実施形態において、０に等しいvps_output_layers_mode[i]は、最上位の層のみがｉ番目の出力層セットで出力されることを規定する。１に等しいvps_output_layer_mode[i]は、全ての層がｉ番目の出力層セットで出力されることを規定する。２に等しいvps_output_layer_mode[i]は、出力される層が、ｉ番目の出力層セットで１に等しいvps_output_layer_flag[i][j]を有する層であることを規定する。より多くの値がリザーブされてもよい。
【0156】
実施形態において、ｉ番目の出力層セットについてのvps_output_layers_mode[i]の値に応じて、output_layer_flag[i][j]がシグナリングされたりされなかったりし得る。
【0157】
実施形態において、図１９を参照するに、フラグvps_ptl_signal_flag[i]が、ｉ番目の出力層セットに対して存在してもよい。vps_ptl_signal_flag[i]の値に応じて、ｉ番目の出力層セットについてのプロファイルティアレベル情報がシグナリングされたりされなかったりし得る。
【0158】
実施形態において、図２０を参照するに、現在ＣＶＳ内のサブピクチャの数max_subpics_minus1が、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージといった高水準構文構造にてシグナリングされ得る。
【0159】
実施形態において、図２０を参照するに、サブピクチャの数が１より多い場合（max_subpics_minus1＞０）、ｉ番目のサブピクチャについてのサブピクチャ識別子sub_pic_id[i]がシグナリングされ得る。
【0160】
実施形態において、各出力層セットの各層に属するサブピクチャ識別子を示す１つ以上の構文要素が、ＶＰＳ内でシグナリングされ得る。図２０を参照するに、sub_pic_id_layer[i][j][k]は、ｉ番目の出力層セットのｊ番目の層に存在するｋ番目のサブピクチャを指し示すものである。この情報を用いて、デコーダは、特定の出力層セットの各層について、どのサブピクチャが復号されて出力され得るかを認識することができる。
【0161】
実施形態において、ピクチャヘッダ（ＰＨ）は、符号化ピクチャの全てのスライスに適用される構文要素を含む構文構造である。ピクチャユニット（ＰＵ）は、規定された分類規則に従って互いに関連付けられ、復号順に連続し、且つ正確に１つの符号化ピクチャを含むＮＡＬユニットの集合である。ＰＵは、ピクチャヘッダ（ＰＨ）と、符号化ピクチャを有する１つ以上の符号化スライスＮＡＬユニット又はＶＣＬ ＮＡＬユニットとを含み得る。
【0162】
実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、０に等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0163】
実施形態において、ＳＰＳ（ＲＢＳＰ）は、それが参照される前に復号プロセスに利用可能にされ、該ＳＰＳを参照する１つ以上のＰＰＳを含み得るものであるＣＶＳ内で０に等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0164】
実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＰＳによって参照される前に復号プロセスに利用可能にされ、該ＳＰＳを参照する１つ以上のＰＰＳを含み得るものであるＣＶＳ内のＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idを有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0165】
実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＰＳによって参照される前に復号プロセスに利用可能にされ、０に等しいTemporalIdと、ＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0166】
実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＰＳによって参照される前に復号プロセスに利用可能にされ、０に等しいTemporalIdと、該ＳＰＳを参照する１つ以上のＰＰＳを含み得るものであるＣＶＳ内のＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0167】
実施形態において、pps_seq_parameter_set_idは、参照されるＳＰＳについてのsps_seq_parameter_set_idの値を規定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳにおいて同じとし得る。
【0168】
実施形態において、ＣＶＳ内のsps_seq_parameter_set_idの特定の値を有する全てのＳＰＳ ＮＡＬユニットは、同じコンテンツを有し得る。
【0169】
実施形態において、nuh_layer_id値に関係なく、ＳＰＳ ＮＡＬユニットは、sps_seq_parameter_set_idの同じ値空間を共有し得る。
【0170】
実施形態において、ＳＰＳ ＮＡＬユニットのnuh_layer_id値は、ＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいとし得る。
【0171】
実施形態において、ｍに等しいnuh_layer_idを有するＳＰＳが、ｎに等しいnuh_layer_idを有する１つ以上のＰＰＳによって参照されるとき、ｍに等しいnuh_layer_idを有する層は、ｎに等しいnuh_layer_idを有する層又はｍに等しいnuh_layer_idを有する層の（直接又は間接）参照層と同じとし得る。
【0172】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0173】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0174】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idを有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0175】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdと、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0176】
実施形態において、ＰＨ内のph_pic_parameter_set_idは、使用される参照ＰＰＳに関するpps_pic_parameter_set_idの値を規定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳにおいて同じとし得る。
【0177】
実施形態において、ＰＵ内のpps_pic_parameter_set_idの特定の値を有する全てのＰＰＳ ＮＡＬユニットは、同じコンテンツを有する。
【0178】
実施形態において、nuh_layer_id値に関係なく、ＰＰＳ ＮＡＬユニットは、pps_pic_parameter_set_idの同じ値空間を共有し得る。
【0179】
実施形態において、ＰＰＳ ＮＡＬユニットのnuh_layer_id値は、該ＰＰＳ ＮＡＬユニットを参照するＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_id値に等しいとし得る。
【0180】
実施形態において、ｍに等しいnuh_layer_idを有するＰＰＳが、ｎに等しいnuh_layer_idを有する１つ以上の符号化スライスＮＡＬユニットによって参照されるとき、ｍに等しいnuh_layer_idを有する層は、ｎに等しいnuh_layer_idを有する層又はｍに等しいnuh_layer_idを有する層の（直接又は間接）参照層と同じとし得る。
【0181】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0182】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0183】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idを有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0184】
実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdと、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0185】
実施形態において、ＰＨ内のph_pic_parameter_set_idは、使用される参照ＰＰＳに関するpps_pic_parameter_set_idの値を規定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳにおいて同じとし得る。
【0186】
実施形態において、ＰＵ内のpps_pic_parameter_set_idの特定の値を有する全てのＰＰＳ ＮＡＬユニットは、同じコンテンツを有する。
【0187】
実施形態において、nuh_layer_id値に関係なく、ＰＰＳ ＮＡＬユニットは、pps_pic_parameter_set_idの同じ値空間を共有し得る。
【0188】
実施形態において、ＰＰＳ ＮＡＬユニットのnuh_layer_id値は、該ＰＰＳ ＮＡＬユニットを参照するＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_id値に等しいとし得る。
【0189】
実施形態において、ｍに等しいnuh_layer_idを有するＰＰＳが、ｎに等しいnuh_layer_idを有する１つ以上の符号化スライスＮＡＬユニットによって参照されるとき、ｍに等しいnuh_layer_idを有する層は、ｎに等しいnuh_layer_idを有する層又はｍに等しいnuh_layer_idを有する層の（直接又は間接）参照層と同じとし得る。
【0190】
実施形態において、フラグno_temporal_sublayer_switching_flagがＤＰＳ、ＶＰＳ、又はＳＰＳ内でシグナリングされるとき、１に等しい該フラグを含むパラメータセットを参照するＰＰＳのTemporalId値は０に等しいとすることができ、１に等しい該フラグを含むパラメータセットを参照するＰＰＳのTemporalId値は、該パラメータセットのTemporalId値に等しい又はそれより大きいとし得る。
【0191】
実施形態において、各ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、それを参照する符号化スライスＮＡＬユニット（又はＰＨ ＮＡＬユニット）のTemporalId以下のTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。ＰＰＳ ＮＡＬユニットが、該ＰＰＳを参照する符号化スライスＮＡＬユニットを含むＡＵより前のＡＵに含まれるとき、時間アップレイヤスイッチングを可能にするＶＣＬ ＮＡＬユニット、又はＳＴＳＡ＿ＮＵＴに等しいnal_unit_typeを有する（これは、ＶＣＬ ＮＡＬユニット内のピクチャがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）ピクチャであり得ることを指し示すものである）ＶＣＬ ＮＡＬユニットは、該ＰＰＳ ＮＡＬユニットの後且つ該ＰＰＳを参照する符号化スライスＮＡＬユニットより前に存在しないとし得る。
【0192】
実施形態において、該ＰＰＳを参照するＰＰＳ ＮＡＬユニット及び符号化スライスＮＡＬユニット（及びそのＰＨ ＮＡＬユニット）は、同じＡＵに含められ得る。
【0193】
実施形態において、該ＰＰＳを参照するＰＰＳ ＮＡＬユニット及びＳＴＳＡ ＮＡＬユニットは、符号化スライスＮＡＬユニット（及びそのＰＨ ＮＡＬユニット）に先行する同じＡＵに含められ得る。
【0194】
実施形態において、該ＰＰＳを参照するＳＴＳＡ ＮＡＬユニット、ＰＰＳ ＮＡＬユニット、及び符号化スライスＮＡＬユニット（及びそのＰＨ ＮＡＬユニット）は、同じＡＵ内に存在し得る。
【0195】
同じ実施形態において、ＰＰＳを含むＶＣＬ ＮＡＬユニットのTemporalId値は、先行するＳＴＳＡ ＮＡＬユニットのTemporalId値に等しいとし得る。
【0196】
同じ実施形態において、ＰＰＳ ＮＡＬユニットのピクチャオーダカウント（ＰＯＣ）値は、ＳＴＳＡ ＮＡＬユニットのＰＯＣ値に等しい又はそれより大きいとし得る。
【0197】
同じ実施形態において、ＰＰＳ ＮＡＬユニットを参照するものである符号化スライス又はＰＨ ＮＡＬユニットのピクチャオーダカウント（ＰＯＣ）値は、参照されるＰＰＳ ＮＡＬユニットのＰＯＣ値に等しい又はそれより大きいとし得る。
【0198】
図２１は、符号化映像ビットストリームを復号するためのプロセス２１００の一例のフローチャートである。一部の実装において、図２１の１つ以上のプロセスブロックは、デコーダ２１０によって実行され得る。一部の実装において、図２１の１つ以上のプロセスブロックは、例えばエンコーダ２０３など、デコーダ２１０とは別個又はそれを含む他の装置又は一群の装置によって実行されてもよい。
【0199】
図２１に示すように、プロセス２１００は、符号化映像ビットストリームから符号化映像シーケンスを取得することを含み得る（ブロック２１１０）。
【0200】
図２１に更に示すように、プロセス２１００は、符号化映像シーケンスからピクチャユニットを取得することを含み得る（ブロック２１２０）。
【0201】
図２１に更に示すように、プロセス２１００は、ピクチャユニットに含まれるＰＨ ＮＡＬユニットを取得することを含み得る（ブロック２１３０）。
【0202】
図２１に更に示すように、プロセス２１００は、ピクチャユニットに含まれる少なくとも１つの符号化スライスＮＡＬユニットを取得することを含み得る（ブロック２１４０）。
【0203】
図２１に更に示すように、プロセス２１００は、ＰＨ ＮＡＬユニット、少なくとも１つの符号化スライスＮＡＬユニット、符号化映像シーケンスから得られるＰＰＳ ＮＡＬユニットに含まれるＰＰＳ、及び符号化映像シーケンスから得られるＳＰＳ ＮＡＬユニットに含まれるＳＰＳに基づいて、符号化ピクチャを復号することを含むことができ、ＳＰＳ ＮＡＬユニットは、ＰＰＳ ＮＡＬユニットの前に、プロセス２１００を実行する少なくとも１つのプロセッサに利用可能であり、ＰＰＳ ＮＡＬユニットは、ＰＨ ＮＡＬユニット及び少なくとも１つの符号化スライスＮＡＬユニットの前に、上記少なくとも１つのプロセッサに利用可能であるとし得る（ブロック２１２０）。
【0204】
図２１に更に示すように、プロセス２１００は、復号したピクチャを出力することを含み得る（ブロック２１６０）。
【0205】
実施形態において、ＳＰＳ ＮＡＬユニットの時間識別子がゼロに等しいとし得る。
【0206】
実施形態において、ＰＰＳ ＮＡＬユニットの層識別子が、ＳＰＳ ＮＡＬユニットの層識別子より大きい又は等しい。
【0207】
実施形態において、少なくとも１つの符号化スライスＮＡＬユニットの層識別子が、ＰＰＳ ＮＡＬユニットの層識別子より大きい又は等しいとし得る。
【0208】
実施形態において、ＰＨ ＮＡＬユニット、少なくとも１つの符号化スライスＮＡＬユニット、及びＰＰＳ ＮＡＬユニットは、単一のアクセスユニットに含まれ得る。
【0209】
実施形態において、符号化映像シーケンスは更に、ステップワイズ・テンポラル・サブレイヤ・アクセス（ＳＴＳＡ）ピクチャに対応するＳＴＳＡ ＮＡＬユニットを含むことができ、ＳＴＳＡ ＮＡＬユニットは、ＰＰＳ ＮＡＬユニットと少なくとも１つの符号化スライスＮＡＬユニットとの間には位置しない。
【0210】
実施形態において、ＰＨ ＮＡＬユニット、少なくとも１つの符号化スライスＮＡＬユニット、ＰＰＳ ＮＡＬユニット、及びＳＴＳＡ ＮＡＬユニットは、単一アクセスユニットに含まれ得る。
【0211】
実施形態において、ＰＰＳ ＮＡＬユニットの時間識別子が、ＳＴＳＡ ＮＡＬユニットの時間識別子に等しいとし得る。
【0212】
実施形態において、ＰＰＳ ＮＡＬユニットのピクチャオーダカウント（ＰＯＣ）が、ＳＴＳＡ ＮＡＬユニットのＰＯＣ以上であるとし得る。
【0213】
図２１はプロセス２１００のブロック例を示しているが、一部の実装において、プロセス２１００は、図２１に示したものよりも、追加のブロック、少ないブロック、異なるブロック、又は異なるように配置されたブロックを含み得る。加えて、あるいは代わりに、プロセス２１００のブロックのうちの２つ以上が並行して実行されてもよい。
【0214】
また、提案される方法は、プロセッシング回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装され得る。一例において、１つ以上のプロセッサは、提案される方法のうちの１つ以上を実行するために、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行する。
【0215】
上述の技術は、コンピュータ読み取り可能命令を用いてコンピュータソフトウェアとして実装されることができ、また、１つ以上のコンピュータ読み取り可能媒体に物理的に格納されることができる。例えば、図２２は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム２２００を示している。
【0216】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介してコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を有するコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。
【0217】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。
【0218】
コンピュータシステム２２００に関して図２２に示したコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム２２００のこの例示的実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。
【0219】
コンピュータシステム２２００は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、２次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。
【0220】
入力ヒューマンインタフェース装置は、キーボード２２０１、マウス２２０２、トラックパッド２２０３、タッチスクリーン２２１０及び関連するグラフィックスアダプタ２２５０、データグローブ、ジョイスティック２２０５、マイクロフォン２２０６、スキャナ２２０７、カメラ２２０８（各々１つのみ図示している）のうちの１つ以上を含み得る。
【0221】
コンピュータシステム２２００はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン２２１０、データグローブ、又はジョイスティック２２０５による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー２２０９、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、陰極線管（ＣＲＴ）スクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、プラズマスクリーン、有機発光ダイオード（ＯＬＥＤ）スクリーンを含むスクリーン２２１０（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。
【0222】
コンピュータシステム２２００はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体２２２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ２２２０を含む光媒体、サムドライブ２２２２、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ２２２３、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。
【0223】
当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。
【0224】
コンピュータシステム２２００はまた、１つ以上の通信ネットワーク（２２５５）への（１つ以上の）インタフェースを含み得る。ネットワークは、例えば、無線、有線、光とし得る。ネットワークは更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワーク、無線ＬＡＮ、グローバルシステムズフォーモバイルコミュニケーションズ（ＧＳＭ）、第３世代（３Ｇ）、第４世代（４Ｇ）、第５世代（５Ｇ）、ロングタームエボリューション（ＬＴＥ）及びこれらに類するものを含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは一般に、特定の汎用データポート又はペリフェラルバス（２２４９）（例えば、コンピュータシステム２２００のユニバーサルシリアルバス（ＵＳＢ）ポートなど）に取り付けられる外付けネットワークインタフェースアダプタ（２２５４）を必要とし、他のものは一般に、後述のシステムバスへの取り付けによってコンピュータシステム２２００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース）。一例として、ネットワーク２２５５は、ネットワークインタフェース２２５４を用いてペリフェラルバス２２４９に接続され得る。これらのネットワークのいずれかを使用して、コンピュータシステム２２００は、他のエンティティと通信することができる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）であってもよいし、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク及びネットワークインタフェース（２２５４）の各々上で使用され得る。
【0225】
前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェースは、コンピュータシステム２２００のコア２２４０に取り付けられることができる。
【0226】
コア２２４０は、１つ以上の中央演算処理ユニット（ＣＰＵ）２２４１、グラフィックス処理ユニット（ＧＰＵ）２２４２、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）２２４３の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ２２４４などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）２２４５、ランダムアクセスメモリ（ＲＡＭ）２２４６、例えば内部のユーザアクセス可能でないハードドライブ、ソリッドステートドライブ（ＳＳＤ）、及びこれらに類するものなどの内部大容量ストレージ２２４７と共に、システムバス２２４８を介して接続され得る。一部のコンピュータシステムにおいて、システムバス２２４８は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス２２４８に直接的に、又はペリフェラルバス２２４９を介して、のいずれで取り付けられてもよい。ペリフェラルバスのアーキテクチャは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）、ＵＳＢ、及びこれらに類するものを含む。
【0227】
ＣＰＵ２２４１、ＧＰＵ２２４２、ＦＰＧＡ２２４３、及びアクセラレータ２２４４は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ２２４５又はＲＡＭ２２４６に格納され得る。ＲＡＭ２２４６には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ２２４７に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、１つ以上のＣＰＵ２２４１、ＧＰＵ２２４２、大容量ストレージ２２４７、ＲＯＭ２２４５、ＲＡＭ２２４６、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。
【0228】
コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。
【0229】
一例として、限定ではなく、アーキテクチャ２２００、特にコア２２４０、を有するコンピュータシステムは、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ２２４７又はＲＯＭ２２４５などの、非一時的性質のものであるコア２２４０の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア２２４０によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア２２４０及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ２２４６に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ２２４４）にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。本開示は、ハードウェア及びソフトウェアの好適な組み合わせを含む。
【0230】
この開示は幾つかの例示的な実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
