特許7322178マルチレイヤ化映像ストリームにおけるサブレイヤ番号の指示のための方法、装置、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-28
(45)【発行日】2023-08-07
(54)【発明の名称】マルチレイヤ化映像ストリームにおけるサブレイヤ番号の指示のための方法、装置、及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/31 20140101AFI20230731BHJP
H04N 19/70 20140101ALI20230731BHJP
【ＦＩ】
H04N19/31
H04N19/70
【請求項の数】
10
(21)【出願番号】P 2021563218
(86)(22)【出願日】2020-10-01
(65)【公表番号】
(43)【公表日】2022-06-27
(86)【国際出願番号】 US2020053718
(87)【国際公開番号】W WO2021194550
(87)【国際公開日】2021-09-30
【審査請求日】2021-10-25
(31)【優先権主張番号】63/000,936
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/994,004
(32)【優先日】2020-08-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チョイ，ビョンドゥ
(72)【発明者】
【氏名】リィウ，シャン
(72)【発明者】
【氏名】ウェンジャー，ステファン
【審査官】久保 光宏
(56)【参考文献】
【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 8)"，Document: JVET-Q2001-v7，JVET-Q2001 (version 7)，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2020年01月20日，Pages 36-42 and 91-106，[令和4年12月2日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9675> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v7.zip>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサが実行する映像を復号する方法であって、ビデオパラメータセット（ＶＰＳ）及びシーケンスパラメータセット（ＳＰＳ）を参照する符号化映像シーケンスの現在レイヤにおいて許される時間サブレイヤの最大数を特定するステップであり、前記ＶＰＳは、前記符号化映像シーケンスのレイヤにおいて許される時間サブレイヤの前記最大数を特定する第１のＶＰＳフィールドを含み、前記ＳＰＳは、前記符号化映像シーケンスの前記現在レイヤにおいて許される時間サブレイヤの前記最大数を特定するＳＰＳフィールドを含み、前記ＶＰＳは、前記符号化映像シーケンスの全てのレイヤについて時間サブレイヤの数が同じであるかを指し示す第２のＶＰＳフィールドを含み、前記符号化映像シーケンスの全てのレイヤについて時間サブレイヤの数が同じであることが指し示されるとき、前記符号化映像シーケンスの各レイヤについての時間サブレイヤの数が、前記第１のＶＰＳフィールドによって示される時間サブレイヤの前記最大数に等しく、且つ前記ＳＰＳフィールドの値が前記第１のＶＰＳフィールドの値に等しい、ステップと、
特定した、前記ＶＰＳ及び前記ＳＰＳを参照する前記符号化映像シーケンスの前記現在レイヤにおいて許される時間サブレイヤの前記最大数に基づいて、前記符号化映像シーケンスを復号するステップと、
を有する方法。
【請求項2】
前記時間サブレイヤは、時間的にスケーラブルなビットストリームの時間スケーラブルレイヤを示す、請求項１に記載の方法。
【請求項3】
前記符号化映像シーケンスにおいて許されるレイヤの最大数を特定するステップと、特定した、許されるレイヤの前記最大数に基づいて、前記符号化映像シーケンスを復号するステップと、
を更に有する請求項１又は２に記載の方法。
【請求項4】
前記第１及び第２のＶＰＳフィールドは、ビデオパラメータセット（ＶＰＳ）ローバイトシーケンスペイロード（raw byte sequence payload；ＲＢＳＰ）のフィールドである、請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記ＶＰＳ ＲＢＳＰは、ＶＰＳ識別子フィールドと、前記第１及び第２のＶＰＳフィールドとを含む、請求項４に記載の方法。
【請求項6】
前記ＳＰＳフィールドは、シーケンスパラメータセット（ＳＰＳ）ローバイトシーケンスペイロード（ＲＢＳＰ）のフィールドである、請求項１乃至３のいずれか一項に記載の方法。
【請求項7】
前記ＳＰＳ ＲＢＳＰは、ＳＰＳ識別子フィールドと、前記ＳＰＳフィールドとを含む、請求項６に記載の方法。
【請求項8】
前記ＶＰＳは更にＶＰＳ識別子フィールドを含み、前記ＳＰＳは更に、参照する前記ＶＰＳの前記ＶＰＳ識別子フィールドの値を示すフィールドを含み、該フィールドの値が０より大きく、且つ前記符号化映像シーケンスの全てのレイヤについて時間サブレイヤの数が同じであることを前記第２のＶＰＳフィールドが指し示す場合、前記ＳＰＳフィールドの値が前記第１のＶＰＳフィールドの値に等しい、請求項１乃至３のいずれか一項に記載の方法。
【請求項9】
コンピュータプログラムを格納した１つ以上のメモリと、１つ以上のプロセッサと、
を有し、
前記コンピュータプログラムは、前記１つ以上のプロセッサに、請求項１乃至８のいずれか一項に記載の方法を実行させる、
装置。
【請求項10】
コンピュータに請求項１乃至８のいずれか一項に記載の方法を実行させるコンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
この出願は、米国特許商標庁に２０２０年３月２７日に出願された仮出願第６３／０００，９３６号に対する米国特許法第１１９条の下での優先権の利益を主張するものである２０２０年８月１４日に出願された米国特許出願第１６／９９４，００４号に対する優先権の利益を主張する。当該先行出願の開示をそれらの全体にてここに援用する。
【0002】
開示に係る事項は、映像符号化及び復号に関し、より具体的には、複数のレイヤを有する符号化映像ストリームにおける出力レイヤ導出に関する。
【背景技術】
【0003】
動き補償を用いるインターピクチャ予測を使用した映像符号化及び復号が数十年前から知られている。圧縮されていないデジタル映像は一連のピクチャを含み、各ピクチャが、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を持つ。一連のピクチャは、固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を持つことができ、例えば、毎秒６０ピクチャ、すなわち、６０Ｈｚのピクチャレートを持ち得る。圧縮されていない映像は、かなりのビットレート要求を持つ。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０映像（６０Ｈｚのフレームレートで１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのような映像は、６００ギガバイトを超えるストレージ空間を必要とする。
【0004】
映像の符号化及び復号の１つの目的は、圧縮を通じての入力映像信号の冗長性の低減であるとし得る。圧縮は、前述の帯域幅要求又はストレージ空間要求を、場合によって２桁以上の大きさで、低減させる助けとなることができる。可逆圧縮及び不可逆圧縮の双方、並びにこれらの組み合わせを使用することができる。可逆圧縮は、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。不可逆圧縮を使用する場合、再構成された信号は、原信号と同じにならないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図した用途に有用にするのに十分な小ささである。映像の場合、不可逆圧縮が広く用いられる。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン寄与アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比はそれを反映し、より高い許容／我慢できる歪みは、より高い圧縮比をもたらすことができる。
【0005】
ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピー符号化を含む幾つかの広範なカテゴリからの技術を利用することができ、それらの一部を以下にて紹介する。
【0006】
歴史的に、ビデオエンコーダ及びデコーダは、符号化映像シーケンス（coded video sequence；ＣＶＳ）、グループ・オブ・ピクチャ（Group of Pictures；ＧＯＰ）、又は類似のマルチピクチャ時間フレームに対して大抵の場合は規定されて一定のままにされた所与のピクチャサイズで動作する傾向にあった。例えば、ＭＰＥＧ－２では、例えばシーンのアクティブさなどのファクタに依存して水平解像度（及びそれによりピクチャサイズ）を変化させるシステム設計が知られているが、それはＩピクチャにおいてのみであり、従って典型的にＧＯＰに対してのみである。ＣＶＳ内で異なる解像度を使用するための参照ピクチャの再サンプリングは、例えば、ＩＴＵ－Ｔ勧告Ｈ．２６３付属書Ｐから知られている。しかしながら、そこでは、ピクチャサイズは変わらずに参照ピクチャのみが再サンプリングされ、可能性として、（ダウンサンプリングの場合に）使用されるピクチャキャンバスの部分のみ、又は（アップサンプリングの場合に）キャプチャされるシーンの部分のみになりかねない。また、Ｈ．２６３付属書Ｑは、上方又は下方に（各次元において）２倍の、個々のマクロブロックの再サンプリングを可能にしている。やはり、ピクチャサイズは同じままである。マクロブロックのサイズは、Ｈ．２６３では固定されており、故に、シグナリングされる必要はない。
【0007】
現代の映像符号化では、予測ピクチャにおけるピクチャサイズの変更が、より主流となった。例えば、ＶＰ９は、ピクチャ全体に対して参照ピクチャの再サンプリング及び解像度の変更を可能にする。同様に、ＶＶＣに向けて為された特定の提案（例えば、Ｈｅｎｄｒｙらの、“On adaptive resolution change (ARC) for VVC”、ジョイントビデオチーム文書ＪＶＥＴ－Ｍ０１３５－ｖ１、２０１９年１月９日から１９日を含み、その全体をここに援用する）は、より高い又はより低い、異なる解像度への参照ピクチャ全体の再サンプリングを可能にするものである。その文書では、複数の異なる候補解像度がシーケンスパラメータセット内に符号化され、ピクチャパラメータセット内のピクチャごとの構文要素によって参照されることが提案されている。
【発明の概要】
【0008】
映像ビットストリームにおける適応ピクチャサイズのシグナリングのための技術が開示される。
【0009】
方法は、パラメータセットを参照する符号化映像シーケンスにおいて許される時間サブレイヤの最大数を特定するステップと、特定した、前記パラメータセットを参照する前記符号化映像シーケンスにおいて許される時間サブレイヤの前記最大数に基づいて、前記符号化映像シーケンスを復号するステップと、を含み得る。
【0010】
装置は、プログラムコードを格納するよう構成された少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードによって命令されるように動作するよう構成された少なくとも１つのプロセッサと、を含むことができ、前記プログラムコードは、前記プロセッサに、パラメータセットを参照する符号化映像シーケンスにおいて許される時間サブレイヤの最大数を特定させるように構成された特定コードと、前記プロセッサに、特定した、前記パラメータセットを参照する前記符号化映像シーケンスにおいて許される時間サブレイヤの前記最大数に基づいて、前記符号化映像シーケンスを復号させるように構成された復号コードと、を含み得る。
【0011】
非一時的なコンピュータ読み取り可能媒体は、命令を格納することができ、該命令は、装置の１つ以上のプロセッサによって実行されるときに、該１つ以上のプロセッサに、パラメータセットを参照する符号化映像シーケンスにおいて許される時間サブレイヤの最大数を特定させ、且つ特定した、前記パラメータセットを参照する前記符号化映像シーケンスにおいて許される時間サブレイヤの前記最大数に基づいて、前記符号化映像シーケンスを復号させる。
【図面の簡単な説明】
【0012】
開示に係る事項の更なる特徴、性質、及び様々な利点が、以下の詳細な説明及び以下の図を含む添付図面からよりいっそう明らかになる。
【図1】一実施形態に従った通信システムの簡略ブロック図の概略図である。
【図2】一実施形態に従った通信システムの簡略ブロック図の概略図である。
【図3】一実施形態に従ったデコーダの簡略ブロック図の概略図である。
【図4】一実施形態に従ったエンコーダの簡略ブロック図の概略図である。
【図5】示されるような従来技術又は一実施形態に従ったＡＲＣパラメータをシグナリングするためのオプションの概略図である。
【図6】一実施形態に従った構文テーブルの一例である。
【図7】一実施形態に従ったコンピュータシステムの概略図である。
【図8】適応解像度変更を用いたスケーラビリティ向けの予測構造の一例である。
【図9】一実施形態に従った構文テーブルの一例である。
【図10】アクセスユニットごとのｐｏｃサイクル及びアクセスユニットカウント値を構文解析及び復号することの簡略ブロック図の概略図である。
【図11】一実施形態に従った、マルチレイヤ化サブピクチャを有する映像ビットストリーム構造の概略図である。
【図12】高められた解像度での選択されたサブピクチャの表示の概略図である。
【図13】マルチレイヤ化サブピクチャを有する映像ビットストリームの復号及び表示プロセスのブロック図である。
【図14】サブピクチャのエンハンスメントレイヤを用いた３６０映像表示の概略図である。
【図15】サブピクチャのレイアウト情報、並びにその対応するレイヤ及びピクチャ予測構造の一例である。
【図16】局所領域の空間スケーラビリティモダリティを用いた、サブピクチャのレイアウト情報、並びにその対応するレイヤ及びピクチャ予測構造の一例である。
【図17】サブピクチャレイアウト情報に関する構文テーブルの一例である。
【図18】サブピクチャレイアウト情報に関するＳＥＩメッセージの構文テーブルの一例である。
【図19】各出力レイヤセットについての出力レイヤ及びプロファイル／ティア／レベル情報を示す構文テーブルの一例である。
【図20】各出力レイヤセットについての出力レイヤモードオンを示す構文テーブルの一例である。
【図21】各出力レイヤセットについての各レイヤの現在サブピクチャを示す構文テーブルの一例である。
【図22】ビデオパラメータセットＲＢＳＰの一例である。
【図23】シーケンスパラメータセットＲＢＳＰの一例である。
【発明を実施するための形態】
【0013】
ピクチャが、異なる品質を持つ複数のレイヤを含むビットストリームへと符号化されるとき、ビットストリームは、デコーダ側でどのレイヤが出力され得るかを規定する構文要素を有し得る。出力されることになるレイヤのセットは、出力レイヤセットとして定められる。複数のレイヤ及びスケーラビリティをサポートする最新のビデオコーデックでは、１つ以上の出力レイヤセットがビデオパラメータセット内でシグナリングされる。出力レイヤセットとそれらの依存性、プロファイル／ティア／レベル、及び仮説的（hypothetical）デコーダリファレンスモデルパラメータを規定する構文要素を、パラメータセット内で効率的にシグナリングする必要がある。
【0014】
図１は、本開示の一実施形態に従った通信システム（１００）の簡略化したブロック図を例示している。システム（１００）は、ネットワーク（１５０）を介して相互接続された少なくとも２つの端末（１１０－１２０）を含み得る。データの一方向伝送では、第１の端末（１１０）は、ネットワーク（１５０）を介した他方の端末（１２０）への伝送のために、ローカル位置で映像データを符号化し得る。第２の端末（１２０）は、他方の端末の符号化された映像データをネットワーク（１５０）から受信し、符号化されたデータを復号し、そして、復元された映像データを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。
【0015】
図１は、例えばビデオ会議中に発生し得る符号化された映像の双方向伝送をサポートするように設けられた第２対の端末（１３０、１４０）を例示している。データの双方向伝送では、各端末（１３０、１４０）が、ローカル位置でキャプチャされた映像データを、ネットワーク（１５０）を介した他方の端末への伝送のために符号化し得る。各端末（１３０、１４０）はまた、他方の端末によって送信された符号化された映像データを受信することができ、符号化データを復号し、そして、復元された映像データをローカルのディスプレイ装置に表示し得る。
【0016】
図１では端末（１１０－１４０）がサーバ、パーソナルコンピュータ、及びスマートフォンとして例示され得るが、本開示の原理はそのように限定されるものではないとし得る。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器での適用を見出すものである。ネットワーク（１５０）は、例えば、有線通信ネットワーク及び／又は無線通信ネットワークを含め、端末（１１０－１４０）間で符号化された映像データを伝達するあらゆる数のネットワークを表す。通信ネットワーク（１５０）は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク（１５０）のアーキテクチャ及びトポロジーは、以下にて説明しない限り、本開示の動作にとって重要ではないとし得る。
【0017】
図２は、本開示に係る事項に関するアプリケーションの一例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を例示している。本開示に係る事項は、例えば、ビデオ会議や、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮映像の格納などを含め、映像を使用可能な他の用途にも等しく適用可能であるとし得る。
【0018】
ストリーミングシステムは、キャプチャサブシステム（２１３）を含むことができ、これは、例えば未圧縮の映像サンプルストリーム（２０２）を作り出す例えばデジタルカメラといった映像ソース（２０１）を含むことができる。そのサンプルストリーム（２０２）は、符号化された映像ビットストリームと比較して高いデータボリュームであることを強調するために太線として描かれており、カメラ２０１に結合されたエンコーダ（２０３）によって処理され得る。エンコーダ（２０３）は、更に詳細に後述される本開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。符号化された映像ビットストリーム（２０４）は、サンプルストリームと比較して低いデータボリュームであることを強調するために細線として描かれており、後の使用のためにストリーミングサーバ（２０５）に格納されることができる。１つ以上のストリーミングクライアント（２０６、２０８）が、符号化された映像ビットストリーム（２０４）のコピー（２０７、２０９）を取り出すためにストリーミングサーバ（２０５）にアクセスすることができる。クライアント（２０６）は、入ってくる符号化された映像ビットストリームのコピー（２０７）を復号し、出ていく映像サンプルストリーム（２１１）を作り出すビデオデコーダ（２１０）を含むことができ、出ていく映像サンプルストリーム（２１１）が、ディスプレイ（２１２）又は他のレンダリング装置（図示せず）上でレンダリングされ得る。一部のストリーミングシステムにおいて、映像ビットストリーム（２０４、２０７、２０９）は、特定の映像符号化／圧縮標準に従って符号化されることができる。それらの標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。非公式にバーサタイルビデオコーディングすなわちＶＶＣとして知られる映像符号化標準が開発中である。本開示に係る事項は、ＶＶＣの文脈で使用され得る。
【0019】
図３は、本発明の一実施形態に従ったビデオデコーダ（２１０）の機能ブロック図であるとし得る。
【0020】
受信器（３１０）が、デコーダ（２１０）によって復号される１つ以上の符号化映像シーケンスを受信することができ、同じ又は他の実施形態において、一度に１つの符号化映像シーケンスを受信することができ、各符号化映像シーケンスの復号は、他の符号化映像シーケンスとは独立である。符号化映像シーケンスは、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得るものであるチャネル（３１２）から受信され得る。受信器（３１０）は、符号化映像データを、例えば符号化された音声データ及び／又は補助データストリームといった他のデータと共に受信してもよく、それらのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器（３１０）は、符号化映像シーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器（３１０）とエントロピーデコーダ／パーサ（３２０）（以下、“パーサ”）との間にバッファメモリ（３１５）が結合され得る。受信器（３１０）が、十分な帯域幅及び可制御性の格納／転送装置から又は等同期ネットワークからデータを受信しているとき、バッファ（３１５）は、必要とされないことがあり、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファ（３１５）が必要とされ得るとともに、比較的大きくされ、そして有利には、適応可能なサイズのものにされ得る。
【0021】
ビデオデコーダ（２１０）は、エントロピー符号化された映像シーケンスからシンボル（３２１）を再構成するためのパーサ（３２０）を含み得る。それらシンボルのカテゴリは、デコーダ（２１０）の動作を管理するために使用される情報を含むとともに、可能性として、例えばディスプレイ（２１２）などのレンダリング装置を制御する情報を含み得る。ディスプレイ（２１２）などのレンダリング装置は、デコーダの一体部分ではないが、図２に示したようにデコーダに結合されることができる。（１つ以上の）レンダリング装置用の制御情報は、補足拡張情報（Supplementary Enhancement Information；ＳＥＩ）メッセージ又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ（３２０）は、受け取った符号化映像シーケンスを構文解析／エントロピー復号し得る。符号化映像シーケンスの符号化は、映像符号化技術又は標準によることができ、可変長符号化、ハフマン符号化、文脈依存性を持つ又は持たない算術符号化などを含め、当業者に周知の原理に従うことができる。パーサ（３２０）は、符号化映像シーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。エントロピーデコーダ／パーサはまた、符号化映像シーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。
【0022】
パーサ（３２０）は、シンボル（３２１）を生み出すよう、バッファ（３１５）から受け取った映像シーケンスにエントロピー復号／構文解析処理を実行し得る。
【0023】
シンボル（３２１）の再構成には、符号化された映像ピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットがどのように関与するかは、パーサ（３２０）によって符号化映像シーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（３２０）と以下の複数ユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。
【0024】
既述の機能ブロックを超えて、デコーダ２１０は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、本開示に係る事項を説明するという目的のためには、以下の機能ユニットへの概念的な細分化が適切である。
【0025】
第１のユニットは、スケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）は、パーサ（３２０）からの（１つ以上の）シンボル（３２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受け取る。これは、アグリゲータ（３５５）に入力されることが可能な、サンプル値を有するブロックを出力することができる。
【0026】
場合により、スケーラ／逆変換（３５１）の出力サンプルは、イントラ符号化されたブロック、すなわち、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロック、に関係し得る。このような予測情報は、イントラピクチャ予測ユニット（３５２）によって提供されることができる。場合により、イントラピクチャ予測ユニット（３５２）は、現在の（部分的に再構成された）ピクチャ（３５６）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。アグリゲータ（３５５）は、場合により、サンプル毎に、イントラ予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供される出力サンプル情報に付加する。
【0027】
他の場合には、スケーラ／逆変換ユニット（３５１）の出力サンプルは、インター符号化された、動き補償された可能性のあるブロックに関係し得る。このような場合、動き補償予測ユニット（３５３）が、参照ピクチャメモリ（３５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル（３２１）に従って動き補償した後、これらのサンプルが、アグリゲータ（３５５）によって、スケーラ／逆変換ユニットの出力（この場合、残余サンプル又は残余信号と呼ぶ）に付加されて、出力サンプル情報を生成することができる。そこから動き補償ユニットが予測サンプルをフェッチする参照ピクチャメモリ内のアドレスは、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル（３２１）の形態で動き補償ユニットに利用可能な動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリからフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。
【0028】
アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）にて様々なループフィルタリング技術に掛けられ得る。映像圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化映像ビットストリームに含められてパーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能にされるパラメータによって制御されるが、符号化ピクチャ又は符号化映像シーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。
【0029】
ループフィルタユニット（３５６）の出力は、レンダリング装置（２１２）に出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリ（３５７）に格納され得る。
【0030】
ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。ある符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ（３２０）によって）特定されると、現在の参照ピクチャ（３５６）が参照ピクチャバッファ（３５７）の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャメモリが再割り当てされ得る。
【0031】
ビデオデコーダ２１０は、例えばＩＴＵ－Ｔ勧告Ｈ．２３５などの標準にて文書化され得る所定の映像圧縮技術に従って復号処理を実行し得る。符号化映像シーケンスは、映像圧縮技術文書又は標準、特にその中のプロファイル文書の中で規定されるように映像圧縮技術又は標準の構文を忠実に守るという意味で、使用される映像圧縮技術又は標準によって規定される構文に従い得る。また、準拠のためにこれまた必要なことは、符号化映像シーケンスの複雑さが、映像圧縮技術又は標準のレベルによって定められる限度内であることである。場合により、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、場合により、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化映像シーケンスにてシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。
【0032】
一実施形態において、受信器（３１０）は、符号化された映像と共に追加（冗長）データを受信し得る。追加データは、（１つ以上の）符号化映像シーケンスの一部として含められ得る。追加データは、データを適切に復号するため、及び／又は元の映像データをいっそう正確に再構成するために、ビデオデコーダ（２１０）によって使用され得る。追加データは、例えば、時間的、空間的、又はＳＮＲエンハンスメントレイヤ、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。
【0033】
図４は、本開示の一実施形態に従ったビデオエンコーダ（２０３）の機能ブロック図とし得る。
【0034】
エンコーダ（２０３）は、エンコーダ（２０３）によって符号化される（１つ以上の）映像画像をキャプチャし得る映像ソース（２０１）（エンコーダの一部ではない）から映像サンプルを受信し得る。
【0035】
映像ソース（２０１）は、エンコーダ（２０３）によって符号化されるソース映像シーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）のものとし得るデジタル映像サンプルストリームの形態で提供し得る。メディアサービス提供システムにおいて、映像ソース（２０１）は、事前に準備された映像を格納したストレージ装置とし得る。ビデオ会議システムでは、映像ソース（２０１）は、ローカルな画像情報を映像シーケンスとしてキャプチャするカメラとし得る。映像データは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを有することができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。
【0036】
一実施形態によれば、エンコーダ（２０３）は、ソース映像シーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される他の時間制約下で、符号化映像シーケンス（４４３）へと符号化及び圧縮し得る。適切な符号化速度を強制することは、コントローラ（４５０）の１つの機能である。コントローラは、後述するような他の機能ユニットを制御し、それらのユニットに機能的に結合される。その結合は、明瞭さのために図示されていない。コントローラによって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。当業者は、特定のシステム設計に合わせて最適化されるビデオエンコーダ（２０３）に関連し得るものとして、コントローラ（４５０）の他の機能を直ちに特定することができる。
【0037】
一部のビデオエンコーダは、当業者が“符号化ループ”として直ちに認識するものにて動作する。過度に単純化した説明として、符号化ループは、エンコーダの符号化部分（４３０）（以下、“ソースコーダ”）（符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいてシンボルを作成することを担う）と、エンコーダ（２０３）に埋め込まれた（ローカル）デコーダ（４３３）とで構成されることができ、（ローカル）デコーダ（４３３）は、シンボルを再構成して、（リモート）デコーダも作成し得る（本開示に係る事項において検討している映像圧縮技術においては、シンボルと符号化映像ビットストリームとの間の如何なる圧縮も可逆であるため）ものであるサンプルデータを生成する。その再構成されたサンプルストリームが、参照ピクチャメモリ（４３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャバッファのコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに“見る”のとまったく同じサンプル値を参照ピクチャサンプルとして“見る”。この参照ピクチャ同期性の基本原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、当業者によく知られている。
【0038】
“ローカル”デコーダ（４３３）の動作は、“リモート”デコーダ（２１０）のものと同じであるとすることができ、それは、図３に関連して既に詳細に上述されている。しかし、図３も簡単に参照するに、シンボルが利用可能であり、且つエントロピーコーダ（４４５）及びパーサ（３２０）によるシンボルの符号化映像シーケンスへの符号化／復号は可逆であるとし得るので、チャネル（３１２）、受信器（３１０）、バッファ（３１５）、及びパーサ（３２０）を含むデコーダ（２１０）のエントロピー復号部分は、ローカルデコーダ（４３３）に完全に実装されなくてよい。
【0039】
この時点で気付くことができることには、デコーダ内に存在する構文解析／エントロピー復号を除く如何なるデコーダ技術も必ず、対応するエンコーダ内で、実質的に同じ機能的形態で存在する必要がある。この理由により、本開示に係る事項はデコーダ動作に焦点を当てている。エンコーダ技術の説明は、徹底して説明したデコーダ技術の逆であるため、省略することができる。特定の分野においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0040】
その動作の一部として、ソースコーダ（４３０）は、入力フレームを、映像シーケンスからの、“参照フレーム”として指定された１つ以上の先に符号化されたフレームに対して予測的に符号化するものである動き補償予測符号化を実行し得る。斯くして、符号化エンジン（４３２）は、入力フレームのピクセルブロックと、入力フレームに対する（１つ以上の）予測参照として選択され得る（１つ以上の）参照フレームのピクセルブロックとの間の差分を符号化する。
【0041】
ローカルビデオデコーダ（４３３）は、参照フレームとして指定され得るフレームの符号化映像データを、ソースコーダ（４３０）によって作成されたシンボルに基づいて復号し得る。符号化エンジン（４３２）の動作は、有利には、不可逆プロセスとし得る。符号化映像データがビデオデコーダ（図４には示されていない）で復号され得るとき、再構成された映像シーケンスは典型的に、幾分の誤差を伴うソース映像シーケンスのレプリカであり得る。ローカルビデオデコーダ（４３３）は、参照フレーム上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照フレームを参照ピクチャキャッシュ（４３４）に格納させるようにし得る。斯くして、エンコーダ（２０３）は、ファーエンドのビデオデコーダによって得られることになる再構成参照フレームと共通のコンテンツを持つ再構成参照フレームのコピーをローカルに格納し得る。
【0042】
予測器（４３５）は、符号化エンジン（４３２）のために予測探索を実行し得る。すなわち、符号化すべき新たなフレームに関して、予測器（４３５）は、新たなピクチャ用の適切な予測参照としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動画ベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ（４３４）を検索し得る。予測器（４３５）は、適切な予測参照を見出すために、ピクセルブロック毎に動作し得る。場合により、予測器（４３５）によって得られた検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に格納された複数の参照ピクチャから引き出された予測参照を有し得る。
【0043】
コントローラ（４５０）は、例えば、映像データを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、映像コーダ（４３０）の符号化処理を管理し得る。
【0044】
前述の全ての機能ユニットの出力が、エントロピーコーダ（４４５）におけるエントロピー符号化に掛けられ得る。エントロピーコーダは、例えばハフマン符号化、可変長符号化、算術符号化などといった当業者に知られた技術に従ってシンボルを無損失圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化映像シーケンスへと変換する。
【0045】
送信器（４４０）が、エントロピーコーダ（４４５）によって生成された符号化映像シーケンスをバッファリングし、それを、通信チャネル（４６０）を介した伝送のために準備し得る。通信チャネル（４６０）は、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得る。送信器（４４０）は、映像コーダ（４３０）からの符号化映像データを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージし得る。
【0046】
コントローラ（４５０）は、エンコーダ（２０３）の動作を管理し得る。符号化において、コントローラ（４５０）は、各符号化ピクチャに、それぞれのピクチャに適用され得る符号化技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャはしばしば、以下のフレームタイプの１つとして割り当てられ得る。
【0047】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のフレームを使用することなく、符号化コード化及び復号され得るものとし得る。一部の映像コーデックは、例えば独立デコーダリフレッシュピクチャを含め、異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。
【0048】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。
【0049】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。同様に、多重予測画像は、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。
【0050】
ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎に符号化され得る。ブロックは、それらブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは非予測的に符号化されることができ、あるいは、それらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。
【0051】
ビデオコーダ（２０３）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定の映像符号化技術又は標準に従って符号化処理を実行し得る。その動作において、ビデオコーダ（２０３）は、入力映像シーケンスにおける時間的及び空間的な冗長性を活用する予測的な符号化処理を含め、様々な圧縮処理を実行し得る。符号化された映像データは、それ故に、使用されている映像符号化技術又は標準によって規定される構文に従い得る。
【0052】
一実施形態において、送信器（４４０）は、符号化された映像と共に追加データを送信し得る。映像コーダ（４３０）が、そのようなデータを、符号化映像シーケンスの一部として含め得る。追加データは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、補足拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを有し得る。
【0053】
開示に係る事項の特定の態様を更に詳細に記述する前に、この説明の残りの部分で参照されることになる幾つかの用語を紹介しておく必要がある。
【0054】
サブピクチャは、これ以降、一部のケースで、意味的にグループ化され、変更された解像度で独立に符号化され得る矩形構成のサンプル、ブロック、マクロブロック、符号化ユニット、又は類似のエンティティを指す。１つ以上のサブピクチャでピクチャを形成することができる。１つ以上の符号化サブピクチャが、符号化ピクチャを形成し得る。１つ以上のサブピクチャを１つのピクチャへと組み立てることができ、また、１つ以上のサブピクチャをピクチャから抽出することができる。特定の環境において、１つ以上の符号化サブピクチャが、サンプルレベルへのトランスコーディングなしで圧縮ドメインにて符号化ピクチャへと組み立てられることができ、同じ又は特定の他のケースにおいて、１つ以上の符号化サブピクチャが、圧縮ドメインにて符号化ピクチャから抽出されることができる。
【0055】
適応解像度変更（Adaptive Resolution Change；ＡＲＣ）は、これ以降、例えば参照ピクチャ再サンプリングによって、符号化映像シーケンス内のピクチャ又はサブピクチャの解像度の変更を可能にする機構を指す。これ以降、ＡＲＣパラメータは、適応解像度変更を実行するために必要とされる制御情報を指し、それは、例えば、フィルタパラメータ、スケーリング係数、出力及び／又は参照ピクチャの解像度、種々の制御フラグなどを含み得る。
【0056】
上での記述は、単一の意味的に独立した符号化映像ピクチャを符号化及び復号することに焦点を当てている。独立したＡＲＣパラメータを持つ複数のサブピクチャの符号化／復号の意味あい及びそれがもたらす追加の複雑さを説明する前に、ＡＲＣパラメータをシグナリングするためのオプションを説明しておく。
【0057】
図５を参照するに、ＡＲＣパラメータをシグナリングするための幾つかの新規のオプションが示されている。これらのオプションの各々で言及するように、これらは、符号化効率、複雑性、及びアーキテクチャの観点から、一定の利点及び一定の欠点を有する。映像符号化標準又は技術は、ＡＲＣパラメータをシグナリングするために、これらのオプションのうちの１つ以上又は先行技術から知られるオプションを選択し得る。これらのオプションは、相互に排他的であるわけではなく、考えられる限りにおいて、用途上のニーズ、関与する標準技術、又はエンコーダの選択に基づいて相互に入れ換えられ得る。
【0058】
ＡＲＣパラメータのクラスは、以下を含み得る：
－ Ｘ及びＹの次元で別々の又は組み合わされるアップサンプリング及び／又はダウンサンプリング係数
－ 所与の数のピクチャに対する一定速度のズームイン／アウトを指し示す、時間次元の追加を伴うアップサンプリング及び／又はダウンサンプリング係数
上の２つのうちいずれかは、（１つ以上の）ファクタを含むテーブル内を指し得る１つ以上の恐らくは短い構文要素の符号化を伴い得る。
－ 組み合わせての又は別々の、入力ピクチャ、出力ピクチャ、参照ピクチャ、符号化ピクチャのサンプル、ブロック、マクロブロック、ＣＵ、又は他の好適な粒度の単位での、Ｘ次元又はＹ次元における解像度。２つ以上の解像度（例えば、入力ピクチャ用の１つ、参照ピクチャ用の１つ）が存在する場合、特定のケースにおいて、１組の値が別の１組の値から推定され得る。これは、例えばフラグの使用によって、ゲーティングされ得る。より詳細な例について、以下を参照されたい。
－ やはり上述のような好適な粒度での、Ｈ．２６３付属書Ｐで使用されるものと類似の“ワーピング”座標。Ｈ．２６３付属書Ｐは、このようなワーピング座標を符号化するための１つの効率的な手法を規定しているが、考えられる限りにおいて、可能性としてもっと効率的な他の手法も考案され得る。例えば、付属書Ｐのワーピング座標の可変長可逆“ハフマン”形式の符号化は、好適な長さのバイナリ符号化によって置き換えられてもよく、その場合、バイナリコードワードの長さが、例えば、最大ピクチャサイズから導出され、場合により、最大ピクチャサイズの境界の外に“ワープ”することを可能にするよう、ある一定の係数を乗算され、そして、ある一定の値だけオフセットされ得る。
－ アップサンプリング又はダウンサンプリングフィルタパラメータ。最も簡単なケースにおいて、アップサンプリング及び／又はダウンサンプリングのための単一のフィルタのみが存在し得る。しかしながら、特定のケースでは、フィルタ設計においていっそうの柔軟性を可能にすることが有利であるとすることができ、それがフィルタパラメータのシグナリングを必要とし得る。そのようなパラメータは、可能なフィルタ設計のリスト内のインデックスを介して選択されることができ、フィルタは、完全に指定されることができ（例えば、フィルタ係数のリストを介して、適切なエントロピー符号化技術を用いて）、フィルタは、代わってそれが上述の機構のうちのいずれかに従ってシグナリングされるアップサンプリング及び／又はダウンサンプリング比を通じて暗示的に選択され得る。
－ Ｘ及びＹの次元で別々の又は組み合わされるアップサンプリング及び／又はダウンサンプリング係数
－ 所与の数のピクチャに対する一定速度のズームイン／アウトを指し示す、時間次元の追加を伴うアップサンプリング及び／又はダウンサンプリング係数
上の２つのうちいずれかは、（１つ以上の）ファクタを含むテーブル内を指し得る１つ以上の恐らくは短い構文要素の符号化を伴い得る。
－ 組み合わせての又は別々の、入力ピクチャ、出力ピクチャ、参照ピクチャ、符号化ピクチャのサンプル、ブロック、マクロブロック、ＣＵ、又は他の好適な粒度の単位での、Ｘ次元又はＹ次元における解像度。２つ以上の解像度（例えば、入力ピクチャ用の１つ、参照ピクチャ用の１つ）が存在する場合、特定のケースにおいて、１組の値が別の１組の値から推定され得る。これは、例えばフラグの使用によって、ゲーティングされ得る。より詳細な例について、以下を参照されたい。
－ やはり上述のような好適な粒度での、Ｈ．２６３付属書Ｐで使用されるものと類似の“ワーピング”座標。Ｈ．２６３付属書Ｐは、このようなワーピング座標を符号化するための１つの効率的な手法を規定しているが、考えられる限りにおいて、可能性としてもっと効率的な他の手法も考案され得る。例えば、付属書Ｐのワーピング座標の可変長可逆“ハフマン”形式の符号化は、好適な長さのバイナリ符号化によって置き換えられてもよく、その場合、バイナリコードワードの長さが、例えば、最大ピクチャサイズから導出され、場合により、最大ピクチャサイズの境界の外に“ワープ”することを可能にするよう、ある一定の係数を乗算され、そして、ある一定の値だけオフセットされ得る。
－ アップサンプリング又はダウンサンプリングフィルタパラメータ。最も簡単なケースにおいて、アップサンプリング及び／又はダウンサンプリングのための単一のフィルタのみが存在し得る。しかしながら、特定のケースでは、フィルタ設計においていっそうの柔軟性を可能にすることが有利であるとすることができ、それがフィルタパラメータのシグナリングを必要とし得る。そのようなパラメータは、可能なフィルタ設計のリスト内のインデックスを介して選択されることができ、フィルタは、完全に指定されることができ（例えば、フィルタ係数のリストを介して、適切なエントロピー符号化技術を用いて）、フィルタは、代わってそれが上述の機構のうちのいずれかに従ってシグナリングされるアップサンプリング及び／又はダウンサンプリング比を通じて暗示的に選択され得る。
【0059】
これ以降、この説明は、コードワードを通じて指し示される有限セットのアップサンプリング及び／又はダウンサンプリング係数の符号化（Ｘ次元及びＹ次元の両方で同じ係数が使用される）を仮定する。そのコードワードは有利なことに、例えばＨ．２６４及びＨ．２６５などの映像符号化仕様における特定の構文要素に対して普及しているＥｘｔ－Ｇｏｌｏｍｂ符号を用いて、可変長符号化されることができる。アップサンプリング及び／又はダウンサンプリング係数への値の１つの好適マッピングは、例えば、以下の表に従うことができる。
【表1】
【0060】
多くの類似のマッピングが、用途のニーズ、及び映像圧縮技術又は標準で利用可能なアップスケール及びダウンスケール機構の能力に従って考案され得る。この表は、より多くの値に拡張されてもよい。値はまた、例えばバイナリ符号化を用いて、Ｅｘｔ－Ｇｏｌｏｍｂ符号以外のエントロピー符号化機構によって表現されてもよい。これは、例えばＭＡＮＥによってなど、映像処理エンジン（エンコーダ及びデコーダ第一）自体の外側で再サンプリング係数が関心あるものであった場合に、ある一定の利点を有し得る。なお、解像度変更が要求されない（恐らく）最も一般的なケースでは、上の表では１ビットのみである短いＥｘｔ－Ｇｏｌｏｍｂ符号を選択することができる。これは、最も一般的なケースに対してバイナリコードを使用するものよりも、符号化効率上の利点を有し得る。
【0061】
表の中のエントリの数及びそれらのセマンティクスは、完全に又は部分的に設定可能とし得る。例えば、表の基本的な骨子は、例えばシーケンス又はデコーダパラメータセットなどの“ハイ”パラメータセットにて伝えられ得る。代わりに、あるいは加えて、１つ以上のこのような表が、映像符号化技術又は標準で規定されることができ、例えばデコーダ又はシーケンスパラメータセットを通じて選択され得る。
【0062】
これ以降、上述のように符号化されるアップサンプリング及び／又はダウンサンプリング係数（ＡＲＣ情報）がどのように映像符号化技術又は標準の構文に含められるかについて説明する。同様の考察が、アップサンプリング及び／又はダウンサンプリングフィルタを制御する１つ又は少数のコードワードに適用され得る。フィルタ又は他のデータ構造に比較的大量のデータが必要とされる場合の議論ついて以下を参照されたい。
【0063】
Ｈ．２６３付属書Ｐは、４つのワーピング座標の形態をしたＡＲＣ情報（５０２）をピクチャヘッダ（５０１）に含め、具体的にはＨ．２６３ ＰＬＵＳＰＴＹＰＥ（５０３）ヘッダ拡張に含める。これは、ａ）利用可能なピクチャヘッダが存在し、且つｂ）ＡＲＣ情報の頻繁な変更が予期される場合に、合理的な設計選択となり得る。しかしながら、Ｈ．２６３様式のシグナリングを使用する場合のオーバヘッドは非常に高くなることがあり、また、ピクチャヘッダが一時的な性質のものであり得るので、スケーリング係数がピクチャ境界の間で適切でないことがある。
【0064】
上で引用したＪＶＣＥＴ－Ｍ１３５－ｖ１は、ピクチャパラメータセット（５０４）内に位置するＡＲＣ参照情報（５０５）（インデックス）を含み、代わってシーケンスパラメータセット（５０７）内に位置するターゲット解像度を含むテーブル（５０６）を索引付ける。シーケンスパラメータセット（５０７）内のテーブル（５０６）中の可能な解像度の配置は、筆者によって為される言葉による記述によれば、能力入れ換え中の相互運用性折衝点としてＳＰＳを使用することによって正当化され得る。解像度は、適切なピクチャパラメータセット（５０４）を参照することによって、ピクチャからピクチャへと、テーブル（５０６）中の値によって設定される制限内で変化することができる。
【0065】
図５をなおも参照するに、以下の更なるオプションが、映像ビットストリーム内でＡＲＣ情報を伝達するために存在し得る。これらのオプションは各々、上述の既存技術に対する一定の利点を有する。同じ映像符号化技術又は標準においてこれらのオプションが同時に存在してもよい。
【0066】
一実施形態において、例えば再サンプリング（ズーム）係数などのＡＲＣ情報（５０９）は、スライスヘッダ、ＧＯＢヘッダ、タイルヘッダ、又はタイルグループヘッダ（これ以降、タイルグループヘッダ）（５０８）内に存在し得る。これは、例えば上で示したように、例えば単一の可変長ｕｅ（ｖ）又は数ビットの固定長コードワードなど、ＡＲＣ情報が小さい場合に適当であり得る。タイルグループヘッダ内に直接的にＡＲＣ情報を持つことは、ピクチャ全体ではなく例えばそのタイルグループによって表されるサブピクチャに対してＡＲＣ情報を適用可能にし得るという追加な利点を有する。以下も参照されたい。さらに、映像圧縮技術又は標準が（例えば、タイルグループベースの適応解像度変更とは対照的に）ピクチャ全体の適応解像度変更のみを想定している場合であっても、ＡＲＣ情報をタイルグループヘッダに入れることは、Ｈ．２６３様式のピクチャヘッダにそれを入れることと比べて、エラー耐性の観点から一定の利点を有する。
【0067】
同じ実施形態又は他の一実施形態において、ＡＲＣ情報（５１２）自体は、例えばピクチャパラメータセット、ヘッダパラメータセット、タイルパラメータセット、適応パラメータセットなどの適切なパラメータセット（５１１）内に存在してもよい（適応パラメータセットが図示されている）。このパラメータセットの範囲は、有利には、例えばタイルグループなど、ピクチャよりも大きくないとし得る。ＡＲＣ情報の使用は、関連するパラメータセットの有効化による暗示的なものである。例えば、映像符号化技術又は標準がピクチャベースのＡＲＣのみを企図する場合、ピクチャパラメータセット又は同等物が適切であり得る。
【0068】
同じ実施形態又は他の一実施形態において、ＡＲＣ参照情報（５１３）は、タイルグループヘッダ（５１４）又は類似のデータ構造内に存在し得る。この参照情報（５１３）は、例えばシーケンスパラメータセット又はデコーダパラメータセットといった、単一のピクチャを超える範囲を持つパラメータセット（５１６）内で利用可能なＡＲＣ情報のサブセット（５１５）を参照することができる。
【0069】
ＪＶＥＴ－Ｍ０１３５－ｖ１で使用されるようなタイルグループヘッダ、ＰＰＳ、ＳＰＳからの、この追加レベルの、ＰＰＳの間接暗示的有効化は、不要であるように見える。何故なら、ピクチャパラメータセットを、シーケンスパラメータセットと同様に、能力折衝又はアナウンスに使用することができる（且つ、例えばＲＦＣ３９８４などの特定の標準において、有する）からである。しかしながら、ＡＲＣ情報が、例えばタイルグループによって表されるサブピクチャにも適用可能であるべき場合、例えば適応パラメータセット又はヘッダパラメータセットなどの、タイルグループに限られた有効化範囲を持つパラメータセットの方が良い選択となり得る。また、ＡＲＣ情報が、無視できる大きさよりも大きいものであり、例えば、多数のフィルタ係数などのフィルタ制御情報を含む場合、パラメータは、ヘッダ（５０８）を直接使用するよりも、符号化効率の観点から良い選択となり得る。何故なら、それらの設定は、同じパラメータセットを参照することによって将来のピクチャ又はサブピクチャによって再利用可能とし得るからである。
【0070】
シーケンスパラメータセット、又は複数のピクチャにまたがる範囲を持つ別のより高いパラメータセットを使用する場合、以下の一定の考察が適用され得る。
【0071】
１． ＡＲＣ情報テーブル（５１６）を格納するパラメータセットは、一部のケースにおいてシーケンスパラメータセットとすることができるが、他のケースにおいて有利にはデコーダパラメータセットとし得る。デコーダパラメータセットは、複数のＣＶＳ、はっきり言えば符号化映像ストリーム、すなわち、セッション開始からセッション解除までの全ての符号化映像ビット、という有効化範囲を持つことができる。このような範囲はいっそう適切であり得る。何故なら、取り得るＡＲＣ係数は、恐らくはハードウェアにて実装されるデコーダ機能とすることができ、ハードウェア機能は、ＣＶＳ（これは、少なくとも一部の娯楽システムにおいて、１秒以下の長さのグループ・オブ・ピクチャである）とともに変化する傾向にはないからである。とは言え、テーブルをシーケンスパラメータセットに入れることは、特に以下のポイント２に関連してここに記載される配置オプションに明確に含まれることである。
【0072】
２． ＡＲＣ参照情報（５１３）は、有利には、ＪＶＣＥＴ－Ｍ０１３５－ｖ１においてのようにピクチャパラメータ内にではなく、ピクチャ／スライスタイル／ＧＯＢ／タイルグループヘッダ（これ以降、タイルグループヘッダ）（５１４）内に直接配置され得る。その理由は以下の通りである。エンコーダが、例えばＡＲＣ参照情報など、ピクチャパラメータセット内の単一の値を変更したい場合、新しいＰＰＳを作成し、その新しいＰＰＳを参照しなければならない。ＡＲＣ参照情報のみが変化し、例えばＰＰＳ内の量子化行列情報などの他の情報はそのままであると仮定する。このような情報は、かなりのサイズのものとなることがあり、新しいＰＰＳを完全にするために再送される必要がある。ＡＲＣ参照情報は、例えばテーブル（５１３）へのインデックスなどの単一のコードワードとすることができ、そして、それが変化する唯一の値であるので、例えば量子化行列情報の全てを再送することは煩雑で無駄の多いこととなり得る。そうであれば、ＪＶＥＴ－Ｍ０１３５－ｖ１で提案されているように、ＰＰＳを介した遠回しなやり方を回避することが、符号化効率の観点からかなり良好なものとなり得る。同様に、ＡＲＣ参照情報をＰＰＳ内に置くことは、ピクチャパラメータセット有効化の範囲がピクチャであるため、ＡＲＣ参照情報（５１３）によって参照されるＡＲＣ情報が、サブピクチャに適用されるのでなく、必ずピクチャ全体に適用される必要があるという更なる欠点を有する。
【0073】
同じ実施形態又は他の一実施形態において、ＡＲＣパラメータのシグナリングは、図６Ａ－６Ｂに概要を示す詳細例に従うことができる。図６は、少なくとも１９９３年以降の映像符号化標準で使用されるような表記法での構文図を示している。このような構文図の表記は、Ｃ様式のプログラミングに大まかに従う。太字のラインはビットストリームに存在する構文要素を示し、太字でないラインは制御フローや変数の設定を示すことが多い。
【0074】
ピクチャの（矩形とし得る）部分に適用可能なヘッダの例示的な構文構造としてのタイルグループヘッダ（６０１）は、条件付きで、可変長のＥｘｐ－Ｇｏｌｏｍｂ符号化構文要素dec_pic_size_idx（６０２）（太字で示されている）を含むことができる。タイルグループヘッダ内のこの構文要素の存在は、ここでは太字で示されていないフラグの値である適応解像度（６０３）の使用にてゲーティングされることができ、これが意味することは、構文図の中で発生する箇所で、フラグがビットストリーム中に存在するということである。このピクチャ又はその一部に対して適応解像度が使用されるか否かは、ビットストリームの内側又は外側の任意の高水準構文構造にてシグナリングされることができる。図示した例では、それは、以下に概説するようにシーケンスパラメータセット内でシグナリングされる。
【0075】
図６をなおも参照して、シーケンスパラメータセット（６１０）の抜粋も示す。図示の最初の構文要素は、adplicative_pic_resolution_change_flag（６１１）である。真であるとき、このフラグは、適応解像度の使用を指し示すことができ、代わってこれは、特定の制御情報を必要とし得る。この例において、そのような制御情報は、パラメータセット（６１２）及びタイルグループヘッダ（６０１）内のｉｆ（）ステートメントに基づくフラグの値に基づいて、条件付きで存在する。
【0076】
適応解像度が使用されるとき、この例において、出力解像度がサンプル単位で符号化される（６１３）。参照符号６１３は、output_pic_width_in_luma_samples及びoutput_pic_height_in_luma_samplesの両方を指しており、これらが一緒になって、出力ピクチャの解像度を定めることができる。映像符号化技術又は標準のどこかで、いずれかの値に対する特定の制限が定められ得る。例えば、これらの２つの構文要素の値の積とし得るものである出力サンプルの総数を、レベル規定が制限することがある。また、特定の映像符号化技術若しくは標準、又は例えばシステム標準などの外部の技術若しくは標準が、ナンバリング範囲（例えば、一方又は両方の次元が２のべき乗の数で除算可能でなければならない）又はアスペクト比（例えば、幅及び高さが例えば４：３又は１６：９などの関係になければならない）を制限することがある。このような制限は、ハードウェア実装を容易にするため、又は他の理由のために導入されることがあり、技術的によく知られている。
【0077】
特定の用途において、エンコーダがデコーダに、暗黙的にそのサイズを出力ピクチャサイズと仮定するのではなく、所定の参照ピクチャサイズを使用するように指示することが望ましいことがある。この例では、構文要素reference_pic_size_present_flag（６１４）が、参照ピクチャ寸法（６１５）（ここでも、この参照符号は幅及び高さの両方を指している）の条件付き存在をゲーティングする。
【0078】
最後に、可能な復号ピクチャの幅及び高さのテーブルが示されている。このようなテーブルは、例えば、テーブルインジケーション（num_dec_pic_size_in_luma_samples_minus1）（６１６）によって表されることができる。“ｍｉｎｕｓ１”は、この構文要素の値の解釈を指すことができる。例えば、符号化された値がゼロである場合、１つのテーブルエントリが存在し、値が５である場合、６つのテーブルエントリが存在する。テーブル内の各“ライン”で、復号ピクチャの幅及び高さが構文（６１７）に含められている。
【0079】
提示したテーブルエントリ（６１７）は、タイルグループヘッダ内の構文要素dec_pic_size_idx（６０２）を用いて索引付けられることができ、それにより、タイルグループごとに異なる復号サイズ（事実上、ズーム係数）が可能にされる。
【0080】
例えばＶＰ９といった特定の映像符号化技術又は標準は、空間スケーラビリティを可能にするために、時間スケーラビリティと共に、特定の形態の参照ピクチャ再サンプリングを実装することによって空間スケーラビリティをサポートする。特に、特定の参照ピクチャが、ＡＲＣスタイルの技術を用いて、より高い解像度へとアップサンプリングされ、空間エンハンスメントレイヤのベースを形成し得る。これらアップサンプリングされたピクチャは、ディテールを追加するよう、その高い解像度で通常の予測機構を用いて精緻化され得る。
【0081】
開示に係る事項は、そのような環境で使用されることができる。特定のケースで、同じ実施形態又は他の一実施形態において、ＮＡＬユニットヘッダ内の例えば時間ＩＤ（Temporal ID）フィールドなどの値が、時間レイヤだけでなく空間レイヤも指し示すために使用され得る。そうすることは、特定のシステム設計に関して一定の利点を有し、例えば、ＮＡＬユニットヘッダの時間ＩＤ値に基づいて選択される時間レイヤのために作成されて最適化された既存の選択転送ユニット（Selected Forwarding Units；ＳＦＵ）を、スケーラブルな環境のために、変更なく使用することができる。これを可能にするために、符号化ピクチャサイズと時間レイヤとの間のマッピングがＮＡＬユニットヘッダ内の時間ＩＤフィールドによって指し示される必要があるとし得る。
【0082】
一部の映像符号化技術では、アクセスユニット（ＡＵ）が、時間における所与のインスタンスにおいてキャプチャされてそれぞれピクチャ／スライス／タイル／ＮＡＬユニットビットストリームへと合成された（１つ以上の）符号化ピクチャ、スライス、タイル、ＮＡＬユニットなどを参照することができる。この時間インスタンスは合成時間とし得る。
【0083】
ＨＥＶＣ及び他の特定の映像符号化技術では、ピクチャオーダカウント（ＰＯＣ）値が、復号ピクチャバッファ（decoded picture buffer；ＤＰＢ）に格納された複数の参照ピクチャの中から選択された参照ピクチャを指し示すために使用され得る。アクセスユニット（ＡＵ）が１つ以上のピクチャ、スライス又はタイルを有する場合、同一のＡＵに属する各ピクチャ、スライス又はタイルは、同一のＰＯＣ値を担持することができ、それから、それらが同一の合成時間のコンテンツから作成されたものであるということを導出することができる。換言すれば、２つのピクチャ／スライス／タイルが同一のＰＯＣ値を担持しているシナリオで、それは、それら２つのピクチャ／スライス／タイルが同じＡＵに属し且つ同じ合成時間を持つことを指し示すものであるとすることができる。逆に、異なるＰＯＣ値を持つ２つのピクチャ／タイル／スライスは、それらのピクチャ／スライス／タイルが異なるＡＵに属し、異なる合成時間を持つことを指し示すことができる。
【0084】
開示に係る事項の一実施形態において、上述の厳正な関係は、アクセスユニットが異なるＰＯＣ値を有する複数のピクチャ、スライス、又はタイルを有することができるという点で緩和され得る。１つのＡＵ内で複数の異なるＰＯＣ値を許すことにより、ＰＯＣ値を用いて、等しいプレゼンテーション時間を持つ潜在的に独立して復号可能なピクチャ／スライス／タイルを特定することが可能になる。これは、ひいては、更に詳細に後述するように、参照ピクチャ選択シグナリング（例えば、参照ピクチャセットシグナリング又は参照ピクチャリストシグナリング）の変更なしに、複数のスケーラブルレイヤのサポートを可能にすることができる。
【0085】
しかしながら、ＰＯＣ値のみから、ピクチャ／スライス／タイルが属するＡＵを、異なるＰＯＣ値を持つ他のピクチャ／スライス／タイルに対して識別できることがなおも望ましい。これは、以下に説明するようにして達成されることができる。
【0086】
同じ又は他の実施形態において、アクセスユニットカウント（ＡＵＣ）が、例えばＮＡＬユニットヘッダ、スライスヘッダ、タイルグループヘッダ、ＳＥＩメッセージ、パラメータセット、又はＡＵデリミタなどの高水準構文構造にてシグナリングされ得る。ＡＵＣの値は、どのＮＡＬユニット、ピクチャ、スライス、又はタイルが所与のＡＵに属するかを特定するために使用され得る。ＡＵＣの値は、区別可能な合成時間インスタンスに対応しているとし得る。ＡＵＣ値はＰＯＣ値の倍数に等しいとし得る。ＰＯＣ値を整数値で除算することにより、ＡＵＣ値が算出され得る。特定のケースにおいて、除算演算は、デコーダ実装に一定の負担をかけ得る。そのような場合、ＡＵＣ値のナンバリング空間における小さな制約が、除算演算をシフト演算によって置き換えることを可能にし得る。例えば、ＡＵＣ値は、ＰＯＣ値範囲の最上位ビット（ＭＳＢ）値に等しいとし得る。
【0087】
同じ実施形態において、ＡＵごとのＰＯＣサイクルの値（poc_cycle_au）が、例えばＮＡＬユニットヘッダ、スライスヘッダ、タイルグループヘッダ、ＳＥＩメッセージ、パラメータセット、又はＡＵデリミタなどの高水準構文構造にてシグナリングされ得る。poc_cycle_auは、どれだけの数の連続した異なるＰＯＣ値が同じＡＵに関連付けられ得るかを指し示し得る。例えば、poc_cycle_auの値が４に等しい場合、両端を含めて０－３に等しいＰＯＣ値を持つピクチャ、スライス又はタイルが、０に等しいＡＵＣ値を持つＡＵに関連付けられ、両端を含めて４－７に等しいＰＯＣ値を持つピクチャ、スライス又はタイルが、１に等しいＡＵＣ値を持つＡＵに関連付けられる。従って、ＡＵＣの値は、ＰＯＣ値をpoc_cycle_auの値で割ることによって推定され得る。
【0088】
同じ実施形態又は他の一実施形態において、poc_cyle_auの値は、例えばビデオパラメータセット（ＶＰＳ）内に位置した、符号化映像シーケンス内の空間又はＳＮＲレイヤの数を特定する情報から導出され得る。そのような可能な関係を以下にて簡単に説明する。上述の導出は、ＶＰＳにおいて数ビットを節約し、従って符号化効率を改善し得るが、例えばピクチャなどのビットストリームの所与の小さい部分に対してpoc_cycle_auを最小化することができるように、階層的にビデオパラメータセットの下で適切な高水準構文構造にてpoc_cycle_auを明示的に符号化することが有利であり得る。この最適化は、ＰＯＣ値（及び／又はＰＯＣを間接的に参照する構文要素の値）が低水準構文構造にて符号化され得るので、上の導出プロセスを通じて節約できるものよりも多くのビットを節約し得る。
【0089】
同じ実施形態又は他の一実施形態において、図９は、符号化映像シーケンス内の全てのピクチャ／スライスに使用されるpoc_cycle_auを指し示すものであるＶＰＳ（又はＳＰＳ）内のvps_poc_cycle_auの構文要素と、スライスヘッダ内の現在スライスのpoc_cycle_auを指し示すものであるslice_poc_cycle_auの構文要素とをシグナリングするための構文テーブルの一例を示している。ＰＯＣ値がＡＵごとに一様に増加する場合、ＶＰＳ内のvps_contant_poc_cycle_per_auを１に設定しく設定され、ＶＰＳ内でvps_poc_cycle_auがシグナリングされる。この場合、slice_poc_cycle_auは明示的にシグナリングされず、各ＡＵのＡＵＣの値は、ＰＯＣの値をvps_poc_cycle_auで割ることによって算出される。ＰＯＣ値がＡＵごとに一様に増加しない場合には、ＶＰＳ内のvps_contant_poc_cycle_per_auは０に等しく設定される。この場合、vps_access_unit_cntはシグナリングされずに、slice_access_unit_cntが各スライス又はピクチャのスライスヘッダ内でシグナリングされる。各スライス又はピクチャが異なる値のslice_access_unit_cntを持ち得る。各ＡＵのＡＵＣの値は、ＰＯＣの値をslice_poc_cycle_auで割ることによって算出される。図１０は、関連するワークフローを例示するブロック図を示している。
【0090】
同じ又は他の実施形態において、たとえピクチャ、スライス、又はタイルのＰＯＣの値が異なり得るとしても、同じＡＵＣ値を有するＡＵに対応するピクチャ、スライス、又はタイルは、同じ復号又は出力時間インスタンスに関連付けられ得る。従って、同一のＡＵ内のピクチャ、スライス又はタイルにわたっての相互構文解析／復号依存性なしに、同一のＡＵに関連付けられたピクチャ、スライス又はタイルの全て又はサブセットが並列に復号され、同じ時間インスタンスで出力され得る。
【0091】
同じ又は他の実施形態において、たとえピクチャ、スライス、又はタイルのＰＯＣの値が異なり得るとしても、同じＡＵＣ値を有するＡＵに対応するピクチャ、スライス、又はタイルは、同じ合成／表示時間インスタンスに関連付けられ得る。合成時間がコンテナ形式で含まれる場合、たとえピクチャが異なるＡＵに対応していても、それらのピクチャが同じ合成時間を持つ場合には、それらのピクチャは同じ時間インスタンスで表示されることができる。
【0092】
同じ又は他の実施形態において、各ピクチャ、スライス、又はタイルは、同じＡＵ内で同じ時間識別子（temporal_id）を有し得る。ある時間インスタンスに対応するピクチャ、スライス又はタイルの全て又はサブセットが、同じ時間サブレイヤに関連付けられ得る。同じ又は他の実施形態において、各ピクチャ、スライス、又はタイルは、同じＡＵ内で同じ又は異なる空間レイヤＩＤ（layer_id）を有し得る。ある時間インスタンスに対応するピクチャ、スライス又はタイルの全て又はサブセットが、同じ又は異なる空間レイヤに関連付けられ得る。
【0093】
図８は、適応解像度変更でのtemporal_id、layer_id、ＰＯＣ、ＡＵＣ値の組み合わせを有する映像シーケンス構造の一例を示している。この例において、ＡＵＣ＝０の第１のＡＵ内のピクチャ、スライス、タイルは、temporal_id＝０及びlayer_id＝０又は１を有することができ、ＡＵＣ＝１の第２のＡＵのピクチャ、スライス、タイルは、temporal_id＝１及びlayer_id＝０又は１を有することができる。ＰＯＣの値は、temporal_id及びlayer_idの値に関係なく、ピクチャごとに１ずつ増加される。この例において、poc_cycle_auの値は２に等しいとすることができる。好ましくは、poc_cycle_auの値は、（空間スケーラビリティ）レイヤの数に等しく設定され得る。この例では、従って、ＰＯＣの値は２ずつ増加され、ＡＵＣの値は１ずる増加される。
【0094】
上の実施形態では、ＨＥＶＣにおける既存の参照ピクチャセット（ＲＰＳ）シグナリング又は参照ピクチャリスト（ＲＰＬ）シグナリングを使用することによって、インターピクチャ又はインターレイヤ予測構造及び参照ピクチャインジケーションの全て又はサブセットがサポートされ得る。ＲＰＳ又はＲＰＬでは、選択された参照ピクチャは、ＰＯＣの値又は現在ピクチャと選択された参照ピクチャとの間のＰＯＣのデルタ値をシグナリングすることによって指し示される。開示に係る事項では、ＲＰＳ及びＲＰＬを用いることで、以下の制約はあるが、シグナリングの変更なしに、インターピクチャ又はインターレイヤ予測構造を指し示すことができる。参照ピクチャのtemporal_idの値が現在ピクチャのtemporal_idの値よりも大きい場合、現在ピクチャは、動き補償又は他の予測のためにその参照ピクチャを使用しないとし得る。参照ピクチャのlayer_idの値が現在ピクチャのlayer_idの値よりも大きい場合、現在ピクチャは、動き補償又は他の予測のためにその参照ピクチャを使用しないとし得る。
【0095】
同じ又は他の実施形態において、時間動きベクトル予測に関するＰＯＣ差に基づく動きベクトルスケーリングは、アクセスユニット内の複数のピクチャにまたがっては無効にされ得る。従って、アクセスユニット内で各ピクチャは異なるＰＯＣ値を有し得るが、動きベクトルは、スケーリングされず、アクセスユニット内での時間動きベクトル予測には使用されない。これは何故なら、同じＡＵ内の異なるＰＯＣを持つ参照ピクチャは、同じ時間インスタンスを持つ参照ピクチャと見なされるからである。従って、実施形態において、参照ピクチャが、現在ピクチャに関連付けられたＡＵに属する場合、動きベクトルスケーリング関数は１を返し得る。
【0096】
同じ又は他の実施形態において、時間動きベクトル予測に関するＰＯＣ差に基づく動きベクトルスケーリングは、参照ピクチャの空間解像度が現在ピクチャの空間解像度と異なる場合には、オプションで、複数のピクチャにまたがっては無効にされ得る。動きベクトルスケーリングが可能にされるとき、動きベクトルは、現在ピクチャと参照ピクチャとの間のＰＯＣ差及び空間分解能比の双方に基づいてスケーリングされる。
【0097】
同じ実施形態又は他の一実施形態において、動きベクトルは、特にpoc_cycle_auが不均一な値を有する場合（vps_contant_poc_cycle_per_au＝＝０の場合）、時間動きベクトル予測のために、ＰＯＣ差の代わりにＡＵＣ差に基づいてスケーリングされ得る。そうでない場合（vps_contant_poc_cycle_per_au＝＝１の場合）には、ＡＵＣ差に基づく動きベクトルスケーリングは、ＰＯＣ差に基づく動きベクトルスケーリングと同じになり得る。
【0098】
同じ又は他の実施形態において、動きベクトルがＡＵＣ差に基づいてスケーリングされる場合、現在ピクチャと同じＡＵ（同じＡＵＣ値を有する）における参照動きベクトルは、ＡＵＣ差に基づいてスケーリングされず、スケーリングなしで、又は現在ピクチャと参照ピクチャとの間の空間分解能比に基づくスケーリングを用いて、動きベクトル予測に使用される。
【0099】
同じ又は他の実施形態において、ＡＵＣ値は、ＡＵの境界を特定するために使用され、ＡＵ粒度での入力及び出力タイミングを必要とするものである仮説的リファレンスデコーダ（ＨＲＤ）動作に使用され得る。大抵の場合、ＡＵ内の最も高いレイヤを用いた復号ピクチャが表示のために出力され得る。出力ピクチャを特定するためにＡＵＣ値及びlayer_id値を使用することができる。
【0100】
一実施形態において、ピクチャは、１つ以上のサブピクチャで構成され得る。各サブピクチャは、ピクチャの局所領域又は全領域をカバーし得る。サブピクチャによってサポートされる領域は、別のサブピクチャによってサポートされる領域と重なり合ってもよいし、重なり合わなくてもよい。１つ以上のサブピクチャによって構成される領域は、ピクチャの全領域をカバーしてもよいし、カバーしなくてもよい。ピクチャが１つのサブピクチャで構成される場合に、そのサブピクチャによってサポートされる領域は、ピクチャによってサポートされる領域と同じである。
【0101】
同じ実施形態において、サブピクチャは、符号化されるピクチャに使用される符号化方法と同様の符号化方法によって符号化され得る。サブピクチャは、別のサブピクチャ又は符号化ピクチャに独立して符号化されてもよいし、依存して符号化されてもよい。サブピクチャは、別のサブピクチャ又は符号化ピクチャからの何らかの構文解析依存性を有してもよいし、有しなくてもよい。
【0102】
同じ実施形態において、符号化サブピクチャは、１つ以上のレイヤに含まれ得る。レイヤ内の符号化サブピクチャは、異なる空間分解能を有し得る。元のサブピクチャが、空間的に再サンプリング（アップサンプリング又はダウンサンプリング）され、異なる空間解像度パラメータで符号化され、そして、レイヤに対応するビットストリームに含められ得る。
【0103】
同じ実施形態又は他の一実施形態において、Ｗはサブピクチャの幅を示し且つＨはサブピクチャの高さを示すとして、（Ｗ，Ｈ）を有するサブピクチャが、レイヤ０に対応する符号化ビットストリームに符号化されて含められ、Ｓｗ，ｋ、Ｓｈ，ｋは水平方向及び垂直方向の再サンプリング比を示すとして、（Ｗ＊Ｓｗ，ｋ，Ｈ＊Ｓｈ，ｋ）の、元の空間分解能を持つサブピクチャからアップサンプリング（又はダウンサンプリング）されたサブピクチャが、レイヤｋに対応する符号化ビットストリームに符号化されて含められ得る。Ｓｗ，ｋ、Ｓｈ，ｋの値が１より大きい場合、その再サンプリングはアップサンプリングに等しい。Ｓｗ，ｋ、Ｓｈ，ｋの値が１より小さい場合、その再サンプリングはダウンサンプリングに等しい。
【0104】
同じ実施形態又は他の一実施形態において、レイヤ内の符号化サブピクチャは、同じサブピクチャ又は異なるサブピクチャ内の別のレイヤの符号化サブピクチャのものとは異なる視覚品質を持ち得る。例えば、レイヤｎ内のサブピクチャｉは量子化パラメータＱｉ，ｎで符号化され、レイヤｍ内のサブピクチャｊは量子化パラメータＱｊ，ｍで符号化される。
【0105】
同じ実施形態又は他の一実施形態において、レイヤ内の符号化サブピクチャは、同じ局所領域の別のレイヤ内の符号化サブピクチャからの構文解析又は復号依存性なしで、独立して復号可能であり得る。同じ局所領域の別のサブピクチャレイヤを参照することなく独立して復号可能であるとすることができるサブピクチャレイヤを、独立サブピクチャレイヤである。独立サブピクチャレイヤ内の符号化サブピクチャは、同じサブピクチャレイヤ内の先に符号化されたサブピクチャからの復号又は構文解析依存性を有していてもよいし、有しなくてもよいが、符号化サブピクチャは、別のサブピクチャレイヤ内の符号化ピクチャからの如何なる依存性も有しないとし得る。
【0106】
同じ実施形態又は他の一実施形態において、レイヤ内の符号化サブピクチャは、同じ局所領域の別のレイヤ内の符号化サブピクチャからの構文解析又は復号依存性ありで、従属して復号可能であってもよい。同じ局所領域の別のサブピクチャレイヤを参照して従属的に復号可能であるとすることができるサブピクチャレイヤを、従属サブピクチャレイヤとする。従属サブピクチャレイヤ内の符号化サブピクチャは、同じサブピクチャに属する符号化サブピクチャ、同じサブピクチャレイヤ内の先に符号化されたサブピクチャ、又は両方の参照サブピクチャを参照し得る。
【0107】
同じ実施形態又は他の一実施形態において、符号化サブピクチャは、１つ以上の独立サブピクチャレイヤと１つ以上の従属サブピクチャレイヤとで構成される。しかしながら、少なくとも１つの独立サブピクチャレイヤが符号化サブピクチャに存在し得る。独立サブピクチャレイヤは、ＮＡＬユニットヘッダ又は他の高水準構文構造内に存在し得るものである０に等しいレイヤ識別子（layer_id）の値を持ち得る。０に等しいlayer_idを有するサブピクチャレイヤを、ベースサブピクチャレイヤとし得る。
【0108】
同じ実施形態又は他の一実施形態において、ピクチャは、１つ以上の前景サブピクチャと１つの背景サブピクチャとで構成される。背景サブピクチャによってサポートされる領域は、ピクチャの領域と等しいとし得る。前景サブピクチャによってサポートされる領域は、背景サブピクチャによってサポートされる領域と重なり合い得る。背景サブピクチャはベースサブピクチャレイヤとすることができ、前景サブピクチャは非ベース（エンハンスメント）サブピクチャレイヤとすることができる。１つ以上の非ベースサブピクチャレイヤが、復号のために同じベースレイヤを参照し得る。ａはｂより大きいとして、ａに等しいlayer_idを有する各非ベースサブピクチャレイヤは、ｂに等しいlayer_idを有する非ベースサブピクチャレイヤを参照し得る。
【0109】
同じ実施形態又は他の一実施形態において、ピクチャは、背景サブピクチャありで又はなしで、１つ以上の前景サブピクチャで構成され得る。各サブピクチャが、それ自身のベースサブピクチャレイヤと１つ以上の非ベース（エンハンスメント）レイヤとを有し得る。各ベースサブピクチャレイヤは、１つ以上の非ベースサブピクチャレイヤによって参照され得る。ａはｂより大きいとして、ａに等しいlayer_idを有する各非ベースサブピクチャレイヤは、ｂに等しいlayer_idを有する非ベースサブピクチャレイヤを参照し得る。
【0110】
同じ実施形態又は他の一実施形態において、ピクチャは、背景サブピクチャありで又はなしで、１つ以上の前景サブピクチャで構成され得る。（ベース又は非ベース）サブピクチャレイヤ内の各符号化サブピクチャは、同じサブピクチャに属する１つ以上の非ベースレイヤサブピクチャ、及び同じサブピクチャに属しない１つ以上の非ベースレイヤサブピクチャによって参照され得る。
【0111】
同じ実施形態又は他の一実施形態において、ピクチャは、背景サブピクチャありで又はなしで、１つ以上の前景サブピクチャで構成され得る。レイヤａ内のサブピクチャが更に、同じレイヤ内の複数のサブピクチャに分割されてもよい。レイヤｂ内の１つ以上の符号化サブピクチャが、レイヤａ内の分割されたサブピクチャを参照してもよい。
【0112】
同じ実施形態又は他の一実施形態において、符号化映像シーケンス（ＣＶＳ）は、一群の符号化ピクチャであるとし得る。ＣＶＳは、１つ以上の符号化サブピクチャシーケンス（ＣＳＰＳ）で構成されることができ、ＣＳＰＳは、ピクチャの同じ局所領域をカバーする一群の符号化サブピクチャであるとし得る。ＣＳＰＳは、符号化映像シーケンスと同じ又は異なる時間解像度を持ち得る。
【0113】
同じ実施形態又は他の一実施形態において、ＣＳＰＳは、１つ以上のレイヤに符号化されて含められ得る。ＣＳＰＳは、１つ以上のＣＳＰＳレイヤで構成され得る。あるＣＳＰＳに対応する１つ以上のＣＳＰＳレイヤを復号することで、同じ局所領域に対応するサブピクチャのシーケンスを再構成することができる。
【0114】
同じ実施形態又は他の一実施形態において、あるＣＳＰＳに対応するＣＳＰＳレイヤの数は、別のＣＳＰＳに対応するＣＳＰＳレイヤの数と同じであってもよいし、異なってもよい。
【0115】
同じ実施形態又は他の一実施形態において、ＣＳＰＳレイヤは、別のＣＳＰＳレイヤとは異なる時間解像度（例えば、フレームレート）を持ち得る。元の（未圧縮）サブピクチャシーケンスが、時間的に再サンプリング（アップサンプリング又はダウンサンプリング）され、異なる時間解像度パラメータで符号化され、そして、レイヤに対応するビットストリームに含められ得る。
【0116】
同じ実施形態又は他の一実施形態において、フレームレートＦを有するサブピクチャシーケンスが、レイヤ０に対応する符号化ビットストリームに符号化されて含められ、Ｓｔ，ｋはレイヤｋに対する時間サンプリング比を示すとして、Ｆ＊Ｓｔ，ｋを有する、元のサブピクチャシーケンスから時間的にアップサンプリング（又はダウンサンプリング）されたサブピクチャシーケンスが、レイヤｋに対応する符号化ビットストリームに符号化されて含められ得る。Ｓｔ，ｋの値が１より大きい場合、その時間再サンプリングプロセスはフレームレートアップ変換に等しい。Ｓｔ，ｋの値が１より小さい場合、その時間再サンプリングプロセスはフレームレートダウン変換に等しい。
【0117】
同じ実施形態又は他の一実施形態において、ＣＳＰＳレイヤａを有するサブピクチャが、動き補償又は何らかのインターレイヤ予測のために、ＣＳＰＳレイヤｂを有するサブピクチャによって参照されるとき、ＣＳＰＳレイヤａの空間解像度がＣＳＰＳレイヤｂの空間解像度とは異なる場合、ＣＳＰＳレイヤａ内の復号されたピクセルが再サンプリングされ、参照のために使用される。この再サンプリングプロセスは、アップサンプリングフィルタリング又はダウンサンプリングフィルタリングを必要とし得る。
【0118】
図１１は、０に等しいlayer_idを有する背景映像ＣＳＰＳと、複数の前景ＣＳＰＳレイヤとを含む映像ストリームの一例を示している。符号化サブピクチャは、１つ以上のＣＳＰＳレイヤで構成されることができる、いずれの前景ＣＳＰＳレイヤにも属さないものである背景領域はベースレイヤで構成されることができる。ベースレイヤは背景領域及び前景領域を含むことができ、エンハンスメントＣＳＰＳレイヤは前景領域を含む。エンハンスメントＣＳＰＳレイヤは、同じ領域においてベースレイヤよりも良好な視覚品質を有し得る。エンハンスメントＣＳＰＳレイヤは、同じ領域に対応するベースレイヤの再構成されたピクセル及び動きベクトルを参照し得る。
【0119】
同じ実施形態又は他の一実施形態において、ベースレイヤに対応する映像ビットストリームはトラックに含められ、各サブピクチャに対応するＣＳＰＳレイヤは、映像ファイル内の分離されたトラックに含められる。
【0120】
同じ実施形態又は他の一実施形態において、ベースレイヤに対応する映像ビットストリームはトラックに含められ、同じレイヤＩＤを持つＣＳＰＳレイヤが、分離されたトラックに含められる。この例において、レイヤｋに対応するトラックは、レイヤｋに対応するＣＳＰＳレイヤのみを含む。
【0121】
同じ実施形態又は他の一実施形態において、各サブピクチャの各ＣＳＰＳレイヤが別々のトラックに格納される。各トラックは、１つ以上の他のトラックからの構文解析又は復号依存性を有していてもよいし、有しなくてもよい。
【0122】
同じ実施形態又は他の一実施形態において、０＜ｉ＝＜ｊ＝＜ｋであり、ｋはＣＳＰＳの最上レイヤであるとして、各トラックは、サブピクチャの全て又はサブセットのＣＳＰＳレイヤのレイヤｉからレイヤｊに対応するビットストリームを含み得る。
【0123】
同じ実施形態又は他の一実施形態において、ピクチャは、奥行きマップ、アルファマップ、３Ｄジオメトリデータ、占有率マップなどを含む１つ以上の関連メディアデータで構成される。そのような関連する時間付きメディデータは、各々が１つのサブピクチャに対応する１つ又は複数のデータサブストリームに分割されることができる。
【0124】
同じ実施形態又は他の一実施形態において、図１２は、マルチレイヤ化サブピクチャ法に基づくビデオ会議の一例を示している。映像ストリームに、背景ピクチャに対応する１つのベースレイヤ映像ビットストリームと、前景サブピクチャに対応する１つ以上のエンハンスメントレイヤ映像ビットストリームとが含まれる。各エンハンスメントレイヤ映像ビットストリームがＣＳＰＳレイヤに対応する。ディスプレイに、ベースレイヤに対応するピクチャがデフォルトで表示される。これは、一人以上のユーザのピクチャ・イン・ピクチャ（ＰＩＰ）を含んでいる。特定のユーザがクライアントの制御によって選択されると、選択されたユーザに対応するエンハンスメントＣＳＰＳレイヤが復号され、高められた品質又は空間解像度で表示される。図１３は、動作の図を示している。
【0125】
同じ実施形態又は他の一実施形態において、ネットワーク中間ボックス（例えば、ルータなど）が、その帯域幅に応じて、複数のレイヤのうちユーザに送信すべきサブセットを選択し得る。ピクチャ／サブピクチャ編成が、帯域幅適応に使用され得る。例えば、ユーザが帯域幅を持たない場合、ルータは、重要性によって又は使用セットアップに基づいて、レイヤを剥ぎ取り又は一部のサブピクチャを選択し、これは、帯域幅に適応するように動的に行われることができる。
【0126】
図１４は、３６０映像のユースケースを示している。球形の３６０ピクチャが平面ピクチャ上に投影されるとき、投影３６０ピクチャは、ベースレイヤとしての複数のサブピクチャに分割され得る。特定のサブピクチャのエンハンスメントレイヤが符号化されてクライアントに送信され得る。デコーダは、全てのサブピクチャを含むベースレイヤと、選択されたサブピクチャのエンハンスメントレイヤとの両方を復号することができ得る。現在のビューポートが選択されたサブピクチャと同じある場合、表示されるピクチャは、エンハンスメントレイヤを有する復号サブピクチャを用いて、より高い品質を有し得る。そうでない場合には、ベースレイヤを有する復号ピクチャを、低い品質で表示することができる。
【0127】
同じ実施形態又は他の一実施形態において、表示のための何らかのレイアウト情報が、補足情報（例えばＳＥＩメッセージ又はメタデータなど）としてファイル内に存在し得る。１つ以上の復号サブピクチャが、シグナリングされたレイアウト情報に応じて再配置されて表示され得る。レイアウト情報は、ストリーミングサーバ又はブロードキャスタによってシグナリングされてもよいし、ネットワークエンティティ又はクラウドサーバによって再生成されてもよいし、あるいは、ユーザのカスタマイズ設定によって決定されてもよい。
【0128】
一実施形態において、入力ピクチャが１つ以上の（矩形の）サブ領域に分割されるとき、各サブ領域が、独立したレイヤとして符号化され得る。局所領域に対応する各独立レイヤが、固有のlayer_id値を有し得る。各独立レイヤについて、サブピクチャサイズ及び位置情報がシグナリングされ得る。例えば、ピクチャサイズ（幅、高さ）、左上隅のオフセット情報（x_offset、y_offset）。図１５は、分割されたサブピクチャのレイアウト、そのサブピクチャサイズ及び位置情報、並びに対応するピクチャ予測構造の一例を示している。（１つ以上の）サブピクチャサイズ及び（１つ以上の）サブピクチャ位置を含むこのレイアウト情報は、例えば（１つ以上の）パラメータセット、スライス若しくはタイルグループのヘッダ、又はＳＥＩメッセージなどの高水準構文構造にてシグナリングされ得る。
【0129】
同じ実施形態において、独立したレイヤに対応する各サブピクチャは、ＡＵ内にその固有のＰＯＣ値を有し得る。ＤＰＢに格納された複数のピクチャの中のある参照ピクチャが、ＲＰＳ又はＲＰＬ構造内の（１つ以上の）構文要素を用いることによって指し示されるとき、レイヤに対応する各サブピクチャの（１つ以上の）ＰＯＣ値が使用され得る。
【0130】
同じ実施形態又は他の一実施形態において、（インターレイヤ）予測構造を示すために、layer_idは使用されずに、ＰＯＣ（デルタ）値が使用されてもよい。
【0131】
同じ実施形態において、レイヤ（又は局所領域）に対応するＮに等しいＰＯＣ値を有するサブピクチャが、動き補償予測のために、同じレイヤ（又は同じ局所領域）に対応するＮ＋Ｋに等しいＰＯＣ値を有するサブピクチャの参照ピクチャとして使用されたり使用されなかったりし得る。大抵の場合、数Ｋの値は、サブ領域の数に等しいとし得るものである（独立した）レイヤの最大数に等しいとし得る。
【0132】
同じ実施形態又は他の一実施形態において、図１６は、図１５の拡張ケースを示している。入力ピクチャが複数の（例えば、４つの）サブ領域に分割されるとき、各局所領域が、１つ以上のレイヤで符号化され得る。この場合、独立したレイヤの数は、サブ領域の数に等しいとすることができ、１つ以上のレイヤがサブ領域に対応し得る。従って、各サブ領域が、１つ以上の独立レイヤとゼロ以上の従属レイヤとで符号化され得る。
【0133】
同じ実施形態において、図１６で、入力ピクチャは４つのサブ領域に分割され得る。右上のサブ領域は、レイヤ１及びレイヤ４である２つのレイヤとして符号化され、右下のサブ領域は、レイヤ３及びレイヤ５である２つのレイヤとして符号化され得る。この場合、レイヤ４は、動き補償予測のためにレイヤ１を参照し、レイヤ５は、動き補償のためにレイヤ３を参照し得る。
【0134】
同じ実施形態又は他の一実施形態において、レイヤ境界にまたがるインループ（in-loop）フィルタリング（例えば、デブロッキングフィルタリング、適応インループフィルタリング、リシェイパ、バイラテラルフィルタリング、又は任意のディープラーニングベースのフィルタリング）は、（オプションで）無効にされ得る。
【0135】
同じ実施形態又は他の一実施形態において、レイヤ境界にまたがる動き補償予測又はイントラブロックコピーは、（オプションで）無効にされ得る。
【0136】
同じ実施形態又は他の一実施形態において、サブピクチャの境界における動き補償予測又はインループフィルタリングのための境界パディングが、オプションで処理され得る。境界パディングが処理されるか否かを指し示すフラグが、例えば（１つ以上の）パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ、若しくはＡＰＳ）、スライス若しくはタイルグループヘッダ、又はＳＥＩメッセージなどの高水準構文構造にてシグナリングされ得る。
【0137】
同じ実施形態又は他の一実施形態において、（１つ以上の）サブ領域（又は（１つ以上の）サブピクチャ）のレイアウト情報は、ＶＰＳ又はＳＰＳ内でシグナリングされてもよい。図１７は、ＶＰＳ及びＳＰＳにおける構文要素の例を示している。この例では、vps_sub_picturing_dividing_flagがＶＰＳ内でシグナリングされる。このフラグは、（１つ以上の）入力ピクチャが複数のサブ領域に分割されるか否かを指し示し得る。vps_sub_picture_dividing_flagの値が０に等しい場合、現在ＶＰＳに対応する（１つ以上の）符号化映像シーケンス内の（１つ以上の）入力ピクチャは、複数のサブ領域に分割されないとし得る。この場合、入力ピクチャサイズは、ＳＰＳ内でシグナリングされるものである符号化ピクチャサイズ（pic_width_in_luma_samples、pic_height_in_luma_samples）と等しいとし得る。vps_sub_picture_dividing_flagの値が１に等しい場合、（１つ以上の）入力ピクチャは複数のサブ領域に分割され得る。この場合、構文要素vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesがＶＰＳ内でシグナリングされる。vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesの値は、それぞれ、（１つ以上の）入力ピクチャの幅と高さに等しいとし得る。
【0138】
同じ実施形態において、vps_full_pic_width_in_luma_samples及びvps_full_pic_height_in_luma_samplesの値は、復号に使用されずに、合成及び表示に使用されてもよい。
【0139】
同じ実施形態において、vps_sub_picture_dividing_flagの値が１に等しい場合、構文要素pic_offset_x及びpic_offset_yが、（ａ）特定の（１つ以上の）レイヤに対応するものであるＳＰＳ内でシグナリングされ得る。この場合、ＳＰＳ内でシグナリングされる符号化ピクチャサイズ（pic_width_in_luma_samples、pic_height_in_luma_samples）は、特定のレイヤに対応するサブ領域の幅及び高さに等しいとし得る。また、サブ領域の左上隅の位置（pic_offset_x、pic_offset_y）も、ＳＰＳ内でシグナリングされ得る。
【0140】
同じ実施形態において、サブ領域の左上隅の位置情報（pic_offset_x、pic_offset_y）は、復号に使用されずに、合成及び表示に使用されてもよい。
【0141】
同じ実施形態又は他の一実施形態において、（１つ以上の）入力ピクチャの（１つ以上の）サブ領域の全て又はサブセットのレイアウト情報（サイズ及び位置）、（１つ以上の）レイヤの間の依存性情報が、パラメータセット又はＳＥＩメッセージ内でシグナリングされ得る。図１８は、サブ領域のレイアウトの情報、レイヤ間の依存性、及びサブ領域と１つ以上のレイヤとの間の関係を示す構文要素の一例を示している。この例において、構文要素num_sub_regionは、現在符号化されている映像シーケンス内の（矩形の）サブ領域の数を示す。構文要素num_layersは、現在符号化されている映像シーケンス内のレイヤの数を示す。num_layersの値は、num_sub_regionの値に等しいかそれより大きいとし得る。任意のサブ領域が単一のレイヤとして符号化されるとき、num_layersの値はnum_sub_regionの値に等しいとし得る。１つ以上のサブ領域が複数のレイヤとして符号化されるとき、num_layersの値はnum_sub_regionの値より大きいとし得る。構文要素direct_dipendency_flag[i][j]は、ｊ番目のレイヤからｉ番目のレイヤへの依存性を示す。num_layers_for_region[i]は、ｉ番目のサブ領域に関連するレイヤの数を示す。sub_region_layer_id[i][j]は、ｉ番目のサブ領域に関連するｊ番目のレイヤのlayer_idを示す。sub_region_offset_x[i]及びsub_region_offset_y[i]は、それぞれ、ｉ番目のサブ領域の左上隅の水平及び垂直位置を示す。sub_region_width[i]及びsub_region_height[i]は、それぞれ、ｉ番目のサブ領域の幅及び高さを示す。
【0142】
一実施形態において、プロファイルティアレベル情報あり又はなしで出力される１つ以上のレイヤを示すように出力レイヤセットを指定する１つ以上の構文要素が、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージといった高水準構文構造にてシグナリングされ得る。図１９を参照するに、ＶＰＳを参照する符号化映像シーケンス内の出力レイヤセット（ＯＬＳ）の数を示す構文要素num_output_layer_setsが、ＶＰＳ内でシグナリングされ得る。各出力レイヤセットに対して、output_layer_flagが出力レイヤの数と同じだけシグナリングされ得る。
【0143】
同じ実施形態において、１に等しいoutput_layer_flag[i]は、ｉ番目のレイヤが出力されることを規定する。０に等しいvps_output_layer_flag[i]は、ｉ番目のレイヤが出力されないことを規定する。
【0144】
同じ実施形態又は他の一実施形態において、各出力レイヤセットについてのプロファイルティアレベル情報を規定する１つ以上の構文要素が、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ又はＳＥＩメッセージといった高水準構文構造にてシグナリングされ得る。なおも図１９を参照するに、ＶＰＳを参照する符号化映像シーケンス内のＯＬＳごとのプロファイルティアレベル情報の数を示す構文要素num_profile_tile_levelが、ＶＰＳ内でシグナリングされ得る。各出力レイヤセットに対して、プロファイルティアレベル情報のための構文要素のセット、又はプロファイルティアレベル情報内のエントリの中の特定のプロファイルティアレベル情報を指し示すインデックスが、出力レイヤの数と同じだけシグナリングされ得る。
【0145】
同じ実施形態において、profile_tier_level_idx[i][j]は、ＶＰＳ内のprofile_tier_level()構文構造のリスト中の、ｉ番目のＯＬＳのｊ番目のレイヤに適用されるprofile_tier_level()構文構造のインデックスを規定する。
【0146】
同じ実施形態又は他の一実施形態において、図２０を参照するに、最大レイヤ数が１より大きいとき（vps_max_layers_minus1＞０）、構文要素num_profile_tile_level及び／又はnum_output_layer_setsがシグナリングされ得る。
【0147】
同じ実施形態又は他の一実施形態において、図２０を参照するに、ｉ番目の出力レイヤセットについての出力レイヤシグナリングのモードを示す構文要素vps_output_layers_mode[i]が、ＶＰＳ内に存在してもよい。
【0148】
同じ実施形態において、０に等しいvps_output_layers_mode[i]は、最上位のレイヤのみがｉ番目の出力レイヤセットで出力されることを規定する。１に等しいvps_output_layer_mode[i]は、全てのレイヤがｉ番目の出力レイヤセットで出力されることを規定する。２に等しいvps_output_layer_mode[i]は、出力されるレイヤが、ｉ番目の出力レイヤセットで１に等しいvps_output_layer_flag[i][j]を有するレイヤであることを規定する。より多くの値がリザーブされてもよい。
【0149】
同じ実施形態において、ｉ番目の出力レイヤセットについてのvps_output_layers_mode[i]の値に応じて、output_layer_flag[i][j]がシグナリングされたりされなかったりし得る。
【0150】
同じ実施形態又は他の一実施形態において、図２０を参照するに、フラグvps_ptl_signal_flag[i]が、ｉ番目の出力レイヤセットに対して存在してもよい。vps_ptl_signal_flag[i]の値に応じて、ｉ番目の出力レイヤセットについてのプロファイルティアレベル情報がシグナリングされたりされなかったりし得る。
【0151】
同じ実施形態又は他の一実施形態において、図２１を参照するに、現在ＣＶＳ内のサブピクチャの数max_subpics_minus1が、例えば、ＶＰＳ、ＤＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、又はＳＥＩメッセージといった高水準構文構造にてシグナリングされ得る。
【0152】
同じ実施形態において、図２１を参照するに、サブピクチャの数が１より多い場合（max_subpics_minus1＞０）、ｉ番目のサブピクチャについてのサブピクチャ識別子sub_pic_id[i]がシグナリングされ得る。
【0153】
同じ実施形態又は他の一実施形態において、各出力レイヤセットの各レイヤに属するサブピクチャ識別子を示す１つ以上の構文要素が、ＶＰＳ内でシグナリングされ得る。図２１を参照するに、sub_pic_id_layer[i][j][k]は、ｉ番目の出力レイヤセットのｊ番目のレイヤに存在するｋ番目のサブピクチャを指し示すものである。これらの情報を用いて、デコーダは、特定の出力レイヤセットの各レイヤについて、どのサブピクチャが復号されて出力され得るかを認識することができる。
【0154】
一実施形態において、ピクチャヘッダ（ＰＨ）は、符号化ピクチャの全てのスライスに適用される構文要素を含む構文構造である。ピクチャユニット（ＰＵ）は、規定された分類規則に従って互いに関連付けられ、復号順に連続し、且つ正確に１つの符号化ピクチャを含むＮＡＬユニットの集合である。ＰＵは、ピクチャヘッダ（ＰＨ）と、符号化ピクチャを有する１つ以上のＶＣＬ ＮＡＬユニットとを含み得る。
【0155】
一実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされ、０に等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0156】
一実施形態において、ＳＰＳ（ＲＢＳＰ）は、それが参照される前に復号プロセスに利用可能にされ、該ＳＰＳを参照する１つ以上のＰＰＳを含み得るものであるＣＶＳ内で０に等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0157】
一実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＰＳによって参照される前に復号プロセスに利用可能にされ、該ＳＰＳを参照する１つ以上のＰＰＳを含み得るものであるＣＶＳ内のＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idを有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0158】
一実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＰＳによって参照される前に復号プロセスに利用可能にされ、０に等しいTemporalIdと、ＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0159】
一実施形態において、ＳＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＰＳによって参照される前に復号プロセスに利用可能にされ、０に等しいTemporalIdと、該ＳＰＳを参照する１つ以上のＰＰＳを含み得るものであるＣＶＳ内のＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0160】
同じ実施形態又は他の一実施形態において、pps_seq_parameter_set_idは、参照されるＳＰＳについてのsps_seq_parameter_set_idの値を規定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳにおいて同じとし得る。
【0161】
同じ実施形態又は他の一実施形態において、ＣＶＳ内の特定の値のsps_seq_parameter_set_idを有する全てのＳＰＳ ＮＡＬユニットは、同じコンテンツを有し得る。
【0162】
同じ実施形態又は他の一実施形態において、nuh_layer_id値に関係なく、ＳＰＳ ＮＡＬユニットは、sps_seq_parameter_set_idの同じ値空間を共有し得る。
【0163】
同じ実施形態又は他の一実施形態において、ＳＰＳ ＮＡＬユニットのnuh_layer_id値は、ＳＰＳ ＮＡＬユニットを参照するＰＰＳ ＮＡＬユニットの最も低いnuh_layer_id値に等しいとし得る。
【0164】
一実施形態において、ｍに等しいnuh_layer_idを有するＳＰＳが、ｎに等しいnuh_layer_idを有する１つ以上のＰＰＳによって参照されるとき、ｍに等しいnuh_layer_idを有するレイヤは、ｎに等しいnuh_layer_idを有するレイヤ又はｍに等しいnuh_layer_idを有するレイヤの（直接又は間接）参照レイヤと同じとし得る。
【0165】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされることができ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0166】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされることができ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0167】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされることができ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idを有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0168】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされることができ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdと、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0169】
同じ実施形態又は他の一実施形態において、ＰＨ内のph_pic_parameter_set_idは、使用される参照ＰＰＳに関するpps_pic_parameter_set_idの値を規定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳにおいて同じとし得る。
【0170】
同じ実施形態又は他の一実施形態において、ＰＵ内の特定の値のpps_pic_parameter_set_idを有する全てのＰＰＳ ＮＡＬユニットは、同じコンテンツを有する。
【0171】
同じ実施形態又は他の一実施形態において、nuh_layer_id値に関係なく、ＰＰＳ ＮＡＬユニットは、pps_pic_parameter_set_idの同じ値空間を共有し得る。
【0172】
同じ実施形態又は他の一実施形態において、ＰＰＳ ＮＡＬユニットのnuh_layer_id値は、該ＰＰＳ ＮＡＬユニットを参照するＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_id値に等しいとし得る。
【0173】
一実施形態において、ｍに等しいnuh_layer_idを有するＰＰＳが、ｎに等しいnuh_layer_idを有する１つ以上の符号化スライスＮＡＬユニットによって参照されるとき、ｍに等しいnuh_layer_idを有するレイヤは、ｎに等しいnuh_layer_idを有するレイヤ又はｍに等しいnuh_layer_idを有するレイヤの（直接又は間接）参照レイヤと同じとし得る。
【0174】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされることができ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0175】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが参照される前に復号プロセスに利用可能にされることができ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。
【0176】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされることができ、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idを有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0177】
一実施形態において、ＰＰＳ（ＲＢＳＰ）が、それが１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）によって参照される前に復号プロセスに利用可能にされることができ、ＰＰＳ ＮＡＬユニットのTemporalIdに等しいTemporalIdと、該ＰＰＳを参照する１つ以上のＰＨ（又は符号化スライスＮＡＬユニット）を含むものであるＣＶＳ内のＰＰＳ ＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_idに等しいnuh_layer_idと、を有する少なくとも１つのＰＵに含められ、又は外部手段を介して提供され得る。
【0178】
同じ実施形態又は他の一実施形態において、ＰＨ内のph_pic_parameter_set_idは、使用される参照ＰＰＳに関するpps_pic_parameter_set_idの値を規定する。pps_seq_parameter_set_idの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳにおいて同じとし得る。
【0179】
同じ実施形態又は他の一実施形態において、ＰＵ内の特定の値のpps_pic_parameter_set_idを有する全てのＰＰＳ ＮＡＬユニットは、同じコンテンツを有し得る。
【0180】
同じ実施形態又は他の一実施形態において、nuh_layer_id値に関係なく、ＰＰＳ ＮＡＬユニットは、pps_pic_parameter_set_idの同じ値空間を共有し得る。
【0181】
同じ実施形態又は他の一実施形態において、ＰＰＳ ＮＡＬユニットのnuh_layer_id値は、該ＰＰＳ ＮＡＬユニットを参照するＮＡＬユニットを参照する符号化スライスＮＡＬユニットの最も低いnuh_layer_id値に等しいとし得る。
【0182】
一実施形態において、ｍに等しいnuh_layer_idを有するＰＰＳが、ｎに等しいnuh_layer_idを有する１つ以上の符号化スライスＮＡＬユニットによって参照されるとき、ｍに等しいnuh_layer_idを有するレイヤは、ｎに等しいnuh_layer_idを有するレイヤ又はｍに等しいnuh_layer_idを有するレイヤの（直接又は間接）参照レイヤと同じとし得る。
【0183】
出力レイヤは、出力される出力レイヤセットのうちのレイヤを指す。出力レイヤセット（output layer set；ＯＬＳ）は、指定された一組のレイヤからなるレイヤのセットを指し、当該レイヤのセット内の１つ以上のレイヤが、出力レイヤであるように指定される。出力レイヤセット（ＯＬＳ）レイヤインデックスは、ＯＬＳ内のレイヤの、ＯＬＳ内のレイヤのリストに対するインデックスである。
【0184】
サブレイヤは、時間的にスケーラブルなビットストリームの時間スケーラブルレイヤを指し、特定の値のTemporalId変数を持つＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとで構成される。サブレイヤ表現は、ある特定のサブレイヤとそれより下位のサブレイヤとのＮＡＬユニットで構成されるビットストリームのうちのサブセットを指す。
【0185】
ＶＰＳ ＲＢＳＰは、それが参照される前に復号プロセスに利用可能にされることができ、０に等しいTemporalIdを有する少なくとも１つのＡＵに含められ、又は外部手段を介して提供され得る。ＣＶＳ内の特定の値のvps_video_parameter_set_idを有する全てのＶＰＳ ＮＡＬユニットは、同じコンテンツを有し得る。図２２は、ＶＰＳ ＲＢＳＰの一例を示している。
【0186】
vps_video_parameter_set_idは、他の構文要素による参照のためのＶＰＳに対する識別子を提供する。vps_video_parameter_set_idの値は、０より大きいとし得る。
【0187】
vps_max_layers_minus1＋１は、各ＣＶＳにおけるＶＰＳを参照するレイヤの最大許容数を規定する。
【0188】
vps_max_sublayers_minus1＋１は、各ＣＶＳにおけるＶＰＳを参照するレイヤ内に存在し得る時間サブレイヤの最大数を規定する。vps_max_sublayers_minus1の値は、両端を含めて０から６の範囲内とし得る。
【0189】
１に等しいvps_all_layers_same_num_sublayers_flagは、ＶＰＳを参照する各ＣＶＳ内の全ての層について時間サブレイヤの数が同じであることを規定する。０に等しいvps_all_layers_same_num_sublayers_flagは、ＶＰＳを参照する各ＣＶＳ内のレイヤが同じ数の時間サブレイヤを持つこともあれば持たないこともあることを規定する。存在しない場合、vps_all_layers_same_num_sublayers_flagの値は１に等しいと推定される。
【0190】
１に等しいvps_all_independent_layers_flagは、ＣＶＳ内の全てのレイヤがインターレイヤ予測を用いずに独立に符号化されることを規定する。０に等しいvps_all_independent_layers_flagは、ＣＶＳ内のレイヤのうちの１つ以上がインターレイヤ予測を使用し得ることを規定する。存在しない場合、vps_all_independent_layers_flagの値は１に等しいと推定される。
【0191】
vps_layer_id[i]は、ｉ番目のレイヤのnuh_layer_id値を規定する。任意の２つの非負の整数値ｍ及びｎについて、ｍがｎより小さい場合、vps_layer_id[m]の値はvps_layer_id[n]よりも小さいとし得る。
【0192】
１に等しいvps_independent_layer_flag[i]は、インデックスｉを持つレイヤがインターレイヤ予測を用いないことを規定する。０に等しいvps_independent_layer_flag[i]は、インデックスｉを持つレイヤがインターレイヤ予測を用い得ること、及び両端を含めて０からｉ－１までの範囲内のｊに対して、構文要素vps_direct_ref_layer_flag[i][j]がＶＰＳ内に存在することを規定する。存在しない場合、vps_independent_layer_flag[i]の値は１に等しいと推定される。
【0193】
０に等しいvps_direct_ref_layer_flag[i][j]は、インデックスｊを持つレイヤが、インデックスｉを持つレイヤの直接参照レイヤでないことを規定する。１に等しいvps_direct_ref_layer_flag[i][j]は、インデックスｊを持つレイヤが、インデックスｉを持つレイヤの直接参照レイヤであることを規定する。両端を含めて０からvps_max_layers_minus1の範囲内のｉ及びｊに対してvps_direct_ref_layer_flag[i][j]が存在しない場合、それは０に等しいと推定される。vps_independent_layer_flag[i]が０に等しいとき、両端を含めて０からｉ－１までの範囲内のｊの値が少なくとも１つ存在するとすることができ、vps_direct_ref_layer_flag[i][j]が１に等しくなる。
【0194】
変数NumDirectRefLayers[i]、DirectRefLayerIdx[i][d]、NumRefLayers[i]、RefLayerIdx[i][r]、及びLayerUsedAsRefLeyerFlag[j]が、次のように導出される：
for(i=0;i<=vps_max_layers_minus1;i++){
for(j=0;j<=vps_max_layers_minus1;j++){
dependencyFlag[i][j]=vps_direct_ref_layer_flag[i][j]
for(k=0;k<i;k++)
if(vps_direct_ref_layer_flag[i][k]&&dependencyFlag[k][j])
dependencyFlag[i][j]=1
}
LayerUsedAsRefLayerFlag[i]=0
}
for(i=0;i<=vps_max_layers_minus1;i++){
for(j=0,d=0,r=0;j<=vps_max_layers_minus1;j++){
if(vps_direct_ref_layer_flag[i][j]){
DirectRefLayerIdx[i][d++]=j
LayerUsedAsRefLayerFlag[j]=1
}
if(dependencyFlag[i][j])
RefLayerIdx[i][r++]=j
}
NumDirectRefLayers[i]=d
NumRefLayers[i]=r
}
for(i=0;i<=vps_max_layers_minus1;i++){
for(j=0;j<=vps_max_layers_minus1;j++){
dependencyFlag[i][j]=vps_direct_ref_layer_flag[i][j]
for(k=0;k<i;k++)
if(vps_direct_ref_layer_flag[i][k]&&dependencyFlag[k][j])
dependencyFlag[i][j]=1
}
LayerUsedAsRefLayerFlag[i]=0
}
for(i=0;i<=vps_max_layers_minus1;i++){
for(j=0,d=0,r=0;j<=vps_max_layers_minus1;j++){
if(vps_direct_ref_layer_flag[i][j]){
DirectRefLayerIdx[i][d++]=j
LayerUsedAsRefLayerFlag[j]=1
}
if(dependencyFlag[i][j])
RefLayerIdx[i][r++]=j
}
NumDirectRefLayers[i]=d
NumRefLayers[i]=r
}
【0195】
ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを持つレイヤのレイヤインデックスを規定する変数ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｉ］が、次のように導出される：
for(i=0;i<=vps_max_layers_minus1;i++)
GeneralLayerIdx[vps_layer_id[i]]=i
for(i=0;i<=vps_max_layers_minus1;i++)
GeneralLayerIdx[vps_layer_id[i]]=i
【0196】
どちらも、両端を含めて０からvps_max_layers_minus1の範囲内の、ｉ及びｊという任意の２つの異なる値に対して、dependencyFlag[i][j]が１に等しい場合、ｉ番目のレイヤに適用されるchroma_format_idc及びbit_depth_minus8の値が、それぞれ、ｊ番目のレイヤに適用されるchroma_format_idc及びbit_depth_minus8の値に等しいとし得ることが、ビットストリーム適合性の要件である。
【0197】
１に等しいmax_tid_ref_present_flag[i]は、構文要素max_tid_il_ref_pics_plus1[i]が存在することを規定する。０に等しいmax_tid_ref_present_flag[i]は、構文要素max_tid_il_ref_pics_plus1[i]が存在しないことを規定する。
【0198】
０に等しいmax_tid_il_ref_pics_plus1[i]は、ｉ番目のレイヤの非ＩＲＡＰピクチャによってインターレイヤ予測が使用されないことを規定する。０より大きいmax_tid_il_ref_pics_plus1[i]は、ｉ番目のレイヤのピクチャを復号することに関して、max_tid_il_ref_pics_plus1[i]－１より大きいTemporalIdを持つピクチャはＩＬＲＰとして使用されないことを規定する。存在しない場合、max_tid_il_ref_pics_plus1[i]の値は７に等しいと推定される。
【0199】
１に等しいeach_layer_is_an_ols_flagは、各ＯＬＳが１つのレイヤのみを含み、ＶＰＳを参照するＣＶＳの各レイヤそれ自体がＯＬＳであり、含まれる単一のレイヤが唯一の出力レイヤであることを規定する。０に等しいeach_layer_is_an_ols_flagは、ＯＬＳが２つ以上のレイヤを含み得ることを規定する。vps_max_layers_minus1が０に等しい場合、each_layer_is_an_ols_flagの値は１に等しいと推定される。そうでなく、vps_all_independent_layers_flagが０に等しいとき、each_layer_is_an_ols_flagの値は０に等しいと推測される。
【0200】
０に等しいols_mode_idcは、ＶＰＳによって規定されるＯＬＳの総数がvps_max_layers_minus1＋１に等しく、ｉ番目のＯＬＳが、両端を含めて０からｉまでのレイヤインデックスを持つレイヤを含み、そして、各ＯＬＳについて、ＯＬＳ内の最も高いレイヤのみが出力されることを規定する。
【0201】
１に等しいols_mode_idcは、ＶＰＳによって規定されるＯＬＳの総数がvps_max_layers_minus1＋１に等しく、ｉ番目のＯＬＳが、両端を含めて０からｉまでのレイヤインデックスを持つレイヤを含み、そして、各ＯＬＳについて、ＯＬＳ内の全てのレイヤが出力されることを規定する。
【0202】
２に等しいols_mode_idcは、ＶＰＳによって規定されるＯＬＳの総数が明示的にシグナリングされ、各ＯＬＳについて出力レイヤが明示的にシグナリングされ、他のレイヤは、ＯＬＳの出力レイヤの直接的又は間接的な参照レイヤであることを規定する。
【0203】
ols_mode_idcの値は、両端を含めて０から２までの範囲内とし得る。ols_mode_idcの値３は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために留保されている。
【0204】
vps_all_independent_layers_flagが１に等しく、且つeach_layer_is_an_ols_flagが０に等しい場合、ols_mode_idcの値は２に等しいと推定される。
【0205】
num_output_layer_sets_minus1＋１は、ols_mode_idcが２に等しいときにＶＰＳによって規定されるＯＬＳの総数を規定する。
【0206】
ＶＰＳによって規定されるＯＬＳの総数を規定する変数TotalNumOlssが、次のように導出される：
if(vps_max_layers_minus1==0)
TotalNumOlss=1
elseif(each_layer_is_an_ols_flag||ols_mode_idc==0||ols_mode_idc==1)
TotalNumOlss=vps_max_layers_minus1+1
elseif(ols_mode_idc==2)
TotalNumOlss=num_output_layer_sets_minus1+1
if(vps_max_layers_minus1==0)
TotalNumOlss=1
elseif(each_layer_is_an_ols_flag||ols_mode_idc==0||ols_mode_idc==1)
TotalNumOlss=vps_max_layers_minus1+1
elseif(ols_mode_idc==2)
TotalNumOlss=num_output_layer_sets_minus1+1
【0207】
１に等しいols_output_layer_flag[i][j]は、vps_layer_id[j]に等しいnuh_layer_idを持つレイヤが、ols_mode_idcが２に等しいときのｉ番目のＯＬＳの出力レイヤであることを規定する。０に等しいols_output_layer_flag[i][j]は、vps_layer_id[j]に等しいnuh_layer_idを持つレイヤが、ols_mode_idcが２に等しいときのｉ番目のＯＬＳの出力レイヤでないことを規定する。
【0208】
ｉ番目のＯＬＳ内の出力レイヤの数を規定する変数NumOutputLayersInOls[i]、ｉ番目のＯＬＳ内のｊ番目のレイヤの中のサブレイヤの数を規定する変数NumSubLayersInLayerInOLS[i][j]、ｉ番目のＯＬＳ内のｊ番目の出力レイヤのnuh_layer_id値を規定する変数OutputLayerIdInOls[i][j]、及びｋ番目のレイヤが少なくとも１つのＯＬＳにおける出力レイヤとして使用されるかを規定する変数LayerUsedAsOutputLayerFlag[k]が、次のように導出される：
NumOutputLayersInOls[0]=1
OutputLayerIdInOls[0][0]=vps_layer_id[0]
NumSubLayersInLayerInOLS[0][0]=vps_max_sub_layers_minus1+1
LayerUsedAsOutputLayerFlag[0]=1
for(i=1,i<=vps_max_layers_minus1;i++){
if(each_layer_is_an_ols_flag||ols_mode_idc<2)
LayerUsedAsOutputLayerFlag[i]=1
else/*(!each_layer_is_an_ols_flag&&ols_mode_idc==2)*/
LayerUsedAsOutputLayerFlag[i]=0
}
for(i=1;i<TotalNumOlss;i++)
if(each_layer_is_an_ols_flag||ols_mode_idc==0){
NumOutputLayersInOls[i]=1
OutputLayerIdInOls[i][0]=vps_layer_id[i]
for(j=0;j<i&&(ols_mode_idc==0);j++)
NumSubLayersInLayerInOLS[i][j]=max_tid_il_ref_pics_plus1[i]
NumSubLayersInLayerInOLS[i][i]=vps_max_sub_layers_minus1+1
}elseif(ols_mode_idc==1){
NumOutputLayersInOls[i]=i+1
for(j=0;j<NumOutputLayersInOls[i];j++){
OutputLayerIdInOls[i][j]=vps_layer_id[j]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
}elseif(ols_mode_idc==2){
for(j=0;j<=vps_max_layers_minus1;j++){
layerIncludedInOlsFlag[i][j]=0
NumSubLayersInLayerInOLS[i][j]=0
}
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(ols_output_layer_flag[i][k]){
layerIncludedInOlsFlag[i][k]=1
LayerUsedAsOutputLayerFlag[k]=1
OutputLayerIdx[i][j]=k
OutputLayerIdInOls[i][j++]=vps_layer_id[k]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
NumOutputLayersInOls[i]=j
for(j=0;j<NumOutputLayersInOls[i];j++){
idx=OutputLayerIdx[i][j]
for(k=0;k<NumRefLayers[idx];k++){
layerIncludedInOlsFlag[i][RefLayerIdx[idx][k]]=1
if(NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]<
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]])
NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]=
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]]
}
}
}
NumOutputLayersInOls[0]=1
OutputLayerIdInOls[0][0]=vps_layer_id[0]
NumSubLayersInLayerInOLS[0][0]=vps_max_sub_layers_minus1+1
LayerUsedAsOutputLayerFlag[0]=1
for(i=1,i<=vps_max_layers_minus1;i++){
if(each_layer_is_an_ols_flag||ols_mode_idc<2)
LayerUsedAsOutputLayerFlag[i]=1
else/*(!each_layer_is_an_ols_flag&&ols_mode_idc==2)*/
LayerUsedAsOutputLayerFlag[i]=0
}
for(i=1;i<TotalNumOlss;i++)
if(each_layer_is_an_ols_flag||ols_mode_idc==0){
NumOutputLayersInOls[i]=1
OutputLayerIdInOls[i][0]=vps_layer_id[i]
for(j=0;j<i&&(ols_mode_idc==0);j++)
NumSubLayersInLayerInOLS[i][j]=max_tid_il_ref_pics_plus1[i]
NumSubLayersInLayerInOLS[i][i]=vps_max_sub_layers_minus1+1
}elseif(ols_mode_idc==1){
NumOutputLayersInOls[i]=i+1
for(j=0;j<NumOutputLayersInOls[i];j++){
OutputLayerIdInOls[i][j]=vps_layer_id[j]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
}elseif(ols_mode_idc==2){
for(j=0;j<=vps_max_layers_minus1;j++){
layerIncludedInOlsFlag[i][j]=0
NumSubLayersInLayerInOLS[i][j]=0
}
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(ols_output_layer_flag[i][k]){
layerIncludedInOlsFlag[i][k]=1
LayerUsedAsOutputLayerFlag[k]=1
OutputLayerIdx[i][j]=k
OutputLayerIdInOls[i][j++]=vps_layer_id[k]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
NumOutputLayersInOls[i]=j
for(j=0;j<NumOutputLayersInOls[i];j++){
idx=OutputLayerIdx[i][j]
for(k=0;k<NumRefLayers[idx];k++){
layerIncludedInOlsFlag[i][RefLayerIdx[idx][k]]=1
if(NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]<
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]])
NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]=
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]]
}
}
}
【0209】
両端を含めて０からvps_max_layers_minus1までの範囲内のｉの各値について、LayerUsedAsRefLayerFlag[i]及びLayerUsedAsOutputLayerFlag[i]の値は、両方ともが０に等しいのではないとし得る。換言すれば、少なくとも１つのＯＬＳの出力レイヤでもなければ、いずれの他のレイヤの直接参照レイヤでもないというレイヤは存在しないとし得る。
【0210】
各ＯＬＳに対して、出力レイヤである層が少なくとも１つ存在し得る。換言すれば、両端を含めて０からTotalNumOlss－１までの範囲内のｉのいずれかの値に対して、NumOutputLayersInOls[i]の値は１以上であるとし得る。
【0211】
ｉ番目のＯＬＳ内のレイヤの数を規定する変数NumLayersInOls[i]、及びｉ番目のＯＬＳ内のｊ番目のレイヤのnuh_layer_id値を規定する変数LayerIdInOls[i][j]が、次のように導出される：
NumLayersInOls[0]=1
LayerIdInOls[0][0]=vps_layer_id[0]
for(i=1;i<TotalNumOlss;i++){
if(each_layer_is_an_ols_flag){
NumLayersInOls[i]=1
LayerIdInOls[i][0]=vps_layer_id[i]
}elseif(ols_mode_idc==0||ols_mode_idc==1){
NumLayersInOls[i]=i+1
for(j=0;j<NumLayersInOls[i];j++)
LayerIdInOls[i][j]=vps_layer_id[j]
}elseif(ols_mode_idc==2){
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(layerIncludedInOlsFlag[i][k])
LayerIdInOls[i][j++]=vps_layer_id[k]
NumLayersInOls[i]=j
}
}
NumLayersInOls[0]=1
LayerIdInOls[0][0]=vps_layer_id[0]
for(i=1;i<TotalNumOlss;i++){
if(each_layer_is_an_ols_flag){
NumLayersInOls[i]=1
LayerIdInOls[i][0]=vps_layer_id[i]
}elseif(ols_mode_idc==0||ols_mode_idc==1){
NumLayersInOls[i]=i+1
for(j=0;j<NumLayersInOls[i];j++)
LayerIdInOls[i][j]=vps_layer_id[j]
}elseif(ols_mode_idc==2){
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(layerIncludedInOlsFlag[i][k])
LayerIdInOls[i][j++]=vps_layer_id[k]
NumLayersInOls[i]=j
}
}
【0212】
LayerIdInOls[i][j]に等しいnuh_layer_idを持つレイヤのＯＬＳレイヤインデックスを規定する変数OlsLayerIdx[i][j]が、次のように導出される：
for(i=0;i<TotalNumOlss;i++)
forj=0;j<NumLayersInOls[i];j++)
OlsLayerIdx[i][LayerIdInOls[i][j]]=j
for(i=0;i<TotalNumOlss;i++)
forj=0;j<NumLayersInOls[i];j++)
OlsLayerIdx[i][LayerIdInOls[i][j]]=j
【0213】
各ＯＬＳ内の最も低いレイヤは独立した層とし得る。換言すれば、両端を含めて０からTotalNumOlss－１までの範囲内の各ｉについて、vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[i][0]]]の値は１に等しいとし得る。
【0214】
各レイヤは、ＶＰＳによって規定される少なくとも１つのＯＬＳに含められ得る。換言すれば、両端を含めて０からvps_max_layers_minus1の範囲内のｋでのvps_layer_id[k]のうちの１つに等しいnuhLayerIdという特定の値のnuh_layer_idを持つ各レイヤに対し、ｉは両端を含めて０からTotalNumOlss－１までの範囲内にあり、ｊは両端を含めてNumLayersInOls[i]－１の範囲内にあるとして、LayerIdInOls[i][j]の値がnuhLayerIdに等しくなるような少なくとも一対のｉとｊの値が存在し得る。
【0215】
一実施形態において、符号化映像シーケンス内の任意のＶＣＬ ＮＡＬユニットのtemporalIdの値は、そのＶＣＬ ＮＡＬユニットによって参照されるＶＰＳ内のｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１以下であるとし得る。
【0216】
同じ実施形態又は他の一実施形態において、max_tid_il_ref_pics_plus1[i]は、以下の意味を持つ。
【0217】
０に等しいmax_tid_il_ref_pics_plus1[i]は、ｉ番目のレイヤの非ＩＲＡＰピクチャによってインターレイヤ予測は使用されないことを規定する。０より大きいmax_tid_il_ref_pics_plus1[i]は、ｉ番目のレイヤのピクチャを復号することに関して、max_tid_il_ref_pics_plus1[i]－１よりも大きいTemporalIdを持つピクチャが、ＩＬＲＰとして使用されないことを規定する。存在しない場合、max_tid_il_ref_pics_plus1[i]の値は、vps_max_sublayers_minus1＋１に等しいと推定される。
【0218】
同じ実施形態又は他の一実施形態において、max_tid_il_ref_pics_plus1[i]は、vps_max_sublayers_minus1＋１以下であるとし得る。
【0219】
一実施形態において、サブレイヤによる出力レイヤセットは、独立したレイヤに対して導出されなくてもよい。従って、max_tid_il_ref_pics_plus1及びlayerIncludedInOlsFlagは、独立したレイヤに対して導出されなくてもよい。
【0220】
同じ実施形態又は他の一実施形態において、ｉ番目のＯＬＳ内の出力レイヤの数を規定する変数NumOutputLayersInOls[i]、ｉ番目のＯＬＳ内のｊ番目のレイヤの中のサブレイヤの数を規定する変数NumSubLayersInLayerInOLS[i][j]、ｉ番目のＯＬＳ内のｊ番目の出力レイヤのnuh_layer_id値を規定する変数OutputLayerIdInOls[i][j]、及びｋ番目のレイヤが少なくとも１つのＯＬＳにおける出力レイヤとして使用されるかを規定する変数LayerUsedAsOutputLayerFlag[k]が、次のように導出される：
NumOutputLayersInOls[0]=1
OutputLayerIdInOls[0][0]=vps_layer_id[0]
NumSubLayersInLayerInOLS[0][0]=vps_max_sub_layers_minus1+1
LayerUsedAsOutputLayerFlag[0]=1
for(i=1,i<=vps_max_layers_minus1;i++){
if(each_layer_is_an_ols_flag||ols_mode_idc<2)
LayerUsedAsOutputLayerFlag[i]=1
else/*(!each_layer_is_an_ols_flag&&ols_mode_idc==2)*/
LayerUsedAsOutputLayerFlag[i]=0
}
for(i=1;i<TotalNumOlss;i++)
if(each_layer_is_an_ols_flag||ols_mode_idc==0){
NumOutputLayersInOls[i]=1
OutputLayerIdInOls[i][0]=vps_layer_id[i]
for(j=0;j<i&&(ols_mode_idc==0);j++)
NumSubLayersInLayerInOLS[i][j]=max_tid_il_ref_pics_plus1[i]
NumSubLayersInLayerInOLS[i][i]=vps_max_sub_layers_minus1+1
}elseif(ols_mode_idc==1){
NumOutputLayersInOls[i]=i+1
for(j=0;j<NumOutputLayersInOls[i];j++){
OutputLayerIdInOls[i][j]=vps_layer_id[j]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
}elseif(ols_mode_idc==2){
for(j=0;j<=vps_max_layers_minus1;j++){
layerIncludedInOlsFlag[i][j]=0
NumSubLayersInLayerInOLS[i][j]=0
}
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(ols_output_layer_flag[i][k]){
layerIncludedInOlsFlag[i][k]=1
LayerUsedAsOutputLayerFlag[k]=1
OutputLayerIdx[i][j]=k
OutputLayerIdInOls[i][j++]=vps_layer_id[k]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
if(!vps_all_independent_layers_flag){
NumOutputLayersInOls[i]=j
for(j=0;j<NumOutputLayersInOls[i];j++){
idx=OutputLayerIdx[i][j]
if(!vps_independent_layer_flag[idx])
for(k=0;k<NumRefLayers[idx];k++){
layerIncludedInOlsFlag[i][RefLayerIdx[idx][k]]=1
if(NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]<
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]])
NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]=
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]]
}
}
}
}
}
NumOutputLayersInOls[0]=1
OutputLayerIdInOls[0][0]=vps_layer_id[0]
NumSubLayersInLayerInOLS[0][0]=vps_max_sub_layers_minus1+1
LayerUsedAsOutputLayerFlag[0]=1
for(i=1,i<=vps_max_layers_minus1;i++){
if(each_layer_is_an_ols_flag||ols_mode_idc<2)
LayerUsedAsOutputLayerFlag[i]=1
else/*(!each_layer_is_an_ols_flag&&ols_mode_idc==2)*/
LayerUsedAsOutputLayerFlag[i]=0
}
for(i=1;i<TotalNumOlss;i++)
if(each_layer_is_an_ols_flag||ols_mode_idc==0){
NumOutputLayersInOls[i]=1
OutputLayerIdInOls[i][0]=vps_layer_id[i]
for(j=0;j<i&&(ols_mode_idc==0);j++)
NumSubLayersInLayerInOLS[i][j]=max_tid_il_ref_pics_plus1[i]
NumSubLayersInLayerInOLS[i][i]=vps_max_sub_layers_minus1+1
}elseif(ols_mode_idc==1){
NumOutputLayersInOls[i]=i+1
for(j=0;j<NumOutputLayersInOls[i];j++){
OutputLayerIdInOls[i][j]=vps_layer_id[j]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
}elseif(ols_mode_idc==2){
for(j=0;j<=vps_max_layers_minus1;j++){
layerIncludedInOlsFlag[i][j]=0
NumSubLayersInLayerInOLS[i][j]=0
}
for(k=0,j=0;k<=vps_max_layers_minus1;k++)
if(ols_output_layer_flag[i][k]){
layerIncludedInOlsFlag[i][k]=1
LayerUsedAsOutputLayerFlag[k]=1
OutputLayerIdx[i][j]=k
OutputLayerIdInOls[i][j++]=vps_layer_id[k]
NumSubLayersInLayerInOLS[i][j]=vps_max_sub_layers_minus1+1
}
if(!vps_all_independent_layers_flag){
NumOutputLayersInOls[i]=j
for(j=0;j<NumOutputLayersInOls[i];j++){
idx=OutputLayerIdx[i][j]
if(!vps_independent_layer_flag[idx])
for(k=0;k<NumRefLayers[idx];k++){
layerIncludedInOlsFlag[i][RefLayerIdx[idx][k]]=1
if(NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]<
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]])
NumSubLayersInLayerInOLS[i][RefLayerIdx[idx][k]]=
max_tid_il_ref_pics_plus1[OutputLayerIdInOls[i][j]]
}
}
}
}
}
【0221】
図２３は、ＳＰＳ ＲＢＳＰ構文テーブルの一例を示している。この構文構造において、sps_max_sublayers_minus1＋１は、ＳＰＳを参照する各ＣＬＶＳ内に存在し得る時間サブレイヤの最大数を規定する。sps_max_sublayers_minus1の値は、両端を含めて０からvps_max_sublayers_minus1までの範囲内とし得る。
【0222】
一実施形態において、符号化映像シーケンス内の全てのレイヤが同じ数のサブレイヤを持つ場合、各レイヤのサブレイヤの数は、ビデオパラメータセット内でシグナリングされるサブレイヤの最大数に等しいとし得る。
【0223】
一実施形態において、vps_all_layers_same_num_sublayers_flagの値が１に等しい場合、ＶＰＳを参照するＳＰＳ内のsps_max_sublayers_minus1の値は、vps_max_sublayers_minus1の値に等しい。
【0224】
一実施形態において、sps_video_parameter_set_idが０より大きく、且つvps_all_layers_same_num_sublayers_flagが１に等しい場合、sps_max_sublayers_minus1はvps_max_sublayers_minus1に等しい。
【0225】
上述の適応解像度パラメータをシグナリングするための技術は、コンピュータ読み取り可能命令を用いてコンピュータソフトウェアとして実装されることができ、また、１つ以上のコンピュータ読み取り可能媒体に物理的に格納されることができる。例えば、図７は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム７００を示している。
【0226】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介してコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を有するコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。
【0227】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。
【0228】
コンピュータシステム７００に関して図７に示したコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム７００のこの例示的実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。
【0229】
コンピュータシステム７００は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、２次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。
【0230】
入力ヒューマンインタフェース装置は、キーボード７０１、マウス７０２、トラックパッド７０３、タッチスクリーン７１０、データグローブ７０４、ジョイスティック７０５、マイクロフォン７０６、スキャナ７０７、カメラ７０８（各々１つのみ図示している）のうちの１つ以上を含み得る。
【0231】
コンピュータシステム７００はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン７１０、データグローブ７０４、又はジョイスティック７０５による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー７０９、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン７１０（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。
【0232】
コンピュータシステム７００はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体７２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ７２０を含む光媒体、サムドライブ７２２、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ７２３、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。
【0233】
当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。
【0234】
コンピュータシステム７００はまた、１つ以上の通信ネットワークへのインタフェースを含み得る。ネットワークは、例えば、無線、有線、光とし得る。ネットワークは更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、第３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及びこれらに類するものを含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは一般に、特定の汎用データポート又はペリフェラルバス（７４９）（例えば、コンピュータシステム７００のＵＳＢポートなど）に取り付けられる外付けネットワークインタフェースアダプタを必要とし、他のものは一般に、後述のシステムバスへの取り付けによってコンピュータシステム７００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム７００は、他のエンティティと通信することができる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）であってもよいし、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク及びネットワークインタフェースの各々上で使用され得る。
【0235】
前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェースは、コンピュータシステム７００のコア７４０に取り付けられることができる。
【0236】
コア７４０は、１つ以上の中央演算処理ユニット（ＣＰＵ）７４１、グラフィックス処理ユニット（ＧＰＵ）７４２、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）７４３の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ７４４などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）７４５、ランダムアクセスメモリ７４６、例えば内部のユーザアクセス可能でないハードドライブ、ＳＳＤ、及びこれらに類するもの７４７などの内部大容量ストレージ７４７と共に、システムバス７４８を介して接続され得る。一部のコンピュータシステムにおいて、システムバス７４８は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス７４８に直接的に、又はペリフェラルバス７４９を介して、のいずれで取り付けられてもよい。ペリフェラルバスのアーキテクチャは、ＰＣＩ、ＵＳＢ、及びこれらに類するものを含む。
【0237】
ＣＰＵ７４１、ＧＰＵ７４２、ＦＰＧＡ７４３、及びアクセラレータ７４４は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ７４５又はＲＡＭ７４６に格納され得る。ＲＡＭ７４６には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ７４７に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、１つ以上のＣＰＵ７４１、ＧＰＵ７４２、大容量ストレージ７４７、ＲＯＭ７４５、ＲＡＭ７４６、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。
【0238】
コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。
【0239】
一例として、限定ではなく、アーキテクチャ７００、特にコア７４０、を有するコンピュータシステムは、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ７４７又はＲＯＭ７４５などの、非一時的性質のものであるコア７４０の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア７４０によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア７４０及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ７４６に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ７４４）にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。本開示は、ハードウェア及びソフトウェアの好適な組み合わせを含む。
【0240】
この開示は幾つかの例示的な実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
