ホーム > 特許ランキング > Ｌｅｍｏｎ Ｉｎｃ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-15
(45)【発行日】2023-08-23
(54)【発明の名称】マルチレイヤービデオストリームのための補足向上情報
(51)【国際特許分類】
H04N 19/30 20140101AFI20230816BHJP
H04N 19/70 20140101ALI20230816BHJP
H04N 19/172 20140101ALI20230816BHJP
【ＦＩ】
H04N19/30
H04N19/70
H04N19/172
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2021158893
(22)【出願日】2021-09-29
(65)【公開番号】P2022056417
(43)【公開日】2022-04-08
【審査請求日】2021-11-22
(31)【優先権主張番号】63/084953
(32)【優先日】2020-09-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521388058
【氏名又は名称】レモン インコーポレイテッド
【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】イェ－クイ ワン
【審査官】久保 光宏
(56)【参考文献】
【文献】特表２０１７－５２２７６６（ＪＰ，Ａ）
【文献】Jill Boyce, et al.，"Supplemental enhancement information for coded video bitstreams (Draft 4)"，Document: JVET-R2007-v4, [online]，JVET-R2007 (version 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2020年06月26日，Pages 1-6,20,21,41，[令和5年1月5日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=10158> and <URL: https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R2007-v4.zip>.
【文献】Lulin Chen, et al.，"AHG17: New NAL unit types for VVC"，Document: JVET-N0072-v1, [online]，JVET-N0072 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年03月13日，Pages 1-4，[令和5年1月5日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5792> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0072-v1.zip>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
視覚的メディア・データを処理する方法であって：フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行する段階を含み、
前記フォーマット規則は、補足向上情報（SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（DRAP）ピクチャー、および／または、2）前記DRAPピクチャーが属しているその同じ層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（IRAP）ピクチャーを除いて前記同じ層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、
方法。
【請求項2】
前記DRAPピクチャーは、前記IRAPピクチャーを除いて、前記同じ層内のピクチャーを、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、請求項１に記載の方法。
【請求項3】
前記同じ層に含まれ、デコード順および出力順で前記DRAPピクチャーに続く第1のピクチャーが、前記IRAPピクチャーを除いて、前記同じ層に含まれ、デコード順および出力順で前記DRAPピクチャーに先行する第2のピクチャーを、前記第1のピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、請求項１に記載の方法。
【請求項4】
前記フォーマット規則がさらに、前記SEIメッセージがランダムアクセスポイント（RAP）ピクチャーの識別子を含むことを指定する、
請求項１ないし３のうちいずれか一項に記載の方法。
【請求項5】
前記RAPピクチャーは、前記IRAPピクチャーまたは前記DRAPピクチャーである、請求項４に記載の方法。
【請求項6】
前記フォーマット規則は、前記SEIメッセージ内の前記RAPピクチャーの前記識別子の存在を示す存在フラグが前記ビットストリームに含まれることをさらに指定する、請求項４または５に記載の方法。
【請求項7】
第1の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージに存在することを示す、請求項６に記載の方法。
【請求項8】
第2の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージから省略されることを示す、請求項６または７に記載の方法。
【請求項9】
前記DRAPピクチャーは、前記IRAPピクチャー、または、出力順でそのデコードされたピクチャーの回復点が0に等しい漸進的デコード・リフレッシュ（GDR）ピクチャーである前のピクチャーを参照することが許容される、請求項１ないし８のうちいずれか一項に記載の方法。
【請求項10】
前記ビットストリームが多用途ビデオ符号化ビットストリームである、請求項１ないし９のうちいずれか一項に記載の方法。
【請求項11】
前記変換の実行が、前記視覚的メディア・データから前記ビットストリームを生成することを含む、請求項１ないし１０のうちいずれか一項に記載の方法。
【請求項12】
前記変換の実行が、前記ビットストリームから前記視覚的メディア・データを再構成することを含む、請求項１ないし１０のうちいずれか一項に記載の方法。
【請求項13】
プロセッサと、命令を有する非一時的メモリとを含む、視覚的メディア・データを処理する装置であって、前記命令は、プロセッサによって実行されると、前記プロセッサに：フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、
前記フォーマット規則は、補足向上情報（SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（DRAP）ピクチャー、および／または、2）前記DRAPピクチャーが属しているその同じ層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（IRAP）ピクチャーを除いて前記同じ層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、
装置。
【請求項14】
命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに：フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、
前記フォーマット規則は、補足向上情報（SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（DRAP）ピクチャー、および／または、2）前記DRAPピクチャーが属しているその同じ層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（IRAP）ピクチャーを除いて前記同じ層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、
非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項15】
ビデオ・メディア・データのビットストリームを記憶する方法であって：補足向上情報（SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（DRAP）ピクチャー、および／または、2）前記DRAPピクチャーが属しているその同じ層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（IRAP）ピクチャーを除いて前記同じ層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示していることを判別する段階と；
前記判別に基づいて前記ビットストリームを生成する段階と；
前記ビットストリームを非一時的なコンピュータ読み取り可能な記録媒体に記憶する段階とを含む、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
パリ条約に基づく適用可能な特許法および／または規則のもと、この出願は、2020年9月29日に出願された米国仮特許出願第63/084,953号の優先権および利益を適時に主張するために行われる。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。
パリ条約に基づく適用可能な特許法および／または規則のもと、この出願は、2020年9月29日に出願された米国仮特許出願第63/084,953号の優先権および利益を適時に主張するために行われる。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。
【0002】
技術分野
本特許文献は、ビデオ・エンコード、トランスコードまたはデコードを含むデジタル・ビデオ符号化〔コーディング〕技術に関する。
本特許文献は、ビデオ・エンコード、トランスコードまたはデコードを含むデジタル・ビデオ符号化〔コーディング〕技術に関する。
【背景技術】
【0003】
デジタル・ビデオは、インターネットおよびその他のデジタル通信ネットワークにおける最大の帯域幅使用を占める。ビデオを受信し、表示することが可能な接続されたユーザー装置の数が増加するにつれて、デジタル・ビデオの利用のための帯域幅需要は増加し続けることが予想される。
【発明の概要】
【課題を解決するための手段】
【0004】
本明細書は、ファイル・フォーマットに従ってビデオまたは画像の符号化表現を処理するために、ビデオ・エンコーダおよびデコーダによって使用されることができる技法を開示する。
【0005】
一例では、視覚的メディア・データを処理する方法が開示される。この方法は、フォーマット規則に従って、視覚的メディア・データと複数の層を含む前記視覚的メディア・データのビットストリームとの間の変換を実行することを含み、前記フォーマット規則は、補足向上情報（supplemental enhancement information、SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）SEIメッセージに関連する層内の従属ランダムアクセスポイント（dependent random access point、DRAP）ピクチャー、および／または、2）その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（intra random access point、IRAP）ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する。
【0006】
別の例では、視覚的メディア・データを処理する別の方法が開示される。この方法は、フォーマット規則に従って、視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行する段階を含み、前記フォーマット規則は、第1のタイプのSEIメッセージとは異なる第2のタイプの補足向上情報（SEI）メッセージが前記ビットストリームに含まれるかどうか、および、どのように含まれるかを指定し、前記第1のタイプのSEIメッセージおよび前記第2のタイプのSEIメッセージは、それぞれ、第1のタイプの従属ランダムアクセスポイント（DRAP）ピクチャーおよび第2のタイプのDRAPピクチャーを示す。
【0007】
別の例では、視覚的メディア・データを処理する別の方法が開示される。この方法は：フォーマット規則に従って視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行する段階を含み、前記フォーマット規則は、従属ランダムアクセスポイント（DRAP）ピクチャーを参照する補足向上情報（SEI）メッセージが前記ビットストリームに含まれることを指定し、前記フォーマット規則は、前記SEIメッセージが、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（coded layer video sequence、CLVS）内にあるイントラランダムアクセスポイント（IRAP）ピクチャーまたは従属ランダムアクセスポイント（DRAP）ピクチャーの数を示す構文要素を含むことをさらに指定する。
【0008】
さらに別の例示的側面では、ビデオ処理装置が開示される。ビデオ処理装置は、上述の方法を実装するように構成されたプロセッサを有する。
【0009】
さらに別の例示的側面では、一つまたは複数のビットストリームを含むファイルに視覚的メディア・データを格納する方法が開示される。この方法は、上述の方法に対応し、さらに、前記一つまたは複数のビットストリームを非一時的なコンピュータ読み取り可能な記録媒体に記憶することを含む。
【0010】
さらに別の例示的側面では、ビットストリームを記憶するコンピュータ読み取り可能媒体が開示される。ビットストリームは、上述の方法に従って生成される。
【0011】
さらに別の例示的側面では、ビットストリームを記憶するためのビデオ処理装置が開示される。このビデオ処理装置は、上述の方法を実装するように構成される。
【0012】
さらに別の例示的側面では、ビットストリームが上述の方法に従って生成されるファイル・フォーマットに準拠する、コンピュータ読み取り可能媒体が開示される。
【0013】
これらの、および他の特徴は、本文書を通して記載される。
【図面の簡単な説明】
【0014】
【図1】例示的なビデオ処理システムのブロック図である。
【0015】
【図2】ビデオ処理装置のブロック図である。
【0016】
【図3】ビデオ処理の例示的方法のためのフローチャートである。
【0017】
【図4】本開示のいくつかの実施形態によるビデオ符号化システムを示すブロック図である。
【0018】
【図5】本開示のいくつかの実施形態によるエンコーダを図示するブロック図である。
【0019】
【図6】本開示のいくつかの実施形態によるデコーダを示すブロック図である。
【0020】
【図7】開示された技術のいくつかの実装に基づいて視覚的メディア・データを処理する例示的な方法のフローチャートである。
【図8】開示された技術のいくつかの実装に基づいて視覚的メディア・データを処理する例示的な方法のフローチャートである。
【図9】開示された技術のいくつかの実装に基づいて視覚的メディア・データを処理する例示的な方法のフローチャートである。
【発明を実施するための形態】
【0021】
セクション見出しは、本稿において理解を容易にするために使用されており、各セクションで開示されている技法および実施形態の適用可能性をそのセクションのみに制限するものではない。さらに、H.266用語は、開示される技法の範囲を限定するためではなく、理解を容易にするためにのみ、一部の記述において使用されている。よって、本明細書に記載される技法は、他のビデオ・コーデック・プロトコルおよび設計にも適用可能である。本稿では、VVC仕様の現在のドラフトに対し、キャンセルされたテキストを示す打ち消し線と、追加されたテキストを示すハイライト（太字イタリック体を含む）によって、編集変更がテキストに対して示される。
【0022】
１．最初の議論
本稿は、ビデオ符号化技術に関する。具体的には、本稿は、補足拡張情報（Supplemental Enhancement Information、SEI）メッセージに基づくビデオ符号化におけるランダムアクセスポイント（random access point、RAP）横断参照のサポートに関する。これらの発想は、個別に、またはさまざまな組み合わせで、任意のビデオ符号化標準または非標準のビデオ・コーデック、たとえば、最近最終化された多用途ビデオ符号化（Versatile Video Coding、VVC）に適用されうる。
２．略語
ACT adaptive colour transform（適応色変換）
ALF adaptive loop filter（適応ループ・フィルタ）
AMVR adaptive motion vector resolution（適応動きベクトル分解能）
APS adaptation parameter set（適応パラメータセット）
AU access unit（アクセス単位）
AUD access unit delimiter（アクセス単位デリミタ）
AVC advanced video coding（先進ビデオ符号化）(Rec. ITU-T H.264 | ISO/IEC 14496-10)
B bi-predictive（双予測）
BCW bi-prediction with CU-level weights（CUレベルの重みを用いた双予測）
BDOF bi-directional optical flow（双方向オプティカルフロー）
BDPCM block-based delta pulse code modulation（ブロックベースのデルタ・パルス符号変調）
BP buffering period（バッファリング期間）
CABAC context-based adaptive binary arithmetic coding（コンテキストベースの適応二値算術符号化）
CB coding block（符号化ブロック）
CBR constant bit rate（一定ビットレート）
CCALF cross-component adaptive loop filter（成分横断の適応ループ・フィルタ）
CLVS coded layer video sequence（符号化層ビデオ・シーケンス）
CLVSS coded layer video sequence start（符号化層ビデオ・シーケンス開始）
CPB coded picture buffer（符号化ピクチャー・バッファ）
CRA clean random access（クリーン・ランダムアクセス）
CRC cyclic redundancy check（循環冗長検査）
CRR cross RAP referencing（RAP横断参照）
CTB coding tree block（符号化ツリー・ブロック）
CTU coding tree unit（符号化ツリー単位）
CU coding unit（符号化単位）
CVS coded video sequence（符号化ビデオ・シーケンス）
CVSS coded video sequence start（符号化ビデオ・シーケンス開始）
DPB decoded picture buffer（デコードピクチャー・バッファ）
DCI decoding capability information（デコード機能情報）
DRAP dependent random access point（従属ランダムアクセスポイント）
DU decoding unit（デコード・ユニット）
DUI decoding unit information（デコード・ユニット情報）
EG exponential-Golomb（指数ゴロム）
EGk k-th order exponential-Golomb（k次指数ゴロム）
EOB end of bitstream（ビットストリーム終了）
EOS end of sequence（シーケンス終了）
FD filler data（フィラー・データ）
FIFO first-in, first-out（先入れ先出し）
FL fixed-length（固定長）
GBR green, blue, and red（緑、青、赤）
GCI general constraints information（一般制約条件情報）
GDR gradual decoding refresh（漸進的デコード・リフレッシュ）
GPM geometric partitioning mode（幾何学的パーティション分割モード）
HEVC high efficiency video coding（高効率ビデオ符号化） (Rec. ITU-T H.265 | ISO/IEC 23008-2)
HRD hypothetical reference decoder（仮想参照デコーダ）
HSS hypothetical stream scheduler（仮想ストリーム・スケジューラ）
I intra（イントラ）
IBC intra block copy（イントラブロックコピー）
IDR instantaneous decoding refresh（瞬時デコード・リフレッシュ）
ILRP inter-layer reference picture（層間参照ピクチャー）
IRAP intra random access point（イントラランダムアクセスポイント）
LFNST low frequency non-separable transform（低周波数非分離可能変換）
LPS least probable symbol（最低確率シンボル）
LSB least significant bit（最下位ビット）
LTRP long-term reference picture（長期参照ピクチャー）
LMCS luma mapping with chroma scaling（クロマスケーリングを伴うルーマ・マッピング）
MIP matrix-based intra prediction（マトリクスベースのイントラ予測）
MPS most probable symbol（最大確率シンボル［最確シンボル］）
MSB most significant bit（最上位ビット）
MTS multiple transform selection（複数変換選択）
MVP motion vector prediction（動きベクトル予測）
NAL network abstraction layer（ネットワーク抽象化層）
OLS output layer set（出力層集合）
OP operation point（動作点）
OPI operating point information（動作点情報）
P predictive（予測）
PH picture header（ピクチャー・ヘッダ）
POC picture order count（ピクチャー順カウント）
PPS picture parameter set（ピクチャーパラメータセット）
PROF prediction refinement with optical flow（オプティカルフローを用いた予測洗練）
PT picture timing（ピクチャー・タイミング）
PU picture unit（ピクチャー単位）
QP quantization parameter（量子化パラメータ）
RADL random access decodable leading (picture)（ランダムアクセスデコード可能な先導（ピクチャー））
RAP random access point（ランダムアクセスポイント）
RASL random access skipped leading (picture)（ランダムアクセススキップ先導（ピクチャー））
RBSP raw byte sequence payload（生のバイト・シーケンス・ペイロード）
RGB red, green, and blue（赤、緑、青）
RPL reference picture list（参照ピクチャー・リスト）
SAO sample adaptive offset（サンプル適応オフセット）
SAR sample aspect ratio（サンプル・アスペクト比）
SEI supplemental enhancement information（補足向上情報）
SH slice header（スライス・ヘッダ）
SLI subpicture level information（サブピクチャー・レベル情報）
SODB string of data bits（データ・ビットのストリング）
SPS sequence parameter set（シーケンスパラメータセット）
STRP short-term reference picture（短期参照ピクチャー）
STSA step-wise temporal sublayer access（ステップごとの時間的サブレイヤー・アクセス）
TR truncated rice（打ち切りされたライス）
TU transform unit（変換単位）
VBR variable bit rate（可変ビットレート）
VCL video coding layer（ビデオ符号化層）
VPS video parameter set（ビデオパラメータセット）
VSEI versatile supplemental enhancement information（多用途補足向上情報） (Rec. ITU-T H.274 | ISO/IEC 23002-7)
VUI video usability information（ビデオ・ユーザービリティー情報）
VVC versatile video coding（多用途ビデオ符号化） (Rec. ITU-T H.266 | ISO/IEC 23090-3)
本稿は、ビデオ符号化技術に関する。具体的には、本稿は、補足拡張情報（Supplemental Enhancement Information、SEI）メッセージに基づくビデオ符号化におけるランダムアクセスポイント（random access point、RAP）横断参照のサポートに関する。これらの発想は、個別に、またはさまざまな組み合わせで、任意のビデオ符号化標準または非標準のビデオ・コーデック、たとえば、最近最終化された多用途ビデオ符号化（Versatile Video Coding、VVC）に適用されうる。
２．略語
ACT adaptive colour transform（適応色変換）
ALF adaptive loop filter（適応ループ・フィルタ）
AMVR adaptive motion vector resolution（適応動きベクトル分解能）
APS adaptation parameter set（適応パラメータセット）
AU access unit（アクセス単位）
AUD access unit delimiter（アクセス単位デリミタ）
AVC advanced video coding（先進ビデオ符号化）(Rec. ITU-T H.264 | ISO/IEC 14496-10)
B bi-predictive（双予測）
BCW bi-prediction with CU-level weights（CUレベルの重みを用いた双予測）
BDOF bi-directional optical flow（双方向オプティカルフロー）
BDPCM block-based delta pulse code modulation（ブロックベースのデルタ・パルス符号変調）
BP buffering period（バッファリング期間）
CABAC context-based adaptive binary arithmetic coding（コンテキストベースの適応二値算術符号化）
CB coding block（符号化ブロック）
CBR constant bit rate（一定ビットレート）
CCALF cross-component adaptive loop filter（成分横断の適応ループ・フィルタ）
CLVS coded layer video sequence（符号化層ビデオ・シーケンス）
CLVSS coded layer video sequence start（符号化層ビデオ・シーケンス開始）
CPB coded picture buffer（符号化ピクチャー・バッファ）
CRA clean random access（クリーン・ランダムアクセス）
CRC cyclic redundancy check（循環冗長検査）
CRR cross RAP referencing（RAP横断参照）
CTB coding tree block（符号化ツリー・ブロック）
CTU coding tree unit（符号化ツリー単位）
CU coding unit（符号化単位）
CVS coded video sequence（符号化ビデオ・シーケンス）
CVSS coded video sequence start（符号化ビデオ・シーケンス開始）
DPB decoded picture buffer（デコードピクチャー・バッファ）
DCI decoding capability information（デコード機能情報）
DRAP dependent random access point（従属ランダムアクセスポイント）
DU decoding unit（デコード・ユニット）
DUI decoding unit information（デコード・ユニット情報）
EG exponential-Golomb（指数ゴロム）
EGk k-th order exponential-Golomb（k次指数ゴロム）
EOB end of bitstream（ビットストリーム終了）
EOS end of sequence（シーケンス終了）
FD filler data（フィラー・データ）
FIFO first-in, first-out（先入れ先出し）
FL fixed-length（固定長）
GBR green, blue, and red（緑、青、赤）
GCI general constraints information（一般制約条件情報）
GDR gradual decoding refresh（漸進的デコード・リフレッシュ）
GPM geometric partitioning mode（幾何学的パーティション分割モード）
HEVC high efficiency video coding（高効率ビデオ符号化） (Rec. ITU-T H.265 | ISO/IEC 23008-2)
HRD hypothetical reference decoder（仮想参照デコーダ）
HSS hypothetical stream scheduler（仮想ストリーム・スケジューラ）
I intra（イントラ）
IBC intra block copy（イントラブロックコピー）
IDR instantaneous decoding refresh（瞬時デコード・リフレッシュ）
ILRP inter-layer reference picture（層間参照ピクチャー）
IRAP intra random access point（イントラランダムアクセスポイント）
LFNST low frequency non-separable transform（低周波数非分離可能変換）
LPS least probable symbol（最低確率シンボル）
LSB least significant bit（最下位ビット）
LTRP long-term reference picture（長期参照ピクチャー）
LMCS luma mapping with chroma scaling（クロマスケーリングを伴うルーマ・マッピング）
MIP matrix-based intra prediction（マトリクスベースのイントラ予測）
MPS most probable symbol（最大確率シンボル［最確シンボル］）
MSB most significant bit（最上位ビット）
MTS multiple transform selection（複数変換選択）
MVP motion vector prediction（動きベクトル予測）
NAL network abstraction layer（ネットワーク抽象化層）
OLS output layer set（出力層集合）
OP operation point（動作点）
OPI operating point information（動作点情報）
P predictive（予測）
PH picture header（ピクチャー・ヘッダ）
POC picture order count（ピクチャー順カウント）
PPS picture parameter set（ピクチャーパラメータセット）
PROF prediction refinement with optical flow（オプティカルフローを用いた予測洗練）
PT picture timing（ピクチャー・タイミング）
PU picture unit（ピクチャー単位）
QP quantization parameter（量子化パラメータ）
RADL random access decodable leading (picture)（ランダムアクセスデコード可能な先導（ピクチャー））
RAP random access point（ランダムアクセスポイント）
RASL random access skipped leading (picture)（ランダムアクセススキップ先導（ピクチャー））
RBSP raw byte sequence payload（生のバイト・シーケンス・ペイロード）
RGB red, green, and blue（赤、緑、青）
RPL reference picture list（参照ピクチャー・リスト）
SAO sample adaptive offset（サンプル適応オフセット）
SAR sample aspect ratio（サンプル・アスペクト比）
SEI supplemental enhancement information（補足向上情報）
SH slice header（スライス・ヘッダ）
SLI subpicture level information（サブピクチャー・レベル情報）
SODB string of data bits（データ・ビットのストリング）
SPS sequence parameter set（シーケンスパラメータセット）
STRP short-term reference picture（短期参照ピクチャー）
STSA step-wise temporal sublayer access（ステップごとの時間的サブレイヤー・アクセス）
TR truncated rice（打ち切りされたライス）
TU transform unit（変換単位）
VBR variable bit rate（可変ビットレート）
VCL video coding layer（ビデオ符号化層）
VPS video parameter set（ビデオパラメータセット）
VSEI versatile supplemental enhancement information（多用途補足向上情報） (Rec. ITU-T H.274 | ISO/IEC 23002-7)
VUI video usability information（ビデオ・ユーザービリティー情報）
VVC versatile video coding（多用途ビデオ符号化） (Rec. ITU-T H.266 | ISO/IEC 23090-3)
【0023】
３．ビデオ符号化の議論
３．１ ビデオ符号化規格
ビデオ符号化規格は、主に、周知のITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261およびH.263を生み出し、ISO/IECはMPEG-1およびMPEG-4 Visualを生み出し、両機関は合同してH.262/MPEG-2 VideoおよびH.264/MPEG-4 先進ビデオ符号化（Advanced Video Coding、AVC）およびH.265/HEVC規格を生み出した。H.262以来、ビデオ符号化規格は、時間的予測と変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。HEVCを越えた将来のビデオ符号化技術を探求するため、2015年にVCEGとMPEGによって合同で、合同ビデオ探査チーム（Joint Video Exploration Team、JVET）が設立された。それ以来、JVETによって多くの新しい方法が採用され、JEM（Joint Exploration Model）と名付けられた参照ソフトウェアに入れられた。その後、多用途ビデオ符号化（VVC）プロジェクトが正式に開始されるとき、JVETは合同ビデオエキスパートチーム（Joint Video Expert Team、JVET）と改称された。VVCは、HEVCと比較して50%のビットレート低減を目標とする新しい符号化標準であり、2020年7月1日に終了した第19回会合でJVETによって最終化された。
３．１ ビデオ符号化規格
ビデオ符号化規格は、主に、周知のITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261およびH.263を生み出し、ISO/IECはMPEG-1およびMPEG-4 Visualを生み出し、両機関は合同してH.262/MPEG-2 VideoおよびH.264/MPEG-4 先進ビデオ符号化（Advanced Video Coding、AVC）およびH.265/HEVC規格を生み出した。H.262以来、ビデオ符号化規格は、時間的予測と変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。HEVCを越えた将来のビデオ符号化技術を探求するため、2015年にVCEGとMPEGによって合同で、合同ビデオ探査チーム（Joint Video Exploration Team、JVET）が設立された。それ以来、JVETによって多くの新しい方法が採用され、JEM（Joint Exploration Model）と名付けられた参照ソフトウェアに入れられた。その後、多用途ビデオ符号化（VVC）プロジェクトが正式に開始されるとき、JVETは合同ビデオエキスパートチーム（Joint Video Expert Team、JVET）と改称された。VVCは、HEVCと比較して50%のビットレート低減を目標とする新しい符号化標準であり、2020年7月1日に終了した第19回会合でJVETによって最終化された。
【0024】
多用途ビデオ符号化（VVC）規格（ITU-T H.266 | ISO/IEC 23090-3）および関連する多用途補足向上情報（Versatile Supplemental Enhancement Information、VSEI）規格（ITU-T H.274 | ISO/IEC 23002-7）は、テレビ放送、ビデオ会議、または記憶媒体からの再生のような従来の用途、ならびに、より新しい、より先進的な使用事例、たとえば適応ビットレートストリーミング、ビデオ領域抽出、複数の符号化ビデオビットストリームからのコンテンツの合成およびマージ、マルチビュービデオ、スケーラブルな層構成の符号化、およびビューポート適応360°没入的メディアの両方を含む、最大限に広範囲のアプリケーションにおいて使用するために設計されている。
【0025】
３．２ HEVCおよびVVCにおけるピクチャー順カウント（POC）
HEVCおよびVVCでは、POCは基本的にはDPB管理（その一部が参照ピクチャー管理である）を含むデコード・プロセスの多くの部分においてピクチャー識別用のピクチャーIDとして使用される。
HEVCおよびVVCでは、POCは基本的にはDPB管理（その一部が参照ピクチャー管理である）を含むデコード・プロセスの多くの部分においてピクチャー識別用のピクチャーIDとして使用される。
【0026】
新しく導入されたPHを用いて、VVCでは、POC値を導出するために使用され、ピクチャーのすべてのスライスについて同じ値を有するPOC諸最下位ビット（LSB）の情報は、SHにおいて信号伝達されていたHEVCと異なり、PHにおいて信号伝達される。VVCはまた、以前のデコードされたピクチャーのPOC情報に依拠するPOC MSB追跡をすることなく、POC値の導出を可能にするために、POC諸最上位ビット（MSB）サイクル値の信号伝達を許容する。これは、たとえば、多層ビットストリームにおけるAU内のIRAPピクチャーと非IRAPピクチャーの混合を許容する。HEVCとVVCにおけるPOC信号伝達のさらなる違いは、HEVCにおいては、POC LSBはIDRピクチャーについては信号伝達されないことであるが、これは、HEVCの多層拡張のその後の開発中に、AU内でIDRピクチャーと非IDRピクチャーの混合を可能にするためには、いくらかの欠点を示すことが判明した。よって、VVCでは、IDRピクチャーを含む各ピクチャーについて、POC LSB情報が信号伝達される。IDRピクチャーについてのPOC LSB情報の信号伝達はまた、異なるビットストリームからのIDRピクチャーと非IDRピクチャーを1つのピクチャーにマージすることのサポートを容易にする。そうでなければ、マージされたピクチャーにおけるPOC LSBの処理は、何らかの複雑な設計を必要とするであろう。
【0027】
３．３ HEVCとVVCにおけるランダムアクセスとそのサポート
ランダムアクセスとは、デコード順においてビットストリームの最初のピクチャーではないピクチャーからビットストリームのアクセスとデコードを開始することを指す。ブロードキャスト／マルチキャストおよびマルチパーティー・ビデオ会議における同調およびチャネル切り換え、ローカル再生およびストリーミングにおけるシーク、ならびにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含む必要がある。これは、典型的には、イントラ符号化されたピクチャーであるが、インター符号化されたピクチャーであってもよい（たとえば、漸進的なデコード・リフレッシュの場合）。
ランダムアクセスとは、デコード順においてビットストリームの最初のピクチャーではないピクチャーからビットストリームのアクセスとデコードを開始することを指す。ブロードキャスト／マルチキャストおよびマルチパーティー・ビデオ会議における同調およびチャネル切り換え、ローカル再生およびストリーミングにおけるシーク、ならびにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含む必要がある。これは、典型的には、イントラ符号化されたピクチャーであるが、インター符号化されたピクチャーであってもよい（たとえば、漸進的なデコード・リフレッシュの場合）。
【0028】
HEVCは、NAL単位タイプを通じて、NAL単位ヘッダ内でのイントラランダムアクセスポイント（IRAP）ピクチャーの信号伝達を含む。3つのタイプのIRAPピクチャーがサポートされる。すなわち、瞬時デコーダ・リフレッシュ（IDR）、クリーン・ランダムアクセス（CRA）、および破損リンクアクセス（broken link access、BLA）ピクチャーである。IDRピクチャーは、現在のピクチャーグループ（GOP）の前のいかなるピクチャーも参照しないように、ピクチャー間予測構造を制約している。これは通常、クローズドGOPランダムアクセスポイントと呼ばれる。CRAピクチャーは、ランダムアクセスの場合であればみな廃棄されるところの、現在のGOPの前にピクチャーをある種のピクチャーが参照することを許容することにより、それほどの制限はない。CRAピクチャーは、通常、オープンGOPランダムアクセスポイントと呼ばれる。BLAピクチャーは、通例、たとえばビットストリーム切り換えの際に、CRAピクチャーにおける2つのビットストリームまたはその一部のスプライシングから生じる。IRAPピクチャーのよりよいシステム使用を可能にするために、6つの異なるNAL単位が、IRAPピクチャーの属性を信号伝達するために定義され、これは、HTTPを通じた動的適応ストリーミング（dynamic adaptive streaming over HTTP、DASH）におけるランダムアクセス・サポートのために利用される、ISOベースのメディア・ファイル・フォーマット（ISO base media file format、ISOBMFF）において定義されるストリームアクセスポイントタイプによりよくマッチするために使用できる。
【0029】
VVCは、3つのタイプのIRAPピクチャー、2つのタイプのIDRピクチャー（一方のタイプは関連付けられたRADLピクチャーをもち、他方のタイプはもたない）、および1つのタイプのCRAピクチャーをサポートする。これらは基本的にはHEVCと同じである。HEVCにおけるBLAピクチャー・タイプは、主に以下の2つの理由によりVVCに含まれない：i）BLAピクチャーの基本的な機能は、CRAピクチャーにシーケンスNAL単位の末尾を加えたものによって実現可能であり、その存在は、後続のピクチャーが単一層ビットストリームにおいて新しいCVSを開始することを示す。ii）VVCの開発中に、HEVCよりも少ないNAL単位タイプを指定したいという要望があった。このことは、NAL単位ヘッダにおけるNAL単位タイプ・フィールドのために6ビットではなく5ビットを使用することで示される。
【0030】
VVCとHEVCの間のランダムアクセス・サポートにおけるもう一つの重要な違いは、VVCにおける、より規範的な仕方でのGDRのサポートである。GDRでは、ビットストリームのデコードは、インター符号化されたピクチャーから開始することができ、最初は、ピクチャー領域全体を正しくデコードすることはできないが、いくつかのピクチャーの後では、ピクチャー領域全体が正しくなる。AVCとHEVCは、GDRランダムアクセスポイントと回復点の信号伝達のための回復点SEIメッセージを使用して、GDRをサポートする。VVCでは、新しいNAL単位タイプがGDRピクチャーの指示のために指定され、回復点はピクチャー・ヘッダ構文構造において信号伝達される。CVSとビットストリームは、GDRピクチャーで開始することが許容される。これは、ビットストリーム全体が、単一のイントラ符号化ピクチャーもなく、インター符号化ピクチャーのみを含むことが許されることを意味する。この方法でGDRサポートを指定する主な利点は、GDRについての準拠挙動を提供することである。GDRは、エンコーダが、ピクチャー全体をイントラ符号化するのではなく、複数のピクチャーにおいてイントラ符号化されるスライスまたはブロックを分散させることによって、ビットストリームのビットレートを平滑化することを可能にする。それにより、エンドツーエンド遅延の大幅な低減が許容される。それは、無線ディスプレイ、オンラインゲーム、ドローンベースのアプリケーションのような超低遅延アプリケーションがより一般的になっている今日では、以前より重要と考えられている。
【0031】
VVCにおけるもう一つのGDR関連機能は、仮想境界信号伝達である。GDRピクチャーとその回復点との間のピクチャーにおけるリフレッシュ領域（すなわち、正しくデコードされた領域）と未リフレッシュ領域との間の境界は、仮想境界として信号伝達されることができ、信号伝達されるとき、該境界を横切るループ内フィルタリングは適用されないため、該境界またはその近くでのいくつかのサンプルについてのデコード不整合は発生しない。これは、アプリケーションがGDRプロセス中に、正しくデコードされた領域を表示することを決定する場合に有用でありうる。
【0032】
IRAPピクチャーとGDRピクチャーはまとめて、ランダムアクセスポイント（RAP）ピクチャーと称される。
【0033】
３．４ VUI、SEIメッセージ
VUIは、SPSの一部として（そしてHEVCでは可能性としてはVPSにおいても）送信される構文構造である。VUIは、規範的なデコード・プロセスには影響しないが、符号化されたビデオの適正なレンダリングのためには重要でありうる情報を担持する。
VUIは、SPSの一部として（そしてHEVCでは可能性としてはVPSにおいても）送信される構文構造である。VUIは、規範的なデコード・プロセスには影響しないが、符号化されたビデオの適正なレンダリングのためには重要でありうる情報を担持する。
【0034】
SEIは、デコード、表示または他の目的に関係したプロセスを支援する。VUIと同じで、SEIも規範的なデコード・プロセスに影響しない。SEIは、SEIのメッセージにおいて担持される。SEIメッセージのデコーダ・サポートは任意的である。しかしながら、SEIメッセージはビットストリーム適合性に影響を与え（たとえば、ビットストリームにおけるSEIメッセージの構文が仕様に従わない場合、ビットストリームが適合でない）、いくつかのSEIメッセージがHRD仕様において必要とされる。
【0035】
VUI構文構造とVVCで使用されるほとんどのSEIメッセージは、VVC仕様ではなく、むしろVSEI仕様で指定される。HRD適合性試験に必要なSEIメッセージは、VVC仕様において指定される。VVC v1はHRD適合性試験に関連する5つのSEIメッセージを定義し、VSEI v1は20の追加SEIメッセージを指定する。VSEI仕様において担持されるSEIメッセージは、適合デコーダ挙動に直接影響を与えず、符号化フォーマットに関知しない仕方で使用できるように定義されており、それにより、VSEIは将来、VVCに加えて他のビデオ符号化標準とともに使用されることが許容される。特定的にVVC構文要素名を参照するのではなく、VSEI仕様は、VVC仕様内で値が設定されている変数を参照する。
【0036】
HEVCと比較して、VVCのVUI構文構造は、ピクチャーの適正なレンダリングに関連する情報のみに焦点を当て、タイミング情報またはビットストリーム制約指示は含まない。VVCでは、VUIはSPS内で信号化され、該SPSは、VUIペイロードの長さをバイト単位で信号伝達するために、VUI構文の前に長さフィールドを含む。これは、デコーダが該情報を簡単に飛び越すことを可能にし、より重要なことに、SEIメッセージ構文拡張と同様に、VUI構文構造の終わりに新しい構文要素を直接追加することによって、便利な将来のVUI構文拡張を許容する。
【0037】
VUI構文構造は、次の情報を含む：
・インターレースされたまたはプログレッシブのコンテンツ；
・コンテンツがフレームパックされた立体視ビデオまたは投影された全方向ビデオを含むかどうか；
・サンプル・アスペクト比；
・コンテンツがオーバースキャン・ディスプレイに適しているかどうか；
・カラー原色、マトリクスおよび伝達特性を含むカラー記述。これは、超高解像度（UHD）対高解像度（HD）色空間および高ダイナミックレンジ（HDR）を信号伝達することができるために特に重要である；
・ルミナンスと比較したクロマ位置（これについての信号伝達が、HEVCと比較して、プログレッシブ・コンテンツについて明らかにされた）。
・インターレースされたまたはプログレッシブのコンテンツ；
・コンテンツがフレームパックされた立体視ビデオまたは投影された全方向ビデオを含むかどうか；
・サンプル・アスペクト比；
・コンテンツがオーバースキャン・ディスプレイに適しているかどうか；
・カラー原色、マトリクスおよび伝達特性を含むカラー記述。これは、超高解像度（UHD）対高解像度（HD）色空間および高ダイナミックレンジ（HDR）を信号伝達することができるために特に重要である；
・ルミナンスと比較したクロマ位置（これについての信号伝達が、HEVCと比較して、プログレッシブ・コンテンツについて明らかにされた）。
【0038】
SPSがいかなるVUIも含まない場合、情報は特定されていないと考えられ、ビットストリームのコンテンツがディスプレイ上でのレンダリングのために意図されいている場合にはアプリケーションによって指定されるか、外部手段によって伝達されなければならない。
【0039】
表1は、VVC v1のために指定されたすべてのSEIメッセージと、それらの構文と意味内容を含む仕様を挙げている。VSEI仕様において規定されている20のSEIメッセージのうち多くは、HEVCから継承された（たとえば、フィラー・ペイロードと両方のユーザー・データSEIメッセージ）。いくつかのSEIメッセージは、符号化ビデオ・コンテンツの正しい処理またはレンダリングに不可欠である。これは、たとえば、マスタリング・ディスプレイ・カラー・ボリューム、コンテンツ光レベル情報、またはHDRコンテンツについて特に重要な代替伝達特性SEIメッセージについて成り立つ。他の例は、等角投影、球回転、領域ごとのパッキングまたは全方向ビューポートSEIメッセージを含み、これらは、360°のビデオ・コンテンツの信号伝達および処理のために重要である。
【表1】
【0040】
VVC v1のために指定された新しいSEIメッセージは、フレーム‐フィールド情報SEIメッセージ、サンプル・アスペクト比情報SEIメッセージ、サブピクチャー・レベル情報SEIメッセージを含む。
【0041】
フレーム‐フィールド情報SEIメッセージは、関連するピクチャーがどのように表示されるべきか（フィールド・パリティまたはフレーム反復周期など）、関連するピクチャーのソース走査タイプ、および関連するピクチャーが前のピクチャーの複製であるかどうかを示す情報を含む。この情報は、以前の諸ビデオ符号化規格におけるピクチャー・タイミングSEIメッセージにおいて、関連するピクチャーのタイミング情報とともに信号伝達されていた。しかしながら、フレーム‐フィールド情報とタイミング情報は、必ずしも一緒に信号伝達されない2つの異なる種類の情報であることが観察された。典型的な例は、タイミング情報をシステム・レベルで信号伝達するが、フレーム‐フィールド情報をビットストリーム内で信号伝達することにある。そのため、フレーム‐フィールド情報をピクチャー・タイミングSEIメッセージから除去し、代わりに専用のSEIメッセージ内で信号伝達することが決定された。この変更はまた、フレーム‐フィールド情報の構文を修正して、フィールドのペア化、またはフレーム反復のためのより多くの値のような、追加的な、より明確な命令をディスプレイに伝達することをも可能にした。
【0042】
サンプル・アスペクト比SEIメッセージは、同じシーケンス内の異なるピクチャーについて異なるサンプル・アスペクト比を信号伝達することを可能にするが、VUIに含まれる対応する情報はシーケンス全体に適用される。同じシーケンスの異なるピクチャーに異なるサンプル・アスペクト比をもたせる諸スケーリング因子を用いて参照ピクチャー再サンプリング機能を使用するときに、それは有意になることがある。
【0043】
サブピクチャー・レベル情報SEIメッセージは、サブピクチャー・シーケンスについてのレベルの情報を提供する。
【0044】
３．５ RAP横断参照
外部デコード・リフレッシュ（external decoding refresh、EDR）とも呼ばれる、RAP横断参照（cross RAP reference、CRR）に基づくビデオ符号化アプローチが、JVET-M0360、JVET-N0119、JVET-O0149、およびJVET-P0114において提案された。
外部デコード・リフレッシュ（external decoding refresh、EDR）とも呼ばれる、RAP横断参照（cross RAP reference、CRR）に基づくビデオ符号化アプローチが、JVET-M0360、JVET-N0119、JVET-O0149、およびJVET-P0114において提案された。
【0045】
このビデオ符号化アプローチの基本的な発想は以下のとおりである。ランダムアクセスポイントがIRAPピクチャーとして符号化される場合に以前のピクチャーが利用不能になることを回避するために、ランダムアクセスポイントをイントラ符号化されたIRAPピクチャーとして符号化する代わりに（ビットストリームにおけるいちばん最初のピクチャーを除き）、ランダムアクセスポイントはインター予測を使って符号化される。トリックは、外部手段と呼ぶことができる別個のビデオビットストリームを通じて、典型的にはビデオ・コンテンツの異なるシーンを表す、限られた数の以前のピクチャーを提供することである。そのような以前のピクチャーは、外部ピクチャーと呼ばれる。その結果、各外部ピクチャーは、諸ランダムアクセスポイントを通じて諸ピクチャーによるインター予測参照のために使用できる。符号化効率の利得は、ランダムアクセスポイントをインター予測ピクチャーとして符号化させ、デコード順でEDRピクチャーに続く諸ピクチャーのためにより多くの利用可能な参照ピクチャーとを有することから生じる。
【0046】
そのようなビデオ符号化アプローチで符号化されたビットストリームは、下記で述べるように、ISOBMFFおよびDASHに基づくアプリケーションにおいて使用されることができる。
DASHコンテンツ準備動作
１）ビデオ・コンテンツが、一つまたは複数の表現にエンコードされ、各表現は、特定の空間分解能、時間分解能、および品質を有する。
２）ビデオ・コンテンツの各特定の表現は、メインストリーム、および可能性としては外部ストリームによって表現される。メインストリームは、EDRピクチャーを含んでいても含んでいなくてもよい符号化されたピクチャーを含む。少なくとも1つのEDRピクチャーがメインストリームに含まれている場合、外部ストリームも存在し、外部ピクチャーを含む。EDRピクチャーがメインストリームに含まれない場合、外部ストリームは存在しない。
３）各メインストリームは、メインストリーム表現（Main Stream Representation、MSR）において搬送される。MSRにおける各EDRピクチャーは、セグメントの最初のピクチャーである。
４）各外部ストリームは、存在する場合、外部ストリーム表現（External Stream Representation、ESR）において搬送される。
５）EDRピクチャーで始まるMSR中の各セグメントについて、対応するESR中に、MPDから導出された同じセグメント開始時間を有するセグメントがあり、そのEDRピクチャーのデコードに必要な諸外部ピクチャーと、その後の諸ピクチャーとを、MSRにおいて搬送されるビットストリーム中でデコード順に担持する。
６）同じビデオ・コンテンツの諸MSRは、1つの適応セット（Adaptation Set、AS）に含まれる。同じビデオ・コンテンツのESRは、1つのASに含まれる。
DASHストリーミング動作
１）クライアントは、DASHメディア呈示（DASH Media Presentation）のMPDを取得し、該MPDをパースし、MSRを選択し、コンテンツが消費される開始呈示時間を決定する。
２）クライアントは、開始呈示時間に等しい（またはそれに十分に近い）呈示時間をもつピクチャーを含むセグメントから始めて、MSRの諸セグメントを要求する。
ａ．開始セグメントにおける最初のピクチャーがEDRピクチャーである場合、関連するESRにおける対応するセグメント（MPDから導出された同じセグメント開始時間をもつ）も、好ましくは諸MSRセグメントを要求する前に、要求される。そうでない場合、関連するESRのセグメントは要求されない。
３）異なるMSRに切り換えるとき、クライアントは、切り換え元MSRの最後に要求されたセグメントのセグメント開始時間よりも大きいセグメント開始時間を有する最初のセグメントから始めて、切り換え先MSRの諸セグメントを要求する。
ａ．切り換え先MSRにおける開始セグメントにおける最初のピクチャーがEDRピクチャーである場合、関連するESRにおける対応するセグメントも、好ましくは諸MSRセグメントを要求する前に、要求される。そうでない場合、関連するESRのセグメントは要求されない。
４）（シークまたはストリーム切り換え操作の後に開始セグメントをデコードした後に）同じMSRで連続的に動作するときは、関連するESRのセグメントは要求される必要がなく、これは、EDRピクチャーで始まって任意のセグメントを要求するときも含む。
DASHコンテンツ準備動作
１）ビデオ・コンテンツが、一つまたは複数の表現にエンコードされ、各表現は、特定の空間分解能、時間分解能、および品質を有する。
２）ビデオ・コンテンツの各特定の表現は、メインストリーム、および可能性としては外部ストリームによって表現される。メインストリームは、EDRピクチャーを含んでいても含んでいなくてもよい符号化されたピクチャーを含む。少なくとも1つのEDRピクチャーがメインストリームに含まれている場合、外部ストリームも存在し、外部ピクチャーを含む。EDRピクチャーがメインストリームに含まれない場合、外部ストリームは存在しない。
３）各メインストリームは、メインストリーム表現（Main Stream Representation、MSR）において搬送される。MSRにおける各EDRピクチャーは、セグメントの最初のピクチャーである。
４）各外部ストリームは、存在する場合、外部ストリーム表現（External Stream Representation、ESR）において搬送される。
５）EDRピクチャーで始まるMSR中の各セグメントについて、対応するESR中に、MPDから導出された同じセグメント開始時間を有するセグメントがあり、そのEDRピクチャーのデコードに必要な諸外部ピクチャーと、その後の諸ピクチャーとを、MSRにおいて搬送されるビットストリーム中でデコード順に担持する。
６）同じビデオ・コンテンツの諸MSRは、1つの適応セット（Adaptation Set、AS）に含まれる。同じビデオ・コンテンツのESRは、1つのASに含まれる。
DASHストリーミング動作
１）クライアントは、DASHメディア呈示（DASH Media Presentation）のMPDを取得し、該MPDをパースし、MSRを選択し、コンテンツが消費される開始呈示時間を決定する。
２）クライアントは、開始呈示時間に等しい（またはそれに十分に近い）呈示時間をもつピクチャーを含むセグメントから始めて、MSRの諸セグメントを要求する。
ａ．開始セグメントにおける最初のピクチャーがEDRピクチャーである場合、関連するESRにおける対応するセグメント（MPDから導出された同じセグメント開始時間をもつ）も、好ましくは諸MSRセグメントを要求する前に、要求される。そうでない場合、関連するESRのセグメントは要求されない。
３）異なるMSRに切り換えるとき、クライアントは、切り換え元MSRの最後に要求されたセグメントのセグメント開始時間よりも大きいセグメント開始時間を有する最初のセグメントから始めて、切り換え先MSRの諸セグメントを要求する。
ａ．切り換え先MSRにおける開始セグメントにおける最初のピクチャーがEDRピクチャーである場合、関連するESRにおける対応するセグメントも、好ましくは諸MSRセグメントを要求する前に、要求される。そうでない場合、関連するESRのセグメントは要求されない。
４）（シークまたはストリーム切り換え操作の後に開始セグメントをデコードした後に）同じMSRで連続的に動作するときは、関連するESRのセグメントは要求される必要がなく、これは、EDRピクチャーで始まって任意のセグメントを要求するときも含む。
【0047】
３．６ DRAP指示SEIメッセージ
VSEI仕様は、次のように指定されたDRAP指示SEIメッセージを含む：
VSEI仕様は、次のように指定されたDRAP指示SEIメッセージを含む：
【表2】
【0048】
従属ランダムアクセスポイント（DRAP）指示SEIメッセージに関連するピクチャーは、DRAPピクチャーと呼ばれる。
【0049】
DRAP指示SEIメッセージの存在は、この節で指定されたピクチャー順とピクチャー参照に対する制約条件が適用されることを示す。これらの制約条件は、デコーダが、DRAPピクチャーの関連するIRAPピクチャー以外の他のどのピクチャーをデコードする必要もなく、DRAPピクチャーと、デコード順および出力順の両方においてそれに続く諸ピクチャーとを適正にデコードすることを可能にできる。
【0050】
DRAP指示SEIメッセージの存在によって示される制約条件は、すべて適用されるが、以下の通りである：
－DRAPピクチャーは後縁ピクチャー（a trailing picture）である。
－DRAPピクチャーは、0に等しい時間的サブレイヤー識別子を有する。
－DRAPピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、いかなるピクチャーも含まない。
－デコード順および出力順の両方でDRAPピクチャーに続くピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、デコード順または出力順でDRAPピクチャーに先行するいかなるピクチャーも含まない。
－DRAPピクチャーは後縁ピクチャー（a trailing picture）である。
－DRAPピクチャーは、0に等しい時間的サブレイヤー識別子を有する。
－DRAPピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、いかなるピクチャーも含まない。
－デコード順および出力順の両方でDRAPピクチャーに続くピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、デコード順または出力順でDRAPピクチャーに先行するいかなるピクチャーも含まない。
【0051】
４．開示される技術的解決策によって解決される技術的問題
DRAP指示SEIメッセージの機能は、CRRアプローチのサブセットと考えることができる。簡単のため、DRAP指示SEIメッセージに関連するピクチャーは、タイプ1 DRAPピクチャーと呼ばれる。
DRAP指示SEIメッセージの機能は、CRRアプローチのサブセットと考えることができる。簡単のため、DRAP指示SEIメッセージに関連するピクチャーは、タイプ1 DRAPピクチャーと呼ばれる。
【0052】
エンコードの観点からは、JVET-P0114またはそれ以前のJVETの寄与で提案されたCRRアプローチはVVCには採用されなかったが、エンコーダは、それでも、ある種のピクチャーは、インター予測参照のために、関連するIRAPピクチャーのみに依存し（DRAP SEIメッセージによって示されるタイプ1のDRAPピクチャーのように）、ある種の他のピクチャー（たとえば、タイプ2のDRAPピクチャーと呼ばれる）は、関連するIRAPピクチャーおよびその他のいくつかの（タイプ1またはタイプ2の）DRAPピクチャーから構成されるピクチャーの集合内のいくつかのピクチャーのみに依存するように、ビデオビットストリームをエンコードすることができる。
【0053】
しかしながら、VVCビットストリームが与えられた場合、そのようなタイプ2 DRAPピクチャーがビットストリーム中に存在するかどうかは不明である。さらに、そのようなタイプ2 DRAPピクチャーがビットストリームに存在することが知られている場合であっても、CRRまたはEDRストリーミング動作を可能にするために、そのようなVVCビットストリームに基づいてISOBMFFおよびDASHメディア呈示に従ってメディア・ファイルを構成するためには、ファイルおよびDASHメディア呈示コンポーザは、POC値および参照ピクチャー・リストにおけるアクティブなエントリーを含む多くの情報をパースして、導出して特定のピクチャーがタイプ2 DRAPピクチャーであるかどうかを割り出し、もしそうであれば、この特定のピクチャーからのランダムアクセスのためにどの以前のIRAPまたはDRAPピクチャーが必要とされるかを割り出す必要があるであろう。それにより、ピクチャーの適正な集合が、別個の、時間同期されたファイル・トラックおよびDASH表現に含まれることができる。
【0054】
さらに別の問題は、DRAP指示SEIメッセージの意味内容が単一層ビットストリームにのみ当てはまることである。
【0055】
解決策のリスト
上記の問題等を解決するために、以下にまとめた方法が開示される。これらの項目は、一般的な概念を説明するための例として考慮されるべきであり、狭義に解釈されるべきではない。さらに、これらの項目は、個別に適用され、または任意の仕方で組み合わされることができる。
１）一例では、DRAP指示SEIメッセージの意味内容は、SEIメッセージが多層ビットストリームに適用できるように変更される、すなわち、意味内容は、デコーダが、DRAPピクチャー（すなわち、DRAP指示SEIメッセージに関連付けられたピクチャー）および同じ層内にあり、デコード順および出力順の両方でそれに続く諸ピクチャーを、DRAPピクチャーの関連するIRAPピクチャーを除いて同じ層内の他のどのピクチャーもデコードする必要なく、適正にデコードすることを可能にする。
ａ．一例では、DRAPピクチャーは、DRAPピクチャーの関連するIRAPピクチャーを除いて、その参照ピクチャー・リストのアクティブなエントリー内に同じ層内のいかなるピクチャーも含まないことが要求される。
ｂ．一例では、同じ層内にあり、デコード順および出力順の両方でDRAPピクチャーに続くどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、同じ層内にあり、デコード順または出力順でDRAPピクチャーに先行するいかなるピクチャーも含まないことが要求される。
２）一例では、RAPピクチャーIDが、DRAPピクチャーについて、DRAP指示SEIメッセージにおいて、IRAPピクチャーまたはDRAPピクチャーのいずれかでありうるRAPピクチャーの識別子を指定するために、信号伝達される。
ａ．一例では、RAPピクチャーIDがDRAP指示に存在するかどうかを示す存在フラグが信号伝達され、フラグが特定の値、たとえば1に等しい場合には、RAPピクチャーIDはDRAP指示SEIメッセージにおいて信号伝達され、フラグが別の値、たとえば0に等しい場合には、RAPピクチャーIDはDRAP指示SEIメッセージにおいて信号伝達されない。
３）一例では、DRAP指示SEIメッセージに関連するDRAPピクチャーは、関連するIRAPピクチャー、またはph_recovery_poc_cntが0に等しいGDRピクチャーであるデコード順で前のピクチャーのいずれかを、インター予測参照のために参照することが許容される。
４）一例では、新しいSEIメッセージが、たとえば、タイプ2のDRAP指示SEIメッセージと命名され、この新しいSEIメッセージに関連する各ピクチャーは、特殊なタイプのピクチャー、たとえば、タイプDRAPピクチャーと呼ばれる。
５）一例では、タイプ1 DRAPピクチャー（DRAP指示SEIメッセージに関連付けられる）およびタイプ2 DRAPピクチャー（タイプ2 DRAP指示SEIメッセージに関連付けられる）は、まとめてDRAPピクチャーと呼ばれることが指定される。
６）一例では、タイプ2 DRAP指示SEIメッセージは、RAPピクチャーの識別子を指定するために、たとえばRapPicIdとして記されるRAPピクチャーIDを含み、該RAPピクチャーは、IRAPピクチャーまたはDRAPピクチャーのいずれであってもよく、構文要素（たとえば、t2drap_num_ref_rap_pics_minus1）は、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれてもよいIRAPまたはDRAPピクチャーの数を示す。
ａ．一例では、前記数を示す構文要素（たとえば、t2drap_num_ref_rap_pics_minus1）は、u(3)として3ビットを用いて符号化される。
ｂ．あるいはまた、前記数を示す構文要素（たとえば、t2drap_num_ref_rap_pics_minus1）は、ue(v)として符号化される。
７）一例では、DRAPピクチャーのRAPピクチャーIDについて、DRAP指示SEIメッセージまたはタイプ2 DRAP指示SEIメッセージにおいて、以下のアプローチのうちの一つまたは複数が適用される：
ａ．一例では、RAPピクチャーIDの信号伝達のための構文要素は、u(16)として16ビットを使用して符号化される。
ｉ．あるいはまた、RAPピクチャーIDの信号伝達のための構文要素がue(v)を用いて符号化される。
ｂ．一例では、DRAP指示SEIメッセージにおいてRAPピクチャーIDを信号伝達する代わりに、DRAPピクチャーのPOC値は、たとえばse(v)またはi(32)を使用して信号伝達される。
ｉ．あるいはまた、関連するIRAPピクチャーのPOC値に対するPOCデルタが、たとえば、ue(v)またはu(16)を使用して信号伝達される。
８）一例では、IRAPまたはDRAPである各IRAPまたはDRAPピクチャーが、RAPピクチャーID RapPicIdに関連付けられることが指定される。
ａ．一例では、IRAPピクチャーについてのRapPicIdの値が0に等しいと推定されることが指定される。
ｂ．一例では、RapPicIdの値がCLVS内の2つのIRAPまたはDRAPピクチャーについて異なることが指定される。
ｃ．さらに、一例では、CLVS内のIRAPおよびDRAPピクチャーについてのRapPicIdの値は、IRAPまたはDRAPピクチャーのデコード順の昇順において増加する。
ｄ．さらに、一例では、DRAPピクチャーのRapPicIdは、同じCLVS内でデコード順で、前のIRAPまたはDRAPピクチャーのRapPicIdより1大きい。
９）一例では、タイプ2 DRAP指示SEIメッセージは、RAPピクチャーIDのリストをさらに含む。RAPピクチャーIDは、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるIRAPまたはDRAPピクチャーのそれぞれについて1つある。
ａ．一例では、RAPピクチャーIDのリストのそれぞれは、タイプ2 DRAP指示SEIメッセージに関連付けられたDRAPピクチャーについてのRAPピクチャーIDと同じに符号化される。
ｂ．あるいはまた、RAPピクチャーIDのリストの値がリスト・インデックスiの値の昇順で増加することを要求し、i番目のDRAPピクチャーのRapPicId値と、1）(i－1)番目のDRAPまたはIRAPピクチャーのRapPicId値（iが0より大きい場合）または2）0（iが0に等しい場合）との間のデルタのue(v)符号化を使用する。
ｃ．あるいはまた、RAPピクチャーIDのリストのそれぞれは、RAPピクチャーのPOC値を表すように符号化され、たとえばse(v)またはi(32)として符号化される。
ｄ．あるいはまた、RAPピクチャーIDのリストのそれぞれは、関連するIRAPピクチャーのPOC値に対するPOCデルタを表すように符号化され、たとえばue(v)、u(16)を使用して信号伝達される。
ｅ．あるいはまた、RAPピクチャーIDのリストのそれぞれは、たとえばue(v)またはu(16)を使用して、現在のピクチャーのPOC値と、1）(i－1)番目のDRAPまたはIRAPピクチャーのPOC値（iが0より大きい場合）、または（2）IRAPピクチャーのPOC値（iが0に等しい場合）との間のPOCデルタを表すように符号化される。
ｆ．あるいはまた、さらに、RAPピクチャーIDのリストに対し、リスト・インデックス値の任意の二つの値iおよびjについて、iがjより小さい場合、i番目のIRAPまたはDRAPピクチャーは、デコード順でj番目のIRAPまたはDRAPピクチャーに先行することが要求される。
６．実施形態
以下は、VSEI仕様に適用できる、上記でセクション5において要約されたいくつかの発明側面についてのいくつかの例示的な実施形態である。変更されたテキストは、JVET-S2007-v7における最新のVSEIテキストに基づいている。追加または修正されたほとんどの関連する部分は太字およびイタリック体でハイライトされ、削除された部分の一部は二重括弧でマークされる（たとえば、[[a]]は文字「a」の削除を示す）。編集上の変更であるため、ハイライトされない他のいくつかの変更があるかもしれない。
６．１ 第1の実施形態
この実施形態は、既存のDRAP指示SEIメッセージに対する変更のためのものである。
６．１．１ 従属ランダムアクセスポイント指示SEIメッセージ構文
６．２ 第1の実施形態
この実施形態は、新しいタイプ2 DRAP指示SEIメッセージのためのものである。
６．２．１ タイプ2 DRAP指示SEIメッセージ構文
６．２．２ タイプ2 DRAP指示SEIメッセージの意味内容
タイプ2 DRAP指示SEIメッセージに関連するピクチャーは、タイプ2 DRAPピクチャーと呼ばれる。タイプ1 DRAPピクチャー（DRAP指示SEIメッセージに関連）およびタイプ2 DRAPピクチャーは、まとめてDRAPピクチャーと呼ばれる。
タイプ2 DRAP指示SEIメッセージの存在は、このサブ箇条で指定されているピクチャー順およびピクチャー参照に関する制約条件が適用されることを示す。これらの制約条件により、デコーダは、タイプ2 DRAPピクチャーおよび同じ層内にあり、デコード順および出力順の両方でそれに続く諸ピクチャーを、ピクチャーのリストreferenceablePicturesを除いて、同じ層内の他のどのピクチャーもデコードする必要なく、適正にデコードすることができる。該ピクチャーのリストは、同じCLVS内にあり、t2drap_ref_rap_id[i]構文要素によって識別される、デコード順のIRAPまたはDRAPピクチャーのリストからなる。
タイプ2 DRAP指示SEIメッセージの存在によって示される制約条件は、すべて適用されるが、以下の通りである：
－タイプ2 DRAPピクチャーは末尾ピクチャーである。
－タイプ2 DRAPピクチャーは、0に等しい時間的サブレイヤー識別子を有する。
－タイプ2 DRAPピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、前記referenceablePicturesを除いて、同じ層内のいかなるピクチャーも含まない。
－同じ層内にあり、デコード順および出力順の両方でタイプ2 DRAPピクチャーに続くどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、前記referenceablePicturesを除いて、同じ層内にあり、デコード順または出力順でタイプ2 DRAPピクチャーに先行するいかなるピクチャーも含まない。リストreferenceablePictures内のどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、同じ層内にあり、リストreferenceablePictures内の、より早い位置にあるピクチャーでないいかなるピクチャーも含まない。
注―結果的に、referenceablePicturesにおける最初のピクチャーは、たとえそれがIRAPピクチャーではなくDRAPピクチャーであっても、その参照ピクチャー・リストのアクティブなエントリーにおいて、同じ層からのいかなるピクチャーも含まない。
t2drap_rap_id_in_clvsは、タイプ2のDRAPピクチャーのRAPピクチャー識別子（RapPicIdと記される）を指定する。IRAPまたはDRAPである各IRAPまたはDRAPピクチャーは、RapPicIdに関連付けられる。IRAPピクチャーについてのRapPicIdの値は、0に等しいと推定される。RapPicIdの値は、CLVS内の任意の2つのIRAPまたはDRAPピクチャーについて異なる。
t2drap_reserved_zero_13bitsは、この仕様書のこのバージョンに準拠するビットストリームでは0に等しい。t2drap_reserved_zero_13bitsについての他の値は、ITU-T | ISO/IECによる将来の使用のために予約されている。デコーダは、t2drap_reserved_zero_13bitsの値を無視する。
t2drap_num_ref_rap_pics_minus1に1を加えたものは、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるIRAPまたはDRAPピクチャーの数を示す。
t2drap_ref_rap_id[i]は、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるi番目のIRAPまたはDRAPピクチャーのRapPicIdを示す。
上記の問題等を解決するために、以下にまとめた方法が開示される。これらの項目は、一般的な概念を説明するための例として考慮されるべきであり、狭義に解釈されるべきではない。さらに、これらの項目は、個別に適用され、または任意の仕方で組み合わされることができる。
１）一例では、DRAP指示SEIメッセージの意味内容は、SEIメッセージが多層ビットストリームに適用できるように変更される、すなわち、意味内容は、デコーダが、DRAPピクチャー（すなわち、DRAP指示SEIメッセージに関連付けられたピクチャー）および同じ層内にあり、デコード順および出力順の両方でそれに続く諸ピクチャーを、DRAPピクチャーの関連するIRAPピクチャーを除いて同じ層内の他のどのピクチャーもデコードする必要なく、適正にデコードすることを可能にする。
ａ．一例では、DRAPピクチャーは、DRAPピクチャーの関連するIRAPピクチャーを除いて、その参照ピクチャー・リストのアクティブなエントリー内に同じ層内のいかなるピクチャーも含まないことが要求される。
ｂ．一例では、同じ層内にあり、デコード順および出力順の両方でDRAPピクチャーに続くどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、同じ層内にあり、デコード順または出力順でDRAPピクチャーに先行するいかなるピクチャーも含まないことが要求される。
２）一例では、RAPピクチャーIDが、DRAPピクチャーについて、DRAP指示SEIメッセージにおいて、IRAPピクチャーまたはDRAPピクチャーのいずれかでありうるRAPピクチャーの識別子を指定するために、信号伝達される。
ａ．一例では、RAPピクチャーIDがDRAP指示に存在するかどうかを示す存在フラグが信号伝達され、フラグが特定の値、たとえば1に等しい場合には、RAPピクチャーIDはDRAP指示SEIメッセージにおいて信号伝達され、フラグが別の値、たとえば0に等しい場合には、RAPピクチャーIDはDRAP指示SEIメッセージにおいて信号伝達されない。
３）一例では、DRAP指示SEIメッセージに関連するDRAPピクチャーは、関連するIRAPピクチャー、またはph_recovery_poc_cntが0に等しいGDRピクチャーであるデコード順で前のピクチャーのいずれかを、インター予測参照のために参照することが許容される。
４）一例では、新しいSEIメッセージが、たとえば、タイプ2のDRAP指示SEIメッセージと命名され、この新しいSEIメッセージに関連する各ピクチャーは、特殊なタイプのピクチャー、たとえば、タイプDRAPピクチャーと呼ばれる。
５）一例では、タイプ1 DRAPピクチャー（DRAP指示SEIメッセージに関連付けられる）およびタイプ2 DRAPピクチャー（タイプ2 DRAP指示SEIメッセージに関連付けられる）は、まとめてDRAPピクチャーと呼ばれることが指定される。
６）一例では、タイプ2 DRAP指示SEIメッセージは、RAPピクチャーの識別子を指定するために、たとえばRapPicIdとして記されるRAPピクチャーIDを含み、該RAPピクチャーは、IRAPピクチャーまたはDRAPピクチャーのいずれであってもよく、構文要素（たとえば、t2drap_num_ref_rap_pics_minus1）は、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれてもよいIRAPまたはDRAPピクチャーの数を示す。
ａ．一例では、前記数を示す構文要素（たとえば、t2drap_num_ref_rap_pics_minus1）は、u(3)として3ビットを用いて符号化される。
ｂ．あるいはまた、前記数を示す構文要素（たとえば、t2drap_num_ref_rap_pics_minus1）は、ue(v)として符号化される。
７）一例では、DRAPピクチャーのRAPピクチャーIDについて、DRAP指示SEIメッセージまたはタイプ2 DRAP指示SEIメッセージにおいて、以下のアプローチのうちの一つまたは複数が適用される：
ａ．一例では、RAPピクチャーIDの信号伝達のための構文要素は、u(16)として16ビットを使用して符号化される。
ｉ．あるいはまた、RAPピクチャーIDの信号伝達のための構文要素がue(v)を用いて符号化される。
ｂ．一例では、DRAP指示SEIメッセージにおいてRAPピクチャーIDを信号伝達する代わりに、DRAPピクチャーのPOC値は、たとえばse(v)またはi(32)を使用して信号伝達される。
ｉ．あるいはまた、関連するIRAPピクチャーのPOC値に対するPOCデルタが、たとえば、ue(v)またはu(16)を使用して信号伝達される。
８）一例では、IRAPまたはDRAPである各IRAPまたはDRAPピクチャーが、RAPピクチャーID RapPicIdに関連付けられることが指定される。
ａ．一例では、IRAPピクチャーについてのRapPicIdの値が0に等しいと推定されることが指定される。
ｂ．一例では、RapPicIdの値がCLVS内の2つのIRAPまたはDRAPピクチャーについて異なることが指定される。
ｃ．さらに、一例では、CLVS内のIRAPおよびDRAPピクチャーについてのRapPicIdの値は、IRAPまたはDRAPピクチャーのデコード順の昇順において増加する。
ｄ．さらに、一例では、DRAPピクチャーのRapPicIdは、同じCLVS内でデコード順で、前のIRAPまたはDRAPピクチャーのRapPicIdより1大きい。
９）一例では、タイプ2 DRAP指示SEIメッセージは、RAPピクチャーIDのリストをさらに含む。RAPピクチャーIDは、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるIRAPまたはDRAPピクチャーのそれぞれについて1つある。
ａ．一例では、RAPピクチャーIDのリストのそれぞれは、タイプ2 DRAP指示SEIメッセージに関連付けられたDRAPピクチャーについてのRAPピクチャーIDと同じに符号化される。
ｂ．あるいはまた、RAPピクチャーIDのリストの値がリスト・インデックスiの値の昇順で増加することを要求し、i番目のDRAPピクチャーのRapPicId値と、1）(i－1)番目のDRAPまたはIRAPピクチャーのRapPicId値（iが0より大きい場合）または2）0（iが0に等しい場合）との間のデルタのue(v)符号化を使用する。
ｃ．あるいはまた、RAPピクチャーIDのリストのそれぞれは、RAPピクチャーのPOC値を表すように符号化され、たとえばse(v)またはi(32)として符号化される。
ｄ．あるいはまた、RAPピクチャーIDのリストのそれぞれは、関連するIRAPピクチャーのPOC値に対するPOCデルタを表すように符号化され、たとえばue(v)、u(16)を使用して信号伝達される。
ｅ．あるいはまた、RAPピクチャーIDのリストのそれぞれは、たとえばue(v)またはu(16)を使用して、現在のピクチャーのPOC値と、1）(i－1)番目のDRAPまたはIRAPピクチャーのPOC値（iが0より大きい場合）、または（2）IRAPピクチャーのPOC値（iが0に等しい場合）との間のPOCデルタを表すように符号化される。
ｆ．あるいはまた、さらに、RAPピクチャーIDのリストに対し、リスト・インデックス値の任意の二つの値iおよびjについて、iがjより小さい場合、i番目のIRAPまたはDRAPピクチャーは、デコード順でj番目のIRAPまたはDRAPピクチャーに先行することが要求される。
６．実施形態
以下は、VSEI仕様に適用できる、上記でセクション5において要約されたいくつかの発明側面についてのいくつかの例示的な実施形態である。変更されたテキストは、JVET-S2007-v7における最新のVSEIテキストに基づいている。追加または修正されたほとんどの関連する部分は太字およびイタリック体でハイライトされ、削除された部分の一部は二重括弧でマークされる（たとえば、[[a]]は文字「a」の削除を示す）。編集上の変更であるため、ハイライトされない他のいくつかの変更があるかもしれない。
６．１ 第1の実施形態
この実施形態は、既存のDRAP指示SEIメッセージに対する変更のためのものである。
６．１．１ 従属ランダムアクセスポイント指示SEIメッセージ構文
【表3】
【表4】
この実施形態は、新しいタイプ2 DRAP指示SEIメッセージのためのものである。
６．２．１ タイプ2 DRAP指示SEIメッセージ構文
【表5】
タイプ2 DRAP指示SEIメッセージに関連するピクチャーは、タイプ2 DRAPピクチャーと呼ばれる。タイプ1 DRAPピクチャー（DRAP指示SEIメッセージに関連）およびタイプ2 DRAPピクチャーは、まとめてDRAPピクチャーと呼ばれる。
タイプ2 DRAP指示SEIメッセージの存在は、このサブ箇条で指定されているピクチャー順およびピクチャー参照に関する制約条件が適用されることを示す。これらの制約条件により、デコーダは、タイプ2 DRAPピクチャーおよび同じ層内にあり、デコード順および出力順の両方でそれに続く諸ピクチャーを、ピクチャーのリストreferenceablePicturesを除いて、同じ層内の他のどのピクチャーもデコードする必要なく、適正にデコードすることができる。該ピクチャーのリストは、同じCLVS内にあり、t2drap_ref_rap_id[i]構文要素によって識別される、デコード順のIRAPまたはDRAPピクチャーのリストからなる。
タイプ2 DRAP指示SEIメッセージの存在によって示される制約条件は、すべて適用されるが、以下の通りである：
－タイプ2 DRAPピクチャーは末尾ピクチャーである。
－タイプ2 DRAPピクチャーは、0に等しい時間的サブレイヤー識別子を有する。
－タイプ2 DRAPピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、前記referenceablePicturesを除いて、同じ層内のいかなるピクチャーも含まない。
－同じ層内にあり、デコード順および出力順の両方でタイプ2 DRAPピクチャーに続くどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、前記referenceablePicturesを除いて、同じ層内にあり、デコード順または出力順でタイプ2 DRAPピクチャーに先行するいかなるピクチャーも含まない。リストreferenceablePictures内のどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、同じ層内にあり、リストreferenceablePictures内の、より早い位置にあるピクチャーでないいかなるピクチャーも含まない。
注―結果的に、referenceablePicturesにおける最初のピクチャーは、たとえそれがIRAPピクチャーではなくDRAPピクチャーであっても、その参照ピクチャー・リストのアクティブなエントリーにおいて、同じ層からのいかなるピクチャーも含まない。
t2drap_rap_id_in_clvsは、タイプ2のDRAPピクチャーのRAPピクチャー識別子（RapPicIdと記される）を指定する。IRAPまたはDRAPである各IRAPまたはDRAPピクチャーは、RapPicIdに関連付けられる。IRAPピクチャーについてのRapPicIdの値は、0に等しいと推定される。RapPicIdの値は、CLVS内の任意の2つのIRAPまたはDRAPピクチャーについて異なる。
t2drap_reserved_zero_13bitsは、この仕様書のこのバージョンに準拠するビットストリームでは0に等しい。t2drap_reserved_zero_13bitsについての他の値は、ITU-T | ISO/IECによる将来の使用のために予約されている。デコーダは、t2drap_reserved_zero_13bitsの値を無視する。
t2drap_num_ref_rap_pics_minus1に1を加えたものは、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるIRAPまたはDRAPピクチャーの数を示す。
t2drap_ref_rap_id[i]は、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるi番目のIRAPまたはDRAPピクチャーのRapPicIdを示す。
【0056】
図1は、本明細書に開示されるさまざまな技法が実装されうる例示的なビデオ処理システム1900を示すブロック図である。さまざまな実装は、システム1900の構成要素の一部または全部を含んでいてもよい。システム1900は、ビデオ・コンテンツを受信するための入力1902を含んでいてもよい。ビデオ・コンテンツは、生または非圧縮フォーマット、たとえば、8または10ビットの多成分ピクセル値の形で受領されてもよく、または圧縮またはエンコードされたフォーマットで受領されてもよい。入力1902は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表すことができる。ネットワークインターフェースの例は、イーサネット、受動光ネットワーク（PON）などの有線インターフェース、およびWi-Fiまたはセルラーインターフェースなどの無線インターフェースを含む。
【0057】
システム1900は、本稿に記載されるさまざまな符号化またはエンコード方法を実装しうる符号化コンポーネント1904を含んでいてもよい。符号化コンポーネント1904は、入力1902から符号化コンポーネント1904の出力へ、ビデオの平均ビットレートを低減して、ビデオの符号化表現を生成してもよい。よって、符号化技法は、時に、ビデオ圧縮またはビデオトランスコード技法と呼ばれる。符号化コンポーネント1904の出力は、コンポーネント1906によって表されるように接続された通信を介して、記憶されるか、または送信されてもよい。入力1902で受信されたビデオの記憶されたまたは通信されたビットストリーム（または符号化された）表現は、ディスプレイインターフェース1910に送られるピクセル値または表示可能なビデオを生成するために、コンポーネント1908によって使用されうる。ビットストリーム表現からユーザーが見ることができるビデオを生成するプロセスは、時に、ビデオ圧縮解除と呼ばれる。さらに、ある種のビデオ処理動作は、「符号化」操作またはツールと称されるが、符号化ツールまたは操作は、エンコーダにおいて使用され、符号化の結果を反転させる対応する復号ツールまたは操作がデコーダにおいて実行されることが理解されるであろう。
【0058】
周辺バスインターフェースまたはディスプレイインターフェースの例は、ユニバーサルシリアルバス（USB）または高精細度マルチメディアインターフェース（MDMI）またはディスプレイポートなどを含む。記憶インターフェースの例は、SATA（シリアルアドバンストテクノロジーアタッチメント）、PCI、IDEインターフェースなどを含む。本稿に記載される技法は、携帯電話、ラップトップ、スマートフォン、またはデジタルデータ処理および／またはビデオ表示を実行することができる他の装置のようなさまざまな電子装置において具現されうる。
【0059】
図2は、ビデオ処理装置3600のブロック図である。装置3600は、本明細書に記載される一つまたは複数の方法を実装するために使用されてもよい。装置3600は、スマートフォン、タブレット、コンピュータ、モノのインターネット（IoT）受信機などにおいて具現されてもよい。装置3600は、一つまたは複数のプロセッサ3602、一つまたは複数のメモリ3604、およびビデオ処理ハードウェア3606を含んでいてもよい。プロセッサ3602は、本稿に記載される一つまたは複数の方法を実装するように構成されてもよい。メモリ（単数または複数）3604は、本明細書に記載される方法および技法を実装するために使用されるデータおよびコードを記憶するために使用されてもよい。ビデオ処理ハードウェア3606は、本稿に記載されるいくつかの技法をハードウェア回路において実装するために使用されてもよい。いくつかの実施形態では、ビデオ処理ハードウェア3606は、少なくとも部分的には、プロセッサ3602、たとえばグラフィックスコプロセッサに含まれてもよい。
【0060】
図4は、本開示の技表を利用することができる例示的なビデオ符号化システム100を示すブロック図である。
【0061】
図4に示されるように、ビデオ符号化システム100は、源装置110および宛先装置120を含んでいてもよい。源装置110は、ビデオ・エンコード装置と称されてもよく、エンコードされたビデオ・データを生成する。宛先装置120は、ビデオ・デコード装置と称されてもよく、源装置110によって生成されたエンコードされたビデオ・データをデコードしてもよい。
【0062】
源装置110は、ビデオ源112、ビデオ・エンコーダ114、および入出力（I/O）インターフェース116を含むことができる。
【0063】
ビデオ源112は、ビデオ捕捉装置のような源、ビデオ・コンテンツ・プロバイダーからビデオ・データを受信するためのインターフェース、および／またはビデオ・データを生成するためのコンピュータ・グラフィックス・システム、またはそのような源の組み合わせを含んでいてもよい。ビデオ・データは、一つまたは複数のピクチャーを含んでいてもよい。ビデオ・エンコーダ114は、ビデオ源112からのビデオ・データをエンコードしてビットストリームを生成する。ビットストリームは、ビデオ・データの符号化表現を形成するビットのシーケンスを含んでいてもよい。ビットストリームは、符号化されたピクチャーおよび関連するデータを含んでいてもよい。符号化ピクチャーは、ピクチャーの符号化表現である。関連するデータは、シーケンスパラメータセット、ピクチャーパラメータセット、および他の構文構造を含んでいてもよい。入出力インターフェース116は、変調器／復調器（モデム）および／または送信器を含んでいてもよい。エンコードされたビデオ・データは、ネットワーク130aを通じてI/Oインターフェース116を介して宛先装置120に直接送信されてもよい。エンコードされたビデオ・データはまた、宛先装置120によるアクセスのために記憶媒体／サーバー130b上に記憶されてもよい。
【0064】
宛先装置120は、入出力インターフェース126、ビデオ・デコーダ124、および表示装置122を含んでいてもよい。
【0065】
入出力インターフェース126は、受信機および／またはモデムを含んでいてもよい。入出力インターフェース126は、源装置110または記憶媒体／サーバー130bからエンコードされたビデオ・データを取得してもよい。ビデオ・デコーダ124は、エンコードされたビデオ・データをデコードしてもよい。表示装置122は、デコードされたビデオ・データをユーザーに対して表示してもよい。表示装置122は、宛先装置120と一体化されてもよく、または外部表示装置とインターフェースするように構成された宛先装置120の外部にあってもよい。
【0066】
ビデオ・エンコーダ114およびビデオ・デコーダ124は、高効率ビデオ符号化（HEVC）標準、多用途ビデオ符号化（VVC）標準、およびその他の現行のおよび／またはさらなる標準のようなビデオ圧縮標準に従って動作してもよい。
【0067】
【0068】
ビデオ・エンコーダ200は、本開示の技法のいずれかまたはすべてを実行するように構成されてもよい。図5の例では、ビデオ・エンコーダ200は、複数の機能コンポーネントを含む。本開示に記載される技法は、ビデオ・エンコーダ200のさまざまなコンポーネント間で共有されてもよい。いくつかの例では、プロセッサが、本開示に記載される技法のいずれかまたはすべてを実行するように構成されてもよい。
【0069】
ビデオ・エンコーダ200の機能コンポーネントは、分割部201と、モード選択部203、動き推定部204、動き補償部205、およびイントラ予測部206を含む予測部202と、残差生成部207と、変換部208と、量子化部209と、逆量子化部210と、逆変換部211と、再構成部212と、バッファ213と、エントロピー符号化部214とを含んでいてもよい。
【0070】
他の例では、ビデオ・エンコーダ200は、より多くの、より少ない、または異なる機能コンポーネントを含んでいてもよい。一例では、予測部202は、イントラブロックコピー部を含んでいてもよい。IBC部は、少なくとも1つの参照ピクチャーが現在のビデオ・ブロックが位置するピクチャーであるIBCモードで予測を実行することができる。
【0071】
さらに、動き推定部204や動き補償部205のようないくつかのコンポーネントは、高度に統合されてもよいが、説明のために図5の例では別個に表現されている。
【0072】
分割部201は、ピクチャーを一つまたは複数のビデオ・ブロックにパーティション分割することができる。ビデオ・エンコーダ200およびビデオ・デコーダ300は、さまざまなビデオ・ブロック・サイズをサポートすることができる。
【0073】
モード選択部203は、たとえば誤差結果に基づいて、符号化モードのうちの1つ、イントラまたはインターを選択し、結果として得られるイントラまたはインター符号化されたブロックを、残差ブロック・データを生成する残差生成部207に、また、参照ピクチャーとして使用するためにエンコードされたブロックを再構成する再構成部212に提供することができる。いくつかの例では、モード選択部203は、予測がインター予測信号およびイントラ予測信号に基づく、イントラおよびイントラ予測の組み合わせ（CIIP）モードを選択してもよい。モード選択部203は、また、インター予測の場合、ブロックについての動きベクトルの分解能（たとえば、サブピクセルまたは整数ピクセル精度）を選択してもよい。
【0074】
現在のビデオ・ブロックに対してインター予測を実行するために、動き推定部204は、バッファ213からの一つまたは複数の参照フレームを現在のビデオ・ブロックと比較することによって、現在のビデオ・ブロックについての動き情報を生成してもよい。動き補償部205は、現在のビデオ・ブロックに関連するピクチャー以外のバッファ213からのピクチャーのデコードされたサンプルと前記動き情報とに基づいて、現在のビデオ・ブロックについて予測されるビデオ・ブロックを決定することができる。
【0075】
動き推定部204と動き補償部205は、たとえば、現在のビデオ・ブロックがIスライス内にあるか、Pスライス内にあるか、Bスライス内にあるかによって、現在のビデオ・ブロックについて異なる動作を実行してもよい。
【0076】
いくつかの例では、動き推定部204は、現在のビデオ・ブロックについて一方向の予測を実行してもよく、動き推定部204は、現在のビデオ・ブロックについての参照ビデオ・ブロックを求めて、リスト0またはリスト1の参照ピクチャーを探索してもよい。次いで、動き推定部204は、参照ビデオ・ブロックを含むリスト0またはリスト1内の参照ピクチャーを示す参照インデックスと、現在のビデオ・ブロックと参照ビデオ・ブロックとの間の空間的変位を示す動きベクトルとを生成することができる。動き推定部204は、参照インデックス、予測方向指示子、および動きベクトルを現在のビデオ・ブロックの動き情報として出力することができる。動き補償部205は、現在のビデオ・ブロックの動き情報によって示される参照ビデオ・ブロックに基づいて、現在のブロックの予測されたビデオ・ブロックを生成することができる。
【0077】
他の例では、動き推定部204は、現在のビデオ・ブロックについて双方向予測を実行してもよく、動き推定部204は、現在のビデオ・ブロックについての参照ビデオ・ブロックを求めてリスト0内の参照ピクチャーを探索してもよく、現在のビデオ・ブロックについての別の参照ビデオ・ブロックを求めてリスト1内の参照ピクチャーをも探索してもよい。次いで、動き推定部204は、参照ビデオ・ブロックを含むリスト0およびリスト1における参照ピクチャーを示す参照インデックスと、参照ビデオ・ブロックと現在のビデオ・ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定部204は、現在のビデオ・ブロックの参照インデックスおよび動きベクトルを、現在のビデオ・ブロックの動き情報として、出力することができる。動き補償部205は、現在のビデオ・ブロックの動き情報によって示される参照ビデオ・ブロックに基づいて、現在のビデオ・ブロックの予測ビデオ・ブロックを生成することができる。
【0078】
いくつかの例では、動き推定部204は、デコーダのデコード処理のための動き情報のフルセットを出力してもよい。
【0079】
いくつかの例では、動き推定部204は、現在のビデオについての動き情報のフルセットは出力しなくてもよい。むしろ、動き推定部204は、別のビデオ・ブロックの動き情報を参照して現在のビデオ・ブロックの動き情報を信号伝達してもよい。たとえば、動き推定部204は、現在のビデオ・ブロックの動き情報が近傍のビデオ・ブロックの動き情報と十分に類似していると判断することができる。
【0080】
一例では、動き推定部204は、現在のビデオ・ブロックに関連する構文構造において、現在のビデオ・ブロックが別のビデオ・ブロックと同じ動き情報を有することをビデオ・デコーダ300に対して示す値を示してもよい。
【0081】
別の例では、動き推定部204は、現在のビデオ・ブロックに関連する構文構造において、別のビデオ・ブロックおよび動きベクトル差（MVD）を同定してもよい。動きベクトル差は、現在のビデオ・ブロックの動きベクトルと示されたビデオ・ブロックの動きベクトルとの間の差を示す。ビデオ・デコーダ300は、示されたビデオ・ブロックの動きベクトルと動きベクトル差とを使用して、現在のビデオ・ブロックの動きベクトルを決定することができる。
【0082】
上述のように、ビデオ・エンコーダ200は、動きベクトルを予測的に信号伝達してもよい。ビデオ・エンコーダ200によって実装されうる予測的な信号伝達技法の2つの例は、先進動きベクトル予測（AMVP）およびマージモード信号伝達を含む。
【0083】
イントラ予測部206は、現在のビデオ・ブロックに対してイントラ予測を実行することができる。イントラ予測部206が現在のビデオ・ブロックに対してイントラ予測を実行するとき、イントラ予測部206は、同じピクチャー内の他のビデオ・ブロックのデコードされたサンプルに基づいて、現在のビデオ・ブロックのための予測データを生成することができる。現在のビデオ・ブロックのための予測データは、予測されるビデオ・ブロックおよびさまざまな構文要素を含んでいてもよい。
【0084】
残差生成部207は、現在のビデオ・ブロックから現在のビデオ・ブロックの予測ビデオ・ブロックを差し引くことによって（たとえば、マイナス記号によって示される）、現在のビデオ・ブロックのための残差データを生成することができる。現在のビデオ・ブロックの残差データは、現在のビデオ・ブロック内のサンプルの異なるサンプル成分に対応する残差ビデオ・ブロックを含んでいてもよい。
【0085】
他の例では、たとえばスキップ・モードにおいて、現在のビデオ・ブロックのための現在のビデオ・ブロックのための残差データが存在しないことがあり、残差生成部207は減算演算を実行しないことがある。
【0086】
変換処理部208は、現在のビデオ・ブロックに関連する残差ビデオ・ブロックに一つまたは複数の変換を適用することによって、現在のビデオ・ブロックのための一つまたは複数の変換係数ビデオ・ブロックを生成することができる。
【0087】
変換処理部208が現在のビデオ・ブロックに関連する変換係数ビデオ・ブロックを生成した後、量子化部209は、現在のビデオ・ブロックに関連する一つまたは複数の量子化パラメータ（QP）値に基づいて、現在のビデオ・ブロックに関連する変換係数ビデオ・ブロックを量子化することができる。
【0088】
逆量子化部210および逆変換部211は、変換係数ビデオ・ブロックから残差ビデオ・ブロックを再構成するために、変換係数ビデオ・ブロックに対してそれぞれ逆量子化および逆変換を適用することができる。再構成部212は、再構成された残差ビデオ・ブロックを、予測部202によって生成された一つまたは複数の予測ビデオ・ブロックからの対応するサンプルに加算して、バッファ213に記憶するために現在のブロックに関連する再構成されたビデオ・ブロックを生成する。
【0089】
再構成部212がビデオ・ブロックを再構成した後、ビデオ・ブロック内のビデオ・ブロッキング・アーチファクトを低減するためにループ・フィルタリング動作が実行されてもよい。
【0090】
エントロピー符号化部214は、ビデオ・エンコーダ200の他の機能コンポーネントからデータを受領することができる。エントロピー符号化部214がデータを受領すると、エントロピー符号化部214は、一つまたは複数のエントロピー符号化動作を実行してエントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力することができる。
【0091】
【0092】
ビデオ・デコーダ300は、本開示の技法のいずれかまたはすべてを実行するように構成されうる。図6の例では、ビデオ・デコーダ300は、複数の機能的コンポーネントを含む。本開示に記載される技法は、ビデオ・デコーダ300のさまざまなコンポーネント間で共有されてもよい。いくつかの例では、プロセッサが、本開示に記載される技法のいずれかまたはすべてを実行するように構成されてもよい。
【0093】
図6の例では、ビデオ・デコーダ300は、エントロピー復号部301、動き補償部302、イントラ予測部303、逆量子化部304、逆変換部305、再構成部306、バッファ307を含む。ビデオ・デコーダ300は、いくつかの例では、ビデオ・エンコーダ200（図5）に関して説明したエンコード・パス（pass）とおおむね逆のデコード・パスを実行することができる。
【0094】
エントロピー復号部301は、エンコードされたビットストリームを取り出すことができる。エンコードされたビットストリームはエントロピー符号化されたビデオ・データ（たとえば、ビデオ・データのエンコードされたブロック）を含むことができる。エントロピー復号部301はエントロピー符号化されたビデオ・データを復号することができ、エントロピー復号されたビデオ・データから、動き補償部302は、動きベクトル、動きベクトル精度、参照ピクチャー・リスト・インデックス、および他の動き情報を含む動き情報を決定することができる。動き補償部302は、たとえば、AMVPおよびマージモードを実行することによって、そのような情報を決定することができる。
【0095】
動き補償部302は、可能性としては補間フィルタに基づく補間して、動き補償されたブロックを生成することができる。サブピクセル精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。
【0096】
動き補償部302は、ビデオ・ブロックのエンコード中にビデオ・エンコーダ200によって使用される補間フィルタを使用して、参照ブロックの整数未満ピクセルについての補間された値を計算することができる。動き補償部302は、受領された構文情報に従ってビデオ・エンコーダ200によって使用される補間フィルタを決定し、該補間フィルタを使用して予測ブロックを生成することができる。
【0097】
動き補償部302は、構文情報の一部を使用して、エンコードされたビデオ・シーケンスのフレームおよび／またはスライスをエンコードするために使用されるブロックのサイズ、エンコードされたビデオ・シーケンスのピクチャーの各マクロブロックがどのようにパーティション分割されるかを記述する分割情報、各パーティションがどのようにエンコードされるかを示すモード、各インター符号化されたブロックについての一つまたは複数の参照フレーム（および参照フレーム・リスト）、およびエンコードされたビデオ・シーケンスをデコードするための他の情報を決定することができる。
【0098】
イントラ予測部303は、たとえばビットストリームにおいて受領されたイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化部303は、ビットストリーム内で提供され、エントロピー復号部301によって復号された量子化ビデオ・ブロック係数を逆量子化する、すなわち、脱量子化する。逆変換部303は、逆変換を適用する。
【0099】
再構成部306は、残差ブロックを、動き補償部202またはイントラ予測部303によって生成された対応する予測ブロックと加算して、デコードされたブロックを形成することができる。所望であれば、ブロック性アーチファクトを除去するために、デコードされたブロックをフィルタリングするようブロッキング解除フィルタも適用されてもよい。次いで、デコードされたビデオ・ブロックはバッファ307に格納され、バッファ307は、その後の動き補償／イントラ予測のための参照ブロックを提供し、表示装置上に提示するためのデコードされたビデオをも生成する。
【0100】
次に、いくつかの実施形態によって好ましいとされる解決策のリストを提供する。
【0101】
第1の組の解決策が以下に与えられる。以下の解決策は、前のセクション（たとえば、項目1）で議論された技法の例示的な実施形態を示す。
【0102】
〔解決策１〕ビデオ処理の方法（たとえば、図3に描かれた方法700）であって：複数の層を含むビデオと前記ビデオの符号化された表現との間の変換を実行する段階（702）を含み、前記符号化された表現はフォーマット規則に従って編成され、前記フォーマット規則は、前記符号化された表現に補足向上情報（SEI）が含まれることを指定し、前記SEI情報は、デコーダが、従属ランダムアクセスポイント（dependent random access point、DRAP）ピクチャーをデコードする、および／または、層内のピクチャーを、前記DRAPピクチャーのイントラランダムアクセスピクチャー（intra random access picture、IRAP）を除いてその層内の他のピクチャーをデコードする必要なく、デコード順および出力順でデコードするのに十分な情報を担持する、方法。
【0103】
〔解決策２〕前記DRAPピクチャーは、前記IRAPを除き、前記層内のどのピクチャーも参照ピクチャー・リストから除外する、解決策１に記載の方法。
【0104】
以下の解決策は、前のセクション（たとえば、項目2）で議論された技法の例示的な実施形態を示す。
【0105】
〔解決策３〕複数の層を含むビデオと前記ビデオの符号化された表現との間の変換を実行する段階を含み、前記符号化された表現はフォーマット規則に従って編成され、前記フォーマット規則は、補足向上情報（SEI）メッセージが従属的ランダムアクセスポイント（DRAP）ピクチャーについて前記符号化された表現に含まれることを指定し、前記SEIメッセージはランダムアクセスポイント（RAP）ピクチャーの識別子を含む、方法。
【0106】
〔解決策４〕前記RAPが、イントラランダムアクセスピクチャーである、解決策３に記載の方法。
【0107】
〔解決策５〕前記RAPが従属ランダムアクセスピクチャー（dependent random access picture、DRAP）である、解決策３に記載の方法。
【0108】
以下の解決策は、前のセクション（たとえば、項目3）で議論された技法の例示的な実施形態を示す。
【0109】
〔解決策６〕前記DRAPピクチャーは、関連するイントラランダムアクセスピクチャーまたは漸進的デコードリフレッシュ・ピクチャーであるデコード順で前のピクチャーを参照することが許容される、解決策５に記載の方法。
【0110】
以下の解決策は、前のセクション（たとえば、項目4～6）で議論した技術の例示的な実施形態を示す。
【0111】
〔解決策７〕複数の層を含むビデオと前記ビデオの符号化された表現との間の変換を実行する段階を含み、前記符号化された表現はフォーマット規則に従って編成され、前記フォーマット規則は、従属ランダムアクセスピクチャー（DRAP）を参照するタイプ2の補足向上情報（SEI）メッセージが前記符号化された表現に含まれるかどうか、およびどのように含まれるかを指定する、ビデオ処理の方法。
【0112】
〔解決策８〕前記フォーマット規則は、前記タイプ2のSEIメッセージおよび該メッセージに関連する各ピクチャーが、特殊なタイプのピクチャーとして扱われることを指定する、解決策７に記載の方法。
【0113】
〔解決策９〕前記フォーマット規則は、前記タイプ2のSEIメッセージがタイプ2のRAPピクチャーと呼ばれるランダムアクセスピクチャー（RAP）についての識別子と、該ランダムアクセスピクチャーと同じ符号化されたビデオ層内にあるピクチャーの数を示す構文要素とを含むことを指定し、それらのピクチャーが前記タイプ2のRAPピクチャーのアクティブな参照ピクチャー・リストに含まれるようにする、解決策７に記載の方法。
【0114】
〔解決策１０〕前記変換が、前記ビデオから符号化された表現を生成することを含む、解決策１ないし９のうちいずれか一項に記載の方法。
【0115】
〔解決策１１〕前記変換が、前記符号化された表現をデコードして前記ビデオを生成することを含む、解決策１ないし９のうちいずれか一項に記載の方法。
【0116】
〔解決策１２〕解決策１ないし１１のうちの一つまたは複数に記載の方法を実施するように構成されたプロセッサを含む、ビデオ・デコード装置。
【0117】
〔解決策１３〕解決策１ないし１１のうちの一つまたは複数に記載の方法を実施するように構成されたプロセッサを含む、ビデオ・エンコード装置。
【0118】
〔解決策１４〕コンピュータ・コードを格納したコンピュータ・プログラム・プロダクトであって、前記コードは、プロセッサによって実行されると、該プロセッサに、解決策１ないし１１のうちいずれか一項に記載の方法を実施させる、コンピュータ・プログラム・プロダクト。
【0119】
〔解決策１５〕解決策１ないし１１のうちのいずれかに従って生成された符号化された表現を記憶するコンピュータ読み取り可能な媒体。
【0120】
〔解決策１６〕本稿に記載された方法、装置またはシステム。
【0121】
第2の組の解決策は、前のセクション（たとえば、項目1、1.a、1.b、2、2.a、3）で議論された技法の例示的な実施形態を与える。
【0122】
〔解決策１〕視覚的メディア・データを処理する方法（たとえば、図7に示される方法710）であって、フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行する段階712を含み、前記フォーマット規則は、補足向上情報（supplemental enhancement information、SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（dependent random access point、DRAP）ピクチャー、および／または、2）その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（intra random access point、IRAP）ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、方法。
【0123】
〔解決策２〕前記DRAPピクチャーは、前記IRAPピクチャーを除いて、前記層内のピクチャーを、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、解決策１に記載の方法。
【0124】
〔解決策３〕前記層に含まれ、デコード順および出力順で前記DRAPピクチャーに続く第1のピクチャーが、前記IRAPピクチャーを除いて、前記層に含まれ、デコード順および出力順で前記DRAPピクチャーに先行する第2のピクチャーを、前記第1のピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、解決策１に記載の方法。
【0125】
〔解決策４〕前記フォーマット規則がさらに、
前記SEIメッセージがランダムアクセスポイント（RAP）ピクチャーの識別子を含むことを指定する、
解決策１に記載の方法。
前記SEIメッセージがランダムアクセスポイント（RAP）ピクチャーの識別子を含むことを指定する、
解決策１に記載の方法。
【0126】
〔解決策５〕前記RAPピクチャーは、前記IRAPピクチャーまたは前記DRAPピクチャーである、解決策４に記載の方法。
【0127】
〔解決策６〕
前記フォーマット規則は、前記SEIメッセージ内の前記RAPピクチャーの前記識別子の存在を示す存在フラグが前記ビットストリームに含まれることをさらに指定する、解決策４に記載の方法。
前記フォーマット規則は、前記SEIメッセージ内の前記RAPピクチャーの前記識別子の存在を示す存在フラグが前記ビットストリームに含まれることをさらに指定する、解決策４に記載の方法。
【0128】
〔解決策７〕
第1の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージに存在することを示す、解決策６に記載の方法。
第1の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージに存在することを示す、解決策６に記載の方法。
【0129】
〔解決策８〕
第2の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージから省略されることを示す、解決策６に記載の方法。
第2の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージから省略されることを示す、解決策６に記載の方法。
【0130】
〔解決策９〕前記DRAPピクチャーは、前記IRAPピクチャー、または、出力順でそのデコードされたピクチャーの回復点が0に等しい漸進的デコード・リフレッシュ（GDR）ピクチャーである前のピクチャーを参照することが許容される、解決策１に記載の方法。
【0131】
〔解決策１０〕前記ビットストリームが多用途ビデオ符号化（versatile video coding）ビットストリームである、解決策１ないし９のうちいずれか一項に記載の方法。
【0132】
〔解決策１１〕前記変換の実行が、前記視覚的メディア・データから前記ビットストリームを生成することを含む、解決策１ないし１０のうちいずれか一項に記載の方法。
【0133】
〔解決策１２〕前記変換の実行が、前記ビットストリームから前記視覚的メディア・データを再構成することを含む、解決策１ないし１０のうちいずれか一項に記載の方法。
【0134】
〔解決策１３〕プロセッサと、命令を有する非一時的メモリとを含む、視覚的メディア・データを処理する装置であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、前記フォーマット規則は、補足向上情報（supplemental enhancement information、SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（dependent random access point、DRAP）ピクチャー、および／または、2）その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（intra random access point、IRAP）ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、装置。
【0135】
〔解決策１４〕前記DRAPピクチャーは、前記IRAPピクチャーを除いて、前記層内のピクチャーを、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、解決策１３に記載の装置。
【0136】
〔解決策１５〕前記層に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続く第1のピクチャーが、前記IRAPピクチャーを除いて、前記層に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに先行する第2のピクチャーを、前記第1ピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、解決策１３に記載の装置。
【0137】
〔解決策１６〕前記ビットストリームが多用途ビデオ符号化ビットストリームである、解決策１３に記載の装置。
【0138】
〔解決策１７〕命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに、フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、前記フォーマット規則は、補足向上情報（supplemental enhancement information、SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（dependent random access point、DRAP）ピクチャー、および／または、2）その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（intra random access point、IRAP）ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、非一時的なコンピュータ読み取り可能な記憶媒体。
【0139】
〔解決策１８〕前記ビットストリームが多用途ビデオ符号化ビットストリームである、解決策１７に記載の非一時的なコンピュータ読み取り可能な記録媒体。
【0140】
〔解決策１９〕視覚的メディア・データ処理装置によって実行される方法によって生成された視覚的メディア・データのビットストリームを記憶している非一時的なコンピュータ読み取り可能な記録媒体であって、前記方法は：補足向上情報（supplemental enhancement information、SEI）メッセージが前記ビットストリームに含まれ、デコーダが、1）前記SEIメッセージに関連する層内の従属ランダムアクセスポイント（dependent random access point、DRAP）ピクチャー、および／または、2）その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント（intra random access point、IRAP）ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示していることを判別する段階と；前記判別に基づいて前記ビットストリームを生成する段階とを含む、非一時的なコンピュータ読み取り可能な記録媒体。
【0141】
〔解決策２０〕前記ビットストリームが多用途ビデオ符号化ビットストリームである、解決策１９に記載の非一時的なコンピュータ読み取り可能な記録媒体。
【0142】
〔解決策２１〕解決策１ないし１２のうちいずれか一項に記載の方法を実施するように構成されたプロセッサを含む、視覚的メディア・データ処理装置。
【0143】
〔解決策２２〕視覚的メディア・データのビットストリームを記憶する方法であって、解決策１ないし１２のうちいずれか一項に記載の方法を含み、さらに、前記ビットストリームを非一時的なコンピュータ読み取り可能な記録媒体に記憶する段階を含む、方法。
【0144】
〔解決策２３〕実行されると、プロセッサに、解決策１ないし１２のうちいずれか一つまたは複数に記載の方法を実施させるプログラム・コードを記憶しているコンピュータ読み取り可能な媒体。
【0145】
〔解決策２４〕上述の方法のいずれかに従って生成されたビットストリームを記憶しているコンピュータ読み取り可能な媒体。
【0146】
〔解決策２５〕ビットストリームを記憶するための視覚的メディア・データ処理装置であって、該視覚的メディア・データ処理装置は、解決策１ないし１２のうちいずれか一つまたは複数に記載の方法を実施するように構成される、視覚的メディア・データ処理装置。
【0147】
〔解決策２６〕解決策１ないし１２のうちいずれかに一項に記載されたフォーマット規則に準拠するビットストリームがあるコンピュータ読み取り可能な媒体。
【0148】
第3の組の解決策は、前のセクション（たとえば、項目4～8）で議論された技法の例示的な実施形態を提供する。
【0149】
〔解決策１〕視覚的メディア・データを処理する方法（たとえば、図8に示される方法800）であって：フォーマット規則に従って、視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行する段階802を含み、前記フォーマット規則は、第1のタイプのSEIメッセージとは異なる第2のタイプの補足向上情報（SEI）メッセージが前記ビットストリームに含まれるかどうか、および、どのように含まれるかを指定し、前記第1のタイプのSEIメッセージおよび前記第2のタイプのSEIメッセージは、それぞれ、第1のタイプの従属ランダムアクセスポイント（DRAP）ピクチャーおよび第2のタイプのDRAPピクチャーを示す、方法。
【0150】
〔解決策２〕前記フォーマット規則は、前記第2のタイプのSEIメッセージがランダムアクセスポイント（RAP）ピクチャー識別子を含むことをさらに指定する、解決策１に記載の方法。
【0151】
〔解決策３〕前記第1のタイプのDRAPピクチャーまたは前記第2のタイプのDRAPピクチャーについて、ランダムアクセスポイント（RAP）ピクチャー識別子が前記ビットストリームに含まれる、解決策１に記載の方法。
【0152】
〔解決策４〕前記RAPピクチャー識別子は、16ビットを使用する符号なし整数であるu(16)として、または指数ゴロム符号を使用する符号なし整数であるue(v)として符号化される、解決策３に記載の方法。
【0153】
〔解決策５〕前記フォーマット規則は、さらに、前記第1のタイプのSEIメッセージまたは前記第2のタイプのSEIメッセージが、前記第1のタイプのDRAPピクチャーまたは前記第2のタイプのDRAPピクチャーのピクチャー順カウント（POC）値に関する情報を含むことを指定する、解決策１に記載の方法。
【0154】
〔解決策６〕前記フォーマット規則が、さらに、各IRAPピクチャーまたはDRAPピクチャーが、ランダムアクセスポイント（RAP）ピクチャー識別子に関連付けられることをさらに指定する、解決策１に記載の方法。
【0155】
〔解決策７〕前記フォーマット規則は、さらに、前記IRAPピクチャーについての前記RAPピクチャー識別子の値が0に等しいと推定されることを指定する、解決策６に記載の方法。
【0156】
〔解決策８〕前記フォーマット規則は、さらに、符号化層ビデオ・シーケンス（CLVS）内の任意の2つのIRAPまたはDRAPピクチャーについてのRAPピクチャー識別子の値が互いに異なることを指定する、解決策６に記載の方法。
【0157】
〔解決策９〕前記フォーマット規則は、さらに、符号化層ビデオ・シーケンス（CLVS）内のIRAPまたはDRAPピクチャーについてのRAPピクチャー識別子の値が、IRAPまたはDRAPピクチャーのデコード順の昇順で増加することを指定する、解決策６に記載の方法。
【0158】
〔解決策１０〕前記フォーマット規則は、さらに、前記DRAPピクチャーの前記RAPピクチャー識別子の値が、符号化層ビデオ・シーケンス（CLVS）内のデコード順で前のIRAPまたはDRAPピクチャーの値より1大きいことを指定する、解決策６に記載の方法。
【0159】
〔解決策１１〕前記変換の実行が、前記視覚的メディア・データから前記ビットストリームを生成することを含む、解決策１ないし１０のうちいずれか一項に記載の方法。
【0160】
〔解決策１２〕前記変換の実行が、前記ビットストリームから前記視覚的メディア・データを再構成することを含む、解決策１ないし１０のうちいずれか一項に記載の方法。
【0161】
〔解決策１３〕プロセッサと、命令を有する非一時的メモリとを含む、視覚的メディア・データを処理する装置であって、前記命令は、前記プロセッサによる実行時に、前記プロセッサに、フォーマット規則に従って、視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、前記フォーマット規則は、第1のタイプのSEIメッセージとは異なる第2のタイプの補足向上情報（SEI）メッセージが前記ビットストリームに含まれるかどうか、および、どのように含まれるかを指定し、前記第1のタイプのSEIメッセージおよび前記第2のタイプのSEIメッセージは、それぞれ、第1のタイプの従属ランダムアクセスポイント（DRAP）ピクチャーおよび第2のタイプのDRAPピクチャーを示す、装置。
【0162】
〔解決策１４〕前記フォーマット規則は、さらに、前記第2のタイプのSEIメッセージが、ランダムアクセスポイント（RAP）ピクチャー識別子を含むことを指定する、解決策１３に記載の装置。
【0163】
〔解決策１５〕前記第1のタイプのDRAPピクチャーまたは前記第2のタイプのDRAPピクチャーについて、ランダムアクセスポイント（RAP）ピクチャー識別子が前記ビットストリームに含まれ、前記RAPピクチャー識別子は、16ビットを使用する符号なし整数であるu(16)として、または指数ゴロム符号を使用する符号なし整数であるue(v)として符号化される、解決策１３に記載の装置。
【0164】
〔解決策１６〕前記フォーマット規則は、さらに、各IRAPピクチャーまたはDRAPピクチャーがランダムアクセスポイント（RAP）ピクチャー識別子に関連付けられることを指定し、前記フォーマット規則は、さらに、前記IRAPピクチャーについての前記RAPピクチャー識別子の値が0に等しいと推定されることを指定する、解決策１３に記載の装置。
【0165】
〔解決策１７〕命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに：フォーマット規則に従って、視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、前記フォーマット規則は、第1のタイプのSEIメッセージとは異なる第2のタイプの補足向上情報（SEI）メッセージが前記ビットストリームに含まれるかどうか、および、どのように含まれるかを指定し、前記第1のタイプのSEIメッセージおよび前記第2のタイプのSEIメッセージは、それぞれ、第1のタイプの従属ランダムアクセスポイント（DRAP）ピクチャーおよび第2のタイプのDRAPピクチャーを示す、非一時的なコンピュータ読み取り可能な記憶媒体。
【0166】
〔解決策１８〕前記フォーマット規則は、さらに、前記第2のタイプのSEIメッセージがランダムアクセスポイント（RAP）ピクチャー識別子を含むことを指定し、前記第1のタイプのDRAPピクチャーまたは前記第2のタイプのDRAPピクチャーについて、ランダムアクセスポイント（RAP）ピクチャー識別子が前記ビットストリームに含まれ、前記RAPピクチャー識別子は、16ビットを使用する符号なし整数であるu(16)として、または指数ゴロム符号を使用する符号なし整数であるu(v)として符号化され、前記フォーマット規則は、さらに、各IRAPピクチャーまたはDRAPピクチャーがランダムアクセスポイント（RAP）ピクチャー識別子に関連付けられることを指定し、前記フォーマット規則は、前記IRAPピクチャーについての前記RAPピクチャー識別子の値が0に等しいと推定されることを指定する、解決策１７に記載の非一時的なコンピュータ読み取り可能な記録媒体。
【0167】
〔解決策１９〕視覚的メディア・データ処理装置によって実行される方法によって生成された視覚的メディア・データのビットストリームを記憶している非一時的なコンピュータ読み取り可能な記録媒体であって、前記方法は、第1のタイプのSEIメッセージとは異なる第2のタイプの補足向上情報（SEI）メッセージが前記ビットストリームに含まれるかどうか、および、どのように含まれるかを判別する段階と；該判別に基づいて前記ビットストリームを生成する段階とを含む、非一時的なコンピュータ読み取り可能な記録媒体。
【0168】
〔解決策２０〕前記フォーマット規則は、さらに、前記第2のタイプのSEIメッセージがランダムアクセスポイント（RAP）ピクチャー識別子を含むことを指定し、前記第1のタイプのDRAPピクチャーまたは前記第2のタイプのDRAPピクチャーについて、ランダムアクセスポイント（RAP）ピクチャー識別子が前記ビットストリームに含まれ、前記RAPピクチャー識別子は、16ビットを使用する符号なし整数であるu(16)として、または指数ゴロム符号を使用する符号なし整数であるu(v)として符号化され、前記フォーマット規則は、さらに、各IRAPピクチャーまたはDRAPピクチャーがランダムアクセスポイント（RAP）ピクチャー識別子に関連付けられることを指定し、前記フォーマット規則は、前記IRAPピクチャーについての前記RAPピクチャー識別子の値が0に等しいと推定されることを指定する、解決策１９に記載の非一時的なコンピュータ読み取り可能な記録媒体。
【0169】
〔解決策２１〕解決策１ないし１２のうちいずれか一項に記載の方法を実施するように構成されたプロセッサを含む、視覚的メディア・データ処理装置。
【0170】
〔解決策２２〕視覚的メディア・データのビットストリームを記憶する方法であって、解決策１ないし１２のうちいずれか一項に記載の方法を含み、さらに、前記ビットストリームを非一時的なコンピュータ読み取り可能な記録媒体に記憶する段階を含む、方法。
【0171】
〔解決策２３〕実行されると、プロセッサに、解決策１ないし１２のうちいずれか一つまたは複数に記載の方法を実施させるプログラム・コードを記憶しているコンピュータ読み取り可能な媒体。
【0172】
〔解決策２４〕上述の方法のいずれかに従って生成されたビットストリームを記憶しているコンピュータ読み取り可能な媒体。
【0173】
〔解決策２５〕ビットストリームを記憶するための視覚的メディア・データ処理装置であって、該ビデオ処理装置は、解決策１ないし１２のうちいずれか一つまたは複数に記載の方法を実施するように構成される、視覚的メディア・データ処理装置。
【0174】
〔解決策２６〕解決策１ないし１２のうちいずれかに一項に記載されたフォーマット規則に準拠するビットストリームがあるコンピュータ読み取り可能な媒体。
【0175】
第4の組の解決策は、前のセクション（たとえば、項目6および9）で議論された技法の例示的な実施形態を提供する。
【0176】
〔解決策１〕視覚的メディア・データを処理する方法（たとえば、図9に示される方法900）であって：フォーマット規則に従って視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行する段階902を含み、前記フォーマット規則は、従属ランダムアクセスポイント（DRAP）ピクチャーを参照する補足向上情報（SEI）メッセージが前記ビットストリームに含まれることを規定し、前記フォーマット規則は、さらに、前記SEIメッセージが、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にあるイントラランダムアクセスポイント（IRAP）ピクチャーまたは従属ランダムアクセスポイント（DRAP）ピクチャーの数を示す構文要素を含むことを指定する、方法。
【0177】
〔解決策２〕前記IRAPピクチャーまたは前記DRAPピクチャーが、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容される、解決策１に記載の方法。
【0178】
〔解決策３〕前記構文要素は、3ビットを使用する符号なし整数であるu(3)として、または指数ゴロム符号を使用する符号なし整数であるu(v)として符号化される、解決策１に記載の方法。
【0179】
〔解決策４〕前記フォーマット規則は、さらに、前記SEIメッセージが、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にある前記IRAPピクチャーまたは前記DRAPピクチャーについてのランダムアクセスポイント（RAP）ピクチャー識別子のリストを含むことを指定する、解決策１に記載の方法。
【0180】
〔解決策５〕前記IRAPピクチャーまたは前記DRAPピクチャーが、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容される、解決策４に記載の方法。
【0181】
〔解決策６〕前記RAPピクチャー識別子の前記リストのそれぞれは、前記SEIメッセージに関連付けられた前記DRAPピクチャーについてのRAPピクチャー識別子と同じように符号化される、解決策４に記載の方法。
【0182】
〔解決策７〕前記リストの識別子が、i番目のRAPピクチャーに対応する値を有し、iは0以上であり、前記RAPピクチャー識別子の値は、iの値の昇順で増加する、解決策４に記載の方法。
【0183】
〔解決策８〕前記リストのそれぞれは、i番目のDRAPピクチャー識別子の値と、1）iが0より大きいとして(i－1)番目のDRAPまたはIRAPピクチャー識別子の値、または、2）iが0に等しいとして、0、との間のデルタのue(v)を使用して符号化される、解決策７に記載の方法。
【0184】
〔解決策９〕前記リストのそれぞれは、RAPピクチャーのピクチャー順カウント（POC）値を表すように符号化される、解決策４に記載の方法。
【0185】
〔解決策１０〕前記リストのそれぞれは、前記SEIメッセージに関連するIRAPピクチャーのPOC値に対する、ピクチャー順カウント（POC）デルタ情報を表すように符号化される、解決策４に記載の方法。
【0186】
〔解決策１１〕前記リストのそれぞれは、現在のピクチャーのPOC値と、1）iが0より大きいとして(i－1)番目のDRAPまたはIRAPピクチャーのPOC値、または、2）前記SEIメッセージに関連するIRAPピクチャーのPOC値との間のピクチャー順カウント（POC）デルタ情報を表すよう符号化される、解決策４に記載の方法。
【0187】
〔解決策１２〕前記リストは、i番目のRAPピクチャー、j番目のRAPピクチャーに対応する識別子を含み、iはjより小さく、i番目のRAPピクチャーは、デコード順でj番目のRAPピクチャーに先行する、解決策４に記載の方法。
【0188】
〔解決策１３〕前記変換の実行が、前記視覚的メディア・データから前記ビットストリームを生成することを含む、解決策１ないし１２のうちいずれか一項に記載の方法。
【0189】
〔解決策１４〕前記変換の実行が、前記ビットストリームから前記視覚的メディア・データを再構成することを含む、解決策１ないし１２のうちいずれか一項に記載の方法。
【0190】
〔解決策１５〕プロセッサと、命令を有する非一時的メモリとを含む、視覚的メディア・データを処理する装置であって、前記命令は、前記プロセッサによる実行の際に、前記プロセッサに：フォーマット規則に従って視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、前記フォーマット規則は、従属ランダムアクセスポイント（DRAP）ピクチャーを参照する補足向上情報（SEI）メッセージが前記ビットストリームに含まれることを指定し、前記フォーマット規則は、さらに、前記SEIメッセージが、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にあるイントラランダムアクセスポイント（IRAP）ピクチャーまたは従属ランダムアクセスポイント（DRAP）ピクチャーの数を示す構文要素を含むことを指定する、装置。
【0191】
〔解決策１６〕前記IRAPピクチャーまたは前記DRAPピクチャーは、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容され、前記構文要素は、3ビットを使用する符号なし整数であるu(3)として、または指数ゴロム符号を使用する符号なし整数であるue(v)として符号化され、前記フォーマット規則は、さらに、前記SEIメッセージが、さらに、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にある前記IRAPピクチャーまたは前記DRAPピクチャーについてのランダムアクセスポイント（RAP）ピクチャー識別子のリストを含むことを指定し、前記IRAPピクチャーまたは前記DRAPピクチャーは、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容され、前記RAPピクチャー識別子のリストのそれぞれは、前記SEIメッセージに関連する前記DRAPピクチャーについてのRAPピクチャー識別子と同じく符号化される、解決策１５に記載の装置。
【0192】
〔解決策１７〕命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに：フォーマット規則に従って視覚的メディア・データと前記視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、前記フォーマット規則は、従属ランダムアクセスポイント（DRAP）ピクチャーを参照する補足向上情報（SEI）メッセージが前記ビットストリームに含まれることを指定し、前記フォーマット規則は、さらに、前記SEIメッセージが、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にあるイントラランダムアクセスポイント（IRAP）ピクチャーまたは従属ランダムアクセスポイント（DRAP）ピクチャーの数を示す構文要素を含むことを指定する、非一時的なコンピュータ読み取り可能な記憶媒体。
【0193】
〔解決策１８〕前記IRAPピクチャーまたは前記DRAPピクチャーは、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容され、前記構文要素は、3ビットを使用する符号なし整数であるu(3)として、または指数ゴロム符号を使用する符号なし整数であるue(v)として符号化され、前記フォーマット規則は、さらに、前記SEIメッセージが、さらに、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にある前記IRAPピクチャーまたは前記DRAPピクチャーについてのランダムアクセスポイント（RAP）ピクチャー識別子のリストを含むことを指定し、前記IRAPピクチャーまたは前記DRAPピクチャーは、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容され、前記RAPピクチャー識別子のリストのそれぞれは、前記SEIメッセージに関連する前記DRAPピクチャーについてのRAPピクチャー識別子と同じく符号化される、解決策１７に記載の非一時的なコンピュータ読み取り可能な記録媒体。
【0194】
〔解決策１９〕視覚的メディア・データ処理装置によって実行される方法によって生成された視覚的メディア・データのビットストリームを記憶する非一時的なコンピュータ読み取り可能な記録媒体であって、前記方法は：従属ランダムアクセスポイント（DRAP）ピクチャーを参照する補足向上情報（SEI）メッセージが前記ビットストリームに含まれることを判別し；前記判別に基づいて前記ビットストリームを生成することを含む、非一時的なコンピュータ読み取り可能な記録媒体。
【0195】
〔解決策２０〕前記IRAPピクチャーまたは前記DRAPピクチャーは、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容され、前記構文要素は、3ビットを使用する符号なし整数であるu(3)として、または指数ゴロム符号を使用する符号なし整数であるue(v)として符号化され、前記フォーマット規則は、さらに、前記SEIメッセージが、さらに、前記DRAPピクチャーと同じ符号化層ビデオ・シーケンス（CLVS）内にある前記IRAPピクチャーまたは前記DRAPピクチャーについてのランダムアクセスポイント（RAP）ピクチャー識別子のリストを含むことを指定し、前記IRAPピクチャーまたは前記DRAPピクチャーは、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれることが許容され、前記RAPピクチャー識別子のリストのそれぞれは、前記SEIメッセージに関連する前記DRAPピクチャーについてのRAPピクチャー識別子と同じく符号化される、解決策１９に記載の非一時的なコンピュータ読み取り可能な記録媒体。
【0196】
〔解決策２１〕解決策１ないし１４のうちいずれか一項に記載の方法を実施するように構成されたプロセッサを含む、視覚的メディア・データ処理装置。
【0197】
〔解決策２２〕視覚的メディア・データのビットストリームを記憶する方法であって、解決策１ないし１４のうちいずれか一項に記載の方法を含み、さらに、前記ビットストリームを非一時的なコンピュータ読み取り可能な記録媒体に記憶する段階を含む、方法。
【0198】
〔解決策２３〕実行されると、プロセッサに、解決策１ないし１４のうちいずれか一つまたは複数に記載の方法を実施させるプログラム・コードを記憶しているコンピュータ読み取り可能な媒体。
【0199】
〔解決策２４〕上述の方法のいずれかに従って生成されたビットストリームを記憶しているコンピュータ読み取り可能な媒体。
【0200】
〔解決策２５〕ビットストリームを記憶するための視覚的メディア・データ処理装置であって、該ビデオ処理装置は、解決策１ないし１４のうちいずれか一つまたは複数に記載の方法を実施するように構成される、視覚的メディア・データ処理装置。
【0201】
〔解決策２６〕解決策１ないし１４のうちいずれかに一項に記載されたフォーマット規則に準拠するビットストリームがあるコンピュータ読み取り可能な媒体。
【0202】
本明細書に記載される解決策において、視覚的メディア・データは、ビデオまたはイメージに対応する。本明細書に記載される解決策において、エンコーダは、フォーマット規則に従って符号化された表現を生成することによって、フォーマット規則に適合しうる。本明細書に記載された解決策において、デコーダは、フォーマット規則に従って構文要素の有無の知識を用いて、符号化された表現における構文要素をパースするためにフォーマット規則を使用して、デコードされたビデオを生成することができる。
【0203】
本稿において、「ビデオ処理」という用語は、ビデオ・エンコード、ビデオ・デコード、ビデオ圧縮またはビデオ圧縮解除を指すことができる。たとえば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現へ、またはその逆の変換の間に適用されてもよい。現在のビデオ・ブロックのビットストリーム表現は、たとえば、構文によって定義されるように、ビットストリーム内の種々の場所に同時配置されるかまたは拡散される諸ビットに対応しうる。たとえば、マクロブロックは、変換され符号化された誤差残差値を用いて、ビットストリーム内のヘッダおよび他のフィールド内のビットをも使用して、エンコードされてもよい。さらに、変換中に、デコーダは、上述の諸解決策に記載されるように、判別に基づいて、いくつかのフィールドが存在または不在でありうるという知識を用いて、ビットストリームをパースすることができる。同様に、エンコーダは、ある種の構文フィールドが含まれるか、含まれないかを決定し、それに応じて、符号化表現から前記構文フィールドを含めるか、または除外することによって、符号化された表現を生成することができる。
【0204】
本明細書に記載された、開示されたおよびその他の解決策、例、実施形態、モジュール、および機能的な動作は、デジタル電子回路において、または本明細書に開示された構造およびそれらの構造的等価物を含むコンピュータ・ソフトウェア、ファームウェア、またはハードウェアにおいて、またはそれらの一つまたは複数の組み合わせにおいて実装されることができる。開示されたおよびその他の実施形態は、一つまたは複数のコンピュータ・プログラム・プロダクト、すなわち、データ処理装置による実行のため、またはデータ処理装置の動作を制御するために、コンピュータ読み取り可能媒体上にエンコードされたコンピュータ・プログラム命令の一つまたは複数のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリ装置、機械読み取り可能な伝搬信号を実現する物質の組成、またはそれらの一つまたは複数の組み合わせでありうる。用語「データ処理装置」は、たとえば、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータ・プログラムのための実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの一つまたは複数の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、たとえば、好適な受信器装置に送信するための情報をエンコードするために生成される機械生成された電気信号、光信号、または電磁信号である。
【0205】
コンピュータ・プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイルされるまたはインタープリットされる言語を含む、任意の形のプログラミング言語で書くことができ、それは、スタンドアローン・プログラムとして、またはコンピューティング環境での使用に好適なモジュール、コンポーネント、サブルーチン、または他のユニットとして展開することを含め、任意の形で展開できる。コンピュータ・プログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分に（たとえば、マークアップ言語文書に格納される一つまたは複数のスクリプト）、問題のプログラム専用の単一のファイルに、または複数の協調させられるファイル（たとえば、一つまたは複数のモジュール、サブプログラム、またはコード部分を格納するファイル）に格納されることができる。コンピュータ・プログラムは、1つのコンピュータ上で、または1つのサイトに位置するか、または複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開されることができる。
【0206】
本稿に記載されるプロセスおよび論理フローは、一つまたは複数のコンピュータ・プログラムを実行する一つまたは複数のプログラム可能なプロセッサによって実行されて、入力データに対して作用し、出力を生成することによって機能を実行することができる。プロセスおよび論理フローは、特殊目的の論理回路、たとえばFPGA（フィールドプログラマブルゲートアレイ）またはASIC（特定用途向け集積回路）によって実行されることもでき、装置もそのようなものとして実装されることができる。
【0207】
コンピュータ・プログラムの実行に好適なプロセッサは、たとえば、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタル・コンピュータの任意の一つまたは複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受領する。コンピュータの必須の要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための一つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための一つまたは複数の大容量記憶装置、たとえば、磁気ディスク、磁気光ディスク、または光ディスクをも含む、またはそれらからデータを受領したり、またはそれにデータを転送したり、またはその両方をしたりするよう、動作上結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータ・プログラム命令およびデータを記憶するのに好適なコンピュータ読み取り可能媒体は、あらゆる形の不揮発性メモリ、媒体およびメモリデバイスを含み、たとえば、半導体メモリデバイス、たとえばEPROM、EEPROM、およびフラッシュメモリデバイス；磁気ディスク、たとえば、内蔵ハードディスクまたはリムーバブルディスク；光磁気ディスク；ならびにCD-ROMおよびDVD-ROMディスクを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足されるか、またはそれに組み込まれることができる。
【0208】
この特許文献は多くの個別的事項を含んでいるが、これらは、いずれかの主題の範囲または特許請求されうるものの範囲に対する限定として解釈されるべきではなく、むしろ特定の技法の特定の実施形態に特有でありうる特徴の記述と解釈されるべきである。この特許文献において別個の実施形態の文脈で記載されているある種の特徴は、単一の実施形態において組み合わせて実施されることもできる。逆に、単一の実施形態の文脈において記載されるさまざまな特徴が、複数の実施形態において別個に、または任意の好適なサブコンビネーションにおいて実施されることもできる。さらに、特徴は、ある種の組み合わせにおいて作用するものとして上述され、さらには当初はそのようなものとして請求項に記載されることがあるが、請求項に記載された組み合わせからの一つまたは複数の特徴が、場合によっては、組み合わせから削除されてもよく、請求項に記載された組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてもよい。
【0209】
同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、そのような動作が示されている特定の順序で、あるいは逐次順に実行されること、あるいはすべての示されている動作が実行されることを要求すると解釈されるべきではない。さらに、この特許文献に記載されている実施形態におけるさまざまなシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではない。
【0210】
少数の実装および例のみが記述されており、この特許文献に記載され、説明されている内容に基づいて、他の実装、向上および変形がなされてもよい。
【符号の説明】
【0211】
１１０ 源装置
１１２ ビデオ源
１１４ ビデオ・エンコーダ
１１６ I/Oインターフェース
１２０ 宛先装置
１２２ 表示装置
１２４ ビデオ・デコーダ
１２６ I/Oインターフェース
１３０ａ ネットワーク
１３０ｂ 記憶媒体／サーバー
２００ ビデオ・エンコーダ
２０１ 分割部
２０２ 予測部
２０３ モード選択部
２０４ 動き推定部
２０５ 動き補償部
２０６ イントラ予測部
２０８ 変換部
２０９ 量子化部
２１０ 逆量子化部
２１１ 逆変換部
２１３ バッファ
２１４ エントロピー符号化部
３００ ビデオ・デコーダ
３０１ エントロピー復号部
３０２ 動き補償部
３０３ イントラ予測部
３０４ 逆量子化部
３０５ 逆変換部
３０７ バッファ
１１２ ビデオ源
１１４ ビデオ・エンコーダ
１１６ I/Oインターフェース
１２０ 宛先装置
１２２ 表示装置
１２４ ビデオ・デコーダ
１２６ I/Oインターフェース
１３０ａ ネットワーク
１３０ｂ 記憶媒体／サーバー
２００ ビデオ・エンコーダ
２０１ 分割部
２０２ 予測部
２０３ モード選択部
２０４ 動き推定部
２０５ 動き補償部
２０６ イントラ予測部
２０８ 変換部
２０９ 量子化部
２１０ 逆量子化部
２１１ 逆変換部
２１３ バッファ
２１４ エントロピー符号化部
３００ ビデオ・デコーダ
３０１ エントロピー復号部
３０２ 動き補償部
３０３ イントラ予測部
３０４ 逆量子化部
３０５ 逆変換部
３０７ バッファ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】