特許7436641 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

特許7436641時間スケーラビリティのためのピクチャタイミング及び復号ユニット情報

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】時間スケーラビリティのためのピクチャタイミング及び復号ユニット情報

(51)【国際特許分類】

H04N 19/70 20140101AFI20240214BHJP

【ＦＩ】

H04N19/70

【請求項の数】 7

(21)【出願番号】P 2022518813

(86)(22)【出願日】2020-09-21

(65)【公表番号】

(43)【公表日】2022-12-09

(86)【国際出願番号】 US2020051826

(87)【国際公開番号】W WO2021061571

(87)【国際公開日】2021-04-01

【審査請求日】2022-06-10

(31)【優先権主張番号】62/905,147

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩＴＥＣＨＮＯＬＯＧＩＥＳＣＯ．，ＬＴＤ．

【住所又は居所原語表記】ＨｕａｗｅｉＡｄｍｉｎｉｓｔｒａｔｉｏｎＢｕｉｌｄｉｎｇ，Ｂａｎｔｉａｎ，ＬｏｎｇｇａｎｇＤｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８１２９，Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎修

(72)【発明者】

【氏名】ワーン，イエ－クイ

【審査官】松元伸次

(56)【参考文献】

【文献】特表２０１６－５００２０４（ＪＰ，Ａ）

【文献】特表２０１５－５３２５５１（ＪＰ，Ａ）

【文献】特表２０１５－５２９０３３（ＪＰ，Ａ）

【文献】Virginie Drugeon et al.，AHG17: Harmonized HRD parameters signalling for decoding units，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019，JVET-P0202，2019年09月23日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオデコーダにより実施される方法であって、
前記ビデオデコーダにより、コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを受信するステップであり、前記ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースの仮想参照デコーダ（ＨＲＤ）動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含む、ステップと、
前記ビデオデコーダにより、前記ビットストリームから前記コーディングピクチャを復号して復号ピクチャを取得するステップと、
を含み、
前記ＣＰＢパラメータは、du_cpb_removal_delay_increment_minus1[i][j]を含み、前記du_cpb_removal_delay_increment_minus1[i][j]に１を加えた値は、Ｈｔｉｄｉがｊ等しいときに前記ＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、（ｉ＋１）番目の復号ユニットの名目上のＣＰＢ除去時間とｉ番目の復号ユニットの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定し、前記du_cpb_removal_delay_increment_minus1[i][j]のシンタックスは、

【数1】

である、方法。

【請求項2】

前記ＣＰＢパラメータは、２つの復号ユニットのＣＰＢ除去時間の間の継続時間を指定する、請求項１に記載の方法。

【請求項3】

ビデオエンコーダにより実施される方法であって、
前記ビデオエンコーダにより、コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを生成するステップであり、前記ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースの仮想参照デコーダ（ＨＲＤ）動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含む、ステップと、
前記ビデオエンコーダにより、前記ＣＰＢパラメータを使用して前記サブレイヤ上の前記ＤＵベースのＨＲＤ動作を実行して、前記ビットストリームが適合しているかどうかを決定するステップと、
前記ビデオエンコーダにより、前記ＤＵベースのＨＲＤ動作の実行に基づいて前記ビットストリームが適合しているとき、ビデオデコーダに向けての通信のために前記ビットストリームを記憶するステップと、
を含み、
前記ＣＰＢパラメータは、du_cpb_removal_delay_increment_minus1[i][j]を含み、前記du_cpb_removal_delay_increment_minus1[i][j]に１を加えた値は、Ｈｔｉｄｉがｊ等しいときに前記ＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、（ｉ＋１）番目の復号ユニットの名目上のＣＰＢ除去時間とｉ番目の復号ユニットの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定し、前記du_cpb_removal_delay_increment_minus1[i][j]のシンタックスは、

【数2】

である、方法。

【請求項4】

復号デバイスであって、
コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを受信するように構成された受信器であり、前記ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースの仮想参照デコーダ（ＨＲＤ）動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含む、受信器と、
前記受信器に結合されたメモリであり、命令を記憶する、メモリと、
前記メモリに結合されたプロセッサであり、前記命令を実行して、当該復号デバイスに、前記ビットストリームから前記コーディングピクチャを復号して復号ピクチャを取得することをさせるように構成されたプロセッサと、
含み、
前記ＣＰＢパラメータは、du_cpb_removal_delay_increment_minus1[i][j]を含み、前記du_cpb_removal_delay_increment_minus1[i][j]に１を加えた値は、Ｈｔｉｄｉがｊ等しいときに前記ＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、（ｉ＋１）番目の復号ユニットの名目上のＣＰＢ除去時間とｉ番目の復号ユニットの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定し、前記du_cpb_removal_delay_increment_minus1[i][j]のシンタックスは、

【数3】

である、復号デバイス。

【請求項5】

前記ＣＰＢパラメータは、２つの復号ユニットのＣＰＢ除去時間の間の継続時間を指定する、請求項４に記載の復号デバイス。

【請求項6】

符号化デバイスであって、
命令を含むメモリと、
前記メモリに結合されたプロセッサであり、前記命令を実施して、当該符号化デバイスに、
コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを生成し、前記ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含み、
前記ＣＰＢパラメータを使用して前記サブレイヤ上の前記ＤＵベースのＨＲＤ動作を実行して、前記ビットストリームが適合しているかどうかを決定する
ことをさせるように構成されたプロセッサと、
前記プロセッサに結合された送信器であり、前記ＤＵベースのＨＲＤ動作の実行に基づいて前記ビットストリームが適合しているとき、前記ビットストリームをビデオデコーダに向けて送信するように構成される、送信器と、
含み、
前記ＣＰＢパラメータは、du_cpb_removal_delay_increment_minus1[i][j]を含み、前記du_cpb_removal_delay_increment_minus1[i][j]に１を加えた値は、Ｈｔｉｄｉがｊ等しいときに前記ＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、（ｉ＋１）番目の復号ユニットの名目上のＣＰＢ除去時間とｉ番目の復号ユニットの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定し、前記du_cpb_removal_delay_increment_minus1[i][j]のシンタックスは、

【数4】

である、符号化デバイス。

【請求項7】

コーディング装置であって、
符号化すべきピクチャを受信し、又は復号すべきビットストリームを受信するように構成された受信器と、
前記受信器に結合された送信器であり、前記ビットストリームをデコーダに送信し、又は復号画像をディスプレイに送信するように構成される、送信器と、
前記受信器又は前記送信器のうちの少なくとも１つに結合されたメモリであり、命令を記憶するように構成される、メモリと、
前記メモリに結合されたプロセッサであり、前記メモリに記憶された前記命令を実行して、請求項１～３のうちいずれか１項に記載の方法を実行するように構成される、プロセッサと、
を含むコーディング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概してビデオコーディングに関し、具体的には、マルチレイヤビットストリームの効率的な符号化及び／又は適合テストをサポートするための仮想参照デコーダ（ＨＲＤ）パラメータ変更に関する。

【背景技術】

【0002】

比較的短いビデオでさえ描写するために必要とされるビデオデータの量は、相当なものとなる可能性があり、これは、限られた帯域幅容量を有する通信ネットワークをわたってデータがストリーミングされ又はその他の方法で通信されるとき、困難を結果としてもたらす場合がある。したがって、ビデオデータは、現代の電気通信ネットワークをわたって通信される前、一般に圧縮される。さらに、ビデオがストレージデバイスに記憶されるとき、メモリリソースが制限される場合があるため、ビデオのサイズも問題となる可能性がある。ビデオ圧縮デバイスは、しばしば、ソースにおいてソフトウェア及び／又はハードウェアを使用して、伝送又は記憶の前にビデオデータをコーディングし、それにより、デジタルビデオ画像を表すのに必要とされるデータの量を減らす。次いで、圧縮されたデータは、宛先において、ビデオデータを復号するビデオ解凍デバイスにより受信される。限られたネットワークリソースと、より高いビデオ品質の絶えず増加する需要により、画像品質においてほとんど又は全く犠牲なく圧縮比を改善する、改善された圧縮及び解凍手法が望ましい。

【発明の概要】

【0003】

第１の態様は、ビデオデコーダにより実施される方法に関し、ビデオデコーダにより、コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを受信するステップであり、ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースの仮想参照デコーダ（ＨＲＤ）動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含む、ステップと、ビデオデコーダにより、ビットストリームからコーディングピクチャを復号して復号ピクチャを取得するステップと、を含む。

【0004】

この方法は、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証する手法を提供する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0005】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＣＰＢパラメータが、２つの復号ユニットのＣＰＢ除去時間の間の継続時間を指定することを提供する。

【0006】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＳＥＩメッセージが、ピクチャタイミング（ＰＴ）ＳＥＩメッセージであることを提供する。

【0007】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＣＰＢパラメータが、ＰＴＳＥＩメッセージに関連づけられたアクセスユニット（ＡＵ）のための共通ＣＰＢ除去遅延増分及びＣＰＢ除去遅延増分を含むことを提供する。

【0008】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＳＥＩメッセージが、ＰＴＳＥＩメッセージであって、該ＰＴＳＥＩメッセージに関連づけられたＡＵ内の復号ユニットの数を指定する、ＰＴＳＥＩメッセージであることを提供する。

【0009】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＳＥＩメッセージが、ＰＴＳＥＩメッセージであって、該ＰＴＳＥＩメッセージに関連づけられたＡＵの復号ユニット（ＤＵ）内のネットワーク抽象化レイヤ（ＮＡＬ）ユニットの数を指定する、ＰＴＳＥＩメッセージであることを提供する。

【0010】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＳＥＩメッセージが、復号ユニット情報（ＤＵＩ）ＳＥＩメッセージであって、該ＤＵＩＳＥＩメッセージを含むＳＥＩＮＡＬユニットの時間識別子（ＩＤ）を提供する、ＤＵＩＳＥＩメッセージであることを提供する。

【0011】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、時間ＩＤが、ＤＵＩＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最も高いサブレイヤを指定することを提供する。

【0012】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、復号ピクチャを電子デバイスのディスプレイに表示することを提供する。

【0013】

第２の態様は、ビデオエンコーダにより実施される方法に関し、当該方法は、ビデオエンコーダにより、コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを生成するステップであり、ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースの仮想参照デコーダ（ＨＲＤ）動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含む、ステップと、ビデオエンコーダにより、ＣＰＢパラメータを使用してサブレイヤ上のＤＵベースのＨＲＤ動作を実行して、ビットストリームが適合しているかどうかを決定するステップと、ビデオエンコーダにより、ＤＵベースのＨＲＤ動作の実行に基づいてビットストリームが適合しているとき、ビデオデコーダに向けての通信のためにビットストリームを記憶するステップと、を含む。

【0014】

【0015】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＣＰＢパラメータが、２つの復号ユニットのＣＰＢ除去時間の間の継続時間を指定し、ビットストリームが、ＣＰＢ除去時間の間の継続時間が超えられていないとき適合していることを提供する。

【0016】

【0017】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＣＰＢパラメータが、ＰＴＳＥＩメッセージに関連づけられたアクセスユニット（ＡＵ）のための共通ＣＰＢ除去遅延及びＣＰＢ除去遅延を含むことを提供する。

【0018】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＰＴＳＥＩメッセージが、ＰＴＳＥＩメッセージに関連づけられたＡＵ内の復号ユニットの数と、ＰＴＳＥＩメッセージに関連づけられたＡＵの復号ユニット（ＤＵ）内のネットワーク抽象化レイヤ（ＮＡＬ）ユニットの数を指定することを提供する。

【0019】

【0020】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＤＵＩＳＥＩメッセージが、ＤＵＩＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最も高いサブレイヤの時間ＩＤを指定することを提供する。

【0021】

第３の態様は、復号デバイスに関し、当該復号デバイスは、コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを受信するように構成された受信器であり、ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースの仮想参照デコーダ（ＨＲＤ）動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含む、受信器と、受信器に結合されたメモリであり、命令を記憶する、メモリと、メモリに結合されたプロセッサであり、命令を実行して、当該復号デバイスに、ビットストリームからコーディングピクチャを復号して復号ピクチャを取得することをさせるように構成される、プロセッサと、を含む。

【0022】

復号デバイスは、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証する手法を提供する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0023】

【0024】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＳＥＩメッセージが、ＰＴＳＥＩメッセージに関連づけられたアクセスユニット（ＡＵ）内の復号ユニットの数を指定するＰＴＳＥＩメッセージであって、ＣＰＢパラメータが、ＰＴＳＥＩメッセージに関連づけられたＡＵのための共通ＣＰＢ除去遅延及びＣＰＢ除去遅延を含むことを提供する。

【0025】

【0026】

【0027】

第４の態様は、符号化デバイスに関し、当該符号化デバイスは、命令を含むメモリと、メモリに結合されたプロセッサであり、命令を実施して、当該符号化デバイスに、コーディングピクチャと補足エンハンスメント情報（ＳＥＩ）メッセージとを含むビットストリームを生成し、ＳＥＩメッセージは、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するコーディングピクチャバッファ（ＣＰＢ）パラメータを含み、ＣＰＢパラメータを使用してサブレイヤ上のＤＵベースのＨＲＤ動作を実行して、ビットストリームが適合しているかどうかを決定することをさせるように構成される、プロセッサと、プロセッサに結合された送信器であり、ＤＵベースのＨＲＤ動作の実行に基づいてビットストリームが適合しているとき、ビデオビットストリームをビデオデコーダに向けて送信するように構成される、送信器と、を含む。

【0028】

符号化デバイスは、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証する手法を提供する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0029】

【0030】

【0031】

【0032】

【0033】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＳＥＩメッセージが、復号ユニット情報（ＤＵＩ）ＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットの時間識別子（ＩＤ）を提供するＤＵＩＳＥＩメッセージであることを提供する。

【0034】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、ＤＵＩＳＥＩメッセージが、ＤＵＩＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最も高いサブレイヤの時間識別子（ＩＤ）を指定することを提供する。

【0035】

第５の態様は、コーディング装置に関する。コーディング装置は、符号化すべきピクチャを受信し、又は復号すべきビットストリームを受信するように構成された受信器と、受信器に結合された送信器であり、ビットストリームをデコーダに送信し、又は復号画像をディスプレイに送信するように構成される、送信器と、受信器又は送信器のうちの少なくとも１つに結合されるメモリであり、命令を記憶するように構成される、メモリと、メモリに結合されたプロセッサであり、メモリに記憶された命令を実行して、本明細書に開示される方法のいずれかを実行するように構成される、プロセッサと、を含む。

【0036】

コーディング装置は、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証する手法を提供する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0037】

任意で、前述の態様のいずれかにおいて、態様の別の実装は、復号ピクチャを表示するように構成されたディスプレイを提供する。

【0038】

第６の態様は、システムに関する。当該システムは、エンコーダと、エンコーダと通信するデコーダと、を含み、エンコーダ又はデコーダは、本明細書に開示される復号デバイス、符号化デバイス、又はコーディング装置を含む。

【0039】

このシステムは、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証する手法を提供する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0040】

第７の態様は、コーディングする手段に関する。当該コーディングする手段は、符号化すべきピクチャを受信し、又は復号すべきビットストリームを受信するように構成された受信手段と、受信手段に結合された送信手段であり、ビットストリームを復号手段に送信し、又は復号画像を表示手段に送信するように構成される、送信手段と、受信手段又は送信手段のうちの少なくとも１つに結合された記憶手段であり、命令を記憶するように構成される、記憶手段と、記憶手段に結合された処理手段であり、記憶手段に記憶された命令を実行して、本明細書に開示される方法のいずれかを実行するように構成される、処理手段と、を含む。

【0041】

このコーディングする手段は、サブレイヤ上の復号ユニット（ＤＵ）ベースのＨＲＤ動作に対応するピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証する手法を提供する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0042】

明確さの目的で、前述の実施形態のいずれか１つは、本開示の範囲内の新たな実施形態を作り出すために、他の前述の実施形態のいずれか１つ以上と組み合わせることができる。

【0043】

これら及び他の特徴は、添付の図面及び特許請求の範囲に関連して解される以下の詳細な説明から、より明確に理解されるであろう。

【図面の簡単な説明】

【0044】

本開示のより完全な理解のために、次に、添付の図面及び詳細な説明に関連してとられる以下の簡潔な説明を参照する。これにおいて、同様の参照番号は同様の部分を表す。

【図1】ビデオ信号をコーディングする一例示的な方法のフローチャートである。

【図2】ビデオコーディングのための一例示的なコーディング及び復号（コーデック）システムの概略図である。

【図3】一例示的なビデオエンコーダを示す概略図である。

【図4】一例示的なビデオデコーダを示す概略図である。

【図5】一例示的な仮想参照デコーダ（ＨＲＤ）を示す概略図である。

【図6】インターレイヤ予測に対して構成された一例示的なマルチレイヤビデオシーケンスを示す概略図である。

【図7】時間スケーラビリティに対して構成された一例示的なマルチレイヤビデオシーケンスを示す概略図である。

【図8】一例示的なビットストリームを示す概略図である。

【図9】コーディングビデオビットストリームを復号する方法の一実施形態である。

【図10】ビデオビットストリームを符号化する方法の一実施形態である。

【図11】ビデオコーディングデバイスの概略図である。

【図12】コーディングする手段の一実施形態の概略図である。

【発明を実施するための形態】

【0045】

最初に、１つ以上の実施形態の例示的な実装が以下に提供されるが、開示されるシステム及び／又は方法は、現在知られ又は存在するかにかかわらず、任意の数の手法を使用して実施され得ることを理解されたい。本開示は、本明細書に例示及び説明される例示的な設計及び実施を含む、以下に示される例示的な実装、図面、及び手法に決して限定されるべきでないが、添付の特許請求の範囲及びそれらの同等物の全範囲の範囲内で修正され得る。

【0046】

以下の用語は、本明細書において逆の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示に対するさらなる明確さを提供することを意図している。しかしながら、用語は、異なる文脈において別様に記載されることがある。したがって、以下の定義は補足とみなされるべきであり、本明細書においてそのような用語に関して提供される説明の他の定義を制限するものとみなされるべきではない。

【0047】

ビットストリームは、エンコーダとデコーダとの間における伝送のために圧縮されたビデオデータを含むビットのシーケンスである。エンコーダは、符号化プロセスを利用してビデオデータをビットストリームに圧縮するように構成されるデバイスである。デコーダは、復号プロセスを利用してビットストリームからのビデオデータを表示のために再構成するように構成されるデバイスである。ピクチャは、フレーム又はそのフィールドを作り出す、ルマ（luma）サンプルのアレイ及び／又はクロマ（chroma）サンプルのアレイである。符号化又は復号されているピクチャは、議論の明確さのために、カレント（current）ピクチャと呼ばれることがある。ネットワーク抽象化レイヤ（network abstraction layer、ＮＡＬ）ユニットは、所望に応じて分散される、ローバイトシーケンスペイロード（Raw Byte Sequence Payload、ＲＢＳＰ）の形式のデータとデータのタイプの指標とエミュレーション防止バイト（emulation prevention bytes）とを含むシンタックス構造である。ビデオコーディングレイヤ（video coding layer、ＶＣＬ）ＮＡＬユニットは、ピクチャのコーディングスライスなどの、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬＮＡＬユニットは、ビデオデータの復号、適合チェックの実行、又は他の動作をサポートするシンタックス及び／又はパラメータなどの、非ビデオデータを含むＮＡＬユニットである。アクセスユニット（access unit、ＡＵ）は、指定された分類ルールに従って互いに関連づけられ、１つの特定の出力時間に属する、ＮＡＬユニットのセットである。復号ユニット（decoding unit、ＤＵ）は、ＡＵ又はＡＵのサブセット、及び関連づけられた非ＶＣＬＮＡＬユニットである。レイヤは、指定された特性（例えば、共通の解像度、フレームレート、画像サイズなど）を共有するＶＣＬＮＡＬユニットと、関連づけられた非ＶＣＬＮＡＬユニットのセットである。復号順序は、シンタックス要素が復号プロセスにより処理される順序である。ビデオパラメータセット（video parameter set、ＶＰＳ）は、ビデオ全体に関連するパラメータを含むデータユニットである。

【0048】

時間スケーラブルビットストリームは、様々な時間的解像度／フレームレートを提供する複数のレイヤでコーディングされたビットストリームである（例えば、各レイヤは、異なるフレームレートをサポートするようにコーディングされる）。サブレイヤは、特定の時間識別子値を有するＶＣＬＮＡＬユニットと、関連づけられた非ＶＣＬＮＡＬユニットとを含む、時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、時間サブレイヤは、指定されたフレームレートに関連づけられたビデオデータを含むレイヤである。サブレイヤ表現は、特定のサブレイヤ及びより低いサブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。したがって、１つ以上の時間サブレイヤを組み合わせて、指定されたフレームレートを有するビデオシーケンスを結果としてもたらすように復号することができるサブレイヤ表現を達成することができる。出力レイヤセット（output layer set、ＯＬＳ）は、出力レイヤとして１つ以上のレイヤが指定されるレイヤのセットである。出力レイヤは、出力のため（例えば、ディスプレイに対して）に指定されたレイヤである。ＯＬＳインデックスは、対応するＯＬＳを一意に識別するインデックスである。ゼロ番目の（第０の）ＯＬＳは、最も低いレイヤ（最低レイヤ識別子を有するレイヤ）のみを含み、したがって出力レイヤのみを含むＯＬＳである。時間識別子（ＩＤ）は、ビデオシーケンスにおける時間位置に対応するデータを示すデータ要素である。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックス及びターゲット最高時間ＩＤにより決定される、ターゲットセットに属さないＮＡＬユニットを、ビットストリームから除去するプロセスである。サブビットストリーム抽出プロセスは、ターゲットセットの一部であるビットストリームからのＮＡＬユニットを含む出力サブビットストリームを結果としてもたらす。

【0049】

ＨＲＤは、エンコーダ上で動作するデコーダモデルである。ＨＲＤは、符号化プロセスにより生成されたビットストリームの変動性をチェックして、指定された制約との適合性を検証する。ビットストリーム適合テストは、符号化ビットストリームが汎用ビデオコーディング（Versatile Video Coding、ＶＶＣ）などの標準に準拠するかどうかを決定するためのテストである。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化及び／又は定義するシンタックス要素である。シーケンスレベルのＨＲＤパラメータは、コーディングビデオシーケンス全体に適用されるＨＲＤパラメータであり、一方、ピクチャレベルのＨＲＤパラメータは、コーディングビデオシーケンス内のピクチャに適用されるＨＲＤパラメータである。最大ＨＲＤ時間ＩＤ（Ｈｔｉｄ）は、ＯＬＳＨＲＤパラメータのｉ番目のセットにＨＲＤパラメータが含まれる最高サブレイヤ表現の時間ＩＤを指定する。動作点（operation point、ＯＰ）は、ＯＬＳインデックス及び最高時間ＩＤにより識別されるＯＬＳの時間サブセットである。コーディングピクチャバッファ（coded picture buffer、ＣＰＢ）は、ビットストリーム適合検証の間の使用のために復号順序でコーディングピクチャを含む、ＨＲＤにおける先入れ先出しバッファである。復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）は、参照、出力再順序付け、及び／又は出力遅延のために復号されたピクチャを保持するバッファである。

【0050】

補足エンハンスメント情報（supplemental enhancement information、ＳＥＩ）メッセージは、復号されたピクチャ内のサンプルの値を決定するために復号プロセスにより必要とされない情報を伝達する、指定されたセマンティクスを有するシンタックス構造である。バッファリング期間（buffering period、ＢＰ）ＳＥＩメッセージは、ＨＲＤを初期化してＣＰＢを管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。ピクチャタイミング（picture timing、ＰＴ）ＳＥＩメッセージは、ＣＰＢ及び／又はＤＰＢにおけるＡＵについての配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。復号ユニット情報（decoding unit information、ＤＵＩ）ＳＥＩメッセージは、ＣＰＢ及び／又はＤＰＢにおけるＤＵについての配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。

【0051】

ＣＰＢ除去遅延は、対応するカレントＡＵが除去及びＤＰＢへの出力の前にＣＰＢ内に残ることができる時間の期間である。初期ＣＰＢ除去遅延は、ビットストリーム、ＯＬＳ、及び／又はレイヤ内の各ピクチャ、ＡＵ、及び／又はＤＵに対するデフォルトＣＰＢ除去遅延である。ＣＰＢ除去オフセットは、ＣＰＢ内の対応するＡＵの境界を決定するために使用されるＣＰＢ内の位置である。初期ＣＰＢ除去オフセットは、ビットストリーム、ＯＬＳ、及び／又はレイヤ内の各ピクチャ、ＡＵ、及び／又はＤＵに関連づけられたデフォルトＣＰＢ除去オフセットである。復号ピクチャバッファ（ＤＰＢ）出力遅延情報は、対応するＡＵが出力の前にＤＰＢ内に残ることができる時間の期間である。ＣＰＢ除去遅延情報は、対応するＤＵの、ＣＰＢからの除去に関連する情報である。配信スケジュールは、ＣＰＢ及び／又はＤＰＢなどのメモリ位置への及び／又はメモリ位置からの、ビデオデータの配信のタイミングを指定する。

【0052】

時間サブレイヤの最大数は、ＢＰＳＥＩメッセージにおいて初期ＣＰＢ除去遅延及び初期ＣＰＢ除去オフセットが示されるサブレイヤの最大数である。共通ＣＰＢ除去遅延増分は、ピクチャタイミングＳＥＩメッセージに関連づけられたＡＵ内の復号順序における任意の２つの連続したＤＵの名目上の（nominal）ＣＰＢ除去時間の間の、クロックサブティック（clock sub-ticks）の単位の継続時間（duration）を指定する。共通ＣＰＢ除去遅延増分は、さらに、仮想ストリームスケジューラ（hypothetical stream scheduler、ＨＳＳ）のためにＣＰＢへの復号ユニットデータの到着の最も早い可能な時間を計算するために使用される。

【0053】

復号ユニットの数は、ピクチャタイミングＳＥＩメッセージが関連づけられたＡＵ内のＤＵの数を指定する。ＮＡＬユニットの数は、ＰＴＳＥＩメッセージが関連づけられたＡＵのｉ番目のＤＵ内のＮＡＬユニットの数を指定する。共通ＣＰＢ除去遅延フラグは、シンタックス要素共通ＣＰＢ除去遅延増分がＰＴＳＥＩメッセージに存在するかどうかを指定する。

【0054】

ＣＰＢ除去遅延増分は、ＰＴＳＥＩメッセージに関連づけられたＡＵ内の復号順序における（ｉ＋１）番目のＤＵの名目上のＣＰＢ除去時間とｉ番目のＤＵの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定する。

【0055】

ＶＰＳ最大サブレイヤマイナス１（vps_max_sublayers_minus1）シンタックス要素は、ＶＰＳにより指定されたレイヤに存在し得る時間サブレイヤの最大数を指定するシンタックス要素である。

【0056】

本明細書において、以下の頭字語、アクセスユニット（ＡＵ）、コーディングツリーブロック（Coding Tree Block、ＣＴＢ）、コーディングツリーユニット（Coding Tree Unit、ＣＴＵ）、コーディングユニット（Coding Unit、ＣＵ）、コーディングレイヤビデオシーケンス（Coded Layer Video Sequence、ＣＬＶＳ）、コーディングレイヤビデオシーケンス開始（Coded Layer Video Sequence Start、ＣＬＶＳＳ）、コーディングビデオシーケンス（Coded Video Sequence、ＣＶＳ）、コーディングビデオシーケンス開始（Coded Video Sequence Start、ＣＶＳＳ）、合同ビデオエキスパートチーム（Joint Video Experts Team、ＪＶＥＴ）、仮想参照デコーダ（ＨＲＤ）、動き制約型タイルセット（Motion Constrained Tile Set、ＭＣＴＳ）、最大転送ユニット（Maximum Transfer Unit、ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、ピクチャ順序カウント（Picture Order Count、ＰＯＣ）、ランダムアクセスポイント（Random Access Point、ＲＡＰ）、ローバイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）、汎用ビデオコーディング（ＶＶＣ）が使用される。

【0057】

最小限のデータ損失でビデオファイルのサイズを低減するために、多くのビデオ圧縮手法が利用され得る。例えば、ビデオ圧縮手法は、ビデオシーケンスにおけるデータ冗長性を低減又は除去するために、空間的（例えば、イントラピクチャ）予測及び／又は時間的（例えば、インターピクチャ）予測を実行することを含むことができる。ブロックベースのビデオコーディングでは、ビデオスライス（例えば、ビデオピクチャ又はビデオピクチャの一部）は、ビデオブロックにパーティション化され得、これは、ツリーブロック、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、及び／又はコーディングノードと呼ばれることもある。ピクチャのイントラコーディング（Ｉ）スライスにおけるビデオブロックは、同じピクチャ内の近隣ブロック内の参照サンプルに関して空間予測を使用してコーディングされる。ピクチャのインターコーディング一方向予測（Ｐ）又は双方向予測（Ｂ）スライスにおけるビデオブロックは、同じピクチャ内の近隣ブロック内の参照サンプルに関して空間予測を、又は他の参照ピクチャ内の参照サンプルに関して時間予測を利用することによりコーディングされ得る。ピクチャは、フレーム及び／又は画像として参照されることがあり、参照ピクチャは、参照フレーム及び／又は参照画像として参照されることがある。空間的又は時間的予測は、画像ブロックを表す予測ブロックを結果としてもたらす。残差データは、元の画像ブロックと予測ブロックとの間の画素差を表す。したがって、インターコーディングブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングブロックと予測ブロックとの間の差を示す残差データに従って符号化される。イントラコーディングブロックは、イントラコーディングモード及び残差データに従って符号化される。さらなる圧縮のために、残差データは、画素ドメインから変換ドメインに変換されてもよい。これらは残差変換係数を結果としてもたらし、これは量子化することができる。量子化された変換係数は、最初、２次元アレイに配置され得る。量子化された変換係数は、変換係数の１次元ベクトルを生成するためにスキャンすることができる。一層多くの圧縮を達成するために、エントロピーコーディングが適用され得る。このようなビデオ圧縮手法を以下により詳細に論じる。

【0058】

符号化されたビデオが正確に復号可能であることを保証するために、ビデオは、対応するビデオコーディング標準に従って符号化され、復号される。ビデオコーディング標準には、国際電気通信連合（International Telecommunication Union、ＩＴＵ）標準化部門（Standardization Sector）（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（International Organization for Standardization、ＩＳＯ／International Electrotechnical Commission、ＩＥＣ）モーションピクチャエキスパートグループ（Motion Picture Experts Group、ＭＰＥＧ）－１パート２、ＩＴＵ－ＴＨ．２６２、ＩＳＯ／ＩＥＣＭＰＥＧ－２パート２、ＩＴＵ－ＴＨ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ－４パート２、ＩＴＵ－ＴＨ．２６４又はＩＳＯ／ＩＥＣＭＰＥＧ－４パート１０としても知られる高度ビデオコーディング（Advanced Video Coding、ＡＶＣ）、及びＩＴＵ－ＴＨ．２６５又はＭＰＥＧ－Ｈパート２としても知られる高効率ビデオコーディング（High Efficiency Video Coding、ＨＥＶＣ）が含まれる。ＡＶＣには、スケーラブルビデオコーディング（Scalable Video Coding、ＳＶＣ）、マルチビュービデオコーディング（Multiview Video Coding、ＭＶＣ）及びマルチビュービデオコーディングプラス深度（Multiview Video Coding plus Depth、ＭＶＣ＋Ｄ）、並びに３次元（３Ｄ）ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）、３ＤＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張が含まれる。ＩＴＵ－ＴとＩＳＯ／ＩＥＣの合同ビデオエキスパートチーム（ＪＶＥＴ）は、汎用ビデオコーディング（ＶＶＣ）と呼ばれるビデオコーディング標準の開発を開始している。ＶＶＣは、ＪＶＥＴ－Ｏ２００１－ｖ１４を含む作業原案（ＷＤ）に含まれている。

【0059】

最新のＶＶＣ原案は、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号ユニット情報（ＤＵＩ）ＳＥＩメッセージ、ＡＵベースのＨＲＤ動作（例えば、ＡＵ全体に適用されるＨＲＤ動作）、及び復号ユニット（ＤＵ）ベースのＨＲＤ動作（例えば、ＡＵにおける１つの復号ユニット又はピクチャに適用されるＨＲＤ動作）の詳細を提供している。

【0060】

レイヤとサブレイヤの双方に対するＡＵベースのＨＲＤ動作に必要とされるピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータは、ＰＴＳＥＩメッセージにおいてシグナリングされる。レイヤに対するＤＵベースのＨＲＤ動作に必要とされるピクチャレベルのＣＰＢパラメータは、ＰＴＳＥＩメッセージ又はＤＵＩＳＥＩメッセージのいずれかでシグナリングされる。しかしながら、サブレイヤに対するＤＵベースのＨＲＤ動作に必要とされるピクチャレベルのＣＰＢパラメータは、ＰＴＳＥＩメッセージ及びＤＵＩＳＥＩメッセージから欠落している。

【0061】

本明細書に開示されるのは、サブレイヤ上のＤＵベースのＨＲＤ動作に対応するピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれることを保証する手法である。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0062】

図１は、ビデオ信号をコーディングする一例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号は、エンコーダで符号化される。符号化プロセスは、ビデオファイルサイズを低減するための様々なメカニズムを利用することによりビデオ信号を圧縮する。より小さいファイルサイズは、関連する帯域幅オーバーヘッドを低減すると同時に、圧縮されたビデオファイルをユーザに向けて送信することを可能にする。次いで、デコーダは、圧縮されたビデオファイルを復号して、エンドユーザに対する表示のために元のビデオ信号を再構成する。復号プロセスは、一般に、符号化プロセスを反映して、デコーダがビデオ信号を一貫して再構成することを可能にする。

【0063】

ステップ１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮ビデオファイルでもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオ捕捉デバイスにより捕捉され、ビデオのライブストリーミングをサポートするように符号化されてもよい。ビデオファイルは、オーディオ成分とビデオ成分の双方を含むことができる。ビデオコンポーネントは、シーケンスで見られるときに動きの視覚的な印象を与える一連の画像フレームを含む。フレームは、本明細書においてルマ成分（又は、ルマサンプル）と呼ばれる光と、クロマ成分（又は、色サンプル）と呼ばれる色との観点で表現される、画素を含む。いくつかの例において、フレームは、３次元表示をサポートするための深度値をさらに含んでもよい。

【0064】

ステップ１０３において、ビデオはブロックにパーティション化される。パーティション化は、圧縮のために各フレーム内の画素を正方形及び／又は矩形ブロックにサブ分割する（subdividing）ことを含む。例えば、高効率ビデオコーディング（ＨＥＶＣ）（Ｈ．２６５及びＭＰＥＧ－Ｈパート２としても知られる）において、フレームは、最初、所定のサイズ（例えば、６４画素×６４画素）のブロックであるコーディングツリーユニット（ＣＴＵ）に分割することができる。ＣＴＵは、ルマサンプルとクロマサンプルの双方を含む。コーディングツリーを利用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまでブロックを再帰的にサブ分割することができる。例えば、フレームのルマ成分は、個々のブロックが比較的均質の光値を含むまでサブ分割されてもよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均質の色値を含むまでサブ分割されてもよい。したがって、パーティション化メカニズムは、ビデオフレームの内容に応じて変動する。

【0065】

ステップ１０５において、ステップ１０３でパーティション化された画像ブロックを圧縮するために、様々な圧縮メカニズムが利用される。例えば、インター予測及び／又はイントラ予測が利用されてもよい。インター予測は、共通のシーン内のオブジェクトが連続したフレームに現れる傾向があるという事実を活用するように設計されている。したがって、参照フレーム内のオブジェクトを示すブロックは、隣接するフレーム内に繰り返し記述される必要はない。具体的には、テーブルなどのオブジェクトは、複数のフレームにわたって一定の位置に留まり得る。したがって、テーブルは１回記述され、隣接するフレームは参照フレームを参照することができる。複数のフレームにわたってオブジェクトをマッチングするために、パターンマッチングメカニズムが利用されてもよい。さらに、例えば、オブジェクト移動又はカメラ移動に起因して、動くオブジェクトが複数のフレームにわたって表現されることがある。特定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示すことがある。このような移動を記述するために、動きベクトルを利用することができる。動きベクトルは、フレーム内のオブジェクトの座標から参照フレーム内のオブジェクトの座標へのオフセットを提供する２次元ベクトルである。このように、インター予測は、カレントフレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして符号化することができる。

【0066】

イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、ルマ及びクロマ成分がフレーム内に密集する傾向があるという事実を活用する。例えば、樹木の一部における緑色のパッチは、同様の緑色のパッチに隣接して位置づけられる傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣにおいて３３）、ｐｌａｎａｒモード、及びｄｉｒｅｃｔｃｕｒｒｅｎｔ（ＤＣ）モードを利用する。方向モードは、カレントブロックが、対応する方向の近隣ブロックのサンプルと類似／同じであることを示す。ｐｌａｎａｒモードは、行／列に沿った一連のブロック（例えば、平面）を、行の端における近隣ブロックに基づいて補間できることを示す。ｐｌａｎａｒモードは、事実上、値を変化させる際に比較的一定の傾きを利用することにより、行／列にわたっての光／色の滑らかな遷移を示す。ＤＣモードは、境界平滑化に利用され、ブロックが方向予測モードの角度方向に関連づけられた全ての近隣ブロックのサンプルに関連づけられた平均値と類似／同じであることを示す。したがって、イントラ予測ブロックは、画像ブロックを、実際の値の代わりに様々な関係予測モード値として表現することができる。さらに、インター予測ブロックは、画像ブロックを、実際の値の代わりに動きベクトル値として表現することができる。いずれの場合も、予測ブロックは、いくつかの場合、画像ブロックを正確に表現しない可能性がある。いずれの差も、残差ブロックに記憶される。ファイルをさらに圧縮するために、残差ブロックに変換が適用されてもよい。

【0067】

ステップ１０７において、様々なフィルタリング手法が適用され得る。ＨＥＶＣでは、フィルタは、ループ内フィルタリングスキームに従って適用される。上記で論じられたブロックベースの予測は、デコーダにおけるブロック状の画像の作成を結果としてもたらす可能性がある。さらに、ブロックベースの予測スキームは、ブロックを符号化し、次いで、符号化されたブロックを後の使用のために参照ブロックとして再構成することがある。ループ内フィルタリングスキームは、雑音抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、及びサンプル適応オフセット（sample adaptive offset、ＳＡＯ）フィルタをブロック／フレームに反復的に適用する。これらのフィルタは、そのようなブロッキングアーチファクトを軽減し、それにより、符号化されたファイルは正確に再構成することができるように、する。さらに、これらのフィルタは、再構成された参照ブロック内のアーチファクトを軽減し、それにより、アーチファクトが、再構成された参照ブロックに基づいて符号化される後続ブロック内にさらなるアーチファクトを作り出す可能性がより低い。

【0068】

ひとたびビデオ信号がパーティション化され、圧縮され、フィルタリングされると、結果として生じるデータは、ステップ１０９においてビットストリームに符号化される。ビットストリームは、上記で論じられたデータと、デコーダでの適切なビデオ信号再構成をサポートするのに望ましい任意のシグナリングデータを含む。例えば、このようなデータは、パーティションデータ、予測データ、残差ブロック、及びコーディング命令をデコーダに提供する様々なフラグを含んでもよい。ビットストリームは、要求に対するデコーダに向けての送信のためにメモリに記憶されてもよい。ビットストリームは、さらに、複数のデコーダに向けてブロードキャスト及び／又はマルチキャストされてもよい。ビットストリームの作成は、反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、及び１０９は、多くのフレーム及びブロックにわたって連続的に及び／又は同時に発生し得る。図１に示された順序は、議論の明確さと容易さのために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図したものではない。

【0069】

デコーダは、ビットストリームを受信し、ステップ１１１において復号プロセスを開始する。具体的には、デコーダは、エントロピー復号スキームを利用して、ビットストリームを対応するシンタックス及びビデオデータにコンバートする。デコーダは、ビットストリームからのシンタックスデータを利用して、ステップ１１１でフレームのパーティションを決定する。パーティション化は、ステップ１０３におけるブロックパーティション化の結果とマッチしなければならない。ステップ１１１で利用されるエントロピー符号化／復号を次に説明する。エンコーダは、圧縮プロセスの間、入力画像における値の空間的位置づけに基づいていくつかの可能な選択肢からブロックパーティション化スキームを選択することなどの、多くの選択を行う。厳密な選択肢をシグナリングすることは、多数のビン（bins）を利用する可能性がある。本明細書で用いられるとき、ビンは、変数として扱われるバイナリ値（例えば、コンテキストに依存して変化し得るビット値）である。エントロピーコーディングは、エンコーダが特定のケースに対して明らかに実行できないオプションを破棄し、許容可能なオプションのセットを残すことを可能にする。各許容可能なオプションは、次いで、コードワードを割り当てられる。コードワードの長さは、許容可能なオプションの数に基づく（例えば、２つのオプションに対して１つのビン、３つから４つのオプションに対して２つのビンなど）。エンコーダは、次いで、選択されたオプションに対してコードワードを符号化する。このスキームは、コードワードのサイズを低減し、なぜならば、コードワードは、全ての可能なオプションの潜在的に大きいセットからの選択を一意に示すのと対照的に、許容可能なオプションの小さいサブセットからの選択を一意に示すのに望ましいほど大きいためである。デコーダは、次いで、エンコーダと同様の方法で許容可能なオプションのセットを決定することにより、選択を復号する。許容可能なオプションのセットを決定することにより、デコーダは、コードワードを読み取り、エンコーダによりなされた選択を決定することができる。

【0070】

ステップ１１３において、デコーダはブロック復号を実行する。具体的には、デコーダは、逆変換を利用して残差ブロックを生成する。次いで、デコーダは、残差ブロック及び対応する予測ブロックを利用して、パーティション化に従って画像ブロックを再構成する。予測ブロックは、ステップ１０５においてエンコーダで生成される、イントラ予測ブロックとインター予測ブロックの双方を含み得る。次いで、再構成された画像ブロックは、ステップ１１１で決定されたパーティション化データに従って、再構成されたビデオ信号のフレームに位置づけられる。ステップ１１３のためのシンタックスも、上記で論じたエントロピーコーディングを介してビットストリーム内でシグナリングされてもよい。

【0071】

ステップ１１５において、再構成されたビデオ信号のフレームに対して、エンコーダにおけるステップ１０７と同様の方法で、フィルタリングが実行される。例えば、ブロッキングアーチファクトを除去するために、雑音抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、及びＳＡＯフィルタをフレームが適用されてもよい。ひとたびフレームがフィルタリングされると、ビデオ信号は、ステップ１１７において、エンドユーザが見るためにディスプレイに出力することができる。

【0072】

図２は、ビデオコーディングのための一例示的なコーディング及び復号（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実施をサポートするための機能性を提供する。コーデックシステム２００は、エンコーダ及びデコーダの双方で利用されるコンポーネントを示すように一般化されている。コーデックシステム２００は、動作方法１００のステップ１０１及び１０３に関して論じたように、ビデオ信号を受信及びパーティション化し、これは、パーティション化されたビデオ信号２０１を結果としてもたらす。次いで、コーデックシステム２００は、方法１００のステップ１０５、１０７、及び１０９に関して論じたように、エンコーダとして機能するとき、パーティション化されたビデオ信号２０１をコーディングビットストリームに圧縮する。デコーダとして機能するとき、コーデックシステム２００は、動作方法１００におけるステップ１１１、１１３、１１５、及び１１７に関して論じたように、ビットストリームからの出力ビデオ信号を生成する。コーデックシステム２００は、一般コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリング及び逆変換コンポーネント２２９、フィルタ制御分析コンポーネント２２７、ループ内フィルタコンポーネント２２５、復号ピクチャバッファコンポーネント２２３、ヘッダフォーマッティング（header formatting）及びコンテキスト適応二値算術コーディング（context adaptive binary arithmetic coding、ＣＡＢＡＣ）コンポーネント２３１を含む。こうしたコンポーネントは、図示のように結合される。図２において、黒線は、符号化／復号されるべきデータの移動を示し、破線は、他のコンポーネントの動作を制御する制御データの移動を示す。コーデックシステム２００のコンポーネントは全て、エンコーダ内に存在し得る。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含み得る。例えば、デコーダは、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリング及び逆変換コンポーネント２２９、ループ内フィルタコンポーネント２２５、及び復号ピクチャバッファコンポーネント２２３を含んでもよい。次に、これらのコンポーネントについて説明する。

【0073】

パーティション化されたビデオ信号２０１は、コーディングツリーにより画素のブロックにパーティション化されている、捕捉されたビデオシーケンスである。コーディングツリーは、様々な分裂モードを利用して、画素のブロックを画素のより小さいブロックにサブ分割する。次いで、これらのブロックは、より小さいブロックにさらにサブ分割することができる。ブロックは、コーディングツリー上のノードとして参照され得る。より大きい親ノードは、より小さい子ノードに分裂される。ノードがサブ分割される回数は、ノード／コーディングツリーの深さとして参照される。分割されたブロックは、いくつかの場合、コーディングユニット（ＣＵ）に含めることができる。例えば、ＣＵは、ルマブロック、赤色差クロマ（Ｃｒ）ブロック、及び青色差クロマ（Ｃｂ）ブロックを、ＣＵに対する対応するシンタックス命令と共に含む、ＣＴＵのサブ部分とすることができる。分裂モードには、ノードを、利用される分裂モードに依存して変わる形状の２つ、３つ、又は４つの子ノードにそれぞれパーティション化するために利用される、二分木（binary tree、ＢＴ）、三分木（triple tree、ＴＴ）、及び四分木（quad tree、ＱＴ）を含むことができる。パーティション化されたビデオ信号２０１は、圧縮のために、一般コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、及び動き推定コンポーネント２２１に転送される。

【0074】

一般コーダ制御コンポーネント２１１は、アプリケーション制約に従ってビデオシーケンスの画像のビットストリームへのコーディングすることに関連する判断を行うように構成される。例えば、一般コーダ制御コンポーネント２１１は、ビットレート／ビットストリームサイズ対再構成品質の最適化を管理する。そのような判断は、ストレージ空間／帯域幅の可用性及び画像解像度要求に基づいて行われてもよい。一般コーダ制御コンポーネント２１１は、さらに、バッファアンダーラン及びオーバーラン問題を軽減するために、送信速度に照らしてバッファ利用を管理する。これらの問題を管理するために、一般コーダ制御コンポーネント２１１は、他のコンポーネントによるパーティション化、予測、及びフィルタリングを管理する。例えば、一般コーダ制御コンポーネント２１１は、動的に圧縮複雑性を増加させて解像度を増加させ、帯域幅使用を増加させ、あるいは圧縮複雑性を減少させて解像度及び帯域幅使用を減少させることができる。したがって、一般コーダ制御コンポーネント２１１は、ビデオ信号再構成品質をビットレートの懸念とバランスさせるために、コーデックシステム２００の他のコンポーネントを制御する。一般コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データも、デコーダで復号するためのパラメータをシグナリングするために、ビットストリーム内に符号化されるようにヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。

【0075】

パーティション化されたビデオ信号２０１は、さらに、インター予測のために動き推定コンポーネント２２１及び動き補償コンポーネント２１９に送信される。パーティション化されたビデオ信号２０１のフレーム又はスライスは、複数のビデオブロックに分割されてもよい。動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、時間予測を提供するために、１つ以上の参照フレーム内の１つ以上のブロックに対して受信したビデオブロックのインター予測コーディングを実行する。コーデックシステム２００は、複数のコーディングパスを実行して、例えば、ビデオデータの各ブロックに対して適切なコーディングモードを選択することができる。

【0076】

動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、高度に統合され得るが、概念的な目的のために別個に図示されている。動き推定コンポーネント２２１により実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコーディングオブジェクトの変位を示すことができる。予測ブロックは、画素差の観点で、コーディングされるブロックに密接にマッチすることが見い出されるブロックである。予測ブロックは、参照ブロックと呼ばれることもある。このような画素差は、絶対差の和（sum of absolute difference、ＳＡＤ）、二乗差の和（sum of square difference、ＳＳＤ）、又は他の差メトリックにより決定されてもよい。ＨＥＶＣは、ＣＴＵ、コーディングツリーブロック（ＣＴＢ）、及びＣＵを含むいくつかのコーディングオブジェクトを利用する。例えば、ＣＴＵはＣＴＢに分割することができ、次いで、ＣＴＢはＣＵに含めるためにＣＢに分割することができる。ＣＵは、ＣＵのための予測データを含む予測ユニット（prediction unit、ＰＵ）及び／又は変換された残差データを含む変換ユニット（transform unit、ＴＵ）として符号化することができる。動き推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み分析を使用することにより、動きベクトル、ＰＵ、及びＴＵを生成する。例えば、動き推定コンポーネント２２１は、カレントのブロック／フレームに対する複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択することができる。最良のレート歪み特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）とコーディング効率（例えば、最終符号化のサイズ）の双方をバランスさせる。

【0077】

いくつかの例において、コーデックシステム２００は、復号ピクチャバッファコンポーネント２２３に記憶された参照ピクチャのサブ整数画素位置の値を計算することができる。例えば、ビデオコーデックシステム２００は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間することができる。したがって、動き推定コンポーネント２２１は、フル画素位置及び分数画素位置に対する動き探索を実行し、分数画素精度を有する動きベクトルを出力することができる。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することにより、インターコーディングスライス内のビデオブロックのＰＵのための動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを、符号化するためにヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１へ動きデータとして、及び動き補償コンポーネント２１９へ動きとして出力する。

【0078】

動き補償コンポーネント２１９により実行される動き補償は、動き推定コンポーネント２２１により決定された動きベクトルに基づいて予測ブロックを取り出し又は生成することを含むことができる。再びになるが、動作推定コンポーネント２２１及び動作補償コンポーネント２１９は、いくつかの例において機能的に統合されてもよい。カレントビデオブロックのＰＵのための動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指し示す予測ブロックの位置を特定することができる。次いで、コーディングされているカレントビデオブロックの画素値から予測ブロックの画素値を減算し、画素差値を形成することにより、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、ルマ成分に対して動き推定を実行し、動き補償コンポーネント２１９は、クロマ成分とルマ成分の双方に対して、ルマ成分に基づいて計算された動きベクトルを使用する。予測ブロック及び残差ブロックは、変換スケーリング及び量子化コンポーネント２１３に転送される。

【0079】

パーティション化されたビデオ信号２０１は、さらに、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７に送信される。動き推定コンポーネント２２１及び動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７は高度に統合され得るが、概念的な目的のために別個に図示されている。イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７は、上述したようにフレーム間で動き推定コンポーネント２２１及び動き補償コンポーネント２１９により実行されるインター予測の一代替として、カレントフレーム内のブロックに対するカレントブロックをイントラ予測する（intra-predict）。特に、イントラピクチャ推定コンポーネント２１５は、カレントブロックを符号化するために使用するイントラ予測モードを決定する。いくつかの例において、イントラピクチャ推定コンポーネント２１５は、複数のテストされたイントラピクチャ予測モードから、カレントブロックを符号化するための適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、符号化するためにヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。

【0080】

例えば、イントラピクチャ推定コンポーネント２１５は、様々なテストされたイントラ予測モードについてレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の非符号化ブロックとの間の歪み（又は、誤差）の量、並びに符号化ブロックを生成するために使用されたビットレート（例えば、ビット数）を決定する。イントラピクチャ推定コンポーネント２１５は、様々な符号化ブロックについて歪み及びレートから比率を計算し、どのイントラ予測モードがブロックに対する最良のレート歪み値を示すかを決定する。さらに、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（rate-distortion optimization、ＲＤＯ）に基づく深度モデリングモード（depth modeling mode、ＤＭＭ）を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。

【0081】

イントラピクチャ予測コンポーネント２１７は、エンコーダ上で実施されるとき、イントラピクチャ推定コンポーネント２１５により決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成し、あるいは、デコーダ上で実施されるとき、ビットストリームから残差ブロックを読み取ることができる。残差ブロックは、行列として表される、予測ブロックと元のブロックとの間の値の差を含む。次いで、残差ブロックは、変換スケーリング及び量子化コンポーネント２１３に転送される。イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７は、ルマ成分及びクロマ成分の双方に対して動作することができる。

【0082】

変換スケーリング及び量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリング及び量子化コンポーネント２１３は、離散コサイン変換（discrete cosine transform、ＤＣＴ）、離散サイン変換（discrete sine transform、ＤＳＴ）、又は概念的に類似した変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換も使用することができる。変換は、残差情報を画素値ドメインから、周波数ドメインなどの変換ドメインにコンバートすることができる。変換スケーリング及び量子化コンポーネント２１３は、さらに、変換された残差情報を、例えば周波数に基づいてスケーリングするように構成される。そのようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように、残差情報にスケールファクタを適用することを含み、これは、再構成されたビデオの最終的な視覚品質に影響を及ぼし得る。変換スケーリング及び量子化コンポーネント２１３は、さらに、ビットレートをさらに低減するために、変換係数を量子化するように構成される。量子化プロセスは、係数の一部又は全てに関連づけられたビット深度を低減することができる。量子化の度合いは、量子化パラメータを調整することにより修正されてもよい。いくつかの例において、変換スケーリング及び量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列のスキャンを実行することができる。量子化された変換係数は、ビットストリーム内に符号化されるようにヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。

【0083】

スケーリング及び逆変換コンポーネント２２９は、動き推定をサポートするために、変換スケーリング及び量子化コンポーネント２１３の逆の動作を適用する。スケーリング及び逆変換コンポーネント２２９は、逆のスケーリング、変換、及び／又は量子化を適用して、例えば、別のカレントブロックのための予測ブロックになり得る参照ブロックとしての後の使用のために、画素ドメイン内の残差ブロックを再構成する。動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９は、後のブロック／フレームの動き推定における使用のために、残差ブロックを対応する予測ブロックに加算することにより参照ブロックを計算することができる。スケーリング、量子化、及び変換の間に作り出されるアーチファクトを軽減するために、再構成された参照ブロックにフィルタが適用される。さもなければ、このようなアーチファクトは、後続のブロックが予測されるとき、不正確な予測を引き起こす（及び、さらなるアーチファクトを作り出す）可能性がある。

【0084】

フィルタ制御分析コンポーネント２２７及びループ内フィルタコンポーネント２２５は、フィルタを残差ブロックに、及び／又は再構成された画像ブロックに適用する。例えば、スケーリング及び逆変換コンポーネント２２９からの変換された残差ブロックを、イントラピクチャ予測コンポーネント２１７及び／又は動き補償コンポーネント２１９からの対応する予測ブロックと組み合わせて、元の画像ブロックを再構成することができる。次いで、再構成された画像ブロックにフィルタが適用され得る。いくつかの例において、フィルタは、代わりに、残差ブロックに適用されてもよい。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７及びループ内フィルタコンポーネント２２５は高度に統合され、一緒に実施され得るが、概念的な目的のために別個に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタがどのように適用されるかを調整するために複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、そのようなフィルタがどこに適用されるべきかを決定し、対応するパラメータを設定する。このようなデータは、符号化のためのフィルタ制御データとしてヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタコンポーネント２２５は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、及び適応ループフィルタを含んでもよい。そのようなフィルタは、例に依存して、空間／画素ドメインで（例えば、再構成された画素ブロックに）、又は周波数ドメインで適用され得る。

【0085】

エンコーダとして動作するとき、フィルタリングされた再構成された画像ブロック、残差ブロック、及び／又は予測ブロックは、上記で論じたように、動き推定における後の使用のために復号ピクチャバッファコンポーネント２２３に記憶される。デコーダとして動作するとき、復号ピクチャバッファコンポーネント２２３は、再構成及びフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに向けて転送する。復号ピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、及び／又は再構成された画像ブロックを記憶することができる任意のメモリデバイスであってよい。

【0086】

ヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の様々なコンポーネントからデータを受信し、そのようなデータをデコーダに向けての送信のためにコーディングビットストリームに符号化する。具体的には、ヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１は、一般制御データ及びフィルタ制御データなどの制御データを符号化するために、様々なヘッダを生成する。さらに、イントラ予測及び動きデータを含む予測データ、並びに量子化された変換係数データの形式の残差データは全て、ビットストリームに符号化される。最終的なビットストリームは、元のパーティション化されたビデオ信号２０１を再構成するためにデコーダにより望まれる全ての情報を含む。そのような情報は、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、様々なブロックに対する符号化コンテキストの定義、最も可能性の高いイントラ予測モードの指標、パーティション情報の指標などをさらに含んでもよい。このようなデータは、エントロピーコーディングを利用することにより符号化され得る。例えば、情報は、コンテキスト適応可変長コーディング（context adaptive variable length coding、ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースのコンテキスト適応二値算術コーディング（ＳＢＡＣ）、確率間隔パーティション化エントロピー（probability interval partitioning entropy、ＰＩＰＥ）コーディング、又は別のエントロピーコーディング手法を利用することにより符号化されてもよい。エントロピーコーディングに続いて、コーディングビットストリームは、別のデバイス（例えば、ビデオデコーダ）に送信されてもよく、あるいは後の送信又は取り出しのためにアーカイブされてもよい。

【0087】

図３は、一例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実施するため、及び／又は動作方法１００のステップ１０１、１０３、１０５、１０７、及び／又は１０９を実施するために利用されてもよい。エンコーダ３００は、入力ビデオ信号をパーティション化し、パーティション化されたビデオ信号３０１を結果としてもたらし、これは、パーティション化されたビデオ信号２０１と実質的に同様である。次いで、パーティション化されたビデオ信号３０１は、エンコーダ３００のコンポーネントにより圧縮され、ビットストリームに符号化される。

【0088】

具体的には、パーティション化されたビデオ信号３０１は、イントラ予測のために、イントラピクチャ予測コンポーネント３１７に転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７と実質的に同様でもよい。さらに、パーティション化されたビデオ信号３０１は、復号ピクチャバッファコンポーネント３２３内の参照ブロックに基づくインター予測のために、動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１及び動き補償コンポーネント２１９と実質的に同様でもよい。イントラピクチャ予測コンポーネント３１７及び動き補償コンポーネント３２１からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために、変換及び量子化コンポーネント３１３に転送される。変換及び量子化コンポーネント３１３は、変換スケーリング及び量子化コンポーネント２１３と実質的に同様でもよい。変換及び量子化された残差ブロック、及び対応する予測ブロックは（関連づけられた制御データとともに）、ビットストリームへのコーディングのためにエントロピーコーディングコンポーネント３３１に転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマッティング及びＣＡＢＡＣコンポーネント２３１と実質的に同様でもよい。

【0089】

変換及び量子化された残差ブロック、及び／又は対応する予測ブロックは、さらに、動き補償コンポーネント３２１による使用のための参照ブロックへの再構成のために、変換及び量子化コンポーネント３１３から逆変換及び量子化コンポーネント３２９に転送される。逆変換及び量子化コンポーネント３２９は、スケーリング及び逆変換コンポーネント２２９と実質的に同様でもよい。ループ内フィルタコンポーネント３２５内のループ内フィルタが、さらに、例に依存して、残差ブロック及び／又は再構成された参照ブロックに適用される。ループ内フィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７及びループ内フィルタコンポーネント２２５と実質的に同様でもよい。ループ内フィルタコンポーネント３２５は、ループ内フィルタコンポーネント２２５に関して論じられたように複数のフィルタを含むことができる。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１による参照ブロックとしての使用のために、復号ピクチャバッファコンポーネント３２３に記憶される。復号ピクチャバッファコンポーネント３２３は、復号ピクチャバッファコンポーネント２２３と実質的に同様でもよい。

【0090】

図４は、一例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００の復号機能を実施するため、及び／又は動作方法１００のステップ１１１、１１３、１１５、及び／又は１１７を実施するために利用されてもよい。デコーダ４００は、ビットストリームを、例えばエンコーダ３００から受信し、エンドユーザに対する表示のために、ビットストリームに基づいて再構成された出力ビデオ信号を生成する。

【0091】

ビットストリームは、エントロピー復号コンポーネント４３３により受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、又は他のエントロピーコーディング手法などのエントロピー復号スキームを実施するように構成される。例えば、エントロピー復号コンポーネント４３３は、ビットストリーム内にコードワードとして符号化されたさらなるデータを解釈するためのコンテキストを提供するために、ヘッダ情報を利用することができる。復号された情報は、一般制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、及び残差ブロックからの量子化された変換係数などの、ビデオ信号を復号するための任意の所望の情報を含む。量子化された変換係数は、残差ブロックへの再構成のために、逆変換及び量子化コンポーネント４２９に転送される。逆変換及び量子化コンポーネント４２９は、逆変換及び量子化コンポーネント３２９と同様でもよい。

【0092】

再構成された残差ブロック及び／又は予測ブロックは、イントラ予測動作に基づく画像ブロックへの再構成のために、イントラピクチャ予測コンポーネント４１７に転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５及びイントラピクチャ予測コンポーネント２１７と同様でもよい。具体的には、イントラピクチャ予測コンポーネント４１７は、予測モードを利用してフレーム内の参照ブロックの位置を特定し、その結果に残差ブロックを適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測画像ブロック、及び／又は残差ブロック及び対応するインター予測データは、復号ピクチャバッファコンポーネント４２３にループ内フィルタコンポーネント４２５を介して転送され、これらは、それぞれ、復号ピクチャバッファコンポーネント２２３及びループ内フィルタコンポーネント２２５と実質的に同様でもよい。ループ内フィルタコンポーネント４２５は、再構成された画像ブロック、残差ブロック、及び／又は予測ブロックをフィルタリングし、そのような情報は、復号ピクチャバッファコンポーネント４２３に記憶される。復号ピクチャバッファコンポーネント４２３からの再構成された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９と実質的に同様でもよい。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを利用して予測ブロックを生成し、その結果に残差ブロックを適用して画像ブロックを再構成する。結果として生じる再構成されたブロックは、さらに、ループ内フィルタコンポーネント４２５を介して復号ピクチャバッファコンポーネント４２３に転送されてもよい。復号ピクチャバッファコンポーネント４２３は、さらなる再構成された画像ブロックを記憶し続け、これは、パーティション情報を介してフレームに再構成することができる。このようなフレームは、さらに、シーケンス内に配置されてもよい。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。

【0093】

図５は、一例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、コーデックシステム２００及び／又はエンコーダ３００などのエンコーダにおいて利用されてもよい。ＨＲＤ５００は、ビットストリームがデコーダ４００などのデコーダに転送される前に、方法１００のステップ１０９で作成されたビットストリームをチェックすることができる。いくつかの例において、ビットストリームが符号化されるとき、ビットストリームはＨＲＤ５００を通して連続的に転送され得る。ビットストリームの一部が、関連づけられた制約に適合するのに失敗する場合、ＨＲＤ５００は、そのような失敗をエンコーダに示して、エンコーダに、ビットストリームの対応するセクションを異なるメカニズムで再符号化させることができる。

【0094】

ＨＲＤ５００は、仮想ストリームスケジューラ（hypothetical stream scheduler、ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想配信メカニズム（hypothetical delivery mechanism）を実行するように構成されたコンポーネントである。仮想配信メカニズムは、ＨＲＤ５００に入力されたビットストリーム５５１のタイミング及びデータフローに関してビットストリーム又はデコーダの適合をチェックするために使用される。例えば、ＨＳＳ５４１は、エンコーダから出力されたビットストリーム５５１を受信し、ビットストリーム５５１に対する適合テストプロセスを管理することができる。特定の例において、ＨＳＳ５４１は、コーディングピクチャがＨＲＤ５００を通って移動するレートを制御し、ビットストリーム５５１が不適合データを含まないことを検証することができる。

【0095】

ＨＳＳ５４１は、ビットストリーム５５１を所定のレートでＣＰＢ５４３に転送することができる。ＨＲＤ５００は、復号ユニット（ＤＵ）５５３内のデータを管理することができる。ＤＵ５５３は、ＡＵ又はＡＵのサブセット、及び関連づけられた非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットである。具体的には、ＡＵは、出力時間に関連づけられた１つ以上のピクチャを含む。例えば、ＡＵは、単一レイヤビットストリーム内の単一ピクチャを含んでもよく、マルチレイヤビットストリーム内の各レイヤのピクチャを含んでもよい。ＡＵの各ピクチャは、対応するＶＣＬＮＡＬユニットに各々含まれるスライスに分割され得る。したがって、ＤＵ５５３は、１つ以上のピクチャ、ピクチャの１つ以上のスライス、又はこれらの組み合わせを含んでもよい。さらに、ＡＵ、ピクチャ、及び／又はスライスを復号するために使用されるパラメータを、非ＶＣＬＮＡＬユニットに含めることができる。したがって、ＤＵ５５３は、ＤＵ５５３内のＶＣＬＮＡＬユニットの復号をサポートするために必要とされるデータを含む非ＶＣＬＮＡＬユニットを含む。ＣＰＢ５４３は、ＨＲＤ５００における先入れ先出しバッファである。ＣＰＢ５４３は、復号順序のビデオデータを含むＤＵ５５３を含む。ＣＰＢ５４３は、ビットストリーム適合検証の間の使用のためにビデオデータを記憶する。

【0096】

ＣＰＢ５４３は、ＤＵ５５３を復号プロセスコンポーネント５４５に転送する。復号プロセスコンポーネント５４５は、ＶＶＣ標準に適合するコンポーネントである。例えば、復号プロセスコンポーネント５４５は、エンドユーザにより利用されるデコーダ４００をエミュレートすることができる。復号プロセスコンポーネント５４５は、例示的なエンドユーザデコーダにより達成できるレートでＤＵ５５３を復号する。復号プロセスコンポーネント５４５が、ＣＰＢ５４３のオーバーフローを防止するほど十分に速くＤＵ５５３を復号できない場合、ビットストリーム５５１は、標準に適合せず、再符号化されるべきである。

【0097】

復号プロセスコンポーネント５４５は、ＤＵ５５３を復号し、これは、復号されたＤＵ５５５を作り出す。復号されたＤＵ５５５は復号されたピクチャを含む。復号されたＤＵ５５５は、ＤＰＢ５４７に転送される。ＤＰＢ５４７は、復号ピクチャバッファコンポーネント２２３、３２３、及び／又は４２３と実質的に同様でもよい。インター予測をサポートするために、復号されたＤＵ５５５から取得される参照ピクチャ５５６としての使用のためにマークされたピクチャは、さらなる復号をサポートするために、復号プロセスコンポーネント５４５に返される。ＤＰＢ５４７は、復号されたビデオシーケンスを一連のピクチャ５５７として出力する。ピクチャ５５７は、エンコーダによりビットストリーム５５１に符号化されたピクチャを一般に反映する再構成されたピクチャである。

【0098】

ピクチャ５５７は、出力クロップコンポーネント（output cropping component）５４９に送られる。出力クロップコンポーネント５４９は、ピクチャ５５７に適合クロップウィンドウを適用するように構成される。これは、出力クロップピクチャ（output cropped pictures）５５９を結果としてもたらす。出力クロップピクチャ５５９は、完全に再構成されたピクチャである。したがって、出力クロップピクチャ５５９は、エンドユーザがビットストリーム５５１を復号すると見るであろうものを模倣する。こうして、エンコーダは、出力クロップピクチャ５５９をレビューして、符号化が満足なものであることを保証することができる。

【0099】

ＨＲＤ５００は、ビットストリーム５５１内のＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、及び／又はＳＥＩメッセージからＨＲＤパラメータを読み取ることができる。次いで、ＨＲＤ５００は、そのようなＨＲＤパラメータ内の情報に基づいて、ビットストリーム５５１に対して適合テスト動作を実行することができる。特定の例として、ＨＲＤ５００は、ＨＲＤパラメータから１つ以上のＣＰＢ配信スケジュール（delivery schedules）５６１を決定することができる。配信スケジュールは、ＣＰＢ及び／又はＤＰＢなどのメモリ位置への及び／又はメモリ位置からのビデオデータの配信のタイミングを指定する。したがって、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３への／ＣＰＢ５４３からの、ＡＵ、ＤＵ５５３、及び／又はピクチャの配信のタイミングを指定する。ＨＲＤ５００は、ＤＰＢ５４７に対して、ＣＰＢ配信スケジュール５６１に類似したＤＰＢ配信スケジュールを利用してもよいことに留意されたい。

【0100】

ビデオは、様々なネットワーク条件のためと同様に、様々なレベルのハードウェア能力を有するデコーダによる使用のために、異なるレイヤ及び／又はＯＬＳにコーディングされ得る。ＣＰＢ配信スケジュール５６１は、これらの問題を反映するように選択される。したがって、より高いレイヤのサブビットストリームは、最適なハードウェア及びネットワーク条件に対して指定され、したがって、より高いレイヤは、ＤＰＢ５４７に向けてのＤＵ５５３の転送のためにＣＰＢ５４３内の大量のメモリと短い遅延を利用する、１つ以上のＣＰＢ配信スケジュール５６１を受信することができる。同様に、より低いレイヤのサブビットストリームは、限られたデコーダハードウェア能力及び／又は不十分なネットワーク条件に対して指定される。したがって、より低いレイヤは、ＤＰＢ５４７に向けてのＤＵ５５３の転送のためにＣＰＢ５４３内の少量のメモリとより長い遅延を利用する、１つ以上のＣＰＢ配信スケジュール５６１を受信することができる。次いで、ＯＬＳ、レイヤ、サブレイヤ、又はこれらの組み合わせを、対応する配信スケジュール５６１に従ってテストして、結果として生じるサブビットストリームが、サブビットストリームに対して期待される条件下で正確に復号できることを保証することができる。ＣＰＢ配信スケジュール５６１は各々、スケジュールインデックス（ＳｃＩｄｘ）５６３に関連づけられる。ＳｃＩｄｘ５６３は、配信スケジュールを識別するインデックスである。したがって、ビットストリーム５５１内のＨＲＤパラメータは、ＳｃＩｄｘ５６３によりＣＰＢ配信スケジュール５６１を示すとともに、ＨＲＤ５００がＣＰＢ配信スケジュール５６１を決定し、ＣＰＢ配信スケジュール５６１を対応するＯＬＳ、レイヤ、及び／又はサブレイヤと相互に関連づけることを可能にするのに十分なデータを含むことができる。

【0101】

図６は、インターレイヤ予測６２１に対して構成された一例示的なマルチレイヤビデオシーケンス６００を示す概略図である。マルチレイヤビデオシーケンス６００は、例えば、方法１００に従って、コーデックシステム２００及び／又はエンコーダ３００などのエンコーダにより符号化され、コーデックシステム２００及び／又はデコーダ４００などのデコーダにより復号され得る。さらに、マルチレイヤビデオシーケンス６００は、ＨＲＤ５００などのＨＲＤにより標準適合についてチェックすることができる。マルチレイヤビデオシーケンス６００は、コーディングビデオシーケンス内のレイヤのための一例示的な適用を示すために含まれる。マルチレイヤビデオシーケンス６００は、レイヤＮ６３１及びレイヤＮ＋１６３２などの複数のレイヤを利用する任意のビデオシーケンスである。

【0102】

一例において、マルチレイヤビデオシーケンス６００は、インターレイヤ予測６２１を利用し得る。インターレイヤ予測６２１は、ピクチャ６１１、６１２、６１３、及び６１４と、ピクチャ６１５、６１６、６１７、及び６１８との間で異なるレイヤにおいて適用される。図示の例では、ピクチャ６１１、６１２、６１３、及び６１４は、レイヤＮ＋１６３２の一部であり、ピクチャ６１５、６１６、６１７、及び６１８は、レイヤＮ６３１の一部である。レイヤＮ６３１、及び／又はレイヤＮ＋１６３２などのレイヤは、類似のサイズ、品質、解像度、信号対雑音比、能力などのような、特性の類似値に全て関連づけられているピクチャのグループである。レイヤは、ＶＣＬＮＡＬユニット及び関連づけられた非ＶＣＬＮＡＬユニットのセットとして形式的に定義され得る。ＶＣＬＮＡＬユニットは、ピクチャのコーディングスライスなどのビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬＮＡＬユニットは、ビデオデータの復号、適合チェックの実行、又は他の動作をサポートするシンタックス及び／又はパラメータなどの非ビデオデータを含むＮＡＬユニットである。

【0103】

図示の例では、レイヤＮ＋１６３２は、レイヤＮ６３１より大きい画像サイズに関連づけられている。したがって、レイヤＮ＋１６３２内のピクチャ６１１、６１２、６１３、及び６１４は、この例では、レイヤＮ６３１内のピクチャ６１５、６１６、６１７、及び６１８より大きいピクチャサイズ（例えば、より大きい高さ及び幅であり、したがってより多くのサンプル）を有する。しかしながら、このようなピクチャは、他の特性により、レイヤＮ＋１６３２とレイヤＮ６３１との間で分離することができる。２つのレイヤ、レイヤＮ＋１６３２及びレイヤＮ６３１のみが示されているが、ピクチャのセットは、関連づけられた特性に基づいて任意の数のレイヤに分離することができる。レイヤＮ＋１６３２及びレイヤＮ６３１は、レイヤＩＤにより示されてもよい。レイヤＩＤは、ピクチャに関連づけられるデータの項目であり、ピクチャが示されたレイヤの一部であることを示す。したがって、各ピクチャ６１１～６１８は、対応するレイヤＩＤに関連づけられて、どのレイヤＮ＋１６３２又はレイヤＮ６３１が対応するピクチャを含むかを示すことができる。例えば、レイヤＩＤは、ＮＡＬユニットヘッダレイヤ識別子（nuh_layer_id）を含んでもよく、これは、（例えば、レイヤ内のピクチャのスライス及び／又はパラメータを含む）ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素である。レイヤＮ６３１などの、より低い品質／ビットストリームサイズに関連づけられたレイヤは、一般に、より低いレイヤＩＤを割り当てられ、より低いレイヤとして参照される。さらに、レイヤＮ＋１６３２などの、より高い品質／ビットストリームサイズに関連づけられたレイヤは、一般に、より高いレイヤＩＤを割り当てられ、より高いレイヤとして参照される。

【0104】

異なるレイヤ６３１～６３２内のピクチャ６１１～６１８は、代替で表示されるように構成される。このように、異なるレイヤ６３１～６３２内のピクチャは、ピクチャが同じＡＵに含まれる限り、時間ＩＤ６２２を共有することができる。時間ＩＤ６２２は、ビデオシーケンスにおける時間位置に対応するデータを示すデータ要素である。ＡＵは、指定された分類ルールに従って互いに関連づけられ、１つの特定の出力時間に属する、ＮＡＬユニットのセットである。例えば、ＡＵは、ピクチャ６１１及びピクチャ６１５などの異なるレイヤにおける１つ以上のピクチャを、そのようなピクチャが同じ時間ＩＤ６２２に関連づけられているとき、含むことができる。特定の例として、デコーダは、より小さいピクチャが望まれる場合、カレント表示時間におけるピクチャ６１５を復号し、表示してもよく、あるいは、デコーダは、より大きいピクチャが望まれる場合、カレント表示時間におけるピクチャ６１１を復号し、表示してもよい。したがって、より高いレイヤＮ＋１６３２におけるピクチャ６１１～６１４は、（ピクチャサイズの差にもかかわらず、）より低いレイヤＮ６３１における対応するピクチャ６１５～６１８と実質的に同じ画像データを含む。具体的には、ピクチャ６１１は、ピクチャ６１５と実質的に同じ画像データを含み、ピクチャ６１２は、ピクチャ６１６と実質的に同じ画像データを含む、などである。

【0105】

ピクチャ６１１～６１８は、同じレイヤＮ６３１、又はＮ＋１６３２内の他のピクチャ６１１～６１８を参照することによりコーディングすることができる。同じレイヤ内の別のピクチャを参照してピクチャをコーディングすることは、インター予測６２３を結果としてもたらす。インター予測６２３は、実線矢印により示される。例えば、ピクチャ６１３は、レイヤＮ＋１６３２内のピクチャ６１１、６１２、及び／又は６１４のうちの１つ又は２つを参照として使用するインター予測６２３を利用することによりコーディングされてもよく、これにおいて、一方向のインター予測では１つのピクチャが参照され、かつ／あるいは、双方向のインター予測では２つのピクチャが参照される。さらに、ピクチャ６１７は、レイヤＮ６３１内のピクチャ６１５、６１６、及び／又は６１８のうちの１つ又は２つを参照として使用するインター予測６２３を利用することによりコーディングされてもよく、これにおいて、一方向のインター予測では１つのピクチャが参照され、かつ／あるいは、双方向のインター予測では２つのピクチャが参照される。ピクチャが、インター予測６２３を実行するときに同じレイヤ内の別のピクチャのための参照として使用されるとき、ピクチャは、参照ピクチャと呼ばれることがある。例えば、ピクチャ６１２は、インター予測６２３に従ってピクチャ６１３をコーディングするために使用される参照ピクチャであり得る。インター予測６２３は、マルチレイヤの文脈においてイントラレイヤ予測とも呼ぶこともできる。このように、インター予測６２３は、参照ピクチャとカレントピクチャが同じレイヤ内にある場合に、カレントピクチャと異なる参照ピクチャ内の指示されたサンプルを参照することにより、カレントピクチャのサンプルをコーディングするメカニズムである。

【0106】

ピクチャ６１１～６１８は、異なるレイヤ内の他のピクチャ６１１～６１８を参照することによりコーディングすることもできる。このプロセスは、インターレイヤ予測６２１として分かり、破線矢印で示されている。インターレイヤ予測６２１は、カレントピクチャと参照ピクチャが異なるレイヤ内にあり、したがって異なるレイヤＩＤを有する場合に、参照ピクチャ内の指示されたサンプルを参照することにより、カレントピクチャのサンプルをコーディングするメカニズムである。例えば、より低いレイヤＮ６３１内のピクチャを参照ピクチャとして使用して、より高いレイヤＮ＋１６３２における対応するピクチャをコーディングすることができる。特定の例として、ピクチャ６１１は、インターレイヤ予測６２１に従ってピクチャ６１５を参照することによりコーディングすることができる。このような場合、ピクチャ６１５は、インターレイヤ参照ピクチャとして使用される。インターレイヤ参照ピクチャは、インターレイヤ予測６２１に使用される参照ピクチャである。ほとんどの場合、インターレイヤ予測６２１は、ピクチャ６１１などのカレントピクチャが、ピクチャ６１５などの、同じＡＵに含まれ、かつより低いレイヤにあるインターレイヤ参照ピクチャのみを使用することができるように、制約される。複数のレイヤ（例えば、２つより多く）が利用可能であるとき、インターレイヤ予測６２１は、カレントピクチャより低いレベルの複数のインターレイヤ参照ピクチャに基づいてカレントピクチャを符号化／復号することができる。

【0107】

ビデオエンコーダは、マルチレイヤビデオシーケンス６００を利用して、インター予測６２３及びインターレイヤ予測６２１の多くの異なる組み合わせ及び／又は順列を介して、ピクチャ６１１～６１８を符号化することができる。例えば、ピクチャ６１５は、イントラ予測に従ってコーディングされてもよい。次いで、ピクチャ６１６～６１８は、参照ピクチャとしてピクチャ６１５を使用することにより、インター予測６２３に従ってコーディングすることができる。さらに、ピクチャ６１１は、インターレイヤ参照ピクチャとしてピクチャ６１５を使用することによりインターレイヤ予測６２１に従ってコーディングされてもよい。次いで、ピクチャ６１２～６１４は、参照ピクチャとしてピクチャ６１１を使用することによりインター予測６２３に従ってコーディングすることができる。このように、参照ピクチャは、異なるコーディングメカニズムのために単一レイヤ参照ピクチャ及びインターレイヤ参照ピクチャの双方として機能することができる。より低いレイヤＮ６３１のピクチャに基づいて、より高いレイヤＮ＋１６３２のピクチャをコーディングすることにより、より高いレイヤＮ＋１６３２は、インター予測６２３及びインターレイヤ予測６２１より一層低いコーディング効率を有するイントラ予測の利用を回避することができる。したがって、イントラ予測の不十分なコーディング効率を、最も小さい／最も低い品質のピクチャに限定し、したがって、最小量のビデオデータをコーディングすることに限定することができる。参照ピクチャ及び／又はインターレイヤ参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリ内に示すことができる。

【0108】

このような動作を実行するために、レイヤＮ６３１、及びレイヤＮ＋１６３２などのレイヤを、ＯＬＳ６２５に含めることができる。ＯＬＳ６２５は、１つ以上のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、出力（例えば、ディスプレイへ）のために指定されたレイヤである。例えば、レイヤＮ６３１は、単にインターレイヤ予測６２１をサポートするために含まれてもよく、決して出力されなくてもよい。このような場合、レイヤＮ＋１６３２は、レイヤＮ６３１に基づいて復号され、出力される。このような場合、ＯＬＳ６２５は、出力レイヤとしてレイヤＮ＋１６３２を含む。ＯＬＳ６２５が出力レイヤのみを含むとき、ＯＬＳ６２５は、０番目のＯＬＳとして参照される。０番目のＯＬＳは、最も低いレイヤ（最低レイヤ識別子を有するレイヤ）のみを含むＯＬＳであり、したがって出力レイヤのみを含む。他の場合に、ＯＬＳ６２５は、異なる組み合わせで多くのレイヤを含んでもよい。例えば、ＯＬＳ６２５内の出力レイヤは、１つ、２つ、又は多くのより低いレイヤに基づくインターレイヤ予測６２１に従ってコーディングすることができる。さらに、ＯＬＳ６２５は、複数の出力レイヤを含んでもよい。したがって、ＯＬＳ６２５は、１つ以上の出力レイヤと、出力レイヤを再構成するために必要とされる任意のサポートレイヤを含むことができる。マルチレイヤビデオシーケンス６００は、レイヤの異なる組み合わせを各々利用する多くの異なるＯＬＳ６２５を利用することによりコーディングすることができる。ＯＬＳ６２５は各々、対応するＯＬＳ６２５を一意に識別するインデックスであるＯＬＳインデックス６２９に関連づけられる。

【0109】

ＨＲＤ５００において標準適合についてのマルチレイヤビデオシーケンス６００をチェックすることは、レイヤ６３１～６３２及びＯＬＳ６２５の数に依存して複雑になる可能性がある。ＨＲＤ５００は、マルチレイヤビデオシーケンス６００を、テストのために動作点６２７のシーケンスに分離してもよい。動作点６２７は、ＯＬＳインデックス６２９及び最高時間ＩＤ６２２により識別される、ＯＬＳ６２５の時間サブセットである。特定の例として、第１の動作点６２７は、時間ＩＤゼロから時間ＩＤ２００までの第１のＯＬＳ６２５内の全てのピクチャを含むことができ、第２の動作点６２７は、時間ＩＤ２０１から時間ＩＤ４００までの第１のＯＬＳ６２５内の全てのピクチャを含むことができる、などである。特定の時点にテストするために選択された動作点６２７は、テスト下のＯＰ（ターゲットＯｐ（targetOp））と呼ばれる。したがって、ターゲットＯｐは、ＨＲＤ５００で適合テストのために選択される動作点６２７である。

【0110】

図７は、時間スケーラビリティに対して構成された一例示的なマルチレイヤビデオシーケンス７００を示す概略図である。マルチレイヤビデオシーケンス７００は、例えば、方法１００に従って、コーデックシステム２００及び／又はエンコーダ３００などのエンコーダにより符号化され、コーデックシステム２００及び／又はデコーダ４００などのデコーダにより復号され得る。さらに、マルチレイヤビデオシーケンス７００は、ＨＲＤ５００などのＨＲＤにより標準適合についてチェックすることができる。マルチレイヤビデオシーケンス７００は、コーディングビデオシーケンス内のレイヤについての別の例示的な適用を示すために含まれる。例えば、マルチレイヤビデオシーケンス７００は、別個の実施形態として利用されてもよく、あるいはマルチレイヤビデオシーケンス６００に関して記載される手法と組み合わせられてもよい。

【0111】

マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、及び７３０を含む。サブレイヤは、特定の時間識別子値を有するＶＣＬＮＡＬユニット（例えば、ピクチャ）と、関連づけられた非ＶＣＬＮＡＬユニット（例えば、サポートパラメータ）とを含む、時間スケーラブルビットストリームの時間スケーラブルレイヤである。サブレイヤ７１０は、ベースレイヤとして参照されてもよく、サブレイヤ７２０及び７３０は、エンハンスメントレイヤとして参照されてもよい。図示のように、サブレイヤ７１０は、毎秒３０フレームなどの第１のフレームレートのピクチャ７１１を含む。サブレイヤ７１０は、サブレイヤ７１０がベース／最低フレームレートを含むため、ベースレイヤである。サブレイヤ７２０は、サブレイヤ７１０のピクチャ７１１から時間的にオフセットされているピクチャ７２１を含む。その結果、サブレイヤ７１０とサブレイヤ７２０を組み合わせることができ、これは、サブレイヤ７１０単体のフレームレートよりも集合的により高いフレームレートを結果としてもたらす。例えば、サブレイヤ７１０及び７２０は、毎秒６０フレームの組み合わせフレームレートを有することができる。したがって、サブレイヤ７２０は、サブレイヤ７１０のフレームレートを強化する。さらに、サブレイヤ７３０は、サブレイヤ７２０及び７１０のピクチャ７２１及び７１１からさらに時間的にオフセットされているピクチャ７３１を含む。したがって、サブレイヤ７３０は、サブレイヤ７１０をさらに強化するために、サブレイヤ７２０及び７１０と組み合わせることができる。例えば、サブレイヤ７１０、７２０、及び７３０は、毎秒９０フレームの組み合わせフレームレートを有することができる。

【0112】

サブレイヤ表現７４０は、サブレイヤ７１０、７２０、及び／又は７３０を組み合わせることにより動的に作成することができる。サブレイヤ表現７４０は、特定のサブレイヤ及びより低いサブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。図示の例では、サブレイヤ表現７４０は、サブレイヤ７１０、７２０、及び７３０の組み合わせられたピクチャ７１１、７２１、及び７３１であるピクチャ７４１を含む。したがって、マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、及び／又は７３０の所望のセットを含むサブレイヤ表現７４０を選択することにより、所望のフレームレートに時間的にスケーリングすることができる。サブレイヤ表現７４０は、レイヤとしてサブレイヤ７１０、７２０、及び／又は７３０を含むＯＬＳを利用することにより作成されてもよい。このような場合、サブレイヤ表現７４０は、出力レイヤとして選択される。このように、時間スケーラビリティは、マルチレイヤメカニズムを使用して達成できるいくつかのメカニズムの１つである。

【0113】

図８は、一例示的なビットストリーム８００を示す概略図である。例えば、ビットストリーム８００は、方法１００に従って、コーデックシステム２００及び／又はデコーダ４００により復号するために、コーデックシステム２００及び／又はエンコーダ３００により生成することができる。さらに、ビットストリーム８００は、マルチレイヤビデオシーケンス６００及び／又は７００を含んでもよい。さらに、ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作を制御するための様々なパラメータを含んでもよい。そのようなパラメータに基づいて、ＨＲＤは、復号するデコーダに向けての送信の前に標準との適合についてビットストリーム８００をチェックすることができる。

【0114】

ビットストリーム８００は、ＶＰＳ８１１、１つ以上のＳＰＳ８１３、複数のピクチャパラメータセット（ＰＰＳ）８１５、複数のスライスヘッダ８１７、画像データ８２０、ＢＰＳＥＩメッセージ８１９、ＰＴＳＥＩメッセージ８１８、及びＤＵＩＳＥＩメッセージ８１６を含む。ＶＰＳ８１１は、ビットストリーム８００全体に関連するデータを含む。例えば、ＶＰＳ８１１は、ビットストリーム８００で使用されるＯＬＳ、レイヤ、及び／又はサブレイヤに関連するデータを含んでもよい。ＳＰＳ８１３は、ビットストリーム８００に含まれるコーディングビデオシーケンス内の全てのピクチャに共通のシーケンスデータを含む。例えば、各レイヤは、１つ以上のコーディングビデオシーケンスを含むことができ、各コーディングビデオシーケンスは、対応するパラメータについてＳＰＳ８１３を参照することができる。ＳＰＳ８１３内のパラメータは、ピクチャサイズ設定、ビット深度、コーディングツールパラメータ、ビットレート制限などを含むことができる。各シーケンスがＳＰＳ８１３を参照するが、いくつかの例において単一のＳＰＳ８１３が複数のシーケンスのためのデータを含んでもよいことに留意されたい。ＰＰＳ８１５は、ピクチャ全体に適用されるパラメータを含む。したがって、ビデオシーケンス内の各ピクチャは、ＰＰＳ８１５を参照することができる。各ピクチャがＰＰＳ８１５を参照するが、いくつかの例において単一のＰＰＳ８１５が複数のピクチャのためのデータを含んでもよいことに留意されたい。例えば、複数の類似のピクチャが、類似のパラメータに従ってコーディングされてもよい。このような場合、単一のＰＰＳ８１５は、このような類似のピクチャのためのデータを含むことができる。ＰＰＳ８１５は、対応するピクチャ内のスライス、量子化パラメータ、オフセット等に利用可能なコーディングツールを示すことができる。

【0115】

スライスヘッダ８１７は、ピクチャ内の各スライスに特有であるパラメータを含む。したがって、ビデオシーケンスにおいてスライスごとに１つのスライスヘッダ８１７が存在し得る。スライスヘッダ８１７は、スライスタイプ情報、ＰＯＣ、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含むことができる。いくつかの例において、ビットストリーム８００は、単一ピクチャ内の全てのスライスに適用されるパラメータを含むシンタックス構造であるピクチャヘッダをさらに含んでもよいことに留意されたい。この理由のために、ピクチャヘッダとスライスヘッダ８１７は、いくつかの文脈で交換可能に使用されることがある。例えば、特定のパラメータを、そのようなパラメータがピクチャ内の全てのスライスに共通であるかどうかに依存して、スライスヘッダ８１７とピクチャヘッダとの間で移動してもよい。

【0116】

画像データ８２０は、インター予測及び／又はイントラ予測に従って符号化されたビデオデータ、並びに対応する変換及び量子化された残差データを含む。例えば、画像データ８２０は、ＡＵ８２１、ＤＵ８２２、及び／又はピクチャ８２３を含んでもよい。ＡＵ８２１は、指定された分類ルールに従って互いに関連づけられ、１つの特定の出力時間に属する、ＮＡＬユニットのセットである。ＤＵ８２２は、ＡＵ又はＡＵのサブセット、及び関連づけられた非ＶＣＬＮＡＬユニットである。ピクチャ８２３は、フレーム又はそのフィールドを作り出すルマサンプルのアレイ及び／又はクロマサンプルのアレイである。平易な言語では、ＡＵ８２１は、ビデオシーケンスにおいて指定された時点に表示され得る様々なビデオデータと、サポートするシンタックスデータを含む。したがって、ＡＵ８２１は、単一レイヤビットストリーム内の単一のピクチャ８２３、又は、マルチレイヤビットストリームにおいて同じ時点に全て関連づけられた複数のレイヤからの複数のピクチャを含んでもよい。一方、ピクチャ８２３は、表示のために出力され、又は出力のための他のピクチャ８２３のコーディングをサポートするために使用され得るコーディングされた画像である。ＤＵ８２２は、１つ以上のピクチャ８２３と、復号に必要とされる任意のサポートシンタックスデータとを含むことができる。例えば、ＤＵ８２２及びＡＵ８２１は、簡素なビットストリームにおいて（例えば、ＡＵが単一のピクチャを含むとき）交換可能に使用されてもよい。しかしながら、より複雑なマルチレイヤビットストリーム（例えば、マルチレイヤビデオシーケンス６００を含むビットストリーム）では、ＤＵ８２２は、ＡＵ８２１からのビデオデータの一部のみを含むことができる。例えば、ＡＵ８２１は、いくつかのレイヤ（例えば、レイヤ６３１、６３２）及び／又はサブレイヤ（例えば、サブレイヤ７１０、７２０、７３０）にピクチャ８２３を含んでもよく、これにおいて、ピクチャ８２３の一部は、異なるＯＬＳに関連づけられる。このような場合、ＤＵ８２２は、指定されたＯＬＳ及び／又は指定されたレイヤ／サブレイヤからのピクチャ８２３のみを含むことができる。

【0117】

ピクチャ８２３は、１つ以上のスライス８２５を含む。スライス８２５は、単一のＮＡＬユニット８２９に排他的に含まれるピクチャ８２３の整数個の完全なタイル又は整数個の連続した完全なコーディングツリーユニット（ＣＴＵ）行（例えば、タイル内）として定義され得る。スライス８２５は、さらに、ＣＴＵ及び／又はコーディングツリーブロック（ＣＴＢ）に分割される。ＣＴＵは、コーディングツリーによりパーティション化できる所定サイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵのルマ成分又はクロマ成分を含む。ＣＴＵ／ＣＴＢは、さらに、コーディングツリーに基づいてコーディングブロックに分割される。次いで、コーディングブロックは、予測メカニズムに従って符号化／復号することができる。

【0118】

ビットストリーム８００は、ＮＡＬユニット８２９のシーケンスである。ＮＡＬユニット８２９は、ビデオデータ及び／又はサポートシンタックスのためのコンテナである。ＮＡＬユニット８２９は、ＶＣＬＮＡＬユニット又は非ＶＣＬＮＡＬユニットとすることができる。ＶＣＬＮＡＬユニットは、コーディングスライス８２５及び関連づけられたスライスヘッダ８１７などのビデオデータを含むようにコーディングされたＮＡＬユニット８２９である。非ＶＣＬＮＡＬユニットは、ビデオデータの復号、適合チェックの実行、又は他の動作をサポートするシンタックス及び／又はパラメータなどの非ビデオデータを含むＮＡＬユニット８２９である。例えば、非ＶＣＬＮＡＬユニットは、ＶＰＳ８１１、ＳＰＳ８１３、ＰＰＳ８１５、ＢＰＳＥＩメッセージ８１９、ＰＴＳＥＩメッセージ８１８、ＤＵＩＳＥＩメッセージ８１６、又は他のサポートシンタックスを含むことができる。

【0119】

ビットストリーム８００は、ＨＲＤ５００などのＨＲＤによる適合テストをサポートする１つ以上のＳＥＩメッセージを含むことができる。ＳＥＩメッセージは、復号されたピクチャ内のサンプルの値を決定するために復号プロセスにより必要とされない情報を伝達する、指定されたセマンティクスを有するシンタックス構造である。例えば、ＳＥＩメッセージは、ＨＲＤプロセスをサポートするためのデータ、又はデコーダでビットストリーム８００を復号することに直接関連しない他のサポートデータを含んでもよい。例えば、ビットストリーム８００は、ＢＰＳＥＩメッセージ８１９、ＰＴＳＥＩメッセージ８１８、及びＤＵＩＳＥＩメッセージ８１６を含んでもよい。

【0120】

ＢＰＳＥＩメッセージ８１９は、ＨＲＤを初期化してＣＰＢを管理するためのＨＲＤパラメータ８７０を含むＳＥＩメッセージである。例えば、ＢＰＳＥＩメッセージ８１９は、ビットストリーム８００に対して適合テストを実行するときに採用され得る、ＣＰＢ配信スケジュール５６１などのＣＰＢ配信スケジュールを記述するデータを含んでもよい。配信スケジュールは、配信スケジュールのタイミング（例えば、どれほどの頻度でデータを除去するか）を記述する値と、転送されるデータの量（例えば、どれほど多くのデータを各発生において除去するか）を記述する値とのペアにより、記述されてもよい。ＢＰＳＥＩメッセージ８１９は、適合チェックの開始点であるべきＡＵ又はＤＵ（例えば、ＡＵ８２１又はＤＵ８２２）と、各データユニットに使用すべきデフォルトスケジュールを示すデータペアを示す。特定の例において、ＢＰＳＥＩメッセージ８１９は、初期ＣＰＢ除去遅延８３７と、初期ＣＰＢ除去オフセット８３９を含むことができる。初期ＣＰＢ除去遅延８３７は、ビットストリーム、ＯＬＳ、及び／又はレイヤ内の各ピクチャ、ＡＵ、及び／又はＤＵに対するデフォルトＣＰＢ除去遅延である。初期ＣＰＢ除去オフセット８３９は、ビットストリーム、ＯＬＳ及び／又はレイヤ内の各ピクチャ、ＡＵ、及び／又はＤＵに関連づけられたデフォルトＣＰＢ除去オフセットである。初期ＣＰＢ除去遅延８３７と初期ＣＰＢ除去オフセット８３９のペアを利用することにより、ＨＲＤは、適合テストの間にＣＰＢからデータユニット（ＡＵ又はＤＵ）を除去するときに使用すべきＣＰＢ配信スケジュールを決定することができる。

【0121】

一実施形態において、ＢＰＳＥＩメッセージ８１９は、ＢＰＳＥＩメッセージ８１９内に初期ＣＰＢ除去遅延８３７及び初期ＣＰＢ除去オフセット８３９が示される時間サブレイヤの最大数８４１を含む。この時間サブレイヤの最大数８４１は、bp_max_sublayers_minus1に指定される。bp_max_sublayers_minus1の値は、０から、vps_max_sublayers_minus1に指定される、ＶＰＳ８１１内に指定されるサブレイヤの最大数８４３の範囲内であり、始めと終わりを含む（inclusive）ものとする。vps_max_sublayers_minus1に１を加えた値は、ＶＰＳ８１１により指定されたレイヤに存在し得る時間サブレイヤの最大数を指定する。vps_max_sublayers_minus1の値は、０～６の範囲内であり、始めと終わりを含むものとする。

【0122】

ＰＴＳＥＩメッセージ８１８は、ＣＰＢ及び／又はＤＰＢにおけるＡＵについての配信情報を管理するためのＨＲＤパラメータ８８０（ピクチャレベルのＣＰＢパラメータとしても知られる）を含むＳＥＩメッセージである。例えば、ＰＴＳＥＩメッセージ８１８は、対応するＡＵに対してＨＲＤ適合テストを実施する際の使用のためのさらなるパラメータを含んでもよい。特定の例において、ＰＴＳＥＩメッセージ８１８は、ＣＰＢ除去遅延８３５及びＤＰＢ出力遅延８３３を含むことができる。ＣＰＢ除去遅延８３５は、対応するカレントＡＵが除去及びＤＰＢへの出力の前にＣＰＢ内に残ることができる時間の期間である。例えば、先行するＡＵがＢＰＳＥＩメッセージ８１９に関連づけられている場合に、復号順序においてカレントＡＵ及び先行するＡＵの除去の間のクロックティックの数を計算するために、ＣＰＢ除去遅延８３５が使用されてもよい。したがって、ＣＰＢ除去遅延８３５は、カレントＡＵに対する除去遅延が、ＢＰＳＥＩメッセージ８１９内の初期ＣＰＢ除去遅延８３７により記述されるデフォルト除去遅延と異なることを示す。さらに、ＣＰＢ除去遅延８３５は、デフォルト値からのカレントＡＵに対する除去遅延の差の値を含む。ＤＰＢ出力遅延８３３は、対応するＡＵが出力の前にＤＰＢ内に残ることができる時間の期間を記述する情報である。具体的には、ＤＰＢ出力遅延８３３は、ＤＰＢからのピクチャの出力時間を、したがって、ピクチャ／ＡＵがＣＰＢからの除去の後にＤＰＢ内に残ることができる時間の量を決定するために利用されてもよい。ＨＲＤにおける出力時間は、デコーダにおける表示のためのピクチャの期待される出力に対応する。

【0123】

一実施形態において、ＰＴ＿ＳＥＩメッセージ８１８は、pt_du_common_cpb_removal_delay_increment_minus1に指定される、共通ＣＰＢ除去遅延増分８４５を含む。共通ＣＰＢ除去遅延増分８４５に１を加えた値は、Ｈｔｉｄｉがｉに等しいときにピクチャタイミングＳＥＩメッセージ８１８に関連づけられたＡＵ（例えば、ＡＵ８２１）内の復号順序における任意の２つの連続したＤＵ（例えば、ＤＵ８２２）の名目上のＣＰＢ除去時間の間の、クロックサブティック（clock sub-ticks）の単位の継続時間を指定し、これにおいて、Ｈｔｉｄは、復号される最も高い時間サブレイヤを識別する。この値は、さらに、仮想ストリームスケジューラ（ＨＳＳ）のためのＣＰＢへの復号ユニットデータの到着の最も早い可能な時間を計算するために使用される。このシンタックス要素の長さは、du_cpb_removal_delay_increment_length_minus1＋１ビットである。

【0124】

一実施形態において、ＰＴＳＥＩメッセージ８１８は、pt_num_decoding_units_minus1に指定される、復号ユニットの数８４７を含む。復号ユニットの数８４７に１を加えた値は、ピクチャタイミングＳＥＩメッセージ８１８が関連づけられたＡＵ（例えば、ＡＵ８２１）内のＤＵ（例えば、ＤＵ８２２）の数を指定する。num_decoding_units_minus1の値は、０～PicSizeInCtbsY－１の範囲内であり、始めと終わりを含むものとする。一実施形態において、PicSizeInCtbsYシンタックス要素は、ＣＴＢに測定されたピクチャのサイズ（例えば、ＣＴＢで測定されたピクチャの幅×ＣＴＢで測定されたピクチャの高さ）を表す。

【0125】

一実施形態において、ＰＴＳＥＩメッセージ８１８は、ＰＴＳＥＩメッセージ８１が関連づけられたＡＵのｉ番目のＤＵ内のＮＡＬユニットの数８４９を含む。ＮＡＬユニットの数８４９は、pt_num_nalus_in_du_minus1[i]として指定される。pt_num_nalus_in_du_minus1[i]の値は、０～PicSizeInCtbsY－１の範囲であり、始めと終わりを含むものとする。

【0126】

一実施形態において、ＰＴＳＥＩメッセージ８１８は、pt_du_common_cpb_removal_delay_flagとして指定される、共通ＣＰＢ除去遅延フラグ８５１を含む。１に等しい共通ＣＰＢ除去遅延フラグ８５１は、pt_du_common_cpb_removal_delay_increment_minus1[i])として指定されるシンタックス要素の共通ＣＰＢ除去遅延増分８４５がＰＴ＿ＳＥＩメッセージ８１８に存在することを指定する。０に等しいＤＵ共通ＣＰＢ除去遅延フラグ８５１は、シンタックス要素の共通ＣＰＢ除去遅延増分８４５が存在しないことを指定する。ＰＴＳＥＩメッセージ８１８に存在しないとき、共通ＣＰＢ除去遅延フラグ８５１は、０に等しいように推論される。

【0127】

一実施形態において、ＡＵの第１のＤＵは、ＡＵ内の復号順序における最初のpt_num_nalus_in_du_minus1[0]＋１個の連続したＮＡＬユニットである。ＡＵのｉ番目の（ｉは０より大きい）ＤＵは、復号順序における、ＡＵの前のＤＵ内の最後のＮＡＬユニットの直後のpt_num_nalus_in_du_minus1[i]＋１個の連続したＮＡＬユニットである。一実施形態において、各ＤＵ内に少なくとも１つのＶＣＬＮＡＬユニットがあり、ＶＣＬＮＡＬユニットに関連づけられた全ての非ＶＣＬＮＡＬユニットは、ＶＣＬＮＡＬユニットと同じＤＵ内に含まれる。

【0128】

一実施形態において、ＰＴ＿ＳＥＩメッセージ８１８は、pt_du_cpb_removal_delay_increment_minus1に指定される、ＣＰＢ除去遅延増分８５３を含む。ＣＰＢ除去遅延増分８５３に１を加えた値は、Ｈｔｉｄがｊに等しいときにＰＴＳＥＩメッセージ８１８に関連づけられたＡＵ内の復号順序における、（ｉ＋１）番目のＤＵの名目上のＣＰＢ除去時間とｉ番目のＤＵの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定する。この値は、さらに、ＨＳＳのためのＣＰＢへのＤＵデータの到着の最も早い可能な時間を計算するために使用される。このシンタックス要素の長さは、bp_du_cpb_removal_delay_increment_length_minus1＋１ビットである。

【0129】

一実施形態において、ＰＴＳＥＩメッセージ８１８は、ＶＰＳ８１１の代わりに、又はＶＰＳ８１１に追加で、サブレイヤの最大数８４３を含む。

【0130】

ＤＵＩＳＥＩメッセージ８１６は、ＣＰＢ及び／又はＤＰＢにおけるＤＵについての配信情報を管理するためのＨＲＤパラメータ８９０（ピクチャレベルのＣＰＢパラメータとしても知られる）を含むＳＥＩメッセージである。例えば、ＤＵＩＳＥＩメッセージ８１６は、対応するＤＵに対するＨＲＤ適合テストを実行する際の使用のためのさらなるパラメータを含んでもよい。上述のように、ＡＵは１つ以上のＤＵを含むことがある。したがって、ＤＵをチェックするための情報は、ＡＵをチェックするための情報と異なる可能性がある。特定の例として、ＤＵＩＳＥＩメッセージ８１６は、ＣＰＢ除去遅延情報８３１を含んでもよい。ＣＰＢ除去遅延情報８３１は、ＣＰＢからの対応するＤＵの除去に関する情報である。例えば、ＣＰＢ除去遅延情報８３１は、復号順序におけるカレントＤＵと先行するＤＵとの除去の間のクロックティックの数を計算するために使用されてもよい。

【0131】

一実施形態において、ＤＵＩＳＥＩメッセージ８１６は、ＢＰＳＥＩメッセージ８１９内に初期ＣＰＢ除去遅延８３７及び初期ＣＰＢ除去オフセット８３９が示される時間サブレイヤの最大数８４１を含む。この時間サブレイヤの最大数８４１は、bp_max_sublayers_minus1に指定される。bp_max_sublayers_minus1の値は、０から、vps_max_sublayers_minus1に指定される、ＶＰＳ８１１内に指定されるサブレイヤの最大数８４３の範囲内であり、始めと終わりを含むものとする。vps_max_sublayers_minus1に１を加えた値は、ＶＰＳ８１１により指定されたレイヤに存在し得る時間サブレイヤの最大数を指定する。vps_max_sublayers_minus1の値は、０～６の範囲内であり、始めと終わりを含むものとする。

【0132】

一実施形態において、ＤＵＩＳＥＩメッセージ８１６は、ＶＰＳ８１１の代わりに、又はＶＰＳ８１１に追加で、サブレイヤの最大数８４３を含む。

【0133】

前述の説明により理解できるように、ＢＰＳＥＩメッセージ８１９、ＰＴＳＥＩメッセージ８１８、及びＤＵＩＳＥＩメッセージ８１６は、相当量の情報を含む。一実施形態において、ＰＴＳＥＩメッセージ８１８及び／又はＤＵＩＳＥＩメッセージ８１６におけるＨＲＤパラメータ８８０及び／又は８９０（ピクチャレベルのＣＰＢパラメータとしても知られる）は、ビットストリーム適合についてテストするために、サブレイヤ上のＤＵベースのＨＲＤ動作を実行するために使用される。

【0134】

例として、ＨＲＤは、各レイヤについて、ピクチャタイミングＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、任意の２つの連続した復号ユニットの名目上のＣＰＢ除去時間の間の、ＰＴＳＥＩメッセージ８１８及び／又はＤＵＩＳＥＩメッセージ８１６に指定された継続時間が、超えられているかどうかを決定する。継続時間が超えられているとき、ビットストリームは適合せず、改訂されたＣＰＢパラメータを有する新しいビットストリームがエンコーダにより生成され、テストされる。このプロセスは、継続時間が超えられなくなるまで繰り返してもよく、これは、ビットストリームが標準（例えば、ＶＶＣ標準）に適合することを意味する。

【0135】

ＨＲＤは、さらに、各レイヤについて、ピクチャタイミングＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、（ｉ＋１）番目の復号ユニットのＣＰＢ除去時間とｉ番目の復号ユニットのＣＰＢ除去時間との間の、ＰＴＳＥＩメッセージ８１８及び／又はＤＵＩＳＥＩメッセージ８１６に指定された継続時間が、超えられているかどうかを決定することができる。継続時間が超えられているとき、ビットストリームは適合せず、改訂されたＣＰＢパラメータを有する新しいビットストリームがエンコーダにより生成され、テストされる。このプロセスは、継続時間が超えられなくなるまで繰り返してもよく、これは、ビットストリームが標準（例えば、ＶＶＣ標準）に適合することを意味する。

【0136】

ひとたび適合ビットストリームが得られると、そのビットストリームは記憶され、デコーダに向けて通信され得る。一実施形態において、ＢＰＳＥＩメッセージ８１９、ＰＴＳＥＩメッセージ８１８、及びＤＵＩＳＥＩメッセージ８１６は、デコーダがビットストリームに含まれるピクチャいずれかを復号する際にこの情報を使用しない可能性があるとしても、ビットストリームに含まれたままである。

【0137】

ビットストリーム適合についてビットストリーム内のサブレイヤをテストするためにＤＵベースのＨＲＤ動作を使用するＨＲＤの一例示的な実装は、以下のシンタックス及びセマンティクスで提供される。

【0138】

ピクチャタイミングＳＥＩメッセージシンタックスは以下のとおりである。

【表1】

【0139】

ピクチャタイミングＳＥＩメッセージのセマンティクスの一例は、以下のとおりである。

【0140】

ピクチャタイミングＳＥＩメッセージは、ＳＥＩメッセージに関連づけられたアクセスユニットについてのＣＰＢ除去遅延及びＤＰＢ出力遅延情報を提供する。

【0141】

num_decoding_units_minus1に１を加えた値は、ピクチャタイミングＳＥＩメッセージが関連づけられたアクセスユニット内の復号ユニットの数を指定する。num_decoding_units_minus1の値は、０～PicSizeInCtbsY－１の範囲内であり、始めと終わりを含むものとする。

【0142】

１に等しいdu_common_cpb_removal_delay_flagは、シンタックス要素du_common_cpb_removal_delay_increment_minus1[i]が存在することを指定する。０に等しいdu_common_cpb_removal_delay_flagは、シンタックス要素du_common_cpb_removal_delay_increment_minus1[i]が存在しないことを指定する。

【0143】

du_common_cpb_removal_delay_increment_minus1[i]に１を加えた値は、Ｈｔｉｄｉがｉに等しいときにピクチャタイミングＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における任意の２つの連続した復号ユニットの名目上のＣＰＢ除去時間の間の、クロックサブティックの単位（節Ｃ．１を参照）の継続時間を指定する。この値は、さらに、ＶＶＣ標準のアネックスＣに規定されるように、ＨＳＳのためのＣＰＢへの復号ユニットデータの到着の最も早い可能な時間を計算するために使用される。このシンタックス要素の長さは、du_cpb_removal_delay_increment_length_minus1＋１ビットである。

【0144】

num_nalus_in_du_minus1[i]に１を加えた値は、ピクチャタイミングＳＥＩメッセージが関連づけられたアクセスユニットのｉ番目の復号ユニット内のＮＡＬユニットの数を指定する。num_nalus_in_du_minus1[i]の値は、０～PicSizeInCtbsY－１の範囲内であり、始めと終わりを含むものとする。

【0145】

アクセスユニットの最初の復号ユニットは、アクセスユニット内の復号順序における最初num_nalus_in_du_minus1[0]＋１個の連続したＮＡＬユニットを含む。アクセスユニットのｉ番目の（ｉは０より大きい）復号ユニットは、復号順序における、アクセスユニットの前の復号ユニット内の最後のＮＡＬユニットの直後のnum_nalus_in_du_minus1[i]＋１個の連続したＮＡＬユニットを含む。各復号ユニット内に少なくとも１つのＶＣＬＮＡＬユニットがあるものとする。ＶＣＬＮＡＬユニットに関連づけられた全ての非ＶＣＬＮＡＬユニットは、ＶＣＬＮＡＬユニットと同じ復号ユニットに含まれるものとする。

【0146】

du_cpb_removal_delay_increment_minus1[i][j]に１を加えた値は、Ｈｔｉｄｉがｊ等しいときにピクチャタイミングＳＥＩメッセージに関連づけられたアクセスユニット内の復号順序における、（ｉ＋１）番目の復号ユニットの名目上のＣＰＢ除去時間とｉ番目の復号ユニットの名目上のＣＰＢ除去時間との間の、クロックサブティックの単位の継続時間を指定する。この値は、さらに、ＶＶＣ標準のアネックスＣに規定されるように、ＨＳＳのためのＣＰＢへの復号ユニットデータの到着の最も早い可能な時間を計算するために使用される。このシンタックス要素の長さは、du_cpb_removal_delay_increment_length_minus1＋１ビットである

【0147】

一例示的な復号ユニット情報ＳＥＩメッセージシンタックスは、以下のとおりである。

【表2】

【0148】

ピクチャタイミングＳＥＩメッセージセマンティクスの一例は、以下のとおりである。

【0149】

復号ユニット情報ＳＥＩメッセージは、ＳＥＩメッセージに関連づけられた復号ユニットについてのＣＰＢ除去遅延情報を提供する。

【0150】

以下は、復号ユニット情報ＳＥＩメッセージシンタックス及びセマンティクスに適用される。

【0151】

－シンタックス要素decoding_unit_hrd_params_present_flag、decoding_unit_cpb_params_in_pic_timing_sei_flag、及びdpb_output_delay_du_length_minus1、並びに変数CpbDpbDelaysPresentFlagは、復号ユニット情報ＳＥＩメッセージが適用される動作点のうちの少なくとも１つに適用可能であるgeneral_hrd_parameters()シンタックス構造内のシンタックス要素内で見つかり、あるいは該シンタックス要素から導出される。

【0152】

－ビットストリーム（又は、その一部）は、復号ユニット情報ＳＥＩメッセージが適用される動作点のいずれかに関連づけられたビットストリームサブセット（又は、その一部）を参照する。

【0153】

動作点に対する復号ユニット情報ＳＥＩメッセージの存在は、以下のとおり指定される。

【0154】

－ CpbDpbDelaysPresentFlagが１に等しく、decoding_unit_hrd_params_present_flagが１に等しく、decoding_unit_cpb_params_in_pic_timing_sei_flagが０に等しい場合、動作点に適用可能な１つ以上の復号ユニット情報ＳＥＩメッセージは、ＣＶＳ内の各復号ユニットに関連づけられるものとする。

【0155】

－そうでない場合、CpbDpbDelaysPresentFlagが１に等しく、decoding_unit_hrd_params_present_flagが１に等しく、decoding_unit_cpb_params_in_pic_timing_sei_flagが１に等しい場合、動作点に適用可能な１つ以上の復号ユニット情報ＳＥＩメッセージは、ＣＶＳ内の各復号ユニットに関連づけられても又はそうでなくてもよい。

【0156】

－そうでない場合（CpbDpbDelaysPresentFlagが０に等しく、又はdecoding_unit_hrd_params_present_flagが０に等しい）、ＣＶＳには、動作点に適用可能な１つ以上の復号ユニット情報ＳＥＩメッセージに関連づけられた復号ユニットがないものとする。

【0157】

復号ユニット情報ＳＥＩメッセージに関連づけられたＮＡＬユニットのセットは、復号ユニット情報ＳＥＩメッセージを含むＳＥＩＮＡＬユニットと、異なる値のdecoding_unit_idxを有する復号ユニット情報ＳＥＩメッセージを含む後続のＳＥＩＮＡＬユニットまでのアクセスユニット内の全ての後続ＮＡＬユニットを、復号順序で含む。各復号ユニットは、少なくとも１つのＶＣＬＮＡＬユニットを含むものとする。ＶＣＬＮＡＬユニットに関連づけられた全ての非ＶＣＬＮＡＬユニットは、ＶＣＬＮＡＬユニットを含む復号ユニットに含まれるものとする。

【0158】

復号ユニット情報ＳＥＩメッセージシンタックスのTemporalIdは、復号ユニット情報ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのTemporalIdである。

【0159】

decoding_unit_idxは、復号ユニット情報ＳＥＩメッセージに関連づけられた復号ユニットの、カレントアクセスユニット内の復号ユニットのリストに対する、０から開始するインデックスを指定する。decoding_unit_idxの値は、０～PicSizeInCtbsY－１の範囲内であり、始めと終わりを含むものとする。

【0160】

duIdxの特定の値により識別される復号ユニットは、duIdxに等しいdecoding_unit_idxを有する全ての復号ユニット情報ＳＥＩメッセージに関連づけられた全てのＮＡＬユニットを含み、該ＮＡＬユニットのみを含む。このような復号ユニットは、duIdxに等しいdecoding_unit_idxを有する復号ユニット情報ＳＥＩメッセージと関連づけられたものとして参照される。

【0161】

duIdxA及びduIdxBそれぞれに等しいdecoding_unit_idxを有する１つのアクセスユニット内の任意の２つの復号ユニットduA及びduBについて、duIdxAがduIdxBより小さい場合、duAは、復号順序においてduBの前に来るものとする。

【0162】

１つの復号ユニットのＮＡＬユニットは、復号順序において、別の復号ユニットの任意の２つのＮＡＬユニットの間に存在しないものとする。

【0163】

dui_max_sub_layers_minus1に１を加えた値は、復号ユニット情報ＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最高サブレイヤ表現のTemporalIdを指定する。dui_max_sub_layers_minus1の値は、０～vps_max_sub_layers_minus1の範囲内であり、始めと終わりを含むものとする。

【0164】

du_spt_cpb_removal_delay_increment[i]は、カレントアクセスユニット内の復号順序における最後の復号ユニットの名目上のＣＰＢ時間と、Ｈｔｉｄｉがｉに等しいときに復号ユニット情報ＳＥＩメッセージに関連づけられた復号ユニットの名目上のＣＰＢ時間との間の、クロックサブティックの単位の継続時間を指定する。この値は、さらに、アネックスＣに規定されるように、ＨＳＳのためのＣＰＢへの復号ユニットデータの到着の最も早い可能な時間を計算するために使用される。このシンタックス要素の長さは、du_cpb_removal_delay_increment_length_minus1＋１である。復号ユニット情報ＳＥＩメッセージに関連づけられた復号ユニットが、カレントアクセスユニット内の最後の復号ユニットであるとき、du_spt_cpb_removal_delay_increment[i]の値は、０に等しいものとする。

【0165】

１に等しいdpb_output_du_delay_present_flagは、復号ユニット情報ＳＥＩメッセージにおけるpic_spt_dpb_output_du_delayシンタックス要素の存在を指定する。０に等しいdpb_output_du_delay_present_flagは、復号ユニット情報ＳＥＩメッセージにpic_spt_dpb_output_du_delayシンタックス要素がないことを指定する。

【0166】

pic_spt_dpb_output_du_delayは、DecodingUnitHrdFlagが１に等しいとき、ピクチャのＤＰＢ出力時間を計算するために使用される。これは、復号されたピクチャがＤＰＢから出力される前に、ＣＰＢからのアクセスユニット内の最後の復号ユニットの除去の後、いくつのサブクロックティックを待つべきかを指定する。存在しないとき、pic_spt_dpb_output_du_delayの値は、pic_dpb_output_du_delayに等しいように推論される。シンタックス要素pic_spt_dpb_output_du_delayの長さは、dpb_output_delay_du_length_minus1＋１によりビット単位で与えられる。

【0167】

同じアクセスユニットに関連づけられ、同じ動作点に適用され、１に等しいdpb_output_du_delay_present_flagを有する全ての復号ユニット情報ＳＥＩメッセージが、同じ値のpic_spt_dpb_output_du_delayを有すものとすることは、ビットストリーム適合の要件である。

【0168】

出力タイミング適合デコーダから出力されるピクチャのpic_spt_dpb_output_du_delayから導出される出力時間は、復号順序において後続のＣＶＳ内の全てのピクチャのpic_spt_dpb_output_du_delayから導出される出力時間の前に来るものとする。

【0169】

このシンタックス要素の値により確立されるピクチャ出力順序は、PicOrderCntValの値により確立されるのと同じ順序であるものとする。

【0170】

ピクチャが、１に等しいか又は１に等しいように推論されるno_output_of_prior_pics_flagを有するＣＬＶＳＳピクチャより復号順序において前に来るため、「バンピング（bumping）」プロセスにより出力されないこうしたピクチャについて、pic_spt_dpb_output_du_delayから導出される出力時間は、同じＣＶＳ内の全てのピクチャに対するPicOrderCntValの値の増加とともに増加するものとする。

【0171】

ＣＶＳ内の任意の２つのピクチャについて、DecodingUnitHrdFlagが１に等しいときの２つのピクチャの出力時間の間の差は、DecodingUnitHrdFlagが０に等しいときの同じ差と同一であるものとする。

【0172】

図９は、ビデオデコーダ（例えば、ビデオデコーダ４００）により実施される復号の方法９００の一実施形態である。方法９００は、ビットストリームがビデオエンコーダ（例えば、ビデオエンコーダ３００）から直接又は間接的に受信された後に実行されてもよい。方法９００は、サブレイヤ上でＤＵベースのＨＲＤ動作を実行するために使用されるピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証することにより、復号プロセスを改善する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0173】

ブロック９０２において、ビデオデコーダが、コーディングピクチャとＳＥＩメッセージとを含むビットストリームを受信する。ＳＥＩメッセージは、サブレイヤ（例えば、サブレイヤ７１０、７２０、７３０）上のＤＵベースのＨＲＤ動作を実行するために使用されるＣＰＢパラメータ（例えば、ピクチャレベルのＣＰＢパラメータとして参照されるＨＲＤパラメータ８８０及び／又は８９０）を含む。ＤＵ８２２などのＤＵに対応するＤＵベースのＨＲＤ動作は、ＡＵ８２１などのＡＵに対応するＡＵベースのＨＲＤ動作とは異なる。上述のように、ＤＵベースのＨＲＤ動作は、ビットストリーム適合のために、マルチレイヤビデオシーケンス６００及び／又はマルチレイヤビデオシーケンス７００を含むビットストリーム８００などのビットストリームについてテストする目的で、ＨＲＤ（例えば、ＨＲＤ５００）により実施される。

【0174】

一実施形態において、ＣＰＢパラメータは、２つの復号ユニットのＣＰＢ除去時間の間の継続時間を指定する。一実施形態において、ＳＥＩメッセージは、ピクチャタイミング（ＰＴ）ＳＥＩメッセージである。一実施形態において、ＣＰＢパラメータは、ＰＴＳＥＩメッセージに関連づけられたＡＵのための共通ＣＰＢ除去遅延及びＣＰＢ除去遅延を含む。

【0175】

一実施形態において、ＳＥＩメッセージは、ＰＴＳＥＩメッセージであって、該ＰＴＳＥＩメッセージに関連づけられたＡＵ内の復号ユニットの数を指定する、ＰＴＳＥＩメッセージである。一実施形態において、ＳＥＩメッセージは、ＰＴＳＥＩメッセージであって、該ＰＴＳＥＩメッセージに関連づけられたＡＵのＤＵ内のＮＡＬユニットの数を指定する、ＰＴＳＥＩメッセージである。本明細書で用いられるとき、最も高いサブレイヤは、ベースレイヤ（例えば、サブレイヤ７１０）から最も離れたエンハンスメントレイヤ（例えば、サブレイヤ７３０）である。

【0176】

一実施形態において、ＳＥＩメッセージは、復号ユニット情報（ＤＵＩ）ＳＥＩメッセージであって、該ＤＵＩＳＥＩメッセージを含むＳＥＩＮＡＬユニットの時間ＩＤを提供する、ＤＵＩＳＥＩメッセージである。一実施形態において、時間ＩＤは、ＤＵＩＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最も高いサブレイヤを指定する。

【0177】

ブロック９０４において、ビデオデコーダは、ビットストリームからコーディングピクチャを復号して、復号ピクチャを取得する。その後、復号ピクチャは、電子デバイス（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレイ又は画面上でのユーザに対する表示のために画像又はビデオシーケンスを生成又は作成するために使用され得る。一実施形態において、ＰＴＳＥＩメッセージ８１８及び／又はＤＵＩＳＥＩメッセージ８１６に含まれるピクチャレベルのＣＰＢパラメータは、コーディングピクチャを復号する際に使用されない。

【0178】

図１０は、ビデオエンコーダ（例えば、ビデオエンコーダ３００）により実施されるビデオビットストリームを符号化する方法１０００の一実施形態である。方法１０００は、ピクチャ（例えば、ビデオからの）がビデオビットストリームに符号化され、ビデオデコーダ（例えば、ビデオデコーダ４００）に向けて送信されるべきときに実行されてもよい。方法１０００は、サブレイヤ上のＤＵベースのＨＲＤ動作を実行するために使用されるピクチャレベルのコーディングピクチャバッファ（ＣＰＢ）パラメータが補足エンハンスメント情報（ＳＥＩ）メッセージに含まれることを保証することにより、符号化プロセスを改善する。ピクチャレベルのＣＰＢパラメータがＳＥＩメッセージに含まれるため、ＨＲＤは、ＤＵベースのＨＲＤ動作を使用して、ビットストリーム適合についてビットストリーム内のサブレイヤをテストすることができ、これは、サブレイヤが適切にコーディングされ、及び／又は適切に復号可能であることを保証する。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックと比較して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び／又は視聴されるとき、ユーザにより良いユーザ体験を提供する。

【0179】

ブロック１００２において、ビデオエンコーダが、コーディングピクチャとＳＥＩメッセージとを含むビットストリームを生成する。ＳＥＩメッセージは、サブレイヤ（例えば、サブレイヤ７１０、７２０、７３０）上のＤＵベースのＨＲＤ動作を実行するために使用されるＣＰＢパラメータ（例えば、ピクチャレベルのＣＰＢパラメータとして参照されるＨＲＤパラメータ８８０及び／又は８９０）を含む。ＤＵ８２２などのＤＵに対応するＤＵベースのＨＲＤ動作は、ＡＵ８２１などのＡＵに対応するＡＵベースのＨＲＤ動作とは異なる。上述のように、ＤＵベースのＨＲＤ動作は、ビットストリーム適合のために、マルチレイヤビデオシーケンス６００及び／又はマルチレイヤビデオシーケンス７００を含むビットストリーム８００などのビットストリームについてテストする目的で、ＨＲＤ（例えば、ＨＲＤ５００）により実施される。

【0180】

一実施形態において、ＣＰＢパラメータは、２つの復号ユニットのＣＰＢ除去時間の間の継続時間を指定する。一実施形態において、ＳＥＩメッセージは、ピクチャタイミング（ＰＴ）ＳＥＩメッセージである。一実施形態において、ＣＰＢパラメータは、ＰＴＳＥＩメッセージに関連づけられたアクセスユニット（ＡＵ）のための共通ＣＰＢ除去遅延及びＣＰＢ除去遅延を含む。一実施形態において、ＰＴＳＥＩメッセージは、ＰＴＳＥＩメッセージに関連づけられたＡＵ内の復号ユニットの数と、ＰＴＳＥＩメッセージに関連づけられたＡＵの復号ユニット（ＤＵ）内のネットワーク抽象化レイヤ（ＮＡＬ）ユニットの数とを指定する。

【0181】

一実施形態において、ＳＥＩメッセージは、復号ユニット情報（ＤＵＩ）ＳＥＩメッセージであって、該ＤＵＩＳＥＩメッセージを含むＳＥＩＮＡＬユニットの時間識別子（ＩＤ）を提供する、ＤＵＩＳＥＩメッセージである。一実施形態において、ＤＵＩＳＥＩメッセージは、ＤＵＩＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最も高いサブレイヤの時間識別子（ＩＤ）を指定する。

【0182】

ブロック１００４において、ビデオエンコーダが、ＣＰＢパラメータを使用してサブレイヤ上のＤＵベースのＨＲＤ動作を実行して、ビットストリームが適合しているかどうかを決定する。

【0183】

一実施形態において、ビットストリームは、ＣＰＢ除去時間の間の継続時間が超えられていないとき、適合している。

【0184】

ブロック１００６において、ビデオエンコーダが、ＤＵベースのＨＲＤ動作の実行に基づいてビットストリームが適合しているとき、ビデオデコーダに向けての通信のためにビットストリームを記憶する。ビットストリームは、ビットストリームがビデオデコーダに向けて送信されるまで、メモリに記憶されてもよい。ひとたびビデオデコーダにより受信されると、符号化されたビットストリームを復号して（例えば、上述のように）、電子デバイス（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレイ又は画面上でのユーザに対する表示のために画像又はビデオシーケンスを生成又は作成することができる。

【0185】

図１１は、本開示の一実施形態によるビデオコーディングデバイス１１００（例えば、ビデオエンコーダ３００又はビデオデコーダ４００）の概略図である。ビデオコーディングデバイス１１００は、本明細書に記載される開示の実施形態を実施するのに適する。ビデオコーディングデバイス１１００は、データを受信するための入口ポート１１１０及び受信器ユニット（Ｒｘ）１１２０と、データを処理するためのプロセッサ、論理ユニット、又は中央処理装置（ＣＰＵ）１１３０と、データを送信するための送信器ユニット（Ｔｘ）１１４０及び出口ポート１１５０と、データを記憶するためのメモリ１１６０を含む。さらに、ビデオコーディングデバイス１１００は、光又は電気信号が出る又は入るために、入口ポート１１１０、受信器ユニット１１２０、送信器ユニット１１４０、及び出口ポート１１５０に結合された光対電気（optical-to-electrical、ＯＥ）コンポーネント及び電気対光（electrical-to-optical、ＥＯ）コンポーネントを含んでもよい。

【0186】

プロセッサ１１３０は、ハードウェア及びソフトウェアにより実現される。プロセッサ１１３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及びデジタル信号プロセッサ（ＤＳＰ）として実現されてもよい。プロセッサ１１３０は、入口ポート１１１０、受信器ユニット１１２０、送信器ユニット１１４０、出口ポート１１５０、及びメモリ１１６０と通信する。プロセッサ１１３０は、コーディングモジュール１１７０を含む。コーディングモジュール１１７０は、上述の開示された実施形態を実施する。例えば、コーディングモジュール１１７０は、様々なコーデック機能を実現し、処理し、準備し、あるいは提供する。したがって、コーディングモジュール１１７０を含めることは、ビデオコーディングデバイス１１００の機能性に対する実質的な改善を提供し、ビデオコーディングデバイス１１００の異なる状態への変換をもたらす。あるいは、コーディングモジュール１１７０は、メモリ１１６０に記憶される命令として実現され、プロセッサ１１３０により実行される。

【0187】

ビデオコーディングデバイス１１００は、さらに、ユーザとの間でデータを通信するための入力及び／又は出力（Ｉ／Ｏ）デバイス１１８０を含んでもよい。Ｉ／Ｏデバイス１１８０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含んでもよい。Ｉ／Ｏデバイス１１８０は、さらに、キーボード、マウス、トラックボールなどの入力デバイス、及び／又はそのような出力デバイスと対話するための対応するインターフェースを含んでもよい。

【0188】

メモリ１１６０は、１つ以上のディスク、テープドライブ、及びソリッドステートドライブを含み、オーバーフローデータ記憶デバイスとして使用されて、プログラムが実行のために選択されたときにそのようなプログラムを記憶し、プログラムの実行の間に読み出される命令及びデータを記憶してもよい。メモリ１１６０は、揮発性及び／又は不揮発性でもよく、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ternary content-addressable memory、ＴＣＡＭ）、及び／又はスタティックランダムアクセスメモリ（ＳＲＡＭ）でもよい。

【0189】

図１２は、コーディングする手段１２００の一実施形態の概略図である。一実施形態において、コーディングする手段１２００は、ビデオコーディングデバイス１２０２（例えば、ビデオエンコーダ３００又はビデオデコーダ４００）内に実装される。ビデオコーディングデバイス１２０２は、受信手段１２０１を含む。受信手段１２０１は、符号化すべきピクチャを受信し、又は復号すべきビットストリームを受信するように構成される。ビデオコーディングデバイス１２０２は、受信手段１２０１に結合された送信手段１２０７を含む。送信手段１２０７は、ビットストリームをデコーダに送信し、又は復号画像を表示手段（例えば、Ｉ／Ｏデバイス１１８０の１つ）に送信するように構成される。

【0190】

ビデオコーディングデバイス１２０２は、記憶手段１２０３を含む。記憶手段１２０３は、受信手段１２０１又は送信手段１２０７のうちの少なくとも１つに結合される。記憶手段１２０３は、命令を記憶するように構成される。ビデオコーディングデバイス１２０２は、処理手段１２０５をさらに含む。処理手段１２０５は、記憶手段１２０３に結合される。処理手段１２０５は、本明細書に開示される方法を実行するために、記憶手段１２０３に記憶された命令を実行するように構成される。

【0191】

さらに、本明細書に記載された例示的な方法のステップは必ずしも記載された順序で実施される必要はなく、そのような方法のステップの順序は単に例示的なものであると理解されるべきであることを理解されたい。同様に、このような方法にさらなるステップが含まれてもよく、特定のステップが本開示の様々な実施形態と矛盾しない方法において省略され、又は組み合わせられてもよい。

【0192】

本開示においていくつかの実施形態が提供されたが、開示されたシステム及び方法は、本開示の主旨又は範囲から逸脱することなく多くの他の特定の形態で具現化され得ることを理解されたい。本例は、限定的なものでなく例示的なものとみなされるべきであり、その意図は、本明細書に与えられた詳細に限定されるべきではない。例えば、様々な要素又はコンポーネントが組み合わせられ、又は別のシステムに統合されてもよく、あるいは特定の特徴が省略されてもよく、又は実現されなくてもい。

【0193】

さらに、様々な実施形態において個別又は別個として記載及び例示された手法、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく組み合わせられ、あるいは他のシステム、モジュール、手法、又は方法と統合され得る。互いに結合され、又は直接結合され、又は通信するものとして示され又は論じられた他のアイテムは、電気的か、機械的か、又はその他の方法でかに関わらず、何らかのインターフェース、デバイス、又は中間コンポーネントを介して間接的に結合され、あるいは通信してもよい。変更、置換、及び改変の他の例が当業者により確認可能であり、本明細書に開示された主旨及び範囲から逸脱することなくなされ得る。

【図1】