特許 7388612 マルチレイヤビデオビットストリームのためのＤＰＢパラメータのシグナリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】マルチレイヤビデオビットストリームのためのＤＰＢパラメータのシグナリング

(51)【国際特許分類】

   H04N 19/70 20140101AFI20231121BHJP

   H04N 19/30 20140101ALI20231121BHJP

【ＦＩ】

H04N19/70

H04N19/30

【請求項の数】 15

(21)【出願番号】P 2022518745

(86)(22)【出願日】2020-09-17

(65)【公表番号】

(43)【公表日】2022-11-22

(86)【国際出願番号】 US2020051278

(87)【国際公開番号】W WO2021061489

(87)【国際公開日】2021-04-01

【審査請求日】2022-04-28

(31)【優先権主張番号】62/905,139

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ワン、イエ－クイ

【審査官】田部井 和彦

(56)【参考文献】

【文献】国際公開第２０１５／１３７４３２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／００１９６７３（ＵＳ，Ａ１）

【文献】Benjamin Bross et al.，Versatile Video Coding (Draft 6) [online]，JVET-O2001-vE (JVET-P0115-v1)，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0115-v1.zip＞，2019年09月25日，第91頁-第100頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／７０

Ｈ０４Ｎ １９／３０

(57)【特許請求の範囲】

【請求項1】

ビデオデコーダによって実装される復号の方法であって、
前記ビデオデコーダによって、複数のレイヤと、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）とを含むビデオビットストリームを受信する段階であって、前記ＶＰＳは複数の出力レイヤセット（ＯＬＳ）を指定し、前記複数のＯＬＳの各々は前記複数のレイヤからの１または複数のレイヤを含み、前記ＳＰＳは、前記１または複数のレイヤの各々のための復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含み、前記ＤＰＢパラメータのセットは、前記１または複数のレイヤのうちの各々について一回のみ含まれ、且つ、前記１または複数のレイヤのうちの特定のレイヤが前記複数のＯＬＳのうちの２つ以上に含まれているかどうかに関わらず、前記特定のレイヤについて繰り返されず、前記ＤＰＢパラメータのセットは単一のＤＰＢサイズを含む、段階と、
前記ビデオデコーダによって、前記複数のレイヤのうちの１つからのピクチャを復号して、復号済みピクチャを取得する段階と、
を備える、方法。

【請求項2】

前記ＳＰＳにおいてシグナリングされる前記ＤＰＢパラメータのセットの数は、前記レイヤの総数に等しい、請求項１に記載の方法。

【請求項3】

前記復号の前に、前記１または複数のレイヤのうちの１つから出力レイヤを選択する段階をさらに備える、請求項１または２に記載の方法。

【請求項4】

前記ＳＰＳは、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれている場合に、前記１または複数のレイヤの各々について１回のみレベル情報を含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記レベル情報は、ビットストリームに関する制約のセットを示す、請求項４に記載の方法。

【請求項6】

前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

ビデオエンコーダによって実装される符号化の方法であって、前記方法が、
前記ビデオエンコーダによって、複数のレイヤと、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、を生成する段階であって、前記ＶＰＳは複数の出力レイヤセット（ＯＬＳ）を指定し、前記複数のＯＬＳの各々は前記複数のレイヤからの１または複数のレイヤを含み、前記ＳＰＳは前記１または複数のレイヤの各々のための復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含み、前記ＤＰＢパラメータのセットは、前記１または複数のレイヤのうちの各々について一回のみ含まれ、且つ、前記１または複数のレイヤのうちの特定のレイヤが前記複数のＯＬＳのうちの２つ以上に含まれているかどうかに関わらず、前記特定のレイヤについて繰り返されず、前ＤＰＢパラメータのセットは単一のＤＰＢサイズを含む、段階と、
前記ビデオエンコーダによって、前記複数のレイヤ、前記ＶＰＳ、および前記ＳＰＳをビデオビットストリームに符号化する段階と、
前記ビデオエンコーダによって、ビデオデコーダへの通信のために前記ビデオビットストリームを記憶する段階と、
を備える、方法。

【請求項8】

前記１または複数のレイヤのうちの１つを出力レイヤとして指定し、前記１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定する段階をさらに含む、請求項７に記載の方法。

【請求項9】

前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、請求項７または８に記載の方法。

【請求項10】

復号デバイスであって、
複数のレイヤと、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、を含むビデオビットストリームを受信するように構成された受信機であって、前記ＶＰＳは複数の出力レイヤセット（ＯＬＳ）を指定し、前記複数のＯＬＳの各々は前記複数のレイヤからの１または複数のレイヤを含み、前記ＳＰＳは、前記１または複数のレイヤの各々のための復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含み、前記ＤＰＢパラメータのセットは、前記１または複数のレイヤのうちの各々について一回のみ含まれ、且つ、前記１または複数のレイヤのうちの特定のレイヤが前記複数のＯＬＳのうちの２つ以上に含まれているかどうかに関わらず、前記特定のレイヤについて繰り返されず、前ＤＰＢパラメータのセットは単一のＤＰＢサイズを含む、受信機と、
前記受信機に結合されたメモリであって、前記メモリが、命令を記憶する、メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサが、前記命令を実行して、前記復号デバイスに前記複数のレイヤのうちの１つからピクチャを復号させて復号済みピクチャを取得させるように構成されたプロセッサと、
を備える、復号デバイス。

【請求項11】

前記プロセッサが、
前記復号の前に、前記１または複数のレイヤのうちの１つから出力レイヤを選択することと、
前記出力レイヤが選択された後に、前記出力レイヤから前記ピクチャを選択することと、
を行うようにさらに構成されている、請求項１０に記載の復号デバイス。

【請求項12】

前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、請求項１０または１１に記載の復号デバイス。

【請求項13】

符号化デバイスであって、
命令を含むメモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサが、前記命令を実装して、前記符号化デバイスに、
複数のレイヤと、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、を生成することであって、前記ＶＰＳは複数の出力レイヤセット（ＯＬＳ）を指定し、前記複数のＯＬＳの各々は前記複数のレイヤからの１または複数のレイヤを含み、前記ＳＰＳは前記１または複数のレイヤの各々のための復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含み、前記ＤＰＢパラメータのセットは、前記１または複数のレイヤの各々について１回のみ含まれ、且つ、前記１または複数のレイヤのうちの特定のレイヤが、前記複数のＯＬＳのうちの２つ以上に含まれているかどうかに関わらず、前記特定のレイヤについて繰り返されず、前ＤＰＢパラメータのセットは単一のＤＰＢサイズを含む、ことと、
前記複数のレイヤ、前記ＶＰＳ、および前記ＳＰＳをビデオビットストリームに符号化することと、
を行わせるように構成されたプロセッサと、
前記プロセッサに結合された送信機であって、前記送信機が、前記ビデオビットストリームをビデオデコーダに向けて送信するように構成されている、送信機と、
を備える、符号化デバイス。

【請求項14】

前記プロセッサが、前記符号化デバイスに、前記１または複数のレイヤのうちの１つを出力レイヤとして指定させ、前記１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定させるようにさらに構成されている、請求項１３に記載の符号化デバイス。

【請求項15】

コーディング装置であって、
符号化すべきピクチャを受信するか、または復号すべきビットストリームを受信するように構成された受信機と、
前記受信機に結合された送信機であって、前記送信機が、前記ビットストリームをデコーダに送信するか、または復号済み画像をディスプレイに送信するように構成されている、送信機と、
前記受信機または前記送信機のうちの少なくとも１つに結合されたメモリであって、前記メモリが、命令を記憶するように構成されている、メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサが、前記メモリに記憶された前記命令を実行して、請求項１～９のいずれか一項に記載の方法を実行するように構成されている、プロセッサと、
を備える、コーディング装置。

【発明の詳細な説明】

【技術分野】

【0001】

概して、本開示は、ビデオコーディングにおけるマルチレイヤビデオビットストリームのための技術について説明する。より具体的には、本開示は、ビデオコーディングにおいてマルチレイヤビットストリーム中で復号済みピクチャバッファ（ＤＰＢ）パラメータをシグナリングするための技術について説明する。

【背景技術】

【0002】

比較的短いビデオであっても、その描写に必要なビデオデータ量は膨大なものとなり、帯域の限られた通信ネットワークでデータのストリーミングなどの通信を行う場合には、困難が伴う場合がある。そのため、現代の通信ネットワークでは、ビデオデータを圧縮して通信するのが一般的である。また、ビデオがストレージデバイスに記憶されるとき、メモリリソースに制限があるため、ビデオのサイズが問題になる可能性がある。ビデオ圧縮デバイスは、多くの場合、送信または記憶の前に、ソースにおいてソフトウェアおよび／またはハードウェアを使用してビデオデータをコード化し、それによってデジタルビデオ画像を表現するために必要とされるデータの量を減少させる。圧縮後、圧縮されたデータは、配信先でビデオ復元デバイスによって受信され、ビデオデータが復号される。ネットワークリソースが限られ、ビデオの高画質化がますます求められる中、画質をほとんどまたは全く犠牲にすることなく圧縮比を向上させる圧縮復元技術の向上が望まれている。

【発明の概要】

【0003】

第１の態様は、ビデオデコーダによって実装される復号の方法に関し、ビデオデコーダによって、複数のレイヤと、各々が複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を含むビデオビットストリームを受信する段階と、ビデオデコーダによって、複数のレイヤのうちの１つからのピクチャを復号して、復号済みピクチャを取得する段階と、を含む。

【0004】

本方法は、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0005】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、復号の前に、１または複数のレイヤのうちの１つから出力レイヤを選択することを提供する。

【0006】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、出力レイヤが選択された後に、出力レイヤからピクチャを選択することを提供する。

【0007】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットが第１のＤＰＢサイズと第２のＤＰＢサイズとを含むことを提供する。

【0008】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、第１のＤＰＢサイズが、１または複数のレイヤからの出力レイヤに対応し、第２のＤＰＢサイズが、１または複数のレイヤからの非出力レイヤに対応することを提供する。

【0009】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＳＰＳが、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についてのレベル情報を含むことを提供する。

【0010】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットに含まれる第１のＤＰＢサイズから第２のＤＰＢサイズを推論することを提供する。

【0011】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、複数のレイヤからの１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含むことを提供する。

【0012】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、電子デバイスのディスプレイ上に復号済みピクチャを表示することを提供する。

【0013】

第２の態様は、ビデオエンコーダによって実装される符号化の方法に関し、方法は、ビデオエンコーダによって、複数のレイヤと、各々が複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を生成する段階と、ビデオエンコーダによって、複数のレイヤ、ＶＰＳ、およびＳＰＳをビデオビットストリームに符号化する段階と、ビデオエンコーダによって、ビデオデコーダへの通信のためにビデオビットストリームを記憶する段階と、を含む。

【0014】

本方法は、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0015】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、１または複数のレイヤのうちの１つを出力レイヤとして指定し、１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定することを提供する。

【0016】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＳＰＳが、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についてのレベル情報を含むことを提供する。

【0017】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットが、単一のＤＰＢサイズを含むことを提供する。

【0018】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、複数のレイヤからの１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含むことを提供する。

【0019】

第３の態様は、復号デバイスに関し、複数のレイヤと、各々が複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を有するビデオビットストリームを受信するように構成された受信機と、受信機に結合されたメモリであって、メモリが、命令を記憶する、メモリと、メモリに結合されたプロセッサであって、プロセッサが、命令を実行して、復号デバイスに複数のレイヤのうちの１つからピクチャを復号させて復号済みピクチャを取得させるように構成されたプロセッサと、を含む。

【0020】

復号デバイスは、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0021】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、復号の前に、１または複数のレイヤのうちの１つから出力レイヤを選択することと、出力レイヤが選択された後に、出力レイヤからピクチャを選択することと、を行うようにさらに構成されることを提供する。

【0022】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットが第１のＤＰＢサイズと第２のＤＰＢサイズとを含むことを提供する。

【0023】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、第１のＤＰＢサイズが、１または複数のレイヤからの出力レイヤに対応し、第２のＤＰＢサイズが、１または複数のレイヤからの非出力レイヤに対応することを提供する。

【0024】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットが、１または複数のレイヤからの出力レイヤおよび１または複数のレイヤからの非出力レイヤが両方とも単一のＤＰＢサイズを有するとき、単一のＤＰＢサイズを含むことを提供する。

【0025】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、ＤＰＢパラメータのセットに含まれる第１のＤＰＢサイズから第２のＤＰＢサイズを推論するようにさらに構成されることを提供する。

【0026】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、複数のレイヤからの１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含むことを提供する。

【0027】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、復号済みピクチャを表示するように構成されたディスプレイを提供する。

【0028】

第４の態様は、符号化デバイスに関し、命令を含むメモリと、メモリに結合されたプロセッサであって、プロセッサが、命令を実装して、符号化デバイスに、複数のレイヤと、各々が複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を生成することと、複数のレイヤ、ＶＰＳ、およびＳＰＳをビデオビットストリームに符号化することと、を行わせるように構成されたプロセッサと、プロセッサに結合された送信機であって、送信機が、ビデオビットストリームをビデオデコーダに向けて送信するように構成されている、送信機と、を含む。

【0029】

符号化デバイスは、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0030】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、符号化デバイスに、１または複数のレイヤのうちの１つを出力レイヤとして指定させ、１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定させるようにさらに構成されることを提供する。

【0031】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットが第１のＤＰＢサイズと第２のＤＰＢサイズとを含むことを提供する。

【0032】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＤＰＢパラメータのセットが、単一のＤＰＢサイズを含むことを提供する。

【0033】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、複数のレイヤからの１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含むことを提供する。

【0034】

第５の態様は、コーディング装置に関する。コーディング装置は、符号化するピクチャを受信するか、または復号するビットストリームを受信するように構成された受信機と、受信機に結合された送信機であって、送信機が、ビットストリームをデコーダに送信するか、または復号済み画像をディスプレイに送信するように構成されている、送信機と、受信機または送信機のうちの少なくとも１つに結合されたメモリであって、メモリが、命令を記憶するように構成されている、メモリと、メモリに結合されたプロセッサであって、プロセッサが、メモリに記憶された命令を実行して、本明細書に開示された方法を実行するように構成されている、プロセッサと、を含む。

【0035】

コーディング装置は、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0036】

所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、復号済みピクチャを表示するように構成されたディスプレイを提供する。

【0037】

第６の態様は、システムに関する。システムは、エンコーダと、エンコーダと通信するデコーダとを含み、エンコーダまたはデコーダは、本明細書に開示される復号デバイス、符号化デバイス、またはコーディング装置を含む。

【0038】

システムは、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0039】

第７の態様は、コーディングのための手段に関する。コーディングのための手段は、符号化するピクチャを受信するか、または復号するビットストリームを受信するように構成された受信手段と、受信手段に結合された送信手段であって、送信手段が、ビットストリームを復号手段に送信するか、または復号済み画像を表示手段に送信するように構成されている、送信手段と、受信手段または送信手段のうちの少なくとも１つに結合された記憶手段であって、記憶手段が、命令を記憶するように構成されている、記憶手段と、記憶手段に結合された処理手段であって、処理手段が、記憶手段に記憶された命令を実行して、本明細書に開示された方法を実行するように構成されている、処理手段と、を含む。

【0040】

コーディングのための手段は、マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術を提供する。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0041】

明確にするために、前述の実施形態のうちのいずれか１つは、本開示の範囲内の新しい実施形態を作成するために、他の前述の実施形態のうちのいずれか１または複数と組み合わせてもよい。

【0042】

これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。

【図面の簡単な説明】

【0043】

本開示のより完全な理解のために、同様の参照番号が同様の部分を表す添付の図面および詳細な説明に関連して、以下の簡単な説明が参照される。

【0044】

【図1】ビデオ信号をコード化する例示的な方法のフローチャートである。

【0045】

【図2】ビデオコーディングのための例示的なコーディングおよび復号（コーデック）システムの概略図である。

【0046】

【図3】例示的なビデオエンコーダを示す概略図である。

【0047】

【図4】例示的なビデオデコーダを示す概略図である。

【0048】

【図5】空間スケーラビリティのためのマルチレイヤコーディングの例を示す。

【0049】

【図6】出力レイヤセット（ＯＬＳ）を使用するマルチレイヤコーディングの例を示す。

【0050】

【図7】時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンスを示す。

【0051】

【図8】ビデオビットストリームの一実施形態を示す。

【0052】

【図9】コード化済みビデオビットストリームを復号する方法の一実施形態である。

【0053】

【図10】コード化済みビデオビットストリームを符号化する方法の一実施形態である。

【0054】

【図11】ビデオコーディングデバイスの概略図である。

【0055】

【図12】コーディングのための手段の一実施形態の概略図である。

【発明を実施するための形態】

【0056】

１または複数の実施形態の例示的な実装形態が以下に提供されるが、開示されるシステムおよび／または方法は、現在知られているかまたは存在しているかにかかわらず、任意の数の技術を使用して実装され得ることを最初に理解されたい。本開示は、本明細書で図示および説明される例示的な設計および実装形態を含む、以下に示される例示的な実装形態、図面、および技術に決して限定されるべきではなく、添付の特許請求の範囲内で、それらの均等物の全範囲とともに修正され得る。

【0057】

以下の用語は、本明細書において反対の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示にさらなる明確性を提供することを意図する。しかしながら、用語は、異なる文脈において異なるように説明される場合がある。したがって、以下の定義は、補足として考慮されるべきであり、本明細書においてかかる用語について提供される説明の任意の他の定義を限定すると考慮されるべきではない。

【0058】

ビットストリームは、エンコーダとデコーダとの間の送信のために圧縮されたビデオデータを含むビットのシーケンスである。エンコーダは、ビデオデータをビットストリームに圧縮するために符号化プロセスを採用するように構成されたデバイスである。デコーダは、表示のためにビットストリームからビデオデータを再構築するために復号プロセスを採用するように構成されたデバイスである。ピクチャは、フレームまたはそのフィールドを作成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。符号化または復号されているピクチャは、説明を明確にするために、カレントピクチャと称されることがある。参照ピクチャは、インター予測および／またはインターレイヤ予測に従って参照によって他のピクチャをコード化するときに使用され得る参照サンプルを含むピクチャである。参照ピクチャリストは、インター予測および／またはインターレイヤ予測のために使用される参照ピクチャのリストである。一部のビデオコーディングシステムは、参照ピクチャリスト１および参照ピクチャリスト０として示され得る、２つの参照ピクチャリストを利用する。参照ピクチャリスト構造は、複数の参照ピクチャリストを含むアドレス指定可能なシンタックス構造である。インター予測は、参照ピクチャとカレントピクチャとが同じレイヤ中にある場合に、カレントピクチャとは異なる参照ピクチャ中の示されたサンプルを参照することによってカレントピクチャのサンプルをコード化するメカニズムである。参照ピクチャリスト構造エントリは、参照ピクチャリストに関連付けられた参照ピクチャを示す参照ピクチャリスト構造内のアドレス指定可能な位置である。スライスヘッダは、スライス中で表されるタイル内の全てのビデオデータに関係するデータ要素を含むコード化済みスライスの一部である。ピクチャパラメータセット（ＰＰＳ）は、ピクチャ全体に関連するデータを含むパラメータセットである。より具体的には、ＰＰＳは、各ピクチャヘッダ内に見出されるシンタックス要素によって決定されるような０以上のコード化済みピクチャ全体に適用されるシンタックス要素を含むシンタックス構造である。シーケンスパラメータセット（ＳＰＳ）は、ピクチャのシーケンスに関係するデータを含むパラメータセットである。アクセスユニット（ＡＵ）は、（例えば、ユーザに表示するための）復号済みピクチャバッファ（ＤＰＢ）からの出力のための同じ表示時間（例えば、同じピクチャ順序カウント）に関連付けられた１または複数のコード化済みピクチャのセットである。アクセスユニットデリミタ（ＡＵＤ）は、ＡＵの開始またはＡＵ間の境界を示すために使用されるインジケータまたはデータ構造である。復号済みビデオシーケンスは、ユーザへの表示に備えてデコーダによって再構築されたピクチャのシーケンスである。

【0059】

ネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、データのタイプの指示である生バイトシーケンスペイロード（ＲＢＳＰ）の形態のデータを含み、所望に応じてエミュレーション防止バイトが散在するシンタックス構造である。ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットは、ピクチャのコード化済みスライスなど、ビデオデータを含むようにコード化されたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性検査の実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。レイヤは、特定された特性（例えば、共通の解像度、フレームレート、画像サイズなど）を共有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとのセットである。レイヤのＶＣＬ ＮＡＬユニットは、ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の特定の値を共有し得る。コード化済みピクチャは、アクセスユニット（ＡＵ）内のＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の特定の値を有するＶＣＬ ＮＡＬユニットを含み、ピクチャの全てのコーディングツリーユニット（ＣＴＵ）を含むピクチャのコード化済み表現である。復号済みピクチャは、コード化済みピクチャに復号プロセスを施して生成されたピクチャである。

【0060】

出力レイヤセット（ＯＬＳ）は、１または複数のレイヤが出力レイヤとして特定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイへの）出力のために指定されるレイヤである。第０（０番目）のＯＬＳは、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含むＯＬＳであり、出力レイヤのみを含むＯＬＳである。ビデオパラメータセット（ＶＰＳ）は、ビデオ全体に関連するパラメータを含むデータユニットである。インターレイヤ予測は、参照レイヤ中の参照ピクチャを参照することによって現在のレイヤ中のカレントピクチャをコード化するメカニズムであり、カレントピクチャと参照ピクチャとは同じＡＵ中に含まれ、参照レイヤは現在のレイヤよりも低いｎｕｈ＿ｌａｙｅｒ＿ｉｄを含む。

【0061】

復号済みピクチャバッファ（ＤＰＢ）は、仮想リファレンスデコーダに対して特定される参照、出力並べ替え、または出力遅延のために復号済みピクチャを保持するバッファである。ＤＰＢパラメータは、ＤＰＢサイズと、所望により、最大ピクチャ並べ替え数および最大レイテンシ情報とを与えるシンタックス構造である。サブレイヤは、時間スケーラブルビットストリームの時間スケーラブルレイヤであり、ＴｅｍｐｏｒａｌＩｄ変数の特定の値を有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとからなる。フラグは、変数または単一ビットのシンタックス要素であり、０および１という２つの可能な値のうちの１つをとることができる。

【0062】

階層およびレベルは、最大ビットレート、最大輝度サンプルレート、最大輝度ピクチャサイズ、最小圧縮比、許容されるスライスの最大数、および許容されるタイルの最大数に関してビットストリームを定義する制約である。より低い階層はより高い階層よりも制約され、より低いレベルはより高いレベルよりも制約される。

【0063】

本明細書では、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、コード化済みビデオシーケンス（ＣＶＳ）、ジョイントビデオエキスパートチーム（ＪＶＥＴ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、ピクチャ順序カウント（ＰＯＣ）、ピクチャパラメータセット（ＰＰＳ）、ローバイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、汎用ビデオコーディング（ＶＶＣ）、およびワーキングドラフト（ＷＤ）の略語が使用される。

【0064】

図１は、ビデオ信号をコード化する例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号はエンコーダで符号化される。符号化プロセスは、ビデオファイルサイズを低減するために種々のメカニズムを採用することによってビデオ信号を圧縮する。ファイルサイズを小さくすることで、関連する帯域幅オーバーヘッドを低減しながら、圧縮されたビデオファイルをユーザに向けて送信することができる。デコーダは次いで、圧縮されたビデオファイルを復号して、エンドユーザに表示するための元のビデオ信号を再構築する。復号プロセスは概して、符号化プロセスをミラーリングして、デコーダがビデオ信号を一貫して再構築することを可能にする。

【0065】

ステップ１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮ビデオファイルであってもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャデバイスによってキャプチャされ、ビデオのライブストリーミングをサポートするために符号化されてもよい。ビデオファイルは、オーディオ成分とビデオ成分の両方を含み得る。ビデオ成分には一連の画像フレームが含まれており、これは、連続して見ると、動きの視覚的な印象を与える。フレームには、本明細書では輝度成分（または輝度サンプル）と称される光と、彩度成分（または色サンプル）と称される色との観点で表されるピクセルが含まれる。一部の例では、フレームはまた、３次元ビューをサポートするための深度値を含み得る。

【0066】

ステップ１０３において、ビデオはブロックに分割される。分割には、各フレーム内のピクセルを圧縮のために正方形および／または長方形のブロックに細分化することが含まれる。例えば、高効率ビデオコーディング（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）では、フレームは最初に、あらかじめ定義されたサイズ（例えば、６４ピクセル×６４ピクセル）のブロックであるコーディングツリーユニット（ＣＴＵ）に分割することができる。ＣＴＵは、輝度サンプルと彩度サンプルとの両方を含む。コーディングツリーを採用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまで、ブロックを再帰的に細分化することができる。例えば、フレームの輝度成分は、個々のブロックが比較的均質な明度値を含むまで細分化されてもよい。さらに、フレームの彩度成分は、個々のブロックが比較的均質な色値を含むまで細分化されてもよい。このように、分割メカニズムは、ビデオフレームのコンテンツに応じて変化する。

【0067】

ステップ１０５では、ステップ１０３で分割された画像ブロックを圧縮するために種々の圧縮メカニズムが採用される。例えば、インター予測および／またはイントラ予測が採用されてもよい。インター予測は、共通シーン中のオブジェクトが連続フレーム中に現れる傾向があるという事実を利用するように設計される。これにより、参照フレーム内のオブジェクトを示すブロックを隣接するフレーム間で重複して記述する必要がなくなる。具体的には、テーブルなどのオブジェクトは、複数のフレームにわたって一定の位置に留まることができる。したがって、テーブルを一度記述すれば、隣接するフレームは参照フレームに戻って参照することができる。パターンマッチングメカニズムを採用して、複数のフレームにわたってオブジェクトをマッチングすることができる。さらに、移動するオブジェクトは、例えばオブジェクトの移動またはカメラの移動に起因して、複数のフレームにわたって表現することができる。特定の例として、ビデオは、複数のフレームにわたってスクリーンを横切って移動する自動車を示すことができる。動きベクトルを採用して、かかる移動を記述することができる。動きベクトルは、フレーム内のオブジェクトの座標から基準フレーム内のオブジェクトの座標へのオフセットを提供する２次元ベクトルである。このように、インター予測は、現在のフレーム中の画像ブロックを、参照フレーム中の対応するブロックからのオフセットを示す動きベクトルのセットとして符号化することができる。

【0068】

イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、輝度成分および彩度成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、ツリーの一部分における緑のパッチは、同様の緑のパッチに隣接して配置される傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣでは３３方向）と、平面モードと、直接カレント（ＤＣ）モードとを採用している。方向モードは、現在のブロックが該当方向の隣接ブロックのサンプルと同様／同一であることを示す。平面モードは、行／列（例えば、平面）に沿った一連のブロックが、行の縁部における隣接ブロックに基づいて補間され得ることを示す。平面モードは、実際に、値を変化させる際に比較的一定の傾きを採用することによって、行／列にわたる光／色の滑らかな遷移を示す。ＤＣモードは、境界平滑化のために採用され、あるブロックが、方向予測モードの角度方向に関連付けられた全ての隣接ブロックのサンプルに関連付けられた平均値と同様／同一であることを示す。このように、イントラ予測ブロックは、実際の値の代わりに種々の関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに動きベクトル値として画像ブロックを表すことができる。いずれの場合も、予測ブロックは、場合によっては、画像ブロックを正確に表さないことがある。差分は、残差ブロックに記憶される。ファイルをさらに圧縮するために、残差ブロックに変換を適用することもできる。

【0069】

ステップ１０７において、種々のフィルタリング技術を適用することができる。ＨＥＶＣでは、フィルタは、ループ内フィルタリング方式に従って適用される。上述したブロックベースの予測では、デコーダにおいてブロックノイズのある画像の作成が生じ得る。さらに、ブロックベースの予測方式は、ブロックを符号化し、次いで、符号化されたブロックを参照ブロックとして後で使用するために再構築することができる。ループ内フィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびサンプル適応オフセット（ＳＡＯ）フィルタをブロック／フレームに反復的に適用する。これらのフィルタは、符号化されたファイルが正確に再構築され得るように、かかるブロッキングアーチファクトを軽減する。さらに、これらのフィルタは、再構築された参照ブロックにおけるアーチファクトを軽減し、それにより、アーチファクトは、再構築された参照ブロックに基づいて符号化される後続のブロックにおいて追加のアーチファクトを生成する可能性が低くなる。

【0070】

ビデオ信号が分割され、圧縮され、フィルタリングされると、ステップ１０９において、得られたデータがビットストリームに符号化される。ビットストリームには、上述のデータの他、デコーダにおいて適切なビデオ信号の再構築をサポートするために所望される任意のシグナリングデータが含まれる。例えば、かかるデータには、パーティションデータと、予測データと、残差ブロックと、デコーダにコーディング命令を与える種々のフラグとが含まれてもよい。ビットストリームは、要求に応じてデコーダに向けて送信するためにメモリに記憶することができる。ビットストリームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされ得る。ビットストリームの作成は反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、および１０９は、多くのフレームおよびブロックにわたって連続的におよび／または同時に行われ得る。図１に示される順序は、説明を明確にし、容易にするために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図するものではない。

【0071】

デコーダは、ビットストリームを受信し、ステップ１１１において復号プロセスを開始する。具体的には、デコーダは、エントロピー復号方式を採用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。デコーダは、ステップ１１１において、ビットストリームからのシンタックスデータを採用して、フレームのパーティションを決定する。この分割は、ステップ１０３におけるブロック分割の結果と一致するはずである。次に、ステップ１１１で採用されるエントロピー符号化／復号について説明する。エンコーダは、圧縮プロセス中に多くの選択を行い、例えば、入力画像における値の空間的配置に基づいて複数の可能な選択からブロック分割方式を選択する。正確な選択をシグナリングするには、多数のビンを採用する場合がある。本明細書で使用される場合、ビンは、変数として扱われるバイナリ値（例えば、コンテキストに応じて変化し得るビット値）である。エントロピーコーディングにより、エンコーダが、特定のケースに対して明らかに実行可能でない任意のオプションを破棄し、許容可能なオプションのセットを残すことが可能になる。次いで、各許容可能なオプションにはコードワードが割り当てられる。コードワードの長さは、許容可能なオプションの数に基づく（例えば、２つのオプションに対して１つのビン、３～４つのオプションに対して２つのビンなど）。次いで、エンコーダは、選択されたオプションに対するコードワードを符号化する。この方式は、コードワードのサイズを低減する。なぜなら、全ての可能なオプションの潜在的に大きなセットからの選択を一意的に示すのとは対照的に、許容可能なオプションの小さなサブセットからの選択を一意的に示すためにコードワードが所望の大きさだからである。次いで、デコーダは、エンコーダと同様の方法で許容可能なオプションのセットを決定することによって選択を復号する。許容可能なオプションのセットを決定することによって、デコーダは、コードワードを読み出し、エンコーダによって行われた選択を決定することができる。

【0072】

ステップ１１３において、デコーダはブロック復号を実行する。具体的には、デコーダは、残差ブロックを生成するために逆変換を採用する。次いで、デコーダは、残差ブロックおよび対応する予測ブロックを採用して、分割に従って画像ブロックを再構築する。予測ブロックは、ステップ１０５においてエンコーダで生成されたイントラ予測ブロックとインター予測ブロックとの両方を含み得る。次いで、再構築された画像ブロックは、ステップ１１１で決定された分割データに従って、再構築されたビデオ信号のフレーム内に配置される。ステップ１１３のシンタックスはまた、上述したように、エントロピーコーディングを介してビットストリーム中でシグナリングされ得る。

【0073】

ステップ１１５において、エンコーダにおけるステップ１０７と同様の方法で、再構築されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびＳＡＯフィルタをフレームに適用して、ブロッキングアーチファクトが除去されてもよい。フレームがフィルタリングされると、ビデオ信号は、エンドユーザによる視聴のために、ステップ１１７においてディスプレイに出力され得る。

【0074】

図２は、ビデオコーディングのための例示的なコーディングおよび復号（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実装形態をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で採用されるコンポーネントを示すように一般化されている。コーデックシステム２００は、動作方法１００のステップ１０１および１０３に関して説明したように、ビデオ信号を受信して分割し、その結果、分割ビデオ信号２０１が得られる。コーデックシステム２００は次いで、方法１００のステップ１０５、１０７、および１０９に関して説明したように、エンコーダとして動作する場合に、分割ビデオ信号２０１をコード化済みビットストリームに圧縮する。デコーダとして動作する場合、コーデックシステム２００は、動作方法１００のステップ１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム２００には、汎用コーダ制御コンポーネント２１１と、変換スケーリングおよび量子化コンポーネント２１３と、イントラピクチャ推定コンポーネント２１５と、イントラピクチャ予測コンポーネント２１７と、動き補償コンポーネント２１９と、動き推定コンポーネント２２１と、スケーリングおよび逆変換コンポーネント２２９と、フィルタ制御分析コンポーネント２２７と、ループ内フィルタコンポーネント２２５と、復号済みピクチャバッファコンポーネント２２３と、ヘッダフォーマッティングおよびコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）コンポーネント２３１と、が含まれる。かかるコンポーネントは、図示のように結合される。図２において、黒線は符号化／復号されるデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示している。コーデックシステム２００のコンポーネントは全て、エンコーダ内に存在し得る。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含み得る。例えば、デコーダは、イントラピクチャ予測コンポーネント２１７と、動き補償コンポーネント２１９と、スケーリングおよび逆変換コンポーネント２２９と、ループ内フィルタコンポーネント２２５と、復号済みピクチャバッファコンポーネント２２３とを含んでもよい。以下、これらについて説明する。

【0075】

分割ビデオ信号２０１は、コーディングツリーによってピクセルのブロックに分割されたキャプチャされたビデオシーケンスである。コーディングツリーは、種々の分割モードを採用して、ピクセルのブロックをより小さいピクセルのブロックに細分化する。次いで、これらのブロックは、より小さいブロックにさらに細分化することができる。ブロックは、コーディングツリー上のノードと称され得る。より大きな親ノードは、より小さな子ノードに分割される。ノードが細分化される回数は、ノード／コーディングツリーの深度と称される。分割されたブロックは、場合によっては、コーディングユニット（ＣＵ）に含まれ得る。例えば、ＣＵは、ＣＵのための対応するシンタックス命令とともに、輝度ブロック、赤色差彩度（Ｃｒ）ブロック、および青色差彩度（Ｃｂ）ブロックを含むＣＴＵの下位部分であってもよい。分割モードは、二分木（ＢＴ）、三分木（ＴＴ）、および四分木（ＱＴ）を含み得、これらは、採用される分割モードに応じて種々の形状の２つ、３つ、または４つの子ノードにノードをそれぞれ分割するために採用される。分割ビデオ信号２０１は、圧縮のために、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、および動き推定コンポーネント２２１に転送される。

【0076】

汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従ってビデオシーケンスの画像をビットストリームにコード化することに関連する決定を行うように構成される。例えば、汎用コーダ制御コンポーネント２１１は、再構築品質に対するビットレート／ビットストリームサイズの最適化を管理する。かかる決定は、記憶空間／帯域幅利用可能性および画像解像度の要求に基づいて行うことができる。汎用コーダ制御コンポーネント２１１はまた、バッファのアンダーランおよびオーバーランの問題を軽減するために、送信速度を考慮してバッファ利用量を管理する。これらの問題を管理するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を増加させ、帯域幅使用量を増加させるために圧縮複雑度を動的に増加させるか、または解像度および帯域幅使用量を減少させるために圧縮複雑度を減少させてもよい。したがって、汎用コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号の再構築品質とビットレートの関係とのバランスをとる。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送され、ビットストリーム中で符号化されて、デコーダにおける復号のためのパラメータをシグナリングする。

【0077】

分割ビデオ信号２０１はまた、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９に送られる。分割ビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、時間予測を行うために、１または複数の参照フレーム中の１または複数のブロックに対して受信されたビデオブロックのインター予測コーディングを実行する。コーデックシステム２００は、複数のコーディングパスを実行して、例えば、ビデオデータの各ブロックについて適切なコーディングモードを選択してもよい。

【0078】

動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコード化済みオブジェクトの変位を示してもよい。予測ブロックは、ピクセル差分に関して、コード化されるブロックに厳密に一致することが判明したブロックである。予測ブロックは参照ブロックと称されることもある。かかるピクセル差分は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定され得る。ＨＥＶＣは、ＣＴＵと、コーディングツリーブロック（ＣＴＢ）と、ＣＵとを含む複数のコード化済みオブジェクトを採用する。例えば、ＣＴＵはＣＴＢに分割されてもよく、次いで、ＣＴＢは、ＣＵ中に含めるためにＣＢに分割されてもよい。ＣＵは、予測データを含む予測ユニット（ＰＵ）および／またはＣＵのための変換された残差データを含む変換ユニット（ＴＵ）として符号化され得る。動き推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み分析を使用することによって、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームに関する複数の参照ブロック、複数の動きベクトルなどを決定してもよく、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択してもよい。最良のレート歪み特性により、ビデオ再構築の品質（例えば、圧縮によるデータ損失の量）とコーディング効率（例えば、最終的な符号化のサイズ）との両方のバランスがとられる。

【0079】

一部の例では、コーデックシステム２００は、復号済みピクチャバッファコンポーネント２２３に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。例えば、ビデオコーデックシステム２００は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間してもよい。したがって、動き推定コンポーネント２２１は、全ピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化済みスライス中のビデオブロックのＰＵの動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを動きデータとして、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に出力し、動きを、動き補償コンポーネント２１９に出力する。

【0080】

動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。この場合も、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、一部の例では機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指す予測ブロックの位置を特定し得る。次いで、コード化されている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックが形成される。概して、動き推定コンポーネント２２１は、輝度成分に対して動き推定を実行し、動き補償コンポーネント２１９は、彩度成分と輝度成分の両方について、輝度成分に基づいて計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。

【0081】

分割ビデオ信号２０１はまた、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７に送られる。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、高度に統合され得るが、概念的な目的のために別々に示されている。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、上述したように、フレーム間で動き推定コンポーネント２２１および動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム中のブロックに対して現在のブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント２１５は、現在のブロックを符号化するために使用されるイントラ予測モードを決定する。一部の例では、イントラピクチャ推定コンポーネント２１５は、複数の試験済みのイントラ予測モードから、現在のブロックを符号化するために適切なイントラ予測モードを選択する。選択されたイントラ予測モードは、次いで、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

【0082】

例えば、イントラピクチャ推定コンポーネント２１５は、種々の試験済みのイントラ予測モードについてレート歪み分析を使用してレート歪み値を計算し、試験されたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（またはエラー）の量、ならびに符号化ブロックを生成するために使用されるビットレート（例えば、ビット数）を決定する。イントラピクチャ推定コンポーネント２１５は、種々の符号化ブロックについて歪みおよびレートから比率を計算し、どのイントラ予測モードがブロックについて最良のレート歪み値を示すかを判定する。加えて、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（ＲＤＯ）に基づく深度モデリングモード（ＤＭＭ）を使用して深度マップの深度ブロックをコード化するように構成されてもよい。

【0083】

イントラピクチャ予測コンポーネント２１７は、エンコーダ上で実装される場合、イントラピクチャ推定コンポーネント２１５によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成することができ、またはデコーダ上で実装される場合、ビットストリームから残差ブロックを読み出すことができる。残差ブロックには、行列として表される、予測ブロックと元のブロックとの間の値の差が含まれる。残差ブロックは、次いで、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、輝度成分と彩度成分との両方に対して動作し得る。

【0084】

変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換を使用することもできる。この変換により、残差情報をピクセル値領域から周波数領域などの変換領域に変換することができる。変換スケーリングおよび量子化コンポーネント２１３はまた、例えば周波数に基づいて、変換された残差情報をスケーリングするように構成される。かかるスケーリングは、異なる周波数情報が異なる粒度で量子化されるように残差情報にスケールファクタを適用するものであり、再構築されたビデオの最終的な視覚的品質に影響を及ぼす可能性がある。変換スケーリングおよび量子化コンポーネント２１３はまた、変換係数を量子化してビットレートをさらに低減するように構成される。量子化プロセスにより、係数の一部または全部に関連するビット深度を低減させることができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。一部の例では、変換スケーリングおよび量子化コンポーネント２１３は、次いで、量子化変換係数を含む行列のスキャンを実行し得る。量子化変換係数は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送され、ビットストリーム中で符号化される。

【0085】

スケーリングおよび逆変換コンポーネント２２９は、変換スケーリングおよび量子化コンポーネント２１３の逆動作を適用して、動き推定をサポートする。スケーリングおよび逆変換コンポーネント２２９は、逆スケーリング、変換、および／または量子化を適用して、例えば、別の現在のブロックのための予測ブロックになり得る参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構築する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定において使用するために、残差ブロックを対応する予測ブロックに戻して加算することによって、参照ブロックを計算することができる。再構築された参照ブロックにフィルタを適用して、スケーリング、量子化、および変換中に生成されるアーチファクトが軽減される。そうでなければ、かかるアーチファクトは、後続のブロックが予測される際に不正確な予測を引き起こす（かつ、追加のアーチファクトを生成する）可能性がある。

【0086】

フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、残差ブロックおよび／または再構築された画像ブロックにフィルタを適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、イントラピクチャ予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わせて、元の画像ブロックを再構築することができる。次いで、フィルタは、再構築された画像ブロックに適用され得る。一部の例では、フィルタは、代わりに残差ブロックに適用され得る。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、高度に統合され、一緒に実装され得るが、概念的な目的のために別々に示されている。再構築された参照ブロックに適用されるフィルタは、特定の空間領域に適用されており、かかるフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構築された参照ブロックを分析して、かかるフィルタが適用されるべき場所を決定し、対応するパラメータを設定する。かかるデータは、符号化のためのフィルタ制御データとしてヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタコンポーネント２２５は、フィルタ制御データに基づいてかかるフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタを含み得る。かかるフィルタは、例に応じて、空間／ピクセル領域において（例えば、再構築されたピクセルブロック上で）、または周波数領域において適用されてもよい。

【0087】

エンコーダとして動作する場合、フィルタリングされて再構築された画像ブロック、残差ブロック、および／または予測ブロックは、上述した動き推定において後で使用するために、復号済みピクチャバッファコンポーネント２２３に記憶される。デコーダとして動作する場合、復号済みピクチャバッファコンポーネント２２３は、再構築されフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに転送する。復号済みピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構築された画像ブロックを記憶することが可能な任意のメモリデバイスであり得る。

【0088】

ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の種々のコンポーネントからデータを受信し、かかるデータを、デコーダに向けて送信するためにコード化済みビットストリームに符号化する。具体的には、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、種々のヘッダを生成して、一般制御データおよびフィルタ制御データなどの制御データを符号化する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化変換係数データの形態の残差データは全て、ビットストリームにおいて符号化される。最終的なビットストリームは、元の分割ビデオ信号２０１を再構築するためにデコーダによって所望される全ての情報を含む。かかる情報はまた、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも称される）、種々のブロックのための符号化コンテキストの定義、最確イントラ予測モードの指示、パーティション情報の指示などを含み得る。かかるデータは、エントロピーコーディングを採用することによって符号化され得る。例えば、情報は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピーコーディング技術を採用することによって符号化されてもよい。エントロピーコーディングに続いて、コード化済みビットストリームは、別のデバイス（例えば、ビデオデコーダ）に送信されるか、または後の送信もしくは取り出しのためにアーカイブされ得る。

【0089】

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００を採用して、コーデックシステム２００の符号化機能を実装し、かつ／または動作方法１００のステップ１０１、１０３、１０５、１０７、および／もしくは１０９を実装することができる。エンコーダ３００は、入力ビデオ信号を分割し、それにより、分割ビデオ信号２０１と実質的に同様の分割ビデオ信号３０１をもたらす。次いで、分割ビデオ信号３０１は、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームに符号化される。

【0090】

具体的には、分割ビデオ信号３０１は、イントラ予測のためにイントラピクチャ予測コンポーネント３１７に転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と実質的に同様であり得る。分割ビデオ信号３０１はまた、復号済みピクチャバッファコンポーネント３２３内の参照ブロックに基づくインター予測のために動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であり得る。イントラピクチャ予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であり得る。変換および量子化された残差ブロックおよび対応する予測ブロックは、（関連する制御データとともに）ビットストリームにコード化するためにエントロピーコーディングコンポーネント３３１に転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であり得る。

【0091】

変換および量子化された残差ブロックおよび／または対応する予測ブロックはまた、動き補償コンポーネント３２１による使用のために参照ブロックに再構築するために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９に転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であり得る。例に応じて、ループ内フィルタコンポーネント３２５中のループ内フィルタも、残差ブロックおよび／または再構築された参照ブロックに適用される。ループ内フィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５と実質的に同様であり得る。ループ内フィルタコンポーネント３２５は、ループ内フィルタコンポーネント２２５に関して説明したような複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１によって参照ブロックとして使用するために、復号済みピクチャバッファコンポーネント３２３に記憶される。復号済みピクチャバッファコンポーネント３２３は、復号済みピクチャバッファコンポーネント２２３と実質的に同様であり得る。

【0092】

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００を採用して、コーデックシステム２００の復号機能を実装し、かつ／または動作方法１００のステップ１１１、１１３、１１５、および／もしくは１１７を実装することができる。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、エンドユーザに表示するためにビットストリームに基づいて再構築された出力ビデオ信号を生成する。

【0093】

ビットストリームは、エントロピー復号コンポーネント４３３によって受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、または他のエントロピーコーディング技術などのエントロピー復号方式を実装するように構成される。例えば、エントロピー復号コンポーネント４３３は、ビットストリーム中のコードワードとして符号化された追加のデータを解釈するためのコンテキストを与えるためにヘッダ情報を採用してもよい。復号済み情報には、一般制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、および残差ブロックからの量子化変換係数など、ビデオ信号を復号するための任意の所望の情報が含まれる。量子化変換係数は、残差ブロックへの再構築のために逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であり得る。

【0094】

再構築された残差ブロックおよび／または予測ブロックは、イントラ予測動作に基づいて画像ブロックに再構築するために、イントラピクチャ予測コンポーネント４１７に転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と同様であり得る。具体的には、イントラピクチャ予測コンポーネント４１７は、予測モードを採用してフレーム内の参照ブロックの位置を特定し、その結果に残差ブロックを適用してイントラ予測された画像ブロックを再構築する。再構築されたイントラ予測画像ブロックおよび／または残差ブロックならびに対応するインター予測データは、ループ内フィルタコンポーネント４２５を介して復号済みピクチャバッファコンポーネント４２３に転送され、これらはそれぞれ、ループ内フィルタコンポーネント２２５および復号済みピクチャバッファコンポーネント２２３と実質的に同様であり得る。ループ内フィルタコンポーネント４２５は、再構築された画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、かかる情報は、復号済みピクチャバッファコンポーネント４２３に記憶される。復号済みピクチャバッファコンポーネント４２３からの再構築された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であり得る。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを採用して予測ブロックを生成し、その結果に残差ブロックを適用して画像ブロックを再構築する。結果として得られる再構築ブロックはまた、ループ内フィルタコンポーネント４２５を介して復号済みピクチャバッファコンポーネント４２３に転送され得る。復号済みピクチャバッファコンポーネント４２３は、追加の再構築された画像ブロックを記憶し続け、これは、パーティション情報を介してフレームに再構築され得る。かかるフレームはまた、シーケンス内に配置することができる。シーケンスは、再構築された出力ビデオ信号としてディスプレイに向けて出力される。

【0095】

上記を念頭に置くと、ビデオ圧縮技術は、空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を実行して、ビデオシーケンスに固有の冗長性を低減または除去する。ブロックベースのビデオコーディングの場合、ビデオスライス（すなわち、ビデオピクチャまたはビデオピクチャの一部分）は、ビデオブロックに分割され得、これは、ツリーブロック、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、および／またはコーディングノードと称されることもある。ピクチャのイントラコード化済み（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化済み（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。ＰＯＣは、各ピクチャに関連付けられた変数であり、コード化済みレイヤビデオシーケンス（ＣＬＶＳ）中の全てのピクチャの中で関連するピクチャを一意的に識別し、関連するピクチャがいつＤＰＢから出力されるかを示し、ＤＰＢから出力される同じＣＬＶＳ中の他のピクチャの出力順序位置に対する出力順序における関連するピクチャの位置を示す。フラグは、変数または単一ビットのシンタックス要素であり、０および１という２つの可能な値のうちの１つをとることができる。

【0096】

空間予測または時間予測は、コード化されるブロックの予測ブロックをもたらす。残差データは、コード化される元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化済みブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化済みブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化済みブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され得、残差変換係数をもたらし、残差変換係数は次いで量子化され得る。最初に２次元アレイに配列された量子化変換係数は、変換係数の１次元ベクトルを生成するためにスキャンされ得、さらに多くの圧縮を達成するためにエントロピーコーディングが適用され得る。

【0097】

画像およびビデオ圧縮は急速な成長しており、種々のコーディング規格につながっている。かかるビデオコーディング規格には、ＩＴＵ－Ｔ Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ－１ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ１０としても知られるアドバンストビデオコーディング（ＡＶＣ）、およびＩＴＵ－Ｔ Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる高効率ビデオコーディング（ＨＥＶＣ）が含まれる。ＡＶＣには、スケーラブルビデオコーディング（ＳＶＣ）、マルチビュービデオコーディング（ＭＶＣ）およびマルチビュービデオコーディングプラス深さ（ＭＶＣ＋Ｄ）、ならびに３Ｄ ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張機能が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張機能が含まれる。

【0098】

ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣのジョイントビデオエキスパートチーム（ＪＶＥＴ）によって開発されている、汎用ビデオコーディング（ＶＶＣ）と名付けられた新しいビデオコーディング規格も存在する。ＶＶＣ規格は複数のワーキングドラフトを有するが、特にＶＶＣの１つのワーキングドラフト（ＷＤ）、すなわち、Ｂ．Ｂｒｏｓｓ、Ｊ．Ｃｈｅｎ、およびＳ．Ｌｉｕ、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ５）」、ＪＶＥＴ－Ｎ１００１－ｖ３、１３ｔｈ ＪＶＥＴ Ｍｅｅｔｉｎｇ、２０１９年３月２７日（ＶＶＣ Ｄｒａｆｔ５）が本明細書で参照される。

【0099】

ビデオコーディングにおけるスケーラビリティは、通常、マルチレイヤコーディング技術を使用することによってサポートされる。マルチレイヤビットストリームは、ベースレイヤ（ＢＬ）と１または複数のエンハンスメントレイヤ（ＥＬ）とを含む。スケーラビリティの例として、空間スケーラビリティ、品質／信号対雑音（ＳＮＲ）スケーラビリティ、マルチビュースケーラビリティなどが挙げられる。マルチレイヤコーディング技術が使用される場合、ピクチャまたはその一部は、（１）参照ピクチャを使用せずに、すなわちイントラ予測を使用して、（２）同じレイヤ中にある参照ピクチャを参照することによって、すなわちインター予測を使用して、または（３）他のレイヤ中にある参照ピクチャを参照することによって、すなわちインターレイヤ予測を使用して、コード化されてもよい。カレントピクチャのインターレイヤ予測に使用される参照ピクチャを、インターレイヤ参照ピクチャ（ＩＬＲＰ）という。

【0100】

図５は、レイヤベース予測５００の例を示す概略図であり、レイヤベース予測５００を実行して、例えば、ブロック圧縮ステップ１０５、ブロック復号ステップ１１３、動き推定コンポーネント２２１、動き補償コンポーネント２１９、動き補償コンポーネント３２１、および／または動き補償コンポーネント４２１においてＭＶが決定される。レイヤベース予測５００は、単方向インター予測および／または双方向インター予測と互換性があるが、異なるレイヤ中のピクチャ間でも実行される。

【0101】

レイヤベース予測５００は、異なるレイヤ中のピクチャ５１１、５１２、５１３、および５１４とピクチャ５１５、５１６、５１７、および５１８との間で適用される。図示の例では、ピクチャ５１１、５１２、５１３、および５１４はレイヤＮ＋１ ５３２の一部であり、ピクチャ５１５、５１６、５１７、および５１８はレイヤＮ ５３１の一部である。レイヤＮ ５３１および／またはレイヤＮ＋１ ５３２などのレイヤは、同様のサイズ、品質、解像度、信号対雑音比、能力などの特性の同様の値に全て関連付けられたピクチャのグループである。図示の例では、レイヤＮ＋１ ５３２は、レイヤＮ ５３１よりも大きい画像サイズに関連付けられている。したがって、この例では、レイヤＮ＋１ ５３２中のピクチャ５１１、５１２、５１３、および５１４は、レイヤＮ ５３１中のピクチャ５１５、５１６、５１７、および５１８よりも大きいピクチャサイズ（例えば、より大きい高さおよび幅、したがってより多くのサンプル）を有する。しかしながら、かかるピクチャは、他の特性によってレイヤＮ＋１ ５３２とレイヤＮ ５３１との間で分離され得る。２つのレイヤ、レイヤＮ＋１ ５３２およびレイヤＮ ５３１のみが示されているが、ピクチャのセットは、関連する特性に基づいて任意の数のレイヤに分離され得る。レイヤＮ＋１ ５３２およびレイヤＮ ５３１はまた、レイヤＩＤによって示され得る。レイヤＩＤは、ピクチャに関連付けられたデータのアイテムであり、ピクチャが示されたレイヤの一部であることを示している。したがって、各ピクチャ５１１～５１８は、対応するレイヤＩＤに関連付けられて、どのレイヤＮ＋１ ５３２またはレイヤＮ ５３１が対応するピクチャを含むかを示すことができる。

【0102】

異なるレイヤ５３１～５３２におけるピクチャ５１１～５１８は、択一的に表示されるように構成される。したがって、異なるレイヤ５３１～５３２中のピクチャ５１１～５１８は、同じテンポラル識別子（ＩＤ）を共有することができ、同じＡＵ中に含まれ得る。本明細書で使用される場合、ＡＵは、ＤＰＢからの出力のための同じ表示時間に関連付けられた１または複数のコード化済みピクチャのセットである。例えば、例として、デコーダは、より小さいピクチャが所望される場合、現在の表示時間においてピクチャ５１５を復号および表示することができ、またはデコーダは、より大きいピクチャが所望される場合、現在の表示時間においてピクチャ５１１を復号および表示することができる。したがって、上位レイヤＮ＋１ ５３２におけるピクチャ５１１～５１４は、（ピクチャサイズの違いにもかかわらず）下位レイヤＮ ５３１における対応するピクチャ５１５～５１８と実質的に同じ画像データを含む。具体的には、ピクチャ５１１はピクチャ５１５と実質的に同じ画像データを含み、ピクチャ５１２はピクチャ５１６と実質的に同じ画像データを含み、以下同様である。

【0103】

ピクチャ５１１～５１８は、同じレイヤＮ ５３１またはＮ＋１ ５３２中の他のピクチャ５１１～５１８を参照することによってコード化され得る。同じレイヤ中の別のピクチャを参照してピクチャをコード化することで、インター予測５２３が得られ、これは、単方向インター予測および／または双方向インター予測と互換性を有している。インター予測５２３は、実線矢印によって示されている。例えば、ピクチャ５１３は、レイヤＮ＋１ ５３２中のピクチャ５１１、５１２、および／または５１４のうちの１つまたは２つを参照として使用するインター予測５２３を採用することによってコード化されてもよく、ここで、１つのピクチャは単方向インター予測のために参照され、かつ／または２つのピクチャは双方向インター予測のために参照される。さらに、ピクチャ５１７は、レイヤＮ ５３１中のピクチャ５１５、５１６、および／または５１８のうちの１つまたは２つを参照として使用するインター予測５２３を採用することによってコード化されてもよく、ここで、１つのピクチャは、単方向インター予測のために参照され、かつ／または２つのピクチャは、双方向インター予測のために参照される。ピクチャが、インター予測５２３を実行する際に同じレイヤ中の別のピクチャのための参照として使用される場合、ピクチャは参照ピクチャと称されることがある。例えば、ピクチャ５１２は、インター予測５２３に従ってピクチャ５１３をコード化するために使用される参照ピクチャであってもよい。インター予測５２３は、マルチレイヤコンテキストにおいてイントラレイヤ予測と称されることもある。したがって、インター予測５２３は、参照ピクチャとカレントピクチャとが同じレイヤ中にある場合に、カレントピクチャとは異なる参照ピクチャ中の示されたサンプルを参照することによってカレントピクチャのサンプルをコード化するメカニズムである。

【0104】

ピクチャ５１１～５１８はまた、異なるレイヤ中の他のピクチャ５１１～５１８を参照することによってコード化され得る。このプロセスは、インターレイヤ予測５２１として知られており、破線矢印によって示されている。インターレイヤ予測５２１は、カレントピクチャと参照ピクチャとが異なるレイヤ中にあり、それにより異なるレイヤＩＤを有する場合に、参照ピクチャ中の示されたサンプルを参照することによってカレントピクチャのサンプルをコード化するメカニズムである。例えば、下位レイヤＮ ５３１中のピクチャは、上位レイヤＮ＋１ ５３２における対応するピクチャをコード化するための参照ピクチャとして使用されてもよい。特定の例として、ピクチャ５１１は、インターレイヤ予測５２１に従ってピクチャ５１５を参照することによってコード化され得る。かかる場合、ピクチャ５１５はインターレイヤ参照ピクチャとして使用される。インターレイヤ参照ピクチャは、インターレイヤ予測５２１に使用される参照ピクチャである。ほとんどの場合、インターレイヤ予測５２１は、ピクチャ５１１などのカレントピクチャが、同じＡＵに含まれ、ピクチャ５１５などの下位レイヤにあるインターレイヤ参照ピクチャのみを使用できるように制約される。複数のレイヤ（例えば、３つ以上）が利用可能であるとき、インターレイヤ予測５２１は、カレントピクチャよりも低いレベルの複数のインターレイヤ参照ピクチャに基づいてカレントピクチャを符号化／復号することができる。

【0105】

ビデオエンコーダは、レイヤベース予測５００を採用して、インター予測５２３およびインターレイヤ予測５２１の多くの異なる組み合わせおよび／または置換を介してピクチャ５１１～５１８を符号化することができる。例えば、ピクチャ５１５は、イントラ予測に従ってコード化されてもよい。ピクチャ５１６～５１８は、次いで、ピクチャ５１５を参照ピクチャとして使用することによって、インター予測５２３に従ってコード化され得る。さらに、ピクチャ５１１は、ピクチャ５１５をインターレイヤ参照ピクチャとして使用することによって、インターレイヤ予測５２１に従ってコード化され得る。ピクチャ５１２～５１４は、次いで、ピクチャ５１１を参照ピクチャとして使用することによって、インター予測５２３に従ってコード化され得る。したがって、参照ピクチャは、異なるコーディングメカニズムのためのシングルレイヤ参照ピクチャとインターレイヤ参照ピクチャとの両方として機能し得る。下位レイヤＮ ５３１ピクチャに基づいて上位レイヤＮ＋１ ５３２ピクチャをコード化することによって、上位レイヤＮ＋１ ５３２は、インター予測５２３およびインターレイヤ予測５２１よりもコーディング効率が極めて低いイントラ予測を採用することを回避することができる。したがって、イントラ予測の低いコーディング効率は、最小／最低品質のピクチャに限定され得、それにより、最小量のビデオデータをコード化することに限定することができる。参照ピクチャおよび／またはインターレイヤ参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリ中で示され得る。

【0106】

図５中の各ＡＵ５０６は、複数のピクチャを含み得る。例えば、１つのＡＵ５０６は、ピクチャ５１１および５１５を含んでもよい。別のＡＵ５０６は、ピクチャ５１２および５１６を含んでもよい。実際、各ＡＵ５０６は、（例えば、ユーザに表示するための）復号済みピクチャバッファ（ＤＰＢ）からの出力のための同じ表示時間（例えば、同じテンポラルＩＤ）に関連付けられた１または複数のコード化済みピクチャのセットである。各ＡＵＤ５０８は、ＡＵ（例えば、ＡＵ５０８）の開始またはＡＵ間の境界を示すために使用されるインジケータまたはデータ構造である。

【0107】

過去のＨ．２６ｘビデオコーディングファミリは、単一レイヤコーディングのためのプロファイルとは別のプロファイルにおけるスケーラビリティのサポートを提供している。スケーラブルビデオコーディング（ＳＶＣ）は、空間スケーラビリティ、時間スケーラビリティ、および品質スケーラビリティのサポートを提供するＡＶＣ／Ｈ．２６４のスケーラブル拡張機能である。ＳＶＣの場合、ＥＬ ＭＢが下位レイヤからのコロケートブロックを使用して予測されるかどうかを示すために、ＥＬピクチャ中の各マクロブロック（ＭＢ）中でフラグがシグナリングされる。コロケートされたブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含み得る。ＳＶＣの実装形態は、それらの設計において、修正されていないＨ．２６４／ＡＶＣ実装形態を直接再使用することはできない。ＳＶＣ ＥＬマクロブロックシンタックスおよび復号プロセスは、Ｈ．２６４／ＡＶＣシンタックスおよび復号プロセスとは異なる。

【0108】

スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間スケーラビリティおよび品質スケーラビリティのサポートを提供するＨＥＶＣ／Ｈ．２６５規格の拡張機能であり、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、マルチビュースケーラビリティのサポートを提供するＨＥＶＣ／Ｈ．２６５の拡張機能であり、３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣよりも高度で効率的な３次元（３Ｄ）ビデオコーディングのサポートを提供するＨＥＶＣ／Ｈ．２６４の拡張機能である。時間スケーラビリティは、単一レイヤＨＥＶＣコーデックの一体部分として含まれることに留意されたい。ＨＥＶＣのマルチレイヤ拡張機能の設計は、インターレイヤ予測のために使用される復号済みピクチャが同じアクセスユニット（ＡＵ）からのみ取得され、長期参照ピクチャ（ＬＴＲＰ）として扱われ、現在のレイヤ中の他の時間参照ピクチャとともに参照ピクチャリスト中の参照インデックスを割り当てられるという考えを採用している。インターレイヤ予測（ＩＬＰ）は、参照ピクチャリスト中のインターレイヤ参照ピクチャを参照するように参照インデックスの値を設定することによって、予測ユニット（ＰＵ）レベルで達成される。

【0109】

特に、参照ピクチャリサンプリングおよび空間スケーラビリティ特徴の両方は、参照ピクチャまたはその一部のリサンプリングを必要とする。参照ピクチャリサンプリング（ＲＰＲ）は、ピクチャレベルまたはコーディングブロックレベルのいずれかで実現することができる。しかしながら、ＲＰＲがコーディング特徴として参照されるとき、それは単一レイヤコーディングのための特徴である。それでも、単一レイヤコーディングのＲＰＲ特徴およびマルチレイヤコーディングの空間スケーラビリティ特徴の両方に同じリサンプリングフィルタを使用することは、コーデック設計の観点から可能であり、また望ましいとさえ言える。

【0110】

図６は、出力レイヤセット（ＯＬＳ）を利用するレイヤベース予測６００の例を示しており、レイヤベース予測６００を実行して、例えば、ブロック圧縮ステップ１０５、ブロック復号ステップ１１３、動き推定コンポーネント２２１、動き補償コンポーネント２１９、動き補償コンポーネント３２１、および／または動き補償コンポーネント４２１においてＭＶが決定される。レイヤベース予測６００は、単方向インター予測および／または双方向インター予測と互換性があるが、異なるレイヤ中のピクチャ間でも実行される。図６のレイヤベース予測は、図５のレイヤベース予測と同様である。したがって、簡潔にするために、レイヤベースの予測の完全な説明は繰り返さない。

【0111】

図６のコード化済みビデオシーケンス（ＣＶＳ）６９０中のレイヤの一部は、ＯＬＳ中に含まれる。ＯＬＳは、１または複数のレイヤが出力レイヤとして特定されるレイヤのセットである。出力レイヤは、出力されるＯＬＳのレイヤである。図６は、３つの異なるＯＬＳ、すなわちＯＬＳ１、ＯＬＳ２、およびＯＬＳ３を示している。図示のように、ＯＬＳ１は、レイヤＮ ６３１およびレイヤＮ＋１ ６３２を含む。ＯＬＳ２は、レイヤＮ ６３１、レイヤＮ＋１ ６３２、レイヤＮ＋２ ６３３、およびレイヤＮ＋１ ６３４を含む。ＯＬＳ３は、レイヤＮ ６３１、レイヤＮ＋１ ６３２、およびレイヤＮ＋２ ６３３を含む。３つのＯＬＳが示されているが、実際のアプリケーションでは異なる数のＯＬＳを使用することができる。

【0112】

異なるＯＬＳの各々は、任意の数のレイヤを含み得る。異なるＯＬＳは、種々のコーディング能力を有する種々の異なるデバイスのコーディング能力に対応するために生成される。例えば、２つのレイヤのみを含むＯＬＳ１は、比較的限られたコーディング能力を有する携帯電話を収容するために生成されてもよい。一方、４つのレイヤを含むＯＬＳ２は、携帯電話よりも高いレイヤを復号することができる大画面テレビを収容するために生成されてもよい。３つのレイヤを含むＯＬＳ３は、パーソナルコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータを収容するために生成されてもよい。これらは、携帯電話よりも上位のレイヤを復号することが可能であり得るが、大画面テレビのような最上位レイヤを復号することができない。

【0113】

図６のレイヤは全て互いに独立していてもよい。すなわち、各レイヤは、インターレイヤ予測（ＩＬＰ）を使用せずにコード化されてもよい。この場合、レイヤはサイマルキャストレイヤと称される。図６中のレイヤのうち１または複数はまた、ＩＬＰを使用してコード化され得る。レイヤがサイマルキャストレイヤであるかどうか、またはレイヤのうちの一部がＩＬＰを使用してコード化されるかどうかは、ビデオパラメータセット（ＶＰＳ）中のフラグによってシグナリングされ、これについては以下でより完全に説明する。一部のレイヤがＩＬＰを使用する場合、レイヤ間のレイヤ依存関係もＶＰＳ中でシグナリングされる。

【0114】

一実施形態では、レイヤがサイマルキャストレイヤである場合、１つのレイヤのみが復号および出力のために選択される。一実施形態では、一部のレイヤがＩＬＰを使用する場合、レイヤの全て（例えば、ビットストリーム全体）が復号されるように特定され、レイヤの中の一部のレイヤが出力レイヤであるように特定される。１または複数の出力レイヤは、例えば、１）最上位レイヤのみ、２）全てのレイヤ、または３）最上位レイヤと示された下位レイヤとのセットであり得る。例えば、最上位レイヤに加えて示された下位レイヤのセットがＶＰＳ中のフラグによって出力のために指定されるとき、ＯＬＳ２からのレイヤＮ＋３ ６３４（最上位レイヤである）ならびにレイヤＮ ６３１およびＮ＋１ ６３２（下位レイヤである）が出力される。

【0115】

図７は、時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンス７００を示す概略図である。マルチレイヤビデオシーケンス７００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号されてもよい。マルチレイヤビデオシーケンス７００は、コード化済みビデオシーケンス中のレイヤのための別の例示的な適用を示すために含まれる。例えば、マルチレイヤビデオシーケンス７００は、別個の実施形態として採用されてもよく、またはマルチレイヤビデオシーケンス５００もしくは６００に関して説明した技術と組み合わされてもよい。

【0116】

マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および７３０を含む。サブレイヤは、特定のテンポラル識別子値を有するＶＣＬ ＮＡＬユニット（例えば、ピクチャ）と、関連する非ＶＣＬ ＮＡＬユニット（例えば、サポートパラメータ）とを含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。サブレイヤ７１０はベースレイヤと称されることがあり、サブレイヤ７２０および７３０はエンハンスメントレイヤと称されることがある。図示のように、サブレイヤ７１０は、毎秒３０フレームなどの第１のフレームレートでピクチャ７１１を含む。サブレイヤ７１０はベース／最低フレームレートを含むので、サブレイヤ７１０はベースレイヤである。サブレイヤ７２０は、サブレイヤ７１０のピクチャ７１１から時間的にオフセットされたピクチャ７２１を含む。その結果、サブレイヤ７１０とサブレイヤ７２０とを組み合わせることができ、その結果、サブレイヤ７１０単独のフレームレートよりも全体として高いフレームレートが得られる。例えば、サブレイヤ７１０および７２０は、毎秒６０フレームの結合フレームレートを有してもよい。したがって、サブレイヤ７２０は、サブレイヤ７１０のフレームレートを向上させる。さらに、サブレイヤ７３０は、やはりサブレイヤ７２０および７１０のピクチャ７２１および７１１から時間的にオフセットされたピクチャ７３１を含む。したがって、サブレイヤ７３０をサブレイヤ７２０および７１０と組み合わせて、サブレイヤ７１０をさらに向上させることができる。例えば、サブレイヤ７１０、７２０、および７３０は、毎秒９０フレームの結合フレームレートを有してもよい。

【0117】

サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０を組み合わせることによって動的に作成することができる。サブレイヤ表現７４０は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。図示の例では、サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および７３０の合成ピクチャ７１１、７２１、および７３１であるピクチャ７４１を含む。したがって、マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および／または７３０の所望のセットを含むサブレイヤ表現７４０を選択することによって、所望のフレームレートに時間的にスケーリングすることができる。サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０をレイヤとして含むＯＬＳを採用することによって作成され得る。かかる場合、サブレイヤ表現７４０が出力レイヤとして選択される。したがって、時間スケーラビリティは、マルチレイヤメカニズムを使用して達成され得る複数のメカニズムのうちの１つである。

【0118】

ＨＥＶＣ、ＳＨＶＣ、ＭＶ－ＨＥＶＣ、およびＶＶＣなどのビデオコーディング規格は、プロファイル、階層、およびレベルを特定し、シグナリングする。プロファイル、階層、およびレベルは、ビットストリームに対する制限を特定しており、それにより、ビットストリームを復号するために必要とされる能力に対する制限を特定する。プロファイル、階層、およびレベルはまた、個々のデコーダ実装形態間の相互運用性ポイントを示すために使用され得る。プロファイルは、準拠または適合ビットストリームを作成するために使用されるコーディングツールの定義されたセットである。各プロファイルは、そのプロファイルに適合する全てのデコーダによってサポートされるアルゴリズムの特徴および制限のサブセットを特定する。

【0119】

レベルは、ビットストリームに関する制約のセット（例えば、最大輝度サンプルレート、解像度に関する最大ビットレートなど）である。すなわち、レベルは、特定されたプロファイルのビットストリームを再生するために必要とされるデコーダ性能を示す制約のセットである。

【0120】

レベルは、メインおよびハイの２つの階層に分割される。メイン階層は、ハイ階層よりも下位の階層である。階層は、最大ビットレートが異なるアプリケーションを処理するために作成されている。メイン階層は大部分のアプリケーションのために設計され、一方、ハイ階層は非常に要求の厳しいアプリケーションのために設計されている。レベルに対応する制約および／または階層のセットは、本明細書ではレベル情報と称され得る。

【0121】

階層の各レベルは、特定の規格（例えば、ＨＥＶＣ、ＶＶＣ）のシンタックス要素によって取得され得る値に対する一連の制限を特定する。同じセットの階層およびレベル定義が全てのプロファイルとともに使用されるが、個々の実装形態は、異なる階層をサポートし、階層内ではサポートされるプロファイルごとに異なるレベルをサポートすることができる。任意の所与のプロファイルについて、階層のレベルは、概して、特定のデコーダ処理負荷およびメモリ能力に対応する。

【0122】

ＨＥＶＣ規格を使用して、異なるプロファイルのレベルと階層の代表的な例を以下の表１に示す。

【表1】

【0123】

復号済みピクチャバッファ（ＤＰＢ）パラメータは、ＤＰＢサイズと、所望により、最大ピクチャ並べ替え数および最大レイテンシ情報とを与えるシンタックス構造である。最大ピクチャ並べ替え数および最大レイテンシ情報は、略語ＭＲＭＬによってまとめて参照され得る。一実施形態では、上記の表に示されているレベルのうち１または複数が、ＤＰＢパラメータとともにシグナリングされる。

【0124】

一実施形態では、最大ピクチャ並べ替え数はｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］と指定され、これは、Ｈｔｉｄがｉに等しい場合に、復号順序でＯＬＳ中の任意のピクチャに先行し、出力順序でそのピクチャに後続し得るＯＬＳのピクチャの最大許容数を特定する。ｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］の値は、両端値を含む０～ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の範囲内にあるものとする。ｉが０より大きい場合、ｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］はｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ－１］以上であるものとする。ｓｕｂＬａｙｅｒＩｎｆｏＦｌａｇが０に等しいために、ｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］が、両端値を含む０～ＭａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１－１の範囲内のｉについて存在しないとき、ｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＭａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］に等しいと推論される。Ｈｔｉｄは、復号される最上位時間サブレイヤを識別する変数である。

【0125】

ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］プラス１は、Ｈｔｉｄがｉに等しい場合、ピクチャ記憶バッファの単位でＤＰＢの最大必要サイズを特定する。ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０～ＭａｘＤｐｂＳｉｚｅ－１の範囲内にあるものとし、ここで、ＭａｘＤｐｂＳｉｚｅは、ＶＶＣ規格のＡ．４．２節において特定されている通りである。ｉが０より大きい場合、ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］はｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ－１］以上であるものとする。ｓｕｂＬａｙｅｒＩｎｆｏＦｌａｇが０に等しいために、ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］が、両端値を含む０～ＭａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１－１の範囲内のｉについて存在しないとき、ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＭａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］に等しいと推論される。

【0126】

一実施形態では、最大レイテンシ情報は、ｄｐｂ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］で指定される。０に等しくないｄｐｂ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］は、ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］の値を計算するために使用される。ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］は、Ｈｔｉｄがｉに等しい場合、出力順序でＯＬＳ中の任意のピクチャに先行し、復号順序でそのピクチャに後続し得るＯＬＳ中のピクチャの最大数を特定する。

【0127】

ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］＝ｄｐｂ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］＋ｄｐｂ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］－１。

【0128】

例えば、ＳＨＶＣおよびＭＶ－ＨＥＶＣにおけるように、ＯＬＳが特定されるとき、任意の特定のレイヤが複数のＯＬＳ中に含まれてもよい。特定のレイヤは、一部のＯＬＳにおいて出力レイヤであり得、同時に、一部の他のＯＬＳにおいて非出力レイヤであり得る。あるレイヤが与えられた場合、そのレイヤが出力レイヤであるか非出力レイヤであるかの主な違いは、ＤＰＢサイズである。したがって、利用可能なＤＰＢには２つの選択肢しかない。すなわち、レイヤの第３のＤＰＢサイズは使用できない。したがって、任意の特定のレイヤについて最大で２つのＤＰＢサイズをシグナリングすることで十分である。しかしながら、レイヤがＯＬＳ中に含まれるたびに特定のレイヤについてのＤＰＢサイズおよび／またはレベル情報をシグナリングすることは不要であり、３つよりも多くのＯＬＳがある場合はビットを浪費する可能性がある。

【0129】

ＳＨＶＣおよびＭＶ－ＨＥＶＣでは、ＤＰＢサイズは、各レイヤ（例えば、レイヤＮ ６３１およびＮ＋１ ６３２）またはＯＬＳ（例えば、ＯＬＳ１）中に含まれる各サブレイヤについて特定され、シグナリングされる。例として図６を使用すると、レイヤＮ ６３１およびＮ＋１ ６３２がＯＬＳ１に含まれるので、それらのレイヤについてＤＰＢサイズがシグナリングされる。また、レイヤＮ ６３１、Ｎ＋１ ６３２、Ｎ＋２ ６３３、およびＮ＋３ ６３４のレイヤがＯＬＳ２に含まれるので、それらのレイヤについてＤＰＢサイズがシグナリングされる。加えて、レイヤＮ ６３１、Ｎ＋１ ６３２、およびＮ＋２ ６３３がＯＬＳ３に含まれるので、それらのレイヤについてＤＰＢサイズがシグナリングされる。したがって、レイヤＮ ６３１に対応するＤＰＢサイズは、そのレイヤがＯＬＳの３つ全て、すなわちＯＬＳ１、ＯＬＳ２、およびＯＬＳ３に含まれるので、３回シグナリングされることになる。同様に、レイヤＮ＋１ ６３２に対応するＤＰＢサイズも、そのレイヤがＯＬＳの３つ全て、すなわちＯＬＳ１、ＯＬＳ２、およびＯＬＳ３に含まれるので、３回シグナリングされることになる。最後に、レイヤＮ＋２ ６３３に対応するＤＰＢサイズは、そのレイヤがＯＬＳのうちの２つ、すなわちＯＬＳ１およびＯＬＳ２に含まれるので、２回シグナリングされることになる。かかる同じＤＰＢサイズ（またはＤＢＰパラメータ）を繰り返しシグナリングすることは冗長であり、コーディング非効率性につながる。

【0130】

マルチレイヤビデオビットストリーム中に含まれる出力レイヤセット（ＯＬＳ）の数にかかわらず、復号済みピクチャバッファ（ＤＰＢ）パラメータ（例えば、ＤＰＢサイズなど）および／またはレベル情報がレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証する技術が本明細書で開示される。すなわち、ＤＰＢパラメータおよびレベル情報は、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータおよびレベル情報は、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0131】

図８は、ビデオビットストリーム８００の一実施形態を示している。本明細書で使用されるとき、ビデオビットストリーム８００は、コード化済みビデオビットストリーム、ビットストリーム、またはそれらの変形形態と称されることもある。図８に示すように、ビットストリーム８００は、少なくとも１つのピクチャユニット（ＰＵ）８０１を含む。ＰＵ８０１のうちの３つが図８に示されているが、実際の適用例では、異なる数のＰＵ８０１がビットストリーム８００中に存在し得る。各ＰＵ８０１は、特定された分類ルールに従って互いに関連付けられ、復号順序で連続し、厳密に１つのコード化済みピクチャ（例えば、ピクチャ８１４）を含むＮＡＬユニットのセットである。

【0132】

一実施形態では、各ＰＵ８０１は、復号能力情報（ＤＣＩ）８０２、ビデオパラメータセット（ＶＰＳ）８０４、シーケンスパラメータセット（ＳＰＳ）８０６、ピクチャパラメータセット（ＰＰＳ）８０８、ピクチャヘッダ（ＰＨ）８１２、およびピクチャ８１４のうち１または複数を含む。ＤＣＩ８０２、ＶＰＳ８０４、ＳＰＳ８０６、およびＰＰＳ８０８の各々は、総称してパラメータセットと称され得る。一実施形態では、図８に示されていない他のパラメータセット、例えば、適応パラメータセット（ＡＰＳ）なども、ビットストリーム８００中に含まれ得、ＡＰＳは、スライスヘッダ中に見出される０個以上のシンタックス要素によって決定される０個以上のスライスに適用されるシンタックス要素を含むシンタックス構造である。

【0133】

復号パラメータセット（ＤＰＳ）またはデコーダパラメータセットと称されることもあるＤＣＩ８０２は、ビットストリーム全体に適用されるシンタックス要素を含むシンタックス構造である。ＤＣＩ８０２は、ビデオビットストリーム（例えば、ビットストリーム８００）の寿命にわたって一定のままであるパラメータを含み、これは、セッションの寿命に変換することができる。ＤＣＩ８０２は、プロファイル、レベル、およびサブプロファイル情報を含み、ビデオシーケンスのスプライシングがセッション内で発生する場合であっても決して超えないことが保証される最大複雑度インターオペポイントを決定することができる。それはさらに、所望により制約フラグを含み、制約フラグは、ビデオビットストリームが、それらのフラグの値によって示される特定の特徴の使用が制約されることを示す。これにより、ビットストリームは、特定のツールを使用しないものとしてラベル付けすることができ、これにより、特に、デコーダ実装形態におけるリソース割り振りが可能になる。全てのパラメータセットと同様に、ＤＣＩ８０２は、最初に参照されるときに存在し、ビデオシーケンス内のまさに第１のピクチャによって参照される。これは、ビットストリーム内の第１のＮＡＬユニットの間で送信する必要があることを示唆している。複数のＤＣＩ８０２がビットストリーム内に存在し得るが、その中のシンタックス要素の値は、参照されるときに矛盾することはない。

【0134】

ＶＰＳ８０４は、エンハンスメントレイヤの参照ピクチャセット構成のための復号依存性または情報を含む。ＶＰＳ８０４は、どのタイプのオペレーションポイントが提供されるか、オペレーションポイントのプロファイル、階層、およびレベル、ならびにセッションネゴシエーションおよびコンテンツ選択などのための基礎として使用され得るビットストリームの一部の他の高レベルプロパティを含む、スケーラブルシーケンスの全体的な展望またはビューを提供する。

【0135】

一実施形態では、レイヤのうちの一部がＩＬＰを使用することが示される場合、ＶＰＳ８０４は、ＶＰＳによって特定されるＯＬＳの総数がレイヤの数に等しいことを示し、ｉ番目のＯＬＳが両端値を含む０～ｉのレイヤインデックスを有するレイヤを含むことを示し、各ＯＬＳについて、ＯＬＳ中の最上位レイヤのみが出力されることを示す。

【0136】

ＳＰＳ８０６は、ピクチャシーケンス（ＳＯＰ）内の全てのピクチャに共通のデータを含む。ＳＰＳ８０６は、各ピクチャヘッダ内に見出されるシンタックス要素によって参照されるＰＰＳ内に見出されるシンタックス要素の内容によって決定される、０以上のＣＬＶＳ全体に適用されるシンタックス要素を含むシンタックス構造である。対照的に、ＰＰＳ８０８は、ピクチャ全体に共通のデータを含む。ＰＰＳ８０８は、各ピクチャヘッダ（例えば、ＰＨ８１２）内に見出されるシンタックス要素によって決定されるような０以上のコード化済みピクチャ全体に適用されるシンタックス要素を含むシンタックス構造である。

【0137】

一実施形態では、ＶＰＳ８０４および／またはＳＰＳ８０６は、本明細書で開示される実施形態のうち１または複数を実装するために、以下のＳＰＳシンタックスおよびセマンティクスを含む。

【0138】

ＳＰＳシンタックスは、以下を含む。

【表2】

【0139】

ＳＰＳセマンティクスは、以下を含む。

【0140】

ＳＰＳ ＲＢＳＰは、参照される前に復号プロセスに利用可能であるか、０に等しいＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのアクセスユニットに含まれるか、または外部手段を介して提供されるものとし、ＳＰＳ ＲＢＳＰを含むＳＰＳ ＮＡＬユニットは、それを参照するＰＰＳ ＮＡＬユニットの最低ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するものとする。

【0141】

ＣＶＳ中のｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有する全てのＳＰＳ ＮＡＬユニットは、同じコンテンツを有するものとする。

【0142】

ｓｐｓ＿ｄｅｃｏｄｉｎｇ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、０より大きい場合、ＳＰＳによって参照されるＤＰＳのｄｐｓ＿ｄｅｃｏｄｉｎｇ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を特定する。ｓｐｓ＿ｄｅｃｏｄｉｎｇ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが０に等しい場合、ＳＰＳはＤＰＳを参照せず、ＳＰＳを参照する各ＣＬＶＳを復号するときにＤＰＳは参照されない。ｓｐｓ＿ｄｅｃｏｄｉｎｇ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、ビットストリーム内のコード化済みピクチャによって参照される全てのＳＰＳにおいて同一であるものとする。

【0143】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、０より大きい場合、ＳＰＳによって参照されるＶＰＳのｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を特定する。ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが０に等しい場合、ＳＰＳはＶＰＳを参照せず、ＳＰＳを参照する各ＣＬＶＳを復号するときにＶＰＳは参照されない。

【0144】

ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１プラス１は、ＳＰＳを参照する各ＣＬＶＳ中に存在し得る時間サブレイヤの最大数を特定する。ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるものとする。

【0145】

ｓｐｓ＿ｒｅｓｅｒｖｅｄ＿０＿４ｂｉｔｓは、本明細書のこのバージョンに適合するビットストリームにおいて０に等しいものとする。ｓｐｓ＿ｒｅｓｅｒｖｅｄ＿０＿４ｂｉｔｓの他の値は、ＩＴＵ－Ｔ ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。

【0146】

１に等しいｓａｍｅ＿ｎｏｎｏｕｔｐｕｔ＿ｌｅｖｅｌ＿ａｎｄ＿ｄｐｂ＿ｓｉｚｅ＿ｆｌａｇは、レベルおよびＤＰＢサイズパラメータの同じセットが、レイヤが出力レイヤであるかどうかに応じてＳＰＳを参照する各レイヤに適用されることを特定する。０に等しいｓａｍｅ＿ｎｏｎｏｕｔｐｕｔ＿ｌｅｖｅｌ＿ａｎｄ＿ｄｐｂ＿ｓｉｚｅ＿ｆｌａｇは、レベルおよびＤＰＢサイズパラメータの２つの別個のセットが、レイヤが出力レイヤであるかどうかに応じてＳＰＳを参照する各レイヤに適用されることを特定する。

【0147】

代替的に、２つの別個のフラグが使用され、一方は、レイヤが出力レイヤであるかどうかにかかわらず、ＳＰＳを参照する各レイヤにレベルパラメータの同じセットが適用されるかどうかを特定し、他方は、レイヤが出力レイヤであるかどうかにかかわらず、ＳＰＳを参照する各レイヤにＤＰＢサイズパラメータの同じセットが適用されるかどうかを特定する。

【0148】

一実施形態では、ＶＰＳ８０４および／またはＳＰＳ８０６は、本明細書で開示される実施形態のうち１または複数を実装するために、以下のＤＰＢシンタックスおよびセマンティクスを含む。

【0149】

ＤＰＢシンタックスは、以下を含む。

【表3】

【0150】

ＤＰＢセマンティクスは、以下を含む。

【0151】

ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報と、所望により、最大ピクチャ並べ替え数および最大レイテンシ情報（ＭＲＭＬ情報として示される）とを提供する。

【0152】

各ＳＰＳは、１または複数のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含む。ＳＰＳ中の第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報とＭＲＭＬ情報との両方を含む。存在する場合、ＳＰＳ中の第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報のみを含む。ＳＰＳ内の第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内のＭＲＭＬ情報は、レイヤがＯＬＳ内の出力レイヤであるかどうかにかかわらず、ＳＰＳを参照するレイヤに適用される。ＳＰＳ内の第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内のＤＰＢサイズ情報は、レイヤがＯＬＳの出力レイヤであるとき、ＳＰＳを参照するレイヤに適用される。ＳＰＳ中の第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に含まれるＤＰＢサイズ情報は、存在する場合、レイヤがＯＬＳの非出力レイヤであるとき、ＳＰＳを参照するレイヤに適用される。ＳＰＳが１つのｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のみを含むとき、非出力レイヤとしてのレイヤについてのＤＰＢサイズ情報は、出力レイヤとしてのレイヤについてのＤＰＢサイズ情報と同じであると推論される。

【0153】

ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］プラス１は、Ｈｔｉｄがｉに等しい場合、ピクチャ記憶バッファの単位でＣＬＶＳのための復号済みピクチャバッファの最大必要サイズを特定する。ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０～ＭａｘＤｐｂＳｉｚｅ－１の範囲内にあるものとし、ここで、ＭａｘＤｐｂＳｉｚｅは他の場所で特定されている通りである。ｉが０より大きい場合、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］はｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ－１］以上であるものとする。ｓｐｓ＿ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいために、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］が、両端値を含む０～ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－１の範囲内のｉについて存在しないとき、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１］に等しいと推論される。

【0154】

ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］は、Ｈｔｉｄがｉに等しい場合、復号順序でＣＬＶＳ中の任意のピクチャに先行し、出力順序でそのピクチャに後続し得るピクチャの最大許容数を示す。ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］の値は、両端値を含む０～ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の範囲内にあるものとする。ｉが０より大きい場合、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］はｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ－１］以上であるものとする。ｓｐｓ＿ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいために、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］が、両端値を含む０～ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－１の範囲内のｉについて存在しないとき、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１］に等しいと推論される。

【0155】

０に等しくないｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］は、ＳｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］の値を計算するために使用される。これは、Ｈｔｉｄがｉに等しい場合、出力順序でＣＬＶＳ中の任意のピクチャに先行し、復号順序でそのピクチャに後続し得るピクチャの最大数を特定する。

【0156】

ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が０に等しくない場合、ＳｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］の値は以下のように特定される。

【数1】

【0157】

ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が０に等しい場合、対応する制限は表現されない。

【0158】

ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］の値は、両端値を含む０～２^３２－２の範囲内にあるものとする。ｓｐｓ＿ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいために、ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が、両端値を含む０～ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－１の範囲内のｉについて存在しないとき、ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１］に等しいと推論される。

【0159】

ＤＣＩ８０２、ＶＰＳ８０４、ＳＰＳ８０６、およびＰＰＳ８０８は、異なるタイプのネットワーク抽象化レイヤ（ＮＡＬ）ユニットに含まれる。ＮＡＬユニットは、後続するデータ（例えば、コード化済みビデオデータ）のタイプの指示を含むシンタックス構造である。ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）および非ＶＣＬ ＮＡＬユニットに分類される。ＶＣＬ ＮＡＬユニットは、ビデオピクチャ中のサンプルの値を表すデータを含み、非ＶＣＬ ＮＡＬユニットは、パラメータセット（複数のＶＣＬ ＮＡＬユニットに適用し得る重要なデータ）および補助強化情報（復号済みビデオ信号の有用性を高めることができるが、ビデオピクチャ中のサンプルの値を復号するのに必要ではないタイミング情報および他の補足データ）などの任意の関連する追加情報を含む。

【0160】

一実施形態では、ＤＣＩ８０２は、ＤＣＩ ＮＡＬユニットまたはＤＰＳ ＮＡＬユニットとして指定された非ＶＣＬ ＮＡＬユニットに含まれる。すなわち、ＤＣＩ ＮＡＬユニットはＤＣＩ ＮＡＬユニットタイプ（ＮＵＴ）を有し、ＤＰＳ ＮＡＬユニットはＤＰＳ ＮＵＴを有する。一実施形態では、ＶＰＳ８０４は、ＶＰＳ ＮＡＬユニットとして指定された非ＶＣＬ ＮＡＬユニットに含まれる。したがって、ＶＰＳ ＮＡＬユニットはＶＰＳ ＮＵＴを有する。一実施形態では、ＳＰＳ８０６は、ＳＰＳ ＮＡＬユニットとして指定された非ＶＣＬ ＮＡＬユニットである。したがって、ＳＰＳ ＮＡＬユニットはＳＰＳ ＮＵＴを有する。一実施形態では、ＰＰＳ８０８は、ＰＰＳ ＮＡＬユニットとして指定された非ＶＣＬ ＮＡＬユニットに含まれる。したがって、ＰＰＳ ＮＡＬユニットはＰＰＳ ＮＵＴを有する。

【0161】

ＰＨ８１２は、コード化済みピクチャ（例えば、ピクチャ８１４）の全てのスライス（例えば、スライス８１８）に適用されるシンタックス要素を含むシンタックス構造である。一実施形態では、ＰＨ８１２は、ＰＨ ＮＡＬユニットと指定された新しいタイプの非ＶＣＬ ＮＡＬユニット内にある。したがって、ＰＨ ＮＡＬユニットはＰＨ ＮＵＴ（例えば、ＰＨ＿ＮＵＴ）を有する。一実施形態では、各ＰＵ８０１に含まれる唯一のＰＨ８１２が存在する。すなわち、ＰＵ８０１は、単一または単独のＰＨ８１２を含む。一実施形態では、ビットストリーム８００内の各ピクチャ８０１に対して正確に１つのＰＨ ＮＡＬユニットが存在する。

【0162】

一実施形態では、ＰＨ８１２に関連付けられたＰＨ ＮＡＬユニットは、テンポラルＩＤおよびレイヤＩＤを有する。テンポラルＩＤ識別子は、ビットストリーム（例えば、ビットストリーム８０１）中の他のＰＨ ＮＡＬユニットに対するＰＨ ＮＡＬユニットの時間的位置を示す。レイヤＩＤは、ＰＨ ＮＡＬユニットを含むレイヤ（例えば、レイヤ５３１またはレイヤ５３２）を示す。一実施形態では、テンポラルＩＤはＰＯＣと同様であるが、ＰＯＣとは異なる。ＰＯＣは、各ピクチャを順番に一意的に識別する。単一レイヤビットストリームでは、テンポラルＩＤおよびＰＯＣは同じである。マルチレイヤビットストリーム（例えば、図５を参照）では、同じＡＵ中のピクチャは、異なるＰＯＣを有するが、同じテンポラルＩＤを有することになる。

【0163】

一実施形態では、ＰＨ ＮＡＬユニットは、関連するピクチャ８１４の第１のスライス８１８を含むＶＣＬ ＮＡＬユニットに先行する。これにより、ＰＨ８１２においてシグナリングされ、スライスヘッダ８２０から参照されるピクチャヘッダＩＤを有する必要なく、ＰＨ８１２と、ＰＨ８１２に関連付けられたピクチャ８１４のスライス８１８との間の関連付けが確立される。その結果、２つのＰＨ８１２間の全てのＶＣＬ ＮＡＬユニットが同じピクチャ８１４に属し、ピクチャ８１４が２つのＰＨ８１２間の第１のＰＨ８１２に関連付けられることが推論され得る。一実施形態では、ＰＨ８１２に続く第１のＶＣＬ ＮＡＬユニットは、ＰＨ８１２に関連付けられたピクチャ８１４の第１のスライス８１８を含む。

【0164】

一実施形態では、ＰＨ ＮＡＬユニットは、それぞれ、ＰＨ ＮＡＬユニットのテンポラルＩＤおよびレイヤＩＤよりも小さいテンポラルＩＤおよびレイヤＩＤの両方を有する、ピクチャレベルパラメータセット（例えば、ＰＰＳ）またはＤＣＩ（別名、ＤＰＳ）、ＶＰＳ、ＳＰＳ、ＰＰＳなどのより高いレベルのパラメータセットに従う。その結果、それらのパラメータセットは、ピクチャまたはアクセスユニット内で繰り返されない。この順序付けのために、ＰＨ８１２を直ちに解決することができる。すなわち、ピクチャ全体に関連するパラメータを含むパラメータセットは、ビットストリーム中でＰＨ ＮＡＬユニットの前に配置される。ピクチャの一部に対するパラメータを含むものは、ＰＨ ＮＡＬユニットの後に配置される。

【0165】

一代替形態では、ＰＨ ＮＡＬユニットは、ピクチャレベルパラメータセットおよびプレフィックス補助強化情報（ＳＥＩ）メッセージ、またはＤＣＩ（別名、ＤＰＳ）、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、ＳＥＩメッセージなどのより高いレベルのパラメータセットに続く。

【0166】

ピクチャ８１４は、モノクロームフォーマットにおける輝度サンプルのアレイ、または４：２：０、４：２：２、および４：４：４カラーフォーマットにおける輝度サンプルのアレイおよび彩度サンプルの２つの対応するアレイである。一実施形態では、各ＰＵ８０１に含まれる唯一のピクチャ８１４が存在する。したがって、各ＰＵ８０１中には、ただ１つのＰＨ８１２と、そのＰＨ８１２に対応するただ１つのピクチャ８１４とが存在する。すなわち、ＰＵ８０１は、単一または単独のピクチャ８１４を含む。

【0167】

ピクチャ８１４は、フレームであってもフィールドであってもよい。しかし、１つのＣＶＳ８１６では、全てのピクチャ８１４がフレームであるか、全てのピクチャ８１４がフィールドであるかのいずれかである。ＣＶＳ８１６は、ビデオビットストリーム８００中の全てのコード化済みレイヤビデオシーケンス（ＣＬＶＳ）についてのコード化済みビデオシーケンスである。特に、ビデオビットストリーム８００が単一のレイヤを含むとき、ＣＶＳ８１６およびＣＬＶＳは同じである。ＣＶＳ８１６およびＣＬＶＳは、ビデオビットストリーム８００が（例えば、図５および図６に示すように）複数のレイヤを含むときにのみ異なる。

【0168】

各ピクチャ８１４は、１または複数のスライス８１８を含む。スライス８１８は、ピクチャ（例えば、ピクチャ８１４）のタイル内の整数個の完全なタイルまたは整数個の連続する完全なＣＴＵ行である。各スライス８１８は、単一のＮＡＬユニット（例えば、ＶＣＬ ＮＡＬユニット）中に排他的に含まれる。タイル（図示せず）は、ピクチャ（例えば、ピクチャ８１４）中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域である。ＣＴＵ（図示せず）は、輝度サンプルのＣＴＢ、３つのサンプルアレイを有するピクチャの彩度サンプルの２つの対応するＣＴＢ、またはモノクロームピクチャもしくはサンプルをコード化するために使用される３つの別個の色平面およびシンタックス構造を使用してコード化されるピクチャのサンプルのＣＴＢである。ＣＴＢ（図示せず）は、Ｎのある値に対するサンプルのＮ×Ｎブロックであり、コンポーネントのＣＴＢへの分割は区分化である。ブロック（図示せず）は、サンプル（例えば、ピクセル）のＭ×Ｎ（Ｍ列×Ｎ行）アレイ、または変換係数のＭ×Ｎアレイである。

【0169】

一実施形態では、各スライス８１８はスライスヘッダ８２０を含む。スライスヘッダ８２０は、スライス８１８中で表されるタイル内の全てのタイルまたはＣＴＵ行に関係するデータ要素を含むコード化済みスライス８１８の一部である。すなわち、スライスヘッダ８２０は、例えば、スライスタイプ、どの参照ピクチャが使用されるかなどのスライス８１８に関する情報を含む。

【0170】

ピクチャ８１４およびそれらのスライス８１８は、符号化または復号されている画像またはビデオに関連するデータを含む。したがって、ピクチャ８１４およびそれらのスライス８１８は、単に、ビットストリーム８００中で搬送されているペイロードまたはデータと称され得る。

【0171】

当業者は、ビットストリーム８００が実際のアプリケーションにおいて他のパラメータおよび情報を含んでもよいことを理解するであろう。

【0172】

図９は、ビデオデコーダ（例えば、ビデオデコーダ４００）によって実装される復号の方法９００の一実施形態である。方法９００は、ビットストリームがビデオエンコーダ（例えば、ビデオエンコーダ３００）から直接または間接的に受信された後に実行され得る。方法９００は、マルチレイヤビデオビットストリームに含まれるＯＬＳの数にかかわらず、ＤＰＢパラメータがレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証することによって復号プロセスを改善する。すなわち、ＤＰＢパラメータは、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータは、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0173】

ブロック９０２において、ビデオデコーダはビデオビットストリームを受信する。ビデオビットストリームは、複数のレイヤ（例えば、レイヤ６３１～６３５）を含む。ビデオビットストリームはまた、複数のレイヤ（例えば、レイヤ６３１～６３５）からの１または複数のレイヤを各々が含む（例えば、ＯＬＳ１はレイヤ６３１～６３２を含み、ＯＬＳ２はレイヤ６３１～６３４を含み、ＯＬＳ３はレイヤ６３１～６３３を含む）複数の出力レイヤセット（例えば、ＯＬＳ１、ＯＬＳ２、およびＯＬＳ３）を特定するビデオパラメータセット（例えば、ＶＰＳ８０４）を含む。加えて、ビデオビットストリームは、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（例えば、ＳＰＳ８０６）を含む。

【0174】

例として図６を使用すると、レイヤ（例えば、レイヤ６３１）がＯＬＳのうちの２つ以上に含まれる場合であっても、ＳＰＳは、ＤＰＢパラメータの４つのセット、すなわち、レイヤ６３１のためのＤＰＢパラメータのセット、レイヤ６３２のためのＤＰＢパラメータのセット、レイヤ６３３のためのＤＰＢパラメータのセット、およびレイヤ６３４のためのＤＰＢパラメータのセットのみを含むことになる。したがって、ＤＰＢパラメータのセットは、特定のレイヤが２つ以上のＯＬＳ中に含まれるかどうかにかかわらず、ＳＰＳ中の任意の特定のレイヤについて繰り返されず、これにより、コーディング効率が改善する。したがって、例として図６を使用すると、ＳＰＳは、４つのＤＰＳサイズ、４つのレベル、および／または４セットのＭＲＭＬ情報のみを含むことになる。

【0175】

一実施形態では、ＳＰＳにおいてシグナリングされるＤＰＢパラメータのセットの数は、レイヤの総数に等しい。例えば、合計５つのレイヤが利用可能であり、したがって、ＳＰＳは、ＤＰＢパラメータの５つのセットのみを搬送する。

【0176】

ブロック９０４において、ビデオデコーダは、復号済みピクチャを取得するために、複数のレイヤのうちの１つからピクチャを復号する。一実施形態において、ＤＰＢパラメータは、ＤＰＢ内のスペースを割り振るために使用される。ＤＰＢ内のこの空間は、復号プロセスにおいてピクチャを復号するために使用される。

【0177】

一実施形態では、方法９００は、復号の前に１または複数のレイヤのうちの１つから出力レイヤを選択することをさらに含む。一実施形態では、方法９００は、出力レイヤが選択された後に、出力レイヤからピクチャを選択することをさらに含む。

【0178】

一実施形態では、ＤＰＢパラメータのセットは、第１のＤＰＢサイズおよび第２のＤＰＢサイズを含む。一実施形態では、第１のＤＰＢサイズは、１または複数のレイヤからの出力レイヤに対応し、第２のＤＰＢサイズは、１または複数のレイヤからの非出力レイヤに対応する。一実施形態では、ＤＰＢパラメータのセットは、１または複数のレイヤからの出力レイヤおよび１または複数のレイヤからの非出力レイヤが両方とも単一のＤＰＢサイズを有するとき、単一のＤＰＢサイズを含む。

【0179】

一実施形態では、方法９００は、ＤＰＢパラメータのセットに含まれる第１のＤＰＢサイズから第２のＤＰＢサイズを推論することをさらに含む。一実施形態では、複数のレイヤからの１または複数のレイヤのうちの１つは、１または複数のサブレイヤ（例えば、サブレイヤ７１０、７２０、７３０）を含む。

【0180】

ピクチャが復号されると、ピクチャは、電子デバイス（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレイまたはスクリーン上でユーザに表示するための画像またはビデオシーケンスを生成または作成するために使用され得る。

【0181】

図１０は、ビデオエンコーダ（例えば、ビデオエンコーダ３００）によって実装されるビデオビットストリームを符号化する方法１０００の一実施形態である。方法９００は、（例えば、ビデオからの）ピクチャがビデオビットストリームに符号化され、次いでビデオデコーダ（例えば、ビデオデコーダ４００）に向けて送信されるときに実行され得る。方法９００は、マルチレイヤビデオビットストリームに含まれるＯＬＳの数にかかわらず、ＤＰＢパラメータがレイヤまたはサブレイヤごとに１回のみシグナリングされることを保証することによって符号化プロセスを改善する。すなわち、ＤＰＢパラメータは、レイヤまたはサブレイヤがＯＬＳのうちの１つに含まれるたびにシグナリングされるのではなく、レイヤまたはサブレイヤごとに１回シグナリングされる。したがって、同じＤＰＢパラメータは、同じレイヤまたはサブレイヤのために繰り返しシグナリングされず、冗長性を低減し、マルチレイヤビデオビットストリームのためのコーディング効率を増加させる。したがって、ビデオコーディングにおけるコーダ／デコーダ（「コーデック」としても知られる）は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信され、受信され、かつ／または視聴されるときに、より良いユーザ体験をユーザに提供する。

【0182】

ブロック１００２において、ビデオエンコーダは、複数のレイヤ（例えば、レイヤ６３１～６３５）を生成する。ビデオエンコーダはまた、複数のレイヤ（例えば、レイヤ６３１～６３５）からの１または複数のレイヤを各々が含む（例えば、ＯＬＳ１はレイヤ６３１～６３２を含み、ＯＬＳ２はレイヤ６３１～６３４を含み、ＯＬＳ３はレイヤ６３１～６３３を含む）複数の出力レイヤセット（例えば、ＯＬＳ１、ＯＬＳ２、およびＯＬＳ３）を特定するビデオパラメータセット（例えば、ＶＰＳ８０４）を生成する。加えて、ビデオエンコーダは、１または複数のレイヤのうち１または複数が複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（例えば、ＳＰＳ８０６）を生成する。

【0183】

例として図６を使用すると、レイヤ（例えば、レイヤ６３１）がＯＬＳのうちの２つ以上に含まれる場合であっても、ＳＰＳは、ＤＰＢパラメータの４つのセット、すなわち、レイヤ６３１のためのＤＰＢパラメータのセット、レイヤ６３２のためのＤＰＢパラメータのセット、レイヤ６３３のためのＤＰＢパラメータのセット、およびレイヤ６３４のためのＤＰＢパラメータのセットのみを含むことになる。したがって、ＤＰＢパラメータのセットは、特定のレイヤが２つ以上のＯＬＳ中に含まれるかどうかにかかわらず、ＳＰＳ中の任意の特定のレイヤについて繰り返されず、これにより、コーディング効率が改善する。したがって、例として図６を使用すると、ＳＰＳは、４つのＤＰＳサイズ、４つのレベル、および／または４セットのＭＲＭＬ情報のみを含むことになる。

【0184】

一実施形態では、ＳＰＳにおいてシグナリングされるＤＰＢパラメータのセットの数は、レイヤの総数に等しい。例えば、合計５つのレイヤが利用可能であり、したがって、ＳＰＳは、ＤＰＢパラメータの５つのセットのみを搬送する。

【0185】

一実施形態では、ビデオエンコーダは、１または複数のレイヤのうちの１つを出力レイヤとして指定し、１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定する。一実施形態では、ＤＰＢパラメータのセットは、第１のＤＰＢサイズおよび第２のＤＰＢサイズを含む。一実施形態では、ＤＰＢパラメータのセットは、単一のＤＰＢサイズを含む。一実施形態では、複数のレイヤからの１または複数のレイヤのうちの１つは、１または複数のサブレイヤを含む。

【0186】

ブロック１００４において、ビデオエンコーダは、複数のレイヤ、ＶＰＳ、およびＳＰＳをビデオビットストリームに符号化する。ブロック１００６において、ビデオエンコーダは、ビデオデコーダへの通信のためにビデオビットストリームを記憶する。ビデオビットストリームは、ビデオビットストリームがビデオデコーダに向けて送信されるまで、メモリに記憶され得る。ビデオデコーダによって受信されると、符号化ビデオビットストリームは、（例えば、上述したように）復号されて、電子デバイス（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレイまたはスクリーン上でユーザに表示するための画像またはビデオシーケンスを生成または作成するために使用され得る。

【0187】

図１１は、本開示の一実施形態によるビデオコーディングデバイス１１００（例えば、ビデオエンコーダ３００またはビデオデコーダ４００）の概略図である。ビデオコーディングデバイス１１００は、本明細書に記載の開示される実施形態を実装するのに適している。ビデオコーディングデバイス１１００は、データを受信するための入口ポート１１１０および受信機ユニット（Ｒｘ）１１２０と、データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット（ＣＰＵ）１１３０と、データを送信するための送信機ユニット（Ｔｘ）１１４０および出口ポート１１５０と、データを記憶するためのメモリ１１６０と、を含む。ビデオコーディングデバイス１１００はまた、光または電気信号の出力または入力のために、入口ポート１１１０、受信機ユニット１１２０、送信機ユニット１１４０、および出口ポート１１５０に結合された光－電気（ＯＥ）コンポーネントおよび電気－光（ＥＯ）コンポーネントを含み得る。

【0188】

プロセッサ１１３０は、ハードウェアおよびソフトウェアによって実装される。プロセッサ１１３０は、１または複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装され得る。プロセッサ１１３０は、入口ポート１１１０、受信機ユニット１１２０、送信機ユニット１１４０、出口ポート１１５０、およびメモリ１１６０と通信する。プロセッサ１１３０は、コーディングモジュール１１７０を含む。コーディングモジュール１１７０は、上述の開示される実施形態を実装する。例えば、コーディングモジュール１１７０は、種々のコーデック機能を実装、処理、準備、または提供する。したがって、コーディングモジュール１１７０を含むことで、ビデオコーディングデバイス１１００の機能に対する実質的な改善が提供され、ビデオコーディングデバイス１１００の異なる状態への変換をもたらす。代替的に、コーディングモジュール１１７０は、メモリ１１６０に記憶され、プロセッサ１１３０によって実行される命令として実装される。

【0189】

ビデオコーディングデバイス１１００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）デバイス１１８０を含み得る。Ｉ／Ｏデバイス１１８０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含み得る。Ｉ／Ｏデバイス１１８０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはかかる出力デバイスと対話するための対応するインターフェースを含み得る。

【0190】

メモリ１１６０は、１または複数のディスク、テープドライブ、およびソリッドステートドライブを含み、オーバーフローデータストレージデバイスとして使用されて、かかるプログラムが実行のために選択されたときにプログラムを記憶し、プログラム実行中に読み取られる命令およびデータを記憶することができる。メモリ１１６０は、揮発性および／または不揮発性であってよく、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ターナリ連想メモリ（ＴＣＡＭ）、および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）であってよい。

【0191】

図１２は、コーディングのための手段１２００の一実施形態の概略図である。一実施形態では、コーディングのための手段１２００は、ビデオコーディングデバイス１２０２（例えば、ビデオエンコーダ３００またはビデオデコーダ４００）中に実装される。ビデオコーディングデバイス１２０２は、受信手段１２０１を含む。受信手段１２０１は、符号化するピクチャを受信するか、または復号するビットストリームを受信するように構成される。ビデオコーディングデバイス１２０２は、受信手段１２０１に結合された送信手段１２０７を含む。送信手段１２０７は、ビットストリームをデコーダに送信するように、または復号済み画像を表示手段（例えば、Ｉ／Ｏデバイス１１８０のうちの１つ）に送信するように構成される。

【0192】

ビデオコーディングデバイス１２０２は、記憶手段１２０３を含む。記憶手段１２０３は、受信手段１２０１または送信手段１２０７のうちの少なくとも１つに結合される。記憶手段１２０３は、命令を記憶するように構成される。ビデオコーディングデバイス１２０２はまた、処理手段１２０５を含む。処理手段１２０５は、記憶手段１２０３に結合される。処理手段１２０５は、記憶手段１２０３に記憶された命令を実行して、本明細書に開示される方法を実行するように構成される。

【0193】

本明細書に記載される例示的な方法のステップは、必ずしも記載された順序で実行される必要はなく、かかる方法のステップの順序は単なる例示であると理解されるべきであることも理解されるべきである。同様に、本開示の種々の実施形態と一致する方法において、追加のステップがかかる方法に含まれてもよく、特定のステップが省略または組み合わされてもよい。

【0194】

本開示において複数の実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることを理解されたい。本実施例は、例示的であって限定的ではないと見なされるべきであり、本発明は、本明細書に与えられた詳細に限定されるべきではない。例えば、種々の要素または構成要素は、別のシステムにおいて組み合わされるか、もしくは統合されてもよく、または特定の特徴が省略されるか、もしくは実装されなくてもよい。

【0195】

加えて、離散的または別個のものとして種々の実施形態において説明および図示される技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、または方法と組み合わせられるか、または統合され得る。互いに結合され、または直接結合され、または通信するものとして図示または説明される他のアイテムは、電気的、機械的、または他の方法にかかわらず、一部のインターフェース、デバイス、または中間構成要素を介して間接的に結合または通信することができる。変更、置換、および代替の他の例は、当業者によって確認可能であり、本明細書に開示される精神および範囲から逸脱することなく行われ得る。
（他の可能な項目）
（項目１）
ビデオデコーダによって実装される復号の方法であって、
前記ビデオデコーダによって、複数のレイヤと、各々が前記複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、前記１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を含むビデオビットストリームを受信する段階と、
前記ビデオデコーダによって、前記複数のレイヤのうちの１つからのピクチャを復号して、復号済みピクチャを取得する段階と、
を含む、方法。
（項目２）
前記復号の前に、前記１または複数のレイヤのうちの１つから出力レイヤを選択することをさらに含む、項目１に記載の方法。
（項目３）
前記出力レイヤが選択された後に、前記出力レイヤから前記ピクチャを選択することをさらに含む、項目１または２に記載の方法。
（項目４）
前記ＤＰＢパラメータのセットが、第１のＤＰＢサイズおよび第２のＤＰＢサイズを含む、項目１～３のいずれか一項に記載の方法。
（項目５）
前記第１のＤＰＢサイズが、前記１または複数のレイヤからの出力レイヤに対応し、前記第２のＤＰＢサイズが、前記１または複数のレイヤからの非出力レイヤに対応する、項目４に記載の方法。
（項目６）
前記ＳＰＳが、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、前記１または複数のレイヤの各々についてのレベル情報を含む、項目１～５のいずれか一項に記載の方法。
（項目７）
前記ＤＰＢパラメータのセットに含まれる第１のＤＰＢサイズから第２のＤＰＢサイズを推論することをさらに含む、項目１～６のいずれか一項に記載の方法。
（項目８）
前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、項目１～７のいずれか一項に記載の方法。
（項目９）
前記復号済みピクチャを電子デバイスのディスプレイ上に表示することをさらに含む、項目１～８のいずれか一項に記載の方法。
（項目１０）
ビデオエンコーダによって実装される符号化の方法であって、前記方法が、
前記ビデオエンコーダによって、複数のレイヤと、各々が前記複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、前記１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を生成する段階と、
前記ビデオエンコーダによって、前記複数のレイヤ、前記ＶＰＳ、および前記ＳＰＳをビデオビットストリームに符号化する段階と、
前記ビデオエンコーダによって、ビデオデコーダへの通信のために前記ビデオビットストリームを記憶する段階と、
を含む、方法。
（項目１１）
前記１または複数のレイヤのうちの１つを出力レイヤとして指定し、前記１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定することをさらに含む、項目１０に記載の方法。
（項目１２）
前記ＳＰＳが、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、前記１または複数のレイヤの各々についてのレベル情報を含む、項目１０または１１に記載の方法。
（項目１３）
前記ＤＰＢパラメータのセットが、単一のＤＰＢサイズを含む、項目１０～１２のいずれか一項に記載の方法。
（項目１４）
前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、項目１０～１３のいずれか一項に記載の方法。
（項目１５）
復号デバイスであって、
複数のレイヤと、各々が前記複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、前記１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を有するビデオビットストリームを受信するように構成された受信機と、
前記受信機に結合されたメモリであって、前記メモリが、命令を記憶する、メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサが、前記命令を実行して、前記復号デバイスに複数のレイヤのうちの１つからピクチャを復号させて復号済みピクチャを取得させるように構成されたプロセッサと、
を備える、復号デバイス。
（項目１６）
前記プロセッサが、
前記復号の前に、前記１または複数のレイヤのうちの１つから出力レイヤを選択することと、
前記出力レイヤが選択された後に、前記出力レイヤから前記ピクチャを選択することと、
を行うようにさらに構成されている、項目１５に記載の復号デバイス。
（項目１７）
前記ＤＰＢパラメータのセットが、第１のＤＰＢサイズおよび第２のＤＰＢサイズを含む、項目１５または１６に記載の復号デバイス。
（項目１８）
前記第１のＤＰＢサイズが、前記１または複数のレイヤからの出力レイヤに対応し、前記第２のＤＰＢサイズが、前記１または複数のレイヤからの非出力レイヤに対応する、項目１５～１７のいずれか一項に記載の復号デバイス。
（項目１９）
前記ＤＰＢパラメータのセットが、前記１または複数のレイヤからの出力レイヤおよび前記１または複数のレイヤからの非出力レイヤが両方とも単一のＤＰＢサイズを有するとき、前記単一のＤＰＢサイズを含む、項目１８に記載の復号デバイス。
（項目２０）
前記プロセッサが、前記ＤＰＢパラメータのセットに含まれる第１のＤＰＢサイズから第２のＤＰＢサイズを推論するようにさらに構成されている、項目１５～１９のいずれか一項に記載の復号デバイス。
（項目２１）
前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、項目１５～２０のいずれか一項に記載の復号デバイス。
（項目２２）
前記復号済みピクチャを表示するように構成されたディスプレイをさらに含む、項目１５～２１のいずれか一項に記載の復号デバイス。
（項目２３）
符号化デバイスであって、
命令を含むメモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサが、前記命令を実装して、前記符号化デバイスに、
複数のレイヤと、各々が前記複数のレイヤからの１または複数のレイヤを含む複数の出力レイヤセット（ＯＬＳ）を特定するビデオパラメータセット（ＶＰＳ）と、前記１または複数のレイヤのうち１または複数が前記複数のＯＬＳのうちの２つ以上に含まれているときに１回のみ、前記１または複数のレイヤの各々についての復号済みピクチャバッファ（ＤＰＢ）パラメータのセットを含むシーケンスパラメータセット（ＳＰＳ）と、を生成することと、
前記複数のレイヤ、前記ＶＰＳ、および前記ＳＰＳをビデオビットストリームに符号化することと、
を行わせるように構成されたプロセッサと、
前記プロセッサに結合された送信機であって、前記送信機が、前記ビデオビットストリームをビデオデコーダに向けて送信するように構成されている、送信機と、
を備える、符号化デバイス。
（項目２４）
前記プロセッサが、前記符号化デバイスに、前記１または複数のレイヤのうちの１つを出力レイヤとして指定させ、前記１または複数のレイヤのうちの別のレイヤを非出力レイヤとして指定させるようにさらに構成されている、項目２３に記載の符号化デバイス。
（項目２５）
前記ＤＰＢパラメータのセットが、第１のＤＰＢサイズおよび第２のＤＰＢサイズを含む、項目２３または２４に記載の符号化デバイス。
（項目２６）
前記ＤＰＢパラメータのセットが、単一のＤＰＢサイズを含む、項目２３～２５のいずれか一項に記載の符号化デバイス。
（項目２７）
前記複数のレイヤからの前記１または複数のレイヤのうちの１つが、１または複数のサブレイヤを含む、項目２３～２６のいずれか一項に記載の符号化デバイス。
（項目２８）
コーディング装置であって、
符号化するピクチャを受信するか、または復号するビットストリームを受信するように構成された受信機と、
前記受信機に結合された送信機であって、前記送信機が、前記ビットストリームをデコーダに送信するか、または復号済み画像をディスプレイに送信するように構成されている、送信機と、
前記受信機または前記送信機のうちの少なくとも１つに結合されたメモリであって、前記メモリが、命令を記憶するように構成されている、メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサが、前記メモリに記憶された前記命令を実行して、項目１～９のいずれか一項および項目１０～１４のいずれか一項に記載の方法を実行するように構成されている、プロセッサと、
を備える、コーディング装置。
（項目２９）
復号済みピクチャを表示するように構成されたディスプレイをさらに含む、項目２８に記載のコーディング装置。
（項目３０）
システムであって、
エンコーダと、
前記エンコーダと通信するデコーダと、
を備え、前記エンコーダまたは前記デコーダが、項目１５～２９のいずれか一項に記載の復号デバイス、符号化デバイス、またはコーディング装置を含む、
システム。
（項目３１）
コーディングのための手段であって、
符号化するピクチャを受信するか、または復号するビットストリームを受信するように構成された受信手段と、
前記受信手段に結合された送信手段であって、前記送信手段が、前記ビットストリームを復号手段に送信するか、または復号済み画像を表示手段に送信するように構成されている、送信手段と、
前記受信手段または前記送信手段のうちの少なくとも１つに結合された記憶手段であって、前記記憶手段が、命令を記憶するように構成されている、記憶手段と、
前記記憶手段に結合された処理手段であって、前記処理手段が、前記記憶手段に記憶された前記命令を実行して、項目１～９のいずれか一項および項目１０～１４のいずれか一項に記載の方法を実行するように構成されている、処理手段と、
を備える、コーディングのための手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】