特許 7369124 結合されたピクセル／変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-17

(45)【発行日】2023-10-25

(54)【発明の名称】結合されたピクセル／変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御

(51)【国際特許分類】

   H04N 19/85 20140101AFI20231018BHJP

   H04N 19/136 20140101ALI20231018BHJP

【ＦＩ】

H04N19/85

H04N19/136

【請求項の数】 10

(21)【出願番号】P 2020533193

(86)(22)【出願日】2018-12-19

(65)【公表番号】

(43)【公表日】2021-02-22

(86)【国際出願番号】 US2018066476

(87)【国際公開番号】W WO2019126307

(87)【国際公開日】2019-06-27

【審査請求日】2021-11-22

(31)【優先権主張番号】62/607,887

(32)【優先日】2017-12-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/224,320

(32)【優先日】2018-12-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(72)【発明者】

【氏名】ルサノフスキー、ドミトロ

(72)【発明者】

【氏名】ラマスブラモニアン、アダルシュ・クリシュナン

(72)【発明者】

【氏名】カルチェビチ、マルタ

【審査官】田中 純一

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０３０９１５４（ＵＳ，Ａ１）

【文献】国際公開第２０１７／０５３２７７（ＷＯ，Ａ１）

【文献】D. Rusanovskyy, et al.，Additional information on HDR video coding technology proposal by Qualcomm and Technicolor，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018，JVET-J0067，URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0067-v1.zip，2018年04月03日，pp. 1～7，学術文献等ＤＢ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理する方法であって、前記方法は、
前記ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、
非量子化変換係数を決定するために、前記決定された量子化パラメータに基づいて前記量子化された変換係数を逆量子化することと、
前記非量子化変換係数に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための残差値のブロックを決定することと、
前記残差値のブロックに基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための再構成されたブロックを決定することと、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、
１つまたは複数の調整されたＤＲＡパラメータを決定するために、前記決定された量子化パラメータに基づいて前記１つまたは複数のＤＲＡパラメータを調整することと、
前記１つまたは複数の調整されたＤＲＡパラメータを使用して、前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックに対してＤＲＡを実行することと、
を備え、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたオフセットパラメータと、を備え、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのクロマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたオフセットパラメータと、を備える、方法。

【請求項2】

復号する前記方法は、符号化プロセスの一部として実行される、請求項１に記載の方法。

【請求項3】

ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記メモリに結合された１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサは、
前記ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、
非量子化変換係数を決定するために、前記決定された量子化パラメータに基づいて前記量子化された変換係数を逆量子化することと、
前記非量子化変換係数に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための残差値のブロックを決定することと、
前記残差値のブロックに基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための再構成されたブロックを決定することと、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、
１つまたは複数の調整されたＤＲＡパラメータを決定するために、前記決定された量子化パラメータに基づいて前記１つまたは複数のＤＲＡパラメータを調整することと、
前記１つまたは複数の調整されたＤＲＡパラメータを使用して、前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックに対してＤＲＡを実行することと、
を行うように構成され、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたオフセットパラメータと、を備え、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのクロマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたオフセットパラメータと、を備える、デバイス。

【請求項4】

前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第２のクロマ成分のための調整されたＤＲＡパラメータとを備える、請求項３に記載のデバイス。

【請求項5】

前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第２のクロマ成分のための調整されたＤＲＡパラメータとを備える、請求項３に記載のデバイス。

【請求項6】

前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータを決定するために、前記１つまたは複数のプロセッサは、前記１つまたは複数のＤＲＡパラメータの指示を、前記ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素として受信するように構成される、請求項３に記載のデバイス。

【請求項7】

前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックは、前記再構成されたブロックのフィルタリングされたバージョンを備える、請求項３に記載のデバイス。

【請求項8】

前記１つまたは複数のプロセッサは、
前記ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素を受信するようにさらに構成され、前記シンタックス要素は、前記１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを備える、
請求項３に記載のデバイス。

【請求項9】

前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを受信するように構成された受信機をさらに備え、
前記ワイヤレス通信デバイスは、好ましくは、電話ハンドセットを備え、前記受信機は、ワイヤレス通信規格に従って前記符号化されたビデオデータを備える信号を復調するように構成され、または、
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを送信するように構成された送信機をさらに備え、前記ワイヤレス通信デバイスは、好ましくは、電話ハンドセットを備え、前記送信機は、ワイヤレス通信規格に従って、前記符号化されたビデオデータを備える信号を変調するように構成される、
請求項４に記載のデバイス。

【請求項10】

命令を記憶するコンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、請求項１または２に記載の方法を行わせる、コンピュータ可読媒体。

【発明の詳細な説明】

【優先権の主張】

【0001】

[0001] 本出願は、２０１７年１２月１９日付で出願された米国仮特許出願第６２／６０７、８８７号の利益を主張する、２０１８年１２月１８日付で出願された米国特許出願第１６／２２４，３２０号の優先権を主張し、上記に列挙した出願の各々の全内容が、参照により組み込まれている。

【技術分野】

【0002】

[0002] 本開示は、ビデオ符号化およびビデオ復号に関する。

【背景技術】

【0003】

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレイヤ、ビデオゲームデバイス、ビデオゲーム機、セルラー電話機もしくは衛星無線電話機、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイスなどを含む広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）によって定義されている規格、近年完成した高効率ビデオコーディング（ＨＥＶＣ）規格、およびそのような規格の拡張に記載されたものなどの、ビデオ圧縮技法を実装する。これらのビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。

【0004】

[0004] ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間的（ピクチャ内）予測および／または時間的（ピクチャ間）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分化され得る。ピクチャのイントラコード化（Ｉ）スライスにおけるビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライスにおけるビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【0005】

[0005] 空間的予測または時間的予測によって、コード化されるべきブロックの予測ブロックが生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コード化ブロックと予測ブロックとの間の差分を示す。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、次いで量子化され得る残差変換係数が生じ得る。量子化された変換係数は、最初に２次元アレイで構成され、変換係数の１次元ベクトルを作成するためにスキャンされ、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。

【発明の概要】

【0006】

[0006] 本開示の１つまたは複数の態様は、ハイダイナミックレンジ（ＨＤＲ：high dynamic range）および広色域（ＷＣＧ：wide color gamut）表現を用いてビデオ信号、例えば、ビデオデータをコーディングする分野に関する。

【0007】

[0007] 一例によると、ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理する方法は、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、非量子化（dequantized）変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を逆量子化すること（inverse quantizing）と、非量子化変換係数に基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定することと、残差値のブロックに基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定することと、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整することと、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行することと、を含む。

【0008】

[0008] 別の例によると、ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、メモリに結合された１つまたは複数のプロセッサと、を含み、該１つまたは複数のプロセッサは、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、非量子化変換係数を決定するために、決定された量子化パラメータに基づいて量子化変換係数を逆量子化することと、非量子化変換係数に基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定することと、残差値のブロックに基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定することと、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整することと、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行することと、を行うように構成される。

【0009】

[0009] 別の例によると、コンピュータ可読記憶媒体は、命令を記憶し、該命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、非量子化変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を逆量子化することと、非量子化変換係数に基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定することと、残差値のブロックに基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定することと、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整することと、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行することと、を行わせる。

【0010】

[0010] 別の例によると、ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理するための装置は、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定するための手段と、非量子化変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を逆量子化するための手段と、非量子化変換係数に基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定するための手段と、残差値のブロックに基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定するための手段と、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定するための手段と、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整するための手段と、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行するための手段と、を含む。

【0011】

[0011] 本開示の１つまたは複数の例の詳細は、添付図面および以下の記述において述べられている。他の特徴、目的、および利点は、本説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1】[0012] 図１は、本開示で説明される技法を利用し得る、例となるビデオ符号化および復号システムを示すブロック図である。

【図2】[0013] 図２は、ＨＤＲデータの概念を示す概念図である。

【図3】[0014] 図３は、例となる色域を示す概念図である。

【図4】[0015] 図４は、ＨＤＲ／ＷＣＧの表現変換の一例を示すフロー図である。

【図5】[0016] 図５は、ＨＤＲ／ＷＣＧの逆変換例を示すフロー図である。

【図6】[0017] 図６は、知覚的に均一なコードレベルから線形ルミナンスへのビデオデータ変換（ＳＤＲおよびＨＤＲを含む）のために利用される電気光学伝達関数（ＥＯＴＦ）の例を示す概念図である。

【図7】[0018] 図７は、ＰＱ ＴＦ（ＳＴ２０８４ ＥＯＴＦ）の、例となる視覚化を示す。

【図8】[0019] 図８は、ＬＣＳ関数（function）の一例を示す。

【図9】[0020] 図９は、ＤＲＡを有するビデオコーディングシステムの一例を示す。

【図10】[0021] 図１０は、本開示で説明される技法を実装し得る、例となるビデオエンコーダを示すブロック図である。

【図11】[0022] 図１１は、本開示で説明される技法を実装し得る、例となるビデオデコーダを示すブロック図である。

【図12】[0023] 図１２は、本開示の技法に従ってビデオデータを復号するためのビデオデコーダの例となる動作を示すフローチャートである。

【詳細な説明】

【0013】

[0024] 本開示は、ハイダイナミックレンジ（ＨＤＲ）表現および広色域（ＷＣＧ）表現を用いてビデオ信号をコーディングする分野に関する技法を説明する。より具体的には、本開示は、ＨＤＲおよびＷＣＧビデオデータのより効率的な圧縮を可能にするために、ある特定の色空間中のビデオデータに適用されるシグナリングおよびオペレーションを含む。本開示の技法は、ＨＤＲおよびＷＣＧビデオデータをコーディングするために利用されるハイブリッドベースのビデオコーディングシステムの圧縮効率を改善し得る。

【0014】

[0025] 以下でより詳細に説明するように、ＨＤＲビデオは、一般に、標準ダイナミックレンジ（ＳＤＲ）ビデオのものよりも大きい、ダイナミックレンジを有するビデオを指す。ＷＣＧは、一般に、赤みがかった赤、緑みがかった緑、青みがかった青などのようなより鮮やかな色を含み得る、より広い色域で表現されるビデオを指す。ＨＤＲおよびＷＣＧの両方は、ビデオをより現実的に見せることができる。ビデオをより現実的に見せる一方で、ＨＤＲおよびＷＣＧはまた、ビデオデータを符号化および復号することに関連する複雑さを増大させ得る。
本開示の技法は、ＨＤＲおよびＷＣＧビデオデータを符号化および復号することに関連する複雑さを低減するのに役立ち得、より詳細には、変換係数を量子化するときに変換領域において実行される量子化と、ダイナミックレンジ調整（ＤＲＡ）を実行するときにピクセル領域において実行されるスケーリングおよび量子化と、を調和させること（harmonizing）によって、ＨＤＲおよびＷＣＧビデオデータを符号化および復号することに関連する複雑さを低減し得る。

【0015】

[0026] 図１は、ＨＤＲ／ＷＣＧビデオデータを処理し、本開示で説明するＤＲＡ技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを提供するソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレイヤ、ビデオゲーム機、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかのケースでは、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

【0016】

[0027] 宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信することができる。コンピュータ可読媒体１６は、符号化ビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信するのを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤードまたはワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理送信線などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのようなグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。

【0017】

[0028] 他の例では、コンピュータ可読媒体１６は、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体などの非一時的記憶媒体を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、例えば、ネットワーク送信を介して、ソースデバイス１２から符号化ビデオデータを受信し、宛先デバイス１４に符号化ビデオデータを提供することができる。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを包含するディスクを生成することができる。従って、様々な例では、コンピュータ可読媒体１６は、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。

【0018】

[0029] いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイスへ出力され得る。同様に、符号化データは、記憶デバイスから入力インターフェースによってアクセスされ得る。記憶デバイスは、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは、符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散型のまたは局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。さらなる例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶することができるファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化ビデオデータを記憶でき、符号化ビデオデータを宛先デバイス１４に送信できる、任意のタイプのサーバであり得る。例示的なファイルサーバは、例えば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク添付ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む任意の標準データ接続を介して、符号化ビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組み合せを含み得る。記憶デバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであり得る。

【0019】

[0030] 本開示の技法は、ワイヤレスアプリケーションまたはワイヤレス設定に必ずしも限定されない。本技法は、無線テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他のアプリケーションなど、様々なマルチメディアアプリケーションのいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および／またはビデオ電話などのアプリケーションをサポートするために一方向または両方向のビデオ送信をサポートするように構成され得る。

【0020】

[0031] 図１の例では、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。宛先デバイス１４は、入力インターフェース２８、前処理ユニット１９、ビデオデコーダ３０、およびディスプレイデバイス３２を含む。本開示によれば、ソースデバイス１２の前処理ユニット１９は、ＨＤＲおよびＷＣＧビデオデータのより効率的な圧縮を可能にするためにある特定の色空間におけるビデオデータに適用されるシグナリングおよび関連する動作を含む、本開示の技法を実装するように構成され得る。いくつかの例では、前処理ユニット１９は、ビデオエンコーダ２０とは別個であり得る。他の例では、前処理ユニット１９は、ビデオエンコーダ２０の一部であり得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配列を含み得る。例えば、ソースデバイス１２は、外部カメラなどの外部のビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、統合されたディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースし得る。

【0021】

[0032] 図１の示されたシステム１０は、一例にすぎない。ＨＤＲおよびＷＣＧビデオデータを処理およびコーディングするための技法は、任意のデジタルビデオ符号化および／またはビデオ復号デバイスによって実行され得る。さらに、本開示の技法は、ビデオプリプロセッサおよび／またはビデオポストプロセッサによっても実行され得る。ビデオプリプロセッサは、符号化の前に（例えば、ＨＥＶＣまたは他の符号化の前に）ビデオデータを処理するように構成された任意のデバイスであり得る。ビデオポストプロセッサは、復号後（例えば、ＨＥＶＣまたは他の復号後）にビデオデータを処理するように構成された任意のデバイスであり得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が、宛先デバイス１４に送信するためのコード化ビデオデータを生成するそのようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化および復号構成要素、ならびにビデオプリプロセッサおよびビデオポストプロセッサ（例えば、それぞれ前処理ユニットおよび後処理ユニット３１）を含むように、実質的に対称的に動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャストまたはビデオ電話のためのビデオデバイス１２とビデオデバイス１４との間の一方向または双方向のビデオ送信をサポートし得る。

【0022】

[0033] ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、前にキャプチャされたビデオを包含するビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかのケースでは、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き電話またはビデオ付き電話を形成し得る。しかしながら、上記で述べたように、本開示で説明する技法は、一般にビデオコーディングおよびビデオ処理に適用可能であり得、ワイヤレスおよび／またはワイヤードアプリケーションに適用され得る。各ケースでは、キャプチャされた、事前にキャプチャされた、またはコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。次いで、符号化ビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６に出力され得る。

【0023】

[0034] 宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコード化ユニット、例えば、ピクチャのグループ（ＧＯＰ）の特性ならびに／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのうちのいずれかを備え得る。

【0024】

[0035] ビデオエンコーダ２０およびビデオデコーダ３０は、各々、１つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な好適なエンコーダ回路またはデコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わせられたエンコーダ／デコーダ（コーデック）の一部として統合され得る。

【0025】

[0036] 前処理ユニット１９および後処理ユニット３１は各々、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。

【0026】

[0037] ビデオエンコーダ２０およびビデオデコーダ３０は、近年完成した高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。ビデオエンコーダ２０およびビデオデコーダ３０は加えて、ＩＴＵ－Ｔビデオコーディング専門家グループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣモーションピクチャ専門家グループ（ＭＰＥＧ）のビデオコーディングに関する共同コラボレーションチーム（ＪＣＴ－ＶＣ）ならびに３Ｄビデオコーディング拡張開発に関する共同コラボレーションチーム（ＪＣＴ－３Ｖ）によって開発されてきた、範囲拡張、マルチビュー拡張（ＭＶ－ＨＥＶＣ）、またはスケーラブル拡張（ＳＨＶＣ）のような、ＨＥＶＣ拡張に従って動作し得る。

【0027】

[0038] ビデオエンコーダ２０およびビデオデコーダ３０はまた、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）と代替的に呼ばれる、ＩＴＵ－Ｔ Ｈ．２６４規格のような他の所有権または工業規格、あるいはスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張のようなそのような規格の拡張に従って動作し得る。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、およびＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌを含む。

【0028】

[0039] ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツコーディングおよび高い動的範囲のコーディングのためのその現在の拡張および近い将来の拡張を含む）のものを大幅に超える圧縮能力を有する、将来的なビデオコーディング技術の二値化のための潜在的必要性を現在研究している。グループは、提案された圧縮技術設計を評価するために、ＪＶＥＴ（Joint Video Exploration Team）として知られる共同作業努力において、この探索活動に対して協力している。ＪＶＥＴは、２０１５年１０月１９～２１日の間に最初に遭遇し、共同探査モデル（ＪＥＭ）と呼ばれる参照ソフトウェアのいくつかの異なるバージョンを開発した。そのような参照ソフトウェアの一例は、ＪＥＭ７と呼ばれ、J.Chen、E.Alshina、G.J.Sullivan、J.Ohm、J.Boyceによる、「Algorithm Description of Joint Exploration Test Model 7」、JVET-G1001, 13-21 July 2017に記載されている。

【0029】

[0040] ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ１１）の研究に基づいて、多用途ビデオコーディング（ＶＶＣ）規格と呼ばれる新しいビデオコーディング規格が、ＶＣＥＧおよびＭＰＥＧのＪＶＥＴ（Joint Video Exploration Team）によって開発中である。ＶＶＣの初期のドラフトは、文献ＪＶＥＴ－Ｊ１００１「Versatile Video Coding (Draft 1)」で入手可能であり、そのアルゴリズム記述は、文献ＪＶＥＴ－Ｊ１００２「Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)」で入手可能である。ＶＶＣの別の初期のドラフトは、文書ＪＶＥＴ－Ｌ１００１「Versatile Video Coding (Draft 3)」で入手可能であり、そのアルゴリズム記述は、文書ＪＶＥＴ－Ｌ１００２「Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)」で入手可能である。

【0030】

[0041] 本開示の技法は、説明を容易にするために、ＨＥＶＣ専門用語を利用し得る。しかしながら、本開示の技法がＨＥＶＣに制限されると想定されるべきではなく、実際、本開示の技法が、ＨＥＶＣの後続の規格およびその拡張で実現され得ることは明確に企図される。

【0031】

[0042] ＨＥＶＣおよび他のビデオコーディング規格では、ビデオシーケンスは、一連のピクチャを含む。ピクチャは「フレーム」とも呼ばれ得る。ピクチャは、ＳＬ、ＳＣｂ、およびＳＣｒと表記される３つのサンプルアレイを含み得る。ＳＬは、ルーマサンプルの２次元アレイ（すなわち、ブロック）である。ＳＣｂは、Ｃｂクロミナンスサンプルの２次元アレイである。ＳＣｒは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルはまた、本明細書では「クロマ」サンプルとも呼ばれ得る。他の例では、ピクチャは、モノクロームであり得、ルーマサンプルのアレイのみを含み得る。

【0032】

[0043] ビデオエンコーダ２０は、コーディングツリーユニット（ＣＴＵ）のセットを生成し得る。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロック、クロマサンプルの２つの対応するコーディングツリーブロック、およびこれらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造を備え得る。白黒ピクチャ、または３つの別個の色プレーンを有するピクチャでは、ＣＴＵは、コード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造および単一のコード化ツリーブロックを備えることができる。コーディングツリーブロックは、サンプルのＮ×Ｎブロックであり得る。ＣＴＵは、「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ：largest coding unit）とも呼ばれ得る。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような他のビデオコーディング規格のマクロブロックに大まかに類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに制限されるわけではなく、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。スライスは、ラスタスキャンにおいて連続的に並べられた整数個のＣＴＵを含み得る。

【0033】

[0044] 本開示は、１つまたは複数のサンプルブロックのサンプルをコード化するために使用される１つまたは複数のサンプルブロックおよびシンタックス構造を指すために「ビデオ単位」または「ビデオブロック」という用語を使用し得る。例示的なタイプのビデオユニットは、ＨＥＶＣにおけるＣＴＵ、ＣＵ、ＰＵ、変換ユニット（ＴＵ）、または他のビデオコーディング規格におけるマクロブロック、マクロブロックパーティションなどを含み得る。

【0034】

[0045] コード化されたＣＴＵを生成するために、ビデオエンコーダ２０は、ＣＴＵのコーディングツリーブロックに対して四分木区分化を再帰的に実行して、コーディングツリーブロックをコーディングブロックへと分割し得、よって、「コーディングツリーユニット」と呼ばれる。コーディングブロックは、サンプルのＮ×Ｎブロックである。ＣＵは、ルーマサンプルアレイ、Ｃｂサンプルアレイ、およびＣｒサンプルアレイを有するピクチャのクロマサンプルの２つの対応するコーディングブロックと、ルーマサンプルのコーディングブロックと、これらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。白黒ピクチャ、または３つの別個の色プレーンを有するピクチャでは、ＣＵは、単一のコーディングブロックと、当該コーディングブロックのサンプルをコード化するために使用されるシンタックス構造を備えることができる。

【0035】

[0046] ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックへと区分し得る。予測ブロックは、それに対して同じ予測が適用される、サンプルの矩形（すなわち、正方形または非正方形）ブロックであり得る。ＣＵの予測ユニット（ＰＵ）は、ピクチャについての、ルーマサンプルの１つの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、これら予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。白黒ピクチャ、または３つの別個の色プレーンを有するピクチャでは、ＰＵは、予測ブロックサンプルを予測するために使用されるシンタックス構造および単一の予測ブロックを備えることができる。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ、Ｃｂ、およびＣｒ予測ブロックについての予測ルーマ、Ｃｂ、およびＣｒブロックを生成し得る。

【0036】

[0047] ビデオエンコーダ２０は、ＰＵについての予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。ビデオエンコーダ２０が、ＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。

【0037】

[0048] ビデオエンコーダ２０が、ＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。インター予測は、単方向インター予測（すなわち、単方向予測）または双方向インター予測（すなわち、双方向予測）であり得る。単予測または双予測を実行するために、ビデオエンコーダ２０は、現在スライスのための第１の参照ピクチャリスト（RefPicList0）と第２の参照ピクチャリスト（RefPicList1）とを生成し得る。

【0038】

[0049] 参照ピクチャリストの各々は、１つまたは複数の参照ピクチャを含み得る。単予測（uni-prediction）を使用するとき、ビデオエンコーダ２０は、参照ピクチャ内の参照ロケーションを決定するために、RefPicList0とRefPicList1のいずれかまたは両方中の参照ピクチャを探索し得る。さらに、単予測を使用するとき、ビデオエンコーダ２０は、参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、ＰＵのための予測サンプルブロックを生成し得る。さらに、単予測を使用するとき、ビデオエンコーダ２０は、ＰＵの予測ブロックと参照ロケーションとの間の空間変位を示す単一の動きベクトルを生成し得る。ＰＵの予測ブロックと参照ロケーションとの間の空間変位を示すために、動きベクトルは、ＰＵの予測ブロックと参照ロケーションとの間の水平変位を指定する水平成分を含み得、ＰＵの予測ブロックと参照ロケーションとの間の垂直変位を指定する垂直成分を含み得る。

【0039】

[0050] ＰＵを符号化するために双予測（bi-prediction）を使用するとき、ビデオエンコーダ２０は、RefPicList0中の参照ピクチャ中の第１の参照ロケーションと、RefPicList1中の参照ピクチャ中の第２の参照ロケーションとを決定し得る。ビデオエンコーダ２０は、次いで、第１および第２の参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、ＰＵのための予測ブロックを生成し得る。さらに、ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＰＵのサンプルブロックと第１の参照ロケーションとの間の空間変位を示す第１の動きと、ＰＵの予測ブロックと第２の参照ロケーションとの間の空間変位を示す第２の動きとを生成し得る。

【0040】

[0051] ビデオエンコーダ２０が、ＣＵの１つまたは複数のＰＵについての予測ルーマ、Ｃｂ、およびＣｒブロックを生成した後、ビデオエンコーダ２０は、そのＣＵについてのルーマ残差ブロックを生成し得る。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックのうちの１つ中のルーマサンプルと、ＣＵの元の（オリジナルの）ルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えて、ビデオエンコーダ２０は、ＣＵについてのＣｂ残差ブロックを生成し得る。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つ中のＣｂサンプルと、ＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差分を示し得る。ビデオエンコーダ２０はまた、ＣＵについてのＣｒ残差ブロックを生成し得る。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つ中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロック中の対応するサンプルとの間の差分を示し得る。

【0041】

[0052] さらに、ビデオエンコーダ２０は、ＣＵのルーマ、Ｃｂ、およびＣｒ残差ブロックを１つまたは複数のルーマ、Ｃｂ、およびＣｒ変換ブロックへと分解するために四分木区分化を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形ブロックであり得る。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロック、クロマサンプルの２つの対応する変換ブロック、およびこれらの変換ブロックのサンプルを変換するために使用されるシンタックス構造を備え得る。白黒ピクチャ、または３つの別個の色プレーンを有するピクチャでは、ＴＵは、単一の変換ブロック、および変換ブロックサンプルを変換するために使用されるシンタックス構造を備えることができる。よって、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。

【0042】

[0053] ビデオエンコーダ２０は、ＴＵについてのルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１つまたは複数の変換を適用し得る。係数ブロックは、変換係数の二次元アレイであり得る。変換係数は、スカラー量であり得る。ビデオエンコーダ２０は、ＴＵについてのＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用し得る。ビデオエンコーダ２０は、ＴＵについてのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用し得る。

【0043】

[0054] ＪＥＭ７では、上述したＨＥＶＣの四分木区分化構造を使用するのではなく、ＱＴＢＴ（quadtree binary tree）区分化構造が使用され得る。ＱＴＢＴ構造は、複数のパーティションタイプの概念を除去する。すなわち、ＱＴＢＴ構造は、ＣＵ、ＰＵ、およびＴＵ概念の分離を除去し、ＣＵ区分形状のためのより多くの柔軟性をサポートする。ＱＴＢＴブロック構造では、ＣＵは正方形または長方形のいずれかの形状を有することができる。一例では、ＣＵは、四分木構造による第１の区分である。四分木リーフノードは、二分木構造によってさらに区分化される。

【0044】

[0055] いくつかの例では、対称水平分割および対称垂直分割の２つの分割タイプがある。二分木リーフノードは、ＣＵと呼ばれ、そのセグメント化（すなわち、ＣＵ）は、任意のさらなる区分化なしに予測および変換処理のために使用される。これは、ＣＵ、ＰＵ、およびＴＵが、ＱＴＢＴコーディングブロック構造において同じブロックサイズを有することを意味する。ＪＥＭでは、ＣＵは、異なる色成分のコーディングブロック（ＣＢ）からなることがある。例えば、１つのＣＵは、４：２：０クロマフォーマットのＰスライスおよびＢスライスの場合、１つのルーマＣＢと２つのクロマＣＢとを含み、ときには、単一の成分のＣＢからなる。例えば、１つのＣＵは、Ｉスライスの場合、１つのルーマＣＢのみ、または２つのクロマＣＢのみを含む。

【0045】

[0056] 係数ブロック（例えば、ルーマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、これらの係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために、変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。さらに、ビデオエンコーダ２０は、ピクチャのＣＵのＴＵの変換ブロックを再構成するために、変換係数を逆量子化し、変換係数に逆変換を適用し得る。ビデオエンコーダ２０は、ＣＵのコーディングブロックを再構成するために、ＣＵのＴＵの再構成された変換ブロックとＣＵのＰＵの予測ブロックとを使用し得る。ピクチャの各ＣＵのコーディングブロックを再構成することによって、ビデオエンコーダ２０は、ピクチャを再構成し得る。ビデオエンコーダ２０は、再構成されたピクチャを復号ピクチャバッファ（ＤＰＢ）に記憶し得る。ビデオエンコーダ２０は、インター予測およびイントラ予測のためにＤＰＢ中の再構成されたピクチャを使用し得る。

【0046】

[0057] ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化することができる。例えば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding)を実行し得る。ビデオエンコーダ２０は、ビットストリームにおいて、エントロピー符号化されたシンタックス要素を出力し得る。

【0047】

[0058] ビデオエンコーダ２０は、コード化ピクチャおよび関連付けられたデータの表現を形成するビットのシーケンスを含むビットストリームを出力することができる。ビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットを備え得る。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ローバイトシーケンスペイロード（ＲＢＳＰ：raw byte sequence payload）をカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって規定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを包含するシンタックス構造であり得る。いくつかの事例では、ＲＢＳＰは０ビットを含む。

【0048】

[0059] 様々なタイプのＮＡＬユニットは、様々なタイプのＲＢＳＰをカプセル化することができる。例えば、第１のタイプのＮＡＬユニットはピクチャパラメータセット（ＰＰＳ）のためのＲＢＳＰをカプセル化し得、第２のタイプのＮＡＬユニットはコード化スライスのためのＲＢＳＰをカプセル化し得、第３のタイプのＮＡＬユニットはＳＥＩ（supplemental enhancement information）のためのＲＢＳＰをカプセル化し得、以下同様である。ＰＰＳは、０以上のコード化ピクチャ全体に適用されるシンタックス要素を包含し得るシンタックス構造である。ビデオコーディングデータのためのＲＢＳＰをカプセル化するＮＡＬユニットは（パラメータセットおよびＳＥＩメッセージのためのＲＢＳＰとは対照的に）、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと呼ばれる場合がある。コード化スライスをカプセル化するＮＡＬユニットは、本明細書ではコード化スライスＮＡＬユニットと呼ばれる場合がある。コード化スライスのためのＲＢＳＰは、スライスヘッダとスライスデータとを含み得る。

【0049】

[0060] ビデオデコーダ３０は、ビットストリームを受信することができる。加えて、ビデオデコーダ３０は、ビットストリームからシンタックス要素を復号するために、ビットストリームを解析することができる。ビデオデコーダ３０は、ビットストリームから復号されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構成することができる。ビデオデータを再構成するための処理は、概して、ビデオエンコーダ２０によって実行される処理の逆であり得る。例えば、ビデオデコーダ３０は、現在のＣＵのＰＵのための予測ブロックを決定するために、ＰＵの動きベクトルを使用することができる。ビデオデコーダ３０は、ＰＵのための予測ブロックを生成するために、ＰＵの１つまたは複数の動きベクトルを使用することができる。

【0050】

[0061] さらに、ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた係数ブロックを逆量子化し得る。ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた変換ブロックを再構成するために、係数ブロックに対して逆変換を行い得る。ビデオデコーダ３０は、現在のＣＵのＰＵについての予測サンプルブロックのサンプルを、現在のＣＵのＴＵの変換ブロックの対応するサンプルに加えることで、現在のＣＵのコーディングブロックを再構成し得る。ピクチャの各ＣＵのコーディングブロックを再構成することによって、ビデオデコーダ３０は、ピクチャを再構成し得る。ビデオデコーダ３０は、出力のためにおよび／または他のピクチャを復号する際に使用するために、復号ピクチャを復号ピクチャバッファに記憶し得る。

【0051】

[0062] 次世代ビデオアプリケーションは、ＨＤＲおよびＷＣＧを有するキャプチャされた景色を表現するビデオデータとともにオペレートすることが予期される。利用されるダイナミックレンジおよび色域のパラメータは、ビデオコンテンツの２つの独立した属性であり、デジタルテレビおよびマルチメディアサービスを目的としたそれらの仕様は、いくつかの国際的規格によって定義されている。例えば、ＩＴＵ－Ｒ Ｒｅｃ．７０９は、標準ダイナミックレンジおよび標準色域などのＨＤＴＶのためのパラメータを定義し、ＩＴＵ－Ｒ Ｒｅｃ．２０２０は、ハイダイナミックレンジおよび広色域などのＵＨＤＴＶパラメータを指定する。他のシステムにおいてこれらの属性を指定する他のＳＤＯ文書もあり、例えば、Ｐ３色域はＳＭＰＴＥ－２３１－２で定義され、ＨＤＲのいくつかのパラメータはＳＴＭＰＴＥ－２０８４で定義される。ビデオデータについてのダイナミックレンジおよび色域の簡単な説明が以下で提供される。

【0052】

[0063] ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれ、前処理ユニット１９および後処理ユニット３１などの他の構成要素とともに、ダイナミックレンジコーディングを実装し得る。ダイナミックレンジは通常、ビデオ信号の最小輝度と最大輝度との間の比として定義される。ダイナミックレンジはまた、「ｆストップ（f-stop）」の観点で測定され得、ここで１つのｆストップは、信号ダイナミックレンジの二倍に対応する。ＭＰＥＧの定義では、ハイダイナミックレンジコンテンツは、１６個以上のｆストップを用いた輝度バリエーションを特徴とするようなコンテンツである。いくつかの観点では、１０個のｆストップと１６個のｆストップとの間のレベルは中間ダイナミックレンジと見なされるが、それは他の定義ではＨＤＲと見なされ得る。同時に、人間の視覚系は、はるかに大きなダイナミックレンジを知覚することができ、いわゆる同時レンジを狭くするための適応機構を含む。

【0053】

[0064] 現在のビデオアプリケーションおよびサービスは、Ｒｅｃ．７０９によって規制され、ＳＤＲを提供し、典型的には、約０．１～１００カンデラ（ｃｄ）／ｍ２（しばしば「ｎｉｔ」と呼ばれる）の範囲の輝度（またはルミナンス）をサポートし、１０ｆストップ未満をもたらす。次世代ビデオサービスは、最大１６個のｆストップのダイナミックレンジを提供するように予定されており、詳細な仕様は現在開発中であるが、いくつかの初期パラメータは、ＳＭＰＴＥ ＳＴ－２０８４およびＩＴＵ－Ｒ ＢＴ．２０２０において規定されている。

【0054】

[0065] 図２は、人間の視覚および表示能力の一例を示す。ＨＤＴＶのＳＤＲ、ＵＨＤＴＶの予期されるＨＤＲ、およびＨＶＳダイナミックレンジによって提供されるダイナミックレンジの視覚化を図２に示す。

【0055】

[0066] 図３は、色域（color gamuts）の一例を示す。ＨＤＲ以外のより現実的なビデオ体験についての別の態様は、色次元であり、これは従来、色域によって定義される。図３は、ＳＤＲ色域（ＢＴ．７０９カラー 赤、緑、および青のカラープライマリに基づく三角形１００）と、ＵＨＤＴＶのためのより広い色域（ＢＴ．２０２０カラー 赤、緑、および青のカラープライマリに基づく三角形１０２）とを示す。図３は、自然色の限界を表すいわゆるスペクトル軌跡（spectrum locus）（形状１０４）も示す。図３によって示されているように、ＢＴ．７０９からＢＴ．２０２０カラープライマリに移ることは、約７０％分多い色をＵＨＤＴＶサービスに提供することを目的としている。Ｄ６５は、所与の規格についての白色を規定している。

【0056】

[0067] 色域の仕様（specification）の例を表１に示す。

【0057】

【表1】

【0058】

[0068] ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＤＲビデオデータの圧縮を実行し得る。ＨＤＲ／ＷＣＧは通常、４：４：４クロマフォーマットおよび非常に広い色空間（例えば、ＸＹＺ）を用いて、成分毎に非常に高精細度で（浮動小数点ですら）獲得および記憶される。この表現は、高精細度を目的とし、数学上（ほぼ）ロスレス（lossless）である。しかしながら、このフォーマットは、多くの冗長性を特徴とし、圧縮目的には最適でない。ＨＶＳベースを前提としたより低い精細度フォーマットが通常、最新式の（state-of-the-art）ビデオアプリケーションに利用される。圧縮のための典型的なＨＤＲビデオデータフォーマット変換は、図４に示すように、（１）ダイナミックレンジ圧縮（dynamic range compacting）のための非線形伝達関数（ＴＦ）、（２）よりコンパクトなまたはロバストな色空間への色変換（color conversion）、および（３）浮動少数から整数への表現変換（量子化）の３つの主要な要素からなる。

【0059】

[0069] 圧縮のためのビデオデータフォーマット変換プロセスの一例は、図４に示されるように、３つの主要なプロセスを含む。図４の技法は、ソースデバイス１２によって実行され得る。線形ＲＧＢデータ１１０は、ＨＤＲ／ＷＣＧビデオデータであり得、浮動小数点表現で記憶され得る。線形ＲＧＢデータ１１０は、ダイナミックレンジコンパクト化のために、非線形伝達関数（ＴＦ：transfer function）１１２を使用してコンパクト化され得る。伝達関数１１２は、任意の数の非線形伝達関数、例えばＳＭＰＴＥ－２０８４で定義されているようなＰＱ ＴＦを使用して線形ＲＧＢデータ１１０をコンパクト化し得る。いくつかの例では、色変換プロセス１１４は、コンパクト化されたデータを、ハイブリッドビデオエンコーダによる圧縮により適しているよりコンパクトまたはロバストな色空間（例えば、ＹＵＶまたはＹＣｒＣｂ色空間）に変換する。このデータは次いで、変換されたＨＤＲ’データ１１８を作成するために、浮動小数点から整数表現への量子化ユニット１１６を使用して量子化される。この例では、ＨＤＲ’データ１１８は整数表現である。この時点でＨＤＲ’データは、ハイブリッドビデオエンコーダ（例えば、ＨＥＶＣ技法を適用するビデオエンコーダ２０）による圧縮に関してより適したフォーマットにある。図４で描かれているプロセスの順序は、例として与えられたものであり、他のアプリケーションでは変わる可能性がある。例えば、色変換はＴＦプロセスに先行し得る。加えて、追加の処理、例えば空間サブサンプリングが色成分に適用され得る。

【0060】

[0070] デコーダ（例えば、ビデオデコーダ３０）における逆変換が図５に示されている。図５の技法は、宛先デバイス１４におけるビデオデコーダ３０および／または後処理ユニット３１によって実行され得る。変換されたＨＤＲ’データ１２０は、ハイブリッドビデオデコーダ（例えば、ＨＥＶＣ技法を適用するビデオデコーダ３０）を使用してビデオデータを復号することを通じて、宛先デバイス１４で取得され得る。ＨＤＲ’データ１２０は次いで、逆量子化ユニット１２２によって逆量子化され得る。次いで、逆色変換プロセス１２４が、逆量子化されたＨＤＲ’データに適用され得る。逆色変換プロセス１２４は、色変換プロセス１１４の逆であり得る。例えば、逆色変換プロセス１２４は、ＹＣｒＣｂフォーマットからＲＧＢフォーマットに戻るようにＨＤＲ’データを変換し得る。次に、逆伝達関数１２６がデータに適用され得、線形ＲＧＢデータ１２８を再生成するために、伝達関数１１２によってコンパクト化されたダイナミックレンジを戻すように加える。

【0061】

[0071] 線形および浮動小数点表現における入力ＲＧＢデータのハイダイナミックレンジは、利用される非線形伝達関数ＴＦ、例えば、ＳＭＰＴＥ－２０８４において定義されるＰＱ ＴＦを用いて圧縮され、その後、それは、圧縮により適したターゲット色空間、例えば、ＹＣｂＣｒに変換され、次いで、整数表現を達成するために量子化される。これらの要素の順序は例として与えられており、現実世界のアプリケーションでは変わる可能性があり、例えば、色変換はＴＦモジュールに先行し得、同様に、追加の処理、例えば空間サブサンプリングが色成分に適用され得る。これらの３つの成分をより詳細に説明する。

【0062】

[0072] ビデオエンコーダ２０およびビデオデコーダ３０は、伝達関数（ＴＦ）を利用し得る。ＴＦは、データのダイナミックレンジをコンパクト化するためにデータに適用され、データを限定されたビット数で表現することを可能にする。この関数は通常、Ｒｅｃ．７０９においてＳＤＲについて規定されているようなエンドユーザのディスプレイの電気光学伝達関数（ＥＯＴＦ：electro-optical transfer function）の逆を反映するか、またはＨＤＲについてＳＭＰＴＥ－２０８４において規定されているＰＱ ＴＦに関する輝度変化にＨＶＳ知覚を近似するかのどちらかである、一次元（１Ｄ）の非線形関数である。ＯＥＴＦの逆プロセスがＥＯＴＦ（電気光学伝達関数）であり、これは、符号（code）レベルをルミナンスに戻すようにマッピングする。図６は、ＴＦのいくつかの例を示す。

【0063】

[0073] ＳＴ２０８４の仕様は、ＥＯＴＦアプリケーションを以下のように定義した。ＴＦは、正規化された線形Ｒ、Ｇ、Ｂ値に適用され、その結果、非線形表現であるＲ’、Ｇ’、Ｂ’をもたらす。ＳＴ２０８４は、１００００ｎｉｔ（ｃｄ／ｍ２）のピーク輝度に関連付けられているＮＯＲＭ＝１００００による正規化を定義する。

【0064】

【数1】

【0065】

[0074] 図７は、ＰＱ ＴＦ（ＳＴ２０８４ ＥＯＴＦ）の例示的な視覚化を示す。範囲０．．１に正規化された入力値（線形色値）とともに、正規化された出力値（非線形色値）ＰＱ ＥＯＴＦが図７に視覚化されている。この曲線から分かるように、入力信号のダイナミックレンジの１％（低照度）が出力信号のダイナミックレンジの５０％に変換される。

【0066】

[0075] 通常、ＥＯＴＦは、浮動小数点精度を有する関数として定義され、従って、逆ＴＦ、いわゆるＯＥＴＦが適用される場合、この非線形性を有する信号に誤差は導入されない。ＳＴ２０８４で規定する逆ＴＦ（ＯＥＴＦ）をinversePQ関数として定義する。

【0067】

【数2】

【0068】

[0076] 浮動小数点精度では、ＥＯＴＦおよびＯＥＴＦの順次適用は、誤差のない完全な再構成を提供する。しかしながら、この表現は、ストリーミングサービスまたはブロードキャストサービスには最適ではない。非線形Ｒ’Ｇ’Ｂ’データの固定ビット精度でのよりコンパクトな表現を以下のセクションで説明する。ＥＯＴＦおよびＯＥＴＦは、現在、非常に活発な研究の主題であり、一部のＨＤＲビデオコーディングシステムで利用されるＴＦは、ＳＴ２０８４とは異なり得ることに留意されたい。

【0069】

[0077] ビデオエンコーダ２０およびビデオデコーダ３０は、色変換を実施するように構成され得る。ＲＧＢデータは画像キャプチャリングセンサによって作り出されるので、ＲＧＢデータは通常入力として使用される。しかしながら、この色空間は、その成分間に高い冗長性を有し、コンパクトな表現には最適でない。よりコンパクトでよりロバストな表現を達成するために、ＲＧＢ成分は、典型的には、圧縮により適したより無相関の色空間、例えばＹＣｂＣｒに変換される。この色空間は、ルミナンスの形態での輝度と、異なる無相関の成分におけるイ色情報とに分離する。

【0070】

[0078] 現代のビデオコーディングシステムでは、典型的に使用される色空間は、ＩＴＵ－ＲＢＴ．７０９またはＩＴＵ－ＲＢＴ．７０９において規定されるようなＹＣｂＣｒである。ＢＴ．７０９規格におけるＹＣｂＣｒ色空間は、Ｒ’Ｇ’Ｂ’からＹ’ＣｂＣｒ（非定常（non-constant）ルミナンス表現）への以下の変換プロセスを規定する。

【0071】

【数3】

【0072】

[0079] 上記もまた、ＣｂおよびＣｒ成分についての除算を避ける以下の近似変換を使用して実施され得る。

【0073】

【数4】

【0074】

[0080]ＩＴＵ－Ｒ ＢＴ．２０２０規格は、Ｒ’Ｇ’Ｂ’からＹ’ＣｂＣｒ（非定常ルミナンス表現）への以下の変換プロセスを規定する。

【0075】

【数5】

【0076】

[0081] 上記もまた、ＣｂおよびＣｒ成分についての除算を避ける以下の近似変換を使用して実施され得る。

【0077】

【数6】

【0078】

[0082] 両方の色空間は正規化されたままであり、従って、範囲０．．．１において正規化された入力値について、結果として生じる値は範囲０．．１にマッピングされることに留意されたい。一般に、浮動小数点精度で実施される色変換は、完全な再構成を提供するので、このプロセスはロスレスである。

【0079】

[0083] ビデオエンコーダ２０およびビデオデコーダ３０は、量子化／固定小数点変換を実装し得る。上述の処理段階は、典型的には、浮動小数点精度表現で実施され、従って、ロスレスと見なすことができる。しかしながら、この種の精度は、ほとんどの家庭用電化製品用途にとって冗長で高価であると考えられる。そのような用途では、ターゲット色空間内の入力データは、通常、ターゲットビット深度固定小数点精度に変換される。ある特定の研究は、ＰＱ ＴＦと組み合わせた１０～１２ビットの精度が、Just-Noticeable Difference未満の歪みのある１６個のｆストップのＨＤＲデータを提供するのに十分であることを示している。１０ビットの精度で表現されたデータはさらに、最新式のビデオコーディングソリューションのほとんどでコーディングされ得る。この変換プロセスは、信号量子化を含み、損失符号化の要素であり、変換されたデータに導入される不正確さの原因である。

【0080】

[0084] ターゲット色空間、この例ではＹＣｂＣｒ中のコードワードに適用されるそのような量子化の一例を以下に示す。浮動小数点の精度で表現される入力値ＹＣｂＣｒは、Ｙ値では固定ビット深度BitDepthY、およびクロマ値（Ｃｂ，Ｃｒ）では固定ビット深度BitDepthCの信号に変換される。

【0081】

【数7】

【0082】

[0085] ビデオエンコーダ２０およびビデオデコーダ３０はＤＲＡを実装し得る。ＤＲＡは、Dynamic Range Adjustment SEI to enable High Dynamic Range video coding with Backward-Compatible Capability, D. Rusanovskyy, A. K. Ramasubramonian, D. Bugdayci, S. Lee, J. Sole, M. Karczewicz, VCEG document COM16-C 1027-E, Sep. 2015（以下「参考文献１」）で始めに提示された。著者らは、入力値ｘの重複しないダイナミックレンジ区分（範囲）｛Ｒｉ｝のグループに対して定義されるピースワイズ（piece-wise）線形関数ｆ（ｘ）として、ＤＲＡを実装することを提案し、ここで、ｉが０からＮ－１までの両端値を含む範囲を有する範囲のインデックスであり、Ｎは、ＤＲＡ関数を定義するために利用される範囲｛Ｒｉ｝の総数である。ＤＲＡの範囲が、範囲Ｒｉに属する最小および最大ｘ値によって定義されると仮定し、例えば［ｘ_ｉ，ｘ_ｉ＋１－１］ここで、ｘ_ｉおよびｘ_ｉ＋１は、それぞれ範囲Ｒ_ｉおよびＲ_ｉ＋１の最小値を示す。ビデオのＹ色成分（ルーマ）に適用されると、ＤＲＡ関数Ｓｙは、全てのｘ∈［ｘ_ｉ，ｘ_ｉ＋１－１］に適用されるスケールＳ_ｙ，ｉおよびオフセットＯ_ｙ，ｉによって定義され、従って、Ｓ_ｙ＝｛Ｓ_ｙ，ｉ，Ｏ_ｙ，ｉ｝である。

【0083】

[0086] これにより、任意のＲｉ、および全てのｘ∈［ｘ_ｉ，ｘ_ｉ＋１－１］について、出力値Ｘは以下のように計算される。

【0084】

【数8】

【0085】

[0087] デコーダにおいて行われるルーマ成分Ｙのための逆ＤＲＡマッピングプロセスの場合、ＤＲＡ関数Ｓｙは、全てのＸ∈［ｘ_ｉ，ｘ_ｉ＋１－１］に適用される、スケールＳ_ｙ，ｉの逆数、およびオフセットＯ_ｙ，ｉ値、によって定義される。

【0086】

[0088] これを用いて、任意のＲｉ、および全てのＸ∈［ｘ_ｉ，ｘ_ｉ＋１－１］に対して、再構成された値ｘは、以下のように計算される。

【0087】

【数9】

【0088】

[0089] クロマ成分ＣｂおよびＣｒのための順方向ＤＲＡマッピングプロセスは、以下のように定義された。例は、範囲Ｒｉに属するＣｂ色成分のサンプルを示す項（term）「ｕ」で与えられ、ｕ∈［ｕ_ｉ，ｕ_ｉ＋１－１］であり、従って、Ｓ_ｕ＝｛Ｓ_ｕ，ｉ，Ｏ_ｕ，ｉ｝である。

【0089】

【数10】

【0090】

ここで、Ｏｆｆｓｅｔは２^{（ｂｉｔｄｅｐｔｈ－１）}に等しく、バイポーラＣｂ、Ｃｒ信号オフセットを示す。

【0091】

[0090] クロマ成分ＣｂおよびＣｒについてデコーダにおいて行われる逆ＤＲＡマッピングプロセスは、以下のように定義された。例は、範囲Ｒｉ、Ｕ∈［Ｕ_ｉ，Ｕ_ｉ＋１－１］に属する再マッピングされたＣｂ色成分のサンプルを示すＵ項で与えられる。

【0092】

【数11】

【0093】

ここで、Ｏｆｆｓｅｔは２^{（ｂｉｔｄｅｐｔｈ－１）}に等しく、バイポーラＣｂ、Ｃｒ信号オフセットを示す。

【0094】

[0091] ビデオエンコーダ２０およびビデオデコーダ３０はまた、ルーマ駆動クロマスケーリング（ＬＣＳ：luma-driven chroma scaling）を実装し得る。ＬＣＳは、JCTVC-W0101 HDR CE2: Report on CE2. a-1 LCS, A. K. Ramasubramonian, J. Sole, D. Rusanovskyy, D. Bugdayci, M. Karczewicz（以下、参考文献２）において最初に提案された。参考文献２には、処理されたクロマサンプルに関連する輝度情報を利用することによって、例えば、ＣｂおよびＣｒなどのクロマ情報を調整する技術が提示されている。参考文献１のＤＲＡ手法(approach)と同様に、クロマサンプルに、ＣｂのためのスケールファクタＳ_ｕおよびＣｒのためのＳ_ｖ，ｉを適用することが提案された。しかしながら、ＤＲＡ関数を、式（３）および（４）におけるように、クロマ値ｕまたはｖによってアクセス可能な範囲｛Ｒｉ｝のセットに対してピースワイズ線形関数Ｓ_ｕ＝｛Ｓ_ｕ，ｉ，Ｏ_ｕ，ｉ｝として定義する代わりに、ＬＣＳ手法は、クロマサンプルに対するスケールファクタを導出するために、ルーマ値Ｙを利用することを提案した。これにより、クロマサンプルｕ（またはｖ）の順方向ＬＣＳマッピングは、以下のように行われる。

【0095】

【数12】

【0096】

デコーダ側で行われる逆ＬＣＳプロセスは、以下のように定義される。

【0097】

【数13】

【0098】

[0092] より詳細には、（ｘ，ｙ）に位置する所与のピクセルについて、クロマサンプルＣｂ（ｘ，ｙ）またはＣｒ（ｘ，ｙ）は、対応するルーマ値Ｙ’（ｘ，ｙ）によって決定するＬＣＳ関数ＳＣｂ（またはＳＣｒ）から導出されたファクタを用いてスケーリングされる。

【0099】

[0093] クロマサンプルのための順方向ＬＣＳにおいて、Ｃｂ（またはＣｒ）値および関連するルーマ値Ｙ’は、クロマスケール関数ＳＣｂ（またはＳＣｒ）への入力として取られ、ＣｂまたはＣｒは、式９に示されるようにＣｂ’およびＣｒ’に変換される。デコーダ側では、逆ＬＣＳが適用され、再構成されたＣｂ’またはＣｒ’は、式（１０）に示すようにＣｂまたはＣｒに変換される。

【0100】

【数14】

【0101】

[0094] 図８は、ＬＣＳ関数（functions）の一例を示し、この例におけるＬＣＳ関数を用いて、ルーマのより小さい値をもつピクセルのクロマ成分が、より小さいスケーリングファクタで乗算される。

【0102】

[0095] 次に、ＤＲＡサンプルスケーリングと量子化パラメータとの間の関係を説明する。圧縮比を調整するために、ビデオエンコーダ２０は、変換係数に適用されるスカラー量子化器を利用する、ＨＥＶＣなどのブロック変換ベースのビデオコーディング方式を利用する。ビデオエンコーダ２０は、量子化パラメータ（ＱＰ）に基づいてスカラー量子化器を制御することができ、ＱＰとスカラー量子化器との間の関係は以下のように定義される。

【0103】

【数15】

【0104】

[0096] 逆関数は、以下のように、ＨＥＶＣにおけるスカラー量子化器とＱＰとの間の関係を定義する。

【0105】

【数16】

【0106】

[0097] ＤＲＡを実装するとき、ビデオエンコーダ２０およびビデオデコーダ３０は、ピクセルデータを効果的にスケーリングし、変換領域において適用されるスケーラに信号の大きいクラスのためにマッピングされ得る変換特性を考慮に入れる。従って、以下の関係が定義される。

【0107】

【数17】

【0108】

ここで、ｄＱＰは、例えば、ＨＥＶＣによって、入力データにＤＲＡを展開する（deploy）ことによって導入される近似ＱＰオフセットである。

【0109】

[0098] 現代のビデオコーディングシステムにおいて利用される非線形性（例えば、伝達関数ＳＭＰＴＥ２０８４を適用する）および色表現（例えば、ＩＴＵ－Ｒ ＢＴ．２０２０またはＢＴ．２２１００）のうちのいくつかは、信号表現のダイナミックレンジおよび色成分にわたって、知覚される歪みの有意な変動、またはＪＮＤ（Just-Noticeable Difference）しきい値を特徴とするビデオデータ表現をもたらし得る。これは、処理されたデータ範囲内に一定していない（unequal）信号対雑音比として知覚され得る。この問題に対処し、信号のダイナミックレンジにおけるコーディング（量子化）誤差分布を線形化するために、参考文献１のＤＲＡ法が提案された。

【0110】

[0099] 参考文献１は、図９に示されるように、ハイブリッド変換ベースのビデオコーディング方式Ｈ．２６５／ＨＥＶＣを適用する前に、ＳＴ２０８４／ＢＴ．２０２０コンテナにおいてビデオデータにおけるコードワード再分配を達成するためにＤＲＡを適用することを提案した。

【0111】

[0100] ＤＲＡによって達成される再分配は、ダイナミックレンジ内の知覚される歪み（信号対雑音比）の線形化を目標とする。デコーダ側でこの再分配を補償し、元のＳＴ２０８４／ＢＴ．２０２０表現にデータを変換するために、逆のＤＲＡプロセスがビデオ復号後にデータに対して適用される。

【0112】

[0101] そのようなＤＲＡ方式の別の例が、JCTVC-W0101 HDR CE2: Report on CE2. a-1 LCS, A. K. Ramasubramonian, J. Sole, D. Rusanovskyy, D. Bugdayci, M. Karczewicz（以下、参考文献２）中のルーマ駆動クロマスケーリング（ＬＣＳ：Luma-driven chroma scaling）において提案された。

【0113】

[0102] 参考文献２は、処理されたクロマサンプルに関連する輝度情報を利用することによって、クロマ情報、例えば、ＣｂおよびＣｒを調整するための技法を提案した。同様に、参考文献１におけるＤＲＡ手法に、ＣｂのためのスケールファクタＳ_ｕと、ＣｒのためのＳ_ｖ，ｉをクロマサンプルに適用することが提案された。しかしながら、ＤＲＡ関数を、式（３）および（４）のように、クロマ値ｕまたはｖによってアクセス可能な範囲｛Ｒｉ｝のセットについてのピースワイズ線形関数Ｓ_ｕ＝｛Ｓ_ｕ，ｉ，Ｏ_ｕ，ｉ｝として定義する代わりに、ＬＣＳ手法は、クロマサンプルに対するスケールファクタを導出するためにルーマ値Ｙを利用することを提案した。

【0114】

[0103] サンプル当たり有限数のビット、例えば、１０ビットを用いて表現されるビデオ信号に適用されるＤＲＡ技法は、ピクセルレベル量子化として分類され得る。変換領域においてブロックベースのスカラー量子化を展開するビデオ符号化（例えば、Ｈ．２６５／ＨＥＶＣ）と組み合わせられることは、画素領域および変換領域における信号の結合された量子化を有するビデオ符号化システムを生成する。

【0115】

[0104] いくつかのビデオコーディング方式の設計は、コード化された信号に導入される量子化誤差の仮定／推定に基づくビデオコーディングツール、規範的な意思決定論理およびパラメータを組み込み得る。そのようなツールの例の中で、デコーダ側におけるＨ．２６５／ＨＥＶＣデブロッキングフィルタ（例えば、ＨＥＶＣの第８．７．２節）およびＱＰ導出プロセス（例えば、ＨＥＶＣの第８．６．１節）を挙げることができる。

【0116】

[0105] ピクセルレベルでＤＲＡを適用することは、正しく推定され得ない量子化誤差を導入し得、それは、デコーダにおいて利用される決定論理に非最適コーディング決定を行わせ得る。一例として、ＨＥＶＣ規格の表８－１０は、エンコーダおよびデコーダの両方におけるＱＰ導出中に利用されるクロマＱＰシフトを定義し、それは、現在のクロマブロックのサンプルに適用されるピクセル量子化／スケーリングを反映しない、式８－２５９／８－２６０によって導出されるＱＰインデックスをもたらし得る。

【0117】

[0106] 本開示は、結合されたピクセル／変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御のための技法について説明する。そのようなシステムの例は、変換領域における量子化を利用する従来のハイブリッドビデオ符号化と、前処理／後処理段階においてまたはビデオコーディングの符号化ループの内部において、画素領域中でスケーリング／量子化を実行するＤＲＡとの組み合わせである。

【0118】

[0107] ビデオエンコーダ２０およびビデオデコーダ３０は、デコーダＱＰ処理のためにＤＲＡスケール補償を実行し得る。３つの色成分のＤＲＡスケールは、ビデオコーデックにおいて補償されたＱＰハンドリングに調整される。

【0119】

[0108] ３つの色成分（例えば、Ｙ、Ｃｂ、Ｃｒ）のためのＤＲＡのパラメータが以下の変数によって定義されると仮定する。

【0120】

【数18】

【0121】

[0109] ピクセル処理を行うＤＲＡパラメータは、コード化ビットストリームを通してシグナリングされるか、またはビットストリーム中でシグナリングされるシンタックス要素からデコーダ側において導出される。これらのＤＲＡパラメータは、変換係数の量子化を記述する情報を考慮することによってさらに調整される。

【0122】

【数19】

【0123】

[0110] ＱＰｘは、所与のブロックのピクセルについてビデオエンコーダ２０によって行われるＱＰ調整または操作を表現し、ビットストリーム中でビデオデコーダ３０にシグナリングされるか、またはサイド情報として、例えば予め表にされた情報（pre-tabulated information）としてビデオデコーダ３０に提供される。このプロセスの出力は、復号されたサンプル（Ｙ_ｄｅｃ，Ｃｂ_ｄｅｃ，Ｃｒ_ｄｅｃ）に適用される調整されたＤＲＡパラメータ（ＤＲＡ’_ｙ，ＤＲＡ’_ｃｂ，ＤＲＡ’_ｃｒ）である。

【0124】

【数20】

【0125】

[0111] ビデオエンコーダ２０およびビデオデコーダ３０は、ピクセルに適用されるＤＲＡの影響を反映するようにＱＰ情報を調整し得る。デコーダ側での意思決定において利用されるＱＰ情報は、復号されたピクチャのピクセルに適用されるＤＲＡの影響を反映するように変更される。

【0126】

【数21】

【0127】

[0112] ＱＰｘは、現在処理されているピクセルに対するＤＲＡ処理によって実装されるスケーリングを考慮せずに、デコーダによって導出されるＱＰパラメータである。

【0128】

[0113] このプロセスの出力は、デコーダ側での意思決定プロセスにおいて利用される調整されたＱＰ（ＱＰ’_Ｙ，ＱＰ’_Ｃｂ，ＱＰ’_Ｃｒ）である。いくつかの例では、復号アルゴリズムにおける方法のサブセットのみが、意思決定プロセスにおいて調整されたＱＰを使用する。

【0129】

[0114] 本開示の提案される技法の実装形態のいくつかの非限定的な例について以下で説明する。

【0130】

[0115] ここで、クロマＱＰシフトテーブルのためのＤＲＡスケール補償について説明する。いくつかの例では、デコーダのパラメータの導出は、復号されたビットストリームのシンタックス要素から導出されるローカルＱＰ情報に基づき、デコーダ側で利用可能なサイド情報によってさらに変更され得る。

【0131】

[0116] そのような処理の一例は、ＨＥＶＣ仕様書の第８．６．１節にある。
－ 変数ｑＰCbおよびｑＰCrは、ｑＰｉCbおよびｑＰｉCrにそれぞれ等しいインデックスｑＰｉに基づいて、表８－９に指定されるようなＱｐ_Ｃの値に等しく設定され、ｑＰｉCbおよびｑＰｉCrは、以下のように導出される。
qPiCb = Clip3( -QpBdOffsetc, 57, QpY + pps_cb_qp_offset + slice_cb_qp_offset ) (8-257)
qPiCr = Clip3( -QpBdOffsetc, 57, QpY + pps_cr_qp_offset + slice_cr_qp_offset ) (8-258)
－ ChromaArrayTypeが１に等しい場合、変数ｑＰCbおよびｑＰCrは、ｑＰｉCbおよびｑＰｉCrにそれぞれ等しいインデックスｑＰｉに基づいて、表８－１０に指定されるＱｐCの値に等しく設定される。
－ そうでない場合、変数ｑＰCbおよびｑＰCrは、それぞれｑＰｉCbおよびｑＰｉCrに等しいインデックスｑＰｉに基づいて、Ｍｉｎ（ｑＰｉ，５１）に等しく設定される。
－ ＣｂおよびＣｒ成分のクロマ量子化パラメータＱｐ’CbおよびＱｐ’Crは、以下のように導出される。

【0132】

Qp′Cb = qPCb + QpBdOffsetc (8-259)
Qp′Cr = qPCr + QpBdOffsetc (8-260)

【0133】

【表2】

【0134】

[0117] そのような例では、クロマ成分のためのＤＲＡスケールパラメータは、そのような処理によって導入されるＱＰシフトを反映するように変更され得る。以下の例はＣｂ成分について与えられ、Ｃｒ成分についての導出は同様である。

【0135】

[0118] ビデオデコーダ３０は、表８－１０を用いてＣｂ成分のためのクロマ量子化パラメータを導出し得る。ＱＰ情報が推定される。

【0136】

【数22】

【0137】

[0119] 変数updatedQP1は、復号プロセスにおいてさらに使用され、shiftQP1は、表８－１０によって導入されたＱＰに対する影響についての推定値を与える。デコーダにおいてＤＲＡおよびＱＰ処理によって行われる画素レベル量子化を調和させる(harmonize)ために、ＤＲＡスケーリング関数は以下のように変更される。

【0138】

【数23】

【0139】

ここで、scale2QP(DRACb)はScaleからＱＰへの変換を行い、同様に式１８に示される。

【0140】

【数24】

【0141】

[0120] いくつかの例では、特に成分間ＤＲＡ実装（例えば、ＬＣＳ）の場合、式（２３）は、Ｙ成分のＤＲＡスケールから推定されたＱＰオフセット項と、Ｃｂ成分のＤＲＡを生成するために使用される色度（chromaticity）スケール(addnDRACbScale)から推定された追加のＱＰオフセット項とを含む。例えば、estimateQP2 = qPcb + QpBdPffsetC + scale2QP(DRAY) + scale2QP(addnDRACbScale)である。

【0142】

[0121] 変数UpdatedQP2は、ＤＲＡが変換領域スケーリングを通して行われる場合のＱＰの推定値を提供し、shfitQP2は、表８－１０によって導入されるＱＰに対する影響の推定値を提供する。

【0143】

[0122] いくつかの状況では、推定されたshiftQP1はshiftQP2に等しくない。この差を補償するために、ＤＲＡのスケールは、以下のように乗数で変更することができる。

【0144】

【数25】

【0145】

ここで、関数Qp2Scaleは、式１６に示されるように、ＱＰ変数を関連する量子化器スケールに変換する。

【0146】

[0123] このプロセスの出力は、復号サンプルＣｂ_ｄｅｃに適用される、調整されたＤＲＡスケールである。

【0147】

[0124] いくつかの例では、スケール－ＱＰ変換関数（scale to QP conversion function）scale2QP(DRACb)および結果として生じるestimateQP2の出力は、非整数値である。表８－１０の要素をアドレス指定するために、表８－１０への入力および出力ＱＰ値は、以下のように整数エントリ間で補間され得る。

【0148】

【数26】

【0149】

[0125] さらに他の例では、表８－１０（または同様の表にされた情報）のエントリは、分析関数を通して定義されるか、またはビットストリーム中で明示的にシグナリングされ得る。

【0150】

[0126] さらに別の例では、shiftScaleは、以下のように表８－１０のshiftQP1の影響を補償するように計算され得る。

【0151】

shiftScale = Qp2Scale(shiftQP1)
[0127] いくつかの例では、依存関係（dependencies）の解析および処理を回避するために、式２２および式２３を初期化するためのＱＰインデックスが、ビットストリームを通してシグナリングされ得る。いくつかの例では、ビデオエンコーダ２０は、本明細書で説明する提案される技法のためのパラメータを推定し、ビットストリーム（メタデータ、ＳＥＩメッセージ、ＶＵＩ、またはＳＰＳ／ＰＰＳまたはスライスヘッダなど）を通してそれらのパラメータをビデオデコーダ３０にシグナリングし得る。ビデオデコーダ３０は、次いで、ビットストリームからパラメータを受信する。いくつかの例では、ビデオエンコーダ２０は、提案される技法のパラメータを導出し得る。ビデオデコーダ３０は、入力信号から、または入力信号に関連する他の利用可能なパラメータから、指定されたプロセスを実施し、同じ導出を実行し得る。いくつかの例では、ビデオエンコーダ２０は、提案される技法のパラメータをビデオデコーダ３０に明示的にシグナリングし得る。さらに別の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、他の入力信号パラメータ、例えば、入力色域およびターゲット色コンテナ（カラープライマリ）のパラメータからパラメータを導出し得る。

【0152】

[0128] 図１０は、本開示において説明されている技法を実施し得るビデオエンコーダ２０の例を示しているブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラおよびインターコーディングを行い得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依存する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依存する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのうちの任意のものを指し得る。単一方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのうちの任意のものを指す場合がある。

【0153】

[0129] 図１０の例では、ビデオエンコーダ２０は、ビデオデータメモリ３３と、区分化ユニット３５と、予測処理ユニット４１と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット（ＭＥＵ：motion estimation unit）４２、動き補償ユニット（ＭＣＵ：motion compensation unit）４４、およびイントラ予測処理ユニット４６含む。ビデオブロック再構築のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２と、フィルタユニット６４と、復号ピクチャバッファ（ＤＰＢ）６６とを含む。

【0154】

[0130] 図１０に示されるように、ビデオエンコーダ２０は、ビデオデータを受信し、受信したビデオデータをビデオデータメモリ３３に記憶する。ビデオデータメモリ３３は、ビデオエンコーダ２０の構成要素によって符号化されることとなるビデオデータを記憶し得る。ビデオデータメモリ３３内に記憶されたビデオデータは、例えば、ビデオソース１８から取得され得る。ＤＰＢ６６は、例えば、イントラまたはインターコーディングモードで、ビデオエンコーダ２０がビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ３３およびＤＰＢ６６は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、磁気ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））を含む、ＤＲＡＭまたは他のタイプのメモリデバイスのなどの、様々なメモリデバイスのうちの任意のものによって形成され得る。ビデオデータメモリ３３およびＤＰＢ６６は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ３３は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0155】

[0131] 区分化ユニット３５は、ビデオデータメモリ３３からビデオデータを取り出し、このビデオデータをビデオブロックへと区分化する。この区分化はまた、例えば、ＬＣＵおよびＣＵの四分木構造に従ったビデオブロック区分化に加え、スライス、タイルまたは他のより大きなユニットへの区分化を含み得る。ビデオエンコーダ２０は概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロック（そして、場合によっては、タイルと呼ばれるビデオブロックのセット）へと分割され得る。予測処理ユニット４１は、誤差結果（例えば、コーディングレートおよび歪みのレベル）に基づいて、現在のビデオブロックに対して、複数のイントラコーディングモードのうちの１つまたは複数のインターコーディングモードのうちの１つなどの、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、結果として生じるイントラまたはインターコーディングブロックを、残差ブロックデータを生成するために加算器５０に、参照ピクチャとしての使用のための符号化されたブロックを再構成するために加算器６２に提供し得る。

【0156】

[0132] 予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的圧縮を提供するためにコード化されるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の近隣ブロックに対して、現在のビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間的圧縮を提供するために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して、現在のビデオブロックのインター予測コーディングを実行する。

【0157】

[0133] 動き推定ユニット４２は、ビデオシーケンスについての所定のパターンに従って、ビデオスライスに対するインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス内のビデオスライスをＰスライスまたはＢスライスと指定し得る。動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別個に例示されている。動き推定ユニット４２によって行われる動き推定は、ビデオブロックのための動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内でのビデオブロックのＰＵの変位を示し得る。

【0158】

[0134] 予測ブロックは、絶対値差分の和（ＳＡＤ）、二乗差分の和（ＳＳＤ）、または他の差分メトリックによって決定され得るピクセル差分の観点でコード化されるべきビデオブロックのＰＵと密接に一致するように発見されるブロックである。いくつかの例では、ビデオエンコーダ２０は、ＤＰＢ６６に記憶された参照ピクチャのサブ整数画素位置についての値を算出し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置（fractional pixel position）の値を補間し得る。従って、動き推定ユニット４２は、フルピクセル位置および分数ピクセル位置に対する動き検索を実行し、分数ピクセル精度（fractional pixel precision）を有する動きベクトルを出力し得る。

【0159】

[0135] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのためのＰＵの動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらは各々、ＤＰＢ６６に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルを、エントロピー符号化ユニット５６および動き補償ユニット４４に送る。

【0160】

[0136] 動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを含み、場合によっては、サブ画素精度への補間を実行し得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックを位置決めすることができる。ビデオエンコーダ２０は、コード化される現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算することによって、残差ビデオブロックを形成し、ピクセル差分値を形成する。画素差分値は、このブロックについての残差データを形成し、ルーマおよびクロマの両方の差分成分を含み得る。加算器５０は、この減算オペレーションを実行する１つまたは複数の構成要素を表現する。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックおよびビデオスライスに関連付けられたシンタックス要素を生成し得る。

【0161】

[0137] 予測処理ユニット４１が現在のビデオブロックについての予測ブロックを生成した後、イントラ予測またはインター予測のいずれかを介して、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することで残差ビデオブロックを形成し得る。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ：discrete cosine transform）などの変換または概念的に同様の変換を使用して、残差ビデオデータを残差変換係数へと変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域のような変換領域に変換し得る。

【0162】

[0138] 変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部または全てに関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列のスキャンを行い得る。別の例では、エントロピー符号化ユニット５６がスキャンを実行し得る。

【0163】

[0139] 量子化に続いて、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術長コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応型バイナリ算術長コーディング（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化に続いて、符号化されたビットストリームは、ビデオデコーダ３０に送信されるか、ビデオデコーダ３０による後の送信または検索のためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コード化される現在のビデオスライスのために他のシンタックス要素および動きベクトルをエントロピー符号化し得る。

【0164】

[0140] 逆量子化ユニット５８および逆変換処理ユニット６０は、参照ピクチャの参照ブロックとしての後の使用のために、画素ドメイン内において残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに残差ブロックを加えることによって参照ブロックを算出し得る。動き補償ユニット４４はまた、動き推定での使用のためにサブ整数ピクセル値を計算するために、１つまたは複数の補間フィルタを再構成された残差ブロックに適用し得る。加算器６２は、再構成されたブロックを作り出すために、動き補償ユニット４４によって作成された動き補償された予測ブロックに、再構成された残差ブロックを加える。

【0165】

[0141] フィルタユニット６４は、再構成されたブロック（例えば、加算器６２の出力）をフィルタし、参照ブロックとしての使用のために、フィルタされた再構成されたブロックをＤＰＢ６６に記憶する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。フィルタユニット６４は、デブロッキングフィルタ、サンプル適応オフセットフィルタ、および適応ループフィルタ、または他のタイプのフィルタのうちの１つまたは複数を表現することが意図される。デブロッキングフィルタは、例えば、再構成されたビデオからのブロッキネスアーティファクト（blockiness artifact）を除去するために、ブロック境界をフィルタリングするようにデブロッキングフィルタを適用し得る。サンプル適応オフセットフィルタは、全体的なコーディング品質を改善するために、再構成されたピクセル値にオフセットを適用し得る。追加のループフィルタ（ループ内またはポストループ）もまた使用され得る。

【0166】

[0142] 本開示で説明する様々な技法は、別々にまたは互いに組み合わせて、ビデオエンコーダ２０および／または前処理ユニット１９によって実行され得る。例えば、ビデオエンコーダ２０および／または前処理ユニット１９は、ＨＤＲ／ＷＣＧビデオデータを処理するように構成され得る。ビデオエンコーダ２０および／または前処理ユニット１９は、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、非量子化変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を逆量子化することと、非量子化変換係数に基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定することと、残差値のブロックに基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定することと、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータを決定することと、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整することと、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行することと、を行うように構成され得る。

【0167】

[0143] ビデオエンコーダ２０および／または前処理ユニット１９は、追加的にまたは代替的に、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、量子化された変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を量子化することと、決定された量子化パラメータに基づいてＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータを決定することと、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整することと、を行うように構成され得る。

【0168】

[0144] 図１１は、本開示で説明される技法を実施し得る、例示的なビデオデコーダ３０を示すブロック図である。図１１のビデオデコーダ３０は、例えば、図１０のビデオエンコーダ２０に関して上述されたシグナリングを受信するように構成され得る。図１１の例では、ビデオデコーダ３０は、ビデオデータメモリ７８、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９４を含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図１０のビデオエンコーダ２０に関して説明された符号化パスと概して逆の復号パスを行い得る。

【0169】

[0145] 復号プロセスの間、ビデオデコーダ３０は、符号化ビデオスライスのビデオブロックおよび関連付けられたシンタックス要素を表現する符号化ビットストリームをビデオエンコーダ２０から受信する。ビデオデコーダ３０は、受信した符号化ビデオビットストリームをビデオデータメモリ７８に記憶する。ビデオデータメモリ７８は、ビデオデコーダ３０の構成要素によって復号されるべき符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７８に記憶されたビデオデータは、例えば、リンク１６を介して、記憶デバイス２６から、またはカメラなどのローカルビデオソースから、または物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ７８は、符号化されたビデオビットストリームからの符号化ビデオデータを記憶する、コード化されたピクチャバッファ（ＣＰＢ：coded picture buffer）を形成し得る。ＤＰＢ９４は、例えば、イントラまたはインターコーディングモードで、ビデオデコーダ３０がビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ７８およびＤＰＢ９４は、ＤＲＡＭ、ＳＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなどの様々なメモリデバイスのうちの任意のものによって形成され得る。ビデオデータメモリ７８およびＤＰＢ９４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ７８は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0170】

[0146] ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化された係数、動きベクトル、および他のシンタックス要素を生成するために、ビデオデータメモリ７８に記憶されたビデオデータをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルおよび他のシンタックス要素を予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

【0171】

[0147] ビデオスライスがイントラコード化された（Ｉ）スライスとしてコード化されるとき、予測処理ユニット８１のイントラ予測ユニット８４は、シグナリングされたイントラ予測モードおよびデータに基づいて現在のフレームまたはピクチャの以前に復号されたブロックから現在のビデオスライスのビデオブロックについての予測データを生成し得る。ビデオフレームがインターコード化された（例えば、ＢまたはＰ）スライスとしてコード化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信した動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロックを作成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから作成され得る。ビデオデコーダ３０は、ＤＰＢ９４に記憶された参照ピクチャに基づいてデフォルト構築技法を使用して、参照フレームリスト、リスト０およびリスト１を構築し得る。

【0172】

[0148] 動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックの予測ブロックを作成するために、その予測情報を使用する。例えば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラまたはインター予測）と、インター予測スライスタイプ（例えば、ＢスライスまたはＰスライス）と、スライスのための参照ピクチャリストのうちの１つまたは複数についての構築情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、受信したシンタックス要素のうちのいくつかを使用する。

【0173】

[0149] 動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行することができる。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルのための補間された値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用し得る。このケースでは、動き補償ユニット８２は、受信したシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ブロックを作成するために補間フィルタを使用し得る。

【0174】

[0150] 逆量子化ユニット８６は、ビットストリーム内で提供され、エントロピー復号ユニット８０によって復号された、量子化された変換係数を逆量子化（inverse quantize）、すなわち、非量子化（de-quantize）する。逆量子化プロセスは、量子化の程度、同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライスにおける各ビデオブロックについて、ビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを作成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用する。

【0175】

[0151] 予測処理ユニットが、例えば、イントラまたはインター予測を使用して現在のビデオブロックについての予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを、動き補償ユニット８２によって生成された対応する予測ブロックに加算することで、再構成されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表現する。フィルタユニット９２は、例えば、デブロッキングフィルタリング、ＳＡＯフィルタリング、適応フィルタリング、または他のタイプのフィルタのうちの１つまたは複数を使用して、再構成されたビデオブロックをフィルタリングする。（コーディングループ内またはコーディングループ後のいずれかの）他のループフィルタはまた、画素遷移を平滑化するためにまたは別の方法でビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャ内の復号されたビデオブロックは次いで、後の動き補償のために使用される参照ピクチャを記憶するＤＰＢ９４に記憶される。ＤＰＢ９４は、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の表現のために、復号されたビデオを記憶する追加のメモリの一部であるかまたはそれとは別個であり得る。

【0176】

[0153] 本開示で説明する様々な技法は、別々にまたは互いに組み合わせて、ビデオデコーダ３０および／または後処理ユニット３１によって実行され得る。例えば、ビデオデコーダ３０および／または後処理ユニット３１は、ＨＤＲ／ＷＣＧビデオデータを処理するように構成され得る。ビデオデコーダ３０および／または後処理ユニット３１は、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、非量子化変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を逆量子化することと、非量子化変換係数に基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定することと、残差値のブロックに基づいて、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定することと、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータを決定することと、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整することと、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行することと、を行うように構成され得る。

【0177】

[0154] 図１２は、本開示の技法に従って、ビデオデータを復号するためのビデオデコーダの動作の例を示すフローチャートである。図１２に関して説明したビデオデコーダは、例えば、表示可能な復号ビデオを出力するための、ビデオデコーダ３０などのビデオデコーダであり得るか、または予測処理ユニット４１、逆量子化ユニット５８、逆変換処理ユニット６０、フィルタユニット６４、ＤＰＢ６６を含む、ビデオエンコーダ２０の復号ループなどのビデオエンコーダにおいて実装されるビデオデコーダであり得る。図１２の技法のいくつかは、前処理ユニット１９または後処理ユニット３１など、ビデオデコーダとは別個のエンティティによって実行され得るが、簡略化のために、図１２の全ての技法は、ビデオデコーダによって実行されるものとして説明される。

【0178】

[0155] ビデオデコーダは、ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定する（２００）。ビデオデコーダは、非量子化変換係数を決定するために、決定された量子化パラメータに基づいて量子化された変換係数を逆量子化する（２１０）。非量子化変換係数に基づいて、ビデオデコーダは、ＨＤＲ／ＷＣＧビデオデータのブロックのための残差値のブロックを決定する（２２０）。残差値のブロックに基づいて、ビデオデコーダは、ＨＤＲ／ＷＣＧビデオデータのブロックのための再構成されたブロックを決定する（２３０）。ビデオデコーダは、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータを決定する（２４０）。ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータを決定するために、ビデオデコーダは、ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素として１つまたは複数のＤＲＡパラメータの指示を受信し得るか、または場合によっては１つまたは複数のＤＲＡパラメータを導出し得る。

【0179】

[0156] ビデオデコーダは、１つまたは複数の調整されたＤＲＡパラメータを決定するために、決定された量子化パラメータに基づいて１つまたは複数のＤＲＡパラメータを調整する（２５０）。ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータは、ＨＤＲ／ＷＣＧビデオデータのブロックのルーマ成分のためのスケーリングパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックのルーマ成分のためのオフセットパラメータとを含み得、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数の調整されたＤＲＡパラメータは、ＨＤＲ／ＷＣＧビデオデータのブロックのルーマ成分のための調整されたスケーリングパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックのルーマ成分のための調整されたオフセットパラメータと、を含み得る。ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数のＤＲＡパラメータは、ＨＤＲ／ＷＣＧビデオデータのブロックのクロマ成分のためのスケーリングパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックのクロマ成分のためのオフセットパラメータとを含み得、ＨＤＲ／ＷＣＧビデオデータのブロックのための１つまたは複数の調整されたＤＲＡパラメータは、ＨＤＲ／ＷＣＧビデオデータのブロックのクロマ成分のための調整されたスケーリングパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックのクロマ成分のための調整されたオフセットパラメータと、を含み得る。１つまたは複数の調整されたＤＲＡパラメータは、ＨＤＲ／ＷＣＧビデオデータのブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックの第２のクロマ成分のための調整されたＤＲＡパラメータとを含み得る。１つまたは複数の調整されたＤＲＡパラメータは、ＨＤＲ／ＷＣＧビデオデータのブロックのルーマ成分のための調整されたＤＲＡパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、ＨＤＲ／ＷＣＧビデオデータのブロックの第２のクロマ成分のための調整されたＤＲＡパラメータとを含み得る。

【0180】

[0157] ビデオデコーダは、１つまたは複数の調整されたＤＲＡパラメータを使用して、ＨＤＲ／ＷＣＧビデオデータの再構成されたブロックに対してＤＲＡを実行する（２６０）。ビデオデコーダはまた、ＤＲＡを実行することから生じる調整されたビデオデータを出力し得る。ビデオデコーダは、例えば、表示のために調整されたビデオデータを出力し得るか、または調整されたビデオデータを記憶することによって調整されたビデオデータを出力し得る。ビデオデコーダは、将来的な表示のために調整されたビデオデータを記憶し得るか、またはビデオデータの将来のブロックを符号化または復号するために調整されたビデオデータを記憶し得る。

【0181】

[0158] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらのあらゆる組み合わせで実装され得る。ソフトウェアで実装される場合、機能は１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体または（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を検索するために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされることができる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0182】

[0159] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶デバイス、フラッシュメモリ、あるいはデータ構造もしくは命令の形態で所望のプログラムコードを記憶するために使用されることができ、且つコンピュータによってアクセスされることができる任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象とすることが理解されるべきである。本明細書で使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびＢｌｕ－ｒａｙディスクを含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

【0183】

[0160] 命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、あるいは他の同等な集積またはディスクリートロジック回路などの、１つまたは複数のプロセッサによって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれかまたは本明細書で説明された技法の実装に適切な任意の他の構造を指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成されるか、または複合コーデックに組み込まれる、専用のハードウェアモジュールおよび／またはソフトウェアモジュール内で提供され得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。

【0184】

[0161] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む、幅広い多様なデバイスまたは装置内において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらは、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上述したように、様々なユニットは、コーデックハードウェアユニットへと組み合わせられるか、適切なソフトウェアおよび／またはファームウェアと連携して、上述したような１つまたは複数のプロセッサを含む、相互動作するハードウェアユニットの集合によって提供され得る。

【0185】

[0162] 様々な例が説明された。これらの例および他の例は、以下の請求項の範囲内にある。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理する方法であって、前記方法は、
前記ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、
非量子化変換係数を決定するために、前記決定された量子化パラメータに基づいて前記量子化された変換係数を逆量子化することと、
前記非量子化変換係数に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための残差値のブロックを決定することと、
前記残差値のブロックに基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための再構成されたブロックを決定することと、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、
１つまたは複数の調整されたＤＲＡパラメータを決定するために、前記決定された量子化パラメータに基づいて前記１つまたは複数のＤＲＡパラメータを調整することと、
前記１つまたは複数の調整されたＤＲＡパラメータを使用して、前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックに対してＤＲＡを実行することと、
を備える、方法。
［Ｃ２］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたオフセットパラメータと、を備える、Ｃ１に記載の方法。
［Ｃ３］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのクロマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたオフセットパラメータと、を備える、Ｃ１に記載の方法。
［Ｃ４］
前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第２のクロマ成分のための調整されたＤＲＡパラメータと、を備える、Ｃ１に記載の方法。
［Ｃ５］
前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第２のクロマ成分のための調整されたＤＲＡパラメータと、を備える、Ｃ１に記載の方法。
［Ｃ６］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータを決定することは、前記１つまたは複数のＤＲＡパラメータの指示を、前記ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素として受信することを備える、Ｃ１に記載の方法。
［Ｃ７］
前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックは、前記再構成されたブロックのフィルタリングされたバージョンを備える、Ｃ１に記載の方法。
［Ｃ８］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータを決定することは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のための量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのクロマ成分のための量子化パラメータとの間の依存性に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータのうちの少なくとも１つを導出することを備える、Ｃ１に記載の方法。
［Ｃ９］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための前記量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための前記量子化パラメータとの間の前記依存性に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出することは、ＱＰ－ＤＲＡスケール変換（QP to DRA scale conversion）を実行することによって、前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出することを備える、Ｃ８に記載の方法。
［Ｃ１０］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための前記量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための前記量子化パラメータとの間の前記依存性に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出することは、ＤＲＡスケール－ＱＰ変換（DRA scale to QP conversion）を実行することによって、前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出することを備える、Ｃ８に記載の方法。
［Ｃ１１］
前記ルーマ成分のための前記量子化パラメータと前記クロマ成分のための前記量子化パラメータとの間の前記依存性は、コーデックによって定義される、Ｃ８に記載の方法。
［Ｃ１２］
前記方法は、
前記ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素を受信することをさらに備え、前記シンタックス要素のための値は、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための前記量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための前記量子化パラメータとの間の前記依存性を定義する、
Ｃ８に記載の方法。
［Ｃ１３］
復号する前記方法は、符号化プロセスの一部として実行される、Ｃ８に記載の方法。
［Ｃ１４］
ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記メモリに結合された1つまたは複数のプロセッサと、を備え、前記1つ又は複数のプロセッサは、
前記ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、
非量子化変換係数を決定するために、前記決定された量子化パラメータに基づいて前記量子化された変換係数を逆量子化することと、
前記非量子化変換係数に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための残差値のブロックを決定することと、
前記残差値のブロックに基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための再構成されたブロックを決定することと、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、
１つまたは複数の調整されたＤＲＡパラメータを決定するために、前記決定された量子化パラメータに基づいて前記１つまたは複数のＤＲＡパラメータを調整することと、
前記１つまたは複数の調整されたＤＲＡパラメータを使用して、前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックに対してＤＲＡを実行することと、
を行うように構成された、デバイス。
［Ｃ１５］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための調整されたオフセットパラメータと、を備える、Ｃ１４に記載のデバイス。
［Ｃ１６］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのクロマ成分のためのスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のためのオフセットパラメータとを備え、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたスケーリングパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための調整されたオフセットパラメータと、を備える、Ｃ１４に記載のデバイス。
［Ｃ１７］
前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第２のクロマ成分のための調整されたＤＲＡパラメータとを備える、Ｃ１４に記載のデバイス。
［Ｃ１８］
前記１つまたは複数の調整されたＤＲＡパラメータは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第１のクロマ成分のための調整されたＤＲＡパラメータと、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの第２のクロマ成分のための調整されたＤＲＡパラメータとを備える、Ｃ１４に記載のデバイス。
［Ｃ１９］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータを決定するために、前記１つまたは複数のプロセッサは、前記１つまたは複数のＤＲＡパラメータの指示を、前記ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素として受信するように構成される、Ｃ１４に記載のデバイス。
［Ｃ２０］
前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックは、前記再構成されたブロックのフィルタリングされたバージョンを備える、Ｃ１４に記載のデバイス。
［Ｃ２１］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータを決定するために、前記１つまたは複数のプロセッサは、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのルーマ成分のための量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのクロマ成分のための量子化パラメータとの間の依存性に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータのうちの少なくとも１つを導出するように構成される、Ｃ１４に記載のデバイス。
［Ｃ２２］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための前記量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための前記量子化パラメータとの間の前記依存性に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出するために、前記１つまたは複数のプロセッサは、ＱＰ－ＤＲＡスケール変換（QP to DRA scale conversion）を実行することによって、前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出するように構成される、Ｃ２１に記載のデバイス。
［Ｃ２３］
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための前記量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための前記量子化パラメータとの間の前記依存性に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出するために、前記１つまたは複数のプロセッサは、ＤＲＡスケール－ＱＰ変換（DRA scale to QP conversion）を実行することによって、前記１つまたは複数のＤＲＡパラメータのうちの前記少なくとも１つを導出するように構成される、Ｃ２１に記載のデバイス。
［Ｃ２４］
前記ルーマ成分のための前記量子化パラメータと前記クロマ成分のための前記量子化パラメータとの間の前記依存性は、コーデックによって定義される、Ｃ２１に記載のデバイス。
［Ｃ２５］
前記１つまたは複数のプロセッサは、
前記ＨＤＲ／ＷＣＧビデオデータ中のシンタックス要素を受信するようにさらに構成され、前記シンタックス要素のための値は、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記ルーマ成分のための前記量子化パラメータと前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックの前記クロマ成分のための前記量子化パラメータとの間の前記依存性を定義する、
Ｃ２１に記載のデバイス。
［Ｃ２６］
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを受信するように構成された受信機をさらに備える、Ｃ１４に記載のデバイス。
［Ｃ２７］
前記ワイヤレス通信デバイスは、電話ハンドセットを備え、前記受信機は、ワイヤレス通信規格に従って前記符号化されたビデオデータを備える信号を復調するように構成される、Ｃ２６に記載のデバイス。
［Ｃ２８］
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを送信するように構成された送信機をさらに備える、Ｃ１４に記載のデバイス。
［Ｃ２９］
前記ワイヤレス通信デバイスは、電話ハンドセットを備え、前記送信機は、ワイヤレス通信規格に従って、前記符号化されたビデオデータを備える信号を変調するように構成される、Ｃ２８に記載のデバイス。
［Ｃ３０］
命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定することと、
非量子化変換係数を決定するために、前記決定された量子化パラメータに基づいて前記量子化された変換係数を逆量子化することと、
前記非量子化変換係数に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための残差値のブロックを決定することと、
前記残差値のブロックに基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための再構成されたブロックを決定することと、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定することと、
１つまたは複数の調整されたＤＲＡパラメータを決定するために、前記決定された量子化パラメータに基づいて前記１つまたは複数のＤＲＡパラメータを調整することと、
前記１つまたは複数の調整されたＤＲＡパラメータを使用して、前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックに対してＤＲＡを実行することと
を行わせる、コンピュータ可読記憶媒体。
［Ｃ３１］
ハイダイナミックレンジおよび／または広色域（ＨＤＲ／ＷＣＧ）ビデオデータを処理するための装置であって、前記デバイスは、
前記ＨＤＲ／ＷＣＧビデオデータのブロックの量子化された変換係数のための量子化パラメータを決定するための手段と、
非量子化変換係数を決定するために、前記決定された量子化パラメータに基づいて前記量子化された変換係数を逆量子化するための手段と、
前記非量子化変換係数に基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための残差値のブロックを決定するための手段と、
前記残差値のブロックに基づいて、前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための再構成されたブロックを決定するための手段と、
前記ＨＤＲ／ＷＣＧビデオデータの前記ブロックのための１つまたは複数のダイナミックレンジ調整（ＤＲＡ）パラメータを決定するための手段と、
１つまたは複数の調整されたＤＲＡパラメータを決定するために、前記決定された量子化パラメータに基づいて前記１つまたは複数のＤＲＡパラメータを調整するための手段と、
前記１つまたは複数の調整されたＤＲＡパラメータを使用して、前記ＨＤＲ／ＷＣＧビデオデータの前記再構成されたブロックに対してＤＲＡを実行するための手段と、
を備える、装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】