特表 2022-523950 ビデオコーディングにおける組み合わされた残差コーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-27

(54)【発明の名称】ビデオコーディングにおける組み合わされた残差コーディング

(51)【国際特許分類】

   H04N 19/80 20140101AFI20220420BHJP

   H04N 19/186 20140101ALI20220420BHJP

【ＦＩ】

H04N19/80

H04N19/186

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021551966

(86)(22)【出願日】2020-03-06

(85)【翻訳文提出日】2021-09-01

(86)【国際出願番号】 US2020021544

(87)【国際公開番号】W WO2020185619

(87)【国際公開日】2020-09-17

(31)【優先権主張番号】62/815,936

(32)【優先日】2019-03-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/866,450

(32)【優先日】2019-06-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/810,680

(32)【優先日】2020-03-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(72)【発明者】

【氏名】ファン・デル・オーウェラ、ゲールト

(72)【発明者】

【氏名】レイ、バッパディティア

(72)【発明者】

【氏名】ラマスブラモニアン、アダルシュ・クリシュナン

(72)【発明者】

【氏名】コバン、ムハンメド・ゼイド

(72)【発明者】

【氏名】ファン・バン、ルオン

(72)【発明者】

【氏名】カルチェビチ、マルタ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK01

5C159MA04

5C159MA05

5C159PP16

5C159RC11

5C159UA02

5C159UA05

5C159UA11

(57)【要約】

ビデオデコーダは、第１の逆修正されたクロマ残差データを生成するために、第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用し得る。さらに、ビデオデコーダは、第２の逆修正されたクロマ残差データを生成するために、第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用し得る。第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる。ビデオデコーダは、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成し得る。

【特許請求の範囲】

【請求項1】

ビデオデータを復号する方法であって、
変換領域からサンプル領域に前記ビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成することと、
前記変換領域から前記サンプル領域に前記ブロックの変換係数の第２のセットを変換するために前記逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成することと、
前記第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することと、
前記第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することと、ここにおいて、前記第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、
前記第１の逆修正されたクロマ残差データと前記第２の逆修正されたクロマ残差データとに基づいて前記ビデオデータの前記ブロックを再構成することと
を備える方法。

【請求項2】

前記ブロックを再構成することは、
前記ブロックの第１の再構成されたクロマデータを取得するために第１の予測されたクロマデータに前記第１の逆修正されたクロマ残差データを加算することと、
前記ブロックの第２の再構成されたクロマデータを取得するために第２の予測されたクロマデータに前記第２の逆修正されたクロマ残差データを加算することと
を備える、請求項１に記載の方法。

【請求項3】

前記方法が、
前記第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用すべきかまたは第３の逆残差修正関数を適用すべきかを決定することと、
前記第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用すべきかまたは第４の逆残差修正関数を適用すべきかを決定することと
をさらに備える、請求項１に記載の方法。

【請求項4】

前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することは、前記第１の逆修正されたクロマ残差データを生成するために、前記ブロックの１つまたは複数の特性に基づいて、前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することを備え、
前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することは、前記第２の逆修正されたクロマ残差データを生成するために、前記ブロックの前記１つまたは複数の特性に基づいて、前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することを備える、請求項３に記載の方法。

【請求項5】

前記ブロックの前記特性が、前記ブロックを含んでいるスライスもしくはタイルがイントラタイプであるのかもしくはインタータイプであるのか、現ピクチャ参照が前記ブロックとともに使用されるのかどうか、前記ブロックとともにデュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、前記ブロックの次元、または前記ブロックのアスペクト比のうちの１つもしくは複数を含む、請求項４に記載の方法。

【請求項6】

前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することは、前記第１の逆修正されたクロマ残差データを生成するために、ビットストリーム中でシグナリングされるデータに基づいて、前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することを備え、
前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することは、前記第２の逆修正されたクロマ残差データを生成するために、前記ビットストリーム中でシグナリングされる前記データに基づいて、前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することを備える、請求項３に記載の方法。

【請求項7】

前記第１の逆残差修正関数は、ｉｎｖＦ１（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ１０）／Ｍ１０＋（ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ１１）／Ｍ１１であり、
前記第２の逆残差修正関数は、ｉｎｖＦ２（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ２０）／Ｍ２０－（ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ２１）／Ｍ２１であり、
ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、前記第１の復号され修正されたクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）’は、前記第２の復号され修正されたクロマ残差データであり、Ｂ１０、Ｂ１１、Ｂ２０、およびＢ２１は、丸め項であり、Ｍ１０、Ｍ１１、Ｍ２０およびＮ２１は、正規化係数である、請求項１に記載の方法。

【請求項8】

前記第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用する前に前記第１の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用することと、
前記第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用する前に前記第２の復号され修正されたクロマ残差データに前記逆ＣＲＳプロセスを適用することと
をさらに備える、請求項１に記載の方法。

【請求項9】

前記第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用することの一部として前記第１の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用することと、
前記第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用することの一部として前記第２の復号され修正されたクロマ残差データに前記逆ＣＲＳプロセスを適用することと
をさらに備える、請求項１に記載の方法。

【請求項10】

ビデオデータを符号化する方法であって、
第１の修正されたクロマ残差データを生成するために前記ビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用することと、
前記第１の修正されたクロマ残差データを符号化することと、ここにおいて、前記第１の修正されたクロマ残差データを符号化することは、前記第１のクロマ残差データに前記第１の残差修正関数を適用した後に、サンプル領域から変換領域に前記第１の修正されたクロマ残差データを変換するために前記第１の修正されたクロマ残差データに順変換を適用することを備える、
第２の修正されたクロマ残差データを生成するために前記ブロックの第２のクロマ残差データに第２の残差修正関数を適用することと、
前記第２の修正されたクロマ残差データを符号化することと
を備え、
前記第１のクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２のクロマ残差データは、第２のクロマ成分に関連付けられ、
前記第２の修正されたクロマ残差データを符号化することは、前記第２のクロマ残差データに前記第２の残差修正関数を適用した後に、前記サンプル領域から前記変換領域に前記第２の修正されたクロマ残差データを変換するために前記第２の修正されたクロマ残差データに前記順変換を適用することを備える、方法。

【請求項11】

前記方法が、
前記第１の修正されたクロマ残差データを生成するために前記第１のクロマ残差データに前記第１の残差修正関数を適用すべきかまたは第３の残差修正関数を適用すべきかを決定することと、
前記第２の修正されたクロマ残差データを生成するために前記第２のクロマ残差データに前記第２の残差修正関数を適用すべきかまたは第４の残差修正関数を適用すべきかを決定することと
をさらに備える、請求項１０に記載の方法。

【請求項12】

前記第１の残差修正関数を適用すべきかまたは前記第３の残差修正関数を適用すべきかを決定することは、前記第１の修正されたクロマ残差データを生成するために、前記ブロックの１つまたは複数の特性に基づいて、前記第１のクロマ残差データに前記第１の残差修正関数を適用すべきかまたは前記第３の残差修正関数を適用すべきかを決定することを備え、
前記第２の残差修正関数を適用すべきかまたは前記第４の残差修正関数を適用すべきかを決定することは、前記第２の修正されたクロマ残差データを生成するために、前記ブロックの前記１つまたは複数の特性に基づいて、前記第２のクロマ残差データに前記第２の残差修正関数を適用すべきかまたは前記第４の残差修正関数を適用すべきかを決定することを備える、請求項１１に記載の方法。

【請求項13】

前記ブロックの前記特性が、前記ブロックを含んでいるスライスもしくはタイルがイントラタイプであるのかもしくはインタータイプであるのか、現ピクチャ参照が前記ブロックとともに使用されるのかどうか、前記ブロックとともにデュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、前記ブロックの次元、または前記ブロックのアスペクト比のうちの１つもしくは複数を含む、請求項１２に記載の方法。

【請求項14】

前記方法が、
ビットストリーム中で、前記第１の修正されたクロマ残差データを生成するために前記第１の残差修正関数が適用されたのかまたは前記第３の残差修正関数が適用されたのかを示すデータをシグナリングすることと、
前記ビットストリーム中で、前記第２の修正されたクロマ残差データを生成するために前記第２の逆残差修正関数が適用されたのかまたは前記第４の逆残差修正関数が適用されたのかを示すデータをシグナリングすることと
をさらに備える、請求項１１に記載の方法。

【請求項15】

前記第１の残差修正関数は、Ｆ１（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋Ａ１０）／Ｎ１０－（ｒｅｓＣｒ（ｘ，ｙ）＋Ａ１１）／Ｎ１１であり、
前記第２の残差修正関数は、Ｆ２（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋Ａ２０）／Ｎ２０＋（ｒｅｓＣｒ（ｘ，ｙ）＋Ａ２１）／Ｎ２１であり、
ここで、ｒｅｓＣｂ（ｘ，ｙ）は、前記第１のクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）は、前記第２のクロマ残差データであり、Ａ１０、Ａ１１、Ａ２０、およびＡ２１は、丸め項であり、Ｎ１０、Ｎ１１、Ｎ２０およびＮ２１は、正規化係数である、請求項１０に記載の方法。

【請求項16】

前記第１の修正されたクロマ残差データを生成するために前記第１のクロマ残差データに前記第１の残差修正関数を適用した後に前記第１の修正されたクロマ残差データにＣＲＳプロセスを適用することと、
前記第２の修正されたクロマ残差データを生成するために前記第２のクロマ残差データに前記第２の残差修正関数を適用した後に前記第２の修正されたクロマ残差データに前記ＣＲＳプロセスを適用することと
をさらに備える、請求項１０に記載の方法。

【請求項17】

前記第１の修正されたクロマ残差データを生成するために前記第１のクロマ残差データに前記第１の残差修正関数を適用することの一部として前記第１のクロマ残差データにＣＲＳプロセスを適用することと、
前記第２の修正されたクロマ残差データを生成するために前記第２のクロマ残差データに前記第２の残差修正関数を適用することの一部として前記第２のクロマ残差データに前記ＣＲＳプロセスを適用することと
をさらに備える、請求項１０に記載の方法。

【請求項18】

ビデオデータを復号するためのデバイスであって、
前記ビデオデータを記憶するためのメモリと、
回路中に実装された１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサは、
変換領域からサンプル領域に前記ビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成することと、
前記変換領域から前記サンプル領域に前記ブロックの変換係数の第２のセットを変換するために前記逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成することと、
前記第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することと、
前記第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することと、ここにおいて、前記第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、
前記第１の逆修正されたクロマ残差データと前記第２の逆修正されたクロマ残差データとに基づいて前記ビデオデータの前記ブロックを再構成することと
を行うように構成された、デバイス。

【請求項19】

前記１つまたは複数のプロセッサは、前記ブロックを再構成することの一部として、前記１つまたは複数のプロセッサが、
前記ブロックの第１の再構成されたクロマデータを取得するために第１の予測されたクロマデータに前記第１の逆修正されたクロマ残差データを加算することと、
前記ブロックの第２の再構成されたクロマデータを取得するために第２の予測されたクロマデータに前記第２の逆修正されたクロマ残差データを加算することと
を行うように構成された、請求項１８に記載のデバイス。

【請求項20】

前記１つまたは複数のプロセッサは、
前記第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用すべきかまたは第３の逆残差修正関数を適用すべきかを決定することと、
前記第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用すべきかまたは第４の逆残差修正関数を適用すべきかを決定することと
を行うようにさらに構成された、請求項１８に記載のデバイス。

【請求項21】

前記１つまたは複数のプロセッサは、前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することの一部として前記１つまたは複数のプロセッサが、前記第１の逆修正されたクロマ残差データを生成するために、前記ブロックの１つまたは複数の特性に基づいて、前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することを行うように構成され、
前記１つまたは複数のプロセッサは、前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することの一部として前記１つまたは複数のプロセッサが、前記第２の逆修正されたクロマ残差データを生成するために、前記ブロックの前記１つまたは複数の特性に基づいて、前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することを行うように構成された、請求項２０に記載のデバイス。

【請求項22】

前記ブロックの前記特性が、前記ブロックを含んでいるスライスもしくはタイルがイントラタイプであるのかもしくはインタータイプであるのか、現ピクチャ参照が前記ブロックとともに使用されるのかどうか、前記ブロックとともにデュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、前記ブロックの次元（dimension）、または前記ブロックのアスペクト比のうちの１つもしくは複数を含む、請求項２１に記載のデバイス。

【請求項23】

前記１つまたは複数のプロセッサは、前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することの一部として前記１つまたは複数のプロセッサが、前記第１の逆修正されたクロマ残差データを生成するために、ビットストリーム中でシグナリングされるデータに基づいて、前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用すべきかまたは前記第３の逆残差修正関数を適用すべきかを決定することを行うように構成され、
前記１つまたは複数のプロセッサは、前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することの一部として前記１つまたは複数のプロセッサが、前記第２の逆修正されたクロマ残差データを生成するために、前記ビットストリーム中でシグナリングされる前記データに基づいて、前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用すべきかまたは前記第４の逆残差修正関数を適用すべきかを決定することを行うように構成された、請求項２０に記載のデバイス。

【請求項24】

前記第１の逆残差修正関数は、ｉｎｖＦ１（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ１０）／Ｍ１０＋（ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ１１）／Ｍ１１であり、
前記第２の逆残差修正関数は、ｉｎｖＦ２（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ２０）／Ｍ２０－（ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ２１）／Ｍ２１であり、
ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、前記第１の復号され修正されたクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）’は、前記第２の復号され修正されたクロマ残差データであり、Ｂ１０、Ｂ１１、Ｂ２０、およびＢ２１は、丸め項であり、Ｍ１０、Ｍ１１、Ｍ２０およびＮ２１は、正規化係数である、請求項１８に記載のデバイス。

【請求項25】

前記１つまたは複数のプロセッサは、
前記第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用する前に前記第１の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用することと、
前記第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用する前に前記第２の復号され修正されたクロマ残差データに前記逆ＣＲＳプロセスを適用することと
を行うようにさらに構成された、請求項１８に記載のデバイス。

【請求項26】

前記１つまたは複数のプロセッサは、
前記第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに前記第１の逆残差修正関数を適用することの一部として前記第１の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用することと、
前記第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに前記第２の逆残差修正関数を適用することの一部として前記第２の復号され修正されたクロマ残差データに前記逆ＣＲＳプロセスを適用することと
を行うように構成された、請求項１８に記載のデバイス。

【請求項27】

復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、請求項１８に記載のデバイス。

【請求項28】

前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１８に記載のデバイス。

【請求項29】

ビデオデータを符号化するためのデバイスであって、
前記ビデオデータを記憶するためのメモリと、
回路中に実装された１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサは、
第１の修正されたクロマ残差データを生成するために前記ビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用することと、
前記第１の修正されたクロマ残差データを符号化することと、ここにおいて、前記１つまたは複数のプロセッサは、前記第１の修正されたクロマ残差データを符号化することの一部として前記１つまたは複数のプロセッサが、前記第１のクロマ残差データに前記第１の残差修正関数を適用した後に、サンプル領域から変換領域に前記第１の修正されたクロマ残差データを変換するために前記第１の修正されたクロマ残差データに順変換を適用することを行うように構成される、
第２の修正されたクロマ残差データを生成するために前記ブロックの第２のクロマ残差データに第２の残差修正関数を適用することと、
前記第２の修正されたクロマ残差データを符号化することと
を行うように構成され、
前記第１のクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２のクロマ残差データは、第２のクロマ成分に関連付けられ、
前記１つまたは複数のプロセッサは、前記第２の修正されたクロマ残差データを符号化することの一部として、前記１つまたは複数のプロセッサは、前記第２のクロマ残差データに前記第２の残差修正関数を適用した後に、前記サンプル領域から前記変換領域に前記第２の修正されたクロマ残差データを変換するために前記第２の修正されたクロマ残差データに前記順変換を適用することを行うように構成された、デバイス。

【請求項30】

前記１つまたは複数のプロセッサは、
前記第１の修正されたクロマ残差データを生成するために前記第１のクロマ残差データに前記第１の残差修正関数を適用すべきかまたは第３の残差修正関数を適用すべきかを決定することと、
前記第２の修正されたクロマ残差データを生成するために前記第２のクロマ残差データに前記第２の残差修正関数を適用すべきかまたは第４の残差修正関数を適用すべきかを決定することと
を行うようにさらに構成された、請求項２９に記載のデバイス。

【請求項31】

前記１つまたは複数のプロセッサは、前記第１の残差修正関数を適用すべきかまたは前記第３の残差修正関数を適用すべきかを決定することの一部として、前記１つまたは複数のプロセッサは、前記第１の修正されたクロマ残差データを生成するために、前記ブロックの１つまたは複数の特性に基づいて、前記第１のクロマ残差データに前記第１の残差修正関数を適用すべきかまたは前記第３の残差修正関数を適用すべきかを決定することを行うように構成され、
前記１つまたは複数のプロセッサは、前記第２の残差修正関数を適用すべきかまたは前記第４の残差修正関数を適用すべきかを決定することの一部として、前記１つまたは複数のプロセッサは、前記第２の修正されたクロマ残差データを生成するために、前記ブロックの前記１つまたは複数の特性に基づいて、前記第２のクロマ残差データに前記第２の残差修正関数を適用すべきかまたは前記第４の残差修正関数を適用すべきかを決定することを行うように構成された、請求項３０に記載のデバイス。

【請求項32】

前記ブロックの前記特性が、前記ブロックを含んでいるスライスもしくはタイルがイントラタイプであるのかもしくはインタータイプであるのか、現ピクチャ参照が前記ブロックとともに使用されるのかどうか、前記ブロックとともにデュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、前記ブロックの次元、または前記ブロックのアスペクト比のうちの１つもしくは複数を含む、請求項３１に記載のデバイス。

【請求項33】

前記１つまたは複数のプロセッサは、
ビットストリーム中で、前記第１の修正されたクロマ残差データを生成するために前記第１の残差修正関数が適用されたのかまたは前記第３の残差修正関数が適用されたのかを示すデータをシグナリングすることと、
前記ビットストリーム中で、前記第２の修正されたクロマ残差データを生成するために前記第２の逆残差修正関数が適用されたのかまたは前記第４の逆残差修正関数が適用されたのかを示すデータをシグナリングすることと
を行うようにさらに構成された、請求項３０に記載のデバイス。

【請求項34】

前記第１の残差修正関数は、Ｆ１（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋Ａ１０）／Ｎ１０－（ｒｅｓＣｒ（ｘ，ｙ）＋Ａ１１）／Ｎ１１であり、
前記第２の残差修正関数は、Ｆ２（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋Ａ２０）／Ｎ２０＋（ｒｅｓＣｒ（ｘ，ｙ）＋Ａ２１）／Ｎ２１であり、
ここで、ｒｅｓＣｂ（ｘ，ｙ）は、前記第１のクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）は、前記第２のクロマ残差データであり、Ａ１０、Ａ１１、Ａ２０、およびＡ２１は、丸め項であり、Ｎ１０、Ｎ１１、Ｎ２０およびＮ２１は、正規化係数である、請求項２９に記載のデバイス。

【請求項35】

前記１つまたは複数のプロセッサは、
前記第１の修正されたクロマ残差データを生成するために前記第１のクロマ残差データに前記第１の残差修正関数を適用した後に前記第１の修正されたクロマ残差データにＣＲＳプロセスを適用することと、
前記第２の修正されたクロマ残差データを生成するために前記第２のクロマ残差データに前記第２の残差修正関数を適用した後に前記第２の修正されたクロマ残差データに前記ＣＲＳプロセスを適用することと
を行うようにさらに構成された、請求項２９に記載のデバイス。

【請求項36】

前記１つまたは複数のプロセッサは、
前記第１の修正されたクロマ残差データを生成するために前記第１のクロマ残差データに前記第１の残差修正関数を適用することの一部として前記第１のクロマ残差データにＣＲＳプロセスを適用することと、
前記第２の修正されたクロマ残差データを生成するために前記第２のクロマ残差データに前記第２の残差修正関数を適用することの一部として前記第２のクロマ残差データに前記ＣＲＳプロセスを適用することと
を行うようにさらに構成された、請求項２９に記載のデバイス。

【請求項37】

前記デバイスが、カメラ、コンピュータ、またはモバイルデバイスのうちの１つまたは複数を備える、請求項２９に記載のデバイス。

【請求項38】

ビデオデータを復号するためのデバイスであって、
変換領域からサンプル領域に前記ビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成するための手段と、
前記変換領域から前記サンプル領域に前記ブロックの変換係数の第２のセットを変換するために前記逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成するための手段と、
前記第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用するための手段と、
前記第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用するための手段と、ここにおいて、前記第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、
前記第１の逆修正されたクロマ残差データと前記第２の逆修正されたクロマ残差データとに基づいて前記ビデオデータの前記ブロックを再構成するための手段と
を備えるデバイス。

【請求項39】

ビデオデータを符号化するためのデバイスであって、
第１の修正されたクロマ残差データを生成するために前記ビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用するための手段と、
前記第１の修正されたクロマ残差データを符号化するための手段と、ここにおいて、前記第１の修正されたクロマ残差データを符号化することは、前記第１のクロマ残差データに前記第１の残差修正関数を適用した後に、サンプル領域から変換領域に前記第１の修正されたクロマ残差データを変換するために前記第１の修正されたクロマ残差データに順変換を適用するための手段を備える、
第２の修正されたクロマ残差データを生成するために前記ブロックの第２のクロマ残差データに第２の残差修正関数を適用するための手段と、
前記第２の修正されたクロマ残差データを符号化するための手段と
を備え、
前記第１のクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２のクロマ残差データは、第２のクロマ成分に関連付けられ、
前記第２の修正されたクロマ残差データを符号化するための前記手段は、前記第２のクロマ残差データに前記第２の残差修正関数を適用した後に、前記サンプル領域から前記変換領域に前記第２の修正されたクロマ残差データを変換するために前記第２の修正されたクロマ残差データに前記順変換を適用するための手段を備える、デバイス。

【請求項40】

命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、
変換領域からサンプル領域にビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成することと、
前記変換領域から前記サンプル領域に前記ブロックの変換係数の第２のセットを変換するために前記逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成することと、
前記第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために前記第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することと、
前記第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために前記第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することと、ここにおいて、前記第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、
前記第１の逆修正されたクロマ残差データと前記第２の逆修正されたクロマ残差データとに基づいて前記ビデオデータの前記ブロックを再構成することと
を行わせる、コンピュータ可読記憶媒体。

【請求項41】

命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、
第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用することと、
前記第１の修正されたクロマ残差データを符号化することと、ここにおいて、前記１つまたは複数のプロセッサに、前記第１の修正されたクロマ残差データを符号化させることの一部として、前記命令の実行は、前記１つまたは複数のプロセッサに、前記第１のクロマ残差データに前記第１の残差修正関数を適用した後に、サンプル領域から変換領域に前記第１の修正されたクロマ残差データを変換するために前記第１の修正されたクロマ残差データに順変換を適用することを行わせる、
第２の修正されたクロマ残差データを生成するために前記ブロックの第２のクロマ残差データに第２の残差修正関数を適用することと、
前記第２の修正されたクロマ残差データを符号化することと
を行わせ、
前記第１のクロマ残差データは、第１のクロマ成分に関連付けられ、前記第２のクロマ残差データは、第２のクロマ成分に関連付けられ、
前記１つまたは複数のプロセッサに、前記第２の修正されたクロマ残差データを符号化させることの一部として、前記命令の実行は、前記１つまたは複数のプロセッサに、前記第２のクロマ残差データに前記第２の残差修正関数を適用した後に、前記サンプル領域から前記変換領域に前記第２の修正されたクロマ残差データを変換するために前記第２の修正されたクロマ残差データに前記順変換を適用することを行わせる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本出願は、各々の内容全体が参照により組み込まれる２０２０年３月５日に出願された米国特許出願第１６／８１０，６８０号、２０１９年３月８日に出願された米国仮特許出願第６２／８１５，９３６号、および２０１９年６月２５日に出願された米国仮特許出願第６２／８６６，４５０号の利益を主張する。

【0002】

[0002] 本開示は、ビデオ符号化（video encoding）およびビデオ復号（video decoding）に関する。

【背景技術】

【0003】

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタルレコーディングデバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲーム機、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、幅広いデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

【0004】

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。

【発明の概要】

【0005】

[0005] 概して、本開示では、ビデオコーディング（video coding）における組み合わされた残差コーディング（combined residual coding）のための技法について説明する。本明細書で説明されるように、ビデオエンコーダ（video encoder）とビデオデコーダ（video decoder）とは、ビデオデータ（video data）のブロック（block）を符号化（encode）および復号する（decode）ために組み合わされた残差コーディングを実行し得る。組み合わされた残差コーディングを実行するために、ビデオエンコーダは、ブロックのＣｂ残差データに第１の残差修正関数（first residual modification function）を適用し、ブロックのＣｒ残差データに第２の残差修正関数（second residual modification function）を適用し得る。第１の残差修正関数は、ブロックの元のＣｂ残差データとブロックのＣｒ残差データとの両方に基づいてブロックのＣｂ残差データを修正する。同様に、第２の残差修正関数は、ブロックの元のＣｒ残差データとブロックのＣｂ残差データとの両方に基づいてブロックのＣｒ残差データを修正する。ビデオデコーダは、ブロックの復号されたＣｂ残差データとＣｒ残差データとに逆残差修正関数（inverse residual modification function）を適用する（apply）。残差修正関数（residual modification function）を適用することによって、ビデオエンコーダは、より小さい値を使用してＣｂクロマ残差データとＣｒクロマ残差データとを表すことが可能であり得る。より小さい値は、より少数のビットを使用して符号化され得る。したがって、残差修正関数の適用は、より大きいコーディング効率（coding efficiency）（たとえば、より大きい圧縮）を生じ得る。

【0006】

[0006] 一例では、本開示は、ビデオデータを復号する方法であって、変換領域（transform domain）からサンプル領域（sample domain）にビデオデータのブロックの変換係数の第１のセット（first set of transform coefficients of a block）を変換する（convert）ために逆変換（inverse transform）を適用することによって第１の復号され修正されたクロマ残差データ（first decoded modified chroma residual data）を生成する（generate）ことと、変換領域からサンプル領域にブロックの変換係数の第２のセット（a second set of transform coefficients）を変換するために逆変換を適用することによって第２の復号され修正されたクロマ残差データ（second decoded modified chroma residual data）を生成することと、第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データ（first inverse modified chroma residual data）を生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数（first inverse residual modification function）を適用することと、第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データ（second inverse modified chroma residual data）を生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数（second inverse residual modification function）を適用することと、ここにおいて、第１の復号され修正されたクロマ残差データは、第１のクロマ成分（first chroma component）に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分（second chroma component）に関連付けられる、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成する（reconstruct）こととを備える方法について説明する。

【0007】

[0007] 別の例では、本開示は、ビデオデータを符号化する（encode）方法であって、第１の修正されたクロマ残差データ（first modified chroma residual data）を生成するためにビデオデータのブロックの第１のクロマ残差データ（first chroma residual data）に第１の残差修正関数を適用することと、第１の修正されたクロマ残差データを符号化することと、ここにおいて、第１の修正されたクロマ残差データを符号化することは、第１のクロマ残差データに第１の残差修正関数を適用した後に、サンプル領域から変換領域に第１の修正されたクロマ残差データを変換するために第１の修正されたクロマ残差データに順変換（forward transform）を適用することを備える、第２の修正されたクロマ残差データ（second modified chroma residual data）を生成するためにブロックの第２のクロマ残差データ（second chroma residual data）に第２の残差修正関数を適用することと、第２の修正されたクロマ残差データを符号化することとを備え、第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられ、第２の修正されたクロマ残差データを符号化することは、第２のクロマ残差データに第２の残差修正関数を適用した後に、サンプル領域から変換領域に第２の修正されたクロマ残差データを変換するために第２の修正されたクロマ残差データに順変換を適用することを備える、方法について説明する。

【0008】

[0008] 別の例では、本開示は、ビデオデータを復号するためのデバイス（device）であって、ビデオデータを記憶する（store）ためのメモリ（memory）と、回路（circuitry）中に実装された１つまたは複数のプロセッサ（processor）とを備え、１つまたは複数のプロセッサは、変換領域からサンプル領域にビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成することと、変換領域からサンプル領域にブロックの変換係数の第２のセットを変換するために逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成することと、第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することと、第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することと、ここにおいて、第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成することとを行うように構成された、デバイスについて説明する。

【0009】

[0009] 別の例では、本開示は、ビデオデータを符号化するためのデバイスであって、ビデオデータを記憶するためのメモリと、回路中で実装された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用することと、第１の修正されたクロマ残差データを符号化することと、ここにおいて、１つまたは複数のプロセッサは、第１の修正されたクロマ残差データを符号化することの一部として、１つまたは複数のプロセッサは、第１のクロマ残差データに第１の残差修正関数を適用した後に、サンプル領域から変換領域に第１の修正されたクロマ残差データを変換するために第１の修正されたクロマ残差データに順変換を適用することを行うように構成される、第２の修正されたクロマ残差データを生成するためにブロックの第２のクロマ残差データに第２の残差修正関数を適用することと、第２の修正されたクロマ残差データを符号化することとを行うように構成され、第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられ、１つまたは複数のプロセッサは、第２の修正されたクロマ残差データを符号化することの一部として、１つまたは複数のプロセッサは、第２のクロマ残差データに第２の残差修正関数を適用した後に、サンプル領域から変換領域に第２の修正されたクロマ残差データを変換するために第２の修正されたクロマ残差データに順変換を適用することを行うように構成される、デバイスについて説明する。

【0010】

[0010] 別の例では、本開示は、ビデオデータを復号するためのデバイスであって、変換領域からサンプル領域にビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成するための手段と、変換領域からサンプル領域にブロックの変換係数の第２のセットを変換するために逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成するための手段と、第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用するための手段と、第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用するための手段と、ここにおいて、第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成するための手段とを備えるデバイスについて説明する。

【0011】

[0011] 別の例では、本開示は、ビデオデータを符号化するためのデバイスであって、第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用するための手段と、第１の修正されたクロマ残差データを符号化するための手段と、ここにおいて、第１の修正されたクロマ残差データを符号化することは、第１のクロマ残差データに第１の残差修正関数を適用した後に、サンプル領域から変換領域に第１の修正されたクロマ残差データを変換するために第１の修正されたクロマ残差データに順変換を適用するための手段を備える、第２の修正されたクロマ残差データを生成するためにブロックの第２のクロマ残差データに第２の残差修正関数を適用するための手段と、第２の修正されたクロマ残差データを符号化するための手段とを備え、第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられ、第２の修正されたクロマ残差データを符号化するための手段は、第２のクロマ残差データに第２の残差修正関数を適用した後に、サンプル領域から変換領域に第２の修正されたクロマ残差データを変換するために第２の修正されたクロマ残差データに順変換を適用するための手段を備える、デバイスについて説明する。

【0012】

[0012] 別の例では、本開示は、命令（instruction）を記憶したコンピュータ可読記憶媒体（computer-readable storage medium）であって、命令は、実行されたとき、１つまたは複数のプロセッサに、変換領域からサンプル領域にビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成することと、変換領域からサンプル領域にブロックの変換係数の第２のセットを変換するために逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成することと、第１の復号され修正されたクロマ残差データを生成した後に、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することと、第２の復号され修正されたクロマ残差データを生成した後に、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することと、ここにおいて、第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成することとを行わせる、コンピュータ可読記憶媒体について説明する。

【0013】

[0013] 別の例では、本開示は、命令を記憶したコンピュータ可読記憶媒体であって、命令は、実行されたとき、１つまたは複数のプロセッサに、第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用することと、第１の修正されたクロマ残差データを符号化することと、ここにおいて、１つまたは複数のプロセッサに、第１の修正されたクロマ残差データを符号化させることの一部として、命令の実行は、１つまたは複数のプロセッサに、第１のクロマ残差データに第１の残差修正関数を適用した後に、サンプル領域から変換領域に第１の修正されたクロマ残差データを変換するために第１の修正されたクロマ残差データに順変換を適用することを行わせる、第２の修正されたクロマ残差データを生成するためにブロックの第２のクロマ残差データに第２の残差修正関数を適用することと、第２の修正されたクロマ残差データを符号化することとを行わせ、第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられ、１つまたは複数のプロセッサに、第２の修正されたクロマ残差データを符号化させることの一部として、命令の実行は、１つまたは複数のプロセッサに、第２のクロマ残差データに第２の残差修正関数を適用した後に、サンプル領域から変換領域に第２の修正されたクロマ残差データを変換するために第２の修正されたクロマ残差データに順変換を適用することを行わせる、コンピュータ可読記憶媒体について説明する。

【0014】

[0014] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

【図面の簡単な説明】

【0015】

【図1】[0015] 本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図。

【図2】[0016] インループルーマ再形成器（in-loop luma reshaper）を用いたイントラスライス再構成（intra slice reconstruction）の一例を示すブロック図。

【図3】[0017] インループルーマ再形成器を用いたインタースライス再構成（inter slice reconstruction）の一例を示すブロック図。

【図4】[0018] クロマ残差スケーリング（chroma residual scaling）を用いたイントラモード再構成（intra mode reconstruction）とインターモード再構成（inter mode reconstruction）との一例を示すブロック図。

【図5A】[0019] 例示的な４分木２分木（ＱＴＢＴ）構造を示す概念図。

【図5B】対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。

【図6】[0020] 本開示の技法を実行し得る例示的なビデオエンコーダ（video encoder）を示すブロック図。

【図7】[0021] 本開示の技法を実行し得る例示的なビデオデコーダ（video decoder）を示すブロック図。

【図8】[0022] 現在のブロックを符号化するための例示的な方法を示すフローチャート。

【図9】[0023] ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャート。

【図10】[0024] 本開示の１つまたは複数の技法による、ビデオエンコーダの例示的な動作を示すフローチャート。

【図11】[0025] 本開示の１つまたは複数の技法による、ビデオデコーダの例示的な動作を示すフローチャート。

【発明を実施するための形態】

【0016】

[0026] ビデオデータは、しばしば、ＹＣｂＣｒ色空間で表される。すなわち、ピクチャの各ピクセルは、ルーマ、Ｙ、成分と２つのクロマ成分ＣｂおよびＣｒとによって表され得る。ＹＣｂＣｒ色空間中にビデオデータを表すことは、赤緑青（ＲＧＢ）色空間に固有の冗長性を低減し得る。しかしながら、有意な相関は、Ｃｂ値とＣｒ値との間に残り得る。この相関を低減することにより、より良いコーディング効率が可能になり得る。

【0017】

[0027] 本開示は、コーディング効率を改善し得る成分間の相関を低減し得る技法について説明する。本明細書で説明されるように、ビデオエンコーダは、残差クロマデータ（residual chroma data）に残差修正関数（ＲＭＦ：residual modification function）を適用し得る。ビデオデコーダは、復号された残差クロマデータに逆ＲＭＦを適用し得る。逆ＲＭＦは、ビデオエンコーダによって適用されるＲＭＦの効果を少なくとも部分的に逆転し得る。本明細書で説明されるように、クロマ成分のための残差クロマデータに適用されるＲＭＦは、クロマ成分と他のクロマ成分とのための残差クロマデータを使用し得る。したがって、修正されたクロマ残差データの２つのセットは、単一のブロックの異なるクロマ成分について依然として符号化されるが、ビデオエンコーダは、互いを考慮してクロマ成分のためのクロマ残差データを修正する。そのようなＲＭＦを適用することは、コーディング効率を改善し得る。たとえば、そのようなＲＭＦの適用が、クロマ残差データ（chroma residual data）の値を低減し得るので、そのようなＲＭＦを適用することは、ビデオデータを符号化するのに必要とされるビット数（number of bits）を低減し得る。

【0018】

[0028] 一例では、ビデオエンコーダは、第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用し得る。ビデオエンコーダはまた、第１の修正されたクロマ残差データを符号化し得る。第１の修正されたクロマ残差データを符号化することの一部として、ビデオエンコーダは、第１のクロマ残差データに第１の残差修正関数を適用した後に、サンプル領域から変換領域に第１の修正されたクロマ残差データを変換するために第１の修正されたクロマ残差データに順変換を適用し得る。さらに、ビデオエンコーダは、第２の修正されたクロマ残差データを生成するためにブロックの第２のクロマ残差データに第２の残差修正関数を適用し得る。ビデオエンコーダはまた、第２の修正されたクロマ残差データを符号化し得る。第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられる。第２の修正されたクロマ残差データを符号化することの一部として、ビデオエンコーダは、第２のクロマ残差データに第２の残差修正関数を適用した後に、サンプル領域から変換領域に第２の修正されたクロマ残差データを変換するために第２の修正されたクロマ残差データに順変換を適用し得る。

【0019】

[0029] 同様に、ビデオデコーダは、変換領域からサンプル領域にビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって第１の復号され修正されたクロマ残差データを生成し得る。さらに、ビデオデコーダは、変換領域からサンプル領域にブロックの変換係数の第２のセットを変換するために逆変換を適用することによって第２の復号され修正されたクロマ残差データを生成し得る。第１の復号され修正されたクロマ残差データを生成した後に、ビデオデコーダは、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用し得る。第２の復号され修正されたクロマ残差データを生成した後に、ビデオデコーダは、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用し得る。第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる。ビデオデコーダは、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成し得る。

【0020】

[0030] 図１は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータ（signaling data）などのビデオメタデータ（video metadata）を含み得る。

【0021】

[0031] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス１０２を含む。詳細には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してビデオデータを宛先デバイス１１６に提供する。ソースデバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス（set-top box）、電話ハンドセットこのようなスマートフォン、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを含み得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。

【0022】

[0032] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、組み合わされた残差コーディング（ＣＲＣ：combined residual coding）のための本開示の技法を適用するように構成され得る。したがって、ソースデバイス１０２は、ビデオ符号化デバイスの一例を表し、一方、宛先デバイス１１６は、ビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0023】

[0033] 図１に示されているシステム１００は一例にすぎない。概して、いかなるデジタルビデオ符号化および／または復号デバイスも、組み合わされた残差コーディングのための本開示の技法を実行し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、「コーディング」デバイスをデータのコーディング（符号化および／または復号）を実行するデバイスと称する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２と宛先デバイス１１６との各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のために、ソースデバイス１０２と宛先デバイス１１６との間で１方向または２方向のビデオ送信をサポートし得る。

【0024】

[0034] 概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリーム（bitstream）を生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。

【0025】

[0035] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、たとえば、ビデオソース１０４からの未加工のビデオ、およびビデオデコーダ３００からの未加工の、復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００およびビデオデコーダ３００によって実行可能なソフトウェア命令を記憶し得る。メモリ１０６とメモリ１２０とは、この例ではビデオエンコーダ２００とビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００とビデオデコーダ３００とは、機能的に同様または等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

【0026】

[0036] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、高周波（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路などの、任意のワイヤレスまたは有線通信媒体を含み得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。

【0027】

[0037] いくつかの例では、コンピュータ可読媒体１１０はストレージデバイス１１２を含み得る。ソースデバイス１０２は、出力インターフェース１０８からストレージデバイス１１２に符号化されたデータを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介してストレージデバイス１１２から符号化されたデータにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

【0028】

[0038] いくつかの例では、コンピュータ可読媒体１１０は、ソースデバイス１０２によって生成された符号化されたビデオデータを記憶し得るファイルサーバ１１４または別の中間ストレージデバイスを含み得る。ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオを記憶し得るファイルサーバ１１４または別の中間ストレージデバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４から記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化されたビデオデータを記憶し、符号化されたビデオデータを宛先デバイス１１６に送信することができる任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ１１４から符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。ファイルサーバ１１４と入力インターフェース１２２とは、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。

【0029】

[0039] 出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を含む例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を含むいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの他のワイヤレス規格に従って符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実行するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実行するためのＳｏＣデバイスを含み得る。

【0030】

[0040] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

【0031】

[0041] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性（characteristics）および／または処理を記述する値を有するシンタックス要素（syntax element）など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

【0032】

[0042] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームを処理するために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

【0033】

[0043] ビデオエンコーダ２００およびビデオデコーダ３００はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路および／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを含み得る。

【0034】

[0044] ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５などのビデオコーディング規格あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれの拡張に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは、共同探査テストモデル（ＪＥＭ：Joint Exploration Test Model）、または汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ標準の最近のドラフトは、Ｂｒｏｓｓら「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ４）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、第１３回会合：Ｍａｒｒａｋｅｃｈ、ＭＡ、２０１９年１月９～１８日、ＪＶＥＴ－Ｍ１００１－ｖ５（以下、「ＶＶＣ Ｄｒａｆｔ ４」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

【0035】

[0045] 概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を一般に意味する。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマット付きデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替的に、前処理および後処理ユニット（図示されず）が、これらのコンバージョンを実行し得る。

【0036】

[0046] 本開示では、概して、ピクチャのコーディング（たとえば、符号化および復号）を、ピクチャのデータを符号化または復号するプロセスを含むように参照し得る。同様に、本開示では、ピクチャのブロックのコーディングを、ブロックのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように参照し得る。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成しているシンタックス要素の値をコーディングすることとして理解されたい。

【0037】

[0047] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい、重複しない正方形に区分し、４分木の各ノードは、０個または４つのいずれかの子ノードを有する。子ノードなしのノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵならびに／あるいは１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差４分木（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

【0038】

[0048] 別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＪＥＭまたはＶＶＣに従って動作するように構成され得る。ＪＥＭまたはＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造などの木構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、４分木区分に従って区分される第１のレベルと、２分木区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。２分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。

【0039】

[0049] ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ）区分と、２分木（ＢＴ）区分と、１つまたは複数のタイプの３分木（ＴＴ）区分とを使用して区分され得る。３分木区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分木区分は、中心を通って元のブロックを分割することなく、ブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。

【0040】

[0050] いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

【0041】

[0051] ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＥＶＣに従う４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。ただし、本開示の技法が、４分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

【0042】

[0052] 本開示は、垂直および水平次元、たとえば、１６×１６のサンプルまたは１６バイ１６のサンプルに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル次元に言及するために「Ｎ×Ｎ」および「ＮバイＮ」を互換的に使用し得る。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプル（ｙ＝１６）を有し、水平方向に１６個のサンプル（ｘ＝１６）を有する。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは行と列とに配列され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍのサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

【0043】

[0053] ビデオエンコーダ２００は、予測および／または残差情報ならびに他の情報を表すＣＵのためのビデオデータを符号化する。予測情報は、ＣＵがＣＵのための予測ブロックを形成するためにどのように予測されるべきであるのかを示す。残差情報は、概して、符号化の前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差を表す。

【0044】

[0054] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵのための予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからＣＵを予測することを指す。インター予測を実行するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差に関して、ＣＵに厳密に一致する参照ブロックを識別するために動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在のＣＵに厳密に一致するのかどうかを決定するために絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在のＣＵを予測し得る。

【0045】

[0055] ＪＥＭとＶＶＣとのいくつかの例はまた、インター予測モードと考えられ得る、アフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。

【0046】

[0056] イントラ予測を実行するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＪＥＭとＶＶＣとのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在のブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在のブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。

【0047】

[0057] ビデオエンコーダ２００は、現在のブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ：advanced motion vector prediction）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードの動きベクトルを符号化するために同様のモードを使用し得る。

【0048】

[0058] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）など、第１の変換に続いて２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。

【0049】

[0059] 上述のように、変換係数（transform coefficients）を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減させるために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値まで丸め得、ここで、ｎは、ｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位の右シフトを実行し得る。

【0050】

[0060] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実行し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトル中の変換係数を表すシンタックス要素をエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素の値をエントロピー符号化し得る。

【0051】

[0061] ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるかどうかに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0052】

[0062] ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

【0053】

[0063] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。

【0054】

[0064] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実行されたものの逆プロセスを実行する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへピクチャを区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。

【0055】

[0065] ビデオデコーダ３００は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関係する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、（サンプルごとに）予測ブロックと残差ブロックとを組み合わせて、元のブロックを再生し得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実行することなど、追加の処理を実行し得る。

【0056】

[0066] 上述のように、ビデオエンコーダ２００とビデオデコーダ３００とは、シンタックス要素の値にＣＡＢＡＣ符号化および復号を適用し得る。シンタックス要素にＣＡＢＡＣ符号化を適用するために、ビデオエンコーダ２００は、「ビン（bin）」と呼ばれる一連の１つまたは複数のビットを形成するためにシンタックス要素の値を２値化し得る。さらに、ビデオエンコーダ２００は、コーディングコンテキストを識別し得る。コーディングコンテキストは、特定の値を有するビンの確率を識別し得る。たとえば、コーディングコンテキストは、０の値のビンをコーディングする０．７の確率と、１の値のビンをコーディングする０．３の確率とを示し得る。コーディングコンテキストを識別した後、ビデオエンコーダ２００は、間隔（interval）を下位サブ間隔と上位サブ間隔とに分割し得る。サブ間隔（sub-interval）のうちの一方は、値０に関連付けられ得、他方のサブ間隔は、値１に関連付けられ得る。サブ間隔の幅は、識別されたコーディングコンテキストによって、関連付けられた値について示される確率に比例し得る。シンタックス要素のビンが、下位サブ間隔に関連付けられた値を有する場合、符号化された値は、下位サブ間隔の下位境界に等しくなり得る。シンタックス要素の同じビンが、上位サブ間隔に関連付けられた値を有する場合、符号化された値は、上位サブ間隔の下位境界に等しくなり得る。シンタックス要素の次のビンを符号化するために、ビデオエンコーダ２００は、符号化ビットの値に関連付けられたサブ間隔である間隔で、これらのステップを繰り返し得る。ビデオエンコーダ２００が次のビンについてこれらのステップを繰り返すとき、ビデオエンコーダ２００は、識別されたコーディングコンテキストおよび符号化されたビンの実際の値によって示される確率に基づく、修正された確率を使用し得る。

【0057】

[0067] ビデオデコーダ３００が、シンタックス要素の値に対してＣＡＢＡＣ復号を実行するとき、ビデオデコーダ３００は、コーディングコンテキストを識別し得る。ビデオデコーダ３００は次いで、間隔を下位サブ間隔と上位サブ間隔とに分割し得る。サブ間隔のうちの一方は、値０に関連付けられ得、他方のサブ間隔は、値１に関連付けられ得る。サブ間隔の幅は、識別されたコーディングコンテキストによって、関連付けられた値について示される確率に比例し得る。符号化された値が下位サブ間隔内にある場合、ビデオデコーダ３００は、下位サブ間隔に関連付けられた値を有するビンを復号し得る。符号化された値が上位サブ間隔内にある場合、ビデオデコーダ３００は、上位サブ間隔に関連付けられた値を有するビンを復号し得る。シンタックス要素の次のビンを復号するために、ビデオデコーダ３００は、符号化された値を含んでいるサブ間隔である間隔で、これらのステップを繰り返し得る。ビデオデコーダ３００が次のビンについてこれらのステップを繰り返すとき、ビデオデコーダ３００は、識別されたコーディングコンテキストおよび復号されたビンによって示される確率に基づく、修正された確率を使用し得る。ビデオデコーダ３００は次いで、シンタックス要素の値を復元するために、ビンを逆２値化し得る。

【0058】

[0068] いくつかの事例では、ビデオエンコーダ２００は、バイパスＣＡＢＡＣコーディングを使用してビンを符号化し得る。ビンに対してバイパスＣＡＢＡＣコーディングを実行することは、ビンに対して通常のＣＡＢＡＣコーディングを実行することよりも、計算コストが高くないことがある。さらに、バイパスＣＡＢＡＣコーディングを実行することは、より高度の並列化およびスループットを可能にし得る。バイパスＣＡＢＡＣコーディングを使用して符号化されたビンは、「バイパスビン（bypass bin）」と呼ばれることがある。一緒にバイパスビンをグループ化することは、ビデオエンコーダ２００およびビデオデコーダ３００のスループットを増加させ得る。バイパスＣＡＢＡＣコーディングエンジンは、単一のサイクルにおいていくつかのビンをコーディングすることが可能であり得るが、通常のＣＡＢＡＣコーディングエンジンは、サイクルにおいて単一のビンのみをコーディングすることが可能であり得る。バイパスＣＡＢＡＣコーディングエンジンがコンテキストを選択せず、両方のシンボル（０および１）について１／２の確率を仮定し得るので、バイパスＣＡＢＡＣコーディングエンジンは、より単純であり得る。したがって、バイパスＣＡＢＡＣコーディングでは、間隔は、直接半分に分割される。

【0059】

[0069] さらに、上述のように、ビットストリームは、ビデオデータおよび関連データの符号化ピクチャの表現を含み得る。関連データはパラメータセットを含み得る。ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）のための未加工バイトシーケンスペイロード（ＲＢＳＰ）をカプセル化し得る。ＶＰＳは、０個以上のコード化ビデオシーケンス（ＣＶＳ）全体に適用するシンタックス要素を含むシンタックス構造である。ＳＰＳも、０個以上のＣＶＳ全体に適用するシンタックス要素を含むシンタックス構造である。ＳＰＳは、ＳＰＳがアクティブであるときにアクティブであるＶＰＳを特定するシンタックス要素を含み得る。したがって、ＶＰＳのシンタックス要素は、ＳＰＳのシンタックス要素よりも一般的に適用可能であり得る。ＰＰＳは、０個またはそれ以上のコード化ピクチャに適用するシンタックス要素を含むシンタックス構造である。ＰＰＳは、ＰＰＳがアクティブであるときにアクティブであるＳＰＳを識別するシンタックス要素を含み得る。スライスのスライスヘッダは、スライスがコーディングされるときにアクティブであるＰＰＳを示すシンタックス要素を含み得る。

【0060】

[0070] カラービデオは、効率的に色を表すために様々な色空間が使用されるマルチメディアシステムにおいて必須の役割を果たす。色空間は、複数の構成要素を使用して数値を用いて色を指定する。普及している色空間は、色が赤、緑、および青の３つの原色成分値の組合せとして表されるＲＧＢ色空間である。

【0061】

[0071] カラービデオ圧縮では、ＹＣｂＣｒ色空間が広く使用されている。Ａ．ＦｏｒｄおよびＡ．Ｒｏｂｅｒｔｓ、「Ｃｏｌｏｕｒ ｓｐａｃｅ ｃｏｎｖｅｒｓｉｏｎｓ」、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｗｅｓｔｍｉｎｓｔｅｒ、Ｌｏｎｄｏｎ、技術レポート、１９９８年８月を参照されたい。ＹＣｂＣｒは、線形変換を介してＲＧＢ色空間から変換され得、異なる成分間の冗長性、すなわち、成分間の冗長性は、ＹＣｂＣｒ色空間では著しく低減される。ＹＣｂＣｒの１つの利点は、Ｙ信号がルミナンス（ルーマ）情報を搬送することによる白黒ＴＶとの後方互換性である。さらに、クロミナンス（クロマ）帯域幅は、ＲＧＢにおけるサブサンプリングよりも著しく少ない主観的影響で４：２：０のクロマサンプリングフォーマット中のＣｂ成分とＣｒ成分とをサブサンプリングすることによって低減され得る。これらの利点のために、ＹＣｂＣｒがビデオ圧縮における主要な色空間となってきた。また、ビデオ圧縮において使用されるＹＣｏＣｇなどの他の色空間がある。本明細書では、使用される実際の色空間にかかわらず、Ｙ、Ｃｂ、Ｃｒが、ビデオ圧縮方式における３つの色成分を表すために使用される。成分間の冗長性がＹＣｂＣｒ色空間では著しく低減されるが、３つの色成分間での相関は、依然として存在する。特に４：４：４のクロマフォーマットビデオのコーディングについて相関をさらに低減することによってビデオコーディングパフォーマンスを改善するために様々な方法が研究されてきた。Ｂ．Ｃ．Ｓｏｎｇ、Ｙ．Ｇ．Ｌｅｅ、およびＮ．Ｈ．Ｋｉｍ、「Ｂｌｏｃｋ ａｄａｐｔｉｖｅ ｉｎｔｅｒ－ｃｏｌｏｒ ｃｏｍｐｅｎｓａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ＲＧＢ ４：４：４ ｖｉｄｅｏ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ．Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．第１８巻、第１０号、ページ１４４７～１４５１、２００８年１０月に記載されているように、ブロックごとに再構成されたルーマ信号からクロマ信号を予測するためにスケールファクタおよびオフセットが使用される。

【0062】

[0072] Ｗ．Ｐｕ、Ｗ．－Ｓ．Ｋｉｍ、Ｊ．Ｃｈｅｎ、Ｊ．Ｓｏｌｅ、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、「ＲＣＥ１：Ｄｅｓｃｒｉｐｔｉｏｎｓ ａｎｄ Ｒｅｓｕｌｔｓ ｆｏｒ Ｅｘｐｅｒｉｍｅｎｔｓ １，２，３，ａｎｄ ４」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディング共同研究部会（ＪＣＴ－ＶＣ）、ＪＣＴＶＣ－Ｏ０２０２、Ｇｅｎｅｖａ、２０１３年１１月では、成分間予測（ＣＣＰ）が残差領域において実行される。クロマ残差信号は、次のようにしてエンコーダ側において再構成されたルーマ残差信号を使用して予測される。

【0063】

【数1】

【0064】

クロマ残差信号は、次のようにしてデコーダ側において補償される。

【0065】

【数2】

【0066】

ここで、ｒ_C（ｘ，ｙ）およびｒ’_C（ｘ，ｙ）は、位置（ｘ，ｙ）における元のクロマ残差サンプルと再構成されたクロマ残差サンプルとを示す。Δｒ_C（ｘ，ｙ）およびΔｒ’_C（ｘ，ｙ）は、成分間予測後の最終的なクロマ残差サンプルを示す。ｒ’_L（ｘ，ｙ）は、再構成されたルーマ残差サンプル値である。重み付け係数αは、ＨＥＶＣではクロマ変換ユニットごとにビットストリーム中で明示的にシグナリングされる。この成分間の残差予測方法は、イントラ予測された残差とインター予測された残差との両方のために実行される、４：４：４のクロマサンプリングフォーマットビデオコーディングのためのＨＥＶＣ標準のフォーマットおよび範囲拡張で採用された。この成分間残差予測方法は、４：２：０のビデオフォーマットコーディングのためにも提案されたが、限定されたコーディング利益のためにこの成分間残差予測方法は採用されていない。クロマ成分を予測するためにルーマを使用することに加えて、予測が２つのクロマ成分間に適用され得ることも提案され、すなわち、Ｃｒ残差を予測するために再構成された初期にコーディングされたＣｂ残差が使用される。Ａ．Ｋｈａｉｒａｔ、Ｔ．Ｎｇｕｙｅｎ、Ｍ．Ｓｉｅｋｍａｎｎ、Ｄ．Ｍａｒｐｅ、「Ｎｏｎ－ＲＣＥ１：Ｅｘｔｅｎｄｅｄ Ａｄａｐｔｉｖｅ Ｉｎｔｅｒ－Ｃｏｍｐｏｎｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディング共同研究部会（ＪＣＴ－ＶＣ）、ＪＣＴＶＣ－Ｏ０１５０、Ｇｅｎｅｖａ、２０１３年１１月を参照されたい。２０１６年７月２８日に公開された米国特許出願公開第２０１６／０２１９２８３号、２０１６年９月２２日に公開された米国特許出願公開第２０１６／０２７７７６２号、２０１８年３月１５日に公開された米国特許出願公開第２０１８／００７７４２６号、２０１８年６月２１日に公開された米国特許出願公開第２０１８／０１７６５９４号、および２０１９年１月３日に公開された米国特許出願公開第２０１９／０００７６８８号も成分間予測の態様について記述している。

【0067】

[0073] ４：２：０のクロマビデオコーディングでは、線形モデル（ＬＭ）予測モードという名前の方法が、ＨＥＶＣ標準の開発中に良く研究されてきた。Ｊ．Ｃｈｅｎ、Ｖ．Ｓｅｒｅｇｉｎ、Ｗ．－Ｊ．Ｈａｎ、Ｊ．－Ｓ．Ｋｉｍ、Ｂ．－Ｍ．Ｊｏｅｎ、「ＣＥ６．ａ．４：Ｃｈｒｏｍａ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｂｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｌｕｍａ ｓａｍｐｌｅｓ」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディング共同研究部会（ＪＣＴ－ＶＣ）、ＪＣＴＶＣ－Ｅ２６６、Ｇｅｎｅｖａ、２０１１年３月１６～２３日を参照されたい。ＬＭ予測モードでは、クロマサンプルは、次のように線形モデルを使用することによって同じブロックの再構成されたルーマサンプルに基づいて予測される。

【0068】

【数3】

【0069】

ここで、ｐｒｅｄ_c（ｉ，ｊ）は、ブロック中のクロマサンプルの予測を表し、ｒｅｃ_L（ｉ，ｊ）は、同じブロックのダウンサンプリングされた再構成されたルーマサンプルを表す。パラメータαおよびβは、現在のブロックの周りの隣接する再構成されたルーマサンプルとクロマサンプルとの間の回帰誤差を最小化することによって導出される。

【0070】

【数4】

【0071】

パラメータαおよびβは、次のように解かれる。

【0072】

【数5】

【0073】

ここで、ｘ_iは、ダウンサンプリングされた再構成されたルーマ参照サンプルであり、ｙ_iは、再構成されたクロマ参照サンプルであり、Ｎは、使用される参照サンプルの数である。

【0074】

[0074] インループ再形成器（in-loop reshaper）は、第１３回ＪＶＥＴ会議において採用された。Ｊ．Ｌａｉｎｅｍａ、「ＣＥ７－ｒｅｌａｔｅｄ：Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍｉｎａｎｃｅ ｒｅｓｉｄｕａｌｓ」、第１３回ＪＶＥＴ会議、Ｍａｒｒａｋｅｃｈ、ＭＡ、２０１９年１月、ＪＶＥＴ－Ｍ０３０５（以下、ＪＶＥＴ－Ｍ０３０５）およびＸ．Ｘｉｕ、Ｐ．Ｔ．Ｌｕ、Ｐ．Ｈａｎｈａｒｔ、Ｒ．Ｖａｎａｍ、Ｙ．Ｈｅ、Ｙ．Ｙｅ、Ｔ．Ｌｕ、Ｆ．Ｐｕ、Ｐ．Ｙｉｎ、Ｗ．Ｈｕｓａｋ、Ｔ．Ｃｈｅｎ、「Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ，ＨＤＲ，ａｎｄ ３６０°ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ ＩｎｔｅｒＤｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ」、ＪＶＥＴ－Ｊ００１５、Ｓａｎ Ｄｉｅｇｏ、ＵＳＡ、２０１８年４月を参照されたい。インループルーマ再形成器は、ルックアップテーブル（ＬＵＴ）のペアとして実装されるが、他方がシグナリングされたＬＵＴから計算され得るので、２つのＬＵＴのうちの１つしか（区分的線形モデリングによって）シグナリングされる必要がない。各ＬＵＴは、１０ビットビデオのための１次元の、１０ビットの、１０２４個のエントリのマッピングテーブル（１Ｄ－ＬＵＴ）である。１つのＬＵＴは、入力されたルーマコード値Ｙ_i（元の領域）を改変された値Ｙ_r：Ｙ_r＝ＦｗｄＬＵＴ［Ｙ_i］（再形成された領域）、にマッピングする順ＬＵＴ、ＦｗｄＬＵＴである。他のＬＵＴは、改変されたコード値Ｙ_r（再形成された領域）を

【0075】

【数6】

【0076】

（元の領域）：

【0077】

【数7】

【0078】

（

【0079】

【数8】

【0080】

はＹ_iの再構成値を表す）にマッピングする逆ＬＵＴ、ＩｎｖＬＵＴである。

【0081】

[0075] 図２は、インループルーマ再形成器を用いたイントラスライス再構成の一例を示すブロック図である。イントラスライスの場合、デコーダにおいてＩｎｖＬＵＴしか適用されない（図２）。図２では、灰色の影つきのブロックは、再形成された領域中の信号、ルーマの残余、予測されたイントラルーマ、および再構成されたイントラルーマを示す。より詳細には、図２の例に示されているように、ビデオデコーダ３００は、（ＣＡＢＡＣ^-1として示される）ＣＡＢＡＣ復号、（Ｑ^-1として示される）逆量子化、および（Ｔ^-1として示される）逆変換を実行し得る（１５０）。さらに、ビデオデコーダ３００は、ルーマ残差サンプル（Ｙ_res）をイントラ予測されたサンプル（Ｙ’_pred）に加算することによってイントラ予測（１５２）および再構成（１５４）を実行し得る。さらに、ビデオデコーダ３００は、逆再形成演算（１５６）を実行し得る。ビデオデコーダ３００は、１つまたは複数のループフィルタ（ＬＦ）を逆再形成演算の出力に適用し得る（１５８）。結果は、復号ピクチャバッファ（ＤＰＢ）（１６０）中に記憶され得る。

【0082】

[0076] 図３は、インループルーマ再形成器を用いたインタースライス再構成の一例を示すブロック図である。インタースライスの場合（図３）、ＦｗｄＬＵＴとＩｎｖＬＵＴとの両方が適用される。ＬＵＴは、イントラスライスとインタースライスとの両方のためのループフィルタ処理の前に適用される。図３では、灰色の影つきのブロックは、再形成された領域中の信号、ルーマの残余、予測されたイントラルーマ、および再構成されたイントラルーマを示す。ＮＡＬユニット中でシグナリングされるコーディングツリーユニットの集まりを示すために「スライス（slice）」という用語が本明細書では使用されるが、説明は、（ＶＶＣにおいて使用される）タイルグループなどのピクチャの他の空間区分にも適用することを理解されなければならない。

【0083】

[0077] インタースライス（またはタイルグループ）の場合、ＦｗｄＬＵＴは、元の領域中の動き補償値を再形成された領域（ＦｗｄＬＵＴ［Ｙ_pred］）にマッピングする。ＩｎｖＬＵＴは次いで、再形成された領域中のインター再構成値を元の領域中のインター再構成値にマッピングする

【0084】

【数9】

【0085】

。図３の例では、イントラ予測は、スライスタイプにかかわらず再形成された領域中で常に実行される。そのような構成では、イントラ予測は、前のＴＵの再構成の直後に開始することができる。

【0086】

[0078] 図３の例では、ビデオデコーダ３００は、（ＣＡＢＡＣ^-1として示される）ＣＡＢＡＣ復号、（Ｑ^-1として示される）逆量子化、および（Ｔ^-1として示される）逆変換を実行し得る（１７０）。さらに、ビデオデコーダ３００は、イントラ予測（１７２）または動き補償（１８４）およびブロックのための順再形成プロセス（１７４）を実行し得る。ビデオデコーダ３００は、ルーマ残差サンプル（Ｙ_res）を予測されたサンプル（Ｙ’_pred）に加算することによって再構成（１７６）を実行し得る。図３の例では、ブロックがイントラ予測を使用して予測される場合、予測されたサンプル（Ｙ’_pred）はイントラ予測（１７２）を使用して予測される。ビデオデコーダ３００は、再形成された領域中でイントラ予測を実行する。ただし、ビデオデコーダ３００は、再形成されていない領域中でインター予測を実行する。したがって、ブロックがインター予測を使用して予測される場合、ビデオデコーダ３００は、動き補償（１８４）によって生成された予測されたサンプルを再形成された領域に変換するために動き補償（１８４）および順再形成演算（１７４）を実行する。

【0087】

[0079] さらに、再構成（１７６）の後、ビデオデコーダ３００は、逆再形成演算（１７８）を実行し得る。ビデオデコーダ３００は、１つまたは複数のループフィルタ（ＬＦ）を逆再形成演算の出力に適用し得る（１８０）。結果は、復号ピクチャバッファ（ＤＰＢ）（１８２）中に記憶され得る。ＤＰＢからのデータは、動き補償（１８４）のために使用され得、これは、後続のブロックでの順再形成（１７４）のためにその後使用され得る。

【0088】

[0080] 再形成器モデルシンタックスは、１６個の区分をもつ区分的線形（ＰＷＬ：piece-wise linear）モデルをシグナリングし得る。１０２４個のエントリのマッピングテーブルが、１６個の区分のＰＷＬモデルを使用した線形補間によって構築される。概念的に、ＰＷＬモデルは、以下のようにして実装され得る。１つの区分について、ｘ１およびｘ２を２つの入力ピボットポイントとし、ｙ１およびｙ２をそれらの対応する出力ピボットポイントとする。ｘ１とｘ２との間の任意の入力値ｘのための出力値ｙは、以下の式によって補間される。

【0089】

【数10】

【0090】

固定小数点実装では、上記の式は、次のように書き換えられ得る。

【0091】

【数11】

【0092】

ここで、ｍは、スカラーであり、ｃは、オフセットであり、ＦＰ＿ＰＲＥＣは、精度を指定する一定値である。

【0093】

[0081] 図４は、クロマ残差スケーリング（ＣＲＳ：chroma residual scaling）を用いたイントラモード再構成とインターモード再構成との一例を示すブロック図である。クロマ残余スケーリング（Chroma residue scaling）またはＣＲＳ（図４）は、クロマ信号とのルーマ信号の相互作用（luma signal interaction）を補償する。クロマ残余スケーリング（Chroma residue scaling）は、ＴＵレベルで適用される。

【0094】

【数12】

【0095】

Ｃ_Resは元のクロマ残差信号であり、Ｃ_ResScaleは、スケーリングされたクロマ残差信号である。Ｃ_Scaleは、ＦｗｄＬＵＴを使用して計算されるスケーリングファクタであり、デコーダ側で除算の代わりに乗算を実行するためにそれの逆数のＣ_ScaleInvに変換され、それによって実装複雑性を低減する。図４では、灰色の影つきのブロックは、再形成された領域中の信号、ルーマの残余、予測されたイントラルーマ、および再構成されたイントラルーマを示す。ＰＷＬモデルの下では、各ルーマＰＷＬ範囲中の任意の入力ルーマ値のために、同じクロマスケール値が使用される。したがって、ルーマ依存のクロマスケールは、各ルーマコード値の代わりに各ルーマＰＷＬ範囲について計算されるように簡略化され、ＬＵＴ ｃＳｃａｌｅＩｎｖ［ｐｉｅｃｅＩｄｘ］中に記憶される（１６個の区分の粒度）。エンコーダ側とデコーダ側との両方でのスケーリング演算は、以下の式をもつ固定小数点整数演算を用いて実装される。

【0096】

【数13】

【0097】

ここで、ｃは、クロマ残余（chroma residue）であり、ｓは、ｃＳｃａｌｅＩｎｖ［ｐｉｅｃｅＩｄｘ］からのクロマ残余スケーリングファクタ（chroma residue scaling factor）であり、ｐｉｅｃｅＩｄｘは、ＴＵの対応する平均ルーマ値によって決定され、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、精度を指定する一定値である。
Ｃ_ScaleInvの値は、以下のステップで計算される。
１．イントラモードが使用される場合、イントラ予測されたルーマ値の平均を計算し、インターモードが使用される場合、順方向に再形成され、インター予測されたルーマ値の平均を計算する。すなわち、平均ルーマ値ａｖｇＹ’_TUが再形成された領域で計算される。
２．ａｖｇＹ’_TUが属する逆マッピングＰＷＬ中のルーマ範囲のインデックスｉｄｘを発見する。
３．

【0098】

【数14】

【0099】

[0082] 図４の例では、ビデオデコーダ３００は、ＣＡＢＡＣ復号（ＣＡＢＡＣ^-1）、逆量子化（Ｑ^-1）、および逆変換（Ｔ^-1）を実行し得る（２４０）。ブロック２４０の出力は、ビデオデータの現在のブロックのためのルーマ残差データ（Ｙ_res）とスケーリングされたクロマデータ（Ｃ_resScale）とを含み得る。ブロックがイントラモードを使用して符号化される場合、ビデオデコーダ３００は、現在のブロックのためにイントラ予測プロセスを実行して（２４２）、ルーマ予測データ（Ｙ’_pred）を生成し得る。代替的に、ブロックがインターモードを使用して符号化される場合、ビデオデコーダ３００は、現在のブロックのために動き補償（２５２）と順再形成プロセス（２４４）とを実行して、ルーマ予測データ（Ｙ’_pred）を生成し得る。ビデオデコーダ３００は、ルーマ残差データ（Ｙ_res）と予測データ（Ｙ’_pred）とに基づいてルーマサンプルを再構成するルーマ再構成プロセス（２４６）を実行し得る。ビデオデコーダ３００は、後続のブロックのイントラ予測のために再構成されたルーマデータを使用し得る。

【0100】

[0083] さらに、図４の例では、ビデオデコーダ３００は、現在のブロックのための再構成されたルーマデータに対して逆再形成プロセス（２４７）を実行し得る。ビデオデコーダ３００は、１つまたは複数のループフィルタ（ＬＦ）を逆再形成演算の出力に適用し得る（２４８）。ビデオデコーダ３００は、復号ピクチャバッファ（２５０）中に結果を記憶し得る。復号ピクチャバッファ中のデータは、ビデオデータの後続のブロックのための動き補償（２５２）のために使用され得る。図４の例では、ビデオデコーダ３００はまた、現在の変換ユニットとクロマ残余スケーリングファクタ（Ｃ_scaleInv）のための平均ルーマ値（ａｖｇＹ’_TU）を決定し得る（２５４）。ビデオデコーダ３００は、上記で説明されたようにクロマ残余スケーリングファクタを決定し得る。

【0101】

[0084] 図４の例では、ビデオデコーダ３００は、現在のブロックのためのスケーリングされたクロマ残差データをスケーリングするクロマ残余スケーリングプロセス（２５６）を実行して、現在のブロックのためのクロマ残差データ（Ｃ_res）を生成し得る。ビデオデコーダ３００は、スケーリングされたクロマ残差データのサンプルにクロマ残余スケーリングファクタを乗算することによってクロマ残余スケーリングプロセスを実行し得る。さらに、図４の例では、ビデオデコーダ３００は、イントラ予測プロセス（２５７）または動き補償プロセス（２５８）を実行して、現在のブロックのためのクロマ予測データ（Ｃ_pred）を生成し得る。ビデオデコーダ３００は、現在のブロックのためのクロマ残差データ（Ｃ_res）とクロマ予測データとに基づいて現在のブロックのクロマデータを再構成する再構成プロセスを実行し得る（２５９）。ビデオデコーダ３００は、１つまたは複数のループフィルタ（ＬＦ）を逆再形成演算の出力に適用し得る（２６０）。ビデオデコーダ３００は、復号ピクチャバッファ（２６２）中に得られたデータを記憶し得る。

【0102】

[0085] Ｃｂ－Ｃｒクロマ残差の共同コーディングのための方法は、ＪＶＥＴ－Ｍ０３０５に記載されている。本方法では、同じ変換ユニット中のＣｂブロックとＣｒブロックとの両方の残差を記述するために単一の共同残差ブロックが使用される。エンコーダ側では、アルゴリズムは、変換および量子化プロセスへの入力として正のＣｂ残差と負のＣｒ残差との平均を使用する。モードがアクティブ化される場合、単一の残差ブロックが復号される。Ｃｒブロックの残差は、復号された共同残差を否定することによって生成される。デコーダ側では、共同残差モードがアクティブであるとき、示された共同残差がＣｂ予測ブロックに加算され、Ｃｒ予測ブロックから差し引かれる。２つのブロックの残差を表すために単一の残差が使用されるので、共同クロミナンス残差モードがアクティブであるとき、クロマ量子化パラメータ（ＱＰ）オフセットパラメータが２だけ減らされる。

【0103】

[0086] ＣｂとＣｒとの両方のためのコード化ブロックフラグ（ｃｂｆ）が真である場合、共同残差モードは、ビットストリーム中のフラグを用いて示される。共同残差のためのビットストリームシンタックスおよび復号プロセスは、ＶＴＭ－３のＣｂ残差のプロセスに従う。Ｊ．Ｃｈｅｎ、Ｙ．Ｙｅ、Ｓ．Ｋｉｍ、「Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｎｄ Ｔｅｓｔ Ｍｏｄｅｌ ３（ＶＴＭ３）」、第１２回ＪＶＥＴ会議、Ｍａｃａｕ ＳＡＲ、ＣＮ、２０１８年１０月、ＪＶＥＴ－Ｌ１００２を参照されたい
[0087] コア実験テストＣＥ７．１（Ｈ．Ｓｃｈｗａｒｚ、Ｍ．Ｃｏｂａｎ、Ｃ．Ａｕｙｅｕｎｇ、「Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｃｏｒｅ Ｅｘｐｅｒｉｍｅｎｔ ７（ＣＥ７）：Ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄ ｃｏｅｆｆｉｃｉｅｎｔ ｃｏｄｉｎｇ」、第１３回ＪＶＥＴ会議、Ｍａｒｒａｋｅｃｈ、ＭＡ、２０１９年１月、ＪＶＥＴ－Ｍ１０２７）において、本方法は、次のようにインループクロマ残余スケーラ（ＣＲＳ）と統合される。
・エンコーダ側：
・

【0104】

【数15】

【0105】

・Ｃｒ残差： ０
・デコーダ側：
・

【0106】

【数16】

【0107】

・

【0108】

【数17】

【0109】

ここで、ＣＲＳは、順クロマ残余スケーラであり、ｉｎｖＣＲＳは、逆クロマ残余スケーラであり、Ｔは、順変換であり、Ｑは、順量子化であり、ｉｎｖＴは、逆変換であり、ｉｎｖＱは、逆量子化である。

【0110】

[0088] モデルベースの成分間残差予測は、ビデオデコーダ３００における増加した実装コストを暗示するデコーダ側におけるモデルパラメータ推定を必要とするか、またはコーディング効率に悪影響を及ぼし、ビットストリームからパラメータを復号することを必要とするモデルパラメータがシグナリングされることを必要とする。

【0111】

[0089] ビットストリームにコーディングされた単一の残差に両方のクロマ残差を組み合わせる共同Ｃｂ－Ｃｒコーディング方法は、両方のクロマチャネルの非対称処理によりクロマアーティファクトに悩まされることがある。たとえば、ＪＶＥＴ－Ｍ０３０５では、Ｃｒ残差は共同残差の逆であると仮定され、これは粗い近似である。さらに、本方法は、変換後に共同残差に適用される量子化パラメータの調整を必要とし、共同残差を適切にコーディングし、コーディング利得を達成するためにレートひずみ最適化のためにエンコーダ側においてラムダパラメータの調整を必要とする。量子化パラメータオフセットがシグナリングされ得る。しかしながら、正確な値を決定することは、ビデオエンコーダ２００に対する追加の負担となり得る。

【0112】

[0090] 本開示は、上記で説明された問題のうちの１つまたは複数に対処し得る技法について説明する。本開示の技法は、モデルベースの成分間残差予測のモデルパラメータのシグナリングおよび復号を回避し得、上記で説明された共同Ｃｂ－ＣＲコーディング方法における量子化パラメータの調整を回避し得る。とはいえ、本開示の技法は、ＣｂサンプルとＣｒサンプルとの間の相関を低減し得、それによって、コーディング効率の利得を与え得る。以下でおよび本開示の他の場所で与えられる例は、独立して適用され得るか、または、例のうちの１つまたは複数は、一緒に適用可能であり得る。

【0113】

[0091] 本開示の以下のセクションは、組み合わされた残差コーディング（ＣＲＣ）のための技法について説明する。組み合わされた残差コーディングのための技法によれば、寸法（幅および高さ）と、ｒｅｓＣｂ（ｘ，ｙ）と、ｒｅｓＣｒ（ｘ，ｙ）とをもつＣｂ残差ブロックとＣｒ残差ブロックとは、以下の表１に示されているように、残差修正関数（ＲＭＦ）Ｆ１（ｘ，ｙ）およびＦ２（ｘ，ｙ）で処理されて、その後、ビデオエンコーダ２００において順変換され（Ｔ）、量子化（Ｑ）され、エントロピーコーディングされる（Ｅ）修正された残差を取得する。

【0114】

【表1】

【0115】

[0092] 表１のビデオデコーダ３００では、エントロピー復号（ｉｎｖＥ）、逆量子化（ｉｎｖＱ）、逆変換（ｉｎｖＴ）の後に、逆ＲＭＦ ｉｎｖＦ１（ｘ，ｙ）およびｉｎｖＦ２（ｘ，ｙ）は、復号された残差ｒｅｓＣｂ（ｘ，ｙ）’およびｒｅｓＣｒ（ｘ，ｙ）’に適用されて残差ｒｅｓＣｂ（ｘ，ｙ）’’およびｒｅｓＣｒ（ｘ，ｙ）’’を取得し、これらは予測ｐｒｅｄＣｂ（ｘ，ｙ）およびｐｒｅｄＣｒ（ｘ，ｙ）に加算されて、再構成ｒｅｃＣｂ（ｘ，ｙ）およびｒｅｃＣｒ（ｘ，ｙ）を取得する。

【0116】

[0093] 一例では、関数Ｆ１およびＦ２は、それぞれ、減算および加算であり、逆関数ｉｎｖＦ１およびｉｎｖＦ２は、それぞれ、加算および減算である。正規化係数（normalizing factor）１／Ｎ１、１／Ｎ２、１／Ｍ１、１／Ｍ２および丸め項（rounding term）Ａ１、Ａ２、Ｂ１、Ｂ２は、これらの関数の一部であり得る。

【0117】

【数18】

【0118】

一例では、Ｎ１＝Ｎ２＝２であり、Ａ１＝Ａ２＝１（または０）であり、Ｍ１＝Ｍ２＝１、Ｂ１＝Ｂ２＝０である。別の例では、ファクタ

【0119】

【数19】

【0120】

をもつ

【0121】

【数20】

【0122】

は、近似的に（１８１／２５６）に等しくなり、この場合、Ａ１＝Ａ２＝Ｂ１＝Ｂ２＝１２８（または０）である。いくつかの例では、残差ブロックｒｅｓＣｂ（ｘ，ｙ）、ｒｅｓＣｒ（ｘ，ｙ）、ｒｅｓＣｂ（ｘ，ｙ）’またはｒｅｓＣｒ（ｘ，ｙ）’のすべての値は０であり得、または１つもしくは複数の残差ブロックは、上記の式から省略され得る。

【0123】

[0094] 別の例では、関数Ｆ１およびＦ２は、それぞれ、加算および減算であり、逆関数ｉｎｖＦ１およびｉｎｖＦ２はまた、それぞれ、加算および減算である。正規化係数１／Ｎ１、１／Ｎ２、１／Ｍ１、１／Ｍ２および丸め項Ａ１、Ａ２、Ｂ１、Ｂ２は、これらの関数の一部であり得る。

【0124】

【数21】

【0125】

一例では、Ｎ１＝Ｎ２＝２であり、Ａ１＝Ａ２＝１（または０）であり、Ｍ１＝Ｍ２＝１、Ｂ１＝Ｂ２＝０である。別の例では、ファクタ

【0126】

【数22】

【0127】

をもつ

【0128】

【数23】

【0129】

は、近似的に（１８１／２５６）に等しくなり、この場合、Ａ１＝Ａ２＝Ｂ１＝Ｂ２＝１２８（または０）である。いくつかの例では、残差ブロックｒｅｓＣｂ（ｘ，ｙ）、ｒｅｓＣｒ（ｘ，ｙ）、ｒｅｓＣｂ（ｘ，ｙ）’またはｒｅｓＣｒ（ｘ，ｙ）’のすべての値は０であり得、または１つもしくは複数の残差ブロックは、上記の式から省略され得る。

【0130】

[0095] いくつかの例では、関数Ｆ１およびＦ２は、それぞれ、等しくない正規化ファクタをもつ減算および加算であり、逆関数ｉｎｖＦ１およびｉｎｖＦ２は、それぞれ、等しくない正規化ファクタをもつ加算および減算である。正規化ファクタ１／Ｎ１０、１／Ｎ１１、１／Ｎ２０、１／Ｎ２１、１／Ｍ１０、１／Ｍ１１、１／Ｍ２０、１／Ｍ２１および丸め項Ａ１０、Ａ１１、Ａ２０、Ａ２１、Ｂ１０、Ｂ１１、Ｂ２０、Ｂ２１は、これらの関数の一部であり得る。

【0131】

【数24】

【0132】

[0096] 一例では、Ｎ１０＝Ｎ１１＝１およびＡ１０＝Ａ１１＝０であり、Ｎ２０＝Ｎ２１＝２およびＡ２０＝Ａ２１＝０であり、Ｍ１０＝１およびＢ１０＝０であり、Ｍ１１＝２およびＢ１１＝１であり、Ｍ２０＝１およびＢ２０＝０であり、式１．ｃ．ｉ、１．ｃ．ｉｉ、１．ｃ．ｉｉｉ、および１．ｃ．ｉｖ中のＭ２１＝２およびＢ２１＝０である。したがって、この例では、式１．ｃ．ｉ、１．ｃ．ｉｉ、１．ｃ．ｉｉｉ、および１．ｃ．ｉｖは、次のように書き換えられ得る。

【0133】

【数25】

【0134】

残差ブロックｒｅｓＣｂ（ｘ，ｙ）、ｒｅｓＣｒ（ｘ，ｙ）、ｒｅｓＣｂ（ｘ，ｙ）’またはｒｅｓＣｒ（ｘ，ｙ）’のすべての値は０であり得、または１つもしくは複数の残差ブロックは、上記の式から省略され得る。

【0135】

[0097] 本開示のいくつかの例では、ＣＲＳプロセスは、ＲＭＦとともに適用され得る。たとえば、ＣＲＳプロセスがＲＭＦとともに適用される一例では、ＲＭＦ Ｆ１（ｘ，ｙ）およびＦ２（ｘ，ｙ）は、ＣＲＳが残差ｒｅｓＣｂ（ｘ，ｙ）およびｒｅｓＣｒ（ｘ，ｙ）をスケーリングした後に（たとえば、ビデオエンコーダ２００によって）適用され得る。反対に、この例では、逆ＲＭＦ ｉｎｖＦ１（ｘ，ｙ）およびｉｎｖＦ２（ｘ，ｙ）は、ｉｎｖＣＲＳスケーリングプロセスの前に（たとえば、ビデオデコーダ３００によって）適用される。

【0136】

[0098] 別の例では、ＣＲＳプロセスがＲＭＦとともに適用される一例では、ＲＭＦ Ｆ１（ｘ，ｙ）およびＦ２（ｘ，ｙ）は、ＣＲＳが残差ｒｅｓＣｂ（ｘ，ｙ）およびｒｅｓＣｒ（ｘ，ｙ）をスケーリングすることを完了する前にビデオエンコーダ２００によって適用され得る。反対に、この例では、逆ＲＭＦ ｉｎｖＦ１（ｘ，ｙ）およびｉｎｖＦ２（ｘ，ｙ）は、ｉｎｖＣＲＳスケーリングプロセスの後にビデオデコーダ３００によって適用される。

【0137】

[0099] いくつかの例では、上記で定義したように正規化ファクタ１／Ｎ、１／Ｍおよび丸め項Ａ、Ｂは、順変換プロセスＴの部分である変換係数スケーリングプロセスに統合され得、反対に、逆変換プロセスｉｎｖＴの部分である逆変換係数スケーリングと統合され得る。言い換えれば、正規化ファクタとスケーリング項とは、組み合わされ得る。いくつかのそのような例では、ＣＲＳスケーリングプロセスは、（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）によって適用されない。正規化ファクタと丸め項とが順変換プロセスＴの部分である変換係数スケーリングプロセスと統合されるいくつかの例では、ＣＲＳスケーリングプロセスは、ＲＭＦ Ｆ１（ｘ，ｙ）およびＦ２（ｘ，ｙ）の前に適用され、反対に、逆ＲＭＦ ｉｎｖＦ１（ｘ，ｙ）およびｉｎｖＦ２（ｘ，ｙ）は、ｉｎｖＣＲＳスケーリングプロセスの前に適用される。

【0138】

[0100] 正規化ファクタと丸め項とが順変換プロセスＴの部分である変換係数スケーリングプロセスと統合されるいくつかの例では、ＲＭＦ Ｆ１（ｘ，ｙ）およびＦ２（ｘ，ｙ）は、ＣＲＳが残差ｒｅｓＣｂ（ｘ，ｙ）およびｒｅｓＣｒ（ｘ，ｙ）をスケーリングすることを完了する前に適用され得、反対に、逆ＲＭＦ ｉｎｖＦ１（ｘ，ｙ）およびｉｎｖＦ２（ｘ，ｙ）は、ｉｎｖＣＲＳスケーリングプロセスの後に適用され得る。この場合、ＣＲＳスケーリングは、順変換プロセスＴの部分である変換係数スケーリングプロセスに統合され得、反対に、逆変換プロセスｉｎｖＴの部分である逆変換係数スケーリングと統合され得る。

【0139】

[0101] 代替的に、正規化ファクタと丸め項とが順変換プロセスＴの部分である変換係数スケーリングプロセスと統合される例では、上記で定義したように正規化ファクタ１／Ｎ、１／Ｍおよび丸め項Ａ、Ｂは、修正された量子化パラメータ値（表１のｏｆｆｓｅｔＱｐ）によって完全にまたは部分的に置き換えられ得る。

【0140】

[0102] さらに、本開示のいくつかの例では、ＲＭＦ Ｆ１（ｘ，ｙ）、Ｆ２（ｘ，ｙ）は、順変換プロセスＴの後および量子化Ｑの前に（たとえば、ビデオエンコーダ２００によって）適用され得る。反対に、逆ＲＭＦ ｉｎｖＦ１（ｘ，ｙ）、ｉｎｖＦ２（ｘ，ｙ）は、逆量子化ｉｎｖＱの後におよび逆変換プロセスｉｎｖＴの前に（たとえば、ビデオデコーダ３００によって）適用され得る。

【0141】

[0103] この例では、変換スキップモードが、組み合わされた残差コーディングとともに適用され得る。したがって、いくつかの例では、ビデオエンコーダ２００は、順変換（たとえば、ＤＣＴ、ＤＳＴなど）を適用しないが、ＲＭＦを適用する。同様に、いくつかの例では、ビデオデコーダ３００は、逆変換（たとえば、逆ＤＣＴ、逆ＤＳＴなど）を適用しないが、逆ＲＭＦを適用する。

【0142】

[0104] 上記で説明したのと同様の方法で、クロマ残差ブロックｒｅｓＣｂ（ｘ，ｙ）およびｒｅｓＣｒ（ｘ，ｙ）と対応するルーマ残差ブロックｒｅｓＹ（ｘ，ｙ）は互いに組み合わされ得る。たとえば、１つのそのような例では、ＲＭＦ Ｆ３（ｘ，ｙ）は、ｒｅｓＣｂ（ｘ，ｙ）とともにｒｅｓＹ（ｘ，ｙ）に（たとえば、ビデオエンコーダ２００によって）適用される。さらに、ＲＭＦ Ｆ４（ｘ，ｙ）は、ｒｅｓＣｒ（ｘ，ｙ）とともにｒｅｓＹ（ｘ，ｙ）に（たとえば、ビデオエンコーダ２００によって）適用される。さらに、この例では、反対に、Ｆ３のための逆ＲＭＦ（すなわち、ｉｎｖＦ３（ｘ，ｙ））とＦ４のための逆ＲＭＦ（すなわち、ｉｎｖＦ４（ｘ，ｙ））とが（たとえば、ビデオデコーダ３００によって）適用される。一例では、Ｆ３、Ｆ４、ｉｎｖＦ３、およびｉｎｖＦ４は、次のように表され得る。

【0143】

【数26】

【0144】

[0105] クロマ残差ブロックに対応するルーマ残差ブロックが一緒に組み合わされる別の例では、ＲＭＦ Ｆ５（ｘ，ｙ）は、ｒｅｓＣｂ（ｘ，ｙ）およびｒｅｓＣｒ（ｘ，ｙ）とともにｒｅｓＹ（ｘ，ｙ）に（たとえば、ビデオエンコーダ２００によって）適用される。反対に、ｉｎｖＦ５（ｘ，ｙ）は、（たとえば、ビデオデコーダ３００によって）適用される。一例では、Ｆ５およびｉｎｖＦ５は、次のように表され得る。

【0145】

【数27】

【0146】

[0106] たとえば、４：２：０のクロマビデオフォーマットの場合、ＲＭＦ Ｆ３、Ｆ４、Ｆ５は、ｒｅｓＹ（ｘ，ｙ）残差ブロックの（フィルタ処理を用いるまたは用いない）ダウンサンプリングまたはｒｅｓＣｂ（ｘ，ｙ）およびｒｅｓＣｒ（ｘ，ｙ）ブロックの（補間を用いるまたは用いない）アップサンプリングを含み得る。本開示のＣＲＣ技法はまた、４：４：４のビデオフォーマットなどに適用され得、その場合、ダウンサンプリングまたはアップサンプリングは必要とされないことがある。

【0147】

[0107] 本開示のＣＲＣツールは、ＳＰＳ、ＰＰＳ、スライスまたはタイルグループヘッダなどの中でバイナリフラグをシグナリングすることによって使用可能になり得る。さらに、ＣＲＣフラグ（ｃｒｃ＿ｆｌａｇ）は、変換ユニットのためのＣＲＣツールを使用可能にするために変換ユニットシンタックスまたは残差コーディングシンタックスでシグナリングされ得る。したがって、ビデオエンコーダ２００は、ビットストリーム中でＣＲＣフラグをシグナリングし得、ビデオデコーダ３００は、ビットストリームからＣＲＣフラグを取得し得る。

【0148】

[0108] いくつかの例では、ＣＲＣフラグのシグナリングは、特定の基準の発生に依存する。たとえば、一例では、Ｃｂ残差ブロック（ｃｂｆ＿ｃｂ）のコード化ブロックフラグ（ｃｂｆ）が真である場合、ｃｒｃ＿ｆｌａｇは、（たとえば、ビデオエンコーダ２００によって）シグナリングされ得る。残差ブロックのｃｂｆは、残差ブロックの変換係数の値のすべてが０であるのかどうかを示す。変換スキップモードが適用される事例では、残差ブロックの変換係数はサンプル領域中にあり得る。第２の例では、Ｃｒ残差ブロック（ｃｂｆ＿ｃｒ）のコード化ブロックフラグ（ｃｂｆ）が真である場合、ｃｒｃ＿ｆｌａｇは、（たとえば、ビデオエンコーダ２００によって）シグナリングされ得る。第３の例では、ｃｂｆ＿ｃｂが真であるまたはｃｂｆ＿ｃｒが真である場合、ｃｒｃ＿ｆｌａｇが（たとえば、ビデオエンコーダ２００によって）シグナリングされ得る。さらに別の例では、ｃｂｆ＿ｃｂとｃｂｆ＿ｃｒとが真である場合、ｃｒｃ＿ｆｌａｇが（たとえば、ビデオエンコーダ２００によって）シグナリングされ得る。

【0149】

[0109] ｃｒｃ＿ｆｌａｇがシグナリングされる例では、ｃｂｆ＿ｃｂが真であり、ｃｂｆ＿ｃｒも真である場合、両方の残差（式１．ａ．ｉ）および１．ａ．ｉｉ）において定義されているＦ１（ｘ，ｙ）およびＦ２（ｘ，ｙ））がシグナリングされるのか、または、すなわち、Ｆ１（ｘ，ｙ）もしくはＦ２（ｘ，ｙ）のいずれかを０に強制することによって２つの残差のうちのただ１つがシグナリングされるのかを示す変換ユニットごとに第２のフラグが（たとえば、ビデオエンコーダ２００によって）シグナリングされ得る。強制は、固定され得る（たとえば、Ｆ２（ｘ，ｙ）のみが０に強制され、Ｆ１（ｘ，ｙ）は強制されない）かまたは可変であり得る（Ｆ１（ｘ，ｙ）またはＦ２（ｘ，ｙ）のいずれかが０に強制され得る）。後者の場合、どの残差が０に強制されるのかを示すために別のフラグがシグナリングされ得る。そうするための１つの動機づけは、１つの残差を０に強制することは速度の点で安価であり得るが、より多くのひずみの原因となり得る。したがってビデオエンコーダ２００は、レートひずみのトレードオフに関してそれ自体をチューニングする柔軟性を有し得る。別の例では、これらのフラグ（シグナリングされる残差の数およびどの残差が０に強制されるのか）は、変換ユニットレベルでではなくＳＰＳ、ＰＰＳ、スライスまたはタイルグループヘッダでシグナリングされ得る。

【0150】

[0110] いくつかの例では、ｃｒｃ＿ｆｌａｇは、（たとえば、ビデオエンコーダ２００およびビデオデコーダ３００によって）コンテキストコーディングまたはバイパスコーディングされ得る。複数のコンテキストは、ｃｂｆ＿ｃｂまたはｃｂｆ＿ｃｒ値、隣接するまたは現在のブロックモード（イントラ、インター、現ピクチャ参照（current picture referencing）など）、変換スキップフラグ、ブロック寸法特性（幅、高さ、比）、デュアルコーディングツリー（dual coding tree）が使用されるのか共有コーディングツリー（shared coding tree）が使用されるのなどに応じてコンテキストとともに使用され得る。さらに、ｃｒｃフラグがｃｂｆ＿ｃｒの後にパースされるとき、ｃｂｆ＿ｃｒが真であるのかどうかに応じてｃｒｃフラグのための異なるコンテキストが適用され得る。ｃｒｃフラグがｃｂｆ＿ｃｒの前にパースされる場合、ｃｒｃフラグの値に応じてｃｂｆ＿ｃｒのための異なるコンテキストが適用され得る。ｃｒｃフラグ値に応じて新しいコンテキストが定義され得るか、またはｃｒｃフラグ値に応じてｃｂｆ＿ｃｒ成分のための既存のコンテキストが修正され得る。

【0151】

[0111] いくつかの例では、１つまたは複数のＣＲＣ方法がサンプルをコーディングするために利用可能であり得る（たとえば、１つの方法が、ＲＭＦ Ｆ１Ａ（ｘ，ｙ）およびＦ２Ａ（ｘ，ｙ）を伴い得、別の方法は、ＲＭＦ Ｆ１Ｂ（ｘ，ｙ）およびＦ２Ｂ（ｘ，ｙ）を伴い得る）。コーダによって使用されるべきＣＲＣ方法の決定は、以下の例のうちの１つまたは複数によって（たとえば、ビデオエンコーダ２００およびビデオデコーダ３００によって）行われ得る。一例では、利用可能な（または可能な）ＣＲＣ方法のリストは、元のＣｂ成分とＣｒ成分との高域フィルタ処理されたバージョンの間の相関を分析することによって決定され得る。この分析は、オフラインで行われ得、どのＣＲＣ方法が圧縮効率利得を与えるのかを決定するために多種多様な内容に基づき得る。いくつかの例では、利用可能な（または可能な）ＣＲＣ方法のリストは、ピクチャテクスチャまたはブロックテクスチャを分析し、リストに特徴をマッピングすることによって決定され得る。異なるＣＲＣ方法は、異なるＲＭＦを使用し得る。使用されるべきＣＲＣ方法は、使用されるべきＣＲＣ方法を指定するビットストリーム中の指示（たとえば、ＣＲＣ方法のリストへのフラグまたはインデックス）によって決定され得る。代替的に、ビデオエンコーダ２００およびビデオデコーダ３００は、ブロックの１つまたは複数の特性（characteristics）に基づいてＣＲＣ方法を決定し得る。そのような特性は、限定はしないが、スライスまたはタイルグループタイプがイントラタイプ（intra type）であるのかもしくはインタータイプ（inter type）であるのか、ＣＰＲ（current picture referencing：現ピクチャ参照）、デュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、残差ブロックの寸法もしくはアスペクト比（aspect ratio）、またはブロックの他の特性を含み得る。ビデオエンコーダ２００およびビデオデコーダ３００は、決定に基づいて、決定されたＣＲＣ方法を使用してビデオの１つまたは複数の成分をコーディングし得る。

【0152】

[0112] さらに、本開示のいくつかの例では、順および逆量子化プロセスＱおよびｉｎｖＱによって使用される量子化パラメータ値Ｑｐは、表１に示されるｏｆｆｓｅｔＱｐ１およびｏｆｆｓｅｔＱｐ２値によって修正され得る。これらのｏｆｆｓｅｔＱｐ値は、デフォルト値であり得るか、またはそれらは、ビットストリーム（ＳＰＳ、ＰＰＳ、適応パラメータセット（ＡＰＳ）、スライスもしくはタイルグループヘッダ、ユニットヘッダなど）中でシグナリングされ得る。デフォルト値またはシグナリングされた値は、スライスまたはタイルグループタイプがイントラタイプであるのかもしくはインタータイプであるのか、ＣＰＲ（現ピクチャ参照）、デュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、残差ブロックの寸法もしくはアスペクト比などに依存し得る。シグナリングは、組み合わされた残差コーディングツールが使用可能であるのかまたは使用不可であるのかをフラグが示すのかどうかに依存し得る。

【0153】

[0113] いくつかの例では、いくつかの特性をもつブロックについてＣＲＣ方法は拒否され得る。たとえば、サンプルのしきい値数（たとえば、１６個）よりも少数を有するブロックについて、ＣＲＣ方法は拒否され得る。他の例では、ＣＲＣ方法が拒否され得るブロックを指定するために、限定はしないが、幅、高さ、アスペクト比、隣接ブロックの特性、ｃｂｆ＿ｆｌａｇｓのシグナリングされた値、または他のシンタックス要素などを含むブロックの他の特性が使用され得る。

【0154】

[0114] 本開示では、概して、シンタックス要素など、ある情報を「シグナリング（signaling）」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータの値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素の値をシグナリングし得る。概して、シグナリングは、ビットストリーム中に値を生成することを指す。上述されたように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るようになど、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

【0155】

[0115] 図５Ａと図５Ｂとは、例示的な４分木２分木（ＱＴＢＴ：quadtree binary tree）構造２９０と、対応するコーディングツリーユニット（ＣＴＵ：coding tree unit）２９２とを示す概念図である。実線は４分木分割を表し、点線は２分木分割を表す。２分木の分割された各（すなわち、非リーフ）ノードにおいて、どの分割タイプ（すなわち、水平または垂直）が使用されるのかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平分割を示し、１は垂直分割を示す。４分木分割の場合、４分木ノードは、サイズが等しい４つのサブブロックに、水平および垂直にブロックを分割するので、分割タイプを示す必要がない。したがって、ＱＴＢＴ構造２９０の領域ツリーレベル（すなわち、第１のレベル）（すなわち、実線）についての（分割情報などの）シンタックス要素と、ＱＴＢＴ構造２９０の予測ツリーレベル（すなわち、第２のレベル）（すなわち、破線）についての（分割情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造２９０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。

【0156】

[0116] 概して、図５ＢのＣＴＵ２９２は、第１および第２のレベルにおいてＱＴＢＴ構造２９０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル単位でＣＴＵ２９２のサイズを表す）ＣＴＵサイズと、最小４分木サイズ（最小許容４分木リーフノードサイズを表す、ＭｉｎＱＴＳｉｚｅ）と、最大２分木サイズ（最大許容２分木ルートノードサイズを表す、ＭａｘＢＴＳｉｚｅ）と、最大２分木深度（最大許容２分木深度を表す、ＭａｘＢＴＤｅｐｔｈ）と、最小２分木サイズ（最小許容２分木リーフノードサイズを表す、ＭｉｎＢＴＳｉｚｅ）とを含み得る。

【0157】

[0117] ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有してよく、その各々は、４分木区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、あるいは４つの子ノードを有する。ＱＴＢＴ構造２９０の例は、ブランチのために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードは、最大許容２分木ルートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、それぞれの２分木によってさらに区分され得る。１つのノードの２分木分割は、分割から得られるノードが最小許容２分木リーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分木深度（ＭａｘＢＴＤｅｐｔｈ）に到達するまで反復され得る。ＱＴＢＴ構造２９０の例は、ブランチのために破線を有するようなノードを表す。２分木リーフノードは、コーディングユニット（ＣＵ：coding unit）と呼ばれ、コーディングユニット（ＣＵ）は、それ以上区分することなく、予測（たとえば、イントラピクチャ予測またはインターピクチャ予測）および変換のために使用される。上記で論じられたように、ＣＵは「ビデオブロック（video block）」または「ブロック」と呼ばれることもある。

【0158】

[0118] ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。４分木リーフノードを生成するために、最初に４分木区分がＣＴＵに適用される。４分木リーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。４分木リーフノードは、１２８×１２８である場合、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では６４×６４）を上回るので、２分木によってそれ以上分割されない。そうでない場合、４分木リーフノードは、２分木によってさらに区分される。したがって、４分木リーフノードはまた、２分木のためのルートノードであり、０としての２分木深度を有する。２分木深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなる分割は許可されない。２分木ノードがＭｉｎＢＴＳｉｚｅ（この例では４）に等しい幅を有するとき、それは、さらなる垂直分割が許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分木ノードは、その２分木ノードに対してそれ以上の垂直分割が許されないことを暗示する。上述されたように、２分木のリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。

【0159】

[0119] 図６は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図６は、説明のために提供されるものであり、本開示で広く例示され説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示では、ＨＥＶＣビデオコーディング規格および開発中のＨ．２６６ビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、一般的にビデオ符号化および復号に適用可能である。

【0160】

[0120] 図６の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット（reconstruction unit）２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。さらに、図６の例では、ビデオエンコーダ２００は、残差修正ユニット（residual modification unit）２０５と逆残差修正ユニット（inverse residual modification unit）２１３とを含み得る。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、残差修正ユニット２０５と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、逆残差修正ユニット２１３と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

【0161】

[0121] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用する参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0162】

[0122] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在のブロックのビデオデータ）を記憶する参照メモリとして理解されたい。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。

【0163】

[0123] 図６の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を与える回路を指し、実行され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概してイミュータブル（immutable）である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは集積回路であり得る。

【0164】

[0124] ビデオエンコーダ２００は、プログラマブル回路から形成される論理演算装置（ＡＬＵ）、初等関数ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し実行するソフトウェアのオブジェクトコードを記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示されず）が、そのような命令を記憶し得る。

【0165】

[0125] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、残差生成ユニット２０４とモード選択ユニット２０２とにビデオデータを提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべき未加工のビデオデータであり得る。

【0166】

[0126] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するために追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

【0167】

[0127] モード選択ユニット２０２は、概して、符号化パラメータの組合せをテストするために複数の符号化パスを協調させ、そのような組合せのためのレートひずみ値を生じる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

【0168】

[0128] ビデオエンコーダ２００は、一連のＣＴＵにビデオデータメモリ２３０から取り出されたピクチャを区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造または４分木構造などのツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵはまた、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。

【0169】

[0129] 概して、モード選択ユニット２０２はまた、現在のブロック（たとえば、現在のＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）についての予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前のコード化ピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実行し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在のブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット２２２は、現在のブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

【0170】

[0130] 動き推定ユニット２２２は、現在のピクチャ中の現在のブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックのための値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって識別される２つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付け平均化を通して取り出されたデータを組み合わせ得る。

【0171】

[0131] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在のブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、隣接サンプルの値を概して数学的に組み合わせ、現在のブロックにわたって規定の方向にこれらの計算された値をポピュレートして、予測ブロックを生成し得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。

【0172】

[0132] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの未加工の、コーディングされていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとの間のサンプルごとの差を計算する。得られたサンプルごとの差は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ：residual differential pulse code modulation）を使用して残差ブロックを生成するために残差ブロック中のサンプル値の間の差を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実行する１つまたは複数の減算器回路を使用して形成され得る。

【0173】

[0133] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称的ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称的区分をサポートし得る。

【0174】

[0134] モード選択ユニットがＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

【0175】

[0135] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット２０２は、コーディング技法に関連するそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しなくてよく、代わりに、選択されたパレットに基づいてブロックを再構成するための方式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

【0176】

[0136] 上記で説明したように、残差生成ユニット２０４は、現在のブロックに対するビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在のブロックに対する残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。

【0177】

[0137] 本開示の１つまたは複数の技法によれば、残差修正ユニット２０５は、残差生成ユニット２０４によって生成された残差クロマデータにＲＭＦを適用し得る。たとえば、残差修正ユニット２０５は、第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用し得る。残差修正ユニット２０５は、第２の修正されたクロマ残差データを生成するためにブロックの第２のクロマ残差データに第２の残差修正関数を適用し得る。この例では、第１のクロマ残差データは、第１のクロマ成分（たとえば、Ｃｂ）に関連付けられ、第２のクロマ残差データは、第２のクロマ成分（たとえば、Ｃｒ）に関連付けられる。残差修正ユニット２０５は、残差ルーマデータ（residual luma data）にＲＭＦを適用しない。

【0178】

[0138] 変換処理ユニット２０６は、変換係数のブロック（本明細書では「変換係数ブロック」と呼ばれる）を生成するために、残差ブロック（たとえば、ＲＭＦを適用することによって生成される修正された残差データのブロック）に１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換など１次変換および２次変換を実行し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

【0179】

[0139] 量子化ユニット２０８は、量子化変換係数ブロックを生成するために変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在のブロックに関連する量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は、（たとえば、モード選択ユニット２０２を介して）ＣＵに関連するＱＰ値を調整することによって現在のブロックに関連する変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらし得、したがって、量子化変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。

【0180】

[0140] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化変換係数ブロックに逆量子化および逆変換を適用し得る。本開示の１つまたは複数の例によれば、逆残差修正ユニット２１３は、逆変換処理ユニット２１２によって生成される復号され修正されたクロマ残差データに逆ＲＭＦを適用し得る。逆残差修正ユニット２１３によって適用される逆ＲＭＦは、残差修正ユニット２０５によって適用されるＲＭＦの逆であり得る。したがって、逆残差修正ユニット２１３は、残差ブロックを生成し得る。逆残差修正ユニット２１３は、残差ルーマデータに逆ＲＭＦを適用しない。

【0181】

[0141] 再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（ある程度のひずみを潜在的にもっているものの）現在のブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

【0182】

[0142] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実行し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。

【0183】

[0143] ビデオエンコーダ２００は、ＤＰＢ２１８中に再構築されたブロックを記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例において、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

【0184】

[0144] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化されたデータを生成するためにビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実行し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変－可変（Ｖ２Ｖ：variable-to-variable）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

【0185】

[0145] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要なエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０は、ビットストリームを出力し得る。

【0186】

[0146] 上記で説明された動作について、ブロックに関して説明する。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマおよびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマおよびクロマ成分である。

【0187】

[0147] いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックとに対して同じであり得る。

【0188】

[0148] ビデオエンコーダ２００は、ビデオデータを符号化するように構成されたデバイスの一例を表し、デバイスは、ビデオデータを記憶するように構成されたメモリと、回路中に実装される１つまたは複数の処理ユニットを含み、１つまたは複数の処理ユニットは、第１の修正されたクロマ残差データを生成するために第１のクロマ残差データに第１の残差修正関数を適用することと、第１の修正されたクロマ残差データを符号化することと、第２の修正されたクロマ残差データを生成するために第２のクロマ残差データに第２の残差修正関数を適用することと、第２の修正されたクロマ残差データを符号化することと、ここにおいて、第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられる、を行うように構成される。

【0189】

[0149] 図７は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図７は、説明を目的に提供されるものであり、本開示において広く例示され説明される技法を限定するものではない。説明の目的で、本開示では、ＪＥＭと、ＶＶＣと、ＨＥＶＣとの技法に従ってビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実行され得る。

【0190】

[0150] 図７の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。本開示の１つまたは複数の技法によれば、ビデオデコーダ３００はまた、逆残差修正ユニット３０９を含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、逆残差修正ユニット３０９と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

【0191】

[0151] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

【0192】

[0152] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されたビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0193】

[0153] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で論じられたデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

【0194】

[0154] 図７に示されている様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図６と同様に、固定機能回路は、特定の機能を与える回路を指し、実行され得る動作にあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概してイミュータブルである。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは集積回路であり得る。

【0195】

[0155] ビデオデコーダ３００は、プログラマブル回路から形成されるＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブルコアを含み得る。ビデオデコーダ３００の動作がプログラマブル回路上で実行するソフトウェアによって実行される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

【0196】

[0156] エントロピー復号ユニット３０２は、ＣＰＢメモリ３２０から符号化ビデオデータを受信し、ビデオデータをエントロピー復号してシンタックス要素を再生し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、逆残差修正ユニット３０９と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。

【0197】

[0157] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して再構築を個々に実行し得る（ここで、現在再構築されている、すなわち、復号されているブロックは、「現在のブロック（current block）」と呼ばれることがある）。

【0198】

[0158] エントロピー復号ユニット３０２は、量子化変換係数ブロックの量子化変換係数を定義するシンタックス要素ならびに量子化パラメータ（ＱＰ）および／または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度を決定するために、また同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために量子化変換係数ブロックに関連するＱＰを使用し得る。逆量子化ユニット３０６は、たとえば、量子化変換係数を逆量子化するためにビット単位左シフト動作を実行し得る。逆量子化ユニット３０６は、それによって、変換係数を含む変換係数ブロックを形成し得る。

【0199】

[0159] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在のブロックに関連する残差ブロックを生成するために変換係数ブロックに１つまたは複数の逆変換を適用し得る。本開示の１つまたは複数の例によれば、逆変換処理ユニット３０８は、復号され修正されたクロマ残差データを生成するために変換係数ブロックに１つまたは複数の逆変換を適用し得る。一例では、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。現在のブロックがルーマ成分と２つのクロマ成分とを含み得るので、逆変換処理ユニット３０８は、現在のブロックのための復号されたルーマ残差データと、第１の復号され修正されたクロマ残差データと、第２の復号され修正されたクロマ残差データとを生成し得る。

【0200】

[0160] 本開示の１つまたは複数の技法によれば、逆残差修正ユニット３０９は、復号され修正されたクロマ残差データに逆ＲＭＦを適用し得る。したがって、逆残差修正ユニット３０９は、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データ（たとえば、Ｃｂ残差データ）に第１の逆残差修正関数を適用し得る。さらに、逆残差修正ユニット３０９は、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データ（たとえば、Ｃｒ残差データ）に第２の逆残差修正関数を適用し得る。

【0201】

[0161] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックを取り出すＤＰＢ３１４中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図６）に関して説明された方式と実質的に同様である方式でインター予測プロセスを実行し得る。

【0202】

[0162] 別の例として、予測情報シンタックス要素が、現在のブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図６）に関して説明されたのと実質的に同様である様式でイントラ予測プロセスを実行し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在のブロックに対する隣接サンプルのデータを取り出し得る。

【0203】

[0163] 再構成ユニット３１０は、予測ブロックと残差ブロック（たとえば、逆残差修正ユニット３０９によって生成された残差クロマデータのブロック）とを使用して現在のブロックを再構成し得る。たとえば、再構築ユニット３１０は、現在のブロックを再構築するために予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。本開示の技法によれば、残差ブロックは、逆残差修正ユニット３０９によって生成された逆修正されたクロマ残差データであり得る。

【0204】

[0164] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実行し得る。フィルタユニット３１２の動作は、すべての例において必ずしも実行されるとは限らない。

【0205】

[0165] ビデオデコーダ３００は、ＤＰＢ３１４中に再構築されたブロックを記憶し得る。たとえば、フィルタユニット３１２の動作が実行されない例において、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実行される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で論じられたように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなど、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢからの復号ピクチャを、後続のプレゼンテーションのために、図１のディスプレイデバイス１１８などのディスプレイデバイス上に出力し得る。

【0206】

[0166] このようにして、ビデオデコーダ３００は、ビデオ復号デバイスの一例を表し、デバイスは、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含む、１つまたは複数の処理ユニットは、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することと、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することと、ここにおいて、第１の復号され修正されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分に関連付けられる、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成することとを行うように構成される。

【0207】

[0167] 図８は、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のＣＵを含み得る。ビデオエンコーダ２００（図１および図６）に関して説明されるが、他のデバイスが図８の方法と同様の方法を実施するように構成され得ることを理解されたい。

【0208】

[0168] この例では、ビデオエンコーダ２００は、最初に、現在のブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在のブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在のブロックのための残差ブロックを計算し得る（３５２）。言い換えれば、ビデオエンコーダ２００は、現在のブロックのためのルーマ残差データとクロマ残差データとを計算し得る。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックのサンプルと現在のブロックのための予測ブロックの対応するサンプルとの間の差分を計算し得る。たとえば、Ｃｂ残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックのＣｂサンプルと現在のブロックのための予測ブロックの対応するＣｂサンプルとの間の差分を計算し得る。

【0209】

[0169] 本開示の１つまたは複数の技法によれば、ビデオエンコーダ２００は、修正されたクロマ残差データを生成するために現在のブロックのクロマ残差データに残差修正関数を適用し得る（３５３）。ビデオエンコーダ２００は、次いで、変換係数を生成するために残差ブロックを変換し、残差ブロックの変換係数を量子化する（３５４）。すなわち、ビデオエンコーダ２００は、次いで、周波数領域などの変換領域に修正されたクロマ残差データを変換する順変換を適用し、それによって、変換係数を生成し得る。ビデオエンコーダ２００は、次いで、変換係数を量子化し得る。他の例では、ビデオエンコーダ２００は、順変換を適用した後で残差修正関数を適用し得る。

【0210】

[0170] 次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３５６）。走査中に、または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化されたデータを出力し得る（３６０）。

【0211】

[0171] 図９は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のＣＵを含み得る。ビデオデコーダ３００（図１および図７）に関して説明されるが、他のデバイスが図９の方法と同様の方法を実施するように構成され得ることを理解されたい。

【0212】

[0172] ビデオデコーダ３００は、エントロピーコード化予測情報、および現在のブロックに対応する残差ブロックの変換係数のためのエントロピーコード化データなどの、現在のブロックのためのエントロピーコード化データを受信し得る（３７０）。ビデオデコーダ３００は、現在のブロックのための予測情報を決定し、残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る（３７２）。ビデオデコーダ３００は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在のブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化変換係数のブロックを作成するために、再生された変換係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために変換係数を逆量子化し、逆変換し得る（３７８）。ビデオデコーダ３００は、現在のブロックの色構成要素ごとに行為３７２～３７８を実行し得る。したがって、ビデオデコーダ３００は、現在のブロックのためのＹ残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを生成し得る。Ｃｂ残差ブロックは、第１の復号された残差クロマデータであり得、Ｃｒ残差ブロックは、第２の復号された残差クロマデータであり得る。他の例では、Ｃｒ残差ブロックは、第１の復号された残差クロマデータと見なされ得、Ｃｂ残差ブロックは、第２の復号された残差クロマデータと見なされ得る。本開示の１つまたは複数の技法によれば、ビデオデコーダ３００は、復号された残差クロマデータに逆残差修正関数を適用し得る（３７９）。ビデオデコーダ３００は、本開示の他の場所で与えられる例のいずれかに従って、復号された残差クロマデータに逆残差修正関数を適用し得る。他の例では、ビデオデコーダ３００は、逆変換を適用する前に逆残差修正関数を適用し得る。

【0213】

[0173] ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在のブロックを復号し得る（３８０）。たとえば、ビデオデコーダ３００は、色成分の各々について、色成分のための残差ブロックの対応するサンプルに予測ブロックの色成分のサンプルを加算し得る。

【0214】

[0174] 図１０は、本開示の１つまたは複数の技法による、ビデオエンコーダ２００の例示的な動作を示すフローチャートである。図１０の例では、ビデオエンコーダ２００は、第１の修正されたクロマ残差データを生成するためにビデオデータのブロックの第１のクロマ残差データに第１の残差修正関数を適用し得る（４００）。たとえば、ビデオエンコーダ２００は、式１．ａ．ｉ、１．ｂ．ｉ、１．ｃ．ｉ、１．ｃ．ｖのいずれかで説明した残差修正関数または別の残差修正関数を適用し得る。

【0215】

[0175] さらに、図１０の例では、ビデオエンコーダ２００は、第１の修正されたクロマ残差データを符号化し得る（４０２）。第１の修正されたクロマ残差データを符号化することの一部として、ビデオエンコーダ２００は、周波数領域などの変換領域にサンプル領域からの第１の修正されたクロマ残差データを変換する順変換（たとえば、離散コサイン変換、離散サイン変換、または別のタイプの変換）を適用し得る（４０４）。サンプル領域中のデータは、サンプルの値（たとえば、ルーマ値、Ｃｂ値、Ｃｒ値）を示す。第１の修正されたクロマ残差データに順変換を適用することによって、ビデオエンコーダ２００は、変換係数の第１のブロックを生成し得る。さらに、第１の修正されたクロマ残差データを符号化することの一部として、ビデオエンコーダ２００は、変換係数の第１のブロック中の変換係数を量子化し得る。さらに、ビデオエンコーダ２００は、変換係数の量子化された第１のブロックを表すシンタックス要素にエントロピー符号化を適用し得る。いくつかの例では、ビデオエンコーダ２００は、順変換の適用をスキップし得る。言い換えれば、ビデオエンコーダ２００は、現在のブロックとともに変換スキップモードを使用し得る。説明を簡単にするために、本開示は、変換スキップモードが現在のブロックとともに使用される場合に残差データに適用するために「変換係数（transform coefficient）」という用語を使用し得る。

【0216】

[0176] さらに、ビデオエンコーダ２００は、第２の修正されたクロマ残差データを生成するためにブロックの第２のクロマ残差データに第２の残差修正関数を適用し得る（４０６）。たとえば、ビデオエンコーダ２００は、式１．ａ．ｉｉ、１．ｂ．ｉｉ、１．ｃ．ｉｉ、１．ｃ．ｖｉのいずれかで説明した残差修正関数または別の残差修正関数を適用し得る。

【0217】

[0177] ビデオエンコーダ２００は、第２の修正されたクロマ残差データを符号化し得る（４０８）。第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられる。第２の修正されたクロマ残差データを符号化することの一部として、ビデオエンコーダ２００は、周波数領域などの変換領域にサンプル領域からの第２の修正されたクロマ残差データを変換する順変換（たとえば、離散コサイン変換、離散サイン変換、または別のタイプの変換）を適用し得る（４１０）。第２の修正されたクロマ残差データに順変換を適用することによって、ビデオエンコーダ２００は、変換係数の第２のブロックを生成し得る。さらに、第２の修正されたクロマ残差データを符号化することの一部として、ビデオエンコーダ２００は、変換係数の第２のブロック中の変換係数を量子化し得る。さらに、ビデオエンコーダ２００は、変換係数の量子化された第２のブロックを表すシンタックス要素にエントロピー符号化を適用し得る。いくつかの例では、ビデオエンコーダ２００は、順変換の適用をスキップし得る。

【0218】

[0178] いくつかの例では、第１の残差修正関数を適用する前に、ビデオエンコーダ２００は、第１の修正されたクロマ残差データを生成するために第１のクロマ残差データに第１の残差修正関数を適用すべきかまたは第３の残差修正関数（third residual modification function）を適用すべきかを決定し得る。同様に、第２の残差修正関数を適用する前に、ビデオエンコーダ２００は、第２の修正されたクロマ残差データを生成するために第２のクロマ残差データに第２の残差修正関数を適用すべきかまたは第４の残差修正関数（fourth residual modification function）を適用すべきかを決定し得る。したがって、ビデオエンコーダ２００は、第１の残差クロマデータと第２の残差クロマデータとにどの残差修正関数を適用すべきかを決定し得る。

【0219】

[0179] ビデオエンコーダ２００は、様々な方法のうちの１つでどの残差修正関数を適用すべきかを決定し得る。たとえば、いくつかの例では、ビデオエンコーダ２００は、第１の修正されたクロマ残差データを生成するために、ブロックの１つまたは複数の特性に基づいて、第１のクロマ残差データに第１の残差修正関数を適用すべきかまたは第３の残差修正関数を適用すべきかを決定し得る。さらに、ビデオエンコーダ２００は、第２の修正されたクロマ残差データを生成するために、ブロックの１つまたは複数の特性に基づいて、第２のクロマ残差データに第２の残差修正関数を適用すべきかまたは第４の残差修正関数を適用すべきかを決定し得る。ブロックのそのような特性は、ブロックを含んでいるスライスもしくはタイル（tile）がイントラタイプであるのかもしくはインタータイプであるのか、現ピクチャ参照がブロックとともに使用されるのかどうか、ブロックとともにデュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、ブロックの次元（dimension）、ブロックのアスペクト比、またはブロックの他の特性のうちの１つもしくは複数を含み得る。たとえば、ビデオエンコーダ２００は、ブロックがＩスライス中にある場合に第１の残差修正関数を使用し、またはブロックがＰもしくはＢスライス中にある場合に第３の残差修正を使用すると決定し得る。Ｉスライスは、イントラ予測が許容されるが、インター予測は許容されないスライスである。Ｐスライスは、イントラ予測と単方向インター予測とが許容されるが、双方向インター予測は許容されないスライスである。Ｂスライスは、イントラ予測、単方向インター予測、および双方向インター予測が許容されるスライスである。

【0220】

[0180] いくつかの例では、ビデオエンコーダ２００は、ビットストリーム中で、第１の修正されたクロマ残差データを生成するために第１のクロマ残差データに第１の残差修正関数が適用されたのかまたは第３の残差修正関数が適用されたのかを示すデータをシグナリングし得る。同様に、ビデオエンコーダ２００は、ビットストリーム中で、第２の修正されたクロマ残差データを生成するために第２のクロマ残差データに第２の残差修正関数が適用されたのかまたは第４の残差修正関数が適用されたのかを示すデータをシグナリングし得る。たとえば、ビットストリーム中でシグナリングされる１つまたは複数のシンタックス要素は、どの残差修正関数が適用されたのかを指定し得る。

【0221】

[0181] いくつかの例では、ビデオエンコーダ２００は、残差修正関数を適用することとともにＣＲＳ処理を適用し得る。たとえば、いくつかの例では、ビデオエンコーダ２００は、第１の修正されたクロマ残差データを生成するために第１のクロマ残差データに第１の逆残差修正関数を適用した後に第１の逆修正されたクロマ残差データにＣＲＳプロセスを適用し得る。さらに、この例では、ビデオエンコーダ２００は、第２の修正されたクロマ残差データを生成するために第２のクロマ残差データに第２の残差修正関数を適用した後に第２の修正されたクロマ残差データにＣＲＳプロセスを適用し得る。たとえば、ＣＲＳプロセスを適用するために、ビデオエンコーダ２００は、本開示の他の場所で説明するように式７を適用し得る。

【0222】

[0182] 他の例では、ビデオエンコーダ２００は、第１の修正されたクロマ残差データを生成するために第１のクロマ残差データに第１の残差修正関数を適用することの一部として第１のクロマ残差データにＣＲＳプロセスを適用し得る。さらに、この例では、ビデオエンコーダ２００は、第２の修正されたクロマ残差データを生成するために第２のクロマ残差データに第２の残差修正関数を適用することの一部として第２のクロマ残差データにＣＲＳプロセスを適用し得る。ビデオエンコーダ２００は、本開示の他の場所で与えられる例のいずれかに従って、第１の残差修正関数と第２の残差修正関数とを適用することの一部としてＣＲＳプロセスを適用し得る。

【0223】

[0183] 図１１は、本開示の１つまたは複数の技法による、ビデオデコーダ３００の例示的な動作を示すフローチャートである。図１１の例では、ビデオデコーダ３００は、変換領域からサンプル領域にビデオデータのブロックの変換係数の第１のセットを変換するために逆変換を適用することによって、第１の復号され修正されたクロマ残差データを生成し得る（４５０）。たとえば、ビデオデコーダ３００は、周波数領域からサンプル領域に変換係数の第１のセットを変換する逆ＤＣＴ変換を適用し得る。さらに、ビデオデコーダ３００は、変換領域からサンプル領域にブロックの変換係数の第２のセットを変換するために逆変換を適用することによって、第２の復号され修正されたクロマ残差データを生成し得る（４５２）。第１の復号され修正されたクロマ残差データは、第１のクロマ成分（たとえば、Ｃｂ）に関連付けられ、第２の復号され修正されたクロマ残差データは、第２のクロマ成分（たとえば、Ｃｒ）に関連付けられる。

【0224】

[0184] さらに、図１１の例では、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データを生成するために、第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用し得る（４５４）。たとえば、ビデオデコーダ３００は、式１．ａ．ｉｉｉ、１．ｂ．ｉｉｉ、１．ｃ．ｉｉｉ、１．ｃ．ｖｉｉのいずれかで説明した逆残差修正関数または別の逆残差修正関数を適用し得る。

【0225】

[0185] ビデオデコーダ３００は、第２の逆修正されたクロマ残差データを生成するために、第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用し得る（４５６）。たとえば、ビデオデコーダ３００は、式１．ａ．ｉｖ、１．ｂ．ｉｖ、１．ｃ．ｉｖ、１．ｃ．ｖｉｉｉのいずれかで説明した逆残差修正関数または別の逆残差修正関数を適用し得る。

【0226】

[0186] さらに、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データと第２の逆修正されたクロマ残差データとに基づいてビデオデータのブロックを再構成し得る（４５８）。たとえば、ビデオデコーダ３００は、第１のクロマ成分のための予測ブロックの対応するサンプルに第１の逆修正されたクロマ残差データのサンプルを加算し得る。さらに、この例では、ビデオデコーダ３００は、第２のクロマ成分のための予測ブロックの対応するサンプルに第２の逆修正されたクロマ残差データのサンプルを加算し得る。言い換えれば、ビデオデコーダ３００は、ブロックの第１の再構成されたクロマデータ（first reconstructed chroma data）を取得するために第１の予測されたクロマデータ（first predicted chroma data）に第１の逆修正されたクロマ残差データを加算し、ブロックの第２の再構成されたクロマデータ（second reconstructed chroma data）を取得するために第２の予測されたクロマデータ（second predicted chroma data）に第２の逆修正されたクロマ残差データを加算し得る。

【0227】

[0187] いくつかの例では、第１の逆残差修正関数を適用する前に、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用すべきかまたは第３の逆残差修正関数（third inverse residual modification function）を適用すべきかを決定し得る。同様に、第２の逆残差修正関数を適用する前に、ビデオデコーダ３００は、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用すべきかまたは第４の逆残差修正関数（fourth inverse residual modification function）を適用すべきかを決定し得る。したがって、ビデオデコーダ３００は、第１の復号された残差クロマデータと第２の復号された残差クロマデータとにどの残差修正関数を適用すべきかを決定し得る。

【0228】

[0188] ビデオデコーダ３００は、様々な方法のうちの１つでどの逆残差修正関数を適用すべきかを決定し得る。たとえば、いくつかの例では、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データを生成するために、ブロックの１つまたは複数の特性に基づいて、第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用すべきかまたは第３の逆残差修正関数を適用すべきかを決定し得る。さらに、ビデオデコーダ３００は、第２の逆修正されたクロマ残差データを生成するために、ブロックの１つまたは複数の特性に基づいて、第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用すべきかまたは第４の逆残差修正関数を適用すべきかを決定し得る。ブロックのそのような特性は、ブロックを含んでいるスライスもしくはタイルがイントラタイプであるのかもしくはインタータイプであるのか、現ピクチャ参照がブロックとともに使用されるのかどうか、ブロックとともにデュアルコーディングツリーが使用されるのかもしくは共有コーディングツリーが使用されるのか、ブロックの次元、ブロックのアスペクト比、またはブロックの他の特性のうちの１つもしくは複数を含み得る。たとえば、ビデオデコーダ３００は、ブロックがＩスライス中にある場合に第１の逆残差修正関数を使用し、またはブロックがＰもしくはＢスライス中にある場合に第３の逆残差修正を使用すると決定し得る。

【0229】

[0189] いくつかの例では、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データを生成するために、ビットストリーム中でシグナリングされるデータに基づいて、第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用すべきかまたは第３の逆残差修正関数を適用すべきかを決定し得る。同様に、ビデオデコーダ３００は、第２の逆修正されたクロマ残差データを生成するために、ビットストリーム中でシグナリングされるデータに基づいて、第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用すべきかまたは第４の逆残差修正関数を適用すべきかを決定し得る。たとえば、ビットストリーム中でシグナリングされる１つまたは複数のシンタックス要素は、どの逆残差修正関数を使用すべきかを指定し得る。

【0230】

[0190] いくつかの例では、ビデオデコーダ３００は、逆残差修正関数を適用することとともに逆ＣＲＳ処理を適用し得る。たとえば、いくつかの例では、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用する前に第１の復号され修正されたクロマ残差データに逆ＣＲＳプロセス（inverse CRS process）を適用し得る。さらに、この例では、ビデオデコーダ３００は、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用する前に第２の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用し得る。たとえば、逆ＣＲＳプロセスを適用するために、ビデオデコーダ３００は、本開示の他の場所で説明するように式８を適用し得る。

【0231】

[0191] 他の例では、ビデオデコーダ３００は、第１の逆修正されたクロマ残差データを生成するために第１の復号され修正されたクロマ残差データに第１の逆残差修正関数を適用することの一部として第１の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用し得る。さらに、この例では、ビデオデコーダ３００は、第２の逆修正されたクロマ残差データを生成するために第２の復号され修正されたクロマ残差データに第２の逆残差修正関数を適用することの一部として第２の復号され修正されたクロマ残差データに逆ＣＲＳプロセスを適用し得る。

【0232】

[0192] 以下の列挙された段落は、本開示の技法の例の非限定のリストを与える。

【0233】

[0193] 例１Ａ．ビデオデータを復号する方法であって、第１の修正され復号されたクロマ残差データ（すなわち、ビデオ復号のコンテキストにおける第１の逆修正され復号されたクロマ残差データ）を生成するために第１の復号されたクロマ残差データ（すなわち、ビデオ復号のコンテキストにおける第１の復号され修正されたクロマ残差データ）に第１の逆残差修正関数を適用することと、第２の修正され復号されたクロマ残差データ（すなわち、ビデオ復号のコンテキストにおける第２の逆修正され復号されたクロマ残差データ）を生成するために第２の復号されたクロマ残差データ（すなわち、ビデオ復号のコンテキストにおける第１の復号され修正されたクロマ残差データ）に第２の逆残差修正関数を適用することと、ここにおいて、第１の復号されたクロマ残差データは、第１のクロマ成分に関連付けられ、第２の復号されたクロマ残差データは、第２のクロマ成分に関連付けられる、第１の修正され復号されたクロマ残差データと第２の修正され復号されたクロマ残差データとに基づいてビデオデータのブロックを再構成することとを備える方法。

【0234】

[0194] 例２Ａ．ブロックを再構成することは、ブロックの第１の再構成されたクロマデータを取得するために第１の予測されたクロマデータに第１の修正され復号されたクロマ残差データを加算することと、ブロックの第２の再構成されたクロマデータを取得するために第２の予測されたクロマデータに第２の修正され復号されたクロマ残差データを加算することとを備える、例１Ａに記載の方法。

【0235】

[0195] 例３Ａ．第１の逆残差修正関数は、ｉｎｖＦ１（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ１）／Ｍ１であり、第２の逆残差修正関数は、ｉｎｖＦ２（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’－ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ２）／Ｍ２であり、ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、第１の復号されたクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）’は、第２の復号されたクロマ残差データであり、Ｂ１およびＢ２は、丸め項であり、１／Ｍ１および１／Ｍ２は、正規化係数である、例１Ａ～２Ａのいずれかに記載の方法。

【0236】

[0196] 例４Ａ．第１の逆残差修正関数は、ｉｎｖＦ１（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）’＋ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ１）／Ｍ１であり、第２の逆残差修正関数は、ｉｎｖＦ２（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）’－ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ２）／Ｍ２であり、ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、第１の復号されたクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）’は、第２の復号されたクロマ残差データであり、Ｂ１およびＢ２は、丸め項であり、１／Ｍ１および１／Ｍ２は、正規化係数である、例１Ａ～２Ａのいずれかに記載の方法。

【0237】

[0197] 例５Ａ．第１の逆残差修正関数は、ｉｎｖＦ１（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ１０）／Ｍ１０＋（ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ１１）／Ｍ１１であり、第２の逆残差修正関数は、ｉｎｖＦ２（ｘ，ｙ）＝（ｒｅｓＣｒ（ｘ，ｙ）’＋Ｂ２０）／Ｍ２０－ｒｅｓＣｂ（ｘ，ｙ）’＋Ｂ２１）／Ｍ２１であり、ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、第１の復号されたクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）’は、第２の復号されたクロマ残差データであり、Ｂ１０、Ｂ１１、Ｂ２０およびＢ２１は、丸め項であり、１／Ｍ１０、１／Ｍ１１、１／Ｍ２０および１／Ｍ２１は、正規化係数である、例１Ａ～２Ａのいずれかに記載の方法。

【0238】

[0198] 例６Ａ．本方法は、第１の修正され復号されたクロマ残差データに第１の逆クロマ残差スケーリング（ＣＲＳ）プロセスを適用することと、第２の修正され復号されたクロマ残差データに第２の逆ＣＲＳプロセスを適用することとをさらに備える、例１Ａ～５Ａのいずれかに記載の方法。

【0239】

[0199] 例７Ａ．第１の逆残差修正関数を適用することは、第１の復号されたクロマ残差データを逆量子化した後に、および逆変換プロセスを適用する前に第１の逆残差修正関数を適用することを備え、第２の逆残差修正関数を適用することは、第２の復号されたクロマ残差データを逆量子化した後に、および逆変換プロセスを適用する前に第２の逆残差修正関数を適用することを備える、例１Ａ～６Ａのいずれかに記載の方法。

【0240】

[0200] 例８Ａ．ｒｅｓＣｒ（ｘ，ｙ）’またはｒｅｓＣｂ（ｘ，ｙ）’は、ｒｅｓＹ（ｘ，ｙ）’と置換され、ここで、ｒｅｓＹ（ｘ，ｙ）’は、復号されたルーマ残差データである、例３Ａ～５Ａのいずれかに記載の方法。

【0241】

[0201] 例９Ａ．ビデオデータの符号化表現を含むビットストリームから、第１の逆残差修正関数を適用すべきか第２の逆残差修正関数を適用すべきかを示すフラグを取得することをさらに備える、例１Ａ～８Ａのいずれかに記載の方法。

【0242】

[0202] 例１０Ａ．フラグは、第１のクロマ成分のためのコード化ブロックフラグ（ＣＢＦ：coded block flag）が真であり、第２のクロマ成分のためのＣＢＦが真である場合にシグナリングされる、例９Ａに記載の方法。

【0243】

[0203] 例１１Ａ．フラグは、第１のフラグであり、本方法は、ビットストリームから、第２のフラグを取得することをさらに備え、第２のフラグは、変換ユニットのためのものであり、第２のフラグは、（ｉ）第１の復号されたクロマ残差データと第２の復号されたクロマ残差データとの両方がシグナリングされること、および（ｉｉ）第１の復号されたクロマ残差データと第２の復号されたクロマ残差データとのうちのただ１つがシグナリングされることのうちのどちらを適用するのかを示す、例１０Ａに記載の方法。

【0244】

[0204] 例１２Ａ．本方法は、ビットストリームから、第１の復号されたクロマ残差データと第２の復号されたクロマ残差データとのうちのどちらが０に強制されるのかを示す第３のフラグを取得することをさらに備える、例１１Ａに記載の方法。

【0245】

[0205] 例１３Ａ．第１の逆残差修正関数を適用すべきか第２の逆残差修正関数を適用すべきかを示すフラグは第１のフラグであり、本方法は、ビットストリームから、第１のクロマ成分のためのＣＢＦを取得することと、第１のクロマ成分のためのＣＢＦに基づいて、第１のフラグのためのコンテキストを選択することと、選択されたコンテキストを使用して第１のフラグをエントロピー復号することとをさらに備える、例９Ａ～１２Ａのいずれかに記載の方法。

【0246】

[0206] 例１４Ａ．第１の逆残差修正関数を適用すべきか第２の逆残差修正関数を適用すべきかを示すフラグは第１のフラグであり、本方法は、第１のフラグに基づいて、第１のクロマ成分のためのＣＢＦのためのコンテキストを選択することと、選択されたコンテキストを使用して第１のクロマ成分のためのＣＢＦをエントロピー復号することとをさらに備える、例９Ａ～１２Ａのいずれかに記載の方法。

【0247】

[0207] 例１５Ａ．複数の利用可能な第１の逆残差修正関数の中から第１の逆残差修正関数を決定することと、複数の利用可能な第２の逆残差修正関数の中から第２の逆残差修正関数を決定することとをさらに備える、例１Ａ～１４Ａのいずれかに記載の方法。

【0248】

[0208] 例１６Ａ．第１の復号されたクロマ残差データに第１の逆残差修正関数を適用する前に、量子化パラメータと第１の量子化パラメータオフセットとに基づいて第１の量子化されたクロマ変換データを逆量子化することと、第１の復号されたクロマ残差データを生成するために逆量子化された第１の量子化されたクロマ変換データに逆変換を適用することとを行うことと、第２の復号されたクロマ残差データに第２の逆残差修正関数を適用する前に、量子化パラメータと第２の量子化パラメータオフセットとに基づいて第２の量子化されたクロマ変換データを逆量子化することと、第２の復号されたクロマ残差データを生成するために第２の逆量子化された第２の量子化されたクロマ変換データに逆変換を適用することとを行うこととをさらに備える、例１Ａ～１５Ａのいずれかに記載の方法。

【0249】

[0209] 例１７Ａ．ビデオデータの符号化表現を備えるビットストリームから第１の量子化パラメータオフセットまたは第２の量子化パラメータオフセットのうちの少なくとも１つを取得することをさらに備える、例１６Ａに記載の方法。

【0250】

[0210] 例１８Ａ．ブロックの１つまたは複数の特性に基づいて、第１の逆残差修正関数の適用が拒否されるのかどうかを決定することと、ブロックの１つまたは複数の特性に基づいて、第２の逆残差修正関数の適用が拒否されるのかどうかを決定することとをさらに備える、例１Ａ～１７Ａのいずれかに記載の方法。

【0251】

[0211] 例１Ｂ．ビデオデータを符号化する方法であって、第１の修正されたクロマ残差データを生成するために第１のクロマ残差データに第１の残差修正関数を適用することと、第１の修正されたクロマ残差データを符号化することと、第２の修正されたクロマ残差データを生成するために第２のクロマ残差データに第２の残差修正関数を適用することと、第２の修正されたクロマ残差データを符号化することと、ここにおいて、第１のクロマ残差データは、第１のクロマ成分に関連付けられ、第２のクロマ残差データは、第２のクロマ成分に関連付けられる、を備える方法。

【0252】

[0212] 例２Ｂ．修正されたクロマ残差データを符号化することは、変換データを生成するために修正されたクロマ残差データに順変換を適用することと、量子化された変換データを生成するために変換データを量子化することとを備える、例１Ｂに記載の方法。

【0253】

[0213] 例３Ｂ．第１の残差修正関数は、Ｆ１（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）－ｒｅｓＣｒ（ｘ，ｙ）＋Ａ１）／Ｎ１であり、第２の残差修正関数は、Ｆ２（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋ｒｅｓＣｒ（ｘ，ｙ）＋Ａ２）／Ｎ２であり、ここで、ｒｅｓＣｂ（ｘ，ｙ）は、第１のクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）は、第２のクロマ残差データであり、Ａ１およびＡ２は、丸め項であり、１／Ｎ１および１／Ｎ２は、正規化係数である、例１Ｂ～２Ｂのいずれかに記載の方法。

【0254】

[0214] 例４Ｂ．第１の残差修正関数は、Ｆ１（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋ｒｅｓＣｒ（ｘ，ｙ）＋Ａ１）／Ｎ１であり、第２の残差修正関数は、Ｆ２（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）－ｒｅｓＣｒ（ｘ，ｙ）＋Ａ２）／Ｎ２であり、ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、第１のクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）は、第２のクロマ残差データであり、Ａ１およびＡ２は、丸め項であり、１／Ｎ１および１／Ｎ２は、正規化係数である、例１Ｂ～２Ｂのいずれかに記載の方法。

【0255】

[0215] 例５Ｂ．第１の残差修正関数は、Ｆ１（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋Ａ１０）／Ｎ１０－（ｒｅｓＣｒ（ｘ，ｙ）＋ Ａ１１）／Ｎ１１であり、第２の残差修正関数は、Ｆ２（ｘ，ｙ）＝（ｒｅｓＣｂ（ｘ，ｙ）＋Ａ２０）／Ｎ２０＋（ｒｅｓＣｒ（ｘ，ｙ）＋Ａ２１）／Ｎ２１であり、ここで、ｒｅｓＣｂ（ｘ，ｙ）’は、第１のクロマ残差データであり、ｒｅｓＣｒ（ｘ，ｙ）は、第２のクロマ残差データであり、Ａ１０、Ａ１１、Ａ２０、およびＡ２１は、丸め項であり、１／Ｎ１０、１／Ｎ１１、１／Ｎ２０、および１／Ｎ２１は、正規化係数である、例１Ｂ～２Ｂのいずれかに記載の方法。

【0256】

[0216] 例６Ｂ．本方法は、第１のクロマ残差データにクロマ残差スケーリング（ＣＲＳ）を適用することと、第２のクロマ残差データにＣＲＳを適用することとをさらに備え、第１の残差修正関数を適用することは、第１のクロマ残差データにＣＲＳを適用した後で第１のクロマ残差データに第１の残差修正関数を適用することを備え、第２の残差修正関数を適用することは、第２のクロマ残差データにＣＲＳを適用した後で第２のクロマ残差データに第２の残差修正関数を適用することを備える、例１Ｂ～５Ｂのいずれかに記載の方法。

【0257】

[0217] 例７Ｂ．第１の残差修正関数を適用することは、第１のクロマ残差データを量子化する前に第１のクロマ残差データに順変換プロセスを適用することを備え、第２の残差修正関数を適用することは、第２のクロマ残差データを量子化する前に第２のクロマ残差データに順変換プロセスを適用することを備える、例１Ｂ～６Ｂのいずれかに記載の方法。

【0258】

[0218] 例８Ｂ．ｒｅｓＣｒ（ｘ，ｙ）またはｒｅｓＣｂ（ｘ，ｙ）は、ｒｅｓＹ（ｘ，ｙ）’と置換され、ここで、ｒｅｓＹ（ｘ，ｙ）’は、ルーマ残差データである、例３Ｂ～５Ｂのいずれかに記載の方法。

【0259】

[0219] 例９Ｂ．ビデオデータの符号化表現を含むビットストリーム中で、第１の残差修正関数を適用すべきか第２の残差修正関数を適用すべきかを示すフラグをシグナリングすることをさらに備える、例１Ｂ～８Ｂのいずれかに記載の方法。

【0260】

[0220] 例１０Ｂ．フラグは、第１のクロマ成分のためのコード化ブロックフラグ（ＣＢＦ）が真であり、第２のクロマ成分のためのＣＢＦが真である場合にシグナリングされる、例９Ｂに記載の方法。

【0261】

[0221] 例１１Ｂ．フラグは、第１のフラグであり、本方法は、ビットストリーム中に、第２のフラグを含めることをさらに備え、第２のフラグは、変換ユニットのためのものであり、第２のフラグは、（ｉ）第１のクロマ残差データと第２のクロマ残差データとの両方がシグナリングされること、および（ｉｉ）第１のクロマ残差データと第２のクロマ残差データとのうちのただ１つがシグナリングされることのうちのどちらを適用するのかを示す、例１０Ｂに記載の方法。

【0262】

[0222] 例１２Ｂ．本方法は、ビットストリーム中に、第１のクロマ残差データと第２のクロマ残差データとのうちのどちらが０に強制されるのかを示す第３のフラグを含めることをさらに備える、例１１Ｂに記載の方法。

【0263】

[0223] 例１３Ｂ．第１の残差修正関数を適用すべきか第２の残差修正関数を適用すべきかを示すフラグは第１のフラグであり、本方法は、ビットストリーム中に、第１のクロマ成分のためのＣＢＦを含めることと、第１のクロマ成分のためのＣＢＦに基づいて、第１のフラグのためのコンテキストを選択することと、選択されたコンテキストを使用して第１のフラグをエントロピー符号化することとをさらに備える、例９Ｂ～１２Ｂのいずれかに記載の方法。

【0264】

[0224] 例１４Ｂ．第１の残差修正関数を適用すべきか第２の残差修正関数を適用すべきかを示すフラグは第１のフラグであり、本方法は、第１のフラグに基づいて、第１のクロマ成分のためのＣＢＦのためのコンテキストを選択することと、選択されたコンテキストを使用して第１のクロマ成分のためのＣＢＦをエントロピー符号化することとをさらに備える、例９Ｂ～１２Ｂのいずれかに記載の方法。

【0265】

[0225] 例１５Ｂ．複数の利用可能な第１の残差修正関数の中から第１の残差修正関数を決定することと、複数の利用可能な第２の残差修正関数の中から第２の残差修正関数を決定することとをさらに備える、例１Ｂ～１４Ｂのいずれかに記載の方法。

【0266】

[0226] 例１６Ｂ．第１のクロマ残差データに第１の残差修正関数を適用した後に、第１のクロマ変換データを生成するために第１のクロマ残差データに変換を適用することと、量子化パラメータと第１の量子化パラメータオフセットとに基づいて第１のクロマ変換データを量子化することとを行うことと、第２のクロマ残差データに第２の残差修正関数を適用した後に、第２のクロマ変換データを生成するために第２のクロマ残差データに変換を適用することと、量子化パラメータと第２の量子化パラメータオフセットとに基づいて第１のクロマ変換データを量子化することとを行うこととをさらに備える、例１Ｂ～１５Ｂのいずれかに記載の方法。

【0267】

[0227] 例１７Ｂ．ビデオデータの符号化表現を備えるビットストリーム中で、第１の量子化パラメータオフセットまたは第２の量子化パラメータオフセットのうちの少なくとも１つをシグナリングすることをさらに備える、例１６Ｂに記載の方法。

【0268】

[0228] 例１８Ｂ．ブロックの１つまたは複数の特性に基づいて、第１の残差修正関数の適用が拒否されるのかどうかを決定することと、ブロックの１つまたは複数の特性に基づいて、第２の残差修正関数の適用が拒否されるのかどうかを決定することとをさらに備える、例１Ｂ～１７Ｂのいずれかに記載の方法。

【0269】

[0229] 例１Ｃ．ビデオデータをコーディングするためのデバイスであって、例１Ａ～１８Ａまたは例１Ｂ～１８Ｂのいずれかに記載の方法を実行するための１つまたは複数の手段を備える、デバイス。

【0270】

[0230] 例２Ｃ．１つまたは複数の手段は、回路中に実装される１つまたは複数のプロセッサを備える、例１Ｃに記載のデバイス。

【0271】

[0231] 例３Ｃ．ビデオデータを記憶するためのメモリをさらに備える、例１Ｃ～２Ｃのいずれかに記載のデバイス。

【0272】

[0232] 例４Ｃ．復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、例１Ｃ～３Ｃのいずれかに記載のデバイス。

【0273】

[0233] 例５Ｃ．デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス（broadcast receiver device）、またはセットトップボックスのうちの１つまたは複数を備える、例１Ｃ～４Ｃのいずれかに記載のデバイス。

【0274】

[0234] 例６Ｃ．デバイスがビデオデコーダを備える、例１Ｃ～５Ｃのいずれかに記載のデバイス。

【0275】

[0235] 例７Ｃ．デバイスがビデオエンコーダを備える、例１Ｃ～６Ｃのいずれかに記載のデバイス。

【0276】

[0236] 例８Ｃ．実行されたとき、例１Ａ～１８Ａまたは例１Ｂ～１８Ｂのいずれかに記載の方法を１つまたは複数のプロセッサに実行させる命令を記憶したコンピュータ可読記憶媒体。

【0277】

[0237] 上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実行され得る。

【0278】

[0238] １つまたは複数の例において、前述の機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

【0279】

[0239] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含むのではなく、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含めるべきである。

【0280】

[0240] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の均等な集積論理回路構成もしくは個別論理回路構成などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

【0281】

[0241] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置に実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明されたが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明されたように、様々なユニットは、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作ハードウェアユニットの集合によって提供され得る。

【0282】

[0242] 様々な例について説明した。これらおよび他の例は添付の特許請求の範囲内に入る。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】