▶ ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッドの特許一覧
特開2024-161497４：４：４色差フォーマットにおけるビデオコーディングの方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161497
(43)【公開日】2024-11-19
(54)【発明の名称】４：４：４色差フォーマットにおけるビデオコーディングの方法及び装置
(51)【国際特許分類】
H04N 19/44 20140101AFI20241112BHJP
H04N 19/70 20140101ALI20241112BHJP
【ＦＩ】
H04N19/44
H04N19/70
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024135648
(22)【出願日】2024-08-15
(62)【分割の表示】P 2024099827の分割
【原出願日】2021-01-05
(31)【優先権主張番号】62/965,859
(32)【優先日】2020-01-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/957,273
(32)【優先日】2020-01-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521024075
【氏名又は名称】ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】シウ，シヤオユー
(72)【発明者】
【氏名】チェン，イー－ウエン
(72)【発明者】
【氏名】マー，ツン－チュアン
(72)【発明者】
【氏名】ジュ，ホーン－ジェン
(72)【発明者】
【氏名】ワーン，シアーンリン
(72)【発明者】
【氏名】ユ，ビーン
(57)【要約】 （修正有）
【課題】適応型色空間変換（ＡＣＴ）の前にクリッピング操作を実行するビデオデータ復号方法及びシステムを提供する。
【解決手段】方法は、ビットストリームから符号化ユニットに対応するビデオデータを受け取るステップと、ビデオデータから、符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、符号化ユニットがＡＣＴを使用して符号化されているとの、第１のシンタックス要素に基づく判定に応じて、符号化ユニットの残差のダイナミックレンジを所定の範囲内に制限するクリッピング操作を実行し、クリッピング操作の後に、符号化ユニットの残差に対して逆ＡＣＴを適用し、逆ＡＣＴを適用した後の残差に基づいて符号化ユニットを再構成するステップと、を備える。
【選択図】図１２
【解決手段】方法は、ビットストリームから符号化ユニットに対応するビデオデータを受け取るステップと、ビデオデータから、符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、符号化ユニットがＡＣＴを使用して符号化されているとの、第１のシンタックス要素に基づく判定に応じて、符号化ユニットの残差のダイナミックレンジを所定の範囲内に制限するクリッピング操作を実行し、クリッピング操作の後に、符号化ユニットの残差に対して逆ＡＣＴを適用し、逆ＡＣＴを適用した後の残差に基づいて符号化ユニットを再構成するステップと、を備える。
【選択図】図１２
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、
ビットストリームから、イントラ予測モード又はインター予測モードによって符号化されている符号化ユニットに対応するビデオデータを受け取るステップと、
前記ビデオデータから、前記符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、
前記ビデオデータを処理して前記符号化ユニットの残差を生成するステップと、
前記符号化ユニットが前記ＡＣＴを使用して符号化されているとの、前記第１のシンタックス要素に基づく判定に応じて、
前記符号化ユニットの前記残差に対してクリッピング操作を実行し、
前記クリッピング操作の後に、前記符号化ユニットの前記残差に対して逆ＡＣＴを適用するステップと
を備える方法。
ビットストリームから、イントラ予測モード又はインター予測モードによって符号化されている符号化ユニットに対応するビデオデータを受け取るステップと、
前記ビデオデータから、前記符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、
前記ビデオデータを処理して前記符号化ユニットの残差を生成するステップと、
前記符号化ユニットが前記ＡＣＴを使用して符号化されているとの、前記第１のシンタックス要素に基づく判定に応じて、
前記符号化ユニットの前記残差に対してクリッピング操作を実行し、
前記クリッピング操作の後に、前記符号化ユニットの前記残差に対して逆ＡＣＴを適用するステップと
を備える方法。
【請求項2】
請求項１に記載の方法であって、前記クリッピング操作が、前記符号化ユニットの前記残差のダイナミックレンジを、前記逆ＡＣＴによる処理のための所定の範囲内に制限する、方法。
【請求項3】
請求項１に記載の方法であって、前記クリッピング操作が、
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
と定義され、Ｍは、前記クリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ＋１～（２Ｂｉｔｄｅｐｔｈ＋１－１）の範囲内における前記クリッピング操作の出力である、方法。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
と定義され、Ｍは、前記クリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ＋１～（２Ｂｉｔｄｅｐｔｈ＋１－１）の範囲内における前記クリッピング操作の出力である、方法。
【請求項4】
請求項１に記載の方法であって、前記クリッピング操作を実行する前に、前記符号化ユニットの前記残差に対して逆変換を適用するステップをさらに備える方法。
【請求項5】
請求項１に記載の方法であって、前記符号化ユニットの前記残差に対して前記逆ＡＣＴを適用した後に、前記符号化ユニットの前記残差に対して第２のクリッピング操作を適用するステップをさらに備える方法。
【請求項6】
請求項１に記載の方法であって、前記クリッピング操作が、前記符号化ユニットの前記残差のダイナミックレンジを、前記逆ＡＣＴによって実装される固定された内部符号化ビット深度の範囲内に調整する、方法。
【請求項7】
請求項６に記載の方法であって、前記固定された内部符号化ビット深度が１５である、方法。
【請求項8】
請求項１に記載の方法であって、前記ビデオデータから第１のシンタックス要素を受け取った後に、前記ビデオデータから第２のシンタックス要素を受け取るステップであって、前記第２のシンタックス要素が前記クリッピング操作で使用される可変の内部符号化ビット深度を示すものである、ステップをさらに備える方法。
【請求項9】
請求項１に記載の方法であって、前記ビデオデータから第１のシンタックス要素を受け取った後に、前記ビデオデータから第２のシンタックス要素を受け取るステップであって、前記第２のシンタックス要素が第１の内部符号化ビット深度を示し、前記クリッピング操作で使用される第２の内部符号化ビット深度が前記第１の内部符号化ビット深度に１を加えたものである、ステップ、をさらに備える方法。
【請求項10】
請求項１に記載の方法であって、前記クリッピング操作が、前記符号化ユニットの前記残差の輝度成分に適用される第１のクリッピング操作と、前記符号化ユニットの前記残差の色差成分に適用される第２のクリッピング操作とをさらに備える、方法。
【請求項11】
請求項１０に記載の方法であって、
前記第１のクリッピング操作が、前記符号化ユニットの前記残差の前記輝度成分のダイナミックレンジを、第１の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２のクリッピング操作が、前記符号化ユニットの前記残差の前記色差成分のダイナミックレンジを、第２の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２の内部符号化ビット深度は前記第１の内部符号化ビット深度に１を加えたものである、方法。
前記第１のクリッピング操作が、前記符号化ユニットの前記残差の前記輝度成分のダイナミックレンジを、第１の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２のクリッピング操作が、前記符号化ユニットの前記残差の前記色差成分のダイナミックレンジを、第２の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２の内部符号化ビット深度は前記第１の内部符号化ビット深度に１を加えたものである、方法。
【請求項12】
１つ以上の処理部と、
前記１つ以上の処理部に接続されたメモリと、
前記メモリに記憶された複数のプログラムとを備え、
前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に、請求項１から１１のいずれか一項に記載の方法を実施させる、電子装置。
前記１つ以上の処理部に接続されたメモリと、
前記メモリに記憶された複数のプログラムとを備え、
前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に、請求項１から１１のいずれか一項に記載の方法を実施させる、電子装置。
【請求項13】
１つ以上の処理部を有する電子装置による実行のための複数のプログラムを記憶している非一時型コンピュータ読み取り可能な記憶媒体であって、前記複数のプログラムが、前記１つ以上の処理部によって実行されたとき、前記電子装置に、請求項１から１１のいずれか一項に記載の方法を実施させる、非一時型コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本出願は、２０２０年１月５日付け出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＮ ４：４：４ ＶＩＤＥＯ ＣＯＤＩＮＧ（４：４：４ビデオコーディングにおける方法及び装置）」という名称の米国仮出願第６２／９５７，２７３号、及び２０２０年１月２５日付け出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＮ ４：４：４ Ｖ
ＩＤＥＯ ＣＯＤＩＮＧ（４：４：４ビデオコーディングにおける方法及び装置）」とい
う名称の米国仮出願第６２／９６５，８５９号の優先権の主張を伴うものであり、どちらも全体が参照によって組み込まれる。
本出願は、２０２０年１月５日付け出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＮ ４：４：４ ＶＩＤＥＯ ＣＯＤＩＮＧ（４：４：４ビデオコーディングにおける方法及び装置）」という名称の米国仮出願第６２／９５７，２７３号、及び２０２０年１月２５日付け出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＮ ４：４：４ Ｖ
ＩＤＥＯ ＣＯＤＩＮＧ（４：４：４ビデオコーディングにおける方法及び装置）」とい
う名称の米国仮出願第６２／９６５，８５９号の優先権の主張を伴うものであり、どちらも全体が参照によって組み込まれる。
【0002】
（技術分野）
本出願は、一般にビデオデータの符号化及び圧縮に関し、詳細には、適応型色空間変換（ＡＣＴ：ａｄａｐｔｉｖｅ ｃｏｌｏｒ－ｓｐａｃｅ ｔｒａｎｓｆｏｒｍ）の前にクリッピング操作を実行する方法及びシステムに関する。
本出願は、一般にビデオデータの符号化及び圧縮に関し、詳細には、適応型色空間変換（ＡＣＴ：ａｄａｐｔｉｖｅ ｃｏｌｏｒ－ｓｐａｃｅ ｔｒａｎｓｆｏｒｍ）の前にクリッピング操作を実行する方法及びシステムに関する。
【背景技術】
【0003】
デジタルビデオは、デジタルテレビジョン、ラップトップ型又はデスクトップ型のコンピュータ、タブレット型コンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどの種々の電子デバイスによってサポートされる。そのような電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉ
ｎｇ）、ＨＥＶＣ（高能率映像符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃ
ｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などで定められたビデオ圧縮伸張規格を実装することにより、デジタルビデオデータの送信、受信、符号化、復号、及び／又は格納を行う。一般にビデオ圧縮は、空間（イントラフレーム）予測及び／又は時間（インターフレーム）予測を実行してビデオデータに固有の冗長を低減するか又は除去することを含む。ブロックベースのビデオコーディングについては、ビデオフレームが１つ以上のスライスへと分割され、各スライスが符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）とも称され得る複数のビデオブロックを有する。各ＣＴＵが１つの符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）を含有し得、又
は所定の最小のＣＵサイズに達するまで、より小さいＣＵへと再帰的に分割され得る。各ＣＵ（リーフＣＵとも命名されている）が１つ以上の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含有しており、１つ以上の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉ
ｏｎ ｕｎｉｔ）も含む。各ＣＵは、イントラモード、インターモード又はイントラブロ
ックコピー（ＩＢＣ）モードのいずれかで符号化され得る。ビデオフレームにおけるイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレームの内部の近隣のブロックにおける参照サンプルに対して空間予測を使用して符号化される。ビデオフレームにおけるインター符号化（Ｐ（順方向予測画像）又はＢ（双方向予測画像））スライス内のビデオブロックは、同じビデオフレーム内の近隣のブロックにおける参照サンプルに対する空間予測を使用したものでよく、或いは以前の他の参照ビデオフレーム及び／又は未来の他の参照ビデオフレームにおける参照サンプルに対する時間予測を使用したものでもよい。
ｎｇ）、ＨＥＶＣ（高能率映像符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃ
ｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などで定められたビデオ圧縮伸張規格を実装することにより、デジタルビデオデータの送信、受信、符号化、復号、及び／又は格納を行う。一般にビデオ圧縮は、空間（イントラフレーム）予測及び／又は時間（インターフレーム）予測を実行してビデオデータに固有の冗長を低減するか又は除去することを含む。ブロックベースのビデオコーディングについては、ビデオフレームが１つ以上のスライスへと分割され、各スライスが符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）とも称され得る複数のビデオブロックを有する。各ＣＴＵが１つの符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）を含有し得、又
は所定の最小のＣＵサイズに達するまで、より小さいＣＵへと再帰的に分割され得る。各ＣＵ（リーフＣＵとも命名されている）が１つ以上の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含有しており、１つ以上の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉ
ｏｎ ｕｎｉｔ）も含む。各ＣＵは、イントラモード、インターモード又はイントラブロ
ックコピー（ＩＢＣ）モードのいずれかで符号化され得る。ビデオフレームにおけるイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレームの内部の近隣のブロックにおける参照サンプルに対して空間予測を使用して符号化される。ビデオフレームにおけるインター符号化（Ｐ（順方向予測画像）又はＢ（双方向予測画像））スライス内のビデオブロックは、同じビデオフレーム内の近隣のブロックにおける参照サンプルに対する空間予測を使用したものでよく、或いは以前の他の参照ビデオフレーム及び／又は未来の他の参照ビデオフレームにおける参照サンプルに対する時間予測を使用したものでもよい。
【0004】
たとえば近隣のブロックといった以前に符号化された参照ブロックに基づく空間予測又は時間予測は、符号化される現在のビデオブロックに関する予測ブロックをもたらす。参照ブロックを見いだすプロセスは、ブロックマッチングアルゴリズムによって達成され得
る。符号化される現在のブロックと予測ブロックとの間の画素差分を表す残差データは、残差ブロック又は予測誤差と称される。インター符号化ブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示す動きベクトル及び残差ブロックに従って符号化される。動きベクトルを決定するプロセスは一般的には動き予測と称される。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から、たとえば周波数領域といった変換領域に変換されて残差変換係数をもたらし、次いで量子化され得る。最初に２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、次いで、さらにいっそうの圧縮を達成するためにビデオビットストリームへとエントロピー符号化される。
る。符号化される現在のブロックと予測ブロックとの間の画素差分を表す残差データは、残差ブロック又は予測誤差と称される。インター符号化ブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示す動きベクトル及び残差ブロックに従って符号化される。動きベクトルを決定するプロセスは一般的には動き予測と称される。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から、たとえば周波数領域といった変換領域に変換されて残差変換係数をもたらし、次いで量子化され得る。最初に２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、次いで、さらにいっそうの圧縮を達成するためにビデオビットストリームへとエントロピー符号化される。
【0005】
次いで、符号化ビデオビットストリームは、デジタルビデオ機能を伴う別の電子デバイスによってアクセスされるコンピュータ読み取り可能な記録媒体（たとえばフラッシュメモリ）に保存されるか、又は有線もしくは無線で電子デバイスに直接伝送される。次いで、電子デバイスは、たとえば符号化ビデオビットストリームを解析してビットストリームからシンタックス要素を取得し、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、符号化ビデオビットストリームからのデジタルビデオデータを元のフォーマットに再構成することによってビデオ伸張（前述のビデオ圧縮とは逆の処理）を実行し、再構成されたデジタルビデオデータを電子デバイスのディスプレイに描画する。
【0006】
デジタルビデオの品質がハイビジョン（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）から４Ｋ×
２Ｋ又は８Ｋ×４Ｋに移行するにつれて、符号化／復号対象のビデオデータ量が指数関数的に増大する。これは、復号されるビデオデータの画質を維持しながらビデオデータをいかにより効率的に符号化／復号できるかという点での絶え間ない努力がある。
２Ｋ又は８Ｋ×４Ｋに移行するにつれて、符号化／復号対象のビデオデータ量が指数関数的に増大する。これは、復号されるビデオデータの画質を維持しながらビデオデータをいかにより効率的に符号化／復号できるかという点での絶え間ない努力がある。
【0007】
たとえばスクリーンコンテンツビデオといった、ある特定のビデオコンテンツは、すべての３つの成分（輝度成分と２つの色差成分）が同一の解像度を有する４：４：４色差フォーマットで符号化される。４：４：４色差フォーマットは、（優れた圧縮効率の実現にとって不利な）４：２：０色差フォーマットや４：２：２色差フォーマットと比較して、より多くの冗長性を含んでいるが、４：４：４色差フォーマットは、なお、復号ビデオにおける鮮明なエッジなどの色情報を維持するために高い忠実度が必要とされる多くの用途にとって好ましい符号化フォーマットである。４：４：４色差ビデオフォーマットに存在する冗長性を所与として、４：４：４ビデオの３つの色成分（たとえばＹＣｂＣｒ領域におけるＹ、Ｃｂ及びＣｒ、又はＲＧＢ領域におけるＧ、Ｂ及びＲ）の間の相関を利用することにより、大幅な符号化改善が実現され得ることの証拠がある。これらの相関のために、ＨＥＶＣスクリーンコンテンツ符号化（ＳＣＣ：ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）拡張版の開発中に、３つの色成分の間の相関を活用するために適応型色空間変換（ＡＣＴ）ツールが採用される。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本出願は、ビデオデータの符号化及び復号に関する実装形態を記述し、より詳細には、適応型色空間変換（ＡＣＴ）の前にクリッピング操作を実行する方法及びシステムを記述する。
【課題を解決するための手段】
【0009】
元は４：４：４色フォーマットで取り込まれたビデオ信号について、復号ビデオ信号に対して高い忠実度が望まれる場合には元の空間においてビデオを符号化するのが好ましく、たとえばＲＧＢビデオといった元の色空間では情報の冗長性が豊富である。たとえばク
ロス成分の線形モデル予測（ＣＣＬＭ：ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ ｐｒｅｄｉｃｔｉｏｎ）といった現行のＶＶＣ規格におけるいくつかのイン
ター成分符号化ツールは、４：４：４ビデオ符号化の効率を改善することはできても、３つの成分間の冗長性が十分に解消されない。これは、Ｃｂ／Ｂ成分及びＣｒ／Ｒ成分を予測するのに、Ｙ／Ｇ成分のみが利用され、Ｃｂ／Ｂ成分とＣｒ／Ｒ成分との間の相関は考慮に入れられないためである。これに対して、３つの色成分のさらなる相関の除去は、４：４：４ビデオ符号化の符号化性能を改善し得る。
ロス成分の線形モデル予測（ＣＣＬＭ：ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ ｐｒｅｄｉｃｔｉｏｎ）といった現行のＶＶＣ規格におけるいくつかのイン
ター成分符号化ツールは、４：４：４ビデオ符号化の効率を改善することはできても、３つの成分間の冗長性が十分に解消されない。これは、Ｃｂ／Ｂ成分及びＣｒ／Ｒ成分を予測するのに、Ｙ／Ｇ成分のみが利用され、Ｃｂ／Ｂ成分とＣｒ／Ｒ成分との間の相関は考慮に入れられないためである。これに対して、３つの色成分のさらなる相関の除去は、４：４：４ビデオ符号化の符号化性能を改善し得る。
【0010】
現行のＶＶＣ規格では、既存のインターツール及びイントラツールの設計は、主に４：２：０色差フォーマットで取り込まれたビデオに的を絞っている。したがって、より優れた複雑さ／性能のトレードオフを実現するためには、それらの符号化ツール（たとえば、位置依存型イントラ予測組合せ（ＰＤＰＣ：ｐｏｓｉｔｉｏｎ－ｄｅｐｅｎｄｅｎｔ ｉ
ｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ）、マルチ参照ライン（ＭＲＬ：ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）、及びサブ分割予測（ＩＳＰ））の多く
は輝度成分にのみ適用可能であって色差成分には無効であり、或いは輝度成分及び色差成分には別の操作（たとえば動き補償予測に適用される補間フィルタ）を使用する。しかしながら、４：４：４色差フォーマットのビデオ信号は、４：２：０ビデオと比較して大変異なる特性を表す。たとえば、４：４：４のＹＣｂＣｒビデオ及びＲＧＢビデオのＣｂ／Ｂ成分及びＣｒ／Ｒ成分は、４：２：０ビデオの色差成分よりも、より豊富な色情報を表し、より高い周波数の情報（たとえばエッジ及びテクスチャ）を有する。そのような考察により、ＶＶＣでは、４：２：０ビデオと４：４：４ビデオとの両方に対して、いくつかの既存の符号化ツールの同じ設計を使用するのが常に最適であり得る。
ｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ）、マルチ参照ライン（ＭＲＬ：ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）、及びサブ分割予測（ＩＳＰ））の多く
は輝度成分にのみ適用可能であって色差成分には無効であり、或いは輝度成分及び色差成分には別の操作（たとえば動き補償予測に適用される補間フィルタ）を使用する。しかしながら、４：４：４色差フォーマットのビデオ信号は、４：２：０ビデオと比較して大変異なる特性を表す。たとえば、４：４：４のＹＣｂＣｒビデオ及びＲＧＢビデオのＣｂ／Ｂ成分及びＣｒ／Ｒ成分は、４：２：０ビデオの色差成分よりも、より豊富な色情報を表し、より高い周波数の情報（たとえばエッジ及びテクスチャ）を有する。そのような考察により、ＶＶＣでは、４：２：０ビデオと４：４：４ビデオとの両方に対して、いくつかの既存の符号化ツールの同じ設計を使用するのが常に最適であり得る。
【0011】
本出願の第１の態様によれば、ビデオデータを復号する方法は、ビットストリームから、イントラ予測モード又はインター予測モードによって符号化されている符号化ユニットに対応するビデオデータを受け取るステップと、ビデオデータから、第１の符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、ビデオデータを処理して符号化ユニットの残差を生成するステップと、符号化ユニットがＡＣＴを使用して符号化されているとの、第１のシンタックス要素に基づく判定に応じて、符号化ユニットの残差に対してクリッピング操作を実行するステップと、クリッピング操作の後に、符号化ユニットの残差に対して逆ＡＣＴを適用するステップとを含む。
【0012】
いくつかの実施形態において、クリッピング操作は、符号化ユニットの残差のダイナミックレンジを、逆ＡＣＴによる処理のための所定の範囲内に制限する。
【0013】
本出願の第２の態様によれば、電子装置は、１つ以上の処理部、メモリ、及びメモリに記憶された複数のプログラムを含む。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記で記述されたようにビデオデータを復号する方法を実施させる。
【0014】
本出願の第３の態様によれば、非一時型コンピュータ読み取り可能な記録媒体は、１つ以上の処理部を有する電子装置によって実行される複数のプログラムを記憶している。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記で記述されたようにビデオデータを復号する方法を実施させる。
【0015】
実施形態のさらなる理解を提供するために含まれる添付図面は、本明細書に組み込まれて本明細書の一部を構成し、記述された実施形態を図示して、記述とともに基本原理を説明するのに役立つものである。類似の参照数字は相当する部分を指す。
【図面の簡単な説明】
【0016】
【図1】本開示のいくつかの実施形態による例示的ビデオ符号化及び復号システムを示すブロック図である。
【図2】本開示のいくつかの実施形態による例示的なビデオ符号化器を示すブロック図である。
【図3】本開示のいくつかの実施形態による例示的ビデオ復号器を示すブロック図である。
【図4A】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。
【図4B】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。
【図4C】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。
【図4D】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。
【図4E】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。
【図5A】本開示のいくつかの実装形態に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の残差を変換するための適応型色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。
【図5B】本開示のいくつかの実装形態に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の残差を変換するための適応型色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。
【図6】本開示のいくつかの実装形態に従って、例示的なビデオデータ復号プロセスにおいて色差スケーリング付き輝度マッピング（ＬＭＣＳ：ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）の技術を適用するブロック図である。
【図7】本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）の技術を実施する例示的なビデオ復号プロセスを示すブロック図である。
【図8A】本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）及び色差スケーリング付き輝度マッピング（ＬＭＣＳ）の技術を実施する例示的なビデオ復号プロセスを示すブロック図である。
【図8B】本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）及び色差スケーリング付き輝度マッピング（ＬＭＣＳ）の技術を実施する例示的なビデオ復号プロセスを示すブロック図である。
【図9】本開示のいくつかの実装形態に従って、適応型色空間変換（ＡＣＴ）の実行とブロック差分パルス符号化変調（ＢＤＰＣＭ：ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ ｃｏｄｅｄ ｍｏｄｕｌａｔｉｏｎ）の実行との間の例示的な復号ロジックを示すブロック図である。
【図10】本開示のいくつかの実装形態に従って、輝度の内部ビット深度と色差の内部ビット深度とが異なるとき、別々の成分に対して別々の量子化パラメータ（ＱＰ）のオフセットを適用する復号の流れ図である。
【図11A】本開示のいくつかの実装形態に従って、ビデオ復号器が、符号化ユニットの残差のダイナミックレンジを逆ＡＣＴによって処理するための所定の範囲内に制限するためにクリッピングの技術を実施する、例示的なビデオ復号プロセスを示すブロック図である。
【図11B】本開示のいくつかの実装形態に従って、ビデオ復号器が、符号化ユニットの残差のダイナミックレンジを逆ＡＣＴによって処理するための所定の範囲内に制限するためにクリッピングの技術を実施する、例示的なビデオ復号プロセスを示すブロック図である。
【図12】本開示のいくつかの実装形態に従って、ビデオ復号器が、符号化ユニットの残差のダイナミックレンジを逆ＡＣＴによって処理するための所定の範囲内に制限するためにクリッピング操作を実行することによってビデオデータを復号する、例示的なプロセスを示す流れ図である。
【発明を実施するための形態】
【0017】
次に具体的な実施形態が詳細に参照され、それらの実施例が添付図面に示されている。以下の詳細な説明では、本明細書で提示される主題の理解を支援するために多くの非限定的かつ具体的な詳細が明らかにされる。しかし、特許請求の範囲から逸脱することなく様々な代替形態が使用され得、これらの具体的な詳細なしで主題が実施され得ることが、当業者には明らかであろう。たとえば、本明細書で提示された主題が、デジタルビデオ機能を伴う多くのタイプの電子デバイスにおいて実施され得ることは、当業者には明らかであろう。
【0018】
いくつかの実施形態では、４：４：４ビデオに関するＶＶＣ規格の符号化効率を改善するための方法が提供される。一般に、本開示における技術の主な特徴が以下に要約される。
【0019】
いくつかの実施形態では、これらの方法は、残差領域における適応型色空間変換を有効にする既存のＡＣＴ設計を改善するために実施される。特に、ＡＣＴと、ＶＶＣにおけるいくつかの既存の符号化ツールとの相互作用を扱うために特別な配慮がなされる。
【0020】
いくつかの実施形態では、これらの方法は、４：４：４ビデオに関するＶＶＣ規格におけるいくつかの既存のインター符号化ツール及びイントラ符号化ツールの効率を改善するために実施されるものであり、１）色差成分用の８タップ補間フィルタを有効にするステップと、２）色差成分のイントラ予測用のＰＤＰＣを有効にするステップと、３）色差成分のイントラ予測用のＭＲＬを有効にするステップと、４）色差成分用のＩＳＰ分割を有効にするステップとを含む。
【0021】
図１は、本開示のいくつかの実施形態に従って、ビデオブロックの符号化と復号を並行して行うための例示的システム１０を示すブロック図である。図１に示されるように、システム１０は、後に送信先（デスティネーション）装置１４によって復号されるビデオデータを生成して符号化する情報源（ソース）装置１２を含む。情報源装置１２及び送信先装置１４は、デスクトップコンピュータ又はラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、セットトップボックス、デジタルテレビジョン、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス等を含む種々の電子デバイスのうち任意のものを備え得る。いくつかの実施形態では、情報源装置１２及び送信先装置１４は無線通信機能を装備している。
【0022】
いくつかの実施形態では、送信先装置１４は、リンク１６を通じて、復号される符号化ビデオデータを受け取ってよい。リンク１６は、情報源装置１２から送信先装置１４に、符号化ビデオデータを転送することができる任意のタイプの通信媒体又は通信デバイスを備え得る。一例では、リンク１６は、情報源装置１２が送信先装置１４に、符号化ビデオデータをリアルタイムで直接伝送することを可能にするための通信媒体を備え得る。符号化ビデオデータは、無線通信プロトコルなどの通信規格に従って変調されて送信先装置１４に伝送され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つ以上の物理的伝送路などの任意の無線又は有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又は情報源装置１２から送信先装置１４への通信を容易にするのに役立つその他
の機器を含み得る。
の機器を含み得る。
【0023】
いくつかの他の実施形態では、符号化ビデオデータは、出力インタフェース２２から記録装置３２に伝送され得る。続いて、記録装置３２における符号化ビデオデータは、送信先装置１４によって入力インタフェース２８を介してアクセスされ得る。記録装置３２は、ハードディスク（ｈａｒｄ ｄｒｉｖｅ）、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯ
Ｍ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するのに適する他のデジタル記録媒体など、種々の、分散された又は局所的にアクセスされるデータ記録媒体のうち任意のものを含み得る。さらなる例では、記録装置３２は、情報源装置１２によって生成された、符号化ビデオデータを保持し得る、ファイルサーバ又は別の中間記録装置に相当してよい。送信先装置１４は、記録装置３２からストリーミング又はダウンロードすることによって、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶したり、符号化ビデオデータを送信先装置１４に伝送したりすることができる任意のタイプのコンピュータでよい。例示的ファイルサーバは、（たとえばウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）装置、又はローカルディスクドライブを含む。送信先装置１４は、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適する無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬやケーブルモデムなど）、又は両方の組合せを含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。記録装置３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組合せでよい。
Ｍ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するのに適する他のデジタル記録媒体など、種々の、分散された又は局所的にアクセスされるデータ記録媒体のうち任意のものを含み得る。さらなる例では、記録装置３２は、情報源装置１２によって生成された、符号化ビデオデータを保持し得る、ファイルサーバ又は別の中間記録装置に相当してよい。送信先装置１４は、記録装置３２からストリーミング又はダウンロードすることによって、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶したり、符号化ビデオデータを送信先装置１４に伝送したりすることができる任意のタイプのコンピュータでよい。例示的ファイルサーバは、（たとえばウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）装置、又はローカルディスクドライブを含む。送信先装置１４は、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適する無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬやケーブルモデムなど）、又は両方の組合せを含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。記録装置３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組合せでよい。
【0024】
図１に示されるように、情報源装置１２は、ビデオ源１８、ビデオ符号化器２０及び出力インタフェース２２を含む。ビデオ源１８は、たとえばビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受け取るためのビデオ供給インタフェース、及び／又はソースビデオとしてのコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、あるいはそのようなソースの組合せといった、ビデオキャプチャーデバイスなどのソースを含み得る。一例として、ビデオ源１８がセキュリティ監視システムのビデオカメラである場合には、情報源装置１２及び送信先装置１４がカメラフォン又はビデオフォンを形成し得る。しかしながら、本出願に記述された実施形態は、一般にビデオコーディングに適用可能であり得、無線及び／又は有線の用途に適用され得る。
【0025】
取り込まれた、前もって取り込まれた、又はコンピュータで生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化ビデオデータは、情報源装置１２の出力インタフェース２２を通って送信先装置１４に直接伝送され得る。符号化ビデオデータは、復号及び／又は再生のために、送信先装置１４又は他のデバイスによる後のアクセス用に、記録装置３２にも（又は代わりに）記憶されてよい。出力インタフェース２２はモデム及び／又は送信器をさらに含み得る。
【0026】
送信先装置１４は、入力インタフェース２８、ビデオ復号器３０、及び表示装置３４を含む。入力インタフェース２８は受信器及び／又はモデムを含み得、リンク１６を通じて、符号化ビデオデータを受け取る。リンク１６を通じて通信されるか又は記録装置３２で供給される符号化ビデオデータは、ビデオ復号器３０によってビデオデータを復号する際に使用される、ビデオ符号化器２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素が含まれ得る符号化ビデオデータは、通信媒体で伝送され、記録媒体又はファイルサーバに記憶される。
【0027】
いくつかの実施形態では、送信先装置１４が含み得る表示装置３４は、統合表示装置と
、送信先装置１４と通信するように構成された外部表示装置とであり得る。表示装置３４は、復号ビデオデータをユーザーに表示し、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ
ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機発光ダイオード（ＯＬ
ＥＤ）ディスプレイ、又は別タイプの表示装置などの種々の表示装置のうち任意のものを備え得る。
、送信先装置１４と通信するように構成された外部表示装置とであり得る。表示装置３４は、復号ビデオデータをユーザーに表示し、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ
ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機発光ダイオード（ＯＬ
ＥＤ）ディスプレイ、又は別タイプの表示装置などの種々の表示装置のうち任意のものを備え得る。
【0028】
ビデオ符号化器２０及びビデオ復号器３０は、ＶＶＣ，ＨＥＶＣ，ＭＰＥＧ－４ Ｐａ
ｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ），又はこれらの規格の拡張版などの、知的所有物又は業界規格に基づいて動作し得る。本出願は特定のビデオ符号化／復号の規格に限定されず、他のビデオ符号化／復号の規格に適用可能であり得ることを理解されたい。一般に、情報源装置１２のビデオ符号化器２０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図されている。同様に、送信先装置１４のビデオ復号器３０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。
ｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ），又はこれらの規格の拡張版などの、知的所有物又は業界規格に基づいて動作し得る。本出願は特定のビデオ符号化／復号の規格に限定されず、他のビデオ符号化／復号の規格に適用可能であり得ることを理解されたい。一般に、情報源装置１２のビデオ符号化器２０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図されている。同様に、送信先装置１４のビデオ復号器３０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。
【0029】
ビデオ符号化器２０及びビデオ復号器３０は、それぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰ
ＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリート
ロジック（個別論理回路：ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ）、ソフトウェア、ハードウェ
ア、ファームウェア又はこれらの任意の組合せなどの種々の適切な符号化回路構成のうち任意のものとして実施され得る。電子デバイスは、部分的にソフトウェアで実施されるときには、ソフトウェアに関する命令を適切な非一時型コンピュータ読み取り可能な媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示で開示されたビデオ符号化／復号の処理を実行し得る。ビデオ符号化器２０及びビデオ復号器３０の各々が１つ以上の符号化器又は復号器に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。
ＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリート
ロジック（個別論理回路：ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ）、ソフトウェア、ハードウェ
ア、ファームウェア又はこれらの任意の組合せなどの種々の適切な符号化回路構成のうち任意のものとして実施され得る。電子デバイスは、部分的にソフトウェアで実施されるときには、ソフトウェアに関する命令を適切な非一時型コンピュータ読み取り可能な媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示で開示されたビデオ符号化／復号の処理を実行し得る。ビデオ符号化器２０及びビデオ復号器３０の各々が１つ以上の符号化器又は復号器に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。
【0030】
図２は、本出願に記述されたいくつかの実施形態による例示的ビデオ符号化器２０を示すブロック図である。ビデオ符号化器２０は、ビデオフレームの内部のビデオブロックのイントラ予測符号化及びインター予測符号化を実行し得る。イントラ予測符号化は、所与のビデオフレーム又はピクチャの内部のビデオデータにおける空間冗長性を低減するか又は除去するために空間予測に頼る。インター予測符号化は、ビデオシーケンスの隣接したビデオフレーム又はピクチャの内部のビデオデータにおける時間冗長性を低減するか又は除去するために時間予測に頼る。
【0031】
図２に示されるように、ビデオ符号化器２０は、ビデオデータメモリ４０、予測処理部４１、復号ピクチャバッファ（ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）６４、加算器５０、変換処理部５２、量子化部５４、及びエントロピー符号化部５６を含む。予測処理部４１は、動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６、及びイントラブロックコピー（ＢＣ）部４８をさらに含む。いくつかの実施形態では、ビデオ符号化器２０は、ビデオブロックを再構成するための逆量子化部５８、逆変換処理部６０、及び加算器６２も含む。再構成されたビデオから、ブロック境界をフィルタリングしてブロック歪を除去するために、加算器６２とＤＰＢ６４との間にデブロッキングフィルタ（図示せず）が配置されてよい。デブロッキングフィルタに加えて、加算器６２の出力をフィルタリングするためにループ内フィルタ（図示せず）も使用され得る。ビデオ符号化器２０は、変更不能な又はプログラマブルなハードウェアユニットという
形態を取ってよく、あるいは、１つ以上の変更不能な又はプログラマブルなハードウェアユニットのうちに分割されてもよい。
形態を取ってよく、あるいは、１つ以上の変更不能な又はプログラマブルなハードウェアユニットのうちに分割されてもよい。
【0032】
ビデオデータメモリ４０は、ビデオ符号化器２０の構成要素によって符号化されるビデオデータを記憶し得る。ビデオデータメモリ４０のビデオデータは、たとえばビデオ源１８から取得され得る。ＤＰＢ６４は、ビデオ符号化器２０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記録するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は、様々な記録装置のうち任意のものによっても形成され得る。様々な例において、ビデオデータメモリ４０は、ビデオ符号化器２０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。
【0033】
図２に示されるように、予測処理部４１の内部の分割部４５は、受け取ったビデオデータをビデオブロックへと分割する。この分割は、ビデオデータに関連づけられた四分木構造などの所定の分割構造に従って、ビデオフレームを、スライス、タイル、又は他のより大きい符号化ユニット（ＣＵ）へと分割することを含み得る。ビデオフレームは複数のビデオブロック（又は、タイルと称されるビデオブロックのセット）に分割され得る。予測処理部４１は、誤り結果（たとえば符号化レートや歪みのレベル）に基づいて現在のビデオブロック用に、複数のイントラ予測符号化モードのうちの１つ、又は複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理部４１は、結果として生じるイントラ予測符号化ブロック又はインター予測符号化ブロックを、加算器５０に供給して残差ブロックを生成してよく、また、この符号化ブロックを加算器６２に供給して、後に参照フレームの一部として使用するために再構成してよい。予測処理部４１は、また、エントロピー符号化部５６に、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素を供給する。
【0034】
現在のビデオブロック用に適切なイントラ予測符号化モードを選択するために、予測処理部４１の内部のイントラ予測処理部４６は、符号化される現在のブロックと同じフレームにおける１つ以上の近隣のブロックに関する現在のビデオブロックのイントラ予測符号化を実行して、空間予測をもたらし得る。予測処理部４１の内部の動き推定部４２及び動き補償部４４は、１つ以上の参照フレームにおける１つ以上の予測ブロックに関連して現在のビデオブロックのインター予測符号化を実行して時間予測をもたらす。ビデオ符号化器２０は、たとえばビデオデータの各ブロック用に適切な符号化モードを選択するために、複数の符号化パスを実行してよい。
【0035】
いくつかの実施形態では、動き推定部４２は、一連のビデオフレームの内部の所定のパターンに従って、参照ビデオフレームの内部の予測ブロックに対する現在のビデオフレームの内部のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することにより、現在のビデオフレームに関するインター予測モードを決定する。動き推定部４２によって実行される動き予測は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム内（又は他の符号化ユニット内）の符号化される現在のブロックに関連して、参照フレーム内（又は他の符号化ユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャの内部のビデオブロックのＰＵの変位を示し得る。所定のパターンは、ビデオフレームを、シーケンスにおけるＰフレーム又はＢフレームとして指定し得る。イントラＢＣ部４８は、インター予測用の動き推定部４２による動きベクトルの決定と同様のやり方で、イントラＢＣ符号化用の、たとえばブロックベクトルといったベクトルを決定してよく、又は動き推定部４２を利用してブロックベクトルを決定してもよい。
【0036】
予測ブロックは、画素差分の観点から、符号化対象となるビデオブロックのＰＵと密接に対応するものとみなされる参照フレームのブロックであり、差分絶対値和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ）、又は他の差分基準量によって決定され得る。いくつかの実施形態では、ビデオ符号化器２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数型画素位置の値を計算してよい。たとえば、ビデオ符号化器２０は、参照フレームの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間してよい。したがって、動き推定部４２は、全体の画素位置及び分数画素位置に関する動き探索を実行して、分数画素精度を有する動きベクトルを出力し得る。
【0037】
動き推定部４２は、インター予測符号化フレームのビデオブロックのＰＵに関して、第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と当該ＰＵの位置とを比較することにより動きベクトルを計算する。ここで、第１の参照フレームリスト又は第２の参照フレームリストはそれぞれＤＰＢ６４に格納されている１つ以上の参照フレームを特定するものである。動き推定部４２は、計算された動きベクトルを動き補償部４４に送り、次いでエントロピー符号化部５６に送る。
【0038】
動き補償部４４によって実行される動き補償は、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取り込むこと又は生成することを包含し得る。動き補償部４４は、現在のビデオブロックのＰＵに関する動きベクトルを受け取ると、動きベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックを捜し出し、ＤＰＢ６４から予測ブロックを取り出して、予測ブロックを加算器５０に転送する。次いで、加算器５０は、符号化される現在のビデオブロックの画素値から動き補償部４４によってもたらされた予測ブロックの画素値を差し引くことにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度（ｌｕｍａ）差分成分もしくは色差（ｃｈｒｏｍａ）差分成分、又はこれらの両方を含み得る。動き補償部４４は、ビデオ復号器３０によって、ビデオフレームのビデオブロックを復号する際に使用されるビデオフレームのビデオブロックに関連したシンタックス要素も生成し得る。シンタックス要素は、たとえば、予測ブロックを記述するために使用される動きベクトルを定義するシンタックス要素、予測モードを示す任意のフラグ、又は本明細書に記述されたその他のシンタックス情報を含み得る。なお、動き推定部４２と動き補償部４４はほとんど一体化され得るが、概念的な目的のために個別に示されている。
【0039】
いくつかの実施形態では、イントラＢＣ部４８は、動き推定部４２及び動き補償部４４に関して上記に記述されたのと同様のやり方でベクトルを生成して予測ブロックを取り込み得るが、予測ブロックは符号化される現在のブロックと同じフレームにあり、ベクトルは動きベクトルと対照的にブロックベクトルと称される。詳細には、イントラＢＣ部４８は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。いくつかの例において、イントラＢＣ部４８は、たとえば個別の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し、レート－歪み解析によってそれらイントラ予測モードの性能を分析してよい。次に、イントラＢＣ部４８は、試験された様々なイントラ予測モードの中で、イントラモードインジケータを生成するのに使用する適切なイントラ予測モードを選択してよい。たとえば、イントラＢＣ部４８は、レート－歪み解析を使用して、試験された様々なイントラ予測モードに関するレート－歪み値を計算し、試験されたモードの中で最善のレート－歪み特性を有するイントラ予測モードを、使用するのに適切なイントラ予測モードとして選択してよい。レート－歪み解析は、一般に、符号化ブロックと、当該符号化ブロックを生成するために符号化される符号化前の元のブロックとの間の歪み（又は誤差）量とともに、これら符号化ブロックを生成するために使用されたビットレート（すなわち、多数のビット）を決定する。イントラＢＣ
部４８は、様々な符号化ブロックについて歪みとレートとの比率を計算して、そのブロックに関する最善のレート－歪み値を示すイントラ予測モードを決定してよい。
部４８は、様々な符号化ブロックについて歪みとレートとの比率を計算して、そのブロックに関する最善のレート－歪み値を示すイントラ予測モードを決定してよい。
【0040】
他の例では、イントラＢＣ部４８は、本明細書に記述された実施形態に従ってイントラＢＣ予測のためのそのような機能を実行するために、動き推定部４２及び動き補償部４４を全体的又は部分的に使用してよい。どちらの場合にも、イントラブロックコピーについては、予測ブロックは、画素差分の観点から、符号化対象となるブロックと密接に対応するものとみなされるブロックでよく、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又は他の差分基準量によって決定され得る。予測ブロックの特定には、サブ整数型画素位置の値の計算が含まれ得る。
【0041】
予測ブロックがイントラ予測による同じフレームからのものであろうとインター予測による異なるフレームからのものであろうと、ビデオ符号化器２０は、符号化される現在のビデオブロックの画素値から予測ブロックの画素値を差し引くことによって残差ビデオブロックを形成してよく、画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度差分成分と色差差分成分の両方を含み得る。
【0042】
イントラ予測処理部４６は、前述のように、動き推定部４２及び動き補償部４４によって実行されるインター予測、又はイントラＢＣ部４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。詳細には、イントラ予測処理部４６は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。そうするために、イントラ予測処理部４６は、たとえば個別の符号化パス中に様々なイントラ予測モードを使用して現在のブロックを符号化してよく、イントラ予測処理部４６（又はいくつかの例ではモード選択部）は、試験されたイントラ予測モードから、使用するべき適切なイントラ予測モードを選択してよい。イントラ予測処理部４６は、そのブロック向けに選択されたイントラ予測モードを表す情報をエントロピー符号化部５６に供給してよい。エントロピー符号化部５６は、ビットストリームにおける選択されたイントラ予測モードを示す情報を符号化してよい。
【0043】
予測処理部４１がインター予測又はイントラ予測のいずれかによって現在のビデオブロック用の予測ブロックを決定した後に、加算器５０が、現在のビデオブロックから予測ブロックを差し引くことによって残差ビデオブロックを生成する。残差ブロックにおける残差ビデオデータは１つ以上の変換ユニット（ＴＵ）に含まれ得、変換処理部５２に供給される。変換処理部５２は、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ
ｔｒａｎｓｆｏｒｍ）又は概念的に同様の変換などの変換を使用して残差ビデオデータを残差変換係数に変換する。
ｔｒａｎｓｆｏｒｍ）又は概念的に同様の変換などの変換を使用して残差ビデオデータを残差変換係数に変換する。
【0044】
変換処理部５２は、結果として生じる変換係数を量子化部５４に送ってよい。量子化部５４は、変換係数を量子化してビットレートをさらに低下させる。量子化プロセスは、係数のうちのいくつか又はすべてに関連したビット深さも縮小し得る。量子化の程度は、量子化パラメータを調節することによって変更され得る。いくつかの例において、量子化部５４は、次いで、量子化変換係数を含むマトリクスの走査を実行し得る。あるいはエントロピー符号化部５６が走査を実行してもよい。
【0045】
量子化に続いて、エントロピー符号化部５６は、たとえば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔ
ｈ ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、シンタックス
ベースコンテキスト適応型２値算術符号化（ＳＢＡＣ：ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏ
ｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、
確率区間区分エントロピー符号化（ＰＩＰＥ：ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａ
ｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、又は別のエントロピー
符号化の技法もしくは技術を使用して、量子化変換係数をビデオビットストリームへとエントロピー符号化する。次いで、符号化ビットストリームは、ビデオ復号器３０に伝送されるか、又は後にビデオ復号器３０へ伝送するため、もしくはビデオ復号器３０によって後に取り戻すために記録装置３２に記録され得る。エントロピー符号化部５６は、符号化される現在のビデオフレームに関する動きベクトル及び他のシンタックス要素もエントロピー符号化してよい。
ｈ ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、シンタックス
ベースコンテキスト適応型２値算術符号化（ＳＢＡＣ：ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏ
ｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、
確率区間区分エントロピー符号化（ＰＩＰＥ：ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａ
ｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、又は別のエントロピー
符号化の技法もしくは技術を使用して、量子化変換係数をビデオビットストリームへとエントロピー符号化する。次いで、符号化ビットストリームは、ビデオ復号器３０に伝送されるか、又は後にビデオ復号器３０へ伝送するため、もしくはビデオ復号器３０によって後に取り戻すために記録装置３２に記録され得る。エントロピー符号化部５６は、符号化される現在のビデオフレームに関する動きベクトル及び他のシンタックス要素もエントロピー符号化してよい。
【0046】
他のビデオブロックを予測するための参照ブロックを生成するために、画素領域における残差ビデオブロックを再構成するのに、逆量子化部５８が逆量子化を適用し、逆変換処理部６０が逆変換を適用する。前述のように、動き補償部４４は、ＤＰＢ６４に記憶されたフレームの１つ以上の参照ブロックから、動き補償予測ブロックを生成し得る。動き補償部４４はまた、予測ブロックに１つ以上の補間フィルタを適用して、動き予測に用いるサブ整数画素値を計算してよい。
【0047】
加算器６２は、再構成された残差ブロックを、動き補償部４４によって生成された動き補償予測ブロックに加えて、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、イントラＢＣ部４８、動き推定部４２及び動き補償部４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして使用され得る。
【0048】
図３は、本出願のいくつかの実施形態による例示的なビデオ復号器３０を示すブロック図である。ビデオ復号器３０は、ビデオデータメモリ７９、エントロピー復号部８０、予測処理部８１、逆量子化部８６、逆変換処理部８８、加算器９０、及びＤＰＢ９２を含む。予測処理部８１は、動き補償部８２、イントラ予測処理部８４、及びイントラＢＣ部８５をさらに含む。ビデオ復号器３０は、図２に関連してビデオ符号化器２０に関して記述された符号化プロセスとは全体的に逆の復号プロセスを実行し得る。たとえば、動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトルに基づいて予測データを生成し得、一方、イントラ予測処理部８４は、エントロピー復号部８０から受け取られたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【0049】
いくつかの例において、ビデオ復号器３０のユニットには、本出願の実施形態を実行するようにタスクが課されることがある。また、いくつかの例では、本開示の実施形態は、ビデオ復号器３０の１つ以上のユニットの間で分割されてもよい。たとえば、イントラＢＣ部８５は、本出願の実施形態を、単独で、又はビデオ復号器３０の動き補償部８２、イントラ予測処理部８４、及びエントロピー復号部８０などの他のユニットと組み合わせて実行し得る。いくつかの例では、ビデオ復号器３０はイントラＢＣ部８５を含まなくてよく、イントラＢＣ部８５の機能性は、動き補償部８２など、予測処理部８１の他の構成要素によって実行され得る。
【0050】
ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素によって復号される符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７９に記憶されたビデオデータは、記録装置３２から、たとえばカメラなどのローカルなビデオ源から、ビデオデータの有線もしくは無線のネットワーク通信によって、又はたとえばフラッシュドライブもしくはハードディスクといった物理的データ記録媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する、符号化ピクチャバッファ（ＣＰＢ：ｃｏｄｅｄ
ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み得る。ビデオ復号器３０の、復号ピクチャバッフ
ァ（ＤＰＢ）９２は、ビデオ復号器３０によって（たとえばイントラ予測符号化モード又
はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ：Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、
抵抗変化型ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスを含む動的ランダムアクセスメモリ（ＤＲＡＭ：Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）などの種々のメモリデバイスの
うち任意のものによって形成され得る。例示のために、ビデオデータメモリ７９及びＤＰＢ９２は、図３におけるビデオ復号器３０の２つの別個の構成要素として表されている。しかし、ビデオデータメモリ７９及びＤＰＢ９２は、同一のメモリデバイス又は個別のメモリデバイスによってもたらされ得ることが当業者には明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。
ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み得る。ビデオ復号器３０の、復号ピクチャバッフ
ァ（ＤＰＢ）９２は、ビデオ復号器３０によって（たとえばイントラ予測符号化モード又
はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ：Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、
抵抗変化型ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスを含む動的ランダムアクセスメモリ（ＤＲＡＭ：Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）などの種々のメモリデバイスの
うち任意のものによって形成され得る。例示のために、ビデオデータメモリ７９及びＤＰＢ９２は、図３におけるビデオ復号器３０の２つの別個の構成要素として表されている。しかし、ビデオデータメモリ７９及びＤＰＢ９２は、同一のメモリデバイス又は個別のメモリデバイスによってもたらされ得ることが当業者には明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。
【0051】
復号プロセス中に、ビデオ復号器３０は、符号化ビデオフレーム及び関連するシンタックス要素のビデオブロックを表す符号化ビデオビットストリームを受け取る。ビデオ復号器３０はビデオフレームレベル及び／又はビデオブロックレベルのシンタックス要素を受け取ってよい。ビデオ復号器３０のエントロピー復号部８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成する。次いで、エントロピー復号部８０は、動きベクトル及び他のシンタックス要素を予測処理部８１に転送する。
【0052】
ビデオフレームが、イントラ予測符号化（Ｉ）フレームとして、又は他のタイプのフレームにおけるイントラ符号化予測ブロック向けに符号化されるとき、予測処理部８１のイントラ予測処理部８４は、信号伝達されたイントラ予測モード及び現在のフレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに関する予測データを生成し得る。
【0053】
ビデオフレームがインター予測符号化（すなわちＢ又はＰ）フレームとして符号化されるとき、予測処理部８１の動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトル及び他のシンタックス要素に基づいて現在のビデオフレームのビデオブロックに関する１つ以上の予測ブロックを生成する。予測ブロックの各々が、参照フレームリストのうちの１つの内部の参照フレームから生成され得る。ビデオ復号器３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成し得る。
【0054】
いくつかの例では、本明細書に記述されたイントラＢＣモードに従ってビデオブロックが符号化されるとき、予測処理部８１のイントラＢＣ部８５は、エントロピー復号部８０から受け取られたブロックベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成する。予測ブロックは、ビデオ符号化器２０によって定義された現在のビデオブロックと同一のピクチャの再構成された領域の内部にあり得る。
【0055】
動き補償部８２及び／又はイントラＢＣ部８５は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオフレームのビデオブロックに関する予測情報を決定し、次いで、予測情報を使用して、復号される現在のビデオブロックに関する予測ブロックを生成する。たとえば、動き補償部８２は、受け取られたシンタックス要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するのに使用される予測モード（たとえばイントラ予測又はインター予測）、インター予測フレームタイプ（たとえばＢ又はＰ）、フレームに関する参照フレームリストのうちの１つ以上の構成情報、フレームにおける各インター予測符号化ビデオブロックの動きベクトル、フレームの各イ
ンター予測符号化ビデオブロックのインター予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。
ンター予測符号化ビデオブロックのインター予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。
【0056】
同様に、イントラＢＣ部８５は、たとえばフラグといった受け取られたシンタックス要素のうちのいくつかを使用して、現在のビデオブロックはイントラＢＣモードを使用して予測されたものであること、再構成された領域の内部にあってＤＰＢ９２に記憶されるべきフレームのビデオブロックの構成情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定し得る。
【0057】
動き補償部８２はまた、ビデオ符号化器２０によってビデオブロックの符号化中に参照ブロックのサブ整数画素の補間値を計算するために使用されたような補間フィルタを使用して、補間を実行し得る。この場合、動き補償部８２は、受け取られたシンタックス要素から、ビデオ符号化器２０によって使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。
【0058】
逆量子化部８６は、ビットストリームの中に与えられてエントロピー復号部８０によってエントロピー復号された量子化変換係数を、ビデオ符号化器２０によってビデオフレームにおける各ビデオブロックについて量子化の程度を決定するために計算されたものと同一の量子化パラメータを使用して逆量子化する。逆変換処理部８８は、画素領域における残差ブロックを再構成するために、変換係数に対して、たとえば逆ＤＣＴ、逆整数変換、又は概念的に類似の逆変換プロセスといった逆変換を適用する。
【0059】
動き補償部８２又はイントラＢＣ部８５がベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成した後に、加算器９０は、逆変換処理部８８からの残差ブロックと、動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを合計することによって、現在のビデオブロックに関する復号ビデオブロックを再構成する。復号ビデオブロックをさらに処理するために、加算器９０とＤＰＢ９２との間にループ内フィルタ（図示せず）が配置されてよい。次いで、所与のフレームにおける復号ビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２又はＤＰＢ９２とは別個のメモリデバイスも、復号されたビデオを、後に図１の表示装置３４などの表示装置に提示するために記憶し得る。
【0060】
一般的なビデオ符号化プロセスでは、ビデオシーケンスは、一般的にはフレーム又はピクチャの順序づけられたセットを含む。各フレームが、ＳＬ、ＳＣｂ、及びＳＣｒと表される３つのサンプル配列を含み得る。ＳＬは、輝度（ｌｕｍａ）サンプルからなる２次元配列である。ＳＣｂは、Ｃｂ色差サンプルからなる２次元配列である。ＳＣｒは、Ｃｒ色差サンプルからなる２次元配列である。他の事例では、フレームは白黒でよく、したがって輝度サンプルの２次元配列を１つだけ含む。
【0061】
図４Ａに示されるように、ビデオ符号化器２０（より具体的には分割部４５）は、最初にフレームを符号化ツリーユニット（ＣＴＵ）の集合に分割することによってフレームの符号化表現を生成する。ビデオフレームは、左から右及び上から下へのラスタスキャン順で連続的に順序づけられた整数個のＣＴＵを含み得る。各ＣＴＥＴは最大の論理符号化ユニットであり、ＣＴＵの幅及び高さは、シーケンスパラメータセットにおいて、ビデオ符号化器２０によって、ビデオシーケンスにおけるすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、及び１６×１６のうちの１つである同一のサイズを有するように信号伝達される。しかし、本出願は必ずしも特定のサイズに制限されるものではないことに
留意されたい。図４Ｂに示されるように、各ＣＴＵは、輝度（ｌｕｍａ）サンプルからなる１つの符号化ツリーブロック（ＣＴＢ）と、対応する２つの色差サンプルからなる符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。シンタックス要素は、画素の符号化ブロックの種々のタイプのユニットの特性と、インター予測又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含め、ビデオ復号器３０にてビデオシーケンスを再構成し得る方法とを記述するものである。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎのブロックでよい。
留意されたい。図４Ｂに示されるように、各ＣＴＵは、輝度（ｌｕｍａ）サンプルからなる１つの符号化ツリーブロック（ＣＴＢ）と、対応する２つの色差サンプルからなる符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。シンタックス要素は、画素の符号化ブロックの種々のタイプのユニットの特性と、インター予測又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含め、ビデオ復号器３０にてビデオシーケンスを再構成し得る方法とを記述するものである。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎのブロックでよい。
【0062】
より優れた性能を達成するために、ビデオ符号化器２０は、ＣＴＵの符号化ツリーブロックに対して、二分木（ｂｉｎａｒｙ－ｔｒｅｅ）分割、三分木（ｔｅｒｎａｒｙ－ｔｒｅｅ）分割、四分木（ｑｕａｄ－ｔｒｅｅ）分割、又はこれらの組合せなどの木分割を再帰的に実行して、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割し得る。図４Ｃに表されるように、６４×６４のＣＴＵ４００が、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０及びＣＵ４２０が、それぞれ１６×１６のブロックサイズで４つのＣＵに分割される。２つの１６×１６のＣＵである４３０及び４４０が、それぞれ８×８のブロックサイズで４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに表されたようなＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を表すものであり、四分木の各リーフノードが３２×３２～８×８の範囲のそれぞれのサイズの１つのＣＵに対応する。各ＣＵは、図４Ｂに表されたＣＴＵに類似して、輝度サンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームの色差サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス構造とを含み得る。図４Ｃ及び図４Ｄに表された四分木分割は単なる説明のためのものであり、１つのＣＴＵが、様々な局所的特性に適合するように、四分木分割／三分木分割／二分木分割に基づいてＣＵに分割され得ることに留意されたい。複合の木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木の葉ＣＵが二分木構造及び三分木構造によってさらに分割され得る。図４Ｅに示されるように、４分割、水平２分割、垂直２分割、水平３分割、垂直３分割といった５つの分割タイプがある。
【0063】
いくつかの実施形態では、ビデオ符号化器２０は、ＣＵの符号化ブロックを１つ以上のＭ×Ｎの予測ブロック（ＰＢ）へとさらに分割し得る。予測ブロックは、同一の（インター又はイントラ）予測が適用されるサンプルの矩形状（正方形又は非正方形）のブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、色差サンプルの２つの対応する予測ブロックと、予測ブロックを予測するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するのに使用されるシンタックス構造とを含み得る。ビデオ符号化器２０は、ＣＵの各ＰＵにおける、予測輝度、輝度に関するＣｂ及びＣｒブロック、並びに、Ｃｂ及びＣｒ予測ブロックを生成し得る。
【0064】
ビデオ符号化器２０は、ＰＵに関する予測ブロックを生成するためにイントラ予測又はインター予測を使用してよい。ビデオ符号化器２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。ビデオ符号化器２０がインター予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレーム以外の１つ以上のフレームの復号サンプルに基づいてＰＵの予測ブロックを生成
し得る。
し得る。
【0065】
ビデオ符号化器２０は、ＣＵにおける１つ以上のＰＵに関する予測輝度ブロック、予測Ｃｂブロック及び予測Ｃｒブロックを生成した後に、ＣＵの輝度残差ブロックにおける各サンプルがＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルとＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵの元の輝度符号化ブロックからＣＵの予測輝度ブロックを差し引くことによって、ＣＵに関する輝度残差ブロックを生成し得る。同様に、ビデオ符号化器２０は、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成してよく、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差分を示し得る。
【0066】
その上、図４Ｃに示されるように、ビデオ符号化器２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ及びＣｒの残差ブロックを、１つ以上の輝度、Ｃｂ及びＣｒの変換ブロックへと分解する。変換ブロックは、同一の変換が適用されるサンプルの矩形（正方形又は非正方形）のブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、色差サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを予測するのに使用されるシンタックス要素とを含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連づけられ得る。いくつかの例では、ＴＵに関連した輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するのに使用されるシンタックス構造とを含み得る。
【0067】
ビデオ符号化器２０は、ＴＵの輝度変換ブロックに１つ以上の変換を適用してＴＵ用の輝度係数ブロックを生成し得る。係数ブロックは変換係数の２次元配列であり得る。変換係数はスカラー量であり得る。ビデオ符号化器２０は、ＴＵのＣｂ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｂ係数ブロックを生成し得る。ビデオ符号化器２０は、ＴＵのＣｒ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｒ係数ブロックを生成し得る。
【0068】
ビデオ符号化器２０は、係数ブロック（たとえば輝度係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後に係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータ量をどうにかして低減するために変換係数が量子化されるプロセスを指すものであり、さらなる圧縮をもたらす。ビデオ符号化器２０は、係数ブロックを量子化した後に、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオ符号化器２０は量子化変換係数を示すシンタックス要素に対してコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）を実行し得る。最終的に、ビデオ符号化器２０は、符号化フレーム及び関連するデータの表現を形成する一連のビットを含むビットストリームを出力し得、これは記録装置３２に保存されるか又は送信先装置１４に伝送される。
【0069】
ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受け取った後に、ビットストリームを解析して、ビットストリームからシンタックス要素を取得し得る。ビデオ復号器３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのフレームを再構成し得る。ビデオデータを再構成するプロセスは、一般にビデオ符号化器２０によって実行された符号化プロセスの逆の
である。たとえば、ビデオ復号器３０は、現在のＣＵのＴＵに関連した係数ブロックに対する逆変換を実行して、現在のＣＵのＴＵに関連した残差ブロックを再構成し得る。ビデオ復号器３０はまた、現在のＣＵのＰＵに関する予測ブロックのサンプルを、対応する現在のＣＵのＴＵの変換ブロックのサンプルに加算することによって現在のＣＵの符号化ブロックを再構成する。ビデオ復号器３０は、フレームの各ＣＵに関する符号化ブロックを再構成した後にフレームを再構成し得る。
である。たとえば、ビデオ復号器３０は、現在のＣＵのＴＵに関連した係数ブロックに対する逆変換を実行して、現在のＣＵのＴＵに関連した残差ブロックを再構成し得る。ビデオ復号器３０はまた、現在のＣＵのＰＵに関する予測ブロックのサンプルを、対応する現在のＣＵのＴＵの変換ブロックのサンプルに加算することによって現在のＣＵの符号化ブロックを再構成する。ビデオ復号器３０は、フレームの各ＣＵに関する符号化ブロックを再構成した後にフレームを再構成し得る。
【0070】
前述のように、ビデオ符号化は、主としてイントラフレーム予測（すなわちイントラ予測）及びインターフレーム予測（すなわちインター予測）の２つのモードを使用してビデオ圧縮を達成するものである。パレットベースの符号化は、多くのビデオコーディング規格によって採用されている別の符号化方式である。パレットベースの符号化は、スクリーンに生成されたコンテンツを符号化するのに特に適し、この方式では、ビデオコーダ（たとえばビデオ符号化器２０又はビデオ復号器３０）が、所与のブロックのビデオデータを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックの中で最も優勢な（たとえば頻繁に使用される）画素値を含む。所与のブロックのビデオデータにおいて頻繁に表現されない画素値は、パレットテーブルに含まれないか、又は回避色としてパレットテーブルに含まれる。
【0071】
パレットテーブルの各エントリは、パレットテーブルの中の対応する画素値に関するインデックスを含む。ブロックの中のサンプルに関するパレットインデックスは、サンプルを予測するか又は再構成するために使用されるパレットテーブルのエントリを示すように符号化され得る。このパレットモードは、ピクチャ、スライス、タイル、又はビデオブロックのそのようなグループ化の最初のブロックに関するパレット予測子を生成するプロセスから始まる。以下で説明されるように、後続のビデオブロックに関するパレット予測子は、一般的には、以前に使用されたパレット予測子を更新することによって生成される。例示のために、パレット予測子はピクチャレベルで定義されると想定されている。言い換えれば、ピクチャは、それぞれが固有のパレットテーブルを有する複数の符号化ブロックを含み得るが、全体のピクチャに関する１つのパレット予測子がある。
【0072】
ビデオビットストリームにおけるパレットエントリの信号伝達に必要なビット数を低減するために、ビデオ復号器は、ビデオブロックを再構成するために使用されるパレットテーブルの新しいパレットエントリを決定するためにパレット予測子を利用し得る。たとえば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、あるいは、つい最近使用されたパレットテーブルのすべてのエントリを含むことにより、つい最近使用されたパレットテーブルを用いて初期化されてもよい。いくつかの実施形態では、パレット予測子は、つい最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次いで、以前に使用された他のパレットテーブルからのいくつかのエントリを組み込んでもよい。パレット予測子のサイズは、異なるブロックを符号化するために使用されるパレットテーブルのサイズと比較して、同一でも、より大きくても、より小さくてもよい。一例では、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。
【0073】
パレット予測子からのビデオデータのブロックに関するパレットテーブルを生成するために、ビデオ復号器は、符号化ビデオビットストリームから、パレット予測子の各入力について１ビットのフラグを受け取り得る。１ビットのフラグは、パレット予測子の関連する入力がパレットテーブルの中に含まれることを示す第１の値（たとえば２進数の１）又はパレット予測子の関連する入力がパレットテーブルの中に含まれないことを示す第２の値（たとえば２進数の０）を有し得る。パレット予測子のサイズがビデオデータのブロック用に使用されるパレットテーブルよりも大きい場合には、ビデオ復号器は、一旦パレットテーブルの最大サイズに達したら、さらにフラグを受け取ることを停止してよい。
【0074】
いくつかの実施形態では、パレットテーブルのいくつかのエントリは、パレット予測子を使用して決定されるのではなく、符号化ビデオビットストリームにおいて直接信号伝達され得る。そのようなエントリについて、ビデオ復号器は、符号化ビデオビットストリームから、エントリに関連した輝度成分及び２つの色差成分に関する画素値を示す３つの個別のｍビットの値を受け取り得、ｍはビデオデータのビット深度を表現する。直接信号伝達されるパレットエントリのために複数のｍビットの値が必要とされるのに対して、パレット予測子から導出されるパレットエントリが必要とするのは１ビットのフラグのみである。したがって、パレット予測子を使用してパレット入力のいくつか又はすべてを信号伝達すれば、新規のパレットテーブルの入力を信号伝達するために必要なビット数をかなり低減することができ、それによって、パレットモード符号化の全体的な符号化効率を改善する。
【0075】
多くの事例において、１つのブロックに関するパレット予測子は、以前に符号化された１つ以上のブロックを符号化するために使用されたパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス又はタイルにおける最初の符号化ツリーユニットを符号化するときには、以前に符号化されたブロックのパレットテーブルを利用できない可能性がある。したがって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成することはできない。そのような場合には、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用された値である、一連のパレット予測子の初期化指定子が、シーケンスパラメータセット（ＳＰＳ）及び／又はピクチャパラメータセット（ＰＰＳ）において信号伝達されてよい。ＳＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって参照されるＰＰＳに見られるシンタックス要素のコンテンツによって決定されたものとして、符号化ビデオシーケンス（ＣＶＳ）と呼ばれる一連の連続した符号化ビデオピクチャに適合するシンタックス要素のシンタックス構造を指す。ＰＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって決定されたものとして、ＣＶＳの内部の１つ以上の個々のピクチャに適合するシンタックス要素のシンタックス構造を指す。したがって、ＳＰＳは、一般にＰＰＳよりも上位のレベルのシンタックス構造とみなされ、ＳＰＳに含まれるシンタックス要素は、一般にそれほど頻繁に変化せず、ＰＰＳに含まれるシンタックス要素と比較して、ビデオデータのより大きい部分に適合することを意味する。
【0076】
【0077】
ＨＥＶＣスクリーンコンテンツ符号化拡張では、残差を１つの色空間（たとえばＲＧＢ）から別の色空間（たとえばＹＣｇＣｏ）へと適応的に変換するために、３つの色成分（たとえばＲ、Ｇ、及びＢ）の間の相関（たとえば冗長性）がＹＣｇＣｏ色空間では大幅に低減されるように、ＡＣＴが適用される。さらに、既存のＡＣＴ設計では、異なる色空間の適合は、各ＴＵにつき１つのフラグｔｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを信号伝達することによって変換ユニット（ＴＵ）レベルで実行される。フラグｔｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であると、現在のＴＵの残差がＹＣｇＣｏ空間において符号化されることを示し、そうでなければ（すなわちフラグが０であれば）、現在のＴＵの残差が元の色空間において（すなわち色空間変換なしで）符号化されることを示す。加えて、現在のＴＵが無損失モードで符号化されるのかそれとも損失モードで符号化されるのかということに依拠して、別々の色空間変換式が適用される。具体的には、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の、損失モード用の順方向及び逆方向の色空間変換式が、図５Ａに定義されている。
【0078】
無損失モード用には、ＲＧＢ－ＹＣｇＣｏ変換（ＹＣｇＣｏ－ＬＳとしても知られている）の可逆バージョンが使用される。ＲＧＢ－ＹＣｇＣｏ変換の可逆バージョンは、図５Ｂ及び関連する記述で表現されたリフティング操作に基づいて実施される。
【0079】
図５Ａに示されるように、損失モードで使用される順方向及び逆方向の色変換マトリクスは正規化されない。したがって、色変換が適用された後のＹＣｇＣｏ信号は元の信号よりも小さい。順方向色変換による大きさの縮小を補償するために、ＹＣｇＣｏ領域における残差に対して、調節された量子化パラメータが適用される。具体的には、色空間変換が適用されるとき、ＹＣｇＣｏ領域の残差を量子化するために使用されるＱＰＹ、ＱＰＣｇ及びＱＰＣｏといったＱＰ値が、それぞれＱＰ－５、ＱＰ－５及びＱＰ－３に設定され、ＱＰは元の色空間で使用された量子化パラメータである。
【0080】
図６は、本開示のいくつかの実装形態に従って、例示的なビデオデータ復号プロセスにおいて色差スケーリング付き輝度マッピング（ＬＭＣＳ）の技術を適用するブロック図である。
【0081】
ＶＶＣでは、ループ内フィルタ（たとえばデブロッキングフィルタ、ＳＡＯ及びＡＬＦ）以前に適用される新規の符号化ツールとしてＬＭＣＳが使用される。一般に、ＬＭＣＳは、１）適応型区分線形モデルに基づく、輝度成分のループ内マッピングと、２）輝度依存の色差残差スケーリングとの、２つの主要なモジュールを有する。図６は、ＬＭＣＳが適用される、変更された復号プロセスを示す。図６において、マッピングされた領域において処理される復号モジュールは、エントロピー復号モジュール、逆量子化モジュール、逆変換モジュール、輝度イントラ予測モジュール、及び輝度サンプル再構成モジュール（すなわち輝度予測サンプルと輝度残差サンプルとの加算）を含む。元の（すなわちマッピングされていない）領域において処理される復号モジュールは、動き補償予測モジュール、色差イントラ予測モジュール、色差サンプル再構成モジュール（すなわち色差予測サンプルと色差残差サンプルとの加算）、並びにデブロッキングモジュール、ＳＡＯモジュール、及びＡＬＦモジュールなどのすべてのループ内フィルタモジュールを含む。ＬＭＣＳによって導入された新規の使用可能なモジュールは、輝度サンプルの順方向マッピングモジュール６１０、輝度サンプルの逆方向マッピングモジュール６２０、及び色差残差スケーリングモジュール６３０を含む。
【0082】
ＬＭＣＳのループ内マッピングは、入力信号のダイナミックレンジを調整して符号化効率を改善することができる。既存のＬＭＣＳ設計における輝度サンプルのループ内マッピングは、１つの順方向マッピング機能ＦｗｄＭａｐと１つの対応する逆方向マッピング機能ＩｎｖＭａｐとの２つのマッピング機能の上に構築される。順方向マッピング機能は、１６の等しいサイズの部分を有する１つの区分線形モデルを使用して、符号化器から復号器まで信号伝達される。逆方向マッピング機能は、順方向マッピング機能から直接導出され得、したがって信号伝達される必要はない。
【0083】
輝度マッピングモデルのパラメータは、スライスレベルにおいて信号伝達される。現在のスライスについて輝度マッピングモデルが信号伝達されるべきかどうかを示すために、存在フラグが最初に信号伝達される。現在のスライスに輝度マッピングモデルが存在する場合には、対応する区分線形モデルパラメータがさらに信号伝達される。加えて、スライスに関するＬＭＣＳを有効／無効にするために、スライスレベルにおいて別のＬＭＣＳ制御フラグが信号伝達される。
【0084】
色差残差スケーリングモジュール６３０は、輝度信号にループ内マッピングが適用されるとき、輝度信号と、その対応する色差信号との間の量子化精度の相互作用を補償するように設計されている。現在のスライスについて色差残差スケーリングが有効か無効かとい
うことも、スライスヘッダにおいて信号伝達される。輝度マッピングが有効であれば、輝度依存の色差残差スケーリングが適用されるか否かを示す追加フラグが信号伝達される。輝度マッピングが使用されないとき、輝度依存の色差残差スケーリングは常に無効にされ、追加フラグは不要である。加えて、色差残差スケーリングは、含有している色差サンプルが４つ以下のＣＵについては常に無効にされる。
うことも、スライスヘッダにおいて信号伝達される。輝度マッピングが有効であれば、輝度依存の色差残差スケーリングが適用されるか否かを示す追加フラグが信号伝達される。輝度マッピングが使用されないとき、輝度依存の色差残差スケーリングは常に無効にされ、追加フラグは不要である。加えて、色差残差スケーリングは、含有している色差サンプルが４つ以下のＣＵについては常に無効にされる。
【0085】
図７は、本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）の技術を実施する例示的なビデオ復号プロセスを示すブロック図である。
【0086】
ＶＶＣにおけるＡＣＴは、ＨＥＶＣ ＳＣＣにおけるＡＣＴ設計と同様に、元の色空間
（たとえばＲＧＢ色空間）からの４：４：４色差フォーマットの１つのＣＵのイントラ／インター予測残差を、ＹＣｇＣｏ色空間に変換する。結果として、３つの色成分の間の冗長性が、より優れた符号化効率に向けて低減され得る。図７は、ＶＶＣ構成に逆ＡＣＴモジュール７１０を追加することによって逆ＡＣＴが適用される様子を示す、復号の流れ図を表すものである。ＡＣＴを有効にして符号化されたＣＵを処理するとき、ＣＵに対して、最初に、エントロピー復号、逆方向量子化、及び逆方向ＤＣＴ／ＤＳＴベースの変換を適用する。その後、図７に表されるように、逆ＡＣＴが呼び出されて、復号残差を、ＹＣｇＣｏ色空間から元の色空間（たとえばＲＧＢやＹＣｂＣｒ）に変換する。加えて、損失モードではＡＣＴは正規化されないので、変換された残差の大きさの変化を補償するために、Ｙ、Ｃｇ及びＣｏ成分に対して（－５、－５、－３）のＱＰ調整が適用される。
（たとえばＲＧＢ色空間）からの４：４：４色差フォーマットの１つのＣＵのイントラ／インター予測残差を、ＹＣｇＣｏ色空間に変換する。結果として、３つの色成分の間の冗長性が、より優れた符号化効率に向けて低減され得る。図７は、ＶＶＣ構成に逆ＡＣＴモジュール７１０を追加することによって逆ＡＣＴが適用される様子を示す、復号の流れ図を表すものである。ＡＣＴを有効にして符号化されたＣＵを処理するとき、ＣＵに対して、最初に、エントロピー復号、逆方向量子化、及び逆方向ＤＣＴ／ＤＳＴベースの変換を適用する。その後、図７に表されるように、逆ＡＣＴが呼び出されて、復号残差を、ＹＣｇＣｏ色空間から元の色空間（たとえばＲＧＢやＹＣｂＣｒ）に変換する。加えて、損失モードではＡＣＴは正規化されないので、変換された残差の大きさの変化を補償するために、Ｙ、Ｃｇ及びＣｏ成分に対して（－５、－５、－３）のＱＰ調整が適用される。
【0087】
いくつかの実施形態では、ＡＣＴ方法は、異なる色空間の間の色変換を行うためにＨＥＶＣの同一のＡＣＴコア変換を再利用する。具体的には、現在のＣＵの符号化における損失の有無に依拠して、色変換の２つの異なるバージョンが適用される。損失がある場合の順方向や逆方向の色変換は、図５Ａに表されるような不可逆ＹＣｇＣｏ変換マトリクスを使用する。無損失の場合には、図５Ｂに示されるように可逆色変換ＹＣｇＣｏ－ＬＳが適用される。その上に、既存のＡＣＴ設計と異なり、ＡＣＴ方式に対して、ＶＶＣ規格における、ＡＣＴ方式の、他の符号化ツールとの相互作用を扱うための以下の変更が導入される。
【0088】
たとえば、ＨＥＶＣにおける１つのＣＵの残差が複数のＴＵへと分割される可能性があるので、色空間変換を適用する必要性の有無を示すために、各ＴＵについて、別個に、ＡＣＴ制御フラグが信号伝達される。しかしながら、図４Ｅに関連して上記で説明されたように、ＶＶＣにおいて、複数の分割タイプの概念を置換するために、２分割構造及び３分割構造をネストされた１つの四分木が適用され、それにより、ＨＥＶＣにおける個別のＣＵ分割、ＰＵ分割及びＴＵ分割を除去する。これは、ほとんどの場合、サポートされる最大の変換サイズがＣＵの１つの成分の幅又は高さよりも小さくなければ、さらなる分割なしの予測及び変換処理のユニットとして１つのＣＵリーフノードも使用されることを意味する。そのような分割構造を基に、ＡＣＴは、ＣＵレベルで適応的に有効／無効にされ得る。具体的には、ＣＵの残差を符号化するために、各ＣＵについて、元の色空間とＹＣｇＣｏ色空間との間を選択するように、１つのフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝達される。このフラグが１であれば、ＣＵの内部のＴＵの残差のすべてがＹＣｇＣｏ色空間において符号化されることを示す。そうでなければ、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、ＣＵのすべての残差が元の色空間において符号化される。
【0089】
いくつかの実施形態では、ＡＣＴを無効にする種々のシナリオがある。ＡＣＴは、１つのＣＵに対して有効にされると、色空間変換を行うために、すべての３つの成分の残差にアクセスする必要がある。しかしながら、ＶＶＣ設計は、各ＣＵが３つの成分の情報を常に含有していることを保証できるわけではない。本開示の実施形態によれば、ＣＵがすべ
ての３つの成分の情報を含有しているわけではない場合、ＡＣＴは強制的に無効にされる。
ての３つの成分の情報を含有しているわけではない場合、ＡＣＴは強制的に無効にされる。
【0090】
いくつかの実施形態において、第１に、個別のツリーの分割構造が適用されるとき、１つのＣＴＵの内部の輝度サンプル及び色差サンプルは、個別の分割構造を基にＣＵへと分割される。結果として、輝度分割ツリーにおけるＣＵは輝度成分の符号化情報のみを含有し、色差分割ツリーにおけるＣＵは２つの色差成分の符号化情報のみを含有する。現行のＶＶＣによれば、１つのツリーの分割構造と個別のツリーの分割構造との間の切換えはスライスレベルにおいて実行される。したがって、本開示の実施形態によれば、１つのスライスに個別のツリーが適用されることが認められたとき、ＡＣＴは、このスライスの内部のすべてＣＵ（輝度ＣＵと色差ＣＵとの両方）に対してＡＣＴフラグの信号伝達なしで常に無効にされ、ＡＣＴフラグは、その代わりにゼロであると推論される。
【0091】
いくつかの実施形態において、第２に、ＩＳＰモード（以下でさらに説明される）が有効にされるとき、ＴＵ分割は輝度サンプルにのみ適用され、色差サンプルは、複数のＴＵへのさらなる分割はなしで符号化される。１つのイントラＣＵに関するＩＳＰサブパーティション（すなわちＴＵ）の数をＮと想定すると、現行のＩＳＰ設計によれば、輝度成分と色差成分との両方を含有しているのは最後のＴＵのみであり、最初のＮ－１個のＩＳＰＴＵは輝度成分のみから成る。本開示の一実施形態によれば、ＩＳＰモードではＡＣＴは無効にされる。ＩＳＰモードについて、ＡＣＴを無効にするやり方は２つある。第１の方法では、ＩＳＰモードのシンタックスを信号伝達する前にＡＣＴの有効／無効フラグ（すなわちｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が信号伝達される。そのような場合、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１のとき、ＩＳＰモードはビットストリームで信号伝達されることなく、常に、ゼロ（すなわちオフ）であると推測される。第２の方法では、ＩＳＰモードの信号伝達が、ＡＣＴフラグの信号伝達を回避するように使用される。具体的には、この方法では、ＩＳＰモードは、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇに先立って信号伝達される。ＩＳＰモードが選択されるとき、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝達されず、ゼロであると推論される。そうでなければ（ＩＳＰモードが選択されなければ）、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＣＵの残差コーディングのために色空間を適応的に選択するように、依然として信号伝達される。
【0092】
いくつかの実施形態では、輝度と色差との分割構造が誤って調整されているとき、ＣＵに対するＡＣＴを強制的に無効にすることに加えて、ＡＣＴが適用されるＣＵに対するＬＭＣＳが無効にされる。一実施形態では、１つのＣＵがその残差を符号化するＹＣｇＣｏ色空間を選択するとき、輝度マッピングと色差残差スケーリングとの両方が無効にされる（すなわちＡＣＴは１つである）。別の実施形態では、ＡＣＴが１つのＣＵについて有効にされるとき、無効にされるのは色差残差スケーリングのみであり、輝度マッピングは、出力輝度サンプルのダイナミックレンジを調整するために引き続き適用され得る。最後の実施形態では、その残差の符号化のためにＡＣＴを適用するＣＵに対して、輝度マッピングと色差残差スケーリングとの両方が有効にされる。ＡＣＴを適用するＣＵに対して色差残差スケーリングを有効にするための複数のやり方があり得る。方法の１つでは、色差残差スケーリングは、復号において逆ＡＣＴ以前に適用される。この方法は、ＡＣＴが適用されるとき、ＹＣｇＣｏ領域における色差残差（すなわちＣｇ残差及びＣｏ残差）に色差残差スケーリングが適用されることを意味する。別の方法では、色差残差スケーリングは、逆ＡＣＴの後に適用される。具体的には、第２の方法では、色差スケーリングは元の色空間における残差に対して適用される。入力ビデオがＲＧＢフォーマットで取り込まれていると想定することは、Ｂ成分及びＲ成分の残差に対して色差残差スケーリングが適用されることを意味する。
【0093】
いくつかの実施形態では、シーケンスレベルにおいてＡＣＴが有効にされるか否かを示すために、シンタックス要素に対して、たとえばｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇといったシーケンスパラメータセット（ＳＰＳ）が付加される。加えて、輝度成分と色差成分とが同一の解像度（たとえば４：４：４色差フォーマット）を有するビデオコンテンツに対して色空間変換が適用されるとき、ＡＣＴは４：４：４色差フォーマットに対してのみ有効にされ得るように、１つのビットストリームの適合要件が付加される必要がある。テーブル１は、上記のシンタックスが付加された修正ＳＰＳシンタックステーブルを示す。
【0094】
【表1】
【0095】
具体的には、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であればＡＣＴが有効にされたことを示し、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、ＳＰＳを参照するＣＵに対してフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝達されず、０であると推論されるように、ＡＣＴが無効にされたことを示す。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３でないとき、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０であることがビットストリーム適合の要件である。
【0096】
別の実施形態では、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを常に信号伝達する代わりに、フラグの信号伝達は色差タイプの入力信号を条件とする。具体的には、ＡＣＴが適用され得るのは、輝度成分と色差成分とが同一の解像度であるときのみであるなら、フラグｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝達されるのは、入力ビデオが４：４：４色差フォーマットで取り込まれるときのみである。そのような変更による修正ＳＰＳシンタックステーブルは次のようになる。
【0097】
【表2】
【0098】
いくつかの実施形態では、ＡＣＴを使用してビデオデータを復号するためのシンタック
ス設計仕様は、以下のテーブルに示される。
ス設計仕様は、以下のテーブルに示される。
【0099】
【表3-1】
【表3-2】
【表3-3】
【表3-4】
【表3-5】
【表3-6】
【表3-7】
【表3-8】
【表3-9】
【0100】
フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であれば、符号化ユニットの残差がＹＣｇＣｏ色空間において符号化されることを示し、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、符号化ユニットの残差が元の色空間（たとえばＲＧＢ又はＹＣｂＣｒ）において符号化されることを示す。フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、存在しないときには０であると推論される。
【0101】
現行のＶＶＣ作業草案では、入力ビデオが４：４：４色差フォーマットで取り込まれるとき、輝度成分と色差成分との両方に対して変換スキップモードが適用され得る。いくつかの実施形態では、そのような設計を基に、以下では、ＡＣＴと変換スキップとの間の相互作用を扱うために３つの方法が使用される。
【0102】
方法の１つでは、１つのＡＣＴ・ＣＵに対して変換スキップモードが有効にされるとき、変換スキップモードは輝度成分にのみ適用され、色差成分には適用されない。いくつかの実施形態では、そのような方法に関するシンタックス設計仕様は、次のテーブルに示される。
【0103】
【表4-1】
【表4-2】
【0104】
別の方法では、輝度成分と色差成分との両方に対して変換スキップモードが適用される。いくつかの実施形態では、そのような方法に関するシンタックス設計仕様は、次のテーブルに示される。
【0105】
【表5-1】
【表5-2】
【0106】
もう一つの方法では、ＡＣＴが１つのＣＵに対して有効にされるとき、変換スキップモードは常に無効にされる。いくつかの実施形態では、そのような方法に関するシンタックス設計仕様は、次のテーブルに示される。
【0107】
【表6-1】
【表6-2】
【0108】
図８Ａ及び図８Ｂは、本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）及び色差スケーリング付き輝度マッピングの技術を実施する例示的なビデオ復号プロセスを示すブロック図である。いくつかの実施形態では、ビデオビットストリームは、ＡＣＴ（たとえば図７における逆ＡＣＴ７１０）と色差残差スケーリング（たとえば図６における色差残差スケーリング６３０）との両方を使用して符号化される。いくつかの他の実施形態では、ビデオビットストリームは、ＡＣＴは使用せず色差残差スケーリングのみ使用して符号化され、それによって逆ＡＣＴ７１０は不要になる。
【0109】
より具体的には、図８Ａは、ビデオ符号化器が逆ＡＣＴ７１０の前に色差残差スケーリング６３０を実行する一実施形態を表す。結果として、ビデオ符号化器は、色空間変換された領域において、色差残差スケーリング６３０を用いて輝度マッピングを実行する。たとえば、入力ビデオがＲＧＢフォーマットで取り込まれ、ＹＣｇＣｏ色空間に変換されると想定して、ビデオ符号化器は、ＹＣｇＣｏ色空間における輝度残差Ｙに応じて、色差残差Ｃｇ及びＣｏに対する色差残差スケーリング６３０を実行する。
【0110】
図８Ｂは、ビデオ符号化器が、逆ＡＣＴ７１０の後に色差残差スケーリング６３０を実行する代替実施形態を表す。結果として、ビデオ符号化器は、元の色空間領域において、色差残差スケーリング６３０を用いて輝度マッピングを実行する。たとえば、入力ビデオがＲＧＢフォーマットで取り込まれていると想定して、ビデオ符号化器は、Ｂ成分及びＲ成分に対して色差残差スケーリングを適用する。
【0111】
図９は、本開示のいくつかの実装形態に従って、適応型色空間変換（ＡＣＴ）の実行とブロック差分パルス符号化変調（ＢＤＰＣＭ）の実行との間の例示的な復号ロジックを示すブロック図である。
【0112】
ＢＤＰＣＭはスクリーンコンテンツ符号化用の符号化ツールである。いくつかの実施形態では、ＢＤＰＣＭ有効化フラグは、シーケンスレベルにおいてＳＰＳで信号伝達される。ＢＤＰＣＭ有効化フラグが信号伝達されるのは、ＳＰＳにおいて変換スキップモードが有効にされた場合のみである。
【0113】
ＢＤＰＣＭが有効にされるとき、輝度サンプルに関してＣＵサイズがＭａｘＴｓＳｉｚｅ×ＭａｘＴｓＳｉｚｅ以下であって、ＣＵがイントラ符号化される場合には、フラグはＣＵレベルで送られ、ＭａｘＴｓＳｉｚｅは変換スキップモードが可能にされる最大のブロックサイズである。このフラグは、通常のイントラ符号化又はＢＤＰＣＭが使用されるかどうかを示す。ＢＤＰＣＭが使用される場合、予測が水平方向かそれとも垂直方向かを示すための別のＢＤＰＣＭ予測方向フラグがさらに伝送される。次いで、ブロックは、フィルタリングされていない参照サンプルを用いる通常の水平方向又は垂直方向のイントラ予測プロセスを使用して予測される。残差が量子化され、それぞれの量子化残差とその予測子との間の差、すなわち（ＢＤＰＣＭ予測方向に依拠して）水平方向又は垂直方向の近隣の位置の以前に符号化された残差が、符号化される。
【0114】
サイズがＭ（高さ）×Ｎ（幅）のブロックに関して、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１であるｒｉ，ｊを予測残差とする。０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１であるＱ（ｒｉ，ｊ）は、残差ｒｉ，ｊの量子化バージョンを表すものとする。量子化残差値に対してＢＤＰＣＭが適用されて、修正されたＭ×Ｎの配列
が得られ、この配列の要素は
である。
ここで、
は、その近隣の量子化残差値から予測される。垂直方向のＢＤＰＣＭ予測モードに関して、０≦ｊ≦（Ｎ－１）について、
を導出するために次式が使用される。
【数1】
【数2】
ここで、
【数3】
【数4】
【数5】
【0115】
水平方向のＢＤＰＣＭ予測モードに関して、０＜ｉ＜（Ｍ－１）について、
を導出するために次式が使用される。
【数6】
【数7】
【0116】
復号器側で、Ｑ（ｒｉ，ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を計算するために、上記のプロセスは、次のとおりに逆になされる。
【数8】
【0117】
再構成されたサンプル値を生成するために、イントラブロック予測値に対して逆量子化残差Ｑ－１（Ｑ（ｒｉ，ｊ））が加算される。
【0118】
予測された量子化残差値
は、変換スキップモードの残差符号化で使用されたものと同一の残差符号化プロセスを使用して、復号器に送られる。将来のイントラモード符号化用のＭＰＭモードの点では、ＢＤＰＣＭ予測方向が水平方向又は垂直方向の場合、それぞれ水平方向又は垂直方向の予測モードがＢＤＰＣＭ符号化ＣＵ用に記憶される。デブロッキングについては、両側のブロック境界のブロックがＢＤＰＣＭを使用して符号化されている場合には、その特定のブロック境界はデブロッキングされない。最新のＶＶＣ作業草案によれば、入力ビデオが４：４：４色差フォーマットであるとき、輝度チャネル用のフラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ及び色差チャネル用のｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇをＣＵレベルで信号伝達することにより、輝度成分と色差成分との両方にＢＤＰＣＭが適用され得る。
【数9】
【0119】
いくつかの実施形態では、ビデオ符号化器は、ＡＣＴとＢＤＰＣＭとの間の相互作用を扱うための種々のロジックを実行する。たとえば、ＡＣＴが１つのイントラＣＵに適用されるとき、ＢＤＰＣＭは輝度成分に対して有効にされるが、色差成分には無効にされる（９１０）。いくつかの実施形態では、ＡＣＴが１つのイントラＣＵに適用されるとき、ＢＤＰＣＭは輝度成分に対して有効にされるが、色差成分用のＢＤＰＣＭの信号伝達には無効にされる。色差ＢＤＰＣＭの信号伝達が回避されるとき、一実施形態では、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ及びｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒの値は、輝度成分のもの、すなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇ及びｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇと等しい（すなわち、色差ＢＤＰＣＭ用に輝度のＢＤＰＣＭ方向と同一のものを使用する）。別の実施形態では、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ及びｉｎｔｒｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇの値は、ＡＣＴモード用に信号伝達されるときにはゼロに設定される（すなわち、色差成分については色差ＢＤＰＣＭモードを無効にする）。符号化ユニットの対応する修正シン
タックステーブルは次のように示される。
タックステーブルは次のように示される。
【0120】
【表7-1】
【表7-2】
【表7-3】
【0121】
いくつかの実施形態では、ＡＣＴが１つのイントラＣＵに適用されるとき、ＢＤＰＣＭは輝度成分と色差成分との両方に対して有効にされる（９２０）。符号化ユニットの対応する修正シンタックステーブルは次のように示される。
【0122】
【表8-1】
【表8-2】
【表8-3】
【0123】
いくつかの実施形態では、ＡＣＴが１つのイントラＣＵに適用されるとき、ＢＤＰＣＭは輝度成分と色差成分との両方に対して無効にされる（９３０）。そのような場合、ＢＤＰＣＭに関連するシンタックス要素を信号伝達する必要はない。符号化ユニットの対応する修正シンタックステーブルは次のように示される。
【0124】
【表9-1】
【表9-2】
【表9-3】
【0125】
いくつかの実施形態では、ＡＣＴモード用に、１つの抑制された色差ＢＤＰＣＭ信号伝達方法が使用される。具体的には、ＡＣＴが適用されるとき、色差ＢＤＰＣＭの有効／無効フラグすなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇの信号伝達は、輝度ＢＤＰＣＭの存在、すなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇを条件として調整される。フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇが信号伝達されるのは、フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇが１のとき（すなわち輝度ＢＤＰＣＭモードが有効なとき）のみである。そうでなければ、フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇはゼロと推論される（すなわち色差ＢＤＰＣＭは無効にされる）。フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇが１のとき（すなわち色差ＢＤＰＣＭが有効にされるとき）、色差成分に対して適用されるＢＤＰＣＭの方向は、常に輝度ＢＤＰＣＭの方向と等しく設定され、すなわち、フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇの値は、常にｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇの値と等しく設
定される。符号化ユニットの対応する修正シンタックステーブルは、次のように示される。
定される。符号化ユニットの対応する修正シンタックステーブルは、次のように示される。
【0126】
【表10-1】
【表10-2】
【表10-3】
【0127】
いくつかの実施形態では、ＡＣＴが適用されるとき、色差ＢＤＰＣＭモードの信号伝達は、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇの値に基づいてフラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇの存在を調整するのではなく、輝度成分のイントラ予測モードが水平方向又は垂直方向のとき条件付きで有効にされる。具体的には、この方法によれば、フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇが信号伝達されるのは、輝度イントラ予測方向が純粋に水平又は垂直のときのみである。そうでなければ、フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇはゼロと推論される（色差ＢＤＰＣＭが無効にされることを意味する）。フラグｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇが１のとき（すなわち色差ＢＤＰＣＭが有効にされるとき）、色差成分に対して適用されるＢＤＰＣＭの方向は、常に輝度イントラ予測の方向と等しく設定される。以下のテーブル
では、数字１８及び５０は、現行のＶＶＣ草案における水平方向及び垂直方向のイントラ予測の、現在のイントラ予測インデックスを表す。符号化ユニットの対応する修正シンタックステーブルは次のように示される。
では、数字１８及び５０は、現行のＶＶＣ草案における水平方向及び垂直方向のイントラ予測の、現在のイントラ予測インデックスを表す。符号化ユニットの対応する修正シンタックステーブルは次のように示される。
【0128】
【表11-1】
【表11-2】
【表11-3】
【0129】
いくつかの実施形態では、輝度／色差ＢＤＰＣＭモードに関するコンテキストモデリングが実施される。ＶＶＣにおける現行のＢＤＰＣＭ設計では、輝度成分及び色差成分に対するＢＤＰＣＭの信号伝達は、同一のコンテキストモデリングを再利用する。詳細には、輝度ＢＤＰＣＭ有効／無効フラグ（すなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇ）及び色差ＢＤＰＣＭ有効／無効フラグ（すなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ）によって１つの単一コンテキストが共有され、輝度ＢＤＰＣＭ方向フラグ（すなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）及び色差ＢＤＰＣＭ方向フラグ（すなわちｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇ）によって別の単一コンテキストが共有される。
【0130】
いくつかの実施形態において、符号化効率を改善するために、方法の１つでは、輝度成分及び色差成分のＢＤＰＣＭ有効／無効を信号伝達するために個別のコンテキストが使用される。別の実施形態では、輝度成分及び色差成分について、ＢＤＰＣＭ方向フラグを信号伝達するために個別のコンテキストが使用される。もう一つの実施形態では、色差ＢＤＰＣＭの有効／無効フラグを符号化するために、輝度ＢＤＰＣＭモードが有効にされるときｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇを信号伝達するために使用される第１のコンテキストと、輝度ＢＤＰＣＭモードが無効にされるときｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇを信号伝達するために使用される第２のコンテキストとの、２つ追加のコンテキストが使用される。
【0131】
いくつかの実施形態では、ＡＣＴは無損失符号化を用いて扱われる。ＨＥＶＣ規格では、１つのＣＵの無損失モードは、１に設定された１つのＣＵレベルフラグｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇを信号伝達することによって示される。しかしながら、進行中のＶＶＣ規格化プロセスでは、１つの異なる無損失有効化方法が適用される。具体的には、無損失モードにおいて１つのＣＵが符号化されるとき、必要なのは、変換をスキップして、１への量子化ステップサイズを使用することのみである。これは、ＣＵレベルのＱＰ値を１に信号伝達し、ＴＵレベルのｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇを１に信号伝達することによって実現され得る。したがって、本開示の一実施形態では、１つのＣＵ／ＴＵに対して、損失ＡＣＴと無損失ＡＣＴとが、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの値及びＱＰ値に応じて切り換えられる。以下で示すように、フラグｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが１であってＱＰ値が４であれば無損失ＡＣＴが適用され、そうでなければ損失バージョンのＡＣＴが適用される。
【0132】
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが１であってＱＰが４であれば、残差サンプルｒＹ、ｒＣｂ及びｒＣｒの（ｎＴｂＷ）×（ｎＴｂＨ）の配列（ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、
ｔｍｐ＝ｒＹ［ｘ］［ｙ］－（ｒＣｂ［ｘ］［ｙ］＞＞１）
ｒＹ［ｘ］［ｙ］＝ｔｍｐ＋ｒＣｂ［ｘ］［ｙ］
ｒＣｂ［ｘ］［ｙ］＝ｔｍｐ－（ｒＣｒ［ｘ］［ｙ］＞＞１）
ｒＣｒ［ｘ］［ｙ］＝ｒＣｂ［ｘ］［ｙ］＋ｒＣｒ［ｘ］［ｙ］
と変更される。
ｔｍｐ＝ｒＹ［ｘ］［ｙ］－（ｒＣｂ［ｘ］［ｙ］＞＞１）
ｒＹ［ｘ］［ｙ］＝ｔｍｐ＋ｒＣｂ［ｘ］［ｙ］
ｒＣｂ［ｘ］［ｙ］＝ｔｍｐ－（ｒＣｒ［ｘ］［ｙ］＞＞１）
ｒＣｒ［ｘ］［ｙ］＝ｒＣｂ［ｘ］［ｙ］＋ｒＣｒ［ｘ］［ｙ］
と変更される。
【0133】
そうでなければ、残差サンプルｒＹ、ｒＣｂ及びｒＣｒの（ｎＴｂＷ）×（ｎＴｂＨ）の配列（ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、
ｔｍｐ＝ｒＹ［ｘ］［ｙ］－ｒＣｂ［ｘ］［ｙ］
ｒＹ［ｘ］［ｙ］＝ｒＹ［ｘ］［ｙ］＋ｒＣｂ［ｘ］［ｙ］
ｒＣｂ［ｘ］［ｙ］＝ｔｍｐ－ｒＣｒ［ｘ］［ｙ］
ｒＣｒ［ｘ］［ｙ］＝ｔｍｐ＋ｒＣｒ［ｘ］［ｙ］
と変更される。
ｔｍｐ＝ｒＹ［ｘ］［ｙ］－ｒＣｂ［ｘ］［ｙ］
ｒＹ［ｘ］［ｙ］＝ｒＹ［ｘ］［ｙ］＋ｒＣｂ［ｘ］［ｙ］
ｒＣｂ［ｘ］［ｙ］＝ｔｍｐ－ｒＣｒ［ｘ］［ｙ］
ｒＣｒ［ｘ］［ｙ］＝ｔｍｐ＋ｒＣｒ［ｘ］［ｙ］
と変更される。
【0134】
上記の記述では、損失符号化用と無損失符号化用とに別々のＡＣＴマトリクスが使用されている。もう１つの統合設計を実現するために、損失符号化と無損失符号化との両方に対して無損失ＡＣＴマトリクスが使用される。加えて、無損失ＡＣＴによってＣｇ成分及びＣｏ成分のダイナミックレンジが１ビット増加する場合には、順方向ＡＣＴの後に、Ｃｇ成分とＣｏ成分とに対して追加の１ビット右シフトが適用され、逆ＡＣＴの前に、Ｃｇ成分とＣｏ成分とに対して１ビット左シフトが適用される。以下に記述されるように、
【0135】
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが０であるか、又はＱＰが４でない場合には、残差サンプルｒＣｂ及びｒＣｒの（ｎＴｂＷ）×（ｎＴｂＨ）の配列（ｘ＝０．．ｎＴ
ｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、
ｒＣｂ［ｘ］［ｙ］＝ｒＣｂ［ｘ］［ｙ］＜＜１
ｒＣｒ［ｘ］［ｙ］＝ｒＣｒ［ｘ］［ｙ］＜＜１
と変更される。
ｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、
ｒＣｂ［ｘ］［ｙ］＝ｒＣｂ［ｘ］［ｙ］＜＜１
ｒＣｒ［ｘ］［ｙ］＝ｒＣｒ［ｘ］［ｙ］＜＜１
と変更される。
【0136】
残差サンプルｒＹ、ｒＣｂ及びｒＣｒの（ｎＴｂＷ）×（ｎＴｂＨ）の配列（ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１）は、
ｔｍｐ＝ｒＹ［ｘ］［ｙ］－（ｒＣｂ［ｘ］［ｙ］＞＞１）
ｒＹ［ｘ］［ｙ］＝ｔｍｐ＋ｒＣｂ［ｘ］［ｙ］
ｒＣｂ［ｘ］［ｙ］＝ｔｍｐ－（ｒＣｒ［ｘ］［ｙ］＞＞１）
ｒＣｒ［ｘ］［ｙ］＝ｒＣｂ［ｘ］［ｙ］＋ｒＣｒ［ｘ］［ｙ］
と変更される。
ｔｍｐ＝ｒＹ［ｘ］［ｙ］－（ｒＣｂ［ｘ］［ｙ］＞＞１）
ｒＹ［ｘ］［ｙ］＝ｔｍｐ＋ｒＣｂ［ｘ］［ｙ］
ｒＣｂ［ｘ］［ｙ］＝ｔｍｐ－（ｒＣｒ［ｘ］［ｙ］＞＞１）
ｒＣｒ［ｘ］［ｙ］＝ｒＣｂ［ｘ］［ｙ］＋ｒＣｒ［ｘ］［ｙ］
と変更される。
【0137】
加えて、上記から理解され得るように、ＡＣＴが適用されるとき、Ｙ成分、Ｃｇ成分及びＣｏ成分に対してＱＰオフセット（－５、－５、－３）が適用される。したがって、小さい入力ＱＰ値（たとえば＜５）については、ＡＣＴ係数の量子化／逆量子化用に、未定義の負のＱＰが使用されることになる。そのような問題を解決するために、適用されるＱＰ値が常にゼロ以上であるように、ＡＣＴのＱＰ調整の後に１つのクリッピング操作すなわちＱＰ’＝ｍａｘ（ＱＰｏｒｇ－ＱＰｏｆｆｓｅｔ，０）が追加され、ここで、ＱＰは元のＱＰであり、ＱＰｏｆｆｓｅｔはＡＣＴ・ＱＰオフセットであって、ＱＰ’は調整されたＱＰ値である。
【0138】
前述のような方法では、損失符号化と無損失符号化とに対して同一のＡＣＴマトリクス（すなわち無損失ＡＣＴマトリクス）が使用されるが、以下の２つの問題は依然として識別され得る。
【0139】
現在のＣＵが損失ＣＵかそれとも無損失ＣＵかということに依拠して、種々の逆ＡＣＴ操作が引き続き適用される。具体的には、無損失ＣＵには逆ＡＣＴが適用され、損失ＣＵには、逆ＡＣＴの前に追加の右シフトが適用されなければならない。加えて、復号器は、現行のＣＵが損失モードと無損失モードとのどちらで符号化されているのか知る必要がある。これは現行のＶＶＣの無損失設計と不整合である。詳細には、１つのＣＵの無損失モードは１つのｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇを信号伝達することで表されるＨＥＶＣの無損失設計と異なって、ＶＶＣにおける無損失符号化は１つの純粋な規範外のやり方で行われ、すなわち、（輝度成分及び色差成分に関する変換スキップモードを有効にして）予測残差の変換をスキップし、適切なＱＰ値（すなわち４）を選択し、無損失符号化を妨げるループ内フィルタなどの符号化ツールを明示的に無効にする。
【0140】
ここで、ＡＣＴを正規化するために使用されるＱＰオフセットが固定される。しかしながら、符号化効率の点で最適なＱＰオフセットの選択は、コンテンツ自体に依拠する可能性がある。したがって、ＡＣＴツールが有効にされるとき、その符号化利得を最大化するために、融通性のあるＱＰオフセット信号伝達を有効にするのがより有益であろう。
【0141】
上記の考察に基づいて、１つの統合ＡＣＴ設計が以下のように実施される。第１に、損失モードと無損失モードとの両方で符号化されたＣＵに対して、無損失ＡＣＴ及び無損失逆ＡＣＴが適用される。第２に、固定されたＱＰオフセットを使用するのではなく、ビットストリームにおけるＡＣＴ・ＣＵに適用されるＱＰオフセット（すなわちＹ成分、Ｃｇ成分及びＣｏ成分に適用される３つのＱＰオフセット）が、明示的に信号伝達される。第３に、ＡＣＴ・ＣＵに適用されるＱＰの可能性のあるオーバーフロー問題を防止するために、各ＡＣＴ・ＣＵの結果として生じるＱＰに対して、有効なＱＰ範囲へのクリッピング操作が適用される。見られるように、上記の方法に基づいて、損失符号化と無損失符号化
との間の選択が、純粋に符号化器を変化させる（すなわち、別々の符号化器設定を使用する）だけで実現され得る。復号処理は、ＡＣＴ・ＣＵの損失符号化と無損失符号化とに対して同一である。具体的には、無損失符号化を有効にするために符号化器が必要とするのは、符号化器側の既存の無損失構成に加えて、３つのＱＰオフセットの値をゼロとして信号伝達することのみである。他方では、損失符号化を有効にするために、符号化器は非ゼロのＱＰオフセットを信号伝達し得る。たとえば、一実施形態では、損失符号化における無損失ＡＣＴによってもたらされるダイナミックレンジの変化を補償するために、ＡＣＴが適用されるとき、Ｙ成分、Ｃｇ成分及びＣｏ成分に対してＱＰオフセット（－５、１、３）が信号伝達され得る。他方では、ＡＣＴ・ＱＰオフセットは、たとえばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、符号化ブロックグループのレベルなどといった種々の符号化レベルで信号伝達され得て、種々の細分性において種々のＱＰ適合をもたらし得る。次のテーブルは、ＱＰオフセット信号伝達がＳＰＳで実行される一例を示す。
との間の選択が、純粋に符号化器を変化させる（すなわち、別々の符号化器設定を使用する）だけで実現され得る。復号処理は、ＡＣＴ・ＣＵの損失符号化と無損失符号化とに対して同一である。具体的には、無損失符号化を有効にするために符号化器が必要とするのは、符号化器側の既存の無損失構成に加えて、３つのＱＰオフセットの値をゼロとして信号伝達することのみである。他方では、損失符号化を有効にするために、符号化器は非ゼロのＱＰオフセットを信号伝達し得る。たとえば、一実施形態では、損失符号化における無損失ＡＣＴによってもたらされるダイナミックレンジの変化を補償するために、ＡＣＴが適用されるとき、Ｙ成分、Ｃｇ成分及びＣｏ成分に対してＱＰオフセット（－５、１、３）が信号伝達され得る。他方では、ＡＣＴ・ＱＰオフセットは、たとえばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、符号化ブロックグループのレベルなどといった種々の符号化レベルで信号伝達され得て、種々の細分性において種々のＱＰ適合をもたらし得る。次のテーブルは、ＱＰオフセット信号伝達がＳＰＳで実行される一例を示す。
【0142】
【表12】
【0143】
別の実施形態では、ＳＰＳまたはＰＰＳ（たとえばｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）において、１つの高レベルの制御フラグが加算される。このフラグがゼロであれば、ＳＰＳ又はＰＰＳで信号伝達されるＱＰオフセットが、ＡＣＴモードで符号化されたすべてのＣＵに適用されることを意味する。そうでなければ、フラグが１のとき、１つの特定のピクチャにおいてＡＣＴ・ＣＵに適用されるＱＰ値を別個に制御するために、追加のＱＰオフセットシンタックス（たとえばｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｃｇ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１及びｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｃｏ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ３）が、ピクチャヘッダでさらに信号伝達され得る。
【0144】
他方では、信号伝達されたＱＰオフセットは、最終的なＡＣＴ・ＱＰ値を有効なダイナミックレンジへとクリップするためにも適用されるべきである。加えて、変換を用いて符号化されたＣＵ及び変換なしで符号化されたＣＵに対して、種々のクリッピング範囲が適用され得る。たとえば、変換が適用されないとき、最終的なＱＰは４よりも小さくなるべきではない。ＡＣＴ・ＱＰオフセットがＳＰＳレベルで信号伝達されると想定すると、ＡＣＴ・ＣＵのための対応するＱＰ値の導出プロセスは、以下のように記述され得る。
【0145】
【数10】
【0146】
別の実施形態では、符号化器が、符号化効率を改善するためにＡＣＴ・ＣＵに適用されるＱＰオフセットをより柔軟に調整することができるように、ＰＰＳレベルでＡＣＴ・ＱＰオフセットを信号伝達しているときに、ＡＣＴ有効／無効フラグがＳＰＳレベルで信号伝達される。具体的には、記述された変化を伴うＳＰＳ及びＰＰＳのシンタックステーブルが次に示される。
【0147】
【表13】
【0148】
ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であることは、ビットストリームの中にｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｐｓ＿ａｃｔ＿ｃｇ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１及びｐｐｓ＿ａｃｔ＿ｃｏ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ３が存在することを明示する。ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０のとき、ビットストリームには、シンタックス要素ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｐｓ＿ａｃｔ＿ｃｇ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１及びｐｐｓ＿ａｃｔ＿ｃｏ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ３は存在しない。ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０のときｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であることは、ビットストリーム準拠である。
【0149】
ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｐｓ＿ａｃｔ＿ｃｇ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１及びｐｐｓ＿ａｃｔ＿ｃｏ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ３は、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である符号化ブロックの輝度成分及び色差成分に対して使用される量子化パラメータの値に適用されるオフセットを決定するために使用される。ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｐｓ＿ａｃｔ＿ｃｇ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ３は、存在しないとき、値が０であると推論される。
【0150】
上記のＰＰＳ信号伝達では、色差残差モードのジョイント符号化（ＪＣＣＲ）が適用されるか又は適用されないとき、各ＡＣＴ・ＣＵに同一のＱＰオフセット値が適用される。そのような設計は、１つの信号の色差成分の残差のみがＪＣＣＲモードで符号化される場合には、最適ではない可能性がある。したがって、より優れた１つの符号化利得を実現するために、１つのＡＣＴ・ＣＵにＪＣＣＲモードが適用されるとき、色差成分の残差を符号化するのに、別の１つのＱＰオフセットが適用されてよい。そのような考察に基づいて、ＪＣＣＲモード用のＰＰＳでは、以下に規定されるように、１つの個別のＱＰオフセット信号伝達が追加される。
【0151】
【表14】
【0152】
ジョイント色差残差符号化が適用される符号化ブロックの色差残差用に使用される量子
化パラメータの値に適用されるオフセットを決定するために、ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔが使用される。ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、存在しないとき、値がゼロであると推論される。
化パラメータの値に適用されるオフセットを決定するために、ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔが使用される。ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、存在しないとき、値がゼロであると推論される。
【0153】
図１０は、いくつかの実施形態において、輝度と色差とで内部のビット深度が異なるときにＡＣＴを扱う方法を示す。具体的には、図１０は、本開示のいくつかの実装形態に従って、輝度の内部ビット深度と色差の内部ビット深度とが異なるとき、別々の成分に対して別々のＱＰオフセットを適用する復号の流れ図である。
【0154】
既存のＶＶＣ仕様によれば、符号化のために、輝度成分と色差成分とに別々の内部ビット深度（ＢｉｔＤｅｐｔｈＹ及びＢｉｔＤｅｐｔｈＣと表される）を使用することが許容される。しかしながら、既存のＡＣＴ設計は、輝度の内部ビット深度と色差の内部ビット深度とが常に同一であると想定する。以下の段落では、ＢｉｔＤｅｐｔｈＹがＢｉｔＤｅｐｔｈＣと異なるときＡＣＴ設計を改善するための方法が実現される。
【0155】
第１の方法では、輝度成分の内部のビット深度が色差成分のものと異なるとき、ＡＣＴツールは常に無効にされる。
【0156】
第２の方法では、第２の解決策において、輝度成分及び色差成分のうちビット深度が小さい方を左シフトして、ビット深度を他方の成分のビット成分と一致させることによって実施され、次いで、スケーリングされた成分は、色変換の後に、右へビットシフトすることによって元のビット深度へと再調整される。
【0157】
ＨＥＶＣに似て、量子化ステップサイズは、ＱＰの各増分で約２１／６倍に増加し、６つの増分ごとに正確に２倍になる。そのような設計に基づき、第２の方法では、輝度と色差との間の内部ビット深度を補償するために、内部ビット深度が小さい方の成分に対して使用されるＱＰ値が６Δだけ増加され、Δは、輝度の内部ビット深度と色差の内部ビット深度との間の差である。次いで、成分の残差は、Δビットの右シフトを適用することによって元のダイナミックレンジへとシフトされる。図１０は、上記の方法が適用されるときの対応する復号プロセスを示す。たとえば、入力ＱＰ値がｑｐであると想定すると、Ｙ成分、Ｃｇ成分及びＣｏ成分に対して適用されるデフォルトのＱＰ値はｑｐ－５、ｑｐ－５及びｑｐ－３となる。さらに、輝度の内部ビット深度が色差のビット深度よりも大きく、Δ＝ＢｉｔＤｅｐｔｈＹ－ＢｉｔＤｅｐｔｈＣであると想定される。そこで、輝度成分及び色差成分に対して適用される最終的なＱＰ値は、ｑｐ－５、ｑｐ－５＋６Δ及びｑｐ－３＋６Δとなる。
【0158】
いくつかの実施形態では、符号化器の高速化ロジックが実施される。１つのＣＵの残差符号化用の色空間を選択するための最も簡単な手法は、符号化器が、各符号化モード（たとえばイントラ符号化モード、インター符号化モード及びＩＢＣモード）を、ＡＣＴを有効にした状態と無効にした状態とで２回検査するものである。これによって、符号化の複雑さがほぼ２倍になってしまう。ＡＣＴの符号化の複雑さをさらに軽減するために、本開示では、以下の符号化器高速化ロジックが実施される。
【0159】
第１にＹＣｇＣｏ空間はＲＧＢ空間よりもコンパクトであるので、入力ビデオがＲＧＢフォーマットにあるときには、最初にＡＣＴツールを有効にするレートディストーション（Ｒ－Ｄ）コストを検査し、次いで、ＡＣＴツールを無効にするＲ－Ｄコストを検査する。加えて、ＡＣＴが有効にされるとき、色空間変換を無効にするＲ－Ｄコストが計算されるのは、少なくとも１つの非ゼロ係数がある場合のみである。或いは、入力ビデオがＹＣｂＣｒフォーマットであるとき、ＡＣＴを無効にするＲ－Ｄコストが検査され、ＡＣＴを有効にするＲ－Ｄ検査が続く。２番目の（ＡＣＴを有効にする）Ｒ－Ｄ検査が実行される
のは、ＡＣＴが無効であって少なくとも１つの非ゼロ係数があるときのみである。
のは、ＡＣＴが無効であって少なくとも１つの非ゼロ係数があるときのみである。
【0160】
第２に、符号化モードの試験の数を減少させるために、２つの色空間に対して同一の符号化モードが使用される。より具体的には、イントラモードについては、全Ｒ－Ｄコスト比較のために選択されたイントラ予測モードが２つの色空間の間で共有され、インターモードについては、選択された動きベクトル、参照ピクチャ、動きベクトル予測子及びマージインデックス（インターマージモード用に使用される）が、２つの色空間の間で共有され、ＩＢＣモードについては、選択されたブロックベクトル及びブロックベクトル予測子並びにマージインデックス（ＩＢＣマージモード用に使用される）が、２つの色空間の間で共有される。
【0161】
第３に、ＶＶＣで使用される四分岐樹／二分岐樹／三分岐樹の分割構造のために、種々の分割の組合せによって１つの同じブロック分割が取得され得る。色空間選択を高速化するために、種々の分割経路によって１つの同じブロックが実現されるとき、ＡＣＴ有効／無効の決定が使用される。具体的には、ＣＵが最初に符号化されるとき、１つの特定のＣＵの残差を符号化するために選択された色空間が記憶される。次いで、別の分割経路によって同一のＣＵが取得されるとき、２つの空間のどちらかを選択する代わりに、記憶された色空間の決定が直接再利用される。
【0162】
第４に、１つのＣＵとその空間的近隣との間に強い相関がある場合、現在のＣＵの残差符号化のために色空間をいくつ検討する必要があるか決定するために、その空間的近隣のブロックの色空間選択情報が使用される。たとえば、十分な数の空間的近隣のブロックがそれらの残差を符号化するためにＹＣｇＣｏ空間を選択する場合には、現在のＣＵが同じ色空間を選択する可能性が高いと推論するのが適切である。対応して、元の色空間における現在のＣＵの残差符号化のＲ－Ｄ検査はスキップすることができる。十分な数の空間的近隣が元の色空間を選択していれば、ＹＣｇＣｏ領域における残差符号化のＲ－Ｄ検査が回避され得る。そうでなければ、２つの色空間は両方とも試験される必要がある。
【0163】
第５に、同一領域内のＣＵの間に強い相関がある場合には、１つのＣＵは、その残差を符号化するために、親ＣＵと同じ色空間を選択することができる。或いは、子ＣＵは、選択された色空間及び各色空間のＲ－Ｄコストなどの親ＣＵの情報から、色空間を導出することができる。したがって、符号化の複雑さを簡単にするために、１つのＣＵについて、親ＣＵの残差がＹＣｇＣｏ領域において符号化される場合には、ＲＧＢ領域における残差符号化のＲ－Ｄコストの検査はスキップされる。加えて、親ＣＵの残差がＲＧＢ領域において符号化される場合には、ＹＣｇＣｏ領域における残差符号化のＲ－Ｄコストの検査はスキップされる。別の伝統的なやり方は、親ＣＵの符号化において２つ色空間が試験される場合には、２つ色空間における親ＣＵのＲ－Ｄコストを使用する。親ＣＵがＹＣｇＣｏ色空間を選択し、しかもＹＣｇＣｏのＲ－ＤコストがＲＧＢよりもはるかに小さければ、ＲＧＢ色空間がスキップされ、逆の場合も同じである。
【0164】
いくつかの実施形態では、色差成分用の輝度のみの符号化ツールを有効にすることによって４：４：４ビデオ符号化の効率が改善される。ＶＶＣ設計は、主として、４：２：０色差フォーマットで取り込まれるビデオに的を絞っているので、ほとんどの既存のインター／イントラ符号化ツールは、輝度成分にのみ有効であって色差成分には無効である。しかし、以前に論じられたように、４：４：４色差フォーマットのビデオ信号は、４：２：０ビデオ信号と比較して、かなり異なった特性を示す。たとえば、４：４：４ＹＣｂＣｒ／ＲＧＢビデオのＣｂ／Ｂ成分及びＣｒ／Ｒ成分は、輝度成分に似て、多くの場合、有用な高周波のテクスチャ情報及びエッジ情報を含有している。これは、通常非常に滑らかで、含有している情報が輝度成分よりもはるかに少ない、４：２：０ビデオにおける色差成分とは異なる。そのような分析に基づき、入力ビデオが４：４：４色差フォーマットであ
るとき、現行のＶＶＣにおける輝度専用のいくつかの符号化ツールを色差成分に拡張するために、以下の方法が実施される。
るとき、現行のＶＶＣにおける輝度専用のいくつかの符号化ツールを色差成分に拡張するために、以下の方法が実施される。
【0165】
第１に、色差成分に対して輝度補間フィルタが有効にされる。ＶＶＣ規格は、ＨＥＶＣと同様に、時間的近隣のピクチャ間の冗長性を活用するために、動き補償予測技術を利用するものであり、Ｙ成分に関する１／１６の画素の精度、並びにＣｂ成分及びＣｒ成分に関する１／３２の画素の精度の動きベクトルをサポートする。分離可能な８タップのフィルタのセットを使用して分数サンプルが内挿される。Ｃｂ成分及びＣｒ成分の分数内挿は、４：２：０ビデオフォーマットに対して分離可能な４タップのフィルタが使用される以外は、基本的にＹ成分のものと同一である。これは、４：２：０ビデオについては、Ｃｂ成分及びＣｒ成分が含有している情報が、Ｙ成分のものよりも非常に少なく、４タップの補間フィルタは、８タップの補間フィルタと比較したとき、Ｃｂ成分及びＣｒ成分に関する動き補償予測の効率を乱切りすることなく、分数内挿のフィルタリングの複雑さを軽減することができるからである。
【0166】
以前に指摘されたように、既存の４タップの色差補間フィルタは、４：４：４ビデオにおける色差成分の動き補償予測のために分数サンプルを内挿するのに効率的でない可能性がある。したがって、本開示の一実施形態では、４：４：４ビデオにおける、輝度成分と色差成分との両方の分数サンプル補間に、（４：２：０ビデオの輝度成分用に使用される）８タップの補間フィルタの同一のセットを使用する。別の実施形態では、符号化効率と複雑さとの間のより優れたトレードオフのために、４：４：４ビデオの色差サンプル用の適応型補間フィルタ選択が有効にされる。たとえば、種々の符号化レベルにおいて、色差成分用に、８タップの補間フィルタ（又は他の補間フィルタ）とデフォルトの４タップの補間フィルタのどちらが使用されるのかを示すために、１つの補間フィルタ選択フラグが、ＳＰＳレベル、ＰＰＳレベル及び／又はスライスレベルで信号伝達され得る。
【0167】
第２に、色差成分に対してＰＤＰＣ及びＭＲＬが有効にされる。
【0168】
ＶＶＣにおける位置依存型イントラ予測組合せ（ＰＤＰＣ）ツールは、フィルタリングされていない参照サンプルを用いるイントラ予測サンプルの重み付けされた組合せを採用することによって、上記の概念を拡張するものである。現行のＶＶＣ作業草案では、ＰＤＰＣは、平面、ＤＣ、水平方向（すなわちモード１８）、垂直方向（すなわちモード５０）、左下の対角線方向に近い角度方向（すなわちモード２、３、４、．．．、１０）、及び右上の対角線方向に近い角度方向（すなわちモード５８、５９、６０、．．．、６６）といった、信号伝達なしのイントラモードに対して有効にされる。座標（ｘ，ｙ）がｐｒｅｄ（ｘ，ｙ）として位置付けられる予測サンプルを想定すると、ＰＤＰＣの後の対応する値は、
ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１－ｗＴＬ×Ｒ－１，－１＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６
として計算され、Ｒｘ，－１、Ｒ－１，ｙは、現在のサンプル（ｘ，ｙ）のうち、それぞれ最上部及び左側にある参照サンプルを表し、Ｒ－１，－１は、現在のブロックの左上隅にある参照サンプルを表す。上記の式における重みｗＬ、ｗＴ及びｗＴＬは、予測モード及びサンプル位置に依拠して適応的に選択され、現在の符号化ブロックのサイズがＷ×Ｈであると想定すると以下のように記述される。
ｐｒｅｄ（ｘ，ｙ）＝（ｗＬ×Ｒ－１，ｙ＋ｗＴ×Ｒｘ，－１－ｗＴＬ×Ｒ－１，－１＋（６４－ｗＬ－ｗＴ＋ｗＴＬ）×ｐｒｅｄ（ｘ，ｙ）＋３２）＞＞６
として計算され、Ｒｘ，－１、Ｒ－１，ｙは、現在のサンプル（ｘ，ｙ）のうち、それぞれ最上部及び左側にある参照サンプルを表し、Ｒ－１，－１は、現在のブロックの左上隅にある参照サンプルを表す。上記の式における重みｗＬ、ｗＴ及びｗＴＬは、予測モード及びサンプル位置に依拠して適応的に選択され、現在の符号化ブロックのサイズがＷ×Ｈであると想定すると以下のように記述される。
【0169】
ＤＣモードについては、次のとおりである。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝（ｗＬ＞＞４）＋（ｗＴ＞＞４）
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝（ｗＬ＞＞４）＋（ｗＴ＞＞４）
【0170】
平面モードについては、次のとおりである。
ｗＴ＝３２＞＞（（ｙ＜＜１）＜＜ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０
ｗＴ＝３２＞＞（（ｙ＜＜１）＜＜ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０
【0171】
水平モードについては、次のとおりである。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝ｗＴ
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝ｗＴ
【0172】
垂直モードについては、次のとおりである。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝ｗＬ
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝ｗＬ
【0173】
左下の対角線方向については、次のとおりである。
ｗＴ＝１６＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０
ｗＴ＝１６＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０
【0174】
右上の対角線方向については、次のとおりである。
ｗＴ＝１６＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０
ここで、ｓｈｉｆｔ＝（ｌｏｇ２（Ｗ）－２＋ｌｏｇ２（Ｈ）－２＋２）＞＞２、となる。
ｗＴ＝１６＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０
ここで、ｓｈｉｆｔ＝（ｌｏｇ２（Ｗ）－２＋ｌｏｇ２（Ｈ）－２＋２）＞＞２、となる。
【0175】
参照として再構成されたサンプルのうち最も近い行／列のみのＨＥＶＣとは異なって、ＶＶＣでは、イントラ予測用に２つの追加の行／列が使用されるマルチ参照ライン（ＭＲＬ）が導入される。選択された参照の行／列のインデックスは、符号化器から復号器に信号伝達される。最近傍ではない行／列が選択されているとき、現在のブロックを予測するために使用され得るイントラモードのセットから、平面モード及びＤＣモードが除外される。
【0176】
現行のＶＶＣ設計では、イントラ予測サンプルと、再構成された近隣のサンプルから導出されたその参照サンプルとの間の不連続を低減する／解消するために輝度成分によって採用されるのは、ＰＤＰＣツールのみである。しかしながら、以前に言及されたように、４：４：４色差フォーマットのビデオ信号には、色差ブロックの中に豊富なテクスチャ情報があり得る。したがって、予測品質を改善するためにフィルタリングされていない参照サンプル及びイントラ予測サンプルの加重平均を使用するＰＤＰＣのようなツールも、４：４：４ビデオの色差符号化効率の改善に有益なはずである。そのような考察に基づき、本開示の一実施形態では、４：４：４ビデオにおける色差成分のイントラ予測のためにＰＤＰＣプロセスが有効にされる。
【0177】
同じ考察がＭＲＬツールにも拡張され得る。現行のＶＶＣでは、ＭＲＬは色差成分には適用され得ない。本開示の一実施形態に基づき、１つのイントラＣＵの色差成分に関する１つのＭＲＬインデックスを信号伝達することにより、４：４：４ビデオの色差成分に関するＭＲＬが有効にされる。この実施形態を基に、種々の方法が使用され得る。方法の１つでは、１つの追加のＭＲＬインデックスが信号伝達され、Ｃｂ／Ｂ成分とＣｒ／Ｒ成分との両方によって共有され得る。別の方法では、それぞれの色差成分用に１つで、２つのＭＲＬインデックスが信号伝達される。第３の方法では、色差成分に関するＭＲＬを有効にするための追加のＭＲＬ信号伝達が不要になるように、色差成分のイントラ予測のための輝度ＭＲＬインデックスが再利用される。
【0178】
第３に、色差成分に対してＩＳＰが有効にされる。
【0179】
いくつかの実施形態では、イントラ符号化効率をさらに改善するために、ＶＶＣに、サブ分割予測（ＩＳＰ）と呼ばれる１つの符号化ツールが導入される。従来のイントラモードがブロックのイントラ予測サンプルを生成するために利用するのは、１つのＣＵに隣接する再構成されたサンプルのみである。そのような設計に基づき、予測されたサンプルと参照サンプルとの間の空間的相関は、それらの間の距離にほぼ比例する。したがって、内側部におけるサンプル（特にブロックの右下隅にあるサンプル）の予測品質は、通常、ブロック境界に近いサンプルのものよりも劣る。ＩＳＰは、ブロックサイズに依拠して、現在のＣＵを水平方向又は垂直方向のいずれかにおいて２つ又は４つのサブブロックに分割し、各サブブロックは少なくとも１６のサンプルを含有している。１つのサブブロックの中の再構成されたサンプルは、次のサブブロックの中のサンプルを予測するための参照として使用され得る。上記のプロセスは、現在のＣＵの内部のサブブロックがすべて符号化されるまで繰り返される。加えて、信号伝達のオーバヘッドを低減するために、１つのＩＳＰＣＵの内部のサブブロックのすべてが同一のイントラモードを共有する。加えて、既存のＩＳＰ設計によれば、サブブロック分割は輝度成分に対してのみ適用可能である。具体的には、１つのＩＳＰＣＵの輝度サンプルのみが複数のサブブロック（又はＴＵ）へとさらに分割され得、各輝度のサブブロックは別個に符号化される。しかしながら、ＩＳＰＣＵの色差サンプルは分割されない。言い換えれば、色差成分については、ＣＵは、さらなる分割のないイントラ予測、変換、量子化及びエントロピー符号化のための処理部として使用される。
【0180】
現行のＶＶＣでは、ＩＳＰモードが有効にされるとき、ＴＵ分割は輝度サンプルにのみ適用され、色差サンプルは、複数のＴＵへのさらなる分割はなしで符号化される。本開示の一実施形態によれば、色差面には豊富なテクスチャ情報があるので、４：４：４ビデオにおける色差符号化のためにＩＳＰモードも有効にされる。この実施形態を基に、種々の方法が使用され得る。方法の１つでは、１つの追加のＩＳＰインデックスが信号伝達され、２つの色差成分によって共有される。別の方法では、Ｃｂ／Ｂ用に１つ、Ｃｒ／Ｒ用に１つで、２つの追加のＩＳＰインデックスが別個に信号伝達される。第３の方法では、２つの色差成分のＩＳＰ予測のために、輝度成分用に使用されたＩＳＰインデックスが再利用される。
【0181】
第４に、新規のイントラ予測技術として、色差成分に対してマトリクスベースのイントラ予測（ＭＩＰ）が有効にされる。
【0182】
幅がＷで高さがＨの矩形ブロックのサンプルを予測するために、ＭＩＰは、ブロックの左に隣接する境界サンプルの再構成されたＨの１ラインと、ブロックの上に隣接する境界サンプルの再構成されたＷの１ラインとを、入力として採用する。再構成されたサンプルは、利用不可能な場合には、従来のイントラ予測で行われているように生成される。
【0183】
いくつかの実施形態では、輝度成分に対して有効にされるのはＭＩＰモードのみである。一実施形態では、色差成分に対してＩＳＰモードを有効にするのと同じ理由から、４：４：４ビデオの色差成分に対してＭＩＰが有効にされる。２つの信号伝達方法が適用され得る。第１の方法では、輝度成分用に使用されるＭＩＰモードと、２つの色差成分用に使用されるＭＩＰモードとの、２つのＭＩＰモードが別個に信号伝達される。第２の方法では、輝度成分と色差成分とで共有される１つの単一のＭＩＰモードのみが信号伝達される。
【0184】
第５に、色差成分に対して複数の変換選択（ＭＴＳ）が有効にされる。
【0185】
ＨＥＶＣで採用されているＤＣＴ－ＩＩに加えて、インター符号化ブロックとイントラ符号化ブロックとの両方の残差符号化用にＭＴＳ方式が使用される。ＭＴＳ方式は、ＤＣ
Ｔ８／ＤＳＴ７から選択された複数の変換を使用する。新たに導入された変換マトリクスは、ＤＳＴ－ＶＩＩ及びＤＣＴ－ＶＩＩＩである。
Ｔ８／ＤＳＴ７から選択された複数の変換を使用する。新たに導入された変換マトリクスは、ＤＳＴ－ＶＩＩ及びＤＣＴ－ＶＩＩＩである。
【0186】
現行のＶＶＣでは、ＭＴＳツールが有効にされるのは輝度成分に対してのみである。本開示の一実施形態では、４：４：４ビデオの色差成分用にＭＩＰが有効にされる。２つの信号伝達方法が適用され得る。第１の方法では、１つのＣＵに対してＭＴＳが有効にされるとき、輝度成分用に使用されるＭＩＰモードと、２つの色差成分用に使用されるＭＩＰモードとの、２つの変換インデックスが別個に信号伝達される。第２の方法では、ＭＴＳが有効にされるとき、輝度成分と色差成分とによって共有される１つの変換インデックスが信号伝達される。
【0187】
いくつかの実施形態では、使用される量子化パラメータ（ＱＰ）を、輝度ＱＰに基づいて色差成分から導出するのに、固定されたルックアップテーブルが使用されるＨＥＶＣ規格と異なり、ＶＶＣ規格では、輝度から色差へのマッピングテーブルが符号化器から復号器に送られ、これは区分線形関数のいくつかのピボット点によって定義される。具体的には、輝度から色差へのマッピングテーブルのシンタックス要素及び再構成プロセスは、以下のように記述される。
【0188】
【表15】
【0189】
ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａが１であると、１つの色差ＱＰマッピングテーブルだけが信号伝達されることを明示し、このテーブルは、Ｃｂ残差及びＣｒ残差に適用され、ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であ
るときにはジョイントＣｂ－Ｃｒ残差にも適用される。ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａが０であると、色差ＱＰマッピングテーブルは、Ｃｂ用及びＣｒ用の２つと、ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１のときのジョイントＣｂ－Ｃｒ用の追加の１つとがＳＰＳで信号伝達されることを明示する。ビットストリームの中に同一のｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａが存在しないとき、ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａの値は１と推論される。
るときにはジョイントＣｂ－Ｃｒ残差にも適用される。ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａが０であると、色差ＱＰマッピングテーブルは、Ｃｂ用及びＣｒ用の２つと、ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１のときのジョイントＣｂ－Ｃｒ用の追加の１つとがＳＰＳで信号伝達されることを明示する。ビットストリームの中に同一のｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａが存在しないとき、ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａの値は１と推論される。
【0190】
ｑｐ＿ｔａｂｌｅ＿ｓｔａｒｔ＿ｍｉｎｕｓ２６［ｉ］に２６を加えたものが、ｉ番目の色差ＱＰマッピングテーブルを記述するために使用される開始の輝度及び色差のＱＰを明示する。ｑｐ＿ｔａｂｌｅ＿ｓｔａｒｔ＿ｍｉｎｕｓ２６［ｉ］の値は、－２６－ＱｐＢｄＯｆｆｓｅｔ～３６の範囲内にある（両端を含む）ものとする。ビットストリームの中にｑｐ＿ｔａｂｌｅ＿ｓｔａｒｔ＿ｍｉｎｕｓ２６［ｉ］が存在しないとき、ｑｐ＿ｔａｂｌｅ＿ｓｔａｒｔ＿ｍｉｎｕｓ２６［ｉ］の値は０と推論される。
【0191】
ｎｕｍ＿ｐｏｉｎｔｓ＿ｉｎ＿ｑｐ＿ｔａｂｌｅ＿ｍｉｎｕｓ１［ｉ］に１を加えたものが、ｉ番目の色差ＱＰマッピングテーブルを記述するために使用されるポイントの数を規定する。ｎｕｍ＿ｐｏｉｎｔｓ＿ｉｎ＿ｑｐ＿ｔａｂｌｅ＿ｍｉｎｕｓ１［ｉ］の値は、０～６３＋ＱｐＢｄＯｆｆｓｅｔの範囲内にある（両端を含む）ものとする。ビットストリームの中にｎｕｍ＿ｐｏｉｎｔｓ＿ｉｎ＿ｑｐ＿ｔａｂｌｅ＿ｍｉｎｕｓ１［０］が存在しないとき、ｎｕｍ＿ｐｏｉｎｔｓ＿ｉｎ＿ｑｐ＿ｔａｂｌｅ＿ｍｉｎｕｓ１［０］の値は０と推論される。
【0192】
ｄｅｌｔａ＿ｑｐ＿ｉｎ＿ｖａｌ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｉ番目の色差ＱＰマッピングテーブルのｊ番目のピボット点の入力座標を導出するために使用される増分値を規定する。ビットストリームの中にｄｅｌｔａ＿ｑｐ＿ｉｎ＿ｖａｌ＿ｍｉｎｕｓ１［０］［ｊ］が存在しないとき、ｄｅｌｔａ＿ｑｐ＿ｉｎ＿ｖａｌ＿ｍｉｎｕｓ１［０］［ｊ］の値は０と推論される。
【0193】
ｄｅｌｔａ＿ｑｐ＿ｄｉｆｆ＿ｖａｌ［ｉ］［ｊ］は、ｉ番目の色差ＱＰマッピングテーブルのｊ番目のピボット点の出力座標を導出するために使用される増分値を規定する。
【0194】
ｉ番目の色差ＱＰマッピングテーブルＣｈｒｏｍａＱｐＴａｂｌｅ［ｉ］ ｆｏｒ ｉ＝０．．ｎｕｍＱｐＴａｂｌｅｓ－１は以下のように導出される。
【数11】
【0195】
いくつかの実施形態では、ＲＧＢビデオ用に改善された、輝度から色差へのマッピング機能が、本明細書で開示される。
【0196】
いくつかの実施形態では、入力ビデオがＲＧＢフォーマットであるとき、輝度ＱＰを色差ＱＰにマッピングするために、２部分からなる１つの線形関数が、符号化器から復号器へと送られる。これは、シンタックス要素を、ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａ＝１、ｑｐ＿ｔａｂｌｅ＿ｓｔａｒｔ＿ｍｉｎｕｓ２６［０］＝０、ｎｕｍ＿ｐｏｉｎｔｓ＿ｉｎ＿ｑｐ＿ｔａｂｌｅ＿ｍｉｎｕｓ１［０］＝０、ｄｅｌｔａ＿ｑｐ＿ｉｎ＿ｖａｌ＿ｍｉｎｕｓ１［０］［０］＝０、ｄｅｌｔａ＿ｑｐ＿ｄｉｆｆ＿ｖａｌ［０］［０］＝０と設定することによって行われる。具体的には、対応する輝度から色差へのＱＰマッピング機能は、次のように定義される。
【数12】
【0197】
テーブル１６は、内部符号化ビット深度が１０ビットであると想定して、ＲＧＢ符号化に適用される輝度から色差へのＱＰマッピング機能を示す。
【表16】
【0198】
式（５）に示されるように、輝度ＱＰが２６よりも大きいとき、輝度成分と色差成分とを符号化するために不同のＱＰ値が使用される。いくつかの実施形態では、不同のＱＰ値の影響は、量子化／量子化解除プロセスばかりではなく、次式で規定されるようなモード決定に関するレートディストーション（Ｒ－Ｄ）コストを計算するとき、重み付けされた色差歪みが使用される場合には、Ｒ－Ｄの最適化中に下される判定にも及ぶ。
【0199】
Ｊｍｏｄｅ＝（ＳＳＥｌｕｍａ＋Ｗｃｈｒｏｍａ・ＳＳＥｃｈｒｏｍａ）＋λｍｏｄｅ・Ｒｍｏｄｅ （６）
【0200】
式（６）で、ＳＳＥｌｕｍａ及びＳＳＥｃｈｒｏｍａは、それぞれ輝度及び色差成分の歪みであり、Ｒｍｏｄｅはビット数であり、λｍｏｄｅはラグランジュ乗数であり、Ｗｃｈｒｏｍａは色差歪みに対する重み付けパラメータであって、次式で計算される。
【数13】
【0201】
しかしながら、ＹＣｂＣｒ／ＹＵＶのビデオと比較して、ＲＧＢビデオの３つのチャネル間の相関はより強い。したがって、ビデオコンテンツがＲＧＢフォーマットで取り込まれたとき、通常、３つの成分のすべてに、強いテクスチャ及び高周波の情報があり、すなわちＲ、Ｇ及びＢの情報は同等に重要である。したがって、本開示の一実施形態では、ＲＧＢ符号化のために、３つのチャネルのすべてに対して等しいＱＰ値が適用される。これは、対応する輝度から色差へのＱＰマッピング・シンタックス要素を、ｓａｍｅ＿ｑｐ＿ｔａｂｌｅ＿ｆｏｒ＿ｃｈｒｏｍａ＝１、ｑｐ＿ｔａｂｌｅ＿ｓｔａｒｔ＿ｍｉｎｕｓ２６［０］＝０、ｎｕｍ＿ｐｏｉｎｔｓ＿ｉｎ＿ｑｐ＿ｔａｂｌｅ＿ｍｉｎｕｓ１［０］＝０、ｄｅｌｔａ＿ｑｐ＿ｉｎ＿ｖａｌ＿ｍｉｎｕｓ１［０］［０］＝０、ｄｅｌｔａ＿ｑｐ＿ｄｉｆｆ＿ｖａｌ［０］［０］＝１と設定することによって行われ得る。対応して、ＲＧＢの輝度から色差へのマッピング機能は、本明細書で開示された方法を用いて、式（
８）及びテーブル１７によって示される。
８）及びテーブル１７によって示される。
【0202】
ＱＰＣ＝ＱＰＬ （８）
【0203】
【表17】
【0204】
図１１Ａ及び図１１Ｂは、本開示のいくつかの実装形態に従って、ビデオ復号器が、符号化ユニットの残差のダイナミックレンジを逆ＡＣＴによって処理するための所定の範囲内に制限するためにクリッピングの技術を実施する、例示的なビデオ復号プロセスを示すブロック図である。
【0205】
より具体的には、図１１Ａは、逆ＡＣＴ１１０４の入力に対してクリッピング操作１１０２が適用される例を示す。図１１Ｂは、逆ＡＣＴ１１０４の入力に対してクリッピング操作１１０２が適用され、出力に対してクリッピング操作１１０６が適用される例を示す。いくつかの実施形態では、クリッピング操作１１０２と１１０６とは同一である。いくつかの実施形態では、クリッピング操作１１０２と１１０６とは異なる。
【0206】
いくつかの実施形態では、ビット深度制御方法はＡＣＴを用いて実施される。既存のＡＣＴ設計によれば、復号器における逆ＡＣＴプロセスの入力は、他の残差復号プロセス（たとえば逆変換、逆ＢＤＰＣＭ、逆ＪＣＣＲ）からの出力残差である。現在の実装形態では、それらの残差サンプルは、１６ビットの符号付き整数の最大値に届いてしまう可能性がある。そのような設計では、逆ＡＣＴは１６ビットの実装形態によって実施され得ず、このことはハードウェア実装形態にとって非常に高くつく。そのような問題を解決するために、逆ＡＣＴプロセスの入力残差に対してクリッピング操作が１回適用される。一実施形態では、逆ＡＣＴプロセスの入力残差に対して次式のクリッピング操作が適用される。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－（２Ｂｉｔｄｅｐｔｈ－１），２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
Ｂｉｔｄｅｐｔｈは内部符号化ビット深度である。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－（２Ｂｉｔｄｅｐｔｈ－１），２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
Ｂｉｔｄｅｐｔｈは内部符号化ビット深度である。
【0207】
別の実施形態では、逆ＡＣＴプロセスの入力残差に対して次式のような別のクリッピング操作が適用される。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－（２１５－１），２１５－１，Ｍ）
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－（２１５－１），２１５－１，Ｍ）
【0208】
加えて、別の実施形態では、クリッピング操作は逆ＡＣＴの出力残差に対して適用される。一実施形態では、逆ＡＣＴの出力に対して次式のクリッピング操作が適用される。
Ｃｌｉｐｏｕｔｐｕｔ＝Ｃｌｉｐ（－（２Ｂｉｔｄｅｐｔｈ－１），２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
Ｃｌｉｐｏｕｔｐｕｔ＝Ｃｌｉｐ（－（２Ｂｉｔｄｅｐｔｈ－１），２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
【0209】
別の実施形態では、逆ＡＣＴの出力に対して次式のクリッピング操作が適用される。
Ｃｌｉｐｏｕｔｐｕｔ＝Ｃｌｉｐ（－（２１５－１），２１５－１，Ｍ）
Ｃｌｉｐｏｕｔｐｕｔ＝Ｃｌｉｐ（－（２１５－１），２１５－１，Ｍ）
【0210】
図５Ｂに表されたリフティング操作に示されるように、可逆ＹＣｇＣｏ変換が適用されるとき、リフティング操作によって、Ｃｇ成分及びＣｏ成分のダイナミックレンジが１ビット増加されることになる。したがって、一実施形態では、可逆ＹＣｇＣｏ変換から出力された残差サンプルの精度を保つために、逆ＡＣＴの入力残差は、次式に基づいてクリップされる。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
【0211】
別の実施形態では、逆ＡＣＴへの入力Ｙ、Ｃｇ及びＣｏの残差に対して別のクリッピング操作が適用される。具体的には、可逆ＡＣＴの前後でＹ成分のビット深度が不変であるため、逆ＡＣＴに対する入力輝度残差は次式の操作によってクリップされる。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ，２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ，２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
【0212】
Ｃｇ成分及びＣｏ成分については、ビット深度が増加するので、逆ＡＣＴに対する対応する入力残差は、次式の操作によってクリップされる。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
【0213】
別の実施形態では、逆ＡＣＴへの入力残差は次式の操作によってクリップされる。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｃ，２Ｃ－１，Ｍ）
Ｃは１つの定数である。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｃ，２Ｃ－１，Ｍ）
Ｃは１つの定数である。
【0214】
図１２は、本開示のいくつかの実装形態に従って、ビデオ復号器（たとえばビデオ復号器３０）が、符号化ユニットの残差のダイナミックレンジを逆ＡＣＴによって処理するための所定の範囲内に制限するためにクリッピング操作を実行することによってビデオデータを復号する、例示的なプロセスを示す流れ図１２００である。
【0215】
ビデオ復号器３０は、ビットストリームから、イントラ予測モード又はインター予測モードによって符号化されている符号化ユニットに対応するビデオデータを受け取る（１２１０）。
【0216】
次いで、ビデオ復号器３０は、ビデオデータから第１のシンタックス要素を受け取る。第１のシンタックス要素は、符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示すものである（１２２０）。
【0217】
次いで、ビデオ復号器３０は、ビデオデータを処理して符号化ユニットの残差を生成する（１２３０）。符号化ユニットがＡＣＴを使用して符号化されているとの、第１のシンタックス要素に基づく判定に応じて、ビデオ復号器３０は、符号化ユニットの残差に対してクリッピング操作を実行する（１２４０）。ビデオ復号器３０は、符号化ユニットの残差に対して、クリッピング操作の後に逆ＡＣＴを適用する（１２５０）。
【0218】
いくつかの実施形態において、クリッピング操作は、符号化ユニットの残差のダイナミックレンジを、逆ＡＣＴによる処理のための所定の範囲内に制限する。
【0219】
いくつかの実施形態では、クリッピング操作は、
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
と定義され、Ｍは、クリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ＋１～（２Ｂｉｔｄｅ
ｐｔｈ＋１－１）の範囲内におけるクリッピング操作の出力である。いくつかの実施形態では、入力Ｍが－２Ｂｉｔｄｅｐｔｈ＋１未満であると、クリッピング操作の出力は－２Ｂｉｔｄｅｐｔｈ＋１に設定される。いくつかの実施形態では、入力Ｍが（２Ｂｉｔｄｅｐｔｈ＋１－１）よりも大きければ、クリッピング操作の出力は（２Ｂｉｔｄｅｐｔｈ＋１－１）に設定される。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
と定義され、Ｍは、クリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ＋１～（２Ｂｉｔｄｅ
ｐｔｈ＋１－１）の範囲内におけるクリッピング操作の出力である。いくつかの実施形態では、入力Ｍが－２Ｂｉｔｄｅｐｔｈ＋１未満であると、クリッピング操作の出力は－２Ｂｉｔｄｅｐｔｈ＋１に設定される。いくつかの実施形態では、入力Ｍが（２Ｂｉｔｄｅｐｔｈ＋１－１）よりも大きければ、クリッピング操作の出力は（２Ｂｉｔｄｅｐｔｈ＋１－１）に設定される。
【0220】
いくつかの実施形態では、クリッピング操作は、
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ，２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
と定義され、Ｍは、クリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ～（２Ｂｉｔｄｅｐｔｈ－１）の範囲内におけるクリッピング操作の出力である。いくつかの実施形態では、入力Ｍが－２Ｂｉｔｄｅｐｔｈ未満であると、クリッピング操作の出力は、－２Ｂｉｔｄｅｐｔｈに設定される。いくつかの実施形態では、入力Ｍが（２Ｂｉｔｄｅｐｔｈ－１）よりも大きければ、クリッピング操作の出力は、（２Ｂｉｔｄｅｐｔｈ－１）に設定される。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ，２Ｂｉｔｄｅｐｔｈ－１，Ｍ）
と定義され、Ｍは、クリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ～（２Ｂｉｔｄｅｐｔｈ－１）の範囲内におけるクリッピング操作の出力である。いくつかの実施形態では、入力Ｍが－２Ｂｉｔｄｅｐｔｈ未満であると、クリッピング操作の出力は、－２Ｂｉｔｄｅｐｔｈに設定される。いくつかの実施形態では、入力Ｍが（２Ｂｉｔｄｅｐｔｈ－１）よりも大きければ、クリッピング操作の出力は、（２Ｂｉｔｄｅｐｔｈ－１）に設定される。
【0221】
いくつかの実施形態では、ビデオ復号器３０は、クリッピング操作を実行する前に、符号化ユニットの残差に対して逆変換を適用する。
【0222】
いくつかの実施形態では、ビデオ復号器３０は、符号化ユニットの残差に対して逆ＡＣＴを適用した後に、符号化ユニットの残差に対して第２のクリッピング操作を適用する。
【0223】
いくつかの実施形態において、クリッピング操作は、符号化ユニットの残差のダイナミックレンジを、逆ＡＣＴによって実装される固定された内部符号化ビット深度の範囲内に調整する。
【0224】
いくつかの実施形態では、固定された内部符号化ビット深度は１５である。
【0225】
いくつかの実施形態では、ビデオ復号器３０は、ビデオデータから第１のシンタックス要素を受け取った後に、ビデオデータから第２のシンタックス要素を受け取り、第２のシンタックス要素は、クリッピング操作で使用される可変の内部符号化ビット深度を示すものである。
【0226】
いくつかの実施形態では、ビデオ復号器３０は、ビデオデータから第１のシンタックス要素を受け取った後に、ビデオデータから第２のシンタックス要素を受け取り、第２のシンタックス要素は第１の内部符号化ビット深度を示し、クリッピング操作で使用される第２の内部符号化ビット深度は、第１の内部符号化ビット深度に１を加えたものである。
【0227】
いくつかの実施形態では、クリッピング操作は、符号化ユニットの残差の輝度成分に適用される第１のクリッピング操作と、符号化ユニットの残差の色差成分に適用される第２のクリッピング操作とをさらに備える。
【0228】
いくつかの実施形態では、第１のクリッピング操作は、符号化ユニットの残差の輝度成分のダイナミックレンジを、第１の内部符号化ビット深度に１を加えたものの範囲内に制限し、第２のクリッピング操作は、符号化ユニットの残差の色差成分のダイナミックレンジを、第２の内部符号化ビット深度に１を加えたものの範囲内に制限し、第２の内部符号化ビット深度は、第１の内部符号化ビット深度に１を加えたものである。
【0229】
１つ又は複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウ
ェア、又はこれらの任意の組合せで実現され得る。この機能は、ソフトウェアで実現される場合には、１つ以上の命令又は符号（コード）としてコンピュータ読み取り可能な媒体に記憶されるか又は伝送されてよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記録媒体などの有体物の媒体に対応するコンピュータ読み取り可能な記録媒体、又は、たとえば通信プロトコルによる、ある位置から別の位置へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信メディアを含み得る。このように、コンピュータ読み取り可能な媒体は、一般に、（１）有体物である非一時型のコンピュータ読み取り可能な記録媒体、又は（２）信号もしくは搬送波などの通信媒体に相当し得るものである。データ記録媒体は、１つ以上のコンピュータ又は１つ以上のプロセッサによって、本出願に記述された実施形態を実現するための命令、符号及び／又はデータ構造を取り出すためにアクセスされ得る、任意の利用可能な媒体でよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
ェア、又はこれらの任意の組合せで実現され得る。この機能は、ソフトウェアで実現される場合には、１つ以上の命令又は符号（コード）としてコンピュータ読み取り可能な媒体に記憶されるか又は伝送されてよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記録媒体などの有体物の媒体に対応するコンピュータ読み取り可能な記録媒体、又は、たとえば通信プロトコルによる、ある位置から別の位置へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信メディアを含み得る。このように、コンピュータ読み取り可能な媒体は、一般に、（１）有体物である非一時型のコンピュータ読み取り可能な記録媒体、又は（２）信号もしくは搬送波などの通信媒体に相当し得るものである。データ記録媒体は、１つ以上のコンピュータ又は１つ以上のプロセッサによって、本出願に記述された実施形態を実現するための命令、符号及び／又はデータ構造を取り出すためにアクセスされ得る、任意の利用可能な媒体でよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0230】
本明細書の実施形態の記述において使用される専門用語は、特定の実施形態のみを記述するためのものであり、特許請求の範囲を制限するようには意図されていない。実施形態及び添付の特許請求の範囲の記述で用いられるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈がはっきりと別様に示さなければ、複数形も含むように意図されている。本明細書で使用されるような「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数の、ありとあらゆる可能な組合せを指し、かつ包含することも理解されよう。「備える」及び／又は「備えている」という用語は、本明細書で使用されたとき、明示された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はこれらのグループの存在もしくは追加を排除するものではないがさらに理解されよう。
【0231】
様々な要素を説明するために、本明細書では第１、第２などの用語が用いられることがあるが、これらの要素は、これらの用語によって限定されるべきでないことも理解されよう。これらの用語は、単に１つの要素を別のものと区別するのに用いられる。たとえば、実施形態の範囲から逸脱することなく、第１の電極が第２の電極と称され得て、同様に、第２の電極が第１の電極と称され得る。第１の電極と第２の電極は、どちらも電極であるが同一の電極ではない。
【0232】
本出願の記述は解説及び説明のために提示されており、網羅的であること又は開示された形態の発明に限定されることは意図されていない。多くの修正形態、変形形態、及び代替の実施形態が、先の記述及び関連する図面において提示された教示内容の利益を有する当業者には明らかなはずである。実施形態は、本発明の原理や実際の用途について最も良く説明するため、他の当業者が様々な実施形態に関して本発明を理解することを可能にするため、また、基本原理と、企図された特定の使用法に適するものとしての様々な修正形態を伴う様々な実施形態とを最も良く利用するために、選択して記述されたものである。したがって、特許請求の範囲は、開示された実施形態の特定の実施例及びその修正形態に限定されず、添付の特許請求の範囲の範囲内に含まれるように他の実施形態が意図されていることを理解されたい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【手続補正書】
【提出日】2024-08-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、
符号化ユニットに対応するビデオデータを受け取るステップと、
前記ビデオデータから、前記符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、
前記符号化ユニットが前記ＡＣＴを使用して符号化されているとの、前記第１のシンタックス要素に基づく判定に応じて、
前記符号化ユニットの残差に対してクリッピング操作を実行し、
前記クリッピング操作の後に、前記符号化ユニットの前記残差に対して逆ＡＣＴを適用し、
前記逆ＡＣＴを適用した後の前記残差に基づいて前記符号化ユニットを再構成するステップと
を備え、
前記クリッピング操作が、前記符号化ユニットの前記残差の輝度成分に適用される第１のクリッピング操作と、前記符号化ユニットの前記残差の色差成分に適用される、前記第１のクリッピング操作とは別の第２のクリッピング操作とをさらに備える、方法。
符号化ユニットに対応するビデオデータを受け取るステップと、
前記ビデオデータから、前記符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、
前記符号化ユニットが前記ＡＣＴを使用して符号化されているとの、前記第１のシンタックス要素に基づく判定に応じて、
前記符号化ユニットの残差に対してクリッピング操作を実行し、
前記クリッピング操作の後に、前記符号化ユニットの前記残差に対して逆ＡＣＴを適用し、
前記逆ＡＣＴを適用した後の前記残差に基づいて前記符号化ユニットを再構成するステップと
を備え、
前記クリッピング操作が、前記符号化ユニットの前記残差の輝度成分に適用される第１のクリッピング操作と、前記符号化ユニットの前記残差の色差成分に適用される、前記第１のクリッピング操作とは別の第２のクリッピング操作とをさらに備える、方法。
【請求項2】
請求項１に記載の方法であって、前記クリッピング操作が、前記符号化ユニットの前記残差のダイナミックレンジを、前記逆ＡＣＴによる処理のための所定の範囲内に制限する、方法。
【請求項3】
請求項１に記載の方法であって、前記第２のクリッピング操作が、
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
と定義され、Ｍは、前記第２のクリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ＋１～（２Ｂｉｔｄｅｐｔｈ＋１－１）の範囲内における前記第２のクリッピング操作の出力である、方法。
Ｃｌｉｐｉｎｐｕｔ＝Ｃｌｉｐ（－２Ｂｉｔｄｅｐｔｈ＋１，２Ｂｉｔｄｅｐｔｈ＋１－１，Ｍ）
と定義され、Ｍは、前記第２のクリッピング操作への入力であり、Ｂｉｔｄｅｐｔｈは、内部符号化ビット深度であり、Ｃｌｉｐｉｎｐｕｔは、－２Ｂｉｔｄｅｐｔｈ＋１～（２Ｂｉｔｄｅｐｔｈ＋１－１）の範囲内における前記第２のクリッピング操作の出力である、方法。
【請求項4】
請求項１に記載の方法であって、前記クリッピング操作を実行する前に、前記符号化ユニットの前記残差を生成するために逆変換を適用するステップをさらに備える方法。
【請求項5】
請求項１に記載の方法であって、前記符号化ユニットの前記残差に対して前記逆ＡＣＴを適用した後に、前記符号化ユニットの前記残差に対して第３のクリッピング操作を適用するステップをさらに備える方法。
【請求項6】
請求項１に記載の方法であって、前記クリッピング操作が、前記符号化ユニットの前記残差のダイナミックレンジを、固定された内部符号化ビット深度の範囲内に調整するものであり、前記固定された内部符号化ビット深度の当該範囲は、前記逆ＡＣＴによる処理のための固定された内部符号化ビット深度に基づいて決定される、方法。
【請求項7】
請求項６に記載の方法であって、前記固定された内部符号化ビット深度が１５である、方法。
【請求項8】
請求項１に記載の方法であって、前記ビデオデータから第１のシンタックス要素を受け取った後に、前記ビデオデータから第２のシンタックス要素を受け取るステップであって、前記第２のシンタックス要素が前記クリッピング操作で使用される可変の内部符号化ビット深度を示すものである、ステップをさらに備える方法。
【請求項9】
請求項１に記載の方法であって、前記ビデオデータから第１のシンタックス要素を受け取った後に、前記ビデオデータから第２のシンタックス要素を受け取るステップであって、前記第２のシンタックス要素が第１の内部符号化ビット深度を示し、前記クリッピング操作で使用される第２の内部符号化ビット深度が前記第１の内部符号化ビット深度に１を加えたものである、ステップ、をさらに備える方法。
【請求項10】
請求項１に記載の方法であって、
前記第１のクリッピング操作が、前記符号化ユニットの前記残差の前記輝度成分のダイナミックレンジを、第１の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２のクリッピング操作が、前記符号化ユニットの前記残差の前記色差成分のダイナミックレンジを、第２の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２の内部符号化ビット深度は前記第１の内部符号化ビット深度に１を加えたものである、方法。
前記第１のクリッピング操作が、前記符号化ユニットの前記残差の前記輝度成分のダイナミックレンジを、第１の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２のクリッピング操作が、前記符号化ユニットの前記残差の前記色差成分のダイナミックレンジを、第２の内部符号化ビット深度に１を加えたものの範囲内に制限し、
前記第２の内部符号化ビット深度は前記第１の内部符号化ビット深度に１を加えたものである、方法。
【請求項11】
電子装置であって、
１つ以上の処理部と、
前記１つ以上の処理部に接続されたメモリと、
前記メモリに記憶された複数のプログラム及びビットストリームとを備え、
前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に、前記ビットストリームに対して請求項１から１０のいずれか一項に記載の方法を実施させる、電子装置。
１つ以上の処理部と、
前記１つ以上の処理部に接続されたメモリと、
前記メモリに記憶された複数のプログラム及びビットストリームとを備え、
前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に、前記ビットストリームに対して請求項１から１０のいずれか一項に記載の方法を実施させる、電子装置。
【請求項12】
復号されるべきビットストリームと、１つ以上の処理部を有する電子装置による実行のための複数のプログラムとを記憶している非一時型コンピュータ読み取り可能な記憶媒体であって、前記複数のプログラムが、前記１つ以上の処理部によって実行されたとき、前記電子装置に、前記ビットストリームに対して請求項１から１０のいずれか一項に記載の方法を実施させる、非一時型コンピュータ読み取り可能な記憶媒体。
【請求項13】
１つ以上のプロセッサを備えたコンピュータ装置による実行のための命令を含むコンピュータプログラムであって、前記命令は、前記１つ以上のプロセッサによって実行されると、前記コンピュータ装置に、請求項１から１０のいずれか一項に記載の方法を実施させるためにビットストリームを受信させる、コンピュータプログラム。
【請求項14】
ビデオ復号方法により復号されるべきビットストリームを記憶するための方法であって、
当該ビデオ復号方法が、
ビットストリームから、符号化ユニットに対応するビデオデータを受け取るステップと、
前記ビデオデータから、前記符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、
前記符号化ユニットが前記ＡＣＴを使用して符号化されているとの、前記第１のシンタックス要素に基づく判定に応じて、
前記符号化ユニットの残差に対してクリッピング操作を実行し、
前記クリッピング操作の後に、前記符号化ユニットの前記残差に対して逆ＡＣＴを適用し、
前記逆ＡＣＴを適用した後の前記残差に基づいて前記符号化ユニットを再構成するステップと
を備え、
前記クリッピング操作が、前記符号化ユニットの前記残差の輝度成分に適用される第１のクリッピング操作と、前記符号化ユニットの前記残差の色差成分に適用される、前記第１のクリッピング操作とは別の第２のクリッピング操作とをさらに備える、方法。
当該ビデオ復号方法が、
ビットストリームから、符号化ユニットに対応するビデオデータを受け取るステップと、
前記ビデオデータから、前記符号化ユニットが適応型色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す第１のシンタックス要素を受け取るステップと、
前記符号化ユニットが前記ＡＣＴを使用して符号化されているとの、前記第１のシンタックス要素に基づく判定に応じて、
前記符号化ユニットの残差に対してクリッピング操作を実行し、
前記クリッピング操作の後に、前記符号化ユニットの前記残差に対して逆ＡＣＴを適用し、
前記逆ＡＣＴを適用した後の前記残差に基づいて前記符号化ユニットを再構成するステップと
を備え、
前記クリッピング操作が、前記符号化ユニットの前記残差の輝度成分に適用される第１のクリッピング操作と、前記符号化ユニットの前記残差の色差成分に適用される、前記第１のクリッピング操作とは別の第２のクリッピング操作とをさらに備える、方法。
【外国語明細書】