特表2024-500654 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ クアルコム，インコーポレイテッドの特許一覧

特表2024-500654ビデオコーディングにおける複数の色成分に対する符号予測

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2A
2B
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-10

(54)【発明の名称】ビデオコーディングにおける複数の色成分に対する符号予測

(51)【国際特許分類】

H04N 19/186 20140101AFI20231227BHJP

H04N 19/176 20140101ALI20231227BHJP

H04N 19/103 20140101ALI20231227BHJP

【ＦＩ】

H04N19/186

H04N19/176

H04N19/103

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023532597

(86)(22)【出願日】2021-12-22

(85)【翻訳文提出日】2023-05-29

(86)【国際出願番号】 US2021064890

(87)【国際公開番号】W WO2022146831

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】63/131,615

(32)【優先日】2020-12-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/645,439

(32)【優先日】2021-12-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田晋平

(72)【発明者】

【氏名】ホンタオ・ワン

(72)【発明者】

【氏名】ジエンレ・チェン

(72)【発明者】

【氏名】マルタ・カルチェヴィッチ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA01

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159ME11

5C159PP16

5C159TA25

5C159TB08

5C159TD12

5C159UA02

5C159UA05

(57)【要約】

例示的な方法は、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む。

【特許請求の範囲】

【請求項1】

ビデオデータを復号する方法であって、
クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータの前記ブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、
前記複数の色成分のうちのそれぞれの色成分ごとに、前記ジョイント残差ブロックの前記複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、
前記複数の残差ブロックに基づいて、ビデオデータの前記ブロックを再構成するステップと
を含む方法。

【請求項2】

前記符号を予測するステップが、
前記複数の色成分のジョイントコスト値を決定するステップと、
前記ジョイントコスト値に基づいて前記符号を予測するステップと
を含む、請求項1に記載の方法。

【請求項3】

前記ジョイントコスト値を決定するステップが、前記複数の色成分のコスト値の加重和として前記ジョイントコスト値を決定するステップを含む、請求項2に記載の方法。

【請求項4】

前記複数の色成分の前記コスト値の前記加重和として前記ジョイントコスト値を決定するステップが、以下の式に従って前記ジョイントコスト値を決定するステップを含み、

【数1】

式中、Cost_jointが前記ジョイントコスト値であり、w_colorが前記複数の色成分のうちの特定の色成分の重みであり、Sが前記複数の色成分を含むセットを示し、Cost_colorが前記特定の色成分のコスト値である、
請求項3に記載の方法。

【請求項5】

前記複数の色成分のうちの第1の色成分のための第1の重みを決定するステップと、
前記複数の色成分のうちの第2の色成分のための第2の重みを決定するステップと、
前記第1の重みおよび前記第2の重みに基づいて、前記複数の色成分の前記コスト値の前記加重和を決定するステップと
をさらに含む、請求項3に記載の方法。

【請求項6】

前記第1の重みおよび前記第2の重みを決定するステップが、
前記複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、前記第1の重みおよび前記第2の重みを決定するステップ
を含む、請求項5に記載の方法。

【請求項7】

前記第1の色成分がCb色成分であり、前記第2の色成分がCr色成分である、請求項6に記載の方法。

【請求項8】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記方法が、
前記Cb色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが1であり、前記第2の重みが0であると決定するステップ
をさらに含む、請求項7に記載の方法。

【請求項9】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記方法が、
前記Cb色成分がゼロCBFを有し、前記Cr色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが0であり、前記第2の重みが1であると決定するステップ
をさらに含む、請求項7に記載の方法。

【請求項10】

前記Cb色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが1であると決定するステップと、
前記Cr色成分が非ゼロCBFを有するとの決定に応答して、前記第2の重みが1であると決定するステップと
をさらに含む、請求項7に記載の方法。

【請求項11】

前記複数の色成分の前記ジョイントコスト値を決定するステップが、
負符号に対する前記複数の色成分の第1のジョイントコスト値を決定するステップと、
正符号に対する前記複数の色成分の第2のジョイントコスト値を決定するステップと
を含み、残差データの前記符号を予測するステップが、
前記第1のジョイントコスト値が前記第2のジョイントコスト値未満であるとの決定に応答して、前記符号が負であると予測するステップと、
前記第2のジョイントコスト値が前記第1のジョイントコスト値未満であるとの決定に応答して、前記符号が正であると予測するステップと
を含む、請求項2に記載の方法。

【請求項12】

ビデオデータを符号化する方法であって、
クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータの前記ブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、
前記複数の色成分のうちのそれぞれの色成分ごとに、前記ジョイント残差ブロックの前記複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、
前記複数の残差ブロックに基づいて、ビデオデータの前記ブロックを再構成するステップと
を含む方法。

【請求項13】

前記符号を予測するステップが、
前記複数の色成分のジョイントコスト値を決定するステップと、
前記ジョイントコスト値に基づいて前記符号を予測するステップと
を含む、請求項12に記載の方法。

【請求項14】

前記ジョイントコスト値を決定するステップが、前記複数の色成分のコスト値の加重和として前記ジョイントコスト値を決定するステップを含む、請求項13に記載の方法。

【請求項15】

【数2】

式中、Cost_jointが前記ジョイントコスト値であり、w_colorが前記複数の色成分のうちの特定の色成分の重みであり、Sが前記複数の色成分を含むセットを示し、Cost_colorが前記特定の色成分のコスト値である、
請求項14に記載の方法。

【請求項16】

前記複数の色成分のうちの第1の色成分のための第1の重みを決定するステップと、
前記複数の色成分のうちの第2の色成分のための第2の重みを決定するステップと、
前記第1の重みおよび前記第2の重みに基づいて、前記複数の色成分の前記コスト値の前記加重和を決定するステップと
をさらに含む、請求項14に記載の方法。

【請求項17】

前記第1の重みおよび前記第2の重みを決定するステップが、
前記複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、前記第1の重みおよび前記第2の重みを決定するステップ
を含む、請求項16に記載の方法。

【請求項18】

前記第1の色成分がCb色成分であり、前記第2の色成分がCr色成分である、請求項17に記載の方法。

【請求項19】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記方法が、
前記Cb色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが1であり、前記第2の重みが0であると決定するステップ
をさらに含む、請求項18に記載の方法。

【請求項20】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記方法が、
前記Cb色成分がゼロCBFを有し、前記Cr色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが0であり、前記第2の重みが1であると決定するステップ
をさらに含む、請求項18に記載の方法。

【請求項21】

前記Cb色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが1であると決定するステップと、
前記Cr色成分が非ゼロCBFを有するとの決定に応答して、前記第2の重みが1であると決定するステップと
をさらに含む、請求項18に記載の方法。

【請求項22】

【請求項23】

ビデオデータを復号するためのデバイスであって、
ビデオデータを記憶するように構成されたメモリと、
回路において実装され、
クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータの前記ブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、
前記複数の色成分のうちのそれぞれの色成分ごとに、前記ジョイント残差ブロックの前記複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、
前記複数の残差ブロックに基づいて、ビデオデータの前記ブロックを再構成することと
を行うように構成された1つまたは複数のプロセッサと
を備えるデバイス。

【請求項24】

前記符号を予測するために、前記1つまたは複数のプロセッサが、
前記複数の色成分のジョイントコスト値を決定することと、
前記ジョイントコスト値に基づいて前記符号を予測することと
を行うように構成される、請求項23に記載のデバイス。

【請求項25】

前記ジョイントコスト値を決定するために、前記1つまたは複数のプロセッサが、前記複数の色成分のコスト値の加重和として前記ジョイントコスト値を決定するように構成される、請求項24に記載のデバイス。

【請求項26】

前記1つまたは複数のプロセッサが、
前記複数の色成分のうちの第1の色成分のための第1の重みを決定することと、
前記複数の色成分のうちの第2の色成分のための第2の重みを決定することと、
前記第1の重みおよび前記第2の重みに基づいて、前記複数の色成分の前記コスト値の前記加重和を決定することと
を行うようにさらに構成される、請求項25に記載のデバイス。

【請求項27】

前記第1の重みおよび前記第2の重みを決定するために、前記1つまたは複数のプロセッサが、
前記複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、前記第1の重みおよび前記第2の重みを決定する
ように構成される、請求項26に記載のデバイス。

【請求項28】

前記第1の色成分がCb色成分であり、前記第2の色成分がCr色成分である、請求項27に記載のデバイス。

【請求項29】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記1つまたは複数のプロセッサが、
前記Cb色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが1であり、前記第2の重みが0であると決定する
ようにさらに構成される、請求項28に記載のデバイス。

【請求項30】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記1つまたは複数のプロセッサが、
前記Cb色成分がゼロCBFを有し、前記Cr色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが0であり、前記第2の重みが1であると決定する
ようにさらに構成される、請求項28に記載のデバイス。

【請求項31】

ビデオデータを符号化するためのデバイスであって、
ビデオデータを記憶するように構成されたメモリと、
回路において実装され、
クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータの前記ブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、
前記複数の色成分のうちのそれぞれの色成分ごとに、前記ジョイント残差ブロックの前記複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、
前記複数の残差ブロックに基づいて、ビデオデータの前記ブロックを再構成することと
を行うように構成された1つまたは複数のプロセッサと
を備えるデバイス。

【請求項32】

前記符号を予測するために、前記1つまたは複数のプロセッサが、
前記複数の色成分のジョイントコスト値を決定することと、
前記ジョイントコスト値に基づいて前記符号を予測することと
を行うように構成される、請求項31に記載のデバイス。

【請求項33】

前記ジョイントコスト値を決定するために、前記1つまたは複数のプロセッサが、前記複数の色成分のコスト値の加重和として前記ジョイントコスト値を決定するように構成される、請求項32に記載のデバイス。

【請求項34】

【請求項35】

前記第1の重みおよび前記第2の重みを決定するために、前記1つまたは複数のプロセッサが、
前記複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、前記第1の重みおよび前記第2の重みを決定する
ように構成される、請求項34に記載のデバイス。

【請求項36】

前記第1の色成分がCb色成分であり、前記第2の色成分がCr色成分である、請求項35に記載のデバイス。

【請求項37】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記1つまたは複数のプロセッサが、
前記Cb色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが1であり、前記第2の重みが0であると決定する
ようにさらに構成される、請求項36に記載のデバイス。

【請求項38】

前記Cb色成分が、前記走査順序において前記Cr色成分よりも前に走査され、前記1つまたは複数のプロセッサが、
前記Cb色成分がゼロCBFを有し、前記Cr色成分が非ゼロCBFを有するとの決定に応答して、前記第1の重みが0であり、前記第2の重みが1であると決定する
ようにさらに構成される、請求項36に記載のデバイス。

【請求項39】

ビデオデータをコーディングするためのデバイスであって、
クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータの前記ブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するための手段と、
前記複数の色成分のうちのそれぞれの色成分ごとに、前記ジョイント残差ブロックの前記複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するための手段と、
前記複数の残差ブロックに基づいて、ビデオデータの前記ブロックを再構成するための手段と
を備えるデバイス。

【請求項40】

命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコーダの1つまたは複数のプロセッサに、
クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータの前記ブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、
前記複数の色成分のうちのそれぞれの色成分ごとに、前記ジョイント残差ブロックの前記複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、
前記複数の残差ブロックに基づいて、ビデオデータの前記ブロックを再構成することと
を行わせる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2021年12月21日に出願された米国出願第17/645,439号および2020年12月29日に出願された米国仮出願第63/131,615号の優先権を主張し、それらの出願の内容全体は、参照により本明細書に組み込まれる。2021年12月21日に出願された米国出願第17/645,439号は、2020年12月29日に出願された米国仮出願第63/131,615号の利益を主張する。

【0002】

本開示は、ビデオ符号化およびビデオ復号に関する。

【背景技術】

【0003】

デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星ラジオ電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。

【0004】

ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Brossら、「Versatile Video Coding (Draft 10)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第18回会議:遠隔会議による、2020年6月22日～7月1日、JVET-S2001-vA

【非特許文献2】The Joint Exploration Model (JEM)、ieeexplore.ieee.org/document/8861068

【発明の概要】

【課題を解決するための手段】

【0006】

一般に、本開示は、ビデオデータの複数の色成分に基づいて実行される符号予測を使用してビデオデータをコーディングするための技法について説明する。変換ブロックの複数の係数のうちの係数に対する符号値を予測するために、ビデオコーダ(たとえば、ビデオエンコーダおよび/またはビデオデコーダ)は、係数の符号値の正値と負値の両方を使用して変換ブロックを再構成し得る。候補符号値を使用する各ブロック再構成は、仮説再構成と呼ばれることがある。ビデオコーダは、コスト関数を用いて係数の符号に対する2つの仮説再構成を評価することと、コスト関数を最小化し、変換ブロックの係数に対する予測された符号値を与える仮説再構成を選択することとを行い得る。しかしながら、いくつかの例では、複数のブロックは予測された符号値の影響を受けることがあり得る。たとえば、変換ブロックが、ビデオコーダがそこから各々が異なる色成分に対応する複数の変換ブロックを生成する、クロマ残差のジョイントコーディング(JCCR)変換ブロックである場合、複数の変換ブロックはすべて、予測された符号値の影響を受けることがあり得る。1つの仮説再構成は、1つの色成分に対してはうまく機能するが、他の色成分に対してはうまく機能しないことがあるので、1つの色成分のみに基づいて符号予測を実行することは、準最適であり得る。

【0007】

本開示の1つまたは複数の技法によれば、ビデオコーダ(たとえば、ビデオエンコーダおよび/またはビデオデコーダ)は、ビデオデータの複数の色成分に基づいて符号予測を実行し得る。たとえば、各々が異なる色成分に対応する複数の変換ブロック(たとえば、Cb変換ブロックおよびCr変換ブロック)を生成するために使用されるJCCR変換ブロックに対して符号予測を実行するとき、ビデオコーダは複数の色成分に基づいて符号予測を実行し得る。複数の色成分に基づいて符号予測を実行することによって、本開示の技法は符号予測を改善し得る。改善された符号予測は、符号をシグナリングするのに必要なビットの数を低減し得る。このようにして、本開示の技法はコーディング効率を改善し得る。

【0008】

一例では、ビデオデータを復号する方法は、JCCRを使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む。

【0009】

別の例では、ビデオデータを符号化する方法は、JCCRを使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む。

【0010】

別の例では、ビデオデータをコーディングするためのデバイスは、JCCRを使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するための手段と、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するための手段と、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するための手段とを含む。

【0011】

別の例では、コンピュータ可読記憶媒体は、実行されると、ビデオコーダの1つまたは複数のプロセッサに、JCCRを使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行わせる命令を記憶する。

【0012】

1つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0013】

【図1】本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図である。

【図2A】例示的な4分木2分木(QTBT)構造を示す概念図である。

【図2B】対応するコーディングツリーユニット(CTU)を示す概念図である。

【図3】本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図である。

【図4】本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図である。

【図5】HEVCにおける4個の係数グループを含む8×8変換ブロックの係数走査を示す概念図である。

【図6】係数符号予測の一例を示す概念図である。

【図7】本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。

【図8】本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャートである。

【図9】本開示の技法による、複数の色成分に基づく符号予測を使用して現在のブロックを復号するための例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0014】

【0015】

【0016】

図1は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化されたビデオ、復号された(たとえば、再構成された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

【0017】

図1に示すように、システム100は、この例では、宛先デバイス116によって復号および表示されるべき、符号化されたビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれかを備えてもよい。場合によっては、ソースデバイス102および宛先デバイス116は、ワイヤレス通信用に装備されることがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。

【0018】

図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。宛先デバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、およびディスプレイデバイス118を含む。本開示によれば、ソースデバイス102のビデオエンコーダ200および宛先デバイス116のビデオデコーダ300は、複数の色成分に対する符号予測のための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの一例を表し、宛先デバイス116はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0019】

図1に示すようなシステム100は一例にすぎない。一般に、任意のデジタルビデオ符号化および/または復号デバイスは、複数の色成分に対する符号予測のための技法を実行し得る。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116に送信するためのコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実行するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれ、ビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化および復号構成要素を含むように実質的に対称的な方法で動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス102と宛先デバイス116との間の一方向または双方向のビデオ送信をサポートし得る。

【0020】

一般に、ビデオソース104は、ビデオデータ(すなわち、未加工の符号化されていないビデオデータ)のソースを表し、ビデオデータの連続した一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200は、ピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工ビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディング用のコーディング順序にピクチャを並べ替え得る。ビデオエンコーダ200は、符号化されたビデオデータを含むビットストリームを生成し得る。次いで、ソースデバイス102は、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、符号化されたビデオデータを出力インターフェース108を介してコンピュータ可読媒体110上に出力し得る。

【0021】

ソースデバイス102のメモリ106および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工ビデオデータ、たとえば、ビデオソース104からの未加工ビデオと、ビデオデコーダ300からの未加工の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、符号化されたビデオデータ、たとえば、ビデオエンコーダ200からの出力およびビデオデコーダ300への入力を記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば、未加工の、復号された、および/または符号化されたビデオデータを記憶するための、1つまたは複数のビデオバッファとして割り振られ得る。

【0022】

コンピュータ可読媒体110は、符号化されたビデオデータをソースデバイス102から宛先デバイス116にトランスポートすることが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102が符号化されたビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108が符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース122が受信された送信信号を復調し得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。

【0023】

いくつかの例では、ソースデバイス102は、符号化されたデータを出力インターフェース108から記憶デバイス112に出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化されたデータにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。

【0024】

いくつかの例では、ソースデバイス102は、符号化されたビデオデータを、ソースデバイス102によって生成された符号化されたビデオデータを記憶し得るファイルサーバ114または別の中間記憶デバイスに出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。

【0025】

ファイルサーバ114は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイト用の)ウェブサーバ、(ファイル転送プロトコル(FTP)または単方向トランスポートを介したファイル配信(FLUTE:File Delivery over Unidirectional Transport)プロトコルなどの)ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク(CDN)デバイス、ハイパーテキスト転送プロトコル(HTTP)サーバ、マルチメディアブロードキャストマルチキャストサービス(MBMS)もしくは拡張MBMS(eMBMS)サーバ、および/またはネットワークアタッチトストレージ(NAS)デバイスを表し得る。ファイルサーバ114は、追加または代替として、動的適応ストリーミングオーバーHTTP(DASH:Dynamic Adaptive Streaming over HTTP)、HTTPライブストリーミング(HLS:HTTP Live Streaming)、リアルタイムストリーミングプロトコル(RTSP:Real Time Streaming Protocol)、HTTP動的ストリーミング(HTTP Dynamic Streaming)などの1つまたは複数のHTTPストリーミングプロトコルを実装し得る。

【0026】

宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ114からの符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶された符号化されたビデオデータにアクセスするのに適した両方の組合せを含み得る。入力インターフェース122は、ファイルサーバ114からメディアデータを取り出すかもしくは受信するための上記で説明した様々なプロトコルまたはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか1つまたは複数に従って動作するように構成され得る。

【0027】

出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネットカード)、様々なIEEE802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE802.11仕様、IEEE802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能を実行するためのSoCデバイスを含み得、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能を実行するためのSoCデバイスを含み得る。

【0028】

本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

【0029】

宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から、符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素などの、ビデオエンコーダ200によって定義され、ビデオデコーダ300によっても使用されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス118は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを表し得る。

【0030】

図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されることがあり、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含み得る。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。

【0031】

ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な好適なエンコーダおよび/またはデコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェア用の命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれることがあり、それらのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(CODEC)の一部として統合されることがある。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。

【0032】

ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのその拡張に従って動作し得る。代替として、ビデオエンコーダ200およびビデオデコーダ300は、多用途ビデオコーディング(VVC)とも呼ばれるITU-T H.266などの、他のプロプライエタリ規格または業界規格に従って動作し得る。VVC規格の草案は、Brossら、「Versatile Video Coding (Draft 10)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第18回会議:遠隔会議による、2020年6月22日～7月1日、JVET-S2001-vA(以下では「VVC Draft 10」)に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

【0033】

一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は、一般に、処理される(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または他の方法で使用される)べきデータを含む構造を指す。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのための赤、緑、および青(RGB)データをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分をコーディングし得、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ200が、符号化に先立って、受信されたRGBフォーマットされたデータをYUV表現にコンバートし、ビデオデコーダ300が、YUV表現をRGBフォーマットにコンバートする。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらのコンバージョンを実行し得る。

【0034】

本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセスを含めるように、ピクチャのブロックのコーディング、たとえば、予測および/または残差コーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。

【0035】

HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUおよびCUを4個の等しい重複しない正方形に区分し、4分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つもしくは複数のPUおよび/または1つもしくは複数のTUを含み得る。ビデオコーダはPUおよびTUをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。

【0036】

別の例として、ビデオエンコーダ200およびビデオデコーダ300は、VVCに従って動作するように構成され得る。VVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造などのツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCU、PU、およびTUの間の区別などの、複数の区分タイプの概念を排除する。QTBT構造は、2つのレベル、すなわち、4分木区分に従って区分された第1のレベルおよび2分木区分に従って区分された第2のレベルを含む。QTBT構造のルートノードは、CTUに対応する。2分木のリーフノードは、コーディングユニット(CU)に対応する。

【0037】

MTT区分構造では、ブロックは、4分木(QT)区分、2分木(BT)区分、および1つまたは複数のタイプの3分木(TT:triple tree)(3分木(TT:ternary tree)とも呼ばれる)区分を使用して区分され得る。3分木(triple tree)または3分木(ternary tree)区分は、ブロックが3つのサブブロックに分割される区分である。いくつかの例では、3分木(triple tree)または3分木(ternary tree)区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は対称または非対称であり得る。

【0038】

いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分の各々を表すために単一のQTBTまたはMTT構造を使用し得るが、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分のための1つのQTBT/MTT構造および両方のクロミナンス成分のための別のQTBT/MTT構造(またはそれぞれのクロミナンス成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用し得る。

【0039】

ビデオエンコーダ200およびビデオデコーダ300は、HEVCごとの4分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明のために、本開示の技法の記載はQTBT区分に関して提示される。しかしながら、本開示の技法はまた、4分木区分、または他のタイプの区分も使用するように構成されたビデオコーダに適用され得ることを理解されたい。

【0040】

いくつかの例では、CTUは、ルーマサンプルのコーディングツリーブロック(CTB)、3つのサンプルアレイを有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロームピクチャもしくはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされたピクチャのサンプルのCTBを含む。CTBは、CTBへの成分の分割が区分であるような、何らかの値のNに対するサンプルのN×Nブロックであり得る。成分は、4:2:0、4:2:2、もしくは4:4:4カラーフォーマットでピクチャを作成する3つのアレイ(ルーマおよび2つのクロマ)のうちの1つからのアレイまたはそのアレイの単一のサンプル、あるいはモノクロームフォーマットでピクチャを作成するアレイまたはそのアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのCTBの分割が区分であるような、何らかの値のMおよびNに対するサンプルのM×Nブロックである。

【0041】

ブロック(たとえば、CTUまたはCU)は、ピクチャにおいて様々な方法でグループ化され得る。一例として、ブリックは、ピクチャにおける特定のタイル内のCTU行の長方形領域を指すことがある。タイルは、ピクチャにおける特定のタイル列および特定のタイル行内のCTUの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される幅を有する、CTUの長方形領域を指す。タイル行は、(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、CTUの長方形領域を指す。

【0042】

いくつかの例では、タイルは複数のブリックに区分されてもよく、ブリックの各々はタイル内の1つまたは複数のCTU行を含んでもよい。複数のブリックに区分されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

【0043】

ピクチャの中のブリックは、スライスにおいても並べられ得る。スライスは、単一のネットワークアブストラクションレイヤ(NAL)ユニットに独占的に含まれ得る、ピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、ある数の完全なタイル、または、1つのタイルの完全なブリックの連続的なシーケンスのみ、のいずれかを含む。

【0044】

本開示は、垂直次元および水平次元に換算して(CUまたは他のビデオブロックなどの)ブロックのサンプル次元を指すために、互換的に「N×N」および「NかけるN(N by N)」、たとえば、16×16サンプルまたは16かける16(16 by 16)サンプルを使用し得る。一般に、16×16 CUは、垂直方向に16個のサンプル(y=16)および水平方向に16個のサンプル(x=16)を有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルおよび水平方向にN個のサンプルを有し、ここで、Nは負ではない整数値を表す。CUの中のサンプルは、行および列において並べられ得る。さらに、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えてもよく、ここで、Mは必ずしもNに等しいとは限らない。

【0045】

ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されることになるかを示す。残差情報は、一般に、符号化に先立つCUのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。

【0046】

CUを予測するために、ビデオエンコーダ200は、一般に、インター予測またはイントラ予測を通じてCUのための予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実行するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、一般に、たとえば、CUと参照ブロックとの間の差分に関してCUと厳密に一致する参照ブロックを識別するために、動き探索を実行し得る。ビデオエンコーダ200は、参照ブロックが現在のCUと厳密に一致するかどうかを決定するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。

【0047】

VVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、遠近運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを決定し得る。

【0048】

イントラ予測を実行するために、ビデオエンコーダ200は、イントラ予測モードを選択して予測ブロックを生成し得る。VVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、そこから現在のブロックのサンプルを予測するための現在のブロック(たとえば、CUのブロック)に対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、一般に、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUおよびCUをコーディングすると仮定すると、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。

【0049】

ビデオエンコーダ200は、現在のブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードについての動き情報を表すデータを符号化し得る。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用し得る。

【0050】

ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200はブロックのための残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間のサンプルごとの差分を表す。ビデオエンコーダ200は、サンプル領域ではなく変換領域において変換データを生成するために、1つまたは複数の変換を残差ブロックに適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、第1の変換に続いて、モード依存型分離不可能二次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT:Karhunen-Loeve transform)などの二次変換を適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて、変換係数を生成する。

【0051】

上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実行し得る。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ200は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化の間にnビット値をmビット値に切り捨ててもよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実行してもよい。

【0052】

量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(したがって、より低い周波数)の変換係数をベクトルの前方に置き、より低いエネルギー(したがって、より高い周波数)の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するための事前定義された走査順序を利用し得る。他の例では、ビデオエンコーダ200は適応走査を実行し得る。量子化された変換係数を走査して1次元ベクトルを形成した後、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。

【0053】

CABACを実行するために、ビデオエンコーダ200は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が0値化されているか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0054】

ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて、ビデオデコーダ300へのブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成し得る。ビデオデコーダ300は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号するかを決定し得る。

【0055】

このように、ビデオエンコーダ200は、符号化されたビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。

【0056】

一般に、ビデオデコーダ300は、ビデオエンコーダ200によって実行されるプロセスとは逆のプロセスを実行して、ビットストリームの符号化されたビデオデータを復号する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスとは逆であるが実質的に同様の方法で、CABACを使用してビットストリームのシンタックス要素のための値を復号し得る。シンタックス要素は、ピクチャのCTUへの区分のための区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。

【0057】

残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測についての動き情報)を使用する。次いで、ビデオデコーダ300は、元のブロックを再生するために、予測ブロックおよび残差ブロックを(サンプルごとに)合成し得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためのデブロッキングプロセスを実行するなどの、追加の処理を実行し得る。

【0058】

上記で説明したように、ビデオエンコーダ200は変換係数を符号化することができ、ビデオデコーダ300は変換係数を復号することができる。たとえば、HEVCによる変換係数コーディングを実行するために、ビデオコーダ(たとえば、ビデオエンコーダ200および/またはビデオデコーダ300)は、各係数グループ(CG)が4×4サブブロックを表し得るCGごとに変換係数ブロック(TB)を分割し得る。一例として、32×32TUは合計64個のCGに分割され得、16×16TUは合計16個のCGに分割され得る。ビデオコーダは、CGの単位でTBのエントロピーコーディングを実行し得る。ビデオコーダは、所与の走査順序に従ってTBの内部のCGをコーディングし得る。各CGをコーディングするとき、ビデオコーダは、4×4ブロックに対する一定の事前定義された走査順序に従って、現在のCGの内部の係数を走査およびコーディングし得る。JEM(The Joint Exploration Model (JEM)、ieeexplore.ieee.org/document/8861068)では、CGサイズは、1つのTBの高さまたは幅が2に等しいかどうかに応じて4×4または2×2のいずれかであり得る。図5は、HEVCにおける4個のCGを含む8×8TBの係数走査を示す概念図である。

【0059】

色成分ごとに、ビデオコーダは、現在のTBが少なくとも1つの非ゼロ係数を有するかどうかを示すために、1つのフラグをシグナリングし得る。たとえば、ビデオコーダは、現在のTBが少なくとも1つの非ゼロ係数を有するかどうかを示す値を有するコード化ブロックフラグ(CBF)またはコード化ブロックパターン(CPB)をシグナリングし得る。少なくとも1つの非ゼロ係数がある場合、ビデオコーダは、TB内の係数走査順序における最後の有効係数の位置をTBの左上隅に対する座標とともに明示的にシグナリングし得る。座標の垂直成分または水平成分は、そのプレフィックスおよびサフィックスによって表されることがあり、ここにおいて、プレフィックスは短縮ライス(TR:truncated Rice)を用いて2値化されることがあり、サフィックスは固定長を用いて2値化される。

【0060】

コーディングされたそのような位置およびCGの係数走査順序も用いて、ビデオコーダは、(走査順序における)最後のCGを除くCGについて、CGが非ゼロ係数を含むかどうかを示すフラグをシグナリングし得る。非ゼロ係数を含み得るそれらのCGについて、ビデオコーダは、事前定義された4×4係数走査順序に従って係数ごとに非ゼロ係数の有意フラグ、係数の絶対値、および符号情報をシグナリングし得る。HEVC変換係数エントロピーコーディング方式では、符号ビットは、コーディングされる場合、常にバイパスコーディングされ得る、すなわち、コンテキストが適用されず、等確率(EP:equal probability)仮定を使用して符号ビットごとに常に1ビットコーディングされる。

【0061】

符号データ隠蔽の説明は以下の通りである。CGの場合、基準に応じて、ビデオコーダは、符号データ隠蔽(SDH:sign data hidding)を使用するとき、順方向走査順序における最初の非ゼロ係数である(逆方向走査順序における)最後の非ゼロ係数の符号をコーディングするのを省略し得る。代わりに、符号値は、事前定義された取り決め(すなわち、偶数は「+」に対応し、奇数は「-」に対応する)を使用して、CGのレベルの和のパリティに埋め込まれ、そのパリティから決定され得る。SDHを使用するための基準は、CGの最初の非ゼロ係数と最後の非ゼロ係数との間の走査順序における距離であり得る。この距離がしきい値(たとえば、4個のサンプル)に等しいかまたはそれよりも大きい場合、SDHが使用され得る。

【0062】

係数符号予測の説明は以下の通りである。符号ビット情報のコーディング効率を改善するために、文献において係数符号予測方法が提案されている。符号予測方法はJEMの冒頭で提案されている。

【0063】

1つの係数に対する符号を予測するために、ビデオコーダは、この符号の正値と負値の両方を使用して変換ブロック(TB)を再構成し得、候補符号値を使用する各ブロック再構成は、仮説再構成と呼ばれることがある。ビデオコーダは、所与の空間領域コスト関数によって2つの仮説再構成を評価し得、コスト関数を最小化する仮説は、予測された符号値を与える。

【0064】

さらに、TBに対する複数の符号、たとえば、N個の符号を予測するために、ビデオコーダは、合計2^N個の異なる仮説再構成を含む候補符号予測値の異なる組合せを使用してTBを再構成し得る。同様に、ビデオコーダは、所与の空間領域コスト関数によって各仮説を評価し得、コスト関数を最小化する仮説は、予測された符号値の組合せを与える。

【0065】

コスト関数は、一般に、仮説のうちの1つを使用して、前に再構成されたネイバーピクセルと現在テストされている再構成されたブロックとの間の空間不連続性を測定する。現在のブロックのブロック境界における最も平滑なピクセル値遷移を示す仮説が最良の予測と見なされ得る。

【0066】

図6は、係数符号予測を示す概念図である。図6の例では、コストは仮説再構成の最左ピクセルおよび最上ピクセルを使用して測定される。

【0067】

ビデオコーダは、以下の式に従ってコストを決定し得る。

【0068】

【数1】

【0069】

上記の式では、(2p_{x,_1}-p_{x,_2})項および(2p_{_1,y}-p_{_2,y})項は予測成分であり、p_x,0およびp_0,yは仮説再構成成分である。

【0070】

図6で説明する特定の符号予測方式では、エンコーダは最初にTUを量子化解除し、次いで、それに対する符号が予測されることになるn個の係数を選定し得る。係数はラスタ走査順序で走査されてもよく、扱うべきn個の係数を収集するとき、定義されたしきい値を超える量子化解除された値が、そのしきい値よりも低い値よりも好まれる。

【0071】

これらのn個の値を用いて、2ⁿ個の簡略化された境界再構成、すなわち、n個の係数に対する符号の一意の組合せごとに1つの再構成が以下で説明するように実行され得る。

【0072】

符号予測を実行する複雑性を低減するために、ビデオコーダはテンプレートベースの仮説再構成を実行し得る。特定の仮説再構成の場合、ビデオコーダは、ブロック予測に加えられた逆変換から、ブロックの最左ピクセルおよび最上ピクセルのみを再作成し得る。第1の(垂直)逆変換は完了しているが、第2の(水平)逆変換は最左ピクセル出力および最上ピクセル出力を作成しさえすればよく、したがって、より速い。これを可能にするために、追加のフラグ「topLeft」が逆変換機能に加えられ得る。

【0073】

加えて、実行される逆変換動作の数は「テンプレート」のシステムを使用することによって低減される。このようにして、ブロックにおいてn個の符号を予測するとき、ビデオコーダはn+1個の逆変換動作を実行し得る。
1.量子化解除された係数に対して動作する単一の逆変換、ここで、予測されているすべての符号の値は正に設定される。現在のブロックの予測に加えられると、これは第1の仮説の境界再構成に対応する。
2.それらの予測された符号を有するn個の係数の各々について、対応する量子化解除された(かつ正の)係数をその唯一の非ヌル要素として含む、本来なら空のブロックに対して、逆変換動作が実行される。後の再構成の間に使用するために、最左境界値および最上境界値が「テンプレート」と呼ばれるものの中に保存される。

【0074】

後の仮説のための境界再構成は、所望の現在の仮説を構築するために単一の予測された符号が正から負に変更されることのみを必要とする、前の仮説の適切な保存された再構成を取ることによって、開始し得る。次いで、この符号の変更は、予測されている符号に対応するテンプレートの仮説境界からの倍加および減算によって近似され得る。次いで、コスト値を決定した後、境界再構成は、後の仮説を構築するために再使用されることが知られている場合、保存される。

【0075】

【表1】

【0076】

上記の表は、3符号8エントリの場合の保存/復元およびテンプレート適用を示す。これらの近似は、最終の再構成の間ではなく、符号予測のプロセスの間でのみ使用され得ることに留意されたい。

【0077】

より大きい絶対値を有する変換係数の場合、符号予測は一般に、正確な予測を達成するより良い機会を与えている。これは、より大きい絶対値を有する変換係数に対する不正確な符号予測は一般に、境界サンプル平滑性に対するより多くの不一致を示すからである。

【0078】

明示的な符号値をコーディングする代わりに符号予測を用いて、ビデオコーダは符号予測の正確性をコーディングし得る。たとえば、実際に正値を有する係数符号を予測するためには、予測された符号も正である、すなわち、符号予測が正確である場合、ビデオコーダは「0」ビンをコーディングし得る。そうではなく、予測された符号が負である、すなわち、符号予測が正確ではない場合、ビデオコーダは「1」ビンをコーディングし得る。このようにして、変換係数のより大きい絶対値は、「0」ビンのより高い可能性に傾くので、ビデオコーダは、符号予測の正確性をコーディングするためのコンテキストとして変換係数のレベル値(絶対値)を利用し得る。

【0079】

クロマ残差のジョイントコーディングの説明は以下の通りである。クロマ残差のジョイントコーディング(JCCR)は、クロマ残差をジョイントしてコーディングするビデオコーディングツールである。JCCRが使用されるとき、複数の色成分に対して単一の変換係数ブロックがシグナリングされる。JCCRは、直近のビデオコーディング規格のうちの1つであるVVCの一部である。VVCでは、クロマCBFのうちの少なくとも1つが非ゼロであるとき、TUレベルのJCCRフラグがサポートされる。JCCRフラグがTRUEである場合、デコーダは、ビットストリームから単一の係数ブロックをパースし、単一の残差ブロックからクロマ成分のピクセル残差ブロックを導出する。

【0080】

成分間線形モデル予測(CCLM:cross-component linear model prediction)の説明は以下の通りである。CCLMは、成分間冗長性を低減する予測方法である。CCLMは、VVCビデオコーディング規格に取り入れられている。CCLMが使用されるとき、クロマ予測サンプルは、以下の式に示すように、線形モデルをコロケートされたルーマサンプルに適用することによって生成される。
pred_C(i,j) =α・rec_L'(i,j) +β
式中、pred_C(i,j)は、CUの中の予測されたクロマサンプルを表し、rec_L(i,j)は、同じCUのダウンサンプリングされた再構成されたルーマサンプルを表す。

【0081】

上述の技法は、1つまたは複数の欠点をもたらし得る。たとえば、複数の色成分の再構成されたサンプルが現在の変換ブロックの影響を受ける可能性があるとき(たとえば、CCLMモードまたはJCCRモードが使用される場合)、(たとえば、符号予測の場合に)1つの色成分のみを考慮することは準最適であり得る。詳細には、1つの仮説再構成は、1つの色成分に対してはうまく機能するが、他の色成分に対してはうまく機能しないことがある。

【0082】

本開示の技法によれば、ビデオコーダ(たとえば、ビデオエンコーダ200および/またはビデオデコーダ300)は、残差コーディングの符号予測を実行するとき、複数の色成分を考慮し得る。たとえば、各々が異なる色成分に対応する複数の変換ブロック(たとえば、Cb変換ブロックおよびCr変換ブロック)を生成するために使用されるJCCR変換ブロックに対して符号予測を実行するとき、ビデオコーダは複数の色成分に基づいて符号予測を実行し得る。

【0083】

セクションA.ジョイントして複数の変換ブロックの符号予測。符号予測において複数の色成分を考慮する一例として、ビデオコーダは複数の色成分の符号予測をジョイントして実行し得る。ジョイント符号予測を実行するために、相互依存性を有する複数の色成分が選択され得る。色成分の選択は、事前定義されたルールおよび/またはビットストリームにおいてシグナリングされた情報に基づき得る。すべての関与する色成分の仮説再構成が生成され、仮説再構成からジョイントコスト(Cost_joint)が導出される。関与する符号の予測される値は、ジョイントコスト値を最小化することによって決定される。

【0084】

上記で説明したように、N個の予測された符号を用いた単一のブロックに対する符号予測の場合。符号の2^N個の異なる組合せがあり、組合せのうちの1つが予測セットとして選択される。この例では、ビデオコーダは、異なる色成分の符号予測をジョイントして実行し得、関与する色成分の予測された符号は、以下の式(1)に示すように、予測された符号のジョイントセットを作成するために組み合わされ得る。ビデオコーダは、すべての関与する色成分(Set_color)の予測された符号のセットに対して和集合演算(U)を実行し得る。

【0085】

【数2】

【0086】

N_joint = size(Set_joint)とすると、符号の

【0087】

【数3】

【0088】

個の異なる組合せがある。組合せごとに、すべての関与する色成分の仮説再構成が生成され、これらの仮説再構成に基づいてジョイントコスト(Cost_joint)が導出される。Cost_jointは、符号の組合せを用いて決定するための基準として使用され、予測コード化された符号の予測子のセットとして選択される。

【0089】

ジョイントセット生成の特殊なケースは、複数の関与する色成分が単一の変換ブロックを共有するときである。たとえば、クロマ残差のジョイントコーディング(JCCR)が適用され、符号予測がCbおよびCrに対してジョイントして実行されるとき、

【0090】

【数4】

【0091】

であり、したがって、

【0092】

【数5】

【0093】

である。この特殊なケースの数例について、以下で説明する。

【0094】

セクションB.現在の変換ブロックの符号予測。符号予測において複数の色成分を考慮する別の例として、ビデオコーダは、単一の変換ブロックに対して符号予測を実行するときに複数の色成分を考慮し得る。この例は、現在の色成分に依存する他の色成分があるときに適用され得る。この場合、仮説再構成の各々は、現在の色成分に基づくだけではなく、現在の色成分によって影響され得る他の色成分にも基づいて評価され得る。ジョイントコスト(Cost_joint)を導出する異なる方法が適用され得る。
・セクションAにおいて上記で説明したものと同様に、すべての関与する色成分の仮説再構成が生成され、すべてのこれらの仮説再構成に基づいてジョイントコストが導出される。
・関与する色成分のうちのいくつかについては、仮説再構成はコスト計算のために生成される。一方、他の成分については、簡略化された基準が適用され得る。たとえば、VVCにおける成分間線形モデル(CCLM)の場合、クロマ成分の仮説再構成をさらに生成する代わりに、ルーマ(Y)成分の仮説再構成に基づいて、対応するクロマ成分の予測されたブロックが生成され得、クロマ予測ブロックは、ジョイントコスト(Cost_joint)を導出するために使用され得る。

【0095】

セクションC.ビデオコーダは、複数の色成分に基づいて符号予測を使用する1つまたは複数の条件を適用し得る。本開示の技法の一例は、変換ブロックについて、(セクションAにおいて上記で説明したように)複数の変換ブロックの符号予測をジョイントして行うか、または(セクションBにおいて上記で説明したように)現在の変換ブロックの符号予測を実行する間に複数の色成分を考慮するかを決定するためのルールを定義することができる。ルールは、エンコーダ側とデコーダ側の両方に対して事前定義されるか、ビットストリームにおいてシグナリングされるか、または組み合わせて実行され得る。

【0096】

一例として、VVCにおける成分間線形モデル(CCLM)に使用されるルーマブロックについて、対応するクロマブロックがゼロに等しい(たとえば、非ゼロ係数がないことを意味する)コード化ブロックフラグを有する場合、そのクロマブロックはルーマブロックの符号予測において考慮される。この場合、対応するクロマブロックの仮説再構成は、ルーマブロックの仮説再構成から生成された予測ブロックに等しい。ルーマブロックの符号予測を実行するとき、クロマブロックのサンプル残差を導出する必要がない場合がある。

【0097】

セクションD.複数の色成分のジョイントコストの導出。複数の色成分を考慮するために、すべての関与する色成分から導出されたコスト値(「ジョイントコスト」、Cost_jointと呼ばれる)が必要とされ得る。一例として、関与する各色成分のコストは単独で算出され、ジョイントコストは式(2)に示すようにすべての関与する色成分のコスト値の組合せとして導出され、ここで、Sは係数の符号予測コーディングに関与する色成分のセットを示す。異なる色成分の重みは、固定されるか、エンコーダ側とデコーダ側の両方に対して事前定義されたルールに基づいて導出されるか、またはビットストリームにおいてシグナリングされたシンタックス要素によって制御され得る。

【0098】

【数6】

【0099】

特殊なケースでは、重みのうちの1つは1であってもよく、すべての他の重みは0である。その場合、ジョイントコストは1つの色成分を選択することに相当し得、ビデオコーダは現在のブロックの符号予測を実行するためにジョイントコストを使用し得る。

【0100】

本開示の技法をクロマ残差のジョイントコーディングに組み込む例。ビデオコーデックでは、変換ブロックは、複数の色成分のピクセル残差ブロック、たとえば、VVCにおけるクロマ残差コーディングのジョイントコーディング(JCCR)に対応し得る。そのような場合、Cb成分およびCr成分は単一の変換ブロックを共有する。(セクションAにおいて説明したように)JCCRコーディングされたCbブロックおよびCrブロックのペアに対して符号予測をジョイントして実行するとき、Set_joint =∪_{color∈{Cb,Cr}}Set_color = Set_Cb = Set_Crであり、すべての関与する色成分の仮説再構成は、変換ブロックの予測された符号を生成するときに評価され得る。Cost_jointを導出する異なる方法が使用され得る。たとえば、セクションDにおいて説明したジョイントコストCost_joint導出を使用する。

【0101】

【数7】

【0102】

式中、Sはクロマ色成分を示し、w_colorは色成分colorの重みを示す。

【0103】

ビデオコーダがどのようにw_colorを導出し得るかの数例について、以下で説明する。
・一例として、異なるクロマ色フォーマットのコスト重みとして1の固定値が使用される。この場合、ジョイントコストCost_jointは以下として導出される。

【0104】

【数8】

【0105】

・別の例として、クロマ成分は特定の順序で走査され(順序は、事前定義されたルールおよび/またはビットストリームにおいてシグナリングされた情報から導出され得る)、非ゼロCBFを有するビットストリームの中の1番目のクロマ成分の重みは1に設定され、他の成分は0を使用する。VVCの場合、クロマ成分S={Cb,Cr}は「1:Cb, 2:Cr」の順序を取り、一例としてCbおよびCrの重みは以下のように導出される。
if (CBF_Cb != 0)
{
w_Cb = 1;
w_Cr = 0;
}
else // CBF_Cb == 0 && CBF_Cr != 0
{
w_Cb = 0;
w_Cr = 1;
}
・また別の例として、各色成分の重みも、対応するCBF値に基づいて導出され得る。たとえば、ある色成分のCBF値が0である場合、その色成分について重みは0に設定され、そうでない場合、重みは1に設定される。VVCの場合、クロマ成分S={Cb,Cr}および重みw_Cb、w_Crは以下のように導出される。
w_Cb = 0;
w_Cr = 0;
if (CBF_Cb != 0)
{
w_Cb = 1;
}
if (CBF_Cr != 0)
{
w_Cr = 1;
}

【0106】

本開示の技法を組み込む例は、CCLM、CCPなどのコーディングツールに組み込まれ得る。ビデオコーデックでは、色成分間の予測は、ビデオ信号の異なる色成分間の相関を利用するために適用され得る。たとえば、HEVC範囲拡張(Range Extension)における成分間予測(CCP:cross-component prediction)およびVVCにおける成分間線形モデル(CCLM)。特定の色成分Aの変換ブロックについて、Aに依存する他の色成分がある場合、変換ブロックの符号予測は、Aとそれに依存する色成分の両方に対してジョイントして実行され得る。セクションA(たとえば、複数の色成分に対して符号予測をジョイントして実行する)またはセクションB(たとえば、単一の色成分に対して符号予測を実行するが、複数の色成分に対する影響が考慮される)において説明したものなどの例が、このケースで適用され得る。

【0107】

CCLMモードの場合、1つまたは複数のクロマ成分のCCLMモードに使用されるルーマブロックについて、本開示の技法は関連する色成分に適用され得る。
1.一例として、ルーマ変換ブロックについて、CCLMモードを実行するためにルーマブロックを使用する1つまたは複数のクロマブロックがある場合、ルーマ成分の仮説再構成ごとに、対応するクロマ成分のCCLM予測子(仮説CCLM予測子)が生成され、評価される。ジョイントコストは、ルーマ成分の仮説再構成およびクロマ成分の仮説CCLM予測子に基づいて導出される。任意選択で、この実施形態がいつ使用され得るかを制御するために、セクションCにおいて説明した条件が適用され得る。そのような条件の一例は、対応するクロマ成分がCBF=0を有するときにのみ、この例を使用することである。(この場合、色成分の仮説CCLM予測子は仮説再構成に等しい。)
2.別の例として、ルーマ変換ブロックについて、CCLMモードを実行するためにルーマブロックを使用する1つまたは複数のクロマブロックがある場合、符号予測を実行するために、すべての関与する色成分について仮説再構成が生成される。この場合、クロマ仮説再構成を見つけるために、クロマ成分の残差が生成され、仮説CCLM予測子に加えられる。クロマ成分も符号予測を使用する場合。その場合、符号予測がジョイントして実行される。
3.例2と同様に、この例は、CCLMが使用されるとき、ただし、クロマが符号予測を使用しないときのみ、ルーマ成分と関連するクロマ成分の両方に対する仮説再構成を生成する。

【0108】

本開示は、一般に、シンタックス要素などの特定の情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、シンタックス要素および/または符号化されたビデオデータを復号するために使用される他のデータのための値の通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素のための値をシグナリングし得る。一般に、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムで、または、宛先デバイス116によって後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときに行われ得るなど、リアルタイムではなく、ビットストリームを宛先デバイス116にトランスポートし得る。

【0109】

図2Aおよび図2Bは、例示的な4分木2分木(QTBT)構造130および対応するコーディングツリーユニット(CTU)132を示す概念図である。実線は4分木分割を表し、点線は2分木分割を示す。2分木の各分割(すなわち、非リーフ)ノードでは、どの分割タイプ(すなわち、水平または垂直)が使用されるかを示すために1つのフラグがシグナリングされ、ここで、この例では、0が水平分割を示し、1が垂直分割を示す。4分木分割の場合、4分木ノードがブロックをサイズが等しい4つのサブブロックに水平にかつ垂直に分割するので、分割タイプを示す必要はない。したがって、ビデオエンコーダ200は、QTBT構造130の領域木レベル(すなわち、実線)のための(分割情報などの)シンタックス要素およびQTBT構造130の予測木レベル(すなわち、破線)のための(分割情報などの)シンタックス要素を符号化し得、ビデオデコーダ300は、それらのシンタックス要素を復号し得る。ビデオエンコーダ200は、QTBT構造130の末端リーフノードによって表されるCUのための、予測データおよび変換データなどのビデオデータを符号化し得、ビデオデコーダ300は、そのビデオデータを復号し得る。

【0110】

一般に、図2BのCTU132は、第1のレベルおよび第2のレベルでQTBT構造130のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、CTUサイズ(サンプル中のCTU132のサイズを表す)、最小4分木サイズ(MinQTSize、最小の許容される4分木リーフノードサイズを表す)、最大2分木サイズ(MaxBTSize、最大の許容される2分木ルートノードサイズを表す)、最大2分木深度(MaxBTDepth、最大の許容される2分木深度を表す)、および最小2分木サイズ(MinBTSize、最小の許容される2分木リーフノードサイズを表す)を含み得る。

【0111】

CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルで4個の子ノードを有することがあり、子ノードの各々は、4分木区分に従って区分されることがある。すなわち、第1のレベルのノードは、(子ノードを有しない)リーフノードであるか、4個の子ノードを有するかのいずれかである。QTBT構造130の例は、分岐のための実線を有する親ノードと子ノードとを含むようなノードを表す。第1のレベルのノードが最大の許容される2分木ルートノードサイズ(MaxBTSize)よりも大きくない場合、これらのノードはそれぞれの2分木によってさらに区分され得る。1つのノードの2分木分割は、分割の結果として生じるノードが最小の許容される2分木リーフノードサイズ(MinBTSize)または最大の許容される2分木深度(MaxBTDepth)に達するまで繰り返され得る。QTBT構造130の例は、分岐のための破線を有するようなノードを表す。2分木リーフノードはコーディングユニット(CU)と呼ばれ、コーディングユニット(CU)は、これ以上の区分なしで、予測(たとえば、イントラピクチャ予測またはインターピクチャ予測)および変換のために使用される。上記で説明したように、CUは「ビデオブロック」または「ブロック」と呼ばれることもある。

【0112】

QTBT区分構造の一例では、CTUサイズは128×128(ルーマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、(幅と高さの両方についての)MinBTSizeは4として設定され、MaxBTDepthは4として設定される。4分木リーフノードを生成するために、4分木区分がまずCTUに適用される。4分木リーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。4分木リーフノードが128×128である場合、サイズがMaxBTSize(すなわち、この例では64×64)を超えるので、リーフ4分木ノードは2分木によってさらに分割されない。それ以外の場合、4分木リーフノードは2分木によってさらに区分される。したがって、4分木リーフノードは2分木のルートノードでもあり、0としての2分木深度を有する。2分木深度がMaxBTDepth(この例では4)に達するとき、さらなる分割は許可されない。MinBTSize(この例では4)に等しい幅を有する2分木ノードは、その2分木ノードに対してさらなる垂直分割(すなわち、幅の分割)が許可されないことを示唆する。同様に、MinBTSizeに等しい高さを有する2分木ノードは、その2分木ノードに対してさらなる水平分割(すなわち、高さの分割)が許可されないことを示唆する。上述のように、2分木のリーフノードはCUと呼ばれ、さらなる区分なしで予測および変換に従ってさらに処理される。

【0113】

図3は、本開示の技法を実行し得る例示的なビデオエンコーダ200を示すブロック図である。図3は説明のために提供され、本開示において広く例示および説明するような技法の限定と見なされるべきではない。説明のために、本開示は、VVC(開発中のITU-T H.266)、およびHEVC(ITU-T H.265)の技法によるビデオエンコーダ200について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオ符号化デバイスによって実行され得る。

【0114】

図3の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、復号ピクチャバッファ(DPB)218、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ200のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオエンコーダ200は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

【0115】

ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されたビデオデータを受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。

【0116】

本開示では、ビデオデータメモリ230への言及は、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の内部のメモリ、または、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、符号化するためにビデオエンコーダ200が受信するビデオデータ(たとえば、符号化されるべき現在のブロックのためのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を提供し得る。

【0117】

図3の様々なユニットは、ビデオエンコーダ200によって実行される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、ユニットのうちの1つまたは複数は集積回路であってもよい。

【0118】

ビデオエンコーダ200は、算術論理ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶してもよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してもよい。

【0119】

ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工ビデオデータであり得る。

【0120】

モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。

【0121】

モード選択ユニット202は、一般に、符号化パラメータの組合せおよびそのような組合せに対する結果として生じるレートひずみ値をテストするために複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、その他のテストされた組合せよりも良いレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

【0122】

ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明したHEVCのQTBT構造または4分木構造などのツリー構造に従ってピクチャのCTUを区分し得る。上記で説明したように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。

【0123】

一般に、モード選択ユニット202はまた、現在のブロック(たとえば、現在のCU、またはHEVCでは、PUおよびTUの重複する部分)のための予測ブロックを生成するために、その構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在のブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の以前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実行し得る。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、潜在的な参照ブロックが現在のブロックにどのくらい類似しているかを表す値を計算し得る。動き推定ユニット222は、一般に、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット222は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算の結果として生じる最も低い値を有する参照ブロックを識別し得る。

【0124】

動き推定ユニット222は、現在のピクチャ中の現在のブロックの位置に対する参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成し得る。次いで、動き推定ユニット222は動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット222は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供し得る。次いで、動き補償ユニット224は、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルがフラクショナルサンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックのための値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付けされた平均化によって、取り出されたデータを合成し得る。

【0125】

別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在のブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向モードの場合、イントラ予測ユニット226は、一般に、隣接サンプルの値を数学的に合成し、これらの計算された値を現在のブロックにわたる定義された方向にポピュレートして、予測ブロックを生成し得る。別の例として、DCモードの場合、イントラ予測ユニット226は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの結果として生じる平均を含めるべき予測ブロックを生成し得る。

【0126】

モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在のブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。結果として生じるサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実行する1つまたは複数の減算器回路を使用して形成され得る。

【0127】

モード選択ユニット202がCUをPUに区分する例では、各PUはルーマ予測ユニットおよび対応するクロマ予測ユニットに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示したように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NのPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の、対称のPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズのための非対称区分をサポートし得る。

【0128】

モード選択ユニット202がCUをPUにさらに区分しない例では、各PUはルーマコーディングブロックおよび対応するクロマコーディングブロックに関連付けられ得る。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NのCUサイズをサポートし得る。

【0129】

いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット202は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構成する方法を示すシンタックス要素を生成する。そのようなモードでは、モード選択ユニット202は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット220に提供し得る。

【0130】

上記で説明したように、残差生成ユニット204は、現在のブロックおよび対応する予測ブロックのためのビデオデータを受信する。次いで、残差生成ユニット204は現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。

【0131】

変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用する。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの、一次変換および二次変換を残差ブロックに対して実行し得る。いくつかの例では、変換処理ユニット206は、変換を残差ブロックに適用しない。

【0132】

量子化ユニット208は、変換係数ブロック中で変換係数を量子化して、量子化された変換係数ブロックを生成し得る。量子化ユニット208は、現在のブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連付けられたQP値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は変換処理ユニット206によって生成された元の変換係数よりも低い精度を有することがある。

【0133】

逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、逆量子化および逆変換を量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構成し得る。再構成ユニット214は、再構成された残差ブロックおよびモード選択ユニット202によって生成された予測ブロックに基づいて、(ある程度のひずみを伴う可能性があるが)現在のブロックに対応する再構成されたブロックを生成し得る。たとえば、再構成ユニット214は、再構成された残差ブロックのサンプルをモード選択ユニット202によって生成された予測ブロックからの対応するサンプルに加えて、再構成されたブロックを生成し得る。

【0134】

フィルタユニット216は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。

【0135】

ビデオエンコーダ200は、再構成されたブロックをDPB218に記憶する。たとえば、フィルタユニット216の動作が実行されない例では、再構成ユニット214が再構成されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が実行される例では、フィルタユニット216がフィルタ処理され再構成されたブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構成された(かつ場合によってはフィルタリングされた)ブロックから形成された参照ピクチャをDPB218から取り出し得る。加えて、イントラ予測ユニット226は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのDPB218中の再構成されたブロックを使用し得る。

【0136】

一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実行して、エントロピー符号化されたデータを生成し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

【0137】

ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。

【0138】

上記で説明した動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。

【0139】

いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)および参照ピクチャを識別するための動作は、クロマコーディングブロックのためのMVおよび参照ピクチャを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVはクロマコーディングブロックのためのMVを決定するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。

【0140】

ビデオエンコーダ200は、ビデオデータを符号化するように構成されたデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装され、ビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックの色成分の残差データの符号を予測することと、予測された符号に基づいて、ビデオデータのブロックを再構成することとを行うように構成された1つまたは複数の処理ユニットとを含むデバイスの一例を表す。

【0141】

図4は、本開示の技法を実行し得る例示的なビデオデコーダ300を示すブロック図である。図4は説明のために提供され、本開示において広く例示および説明するような技法を限定するものではない。説明のために、本開示は、VVC(開発中のITU-T H.266)、およびHEVC(ITU-T H.265)の技法によるビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオコーディングデバイスによって実行され得る。

【0142】

図4の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、および復号ピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、およびDPB314のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ300のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオデコーダ300は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

【0143】

予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多数の、より少数の、または異なる機能構成要素を含み得る。

【0144】

CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されたビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化されたビデオビットストリームからの符号化されたビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時的なデータなどの、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、一般に、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る、復号されたピクチャを記憶する。CPBメモリ320およびDPB314は、SDRAMを含むDRAM、MRAM、RRAM、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。CPUメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。

【0145】

追加または代替として、いくつかの例では、ビデオデコーダ300は、メモリ120(図1)からコーディングされたビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320に関して上記で説明したようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能の一部または全部がビデオデコーダ300の処理回路によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。

【0146】

図4に示す様々なユニットは、ビデオデコーダ300によって実行される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図3と同様に、固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、ユニットのうちの1つまたは複数は集積回路であってもよい。

【0147】

ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオデコーダ300の動作がプログラマブル回路上で実行されるソフトウェアによって実行される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ300が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。

【0148】

エントロピー復号ユニット302は、CPBから符号化されたビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再生し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。

【0149】

一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構成する。ビデオデコーダ300は、各ブロックに対して個別に再構成動作を実行し得る(ここで、現在再構成されている、すなわち、復号されているブロックは「現在のブロック」と呼ばれることがある)。

【0150】

エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報を定義するシンタックス要素をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、たとえば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実行し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。

【0151】

逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在のブロックに関連付けられた残差ブロックを生成するために、1つまたは複数の逆変換を変換係数ブロックに適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

【0152】

さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、そこから参照ブロックを取り出すべきDPB314中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックの場所に対する参照ピクチャ中の参照ブロックの場所を識別する動きベクトルを示し得る。動き補償ユニット316は、一般に、動き補償ユニット224(図3)に関して説明した方法と実質的に同様の方法でインター予測プロセスを実行し得る。

【0153】

別の例として、現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されたイントラ予測モードに従って予測ブロックを生成し得る。やはり、イントラ予測ユニット318は、一般に、イントラ予測ユニット226(図3)に関して説明した方法と実質的に同様の方法でイントラ予測プロセスを実行し得る。イントラ予測ユニット318は、DPB314から現在のブロックに対する隣接サンプルのデータを取り出し得る。

【0154】

再構成ユニット310は、予測ブロックおよび残差ブロックを使用して現在のブロックを再構成し得る。たとえば、再構成ユニット310は、残差ブロックのサンプルを予測ブロックの対応するサンプルに加えて、現在のブロックを再構成し得る。

【0155】

フィルタユニット312は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット312は、再構成されたブロックの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット312の動作は、必ずしもすべての例において実行されるとは限らない。

【0156】

ビデオデコーダ300は、再構成されたブロックをDPB314に記憶し得る。たとえば、フィルタユニット312の動作が実行されない例では、再構成ユニット310が再構成されたブロックをDPB314に記憶し得る。フィルタユニット312の動作が実行される例では、フィルタユニット312が精錬されフィルタ処理され再構成されたブロックをDPB314に記憶し得る。上記で説明したように、DPB314は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を予測処理ユニット304に提供し得る。さらに、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上に後で提示するために、DPB314からの復号されたピクチャ(たとえば、復号されたビデオ)を出力し得る。

【0157】

このように、ビデオデコーダ300は、ビデオデータを記憶するように構成されたメモリと、回路において実装され、ビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックの色成分の残差データの符号を予測することと、予測された符号に基づいて、ビデオデータのブロックを再構成することとを行うように構成された1つまたは複数の処理ユニットとを含むビデオ復号デバイスの一例を表す。

【0158】

図7は、本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオエンコーダ200(図1および図3)に関して説明するが、他のデバイスが図7の方法と同様の方法を実行するように構成され得ることを理解されたい。

【0159】

この例では、ビデオエンコーダ200は最初に、現在のブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在のブロックのための予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在のブロックのための残差ブロックを計算し得る(352)。残差ブロックを計算するために、ビデオエンコーダ200は、元の符号化されていないブロックと現在のブロックのための予測ブロックとの間の差分を計算し得る。次いで、ビデオエンコーダ200は、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る(354)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査の間、または走査に続いて、ビデオエンコーダ200は、変換係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して、変換係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピー符号化されたデータを出力し得る(360)。

【0160】

図8は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオデコーダ300(図1および図4)に関して説明するが、他のデバイスが図8の方法と同様の方法を実行するように構成され得ることを理解されたい。

【0161】

ビデオデコーダ300は、エントロピー符号化された予測情報および現在のブロックに対応する残差ブロックの変換係数のエントロピー符号化されたデータなどの、現在のブロックのためのエントロピー符号化されたデータを受信し得る(370)。ビデオデコーダ300は、現在のブロックのための予測情報を決定するために、および残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る(372)。ビデオデコーダ300は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックのための予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在のブロックを予測し得る(374)。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る(376)。次いで、ビデオデコーダ300は、変換係数を逆量子化し、逆変換を変換係数に適用して、残差ブロックを生成し得る(378)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号し得る(380)。

【0162】

図9は、本開示の技法による、複数の色成分に基づく符号予測を使用して現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在の変換ブロック(TU)を含み得る。ビデオデコーダ300(図1および図4)に関して説明するが、他のデバイスが図9の方法と同様の方法を実行するように構成され得ることを理解されたい。たとえば、ビデオエンコーダ200(図1および図3)は、(たとえば、逆変換処理ユニット212によって)図9の方法と同様の方法を実行するように構成され得る。

【0163】

ビデオデコーダ300は、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測し得る(902)。たとえば、ビデオデコーダ300の逆変換処理ユニット308は、符号が正であるという第1の仮説再構成と、符号が負であるという第2の仮説再構成とを含む、複数の仮説再構成を生成し得る。逆変換処理ユニット308は、コスト関数を使用して複数の仮説再構成を評価し、係数に対する予測された符号として、最も低いコスト値を有する仮説再構成に対応する符号を選択し得る。

【0164】

コスト関数を使用して符号を予測するために、逆変換処理ユニット308は、複数の色成分に対するジョイントコスト値を決定し得る。たとえば、ジョイント残差ブロックの係数の予測された符号は、ジョイント残差ブロック(たとえば、Cb残差ブロックおよびCr残差ブロック)に基づいて生成された複数の色成分のための残差ブロックに影響を及ぼすので、逆変換処理ユニット308は、複数の色成分に対するコストを評価し得る。いくつかの例では、逆変換処理ユニット308は、少なくとも複数の色成分のコスト値の加重和としてジョイントコスト値を決定することによってジョイントコスト値を決定し得る。たとえば、逆変換処理ユニット308は、少なくとも複数の色成分のうちの第1の色成分のための第1の重みを決定することと、複数の色成分のうちの第2の色成分のための第2の重みを決定することと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定することとによって、ジョイントコスト値を決定し得る。1つの具体的な例として、逆変換処理ユニット308は、以下の式に従ってジョイントコスト値を決定し得、

【0165】

【数9】

【0166】

式中、Cost_jointがジョイントコスト値であり、w_colorが複数の色成分のうちの特定の色成分の重みであり、Sが複数の色成分を含むセットを示し、Cost_colorが特定の色成分のコスト値である。

【0167】

上記で説明したように、逆変換処理ユニット308は、複数の色成分のための重み(たとえば、w_color)を決定し得る。たとえば、逆変換処理ユニット308は、第1の色成分(たとえば、Cb)のための第1の重みを決定し、第2の色成分(たとえば、Cr)のための第2の重みを決定し得る。いくつかの例では、逆変換処理ユニット308は、Cb色成分およびCr色成分を含む複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、重みを決定し得る。一例として、Cb色成分が、走査順序においてCr色成分よりも前に走査される場合、逆変換処理ユニット308は、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定し得る。別の例として、Cb色成分が、走査順序においてCr色成分よりも前に走査される場合、逆変換処理ユニット308は、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定し得る。また別の例として、Cb色成分が非ゼロCBFを有するとの決定に応答して、逆変換処理ユニット308は、第1の重みが1であると決定し得、Cr色成分が非ゼロCBFを有するとの決定に応答して、逆変換処理ユニット308は、第2の重みが1であると決定し得る。

【0168】

上記で説明したように、逆変換処理ユニット308は、ジョイント残差ブロックの係数に対する符号を予測するために、複数のジョイントコスト値(たとえば、複数の仮説)を決定し得る。たとえば、逆変換処理ユニット308は、負符号に対する複数の色成分の第1のジョイントコスト値を決定する(たとえば、負としての符号を用いて再構成を実行する)ことと、正符号に対する複数の色成分の第2のジョイントコスト値を決定する(たとえば、正としての符号を用いて再構成を実行する)こととを行い得る。上述のように、コスト値を決定するために、逆変換処理ユニット308は、最も好ましい(たとえば、最も低い)ジョイントコスト値に対応する符号を選択し得る。一例として、第1のジョイントコスト値(たとえば、負符号に対するジョイントコスト値)が第2のジョイントコスト値(たとえば、正符号に対するジョイントコスト値)未満であるとの決定に応答して、逆変換処理ユニット308は、符号が負であると予測し得る。別の例として、第2のジョイントコスト値が第1のジョイントコスト値未満であるとの決定に応答して、逆変換処理ユニット308は、符号が正であると予測し得る。

【0169】

ジョイント残差ブロックの複数の係数のうちの単一の係数について実行されるものとして上記で説明したが、いくつかの例では、逆変換処理ユニット308は、ジョイント残差ブロックの複数の係数のうちの他の係数について符号を予測するために同様の手順を実行し得る。複数の色成分に基づいて1つまたは複数の符号を予測することによって、本開示の技法は、ビデオデータのより効率的なシグナリングを可能にし得る。詳細には、本開示の技法から生じ得る、より正確な符号予測は、ビットストリームにおいてシグナリングされる必要がある符号の数を低減し得る。

【0170】

逆変換処理ユニット308は、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成し得る(904)。たとえば、逆変換処理ユニット308は、VVCによってサポートされる3つのサブモードのうちの1つに従ってCb残差ブロックおよびCr残差ブロックを生成し得る。逆変換処理ユニット308は、クロマ成分のCBF値の組合せからサブモードインデックスを導出し得る。Cbf_Cb == 1およびCbf_Cr == 0の場合、サブモードインデックスは1である。Cbf_Cb == 1およびCbf_Cr == 1の場合、サブモードインデックスは2である。そうでない場合(Cbf_Cb == 0およびCbf_Cr == 1)、サブモードインデックスは3である。以下の表は、逆変換されたジョイント係数ブロック(resJointC)がどのようにCbおよびCrのピクセル残差(resCbおよびresCr)に変換されるかを示す。

【0171】

【表2】

【0172】

逆変換処理ユニット308は、ピクチャヘッダの中のph_joint_cbcr_sign_flagからCSignの値、すなわち、
CSign = 1 - 2 * ph_joint_cbcr_sign_flag
を導出し得る。

【0173】

逆変換処理ユニット308は、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成し得る(906)。たとえば、図8の動作380と同様に、再構成ユニット310は、色成分のためのそれぞれの再構成された予測ブロックをそれらのそれぞれの残差ブロックと合成し得る。たとえば、再構成ユニット310は、Cb残差ブロックの値を(たとえば、予測処理ユニット304によって生成された)Cb予測ブロックの値と足して、再構成されたCbブロックを生成し、Cr残差ブロックの値を(たとえば、予測処理ユニット304によって生成された)Cr予測ブロックの値と足して、再構成されたCrブロックを生成し得る。

【0174】

以下の番号付き条項は、本開示の1つまたは複数の態様を示し得る。

【0175】

条項1A. ビデオデータをコーディングする方法であって、ビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックの色成分の残差データの符号を予測するステップと、予測された符号に基づいて、ビデオデータのブロックを再構成するステップとを含む方法。

【0176】

条項2A. 符号を予測するステップが、ビデオデータのブロックの複数の色成分の符号をジョイント予測するステップを含む、条項1Aの方法。

【0177】

条項3A. 符号をジョイント予測するステップが、複数の色成分のジョイントコスト値を決定するステップと、決定されたジョイントコスト値に基づいて複数の色成分の符号を予測するステップとを含む、条項2Aの方法。

【0178】

条項4A. ジョイントコスト値を決定するステップが、以下の式に従ってジョイントコスト値を決定するステップを含み、Cost_joint=Σ_color∈Sw_color・Cost_color、式中、Cost_jointがジョイントコスト値であり、w_colorが複数の色成分のうちの特定の色成分の重みであり、Sが複数の色成分を含むセットを示し、Cost_colorが特定の色成分のコスト値である、条項3Aの方法。

【0179】

条項5A. コーディングするステップが復号するステップを含む、条項1A～4Aのいずれかの方法。

【0180】

条項6A. コーディングするステップが符号化するステップを含む、条項1A～5Aのいずれかの方法。

【0181】

条項7A. ビデオデータをコーディングするためのデバイスであって、条項1A～6Aのいずれかの方法を実行するための1つまたは複数の手段を備えるデバイス。

【0182】

条項8A. 1つまたは複数の手段が、回路において実装された1つまたは複数のプロセッサを備える、条項7Aのデバイス。

【0183】

条項9A. ビデオデータを記憶するためのメモリをさらに備える、条項6Aおよび8Aのいずれかのデバイス。

【0184】

条項10A. 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項6A～9Aのいずれかのデバイス。

【0185】

条項11A. デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項6A～10Aのいずれかのデバイス。

【0186】

条項12A. デバイスがビデオデコーダを備える、条項6A～11Aのいずれかのデバイス。

【0187】

条項13A. デバイスがビデオエンコーダを備える、条項6A～12Aのいずれかのデバイス。

【0188】

条項14A. 命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されると、1つまたは複数のプロセッサに、条項1A～6Aのいずれかの方法を実行させる、コンピュータ可読記憶媒体。

【0189】

条項1B. ビデオデータを復号する方法であって、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む方法。

【0190】

条項2B. 符号を予測するステップが、複数の色成分のジョイントコスト値を決定するステップと、ジョイントコスト値に基づいて符号を予測するステップとを含む、条項1Bの方法。

【0191】

条項3B. ジョイントコスト値を決定するステップが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップを含む、条項2Bの方法。

【0192】

条項4B. 複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップが、以下の式に従ってジョイントコスト値を決定するステップを含み、

【0193】

【数10】

【0194】

式中、Cost_jointがジョイントコスト値であり、w_colorが複数の色成分のうちの特定の色成分の重みであり、Sが複数の色成分を含むセットを示し、Cost_colorが特定の色成分のコスト値である、条項3Bの方法。

【0195】

条項5B. 複数の色成分のうちの第1の色成分のための第1の重みを決定するステップと、複数の色成分のうちの第2の色成分のための第2の重みを決定するステップと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定するステップとをさらに含む、条項3Bの方法。

【0196】

条項6B. 第1の重みおよび第2の重みを決定するステップが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するステップを含む、条項5Bの方法。

【0197】

条項7B. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項6Bの方法。

【0198】

条項8B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するステップをさらに含む、条項7Bの方法。

【0199】

条項9B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するステップをさらに含む、条項7Bの方法。

【0200】

条項10B. Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であると決定するステップと、Cr色成分が非ゼロCBFを有するとの決定に応答して、第2の重みが1であると決定するステップとをさらに含む、条項7Bの方法。

【0201】

条項11B. 複数の色成分のジョイントコスト値を決定するステップが、負符号に対する複数の色成分の第1のジョイントコスト値を決定するステップと、正符号に対する複数の色成分の第2のジョイントコスト値を決定するステップとを含み、残差データの符号を予測するステップが、第1のジョイントコスト値が第2のジョイントコスト値未満であるとの決定に応答して、符号が負であると予測するステップと、第2のジョイントコスト値が第1のジョイントコスト値未満であるとの決定に応答して、符号が正であると予測するステップとを含む、条項2Bの方法。

【0202】

条項12B. ビデオデータを符号化する方法であって、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む方法。

【0203】

条項13B. 符号を予測するステップが、複数の色成分のジョイントコスト値を決定するステップと、ジョイントコスト値に基づいて符号を予測するステップとを含む、条項12Bの方法。

【0204】

条項14B. ジョイントコスト値を決定するステップが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップを含む、条項13Bの方法。

【0205】

条項15B. 複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップが、以下の式に従ってジョイントコスト値を決定するステップを含み、

【0206】

【数11】

【0207】

式中、Cost_jointがジョイントコスト値であり、w_colorが複数の色成分のうちの特定の色成分の重みであり、Sが複数の色成分を含むセットを示し、Cost_colorが特定の色成分のコスト値である、条項14Bの方法。

【0208】

条項16B. 複数の色成分のうちの第1の色成分のための第1の重みを決定するステップと、複数の色成分のうちの第2の色成分のための第2の重みを決定するステップと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定するステップとをさらに含む、条項14Bの方法。

【0209】

条項17B. 第1の重みおよび第2の重みを決定するステップが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するステップを含む、条項16Bの方法。

【0210】

条項18B. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項17Bの方法。

【0211】

条項19B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するステップをさらに含む、条項18Bの方法。

【0212】

条項20B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するステップをさらに含む、条項18Bの方法。

【0213】

条項21B. Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であると決定するステップと、Cr色成分が非ゼロCBFを有するとの決定に応答して、第2の重みが1であると決定するステップとをさらに含む、条項18Bの方法。

【0214】

条項22B. 複数の色成分のジョイントコスト値を決定するステップが、負符号に対する複数の色成分の第1のジョイントコスト値を決定するステップと、正符号に対する複数の色成分の第2のジョイントコスト値を決定するステップとを含み、残差データの符号を予測するステップが、第1のジョイントコスト値が第2のジョイントコスト値未満であるとの決定に応答して、符号が負であると予測するステップと、第2のジョイントコスト値が第1のジョイントコスト値未満であるとの決定に応答して、符号が正であると予測するステップとを含む、条項13Bの方法。

【0215】

条項23B. ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装され、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。

【0216】

条項24B. 符号を予測するために、1つまたは複数のプロセッサが、複数の色成分のジョイントコスト値を決定することと、ジョイントコスト値に基づいて符号を予測することとを行うように構成される、条項23Bのデバイス。

【0217】

条項25B. ジョイントコスト値を決定するために、1つまたは複数のプロセッサが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するように構成される、条項24Bのデバイス。

【0218】

条項26B. 1つまたは複数のプロセッサが、複数の色成分のうちの第1の色成分のための第1の重みを決定することと、複数の色成分のうちの第2の色成分のための第2の重みを決定することと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定することとを行うようにさらに構成される、条項25Bのデバイス。

【0219】

条項27B. 第1の重みおよび第2の重みを決定するために、1つまたは複数のプロセッサが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するように構成される、条項26Bのデバイス。

【0220】

条項28B. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項27Bのデバイス。

【0221】

条項29B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するようにさらに構成される、条項28Bのデバイス。

【0222】

条項30B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するようにさらに構成される、条項28Bのデバイス。

【0223】

条項31B. ビデオデータを符号化するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装され、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。

【0224】

条項32B. 符号を予測するために、1つまたは複数のプロセッサが、複数の色成分のジョイントコスト値を決定することと、ジョイントコスト値に基づいて符号を予測することとを行うように構成される、条項31Bのデバイス。

【0225】

条項33B. ジョイントコスト値を決定するために、1つまたは複数のプロセッサが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するように構成される、条項32Bのデバイス。

【0226】

条項34B. 1つまたは複数のプロセッサが、複数の色成分のうちの第1の色成分のための第1の重みを決定することと、複数の色成分のうちの第2の色成分のための第2の重みを決定することと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定することとを行うようにさらに構成される、条項33Bのデバイス。

【0227】

条項35B. 第1の重みおよび第2の重みを決定するために、1つまたは複数のプロセッサが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するように構成される、条項34Bのデバイス。

【0228】

条項36B. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項35Bのデバイス。

【0229】

条項37B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するようにさらに構成される、条項36Bのデバイス。

【0230】

条項38B. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するようにさらに構成される、条項36Bのデバイス。

【0231】

条項39B. ビデオデータをコーディングするためのデバイスであって、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するための手段と、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するための手段と、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するための手段とを備えるデバイス。

【0232】

条項40B. 命令を記憶するコンピュータ可読記憶媒体であって、命令が、実行されると、ビデオコーダの1つまたは複数のプロセッサに、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行わせる、コンピュータ可読記憶媒体。

【0233】

条項1C. ビデオデータを復号する方法であって、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む方法。

【0234】

条項2C. 符号を予測するステップが、複数の色成分のジョイントコスト値を決定するステップと、ジョイントコスト値に基づいて符号を予測するステップとを含む、条項1Cの方法。

【0235】

条項3C. ジョイントコスト値を決定するステップが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップを含む、条項2Cの方法。

【0236】

条項4C. 複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップが、以下の式に従ってジョイントコスト値を決定するステップを含み、

【0237】

【数12】

【0238】

式中、Cost_jointがジョイントコスト値であり、w_colorが複数の色成分のうちの特定の色成分の重みであり、Sが複数の色成分を含むセットを示し、Cost_colorが特定の色成分のコスト値である、条項3Cの方法。

【0239】

条項5C. 複数の色成分のうちの第1の色成分のための第1の重みを決定するステップと、複数の色成分のうちの第2の色成分のための第2の重みを決定するステップと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定するステップとをさらに含む、条項3Cまたは4Cの方法。

【0240】

条項6C. 第1の重みおよび第2の重みを決定するステップが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するステップを含む、条項5Cの方法。

【0241】

条項7C. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項6Cの方法。

【0242】

条項8C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するステップをさらに含む、条項7Cの方法。

【0243】

条項9C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するステップをさらに含む、条項7Cまたは8Cの方法。

【0244】

条項10C. Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であると決定するステップと、Cr色成分が非ゼロCBFを有するとの決定に応答して、第2の重みが1であると決定するステップとをさらに含む、条項7Cの方法。

【0245】

条項11C. 複数の色成分のジョイントコスト値を決定するステップが、負符号に対する複数の色成分の第1のジョイントコスト値を決定するステップと、正符号に対する複数の色成分の第2のジョイントコスト値を決定するステップとを含み、残差データの符号を予測するステップが、第1のジョイントコスト値が第2のジョイントコスト値未満であるとの決定に応答して、符号が負であると予測するステップと、第2のジョイントコスト値が第1のジョイントコスト値未満であるとの決定に応答して、符号が正であると予測するステップとを含む、条項2C～10Cのいずれかの方法。

【0246】

条項12C. ビデオデータを符号化する方法であって、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するステップと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するステップと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するステップとを含む方法。

【0247】

条項13C. 符号を予測するステップが、複数の色成分のジョイントコスト値を決定するステップと、ジョイントコスト値に基づいて符号を予測するステップとを含む、条項12Cの方法。

【0248】

条項14C. ジョイントコスト値を決定するステップが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップを含む、条項13Cの方法。

【0249】

条項15C. 複数の色成分のコスト値の加重和としてジョイントコスト値を決定するステップが、以下の式に従ってジョイントコスト値を決定するステップを含み、

【0250】

【数13】

【0251】

式中、Cost_jointがジョイントコスト値であり、w_colorが複数の色成分のうちの特定の色成分の重みであり、Sが複数の色成分を含むセットを示し、Cost_colorが特定の色成分のコスト値である、条項14Cの方法。

【0252】

条項16C. 複数の色成分のうちの第1の色成分のための第1の重みを決定するステップと、複数の色成分のうちの第2の色成分のための第2の重みを決定するステップと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定するステップとをさらに含む、条項14Cまたは15Cの方法。

【0253】

条項17C. 第1の重みおよび第2の重みを決定するステップが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するステップを含む、条項16Cの方法。

【0254】

条項18C. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項17Cの方法。

【0255】

条項19C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するステップをさらに含む、条項18Cの方法。

【0256】

条項20C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、方法が、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するステップをさらに含む、条項18Cまたは19Cの方法。

【0257】

条項21C. Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であると決定するステップと、Cr色成分が非ゼロCBFを有するとの決定に応答して、第2の重みが1であると決定するステップとをさらに含む、条項18Cの方法。

【0258】

条項22C. 複数の色成分のジョイントコスト値を決定するステップが、負符号に対する複数の色成分の第1のジョイントコスト値を決定するステップと、正符号に対する複数の色成分の第2のジョイントコスト値を決定するステップとを含み、残差データの符号を予測するステップが、第1のジョイントコスト値が第2のジョイントコスト値未満であるとの決定に応答して、符号が負であると予測するステップと、第2のジョイントコスト値が第1のジョイントコスト値未満であるとの決定に応答して、符号が正であると予測するステップとを含む、条項13C～21Cのいずれかの方法。

【0259】

条項23C. ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装され、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。

【0260】

条項24C. 符号を予測するために、1つまたは複数のプロセッサが、複数の色成分のジョイントコスト値を決定することと、ジョイントコスト値に基づいて符号を予測することとを行うように構成される、条項23Cのデバイス。

【0261】

条項25C. ジョイントコスト値を決定するために、1つまたは複数のプロセッサが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するように構成される、条項24Cのデバイス。

【0262】

条項26C. 1つまたは複数のプロセッサが、複数の色成分のうちの第1の色成分のための第1の重みを決定することと、複数の色成分のうちの第2の色成分のための第2の重みを決定することと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定することとを行うようにさらに構成される、条項25Cのデバイス。

【0263】

条項27C. 第1の重みおよび第2の重みを決定するために、1つまたは複数のプロセッサが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するように構成される、条項26Cのデバイス。

【0264】

条項28C. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項27Cのデバイス。

【0265】

条項29C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するようにさらに構成される、条項28Cのデバイス。

【0266】

条項30C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するようにさらに構成される、条項28のデバイス。

【0267】

条項31C. ビデオデータを符号化するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装され、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。

【0268】

条項32C. 符号を予測するために、1つまたは複数のプロセッサが、複数の色成分のジョイントコスト値を決定することと、ジョイントコスト値に基づいて符号を予測することとを行うように構成される、条項31Cのデバイス。

【0269】

条項33C. ジョイントコスト値を決定するために、1つまたは複数のプロセッサが、複数の色成分のコスト値の加重和としてジョイントコスト値を決定するように構成される、条項32Cのデバイス。

【0270】

条項34C. 1つまたは複数のプロセッサが、複数の色成分のうちの第1の色成分のための第1の重みを決定することと、複数の色成分のうちの第2の色成分のための第2の重みを決定することと、第1の重みおよび第2の重みに基づいて、複数の色成分のコスト値の加重和を決定することとを行うようにさらに構成される、条項33Cのデバイス。

【0271】

条項35C. 第1の重みおよび第2の重みを決定するために、1つまたは複数のプロセッサが、複数の色成分のうちのどの色成分が走査順序において前に非ゼロコード化ブロックフラグ(CBF)を有するかに基づいて、第1の重みおよび第2の重みを決定するように構成される、条項34Cのデバイス。

【0272】

条項36C. 第1の色成分がCb色成分であり、第2の色成分がCr色成分である、条項35Cのデバイス。

【0273】

条項37C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが1であり、第2の重みが0であると決定するようにさらに構成される、条項36Cのデバイス。

【0274】

条項38C. Cb色成分が、走査順序においてCr色成分よりも前に走査され、1つまたは複数のプロセッサが、Cb色成分がゼロCBFを有し、Cr色成分が非ゼロCBFを有するとの決定に応答して、第1の重みが0であり、第2の重みが1であると決定するようにさらに構成される、条項36Cのデバイス。

【0275】

条項39C. ビデオデータをコーディングするためのデバイスであって、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測するための手段と、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成するための手段と、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成するための手段とを備えるデバイス。

【0276】

条項40C. 命令を記憶するコンピュータ可読記憶媒体であって、命令が、実行されると、ビデオコーダの1つまたは複数のプロセッサに、クロマ残差のジョイントコーディング(JCCR)を使用してコーディングされたビデオデータのブロックの複数の色成分に基づいて、ビデオデータのブロックのジョイント残差ブロックの複数の係数のうちの係数の符号を予測することと、複数の色成分のうちのそれぞれの色成分ごとに、ジョイント残差ブロックの複数の係数に基づいて、複数の残差ブロックのうちのそれぞれの残差ブロックの係数を生成することと、複数の残差ブロックに基づいて、ビデオデータのブロックを再構成することとを行わせる、コンピュータ可読記憶媒体。

【0277】

例に応じて、本明細書で説明する技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行される場合があり、追加され、統合され、または完全に除外されてもよい(たとえば、説明したすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて、同時に実行されてもよい。

【0278】

1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0279】

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

【0280】

命令は、1つまたは複数のDSP、汎用マイクロプロセッサ、ASIC、FPGA、または他の等価な集積論理回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。

【0281】

本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示した技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示で説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされてもよく、または好適なソフトウェアおよび/もしくはファームウェアとともに、上記で説明したような1つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてもよい。

【0282】

様々な例について説明してきた。これらおよび他の例は、以下の特許請求の範囲内に入る。

【符号の説明】

【0283】

100 ビデオ符号化および復号システム、システム
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
130 4分木2分木(QTBT)構造、QTBT構造
132 コーディングツリーユニット(CTU)、CTU
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構成ユニット
216 フィルタユニット
218 復号ピクチャバッファ(DPB)、DPB
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構成ユニット
312 フィルタユニット
314 復号ピクチャバッファ(DPB)、DPB
316 動き補償ユニット
318 イントラ予測ユニット
320 コード化ピクチャバッファ(CPB)メモリ、CPBメモリ

【図1】