特表2023-554264高ビット深度ビデオコーディング用のＲＩＣＥパラメータ導出のための低複雑度履歴の使用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-27
(54)【発明の名称】高ビット深度ビデオコーディング用のＲＩＣＥパラメータ導出のための低複雑度履歴の使用
(51)【国際特許分類】
H04N 19/13 20140101AFI20231220BHJP
H04N 19/176 20140101ALI20231220BHJP
H04N 19/136 20140101ALI20231220BHJP
H04N 19/70 20140101ALI20231220BHJP
【ＦＩ】
H04N19/13
H04N19/176
H04N19/136
H04N19/70
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023534016
(86)(22)【出願日】2021-12-21
(85)【翻訳文提出日】2023-06-02
(86)【国際出願番号】 US2021073060
(87)【国際公開番号】W WO2022140777
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】63/128,641
(32)【優先日】2020-12-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/645,187
(32)【優先日】2021-12-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ドミトロ・ルサノフスキー
(72)【発明者】
【氏名】マルタ・カルチェヴィッチ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TA59
5C159TB08
5C159TC04
5C159TC31
5C159TC41
5C159TC42
5C159TD07
5C159TD18
5C159UA02
5C159UA05
(57)【要約】
ビデオデータを復号する方法は、変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップとを含む。
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、係数統計値を初期化するステップと、
前記ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて前記係数統計値を更新するステップであって、前記係数統計値を更新するステップは、前記TBの前記1つまたは複数の変換係数の各それぞれの変換係数向けに、
一時的値を判断するために導出プロセスを実施することであって、前記導出プロセスは、複数の符号化手順のうちのどの符号化方法が、前記それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、前記複数の符号化手順は、前記それぞれの変換係数を符号化し、前記それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、
前記係数統計値を、前記係数統計値と前記一時的値の平均として設定することとを含む、ステップと、
前記係数統計値に基づいて履歴値を判断するステップと、
前記TBの特定変換係数用のRiceパラメータを判断するステップであって、前記特定変換係数用の前記Riceパラメータを判断するステップは、
前記特定変換係数が、前記TBの右境界または前記TBの下部境界から離れた3未満の空間位置であることに基づいて、前記履歴値に基づいてローカル合計値を判断することと、
前記ローカル合計値に基づいて、前記特定変換係数用の前記Riceパラメータを判断することとを含む、ステップと、
前記特定変換係数用の前記Riceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、前記特定変換係数のレベルを判断するステップと、
前記特定変換係数の前記レベルに基づいて前記ブロックを復号するステップとを含む方法。
【請求項2】
前記一時的値を判断するために前記導出プロセスを実施するステップは、前記それぞれの変換係数が、前記コンテキストベース手順を使って符号化されたことに基づいて、前記それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて前記一時的値を判断するステップを含む、請求項1に記載の方法。
【請求項3】
前記一時的値を判断するために前記導出プロセスを実施するステップは、前記それぞれの変換係数が絶対値として符号化されたことに基づいて、前記それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、前記一時的値を判断するステップを含む、請求項1に記載の方法。
【請求項4】
前記TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断するステップと、前記ピクチャの区分の開始において、前記係数統計値を前記デフォルト履歴値にリセットするステップとをさらに含む、請求項1に記載の方法。
【請求項5】
前記方法は、前記係数統計値をRiceパラメータ導出物として記憶するステップをさらに含み、前記係数統計値に基づいて前記履歴値を判断するステップは、1を前記係数統計値だけ左シフトするステップを含む、請求項1に記載の方法。
【請求項6】
ビデオデータを符号化する方法であって、係数統計値を初期化するステップと、
前記ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて前記係数統計値を更新するステップであって、前記係数統計値を更新するステップは、前記TBの前記1つまたは複数の変換係数の各それぞれの変換係数向けに、
一時的値を判断するために導出プロセスを実施することであって、前記導出プロセスは、複数の符号化手順のうちのどの符号化手順が、前記それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、前記複数の符号化手順は、前記それぞれの変換係数を符号化し、前記それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、
前記係数統計値を、前記係数統計値と前記一時的値の平均として設定することとを含む、ステップと、
前記係数統計値に基づいて履歴値を判断するステップと、
前記TBの特定変換係数用のRiceパラメータを判断するステップであって、前記特定変換係数用の前記Riceパラメータを判断するステップは、
前記特定変換係数が、前記TBの右境界または前記TBの下部境界から離れた3未満の空間位置であることに基づいて、前記履歴値に基づいてローカル合計値を判断することと、
前記ローカル合計値に基づいて、前記特定変換係数用の前記Riceパラメータを判断することとを含む、ステップと、
前記特定変換係数用の前記Riceパラメータおよび前記特定変換係数のレベルに基づいて、前記特定変換係数用のRiceコードを生成するステップとを含む方法。
【請求項7】
前記一時的値を判断するために前記導出プロセスを実施するステップは、前記それぞれの変換係数が、前記コンテキストベース手順を使って符号化されたことに基づいて、前記それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて前記一時的値を判断するステップを含む、請求項6に記載の方法。
【請求項8】
前記一時的値を判断するために前記導出プロセスを実施するステップは、前記それぞれの変換係数が絶対値として符号化されたことに基づいて、前記それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、前記一時的値を判断するステップを含む、請求項6に記載の方法。
【請求項9】
前記TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断するステップと、前記ピクチャの区分の開始において、前記係数統計値を前記デフォルト履歴値にリセットするステップとをさらに含む、請求項6に記載の方法。
【請求項10】
前記方法は、前記係数統計値をRiceパラメータ導出物として記憶するステップをさらに含み、前記係数統計値に基づいて前記履歴値を判断するステップは、1を前記係数統計値だけ左シフトするステップを含む、請求項6に記載の方法。
【請求項11】
ビデオデータを復号するためのデバイスであって、前記ビデオデータを記憶するように構成されたメモリと、
処理回路構成とを備え、前記処理回路構成は、
係数統計値を初期化することと、
前記ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、前記係数統計値を更新することであって、前記処理回路構成は、前記係数統計値を更新することの一部として、前記TBの前記1つまたは複数の変換係数の各それぞれの変換係数向けに、
一時的値を判断するために導出プロセスを実施することであって、前記導出プロセスは、複数の符号化手順のうちのどの符号化手順が、前記それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、前記複数の符号化手順は、前記それぞれの変換係数を符号化し、前記それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、
前記係数統計値を、前記係数統計値と前記一時的値の平均として設定することとを行うように構成される、ことと、
前記係数統計値に基づいて履歴値を判断することと、
前記TBの特定変換係数用のRiceパラメータを判断することであって、前記処理回路構成は、前記特定変換係数用の前記Riceパラメータを判断することの一部として、
前記特定変換係数が、前記TBの右境界または前記TBの下部境界から離れた3未満の空間位置であることに基づいて、前記履歴値に基づいてローカル合計値を判断することと、
前記ローカル合計値に基づいて、前記特定変換係数用の前記Riceパラメータを判断することとを行うように構成される、ことと、
前記特定変換係数用の前記Riceパラメータに基づいて、前記特定変換係数のレベルを判断することと、
前記特定変換係数の前記レベルに基づいて前記TBを復号することとを行うように構成される、デバイス。
【請求項12】
前記処理回路構成は、前記一時的値を判断するために前記導出プロセスを実施することの一部として、前記それぞれの変換係数が、前記コンテキストベース手順を使って符号化されたことに基づいて、前記それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて前記一時的値を判断することと、
前記それぞれの変換係数が絶対値として符号化されたことに基づいて、前記それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、前記一時的値を判断することとを行うように構成される、請求項11に記載のデバイス。
【請求項13】
前記処理回路構成は、前記TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断することと、
前記ピクチャの区分の開始において、前記係数統計値を前記デフォルト履歴値にリセットすることとを行うようにさらに構成される、請求項11に記載のデバイス。
【請求項14】
前記処理回路構成は、前記係数統計値をRiceパラメータ導出物として記憶するようにさらに構成され、前記処理回路構成は、前記係数統計値に基づいて前記履歴値を判断することの一部として、1を前記係数統計値だけ左シフトするように構成される、請求項11に記載のデバイス。
【請求項15】
復号ビデオデータを表示するように構成されたディスプレイをさらに備える、請求項11に記載のデバイス。
【請求項16】
前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項11に記載のデバイス。
【請求項17】
ビデオデータを符号化するためのデバイスであって、前記ビデオデータを記憶するように構成されたメモリと、
処理回路構成とを備え、前記処理回路構成は、
係数統計値を初期化することと、
前記ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、前記係数統計値を更新することであって、前記処理回路構成は、前記係数統計値を更新することの一部として、前記TBの前記1つまたは複数の変換係数の各それぞれの変換係数向けに、
一時的値を判断するために導出プロセスを実施することであって、前記導出プロセスは、複数の符号化手順のうちのどの符号化手順が、前記それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、前記複数の符号化手順は、前記それぞれの変換係数を符号化し、前記それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、
前記係数統計値を、前記係数統計値と前記一時的値の平均として設定することとを行うように構成される、ことと、
前記係数統計値に基づいて履歴値を判断することと、
前記TBの特定変換係数用のRiceパラメータを判断することであって、前記処理回路構成は、前記特定変換係数用の前記Riceパラメータを判断することの一部として、
前記特定変換係数が、前記TBの右境界または前記TBの下部境界から離れた3未満の空間位置であることに基づいて、前記履歴値に基づいてローカル合計値を判断することと、
前記ローカル合計値に基づいて、前記特定変換係数用の前記Riceパラメータを判断することとを行うように構成される、ことと、
前記特定変換係数用の前記Riceパラメータおよび前記特定変換係数のレベルに基づいて、前記特定変換係数用のRiceコードを生成することとを行うように構成される、デバイス。
【請求項18】
前記処理回路構成は、前記一時的値を判断するために前記導出プロセスを実施することの一部として、前記それぞれの変換係数が、前記コンテキストベース手順を使って符号化されたことに基づいて、前記それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて前記一時的値を判断することと、
前記それぞれの変換係数が絶対値として符号化されたことに基づいて、前記それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて前記一時的値を判断することとを行うように構成される、請求項17に記載のデバイス。
【請求項19】
前記処理回路構成は、前記TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断することと、
前記ピクチャの区分の開始において、前記係数統計値を前記デフォルト履歴値にリセットすることとを行うようにさらに構成される、請求項17に記載のデバイス。
【請求項20】
前記処理回路構成は、前記係数統計値をRiceパラメータ導出物として記憶するようにさらに構成され、前記処理回路構成は、前記係数統計値に基づいて前記履歴値を判断することの一部として、1を前記係数統計値だけ左シフトするように構成される、請求項17に記載のデバイス。
【請求項21】
前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項17に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2021年12月20日に出願された米国特許出願第17/645,187号、および2020年12月21日に出願された米国仮出願第63/128,641号の優先権を主張し、これらの出願の内容全体は、参照により本明細書に組み込まれる。2021年12月20日に出願された米国特許出願第17/645,187号は、2020年12月21日に出願された米国仮出願第63/128,641号の利益を主張する。
【0002】
本開示は、ビデオ符号化およびビデオ復号に関する。
【背景技術】
【0003】
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 Part 10、アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
【0004】
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャ、またはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコード化(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックの中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Brossら、「Versatile Video Coding (Draft 10)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第18回会議:遠隔会議による、2020年6月22日～7月1日、JVET-S2001-vH
【発明の概要】
【課題を解決するための手段】
【0006】
概して、本開示は、高ビット深度コーディングでの通常残差コーディング(RRC)用のRiceパラメータ導出のための技法について記載する。提案される技法は、ビデオコーディング規格(たとえば、汎用ビデオコーディング(VVC))の拡張に関するが、他のビデオコーディング規格にも適用可能であり得る。本明細書において記載するように、変換係数用のRiceパラメータを判断する際に使われる係数統計値を更新するためのプロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかを考慮に入れてよい。複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む。それぞれの変換係数を符号化するのに使われる符号化手順に少なくとも部分的に基づいてRiceパラメータを判断すると、Riceパラメータの選択の正確さを増すことができ、これにより、コーディング効率を高めることができる。
【0007】
一例では、本開示は、ビデオデータを復号する方法を記載し、この方法は、係数統計値を初期化するステップと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップであって、特定変換係数用のRiceパラメータを判断するステップは、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを含む、ステップと、特定変換係数用のRiceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、特定変換係数のレベルを判断するステップと、特定変換係数のレベルに基づいてTBを復号するステップとを含む。
【0008】
別の例では、本開示は、ビデオデータを符号化する方法を記載し、この方法は、係数統計値を初期化するステップと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップであって、特定変換係数用のRiceパラメータを判断するステップは、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを含む、ステップと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成するステップとを含む。
【0009】
別の例では、本開示は、ビデオデータを復号するためのデバイスを記載し、このデバイスは、ビデオデータを記憶するように構成されたメモリと、処理回路構成とを備え、処理回路構成は、係数統計値を初期化することと、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新することであって、処理回路構成は、係数統計値を更新することの一部として、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行うように構成される、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、処理回路構成は、特定変換係数用のRiceパラメータを判断することの一部として、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行うように構成される、ことと、特定変換係数用のRiceパラメータに基づいて、特定変換係数のレベルを判断することと、特定変換係数のレベルに基づいてブロックを復号することとを行うように構成される。
【0010】
別の例では、本開示は、ビデオデータを符号化するためのデバイスを記載し、このデバイスは、ビデオデータを記憶するように構成されたメモリと、処理回路構成とを備え、処理回路構成は、係数統計値を初期化することと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新することであって、処理回路構成は、係数統計値を更新することの一部として、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行うように構成される、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、処理回路構成は、特定変換係数用のRiceパラメータを判断することの一部として、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行うように構成される、ことと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成することとを行うように構成される。
【0011】
別の例では、本開示は、ビデオデータを復号するためのデバイスを記載し、このデバイスは、係数統計値を初期化するための手段と、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新するための手段であって、係数統計値を更新するための手段は、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施するための手段であって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、手段と、係数統計値を、係数統計値と一時的値の平均として設定するための手段とを備える、手段と、係数統計値に基づいて履歴値を判断するための手段と、TBの特定変換係数用のRiceパラメータを判断するための手段であって、Riceパラメータを判断するための手段は、特定変換係数向けに、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づくローカル合計値を判断するための手段と、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断するための手段とを備える、手段と、特定変換係数用のRiceパラメータに基づいて、特定変換係数のレベルを判断するための手段と、特定変換係数のレベルに基づいてブロックを復号するための手段とを備える。
【0012】
別の例では、本開示は、ビデオデータを符号化するためのデバイスを記載し、このデバイスは、係数統計値を初期化するための手段と、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するための手段であって、係数統計値を更新するための手段は、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施するための手段であって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、手段と、係数統計値を、係数統計値と一時的値の平均として設定するための手段とを備える、手段と、係数統計値に基づいて履歴値を判断するための手段と、TBの特定変換係数用のRiceパラメータを判断するための手段であって、Riceパラメータを判断するための手段は、特定変換係数向けに、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づくローカル合計値を判断するための手段と、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断するための手段とを備える、手段と、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成するための手段とを備える。
【0013】
別の例では、本開示は、命令を記憶したコンピュータ可読記憶媒体を記載し、命令は、実行されると、1つまたは複数のプロセッサに、係数統計値を初期化することと、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新することであって、1つまたは複数のプロセッサに係数統計値を更新させる命令は、実行されると、1つまたは複数のプロセッサに、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行わせる命令を含む、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、1つまたは複数のプロセッサに、特定変換係数用のRiceパラメータを判断させる命令は、実行されると、1つまたは複数のプロセッサに、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行わせる命令を含む、ことと、特定変換係数用のRiceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、特定変換係数のレベルを判断することと、特定変換係数のレベルに基づいてブロックを復号することとを行わせる。
【0014】
別の例では、本開示は、命令を記憶したコンピュータ可読記憶媒体を記載し、命令は、実行されると、1つまたは複数のプロセッサに、係数統計値を初期化することと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新することであって、1つまたは複数のプロセッサに係数統計値を更新させる命令は、実行されると、1つまたは複数のプロセッサに、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行わせる命令を含む、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、1つまたは複数のプロセッサに、特定変換係数用のRiceパラメータを判断させる命令は、実行されると、1つまたは複数のプロセッサに、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行わせる命令を含む、ことと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成することとを行わせる。
【0015】
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0016】
【図1】本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図である。
【図2】本開示の1つまたは複数の技法による、現在の係数のローカル合計値の算出において使われ得る隣接係数の例を示す概念図である。
【図3】本開示の1つまたは複数の技法による、例示的な空間領域を示す概念図である。
【図4A】本開示の1つまたは複数の技法による、例示的な4分木2分木(QTBT)構造を示す概念図である。
【図4B】本開示の1つまたは複数の技法による、対応するコーディングツリーユニット(CTU)を示す概念図である。
【図5】本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図である。
【図6】本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図である。
【図7】本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。
【図8】本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャートである。
【図9】本開示の1つまたは複数の技法による、ビデオデータを符号化するための例示的なプロセスを示すフローチャートである。
【図10】本開示の1つまたは複数の技法による、ビデオデータを復号するための例示的なプロセスを示すフローチャートである。
【発明を実施するための形態】
【0017】
汎用ビデオコーディング(VVC)などのビデオコーディング規格では、ビデオエンコーダが残差サンプルを生成する。残差サンプルは、ブロックの予測サンプルとブロックの元のサンプルとの間の差分を示し得る。ビデオエンコーダは次いで、残差サンプルのブロック(たとえば、変換ブロック(TB))に変換(たとえば、離散コサイン変換)を適用して、変換係数を生成し得る。各変換係数は、1つまたは複数のシンタックス要素の形で表され得る。いくつかの例では、変換係数は、サインシンタックス要素、1より大きいシンタックス要素、2より大きいシンタックス要素、および剰余シンタックス要素を使って変換係数のレベルが表され得るコンテキストベース手順(たとえば、方法)を使って符号化され得る。いくつかの例では、変換係数は、絶対値シンタックス要素(たとえば、dec_abs_level)を使って符号化され得る。剰余シンタックス要素または絶対値シンタックス要素は通常、最も多くのビットを含む。
【0018】
ビデオエンコーダは、剰余シンタックス要素または絶対値シンタックス要素を符号化するのに、Riceコーディングを使い得る。Riceコーディングは、プレフィックス値およびサフィックス値を含むRiceコードを生成するために入力値(たとえば、剰余シンタックス要素の値)が使われるプロセスである。プレフィックス値は、
【0019】
【数1】
【0020】
として生成されてよく、ここでqはプレフィックスであり、xは入力値であり、Mは2kに等しく、kはRiceパラメータである。サフィックス値はr=x-qMとして生成されてよく、ここでrはサフィックスである。
【0021】
Riceパラメータの異なる値が、異なる状況では有利な場合がある。したがって、VVCは、剰余シンタックス要素または絶対値シンタックス要素に対してRiceコーディングを実施するときに使うべきRiceパラメータを判断するためのプロセスを提供する。具体的には、5つの隣接変換係数の絶対値を合計することによって、ローカル合計値(たとえば、locSumAbs)が判断され得る。項「locSumAbs」は、「localSumAbs」と交換可能に使われ得る。5つの隣接変換係数の位置は、テンプレートによって定義される。ローカル合計値は次いで、テーブル中でRiceパラメータをルックアップするためのインデックスとして使われ得る。ただし、たとえば、VVCの高ビット深度拡張が使われているときは、テーブル中で定義される最大インデックス値よりもローカル合計値が大きい場合があるので、いくつかの修正が必要とされ得る。
【0022】
Riceパラメータを判断する別の複雑な側面は、現在の変換係数が、現在のTBの右および下部境界の3未満の行または列であり得ることである。テンプレートによって定義される隣接変換係数を使うことを試みると、現在の変換係数用のRiceパラメータを判断するためのプロセスの正確さが低下する可能性がある。これに対処するために、VVCは、現在のTB用のRiceパラメータを判断するための履歴ベースの手順を定義する。現在のTBの現在のRiceクラスにおいて現在の変換係数用のRiceパラメータを判断するために、履歴ベースの手順を使うとき、ビデオコーダは、履歴値(たとえば、histCoeff)を、現在のTBの右または下部境界の2つの位置内にある隣接変換係数の値として使ってよい。
【0023】
履歴ベースの手順を使うために、ビデオコーダ(たとえば、ビデオエンコーダまたはビデオデコーダ)が、係数統計値(たとえば、statCoeff)を初期化し、現在のTBの1つまたは複数の変換係数に基づいて係数を更新し得る。ビデオコーダは、係数統計値に基づいて履歴値を判断し得る。
【0024】
ただし、上述したように、変換係数は、コンテキストベース手順を使って、または絶対値を使って符号化され得る。変換係数がコンテキストベース手順を使って、または絶対値を使って符号化される可能性にかかわらず、同じやり方で係数統計値を更新すると、性能が低下する場合があり、正しくないRiceパラメータの選択につながる場合がある。本開示の1つまたは複数の技法によると、ビデオコーダ(たとえば、ビデオエンコーダまたはビデオデコーダ)が、ビデオデータのTBの1つまたは複数の変換係数に基づいて、係数統計値を更新し得る。係数統計値を更新することの一部として、ビデオコーダは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施し得る。導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかを考慮に入れる(すなわち、そのことに少なくとも部分的に基づいて判断される)。複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む。ビデオコーダは、係数統計値を、係数統計値と一時的値の平均として設定してよい。導出プロセスは、どの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断されるので、ビデオコーダは、それぞれの変換係数用の最適Riceパラメータを判断する見込みが比較的高い。VVCが、通常残差係数(RRC)をコーディングするための「ハイブリッド」手順を定義するので、ビデオコーダは、それぞれの変換係数用の最適Riceパラメータを判断する見込みが比較的高くなり得る。この「ハイブリッド」手順では、モードに依存して、ビデオコーダは、バイパスモードでRRCをCABACコーディングしてよく(すなわち、係数を表すためのビットの数を用いる指数ゴロム手順が、ローカルテンプレート処理から導出されたRiceパラメータに依存する)、または第1のビット向けのコンテキストコーディングと、RRCの残りのビット向けのバイパスコーディング(Rice導出を伴う)の組合せで、RRCをCABACコーディングしてよい。この「ハイブリッド」手順については、以下でより詳細に記載する。
【0025】
図1は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化されたビデオ、復号された(たとえば、再構築された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
【0026】
図1に示すように、システム100は、この例では、宛先デバイス116によって復号され、表示されるべき符号化ビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれを備えてもよい。場合によっては、ソースデバイス102および宛先デバイス116は、ワイヤレス通信用に装備されることがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。
【0027】
図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。宛先デバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、およびディスプレイデバイス118を含む。本開示によると、ソースデバイス102のビデオエンコーダ200および宛先デバイス116のビデオデコーダ300は、高ビット深度コーディングでの通常残差コーディング(RRC)用のRiceパラメータ導出のための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの例を表し、宛先デバイス116はビデオ復号デバイスの例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含むことができる。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0028】
図1に示すようなシステム100は一例にすぎない。概して、どのデジタルビデオ符号化および/または復号デバイスも、高ビット深度コーディングでのRRC用のRiceパラメータ導出のための技法を実施してよい。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116への送信用のコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実施するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス102と宛先デバイス116との間の一方向または双方向のビデオ送信をサポートし得る。
【0029】
一般に、ビデオソース104は、ビデオデータのソース(すなわち、未加工の符号化されていないビデオデータ)を表し、ビデオデータの逐次的な一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200はピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工ビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディング用のコーディング順序にピクチャを並べ替え得る。ビデオエンコーダ200は、符号化ビデオデータを含むビットストリームを生成し得る。次いで、ソースデバイス102は、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、符号化ビデオデータを、出力インターフェース108を介してコンピュータ可読媒体110上に出力し得る。
【0030】
ソースデバイス102のメモリ106および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工ビデオデータ、たとえば、ビデオソース104からの未加工ビデオと、ビデオデコーダ300からの未加工復号ビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、符号化ビデオデータ、たとえば、ビデオエンコーダ200からの出力およびビデオデコーダ300への入力を記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば、未加工の復号および/または符号化ビデオデータを記憶するための、1つまたは複数のビデオバッファとして割り振られ得る。
【0031】
コンピュータ可読媒体110は、符号化ビデオデータをソースデバイス102から宛先デバイス116にトランスポートすることが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102が符号化ビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108が、符号化ビデオデータを含む送信信号を変調してよく、入力インターフェース122が、受信された送信信号を復調してよい。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0032】
いくつかの例では、ソースデバイス102は、符号化データを出力インターフェース108から記憶デバイス112に出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化データにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
【0033】
いくつかの例では、ソースデバイス102は、符号化ビデオデータを、ソースデバイス102によって生成された符号化ビデオデータを記憶し得るファイルサーバ114または別の中間記憶デバイスに出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。
【0034】
ファイルサーバ114は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイト用の)ウェブサーバ、(ファイル転送プロトコル(FTP)または単方向トランスポートを介したファイル配信(FLUTE:File Delivery over Unidirectional Transport)プロトコルなどの)ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク(CDN)デバイス、ハイパーテキスト転送プロトコル(HTTP)サーバ、マルチメディアブロードキャストマルチキャストサービス(MBMS)もしくは拡張MBMS(eMBMS)サーバ、および/またはネットワークアタッチトストレージ(NAS)デバイスを表し得る。ファイルサーバ114は、追加または代替として、動的適応ストリーミングオーバーHTTP(DASH:Dynamic Adaptive Streaming over HTTP)、HTTPライブストリーミング(HLS:HTTP Live Streaming)、リアルタイムストリーミングプロトコル(RTSP:Real Time Streaming Protocol)、HTTP動的ストリーミング(HTTP Dynamic Streaming)などの1つまたは複数のHTTPストリーミングプロトコルを実装し得る。
【0035】
宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通して、ファイルサーバ114からの符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶された符号化ビデオデータにアクセスするのに適した両方の組合せを含み得る。入力インターフェース122は、ファイルサーバ114からメディアデータを取り出すかもしくは受信するための上記で説明した様々なプロトコルまたはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか1つまたは複数に従って動作するように構成され得る。
【0036】
出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネットカード)、種々のIEEE 802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理構成要素を表し得る。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE 802.11仕様、IEEE 802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従った、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能性を実施するためのSoCデバイスを含むことができ、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能性を実施するためのSoCデバイスを含むことができる。
【0037】
本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
【0038】
宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から、符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素など、ビデオエンコーダ200によって定義され、ビデオデコーダ300によっても使用されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス118は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
【0039】
図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されることがあり、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含み得る。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
【0040】
ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダおよび/またはデコーダ回路構成のいずれかとして実装され得る。技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェア用の命令を記憶し、本開示の技法を実施するために1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれることがあり、それらのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(CODEC)の一部として統合されることがある。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
【0041】
ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのその拡張に従って動作し得る。代替として、ビデオエンコーダ200およびビデオデコーダ300は、汎用ビデオコーディング(VVC)とも呼ばれるITU-T H.266などの、他のプロプライエタリ規格または業界規格に従って動作し得る。VVCの目的は、既存のHEVC規格に勝る圧縮性能の著しい改善をもたらし、より高品質のビデオサービスならびに360°全方向没入型マルチメディアおよび高ダイナミックレンジ(HDR)ビデオなどの新興のアプリケーションの展開を支援することである。VVC規格の草案は、Brossらの「Versatile Video Coding (Draft 10)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第18回会議:遠隔会議による、2020年6月22日～7月1日、JVET-S2001-vH(以下では「VVC Draft 10」)に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
【0042】
一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、一般に、処理される(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または他の方法で使用される)べきデータを含む構造を指す。たとえば、ブロックは、輝度および/または色度データのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルに対する赤、緑、および青(RGB)のデータをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分および色度成分をコーディングしてよく、色度成分は、赤色と青色の両方の色度成分を含み得る。いくつかの例では、ビデオエンコーダ200が、符号化に先立って、受信されたRGBフォーマットされたデータをYUV表現にコンバートし、ビデオデコーダ300が、YUV表現をRGBフォーマットにコンバートする。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらのコンバージョンを実施し得る。
【0043】
本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセスを含めるように、ピクチャのブロックのコーディング、たとえば、予測および/または残差コーディングに言及することがある。符号化ビデオビットストリームは、一般に、コーディング決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。
【0044】
HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによると、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUおよびCUを4個の等しい重複しない正方形に区分し、4分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つもしくは複数のPUおよび/または1つもしくは複数のTUを含み得る。ビデオコーダはPUおよびTUをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。
【0045】
別の例として、ビデオエンコーダ200およびビデオデコーダ300は、VVCに従って動作するように構成され得る。VVCに従って、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造などのツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCU、PU、およびTUの間の区別など、複数の区分タイプの概念を排除する。QTBT構造は、2つのレベル、すなわち、4分木区分に従って区分された第1のレベルおよび2分木区分に従って区分された第2のレベルを含む。QTBT構造のルートノードは、CTUに対応する。2分木のリーフノードは、コーディングユニット(CU)に対応する。
【0046】
MTT区分構造では、ブロックは、4分木(QT)区分、2分木(BT)区分、および1つまたは複数のタイプの3分木(TT:triple tree)(3分木(TT:ternary tree)とも呼ばれる)区分を使用して区分され得る。3分木(triple tree)または3分木(ternary tree)区分は、ブロックが3つのサブブロックに分割される区分である。いくつかの例では、3分木(triple tree)または3分木(ternary tree)区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は対称または非対称であり得る。
【0047】
いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分および色度成分の各々を表すために単一のQTBT構造またはMTT構造を使用してもよく、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、輝度成分のための1つのQTBT/MTT構造および両方の色度成分のための別のQTBT/MTT構造(またはそれぞれの色度成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用し得る。
【0048】
ビデオエンコーダ200およびビデオデコーダ300は、HEVCごとの4分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明のために、本開示の技法の記載はQTBT区分に関して提示される。しかしながら、本開示の技法はまた、4分木区分、または他のタイプの区分も使用するように構成されたビデオコーダに適用され得ることを理解されたい。
【0049】
いくつかの例では、CTUは、ルーマサンプルのコーディングツリーブロック(CTB)、3つのサンプルアレイを有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロームピクチャもしくはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされたピクチャのサンプルのCTBを含む。CTBは、CTBへの成分の分割が区分であるような、何らかの値のNに対するサンプルのN×Nブロックであり得る。成分は、1つのアレイまたは4:2:0、4:2:2、もしくは4:4:4カラーフォーマットでピクチャを作成する3つのアレイ(ルーマおよび2つのクロマ)のうちの1つからの単一のサンプル、あるいはアレイまたはモノクロームフォーマットでピクチャを作成するアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのCTBの分割が区分であるような、何らかの値のMおよびNに対するサンプルのM×Nブロックである。
【0050】
ブロック(たとえば、CTUまたはCU)は、ピクチャにおいて様々な方法でグループ化され得る。一例として、ブリックは、ピクチャの中の特定のタイル内のCTU行の長方形領域を指し得る。タイルは、ピクチャにおける特定のタイル列および特定のタイル行内のCTUの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される幅を有する、CTUの長方形領域を指す。タイル行は、(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、CTUの長方形領域を指す。
【0051】
いくつかの例では、タイルは複数のブリックに区分されてよく、ブリックの各々はタイル内の1つまたは複数のCTU行を含み得る。複数のブリックに区分されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
【0052】
ピクチャの中のブリックは、スライスにおいても並べられ得る。スライスは、単一のネットワークアブストラクションレイヤ(NAL)ユニットに独占的に含まれ得る、ピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、ある数の完全なタイル、または、1つのタイルの完全なブリックの連続的なシーケンスのみ、のいずれかを含む。
【0053】
本開示は、垂直次元および水平次元に換算して(CUまたは他のビデオブロックなどの)ブロックのサンプル次元を指すために、互換的に「N×N」および「NかけるN」、たとえば、16×16サンプルまたは16かける16サンプルを使用し得る。一般に、16×16 CUは、垂直方向に16個のサンプル(y=16)および水平方向に16個のサンプル(x=16)を有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルおよび水平方向にN個のサンプルを有し、ここで、Nは負ではない整数値を表す。CU中のサンプルは、行および列に配置され得る。さらに、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えることがあり、ここでMは必ずしもNと等しいとは限らない。
【0054】
ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されることになるかを示す。残差情報は、一般に、符号化に先立つCUのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。
【0055】
CUを予測するために、ビデオエンコーダ200は、一般に、インター予測またはイントラ予測を通してCUのための予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実施するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、一般に、たとえば、CUと参照ブロックとの間の差分に関してCUと厳密に一致する参照ブロックを識別するために、動き探索を実施し得る。ビデオエンコーダ200は、参照ブロックが現在のCUと厳密に一致するかどうかを判断するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分算出を使用して差分メトリックを算出し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。
【0056】
VVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、遠近運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを判断し得る。
【0057】
イントラ予測を実施するために、ビデオエンコーダ200は、イントラ予測モードを選択して予測ブロックを生成し得る。VVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、そこから現在のブロックのサンプルを予測するための現在のブロック(たとえば、CUのブロック)に対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、一般に、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUおよびCUをコーディングすると仮定すると、現在のブロックと同じピクチャ中の現在のブロックの上、左上、または左にあり得る。
【0058】
ビデオエンコーダ200は、現在のブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードについての動き情報を表すデータを符号化し得る。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用し得る。
【0059】
ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200はブロックのための残差データを算出し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間のサンプルごとの差分を表す。ビデオエンコーダ200は、サンプルドメインではなく変換ドメインにおいて変換データを生成するために、1つまたは複数の変換を残差ブロック内の変換ブロック(TB)に適用してよい。いくつかの例では、TBは、残差ブロックと同じサイズであり得る。TBおよびTUという用語は、本文書では交換可能に使われ得る。ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、モード依存非分離可能二次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT)などの二次的な変換を、最初の変換に続いて適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて、変換係数を生成する。
【0060】
上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実施し得る。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ200は、変換係数の一部またはすべてと関連付けられるビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化中にnビット値をmビット値に切り捨ててよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実施してよい。
【0061】
量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(したがって、より低い周波数)の変換係数をベクトルの前方に置き、より低いエネルギー(したがって、より高い周波数)の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するためのあらかじめ定義された走査順序を使用し得る。他の例では、ビデオエンコーダ200は適応走査を実施し得る。量子化された変換係数を走査して1次元ベクトルを形成した後、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。
【0062】
CABACを実施するために、ビデオエンコーダ200は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値がゼロ値化されているかどうかに関係し得る。確率判断は、シンボルに割り当てられたコンテキストに基づき得る。
【0063】
ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて、ビデオデコーダ300へのブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成し得る。ビデオデコーダ300は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号するかを判断し得る。
【0064】
このようにして、ビデオエンコーダ200は、符号化ビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化ビデオデータを復号し得る。
【0065】
一般に、ビデオデコーダ300は、ビデオエンコーダ200によって実施されるプロセスとは逆のプロセスを実施して、ビットストリームの符号化ビデオデータを復号する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスとは逆であるが実質的に同様の方法で、CABACを使用してビットストリームのシンタックス要素のための値を復号し得る。シンタックス要素は、ピクチャをCTUに区分するための区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。
【0066】
残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックのための残差ブロックを再現するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測についての動き情報)を使用する。ビデオデコーダ300は次いで、予測ブロックと残差ブロックとを(サンプルごとに)組み合わせて、元のブロックを再現し得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためのデブロッキングプロセスを実施するなどの、追加の処理を実施し得る。
【0067】
ビデオエンコーダ200は、変換係数用のRiceコードを生成し得る。Riceコードは、変換係数の剰余シンタックス要素および絶対値シンタックス要素などのシンタックス要素の符号化バージョンであってよい。ビデオエンコーダ200は、変換係数用のRiceコードをエントロピー符号化(たとえば、CABAC符号化)し、得られたCABAC符号化データをビットストリーム中に含めてよい。ビデオデコーダ300は、ビットストリーム中のビットシーケンスにエントロピー復号(たとえば、CABAC復号)を適用して、Riceコードを取得し得る。ビデオデコーダ300は、ビデオデコーダ300が変換係数のレベルを回復するのに使い得る復号された値を取得するために、Riceコードを復号し得る。ビデオエンコーダ200およびビデオデコーダ300は、Riceコードを生成し、復号する際に使うべきRiceパラメータを判断し得る。
【0068】
VVC Draft 10では、通常残差コーディング(RRC)のためのRiceパラメータが、テンプレートにおける隣接変換係数の変換係数値(すなわち、レベル)を考慮して、ルックアップテーブルを使って導出される。隣接係数のテンプレートが、図2に提示される。図2は、現在の係数のローカル合計値(たとえば、localSumAbs)の算出において使われ得る隣接係数の例を示す概念図である。具体的には、図2の例では、ビデオエンコーダ200またはビデオデコーダ300は、現在の変換係数250用のRiceパラメータを判断している。ビデオエンコーダ200およびビデオデコーダ300は、隣接変換係数252A～252E(まとめて、「隣接変換係数252」)のレベルを、ローカル合計値の算出において使い得る。
【0069】
VVC Draft 10では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、ローカル合計値(たとえば、locSumAbs)を最初に算出してよく、これは、テンプレートの中の5つの利用可能な隣接変換係数(たとえば、隣接変換係数252)の絶対値の合計である。ビデオコーダは次いで、locSumAbsを(たとえば、減算およびクリッピング演算を使って)次のように正規化し得る。
locSumAbs=Clip3(0,31,locSumAbs-baseLevel*5)
locSumAbs=Clip3(0,31,locSumAbs-baseLevel*5)
【0070】
ビデオコーダは、このlocSumAbsを使って、以下のTable1(表1)などのルックアップテーブルでRiceパラメータを導出し得る。Table1(表1)に示すように、Riceパラメータ範囲は、VVC Draft 10の設計において、0から3までに制約される。
【0071】
【表1】
【0072】
初期の提案は、ビデオデータの様々な入力ビット深度に関する、VVCのRiceパラメータ導出の制限に対処することを試みており、したがって、コーディング設計の圧縮効率を向上し得る。言い換えると、VVC Draft 10に記載されているRiceパラメータ導出プロセスは、より高いビット深度のビデオデータに適用されるとき、制限を有し得る。これらの制限は、圧縮効率の損失につながり得る。
【0073】
たとえば、ビデオコーダが、Riceパラメータを導出するのに使われる前にビット深度増大または変換係数の動的範囲を扱うように、localSumAbsをスケーリングまたは正規化し得るが、これについては、たとえば、VVC Draft 10の式1517を参照されたい。スケーリング因子の量は、入力ビット深度、あらかじめ定義された演算用ビット深度(たとえば、10)、変換係数のローカル活動度、ブロックサイズ、またはビットストリームの中でシグナリングされるシンタックス要素に依存し得る。ビデオコーダは次いで、たとえば、VVC Draft 10におけるlocalSumAbsのクリッピングプロセスを使って、localSumAbsを一定の範囲にクリップし得る。ビデオコーダは、VVC Draft 10における現在のルックアップテーブル(すなわち、上で提示したTable1(表1))など、あらかじめ定義されたルックアップテーブルを使ってRiceパラメータを導出するのに、正規化およびクリップされたlocalSumAbsを使い得る。提案される設計の第1のステップにおいてlocalSumAbsが正規化されると、ビデオコーダは、あらかじめ定義されたテーブルからRiceパラメータを導出してよく、Riceパラメータの動的範囲を拡張するためにオフセットを加えることによってRiceパラメータを修正してよい。
【0074】
以下のテキストは、変換係数の剰余シンタックス要素(abs_remainder)または絶対値シンタックス要素(dec_abs_level)用のRiceパラメータを判断するためのプロセスについて記述する。
9.3.3.2 abs_remainder[]およびdec_abs_level[]用のRiceパラメータ導出プロセス
このプロセスへの入力は、ベースレベルbaseLevel、色成分インデックスcIdx、現在のピクチャの左上サンプルに対する、現在の変換ブロックの左上サンプルを指定するルーマロケーション(x0,y0)、現在の係数走査ロケーション(xC,yC)、変換ブロック幅のバイナリ対数log2TbWidth、および変換ブロック高さのバイナリ対数log2TbHeightである。
このプロセスの出力は、RiceパラメータcRiceParamである。
成分インデックスcIdxおよび左上ルーマロケーション(x0,y0)をもつ変換ブロック用の配列AbsLevel[x][y]が与えられると、変数locSumAbsは、以下の擬似コードプロセスによって指定されるように導出される。
コーディングリスティング1
locSumAbs=0
if(xC<(1<<log2TbWidth)-1){
locSumAbs+=AbsLevel[xC+1][yC]
if(xC<(1<<log2TbWidth)-2)
locSumAbs+=AbsLevel[xC+2][yC]
if(yC<(1<<log2TbHeight)-1)
locSumAbs+=AbsLevel[xC+1][yC+1] (1517)
}
if(yC<(1<<log2TbHeight)-1){
locSumAbs+=AbsLevel[xC][yC+1]
if(yC<(1<<log2TbHeight)-2)
locSumAbs+=AbsLevel[xC][yC+2]
}
shift=(Bitdepth-b)>0 ? Floor(Log2(a*(Bitdepth-b))):0
localSumAbs=(shift==0) ? localSumAbs:(localSumAbs+(1<<(shift-1)))>>shift
locSumAbs=Clip3(0,31,locSumAbs-baseLevel*5)
変数locSumAbsが与えられると、RiceパラメータcRiceParamは、テーブル128において指定されるように導出される。
cRiceParamは次いで、以下のように洗練される。
cRiceParam=cRiceParam+c
9.3.3.2 abs_remainder[]およびdec_abs_level[]用のRiceパラメータ導出プロセス
このプロセスへの入力は、ベースレベルbaseLevel、色成分インデックスcIdx、現在のピクチャの左上サンプルに対する、現在の変換ブロックの左上サンプルを指定するルーマロケーション(x0,y0)、現在の係数走査ロケーション(xC,yC)、変換ブロック幅のバイナリ対数log2TbWidth、および変換ブロック高さのバイナリ対数log2TbHeightである。
このプロセスの出力は、RiceパラメータcRiceParamである。
成分インデックスcIdxおよび左上ルーマロケーション(x0,y0)をもつ変換ブロック用の配列AbsLevel[x][y]が与えられると、変数locSumAbsは、以下の擬似コードプロセスによって指定されるように導出される。
コーディングリスティング1
locSumAbs=0
if(xC<(1<<log2TbWidth)-1){
locSumAbs+=AbsLevel[xC+1][yC]
if(xC<(1<<log2TbWidth)-2)
locSumAbs+=AbsLevel[xC+2][yC]
if(yC<(1<<log2TbHeight)-1)
locSumAbs+=AbsLevel[xC+1][yC+1] (1517)
}
if(yC<(1<<log2TbHeight)-1){
locSumAbs+=AbsLevel[xC][yC+1]
if(yC<(1<<log2TbHeight)-2)
locSumAbs+=AbsLevel[xC][yC+2]
}
shift=(Bitdepth-b)>0 ? Floor(Log2(a*(Bitdepth-b))):0
localSumAbs=(shift==0) ? localSumAbs:(localSumAbs+(1<<(shift-1)))>>shift
locSumAbs=Clip3(0,31,locSumAbs-baseLevel*5)
変数locSumAbsが与えられると、RiceパラメータcRiceParamは、テーブル128において指定されるように導出される。
cRiceParamは次いで、以下のように洗練される。
cRiceParam=cRiceParam+c
【0075】
いくつかの例では、変数a、bおよびcは、次のように定義され得る。一例では、bは、演算ビット深度を指定し、10に等しく設定してよく、aは、整数値、たとえば、4、または2の累乗の他の値に等しく設定されてよく、cは、計算されたシフト値に等しく設定されるか、またはシフト値から導出されてよい。
【0076】
ビデオデータの様々な入力ビット深度に関する、VVCのRiceパラメータ導出に対処するための別の例では、ビデオコーダが、localSumAbsが閾値以上であるときにlocalSumAbsをスケーリング/正規化し得る。この場合、VVC Draft 10における関連Riceパラメータ導出部はしたがって、次のように変更され得る(<!>...</!>タグが変更を示す)。
9.3.3.2 abs_remainder[]およびdec_abs_level[]用のRiceパラメータ導出プロセス
このプロセスへの入力は、ベースレベルbaseLevel、色成分インデックスcIdx、現在のピクチャの左上サンプルに対する、現在の変換ブロックの左上サンプルを指定するルーマロケーション(x0,y0)、現在の係数走査ロケーション(xC,yC)、変換ブロック幅のバイナリ対数log2TbWidth、および変換ブロック高さのバイナリ対数log2TbHeightである。
このプロセスの出力は、RiceパラメータcRiceParamである。
成分インデックスcIdxおよび左上ルーマロケーション(x0,y0)をもつ変換ブロック用の配列AbsLevel[x][y]が与えられると、変数locSumAbsは、以下の擬似コードプロセスによって指定されるように導出される。
コードリスティング2
locSumAbs=0
if(xC<(1<<log2TbWidth)-1){
locSumAbs+=AbsLevel[xC+1][yC]
if(xC<(1<<log2TbWidth)-2)
locSumAbs+=AbsLevel[xC+2][yC]
if(yC<(1<<log2TbHeight)-1)
locSumAbs+=AbsLevel[xC+1][yC+1] (1517)
}
if(yC<(1<<log2TbHeight)-1){
locSumAbs+=AbsLevel[xC][yC+1]
if(yC<(1<<log2TbHeight)-2)
locSumAbs+=AbsLevel[xC][yC+2]
}
<!>shift=(Bitdepth-b)>0)&&(localSumAbs-baseLevel*5)>=T? Floor(Log2(a*(Bitdepth-b))):0
localSumAbs=(shift==0) ? localSumAbs:(localSumAbs+(1<<(shift-1)))>>shift</!>
locSumAbs=Clip3(0,31,locSumAbs-baseLevel*5)
変数locSumAbsが与えられると、RiceパラメータcRiceParamは、テーブル128において指定されるように導出される。
cRiceParamは次いで、以下のように洗練される。
<!>cRiceParam=cRiceParam+c</!>
9.3.3.2 abs_remainder[]およびdec_abs_level[]用のRiceパラメータ導出プロセス
このプロセスへの入力は、ベースレベルbaseLevel、色成分インデックスcIdx、現在のピクチャの左上サンプルに対する、現在の変換ブロックの左上サンプルを指定するルーマロケーション(x0,y0)、現在の係数走査ロケーション(xC,yC)、変換ブロック幅のバイナリ対数log2TbWidth、および変換ブロック高さのバイナリ対数log2TbHeightである。
このプロセスの出力は、RiceパラメータcRiceParamである。
成分インデックスcIdxおよび左上ルーマロケーション(x0,y0)をもつ変換ブロック用の配列AbsLevel[x][y]が与えられると、変数locSumAbsは、以下の擬似コードプロセスによって指定されるように導出される。
コードリスティング2
locSumAbs=0
if(xC<(1<<log2TbWidth)-1){
locSumAbs+=AbsLevel[xC+1][yC]
if(xC<(1<<log2TbWidth)-2)
locSumAbs+=AbsLevel[xC+2][yC]
if(yC<(1<<log2TbHeight)-1)
locSumAbs+=AbsLevel[xC+1][yC+1] (1517)
}
if(yC<(1<<log2TbHeight)-1){
locSumAbs+=AbsLevel[xC][yC+1]
if(yC<(1<<log2TbHeight)-2)
locSumAbs+=AbsLevel[xC][yC+2]
}
<!>shift=(Bitdepth-b)>0)&&(localSumAbs-baseLevel*5)>=T? Floor(Log2(a*(Bitdepth-b))):0
localSumAbs=(shift==0) ? localSumAbs:(localSumAbs+(1<<(shift-1)))>>shift</!>
locSumAbs=Clip3(0,31,locSumAbs-baseLevel*5)
変数locSumAbsが与えられると、RiceパラメータcRiceParamは、テーブル128において指定されるように導出される。
cRiceParamは次いで、以下のように洗練される。
<!>cRiceParam=cRiceParam+c</!>
【0077】
上記例において、Tは、あらかじめ定義された閾値である。一例では、Tは32に等しく設定されてよい。いくつかの例では、変数a、bおよびcの値が、ビットストリームを通してシグナリングされ(すなわち、ビットストリーム中で符号化され)、あるいはビット深度、ローカル統計値(たとえば、現在のブロック内の変換係数値のmin/maxもしくは平均値)、復号された変換もしくはブロックサイズ、またはビットストリーム中でシグナリングされたシンタックス要素に依存して設定され、またはそこから導出される。
【0078】
さらに、TU(またはTB)内の復号された変換係数の空間位置が、テンプレートベース導出手順の期待される正確さにより分類され得る。例示的な分類が、図3に示されている。図3は、TB350の例示的空間領域を示す概念図である。図3の例では、TB350は、現在の変換係数352および隣接変換係数354A～354E(まとめて、「隣接変換係数354」)を含む。さらに、図3の例では、太線で囲まれた空間位置をもつ変換係数(クラスC1)が、たとえば、VVC節9.3.3.2において定義される、テンプレートベース手順からの正確なRice導出、および本文書において上述したテンプレートベース手順の可能な修正を有すると予想される。言い換えると、クラスC1中の変換係数用のRiceパラメータ(riceParam)は、以下のように記述され得る。
riceParam=template_based_method()
riceParam=template_based_method()
【0079】
クラス(C4)用の、太線で囲まれた空間位置をもつ変換係数は、テンプレートベース手順からの正確なRice導出をもたないと予想される。したがって、履歴ベースの導出手順が代わりに使われてよい。言い換えると、クラスC4中の変換係数用のRiceパラメータ(riceParam)は、以下のように記述され得る。
riceParam=history_based_method()
riceParam=history_based_method()
【0080】
クラスC2またはクラスC3用の、太線で囲まれた空間位置をもつ係数は、テンプレートベース手順からの、正確さが低下したRice導出を有すると予想され、Rice推定値が、復号された係数の履歴から派生するのであれば、それらの推定値を考慮に入れることによって正確さが向上され得る。したがって、クラスC2またはクラスC3中の変換係数用のRiceパラメータは、テンプレートベース手順および/または履歴ベースの手順によって導出されるRiceパラメータに基づき得る。言い換えると、クラスC2またはクラスC3中の変換係数用のRiceパラメータ(riceParam)は、以下のように記述され得る。
riceParam=function(template_based_method(),history_based_method())
riceParam=function(template_based_method(),history_based_method())
【0081】
いくつかの例では、変換係数の分類は、逆方向での走査順序の稼働に基づくことができ、たとえば、N個の第1の復号された変換係数をクラスC4に割り当て、変換係数の残りがクラスC1として分類される。いくつかの例では、定義されたクラスのサブセットを使うことができ、たとえば、クラスC4の復号された変換係数のみが、履歴からのRice情報を使い、クラスC1のサポートが、クラスC2/C3のエリアまたはTUもしくはTB全体を組み込むように拡張され得る。したがって、どの履歴情報もRice導出には使われない。
【0082】
いくつかの以前の提案では、変換係数のRiceパラメータは、加重平均を使って、テンプレートベース手順および履歴ベースの手順からのRice情報を集約する関数として判断される。例を、以下に示す。
ricePar=(w2*riceParTemplate+w1*riceParHistory)/(w1+w2)
加重平均の重み(w1およびw2)は、TB内での変換係数の空間ロケーションに依存し得る。
ricePar=(w2*riceParTemplate+w1*riceParHistory)/(w1+w2)
加重平均の重み(w1およびw2)は、TB内での変換係数の空間ロケーションに依存し得る。
【0083】
いくつかの例では、ローカル推定値と履歴情報を集約する関数を、テンプレートベース導出に統合することができ、そうすることによって、ローカル情報が入手可能でない場合、履歴情報から導出されたRiceパラメータが、テンプレートベースRice導出中に考慮に入れられ得る。例を以下に示すが、既存のテンプレートベース手順に対する提案される変更は、<!>...</!>タグで印付けられる。項histCoefは、たとえば、過去に累積された、または履歴Riceパラメータ、たとえば、histCoef=1<<histRiceParamとして表される推定履歴変換係数を定義する。項MおよびNは推定重み値であり、たとえば、整数値は、NおよびMについて、それぞれ2および3に等しくてよい。
コードリスティング3
unsigned templateAbsSum(int scanPos,const TCoeff* coeff,int baseLevel)
{
const uint32_t posY=m_scan[scanPos].y;
const uint32_t posX=m_scan[scanPos].x;
const TCoeff* pData=coeff+posX+posY*m_width;
TCoeff sum=0;
if(posX<m_width-1)
{
sum+=abs(pData[1]);
if(posX<m_width-2)
{
sum+=abs(pData[2]);
}
<!>else sum+=histCoef;</!>
if(posY<m_height-1)
{
sum+=abs(pData[m_width+1]);
}
<!>else sum+=histCoef;</!>
}
<!>else sum+=N*histCoef;</!>
if(posY<m_height-1)
{
sum+=abs(pData[m_width]);
if(posY<m_height-2)
{
sum+=abs(pData[m_width<<1]);
}
<!>else sum+=histCoef;</!>
}
<!>else sum+=M*histCoef;</!>
return unsigned(std::max<TCoeff>(std::min<TCoeff>(sum-5*baseLevel,31),0));
}
コードリスティング3
unsigned templateAbsSum(int scanPos,const TCoeff* coeff,int baseLevel)
{
const uint32_t posY=m_scan[scanPos].y;
const uint32_t posX=m_scan[scanPos].x;
const TCoeff* pData=coeff+posX+posY*m_width;
TCoeff sum=0;
if(posX<m_width-1)
{
sum+=abs(pData[1]);
if(posX<m_width-2)
{
sum+=abs(pData[2]);
}
<!>else sum+=histCoef;</!>
if(posY<m_height-1)
{
sum+=abs(pData[m_width+1]);
}
<!>else sum+=histCoef;</!>
}
<!>else sum+=N*histCoef;</!>
if(posY<m_height-1)
{
sum+=abs(pData[m_width]);
if(posY<m_height-2)
{
sum+=abs(pData[m_width<<1]);
}
<!>else sum+=histCoef;</!>
}
<!>else sum+=M*histCoef;</!>
return unsigned(std::max<TCoeff>(std::min<TCoeff>(sum-5*baseLevel,31),0));
}
【0084】
いくつかの例では、Rice導出のための履歴ベースの手順は、カウンタを使って実装することができる。カウンタは、復号された変換係数、Riceパラメータとして、または復号された変換係数を表すバイナリコードワードの長さとして記憶された移動平均値であってよい。一例を、以下に示す。
クラスがインデックスriceClassによって識別される各クラス(たとえば、クラスC1、C2、C3、C4)について、別個の履歴が算出され、カウンタStatCoeff[riceClass]に記憶される。TB復号中、履歴更新用に定義される、各復号された変換係数は、バイナリコード長推定値により表すことができ、この値は、最適Riceパラメータを示す。いくつかの例では、ビデオコーダが、第1の変換係数の指数ゴロムコード化部のコード長表現(ビットの数)によって履歴を更新し得る。こうすることにより、完全な変換係数再構築のためのレイテンシを削減し得る。いくつかの例では、ビデオコーダは、履歴を更新するために、すべての変換係数を使ってよい。
履歴更新用に定義される変換係数の数は、NUM_HISTORY_UPDATEと記される。
codeLength=floorLog2((uint32_t)decodedCoef);
復号された変換係数の数(たとえば、NUM_HISTORY_UPDATE)は、履歴観察を更新するのに使うことができ、コード長(たとえば、collectStatCoeff[riceClass])と、更新において使われる係数の数(たとえば、counterCollectStatCoeff)の合計が記憶される。
collectStatCoeff[riceClass]+=codeLength.
counterCollectStatCoeff[riceClass]++;
ビデオコーダが、現在のクラスの履歴更新用に定義されるすべてのサンプルを解析した後、ビデオコーダは、グローバル履歴カウンタStatCoeffを、線形モデル、たとえば加重移動平均を使って次のように更新してよい。
int numCollected=NUM_HISTORY_UPDATE-g_counterCollectStatCoeff[i];
int averageRiceInTU=(int)(g_tempStatCoeff[i]+(numCollected>>1))/numCollected);
StatCoeff[i][compID]=(w3*StatCoeff[i][compID]+w4*averageRiceInTU)/(w3+w4);
いくつかの例では、線形モデルのパラメータが、低複雑度乗算または除算演算を可能にするための、2の累乗の導出物として選択されてよい。いくつかの例では、履歴カウンタ(たとえば、StatCoeff)は、復号ピクチャ、たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTUの一定の領域を通して、CTUのグループの開始における規範的リセットを用いて維持され得る。本開示では、履歴カウンタを係数統計値(たとえば、StatCoeff)と呼ぶ場合がある。
クラスがインデックスriceClassによって識別される各クラス(たとえば、クラスC1、C2、C3、C4)について、別個の履歴が算出され、カウンタStatCoeff[riceClass]に記憶される。TB復号中、履歴更新用に定義される、各復号された変換係数は、バイナリコード長推定値により表すことができ、この値は、最適Riceパラメータを示す。いくつかの例では、ビデオコーダが、第1の変換係数の指数ゴロムコード化部のコード長表現(ビットの数)によって履歴を更新し得る。こうすることにより、完全な変換係数再構築のためのレイテンシを削減し得る。いくつかの例では、ビデオコーダは、履歴を更新するために、すべての変換係数を使ってよい。
履歴更新用に定義される変換係数の数は、NUM_HISTORY_UPDATEと記される。
codeLength=floorLog2((uint32_t)decodedCoef);
復号された変換係数の数(たとえば、NUM_HISTORY_UPDATE)は、履歴観察を更新するのに使うことができ、コード長(たとえば、collectStatCoeff[riceClass])と、更新において使われる係数の数(たとえば、counterCollectStatCoeff)の合計が記憶される。
collectStatCoeff[riceClass]+=codeLength.
counterCollectStatCoeff[riceClass]++;
ビデオコーダが、現在のクラスの履歴更新用に定義されるすべてのサンプルを解析した後、ビデオコーダは、グローバル履歴カウンタStatCoeffを、線形モデル、たとえば加重移動平均を使って次のように更新してよい。
int numCollected=NUM_HISTORY_UPDATE-g_counterCollectStatCoeff[i];
int averageRiceInTU=(int)(g_tempStatCoeff[i]+(numCollected>>1))/numCollected);
StatCoeff[i][compID]=(w3*StatCoeff[i][compID]+w4*averageRiceInTU)/(w3+w4);
いくつかの例では、線形モデルのパラメータが、低複雑度乗算または除算演算を可能にするための、2の累乗の導出物として選択されてよい。いくつかの例では、履歴カウンタ(たとえば、StatCoeff)は、復号ピクチャ、たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTUの一定の領域を通して、CTUのグループの開始における規範的リセットを用いて維持され得る。本開示では、履歴カウンタを係数統計値(たとえば、StatCoeff)と呼ぶ場合がある。
【0085】
いくつかの例では、履歴カウンタは、デフォルト値で初期化され得る。デフォルト値は、作表され、サイド情報としてビデオデコーダに提供され、コード化ビットストリームを通して、たとえば、スライスレベルで、特殊更新シグナリング機構を通してシグナリングされ、またはデコーダ側において、ビット深度、量子化パラメータ、もしくは他のシンタックス要素から導出され得る。
【0086】
いくつかの例では、履歴更新プロセスの1つまたは複数の側面(たとえば、更新の速度または移動平均のパラメータ)が、ブロックサイズ、ブロック次元の比、コーディングモード(たとえば、イントラもしくはインター予測の使用)、スライスタイプ、またはシグナリングされたシンタックス要素に依存させられ得る。
【0087】
本開示では、Riceパラメータ導出の正確さを向上し得るいくつかの技法を採り入れる。たとえば、本開示は、現在のTBの外の、初期に復号された変換係数から判断された、最適Riceパラメータの履歴値を考慮に入れることによって、Riceパラメータ導出の正確さを向上することを提案する。
【0088】
いくつかの例では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、係数統計値(たとえば、StatCoeff)を、Riceパラメータから導出された値(すなわち、Riceパラメータ導出物)として記憶し得る。ビデオコーダが係数統計値(すなわち、履歴カウンタ)をRiceパラメータ導出物として記憶する例では、ビデオコーダは、履歴値(たとえば、histCoef)を次のように導出し得る。
historyRiceValue=StatCoeff[i][compID];
histCoef=1<<historyRiceValue;
ビデオコーダは、たとえば、コーディングリスティング3のプロセスを使ってローカル合計値(たとえば、localSumAbs)を判断するのに履歴値(histCoeff)を使い得る。
historyRiceValue=StatCoeff[i][compID];
histCoef=1<<historyRiceValue;
ビデオコーダは、たとえば、コーディングリスティング3のプロセスを使ってローカル合計値(たとえば、localSumAbs)を判断するのに履歴値(histCoeff)を使い得る。
【0089】
いくつかの例では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、係数統計値を、変換係数から導出された値(すなわち、変換係数導出物)として記憶し得る。ビデオコーダが係数統計値を変換係数導出物として記憶する例では、ビデオコーダは、履歴値histCoefを次のように導出し得る。
historyValue=StatCoeff[i][compID];
histCoef=historyValue;
ビデオコーダは、たとえば、コーディングリスティング3のプロセスを使ってローカル合計値(たとえば、localSumAbsまたはlocSumAbs)を判断するのに履歴値(histCoeff)を使い得る。
historyValue=StatCoeff[i][compID];
histCoef=historyValue;
ビデオコーダは、たとえば、コーディングリスティング3のプロセスを使ってローカル合計値(たとえば、localSumAbsまたはlocSumAbs)を判断するのに履歴値(histCoeff)を使い得る。
【0090】
いくつかの例では、histCoef導出プロセスが、TB内の係数の空間ロケーションの関数、たとえば、histCoefが属すサブグループ識別子の関数として改変されてよい。改変の例は、histRice値にオフセットを加えること、またはhistCoef値にオフセットもしくはスケーラを適用することを含み得る。いくつかの例では、histCoef値は、符号化/復号される変換係数のタイプに依存させられる。たとえば、変換係数の一部がコンテキストコーディングとしてコーディングされた場合、残りの部分のみが、Rice方法でコーディングされる。言い換えると、ビデオコーダが、通常残差係数(RRC)をコーディングするための「ハイブリッド」手順を実施し得る。
【0091】
いくつかの例では、コンテキストコーディングでの変換係数のコード部およびRice方法での変換係数の残りの部分に対して、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、変数、すなわちremBinsPass1を、コンテキストコード化ビンの最大数に設定してよく、ビデオコーダは、コンテキストコード化ビンがシグナリングされたとき、remBinsPass1を1だけ低減してよい。remBinsPass1が4以上である間、係数重要度フラグ(たとえば、sig_coeff_flag)、1よりも大きい絶対レベルフラグ(たとえば、abs_level_gt1_flag)、変換係数レベルのパリティを示すレベルパリティシンタックス要素(たとえば、par_level_flag)、および3よりも大きい絶対レベルフラグ(たとえば、abs_level_gt3_flag)を含む第1のコーディングパスが、コンテキストコード化ビンを使うことによってコーディングされる。コンテキストコード化ビンの数が第1のパスコーディングにおける閾値(たとえば、MccbまたはRemCcbs)以下の場合、第1のパス中でさらにコーディングされるべきであることが示される、レベル情報の残りの部分が、ゴロムライスコーディングおよびバイパスコード化ビンを使って、絶対剰余シンタックス要素(たとえば、abs_remainder)でコーディングされる。閾値は、VVCにおいて((1<<(log2TbWidth+log2TbHeight))*7)>>2として定義されてよく、ここでlog2TbWidthは、変換ブロックの幅の2進対数であり、log2TbHeightは、変換ブロックの高さの2進対数である。
【0092】
第1のパスをコーディングしている間にremBinsPass1が4よりも小さくなると、第1のパス中でさらにコーディングされるべきであることが示される変換係数の残りの部分が、絶対剰余シンタックス要素(たとえば、abs_remainder)でコーディングされ、第1のパス中でコーディングされていない変換係数が、第2のパス中で、ゴロムライスコードおよびバイパスコード化ビンを使うことによって中間値シンタックス要素(たとえば、dec_abs_level)で直接コーディングされる。中間値シンタックス要素(たとえば、dec_abs_level)は、走査される位置においてゴロムライスコードでコーディングされている中間値である。ビデオコーダは、あらゆるTB用に、remBinsPass1の値をリセットする。係数重要度フラグ(たとえば、sig_coeff_flag)、1よりも大きいレベルフラグ(たとえば、abs_level_gt1_flag)、レベルパリティフラグ(たとえば、par_level_flag)、および3よりも大きい絶対レベルフラグ(たとえば、abs_level_gt3_flag)用にコンテキストコード化ビンを使うことから、変換係数の残りにバイパスコード化ビンを使うことへの移行は、TBごとに多くとも一度だけ起こる。変換係数サブブロックに対して、remBinsPass1が4よりも小さい場合、変換係数サブブロック全体が、バイパスコード化ビンを使うことによってコーディングされる。すべての上述したレベルコーディングの後、1に等しいsig_coeff_flagをもつすべての走査位置についてのサイン(たとえば、sign_flag)が、最終的にバイパスコーディングされる。
【0093】
ビデオコーダは、パス2およびパス3向けに統一(同一)Riceパラメータ(ricePar)導出を使う。唯一の違いは、ベースレベル(たとえば、baseLevel)が、パス2およびパス3向けに、それぞれ4および0に設定されることである。Riceパラメータは、ローカルテンプレートにおける5つの隣接変換係数の絶対レベルの合計のみに基づいて判断されるのではなく、対応するベースレベルも、次のように考慮に入れられる。
RicePara=RiceParTable[max(min(31,sumAbs-5*baseLevel),0)]
値sumAbsを計算するとき、0の値が、TBの外の隣接係数のいずれに対しても使われる。
RicePara=RiceParTable[max(min(31,sumAbs-5*baseLevel),0)]
値sumAbsを計算するとき、0の値が、TBの外の隣接係数のいずれに対しても使われる。
【0094】
第1のサブブロックコーディングパスの終了後、残りのまだコーディングされていない係数の各々の絶対値が、シンタックス要素dec_abs_levelによってコーディングされ、この要素は、修正された絶対レベル値に対応し、ゼロレベル値は、条件付きで非ゼロ値にマップされる。エンコーダ側において、シンタックス要素dec_abs_levelの値が、量子化器状態(QState)およびRiceパラメータ(RicePara)の値に依存して、絶対レベル(absLevel)から、次のように導出される。
ZeroPos=(QState<2?1:2)<<RicePara
if(absLevel==0)
dec_abs_level=ZeroPos
else
dec_abs_level=(absLevel<=ZeroPos)?(absLevel-1):absLevel
ZeroPos=(QState<2?1:2)<<RicePara
if(absLevel==0)
dec_abs_level=ZeroPos
else
dec_abs_level=(absLevel<=ZeroPos)?(absLevel-1):absLevel
【0095】
いくつかの例では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、復号ピクチャ、たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTUの一定の領域(たとえば、区分)を通して、区分の開始における規範的リセットを用いて、履歴カウンタを維持し得る。ビデオコーダは、係数統計値をデフォルト履歴値(たとえば、DefaultHistoryRiceValue)にリセットしてよい。したがって、区分の開始における係数統計値の規範的リセットは、以下のように表され得る。
StatCoeff[i][compID]=DefaultHistoryRiceValue;
StatCoeff[i][compID]=DefaultHistoryRiceValue;
【0096】
履歴カウンタ(すなわち、係数統計値)がRiceパラメータ導出物として記憶されるいくつかの例では、履歴リセットのためのデフォルト値(たとえば、DefaultHistoryRiceValue)は、コード化データのビット深度、または内部ビット深度の関数として表すことができる。内部ビット深度は、コード化データのビット深度よりも大きくてよい。ビット深度に対する、デフォルト履歴値のそのような依存の非限定的例は、次のように表すことができる。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? floorLog2(4*(bitDepth-10)):0;
StatCoeff[i][compID]=DefaultHistoryRiceValue;
演算子floorLog2はfloor(Log2(x))を表し、Floor(x)は、x以下の最も大きい整数を示し、Log2(x)はxの2進対数を示す。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? floorLog2(4*(bitDepth-10)):0;
StatCoeff[i][compID]=DefaultHistoryRiceValue;
演算子floorLog2はfloor(Log2(x))を表し、Floor(x)は、x以下の最も大きい整数を示し、Log2(x)はxの2進対数を示す。
【0097】
他の例では、履歴リセット値用のデフォルト値(すなわち、デフォルト履歴値)は、量子化パラメータ(QP)の関数として表され、分析によって作表されるか、もしくは何らかの他のやり方で判断され、ビットストリームによりシグナリングされ、またはサイド情報として提供され得る。いくつかの例では、線形モデルおよび/またはクリッピングもしくはクランピングなどの非線形演算が使用され得る。デフォルト履歴値がQPに依存する例を、以下に示す。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? (int)(OFFSET-cs.slice->getSliceQp()*MULTIPLIER):0;
DefaultHistoryRiceValue=DefaultHistoryRiceValue<0 ? 0:DefaultHistoryRiceValue;
StatCoeff[i][compID]=DefaultHistoryRiceValue;
上記テキストにおいて、係数統計値は、Riceパラメータ導出物として記憶される。したがってデフォルト履歴値は、DefaultHistoryRiceValueによって記される。本開示では、項「DefaultHistoryValue」および「DefaultHistoryRiceValue」を交換可能に使う場合がある。OFFSETはオフセット値を示し、MULTIPLIERは乗数値を示し、cs.slice->getSliceQp()は、スライスのQPを戻す関数である。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? (int)(OFFSET-cs.slice->getSliceQp()*MULTIPLIER):0;
DefaultHistoryRiceValue=DefaultHistoryRiceValue<0 ? 0:DefaultHistoryRiceValue;
StatCoeff[i][compID]=DefaultHistoryRiceValue;
上記テキストにおいて、係数統計値は、Riceパラメータ導出物として記憶される。したがってデフォルト履歴値は、DefaultHistoryRiceValueによって記される。本開示では、項「DefaultHistoryValue」および「DefaultHistoryRiceValue」を交換可能に使う場合がある。OFFSETはオフセット値を示し、MULTIPLIERは乗数値を示し、cs.slice->getSliceQp()は、スライスのQPを戻す関数である。
【0098】
いくつかの例では、ビデオデコーダ300は、履歴リセットのためのデフォルト履歴値(たとえば、DefaultHistoryRiceValue)を、たとえば、上述したように、規範的プロセスを通して判断してよく、またはビットストリーム中でシグナリングすることができる。
【0099】
係数統計値が変換係数または変換係数の導出物として記憶されるいくつかの例では、履歴リセットのためのデフォルト値(たとえば、DefaultHistoryCoefValue)は、上述したものに対する追加の導出プロセスを通して表すことができ、そのような手順の非限定的例を、以下に示す。
DefaultHistoryCoefValue=1<<DefaultHistoryRiceValue;
StatCoeff[i][compID]=DefaultHistoryCoefValue;
DefaultHistoryCoefValue=1<<DefaultHistoryRiceValue;
StatCoeff[i][compID]=DefaultHistoryCoefValue;
【0100】
いくつかの例では、デフォルト履歴値のための導出プロセスは、色成分識別子(ID)または色フォーマットを考慮に入れてよい。たとえば、クロマ成分のための履歴値は、ルーマ成分のための履歴値の関数として、たとえば、ビットシフト、スケーリングまたはオフセットを通して導出することができる。
【0101】
係数統計値(たとえば、履歴またはStatCoeff)がRiceパラメータとして記憶されるいくつかの例では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、変換係数の特定のグループ、たとえば、最後のN個の変換係数、またはブロックの境界に位置する変換係数を復号するのに使用されたRiceパラメータから、係数統計値(たとえば、履歴またはStatCoeff)を更新するための値を導出することができる。例示的更新を、以下に示す。
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
【0102】
いくつかの例では、履歴更新に使用するためのRice推定値は、復号された変換係数自体から、次のように導出することができる。
int rem=m_BinDecoder.decodeRemAbsEP(ricePar,
COEF_REMAIN_BIN_REDUCTION,cctx.maxLog2TrDRange());
if((g_counterCollectStatCoeff[riceClass]>0)&&(rem>0))
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem);
上記テキストにおいて、g_counterCollectStatCoeff[riceClass]は、ピクチャの区分(たとえば、ピクチャ全体、スライス、タイル、CUのグループなど)の中でビデオコーダがこれまでに処理したクラスの中の変換係数の数を示し、クラスはインデックスriceClassによって示される。さらに、上記テキストにおいて、g_tempStatCoeff[riceClass]は、インデックスriceClassによって示されるクラスについての一時的値である。さらに、上記テキストにおいて、関数m_BinDecoder.decodeRemAbsEPは、変換係数の大部分のCABACバイパス復号を実装する。いくつかの例では、この変換係数のより小さい部分は、コンテキストCABACコーディングされ、履歴カウンタを更新するのには使われない。
int rem=m_BinDecoder.decodeRemAbsEP(ricePar,
COEF_REMAIN_BIN_REDUCTION,cctx.maxLog2TrDRange());
if((g_counterCollectStatCoeff[riceClass]>0)&&(rem>0))
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem);
上記テキストにおいて、g_counterCollectStatCoeff[riceClass]は、ピクチャの区分(たとえば、ピクチャ全体、スライス、タイル、CUのグループなど)の中でビデオコーダがこれまでに処理したクラスの中の変換係数の数を示し、クラスはインデックスriceClassによって示される。さらに、上記テキストにおいて、g_tempStatCoeff[riceClass]は、インデックスriceClassによって示されるクラスについての一時的値である。さらに、上記テキストにおいて、関数m_BinDecoder.decodeRemAbsEPは、変換係数の大部分のCABACバイパス復号を実装する。いくつかの例では、この変換係数のより小さい部分は、コンテキストCABACコーディングされ、履歴カウンタを更新するのには使われない。
【0103】
累積変換係数値に基づく履歴を用いる例では、この値自体を記憶することができる。たとえば、ビデオコーダは、コード長をもつ加重平均に基づいて履歴を、たとえば、g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)のように更新してよい。いくつかの例では、ビデオコーダは、履歴を変換係数規模自体で、たとえば、g_tempStatCoeff[riceClass]+=remのように更新してよい。
【0104】
いくつかの例では、履歴を更新するための導出プロセス(すなわち、係数統計値を更新するためのプロセス)は、復号された変換係数の値(たとえば、レベル)を考慮に入れることができる。たとえば、履歴を更新するためのプロセスを実施するとき、ビデオコーダは、区分(たとえば、TB、CUのグループなど)の変換係数を処理してよく、復号された変換係数が0に等しいか、または何らかの閾値Tを下回る場合、復号された変換係数に基づいて、履歴に対する更新を拒絶してよい。履歴は、指数ゴロムコーディングのためのRiceパラメータを導出するのに使われてよく、変換係数が、指数ゴロム方法ではコーディングされず、代わりにコンテキスト手順でコーディングされる場合、この変換係数からの情報はRice導出には無関係であり得る。したがって、復号された変換係数が0に等しいか、または何らかの閾値Tを下回るときは、履歴を更新しないことが有利な場合がある。
【0105】
いくつかの例では、履歴を更新するためのプロセスを実施するとき、ビデオコーダは、区分(たとえば、TB、CUのグループなど)の変換係数を処理し、現在のTB、サブブロック、またはコーディンググループ内での、復号された変換係数の空間位置を考慮に入れてよい。たとえば、いくつかの例では、ビデオコーダは、現在のTBのDC値の復号された変換係数向けの履歴更新を実施しない。いくつかの例では、導出プロセス(すなわち、履歴を更新するためのプロセス)は、導出プロセスが改変されるか、またはいくつかのサブブロック(たとえば、コーディンググループ)に属す係数のために、たとえば、DCサブブロックに属さないサブブロック内の変換係数のために重み付けされるように、空間位置に依存し得る。DCサブブロックは、TBのDC値を含む、現在のTBのサブブロックである。
【0106】
いくつかの例では、単一の履歴カウンタは、変換係数のすべてのサブブロック/クラスについての、重み付けされた履歴を表すことができる。言い換えると、各クラスについての別個の係数統計値はない。
【0107】
いくつかの例では、履歴更新値のための導出プロセスは、復号された変換係数のタイプを考慮に入れることができる。たとえば、導出プロセスは、復号された変換係数がコンテキストベース手順(すなわち、重要度またはXより大きいフラグであって、その後に、Rice方法を使用するバイパス手順でコーディングされた剰余が続く)により部分的にコーディングされているかどうか、または変換係数が絶対値としてコーディングされているかどうかを考慮に入れてよい。いくつかの例では、履歴更新値(たとえば、statCoeff)が記憶されたRiceパラメータに基づくとき、履歴更新値用のRice値は、変換係数のコンテキストコード化部をカバーすることを目標とするオフセットNをもつ部分的にコンテキストコード化係数用に計算することができる。
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)+N;
いくつかの例では、上記式における値Nは、1、2などのような整数値に等しくてよい。
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)+N;
いくつかの例では、上記式における値Nは、1、2などのような整数値に等しくてよい。
【0108】
したがって、この例では、ビデオコーダは、ビデオデータのTBの1つまたは複数の変換係数に基づいて係数統計値を更新し得る。係数統計値を更新することの一部として、ビデオコーダは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値(たとえば、g_tempStatCoeff)を判断するために導出プロセスを実施し得る。導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかを考慮に入れる。言い換えると、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断される。複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む。ビデオコーダは、係数統計値を、係数統計値と一時的値の平均として設定してよい。たとえば、ビデオコーダは、
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
を、上述したように判断し得る。
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
を、上述したように判断し得る。
【0109】
いくつかの例では、履歴値(すなわち、係数統計値)が、変換係数値を記憶したことに基づくとき、履歴更新のための値は、変換係数のコンテキストコード化部をカバーすることを目標とするオフセットまたはスケーリングにより、部分的にコンテキストコード化係数について計算することができる。
g_tempStatCoeff[riceClass]+=rem<<M;
または
g_tempStatCoeff[riceClass]+=rem+X;
g_tempStatCoeff[riceClass]+=rem<<M;
または
g_tempStatCoeff[riceClass]+=rem+X;
【0110】
いくつかの例では、上記式における値Nは、たとえば0、1、2などの整数値に等しくてよい。
【0111】
本開示は、一般に、シンタックス要素などの特定の情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、シンタックス要素および/または符号化ビデオデータを復号するために使用される他のデータのための値の通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素のための値をシグナリングし得る。一般に、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムで、または、宛先デバイス116によって後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときに行われ得るなど、リアルタイムではなく、ビットストリームを宛先デバイス116にトランスポートし得る。
【0112】
図4Aおよび図4Bは、例示的な4分木2分木(QTBT)構造400および対応するコーディングツリーユニット(CTU)402を示す概念図である。実線は4分木分割を表し、点線は2分木分割を示す。2分木の各分割(すなわち、非リーフ)ノードでは、どの分割タイプ(すなわち、水平または垂直)が使用されるかを示すために1つのフラグがシグナリングされ、ここで、この例では、0が水平分割を示し、1が垂直分割を示す。4分木分割の場合、4分木ノードがブロックをサイズが等しい4つのサブブロックに水平にかつ垂直に分割するので、分割タイプを示す必要はない。したがって、ビデオエンコーダ200は、QTBT構造400の領域木レベル(すなわち、実線)のための(分割情報などの)シンタックス要素およびQTBT構造400の予測木レベル(すなわち、破線)のための(分割情報などの)シンタックス要素を符号化し得、ビデオデコーダ300は、それらのシンタックス要素を復号し得る。QTBT構造400の末端リーフノードによって表されるCUのための、予測データおよび変換データなどのビデオデータを、ビデオエンコーダ200は符号化することができ、ビデオデコーダ300は復号することができる。
【0113】
一般に、図4BのCTU402は、第1のレベルおよび第2のレベルでQTBT構造400のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、CTUサイズ(サンプル中のCTU402のサイズを表す)、最小4分木サイズ(MinQTSize、最小許容4分木リーフノードサイズを表す)、最大2分木サイズ(MaxBTSize、最大許容2分木ルートノードサイズを表す)、最大2分木深度(MaxBTDepth、最大許容2分木深度を表す)、および最小2分木サイズ(MinBTSize、最小許容2分木リーフノードサイズを表す)を含み得る。
【0114】
CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルで4個の子ノードを有することがあり、子ノードの各々は、4分木区分に従って区分されることがある。すなわち、第1のレベルのノードは、(子ノードを有しない)リーフノードであるか、4個の子ノードを有するかのいずれかである。QTBT構造400の例は、分岐のための実線を有する親ノードと子ノードとを含むようなノードを表す。第1のレベルのノードが最大許容2分木ルートノードサイズ(MaxBTSize)より大きくない場合、ノードはそれぞれの2分木によってさらに区分され得る。1つのノードの2分木分割は、分割の結果として生じるノードが最小許容2分木リーフノードサイズ(MinBTSize)または最大許容2分木深度(MaxBTDepth)に達するまで繰り返され得る。QTBT構造400の例は、分岐のための破線を有するようなノードを表す。2分木リーフノードはコーディングユニット(CU)と呼ばれ、コーディングユニット(CU)は、これ以上の区分なしで、予測(たとえば、イントラピクチャ予測またはインターピクチャ予測)および変換のために使用される。上で論じられたように、CUは「ビデオブロック」または「ブロック」とも呼ばれ得る。
【0115】
QTBT区分構造の一例では、CTUサイズは128×128(ルーマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、(幅と高さの両方についての)MinBTSizeは4として設定され、MaxBTDepthは4として設定される。4分木リーフノードを生成するために、4分木区分がまずCTUに適用される。4分木リーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。4分木リーフノードが128×128である場合、サイズがMaxBTSize(すなわち、この例では64×64)を超えるので、4分木リーフノードは2分木によってさらに分割されない。それ以外の場合、4分木リーフノードは2分木によってさらに区分される。したがって、4分木リーフノードは2分木のルートノードでもあり、0としての2分木深度を有する。2分木深度がMaxBTDepth(この例では4)に達するとき、さらなる分割は許可されない。MinBTSize(この例では4)に等しい幅を有する2分木ノードは、その2分木ノードに対してさらなる垂直分割(すなわち、幅の分割)が許可されないことを示唆する。同様に、MinBTSizeに等しい高さを有する2分木ノードは、その2分木ノードに対してさらなる水平分割(すなわち、高さの分割)が許可されないことを示唆する。上述のように、2分木のリーフノードはCUと呼ばれ、さらなる区分なしで予測および変換に従ってさらに処理される。
【0116】
図5は、本開示の技法を実施し得る例示的なビデオエンコーダ200を示すブロック図である。図5は、説明のために提供され、本開示において広く例示および説明されるような技法の限定と見なされるべきでない。説明のために、本開示は、VVC(開発中のITU-T H.266)、およびHEVC(ITU-T H.265)の技法によるビデオエンコーダ200について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオ符号化デバイスによって実施されてもよい。
【0117】
図5の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、フィルタユニット216、復号ピクチャバッファ(DPB)218、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路構成において実装され得る。たとえば、ビデオエンコーダ200のユニットは、ハードウェア回路構成の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオエンコーダ200は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路構成を含み得る。たとえば、図5の例では、エントロピー符号化ユニット220は、Rice符号化ユニット(REU)228およびCABACユニット232を含み得る。
【0118】
ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、ビデオデータメモリ230に記憶されるビデオデータを、たとえば、ビデオソース104(図1)から受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして作用し得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであってよく、またはそれらの構成要素に対してオフチップであってよい。
【0119】
本開示では、ビデオデータメモリ230への言及は、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の内部のメモリ、または、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、符号化するためにビデオエンコーダ200が受信するビデオデータ(たとえば、符号化されるべき現在のブロックのためのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を提供し得る。
【0120】
図5の様々なユニットは、ビデオエンコーダ200によって実施される動作を理解するのを助けるために示されている。ユニットは、固定機能の回路、プログラマブル回路、またはこれらの組合せとして実装され得る。固定機能の回路は、特定の機能性を提供する回路を指し、実施され得る動作があらかじめ設定される。プログラマブル回路は、様々なタスクを実施するようにプログラムできる回路を指し、実施できる動作において柔軟な機能性を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数はそれぞれに異なる回路ブロック(固定機能またはプログラマブル)であってよく、いくつかの例では、1つまたは複数のユニットは集積回路であってよい。
【0121】
ビデオエンコーダ200は、算術論理ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアの命令（たとえばオブジェクトコード）を記憶してよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してよい。
【0122】
ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工ビデオデータであり得る。
【0123】
モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。
【0124】
モード選択ユニット202は、一般に、符号化パラメータの組合せおよびそのような組合せに対する結果として生じるレート歪み値をテストするために複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、その他のテストされた組合せよりも良いレート歪み値を有する符号化パラメータの組合せを最終的に選択し得る。
【0125】
ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明したHEVCのQTBT構造または4分木構造などのツリー構造に従ってピクチャのCTUを区分し得る。上記で説明したように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に「ビデオブロック」または「ブロック」とも呼ばれ得る。
【0126】
一般に、モード選択ユニット202はまた、現在のブロック(たとえば、現在のCU、またはHEVCでは、PUおよびTBの重複する部分)のための予測ブロックを生成するために、その構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在のブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の以前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実施し得る。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、潜在的な参照ブロックが現在のブロックにどのくらい類似しているかを表す値を算出し得る。動き推定ユニット222は一般に、現在のブロックと検討されている参照ブロックとの間のサンプルごとの差分を使用して、これらの算出を実施し得る。動き推定ユニット222は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの算出の結果として生じる最も低い値を有する参照ブロックを識別し得る。
【0127】
動き推定ユニット222は、現在のピクチャ中の現在のブロックの位置に対する参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成し得る。次いで、動き推定ユニット222は動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット222は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供し得る。次いで、動き補償ユニット224は、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルがフラクショナルサンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックのための値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付けされた平均化によって、取り出されたデータを合成し得る。
【0128】
別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在のブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向モードの場合、イントラ予測ユニット226は、一般に、隣接サンプルの値を数学的に合成し、これらの算出された値を現在のブロックにわたる定義された方向に投入して、予測ブロックを生成し得る。別の例として、DCモードの場合、イントラ予測ユニット226は、現在のブロックに対する隣接サンプルの平均を算出し、予測ブロックのサンプルごとにこの結果として生じる平均を含めるべき予測ブロックを生成し得る。
【0129】
モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在のブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在のブロックと予測ブロックとの間のサンプルごとの差分を算出する。結果として生じるサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を判断し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実施する1つまたは複数の減算器回路を使用して形成され得る。
【0130】
モード選択ユニット202がCUをPUに区分する例では、各PUはルーマ予測ユニットおよび対応するクロマ予測ユニットに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示したように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NのPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の、対称のPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズのための非対称区分をサポートし得る。
【0131】
モード選択ユニット202がCUをPUにさらに区分しない例では、各CUはルーマコーディングブロックおよび対応するクロマコーディングブロックに関連付けられ得る。上のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NというCUサイズをサポートし得る。
【0132】
いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット202は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構築する方式を示すシンタックス要素を生成してもよい。そのようなモードでは、モード選択ユニット202は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット220に提供し得る。
【0133】
上記で説明したように、残差生成ユニット204は、現在のブロックおよび対応する予測ブロックのためのビデオデータを受信する。次いで、残差生成ユニット204は現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は予測ブロックと現在のブロックとの間のサンプルごとの差分を算出する。
【0134】
変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用する。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの、1次変換および2次変換を残差ブロックに対して実施し得る。いくつかの例では、変換処理ユニット206は、変換を残差ブロックに適用しない。
【0135】
量子化ユニット208は、変換係数ブロック中で変換係数を量子化して、量子化された変換係数ブロックを生成し得る。量子化ユニット208は、現在のブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連付けられたQP値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は変換処理ユニット206によって生成された元の変換係数よりも低い精度を有することがある。
【0136】
逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用して、変換係数ブロックから残差ブロックを再構築し得る。再構築ユニット214は、モード選択ユニット202によって生成される再構築された残差ブロックおよび予測ブロックに基づいて、(ある程度の歪みを伴う可能性があるが)現在のブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット214は、モード選択ユニット202によって生成される予測ブロックからの対応するサンプルに再構築された残差ブロックのサンプルを加算して、再構築されたブロックを生成し得る。
【0137】
フィルタユニット216は、再構築されたブロックに対して1回または複数回のフィルタ動作を実施し得る。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実施し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。
【0138】
ビデオエンコーダ200は、再構築されたブロックをDPB218に記憶する。たとえば、フィルタユニット216の動作が実施されない例では、再構築ユニット214が、再構築されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が実施される例では、フィルタユニット216は、フィルタリングされた再構築ブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構築された(および場合によってはフィルタリングされた)ブロックから形成される参照ピクチャを、DPB218から取り出し得る。加えて、イントラ予測ユニット226は、現在のピクチャの中の他のブロックをイントラ予測するために、現在のピクチャのDPB218の中の再構築されたブロックを使用し得る。
【0139】
一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実施して、エントロピー符号化データを生成し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0140】
REU228は、変換係数用の剰余シンタックス要素(たとえば、abs_remainder)および変換係数用の絶対値シンタックス要素(たとえば、dec_abs_level)など、いくつかのシンタックス要素用のRiceコードを生成し得る。エントロピー符号化ユニット220のCABACユニット232は、Riceコードに対して、CABACコーディングまたは別のタイプのエントロピー符号化を実施し得る。変換係数用のシンタックス要素用のRiceコードを生成することの一部として、REU228は、変換係数用のRiceパラメータを判断してよい。REU228は、本開示の技法のいずれかに従って、変換係数用のRiceパラメータを判断してよい。たとえば、REU228は、変換係数についての履歴値(たとえば、histCoef)を判断してよい。履歴値は、本明細書では推定履歴変換係数とも呼ばれる。REU228は、係数統計値に基づいて、履歴値を判断してよい。本開示の他の箇所で記載されるように、REU228は、係数統計値を、係数統計値および一時的値の平均に更新してよい。REU228は、一時的値を判断するために導出プロセスを実施し得る。導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかを考慮に入れてよい。複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む。
【0141】
ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。
【0142】
上記で説明した動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。
【0143】
いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)および参照ピクチャを識別するための動作は、クロマブロックのためのMVおよび参照ピクチャを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVはクロマブロックのためのMVを判断するためにスケーリングされてよく、参照ピクチャは同じであってよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってよい。
【0144】
いくつかの例では、ビデオエンコーダ200は、ビデオデータを記憶するように構成されたメモリと、回路構成で実装された1つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの例を表し、1つまたは複数の処理ユニットは、現在の変換係数についての推定履歴変換係数(たとえば、histCoef)を判断することと、推定履歴変換係数に基づいて、ローカル合計値(たとえば、localSumAbs)を判断することと、ローカル合計値に基づいてRiceパラメータ(たとえば、cRiceParam)を判断することと、現在の変換係数のレベルに基づいて、シンタックス要素(たとえば、abs_remainderまたはdec_abs_level)を判断することと、シンタックス要素を符号化するのにRiceパラメータを使うこととを行うように構成される。
【0145】
図6は、本開示の技法を実施することができる例示的なビデオデコーダ300を示すブロック図である。図6は説明のために提供され、本開示において広く例示および説明されるような技法を限定するものではない。説明のために、本開示は、VVC(開発中のITU-T H.266)、およびHEVC(ITU-T H.265)の技法によるビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオコーディングデバイスによって実施され得る。
【0146】
図6の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、フィルタユニット312、および復号ピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、フィルタユニット312、およびDPB314のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路構成において実装され得る。たとえば、ビデオデコーダ300のユニットは、ハードウェア回路構成の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオデコーダ300は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路構成を含み得る。たとえば、図6の例では、エントロピー復号ユニット302は、Rice復号ユニット(RDU)322およびCABACユニット324を含む。
【0147】
予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多いか、より少ないか、または異なる機能構成要素を含み得る。
【0148】
CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されたビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化ビデオビットストリームからの符号化ビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時的なデータなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、一般に、符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る復号ピクチャを記憶する。CPBメモリ320およびDPB314は、SDRAMを含むDRAM、MRAM、RRAM、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。CPBメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであってよく、またはそれらの構成要素に対してオフチップであってよい。
【0149】
追加または代替として、いくつかの例では、ビデオデコーダ300はメモリ120(図1)からコード化ビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320に関して上記で説明したようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能性の一部または全部がビデオデコーダ300の処理回路構成によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。
【0150】
図6に示す様々なユニットは、ビデオデコーダ300によって実施される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図5と同様に、固定機能回路は、特定の機能性を提供する回路を指し、実施され得る動作があらかじめ設定される。プログラマブル回路は、様々なタスクを実施するようにプログラムできる回路を指し、実施できる動作において柔軟な機能性を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数はそれぞれに異なる回路ブロック(固定機能またはプログラマブル)であってよく、いくつかの例では、1つまたは複数のユニットは集積回路であってよい。
【0151】
ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオデコーダ300の動作がプログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ300が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。
【0152】
エントロピー復号ユニット302は、CPBから符号化ビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再現し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構築ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成し得る。
【0153】
一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構築する。ビデオデコーダ300は、各ブロックに対する再構築動作を個別に実施し得る(ここで、現在再構築されている、すなわち復号されているブロックは、「現在のブロック」と呼ばれ得る)。
【0154】
エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報を定義するシンタックス要素をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを判断するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、たとえば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実施し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。
【0155】
いくつかのシンタックス要素は、Riceコードとして表され得る。いくつかのそのような例では、CABACユニット324は、変換係数用の剰余シンタックス要素(たとえば、abs_remainder)または変換係数用の絶対値シンタックス要素(たとえば、dec_abs_level)などのシンタックス要素用のRiceコードを取得するために、ビットストリーム中のビットシーケンスに、CABAC復号または別の形のエントロピー復号を適用し得る。図6の例では、エントロピー復号ユニット302のRDU322が、Riceコードを復号し、得られた復号された値を、変換係数のレベルを判断するのに使ってよい。RDU322は、本開示の技法のいずれかに従って、Riceコードを復号する際に使うためのRiceパラメータを判断してよい。
【0156】
逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在のブロックに関連付けられた残差ブロックを生成するために、1つまたは複数の逆変換を変換係数ブロックに適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を、変換係数ブロックに適用し得る。
【0157】
さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、そこから参照ブロックを取り出すべきDPB314中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックの場所に対する参照ピクチャ中の参照ブロックの場所を識別する動きベクトルを示し得る。動き補償ユニット316は、一般に、動き補償ユニット224(図5)に関して説明した方法と実質的に同様の方法でインター予測プロセスを実施し得る。
【0158】
別の例として、現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されたイントラ予測モードに従って予測ブロックを生成し得る。やはり、イントラ予測ユニット318は、一般に、イントラ予測ユニット226(図5)に関して説明した方法と実質的に同様の方法でイントラ予測プロセスを実施し得る。イントラ予測ユニット318は、DPB314から、現在のブロックに隣接するサンプルのデータを取り出し得る。
【0159】
再構築ユニット310は、予測ブロックと残差ブロックとを使用して現在のブロックを再構築し得る。たとえば、再構築ユニット310は、予測ブロックの対応するサンプルに残差ブロックのサンプルを追加して、現在のブロックを再構築し得る。
【0160】
フィルタユニット312は、再構築されたブロックに対して1回または複数回のフィルタ動作を実施し得る。たとえば、フィルタユニット312は、再構築されたブロックの端部に沿ったブロッキネスアーティファクトを減らすために、デブロッキング動作を実施し得る。フィルタユニット312の動作は、必ずしもすべての例において実施されるとは限らない。
【0161】
ビデオデコーダ300は、DPB314に再構築されたブロックを記憶し得る。たとえば、フィルタユニット312の動作が実施されない例では、再構築ユニット310が、再構築されたブロックをDPB314に記憶し得る。フィルタユニット312の動作が実施される例では、フィルタユニット312は、フィルタリングされた再構築ブロックをDPB314に記憶し得る。上記で説明したように、DPB314は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を予測処理ユニット304に提供し得る。さらに、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上に後で提示するために、DPB314からの復号ピクチャ(たとえば、復号ビデオ)を出力し得る。
【0162】
このように、ビデオデコーダ300は、ビデオデータを記憶するように構成されたメモリと、回路構成で実装された1つまたは複数の処理ユニットとを含むビデオ復号デバイスの例を表してよく、1つまたは複数の処理ユニットは、現在の変換係数についての推定履歴変換係数(たとえば、histCoef)を判断することと、推定履歴変換係数に基づいて、ローカル合計値(たとえば、localSumAbs)を判断することと、ローカル合計値に基づいて、Riceパラメータ(たとえば、cRiceParam)を判断することと、シンタックス要素(たとえば、abs_remainderまたはdec_abs_level)を復号するのにRiceパラメータを使うことと、シンタックス要素に基づいて現在の変換係数のレベルを判断することと、現在の変換係数のレベルに基づいて、ビデオデータのブロックを再構築することとを行うように構成される。
【0163】
図7は、本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。本開示のフローチャートは、例として与えられる。他の例では、より多くの、より少ない、または異なるアクションが方法に含まれてよく、フローチャートに示すアクションは、異なる順序で実施されてよい。さらに、本開示のフローチャートで示される方法は、図1から図6に関して記載されるが、方法は、そのように限定されるわけではない。図7の例では、現在のブロックは現在のCUを含み得る。
【0164】
この例では、ビデオエンコーダ200は最初に、現在のブロックを予測する(700)。たとえば、ビデオエンコーダ200は、現在のブロックのための予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在のブロックのための残差ブロックを算出し得る(702)。残差ブロックを算出するために、ビデオエンコーダ200は、元の符号化されていないブロックと現在のブロックのための予測ブロックとの間の差分を算出し得る。次いで、ビデオエンコーダ200は、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る(704)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(706)。走査の間、または走査に続いて、ビデオエンコーダ200は、変換係数をエントロピー符号化し得る(708)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して変換係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピー符号化データを出力し得る(710)。
【0165】
変換係数をエントロピー符号化することの一部として、ビデオエンコーダ200は、本開示の技法のいずれかに従って、変換係数用のRiceパラメータを判断してよい。ビデオエンコーダ200は、Riceパラメータおよび変換係数のレベルに基づいて、変換係数用のRiceコードを生成し得る。ビデオエンコーダ200は、Riceコードをエントロピー符号化し得る。
【0166】
図8は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオデコーダ300(図1および図6)に関して説明するが、他のデバイスが図8の方法に類似の方法を実施するように構成され得ることを理解されたい。
【0167】
ビデオデコーダ300は、エントロピー符号化された予測情報および現在のブロックに対応する残差ブロックの変換係数のエントロピー符号化データなど、現在のブロックについてのエントロピー符号化データを受信し得る(800)。ビデオデコーダ300は、現在のブロックについての予測情報を判断するために、および残差ブロックの変換係数を再現するために、エントロピー符号化データをエントロピー復号し得る(802)。
【0168】
ビデオデコーダ300は、本開示の技法のいずれかに従って、変換係数のうちの1つまたは複数のためのRiceパラメータを判断し得る。ビデオデコーダ300は、変換係数用のRiceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、変換係数のレベルを判断し得る。たとえば、ビデオデコーダ300は、変換係数用のRiceコードを取得するために、剰余シンタックス要素(たとえば、abs_remainder)をエントロピー復号し得る。この例では、ビデオデコーダ300は次いで、変換係数用のRiceパラメータを、復号された値を取得するためにRiceコードを復号するのに使ってよい。ビデオデコーダ300は、復号された値を、変換係数のレベルを判断するのに使ってよい。
【0169】
ビデオデコーダ300は、現在のブロックに対する予測ブロックを算出するために、たとえば、現在のブロックに対する予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在のブロックを予測し得る(804)。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再現された変換係数を逆走査し得る(806)。次いで、ビデオデコーダ300は、変換係数を逆量子化し、逆変換を変換係数に適用して、残差ブロックを生成し得る(808)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号し得る(810)。
【0170】
図9は、本開示の1つまたは複数の技法による、ビデオデータを符号化するための例示的なプロセスを示すフローチャートである。図9の例では、REU228は、係数統計値(たとえば、statCoeff[i][compID])を初期化する(900)。たとえば、REU228は、係数統計値を0に初期化してよい。いくつかの例では、REU228は、係数統計値をデフォルト履歴値(たとえば、DefaultHistoryRiceValue)に初期化してよい。
【0171】
いくつかの例では、REU228は、ビデオデータのブロックを含むピクチャのスライスのQPに基づいてデフォルト履歴値を判断し得る。たとえば、「DefaultHistoryRiceValue」がデフォルト履歴値を示し、「bitDepth」がTBの変換係数のビット深度を示し、「cs.slice->getSliceQp()」が、スライスのQPを戻す関数である場合、REU228は、デフォルト履歴値を判断するために、以下の演算を実施すればよい。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? (int)(OFFSET-cs.slice->getSliceQp()*MULTIPLIER):0;
DefaultHistoryRiceValue=DefaultHistoryRiceValue<0 ? 0:DefaultHistoryRiceValue;
REU228は、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットしてよい。たとえば、REU228は、復号ピクチャの一定の区分(たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTU)を通して、係数統計値を、区分の開始における規範的リセットで維持し得る。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? (int)(OFFSET-cs.slice->getSliceQp()*MULTIPLIER):0;
DefaultHistoryRiceValue=DefaultHistoryRiceValue<0 ? 0:DefaultHistoryRiceValue;
REU228は、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットしてよい。たとえば、REU228は、復号ピクチャの一定の区分(たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTU)を通して、係数統計値を、区分の開始における規範的リセットで維持し得る。
【0172】
さらに、図9の例では、REU228は、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新し得る(902)。ビデオデータのブロックは、CUまたは他のタイプのブロックであってよい。1つまたは複数の変換係数は、TBの変換係数すべてまたはTBの変換係数のサブセットであってよい。図9の例に示すように、係数統計値を更新することの一部として、REU228は、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施し得る(904)。
【0173】
導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかを考慮に入れる(すなわち、そのことに少なくとも部分的に基づいて判断される)。複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む。それぞれの変換係数が、符号化のためのコンテキストベース手順を使って符号化されるとき、それぞれの変換係数は、1より大きいフラグ、任意選択で2より大きいフラグ、および剰余を使って表され得る。剰余は、2より大きいフラグが存在し、1に等しい場合、それぞれの変換係数の絶対レベルマイナス2に等しくてよい。剰余は、1より大きいフラグが1に等しく、2より大きいフラグが0に等しい場合、それぞれの変換係数の絶対レベルマイナス1に等しくてよい。それぞれの変換係数が絶対値として符号化されるとき、それぞれの変換係数は、絶対値に等しいか、または絶対値プラス1に等しくてよい。シンタックス要素dec_abs_levelが、絶対値を示し得る。
【0174】
それぞれの変換係数がコンテキストベース手順を使って符号化される事例では、REU228は、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断し得る。たとえば、g_tempStatCoeff[riceClass]が一時的値であり、「rem」がそれぞれの変換係数についての剰余であり、「N」が整数値である場合、REU228は、以下を算出し得る。
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)+N;
この演算および本開示の他の箇所において、「(unit32_t)」は、「rem」を符号なし32ビット整数にキャストすることを示す。
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)+N;
この演算および本開示の他の箇所において、「(unit32_t)」は、「rem」を符号なし32ビット整数にキャストすることを示す。
【0175】
それぞれの変換係数が絶対値として符号化されるときなど、他の事例では、それぞれの変換係数が絶対値を使って符号化される場合、REU228は、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、一時的値を判断し得る。たとえば、g_tempStatCoeff[riceClass]が一時的値であり、「rem」がそれぞれの変換係数についての剰余である場合、REU228は、以下を算出し得る。
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)
g_tempStatCoeff[riceClass]+=floorLog2((uint32_t)rem)
【0176】
さらに、係数統計値を更新することの一部として、REU228は、係数統計値を、係数統計値と一時的値の平均として設定してよい(906)。たとえば、tempStatCoeff[i]は一時的値を示してよく、StatCoeff[i][compID]は係数統計値を示してよい。この例では、係数統計値を、係数統計値と一時的値の平均として設定するために、REU228は以下の演算を実施し得る。
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
【0177】
さらに、図9の例では、REU228は、係数統計値に基づいて、履歴値(たとえば、histCoef)を判断し得る(908)。いくつかの例では、REU228は、係数統計値をRiceパラメータの導出物として記憶してよい。そのような例では、係数統計値に基づいて履歴値を判断することの一部として、REU228は、1を係数統計値だけ左シフトしてよい。たとえば、REU228は、係数統計値に基づいて履歴値を判断するために、以下の演算を実施し得る。
historyRiceValue=StatCoeff[i][compID];
histCoef=1<<historyRiceValue;
別の例では、REU228は、係数統計値を変換係数の導出物として記憶してよい。この例では、係数統計値に基づいて履歴値を判断することの一部として、REU228は、履歴値を係数統計値に等しく設定してよい。たとえば、REU228は、係数統計値に基づいて履歴値を判断するために、以下の演算を実施し得る。
historyValue=StatCoeff[i][compID];
histCoef=historyValue;
historyRiceValue=StatCoeff[i][compID];
histCoef=1<<historyRiceValue;
別の例では、REU228は、係数統計値を変換係数の導出物として記憶してよい。この例では、係数統計値に基づいて履歴値を判断することの一部として、REU228は、履歴値を係数統計値に等しく設定してよい。たとえば、REU228は、係数統計値に基づいて履歴値を判断するために、以下の演算を実施し得る。
historyValue=StatCoeff[i][compID];
histCoef=historyValue;
【0178】
図9の例では、REU228は、TBの特定変換係数用のRiceパラメータを判断し得る(910)。TBの特定変換係数は、TBの変換係数のいずれかであってよい。いくつかの例では、REU228は、TBの各変換係数用のRiceパラメータを判断し得る。
【0179】
特定変換係数用のRiceパラメータを判断することの一部として、REU228は、特定変換係数がTBの右境界または下部境界から3未満の空間位置であるかどうかを判断し得る(912)。たとえば、「posX」は特定変換係数のx軸座標を示してよく、「posY」は特定変換係数のy軸座標を示してよく、「m_width」はTBの幅を示し、「m_height」はTBの高さを示してよく、「sum」はローカル合計値を示してよく、「abs(pData[])」は変換係数の絶対レベルを示し、「histCoef」は履歴値を示す。この例では、REU228は、特定変換係数が、TBの右境界または下部境界から3未満の空間位置であるかどうかを、コードリスティング3に示す以下の比較のうちの1つを使って判断し得る。
・ if(posX<m_width-1)
・ if(posX<m_width-2)
・ if(posY<m_height-1)
・ if(posY<m_height-2)
・ if(posX<m_width-1)
・ if(posX<m_width-2)
・ if(posY<m_height-1)
・ if(posY<m_height-2)
【0180】
図9の例に示すように、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて(912の「YES」分岐)、REU228は、履歴値に基づいてローカル合計値を判断し得る(914)。たとえば、コードリスティング3に示すように、REU228は、ローカル合計値を、以下のうちの1つとして判断してよい。
・ sum+=histCoef
・ sum+=N*histCoef
・ sum+=M*histCoef
・ sum+=histCoef
・ sum+=N*histCoef
・ sum+=M*histCoef
【0181】
一方、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置でない場合(912の「NO」分岐)、REU228は、テンプレートの中の変換係数に基づいて、ローカル合計値を判断してよい(916)。たとえば、擬似コードリスティング3に示すように、REU228は、ローカル合計値を、以下のうちの1つとして判断してよい。
・ sum+=abs(pData[2]);
・ sum+=abs(pData[m_width+1]);
・ sum+=abs(pData[m_width]);
・ sum+=abs(pData[m_width<<1]);
・ sum+=abs(pData[2]);
・ sum+=abs(pData[m_width+1]);
・ sum+=abs(pData[m_width]);
・ sum+=abs(pData[m_width<<1]);
【0182】
さらに、REU228は、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断し得る(918)。たとえば、REU228は、Table1(表1)などのテーブル中で、特定変換係数用のRiceパラメータをルックアップするのに、ローカル合計値を使ってよい。
【0183】
REU228は、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成し得る(920)。たとえば、特定変換係数用のRiceコードは、通常は0に等しい固定値だけ分離されたプレフィックスおよびサフィックスを含み得る。REU228は、プレフィックスqを、切り捨てられたMで除算されたxとして判断してよく(すなわち、
【0184】
【数2】
【0185】
)、ここで、xは、特定変換係数の絶対レベルまたは特定変換係数の剰余値など、特定変換係数に関連付けられた値であり、Mは2kに等しく、kは特定変換係数用のRiceパラメータである。REU228は、サフィックスをr=x-qMとして判断してよく、ここでrはサフィックスである。したがって、サフィックスは、kに等しい長さ(すなわち、ビットの数)をもつバイナリ数と見なされ得る。
【0186】
いくつかの例では、エントロピー符号化ユニット220のCABACユニット232は、特定変換係数用のRiceコードに対してCABAC符号化を実施し、得られたCABAC符号化値をビットストリーム中に含めてよい。
【0187】
図10は、本開示の1つまたは複数の技法による、ビデオデータを復号するための例示的なプロセスを示すフローチャートである。図10の例では、RDU322は、係数統計値(たとえば、statCoeff[i][compID])を初期化する(1000)。たとえば、RDU322は、係数統計値を0に初期化し得る。いくつかの例では、RDU322は、係数統計値をデフォルト履歴値(たとえば、DefaultHistoryRiceValue)に初期化してよい。
【0188】
いくつかの例では、RDU322は、ビデオデータのブロックを含むピクチャのスライスのQPに基づいて、デフォルト履歴値を判断し得る。たとえば、「DefaultHistoryRiceValue」がデフォルト履歴値を示し、「bitDepth」がTBの変換係数のビット深度を示し、「cs.slice->getSliceQp()」が、スライスのQPを戻す関数である場合、RDU322は、デフォルト履歴値を判断するために、以下の演算を実施すればよい。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? (int)(OFFSET-cs.slice->getSliceQp()*MULTIPLIER):0;
DefaultHistoryRiceValue=DefaultHistoryRiceValue<0 ? 0:DefaultHistoryRiceValue;
RDU322は、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットしてよい。たとえば、RDU322は、復号ピクチャの一定の区分(たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTU)を通して、係数統計値を、区分の開始における規範的リセットで維持し得る。
DefaultHistoryRiceValue=(bitDepth-10)>0 ? (int)(OFFSET-cs.slice->getSliceQp()*MULTIPLIER):0;
DefaultHistoryRiceValue=DefaultHistoryRiceValue<0 ? 0:DefaultHistoryRiceValue;
RDU322は、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットしてよい。たとえば、RDU322は、復号ピクチャの一定の区分(たとえば、完全ピクチャ、スライス、タイル、CTUのグループ、または単一のCTU)を通して、係数統計値を、区分の開始における規範的リセットで維持し得る。
【0189】
さらに、図10の例では、RDU322は、ビデオデータのブロックのTBの1つまたは複数の変換係数に基づいて係数統計値を更新し得る(1002)。ビデオデータのブロックは、CUまたは他のタイプのブロックであってよい。1つまたは複数の変換係数は、TBの変換係数すべてまたはTBの変換係数のサブセットであってよい。図10の例に示すように、係数統計値を更新することの一部として、RDU322は、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施し得る(1004)。
【0190】
導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかを考慮に入れる(すなわち、そのことに少なくとも部分的に基づいて判断される)。複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む。RDU322は、REU228に関して上述した例のいずれかに従って、導出プロセスを実施してよい。
【0191】
さらに、係数統計値を更新することの一部として、RDU322は、係数統計値を、係数統計値と一時的値の平均として設定してよい(1006)。たとえば、tempStatCoeff[i]は一時的値を示してよく、StatCoeff[i][compID]は係数統計値を示してよい。この例では、係数統計値を、係数統計値と一時的値の平均として設定するために、RDU322は以下の演算を実施し得る。
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
int averageRiceInTU=(int)(g_tempStatCoeff[i]);
StatCoeff[i][compID]=(StatCoeff[i][compID]+averageRiceInTU)>>1;
【0192】
さらに、図10の例では、RDU322は、係数統計値に基づいて、履歴値(たとえば、histCoef)を判断し得る(1008)。いくつかの例では、RDU322は、係数統計値をRiceパラメータの導出物として記憶してよい。そのような例では、係数統計値に基づいて履歴値を判断することの一部として、RDU322は、1を係数統計値だけ左シフトしてよい。たとえば、RDU322は、係数統計値に基づいて履歴値を判断するために、以下の演算を実施し得る。
historyRiceValue=StatCoeff[i][compID];
histCoef=1<<historyRiceValue;
別の例では、RDU322は、係数統計値を変換係数の導出物として記憶してよい。この例では、係数統計値に基づいて履歴値を判断することの一部として、RDU322は、履歴値を係数統計値に等しく設定してよい。たとえば、RDU322は、係数統計値に基づいて履歴値を判断するために、以下の演算を実施し得る。
historyValue=StatCoeff[i][compID];
histCoef=historyValue;
historyRiceValue=StatCoeff[i][compID];
histCoef=1<<historyRiceValue;
別の例では、RDU322は、係数統計値を変換係数の導出物として記憶してよい。この例では、係数統計値に基づいて履歴値を判断することの一部として、RDU322は、履歴値を係数統計値に等しく設定してよい。たとえば、RDU322は、係数統計値に基づいて履歴値を判断するために、以下の演算を実施し得る。
historyValue=StatCoeff[i][compID];
histCoef=historyValue;
【0193】
図10の例では、RDU322は、TBの特定変換係数用のRiceパラメータを判断し得る(1010)。TBの特定変換係数は、TBの変換係数のいずれかであってよい。いくつかの例では、REU228は、TBの各変換係数用のRiceパラメータを判断し得る。
【0194】
特定変換係数用のRiceパラメータを判断することの一部として、RDU322は、特定変換係数がTBの右境界または下部境界から3未満の空間位置であるかどうかを判断し得る(1012)。たとえば、「posX」は特定変換係数のx軸座標を示してよく、「posY」は特定変換係数のy軸座標を示してよく、「m_width」はTBの幅を示し、「m_height」はTBの高さを示してよく、「sum」はローカル合計値を示してよく、「abs(pData[])」は変換係数の絶対レベルを示し、「histCoef」は履歴値を示す。この例では、RDU322は、特定変換係数が、TBの右境界または下部境界から3未満の空間位置であるかどうかを、コードリスティング3に示す以下の比較のうちの1つを使って判断し得る。
・ if(posX<m_width-1)
・ if(posX<m_width-2)
・ if(posY<m_height-1)
・ if(posY<m_height-2)
・ if(posX<m_width-1)
・ if(posX<m_width-2)
・ if(posY<m_height-1)
・ if(posY<m_height-2)
【0195】
図10の例に示すように、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて(1012の「YES」分岐)、RDU322は、履歴値に基づいてローカル合計値を判断し得る(1014)。たとえば、コードリスティング3に示すように、RDU322は、ローカル合計値を、以下のうちの1つとして判断してよい。
・ sum+=histCoef
・ sum+=N*histCoef
・ sum+=M*histCoef
・ sum+=histCoef
・ sum+=N*histCoef
・ sum+=M*histCoef
【0196】
一方、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置にない場合(1012の「NO」分岐)、RDU322は、テンプレートの中の変換係数に基づいて、ローカル合計値を判断してよい(1016)。たとえば、コードリスティング3に示すように、RDU322は、ローカル合計値を、以下のうちの1つとして判断してよい。
・ sum+=abs(pData[2]);
・ sum+=abs(pData[m_width+1]);
・ sum+=abs(pData[m_width]);
・ sum+=abs(pData[m_width<<1]);
・ sum+=abs(pData[2]);
・ sum+=abs(pData[m_width+1]);
・ sum+=abs(pData[m_width]);
・ sum+=abs(pData[m_width<<1]);
【0197】
さらに、RDU322は、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断し得る(1018)。たとえば、RDU322は、Table1(表1)などのテーブル中で、特定変換係数用のRiceパラメータをルックアップするのに、ローカル合計値を使ってよい。
【0198】
RDU322は、特定変換係数用のRiceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、特定変換係数のレベルを判断し得る(1020)。たとえば、剰余シンタックス要素(たとえば、abs_remainder)または絶対値シンタックス要素(たとえば、dec_abs_level)が、特定変換係数用のRiceコードを示し得る。特定変換係数用のRiceコードは、プレフィックスqおよびサフィックスrを含み得る。サフィックスrの長さは、特定変換係数用のRiceパラメータに等しくてよい。RDU322は、プレフィックスqを第1の数の単項表現として、サフィックスrを第2の数のバイナリ表現として解釈してよく、プレフィックスqとサフィックスrとの間の0は無視してよい。この例では、RDU322は、第1の数と第2の数を加算して、復号された値を判断し得る。特定変換係数がコンテキストベース手順を使って符号化される例では、RDU322は、2より大きいフラグシンタックス要素が存在し、1に等しい場合は、復号された値に2を加算することによって、1より大きいフラグシンタックス要素が1に等しく、2より大きいフラグシンタックス要素が0に等しい場合は、復号された値に1を加算することによって、およびサインフラグシンタックス要素に基づいて特定変換係数のレベルのサインを設定することによって、特定変換係数のレベルを判断し得る。特定変換係数が絶対値を使って符号化される例では、復号された値は特定変換係数のレベルに等しくてよく、または特定変換係数のレベルは、たとえば、復号された値がZeroPos変数よりも大きいか、それとも小さいかに依存して、復号された値プラス1に等しくてよい。ZeroPos変数については、上述した。
【0199】
いくつかの例では、CABACユニット324は、Riceコードを取得するために、ビットストリームの中の値に対してCABAC復号を実施し得る。
【0200】
さらに、図10の例では、ビデオデコーダ300は、特定変換係数のレベルに基づいて、ビデオデータのブロックを復号し得る(1022)。たとえば、逆量子化ユニット306は、特定変換係数のレベルを、TB中の他の変換係数の値とともに逆量子化し得る。この例では、ビデオデコーダ300の逆変換処理ユニット308が、残差値を取得するために、TBの変換係数の逆量子化された値に、逆変換を適用し得る。(いくつかの例では、逆量子化および/または逆変換プロセスは省かれ、変換係数が直接、残差値を示す。) 再構築ユニット310は、残差値を、対応する予測ブロックのサンプルに加算してよい。ブロックの各TBをそのように処理することによって、再構築ユニット310は、ビデオデータのブロックのサンプル値を再構築し得る。
【0201】
以下は、本開示の1つまたは複数の技法による態様の非限定的リストである。
【0202】
態様1A. ビデオデータを復号する方法であって、現在の変換係数についての推定履歴変換係数を判断するステップと、推定履歴変換係数に基づいて、ローカル合計値を判断するステップと、ローカル合計値に基づいてRiceパラメータを判断するステップと、Riceパラメータを使ってシンタックス要素を復号するステップと、シンタックス要素に基づいて現在の変換係数のレベルを判断するステップと、現在の変換係数のレベルに基づいて、ビデオデータのブロックを再構築するステップとを含む方法。
【0203】
態様2A. 現在の変換係数についての推定履歴変換係数を判断するステップは、現在の変換ユニットに関連付けられたピクチャの領域用の各Riceクラスについての履歴値を判断するステップと、履歴値に基づいて推定履歴変換係数を判断するステップとを含む、態様1Aの方法。
【0204】
態様3A. 領域は、ピクチャの全エリア、スライス、タイル、コーディングツリーユニット(CTU)のグループ、または単一のCTUのうちの1つであり、方法は、領域をデフォルト履歴値に復号し始めるときに、履歴値をリセットするステップをさらに含む、態様2Aの方法。
【0205】
態様4A. コード化データのビット深度に基づいて、デフォルト履歴値を判断するステップをさらに含む、態様3Aの方法。
【0206】
態様5A. 量子化パラメータに基づいて、またはビデオデータの符号化バージョンを含む、ビットストリーム中でシグナリングされたデータに基づいて、デフォルト履歴値を判断するステップをさらに含む、態様3Aまたは4Aのいずれかの方法。
【0207】
態様6A. 履歴値を判断するステップは、現在の変換係数に関連付けられた変換ユニットの中の平均Riceパラメータを判断するステップと、平均Riceパラメータに基づいて履歴値を判断するステップとを含む、態様2Aから5Aのいずれかの方法。
【0208】
態様7A. ビデオデータを符号化する方法であって、現在の変換係数についての推定履歴変換係数を判断するステップと、推定履歴変換係数に基づいて、ローカル合計値を判断するステップと、ローカル合計値に基づいてRiceパラメータを判断するステップと、現在の変換係数のレベルに基づいてシンタックス要素を判断するステップと、Riceパラメータを使ってシンタックス要素を符号化するステップとを含む方法。
【0209】
態様8A. 現在の変換係数についての推定履歴変換係数を判断するステップは、現在の変換ユニットに関連付けられたピクチャの領域用の各Riceクラスについての履歴値を判断するステップと、履歴値に基づいて推定履歴変換係数を判断するステップとを含む、態様7Aの方法。
【0210】
態様9A. 領域は、ピクチャの全エリア、スライス、タイル、コーディングツリーユニット(CTU)のグループ、または単一のCTUのうちの1つであり、方法は、領域をデフォルト履歴値に復号し始めるときに、履歴値をリセットするステップをさらに含む、態様8Aの方法。
【0211】
態様10A. コード化データのビット深度に基づいて、デフォルト履歴値を判断するステップをさらに含む、態様9Aの方法。
【0212】
態様11A. 量子化パラメータに基づいて、またはビデオデータの符号化バージョンを含む、ビットストリーム中でシグナリングされたデータに基づいて、デフォルト履歴値を判断するステップをさらに含む、態様9Aまたは10Aのいずれかの方法。
【0213】
態様12A. 履歴値を判断するステップは、現在の変換係数に関連付けられた変換ユニットの中の平均Riceパラメータを判断するステップと、平均Riceパラメータに基づいて履歴値を判断するステップとを含む、態様8Aから11Aのいずれかの方法。
【0214】
態様13A. ビデオデータをコーディングするためのデバイスであって、態様1A～12Aのいずれかの方法を実施するための1つまたは複数の手段を備えるデバイス。
【0215】
態様14A. 1つまたは複数の手段は、回路構成において実装される1つまたは複数のプロセッサを備える、態様13Aのデバイス。
【0216】
態様15A. ビデオデータを記憶するためのメモリをさらに備える、態様13Aまたは14Aのいずれかのデバイス。
【0217】
態様16A. 復号ビデオデータを表示するように構成されたディスプレイをさらに備える、態様13A～15Aのいずれかのデバイス。
【0218】
態様17A. デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、態様13A～16Aのいずれかのデバイス。
【0219】
態様18A. デバイスはビデオデコーダを備える、態様13A～17Aのいずれかのデバイス。
【0220】
態様19A. デバイスはビデオエンコーダを備える、態様13A～18Aのいずれかのデバイス。
【0221】
態様20A. 実行されると、1つまたは複数のプロセッサに態様1A～12Aのいずれかの方法を実施させる命令を記憶したコンピュータ可読記憶媒体。
【0222】
態様1B:ビデオデータを復号する方法であって、係数統計値を初期化するステップと、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化方法が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化方法は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップであって、特定変換係数用のRiceパラメータを判断するステップは、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを含む、ステップと、特定変換係数用のRiceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、特定変換係数のレベルを判断するステップと、特定変換係数のレベルに基づいてブロックを復号するステップとを含む。
【0223】
態様2B:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断するステップを含む、態様1Bの方法。
【0224】
態様3B:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、一時的値を判断するステップを含む、態様1Bの方法。
【0225】
態様4B:TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断するステップと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットするステップとをさらに含む、態様1Bの方法。
【0226】
態様5B:方法は、係数統計値をRiceパラメータ導出物として記憶するステップをさらに含み、係数統計値に基づいて履歴値を判断するステップは、1を係数統計値だけ左シフトするステップを含む、態様1Bの方法。
【0227】
態様6B:ビデオデータを符号化する方法であって、係数統計値を初期化するステップと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップであって、特定変換係数用のRiceパラメータを判断するステップは、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを含む、ステップと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成するステップとを含む。
【0228】
態様7B:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断するステップを含む、態様6Bの方法。
【0229】
態様8B:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、一時的値を判断するステップを含む、態様6Bの方法。
【0230】
態様9B:TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断するステップと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットするステップとをさらに含む、態様6Bの方法。
【0231】
態様10B:方法は、係数統計値をRiceパラメータ導出物として記憶するステップをさらに含み、係数統計値に基づいて履歴値を判断するステップは、1を係数統計値だけ左シフトするステップを含む、態様6Bの方法。
【0232】
態様11B:ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、処理回路構成とを備え、処理回路構成は、係数統計値を初期化することと、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新することであって、処理回路構成は、係数統計値を更新することの一部として、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行うように構成される、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、処理回路構成は、特定変換係数用のRiceパラメータを判断することの一部として、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行うように構成される、ことと、特定変換係数用のRiceパラメータに基づいて、特定変換係数のレベルを判断することと、特定変換係数のレベルに基づいてブロックを復号することとを行うように構成される。
【0233】
態様12B:処理回路構成は、一時的値を判断するために導出プロセスを実施することの一部として、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断することと、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、一時的値を判断することとを行うように構成される、態様11Bのデバイス。
【0234】
態様13B:処理回路構成は、TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断することと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットすることとを行うようにさらに構成される、態様11Bのデバイス。
【0235】
態様14B:処理回路構成は、係数統計値をRiceパラメータ導出物として記憶するようにさらに構成され、処理回路構成は、係数統計値に基づいて履歴値を判断することの一部として、1を係数統計値だけ左シフトするように構成される、態様11Bのデバイス。
【0236】
態様15B:復号ビデオデータを表示するように構成されたディスプレイをさらに備える、態様11Bのデバイス。
【0237】
態様16B:デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、態様11Bのデバイス。
【0238】
態様17B:ビデオデータを符号化するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、処理回路構成とを備え、処理回路構成は、係数統計値を初期化することと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新することであって、処理回路構成は、係数統計値を更新することの一部として、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行うように構成される、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、処理回路構成は、特定変換係数用のRiceパラメータを判断することの一部として、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行うように構成される、ことと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成することとを行うように構成される。
【0239】
態様18B:処理回路構成は、一時的値を判断するために導出プロセスを実施することの一部として、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断することと、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて、一時的値を判断することとを行うように構成される、態様17Bのデバイス。
【0240】
態様19B:処理回路構成は、TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断することと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットすることとを行うようにさらに構成される、態様17Bのデバイス。
【0241】
態様20B:処理回路構成は、係数統計値をRiceパラメータ導出物として記憶するようにさらに構成され、処理回路構成は、係数統計値に基づいて履歴値を判断することの一部として、1を係数統計値だけ左シフトするように構成される、態様17Bのデバイス。
【0242】
態様21B:デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、態様17Bのデバイス。
【0243】
態様1C:ビデオデータを復号する方法であって、係数統計値を初期化するステップと、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化方法が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化方法は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップであって、特定変換係数用のRiceパラメータを判断するステップは、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを含む、ステップと、特定変換係数用のRiceパラメータ、およびビットストリーム中で符号化された1つまたは複数のシンタックス要素に基づいて、特定変換係数のレベルを判断するステップと、特定変換係数のレベルに基づいてブロックを復号するステップとを含む。
【0244】
態様2C:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断するステップを含む、態様1Cの方法。
【0245】
態様3C:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて一時的値を判断するステップを含む、態様1Cの方法。
【0246】
態様4C:TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断するステップと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットするステップとをさらに含む、態様1Cから3Cのいずれかの方法。
【0247】
態様5C:方法は、係数統計値をRiceパラメータ導出物として記憶するステップをさらに含み、係数統計値に基づいて履歴値を判断するステップは、1を係数統計値だけ左シフトするステップを含む、態様1Cから4Cのいずれかの方法。
【0248】
態様6C:ビデオデータを符号化する方法であって、係数統計値を初期化するステップと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新するステップであって、係数統計値を更新するステップは、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを含む、ステップと、係数統計値に基づいて履歴値を判断するステップと、TBの特定変換係数用のRiceパラメータを判断するステップであって、特定変換係数用のRiceパラメータを判断するステップは、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを含む、ステップと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成するステップとを含む。
【0249】
態様7C:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断するステップを含む、態様6Cの方法。
【0250】
態様8C:一時的値を判断するために導出プロセスを実施するステップは、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて一時的値を判断するステップを含む、態様6Cの方法。
【0251】
態様9C:TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断するステップと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットするステップとをさらに含む、態様6Cから8Cのいずれかの方法。
【0252】
態様10C:方法は、係数統計値をRiceパラメータ導出物として記憶するステップをさらに含み、係数統計値に基づいて履歴値を判断するステップは、1を係数統計値だけ左シフトするステップを含む、態様6Cから9Cのいずれかの方法。
【0253】
態様11C:ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、処理回路構成とを備え、処理回路構成は、係数統計値を初期化することと、ビデオデータのブロックの変換ブロック(TB)の1つまたは複数の変換係数に基づいて係数統計値を更新することであって、処理回路構成は、係数統計値を更新することの一部として、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行うように構成される、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、処理回路構成は、特定変換係数用のRiceパラメータを判断することの一部として、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行うように構成される、ことと、特定変換係数用のRiceパラメータに基づいて、特定変換係数のレベルを判断することと、特定変換係数のレベルに基づいてブロックを復号することとを行うように構成される。
【0254】
態様12C:処理回路構成は、一時的値を判断するために導出プロセスを実施することの一部として、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断することと、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて一時的値を判断することとを行うように構成される、態様11Cのデバイス。
【0255】
態様13C:処理回路構成は、TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断することと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットすることとを行うようにさらに構成される、態様11Cおよび12Cのいずれかのデバイス。
【0256】
態様14C:処理回路構成は、係数統計値をRiceパラメータ導出物として記憶するようにさらに構成され、処理回路構成は、係数統計値に基づいて履歴値を判断することの一部として、1を係数統計値だけ左シフトするように構成される、態様11Cから13Cのいずれかのデバイス。
【0257】
態様15C:復号ビデオデータを表示するように構成されたディスプレイをさらに備える、態様11Cから14Cのいずれかのデバイス。
【0258】
態様16C:デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、態様11Cから15Cのいずれかのデバイス。
【0259】
態様17C:ビデオデータを符号化するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、処理回路構成とを備え、処理回路構成は、係数統計値を初期化することと、ビデオデータの変換ブロック(TB)の1つまたは複数の変換係数に基づいて、係数統計値を更新することであって、処理回路構成は、係数統計値を更新することの一部として、TBの1つまたは複数の変換係数の各それぞれの変換係数向けに、一時的値を判断するために導出プロセスを実施することであって、導出プロセスは、複数の符号化手順のうちのどの符号化手順が、それぞれの変換係数を符号化するのに使われるかに少なくとも部分的に基づいて判断され、複数の符号化手順は、それぞれの変換係数を符号化し、それぞれの変換係数を絶対値として符号化するためのコンテキストベース手順を含む、ことと、係数統計値を、係数統計値と一時的値の平均として設定することとを行うように構成される、ことと、係数統計値に基づいて履歴値を判断することと、TBの特定変換係数用のRiceパラメータを判断することであって、処理回路構成は、特定変換係数用のRiceパラメータを判断することの一部として、特定変換係数が、TBの右境界またはTBの下部境界から離れた3未満の空間位置であることに基づいて、履歴値に基づいてローカル合計値を判断することと、ローカル合計値に基づいて、特定変換係数用のRiceパラメータを判断することとを行うように構成される、ことと、特定変換係数用のRiceパラメータおよび特定変換係数のレベルに基づいて、特定変換係数用のRiceコードを生成することとを行うように構成される。
【0260】
態様18C:処理回路構成は、一時的値を判断するために導出プロセスを実施することの一部として、それぞれの変換係数が、コンテキストベース手順を使って符号化されたことに基づいて、それぞれの変換係数の剰余値の2進対数値に床関数を適用したこと、および整数値を加算したことに基づいて一時的値を判断することと、それぞれの変換係数が絶対値として符号化されたことに基づいて、それぞれの変換係数の絶対レベルの2進対数値に床関数を適用したことに基づいて一時的値を判断することとを行うように構成される、態様17Cのデバイス。
【0261】
態様19C:処理回路構成は、TBを含むピクチャのスライスの量子化パラメータ(QP)に基づいて、デフォルト履歴値を判断することと、ピクチャの区分の開始において、係数統計値をデフォルト履歴値にリセットすることとを行うようにさらに構成される、態様17Cおよび18Cのいずれかのデバイス。
【0262】
態様20C:処理回路構成は、係数統計値をRiceパラメータ導出物として記憶するようにさらに構成され、処理回路構成は、係数統計値に基づいて履歴値を判断することの一部として、1を係数統計値だけ左シフトするように構成される、態様17Cから19Cのいずれかのデバイス。
【0263】
態様21C:デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、態様17Cから20Cのいずれかのデバイス。
【0264】
例に応じて、本明細書で説明する技法のいずれかのいくつかの作用またはイベントが、異なるシーケンスで実施される場合があり、追加され、統合され、または完全に除外されてよい(たとえば、説明したすべての作用またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、作用またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して、同時に実施されてよい。
【0265】
1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0266】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0267】
命令は、1つまたは複数のDSP、汎用マイクロプロセッサ、ASIC、FPGA、または他の等価な集積論理回路構成もしくはディスクリート論理回路構成など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」および「処理回路構成」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書において説明された機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内に提供されるか、または複合コーデックに組み込まれ得る。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。
【0268】
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示された技法を実施するように構成されたデバイスの機能的側面を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされてよく、または適切なソフトウェアおよび/もしくはファームウェアとともに、上で説明したような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。
【0269】
様々な例について説明してきた。これらおよび他の例は、以下の特許請求の範囲内に入る。
【符号の説明】
【0270】
100 ビデオ符号化および復号システム、システム
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構築ユニット
216 フィルタユニット
218 復号ピクチャバッファ(DPB)
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
228 Rice符号化ユニット(REU)
230 ビデオデータメモリ
232 CABACユニット
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構築ユニット
312 フィルタユニット
314 復号ピクチャバッファ(DPB)
316 動き補償ユニット
318 イントラ予測ユニット
320 コード化ピクチャバッファ(CPB)メモリ
322 Rice復号ユニット(RDU)
324 CABACユニット
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構築ユニット
216 フィルタユニット
218 復号ピクチャバッファ(DPB)
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
228 Rice符号化ユニット(REU)
230 ビデオデータメモリ
232 CABACユニット
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構築ユニット
312 フィルタユニット
314 復号ピクチャバッファ(DPB)
316 動き補償ユニット
318 イントラ予測ユニット
320 コード化ピクチャバッファ(CPB)メモリ
322 Rice復号ユニット(RDU)
324 CABACユニット
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】