特表 2024-546895 ブロックベースビデオ符号化のための符号予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】ブロックベースビデオ符号化のための符号予測

(51)【国際特許分類】

   H04N 19/13 20140101AFI20241219BHJP

   H04N 19/18 20140101ALI20241219BHJP

【ＦＩ】

H04N19/13

H04N19/18

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024535669

(86)(22)【出願日】2022-12-16

(85)【翻訳文提出日】2024-06-14

(86)【国際出願番号】 US2022053150

(87)【国際公開番号】W WO2023114468

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/290,307

(32)【優先日】2021-12-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/US2022/049264

(32)【優先日】2022-11-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/US2022/043607

(32)【優先日】2022-09-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/US2022/040442

(32)【優先日】2022-08-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521147444

【氏名又は名称】ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】シュウ シャオユウ

(72)【発明者】

【氏名】ヤン ニン

(72)【発明者】

【氏名】チェン イーウェン

(72)【発明者】

【氏名】クオ チェウェイ

(72)【発明者】

【氏名】チェン ウェイ

(72)【発明者】

【氏名】チュウ ホンチェン

(72)【発明者】

【氏名】ガオ ハン

(72)【発明者】

【氏名】ワン シャンリン

(72)【発明者】

【氏名】ユ ビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC01

5C159MC11

5C159PP16

5C159TA59

5C159TB13

5C159TC01

5C159TC04

5C159TC26

5C159TC27

5C159TC31

5C159TC42

5C159TD05

5C159TD10

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

本開示の実施形態はビデオデコーダ側における変換係数符号予測のためのビデオ復号装置及び方法を提供する。本方法は、候補変換係数のセットのための符号シグナリングビットのシーケンスを含むビットストリームを受信することを含み得る。本方法は、デコーダのプロセッサにより、ビデオのビデオフレームの変換ブロックに関連付けられた候補変換係数のセットに対する予測符号のセットを生成することを更に含み得る。本方法は、プロセッサにより、符号シグナリングビットのシーケンスをエントロピー符号化して候補変換係数のそれぞれの予測符号の正しさの指標を得るために使用される１つ又は複数のコンテキストに基づき、符号シグナリングビットのシーケンスを復号することを更に含み得る。本方法は、プロセッサにより、予測符号のセット及び復号された符号シグナリングビットのシーケンスに基づき候補変換係数のセットの元の符号を推定することを更に含み得る。

【特許請求の範囲】

【請求項1】

変換係数の符号予測のためのビデオ復号方法であって、
候補変換係数のセットのための符号シグナリングビットのシーケンスを含むビットストリームを受信することと、
デコーダのプロセッサにより、ビデオのビデオフレームの変換ブロックに関連付けられた前記候補変換係数の前記セットに対する予測符号のセットを生成することと、
前記プロセッサにより、前記符号シグナリングビットの前記シーケンスをエントロピー符号化して前記候補変換係数のそれぞれの前記予測符号の正しさの指標を得るために使用される１つ又は複数のコンテキストに基づいて、前記符号シグナリングビットの前記シーケンスを復号することと、
前記プロセッサにより、前記予測符号の前記セット及び復号された前記符号シグナリングビットの前記シーケンスに基づいて前記候補変換係数の前記セットの元の符号を推定することと
を含む方法。

【請求項2】

請求項１に記載のビデオ復号方法であって、
前記予測符号の前記セット及び前記符号シグナリングビットの前記シーケンスに基づいて前記候補変換係数の前記セットの前記元の符号を推定することが、
前記符号シグナリングビットのそれぞれによって示された前記正しさに応じて前記候補変換係数の前記予測符号を更新して、前記候補変換係数の前記元の符号を決定することと
を更に含む方法。

【請求項3】

請求項１に記載のビデオ復号方法であって、
前記符号シグナリングビットのそれぞれを復号することが、
前記符号シグナリングビットに対応する前記候補変換係数の強度に基づいて、前記符号シグナリングビットをエントロピー符号化するために使用されるコンテキストを決定すること
を更に含む方法。

【請求項4】

請求項３に記載のビデオ復号方法であって、
前記候補変換係数の強度が、複数の強度セグメントに含まれ、複数のコンテキストが、前記強度セグメントのそれぞれに属する変換係数のための符号シグナリングビットをエントロピー符号化するために割り当てられ、
前記符号シグナリングビットをエントロピー符号化するために使用される前記コンテキストを決定することが、
前記複数の強度セグメントの中から、前記符号シグナリングビットに対応する前記候補変換係数の前記強度が属する強度セグメントを決定することと、
前記符号シグナリングビットをエントロピー符号化するために使用される前記コンテキストとして前記強度セグメントに割り当てられる前記コンテキストを決定することと
を更に含む、
方法。

【請求項5】

請求項４に記載のビデオ復号方法であって、
前記複数の強度セグメントの中で連続する強度セグメントが２つごとに、閾値によって分離される、
方法。

【請求項6】

請求項５に記載のビデオ復号方法であって、
前記閾値が、前記デコーダに予めプログラムされた固定値である、
方法。

【請求項7】

請求項５に記載のビデオ復号方法であって、
前記閾値が、エンコーダによって決定され、前記ビットストリームに含めて前記デコーダにシグナリングされる
方法。

【請求項8】

請求項３に記載のビデオ復号方法であって、前記ビットストリームが、前記候補変換係数の前記セットの量子化レベルの符号化されたデータを更に含み、
逆量子化なしで前記ビットストリームから前記候補変換係数の量子化レベルを直接パースすることによって前記候補変換係数の前記強度を決定すること
を更に含む方法。

【請求項9】

請求項３に記載のビデオ復号方法であって、前記ビットストリームが、前記候補変換係数の前記セットの量子化レベルの符号化されたデータを更に含み、
前記ビットストリームから前記候補変換係数の量子化レベルをパースすることと、
前記候補変換係数の前記量子化レベル及び前記候補変換係数の遷移状態に基づいて前記候補変換係数の量子化インデックスを決定することと、
前記候補変換係数の前記量子化インデックスに基づいて前記候補変換係数の前記強度を決定することと
を更に含む方法。

【請求項10】

請求項１に記載のビデオ復号方法であって、前記候補変換係数の前記セットが、強度に応じて並べ替えられた前記変換ブロックの変換係数から選択され、
前記ビットストリームからパースされた前記候補変換係数の前記セットを並べ替えること
を更に含む方法。

【請求項11】

請求項１０に記載のビデオ復号方法であって、
前記符号シグナリングビットをエントロピー符号化するために使用される前記コンテキストが、並べ替えられた前記変換係数の前記強度に基づいて決定される、
方法。

【請求項12】

請求項１０に記載のビデオ復号方法であって、
前記符号シグナリングビットをエントロピー符号化するために使用される前記コンテキストが、前記並べ替え前の前記変換係数の前記強度に基づいて決定される、
方法。

【請求項13】

請求項１に記載のビデオ復号方法であって、
前記符号シグナリングビットのそれぞれを復号することが、
前記符号シグナリングビットに対応する前記候補変換係数のスキャン位置に基づいて、前記符号シグナリングビットをエントロピー符号化するために使用されるコンテキストを決定すること
を更に含む方法。

【請求項14】

請求項１３に記載のビデオ復号方法であって、
前記変換係数のスキャン位置が、複数のグループに分類され、複数のコンテキストが、前記グループのそれぞれに属する変換係数のための符号シグナリングビットをエントロピー符号化するために割り当てられ、
前記符号シグナリングビットをエントロピー符号化するために使用される前記コンテキストを決定することが、
前記複数のグループの中から、前記符号シグナリングビットに対応する前記候補変換係数の前記スキャン位置が属するグループを決定することと、
前記符号シグナリングビットをエントロピー符号化するために使用される前記コンテキストとして前記グループに割り当てられた前記コンテキストを決定することと
を更に含む、
方法。

【請求項15】

請求項１に記載のビデオ復号方法であって、
前記符号シグナリングビットのそれぞれを復号することが、
前記符号シグナリングビットに対応する前記候補変換係数の符号化モード、ブロックサイズ又はコンポーネントチャネル情報に基づいて前記符号シグナリングビットをエントロピー符号化するために使用されるコンテキストを決定すること
を更に含む、
方法。

【請求項16】

請求項１に記載のビデオ復号方法であって、
前記ビットストリーム内の前記変換係数の前記セットが、複数の異なる変換コアを適用することによって生成され、
前記符号シグナリングビットのそれぞれを復号することが、
前記符号シグナリングビットに対応する前記候補変換係数を生成するために適用された前記変換コアに基づいて前記符号シグナリングビットをエントロピー符号化するために使用されるコンテキストを決定すること
を更に含む、
方法。

【請求項17】

請求項１６に記載のビデオ復号方法であって、
前記変換コアが、多重変換選択（ＭＴＳ）及び低周波数非分離変換（ＬＦＮＳＴ）を含む、
方法。

【請求項18】

請求項１に記載のビデオ復号方法であって、
前記候補変換係数の前記セットに対する前記予測符号の前記セットを生成することが、
前記候補変換係数の前記セットのための複数の候補仮説を生成することと、
前記候補変換係数の前記セットに対する前記予測符号の前記セットとして前記複数の候補仮説から仮説を選択することと
を更に含む、
方法。

【請求項19】

候補変換係数のセット及び前記候補変換係数の前記セットのための符号シグナリングビットのシーケンスを含むビットストリームを記憶するように構成されたメモリと、
前記メモリに結合されたプロセッサであって、請求項１から１８のいずれか一項に記載の変換係数の符号予測のためのビデオ復号方法を実行するように構成されたプロセッサと
を備えるビデオ復号装置。

【請求項20】

プロセッサによって実行されたときに、前記プロセッサが、請求項１から１８のいずれか一項に記載の変換係数の符号予測のためのビデオ復号方法を実行するように仕向ける命令を記憶した非一時的なコンピュータ読取り可能な記憶媒体であって、
前記ビットストリームが、前記コンピュータ読取り可能な記憶媒体に記憶される、
非一時的なコンピュータ読取り可能な記憶媒体。

【請求項21】

候補変換係数のセットのための符号シグナリングビットのシーケンスを含むビットストリームを記憶した非一時的なコンピュータ読取り可能な記憶媒体であって、
前記ビットストリームが、請求項１から１８のいずれか一項に記載の変換係数の符号予測のためのビデオ復号方法によって復号可能である、
非一時的なコンピュータ読取り可能な記憶媒体。

【請求項22】

変換係数の符号予測のためのビデオ符号化方法であって、
エンコーダのプロセッサにより、ビデオのビデオフレームの変換ブロックに関連付けられた候補変換係数のセットに対する予測符号のセットを生成することと、
前記プロセッサにより、前記候補変換係数の前記セットのための符号シグナリングビットのシーケンスをエントロピー符号化するための１つ又は複数のコンテキストを決定することと、
前記プロセッサにより、前記１つ又は複数のコンテキストに応じて符号シグナリングビットのシーケンスをエントロピー符号化することであって、前記符号シグナリングビットが、前記候補変換係数の前記セットの元の符号に比較した前記候補変換係数のそれぞれの前記予測符号の正しさを示すために使用される、エントロピー符号化することと、
前記候補変換係数の量子化レベルの符号化されたデータ及び前記候補変換係数のための符号化された前記符号シグナリングビットの前記シーケンスをビットストリーム内に記憶することと
を含む方法。

【請求項23】

請求項２２に記載のビデオ符号化方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、前記符号シグナリングビットに対応する前記候補変換係数の前記セットの強度に基づいて決定される、
方法。

【請求項24】

請求項２３に記載のビデオ符号化方法であって、
前記候補変換係数の前記セットのための前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストを決定することが、
前記変換係数の強度の範囲を複数の強度セグメントに分割することと、
前記強度セグメントに属する前記変換係数のための前記符号シグナリングビットをエントロピー符号化するためにコンテキストを前記強度セグメントのそれぞれに割り当てることと
ことを更に含む、
方法。

【請求項25】

請求項２４に記載のビデオ符号化方法であって、
前記複数の強度セグメントの中で連続する強度セグメントが２つごとに、閾値によって分離される、
方法。

【請求項26】

請求項２５に記載のビデオ符号化方法であって、
前記閾値が、前記エンコーダ内に予めプログラムされた固定値である、
方法。

【請求項27】

請求項２５に記載のビデオ符号化方法であって、
前記閾値を決定することと、
前記閾値を前記ビットストリームに含めてデコーダにシグナリングすることと
を更に含む方法。

【請求項28】

請求項２３に記載のビデオ符号化方法であって、
それぞれの強度に応じて前記変換ブロックの変換係数を並べ替えることと、
並べ替えられた前記変換係数から前記候補変換係数の前記セットを選択することと
を更に含む方法。

【請求項29】

請求項２８に記載のビデオ復号方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、並べ替えられた前記変換係数の前記強度に基づいて決定される、
方法。

【請求項30】

請求項２８に記載のビデオ復号方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、前記並べ替え前の前記変換係数の前記強度に基づいて決定される、
方法。

【請求項31】

請求項２３に記載のビデオ符号化方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、前記候補変換係数の前記量子化レベルを使用して決定される、
方法。

【請求項32】

請求項２３に記載のビデオ符号化方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、それぞれが前記候補変換係数の前記量子化レベル及び前記遷移状態に基づいて決定された前記候補変換係数の量子化インデックスを使用して決定される、
方法。

【請求項33】

請求項２２に記載のビデオ符号化方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、前記候補変換係数のスキャン位置に基づいて決定される、
方法。

【請求項34】

請求項３３に記載のビデオ符号化方法であって、
前記候補変換係数の前記セットのための前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストを決定することが、
前記候補変換係数の前記スキャン位置を複数のグループに分類することと、
前記グループに属する前記変換係数のための前記符号シグナリングビットをエントロピー符号化するために前記グループのそれぞれにコンテキストを割り当てることと
を更に含む、
方法。

【請求項35】

請求項２２に記載のビデオ符号化方法であって、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、候補変換係数のそれぞれの符号化モード、ブロックサイズ又はコンポーネントチャネル情報に基づいて決定される、
方法。

【請求項36】

請求項２２に記載のビデオ符号化方法であって、
前記変換係数の前記セットの前記量子化レベルが、複数の異なる変換コアを適用することによって生成され、
前記符号シグナリングビットの前記シーケンスをエントロピー符号化するための前記１つ又は複数のコンテキストが、前記候補変換係数を生成するために適用された前記変換コアに基づいて決定される、
方法。

【請求項37】

請求項３６に記載のビデオ符号化方法であって、
前記変換コアが、多重変換選択（ＭＴＳ）及び低周波数非分離変換（ＬＦＮＳＴ）を含む、
方法。

【請求項38】

請求項２２に記載のビデオ符号化方法であって、
前記候補変換係数の前記セットに対する前記予測符号の前記セットを生成することが、
前記候補変換係数の前記セットのための複数の候補仮説を生成することと、
前記候補変換係数の前記セットに対する前記予測符号の前記セットとして前記複数の候補仮説から仮説を選択することと
を更に含む、
方法。

【請求項39】

ビデオ符号化装置であって、
請求項２２から３８のいずれか一項に記載の変換係数の符号予測のためのビデオ復号方法を実行するように構成されたプロセッサと、
前記プロセッサに結合されたメモリであって、前記ビットストリームを記憶するように構成されたメモリと
を備えるビデオ符号化装置。

【請求項40】

プロセッサによって実行されたときに、前記プロセッサが、請求項２２から３８のいずれか一項に記載の変換係数の符号予測のためのビデオ符号化方法を実行するように仕向ける命令を記憶した非一時的なコンピュータ読取り可能な記憶媒体であって、
前記ビットストリームが、前記コンピュータ読取り可能な記憶媒体に記憶される、
非一時的なコンピュータ読取り可能な記憶媒体。

【請求項41】

請求項２２から３８のいずれか一項に記載の変換係数の符号予測のためのビデオ符号化方法によって符号化されたビットストリームを記憶した非一時的なコンピュータ読取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１２月１６日に出願された米国仮特許出願第６３／２９０，３０７号に基づくものであり、米国仮特許出願第６３／２９０，３０７号の優先権を主張する。本出願は更に、２０２２年１１月８日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２２／４９２６４号に基づくものであり、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／４９２６４号の優先権を主張する。ＰＣＴ出願第ＰＣＴ／ＵＳ２２／４９２６４号は更に、２０２１年１１月１０日に出願された米国仮特許出願第６３／２７７，７０５号の優先権を主張する。本出願は更に、２０２２年９月１５日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２２／４３６０７号に基づくものであり、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／４３６０７号の優先権を主張する。ＰＣＴ出願第ＰＣＴ／ＵＳ２２／４３６０７号は更に、２０２１年９月１５日に出願された米国仮特許出願第６３／２４４，３１７号及び２０２１年９月３０日に出願された米国仮特許出願第６３／２５０，７９７号の優先権を主張する。本出願は更に、２０２２年８月１６日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２２／４０４４２号に基づくものであり、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／４０４４２号の優先権を主張する。ＰＣＴ出願第ＰＣＴ／ＵＳ２２／４０４４２号は更に、２０２１年８月１７日に出願された米国仮特許出願第６３／２３３，９４０号の優先権を主張する。上記のすべての出願の内容は、その全体が参照により本明細書に組み込まれる。

【0002】

本出願は、ビデオ符号化及び圧縮に関する。より厳密には、本出願は、ブロックベースビデオ符号化における符号予測のためのビデオ処理システム及び方法に関する。

【背景技術】

【0003】

デジタルビデオは、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ会議デバイス、ビデオストリーミングデバイス等の多様な電子機器によってサポートされる。電子機器は、通信ネットワークを介してデジタルビデオデータを送受信若しくは通信し、及び／又は記憶装置にデジタルビデオデータを記憶する。通信ネットワークの帯域幅の容量が限られていること、及び記憶装置のメモリリソースが限られていることを理由にして、ビデオデータを通信又は記憶する前に１つ又は複数のビデオ符号化規格に従ってビデオデータを圧縮するためにビデオ符号化が使用され得る。例えば、ビデオ符号化規格には、多用途ビデオ符号化（ＶＶＣ）、共同探索テストモデル（ＪＥＭ）、高効率ビデオ符号化（ＨＥＶＣ／Ｈ．２６５）、高度ビデオ符号化（ＡＶＣ／Ｈ．２６４）又はムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）符号化等が挙げられる。ビデオ符号化は一般に、ビデオデータに固有の冗長性を活用する予測方法（例えば、インター予測又はイントラ予測等）を利用する。ビデオ符号化は、ビデオ品質の劣化を回避又は最小化しながら、ビデオデータを、より低いビットレートを用いる形態に圧縮することを目的とする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実装形態は、変換係数の符号予測のためのビデオ復号方法を提供する。ビデオ復号方法は、候補変換係数のセットのための符号シグナリングビットのシーケンスを含むビットストリームを受信することを含み得る。ビデオ復号方法は、デコーダのプロセッサにより、ビデオのビデオフレームの変換ブロックに関連付けられた候補変換係数のセットに対する予測符号のセットを生成することを更に含み得る。ビデオ復号方法は、プロセッサにより、符号シグナリングビットのシーケンスをエントロピー符号化するために使用される１つ又は複数のコンテキストに基づいて符号シグナリングビットのシーケンスを復号して、候補変換係数のそれぞれの予測符号の正しさの指標を得ることを更に含み得る。ビデオ復号方法は、プロセッサにより、予測符号のセット及び復号された符号シグナリングビットのシーケンスに基づいて候補変換係数のセットの元の符号を推定することを更に含み得る。

【0005】

本開示の実装形態は、ビデオ復号装置も提供する。ビデオ復号装置は、上記において要約された変換係数の符号予測のためのビデオ復号方法を実行するように構成されたメモリを含むことができる。

【0006】

本開示の実装形態は、プロセッサによって実行されたときに、プロセッサが、上記において要約された変換係数の符号予測のためのビデオ復号方法を実行するように仕向ける命令を記憶した非一時的なコンピュータ読取り可能な記憶媒体も提供する。本開示の実装形態は、候補変換係数のセットのための符号シグナリングビットのシーケンスを含むビットストリームを記憶した非一時的なコンピュータ読取り可能な記憶媒体を更に提供する。ビットストリームは、上記において要約された変換係数の符号予測のためのビデオ復号方法によって復号可能である。

【0007】

本開示の実装形態は、変換係数の符号予測のためのビデオ符号化方法も提供する。ビデオ符号化方法は、エンコーダのプロセッサにより、ビデオのビデオフレームの変換ブロックに関連付けられた候補変換係数のセットに対する予測符号のセットを生成することを含み得る。ビデオ符号化方法は、プロセッサにより、候補変換係数のセットのための符号シグナリングビットのシーケンスをエントロピー符号化するための１つ又は複数のコンテキストを決定することを更に含み得る。ビデオ符号化方法は、プロセッサにより、１つ又は複数のコンテキストに応じて符号シグナリングビットのシーケンスを決定することを更に含み得る。符号シグナリングビットは、候補変換係数のセットの元の符号に比較して候補変換係数のそれぞれの予測符号の正しさを示すために、１つ又は複数のコンテキストを使用してエントロピー符号化される。ビデオ符号化方法は、候補変換係数の量子化レベルの符号化されたデータ及び候補変換係数のための符号化された符号シグナリングビットのシーケンスをビットストリーム内に記憶することを更に含み得る。

【0008】

本開示の実装形態は、ビデオ符号化装置も提供する。ビデオ復号装置は、上記において要約された変換係数の符号予測のためのビデオ符号化方法を実行するように構成されたメモリを含むことができる。

【0009】

本開示の実装形態は、プロセッサによって実行されたときに、プロセッサが、上記において要約された変換係数の符号予測のためのビデオ符号化方法を実行するように仕向ける命令を記憶した非一時的なコンピュータ読取り可能な記憶媒体も提供する。本開示の実装形態は、候補変換係数のセットのための符号シグナリングビットのシーケンスを含むビットストリームを記憶した非一時的なコンピュータ読取り可能な記憶媒体を更に提供する。ビットストリームは、上記において要約された変換係数の符号予測のためのビデオ符号化方法によって復号可能である。

【0010】

上記の一般的な説明と下記の詳細な説明は両方とも例にすぎず、本開示に限定を加えるものではないことを理解すべきである。

【0011】

本明細書に組み込まれて本明細書の一部を構成する添付の図面は、本開示による例を示すものであり、本明細書と一緒になって、本開示の原理を説明するのに役立つ。

【図面の簡単な説明】

【0012】

【図1】本開示のいくつかの実装形態によるビデオブロックを符号化及び復号するための例示的なシステムを示すブロック図である。

【図2】本開示のいくつかの実装形態による例示的なビデオエンコーダを示すブロック図である。

【図3】本開示のいくつかの実装形態による例示的なビデオデコーダを示すブロック図である。

【図4A】本開示のいくつかの実装形態による、どのようにフレームがサイズ及び形状が異なる複数のビデオブロックに再帰的に分割されるかを示す図式である。

【図4B】本開示のいくつかの実装形態による、どのようにフレームがサイズ及び形状が異なる複数のビデオブロックに再帰的に分割されるかを示す図式である。

【図4C】本開示のいくつかの実装形態による、どのようにフレームがサイズ及び形状が異なる複数のビデオブロックに再帰的に分割されるかを示す図式である。

【図4D】本開示のいくつかの実装形態による、どのようにフレームがサイズ及び形状が異なる複数のビデオブロックに再帰的に分割されるかを示す図式である。

【図4E】本開示のいくつかの実装形態による、どのようにフレームがサイズ及び形状が異なる複数のビデオブロックに再帰的に分割されるかを示す図式である。

【図5】いくつかの例による係数グループ内の変換係数の左上スキャン順序を示す図式である。

【図6】いくつかの例による低周波数非分離変換（ＬＦＮＳＴ）プロセスを示す図式である。

【図7】いくつかの例による順方向ＬＦＮＳＴに入力された一次変換係数の左上領域を示す図式である。

【図8】いくつかの例によるイントラテンプレートマッチングの検索領域を示す図式である。

【図9】いくつかの例による符号予測の例示的なプロセスを示す図式である。

【図10】いくつかの例による符号予測のためのコスト関数の計算を示す図式である。

【図11】いくつかの例による従属スカラー量子化において使用される２つの例示的なスカラー量子化器を示す図式である。

【図12A】いくつかの例による従属スカラー量子化において４つの状態が使用されるステートマシンを使用する状態遷移を示す図式である。

【図12B】いくつかの例による図１２Ａの状態遷移に応じた例示的な量子化器の選択を示す表である。

【図13】本開示のいくつかの実装形態によるブロックベースビデオ符号化における例示的な符号予測プロセスを示すブロック図である。

【図14】本開示のいくつかの実装形態によるテンプレートの線形結合に基づいた例示的な仮説生成を示す図式である。

【図15A】いくつかの例による既存の符号予測スキームの例示的な実装形態を示す図式である。

【図15B】本開示のいくつかの実装形態によるベクトルベース符号予測スキームの例示的な実装形態を示す図式である。

【図16A】本開示のいくつかの実装形態による左斜め方向に沿った左斜めコスト関数の例示的な計算を示す図式である。

【図16B】本開示のいくつかの実装形態による右斜め方向に沿った右斜めコスト関数の例示的な計算を示す図式である。

【図17】本開示のいくつかの実装形態による再構成された現在ブロックの隣接サンプルの支配的な勾配方向をキャプチャするための方法の流れ図である。

【図18A】本開示のいくつかの実装形態による、コスト関数のサンプル外挿方向の勾配ベース選択における例示的なテンプレートサンプル及び勾配フィルターウィンドウを示す図式である。

【図18B】本開示のいくつかの実装形態による、コスト関数のサンプル外挿方向の勾配ベース選択における例示的な勾配ヒストグラム（ＨｏＧ）を示す図式である。

【図19】いくつかの例による変換係数の符号を予測するための符号予測エリアを示す図式である。

【図20A】本開示のいくつかの実装形態による変換係数符号予測のための例示的なコンテキストモデリングを示す図式である。

【図20B】本開示のいくつかの実装形態による変換係数符号予測のための別の例示的なコンテキストモデリングを示す図式である。

【図21】本開示のいくつかの実装形態によるブロックベースビデオ符号化における符号予測のための例示的な方法の流れ図である。

【図22】本開示のいくつかの実装形態によるビデオエンコーダによって実行される変換係数符号予測のための例示的なビデオ符号化方法の流れ図である。

【図23】本開示のいくつかの実装形態によるビデオデコーダによって実行される変換係数符号予測のための例示的なビデオ復号方法の流れ図である。

【図24】本開示のいくつかの実装形態による使用者インターフェースと結合されたコンピューティング環境を示すブロック図である。

【発明を実施するための形態】

【0013】

次に、特定の実装形態について詳細に言及する。これらの特定の実装形態の例は、添付の図面において示される。下記の詳細な説明において、数多くの非限定的な特定の詳細が、本明細書において提供された主題の理解を補助するために記載される。しかしながら、様々な代替形態が、特許請求の範囲から逸脱することなく使用され得ること、及び主題が、これらの特定の詳細なしで実施され得ることは当業者には明らかであろう。例えば、本明細書において提示された主題が、デジタルビデオ機能を有する任意の種類の電子機器に実装され得ることは当業者には明らかであろう。

【0014】

本開示の本明細書、特許請求の範囲及び添付の図面において使用される「第１」及び「第２」等の用語は、対象物を区別するために使用され、任意の特定の順番又はシーケンスを記載するためには使用されないことは、説明されるべきことである。このように使用されるデータは、適切な条件下においては相互に置き換え可能であることを理解すべきであり、したがって、本明細書に記載された本開示の実施形態が添付の図面に示された又は本開示において記載された順序以外の順序で実装されてもよい。

【0015】

図１は、本開示のいくつかの実装形態による、ビデオブロックを並列に符号化及び復号するための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、後で宛先デバイス１４によって復号されることになるビデオデータを生成及び符号化する、ソースデバイスソースデバイス１２を備える。ソースデバイス１２及び宛先デバイス１４は、デスクトップ若しくはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール又はビデオストリーミングデバイス等を含む、多種多様な電子機器のいずれかを含み得る。いくつかの実装形態において、ソースデバイス１２及び宛先デバイス１４は、無線通信機能を備える。

【0016】

いくつかの実装形態において、宛先デバイス１４は、リンク１６を介して、復号すべき符号化されたビデオデータを受信することができる。リンク１６は、符号化されたビデオデータを、ソースデバイス１２から宛先デバイス１４に送付することが可能な任意の種類の通信媒体又はデバイスを備えることができる。一例において、リンク１６は、ソースデバイス１２が、符号化されたビデオデータを宛先デバイス１４にリアルタイムで直接伝送することを可能にするための通信媒体を備えることができる。符号化されたビデオデータは、無線通信プロトコル等の通信規格に従って変調され、宛先デバイス１４に伝送され得る。通信媒体は、無線周波数（ＲＦ）帯域又は１つ若しくは複数の物理的伝送路等の任意の無線又は有線通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、広域ネットワーク又はインターネット等のグローバルネットワーク等のパケットベースネットワークの一部を形成し得る。通信媒体は、ルーター、スイッチ、基地局、又は、ソースデバイス１２から宛先デバイス１４への通信を容易化するのに有用であり得る任意の他の機器を備えることができる。

【0017】

いくつかの他の実装形態において、符号化されたビデオデータは、出力インターフェース２２から記憶装置３２に伝送され得る。続いて、記憶装置３２内の符号化されたビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされ得る。記憶装置３２は、ハードドライブ、ブルーレイディスク、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスクリードオンリーメモリー（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は、符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体等、多様な分散型又はローカルアクセス型データ記憶媒体のいずれかを備えることができる。更なる一例において、記憶装置３２は、ソースデバイス１２によって生成された符号化されたビデオデータを記憶することができるファイルサーバ又は別の中間記憶装置に対応し得る。宛先デバイス１４は、記憶装置３２からのストリーミング又はダウンロードによって、記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶し、符号化されたビデオデータを宛先デバイス１４に伝送することが可能な任意の種類のコンピュータであり得る。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用のウェブサーバ）、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス又はローカルディスクドライブを含む。宛先デバイス１４は、無線チャネル（例えば、ワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）接続）、有線接続（例えば、デジタル加入者線（ＤＳＬ）、ケーブルモデム等）、又は、ファイルサーバ上に記憶された符号化されたビデオデータへのアクセスに適するこれらの任意の組合せを含む任意の標準的なデータ接続によって符号化されたビデオデータにアクセスすることができる。記憶装置３２からの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送又はこれらの両方の組合せであってもよい。

【0018】

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０及び出力インターフェース２２を備える。ビデオソース１８は、ビデオキャプチャデバイス、例えば、ビデオカメラ、事前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオ配信インターフェース、及び／又は、ソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム又はこのようなソースの組合せ等のソースを含み得る。一例として、ビデオソース１８が安全監視システムのビデオカメラである場合、ソースデバイス１２及び宛先デバイス１４は、カメラフォン又はテレビ電話を備えることができる。しかしながら、本開示に記載された実装形態は、一般にビデオ符号化に適用可能なものであり得、無線及び／又は有線用途に適用することができる。

【0019】

キャプチャされた、予めキャプチャされた又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接伝送され得る。更には（又は代替的には）、符号化されたビデオデータは、復号及び／又はプレイバックを目的として後で宛先デバイス１４又は他のデバイスがアクセスするために、記憶装置３２に記憶されてもよい。出力インターフェース２２は、モデム及び／又は伝送器を更に備えることができる。

【0020】

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０及び表示装置３４を備える。入力インターフェース２８は、受信機及び／又はモデムを備え、リンク１６を介して符号化されたビデオデータを受信することができる。リンク１６を介して通信される又は記憶装置３２に提供される符号化されたビデオデータは、ビデオデータの復号においてビデオデコーダ３０が使用するための、ビデオエンコーダ２０によって生成された多様なシンタックス要素を含み得る。このようなシンタックス要素は、通信媒体によって伝送される符号化されたビデオデータに含まれる、こともあるし、記憶媒体に記憶されることもあるし、又はファイルサーバに記憶されることもある。

【0021】

いくつかの実装形態において、宛先デバイス１４は表示装置３４を備えることができ、表示装置３４は、宛先デバイス１４と通信するように構成された組込み型表示装置及び外部表示装置であり得る。表示装置３４は、ユーザのために復号されたビデオデータを表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、誘起発光ダイオード（ＯＬＥＤ）ディスプレイ又は別の種類の表示装置等の多様な表示装置のいずれかを備えることができる。

【0022】

ビデオエンコーダ２０及びビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０、ＡＶＣ又はこのような規格の拡張版等のプロプライエタリな規格又は工業規格に従って動作することができる。本開示は、特定のビデオ符号化／復号規格に限定されないこと、及び他のビデオ符号化／復号規格にも適用可能であり得ることを理解すべきである。一般には、ソースデバイス１２のビデオエンコーダ２０は、前述の現在又は未来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図される。同様に、一般には、宛先デバイス１４のビデオデコーダ３０が、前述の現在の規格又は未来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも企図される。

【0023】

ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はこれらの任意の組合せ等、多様な適切なエンコーダ及び／又はデコーダ回路のいずれかとして実装され得る。部分的にソフトウェアで実装される場合、電子機器は、適切で非一時的なコンピュータ読取り可能な媒体内にソフトウェア用の命令を記憶することができ、１つ又は複数のプロセッサを使用してハードウェア内の命令を実行して、本開示において開示されたビデオ符号化／復号操作を実行することができる。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれが、１つ又は複数のエンコーダ又はデコーダに含まれ得、エンコーダ又はデコーダのいずれもが、各デバイス内の複合型エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。

【0024】

図２は、本出願に記載されたいくつかの実装形態による例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測符号化及びインター予測符号化を実行することができる。イントラ予測符号化は、所与のビデオフレーム又はピクチャ内のビデオデータの空間的冗長性を削減又は除去するために、空間的予測に依存する。インター予測符号化は、ビデオシーケンスの隣接ビデオフレーム又は隣接ピクチャ内でのビデオデータの時間的冗長性を削減又は除去するために時間的予測に依存する。「フレーム」という用語が、ビデオ符号化の分野における「画像」又は「ピクチャ」という用語の同義語として使用され得ることに留意すべきである。

【0025】

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号ピクチャバッファー（ＤＰＢ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４及びエントロピー符号化ユニット５６を含む。予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、分割ユニット４５、イントラ予測処理ユニット４６及びイントラブロックコピー（ＢＣ）ユニット４８を更に備える。いくつかの実装形態において、ビデオエンコーダ２０は、ビデオブロック再構成のために逆量子化ユニット５８、逆変換処理ユニット６０及び加算器６２を更に備える。デブロッキングフィルタ等のインループフィルタ６３は、ブロック境界をフィルタリングして再構成されたビデオデータからブロックアーティファクトを除去するために加算器６２とＤＰＢ６４との間に配置され得る。デブロッキングフィルタに加えて、ＳＡＯフィルタ及び／又はアダプティブインループフィルタ（ＡＬＦ）等の別のインループフィルタが、加算器６２の出力をフィルタリングするために使用されてもよい。いくつかの例において、インループフィルタは省略されてもよく、復号されたビデオブロックが加算器６２によってＤＰＢ６４に直接提供されてもよい。ビデオエンコーダ２０は、書き換え不能な又は書き換え可能なハードウェアユニットの形態であってもよいし、又は、例示された書き換え不能な又は書き換え可能なハードウェアユニットのうちの１つ若しくは複数にわたって分割されてもよい。

【0026】

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化すべきビデオデータを記憶することができる。ビデオデータメモリ４０内のビデオデータは、例えば、図１に示されるようなビデオソース１８から得ることができる。ＤＰＢ６４は、ビデオエンコーダ２０による（例えば、イントラ又はインター予測符号化モードでの）ビデオデータの符号化における使用のための参照ビデオデータ（例えば、参照フレーム又はピクチャ）を記憶するバッファーである。ビデオデータメモリ４０及びＤＰＢ６４は、多様なメモリデバイスのいずれかによって形成され得る。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素と一緒にしたオンチップ型のものであってもよいし、又は、ビデオデコーダ２０の他の構成要素に対してオフチップ型のものであってもよい。

【0027】

図２に示されるように、ビデオデータを受信した後、予測処理ユニット４１内の分割ユニット４５は、ビデオデータをビデオブロックに分割する。この分割は、ビデオデータに関連付けられた四分木（ＱＴ）構造等の予め規定された分割構造に従って、ビデオフレームをスライス、タイル（例えば、ビデオブロックのセット）又は他のより大きな符号化単位（ＣＵ）に分割することも含み得る。ビデオフレームは、サンプル値を有するサンプルの二次元配列若しくは行列であり、又はこのような二次元配列若しくは行列であると考えることができる。配列内のサンプルは、画素又はペルと呼ばれることもある。配列又はピクチャの水平及び垂直方向（又は軸）のいくつかのサンプルは、ビデオフレームのサイズ及び／又は解像度を規定する。ビデオフレームは、例えばＱＴ分割を使用することによって、複数のビデオブロックに分割され得る。やはり、ビデオブロックは、ビデオフレームより寸法が小さいがサンプル値を有するサンプルの二次元配列又は行列の二次元配列若しくは行列であり、又はこのような二次元配列若しくは行列であると考えることができる。ビデオブロックの水平及び垂直方向（又は軸）のいくつかのサンプルが、ビデオブロックのサイズを規定する。ビデオブロックは、例えばＱＴ分割、二分木（ＢＴ）分割、三分木（ＴＴ）分割又はこれらの任意の組合せを反復して使用することによって、１つ又は複数のブロックパーティション又はサブブロック（やはりブロックを形成し得る）に更に分割され得る。本明細書において使用される「ブロック」又は「ビデオブロック」という用語は、フレーム又はピクチャの部分、特に矩形（正方形又は非正方形）部分であり得ることに留意すべきである。例えばＨＥＶＣ及びＶＶＣに関しては、ブロック又はビデオブロックは、符号化ツリーユニット（ＣＴＵ）、ＣＵ、予測ユニット（ＰＵ）若しくは変換ユニット（ＴＵ）であり得、若しくはこれらに対応し得、及び／又は、対応するブロック、例えば、符号化ツリーブロック（ＣＴＢ）、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）若しくは変換ブロック（ＴＢ）であり得、若しくはこれらに対応し得る。代替的には又は更には、ブロック又はビデオブロックは、ＣＴＢ、ＣＢ、ＰＢ、ＴＢ等のサブブロックであり得、又はこのようなサブブロックに対応し得る。

【0028】

予測処理ユニット４１は、誤り結果（例えば、符号化レート及び歪みのレベル）に基づいて現在ビデオブロックのために、複数のイントラ予測符号化モードのうちの１つ、又は複数のインター予測符号化モードのうちの１つ等の、複数の可能な予測符号化モードのうちの１つを選択することができる。予測処理ユニット４１は、得られたイントラ又はインター予測符号化ブロック（例えば、予測ブロック）を加算器５０に提供して残差ブロックを生成することができ、加算器６２に提供して、参照フレームの一部として後で使用するための符号化されたブロックを再構成することができる。予測処理ユニット４１は、動きベクトル、イントラモード指示子、分割情報及び他のこのようなシンタックス情報等のシンタックス要素もエントロピー符号化ユニット５６に適用する。

【0029】

現在ビデオブロックに適したイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化すべき現在ブロックと同じフレーム内の１つ又は複数の隣接ブロックに対する現在ビデオブロックのイントラ予測符号化を実行して、空間的予測を実行することができる。予測処理ユニット４１内の動き推定ユニット４２及び動き補償ユニット４４は、１つ又は複数の参照フレーム内の１つ又は複数の予測ブロックに対する現在ビデオブロックのインター予測符号化を実行して、時間的予測を実行する。ビデオエンコーダ２０は、例えばビデオデータの各ブロックに適した符号化モードを選択するために、複数の符号化パスを実行することができる。

【0030】

いくつかの実装形態において、動き推定ユニット４２は、ビデオフレームのシーケンス内の所定のパターンに応じて、参照フレーム内の予測ブロックに対する現在ビデオフレーム内のビデオブロックの変位を示す動きベクトルを生成することによって、現在ビデオフレームのためのインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は、ビデオブロックについての動きを推定することができる動きベクトルを生成するプロセスであり得る。動きベクトルは例えば、参照フレーム内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックの変位を示し得る。所定のパターンは、シーケンス内のビデオフレームをＰフレーム又はＢフレームとして指定することができる。イントラＢＣユニット４８は、イントラＢＣ符号化のためのベクトル、例えば、インター予測のための動き推定ユニット４２による動きベクトルの決定と同様の方法によってブロックベクトルを決定することもできるし、又は動き推定ユニット４２を利用してブロックベクトルを決定することもできる。

【0031】

ビデオブロックに対する予測ブロックは、差分絶対和（ＳＡＤ）、差分二乗和（ＳＳＤ）又は他の差分メトリクスによって決定され得る画素差分の観点において、符号化すべきビデオブロックと密接にマッチングするものとして解釈される参照フレームのブロック又は参照ブロックであり得る又はこれらに対応し得る。いくつかの実装形態において、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数画素位置の値を計算することができる。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８画素位置又は他の分数画素位置の値を補間することができる。したがって、動き推定ユニット４２は、１画素位置及び分数画素位置に対する動き検索を実行し、分数画素精度で動きベクトルを出力することができる。

【0032】

動き推定ユニット４２は、ビデオブロックの位置を第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択される参照フレームの予測ブロックの位置に比較することによって、インター予測符号化されたフレーム内のビデオブロックについての動きベクトルを計算し、これらの参照フレームリストのそれぞれは、ＤＰＢ６４に記憶された１つ又は複数の参照フレームを特定する。動き推定ユニット４２は、計算された動きベクトルを動き補償ユニット４４に送信し、次いでエントロピー符号化ユニット５６に送信する。

【0033】

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定される動きベクトルに基づいて予測ブロックをフェッチ又は生成することを包含し得る。現在ビデオブロックについての動きベクトルを受信した際、動き補償ユニット４４は、参照フレームリストのうちの１つの中で動きベクトルが指し示す予測ブロックを探し当て、ＤＰＢ６４から予測ブロックを取り出し、順方向予測ブロックを加算器５０に送付することができる。次いで、加算器５０は、符号化されている現在ビデオブロックの画素値から動き補償ユニット４４によって提供される予測ブロックの画素値を減算することによって、画素差分値の残差ブロックを形成する。残差ブロックを形成する画素差分値は、ルマ若しくはクロマ差分成分又はこれらの両方を含み得る。動き補償ユニット４４は、ビデオフレームのビデオブロックの復号におけるビデオデコーダ３０の使用のためにビデオフレームのビデオブロックと関連付けられたシンタックス要素も生成することができる。シンタックス要素は例えば、予測ブロックを特定するために使用される動きベクトルを規定するシンタックス要素、予測モードを示す任意のフラグ又は本明細書に記載された任意の他のシンタックス情報を含み得る。動き推定ユニット４２及び動き補償ユニット４４は一緒に組み込まれることも可能であるが、図２においては概念的な目的について別々に示されることに留意する。

【0034】

いくつかの実装形態において、イントラＢＣユニット４８は、上記において動き推定ユニット４２及び動き補償ユニット４４に関して記述された方法と同様の方法によってベクトルを生成し、予測ブロックをフェッチすることができるが、ここで、予測ブロックは、符号化されている現在ブロックと同じフレームであり、ベクトルは、動きベクトルとの対比でブロックベクトルと呼ばれる。特に、イントラＢＣユニット４８は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定することができる。いくつかの例において、イントラＢＣユニット４８は、例えば別々の符号化パス中に様々なイントラ予測モードを使用して現在ブロックを符号化し、レート歪み分析によって性能をテストすることができる。次に、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードの中から、使用すべき適切なイントラ予測モードを選択し、これに応じてイントラモード指示子を生成することができる。例えば、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを、使用すべき適切なイントラ予測モードとして選択することができる。レート歪み分析は、符号化されたブロックと、当該符号化されたブロックを生成するために符号化された、符号化されていない元のブロックとの間での歪み（又は誤り）の量、及び、符号化されたブロックを生成するために使用されたビットレート（すなわち、ビットの数）を概略的に決定する。イントラＢＣユニット４８は、様々な符号化されたブロックに関する歪み及びレートから比を計算して、どのイントラ予測モードがブロックに関する最良のレート歪み値を示すかを決定することができる。

【0035】

他の例において、イントラＢＣユニット４８は、動き推定ユニット４２及び動き補償ユニット４４の全体又は一部を使用して、本明細書に記載された実装形態によるイントラＢＣ予測のための前述の機能を実行することができる。いずれの場合においても、イントラブロックコピーの場合、予測ブロックは、ＳＡＤ、ＳＳＤ又は他の差分メトリクスによって決定され得る画素差分の観点において、符号化すべきブロックと密接にマッチングするものとして解釈されるブロックであり得、予測ブロックの特定は、サブ整数画素位置の値の計算を含み得る。

【0036】

予測ブロックがイントラ予測に従って同じフレームから得られたものであるか、インター予測に従って異なるフレームから得られたものであるかにかかわらず、ビデオエンコーダ２０は、符号化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ブロックを形成することができる。残差ブロックを形成する画素差分値は、ルマ成分差分とクロマ成分差分の両方を含み得る。

【0037】

イントラ予測処理ユニット４６は、上記のように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測又はイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代替として、現在ビデオブロックをイントラ予測することができる。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定することができる。例えば、イントラ予測処理ユニット４６は、例えば別々の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化することができ、イントラ予測処理ユニット４６（又はいくつかの例においては、モード選択ユニット）は、テストされたイントラ予測モードから使用すべき適切なイントラ予測モードを選択することができる。イントラ予測処理ユニット４６は、ブロックのために選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化してビットストリームに含めることができる。

【0038】

予測処理ユニット４１がインター予測又はイントラ予測によって現在ビデオブロックに対する予測ブロックを決定した後、加算器５０は、現在ビデオブロックから予測ブロックを減算することによって残差ブロックを形成する。残差ブロック内の残差ビデオデータは、１つ又は複数のＴＵに含まれ得、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に類似する変換等の変換を使用して、残差ビデオデータを変換係数に変換する。

【0039】

変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送信することができる。量子化ユニット５４は、変換係数を量子化してビットレートを更に削減する。量子化プロセスは、係数のうちの一部又はすべてに関連付けられたビット深度を低下させることもできる。量子化の度合いは、量子化パラメータを調整することによって修正され得る。いくつかの例において、量子化ユニット５４は次いで、量子化された変換係数を含む行列のスキャンを実行することができる。代替的には、エントロピー符号化ユニット５６がスキャンを実行することができる。

【0040】

量子化後、エントロピー符号化ユニット５６は、エントロピー符号化技法を使用して、例えば、コンテキストアダプティブ可変長符号化（ＣＡＶＬＣ）、コンテキストアダプティブ二値算術符号化（ＣＡＢＡＣ）、シンタックスベースコンテキストアダプティブ二値算術符号化（ＳＢＡＣ）、確率区間分割エントロピー（ＰＩＰＥ）符号化又は別のエントロピー符号化方法若しくは技法を使用して、量子化された変換係数を符号化してビデオビットストリームに含めることができる。符号化されたビットストリームは次いで、図１に示されたビデオデコーダ３０に伝送されてもよいし、又は、後でビデオデコーダ３０が伝送又は取り出すために図１に示された記憶装置３２にアーカイブされてもよい。エントロピー符号化ユニット５６は、エントロピー符号化技法を使用して、符号化されている現在ビデオフレームについての動きベクトル及び他のシンタックス要素を符号化することもできる。

【0041】

逆量子化ユニット５８及び逆変換処理ユニット６０は、それぞれ逆量子化及び逆変換を適用して、他のビデオブロックの予測のための参照ブロックを生成するために画素ドメイン内の残差ブロックを再構成する。こうすることにより、再構成された残差ブロックが生成され得る。上記のように、動き補償ユニット４４は、動き補償された予測ブロックを、ＤＰＢ６４に記憶されたフレームの１つ又は複数の参照ブロックから生成することができる。動き補償ユニット４４は、１つ又は複数の補間フィルタを予測ブロックに適用して、動き推定における使用のためのサブ整数画素値を計算することもできる。

【0042】

加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償された予測ブロックに追加して、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、イントラＢＣユニット４８、動き推定ユニット４２及び動き補償ユニット４４によって、後続のビデオフレーム内の別のビデオブロックをインター予測するための予測ブロックとして使用され得る。

【0043】

図３は、本出願のいくつかの実装形態による例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０及びＤＰＢ９２を備える。予測処理ユニット８１は、動き補償ユニット８２、イントラ予測ユニット８４及びイントラＢＣユニット８５を更に備える。ビデオデコーダ３０は、図２との関連でビデオエンコーダ２０に関して上述された符号化プロセスとは概ね逆の復号プロセスを実行することができる。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信した動きベクトルに基づいて予測データを生成することができるが、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信したイントラ予測モードに基づいて予測データを生成することができる。

【0044】

いくつかの例において、ビデオデコーダ３０のユニットは、本出願の実装形態を実行するようにタスク化され得る。更に、いくつかの例において、本開示の実装形態は、ビデオデコーダ３０のユニットのうちの１つ又は複数の間で分割されてもよい。例えば、イントラＢＣユニット８５は、本出願の実装形態を単独で実行することもできるし、又は、動き補償ユニット８２、イントラ予測ユニット８４及びエントロピー復号ユニット８０等のビデオデコーダ３０の他のユニットと組み合わせられて実行することもできる。いくつかの例において、ビデオデコーダ３０は、イントラＢＣユニット８５を備えなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２等の予測処理ユニット８１の他の構成要素によって実行されてもよい。

【0045】

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号されることになる、符号化されたビデオビットストリーム等のビデオデータを記憶することができる。ビデオデータメモリ７９に記憶されたビデオデータは例えば、記憶装置３２から、カメラ等のローカルビデオソースから、ビデオデータの有線又は無線ネットワーク通信を介して、又は物理的データ記憶媒体（例えば、フラッシュドライブ又はハードディスク）へのアクセスによって得ることができる。ビデオデータメモリ７９は、符号化されたビデオビットストリームから符号化されたビデオデータを記憶する符号化ピクチャバッファー（ＣＰＢ）を含み得る。ビデオデコーダ３０のＤＰＢ９２は、ビデオデコーダ３０による（例えば、イントラ又はインター予測符号化モードにおける）ビデオデータの復号における使用のための参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、同期型ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ）又は他の種類のメモリデバイス等の多様なメモリデバイスのいずれかによって形成され得る。例示用として、ビデオデータメモリ７９及びＤＰＢ９２は、図３において、ビデオデコーダ３０の２つの異なる構成要素として示される。しかしながら、ビデオデータメモリ７９及びＤＰＢ９２が同じメモリデバイス又は別個のメモリデバイスによって提供され得ることが当業者には明らかであろう。いくつかの例において、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素と一緒にしたオンチップ型のものであってもよいし、又は、ビデオデコーダ３０の他の構成要素に対してオフチップ型のものであってもよい。

【0046】

復号プロセス中、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロック及び関連するシンタックス要素を表現する符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームレベル及び／又はビデオブロックレベルでシンタックス要素を受信することができる。ビデオデコーダ３０のエントロピー復号ユニット８０は、エントロピー復号技法を使用してビットストリームを復号し、これによって、量子化された係数、動きベクトル又はイントラ予測モード指示子及び他のシンタックス要素を得ることができる。次いで、エントロピー復号ユニット８０は、動きベクトル又はイントラ予測モード指示子及び他のシンタックス要素を予測処理ユニット８１に送付する。

【0047】

ビデオフレームがイントラ予測符号化された（例えば、Ｉ）フレームとして符号化され、又は他の種類のフレーム内のイントラ符号化された予測ブロック用に符号化される場合、予測処理ユニット８１のイントラ予測ユニット８４は、シグナリングされたイントラ予測モードと、事前に復号された現在フレームのブロックからの参照データとに基づいて、現在ビデオフレームのビデオブロックに対する予測データを生成することができる。

【0048】

ビデオフレームがインター予測符号化された（すなわち、Ｂ又はＰ）フレームとして符号化された場合、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信した動きベクトル及び他のシンタックス要素に基づいて現在ビデオフレームのビデオブロックに対する１つ又は複数の予測ブロックを生成する。予測ブロックのそれぞれは、参照フレームリストのうちの１つの中の参照フレームから生成され得る。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づいてデフォルトの構成技法を使用して参照フレームリスト、例えばリスト０及びリスト１を構成することができる。

【0049】

いくつかの例において、ビデオブロックが本明細書に記載されたイントラＢＣモードに応じて符号化されると、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信したブロックベクトル及び他のシンタックス要素に基づいて現在ビデオブロックに対する予測ブロックを生成する。予測ブロックは、ビデオエンコーダ２０によって処理される現在ビデオブロックと同じピクチャの再構成された領域内にあってよい。

【0050】

動き補償ユニット８２及び／又はイントラＢＣユニット８５は、動きベクトル及び他のシンタックス要素をパースすることによって現在ビデオフレームのビデオブロックに対する予測情報を決定し、次いで予測情報を使用して、復号されている現在ビデオブロックに対する予測ブロックを生成する。例えば、動き補償ユニット８２は、受信したシンタックス要素のうちの一部を使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測フレームタイプ（例えば、Ｂ又はＰ）と、フレームに対する参照フレームリストのうちの１つ又は複数についての構成情報と、インター予測符号化されたフレームのビデオブロックのそれぞれについての動きベクトルと、インター予測符号化されたフレームのビデオブロックのそれぞれに対するインター予測ステータスと、現在ビデオフレーム内のビデオブロックを復号するための他の情報とを決定する。

【0051】

同様に、イントラＢＣユニット８５は、受信したシンタックス要素、例えば、フラグのうちの一部を使用して、現在ビデオブロックがイントラＢＣモードを使用して予測されたことと、フレームのどのビデオブロックが再構成された領域に含まれるか及びＤＰＢ９２に記憶されるべきであるかに関する構成情報と、イントラＢＣ予測されたフレームのビデオブロックのそれぞれについてのブロックベクトルと、イントラＢＣ予測されたフレームのビデオブロックのそれぞれに対するイントラＢＣ予測ステータスと、現在ビデオフレーム内のビデオブロックを復号するための他の情報とを決定することができる。

【0052】

動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用されるような補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間された値を計算することもできる。この場合、動き補償ユニット８２は、受信したシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。

【0053】

逆量子化ユニット８６は、ビットストリームに含めて提供されてエントロピー復号ユニット８０により復号された量子化された変換係数を、ビデオフレーム内の各ビデオブロックのためにビデオエンコーダ２０によって計算された同じ量子化パラメータを使用して逆量子化して、量子化の度合いを決定する。逆変換処理ユニット８８は、画素ドメイン内の残差ブロックを再構成するために逆変換、例えば逆ＤＣＴ、逆整数変換又は概念的に類似する逆変換プロセスを変換係数に適用する。

【0054】

動き補償ユニット８２又はイントラＢＣユニット８５がベクトル及びシンタックス要素に基づいて現在ビデオブロックに対する予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと、動き補償ユニット８２及びイントラＢＣユニット８５によって生成された対応する予測ブロックとを合算することによって、現在ビデオブロックに対して復号されたビデオブロックを再構成する。復号されたビデオブロックは、現在ビデオブロックについての再構成されたブロックと呼ばれることもある。デブロッキングフィルタ、ＳＡＯフィルタ及び／又はＡＬＦ等のインループフィルタ９１は、復号されたビデオブロックを更に処理するために、加算器９０とＤＰＢ９２との間に配置され得る。いくつかの例において、インループフィルタ９１は省略されてもよく、復号されたビデオブロックが加算器９０によってＤＰＢ９２に直接提供されてもよい。所与のフレーム内の復号されたビデオブロックは次いで、ＤＰＢ９２に記憶され、ＤＰＢ９２は、後で次のビデオブロックを動き補償するために使用される参照フレームを記憶する。ＤＰＢ９２又はＤＰＢ９２から独立したメモリデバイスは、後で図１の表示装置３４等の表示装置で表示するために、復号されたビデオを記憶することもできる。

【0055】

典型的なビデオ符号化プロセス（例えば、ビデオ符号化プロセス及びビデオ復号プロセスを含む）において、ビデオシーケンスは一般的に、順序付けられたフレーム又はピクチャのセットを含む。各フレームは、ＳＬ、ＳＣｂ及びＳＣｒと表される３つのサンプル配列を含み得る。ＳＬは、ルマサンプルの二次元配列である。ＳＣｂは、Ｃｂクロマサンプルの二次元配列である。ＳＣｒは、Ｃｒクロマサンプルの二次元配列である。他の場合において、フレームはモノクロであってもよく、したがって、ルマサンプルの二次元配列を１つのみ含む。

【0056】

図４Ａに示されるように、ビデオエンコーダ２０（又はより厳密には分割ユニット４５）は、最初にフレームを１セットのＣＴＵに分割することによって、符号化されたフレームの表現を生成する。ビデオフレームは、ラスタスキャン順序で左から右及び上から下に連続的に配列された整数のＣＴＵを含み得る。各ＣＴＵは、最大の論理符号化ユニットであり、ＣＴＵの幅及び高さは、ビデオエンコーダ２０によってシーケンスパラメータセットに含めてシグナリングされ、結果として、ビデオシーケンス内のすべてのＣＴＵが、１２８×１２８、６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有する。しかしながら、本開示のＣＴＵは、必ずしも特定のサイズに限定されるとは限らないことに留意すべきである。図４Ｂに示されるように、各ＣＴＵは、ルマサンプルの１つのＣＴＢ、対応する２つのクロマサンプルの符号化ツリーブロック及び符号化ツリーブロックのサンプルを符号化するために使用されるシンタックス要素を含み得る。シンタックス要素は、画素の符号化ブロックの様々な種類のユニットの特性、及びビデオシーケンスがビデオデコーダ３０でどのように再構成され得るかを記述し、インター又はイントラ予測、イントラ予測モード、動きベクトル及び他のパラメータを含む。モノクロのピクチャ又は３つの異なる色平面を有するピクチャにおいて、ＣＴＵは、単一の符号化ツリーブロック及び符号化ツリーブロックのサンプルを符号化するために使用されるシンタックス要素を含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎブロックであり得る。

【0057】

より良好な性能を達成するために、ビデオエンコーダ２０は、二分木分割、三分木分割、四分木分割又はこれらの組合せ等のツリー分割をＣＴＵの符号化ツリーブロックに再帰的に実行し、ＣＴＵをより小さいＣＵに分割することができる。図４Ｃに示されるように、６４×６４ＣＴＵ４００は最初に、それぞれが３２×３２のブロックサイズを有する４つの小さなＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０及びＣＵ４２０はそれぞれ、ブロックサイズが１６×１６である４つのＣＵに分割される。２つの１６×１６ＣＵ４３０及び４４０はそれぞれ、ブロックサイズが８×８である４つのＣＵに更に分割される。図４Ｄは、図４Ｃに示されるＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を示し、四分木の各リーフノードは、それぞれのサイズが３２×３２から８×８の範囲である１つのＣＵに対応する。図４Ｂに示されたＣＴＵと同様に、各ＣＵは、ルマサンプルからなるＣＢ及び対応する同じサイズのフレームのクロマサンプルからなる２つの符号化ブロック、並びに、符号化ブロックのサンプルを符号化するために使用されるシンタックス要素を含み得る。モノクロのピクチャ又は３つの異なる色平面を有するピクチャにおいて、ＣＵは、単一の符号化ブロック及び符号化ブロックのサンプルを符号化するために使用されるシンタックス構造を含み得る。図４Ｃ及び図４Ｄに示された四分木分割は、例示用のものにすぎず、四分木／三分木／二分木パーティションに基づいて１つのＣＴＵをＣＵに分割して、種々の局所的な特性に適応させることができることに留意すべきである。多分木構造において、１つのＣＴＵは、四分木構造によって分割され、各四分木リーフＣＵは、二分木構造及び三分木構造によって更に分割され得る。図４Ｅに示されるように、幅Ｗ及び高さＨを有する符号化ブロックの複数の可能な分割方式、すなわち、四分割、垂直二分割、水平二分割、垂直三分割、垂直拡張三分割、水平三分割及び水平拡張三分割が存在する。

【0058】

いくつかの実装形態において、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つ又は複数のＭ×ＮのＰＢに更に分割することができる。ＰＢは、同じインター予測又はイントラ予測が適用されるサンプルの矩形（正方形又は非正方形）ブロックを含み得る。ＣＵのＰＵは、ルマサンプルからなるＰＢ、対応するクロマサンプルからなる２つのＰＢ、及び、ＰＢを予測するために使用されるシンタックス要素を含み得る。モノクロのピクチャ又は３つの異なる色平面を有するピクチャにおいて、ＰＵは、単一のＰＢ及びＰＢを予測するために使用されるシンタックス構造を含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルマ、Ｃｂ及びＣｒのＰＢに対する予測ルマ、Ｃｂ及びＣｒブロックを生成することができる。

【0059】

ビデオエンコーダ２０は、イントラ予測又はインター予測を使用して、ＰＵに対する予測ブロックを生成することができる。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つ又は複数のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成することができる。

【0060】

ビデオエンコーダ２０がＣＵの１つ又は複数のＰＵに対する予測ルマ、Ｃｂ及びＣｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのルマ残差ブロック内の各サンプルが、ＣＵの予測ルマブロックの１つの中のルマサンプルと、ＣＵの元のルマ符号化ブロックの中の対応サンプルとの差分を示すように、ＣＵの元のルマ符号化ブロックからＣＵの予測ルマブロックを減算することによって、ＣＵのルマ残差ブロックを生成することができる。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロック内の各サンプルがＣＵの予測Ｃｂブロックの１つの中のＣｂサンプルと、ＣＵの元のＣｂ符号化ブロックの中の対応サンプルとの差分を示し、ＣＵのＣｒ残差ブロック内の各サンプルがＣＵの予測Ｃｒブロックのうちの１つの中のＣｒサンプルと、ＣＵの元のＣｒ符号化ブロック内の対応サンプルとの差分を示し得るように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成することができる。

【0061】

更に、図４Ｃに示されるように、ビデオエンコーダ２０は四分木分割を使用して、ＣＵのルマ残差ブロック、Ｃｂ残差ブロック及びＣｒ残差ブロックを、それぞれ１つ又は複数のルマ、Ｃｂ及びＣｒ変換ブロックに分解することができる。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形又は非正方形）ブロックを含み得る。ＣＵのＴＵは、ルマサンプルからなる変換ブロック、対応するクロマサンプルからなる２つの変換ブロック、及び、変換ブロックサンプルを変換するために使用されるシンタックス要素を含み得る。したがって、ＣＵの各ＴＵは、ルマ変換ブロック、Ｃｂ変換ブロック及びＣｒ変換ブロックに関連付けられ得る。いくつかの例において、ＴＵに関連付けられたルマ変換ブロックは、ＣＵのルマ残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってもよい。モノクロのピクチャ又は３つの別個の色平面を有するピクチャにおいて、ＴＵは、単一の変換ブロック及び変換ブロックのサンプルを変換するために使用されるシンタックス構造を含み得る。

【0062】

ビデオエンコーダ２０は、１つ又は複数の変換をＴＵのルマ変換ブロックに適用して、ＴＵについてのルマ係数ブロックを生成することができる。係数ブロックは、変換係数の二次元配列であり得る。変換係数は、スカラー量であり得る。ビデオエンコーダ２０は、１つ又は複数の変換をＴＵのＣｂ変換ブロックに適用して、ＴＵについてのＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は、１つ又は複数の変換をＴＵのＣｒ変換ブロックに適用して、ＴＵについてのＣｒ係数ブロックを生成することができる。

【0063】

係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化することができる。量子化は一般に、変換係数を量子化して、変換係数を表現するために使用されるデータの量を潜在的に削減し、更なる圧縮を実現するプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素を符号化するためにエントロピー符号化技法を適用することができる。例えば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素にＣＡＢＡＣを実行することができる。最後に、ビデオエンコーダ２０は、符号化されたフレーム及び関連データの表現を形成するビットのシーケンスを含むビットストリームを出力することができ、このビットストリームは、記憶装置３２に記憶され、又は宛先デバイス１４に伝送される。

【0064】

ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビデオデコーダ３０は、ビットストリームをパースして、ビットストリームからシンタックス要素を得ることができる。ビデオデコーダ３０は、ビットストリームから得られたシンタックス要素を少なくとも部分的にベースにしてビデオデータのフレームを再構成することができる。ビデオデータを再構成するプロセスは、ビデオエンコーダ２０によって実行される符号化プロセスとは概ね逆のものである。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックに逆変換を実行して、現在ＣＵのＴＵに関連付けられた残差ブロックを再構成することができる。ビデオデコーダ３０は、現在ＣＵのＰＵに対する予測ブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応サンプルに追加することによって現在ＣＵの符号化ブロックを再構成もする。フレームの各ＣＵについて符号化ブロックを再構成した後、ビデオデコーダ３０は、フレームを再構成することができる。

【0065】

上記のように、ビデオ符号化は、主に２つのモード、すなわち、イントラフレーム予測（又はイントラ予測）及びインターフレーム予測（又はインター予測）を使用してビデオ圧縮を達成する。イントラブロックコピー（ＩＢＣ）は、イントラフレーム予測又は第３のモードとして解され得ることに留意する。２つのモードのうち、イントラフレーム予測よりインターフレーム予測の方が、参照ビデオブロックから現在ビデオブロックを予測するための動きベクトルを使用するおかげで符号化効率により多く寄与する。

【0066】

しかしながら、ビデオデータキャプチャ技術が絶え間なく向上し、ビデオデータ内の詳細事項を記憶するためのより洗練されたビデオブロックサイズがより洗練されるのに伴って、現在フレームについての動きベクトルを表現するために必要なデータの量も大幅に増大する。この難点を克服する方法の１つは、空間的ドメイン及び時間的ドメインの両方で隣接ＣＵのグループが予測用の類似ビデオデータを有するだけでなく、これらの隣接ＣＵ間の動きベクトルも類似することからも利益を受けることである。したがって、空間的に隣接するＣＵ及び／又は時間的に同じ場所に位置するＣＵの動き情報は、空間的及び時間的な相関関係を探索することによって、現在ＣＵの動き情報（例えば、動きベクトル）の近似として使用することができ、この近似は、現在ＣＵの「動きベクトル予測子（ＭＶＰ）」とも呼ばれる。

【0067】

現在ＣＵの実際の動きベクトルをビデオビットストリーム（例えば、見かけの動きベクトルは、図２に関して上述したように、動き推定ユニット４２によって決定される。）に符号化する代わりに、現在ＣＵの見かけの動きベクトルから現在ＣＵの動きベクトル予測子を減算して、現在ＣＵについての動きベクトル差分（ＭＶＤ）を生成する。このようにすることによって、動き推定ユニット４２によって決定されるフレームの各ＣＵに対する動きベクトルを符号化してビデオビットストリームに含める必要がなく、ビデオビットストリーム内の動き情報を表現するために使用されるデータの量を顕著に減少させることができる。

【0068】

符号ブロックのインターフレーム予測中に参照フレーム内の予測ブロックを選択するプロセスと同様に、現在ＣＵの空間的に隣接するＣＵ及び／又は時間的に同じ場所に位置するＣＵに関連付けられた可能な候補動きベクトルを使用して現在ＣＵに対する動きベクトル候補リスト（「マージリスト」としても知られる）を構成した後、現在ＣＵのための動きベクトル予測子として動きベクトル候補リストから１つのメンバーを選択するために、１セットのルールがビデオエンコーダ２０とビデオデコーダ３０の両方によって採用され得る。このようにすることによって、動きベクトル候補リスト自体をビデオエンコーダ２０からビデオデコーダ３０に伝送する必要がなく、選択された動きベクトル候補リスト内の動きベクトル予測子のインデックスは、ビデオエンコーダ２０及びビデオデコーダ３０が、現在ＣＵを符号化及び復号するための動きベクトル候補リスト内の同じ動きベクトル予測子を使用するのに十分である。したがって、選択された動きベクトル予測子のインデックスのみは、ビデオエンコーダ２０からビデオデコーダ３０に送信される必要がある。

【0069】

本明細書において、ブロックベースビデオ符号化プロセス（例えば、向上型圧縮モデル（ＥＣＭ））における変換係数符号化に関する簡単な説明が提供される。厳密には、各変換ブロックは最初に、複数の係数グループ（ＣＧ）に分割され、各係数グループは、ルマ成分についての４×４サブブロックの変換係数及びクロマ成分についての２×２サブブロックの変換係数を含む。変換ブロック内の変換係数の符号化は、係数グループのユニットにおいて実行される。例えば、変換ブロックの内部の係数グループは、第１の所定のスキャン順序に基づいてスキャン及び符号化される。各係数グループを符号化するとき、係数グループの変換係数は、各サブブロック内で第２の所定のスキャン順序に基づいてスキャンされる。ＥＣＭにおいて、同じ左上スキャン順序を適用して、変換ブロックの内部の係数グループ及び各係数グループ内の異なる変換係数をスキャンする（例えば、第１の所定のスキャン順序と第２の所定のスキャン順序の両方が左上スキャン順序である）。図５は、いくつかの例による係数グループ内の変換係数の左上スキャン順序を示す図式である。図５の番号０～１５は、対応する係数グループ内の変換係数のそれぞれのスキャン順序を示す。

【0070】

ＥＣＭにおける変換係数符号化スキームによれば、最初に、各変換ブロックに対して、変換ブロックが何らかの非０変換係数を含むかを示すフラグがシグナリングされる。変換ブロック内に少なくとも０でない変換係数が存在する場合、左上スキャン順序に従ってスキャンされた最後の非０変換係数の位置は、ビデオエンコーダ２０からビデオデコーダ３０に明示的にシグナリングされる。最後の非０変換係数の位置がシグナリングされることによって、最後の係数グループ（すなわち、最後の非０係数を含む係数グループ）の前に符号化されたすべての係数グループについてのフラグが更にシグナリングされる。これに対応して、フラグの数は、各係数グループが非０変換係数を含むか否かを示す。係数グループのフラグが０に等しい（係数グループ内のすべての変換係数が０であることを示す）場合、係数グループに関する更なる情報を送信する必要がない。そうでない場合（例えば、係数グループのフラグが１に等しい場合）、係数グループ内の変換係数のそれぞれの絶対値及び符号が、スキャン順序に従ってビットストリームに含めてシグナリングされる。しかしながら、既存の設計において、変換係数の符号はバイパス符号化される（例えば、コンテキストモデルが適用されない）ので、現在の設計の変換符号化は非効率的なものである。本開示による場合、変換符号化効率を改善することができるように変換係数の符号予測を用いる改良型ＬＦＮＳＴプロセスについては、下記においてより詳細に記述する。

【0071】

図６は、いくつかの例によるＬＦＮＳＴプロセスを示す図式である。ＶＶＣにおいて、二次変換ツール（例えば、ＬＦＮＳＴ）が、一次変換後のイントラ符号化ブロックの変換係数のエネルギーを圧縮するために適用される。図６に示されるように、順方向ＬＦＮＳＴ６０４は、ビデオエンコーダ２０において、順方向一次変換６０３と量子化６０５との間で適用され、逆ＬＦＮＳＴ６０８は、ビデオデコーダ３０において、逆量子化６０７と逆一次変換６０９との間で適用される。例えば、ＬＦＮＳＴプロセスは、順方向ＬＦＮＳＴ６０４と逆ＬＦＮＳＴ６０８の両方を含み得る。いくつかの例として、４×４順方向ＬＦＮＳＴ６０４の場合、１６の入力係数が存在し得、８×８順方向ＬＦＮＳＴ６０４、６４の入力係数が存在し得、４×４逆ＬＦＮＳＴ６０８の場合、８の入力係数が存在し得、８×８逆ＬＦＮＳＴ６０８の場合、１６の入力係数が存在し得る。

【0072】

順方向ＬＦＮＳＴ６０４では、行列乗算プロセスを使用して表すことができる符号化ブロックのサイズに基づいて、種々の変換サイズを用いる非分離変換が適用される。例えば、順方向ＬＦＮＳＴ６０４が４×４ブロックに適用されると仮定する。４×４ブロック内のサンプルは、下記式（１）に示される行列Ｘを使用して表すことができる。

【数1】

【0073】

行列Ｘは、下記式（２）に示される

として直列化することができる。

【数2】

【0074】

上記式（１）又は（２）中、Ｘは、順方向一次変換６０３によって得られた係数行列を表し、Ｘ_ｉｊは、行列Ｘ内の一次変換係数を表す。次いで、順方向ＬＦＮＳＴ６０４は、下記の式（３）に従って適用される。

【数3】

【0075】

【0076】

いくつかの実装形態において、縮小した非分離変換カーネルが、ＬＦＮＳＴプロセスにおいて適用され得る。例えば、上記式（３）に基づくと、順方向ＬＦＮＳＴ６０４は、変換係数を記憶するための計算操作及びメモリソースの観点から費用のかかるものである直接行列乗算に基づく。したがって、縮小した非分離変換カーネルは、Ｒ＜Ｎの異なる空間内でＮ次元ベクトルをＲ次元ベクトルにマッピングすることによって、ＬＦＮＳＴプロセスの実装コストを削減するためにＬＦＮＳＴ設計において使用され得る。例えば、変換カーネルのためのＮ×Ｎ行列を使用する代わりに、Ｒ×Ｎ行列は、式（４）に示される順方向ＬＦＮＳＴ６０４において、変換カーネルとして使用される。

【数4】

【0077】

上記式（４）中、ＴＲ×Ｎ中のＲ基底ベクトルは、元のＮ次元変換カーネル（すなわち、Ｎ×Ｎ）の第１のＲ基底を選択することによって生成される。更に、ＴＲ×Ｎが直行するので、逆ＬＦＮＳＴ６０８のための逆変換行列は、順方向変換行列ＴＲ×Ｎの転置である。

【0078】

８×８ＬＦＮＳＴの場合、係数Ｎ／Ｒ＝４が適用されると、６４×６４変換行列は、順方向ＬＦＮＳＴ６０４の場合には１６×４８変換行列に縮小され、６４×６４逆変換行列は、逆ＬＦＮＳＴ６０８用の４８×１６逆変換行列に縮小される。これは、ＬＦＮＳＴプロセスを一次変換係数の左上領域内の８×８サブブロックに適用することによって達成される。厳密には、１６×４８順方向ＬＦＮＳＴが適用された場合、左上８×８サブブロック（右下４×４サブブロックを除く）内の３つの４×４サブブロックから４８の変換係数が入力として利用される。いくつかの例において、ＬＦＮＳＴプロセスは、左上４×４サブブロックの外部にあるすべての変換係数が０である場合にのみ適用可能であるように制限される。このことは、ＬＦＮＳＴが適用された場合、一次のみの変換係数のすべてが０でなければならないことを示す。更に、（１画素当たりの乗算の観点から）最悪の場合の複雑度を制御するために、４×４符号化ブロック及び８×８符号化ブロックのＬＦＮＳＴ行列は、それぞれ８×１６変換及び８×４８変換を強制的に受ける。４×Ｍ及びＭ×４符号化ブロック（Ｍ＞４）の場合、ＬＦＮＳＴの非分離変換行列は、１６×１６である。

【0079】

ＬＦＮＳＴ変換シグナリングにおいて、合計４つの変換セットが存在し、変換セット１つ当たり２つの非分離変換カーネルは、ＬＦＮＳＴ設計において有効化される。変換セットは、イントラブロックのイントラ予測モードに従って４つの変換セットから選択される。イントラ予測モードから変換セットへのマッピングは、下記の表１に示されるように予め決定される。３つの交差成分線形モデル（ＣＣＬＭ）モード（例えば、ｉｎＴＲＡ＿ＬＴ＿ＣＣＬＭ、ｉｎＴＲＡ＿Ｔ＿ＣＣＬＭ又はＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ）のうちの１つが現在ブロック（８１≦ｐｒｅｄＭｏｄｅＩｎｔｒａ≦８３）に対して使用された場合、変換セット「０」が現在クロマブロックのために選択される。各変換セットに関しては、選択された非分離二次変換候補は、ビットストリーム内のＬＦＮＳＴインデックスをシグナリングすることによって示される。

【表1】

【0080】

いくつかの例において、第１の１６×１６サブブロックの外部にあるすべての変換係数が０である場合ではＬＦＮＳＴがイントラブロックに適用されるように制限されるので、ＬＦＮＳＴインデックスのシグナリングは、最後の有意な（すなわち、非０）変換係数の位置に依存する。例えば、４×４及び８×８符号化ブロックの場合、ＬＦＮＳＴインデックスは、最後の有意な変換係数の位置が８未満である場合にのみシグナリングされる。他の符号化ブロックサイズの場合、ＬＦＮＳＴインデックスは、最後の有意な変換係数の位置が１６未満である場合にのみシグナリングされる。そうでない場合（すなわち、ＬＦＮＳＴインデックスがシグナリングされない場合）、ＬＦＮＳＴインデックスが０であると推論され、すなわち、ＬＦＮＳＴが無効化される。

【0081】

更に、変換係数をキャッシュするためのバッファーのサイズを削減するために、シーケンスパラメータセット（ＳＰＳ）に含めてシグナリングされる現在符号化ブロックの幅又は高さが最大変換サイズ（すなわち、６４）より大きい場合には、ＬＦＮＳＴが許可されない。一方、ＬＦＮＳＴは、一次変換がＤＣＴ２である場合にのみ適用される。加えて、ＬＦＮＳＴは、イントラスライスとインタースライスの両方において、ルマ成分とクロマ成分の両方に対して、イントラ符号化ブロックに適用される。デュアルツリー又はローカルツリーが有効化される場合（ルマ成分のパーティションとクロマ成分のパーティションとが整合しない場合）、ＬＦＮＳＴインデックスは、ルマ成分及びクロマ成分に対して別々にシグナリングされる（すなわち、ルマ成分及びクロマ成分は、異なるＬＦＮＳＴ変換を適用することができる。）。そうでない場合、シングルツリーが適用される場合（ルマ成分及びクロマ成分のパーティションが整合する場合）、単一のＬＦＮＳＴインデックスがシグナリングされて、ＬＦＳＮＴがルマ成分にのみ適用される。

【0082】

ＥＣＭにおけるＬＦＮＳＴ設計は、ブロックサイズの大きい残差サンプルのエネルギー圧縮を向上するために追加的なＬＦＮＳＴカーネルが導入されるという点を除いて、ＶＶＣにおけるＬＦＮＳＴ設計と同様である。厳密には、変換ブロックの幅又は高さが１６より小さくない場合、新たなＬＦＮＳＴ変換は、一次変換から生成された低周波数変換係数の左上領域に導入される。現在のＥＣＭにおいて、図７に示されるように、低周波数領域は、一次変換係数の左上隅の６つの４×４サブブロック（例えば、図７Ａにおいて灰色で示される６つの４×４サブブロック）を含む。この場合、順方向ＬＦＮＳＴ６０４への係数入力の数は、９６である。更には、最悪の場合の計算複雑度を制御するために、順方向ＬＦＮＳＴ６０４の係数出力の数は、３２に設定される。

【0083】

厳密には、Ｗ≧１６及びＨ≧１６であるＷ×Ｈ変換ブロックの場合、３２×９６順方向ＬＦＮＳＴが適用され、左上領域内の６つの４×４サブブロック９６の変換係数が入力として利用され、３２の変換係数を出力する。他方、ＥＣＭにおける８×８ＬＦＮＳＴは、入力として４つすべての４×４サブブロック内の変換係数を利用し、３２の変換係数（すなわち、順方向ＬＦＮＳＴ６０４の場合の３２×６４行列及び逆ＬＦＮＳＴ６０８の場合の６４×３２行列）を出力する。これは、８×８ＬＦＮＳＴが左上領域の３つの４×４サブブロックにのみ適用され、１６の変換係数（すなわち、順方向ＬＦＮＳＴ６０４の場合の１６×４８行列及び逆ＬＦＮＳＴ６０８の場合の４８×１６行列）のみを生成するＶＶＣとは異なる。更には、ＬＦＮＳＴセットの合計数は、ＶＶＣにおける４からＥＣＭにおける３５に増大する。ＶＶＣと同様に、ＬＦＮＳＴセットの選択は、現在符号化ユニットのイントラ予測モードに依存し、各ＬＦＮＳＴセットは、３つの異なる変換カーネルを含む。

【0084】

いくつかの例において、ＨＥＶＣにおいて使用されるＤＣＴ２変換に加えて、多重変換選択（ＭＴＳ）スキームが、インター符号化ブロックとイントラ符号化ブロックの両方の残差を変換するために適用される。ＭＴＳスキームは、ＤＣＴ８及びＤＳＴ７変換から選択される多重変換を使用する。

【0085】

例えば、イントラモード及びインターモードのためのＭＴＳスキームを別々に有効化にするために、２つの制御フラグがシーケンスレベルで指定される。ＭＴＳスキームがシーケンスレベルで有効化される場合、ＭＴＳスキームが適用されたか否かを示すために、別のＣＵレベルフラグが更にシグナリングされる。いくつかの実装形態において、ＭＴＳスキームは、ルマ成分にのみ適用される。更に、ＭＴＳスキームは、（ａ） 幅と高さの両方が３２以下であることという条件と、（ｂ） 符号化ブロックフラグ（ＣＢＦ）が１に等しいことという条件が満たされたときにのみシグナリングされる。ＭＴＳ ＣＵフラグが０に等しい場合、ＤＣＴ２が水平方向と垂直方向の両方に適用される。ＭＴＳ ＣＵフラグが１に等しい場合、水平方向及び垂直方向のための変換方式のそれぞれを示すために、２つの他のフラグが追加的にシグナリングされる。ＭＴＳ水平制御フラグ及びＭＴＳ垂直制御フラグとのマッピング及び適用された変換は、下記の表２に示される。

【表2】

【0086】

変換行列の精度に関しては、すべてのＭＴＳ変換係数が６ビット精度であり、これは、ＤＣＴ２コア変換と同じである。ＶＶＣがＨＥＶＣにおいて使用されるすべての変換サイズをサポートするので、４点、８点、１６点及び３２点ＤＣＴ－２変換及び４点ＤＳＴ－７変換を含むＨＥＶＣにおいて使用されるすべての変換コアは、ＶＶＣと同じであるように保たれる。一方、ＶＶＣ変換設計においては、６４点ＤＣＴ－２、４点ＤＣＴ－８、８点、１６点、３２点ＤＳＴ－７及びＤＣＴ－８を含む他の変換コアが追加的にサポートされる。更に、サイズが大きいＤＳＴ－７及びＤＣＴ－８の複雑度を削減するために、ＤＳＴ－７及びＤＣＴ－８変換ブロックでは、幅又は高さが３２に等しい場合、１６×１６低周波数領域の外部に位置する高周波数変換係数は、０に設定される（ゼロアウトとしても知られる）。

【0087】

ＶＶＣにおいて、ＤＣＴ２以外では、ＤＳＴ７及びＤＣＴ８変換カーネルのみが、イントラ符号化及びインター符号化のために利用される。イントラ符号化の場合、残差信号の統計学的特性は通常、イントラ予測モードに依存する。追加的な一次変換は、残差特性の多様性を取り扱うために有益であり得る。

【0088】

ＥＣＭにおいては、ＤＣＴ５、ＤＳＴ４、ＤＳＴ１及び恒等変換（ＩＤＴ）を含む追加的な一次変換が採用される。更に、ＴＵサイズ及びイントラモード情報に応じたＭＴＳセットが作成される。１６の異なるＴＵサイズが考えられ得るが、各ＴＵサイズに関しては、イントラモード情報に応じて５つの異なるクラスが考えられ得る。各クラスについては、４つの異なる変換ペアが考えられる（ＶＶＣのものと同じ）。合計８０の異なるクラスが考えられ得るが、これらの異なるクラスの一部は、大抵の場合、同じ変換セットを共有する。したがって、ルックアップテーブル（ＬＵＴ）中には、５８（８０未満）の一意な成分が存在する。

【0089】

角度モードの場合、ＴＵ形状とイントラ予測に関する共同対称性が考慮される。したがって、ＴＵ形状Ａ×Ｂを有するモードｉ（ｉ＞３４）は、ＴＵ形状Ｂ×Ａを用いるモードｊ＝（６８－ｉ）に対応する同じクラスにマッピングされ得る。しかしながら、各変換ペアでは、水平変換カーネル及び垂直変換カーネルの次数が入れ替えられる。例えば、モード１８（水平予測）を用いる１６×４ブロック及びモード５０（垂直予測）を用いる４×１６ブロックは、垂直変換カーネル及び水平変換カーネルを入れ替えて、同じクラスにマッピングされる。広角モードの場合、最も近い従来の角度モードが変換セットの決定のために使用される。例えば、モード２は、－２から－１４の間のすべてのモードのために使用される。同様に、モード６６は、モード６７～モード８０のために使用される。

【0090】

イントラテンプレートマッチング予測は、Ｌ字形テンプレートが現在テンプレートとマッチングする現在フレームの再構成された部分から予測ブロックをコピーするイントラ予測モードの例である。所定の検索範囲に関しては、ビデオエンコーダ２０は、現在フレームの再構成された部分内で（例えば、ＳＡＤコストに基づいて）現在テンプレートに最も類似するテンプレートを検索し、対応するブロックを予測ブロックとして使用する。次いで、ビデオエンコーダ２０がこのモードの使用をシグナリングし、同じ予測操作がデコーダ側で実行される。予測信号は、現在ブロックのＬ字形の臨時的な隣を、図８に示される、所定の検索領域内の別のブロックとマッチングすることによって生成され、この検索領域は、（ａ） 現在ＣＴＵ（Ｒ１）、（ｂ） 左上ＣＴＵ（Ｒ２）、（ｃ） 上ＣＴＵ（Ｒ３）及び（ｄ） 左ＣＴＵ（Ｒ４）を含む。イントラテンプレートマッチングは、幅及び高さが６４以下のサイズのＣＵに対して有効化される。一方、イントラテンプレートマッチング予測モードは、ＣＵレベルでフラグをシグナリングすることによって示される。イントラテンプレートマッチングが、４～１６（上限と下限を含む）の間の幅又は高さを有する符号化ブロックに適用される場合、対応する次元に適用される一時変換は、ＤＳＴ－ＶＩＩに設定される。そうでない場合（すなわち、幅又は高さが４より小さい又は１６より大きい場合）、上記次元にはＤＣＴ－ＩＩが適用される。

【0091】

図９は、いくつかの例による符号予測の例示的なプロセスを示す図式である。いくつかの実装形態において、符号予測は、隣接ブロックのサンプルから変換ブロック内の変換係数の符号を推定するために実行され得る。推定された符号の正しさは、符号予測が正しいかを示すためにコンテキストモデルに従って符号化され得る。例えば、１つのコンテキストモデルにおいて、推定された各符号間の差分を符号化することができ、対応する「０」（又は「１」）を有する真の符号は、推定された符号が真の符号と同じである（又は同じでない）ことを示す。符号が高い百分率で正確に推定され得る（例えば、符号の９０％又は９５％が正しく推定される）場合、推定された符号と真の符号との差分は０になる傾向があり、このような差分は、ＶＶＣにおける変換係数についてのバイパス符号化された符号に比較して、ＣＡＢＡＣによって効率的にエントロピー符号化され得る。本開示による場合、符号化効率を更に改善するために、他のコンテキストモデルを使用して符号予測の正しさをエントロピー符号化することができる。上記の他の例示的なコンテキストモデルについては、下記においてより詳細に記述する。

【0092】

一般に、現在ブロックと隣接ブロックとの境界にあるサンプル間には高い相関関係があり、これは、現在ブロックの変換係数の符号を予測するために符号予測スキームによって利用され得る。図９に示されるように、現在ブロック内にＭ個の非０変換係数（ここで、Ｍ個の符号はそれぞれ＋又は－である）が存在すると仮定する。次いで、可能な符号の組合せの合計数は、２^Ｍである。符号予測スキームは、符号の組合せのそれぞれを使用して対応する仮説（例えば、現在ブロックの上境界及び左境界にある再構成されたサンプル）を生成し、対応する仮説における再構成されたサンプルを、隣接ブロックから外挿されたサンプルと比較して、再構成されたサンプルと外挿されたサンプルとのサンプル差分（例えば、ＳＳＤ又はＳＡＤ）を得る。（可能な２^Ｍ個の符号の組合せの中から）サンプル差分を最小化する符号の組合せが、現在ブロック内の予測符号として選択される。

【0093】

図９に示されるいくつかの実装形態において、Ｍ個の符号の組合せのそれぞれのための対応する仮説を生成するために、対応するＭ個の変換係数を逆量子化操作及び逆変換によって処理して残差サンプル残差サンプルを得ることができる。残差サンプルを予測サンプルと足し合わせて再構成されたサンプルを得ることができ、これらの再構成されたサンプルは、現在ブロックの上境界及び左境界上の再構成されたサンプル（Ｌ字形の灰色エリア９０２に示される）を含む。

【0094】

いくつかの実装形態において、現在ブロックと隣接ブロックとの境界にあるサンプル間の空間的不連続性を測定するコスト関数が、符号の組合せの選択のために使用される。Ｌ２ノルム（ＳＳＤ）を使用する代わりに、コスト関数は、下記の式（５）に示されるＬ１ノルム（ＳＡＤ）に基づき得る。

【数5】

【0095】

上記式（５）中、Ｂ_ｉ，ｎ（ここで、ｉ＝－２，－１）は、上隣接ブロックからの現在ブロックの隣接サンプルを表現する。Ｃ_ｍ，ｊ（ここで、ｊ＝－２，－１）は、左隣接ブロックからの現在ブロックの隣接サンプルを表現する。Ｐ_ｎ，０及びＰ_ｍ，０は、それぞれ現在ブロックの上境界及び左境界上の再構成された対応サンプルを表現する。Ｎ及びＭは、それぞれ現在ブロックの幅及び高さを表現する。図１０は、符号予測のためのコスト関数を計算するために使用される、現在ブロックの対応サンプルＰ_ｎ，０及びＰ_ｍ，０並びに隣接ブロックの対応サンプルＢ_ｉ，ｎ及びＣ_ｍ，ｊを示す。

【0096】

いくつかの実装形態において、テンプレートベース仮説再構成方法を符号予測スキームに適用して、複数の逆変換を実行する複雑さを回避することができる。各テンプレートは、現在ブロックの上境界及び左境界上の再構成されたサンプルのセットであり得、特定の係数が１に設定されるが他のすべての係数が０に等しい係数行列に逆変換を適用することによって取得することができる。逆変換（例えば、ＤＣＴ、ＤＳＴ）が線形であるので、対応する仮説は、予め計算されたテンプレートのセットの線形結合によって生成され得る。

【0097】

いくつかの実装形態において、予測符号は、２つのセットに分類され、各セットは、単一のＣＡＢＡＣコンテキストによって符号化される。例えば、第１のセットは、変換ブロックの左上隅にある変換係数の予測符号を含み、第２のセットは、他のすべての変換ブロックの場所にある変換係数の予測符号を含む。

【0098】

ＨＥＶＣと同様に、スカラー量子化は、ＶＶＣにおいても使用される。いくつかの実装形態において、ＶＶＣにおけるスカラー量子化は、従属スカラー量子化として実装され得る。従属スカラー量子化は、変換係数の許容可能な再構成値のセットが、再構成順序で現在変換係数レベルに先行する変換係数レベルの値に依存するアプローチを指す。このアプローチの主な効果は、ＨＥＶＣにおいて使用される従来の従属スカラー量子化に比較して、許容可能な再構成ベクトルが、Ｎ次元ベクトル空間（Ｎは、変換ブロック内の変換係数の数を表現する。）においてより高密度に詰め込まれることである。つまり、Ｎ次元単位体積当たりの許容可能な再構成ベクトルの平均数が与えられた場合、入力ベクトルと最も近い再構成ベクトルとの平均歪みが削減される。

【0099】

従属スカラー量子化は、（ａ） 異なる再構成レベルが異なる２つのスカラー量子化器を規定すること及び（ｂ） ２つのスカラー量子化器を切り替えるためのプロセスを規定することによって実装され得る。図１１は、本開示のいくつかの実装形態によるＶＶＣの従属スカラー量子化において使用される２つの例示的なスカラー量子化器を示す。図１１に示されるように、ＶＶＣの量子化設計においては、Ｑ０及びＱ１によって表される２つのスカラー量子化器が適用される。利用不能の再構成レベルの場所は、量子化ステップサイズΔによって一意に指定される。この実装形態において、２つのスカラー量子化器Ｑ０及びＱ１間の選択は、ビットストリーム含めて明示的にシグナリングされない。代わりに、現在変換係数のために使用される量子化器は、ビデオエンコーダ２０による符号化順序又はビデオデコーダ３０による再構成順序において現在変換係数に先行する変換係数レベルのパリティによって決定される。

【0100】

いくつかの実装形態において、２つのスカラー量子化器の切替えは、ステートマシンによって実行される。例えば、図１２Ａは、いくつかの例による４つの状態が従属スカラー量子化において使用されるステートマシンを使用する状態遷移を示す図式である。図１２に示されるように、状態は、０、１、２、３という４つの異なる値をとり得る。状態は、符号化／再構成順序において現在変換係数に先行する変換係数レベルのパリティによって一意に決定される。

【0101】

いくつかの実装形態において、変換ブロックの逆量子化の開始時において、状態は、０に等しくなるように設定される。変換係数は、スキャン順序で再構成される（すなわち、同じ順序で変換係数をエントロピー復号する。）。

【0102】

現在変換係数が再構成された後、状態は、ステートマシンに応じて更新される。例えば、図１２Ａにおいて、ｋは、変換係数レベルの値を表す。各状態において、次の状態は、変換係数レベルｋのパリティ、すなわち、（ｋ＆１）に基づいて決定される。（ｋ＆１）＝＝１の場合の次の状態は、（ｋ＆１）＝＝０の場合の次の状態とは異なる。図１２Ａに示されるように、ステートマシンは、４つの状態のそれぞれから２つの異なる状態を指し示す２つの矢印を含む。図１２Ｂは、いくつかの例による図１２Ａの状態遷移に応じた例示的な量子化器の選択を示す表である。例えば、図１２Ａ及び図１２Ｂによれば、状態１において、次の状態は、（ｋ＆１）＝＝０の場合では２であり、（ｋ＆１）＝＝１の場合では０である。

【0103】

これに対応して、デコーダにおいて、１つの変換係数の再構成された量子化インデックスは、式（６）に従って計算することができる。

【数6】

（式中、ａｂｓ（）は、入力の絶対値を計算する関数であり、状態は、現在変換係数のレベルをパースしたときの状態遷移マシンの現在の状態である。）。更に、デコーダ側において、逆量子化後に再構成された変換係数は、式（７）に従って得ることができる。

【数7】

【0104】

本明細書において、符号予測スキームの現在の設計に存在するいくつかの例示的な欠点が明確化される。第１の例において、現在のＥＣＭにおける符号予測は、一次変換（例えば、ＤＣＴ及びＤＳＴ変換）のみが適用される変換ブロック内の変換係数に対する符号の予測にのみ適用可能である。上記のように、ＬＦＮＳＴは、イントラ符号化ブロックの残差サンプルのより良好なエネルギー圧縮を実現するために、一次変換からの変換係数に適用され得る。しかしながら、現在のＥＣＭ設計において、ＬＦＮＳＴが適用される変換ブロックに対しては、符号予測がバイパスされる。

【0105】

第２の例において、符号予測の複雑度を制御するために、変換ブロックについて所定の予測符号の最大数（「Ｌ_ｍａｘ」として表される）が決定される。現在のＥＣＭにおいて、ビデオエンコーダは、複雑度と符号化効率とのトレードオフに基づいて最大数の値（例えば、Ｌ_ｍａｘ＝８）を決定し、値をビデオデコーダに送信する。更に、各変換ブロックについて、ビデオエンコーダ又はデコーダは、ラスタスキャン順序ですべての変換係数をスキャンすることができ、第１のＬ_ｍａｘ非０変換係数は、符号予測のための候補変換係数として選択される。変換ブロック内の異なる変換係数に対するこのような等しい扱いは、符号予測の正確度の観点から最適でないこともある。例えば、比較的大きな強度を有する変換係数の場合、これらの変換係数の符号の予測は、正しい予測を達成する可能性を高め得る。理由としては、これらの変換係数に対して誤った符号を使用すると、ブロック境界上の再構成されたサンプルに、比較的小さい強度を有する変換係数の使用によって発生するものより大きな影響が発生する傾向があるという点が挙げられる。

【0106】

第３の例において、明示的な符号値を直接符号化する代わりに、ビデオエンコーダ又はデコーダが予測符号の正しさを符号化することができる。例えば、正の符号を有する変換係数の場合において、この変換係数の予測符号も正であるとき、ビン「０」をビデオエンコーダからビデオデコーダへのビットストリームに含めて示すだけでよい。この場合、予測符号は、変換係数の真の符号（又は元の符号）と同じであり、このことは、この変換係数に対する符号予測が正しいことを示す。そうでない場合（例えば、予測符号は負であるが真の符号は正である場合）、ビン「１」は、ビデオエンコーダからビデオデコーダへのビットストリームに含まれ得る。すべての符号が正しく予測された場合、ビットストリーム内に示される対応するビンは０であり、ＣＡＢＡＣによって効率的にエントロピー符号化され得る。符号の一部が誤って予測された場合、ビットストリーム内に示される対応するビンは１である。算術符号化＋適切なコンテキストモデルは、これらの対応する可能性に応じてビンを符号化するために効率的であり得るが、符号値を示すためにビットストリーム内に生成された無視できないビットが依然として存在する。

【0107】

第４の例において、現在ブロックと隣接ブロックとの境界にあるサンプル間の空間的不連続性は、ＥＣＭにおける符号予測の現在の設計において最良の符号予測組合せを選択するために使用される。垂直方向及び水平方向に沿った勾配差分のＬ１ノルムは、空間的不連続性をキャプチャするために利用される。しかしながら、画像信号の分布は通常非一様であるので、垂直方向及び水平方向のみを使用することでは、空間的不連続性を正確にキャプチャすることができないこともあり得る。

【0108】

本開示による場合、ブロックベースビデオ符号化における符号予測のためのビデオ処理方法及びシステムは、本明細書において、上記例示的な欠点のうちの１つ又は複数に対処するために提供される。本明細書において開示された方法及びシステムは、ハードウェアコーデックの実装し易さを考慮に入れながら、符号予測の符号化効率を改善することができる。本明細書において開示された方法及びシステムは、符号予測技術をブロックの変換係数に適用する変換ブロックの符号化効率を改善することができる。

【0109】

例えば、上記のように、符号予測は、変換ブロックと空間的隣接ブロックとの境界に位置する又はこの境界の近くに位置する境界サンプル（ボーダーサンプルとも呼ばれる）間の相関関係に基づいて変換ブロック内の変換係数の符号を予測することができる。相関関係の存在は、どの変換が適用されるかに無関係であるので、２つの符号化ツール（すなわち、ＬＦＮＳＴ及び符号予測）は互いに干渉せず、共同で適用することができる。更には、ＬＦＮＳＴが一次変換の変換係数のエネルギーを更に圧縮するので、ＬＦＮＳＴの変換係数に対する符号予測は、一次変換用のものより正確であり得る。これは、ＬＦＮＳＴからの変換係数の誤った符号予測が、境界サンプルの平滑度により多くの不一致をもたらし得ることを理由にする。したがって、本開示による場合、ＬＦＮＳＴと符号予測との組合せを可能にして変換係数符号化の符号化効率を向上するための協調スキームが、本明細書において開示される。更に、逆変換の回数を削減するために予測符号の異なる組合せに対してボーダーサンプルを再構成するためのテンプレートベース仮説生成スキームも本明細書において開示される。

【0110】

別の例において、上述のように符号予測のための候補変換係数の選択のために変換ブロック内の異なる変換係数に等しい扱いを与える代わりに、隣接ブロックの境界サンプル間の不一致につながり得る変換係数には、これらの変換係数の符号がより容易に予測されることを考慮して、より大きな重みを与えることができる。本開示による場合、本明細書において開示された方法及びシステムは、符号予測の正確度を改善するための１つ又は複数の選択基準に基づいて符号予測のための候補変換係数（例えば、変換ブロックに対して符号を予測すべき変換係数）を選択することができる。例えば、再構成されたボーダーサンプルへの影響が大きい変換係数（再構成されたボーダーサンプルへの影響が小さい変換係数ではなく）が、符号予測のための候補変換係数として選択され、結果として、符号予測の正確度が改善され得る。

【0111】

更に別の例において、変換ブロック内の変換係数の符号が高い正解率（例えば、予測符号の正しさが８０％又は９０％等の閾値より高い）で予測された場合、変換ブロック及び隣接ブロックの境界サンプル間に強い相関関係が存在する。この場合、大抵のシナリオで正しく予測することができる連続する変換係数（例えば、特に、変換ブロックの先頭にあるいくつかの非０変換係数）が存在し得ることが一般的に起きる。このようなシナリオにおいて、（複数のビンの代わりに）単一のビンを使用して、連続する変換係数の符号が正しく予測されたか否かを示すことで、符号予測のシグナリングオーバーヘッドを節減する。本開示による場合、符号予測のシグナリングオーバーヘッドを削減するためのベクトルベース符号予測スキームが、本明細書において開示される。各非０変換係数の符号を別々に予測する既存の符号予測とは異なり、本開示のベクトルベース符号予測スキームは、連続する非０候補変換係数のセットをグループ化し、予測符号の正しさを示すために使用されるビン（又はビット）の平均数を効率的に削減することができるように、対応する符号を一緒に予測する。

【0112】

更に別の例において、垂直方向及び水平方向のみを使用することでは、現在ブロックと隣接ブロックとの境界にあるサンプル間の空間的不連続性を正確にキャプチャすることができないこともあり得る。したがって、より多くの方向を導入して空間的不連続性をより正確にキャプチャすることもできる。本開示による場合、垂直方向及び水平方向の両方の勾配及び斜め方向の勾配を考慮して空間的不連続性をより正確にキャプチャする改良型コスト関数が本明細書において開示される。

【0113】

図１３は、本開示のいくつかの実装形態によるブロックベースビデオ符号化における例示的な符号予測プロセス１１００を示すブロック図である。いくつかの実装形態において、符号予測プロセス１３００は、変換処理ユニット５２によって実行され得る。いくつかの実装形態において、符号予測プロセス１３００は、ビデオエンコーダ２０又はデコーダ３０の１つ又は複数のプロセッサ（例えば、１つ又は複数のビデオプロセッサ）によって実行され得る。本開示の全体を通して、ＬＦＮＳＴは、一般性を失うことなく二次変換の例として使用される。本明細書においては、二次変換の他の例も適用され得ることが企図される。

【0114】

ＥＣＭの既存設計において、ＬＦＮＳＴが適用される変換ブロックに対しては、符号予測が無効化される。しかしながら、符号予測の原理は、変換ブロックに適用される特定の変換方式（例えば、一次変換であるか二次変換であるか）又は変換コア（例えば、ＤＣＴであるかＤＳＴであるか）に依存しない変換ブロック及び空間的隣接ブロックのボーダーサンプル間の相関関係に基づいて変換係数の符号を予測することである。したがって、本明細書においては変換符号化の効率を更に改善するために、符号予測とＬＦＮＳＴを一緒に適用することができる。本開示による場合、符号予測プロセス１３００を適用して、一次変換及び二次変換が共同で適用される変換ブロック内の変換係数の符号を予測することができる。

【0115】

符号予測プロセス１３００の例示的な概要が、本明細書において提供される。最初に、符号予測プロセス１３００は、一次変換及び二次変換をビデオのビデオフレームの変換ブロックに適用して変換ブロックのための変換係数を生成することによって、係数生成操作１３０２を実行することができる。次に、符号予測プロセス１３００は、符号予測のための変換係数から候補変換係数のセットを選択することによって係数選択操作１３０４を実行することができる。続いて、符号予測プロセス１３００は、テンプレートベース仮説生成スキームを適用して、候補変換係数のセットのための複数の候補仮説から仮説を選択することによって、仮説生成操作１３０６を実行することができる。更には、符号予測プロセス１３００は、選択された仮説に関連付けられた符号候補の組合せが、候補変換係数のセットに対する予測符号のセットであることを決定することによって、符号生成操作１１０８を実行することができる。操作１３０２、１３０４、１３０６及び１３０８は、それぞれ下記においてより詳細に記述される。

【0116】

例えば、ビデオエンコーダ２０の変換処理ユニット５２は、（例えば、順方向一次変換６０３及び順方向ＬＦＮＳＴ６０４が一緒に適用される図６に示されるように）一次変換及び二次変換を共同で適用することによって、残差ビデオデータを変換ブロックの変換係数に変換することができる。変換ブロックの変換係数からの所定の数（例えば、Ｌ）の非０変換係数は、後述する１つ又は複数の選択基準に基づいて候補変換係数として選択され得、ただし、１≦Ｌ≦予測され得る符号の最大数である。次に、テンプレートベース仮説生成スキームを適用することによって、複数の候補仮説が、Ｌ個の候補変換係数に対する符号候補の異なる組合せをそれぞれ使用して生成され得、これにより、合計２^Ｌ個の候補仮説が生じ得る。各候補仮説は、変換ブロックの上境界及び左境界上の再構成されたサンプルを含み得る。次いで、水平方向、垂直方向及び斜め方向に沿った複合的な勾配を組み込んだコスト関数を使用して、各候補仮説の再構成のためのコストを計算することができる。複数の候補仮説から、最小コストに関連付けられた候補仮説が、Ｌ個の候補変換係数の符号を予測するための仮説として決定され得る。例えば、最小コストに関連付けられた候補仮説を生成するための使用される符号候補の組合せは、Ｌ個の候補変換係数に対する予測符号として使用される。

【0117】

始めに、符号予測プロセス１３００は、係数生成操作１３０２を実行することができ、係数生成操作１３０２において、一次変換（例えば、ＤＣＴ、ＤＳＴ等）及び二次変換（例えば、ＬＦＮＳＴ）を共同で変換ブロックに適用して、変換ブロックのための変換係数を生成することができる。例えば、一次変換を変換ブロックに適用して、変換ブロックのための一次変換係数を生成することができる。次いで、ＬＦＮＳＴを変換ブロックに適用して、一次変換係数に基づいてＬＦＮＳＴ変換係数を生成することができる。

【0118】

符号予測プロセス１３００は、係数選択操作１３０４を実行し続けることができ、係数選択操作１３０４において、符号予測のための候補変換係数のセットは、１つ又は複数の選択基準に基づいて変換ブロックの変換係数から選択することができる。候補変換係数の選択によって、正しく予測され得る候補変換係数の数を最大化することができ、符号予測の正確度を改善することができる。

【0119】

いくつかの実装形態において、候補変換係数のセットは、変換係数の強度に基づいて変換ブロックの変換係数から選択することができる。例えば、候補変換係数のセットは、変換ブロック内の残りの変換係数の強度より大きな強度を有する１つ又は複数の変換係数を含み得る。

【0120】

一般に、より大きな強度を有する変換係数の場合、これらの変換係数の予測符号が正しい可能性がより高くなる。理由としては、これらのより大きな強度を有する変換係数が、再構成されたサンプルの品質により大きな影響を及ぼす傾向があり、これらの変換係数に対して誤った符号を使用することは、変換ブロック及び空間的隣接ブロックの境界サンプル間に不連続性を発生させる可能性を高めるという点が挙げられる。この基本原理に基づいて、符号予測のための候補変換係数のセットは、変換ブロック内の非０変換係数の強度に基づいて変換ブロックの変換係数から選択することができる。

【0121】

符号予測のための変換係数強度ベースの並べ替えスキームを実装するための複数の方法が存在し得る。第１の実装形態において、スキームは、逆量子化後に再構成された変換係数（すなわち、逆量子化された変換係数）を、符号予測のために、より大きな強度を有する逆量子化された変換係数がより小さな強度を有する逆量子化された変換係数より前に配置されるようなソート処理に直接使用することができる。例えば、変換ブロック内のすべての非０変換係数をスキャンし、強度の降順に応じて係数リストを形成するようにソートすることができる。最も強度が大きい変換係数は、係数リストから選択され、候補変換係数のセット内に第１の候補変換係数として配置されることができ、２番目に強度が大きい変換係数は、係数リストから選択され、候補変換係数のセット等の中に第２の候補変換係数として配置されることができ、以降、選択された候補変換係数の数が所定の数Ｌに到達するまでは同様である。

【0122】

第２の実装形態において、逆量子化された変換係数を直接使用する代わりに、変換係数のそれぞれの量子化インデックス（例えば、式（６）に従って得られるｑｕａｎｔＩｄｘ）を使用して変換係数の強度を表現し、このようなソート処理のために使用することができる。式（７）に示されるように、１つの逆量子化された変換係数の値は、当該変換係数の量子化インデックスｑｕａｎｔＩｄｘと対応するステップサイズΔとの積に等しく、ステップサイズは、１つの変換ブロック内のすべての変換係数の逆量子化に関して同じであるので、２つの実装形態は、実際に数学的に同一である。しかしながら、量子化インデックスｑｕａｎｔＩｄｘはパース段階（逆量子化された変換係数の取得より早い）で得ることができので、第２の実装形態は、一部の特定のハードウェアによって実装されたときに特定の利益を提供することができる。

【0123】

いくつかの実装形態において、候補変換係数のセットは、ビデオ符号化において適用されるエントロピー符号化の係数スキャン順序に基づいて変換ブロックの変換係数から選択することができる。無処理のビデオコンテンツは大量の低周波数情報を有し得るので、ビデオコンテンツの処理から得られた非０変換係数の強度は、低周波数位置においてはより大きく、高周波数位置に向かって小さくなる傾向がある。したがって、係数スキャン順序（ジグザグスキャン、左上スキャン、水平スキャン又は垂直スキャン等）をモダンなビデオコーデックで使用して、エントロピー符号化のための変換ブロック内の変換係数をスキャンすることができる。この係数スキャン順序を使用することによって、より大きな強度（通常、より低い周波数に対応する）を有する変換係数は、より小さな強度を有する（通常、より高い周波数に対応する）変換係数より前にスキャンされる。この基本原理に基づいて、本明細書において開示された符号予測のための候補変換係数のセットは、エントロピー符号化のための係数スキャン順序に基づいて変換ブロックの変換係数から選択することができる。例えば、係数リストは、係数スキャン順序を使用して変換ブロック内のすべての変換係数をスキャンすることによって得ることができる。次いで、係数リスト内の第１のＬ個の非０変換係数は、符号予測のための候補変換係数のセットとして自動的に選択することができる。

【0124】

いくつかの実装形態において、イントラ符号化ブロックの場合、符号予測のための候補変換係数のセットは、ブロックのイントラ予測方向に基づいてブロックの変換係数から選択することができる。例えば、イントラ予測方向（例えば、ＶＶＣ及びＥＣＭにおける６７のイントラ予測方向）との間に整合性がある複数のスキャン順序を決定し、ビデオエンコーダ２０とビデオデコーダ３０の両方でルックアップテーブルとして記憶することができる。イントラブロックの変換係数を符号化するとき、ビデオエンコーダ２０又はビデオデコーダ３０は、スキャン順序からイントラブロックのイントラ予測に最も近いスキャン順序を特定することができる。ビデオエンコーダ２０又はビデオデコーダ３０は、特定されたスキャン順序を使用して、イントラブロックのすべての非０変換係数をスキャンし、これによって係数リストを得、係数リストから候補変換係数のセットとして第１のＬ個の非０変換係数を選択することができる。

【0125】

いくつかの実装形態において、ビデオエンコーダ２０は、変換ブロックの変換係数のスキャン順序を決定し、決定されたスキャン順序をビデオデコーダ３０にシグナリングすることができる。決定されたスキャン順序を示す１つ又は複数の新たなシンタックス要素は、ビットストリームを介してシグナリングされ得る。例えば、（例えば、異なる変換ブロックサイズ及び符号化モードのための）固定された複数のスキャン順序がビデオエンコーダ２０によって予め決定され、ビデオデコーダ３０と予め共有されてもよい。次いで、固定されたスキャン順序からスキャン順序を選択した後、ビデオエンコーダ２０は、選択されたスキャン順序を示すための単一のインデックスをビデオデコーダ３０にシグナリングするだけでよい。別の例において、１つ又は複数の新たなシンタックス要素は、選択された任意の変換係数のスキャン順序のシグナリングを可能にするために使用され得る。いくつかの実装形態において、１つ又は複数のシンタックス要素は、様々な符号化レベル、例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャ（又はスライス）レベル、ＣＴＵ（又はＣＵ）レベル等でシグナリングされ得る。

【0126】

いくつかの実装形態において、候補変換係数のセットは、再構成された変換ブロックのボーダーサンプルに対する変換係数の影響度スコアに基づいて変換ブロックの変換係数から選択することができる。厳密には、上記式（５）に示されるように、符号の組合せ（すなわち、予測符号又は符号予測子）の選択は、現在変換ブロックと空間的隣接ブロックとの間のサンプルの勾配の不連続性を最小化するためのコスト関数に基づく。したがって、現在変換ブロックの上ボーダー及び左ボーダー上の再構成されたサンプルに対して比較的大きな影響を伴う変換係数の符号は、正確に予測される可能性がより高い。理由としては、これらの符号の反転が、（５）において計算される境界サンプル間の平滑度に大きな変動を起こし得るという点が挙げられる。正確な符号予測の百分率を最大化するために、これらの変換係数（すなわち、再構成されたボーダーサンプルに対する影響がより大きい変換係数）の符号は、他の変換係数（すなわち、再構成されたボーダーサンプルに対する影響がより小さい変換係数）より前に予測され得る。この基本原理に基づいて、本明細書において開示された符号予測のための候補変換係数のセットは、現在変換ブロックの上ボーダー及び左ボーダー上の再構成されたサンプルに対する影響度スコアに基づいて選択することができる。

【0127】

例えば、ビデオエンコーダ２０又はデコーダ３０は、変換ブロックの再構成されたボーダーサンプルへの対応する影響度スコアの測定に基づいてすべての変換係数をソートすることができる。変換係数は、再構成されたボーダーサンプルに対してより大きい影響度スコアを有する場合、正しく予測するのがより容易なので、符号予測候補リスト内で最小のインデックスを割り当てられ得る。本明細書において開示された候補変換係数のセットは、符号予測候補リスト内で最小のＬ個のインデックスを有するＬ個の変換係数であり得る。

【0128】

いくつかの実装形態において、異なる判断基準を適用して、再構成されたボーダーサンプルに対する変換係数の影響度スコアを定量化することができる。例えば、変換係数に起因する再構成されたボーダーサンプルの変動のエネルギーを測定する値は、下記のように（Ｌ１ノルムで）得ることができる影響度スコアとして使用され得る。

【数8】

【0129】

上記式（６）中、Ｃ_ｉ，ｊは、変換ブロック内の位置（ｉ，ｊ）にある変換係数を表現する。Ｔ_ｉ，ｊ（ｌ，ｋ）は、変換係数Ｃ_ｉ，ｊに関連付けられたテンプレートの位置（ｌ，ｋ）にある対応するボーダーサンプルを表現する。Ｎ及ビＭは、それぞれ変換ブロックの幅及び高さを表現する。Ｖは、位置（ｉ，ｊ）にある変換係数の影響度スコアを表現する。

【0130】

別の例において、上記式（８）中のＬ１ノルムは、Ｌ２ノルムによって置き換えることができ、したがって、影響度スコア（例えば、変換係数に起因する再構成されたボーダーサンプルの変動のエネルギーの測定値）は、下記のＬ２ノルムを使用して計算することができる。

【数9】

【0131】

本開示による場合、（例えば、Ｔ_ｉ，ｊ（０，ｎ）及びＴ_ｉ，ｊ（ｍ，０）によって示されるような）上境界及び左境界サンプルのみが上記式（８）及び（９）中の計算のために使用されるが、本明細書において開示された変換係数選択スキームは、対応するコスト関数内で使用される現在変換ブロックの再構成されたサンプルを変更することによって、任意の符号予測スキームに適用することもできる。

【0132】

変換係数強度ベースのスキームと同様に、スキームに基づいて影響度スコアを実装するための様々な方法が存在し得る。第１の実装形態において、スキームは、式（８）及び（９）に示されるように、逆量子化された変換係数Ｃ_ｉ，ｊの強度を直接使用することができる。第２の実装形態において、量子化インデックス値ｑｕａｎｔＩｄｘを代わりに適用して、逆量子化された変換係数Ｃ_ｉ，ｊを置きかえ、これによって、対応するコスト測定値を計算することができる。厳密には、量子化インデックス値ｑｕａｎｔＩｄｘが適用された場合、式（８）及び（９）は、下記の式（１０）及び（１１）になる。

【数10】

【数11】

（式中、ｑｕａｎｔＩｄｘ_ｉ，ｊは、変換ブロック内の位置（ｉ，ｊ）における変換係数の量子化インデックスを表す。）。

【0133】

１つの逆量子化された変換係数の値は、当該変換係数の量子化インデックスｑｕａｎｔＩｄｘと、対応するステップサイズΔとの積に等しく、ステップサイズは、１つの変換ブロック内のすべての変換係数の逆量子化に関して同じであるので、２つの方法は、実際に数学的に同一である。

【0134】

符号予測プロセス１３００は、仮説生成操作１１０６を実行し続けることができ、仮説生成操作１１０６においては、テンプレートベース仮説生成スキームを適用して、複数の候補仮説から候補変換係数のセットのための仮説を選択することができる。最初に、符号候補の複数の組合せを、候補変換係数のセットに含まれる係数の合計数に基づいて決定することができる。例えば、合計Ｌ個の候補変換係数が存在する場合、候補変換係数のセットのための符号候補の複数の組合せは、符号候補の２^Ｌ個の組合せであり得る。各符号候補は、負の符号（－）又は正の符号（＋）のいずれかであり得る。符号候補の組合せのそれぞれは、Ｌ個の負の符号又は正の符号の合計を含み得る。例えば、Ｌ＝２である場合、符号候補の複数の組合せは、それぞれ（＋，＋）、（＋，－）、（－，－）及び（－，－）である符号候補からなる２^２＝４組合せを含み得る。

【0135】

次に、テンプレートベース仮説生成スキームを適用して、符号候補の複数の組合せのための複数の候補仮説をそれぞれ生成することができる。実行される必要がある逆一次変換及び逆二次変換の複雑度を低下させるために、本明細書において開示されたテンプレートベース仮説生成スキームを使用して、再構成された変換ブロックのボーダーサンプルの生成を最適化することができる。テンプレートベース仮説生成スキームを実行するための２つの例示的なアプローチが、本明細書において開示される。テンプレートベース仮説生成スキームを実装するための他の例示的なアプローチも可能であることが企図され、このようなアプローチは、本明細書において限定されない。

【0136】

第１の例示的なアプローチにおいて、符号候補の組合せのそれぞれのための対応する候補仮説を、テンプレートの線形結合に基づいて生成することができ、したがって、複数の候補仮説を、符号候補の複数の組合せのそれぞれについて生成することができる。各テンプレートは、候補変換係数のセットからの候補変換係数に対応し得る。各テンプレートは、変換ブロックの上境界及び左境界上の再構成されたサンプルのグループを表現し得る。各テンプレートは、逆二次変換及び逆一次変換を変換ブロックに適用することによって生成され得、ここで、候補変換係数のセットのそれぞれは、１に設定されたテンプレートに対応する候補変換係数（例えば、テンプレートに対応する候補変換係数が１に設定されるが、残りの候補変換係数のそれぞれが０に設定される）を除いて０に設定される。

【0137】

例えば、符号候補の組合せのそれぞれのための対応する候補仮説は、テンプレートの線形結合に設定され得る。候補変換係数のそれぞれに対応するテンプレートに関しては、テンプレートの重みのそれぞれは、候補変換係数のそれぞれに対応する逆量子化された変換係数の強度であるように設定され得る。テンプレートの線形結合に基づいた仮説生成の一例が図１４に示され、これについては、下記においてより詳細に記述する。

【0138】

候補変換係数の符号を予測するために、ビデオエンコーダ２０又はデコーダ３０は、コスト関数から計算されたコスト値を最小化することができる符号候補の組合せに関連付けられた仮説を特定する前に、すべての候補仮説を通過することができる。上記第１の例示的なアプローチにおいて、各候補仮説は、複数のテンプレートの組合せに基づいて生成することができるが、このような組合せに伴われるサンプル１つ当たりの計算（例えば、加算、乗算及びシフト）を考慮すると、比較的複雑なものである。コスト関数から計算されたコスト値を最小化する仮説の特定に関連付けられた計算複雑度を削減するために、本明細書においては、第２の例示的なアプローチが導入される。

【0139】

第２の例示的なアプローチにおいて、複数の候補仮説に関連付けられた符号候補の複数の組合せは、それぞれ複数の候補仮説のための複数の仮説インデックスとして扱われ得る。例えば、デジタル０及び１は、それぞれ正の符号（＋）及び負の符号（－）を表現するように構成され得る。候補仮説に対応する符号候補の組合せは、候補仮説に対する一意な表現（すなわち、仮説インデックス）として使用され得る。仮説インデックス０００は、すべての３つの符号候補を正に設定する（例えば、３つの符号候補が（＋，＋，＋）である）ことによって生成される候補仮説を表現し得る。同様に、仮説インデックス０１０は、第１の符号候補及び第３の符号候補を正に設定する一方で、第２の符号候補を負に設定する（例えば、３つの符号候補は（＋，－，＋）である。）ことによって生成された候補仮説を表現することができる。

【0140】

次いで、複数の候補仮説は、複数の仮説インデックスのＧａｒｙ符号順序に基づいて生成することができ、結果として、過去の仮説インデックスを有する過去の候補仮説の再構成されたサンプルを使用して、現在の仮説インデックスを有する現在候補仮説を生成することができる。現在候補仮説の現在の仮説インデックスは、複数の仮説インデックスのＧａｒｙ符号順序において、過去の候補仮説の過去の仮説インデックスの直後にあり得る。現在の仮説インデックスは、過去の仮説インデックスに関連付けられた符号候補を正（又は負）から負（又は正）に変更することによって生成され得る。例えば、現在の仮説インデックスは、過去の仮説インデックス内の単一の「０」（又は「１」）を「１」（又は「０」）に変更することによって得ることができる。

【0141】

例えば、複数の仮説インデックスのＧａｒｙ式符号順序に基づいて複数の仮説インデックスを並べ替えて、並べ替えられた仮説インデックスのシーケンスを生成することができる。並べ替えられた仮説インデックスのシーケンス内の第１の仮説インデックスの場合、第１の仮説インデックスに対応する第１の候補仮説は、候補変換係数のセットのそれぞれが１に設定された変換ブロックに逆二次変換及び逆一次変換を適用することによって生成され得る。第１の仮説インデックスの直後にある並べ替えられた仮説インデックスのシーケンス内の第２の仮説インデックスの場合、第２の仮説インデックスに対応する第２の候補仮説は、（ａ） 第１の仮説インデックスに対応する第１の候補仮説及び（ｂ） 第２の候補仮説のための調整項に基づいて生成され得る。下記の表３は、候補変換係数の数が３である（例えば、Ｌ＝３）場合に、ＬＦＮＳＴ用のすべての候補仮説を生成する例示的なプロセスを示す。

【表3】

【0142】

上記表３中、第１列は、符号候補からなる２^３＝８組合せをそれぞれ示す。第２列は、デジタル０及び１を使用して正の符号（＋）及び負の符号（－）のそれぞれを表現することによって、符号の組合せ候補に対応する仮説インデックスをそれぞれ示す。第２列の仮説インデックスは、Ｇａｒｙ式符号の順序（例えば、０００、００１、０１１、０１０、１１０、１１１、１０１、１００の順序で）に従って順序付けられる。第３列は、符号の組合せ候補及び仮説インデックスに対応する候補仮説をそれぞれ示す。第４列は、それぞれ候補仮説の計算を示す。

【0143】

表３中、第４列のＴＸＹＺは、特定の変換係数が１に設定されるが他のすべての変換係数が０に等しい変換ブロックの係数行列に逆変換を適用することによって生成され得る、対応するテンプレート（すなわち、変換ブロックの上境界及び左境界上の再構成されたサンプル）を表現する。例えば、Ｔ１００は、第１の符号候補に対応する変換係数のみが１に設定されるが係数行列内のすべての変換係数が０に設定される係数行列に逆変換を適用することによって生成される、対応するテンプレートを表現する。Ｃ_０、Ｃ_１及びＣ_２は、それぞれ第１の符号候補、第２の符号候補及び第３の符号候補に関連付けられた逆量子化された変換係数の絶対値を表現する。

【0144】

表３を参照すると、第１の仮説インデックス０００の場合、第１の候補仮説Ｈ０００は、候補変換係数のそれぞれが１に設定された変換ブロックに関連付けられた係数行列に逆二次変換及び逆一次変換を適用することによって生成され得る。第１の仮説インデックス０００の直後にある第２の仮説インデックス００１の場合、第２の候補仮説Ｈ００１は、（ａ） 第１の候補仮説Ｈ０００及び（ｂ） 第２の候補仮説のための調整項（例えば、－Ｃ_２ ^＊Ｔ００１）に基づいて生成され得る。同様に、第２の仮説インデックス００１の直後にある第３の仮説インデックス０１１の場合、第３の候補仮説Ｈ０１１は、（ａ） 第２の候補仮説Ｈ００１及び（ｂ） 第３の候補仮説のための調整項（例えば、－Ｃ_１ ^＊Ｔ０１０）に基づいて生成され得る。第３の仮説インデックス０１１の直後にある第４の仮説インデックス０１０の場合、第４の候補仮説Ｈ０１０は、（ａ） 第３の候補仮説Ｈ０１１及び（ｂ） 第４の候補仮説のための調整項（例えば、Ｃ_２ ^＊Ｔ００１）に基づいて生成され得る。

【0145】

続いて、最小コストに関連付けられた仮説は、水平方向、垂直方向及び斜め方向に沿った複合的な勾配を組み込んだコスト関数に基づいて複数の候補仮説から決定され得る。上述のように、コスト関数が（例えば、上記の式（５）に示されるように）水平及び垂直方向の勾配のみを利用する場合、コスト関数は、非常に非一様な画像信号用にはうまく機能しないこともある。本開示による場合、１つ又は複数の斜め方向に沿った勾配も、コスト関数の正確度を改善するために利用される。例えば、左斜め方向及び右斜め方向を含む２つの斜め方向もコスト関数に組み込まれ得る。例えば、２つの斜め方向用のコスト関数は、下記式（１２）及び（１３）に従って表すことができる。

【数12】

【数13】

【0146】

上記式（８）又は（９）中、Ｂ_{－１，ｎ－１}、Ｂ_{－２，ｎ－２}、Ｂ_{－１，ｎ＋１}及びＢ_{－２，ｎ＋２}は、変換ブロックの上隣接ブロックからの変換ブロックの隣接サンプルを表現する。Ｃ_{ｍ－１，－１}、Ｃ_{ｍ－２，－２}、Ｃ_{ｍ＋１，－１}及びＣ_{ｍ＋２，－２}は、変換ブロックの左隣接ブロックからの変換ブロックの隣接サンプルを表現する。Ｐ_０，ｎ及びＰ_ｍ，０は、それぞれ変換ブロックの上境界及び左境界上の再構成されたサンプルを表現する。Ｎ及びＭは、それぞれ変換ブロックの幅及び高さを表現する。ｃｏｓｔＤ１及びｃｏｓｔＤ１はそれぞれ、左斜め方向及び右斜め方向用の左斜めコスト関数及び右斜めコスト関数を表現する。

【0147】

斜め方向の２つのコスト関数（例えば、ｃｏｓｔＤ１及びｃｏｓｔＤ２）は、水平及び垂直コスト関数のもの（例えば、上記式（５）に示されるｃｏｓｔＨＶ）と共同で使用されてもよい。次いで、符号予測のためのコスト関数が、水平及び垂直方向に沿った勾配を組み込んだ水平及び垂直コスト関数、左斜め方向に沿った勾配を組み込んだ左斜めコスト関数及び右斜め方向に沿った勾配を組み込んだ右斜めコスト関数に基づいて決定され得る。例えば、コスト関数は、式（１４）に記載された水平及び垂直コスト関数、左斜めコスト関数及び右斜めコスト関数の重み付けされた和であり得る。

【数14】

【0148】

上記式（１４）中、ωは、左斜めコスト関数及び右斜めコスト関数用の重みを表す。

【0149】

別の例において、コスト関数は、式（１５）に記載された水平及び垂直コスト関数、左斜めコスト関数及び右斜めコスト関数の最小値であり得る。

【数15】

【0150】

上記に示された式（５）に比較したとき、本明細書において開示された式（１４）又は（１５）中のコスト関数は、下記において図１６Ａ及び図１６Ｂを参照しながらより詳細に記述する斜め方向に沿ったコスト関数ｃｏｓｔＤ１、ｃｏｓｔＤ２をサポートするために、より多くの隣接画素を必要とし得る。

【0151】

いくつかの実装形態において、各候補仮説についての対応するコストは、上記式（１４）又は（１５）を使用して決定され得る。次いで、複数のコストを、複数の候補仮説のそれぞれについて計算することができる。複数のコストの中での最小コストが決定され得る。最小コストに関連付けられた候補仮説を複数の候補仮説から決定し、符号予測のための仮説であるように選択することができる。

【0152】

符号予測プロセス１３００は、符号生成操作１１０８を実行し続けることができ、符号生成操作１１０８においては、選択された仮説に関連付けられた符号候補の組合せが、候補変換係数のセットに対する予測符号のセットであることが決定される。例えば、選択された仮説を生成するために使用された符号候補（例えば、Ｌ個の符号候補）の組合せは、Ｌ個の候補変換係数に対する予測符号として使用され得る。

【0153】

いくつかの実装形態において、符号生成操作１３０８は、ベクトルベース符号予測スキームを予測符号のセットに適用して、候補変換係数のセットのための符号シグナリングビットのシーケンスを生成することを更に含み得る。符号シグナリングビットのシーケンスを含むビットストリームは、ビデオエンコーダ２０によって生成され、図１の記憶装置３２に記憶され得る。代替的には又は更には、ビットストリームは、図１のリンク１６を介してビデオデコーダ３０に伝送され得る。

【0154】

上記のように、変換ブロック内の変換係数の符号がうまく予測される場合、連続する複数の変換係数の符号を正しく予測することができる可能性が非常に高い。この場合、既存の符号予測設計のシグナリングスキームは、変換係数のそれぞれの対応する符号を正しく予測することができることを別に示すために、複数の「０」のビンをシグナリングする必要があるので、変換ブロックの符号値をシグナリングするためのオーバーヘッドの観点から明らかに非効率的である。既存の符号予測スキームの例示的な実装形態は、下記において図１５Ａを参照しながらより詳細に記述する。

【0155】

本開示による場合、符号シグナリングの効率は、本明細書において開示されたベクトルベース符号予測スキームを適用することによって改善され得る。厳密には、変換ブロックのための候補変換係数を複数のグループに分割することができ、各グループ内の候補変換係数の符号を一緒に予測することができる。この場合、グループ内の候補変換係数の元の符号（又は真の符号）がそれぞれ予測符号と同じであるとき、グループ内のすべての符号が正しく予測されたことを示すために、「０」の値を有するビンのみをビットストリームに含めて送信すればよい。そうでない場合（すなわち、元の符号が予測符号と異なる候補変換係数がグループ内に少なくとも１つ存在する場合）、最初に、グループ内の候補変換係数についての符号のすべてが正しく予測されていないことを示すために、「１」の値を有するビンをビットストリームに含めてシグナリングすることができる。次いで、グループ内の予測符号のそれぞれの対応する正しさを別々に通知するために、追加ビンが、ビットストリームに含めてビデオエンコーダ２０からビデオデコーダ３０にシグナリングされてもよい。本明細書において開示されたベクトルベース符号予測スキームの例示的な実装形態については、下記において図１５Ｂを参照しながらより詳細に記述する。

【0156】

いくつかの実装形態において、候補変換係数のセットは、候補変換係数の複数のグループに分割することができる。候補変換係数のグループのそれぞれに対しては、予測符号の正しさを示すために、１つ又は複数の符号シグナリングビットが、候補変換係数のグループのために生成され得る。

【0157】

一例において、符号シグナリングビットは、候補変換係数のグループの元の符号が候補変換係数のグループの予測符号と同一であるかに基づいて生成され得る。候補変換係数のグループの元の符号が候補変換係数のグループの予測符号と同一であることに応答して、ゼロ（「０」）の値を有するビンが生成され得、符号シグナリングビットとしてビットストリームに追加され得る。例えば、ビットストリームは、候補変換係数のグループの予測符号が正しく予測されたことを示す「０」を含み得る。

【0158】

一方、候補変換係数のグループの元の符号が候補変換係数のグループの予測符号と同一でないことに応答して、イチ（「１」）の値を有するビンが生成され得る。候補変換係数のグループの予測符号の対応する正しさを通知するための追加ビンのセットも生成され得る。次いで、１の値を有するビン及び追加ビンのセットは、符号シグナリングビットとしてビットストリームに追加され得る。例えば、追加ビンのセットは、元の符号と候補変換係数のグループの予測符号とのＸＯＲ結果であり得る。「０」の値を有する追加ビンは、追加ビンに対応する候補変換係数の予測符号が正しく予測されたことを示し得るが、「１」の値を有する追加ビンは、追加ビンに対応する候補変換係数の予測符号が誤って予測されたことを示し得る。ビットストリームは、（ａ） 候補変換係数のグループの予測符号が正しく予測されないことを示す「１」と、（ｂ） どの予測符号が正しく予測されたか及びどの予測符号が誤って予測されたかを示す追加ビンのセットとを含み得る。

【0159】

符号シグナリングビットは、他のコンテキストモデルを使用して同様に生成することもできる。例えば、符号シグナリングビットは、候補変換係数のグループの予測符号が正しく予測されたことを示す「０」及び予測符号が正しくないことを示すイチ（「１」）の値を有するビンを含み得る。符号予測が誤っている候補変換係数のグループの予測符号の対応する正しさを通知するための追加ビンのセットも生成され得る。

【0160】

いくつかの実装形態において、候補変換係数のグループのそれぞれのサイズは、１つ又は複数の所定の判断基準に基づいて適応的に変更することができる。１つ又は複数の所定の判断基準は、変換ブロックの幅又は高さ、変換ブロックの符号化モード（例えば、イントラ符号化又はインター符号化）及び変換ブロック内の非０変換係数の数等を含み得る。いくつかの実装形態において、候補変換係数のグループのそれぞれのサイズは、ＳＰＳ、ＰＰＳ、スライス若しくはピクチャレベル、ＣＴＵ若しくはＣＵレベル又は変換ブロックレベル等の様々な符号化レベルでビットストリームに含めてシグナリングされ得る。

【0161】

いくつかの実装形態において、１つ又は複数の制約事項が、本明細書において開示されたベクトルベース符号予測スキームの適用シナリオを限定するために適用され得る。例えば、本明細書において開示されたベクトルベース符号予測スキームを適用して、変換ブロック内の変換係数の第１の部分の符号を処理することができるが、変換ブロック内の変換係数の第２の部分の符号は、既存の符号予測スキームを使用して処理することができる。更なる例において、本明細書において開示されたベクトルベース符号予測スキームは、変換ブロックからの第１のＮ（例えば、Ｎ＝２、３、４、５、６、７又は８等）非０候補変換係数に適用可能であり得るが、変換ブロックのうちの他の候補変換係数の符号は、本開示において後述する図１５Ａに示される既存の符号予測スキームを使用して処理することができる。

【0162】

本開示による場合、本明細書において開示された符号予測プロセス１１００は、シナリオによっては無効化されることもある。例えば、ＬＦＮＳＴがイントラテンプレートマッチングモードによって符号化された符号化ブロックに適用される場合、一次変換は、ＤＳＴ－ＶＩＩであり得る。ＥＣＭにおけるＬＦＮＳＴコア変換は主に、一次変換がＤＣＴ－ＩＩである場合に学習されるので、イントラテンプレートマッチングブロックの対応するＬＦＮＳＴ変換係数は、他のＬＦＮＳＴブロックのものに比較して異なる特性を示し得る。この基本原理基づいて、符号予測プロセス１３００は、現在符号化ブロックがイントラテンプレートマッチングブロックであり、ＬＦＮＳＴを使用して符号化される場合には無効化され得る。

【0163】

本開示による場合、ＬＦＮＳＴブロックに対する予測符号の最大数及び非ＬＦＮＳＴブロックに対する予測符号の最大数は、符号予測の計算複雑度を制御することが難しいこともある。例えば、ＬＦＮＳＴブロックに対する予測符号の最大数は、６（又は４）に設定され得るが、非ＬＦＮＳＴブロックに対する予測符号の最大数は、６（又は４）と異なる値を有し得る。更には、予測符号の最大数の異なる値を、ＬＦＮＳＴを適用するビデオブロック及びＬＦＮＳＴを適用しないビデオブロックに対して適用することができる。いくつかの実装形態において、ビデオエンコーダ２０は、対応する複雑度又はエンコーダの性能の優先順位に基づいてＬＦＮＳＴブロックに対する予測符号の最大数を決定することができ、ビデオデコーダ３０にシグナリングすることができる。ＬＦＮＳＴブロックに対する予測符号の最大数がビデオデコーダ３０にシグナリングされる場合、この予測符号の最大数は、様々な符号化レベル、例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャ若しくはスライスレベル又はＣＴＵ若しくはＣＵレベルでシグナリングされ得る。いくつかの実装形態において、ビデオエンコーダ２０は、ＬＦＮＳＴを適用するビデオブロック及びＬＦＮＳＴを適用しないビデオブロックの予測符号の最大数の異なる値を決定し、ビデオエンコーダ２０からビデオデコーダ３０に最大数の値をシグナリングすることができる。

【0164】

本開示による場合、一次変換と二次変換の両方の変換係数は固定であるので、ビデオエンコーダ２０又はビデオデコーダ３０は、異なる変換ブロックサイズ及び一次変換と二次変換との異なる組合せのためのテンプレート（例えば、テンプレートのサンプル）を予め計算することができる。ビデオエンコーダ２０又はビデオデコーダ３０は、最適化された実装のためにテンプレートのサンプルをオンザフライ方式で生成する複雑さを回避するために、テンプレート（例えば、テンプレートのサンプル）を内部メモリ又は外部メモリに記憶することができる。テンプレートのサンプルは、ストレージサイズとサンプル精度との異なるトレードオフを実現するために、異なる分数精度で記憶され得る。例えば、ビデオエンコーダ２０又はビデオデコーダ３０は、固定係数（例えば、６４、１２８又は２５６）を用いて流動的なテンプレートのサンプルをスケーリングし、スケーリングされたサンプルを最も近い整数に丸めることができる。丸められたサンプルは、メモリに記憶され得る。次いで、テンプレートが候補仮説を再構成するために使用された場合、最初に、当該テンプレートの対応サンプルを元の精度にスケーリング解除して、候補仮説における生成されたサンプルが正しい動的範囲に収まることを確実にすることができる。

【0165】

図１４は、本開示のいくつかの実装形態によるテンプレートの線形結合に基づいた例示的な仮説生成を示す図式である。図１４において、パターン化された４つのブロック０～３は、符号を予測すべき候補変換係数を表現する。係数Ｃ_０、Ｃ_１、Ｃ_２及びＣ_３は、４つの候補変換係数の逆量子化された変換係数の対応値を表現する。テンプレート０～３は、それぞれ４つの候補変換係数０～３に対応し得る。例えば、候補変換係数０に対応するテンプレート０は、逆二次変換及び逆一次変換を変換ブロックに適用することによって生成され得、ここで、候補変換係数０が１に設定され、変換ブロック内の残りの候補変換係数が０に設定される。同様に、テンプレート１～３のそれぞれが生成され得る。候補仮説は、テンプレート０～１と重みＣ_０～Ｃ_３とをそれぞれ足し合わせることによって生成され得る。

【0166】

図１５Ａは、いくつかの例による既存の符号予測スキームの例示的な実装形態を示す図式である。図１５Ｂは、本開示のいくつかの実装形態によるベクトルベース符号予測スキームの例示的な実装形態を示す図式である。既存の符号予測スキームと、本明細書において開示されたベクトルベース符号予測スキームとの例示的な比較は、本明細書において、図１５Ａ及び図１５Ｂを参照しながら説明される。

【0167】

図１５Ａ及び図１５Ｂにおいて、符号予測のための候補変換係数として選択される変換ブロック内の６つの非０変換係数が存在する。候補変換係数は、ラスタスキャン順序を使用して変換ブロックの係数行列からスキャンされる。候補変換係数の元の符号及び予測符号も、図１５Ａ及び図１５５Ｂに示される。例えば、「－２」の値を有する第１の候補変換係数の元の符号と予測符号は両方とも、「－」である（図１５Ａ及び図１５５Ｂにおいて「１」と表現される）。「３」の値を有する第２の候補変換係数の元の符号と予測符号は両方とも、「＋」である（図１３Ａ及び図１３Ｂにおいては「０」として表現される）。「１」の値を有する第３の候補変換係数の元の符号及び予測符号は、それぞれ「＋」及び「－」である（図１３Ａ及び図１３Ｂにおいては、それぞれ「０」及び「１」と表現される）。第３の候補変換係数の元の符号は、誤って予測される。図１５Ａ及び１５Ｂに示されるように、第３の変換係数を除いて、他のすべての候補変換係数の元の符号は、対応する予測符号と同じである（すなわち、正しく予測されている）。

【0168】

図１５Ａを参照すると、合計６つのビン（すなわち、０、０、１、０、０及び０）が生成され、各ビンは、候補変換係数に対応する。６つのビンは、６つの候補変換係数の元の符号と予測符号とのＸＯＲ演算を実行することによって生成され得る。６つのビンを使用して、対応する６つの予測符号の正しさを示すことができる。例えば、それぞれが「０」の値を有する第１のビン及び第２のビンは、第１及び第２の候補変換係数に対する予測符号が正しいことを意味する。「１」の値を有する第３のビンは、第３の変換係数に対する予測符号が正しくないことを示す。６つのビンが、エントロピー符号化のためにＣＡＢＡＣに送信され得る。

【0169】

図１５Ｂを参照すると、本明細書において開示されたベクトルベース符号予測スキームは、６つの候補変換係数を３つのグループに分割し、各グループは、連続する２つの候補変換係数を含む。グループ＃０及び＃２内の候補変換係数の符号を正しく予測することができるので、それぞれが「０」の値を有する２つのビンのみが、２つのグループのために生成される。グループ＃１の場合、グループ＃１は、符号を正しく予測することができない第３の候補変換係数を含むので、「１」の値を有するビン（図１５Ｂでは下線が引かれている）が生成され、グループが少なくとも、元の符号が予測符号と異なる候補変換係数を少なくとも含むことを示すためにビットストリームに含めてシグナリングされる。続いて、グループ＃１内の第３及び第４の係数について、符号が正しく予測され得るかを示すために、「１」及び「０」の値を有する２つの追加ビンが生成される。これに対応して、本明細書において開示されたベクトルベース符号予測スキームが適用された場合、ＣＡＢＡＣ用に生成された合計５つのビンが存在するが、これは、図１５Ａに示される既存の符号予測スキームによって生成されたビンより少ないビットを有する。したがって、本明細書において開示されたベクトルベース符号予測スキームを適用することによって、シグナリングオーバーヘッドを削減することができ、変換ブロックの符号化効率を改善することができる。

【0170】

本開示による場合、図１５Ｂに示されるようにラスタスキャン順序が変換ブロックの係数行列から候補変換係数を得るために使用されるが、任意の他のスキャン順序が、符号予測のための候補変換係数を選択するために使用されてもよい。例えば、候補変換係数は、上記１つ又は複数の選択基準に基づいて選択することができる。類似の記述は、本明細書では繰り返されない。

【0171】

図１６Ａは、本開示のいくつかの実装形態による左斜め方向に沿った左斜めコスト関数の例示的な計算を示す図式である。図１６Ｂは、本開示のいくつかの実装形態による右斜め方向に沿った右斜めコスト関数の例示的な計算を示す図式である。ｃｏｓｔＨＶの計算のための上記式（８）に比較すると、上記式（１４）又は（１５）に示された左斜めコスト関数ｃｏｓｔＤ１又は右斜めコスト関数ｃｏｓｔＤ２は、斜め方向に沿ったコスト関数ｃｏｓｔＤ２の計算をサポートするためにより多くの隣接画素（図１６Ａ及び図１６Ｂのエリア１６０２、１６０４及び１６６０６内でマーキングされた画素として示される）を必要とすることがある。これらの画素がエリア１６０２、１６０４及び１６０６内で利用可能でない場合、これらの利用不能の位置を埋めるために最近接パディング法が採用され得る。例えば、エリア１６０６内のＢ_－１，４が利用不能である場合、Ｂ_－１，４に最も近い利用不能の画素であるＢ_－１，３が、Ｂ_－１，４の位置を埋めるために使用される（例えば、Ｂ_－１，４＝Ｂ_－１，３）。エリア１６０２内のＢ_{－１，－１}（Ｃ_{－１，－１}とも表される）、Ｂ_{－１，－２}（Ｃ_{－１，－１}）、Ｂ_{－２，－１}（Ｃ_{－１，－１}）及びＢ_{－２，－２}（Ｃ_{－１，－１}）が利用不能である場合、利用不能の位置を埋めるためのいくつかの例示的な方法が本明細書において開示される。

【0172】

第１の例示的な方法において、利用不能の位置のそれぞれは、下記の式（１６）～（１９）に示されるように最も近い利用不能の画素を重み付けすることによって埋められ得る。

【数16】

【数17】

【数18】

【数19】

【0173】

第２の例示的な方法において、利用不能の位置のうちの一部は、それぞれ最も近い利用不能の画素によって埋められ得る。例えば、エリア１６０２内のＢ_{－１，－２}が利用不能である場合、Ｂ_{－１，－２}は、Ｃ_０，－２によって埋められる。Ｂ_{－２，－１}が利用不能である場合、Ｂ_{－２，－１}は、Ｂ_－２，０によって埋められる。しかしながら、Ｂ_{－２，－２}及びＢ_{－１，－１}が利用不能である場合、Ｂ_{－２，－２}及びＢ_{－１，－１}は、上記式（１６）及び（１７）に従って計算される２つの最も近い隣接画素の平均によって埋めることができる。

【0174】

第３の例示的な方法において、利用不能の再構成された隣接サンプルのみを使用してコスト関数を計算する。現在ブロックの上／左境界に沿った１つの境界サンプルのコスト計算が、何らかの利用不能の再構成されたサンプルを包含する場合、これらの利用不能の再構成されたサンプルは、対応する方向のコストの計算に使用されない。例えば、図１６Ｂでは、境界サンプルＰ_０，０、Ｐ_０，１及びＰ_１，０のみが右上方向のコスト関数の値を計算するために使用される一方で、Ｐ_０，２、Ｐ_０，３、Ｐ_２，０及びＰ_３，０は、これらのコスト計算が利用可能でない少なくとも１つの参照サンプルを参照するので、使用されない。

【0175】

本開示による場合、左対角線及び右対角線（すなわち、図１６Ａ及び図１６Ｂにおいて示される１３５°及び４５°）は、上記式（１４）又は（１５）に示されるコスト関数の計算において、例示用として使用されるが、任意の他の測定成分（例えば、１つ又は複数の任意の方向に沿った連続性測定値）が符号予測のためのコスト関数の計算に導入され得ることが企図される。

【0176】

第４の実装形態において、１つの現在ブロックの隣接サンプル間のテクスチャ情報の勾配分析に基づくサンプル外挿方法は、符号予測のためのコスト関数の精度を改善するために実装され得る。固定された外挿方向（例えば、上記隣接サンプルに対する垂直外挿及び水平隣接サンプルに対する水平外挿）を常に使用する代わりに、再構成された現在ブロックの上隣接及び左隣接サンプルのテクスチャ分析をエンコーダとデコーダの両方で実行することができ、隣接サンプルの勾配の最も支配的な方向は、現在ブロックの上境界及び左境界に沿って境界サンプルを外挿するために選択され得る。

【0177】

例えば、図１７は、本開示のいくつかの実装形態による再構成された現在ブロックの隣接サンプル内における支配的な勾配方向をキャプチャするための方法１７００の流れ図である。方法１７００は、ビデオエンコーダ２０又はビデオデコーダ３０に関連付けられたビデオプロセッサによって実装され得、後述するステップ１７０２～１７１２を含み得る。ステップのうちの一部は、本明細書において提供された本開示を実行するための任意選択的なものであり得る。更に、ステップのうちの一部は、同時に実行されてもよいし、又は図１７に示されたものとは異なる順序で実行されてもよい。

【0178】

ステップ１７０２において、勾配導出のために現在ブロックに対して参照サンプルが選択される。いくつかの実装形態において、参照サンプルは、テンプレートを形成する。例えば、図１８Ａは、本開示のいくつかの実装形態による、コスト関数のサンプル外挿方向の勾配ベース選択における例示的なテンプレートサンプル及び勾配フィルターウィンドウを示す図式である。図１８Ａに示されるように、現在ブロックに対して上及び左にある再構成された隣接サンプルのＮ行及び列のテンプレートは、勾配導出用の参照サンプルとして使用される。図１８Ａの例において、テンプレートサイズは、３に等しい。

【0179】

ステップ１７０４において、勾配ヒストグラム（ＨｏＧ）が初期化される。例えば、ＨｏＧは、いくつかの成分を伴って生成され得、ここで、勾配ヒストグラムの各成分は、予め規定された角度方向における勾配の累積強度に対応する。各成分は、０として初期化され得る。例えば、図１８Ｂは、本開示のいくつかの実装形態による、コスト関数のサンプル外挿方向の勾配ベース選択における例示的な勾配ヒストグラム（ＨｏＧ）を示す図式である。実際、本開示の勾配分析スキームにおいては、予め規定された異なる方向を使用することができる。一実装形態において、ＶＶＣ／ＥＣＭにおける常用のイントラ予測の６５の角度方向に関して規定されたものと同じ方向が使用される。

【0180】

ステップ１７０６において、勾配フィルターウィンドウを参照サンプルに適用して勾配のそれぞれを計算する。図１８Ａに示されるように、１つのＮ×Ｎ勾配フィルターウィンドウを、テンプレートの中央の行／列に位置するテンプレートサンプルのそれぞれに適用して（すなわち、フィルターウィンドウは、サンプル位置を中心とする。）、対応する水平勾配Ｇ_ｈ及び垂直勾配Ｇ_ｖのそれぞれを計算する。

【0181】

ステップ１７０８において、参照サンプルの勾配の角度（Ａｎｇｌｅ）及び強度（Ａｍｐ）を計算する。例えば、サンプルの勾配は、式（２０）及び（２１）に従って計算することができる。

【数20】

【数21】

【0182】

ステップ１７１０において、勾配の角度は、予め規定された方向のうちの１つに変換することができ、ＨｏＧ中の対応する成分が更新される。例えば、図１８に示されるように、各Ａｎｇｌｅに対するＨｏＧ中のＡｍｐｌｉｔｕｄｅは、当該Ａｎｇｌｅのサンプル勾配の強度（Ａｍｐ）を加算することによって更新される。結果として、Ａｍｐｌｉｔｕｄｅは、累積強度である。

【0183】

ステップ１７１２において、最大の累積強度を有するＨｏＧの成分は、現在ブロックのコスト関数用の隣接サンプルを外挿するために使用される方向として選択される。例えば、図１８に示されるように、最大の成分は丸で囲まれる。

【0184】

上記方法において、最大の強度を伴う方向が、サンプル外挿のための方向として選択される。このような方法は、何らかのノイズ（例えば、量子化誤り及び／又は他の符号化モジュールに起因する符号化ノイズ）が存在する場合、必ずしも信頼性が高いものであるとは限らないこともあり得る。このような課題を解決するために、支配的な勾配方向が外挿方向として採用される前に特定の条件を適用することができる。

【0185】

例えば、一実装形態において、選択された支配的な勾配方向は、選択された勾配方向に属する十分なテンプレートサンプルが存在する場合（例えば、選択された方向に属するサンプルの百分率が、所定の閾値を超える等、十分に高い場合）場合にのみコスト関数計算のサンプル外挿のために有効化され得る。そうでない場合（例えば、選択された方向に属するテンプレートサンプルの数が十分に多くない場合）、デフォルトの外挿（例えば、上隣に対する垂直外挿及び左隣に対する水平外挿）が依然として適用される。

【0186】

別の実装形態において、選択された支配的な勾配方向は、支配的な勾配方向に関連付けられた勾配強度が十分に大きい場合（例えば、選択された勾配方向の強度の、すべての勾配方向の強度の和に対する比が別の所定の閾値より大きい場合）場合にのみコスト関数計算のサンプル外挿のために有効化され得る。そうでない場合（例えば、選択された方向の勾配強度が有意でない場合）、デフォルトの外挿が依然として適用される。

【0187】

更に別の実装形態において、上記制約事項は一緒に適用される。すなわち、選択された方向に関連付けられたテンプレートサンプルの数が十分に多く、勾配強度が十分に有意である場合にのみ、選択された方向のみが、現在ブロックのサンプル外挿のために有効化される。そうでない場合、デフォルトの外挿が依然として適用される。

【0188】

更に別の実装形態において、選択された支配的な勾配方向が有効化される場合、選択された方向に対して直行する方向は、１つのブロック内の符号を予測するときのコスト関数の計算においてサンプル外挿のために使用される。例えば、選択された方向が４５度である場合、現在ブロックの上境界及び左境界に沿ってサンプルを外挿する方向として１３５度が使用される。同様に、選択された方向が１３５度である場合、現在ブロックの上境界及び左境界に沿ってサンプルを外挿する方向として４５度が使用される。

【0189】

上記の開示された実装形態において、符号予測は、（例えば、図７に示されるように）１つの変換ブロックの左上４×４サブブロック内に位置する係数の符号を予測するためにのみ適用可能である。一般に、一般的な変換ブロックのエネルギーの大部分は通常、低周波数においていくつかの変換係数に沿って集中するので、このような方法は合理的である。これに対応して、左上隅の変換係数の符号は、他の場所にある変換係数より統計学的に簡単である。しかしながら、この仮定は、常に真であるとは限らないこともある。例えば、複雑なモーションフィールドを有するインターブロックの場合（例えば、１つのインターブロックが複数のサブブロックに分割され、各サブブロックが固有のＭＶを有し得るサブブロックインターモード）、予測信号においては、異なる動き間の境界に沿って生成された大量のエッジが存在し得る。このような場合、ＤＣＴ／ＤＳＴ変換を適用した後に、無視できない高周波数変換係数が生成されることになるが、これらの係数は、左上４×４隅から突出し得る。前述の高周波数係数の符号は、上記の開示された符号予測設計に従って予測することができない。

【0190】

いくつかの代替的な実装形態において、順方向ＬＦＮＳＴに入力され、したがって、後で符号予測のために使用される変換係数のエリアは、符号化性能を更に改善するために、（例えば、図７に示されるような）いくつかの左上４×４サブブロックから拡大されてもよい。例えば、図１９は、いくつかの例による変換係数の符号を予測するための符号予測エリアを示す図式である。

【0191】

厳密には、現在変換ブロックの左上Ａ×Ｂエリアの符号は、予測のために選択することができ、ここで、Ｍ及びＮは、（２２）に従って計算される。

【数22】

（式中、幅及び高さは、変換ブロックの幅及び高さであり、ＴＨは、符号予測のための最大エリアサイズ（エリアサイズ閾値とも呼ばれる）である。）。ＴＨの値の操作は、符号予測技法に関する異なる性能と複雑度のトレードオフをもたらし得る。符号予測のエリアを拡大することで、符号を予測する予定の変換係数の数を増大させることができるが、これは、エンコーダとデコーダの両方でテストされる必要がある符号組合せの数が増大することによる計算複雑度の増大との引き換えで成立し得る。

【0192】

いくつかの実装形態において、異なる方法が、ＴＨの値の決定のために使用され得る。一実装形態において、すべてのシーケンス及び符号化シナリオのＴＨには固定値（例えば、８、１６及び３２等）を使用することができる。エリアサイズ閾値ＴＨが固定であれば、エンコーダ及びデコーダは、符号予測のための変換係数を探し当てるときに、同じ値（すなわち、シグナリングされることがない）を使用して、対応するエリアを決定する。別の実装形態において、エンコーダには、ビデオシーケンスの特定の特性及び好ましい性能と複雑度とのトレードオフに応じて最適なエリアサイズ閾値を決定し、対応する値をエンコーダからデコーダにシグナリングする柔軟性が与えられ得る。

【0193】

例示的な一方法において、エリアサイズ閾値は、どのサイズが選択されたかを示すために固定数のビットのみをビットストリームに含めてデコーダにシグナリングする必要があるような、固定数のセットから選択され得る。例えば、４つの許容エリアサイズ閾値値｛４、８、１６、３２｝が存在すると仮定したとき、グループから選択された特定の値を示すために２ビットのみをシグナリングする必要がある。別の例示的な方法において、エリアサイズ閾値は、エンコーダ側で変換ブロック用に適応的に決定され得る。したがって、エリアサイズ閾値の値は、任意の数であり得る。このような場合、エリアサイズ閾値の値が未知の値であるので、固定長コードワードを使用することができない。代わりに、何らかの可変長コードワード（例えば、指数ゴロム及び一進法符号等）を適用して、ビットストリーム内の決定されたエリアサイズ閾値の値を示すことができる。

【0194】

更に、ＴＨの値がビットストリームに含めて送信される場合、ＴＨの値は、異なるレベル、例えばビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダー及び符号化ブロックレベルでシグナリングされ得る。ＴＨの値がシーケンスレベル（例えば、ＶＰＳ又はＳＰＳ）でシグナリングされる場合、これは、１つの同じエリアサイズ閾値が、ビデオシーケンス内のすべての変換ブロックに対して共有されることを意味する。ＴＨの値がピクチャ／スライスレベル（すなわち、ＰＰＳ又はスライスヘッダー）でシグナリングされる場合、エリアサイズ閾値を、ピクチャごとに、又はスライスごとにそれぞれ変化させることができる。同様に、値が符号化ブロックでシグナリングされる場合、符号予測領域の適応能力が最大になるが、これは、個別の符号化ブロックのそれぞれのために値を別々にシグナリングしなければならないので、より多くの符号化ビットを消費する。

【0195】

デコーダ側において、デコーダは、変換ブロックのサイズ及びエリアサイズ閾値ＴＨに基づいて符号予測エリアを決定することができる。ＴＨが固定値である場合、ＴＨは、ビットストリームに含めてシグナリングされるのではなく、デコーダ内に予めプログラムされてもよい。デコーダは、この予めプログラムされた固定値を、すべてのシーケンス及びシナリオのために使用することができる。そうでない場合、ＴＨが固定値でないがエンコーダによって決定された値であるとき、ＴＨは、ビットストリームに含めてデコーダにシグナリングされる。したがって、デコーダは、変換ブロックのサイズ及びシグナリングされたエリアサイズ閾値ＴＨに基づいて符号予測エリアを決定する。

【0196】

いくつかの実装形態において、デコーダは最初に、どのレベルでエリアサイズ閾値がシグナリングされるかを決定することができる。上述のように、ＴＨは、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダー及び符号化ブロックレベル等の異なるレベルでシグナリングされ得る。ＴＨがシグナリングされるレベルに基づいて、デコーダは、シグナリングされたＴＨを適用すべき程度を決定することができる。例えば、ＴＨがＶＰＳ又はＳＰＳレベルでシグナリングされる場合、デコーダは、ＴＨをビデオシーケンス内のすべての変換ブロックに適用する。ＴＨがＰＰＳ又はスライスヘッダーレベルでシグナリングされた場合、デコーダは、現在ピクチャ／スライス内のすべての変換ブロックにＴＨを適用し、異なるピクチャ／スライスのそれぞれについて異なるＴＨを読み取る。ＴＨが符号化ブロックレベルでシグナリングされる場合、デコーダは、ビットストリームから読み出された異なるＴＨを異なる符号化ブロックのそれぞれに適用する。

【0197】

エリアサイズ閾値が変換ブロック用に適応的に決定された値である場合、デコーダは、ビットストリームに含めてシグナリングされたコードワードに基づいてＴＨの値を決定することができる。上述のように、ＴＨは、所定の値のグループから選択された場合には、固定長コードワードを使用してシグナリングされ得、又は変換ブロックのために適応的に決定された任意の数である場合には、可変長コードワードを使用してシグナリングされる。

【0198】

いくつかの実装形態において、どのようなＴＨの値を現在変換ブロックに適用するかを決定した後、デコーダは、例えば式（２２）に従って、変換ブロックのサイズ及びエリアサイズ閾値ＴＨに基づいて符号予測エリアを決定することができる。例えば、図１９に示されるように、符号予測エリアＡの幅は、変換ブロックの幅及びエリアサイズ閾値ＴＨのうちの小さい方であるように決定され、符号予測エリアＢの高さは、変換ブロックの高さ及びエリアサイズ閾値ＴＨのうちの小さい方であるように決定される。

【0199】

拡張符号予測エリアスキームは、上記に開示された符号予測技法のいずれとも干渉しないことが企図され、容易に適応させ、拡張符号予測エリアと組み合わせて、改善された符号化性能を提供することができる。単なる一具体例として、拡張符号予測エリアは、符号予測並べ替え及びＬＦＮＳＴ符号予測と組み合わせることができる。

【0200】

上記の記述において、符号シグナリングビット内の予測符号の正しさを符号化する例として１つのコンテキストモデルが記述される。厳密には、各予測符号間の差分を符号化することができ、対応する「０」（又は「１」）を有する真の符号は、推定された符号が真の符号と同じである（又は同じでない）ことを示す。本開示のいくつかの実装形態による場合、符号化効率を更に改善するために、他のコンテキストモデルを使用して符号予測の正しさをエントロピー符号化することができる。

【0201】

第１の例示的な方法において、変換係数のレベル値（すなわち、強度）のコンテキストは、符号予測の正しさをエントロピー符号化するために使用され得る。理由としては、１つの強度が大きいほど、正しい予測をなす可能性がより高くなる傾向があるという点が挙げられる。例えば、このような方法が適用された場合、可能な強度値の範囲が、いくつかのセグメントに分割され得、異なるコンテキストが、異なるセグメント内の係数の符号予測エントロピー符号化に割り当てられ得る。

【0202】

いくつかの実装形態において、変換係数の強度の範囲は、複数の強度セグメントに分割され、コンテキストは、強度セグメントに属する変換係数のための符号シグナリングビットをエントロピー符号化するために、強度セグメントのそれぞれに割り当てられ得る。複数の強度セグメントの中で連続する強度セグメントは２つごとに、強度セグメントが重複しないように閾値によって分離され得る。

【0203】

一具体例において、閾値ｔｈｒｅｓを使用して変換係数強度の範囲を２つのセグメント、すなわち、（１，ｔｈｒｅｓ）及び［ｔｈｒｅｓ、＋∞］に分割することができる。このような分割を用いる場合、１つの変換係数が第１のセグメントに属する場合、１つの第１のコンテキストが、変換係数の符号を符号化するために割り当てられる。そうでない場合、変換係数が第２のセグメントに含まれる場合、１つの第２のコンテキストが、変換係数の符号を符号化するために割り当てられる。

【0204】

様々な実装形態において、閾値の値（又は複数の閾値の値）は、様々な方法によって決定及び指定することができる。例示的な一方法において、値は、固定（例えば、２、３、．．．等）であってもよく、エンコーダ側とデコーダの両方に予めプログラムされてもよい。したがって、エンコーダ側とデコーダ側に両方において固定値が使用され、固定値をシグナリングする必要がなくなる。別の例示的な方法において、エンコーダには、最適な閾値を選択する自由が与えられ、対応する値をデコーダにシグナリングすることができる。

【0205】

上述のように、変換係数のそれぞれの強度は、エンコーダ側の変換係数の符号値を符号化するためのコンテキストを決定するために使用される。したがって、デコーダ側において、変換係数のそれぞれの強度は、変換係数の符号値を復号するためにコンテキストを決定するために相応に使用される。変換係数は、逆量子化がデコーダ側で実行された後にのみ得られるので、このようなスキームは、逆量子化がパース段階で実行される必要があるという理由で、ビットストリームをパースする複雑度を顕著に増大させ得る。このような複雑度の課題を解決するために、一実装形態において、デコーダは、１つの変換係数の符号を符号化するコンテキストを決定するために、変換係数のレベルｋ（すなわち、逆量子化を適用することなくビットストリームから直接パースされた変換係数の量子化された値）を直接使用することができる。

【0206】

別の実装形態において、ビットストリームからパースされるレベルｋを直接使用する代わりに、デコーダは、１つの変換係数の符号を符号化するコンテキストを決定するために量子化インデックス（すなわち、ｑｕａｎｔＩｄｘ）を使用することができる。記述したように、ＶＶＣ／ＥＣＭにおいて、２つのスカラー量子化器が量子化／逆量子化のために適用され得る。１つの変換係数のために使用される見かけの量子化器は、現在変換係数に先行する変換係数のパリティによって決定される。したがって、変換係数についての量子化インデックスは、符号を符号化するためのコンテキストを決定するために使用され得る。先述のように、量子化インデックスは、現在変換係数の遷移状態（すなわち、状態）に基づいて、例えば式（６）に従ってレベルｋの値から計算することができる。

【0207】

様々な実装形態において、すべての上記強度／レベルベースコンテキストモデリング方法は、図１３に関して記述された本開示の変換係数選択スキームと組み合わせることができる。例えば、このような組合せは、２つの異なる方法で実装され得る。１つの方法において、変換係数を並べ替えることができ、並べ替えられた変換係数の強度／レベル（すなわち、変換係数が並べ替えられた後の強度／レベル）は、１つの変換ブロック内の変換係数の符号を符号化するために適用される対応するコンテキストを決定する。別の方法において、変換係数は並べ替えられず、変換係数の強度／レベルを並べ替えなしで（すなわち、変換係数が並べ替えられる前の変換係数の強度／レベル）使用して、変換ブロック内の変換係数の符号を符号化するために適用されるコンテキストを決定する。

【0208】

図２０Ａ及び図２０Ｂは、それぞれ上記２つのスキームを実装する、変換係数符号予測のためのコンテキストモデリングの２つの例を示す。図２０Ａに示されるように、第１のスキームが適用される場合、変換係数は、強度／レベルに応じて、例えば６、３、２、２、１、１、１及び１の順序で並べ替えられる。並べ替えられた変換係数の強度／レベルは、ビットストリームに含まれる符号シグナリングビットのコンテキストを選択するために使用される。この第１のスキームの利益は、コンテキストモデリングのために使用される対応する強度／レベルと、符号が符号化されている変換係数とがマッチングされることである。この第１のスキームが適用された場合、エンコーダ／デコーダは、符号が符号化／復号されている前に変換係数を並べ替える必要があり、これにより、ビットストリームパース処理の複雑度を増大させ、したがって、パース処理能力を低下させる可能性がある。図２０Ｂは、このパース処理の課題を回避することができる第２のスキームの実装形態を示す。第２の方法であるこの第２のスキームにおいて、並べ替えられていない変換係数の強度／レベルは、符号を符号化するためのコンテキストの決定のために使用される。したがって、並べ替えは、パース段階においては適用される必要がない。つまり、コンテキストモデリングのために使用される強度／レベルは、符号と整合しない可能性がある。

【0209】

第２の方法において、変換係数のスキャン位置のコンテキストは、符号予測をエントロピー符号化するために使用され得る。例えば、ある単一のコンテキストは、１つの変換ブロックの第１のＬ位置に位置する変換係数の符号化に適用することができるが、別のコンテキストは、他の位置の係数の符号の符号化に適用することができる。一具体例において、Ｌの値は、１に等しいように設定され得る。したがって、あるコンテキストが、ある変換係数の第１の変換係数（すなわち、ＤＣ係数）の符号を符号化するために割り当てられ、別のコンテキストが、他のすべての変換係数（すなわち、ＡＣ係数）の符号を符号化するために割り当てられる。代替的には、１つの変換ブロック内のすべての符号予測位置は、それぞれの重要性（又は正しい予測の可能性）に応じて異なるグループに分類され得、グループのそれぞれには、異なるコンテキストが別々に割り当てられ得る。

【0210】

第３の方法において、符号化モードのコンテキスト、ブロックサイズ及びコンポーネントチャネル情報等の符号化に関する情報は、符号予測のための符号化のために使用され得る。例えば、異なるコンテキストを、インターモード及びイントラモードのために使用することができる。別の例において、異なるコンテキストモデルが、異なるブロックのために使用され得る。更に別の例において、異なるコンテキストが、ルマ成分及びクロマ成分のために使用され得る。

【0211】

第４の方法において、変換係数を決定するための変換方式は、符号予測のためのコンテキストとして使用され得る。上述のように、ＭＴＳ及びＬＦＮＳＴ等、１つの変換ブロック内の係数のエネルギーを圧縮するために適用される複数の変換コアが存在する。異なる変換コアから得られる変換係数が異なる統計学的特性を与えうるのであれば、異なるコンテキストは、異なる変換の変換係数の符号をエントロピー符号化するために使用され得る。

【0212】

上記コンテキストモデリングスキームは別々に記述されたが、上記コンテキストモデリングスキームのいずれもが一緒に使用され得ることが企図される。実際、各方法を自由に組み合わせて、異なるコンテキスト設計を達成することができる。

【0213】

図２１は、本開示のいくつかの実装形態によるブロックベースビデオ符号化における符号予測のための例示的な方法２１００の流れ図である。方法２１００は、ビデオエンコーダ２０又はビデオデコーダ３０に関連付けられたビデオプロセッサによって実装され得、後述するステップ２１０２～２１０８を含み得る。本明細書において提供された本開示を実行するためのステップのうちの一部は、任意選択的なものであり得る。更に、ステップのうちの一部は、同時に実行されてもよいし、又は図２１に示されたものとは異なる順序で実行されてもよい。

【0214】

ステップ２１０２において、ビデオプロセッサは、一次変換及び二次変換をビデオのビデオフレームの変換ブロックに適用して、変換ブロックのための変換係数を生成することができる。

【0215】

ステップ２１０４において、ビデオプロセッサは、符号予測のための変換係数から候補変換係数のセットを選択することができる。

【0216】

ステップ２１０６において、ビデオプロセッサは、テンプレートベース仮説生成スキームを適用して、候補変換係数のセットのための複数の候補仮説から仮説を選択することができる。

【0217】

ステップ２１０８において、ビデオプロセッサは、選択された仮説に関連付けられた符号候補の組合せが、候補変換係数のセットに対する予測符号のセットであることを決定することができる。

【0218】

本開示による場合、方法２１００及び図２１は、ビデオエンコーダ側又はビデオデコーダ側で実行され得る。方法２１００がビデオエンコーダ側で実行される場合、方法２１００は、ビデオエンコーダ側での変換係数符号予測のための符号化方法として考えることができる。次いで、符号予測の正しさを示す符号シグナリングビットが生成され、デコーダに送信されるビットストリームに含まれるように符号化される。方法２１００がビデオデコーダ側で実行される場合、方法２１００は、ビデオデコーダ側での変換係数符号予測のための復号方法として考えることができる。符号シグナリングビットは、符号化された変換係数の量子化レベルのデータを更に含むビットストリームに含めてデコーダにシグナリングされる。デコーダは、受信した変換係数の元の符号を推定するために、符号シグナリングビットを使用して符号予測を訂正することができる。例示的な符号化方法、及びビデオデコーダ側での変換係数符号予測のための例示的な復号方法は、それぞれ下記において図２２及び図２３を参照しながら提供される。

【0219】

図２２は、本開示のいくつかの実装形態によるビデオエンコーダによって実行される変換係数符号予測のための例示的なビデオ符号化方法２２００の流れ図である。方法２２００は、ビデオエンコーダ２０に関連付けられたビデオプロセッサによって実装され得、後述するステップ２２０２～２１２２を含み得る。本明細書において提供された本開示を実行するためのステップのうちの一部は、任意選択的なものであり得る。更に、ステップのうちの一部は、同時に実行されてもよいし、又は図２２に示されたものとはとは異なる順序で実行されてもよい。

【0220】

ステップ２２０２において、ビデオプロセッサは、一次変換をビデオのビデオフレームの変換ブロックに適用して、変換ブロックのための係数を生成することができる。

【0221】

ステップ２１０４において、ビデオプロセッサは、二次変換を変換ブロック内のサブブロックに適用して、変換ブロックのための変換係数を生成することができる。いくつかの実装形態において、二次変換は、順方向ＬＦＮＳＴであり得る。いくつかの実装形態において、ビデオプロセッサは、変換係数符号予測を実行するための符号予測エリアを決定することができる。

【0222】

ステップ２２０６において、ビデオプロセッサは、符号予測のための変換係数から候補変換係数のセットを選択することができる。いくつかの実装形態において、候補変換係数は、強度に基づいて並べ替えられた変換ブロックの変換係数から選択され得る。例えば、変換係数は、最高の強度から最低の強度に並べ替えることができ、最高の強度を有する変換係数が、符号予測を実行するために選択される。

【0223】

ステップ２２０８において、ビデオプロセッサは、候補変換係数のセット内の候補変換係数の合計数に基づいて候補変換係数のセットに対する符号候補の複数の組合せを決定することができる。

【0224】

ステップ２２１０において、ビデオプロセッサは、テンプレートベース仮説生成スキームを適用して、符号候補の複数の組合せに対する複数の候補仮説をそれぞれ生成することができる。

【0225】

ステップ２２１２において、ビデオプロセッサは、コスト関数に基づいて複数の候補仮説から最小コストに関連付けられた仮説を選択することができる。いくつかの実装形態において、コスト関数は、支配的な勾配方向に基づいて隣接サンプルを外挿することによって計算することができる。いくつかの実装形態において、上述のように、支配的な勾配方向は、コスト関数を計算するという目的で外挿方向として採用される前に特定の条件を満たさなければならない。ビデオプロセッサは、前述の条件が満たされるかを判定することができる。もしそうであるならば、コスト関数の計算において、支配的な勾配方向に沿って隣接サンプル外挿を実行される。そうでない場合、デフォルトの外挿方向（例えば、上隣に対する垂直外挿及び左隣に対する水平外挿）が使用され得る。

【0226】

ステップ２２１４において、ビデオプロセッサは、選択された仮説に関連付けられた符号候補の組合せが、候補変換係数のセットに対する予測符号のセットであることを決定することができる。

【0227】

ステップ２２１６において、ビデオプロセッサは、候補変換係数のセットのための符号シグナリングビットのシーケンスをエントロピー符号化するための１つ又は複数のコンテキストを決定することができる。いくつかの実装形態において、変換ブロックについて、１つのコンテキストモデルが決定され得る。いくつかの他の実装形態において、変換ブロックの異なる変換係数について、異なるコンテキストモデルが決定され得る。異なるコンテキストは、変換係数の異なる特徴量に基づいて符号シグナリングビットのシーケンスをエントロピー符号化することができる。第１の例において、コンテキストは、符号シグナリングビットに対応する候補変換係数のセットの強度に基づいて決定される。第２の例において、コンテキストは、候補変換係数のスキャン位置に基づいて決定される。第３の例において、コンテキストは、候補変換係数のそれぞれの符号化モード、ブロックサイズ又はコンポーネントチャネル情報に基づいて決定される。第４の例において、コンテキストは、候補変換係数を生成するために適用された変換コアに基づいて決定される。

【0228】

ステップ２２１８において、ビデオプロセッサは、１つ又は複数のコンテキストに応じて候補変換係数のセットのための符号シグナリングビットのシーケンスを生成することができる。上述のように、様々なコンテキストモデル及びコンテキストモデルの組合せを使用して予測符号の正しさを符号化することができる。いくつかの実装形態において、符号シグナリングビットのシーケンスは、ベクトルベース符号予測スキームを適用することによって生成され得る。

【0229】

ステップ２２２０において、ビデオプロセッサは、候補変換係数を量子化して候補変換係数の量子化レベルを得ることができる。

【0230】

ステップ２２２２において、ビデオプロセッサは、符号シグナリングビットのシーケンス及び候補変換係数の量子化レベルの符号化されたデータを含むビットストリームを生成することができる。

【0231】

図２３は、本開示のいくつかの実装形態によるビデオデコーダによって実行される変換係数符号予測のための例示的なビデオ復号方法２３００の流れ図である。方法２３００は、ビデオデコーダ３０に関連付けられたビデオプロセッサによって実装され得、後述するステップ２３０２～２３１８を含み得る。本明細書において提供された本開示を実行するためのステップのうちの一部は、任意選択的なものであり得る。更に、ステップのうちの一部は、同時に実行されてもよいし、又は図２３に示されたものとは異なる順序で実行されてもよい。

【0232】

ステップ２３０２において、ビデオプロセッサは、候補変換係数のセットを逆量子化することができる。いくつかの実装形態において、ビデオプロセッサは、符号シグナリングビットのシーケンスを含むビットストリーム及び変換ブロックに関連付けられた量子化された変換係数を受信することができる。ビデオプロセッサは、図３の逆量子化ユニット８６によって、量子化された変換係数から逆量子化された変換係数を生成することができる。

【0233】

候補変換係数のセットは、変換係数符号予測のために使用される。逆量子化された変換係数は、変換ブロックに関連付けられる。逆量子化されたビデオデコーダ３０内の変換ブロックの変換係数は、ビデオエンコーダ２０内の変換ブロックの変換係数と等価であり得る。いくつかの実装形態において、候補変換係数のセットがエンコーダ側で強度に応じて並べ替えられた変換ブロックの変換係数から選択される場合、デコーダのビデオプロセッサは、ビットストリームからパースされた候補変換係数のセットを並べ替えることができる。

【0234】

ステップ２３０４において、ビデオプロセッサは、候補変換係数のセット内の候補変換係数の合計数に基づいて候補変換係数のセットのための符号候補の複数の組合せを決定することができる。

【0235】

ステップ２３０６において、ビデオプロセッサは、テンプレートベース仮説生成スキームを適用して、符号候補の複数の組合せのための複数の候補仮説をそれぞれ生成することができる。

【0236】

ステップ２３０８において、ビデオプロセッサは、コスト関数に基づいて複数の候補仮説から最小コストに関連付けられた仮説を選択することができる。いくつかの実装形態において、コスト関数は、上記のように、支配的な勾配方向に基づいて隣接サンプルを外挿することによって計算することができる。

【0237】

ステップ２３１０において、ビデオプロセッサは、選択された仮説に関連付けられた符号候補の組合せが、候補変換係数のセットに対する予測符号のセットであることを決定することができる。

【0238】

ステップ２３１２において、ビデオプロセッサは、エンコーダから受信した符号シグナリングビットのシーケンスをエントロピー符号化するために使用される１つ又は複数のコンテキストを決定することができる。符号シグナリングビットのシーケンスは、デコーダに送信されるビットストリームに含まれる。上記のように、単一のコンテキストモデル又は複数のコンテキストモデルを使用して、エンコーダによって符号シグナリングビットをエントロピー符号化することができる。デコーダは、符号シグナリングビットを復号して候補変換係数に対する符号予測の正しさの指標を得るためにこのようなコンテキストを決定することができる。

【0239】

第１の例において、コンテキストは、符号シグナリングビットに対応する候補変換係数のセットの強度に基づいて決定される。例えば、変換係数の強度は、複数の強度セグメントに含まれ、コンテキストは、強度セグメントのそれぞれに属する変換係数のための符号シグナリングビットをエントロピー符号化するために割り当てられる。ビデオプロセッサは、候補変換係数のそれぞれの強度が属する強度セグメントを決定することができ、符号シグナリングビットをエントロピー符号化するために使用されるコンテキストとして強度セグメントに割り当てられるコンテキストを決定することができる。複数の強度セグメントの中で連続する強度セグメントは２つごとに、デコーダに予めプログラムされた固定値であってもよいし、又はエンコーダによって決定され、デコーダにシグナリングされた値であってもよい閾値によって分離される。いくつかの実装形態において、候補変換係数の強度は、逆量子化なしでビットストリームから直接パースされた候補変換係数の量子化レベルである。いくつかの実装形態において、候補変換係数の強度は、候補変換係数の量子化インデックスである。

【0240】

第２の例において、コンテキストは、候補変換係数のスキャン位置に基づいて決定される。例えば、変換係数のスキャン位置は、複数のグループに分類され、コンテキストは、グループのそれぞれに属する変換係数のための符号シグナリングビットをエントロピー符号化するために割り当てられる。ビデオプロセッサは、複数のグループの中から、符号シグナリングビットに対応する候補変換係数のスキャン位置が属するグループを決定することができ、符号シグナリングビットをエントロピー符号化するために使用されるコンテキストとしてグループに割り当てられるコンテキストを決定することができる。

【0241】

第３の例において、コンテキストは、候補変換係数のそれぞれの符号化モード、ブロックサイズ又はコンポーネントチャネル情報に基づいて決定される。第４の例において、コンテキストは、候補変換係数を生成するために適用された変換コアに基づいて決定される。

【0242】

ステップ２３１４において、ビデオプロセッサは、１つ又は複数のコンテキストに基づいて符号シグナリングビットのシーケンスを復号することができる。

【0243】

ステップ２３１６において、ビデオプロセッサは、予測符号のセット及びビデオエンコーダから受信した復号された符号シグナリングビットのシーケンスに基づいて候補変換係数のセットの元の符号を推定することができる。

【0244】

例えば、図１５Ｂを参照すると、予測符号のセットは、値（１，０）を有するグループ＃０、値（１，０）を有するグループ＃２及び値（１，０）を有するグループ＃３を含み得、ここで、１は負の符号を示し、０は正の符号を示す。符号シグナリングビットのシーケンスは、グループ＃０のビット「０」、グループ＃２のビット「１，１，０」及びグループ＃３のビット「０」を含み得る。グループ＃０のビットが「０」の値を有し、このことは、（１，０）の値を有するこのグループに対する予測符号が正しい（例えば、予測符号が元の符号と同じである）ことを示すので、推定されたグループ＃０の元の符号が（１，０）であることが決定される。グループ＃１のビット内の第１のビットが「１」の値を有し、このことは、このグループ（１，０）に対する予測符号が誤っている（例えば、予測符号が元の符号と同じでない）ことを示すので、推定されたグループ＃１の（１，０）の元の符号は、このグループ（１，０）の予測符号と、グループ＃１の第２及び第３のビット「１，０」とのＸＯＲ結果（例えば、推定された元の符号＝ＸＯＲ（（１，０）、（１，０））＝（０、０））ＸＯＲ結果ことが決定される。グループ＃２のビットが「０」の値を有し、このことは、（１，０）の値を有するこのグループに対する予測符号が正しい（例えば、予測符号が元の符号と同じである）ことを示すので、推定されたグループ＃２の元の符号が（１，０）であることが決定される。次いで、推定された候補変換係数のセットの元の符号が、推定されたグループ＃０、＃１及び＃２の元の符号のそれぞれを連結することによって形成されるが、これは、（１，０，０，０，１，０）を含む。上述のように、ビデオエンコーダは、異なるコンテキストモデルを使用して予測符号の正しさを符号化することができ、予測符号の訂正は、これらのコンテキストモデルに応じて適応される。

【0245】

ステップ２３１８において、ビデオプロセッサは、推定された候補変換係数のセットの元の符号に基づいて逆量子化された変換係数を更新することができる。例えば、ビデオプロセッサは、推定された元の符号を、候補変換係数のセットに対応する変換ブロック内の逆量子化された変換係数の真の符号として使用することができる。

【0246】

いくつかの実装形態において、逆量子化された変換係数が更新された後、ビデオプロセッサは、逆一次変換及び逆二次変換を逆量子化された変換係数に更に適用して、変換ブロックに対応する残差ブロック内の残差サンプルを生成することができる。逆二次変換は、ＬＦＮＳＴを含む二次変換に対応する。逆一次変換は、ＤＣＴ－ＩＩ、ＤＣＴ－Ｖ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ、ＤＳＴ－ＩＶ、ＤＳＴ－ＶＩＩ又は／及び恒等変換を含む一次変換に対応する。

【0247】

いくつかの実装形態において、候補変換係数のセットのための符号シグナリングビットのシーケンスは、ビデオエンコーダにより、ベクトルベース符号予測スキームを、ビデオエンコーダ側で選択された別の候補変換係数のセットに対する予測符号の別のセットに適用することと、符号シグナリングビットのシーケンスを含むビットストリームを生成することとによって、ビデオエンコーダによって生成される。他の候補変換係数のセットは、ビデオデコーダ側の候補変換係数のセットに対応するビデオエンコーダ側の変換係数である。

【0248】

いくつかの実装形態において、ベクトルベース符号予測スキームを、他の候補変換係数のセットに対する予測符号の他のセットに適用することは、他の候補変換係数のセットを候補変換係数の複数のグループに分割することと、候補変換係数のグループのそれぞれに対して、候補変換係数のグループの元の符号が候補変換係数のグループの予測符号と同一であるかに基づいて、候補変換係数のグループについての１つ又は複数の符号シグナリングビットを生成することとを更に含む。

【0249】

いくつかの実装形態において、候補変換係数のグループについての１つ又は複数の符号シグナリングビットを生成することは、候補変換係数のグループの元の符号が候補変換係数のグループの予測符号と同一であることに応答して、０の値を有するビンを生成することと、符号シグナリングビットとしてビンをビットストリームに追加することとを含む。いくつかの実装形態において、候補変換係数のグループについての１つ又は複数の符号シグナリングビットを生成することは、候補変換係数のグループの元の符号が候補変換係数のグループの予測符号と同一でないことに応答して、１の値を有するビンを生成することと、候補変換係数のグループの予測符号の対応する正しさを通知するための追加ビンのセットを生成することと、ビン及び追加ビンのセットを符号シグナリングビットとしてビットストリームに追加することとを含む。

【0250】

図２４は、本開示のいくつかの実装形態による使用者インターフェース２４５０と結合されたコンピューティング環境２４１０を示す。コンピューティング環境２４１０は、データ処理サーバの一部であってよい。例えば、上記に開示されたビデオエンコーダ２０又はビデオデコーダ３０内のビデオプロセッサは、コンピューティング環境２４１０を使用して実装され得る。コンピューティング環境２４１０は、プロセッサ２４２０、メモリ２４３０及び入／出力（Ｉ／Ｏ）インターフェース２４４０を備える。

【0251】

プロセッサ２４２０は一般的に、表示、データ取得、データ通信及び画像処理に関連付けられた操作等のコンピューティング環境２４１０の全体的な操作を制御する。プロセッサ２４２０は、上記方法のステップのうちのすべて又は一部を実行する命令を実行するための１つ又は複数のプロセッサを備えることができる。更に、プロセッサ２４２０は、プロセッサ２４２０と他の構成要素との連携を容易化する１つ又は複数のモジュールを備えることができる。プロセッサ２４２０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン又はグラフィカルプロセシングユニット（ＧＰＵ）等であり得る。

【0252】

メモリ２４３０は、コンピューティング環境２４１０の操作をサポートするための様々な種類のデータを記憶するように構成される。メモリ２４３０は、所定のソフトウェア２４３２を含み得る。このようなデータの例は、コンピューティング環境２４１０上で操作される任意のアプリケーション又は方法に対する命令、ビデオデータ、画像データ等を含む。メモリ２４３０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電子的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、消去及び書込み可能リードオンリーメモリ（ＥＰＲＯＭ）、書込み可能リードオンリーメモリ（ＰＲＯＭ）、リードオンリーメモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気又は光学ディスク等の、任意の種類の揮発性若しくは不揮発性メモリデバイス又はこれらの組合せを使用することによって実装され得る。

【0253】

Ｉ／Ｏインターフェース２４４０は、プロセッサ２４２０と、キーボード、クリックホイール又はボタン等のペリフェラルインターフェースモジュールとの間のインターフェースを提供する。ボタンは、ホームボタン、スキャン開始ボタン及びスキャン停止ボタンを含み得るが、これらに限定されるわけではない。Ｉ／Ｏインターフェース２４４０は、エンコーダ及びデコーダと結合され得る。

【0254】

いくつかの実装形態において、上記方法を実行するためにコンピューティング環境２４１０のプロセッサ２４２０において実行可能な複数のプログラム、例えば、メモリ２４３０内の複数のプログラムを含む非一時的なコンピュータ読取り可能な記憶媒体も提供される。一例において、（例えば、図２のビデオエンコーダ２０から）符号化されたビデオ情報（例えば、符号化されたビデオフレーム及び／又は関連する１つ又は複数のシンタックス要素等を表現するビデオブロック）を含むビットストリーム又はデータストリームを受信するために、複数のプログラムが、コンピューティング環境２４１０のプロセッサ２４２０によって実行されてもよく、更には、受信したビットストリーム又はデータストリームに応じて上記復号方法を実行するために、複数のプログラムが、コンピューティング環境２４１０内のプロセッサ２４２０によって実行されてもよい。別の例において、上記符号化方法を実行して、ビデオ情報（例えば、ビデオフレームを表現するビデオブロック及び／又は関連する１つ又は複数のシンタックス要素等）を符号化してビットストリーム又はデータストリームに含めるために、複数のプログラムがコンピューティング環境２４１０内のプロセッサ２４２０によって実行されてもよく更には、ビットストリーム又はデータストリームを（例えば、図３のビデオデコーダ３０に）伝送するために、複数のプログラムがコンピューティング環境２４１０内のプロセッサ２４２０によって実行されてもよい。代替的には、非一時的なコンピュータ読取り可能な記憶媒体は、例えばビデオデータの復号においてデコーダ（例えば、図３のビデオデコーダ３０）が使用するための上記符号化方法を使用してエンコーダ（例えば、図２のビデオエンコーダ２０）によって生成された、符号化されたビデオ情報（例えば、符号化されたビデオフレーム及び／又は関連する１つ又は複数のシンタックス要素等を表現するビデオブロック）を含むビットストリーム又はデータストリームを記憶しておくことができる。非一時的なコンピュータ読取り可能な記憶媒体は、例えば、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク又は光学式データ記憶装置等であり得る。

【0255】

いくつかの実装形態において、１つ又は複数のプロセッサ（例えば、プロセッサ２４２０）と、１つ又は複数のプロセッサによって実行可能な複数のプログラムを記憶した非一時的なコンピュータ読取り可能な記憶媒体又はメモリ２４３０とを備える計算デバイスであって、１つ又は複数のプロセッサが、複数のプログラムの実行が実行されたときに上記方法を実行するように構成される、計算デバイスも提供される。

【0256】

いくつかの実装形態において、上記方法を実行するためにコンピューティング環境２４１０内のプロセッサ２４２０によって実行可能な複数のプログラム、例えば、メモリ２４３０内の複数のプログラムを含むコンピュータプログラム製品も提供される。例えば、コンピュータプログラム製品は、非一時的なコンピュータ読取り可能な記憶媒体を備え得る。

【0257】

いくつかの実装形態において、コンピューティング環境２４１０は、上記方法を実行するための１つ又は複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子部品によって実行され得る。

【0258】

本開示の記述は説明を目的として提供されており、排他的なものである又は本開示に限定されることを意図されていない。数多くの修正形態、変更形態及び代替的な実装形態は、上記の説明及び添付の図面において提供された利益を受ける当業者には明らかであろう。

【0259】

そうではないと明示的に記載されていない限り、本開示による方法のステップの順番は、例示用として意図されたものにすぎず、本開示による方法のステップは、上記において具体的に記載された順番に限定されないが、実際の条件に応じて変更することが可能である。更に、本開示による方法のステップのうちの少なくとも１つは、実際の要件に応じて調整され、組み合わされ、又は削除され得る。

【0260】

上記の例は、本開示の原理を説明するため、並びに、当業者が様々な実装形態について本開示を理解し、基礎となる原理及び様々な実装形態を、企図される特定の使用に適するように様々な修正を加えて最良の態様で利用できるようにするために選択及び記述された。したがって、本開示の範囲は、開示された実装形態の具体例に限定されず、修正形態及び他の実装形態が本開示の範囲に含まれることを意図されることを理解すべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】

【図15A】

【図15B】

【図16A】

【図16B】

【図17】

【図18A】

【図18B】

【図19】

【図20A】

【図20B】

【図21】

【図22】

【図23】

【図24】

【国際調査報告】