知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6884770
(24)【登録日】2021年5月14日
(45)【発行日】2021年6月9日
(54)【発明の名称】ビデオコーディングのための非分離可能２次変換
(51)【国際特許分類】
H04N 19/12 20140101AFI20210531BHJP
H04N 19/176 20140101ALI20210531BHJP
H04N 19/157 20140101ALI20210531BHJP
【ＦＩ】
H04N19/12
H04N19/176
H04N19/157
【請求項の数】15
【全頁数】70
(21)【出願番号】特願2018-515931(P2018-515931)
(86)(22)【出願日】2016年9月21日
(65)【公表番号】特表2018-530245(P2018-530245A)
(43)【公表日】2018年10月11日
(86)【国際出願番号】US2016052926
(87)【国際公開番号】WO2017058614
(87)【国際公開日】20170406
【審査請求日】2019年8月26日
(31)【優先権主張番号】62/234,644
(32)【優先日】2015年9月29日
(33)【優先権主張国】US
(31)【優先権主張番号】62/294,897
(32)【優先日】2016年2月12日
(33)【優先権主張国】US
(31)【優先権主張番号】62/323,496
(32)【優先日】2016年4月15日
(33)【優先権主張国】US
(31)【優先権主張番号】62/337,736
(32)【優先日】2016年5月17日
(33)【優先権主張国】US
(31)【優先権主張番号】15/270,455
(32)【優先日】2016年9月20日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100184332
【弁理士】
【氏名又は名称】中丸 慶洋
(72)【発明者】
【氏名】ジャオ、シン
(72)【発明者】
【氏名】チェン、ジャンレ
(72)【発明者】
【氏名】サイド、アミール
(72)【発明者】
【氏名】カルチェビチ、マルタ
(72)【発明者】
【氏名】セレジン、バディム
【審査官】
鉢呂 健
(56)【参考文献】
【文献】
特表２０１３−５３１４４５（ＪＰ，Ａ）
【文献】
国際公開第２０１１／０１６２４６（ＷＯ，Ａ１）
【文献】
SAXENA, Ankur and C. FERNANDES, Felix，On secondary transforms for intra/inter prediction residual，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting: Geneva, CH, 27 April - 7 May 2012, [JCTVC-I0232]，２０１２年 ４月２８日，JCTVC-I0232 (version 3)，pp. 1-3
【文献】
CHEN, Jianle et al.，Algorithm Description of Joint Exploration Test Model 1，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 1nd Meeting: Geneva, CH, 19-21 October 2015, [JVET-A1001]，２０１６年 ２月２４日，JVET-A1001 (version 1)，pp. 18-19
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ビデオデータを復号するための方法であって、
第１の係数ブロックを逆量子化することと、
非分離可能変換のセットのサブセットを構築することと、ここにおいて、前記サブセットを構築することは、復号情報に基づいて前記サブセットを決定することを備え、前記復号情報は、少なくとも１つのイントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックス、変換ユニット（ＴＵ）レベルのＥＭＴインデックス、残差４分木深度、量子化係数、参照予測ブロック、および予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションのうちの１つまたは複数とを備える、
第１の逆変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に前記第１の逆変換を適用することと、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用することと、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
復号ビデオブロックを形成することと、ここにおいて、前記復号ビデオブロックを形成することが、１つまたは複数の予測ブロックを前記残差ビデオブロックに加算することを備える、
ここにおいて、異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、
を備える方法。
第１の係数ブロックを逆量子化することと、
非分離可能変換のセットのサブセットを構築することと、ここにおいて、前記サブセットを構築することは、復号情報に基づいて前記サブセットを決定することを備え、前記復号情報は、少なくとも１つのイントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックス、変換ユニット（ＴＵ）レベルのＥＭＴインデックス、残差４分木深度、量子化係数、参照予測ブロック、および予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションのうちの１つまたは複数とを備える、
第１の逆変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に前記第１の逆変換を適用することと、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用することと、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
復号ビデオブロックを形成することと、ここにおいて、前記復号ビデオブロックを形成することが、１つまたは複数の予測ブロックを前記残差ビデオブロックに加算することを備える、
ここにおいて、異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、
を備える方法。
【請求項2】
前記サブセットを構築することは、
３つ以上の非分離可能変換候補を含むように非分離可能変換の前記セットの前記サブセットを構築すること
を備える、請求項１に記載の方法。
３つ以上の非分離可能変換候補を含むように非分離可能変換の前記セットの前記サブセットを構築すること
を備える、請求項１に記載の方法。
【請求項3】
非分離可能変換の前記セットが、１２個の変換サブセットを含み、前記１２個の変換サブセットが、非分離可能変換の前記セットの前記サブセットを含む、請求項１に記載の方法。
【請求項4】
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、請求項３に記載の方法。
【請求項5】
非分離可能変換の前記セットが、前記ビデオデータのためのルーマイントラ予測モードによって指定される、請求項４に記載の方法。
【請求項6】
前記方法が、前記ビデオデータのビットストリームから、前記変換ユニット、前記予測ユニット、前記コーディングユニット、またはそれらの組合せに適用可能なインデックスを示すシンタックス要素を取得することをさらに備え、
非分離可能変換の前記セットの前記サブセットから前記候補を選択することが、前記第１の逆変換として、前記インデックスによって示される候補を選択することを備える、請求項１に記載の方法。
非分離可能変換の前記セットの前記サブセットから前記候補を選択することが、前記第１の逆変換として、前記インデックスによって示される候補を選択することを備える、請求項１に記載の方法。
【請求項7】
前記第１の逆変換が、カルーネンレーベ変換（ＫＬＴ）である、請求項１に記載の方法。
【請求項8】
ビデオデータを符号化するための方法であって、
残差ビデオブロックを形成することと、ここにおいて、前記残差ビデオブロックを形成することが、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、
第１の係数ブロックを生成するために前記残差ビデオブロックに第１の変換を適用することと、前記第１の変換が、ピクセル領域から周波数領域に前記残差ビデオブロックを変換する、
非分離可能変換のセットのサブセットを構築することと、ここにおいて、前記サブセットを構築することは、少なくとも１つのイントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックス、変換ユニット（ＴＵ）レベルのＥＭＴインデックス、残差４分木深度、量子化係数、参照予測ブロック、および予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションのうちの１つまたは複数とに基づいて前記サブセットを決定することを備える、
第２の変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと、
第２の係数ブロックを生成するために前記第１の係数ブロックの少なくとも一部に前記第２の変換を適用することと、前記第２の変換が、非分離可能変換である、
前記第２の係数ブロックを量子化することと、
ここにおいて、異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、
を備える方法。
残差ビデオブロックを形成することと、ここにおいて、前記残差ビデオブロックを形成することが、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、
第１の係数ブロックを生成するために前記残差ビデオブロックに第１の変換を適用することと、前記第１の変換が、ピクセル領域から周波数領域に前記残差ビデオブロックを変換する、
非分離可能変換のセットのサブセットを構築することと、ここにおいて、前記サブセットを構築することは、少なくとも１つのイントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックス、変換ユニット（ＴＵ）レベルのＥＭＴインデックス、残差４分木深度、量子化係数、参照予測ブロック、および予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションのうちの１つまたは複数とに基づいて前記サブセットを決定することを備える、
第２の変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと、
第２の係数ブロックを生成するために前記第１の係数ブロックの少なくとも一部に前記第２の変換を適用することと、前記第２の変換が、非分離可能変換である、
前記第２の係数ブロックを量子化することと、
ここにおいて、異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、
を備える方法。
【請求項9】
前記サブセットを構築することは、
３つ以上の非分離可能変換候補を含むように非分離可能変換の前記セットの前記サブセットを構築すること
を備える、請求項８に記載の方法。
３つ以上の非分離可能変換候補を含むように非分離可能変換の前記セットの前記サブセットを構築すること
を備える、請求項８に記載の方法。
【請求項10】
非分離可能変換の前記セットが、１２個の変換サブセットを含み、前記１２個の変換サブセットが、非分離可能変換の前記セットの前記サブセットを含み、
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、請求項８に記載の方法。
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、請求項８に記載の方法。
【請求項11】
非分離可能変換の前記セットが、前記ビデオデータのためのルーマイントラ予測モードによって指定される、請求項１０に記載の方法。
【請求項12】
前記ビデオデータの符号化ビットストリーム中に、前記変換ユニット、前記予測ユニット、前記コーディングユニット、またはそれらの組合せのためのインデックスを示すデータを生成すること、前記選択された候補を示す前記インデックスが、前記第２の変換である、
をさらに備える、請求項８に記載の方法。
をさらに備える、請求項８に記載の方法。
【請求項13】
前記第２の変換が、カルーネンレーベ変換（ＫＬＴ）である、請求項８に記載の方法。
【請求項14】
ビデオデータを復号するための装置であって、
第１の係数ブロックを逆量子化するための手段と、
非分離可能変換のセットのサブセットを構築するための手段と、ここにおいて、前記サブセットを構築するための手段は、復号情報に基づいて前記サブセットを決定するための手段を備え、前記復号情報は、少なくとも１つのイントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックス、変換ユニット（ＴＵ）レベルのＥＭＴインデックス、残差４分木深度、量子化係数、参照予測ブロック、および予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションのうちの１つまたは複数とを備える、
第１の逆変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択するための手段と、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に前記第１の逆変換を適用するための手段と、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用するための手段と、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
復号ビデオブロックを形成するための手段と、ここにおいて、前記復号ビデオブロックを形成するための前記手段が、１つまたは複数の予測ブロックを前記残差ビデオブロックに加算するための手段を備える、
ここにおいて、異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、
を備える装置。
第１の係数ブロックを逆量子化するための手段と、
非分離可能変換のセットのサブセットを構築するための手段と、ここにおいて、前記サブセットを構築するための手段は、復号情報に基づいて前記サブセットを決定するための手段を備え、前記復号情報は、少なくとも１つのイントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックス、変換ユニット（ＴＵ）レベルのＥＭＴインデックス、残差４分木深度、量子化係数、参照予測ブロック、および予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションのうちの１つまたは複数とを備える、
第１の逆変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択するための手段と、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に前記第１の逆変換を適用するための手段と、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用するための手段と、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
復号ビデオブロックを形成するための手段と、ここにおいて、前記復号ビデオブロックを形成するための前記手段が、１つまたは複数の予測ブロックを前記残差ビデオブロックに加算するための手段を備える、
ここにおいて、異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、
を備える装置。
【請求項15】
命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されたとき、ビデオデータを復号するためのデバイスの１つまたは複数のプロセッサに、請求項１〜請求項７のうちのいずれかの方法を実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願[0001]本出願は、その各々の全体が参照により本明細書に組み込まれる、２０１５年９月２９日に出願された米国仮出願第６２／２３４，６４４号、２０１６年２月１２日に出願された米国仮出願第６２／２９４，８９７号、２０１６年４月１５日に出願された米国仮出願第６２／３２３，４９６号、および２０１６年５月１７日に出願された米国仮出願第６２／３３７，７３６号の利益を主張する。
【0002】
[0002]本開示は、ビデオコーディングに関する。
【背景技術】
【0003】
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）、およびＩＴＵ−Ｔ Ｈ．２６５、高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張を含む様々な規格に記載されているビデオコーディング技法などのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【0004】
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（ピクチャ内）予測および／または時間的（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
【0005】
[0005]空間的予測または時間的予測により、コーディングされるべきブロックのための予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
【発明の概要】
【0006】
[0006]概して、本開示では、ビデオコーディングにおけるイントラまたはインター予測残差データに適用される２次変換設計に関する技法について説明する。変換は、ＨＥＶＣの拡張または次世代のビデオコーディング規格などの高度なビデオコーデックのコンテキストにおいて使用され得る。
【0007】
[0007]一例では、本開示は、第１の係数ブロックを逆量子化することと、第２の係数ブロックを生成するために逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用することと、第１の逆変換は、非分離可能変換である、残差ビデオブロックを生成するために第２の係数ブロックに第２の逆変換を適用することと、第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換する、復号ビデオブロックを形成することと、ここにおいて、復号ビデオブロックを形成することは、１つまたは複数の予測ブロックを残差ビデオブロックに加算することを備える、を備える方法について説明する。
【0008】
[0008]一例では、本開示は、残差ビデオブロックを形成することと、ここにおいて、残差ビデオブロックを形成することは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、第１の係数ブロックを生成するために残差ビデオブロックに第１の変換を適用することと、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第２の係数ブロックを生成するために第１の係数ブロックの少なくとも一部に第２の変換を適用することと、第２の変換は、非分離可能変換である、第２の係数ブロックを量子化することとを備える方法について説明する。
【0009】
[0009]一例では、本開示は、ビデオデータを復号するための装置であって、ビデオデータを記憶するように構成されたメモリと、第１の係数ブロックを逆量子化することと、第２の係数ブロックを生成するために逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用することと、第１の逆変換は、非分離可能変換である、残差ビデオブロックを生成するために第２の係数ブロックに第２の逆変換を適用することと、第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換する、１つまたは複数の予測ブロックを残差ビデオブロックに加算することと、１つまたは複数の予測ブロックとの残差ビデオブロックの加算に基づいて復号ビデオブロックを形成することとを行うように構成されたビデオデコーダとを備える装置について説明する。
【0010】
[0010]一例では、本開示は、ビデオデータを符号化するための装置であって、ビデオデータを記憶するように構成されたメモリと、残差ビデオブロックを形成することと、ここにおいて、残差ビデオブロックを形成することは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、第１の係数ブロックを生成するために残差ビデオブロックに第１の変換を適用することと、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第２の係数ブロックを生成するために第１の係数ブロックの少なくとも一部に第２の変換を適用することと、第２の変換は、非分離可能変換である、第２の係数ブロックを量子化することとを行うように構成されたビデオエンコーダとを備える装置について説明する。
【0011】
[0011]一例では、本開示は、ビデオデータを復号するための装置であって、第１の係数ブロックを逆量子化するための手段と、第２の係数ブロックを生成するために逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用するための手段と、第１の逆変換は、非分離可能変換である、残差ビデオブロックを生成するために第２の係数ブロックに第２の逆変換を適用するための手段と、第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換する、復号ビデオブロックを形成するための手段と、ここにおいて、復号ビデオブロックを形成するための手段は、１つまたは複数の予測ブロックを残差ビデオブロックに加算するための手段を備える、を備える装置について説明する。
【0012】
[0012]一例では、本開示は、ビデオデータを符号化するための装置であって、残差ビデオブロックを形成するための手段と、ここにおいて、残差ビデオブロックを形成することは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、第１の係数ブロックを生成するために残差ビデオブロックに第１の変換を適用するための手段と、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第２の係数ブロックを生成するために第１の係数ブロックの少なくとも一部に第２の変換を適用するための手段と、第２の変換は、非分離可能変換である、第２の係数ブロックを量子化するための手段とを備える装置について説明する。
【0013】
[0013]一例では、本開示は、実行されたとき、ビデオデータを復号するためのデバイスの１つまたは複数のプロセッサに、第１の係数ブロックを逆量子化することと、第２の係数ブロックを生成するために逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用することと、第１の逆変換は、非分離可能変換である、残差ビデオブロックを生成するために第２の係数ブロックに第２の逆変換を適用することと、第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換する、１つまたは複数の予測ブロックを残差ビデオブロックに加算することと、１つまたは複数の予測ブロックとの残差ビデオブロックの加算に基づいて復号ビデオブロックを形成することとを行わせる命令を記憶した非一時的コンピュータ可読記憶媒体について説明する。
【0014】
[0014]一例では、本開示は、実行されたとき、ビデオデータを符号化するためのデバイスの１つまたは複数のプロセッサに、残差ビデオブロックを形成することと、ここにおいて、残差ビデオブロックを形成することは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、第１の係数ブロックを生成するために残差ビデオブロックに第１の変換を適用することと、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第２の係数ブロックを生成するために第１の係数ブロックの少なくとも一部に第２の変換を適用することと、第２の変換は、非分離可能変換である、第２の係数ブロックを量子化することとを行わせる命令を記憶した非一時的コンピュータ可読記憶媒体について説明する。
【0015】
[0015]一例では、本開示は、ビデオデータを復号するための方法であって、係数走査順序に従って第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成することと、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルに第１の逆変換を適用することと、第１の逆変換は、非分離可能変換である、第２の２次元係数ブロックとして第１の１次元係数ベクトルを再編成することと、残差ビデオブロックを生成するために第２の２次元係数ブロックに第２の逆変換を適用することと、第２の逆変換は、周波数領域からピクセル領域に第２の２次元係数ブロックを変換する、復号ビデオブロックを形成することと、ここにおいて、復号ビデオブロックを形成することは、１つまたは複数の予測ブロックを残差ビデオブロックに加算することを備える、を備える方法について説明する。
【0016】
[0016]一例では、本開示は、ビデオデータを符号化するための方法であって、残差ビデオブロックを形成することと、ここにおいて、残差ビデオブロックを形成することは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、第１の２次元係数ブロックを生成するために残差ビデオブロックの少なくとも一部に第１の変換を適用することと、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成することと、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルの少なくとも一部に第２の変換を適用することと、第２の変換は、非分離可能変換である、係数走査順序に従って第２の２次元係数ブロックとして第２の１次元係数ベクトルを再編成することとを備える方法について説明する。
【0017】
[0017]一例では、本開示は、ビデオデータを復号するための装置であって、ビデオデータを記憶するように構成されたメモリと、係数走査順序に従って第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成することと、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルに第１の逆変換を適用することと、第１の逆変換は、非分離可能変換である、第２の２次元係数ブロックとして第１の１次元係数ベクトルを再編成することと、残差ビデオブロックを生成するために第２の２次元係数ブロックに第２の逆変換を適用することと、第２の逆変換は、周波数領域からピクセル領域に第２の２次元係数ブロックを変換する、１つまたは複数の予測ブロックを残差ビデオブロックに加算することと、１つまたは複数の予測ブロックを残差ビデオブロックに加算することと、１つまたは複数の予測ブロックとの残差ビデオブロックの加算に基づいて復号ビデオブロックを形成することとを行うように構成されたビデオデコーダとを備える装置について説明する。
【0018】
[0018]一例では、本開示は、ビデオデータを符号化するための装置であって、ビデオデータを記憶するように構成されたメモリと、残差ビデオブロックを形成することと、ここにおいて、残差ビデオブロックを形成することは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、第１の２次元係数ブロックを生成するために残差ビデオブロックの少なくとも一部に第１の変換を適用することと、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第１の１次元係数ベクトルを生成するために第１の２次元係数ブロックを再編成することと、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルの少なくとも一部に第２の変換を適用することと、第２の変換は、非分離可能変換である、係数走査順序に従って第２の２次元係数ブロックとして第２の１次元係数ベクトルを再編成することとを行うように構成されたビデオエンコーダとを備える装置について説明する。
【0019】
[0019]一例では、本開示は、ビデオデータを復号するための装置であって、係数走査順序に従って第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成するための手段と、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルに第１の逆変換を適用するための手段と、第１の逆変換は、非分離可能変換である、第２の２次元係数ブロックとして第１の１次元係数ベクトルを再編成するための手段と、残差ビデオブロックを生成するために第２の２次元係数ブロックに第２の逆変換を適用するための手段と、第２の逆変換は、周波数領域からピクセル領域に第２の２次元係数ブロックを変換する、復号ビデオブロックを形成するための手段と、ここにおいて、復号ビデオブロックを形成するための手段は、１つまたは複数の予測ブロックを残差ビデオブロックに加算するための手段を備える、を備える装置について説明する。
【0020】
[0020]一例では、本開示は、ビデオデータを符号化するための装置であって、残差ビデオブロックを形成するための手段と、ここにおいて、残差ビデオブロックを形成するための手段は、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算するための手段を備える、第１の２次元係数ブロックを生成するために残差ビデオブロックの少なくとも一部に第１の変換を適用するための手段と、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第１の１次元係数ベクトルを生成するために第１の２次元係数ブロックを再編成するための手段と、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルの少なくとも一部に第２の変換を適用するための手段と、第２の変換は、非分離可能変換である、係数走査順序に従って第２の２次元係数ブロックとして第２の１次元係数ベクトルを再編成するための手段とを備える装置について説明する。
【0021】
[0021]一例では、本開示は、実行されたとき、ビデオデータを復号するためのデバイスの１つまたは複数のプロセッサに、係数走査順序に従って第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成することと、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルに第１の逆変換を適用することと、第１の逆変換は、非分離可能変換である、第２の２次元係数ブロックとして第１の１次元係数ベクトルを再編成することと、残差ビデオブロックを生成するために第２の２次元係数ブロックに第２の逆変換を適用することと、第２の逆変換は、周波数領域からピクセル領域に第２の２次元係数ブロックを変換する、復号ビデオブロックを形成することと、ここにおいて、復号ビデオブロックを形成することは、１つまたは複数の予測ブロックを残差ビデオブロックに加算することを備える、を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体について説明する。
【0022】
[0022]一例では、本開示は、実行されたとき、ビデオデータを符号化するためのデバイスの１つまたは複数のプロセッサに、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、残差ビデオブロックを形成することと、第１の２次元係数ブロックを生成するために残差ビデオブロックの少なくとも一部に第１の変換を適用することと、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する、第１の１次元係数ベクトルを生成するために第１の２次元係数ブロックを再編成することと、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルの少なくとも一部に第２の変換を適用することと、第２の変換は、非分離可能変換である、係数走査順序に従って第２の２次元係数ブロックとして第２の１次元係数ベクトルを再編成することとを行わせる命令を記憶した非一時的コンピュータ可読記憶媒体について説明する。
【0023】
[0023]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0024】
【図1】[0024]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図2】[0025]本開示で説明する技法を利用し得るＨＥＶＣにおける残差４分木に基づく変換方式の図。
【図3A】[0026]ビデオエンコーダにおける変換プロセスの図。
【図3B】[0027]ビデオデコーダにおける変換プロセスの図。
【図4】[0028]ビデオデコーダによって適用される例示的な回転変換の図。
【図5】[0029]２次変換係数再編成プロセスを含む例示的な符号化プロセスを示すブロック図。
【図6】[0030]２次変換係数再編成プロセスを含む例示的な復号プロセスを示すブロック図。
【図7A】[0031]ルーマイントラモードから変換セットインデックスへの例示的なマッピングの図。
【図7B】[0032]０〜６６にわたるイントラ予測モード（ＩＰＭ）範囲の図。
【図8】[0033]本開示で説明する技法を実装し得るビデオエンコーダの一例を示すブロック図。
【図9】[0034]本開示で説明する技法を実装し得るビデオデコーダの一例を示すブロック図。
【図10A】[0035]本開示で説明する１つまたは複数の技法による、ビデオエンコーダによる例示的な変換処理の図。
【図10B】[0036]本開示で説明する１つまたは複数の技法による、ビデオデコーダによる例示的な逆変換処理の図。
【図11】[0037]本開示で説明する技法を実施し得るビデオデータの第１の例示的な復号を示す流れ図。
【図12】[0038]本開示で説明する技法を実施し得るビデオデータの第１の例示的な符号化を示す流れ図。
【図13】[0039]本開示で説明する技法を実施し得るビデオデータの第２の例示的な復号を示す流れ図。
【図14】[0040]本開示で説明する技法を実施し得るビデオデータの第２の例示的な符号化を示す流れ図。
【発明を実施するための形態】
【0025】
[0041]概して、本開示では、ビデオコーディングにおけるイントラまたはインター予測残差データに適用される２次変換設計に関する技法について説明する。変換は、ＨＥＶＣの拡張または次世代のビデオコーディング規格などの高度なビデオコーデックのコンテキストにおいて使用され得る。
【0026】
[0042]ビデオエンコーダは、ビデオエンコーダからビデオデコーダへの出力に好適な形態でビデオデータのための残差ブロックを表し得る。ビデオエンコーダからビデオデコーダに送信されるデータの量が低減されるように残差ブロックを表すために使用されるデータの量を低減することが望ましい。ビデオコーディングでは、分離可能変換は、非分離可能変換と比較して、より少ない演算（たとえば、加算、乗算）を使用し得るので、分離可能変換は、非分離可能変換に優先して適用されている。分離可能変換は、２つ以上のフィルタの生成物として書くことができるフィルタである。対照的に、非分離可能フィルタは、２つ以上のフィルタの生成物として書くことができない。
【0027】
[0043]ピクセル領域中の残差ブロックを周波数領域中の係数ブロックに変換する変換のみに依拠するのではなく、ビデオエンコーダはまた、係数ブロックのエネルギー圧縮を増加するために２次変換を適用し得る。たとえば、２次変換は、係数ブロックのＤＣ係数のより近くに係数ブロックの非ゼロ係数を集中し得る。したがって、係数ブロックのＤＣ係数と係数ブロックの最後の有意な（すなわち、非ゼロ）係数との間に係数は少なく、残差ブロックを表すために使用されるデータの量が低減され得る。同様に、ビデオデコーダは、係数ブロックを残差ブロックに変換するために逆１次変換を適用し得る。このようにして、残差ブロックを表すために使用されるデータが低減され、それによって、ビデオデータのための帯域幅および／または記憶要件が低減され、潜在的に、ビデオデコーダとビデオエンコーダとのエネルギー使用量が低減され得る。
【0028】
[0044]２次変換の既存の設計は、分離可能変換として２次変換を適用する。いくつかの例では、分離可能変換が非分離可能変換と比較してより低い複雑さを有するので、分離可能変換が非分離可能の代わりに適用されている。したがって、分離可能変換は、ビデオコーディング方式では、非分離可能変換よりも有利になっていることがある。しかしながら、２次変換としての非分離可能変換の使用は、改善された変換効率を与え得る。たとえば、デバイスは、分離可能２次変換よりも高速に、または少ない複雑さで、非分離可能２次変換を適用することが可能であり得る。したがって、本開示の一例によれば、ビデオデコーダは、第２の係数ブロックを生成するために逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用し、第１の逆変換は、非分離可能変換であり得る。さらにこの例では、ビデオデコーダは、残差ビデオブロックを生成するために第２の係数ブロックに第２の逆変換を適用し得る。第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換し得る。この例では、ビデオデコーダは、復号ビデオブロックを形成し得る。いくつかの例では、復号ビデオブロックを形成することの一部として、ビデオデコーダは、１つまたは複数の予測ブロックを残差ビデオブロックに加算し得る。
【0029】
[0045]ビデオデータの圧縮の差異、たとえば、異なるイントラ予測モードは、非分離可能２次変換の有効性を変更し得る。たとえば、第１のイントラ予測モードを使用するとき、第１の非分離可能２次変換が、第２の非分離可能２次変換よりも高いエネルギー圧縮を有し得る。しかしながら、本例では、第２のイントラ予測モードを使用するとき、第２の非分離可能２次変換が、第１の非分離可能２次変換よりも高いエネルギー圧縮を有し得る。したがって、候補非分離可能２次変換のセットから候補非分離可能２次変換を選択する技法を可能にすることが望ましいことがある。すなわち、異なるビデオデータに対して同じ非分離可能２次変換を使用するのではなく、ビデオエンコーダは、非分離可能２次変換のセットから候補非分離可能２次変換を選択し得る。たとえば、ビデオエンコーダは、イントラ予測モードに基づいて非分離可能２次変換のサブセットを構築し得る。同様に、いくつかの例では、ビデオデコーダは、非分離可能２次変換のセットから候補非分離可能２次変換を選択し得る。たとえば、ビデオデコーダは、ビデオデータの復号済み情報に基づいて非分離可能２次変換のサブセットを構築し得る。このようにして、より好適な非分離可能２次変換は、残差ブロックに適用されるように選択され得、これにより、ただ１つの非分離可能２次変換候補を使用する例と比較して、残差ブロックを表すために使用されるデータの量が低減され得る。
【0030】
[0046]いくつかの例では、必ずしもベクトルフォーマットで変換係数を量子化するのではなく、ビデオエンコーダは、変換係数を２次元係数ブロックに再編成し得る。より詳細には、いくつかの例では、量子化ユニットは、分離可能変換によって出力されるフォーマットであり得る２次元係数ブロックを量子化するように構成され得る。したがって、ビデオエンコーダが分離可能変換のみを使用するインスタンスならびにビデオエンコーダが分離可能変換と非分離可能変換とを使用したインスタンスにおいて、同じ量子化ユニットが使用され得る。
【0031】
[0047]図１は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを提供するソースデバイス１２を含む。具体的には、ソースデバイス１２は、コンピュータ可読媒体１６を介して宛先デバイス１４にビデオデータを提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【0032】
[0048]宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が、符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信標準規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含むことができる。
【0033】
[0049]いくつかの例では、符号化されたデータは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した、両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【0034】
[0050]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の応用など、様々なマルチメディア応用のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【0035】
[0051]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、たとえば、２次変換に関係する技法など、本開示で説明する技法を適用するように構成され得る。本開示によれば、宛先デバイス１４のビデオデコーダ３０は、たとえば、２次変換に関係する技法など、本開示で説明する技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0036】
[0052]上述のように、ソースデバイス１２は出力インターフェース２２を含み、宛先デバイス１４は入力インターフェース２８を含む。いくつかの例では、出力インターフェース２２は送信機を表し、入力インターフェース２８は受信機を表す。他の例では、出力インターフェース２２および入力インターフェース２８は、トランシーバ（すなわち、ワイヤレスにデータ信号を送信することと受信することの両方が可能なインターフェース）の例を表す。トランシーバは、ワイヤレス信号中でビデオデータを送信および受信するように構成され得る。たとえば、出力インターフェース２２は、トランシーバとして実装されたとき、符号化ビデオデータを含むデータ信号（たとえば、コンピュータ可読媒体１６）を送り得、入力インターフェース２８は、トランシーバとして実装されたとき、符号化ビデオデータを含むデータ信号（たとえば、コンピュータ可読媒体１６）を受信し得る。上記で説明したように、ビデオエンコーダ２０は符号化ビデオデータを出力インターフェース２２に与え得、入力インターフェース２８は符号化ビデオデータをビデオデコーダ３０に与え得る。
【0037】
[0053]図１の図示のシステム１０は一例にすぎない。本開示で説明する技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスおよびビデオ復号デバイスによって実行されるが、本技法はまた、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによって実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス１２と宛先デバイス１４との間の一方向または双方向のビデオ送信をサポートし得る。
【0038】
[0054]ソースデバイス１２のビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてコンピュータグラフィックスベースのデータ、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成ビデオの組合せを生成し得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。
【0039】
[0055]コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時的媒体を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを宛先デバイス１４に与え得る。したがって、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解され得る。
【0040】
[0056]宛先デバイス１４の入力インターフェース２８はコンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコード化ユニットの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【0041】
[0057]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法がソフトウェアで部分的に実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアで命令を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
【0042】
[0058]ビデオエンコーダ２０とビデオデコーダ３０とは、上記で説明した規格などのビデオコーディング規格に従って動作し、いくつかの例では、ＩＴＵ−Ｔ Ｈ．２６５とも呼ばれる高効率ビデオコーディング（ＨＥＶＣ）規格またはＨＥＶＣ規格の拡張に従って、あるいは次世代のビデオコーディング規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれ、オーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコルなどのプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【0043】
[0059]本開示の技法は、概して、「ＳＥＲＩＥＳ Ｈ： ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ，Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ」、高効率ビデオコーディング、ＩＴＵ−Ｔ Ｈ．２６５、２０１３年４月に記載されている高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ−Ｔ Ｈ．２６５に関して説明される。ただし、これらの技法は、ＨＥＶＣの拡張および他の規格の拡張を含む他のビデオコーディング規格に適用され得る。他のビデオコーディング規格の例としては、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、および、スケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含むＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）がある。
【0044】
[0060]Ｈ．２６５規格は、最近、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって確定された。以下でＨＥＶＣ ＷＤと呼ぶ、ＨＥＶＣドラフト仕様が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴＶＣ−Ｎ１００３−ｖ１．ｚｉｐから入手可能である。
【0045】
[0061]また、ＨＥＶＣのマルチビュー拡張であるＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発された。ＭＶ−ＨＥＶＣ ＷＤ８と呼ばれる、ＭＶ−ＨＥＶＣのワーキングドラフト（ＷＤ）の例が、ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｖａｌｅｎｃｉａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｈ１００２−ｖ５．ｚｉｐから入手可能である。ＳＨＶＣと称するＨＥＶＣのスケーラブル拡張も、ＪＣＴ−ＶＣによって開発された。ＳＨＶＣ ＷＤ６と呼ばれるＳＨＶＣのワーキングドラフト（ＷＤ）の例が、ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１７＿Ｖａｌｅｎｃｉａ／ｗｇ１１／ＪＣＴＶＣ−Ｑ１００８−ｖ２．ｚｉｐから入手可能である。
【0046】
[0062]ＨＥＶＣおよび他のビデオコーデックでは、ビデオフレームまたはピクチャは、ルーマサンプルとクロマサンプルの両方を含み得る最大コーディングユニット（ＬＣＵ）としても知られる、ツリーブロックのシーケンスに分割され得る。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序で、いくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。
【0047】
[0063]ＨＥＶＣにおいて符号化ＣＴＵを生成するために（すなわち、ＣＴＵを符号化するために）、ビデオエンコーダ２０は、コーディングツリーブロックをコーディングブロックに分割するために、ＣＴＵのコーディングツリーブロックに対して４分木区分化を再帰的に実行することができ、したがって、「コーディングツリーユニット」という名称がある。コーディングブロックはサンプルのＮ×Ｎブロックである。ＣＵは、ルーマサンプルアレイ、ＣｂサンプルアレイおよびＣｒサンプルアレイを有するピクチャの、ルーマサンプルのコーディングブロックと、クロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とであり得る。モノクロームピクチャまたは３つの別々の色平面を有するピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
【0048】
[0064]各ツリーブロックは、４分木データ構造に従ってＣＵに分割され得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。たとえば、４分木内のノードは、そのノードに対応するＣＵがサブＣＵに分割されるか否かを示すスプリットフラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるか否かに依存し得る。ＣＵがさらに分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。たとえば、１６×１６サイズのＣＵがさらに分割されない場合、その１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵはリーフＣＵとも呼ばれる。
【0049】
[0065]ＣＵは、ＣＵがサイズの特異性を有しないことを別にすれば、Ｈ．２６４規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードに分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最終の、分割されていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームはまた、最小コーディングユニット（ＳＣＵ）を定義し得る。ＣＵのサイズは、コーディングノードのサイズに対応し、概して形状が正方形である。ＣＵのサイズは、８×８ピクセルから最大サイズ、たとえば、６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。
【0050】
[0066]ＣＵは、コーディングノードと、そのコーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。各ＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。ＣＵに関連付けられたシンタックスデータは、たとえば、１つまたは複数のＰＵへのＣＵの区分を記述し得る。ＣＵを符号化することの一部として、ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックであり得る。ＣＵの予測ユニット（ＰＵ）は、ピクチャのルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とであり得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロックとＣｂ予測ブロックとＣｒ予測ブロックとのための予測ルーマブロックと予測Ｃｂブロックと予測Ｃｒブロックとを生成し得る。モノクロームピクチャまたは３つの別々の色平面を有するピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。
【0051】
[0067]ビデオエンコーダ２０は、ＰＵのための予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。各ＣＵは、イントラ予測モードまたはインター予測モードのいずれかのうちの１つでコーディングされる。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連するピクチャの復号されたサンプルに基づいてＰＵの予測ブロックを生成し得る。ビデオエンコーダ２０が、ＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連するピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ブロックを生成し得る。
【0052】
[0068]区分モードは、ＣＵがスキップであるのか、または直接モード符号化されるのか、イントラ予測モード符号化されるのか、またはインター予測モード符号化されるのかの間で異なり得る。ＰＵは、形状が非正方形になるように区分され得る。
【0053】
[0069]さらに、ビデオエンコーダ２０は、１つまたは複数の変換ブロックにＣＵの各残差ブロックを分解し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックであり得る。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とであり得る。したがって、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロームピクチャまたは３つの別々の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。いくつかの例では、残差ブロック、ルーマ成分およびクロマ成分に対して同じＣＵは、様々な方法で区分され得る。
【0054】
[0070]ＣＵに関連するシンタックスデータはまた、たとえば、４分木に従うＣＵの１つまたは複数のＴＵへの区分を記述し得る。ＴＵは、形状が正方形または非正方形（たとえば、矩形）であり得る。本開示は、「ブロック」という用語を、ＨＥＶＣのコンテキストにおいてＣＵ、ＰＵ、またはＴＵのうちのいずれか、または他の規格のコンテキストにおいて同様のデータ構造（たとえば、Ｈ．２６４／ＡＶＣのマクロブロックおよびそのサブブロック）を参照するために使用し得る。
【0055】
[0071]ＨＥＶＣ規格は、ＣＵごとに異なり得る、ＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵのために定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは、変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換係数を生成するために変換され得、その変換係数は量子化され得る。
【0056】
[0072]リーフＣＵは１つまたは複数のＰＵを含み得る。概して、ＰＵは、対応するＣＵの全部または一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出しおよび／または生成するためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵのためのデータは、ＰＵに対応するＴＵのためのイントラ予測モードを記述するデータを含み得るＲＱＴ中に含まれ得る。ＲＱＴは変換ツリーと呼ばれることもある。いくつかの例では、イントラ予測モードは、ＲＱＴの代わりに、リーフＣＵシンタックス中でシグナリングされ得る。一例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための、１つまたは複数の動きベクトルなど、動き情報を定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルのための参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。
【0057】
[0073]１つまたは複数のＰＵを有するリーフＣＵはまた、１つまたは複数のＴＵを含み得る。変換ユニットは、上で論じたように、ＲＱＴ（ＴＵ４分木構造とも称する）を使用して指定され得る。たとえば、分割フラグは、リーフＣＵが４つの変換ユニットに分割されるのかどうかを示し得る。次いで、各変換ユニットは、さらなるサブＴＵにさらに分割され得る。ＴＵがさらに分割されないとき、それはリーフＴＵと呼ばれることがある。概して、イントラコーディングの場合、リーフＣＵに属するすべてのリーフＴＵは同じイントラ予測モードを共有する。すなわち、概して、リーフＣＵのすべてのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングでは、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。したがって、ＴＵは、ＰＵよりも大きいことも小さいこともある。イントラコーディングでは、ＰＵは、同じＣＵのための対応するリーフＴＵとコロケートされ得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。
【0058】
[0074]その上、リーフＣＵのＴＵはまた、上述のようにＲＱＴまたは変換ツリーと呼ばれる、それぞれの４分木データ構造に関連付けられ得る。すなわち、リーフＣＵは、そのリーフＣＵがＴＵにどのように区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロックに対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、別段に明記されていない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。
【0059】
[0075]ビデオシーケンスは、通常、一連のビデオフレームまたはピクチャを含む。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し、指定のコーディング規格に応じてサイズが異なり得る。
【0060】
[0076]本開示では、「Ｎ×Ｎ」および「Ｎ ｂｙ Ｎ」は、垂直方向の寸法および水平方向の寸法に関するビデオブロックのピクセル寸法、たとえば、１６ｘ１６ピクセルまたは１６×１６（１６ ｂｙ １６）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）、および水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ここで、Ｎは非負整数値を表す。ブロック中のピクセルは行および列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
【0061】
[0077]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングに続いて、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する技法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルとＰＵに対応する予測値との間のピクセル差に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを表す量子化された変換係数を含むようにＴＵを形成し得る。すなわち、ビデオエンコーダ２０は、（残差ブロックの形態の）残差データを計算し、変換係数のブロックを生成するために残差ブロックを変換し、次いで、被量子化変換係数を形成するために変換係数を量子化し得る。ビデオエンコーダ２０は、量子化された変換係数を含むＴＵ、ならびに他のシンタックス情報（たとえば、ＴＵのための分割情報）を形成し得る。
【0062】
[0078]上述のように、変換係数を生成するための任意の変換の適用の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。
【0063】
[0079]量子化の後に、ビデオエンコーダ２０は、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー（したがって、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（したがって、より高い周波数）係数を配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化された変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を実行し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法に従って、１次元ベクトル中の変換係数を表す特定のシンタックス要素をエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０によって使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
【0064】
[0080]概して、ビデオデコーダ３０は、符号化データを復号するためにビデオエンコーダ２０によって実行されるものと、相反するが、同様のプロセスを実行する。たとえば、ビデオデコーダ３０は、残差ブロックを再生するために、受信されたＴＵの変換係数を逆量子化および逆変換する。ビデオデコーダ３０は、予測されたブロックを形成するために、シグナリングされた予測モード（イントラ予測またはインター予測）を使用し得る。ビデオデコーダ３０は、元のブロックを再生するために予測されたブロックと残差ブロックとを（ピクセルごとに）組み合わせ得る。ビデオデコーダ３０は、ブロック境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実行することなどの追加の処理を実行し得る。さらに、ビデオデコーダ３０は、ビデオエンコーダ２０のＣＡＢＡＣ符号化プロセスに相反するが、それと実質的に同様の様式でＣＡＢＡＣを使用してシンタックス要素を復号し得る。
【0065】
[0081]前述のように、ビデオエンコーダ２０は、ＤＣＴ、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。そのような分離可能変換は、入力信号の代替表現を導出するプロセスを示し得る。Ｎ点ベクトルｘ＝［ｘ0，ｘ1，．．．，×N-1］Tおよび所与のベクトル｛Φ0，Φ1，．．．，ΦM-1｝のセットを仮定すれば、ｘは、近似されるか、またはΦ0，Φ1，．．．，ΦM-1の線形結合を使用して正確に表され得、これは、次のように公式化され得る。
【0066】
【数1】
【0067】
上式で、
【0068】
【数2】
【0069】
は、ｘの近似値または均等物であり得、ベクトルｆ＝［ｆi，ｆ2，．．．，ｆM-1］は、変換係数ベクトルと呼ばれ、｛Φ0，Φ1，．．．，ΦM-1｝は、変換基底ベクトルである。
【0070】
[0082]ビデオコーディングのシナリオでは、変換係数は、ほぼ非相関であり、疎であり得る。たとえば、入力ベクトルｘのエネルギーは、数個の変換係数だけに圧縮され得、残りの大多数の変換係数は一般に０に近くなる。
【0071】
[0083]特定の入力データを仮定すれば、エネルギー圧縮に関する最適な変換は、いわゆるカルーネンレーベ変換（ＫＬＴ）であり得る。ＫＬＴは、変換基底ベクトルとして入力データの共分散行列の固有ベクトルを使用する。したがって、ＫＬＴは、実際には、データ依存型の変換であり、一般的な数学的公式化を有しない。しかしながら、入力データが１次定常マルコフ過程を形成するなどのいくつかの仮定の下で、対応するＫＬＴが実際には単一変換の正弦波ファミリーのメンバーであることが文献で証明されており、これは、Ｊａｉｎ，Ａ．Ｋ．、Ａ ｓｉｎｕｓｏｉｄａｌ ｆａｍｉｌｙ ｏｆ ｕｎｉｔａｒｙ ｔｒａｎｓｆｏｒｍｓ、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１、３５６、１９７９に記載されている。単一変換の正弦波ファミリーは、次のように公式化される変換基底ベクトルを使用して変換を示し得る。
【0072】
【数3】
【0073】
上記の式中で、ｅは、２．７１８２８にほぼ等しい自然対数の底であり、Ａ、Ｂ、およびθは概して複素数であり、ｍの値に依存する。さらに、上記の式中で、Φmは、ベクトルであり、Φm（ｋ）は、ベクトルΦmのｋ番目の成分を示し、ｉは、複素数の虚数部を示す。
【0074】
[0084]離散フーリエ変換、コサイン変換、サイン変換、および（１次定常マルコフ過程のための）ＫＬＴを含むいくつかのよく知られている変換は、単体変換のこの正弦波ファミリーのメンバーである。Ｓ．Ａ．Ｍａｒｔｕｃｃｉ、「Ｓｙｍｍｅｔｒｉｃ ｃｏｎｖｏｌｕｔｉｏｎ ａｎｄ ｔｈｅ ｄｉｓｃｒｅｔｅ ｓｉｎｅ ａｎｄ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍｓ」、ＩＥＥＥ Ｔｒａｎｓ．Ｓｉｇ．Ｐｒｏｃｅｓｓｉｎｇ ＳＰ−４２、１０３８−１０５１（１９９４）に記載されているように、完全なＤＣＴおよび離散サイン変換（ＤＳＴ）ファミリーは、異なるタイプに基づいて合計１６個の変換を含み得、ＤＣＴおよびＤＳＴの異なるタイプの完全な定義を以下に与える。異なるタイプは、Ａ、Ｂ、およびθの異なる値に対応し得る。
【0075】
[0085]入力Ｎ点ベクトルが、ｘ＝［ｘ0，ｘ1，．．．，×N-1］Tとして示されると仮定すると、Ｎ点ベクトルは、行列を乗じることによってｙ＝［ｙ0，ｙ1，．．．，ｙN-1］Tとして示される別のＮ点変換係数ベクトルに変換される。ｘからｙに変換するプロセスは、さらに、以下の変換公式化のうちの１つに従って示され得、ここにおいて、ｋは、両端値を含む０〜Ｎ−１にわたる。ＤＣＴタイプＩ（ＤＣＴ−１）：
【0076】
【数4】
【0077】
、上式で、
【0078】
【数5】
【0079】
、
【0080】
【数6】
【0081】
ＤＣＴタイプＩＩ（ＤＣＴ−２）：
【0082】
【数7】
【0083】
、上式で、
【0084】
【数8】
【0085】
ＤＣＴタイプＩＩＩ（ＤＣＴ−３）：
【0086】
【数9】
【0087】
、上式で、
【0088】
【数10】
【0089】
ＤＣＴタイプＩＶ（ＤＣＴ−４）：
【0090】
【数11】
【0091】
、ＤＣＴタイプＶ（ＤＣＴ−５）：
【0092】
【数12】
【0093】
、上式で、
【0094】
【数13】
【0095】
、
【0096】
【数14】
【0097】
ＤＣＴタイプＶＩ（ＤＣＴ−６）：
【0098】
【数15】
【0099】
、上式で、
【0100】
【数16】
【0101】
、
【0102】
【数17】
【0103】
ＤＣＴタイプＶＩＩ（ＤＣＴ−７）：
【0104】
【数18】
【0105】
、上式で、
【0106】
【数19】
【0107】
、
【0108】
【数20】
【0109】
ＤＣＴタイプＶＩＩＩ（ＤＣＴ−８）：
【0110】
【数21】
【0111】
、ＤＳＴタイプＩ（ＤＳＴ−１）：
【0112】
【数22】
【0113】
、ＤＳＴタイプＩＩ（ＤＳＴ−２）：
【0114】
【数23】
【0115】
、上式で、
【0116】
【数24】
【0117】
ＤＳＴタイプＩＩＩ（ＤＳＴ−３）：
【0118】
【数25】
【0119】
、上式で、
【0120】
【数26】
【0121】
ＤＳＴタイプＩＶ（ＤＳＴ−４）：
【0122】
【数27】
【0123】
、ＤＳＴタイプＶ（ＤＳＴ−５）：
【0124】
【数28】
【0125】
、ＤＳＴタイプＶＩ（ＤＳＴ−６）：
【0126】
【数29】
【0127】
、ＤＣＴタイプＶＩＩ（ＤＳＴ−７）：
【0128】
【数30】
【0129】
、ＤＳＴタイプＶＩＩＩ（ＤＳＴ−８）：
【0130】
【数31】
【0131】
、上式で、
【0132】
【数32】
【0133】
、
【0134】
【数33】
【0135】
[0086]ＤＳＴタイプなどの変換タイプは、変換基底関数の数学的公式化によって指定され得る。たとえば、４点ＤＳＴ−ＶＩＩおよび８点ＤＳＴ−ＶＩＩは、Ｎの値にかかわらず同じ変換タイプを有する。
【0136】
[0087]一般性を失うことなく、すべての上記の変換タイプは、以下の一般的公式化を使用して表され得る。
【0137】
【数34】
【0138】
上記の式中で、Ｔは、ある変換の定義によって指定され得る変換行列、たとえば、ＤＣＴタイプＩ〜ＤＣＴタイプＶＩＩＩまたはＤＳＴタイプＩ〜ＤＳＴタイプＶＩＩＩであり、Ｔの行ベクトル、たとえば、［Ｔi,0，Ｔi,1，Ｔi,2，．．．，Ｔi,N-1］は、ｉ番目の変換基底ベクトルである。Ｎ点入力ベクトルに適用される変換は、Ｎ点変換と呼ばれることがある。
【0139】
[0088]また、１次元入力データｘに適用される上記の変換公式化が、以下のような行列乗算形態で表され得ることに留意されたい。ｙ＝Ｔ・ｘ
上記の式中で、Ｔは、変換行列を示し、ｘは、入力データベクトルを示し、ｙは、出力変換係数ベクトルを示す。
【0140】
[0089]前の部分に導入された変換は、１次元入力データに適用され得、変換はまた、２次元入力データソースに拡張され得る。以下の説明では、Ｘは、入力Ｍ×Ｎデータアレイである。２次元入力データに変換を適用する技法は、分離可能および非分離可能２次元変換を含み得る。
【0141】
[0090]分離可能２次元変換は、以下のように公式化される、Ｘの水平および垂直ベクトルに連続的に１次元変換を適用する。Ｙ＝Ｃ・Ｘ・ＲT
上記の式中で、ＣおよびＲは、それぞれ、所与のＭ×ＭおよびＮ×Ｎの変換行列を示す。公式化から、Ｃが、Ｘの列ベクトルに１次元変換を適用し、一方、Ｒが、Ｘの行ベクトルに１次元変換を適用することがわかる。本明細書の後の部分において、簡単のために、ＣおよびＲは、左側（垂直）および右側（水平）変換として示され、それらはどちらも、変換ペアを形成する。Ｃが、Ｒに等しく、直交行列である場合がある。そのような場合、分離可能２次元変換は、ただ１つの変換行列によって決定され得る。
【0142】
[0091]いくつかの例では、非分離可能２次元変換は、最初に、以下の数学的マッピングを適用することによって、Ｘのすべての要素を単一のベクトル、すなわち、Ｘ’に再編成し得る。Ｘ’(i・N+j)＝Ｘi,j
次いで、１次元変換Ｔ’は、下記のようにＸ’に適用され得る。
Ｙ＝Ｔ’・Ｘ’
上記の式中で、Ｔ’は、（Ｍ＊Ｎ）×（Ｍ＊Ｎ）変換行列である。
【0143】
[0092]ビデオコーディングでは、２次元変換が、１次元変換と比較してより少ない動作カウント（たとえば、加算、乗算）を使用し得るので、分離可能２次元変換が適用され得る。
【0144】
[0093]Ｈ．２６４／ＡＶＣなどの従来のビデオコーデックでは、４点および８点ＤＣＴタイプＩＩの整数近似値がイントラおよびインター予測残差の両方に適用される。言い換えれば、ビデオコーダは、イントラまたはインター予測を使用して生成される残差ブロックに４点および８点ＤＣＴタイプＩＩの整数近似値を適用し得る。残差サンプルの様々な統計値により良く適応するために、ＤＣＴタイプＩＩ以外の変換のよりフレキシブルなタイプが、新世代のビデオコーデックにおいて利用される。たとえば、ＨＥＶＣでは、イントラ予測残差のために、４点タイプＶＩＩ ＤＳＴの整数近似値が利用され得る。Ｊ．Ｈａｎ、Ａ．ＳａｘｅｎａおよびＫ．Ｒｏｓｅ、「Ｔｏｗａｒｄｓ ｊｏｉｎｔｌｙ ｏｐｔｉｍａｌ ｓｐａｔｉａｌ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ａｄａｐｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｉｎ ｖｉｄｅｏ／ｉｍａｇｅ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）、２０１０年３月、ｐｐ．７２６〜７２９に記載されているように、ＨＥＶＣで使用されるＤＳＴタイプＶＩＩが、イントラ予測方向に沿って生成される残差ベクトルについてＤＣＴタイプＩＩよりも効率的であることが理論的に証明され、実験的に実証されている。たとえば、ＤＳＴタイプＶＩＩは、水平イントラ予測方向によって生成された行残差ベクトルについてＤＣＴタイプＩＩよりも効率的である。ＨＥＶＣでは、４点ＤＳＴタイプＶＩＩの整数近似値は、４×４ルーマイントラ予測残差ブロックにのみ適用される。ＨＥＶＣで使用される４点ＤＳＴ−ＶＩＩを以下に示す。４×４ＤＳＴ−ＶＩＩ：
｛２９，５５，７４，８４｝
｛７４，７４，０，−７４｝
｛８４，−２９，−７４，５５｝
｛５５，−８４，７４，−２９｝
[0094]ＨＥＶＣでは、４×４ルーマイントラ予測残差ブロックでない残差ブロックに対して、以下に示すように、４点、８点、１６点および３２点ＤＣＴタイプＩＩの整数近似値も適用され得る。
４点ＤＣＴ−ＩＩ：
｛６４，６４，６４，６４｝
｛８３，３６，−３６，−８３｝
｛６４，−６４，−６４，６４｝
｛３６，−８３，８３，−３６｝
８点ＤＣＴ−ＩＩ：
｛６４，６４，６４，６４，６４，６４，６４，６４｝
｛８９，７５，５０，１８，−１８，−５０，−７５，−８９｝
｛８３，３６，−３６，−８３，−８３，−３６，３６，８３｝
｛７５，−１８，−８９，−５０，５０，８９，１８，−７５｝
｛６４，−６４，−６４，６４，６４，−６４，−６４，６４｝
｛５０，−８９，１８，７５，−７５，−１８，８９，−５０｝
｛３６，−８３，８３，−３６，−３６，８３，−８３，３６｝
｛１８，−５０，７５，−８９，８９，−７５，５０，−１８｝
１６点ＤＣＴ−ＩＩ：
｛６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４｝
｛９０，８７，８０，７０，５７，４３，２５，９，−９，−２５，−４３，−５７，−７０，−８０，−８７，−９０｝
｛８９，７５，５０，１８，−１８，−５０，−７５，−８９，−８９，−７５，−５０，−１８，１８，５０，７５，８９｝
｛８７，５７，９，−４３，−８０，−９０，−７０，−２５，２５，７０，９０，８０，４３，−９，−５７，−８７｝
｛８３，３６，−３６，−８３，−８３，−３６，３６，８３，８３，３６，−３６，−８３，−８３，−３６，３６，８３｝
｛８０，９，−７０，−８７，−２５，５７，９０，４３，−４３，−９０，−５７，２５，８７，７０，−９，−８０｝
｛７５，−１８，−８９，−５０，５０，８９，１８，−７５，−７５，１８，８９，５０，−５０，−８９，−１８，７５｝
｛７０，−４３，−８７，９，９０，２５，−８０，−５７，５７，８０，−２５，−９０，−９，８７，４３，−７０｝
｛６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４｝
｛５７，−８０，−２５，９０，−９，−８７，４３，７０，−７０，−４３，８７，９，−９０，２５，８０，−５７｝
｛５０，−８９，１８，７５，−７５，−１８，８９，−５０，−５０，８９，−１８，−７５，７５，１８，−８９，５０｝
｛４３，−９０，５７，２５，−８７，７０，９，−８０，８０，−９，−７０，８７，−２５，−５７，９０，−４３｝
｛３６，−８３，８３，−３６，−３６，８３，−８３，３６，３６，−８３，８３，−３６，−３６，８３，−８３，３６｝
｛２５，−７０，９０，−８０，４３，９，−５７，８７，−８７，５７，−９，−４３，８０，−９０，７０，−２５｝
｛１８，−５０，７５，−８９，８９，−７５，５０，−１８，−１８，５０，−７５，８９，−８９，７５，−５０，１８｝
｛９，−２５，４３，−５７，７０，−８０，８７，−９０，９０，−８７，８０，−７０，５７，−４３，２５，−９｝
３２点ＤＣＴ−ＩＩ：
｛６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４，６４｝
｛９０，９０，８８，８５，８２，７８，７３，６７，６１，５４，４６，３８，３１，２２，１３，４，−４，−１３，−２２，−３１，−３８，−４６，−５４，−６１，−６７，−７３，−７８，−８２，−８５，−８８，−９０，−９０｝
｛９０，８７，８０，７０，５７，４３，２５，９，−９，−２５，−４３，−５７，−７０，−８０，−８７，−９０，−９０，−８７，−８０，−７０，−５７，−４３，−２５，−９，９，２５，４３，５７，７０，８０，８７，９０｝
｛９０，８２，６７，４６，２２，−４，−３１，−５４，−７３，−８５，−９０，−８８，−７８，−６１，−３８，−１３，１３，３８，６１，７８，８８，９０，８５，７３，５４，３１，４，−２２，−４６，−６７，−８２，−９０｝
｛８９，７５，５０，１８，−１８，−５０，−７５，−８９，−８９，−７５，−５０，−１８，１８，５０，７５，８９，８９，７５，５０，１８，−１８，−５０，−７５，−８９，−８９，−７５，−５０，−１８，１８，５０，７５，８９｝
｛８８，６７，３１，−１３，−５４，−８２，−９０，−７８，−４６，−４，３８，７３，９０，８５，６１，２２，−２２，−６１，−８５，−９０，−７３，−３８，４，４６，７８，９０，８２，５４，１３，−３１，−６７，−８８｝
｛８７，５７，９，−４３，−８０，−９０，−７０，−２５，２５，７０，９０，８０，４３，−９，−５７，−８７，−８７，−５７，−９，４３，８０，９０，７０，２５，−２５，−７０，−９０，−８０，−４３，９，５７，８７｝
｛８５，４６，−１３，−６７，−９０，−７３，−２２，３８，８２，８８，５４，−４，−６１，−９０，−７８，−３１，３１，７８，９０，６１，４，−５４，−８８，−８２，−３８，２２，７３，９０，６７，１３，−４６，−８５｝
｛８３，３６，−３６，−８３，−８３，−３６，３６，８３，８３，３６，−３６，−８３，−８３，−３６，３６，８３，８３，３６，−３６，−８３，−８３，−３６，３６，８３，８３，３６，−３６，−８３，−８３，−３６，３６，８３｝
｛８２，２２，−５４，−９０，−６１，１３，７８，８５，３１，−４６，−９０，−６７，４，７３，８８，３８，−３８，−８８，−７３，−４，６７，９０，４６，−３１，−８５，−７８，−１３，６１，９０，５４，−２２，−８２｝
｛８０，９，−７０，−８７，−２５，５７，９０，４３，−４３，−９０，−５７，２５，８７，７０，−９，−８０，−８０，−９，７０，８７，２５，−５７，−９０，−４３，４３，９０，５７，−２５，−８７，−７０，９，８０｝
｛７８，−４，−８２，−７３，１３，８５，６７，−２２，−８８，−６１，３１，９０，５４，−３８，−９０，−４６，４６，９０，３８，−５４，−９０，−３１，６１，８８，２２，−６７，−８５，−１３，７３，８２，４，−７８｝
｛７５，−１８，−８９，−５０，５０，８９，１８，−７５，−７５，１８，８９，５０，−５０，−８９，−１８，７５，７５，−１８，−８９，−５０，５０，８９，１８，−７５，−７５，１８，８９，５０，−５０，−８９，−１８，７５｝
｛７３，−３１，−９０，−２２，７８，６７，−３８，−９０，−１３，８２，６１，−４６，−８８，−４，８５，５４，−５４，−８５，４，８８，４６，−６１，−８２，１３，９０，３８，−６７，−７８，２２，９０，３１，−７３｝
｛７０，−４３，−８７，９，９０，２５，−８０，−５７，５７，８０，−２５，−９０，−９，８７，４３，−７０，−７０，４３，８７，−９，−９０，−２５，８０，５７，−５７，−８０，２５，９０，９，−８７，−４３，７０｝
｛６７，−５４，−７８，３８，８５，−２２，−９０，４，９０，１３，−８８，−３１，８２，４６，−７３，−６１，６１，７３，−４６，−８２，３１，８８，−１３，−９０，−４，９０，２２，−８５，−３８，７８，５４，−６７｝
｛６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４，６４，−６４，−６４，６４｝
｛６１，−７３，−４６，８２，３１，−８８，−１３，９０，−４，−９０，２２，８５，−３８，−７８，５４，６７，−６７，−５４，７８，３８，−８５，−２２，９０，４，−９０，１３，８８，−３１，−８２，４６，７３，−６１｝
｛５７，−８０，−２５，９０，−９，−８７，４３，７０，−７０，−４３，８７，９，−９０，２５，８０，−５７，−５７，８０，２５，−９０，９，８７，−４３，−７０，７０，４３，−８７，−９，９０，−２５，−８０，５７｝
｛５４，−８５，−４，８８，−４６，−６１，８２，１３，−９０，３８，６７，−７８，−２２，９０，−３１，−７３，７３，３１，−９０，２２，７８，−６７，−３８，９０，−１３，−８２，６１，４６，−８８，４，８５，−５４｝
｛５０，−８９，１８，７５，−７５，−１８，８９，−５０，−５０，８９，−１８，−７５，７５，１８，−８９，５０，５０，−８９，１８，７５，−７５，−１８，８９，−５０，−５０，８９，−１８，−７５，７５，１８，−８９，５０｝
｛４６，−９０，３８，５４，−９０，３１，６１，−８８，２２，６７，−８５，１３，７３，−８２，４，７８，−７８，−４，８２，−７３，−１３，８５，−６７，−２２，８８，−６１，−３１，９０，−５４，−３８，９０，−４６｝
｛４３，−９０，５７，２５，−８７，７０，９，−８０，８０，−９，−７０，８７，−２５，−５７，９０，−４３，−４３，９０，−５７，−２５，８７，−７０，−９，８０，−８０，９，７０，−８７，２５，５７，−９０，４３｝
｛３８，−８８，７３，−４，−６７，９０，−４６，−３１，８５，−７８，１３，６１，−９０，５４，２２，−８２，８２，−２２，−５４，９０，−６１，−１３，７８，−８５，３１，４６，−９０，６７，４，−７３，８８，−３８｝
｛３６，−８３，８３，−３６，−３６，８３，−８３，３６，３６，−８３，８３，−３６，−３６，８３，−８３，３６，３６，−８３，８３，−３６，−３６，８３，−８３，３６，３６，−８３，８３，−３６，−３６，８３，−８３，３６｝
｛３１，−７８，９０，−６１，４，５４，−８８，８２，−３８，−２２，７３，−９０，６７，−１３，−４６，８５，−８５，４６，１３，−６７，９０，−７３，２２，３８，−８２，８８，−５４，−４，６１，−９０，７８，−３１｝
｛２５，−７０，９０，−８０，４３，９，−５７，８７，−８７，５７，−９，−４３，８０，−９０，７０，−２５，−２５，７０，−９０，８０，−４３，−９，５７，−８７，８７，−５７，９，４３，−８０，９０，−７０，２５｝
｛２２，−６１，８５，−９０，７３，−３８，−４，４６，−７８，９０，−８２，５４，−１３，−３１，６７，−８８，８８，−６７，３１，１３，−５４，８２，−９０，７８，−４６，４，３８，−７３，９０，−８５，６１，−２２｝
｛１８，−５０，７５，−８９，８９，−７５，５０，−１８，−１８，５０，−７５，８９，−８９，７５，−５０，１８，１８，−５０，７５，−８９，８９，−７５，５０，−１８，−１８，５０，−７５，８９，−８９，７５，−５０，１８｝
｛１３，−３８，６１，−７８，８８，−９０，８５，−７３，５４，−３１，４，２２，−４６，６７，−８２，９０，−９０，８２，−６７，４６，−２２，−４，３１，−５４，７３，−８５，９０，−８８，７８，−６１，３８，−１３｝
｛９，−２５，４３，−５７，７０，−８０，８７，−９０，９０，−８７，８０，−７０，５７，−４３，２５，−９，−９，２５，−４３，５７，−７０，８０，−８７，９０，−９０，８７，−８０，７０，−５７，４３，−２５，９｝
｛４，−１３，２２，−３１，３８，−４６，５４，−６１，６７，−７３，７８，−８２，８５，−８８，９０，−９０，９０，−９０，８８，−８５，８２，−７８，７３，−６７，６１，−５４，４６，−３８，３１，−２２，１３，−４｝
[0095]ｈｔｔｐ：／／ｗｗｗ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｆｉｅｌｄｓ−ｏｆ−ｃｏｍｐｅｔｅｎｃｅ／ｉｍａｇｅ−ｐｒｏｃｅｓｓｉｎｇ／ｒｅｓｅａｒｃｈ−ｇｒｏｕｐｓ／ｉｍａｇｅ−ｖｉｄｅｏ−ｃｏｄｉｎｇ／ｈｅｖｃ−ｈｉｇｈ−ｅｆｆｉｃｉｅｎｃｙ−ｖｉｄｅｏ−ｃｏｄｉｎｇ／ｔｒａｎｓｆｏｒｍ−ｃｏｄｉｎｇ−ｕｓｉｎｇ−ｔｈｅ−ｒｅｓｉｄｕａｌ−ｑｕａｄｔｒｅｅ−ｒｑｔ．ｈｔｍｌに記載されているように、残差ブロックの様々な特性に適合するために、ＨＥＶＣでは残差４分木（ＲＱＴ）を使用する変換コーディング構造が適用され得る。上記で簡単に説明したように、各ピクチャは、コーディングツリーユニット（ＣＴＵ）に分割され得る。ＣＴＵは、特定のタイルまたはスライスについてラスタ走査順序でコーディングされ得る。ＣＴＵは、正方形ブロックであり得、４分木、たとえば、コーディングツリーのルートを表し得る。ＣＴＵサイズは８×８から６４×６４ルーマサンプルにわたり得るが、一般に６４×６４が使用される。各ＣＴＵは、さらに、ＣＵと呼ばれるより小さい正方形ブロックに分割され得る。ＣＴＵがＣＵに再帰的に分割された後、各ＣＵは、さらに、１つまたは複数のＰＵおよび１つまたは複数のＴＵに分割され得る。ＣＵのＴＵへの区分は、４分木手法に基づいて再帰的に実行され得る。したがって、各ＣＵの残差信号は、ツリー構造、すなわち、残差４分木（ＲＱＴ）によってコーディングされる。
【0145】
[0096]ＲＱＴは、４×４から３２×３２ルーマサンプルまでのＴＵサイズを可能にする。図２に、ＣＵが、文字ａ〜ｊで標示された１０個のＴＵを含む一例と、対応するブロック区分とを示す。ＲＱＴの各ノードは、実際はＴＵであり得る。個々のＴＵは、深度優先トラバーサルによる再帰的Ｚ走査に従う、アルファベット順として図２に示す深度優先ツリートラバーサル順序で処理され得る。４分木手法は、残差信号の変動する空間周波数特性に対する変換の適応を可能にし得る。一般に、より大きい空間サポートを有するより大きい変換ブロックサイズは、より良い周波数解像度を与える。しかしながら、より小さい空間サポートを有するより小さい変換ブロックサイズは、より良い空間解像度を与える。空間解像度と周波数解像度との２つの間のトレードオフは、エンコーダモード決定によって選定され得る。たとえば、より大きいまたはより小さい変換ブロックサイズの選定は、レートひずみ最適化技法に基づき得る。レートひずみ最適化技法は、各コーディングモード（たとえば、特定のＲＱＴ分割構造）についてコーディングビットと再構築ひずみとの加重和、たとえば、レートひずみコストを計算し得る。さらに、レートひずみ最適化技法は、最小レートひずみコストをもつコーディングモードを最良のモードとして選択し得る。
【0146】
[0097]３つのパラメータ、すなわち、ＲＱＴの最大深度、ＲＱＴの最小許容変換サイズ、および最大許容変換サイズがＲＱＴにおいて定義され得る。最小および最大変換サイズは、前の段落で述べたサポートされるブロック変換に対応し得る、４×４から３２×３２サンプルまでの範囲内で変動し得る。ＲＱＴの最大許容深度はＴＵの数を制限し得る。０に等しい最大深度は、各含まれた変換ブロック（ＴＢ）が最大許容変換サイズ、たとえば、３２×３２に達した場合、コーディングブロック（ＣＢ）がこれ以上分割され得ないことを意味し得る。
【0147】
[0098]３つのパラメータの各々は、相互作用し、ＲＱＴ構造に影響を及ぼす。ルートＣＢサイズが６４×６４であり、最大深度が０に等しく、最大変換サイズが３２×３２に等しい場合について考える。この場合、ＣＢは、さもなければ、それが、許容されないことがある６４×６４ＴＢにつながることになるので、少なくとも１回区分され得る。ＲＱＴパラメータ、たとえば、最大ＲＱＴ深度、最小および最大変換サイズは、シーケンスパラメータセットレベルにおいてビットストリーム中で送信され得る。ＲＱＴ深度に関して、イントラコード化ＣＵとインターコード化ＣＵとについて異なる値が指定され、シグナリングされ得る。
【0148】
[0099]４分木変換は、イントラ残差ブロックとインター残差ブロックの両方に適用され得る。現在の残差４分木パーティションと同じサイズのＤＣＴ−ＩＩ変換が残差ブロックに適用され得る。しかしながら、現在の残差４分木ブロックが４×４であり、イントラ予測によって生成される場合、上記の４×４ＤＳＴ−ＶＩＩ変換が適用され得る。ＨＥＶＣでは、より大きいサイズの変換、たとえば、６４×６４変換は、主に、それらの限られた利益と比較的より小さい解像度のビデオに対する比較的高い複雑さとにより採用されない。
【0149】
[0100]ＤＳＴタイプＶＩＩが従来のＤＣＴタイプＩＩと比較してイントラコーディング効率を効率的に改善し得ることにもかかわらず、予測残差が様々な統計値を提示するので、変換効率は、比較的制限され得、ＤＣＴタイプＩＩおよびＤＳＴタイプＶＩＩの固定使用は、すべての可能な場合に効率的に適合しないことがある。
【0150】
[0101]Ｌｉｍら、「Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚｅｄ ａｄａｐｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｃｏｄｉｎｇ」、Ｏｐｔ．Ｅｎｇ．ｖｏｌ．４８、ｎｏ．８、ｐｐ．０８７００４−１〜０８７００４−１４、２００９年８月に記載されているように、変換方式は、予測残余についてＤＣＴまたはＤＳＴの整数バージョンを適応的に採用し、ブロックごとに、ＤＣＴまたはＤＳＴ変換が予測残余のために使用されるのかどうかがシグナリングされる。Ｐｒｏｃ．１５ｔｈ ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．におけるＹ．ＹｅおよびＭ．Ｋａｒｃｚｅｗｉｃｚ、「Ｉｍｐｒｏｖｅｄ Ｈ．２６４ ｉｎｔｒａ ｃｏｄｉｎｇ ｂａｓｅｄ ｏｎ ｂｉｄｉｒｅｃｔｉｏｎａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ，ｄｉｒｅｃｔｉｏｎａｌ ｔｒａｎｓｆｏｒｍ，ａｎｄ ａｄａｐｔｉｖｅ ｃｏｅｆｆｉｃｉｅｎｔ ｓｃａｎｎｉｎｇ」、２００８年１０月、ｐｐ．２１１６〜２１１９に記載されているように、各イントラ予測モードは、変換の一意のペア（たとえば、ＣおよびＲ）、ＫＬＴペアとしてあらかじめ定義されたペアにマッピングされ得、したがって、モード依存変換（ＭＤＤＴ）が適用される。このようにして、異なるイントラ予測モードのために異なるＫＬＴが使用され得る。ただし、どの変換を使用すべきかは、あらかじめ定義され、イントラ予測モードに依存する。
【0151】
[0102]しかしながら、Ｘ．Ｚｈａｏら、「Ｖｉｄｅｏ ｃｏｄｉｎｇ ｗｉｔｈ ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚｅｄ ｔｒａｎｓｆｏｒｍ」、ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ．Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．、ｖｏｌ．２２、ｎｏ．１、ｐｐ．１３８〜１５１、２０１２年１月に記載されているように、より多くの変換が使用され得、そのような例は、オフライントレーニングプロセスから導出される変換候補のあらかじめ定義されたセットからの変換へのインデックスを明示的にシグナリングし得る（たとえば、インデックスを示すデータを符号化し得る）。ＭＤＤＴと同様に、そのような例では、各イントラ予測方向は、変換のペアのそれの一意のセットを有し得る。インデックスは、どの変換ペアがセットから選定されるのかを指定するためにシグナリングされ得る。たとえば、最も小さいブロックサイズ４×４では最大４つの垂直ＫＬＴと最大４つの水平ＫＬＴとがあり得る。したがって、この例では、１６個の組合せが選定され得る。より大きいブロックサイズでは、より少数の組合せが使用され得る。本開示で提案する技法は、イントラ予測残差とインター予測残差との両方に適用し得る。本開示では、イントラ予測残差は、イントラ予測を使用して生成される残差データを指す。さらに、本開示では、インター予測残差は、インター予測を使用して生成される残差データを指す。インター予測残差では、ＫＬＴの最大１６個の組合せが選定され得、組合せ（４×４では４つ、および８×８では１６個）のうちの１つへのインデックスがブロックごとにシグナリングされ得る。
【0152】
[0103]Ｓａｘｅｎａら、「ＤＣＴ／ＤＳＴ−ｂａｓｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｄｉｎｇ ｆｏｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｉｎ ｉｍａｇｅ／ｖｉｄｅｏ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、およびＹｅｏら、「Ｍｏｄｅ−ｄｅｐｅｎｄｅｎｔ ｔｒａｎｓｆｏｒｍｓ ｆｏｒ ｃｏｄｉｎｇ ｄｉｒｅｃｔｉｏｎａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ」、ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ．Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．ｖｏｌ．２２、ｎｏ．４、ｐｐ．５４５〜５５４、２０１２に記載されているように、複数の変換が使用され得る。ただし、そのような例では、（トレーニングされ得る）ＫＬＴを使用する代わりに、（左変換と右変換との両方が同じである）変換ユニットのために、ＤＣＴ（ＤＣＴ−ＩＩ）またはＤＳＴ（ＤＳＴ−ＶＩＩ）のいずれかが使用され得、どちらを使用すべきかは、シグナリングされたフラグによって決定される。
【0153】
[0104]さらに、Ｚｏｕら、「Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚｅｄ Ｔｒａｎｓｆｏｒｍｓ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｌｌｏｙｄ−Ｔｙｐｅ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｄｉｎｇ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌｕｍｅ：７、Ｉｓｓｕｅ：６、２０１３年１１月に記載されているように、いくつかのあらかじめ定義されたＫＬＴペアが使用され、変換ペアへのインデックスが、コーディングユニットについて（導出される代わりに）シグナリングされ得、したがって、ＣＵの各ＴＵが変換の同じペアを使用する。
【0154】
[0105]Ａｎら、「Ｎｏｎ−ＣＥ７：Ｂｏｕｎｄａｒｙ−Ｄｅｐｅｎｄｅｎｔ Ｔｒａｎｓｆｏｒｍ ｆｏｒ Ｉｎｔｅｒ−Ｐｒｅｄｉｃｔｅｄ Ｒｅｓｉｄｕｅ」、ＪＣＴＶＣ−Ｇ２８１に記載されているように、ＣＵ内のそれらのロケーションに従ってＴＵのインター予測された残差のために複数の変換が選定され得る。ＤＳＴ−ＶＩＩとＤＳＴ−ＶＩＩの反転バージョンとから、Ｃ変換とＲ変換との両方が選定され得る。したがって、ＣＵ内のＴＵにとって最大４つの組合せが可能であり得る。しかしながら、組合せがＰＵのロケーションによって完全に決定され得るので、どの組合せが使用されているのかをシグナリングする必要がないことがある。
【0155】
[0106]２０１５年３月２３日に出願された米国仮出願第６２／１３７，０３８号、２０１５年１月２６日に出願された米国仮出願第６２／１０７，９９６号、および２０１６年１月２５日に出願された米国特許出願第１５／００５，７３６号において、イントラ予測残差とインター予測残差との両方のための拡張複数変換（ＥＭＴ：Enhanced Multiple Transforms）技法が提案されている。ＥＭＴでは、従来のＤＣＴ−２タイプの変換のみが使用されるのか、または他の非ＤＣＴ２タイプの変換が使用されるのかを示すためにＣＵレベルのフラグがシグナリングされ得る。ＣＵレベルが１としてシグナリングされる場合、現在のＴＵのために変換サブセットからどの水平／垂直変換が使用されるのかを示すために現在のＣＵ内のＴＵごとに２ビットのＴＵレベルのインデックスがさらにシグナリングされ得る。変換サブセットは、ＤＳＴ−ＶＩＩ、ＤＣＴ−ＶＩＩＩ、ＤＣＴ−ＶおよびＤＳＴ−Ｉから選択される２つの変換を含み得、選択は、イントラ予測モードとそれが水平変換サブセットであるのか垂直変換サブセットであるのかとに基づき得る。
【0156】
[0107]図３Ａは、ビデオエンコーダ２０などのビデオエンコーダにおける例示的な変換プロセスの図である。図３Ｂは、ビデオデコーダ３０などのビデオデコーダにおける例示的な変換プロセスの図である。図３Ａの例では、ビデオエンコーダ２０は、順方向１次変換４０（ｆｗｄＴ）と、それに続く２次変換４１（ｆｗｄＲ）と、それに続く順方向量子化４２（ｆｗｄＱｕａ）とを適用する。図３Ｂの例では、ビデオデコーダ３０は、逆量子化４３（ｉｎｖＱ）と、それに続く逆２次変換４４（ｉｎｖＲ）と、それに続く逆１次変換４５（ｉｎｖＴｒａｎ）とを適用する。順方向１次変換４０は、ピクセル領域からの残差サンプルを周波数領域中の変換係数に変換し得る。逆１次変換４３は、周波数領域中の変換係数をピクセル領域中の残差サンプルに変換し得る。
【0157】
[0108]２次変換４１は、変換係数のより良いエネルギー圧縮のために使用され得る。図３Ａおよび図３Ｂに示すように、２次変換４１は、第１の変換プロセスから導出された変換係数に対して別の変換を適用し得る。
【0158】
[0109]Ｅ．Ａｌｓｈｉｎａ、Ａ．Ａｌｓｈｉｎ、Ｆ．Ｆｅｒｎａｎｄｅｓ、Ａ．Ｓａｘｅｎａ、Ｖ．Ｓｅｒｅｇｉｎ、Ｚ．Ｍａ、Ｗ．−Ｊ．Ｈａｎ（Ｓａｍｓｕｎｇ）、「ＣＥ７：Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｆ ＲＯＴ ｂｙ Ｓａｍｓｕｎｇ」ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、ＪＣＴＶＣ−Ｅ３８０、ジュネーブ、スイス、２０１１年３月１６〜２３日に記載されているように、２次変換は、回転変換（ＲＯＴ）であり得る。ＲＯＴは、１次変換を置き換えない。しかしながら、ＲＯＴは、変換係数行列の低周波数部分だけに２次変換として適用される。上記で説明したＲＯＴでは、イントラコード化ＴＵごとに、４つのあらかじめ定義された変換候補からどのＲＯＴが適用されるのかを示すインデックスがシグナリングされる。４×４の２次変換は、４×４のイントラコード化ＴＵに適用され、一方、８×８の２次変換は、８×８およびそれよりも大きいイントラコード化ＴＵに適用される。たとえば、本例では、２次変換は、次のように指定され得る。
【0159】
【数35】
【0160】
[0110]上記に示した４つの変換候補において、１つの候補は、２次変換を適用しないことに対応し、他の３つの候補は、α１，α２，．．．，α６の３つの異なる設定によって生成されたＲverticalおよびＲhorizontalに対応する。より詳細な説明は、Ｋ．ＭｃＣａｎｎ、Ｗ．−Ｊ．Ｈａｎ、Ｉ．−Ｋ．Ｋｉｍ、Ｊ．−Ｈ．Ｍｉｎ、Ｅ．Ａｌｓｈｉｎａ、Ａ．Ａｌｓｈｉｎ、Ｔ．Ｌｅｅ、Ｊ．Ｃｈｅｎ、Ｖ．Ｓｅｒｅｇｉｎ、Ｓ．Ｌｅｅ、Ｙ．−Ｍ．Ｈｏｎｇ、Ｍ．−Ｓ．Ｃｈｅｏｎ、Ｎ．Ｓｈｌｙａｋｈｏｖ、「Ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｓａｍｓｕｎｇ（ａｎｄ ＢＢＣ）」ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、ＪＣＴＶＣ−Ａ１２４、ドレスデン、ドイツ、２０１０年４月１５〜２３日に見いだされ得る。
【0161】
[0111]図４は、ビデオデコーダ３０などのビデオデコーダによって適用される例示的なＲＯＴの図である。図４の例では、ビデオデコーダは、４×４から３２×３２までのサイズにわたる変換係数ブロック６２に対して逆量子化６０（Ｉｎｖ Ｑ）を実行する。さらに、図４の例では、ビデオデコーダは、変換係数行列の低周波数部分だけに２次変換として逆ＲＯＴ６４（Ｉｎｖ ＲＯＴ）を適用する。たとえば、図４の例に示すように、４×４および８×８の変換係数行列のすべての変換係数は、変換係数行列の低周波数部分中にあると見なされ得る。しかしながら、図４に示すように、１６×１６および３２×３２の変換係数行列の左上の８×８のサブブロック中の変換係数のみが変換係数行列の低周波数部分中にあると見なされる。さらに、図４の例では、ビデオデコーダは、変換係数行列を残差ブロックに変換するために変換係数行列に逆ＤＣＴ変換６６（Ｉｎｖ ＤＣＴ変換）を適用する。図４の例では、１６×１６および３２×３２の変換係数行列に逆ＤＣＴ変換６６を適用する前に、ビデオデコーダは、１６×１６および３２×３２の変換係数行列の左上の８×８のサブブロックを、逆ＲＯＴ６４の適用によって生成される対応する８×８の変換係数行列に置き換え得る。
【0162】
[0112]Ｅ．Ａｌｓｈｉｎａ、Ａ．Ａｌｓｈｉｎ、Ｊ．−Ｈ．Ｍｉｎ、Ｋ．Ｃｈｏｉ、Ａ．Ｓａｘｅｎａ、Ｍ．Ｂｕｄａｇａｖｉ、「Ｋｎｏｗｎ ｔｏｏｌｓ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｖｅｓｔｉｇａｔｉｏｎ ｆｏｒ ｎｅｘｔ ｇｅｎｅｒａｔｉｏｎ ｖｉｄｅｏ ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ ＳＧ１６ Ｄｏｃ．ＶＣＥＧ−ＡＺ０５、２０１５年６月に記載されているように、ＲＯＴは、低周波数部分だけでなく、ＴＵ全体に拡張され得る。より詳細には、３つの４×４の分離可能２次変換候補があらかじめ定義され得、選択された１つが、ＣＵレベルで２ビットのインデックスを用いて明示的にシグナリングされ得る。２ビットのインデックスを、本明細書では、ＲＯＴインデックスと呼ぶことがある。一例では、ＲＯＴインデックスが０であるとき、２次変換は適用されない。しかしながら、この例では、ＲＯＴインデックスが１、２および３であるとき、３つのあらかじめ定義された２次変換候補のうちの１つに対応する２次変換が、現在のＣＵ内のあらゆるＴＵに適用され得る。選択された２次変換を仮定すれば、現在のＴＵのあらゆる４×４のサブブロックに、２次４×４分離可能２次変換が適用され得る。
【0163】
[0113]２次変換の設計は、２次変換として分離可能変換を適用し得る。しかしながら、非分離可能変換が２次元画像ブロックに対して優れたコーディング利得を与え得るので、２次変換効率は改善され得る。言い換えれば、ビデオコーディングのシナリオでは、変換係数は、ほぼ非相関であり、疎であり得、したがって、入力ベクトルｘのエネルギーは、数個の変換係数だけに圧縮され得、残りの大多数の変換係数は一般に０に近くなり得る。本例では、非分離可能変換であるＫＬＴは、ピクセル領域から周波数領域に係数を単に変換するのではなく、変換基底ベクトルとして入力データの共分散行列の固有ベクトルを使用するので、最適なエネルギー圧縮を有し得る。
【0164】
[0114]より詳細には、分離可能変換は、水平および／または垂直方向に沿ったピクセル相関を捕らえ得る。対照的に、非分離可能変換は、２次元画像ブロック中の２つのピクセルの任意のペアの間の相関を捕らえ得る。したがって、非分離可能変換は、分離可能変換よりもデータ相関を低減するさらなる柔軟性を有し得る。たとえば、非水平方向または非垂直方向に沿った相関を示す画像ブロック、たとえば、４５度のエッジテクスチャの場合、分離可能変換は、４５度方向に沿ったピクセル間の相関を低減するのに効率的でないことがあるが、非分離可能は、相関を効率的に低減し得る。
【0165】
[0115]上記で説明した問題に鑑みて、以下の技法が提案される。以下で説明する本開示の技法が、米国特許出願第１５／００６，９９４号および米国仮出願第６２／１０８，４９１号に記載されている技法など、適応型成分間残差予測のための技法と連携して使用され得ることを理解されたい。以下のテキストに、本開示で提案する項目別にあげる技法について説明する。ビデオエンコーダ２０および／またはビデオデコーダ３０は、項目別にあげる技法を個々に適用し得る。代替的に、ビデオエンコーダ２０および／またはビデオデコーダ３０は、項目別にあげる技法の任意の組合せを適用し得る。
【0166】
[0116]第１の技法によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、量子化プロセスと変換プロセスとの間に非分離可能２次変換を適用するように構成される。たとえば、平面モードに適用される（３つの非分離可能変換を含む）非分離可能変換セットは、次の通りであり得る。
【0167】
【表1-1】
【表1-2】
【表1-3】
【0168】
[0117]この例の一態様では、非分離可能２次変換は、ＫＬＴであり得、これは、オフライントレーニングから導出されるか、または仮定画像相関モデルを使用してオフラインで分析的に導出され得る。いくつかの例では、画像相関モデルは、関数ｆ（ｘ，ｙ）であり、これは、ランダムベクトルのｉ番目の要素とｊ番目の要素との間の共分散を測定する。ランダムベクトルは、複数の次元をもつランダム変数であり得る。言い換えれば、画像相関関数は対称ｆ（ｘ，ｙ）＝ｆ（ｙ，ｘ）であり得、共分散行列Ｃｏｖ（ｘ，ｙ）＝ｆ（ｘ，ｙ）は、半正定値であり得る。相関モデルの一例は、ｆ｛ｘ＊ｙ｝＝ρ|x-y|であり、ここで、０≦ρ≦１である。
【0169】
[0118]この例の一態様では、非分離可能２次変換は、ＫＬＴであり得、これは、オフライントレーニングから導出されるか、または符号化／復号プロセス中にオンラインで導出されたＫＬＴを使用してオフラインで分析的に導出され得る。いくつかの例では、符号化／復号プロセス中に、ビデオエンコーダ２０および／またはビデオデコーダ３０は、変換係数の統計値を収集し、２次変換が適用される場合、変換係数の相関行列が更新されるように構成される。更新された相関行列に基づいて、ビデオエンコーダ２０および／またはビデオデコーダ３０は、固有ベクトルを抽出し、それらの対応する固有値の順序に配列されるすべての固有ベクトルから構成される行列としてＫＬＴ変換コアを導出するように構成され得る。
【0170】
[0119]第１の技法の一例によれば、ビデオエンコーダ２０は、残差ビデオブロックを形成し得る。いくつかの例では、残差ビデオブロックを形成することの一部として、ビデオエンコーダ２０は、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算する。さらに、ビデオエンコーダ２０は、第１の係数ブロックを生成するために残差ビデオブロックに第１の変換を適用し得る。この例では、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する。本明細書では、ピクセル領域または空間領域は、ピクセルの値の変化がそのピクセルの輝度および／または色の変化に対応する領域を指すことがある。ただし、本明細書では、周波数領域は、ピクセルの値の変化がピクセルのピクセル値がピクセル領域中で変化する速度の変化に対応する領域を指すことがある。さらに、ビデオエンコーダ２０は、第２の係数ブロックを生成するために第１の係数ブロックの少なくとも一部に２次変換を適用し得る。本開示の第１の技法によれば、第２の変換は、ＫＬＴなどの非分離可能変換である。ビデオエンコーダ２０は、次いで、第２の係数ブロックを量子化し得る。
【0171】
[0120]同様に、第１の技法の一例によれば、ビデオデコーダ３０は、第１の係数ブロックを逆量子化し得る。さらに、この例では、ビデオデコーダ３０は、第２の係数ブロックを生成するために、逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換（すなわち、逆２次変換）を適用し得る。本開示の第１の技法によれば、第１の逆変換は、ＫＬＴなどの非分離可能変換である。さらに、この例では、第２の係数ブロックを生成するために第１の逆変換を適用した後に、ビデオデコーダ３０は、残差ビデオブロックを生成するために、第２の係数ブロックに第２の逆変換を適用し得る。この例では、第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換する。さらに、この例では、ビデオデコーダ３０は、復号ビデオブロックを形成し得る。いくつかの例では、復号ビデオブロックを形成することの一部として、ビデオデコーダ３０は、１つまたは複数の予測ブロックを残差ビデオブロックに加算する。たとえば、ビデオデコーダ３０は、１つまたは複数の予測ブロックを残差ビデオブロックに加算し、１つまたは複数の予測ブロックとの残差ビデオブロックの加算に基づいて復号ビデオブロックを形成し得る。
【0172】
[0121]第２の技法によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、非分離可能変換のサブセットを構築するために、３つ以上の非分離可能変換候補からの事前選択を実行する。いくつかの例では、非分離可能変換のサブセットは、オフライントレーニングによって導出されるＫＬＴを指すことがあり、変換コアは、エンコーダ２０および／またはデコーダ３０の両方について固定数としてハードコーディングされる。ビデオエンコーダ２０および／またはビデオデコーダ３０は、変換のサブセットから現在のＴＵのために使用されるべき最終変換を選定し得る。
【0173】
[0122]たとえば、ビデオエンコーダ２０は、３つ以上の非分離可能変換候補を含む非分離可能変換のセットのサブセットを構築し得る。この例では、ビデオエンコーダ２０は、第１の逆変換として非分離可能変換のセットのサブセットから１つの候補を選択し得る。この例のいくつかの態様では、非分離可能変換のセットは、１２個の変換サブセットを含み、１２個の変換サブセットは、非分離可能変換のセットのサブセットを含む。この例のいくつかの態様では、非分離可能変換のセットは、ビデオデータのためのルーマイントラ予測モードによって指定される。たとえば、ビデオエンコーダ２０は、ビデオデータのための第１のルーマイントラ予測モードが非分離可能変換の第１のセットとともに使用されることを指定し得、ビデオデータのための第２のルーマイントラ予測モードが非分離可能変換の第２のセットとともに使用されることを指定し得る。より詳細には、ビデオエンコーダ２０は、シグナリングされたインデックス（たとえば、インデックスを示すデータ）と選択された変換サブセットとによって変換候補を指定し得る。
【0174】
[0123]同様に、ビデオデコーダ３０は、３つ以上の非分離可能変換候補を含む非分離可能変換のセットのサブセットを構築し得る。この例では、ビデオデコーダ３０は、第２の変換として非分離可能変換のセットのサブセットから１つの候補を選択し得る。この例のいくつかの態様では、非分離可能変換のセットは、１２個の変換サブセットを含み、１２個の変換サブセットは、非分離可能変換のセットのサブセットを含む。この例のいくつかの態様では、非分離可能変換のセットは、ビデオデータのためのルーマイントラ予測モードによって指定される。
【0175】
[0124]一例では、変換のサブセットを構築する事前選択は、イントラ予測モード、ＥＭＴのＣＵレベルのおよび／またはＴＵレベルのインデックス、ＲＱＴ深度、量子化係数、基準予測ブロック、ＰＵ内の現在のＴＵの相対ロケーション（ＴＵが現在のＰＵのどの境界に位置しているのか）、ブロックサイズ、ブロック形状（それが正方形ブロックであるのかまたは非正方形ブロックであるのか、および高さと幅の比率）などの復号済み情報によって決定され得る。言い換えれば、ビデオデコーダ３０は、別個のまたは追加のシグナリングに依拠するのではなく、復号情報に従って変換のサブセットをあらかじめ選択し得る。たとえば、ビデオエンコーダ２０は、復号情報に基づいてサブセットを決定し得、復号情報は、イントラ予測モードと、ＣＵレベルのＥＭＴインデックスと、ＴＵレベルのＥＭＴインデックスと、残差４分木深度と、量子化係数と、基準予測ブロックと、ＰＵ内の現在のＴＵの相対ロケーションとのうちの１つまたは複数を備える。この例のいくつかの態様では、１２個の変換サブセットが適用され、イントラ予測モードから変換サブセット選択へのマッピングを指定するルックアップテーブルがあらかじめ定義されており、イントラ予測モードとこのルックアップテーブルとが与えられれば、３つの異なる非分離可能変換を含む変換サブセットが、最初に選択され、次いで、３つの非分離可能変換のうちの１つが、さらに、復号情報によって指定され、第１の変換を実行するために使用される。同様に、この例のいくつかの態様では、ビデオデコーダ３０は、イントラ予測モード、ＣＵレベルのＥＭＴインデックス、ＴＵレベルのＥＭＴインデックス、残差４分木深度、量子化係数、基準予測ブロック、単位ＰＵ内の現在のＴＵの相対ロケーション、ブロックサイズ、およびブロック形状（それが正方形ブロックであるのかまたは非正方形ブロックであるのか、および高さと幅の比率）のサブセットベースの１つまたは複数を決定し得る。
【0176】
[0125]第２の技法のいくつかの例によれば、変換のサブセットの数は、小さい整数、たとえば、１、２、３、４、１２、または３４に限定され得る。さらに、この例のいくつかの態様では、変換の異なるサブセットは、異なるタイプの変換を含み得る。たとえば、ビデオエンコーダ２０は、あらかじめ選択されたサブセットとして１つまたは複数の左変換を有する第１のサブセット、オアモアな右変換を有する第２のセット、または左右の変換を有する第３のセットをあらかじめ選択し得る。次いで、本例では、ビデオエンコーダ２０は、選択された変換としてあらかじめ選択されたサブセットから１つの変換候補を選択し得る。たとえば、ビデオエンコーダ２０は、エンコーダモード決定を使用して変換を選択し得、ビデオエンコーダ２０は、変換のインデックスを示すデータを符号化する。同様に、ビデオデコーダ３０は、ビットストリームからインデックスを復号し、あらかじめ選択された変換のセットから復号されたインデックスに基づいて変換を選択し得る。
【0177】
[0126]いくつかの例では、異なるイントラ予測モードに対応する非分離可能変換のセットの変換サブセット中の変換候補の総数が異なる。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、第１のイントラ予測モードのために第１のサブセットを使用し、第２のイントラ予測モードのために第２のサブセットを使用し得る。
【0178】
[0127]一例では、合計１２個の変換サブセットがある。この例では、１２個の変換サブセットのそれぞれの変換サブセットは、３つの非分離可能変換候補を含んでいる。変換サブセットは、ルーマイントラ予測モードによって指定され得、異なるイントラモードに対して、同じ変換セットが適用され得る。本明細書では、イントラ予測モードは、予測されているブロックのための予測の様々な方向を指すことがある。イントラ予測モードの例としては、限定はしないが、垂直、水平、対角左下、対角右下、垂直右側、水平下側、垂直左側、水平上側、および予測されているブロックのための予測の他の方向があり得る。言い換えれば、この例のいくつかの態様では、非分離可能変換のセットは、ビデオデータのためのルーマイントラ予測モードによって指定される。たとえば、ビデオデコーダ３０は、特定のルーマイントラ予測モードのために１２個の変換サブセットのうちの１つの変換サブセットを選択し得る。本例の一態様では、ビデオデコーダ３０は、第１のイントラ予測モードのために選択されたサブセット中に含まれている３つの非分離可能変換候補の第１の変換を選択し得、第２のイントラ予測モードのために選択されたサブセット中に含まれている３つの非分離可能変換候補の第２の変換を選択し得る。
【0179】
[0128]一例では、合計１２個の変換サブセットがあり、各変換サブセットは、５つの非分離可能変換候補を含み得る。変換セットは、ルーマイントラ予測モードならびにＥＭＴのＣＵレベルのインデックスおよびＴＵレベルのインデックスによって指定され得る。異なるイントラモードに対して、同じ変換セットが適用され得る。
【0180】
[0129]一例では、変換サブセットは、ただ１つの変換を含み得る。異なるＴＵサイズに対して、変換サブセット中の変換の数が異なり得、典型的な数オブは、限定はしないが、２、３および４であり得る。異なるイントラ予測モードに対して、変換サブセット中の変換の数が異なり得、典型的な数は、限定はしないが、２、３および４であり得る。本例の一態様では、平面またはＤＣ予測モードでは、変換サブセット中の変換の数は２であり、一方、他の予測モードでは、変換サブセット中の変換の数は３である。
【0181】
[0130]図５および図６は、本開示の第３の技法に関係する。図５は、２次変換係数再編成プロセスを含む例示的な符号化プロセスの一部を示すブロック図である。図６は、２次変換係数再編成プロセスを含む例示的な復号プロセスの一部を示すブロック図である。図５では、ビデオエンコーダ２０は、２次元係数ブロック１０２を生成するために残差ブロック１０１に１次変換１００を適用する。さらに、図５の符号化プロセスは、非分離可能２次変換１０６を含む。非分離可能２次変換１０６は、入力として１次元係数ベクトル１５６をとり、出力としてインア１次元係数ベクトル１０８を生成し得る。したがって、図５の例では、１次変換１００は、２次元係数ブロック１０２を生成するが、非分離可能２次変換１０６は、入力として１次元係数ベクトルをとる。したがって、ビデオエンコーダ２０は、２次元係数ブロック１０２を１次元係数ベクトル１０５に変換するために再編成プロセス１０４を実行し得る。いくつかの例では、再編成プロセス１０４は、非分離可能２次変換１０６の一部であると見なされ得る。
【0182】
[0131]さらに、量子化プロセス１１４は、入力として２次元係数ブロック１１２をとり得、量子化された２次元係数ブロック１１６を出力し得る。したがって、本開示の第３の技法によれば、ビデオエンコーダ２０は、ビデオエンコーダ２０が符号化中に２次変換１０６を適用した後、２次元係数ブロック１１２として非分離可能２次変換１０６によって導出された１次元係数ベクトル１０８を再編成するために２次変換係数再編成プロセス１１０を適用し得る。再編成プロセス１１０を適用することは、１次元係数ベクトルを受け入れるために量子化プロセス１０６を変更する必要をなくし得る。
【0183】
[0132]図６では、ビデオデコーダ３０は、２次元係数ブロック１５２を導出するために、量子化された２次元係数ブロック１５１に逆量子化１５０を適用し得る。さらに、図６の復号プロセスは、逆２次変換１５８を含む。逆２次変換１５８は、入力として１次元係数ベクトル１５６をとり、１次元係数ベクトル１６０を出力し得る。たとえば、逆２次変換１５８は、入力として１６×１の係数ベクトルをとり得、１６×１の係数ベクトルを出力し得る。ただし、逆量子化１５０は、２次元係数ブロック１５２を出力し得、１次逆変換１６６は、入力として２次元係数ブロック１６４をとり得る。したがって、本開示の第３の技法によれば、ビデオデコーダ３０が復号プロセス中に２次逆変換１５８を適用する前に、ビデオデコーダ３０は、１次元係数ベクトル１５６として逆量子化１５０によって導出された２次元係数ブロック１５２を再編成するために２次変換係数再編成プロセス１５４を適用し得る。逆２次変換１５８を適用する前に再編成プロセス１５４を適用することは、１次元係数ベクトルを生成するために逆量子化１５０を変更する必要をなくし得る。さらに、ビデオデコーダ３０は、２次元係数ブロック１６４として１次元係数ベクトル１６０を再編成するために２次変換係数再編成プロセス１６２を適用し得る。ビデオデコーダ３０は、次いで、残差ブロック１６８を生成するために２次元係数ブロック１６４に１次逆変換１６６を適用し得る。１次逆変換１６６を適用する前に再編成プロセス１６２を適用することは、１次逆変換１６６を変更する必要をなくし得る。いくつかの例では、再編成プロセス１６２は、２次逆変換１５８の一部と見なされる。
【0184】
[0133]したがって、第３の技法によれば、ビデオエンコーダ２０は、残差ビデオブロックを形成し得る。残差ビデオブロックを形成することの一部として、ビデオエンコーダ２０は、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算し得る。さらに、ビデオエンコーダ２０は、第１の２次元係数ブロック（たとえば、２次元係数ブロック１０２）を生成するために残差ビデオブロックの少なくとも一部に第１の変換（たとえば、１次変換１００）を適用し得る。この例では、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する。さらに、ビデオエンコーダ２０は、第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成し得る。本例では、ビデオエンコーダ２０は、第２の１次元係数ベクトルを生成するために第１の１次元係数ベクトルの少なくとも一部に第２の変換を適用し得る。この例では、第２の変換は、非分離可能変換である。本例では、第２の変換は、非分離可能変換である。この例では、ビデオエンコーダ２０は、係数走査順序に従って第２の２次元係数ブロックとして第２の１次元係数ベクトルを再編成し得る。
【0185】
[0134]同様に、ビデオデコーダ３０は、係数走査順序に従って第１の１次元係数ベクトル（たとえば、１次元係数ベクトル１５６）として、第１の２次元係数ブロック（たとえば、２次元係数ブロック１５２）を再編成し得る。この例では、ビデオデコーダ３０は、第２の１次元係数ベクトル（たとえば、１次元係数ブロック１６０）を生成するために非分離可能変換行列に第１の１次元係数ベクトルを乗じることによって、第１の逆変換（たとえば、非分離可能２次逆変換１５８）を適用し得る。この例では、第１の逆変換は、非分離可能変換である。この例では、ビデオデコーダ３０は、２次元係数ブロック（たとえば、２次元係数ブロック１６４）として第２の１次元係数ベクトルを再編成し得る。ビデオデコーダ３０は、残差ビデオブロック（たとえば、残差ブロック１６８）を生成するために第２の２次元係数ブロックに第２の逆変換（たとえば、１次逆変換１６６）を適用し得る。この例では、第２の逆変換は、周波数領域からピクセル領域に第２の２次元係数ブロックを変換する。この例では、ビデオデコーダ３０は、復号ビデオブロックを形成し得る。復号ビデオブロックを形成することの一部として、ビデオデコーダ３０は、１つまたは複数の予測ブロックを残差ビデオブロックに加算し得る。
【0186】
[0135]第３の技法のいくつかの例では、第２の変換を適用することは、２次元変換行列に第１の１次元係数ベクトルを乗じることを備える。本例のいくつかの例では、第１の２次元係数ブロックは、４×４のブロックであり、２次元変換行列は、ルーマイントラ予測モードとコーディングユニットレベルのインデックスとによって選択される１６×１６の非分離可能変換行列である。たとえば、ビデオエンコーダ２０は、１６×１６の非分離可能変換行列に第１の１次元係数ベクトル（たとえば、１次元係数ベクトル１０５）を乗じることによって、第２の変換（たとえば、非分離可能２次変換１０６）を適用し、それによって、第２の１次元係数ベクトル（たとえば、１次元係数ベクトル１０８）を生成し得る。同様に、ビデオデコーダ３０は、１６×１６の非分離可能変換行列に第１の１次元係数ベクトル（たとえば、１次元係数ベクトル１５６）を乗じることによって、第２の変換（たとえば、非分離可能２次変換１５８）を適用し、それによって、第２の１次元係数ベクトル（たとえば、１次元係数ベクトル１６０）を生成し得る。
【0187】
[0136]第３の技法のいくつかの例では、４×４の係数グループに対して実行される２次変換係数再編成プロセスは、４×４の係数グループの係数走査順序に依存し得る。たとえば、ビデオエンコーダ２０が、エントロピー符号化中に４×４の係数グループの係数を表すシンタックス要素を処理するためにジグザグ走査順序を使用する場合、ビデオエンコーダ２０は、非分離可能２次変換を適用することの一部として４×４の係数グループを１６×１の係数ベクトルに再編成するときに同じジグザグ走査順序を使用し得る。
【0188】
[0137]さらに、第３の技法のいくつかの例では、ビデオエンコーダ２０は、４×４の係数グループのための係数走査順序を決定し得る。この例では、ビデオエンコーダ２０は、決定された係数走査順序に基づいて第１の２次元係数ブロック（たとえば、４×４の係数グループ）として第１の１次元係数ベクトルを再編成し得る。この例のいくつかの態様では、ビデオエンコーダ２０は、第１の２次元係数ブロックが決定された係数走査順序に対応する（たとえば、一致する）係数走査順序を有するように、第１の２次元係数ブロックとして第１の１次元係数ベクトルを再編成し得る。
【0189】
[0138]同様に、ビデオデコーダ３０は、４×４の係数グループのための係数走査順序を決定し得る。この例では、ビデオデコーダ３０は、決定された係数走査順序に基づいて第２の１次元係数ベクトルとして第２の２次元係数ブロック（たとえば、４×４の係数グループ）を再編成し得る。この例のいくつかの態様では、ビデオデコーダ３０は、第２の１次元係数ベクトルが決定された係数走査順序に対応する（たとえば、一致する）係数走査順序を有するように、第２の１次元係数ベクトルとして第２の２次元係数ブロックを再編成し得る。
【0190】
[0139]第３の技法のいくつかの例では、４×４の係数グループに対して実行される２次変換係数再編成プロセスは、イントラ予測モード、ＥＭＴのＣＵレベルのおよび／またはＴＵレベルのインデックス、ＲＱＴ深度、ならびに／あるいは量子化係数などの符号化／復号済み情報に依存し得る。言い換えれば、ビデオエンコーダ２０の再編成プロセス１１０は、イントラ予測モード、ＥＭＴのＣＵレベルのおよび／またはＴＵレベルのインデックス、ＲＱＴ深度、ならびに／あるいは量子化係数に基づいて、２次元係数ブロック１１２として１次元係数ベクトル１０８を再編成し得る。たとえば、ビデオエンコーダ２０は、１次元係数ベクトルが係数走査順序対応（たとえば、一致）の決定済み係数走査順序を有するように垂直ルーマ予測モードが選択されるのか、または水平ルーマ予測モードが選択されるのかに基づいて２次元係数ブロック１１２として１次元係数ベクトル１０８を再編成し得る。同様に、ビデオデコーダ３０の再編成プロセス１５４は、イントラ予測モード、ＥＭＴのＣＵレベルのおよび／またはＴＵレベルのインデックス、ＲＱＴ深度、ならびに／あるいは量子化係数に基づいて、１次元係数ベクトル１５６を生成するために２次元係数ブロック１５２を再編成し得る。
【0191】
[0140]第３の技法の一例では、特定の４×４の係数ブロックに非分離可能２次変換（たとえば、２次変換１０２）を適用した後に、ビデオエンコーダ２０は、１６×１の係数ベクトル（たとえば、１次元係数ベクトル１０８）を導出し得、特定の４×４のブロックのための係数走査順序に従って（すなわち、それに沿って）４×４のブロック（たとえば、２次元係数ブロック１１２）として得られた１６個の係数を再編成し得る。ビデオエンコーダ２０は、より小さいインデックスをもつ係数が４×４の係数ブロック中でより小さい走査インデックスをもつロケーションに配置される方法で１６個の係数の再編成を実行し得る。たとえば、４×４の係数ブロックが、（たとえば、イントラ予測モードに従って）４×４の係数ブロックの上部から４×４の係数ブロックの下部に向かって行ごとに走査されるとき、ビデオエンコーダ２０は、１次元係数ベクトルの最初の４つの係数として係数ブロックの最上行の４つの係数を再編成し、１次元係数ベクトルの次の４つの係数として係数ブロックの上から２番目の行の４つの係数を再編成し、以下同様に行い得る。
【0192】
[0141]ＴＵ係数に対して逆量子化を実行した後に、ビデオデコーダ３０は、現在のＴＵの各４×４のサブブロックについて、４×４の逆量子化された２次変換係数ブロック（たとえば、２次元係数ブロック１５２）を導出し得る。さらに、現在のＴＵのそれぞれの４×４のサブブロックについて、ビデオデコーダ３０は、４×４のブロックのための係数走査順序に基づいてそれぞれの１６×１のベクトル（たとえば、１次元係数ベクトル１５６）としてそれぞれの４×４の逆量子化されたブロック中の１６個の係数を再編成し得る。ビデオデコーダ３０は、より小さい走査インデックスをもつ係数が１６×１の係数ベクトル中でより小さいインデックスをもつロケーションに配置される方法で４×４の係数の再編成を実行し得る。
【0193】
[0142]一例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、固定の４×４の係数走査順序、たとえば、水平、垂直、対角、またはジグザグ走査順序に基づいて再編成プロセスを実行し得る。このようにして、１６×１の係数ベクトル中でより小さいインデックスをもつ１６個の２次変換係数は、固定のあらかじめ定義された４×４の係数走査順序に従って４×４の係数ブロック中に配置され得る。
【0194】
[0143]第３の技法の一例によれば、変換プロセス（たとえば、１次変換１００）の後に、ビデオエンコーダ２０は、最初に、
【0195】
【数36】
【0196】
を使用してベクトル
【0197】
【数37】
【0198】
としてＢを表し、次いで、以下の計算を実行することによって、現在のＭ×ＮのＴＵのそれぞれの４×４の変換係数サブブロックＢに２次変換（たとえば、２次変換１０２）を適用し得る。
【0199】
【数38】
【0200】
上記の式中で、Ｔは、上記で説明したように、ルーマイントラ予測モードとシグナリングされたＣＵレベルのフラグとに基づいて選択された１６×１６の非分離可能変換行列である。さらに、図５の例では、
【0201】
【数39】
【0202】
は、１次元係数ベクトル１０５に対応し得る。上記の式を適用したことの結果として、それぞれの４×４のサブブロックについて、ビデオエンコーダ２０は、それぞれの１６×１の２次変換係数ベクトル
【0203】
【数40】
【0204】
を導出する。図５の例では、
【0205】
【数41】
【0206】
は、１次元係数ベクトル１０８に対応する。ビデオエンコーダ２０は、以下の演算を実行することによってそれぞれの４×４の係数ブロックとしてそれぞれの１６×１の２次変換係数ベクトルを再編成し得る。
【0207】
【数42】
【0208】
上記の式中で、ｊ＝０，１，．．．，１５であり、ｓｃａｎ＿ｘおよびｓｃａｎ＿ｙは、それぞれ、ＨＥＶＣにおいてすでに定義されているｘ座標およびｙ座標のための走査表であり得る。このようにして、それぞれの４×４の変換係数サブブロックＢは、それぞれの導出された２次４×４変換係数ブロックＦによって置き換えられ得る。図５の例では、Ｆは、２次元係数ボック１１２に対応する。ビデオエンコーダ２０が、各４×４の変換係数サブブロックに対して２次変換を実行した後、ビデオエンコーダ２０は、さらに、更新されたＭ×Ｎの係数ブロックを量子化し、エントロピー符号化し得る。
【0209】
[0144]それぞれの４×４の係数サブブロックＦについて、量子化プロセス（たとえば、逆量子化１５０）の後に、ビデオデコーダ３０は、１６×１のベクトルにそれぞれの４×４の係数サブブロックＦを再編成することによって、１６×１の２次変換係数ベクトル
【0210】
【数43】
【0211】
を導出し得る。
【0212】
【数44】
【0213】
[0145]上記のこの式中で、ｊ＝０，１，．．．，１５であり、ｓｃａｎ＿ｘおよびｓｃａｎ＿ｙは、それぞれ、ＨＥＶＣにおいてすでに定義されている４×４の係数サブブロックＦのｘ座標およびｙ座標のための走査表である。図６の例では、
【0214】
【数45】
【0215】
は、１次元係数ベクトル１５６に対応し、Ｆは、２次元係数ブロック１５２に対応する。ビデオデコーダ３０は、次いで、以下の計算を実行することによって
【0216】
【数46】
【0217】
に対して逆２次変換（たとえば、２次逆変換１５８）を適用し得る。
【0218】
【数47】
【0219】
[0146]上記の式中で、Ｔ’は、上記で説明したように、ルーマイントラ予測モードとシグナリングされたＣＵレベルのフラグとによって選択され得る１６×１６の非分離可能変換行列である。上記の式の行列乗算の結果として、それぞれの４×４のサブブロックｉについて、ビデオデコーダ３０は、それぞれの１６×１の２次変換係数ベクトル
【0220】
【数48】
【0221】
を導出する。図６の例では、
【0222】
【数49】
【0223】
は、１次元係数ベクトル１６０に対応する。ビデオデコーダ３０は、
【0224】
【数50】
【0225】
を計算することによって４×４の係数ブロックとして１６×１の２次変換係数ベクトルを再編成する。図６の例では、Ｂは、２次元係数ブロック１６４に対応する。ビデオデコーダ３０は、４×４の変換係数サブブロックＦを導出された２次４×４変換係数ブロックＢと置き換え得る。ビデオデコーダ３０が４×４係数サブロックの各々に対して逆２次変換を実行した後、ビデオデコーダ３０は、逆変換（たとえば、１次逆変換１６６）に更新されたＭ×Ｎの係数ブロックを入力し得る。
【0226】
[0147]上記のように、いくつかの例では、ビデオエンコーダ２０は、非分離可能２次変換を選択し得る。第４の技法によれば、ビデオエンコーダ２０は、ＴＵ、ＰＵ、ＣＵまたは任意の画像コーディングブロックユニットに適用可能なインデックスを使用する非分離可能２次変換の選択の指示をシグナリング（たとえば、符号化）し得、ビデオデコーダ３０は、それを受信し得る。言い換えれば、ビデオエンコーダ２０は、ＴＵ、ＰＵ、ＣＵまたは他の画像コーディングブロックユニットについて、選択された非分離可能２次変換を示すインデックスを示すデータを符号化し得る。たとえば、非分離可能変換のセットからの第１の逆変換の選択は、ＴＵ、ＰＵ、ＣＵ、またはそれらの組合せのためのインデックスによってシグナリングされ得る。同様に、ビデオデコーダ３０は、ビデオデータのビットストリームから、ＴＵ、ＰＵ、ＣＵ、またはそれらの組合せのためのインデックスを示すデータを取得し、インデックスは、選択された非分離可能２次変換を示し得る。説明を簡単にするために、本開示は、選択された非分離可能２次変換を示すインデックスを非分離可能２次変換（ＮＳＳＴ：non-separable secondary transform）インデックスと呼ぶことがある。
【0227】
[0148]いくつかの例では、ビデオエンコーダ２０は、ＮＳＳＴインデックスをエントロピー符号化し得る。ＮＳＳＴインデックスをエントロピー符号化することの一部として、ビデオエンコーダ２０は、ＮＳＳＴインデックスを２値化し得る。ＮＳＳＴインデックスをエントロピーコーディングする場合、２値化のために固定長コードが使用され得、２値化のために短縮単項コードまたは指数ゴロムコードなどの可変長コードが使用され得る。
【0228】
[0149]第５の技法によれば、残差信号のエネルギーが限定されている場合、ビデオエンコーダ２０は、いくつかのＴＵについて、ＮＳＳＴインデックスのシグナリングをスキップし得、２次変換が、適用されないことがある。たとえば、現在のＴＵのために送信された非ゼロ係数がない場合、ビデオエンコーダ２０は、現在のＴＵについてＮＳＳＴインデックスのシグナリングをスキップし得る。言い換えれば、現在のＴＵのために符号化された非ゼロ係数がない場合、ビデオエンコーダ２０は、現在のＴＵについてＮＳＳＴインデックスを示すデータの符号化をスキップし得る。同様に、他の例では、ＮＳＳＴインデックスシグナリングのスキップは、ＬＣＵ、ＣＵ、ＰＵ、または任意の他のブロックレベルのシンタックス要素に適用され得る。したがって、第５の技法によれば、ビデオエンコーダ２０は、ビデオデータの符号化ビットストリーム中で、ＴＵ、ＰＵ、ＣＵ、またはそれらの組合せに適用可能なインデックスを示すデータを生成し、インデックスは、選択された候補が第２の変換であることを示し得る。
【0229】
[0150]同様に、ビデオデコーダ３０は、ビデオデータのビットストリームから、ＴＵ、ＰＵ、ＣＵ、またはそれらの組合せに適用可能なインデックスを示すシンタックス要素を取得し得る。この例では、ビデオデコーダ３０は、第１の逆変換として、インデックスによって示される候補を選択することを備える、非分離可能変換のサブセットから候補を選択し得る。
【0230】
[0151]いくつかの例では、あるブロックレベルで送信される非ゼロ係数の総数または総絶対値和または２乗値の和が所与のしきい値よりも大きくない場合、そのあるブロックレベルのＮＳＳＴインデックスは、スキップされ、２次変換が適用されない。たとえば、あるＬＣＵで送信される非ゼロ係数の総数が１０よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。いくつかの例では、あるＣＵで送信される非ゼロ係数の総絶対値和が１００よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。一例では、あるＰＵで送信される非ゼロ係数の２乗値の和が１００よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。
【0231】
[0152]したがって、第５の技法によれば、ビデオエンコーダ２０は、ビットストリーム中の２次変換（たとえば、非分離可能２次変換１０６）のインデックスを符号化すべきかどうかを決定し得る。２次変換のインデックスは、複数の利用可能な２次変換の中から２次変換を識別し得る。この例では、ビデオエンコーダ２０は、特定のブロックレベルで（たとえば、ＬＣＵ、ＣＵ、ＰＵ、ＴＵ中で）送信される非ゼロ係数の総数の和、総絶対値和、または２乗値の和が所与のしきい値よりも大きくないことに基づいて２次変換のインデックスがビットストリーム中に符号化されていないと決定し得る。この例では、ビデオエンコーダ２０は、特定のブロックレベルで２次変換のインデックスをシグナリングし得る。この例では、ビデオエンコーダ２０は、２次元係数ブロックの少なくとも一部に、インデックスがビットストリーム中でシグナリングされる２次変換を適用し得る。
【0232】
[0153]同様に、ビデオデコーダ３０は、２次変換（たとえば、非分離可能逆変換１５８）のインデックスがビットストリーム中でシグナリングされるのかどうかを決定し得る。この例では、ビデオデコーダ３０は、特定のブロックレベルの非ゼロ係数の総数の和、総絶対値和、または２乗値の和が所与のしきい値よりも大きくないことに基づいて２次変換のインデックスがビットストリーム中に符号化されていないと決定し得る。この例では、２次変換のインデックスは、特定のブロックレベルでシグナリングされる。この例では、ビデオデコーダ３０は、１次元係数ベクトルに、ビットストリーム中でシグナリングされたインデックスによって示される２次変換の逆である２次逆変換を適用し得る。
【0233】
[0154]一例では、２次元係数ブロックの非ゼロ係数の量がしきい値よりも大きくないとビデオエンコーダ２０が決定したことに応答して、ビデオデコーダ３０は、１次元係数ベクトルに２次逆変換を適用し得る。この例では、しきい値は、ビデオデータのブロックサイズ、イントラ予測モード、またはそれらの組合せごとに異なり得る。
【0234】
[0155]同様に、ビデオエンコーダ２０は、２次元係数ブロックの非ゼロ係数の量がしきい値よりも大きいかどうかを決定し得る。この例では、２次元係数ブロックの非ゼロ係数の量がしきい値よりも大きくないと決定したことに応答して、ビデオエンコーダ２０は、２次元係数ブロックの少なくとも一部に２次変換を適用し得る。この例では、しきい値は、ビデオデータのブロックサイズ、イントラ予測モード、またはそれらの組合せごとに異なり得る。
【0235】
[0156]いくつかの例では、非ゼロ係数の総数のしきい値は１である。一例では、非ゼロ係数の総数のしきい値は、ブロックサイズまたはイントラ予測モードごとに異なり得る。
【0236】
[0157]いくつかの例では、ビデオエンコーダ２０とビデオデコーダ３０とは、すべての色成分（たとえば、Ｙ、Ｃｂ、およびＣｒ）の係数値に２次変換と２次逆変換とを適用し得る。他の例では、ビデオエンコーダ２０とビデオデコーダ３０とは、すべてではないが、いくつかの色成分に２次変換と２次逆変換とを適用し得る。たとえば、ビデオエンコーダ２０とビデオデコーダ３０とは、クロマ（たとえば、ＣｂおよびＣｒ）成分の係数値には適用しないが、ルーマ（すなわち、Ｙ）成分の係数値に２次変換と２次逆変換とを適用し得る。ビデオエンコーダ２０とビデオデコーダ３０とが２つ以上の色成分に２次変換と２次逆変換とを適用する例では、ＮＳＳＴインデックスは、２つ以上の色成分の間で共有され得る。
【0237】
[0158]第５の技法の一例によれば、ＮＳＳＴインデックスが、あるブロックレベルでシグナリングされ、いくつかの成分（たとえば、Ｙ、Ｃｂ、Ｃｒ）の間で共有される場合、および同じＮＳＳＴインデックスを共有するすべての成分からそのあるブロックレベルで送信される非ゼロ係数の総数の和または総絶対値和または２乗値の和が、所与のしきい値よりも大きくない場合、ＮＳＳＴインデックスは、スキップされ得、２次変換は適用されない。一例では、非ゼロ係数の総数のしきい値は、１、２、または３である。いくつかの例では、非ゼロ係数の総数のしきい値は３よりも大きい。
【0238】
[0159]一例では、ＮＳＳＴインデックスが、あるブロックレベルでシグナリングされ、Ｙ、Ｃｂ、およびＣｒ成分の間で共有される場合、Ｙ、Ｃｂ、およびＣｒ成分の非ゼロ係数の総数の和が所与のしきい値よりも小さい場合、ＮＳＳＴインデックスは、スキップされ得、２次変換は、適用されないことがある。たとえば、Ｙ、Ｃｂ、およびＣｒ成分の組合せについてあるＣＵで送信される非ゼロ係数の絶対値和が１００よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。
【0239】
[0160]一例では、ＮＳＳＴインデックスが、あるブロックレベルでシグナリングされ、ＣｂおよびＣｒ成分の間で共有される場合、ＣｂおよびＣｒ成分の非ゼロ係数の総数の和が所与のしきい値よりも小さい場合、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。たとえば、あるＣＵのＣｂおよびＣｒ成分のための非ゼロ係数の総数が３よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。
【0240】
[0161]第５の技法のいくつかの例によれば、非ゼロ係数の総数のしきい値は、ブロックサイズまたはイントラ予測モードごとに異なり得る。たとえば、ＬＣＵは、ＣＵおよびＰＵよりも大きいしきい値を有し得る。同様に、ビデオエンコーダ２０は、垂直イントラ予測モードを使用してコーディングされるブロックのために第１のしきい値を使用し得、水平イントラ予測モードを使用してコーディングされるブロックのために第２の異なるしきい値を使用し得る。
【0241】
[0162]第５の技法の一例では、ＮＳＳＴインデックスが、あるブロックレベルでシグナリングされ、Ｙ、Ｃｂ、およびＣｒ成分の間で共有される場合、Ｙ成分のみの非ゼロ係数の総数が所与のしきい値よりも小さい場合、ＮＳＳＴインデックスは、スキップされ得、２次変換は、適用されないことがある。たとえば、Ｙ成分のみについてあるＣＵで送信される非ゼロ係数の総数が１、２、３、または別のしきい値よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。
【0242】
[0163]一例では、ＮＳＳＴインデックスが、あるブロックレベルでシグナリングされ、ＣｂおよびＣｒ成分の間で共有される場合、Ｃｂ成分のみの非ゼロ係数の総数が所与のしきい値よりも小さい場合、ＮＳＳＴインデックスは、スキップされ得、２次変換は、適用されないことがある。たとえば、Ｃｂ成分のみについてあるＣＵで送信される非ゼロ係数の総数が１、２、３、または別のしきい値よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。同様に、Ｃｒ成分のみについてあるＣＵで送信される非ゼロ係数の総数が１、２、３、または別のしきい値よりも大きくないとき、ビデオエンコーダ２０は、ＮＳＳＴインデックスのシグナリングをスキップし、２次変換を適用しないことがある。
【0243】
[0164]追加または代替として、第５の技法のいくつかの例では、非ゼロ係数の総数のしきい値は、ブロックサイズまたはイントラ予測モードごとに異なり得る。言い換えれば、ＬＣＵは、ＣＵおよびＰＵよりも大きいしきい値を有し得る。同様に、１６×１６のクロマ予測モードは、４×４のクロマ予測モードよりも大きいしきい値を有し得る。たとえば、ビデオエンコーダ２０は、垂直イントラ予測モードを使用してコーディングされるブロックのために第１のしきい値を使用し得、水平イントラ予測モードを使用してコーディングされるブロックのために第２の異なるしきい値を使用し得る。
【0244】
[0165]第５の技法の一例では、ＬＣＵ、ＣＵ、ＰＵ、または他のタイプのブロックのサイズが、あらかじめ定義されたしきい値よりも大きいかまたはそれよりも小さいか、あるいは所与のしきい値範囲内にあるとき、ＮＳＳＴインデックスのシグナリングは、スキップされ得、２次変換は、適用されない。たとえば、ＣＵのサイズが、８×８のあらかじめ定義された値よりも小さいとき、ビデオエンコーダ２０は、符号化ビデオビットストリーム中に、ＮＳＳＴインデックスを示すデータを生成することをスキップし、２次変換を適用しないことがある。
【0245】
[0166]第５の技法の一例では、ＴＵが変換スキップモードを使用してコーディングされるとき、ＮＳＳＴインデックスのシグナリングは、スキップされ得、２次変換は適用されない。言い換えれば、ＴＵが、変換スキップモードを使用してコーディングされるとき、ビデオエンコーダ２０は、符号化ビデオビットストリーム中に、ＮＳＳＴインデックスを示すデータを生成することをスキップし得、２次変換が適用されない。
【0246】
[0167]たとえば、ビデオエンコーダ２０は、ＴＵが変換スキップモードでコーディングされていることに基づいてビットストリーム中で２次変換のインデックスをシグナリングする（たとえば、それを示すデータを符号化する）べきかどうかを決定し得る。この例では、ビデオエンコーダ２０は、符号化ビデオビットストリーム中に、ビットストリーム中で２次変換のインデックスを示すデータを生成し、ビデオエンコーダ２０は、第２の変換のインデックスを示すデータがビットストリーム中に符号化されていることに基づいて第１の２次元係数ブロックの少なくとも一部に２次変換を適用し得る。同様に、ビデオデコーダ３０は、ＴＵが変換スキップモードでコーディングされていることに基づいて２次変換のインデックスがビットストリーム中でシグナリングされるかどうかを決定し得る。言い換えれば、ビデオデコーダ３０は、１次元係数ベクトルに、２次変換のインデックスによって示される２次逆変換を適用し得る。
【0247】
[0168]さらに、第５の技法のいくつかの例では、ブロック（たとえば、ＴＵ）が２次変換を使用してコーディングされるとき、変換スキップモードがシグナリングされないことがある。言い換えれば、ビデオエンコーダ２０は、符号化ビデオビットストリーム中に、データインディケィティブ、すなわち、変換スキップモードと２次変換とのうちの１つを生成し得る。たとえば、ビデオエンコーダ２０は、符号化ビデオビットストリーム中に、変換スキップモードを示すデータを生成し、２次変換をシグナリングすることを省略し得る。同様に、ビデオエンコーダ２０は、符号化ビデオビットストリーム中に、データインディケィティブ、すなわち、変換スキップモードを生成するのを省略し得、符号化ビデオビットストリーム中に、２次変換を示すデータを生成する。
【0248】
[0169]本開示の第６の技法によれば、特定のコーディングモードでは、２次変換が、無効化され、および／またはシグナリングされず、その逆も同様であり得る。たとえば、そのようなコーディングモードは、必ずしも変換スキップモード、線形法（ＬＭ）モード、成分間残差予測モードなどを含み得るが、それらに限定されるとは限らない。したがって、２次変換が適用される場合、特定のコーディングモードは、無効化される、および／またはシグナリングされないことがある。たとえば、いくつかの例では、２次変換が適用されるとき、変換スキップモード、ＬＭモード、および成分間残差予測モードは、無効化され得、ならびに／または変換スキップモード、ＬＭモード、および成分間残差予測モードのインデックスは、符号化されない。同様に、変換スキップモード、ＬＭモード、および成分間残差予測モードのうちの１つまたは複数が使用されるとき、２次変換は、無効化される、および／またはシグナリングされないことがある。概して、適応型成分間残差予測は、同じブロックのための別の色成分の残差から１つの色成分（たとえば、Ｙ、Ｃｒ、またはＣｂ）の残差を予測することを含み得る。
【0249】
[0170]第６の技法の一例では、２次変換が有効化されると、特定のモードが常に無効化され得る。たとえば、２次変換が有効化されることに基づいて、変換スキップモードは、無効化される。
【0250】
[0171]第６の技法の一例では、２次変換が有効化されると、特定のモードがいくつかの条件で無効化されるが、他の条件で有効化され得る。条件は、限定はしないが、ブロックサイズ、非ゼロ変換係数の数、コーディングがルーマ成分のためのものであるのか、またはクロマ成分のためのものであるのか、隣接予測モード、および他の条件を含み、その逆も同様であり得る。
【0251】
[0172]第６の技法の一例では、２次変換が適用されるとき、特定の予測モードは、依然として、有効化され得るが、この特定の予測モードをシグナリングするために使用されるコンテキストモデリングは、シグナリングされる２次インデックス／フラグにコンテキストモデリングが依存するように変更され得る。言い換えれば、特定の予測モードは、２次変換が適用されるときに適用されるのを許可され得るが、特定の予測モードのためのコンテキストモデリングが変更される。
【0252】
[0173]一例では、２次変換は、依然として、特定の予測モードのために有効化されるが、２次変換をシグナリングするために使用されるコンテキストモデリングは、特定の予測モードが適用されるのかどうかにコンテキストモデリングが依存するように変更され得る。言い換えれば、ビデオエンコーダ２０および／またはビデオデコーダ３０によって適用されない予測モードを無効化するのではなく、特定の予測モードは、２次変換が適用されるときに使用されるのを許可され得るが、特定の予測モードのためのコンテキストモデリングが変更される。
【0253】
[0174]本開示の第７の例によれば、他の非ルーマ成分（たとえば、クロマ）に対して２次変換を適用するとき、および２次変換選択が、あるコード化情報への何らかの依存を有するとき、ＮＳＳＴインデックス値は、コロケートされたルーマ成分から継承（たとえば、再使用）され、非ルーマ成分のために符号化されないことがある。そのようなコード化情報の例としては、限定はしないが、イントラ予測モードがあり得る。本明細書では、コロケートされたとは、同じブロックの構成要素を指すことがある。この例の態様では、あるコード化情報への依存は、コロケートされたルーマ成分のコード化情報を継承する代わりに非ルーマ成分のコード化情報が使用される方法で行われる。
【0254】
[0175]一例では、２次変換がクロマ成分（たとえば、Ｃｒ成分および／またはＣｂ成分）に対して実行され、ビデオデコーダ３０が、シグナリングされたＮＳＳＴインデックスとイントラ予測モードとに基づいて２次変換を選択すると、クロマ成分について、ビデオデコーダ３０は、コロケートされたルーマ成分のＮＳＳＴインデックスと現在のクロマ成分のイントラ予測モードとに基づいて２次変換を選択し得る。
【0255】
[0176]クロマ成分のイントラ予測モードがコロケートされたルーマ成分（たとえば、Ｙ成分）から継承されると、コロケートされたルーマ成分のイントラ予測モードは、２次変換を選択するために使用され得る。たとえば、ビデオデコーダ３０は、コロケートされたルーマ成分のＮＳＳＴインデックスとコロケートされたルーマ成分のイントラ予測モードとに基づいてサブセットから２次変換候補を選択し得る。
【0256】
[0177]一例では、たとえば、米国特許出願第１５／００６，９９４号に記載されているように、クロマ成分のイントラ予測モードがＬＭモードであるとき、２次変換はクロマ成分に適用されないことがある。たとえば、ビデオデコーダ３０は、コロケートされたルーマ成分に２次変換候補を適用し、クロマ成分に２次変換候補を適用するのを控え得る。
【0257】
[0178]一例では、２次変換が適用されるとき、ＬＭモードは適用またはシグナリングされないことがある。この場合、イントラモードコーディングは、ＬＭモードがシグナリングされるべき候補イントラモードでないように相応して変更され得る。そのようなイントラモードコーディングの変更は、限定はしないが、コーディングされるべき利用可能なイントラモードの数を低減すること、または利用可能なイントラモードの総数が同じになるようにＬＭモードを他のイントラ予測モードと置き換えることを含み得る。言い換えれば、２次変換が適用されるとき、ＬＭモードは、候補イントラモードでないと推定され得るので、２次変換が適用されるとき、イントラモードのシグナリングは、ＬＭモードをもはやシグナリングしないように変更され得る。
【0258】
[0179]追加または代替として、クロマ成分のイントラ予測モードがＬＭモードであるとき、２次変換は、継承されたＮＳＳＴインデックスとクロマ成分のための平面／ＤＣモードとを使用して選択され得る。たとえば、ビデオデコーダ３０は、コロケートされたルーマ成分のＮＳＳＴインデックスとクロマ成分の平面／ＤＣモードとに基づいてサブセットから２次変換候補を選択し得る。
【0259】
[0180]一例では、コロケートされたルーマ成分のＮＳＳＴインデックスとイントラ予測モードとの両方が、現在の非ルーマ成分に継承され得る。たとえば、ビデオデコーダ３０は、コロケートされた非ルーマ成分のＮＳＳＴインデックスとコロケートされた非ルーマ成分のイントラ予測モードとに基づいてサブセットから２次変換候補を選択し得る。
【0260】
[0181]図７Ａは、ルーマイントラモードから変換セットインデックスへの例示的なマッピングの図である。以下で説明する例は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって実行され得る。図７Ａに示すように、以下で説明する例は、平面（０）、ＤＣ（１）および６５個の角度ルーマイントラ予測モード（２〜６６）を含む６７個のルーマイントラ予測モード上に実装され得る。非分離可能変換を実行するための変換行列を選択するために、合計１２個の非分離可能１６×１６変換セットがあらかじめ定義され得る。各変換セットは、３つの１６×１６変換候補を含んでいる。一例では、変換セットは、ルーマイントラ予測モードによって指定され得る。たとえば、図７Ａに示すように、ルーマイントラ予測モード「０」は、変換セットインデックス「０」を指定し、ルーマイントラ予測モード「１」は、変換セットインデックス「０」を指定し、ルーマイントラ予測モード「２」は、変換セットインデックス「１」を指定し、以下同様に行う。
【0261】
[0182]図７Ａの例では、変換セットが指定され得、各変換セット内で、３つの候補から選択された変換が、明示的にシグナリングされたＣＵレベルのＲＯＴインデックスによって指定され得る。たとえば、ＲＯＴインデックスは、ビットストリーム中でＣＵごとにシグナリングされるインデックス値であり得、ＲＯＴインデックス値は、０〜３にわたり得る。いくつかの例では、ＲＯＴインデックス０は、２次変換が適用されないことを指定し、ＲＯＴインデックス１〜３は、３つの異なるＲＯＴから選択された１つの変換を指定する。図７Ａにおいて、ルーマ予測モードから変換セットインデックスへのマッピングが定義されている。
【0262】
[0183]さらに、図７Ａによれば、３４よりも大きいルーマイントラ予測モード（ＩＰＭ）について、イントラモード６８−ＩＰＭのための同じ変換セットインデックスが適用され得る。ただし、イントラ予測モードＩＰＭと６８−ＩＰＭとの間の対称性を利用するために、エンコーダ／デコーダにおいて、２次変換を行う前に／後に変換係数ブロックが転置され得る。より詳細には、図７Ｂの例では、イントラ予測モード（ＩＰＭ）は、０〜６６にわたり得る。図７Ｂに示すように、イントラモードＩＰＭと６８−ＩＰＭとは対称である。たとえば、イントラモード１８（水平予測）と５０（垂直予測）とは対称である。ＩＰＭと６８−ＩＰＭとが対称であるので、これらの２つのモードに適用される非分離可能変換は何らかの関係がある。たとえば、我々がモード５０（垂直予測）から予測される残差ブロックを転置する場合、残差統計値は、モード１８（水平予測）から予測される残差ブロックとほとんど同様であるはずである。したがって、イントラモードＩＰＭのための非分離可能変換は、イントラモードＩＰＭに転置演算を加えたもののための非分離可能変換と同様であるはずである。この対称性を利用し、非分離可能変換セットの総数を低減するために、３４よりも大きいイントラモードＩＰＭについて、６８−ＩＰＭの同じ変換セットが使用され得、変換係数ブロックは、２次変換の後に転置され得る。ＪＶＥＴ−Ｃ１００１：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／３＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ−Ｃ１００１−ｖ３．ｚｉｐのセクション２．２．１に、６６個のルーマイントラ予測モードが記載されている。
【0263】
[0184]本開示の第８の技法では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ブロックサイズごとに異なるサイズおよび異なる形状（正方形または非正方形以外）のＮＳＳＴを適用するように構成され得る。一例では、４×４のＮＳＳＴは、４×４のブロックに適用され得、８×８のＮＳＳＴは、８×８およびそれよりも大きいブロックについて左上の８×８の変換係数に適用され得る。たとえば、ビデオエンコーダ２０は、４×４のブロックに４×４の２次変換を適用し得、８×８のブロックに８×８の２次変換を適用し得、８×８よりも大きいブロックの左上の８×８の係数に８×８の２次変換を適用し得る。たとえば、ビデオエンコーダ２０は、１６×１６のブロックの左上の８×８の係数に８×８の２次変換を適用し得る。
【0264】
[0185]第８の技法の一例では、４×４のＮＳＳＴがＭ×Ｎのブロックに適用されるとき、ここで、Ｍ≧４、Ｎ≧４、ＭおよびＮは、４の倍数であり、Ｍ≠Ｎであり、Ｍ×Ｎのブロックは、複数の重複しない４×４のサブブロックによって分割され得る。各４×４のサブブロックに対して、４×４のＮＳＳＴが適用され得る。たとえば、ビデオエンコーダ２０は、ビデオエンコーダ２０が８×４のブロックの２つの４×４のブロックの各々にＮＳＳＴを適用するように、８×４のブロックの左上の４×４の係数に第１の４×４の２次変換を適用し、左上の４×４の係数の下にある８×４のブロックの４×４の係数に第２の４×４の２次変換を適用し得る。
【0265】
[0186]たとえば、ビデオエンコーダ２０は、Ｍ×Ｎの係数ブロックを複数の重複しない４×４のサブブロックに分割し得る。この例では、複数の重複しない４×４のサブブロックは、第１の２次元係数ブロックと第２の２次元係数ブロックとを含み、ＭおよびＮはそれぞれ、４よりも大きく、ＭおよびＮはそれぞれ、４の倍数であり、Ｍは、Ｎに等しくない。この例では、ビデオエンコーダ２０は、複数の重複しない４×４のサブブロックのそれぞれの４×４のサブブロックに対して、それぞれの係数ブロックを生成するために２次変換を実行する。
【0266】
[0187]同様に、ビデオデコーダ３０は、Ｍ×Ｎの係数ブロックを複数の重複しない４×４のサブブロックに分割し得、複数の重複しない４×４のサブブロックは、第１の２次元係数ブロックを含み、ＭおよびＮはそれぞれ、４よりも大きく、ＭおよびＮはそれぞれ、４の倍数であり、Ｍは、Ｎに等しくない。この例では、ビデオデコーダ３０は、複数の重複しない４×４のサブブロックの各４×４のサブブロックに対して４×４の逆ＮＳＳＴを実行し得る。この例では、複数の４×４のサブブロックのそれぞれの４×４のサブブロックに対して、ビデオデコーダ３０は、それぞれの２次元係数ブロックを生成するために逆２次変換を適用する。
【0267】
[0188]第８の技法の一例では、８×８のＮＳＳＴがＭ×Ｎのブロックに適用されるとき、ここで、Ｍ≧８であり、Ｎ≧８であり、ＭおよびＮは、８の倍数であり、Ｍ×Ｎのブロックは、複数の重複しない８×８のサブブロックに分割され得、各８×８のサブブロックに対して、８×８のＮＳＳＴが適用され得る。たとえば、ビデオエンコーダ２０は、ビデオエンコーダ２０が８×６４のブロックの８つの８×８のブロックの各々にＮＳＳＴを適用するように、８×６４のブロックの左上の８×８の係数に第１の８×８の２次変換を適用し、左上の８×８の係数の下にある８×６４のブロックの８×８の係数に第２の８×８の２次変換を適用し、以下同様に行い得る。
【0268】
[0189]第８の技法の一例では、正方形のＮＳＳＴの代わりに、ＮＳＳＴは、係数ブロックの任意の領域に位置する変換係数のグループに適用され得る。たとえば、ビデオエンコーダ２０は、８×６４のブロックの中央の４×１６の係数に第１の４×１６の２次変換を適用し得る。一例では、係数走査順序で最初のＫ個の変換係数が単一のベクトルに編成され得、非分離可能変換は、この変換係数ベクトルに対して実行され得る。この例では、係数走査順序は、限定はしないが、対角走査、水平走査または垂直走査であり得る。
【0269】
[0190]第８の技法の一例では、Ｎ×Ｎのブロックに対して、最初のＭ個の係数のみが計算されるようにゼロアウトＮＳＳＴが適用され得、残りのＮ−Ｍ個の係数は、０であると見なされ得る。たとえば、Ｎ個の係数を含む１次元係数ベクトルの場合、ビデオエンコーダ２０は、１次元係数ベクトルのＮ個の係数の最初のＭ個のみを計算し、１次元係数ベクトルの残りの（すなわち、Ｎ−Ｍ個の）係数を０に設定するＮＳＳＴを適用し得る。
【0270】
[0191]ゼロ化された係数のグループが係数グループ（ＣＧ）、たとえば、ＨＥＶＣにおいて定義されている４×４のサブブロックを形成する場合、このＣＧをエントロピーコーディングするとき、このＣＧ中に少なくとも１つの非ゼロ係数があるのかどうかをシグナリングするフラグがスキップされ、コーディングされないことがある。いくつかの例では、ゼロ化された係数のためのシンタックス要素をコーディングしないのではなく、ゼロ化された係数のためのシンタックス要素が、別個のコンテキストを使用するが、依然としてコーディングされ得る。
【0271】
[0192]さらに、いくつかの例では、ゼロ化された係数のグループが係数グループ（ＣＧ）、たとえば、ＨＥＶＣにおいて定義されている４×４のサブブロックを形成する場合、このＣＧをエントロピーコーディングするとき、最後の位置のコーディングは、最後の位置がこれらのゼロ化された係数位置に現れることができないという制限を含むように変更され得る。
【0272】
[0193]図８は、本開示で説明する技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。本開示によれば、ビデオエンコーダ２０は、たとえば、２次変換に関係する技法など、本開示で説明する技法を適用するように構成され得る。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。
【0273】
[0194]図８に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図８の例では、ビデオエンコーダ２０は、モード選択ユニット２４０と、（復号ピクチャバッファ（ＤＰＢ）と呼ばれることもある）参照ピクチャメモリ２６４と、加算器２５０と、変換処理ユニット２５２と、量子化ユニット２５４と、エントロピー符号化ユニット２５６とを含む。モード選択ユニット２４０は、動き補償ユニット２４４と、動き推定ユニット２４２と、イントラ予測ユニット２４６と、分割ユニット２４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット２５８と、逆変換ユニット２６０と、加算器２６２とを含む。いくつかの例では、デブロッキングフィルタ（図８に図示せず）も、再構成されたビデオからブロッキネスアーティファクトを除去するために、ブロック境界をフィルタ処理するために含まれる。デブロッキングフィルタは、加算器２６２の出力をフィルタ処理する。追加のフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡約のために図示されないが、必要な場合、加算器２５０の出力を（インループフィルタとして）フィルタ処理し得る。
【0274】
[0195]符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット２４２および動き補償ユニット２４４は、時間的予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対する受信されたビデオブロックのインター予測符号化を実行する。代替的に、イントラ予測ユニット２４６は、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する受信されたビデオブロックのイントラ予測符号化を実行し得る。ビデオエンコーダ２０は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために複数のコーディングパスを実行し得る。
【0275】
[0196]その上、区分ユニット２４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、区分ユニット２４８は、最初にフレームまたはスライスをＬＣＵに区分し、レートひずみ分析（たとえば、レートひずみ最適化）に基づいて、ＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット２４０は、さらに、ＬＣＵのサブＣＵへの区分を示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。
【0276】
[0197]モード選択ユニット２４０は、たとえば、誤差結果に基づいて予測モード、すなわち、イントラまたはインターのうちの１つを選択し得、残差データを生成するために、得られた予測されたブロックを加算器２５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られた予測されたブロックを加算器２６２に与える。モード選択ユニット２４０はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット２５６に与える。
【0277】
[0198]動き推定ユニット２４２および動き補償ユニット２４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット２４２によって実行される動き推定は、動きベクトルを生成する処理であり、ビデオブロックに対する動きを推定する。動きベクトルは、たとえば、現在のフレーム内でコーディングされている現在のブロック（または、他のコード化ユニット）に対する、参照フレーム内の予測ブロック（または、他のコード化ユニット）に対する、現在のビデオフレーム内またはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対差の合計（ＳＡＤ：sum of absolute difference）、二乗差の合計（ＳＳＤ：sum of square difference）、または他の差メトリックによって決定され得るピクセル差に関する、コーディングされるブロックとよく一致することがわかったブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ２６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット２４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【0278】
[0199]動き推定ユニット２４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々が、参照ピクチャメモリ２６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット２４２は、エントロピー符号化ユニット２５６と動き補償ユニット２４４とに計算された動きベクトルを送る。
【0279】
[0200]動き補償ユニット２４４によって実行される動き補償は、動き推定ユニット２４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。この場合も、いくつかの例では、動き推定ユニット２４２と動き補償ユニット２４４とは機能的に統合され得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット２４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。加算器２５０は、残差ビデオブロックを形成する。残差ビデオブロックを形成することの一部として、加算器２５０は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成し得る。概して、動き推定ユニット２４２はルーマ成分に対して動き推定を実行し、動き補償ユニット２４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット２４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【0280】
[0201]イントラ予測ユニット２４６は、上記で説明したように、動き推定ユニット２４２と動き補償ユニット２４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット２４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット２４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット２４６（または、いくつかの例では、モード選択ユニット２４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
【0281】
[0202]たとえば、イントラ予測ユニット２４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット２４６は、どのイントラ予測モードがブロックに関する最良のレートひずみの値を示すかを決定するために、様々な符号化ブロックに関するひずみおよびレートから比を計算し得る。
【0282】
[0203]ブロックのためのイントラ予測モードを選択した後、イントラ予測ユニット２４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２５６に与え得る。エントロピー符号化ユニット２５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の変更イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更イントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。
【0283】
[0204]ビデオエンコーダ２０は、残差ビデオブロックを形成する。残差ビデオブロックを形成することの一部として、ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット２４０からの予測データを減算し得る。加算器２５０は、この減算演算を実行する１つの構成要素または複数の構成要素を表す。変換処理ユニット２５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、変換係数値を備えるビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、ＤＳＴ、または他のタイプの変換が、ＤＣＴの代わりに使用され得る。いずれの場合も、変換処理ユニット２５２は、変換を残差ブロックに適用し、変換係数のブロックを生成する。変換は、残差情報をピクセル領域から周波数領域などの変換領域に変換し得る。
【0284】
[0205]さらに、上記で説明したように、変換処理ユニット２５２は、非分離可能である２次変換を適用するように構成され得る。いくつかの例では、変換処理ユニット２５２は、量子化ユニット２５４が使用するための係数走査順序に従って第２の２次元係数ブロックとして非分離可能である２次変換によって形成される１次元係数ベクトルを再編成するように構成され得る。変換処理ユニット２５２は、得られた変換係数を量子化ユニット２５４に送り得る。
【0285】
[0206]量子化ユニット２５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。
【0286】
[0207]量子化の後に、エントロピー符号化ユニット２５６は、量子化変換係数を示すシンタックス要素を走査し、エントロピー符号化する。たとえば、エントロピー符号化ユニット２５６は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディングまたは別のエントロピー符号化技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット２５６によるエントロピーコーディングに続いて、符号化ビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
【0287】
[0208]逆量子化ユニット２５８および逆変換ユニット２６０は、ピクセル領域において残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。特に、加算器２６２は、参照ピクチャメモリ２６４に記憶するための再構成されたビデオブロックを生成するために、動き補償ユニット２４４またはイントラ予測ユニット２４６によって前に生成された動き補償予測ブロックに、再構成された残差ブロックを加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット２４２および動き補償ユニット２４４によって参照ブロックとして使用され得る。
【0288】
[0209]ビデオエンコーダ２０は、概して、コード化ビデオシーケンス中の各ピクチャの各ブロックを符号化するために、上記で説明したプロセスを使用する。さらに、いくつかの例では、ビデオエンコーダ２０は、ピクチャの各々を割り当てるべき時間レイヤを決定し得る。さらに、ビデオエンコーダ２０は、他のレイヤ、たとえば、他のビュー、スケーラブルビデオコーディングレイヤなどのピクチャを符号化するように構成され得る。いずれの場合も、ビデオエンコーダ２０は、（たとえば、様々なビデオ次元の）１つまたは複数のレイヤについて、各ピクチャが属するレイヤを示すデータをさらに符号化し得る。
【0289】
[0210]図９は、本開示で説明する技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。本開示によれば、ビデオデコーダ３０は、たとえば、２次変換に関係する技法など、本開示で説明する技法を適用するように構成され得る。図９の例では、ビデオデコーダ３０は、エントロピー復号ユニット２７０と、動き補償ユニット２７２と、イントラ予測ユニット２７４と、逆量子化ユニット２７６と、逆変換ユニット２７８と、参照ピクチャメモリ２８２と、加算器２８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図８）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット２７２は、エントロピー復号ユニット２７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット２７４は、エントロピー復号ユニット２７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【0290】
[0211]復号プロセス中に、ビデオデコーダ３０は、符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームをビデオエンコーダ２０から受け取る。ビデオデコーダ３０のエントロピー復号ユニット２７０は、量子化された係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット２７０は、動きベクトルと他のシンタックス要素とを動き補償ユニット２７２に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【0291】
[0212]ビデオスライスが、イントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット２７４は、現在のフレームまたはピクチャの以前に復号されたブロックから、シグナリングされたイントラ予測モードおよびデータに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームが、インターコード化（すなわち、Ｂ、Ｐ、または汎用ＰおよびＢピクチャ（ＧＰＢ：generalized P and B-picture））スライスとしてコーディングされるとき、動き補償ユニット２７２は、エントロピー復号ユニット２７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ２８２に記憶された参照ピクチャに基づくデフォルトの構成技法を使用して参照フレームリストのリスト０およびリスト１を構成し得る。動き補償ユニット２７２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックの予測ブロックを生成する。たとえば、動き補償ユニット２７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための参照ピクチャリストのうちの１つまたは複数のための構築情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
【0292】
[0213]動き補償ユニット２７２はまた、補間フィルタに基づいて、補間を実行し得る。動き補償ユニット２７２は、参照ブロックのサブ整数ピクセルのための補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット２７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ブロックを生成するために補間フィルタを使用し得る。
【0293】
[0214]逆量子化ユニット２７６は、ビットストリーム中で与えられ、エントロピー復号ユニット２７０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ３０によって計算される量子化パラメータＱＰYの使用を含み得る。
【0294】
[0215]逆変換ユニット２７８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。さらに、本開示の様々な技法によれば、逆変換ユニット２７８は、非分離可能である逆２次変換を適用するように構成され得る。いくつかの例では、逆変換ユニット２７８は、係数走査順序に従って第２の２次元係数ブロックとして１次元係数ベクトルを再編成するように構成され得る。
【0295】
[0216]動き補償ユニット２７２が、動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオブロックについての予測ブロックを生成した後、ビデオデコーダ３０は、復号ビデオブロックを形成する。復号ビデオブロックを形成することの一部として、ビデオデコーダ３０は、動き補償ユニット２７２によって生成された対応する予測ブロックを逆変換ユニット２７８からの残差ブロックに加算し得る。加算器２８０は、この加算演算を実行する１つまたは複数の構成要素を表す。望まれる場合に、デブロッキングフィルタも、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するために適用され得る。他のループフィルタ（コーディングループ内またはコーディングループの後のいずれであれ）も、ピクセル推移を平滑化し、または他の形でビデオ品質を改善するために、使用され得る。所与のフレームまたはピクチャの復号ビデオブロックは、次いで、参照ピクチャメモリ２８２に記憶され、この参照ピクチャメモリ２８２は後続の動き補償のために使用される参照ピクチャを記憶する。参照ピクチャメモリ２８２はまた、復号ビデオを、図１のディスプレイデバイス３２などのディスプレイデバイス上に後で提示するために記憶する。
【0296】
[0217]ビデオデコーダ３０は、概して、コード化ビデオシーケンス中の各ピクチャの各ブロックを復号するために、上記で説明したプロセスを使用する。さらに、いくつかの例では、ビデオデコーダ３０は、ピクチャが割り当てられる時間レイヤを示すデータを復号し得る。さらに、ビデオデコーダ３０は、他のレイヤ、たとえば、他のビュー、スケーラブルビデオコーディングレイヤなどのピクチャを復号するように構成され得る。いずれの場合も、ビデオデコーダ３０は、（たとえば、様々なビデオ次元の）１つまたは複数のレイヤについて、各ピクチャが属するレイヤを示すデータをさらに復号し得る。
【0297】
[0218]ビデオエンコーダ２０またはビデオデコーダ３０によって実行され得る本開示の技法について、以下でより詳細に説明する。
【0298】
[0219]図１０Ａは、本開示で説明する１つまたは複数の技法による、ビデオエンコーダ２０による例示的な変換処理の図である。図１０Ａの例では、ビデオエンコーダ２０の変換処理ユニット２５２は、１次変換ユニット８０２と、２次変換ユニット８０４と、再編成ユニット８０６とを備える。１次変換ユニット８０２は、２次元係数ブロックを生成するために残差ブロックに対して、たとえば、ＤＳＴまたはＤＣＴなどの１次変換を適用する。２次変換ユニット８０４は、１次元ベクトルを生成するために、２次元係数ブロックにＫＬＴなどの非分離可能変換を適用する。再編成ユニット８０６は、２次元係数ブロックとして１次元ベクトルを再編成する。量子化ユニット２５４は、２次元ブロックを量子化する。
【0299】
[0220]図１０Ｂは、本開示で説明する１つまたは複数の技法による、ビデオデコーダ３０による例示的な変換処理の図である。図１０Ｂの例では、ビデオデコーダ３０の逆変換ユニット２７８は、再編成ユニット８２４と、２次逆変換ユニット８２６と、１次逆変換ユニット８２８とを備える。逆量子化ユニット２７６は、ビットストリーム中で与えられ、エントロピー復号ユニット２７０によって復号された量子化変換係数を逆量子化する。再編成ユニット８２４は、２次元係数ブロックから１次元ベクトルに変換係数を再編成する。２次逆変換ユニット８２６は、２次元係数ブロックを生成するために、１次元ベクトルに対してＫＬＴなどの非分離可能逆変換を適用する。１次逆変換ユニット８２８は、ビデオデータのための残差係数ブロックを生成するために、２次元係数ブロックに対して分離可能逆変換を適用する。
【0300】
[0221]図１１は、本開示で説明する技法を実施し得るビデオデータの第１の例示的な復号を示す流れ図である。図１１の例示的な技法は、ビデオデコーダ３０によって実行され得る。図１１の例では、デコーダ（たとえば、ビデオデコーダ３０）は、第１の係数ブロックを逆量子化する（９０２）。デコーダは、第２の係数ブロックを生成するために逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用する（９０４）。たとえば、第１の逆変換は、非分離可能変換である。たとえば、デコーダは、逆量子化された第１の係数ブロックに対して逆ＫＬＴを適用し得る。デコーダは、残差ビデオブロックを生成するために第２の係数ブロックに第２の逆変換を適用し得る（９０６）。第２の逆変換は、周波数領域からピクセル領域に第２の係数ブロックを変換する。たとえば、デコーダは、第２の係数ブロックに対して逆ＤＣＴまたはＤＳＴを適用する。デコーダは、復号ビデオブロックを形成する（９０８）。復号ビデオブロックを形成することの一部として、デコーダは、１つまたは複数の予測ブロックを残差ビデオブロックに加算し得る。
【0301】
[0222]図１２は、本開示で説明する技法を実施し得るビデオデータの第１の例示的な符号化を示す流れ図である。説明したように、図１２の例示的な技法は、エンコーダ２０によって実行され得る。図１２の例では、エンコーダ（たとえば、ビデオエンコーダ２０）は、残差ビデオブロックを形成する（１００２）。残差ビデオブロックを形成することの一部として、エンコーダは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算し得る。エンコーダは、第１の係数ブロックを生成するために残差ビデオブロックに第１の変換を適用する（１００４）。たとえば、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する。たとえば、エンコーダは、残差ビデオブロックに対してＤＣＴまたはＤＳＴを適用し得る。エンコーダは、第２の係数ブロックを生成するために第１の係数ブロックの少なくとも一部に第２の変換を適用する（１００６）。たとえば、第２の変換は、非分離可能変換である。たとえば、エンコーダは、第２の係数ブロックに対してＫＬＴを適用し得る。次に、エンコーダは、エントロピー符号化するための第２の係数ブロックを量子化する（１００８）。
【0302】
[0223]図１３は、本開示で説明する技法を実施し得るビデオデータの第２の例示的な復号を示す流れ図である。説明したように、図１３の例示的な技法は、ビデオデコーダ３０によって実行され得る。図１３の例では、デコーダ（たとえば、ビデオデコーダ３０）は、係数走査順序に従って第１の１次元係数ベクトルとして第１の２次元係数ブロックを再編成する（１１０２）。たとえば、デコーダは、係数走査順序に従って第１の２次元係数ブロックを再編成し、ここで、より小さいインデックス値をもつ第１の２次元係数ブロック中の係数が、第１の１次元係数ベクトル中でより小さい走査インデックス位置に配置される。次に、デコーダは、第２の１次元係数ブロックを生成するために第１の１次元係数ベクトルに第１の逆変換を適用する（１１０４）。第１の逆変換は、非分離可能変換である。たとえば、デコーダは、１次元係数ベクトルに対して逆ＫＬＴを適用する。決定者は、係数走査順序に従って第２の２次元係数ベクトルとして第２の１次元係数ブロックを再編成する（１１０６）。次に、デコーダは、残差ビデオブロックを生成するために第２の２次元係数ブロックに第２の逆変換を適用する（１１０８）。たとえば、第２の逆変換は、周波数領域からピクセル領域に第２の２次元係数ブロックを変換する。たとえば、デコーダは、第２の２次元係数ブロックに対して逆ＤＣＴまたはＤＳＴを適用する。デコーダは、復号ビデオブロックを形成する（１１１０）。復号ブロックを形成することの一部として、デコーダは、１つまたは複数の予測ブロックを残差ビデオブロックに加算し得る。
【0303】
[0224]図１４は、本開示で説明する技法を実施し得るビデオデータの第２の例示的な符号化を示す流れ図である。説明したように、図１４の例示的な技法は、ビデオエンコーダ２０によって実行され得る。図１４の例では、エンコーダ（たとえば、ビデオエンコーダ２０）は、残差ビデオブロックを形成する（１２０２）。残差ビデオブロックを形成することの一部として、エンコーダは、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算し得る。エンコーダは、第１の２次元係数ブロックを生成するために残差ビデオブロックの少なくとも一部に第１の変換を適用する（１２０４）。たとえば、第１の変換は、ピクセル領域から周波数領域に残差ビデオブロックを変換する。たとえば、エンコーダは、残差ビデオブロックに対してＤＣＴまたはＤＳＴを適用する。エンコーダは、第１の１次元係数ベクトルとして第１の２次元係数を再編成する（１２０６）。次に、エンコーダは、第２の１次元係数ベクトルを生成するために第１の１次元係数ブロックの少なくとも一部に第２の変換を適用する（１２０８）。たとえば、第２の変換は、非分離可能変換である。たとえば、エンコーダは、第１の１次元係数ブロックに対してＫＬＴを適用する。次に、エンコーダは、係数走査順序に従って第２の２次元係数ブロックとして第２の１次元係数ベクトルを再編成する（１２１０）。たとえば、デコーダは、係数走査順序に従って１次元係数ベクトルを再編成し、ここで、より小さいインデックス値をもつ第２の１次元係数ベクトル中の係数が、量子化し、エントロピー符号化するための第２の２次元係数ブロック中でより小さい走査インデックス位置に配置される。
【0304】
[0225]上記例に応じて、本明細書で説明した技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行され得、全体的に追加、マージ、または除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実行され得る。
【0305】
[0226]１つまたは複数の例では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0306】
[0227]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【0307】
[0228]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成されるか、または複合コーデックに組み込まれる、専用のハードウェアモジュールおよび／またはソフトウェアモジュール内で提供され得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。
【0308】
[0229]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
【0309】
[0230]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号するための方法であって、
第１の係数ブロックを逆量子化することと、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用することと、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用することと、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
復号ビデオブロックを形成することと、ここにおいて、前記復号ビデオブロックを形成することが、１つまたは複数の予測ブロックを前記残差ビデオブロックに加算することを備える、
を備える方法。
［Ｃ２］
３つ以上の非分離可能変換候補を含む非分離可能変換のセットのサブセットを構築することと、
前記第１の逆変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記サブセットを構築することが、復号情報に基づいて前記サブセットを決定することを備える、前記復号された情報が、イントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックスと、変換ユニット（ＴＵ）レベルのＥＭＴインデックスと、残差４分木深度と、量子化係数と、参照予測ブロックと、予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションとのうちの１つまたは複数を備える、Ｃ２に記載の方法。
［Ｃ４］
非分離可能変換の前記セットが、１２個の変換サブセットを含む、前記１２個の変換サブセットが、非分離可能変換の前記セットの前記サブセットを含む、Ｃ２に記載の方法。
［Ｃ５］
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、Ｃ４に記載の方法。
［Ｃ６］
非分離可能変換の前記セットが、前記ビデオデータのためのルーマイントラ予測モードによって指定される、Ｃ５に記載の方法。
［Ｃ７］
異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、Ｃ２に記載の方法。
［Ｃ８］
前記方法が、前記ビデオデータのビットストリームから、変換ユニット、予測ユニット、コーディングユニット、またはそれらの組合せに適用可能なインデックスを示すシンタックス要素を取得することをさらに備える、
非分離可能変換の前記サブセットから前記候補を選択することが、前記第１の逆変換として、前記インデックスによって示される候補を選択することを備える、Ｃ２に記載の方法。
［Ｃ９］
前記第１の逆変換が、カルーネンレーベ変換（ＫＬＴ）である、Ｃ１に記載の方法。
［Ｃ１０］
ビデオデータを符号化するための方法であって、
残差ビデオブロックを形成することと、ここにおいて、前記残差ビデオブロックを形成することが、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、
第１の係数ブロックを生成するために前記残差ビデオブロックに第１の変換を適用することと、前記第１の変換が、ピクセル領域から周波数領域に前記残差ビデオブロックを変換する、
第２の係数ブロックを生成するために前記第１の係数ブロックの少なくとも一部に第２の変換を適用することと、前記第２の変換が、非分離可能変換である、
前記第２の係数ブロックを量子化することと
を備える方法。
［Ｃ１１］
３つ以上の非分離可能変換候補を含む非分離可能変換のセットのサブセットを構築することと、
前記第２の変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと
をさらに備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記サブセットを構築することが、イントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックスと、変換ユニット（ＴＵ）レベルのＥＭＴインデックスと、残差４分木深度と、量子化係数と、基準予測ブロックと、予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションとのうちの１つまたは複数に基づいて前記サブセットを決定することを備える、Ｃ１１に記載の方法。
［Ｃ１３］
非分離可能変換の前記セットが、１２個の変換サブセットを含む、前記１２個の変換サブセットが、非分離可能変換の前記セットの前記サブセットを含む、Ｃ１１に記載の方法。
［Ｃ１４］
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、Ｃ１３に記載の方法。
［Ｃ１５］
非分離可能変換の前記セットが、前記ビデオデータのためのルーマイントラ予測モードによって指定される、Ｃ１４に記載の方法。
［Ｃ１６］
異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、Ｃ１１に記載の方法。
［Ｃ１７］
前記ビデオデータの符号化ビットストリーム中に、変換ユニット、予測ユニット、コーディングユニット、またはそれらの組合せのためのインデックスを示すデータを生成すること、前記選択された候補を示す前記インデックスが、前記第２の変換である、
をさらに備える、Ｃ１１に記載の方法。
［Ｃ１８］
前記第２の変換が、カルーネンレーベ変換（ＫＬＴ）である、Ｃ１０に記載の方法。
［Ｃ１９］
ビデオデータを復号するための装置であって、
前記ビデオデータを記憶するように構成されたメモリと、
第１の係数ブロックを逆量子化することと、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用することと、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用することと、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
１つまたは複数の予測ブロックを前記残差ビデオブロックに加算することと、
１つまたは複数の予測ブロックとの前記残差ビデオブロックの前記加算に基づいて復号ビデオブロックを形成することと
を行うように構成されたビデオデコーダと
を備える装置。
［Ｃ２０］
前記ビデオデコーダが、
３つ以上の非分離可能変換候補を含む非分離可能変換のセットのサブセットを構築することと、
前記第１の逆変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと
を行うようにさらに構成された、Ｃ１９に記載の装置。
［Ｃ２１］
前記ビデオデコーダが、
復号情報に基づいて前記サブセットを決定することを備える、前記サブセットを構築すること、前記復号情報が、イントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックスと、変換ユニット（ＴＵ）レベルのＥＭＴインデックスと、残差４分木深度と、量子化係数と、基準予測ブロックと、予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションとのうちの１つまたは複数を備える、
を行うようにさらに構成された、Ｃ２０に記載の装置。
［Ｃ２２］
非分離可能変換の前記セットが、１２個の変換サブセットを含む、前記１２個の変換サブセットが、非分離可能変換の前記セットの前記サブセットを含む、Ｃ２０に記載の装置。
［Ｃ２３］
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、Ｃ２２に記載の装置。
［Ｃ２４］
非分離可能変換の前記セットが、前記ビデオデータのためのルーマイントラ予測モードによって指定される、Ｃ２３に記載の装置。
［Ｃ２５］
異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、Ｃ２０に記載の装置。
［Ｃ２６］
前記ビデオデコーダが、前記ビデオデータのビットストリームから、変換ユニット、予測ユニット、コーディングユニット、またはそれらの組合せに適用可能なインデックスを示すシンタックス要素を取得するように構成され、
前記ビデオデコーダが、非分離可能変換の前記サブセットから前記候補を選択することの一部として、前記ビデオデコーダが、前記第１の逆変換として、前記インデックスによって示される候補を選択するように構成された、Ｃ２０に記載の装置。
［Ｃ２７］
前記第１の逆変換が、カルーネンレーベ変換（ＫＬＴ）である、Ｃ１９に記載の装置。
［Ｃ２８］
前記装置が、前記復号ビデオブロックを備えるピクチャを表示するように構成されたディスプレイを備える、Ｃ１９に記載の装置。
［Ｃ２９］
前記装置が、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、Ｃ１９に記載の装置。
［Ｃ３０］
ビデオデータを符号化するための装置であって、
前記ビデオデータを記憶するように構成されたメモリと、
残差ビデオブロックを形成することと、ここにおいて、前記残差ビデオブロックを形成することが、コーディングされているビデオブロックから１つまたは複数の予測ブロックを減算することを備える、
第１の係数ブロックを生成するために前記残差ビデオブロックに第１の変換を適用することと、前記第１の変換が、ピクセル領域から周波数領域に前記残差ビデオブロックを変換する、
第２の係数ブロックを生成するために前記第１の係数ブロックの少なくとも一部に第２の変換を適用することと、前記第２の変換が、非分離可能変換である、
前記第２の係数ブロックを量子化することと
を行うように構成されたビデオエンコーダと
を備える装置。
［Ｃ３１］
前記ビデオエンコーダが、
３つ以上の非分離可能変換候補を含む非分離可能変換のセットのサブセットを構築することと、
前記第２の変換として非分離可能変換の前記セットの前記サブセットから１つの候補を選択することと
を行うようにさらに構成された、Ｃ３０に記載の装置。
［Ｃ３２］
前記ビデオエンコーダが、
イントラ予測モードと、コーディングユニット（ＣＵ）レベルの拡張複数変換（ＥＭＴ）インデックスと、変換ユニット（ＴＵ）レベルのＥＭＴインデックスと、残差４分木深度と、量子化係数と、基準予測ブロックと、予測ユニット（ＰＵ）内の現在のＴＵの相対ロケーションとのうちの１つまたは複数に基づいて前記サブセットを決定することを備える、前記サブセットを構築すること
を行うようにさらに構成された、Ｃ３０に記載の装置。
［Ｃ３３］
非分離可能変換の前記セットが、１２個の変換サブセットを含む、前記１２個の変換サブセットが、非分離可能変換の前記セットの前記サブセットを含む、Ｃ３１に記載の装置。
［Ｃ３４］
前記１２個の変換サブセットの各変換サブセットが、３つの変換候補を含む、Ｃ３３に記載の装置。
［Ｃ３５］
非分離可能変換の前記セットが、前記ビデオデータのためのルーマイントラ予測モードによって指定される、Ｃ３４に記載の装置。
［Ｃ３６］
異なるイントラ予測モードに対応する非分離可能変換の前記セットの変換サブセット中の変換候補の数が異なる、Ｃ３１に記載の装置。
［Ｃ３７］
前記ビデオエンコーダが、
前記ビデオデータの符号化ビットストリーム中に、変換ユニット、予測ユニット、コーディングユニット、またはそれらの組合せのためのインデックスを示すデータを生成すること、前記選択された候補を示す前記インデックスが、前記第２の変換である、
を行うようにさらに構成された、Ｃ３１に記載の装置。
［Ｃ３８］
前記第２の変換が、カルーネンレーベ変換（ＫＬＴ）である、Ｃ３０に記載の装置。
［Ｃ３９］
前記ビデオエンコーダが、
変換ユニットが変換スキップモードでコーディングされていることに基づいて前記ビデオデータのビットストリーム中の前記第２の変換のインデックスを示すデータを符号化すべきかどうかを決定することと、
前記第２の変換の前記インデックスを示すデータが前記ビットストリーム中に符号化されていることに基づいて前記第１の係数ブロックの少なくとも一部に前記第２の変換を実行することを備える、前記第１の係数ブロックの少なくとも一部に前記第２の変換を適用することと
を行うようにさらに構成された、Ｃ３０に記載の装置。
［Ｃ４０］
前記装置が、前記ビデオブロックを備えるピクチャをキャプチャするように構成されたカメラを備える、Ｃ３０に記載の装置。
［Ｃ４１］
前記装置が、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、Ｃ３０に記載の装置。
［Ｃ４２］
ビデオデータを復号するための装置であって、
第１の係数ブロックを逆量子化するための手段と、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用するための手段と、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用するための手段と、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
復号ビデオブロックを形成するための手段と、ここにおいて、前記復号ビデオブロックを形成するための前記手段が、１つまたは複数の予測ブロックを前記残差ビデオブロックに加算するための手段を備える、
を備える装置。
［Ｃ４３］
実行されたとき、ビデオデータを復号するためのデバイスの１つまたは複数のプロセッサに、
第１の係数ブロックを逆量子化することと、
第２の係数ブロックを生成するために前記逆量子化された第１の係数ブロックの少なくとも一部に第１の逆変換を適用することと、前記第１の逆変換が、非分離可能変換である、
残差ビデオブロックを生成するために前記第２の係数ブロックに第２の逆変換を適用することと、前記第２の逆変換が、周波数領域からピクセル領域に前記第２の係数ブロックを変換する、
１つまたは複数の予測ブロックを前記残差ビデオブロックに加算することと、
１つまたは複数の予測ブロックとの前記残差ビデオブロックの前記加算に基づいて復号ビデオブロックを形成することと
を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体。