知財求人 - 知財ポータルサイト「IP Force」
特許7629413ビデオエンコードのための０化パターンに基づく低周波数非分離変換シグナリング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-04
(45)【発行日】2025-02-13
(54)【発明の名称】ビデオエンコードのための０化パターンに基づく低周波数非分離変換シグナリング
(51)【国際特許分類】
H04N 19/12 20140101AFI20250205BHJP
H04N 19/176 20140101ALI20250205BHJP
H04N 19/136 20140101ALI20250205BHJP
H04N 19/46 20140101ALI20250205BHJP
【ＦＩ】
H04N19/12
H04N19/176
H04N19/136
H04N19/46
【請求項の数】
15
(21)【出願番号】P 2021566255
(86)(22)【出願日】2020-05-14
(65)【公表番号】
(43)【公表日】2022-07-12
(86)【国際出願番号】 US2020032866
(87)【国際公開番号】W WO2020236509
(87)【国際公開日】2020-11-26
【審査請求日】2023-04-14
(31)【優先権主張番号】62/849,689
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/931,271
(32)【優先日】2020-05-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(72)【発明者】
【氏名】エイイレメゼ、ヒルミ・エネス
(72)【発明者】
【氏名】セレジン、バディム
(72)【発明者】
【氏名】コバン、ムハンメド・ゼイド
(72)【発明者】
【氏名】カルチェビチ、マルタ
【審査官】田部井 和彦
(56)【参考文献】
【文献】SIEKMANN M; ET AL，CE6-RELATED: SIMPLIFICATION OF THE REDUCED SECONDARY TRANSFORM，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，2019年03月23日，NR:JVET-N0555，PAGE(S): 1-9，http://phenix.int-evry.fr/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0555-v4.zip，DOCUMENT:JVET-N0555-V3／JVET-N0555-V3.DOCX
【文献】KOO M，CROSS-CHECK OF JVET-N0555 (CE6-RELATED: SIMPLIFICATION OF THE REDUCED SECONDARY TRANSFORM)，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，2019年03月24日，NR:JVET-N0812，PAGE(S): 1-3，http://phenix.int-evry.fr/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0812-v1.zip，DOCUMENT:JVET-N0812／JVET-N0812.DOCX
【文献】JUNG J; ET AL，NON-CE6: SIMPLIFIED LFNST SIGNALLING，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，2019年07月06日，NR:JVET-O0472，PAGE(S): 1-5，http://phenix.int-evry.fr/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0472-v6.ziphttp://phenix.int-evry.fr/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0472-v6.zip，DOCUMENT:JVET-O0472-V5／JVET-O0472-V5.DOCX
【文献】NALCI A; ET AL，TU-LEVEL LFNST SIGNALING WITH LAST POSITION CONSTRAINTS，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，2019年07月10日，NR:JVET-O0963，PAGE(S): 1-10，http://phenix.int-evry.fr/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0963-v3.zip，JVET-O0963-V4／JVET-O0963-V4.DOCX
【文献】M-S CHIANG; ET AL，CE6-RELATED: LATENCY REDUCTION FOR LFNST SIGNALLING，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，2019年06月25日，NR:JVET-O0293，PAGE(S): 1-6，http://phenix.int-evry.fr/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0293-v6.zip，DOCUMENT:JVET-O0293-V1／JVET-O0293-V1.DOCX
【文献】SIEKMANN M; ET AL，CE6-2.1: SIMPLIFICATION OF LOW FREQUENCY NON-SEPARABLE TRANSFORM，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，2019年06月19日，NR:JVET-O0094，PAGE(S): 1-7，http://phenix.int-evry.fr/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0094-v2.zip，DOCUMENT:JVET-O0094／JVET-O0094-R1.DOCX
【文献】Xiaoyu Xiu et al.，Constrained MTS signaling based on the position of last significant coefficient [online]，JVET-Q0516_r1（JVET-Q0516_r1.docx）, [2024年3月13日検索]，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0516-v4.zip＞，2020年01月16日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／１２
Ｈ０４Ｎ １９／１７６
Ｈ０４Ｎ １９／１３６
Ｈ０４Ｎ １９／４６
(57)【特許請求の範囲】
【請求項1】
ビデオデータをデコードする方法において、前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定することと、ここにおいて、前記０化領域内の各変換係数は、前記変換ブロックにＬＦＮＳＴが適用されるときに、０化されることが想定され、前記変換ブロックの前記０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の０化領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の０化領域との両方を含み、前記ＬＦＮＳＴインデックスの値を決定することは、前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの前記０化領域中にある場合、前記ＬＦＮＳＴインデックスの値が０であると推測することを含み、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示す、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換することと、
を備える方法。
【請求項2】
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示す請求項１記載の方法。
【請求項3】
前記ＬＦＮＳＴインデックスの値が０であると推測することは、前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測することを備える請求項１記載の方法。
【請求項4】
前記変換ブロックを逆変換することは、１つ以上の分離変換により、前記変換ブロックを逆変換することを備える請求項１記載の方法。
【請求項5】
前記ＬＦＮＳＴインデックスの値を決定することは、前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にない場合、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信することと、
前記ＬＦＮＳＴインデックスの値を決定するために、前記シンタックス要素をデコードすることと、
を備え、
前記変換ブロックを逆変換することは、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換することと、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換することと、
を備える請求項１記載の方法。
【請求項6】
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定することは、前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードすることを備える請求項１記載の方法。
【請求項7】
前記変換ブロックを逆変換することは、残差ブロックを作成するために、前記変換ブロックを逆変換することを備え、前記方法は、
前記残差ブロックに対する予測的ブロックを決定することと、
デコードされたブロックを作成するために、前記予測的ブロックを前記残差ブロックと組み合わせることと、
をさらに備え、前記方法は、
前記デコードされたブロックを含むピクチャーを表示することをさらに備える、
請求項１記載の方法。
【請求項8】
ビデオデータをデコードするように構成されている装置において、前記ビデオデータの変換ブロックを記憶するように構成されているメモリと、
前記メモリと通信する１つ以上のプロセッサとを具備し、
前記１つ以上のプロセッサは、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定することと、ここにおいて、前記０化領域内の各変換係数は、前記変換ブロックにＬＦＮＳＴが適用されるときに、０化されることが想定され、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の０化領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の０化領域との両方を含み、前記ＬＦＮＳＴインデックスの値を決定するために、前記１つ以上のプロセッサは、前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの前記０化領域中にある場合、前記ＬＦＮＳＴインデックスの値が０であると推測するように構成されており、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示す、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換することと、
を行うように構成されている、装置。
【請求項9】
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示す請求項８記載の装置。
【請求項10】
前記ＬＦＮＳＴインデックスの値が０であると推測するために、前記１つ以上のプロセッサは、前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測するように構成されている請求項８記載の装置。
【請求項11】
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、１つ以上の分離変換により、前記変換ブロックを逆変換するように構成されている請求項８記載の装置。
【請求項12】
前記ＬＦＮＳＴインデックスの値を決定するために、前記１つ以上のプロセッサは、前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にない場合、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信することと、
前記ＬＦＮＳＴインデックスの値を決定するために、前記シンタックス要素をデコードすることと、
を行うように構成されており、
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換することと、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換することと、
を行うように構成されている請求項８記載の装置。
【請求項13】
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定するために、前記１つ以上のプロセッサは、前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されている請求項８記載の装置。
【請求項14】
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、残差ブロックを作成するために、前記変換ブロックを逆変換するように構成され、
前記１つ以上のプロセッサは、
前記残差ブロックに対する予測的ブロックを決定することと、
デコードされたブロックを作成するために、前記予測的ブロックを前記残差ブロックと組み合わせることと、
を行うように構成されており、
前記装置は、前記デコードされたブロックを含むピクチャーを表示するように構成されているディスプレイをさらに備える、請求項８記載の装置。
【請求項15】
非一時的コンピュータ読取可能記憶媒体において、実行されるときに、ビデオデータをデコードするように構成されている１つ以上のプロセッサに、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定することと、ここにおいて、前記０化領域内の各変換係数は、前記変換ブロックにＬＦＮＳＴが適用されるときに、０化されることが想定され、前記変換ブロックの前記０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の０化領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の０化領域との両方を含み、前記ＬＦＮＳＴインデックスの値を決定することは、前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの前記０化領域中にある場合、前記ＬＦＮＳＴインデックスの値が０であると推測することを含み、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示す、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換することと、
を行わせる命令を記憶している非一時的コンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【相互参照】
【0001】
［０００１］
本出願は、２０１９年５月１７日に出願された米国仮出願第６２／８４９６８９号の利益を主張する、２０２０年５月１３日に出願された米国特許出願第１５／９３１２７１号に対する優先権を主張し、これらのそれぞれの全内容は、参照により本明細書に組み込まれている。
本出願は、２０１９年５月１７日に出願された米国仮出願第６２／８４９６８９号の利益を主張する、２０２０年５月１３日に出願された米国特許出願第１５／９３１２７１号に対する優先権を主張し、これらのそれぞれの全内容は、参照により本明細書に組み込まれている。
【技術分野】
【0002】
［０００２］
本開示は、ビデオエンコーディングおよびビデオデコーディングに関連する。
本開示は、ビデオエンコーディングおよびビデオデコーディングに関連する。
【背景】
【0003】
［０００３］
デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、ｅ－ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラまたは衛星無線電話機、いわゆる「スマートフォン」、ビデオ電話会議デバイス、ビデオストリーミングデバイス、および、これらに類するものを含む、幅広い範囲のデバイスに組み込むことができる。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、パート１０、高度ビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）、および、このような標準規格の拡張によって規定される標準規格に記述されているもののような、ビデオコーディング技法を実現する。ビデオデバイスは、このようなビデオコーディング技法を実現することによって、より効率的にデジタルビデオ情報を送信、受信、エンコード、デコード、および／または、記憶してもよい。
デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、ｅ－ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラまたは衛星無線電話機、いわゆる「スマートフォン」、ビデオ電話会議デバイス、ビデオストリーミングデバイス、および、これらに類するものを含む、幅広い範囲のデバイスに組み込むことができる。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、パート１０、高度ビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）、および、このような標準規格の拡張によって規定される標準規格に記述されているもののような、ビデオコーディング技法を実現する。ビデオデバイスは、このようなビデオコーディング技法を実現することによって、より効率的にデジタルビデオ情報を送信、受信、エンコード、デコード、および／または、記憶してもよい。
【0004】
［０００４］
ビデオコーディング技法は、ビデオシーケンスに内在する冗長を低減または取り除くために、空間的（イントラピクチャー）予測、および／または、時間的（インターピクチャー）予測を含んでいる。ブロックベースのビデオコーディングに対して、ビデオスライス（例えば、ビデオピクチャーまたはビデオピクチャーの一部分）は、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードとして呼ばれることもあるかもしれないビデオブロックに区分してもよい。ピクチャーのイントラコード化された（Ｉ）スライスにおけるビデオブロックは、同じピクチャーにおける隣接ブロック中の参照サンプルに関する空間的予測を使用してエンコードされる。ピクチャーのインターコード化された（ＰまたはＢ）スライスにおけるビデオブロックは、同じピクチャーにおける隣接ブロック中の参照サンプルに関する空間的予測、または、他の参照ピクチャーにおける参照サンプルに関する時間的予測を使用してもよい。ピクチャーは、フレームとして呼ばれることがあり、参照ピクチャーは参照フレームとして呼ばれることがある。
ビデオコーディング技法は、ビデオシーケンスに内在する冗長を低減または取り除くために、空間的（イントラピクチャー）予測、および／または、時間的（インターピクチャー）予測を含んでいる。ブロックベースのビデオコーディングに対して、ビデオスライス（例えば、ビデオピクチャーまたはビデオピクチャーの一部分）は、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードとして呼ばれることもあるかもしれないビデオブロックに区分してもよい。ピクチャーのイントラコード化された（Ｉ）スライスにおけるビデオブロックは、同じピクチャーにおける隣接ブロック中の参照サンプルに関する空間的予測を使用してエンコードされる。ピクチャーのインターコード化された（ＰまたはＢ）スライスにおけるビデオブロックは、同じピクチャーにおける隣接ブロック中の参照サンプルに関する空間的予測、または、他の参照ピクチャーにおける参照サンプルに関する時間的予測を使用してもよい。ピクチャーは、フレームとして呼ばれることがあり、参照ピクチャーは参照フレームとして呼ばれることがある。
【概要】
【0005】
［０００５］
一般的に、本開示は、現代のビデオ圧縮標準規格の基本要素である変換コーディングのための技法を説明している（Ｍ．Ｗｉｅｎ，高効率ビデオコーディング：コーディングツールおよび仕様、シュプリンガー出版、ベルリン、２０１５年）。本開示の技法は、デコーディングのために複数の変換候補の中から選択された変換を指定するために、ビデオコーデックにおいて使用することができるさまざまな変換シグナリング方法を含んでいる。特に、本開示は、低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を複数の値の中から推測するための技法を説明している。推測することは、エンコードされたビデオビットストリーム中で値を示すシンタックス要素を受信することなく、複数の値の中から値を決定することを意味する。
一般的に、本開示は、現代のビデオ圧縮標準規格の基本要素である変換コーディングのための技法を説明している（Ｍ．Ｗｉｅｎ，高効率ビデオコーディング：コーディングツールおよび仕様、シュプリンガー出版、ベルリン、２０１５年）。本開示の技法は、デコーディングのために複数の変換候補の中から選択された変換を指定するために、ビデオコーデックにおいて使用することができるさまざまな変換シグナリング方法を含んでいる。特に、本開示は、低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を複数の値の中から推測するための技法を説明している。推測することは、エンコードされたビデオビットストリーム中で値を示すシンタックス要素を受信することなく、複数の値の中から値を決定することを意味する。
【0006】
［０００６］
ＬＦＮＳＴインデックスの値は、変換ブロックにＬＦＮＳＴが適用されているか否かを、適用されているときには、適用されることになるＬＦＮＳＴのタイプを示している。ＬＦＮＳＴは、変換ブロックのＬＦＮＳＴ領域に適用される非分離変換である。ＬＦＮＳＴ領域は、変換ブロックの変換係数のサブセットであってもよく、変換ブロックの低周波数成分（例えば、変換ブロックの左上隅）を含んでいてもよい。いくつかの適用例では、ＬＦＮＳＴを適用するときには、ＬＦＮＳＴ領域内のいくつかの変換係数が０に設定される（例えば、０化される）。加えて、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数も０化されるかもしれない。
ＬＦＮＳＴインデックスの値は、変換ブロックにＬＦＮＳＴが適用されているか否かを、適用されているときには、適用されることになるＬＦＮＳＴのタイプを示している。ＬＦＮＳＴは、変換ブロックのＬＦＮＳＴ領域に適用される非分離変換である。ＬＦＮＳＴ領域は、変換ブロックの変換係数のサブセットであってもよく、変換ブロックの低周波数成分（例えば、変換ブロックの左上隅）を含んでいてもよい。いくつかの適用例では、ＬＦＮＳＴを適用するときには、ＬＦＮＳＴ領域内のいくつかの変換係数が０に設定される（例えば、０化される）。加えて、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数も０化されるかもしれない。
【0007】
［０００７］
変換ブロックに対するＬＦＮＳＴインデックスの値を決定する前に、ビデオデコーダは、変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい。変換ブロックの変換係数が走査順序にしたがって順序付けられ／走査されるとき、変換ブロック中の最後の有意係数は、変換ブロックの最後の非０変換係数を指しているかもしれない。例えば、ビデオデコーダは、予め決定されている走査順序に沿った最後の有意（すなわち、非０）係数の位置（例えば、変換ブロック中のＸ座標およびＹ座標）を示すシンタックス要素を受信してデコードしてもよい。最後の有意係数の位置が、ビデオエンコーダによりＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあることが決定された場合には、ビデオデコーダは、ＬＮＦＳＴインデックスの値が０である（すなわち、ＬＦＮＳＴは適用されていない）と推測してもよい。すなわち、ビデオデコーダは、ＬＦＮＳＴが適用された場合に０化されているであろう位置における変換ブロック中に非０係数が存在することを決定した場合には、ＬＦＮＳＴが適用されていないことを決定してもよい。
変換ブロックに対するＬＦＮＳＴインデックスの値を決定する前に、ビデオデコーダは、変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい。変換ブロックの変換係数が走査順序にしたがって順序付けられ／走査されるとき、変換ブロック中の最後の有意係数は、変換ブロックの最後の非０変換係数を指しているかもしれない。例えば、ビデオデコーダは、予め決定されている走査順序に沿った最後の有意（すなわち、非０）係数の位置（例えば、変換ブロック中のＸ座標およびＹ座標）を示すシンタックス要素を受信してデコードしてもよい。最後の有意係数の位置が、ビデオエンコーダによりＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあることが決定された場合には、ビデオデコーダは、ＬＮＦＳＴインデックスの値が０である（すなわち、ＬＦＮＳＴは適用されていない）と推測してもよい。すなわち、ビデオデコーダは、ＬＦＮＳＴが適用された場合に０化されているであろう位置における変換ブロック中に非０係数が存在することを決定した場合には、ＬＦＮＳＴが適用されていないことを決定してもよい。
【0008】
［０００８］
このようにして、ビデオエンコーダは、最後の有意係数の位置が、ＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあるケースでは、ＬＦＮＳＴインデックスの値を示すシンタックス要素を発生させて、シグナリングする必要はない。したがって、シグナリングオーバーヘッドは低減されるかもしれず、コーディング効率は増加するかもしれない。本開示の提案する技法は、シグナリングオーバーヘッドを低減させるかもしれないので、本開示の技法は、コーディング効率を改善するかもしれず、ＨＥＶＣの拡張と、バーサタイルビデオコーディング（ＶＶＣ）またはＨ．２６６のような次世代のビデオコーディング標準規格とを含む、ＬＦＮＳＴを使用する高度ビデオコーデックにおいて使用することができる。
このようにして、ビデオエンコーダは、最後の有意係数の位置が、ＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあるケースでは、ＬＦＮＳＴインデックスの値を示すシンタックス要素を発生させて、シグナリングする必要はない。したがって、シグナリングオーバーヘッドは低減されるかもしれず、コーディング効率は増加するかもしれない。本開示の提案する技法は、シグナリングオーバーヘッドを低減させるかもしれないので、本開示の技法は、コーディング効率を改善するかもしれず、ＨＥＶＣの拡張と、バーサタイルビデオコーディング（ＶＶＣ）またはＨ．２６６のような次世代のビデオコーディング標準規格とを含む、ＬＦＮＳＴを使用する高度ビデオコーデックにおいて使用することができる。
【0009】
［０００９］
１つの例では、本開示は、ビデオデータをデコードする方法を説明し、方法は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含むことと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換することとを含んでいる。
１つの例では、本開示は、ビデオデータをデコードする方法を説明し、方法は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含むことと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換することとを含んでいる。
【0010】
［００１０］
別の例では、本開示は、ビデオデータをデコードするように構成されている装置を説明し、装置は、ビデオデータの変換ブロックを記憶するように構成されているメモリと、メモリと通信する１つ以上のプロセッサとを具備し、１つ以上のプロセッサは、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含むようにと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換するように構成されている。
別の例では、本開示は、ビデオデータをデコードするように構成されている装置を説明し、装置は、ビデオデータの変換ブロックを記憶するように構成されているメモリと、メモリと通信する１つ以上のプロセッサとを具備し、１つ以上のプロセッサは、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含むようにと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換するように構成されている。
【0011】
［００１１］
別の例では、本開示は、ビデオデータをデコードするように構成されている装置を説明し、装置は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定する手段と、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含む手段と、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換する手段とを具備している。
別の例では、本開示は、ビデオデータをデコードするように構成されている装置を説明し、装置は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定する手段と、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含む手段と、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換する手段とを具備している。
【0012】
［００１２］
別の例では、本開示は、非一時的コンピュータ読取可能記憶媒体を説明し、非一時的コンピュータ読取可能記憶媒体は、実行されるときに、ビデオデータをデコードするように構成されている１つ以上のプロセッサに、ビデオデータの変換ブロック中の最後の有意係数の位置を決定させ、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定させ、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含み、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換させる命令を記憶している。
別の例では、本開示は、非一時的コンピュータ読取可能記憶媒体を説明し、非一時的コンピュータ読取可能記憶媒体は、実行されるときに、ビデオデータをデコードするように構成されている１つ以上のプロセッサに、ビデオデータの変換ブロック中の最後の有意係数の位置を決定させ、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定させ、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含み、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換させる命令を記憶している。
【0013】
［００１３］
１つ以上の例の詳細が、添付の図面および以下の説明に記載されている。他の特徴、目的および利点は、説明、図面および特許請求の範囲から明らかになるであろう。
１つ以上の例の詳細が、添付の図面および以下の説明に記載されている。他の特徴、目的および利点は、説明、図面および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0014】
【詳細な説明】
【0015】
［００２６］
本開示の技法は、デコーディングのために複数の変換候補の中から選択された変換を指定するために、ビデオコーデックにおいて使用することができるさまざまな変換シグナリング方法を含んでいる。特に、本開示は、低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を推測する技法を説明している。推測することは、エンコードされたビデオビットストリーム中で値を示すシンタックス要素を受信することなく値を決定することを意味する。
本開示の技法は、デコーディングのために複数の変換候補の中から選択された変換を指定するために、ビデオコーデックにおいて使用することができるさまざまな変換シグナリング方法を含んでいる。特に、本開示は、低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を推測する技法を説明している。推測することは、エンコードされたビデオビットストリーム中で値を示すシンタックス要素を受信することなく値を決定することを意味する。
【0016】
［００２７］
ＬＦＮＳＴインデックスの値は、変換ブロックにＬＦＮＳＴが適用されているか否かと、適用されているときには、適用されることなるＬＦＮＳＴのタイプを示している。ＬＦＮＳＴは、変換ブロックのＬＦＮＳＴ領域に適用される非分離変換である。ＬＦＮＳＴ領域は、変換ブロックの変換係数のサブセットであってもよく、変換ブロックの低周波数成分（例えば、変換ブロックの左上隅）を含んでいてもよい。いくつかの適用例では、ＬＦＮＳＴを適用するときには、ＬＦＮＳＴ領域内のいくつかの変換係数が０に設定される（例えば、０化される）。加えて、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数も０化されるかもしれない。
ＬＦＮＳＴインデックスの値は、変換ブロックにＬＦＮＳＴが適用されているか否かと、適用されているときには、適用されることなるＬＦＮＳＴのタイプを示している。ＬＦＮＳＴは、変換ブロックのＬＦＮＳＴ領域に適用される非分離変換である。ＬＦＮＳＴ領域は、変換ブロックの変換係数のサブセットであってもよく、変換ブロックの低周波数成分（例えば、変換ブロックの左上隅）を含んでいてもよい。いくつかの適用例では、ＬＦＮＳＴを適用するときには、ＬＦＮＳＴ領域内のいくつかの変換係数が０に設定される（例えば、０化される）。加えて、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数も０化されるかもしれない。
【0017】
［００２８］
変換ブロックに対するＬＦＮＳＴインデックスの値を決定する前に、ビデオデコーダは、変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい。例えば、ビデオデコーダは、予め決定されている走査順序に沿った最後の有意（すなわち、非０）係数の位置（例えば、変換ブロック中のＸ座標およびＹ座標）を示すシンタックス要素を受信してデコードしてもよい。最後の有意係数の位置が、ビデオエンコーダによりＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあることが決定された場合には、ビデオデコーダは、ＬＮＦＳＴインデックスの値が０である（すなわち、ＬＦＮＳＴは適用されていない）と推測してもよい。すなわち、ビデオデコーダは、ＬＦＮＳＴが適用された場合に０化されているであろう（例えば、変換係数は０値を有するであろう）位置における変換ブロック中に非０係数が存在することを決定した場合には、ＬＦＮＳＴが適用されていないことを決定してもよい。
変換ブロックに対するＬＦＮＳＴインデックスの値を決定する前に、ビデオデコーダは、変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい。例えば、ビデオデコーダは、予め決定されている走査順序に沿った最後の有意（すなわち、非０）係数の位置（例えば、変換ブロック中のＸ座標およびＹ座標）を示すシンタックス要素を受信してデコードしてもよい。最後の有意係数の位置が、ビデオエンコーダによりＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあることが決定された場合には、ビデオデコーダは、ＬＮＦＳＴインデックスの値が０である（すなわち、ＬＦＮＳＴは適用されていない）と推測してもよい。すなわち、ビデオデコーダは、ＬＦＮＳＴが適用された場合に０化されているであろう（例えば、変換係数は０値を有するであろう）位置における変換ブロック中に非０係数が存在することを決定した場合には、ＬＦＮＳＴが適用されていないことを決定してもよい。
【0018】
［００２９］
このようにして、ビデオエンコーダは、最後の有意係数の位置が、ＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあるケースでは、ＬＦＮＳＴインデックスの値を示すシンタックス要素を発生させて、シグナリングする必要はない。したがって、シグナリングオーバーヘッドは低減されるかもしれず、コーディング効率は増加するかもしれない。
このようにして、ビデオエンコーダは、最後の有意係数の位置が、ＬＦＮＳＴが適用された場合に０化されるであろう変換ブロックの一部（ＬＦＮＳＴ領域中またはＬＦＮＳＴ領域外のいずれか）中にあるケースでは、ＬＦＮＳＴインデックスの値を示すシンタックス要素を発生させて、シグナリングする必要はない。したがって、シグナリングオーバーヘッドは低減されるかもしれず、コーディング効率は増加するかもしれない。
【0019】
［００３０］
図１は、本開示の技法を実行してもよい、例示的なビデオエンコーディングおよびデコーディングシステム１００を図示するブロック図である。本開示の技法は、一般的に、ビデオデータをコード化（エンコードおよび／またはデコード）することに向けられている。一般的に、ビデオデータは、ビデオを処理するための任意のデータを含んでいる。したがって、ビデオデータは、生のコード化されていないビデオ、エンコードされたビデオ、デコードされた（例えば、再構築された）ビデオ、および、シグナリングデータのようなビデオメタデータを含んでいてもよい。
図１は、本開示の技法を実行してもよい、例示的なビデオエンコーディングおよびデコーディングシステム１００を図示するブロック図である。本開示の技法は、一般的に、ビデオデータをコード化（エンコードおよび／またはデコード）することに向けられている。一般的に、ビデオデータは、ビデオを処理するための任意のデータを含んでいる。したがって、ビデオデータは、生のコード化されていないビデオ、エンコードされたビデオ、デコードされた（例えば、再構築された）ビデオ、および、シグナリングデータのようなビデオメタデータを含んでいてもよい。
【0020】
［００３１］
図１に示すように、システム１００は、この例では、宛先デバイス１１６によってデコードされ、表示されるべき、エンコードされたビデオデータを提供する、発信元デバイス１０２を含んでいる。特に、発信元デバイス１０２は、コンピュータ読取可能媒体１１０を介して、ビデオデータを宛先デバイス１１６に提供する。発信元デバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンのような電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、または、これらに類するものを含む、広範囲のデバイスのうちのいずれを含んでいてもよい。いくつかのケースでは、発信元デバイス１０２および宛先デバイス１１６は、ワイヤレス通信のために備えられてもよく、したがって、ワイヤレス通信デバイスとして呼ばれることがある。
図１に示すように、システム１００は、この例では、宛先デバイス１１６によってデコードされ、表示されるべき、エンコードされたビデオデータを提供する、発信元デバイス１０２を含んでいる。特に、発信元デバイス１０２は、コンピュータ読取可能媒体１１０を介して、ビデオデータを宛先デバイス１１６に提供する。発信元デバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンのような電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、または、これらに類するものを含む、広範囲のデバイスのうちのいずれを含んでいてもよい。いくつかのケースでは、発信元デバイス１０２および宛先デバイス１１６は、ワイヤレス通信のために備えられてもよく、したがって、ワイヤレス通信デバイスとして呼ばれることがある。
【0021】
［００３２］
図１の例では、発信元デバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含んでいる。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含んでいる。本開示によると、発信元デバイス１０２のビデオエンコーダ２００および宛先デバイス１１６のビデオデコーダ３００は、変換コーディングのための技法を適用するように構成されていてもよい。したがって、発信元デバイス１０２はビデオエンコーディングデバイスの例を表す一方で、宛先デバイス１１６はビデオデコーディングデバイスの例を表している。他の例では、発信元デバイスおよび宛先デバイスは、他のコンポーネントまたは構成を含んでいてもよい。例えば、発信元デバイス１０２は、外部カメラのような外部ビデオソースからビデオデータを受け取ってもよい。同様に、宛先デバイス１１６は、統合されたディスプレイデバイスを含むよりもむしろ、外部ディスプレイデバイスとインターフェースしていてもよい。
図１の例では、発信元デバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含んでいる。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含んでいる。本開示によると、発信元デバイス１０２のビデオエンコーダ２００および宛先デバイス１１６のビデオデコーダ３００は、変換コーディングのための技法を適用するように構成されていてもよい。したがって、発信元デバイス１０２はビデオエンコーディングデバイスの例を表す一方で、宛先デバイス１１６はビデオデコーディングデバイスの例を表している。他の例では、発信元デバイスおよび宛先デバイスは、他のコンポーネントまたは構成を含んでいてもよい。例えば、発信元デバイス１０２は、外部カメラのような外部ビデオソースからビデオデータを受け取ってもよい。同様に、宛先デバイス１１６は、統合されたディスプレイデバイスを含むよりもむしろ、外部ディスプレイデバイスとインターフェースしていてもよい。
【0022】
［００３３］
図１に示されているシステム１００は１つの例にすぎない。一般的に、任意のデジタルビデオエンコーディングおよび／またはデコーディングデバイスが、変換コーディングのための技法を実行してもよい。発信元デバイス１０２および宛先デバイス１１６は、発信元デバイス１０２が宛先デバイス１１６への送信のためにコード化されたビデオデータを発生させる、このようなコーディングデバイスの例にすぎない。本開示は、データのコーディング（エンコーディングおよび／またはデコーディング）を実行するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイスの例を、特に、それぞれビデオエンコーダおよびビデオデコーダを表している。いくつかの例では、発信元デバイス１０２および宛先デバイス１１６は、発信元デバイス１０２および宛先デバイス１１６のそれぞれがビデオエンコーディングコンポーネントとビデオデコーディングコンポーネントとを含むように、実質的に対称的に動作してもよい。したがって、システム１００は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、または、ビデオ電話に対する、発信元デバイス１０２と宛先デバイス１１６との間の一方向または双方向ビデオ送信をサポートしてもよい。
図１に示されているシステム１００は１つの例にすぎない。一般的に、任意のデジタルビデオエンコーディングおよび／またはデコーディングデバイスが、変換コーディングのための技法を実行してもよい。発信元デバイス１０２および宛先デバイス１１６は、発信元デバイス１０２が宛先デバイス１１６への送信のためにコード化されたビデオデータを発生させる、このようなコーディングデバイスの例にすぎない。本開示は、データのコーディング（エンコーディングおよび／またはデコーディング）を実行するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイスの例を、特に、それぞれビデオエンコーダおよびビデオデコーダを表している。いくつかの例では、発信元デバイス１０２および宛先デバイス１１６は、発信元デバイス１０２および宛先デバイス１１６のそれぞれがビデオエンコーディングコンポーネントとビデオデコーディングコンポーネントとを含むように、実質的に対称的に動作してもよい。したがって、システム１００は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、または、ビデオ電話に対する、発信元デバイス１０２と宛先デバイス１１６との間の一方向または双方向ビデオ送信をサポートしてもよい。
【0023】
［００３４］
一般的に、ビデオソース１０４は、ビデオデータ（すなわち、生のコード化されていないビデオデータ）のソースを表し、ビデオデータの（「フレーム」としても呼ばれる）シーケンシャルな一連のピクチャーを、ピクチャーに対するデータをエンコードするビデオエンコーダ２００に提供する。発信元デバイス１０２のビデオソース１０４は、ビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／または、ビデオコンテンツプロバイダからビデオを受け取るためのビデオフィードインターフェースを含んでいてもよい。さらなる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータを、または、ライブビデオとアーカイブビデオとコンピュータ発生ビデオとの組み合わせを発生させてもよい。各ケースにおいて、ビデオエンコーダ２００は、キャプチャされた、事前キャプチャされた、または、コンピュータが発生させたビデオデータをエンコードする。ビデオエンコーダ２００は、（ときには「表示順序」として呼ばれる）受け取った順序から、コーディングのためのコーディング順序にピクチャーを再構成してもよい。ビデオエンコーダ２００は、エンコードされたビデオデータを含むビットストリームを発生させてもよい。発信元デバイス１０２は、その後、例えば、宛先デバイス１１６の入力インターフェース１２２による受け取りおよび／または取り出しのために、出力インターフェース１０８を介して、コンピュータ読取可能媒体１１０上に、エンコードされたビデオデータを出力してもよい。
一般的に、ビデオソース１０４は、ビデオデータ（すなわち、生のコード化されていないビデオデータ）のソースを表し、ビデオデータの（「フレーム」としても呼ばれる）シーケンシャルな一連のピクチャーを、ピクチャーに対するデータをエンコードするビデオエンコーダ２００に提供する。発信元デバイス１０２のビデオソース１０４は、ビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／または、ビデオコンテンツプロバイダからビデオを受け取るためのビデオフィードインターフェースを含んでいてもよい。さらなる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータを、または、ライブビデオとアーカイブビデオとコンピュータ発生ビデオとの組み合わせを発生させてもよい。各ケースにおいて、ビデオエンコーダ２００は、キャプチャされた、事前キャプチャされた、または、コンピュータが発生させたビデオデータをエンコードする。ビデオエンコーダ２００は、（ときには「表示順序」として呼ばれる）受け取った順序から、コーディングのためのコーディング順序にピクチャーを再構成してもよい。ビデオエンコーダ２００は、エンコードされたビデオデータを含むビットストリームを発生させてもよい。発信元デバイス１０２は、その後、例えば、宛先デバイス１１６の入力インターフェース１２２による受け取りおよび／または取り出しのために、出力インターフェース１０８を介して、コンピュータ読取可能媒体１１０上に、エンコードされたビデオデータを出力してもよい。
【0024】
［００３５］
発信元デバイス１０２のメモリ１０６および宛先デバイス１１６のメモリ１２０は、汎用メモリを表している。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、例えば、ビデオソース１０４からの生ビデオと、ビデオデコーダ３００からの生のデコードされたビデオデータとを記憶してもよい。追加的にまたは代替的に、メモリ１０６、１２０は、例えば、ビデオエンコーダ２００およびビデオデコーダ３００それぞれによって実行可能なソフトウェア命令を記憶していてもよい。この例では、メモリ１０６およびメモリ１２０は、ビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００はまた、機能的に同様または同等の目的のために内部メモリを含んでいてもよいことを理解すべきである。さらに、メモリ１０６、１２０は、例えば、ビデオエンコーダ２００から出力され、ビデオデコーダ３００に入力される、エンコードされたビデオデータを記憶してもよい。いくつかの例では、メモリ１０６、１２０の一部分は、１つ以上のビデオバッファとして割り振られ、例えば、生のデコードされたおよび／またはエンコードされたビデオデータを記憶してもよい。
発信元デバイス１０２のメモリ１０６および宛先デバイス１１６のメモリ１２０は、汎用メモリを表している。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、例えば、ビデオソース１０４からの生ビデオと、ビデオデコーダ３００からの生のデコードされたビデオデータとを記憶してもよい。追加的にまたは代替的に、メモリ１０６、１２０は、例えば、ビデオエンコーダ２００およびビデオデコーダ３００それぞれによって実行可能なソフトウェア命令を記憶していてもよい。この例では、メモリ１０６およびメモリ１２０は、ビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００はまた、機能的に同様または同等の目的のために内部メモリを含んでいてもよいことを理解すべきである。さらに、メモリ１０６、１２０は、例えば、ビデオエンコーダ２００から出力され、ビデオデコーダ３００に入力される、エンコードされたビデオデータを記憶してもよい。いくつかの例では、メモリ１０６、１２０の一部分は、１つ以上のビデオバッファとして割り振られ、例えば、生のデコードされたおよび／またはエンコードされたビデオデータを記憶してもよい。
【0025】
［００３６］
コンピュータ読取可能媒体１１０は、発信元デバイス１０２から宛先デバイス１１６へとエンコードされたビデオデータを転送することが可能な任意のタイプの媒体またはデバイスを表していてもよい。１つの例では、コンピュータ読取可能媒体１１０は、発信元デバイス１０２が、例えば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、エンコードされたビデオデータをリアルタイムで宛先デバイス１１６に直接送信することを可能にする通信媒体を表している。ワイヤレス通信プロトコルのような通信標準規格にしたがって、出力インターフェース１０８は、エンコードされたビデオデータを含む送信信号を変調してもよく、入力インターフェース１２２は、受け取った送信信号を復調してもよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つ以上の物理送信ラインのような、何らかのワイヤレスまたはワイヤード通信媒体を含んでいてもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、または、インターネットのようなグローバルネットワークのような、パケットベースのネットワークの一部を形成していてもよい。通信媒体は、ルータ、スイッチ、基地局、または、発信元デバイス１０２から宛先デバイス１１６への通信を容易にするのに役立つかもしれない他の何らかの機器を含んでいてもよい。
コンピュータ読取可能媒体１１０は、発信元デバイス１０２から宛先デバイス１１６へとエンコードされたビデオデータを転送することが可能な任意のタイプの媒体またはデバイスを表していてもよい。１つの例では、コンピュータ読取可能媒体１１０は、発信元デバイス１０２が、例えば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、エンコードされたビデオデータをリアルタイムで宛先デバイス１１６に直接送信することを可能にする通信媒体を表している。ワイヤレス通信プロトコルのような通信標準規格にしたがって、出力インターフェース１０８は、エンコードされたビデオデータを含む送信信号を変調してもよく、入力インターフェース１２２は、受け取った送信信号を復調してもよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つ以上の物理送信ラインのような、何らかのワイヤレスまたはワイヤード通信媒体を含んでいてもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、または、インターネットのようなグローバルネットワークのような、パケットベースのネットワークの一部を形成していてもよい。通信媒体は、ルータ、スイッチ、基地局、または、発信元デバイス１０２から宛先デバイス１１６への通信を容易にするのに役立つかもしれない他の何らかの機器を含んでいてもよい。
【0026】
［００３７］
いくつかの例では、発信元デバイス１０２は、出力インターフェース１０８から記憶デバイス１１２にエンコードされたデータを出力してもよい。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して、記憶デバイス１１２からのエンコードされたデータにアクセスしてもよい。記憶デバイス１１２は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは、エンコードされたビデオデータを記憶するための他の何らかの適切なデジタル記憶媒体のような、さまざまな分散またはローカルにアクセスされるデータ記憶媒体のいずれかを含んでいてもよい。
いくつかの例では、発信元デバイス１０２は、出力インターフェース１０８から記憶デバイス１１２にエンコードされたデータを出力してもよい。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して、記憶デバイス１１２からのエンコードされたデータにアクセスしてもよい。記憶デバイス１１２は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは、エンコードされたビデオデータを記憶するための他の何らかの適切なデジタル記憶媒体のような、さまざまな分散またはローカルにアクセスされるデータ記憶媒体のいずれかを含んでいてもよい。
【0027】
［００３８］
いくつかの例では、発信元デバイス１０２は、エンコードされたビデオデータを、ファイルサーバ１１４に、または、発信元デバイス１０２によって発生させたエンコードされたビデオデータを記憶してもよい別の中間記憶デバイスに出力してもよい。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４からの記憶されているビデオデータにアクセスしてもよい。ファイルサーバ１１４は、エンコードされたビデオを記憶することと、宛先デバイス１１６にエンコードされたビデオを送信することとができる、任意のタイプのサーバデバイスであってもよい。ファイルサーバ１１４は、（例えば、ウェブサイトに対する）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、または、ネットワーク接続記憶（ＮＡＳ）デバイスを表していてもよい。宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通して、ファイルサーバ１１４からのエンコードされたビデオデータにアクセスしてもよい。これは、ファイルサーバ１１４上に記憶されている、エンコードされたビデオデータにアクセスするのに適している、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（例えば、デジタル加入者線（ＤＳＬ）、ケーブルモデム等）、または、その両方の組み合わせを含んでいてもよい。ファイルサーバ１１４および入力インターフェース１２２は、ストリーミング送信プロトコル、ダウンロード送信プロトコル、または、これらの組み合わせにしたがって動作するように構成されていてもよい。
いくつかの例では、発信元デバイス１０２は、エンコードされたビデオデータを、ファイルサーバ１１４に、または、発信元デバイス１０２によって発生させたエンコードされたビデオデータを記憶してもよい別の中間記憶デバイスに出力してもよい。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４からの記憶されているビデオデータにアクセスしてもよい。ファイルサーバ１１４は、エンコードされたビデオを記憶することと、宛先デバイス１１６にエンコードされたビデオを送信することとができる、任意のタイプのサーバデバイスであってもよい。ファイルサーバ１１４は、（例えば、ウェブサイトに対する）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、または、ネットワーク接続記憶（ＮＡＳ）デバイスを表していてもよい。宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通して、ファイルサーバ１１４からのエンコードされたビデオデータにアクセスしてもよい。これは、ファイルサーバ１１４上に記憶されている、エンコードされたビデオデータにアクセスするのに適している、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（例えば、デジタル加入者線（ＤＳＬ）、ケーブルモデム等）、または、その両方の組み合わせを含んでいてもよい。ファイルサーバ１１４および入力インターフェース１２２は、ストリーミング送信プロトコル、ダウンロード送信プロトコル、または、これらの組み合わせにしたがって動作するように構成されていてもよい。
【0028】
［００３９］
出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキングコンポーネント（例えば、イーサネット（登録商標）カード）、さまざまなＩＥＥＥ８０２．１１標準規格のいずれかにしたがって動作するワイヤレス通信コンポーネント、または、他の物理コンポーネントを表していてもよい。出力インターフェース１０８および入力インターフェース１２２がワイヤレスコンポーネントを含んでいる例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇ、または、これらに類するもののようなセルラ通信標準規格にしたがって、エンコードされたビデオデータのようなデータを転送するように構成されていてもよい。出力インターフェース１０８および入力インターフェース１２２がワイヤレス送信機および／またはワイヤレス受信機を含んでいるいくつかの例では、出力インターフェース１０８および入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（例えば、ＺｉｇＢｅｅ（商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）（商標）標準規格、または、これらに類するもののような他のワイヤレス標準規格にしたがって、エンコードされたビデオデータのようなデータを転送するように構成されていてもよい。いくつかの例では、発信元デバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含んでいてもよい。例えば、発信元デバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に備わる機能性を実行するためのＳｏＣデバイスを含んでいてもよく、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に備わる機能性を実行するＳｏＣデバイスを含んでいてもよい。
出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキングコンポーネント（例えば、イーサネット（登録商標）カード）、さまざまなＩＥＥＥ８０２．１１標準規格のいずれかにしたがって動作するワイヤレス通信コンポーネント、または、他の物理コンポーネントを表していてもよい。出力インターフェース１０８および入力インターフェース１２２がワイヤレスコンポーネントを含んでいる例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇ、または、これらに類するもののようなセルラ通信標準規格にしたがって、エンコードされたビデオデータのようなデータを転送するように構成されていてもよい。出力インターフェース１０８および入力インターフェース１２２がワイヤレス送信機および／またはワイヤレス受信機を含んでいるいくつかの例では、出力インターフェース１０８および入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（例えば、ＺｉｇＢｅｅ（商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）（商標）標準規格、または、これらに類するもののような他のワイヤレス標準規格にしたがって、エンコードされたビデオデータのようなデータを転送するように構成されていてもよい。いくつかの例では、発信元デバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含んでいてもよい。例えば、発信元デバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に備わる機能性を実行するためのＳｏＣデバイスを含んでいてもよく、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に備わる機能性を実行するＳｏＣデバイスを含んでいてもよい。
【0029】
［００４０］
本開示の技法は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＨＴＴＰを通した動的アダプティブストリーミング（ＤＡＳＨ）のようなインターネットストリーミングビデオ送信、データ記憶媒体上にエンコードされたデジタルビデオ、データ記憶媒体上に記憶されているデジタルビデオのデコーディング、または、他のアプリケーションのような、さまざまなマルチメディアアプリケーションのうちのいずれかをサポートするビデオコーディングに適用してもよい。
本開示の技法は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＨＴＴＰを通した動的アダプティブストリーミング（ＤＡＳＨ）のようなインターネットストリーミングビデオ送信、データ記憶媒体上にエンコードされたデジタルビデオ、データ記憶媒体上に記憶されているデジタルビデオのデコーディング、または、他のアプリケーションのような、さまざまなマルチメディアアプリケーションのうちのいずれかをサポートするビデオコーディングに適用してもよい。
【0030】
［００４１］
宛先デバイス１１６の入力インターフェース１２２は、コンピュータ読取可能媒体１１０（例えば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４、または、これらに類するもの）からエンコードされたビデオビットストリームを受け取る。エンコードされたビデオビットストリームは、ビデオブロックまたは他のコード化されたユニット（例えば、スライス、ピクチャー、ピクチャーのグループ、シーケンス、または、これらに類するもの）の特性および／または処理を記述する値を有するシンタックス要素のような、ビデオエンコーダ２００によって規定され、ビデオデコーダ３００によっても使用されるシグナリング情報を含んでいてもよい。ディスプレイデバイス１１８は、デコードされたビデオデータのデコードされたピクチャーをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または、別のタイプのディスプレイデバイスのような、さまざまなディスプレイデバイスのうちのいずれかを表していてもよい。
宛先デバイス１１６の入力インターフェース１２２は、コンピュータ読取可能媒体１１０（例えば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４、または、これらに類するもの）からエンコードされたビデオビットストリームを受け取る。エンコードされたビデオビットストリームは、ビデオブロックまたは他のコード化されたユニット（例えば、スライス、ピクチャー、ピクチャーのグループ、シーケンス、または、これらに類するもの）の特性および／または処理を記述する値を有するシンタックス要素のような、ビデオエンコーダ２００によって規定され、ビデオデコーダ３００によっても使用されるシグナリング情報を含んでいてもよい。ディスプレイデバイス１１８は、デコードされたビデオデータのデコードされたピクチャーをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または、別のタイプのディスプレイデバイスのような、さまざまなディスプレイデバイスのうちのいずれかを表していてもよい。
【0031】
［００４２］
図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、それぞれオーディオエンコーダおよび／またはオーディオデコーダと統合されていてもよく、適切なＭＵＸ－ＤＥＭＵＸユニットあるいは他のハードウェアおよび／またはソフトウェアを含んでいて、共通のデータストリームにおけるオーディオおよびビデオの両方を含む多重化されたストリームを取り扱ってもよい。適用可能である場合には、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ．Ｈ．２２３マルチプレクサプロトコル、または、ユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルにしたがっていてもよい。
図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、それぞれオーディオエンコーダおよび／またはオーディオデコーダと統合されていてもよく、適切なＭＵＸ－ＤＥＭＵＸユニットあるいは他のハードウェアおよび／またはソフトウェアを含んでいて、共通のデータストリームにおけるオーディオおよびビデオの両方を含む多重化されたストリームを取り扱ってもよい。適用可能である場合には、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ．Ｈ．２２３マルチプレクサプロトコル、または、ユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルにしたがっていてもよい。
【0032】
［００４３］
ビデオエンコーダ２００およびビデオデコーダ３００はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、または、これらの組み合わせのような、さまざまな適したエンコーダおよび／またはデコーダ回路のいずれかとして実現してもよい。技法が部分的にソフトウェアで実現されるとき、デバイスは、適切な、非一時的コンピュータ読取可能媒体においてソフトウェアに対する命令を記憶していてもよく、１つ以上のプロセッサを使用して、ハードウェアにおいて命令を実行して、本開示の技法を実行してもよい。ビデオエンコーダ２００およびビデオデコーダ３００のそれぞれは、１つ以上のエンコーダまたはデコーダ中に含まれていてもよく、エンコーダまたはデコーダのどちらかは、それぞれのデバイスにおいて、組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されていてもよい。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／または、セルラ電話機のようなワイヤレス通信デバイスを含んでいてもよい。
ビデオエンコーダ２００およびビデオデコーダ３００はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、または、これらの組み合わせのような、さまざまな適したエンコーダおよび／またはデコーダ回路のいずれかとして実現してもよい。技法が部分的にソフトウェアで実現されるとき、デバイスは、適切な、非一時的コンピュータ読取可能媒体においてソフトウェアに対する命令を記憶していてもよく、１つ以上のプロセッサを使用して、ハードウェアにおいて命令を実行して、本開示の技法を実行してもよい。ビデオエンコーダ２００およびビデオデコーダ３００のそれぞれは、１つ以上のエンコーダまたはデコーダ中に含まれていてもよく、エンコーダまたはデコーダのどちらかは、それぞれのデバイスにおいて、組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されていてもよい。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／または、セルラ電話機のようなワイヤレス通信デバイスを含んでいてもよい。
【0033】
［００４４］
ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）としても呼ばれるＩＴＵ－Ｔ Ｈ．２６５のようなビデオコーディング標準規格に、または、マルチビューおよび／またはスケーラブルビデオコーディング拡張のような、高効率ビデオコーディング（ＨＥＶＣ）に対する拡張にしたがって動作してもよい。代替的に、ビデオエンコーダ２００およびビデオデコーダ３００は、共同調査テストモデル（ＪＥＭ）またはバーサタイルビデオコーディング（ＶＶＣ）としても呼ばれるＩＴＵ－Ｔ Ｈ．２６６のような、他のプロプライエタリまたは業界標準規格にしたがって動作してもよい。ＶＶＣ標準規格のドラフトは、ブロスらにおける「バーサタイルビデオコーディング（ドラフト５）」、ＩＴＵ－Ｔ ＳＧ１６ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１４回ミーティング：スイス国ジュネーブ、２０１９年３月１９日～２７日、ＪＶＥＴ－Ｍ１００１－ｖ５（以下「ＶＶＣドラフト５」）で説明されている。しかしながら、本開示の技術は、何らかの特定のコーディング標準規格には限定されない。
ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）としても呼ばれるＩＴＵ－Ｔ Ｈ．２６５のようなビデオコーディング標準規格に、または、マルチビューおよび／またはスケーラブルビデオコーディング拡張のような、高効率ビデオコーディング（ＨＥＶＣ）に対する拡張にしたがって動作してもよい。代替的に、ビデオエンコーダ２００およびビデオデコーダ３００は、共同調査テストモデル（ＪＥＭ）またはバーサタイルビデオコーディング（ＶＶＣ）としても呼ばれるＩＴＵ－Ｔ Ｈ．２６６のような、他のプロプライエタリまたは業界標準規格にしたがって動作してもよい。ＶＶＣ標準規格のドラフトは、ブロスらにおける「バーサタイルビデオコーディング（ドラフト５）」、ＩＴＵ－Ｔ ＳＧ１６ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１４回ミーティング：スイス国ジュネーブ、２０１９年３月１９日～２７日、ＪＶＥＴ－Ｍ１００１－ｖ５（以下「ＶＶＣドラフト５」）で説明されている。しかしながら、本開示の技術は、何らかの特定のコーディング標準規格には限定されない。
【0034】
［００４５］
一般的に、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャーのブロックベースコーディングを実行してもよい。「ブロック」という用語は、一般的に、処理される（例えば、エンコードされる、デコードされる、または、そうでなければ、エンコーディングおよび／またはデコーディングプロセスにおいて使用される）データを含む構造を指している。例えば、ブロックは、ルミナンスデータおよび／またはクロミナンスデータのサンプルの２次元行列を含んでいてもよい。一般的に、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（例えば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコード化してもよい。すなわち、ピクチャーのサンプルに対する赤、緑および青（ＲＧＢ）データをコード化するよりもむしろ、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコード化してもよく、クロミナンス成分は、赤の色相と青の色相の両方のクロミナンス成分を含んでいてもよい。いくつかの例では、ビデオエンコーダ２００は、エンコーディングの前に、受け取ったＲＧＢフォーマットされたデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替的に、（図示されていない）前処理ユニットおよび後処理ユニットがこれらの変換を実行してもよい。
一般的に、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャーのブロックベースコーディングを実行してもよい。「ブロック」という用語は、一般的に、処理される（例えば、エンコードされる、デコードされる、または、そうでなければ、エンコーディングおよび／またはデコーディングプロセスにおいて使用される）データを含む構造を指している。例えば、ブロックは、ルミナンスデータおよび／またはクロミナンスデータのサンプルの２次元行列を含んでいてもよい。一般的に、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（例えば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコード化してもよい。すなわち、ピクチャーのサンプルに対する赤、緑および青（ＲＧＢ）データをコード化するよりもむしろ、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコード化してもよく、クロミナンス成分は、赤の色相と青の色相の両方のクロミナンス成分を含んでいてもよい。いくつかの例では、ビデオエンコーダ２００は、エンコーディングの前に、受け取ったＲＧＢフォーマットされたデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替的に、（図示されていない）前処理ユニットおよび後処理ユニットがこれらの変換を実行してもよい。
【0035】
［００４６］
本開示は、一般的に、ピクチャーのデータをエンコードまたはデコードするプロセスを含むように、ピクチャーのコーディング（例えば、エンコーディングおよびデコーディング）に言及しているかもしれない。同様に、本開示は、ブロックに対するデータをエンコードまたはデコードするプロセス、例えば、予測および／または残差コーディングを含むように、ピクチャーのブロックのコーディングに言及しているかもしれない。エンコードされたビデオビットストリームは、一般的に、コーディング決定（例えば、コーディングモード）とブロックへのピクチャーの区分とを表す、シンタックス要素に対する一連の値を含んでいる。したがって、ピクチャーまたはブロックをコード化することへの言及は、一般的に、ピクチャーまたはブロックを形成するシンタックス要素に対する値をコード化することとして理解すべきである。
本開示は、一般的に、ピクチャーのデータをエンコードまたはデコードするプロセスを含むように、ピクチャーのコーディング（例えば、エンコーディングおよびデコーディング）に言及しているかもしれない。同様に、本開示は、ブロックに対するデータをエンコードまたはデコードするプロセス、例えば、予測および／または残差コーディングを含むように、ピクチャーのブロックのコーディングに言及しているかもしれない。エンコードされたビデオビットストリームは、一般的に、コーディング決定（例えば、コーディングモード）とブロックへのピクチャーの区分とを表す、シンタックス要素に対する一連の値を含んでいる。したがって、ピクチャーまたはブロックをコード化することへの言及は、一般的に、ピクチャーまたはブロックを形成するシンタックス要素に対する値をコード化することとして理解すべきである。
【0036】
［００４７］
ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）および変換ユニット（ＴＵ）を含む、さまざまなブロックを規定する。ＨＥＶＣにしたがうと、（ビデオエンコーダ２００のような）ビデオコーダは、４分ツリー構造にしたがって、コーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵおよびＣＵを４つの等しい、オーバーラップしない正方形に区分し、４分ツリーの各ノードは、ゼロまたは４つの子ノードのいずれかを有する。子ノードのないノードは、「リーフノード」として呼ばれることがあり、このようなリーフノードのＣＵは、１つ以上のＰＵおよび／または１つ以上のＴＵを含んでいてもよい。ビデオコーダは、ＰＵとＴＵとをさらに区分してもよい。例えば、ＨＥＶＣでは、残差４分ツリー（ＲＱＴ）はＴＵの区分を表している。ＨＥＶＣでは、ＰＵはインター予測データを表す一方で、ＴＵは残差データを表している。イントラ予測されるＣＵは、イントラモードインジケーションのようなイントラ予測情報を含んでいる。
ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）および変換ユニット（ＴＵ）を含む、さまざまなブロックを規定する。ＨＥＶＣにしたがうと、（ビデオエンコーダ２００のような）ビデオコーダは、４分ツリー構造にしたがって、コーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵおよびＣＵを４つの等しい、オーバーラップしない正方形に区分し、４分ツリーの各ノードは、ゼロまたは４つの子ノードのいずれかを有する。子ノードのないノードは、「リーフノード」として呼ばれることがあり、このようなリーフノードのＣＵは、１つ以上のＰＵおよび／または１つ以上のＴＵを含んでいてもよい。ビデオコーダは、ＰＵとＴＵとをさらに区分してもよい。例えば、ＨＥＶＣでは、残差４分ツリー（ＲＱＴ）はＴＵの区分を表している。ＨＥＶＣでは、ＰＵはインター予測データを表す一方で、ＴＵは残差データを表している。イントラ予測されるＣＵは、イントラモードインジケーションのようなイントラ予測情報を含んでいる。
【0037】
［００４８］
別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＶＶＣにしたがって動作するように構成されていてもよい。ＶＶＣによると、（ビデオエンコーダ２００のような）ビデオコーダは、ピクチャーを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分ツリー－２分ツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造のようなツリー構造にしたがって、ＣＴＵを区分してもよい。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離のような、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、４分ツリー区分にしたがって区分される第１のレベルと、２分ツリー区分にしたがって区分される第２のレベルと、の２つのレベルを含んでいる。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。２分ツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。
別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＶＶＣにしたがって動作するように構成されていてもよい。ＶＶＣによると、（ビデオエンコーダ２００のような）ビデオコーダは、ピクチャーを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分ツリー－２分ツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造のようなツリー構造にしたがって、ＣＴＵを区分してもよい。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離のような、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、４分ツリー区分にしたがって区分される第１のレベルと、２分ツリー区分にしたがって区分される第２のレベルと、の２つのレベルを含んでいる。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。２分ツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。
【0038】
［００４９］
ＭＴＴ区分構造では、４分ツリー（ＱＴ）区分、２分ツリー（ＢＴ）区分、および／または、（ターナリーツリー（ＴＴ）とも呼ばれる）３分ツリー（ＴＴ）区分の１つ以上のタイプを使用して、ブロックを区分してもよい。３分またはターナリーツリー区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分またはターナリーツリー区分は、中心を通して元のブロックを分けずに、ブロックを３つのサブブロックに分ける。ＭＴＴにおける区分タイプ（例えば、ＱＴ、ＢＴおよびＴＴ）は、対称または非対称であってもよい。
ＭＴＴ区分構造では、４分ツリー（ＱＴ）区分、２分ツリー（ＢＴ）区分、および／または、（ターナリーツリー（ＴＴ）とも呼ばれる）３分ツリー（ＴＴ）区分の１つ以上のタイプを使用して、ブロックを区分してもよい。３分またはターナリーツリー区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分またはターナリーツリー区分は、中心を通して元のブロックを分けずに、ブロックを３つのサブブロックに分ける。ＭＴＴにおける区分タイプ（例えば、ＱＴ、ＢＴおよびＴＴ）は、対称または非対称であってもよい。
【0039】
［００５０］
いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、単一のＱＴＢＴまたはＭＴＴ構造を使用して、ルミナンス成分とクロミナンス成分のそれぞれを表してもよい一方で、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のために１つのＱＴＢＴ／ＭＴＴ構造と、両方のクロミナンス成分のために別のＱＴＢＴ／ＭＴＴ構造（または、それぞれのクロミナンス成分のために２つのＱＴＢＴ／ＭＴＴ構造）のように、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用してもよい。
いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、単一のＱＴＢＴまたはＭＴＴ構造を使用して、ルミナンス成分とクロミナンス成分のそれぞれを表してもよい一方で、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のために１つのＱＴＢＴ／ＭＴＴ構造と、両方のクロミナンス成分のために別のＱＴＢＴ／ＭＴＴ構造（または、それぞれのクロミナンス成分のために２つのＱＴＢＴ／ＭＴＴ構造）のように、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用してもよい。
【0040】
［００５１］
ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣ毎の４分ツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または、他の区分構造を使用するように構成されていてもよい。説明のために、本開示の技法の説明は、ＱＴＢＴ区分に関して提示する。しかしながら、本開示の技法はまた、４分ツリー区分、ＭＴＴ区分、または、他のタイプの区分も同様に使用するように構成されているビデオコーダに適用してもよいことを理解されたい。
ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣ毎の４分ツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または、他の区分構造を使用するように構成されていてもよい。説明のために、本開示の技法の説明は、ＱＴＢＴ区分に関して提示する。しかしながら、本開示の技法はまた、４分ツリー区分、ＭＴＴ区分、または、他のタイプの区分も同様に使用するように構成されているビデオコーダに適用してもよいことを理解されたい。
【0041】
［００５２］
いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャーのクロマサンプルの２つの対応するＣＴＢ、あるいは、モノクロームピクチャーまたはサンプルをコード化するために使用される３つの別個の色平面およびシンタックス構造を使用してコード化されるピクチャーのサンプルのＣＴＢを含んでいる。成分のＣＴＢへの分割が区分であるように、ＣＴＢは、Ｎのいくつかの値に対するサンプルのＮ×Ｎブロックであってもよい。成分は、４：２：０、４：２：２または４：４：４の色フォーマットでピクチャーを構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいは、モノクロームフォーマットでピクチャーを構成するアレイまたはサンプルのアレイの単一のサンプルである。いくつかの例では、ＣＴＢのコーディングブロックへの分割が区分であるように、コーディングブロックは、ＭおよびＮのいくつかの値に対するサンプルのＭ×Ｎブロックである。
いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャーのクロマサンプルの２つの対応するＣＴＢ、あるいは、モノクロームピクチャーまたはサンプルをコード化するために使用される３つの別個の色平面およびシンタックス構造を使用してコード化されるピクチャーのサンプルのＣＴＢを含んでいる。成分のＣＴＢへの分割が区分であるように、ＣＴＢは、Ｎのいくつかの値に対するサンプルのＮ×Ｎブロックであってもよい。成分は、４：２：０、４：２：２または４：４：４の色フォーマットでピクチャーを構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいは、モノクロームフォーマットでピクチャーを構成するアレイまたはサンプルのアレイの単一のサンプルである。いくつかの例では、ＣＴＢのコーディングブロックへの分割が区分であるように、コーディングブロックは、ＭおよびＮのいくつかの値に対するサンプルのＭ×Ｎブロックである。
【0042】
［００５３］
ブロック（例えば、ＣＴＵまたはＣＵ）は、ピクチャー中でさまざまな方法でグループ化されてもよい。１つの例として、ブリックは、ピクチャー中の特定のタイル内のＣＴＵ行の矩形領域を指しているかもしれない。タイルは、ピクチャー中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であるかもしれない。タイル列は、ピクチャーの高さに等しい高さと、（例えば、ピクチャーパラメータセット中のような）シンタックス要素により指定される幅とを有するＣＴＵの矩形領域を指している。タイル行は、（例えば、ピクチャーパラメータセット中のような）シンタックス要素により指定される高さと、ピクチャーの幅に等しい幅とを有するＣＴＵの矩形領域を指している。
ブロック（例えば、ＣＴＵまたはＣＵ）は、ピクチャー中でさまざまな方法でグループ化されてもよい。１つの例として、ブリックは、ピクチャー中の特定のタイル内のＣＴＵ行の矩形領域を指しているかもしれない。タイルは、ピクチャー中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であるかもしれない。タイル列は、ピクチャーの高さに等しい高さと、（例えば、ピクチャーパラメータセット中のような）シンタックス要素により指定される幅とを有するＣＴＵの矩形領域を指している。タイル行は、（例えば、ピクチャーパラメータセット中のような）シンタックス要素により指定される高さと、ピクチャーの幅に等しい幅とを有するＣＴＵの矩形領域を指している。
【0043】
［００５４］
いくつかの例では、タイルは、それぞれがタイル内に１つ以上のＣＴＵ行を含んでいるかもしれない複数のブリックに区分されてもよい。複数のブリックに区分されないタイルは、ブリックとして呼ばれることもある。しかしながら、タイルの真のサブセットであるブリックは、タイルとして呼ばれないかもしれない。
いくつかの例では、タイルは、それぞれがタイル内に１つ以上のＣＴＵ行を含んでいるかもしれない複数のブリックに区分されてもよい。複数のブリックに区分されないタイルは、ブリックとして呼ばれることもある。しかしながら、タイルの真のサブセットであるブリックは、タイルとして呼ばれないかもしれない。
【0044】
［００５５］
ピクチャー中のブリックは、スライスで配置されるかもしない。スライスは、単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に排他的に含まれているかもしれないピクチャーの整数個のブリックであってもよい。いくつかの例では、スライスは、多数の完全なタイルまたは１つのタイルの完全なブリックの連続するシーケンスのみのいずれかを含んでいる。
ピクチャー中のブリックは、スライスで配置されるかもしない。スライスは、単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に排他的に含まれているかもしれないピクチャーの整数個のブリックであってもよい。いくつかの例では、スライスは、多数の完全なタイルまたは１つのタイルの完全なブリックの連続するシーケンスのみのいずれかを含んでいる。
【0045】
［００５６］
本開示は、「Ｎ×Ｎ」および「ＮバイＮ」を交換可能に使用して、垂直寸法および水平寸法に関する（ＣＵまたは他のビデオブロックのような）ブロックのサンプル寸法、例えば、１６×１６サンプルまたは１６バイ１６サンプルを指すかもしれない。一般的に、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、一般的に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、Ｎは非負整数値を表している。ＣＵ中のサンプルは、行および列に配置されていてもよい。さらに、ＣＵは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要はない。例えば、ＣＵはＮ×Ｍのサンプルを含んでいてもよく、Ｍは必ずしもＮに等しいとは限らない。
本開示は、「Ｎ×Ｎ」および「ＮバイＮ」を交換可能に使用して、垂直寸法および水平寸法に関する（ＣＵまたは他のビデオブロックのような）ブロックのサンプル寸法、例えば、１６×１６サンプルまたは１６バイ１６サンプルを指すかもしれない。一般的に、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、一般的に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、Ｎは非負整数値を表している。ＣＵ中のサンプルは、行および列に配置されていてもよい。さらに、ＣＵは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要はない。例えば、ＣＵはＮ×Ｍのサンプルを含んでいてもよく、Ｍは必ずしもＮに等しいとは限らない。
【0046】
［００５７］
ビデオエンコーダ２００は、予測および／または残差情報を、ならびに、他の情報を表す、ＣＵに対するビデオデータをエンコードする。予測情報は、ＣＵに対する予測ブロックを形成するために、ＣＵがどのように予測されるべきかを示している。残差情報は、一般的に、エンコーディング前のＣＵのサンプルと予測ブロックとの間のサンプル毎の差分を表している。
ビデオエンコーダ２００は、予測および／または残差情報を、ならびに、他の情報を表す、ＣＵに対するビデオデータをエンコードする。予測情報は、ＣＵに対する予測ブロックを形成するために、ＣＵがどのように予測されるべきかを示している。残差情報は、一般的に、エンコーディング前のＣＵのサンプルと予測ブロックとの間のサンプル毎の差分を表している。
【0047】
［００５８］
ＣＵを予測するために、ビデオエンコーダ２００は、一般的に、インター予測またはイントラ予測を通して、ＣＵに対する予測ブロックを形成してもよい。インター予測は、一般的に、以前にコード化されたピクチャーのデータからＣＵを予測することを指す一方で、イントラ予測は、一般的に、同じピクチャーの以前にコード化されたデータからＣＵを予測することを指している。インター予測を実行するために、ビデオエンコーダ２００は、１つ以上の動きベクトルを使用して、予測ブロックを発生させてもよい。ビデオエンコーダ２００は、一般的に、動きサーチを実行して、例えば、ＣＵと参照ブロックとの間の差分に関して、ＣＵに密接に一致する参照ブロックを識別してもよい。ビデオエンコーダ２００は、絶対差分の和（ＳＡＤ）、二乗差分の和（ＳＳＤ）、平均絶対差分（ＭＡＤ）、平均二乗差分（ＭＳＤ）、または、他のこのような差分計算を使用して、差分メトリックを計算し、参照ブロックが現在ＣＵに密接に一致するか否かを決定してもよい。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して、現在ＣＵを予測してもよい。
ＣＵを予測するために、ビデオエンコーダ２００は、一般的に、インター予測またはイントラ予測を通して、ＣＵに対する予測ブロックを形成してもよい。インター予測は、一般的に、以前にコード化されたピクチャーのデータからＣＵを予測することを指す一方で、イントラ予測は、一般的に、同じピクチャーの以前にコード化されたデータからＣＵを予測することを指している。インター予測を実行するために、ビデオエンコーダ２００は、１つ以上の動きベクトルを使用して、予測ブロックを発生させてもよい。ビデオエンコーダ２００は、一般的に、動きサーチを実行して、例えば、ＣＵと参照ブロックとの間の差分に関して、ＣＵに密接に一致する参照ブロックを識別してもよい。ビデオエンコーダ２００は、絶対差分の和（ＳＡＤ）、二乗差分の和（ＳＳＤ）、平均絶対差分（ＭＡＤ）、平均二乗差分（ＭＳＤ）、または、他のこのような差分計算を使用して、差分メトリックを計算し、参照ブロックが現在ＣＵに密接に一致するか否かを決定してもよい。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して、現在ＣＵを予測してもよい。
【0048】
［００５９］
ＶＶＣのいくつかの例はまた、インター予測モードと見なしてもよいアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはズームアウト、回転、透視動き、または、他の不規則な動きタイプのような、並進しない動きを表す２つ以上の動きベクトルを決定してもよい。
ＶＶＣのいくつかの例はまた、インター予測モードと見なしてもよいアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはズームアウト、回転、透視動き、または、他の不規則な動きタイプのような、並進しない動きを表す２つ以上の動きベクトルを決定してもよい。
【0049】
［００６０］
イントラ予測を実行するために、ビデオエンコーダ２００は、イントラ予測モードを選択して、予測ブロックを発生させてもよい。ＶＶＣのいくつかの例は、さまざまな方向性モードとともに、ｐｌａｎａｒモードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。一般的に、ビデオエンコーダ２００は、現在ブロックのサンプルを予測する、現在ブロック（例えば、ＣＵのブロック）に隣接するサンプルを記述するイントラ予測モードを選択する。ビデオエンコーダ２００がラスター走査順序（左から右、上から下）でＣＴＵおよびＣＵをコード化すると仮定すると、このようなサンプルは、一般的に、現在ブロックと同じピクチャー中で、現在ブロックの上、左上または左にあってもよい。
イントラ予測を実行するために、ビデオエンコーダ２００は、イントラ予測モードを選択して、予測ブロックを発生させてもよい。ＶＶＣのいくつかの例は、さまざまな方向性モードとともに、ｐｌａｎａｒモードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。一般的に、ビデオエンコーダ２００は、現在ブロックのサンプルを予測する、現在ブロック（例えば、ＣＵのブロック）に隣接するサンプルを記述するイントラ予測モードを選択する。ビデオエンコーダ２００がラスター走査順序（左から右、上から下）でＣＴＵおよびＣＵをコード化すると仮定すると、このようなサンプルは、一般的に、現在ブロックと同じピクチャー中で、現在ブロックの上、左上または左にあってもよい。
【0050】
［００６１］
ビデオエンコーダ２００は、現在ブロックに対する予測モードを表すデータをエンコードする。例えば、インター予測モードに対して、ビデオエンコーダ２００は、さまざまな利用可能なインター予測モードのうちのどれが使用されるかを表すデータとともに、対応するモードに対する動き情報をエンコードしてもよい。単方向または双方向インター予測に対して、例えば、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）モードまたはマージモードを使用して、動きベクトルをエンコードしてもよい。ビデオエンコーダ２００は、類似するモードを使用して、アフィン動き補償モードに対する動きベクトルをエンコードしてもよい。
ビデオエンコーダ２００は、現在ブロックに対する予測モードを表すデータをエンコードする。例えば、インター予測モードに対して、ビデオエンコーダ２００は、さまざまな利用可能なインター予測モードのうちのどれが使用されるかを表すデータとともに、対応するモードに対する動き情報をエンコードしてもよい。単方向または双方向インター予測に対して、例えば、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）モードまたはマージモードを使用して、動きベクトルをエンコードしてもよい。ビデオエンコーダ２００は、類似するモードを使用して、アフィン動き補償モードに対する動きベクトルをエンコードしてもよい。
【0051】
［００６２］
ブロックのイントラ予測またはインター予測のような予測に続いて、ビデオエンコーダ２００は、ブロックに対する残差データを計算してもよい。残差ブロックのような残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックに対する予測ブロックとの間の、サンプル毎の差分を表している。ビデオエンコーダ２００は、１つ以上の変換を残差ブロックに適用して、サンプルドメインの代わりに変換ドメインにおいて、変換されたデータを生成させてもよい。例えば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または、概念的に類似する変換を残差ビデオデータに適用してもよい。さらに、ビデオエンコーダ２００は、モード依存非分離２次変換（ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）、または、これらに類するもののような、第１の変換に続く２次変換を適用してもよい。ビデオエンコーダ２００は、１つ以上の変換の適用に続いて、変換係数を生成させる。
ブロックのイントラ予測またはインター予測のような予測に続いて、ビデオエンコーダ２００は、ブロックに対する残差データを計算してもよい。残差ブロックのような残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックに対する予測ブロックとの間の、サンプル毎の差分を表している。ビデオエンコーダ２００は、１つ以上の変換を残差ブロックに適用して、サンプルドメインの代わりに変換ドメインにおいて、変換されたデータを生成させてもよい。例えば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または、概念的に類似する変換を残差ビデオデータに適用してもよい。さらに、ビデオエンコーダ２００は、モード依存非分離２次変換（ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）、または、これらに類するもののような、第１の変換に続く２次変換を適用してもよい。ビデオエンコーダ２００は、１つ以上の変換の適用に続いて、変換係数を生成させる。
【0052】
［００６３］
上述のように、変換係数を生成させるための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行してもよい。量子化は、一般的に、変換係数が量子化されて、変換係数を表すために使用されるデータの量を場合によっては低減させ、さらなる圧縮を提供するプロセスを指している。量子化プロセスを実行することによって、ビデオエンコーダ２００は、変換係数のいくつか、または、すべてに関係するビット深度を低減させてもよい。例えば、ビデオエンコーダ２００は、量子化の間にｎ－ビット値をｍ－ビット値に切り捨ててもよく、ｎはｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位の右シフトを実行してもよい。
上述のように、変換係数を生成させるための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行してもよい。量子化は、一般的に、変換係数が量子化されて、変換係数を表すために使用されるデータの量を場合によっては低減させ、さらなる圧縮を提供するプロセスを指している。量子化プロセスを実行することによって、ビデオエンコーダ２００は、変換係数のいくつか、または、すべてに関係するビット深度を低減させてもよい。例えば、ビデオエンコーダ２００は、量子化の間にｎ－ビット値をｍ－ビット値に切り捨ててもよく、ｎはｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位の右シフトを実行してもよい。
【0053】
［００６４］
量子化に続いて、ビデオエンコーダ２００は、変換係数を走査し、量子化された変換係数を含む２次元行列から１次元ベクトルを生成させてもよい。走査は、より高いエネルギー（したがって、より低い周波数）の変換係数をベクトルの前部に配置し、より低いエネルギー（したがって、より高い周波数）の変換係数をベクトルの後部に配置するように設計されていてもよい。いくつかの例では、ビデオエンコーダ２００は、予め規定された走査順序を利用して、量子化変換係数を走査し、シリアル化ベクトルを生成させ、その後、ベクトルの量子化変換係数をエントロピーエンコードしてもよい。他の例では、ビデオエンコーダ２００は、適応走査を実行してもよい。量子化変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ２００は、例えば、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）にしたがって、１次元ベクトルをエントロピーエンコードしてもよい。ビデオエンコーダ２００はまた、ビデオデータをデコードする際に、ビデオデコーダ３００によって使用するために、エンコードされたビデオデータに関係するメタデータを記述するシンタックス要素に対する値をエントロピーエンコードしてもよい。
量子化に続いて、ビデオエンコーダ２００は、変換係数を走査し、量子化された変換係数を含む２次元行列から１次元ベクトルを生成させてもよい。走査は、より高いエネルギー（したがって、より低い周波数）の変換係数をベクトルの前部に配置し、より低いエネルギー（したがって、より高い周波数）の変換係数をベクトルの後部に配置するように設計されていてもよい。いくつかの例では、ビデオエンコーダ２００は、予め規定された走査順序を利用して、量子化変換係数を走査し、シリアル化ベクトルを生成させ、その後、ベクトルの量子化変換係数をエントロピーエンコードしてもよい。他の例では、ビデオエンコーダ２００は、適応走査を実行してもよい。量子化変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ２００は、例えば、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）にしたがって、１次元ベクトルをエントロピーエンコードしてもよい。ビデオエンコーダ２００はまた、ビデオデータをデコードする際に、ビデオデコーダ３００によって使用するために、エンコードされたビデオデータに関係するメタデータを記述するシンタックス要素に対する値をエントロピーエンコードしてもよい。
【0054】
［００６５］
ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当ててもよい。コンテキストは、例えば、シンボルの隣接する値がゼロ値にされているか否かに関連していてもよい。確率決定は、シンボルに割り当てられているコンテキストに基づいていてもよい。
ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当ててもよい。コンテキストは、例えば、シンボルの隣接する値がゼロ値にされているか否かに関連していてもよい。確率決定は、シンボルに割り当てられているコンテキストに基づいていてもよい。
【0055】
［００６６］
ビデオエンコーダ２００はさらに、例えば、ピクチャーヘッダ中で、ブロックヘッダ中で、スライスヘッダ中で、あるいは、シーケンスパラメータセット（ＳＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、または、ビデオパラメータセット（ＶＰＳ）のような他のシンタックスデータ中で、ビデオデコーダ３００への、ブロックベースのシンタックスデータ、ピクチャーベースのシンタックスデータ、および、シーケンスベースのシンタックスデータのようなシンタックスデータを発生させてもよい。ビデオデコーダ３００は、同様に、このようなシンタックスデータをデコードして、対応するビデオデータをどのようにデコードするかを決定してもよい。
ビデオエンコーダ２００はさらに、例えば、ピクチャーヘッダ中で、ブロックヘッダ中で、スライスヘッダ中で、あるいは、シーケンスパラメータセット（ＳＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、または、ビデオパラメータセット（ＶＰＳ）のような他のシンタックスデータ中で、ビデオデコーダ３００への、ブロックベースのシンタックスデータ、ピクチャーベースのシンタックスデータ、および、シーケンスベースのシンタックスデータのようなシンタックスデータを発生させてもよい。ビデオデコーダ３００は、同様に、このようなシンタックスデータをデコードして、対応するビデオデータをどのようにデコードするかを決定してもよい。
【0056】
［００６７］
このようにして、ビデオエンコーダ２００は、エンコードされたビデオデータを含む、例えば、ブロック（例えば、ＣＵ）へのピクチャーの区分と、ブロックに対する予測および／または残差情報とを記述する、シンタックス要素を含む、ビットストリームを発生させてもよい。最終的に、ビデオデコーダ３００は、ビットストリームを受け取り、エンコードされたビデオデータをデコードしてもよい。
このようにして、ビデオエンコーダ２００は、エンコードされたビデオデータを含む、例えば、ブロック（例えば、ＣＵ）へのピクチャーの区分と、ブロックに対する予測および／または残差情報とを記述する、シンタックス要素を含む、ビットストリームを発生させてもよい。最終的に、ビデオデコーダ３００は、ビットストリームを受け取り、エンコードされたビデオデータをデコードしてもよい。
【0057】
［００６８］
一般的に、ビデオデコーダ３００は、ビデオエンコーダ２００によって実行されたプロセスとは逆のプロセスを実行して、ビットストリームのエンコードされたビデオデータをデコードする。例えば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣエンコーディングプロセスと、逆ではあるが、実質的に類似する方法で、ＣＡＢＡＣを使用して、ビットストリームのシンタックス要素に対する値をデコードしてもよい。シンタックス要素は、ＣＴＵにピクチャーを区分するための区分情報と、ＱＴＢＴ構造のような、対応する区分構造にしたがって、各ＣＴＵを区分することとを規定して、ＣＴＵのＣＵを規定していてもよい。シンタックス要素は、ビデオデータのブロック（例えば、ＣＵ）に対する予測および残差情報をさらに規定していてもよい。
一般的に、ビデオデコーダ３００は、ビデオエンコーダ２００によって実行されたプロセスとは逆のプロセスを実行して、ビットストリームのエンコードされたビデオデータをデコードする。例えば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣエンコーディングプロセスと、逆ではあるが、実質的に類似する方法で、ＣＡＢＡＣを使用して、ビットストリームのシンタックス要素に対する値をデコードしてもよい。シンタックス要素は、ＣＴＵにピクチャーを区分するための区分情報と、ＱＴＢＴ構造のような、対応する区分構造にしたがって、各ＣＴＵを区分することとを規定して、ＣＴＵのＣＵを規定していてもよい。シンタックス要素は、ビデオデータのブロック（例えば、ＣＵ）に対する予測および残差情報をさらに規定していてもよい。
【0058】
［００６９］
残差情報は、例えば、量子化変換係数によって表されていてもよい。ビデオデコーダ３００は、ブロックの量子化された変換係数を逆量子化および逆変換して、ブロックに対する残差ブロックを再生させてもよい。ビデオデコーダ３００は、シグナリングされた予測モード（イントラ予測またはインター予測）と、関連する予測情報（例えば、インター予測に対する動き情報）とを使用して、ブロックに対する予測ブロックを形成する。ビデオデコーダ３００は、その後、（サンプル毎のベースで）予測ブロックと残差ブロックとを組み合わせて、元のブロックを再生させてもよい。ビデオデコーダ３００は、デブロッキングプロセスを実行することのような、追加の処理を実行して、ブロックの境界に沿った視覚的アーティファクトを低減させてもよい。
残差情報は、例えば、量子化変換係数によって表されていてもよい。ビデオデコーダ３００は、ブロックの量子化された変換係数を逆量子化および逆変換して、ブロックに対する残差ブロックを再生させてもよい。ビデオデコーダ３００は、シグナリングされた予測モード（イントラ予測またはインター予測）と、関連する予測情報（例えば、インター予測に対する動き情報）とを使用して、ブロックに対する予測ブロックを形成する。ビデオデコーダ３００は、その後、（サンプル毎のベースで）予測ブロックと残差ブロックとを組み合わせて、元のブロックを再生させてもよい。ビデオデコーダ３００は、デブロッキングプロセスを実行することのような、追加の処理を実行して、ブロックの境界に沿った視覚的アーティファクトを低減させてもよい。
【0059】
［００７０］
本開示の技法によれば、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値をシグナリングしない／推測するようにと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを変換するように構成されていてもよい。例えば、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含むようにと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換するように構成されていてもよい。
本開示の技法によれば、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値をシグナリングしない／推測するようにと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを変換するように構成されていてもよい。例えば、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対するＬＦＮＳＴインデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域との両方を含むようにと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換するように構成されていてもよい。
【0060】
［００７１］
本開示は、一般的に、シンタックス要素のような、ある情報を「シグナリングすること」に関連しているかもしれない。「シグナリング」という用語は、一般的に、シンタックス要素のおよび／またはエンコードされたビデオデータをデコードするのに使用される他のデータの値の通信に関連しているかもしれない。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素に対する値をシグナリングしてもよい。一般的に、シグナリングは、ビットストリーム中で値を発生させることを指している。上述のように、発信元デバイス１０２は、実質的にリアルタイムで、または、宛先デバイス１１６による後の取り出しのために、シンタックス要素を記憶デバイス１１２中に記憶させるときに起こるかもしれないような、リアルタイムではなく、ビットストリームを宛先デバイス１１６に転送してもよい。
本開示は、一般的に、シンタックス要素のような、ある情報を「シグナリングすること」に関連しているかもしれない。「シグナリング」という用語は、一般的に、シンタックス要素のおよび／またはエンコードされたビデオデータをデコードするのに使用される他のデータの値の通信に関連しているかもしれない。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素に対する値をシグナリングしてもよい。一般的に、シグナリングは、ビットストリーム中で値を発生させることを指している。上述のように、発信元デバイス１０２は、実質的にリアルタイムで、または、宛先デバイス１１６による後の取り出しのために、シンタックス要素を記憶デバイス１１２中に記憶させるときに起こるかもしれないような、リアルタイムではなく、ビットストリームを宛先デバイス１１６に転送してもよい。
【0061】
［００７２］
図２Ａおよび図２Ｂは、例示的な４分ツリー２分ツリー（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを図示する概念図である。実線は４分ツリー分割を表し、点線は２分ツリー分割を表している。２分ツリーの各分割（すなわち、非リーフ）ノードにおいて、どの分割タイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、この例では、０が水平分割を示し、１が垂直分割を示している。４分ツリー分割に対して、４分ツリーノードは、ブロックを等しいサイズで４つのサブブロックに水平および垂直に分割するので、分割タイプを示す必要はない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベルに対する（分割情報のような）シンタックス要素（すなわち、実線）と、ＱＴＢＴ構造１３０の予測ツリーレベルに対する（分割情報のような）シンタックス要素（すなわち、破線）を、ビデオエンコーダ２００はエンコードしてもよく、ビデオデコーダ３００は、デコードしてもよい。ＱＴＢＴ構造１３０の終端リーフノードにより表されるＣＵに対する予測データおよび変換データのようなビデオデータを、ビデオエンコーダ２００はエンコードしてもよく、ビデオデコーダ３００は、デコードしてもよい。
図２Ａおよび図２Ｂは、例示的な４分ツリー２分ツリー（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを図示する概念図である。実線は４分ツリー分割を表し、点線は２分ツリー分割を表している。２分ツリーの各分割（すなわち、非リーフ）ノードにおいて、どの分割タイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、この例では、０が水平分割を示し、１が垂直分割を示している。４分ツリー分割に対して、４分ツリーノードは、ブロックを等しいサイズで４つのサブブロックに水平および垂直に分割するので、分割タイプを示す必要はない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベルに対する（分割情報のような）シンタックス要素（すなわち、実線）と、ＱＴＢＴ構造１３０の予測ツリーレベルに対する（分割情報のような）シンタックス要素（すなわち、破線）を、ビデオエンコーダ２００はエンコードしてもよく、ビデオデコーダ３００は、デコードしてもよい。ＱＴＢＴ構造１３０の終端リーフノードにより表されるＣＵに対する予測データおよび変換データのようなビデオデータを、ビデオエンコーダ２００はエンコードしてもよく、ビデオデコーダ３００は、デコードしてもよい。
【0062】
［００７３］
一般的に、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおけるＱＴＢＴ構造１３０のノードに対応するブロックのサイズを規定するパラメータと関係しているかもしれない。これらのパラメータは、（サンプル中のＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、（ＭｉｎＱＴＳｉｚｅ、最小許容４分ツリーリーフノードサイズを表す）最小４分ツリーサイズと、（ＭａｘＢＴＳｉｚｅ、最大許容２分ツリールートノードサイズを表す）最大２分ツリーサイズと、（ＭａｘＢＴＤｅｐｔｈ、最大許容２分ツリー深度を表す）最大２分ツリー深度と、（ＭｉｎＢＴＳｉｚｅ、最小許容２分ツリーリーフノードサイズを表す）最小２分ツリーサイズとを含んでいてもよい。
一般的に、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおけるＱＴＢＴ構造１３０のノードに対応するブロックのサイズを規定するパラメータと関係しているかもしれない。これらのパラメータは、（サンプル中のＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、（ＭｉｎＱＴＳｉｚｅ、最小許容４分ツリーリーフノードサイズを表す）最小４分ツリーサイズと、（ＭａｘＢＴＳｉｚｅ、最大許容２分ツリールートノードサイズを表す）最大２分ツリーサイズと、（ＭａｘＢＴＤｅｐｔｈ、最大許容２分ツリー深度を表す）最大２分ツリー深度と、（ＭｉｎＢＴＳｉｚｅ、最小許容２分ツリーリーフノードサイズを表す）最小２分ツリーサイズとを含んでいてもよい。
【0063】
［００７４］
ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有してもよく、それぞれが４分ツリー区分にしたがって、区分されていてもよい。すなわち、第１のレベルのノードは、（子ノードを有さない）リーフノードであるか、または、４つの子ノードを有していてもよい。ＱＴＢＴ構造１３０の例は、親ノードと、分岐に対する実線を有する子ノードとを含むようなノードを表している。第１のレベルのノードが最大許容２分ツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）より大きくない場合には、ノードは、それぞれの２分ツリーによりさらに区分することができる。分割により得られたノードが最小許容２分ツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分ツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで、１つのノードの２分ツリー分割を繰り返すことができる。ＱＴＢＴ構造１３０の例は、分岐に対して破線を有するようなノードを表している。２分ツリーリーフノードは、コーディングユニット（ＣＵ）として呼ばれ、これは、何らかのさらなる区分なく、予測（例えば、イントラピクチャーまたはインターピクチャー予測）および変換に対して使用される。上記で説明したように、ＣＵは、「ビデオブロック」または「ブロック」として呼ばれることもある。
ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有してもよく、それぞれが４分ツリー区分にしたがって、区分されていてもよい。すなわち、第１のレベルのノードは、（子ノードを有さない）リーフノードであるか、または、４つの子ノードを有していてもよい。ＱＴＢＴ構造１３０の例は、親ノードと、分岐に対する実線を有する子ノードとを含むようなノードを表している。第１のレベルのノードが最大許容２分ツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）より大きくない場合には、ノードは、それぞれの２分ツリーによりさらに区分することができる。分割により得られたノードが最小許容２分ツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分ツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで、１つのノードの２分ツリー分割を繰り返すことができる。ＱＴＢＴ構造１３０の例は、分岐に対して破線を有するようなノードを表している。２分ツリーリーフノードは、コーディングユニット（ＣＵ）として呼ばれ、これは、何らかのさらなる区分なく、予測（例えば、イントラピクチャーまたはインターピクチャー予測）および変換に対して使用される。上記で説明したように、ＣＵは、「ビデオブロック」または「ブロック」として呼ばれることもある。
【0064】
［００７５］
ＱＴＢＴ区分構造の１つの例では、ＣＴＵサイズは１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅および高さの両方に対して）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。まず、ＣＴＵに対して４分ツリー区分を適用して、リーフ４分ツリーノードを発生させる。リーフ４分ツリーノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有していてもよい。リーフ４分ツリーノードが１２８×１２８である場合には、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えることから、ノードは、２分ツリーにより、さらに分割されないだろう。そうでなければ、リーフ４分ツリーノードは、２分ツリーにより、さらに区分されるであろう。したがって、４分ツリーリーフノードはまた、２分ツリーに対するルートノードであり、０としての２分ツリー深度を有する。２分ツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では、４）に達するときには、それ以上の分割は許されない。２分ツリーノードがＭｉｎＢＴＳｉｚｅ（この例では、４）に等しい幅を有するときには、それ以上の水平分割は許されないことを意味する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分ツリーノードは、その２分ツリーノードに対してそれ以上の垂直分割は許されないことを意味する。上述したように、２分ツリーのリーフノードはＣＵと呼ばれ、さらなる区分なしで、予測および変換にしたがって、さらに処理される。
ＱＴＢＴ区分構造の１つの例では、ＣＴＵサイズは１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅および高さの両方に対して）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。まず、ＣＴＵに対して４分ツリー区分を適用して、リーフ４分ツリーノードを発生させる。リーフ４分ツリーノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有していてもよい。リーフ４分ツリーノードが１２８×１２８である場合には、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えることから、ノードは、２分ツリーにより、さらに分割されないだろう。そうでなければ、リーフ４分ツリーノードは、２分ツリーにより、さらに区分されるであろう。したがって、４分ツリーリーフノードはまた、２分ツリーに対するルートノードであり、０としての２分ツリー深度を有する。２分ツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では、４）に達するときには、それ以上の分割は許されない。２分ツリーノードがＭｉｎＢＴＳｉｚｅ（この例では、４）に等しい幅を有するときには、それ以上の水平分割は許されないことを意味する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分ツリーノードは、その２分ツリーノードに対してそれ以上の垂直分割は許されないことを意味する。上述したように、２分ツリーのリーフノードはＣＵと呼ばれ、さらなる区分なしで、予測および変換にしたがって、さらに処理される。
【0065】
［００７６］
図３は、本開示の技法を実行してもよい、例示的なビデオエンコーダ２００を図示するブロック図である。図３は、説明の目的のために提供されており、本開示において広く例示し説明しているような技法の限定と見なすべきではない。説明の目的のために、本開示は、開発中のＨ．２６５（ＨＥＶＣ）ビデオコーディング標準規格およびＨ．２６６（ＶＣＣ）ビデオコーディング標準規格のような、ビデオコーディング標準規格の状況で、ビデオエンコーダ２００を説明している。しかしながら、本開示の技法は、これらのビデオコーディング標準規格には限定されず、一般的に、ビデオエンコーディングおよびデコーディングに適用可能である。
図３は、本開示の技法を実行してもよい、例示的なビデオエンコーダ２００を図示するブロック図である。図３は、説明の目的のために提供されており、本開示において広く例示し説明しているような技法の限定と見なすべきではない。説明の目的のために、本開示は、開発中のＨ．２６５（ＨＥＶＣ）ビデオコーディング標準規格およびＨ．２６６（ＶＣＣ）ビデオコーディング標準規格のような、ビデオコーディング標準規格の状況で、ビデオエンコーダ２００を説明している。しかしながら、本開示の技法は、これらのビデオコーディング標準規格には限定されず、一般的に、ビデオエンコーディングおよびデコーディングに適用可能である。
【0066】
［００７７］
図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差発生ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、デコードピクチャーバッファ（ＤＢＰ）２１８と、エントロピーエンコーディングユニット２２０とを含んでいる。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差発生ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＢＰ２１８と、エントロピーエンコーディングユニット２２０のいずれかまたはすべてを、１つ以上のプロセッサ中で、または、処理回路中で実現してもよい。さらに、ビデオエンコーダ２００は、これらまたは他の機能を実行するために、追加または代替のプロセッサまたは処理回路を含んでいてもよい。
図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差発生ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、デコードピクチャーバッファ（ＤＢＰ）２１８と、エントロピーエンコーディングユニット２２０とを含んでいる。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差発生ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＢＰ２１８と、エントロピーエンコーディングユニット２２０のいずれかまたはすべてを、１つ以上のプロセッサ中で、または、処理回路中で実現してもよい。さらに、ビデオエンコーダ２００は、これらまたは他の機能を実行するために、追加または代替のプロセッサまたは処理回路を含んでいてもよい。
【0067】
［００７８］
ビデオデータメモリ２３０は、ビデオエンコーダ２００のコンポーネントによってエンコードされるべきビデオデータを記憶していてもよい。ビデオエンコーダ２００は、例えば、ビデオソース１０４（図１）からのビデオデータメモリ２３０中に記憶されているビデオデータを受け取ってもよい。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャーメモリとして機能してもよい。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または、他のタイプのメモリデバイスのような、さまざまなメモリデバイスのうちのいずれかによって形成されていてもよい。ビデオデータメモリ２３０およびＤＰＢ２１８は、同じメモリデバイスまたは別個のメモリデバイスによって提供されていてもよい。さまざまな例では、ビデオデータメモリ２３０は、図示するように、ビデオエンコーダ２００の他のコンポーネントとともにオンチップであってもよく、または、これらのコンポーネントに対してオフチップであってもよい。
ビデオデータメモリ２３０は、ビデオエンコーダ２００のコンポーネントによってエンコードされるべきビデオデータを記憶していてもよい。ビデオエンコーダ２００は、例えば、ビデオソース１０４（図１）からのビデオデータメモリ２３０中に記憶されているビデオデータを受け取ってもよい。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャーメモリとして機能してもよい。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または、他のタイプのメモリデバイスのような、さまざまなメモリデバイスのうちのいずれかによって形成されていてもよい。ビデオデータメモリ２３０およびＤＰＢ２１８は、同じメモリデバイスまたは別個のメモリデバイスによって提供されていてもよい。さまざまな例では、ビデオデータメモリ２３０は、図示するように、ビデオエンコーダ２００の他のコンポーネントとともにオンチップであってもよく、または、これらのコンポーネントに対してオフチップであってもよい。
【0068】
［００７９］
本開示では、ビデオデータメモリ２３０への参照は、そのように具体的に説明されない限り、ビデオエンコーダ２００に対して内部であるメモリ、または、そのように具体的に説明されない限り、ビデオエンコーダ２００に対して外部であるメモリに限定されるものとして解釈すべきではない。むしろ、ビデオデータメモリ２３０への参照は、ビデオエンコーダ２００がエンコードするために受け取るビデオデータ（例えば、エンコードされるべき現在ブロックに対するビデオデータ）を記憶する参照メモリとして理解すべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００のさまざまなユニットからの出力の一時記憶装置を提供してもよい。
本開示では、ビデオデータメモリ２３０への参照は、そのように具体的に説明されない限り、ビデオエンコーダ２００に対して内部であるメモリ、または、そのように具体的に説明されない限り、ビデオエンコーダ２００に対して外部であるメモリに限定されるものとして解釈すべきではない。むしろ、ビデオデータメモリ２３０への参照は、ビデオエンコーダ２００がエンコードするために受け取るビデオデータ（例えば、エンコードされるべき現在ブロックに対するビデオデータ）を記憶する参照メモリとして理解すべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００のさまざまなユニットからの出力の一時記憶装置を提供してもよい。
【0069】
［００８０］
図３のさまざまなユニットは、ビデオエンコーダ２００によって実行される動作の理解を助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、または、これらの組み合わせとして実現してもよい。固定機能回路は、特定の機能性を提供する回路を指し、実行できる動作に対して予め設定される。プログラマブル回路は、さまざまなタスクを実行するようにプログラムでき、実行できる動作において柔軟な機能性を提供できる回路を指している。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって規定される方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行してもよい。固定機能回路は、（例えば、パラメータを受け取るまたはパラメータを出力するために）ソフトウェア命令を実行するかもしれないが、固定機能回路が実行する動作のタイプは一般的に不変である。いくつかの例では、ユニットのうちの１つ以上は、別個の回路ブロック（固定機能またはプログラマブル）であってよく、いくつかの例では、１つ以上のユニットは集積回路であってよい。
図３のさまざまなユニットは、ビデオエンコーダ２００によって実行される動作の理解を助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、または、これらの組み合わせとして実現してもよい。固定機能回路は、特定の機能性を提供する回路を指し、実行できる動作に対して予め設定される。プログラマブル回路は、さまざまなタスクを実行するようにプログラムでき、実行できる動作において柔軟な機能性を提供できる回路を指している。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって規定される方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行してもよい。固定機能回路は、（例えば、パラメータを受け取るまたはパラメータを出力するために）ソフトウェア命令を実行するかもしれないが、固定機能回路が実行する動作のタイプは一般的に不変である。いくつかの例では、ユニットのうちの１つ以上は、別個の回路ブロック（固定機能またはプログラマブル）であってよく、いくつかの例では、１つ以上のユニットは集積回路であってよい。
【0070】
［００８１］
ビデオエンコーダ２００は、プログラマブル回路から形成される、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／または、プログラマブルコアを含んでいてもよい。ビデオエンコーダ２００の動作がプログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受け取って実行するソフトウェアのオブジェクトコード、すなわち命令を記憶していてもよく、または、ビデオエンコーダ２００内の（図示されていない）別のメモリがこのようなオブジェクトコードを記憶していてもよい。
ビデオエンコーダ２００は、プログラマブル回路から形成される、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／または、プログラマブルコアを含んでいてもよい。ビデオエンコーダ２００の動作がプログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受け取って実行するソフトウェアのオブジェクトコード、すなわち命令を記憶していてもよく、または、ビデオエンコーダ２００内の（図示されていない）別のメモリがこのようなオブジェクトコードを記憶していてもよい。
【0071】
［００８２］
ビデオデータメモリ２３０は、受け取ったビデオデータを記憶するように構成されている。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャーを取り出し、ビデオデータを残差発生ユニット２０４およびモード選択ユニット２０２に提供してもよい。ビデオデータメモリ２３０中のビデオデータは、エンコードされるべき生のビデオデータであってもよい。
ビデオデータメモリ２３０は、受け取ったビデオデータを記憶するように構成されている。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャーを取り出し、ビデオデータを残差発生ユニット２０４およびモード選択ユニット２０２に提供してもよい。ビデオデータメモリ２３０中のビデオデータは、エンコードされるべき生のビデオデータであってもよい。
【0072】
［００８３］
モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含んでいる。モード選択ユニット２０２は、他の予測モードにしたがってビデオ予測を実行するための追加の機能ユニットを含んでいてもよい。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であってもよい）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニット、または、これらに類するものを含んでいてもよい。
モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含んでいる。モード選択ユニット２０２は、他の予測モードにしたがってビデオ予測を実行するための追加の機能ユニットを含んでいてもよい。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であってもよい）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニット、または、これらに類するものを含んでいてもよい。
【0073】
［００８４］
モード選択ユニット２０２は、一般的に、複数のエンコーディングパスを調整して、エンコーディングパラメータの組み合わせをテストし、結果として、このような組み合わせに対するレート歪み値を得る。エンコーディングパラメータは、ＣＴＵのＣＵへの区分、ＣＵに対する予測モード、ＣＵの残差データに対する変換タイプ、ＣＵの残差データに対する量子化パラメータ等を含んでいてもよい。モード選択ユニット２０２は、最終的に、他のテストされた組み合わせよりも良好なレート歪み値を有するエンコーディングパラメータの組み合わせを選択してもよい。
モード選択ユニット２０２は、一般的に、複数のエンコーディングパスを調整して、エンコーディングパラメータの組み合わせをテストし、結果として、このような組み合わせに対するレート歪み値を得る。エンコーディングパラメータは、ＣＴＵのＣＵへの区分、ＣＵに対する予測モード、ＣＵの残差データに対する変換タイプ、ＣＵの残差データに対する量子化パラメータ等を含んでいてもよい。モード選択ユニット２０２は、最終的に、他のテストされた組み合わせよりも良好なレート歪み値を有するエンコーディングパラメータの組み合わせを選択してもよい。
【0074】
［００８５］
ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャーを一連のＣＴＵに区分し、スライス内に１つ以上のＣＴＵをカプセル化してもよい。モード選択ユニット２０２は、上記で説明したＱＴＢＴ構造、ＭＴＴ構造またはＨＥＶＣの４分ツリー構造のようなツリー構造にしたがって、ピクチャーのＣＴＵを区分してもよい。上記で説明したように、ビデオエンコーダ２００は、ツリー構造にしたがってＣＴＵを区分することから１つ以上のＣＵを形成してもよい。このようなＣＵは、一般的に、「ビデオブロック」または「ブロック」として呼ばれることもある。
ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャーを一連のＣＴＵに区分し、スライス内に１つ以上のＣＴＵをカプセル化してもよい。モード選択ユニット２０２は、上記で説明したＱＴＢＴ構造、ＭＴＴ構造またはＨＥＶＣの４分ツリー構造のようなツリー構造にしたがって、ピクチャーのＣＴＵを区分してもよい。上記で説明したように、ビデオエンコーダ２００は、ツリー構造にしたがってＣＴＵを区分することから１つ以上のＣＵを形成してもよい。このようなＣＵは、一般的に、「ビデオブロック」または「ブロック」として呼ばれることもある。
【0075】
［００８６］
一般的に、モード選択ユニット２０２はまた、そのコンポーネント（例えば、動き推定ユニット２２２、動き補償ユニット２２４、および、イントラ予測ユニット２２６）を制御して、現在ブロック（例えば、現在ＣＵ、または、ＨＥＶＣでは、ＰＵとＴＵとのオーバーラップする部分）に対する予測ブロックを発生させる。現在ブロックのインター予測のために、動き推定ユニット２２２は、動きサーチを実行して、１つ以上の参照ピクチャー（例えば、ＤＰＢ２１８中に記憶されている１つ以上の以前にコード化されたピクチャー）中の１つ以上の密接に一致する参照ブロックを識別してもよい。特に、動き推定ユニット２２２は、例えば、絶対差分の和（ＳＡＤ）、二乗差分の和（ＳＳＤ）、平均絶対差分（ＭＡＤ）、平均二乗差分（ＭＳＤ）、または、これらに類するものにしたがって、潜在的参照ブロックが現在ブロックにどれだけ類似しているかを表す値を計算してもよい。動き推定ユニット２２２は、一般的に、現在ブロックと考慮されている参照ブロックとの間のサンプル毎の差分を使用して、これらの計算を実行してもよい。動き推定ユニット２２２は、現在ブロックに最も密接に一致する参照ブロックを示す、これらの計算から結果的に生じる最低値を有する参照ブロックを識別してもよい。
一般的に、モード選択ユニット２０２はまた、そのコンポーネント（例えば、動き推定ユニット２２２、動き補償ユニット２２４、および、イントラ予測ユニット２２６）を制御して、現在ブロック（例えば、現在ＣＵ、または、ＨＥＶＣでは、ＰＵとＴＵとのオーバーラップする部分）に対する予測ブロックを発生させる。現在ブロックのインター予測のために、動き推定ユニット２２２は、動きサーチを実行して、１つ以上の参照ピクチャー（例えば、ＤＰＢ２１８中に記憶されている１つ以上の以前にコード化されたピクチャー）中の１つ以上の密接に一致する参照ブロックを識別してもよい。特に、動き推定ユニット２２２は、例えば、絶対差分の和（ＳＡＤ）、二乗差分の和（ＳＳＤ）、平均絶対差分（ＭＡＤ）、平均二乗差分（ＭＳＤ）、または、これらに類するものにしたがって、潜在的参照ブロックが現在ブロックにどれだけ類似しているかを表す値を計算してもよい。動き推定ユニット２２２は、一般的に、現在ブロックと考慮されている参照ブロックとの間のサンプル毎の差分を使用して、これらの計算を実行してもよい。動き推定ユニット２２２は、現在ブロックに最も密接に一致する参照ブロックを示す、これらの計算から結果的に生じる最低値を有する参照ブロックを識別してもよい。
【0076】
［００８７］
動き推定ユニット２２２は、現在ピクチャー中の現在ブロックの位置に対する、参照ピクチャー中の参照ブロックの位置を規定する、１つ以上の動きベクトル（ＭＶ）を形成してもよい。動き推定ユニット２２２は、その後、動きベクトルを動き補償ユニット２２４に提供してもよい。例えば、単方向インター予測に対して、動き推定ユニット２２２は単一の動きベクトルを提供するかもしれない一方で、双方向インター予測に対して、動き推定ユニット２２２は２つの動きベクトルを提供するかもしれない。
動き推定ユニット２２２は、現在ピクチャー中の現在ブロックの位置に対する、参照ピクチャー中の参照ブロックの位置を規定する、１つ以上の動きベクトル（ＭＶ）を形成してもよい。動き推定ユニット２２２は、その後、動きベクトルを動き補償ユニット２２４に提供してもよい。例えば、単方向インター予測に対して、動き推定ユニット２２２は単一の動きベクトルを提供するかもしれない一方で、双方向インター予測に対して、動き推定ユニット２２２は２つの動きベクトルを提供するかもしれない。
【0077】
［００８８］
動き補償ユニット２２４は、その後、動きベクトルを使用して、予測ブロックを発生させてもよい。例えば、動き補償ユニット２２４は、動きベクトルを使用して、参照ブロックのデータを取り出してもよい。別の例として、動きベクトルが小数サンプル精度を有する場合には、動き補償ユニット２２４は、１つ以上の補間フィルタにしたがって、予測ブロックに対する値を補間してもよい。さらに、双方向インター予測に対して、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックに対するデータを取り出し、例えば、サンプル毎の平均化または重み付き平均化を通してのように、取り出されたデータを組み合わせてもよい。
動き補償ユニット２２４は、その後、動きベクトルを使用して、予測ブロックを発生させてもよい。例えば、動き補償ユニット２２４は、動きベクトルを使用して、参照ブロックのデータを取り出してもよい。別の例として、動きベクトルが小数サンプル精度を有する場合には、動き補償ユニット２２４は、１つ以上の補間フィルタにしたがって、予測ブロックに対する値を補間してもよい。さらに、双方向インター予測に対して、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックに対するデータを取り出し、例えば、サンプル毎の平均化または重み付き平均化を通してのように、取り出されたデータを組み合わせてもよい。
【0078】
［００８９］
別の例として、イントラ予測またはイントラ予測コーディングに対して、イントラ予測ユニット２２６は、現在ブロックに隣接するサンプルから予測ブロックを発生させてもよい。例えば、方向モードに対して、イントラ予測ユニット２２６は、一般的に、隣接サンプルの値を数学的に組み合わせ、現在ブロックに渡って規定された方向でこれらの計算された値を格納して、予測ブロックを生成させてもよい。別の例として、ＤＣモードに対して、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルに対するこの結果として得られる平均を含むように予測ブロックを発生させてもよい。
別の例として、イントラ予測またはイントラ予測コーディングに対して、イントラ予測ユニット２２６は、現在ブロックに隣接するサンプルから予測ブロックを発生させてもよい。例えば、方向モードに対して、イントラ予測ユニット２２６は、一般的に、隣接サンプルの値を数学的に組み合わせ、現在ブロックに渡って規定された方向でこれらの計算された値を格納して、予測ブロックを生成させてもよい。別の例として、ＤＣモードに対して、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルに対するこの結果として得られる平均を含むように予測ブロックを発生させてもよい。
【0079】
［００９０］
モード選択ユニット２０２は、予測ブロックを残差発生ユニット２０４に提供する。残差発生ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生のコード化されていないバージョンを受け取り、モード選択ユニット２０２から予測ブロックを受け取る。残差発生ユニット２０４は、現在ブロックと予測ブロックとの間のサンプル毎の差分を計算する。結果として得られるサンプル毎の差分は、現在ブロックに対する残差ブロックを規定する。いくつかの例では、残差発生ユニット２０４はまた、残差ブロック中のサンプル値間の差分を決定して、残差パルスコード変調（ＲＤＰＣＭ）を使用して、残差ブロックを発生させてもよい。いくつかの例では、残差発生ユニット２０４は、バイナリ減算を実行する１つ以上の減算器回路を使用して形成されていてもよい。
モード選択ユニット２０２は、予測ブロックを残差発生ユニット２０４に提供する。残差発生ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生のコード化されていないバージョンを受け取り、モード選択ユニット２０２から予測ブロックを受け取る。残差発生ユニット２０４は、現在ブロックと予測ブロックとの間のサンプル毎の差分を計算する。結果として得られるサンプル毎の差分は、現在ブロックに対する残差ブロックを規定する。いくつかの例では、残差発生ユニット２０４はまた、残差ブロック中のサンプル値間の差分を決定して、残差パルスコード変調（ＲＤＰＣＭ）を使用して、残差ブロックを発生させてもよい。いくつかの例では、残差発生ユニット２０４は、バイナリ減算を実行する１つ以上の減算器回路を使用して形成されていてもよい。
【0080】
［００９１］
モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットおよび対応するクロマ予測ユニットに関係していてもよい。ビデオエンコーダ２００およびビデオデコーダ３００は、さまざまなサイズを有するＰＵをサポートしていてもよい。上記で示したように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指していてもよく、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指していてもよい。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測に対する２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測に対する２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または、これらに類する対称ＰＵサイズとをサポートしていてもよい。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測のために、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、および、ｎＲ×２ＮのＰＵサイズに対する非対称区分をサポートしていてもよい。
モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットおよび対応するクロマ予測ユニットに関係していてもよい。ビデオエンコーダ２００およびビデオデコーダ３００は、さまざまなサイズを有するＰＵをサポートしていてもよい。上記で示したように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指していてもよく、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指していてもよい。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測に対する２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測に対する２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または、これらに類する対称ＰＵサイズとをサポートしていてもよい。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測のために、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、および、ｎＲ×２ＮのＰＵサイズに対する非対称区分をサポートしていてもよい。
【0081】
［００９２］
モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックおよび対応するクロマコーディングブロックに関係していてもよい。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指していてもよい。ビデオエンコーダ２００およびビデオデコーダ１２０は、２Ｎ×２Ｎ、２Ｎ×Ｎ、または、Ｎ×２ＮのＣＵサイズをサポートしていてもよい。
モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックおよび対応するクロマコーディングブロックに関係していてもよい。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指していてもよい。ビデオエンコーダ２００およびビデオデコーダ１２０は、２Ｎ×２Ｎ、２Ｎ×Ｎ、または、Ｎ×２ＮのＣＵサイズをサポートしていてもよい。
【0082】
［００９３］
イントラブロックコピーモードコーディング、アフィンモードコーディング、および、線形モデル（ＬＭ）モードコーディングのような、他のビデオコーディング技法に対して、いくつかの例として、モード選択ユニット２０２は、コーディング技法に関係するそれぞれのユニットを介して、エンコードされている現在ブロックに対する予測ブロックを発生させる。パレットモードコーディングのようないくつかの例では、モード選択ユニット２０２は、予測ブロックを発生させず、代わりに、選択されたパレットに基づいて、ブロックを再構築する方法を示すシンタックス要素を発生させてもよい。このようなモードでは、モード選択ユニット２０２は、これらのシンタックス要素を、エンコードされるようにエントロピーエンコーディングユニット２２０に提供してもよい。
イントラブロックコピーモードコーディング、アフィンモードコーディング、および、線形モデル（ＬＭ）モードコーディングのような、他のビデオコーディング技法に対して、いくつかの例として、モード選択ユニット２０２は、コーディング技法に関係するそれぞれのユニットを介して、エンコードされている現在ブロックに対する予測ブロックを発生させる。パレットモードコーディングのようないくつかの例では、モード選択ユニット２０２は、予測ブロックを発生させず、代わりに、選択されたパレットに基づいて、ブロックを再構築する方法を示すシンタックス要素を発生させてもよい。このようなモードでは、モード選択ユニット２０２は、これらのシンタックス要素を、エンコードされるようにエントロピーエンコーディングユニット２２０に提供してもよい。
【0083】
［００９４］
上記で説明したように、残差発生ユニット２０４は、現在ブロックおよび対応する予測ブロックに対するビデオデータを受け取る。残差発生ユニット２０４は、その後、現在ブロックに対する残差ブロックを発生させる。残差ブロックを発生させるために、残差発生ユニット２０４は、予測ブロックと現在ブロックとの間のサンプル毎の差分を計算する。
上記で説明したように、残差発生ユニット２０４は、現在ブロックおよび対応する予測ブロックに対するビデオデータを受け取る。残差発生ユニット２０４は、その後、現在ブロックに対する残差ブロックを発生させる。残差ブロックを発生させるために、残差発生ユニット２０４は、予測ブロックと現在ブロックとの間のサンプル毎の差分を計算する。
【0084】
［００９５］
変換処理ユニット２０６は、残差ブロックに１つ以上の変換を適用して、（ここでは「変換係数ブロック」として呼ばれる）変換係数のブロックを発生させる。変換処理ユニット２０６は、残差ブロックにさまざまな変換を適用して、変換係数ブロックを形成してもよい。例えば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または、概念的に類似する変換を、残差ブロックに適用してもよい。いくつかの例では、変換処理ユニット２０６は、残差ブロックに対して複数の変換、例えば、回転変換のような、１次変換と２次変換とを実行してもよい。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。
変換処理ユニット２０６は、残差ブロックに１つ以上の変換を適用して、（ここでは「変換係数ブロック」として呼ばれる）変換係数のブロックを発生させる。変換処理ユニット２０６は、残差ブロックにさまざまな変換を適用して、変換係数ブロックを形成してもよい。例えば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または、概念的に類似する変換を、残差ブロックに適用してもよい。いくつかの例では、変換処理ユニット２０６は、残差ブロックに対して複数の変換、例えば、回転変換のような、１次変換と２次変換とを実行してもよい。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。
【0085】
［００９６］
以下でより詳細に説明するように、いくつかの例では、変換処理ユニット２０６は、（例えば、複数の変換選択（ＭＴＳ）技法を使用して）低周波数非分離変換（ＬＦＮＳＴ）と、１つ以上の分離変換の両方をビデオデータの変換ブロックに適用するように構成されていてもよい。変換処理ユニット２０６は、ＬＦＮＳＴを適用する前に、最初に、１つ以上の分離変換を適用してもよい。いくつかの例では、変換処理ユニット２０６は、分離変換を適用した後に得られる変換ブロックの変換係数のサブセットにＬＦＮＳＴを適用する。ＬＦＮＳＴが適用される変換ブロックの変換係数のサブセットは、ＬＦＮＳＴ領域として呼ばれることがある。ＬＦＮＳＴ領域は、変換ブロックの最も低い周波数変換係数を表す変換ブロックの左上部分であってもよい。
以下でより詳細に説明するように、いくつかの例では、変換処理ユニット２０６は、（例えば、複数の変換選択（ＭＴＳ）技法を使用して）低周波数非分離変換（ＬＦＮＳＴ）と、１つ以上の分離変換の両方をビデオデータの変換ブロックに適用するように構成されていてもよい。変換処理ユニット２０６は、ＬＦＮＳＴを適用する前に、最初に、１つ以上の分離変換を適用してもよい。いくつかの例では、変換処理ユニット２０６は、分離変換を適用した後に得られる変換ブロックの変換係数のサブセットにＬＦＮＳＴを適用する。ＬＦＮＳＴが適用される変換ブロックの変換係数のサブセットは、ＬＦＮＳＴ領域として呼ばれることがある。ＬＦＮＳＴ領域は、変換ブロックの最も低い周波数変換係数を表す変換ブロックの左上部分であってもよい。
【0086】
［００９７］
ＬＦＮＳＴを適用することに関連して、変換処理ユニット２０６は、ＬＦＮＳＴ領域中の結果として生じる変換係数の一部分に０化プロセスを適用するようにさらに構成されていてもよい。０化プロセスは、単に、特定の領域中の各変換係数の値が０値を有するようにする。１つの例では、変換処理ユニット２０６は、ＬＦＮＳＴ領域のより高い周波数エリア（例えば、右下隅）中の変換係数を０化してもよい。加えて、いくつかの例では、変換処理ユニット２０６はまた、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数（例えば、いわゆるＭＴＳ領域中の変換係数）を０化してもよい。
ＬＦＮＳＴを適用することに関連して、変換処理ユニット２０６は、ＬＦＮＳＴ領域中の結果として生じる変換係数の一部分に０化プロセスを適用するようにさらに構成されていてもよい。０化プロセスは、単に、特定の領域中の各変換係数の値が０値を有するようにする。１つの例では、変換処理ユニット２０６は、ＬＦＮＳＴ領域のより高い周波数エリア（例えば、右下隅）中の変換係数を０化してもよい。加えて、いくつかの例では、変換処理ユニット２０６はまた、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数（例えば、いわゆるＭＴＳ領域中の変換係数）を０化してもよい。
【0087】
［００９８］
変換処理ユニット２０６が変換ブロックにＬＦＮＳＴを適用した場合には、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスシンタックス要素を発生させてシグナリングしてもよい。ＬＦＮＳＴインデックスシンタックス要素の値は、ＬＦＮＳＴを実行するときに使用される、複数の変換の中からの特定の変換を示していてもよい。他の例では、ＬＦＮＳＴインデックスは、ＬＦＮＳＴが適用されなかったこと（例えば、０のＬＦＮＳＴインデックス値）を示していてもよい。ビデオエンコーダ２００は、ＬＦＮＳＴが適用されているときに、ＬＦＮＳＴインデックスを発生させるように構成されていてもよい。ＬＦＮＳＴが適用されていないときには、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスをシグナリングするか否かを決定するように構成されていてもよい。
変換処理ユニット２０６が変換ブロックにＬＦＮＳＴを適用した場合には、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスシンタックス要素を発生させてシグナリングしてもよい。ＬＦＮＳＴインデックスシンタックス要素の値は、ＬＦＮＳＴを実行するときに使用される、複数の変換の中からの特定の変換を示していてもよい。他の例では、ＬＦＮＳＴインデックスは、ＬＦＮＳＴが適用されなかったこと（例えば、０のＬＦＮＳＴインデックス値）を示していてもよい。ビデオエンコーダ２００は、ＬＦＮＳＴが適用されているときに、ＬＦＮＳＴインデックスを発生させるように構成されていてもよい。ＬＦＮＳＴが適用されていないときには、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスをシグナリングするか否かを決定するように構成されていてもよい。
【0088】
［００９９］
例えば、ビデオエンコーダ２００は、最後の有意（例えば、非０）変換係数の位置が、ＬＦＮＳＴが適用されている場合に通常は０化されるであろう変換ブロック中の位置にあるケースでは、ＬＦＮＳＴインデックスをシグナリングしないことを決定してもよい。これは、ビデオエンコーダ２００が、最後の有意係数の位置を示す１つ以上のシンタックス要素を発生させ、エンコードされたビデオビットストリーム中でシグナリングするからである。ビデオデコーダ３００は、最初に、最後の有意係数の位置を受信してデコードすることになるので、ビデオデコーダ３００は、最後の有意係数の位置が、変換ブロックの０化領域中にある場合には、ＬＦＮＳＴが実行されていないことを示すＬＦＮＳＴインデックスを受信する必要がない。むしろ、ビデオデコーダ３００は、最後の有意係数の位置に基づいて、ＬＦＮＳＴインデックスの値が０であり、ＬＦＮＳＴが適用されていないことを推測（例えば、明示的なシンタックス要素なしで決定）してもよい。ＬＦＮＳＴがビデオエンコーダ２００により適用されていないが、最後の有意係数の位置が０化領域中にない場合には、いくつかの例では、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスをシグナリングする。
例えば、ビデオエンコーダ２００は、最後の有意（例えば、非０）変換係数の位置が、ＬＦＮＳＴが適用されている場合に通常は０化されるであろう変換ブロック中の位置にあるケースでは、ＬＦＮＳＴインデックスをシグナリングしないことを決定してもよい。これは、ビデオエンコーダ２００が、最後の有意係数の位置を示す１つ以上のシンタックス要素を発生させ、エンコードされたビデオビットストリーム中でシグナリングするからである。ビデオデコーダ３００は、最初に、最後の有意係数の位置を受信してデコードすることになるので、ビデオデコーダ３００は、最後の有意係数の位置が、変換ブロックの０化領域中にある場合には、ＬＦＮＳＴが実行されていないことを示すＬＦＮＳＴインデックスを受信する必要がない。むしろ、ビデオデコーダ３００は、最後の有意係数の位置に基づいて、ＬＦＮＳＴインデックスの値が０であり、ＬＦＮＳＴが適用されていないことを推測（例えば、明示的なシンタックス要素なしで決定）してもよい。ＬＦＮＳＴがビデオエンコーダ２００により適用されていないが、最後の有意係数の位置が０化領域中にない場合には、いくつかの例では、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスをシグナリングする。
【0089】
［０１００］
量子化ユニット２０８は、変換係数ブロック中の変換係数を量子化して、量子化された変換係数ブロックを生成させてもよい。量子化ユニット２０８は、現在ブロックに関係する量子化パラメータ（ＱＰ）値にしたがって、変換係数ブロックの変換係数を量子化してもよい。ビデオエンコーダ２００は（例えば、モード選択ユニット２０２を介して）、ＣＵに関係するＱＰ値を調節することによって、現在ブロックに関係する変換係数ブロックに適用される量子化の程度を調節してもよい。量子化は、情報の損失をもたらすかもしれず、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有するかもしれない。
量子化ユニット２０８は、変換係数ブロック中の変換係数を量子化して、量子化された変換係数ブロックを生成させてもよい。量子化ユニット２０８は、現在ブロックに関係する量子化パラメータ（ＱＰ）値にしたがって、変換係数ブロックの変換係数を量子化してもよい。ビデオエンコーダ２００は（例えば、モード選択ユニット２０２を介して）、ＣＵに関係するＱＰ値を調節することによって、現在ブロックに関係する変換係数ブロックに適用される量子化の程度を調節してもよい。量子化は、情報の損失をもたらすかもしれず、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有するかもしれない。
【0090】
［０１０１］
逆量子化ユニット２１０および逆変換処理ユニット２１２は、逆量子化および逆変換をそれぞれ量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構築してもよい。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって発生させた予測ブロックとに基づいて、（潜在的にある程度の歪みを有するが）現在ブロックに対応する再構築されたブロックを生成させてもよい。例えば、再構築ユニット２１４は、再構築された残差ブロックのサンプルを、モード選択ユニット２０２によって発生させた予測ブロックからの対応するサンプルに追加して、再構築されたブロックを生成させてもよい。
逆量子化ユニット２１０および逆変換処理ユニット２１２は、逆量子化および逆変換をそれぞれ量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構築してもよい。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって発生させた予測ブロックとに基づいて、（潜在的にある程度の歪みを有するが）現在ブロックに対応する再構築されたブロックを生成させてもよい。例えば、再構築ユニット２１４は、再構築された残差ブロックのサンプルを、モード選択ユニット２０２によって発生させた予測ブロックからの対応するサンプルに追加して、再構築されたブロックを生成させてもよい。
【0091】
［０１０２］
フィルタユニット２１６は、再構築されたブロックに対して１つ以上のフィルタ動作を実行してもよい。例えば、フィルタユニット２１６は、デブロッキング動作を実行して、ＣＵのエッジに沿ったブロッキネスアーティファクトを低減させてもよい。いくつかの例では、フィルタユニット２１６の動作はスキップしてもよい。
フィルタユニット２１６は、再構築されたブロックに対して１つ以上のフィルタ動作を実行してもよい。例えば、フィルタユニット２１６は、デブロッキング動作を実行して、ＣＵのエッジに沿ったブロッキネスアーティファクトを低減させてもよい。いくつかの例では、フィルタユニット２１６の動作はスキップしてもよい。
【0092】
［０１０３］
ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８中に記憶させる。例えば、フィルタユニット２１６の動作が必要とされない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８中に記憶させてもよい。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、再構築されフィルタされたブロックをＤＰＢ２１８中に記憶させてもよい。動き推定ユニット２２２および動き補償ユニット２２４は、再構築された（そして、潜在的にフィルタ処理された）ブロックから形成された参照ピクチャーをＤＰＢ２１８から取り出して、後にエンコードされるピクチャーのブロックをインター予測してもよい。加えて、イントラ予測ユニット２２６は、現在ピクチャーのＤＰＢ２１８中の再構築されたブロックを使用して、現在ピクチャー中の他のブロックをイントラ予測してもよい。
ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８中に記憶させる。例えば、フィルタユニット２１６の動作が必要とされない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８中に記憶させてもよい。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、再構築されフィルタされたブロックをＤＰＢ２１８中に記憶させてもよい。動き推定ユニット２２２および動き補償ユニット２２４は、再構築された（そして、潜在的にフィルタ処理された）ブロックから形成された参照ピクチャーをＤＰＢ２１８から取り出して、後にエンコードされるピクチャーのブロックをインター予測してもよい。加えて、イントラ予測ユニット２２６は、現在ピクチャーのＤＰＢ２１８中の再構築されたブロックを使用して、現在ピクチャー中の他のブロックをイントラ予測してもよい。
【0093】
［０１０４］
一般的に、エントロピーエンコーディングユニット２２０は、ビデオエンコーダ２００の他の機能的なコンポーネントから受け取ったシンタックス要素をエントロピーエンコードしてもよい。例えば、エントロピーエンコーディングユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピーエンコードしてもよい。別の例として、エントロピーエンコーディングユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（例えば、インター予測に対する動き情報またはイントラ予測に対するイントラモード情報）をエントロピーエンコードしてもよい。エントロピーエンコーディングユニット２２０は、ビデオデータの別の例であるシンタックス要素に関して、１つ以上のエントロピーエンコーディング動作を実行して、エントロピーエンコードされたデータを発生させてもよい。例えば、エントロピーエンコーディングユニット２２０は、データに、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースのコンテキスト適応バイナリ算術コードディング（ＳＢＡＣ）動作、確率区間区分化エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロムエンコーディング動作、または、別のタイプのエントロピーエンコーディング動作を実行してもよい。いくつかの例では、エントロピーエンコーディングユニット２２０は、シンタックス要素がエントロピーエンコードされないバイパスモードで動作してもよい。
一般的に、エントロピーエンコーディングユニット２２０は、ビデオエンコーダ２００の他の機能的なコンポーネントから受け取ったシンタックス要素をエントロピーエンコードしてもよい。例えば、エントロピーエンコーディングユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピーエンコードしてもよい。別の例として、エントロピーエンコーディングユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（例えば、インター予測に対する動き情報またはイントラ予測に対するイントラモード情報）をエントロピーエンコードしてもよい。エントロピーエンコーディングユニット２２０は、ビデオデータの別の例であるシンタックス要素に関して、１つ以上のエントロピーエンコーディング動作を実行して、エントロピーエンコードされたデータを発生させてもよい。例えば、エントロピーエンコーディングユニット２２０は、データに、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースのコンテキスト適応バイナリ算術コードディング（ＳＢＡＣ）動作、確率区間区分化エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロムエンコーディング動作、または、別のタイプのエントロピーエンコーディング動作を実行してもよい。いくつかの例では、エントロピーエンコーディングユニット２２０は、シンタックス要素がエントロピーエンコードされないバイパスモードで動作してもよい。
【0094】
［０１０５］
ビデオエンコーダ２００は、スライスまたはピクチャーのブロックを再構築するのに必要とされるエントロピーエンコードされたシンタックス要素を含むビットストリームを出力してもよい。特に、エントロピーエンコーディングユニット２２０は、ビットストリームを出力してもよい。
ビデオエンコーダ２００は、スライスまたはピクチャーのブロックを再構築するのに必要とされるエントロピーエンコードされたシンタックス要素を含むビットストリームを出力してもよい。特に、エントロピーエンコーディングユニット２２０は、ビットストリームを出力してもよい。
【0095】
［０１０６］
上記で説明している動作は、ブロックに関して説明している。このような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックに対する動作として理解すべきである。上述したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。
上記で説明している動作は、ブロックに関して説明している。このような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックに対する動作として理解すべきである。上述したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。
【0096】
［０１０７］
いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックに対して繰り返す必要はない。１つの例として、ルーマコーディングブロックに対する動きベクトル（ＭＶ）および参照ピクチャーを識別する動作は、クロマブロックに対するＭＶおよび参照ピクチャーを識別するために繰り返す必要はない。むしろ、ルーマコーディングブロックに対するＭＶをスケーリングして、クロマブロックに対するＭＶを決定してもよく、参照ピクチャーは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックに対して同じであってもよい。
いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックに対して繰り返す必要はない。１つの例として、ルーマコーディングブロックに対する動きベクトル（ＭＶ）および参照ピクチャーを識別する動作は、クロマブロックに対するＭＶおよび参照ピクチャーを識別するために繰り返す必要はない。むしろ、ルーマコーディングブロックに対するＭＶをスケーリングして、クロマブロックに対するＭＶを決定してもよく、参照ピクチャーは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックに対して同じであってもよい。
【0097】
［０１０８］
以下でより詳細に説明するように、ビデオエンコーダ２００は、ビデオデータを記憶するように構成されているメモリと、回路中で実現され、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値を推測する（例えば、エンコードまたはシグナリングしない）ようにと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを変換するように構成されている１つ以上の処理ユニットとを含む、ビデオデータをエンコードするように構成されているデバイスの１つの例を表している。
以下でより詳細に説明するように、ビデオエンコーダ２００は、ビデオデータを記憶するように構成されているメモリと、回路中で実現され、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値を推測する（例えば、エンコードまたはシグナリングしない）ようにと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを変換するように構成されている１つ以上の処理ユニットとを含む、ビデオデータをエンコードするように構成されているデバイスの１つの例を表している。
【0098】
［０１０９］
図４は、本開示の技法を利用してもよい、例示的なビデオデコーダ３００を図示するブロック図である。図４は、説明の目的のために提供されており、本開示で広く例示し説明しているような技法には限定されない。説明の目的で、本開示は、ＪＥＭ、ＶＶＣおよびＨＥＶＣの技法にしたがうビデオデコーダ３００を説明している。しかしながら、本開示の技法は、他のビデオコーディング標準規格にしたがって構成されているビデオコーディングデバイスによって実行してもよい。
図４は、本開示の技法を利用してもよい、例示的なビデオデコーダ３００を図示するブロック図である。図４は、説明の目的のために提供されており、本開示で広く例示し説明しているような技法には限定されない。説明の目的で、本開示は、ＪＥＭ、ＶＶＣおよびＨＥＶＣの技法にしたがうビデオデコーダ３００を説明している。しかしながら、本開示の技法は、他のビデオコーディング標準規格にしたがって構成されているビデオコーディングデバイスによって実行してもよい。
【0099】
［０１１０］
図４の例では、ビデオデコーダ３００は、コード化ピクチャーバッファ（ＣＰＢ）メモリ３２０と、エントロピーデコーディングユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、デコードピクチャーバッファ（ＤＰＢ）３１４とを含んでいる。ＣＰＢメモリ３２０と、エントロピーデコーディングユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４のいずれかまたはすべてを、１つ以上のプロセッサ中で、または、処理回路中で実現してもよい。さらに、ビデオデコーダ３００は、これらまたは他の機能を実行するために、追加または代替のプロセッサまたは処理回路を含んでいてもよい。
図４の例では、ビデオデコーダ３００は、コード化ピクチャーバッファ（ＣＰＢ）メモリ３２０と、エントロピーデコーディングユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、デコードピクチャーバッファ（ＤＰＢ）３１４とを含んでいる。ＣＰＢメモリ３２０と、エントロピーデコーディングユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４のいずれかまたはすべてを、１つ以上のプロセッサ中で、または、処理回路中で実現してもよい。さらに、ビデオデコーダ３００は、これらまたは他の機能を実行するために、追加または代替のプロセッサまたは処理回路を含んでいてもよい。
【0100】
［０１１１］
予測処理ユニット３０４は、動き補償ユニット３１６とイントラ予測ユニット３１８とを含んでいる。予測処理ユニット３０４は、他の予測モードにしたがって予測を実行するための追加ユニットを含んでいてもよい。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成していてもよい）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニット、または、これらに類するものを含んでいてもよい。他の例では、ビデオデコーダ３００は、より多い、より少ない、または、異なる機能的コンポーネントを含んでいてもよい。
予測処理ユニット３０４は、動き補償ユニット３１６とイントラ予測ユニット３１８とを含んでいる。予測処理ユニット３０４は、他の予測モードにしたがって予測を実行するための追加ユニットを含んでいてもよい。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成していてもよい）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニット、または、これらに類するものを含んでいてもよい。他の例では、ビデオデコーダ３００は、より多い、より少ない、または、異なる機能的コンポーネントを含んでいてもよい。
【0101】
［０１１２］
ＣＰＢメモリ３２０は、ビデオデコーダ３００のコンポーネントによってデコードされるべき、エンコードされたビデオビットストリームのようなビデオデータを記憶してもよい。ＣＰＢメモリ３２０中に記憶されるビデオデータは、例えば、コンピュータ読取可能媒体１１０（図１）から取得されてもよい。ＣＰＢメモリ３２０は、エンコードされたビデオビットストリームからのエンコードされたビデオデータ（例えば、シンタックス要素）を記憶するＣＰＢを含んでいてもよい。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００のさまざまなユニットからの出力を表す一時データのような、コード化されたピクチャーのシンタックス要素以外のビデオデータを記憶してもよい。ＤＰＢ３１４は、一般的に、デコードされたピクチャーを記憶し、エンコードされたビデオビットストリームの後続のデータまたはピクチャーをデコードするときに、ビデオデコーダ３００が、このデコードされたピクチャーを、参照ビデオデータとして出力および／または使用してもよい。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または、他のタイプのメモリデバイスのような、さまざまなメモリデバイスのいずれかによって形成されていてもよい。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよい。さまざまな例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他のコンポーネントとともにオンチップであるか、または、これらのコンポーネントに対してオフチップであってもよい。
ＣＰＢメモリ３２０は、ビデオデコーダ３００のコンポーネントによってデコードされるべき、エンコードされたビデオビットストリームのようなビデオデータを記憶してもよい。ＣＰＢメモリ３２０中に記憶されるビデオデータは、例えば、コンピュータ読取可能媒体１１０（図１）から取得されてもよい。ＣＰＢメモリ３２０は、エンコードされたビデオビットストリームからのエンコードされたビデオデータ（例えば、シンタックス要素）を記憶するＣＰＢを含んでいてもよい。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００のさまざまなユニットからの出力を表す一時データのような、コード化されたピクチャーのシンタックス要素以外のビデオデータを記憶してもよい。ＤＰＢ３１４は、一般的に、デコードされたピクチャーを記憶し、エンコードされたビデオビットストリームの後続のデータまたはピクチャーをデコードするときに、ビデオデコーダ３００が、このデコードされたピクチャーを、参照ビデオデータとして出力および／または使用してもよい。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または、他のタイプのメモリデバイスのような、さまざまなメモリデバイスのいずれかによって形成されていてもよい。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよい。さまざまな例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他のコンポーネントとともにオンチップであるか、または、これらのコンポーネントに対してオフチップであってもよい。
【0102】
［０１１３］
追加的にまたは代替的に、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化されたビデオデータを取り出してもよい。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で説明したようなデータを記憶していてもよい。同様に、ビデオデコーダ３００の機能性のいくつかまたはすべてが、ビデオデコーダ３００の処理回路によって実行されるソフトウェアで実現されるとき、メモリ１２０は、ビデオデコーダ３００によって実行されるべき命令を記憶していてもよい。
追加的にまたは代替的に、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化されたビデオデータを取り出してもよい。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で説明したようなデータを記憶していてもよい。同様に、ビデオデコーダ３００の機能性のいくつかまたはすべてが、ビデオデコーダ３００の処理回路によって実行されるソフトウェアで実現されるとき、メモリ１２０は、ビデオデコーダ３００によって実行されるべき命令を記憶していてもよい。
【0103】
［０１１４］
図４に示されているさまざまなユニットは、ビデオデコーダ３００によって実行される動作の理解を助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、または、これらの組み合わせとして実現してもよい。図３と同様に、固定機能回路は、特定の機能性を提供する回路を指し、実行できる動作に対して予め設定される。プログラマブル回路は、さまざまなタスクを実行するようにプログラムでき、実行できる動作において柔軟な機能性を提供できる回路を指している。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって規定される方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行してもよい。固定機能回路は、（例えば、パラメータを受け取るまたはパラメータを出力するために）ソフトウェア命令を実行するかもしれないが、固定機能回路が実行する動作のタイプは一般的に不変である。いくつかの例では、ユニットのうちの１つ以上は、別個の回路ブロック（固定機能またはプログラマブル）であってもよく、いくつかの例では、１つ以上のユニットは集積回路であってもよい。
図４に示されているさまざまなユニットは、ビデオデコーダ３００によって実行される動作の理解を助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、または、これらの組み合わせとして実現してもよい。図３と同様に、固定機能回路は、特定の機能性を提供する回路を指し、実行できる動作に対して予め設定される。プログラマブル回路は、さまざまなタスクを実行するようにプログラムでき、実行できる動作において柔軟な機能性を提供できる回路を指している。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって規定される方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行してもよい。固定機能回路は、（例えば、パラメータを受け取るまたはパラメータを出力するために）ソフトウェア命令を実行するかもしれないが、固定機能回路が実行する動作のタイプは一般的に不変である。いくつかの例では、ユニットのうちの１つ以上は、別個の回路ブロック（固定機能またはプログラマブル）であってもよく、いくつかの例では、１つ以上のユニットは集積回路であってもよい。
【0104】
［０１１５］
ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／または、プログラマブル回路から形成されているプログラマブルコアを含んでいてもよい。ビデオデコーダ３００の動作がプログラマブル回路上で実行するソフトウェアによって実行される例では、オンチップまたはオフチップメモリが、ビデオデコーダ３００が受け取って実行するソフトウェアの命令（例えば、オブジェクトコード）を記憶していてもよい。
ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／または、プログラマブル回路から形成されているプログラマブルコアを含んでいてもよい。ビデオデコーダ３００の動作がプログラマブル回路上で実行するソフトウェアによって実行される例では、オンチップまたはオフチップメモリが、ビデオデコーダ３００が受け取って実行するソフトウェアの命令（例えば、オブジェクトコード）を記憶していてもよい。
【0105】
［０１１６］
エントロピーデコーディングユニット３０２は、ＣＰＢからエンコードされたビデオデータを受け取り、ビデオデータをエントロピーデコードして、シンタックス要素を再生させてもよい。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構築ユニット３１０、および、フィルタユニット３１２は、ビットストリームから抽出されたシンタックス要素に基づいて、デコードされたビデオデータを発生させてもよい。
エントロピーデコーディングユニット３０２は、ＣＰＢからエンコードされたビデオデータを受け取り、ビデオデータをエントロピーデコードして、シンタックス要素を再生させてもよい。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構築ユニット３１０、および、フィルタユニット３１２は、ビットストリームから抽出されたシンタックス要素に基づいて、デコードされたビデオデータを発生させてもよい。
【0106】
［０１１７］
一般的に、ビデオデコーダ３００は、ブロック毎のベースでピクチャーを再構築する。ビデオデコーダ３００は、各ブロックに対して個別に再構築動作を実行してもよい（現在再構築されている、すなわち、デコードされているブロックは、「現在ブロック」として呼ばれることがある）。
一般的に、ビデオデコーダ３００は、ブロック毎のベースでピクチャーを再構築する。ビデオデコーダ３００は、各ブロックに対して個別に再構築動作を実行してもよい（現在再構築されている、すなわち、デコードされているブロックは、「現在ブロック」として呼ばれることがある）。
【0107】
［０１１８］
エントロピーデコーディングユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を規定するシンタックス要素とともに、量子化パラメータ（ＱＰ）および／または変換モードインジケーションのような変換情報をエントロピーデコードしてもよい。逆量子化ユニット３０６は、量子化変換係数ブロックに関係するＱＰを使用して、量子化の程度を、そして、同様に逆量子化ユニット３０６が適用する逆量子化の程度を決定してもよい。逆量子化ユニット３０６は、例えば、ビット単位の左シフト演算を実行して、量子化変換係数を逆量子化してもよい。それによって、逆量子化ユニット３０６は、変換係数を含む変換係数ブロックを形成してもよい。
エントロピーデコーディングユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を規定するシンタックス要素とともに、量子化パラメータ（ＱＰ）および／または変換モードインジケーションのような変換情報をエントロピーデコードしてもよい。逆量子化ユニット３０６は、量子化変換係数ブロックに関係するＱＰを使用して、量子化の程度を、そして、同様に逆量子化ユニット３０６が適用する逆量子化の程度を決定してもよい。逆量子化ユニット３０６は、例えば、ビット単位の左シフト演算を実行して、量子化変換係数を逆量子化してもよい。それによって、逆量子化ユニット３０６は、変換係数を含む変換係数ブロックを形成してもよい。
【0108】
［０１１９］
逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、変換係数ブロックに１つ以上の逆変換を適用して、現在ブロックに関係する残差ブロックを発生させてもよい。例えば、逆変換処理ユニット３０８は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または、別の逆変換を適用してもよい。
逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、変換係数ブロックに１つ以上の逆変換を適用して、現在ブロックに関係する残差ブロックを発生させてもよい。例えば、逆変換処理ユニット３０８は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または、別の逆変換を適用してもよい。
【0109】
［０１２０］
以下でより詳細に説明するように、いくつかの例では、逆変換処理ユニット３０８は、（例えば、複数の変換選択（ＭＴＳ）技法を使用して）逆低周波数非分離変換（ＬＦＮＳＴ）と、１つ以上の逆分離変換の両方をビデオデータの変換ブロックに適用するように構成されていてもよい。逆変換処理ユニット３０８は、１つ以上の逆分離変換を適用する前に、最初に、逆ＬＦＮＳＴを適用してもよい。いくつかの例では、逆変換処理ユニット３０８は、逆量子化の後に得られる変換ブロックの変換係数のサブセットに逆ＬＦＮＳＴを適用する。逆ＬＦＮＳＴが適用される変換ブロックの変換係数のサブセットは、ＬＦＮＳＴ領域として呼ばれることがある。ＬＦＮＳＴ領域は、変換ブロックの最も低い周波数変換係数を表す変換ブロックの左上部分であってもよい。
以下でより詳細に説明するように、いくつかの例では、逆変換処理ユニット３０８は、（例えば、複数の変換選択（ＭＴＳ）技法を使用して）逆低周波数非分離変換（ＬＦＮＳＴ）と、１つ以上の逆分離変換の両方をビデオデータの変換ブロックに適用するように構成されていてもよい。逆変換処理ユニット３０８は、１つ以上の逆分離変換を適用する前に、最初に、逆ＬＦＮＳＴを適用してもよい。いくつかの例では、逆変換処理ユニット３０８は、逆量子化の後に得られる変換ブロックの変換係数のサブセットに逆ＬＦＮＳＴを適用する。逆ＬＦＮＳＴが適用される変換ブロックの変換係数のサブセットは、ＬＦＮＳＴ領域として呼ばれることがある。ＬＦＮＳＴ領域は、変換ブロックの最も低い周波数変換係数を表す変換ブロックの左上部分であってもよい。
【0110】
［０１２１］
図３を参照して上記で説明したように、ビデオエンコーダ２００の変換処理ユニット２０６は、ＬＦＮＳＴ領域中の結果として生じる変換係数の一部分に０化プロセスを適用するように構成されていてもよい。０化プロセスは、単に、特定の領域中の各変換係数の値が０値を有するようにする。１つの例では、変換処理ユニット２０６はまた、ＬＦＮＳＴ領域のより高い周波数エリア（例えば、右下隅）中の変換係数を０化してもよい。加えて、いくつかの例では、変換処理ユニット２０６はまた、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数（例えば、いわゆるＭＴＳ領域中の係数）を０化してもよい。したがって、逆変換処理ユニット３０８は、ＬＦＮＳＴが適用されているときには、変換ブロックのあるエリア中の変換係数を０化する（または、０化動作が確実に生じる）ように構成されていてもよい。
図３を参照して上記で説明したように、ビデオエンコーダ２００の変換処理ユニット２０６は、ＬＦＮＳＴ領域中の結果として生じる変換係数の一部分に０化プロセスを適用するように構成されていてもよい。０化プロセスは、単に、特定の領域中の各変換係数の値が０値を有するようにする。１つの例では、変換処理ユニット２０６はまた、ＬＦＮＳＴ領域のより高い周波数エリア（例えば、右下隅）中の変換係数を０化してもよい。加えて、いくつかの例では、変換処理ユニット２０６はまた、ＬＦＮＳＴ領域外にある変換ブロック中の変換係数（例えば、いわゆるＭＴＳ領域中の係数）を０化してもよい。したがって、逆変換処理ユニット３０８は、ＬＦＮＳＴが適用されているときには、変換ブロックのあるエリア中の変換係数を０化する（または、０化動作が確実に生じる）ように構成されていてもよい。
【0111】
［０１２２］
図３を参照して上記で説明したように、変換処理ユニット２０６が、変換ブロックにＬＦＮＳＴを適用した場合には、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスシンタックス要素を発生させてシグナリングしてもよい。複数の値の中からのＬＦＮＳＴインデックスシンタックス要素の値は、ＬＦＮＳＴを実行するときに使用される、複数の変換の中からの特定の変換を示していてもよい。他の例では、ＬＦＮＳＴインデックスは、ＬＦＮＳＴが適用されなかったことを示していてもよい（例えば、０のＬＦＮＳＴインデックス値）。ビデオエンコーダ２００は、ＬＦＮＳＴが適用されているときには、ＬＦＮＳＴインデックスを発生させるように構成されていてもよい。ＬＦＮＳＴが適用されていないときには、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスをシグナリングするか否かを決定するように構成されていてもよい。同様に、図４を参照すると、ビデオデコーダ３００の逆変換処理ユニット３０８は、いくつかの状況では、エンコードされたビデオビットストリーム中でＬＦＮＳＴインデックスを受信しないように構成されていてもよい。代わりに、ビデオデコーダ３００の逆変換処理ユニット３０８は、いくつかの事例では、ＬＦＮＳＴインデックスの値を推測してもよい。
図３を参照して上記で説明したように、変換処理ユニット２０６が、変換ブロックにＬＦＮＳＴを適用した場合には、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスシンタックス要素を発生させてシグナリングしてもよい。複数の値の中からのＬＦＮＳＴインデックスシンタックス要素の値は、ＬＦＮＳＴを実行するときに使用される、複数の変換の中からの特定の変換を示していてもよい。他の例では、ＬＦＮＳＴインデックスは、ＬＦＮＳＴが適用されなかったことを示していてもよい（例えば、０のＬＦＮＳＴインデックス値）。ビデオエンコーダ２００は、ＬＦＮＳＴが適用されているときには、ＬＦＮＳＴインデックスを発生させるように構成されていてもよい。ＬＦＮＳＴが適用されていないときには、ビデオエンコーダ２００は、ＬＦＮＳＴインデックスをシグナリングするか否かを決定するように構成されていてもよい。同様に、図４を参照すると、ビデオデコーダ３００の逆変換処理ユニット３０８は、いくつかの状況では、エンコードされたビデオビットストリーム中でＬＦＮＳＴインデックスを受信しないように構成されていてもよい。代わりに、ビデオデコーダ３００の逆変換処理ユニット３０８は、いくつかの事例では、ＬＦＮＳＴインデックスの値を推測してもよい。
【0112】
［０１２３］
例えば、ビデオエンコーダ２００は、最後の有意（例えば、非０）変換係数の位置が、ＬＦＮＳＴが適用されている場合に通常は０化されるであろう変換ブロック中の位置にあるケースでは、ＬＦＮＳＴインデックスをシグナリングしないことを決定してもよい。これは、ビデオエンコーダ２００が、最後の有意係数の位置を示す１つ以上のシンタックス要素を発生させ、エンコードされたビデオビットストリーム中でシグナリングするからである。ビデオデコーダ３００が、最初に、最後の有意係数の位置を受信してデコードするので、ビデオデコーダ３００は、最後の有意係数の位置が変換ブロックの０化領域中にある場合には、ＬＦＮＳＴが実行されていないことを示すＬＦＮＳＴインデックスを受信する必要がない。むしろ、ビデオデコーダ３００の逆変換処理ユニット３０８は、ＬＦＮＳＴインデックスの値が０であり、ＬＦＮＳＴが適用されていないことを推測（例えば、明示的なシンタックス要素なしで決定）してもよい。
例えば、ビデオエンコーダ２００は、最後の有意（例えば、非０）変換係数の位置が、ＬＦＮＳＴが適用されている場合に通常は０化されるであろう変換ブロック中の位置にあるケースでは、ＬＦＮＳＴインデックスをシグナリングしないことを決定してもよい。これは、ビデオエンコーダ２００が、最後の有意係数の位置を示す１つ以上のシンタックス要素を発生させ、エンコードされたビデオビットストリーム中でシグナリングするからである。ビデオデコーダ３００が、最初に、最後の有意係数の位置を受信してデコードするので、ビデオデコーダ３００は、最後の有意係数の位置が変換ブロックの０化領域中にある場合には、ＬＦＮＳＴが実行されていないことを示すＬＦＮＳＴインデックスを受信する必要がない。むしろ、ビデオデコーダ３００の逆変換処理ユニット３０８は、ＬＦＮＳＴインデックスの値が０であり、ＬＦＮＳＴが適用されていないことを推測（例えば、明示的なシンタックス要素なしで決定）してもよい。
【0113】
［０１２４］
さらに、予測処理ユニット３０４は、エントロピーデコーディングユニット３０２によってエントロピーデコードされた予測情報シンタックス要素にしたがって、予測ブロックを発生させる。例えば、現在ブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６が予測ブロックを発生させてもよい。このケースでは、予測情報シンタックス要素は、参照ブロックを取り出すべきＤＰＢ３１４中の参照ピクチャーとともに、現在ピクチャー中の現在ブロックのロケーションに対する、参照ピクチャー中の参照ブロックのロケーションを識別する動きベクトルを示していてもよい。動き補償ユニット３１６は、一般的に、動き補償ユニット２２４（図３）に関して説明した方法と実質的に類似する方法で、インター予測プロセスを実行してもよい。
さらに、予測処理ユニット３０４は、エントロピーデコーディングユニット３０２によってエントロピーデコードされた予測情報シンタックス要素にしたがって、予測ブロックを発生させる。例えば、現在ブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６が予測ブロックを発生させてもよい。このケースでは、予測情報シンタックス要素は、参照ブロックを取り出すべきＤＰＢ３１４中の参照ピクチャーとともに、現在ピクチャー中の現在ブロックのロケーションに対する、参照ピクチャー中の参照ブロックのロケーションを識別する動きベクトルを示していてもよい。動き補償ユニット３１６は、一般的に、動き補償ユニット２２４（図３）に関して説明した方法と実質的に類似する方法で、インター予測プロセスを実行してもよい。
【0114】
［０１２５］
別の例として、現在ブロックがイントラ予測されることを予測情報シンタックス要素が示している場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されているイントラ予測モードにしたがって、予測ブロックを発生させてもよい。再度説明すると、イントラ予測ユニット３１８は、一般的に、イントラ予測ユニット２２６（図３）に関して説明した方法と実質的に類似する方法で、イントラ予測プロセスを実行してもよい。イントラ予測ユニット３１８は、現在ブロックに対する隣接するサンプルのデータをＤＰＢ３１４から取り出してもよい。
別の例として、現在ブロックがイントラ予測されることを予測情報シンタックス要素が示している場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されているイントラ予測モードにしたがって、予測ブロックを発生させてもよい。再度説明すると、イントラ予測ユニット３１８は、一般的に、イントラ予測ユニット２２６（図３）に関して説明した方法と実質的に類似する方法で、イントラ予測プロセスを実行してもよい。イントラ予測ユニット３１８は、現在ブロックに対する隣接するサンプルのデータをＤＰＢ３１４から取り出してもよい。
【0115】
［０１２６］
再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して、現在ブロックを再構築してもよい。例えば、再構築ユニット３１０は、残差ブロックのサンプルを予測ブロックの対応するサンプルに追加して、現在ブロックを再構築してもよい。
再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して、現在ブロックを再構築してもよい。例えば、再構築ユニット３１０は、残差ブロックのサンプルを予測ブロックの対応するサンプルに追加して、現在ブロックを再構築してもよい。
【0116】
［０１２７］
フィルタユニット３１２は、再構築されたブロックに対して１つ以上のフィルタ動作を実行してもよい。例えば、フィルタユニット３１２は、デブロッキング動作を実行して、再構築されたブロックのエッジに沿ったブロッキネスアーティファクトを低減させてもよい。フィルタユニット３１２の動作は、必ずしもすべての例において実行する必要はない。
フィルタユニット３１２は、再構築されたブロックに対して１つ以上のフィルタ動作を実行してもよい。例えば、フィルタユニット３１２は、デブロッキング動作を実行して、再構築されたブロックのエッジに沿ったブロッキネスアーティファクトを低減させてもよい。フィルタユニット３１２の動作は、必ずしもすべての例において実行する必要はない。
【0117】
［０１２８］
ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４中に記憶させてもよい。例えば、フィルタユニット３１２の動作が必要とされない例では、再構築ユニット３１０が、再構築されたブロックをＤＰＢ３１４に記憶させてもよい。フィルタユニット３１２の動作が必要とされる例では、フィルタユニット３１２が、再構築されフィルタされたブロックをＤＰＢ３１４に記憶させてもよい。上記で説明したように、ＤＰＢ３１４は、イントラ予測に対する現在ピクチャーと、後続の動き補償のための以前にデコードされたピクチャーとのサンプルのような参照情報を、予測処理ユニット３０４に提供してもよい。さらに、ビデオデコーダ３００は、図１のディスプレイデバイス１１８のようなディスプレイデバイス上での後続の提示のために、ＤＰＢ３１４からデコードされたピクチャー（例えば、デコードされたビデオ）を出力してもよい。
ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４中に記憶させてもよい。例えば、フィルタユニット３１２の動作が必要とされない例では、再構築ユニット３１０が、再構築されたブロックをＤＰＢ３１４に記憶させてもよい。フィルタユニット３１２の動作が必要とされる例では、フィルタユニット３１２が、再構築されフィルタされたブロックをＤＰＢ３１４に記憶させてもよい。上記で説明したように、ＤＰＢ３１４は、イントラ予測に対する現在ピクチャーと、後続の動き補償のための以前にデコードされたピクチャーとのサンプルのような参照情報を、予測処理ユニット３０４に提供してもよい。さらに、ビデオデコーダ３００は、図１のディスプレイデバイス１１８のようなディスプレイデバイス上での後続の提示のために、ＤＰＢ３１４からデコードされたピクチャー（例えば、デコードされたビデオ）を出力してもよい。
【0118】
［０１２９］
このようにして、以下でより詳細に説明するように、ビデオデコーダ３００は、ビデオデータを記憶するように構成されているメモリと、回路中で実現され、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値を推測する（例えば、デコードしない）ようにと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを逆変換するように構成されている１つ以上の処理ユニットとを含む、ビデオデコーディングデバイスの例を表している。
このようにして、以下でより詳細に説明するように、ビデオデコーダ３００は、ビデオデータを記憶するように構成されているメモリと、回路中で実現され、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値を推測する（例えば、デコードしない）ようにと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを逆変換するように構成されている１つ以上の処理ユニットとを含む、ビデオデコーディングデバイスの例を表している。
【0119】
［０１３０］
１つの例では、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域の両方を含むようにと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換するように構成されていてもよい。
１つの例では、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、変換ブロックの０化領域は、変換ブロックのＬＦＮＳＴ領域内の第１の領域と、ＬＦＮＳＴ領域外の変換ブロックの第２の領域の両方を含むようにと、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換するように構成されていてもよい。
【0120】
［０１３１］
変換関連ツールの概要
［０１３２］
ＨＥＶＣより前の例示的なビデオコーディング標準規格では、ビデオエンコーディングおよびビデオデコーディングにおいて、固定された分離変換または固定された分離逆変換のみが使用され、タイプ２離散コサイン変換（ＤＣＴ－２）が、垂直方向と水平方向の両方で使用されている。ＨＥＶＣでは、ＤＣＴ－２に加えて、タイプ７離散サイン変換（ＤＳＴ－７）も、固定された分離変換として、４×４ブロックに対して用いられている。
変換関連ツールの概要
［０１３２］
ＨＥＶＣより前の例示的なビデオコーディング標準規格では、ビデオエンコーディングおよびビデオデコーディングにおいて、固定された分離変換または固定された分離逆変換のみが使用され、タイプ２離散コサイン変換（ＤＣＴ－２）が、垂直方向と水平方向の両方で使用されている。ＨＥＶＣでは、ＤＣＴ－２に加えて、タイプ７離散サイン変換（ＤＳＴ－７）も、固定された分離変換として、４×４ブロックに対して用いられている。
【0121】
［０１３３］
以下の同時係続中の米国特許および米国特許出願、２０１９年５月２８日に発行された米国特許第１０３０６２２９号、２０１８年１月１８日に公開された米国特許公開第２０１８／００２０２１８号、および、２０１９年１２月５日に公開された米国特許公開第２０１９／０３７３２６１号は、複数の変換選択（ＭＴＳ）技法を説明している。ＭＴＳは、以前は適応多重変換（ＡＭＴ）と呼ばれていたことに留意されたい。ＭＴＳ技法は、一般的に、以前に説明されていたＡＭＴ技法と同じである。米国特許公開第２０１９／０３７３２６１号中で説明されているＭＴＳの例は、ジョイントビデオエキスパートチーム（ＪＶＥＴ）のジョイントエクスペリメンタルモデル７．０（ＪＥＭ－７．０）において採用されており、後に、ＭＴＳの簡略化バージョンがＶＶＣにおいて採用されている（例えば、ｈｔｔｐ：／／ｗｗｗ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｆｉｅｌｄｓ－ｏｆ－ｃｏｍｐｅｔｅｎｃｅ／ｉｍａｇｅ－ｐｒｏｃｅｓｓｉｎｇ／ｒｅｓｅａｒｃｈ－ｇｒｏｕｐｓ／ｉｍａｇｅ－ｖｉｄｅｏ－ｃｏｄｉｎｇ／ｈｅｖｃ－ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ－ｖｉｄｅｏ－ｃｏｄｉｎｇ／ｔｒａｎｓｆｏｒｍ－ｃｏｄｉｎｇ－ｕｓｉｎｇ－ｔｈｅ－ｒｅｓｉｄｕａｌ－ｑｕａｄｔｒｅｅ－ｒｑｔ．ｈｔｍｌを参照されたい）。
以下の同時係続中の米国特許および米国特許出願、２０１９年５月２８日に発行された米国特許第１０３０６２２９号、２０１８年１月１８日に公開された米国特許公開第２０１８／００２０２１８号、および、２０１９年１２月５日に公開された米国特許公開第２０１９／０３７３２６１号は、複数の変換選択（ＭＴＳ）技法を説明している。ＭＴＳは、以前は適応多重変換（ＡＭＴ）と呼ばれていたことに留意されたい。ＭＴＳ技法は、一般的に、以前に説明されていたＡＭＴ技法と同じである。米国特許公開第２０１９／０３７３２６１号中で説明されているＭＴＳの例は、ジョイントビデオエキスパートチーム（ＪＶＥＴ）のジョイントエクスペリメンタルモデル７．０（ＪＥＭ－７．０）において採用されており、後に、ＭＴＳの簡略化バージョンがＶＶＣにおいて採用されている（例えば、ｈｔｔｐ：／／ｗｗｗ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｆｉｅｌｄｓ－ｏｆ－ｃｏｍｐｅｔｅｎｃｅ／ｉｍａｇｅ－ｐｒｏｃｅｓｓｉｎｇ／ｒｅｓｅａｒｃｈ－ｇｒｏｕｐｓ／ｉｍａｇｅ－ｖｉｄｅｏ－ｃｏｄｉｎｇ／ｈｅｖｃ－ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ－ｖｉｄｅｏ－ｃｏｄｉｎｇ／ｔｒａｎｓｆｏｒｍ－ｃｏｄｉｎｇ－ｕｓｉｎｇ－ｔｈｅ－ｒｅｓｉｄｕａｌ－ｑｕａｄｔｒｅｅ－ｒｑｔ．ｈｔｍｌを参照されたい）。
【0122】
［０１３４］
一般的に、ＭＴＳを使用して、変換係数の変換ブロックをエンコードまたはデコードするときには、ビデオエンコーダ２００およびビデオデコーダ３００は、使用すべき複数の分離変換のうちの１つ以上の分離変換を決定してもよい。分離変換のより多くの選択を含めることにより、選択される変換が、コード化されているコンテンツにより適合されるかもしれないので、コーディング効率が増加するかもしれない。
一般的に、ＭＴＳを使用して、変換係数の変換ブロックをエンコードまたはデコードするときには、ビデオエンコーダ２００およびビデオデコーダ３００は、使用すべき複数の分離変換のうちの１つ以上の分離変換を決定してもよい。分離変換のより多くの選択を含めることにより、選択される変換が、コード化されているコンテンツにより適合されるかもしれないので、コーディング効率が増加するかもしれない。
【0123】
［０１３５］
図５は、エンコーダ側およびデコーダ側（例えば、ビデオエンコーダ２００およびビデオデコーダ３００）における例示的な低周波数非分離変換（ＬＦＮＳＴ）の図であり、ＬＦＮＳＴの使用は、コーデックにおける分離変換と量子化との間に新しいステージを導入する。図５中に示されているように、エンコーダ側（例えば、ビデオエンコーダ２００）において、変換処理ユニット２０６は、最初に、変換ブロックに分離変換５００を適用して、変換係数を得てもよい。変換処理ユニット２０６は、その後、変換ブロックの変換係数の一部分（例えば、ＬＦＮＳＴ領域）にＬＦＮＳＴ５０２を適用してもよい。上記で説明したように、変換処理ユニット２０６は、ＬＦＮＳＴに関連して０化プロセスを適用してもよい。量子化ユニット２０８は、その後、エントロピーエンコーディングの前に、結果的に得られた変換係数を量子化してもよい。
図５は、エンコーダ側およびデコーダ側（例えば、ビデオエンコーダ２００およびビデオデコーダ３００）における例示的な低周波数非分離変換（ＬＦＮＳＴ）の図であり、ＬＦＮＳＴの使用は、コーデックにおける分離変換と量子化との間に新しいステージを導入する。図５中に示されているように、エンコーダ側（例えば、ビデオエンコーダ２００）において、変換処理ユニット２０６は、最初に、変換ブロックに分離変換５００を適用して、変換係数を得てもよい。変換処理ユニット２０６は、その後、変換ブロックの変換係数の一部分（例えば、ＬＦＮＳＴ領域）にＬＦＮＳＴ５０２を適用してもよい。上記で説明したように、変換処理ユニット２０６は、ＬＦＮＳＴに関連して０化プロセスを適用してもよい。量子化ユニット２０８は、その後、エントロピーエンコーディングの前に、結果的に得られた変換係数を量子化してもよい。
【0124】
［０１３６］
デコーダ側（例えば、ビデオデコーダ３００）において、逆量子化ユニット３０６が、最初に、変換ブロック中のエントロピーデコードされた変換係数を逆量子化する（図４参照）。その後、ビデオデコーダ３００の逆変換処理ユニット３０８が、変換ブロックのＬＦＳＮＴ領域に逆ＬＦＮＳＴ５０４を適用する。その後、逆変換処理ユニット３０８が、逆ＬＦＮＳＴの結果に逆分離変換５０６を適用して、残差ブロックを生成させる。
デコーダ側（例えば、ビデオデコーダ３００）において、逆量子化ユニット３０６が、最初に、変換ブロック中のエントロピーデコードされた変換係数を逆量子化する（図４参照）。その後、ビデオデコーダ３００の逆変換処理ユニット３０８が、変換ブロックのＬＦＳＮＴ領域に逆ＬＦＮＳＴ５０４を適用する。その後、逆変換処理ユニット３０８が、逆ＬＦＮＳＴの結果に逆分離変換５０６を適用して、残差ブロックを生成させる。
【0125】
［０１３７］
（例えば、図５中に図示されているような）例示的なＬＦＮＳＴは、ＭＴＳのコーディング効率をさらに改善するためにＪＥＭ－７．０において使用され、ＬＦＮＳＴのインプリメンテーションは、２０１７年２月１４日に出願された米国特許第１０４４８０５３号中で説明されている例示的なハイパーキューブギブン変換（ＨｙＧＴ）に基づいている。２０１６年９月２０日に出願された米国特許第１０４９１９２２号、２０１７年３月３０日に公開された米国特許公開第２０１７／００９４３１４号、２０１７年２月１４日に出願された米国特許第１０３４９０８５号、２０１９年３月２５日に出願された米国特許出願第１６／３５４００７号は、他の例示的な設計およびさらなる詳細を説明している。近年、ＬＦＮＳＴは、ＶＶＣ標準規格で採用されている（ＪＶＥＴ－Ｎ０１９３、低減された２次変換（ＲＳＴ）（ＣＥ６－３．１）、オンラインで入手可能：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ－Ｎ０１９３－ｖ５．ｚｉｐを参照）。ＬＦＮＳＴは、以前は非分離２次変換（ＮＳＳＴ）または２次変換と呼ばれていた。
（例えば、図５中に図示されているような）例示的なＬＦＮＳＴは、ＭＴＳのコーディング効率をさらに改善するためにＪＥＭ－７．０において使用され、ＬＦＮＳＴのインプリメンテーションは、２０１７年２月１４日に出願された米国特許第１０４４８０５３号中で説明されている例示的なハイパーキューブギブン変換（ＨｙＧＴ）に基づいている。２０１６年９月２０日に出願された米国特許第１０４９１９２２号、２０１７年３月３０日に公開された米国特許公開第２０１７／００９４３１４号、２０１７年２月１４日に出願された米国特許第１０３４９０８５号、２０１９年３月２５日に出願された米国特許出願第１６／３５４００７号は、他の例示的な設計およびさらなる詳細を説明している。近年、ＬＦＮＳＴは、ＶＶＣ標準規格で採用されている（ＪＶＥＴ－Ｎ０１９３、低減された２次変換（ＲＳＴ）（ＣＥ６－３．１）、オンラインで入手可能：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ－Ｎ０１９３－ｖ５．ｚｉｐを参照）。ＬＦＮＳＴは、以前は非分離２次変換（ＮＳＳＴ）または２次変換と呼ばれていた。
【0126】
［０１３８］
現在ＶＶＣにおける０化プロセス
［０１３９］
ＶＶＣドラフト５におけるＬＦＮＳＴ設計では、エンコーダ（例えば、ビデオエンコーダ２００）は、Ｋ個の最低周波数変換係数をそのまま維持する０化動作を実行するように構成されていてもよい（例えば、Ｋ個の最低周波数変換係数の値は０化されない）。Ｋ個の最低周波数変換係数は、サイズＮ（例えば、８×８ＬＦＮＳＴ領域に対してＮ＝６４）のＬＦＮＳＴにより変換される。デコーダ（例えば、ビデオデコーダ３００）は、（Ｋ個のＬＦＮＳＴ係数としても呼ばれる）それらのＫ個の係数のみを使用することにより、分離係数（例えば、ＭＴＳ係数）を再構築する。ＶＶＣドラフト５では、このような０化プロセスは、標準的に、サイズ４×４および８×８のＬＦＮＳＴに対してのみ行われ、デコーダは、残りのＮ－Ｋ個のより高い周波変換係数の値が０の値を有するように設定され、Ｋ個のＬＦＮＳＴ係数が再構築のために使用されることを暗黙的に推測する（シグナリングを受信することなく、仮定または決定する）。
現在ＶＶＣにおける０化プロセス
［０１３９］
ＶＶＣドラフト５におけるＬＦＮＳＴ設計では、エンコーダ（例えば、ビデオエンコーダ２００）は、Ｋ個の最低周波数変換係数をそのまま維持する０化動作を実行するように構成されていてもよい（例えば、Ｋ個の最低周波数変換係数の値は０化されない）。Ｋ個の最低周波数変換係数は、サイズＮ（例えば、８×８ＬＦＮＳＴ領域に対してＮ＝６４）のＬＦＮＳＴにより変換される。デコーダ（例えば、ビデオデコーダ３００）は、（Ｋ個のＬＦＮＳＴ係数としても呼ばれる）それらのＫ個の係数のみを使用することにより、分離係数（例えば、ＭＴＳ係数）を再構築する。ＶＶＣドラフト５では、このような０化プロセスは、標準的に、サイズ４×４および８×８のＬＦＮＳＴに対してのみ行われ、デコーダは、残りのＮ－Ｋ個のより高い周波変換係数の値が０の値を有するように設定され、Ｋ個のＬＦＮＳＴ係数が再構築のために使用されることを暗黙的に推測する（シグナリングを受信することなく、仮定または決定する）。
【0127】
［０１４０］
図６は、０化されたサイズＨｘＷの変換ブロック６０２に、サイズＮのＬＦＮＳＴを適用した後に得られた変換係数の代表的な図であり、Ｎ個の変換係数のうちのＺ個の変換係数が０化され、Ｋ個の係数が維持されている。図６中に示されるように、ビデオエンコーダ２００は、（例えば、ＭＴＳ技法を使用して）変換ブロック６０２に分離変換を適用して、ＭＴＳ係数を得る。ビデオエンコーダ２００は、その後、変換ブロック６０２の（ｈ×ｗのサイズを有する）ＬＦＮＳＴ領域６００にＬＦＮＳＴを適用する。ＬＦＮＳＴ領域６００の暗い領域６０１は、維持されているＫ個の係数（例えば、ＬＦＮＳＴ係数）である。ＬＦＮＳＴ領域６００の白い領域は、０化されているＺ（Ｎ－Ｋ）個の係数（０化された係数）である。
図６は、０化されたサイズＨｘＷの変換ブロック６０２に、サイズＮのＬＦＮＳＴを適用した後に得られた変換係数の代表的な図であり、Ｎ個の変換係数のうちのＺ個の変換係数が０化され、Ｋ個の係数が維持されている。図６中に示されるように、ビデオエンコーダ２００は、（例えば、ＭＴＳ技法を使用して）変換ブロック６０２に分離変換を適用して、ＭＴＳ係数を得る。ビデオエンコーダ２００は、その後、変換ブロック６０２の（ｈ×ｗのサイズを有する）ＬＦＮＳＴ領域６００にＬＦＮＳＴを適用する。ＬＦＮＳＴ領域６００の暗い領域６０１は、維持されているＫ個の係数（例えば、ＬＦＮＳＴ係数）である。ＬＦＮＳＴ領域６００の白い領域は、０化されているＺ（Ｎ－Ｋ）個の係数（０化された係数）である。
【0128】
［０１４１］
２０１６年９月２０日に出願された米国特許第１０４９１９２２号、２０１７年３月３０日に公開された米国特許公開第２０１７／００９４３１４号、および、２０１９年１月３１日に出願された米国仮出願第６２／７９９４１０号で説明されているように、ＬＦＮＳＴは、最初に、ＬＦＮＳＴ領域（例えば、図６中のＬＦＮＳＴ領域６００）である２－Ｄサブブロックを、予め規定されている走査／順序付けを介して、変換係数の１－Ｄリスト（または、ベクトル）に変換し、その後、変換係数のサブセット（例えば、０化されていない変換係数）に変換を適用することにより実行されてもよい。
２０１６年９月２０日に出願された米国特許第１０４９１９２２号、２０１７年３月３０日に公開された米国特許公開第２０１７／００９４３１４号、および、２０１９年１月３１日に出願された米国仮出願第６２／７９９４１０号で説明されているように、ＬＦＮＳＴは、最初に、ＬＦＮＳＴ領域（例えば、図６中のＬＦＮＳＴ領域６００）である２－Ｄサブブロックを、予め規定されている走査／順序付けを介して、変換係数の１－Ｄリスト（または、ベクトル）に変換し、その後、変換係数のサブセット（例えば、０化されていない変換係数）に変換を適用することにより実行されてもよい。
【0129】
［０１４２］
図７は、何らかの０化なしで得られた分離変換係数（ＭＴＳ）およびＬＦＮＳＴ係数の例を示している。図７中に示されているように、ビデオエンコーダ２００は、（例えば、ＭＴＳ技法を使用して）（ＨｘＷのサイズを有する）変換ブロック７０２に分離変換を適用して、ＭＴＳ係数を得る。ビデオエンコーダ２００は、その後、変換ブロック７０２の（例えば、ｈ×ｗのサイズを有する）ＬＦＮＳＴ領域７００にＬＦＮＳＴを適用する。図７の例では、ＬＦＮＳＴ領域７００のすべてのＮ個の係数（例えば、ＬＦＮＳＴ係数）は、維持されている。すなわち、図７の例では、０化は実行されていない。
図７は、何らかの０化なしで得られた分離変換係数（ＭＴＳ）およびＬＦＮＳＴ係数の例を示している。図７中に示されているように、ビデオエンコーダ２００は、（例えば、ＭＴＳ技法を使用して）（ＨｘＷのサイズを有する）変換ブロック７０２に分離変換を適用して、ＭＴＳ係数を得る。ビデオエンコーダ２００は、その後、変換ブロック７０２の（例えば、ｈ×ｗのサイズを有する）ＬＦＮＳＴ領域７００にＬＦＮＳＴを適用する。図７の例では、ＬＦＮＳＴ領域７００のすべてのＮ個の係数（例えば、ＬＦＮＳＴ係数）は、維持されている。すなわち、図７の例では、０化は実行されていない。
【0130】
［０１４３］
本開示は、以前のＬＦＮＳＴ技法に関連するシグナリングオーバーヘッドおよび複雑性の問題を取り扱うかもしれないさまざまな技法を説明している。本開示の技法は、（ｉ）ＬＦＮＳＴインデックス／フラグのシグナリングオーバーヘッドを低減し、（ｉｉ）分離変換係数に対して０化を拡張することによりＬＦＮＳＴプロセスを簡略化するかもしれない。分離変換係数に対する０化領域を拡張することは、ＶＶＣ様コーデック（例えば、ビデオデコーダ３００）が、既存の係数コーディング関連シンタックス（例えば、有意（例えば、非０）係数の最後の位置を決定するために使用されるシンタックス）に基づいて、ＬＦＮＳＴインデックス／フラグを推測することを可能にする。
本開示は、以前のＬＦＮＳＴ技法に関連するシグナリングオーバーヘッドおよび複雑性の問題を取り扱うかもしれないさまざまな技法を説明している。本開示の技法は、（ｉ）ＬＦＮＳＴインデックス／フラグのシグナリングオーバーヘッドを低減し、（ｉｉ）分離変換係数に対して０化を拡張することによりＬＦＮＳＴプロセスを簡略化するかもしれない。分離変換係数に対する０化領域を拡張することは、ＶＶＣ様コーデック（例えば、ビデオデコーダ３００）が、既存の係数コーディング関連シンタックス（例えば、有意（例えば、非０）係数の最後の位置を決定するために使用されるシンタックス）に基づいて、ＬＦＮＳＴインデックス／フラグを推測することを可能にする。
【0131】
［０１４４］
本開示で説明されているシグナリング方法は、ＬＦＮＳＴを参照して説明されているが、本開示の技法はＬＦＮＳＴに限定されず、他の変換関連シンタックスのシグナリングを低減させるために適用することができる。
本開示で説明されているシグナリング方法は、ＬＦＮＳＴを参照して説明されているが、本開示の技法はＬＦＮＳＴに限定されず、他の変換関連シンタックスのシグナリングを低減させるために適用することができる。
【0132】
［０１４５］
ＬＦＮＳＴシグナリング技法
［０１４６］
ビデオエンコーダ２００およびビデオデコーダ３００は、以下のＬＦＮＳＴシグナリング技法を個々にまたは何らかの組み合わせで使用するように構成されていてもよい。本開示のコンテキストでは、シグナリングは、ビデオエンコーダ２００が、１つ以上のシンタックス構造（例えば、ヘッダまたはパラメータセット）中の１つ以上のシンタックス要素および／またはフラグをエンコードすることを指しているかもしれない。相互的に、ビデオデコーダ３００は、このようなシンタックス要素および／またはフラグを受信してデコードしてもよい。いくつかの例では、ビデオデコーダ３００は、ビットストリーム中でそれらを明示的に受信することなく、いくつかのシンタックス要素および／またはフラグの値を推測するように構成されていてもよい。
ＬＦＮＳＴシグナリング技法
［０１４６］
ビデオエンコーダ２００およびビデオデコーダ３００は、以下のＬＦＮＳＴシグナリング技法を個々にまたは何らかの組み合わせで使用するように構成されていてもよい。本開示のコンテキストでは、シグナリングは、ビデオエンコーダ２００が、１つ以上のシンタックス構造（例えば、ヘッダまたはパラメータセット）中の１つ以上のシンタックス要素および／またはフラグをエンコードすることを指しているかもしれない。相互的に、ビデオデコーダ３００は、このようなシンタックス要素および／またはフラグを受信してデコードしてもよい。いくつかの例では、ビデオデコーダ３００は、ビットストリーム中でそれらを明示的に受信することなく、いくつかのシンタックス要素および／またはフラグの値を推測するように構成されていてもよい。
【0133】
［０１４７］
いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、標準的０化有りで、ＬＦＮＳＴを適用するように構成されている。このコンテキストでは、標準的０化は、変換ブロックのどの領域（例えば、ＬＦＮＳＴ領域の内側と外側の両方）が０化されるかを規定している。標準的０化は、予め規定されているセットの条件（例えば、ブロックサイズ、ブロック形状、および／または、分離変換を示すＭＴＳインデックス／フラグのような変換関連シンタックス）に基づいて、ビデオエンコーダ２００とビデオデコーダ３００の両方において適用される。ビデオエンコーダ２００およびビデオデコーダ３００が、標準的０化有りで、ＬＦＮＳＴを適用するように構成されているときには、ビデオデコーダ３００は、標準的に規定されている０係数のパターンに基づいて、ＬＦＮＳＴインデックス／フラグを直接的に推測するように構成されていてもよい。このようなことから、ビデオエンコーダ２００は、ＬＦＮＳＴインデックス／フラグをシグナリングする必要がない。
いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、標準的０化有りで、ＬＦＮＳＴを適用するように構成されている。このコンテキストでは、標準的０化は、変換ブロックのどの領域（例えば、ＬＦＮＳＴ領域の内側と外側の両方）が０化されるかを規定している。標準的０化は、予め規定されているセットの条件（例えば、ブロックサイズ、ブロック形状、および／または、分離変換を示すＭＴＳインデックス／フラグのような変換関連シンタックス）に基づいて、ビデオエンコーダ２００とビデオデコーダ３００の両方において適用される。ビデオエンコーダ２００およびビデオデコーダ３００が、標準的０化有りで、ＬＦＮＳＴを適用するように構成されているときには、ビデオデコーダ３００は、標準的に規定されている０係数のパターンに基づいて、ＬＦＮＳＴインデックス／フラグを直接的に推測するように構成されていてもよい。このようなことから、ビデオエンコーダ２００は、ＬＦＮＳＴインデックス／フラグをシグナリングする必要がない。
【0134】
［０１４８］
例えば、０化領域のパターン／形状（例えば、図６中のＬＦＮＳＴ領域６００の白色領域を参照）は、予め規定されているセットのルール（例えば、ブロックサイズ、ブロック形状、および／または、ＭＴＳインデックス／フラグのような変換関連シンタックス）に依存して、変化してもよい。ビデオデコーダ３００は、観測されたパターンに基づいて、ＬＦＮＳＴインデックス／フラグの値を推測するように構成されていてもよく、ＬＦＮＳＴインデックス／フラグは、ビデオエンコーダ２００により明示的にシグナリングされないかもしれない。いくつかの例では、ＬＦＮＳＴフラグは、ＬＦＮＳＴが適用されているか否か（例えば、ＬＦＮＳＴフラグ＝１）、または、ＬＦＮＳＴが適用されていないか否か（ＬＦＮＳＴフラグ＝０）を示していてもよい。他の例では、ＬＦＮＳＴインデックスは、ＬＦＮＳＴが適用されていないこと（ＬＦＮＳＴインデックス＝０）を示していてもよく、または、ＬＦＮＳＴが適用されているときには、適用されることになる特定のタイプのＬＦＮＳＴを示していてもよい（ＬＦＮＳＴインデックス＞０）。
例えば、０化領域のパターン／形状（例えば、図６中のＬＦＮＳＴ領域６００の白色領域を参照）は、予め規定されているセットのルール（例えば、ブロックサイズ、ブロック形状、および／または、ＭＴＳインデックス／フラグのような変換関連シンタックス）に依存して、変化してもよい。ビデオデコーダ３００は、観測されたパターンに基づいて、ＬＦＮＳＴインデックス／フラグの値を推測するように構成されていてもよく、ＬＦＮＳＴインデックス／フラグは、ビデオエンコーダ２００により明示的にシグナリングされないかもしれない。いくつかの例では、ＬＦＮＳＴフラグは、ＬＦＮＳＴが適用されているか否か（例えば、ＬＦＮＳＴフラグ＝１）、または、ＬＦＮＳＴが適用されていないか否か（ＬＦＮＳＴフラグ＝０）を示していてもよい。他の例では、ＬＦＮＳＴインデックスは、ＬＦＮＳＴが適用されていないこと（ＬＦＮＳＴインデックス＝０）を示していてもよく、または、ＬＦＮＳＴが適用されているときには、適用されることになる特定のタイプのＬＦＮＳＴを示していてもよい（ＬＦＮＳＴインデックス＞０）。
【0135】
［０１４９］
１つの例では、ＬＦＮＳＴが使用されるときに０化されることが想定される位置の中に非０係数があることをビデオデコーダ３００が決定する場合には、ビデオデコーダ３００は、ＬＦＮＳＴが適用されていないことを推測（例えば、ＬＦＮＳＴインデックスの値が０であることを推測）してもよい。このケースでは、ビデオデコーダ３００は、ＬＦＮＳＴインデックス／フラグの値を０として推測してもよく、０はＬＦＮＳＴを適用していないことに対応している。例えば、最後の非０係数の位置が変換ブロックの０化領域中にある場合には、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値が０であることを決定してもよい。以下で説明するように、０化領域は、変換ブロックのＬＦＮＳＴ領域内の０化領域および／または変換ブロックのＬＦＮＳＴ領域外の０化領域であってもよい。
１つの例では、ＬＦＮＳＴが使用されるときに０化されることが想定される位置の中に非０係数があることをビデオデコーダ３００が決定する場合には、ビデオデコーダ３００は、ＬＦＮＳＴが適用されていないことを推測（例えば、ＬＦＮＳＴインデックスの値が０であることを推測）してもよい。このケースでは、ビデオデコーダ３００は、ＬＦＮＳＴインデックス／フラグの値を０として推測してもよく、０はＬＦＮＳＴを適用していないことに対応している。例えば、最後の非０係数の位置が変換ブロックの０化領域中にある場合には、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値が０であることを決定してもよい。以下で説明するように、０化領域は、変換ブロックのＬＦＮＳＴ領域内の０化領域および／または変換ブロックのＬＦＮＳＴ領域外の０化領域であってもよい。
【0136】
［０１５０］
ビデオエンコーダ２００が、最後の有意係数の位置を示す１つ以上のシンタックス要素を発生させて、エンコードされたビデオビットストリーム中でシグナリングするかもしれないことから、ビデオデコーダ３００は、最後の有意係数の位置を決定するように構成されていてもよい。ビデオデコーダ３００は、最初に（例えば、ＬＦＮＳＴを適用するか否かを決定する前に）、最後の有意係数の位置を受信してデコードするので、ビデオデコーダ３００は、最後の有意係数の位置が、変換ブロックの０化領域中にある場合には、ＬＦＮＳＴが実行されていないことを示すＬＦＮＳＴインデックスを受信する必要がない。むしろ、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値が０であり、ＬＦＮＳＴが適用されていないことを推測（例えば、明示的なシンタックス要素なしで決定）してもよい。
ビデオエンコーダ２００が、最後の有意係数の位置を示す１つ以上のシンタックス要素を発生させて、エンコードされたビデオビットストリーム中でシグナリングするかもしれないことから、ビデオデコーダ３００は、最後の有意係数の位置を決定するように構成されていてもよい。ビデオデコーダ３００は、最初に（例えば、ＬＦＮＳＴを適用するか否かを決定する前に）、最後の有意係数の位置を受信してデコードするので、ビデオデコーダ３００は、最後の有意係数の位置が、変換ブロックの０化領域中にある場合には、ＬＦＮＳＴが実行されていないことを示すＬＦＮＳＴインデックスを受信する必要がない。むしろ、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値が０であり、ＬＦＮＳＴが適用されていないことを推測（例えば、明示的なシンタックス要素なしで決定）してもよい。
【0137】
［０１５１］
ＶＶＣドラフト５では、（例えば、図６中に図示されているように）変換ブロックの４×４および８×８のＬＦＮＳＴ領域に対して標準的０化が使用され、ＬＦＮＳＴ領域内の係数のサブセットが標準的に０化される。２０１９年１月３１日に出願された同時係属中の米国仮出願第６２／７９９４１０号で説明されているように、ＬＦＮＳＴ領域外の分離変換係数（例えば、ＬＦＮＳＴ領域外のＭＴＳ係数）もまた、（例えば、図８中に図示されているように）０化されてもよい。図８は、サイズＮのＬＦＮＳＴを適用し、（サイズＨｘＷを有する）変換ブロック８０２の（サイズｈｘｗを有する）ＬＦＮＳＴ領域８００中のＺ個の係数（例えば、最も高い周波数係数）を０化し、ＬＦＮＳＴ領域８００の外側のＭＴＳ係数も０化することにより得られるＬＦＮＳＴ係数の図である。ＬＦＮＳＴ領域８００の暗い領域８０１は、維持されているＫ個の係数（例えば、ＬＦＮＳＴ係数）である。
ＶＶＣドラフト５では、（例えば、図６中に図示されているように）変換ブロックの４×４および８×８のＬＦＮＳＴ領域に対して標準的０化が使用され、ＬＦＮＳＴ領域内の係数のサブセットが標準的に０化される。２０１９年１月３１日に出願された同時係属中の米国仮出願第６２／７９９４１０号で説明されているように、ＬＦＮＳＴ領域外の分離変換係数（例えば、ＬＦＮＳＴ領域外のＭＴＳ係数）もまた、（例えば、図８中に図示されているように）０化されてもよい。図８は、サイズＮのＬＦＮＳＴを適用し、（サイズＨｘＷを有する）変換ブロック８０２の（サイズｈｘｗを有する）ＬＦＮＳＴ領域８００中のＺ個の係数（例えば、最も高い周波数係数）を０化し、ＬＦＮＳＴ領域８００の外側のＭＴＳ係数も０化することにより得られるＬＦＮＳＴ係数の図である。ＬＦＮＳＴ領域８００の暗い領域８０１は、維持されているＫ個の係数（例えば、ＬＦＮＳＴ係数）である。
【0138】
［０１５２］
このケースでは、ビデオエンコーダ２００およびビデオデコーダ３００はまた、以下のように、０化パターンを活用して、ＬＦＮＳＴインデックス／フラグを推測するようにおよび／またはシグナリングしないようにすることができる。１つの例では、ビデオデコーダ３００は、０化領域中に少なくとも１つの非０係数がある場合には、ＬＦＮＳＴが適用されていないことを推測し、例えば、０として、対応するＬＦＮＳＴインデックス／フラグ値を導出してもよい。図８では、０化領域は、変換ブロック８０２のＬＦＮＳＴ領域８００の内側と、変換ブロック８０２のＬＦＮＳＴ領域８００の外側の両方であってもよい。
このケースでは、ビデオエンコーダ２００およびビデオデコーダ３００はまた、以下のように、０化パターンを活用して、ＬＦＮＳＴインデックス／フラグを推測するようにおよび／またはシグナリングしないようにすることができる。１つの例では、ビデオデコーダ３００は、０化領域中に少なくとも１つの非０係数がある場合には、ＬＦＮＳＴが適用されていないことを推測し、例えば、０として、対応するＬＦＮＳＴインデックス／フラグ値を導出してもよい。図８では、０化領域は、変換ブロック８０２のＬＦＮＳＴ領域８００の内側と、変換ブロック８０２のＬＦＮＳＴ領域８００の外側の両方であってもよい。
【0139】
［０１５３］
別の例では、ビデオデコーダ３００は、既存のサイド情報を使用して、ＬＦＮＳＴインデックス／フラグの値を推測してもよい。例えば、ビデオデコーダ３００は、既存の最後の有意係数位置の情報（例えば、最後の有意係数の位置を示すシンタックス要素）を使用して、ＬＦＮＳＴインデックス／フラグの値を推測してもよい。ＶＶＣでは、ビデオエンコーダ２００は、それぞれ、ＸおよびＹ（水平および垂直）方向における最後の有意係数の位置を示す２つのシンタックス要素をシグナリングするように構成されていてもよい。最後の有意係数の位置を示すシンタックス要素は、０化領域中に非０（有意）係数があるか否かを示してもよい。
別の例では、ビデオデコーダ３００は、既存のサイド情報を使用して、ＬＦＮＳＴインデックス／フラグの値を推測してもよい。例えば、ビデオデコーダ３００は、既存の最後の有意係数位置の情報（例えば、最後の有意係数の位置を示すシンタックス要素）を使用して、ＬＦＮＳＴインデックス／フラグの値を推測してもよい。ＶＶＣでは、ビデオエンコーダ２００は、それぞれ、ＸおよびＹ（水平および垂直）方向における最後の有意係数の位置を示す２つのシンタックス要素をシグナリングするように構成されていてもよい。最後の有意係数の位置を示すシンタックス要素は、０化領域中に非０（有意）係数があるか否かを示してもよい。
【0140】
［０１５４］
特定の例として、最後の有意係数の位置のシグナリング（すなわち、変換ブロック中の（Ｘ，Ｙ）座標）が、０化領域中のロケーション（例えば、図８中のようにＬＦＮＳＴ領域の内側または外側のいずれか）を指す場合には、ビデオデコーダ３００は、例えば、０としてＬＦＮＳＴインデックス／フラグの値を推測してもよく、ＬＦＮＳＴは適用されない。いくつかの例では、最後の有意係数の位置は、２－Ｄ座標（Ｘ，Ｙ）の代わりに、１次元で規定されていてもよい（例えば、ＬＦＮＳＴ係数の１－Ｄリストに対するインデックスを使用して規定することができる）。
特定の例として、最後の有意係数の位置のシグナリング（すなわち、変換ブロック中の（Ｘ，Ｙ）座標）が、０化領域中のロケーション（例えば、図８中のようにＬＦＮＳＴ領域の内側または外側のいずれか）を指す場合には、ビデオデコーダ３００は、例えば、０としてＬＦＮＳＴインデックス／フラグの値を推測してもよく、ＬＦＮＳＴは適用されない。いくつかの例では、最後の有意係数の位置は、２－Ｄ座標（Ｘ，Ｙ）の代わりに、１次元で規定されていてもよい（例えば、ＬＦＮＳＴ係数の１－Ｄリストに対するインデックスを使用して規定することができる）。
【0141】
［０１５５］
したがって、上記の例に鑑みて、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい。例えば、ビデオデコーダ３００は、変換ブロック中の最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されていてもよい。ビデオデコーダ３００は、その後、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定してもよい。
したがって、上記の例に鑑みて、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい。例えば、ビデオデコーダ３００は、変換ブロック中の最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されていてもよい。ビデオデコーダ３００は、その後、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定してもよい。
【0142】
［０１５６］
図８の例によれば、変換ブロックの０化領域は、変換ブロック８０２のＬＦＮＳＴ領域８００内の第１の領域（例えば、ＬＦＮＳＴ領域８００の白色エリア）と、ＬＦＮＳＴ領域（８００）外の変換ブロック８０２の第２の領域との両方を含んでいる。ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されているか否かと、適用されている場合には、適用されているＬＦＮＳＴのタイプとを示している。
図８の例によれば、変換ブロックの０化領域は、変換ブロック８０２のＬＦＮＳＴ領域８００内の第１の領域（例えば、ＬＦＮＳＴ領域８００の白色エリア）と、ＬＦＮＳＴ領域（８００）外の変換ブロック８０２の第２の領域との両方を含んでいる。ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されているか否かと、適用されている場合には、適用されているＬＦＮＳＴのタイプとを示している。
【0143】
［０１５７］
具体的な例では、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にあるケースでは、ＬＦＮＳＴインデックスの値が０であると推測してもよく、０のＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されていないことを示している。すなわち、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、ＬＦＮＳＴインデックスの値が０であると推測するように構成されていてもよい。
具体的な例では、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にあるケースでは、ＬＦＮＳＴインデックスの値が０であると推測してもよく、０のＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されていないことを示している。すなわち、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、ＬＦＮＳＴインデックスの値が０であると推測するように構成されていてもよい。
【0144】
［０１５８］
別の例では、ＬＦＮＳＴインデックスの値を決定するために、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にないケースでは、ＬＦＮＳＴインデックスを示すシンタックス要素を受信するようにと、シンタックス要素をデコードして、ＬＦＮＳＴインデックスの値を決定するように構成されていてもよい。
別の例では、ＬＦＮＳＴインデックスの値を決定するために、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にないケースでは、ＬＦＮＳＴインデックスを示すシンタックス要素を受信するようにと、シンタックス要素をデコードして、ＬＦＮＳＴインデックスの値を決定するように構成されていてもよい。
【0145】
［０１５９］
ビデオデコーダ３００は、その後、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換してもよい。１つの例では、変換ブロックを逆変換するために、ビデオデコーダ３００は、ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより変換ブロックのＬＦＮＳＴ領域を逆変換し、ＬＦＮＳＴにより変換ブロックのＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換で変換ブロックを逆変換してもよい。別の例では、ビデオデコーダ３００は、ＬＦＮＳＴを適用しないかもしれず、その代わりに、１つ以上の分離変換のみにより変換ブロックを逆変換してもよい。ＬＦＮＳＴが使用されるか否かにかかわらず、ビデオデコーダ３００は、変換ブロックを逆変換して、残差ブロックを作成し、（例えば、インター予測またはイントラ予測のような予測技法を使用して）残差ブロックに対する予測的ブロックを決定し、予測的ブロックを残差ブロックと組み合わせて、デコードされたブロックを作成してもよい。
ビデオデコーダ３００は、その後、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換してもよい。１つの例では、変換ブロックを逆変換するために、ビデオデコーダ３００は、ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより変換ブロックのＬＦＮＳＴ領域を逆変換し、ＬＦＮＳＴにより変換ブロックのＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換で変換ブロックを逆変換してもよい。別の例では、ビデオデコーダ３００は、ＬＦＮＳＴを適用しないかもしれず、その代わりに、１つ以上の分離変換のみにより変換ブロックを逆変換してもよい。ＬＦＮＳＴが使用されるか否かにかかわらず、ビデオデコーダ３００は、変換ブロックを逆変換して、残差ブロックを作成し、（例えば、インター予測またはイントラ予測のような予測技法を使用して）残差ブロックに対する予測的ブロックを決定し、予測的ブロックを残差ブロックと組み合わせて、デコードされたブロックを作成してもよい。
【0146】
［０１６０］
ＬＦＮＳＴ係数に対して０化が使用されないケースに対して、ビデオエンコーダ２００およびビデオデコーダ３００は、図９中に示されるように、ＬＦＮＳＴ領域外にある分離変換係数（例えば、ＬＦＮＳＴ領域外のＭＴＳ係数）に０化を依然として適用してもよい。図９は、サイズＮのＬＦＮＳＴを適用し、（ＨｘＷのサイズを有する）変換ブロック９０２の（ｈ×ｗのサイズを有する）ＬＦＮＳＴ領域９００外のＭＴＳ係数のみを０化することによる、ＬＦＮＳＴ係数の図である。その後、ビデオエンコーダ２００およびビデオデコーダ３００は、上記で説明した方法の１つまたは組み合わせを使用することにより、非０（有意）係数の位置に依存して、ＬＦＮＳＴインデックス／フラグの値を推測してもよい。
ＬＦＮＳＴ係数に対して０化が使用されないケースに対して、ビデオエンコーダ２００およびビデオデコーダ３００は、図９中に示されるように、ＬＦＮＳＴ領域外にある分離変換係数（例えば、ＬＦＮＳＴ領域外のＭＴＳ係数）に０化を依然として適用してもよい。図９は、サイズＮのＬＦＮＳＴを適用し、（ＨｘＷのサイズを有する）変換ブロック９０２の（ｈ×ｗのサイズを有する）ＬＦＮＳＴ領域９００外のＭＴＳ係数のみを０化することによる、ＬＦＮＳＴ係数の図である。その後、ビデオエンコーダ２００およびビデオデコーダ３００は、上記で説明した方法の１つまたは組み合わせを使用することにより、非０（有意）係数の位置に依存して、ＬＦＮＳＴインデックス／フラグの値を推測してもよい。
【0147】
［０１６１］
図１０は、現在ブロックをエンコードするための方法の例を図示するフローチャートである。現在ブロックは、現在ＣＵを含んでいてもよい。ビデオエンコーダ２００（図１および図３）に関して説明したが、図１０の方法と類似する方法を実行するように他のデバイスが構成されていてもよいことを理解されたい。
図１０は、現在ブロックをエンコードするための方法の例を図示するフローチャートである。現在ブロックは、現在ＣＵを含んでいてもよい。ビデオエンコーダ２００（図１および図３）に関して説明したが、図１０の方法と類似する方法を実行するように他のデバイスが構成されていてもよいことを理解されたい。
【0148】
［０１６２］
この例では、ビデオエンコーダ２００は、最初に現在ブロックを予測する（３５０）。例えば、ビデオエンコーダ２００は、現在ブロックに対する予測ブロックを形成してもよい。ビデオエンコーダ２００は、その後、現在ブロックに対する残差ブロックを計算してもよい。（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、現在ブロックに対する元のエンコードされていないブロックと予測ブロックとの間の差分を計算してもよい。ビデオエンコーダ２００は、その後、残差ブロックの係数を変換および量子化してもよい（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査してもよい（３５６）。走査の間、または、走査に続いて、ビデオエンコーダ２００は、係数をエントロピーエンコードしてもよい（３５８）。例えば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して、係数をエンコードしてもよい。ビデオエンコーダ２００は、その後、ブロックのエントロピーコード化されたデータを出力してもよい（３６０）。
この例では、ビデオエンコーダ２００は、最初に現在ブロックを予測する（３５０）。例えば、ビデオエンコーダ２００は、現在ブロックに対する予測ブロックを形成してもよい。ビデオエンコーダ２００は、その後、現在ブロックに対する残差ブロックを計算してもよい。（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、現在ブロックに対する元のエンコードされていないブロックと予測ブロックとの間の差分を計算してもよい。ビデオエンコーダ２００は、その後、残差ブロックの係数を変換および量子化してもよい（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査してもよい（３５６）。走査の間、または、走査に続いて、ビデオエンコーダ２００は、係数をエントロピーエンコードしてもよい（３５８）。例えば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して、係数をエンコードしてもよい。ビデオエンコーダ２００は、その後、ブロックのエントロピーコード化されたデータを出力してもよい（３６０）。
【0149】
［０１６３］
図１１は、ビデオデータの現在ブロックをデコードするための例示的な方法を図示するフローチャートである。現在ブロックは、現在ＣＵを含んでいてもよい。ビデオデコーダ３００（図１および図４）に関して説明したが、図１１の方法と類似する方法を実行するように他のデバイスが構成されていてもよいことを理解されたい。
図１１は、ビデオデータの現在ブロックをデコードするための例示的な方法を図示するフローチャートである。現在ブロックは、現在ＣＵを含んでいてもよい。ビデオデコーダ３００（図１および図４）に関して説明したが、図１１の方法と類似する方法を実行するように他のデバイスが構成されていてもよいことを理解されたい。
【0150】
［０１６４］
ビデオデコーダ３００は、現在ブロックに対応する残差ブロックの係数に対する、エントロピーコード化予測情報およびエントロピーコード化データのような、現在ブロックに対するエントロピーコード化データを受け取ってもよい。（３７０）ビデオデコーダ３００は、エントロピーコード化データをエントロピーデコードして、現在ブロックに対する予測情報を決定し、残差ブロックの係数を再生させてもよい（３７２）。ビデオデコーダ３００は、例えば、現在ブロックに対する予測情報により示されているイントラ予測モードまたはインター予測モードを使用して現在ブロックを予測して、現在ブロックに対する予測ブロックを計算してもよい（３７４）。ビデオデコーダ３００は、その後、再生された係数を逆走査して、量子化された変換係数のブロックを生成させてもよい（３７６）。ビデオデコーダ３００は、その後、係数を逆量子化および逆変換して、残差ブロックを生成させてもよい（３７８）。ビデオデコーダ３００は、最終的に、予測ブロックと残差ブロックとを組み合わせることにより、現在ブロックをデコードしてもよい（３８０）。
ビデオデコーダ３００は、現在ブロックに対応する残差ブロックの係数に対する、エントロピーコード化予測情報およびエントロピーコード化データのような、現在ブロックに対するエントロピーコード化データを受け取ってもよい。（３７０）ビデオデコーダ３００は、エントロピーコード化データをエントロピーデコードして、現在ブロックに対する予測情報を決定し、残差ブロックの係数を再生させてもよい（３７２）。ビデオデコーダ３００は、例えば、現在ブロックに対する予測情報により示されているイントラ予測モードまたはインター予測モードを使用して現在ブロックを予測して、現在ブロックに対する予測ブロックを計算してもよい（３７４）。ビデオデコーダ３００は、その後、再生された係数を逆走査して、量子化された変換係数のブロックを生成させてもよい（３７６）。ビデオデコーダ３００は、その後、係数を逆量子化および逆変換して、残差ブロックを生成させてもよい（３７８）。ビデオデコーダ３００は、最終的に、予測ブロックと残差ブロックとを組み合わせることにより、現在ブロックをデコードしてもよい（３８０）。
【0151】
［０１６５］
図１２は、本開示の例示的なデコーディング方法を図示するフローチャートである。図１２の技法は、図１１のプロセス３７８をさらに規定している。図１２の技法は、逆変換処理ユニット３０８を含む、ビデオデコーダ３００の１つ以上の構造ユニットにより実行してもよい。
図１２は、本開示の例示的なデコーディング方法を図示するフローチャートである。図１２の技法は、図１１のプロセス３７８をさらに規定している。図１２の技法は、逆変換処理ユニット３０８を含む、ビデオデコーダ３００の１つ以上の構造ユニットにより実行してもよい。
【0152】
［０１６６］
本開示の１つの例では、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい（１２００）。例えば、ビデオデコーダ３００は、変換ブロック中の最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されていてもよい。ビデオデコーダ３００は、その後、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対する低周波数非分離変換（ＬＦＳＮＳＴ）インデックスの値を決定してもよい（１２０２）。
本開示の１つの例では、ビデオデコーダ３００は、ビデオデータの変換ブロック中の最後の有意係数の位置を決定するように構成されていてもよい（１２００）。例えば、ビデオデコーダ３００は、変換ブロック中の最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されていてもよい。ビデオデコーダ３００は、その後、変換ブロックの０化領域に対する最後の有意係数の位置に基づいて、変換ブロックに対する低周波数非分離変換（ＬＦＳＮＳＴ）インデックスの値を決定してもよい（１２０２）。
【0153】
［０１６７］
図８の例によれば、変換ブロックの０化領域は、変換ブロック８０２のＬＦＮＳＴ領域８００内の第１の領域（例えば、ＬＦＮＳＴ領域８００の白色エリア）と、ＬＦＮＳＴ領域８００外の変換ブロック８０２の第２の領域との両方を含んでいる。ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されているか否かと、適用されている場合には、適用されているＬＦＮＳＴのタイプとを示している。
図８の例によれば、変換ブロックの０化領域は、変換ブロック８０２のＬＦＮＳＴ領域８００内の第１の領域（例えば、ＬＦＮＳＴ領域８００の白色エリア）と、ＬＦＮＳＴ領域８００外の変換ブロック８０２の第２の領域との両方を含んでいる。ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されているか否かと、適用されている場合には、適用されているＬＦＮＳＴのタイプとを示している。
【0154】
［０１６８］
具体的な例では、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にあるケースでは、ＬＦＮＳＴインデックスの値が０であると推測してもよく、０のＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されていないことを示している。すなわち、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、ＬＦＮＳＴインデックスの値が０であると推測するように構成されていてもよい。
具体的な例では、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にあるケースでは、ＬＦＮＳＴインデックスの値が０であると推測してもよく、０のＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが変換ブロックに適用されていないことを示している。すなわち、ビデオデコーダ３００は、ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、ＬＦＮＳＴインデックスの値が０であると推測するように構成されていてもよい。
【0155】
［０１６９］
別の例では、ＬＦＮＳＴインデックスの値を決定するために、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にないケースでは、ＬＦＮＳＴインデックスを示すシンタックス要素を受信するようにと、シンタックス要素をデコードして、ＬＦＮＳＴインデックスの値を決定するように構成されていてもよい。
別の例では、ＬＦＮＳＴインデックスの値を決定するために、ビデオデコーダ３００は、変換ブロック中の最後の有意係数の位置が、変換ブロックの０化領域中にないケースでは、ＬＦＮＳＴインデックスを示すシンタックス要素を受信するようにと、シンタックス要素をデコードして、ＬＦＮＳＴインデックスの値を決定するように構成されていてもよい。
【0156】
［０１７０］
ビデオデコーダ３００は、その後、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換してもよい（１２０４）。１つの例では、変換ブロックを逆変換するために、ビデオデコーダ３００は、ＬＦＮＳＴインデックスにより示される複数のＬＦＮＳＴのうちの１つにより変換ブロックのＬＦＮＳＴ領域を逆変換し、ＬＦＮＳＴにより変換ブロックのＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により変換ブロックを逆変換してもよい。別の例では、ビデオデコーダ３００は、ＬＦＮＳＴを適用しないかもしれず、その代わりに、１つ以上の分離変換のみにより変換ブロックを逆変換してもよい。ＬＦＮＳＴが使用されるか否かにかかわらず、ビデオデコーダ３００は、変換ブロックを逆変換して、残差ブロックを作成し、（例えば、インター予測またはイントラ予測のような予測技法を使用して）残差ブロックに対する予測的ブロックを決定し、予測的ブロックを残差ブロックと組み合わせて、デコードされたブロックを作成してもよい。
ビデオデコーダ３００は、その後、ＬＦＮＳＴインデックスの値にしたがって、変換ブロックを逆変換してもよい（１２０４）。１つの例では、変換ブロックを逆変換するために、ビデオデコーダ３００は、ＬＦＮＳＴインデックスにより示される複数のＬＦＮＳＴのうちの１つにより変換ブロックのＬＦＮＳＴ領域を逆変換し、ＬＦＮＳＴにより変換ブロックのＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により変換ブロックを逆変換してもよい。別の例では、ビデオデコーダ３００は、ＬＦＮＳＴを適用しないかもしれず、その代わりに、１つ以上の分離変換のみにより変換ブロックを逆変換してもよい。ＬＦＮＳＴが使用されるか否かにかかわらず、ビデオデコーダ３００は、変換ブロックを逆変換して、残差ブロックを作成し、（例えば、インター予測またはイントラ予測のような予測技法を使用して）残差ブロックに対する予測的ブロックを決定し、予測的ブロックを残差ブロックと組み合わせて、デコードされたブロックを作成してもよい。
【0157】
［０１７１］
本開示の他の例示的な例を以下で説明する。
本開示の他の例示的な例を以下で説明する。
【0158】
［０１７２］
例１－ビデオデータをコード化する方法において、方法は、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値を推測することと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを変換することとを含む方法。
例１－ビデオデータをコード化する方法において、方法は、ビデオデータのブロック中の標準的に規定されている０係数のパターンに基づいて、低周波数非分離変換インデックスまたはフラグの値を推測することと、低周波数非分離変換インデックスまたはフラグにしたがって、ビデオデータのブロックを変換することとを含む方法。
【0159】
［０１７３］
例２－ビデオデータのブロック中の標準的に規定されている０係数のパターンは、ビデオデータのブロックの０化領域のパターンである例１記載の方法。
例２－ビデオデータのブロック中の標準的に規定されている０係数のパターンは、ビデオデータのブロックの０化領域のパターンである例１記載の方法。
【0160】
［０１７４］
例３－低周波数非分離変換インデックスまたはフラグの値を推測することは、非０係数がビデオデータのブロックの０化領域中にあるケースでは、低周波数非分離変換インデックスまたはフラグの値が０であると推測することを含む例２記載の方法。
例３－低周波数非分離変換インデックスまたはフラグの値を推測することは、非０係数がビデオデータのブロックの０化領域中にあるケースでは、低周波数非分離変換インデックスまたはフラグの値が０であると推測することを含む例２記載の方法。
【0161】
［０１７５］
例４－低周波数非分離変換インデックスまたはフラグの値を推測することは、非０係数がビデオデータのブロックの０化領域中にあることを最後の有意係数位置の情報が示すケースでは、低周波数非分離変換インデックスまたはフラグの値が０であると推測することを含む例２記載の方法。
例４－低周波数非分離変換インデックスまたはフラグの値を推測することは、非０係数がビデオデータのブロックの０化領域中にあることを最後の有意係数位置の情報が示すケースでは、低周波数非分離変換インデックスまたはフラグの値が０であると推測することを含む例２記載の方法。
【0162】
［０１７６］
例５－コーディングは、デコーディングを含む例１～４のいずれか１例記載の方法。
例５－コーディングは、デコーディングを含む例１～４のいずれか１例記載の方法。
【0163】
［０１７７］
例６－コーディングは、エンコーディングを含む例１～４のいずれか１例記載の方法。
例６－コーディングは、エンコーディングを含む例１～４のいずれか１例記載の方法。
【0164】
［０１７８］
例７－ビデオデータをコード化するためのデバイスにおいて、デバイスが、例１～６のいずれか１例の方法を実行する１つ以上の手段を具備するデバイス。
例７－ビデオデータをコード化するためのデバイスにおいて、デバイスが、例１～６のいずれか１例の方法を実行する１つ以上の手段を具備するデバイス。
【0165】
［０１７９］
例８：１つ以上の手段が、回路中で実現されている１つ以上のプロセッサを備える例７記載のデバイス。
例８：１つ以上の手段が、回路中で実現されている１つ以上のプロセッサを備える例７記載のデバイス。
【0166】
［０１８０］
例９：ビデオデータを記憶するメモリをさらに具備する例７または８のいずれか１例記載のデバイス。
例９：ビデオデータを記憶するメモリをさらに具備する例７または８のいずれか１例記載のデバイス。
【0167】
［０１８１］
例１０：デコードされたビデオデータを表示するように構成されているディスプレイをさらに具備する例７～９のいずれか１例記載のデバイス。
例１０：デコードされたビデオデータを表示するように構成されているディスプレイをさらに具備する例７～９のいずれか１例記載のデバイス。
【0168】
［０１８２］
例１１：デバイスが、カメラ、コンピュータ、移動体デバイス、ブロードキャスト受信機デバイス、または、セットトップボックスのうちの１つ以上を具備する例７～１０のいずれか１例記載のデバイス。
例１１：デバイスが、カメラ、コンピュータ、移動体デバイス、ブロードキャスト受信機デバイス、または、セットトップボックスのうちの１つ以上を具備する例７～１０のいずれか１例記載のデバイス。
【0169】
［０１８３］
例１２：デバイスが、ビデオデコーダを具備する例７～１１のいずれか１例記載のデバイス。
例１２：デバイスが、ビデオデコーダを具備する例７～１１のいずれか１例記載のデバイス。
【0170】
［０１８４］
例１３：デバイスが、ビデオエンコーダを具備する例７～１２のいずれか１例記載のデバイス。
例１３：デバイスが、ビデオエンコーダを具備する例７～１２のいずれか１例記載のデバイス。
【0171】
［０１８５］
例１４－実行されるときに、１つ以上のプロセッサに例１～６のいずれか１例記載の方法を実行させる命令を記憶しているコンピュータ読取可能記憶媒体。
例１４－実行されるときに、１つ以上のプロセッサに例１～６のいずれか１例記載の方法を実行させる命令を記憶しているコンピュータ読取可能記憶媒体。
【0172】
［０１８６］
例に依存して、ここで説明した技法のうちのいずれかのある動作またはイベントは、異なるシーケンスで実行でき、追加してもよく、マージしてもよく、または、完全に省略してもよい（例えば、説明した動作またはイベントのすべてが本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、ある例では、動作またはイベントは、シーケンシャルによりもむしろ、例えば、マルチスレッド処理、割り込み処理、または、複数のプロセッサを通して、同時に実行してもよい。
例に依存して、ここで説明した技法のうちのいずれかのある動作またはイベントは、異なるシーケンスで実行でき、追加してもよく、マージしてもよく、または、完全に省略してもよい（例えば、説明した動作またはイベントのすべてが本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、ある例では、動作またはイベントは、シーケンシャルによりもむしろ、例えば、マルチスレッド処理、割り込み処理、または、複数のプロセッサを通して、同時に実行してもよい。
【0173】
［０１８７］
１つ以上の例において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、または、これらの任意の組み合わせで実現してもよい。ソフトウェアで実現される場合には、機能は、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上に記憶されていてもよく、あるいは、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上で送信されてもよく、ハードウェアベースの処理ユニットによって実行してもよい。コンピュータ読取可能媒体はまた、例えば、通信プロトコルにしたがって、コンピュータプログラムの１つの場所から別の場所への転送を容易にする何らかの媒体を含む通信媒体、または、データ記憶媒体のような有形の媒体に対応するコンピュータ読取可能記憶媒体を含んでいてもよい。このように、コンピュータ読取可能媒体は、一般的に、（１）有形コンピュータ読取可能記憶媒体、または、（２）信号または搬送波のような通信媒体に対応していてもよい。データ記憶媒体は、本開示で説明した技法を実現するための命令、コードおよび／またはデータ構造を取り出すために、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセスすることができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可能媒体を含んでいてもよい。
１つ以上の例において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、または、これらの任意の組み合わせで実現してもよい。ソフトウェアで実現される場合には、機能は、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上に記憶されていてもよく、あるいは、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上で送信されてもよく、ハードウェアベースの処理ユニットによって実行してもよい。コンピュータ読取可能媒体はまた、例えば、通信プロトコルにしたがって、コンピュータプログラムの１つの場所から別の場所への転送を容易にする何らかの媒体を含む通信媒体、または、データ記憶媒体のような有形の媒体に対応するコンピュータ読取可能記憶媒体を含んでいてもよい。このように、コンピュータ読取可能媒体は、一般的に、（１）有形コンピュータ読取可能記憶媒体、または、（２）信号または搬送波のような通信媒体に対応していてもよい。データ記憶媒体は、本開示で説明した技法を実現するための命令、コードおよび／またはデータ構造を取り出すために、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセスすることができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可能媒体を含んでいてもよい。
【0174】
［０１８８］
限定ではなく例として、このようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光学ディスク記憶媒体、磁気ディスク記憶媒体または他の磁気記憶デバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態で望ましいプログラムコードを記憶するために使用され、コンピュータによってアクセスすることができる他の何らかの媒体のうちの１つ以上を備えることができる。また、任意の接続は、コンピュータ読取可能媒体と適切に呼ばれる。例えば、命令が、ウェブサイトから、サーバから、あるいは、同軸ケーブル、光ファイバケーブル、撚り対、デジタル加入者線（ＤＳＬ）、または、赤外線、無線、マイクロ波のようなワイヤレステクノロジーを使用している他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、撚り対、ＤＳＬ、または、赤外線、無線およびマイクロ波のようなワイヤレステクノロジーは、媒体の定義に含まれる。しかしながら、コンピュータ読取可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または、他の一時的な媒体を含まないが、代わりに、非一時的な、有形の記憶媒体に向けられていることを理解すべきである。ここで使用するようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル汎用ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、および、ブルーレイ（登録商標）ディスクを含むが、通常、ディスク（ｄｉｓｋ）はデータを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はデータをレーザにより光学的に再生する。上記の組み合わせも、コンピュータ読取可能媒体の範囲内に含むべきである。
限定ではなく例として、このようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光学ディスク記憶媒体、磁気ディスク記憶媒体または他の磁気記憶デバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態で望ましいプログラムコードを記憶するために使用され、コンピュータによってアクセスすることができる他の何らかの媒体のうちの１つ以上を備えることができる。また、任意の接続は、コンピュータ読取可能媒体と適切に呼ばれる。例えば、命令が、ウェブサイトから、サーバから、あるいは、同軸ケーブル、光ファイバケーブル、撚り対、デジタル加入者線（ＤＳＬ）、または、赤外線、無線、マイクロ波のようなワイヤレステクノロジーを使用している他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、撚り対、ＤＳＬ、または、赤外線、無線およびマイクロ波のようなワイヤレステクノロジーは、媒体の定義に含まれる。しかしながら、コンピュータ読取可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または、他の一時的な媒体を含まないが、代わりに、非一時的な、有形の記憶媒体に向けられていることを理解すべきである。ここで使用するようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル汎用ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、および、ブルーレイ（登録商標）ディスクを含むが、通常、ディスク（ｄｉｓｋ）はデータを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はデータをレーザにより光学的に再生する。上記の組み合わせも、コンピュータ読取可能媒体の範囲内に含むべきである。
【0175】
［０１８９］
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、他の同等な集積またはディスクリート論理回路のような１つ以上のプロセッサによって実行してもよい。したがって、ここで使用されるように、用語「プロセッサ」および「処理回路」は、前述の構造、または、ここで説明した技術のインプリメンテーションに適した他の何らかの構造のいずれかを指していてもよい。加えて、いくつかの態様では、ここで説明した機能性は、エンコードおよびデコードするように構成されている専用のハードウェアおよび／またはソフトウェアモジュール内に提供してもよく、あるいは、組み合わされたコーデック中に組み込んでもよい。また、技法は、１つ以上の回路または論理エレメントにおいて、完全に実現することができる。
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、他の同等な集積またはディスクリート論理回路のような１つ以上のプロセッサによって実行してもよい。したがって、ここで使用されるように、用語「プロセッサ」および「処理回路」は、前述の構造、または、ここで説明した技術のインプリメンテーションに適した他の何らかの構造のいずれかを指していてもよい。加えて、いくつかの態様では、ここで説明した機能性は、エンコードおよびデコードするように構成されている専用のハードウェアおよび／またはソフトウェアモジュール内に提供してもよく、あるいは、組み合わされたコーデック中に組み込んでもよい。また、技法は、１つ以上の回路または論理エレメントにおいて、完全に実現することができる。
【0176】
［０１９０］
本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む、幅広い種類のデバイスまたは装置において実施してもよい。さまざまなコンポーネント、モジュール、または、ユニットは、開示した技法を実行するように構成されているデバイスの機能的な態様を強調するためにここ説明しているが、それらは、異なるハードウェアユニットによる実現を必ずしも要求するわけではない。むしろ、上記で説明したように、さまざまなユニットは、コーデックハードウェアユニットにおいて組み合わされるか、または、適切なソフトウェアおよび／またはファームウェアとともに、上記で説明したような１つ以上のプロセッサを含む、相互動作可能ハードウェアユニットの集合によって提供されてもよい。
本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む、幅広い種類のデバイスまたは装置において実施してもよい。さまざまなコンポーネント、モジュール、または、ユニットは、開示した技法を実行するように構成されているデバイスの機能的な態様を強調するためにここ説明しているが、それらは、異なるハードウェアユニットによる実現を必ずしも要求するわけではない。むしろ、上記で説明したように、さまざまなユニットは、コーデックハードウェアユニットにおいて組み合わされるか、または、適切なソフトウェアおよび／またはファームウェアとともに、上記で説明したような１つ以上のプロセッサを含む、相互動作可能ハードウェアユニットの集合によって提供されてもよい。
【0177】
［０１９１］
さまざまな例を説明してきた。これらおよび他の例は、以下の特許請求の範囲の範囲中にある。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータをデコードする方法において、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含むことと、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換することとを含む方法。
［Ｃ２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ１記載の方法。
［Ｃ３］
前記ＬＦＮＳＴインデックスの値を決定することは、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測し、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示すことを含むＣ１記載の方法。
［Ｃ４］
前記ＬＦＮＳＴインデックスの値が０であると推測することは、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測することを含むＣ３記載の方法。
［Ｃ５］
前記変換ブロックを逆変換することは、
１つ以上の分離変換により、前記変換ブロックを逆変換することを含むＣ３記載の方法。
［Ｃ６］
前記ＬＦＮＳＴインデックスの値を決定することは、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信することと、
前記シンタックス要素をデコードして、前記ＬＦＮＳＴインデックスの値を決定することとを含むＣ１記載の方法。
［Ｃ７］
前記変換ブロックを逆変換することは、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換することと、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換することとを含むＣ６記載の方法。
［Ｃ８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定することは、 前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードすることを含むＣ１記載の方法。
［Ｃ９］
前記変換ブロックを逆変換することは、前記変換ブロックを逆変換して、残差ブロックを作成することを含み、
前記方法は、
前記残差ブロックに対する予測的ブロックを決定することと、
前記予測的ブロックを前記残差ブロックと組み合わせて、デコードされたブロックを作成することとをさらに含むＣ１記載の方法。
［Ｃ１０］
前記デコードされたブロックを含むピクチャーを表示することをさらに含むＣ９記載の方法。
［Ｃ１１］
ビデオデータをデコードするように構成されている装置において、
前記ビデオデータの変換ブロックを記憶するように構成されているメモリと、
前記メモリと通信する１つ以上のプロセッサとを具備し、
前記１つ以上のプロセッサは、
ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含むようにと、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換するように構成されている装置。
［Ｃ１２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ１１記載の装置。
［Ｃ１３］
前記ＬＦＮＳＴインデックスの値を決定するために、前記１つ以上のプロセッサは、 前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測し、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示すように構成されているＣ１１記載の装置。
［Ｃ１４］
前記ＬＦＮＳＴインデックスの値が０であると推測するために、前記１つ以上のプロセッサは、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測するように構成されているＣ１３記載の装置。
［Ｃ１５］
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
１つ以上の分離変換により、前記変換ブロックを逆変換するように構成されているＣ１３記載の装置。
［Ｃ１６］
前記ＬＦＮＳＴインデックスの値を決定するために、前記１つ以上のプロセッサは、 前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信するようにと、
前記シンタックス要素をデコードして、前記ＬＦＮＳＴインデックスの値を決定するように構成されているＣ１１記載の装置。
［Ｃ１７］
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換するようにと、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換するように構成されているＣ１６記載の装置。
［Ｃ１８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定するために、前記１つ以上のプロセッサは、
前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されているＣ１１記載の装置。
［Ｃ１９］
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
前記変換ブロックを逆変換して、残差ブロックを作成するように構成され、
前記１つ以上のプロセッサは、
前記残差ブロックに対する予測的ブロックを決定するようにと、
前記予測的ブロックを前記残差ブロックと組み合わせて、デコードされたブロックを作成するように構成されているＣ１１記載の装置。
［Ｃ２０］
前記デコードされたブロックを含むピクチャーを表示するように構成されているディスプレイをさらに具備するＣ１９記載の装置。
［Ｃ２１］
ビデオデータをデコードするように構成されている装置において、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定する手段と、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含む手段と、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換する手段とを具備する装置。
［Ｃ２２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ２１記載の装置。
［Ｃ２３］
前記ＬＦＮＳＴインデックスの値を決定する手段は、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測し、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示す手段を備えるＣ２１記載の装置。
［Ｃ２４］
前記ＬＦＮＳＴインデックスの値が０であると推測する手段は、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測する手段を備えるＣ２３記載の装置。
［Ｃ２５］
前記変換ブロックを逆変換する手段は、
１つ以上の分離変換により、前記変換ブロックを逆変換する手段を備えるＣ２３記載の装置。
［Ｃ２６］
前記ＬＦＮＳＴインデックスの値を決定する手段は、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信する手段と、
前記シンタックス要素をデコードして、前記ＬＦＮＳＴインデックスの値を決定する手段とを備えるＣ２１記載の装置。
［Ｃ２７］
前記変換ブロックを逆変換する手段は、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換する手段と、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換する手段とを備えるＣ２６記載の装置。
［Ｃ２８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定する手段は、 前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードする手段を備えるＣ２１記載の装置。
［Ｃ２９］
前記変換ブロックを逆変換する手段は、前記変換ブロックを逆変換して、残差ブロックを作成する手段を備え、
前記装置は、
前記残差ブロックに対する予測的ブロックを決定する手段と、
前記予測的ブロックを前記残差ブロックと組み合わせて、デコードされたブロックを作成する手段とをさらに具備するＣ２１記載の装置。
［Ｃ３０］
前記デコードされたブロックを含むピクチャーを表示する手段をさらに具備するＣ２９記載の装置。
［Ｃ３１］
非一時的コンピュータ読取可能記憶媒体において、
実行されるときに、ビデオデータをデコードするように構成されている１つ以上のプロセッサに、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定させ、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定させ、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含み、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換させる命令を記憶している非一時的コンピュータ読取可能記憶媒体。
［Ｃ３２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３３］
前記ＬＦＮＳＴインデックスの値を決定させるために、前記命令はさらに、前記１つ以上のプロセッサに、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測させ、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示すＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３４］
前記ＬＦＮＳＴインデックスの値が０であると推測させるために、前記命令はさらに、前記１つ以上のプロセッサに、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測させるＣ３３記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３５］
前記変換ブロックを逆変換させるために、前記命令は、前記１つ以上のプロセッサに、 １つ以上の分離変換により、前記変換ブロックを逆変換させるＣ３３記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３６］
前記ＬＦＮＳＴインデックスの値を決定させるために、前記命令は、前記１つ以上のプロセッサに、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信させ、
前記シンタックス要素をデコードさせて、前記ＬＦＮＳＴインデックスの値を決定させるＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３７］
前記変換ブロックを逆変換させるために、前記命令は、前記１つ以上のプロセッサに、 前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換させ、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換させた後に、１つ以上の分離変換により、前記変換ブロックを逆変換させるＣ３６記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定させるために、前記命令はさらに、前記１つ以上のプロセッサに、
前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードさせるＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３９］
前記変換ブロックを逆変換させるために、前記命令は、前記１つ以上のプロセッサに、前記変換ブロックを逆変換させて、残差ブロックを作成させ、
前記命令はさらに、前記１つ以上のプロセッサに、
前記残差ブロックに対する予測的ブロックを決定させ、
前記予測的ブロックを前記残差ブロックと組み合わせさせて、デコードされたブロックを作成させるＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ４０］
前記命令はさらに、前記１つ以上のプロセッサに、
前記デコードされたブロックを含むピクチャーを表示させるＣ３９記載の非一時的コンピュータ読取可能記憶媒体。
さまざまな例を説明してきた。これらおよび他の例は、以下の特許請求の範囲の範囲中にある。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータをデコードする方法において、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定することと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含むことと、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換することとを含む方法。
［Ｃ２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ１記載の方法。
［Ｃ３］
前記ＬＦＮＳＴインデックスの値を決定することは、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測し、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示すことを含むＣ１記載の方法。
［Ｃ４］
前記ＬＦＮＳＴインデックスの値が０であると推測することは、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測することを含むＣ３記載の方法。
［Ｃ５］
前記変換ブロックを逆変換することは、
１つ以上の分離変換により、前記変換ブロックを逆変換することを含むＣ３記載の方法。
［Ｃ６］
前記ＬＦＮＳＴインデックスの値を決定することは、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信することと、
前記シンタックス要素をデコードして、前記ＬＦＮＳＴインデックスの値を決定することとを含むＣ１記載の方法。
［Ｃ７］
前記変換ブロックを逆変換することは、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換することと、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換することとを含むＣ６記載の方法。
［Ｃ８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定することは、 前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードすることを含むＣ１記載の方法。
［Ｃ９］
前記変換ブロックを逆変換することは、前記変換ブロックを逆変換して、残差ブロックを作成することを含み、
前記方法は、
前記残差ブロックに対する予測的ブロックを決定することと、
前記予測的ブロックを前記残差ブロックと組み合わせて、デコードされたブロックを作成することとをさらに含むＣ１記載の方法。
［Ｃ１０］
前記デコードされたブロックを含むピクチャーを表示することをさらに含むＣ９記載の方法。
［Ｃ１１］
ビデオデータをデコードするように構成されている装置において、
前記ビデオデータの変換ブロックを記憶するように構成されているメモリと、
前記メモリと通信する１つ以上のプロセッサとを具備し、
前記１つ以上のプロセッサは、
ビデオデータの変換ブロック中の最後の有意係数の位置を決定するようにと、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含むようにと、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換するように構成されている装置。
［Ｃ１２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ１１記載の装置。
［Ｃ１３］
前記ＬＦＮＳＴインデックスの値を決定するために、前記１つ以上のプロセッサは、 前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測し、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示すように構成されているＣ１１記載の装置。
［Ｃ１４］
前記ＬＦＮＳＴインデックスの値が０であると推測するために、前記１つ以上のプロセッサは、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測するように構成されているＣ１３記載の装置。
［Ｃ１５］
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
１つ以上の分離変換により、前記変換ブロックを逆変換するように構成されているＣ１３記載の装置。
［Ｃ１６］
前記ＬＦＮＳＴインデックスの値を決定するために、前記１つ以上のプロセッサは、 前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信するようにと、
前記シンタックス要素をデコードして、前記ＬＦＮＳＴインデックスの値を決定するように構成されているＣ１１記載の装置。
［Ｃ１７］
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換するようにと、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換するように構成されているＣ１６記載の装置。
［Ｃ１８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定するために、前記１つ以上のプロセッサは、
前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードするように構成されているＣ１１記載の装置。
［Ｃ１９］
前記変換ブロックを逆変換するために、前記１つ以上のプロセッサは、
前記変換ブロックを逆変換して、残差ブロックを作成するように構成され、
前記１つ以上のプロセッサは、
前記残差ブロックに対する予測的ブロックを決定するようにと、
前記予測的ブロックを前記残差ブロックと組み合わせて、デコードされたブロックを作成するように構成されているＣ１１記載の装置。
［Ｃ２０］
前記デコードされたブロックを含むピクチャーを表示するように構成されているディスプレイをさらに具備するＣ１９記載の装置。
［Ｃ２１］
ビデオデータをデコードするように構成されている装置において、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定する手段と、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定し、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含む手段と、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換する手段とを具備する装置。
［Ｃ２２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ２１記載の装置。
［Ｃ２３］
前記ＬＦＮＳＴインデックスの値を決定する手段は、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測し、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示す手段を備えるＣ２１記載の装置。
［Ｃ２４］
前記ＬＦＮＳＴインデックスの値が０であると推測する手段は、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測する手段を備えるＣ２３記載の装置。
［Ｃ２５］
前記変換ブロックを逆変換する手段は、
１つ以上の分離変換により、前記変換ブロックを逆変換する手段を備えるＣ２３記載の装置。
［Ｃ２６］
前記ＬＦＮＳＴインデックスの値を決定する手段は、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信する手段と、
前記シンタックス要素をデコードして、前記ＬＦＮＳＴインデックスの値を決定する手段とを備えるＣ２１記載の装置。
［Ｃ２７］
前記変換ブロックを逆変換する手段は、
前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換する手段と、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換した後に、１つ以上の分離変換により、前記変換ブロックを逆変換する手段とを備えるＣ２６記載の装置。
［Ｃ２８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定する手段は、 前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードする手段を備えるＣ２１記載の装置。
［Ｃ２９］
前記変換ブロックを逆変換する手段は、前記変換ブロックを逆変換して、残差ブロックを作成する手段を備え、
前記装置は、
前記残差ブロックに対する予測的ブロックを決定する手段と、
前記予測的ブロックを前記残差ブロックと組み合わせて、デコードされたブロックを作成する手段とをさらに具備するＣ２１記載の装置。
［Ｃ３０］
前記デコードされたブロックを含むピクチャーを表示する手段をさらに具備するＣ２９記載の装置。
［Ｃ３１］
非一時的コンピュータ読取可能記憶媒体において、
実行されるときに、ビデオデータをデコードするように構成されている１つ以上のプロセッサに、
前記ビデオデータの変換ブロック中の最後の有意係数の位置を決定させ、
前記変換ブロックの０化領域に対する前記最後の有意係数の位置に基づいて、前記変換ブロックに対する低周波数非分離変換（ＬＦＮＳＴ）インデックスの値を決定させ、前記変換ブロックの０化領域は、前記変換ブロックのＬＦＮＳＴ領域内の第１の領域と、前記ＬＦＮＳＴ領域外の前記変換ブロックの第２の領域との両方を含み、
前記ＬＦＮＳＴインデックスの値にしたがって、前記変換ブロックを逆変換させる命令を記憶している非一時的コンピュータ読取可能記憶媒体。
［Ｃ３２］
前記ＬＦＮＳＴインデックスの値は、ＬＦＮＳＴが前記変換ブロックに適用されているか否かを示し、適用されている場合には、適用されているＬＦＮＳＴのタイプを示すＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３３］
前記ＬＦＮＳＴインデックスの値を決定させるために、前記命令はさらに、前記１つ以上のプロセッサに、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にあるケースでは、前記ＬＦＮＳＴインデックスの値が０であると推測させ、０の前記ＬＦＮＳＴインデックスの値は、前記ＬＦＮＳＴが前記変換ブロックに適用されていないことを示すＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３４］
前記ＬＦＮＳＴインデックスの値が０であると推測させるために、前記命令はさらに、前記１つ以上のプロセッサに、
前記ＬＦＮＳＴインデックスの値を示すシンタックス要素を受信することなく、前記ＬＦＮＳＴインデックスの値が０であると推測させるＣ３３記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３５］
前記変換ブロックを逆変換させるために、前記命令は、前記１つ以上のプロセッサに、 １つ以上の分離変換により、前記変換ブロックを逆変換させるＣ３３記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３６］
前記ＬＦＮＳＴインデックスの値を決定させるために、前記命令は、前記１つ以上のプロセッサに、
前記変換ブロック中の前記最後の有意係数の位置が、前記変換ブロックの０化領域中にないケースでは、前記ＬＦＮＳＴインデックスを示すシンタックス要素を受信させ、
前記シンタックス要素をデコードさせて、前記ＬＦＮＳＴインデックスの値を決定させるＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３７］
前記変換ブロックを逆変換させるために、前記命令は、前記１つ以上のプロセッサに、 前記ＬＦＮＳＴインデックスにより示されるＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換させ、
前記ＬＦＮＳＴにより、前記変換ブロックの前記ＬＦＮＳＴ領域を逆変換させた後に、１つ以上の分離変換により、前記変換ブロックを逆変換させるＣ３６記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３８］
前記ビデオデータの変換ブロック中の前記最後の有意係数の位置を決定させるために、前記命令はさらに、前記１つ以上のプロセッサに、
前記変換ブロック中の前記最後の有意係数のＸ位置およびＹ位置を示す１つ以上のシンタックス要素をデコードさせるＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ３９］
前記変換ブロックを逆変換させるために、前記命令は、前記１つ以上のプロセッサに、前記変換ブロックを逆変換させて、残差ブロックを作成させ、
前記命令はさらに、前記１つ以上のプロセッサに、
前記残差ブロックに対する予測的ブロックを決定させ、
前記予測的ブロックを前記残差ブロックと組み合わせさせて、デコードされたブロックを作成させるＣ３１記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ４０］
前記命令はさらに、前記１つ以上のプロセッサに、
前記デコードされたブロックを含むピクチャーを表示させるＣ３９記載の非一時的コンピュータ読取可能記憶媒体。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】