▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】変換行列選択の係数依存コーディング
(51)【国際特許分類】
H04N 19/12 20140101AFI20240501BHJP
H04N 19/157 20140101ALI20240501BHJP
H04N 19/176 20140101ALI20240501BHJP
H04N 19/70 20140101ALI20240501BHJP
【ＦＩ】
H04N19/12
H04N19/157
H04N19/176
H04N19/70
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2023077942
(22)【出願日】2023-05-10
(62)【分割の表示】P 2021506751の分割
【原出願日】2019-08-16
(65)【公開番号】P2023104947
(43)【公開日】2023-07-28
【審査請求日】2023-06-07
(31)【優先権主張番号】PCT/CN2018/100795
(32)【優先日】2018-08-16
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ザン，リー
(72)【発明者】
【氏名】リュウ，ホンビン
(72)【発明者】
【氏名】ザン，カイ
(72)【発明者】
【氏名】ワン，ユエ
【審査官】田中 純一
(56)【参考文献】
【文献】特表２０１８－５０６９０５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０２１９２９０（ＵＳ，Ａ１）
【文献】国際公開第２０１９／１８８４６６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２１／００２１８７０（ＵＳ，Ａ１）
【文献】特表２０１４－５３５２４７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０１１４７３０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の転換中に、前記現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、前記現在のビデオブロックの左上位置に対して相対的である、チェックすることと、
前記位置に基づいて、多重変換選択変換のための変換情報を識別する構文要素が前記ビットストリームに含まれるか否かの決定を実行することと、を含み、
前記位置は、座標（ＬａｓｔＸ，ＬａｓｔＹ）によって表され、前記構文要素は、ＬａｓｔＸ≦Ｔｈ１及びＬａｓｔＹ≦Ｔｈ２であることの故に、前記ビットストリームに含まれることからスキップされ、ここで、Ｔｈ１及びＴｈ２は、数字である、
方法。
【請求項2】
当該方法は、前記多重変換選択変換を用いないで前記転換を実行することを更に含む、請求項１に記載の方法。
【請求項3】
前記ビットストリームにおいて明示的に識別されないデフォルト変換を用いて前記転換を実行することを更に含む、請求項２に記載の方法。
【請求項4】
前記デフォルト変換は、離散コサイン変換ＩＩ（ＤＣＴ‐ＩＩ）である、請求項３に記載の方法。
【請求項5】
Ｔｈ１及びＴｈ２は予め定義され、前記ビットストリームにおいて信号化されない、請求項１に記載の方法。
【請求項6】
前記決定を実行することは、前記現在のビデオブロックのために使用されるコーディングモードがサブブロックベースの予測であることの故に、前記構文要素が前記ビットストリームに含まれることからスキップされることを決定することを更に含み、当該方法は、前記多重変換選択変換を用いないで前記転換を実行することを更に含む、
請求項１に記載の方法。
【請求項7】
前記現在のビデオブロックの前記最後の非ゼロ係数の前記位置は、前記現在のビデオブロックの係数の順走査順序にある、請求項１に記載の方法。
【請求項8】
前記変換は、順変換または逆変換のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項9】
前記決定を実行することは、前記位置及び変換指数が隣接ブロックから継承されないことを示すフラグに起因して、前記構文要素が前記ビットストリームに含まれることを決定することを含み、当該方法は、前記ビットストリーム中の前記構文要素によって識別される前記変換情報を用いて前記転換を実行することを更に含む、
請求項１に記載の方法。
【請求項10】
前記転換は、前記構文要素に従った前記多重変換選択変換を前記現在のビデオブロックの脱量子化された残差係数値の結果に適用することを含む、請求項９に記載の方法。
【請求項11】
前記変換情報は、一次変換を示す、請求項９記載の方法。
【請求項12】
前記決定に従って前記ビットストリームから前記現在のビデオブロックを復号化することによって前記転換を実行することを更に含む、請求項１に記載の方法。
【請求項13】
前記決定に従って前記現在のビデオブロックを前記ビットストリームに符号化することによって前記転換を実行することを更に含む、請求項１に記載の方法。
【請求項14】
プロセッサと、命令をその上に有する非一時的なメモリとを含む、ビデオデータを処理するための装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の転換中に、前記現在のビデオブロックの最後の非ゼロ係数の位置をチェックさせ、前記位置は、前記現在のビデオブロックの左上位置に対して相対的であり、
前記位置に基づいて、多重変換選択変換のための変換情報を識別する構文要素が前記ビットストリームに含まれるか否かの決定を実行させ、
前記位置は、座標（ＬａｓｔＸ，ＬａｓｔＹ）によって表され、前記構文要素は、ＬａｓｔＸ≦Ｔｈ１及びＬａｓｔＹ≦Ｔｈ２であることの故に、前記ビットストリームに含まれることからスキップされ、ここで、Ｔｈ１及びＴｈ２は、数字である、
装置。
【請求項15】
命令を格納する非一時的なコンピュータ読取可能な記憶媒体であって、前記命令は、プロセッサに、
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の転換中に、前記現在のビデオブロックの最後の非ゼロ係数の位置をチェックさせ、前記位置は、前記現在のビデオブロックの左上位置に対して相対的であり、
前記位置に基づいて、多重変換選択変換のための変換情報を識別する構文要素が前記ビットストリームに含まれるか否かの決定を実行させ、
前記位置は、座標（ＬａｓｔＸ，ＬａｓｔＹ）によって表され、前記構文要素は、ＬａｓｔＸ≦Ｔｈ１及びＬａｓｔＹ≦Ｔｈ２であることの故に、前記ビットストリームに含まれることからスキップされ、ここで、Ｔｈ１及びＴｈ２は、数字である、
非一時的なコンピュータ読取可能な記憶媒体。
【請求項16】
ビデオのビットストリームを格納する方法であって、
現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、前記現在のビデオブロックの左上位置に対して相対的である、チェックすることと、
前記位置に基づいて、多重変換選択変換のための変換情報を識別する構文要素が前記ビットストリームに含まれるか否かの決定を実行することと、
前記決定に基づいて前記ビットストリームを生成することと、
非一時的なコンピュータ読取可能な媒体内に前記ビットストリームを格納することと、を含み、
前記位置は、座標（ＬａｓｔＸ，ＬａｓｔＹ）によって表され、前記構文要素は、ＬａｓｔＸ≦Ｔｈ１及びＬａｓｔＹ≦Ｔｈ２であることの故に、前記ビットストリームに含まれることからスキップされ、ここで、Ｔｈ１及びＴｈ２は、数字である、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の参照）
パリ条約に準拠した適用可能な特許法及び／又は規則に基づいて、この出願は、２０１８年８月１６日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／１００７９５号の優先権及び利益を適時に主張するために行われる。米国法の下での全ての目的のために、国際特許出願第ＰＣＴ／ＣＮ２０１８／１００７９５号の開示全体が、この出願の開示の一部として参照により援用される。
パリ条約に準拠した適用可能な特許法及び／又は規則に基づいて、この出願は、２０１８年８月１６日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／１００７９５号の優先権及び利益を適時に主張するために行われる。米国法の下での全ての目的のために、国際特許出願第ＰＣＴ／ＣＮ２０１８／１００７９５号の開示全体が、この出願の開示の一部として参照により援用される。
【0002】
（技術分野）
この特許文書は、ビデオ符号化(video encoding)及び復号化(decoding)技術、デバイス及びシステムに関する。
この特許文書は、ビデオ符号化(video encoding)及び復号化(decoding)技術、デバイス及びシステムに関する。
【背景技術】
【0003】
ビデオ圧縮の進歩にもかかわらず、デジタルビデオは、依然として、インターネット及び他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。ビデオの受信及び表示が可能な接続ユーザデバイスの数が増加するにつれて、デジタルビデオ使用についての帯域幅需要は増加し続けることが予想される。
【発明の概要】
【0004】
デジタルビデオコーディング及び復号化に関するデバイス、システム及び方法、特に、ビデオコーディングされた動作における多重変換選択（ＭＴＳ：multiple transform selection）が記載される。記載される方法は、既存のビデオコーディング規格（例えば、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding））及び将来のビデオコーディング規格（例えば、汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding））又はコーデック(codecs)の両方に適用されることがある。
【0005】
１つの例示的な態様において、ビデオ処理の方法が開示される。この方法は、ビデオブロックへのコーディングされた表現の転換(conversion)のための第１の変換(first transform)の適用性の第１の決定のためにビデオのコーディングされた表現中の第１のフィールドを構文解析することと、第１の決定に基づいて第１の変換を選択的に使用することによって転換を実行することと、を含む。転換中に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用される。
【0006】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオの現在のビデオブロックとビデオのコーディングされた表現との間の転換のために、現在のビデオブロックのために使用されるコーディングモードが特定のタイプであるという決定を実行することと、コーディングモードが特定のタイプである結果として、現在のビデオブロックを処理するための第１の変換又は第２の変換(second transform)の適用性を示すフィールドがコーディングされた表現に存在しないことを決定することと、フィールドが存在しない場合にコーディングされた表現を構文解析することと、決定の故に、現在のビデオブロックの脱量子化された残差係数を変換する(transforming)ための第１の変換又は第２の変換の使用を無効にすることによって、現在のビデオブロックを生成することと、を含む。
【0007】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオブロックのコーディングされた表現と隣接するビデオブロックからのビデオブロックとの間の転換のための第１の変換に関する変換情報(transform information)を継承することであって、転換中に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用される、継承することと、第１に継承することに基づいて第１の変換を選択的に使用することによって転換を実行することと、を含む。
【0008】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディング条件に基づいて、現在のビデオブロックへのコーディングされた表現の転換のために使用される第１の変換がデフォルト変換であることを決定することであって、転換中に、第１の変換は、現在のビデオブロックの脱量子化された残差係数値の結果に適用される、決定することと、第１の決定に基づいて第１の変換を選択的に使用することによって転換を実行することと、を含む。
【0009】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリームを構文解析することであって、ビットストリームは、現在のビデオブロックのために、隣接するブロックの変換情報が現在のビデオブロックのための変換情報として継承されるかどうかに関する第１のインジケータを含む、構文解析することと、現在のビデオブロックを生成するために、第１のインジケータを構文解析することから得られる変換情報に基づいてコーディングされた表現を復号化することであって、転換中に、変換情報によって識別される変換が現在のビデオブロックの脱量子化された残差係数値の結果に適用される、復号化することと、を含む。
【0010】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオブロックへのコーディングされた表現の転換のための第１の変換の適用性の第１の決定のためにビデオのコーディングされた表現に第１のフィールドを含めることであって、転換中に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用される、含めることと、ビデオブロックを符号化することによってコーディングされた表現を生成することと、を含む。
【0011】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオの現在のビデオブロックとビデオのコーディングされた表現との間の転換のために、現在のビデオブロックのために使用されるコーディングモードが特定のタイプであるという決定を実行することと、コーディングモードが特定のタイプである結果として、現在のビデオブロックを処理するための第１の変換又は第２の変換の適用性を示すフィールドがコーディングされた表現に含められるべきでないという決定を実行することと、フィールドを含まないコーディングされた表現を生成することであって、現在のビデオブロックは、決定の故に、現在のビデオブロックの脱量子化された残差係数を変換するための第１の変換及び／又は第２の変換の使用を無効にすることによって復号化可能である、生成することと、を含む。
【0012】
別の例示的な態様では、ビデオ処理の方法が開示される。本方法は、ビデオブロックのコーディングされた表現とビデオブロックとの間の転換のために第１の変換に関する変換情報が隣接するビデオブロックから継承されるべきことを決定することであって、転換中に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用される、決定することと、この決定に基づいてコーディングされた表現を生成することと、を含む。
【0013】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディング条件に基づいて、現在のビデオブロックへのコーディングされた表現の転換のために使用されるべき第１の変換がデフォルト変換であることを決定することあって、転換中に、第１の変換が現在のビデオブロックの脱量子化された残差係数値の結果に適用される、決定することと、第１の決定に基づいて現在のビデオブロックのコーディングされた表現を生成することと、を含む。
【0014】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリームに、現在のビデオブロックについて、隣接するブロックの変換情報が現在のビデオブロックのための変換情報として継承されるかどうかに関する第１のインジケータを含めることを決定することと、変換情報に基づいて、現在のビデオブロックのコーディングされた表現を生成することであって、復号化中に、変換情報によって識別される変換が現在のビデオブロックの脱量子化された残差係数値の結果に適用されるべきである、生成することと、を含む。
【0015】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリームに、マージモードを使用してコーディングされる現在のビデオブロックについて、変換としてデフォルト変換を使用する第１の表示と、コーディングされた表現に含められる変換を識別する指数を使用するための第２の表示とを示す１ビットフィールドを含めることと、変換が１ビットフィールドによって識別されるコーディングされた表現を生成することを含む。
【0016】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、この位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすることと、その位置に基づいて、コーディングされた表現において変換情報を信号化する構文要素を解析するかどうかの決定を実行することと、を含む。
【0017】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、この位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすることと、その位置及び少なくとも１つの他のコーディング基準がある条件を満たすことの故に、変換情報を信号化する構文要素が存在し且つコーディングされた表現に含まれることを決定することと、コーディングされた表現において構文要素によって識別される変換情報を使用して転換を実行することと、を含む。
【0018】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、この位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすることと、その位置及び／又は少なくとも１つの他のコーディング基準がある条件を満たさないことの故に、変換情報を信号化する構文要素がコーディングされた表現に含まれることからスキップされることを決定することと、コーディングされた表現において明示的に識別されないデフォルト変換を使用して変換を実行することと、を含む。
【0019】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックから現在のビデオブロックのコーディングされた表現への転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、この位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすることと、その位置に基づいて、コーディングされた表現における変換情報を信号化する構文要素をコーディングするかどうか決定することと、を含む。
【0020】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、この位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすることと、その位置及び少なくとも１つの他のコーディング基準がある条件を満たすことの故に、変換情報を信号化する構文要素がコーディングされた表現に含まれるべきであることを決定することと、変換情報を識別する構文要素をコーディングされた表現に含めることによって転換を実行することと、を含む。
【0021】
別の例示的な態様では、ビデオ処理の方法が開示される。この方法は、現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、この位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすることと、その位置及び／又は少なくとも１つの他のコーディング基準がある条件を満たさないことの故に、変換情報を信号化する構文要素がコーディングされた表現に含まれないことを決定することと、構文要素をスキップすることによってコーディングされた表現を生成し、それによって、デフォルト変換の使用を黙示的に信号化することと、を含む。
【0022】
更に別の代表的な態様において、上述の方法は、プロセッサ実行可能なコードの形態で具現され、コンピュータ可読プログラム媒体に格納される。
【0023】
更に別の代表的な態様では、上述の方法を実行するように構成される或いは動作可能なデバイスが開示される。デバイスは、この方法を実施するようにプログラムされたプロセッサを含んでよい。
【0024】
更に別の代表的な態様において、ビデオデコーダ装置は、本明細書に記載する方法を実装することがある。
【0025】
開示される技術の上記の及び他の態様及び構成は、図面、本記述及び特許請求の範囲により詳細に記載される。
【図面の簡単な説明】
【0026】
【図1】マージ候補リストを構築する例を示している。
【0027】
【図2】空間的候補の位置の例を示している。
【0028】
【図3】空間的マージ候補の冗長チェックを受ける候補ペアの例を示している。
【0029】
【0030】
【図5】時間的マージ候補のための運動ベクトルスケーリングの例を示している。
【0031】
【図6】時間的マージ候補のための候補位置の例を示している。
【0032】
【図7】組み合わされた双予測マージ候補を生成する例を示している。
【0033】
【図8】運動ベクトル予測候補を構築する例を示している。
【0034】
【図9】空間的運動ベクトル候補のための運動ベクトルスケーリングの例を示している。
【0035】
【図10】コーディングユニット（ＣＵ）のための代替的な時間的運動ベクトル予測（ＡＴＭＶＰ）アルゴリズムを使用する運動予測の例を示している。
【0036】
【図11】空間的－時間的運動ベクトル予測（ＳＴＭＶＰ）アルゴリズムによって使用されるサブブロック及び隣接ブロックを有するコーディングニット（ＣＵ）の例を示している。
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【図21A】高速アルゴリズムを伴わない適応多重コア変換（多重変換選択（ＭＴＳ）としても知られるＡＭＴ）を使用するＣＵ符号化プロセスについての例示的なフローチャートを示している。
【図21B】高速アルゴリズムを伴う適応多重コア変換（多重変換選択（ＭＴＳ）としても知られるＡＭＴ）を使用するＣＵ符号化プロセスについての例示的なフローチャートを示している。
【0047】
【図22】ギブンズ回転のグラフ表現の例を示している。
【0048】
【図23】１６要素についてのハイパーキューブ－ギブンズ変換（ＨｙＧＴ）の「蝶」形状フローチャートの例を示している。
【0049】
【図24】ＨｙＧＴのＲラウンドと任意的な順列パスとからなる完全な分離不能な二次変換の例を示している。
【0050】
【図25】本開示の技術に従ったビデオコーディングについての例示的な方法のフローチャートを示している。
【0051】
【図26】本開示の技術に従ったビデオコーディングについての別の例示的な方法のフローチャートを示している。
【0052】
【図27】本開示の技術に従ったビデオコーディングについての更に別の例示的な方法のフローチャートを示している。
【0053】
【図28】本開示の技術に従ったビデオコーディングについての更に別の例示的な方法のフローチャートを示している。
【0054】
【図29】本開示の技術に従ったビデオコーディングについての更に別の例示的な方法のフローチャートを示している。
【0055】
【図30】本文書に記載する視覚的メディア復号化又は視覚的メディア符号化技術を実装するハードウェアプラットフォームの例のブロック図である。
【0056】
【図31】セットを変換するためのイントラ予測モード間のマッピングの例を示している。
【0057】
【図32】開示の技術が実装されることがある例示的なビデオ処理システムのブロック図である。
【発明を実施するための形態】
【0058】
より高解像度のビデオについての要求の増大の故に、ビデオコーディング(video coding)方法及び技術が、現代の技術では至るところに存在している。ビデオコーデック(video codecs)は、典型的には、デジタルビデオを圧縮又は解凍する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオコーデックは、圧縮されていないビデオを圧縮されたフォーマットに転換し(converts)、逆もまた同じである。ビデオ品質、（ビットレートによって決定される）ビデオを表現するために使用されるデータの量、符号化及び復号化アルゴリズムの複雑さ、データ損失及びエラーに対する感受性、編集の容易さ、ランダムアクセス、及びエンド・ツー・エンド遅延（待ち時間）の間には、複雑な関係がある。圧縮フォーマットは、通常、標準的なビデオ圧縮仕様、例えば、（Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる）高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格、最終化されるべき汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）規格、又は他の現在及び／又は将来のビデオコーディング規格に準拠している。
【0059】
開示される技術の実施形態は、圧縮性能を向上させるために、既存のビデオコーディング規格（例えば、ＨＥＶＣ、Ｈ．２６５）及び将来の規格に適用されてよい。本文書では、セクション見出しが、記述の可読性を向上させるために使用されるが、議論又は実施形態（及び／又は実装）をそれぞれのセクションのみに如何様にも限定しない。
【0060】
１．ＨＥＶＣ／Ｈ．２６５における相互予測の例
ビデオコーディング規格は、長年に亘って有意に改良されており、今や、部分的には、高いコーディング効率及びより高解像度のためのサポートを提供している。ＨＥＶＣ及びＨ．２６５のような最近の規格は、変換コーディング(transform coding)に加えて時間的予測が利用されるハイブリッドビデオコーディング構造に基づいている。
ビデオコーディング規格は、長年に亘って有意に改良されており、今や、部分的には、高いコーディング効率及びより高解像度のためのサポートを提供している。ＨＥＶＣ及びＨ．２６５のような最近の規格は、変換コーディング(transform coding)に加えて時間的予測が利用されるハイブリッドビデオコーディング構造に基づいている。
【0061】
１．１ 予測モードの例
各々の相互予測される(インター予測される)(inter-predicted)ＰＵ（予測ユニット(prediction unit)）は、１つ又は２つの参照画像リスト(reference picture lists)のための運動パラメータ(motion parameters)を有する。幾つかの実施形態において、運動パラメータは、運動ベクトル(motion vector)と、参照画像指数(参照画像インデックス)(reference picture index)とを含む。他の実施形態において、２つの参照画像リストのうちの１つの参照画像の使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを使用して信号化されて(signaled)よい。更に他の実施形態において、運動ベクトルは、予測子(predictors)に対するデルタ(deltas)として明示的にコーディングされてよい。
各々の相互予測される(インター予測される)(inter-predicted)ＰＵ（予測ユニット(prediction unit)）は、１つ又は２つの参照画像リスト(reference picture lists)のための運動パラメータ(motion parameters)を有する。幾つかの実施形態において、運動パラメータは、運動ベクトル(motion vector)と、参照画像指数(参照画像インデックス)(reference picture index)とを含む。他の実施形態において、２つの参照画像リストのうちの１つの参照画像の使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを使用して信号化されて(signaled)よい。更に他の実施形態において、運動ベクトルは、予測子(predictors)に対するデルタ(deltas)として明示的にコーディングされてよい。
【0062】
コーディングユニット（ＣＵ）がスキップモード(skip mode)でコーディングされるときに、１つのＰＵがＣＵと関連付けられ、有意な残差係数(residual coefficients)がなく、コーディングされた運動ベクトルデルタ又は参照画像指数がない。マージモード(merge mode)が、現在のＰＵのための運動パラメータが、空間的候補及び時間的候補を含む隣接するＰＵから取得されるように、指定される。マージモードは、スキップモードだけでなく、任意の相互予測ＰＵに適用されることができる。マージモードの代替は、運動ベクトル、各参照画像リストについての対応する参照画像指数、及び参照画像リスト使用が各々のＰＵ毎に明示的に信号化される、運動パラメータの明示的な伝送である。
【0063】
信号化(signaling)が、２つの参照画像リストのうちの１つが使用されるべきであることを示すときに、ＰＵは、サンプルの１つのブロックから生成される。これは「単一予測(uni-prediction)」と呼ばれる。Ｐ－スライス(P-slices)及びＢ－スライス(B-slices)の両方について単一予測が可能である。
【0064】
信号化が、参照画像リストの両方が使用されるべきであることを示すときに、ＰＵは、サンプルの２つのブロックから生成される。これを「双予測(bi-prediction)」を称する。双予測は、Ｂ－スライスのみについて利用可能である。
【0065】
１．１．１ マージモードのための候補を構築する実施形態
ＰＵがマージモードを使用して予測されるときに、マージ候補リスト内のエントリを指す指数(インデックス)がビットストリームから構文解析され(parsed)、運動情報を検索するために使用される。このリストの構造は、以下の一連のステップに従って要約されることができる
ＰＵがマージモードを使用して予測されるときに、マージ候補リスト内のエントリを指す指数(インデックス)がビットストリームから構文解析され(parsed)、運動情報を検索するために使用される。このリストの構造は、以下の一連のステップに従って要約されることができる
【0066】
ステップ１：初期候補の導出
【0067】
ステップ１．１：空間的候補導出
【0068】
ステップ１．２：空間的候補についての冗長性チェック
【0069】
ステップ１．３：時間的候補導出
【0070】
ステップ２：追加的候補挿入
【0071】
ステップ２．１：双予測候補作成
【0072】
ステップ２．２：ゼロ運動候補挿入
【0073】
図１は、上記で要約した一連のステップに基づいてマージ候補リストを構築する例を示している。空間的マージ候補導出のために、最大４つのマージ候補が５つの異なる位置に配置される候補の中から選択される。時間的マージ候補導出のために、最大１つのマージ候補が２つの候補の中から選択される。各ＰＵについて一定数の候補がデコーダ(復号器)で推定されるので、候補の数がスライスヘッダ(slice header)で信号化される最大数のマージ候補（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しないときに、追加的な候補が生成される。候補の数は一定であるので、最良のマージ候補の指数は、切り捨てられた単項（ＴＵ：truncated unary）二値化を用いて符号化される。ＣＵのサイズが８に等しいならば、現在のＣＵの全てのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同一である単一のマージ候補リストを共有する。
【0074】
１．１．２ 空間的マージ候補の構築
空間マージ候補の導出では、最大４つのマージ候補が図２に示す位置に配置される候補の中から選択される。導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０、Ａ０の任意のＰＵが（例えば、それが別のスライス又はタイルに属する故に）利用可能でないか或いはイントラコーディングされている(intra-coded)ときにのみ考慮される。位置Ａ１で候補が追加された後に、残りの候補の追加は、冗長性チェックの対象となり、冗長性チェックは、同じ運動情報を有する候補がリストから除外されることを保証するので、コーディング効率が向上させられる。
空間マージ候補の導出では、最大４つのマージ候補が図２に示す位置に配置される候補の中から選択される。導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０、Ａ０の任意のＰＵが（例えば、それが別のスライス又はタイルに属する故に）利用可能でないか或いはイントラコーディングされている(intra-coded)ときにのみ考慮される。位置Ａ１で候補が追加された後に、残りの候補の追加は、冗長性チェックの対象となり、冗長性チェックは、同じ運動情報を有する候補がリストから除外されることを保証するので、コーディング効率が向上させられる。
【0075】
計算の複雑さを低減するために、全ての可能な候補ペアが前述の冗長性チェックにおいて考慮されるわけではない。むしろ、図３において矢印でリンクされたペアのみが考慮され、冗長性チェックのために使用される対応する候補が同じ運動情報を持たない場合にのみ候補がリストに追加される。重複運動情報の別のソースは、２Ｎ×２Ｎとは異なる仕切り(パーティション)と関連付けられた「第２のＰＵ(second PUS)」である。一例として、図４Ａ及び図４Ｂは、それぞれ、Ｎ×２Ｎ及び２Ｎ×Ｎの場合についての第２のＰＵを示している。現在のＰＵがＮ×２Ｎに仕切られるとき、位置Ａ１にある候補は、リスト構築のために考慮されない。幾つかの実施形態において、この候補を追加することは、同じ運動情報を有する２つの予測ユニットをもたらすことがあり、それはコーディングユニット内に１つのＰＵだけを有するように冗長である。同様に、現在のＰＵが２Ｎ×Ｎとして仕切られるとき、位置Ｂ１は考慮されない。
【0076】
１．１．３ 時間的マージ候補の構築
このステップでは、１つの候補のみがリストに追加される。特に、この時間的マージ候補の導出では、スケーリングされた運動ベクトルが、所与の参照画像リスト内の現在の画像との最小のＰＯＣ差を有する画像に属する同じ位置に配置されるＰＵに基づいて導出される。同じ位置に配置されるＰＵの導出のために使用されるべき参照画像リストは、スライスヘッダ内で明示的に信号化される。
このステップでは、１つの候補のみがリストに追加される。特に、この時間的マージ候補の導出では、スケーリングされた運動ベクトルが、所与の参照画像リスト内の現在の画像との最小のＰＯＣ差を有する画像に属する同じ位置に配置されるＰＵに基づいて導出される。同じ位置に配置されるＰＵの導出のために使用されるべき参照画像リストは、スライスヘッダ内で明示的に信号化される。
【0077】
図５は、（点線として）時間的マージ候補についてのスケーリングされた運動ベクトルの導出の例を示してより、運動ベクトルは、ＰＯＣ距離、ｔｂ及びｔｄを用いて、同じ場所に配置されるＰＵの運動ベクトルからスケーリングされ、ここで、ｔｂは、現在の画像の参照画像と現在の画像との間のＰＯＣ差であると定義され、ｔｄは、同じ場所に配置される画像の参照画像と同じ場所に配置される画像との間のＰＯＣ差であると定義される。時間的マージ候補の参照画像指数は、ゼロに設定される。Ｂ－スライスについて、２つの運動ベクトル、一方は参照画像リスト０のための運動ベクトル、他方は参照画像リスト１のための運動ベクトルが取得されて組み合わされて、双予測マージ候補を作成する。
【0078】
参照フレームに属する同じ場所に配置されるＰＵ（Ｙ）において、時間的候補のための位置は、図６に示すように、候補Ｃ０と候補Ｃ１との間で選択される。Ｃ０の位置にあるＰＵが利用可能でないならば、イントラコーディングされているならば、或いは現在のＣＴＵの外側にあるならば、位置Ｃ１が使用される。さもなければ、位置Ｃ０は、時間的マージ候補の導出において使用される。
【0079】
１．１．４ 追加的なタイプのマージ候補の構築
空間的‐時間的マージ候補の他に、２つの追加的なタイプのマージ候補、すなわち、組み合わされた双予測マージ候補及びゼロマージ候補がある。組み合わされた双予測マージ候補は、空間的－時間的マージ候補を利用することによって生成される。組み合わされた双予測マージ候補は、Ｂ－スライスのみのために使用される。組み合わされた双予測候補は、初期候補の第１の参照画像リスト運動パラメータを別の候補の第２の参照画像リスト運動パラメータと組み合わされることによって生成される。これらの２つのタプルが異なる運動仮説を提供するならば、それらは新しい双予測候補を形成する。
空間的‐時間的マージ候補の他に、２つの追加的なタイプのマージ候補、すなわち、組み合わされた双予測マージ候補及びゼロマージ候補がある。組み合わされた双予測マージ候補は、空間的－時間的マージ候補を利用することによって生成される。組み合わされた双予測マージ候補は、Ｂ－スライスのみのために使用される。組み合わされた双予測候補は、初期候補の第１の参照画像リスト運動パラメータを別の候補の第２の参照画像リスト運動パラメータと組み合わされることによって生成される。これらの２つのタプルが異なる運動仮説を提供するならば、それらは新しい双予測候補を形成する。
【0080】
図７は、このプロセスの例を示しており、そこでは、ｍｖＬ０及びｒｅｆＩｄｘＬ０又はｍｖＬ１及びｒｅｆＩｄｘＬ１を有する、元のリスト（左側にある７１０）中の２つの候補が、最終リスト（右側にある７２０）に追加された組み合わされた双予測マージ候補を作成するために使用される。
【0081】
マージ候補リストの残余のエントリを満たし、従って、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量に達するために、ゼロモーション候補が挿入される。これらの候補は、ゼロ空間的変位と、ゼロから始まり、新しいゼロ運動候補がリストに追加される毎に増加する、参照画像指数とを有する。これらの候補によって使用される基準フレームの数は、１方向予測及び２方向予測のために、それぞれ、１及び２である。幾つかの実施形態において、冗長性チェックは、これらの候補に対して行われない。
【0082】
１．１．５ 並列処理のための運動推定領域の例
符号化プロセスを高速化するために、運動推定を並列に実行することができ、それによって、所与の領域内の全ての予測ユニットについての運動ベクトルが同時に導出される。空間的な近傍からのマージ候補の導出は、並列処理と干渉することがある。何故ならば、１つの予測ユニットは、その関連する運動推定が完了するまで、隣接するＰＵから運動パラメータを導出し得ないからである。コーディング効率と処理待ち時間との間のトレードオフを緩和するために、運動推定領域（ＭＥＲ）が定義されることがある。ＭＥＲのサイズは、「ｌｏｇ２＿ｐａｒａｌｌｅ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素(syntax element)を使用して、画像パラメータセット（ＰＰＳ）において信号化されてよい。ＭＥＲが定義されるとき、同じ領域に入るマージ候補は、利用可能でないとして印され、従って、リスト構成において考慮されない。
符号化プロセスを高速化するために、運動推定を並列に実行することができ、それによって、所与の領域内の全ての予測ユニットについての運動ベクトルが同時に導出される。空間的な近傍からのマージ候補の導出は、並列処理と干渉することがある。何故ならば、１つの予測ユニットは、その関連する運動推定が完了するまで、隣接するＰＵから運動パラメータを導出し得ないからである。コーディング効率と処理待ち時間との間のトレードオフを緩和するために、運動推定領域（ＭＥＲ）が定義されることがある。ＭＥＲのサイズは、「ｌｏｇ２＿ｐａｒａｌｌｅ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素(syntax element)を使用して、画像パラメータセット（ＰＰＳ）において信号化されてよい。ＭＥＲが定義されるとき、同じ領域に入るマージ候補は、利用可能でないとして印され、従って、リスト構成において考慮されない。
【0083】
１．２ 先進運動ベクトル予測（ＡＭＶＰ）の実施形態
ＡＭＶＰコーディングモードは、運動パラメータの明示的な伝送のために使用される、隣接するＰＵとの運動ベクトルの空間的－時間的相関を利用する。それは、先ず、左及び上の時間的に隣接するＰＵ位置の利用可能性をチェックし、冗長候補を除去し、そして、ゼロベクトルを加えて、候補リストを一定の長さにすることによって、運動ベクトル候補リストを構築する。次に、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応する指数を送信することができる。同様に、マージ指数信号化で、最良の運動ベクトル候補の指数が、切り捨てられた単項を用いて符号化される。この場合に符号化されるべき最大値は２である（図８を参照）。次節では、運動ベクトル予測候補の導出プロセスについての詳細を示す。
ＡＭＶＰコーディングモードは、運動パラメータの明示的な伝送のために使用される、隣接するＰＵとの運動ベクトルの空間的－時間的相関を利用する。それは、先ず、左及び上の時間的に隣接するＰＵ位置の利用可能性をチェックし、冗長候補を除去し、そして、ゼロベクトルを加えて、候補リストを一定の長さにすることによって、運動ベクトル候補リストを構築する。次に、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応する指数を送信することができる。同様に、マージ指数信号化で、最良の運動ベクトル候補の指数が、切り捨てられた単項を用いて符号化される。この場合に符号化されるべき最大値は２である（図８を参照）。次節では、運動ベクトル予測候補の導出プロセスについての詳細を示す。
【0084】
１．２．１ 運動ベクトル予測候補の構築の例
図８は、運動ベクトル予測候補のための導出プロセスを要約しており、入力としてｒｅｆｉｄｘを用いて各参照画像リストについて実装されてよい。
図８は、運動ベクトル予測候補のための導出プロセスを要約しており、入力としてｒｅｆｉｄｘを用いて各参照画像リストについて実装されてよい。
【0085】
運動ベクトル予測では、２つのタイプの運動ベクトル候補、すなわち、空間的運動ベクトル候補及び時間的運動ベクトル候補が考察される。空間的運動ベクトル候補導出のために、２つの運動ベクトル候補が、最終的に、図２に先に示したように、５つの異なる位置に配置される各ＰＵの運動ベクトルに基づいて導出される。
【0086】
時間的運動ベクトル候補導出のために、１つの運動ベクトル候補が２つの候補から選択され、２つの候補は、２つの異なる同じ場所に配置される位置に基づいて導出される。空間的－時間的候補の第１のリストが作成された後に、リスト中の重複した運動ベクトル候補が削除される。潜在的な候補の数が２よりも多いならば、関連する参照画像リスト内のその参照画像指数が１よりも大きい運動ベクトル候補がリストから削除される。空間的－時間的な運動ベクトル候補の数が２より少ないならば、追加的なゼロ運動ベクトル候補がリストに追加される。
【0087】
１．２．２ 空間的な運動ベクトル候補の構築
空間的な運動ベクトル候補の導出では、最大２つの候補が５つの潜在的な候補の中で考慮され、それらの５つの潜在的な候補は、先に図２に示したような位置に配置されるＰＵから導出され、それらの位置は、運動マージの位置と同じである。現在のＰＵの左側についての導出の順序は、Ａ０、Ａ１、及びスケーリングされたＡ０、スケーリングされたＡ１として定義される。現在のＰＵの上側についての導出の順序は、Ｂ０、Ｂ１、Ｂ２、及びスケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として定義される。従って、各側について、運動ベクトル候補として使用できる４つのケース、すなわち、空間スケーリングを使用することを必要としない２つのケース及び空間的スケーリングが使用される２つのケースがある。４つの異なるケースは、以下のように要約される。
空間的な運動ベクトル候補の導出では、最大２つの候補が５つの潜在的な候補の中で考慮され、それらの５つの潜在的な候補は、先に図２に示したような位置に配置されるＰＵから導出され、それらの位置は、運動マージの位置と同じである。現在のＰＵの左側についての導出の順序は、Ａ０、Ａ１、及びスケーリングされたＡ０、スケーリングされたＡ１として定義される。現在のＰＵの上側についての導出の順序は、Ｂ０、Ｂ１、Ｂ２、及びスケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として定義される。従って、各側について、運動ベクトル候補として使用できる４つのケース、すなわち、空間スケーリングを使用することを必要としない２つのケース及び空間的スケーリングが使用される２つのケースがある。４つの異なるケースは、以下のように要約される。
【0088】
－－空間的スケーリングなし
【0089】
（１）同じ参照画像リスト及び同じ参照画像指数（同じＰＯＣ）
【0090】
（２）異なる参照画像リストであるが、同じ参照画像（同じＰＯＣ）
【0091】
－－空間的スケーリング
【0092】
（３）同じ参照画像リストであるが、異なる参照画像（異なるＰＯＣ）
【0093】
（４）異なる参照画像リスト及び異なる参照画像（異なるＰＯＣ）
【0094】
空間的スケーリングのないケースが先ずチェックされ、次に、空間的スケーリングを可能にするケースがチェックされる。空間的スケーリングは、ＰＯＣが、参照画像リストにかかわらず、隣接するＰＵの参照画像と現在のＰＵの参照画像との間で異なるときに考慮される。左候補の全てのＰＵが利用可能でないか或いはイントラコーディングされているならば、左及び上のＭＶ候補の並列導出を助けるために、上記運動ベクトルについてのスケーリングが許容される。さもなければ、空間的スケーリングは、上記運動ベクトルについて許容されない。
【0095】
図９の例に示すように、空間的スケーリングの場合について、隣接するＰＵの運動ベクトルは、時間的スケーリングと同様にスケーリングされる。１つの相違は、現在のＰＵの参照画像リスト及び指数が入力として与えられることであり、実際のスケーリングプロセスは、時間的スケーリングと同じである。
【0096】
１．２．３ 時間的運動ベクトル候補の構築
参照画像指数導出とは別に、時間的マージ候補の導出のための全てのプロセスは、（図６の例に示されるような）空間的運動ベクトル候補の導出のためのプロセスと同じである。幾つかの実施形態において、参照画像指数は、デコーダに信号伝達される。
参照画像指数導出とは別に、時間的マージ候補の導出のための全てのプロセスは、（図６の例に示されるような）空間的運動ベクトル候補の導出のためのプロセスと同じである。幾つかの実施形態において、参照画像指数は、デコーダに信号伝達される。
【0097】
２． 共同調査モデル（ＪＥＭ）における相互予測方法の例
幾つかの実施態様では、共同調査モデル（ＪＥＭ：Joint Exploration Model）として知られる参照ソフトウェアを用いて、将来のビデオコーディング技術が調査される(explored)。ＪＥＭでは、サブブロックベースの予測が、アフィン予測(affine prediction)、代替時間的運動ベクトル予測（ＡＴＭＶＰ：alternative temporal motion vector prediction）、空間的－時間的運動ベクトル予測（ＳＴＭＶＰ：spatial-temporal motion vector prediction）、双方向光学フロー（ＢＩＯ：bi-directional optical flow）、フレームレートアップ転換（ＦＲＵＣ：Frame-Rate Up Conversion）、局所適応運動ベクトル解像度（ＬＡＭＶＲ：Locally Adaptive Motion Vector Resolution）、重複ブロック運動補償（ＯＢＭＣ：Overlapped Block Motion Compensation）、局所照明補償（ＬＩＣ：Local Illumination Compensation）、デコーダ側運動ベクトル精緻化（ＤＭＶＲ：Decoder-side Motion Vector Refinement）のような、幾つかのコーディングツールにおいて採用される。
幾つかの実施態様では、共同調査モデル（ＪＥＭ：Joint Exploration Model）として知られる参照ソフトウェアを用いて、将来のビデオコーディング技術が調査される(explored)。ＪＥＭでは、サブブロックベースの予測が、アフィン予測(affine prediction)、代替時間的運動ベクトル予測（ＡＴＭＶＰ：alternative temporal motion vector prediction）、空間的－時間的運動ベクトル予測（ＳＴＭＶＰ：spatial-temporal motion vector prediction）、双方向光学フロー（ＢＩＯ：bi-directional optical flow）、フレームレートアップ転換（ＦＲＵＣ：Frame-Rate Up Conversion）、局所適応運動ベクトル解像度（ＬＡＭＶＲ：Locally Adaptive Motion Vector Resolution）、重複ブロック運動補償（ＯＢＭＣ：Overlapped Block Motion Compensation）、局所照明補償（ＬＩＣ：Local Illumination Compensation）、デコーダ側運動ベクトル精緻化（ＤＭＶＲ：Decoder-side Motion Vector Refinement）のような、幾つかのコーディングツールにおいて採用される。
【0098】
２，１ サブＣＵベースの運動ベクトル予測の例
四進木及び二進木（ＱＴＢＴ）を有するＪＥＭでは、各ＣＵが、各予測方向について最大１セットの運動パラメータを有し得る。幾つかの実施形態では、２つのサブＣＵレベルの運動ベクトル予測方法が、大きなＣＵをサブＣＵに分割して、大きいＣＵの全てのサブＣＵについての運動情報を導出することによって、エンコーダにおいて考慮される。代替時間的運動ベクトル予測（ＡＴＭＶＰ）法は、各ＣＵが、同じ場所に配置される参照画像における現在のＣＵよりも小さい複数のブロックから複数のセットの運動情報をフェッチする(取り出す)(fetch)ことを可能にする。空間的‐時間的運動ベクトル予測（ＳＴＭＶＰ）法において、サブＣＵの運動ベクトルは、時間的運動ベクトル予測子及び空間的隣接運動ベクトルを用いることによって再帰的に導出される。幾つかの実施形態では、サブＣＵ運動予測のためにより正確な運動場を保存するために、基準フレームについての運動圧縮が無効にされてよい。
四進木及び二進木（ＱＴＢＴ）を有するＪＥＭでは、各ＣＵが、各予測方向について最大１セットの運動パラメータを有し得る。幾つかの実施形態では、２つのサブＣＵレベルの運動ベクトル予測方法が、大きなＣＵをサブＣＵに分割して、大きいＣＵの全てのサブＣＵについての運動情報を導出することによって、エンコーダにおいて考慮される。代替時間的運動ベクトル予測（ＡＴＭＶＰ）法は、各ＣＵが、同じ場所に配置される参照画像における現在のＣＵよりも小さい複数のブロックから複数のセットの運動情報をフェッチする(取り出す)(fetch)ことを可能にする。空間的‐時間的運動ベクトル予測（ＳＴＭＶＰ）法において、サブＣＵの運動ベクトルは、時間的運動ベクトル予測子及び空間的隣接運動ベクトルを用いることによって再帰的に導出される。幾つかの実施形態では、サブＣＵ運動予測のためにより正確な運動場を保存するために、基準フレームについての運動圧縮が無効にされてよい。
【0099】
２．１．１ 代替時間的運動ベクトル予測（ＡＴＭＶＰ）の例
ＡＴＭＶＰ法において、時間的運動ベクトル予測（ＴＭＶＰ）法は、現在のＣＵより小さいブロックから複数のセットの（運動ベクトル及び基準指数を含む）運動情報をフェッチすることによって修正される。
ＡＴＭＶＰ法において、時間的運動ベクトル予測（ＴＭＶＰ）法は、現在のＣＵより小さいブロックから複数のセットの（運動ベクトル及び基準指数を含む）運動情報をフェッチすることによって修正される。
【0100】
図１０は、現在の画像１０００におけるＣＵについてのＡＴＭＶＰ運動予測処理の例を示している。ＡＴＭＶＰ法は、ＣＵ１００２内のサブＣＵ１００１の運動ベクトルを２つのステップで予測する。第１のステップは、時間的ベクトルを有する参照画像１０５０内の対応するブロック１０５１を識別することである。参照画像１０５０を運動ソース画像とも称する。第２のステップは、現在のＣＵ１００２をサブＣＵ１００１に分割し、各サブＣＵに対応するブロックから各サブＣＵの運動ベクトル及び参照指数を取得することである。
【0101】
第１のステップでは、参照画像１０５０及び対応するブロックは、現在のＣＵ １００２の空間的に隣接するブロックの運動情報によって決定される。隣接ブロックの繰り返し走査処理を回避するために、現在のＣＵ１０００のマージ候補リスト中の第１のマージ候補が使用される。第１の利用可能な運動ベクトル及びその関連する参照指数は、時間的ベクトル及び運動ソース画像への指数であるように設定される。このようにして、対応するブロックは、ＴＭＶＰと比較されて、より正確に識別されることがあり、ここで、（同じ場所に配置されたブロックと称することもある）対応するブロックは、常に、現在のＣＵに対して右下又は中央の位置にある。
【0102】
第２のステップでは、サブＣＵ１０５１の対応するブロックが、現在のＣＵの座標に時間的ベクトルを加えることによって、運動ソース画像１０５０内の時間的ベクトルによって識別される。各サブＣＵについて、対応するブロックの運動情報（例えば、中心サンプルをカバーする最小の運動グリッド）は、サブＣＵについての運動情報を導出するために使用される。対応するＮ×Ｎブロックの運動情報が識別された後に、それは、運動スケーリング及びその他の手順が適用されるＨＥＶＣのＴＭＶＰと同じ方法において、現在のサブＣＵの運動ベクトル及び参照指数に変換される。例えば、デコーダは、低遅延条件（例えば、現在の画像の全ての参照画像のＰＯＣが現在の画像のＰＯＣよりも小さい）が満たされているかどうかをチェックし、各サブＣＵについて（例えば、Ｘが０又は１に等しく、Ｙが１－Ｘに等しい）運動ベクトルＭＶｙを予測するために、場合によっては、運動ベクトルＭＶｘ（例えば、参照画像リストＸに対応する運動ベクトル）を使用する。
【0103】
２．１．２ 空間的－時間的運動ベクトル予測（ＳＴＭＶＰ）の例
ＳＴＭＶＰ法において、サブＣＵの運動ベクトルは、ラスタ走査順序に従って再帰的に導出される。図１１は、４つのサブブロック及び隣接するブロックを有する１つのＣＵの例を示している。４つの４×４のサブＣＵ、すなわち、サブＣＵ Ａ（１１０１）、サブＣＵ Ｂ（１１０２）、サブＣＵ Ｃ（１１０３）、及びサブＣＵ Ｄ（１１０４）を含む、８×８のＣＵ１１００を考える。現在のフレーム内の隣接する４×４ブロックは、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、及びｄ（１１１４）としてラベル付けされている。
ＳＴＭＶＰ法において、サブＣＵの運動ベクトルは、ラスタ走査順序に従って再帰的に導出される。図１１は、４つのサブブロック及び隣接するブロックを有する１つのＣＵの例を示している。４つの４×４のサブＣＵ、すなわち、サブＣＵ Ａ（１１０１）、サブＣＵ Ｂ（１１０２）、サブＣＵ Ｃ（１１０３）、及びサブＣＵ Ｄ（１１０４）を含む、８×８のＣＵ１１００を考える。現在のフレーム内の隣接する４×４ブロックは、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、及びｄ（１１１４）としてラベル付けされている。
【0104】
サブＣＵ Ａについての運動導出は、その２つの空間的隣接物を識別することによって開始する。第１の隣接物は、サブＣＵ Ａ １１０１より上のＮ×Ｎブロック（ブロックｃ １１１３）である。このブロックｃ（１１１３）が利用可能でないか或いはイントラコーディングされているならば、サブＣＵ Ａ（１１０１）より上の他のＮ×Ｎブロックが（ブロックｃ １１１３で開始して左から右に）チェックされる。第２の隣接物は、サブＣＵ Ａ １１０１の左側のブロック（ブロックｂ １１１２）である。ブロックｂ（１１１２）が利用可能でないか或いはイントラコーディングされているならば、サブＣＵ Ａ １１０１の左側の他のブロックが（ブロックｂ １１１２で開始して上から下に）チェックされる。各リストについて隣接ブロックから取得される運動情報は、所与のリストについて第１の基準フレームにスケーリングされる。次に、サブブロックＡ １１０１の時間的運動ベクトル予測子（ＴＭＶＰ）は、ＨＥＶＣで規定されるのと同じＴＭＶＰ導出手順に従うことによって導出される。ブロックＤ １１０４における同じ場所に配置されたブロックの運動情報は、相応してフェッチされ、スケーリングされる。最後に、運動情報を検索し、スケーリングした後に、全ての利用可能な運動ベクトルは、各参照リストについて別個に平均化される。平均化された運動ベクトルは、現在のサブＣＵの運動ベクトルとして割り当てられる。
【0105】
２．１．３ サブＣＵ予測モードスケーリングの例
幾つかの実施形態において、サブＣＵモードは、追加的なマージ候補として有効にされ(enabled)、モードを信号化するのに必要とされる追加的な構文要素はない。ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために、２つの追加マージ候補が各ＣＵのマージ候補リストに追加される。他の実施形態では、シーケンスパラメータセットがＡＴＭＶＰ及びＳＴＭＶＰが有効にされていることを示すならば、最大７つのマージ候補が使用されてよい。追加のマージ候補の符号化論理は、ＨＭ内のマージ候補の場合と同じであり、それは、Ｐスライス又はＢスライス内の各ＣＵについて、２つのＲＤチェックが２つの追加のマージ候補について必要とされる場合があることを意味する。幾つかの実施形態、例えば、ＪＥＭにおいて、マージ指数の全てのビンは、ＣＡＢＡＣ（コンテキストベースの適応バイナリ算術コーディング）によってコンテキストコーディングされる。他の実施形態、例えば、ＨＥＶＣでは、第１のビンのみがコンテキストコーディングされ、残余のビンはコンテキストバイパスコーディングされる。
幾つかの実施形態において、サブＣＵモードは、追加的なマージ候補として有効にされ(enabled)、モードを信号化するのに必要とされる追加的な構文要素はない。ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために、２つの追加マージ候補が各ＣＵのマージ候補リストに追加される。他の実施形態では、シーケンスパラメータセットがＡＴＭＶＰ及びＳＴＭＶＰが有効にされていることを示すならば、最大７つのマージ候補が使用されてよい。追加のマージ候補の符号化論理は、ＨＭ内のマージ候補の場合と同じであり、それは、Ｐスライス又はＢスライス内の各ＣＵについて、２つのＲＤチェックが２つの追加のマージ候補について必要とされる場合があることを意味する。幾つかの実施形態、例えば、ＪＥＭにおいて、マージ指数の全てのビンは、ＣＡＢＡＣ（コンテキストベースの適応バイナリ算術コーディング）によってコンテキストコーディングされる。他の実施形態、例えば、ＨＥＶＣでは、第１のビンのみがコンテキストコーディングされ、残余のビンはコンテキストバイパスコーディングされる。
【0106】
２．２ 適応運動ベクトル差分解能の例
幾つかの実施形態では、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０に等しいとき、（ＰＵＳの運動ベクトルと予測される運動ベクトルとの間の）運動ベクトル差（ＭＶＤ）は、４分の１輝度サンプル(quarter luma samples)の単位で信号化される。ＪＥＭでは、局所適応運動ベクトル分解能（ＬＡＭＶＲ：locally adaptive motion vector resolution）が導入される。ＪＥＭにおいて、ＭＶＤは、４分の１輝度サンプル、整数輝度サンプル(integer luma samples)、又は４輝度サンプル(four luma samples)の単位でコーディングされることができる。ＭＶＤ分解能は、コーディングユニット（ＣＵ）レベルで制御され、ＭＶＤ分解能フラグは、少なくとも１つのゼロでないＭＶＤ成分を有する各ＣＵについて条件付きで信号化される。
幾つかの実施形態では、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０に等しいとき、（ＰＵＳの運動ベクトルと予測される運動ベクトルとの間の）運動ベクトル差（ＭＶＤ）は、４分の１輝度サンプル(quarter luma samples)の単位で信号化される。ＪＥＭでは、局所適応運動ベクトル分解能（ＬＡＭＶＲ：locally adaptive motion vector resolution）が導入される。ＪＥＭにおいて、ＭＶＤは、４分の１輝度サンプル、整数輝度サンプル(integer luma samples)、又は４輝度サンプル(four luma samples)の単位でコーディングされることができる。ＭＶＤ分解能は、コーディングユニット（ＣＵ）レベルで制御され、ＭＶＤ分解能フラグは、少なくとも１つのゼロでないＭＶＤ成分を有する各ＣＵについて条件付きで信号化される。
【0107】
少なくとも１つのゼロでないＭＶＤコンポーネントを有するＣＵについて、第１のフラグが、４分の１輝度サンプルＭＶ精度がＣＵにおいて使用されているかどうかを示すために信号化される。（１に等しい）第１のフラグが、４分の１輝度サンプルＭＶ精度が使用されていないことを示すときには、別のフラグが、整数輝度サンプルＭＶ精度又は４輝度サンプルＭＶ精度が使用されているかどうかを示すために信号化される。
【0108】
ＣＵの第１のＭＶＤ分解能フラグがゼロであるか或いはＣＵについてコーディングされていない（ＣＵ内の全てのＭＶＤがゼロであることを意味する）とき、４分の１輝度サンプルＭＶ分解能はＣＵについて使用される。ＣＵが整数輝度サンプルＭＶ精度又は４輝度サンプルＭＶ精度を使用するとき、ＣＵについてのＡＭＶＰ候補リスト中のＭＶＰは、対応する精度に丸められる。
【0109】
エンコーダ内で、どのＭＶＤ分解能がＣＵについて使用されるべきかを決定するために、ＣＵレベルＲＤチェックが使用される。すなわち、ＣＵレベルＲＤチェックは、各ＭＶＤ分解能について３回行われる。エンコーダ速度を加速するために、以下の符号化スキームがＪＥＭにおいて適用される。
【0110】
－－通常の４分の１輝度サンプルＭＶＤ分解能を持つＣＵのＲＤチェック中に、現在のＣＵの運動情報（整数輝度サンプル精度）が格納される。格納された運動情報は（丸み付け後に）、整数輝度サンプル及び４輝度サンプルＭＶＤ分解能を持つ同じＣＵについてのＲＤチェック中に、更に小さな範囲の運動ベクトル精緻化のための出発点として使用されるので、時間のかかる運動推定プロセスが３回重複しない。
【0111】
－－４輝度サンプルＭＶＤ分解能を持つＣＵのＲＤチェックは、条件付きで呼び出される(invoked)。ＣＵについて、ＲＤコスト整数輝度サンプルＭＶＤ分解能は、４分の１輝度サンプルＭＶＤ分解能よりも遙かに大きいときに、ＣＵについての４輝度サンプルＭＶＤ分解能のＲＤチェックはスキップされる。
【0112】
２．３ より高い運動ベクトル格納精度の例
ＨＥＶＣにおいて、運動ベクトルの精度は、４分の１ピクセル(pel)（４：２：０ビデオについて４分の１輝度サンプル及び８分の１彩度サンプル）である。ＪＥＭにおいて、内部運動ベクトル格納及びマージ候補についての精度は、１／１６ピクセルに増加する。より高い運動ベクトル精度（１／１６ピクセル）が、スキップ／マージモードでコーディングされたＣＵについての運動補償相互予測において使用される。通常のＡＭＶＰモードでコーディングされたＣＵについて、整数ピクセル運動又は４分の１ピクセル運動のいずれかが使用される。
ＨＥＶＣにおいて、運動ベクトルの精度は、４分の１ピクセル(pel)（４：２：０ビデオについて４分の１輝度サンプル及び８分の１彩度サンプル）である。ＪＥＭにおいて、内部運動ベクトル格納及びマージ候補についての精度は、１／１６ピクセルに増加する。より高い運動ベクトル精度（１／１６ピクセル）が、スキップ／マージモードでコーディングされたＣＵについての運動補償相互予測において使用される。通常のＡＭＶＰモードでコーディングされたＣＵについて、整数ピクセル運動又は４分の１ピクセル運動のいずれかが使用される。
【0113】
ＨＥＶＣ運動補償補間フィルタと同じフィルタ長と正規化係数とを有するＳＨＶＣアップサンプリング(upsampling)補間フィルタが、追加的な分数ピクセル位置についての運動補償補間フィルタとして使用される。彩度成分運動ベクトル精度は、ＪＥＭ内の１／３２サンプルであり、１／３２ピクセル分数位置の追加的な補間フィルタが、２つの隣接する１／１６ピクセル分数位置のフィルタの平均を用いて導出される。
【0114】
３．ＪＥＭにおける変換設計の例
ＪＥＭには２つの異なる種類の変換がある。１つは、一次変換としても扱われる適応多重コア変換（ＡＭＴ：adaptive multiple core transform、多重変換選択（ＭＴＳ：Multiple Transform Selection）としても知られる）と称され、他の１つは、分離不能二次変換（ＮＳＳＴ(non-separable secondary transform)、低周波分離不能変換(Low Frequency Non-Separable Transform)としても知られる）と称される。
ＪＥＭには２つの異なる種類の変換がある。１つは、一次変換としても扱われる適応多重コア変換（ＡＭＴ：adaptive multiple core transform、多重変換選択（ＭＴＳ：Multiple Transform Selection）としても知られる）と称され、他の１つは、分離不能二次変換（ＮＳＳＴ(non-separable secondary transform)、低周波分離不能変換(Low Frequency Non-Separable Transform)としても知られる）と称される。
【0115】
３．１ 適応多重コア変換（ＡＭＴ）の例
ＨＥＶＣで用いられてきた（離散コサイン変換）ＤＣＴ‐ＩＩ及び４×４（離散サイン変換）ＤＳＴ‐ＶＩＩに加えて、適応多重（コア）変換（ＡＭＴ）スキームが、相互コーディングされたブロック及びイントラコーディングされたブロックの両方についての残差コーディング(residual coding)のために用いられる。それはＨＥＶＣ内の現在の変換以外のＤＣＴ／ＤＳＴファミリから選択された複数の変換を使用する。新しく導入された変換行列(transform matrices)は、ＤＳＴ－ＶＩＩ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ及びＤＣＴ－Ｖである。表１は、選択されたＤＳＴ／ＤＣＴの基本関数を示している。
ＨＥＶＣで用いられてきた（離散コサイン変換）ＤＣＴ‐ＩＩ及び４×４（離散サイン変換）ＤＳＴ‐ＶＩＩに加えて、適応多重（コア）変換（ＡＭＴ）スキームが、相互コーディングされたブロック及びイントラコーディングされたブロックの両方についての残差コーディング(residual coding)のために用いられる。それはＨＥＶＣ内の現在の変換以外のＤＣＴ／ＤＳＴファミリから選択された複数の変換を使用する。新しく導入された変換行列(transform matrices)は、ＤＳＴ－ＶＩＩ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ及びＤＣＴ－Ｖである。表１は、選択されたＤＳＴ／ＤＣＴの基本関数を示している。
【表1】
【0116】
変換行列の直交性を維持するために、変換行列は、ＨＥＶＣにおける変換行列よりも正確に量子化される。変換された係数の中間値を１６ビットの範囲内に維持するために、水平変換後及び垂直変換後に、全ての係数は、現在のＨＥＶＣ変換で使用されている右シフトと比較して、２ビットだけ右シフトされる。
【0117】
ＡＭＴは、６４以下の幅及び高さの両方を有するＣＵに適用され、ＡＭＴが適用されるかどうかは、ＣＵレベルフラグによって制御される。ＣＵレベルフラグ（すなわち、ＡＭＴフラグ）が０に等しいときには、剰余(residue)を符号化するために、ＤＣＴ－ＩＩがＣＵにおいて適用される。ＡＭＴが有効にされたＣＵ内の輝度コーディングブロックについては、使用されるべき水平変換及び垂直変換を識別するために、２つの追加フラグ（例えば、ＡＭＴ指数）が信号化される。ＨＥＶＣにおけると同様に、ブロックの剰余は、ＪＥＭにおける変換スキップモードでコーディングされることができる。構文コーディングの冗長性を避けるために、ＣＵレベルＡＭＴフラグがゼロに等しくないときには、変換スキップフラグは信号化されない。
【0118】
イントラ剰余コーディングについては、異なるイントラ予測モードの異なる剰余統計の故に、モード依存変換候補選択プロセスが使用される。３つの変換サブセットが表２に示すように定義され、変換サブセットは、表３に指定されるように、イントラ予測モードに基づいて選択される。
【表2】
【0119】
サブセット概念を用いて、１に等しいＣＵレベルＡＭＴフラグを持つＣＵのイントラ予測モードを用いる表２に基づいて、変換サブセットが先ず識別される。その後、水平変換及び垂直変換の各々について、表３に従った、識別された変換サブセット中の２つの変換候補のうちの１つが、明示的に信号化されたフラグに基づいて選択される。
【表3】
【0120】
しかしながら、相互予測剰余については、ＤＳＴ‐ＶＩＩ及びＤＣＴ‐ＶＩＩＩから成る１つの変換セットみが、全ての相互モードのために並びに水平変換及び垂直変換の両方のために使用される。
【0121】
ＡＭＴの複雑性は、エンコーダ側で比較的高い。何故ならば、力ずくの(brute-force)探索が用いられるときに、総計５つ（ＤＣＴ‐ＩＩ候補及び４つの多重変換候補）の異なる変換候補が、各剰余ブロックについてのレート歪みコストで評価される必要があるからである。エンコーダにおけるこの複雑性の問題を緩和するために、幾つかの最適化方法がＪＥＭにおけるアルゴリズム加速のために設計される。
【0122】
デコーダでは、各ＣＵレベルコーディングモードのために、２パスコーディングが適用される。図２１Ａに示すように、第１のパスは、ＣＵについてＤＣＴ－ＩＩのみを適用することのＲ－Ｄコストを検討する一方で（ＣＵレベルフラグは０である）、第２のパスは、ＣＵについて複数の変換を適用することのＲ－Ｄコストを更に検討する（ＣＵレベルフラグは１である）。加えて、ＣＵレベルコーディングモードは、どのパスが実際に適用されるとしても、比較的一貫していることが観察される。従って、ＣＵのための多重変換パスをチェックするときに、ＤＣＴ‐ＩＩのみを適用することの統計が収集され、第２の多重変換パスにおいて不必要なＲ‐Ｄ計算をスキップするために使用される。図２１Ｂに示すように、ＡＭＴ ＣＵレベルフラグ０を有する特定のＣＵコーディングモードのＲ－Ｄコストが、図２１Ｂにおいて強調表示された条件によって示されるように、特定の閾値の最小Ｒ－Ｄコストを超えるときに、第２のパスは、すなわち、ＡＭＴ ＣＵレベルフラグ１を有する現在のＣＵコーディングモードでＣＵを符号化するパスは、スキップされる。
【0123】
３．２ モード依存分離不能二次変換（ＮＳＳＴ）
ＪＥＭでは、モード依存分離不能二次変換（ＭＤＮＳＳＴ）が、（エンコーダでの）量子化と順方向コア変換との間に、並びに（デコーダでの）逆コア変換と脱量子化との間に適用される。低い複雑性を維持するために、ＭＤＮＳＳＴは、一次変換後の低周波数係数に適用されるだけである。変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）の両方が８以上であるならば、８×８分離不能二次変換が、変換係数ブロックの左上の８×８領域に適用される。さもなければ、変換係数ブロックのＷ又はＨのいずれかが４に等しいならば、４×４の分離不能二次変換が適用され、４×４の分離不能変換は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して実行される。上記の変換選択ルールは、輝度成分及び彩度成分の両方のために適用される。
ＪＥＭでは、モード依存分離不能二次変換（ＭＤＮＳＳＴ）が、（エンコーダでの）量子化と順方向コア変換との間に、並びに（デコーダでの）逆コア変換と脱量子化との間に適用される。低い複雑性を維持するために、ＭＤＮＳＳＴは、一次変換後の低周波数係数に適用されるだけである。変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）の両方が８以上であるならば、８×８分離不能二次変換が、変換係数ブロックの左上の８×８領域に適用される。さもなければ、変換係数ブロックのＷ又はＨのいずれかが４に等しいならば、４×４の分離不能二次変換が適用され、４×４の分離不能変換は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して実行される。上記の変換選択ルールは、輝度成分及び彩度成分の両方のために適用される。
【0124】
分離不能変換の行列乗算実装は、４×４入力ブロックを例として使用して以下のように記載される。分離不能変換を適用するために、４×４入力ブロックＸが使用される。
【0125】
【数1】
【0126】
ベクトル
（外１）
で表される。
（外１）
【0127】
【数2】
【0128】
分離不能変換は、
として計算され、ここで、
（外２）
は、変換係数ベクトルを表し、
（外３）
は、１６×１６変換行列である。引き続き、１６×１係数ベクトル
（外４）
が、そのブロックについての走査順（水平、垂直、又は対角）を用いて、４×４ブロックとして再編成される。４×４係数ブロックでは、より小さい指数を有する係数が、より小さい走査指数と共に配置される。ＪＥＭでは、分離不能変換の複雑さを低減するために、行列乗算の代わりに、蝶実装を伴うハイパーキューブ‐ギブンズ変換（ＨｙＧＴ）が使用される。
【数3】
（外２）
（外３）
（外４）
【0129】
３．２．１ モード依存変換コア選択
４×４及び８×８ブロックサイズの両方について、全部で３５×３の分離不能二次変換があり、ここで、３５は、セット(集合)(set)として示されるイントラ予測モードによって指定される変換セットの数であり、３は、各イントラ予測モードのためのＮＳＳＴ候補の数である。イントラ予測モードから変換セットへのマッピングは、図３１に示す表４に定義される。輝度／彩度変換係数に適用される変換セットは、表４に従って、対応する輝度／彩度イントラ予測モードによって指定される。３４より大きいイントラ予測モード（対角予測方向）について、変換係数ブロックは、エンコーダ／デコーダにおける二次変換の前後に転置される。
４×４及び８×８ブロックサイズの両方について、全部で３５×３の分離不能二次変換があり、ここで、３５は、セット(集合)(set)として示されるイントラ予測モードによって指定される変換セットの数であり、３は、各イントラ予測モードのためのＮＳＳＴ候補の数である。イントラ予測モードから変換セットへのマッピングは、図３１に示す表４に定義される。輝度／彩度変換係数に適用される変換セットは、表４に従って、対応する輝度／彩度イントラ予測モードによって指定される。３４より大きいイントラ予測モード（対角予測方向）について、変換係数ブロックは、エンコーダ／デコーダにおける二次変換の前後に転置される。
【0130】
各変換セットについて、選択される分離不能二次変換候補は、明示的に信号化されたＣＵレベルＭＤＮＳＳＴ指数によって更に指定される。指数は、変換係数及び切り捨てられた単項二値化が使用された後に、内部ＣＵ毎に一度ビットストリームにおいて信号化される。切り捨てられた値は、平面モード又はＤＣモードの場合には２であり、角度イントラ予測モードについては３である。このＭＤＮＳＳＴ指数は、ＣＵ内に１つよりも多くのゼロ係数があるときにのみ信号化される。デフォルト値は、それが信号化されないときにはゼロである。この構文要素のゼロ値は、二次変換が現在のＣＵに適用されないことを示し、値１－３は、セットからの二次変換が適用されるべきであることを示す。
【0131】
ＪＥＭにおいて、ＭＤＮＳＳＴは、変換スキップモードでコーディングされたブロックについて適用されない。ＭＤＮＳＳＴ指数がＣＵのために信号化され、ゼロに等しくないとき、ＭＤＮＳＳＴは、ＣＵにおいて変換スキップモードでコーディングされる成分のブロックについて使用されない。全ての成分のブロックを有するＣＵが変換スキップモードでコーディングされるか、或いは非変換スキップモードＣＢの非ゼロ係数の数が２未満であるとき、ＭＤＮＳＳＴ指数は、ＣＵのために信号化されない。
【0132】
ＪＥＭにおいて、ＭＤＮＳＳＴは、イントラ予測が生成されるときに、モード依存参照サンプルイントラ平滑化（ＭＤＩＳ）がどのように適用されるかに対する影響も有する。ブロックのＭＤＮＳＳＴ指数がゼロのとき、ＭＤＩＳは、そのブロックについ無効にされる（すなわち、参照サンプル平滑化はない）。ブロックのＭＤＮＳＳＴインデックスがゼロに等しくないとき、ＨＥＶＣスタイルＭＤＩＳは、そのブロックについて適用される。このルールは、ＰＤＰＣプロセスが適用される平面モードを除く全てのイントラ予測モードについて適用される。ＪＥＭにおいて，ＨＥＶＣにおいて３２×３２イントラブロックサイズについて適用される強いイントラ平滑化は、無効にされる。
【0133】
エンコーダ側で、ＣＵのためのＮＳＳＴ指数を選択するために、ＣＵレベルＲＤチェックが使用される。すなわち、イントラコーディングされるＣＵについて、ＣＵレベルＲＤチェックは、ループ指数としてＮＳＳＴ指数値を使用することによって４回ループされる。エンコーダ速度を加速するために、次の高速方法が使用される。
【0134】
－ ループの早期停止が適用される。より大きな値を持つＮＳＳＴ指数ＲＤチェックは、より小さい値を持つＮＳＳＴ指数についての現在のＣＵに非ゼロ変換係数がないときに、スキップされる。
【0135】
－ 参照ソフトウェア内のＮＳＳＴ指数の各々についてのイントラモード決定は、ラフモード決定（ＲＭＤ）段階と、ＲＤＯ段階とを含む。ＲＭＤ段階では、６７のイントラ予測モードのうち３つが、ＳＡＴＤコストに基づいて選択される。このプロセスは、４回ではなく、２回（ゼロに等しいＮＳＳＴ指数のために１回及び非ゼロに等しいＮＳＳＴ指数のために１回）適用される。全ての非ゼロＮＳＳＴ指数について、イントラ予測モードについての異なるＮＳＳＴ指数のＳＡＴＤコストは、同じでなければならない。従って、ＲＭＤプロセスは、全ての非ゼロＮＳＳＴ指数について（ＮＳＳＴ指数＝１として）１回適用されれば十分であり、結果は、他の非ゼロＮＳＳＴ指数について再使用される。
【0136】
３．２．２ ＨｙＧＴに基づく分離不能変換
ハイパーキューブ‐ギブンズ変換（ＨｙＧＴ）が分離不能二次変換の計算において使用される。この直交変換の基本成分は、以下によって定義される要素を有する、直交行列Ｇ（ｍ，ｎ，θ）によって定義される、ギブンズ回転である。
ハイパーキューブ‐ギブンズ変換（ＨｙＧＴ）が分離不能二次変換の計算において使用される。この直交変換の基本成分は、以下によって定義される要素を有する、直交行列Ｇ（ｍ，ｎ，θ）によって定義される、ギブンズ回転である。
【0137】
【数4】
【0138】
これらの変換は、図２２に示すように、グラフで表されることができる。
【0139】
ＨｙＧＴは、ハイパーキューブ配置においてギブンズ回転のセットを組み合わせることによって実装される。図２３は、１６要素（４×４分離不能変換）についてのＨｙＧＴの「蝶」形状フローチャートを示している。Ｎが２の冪乗であると仮定すると、ＨｙＧＴラウンドは、ｌｏｇ２（Ｎ）パスのシーケンスとして定義され、各パスにおいて、ベクトルｍ及びｎの指数は、各方向において順次的に、次元ｌｏｇ２（Ｎ）を有するハイパーキューブのエッジによって定義される。
【0140】
良好な圧縮を得るために、１つよりも多くのＨｙＧＴラウンドが使用される。図２４に示すように、完全な分離不能二次変換は、ＲがＨｙＧＴを丸めることで構成され、任意の置換パスを含んで、それらの分散(variance)に従って変換係数を分類してよい。ＪＥＭにおいて、２ラウンドＨｙＧＴは、４×４二次変換のために適用され、４ラウンドＨｙＧＴは、８×８二次変換のために適用される。
【0141】
４．ＶＶＣテストモデル（ＶＴＭ）におけるＡＭＴの例
ＶＴＭバージョン２．０を含む幾つかの実施形態では、ＡＭＴの簡易バージョンが以下の構成(features)を含むことがある
ＶＴＭバージョン２．０を含む幾つかの実施形態では、ＡＭＴの簡易バージョンが以下の構成(features)を含むことがある
【0142】
● 各々がＳＰＳフラグによって制御されるイントラ(intra)及び相互(インター)(inter)の両方について有効化されるＡＭＴ。
【0143】
● ６４長のＤＳＴ－ＶＩＩ及びＤＣＴ－ＶＩＩＩがない（いずれかの次元が３２より大きいときに送られるＡＭＴ構文がない）。
【0144】
● １２８長のＤＣＴ－ＩＩがない。
【0145】
● ＤＣＴ－ＩＩ、ＤＳＴ－ＶＩＩ及びＤＣＴ－ＶＩＩＩのみ
【0146】
● 全ての変換が１０ビット係数を有するべきである。
【0147】
● 非ゼロ係数の数が２より大きいときにオンであるように条件付けられる。
【0148】
○ 両方向におけるＤＣＴ２のためのフラグ、もしそうでなければ、
【0149】
・ 水平のためのフラグがＤＳＴ－ＶＩＩ対ＤＣＴ－ＶＩＩＩ。
【0150】
・ 垂直のためのフラグがＤＳＴ－ＶＩＩ対ＤＣＴ－ＶＩＩＩ。
【0151】
５．既存の実装における欠点の例
１つの既存のＡＭＴ実装において、相互ＡＭＴは、１７１％の符号化時間で追加的な～１％の利得を提供できる。別の実装において、ＡＭＴマージのみ（マージモードについてＡＭＴを有効にするのみ）は、１５０％の符号化時間で～０．５％の利得を提供でき、ＡＭＴ ＡＭＶＰのみ（ＡＭＶＰモードについてＡＭＴを有効にするのみ）は、１１０％の符号化時間で～０．５％の利得を提供できる。これらの実装は、ＡＭＴマージのみの複雑性とコーディング性能との間のトレードオフが、将来のビデオコーディング要求を満たさない場合があることを示す。
１つの既存のＡＭＴ実装において、相互ＡＭＴは、１７１％の符号化時間で追加的な～１％の利得を提供できる。別の実装において、ＡＭＴマージのみ（マージモードについてＡＭＴを有効にするのみ）は、１５０％の符号化時間で～０．５％の利得を提供でき、ＡＭＴ ＡＭＶＰのみ（ＡＭＶＰモードについてＡＭＴを有効にするのみ）は、１１０％の符号化時間で～０．５％の利得を提供できる。これらの実装は、ＡＭＴマージのみの複雑性とコーディング性能との間のトレードオフが、将来のビデオコーディング要求を満たさない場合があることを示す。
【0152】
６．変換行列選択についての明示的なコーディングのための方法の例
本開示の技術の実施形態は、既存の実施形態の欠点を克服し、それによって、より高いコーディング効率を有するが、より低い計算の複雑さを伴う、ビデオコーディングを提供する。開示の技術に基づく変換行列選択のための暗示的なコーディングは、既存及び将来のビデオコーディング規格の両方を高めることがあり、様々な実装について記載される以下の例において解明される。以下に提供される開示の技術の例は、一般的概念を説明しており、限定的なものとして解釈されることを意図しない。ある例において、ＭＴＳは、ＪＥＭ又はＶＶＣにおける複数変換選択の設計に限定されず、変換のセットがブロックを符号化／復号化することのためのものから選択されることを可能にする、任意の他のコーディング技術を参照することができる。ある例において、ＮＳＳＴは、ＪＥＭ又はＶＶＣにおける分離不能二次変換の設計に限定されず、二次変換のセットが一次変換を適用した後にブロックを符号化／復号化するためのものから選択されることを可能にする、任意の他のコーディング技術を参照することができる。ある例において、明示的に反対のことが示されない限り、これらの例に記載された様々な構成は組み合わせられてよい。
本開示の技術の実施形態は、既存の実施形態の欠点を克服し、それによって、より高いコーディング効率を有するが、より低い計算の複雑さを伴う、ビデオコーディングを提供する。開示の技術に基づく変換行列選択のための暗示的なコーディングは、既存及び将来のビデオコーディング規格の両方を高めることがあり、様々な実装について記載される以下の例において解明される。以下に提供される開示の技術の例は、一般的概念を説明しており、限定的なものとして解釈されることを意図しない。ある例において、ＭＴＳは、ＪＥＭ又はＶＶＣにおける複数変換選択の設計に限定されず、変換のセットがブロックを符号化／復号化することのためのものから選択されることを可能にする、任意の他のコーディング技術を参照することができる。ある例において、ＮＳＳＴは、ＪＥＭ又はＶＶＣにおける分離不能二次変換の設計に限定されず、二次変換のセットが一次変換を適用した後にブロックを符号化／復号化するためのものから選択されることを可能にする、任意の他のコーディング技術を参照することができる。ある例において、明示的に反対のことが示されない限り、これらの例に記載された様々な構成は組み合わせられてよい。
【0153】
例１．１つの例において、ＭＴＳ（又はＮＳＳＴ）の使用を示すために、１つ又は複数のフラグが、画像パラメータセット／スライスヘッダ／画像ヘッダなどにおいて信号化されてよい。
【0154】
（ａ）１つの例では、ＭＴＳ（又はＮＳＳＴ）がこのモードのために有効化されているかどうかを示すために、特定のコーディングされたモードについてのフラグが信号化されてよい。
【0155】
（ｂ）１つの例では、ＭＴＳ（又はＮＳＳＴ）がイントラコーディングされたブロックについて有効化されているかどうかを示すために、１つのフラグが信号化されてよい。
【0156】
（ｃ）１つの例では、ＭＴＳ（又はＮＳＳＴ）が相互コーディングされたブロックについて有効化されているかどうかを示すために、１つのフラグが信号化されてよい。
【0157】
（ｄ）１つの例では、ＭＴＳ（又はＮＳＳＴ）が（アフィン相互モードを含むことがある或いは除外することがある）ＡＭＶＰコーディングされたブロックについて有効化されているかどうかを示すために、１つのフラグが信号化されてよい。
【0158】
（ｅ）１つの例では、ＭＴＳ（又はＮＳＳＴ）が（アフィンマージモードを含むことがある或いは除外することがある）マージされたブロックについて有効化されているどうかを示すために、１つのフラグが信号化されてよい。
【0159】
（ｆ）１つの例では、ＭＴＳ（又はＮＳＳＴ）がアフィンモード又はＡＴＭＶＰモードのようなサブブロックベースの予測について有効化されているかどうかを示すために、１つのフラグが信号化されてよい。
【0160】
例２．１つの例において、ＭＴＳ（又はＮＳＳＴ）は、信号化されることなく特定のモードについて常に無効にされてよい。
【0161】
（ａ）１つの例において、ＭＴＳは、（アフィン相互モードを含むことがある或いは除外することがある）ＡＭＶＰコーディングされたブロックについて無効にされる。
【0162】
（ｂ）１つの例において、ＭＴＳは、アフィンモード又はＡＴＭＶＰモードのようなサブブロックベースの予測について無効にされる。
【0163】
例３．１つの例において、ＮＳＳＴ又はＭＴＳを有効／無効にすることは、ＣＵ／ＣＴＵ／ＣＴＢ／スライスヘッダ／画像ヘッダのグループにおいて信号化されてよい。
【0164】
例４．１つの例において、変換行列情報は、現在のブロックの隣接するブロックから継承されてよい。
【0165】
（ａ）１つの例において、隣接するブロックは、隣り合う空間的に隣接するブロック、隣り合わない隣接するブロック、又は時間的に隣接するブロックであるように定義されてよい。
【0166】
（ｂ）１つの例において、変換行列情報は、一次変換が非ＤＣＴ－ＩＩ変換フラグ（例えば、ＡＭＴ ＣＵフラグ）及び／又は一次行列指数であることを含んでよい。
【0167】
（ｃ）１つの例において、変換行列情報は、二次変換行列指数を含んでよい。
【0168】
（ｄ）１つの例において、変換行列情報は、運動情報と共に格納されてよい。１つの例では、後続の画像によって参照されるべき各画像について、変換行列情報が格納される必要がある。
【0169】
（ｅ）１つの例では、更に、マージ／ＡＭＶＰ候補間のプルーニングは、関連する変換行列情報が同一であるかどうかに更に依存してよい。２つの候補の変換行列情報が異なるならば、そのような２つの候補は、両方とも最終候補リストに加えられてよい。
【0170】
（ｆ）１つの例では、Ｎ個のマージ／ＡＭＶＰ候補のみが隣接するブロックから変換行列情報を継承する一方で、他のマージ／ＡＭＶＰ候補はデフォルト変換を使用し、ここで、Ｎは、正の整数である。
【0171】
（ｇ）１つの例では、ブロックがスキップモードでコーディングされていても、変換情報は、運動情報が継承される隣接物から継承されることが必要とされてよい。
【0172】
（ｈ）１つの例において、そのような方法は、マージモード及び／又はＡＭＶＰモード、及び／又はサブブロックベースのコーディングモードに適用されてよい。
【0173】
（ｉ）代替的に、隣接するブロックの変換行列情報は、現在のブロックの変換行列情報のための予測として使用されることができる。
【0174】
例５．１つの例において、デフォルト変換は、ＣＵ／ＰＵ／ＴＵ内の特定のモード／特定のタイプのＡＭＶＰ／マージ／アフィン運動候補、又は特定の数の非ゼロ係数に割り当てられてよい。
【0175】
（ａ）組み合わせ二重マージ候補について、デフォルト変換が信号化されないで使用されてよい。
【0176】
（ｂ）ゼロマージ候補について、デフォルト変換が信号化されないで使用されてよい。
【0177】
（ｃ）時間ブロック（例えば、ＴＭＶＰ、ＡＴＭＶＰ、ＳＴＭＶＰ）からの運動情報を含むマージ候補について、デフォルト変換は、信号化されないで使用されてよい。
【0178】
（ｄ）サブブロックマージ候補（例えば、ＡＴＭＶＰ、ＳＴＭＶＰ、平面運動モード）について、デフォルト変換は、信号伝達されないで使用されてよい。
【0179】
（ｅ）ブロックが全てのゼロ係数でコーディングされるとき（すなわち、非ゼロ係数の数が０に等しいとき）、デフォルト変換指数がブロックに割り当てられる。
【0180】
（ｆ）代替的に、ブロックが全てのゼロ係数でコーディングされ（すなわち、非ゼロ係数の数が０に等しく）、そのブロックがＡＭＶＰモードでコーディングされるときには、デフォルト変換指数がそのブロックのために割り当てられる。
【0181】
（ｇ）アフィンモード又はＡＴＭＶＰモードのようなサブブロックベースの予測のために、デフォルト変換が信号化されないで使用されてよい。
【0182】
例６．１つの例では、ブロック内の非ゼロ係数がどれぐらいあるかカウントする代わりに、（例えば、順走査順序における）最後の非ゼロ係数の位置がチェックされて、ＡＭＴ ＣＵフラグがスキップされているかどうかが決定される。ブロックの左上位置に対する座標（ＬａｓｔＸ、ＬａｓｔＹ）によって位置を示す。左上位置の座標は、（０，０）として定義される。
【0183】
（ａ）ＬａｓｔＸ≦Ｔｈ０及びＬａｓｔＹ≦Ｔｈ１のとき、ＡＭＴ ＣＵフラグは信号化されない。
【0184】
（ｂ）ＬａｓｔＸ≦Ｔｈ０又はＬａｓｔＹ≦Ｔｈ１のとき、ＡＭＴ ＣＵフラグは信号化されない。
【0185】
（ｃ）変数Ｔｈ０及び／又はＴｈ１は、ＳＰＳ、ＰＰＳ、スライスヘッダ、画像ヘッダ、ＣＵのグループ、ＣＴＵ、ＣＴＢなどにおいて予め定義されてよく、或いは信号化されてよい。
【0186】
（ｄ）変数Ｔｈ０及び／又はＴｈ１は、ブロック形状又はサイズに更に依存してよい
【0187】
（ｅ）Ｔｈ０及びＴｈ１は、量子化パラメータ（ＱＰ）に依存してよい。
【0188】
（ｆ）Ｔｈ０及びＴｈ１は、コーディングモードに依存してよい。
【0189】
（ｇ）Ｔｈ０＝Ｔｈ１
【0190】
（ｈ）Ｗ＝Ｈであるならば、Ｔｈ０＝Ｔｈ１であり、Ｗ＞Ｈであるならば、ＴＨ０＞Ｔｈ１であり、Ｗ＜Ｈであるならば、ＴＨ＜ＴＨ１であり、ここで、Ｗ及びＨは、それぞれ、現在のブロックの幅及び高さである。
【0191】
（ｉ）Ｔｈ０及びＴｈ１は、両方とも１又は０に設定される。
【0192】
（ｊ）同様に、上記の方法は、ＮＳＳＴ指数信号化に適用されてもよい、すなわち、ある場合には、ＮＳＳＴ指数は、スキップされる。
【0193】
例７．１つの例において、変換行列情報（例えば、ＡＭＴ ＣＵフラグ及び／又はＡＭＴ指数）の信号化は、以下によって修正されてよい。
【0194】
（ａ）変換指数が、運動情報が継承される隣接するブロックから継承されるかどうかを示す１つのフラグが、先ず信号化される。継承されないならば、ＡＭＴ ＣＵフラグ及び／又はＡＭＴ指数は、更に信号化されてよい。
【0195】
（ｂ）ＡＭＴ ＣＵフラグは、マージモードのために先ず信号化されてよい。ＣＵフラグが０に設定されるならば、デフォルト変換が利用される。さもなければ（ＣＵフラグが１に等しいならば）、ＡＭＴ指数は継承されてよい。
【0196】
例８．１つの例において、変換情報は、運動ベクトルに依存することがあり、且つ／或いは参照画像及び現在の画像の運動ベクトル差及び／又は画像順序カウント（ＰＯＣ）距離に依存することがある。
【0197】
（ａ）１つの例において、変換情報は、ａｂｓ（ＭＶｘ）＋ａｂｓ（ＭＶｙ）、又は（ＭＶｘ）＊（ＭＶｘ）＋（ＭＶｙ）＊（ＭＶｙ）に依存することがある。
【0198】
（ｂ）１つの例において、変換情報は、ａｂｓ（ＭＶＤｘ）＋ａｂｓ（ＭＶＤｙ）、又は（ＭＶＤｘ）＊（ＭＶＤｘ）＋（ＭＶＤｙ）＊（ＭＶＤｙ）に依存することがある。
【0199】
上述の例は、以下に記載する方法、例えば、ビデオデコーダで実装されることがある方法２５００、２６００、２７００、２８００及び２９００の脈絡に組み込まれてよい。
【0200】
図２５は、ビデオコーディングのための例示的方法のフローチャートを示している。方法２５００は、ステップ２５１０において、ビデオデータの現在のブロックのビットストリーム表現を受信することを含む。
【0201】
方法２５００は、ステップ２５２０において、ビットストリーム表現に基づく信号化情報を導出するステップを含む。
【0202】
方法２５００は、ステップ２５３０において、信号化情報に基づいて、少なくとも１つの変換行列を可能にすることを含む。幾つかの実施態様において、少なくとも１つの変換行列を可能にすることは、現在のブロックのコーディングモードを示すフラグに基づく。他の実施形態において、少なくとも１つの変換行列を可能にすることは、イントラコーディングされた現在のブロックに基づく。更に他の実施形態において、少なくとも１つの変換行列を可能にすることは、相互コーディングされた現在のブロックに基づく。更に他の実施形態において、少なくとも１つの変換行列を可能にすることは、先進運動ベクトル予測（ＡＭＶＰ）コーディングされたブロックである現在のブロックに基づく。
【0203】
方法２５００は、ステップ２５４０において、少なくとも１つの変換行列を使用して、有効にされるならば、ビットストリーム表現を処理して、現在のブロックを生成することを含む。
【0204】
幾つかの実施形態において、現在のブロックを生成することは、現在のブロックを解凍すること、又は現在のブロックの非圧縮バージョンを生成することを含む。他の実施形態において、現在のブロックを生成することは、ブロックを再構築することを含む。
【0205】
幾つかの実施態様において、少なくとも１つの変換行列を可能にすることは、現在のブロックのコーディングモードを示すフラグに基づく。
【0206】
幾つかの実施態様において、少なくとも１つの変換行列を可能にすることは、イントラコーディングされている現在のブロックに基づく。
【0207】
幾つかの実施態様において、少なくとも１つの変換行列を可能にすることは、相互コーディングされている現在のブロックに基づく。
【0208】
幾つかの実施形態において、少なくとも１つの変換行列を可能にすることは、先進運動ベクトル予測（ＡＭＶＰ）コーディングブロックである現在のブロックに基づく。
【0209】
図２６は、ビデオコーディングのための別の例示的な方法のフローチャートを示している。この例は、図２５に示し且つ上述したものに類似する幾つかの構成及び／又はステップを含む。これらの構成及び／又は構成要素の少なくとも一部は、このセクションでは別個に記載されないことがある。方法２６００は、ステップ２６１０において、ビデオデータの現在のブロックのビットストリーム表現を受信することを含む。
【0210】
方法２６００は、ステップ２６２０において、隣接するブロックの変換行列情報に基づいて現在のブロックの変換行列情報を選択することを含む。幾つかの実施態様において、隣接するブロックは、隣り合う空間的に隣接するブロック、隣り合わない隣接するブロック、又は時間的に隣接するブロックである。
【0211】
方法２６００は、ステップ２６３０において、現在のブロックの変換行列情報を使用して、ビットストリーム表現を処理して、現在のブロックを生成することを含む。
【0212】
幾つかの実施形態において、変換行列情報は、非離散コサイン変換（ＤＣＴ）－ＩＩフラグ又は一次行列指数を含む。他の実施形態において、変換行列情報は、二次変換行列指数を含む。
【0213】
幾つかの実施形態において、隣接するブロックの変換行列情報は、現在のブロックの変換行列情報の予測子として使用されてよい。
【0214】
幾つかの実施形態において、マージ候補リスト内の２つのマージ候補をプルーニングすることは、２つのマージ候補の変換行列情報に基づいてよい。
【0215】
図２７は、ビデオコーディングのための更に別の例示的な方法のフローチャートを示している。この例は、図２５及び２６に示し且つ上述したものに類似する幾つかの構成及び／又はステップを含む。これらの構成及び／又は構成要素の少なくとも一部は、このセクションでは別個に記載されないことがある。方法２７００は、ステップ２７１０において、ビデオデータの現在のブロックのビットストリーム表現を受信することを含む。幾つかの実施態様において、現在のブロックは、全てのゼロ係数でコーディングされる。
【0216】
方法２７００は、ステップ２７２０において、ビットストリーム表現に基づく信号情報を導出するステップを含む。
【0217】
方法２７００は、ステップ２７３０において、デフォルト変換行列を選択することを含み、選択の指標は、信号化情報に存在しない。
【0218】
方法２７００は、ステップ２７４０において、デフォルト変換行列を使用して、ビットストリーム表現を処理して、現在のブロックを生成することを含む。幾つかの実施形態において、処理は、組み合わされた二重マージ候補又はゼロ候補に基づく。
【0219】
図２８は、ビデオコーディングのための更に別の例示的な方法のフローチャートを示している。この例は、図２５～図２７に示し且つ上述したものと類似する幾つかの構成及び／又はステップを含む。これらの構成及び／又は構成要素の少なくとも一部は、このセクションでは別個に記載されないことがある。方法２８００は、ステップ２８１０において、ビデオデータの現在のブロックのビットストリーム表現を受信することを含む。
【0220】
方法２８００は、ステップ２８２０において、ビットストリーム表現に基づく信号情報を導出することを含む。
【0221】
方法２８００は、ステップ２８３０において、係数のブロックの最後の非ゼロ係数の位置に基づいて、信号化情報が変換行列情報に対応する指数を含むかどうかを決定することを含み、係数のブロックは、現在のブロックと関連付けられる。
【0222】
幾つかの実施形態において、係数のブロック内の最後の非ゼロ係数の位置は、（Ｘｌａｓｔ ，Ｙｌａｓｔ）であり、ここで、Ｘｌａｓｔ≦τ１（第１の閾値）及びＹｌａｓｔ≦τ２（第２の閾値）であり、ここで、信号化情報は、指数を含まない。ある例において、第１の閾値又は第２の閾値は、シーケンスパラメータセット（ＳＰＳ）、画像パラメータセット（ＰＰＳ）、スライスヘッダ、画像ヘッダ、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、又はコーディングツリーブロック（ＣＴＢ）において信号化される。別の例において、第１の閾値又は第２の閾値は、現在のブロックの寸法に基づく。更に別の例において、第１の閾値又は第２の閾値は、現在のブロックのコーディングモードに基づく。更に別の例において、第１の閾値又は第２の閾値は、量子化パラメータ（ＱＰ）に基づく。
【0223】
方法２８００は、ステップ２８４０において、変換行列情報を使用して、ビットストリーム表現を処理して、現在のブロックを生成することを含む。幾つかの実施形態において、処理は、信号化情報が指数を含まないときにデフォルト変換行列を使用する。
【0224】
図２９は、ビデオコーディングのための更に別の例示的な方法のフローチャートを示している。この例は、図２５～図２８に示し且つ上述したものに類似する幾つかの構成及び／又はステップを含む。これらの構成及び／又は構成要素の少なくとも一部は、このセクションでは別個に記載されないことがある。方法２９００は、ステップ２９１０において、ビデオデータの現在のブロックのビットストリーム表現を受信することを含む。
【0225】
方法２９００は、ステップ２９２０において、ビデオデータの現在のブロックに対応する運動情報又は画像順序カウント（ＰＯＣ）距離に基づいて変換行列を選択することを含む。
【0226】
方法２９００は、ステップ２９３０において、変換行列を使用して、ビットストリーム表現を処理して、現在のブロックを生成することを含む。
【0227】
幾つかの実施態様において、ＰＯＣ距離は、現在のブロックと関連する参照画像に対応する。他の実施形態において、運動情報は、運動ベクトル又は運動ベクトル差を含む。
【0228】
技術的解決策の以下のリストは、幾つかの実施形態において好ましい実施形態であることがある。
【0229】
１．ビデオブロックへのコーディングされた表現の転換(conversion)のための第１の変換(first transform)の適用性の第１の決定のためにビデオのコーディングされた表現における第１のフィールドを構文解析すること（１２０２）を含む、ビデオ処理の方法（例えば、図１２Ａに示す方法１２００）。転換中に、第１変換は、ビデオブロックの脱量子化残差係数値の結果に適用される。方法１２００は、第１の決定に基づいて第１の変換を選択的に使用することによって転換を行うこと（１２０４）ことを更に含む。
【0230】
２．転換(conversion)のための第２の変換(second transform)の適用性の第２の決定のためにビデオのコーディングされた表現における第２のフィールドを構文解析することを更に含み、第２の変換は、転換中に第１の変換とともにカスケードで適用され、転換を行うことは、第２の決定に基づいて第２の変換を選択的に使用すること更に含む、解決策１の方法。
【0231】
３．第１の変換は、脱量子化された残差係数値を第１の変換された表現に変換するために使用され、第２の変換は、第１の変換された表現の少なくとも一部を第２の変換された表現に変換するために使用される、解決策２の方法。
【0232】
４．第１の変換が適応マルチコア変換（ＡＭＴ）である、解決策３の方法。
【0233】
５．第２の変換が二次変換である、解決策３～４のうちのいずれかの方法。
【0234】
６．前記第１のフィールドは、コーディングされた表現における画像パラメータセットレベルのフラグに対応する、解決策１～３のうちのいずれかの方法。
【0235】
７．第１のフィールドは、コーディングされた表現におけるスライスヘッダレベルのフラグに対応する、解決策１～３のうちのいずれかの方法。
【0236】
８．第１のフィールドは、コーディングされた表現における画像レベルのフラグに対応する、解決策１～３のうちのいずれかの方法。
【0237】
９．第１の決定又は第２の決定は、コーディングされた表現におけるビデオブロックを表すために使用されるコーディングモードに基づいている、解決策１～３及び６～８のうちのいずれかの方法。
【0238】
１０．第１のフィールドは、ビデオ領域レベルでコーディングされる表現に含まれ、ビデオ領域は、少なくともビデオブロックを含み、第１のフィールドは、ビデオブロックのコーディングモードが特定のコーディングモードであることを成功裏に決定した後に、第１の変換が転換の間に適用されることを示す、解決策１～３のうちのいずれかの方法。
【0239】
１１．特定のコーディングモードは、イントラコーディングモードである、解決策１０に記載の方法。
【0240】
１２．特定のコーディングモードは、相互コーディングモードである、解決策１０に記載の方法。
【0241】
１３．特定のコーディングモードは、先進運動ベクトル予測コーディングモードである、解決策１０に記載の方法。
【0242】
１４．特定のコーディングモードは、アフィンコーディングを含むマージコーディングモードである、解決策１０に記載の方法。
【0243】
１５，特定のコーディングモードは、アフィンコーディングを排除するマージコーディングモードである、解決策１０に記載の方法。
【0244】
１６．特定のコーディングモードは、サブブロックベースのコーディングモードである、解決策１０に記載の方法。
【0245】
１７．フィールドは、コーディング単位群レベル、コーディングツリー単位レベル、コーディングツリーブロックレベル、スライスヘッダレベル、又は画像ヘッダレベルにある、解決策１～１６のうちのいずれかの方法。
【0246】
１８．第１の変換は、適応マルチコア変換（ＡＭＴ）である、解決策６～１７のうちのいずれかの方法。
【0247】
１９．第２の変換は、二次変換である、解決策６～１７のうちのいずれかの方法。
【0248】
２０．ビデオの現在のビデオブロックとビデオのコーディングされた表現との間の転換のために、現在のビデオブロックのために使用されるコーディングモードが特定のタイプのものであるという決定を実行すること（１３０２）と、コーディングモードが特定のタイプのものであるという結果として、現在のビデオブロックを処理するための第１の変換又は第２の変換の適用性を示すフィールドがコーディングされた表現に存在しないという決定を実行すること（１３０４）と、フィールドが存在しない場合にコーディングされた表現を構文解析すること（１３０６）と、決定に起因して現在のビデオブロックの脱量子化された残差係数を変換するために第１の変換又は第２の変換の使用を無効にすることによって、現在のビデオブロックを生成すること（１３０８）と、を含む、ビデオ処理の方法（例えば、図１３Ａに示す方法１３００）。
【0249】
２１．特定のタイプは、先進運動ベクトル予測コーディングモードを含む、解決策２０の方法。
【0250】
２２．特定のタイプは、サブブロックベースの予測モードを含む、解決策２０の方法。
【0251】
２３．サブブロックベースの予測モードは、代替的な時間的運動ベクトル予測モードを含む、解決策２２に記載の方法。
【0252】
２４．第１の変換は、適応マルチコア変換（ＡＭＴ）を含む、解決策２０－２３のうちのいずれかの方法。
【0253】
２５．第１の変換は、二次変換を含む、解決策２０～２３のうちのいずれかの方法。
【0254】
前のセクションは、上記解決策（例えば、項目１及び項目３）の追加的な構成を提供する。
【0255】
２６．ビデオブロックのコーディングされた表現と隣接するビデオブロックからのビデオブロックとの間の転換のために第１の変換に関する変換情報を継承することであって、転換の間に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用される、継承すること（１４０２）と、第１の継承に基づいて第１の変換を選択的に使用することによって、転換を実行すること（１４０４）と、を含む、ビデオ処理の方法（例えば、図１４Ａに示す方法１４００）。
【0256】
２７．隣接するブロックは、空間的に隣接するブロックである、解決策２６の方法。
【0257】
２８．隣接するブロックは、ビデオブロックを含むビデオ画像内の空間的に隣接しないブロックである、解決策２６の方法。
【0258】
２９． 隣接するブロックは、時間的に隣接するブロックである、解決策２６の方法。
【0259】
３０．第１の変換に関する変換情報は、第１の変換が離散コサイン変換であるかどうかの第１の表示、又は前記第１の変換の一次行列指数の第２の表示を含む、解決策２６～２９のうちのいずれかの方法。
【0260】
３１．脱量子化された残差係数値の結果が、脱量子化された残差係数値に別の変換を適用することによって計算される、解決策２６～３０のうちのいずれかの方法。
【0261】
３２．第１の変換に関する変換情報は、別の変換を識別する指数を更に含む、解決策３１に記載の方法。
【0262】
３３．第１の変換は、脱量子化された残差係数値の変換された表現の少なくとも一部分を変換するために使用される、解決策２６～３０のうちのいずれかの方法。
【0263】
３４．継承することは、隣接するビデオブロックの運動情報と共に格納される変換情報を継承することを含む、解決策２６～３３のうちのいずれかの方法。
【0264】
３５．第１の変換に関する変換情報は、ビデオ画像レベルで格納される、解決策３４に記載の方法。
【0265】
３６．第１の変換に関する変換情報は、画像が参照画像であることの故に画像レベルで格納される、解決策１５に記載の方法。
【0266】
３７．転換は、プルーニングされる候補に関連する第１の変換に関する変換情報に依存するプルーニング演算を使用して候補リストを生成することを含む、解決策２６～３６のうちのいずれかの方法。
【0267】
３８．継承することは、ビデオブロックが隣接するビデオブロックから第１のＮ個の候補のうちの１つを継承することの故に実行される、解決策２６～３７のうちのいずれかの方法。
【0268】
３９．第１のＮ個の候補のうちの１つは、マージ候補を含む、解決策３８に記載の方法。
【0269】
４０．第１のＮ個の候補のうちの１つは、先進運動ベクトル予測候補を含む、解決策３９の方法。
【0270】
４１．第１のビデオブロックがスキップされたブロックとしてコーディングされることを決定することを更に含み、第１の変換に関する変換情報を継承することは、第１の変換に関する変換情報を、運動情報が継承される隣接するビデオブロックから継承することを含む、解決策２６～３７のうちのいずれかの方法。
【0271】
４２．第１のビデオブロックは、マージモードを使用して複合化される、解決策２６～４１のうちのいずれかの方法。
【0272】
４３．第１のビデオブロックは、先進運動ベクトル予測モードを使用して複合化される、解決策２６～３３のうちのいずれかの方法。
【0273】
４４．継承することは、隣接するビデオブロックに関する変換情報に基づいて現在のビデオブロックのための第１の変換に関する変換情報を予測的に決定することを含む、解決策２６～４３のうちのいずれかの方法。
【0274】
前のセクションは、上記解決策（例えば、項目４）の追加的な構成を提供する。
【0275】
４５．現在のビデオブロックのコーディング条件に基づいて、現在のビデオブロックへのコーディングされた表現の転換のために使用される第１の変換がデフォルト変換であることを決定することであって、転換の間に、第１の変換は、現在のビデオブロックの脱量子化された残差係数値の結果に適用される、決定すること（１５０２）と、第１の決定に基づいて第１の変換を選択的に使用することによって、転換を実行すること（１５０４）と、を含む、ビデオ処理の方法（例えば、図１５Ａに示す方法１５００）。
【0276】
４６．現在のビデオブロックのコーディング条件は、第１のビデオブロックのコーディングモードを含む、解決策４５の方法。
【0277】
４７．コーディング条件は、現在のビデオブロックに関連するコーディングユニット、予測ユニット、又は変換ユニットでコーディングされる非ゼロ係数のカウントを含む、解決策４５の方法。
【0278】
４８．コーディング条件は、現在のビデオブロックのための組み合わされたマージ候補の使用を含み、デフォルト変換は、コーディングされた表現における如何なる信号伝達も伴わずに使用される、解決策４５～４６のうちのいずれかの方法。
【0279】
４９．コーディング条件は、現在のビデオブロックのためのゼロマージ候補の使用を含み、デフォルト変換は、コーディングされた表現における如何なる信号化も伴わずに使用される、解決策４５～４６のうちのいずれかの方法。
【0280】
５０．コーディング条件は、現在のビデオブロックの時間的に隣接するブロックの運動情報を使用することを含み、デフォルト変換は、コーディングされた表現における如何なる信号伝達も伴わずに使用される、解決策４５～４６のうちのいずれかの方法。
【0281】
５１．時間的に隣接するブロックは、時間的運動ベクトル予測のために使用される、解決策５０の方法。
【0282】
５２．時間的に隣接するブロックは、代替的な時間的運動ベクトル予測のために使用される、解決策５０の方法。
【0283】
５３．時間的に隣接するブロックは、空間的－時間的運動ベクトル予測のために使用される、解決策５０の方法。
【0284】
５４．コーディング条件は、現在のビデオブロックの転換のためにサブブロックマージ候補を使用することを含む、解決策４５～４６のうちのいずれかの方法。
【0285】
５５．サブブロックマージ候補は、先進時間的運動ベクトル予測子を含む、解決策５４の方法。
【0286】
５６．サブブロックマージ候補は、空間的－時間的運動ベクトル予測肢を含む、解決策５４の方法。
【0287】
５７．サブブロックマージ候補は、平面運動モード予測子を含む、解決策５４の方法。
【0288】
５８．コーディング条件は、全てのゼロ係数でコーディングされた現在のビデオブロックに対応し、決定することは、デフォルト変換指数が転換のために使用されることを決定することを含む、解決策４５の方法。
【0289】
５９．コーディング条件は、現在のビデオブロックのためにサブブロックベースの予測を使用することを含み、変換情報は、コーディングされた表現において信号化されずに決定される、解決策４５～４６のうちのいずれかの方法。
【0290】
６０．サブブロックベースの予測は、アフィン予測を含み、変換情報は、コーディングされた表現において信号化なしに決定される、解決策５９の方法。
【0291】
６１．サブブロックベースの予測は、先進時間的運動ベクトル予測を含み、変換情報は、コーディングされた表現において信号化なしに決定される、解決策５９の方法。
【0292】
６２．コーディング条件は、現在のビデオブロックについての運動ベクトル値の関数を含む、解決策４５の方法。
【0293】
６３．運動ベクトル値の関数は、ａｂｓ（ＭＶｘ）＋ａｂｓ（ＭＶｙ）、又は（ＭＶｘ）＊（ＭＶｘ）＋（ＭＶｙ）＊（ＭＶｙ）を含み、ここで、ＭＶｘ及びＭＶｙは、運動ベクトル値であり、ａｂｓ（）は、絶対値関数を表す、解決策６３の方法。
【0294】
６４．コーディング条件は、現在のビデオブロックについての運動ベクトル差分値の関数を含む、解決策４５の方法。
【0295】
６５．運動ベクトル差分値の関数は、ａｂｓ（ＭＶＤｘ）＋ａｂｓ（ＭＶＤｙ）、又は（ＭＶＤｘ）＊（ＭＶＤｘ）＋（ＭＶＤｙ）＊（ＭＶＤｙ）を含み、ここで、ＭＶＤｘ及びＭＶＤｙは、運動ベクトル差分値であり、ａｂｓ（）は、絶対値関数を表す、解決策６４の方法。
【0296】
前のセクションは、上記解決策（例えば、項目５及び項目８）の追加的な構成を提供する。
【0297】
６６．ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリームを構文解析することであって、ビットストリームは、現在のビデオブロックについて、隣接するブロックの変換情報が現在のビデオブロックのための変換情報として継承されるかどうかに関する第１のインジケータを含む、構文解析すること（１６０２）と、現在のビデオブロックを生成するために、第１のインジケータを構文解析することから得られる変換情報に基づいて、コーディングされた表現を復号化すること（１６０４）であって、転換の間に、変換情報によって識別された変換は、現在のビデオブロックの脱量子化された残差係数値の結果に適用される、復号化することと、を含む、ビデオ処理方法（例えば、図１６Ａに示す方法１６００）。
【0298】
６７．変換情報が隣接するブロックから継承されないことを示す第１のインジケータの故に、転換中に使用される変換情報を識別する第２のインジケータを構文解析することを含む、解決策６６の方法。
【0299】
６８．変換は、適応マルチコア変換（ＡＭＴ）を含む、解決策６６の方法。
【0300】
６９．第２のインジケータは、ビットストリーム内のコーディングユニットレベルのフラグを含む、解決策６６～６７のうちのいずれかの方法。
【0301】
７０．第２のインジケータは、変換への指数を含む、解決策６６～６７のうちのいずれかの方法。
【0302】
７１．ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリームを構文解析することであって、ビットストリームは、マージモードを使用してコーディングされた現在のビデオブロックについて、変換としてデフォルト変換を使用するための第１の表示と、コーディングされた表現に含まれる隣接するブロックから変換情報を継承するための第２の表示とを示す、１ビットフィールドを含む、構文解析すること（１７０２）と、１ビットフィールドに基づいて変換を識別すること（１７０４）と、コーディングされた表現と現在のビデオブロックとの間の転換を実行すること（１７０６）であって、転換の間に、変換は、現在のビデオブロックの脱量子化された残差係数値の結果に適用される、実行することと、を含む、ビデオ処理の方法（例えば、図１７Ａに示す方法１７００）。
【0303】
７２．第１の表示は、１ビットフィールドとして「０」ビットを含み、第２の表示は、１ビットフィールドとして「１」ビットを含む、解決策７１の方法。
【0304】
７３．第１の表示は、１ビットフィールドとして「１」ビットを含み、第２の表示は、１ビットフィールドとして「０」ビットを含む、解決策７１の方法。
【0305】
７４．変換は、適応マルチコア変換（ＡＭＴ）を含む、解決策７１～７３のうちのいずれかの方法。
【0306】
７５．隣接するブロックは、現在のビデオブロックに隣接していることを含む、解決策６６～７４の方法。
【0307】
７６．隣接するブロックは、現在のビデオブロックに隣接していないことを含む、解決策６６～７４の方法。
【0308】
前のセクションは、上記解決策（例えば、項目７）の追加的な構成を提供する。
【0309】
７７．ビデオブロックへのコーディングされた表現の転換のための第１の変換の適用性の第１の判断のためのビデオのコーディングされた表現に第１のフィールドを含めることであって、転換の間に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用される、含めること（１２５２）と、ビデオブロックを符号化することによってコーディングされた表現を生成すること（１２５４）とを含む、ビデオ処理方法（例えば、図１２Ｂに示す方法１２５０）。
【0310】
７８．転換のための第２の変換の適用性の第２の決定のためにビデオのコーディングされた表現に第２のフィールドを含めることを更に含み、第２の変換は、転換の間に第１の変換と共にカスケードで適用されるべきであり、転換を実行することは、第２の決定に基づいて第２の変換を選択的に使用することを更に含む、解決策７７の方法。
【0311】
７９．第１の変換は、脱量子化された残差係数値を第１の変換された表現に変換するために使用され、第２の変換は、第１の変換された表現のうちの少なくとも一部分を第２の変換された表現に変換するために使用される、解決策７８の方法。
【0312】
８０．第１の変換は、適応マルチコア変換（ＡＭＴ）である、解決策７９の方法。
【0313】
８１．第２の変換は、二次変換である、解決策７９～８０のうちのいずれかの方法。
【0314】
８２．第１のフィールドは、コーディングされた表現における画像パラメータセットレベルのフラグに対応する、解決策７７～７９のうちのいずれかの方法。
【0315】
８３．第１のフィールドは、コーディングされた表現におけるスライスヘッダレベルのフラグに対応する、解決策７７～７９のうちのいずれかの方法。
【0316】
８４．第１のフィールドは、コーディングされた表現における画像レベルのフラグに対応する、解決策７７～７９のうちのいずれかの方法。
【0317】
８５．第１の決定又は第２の決定は、コーディングされた表現においてデオブロックを表現するために使用されるコーディングモードに更に基づいている、解決策７７～７９及び８２～８４のうちのいずれかの方法。
【0318】
８６．第１のフィールドは、ビデオ領域レベルでコーディングされた表現に含められ、ビデオ領域は、少なくともビデオブロックを含み、第１のフィールドは、ビデオブロックのコーディングモードが特定のコーディングモードであることを成功裏に決定した後に、第１の変換が転換の間に適用されるべきことを示す、解決策７７～７９のうちのいずれかの方法。
【0319】
８７．特定のコーディングモードは、イントラコーディングモードである、解決策８６の方法。
【0320】
８８．特定のコーディングモードは、相互コーディングモードである、解決策８６の方法。
【0321】
８９．特定のコーディングモードは、先進運動ベクトル予測コーディングモードである、解決策８６の方法。
【0322】
９０．特定のコーディングモードは、アフィンコーディングを含むマージコーディングモードである、解決策８６の方法。
【0323】
９１．特定のコーディングモードは、アフィンコーディングを排除するマージコーディングモードである、解決策８６の方法。
【0324】
９２．特定のコーディングモードは、サブブロックベースのコーディングモードである、解決策８６の方法。
【0325】
９３．フィールドは、コーディング単位群レベル、コーディングツリー単位レベル、コーディングツリーブロックレベル、スライスヘッダレベル、又は画像ヘッダレベルにある、解決策７７～９２のうちのいずれかの方法。
【0326】
９４．第１の変換は、適応マルチコア変換（ＡＭＴ）である、解決策８２～９３のうちのいずれかの方法。
【0327】
９５．第２の変換は、二次変換である、解決策８２～９３のうちのいずれかの方法。
【0328】
前のセクションは、上記解決策（例えば、項目１及び項目３）の追加的な構成を提供する。
【0329】
９６．ビデオの現在のビデオブロックとビデオのコーディングされた表現との間の転換のために、現在のビデオブロックのために使用されるコーディングモードが特定のタイプのものであるという決定を実行すること（１３５２）と、コーディングモードが特定のタイプのものであることの結果として、現在のビデオブロックを処理するための第１の変換又は第２の変換の適用性を示すフィールドがコーディングされた表現に含まれていないという決定を実行すること（１３５４）と、フィールドを含まないコーディングされた表現を生成することであって、現在のビデオブロックは、前記決定の故に、現在のビデオブロックの脱量子化された残差係数を変換するために第１の変換及び／又は第２の変換の使用を無効にすることによって復号化可能である、生成すること（１３５６）と、を含む、ビデオ処理の方法（例えば、図１３Ｂに示す方法１３５０）。
【0330】
９７．特定のタイプは、先進運動ベクトル予測コーディングモードを含む、解決策９６の方法。
【0331】
９８．特定のタイプは、サブブロックベースの予測モードを含む、解決策９６の方法。
【0332】
９９．サブブロックベースの予測モードは、代替的な時間的運動ベクトル予測モードを含む、解決策９８の方法。
【0333】
１００．第１の変換は、適応マルチコア変換（ＡＭＴ）を含む、解決策９６～９９のうちのいずれかの方法。
【0334】
記載なし。
【0335】
１０１．第１の変換は、二次変換を含む、解決策９６～９９のうちのいずれかの方法。
【0336】
前のセクションは、上記解決策（例えば、項目２）の追加的な構成を提供する。
【0337】
１０２．ビデオブロックのコーディングされた表現とビデオブロックとの間の転換のための第１の変換に関する変換情報が隣接するビデオブロックから継承されるべきことを決定することであって、転換の間に、第１の変換は、ビデオブロックの脱量子化された残差係数値の結果に適用されること（１４５２）と、前記決定に基づいてコーディングされた表現を生成すること（１４５４）と、を含む、ビデオ処理方法（例えば、図１４Ｂに示す方法１４５０）。
【0338】
１０３．隣接するブロックは、空間的に隣接するブロックである、解決策１０２の方法。
【0339】
１０４．隣接するブロックは、ビデオブロックを含むビデオ画像内の空間的に隣接しないブロックである、解決策１０２の方法。
【0340】
１０５．隣接するブロックは、時間的に隣接するブロックである、解決策１０２の方法。
【0341】
１０６．第１の変換に関する変換情報は、第１の変換が離散コサイン変換であるかどうかの第１の表示又は第１の変換の一次行列指数の第２の表示を含む、解決策１０２～１０５のうちのいずれかの方法。
【0342】
１０７．脱量子化された残差係数値の結果は、脱量子化された残差係数値に別の変換を適用することによって計算される、解決策１０２～１０６のうちのいずれかの方法。
【0343】
１０８．第１の変換に関する変換情報は、別の変換を識別する指数を更に含む、解決策１０７の方法。
【0344】
１０９．第１変換は、脱量子化された残差係数値の変換された表現の少なくとも一部分を変換するために使用される、解決策１０２～１０６のうちのいずれかの方法。
【0345】
１１０．継承することは、隣接するビデオブロックのための運動情報と共に格納される変換情報を継承することを含む、解決策１０２～１０９のうちのいずれかの方法。
【0346】
１１１．第１の変換に関する変換情報は、ビデオ画像レベルで格納される、解決策１１０の方法。
【0347】
１１２．第１の変換に関する変換情報は、参照画像である画像の故に、画像レベルで格納される、解決策１１１の方法。
【0348】
１１３．転換は、プルーニングされる候補に関連する第１の変換に関する変換情報に依存するプルーニング演算を使用して候補リストを生成することを含む、解決策１０２～１１２のうちのいずれかの方法。
【0349】
１１４．継承することは、ビデオブロックが隣接するビデオブロックから第1のＮ個の候補のうちの１つを継承することの故に実行されるものである、解決策１０２～１１３の方法。
【0350】
１１５．第１のＮ個の候補のうちの１つは、マージ候補を含む、解決策１１４の方法。
【0351】
１１６．第１のＮ個の候補のうちの１つは、先進運動ベクトル予測候補を含む、解決策１１４の方法。
【0352】
１１７．第１のビデオブロックがスキップされるブロックとしてコーディングされるべきであることを決定するステップを更に含み、第１の変換に関する変換情報を継承することは、運動情報が継承される隣接するビデオブロックから第１の変換に関する変換情報を継承することを含む、解決策１０２～１１３のうちのいずれかの方法。
【0353】
１１８．第１のビデオブロックは、マージモードを使用して符号化される、解決策１～１１７のうちのいずれかの方法。
【0354】
１１９．第１のビデオブロックは、先進運動ベクトル予測モードを使用して符号化される、解決策１０２～１０８のうちのいずれかの方法。
【0355】
１２０．継承することは、隣接するビデオブロックに関する変換情報に基づいて現在のビデオブロックのための第１の変換に関する変換情報を予測的に決定することを含む、解決策１０２～１１９のうちのいずれかの方法。
【0356】
前のセクションは、上記解決策（例えば、項目４）の追加的な構成を提供する。
【0357】
１２１．現在のビデオブロックのコーディング条件に基づいて、現在のビデオブロックへのコーディングされた表現の転換のために使用されるものである第1の変換がデフォルト変換であることを決定することであって、転換の間に、第１の変換は、現在のビデオブロックの脱量子化された残差係数値の結果に適用されること（１５５２）と、第１の決定に基づいて現在のビデオブロックのコーディングされた表現を生成すること（１５５４）と、を含む、ビデオ処理の方法（例えば、図１５Ｂに示す方法１５５０）。
【0358】
１２２．現在のビデオブロックのコーディング条件は、第１のビデオブロックのコーディングモードを含む、解決策１２１の方法。
【0359】
１２３．コーディング条件は、現在のビデオブロックに関連するコーディングユニット、予測ユニット、又は変換ユニットにおいてコーディングされる非ゼロ係数のカウントを含む、解決策１２１の方法。
【0360】
１２４．コーディング条件は、現在のビデオブロックのための組み合わせられたマージ候補の使用を含み、デフォルト変換は、コーディングされた表現における如何なる信号化も伴わずに使用される、解決策１２１～１２２のうちのいずれかの方法。
【0361】
１２５．コーディング条件は、現在のビデオブロックについてのゼロマージ候補の使用を含み、デフォルト変換は、コーディングされた表現において黙示的に信号化される、解決策１２１～１２２のうちのいずれかの方法。
【0362】
１２６．コーディング条件は、現在のビデオブロックの時間的に隣接するブロックの運動情報を使用することを含み、デフォルト変換は、コーディングされた表現において黙示的に信号化される、解決策１２１～１２２のうちのいずれかの方法。
【0363】
１２７．時間的に隣接するブロックは、時間的運動ベクトル予測のために使用される、解決策１２６の方法。
【0364】
１２８．時間的に隣接するブロックは、代替的な時間的運動ベクトル予測のために使用される、解決策１２６の方法。
【0365】
１２９．時間的に隣接するブロックは、空間的－時間的運動ベクトル予測のために使用される、解決策１２６の方法。
【0366】
１３０．コーディング条件は、現在のビデオブロックの転換のためにサブブロックマージ候補を使用することを含む、解決策１２１～１２２のうちのいずれかの方法。
【0367】
１３１．サブブロックマージ候補は、先進時間的運動ベクトル予測子を含む、解決策１３０の方法。
【0368】
１３２．サブブロックマージ候補は、空間的－時間的運動ベクトル予測子を含む、解決策１３０に記載の方法。
【0369】
１３３．サブブロックマージ候補は、平面運動モード予測子を含む、解決策１３０の方法。
【0370】
１３４．コーディング条件は、全てのゼロ係数でコーディングされた現在のビデオブロックに対応し、前記決定することは、デフォルト変換指数が転換に使用されるべきことを決定することを含む、解決策１２１の方法。
【0371】
１３５．コーディング条件は、現在のビデオブロックのためにサブブロックベースの予測を使用することを含み、変換情報は、コーディングされた表現に黙示的に信号化される、解決策１２１～１２２のうちのいずれかの方法。
【0372】
１３６．サブブロックベースの予測は、アフィン予測を含み、変換情報は、コーディングされた表現中に黙示的に信号化される、解決策１３５の方法。
【0373】
１３７．サブブロックベースの予測は、先進時間的運動ベクトル予測を含み、変換情報は、コーディングされた表現中に黙示的に信号化される、解決策１３５の方法。
【0374】
１３８．コーディング条件は、現在のビデオブロックについての運動ベクトル値の関数を含む、解決策１２１の方法。
【0375】
１３９．運動ベクトル値の関数は、ａｂｓ（ＭＶｘ）＋ａｂｓ（ＭＶｙ）、又は（ＭＶｘ）＊（ＭＶｘ）＋（ＭＶｙ）＊（ＭＶｙ）を含み、ここで、ＭＶｘ及びＭＶｙは、運動ベクトル値であり、ａｂｓ（）は、絶対値関数を表す、解決策１３８の方法。
【0376】
１４０．コーディング条件は、現在のビデオブロックについての運動ベクトル差分値の関数を含む、解決策１２１の方法。
【0377】
１４１．運動ベクトル差分値の関数は、ａｂｓ（ＭＶＤｘ）＋ａｂｓ（ＭＶＤｙ）、又は（ＭＶＤｘ）＊（ＭＶＤｘ）＋（ＭＶＤｙ）＊（ＭＶＤｙ）を含み、ここで、ＭＶＤｘ及びＭＶＤｙは、運動ベクトル差分値であり、ａｂｓ（）は、絶対値関数を表す、解決策１４０の方法。
【0378】
前のセクションは、上記解決策（例えば、項目５及び項目８）の追加的な構成を提供する。
【0379】
１４２．現在のビデオブロックについて、ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリームに、隣接するブロックの変換情報が現在のビデオブロックのための変換情報として継承されるかどうかに関する第１のインジケータを含めることを決定すること（１６５２）と、変換情報に基づいて、現在のビデオブロックのコーディングされた表現を生成することであって、復号化の間に、変換情報によって識別される変換が、現在のビデオブロックの脱量子化された残差係数値の結果に適用される、決定すること（１６５４）とを含む、ビデオ処理の方法（例えば、図１６Ｂに示す方法（１６５０）。
【0380】
１４３．コーディングされた表現と現在のビデオブロックとの間の転換の間に使用される変換情報を識別する第２のインジケータを更に含む、或いは、前記第１のインジケータが存在しない場合に前記第２のインジケータを含む、解決策１４２の方法
【0381】
１４４．変換は、適応マルチコア変換（ＡＭＴ）を含む、解決策１４２の方法。
【0382】
１４５．第２のインジケータは、ビットストリーム内のコーディングユニットレベルのフラグを含む、解決策１４２～１４３のうちのいずれかの方法。
【0383】
１４６．第２のインジケータは、変換に対する指数を含む、解決策１４２～１４３のうちのいずれかの方法。
【0384】
１４７．マージモードを使用してコーディングされた現在のビデオブロックについて、ビデオの複数のビデオブロックのコーディングされた表現を含むビットストリーム内に、変換としてデフォルト変換を使用するための第１の表示と、コーディングされた表現に含まれる変換を識別する指数を使用するための第２の表示とを示す、１ビットフィールドを含むことを決定すること（１７５２）と、変換が１ビットフィールドによって識別されるコーディングされた表現を生成すること（１７５４）とを含む、ビデオ処理の方法（例えば、図１７Ｂに示す方法１７５０）。
【0385】
１４８．第１の表示は、１ビットフィールドとして「０」ビットを含み、第２の表示は、１ビットフィールドとして「１」ビットを含む、解決策１４７の方法。
【0386】
１４９．第１の表示は、１ビットフィールドとして「１」ビットを含み、第２の表示は、１ビットフィールドとして「０」ビットを含む、解決策１４７の方法。
【0387】
１５０．変換は、適応マルチコア変換（ＡＭＴ）を含む、解決策１４７～１４９のうちのいずれかの方法。
【0388】
１５１．変換は、順変換又は逆変換のうちの少なくとも１つを含む、解決策１～１５０のうちのいずれかの方法。
【0389】
前のセクションは、上記解決策（例えば、項目７）の追加的な構成を提供する。
【0390】
１５２．解決策１～１５１のうちの１つ以上に記載の方法を実装するように構成されるプロセッサを含む、ビデオエンコーダ装置。
【0391】
１５３．コードを格納したコンピュータプログラム（製品）であって、コードは、実行後に、プロセッサに解決策１～１５１のうちの１つ以上に記載の方法を実行させる、コンピュータプログラム（製品）。
【0392】
１５４．本文書に記載の方法、装置又はシステム。
【0393】
以下の条項は、復号化、符号化、又は変換コーディング(transcording)側で実装されることがある解決策の追加的な例を列挙している。
【0394】
１．現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすること（１８０２）と、前記位置に基づいて、コーディングされた表現における変換情報を信号化する構文要素を構文解析するかどうかを決定すること（１８０４）とを含む、ビデオ処理の方法（例えば、図１８Ａに示す方法１８００）。
【0395】
２．前記決定に従ってコーディングされた表現を構文解析することによって転換を実行することを更に含む、条項１の方法。
【0396】
３．現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすること（１９０２）と、前記位置及び少なくとも１つの他のコーディング基準がある条件を満たすことの故に、変換情報を信号化する構文要素が存在し且つコーディングされた表現に含まれることを決定すること（１９０４）と、コーディングされた表現において構文要素によって識別される変換情報を使用して転換を実行すること（１９０４）とを含む、ビデオ処理の方法（例えば、図１９Ａに示す方法１９００）。
【0397】
４．現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換中に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすること（２００２）と、前記位置及び／又は少なくとも１つの他のコーディング基準がある条件を満たさないことの故に、変換情報を信号化する構文要素がコーディングされた表現に含められることからスキップされることを決定すること（２００４）と、コーディングされた表現において明示的に識別されないデフォルト変換を使用して転換を実行すること（２００６）とを含む、ビデオ処理の方法（例えば、図２０Ａに示す方法２０００）。
【0398】
５．転換は、構文要素に従った変換を現在のビデオブロックの脱量子化された残差係数値の結果に適用することを含む、条項２～４のうちのいずれかの方法。
【0399】
６．前記位置は、座標（ＬａｓｔＸ、ＬａｓｔＹ）によって表され、コーディングされた表現は、ＬａｓｔＸ≦Ｔｈ０及びＬａｓｔＹ≦Ｔｈ１の故に、変換情報を信号化する構文要素を含まず、ここで、Ｔｈ０及びＴｈ１は、数字である、条項１の方法。
【0400】
７．コーディングされた表現は、ＬａｓｔＸ≦Ｔｈ０又はＬａｓｔＹ≦Ｔｈ１の故に、変換情報を信号化する構文要素を含まず、ここで、Ｔｈ０及びＴｈ１は、数字である、条項１の方法。
【0401】
８．Ｔｈ０及びＴｈ１は、予め定義されており、コーディングされた表現において信号化されない、条項６～７のうちのいずれかの方法。
【0402】
９．Ｔｈ０及びＴｈ１は、コーディングされた表現において信号化される、条項６～７のうちのいずれかの方法。
【0403】
１０．Ｔｈ０及びＴｈ１は、シーケンスパラメータセットレベル、画像パラメータセットレベル、スライスヘッダレベル、画像ヘッダレベル、コーディングユニットレベルのグループ、コーディングツリーユニットレベル、又はコーディングツリーブロックレベルで信号化される、条項６項の方法。
【0404】
１１．Ｔｈ０及びＴｈ１は、現在のビデオブロックの形状又はサイズに依存する、条項６～７のうちのいずれかの方法。
【0405】
１２．Ｔｈ０及びＴｈ１は、現在のビデオブロックのために使用される量子化パラメータに依存する、条項６～７のうちのいずれかの方法。
【0406】
１３．Ｔｈ０及びＴｈ１は、現在のビデオブロックのために使用されるコーディングモードに依存する、条項６～７のうちのいずれかの方法。
【0407】
１４．Ｔｈ０及びＴｈは等しい、条項６～１３のうちのいずれかの方法。
【0408】
１５．Ｔｈ０＝Ｔｈ１＝１である、条項１３の方法。
【0409】
１６．Ｔｈ０＝Ｔｈ１＝０である、条項１３の方法。
【0410】
１７．現在のビデオブロックが正方形ブロックであるならば、Ｔｈ０及びＴｈ１は等しいと決定され、現在のビデオブロックの幅が現在のビデオブロックの高さよりも大きいならば、Ｔｈ０＞Ｔｈ１を有すると決定され、他の場合には、Ｔｈ０がＴｈ１よりも小さいと決定される、条項６～７のうちのいずれかの方法。
【0411】
１８．変換情報は、二次変換を示す、条項１～１６のうちのいずれかの方法。
【0412】
１９．変換情報は、分離不能な二次変換を示す、条項１～１６のうちのいずれかの方法。
【0413】
２０．変換情報がコーディングされた表現において信号化されていないとき、前記転換は、二次変換を使用しないで前記転換を実行することを含む、条項１～１９のうちのいずれかの方法。
【0414】
２１．変換情報は、一次変換情報を示す、条項１～１７のうちのいずれかの方法。
【0415】
２２．ＬａｓｔＸ≦Ｔｈ０及びＬａｓｔＹ≦Ｔｈ１の故に、コーディングされた表現は、転換中に離散コサイン変換（ＤＣＴ－ＩＩ）の適用を信号化する構文要素を有さない、条項６～１９項のうちのいずれかの方法。
【0416】
２３．ＬａｓｔＸ≦Ｔｈ０又はＬａｓｔＹ≦Ｔｈ１の故に、コーディングされた表現は、転換中に離散コサイン変換（ＤＣＴ－ＩＩ）の適用を信号化する構文要素を有さない、条項６～１９のうちのいずれかの方法。
【0417】
２４．転換は、一次変換情報が信号化されない場合に、離散コサイン変換（ＤＣＴ－ＩＩ）を現在のビデオブロックの脱量子化された係数に適用することを含む、条項１８～２０のうちのいずれかの方法。
【0418】
２５．現在のビデオブロックを現在のビデオブロックのコーディングされた表現に転換する間に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすること（１８５２）と、前記位置に基づいて、コーディングされた表現において変換情報を信号化する構文要素をコーディングするかどうかを決定すること（１８５４）とを含む、ビデオ処理の方法（例えば、図１８Ｂに示す方法１８５０）。
【0419】
２６．現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換の間に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすること（１９５２）と、前記位置及び少なくとも１つの他のコーディング基準がある条件を満たすことの故に、変換情報を信号化する構文要素がコーディングされた表現に含められるべきことを決定すること（１９５４）と、コーディングされた表現に変換情報を識別する構文要素を含めることによって転換を実行すること（１９５６）とを含む、ビデオ処理の方法（例えば、図１９Ｂに示す方法１９５０）。
【0420】
２７．現在のビデオブロックのコーディングされた表現から現在のビデオブロックへの転換の間に、現在のビデオブロックの最後の非ゼロ係数の位置をチェックすることであって、前記位置は、現在のビデオブロックの左上位置に対して相対的である、チェックすること（２０５２）と、前記位置及び／又は少なくとも１つの他のコーディング基準がある条件を満たさないことの故に、変換情報を信号化する構文要素がコーディングされた表現に含められることからスキップされることを決定すること（２０５４）と、構文要素をスキップすることによってコーディングされた表現を生成し、それによって、デフォルト変換の使用を黙示的に信号化すること（２０５６）とを含む、ビデオ処理の方法（例えば、図２０Ｂに示す方法２０５０）。
【0421】
２８．変換情報によって示される変換が、転換中の結果として得られる変換された残差係数値を量子化する前に、残差係数値に適用される、条項２５～２７のうちのいずれかの方法。
【0422】
２９．前記位置は、座標（ＬａｓｔＸ，ＬａｓｔＹ）によって表され、コーディングされた表現は、ＬａｓｔＸ≦Ｔｈ０及びＬａｓｔＹ≦Ｔｈ１の故に、変換情報を信号化する構文要素を有さず、ここで、Ｔｈ０及びＴｈ１は、数字である、条項２５の方法。
【0423】
３０．コーディングされた表現は、ＬａｓｔＸ≦Ｔｈ０又はＬａｓｔＹ≦Ｔｈ１の故に、前記変換情報を信号化する構文要素を有さず、ここで、Ｔｈ０及びＴｈ１は、数字である、条項２５の方法。
【0424】
３１．Ｔｈ０及びＴｈ１は、予め定義されており、コーディングされた表現において信号化されない、条項２９～３０のうちのいずれかの方法。
【0425】
３２．Ｔｈ０及びＴｈ１は、コーディングされた表現において信号化される、条項２９～３０のうちのいずれかの方法。
【0426】
３３．Ｔｈ０及びＴｈ１は、シーケンスパラメータセットレベル、画像パラメータセットレベル、スライスヘッダレベル、画像ヘッダレベル、コーディングユニットレベルのグループ、コーディングツリーユニットレベル、又はコーディングツリーブロックレベルで信号化される、条項３２の方法。
【0427】
３４．Ｔｈ０及びＴｈ１は、現在のビデオブロックの形状又はサイズに依存する、条項２９～３０のうちのいずれかの方法。
【0428】
３５．Ｔｈ０及びＴｈ１は、現在のビデオブロックのために使用される量子化パラメータに依存する、条項２９～３０のうちのいずれかの方法。
【0429】
３６．Ｔｈ０及びＴｈ１は、現在のビデオブロックのために使用されるコーディングモードに依存する、条項２９～３０のうちのいずれかの方法。
【0430】
３７．Ｔｈ０及びＴｈ１は等しい、条項２９～３６のうちのいずれかの方法。
【0431】
３８．Ｔｈ０＝Ｔｈ１＝１である、条項３７の方法。
【0432】
３９．Ｔｈ０＝Ｔｈ１＝０である、条項３７の方法。
【0433】
４０．現在のビデオブロックが正方形のブロックであるならば、Ｔｈ０及びＴｈ１は等しいと決定され、現在のビデオブロックの幅が現在のビデオブロックの高さよりも大きいならば、Ｔｈ０＞Ｔｈ１を有すると決定され、そうでない場合には、Ｔｈ０がＴｈ１よりも小さいと決定される、条項２９～３０のうちのいずれかの方法。
【0434】
４１．変換情報は、二次変換を示す、条項２５～４０のうちのいずれかの方法。
【0435】
４２．変換情報は、分離可能な二次変換を示す、条項２５～４０のうちのいずれかの方法。
【0436】
４３．変換情報は、分離不能な二次変換を示す、条項２５～４０のうちのいずれかの方法。
【0437】
４４．変換情報がコーディングされた表現において信号化されないとき、転換は、二次変換を使用しないで転換を実行することを含む、条項２５～４３のうちのいずれかの方法。
【0438】
４５．変換情報は、一次変換情報を示す、条項２５～４４のうちのいずれかの方法。
【0439】
４６．現在のビデオブロックの最後の非ゼロ係数の位置は、現在のビデオブロックの係数の順走査順序における位置であり、順走査順序は、例えば、ＶＶＣ仕様で定義されるようにされてよい。条項１～４５のうちのいずれかの方法。
【0440】
４７．変換は、順変換又は逆変換の少なくとも１つを含む、条項１～４６のうちのいずれかの方法。
【0441】
前のセクションは、上記解決策（例えば、項目６）の追加的な構成提供する。
【0442】
４８．条項１～４７のうちの１つ以上に記載の方法を実装するように構成されたプロセッサを含む、ビデオエンコーダ装置。
【0443】
４９．条項１～４８のうちの１つ以上に記載の方法を実装するように構成されたプロセッサを含む、ビデオデコーダ装置。
【0444】
５０．コードを格納したコンピュータプログラム（製品）であって、コードは、実行後に、プロセッサに条項１～４７のうちの１つ以上に記載の方法を実装させる、コンピュータプログラム（製品）。
【0445】
５１．本文書に記載の方法、装置又はシステム。
【0446】
７．開示の技術の例示的な実装
図３０は、ビデオ処理装置３０００のブロック図である。装置３０００は、本明細書に記載する方法のうちの１つ以上を実装するために使用されてよい。装置３０００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ：Internet of Things）受信機などにおいて具現されてよい。装置３０００は、１つ以上のプロセッサ３００２と、１つ以上のメモリ３００４と、ビデオ処理ハードウェア３００６とを含んでよい。（複数の）プロセッサ３００２は、本文書に記載する１つ以上の方法（本明細書に記載する様々な方法を含むが、これらに限定されない）を実装するように構成されてよい。（複数の）メモリ３００４は、本明細書に記載する方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア３００６は、ハードウェア回路構成において、本文書に記載するつかの技術を実装するために使用されてよい。
図３０は、ビデオ処理装置３０００のブロック図である。装置３０００は、本明細書に記載する方法のうちの１つ以上を実装するために使用されてよい。装置３０００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ：Internet of Things）受信機などにおいて具現されてよい。装置３０００は、１つ以上のプロセッサ３００２と、１つ以上のメモリ３００４と、ビデオ処理ハードウェア３００６とを含んでよい。（複数の）プロセッサ３００２は、本文書に記載する１つ以上の方法（本明細書に記載する様々な方法を含むが、これらに限定されない）を実装するように構成されてよい。（複数の）メモリ３００４は、本明細書に記載する方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア３００６は、ハードウェア回路構成において、本文書に記載するつかの技術を実装するために使用されてよい。
【0447】
幾つかの実施形態において、ビデオコーディング方法は、図３０に関して記載するようにハードウェアプラットフォーム上に実装される装置を使用して実装されてよい。
【0448】
図３２は、本明細書に開示する様々な技術が実装されることがある例示的なビデオ処理システム３２００を示すブロック図である。様々な実装は、システム３２００の構成要素の一部又は全部を含んでよい。システム３２００は、ビデオコンテンツを受信するための入力３２０２を含んでよい。ビデオコンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットの多成分画素値で受信されてよく、或いは圧縮又は符号化されたフォーマットで受信されてよい。入力３２０２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶装置インターフェースを表すことがある。ネットワークインターフェースの例は、イーサネット、受動光ネットワーク（ＰＯＮ）などのような有線インターフェースと、Ｗｉ－Ｆｉ又はセルラーインターフェースのような無線インターフェースを含む。
【0449】
システム３２００は、本文書に記載する様々なコーディング方法又は符号化方法を実装することがあるコーディング構成要素３２０４を含んでよい。コーディング構成要素３２０４は、コーディング構成要素３２０４の入力３２０２から出力へのビデオの平均ビットレートを低減させて、ビデオのコーディングされた表現を生成してよい。従って、コーディング技術は、ビデオ圧縮又はビデオ変換コーディング(トランスコーディング)技術と称されることがある。コーディング構成要素３２０４の出力は、格納されてよく、或いは構成要素３２０６によって表されるような接続された通信を介して送信されてよい。入力３２０２で受信されるビデオの格納された又は通信されたビットストリーム（又はコーディングされた）表現は、ディスプレイインターフェース３２１０に送信される画素値又は表示可能なビデオを生成するために、構成要素３２０８によって使用されてよい。ビットストリーム表現からユーザが視認することができるビデオを生成するプロセスは、ビデオ解凍と称されることがある。更に、特定のビデオ処理操作が「コーディング」操作又はツールと称されるが、コーディングツール又は操作はエンコーダで使用され、コーディングの結果を反転する対応する復号化ツール又は操作はデコーダによって実行されることが理解されるであろう。
【0450】
周辺バスインターフェース又はディスプレイインターフェースの例は、ユニバーサルシリアルバス又は高精細度マルチメディアインターフェース（ＨＤＭＩ（登録商標））又はディスプレイポートなどを含む。記憶装置インターフェースの例は、ＳＡＴＡ（serial advanced technology attachment）、ＰＣＩ、ＩＤＥインターフェース及び同等物を含む。本文書に記載する技術は、携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又はビデオ表示を実行することができる他のデバイスのような、様々な電子デバイスにおいて具現されてよい。
【0451】
以上から、本開示の技術の特定の実施形態が、例示の目的のために本明細書に記載されているが、本発明の範囲を逸脱することなく、様々な修正が行われてよいことが理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
【0452】
この特許文書に記載する主題の実装及び機能的な動作は、この明細書に開示する構造及びそれらの構造的均等物を含む、様々なシステム、デジタル電子回路構成、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、或いはそれらの１つ以上の組み合わせにおいて実装されることができる。この明細書に記載する主題の実装は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による、又はデータ処理装置の動作を制御するための、有形で非一時的なコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装されることができる。コンピュータ可読媒体は、機械可読格納デバイス、機械可読記憶装置基板、メモリデバイス、機械可読伝搬信号に影響を与える物質の組成、又はそれらの１つ以上の組み合わせであることができる。「データ処理ユニット」又は「データ処理装置」という用語は、一例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するための全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。
【0453】
（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）コンピュータプログラムは、コンパイルされた又は解釈された言語を含む、任意の形態のプログラミング言語において書かれることができ、それは、スタンドアロンプログラムとして、又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニット含む、任意の形態で展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに必ずしも対応しない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に格納される１つ以上のスクリプト）を保持するファイルの一部分、問題のプログラム専用の単一ファイル、又は複数の調整されたファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部分を格納するファイル）に格納されることができる。コンピュータプログラムは、１つのコンピュータ上で又は１つのサイトに配置されるか或いは複数のサイトに分散されて通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように配置されることができる。
【0454】
本明細書に記載するプロセス及び論理フローは、入力データ上で操作して出力を生成することによって機能を実行するために１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行されることができる。プロセス及び論理フローは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）のような特殊目的の論理回路構成として実装されることもでき、装置もそのようなものとして実装されることができる。
【0455】
コンピュータプログラムの実行に適したプロセッサは、一例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はそれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための１つ以上のメモリデバイスである。一般的に、コンピュータは、データを格納するための１つ以上の大容量記憶装置、例えば、磁気光ディスク、磁気光ディスク又は光ディスクを含み、或いはそれらからデータを受信するか或いはそれらにデータを転送するためにそれらに動作的に連結される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ可読媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスを含む、全ての形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、特殊目的論理回路構成によって補足されるか或いは組み込まれることもができる。
【0456】
本明細書は、図面と共に、単に例示的であると考えられ、例示とは、例を意味することが意図される。本明細書中で使用されるとき、単数形の表現は、文脈が他に明確に示さない限り、複数形も含むことが意図される。加えて、「又は」の使用は、文脈が他に明確に示さない限り、「及び／又は」を含むことが意図される。
【0457】
この特許文書は多くの詳細を含むが、これらはいずれかの発明又は特許請求することがあるものの範囲に対する限定として解釈されてはならず、むしろ特定の発明の特定の実施形態に特有であることがある構成の記述として解釈されるべきである。別個の実施形態の文脈でこの特許文書に記載される特定の構成は、単一の実施形態において組み合わせにおいて実施されることもできる。逆に、単一の実施形態の文脈において記載される様々な構成は、別個に複数の実施形態において或いは任意の適切なサブコンビネーションにおいて実施されることもできる。その上、構成は、特定の組み合わせにおいて作用するものとして上記で記載されることがあり、最初にそのように特許請求されることさえあるが、特許請求される組み合わせからの１つ以上の構成は、場合によっては、組み合わせから削除されることができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてよい。
【0458】
同様に、動作が特定の順序で図面に示されているが、これは所望の結果を達成するためにそのような動作が図示の特定の順序で或いは順次的な順序で実行されること又は全ての例示の動作が実行されることを要求するものとして理解されるべきではない。その上、この特許文書に記載する実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分を必要とするものとして理解されるべきではない。
【0459】
少数の実装及び例のみが記載されており、他の実装、拡張及び変形がこの特許文書に記載され且つ例示されるものに基づいて行われることができる。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図15A】
【図15B】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図19A】
【図19B】
【図20A】
【図20B】
【図21A】
【図21B】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】