▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023103327
(43)【公開日】2023-07-26
(54)【発明の名称】多重変換行列のコンテキストモデリングおよび選択
(51)【国際特許分類】
H04N 19/70 20140101AFI20230719BHJP
H04N 19/12 20140101ALI20230719BHJP
H04N 19/176 20140101ALI20230719BHJP
【ＦＩ】
H04N19/70
H04N19/12
H04N19/176
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023076813
(22)【出願日】2023-05-08
(62)【分割の表示】P 2021562775の分割
【原出願日】2020-04-23
(31)【優先権主張番号】PCT/CN2019/083844
(32)【優先日】2019-04-23
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】ワン ユエ
(57)【要約】 （修正有）
【課題】コンテキストモデリング及び多重変換行列選択を含むデジタル映像符号化のためのデバイス、システム並びに方法を提供する。
【解決手段】映像処理方法は、映像の現在の映像ブロックとビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示が現在の映像ブロックに対し、ビットストリーム表現から排除されるかどうかを判定することと、変換を行うことと、を含む。前記指示は、シーケンスパラメータセット、ピクチャパラメータセット、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット行、符号化ユニット又は映像データユニット中にあり、判定することは、非ゼロ符号化係数の最終位置に基づき、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【選択図】図８Ａ
【解決手段】映像処理方法は、映像の現在の映像ブロックとビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示が現在の映像ブロックに対し、ビットストリーム表現から排除されるかどうかを判定することと、変換を行うことと、を含む。前記指示は、シーケンスパラメータセット、ピクチャパラメータセット、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット行、符号化ユニット又は映像データユニット中にあり、判定することは、非ゼロ符号化係数の最終位置に基づき、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【選択図】図８Ａ
【特許請求の範囲】
【請求項1】
映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示が前記ビットストリーム表現から排除されると判定することであって、前記現在の映像ブロックは、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される、判定することと、
前記変換を行うことと、を含む映像処理方法であって、
前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニット、または映像データユニット中にあり、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。
前記変換を行うことと、を含む映像処理方法であって、
前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニット、または映像データユニット中にあり、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。
【請求項2】
映像の現在の映像ブロックの符号化モードに基づいて、多重変換選択（ＭＴＳ）演算の選択的適用に関して決定することと、
前記決定することに基づいて、前記現在の映像ブロックと前記映像のビットストリーム表現との間で変換を行うこととを含み、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。
前記決定することに基づいて、前記現在の映像ブロックと前記映像のビットストリーム表現との間で変換を行うこととを含み、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。
【請求項3】
前記ＭＴＳ演算は暗黙的ＭＴＳ演算であり、前記ＭＴＳ演算の変換インデックスは前記ビットストリーム表現から除外される、請求項２に記載の方法。
【請求項4】
前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、請求項２または３に記載の方法。
【請求項5】
前記ＭＴＳ演算は、前記符号化モードがイントラブロックコピーモードまたはイントラモードである場合にも同様に適用される、請求項２または３に記載の方法。
【請求項6】
前記現在の映像ブロックが正方形のブロックであり、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）が適用される、請求項５に記載の方法。
【請求項7】
前記現在の映像ブロックが非正方形のブロックであり、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）が前記現在の映像ブロックの長辺に適用され、ＤＣＴ－ＶＩＩが前記現在の映像ブロックの短辺に適用される、請求項５に記載の方法。
【請求項8】
前記符号化モードは、イントラブロック（ＩＢＣ）コピーモードであり、前記現在の映像ブロックは、正方形のブロックであり、離散コサイン変換タイプＶＩＩ（ＤＣＴ－ＶＩＩ）が適用される、請求項２または３に記載の方法。
【請求項9】
前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、前記現在の映像ブロックは非正方形のブロックであり、前記現在の映像ブロックの短辺に変換スキップを適用する、請求項２または３に記載の方法。
【請求項10】
前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、請求項２または３に記載の方法。
【請求項11】
前記符号化モードは、角度イントラ予測モードである、請求項２または３に記載の方法。
【請求項12】
前記ビットストリーム表現は、前記現在の映像ブロックの前記符号化モードに基づいて判定される、許容される変換のセットの指示を含む、請求項２に記載の方法。
【請求項13】
前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、請求項１２に記載の方法。
【請求項14】
前記符号化モードは、イントラおよびインター予測（ＣＩＩＰ）複合モードである、請求項１２に記載の方法。
【請求項15】
前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、請求項１２に記載の方法。
【請求項16】
前記符号化モードは、角度イントラ予測モードである、請求項１２に記載の方法。
【請求項17】
現在の映像ブロックの特徴に基づいて、多重変換選択（ＭＴＳ）演算の少なくとも１つのインデックスを符号化するためのコンテキストモデルを構成することと、
前記構成することに基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法であって、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
前記構成することに基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法であって、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【請求項18】
前記特徴は、前記現在の映像ブロックの符号化モードを含む、請求項１７に記載の方法。
【請求項19】
前記符号化モードは、イントラ符号化モード、またはインター符号化モード、またはインターブロックコピー（ＩＢＣ）を含む、請求項１８に記載の方法。
【請求項20】
前記符号化モードは、インター符号化モードまたは非インター符号化モードを含む、請求項１８に記載の方法。
【請求項21】
前記特徴は、前記現在の映像ブロックに関連付けられた形状情報を含む、請求項１７に記載の方法。
【請求項22】
前記形状情報は、前記現在の映像ブロックが正方形または非正方形であることを含む、請求項２１に記載の方法。
【請求項23】
前記形状情報は、前記現在の映像ブロックの幅が前記現在の映像ブロックの高さよりも小さい、請求項２１に記載の方法。
【請求項24】
前記形状情報は、前記現在の映像ブロックの幅が前記現在の映像ブロックの高さよりも大きい、請求項２１に記載の方法。
【請求項25】
前記形状情報は、前記現在の映像ブロックの幅と前記現在の映像ブロックの高さとの比を含む、請求項２１に記載の方法。
【請求項26】
現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間での変換中、前記変換が多重変換選択（ＭＴＳ）演算を含むと判定することと、
前記判定することに基づいて、前記ＭＴＳ演算の行列の１つ以上の水平インデックスおよび１つ以上の垂直インデックスを別個に符号化することと、を含む映像処理方法であって、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
前記判定することに基づいて、前記ＭＴＳ演算の行列の１つ以上の水平インデックスおよび１つ以上の垂直インデックスを別個に符号化することと、を含む映像処理方法であって、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【請求項27】
前記１つ以上の水平方向インデックスおよび／または前記１つ以上の垂直方向インデックスは、変換スキップ動作を含む、請求項２６に記載の方法。
【請求項28】
前記１つ以上の水平インデックスのためのコンテキストモデルは、前記１つ以上の垂直平インデックスに基づく、請求項２６に記載の方法。
【請求項29】
前記１つ以上の垂直インデックスのためのコンテキストモデルは、前記１つ以上の水平インデックスに基づく、請求項２６に記載の方法。
【請求項30】
映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される前記現在の映像ブロックに対して多重変換選択（ＭＴＳ）演算の変換タイプの指示を構成することと、
前記変換を行うことと、を含む映像処理方法であって、
前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、または映像データユニット中にあり、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。
前記変換を行うことと、を含む映像処理方法であって、
前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、または映像データユニット中にあり、
前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、
映像処理方法。
【請求項31】
前記指示は、前記ＳＰＳ、前記ＰＰＳ、前記タイルグループヘッダ、前記スライスヘッダ、前記ピクチャヘッダ、前記タイルヘッダ、前記ＣＴＵ行、または前記映像データユニットにおいて、前記ＭＴＳ演算および前記ＩＢＣモードが明示的に符号化されているかどうかに基づいて、前記ビットストリーム表現により条件付きで符号化される、請求項３０に記載の方法。
【請求項32】
前記指示は、前記ＭＴＳ演算がインター符号化映像ブロックに対して有効化されているかどうかに基づいて、前記ビットストリーム表現において条件付きで符号化される、請求項３０に記載の方法。
【請求項33】
前記ＳＰＳは前記指示を含み、前記指示は、インターコードされた映像ブロックのために前記ＭＴＳ演算を使用することをさらに構成する、請求項３０に記載の方法。
【請求項34】
前記指示は、非ゼロ符号化係数の数に基づく、請求項３０に記載の方法。
【請求項35】
前記指示は、非ゼロ符号化係数の絶対値の合計に基づく、請求項３０に記載の方法。
【請求項36】
前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを生成する、請求項１～３５のいずれかに記載の方法。
【請求項37】
前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成する、請求項１～３５のいずれかに記載の方法。
【請求項38】
処理装置と、命令を含む非一時的メモリとを備える映像システムの装置であって、前記処理装置による実行時に、前記命令は、前記処理装置に請求項１～３７のいずれか１項に記載の方法を実装させる、映像システムの装置。
【請求項39】
非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
請求項１～３７のいずれか１項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
請求項１～３７のいずれか１項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年４月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／０８３８４４号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年４月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／０８３８４４号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
【0002】
この特許文献は、映像符号化技術、デバイスおよびシステムに関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
デジタル映像符号化に関し、具体的には、映像符号化のためのコンテキストモデリングおよび多重変換行列選択に関するデバイス、システムおよび方法である。記載された方法は、既存の映像符号化規格（例えば、高効率映像符号化（ＨＥＶＣ））および将来の映像符号化規格又はビデオコーデックの両方に適用され得る。
【0005】
１つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示がビットストリーム表現から排除されると判定することであって、現在の映像ブロックは、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される、判定することと、この変換を行うことと、を含み、指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニット、または映像データユニット中にあり、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0006】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックの符号化モードに基づいて、多重変換選択（ＭＴＳ）演算の選択的適用に関して決定することと、決定に基づいて、現在の映像ブロックと映像のビットストリーム表現との間の変換を行うこととを含み、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0007】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックの特徴に基づいて、多重変換選択（ＭＴＳ）演算の少なくとも１つのインデックスにおける符号化用のコンテキストモデルを構成することと、構成することに基づいて、現在の映像ブロックと現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含み、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0008】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックと現在の映像ブロックを含む映像のビットストリーム表現との間での変換中、多重変換選択（ＭＴＳ）演算を含む変換を判定することと、判定することに基づいて、ＭＴＳ演算の行列の１つ以上の水平インデックスおよび１つ以上の垂直インデックスを別個に符号化することと、を含み、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0009】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される現在の映像ブロックに対して多重変換選択（ＭＴＳ）演算の変換タイプの指示を構成することと、この変換を行うことと、を含み、指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、または映像データユニット中にあり、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0010】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示が現在の映像ブロックに対し、ビットストリーム表現から排除されるかどうかを判定することと、この変換を行うことと、を含み、指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニット、または映像データユニット中にあり、判定することは、非ゼロ符号化係数の最終位置に基づいて、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0011】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、現在の映像ブロックの彩度成分に関して多重変換選択（ＭＴＳ）演算を使用する指示を構成することと、この変換を行うことと、を含み、構成することは、現在の映像ブロックのカラーフォーマットに基づいて、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0012】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、現在の映像ブロックに対して適用されるサブブロック変換（ＳＢＴ）演算を判定することと、多重変換選択（ＭＴＳ）演算を使用することによって変換を行うこととを含み、ＳＢＴ演算は、位置依存変換演算を含み、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0013】
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックのカラーフォーマットに基づいて、現在の映像ブロックの彩度成分へのイントラサブブロック分割（ＩＳＰ）演算の選択的適用に関して決定することと、決定することに基づいて、現在の映像ブロックと映像のビットストリーム表現との間で変換を行うことと、ＩＳＰ演算は、ブロックを、少なくとも所定の数のサンプルを有するサブパーティションに垂直または水平に分割することとを含む。
【0014】
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
【0015】
さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされた処理装置を含んでもよい。
【0016】
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。
【0017】
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
【図面の簡単な説明】
【0018】
【図1】ＪＥＭにおけるセカンダリ変換の例を示す。
【図2】提案された縮小セカンダリ変換（ＲＳＴ）の例を示す。
【図3】サブブロック変換モードＳＢＴ－ＶおよびＳＢＴ－Ｈの例を示す。
【図4】４×８および８×４ブロックの分割の例を示す。
【図5】４×８、８×４、および４×４を除くすべてのブロックを分割した例を示す。
【図6】１つの４×８のサンプルブロックを２つの独立した復号化可能な領域に分割する例を示す。
【図7】垂直方向予測モジュールを有する４×Ｎのブロックに対してスループットを最大にするための、画素の行の処理の順序の例を示す。
【図8A】映像処理の方法の一例を示すフローチャートである。
【図8B】映像処理の方法の一例を示すフローチャートである。
【図8C】映像処理の方法の一例を示すフローチャートである。
【図8D】映像処理の方法の一例を示すフローチャートである。
【図8E】映像処理の方法の一例を示すフローチャートである。
【図8F】映像処理の方法の一例を示すフローチャートである。
【図8G】映像処理の方法の一例を示すフローチャートである。
【図8H】映像処理の方法の一例を示すフローチャートである。
【図8I】映像処理の方法の一例を示すフローチャートである。
【図9】本特許明細書に記載されるビジュアルメディアの復号化又はビジュアルメディアの符号化技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。
【図10】開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。
【発明を実施するための形態】
【0019】
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態（および／または実装形態）をそれぞれの章のみに限定するものではない。
【0020】
２ 映像符号化の導入
より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数（ビットレートで決まる）、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延（待ち時間）の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化（ＨＥＶＣ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）、完成させるべき汎用映像符号化規格、または他の現在のおよび／または将来の映像符号化基準に準拠する。
より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数（ビットレートで決まる）、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延（待ち時間）の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化（ＨＥＶＣ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）、完成させるべき汎用映像符号化規格、または他の現在のおよび／または将来の映像符号化基準に準拠する。
【0021】
映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月には、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間にＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ（ＪＶＥＴ）が発足し、ＨＥＶＣと比較して５０％のビットレート削減を目標にＶＶＣ規格の策定に取り組んでいる。
【0022】
２．１ 離散正弦関数変換ファミリー
離散正弦関数変換ファミリーは、周知の離散フーリエ、コサイン、サイン、およびカルーネン－レーブ（１次マルコフ条件下）変換を含む。すべてのメンバーの中で、コサイン関数に基づく８つのタイプの変換、およびサイン関数に基づく８つのタイプの変換、すなわち、それぞれ、ＤＣＴ－Ｉ、ＩＩ、・・、ＶＩＩＩ、およびＤＳＴ－Ｉ、ＩＩ、・・・、ＶＩＩＩがある。これらの離散コサイン変換およびサイン変換の変形は、それらに対応する対称－周期的シーケンスの異なる対称性に由来する。提案される方法に利用されるような、選択されたタイプのＤＣＴおよびＤＳＴの変換基底関数を、以下の表１にまとめる。
表１：Ｎ点入力用ＤＣＴ－ＩＩ／Ｖ／ＶＩＩＩ、ＤＳＴ－Ｉ／ＶＩＩの変換ベースの関数
離散正弦関数変換ファミリーは、周知の離散フーリエ、コサイン、サイン、およびカルーネン－レーブ（１次マルコフ条件下）変換を含む。すべてのメンバーの中で、コサイン関数に基づく８つのタイプの変換、およびサイン関数に基づく８つのタイプの変換、すなわち、それぞれ、ＤＣＴ－Ｉ、ＩＩ、・・、ＶＩＩＩ、およびＤＳＴ－Ｉ、ＩＩ、・・・、ＶＩＩＩがある。これらの離散コサイン変換およびサイン変換の変形は、それらに対応する対称－周期的シーケンスの異なる対称性に由来する。提案される方法に利用されるような、選択されたタイプのＤＣＴおよびＤＳＴの変換基底関数を、以下の表１にまとめる。
表１：Ｎ点入力用ＤＣＴ－ＩＩ／Ｖ／ＶＩＩＩ、ＤＳＴ－Ｉ／ＶＩＩの変換ベースの関数
【0023】
【表1】
【0024】
２．２ ＨＥＶＣ／Ｈ．２６５における変換設計
ＨＥＶＣ規格は、ブロックベースの動き補償映像圧縮のコンテキストにおいて２次元変換に使用されるべき、サイズ４×４、８×８、１６×１６、および３２×３２のコア変換行列を規定する。従来の映像符号化規格と同様に、ＨＥＶＣは、すべての変換サイズに対して逆離散コサイン変換（ＩＤＣＴ）に類似した２次元変換を規定する。複数の変換サイズは、圧縮性能を向上させるが、実装の複雑性を増大させる。
ＨＥＶＣ規格は、ブロックベースの動き補償映像圧縮のコンテキストにおいて２次元変換に使用されるべき、サイズ４×４、８×８、１６×１６、および３２×３２のコア変換行列を規定する。従来の映像符号化規格と同様に、ＨＥＶＣは、すべての変換サイズに対して逆離散コサイン変換（ＩＤＣＴ）に類似した２次元変換を規定する。複数の変換サイズは、圧縮性能を向上させるが、実装の複雑性を増大させる。
【0025】
知られているように、離散サイン変換タイプＶＩＩ（ＤＳＴ－ＶＩＩ）は、予測方向に沿ってＤＣＴ－ＩＩよりも最適変換を近似する。ＨＥＶＣにおいて、輝度イントラ予測残差を符号化するために、４×４のＤＳＴ－ＶＩＩが採用されている。
【0026】
標準、例えばＶＴＭ－２標準と比較した差は、二重太括弧を使用して区切られる。即ち、（（ａ））は、“ａ”が追加されたことを示す。
７．３．２．３．１ 一般ピクチャパラメータセットＲＢＳＰ構文
７．３．２．３．１ 一般ピクチャパラメータセットＲＢＳＰ構文
【0027】
【表2】
【0028】
７．３．２．３．２ ピクチャパラメータセットの範囲拡大構文
【0029】
【表3】
【0030】
７．３．８．１１ 残差符号化構文
【0031】
【表4】
【0032】
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｒｏｔａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合は、変換スキップ動作を使用して符号化されたイントラ４×４ブロックの残差データブロックに回転が適用されることを示す。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｒｏｔａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、この回転が適用されないことを示す。存在しない場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｒｏｔａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０であると推測される。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｃｏｎｔｅｘｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合は、変換がスキップされた変換ブロックのｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの構文解析に特定のコンテキストが使用されることを示す。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｃｏｎｔｅｘｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、変換ブロックの変換スキップまたは変換バイパスの有無が、このフラグのコンテキスト選択に使用されないことを示す。存在しない場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｃｏｎｔｅｘｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０であると推測される。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｃｏｎｔｅｘｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合は、変換がスキップされた変換ブロックのｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの構文解析に特定のコンテキストが使用されることを示す。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｃｏｎｔｅｘｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、変換ブロックの変換スキップまたは変換バイパスの有無が、このフラグのコンテキスト選択に使用されないことを示す。存在しない場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｃｏｎｔｅｘｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０であると推測される。
【0033】
２．３ ＶＶＣワーキングドラフト３におけるＭＴＳ
多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）技術において、代替変換のグループが予め定義される。エンコーダは、複数の予め定義された候補から１つの変換を選択し、その選択をビットストリームに明示的に信号通知するように権限を与えられる。これは、単一の予測方向であっても、残差統計量が有意に変化するという観察結果に基づいている。
多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）技術において、代替変換のグループが予め定義される。エンコーダは、複数の予め定義された候補から１つの変換を選択し、その選択をビットストリームに明示的に信号通知するように権限を与えられる。これは、単一の予測方向であっても、残差統計量が有意に変化するという観察結果に基づいている。
【0034】
２．３．１ ＶＴＭ３における複数変換選択
現在のＶＶＣ設計において、ＭＴＳは、幅および高さの両方が６４以下の輝度符号化ユニット（ＣＵ）に適用され、ＭＴＳが適用されるか否かは、ｔｕ＿ｍｔｓ＿ｆｌａｇと呼ばれるＣＵレベルフラグによって制御される。ＣＵレベルフラグが０の場合、デフォルト変換ＤＣＴ－ＩＩをＣＵに適用し、剰余を符号化する。ＭＴＳ有効化ＣＵ内の輝度符号化ブロックの場合、使用される水平および垂直変換をそれぞれ識別するように、２つの追加のフラグが信号通知される。各フラグは、ＤＳＴ－ＶＩＩまたはＤＣＴ－ＶＩＩＩのいずれが利用されるかを示すために、１ビットで符号化される。
現在のＶＶＣ設計において、ＭＴＳは、幅および高さの両方が６４以下の輝度符号化ユニット（ＣＵ）に適用され、ＭＴＳが適用されるか否かは、ｔｕ＿ｍｔｓ＿ｆｌａｇと呼ばれるＣＵレベルフラグによって制御される。ＣＵレベルフラグが０の場合、デフォルト変換ＤＣＴ－ＩＩをＣＵに適用し、剰余を符号化する。ＭＴＳ有効化ＣＵ内の輝度符号化ブロックの場合、使用される水平および垂直変換をそれぞれ識別するように、２つの追加のフラグが信号通知される。各フラグは、ＤＳＴ－ＶＩＩまたはＤＣＴ－ＶＩＩＩのいずれが利用されるかを示すために、１ビットで符号化される。
【0035】
ＤＣＴ－２変換に加え、ＤＳＴ－７およびＤＣＴ－８を適用してもよい。水平または垂直変換のいずれかのために、１ビットフラグ（ｍｔｓ＿ｉｄｘと呼ばれる）がデコーダ側に送信される。ｍｔｓ＿ｉｄｘと変換行列との間のマッピングを表２に示す。
表２：許容される変換行列のリスト
表２：許容される変換行列のリスト
【0036】
【表5】
【0037】
２．３．２ ＭＴＳの構文要素
７．３．２．１ シーケンスパラメータセットＲＢＳＰ構文
７．３．２．１ シーケンスパラメータセットＲＢＳＰ構文
【0038】
【表6】
【0039】
７．３．４．１０ 変換ユニット構文
【0040】
【表7】
【0041】
７．３．４．１１ 残差符号化構文
【0042】
【表8】
【0043】
２．３．３ ＭＴＳ構文要素の意味論
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合は、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラ符号化ユニットの残差符号化構文に存在する可能性があることを示す。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、ｔｕ＿ｍｔｓ＿ｆｌａｇはイントラ符号化ユニットの残差符号化構文内に存在しないことを示す。
ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインター符号化ユニットの残差符号化構文に存在する可能性があることを示す。ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、ｔｕ＿ｍｔｓ＿ｆｌａｇはインター符号化ユニットの残差符号化構文内に存在しないことを示す。
ｔｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が１の場合は、関連する輝度変換ブロックの残差サンプルに多重変換選択を適用することを示す。ｔｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が０の場合は、関連する輝度変換ブロックの残差サンプルに多重変換選択を適用しないことを示す。配列インデックスｘ０，ｙ０は、ピクチャの左上輝度サンプルに対する、考慮される変換ブロックの左上輝度サンプルの位置（ｘ０，ｙ０）を指定する。
ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、０に等しいと推測される。
ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］［ｃＩｄｘ］は、現在の変換ブロックの水平および垂直方向に沿ってどの変換カーネルを残差サンプルに適用するかを指定する。配列インデックスｘ０，ｙ０は、考慮される変換ブロックの左上の輝度サンプルの、ピクチャの左上の輝度サンプルに対する位置（ｘ０，ｙ０）を指定し、配列インデックスｃＩｄｘは、色成分のインジケータを指定し、輝度については０であり、Ｃｂについては１であり、Ｃｒについては２である。
ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］［ｃＩｄｘ］ｉが存在しない場合、－１に等しいと推測される。
表８－９ － ｍｔｓ＿ｉｄｘ［ｘ］［ｙ］［ｃＩｄｘ］に基づくｔｒＴｙｐｅＨｏｒ，ｔｒＴｙｐｅＶｅｒの仕様
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合は、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラ符号化ユニットの残差符号化構文に存在する可能性があることを示す。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、ｔｕ＿ｍｔｓ＿ｆｌａｇはイントラ符号化ユニットの残差符号化構文内に存在しないことを示す。
ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインター符号化ユニットの残差符号化構文に存在する可能性があることを示す。ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合は、ｔｕ＿ｍｔｓ＿ｆｌａｇはインター符号化ユニットの残差符号化構文内に存在しないことを示す。
ｔｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が１の場合は、関連する輝度変換ブロックの残差サンプルに多重変換選択を適用することを示す。ｔｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が０の場合は、関連する輝度変換ブロックの残差サンプルに多重変換選択を適用しないことを示す。配列インデックスｘ０，ｙ０は、ピクチャの左上輝度サンプルに対する、考慮される変換ブロックの左上輝度サンプルの位置（ｘ０，ｙ０）を指定する。
ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、０に等しいと推測される。
ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］［ｃＩｄｘ］は、現在の変換ブロックの水平および垂直方向に沿ってどの変換カーネルを残差サンプルに適用するかを指定する。配列インデックスｘ０，ｙ０は、考慮される変換ブロックの左上の輝度サンプルの、ピクチャの左上の輝度サンプルに対する位置（ｘ０，ｙ０）を指定し、配列インデックスｃＩｄｘは、色成分のインジケータを指定し、輝度については０であり、Ｃｂについては１であり、Ｃｒについては２である。
ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］［ｃＩｄｘ］ｉが存在しない場合、－１に等しいと推測される。
表８－９ － ｍｔｓ＿ｉｄｘ［ｘ］［ｙ］［ｃＩｄｘ］に基づくｔｒＴｙｐｅＨｏｒ，ｔｒＴｙｐｅＶｅｒの仕様
【0044】
【表9】
【0045】
２．４ （ＶＶＣ作業草案４に従った）ＭＴＳの新進捗状況
２．４．１ ＪＶＥＴ－Ｌ０１３４
イントラ予測誤差信号の分布はブロックの形状に相関するように見えるので、変換ブロックの幅および高さに基づいて、異なる方向への異なる変換を選択することが提案される。より正確には、変換ブロックの短辺にＤＳＴ７を使用し、ブロックの長辺にＤＣＴ２を使用することが提案される。正方形のブロックの場合、水平および垂直変換の両方にＤＣＴ２を使用することが提案される。
表３：提案されたＶＴＭ－２とは異なる変換導出および信号通知テーブルを、太二重括弧を使用して囲んで区切る。
２．４．１ ＪＶＥＴ－Ｌ０１３４
イントラ予測誤差信号の分布はブロックの形状に相関するように見えるので、変換ブロックの幅および高さに基づいて、異なる方向への異なる変換を選択することが提案される。より正確には、変換ブロックの短辺にＤＳＴ７を使用し、ブロックの長辺にＤＣＴ２を使用することが提案される。正方形のブロックの場合、水平および垂直変換の両方にＤＣＴ２を使用することが提案される。
表３：提案されたＶＴＭ－２とは異なる変換導出および信号通知テーブルを、太二重括弧を使用して囲んで区切る。
【0046】
【表10】
【0047】
２．４．２ ＪＶＥＴ－Ｍ０４６４
まずＭＴＳフラグを構文解析する代わりに、変換スキップ（ＴＳ）フラグの後に、ＭＴＳインデックスのために２つのビンを有する固定長符号化が続き、新しい結合構文要素ｔｕ＿ｍｔｓ＿ｉｄｘは、短縮された単項２値化を使用する。第１のビンはＴＳを示し、第２のビンはＭＴＳフラグを示し、すべての後続のＭＴＳインデックスを示す。完全な意味論および２値化を以下の表に示す。
まずＭＴＳフラグを構文解析する代わりに、変換スキップ（ＴＳ）フラグの後に、ＭＴＳインデックスのために２つのビンを有する固定長符号化が続き、新しい結合構文要素ｔｕ＿ｍｔｓ＿ｉｄｘは、短縮された単項２値化を使用する。第１のビンはＴＳを示し、第２のビンはＭＴＳフラグを示し、すべての後続のＭＴＳインデックスを示す。完全な意味論および２値化を以下の表に示す。
【0048】
【表11】
【0049】
コンテキストモデルの数は変更されず、ｔｕ＿ｍｔｓ＿ｉｄｘの各ビンへのコンテキストインデックスの増分ｃｔｘＩｎｃの割り当ては、以下のようになる。
【0050】
【表12】
【0051】
２．４．３ ＪＶＥＴ－Ｍ０３０３における黙示的ＭＴＳ
イントラ予測誤差信号の分布はブロックの形状に相関するように見えるので、変換ブロックの幅および高さに基づいて、異なる方向への異なる変換を選択することが提案される。より正確には、変換ブロックの短辺にＤＳＴ７を使用し、ブロックの長辺にＤＣＴ２を使用することが提案される。正方形のブロックの場合、シーケンスに対してＭＴＳが有効化される場合、水平および垂直変換の両方にＤＣＴ２を使用し、シーケンスに対してＭＴＳが無効化される場合、ＤＳＴ７を使用することが提案される。形状適応性は、空間的予測モードで予測されるイントラブロックに対してのみ使用される。
２．４．４ 最新のＶＶＣワーキングドラフトにおける構文、意味論および復号化処理
２．４．４．１ シンタックス設計
７．３．２．１ シーケンスパラメータセットＲＢＳＰ構文
イントラ予測誤差信号の分布はブロックの形状に相関するように見えるので、変換ブロックの幅および高さに基づいて、異なる方向への異なる変換を選択することが提案される。より正確には、変換ブロックの短辺にＤＳＴ７を使用し、ブロックの長辺にＤＣＴ２を使用することが提案される。正方形のブロックの場合、シーケンスに対してＭＴＳが有効化される場合、水平および垂直変換の両方にＤＣＴ２を使用し、シーケンスに対してＭＴＳが無効化される場合、ＤＳＴ７を使用することが提案される。形状適応性は、空間的予測モードで予測されるイントラブロックに対してのみ使用される。
２．４．４ 最新のＶＶＣワーキングドラフトにおける構文、意味論および復号化処理
２．４．４．１ シンタックス設計
７．３．２．１ シーケンスパラメータセットＲＢＳＰ構文
【0052】
【表13】
【0053】
７．３．６．１０ 変換ユニット構文
【0054】
【表14】
【0055】
【表15】
【0056】
２．４．４．２ 意味論
ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、シーケンスパラメータセットＲＢＳＰの構文にｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在し、シーケンスパラメータセットＲＢＳＰの構文にｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在することを示す。ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、シーケンスパラメータセットＲＢＳＰの構文にｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しないこと、およびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しないことを示す。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
２．４．４．３ 復号化処理
暗黙的ＭＴＳを有効化するかどうかは、以下の規則に従って判定される。
変数ｉｍｐｌｉｃｉｔＭｔＳＥｎａｂｌｅｄは、以下のように導出される。
－ ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であり、以下の条件の１つが真である場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは１に設定される。
－ ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴではない。
－ ｃｕ＿ｓｂｔ＿ｆｌａｇが１であり、Ｍａｘ（ｎＴｂＷ，ｎＴｂＨ）＝３２以下である
－ ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは両方とも０であり、ＣｕＰｒｅｄＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］は、ＭＯＤＥ＿ＩＮＴＲＡである。
－ そうでない場合、ｉｍｐｌｉｃｉｔＭｔＳＥｎａｂｌｅｄは０に設定される。
水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒおよび垂直変換カーネルを規定する変数ｔｒＴｙｐｅＶｅｒは、以下のように導出される。
－ ｃＩｄｘが０よりも大きい場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは、０に設定される。
－ そうでない場合、ｉｍｐｌｉｃｉｔＭｔＳＥｎａｂｌｅｄが１の場合、以下が適用される。
－ ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴでない場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは、ｉｎｔｒａＰｒｅｄＭｏｄｅに依存して、表８－１５に規定される。
－ そうでない場合、ｃｕ＿ｓｂｔ＿ｆｌａｇが１である場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは、表８－１４において、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇおよびｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに基づいて指定される。
－ そうでない場合、（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合）、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒは以下のように導出される。
ｔｒＴｙｐｅＨｏｒ＝（ｎＴｂＷ＞＝４ ＆＆ ｎＴｂＷ＜＝１６ ＆＆ ｎＴｂＷ＜＝ｎＴｂＨ） ？１：０ （８－１０３０）
ｔｒＴｙｐｅＶｅｒ＝（ｎＴｂＨ＞＝４ ＆＆ ｎＴｂＨ＜＝１６ ＆＆ ｎＴｂＨ＜＝ｎＴｂＷ） ？１：０ （８－１０３１）
－ そうでない場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒはｔｕ＿ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］に基づいて、表８－１３に指定される。
表８－１３ － ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ］［ｙ］に依存するｔｒＴｙｐｅＨｏｒ，ｔｒＴｙｐｅＶｅｒの仕様
ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、シーケンスパラメータセットＲＢＳＰの構文にｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在し、シーケンスパラメータセットＲＢＳＰの構文にｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在することを示す。ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、シーケンスパラメータセットＲＢＳＰの構文にｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しないこと、およびｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しないことを示す。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
２．４．４．３ 復号化処理
暗黙的ＭＴＳを有効化するかどうかは、以下の規則に従って判定される。
変数ｉｍｐｌｉｃｉｔＭｔＳＥｎａｂｌｅｄは、以下のように導出される。
－ ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であり、以下の条件の１つが真である場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは１に設定される。
－ ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴではない。
－ ｃｕ＿ｓｂｔ＿ｆｌａｇが１であり、Ｍａｘ（ｎＴｂＷ，ｎＴｂＨ）＝３２以下である
－ ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは両方とも０であり、ＣｕＰｒｅｄＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］は、ＭＯＤＥ＿ＩＮＴＲＡである。
－ そうでない場合、ｉｍｐｌｉｃｉｔＭｔＳＥｎａｂｌｅｄは０に設定される。
水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒおよび垂直変換カーネルを規定する変数ｔｒＴｙｐｅＶｅｒは、以下のように導出される。
－ ｃＩｄｘが０よりも大きい場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは、０に設定される。
－ そうでない場合、ｉｍｐｌｉｃｉｔＭｔＳＥｎａｂｌｅｄが１の場合、以下が適用される。
－ ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴでない場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは、ｉｎｔｒａＰｒｅｄＭｏｄｅに依存して、表８－１５に規定される。
－ そうでない場合、ｃｕ＿ｓｂｔ＿ｆｌａｇが１である場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは、表８－１４において、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇおよびｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに基づいて指定される。
－ そうでない場合、（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合）、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒは以下のように導出される。
ｔｒＴｙｐｅＨｏｒ＝（ｎＴｂＷ＞＝４ ＆＆ ｎＴｂＷ＜＝１６ ＆＆ ｎＴｂＷ＜＝ｎＴｂＨ） ？１：０ （８－１０３０）
ｔｒＴｙｐｅＶｅｒ＝（ｎＴｂＨ＞＝４ ＆＆ ｎＴｂＨ＜＝１６ ＆＆ ｎＴｂＨ＜＝ｎＴｂＷ） ？１：０ （８－１０３１）
－ そうでない場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒはｔｕ＿ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］に基づいて、表８－１３に指定される。
表８－１３ － ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ］［ｙ］に依存するｔｒＴｙｐｅＨｏｒ，ｔｒＴｙｐｅＶｅｒの仕様
【0057】
【表16】
【0058】
２．４．５ 縮小セカンダリ変換
ＪＥＭにおいて、セカンダリ変換は、順方向プライマリ変換と量子化（エンコーダにおいて）の間、及び逆量子化と逆方向プライマリ変換（デコーダ側において）の間に適用される。図１に示すように、ブロックサイズにより４×４（または８×８）のセカンダリ変換を行う。例えば、４×４のセカンダリ変換は、小さなブロック（すなわち、ｍｉｎ（幅、高さ）＜８）に適用され、８×８のセカンダリ変換は、８×８ブロック当たりより大きなブロック（すなわち、ｍｉｎ（幅、高さ）＞４）に適用される。
ＪＥＭにおいて、セカンダリ変換は、順方向プライマリ変換と量子化（エンコーダにおいて）の間、及び逆量子化と逆方向プライマリ変換（デコーダ側において）の間に適用される。図１に示すように、ブロックサイズにより４×４（または８×８）のセカンダリ変換を行う。例えば、４×４のセカンダリ変換は、小さなブロック（すなわち、ｍｉｎ（幅、高さ）＜８）に適用され、８×８のセカンダリ変換は、８×８ブロック当たりより大きなブロック（すなわち、ｍｉｎ（幅、高さ）＞４）に適用される。
【0059】
セカンダリ変換には、非可分変換が適用されるので、これは非可分二次変換（Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）とも呼ばれている。全体で３５個の変換セットがあり、１つの変換セット当たり３つの非可分変換行列（カーネル、それぞれ１６×１６行列を有する）が使用される。
【0060】
イントラ予測方向に従って、ＪＶＥＴ－Ｋ００９９では縮小セカンダリ変換（ＲＳＴ）が導入され、ＪＶＥＴ－Ｌ０１３３では４つの変換セット（３５の変換セットの代わりに）マッピングが導入された。この寄与において、８×８ブロック及び４×４ブロックのために、それぞれ１６×４８及び１６×１６行列が使用される。表記の便宜上、１６×４８変換をＲＳＴ８×８として、１６×１６変換をＲＳＴ４×４として表す。このような方法は、近年、ＶＶＣによって採用されている。
【0061】
セカンダリな順方向及び逆方向変換は、プライマリ変換の処理ステップとは別個の処理ステップである。
【0062】
エンコーダの場合、まずプライマリ順方向変換を行い、次にセカンダリ順方向変換及び量子化、並びにＣＡＢＡＣビット符号化を行う。デコーダ、ＣＡＢＡＣビット復号化、及び逆量子化の場合、まずセカンダリ逆変換を実行し、次にプライマリ逆変換を行う。
【0063】
ＲＳＴは、イントラ符号化ＴＵｓにのみ適用される。
【0064】
２．５ ＶＶＣワーキングドラフト５におけるＭＴＳ
最近のＶＶＣ作業草案において、意味論および構文表の整列がずれている。
７．３．２．３ シーケンスパラメータセットＲＢＳＰ構文
最近のＶＶＣ作業草案において、意味論および構文表の整列がずれている。
７．３．２．３ シーケンスパラメータセットＲＢＳＰ構文
【0065】
【表17】
【0066】
【表18】
【0067】
【表19】
【0068】
７．３．７．１０ 変換ユニット構文
【0069】
【表20】
【0070】
【表21】
【0071】
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが０に等しい場合、現在の符号化ユニットがインター予測モードで符号化されることを規定する。ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合、現在の符号化ユニットがイントラ予測モードで符号化されることを規定する。変数ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］は、ｘ＝ｘ０．．ｘ０＋ｃｂＷｉｄｔｈ－１およびｙ＝ｙ０．．ｙ０＋ｃｂＨｅｉｇｈｔ－１に対しては以下のように導出される。
－ ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが０に等しい場合、ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］は、ＭＯＤＥ＿ＩＮＴＥＲに等しく設定される。
－ あるいは、（ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合）、ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］をＭＯＤＥ＿ＩＮＴＲＡに等しく設定する。
ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが存在しない場合、Ｉスライスをデコードするとき、１に等しいと推測され、ＰまたはＢスライスを復号化するとき、それぞれ０に等しいと推測される。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが１に等しい場合、現在の符号化ユニットがＩＢＣ予測モードで符号化されることを規定する。ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが０に等しい場合、現在の符号化ユニットがＩＢＣ予測モードで符号化されないことを規定する。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが存在しない場合、Ｉスライスをデコードするとき、ｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に等しいと推測され、ＰまたはＢスライスを復号化するとき、それぞれ０と推測される。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが１に等しいとき、変数ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］は、ｘ＝ｘ０．．ｘ０＋ｃｂＷｉｄｔｈ－１およびｙ＝ｙ０．．ｙ０＋ｃｂＨｅｉｇｈｔ－１に対してＭＯＤＥ＿ＩＢＣと等しくなるように設定される。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが０に等しい場合、現在の符号化ユニットがインター予測モードで符号化されることを規定する。ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合、現在の符号化ユニットがイントラ予測モードで符号化されることを規定する。変数ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］は、ｘ＝ｘ０．．ｘ０＋ｃｂＷｉｄｔｈ－１およびｙ＝ｙ０．．ｙ０＋ｃｂＨｅｉｇｈｔ－１に対しては以下のように導出される。
－ ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが０に等しい場合、ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］は、ＭＯＤＥ＿ＩＮＴＥＲに等しく設定される。
－ あるいは、（ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合）、ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］をＭＯＤＥ＿ＩＮＴＲＡに等しく設定する。
ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが存在しない場合、Ｉスライスをデコードするとき、１に等しいと推測され、ＰまたはＢスライスを復号化するとき、それぞれ０に等しいと推測される。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが１に等しい場合、現在の符号化ユニットがＩＢＣ予測モードで符号化されることを規定する。ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが０に等しい場合、現在の符号化ユニットがＩＢＣ予測モードで符号化されないことを規定する。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが存在しない場合、Ｉスライスをデコードするとき、ｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に等しいと推測され、ＰまたはＢスライスを復号化するとき、それぞれ０と推測される。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇが１に等しいとき、変数ＣｕＰｒｅｄＭｏｄｅ［ｘ］［ｙ］は、ｘ＝ｘ０．．ｘ０＋ｃｂＷｉｄｔｈ－１およびｙ＝ｙ０．．ｙ０＋ｃｂＨｅｉｇｈｔ－１に対してＭＯＤＥ＿ＩＢＣと等しくなるように設定される。
【0072】
２．６ サブブロック変換
ｃｕ＿ｃｂｆが１に等しいインター予測されたＣＵの場合、ｃｕ＿ｓｂｔ＿ｆｌａｇは、残差ブロック全体が復号されるのか、サブ部分が復号化されるのかを示すために信号通知されてもよい。前者の場合、インターＭＴＳ情報をさらに構文解析し、ＣＵの変換タイプを判定する。後者の場合、残差ブロックの一部は推測適応変換で符号化され、残差ブロックの他の部分はゼロ化される。ＳＢＴは、複合インターイントラモードには適用されない。
ｃｕ＿ｃｂｆが１に等しいインター予測されたＣＵの場合、ｃｕ＿ｓｂｔ＿ｆｌａｇは、残差ブロック全体が復号されるのか、サブ部分が復号化されるのかを示すために信号通知されてもよい。前者の場合、インターＭＴＳ情報をさらに構文解析し、ＣＵの変換タイプを判定する。後者の場合、残差ブロックの一部は推測適応変換で符号化され、残差ブロックの他の部分はゼロ化される。ＳＢＴは、複合インターイントラモードには適用されない。
【0073】
サブブロック変換において、ＳＢＴ－ＶおよびＳＢＴ－Ｈ（常にＤＣＴ－２を使用する彩度ＴＢ）における輝度変換ブロックに対して位置依存変換が適用される。ＳＢＴ－ＨとＳＢＴ－Ｖの２つの位置は、異なるコア変換に関連付けられる。具体的には、ＳＢＴ位置ごとに水平方向及び垂直方向の変換は図３に示される。例えば、ＳＢＴ－Ｖ位置０の水平及び垂直変換は、それぞれＤＣＴ－８及びＤＳＴ－７である。残差ＴＵの片側が３２よりも大きい場合、対応する変換をＤＣＴ－２と設定する。従って、サブブロック変換は、残差ブロックのＴＵタイリング、ｃｂｆ、並びに水平及び垂直変換を一緒に指定し、これは、１つのブロックの主な残差がこのブロックの片側にある場合の構文ショートカットと見なすことができる。
【0074】
２．７ アフィン線形重み付きイントラ予測（ＡＬＷＩＰ、または行列ベースのイントラ予測）
ＪＶＥＴ－Ｎ０２１７には、アフィン線形重み付きイントラ予測（ＡＬＷＩＰ、別名行列ベースイントラ予測（ＭＩＰ））が提案される。
ＪＶＥＴ－Ｎ０２１７には、アフィン線形重み付きイントラ予測（ＡＬＷＩＰ、別名行列ベースイントラ予測（ＭＩＰ））が提案される。
【0075】
ＪＶＥＴ－Ｎ０２１７において、２つの試験を行った。テスト１において、ＡＬＷＩＰは、８Ｋバイトのメモリ制限と、１サンプル当たり最大４回の乗算とを備えるように設計される。テスト２は、テスト１と同様であるが、メモリ要件およびモデルアーキテクチャの点で設計をさらに簡略化する。
【0076】
○すべてのブロック形状のための単一のセットの行列およびオフセットベクトル。
【0077】
○すべてのブロック形状に対してモード数を１９に減らす。
【0078】
○メモリ要件を５７６０個の１０ビット値、すなわち７．２０キロバイトに低減する。
【0079】
○予測サンプルの線形補間は、第１のテストにおけるように、反復補間に取って代わって、１つの方向につき１つのステップで行われる。
【0080】
２．８ イントラサブブロック分割（ＩＳＰ）
ＪＶＥＴ－Ｍ０１０２において、ＩＳＰは、表４に示すように、輝度イントラ予測ブロックを垂直または水平にブロックサイズの寸法により２個または４個のサブパーティションに分割することが提案される。図４および図５は、これら２つの可能性の例を示す。すべてのサブパーティションは、少なくとも１６個のサンプルを有するという条件を満たす。
表４：ブロックサイズに応じたサブパーティションの数
ＪＶＥＴ－Ｍ０１０２において、ＩＳＰは、表４に示すように、輝度イントラ予測ブロックを垂直または水平にブロックサイズの寸法により２個または４個のサブパーティションに分割することが提案される。図４および図５は、これら２つの可能性の例を示す。すべてのサブパーティションは、少なくとも１６個のサンプルを有するという条件を満たす。
表４：ブロックサイズに応じたサブパーティションの数
【0081】
【表22】
【0082】
これらのサブパーティションの各々について、エンコーダが送信した係数をエントロピー復号化し、その後、量子化および反転変換した後、残差信号を生成する。そして、サブパーティションをイントラ予測し、最後に、予測信号に残差信号を加えることで、対応する再構成サンプルを得る。従って、各サブパーティションの再構成値は、次のサブパーティションの予測を生成するために利用可能となり、この処理等を繰り返す。すべてのサブパーティションは、同じイントラモードを共有する。
【0083】
イントラモードおよび利用される分割に基づいて、２つの異なるクラスの処理順序が使用され、これらを通常順および逆順と呼ぶ。通常順では、処理対象の第１のサブパーティションは、ＣＵの左上のサンプルを含み、その後、下方向（水平分割）または右方向（垂直分割）に続くサブパーティションである。その結果、サブパーティション予測信号を生成するために使用する参照サンプルは、ラインの左上に位置するのみである。一方、逆の処理順序は、ＣＵの左下のサンプルを含むサブパーティションから始まり、上へ続くか、またはＣＵの右上のサンプルを含むサブパーティションから始まり、左へ続く。
【0084】
２．９ ブロック差動パルスコード変調符号化（ＢＤＰＣＭ）
ＪＶＥＴ－Ｍ００５７において、ＢＤＰＣＭが提案されている。現在の画素を予測するために左（Ａ）（または上（Ｂ））の画素を使用する水平（または垂直）予測モジュールの形状により、ブロックを最もスループット効率よく処理する方法は、１つの列（またはライン）のすべての画素を並列に処理し、これらの列（またはライン）を順次処理することである。スループットを向上させるために、我々は、以下の処理を導入する。すなわち、このブロックにおいて選択された予測子が垂直である場合、幅４のブロックを水平フロンティアで二分割し、このブロックにおいて選択された予測子が水平である場合、高さ４のブロックを垂直フロンティアで二分割する。
ＪＶＥＴ－Ｍ００５７において、ＢＤＰＣＭが提案されている。現在の画素を予測するために左（Ａ）（または上（Ｂ））の画素を使用する水平（または垂直）予測モジュールの形状により、ブロックを最もスループット効率よく処理する方法は、１つの列（またはライン）のすべての画素を並列に処理し、これらの列（またはライン）を順次処理することである。スループットを向上させるために、我々は、以下の処理を導入する。すなわち、このブロックにおいて選択された予測子が垂直である場合、幅４のブロックを水平フロンティアで二分割し、このブロックにおいて選択された予測子が水平である場合、高さ４のブロックを垂直フロンティアで二分割する。
【0085】
１つのブロックを分割する場合、１つの領域からのサンプルに対して別の領域からの画素を使用して予測を計算することはできず、このような状況が発生した場合、予測画素を予測方向の参照画素に置き換える。これについては、垂直方向に予測された４×８個のブロック内の現在の画素Ｘの異なる位置について、図６に示されている。
【0086】
この特性のため、図７に示すように、４×４ブロックを２サイクルで処理することができ、４×８または８×４ブロックを４サイクルで処理してもよい。
【0087】
２．１０ 量子化残差ドメインＢＤＰＣＭ
ＪＶＥＴ－Ｎ０４１３において、量子化残差ドメインＢＤＰＣＭ（以下、ＲＢＤＰＣＭと称する）が提案される。イントラ予測は、イントラ予測と同様に、予測方向（水平または垂直予測）にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子（水平または垂直）量子化値との間のデルタを符号化する。
ＪＶＥＴ－Ｎ０４１３において、量子化残差ドメインＢＤＰＣＭ（以下、ＲＢＤＰＣＭと称する）が提案される。イントラ予測は、イントラ予測と同様に、予測方向（水平または垂直予測）にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子（水平または垂直）量子化値との間のデルタを符号化する。
【0088】
サイズＭ（行）×Ｎ（列）のブロックについて、ｒｉ，ｊ，０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向（予測ブロックに対して左隣の画素値を１ラインずつコピーする）または垂直方向（予測ブロックにおける各ラインに上隣のラインをコピーする）にイントラ予測を行った後の予測残差とする。Ｑ（ｒｉ，ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１は、残差ｒｉ，ｊの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックＤＰＣＭが量子化された残差サンプルに適用され、その結果、要素ｒｉ，ｊを有する修正されたＭ×Ｎ個の配列Ｒ～が得られる。垂直ＢＤＰＣＭが信号通知されると、以下のようになる。
【0089】
【数1】
【0090】
水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。
【0091】
【数2】
【0092】
残差量子化サンプルｒ～
ｉ，ｊはデコーダに送られる。
【0093】
デコーダ側では、上記の計算を逆にして、Ｑ（ｒｉ，ｊ）、０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１を生成する。垂直予測の場合、
【0094】
【数3】
【0095】
水平方向の場合、
【0096】
【数4】
【0097】
逆量子化された残差Ｑ－１（Ｑ（ｒｉ，ｊ））をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。
【0098】
このスキームの利点のひとつは、ＤＰＣＭを逆方向にすることを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、
または、構文解析後に行うことができることである。
または、構文解析後に行うことができることである。
【0099】
量子化された残差ドメインＢＤＰＣＭにおいては、常に変換スキップが使用される。
【0100】
３ 既存の実装形態の欠点
ＶＶＣの現在の設計において、３つの異なるマージリストが異なる手順で利用され、それはハードウェア実装コストを増加させる。
ＶＶＣの現在の設計において、３つの異なるマージリストが異なる手順で利用され、それはハードウェア実装コストを増加させる。
【0101】
（１）ＭＴＳは、４：４：４や他のカラーフォーマットが有効な場合など、カラーリッチなシーケンスには最適ではない可能性がある輝度ブロックにのみ適用されてもよい。
【0102】
（２）ＭＴＳは、イントラ、インター、およびＩＢＣの両方に対してサポートされる。そして、ＩＢＣ ＭＴＳの制御は、ＭＴＳがインター符号化ブロックに対して有効化されるかどうかの条件付きチェックを受ける。ＩＢＣは第３のモードとして定義されるので、ＩＢＣ ＭＴＳの使用を別個に制御するほうがよい可能性がある。
【0103】
（３）ＭＴＳインデックスを符号化するコンテキストは、ＣＵの深さに依存する。しかしながら、変換インデックスと符号化モードとの間にはある程度の相関がある。そのような相関を使用すれば、追加の符号化利得を得られる場合もある。
【0104】
（４）ＩＢＣをインターモードとして扱う場合、ＭＴＳインデックスを信号通知するための条件チェックに問題はない。しかしながら、ＩＢＣは、現在、イントラモードおよびインターモードに並行して、新しいモードとして扱われ、条件付きチェックおよび意味論には問題が生じている。
【0105】
４ コンテキストモデリングおよび多重変換行列選択のための例示的な方法
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。本明細書に開示される技術に基づいてコンテキストモデリングおよび多重変換行列選択を行う方法は、既存のおよび将来の映像符号化規格を共に向上させることができ、以下の様々な実装形態において説明する。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
１． 暗黙的ＭＴＳを適用するかどうか、および／またはどのように適用するか（すなわち、変換インデックスを明示的に信号通知せずに変換行列を選択するかどうか）は、１つのブロックがモードＸで符号化されているかどうか、および／または符号化された残差情報に依存してもよい。
ａ． 一例において、モードＸは、ＩＢＣモードであってもよい。
ｂ． 一例において、１つのブロックがＩＢＣモードで符号化される場合、黙示的ＭＴＳは、自動的に有効化されてもよい。
ｃ． 一例において、ＩＢＣ符号化ブロックのための変換行列の選択は、イントラ符号化ブロックのための変換行列の選択と同じであってもよい。
ｉ． 一例において、正方形のブロックのために、ＤＣＴ－２が適用される。
ｉｉ． 一例において、非正方形のブロックの場合、短辺にＤＳＴ－７が適用され、長辺にＤＣＴ－２が適用される。
ｄ． 一例において、変換行列の選択は、ブロックがイントラ符号化されるかまたはＩＢＣ符号化されるか等の符号化モード情報に依存してもよい。
ｉ． 一例において、ＩＢＣ符号化された正方形のブロックのために、ＤＳＴ－７が適用される。
ｉｉ． 一例において、ＩＢＣ符号化された非正方形のブロックの場合、短辺に変換スキップを適用してもよい。
ｉｉｉ． 一例において、ＩＢＣ符号化された非正方形のブロックの場合、長辺に変換スキップまたはＤＳＴ－７を適用してもよい。
ｅ． 他の例において、モードＸは、セカンダリ変換であってもよい。
ｆ． 他の例において、モードＸは、ＢＤＰＣＭモードまたは／およびＤＰＣＭモードまたは／およびＲＢＤＰＣＭモードまたは／およびＡＬＷＩＰモードであってもよい。
ｇ． 他の例では、モードＸは、任意の特定の角度イントラ予測モード（例えば、ＤＣ、平面、垂直、水平等）でもよい。
２． １つのブロックがモードＸで符号化されているかどうかに従って、許容される変換のセットを判定してもよい。
ａ． 一例において、モードＸは、ＩＢＣモードであってもよい。
ｂ． 一例において、モードＸは、イントラおよびインター予測（ＣＩＩＰ）複合モードであってもよい。
ｃ． 一例において、ＩＢＣ符号化ブロックのための許容される変換行列のセットは、イントラ符号化ブロックのための変換行列の選択と同じであってもよい。
ｄ． 代替的に、ＩＢＣ符号化ブロックのための許容される変換行列の異なるセットは、イントラ符号化ブロックのためのものと同じであってもよく、例えば、ＩＢＣ符号化ブロックのために、変換スキップ、ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７が許容されてもよい。
ｅ． 他の例において、モードＸは、ＢＤＰＣＭモードまたは／およびＤＰＣＭモードまたは／およびＲＢＤＰＣＭモードまたは／およびＡＬＷＩＰモードであってもよい。
ｆ． 他の例では、モードＸは、任意の特定の角度イントラ予測モード（例えば、ＤＣ、平面、垂直、水平等）でもよい。
ｇ． 他の例において、モードＸは、セカンダリ変換であってもよい。
３． ＭＴＳインデックスを符号化するためのコンテキストモデリングは、符号化モード情報に依存してもよいことが提案される。
ａ． 符号化モード情報は、イントラまたはノンイントラを含んでもよい。
ｉ． 代替的に、符号化モード情報は、イントラまたはインターまたはＩＢＣを含んでもよい。
ｉｉ． 代替的に、符号化モード情報は、インターまたはノンインターを含んでもよい。
ｂ． 代替的に、ＭＴＳインデックスを符号化するためのコンテキストモデリングは、ブロック形状情報に依存してもよい。
ｉ． 一例において、ブロック形状情報は、ブロックが正方形であるかまたは非正方形であるかを含んでもよい。
ｉｉ． 一例において、ブロック形状情報は、幅が高さ以下であるかどうかを含んでもよい。
ｉｉｉ． 一例において、ブロック形状情報は、幅が高さ以上であるか否かを含んでもよい。
ｉｖ． 一例において、ブロック形状情報は、幅と高さの比を含んでもよい。
４． 水平および垂直変換行列インデックスを別個に符号化することが提案される。
ａ． 一例において、変換スキップフラグは、別個に符号化されない。その代わりに、それは水平および垂直変換行列インデックスの１つとして扱われる。
ｉ． 一例において、変換スキップは、一方向（例えば、水平方向または垂直方向）にのみ適用されてもよい。
ｂ． 垂直変換行列インデックスのコンテキストモデリングは、水平変換行列インデックスに依存してもよい。代替的に、水平変換行列インデックスのコンテキストモデリングは、垂直変換行列インデックスに依存してもよい。
ｃ． 一例において、１つのフラグは、まず水平および垂直変換行列が同じであるかどうかを示すように符号化されてもよい。
５． ＩＢＣ符号化ブロックのためのＭＴＳの使用の指示は、シーケンス／ピクチャ／タイルグループ／スライス／ＣＴＵ行／任意の映像データユニットレベルで信号通知されてもよい。
ａ． 一例において、ＩＢＣ符号化ブロックのためにＭＴＳを有効化するかどうか（例えば、１つのフラグ）は、ＳＰＳ／ＰＰＳ／スライスヘッダ／ピクチャヘッダ／タイルグループヘッダ／タイルヘッダ等において信号通知されてもよい。
ｉ． さらに、代替的に、このようなフラグは、ＳＰＳ／ＰＰＳ／スライスヘッダ／ピクチャヘッダ等において明示的なＭＴＳおよびＩＢＣが有効にされているかどうかに基づいて、条件付きで符号化されてもよい。
ｂ． 代替的に、ＩＢＣ符号化ブロックのためにＭＴＳを有効にするかどうか（例えば、１つのフラグ）は、インター符号化ブロックのためにＭＴＳを有効にするかどうかから導出されてもよい。
ｉ． この場合、１つのＳＰＳフラグのみが、ＩＢＣおよびインターＭＴＳ間の両方を制御するように信号通知されてもよい。
ｃ． 一例において、ＩＢＣ符号化ブロックのためのＭＴＳは、常に許容されなくてもよい。
ｄ． 一例において、ＭＴＳの適用の有無および／またはその方法は、非ゼロ符号化係数の数に依存してもよい。
ｅ． 一例において、ＭＴＳの適用の有無および／またはその方法は、非ゼロ符号化係数の絶対値の合計に依存してもよい。
ｆ． 一例において、ＭＴＳの適用の有無および／またはその方法は、非ゼロ係数の最後の位置に依存してもよい。
６． 彩度成分へのＭＴＳの適用の有無および／またはその方法は、カラーフォーマットに依存してもよい。
ａ． 一例において、カラーサブサンプリングフォーマットが４：４：４である場合、彩度成分（またはＢ／Ｒ色成分等の従属成分）のためのＭＴＳを有効化してもよい。
ｂ． 一例において、彩度成分のためのＭＴＳが有効化される場合、色成分の２つの対応するブロックは、強制的に同じ変換行列を適用されてもよい。
ｉ． 選択された変換行列の指示は、１つの色成分における１つのブロックに対して信号通知されてもよく、別の色成分における別のブロックは同じ行列に従う。
ｉｉ． 彩度成分に適用される変換行列は、対応する輝度ブロックまたは主成分（例えば、Ｇ色成分）に使用される変換行列から導出されてもよい。
ｃ． 一例において、彩度成分のためのＭＴＳが有効化される場合、２つの対応する色成分の対応するブロックは、異なる変換行列を使用してもよい。
ｉ． ２つのブロックのために選択された変換行列の指示は、別個に信号通知されてもよい。
１． さらに、代替的に、２色成分間での変換行列インデックスの予測符号化を適用してもよい。
２． さらに、代替的に、１つの色成分と輝度／主成分との間での変換行列インデックスの予測符号化を適用してもよい。
３． 代替的に、１つの色成分の変換行列および／または輝度／主成分を、別の色成分のインデックスを符号化するコンテキストモデリングに利用してもよい。
ｄ． 彩度成分のためのＭＴＳインデックスを信号通知するかどうかは、カラーフォーマットおよび／または別個のプレーン符号化が有効化されているかどうかに依存してもよい。
ｉ． 一例において、それが４：０：０であるおよび／または別個のプレーン符号化が有効化されている場合、彩度成分のためにＭＴＳインデックスを信号通知する必要がない。
７． 暗黙的ＭＴＳに適用される上記方法は、オンザフライで変換行列を導出するＳＢＴにも適用可能でもよい。
８． 彩度成分に対してＩＳＰの適用の有無および／またはその方法は、カラーフォーマットに依存してもよい。
ａ． 一例において、カラーサブサンプリングフォーマットが４：４：４である場合、彩度成分（またはＢ／Ｒ色成分等の従属成分）のためのＩＳＰを有効化してもよい。さらに、代替的に、カラーサブサンプリングフォーマットが４：４：４でない場合、彩度成分（またはＢ／Ｒ色成分等の従属成分）のＩＳＰを無効化してもよい。
ｂ． 彩度成分のためにＩＳＰが有効化されるとき、彩度ブロックのためのＩＳＰおよび／または他の関連情報（例えば、ＩＳＰ分割）の使用の指示が符号化されてもよい。
ｉ． 一例において、それは、ブロック寸法に従って条件付きで符号化されてもよい。
ｉｉ． 一例において、イントラ予測方法に従って、例えば、クロス成分線形モデル予測方法が適用されるかどうかなどの条件付き符号化を行ってもよい。
ｉｉｉ． 一例において、イントラ予測方法に従って、ジョイント彩度残差符号化が適用されるかどうか等の条件付き符号化を行ってもよい。
ｉｖ． 一例において、それは、イントラ予測方向に従って条件付きで符号化されてもよい。
ｖ． 一例において、ＤＭが使用されるかどうか（すなわち、イントラ予測モードが輝度成分から導出されるかどうか）に従って、それを条件付きで符号化してもよい。
ｃ． 彩度成分のためにＩＳＰが有効化されるとき、彩度ブロックのためのＩＳＰおよび／または他の関連情報（例えば、ＩＳＰ分割）の使用の指示は、オンザフライで導出されてもよい。
ｉ． 一例において、それらは、近傍の彩度ブロックの再構成されたサンプル／符号化された情報に従って導出されてもよい。
ｉｉ． 一例において、それらは、同一位置の輝度ブロック内の１つまたは複数の選択ブロックに従って導出されてもよい。
ｉｉｉ． 一例において、それらは、同一位置の輝度ブロックの近傍の情報に従って導出されてもよい。
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。本明細書に開示される技術に基づいてコンテキストモデリングおよび多重変換行列選択を行う方法は、既存のおよび将来の映像符号化規格を共に向上させることができ、以下の様々な実装形態において説明する。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
１． 暗黙的ＭＴＳを適用するかどうか、および／またはどのように適用するか（すなわち、変換インデックスを明示的に信号通知せずに変換行列を選択するかどうか）は、１つのブロックがモードＸで符号化されているかどうか、および／または符号化された残差情報に依存してもよい。
ａ． 一例において、モードＸは、ＩＢＣモードであってもよい。
ｂ． 一例において、１つのブロックがＩＢＣモードで符号化される場合、黙示的ＭＴＳは、自動的に有効化されてもよい。
ｃ． 一例において、ＩＢＣ符号化ブロックのための変換行列の選択は、イントラ符号化ブロックのための変換行列の選択と同じであってもよい。
ｉ． 一例において、正方形のブロックのために、ＤＣＴ－２が適用される。
ｉｉ． 一例において、非正方形のブロックの場合、短辺にＤＳＴ－７が適用され、長辺にＤＣＴ－２が適用される。
ｄ． 一例において、変換行列の選択は、ブロックがイントラ符号化されるかまたはＩＢＣ符号化されるか等の符号化モード情報に依存してもよい。
ｉ． 一例において、ＩＢＣ符号化された正方形のブロックのために、ＤＳＴ－７が適用される。
ｉｉ． 一例において、ＩＢＣ符号化された非正方形のブロックの場合、短辺に変換スキップを適用してもよい。
ｉｉｉ． 一例において、ＩＢＣ符号化された非正方形のブロックの場合、長辺に変換スキップまたはＤＳＴ－７を適用してもよい。
ｅ． 他の例において、モードＸは、セカンダリ変換であってもよい。
ｆ． 他の例において、モードＸは、ＢＤＰＣＭモードまたは／およびＤＰＣＭモードまたは／およびＲＢＤＰＣＭモードまたは／およびＡＬＷＩＰモードであってもよい。
ｇ． 他の例では、モードＸは、任意の特定の角度イントラ予測モード（例えば、ＤＣ、平面、垂直、水平等）でもよい。
２． １つのブロックがモードＸで符号化されているかどうかに従って、許容される変換のセットを判定してもよい。
ａ． 一例において、モードＸは、ＩＢＣモードであってもよい。
ｂ． 一例において、モードＸは、イントラおよびインター予測（ＣＩＩＰ）複合モードであってもよい。
ｃ． 一例において、ＩＢＣ符号化ブロックのための許容される変換行列のセットは、イントラ符号化ブロックのための変換行列の選択と同じであってもよい。
ｄ． 代替的に、ＩＢＣ符号化ブロックのための許容される変換行列の異なるセットは、イントラ符号化ブロックのためのものと同じであってもよく、例えば、ＩＢＣ符号化ブロックのために、変換スキップ、ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７が許容されてもよい。
ｅ． 他の例において、モードＸは、ＢＤＰＣＭモードまたは／およびＤＰＣＭモードまたは／およびＲＢＤＰＣＭモードまたは／およびＡＬＷＩＰモードであってもよい。
ｆ． 他の例では、モードＸは、任意の特定の角度イントラ予測モード（例えば、ＤＣ、平面、垂直、水平等）でもよい。
ｇ． 他の例において、モードＸは、セカンダリ変換であってもよい。
３． ＭＴＳインデックスを符号化するためのコンテキストモデリングは、符号化モード情報に依存してもよいことが提案される。
ａ． 符号化モード情報は、イントラまたはノンイントラを含んでもよい。
ｉ． 代替的に、符号化モード情報は、イントラまたはインターまたはＩＢＣを含んでもよい。
ｉｉ． 代替的に、符号化モード情報は、インターまたはノンインターを含んでもよい。
ｂ． 代替的に、ＭＴＳインデックスを符号化するためのコンテキストモデリングは、ブロック形状情報に依存してもよい。
ｉ． 一例において、ブロック形状情報は、ブロックが正方形であるかまたは非正方形であるかを含んでもよい。
ｉｉ． 一例において、ブロック形状情報は、幅が高さ以下であるかどうかを含んでもよい。
ｉｉｉ． 一例において、ブロック形状情報は、幅が高さ以上であるか否かを含んでもよい。
ｉｖ． 一例において、ブロック形状情報は、幅と高さの比を含んでもよい。
４． 水平および垂直変換行列インデックスを別個に符号化することが提案される。
ａ． 一例において、変換スキップフラグは、別個に符号化されない。その代わりに、それは水平および垂直変換行列インデックスの１つとして扱われる。
ｉ． 一例において、変換スキップは、一方向（例えば、水平方向または垂直方向）にのみ適用されてもよい。
ｂ． 垂直変換行列インデックスのコンテキストモデリングは、水平変換行列インデックスに依存してもよい。代替的に、水平変換行列インデックスのコンテキストモデリングは、垂直変換行列インデックスに依存してもよい。
ｃ． 一例において、１つのフラグは、まず水平および垂直変換行列が同じであるかどうかを示すように符号化されてもよい。
５． ＩＢＣ符号化ブロックのためのＭＴＳの使用の指示は、シーケンス／ピクチャ／タイルグループ／スライス／ＣＴＵ行／任意の映像データユニットレベルで信号通知されてもよい。
ａ． 一例において、ＩＢＣ符号化ブロックのためにＭＴＳを有効化するかどうか（例えば、１つのフラグ）は、ＳＰＳ／ＰＰＳ／スライスヘッダ／ピクチャヘッダ／タイルグループヘッダ／タイルヘッダ等において信号通知されてもよい。
ｉ． さらに、代替的に、このようなフラグは、ＳＰＳ／ＰＰＳ／スライスヘッダ／ピクチャヘッダ等において明示的なＭＴＳおよびＩＢＣが有効にされているかどうかに基づいて、条件付きで符号化されてもよい。
ｂ． 代替的に、ＩＢＣ符号化ブロックのためにＭＴＳを有効にするかどうか（例えば、１つのフラグ）は、インター符号化ブロックのためにＭＴＳを有効にするかどうかから導出されてもよい。
ｉ． この場合、１つのＳＰＳフラグのみが、ＩＢＣおよびインターＭＴＳ間の両方を制御するように信号通知されてもよい。
ｃ． 一例において、ＩＢＣ符号化ブロックのためのＭＴＳは、常に許容されなくてもよい。
ｄ． 一例において、ＭＴＳの適用の有無および／またはその方法は、非ゼロ符号化係数の数に依存してもよい。
ｅ． 一例において、ＭＴＳの適用の有無および／またはその方法は、非ゼロ符号化係数の絶対値の合計に依存してもよい。
ｆ． 一例において、ＭＴＳの適用の有無および／またはその方法は、非ゼロ係数の最後の位置に依存してもよい。
６． 彩度成分へのＭＴＳの適用の有無および／またはその方法は、カラーフォーマットに依存してもよい。
ａ． 一例において、カラーサブサンプリングフォーマットが４：４：４である場合、彩度成分（またはＢ／Ｒ色成分等の従属成分）のためのＭＴＳを有効化してもよい。
ｂ． 一例において、彩度成分のためのＭＴＳが有効化される場合、色成分の２つの対応するブロックは、強制的に同じ変換行列を適用されてもよい。
ｉ． 選択された変換行列の指示は、１つの色成分における１つのブロックに対して信号通知されてもよく、別の色成分における別のブロックは同じ行列に従う。
ｉｉ． 彩度成分に適用される変換行列は、対応する輝度ブロックまたは主成分（例えば、Ｇ色成分）に使用される変換行列から導出されてもよい。
ｃ． 一例において、彩度成分のためのＭＴＳが有効化される場合、２つの対応する色成分の対応するブロックは、異なる変換行列を使用してもよい。
ｉ． ２つのブロックのために選択された変換行列の指示は、別個に信号通知されてもよい。
１． さらに、代替的に、２色成分間での変換行列インデックスの予測符号化を適用してもよい。
２． さらに、代替的に、１つの色成分と輝度／主成分との間での変換行列インデックスの予測符号化を適用してもよい。
３． 代替的に、１つの色成分の変換行列および／または輝度／主成分を、別の色成分のインデックスを符号化するコンテキストモデリングに利用してもよい。
ｄ． 彩度成分のためのＭＴＳインデックスを信号通知するかどうかは、カラーフォーマットおよび／または別個のプレーン符号化が有効化されているかどうかに依存してもよい。
ｉ． 一例において、それが４：０：０であるおよび／または別個のプレーン符号化が有効化されている場合、彩度成分のためにＭＴＳインデックスを信号通知する必要がない。
７． 暗黙的ＭＴＳに適用される上記方法は、オンザフライで変換行列を導出するＳＢＴにも適用可能でもよい。
８． 彩度成分に対してＩＳＰの適用の有無および／またはその方法は、カラーフォーマットに依存してもよい。
ａ． 一例において、カラーサブサンプリングフォーマットが４：４：４である場合、彩度成分（またはＢ／Ｒ色成分等の従属成分）のためのＩＳＰを有効化してもよい。さらに、代替的に、カラーサブサンプリングフォーマットが４：４：４でない場合、彩度成分（またはＢ／Ｒ色成分等の従属成分）のＩＳＰを無効化してもよい。
ｂ． 彩度成分のためにＩＳＰが有効化されるとき、彩度ブロックのためのＩＳＰおよび／または他の関連情報（例えば、ＩＳＰ分割）の使用の指示が符号化されてもよい。
ｉ． 一例において、それは、ブロック寸法に従って条件付きで符号化されてもよい。
ｉｉ． 一例において、イントラ予測方法に従って、例えば、クロス成分線形モデル予測方法が適用されるかどうかなどの条件付き符号化を行ってもよい。
ｉｉｉ． 一例において、イントラ予測方法に従って、ジョイント彩度残差符号化が適用されるかどうか等の条件付き符号化を行ってもよい。
ｉｖ． 一例において、それは、イントラ予測方向に従って条件付きで符号化されてもよい。
ｖ． 一例において、ＤＭが使用されるかどうか（すなわち、イントラ予測モードが輝度成分から導出されるかどうか）に従って、それを条件付きで符号化してもよい。
ｃ． 彩度成分のためにＩＳＰが有効化されるとき、彩度ブロックのためのＩＳＰおよび／または他の関連情報（例えば、ＩＳＰ分割）の使用の指示は、オンザフライで導出されてもよい。
ｉ． 一例において、それらは、近傍の彩度ブロックの再構成されたサンプル／符号化された情報に従って導出されてもよい。
ｉｉ． 一例において、それらは、同一位置の輝度ブロック内の１つまたは複数の選択ブロックに従って導出されてもよい。
ｉｉｉ． 一例において、それらは、同一位置の輝度ブロックの近傍の情報に従って導出されてもよい。
【0106】
上述した例は、例えば、方法８１０、８２０、８３０、８４０、８５０、８６０、８７０、８８０、８９０に記載される方法のコンテキストに援用されてもよく、これらの方法は、映像デコーダまたは映像エンコーダにおいて実装されてもよい。
【0107】
図８Ａは、例示的な映像処理方法のフローチャートを示す。方法８１０は、ステップ８１２において、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示がビットストリーム表現から排除されると判定することを含み、現在の映像ブロックは、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される。
【0108】
方法８１０は、ステップ８１４において、変換を行うことを含む。いくつかの実施形態において、指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニットまたは映像データユニット中にあり、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0109】
図８Ｂは、例示的な映像処理方法のフローチャートを示す。方法８２０は、ステップ８２２において、映像の現在の映像ブロックの符号化モードに基づいて、多重変換選択（ＭＴＳ）演算の選択的適用に関して決定することを含む。
【0110】
方法８２０は、ステップ８２４において、決定に基づいて、現在の映像ブロックと映像のビットストリーム表現との間で変換を行うことを含む。いくつかの実施形態において、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0111】
図８Ｃは、例示的な映像処理方法のフローチャートを示す。方法８３０は、ステップ８３２において、現在の映像ブロックの特徴に基づいて、多重変換選択（ＭＴＳ）演算の少なくとも１つのインデックスにおける符号化用のコンテキストモデルを構成することを含む。
【0112】
方法８３０は、ステップ８３４において、構成することに基づいて、現在の映像ブロックと、現在の映像ブロックを構成する映像のビットストリーム表現との間で変換を行うことを含む。いくつかの実施形態において、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0113】
図８Ｄは、例示的な映像処理方法のフローチャートを示す。方法８４０は、ステップ８４２において、現在の映像ブロックと現在の映像ブロックを含む映像のビットストリーム表現との間での変換中、多重変換選択（ＭＴＳ）演算を含む変換を判定することを含む。
【0114】
方法８４０は、ステップ８４４において、判定することに基づいて、ＭＴＳ演算の行列の１つ以上の水平インデックスおよび１つ以上の垂直インデックスを別個に符号化することを含む。いくつかの実施形態において、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0115】
図８Ｅは、例示的な映像処理方法のフローチャートを示す。方法８５０は、ステップ８５２において、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示を、イントラブロックコピー（ＩＢＣ）モードを使用して符号化されるように構成することを含む。
【0116】
方法８５０は、ステップ８５４において、変換を行うことを含む。いくつかの実施形態において、指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、または映像データユニット中にあり、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0117】
図８Ｆは、例示的な映像処理方法のフローチャートを示す。方法８６０は、ステップ８６２において、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、現在の映像ブロックに対し、多重変換選択（ＭＴＳ）演算における変換タイプの指示がビットストリーム表現から排除されるかどうかを判定することを含む。
【0118】
方法８６０は、ステップ８６４において、変換を行うことを含む。いくつかの実施形態において、指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニットまたは映像データユニット中にあり、判定することは、非ゼロ符号化係数の最終位置に基づいて、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0119】
図８Ｇは、例示的な映像処理方法のフローチャートを示す。方法８７０は、ステップ８７２において、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、現在の映像ブロックの彩度成分に対して多重変換選択（ＭＴＳ）演算を使用する指示を構成することを含む。
【0120】
方法８７０は、ステップ８７４において、変換を行うことを含む。いくつかの実施形態において、構成することは、現在の映像ブロックのカラーフォーマットに基づいており、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む。
【0121】
図８Ｈは、例示的な映像処理方法のフローチャートを示す。方法８８０は、ステップ８８２において、映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、現在の映像ブロックに対してサブブロック変換（ＳＢＴ）演算が適用されると判定することを含む。
【0122】
方法８８０は、ステップ８８４において、多重変換選択（ＭＴＳ）演算を使用して変換を行うことを含む。いくつかの実施形態において、ＳＢＴ演算は位置依存変換演算を含み、ＭＴＳ演算は、変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義された変換候補からの変換を使用することを含む。
【0123】
図８Ｉは、例示的な映像処理方法のフローチャートを示す。方法８９０は、ステップ８９２において、映像の現在の映像ブロックのカラーフォーマットに基づいて、現在の映像ブロックの彩度成分に対してイントラサブブロック分割（ＩＳＰ）動作の選択的適用に関して決定することを含む。
【0124】
方法８９０は、ステップ８９４において、決定に基づいて、現在の映像ブロックと映像のビットストリーム表現との間で変換を行うことを含む。いくつかの実施形態において、ＩＳＰ演算は、ブロックを、少なくとも所定の数のサンプルを有するサブパーティションに垂直または水平に分割することを含む。
【0125】
５ 開示される技術の例示的な実装形態
図９は、映像処理装置９００のブロック図である。装置９００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置９００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置９００は、１つ以上の処理装置９０２と、１つ以上のメモリ９０４と、映像処理ハードウェア９０６と、を含んでもよい。１つまたは複数の処理装置９０２は、本明細書に記載される１つ以上の方法（方法８００、８１０、８２０、８３０および８４０を含むが、これに限定されない）を実装するように構成されてもよい。メモリ（複数可）９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図９は、映像処理装置９００のブロック図である。装置９００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置９００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置９００は、１つ以上の処理装置９０２と、１つ以上のメモリ９０４と、映像処理ハードウェア９０６と、を含んでもよい。１つまたは複数の処理装置９０２は、本明細書に記載される１つ以上の方法（方法８００、８１０、８２０、８３０および８４０を含むが、これに限定されない）を実装するように構成されてもよい。メモリ（複数可）９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0126】
いくつかの実施形態において、映像符号化法は、図９を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施してもよい。
【0127】
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
【0128】
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
【0129】
図１０は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１０００を示すブロック図である。様々な実装形態は、システム１０００のモジュールの一部又は全部を含んでもよい。システム１０００は、映像コンテンツを受信するための入力ユニット１００２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１００２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。
【0130】
システム１０００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール１００４を含んでもよい。符号化モジュール１００４は、入力ユニット１００２からの映像の平均ビットレートを符号化モジュール１００４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール１００４の出力は、モジュール１００６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１００２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール１００８によって使用されて、表示インターフェースユニット１０１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を“符号化”動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。
【0131】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ）（登録商標）またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
【0132】
以下の実施形態において、太二重丸括弧を使用して追加を示す。例えば、｛｛ａ｝｝は、“ａ”が追加されたことを示し、また、削除は、太二重大括弧を使用して示し、例えば、［［ｂ］］は、“ｂ”が削除されたことを示す。
【0133】
５．１ 実施形態＃１
この章では、ＩＢＣおよびインター符号化ブロックのためのＭＴＳの別個の制御の例を示す。
７．３．２．３ シーケンスパラメータセットＲＢＳＰ構文
この章では、ＩＢＣおよびインター符号化ブロックのためのＭＴＳの別個の制御の例を示す。
７．３．２．３ シーケンスパラメータセットＲＢＳＰ構文
【0134】
【表23】
【0135】
代替的に、条件付き信号通知を利用してもよい。
【0136】
【表24】
【0137】
７．３．７．１０ 変換ユニット構文
【0138】
【表25】
【0139】
【表26】
【0140】
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
｛｛ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、ＩＢＣ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、ＩＢＣ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。｝｝
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
｛｛ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、ＩＢＣ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、ＩＢＣ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。｝｝
【0141】
５．２ 実施形態＃２
この章は、ＩＢＣおよびインター符号化ブロックのためのＭＴＳのジョイント制御の例を示す。
この章は、ＩＢＣおよびインター符号化ブロックのためのＭＴＳのジョイント制御の例を示す。
【0142】
現在の構文設計は修正されないままであるが、意味論は以下のように変更される。
【0143】
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、イントラ符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
【0144】
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、｛｛ｎｏｎ－ｉｎｔｒａ｝｝［［ｉｎｔｅｒ］］符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットのインター変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
【0145】
代替的に、意味論は、以下のように修正されてもよい。
【0146】
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、インター｛｛ａｎｄ ＩＢＣ｝｝符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在する可能性があることを示す。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０の場合、インター符号化ユニットの変換ユニット構文にｔｕ＿ｍｔｓ＿ｉｄｘが存在しないことを示す。存在しない場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０と推測される。
【0147】
いくつかの実施形態において、次の技術的解決策を実装してもよい。
【0148】
Ａ１．映像の現在の映像ブロックと映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示が前記ビットストリーム表現から排除されると判定することであって、前記現在の映像ブロックは、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される、判定することと、前記変換を行うことと、を含み、前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニット、または映像データユニット中にあり、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0149】
Ａ２．映像の現在の映像ブロックの符号化モードに基づいて、多重変換選択（ＭＴＳ）演算の選択的適用に関して決定することと、決定することに基づいて、前記現在の映像ブロックと前記映像のビットストリーム表現との間で変換を行うこととを含み、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0150】
Ａ３．前記ＭＴＳ演算は暗黙的ＭＴＳ演算であり、前記ＭＴＳ演算の変換インデックスは前記ビットストリーム表現から除外される、解決策Ａ２に記載の方法。
【0151】
Ａ４．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、解決策Ａ２またはＡ３に記載の方法。
【0152】
Ａ５．前記ＭＴＳ演算は、前記符号化モードがイントラブロックコピーモードまたはイントラモードである場合にも同様に適用される、解決策Ａ２またはＡ３に記載の方法。
【0153】
Ａ６．前記現在の映像ブロックが正方形のブロックであり、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）が適用される、解決策Ａ５に記載の方法。
【0154】
Ａ７．前記現在の映像ブロックが非正方形のブロックであり、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）が前記現在の映像ブロックの長辺に適用され、ＤＣＴ－ＶＩＩが前記現在の映像ブロックの短辺に適用される、解決策Ａ５に記載の方法。
【0155】
Ａ８．前記符号化モードは、イントラブロック（ＩＢＣ）コピーモードであり、前記現在の映像ブロックは、正方形のブロックであり、離散コサイン変換タイプＶＩＩ（ＤＣＴ－ＶＩＩ）が適用される、解決策Ａ２またはＡ３に記載の方法。
【0156】
Ａ９．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、前記現在の映像ブロックは非正方形のブロックであり、前記現在の映像ブロックの短辺に変換スキップを適用する、解決策Ａ２またはＡ３に記載の方法。
【0157】
Ａ１０．前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、解決策Ａ２またはＡ３に記載の方法。
【0158】
Ａ１１．前記符号化モードは、角度イントラ予測モードである、解決策Ａ２またはＡ３に記載の方法。
【0159】
Ａ１２．前記ビットストリーム表現は、現在の映像ブロックの符号化モードに基づいて判定される、許容される変換のセットの指示を含む、解決策Ａ２に記載の方法。
【0160】
Ａ１３．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、解決策Ａ１２に記載の方法。
【0161】
Ａ１４．前記符号化モードは、イントラおよびインター予測（ＣＩＩＰ）複合モードである、解決策Ａ１２に記載の方法。
【0162】
Ａ１５．前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、解決策Ａ１２に記載の方法。
【0163】
Ａ１６．前記符号化モードは、角度イントラ予測モードである、解決策Ａ１２に記載の方法。
【0164】
Ａ１７．この方法は、現在の映像ブロックの特徴に基づいて、多重変換選択（ＭＴＳ）演算の少なくとも１つのインデックスにおける符号化用のコンテキストモデルを構成することと、この構成することに基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含み、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0165】
Ａ１８．前記特徴は、前記現在の映像ブロックの符号化モードを含む、解決策Ａ１７に記載の方法。
【0166】
Ａ１９．前記符号化モードは、イントラ符号化モード、またはインター符号化モード、またはインターブロックコピー（ＩＢＣ）を含む、解決策Ａ１８に記載の方法。
【0167】
Ａ２０．前記符号化モードは、インター符号化モードまたは非インター符号化モードを含む、解決策Ａ１８に記載の方法。
【0168】
Ａ２１．前記特徴は、前記現在の映像ブロックに関連付けられた形状情報を含む、解決策Ａ１７に記載の方法。
【0169】
Ａ２２．前記形状情報は、前記現在の映像ブロックが正方形または非正方形であることを含む、解決策Ａ２１に記載の方法。
【0170】
Ａ２３．前記形状情報は、前記現在の映像ブロックの幅が前記現在の映像ブロックの高さよりも小さい、解決策Ａ２１に記載の方法。
【0171】
Ａ２４．前記形状情報は、前記現在の映像ブロックの幅が前記現在の映像ブロックの高さよりも大きい、解決策Ａ２１に記載の方法。
【0172】
Ａ２５．前記形状情報は、前記現在の映像ブロックの幅と前記現在の映像ブロックの高さとの比を含む、解決策Ａ２１に記載の方法。
【0173】
Ａ２６．現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間での変換中、多重変換選択（ＭＴＳ）演算を含む変換を判定することと、前記判定することに基づいて、前記ＭＴＳ演算の行列の１つ以上の水平インデックスおよび１つ以上の垂直インデックスを別個に符号化することと、を含み、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0174】
Ａ２７．前記１つ以上の水平方向インデックスおよび／または前記１つ以上の垂直方向インデックスは、変換スキップ動作を含む、解決策Ａ２６に記載の方法。
【0175】
Ａ２８．前記１つ以上の水平方向インデックスのためのコンテキストモデルは、前記１つ以上の垂直方向インデックスに基づく、解決策Ａ２６に記載の方法。
【0176】
Ａ２９．前記１つ以上の垂直インデックスのためのコンテキストモデルは、前記１つ以上の水平インデックスに基づく、解決策Ａ２６に記載の方法。
【0177】
Ａ３０．映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、イントラブロックコピー（ＩＢＣ）モードを使用して符号化される現在の映像ブロックに多重変換選択（ＭＴＳ）演算の変換タイプの指示を構成することと、前記変換を行うことと、を含み、前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、または映像データユニット中にあり、ＭＴＳ演算は、前記変換中に現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0178】
Ａ３１．前記指示は、前記ＳＰＳ、前記ＰＰＳ、前記タイルグループヘッダ、前記スライスヘッダ、前記ピクチャヘッダ、前記タイルヘッダ、前記ＣＴＵ行、または前記映像データユニットにおいて、前記ＭＴＳ演算および前記ＩＢＣモードが明示的に符号化されているかどうかに基づいて、前記ビットストリーム表現により条件付きで符号化される、解決策Ａ３０に記載の方法。
【0179】
Ａ３２．前記指示は、前記ＭＴＳ演算がインター符号化映像ブロックに対して有効化されているかどうかに基づいて、前記ビットストリーム表現において条件付きで符号化される、解決策Ａ３０に記載の方法。
【0180】
Ａ３３．前記ＳＰＳは前記指示を含み、前記指示は、インターコードされた映像ブロックのために前記ＭＴＳ演算を使用することをさらに構成する、解決策Ａ３０に記載の方法。
【0181】
Ａ３４．前記指示は、非ゼロ符号化係数の数に基づく、解決策Ａ３０に記載の方法。
【0182】
Ａ３５．前記指示は、非ゼロ符号化係数の絶対値の合計に基づく、解決策Ａ３０に記載の方法。
【0183】
Ａ３６．前記変換は、前記ビットストリーム表現から現在のブロックを生成する、解決策Ａ１～Ａ３５のいずれかに記載の方法。
【0184】
Ａ３７．前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、解決策Ａ１～Ａ３５のいずれかに記載の方法。
【0185】
Ａ３８．処理装置と、命令を記憶する非一時的メモリとを備える装置であって、前記処理装置による実行時に、前記命令は、前記処理装置に解決策Ａ１～Ａ３７のいずれかに記載の方法を実施させる映像システムの装置。
【0186】
Ａ３９．非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、解決策Ａ１～Ａ３７のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0187】
いくつかの実施形態において、次の技術的解決策を実装してもよい。
【0188】
Ｂ１．映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、多重変換選択（ＭＴＳ）演算における変換タイプの指示が現在の映像ブロックに対し、前記ビットストリーム表現から排除されるかどうかを判定することと、前記変換を行うことと、を含み、前記指示は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行、符号化ユニット、または映像データユニット中にあり、前記判定することは、非ゼロ符号化係数の最終位置に基づき、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0189】
Ｂ２．映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、前記現在の映像ブロックの彩度成分に対して多重変換選択（ＭＴＳ）演算を使用する指示を構成することと、前記変換を行うことと、を含み、前記構成することは、前記現在の映像ブロックのカラーフォーマットに基づいており、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測誤差を変換するために、予め定義された複数の変換候補からの変換を使用することを含む、映像処理方法。
【0190】
Ｂ３．前記カラーフォーマットが４：４：４であると判定された場合、前記ＭＴＳ演算を前記彩度成分に適用する、解決策Ｂ２に記載の方法。
【0191】
Ｂ４．前記ＭＴＳ演算は前記彩度成分に適用され、１つの色成分の２つのブロックは同一の変換行列を使用する、解決策Ｂ２に記載の方法。
【0192】
Ｂ５．前記ＭＴＳ演算は前記彩度成分に適用され、１つの色成分の２つのブロックは異なる変換行列を使用する、解決策Ｂ２に記載の方法。
【0193】
Ｂ６．前記ビットストリーム表現に前記指示を含めることは、カラーフォーマットまたは別個のプレーン符号化の使用に基づく、解決策Ｂ２に記載の方法。
【0194】
Ｂ７．映像の現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、現在の映像ブロックに対して適用されるサブブロック変換（ＳＢＴ）演算を判定することと、多重変換選択（ＭＴＳ）演算を使用することによって変換を行うこととを含み、前記ＳＢＴ演算は、位置依存変換演算を含み、前記ＭＴＳ演算は、前記変換中に前記現在の映像ブロックの予測エラーを変換するために、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0195】
Ｂ８．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、解決策Ｂ７に記載の方法。
【0196】
Ｂ９．前記ＳＢＴ演算は、符号化モードがイントラブロックコピーモードまたはイントラモードである場合にも同様に適用される、解決策７に記載の方法。
【0197】
Ｂ１０．前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、解決策Ｂ７に記載の方法。
【0198】
Ｂ１１．前記符号化モードは、角度イントラ予測モードである、解決策Ｂ７に記載の方法。
【0199】
Ｂ１２．映像の現在の映像ブロックのカラーフォーマットに基づいて、前記現在の映像ブロックの彩度成分へのイントラサブブロック分割（ＩＳＰ）演算の選択的適用に関して決定することと、前記決定に基づいて、前記現在の映像ブロックと前記映像のビットストリーム表現との間で変換を行うことと、前記ＩＳＰ演算は、ブロックを、少なくとも所定の数のサンプルを有するサブパーティションに、垂直または水平に分割することを含む、映像処理方法。
【0200】
Ｂ１３．前記ＩＳＰ演算が彩度成分に適用され、前記カラーフォーマットが４：４：４である、解決策Ｂ１２に記載の方法。
【0201】
Ｂ１４．前記ＩＳＰ演算を前記彩度成分に適用し、前記ＩＳＰ演算の構成は、（ｉ）現在の映像ブロックの高さまたは幅、（ｉｉ）現在の映像ブロックにクロスコンポーネント線形モデル（ＣＣＬＭ）予測方法を適用するかどうか、（ｉｉｉ）現在の映像ブロックにジョイント彩度残差符号化を適用するかどうか、（ｉｖ）イントラ予測方向、または（ｖ）現在の映像ブロックの輝度成分からイントラ予測モードを導出するかどうか、のうちの１つ以上に基づく、解決策Ｂ１２に記載の方法。
【0202】
Ｂ１５．前記ＩＳＰ演算は前記彩度成分に適用され、前記ＩＳＰ演算の構成は、１つ以上の近傍のブロックの彩度成分の再構成サンプルまたは符号化された情報に基づく、解決策Ｂ１２に記載の方法。
【0203】
Ｂ１６．前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、解決策Ｂ１１～Ｂ１５のいずれかに記載の方法。
【0204】
Ｂ１７．前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成する、解決策Ｂ１１～Ｂ１５のいずれかに記載の方法。
【0205】
Ｂ１８．処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、解決策Ｂ１～Ｂ１７のいずれかに記載の方法を実施させる映像システムの装置。
【0206】
Ｂ１９．非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、解決策Ｂ１～Ｂ１７のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0207】
いくつかの実施形態において、次の技術的解決策を実装してもよい。
【0208】
Ｃ１．現在の映像ブロックの符号化モードに基づいて、多重変換選択（ＭＴＳ）演算の選択的適用に関して決定することと、決定に基づいて、現在の映像ブロックと現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含み、ＭＴＳ演算は、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0209】
Ｃ２．前記ＭＴＳ演算は、前記ＭＴＳ演算における１つ以上の変換インデックスの暗黙的信号通知を含む、解決策Ｃ１に記載の方法。
【0210】
Ｃ３．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、解決策Ｃ２に記載の方法。
【0211】
Ｃ４．前記ＭＴＳ演算は、前記符号化モードがイントラブロックコピーモードまたはイントラモードである場合にも同様に適用される、解決策Ｃ２に記載の方法。
【0212】
Ｃ５．現在の映像ブロックが正方形のブロックであり、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）が適用される、解決策Ｃ４に記載の方法。
【0213】
Ｃ６．現在の映像ブロックが非正方形のブロックであり、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）が現在の映像ブロックの長辺に適用され、ＤＣＴ－ＶＩＩが現在の映像ブロックの短辺に適用される、解決策Ｃ４に記載の方法。
【0214】
Ｃ７．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、現在の映像ブロックは正方形のブロックであり、離散コサイン変換タイプＶＩＩ（ＤＣＴ－ＶＩＩ）が適用される、解決策Ｃ２に記載の方法。
【0215】
Ｃ８．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、現在の映像ブロックは非正方形のブロックであり、現在の映像ブロックの短辺に変換スキップを適用する、解決策Ｃ２に記載の方法。
【0216】
Ｃ９．前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、解決策Ｃ２に記載の方法。
【0217】
Ｃ１０．前記符号化モードは、角度イントラ予測モードである、解決策Ｃ２に記載の方法。
【0218】
Ｃ１１．前記ＭＴＳ演算は、現在の映像ブロックの符号化モードに基づいて判定される、許容される変換のセットを含む、解決策Ｃ１に記載の方法。
【0219】
Ｃ１２．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、解決策Ｃ１１に記載の方法。
【0220】
Ｃ１３．前記符号化モードは、イントラおよびインター予測（ＣＩＩＰ）複合モードである、解決策Ｃ１１に記載の方法。
【0221】
Ｃ１４．前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、解決策Ｃ１１に記載の方法。
【0222】
Ｃ１５．前記符号化モードは、角度イントラ予測モードである、解決策Ｃ１１に記載の方法。
【0223】
Ｃ１６．この方法は、現在の映像ブロックの特徴に基づいて、多重変換選択（ＭＴＳ）演算のインデックスにおける符号化用のコンテキストモデルを構成することと、構成することに基づいて、現在の映像ブロックと現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含み、ＭＴＳ演算は、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0224】
Ｃ１７．前記特徴は、現在の映像ブロックの符号化モード情報を含む、解決策Ｃ１６に記載の方法。
【0225】
Ｃ１８．前記符号化モード情報は、イントラブロックコピー、インターブロックコピー、またはインターブロックコピー（ＩＢＣ）を含む、解決策Ｃ１７に記載の方法。
【0226】
Ｃ１９．前記符号化モード情報は、インターまたはノンインターを含む、解決策Ｃ１７に記載の方法。
【0227】
Ｃ２０．前記特徴は、現在の映像ブロックの形状情報を含む、解決策Ｃ１６に記載の方法。
【0228】
Ｃ２１．前記形状情報は、現在の映像ブロックが正方形であるかまたは非正方形であるかを含む、解決策Ｃ２０に記載の方法。
【0229】
Ｃ２２．前記形状情報は、現在の映像ブロックの幅が現在の映像ブロックの高さよりも小さいかどうかを含む、解決策Ｃ２０に記載の方法。
【0230】
Ｃ２３．前記形状情報は、現在の映像ブロックの幅が現在の映像ブロックの高さよりも大きいかどうかを含む、解決策Ｃ２０に記載の方法。
【0231】
Ｃ２４．前記形状情報は、前記現在の映像ブロックの幅と前記現在の映像ブロックの高さとの比を含む、解決策Ｃ２０に記載の方法。
【0232】
Ｃ２５．現在の映像ブロックと現在の映像ブロックを含む映像のビットストリーム表現との間での変換中、多重変換選択（ＭＴＳ）演算を含む変換を判定することと、ＭＴＳ演算の行列の１つ以上の水平インデックスおよび１つ以上の垂直インデックスを別個に符号化することと、を含み、ＭＴＳ演算は、複数の予め定義した変換候補からの変換を使用することを含む、映像処理方法。
【0233】
Ｃ２６．前記１つ以上の水平インデックスまたは前記１つ以上の垂直インデックスは、変換スキップフラグを含む、解決策Ｃ２５に記載の方法。
【0234】
Ｃ２７．前記１つ以上の水平インデックスのためのコンテキストモデルは、前記１つ以上の垂直インデックスに基づく、解決策Ｃ２５に記載の方法。
【0235】
Ｃ２８．前記１つ以上の垂直インデックスのためのコンテキストモデルは、前記１つ以上の水平インデックスに基づく、解決策Ｃ２５に記載の方法。
【0236】
Ｃ２９．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、前記決定は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、符号化ツリーユニット（ＣＴＵ）行または映像データユニットにおける信号通知に基づく、解決策Ｃ１に記載の方法。
【0237】
Ｃ３０．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、前記決定は、非ゼロ符号化係数の数に基づく、解決策Ｃ１に記載の方法。
【0238】
Ｃ３１．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、前記決定は、非ゼロ符号化係数の絶対値の合計に基づく、解決策Ｃ１に記載の方法。
【0239】
Ｃ３２．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードであり、前記決定は、非ゼロ符号化係数の最後の位置に基づく、解決策Ｃ１に記載の方法。
【0240】
Ｃ３３．前記ＭＴＳ演算の前記選択的適用は、現在の映像ブロックの彩度成分への選択的適用を含み、前記決定は、現在の映像ブロックのカラーフォーマットに基づく、解決策Ｃ１に記載の方法。
【0241】
Ｃ３４．前記ＭＴＳ演算が彩度成分に適用され、カラーフォーマットが４：４：４である、解決策Ｃ３３に記載の方法。
【0242】
Ｃ３５．前記ＭＴＳ演算は前記彩度成分に適用され、１つの色成分の２つのブロックは同一の変換行列を使用する、解決策Ｃ３３に記載の方法。
【0243】
Ｃ３６．前記ＭＴＳ演算は前記彩度成分に適用され、１つの色成分の２つのブロックは異なる変換行列を使用する、解決策Ｃ３３に記載の方法。
【0244】
Ｃ３７．現在の映像ブロックのカラーフォーマットに基づいて、彩度成分のためのＭＴＳ演算のインデックスを信号通知することに関して決定を行うことをさらに含む、解決策Ｃ３３に記載の方法。
【0245】
Ｃ３８．現在の映像ブロックの符号化モードに基づいて、サブブロック変換（ＳＢＴ）演算の選択的適用に関して決定することと、前記決定に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含み、前記ＳＢＴ演算は、前記現在の映像ブロックに関連付けられた輝度変換ブロック上の位置依存変換を使用することを含む、映像処理方法。
【0246】
Ｃ３９．前記符号化モードは、イントラブロックコピー（ＩＢＣ）モードである、解決策Ｃ３８に記載の方法。
【0247】
Ｃ４０．前記ＳＢＴ演算は、符号化モードがイントラブロックコピーモードまたはイントラモードである場合にも同様に適用される、解決策Ｃ３８に記載の方法。
【0248】
Ｃ４１．前記符号化モードは、ブロック差分パルス符号変調（ＢＤＰＣＭ）モード、ＤＰＣＭモード、残差ＢＤＰＣＭ（ＲＢＤＰＣＭ）モード、またはアフィン線形重み付けイントラ予測（ＡＬＷＩＰ）モードである、解決策Ｃ３８に記載の方法。
【0249】
Ｃ４２．前記符号化モードは、角度イントラ予測モードである、解決策Ｃ３８に記載の方法。
【0250】
Ｃ４３．現在の映像ブロックのカラーフォーマットに基づいて、前記現在の映像ブロックの彩度成分へのイントラサブブロック分割（ＩＳＰ）演算の選択的適用に関して決定することと、前記決定に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うことと、前記ＩＳＰ演算は、ブロックを、少なくとも所定の数のサンプルを有するサブパーティションに、垂直または水平に分割することを含む、映像処理方法。
【0251】
Ｃ４４．前記ＩＳＰ演算が彩度成分に適用され、カラーフォーマットが４：４：４である、解決策Ｃ４３に記載の方法。
【0252】
Ｃ４５．前記ＩＳＰ演算を前記彩度成分に適用し、前記ＩＳＰ演算の構成は、（ｉ）現在の映像ブロックの高さまたは幅、（ｉｉ）現在の映像ブロックにクロスコンポーネント線形モデル（ＣＣＬＭ）予測方法を適用するかどうか、（ｉｉｉ）現在の映像ブロックにジョイント彩度残差符号化を適用するかどうか、（ｉｖ）イントラ予測方向、または（ｖ）現在の映像ブロックの輝度成分からイントラ予測モードを導出するかどうか、のうちの１つ以上に基づく、解決策Ｃ４３に記載の方法。
【0253】
Ｃ４６．前記ＩＳＰ演算は前記彩度成分に適用され、前記ＩＳＰ演算の構成は、１つ以上の近傍のブロックの彩度成分の再構成サンプルまたは符号化された情報に基づく、解決策Ｃ４３に記載の方法。
【0254】
Ｃ４７．処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、解決策Ｃ１～Ｃ４６のいずれかに記載の方法を実施させる映像システムの装置。
【0255】
Ｃ４８．非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、解決策Ｃ１～Ｃ４６のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0256】
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
【0257】
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの１つ以上の組み合わせであってもよい。“データ処理ユニット”又は“データ処理装置”という用語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。
【0258】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
【0259】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
【0260】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
【0261】
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書において、「または」の使用は、文脈からそうでないことが明確に示されていない限り、「および／または」を含むことが意図される。
【0262】
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
【0263】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0264】
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図8F】
【図8G】
【図8H】
【図8I】
【図9】
【図10】
【手続補正書】
【提出日】2023-05-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像データを処理する方法であって、
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、前記現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされたかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記変換を行うことと、を含み、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、映像データを処理する方法。
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、前記現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされたかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記変換を行うことと、を含み、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、映像データを処理する方法。
【請求項2】
前記現在の映像ブロックが前記イントラブロックコピーモードを使用してコーディングされると、前記指示は前記ビットストリームから除外される、請求項１に記載の方法。
【請求項3】
前記指示が前記ビットストリームに含まれると、前記指示は、シーケンスパラメータセット、ピクチャパラメータセット、タイルグループヘッダ、スライスヘッダ、ピクチャヘッダ、タイルヘッダ、コーディングツリーユニット行、コーディングユニット、又は映像データユニット内にある、請求項１に記載の方法。
【請求項4】
前記指示が前記ビットストリームに含まれるかどうかは、前記現在の映像ブロックの最後の非ゼロ係数の位置にさらに基づく、請求項１から３のいずれか１項に記載の方法。
【請求項5】
暗黙の多重変換選択動作を適用するかどうかは、前記現在の映像ブロックが特定の予測モードでコーディングされているかどうかに基づく、請求項１から４のいずれか１項に記載の方法。
【請求項6】
前記指示が前記ビットストリームに含まれるかどうかは、前記指示がイントラコーディングユニットのための前記ビットストリームに存在することを許可されるかどうかを示すシーケンスパラメータセットにおける第１の構文要素と、又は、前記指示がインターコーディングユニットのための前記ビットストリームに存在することを許可されるかどうかを示すシーケンスパラメータセットにおける第２の構文要素との少なくとも１つにさらに基づく、請求項１から５のいずれか１項に記載の方法。
【請求項7】
前記現在の映像ブロックが、コーディングツリーユニットからデュアルツリーを使用して分割される彩度成分であると、前記指示は前記ビットストリームから除外される、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記現在の映像ブロックの関連する変換ブロックに適用されない変換を示す第３の構文要素の値に応じて、前記指示は前記ビットストリームから除外される、請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記多重変換選択の前記変換タイプは、離散コサイン変換タイプＩＩ（ＤＣＴ－ＩＩ）、離散コサイン変換タイプＶＩＩ（ＤＣＴ－ＶＩＩ）、又は、離散コサイン変換タイプＶＩＩＩ（ＤＣＴ－ＶＩＩＩ）を含む、請求項１～８のいずれか１項に記載の方法。
【請求項10】
イントラブロックコピーモードのコーディングブロックについて、その予測は、ブロックベクトルによって決定された同じスライスのサンプル値のブロックから導出される、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記変換は、前記現在の映像ブロックを前記ビットストリームに符号化することを含む、請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記変換は、前記現在の映像ブロックを前記ビットストリームから復号化することを含む、請求項１～７のいずれか１項に記載の方法。
【請求項13】
処理装置と、命令を含む非一時的メモリとを備える映像データを処理するための装置であって、前記命令は、前記処理装置による実行時に、前記処理装置に、
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、前記現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされたかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記変換を行うことと、を行わせ、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、映像データを処理するための装置。
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、前記現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされたかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記変換を行うことと、を行わせ、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、映像データを処理するための装置。
【請求項14】
非一時的なコンピュータ可読記憶媒体であって、
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、前記現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされたかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記変換を行うことと、を処理装置に行わせる命令を記憶し、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、非一時的なコンピュータ可読記憶媒体。
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、前記現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされたかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記変換を行うことと、を処理装置に行わせる命令を記憶し、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、非一時的なコンピュータ可読記憶媒体。
【請求項15】
映像処理装置によって実行される方法によって生成される映像のビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
前記映像の現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされているかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が、前記映像の前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記ビットストリームを生成することと、を含み、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、非一時的なコンピュータ可読記録媒体。
前記映像の現在の映像ブロックが、イントラブロックコピーモードを使用してコーディングされているかどうかに少なくとも基づいて、多重変換選択動作における変換タイプの指示が、前記映像の前記ビットストリームに含まれるか否かを判定することと、
前記判定に基づいて前記ビットストリームを生成することと、を含み、
前記多重変換選択動作は、前記変換中に複数の予め定義した変換候補からの変換を使用することを含む、非一時的なコンピュータ可読記録媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
関連出願の相互参照
本願は、２０２１年１０月２０日出願の日本国特願２０２１－５６２７７５号に基づいており、これは２０２０年４月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０２０／０８６３５４号の国内段階であり、２０１９年４月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／０８３８４４号の優先権および利益を主張する。前述の出願の全開示は、本明細書の開示の一部として参照により援用される。
本願は、２０２１年１０月２０日出願の日本国特願２０２１－５６２７７５号に基づいており、これは２０２０年４月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０２０／０８６３５４号の国内段階であり、２０１９年４月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／０８３８４４号の優先権および利益を主張する。前述の出願の全開示は、本明細書の開示の一部として参照により援用される。
【外国語明細書】