IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アリババ ダモ (ハンジョウ) テクノロジー カンパニー,リミテッドの特許一覧

特表2024-522853複合インター及びイントラ予測を行うための方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-21
(54)【発明の名称】複合インター及びイントラ予測を行うための方法及びシステム
(51)【国際特許分類】
   H04N 19/50 20140101AFI20240614BHJP
   H04N 19/46 20140101ALI20240614BHJP
   H04N 19/105 20140101ALI20240614BHJP
   H04N 19/157 20140101ALI20240614BHJP
   H04N 19/176 20140101ALI20240614BHJP
【FI】
H04N19/50
H04N19/46
H04N19/105
H04N19/157
H04N19/176
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579117
(86)(22)【出願日】2022-06-24
(85)【翻訳文提出日】2024-02-01
(86)【国際出願番号】 SG2022050432
(87)【国際公開番号】W WO2023277804
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】63/215,474
(32)【優先日】2021-06-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/235,110
(32)【優先日】2021-08-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/808,212
(32)【優先日】2022-06-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523475516
【氏名又は名称】アリババ ダモ (ハンジョウ) テクノロジー カンパニー,リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】リ,シンウェイ
(72)【発明者】
【氏名】リャオ,ルーリン
(72)【発明者】
【氏名】チェン,ジエ
(72)【発明者】
【氏名】イエ,ヤン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC09
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RC12
5C159TA25
5C159TA32
5C159TB08
5C159TC08
5C159TC24
5C159TD06
5C159UA02
5C159UA05
(57)【要約】
複合インター及びイントラ予測(CIIP)を行う方法は、対象ブロックについてCIIPが有効であると判定すること、テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることを含む。
【特許請求の範囲】
【請求項1】
複合インター及びイントラ予測(CIIP)を行う方法であって、
対象ブロックについて前記CIIPが有効であると判定すること、
テンプレートベースイントラモード導出(TIMD)方法を使用して、前記対象ブロックの第1のイントラ予測モードを決定すること、
前記第1のイントラ予測モードで前記対象ブロックのイントラ予測子を生成すること、及び
前記対象ブロックの前記イントラ予測子及び前記対象ブロックのインター予測子を加重平均することにより、前記対象ブロックの最終予測子を得ること
を含む方法。
【請求項2】
前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する前記対象ブロックの絶対変換差の和(SATD)の値を計算すること、及び
前記対象ブロックの前記第1のイントラ予測モードとして、最小のSATD値を有するイントラ予測モードを前記複数のイントラ予測モードの中から決定すること
を更に含む、請求項1に記載の方法。
【請求項3】
前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する前記対象ブロックのSATDの値を計算すること、
最小のSATD値を有するイントラ予測モードを前記複数のイントラ予測モードの中から決定し、前記最小のSATD値を有する前記イントラ予測モードを通常のイントラ予測モードにマッピングすること、及び
前記対象ブロックの前記第1のイントラ予測モードとして前記通常のイントラ予測モードを決定すること
を更に含む、請求項1に記載の方法。
【請求項4】
前記対象ブロックの前記イントラ予測子及び前記対象ブロックの前記インター予測子を加重平均することにより、前記対象の前記最終予測子を得ることは、
前記第1のイントラ予測モードが角度モードであることに応答して、前記第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定すること、及び
それぞれ前記イントラ重み及び前記インター重みで前記対象ブロックの前記イントラ予測子及び前記対象ブロックの前記インター予測子を加重平均することにより、前記対象ブロックの前記最終予測子を得ること
を更に含む、請求項1に記載の方法。
【請求項5】
前記第1のイントラ予測モードに基づいて前記イントラ重み及び前記インター重みを決定することは、
前記対象ブロックを複数のサブブロックに分割することであって、前記対象ブロックは、前記第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが前記既定値以上である場合に水平に分割されること、及び
前記複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること
を更に含み、
前記対象ブロックの前記イントラ予測子及び前記対象ブロックの前記インター予測子を加重平均することにより、前記対象ブロックの前記最終予測子を得ることは、
前記複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、前記複数のサブ最終予測子のそれぞれは、前記それぞれのサブブロックの前記サブイントラ重み及びサブインター重みで前記イントラ予測子及び前記インター予測子を加重平均することによって決定されること、
前記複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって前記最終予測子を得ることであって、前記ビット数は、前記サブイントラ重み及び前記サブインター重みの和の対数によって得られること
を更に含む、請求項4に記載の方法。
【請求項6】
前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが、左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満である場合、4つの等しいサイズのサブブロックに垂直に分割されるか、又は前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが、左上から右下への対角モードの前記角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下である場合、4つの等しいサイズのサブブロックに水平に分割され、
前記4つの等しいサイズのサブブロックは、第1のサブブロック、第2のサブブロック、第3のサブブロック及び第4のサブブロックを含み、前記第1、第2、第3及び第4のサブブロックは、前記対象ブロックが垂直に分割される場合に左から右に、又は前記対象ブロックが水平に分割される場合に上から下にそれぞれ配置され、及び
前記第1のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ6及び2であり、
前記第2のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ5及び3であり、
前記第3のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ3及び5であり、及び
前記第4のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ2及び6である、請求項5に記載の方法。
【請求項7】
前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定することは、
前記対象ブロックが閾値以下のサイズを有する場合、前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定すること、及び
前記対象ブロックが閾値を上回るサイズを有する場合、前記対象ブロックの前記第1のイントラ予測モードを平面モードとして決定すること
を更に含む、請求項1に記載の方法。
【請求項8】
前記閾値は、1024に等しい、請求項7に記載の方法。
【請求項9】
伝播イントラ予測モードとして平面モードを設定すること、及び
前記伝播イントラ予測モードで前記対象ブロックの隣接ブロックの最確モード(MPM)リストを構築すること
を更に含む、請求項1に記載の方法。
【請求項10】
複合インター及びイントラ予測(CIIP)を行う方法であって、
テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
前記第1のイントラ予測モードで前記対象ブロックのイントラ予測子を生成すること、
前記対象ブロックの前記イントラ予測子及び前記対象ブロックのインター予測子を加重平均することにより、前記対象ブロックの最終予測子を得ること、及び
前記CIIPが有効であることを示すフラグと、前記TIMD方法が前記対象ブロックの前記第1のイントラ予測モードの決定に使用されていることを示すインデックスとをシグナリングすること
を含む方法。
【請求項11】
前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する前記対象ブロックの絶対変換差の和(SATD)の値を計算すること、及び
前記対象ブロックの前記第1のイントラ予測モードとして、最小のSATD値を有するイントラ予測モードを前記複数のイントラ予測モードの中から決定すること
を更に含む、請求項10に記載の方法。
【請求項12】
前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する前記対象ブロックのSATDの値を計算すること、
最小のSATD値を有するイントラ予測モードを前記複数のイントラ予測モードの中から決定し、及び前記最小のSATD値を有する前記イントラ予測モードを通常のイントラ予測モードにマッピングすること、及び
前記対象ブロックの前記第1のイントラ予測モードとして前記通常のイントラ予測モードを決定すること
を更に含む、請求項10に記載の方法。
【請求項13】
前記対象ブロックの前記イントラ予測子及び前記対象ブロックの前記インター予測子を加重平均することにより、前記対象の前記最終予測子を得ることは、
前記第1のイントラ予測モードが角度モードであることに応答して、前記第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定すること、及び
それぞれ前記イントラ重み及び前記インター重みで前記対象ブロックの前記イントラ予測子及び前記対象ブロックの前記インター予測子を加重平均することにより、前記対象ブロックの前記最終予測子を得ること
を更に含む、請求項1に記載の方法。
【請求項14】
前記第1のイントラ予測モードに基づいて前記イントラ重み及び前記インター重みを決定することは、
前記対象ブロックを複数のサブブロックに分割することであって、前記対象ブロックは、前記第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが前記既定値以上である場合に水平に分割されること、及び
前記複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること
を更に含み、
前記対象ブロックの前記イントラ予測子及び前記対象ブロックの前記インター予測子を加重平均することにより、前記対象ブロックの前記最終予測子を得ることは、
前記複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、前記複数のサブ最終予測子のそれぞれは、前記それぞれのサブブロックの前記サブイントラ重み及びサブインター重みで前記イントラ予測子及びインター予測子を加重平均することによって決定されること、
前記複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって前記最終予測子を得ることであって、前記ビット数は、前記サブイントラ重み及び前記サブインター重みの和の対数によって得られること
を更に含む、請求項13に記載の方法。
【請求項15】
前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが、左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満である場合、4つの等しいサイズのサブブロックに垂直に分割されるか、又は前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが、左上から右下への対角モードの前記角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下である場合、4つの等しいサイズのサブブロックに水平に分割され、
前記4つの等しいサイズのサブブロックは、第1のサブブロック、第2のサブブロック、第3のサブブロック及び第4のサブブロックを含み、前記第1、第2、第3及び第4のサブブロックは、前記対象ブロックが垂直に分割される場合に左から右に、又は前記対象ブロックが水平に分割される場合に上から下にそれぞれ配置され、及び
前記第1のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ6及び2であり、
前記第2のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ5及び3であり、
前記第3のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ3及び5であり、及び
前記第4のサブブロックの前記サブイントラ重み及びサブインター重みは、それぞれ2及び6である、請求項14に記載の方法。
【請求項16】
前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定することは、
前記対象ブロックが閾値以下のサイズを有する場合、前記TIMD方法を使用して、前記対象ブロックの前記第1のイントラ予測モードを決定すること、及び
前記対象ブロックが、閾値を上回るサイズを有する場合、前記対象ブロックの前記第1のイントラ予測モードを平面モードとして決定すること
を更に含む、請求項10に記載の方法。
【請求項17】
前記閾値は、1024に等しい、請求項16に記載の方法。
【請求項18】
伝播イントラ予測モードとして平面モードを設定すること、及び
前記伝播イントラ予測モードで前記対象ブロックの隣接ブロックの最確モード(MPM)リストを構築すること
を更に含む、請求項10に記載の方法。
【請求項19】
ビットストリームを記憶する非一時的コンピュータ可読媒体であって、前記ビットストリームは、符号化映像データに関連するフラグ及び第1のインデックスを含み、前記フラグは、前記符号化映像データのためにインター及びイントラ予測(CIIP)が使用されることを示し、及び前記第1のインデックスは、前記CIIPに使用されるテンプレートベースイントラモード導出(TIMD)方法を示し、前記フラグ及び前記インデックスは、
前記TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
前記イントラ予測モードで前記対象ブロックのイントラ予測子を生成すること、及び
前記対象ブロックの前記イントラ予測子及び前記対象ブロックのインター予測子を加重平均することにより、前記対象ブロックの最終予測子を得ること
を復号器に行わせる、非一時的コンピュータ可読媒体。
【請求項20】
前記ビットストリームは、前記映像データに関連する角度モードインデックスを更に含み、前記角度モードインデックスは、
前記対象ブロックを複数のサブブロックに分割することであって、前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は前記対象ブロックは、前記第1のイントラ予測モードの前記角度モードインデックスが前記既定値以上である場合に水平に分割されること、及び
前記複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること、
前記複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、前記複数のサブ最終予測子のそれぞれは、前記それぞれのサブブロックの前記サブイントラ重み及びサブインター重みで前記イントラ予測子及び前記インター予測子を加重平均することによって決定されること、
前記複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって前記最終予測子を得ることであって、前記ビット数は、前記サブイントラ重み及び前記サブインター重みの和の対数によって得られること
を前記復号器に行わせる、請求項19に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[1] 本開示は、参照によりその全体が本明細書に援用される、2021年6月27日に出願された米国仮特許出願第63/215,474号、2021年8月19日に出願された米国仮特許出願第63/235,110号及び2022年6月22日に出願された米国特許出願公開第17/808,212号に対する優先権の利益を主張する。
【0002】
技術分野
[2] 本開示は、概して、映像処理に関し、より詳細には、複合インター及びイントラ予測を行うための方法及びシステムに関する。
【背景技術】
【0003】
背景
[3] 映像は、視覚情報を捕捉した静的ピクチャ(又は「フレーム」)の集合である。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは、通常、符号化と呼ばれ、復元プロセスは、通常、復号と呼ばれる。最も一般的には、予測、変換、量子化、エントロピーコード化及びインループフィルタリングに基づく規格化された映像コード化技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定する高効率ビデオコーディング(HEVC/H.265)規格、多用途ビデオコーディング(VVC/H.266)及びAVS規格等の映像コード化規格が規格化組織によって開発されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなる。
【発明の概要】
【課題を解決するための手段】
【0004】
開示の概要
[4] 本開示の実施形態は、複合インター及びイントラ予測(CIIP)を行う方法を提供する。本方法は、対象ブロックについてCIIPが有効であると判定すること、テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることを含む。
【0005】
[5] 本開示の実施形態は、複合インター及びイントラ予測(CIIP)を行う方法を提供する。本方法は、テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること、及びCIIPが有効であることを示すフラグと、TIMD方法が対象ブロックの第1のイントラ予測モードの決定に使用されていることを示すインデックスとをシグナリングすることを含む。
【0006】
[6] 本開示の実施形態は、ビットストリームを記憶する非一時的コンピュータ可読記憶媒体を提供し、ビットストリームは、符号化映像データに関連するフラグ及び第1のインデックスを含み、フラグは、符号化映像データのためにインター及びイントラ予測(CIIP)が使用されることを示し、及び第1のインデックスは、CIIPに使用されるテンプレートベースイントラモード導出(TIMD)方法を示し、フラグ及びインデックスは、TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、イントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることを、復号器に行わせる。
【0007】
図面の簡単な説明
[7] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付図面に示す。図示する様々な特徴は、縮尺通り描かれていない。
【図面の簡単な説明】
【0008】
図1】[8]本開示の一部の実施形態による映像シーケンスの一例の構造を示す概略図である。
図2A】[9]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な符号化プロセスを示す概略図である。
図2B】[10]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な符号化プロセスを示す概略図である。
図3A】[11]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な復号プロセスを示す概略図である。
図3B】[12]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な復号プロセスを示す概略図である。
図4】[13]本開示の一部の実施形態による、映像を符号化又は復号するための例示的な機器のブロック図である。
図5】[14]本開示の一部の実施形態による、VVCにおける角度イントラ予測モードを示す。
図6】[15]本開示の一部の実施形態による、全般的な最確モード(MPM)リストの導出に使用される例示的な隣接ブロックを示す。
図7】[16]本開示の一部の実施形態による、復号器側イントラモード導出(DIMD)において勾配を計算するために使用される例示的なピクセルを示す。
図8】[17]本開示の一部の実施形態によるDIMDの予測ブレンド処理を示す。
図9】[18]本開示の一部の実施形態による、テンプレートベースイントラモード導出(TIMD)で使用される例示的なテンプレート及びその参照サンプルを示す。
図10】[19]本開示の一部の実施形態による、複合インター及びイントラ予測(CIIP)の重みの導出に使用される上及び左の隣接ブロックを示す。
図11】[20]本開示の一部の実施形態による、位置依存イントラ予測組み合わせ(PDPC)を使用する拡張CIIPモードの例示的なフローチャートを示す。
図12】[21]本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法の例示的なフローチャートを示す。
図13】[22]本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法の別の例示的なフローチャートを示す。
図14】[23]本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法の別の例示的なフローチャートを示す。
図15】[24]本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法の別の例示的なフローチャートを示す。
図16】[25]本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法の別の例示的なフローチャートを示す。
図17A】[26]本開示の一部の実施形態による、コード化ブロックを垂直に分割する例示的な方法を示す。
図17B】[26]本開示の一部の実施形態による、コード化ブロックを水平に分割する例示的な方法を示す。
図18】[27]本開示の一部の実施形態による、角度イントラ予測モードでコード化ブロックを分割する例示的な方法を示す。
図19】[28]本開示の一部の実施形態による、予測モードを決定する方法の例示的なフローチャートを示す。
【発明を実施するための形態】
【0009】
詳細な説明
[29] ここで、添付図面にその例が示される例示的実施形態を詳細に参照する。以下の説明は、添付図面を参照し、添付図面では、別段の定めがない限り、異なる図中の同じ番号が同じ又は同様の要素を表す。例示的実施形態についての以下の説明に記載する実装形態は、本発明に合致する全ての実装形態を表すものではない。むしろ、それらの実装形態は、添付の特許請求の範囲で列挙される、本発明に関係する態様に合致する機器及び方法の例に過ぎない。本開示の特定の態様を以下でより詳細に説明する。参照により援用される用語及び/又は定義と矛盾する場合、本明細書に示す用語及び定義が優先される。
【0010】
[30] ITU-T Video Coding Expert Group(ITU-T VCEG)及びISO/IEC Moving Picture Expert Group(ISO/IEC MPEG)のJoint Video Experts Team(JVET)は、現在、多用途ビデオコーディング(VVC/H.266)規格を開発している。VVC規格は、その前身である高効率ビデオコーディング(HEVC/H.265)規格の圧縮効率を2倍にすることを目指している。換言すれば、VVCの目標は、半分の帯域幅を用いて、HEVC/H.265と同じ主観的品質を達成することである。
【0011】
[31] 半分の帯域幅を用いて、HEVC/H.265と同じ主観的品質を達成するために、JVETは、共同探索モデル(JEM)参照ソフトウェアを用いて、HEVCを超える技術を開発している。コード化技術がJEMに組み込まれたため、JEMは、HEVCよりも実質的に高いコード化性能を達成した。
【0012】
[32] VVC規格は、最近開発されたものであり、より優れた圧縮性能をもたらすより多くのコード化技術を引き続き含んでいる。VVCは、HEVC、H.264/AVC、MPEG2、H.263等の現代的な映像圧縮規格で用いられてきた同じハイブリッド映像コード化システムに基づく。
【0013】
[33] 映像は、視覚情報を記憶するために時系列順に構成される静的ピクチャ(又は「フレーム」)の集合である。それらのピクチャを時系列順に捕捉し、記憶するために映像捕捉装置(例えば、カメラ)を使用することができ、かかるピクチャを時系列順に表示するために映像再生装置(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末)を使用することができる。また、一部の応用では、監視、会議又は生放送等のために、映像捕捉装置が捕捉映像を映像再生装置(例えば、モニタを有するコンピュータ)にリアルタイムで伝送することができる。
【0014】
[34] かかるアプリケーションが必要とする記憶空間及び伝送帯域幅を減らすために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。この圧縮及び復元は、プロセッサ(例えば、汎用コンピュータのプロセッサ)又は専用ハードウェアによって実行されるソフトウェアによって実装することができる。圧縮のためのモジュールを一般に「符号器」と呼び、復元のためのモジュールを一般に「復号器」と呼ぶ。符号器及び復号器は、まとめて「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア又はその組み合わせの何れかとして実装することができる。例えば、符号器及び復号器のハードウェア実装は、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、書換可能ゲートアレイ(FPGA)、ディスクリートロジック又はその任意の組み合わせ等の回路を含み得る。符号器及び復号器のソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア又はコンピュータ可読媒体内に固定される任意の適切なコンピュータによって実装されるアルゴリズム若しくはプロセスを含み得る。映像の圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ等の様々なアルゴリズム又は規格によって実装され得る。一部の応用では、コーデックが第1のコード化規格から映像を復元し、第2のコード化規格を使用して、復元された映像を再圧縮することができ、その場合、コーデックを「トランスコーダ」と呼ぶことができる。
【0015】
[35] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保つことができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、かかる符号化プロセスは、「非可逆」と呼ぶことができる。さもなければ、かかる符号化プロセスは、「可逆」と呼ぶことができる。殆どの符号化プロセスは、非可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。
【0016】
[36] 符号化されているピクチャ(「現在のピクチャ」と呼ぶ)の有用な情報は、参照ピクチャ(例えば、過去に符号化され、再構築されたピクチャ)に対する変化を含む。かかる変化は、ピクセルの位置変化、光度変化又は色変化を含むことができ、そのうちの位置変化が最も重要である。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映し得る。
【0017】
[37] 別のピクチャを参照することなしにコード化されるピクチャ(即ちかかるピクチャが自らの参照ピクチャである)を「Iピクチャ」と呼ぶ。ピクチャ内の一部又は全てのブロック(例えば、映像ピクチャの一部を概して指すブロック)が1つの参照ピクチャと共にイントラ予測又はインター予測を使用して予測される場合(例えば、単方向予測)、ピクチャは、「Pピクチャ」と呼ばれる。ピクチャ内の少なくとも1つのブロックが2つの参照ピクチャを用いて予測される場合(例えば、双方向予測)、ピクチャは、「Bピクチャ」と呼ばれる。
【0018】
[38] 図1は、本開示の一部の実施形態による映像シーケンス100の一例の構造を示す。映像シーケンス100は、生中継映像又は捕捉され、アーカイブされている映像であり得る。映像100は、現実の映像、コンピュータによって生成される映像(例えば、コンピュータゲーム映像)又はその組み合わせ(例えば、拡張現実効果を有する現実の映像)であり得る。映像シーケンス100は、映像捕捉装置(例えば、カメラ)、過去に捕捉された映像を含む映像アーカイブ(例えば、記憶装置内に記憶されている映像ファイル)又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース(例えば、映像ブロードキャストトランシーバ)から入力され得る。
【0019】
[39] 図1に示すように、映像シーケンス100は、ピクチャ102、104、106及び108を含むタイムラインに沿って時間的に配置される一連のピクチャを含み得る。ピクチャ102~106は、連続的であり、ピクチャ106とピクチャ108との間に更に多くのピクチャがある。図1では、ピクチャ102がIピクチャであり、その参照ピクチャは、ピクチャ102自体である。ピクチャ104は、Pピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ102である。ピクチャ106は、Bピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ104及び108である。一部の実施形態では、ピクチャ(例えば、ピクチャ104)の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャは、ピクチャ102に先行するピクチャであり得る。ピクチャ102~106の参照ピクチャは、例に過ぎず、本開示は、参照ピクチャの実施形態を図1に示す例として限定しないことに留意すべきである。
【0020】
[40] 典型的には、映像コーデックは、全ピクチャを一度に符号化又は復号せず、それは、かかるタスクが計算的に複雑であるためである。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号することができる。本開示では、そのような基本セグメントを基本処理単位(「BPU」)と呼ぶ。例えば、図1の構造110は、映像シーケンス100のピクチャ(例えば、ピクチャ102~108の何れか)の構造の一例を示す。構造110では、ピクチャが4×4の基本処理単位に分けられており、その境界が破線で示されている。一部の実施形態では、基本処理単位は、一部の映像コード化規格(例えば、MPEGファミリ、H.261、H.263又はH.264/AVC)内の「マクロブロック」と呼ぶことができ、他の一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)内の「コード化ツリー単位」(「CTU」)と呼ぶことができる。128×128、64×64、32×32、16×16、4×8、16×32又はピクセルのあらゆる任意の形状及びサイズ等、基本処理単位は、ピクチャ内で可変サイズを有することができる。基本処理単位のサイズ及び形状は、コード化の効率及び基本処理単位内で保とうとする詳細度のバランスに基づいてピクチャについて選択することができる。
【0021】
[41] 基本処理単位は、コンピュータメモリ内(例えば、映像フレームバッファ内)に記憶される様々な種類の映像データ群を含み得る論理単位であり得る。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分(Y)、色情報を表す1つ又は複数のクロマ成分(例えば、Cb及びCr)並びに関連するシンタックス要素を含むことができ、ルマ成分及びクロマ成分は、同じサイズの基本処理単位を有し得る。一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)では、ルマ成分及びクロマ成分は、「コード化ツリーブロック」(「CTB」)と呼ばれ得る。基本処理単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。
【0022】
[42] 映像のコード化には、複数の操作段階があり、その例を図2A図2B及び図3A図3Bに示す。それぞれの段階について、基本処理単位のサイズは、依然として処理するのに大き過ぎる場合があり、従って本開示で「基本処理副単位」と呼ぶセグメントに更に分けることができる。一部の実施形態では、基本処理副単位は、一部の映像コード化規格(例えば、MPEGファミリ、H.261、H.263又はH.264/AVC)内の「ブロック」と呼ぶことができるか、又は他の一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)内の「コード化単位」(「CU」)と呼ぶことができる。基本処理副単位は、基本処理単位と同じであるか又はそれよりも小さいサイズを有し得る。基本処理単位と同様に、基本処理副単位もコンピュータメモリ内(例えば、映像フレームバッファ内)に記憶される様々な種類の映像データ群(例えば、Y、Cb、Cr及び関連するシンタックス要素)を含み得る論理単位である。基本処理副単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。処理の必要性に応じて、かかる分割は、更なるレベルまで行われ得ることに留意すべきである。様々な段階が、異なる方式を使用して基本処理単位を分割できることにも留意すべきである。
【0023】
[43] 例えば、(その一例を図2Bに示す)モード決定段階において、基本処理単位に対して何れの予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を使用するかを符号器が決定することができ、基本処理単位は、かかる決定を下すには大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位(例えば、H.265/HEVC又はH.266/VVCにあるCU)に分け、個々の基本処理副単位ごとに予測の種類を決定することができる。
【0024】
[44] 別の例では、(その一例を図2A図2Bに示す)予測段階において、符号器は、基本処理副単位(例えば、CU)のレベルで予測操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント(例えば、H.265/HEVC又はH.266/VVC内で「予測ブロック」又は「PB」と呼ばれる)に更に分けることができ、そのレベルで予測操作を行うことができる。
【0025】
[45] 別の例では、(その一例を図2A図2Bに示す)変換段階において、符号器は、残差基本処理副単位(例えば、CU)に対する変換操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント(例えば、H.265/HEVC又はH.266/VVC内で「変換ブロック」又は「TB」と呼ばれる)に更に分けることができ、そのレベルで変換操作を行うことができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意すべきである。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックは、異なるサイズ及び数を有し得る。
【0026】
[46] 図1の構造110では、基本処理単位112が3×3の基本処理副単位に更に分けられており、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分けることができる。
【0027】
[47] 一部の実装形態では、映像の符号化及び復号に並列処理及び誤り耐性の能力を与えるために、ピクチャを処理のための領域に分けることができ、それにより、符号化又は復号プロセスは、ピクチャのある領域について、ピクチャの他の任意の領域の情報に依存しなくてもよい。換言すれば、ピクチャの各領域を独立に処理することができる。そうすることで、コーデックは、ピクチャの異なる領域を並列に処理し、従ってコード化の効率を高めることができる。更に、領域のデータが処理内で破損するか又はネットワーク伝送内で失われる場合、コーデックは、破損するか又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号することができ、従って誤り耐性の能力を提供する。一部の映像コード化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは、「スライス」及び「タイル」の2種類の領域を提供する。映像シーケンス100の様々なピクチャは、ピクチャを領域に分けるための様々な分割方式を有し得ることにも留意すべきである。
【0028】
[48] 例えば、図1では、構造110が3つの領域114、116及び118に分けられており、その境界が構造110内の実線として示されている。領域114は、4つの基本処理単位を含む。領域116及び118のそれぞれは、6つの基本処理単位を含む。図1の構造110の基本処理単位、基本処理副単位及び領域は、例に過ぎず、本開示は、その実施形態を限定しないことに留意すべきである。
【0029】
[49] 図2Aは、本開示の実施形態と合致する符号化プロセス200Aの一例の概略図を示す。例えば、符号化プロセス200Aは、符号器によって行われ得る。図2Aに示すように、符号器は、プロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。図1の映像シーケンス100と同様に、映像シーケンス202は、時系列順に配置されるピクチャ(「元のピクチャ」と呼ぶ)の組を含み得る。図1の構造110と同様に、映像シーケンス202のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位又は処理のための領域に分けられ得る。一部の実施形態では、符号器は、映像シーケンス202のそれぞれの元のピクチャに関する基本処理単位のレベルでプロセス200Aを実行することができる。例えば、符号器は、プロセス200Aを反復的な方法で実行することができ、符号器は、プロセス200Aの1回の反復において基本処理単位を符号化することができる。一部の実施形態では、符号器は、映像シーケンス202のそれぞれの元のピクチャの領域(例えば、領域114~118)についてプロセス200Aを並列に実行することができる。
【0030】
[50] 図2Aでは、符号器は、映像シーケンス202の元のピクチャの基本処理単位(「元のBPU」と呼ぶ)を予測段階204にフィードして、予測データ206及び予測されたBPU208を生成することができる。符号器は、元のBPUから予測されたBPU208を減算して、残差BPU210を生成することができる。符号器は、残差BPU210を変換段階212及び量子化段階214にフィードして、量子化された変換係数216を生成することができる。符号器は、予測データ206及び量子化された変換係数216をバイナリコード化段階226にフィードして、映像ビットストリーム228を生成することができる。コンポーネント202、204、206、208、210、212、214、216、226及び228は、「順方向経路」と呼ぶことができる。プロセス200A中、符号器は、量子化段階214後、量子化された変換係数216を逆量子化段階218及び逆変換段階220にフィードして、再構築された残差BPU222を生成することができる。符号器は、再構築された残差BPU222を予測されたBPU208に加えて、プロセス200Aの次の反復の予測段階204に使用される予測基準224を生成することができる。プロセス200Aのコンポーネント218、220、222及び224は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が予測に同じ参照データを使用することを確実にするために使用され得る。
【0031】
[51] 符号器は、プロセス200Aを反復的に実行して、(順方向経路内で)元のピクチャのそれぞれの元のBPUを符号化し、(再構築経路内で)元のピクチャの次の元のBPUを符号化するための予測基準224を生成することができる。元のピクチャの全ての元のBPUを符号化した後、符号器は、映像シーケンス202内の次のピクチャの符号化に進むことができる。
【0032】
[52] プロセス200Aを参照すると、符号器は、映像捕捉装置(例えば、カメラ)によって生成される映像シーケンス202を受信することができる。本明細書で使用する「受信する」という用語は、データを入力するために受信すること、入力すること、取得すること、取り出すこと、得ること、読み出すこと、アクセスすること又は任意の方法の任意のアクションを指し得る。
【0033】
[53] 予測段階204では、現在の反復において符号器が元のBPU及び予測基準224を受信し、予測操作を行って、予測データ206及び予測されたBPU208を生成することができる。予測基準224は、プロセス200Aの前の反復の再構築経路から生成され得る。予測段階204の目的は、予測データ206を抽出することにより、情報の冗長性を減らすことであり、予測データ206は、予測データ206及び予測基準224から、予測されたBPU208として元のBPUを再構築するために使用され得る。
【0034】
[54] 理想的には、予測されたBPU208は、元のBPUと同一であり得る。しかし、理想的でない予測及び再構築操作により、予測されたBPU208は、概して、元のBPUと僅かに異なる。そのような差を記録するために、符号器は、予測されたBPU208を生成した後、それを元のBPUから減算して、残差BPU210を生成することができる。例えば、符号器は、予測されたBPU208のピクセルの値(例えば、グレースケール値又はRGB値)を元のBPUの対応するピクセルの値から減算することができる。元のBPU及び予測されたBPU208の対応するピクセル間のかかる減算の結果、残差BPU210の各ピクセルは、残差値を有し得る。元のBPUと比較して、予測データ206及び残差BPU210は、より少ないビットを有し得るが、品質を著しく損なうことなしに元のBPUを再構築するためにそれらを使用することができる。従って、元のBPUは、圧縮される。
【0035】
[55] 残差BPU210を更に圧縮するために、変換段階212において、符号器は、残差BPU210を2次元「基底パターン」の組に分解することにより、残差BPU210の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連する。基底パターンは、同じサイズ(例えば、残差BPU210のサイズ)を有することができる。それぞれの基底パターンは、残差BPU210の変動周波数(例えば、輝度変動周波数)成分を表すことができる。基底パターンの何れも、他の任意の基底パターンの任意の組み合わせ(例えば、線形結合)から再現できない。換言すれば、分解は、残差BPU210の変動を周波数領域内に分解することができる。かかる分解は、関数の離散フーリエ変換に類似しており、基底パターンは、離散フーリエ変換の基底関数(例えば、三角関数)に類似しており、変換係数は、基底関数に関連する係数に類似している。
【0036】
[56] 様々な変換アルゴリズムが様々な基底パターンを使用することができる。例えば、離散コサイン変換、離散サイン変換等、変換段階212で様々な変換アルゴリズムを使用することができる。変換段階212における変換は、逆変換可能である。即ち、符号器は、変換の逆操作(「逆変換」と呼ぶ)によって残差BPU210を復元することができる。例えば、残差BPU210のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和をもたらすことであり得る。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム(従って同じ基底パターン)を使用することができる。従って、符号器は、変換係数のみを記録し得、復号器は、符号器から基底パターンを受信することなしに、変換係数から残差BPU210を再構築することができる。残差BPU210と比較して、変換係数の方が少ないビットを有し得るが、それらの変換係数は、品質を著しく損なうことなしに残差BPU210を再構築するために使用され得る。従って、残差BPU210は、更に圧縮される。
【0037】
[57] 符号器は、量子化段階214において、変換係数を更に圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数(例えば、輝度変動周波数)を表すことができる。人間の目は、概して、低周波変動を認識することが得意であるため、符号器は、復号時の著しい品質劣化を引き起こすことなしに高周波変動の情報を無視することができる。例えば、量子化段階214において、符号器は、各変換係数を整数値(「量子化スケール因子」と呼ぶ)で除算し、商をその最近隣整数に丸めることにより、量子化された変換係数216を生成することができる。かかる操作後、高周波基底パターンの一部の変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数216を無視することができ、それにより変換係数が更に圧縮される。量子化プロセスも逆変換可能であり、量子化された変換係数216は、量子化の逆操作(「逆量子化」と呼ぶ)内で変換係数に再構築することができる。
【0038】
[58] 符号器は、丸め操作内でかかる除算の剰余を無視するため、量子化段階214は、非可逆であり得る。典型的には、量子化段階214は、プロセス200A内で最大の情報損失に寄与し得る。情報損失が大きいほど、量子化された変換係数216が必要とし得るビットが少なくなる。情報損失の様々なレベルを得るために、符号器は、量子化パラメータの様々な値又は量子化プロセスの他の任意のパラメータを使用することができる。
【0039】
[59] バイナリコード化段階226において、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化又は他の任意の可逆若しくは非可逆圧縮アルゴリズム等のバイナリコード化技法を使用し、予測データ206及び量子化された変換係数216を符号化することができる。一部の実施形態では、予測データ206及び量子化された変換係数216に加えて、符号器は、例えば、予測段階204で使用される予測モード、予測操作のパラメータ、変換段階212の変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)等の他の情報をバイナリコード化段階226で符号化することができる。符号器は、バイナリコード化段階226の出力データを使用して、映像ビットストリーム228を生成することができる。一部の実施形態では、映像ビットストリーム228をネットワーク伝送のために更にパケット化することができる。
【0040】
[60] プロセス200Aの再構築経路を参照すると、逆量子化段階218において、符号器は、量子化された変換係数216に対して逆量子化を行って、再構築された変換係数を生成することができる。逆変換段階220において、符号器は、再構築された変換係数に基づいて、再構築された残差BPU222を生成することができる。符号器は、再構築された残差BPU222を予測されたBPU208に加えて、プロセス200Aの次の反復内で使用される予測基準224を生成することができる。
【0041】
[61] 映像シーケンス202を符号化するために、プロセス200Aの他のバリエーションを使用できることに留意すべきである。一部の実施形態では、符号器は、プロセス200Aの段階を異なる順序で実行することができる。一部の実施形態では、プロセス200Aの1つ又は複数の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス200Aの単一の段階を複数の段階に分けることができる。例えば、変換段階212と量子化段階214とを単一の段階に組み合わせることができる。一部の実施形態では、プロセス200Aは、追加の段階を含み得る。一部の実施形態では、プロセス200Aは、図2A内の1つ又は複数の段階を省くことができる。
【0042】
[62] 図2Bは、本開示の実施形態と合致する符号化プロセスの別の例200Bの概略図を示す。プロセス200Bは、プロセス200Aから修正され得る。例えば、プロセス200Bは、ハイブリッド映像コード化規格(例えば、H.26xシリーズ)に準拠する符号器によって使用され得る。プロセス200Aと比較して、プロセス200Bの順方向経路は、モード決定段階230を更に含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分ける。プロセス200Bの再構築経路は、ループフィルタ段階232及びバッファ234を追加で含む。
【0043】
[63] 概して、予測技法は、空間的予測及び時間的予測の2つの種類に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、現在のBPUを予測するために、同じピクチャ内の既にコード化された1つ又は複数の隣接BPUのピクセルを使用することができる。即ち、空間的予測における予測基準224は、隣接BPUを含み得る。空間的予測は、ピクチャの固有の空間的冗長性を減らすことができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、現在のBPUを予測するために、既にコード化された1つ又は複数のピクチャの領域を使用することができる。即ち、時間的予測における予測基準224は、コード化されたピクチャを含み得る。時間的予測は、ピクチャの固有の時間的冗長性を減らすことができる。
【0044】
[64] プロセス200Bを参照すると、順方向経路において、符号器は、空間的予測段階2042及び時間的予測段階2044で予測操作を行う。例えば、空間的予測段階2042では、符号器は、イントラ予測を行うことができる。符号化されているピクチャの元のBPUに関して、予測基準224は、同じピクチャ内の(順方向経路内で)符号化され、(再構築経路内で)再構築されている1つ又は複数の隣接BPUを含み得る。符号器は、隣接BPUを外挿することにより、予測されたBPU208を生成することができる。外挿技法は、例えば、線形外挿又は線形補間、多項式外挿又は多項式補間等を含み得る。一部の実施形態では、予測されたBPU208のピクセルごとに対応するピクセルの値を外挿することによって等、符号器がピクセルレベルで外挿を行うことができる。外挿に使用される隣接BPUは、垂直方向(例えば、元のBPUの上)、水平方向(例えば、元のBPUの左)、対角線方向(例えば、元のBPUの左下、右下、左上又は右上)又は使用される映像コード化規格内で規定される任意の方向等、様々な方向から元のBPUに対して位置し得る。イントラ予測では、予測データ206は、例えば、使用される隣接BPUの位置(例えば、座標)、使用される隣接BPUのサイズ、外挿のパラメータ、元のBPUに対する使用される隣接BPUの方向等を含み得る。
【0045】
[65] 別の例では、時間的予測段階2044において、符号器は、インター予測を行うことができる。現在のピクチャの元のBPUに関して、予測基準224は、(順方向経路内で)符号化され、(再構築経路内で)再構築されている1つ又は複数のピクチャ(「参照ピクチャ」と呼ぶ)を含み得る。一部の実施形態では、参照ピクチャは、BPUごとに符号化され、再構築され得る。例えば、符号器は、再構築された残差BPU222を予測されたBPU208に加えて、再構築されたBPUを生成することができる。同じピクチャの全ての再構築されたBPUが生成されると、符号器は、再構築されたピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャの範囲(「探索窓」と呼ぶ)内の一致領域を探すために、「動き推定」の操作を行うことができる。参照ピクチャ内の探索窓の位置は、現在のピクチャ内の元のBPUの位置に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内において、現在のピクチャ内の元のBPUと同じ座標を有する位置に中心を置くことができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のBPUと同様の領域を(例えば、pel再帰アルゴリズム、ブロックマッチングアルゴリズム等を使用することによって)識別すると、符号器は、その領域を一致領域として決定することができる。一致領域は、元のBPUと異なる(例えば、それよりも小さい、等しい、大きい又は異なる形状の)寸法を有し得る。参照ピクチャ及び現在のピクチャは、(例えば、図1に示すように)タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のBPUの位置に「移動する」と見なすことができる。符号器は、かかる動きの方向及び距離を「動きベクトル」として記録することができる。(例えば、図1のピクチャ106のように)複数の参照ピクチャが使用される場合、符号器は、参照ピクチャごとに一致領域を探し、その関連する動きベクトルを求めることができる。一部の実施形態では、符号器は、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。
【0046】
[66] 動き推定は、例えば、平行移動、回転、拡大縮小等の様々な種類の動きを識別するために使用することができる。インター予測では、予測データ206は、例えば、一致領域の位置(例えば、座標)、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み等を含み得る。
【0047】
[67] 予測されたBPU208を生成するために、符号器は、「動き補償」の操作を行うことができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測基準224に基づいて、予測されたBPU208を再構築するために使用することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、その中で、符号器は、現在のピクチャの元のBPUを予測することができる。(例えば、図1のピクチャ106のように)複数の参照ピクチャが使用される場合、符号器は、個々の動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。一部の実施形態では、符号器が個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加えることができる。
【0048】
[68] 一部の実施形態では、インター予測は、単方向又は双方向であり得る。単方向のインター予測は、現在のピクチャに対して同じ時間的方向にある1つ又は複数の参照ピクチャを使用することができる。例えば、図1のピクチャ104は、参照ピクチャ(例えば、ピクチャ102)がピクチャ104に先行する単方向のインター予測ピクチャである。双方向のインター予測は、現在のピクチャに対して両方の時間的方向にある1つ又は複数の参照ピクチャを使用することができる。例えば、図1のピクチャ106は、参照ピクチャ(例えば、ピクチャ104及び108)がピクチャ104に対して両方の時間的方向にある双方向のインター予測ピクチャである。
【0049】
[69] プロセス200Bの順方向経路を引き続き参照すると、空間的予測段階2042及び時間的予測段階2044後、モード決定段階230において、符号器は、プロセス200Bの現在の反復のための予測モード(例えば、イントラ予測又はインター予測の1つ)を選択することができる。例えば、符号器は、レート歪み最適化技法を行うことができ、かかる技法では、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じてコスト関数の値を最小化するための予測モードを選択することができる。選択される予測モードに応じて、符号器は、対応する予測されたBPU208及び予測データ206を生成することができる。
【0050】
[70] プロセス200Bの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準224(例えば、現在のピクチャ内で符号化され、再構築されている現在のBPU)を生成した後、符号器は、後に使用するために(例えば、現在のピクチャの次のBPUを外挿するために)空間的予測段階2042に予測基準224を直接フィードすることができる。符号器は、ループフィルタ段階232に予測基準224をフィードすることができ、ループフィルタ段階232では、符号器は、予測基準224にループフィルタを適用して、予測基準224のコード化中に引き起こされる歪み(例えば、ブロッキングアーティファクト)を減らすか又はなくすことができる。例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ等、符号器は、ループフィルタ段階232で様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後に使用するために(例えば、映像シーケンス202の将来のピクチャのためのインター予測基準ピクチャとして使用するために)バッファ234(又は「復号ピクチャバッファ」)内に記憶することができる。符号器は、時間的予測段階2044で使用するために1つ又は複数の参照ピクチャをバッファ234内に記憶することができる。一部の実施形態では、符号器は、量子化された変換係数216、予測データ206及び他の情報と共にループフィルタのパラメータ(例えば、ループフィルタの強度)をバイナリコード化段階226で符号化することができる。
【0051】
[71] 図3Aは、本開示の実施形態と合致する復号プロセス300Aの一例の概略図を示す。プロセス300Aは、図2Aの圧縮プロセス200Aに対応する復元プロセスであり得る。一部の実施形態では、プロセス300Aは、プロセス200Aの再構築経路と同様であり得る。復号器は、プロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号することができる。映像ストリーム304は、映像シーケンス202と非常に類似しているものであり得る。しかし、圧縮及び復元プロセス(例えば、図2A図2Bの量子化段階214)における情報損失により、概して、映像ストリーム304は、映像シーケンス202と同一ではない。図2A図2Bのプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化される各ピクチャについて、基本処理単位(BPU)のレベルでプロセス300Aを実行することができる。例えば、復号器は、プロセス300Aを反復的な方法で実行することができ、復号器は、プロセス300Aの1回の反復において基本処理単位を復号することができる。一部の実施形態では、復号器は、映像ビットストリーム228内に符号化される各ピクチャの領域(例えば、領域114~118)についてプロセス300Aを並列に実行することができる。
【0052】
[72] 図3Aでは、復号器は、符号化ピクチャの基本処理単位(「符号化BPU」と呼ぶ)に関連する映像ビットストリーム228の一部をバイナリ復号段階302にフィードすることができる。バイナリ復号段階302では、復号器は、その部分を予測データ206及び量子化された変換係数216に復号することができる。復号器は、量子化された変換係数216を逆量子化段階218及び逆変換段階220にフィードして、再構築された残差BPU222を生成することができる。復号器は、予測データ206を予測段階204にフィードして、予測されたBPU208を生成することができる。復号器は、再構築された残差BPU222を予測されたBPU208に加えて、予測基準224を生成することができる。一部の実施形態では、予測基準224は、バッファ(例えば、コンピュータメモリ内の復号ピクチャバッファ)内に記憶され得る。復号器は、プロセス300Aの次の反復内で予測操作を行うための予測基準224を予測段階204にフィードすることができる。
【0053】
[73] 復号器は、プロセス300Aを反復的に実行して、符号化ピクチャの各符号化BPUを復号し、符号化ピクチャの次の符号化BPUを符号化するための予測基準224を生成することができる。符号化ピクチャの全ての符号化BPUを復号した後、復号器は、表示するためにピクチャを映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化ピクチャの復号に進むことができる。
【0054】
[74] バイナリ復号段階302では、復号器は、符号器が使用したバイナリコード化技法(例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化又は他の任意の可逆圧縮アルゴリズム)の逆操作を行うことができる。一部の実施形態では、予測データ206及び量子化された変換係数216に加えて、復号器は、例えば、予測モード、予測操作のパラメータ、変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)等の他の情報をバイナリ復号段階302で復号することができる。一部の実施形態では、映像ビットストリーム228がネットワーク上でパケット単位において伝送される場合、復号器は、映像ビットストリーム228をパケット化解除してから、それをバイナリ復号段階302にフィードすることができる。
【0055】
[75] 図3Bは、本開示の実施形態と合致する復号プロセスの別の例300Bの概略図を示す。プロセス300Bは、プロセス300Aから修正され得る。例えば、プロセス300Bは、ハイブリッド映像コード化規格(例えば、H.26xシリーズ)に準拠する復号器によって使用され得る。プロセス300Aと比較して、プロセス300Bは、予測段階204を空間的予測段階2042及び時間的予測段階2044に更に分け、ループフィルタ段階232及びバッファ234を追加で含む。
【0056】
[76] プロセス300Bでは、復号されている符号化ピクチャ(「現在のピクチャ」と呼ぶ)の符号化された基本処理単位(「現在のBPU」と呼ぶ)に関して、復号器によってバイナリ復号段階302から復号される予測データ206は、現在のBPUを符号化するために何れの予測モードが符号器によって使用されたかに応じて様々な種類のデータを含み得る。例えば、現在のBPUを符号化するためにイントラ予測が符号器によって使用された場合、予測データ206は、イントラ予測、イントラ予測操作のパラメータ等を示す予測モードインジケータ(例えば、フラグ値)を含み得る。イントラ予測操作のパラメータは、例えば、参照として使用される1つ又は複数の隣接BPUの位置(例えば、座標)、隣接BPUのサイズ、外挿のパラメータ、元のBPUに対する隣接BPUの方向等を含み得る。別の例では、現在のBPUを符号化するためにインター予測が符号器によって使用された場合、予測データ206は、インター予測、インター予測操作のパラメータ等を示す予測モードインジケータ(例えば、フラグ値)を含み得る。インター予測操作のパラメータは、例えば、現在のBPUに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の1つ又は複数の一致領域の位置(例えば、座標)、一致領域にそれぞれ関連する1つ又は複数の動きベクトル等を含み得る。
【0057】
[77] 予測モードインジケータに基づき、復号器は、空間的予測段階2042で空間的予測(例えば、イントラ予測)を行うか、時間的予測段階2044で時間的予測(例えば、インター予測)を行うかを決めることができる。かかる空間的予測又は時間的予測の実行の詳細は、図2Bに示されており、以下で繰り返さない。かかる空間的予測又は時間的予測を行った後、復号器は、予測されたBPU208を生成することができる。図3Aに記載したように、復号器は、予測されたBPU208と、再構築された残差BPU222とを加えて、予測基準224を生成することができる。
【0058】
[78] プロセス300Bでは、復号器は、プロセス300Bの次の反復内で予測操作を行うための予測基準224を空間的予測段階2042又は時間的予測段階2044にフィードすることができる。例えば、現在のBPUが空間的予測段階2042でイントラ予測を使用して復号される場合、予測基準224(例えば、復号された現在のBPU)を生成した後、復号器は、後に使用するために(例えば、現在のピクチャの次のBPUを外挿するために)空間的予測段階2042に予測基準224を直接フィードすることができる。現在のBPUが時間的予測段階2044でインター予測を使用して復号される場合、予測基準224(例えば、全てのBPUが復号されている参照ピクチャ)を生成した後、復号器は、ループフィルタ段階232に予測基準224をフィードして、歪み(例えば、ブロッキングアーティファクト)を減らすか又はなくすことができる。復号器は、図2Bに記載した方法で予測基準224にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後に使用するために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測基準ピクチャとして使用するために)バッファ234(例えば、コンピュータメモリ内の復号ピクチャバッファ)内に記憶することができる。復号器は、時間的予測段階2044で使用するために1つ又は複数の参照ピクチャをバッファ234内に記憶することができる。一部の実施形態では、予測データは、ループフィルタのパラメータ(例えば、ループフィルタの強度)を更に含むことができる。一部の実施形態では、現在のBPUを符号化するためにインター予測が使用されたことを予測データ206の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータを含む。
【0059】
[79] 図4は、本開示の実施形態と合致する、映像を符号化又は復号するための機器400の一例のブロック図である。図4に示すように、機器400は、プロセッサ402を含み得る。プロセッサ402が本明細書に記載の命令を実行するとき、機器400は、映像を符号化又は復号するための専用マシンになり得る。プロセッサ402は、情報を操作又は処理することができる任意の種類の回路であり得る。例えば、プロセッサ402は、任意の数の中央処理装置(即ち「CPU」)、グラフィックス処理装置(即ち「GPU」)、ニューラル処理ユニット(「NPU」)、マイクロコントローラユニット(「MCU」)、光プロセッサ、プログラム可能論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP)コア、プログラム可能論理アレイ(PLA)、プログラム可能アレイ論理(PAL)、汎用アレイ論理(GAL)、複合プログラム可能論理装置(CPLD)、書換可能ゲートアレイ(FPGA)、システムオンチップ(SoC)、特定用途向け集積回路(ASIC)等の任意の組み合わせを含み得る。一部の実施形態では、プロセッサ402は、単一の論理コンポーネントとしてグループ化されるプロセッサの組でもあり得る。例えば、図4に示すように、プロセッサ402は、プロセッサ402a、プロセッサ402b及びプロセッサ402nを含む複数のプロセッサを含み得る。
【0060】
[80] 機器400は、データ(例えば、命令、コンピュータコード、中間データ等の組)を記憶するように構成されるメモリ404も含み得る。例えば、図4に示すように、記憶データは、プログラム命令(例えば、プロセス200A、200B、300A又は300B内の段階を実装するためのプログラム命令)及び処理用データ(例えば、映像シーケンス202、映像ビットストリーム228又は映像ストリーム304)を含み得る。プロセッサ402は、プログラム命令及び処理用データに(例えば、バス410を介して)アクセスし、プログラム命令を実行して、処理用データに対する演算又は操作を行うことができる。メモリ404は、高速ランダムアクセス記憶装置又は不揮発性記憶装置を含み得る。一部の実施形態では、メモリ404は、任意の数のランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD)カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF)カード等の任意の組み合わせを含み得る。メモリ404は、単一の論理コンポーネントとしてグループ化される(図4には不図示の)メモリ群でもあり得る。
【0061】
[81] 内蔵バス(例えば、CPUメモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、周辺機器コンポーネント相互接続エクスプレスポート)等のバス410は、機器400内のコンポーネント間でデータを転送する通信装置であり得る。
【0062】
[82] 曖昧さを招くことなしに説明を簡単にするために、本開示では、プロセッサ402及び他のデータ処理回路をまとめて「データ処理回路」と呼ぶ。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールであり得るか、又は機器400の他の任意のコンポーネント内に完全に若しくは部分的に組み合わせることができる。
【0063】
[83] 機器400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク等)との有線通信又は無線通信を提供するためのネットワークインタフェース406を更に含み得る。一部の実施形態では、ネットワークインタフェース406は、任意の数のネットワークインタフェースコントローラ(NIC)、無線周波数(RF)モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth(登録商標)アダプタ、赤外線アダプタ、近距離無線通信(「NFC」)アダプタ、セルラネットワークチップ等の任意の組み合わせを含み得る。
【0064】
[84] 一部の実施形態では、機器400は、任意選択的に、1つ又は複数の周辺装置への接続を提供するための周辺装置インタフェース408を更に含み得る。図4に示すように、周辺装置は、限定されないが、カーソル制御装置(例えば、マウス、タッチパッド又はタッチスクリーン)、キーボード、ディスプレイ(例えば、ブラウン管ディスプレイ、液晶ディスプレイ又は発光ダイオードディスプレイ)、映像入力装置(例えば、映像アーカイブに結合されるカメラ又は入力インタフェース)等を含み得る。
【0065】
[85] 映像コーデック(例えば、プロセス200A、200B、300A又は300Bを実行するコーデック)は、機器400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意すべきである。例えば、プロセス200A、200B、300A又は300Bの一部又は全ての段階は、メモリ404内にロード可能なプログラム命令等の、機器400の1つ又は複数のソフトウェアモジュールとして実装され得る。別の例では、プロセス200A、200B、300A又は300Bの一部又は全ての段階は、専用データ処理回路(例えば、FPGA、ASIC、NPU等)等の、機器400の1つ又は複数のハードウェアモジュールとして実装され得る。
【0066】
[86] VVCでは、複数のイントラ予測モードが提供される。図5は、本開示の一部の実施形態による、VVCにおける角度イントラ予測モードを示す。図5に示すように、自然映像内で示される任意のエッジ方向を捕捉するために、VVCにおける角度イントラ予測モードの数は、HEVCで使用される33から65に拡張され、HEVCにない方向モードが点線矢印として描かれている。
【0067】
[87] VVC規格は、(HEVCにあるように)DCモード及び平面モードの2つの非角度イントラ予測モードを実装する。DCイントラ予測モードでは、ブロックに対する参照サンプルの平均サンプル値が予測生成に使用される。VVCでは、矩形ブロックの長辺に沿った参照サンプルのみが平均値を計算するために使用され、正方形ブロックの場合には左側及び上側の両方の参照サンプルが使用される。平面モードでは、予測サンプル値は、4つの参照サンプル値の加重平均として得られる。現在のサンプルと同じ行又は列の参照サンプル及び現在のブロックに対して左下及び右上の位置の参照サンプルである。65の角度モード及び2つの非角度モードは、通常のイントラ予測モードと呼ぶことができる。
【0068】
[88] 一部の実施形態では、最確モードリスト(MPM)が提案される。上記で論じたように、VVCには67の角度モードがある。各ブロックの予測モードを別々に符号化した場合、67のモードを符号化するために7ビットが必要となる。従って、VVCでは、最確モード(MPM)リストを構成する方法が採用されている。画像及び映像のコード化では、通常、隣接ブロックが強い相関を有するため、隣接ブロックのイントラ予測モードは、同一又は同様である可能性が高い。従って、MPMリストは、左の隣接ブロック及び上の隣接ブロックのイントラ予測モードに基づいて構築される。VVCでは、そのMPMリストの長さが6である。MPMリストの生成の複雑さを低く保つために、利用可能な2つの隣接イントラ予測モードから導出される6つのMPMを用いたイントラ予測モードのコード化方法が使用される。
【0069】
[89] MRL(複数参照ライン)コード化ツール及びISP(イントラサブパーティション)コード化ツールの適用の有無にかかわらず、イントラブロックには、一次MPM(PMPM)リストとも呼ばれる統一された6-MPMリストが使用される。MPMリストは、左の隣接ブロック及び上の隣接ブロックのイントラモードに基づいて構築される。左のブロックのイントラモードを「左」として示し、上のブロックのイントラモードを「上」として示すと仮定すると、統一された6-MPMリストは、以下のように構築される。隣接ブロックが利用可能でない場合、イントラ予測モードは、デフォルトで「平面」に設定される。左モード及び上モードの両方が非角度モードである場合、MPMリストは、{平面,DC,V,H,V-4,V+4}に設定され、ここで、Vは、垂直モードと呼ばれ、Hは、水平モードと呼ばれる。左モード及び上モードの一方が角度モードであり、他方が非角度である場合、左及び上の大きい方のモードとしてMaxのモードを設定し、MPMリストを{平面,Max,Max-1,Max+1,Max-2,Max+2}に設定する。左及び上が何れも角度であり、それらが異なる場合、左及び上の大きい方のモードとして「Max」のモードを設定し、左及び上の小さい方のモードとして「Min」のモードを設定する。Max-Minが1に等しい場合、MPMリストは、{平面,左,上,Min-1,Max+1,Min-2}に設定され、そうではなくMax-Minが62以上である場合、MPMリストは、{平面,左,上,Min+1,Max-1,Min+2}に設定される。Max-Minが2に等しい場合、MPMリストは、{平面,左,上,Min+1,Min-1,Max+1}に設定され、さもなければ、MPMリストは、{平面,左,上,Min-1,Min+1,Max-1}に設定される。左及び上が何れも角度であり、それらが同じである場合、MPMリストは、{平面,左,左-1,左+1,左-2,左+2}に設定される。更に、MPMインデックスコードワードの最初のビンは、CABAC(コンテキストベース適応二値算術コード化)コンテキストコード化される。現在のイントラブロックがMRL対応であるか、ISP対応であるか、又は通常のイントラブロックであるかに対応して、合計3つのコンテキストが使用される。61の非MPMモードのエントロピーコード化のために、TBC(トランケーテッドバイナリコード)が使用される。
【0070】
[90] 一部の実施形態では、二次MPM方法を使用することができる。一次MPM(PMPM)リストは、6つのエントリで構成され、二次MPM(SMPM)リストは、16のエントリ含む。最初に、22のエントリを有する一般的なMPMリストが作成され、そのうちの最初の6つのエントリがPMPMリストに含められ、残りのエントリがSMPMリストを形成する。一般的なMPMリストにおける最初のエントリは、平面モードである。次に、隣接ブロックのイントラ予測モードがリストに追加される。図6は、本開示の一部の実施形態による、一般的なMPMリストの導出に使用される例示的な隣接ブロックを示す。図6に示すように、左(L)、上(A)、左下(BL)、右上(AR)及び左上(AL)の隣接ブロックのイントラ予測モードが使用される。CUブロックが垂直方向である場合、隣接ブロックの順序は、A、L、BL、AR、ALとなる。さもなければ、即ちCUブロックが水平方向である場合、隣接ブロックの順序は、L、A、BL、AR、ALとなる。次に、2つの復号器側イントラ予測モードがリストに追加される。次に、オフセットを追加することによってリストの最初の2つの利用可能な角度モードから導出された角度モードがリストに追加される。最後に、リストが完全でない場合にはリストが完全になるまで、即ち22のエントリを有するまでデフォルトモードを追加する。本開示の一部の実施形態によれば、デフォルトモードリストは、{DC,V,H,V-4,V+4,14,22,42,58,10,26,38,62,6,30,34,66,2,48,52,16}として定義される。
【0071】
[91] 復号器では、PMPMフラグが最初にパーズされる。PMPMフラグが1に等しい場合、PMPMリストの何れのエントリが選択されるかを明らかにするために、PMPMインデックスをパーズし、さもなければ、残りのモードについてSMPMインデックスをパーズするかどうかを決定するために、SMPMフラグをパーズする。
【0072】
[92] 一部の実施形態では、位置依存イントラ予測組み合わせ(PDPC)が提供される。VVCでは、イントラ予測の結果がPDPC方法によって更に修正される。PDPCは、シグナリングなしで以下のイントラ予測モードに適用される:平面、DC、水平モード以下のイントラ角度モード及び垂直モード以上のイントラ角度モード。現在のブロックがBDPCM(ブロックベースの差分パルス符号変調)モードである場合又はMRLインデックスが0よりも大きい場合、PDPCは適用されない。
【0073】
[93] 予測サンプルpred(x’,y’)は、イントラ予測モード(例えば、DC、平面又は角度モード)及び参照サンプルの線形結合を使用して、以下の式:
pred(x’,y’)=Clip(0,(1<<BitDepth)-1,(wL×R-1,y’+wT×Rx’,-1+(64-wL-wT)×pred(x’,y’)+32)>>6)
に従って予測され、ここで、Rx’,-1及びR-1,y’は、現在のサンプル(x’,y’)の上及び左の境界に位置する参照サンプルをそれぞれ表す。PDPCの重み及びスケール因子は、予測モード及びブロックサイズに依存する。
【0074】
[94] 更に、復号器側イントラ予測モード導出(DIMD)が提供される。復号器側のイントラ予測モード導出方法では、ルマイントラ予測モードは、ビットストリームによって伝送されない。代わりに、テクスチャ勾配処理を実行して2つの最良モードを導出する。符号器側及び復号器側で同一の様式が使用される。導出された2つのモード及び平面モードの予測子が正常に計算され、3つの予測子の加重平均が現在のブロックの最終予測子として使用される。
【0075】
[95] DIMDモードは、代替イントラ予測モードとして使用され、DIMDモードを使用するかどうかを示すためにブロックごとにフラグがシグナリングされる。フラグが真である(例えば、フラグが1に等しい)場合、DIMDモードが現在のブロックに使用され、BDPCMフラグ、MIP(行列加重イントラ予測)フラグ、ISPフラグ及びMRLインデックスが0であると推定される。この場合、イントラ予測モードの全パーズもスキップされる。フラグが偽である(例えば、フラグが0に等しい)場合、DIMDモードは、現在のブロックに使用されず、他のイントラ予測モードのパーズは、正常に続行される。
【0076】
[96] 2つのイントラ予測モードを導出し、各モードの重みを決定するために、テクスチャ勾配処理を実行することによってヒストグラムが構築される。
【0077】
[97] 図7は、本開示の一部の実施形態による、DIMDにおいて勾配を計算するために使用される例示的なサンプルを示す。図7に示すように、ブロックのDIMDヒストグラムを構築するために、ブロックを取り囲む第2の隣接ラインのL字型テンプレートのサンプル710に対して勾配解析が実行される。テンプレートの利用可能な再構築サンプルごとに、水平及び垂直ソーベルフィルタを適用することによって水平勾配Gx及び垂直勾配Gyが以下のように実施される。
【数1】

図7に示すように、水平及び垂直ソーベルフィルタは、フィルタウィンドウ720を有する。
【0078】
[98] 水平勾配Gx及び垂直勾配Gyが計算されるテンプレート内のサンプルごとに、Gx及びGyを用いて勾配の強度(G)及び向き(O)を以下のように更に計算する。
【数2】
【0079】
[99] 勾配の向きOは、最も近いイントラ角度予測モードに変換され、最初にゼロに初期化されるヒストグラムのインデックス付けに使用される。そのイントラ角度予測モードにおけるヒストグラムの値がGだけ増加される。テンプレート内の全てのサンプルが処理されると、ヒストグラムは、イントラ角度予測モードごとに勾配強度の累積値を含む。その後の予測融合プロセスのために、最大の振幅値及び2番目に大きい振幅値を有する2つのモードが選択され、それぞれM及びMとして印付けされる。ヒストグラムの最大振幅値が0である場合、現在のブロックのイントラ予測モードとして平面モードが選択される。
【0080】
[100] DIMDでは、現在のブロックの最終予測値を生成するために、2つの最大ヒストグラム振幅値に対応する2つのイントラ予測角度モードM及びMを平面モードと組み合わせる。
【0081】
[101] 上記の3つの予測子の加重平均として予測ブレンドが適用される。平面モードの重みは、21/64(約1/3に等しい)に固定される。M及びMの振幅値に比例し、残りの重み43/64(約2/3に等しい)がM及びM間で共有される。図8は、本開示の一部の実施形態によるDIMDの予測ブレンドプロセスを示す。図8に示すように、ampl(M)及びampl(M)は、M及びMの振幅値をそれぞれ表す。
【0082】
[102] DIMDモードは、ルマブロックにのみ使用される。現在のルマブロックがDIMDモードを選択する場合、現在のブロックの低周波非分離変換(LFNST)セットの選択、隣接するルマブロックの最確モード(MPM)リストの導出及び同位置にあるクロマブロックの直接モード(DM)の導出のために、現在のブロックのイントラ予測モードがMとして記憶される。
【0083】
[103] 更に一部の実施形態では、別の復号器側イントラ予測モード導出方法である、MPMを使用するテンプレートベースイントラモード導出(TIMD)を使用することができる。CUのイントラ予測モードは、シグナリングされる代わりに、符号器側及び復号器側の両方においてテンプレートベースの方法で導出される。MPMリストから候補が構築され、候補モードは、VVCと同様に67のイントラ予測モードであり得るか、又は131のイントラ予測モードに拡張され得る。図9は、本開示の一部の実施形態による、TIMDで使用される例示的なテンプレート及び参照サンプルを示す。図9に示すように、候補モードごとにテンプレートの参照サンプル920を使用してテンプレート910の予測サンプルを生成する。テンプレートの予測サンプルと再構築サンプルとの間の絶対変換差の和(SATD)として値を計算する。SATDの最小値を有するイントラ予測モードをTIMDモードとして選択し、現在のCUのイントラ予測に使用する。
【0084】
[104] TIMDモードは、CUのための追加のイントラ予測方法として使用される。TIMDを有効/無効にするために、シーケンスパラメータセット(SPS)内でフラグがシグナリングされる。フラグが真である(例えば、フラグが1に等しい)場合、TIMDが使用されるかどうかを示すためにCUレベルフラグがシグナリングされる。TIMDフラグは、MIPフラグの後にシグナリングされる。TIMDフラグが真である(例えば、TIMDフラグが1に等しい)場合、MRL、ISPを含むルマイントラ予測モードに関係する残りのシンタックス要素及びルマイントラ予測モードのための通常のパーズ段階が全てスキップされる。
【0085】
[105] TIMDでは、イントラ予測モードの数が131に拡張されているため、現在のブロックのイントラ予測モードを記憶する場合、131のモードをVVCの元の67のイントラ予測モードにマッピングするためのテーブルが使用される。
【0086】
[106] 開示する実施形態と合致して、TIMD融合方法と呼ばれるTIMD方法から2つのイントラ予測モードの融合を導出することができる。最小のSATD値を有する1つのモードのみを選択する代わりに、TIMD方法を使用して、最初の2つの最小SATD値を有する2つのモードを選択し、その後、選択した2つのモードの予測子をブレンドして現在のブロックの最終予測子を生成する。2つのモードの重みは、2つのモードのSATD値に反比例する。
【0087】
[107] MPMリストの構築中、隣接ブロックがインターコード化されている場合、隣接ブロックのイントラ予測モードは、平面モードとして導出される。開示する実施形態と合致して、MPMリストの精度を改善するために、隣接ブロックがインターコード化される場合、隣接ブロックの動きベクトル及び参照ピクチャを使用して伝播イントラ予測モードが導出され、MPMリストの構築において伝播イントラ予測モードが使用される。具体的には、インターコード化ブロックに関して、自らの動きベクトル及び参照ピクチャに従って参照ブロックを決定することができる。参照ブロックがイントラコード化される場合、現在のブロックの伝播イントラ予測モードは、参照ブロックのイントラ予測モードに設定される。参照ブロックがインターコード化される場合、現在のブロックの伝播イントラ予測モードは、参照ブロックの伝播イントラ予測モードに設定される。その後、現在のブロックの伝播イントラ予測モードは、隣接ブロックのMPMリストの構築に使用することができる。
【0088】
[108] 複合インター及びイントラ予測(CIIP)が提供される。VVCでは、CUがマージモードでコード化されるとき、CUが少なくとも64ルマサンプル含む(即ちCU幅×CU高さが64以上である)場合並びにCU幅及びCU高さの両方が128ルマサンプル未満である場合、CIIPモードが現在のCUに適用されるかどうかを示すために追加のフラグがシグナリングされる。CIIPの予測は、インター予測子をイントラ予測子と組み合わせる。CIIPモードにおけるインター予測子Pinterは、通常のマージモードに適用される同じインター予測プロセスを使用して導出され、イントラ予測子Pintraは、平面モードによる通常のイントラ予測プロセスに従って導出される。図10は、本開示の一部の実施形態による、CIIPの重みの導出に使用される上及び左の隣接ブロックを示す。イントラ予測子及びインター予測子が加重平均を用いて組み合わされ、重み値は、(図10に示すように)上及び左の隣接ブロックのコード化モードに応じて計算される。
【0089】
[109] イントラ予測子及びインター予測子の重み(wIntra,wInter)は、以下のように適応的に設定される。上の隣接及び左の隣接の両方がイントラコード化される場合、(wIntra,wInter)は、(3,1)に等しく設定される。これらのブロックの一方がイントラコード化される場合、重みは、同一、即ち(2,2)に等しく設定される。上の隣接及び左の隣接の何れもイントラコード化されていない場合、重みは、(1,3)に等しく設定される。CIIP予測子は、以下のように形成される。
CIIP=(wInter*Pinter+wIntra*Pintra+2)>>2
【0090】
[110] 一部の実施形態では、イントラモード及びインターモードに関するマルチ仮説予測を使用することができる。マージCUでは、フラグが真の場合にイントラ候補リストからイントラ予測モードを選択するために、マージモードに関して1つのフラグがシグナリングされる。ルマ成分では、イントラ候補リストは、DCモード、平面モード、水平モード及び垂直モードを含む4つのイントラ予測モードから導出される。イントラ予測モードインデックスによって選択された1つのイントラ予測モード及びマージインデックスによって選択された1つのインター予測モードは、加重平均を使用して組み合わされる。予測を組み合わせるための重みについては、以下の通り説明する。DC若しくは平面モードが選択された場合又はCUの幅若しくは高さが4未満である場合、等しい重みが適用される。CUの幅及び高さが4以上のCUでは、水平/垂直モードが選択される場合、まず1つのCUが4つの等しいサイズの領域に垂直又は水平に分割される。iが1~4であり、(wIntra1,wInter1)=(6,2)、(wIntra2,wInter2)=(5,3)、(wIntra3,wInter3)=(3,5)及び(wIntra4,wInter4)=(2,6)である、(wIntrai,wInteri)として示す各重み集合が対応する領域に適用される。(wIntra1,wInter1)は、参照サンプルに最も近い領域のためのものであり、(wIntra4,wInter4)は、参照サンプルから最も遠い領域のためのものである。複合予測子は、2つの加重予測子を合計し、あるビット数だけ右シフトすることによって計算することができ、ビット数は、2つの重みの和の対数によって得られる。この例では、複合予測子は、2つの加重予測子を合計し、3ビット右シフトすることによって得られる。一部の実施形態では、2つの重みの和が1に等しい場合、1の対数は0であるため、2つの加重予測子を直接合計することによって複合予測子を得ることができる。右シフトする必要はない。例えば、各重み集合は、(wIntra1,wInter1)=(6/8,2/8)、(wIntra2,wInter2)=(5/8,3/8)、(wIntra3,wInter3)=(3/8,5/8)及び(wIntra4,wInter4)=(2/8,6/8)であり得、対応する領域に適用される。(wIntra1,wInter1)は、参照サンプルに最も近い領域のためのものであり、(wIntra4,wInter4)は、参照サンプルから最も遠い領域のためのものである。
【0091】
[111] 一部の実施形態では、CIIP_PDPCモードを使用することができる。CIIP_PDPCでは、上(Rx,-1)及び左(-1,Ry)の再構築サンプルを使用して、通常のマージモードの予測が精密化される。この精密化は、位置依存予測組み合わせ(PDPC)方式を継承する。図11は、本開示の一部の実施形態によるCIIP_PDPCの例示的なフローチャートを示す。図11を参照すると、WT及びWLは、PDPC内で定義されるブロック内のサンプル位置に依存する加重値である。
【0092】
[112] CIIP_PDPCモードは、CIIPモードと共にシグナリングされる。CIIPフラグが真である場合、CIIP_PDPCを使用するかどうかを示すために別のフラグ、即ちCIIP_PDPCフラグが更にシグナリングされる。
【0093】
[113] 現在のCIIP設計では、平面モードのみがイントラ予測部分の導出に使用される。イントラモード及びインターモード方法のマルチ仮説予測でも、イントラ予測部分の生成に使用されるイントラ予測モードは、選択できるのは、最大でも4つのモードからのみである。従って、CIIPにおけるイントラ予測子は、十分に正確ではない。
【0094】
[114] CIIPのイントラ予測部分をより多くのイントラ予測モードから選択できるようにした場合、精度を改善することができる。しかし、何れのイントラ予測モードを使用するかを示すためにより多くのビットが必要となる。DIMD及びTIMDは、イントラ予測モードのシグナリングを節約することができる2つの復号器側イントラ予測モード導出方法であることを考慮し、CIIPのイントラ予測子を生成するために、DIMD及び/又はTIMDによって導出されるイントラ予測モードを使用することは、コード化性能を改善し得る。
【0095】
[115] 本開示では、コード化性能を改善するために、CIIP予測子を生成するための幾つかの方法を提供する。
【0096】
[116] 一部の実施形態では、CIIPにおけるイントラ予測子を生成する方法が提案される。
【0097】
[117] 第1の実施形態では、CIIPにおけるイントラ予測子を生成するために使用可能な通常のイントラ予測モードは、図5に示すように、CIIP_通常モードと呼ぶことができる最大で67のモードまで拡張される。図12は、本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法1200の例示的なフローチャートを示す。方法1200は、復号器によって(例えば、図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行され得るか、又は機器(例えば、図4の機器400)の1つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ(例えば、図4のプロセッサ402)が方法1200を実行し得る。一部の実施形態では、方法1200は、コンピュータ(例えば、図4の機器400)によって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装され得る。図12を参照すると、方法1200は、以下のステップS1202及びS1206を含み得る。
【0098】
[118] S1202では、CIIPにおけるイントラ予測子の生成に使用するイントラ予測モードを、複数のイントラ予測モードから選択する。一部の実施形態では、イントラ予測モードは、図5に示す角度イントラ予測モード、及び2つの非角度イントラ予測モードである平面モード及びDCモードから選択される。従って、CIIPにおけるイントラ予測子を生成するために使用されるイントラ予測モードの数は、最大で67であり得る。イントラ予測子は、通常のイントラ予測プロセスに従って導出することができる。一部の実施形態では、CIIPにおけるイントラ予測子は、MIPモード、ISPモード、MRLモード等の非正規のイントラ予測モードを用いて生成することができる。
【0099】
[119] S1204では、選択したイントラ予測モードを示すパラメータ(例えば、インデックス)を復号する。例えば、インデックスの値は、それぞれ異なるイントラ予測モードに対応し得る(例えば、0~66)。一部の実施形態では、インデックスは、MIPモード、ISPモード、MRLモード等に対応し得る。インデックスは、本明細書で限定しない様々な方法でコード化することができる。
【0100】
[120] ステップS1206では、選択したイントラ予測モードを使用して、CIIPにおけるイントラ予測子を生成する。
【0101】
[121] 平面モードのみを使用する代わりに、CIIPの精度が改善されるように複数のイントラ予測モードをイントラ予測子の生成に使用することができる。
【0102】
[122] 第2の実施形態では、DIMD及びCIIPの組み合わせ(例えば、CIIP_DIMDモード)が提供される。具体的には、CIIPにおけるイントラ予測子の生成にDIMD情報が使用される。
【0103】
[123] 一部の実施形態では、CIIPにおけるイントラ予測子は、DIMDのブレンド予測方法を使用して生成される。この例では、DIMDヒストグラム内の最初の2つの最大振幅値を有する2つのイントラ予測角度モード、及び平面モードの予測子を加重平均して、CIIPにおける最終的なイントラ予測子を生成する。
【0104】
[124] 一部の実施形態では、現在のブロックに対してDIMDテクスチャ勾配プロセスが実行される。CIIPにおけるイントラ予測子は、DIMDヒストグラム内の最大振幅値を有するイントラ予測モードを使用して生成される。
【0105】
[125] 一部の実施形態では、DIMD情報に従い、幾つかの固定イントラ予測モードから選択されるイントラ予測モードを使用して、CIIPにおけるイントラ予測子が生成される。具体的には、固定イントラ予測モードは、平面モード、水平モード及び垂直モードを含む。例えば、DIMDヒストグラム内の最大振幅値を有するイントラ予測モードが水平モードに近い場合(例えば、導出されたモードインデックスと水平モードインデックスとの差の絶対値が10未満である場合)、水平モードを使用して、CIIPにおけるイントラ予測子を生成する。モードが垂直モードに近い場合(例えば、導出されたモードインデックスと垂直モードインデックスとの差の絶対値が10未満である場合)、垂直モードを使用して、CIIPにおけるイントラ予測子を生成する。さもなければ、平面モードを使用して、CIIPにおけるイントラ予測子を生成する。
【0106】
[126] 一部の実施形態では、イントラ予測モードの部分集合から選択することにより、CIIPにおけるイントラ予測子を生成することができる。図13は、本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法1300の例示的なフローチャートを示す。方法1300は、復号器によって(例えば、図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行され得るか、又は機器(例えば、図4の機器400)の1つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ(例えば、図4のプロセッサ402)が方法1300を実行し得る。一部の実施形態では、方法1300は、コンピュータ(例えば、図4の機器400)によって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装され得る。図13を参照すると、方法1300は、以下のステップS1302~S1306を含み得る。
【0107】
[127] ステップS1302では、DIMDヒストグラムに従ってイントラ予測モードの部分集合を導出する。イントラ予測モードの部分集合は、DIMDヒストグラムにおいて最初のN個の最大振幅値を有するN個のモードを含み、Nは、正の整数である。
【0108】
[128] ステップ1304では、選択したイントラ予測モードを示すパラメータ(例えば、インデックス)を決定する。
【0109】
[129] ステップ1306では、選択したイントラ予測モードを使用して、CIIPにおけるイントラ予測子を生成する。
【0110】
[130] 一部の実施形態では、ブレンド予測に使用されるイントラ予測モード及び各イントラ予測モードの重みが現在のDIMD設計と異なる場合、CIIPにおけるイントラ予測子は、ブレンド予測方法、最大の重みを有するイントラ予測モード及び最大の重みを有する非平面イントラ予測モードの1つを用いて生成することができる。
【0111】
[131] 第3の実施形態では、TIMD及びCIIPの組み合わせ(例えば、CIIP_TIMDモード)が提供される。具体的には、CIIPにおけるイントラ予測子の生成にTIMD情報が使用される。例えば、CIIPモードが対象ブロックに対して有効であると決定された場合、CIIPにおけるイントラ予測子は、TMID方法を使用して決定されるイントラ予測モードを用いて生成される。
【0112】
[132] 一部の実施形態では、CIIPにおけるイントラ予測子は、TIMD方法によって導出される拡張イントラ予測モードを使用して生成することができる。現在のTIMD設計では、導出された拡張イントラ予測モードのインデックスは、0~130の範囲である。従って、CIIPにおけるイントラ予測子の生成に使用される拡張イントラ予測モードの数は、131までであり得る。
【0113】
[133] 一部の実施形態では、TIMD方法によって導出される0~130に及ぶインデックスを有する拡張イントラ予測モードを、0~66に及ぶインデックスを有するVVC内の通常のイントラ予測モードにマッピングすることができ、マッピングされた通常のイントラ予測モードを使用して、CIIPにおけるイントラ予測子が生成される。
【0114】
[134] 一部の実施形態では、TIMDによって導出されたイントラ予測モードに従い、CIIPにおけるイントラ予測子を生成するために幾つかの固定イントラ予測モードの1つが選択される。例えば、固定イントラ予測モードは、平面モード、水平モード及び垂直モードを含み得る。導出されたモードが水平モードに近い場合(例えば、導出されたモードインデックスと水平モードインデックスとの差の絶対値が10未満である場合)、水平モードを使用して、CIIPにおけるイントラ予測子を生成する。導出されたモードが垂直モードに近い場合(例えば、導出されたモードインデックスと垂直モードインデックスとの差の絶対値が10未満である場合)、垂直モードを使用して、CIIPにおけるイントラ予測子を生成する。さもなければ、平面モードを使用して、CIIPにおけるイントラ予測子を生成する。
【0115】
[135] 一部の実施形態では、TIMD方法を使用して計算されたコスト(例えば、SATD)に従ってイントラ予測モードの部分集合が導出され、イントラ予測モードの部分集合は、小さいコストを有するN個のモードを含む。イントラ予測モードの部分集合から1つのモードを選択するためにパラメータ(例えば、インデックス)がシグナリングされ、選択されたモードを使用して、CIIPにおけるイントラ予測子が生成される。
【0116】
[136] 上記で説明したように、イントラ予測モードのリストがTIMD方法を使用して構築され、1つのイントラ予測がテンプレートベース導出方法によってリストから選択される。一部の実施形態では、CIIPにおけるイントラ予測モードを導出するためにTIMD方法が使用される場合、使用されるイントラ予測モードリストは、通常のTIMDと異なり得る。
【0117】
[137] 一部の実施形態では、CIIPにおけるイントラ予測子は、通常のTIMDイントラ予測モードリストの部分集合によって導出されるイントラ予測モードを使用して生成される。
【0118】
[138] 一部の実施形態では、通常のTIMDイントラ予測モードリストの部分集合は、固定TIMDイントラ予測モードリスト、例えば平面モード、DCモード、水平モード及び垂直モードを含む固定TIMDイントラ予測モードリストである。CIIPにおけるイントラ予測子は、固定TIMDイントラ予測モードリストによって導出されるイントラ予測モードを使用して生成される。
【0119】
[139] 一部の実施形態では、CIIPにおける最終的なイントラ予測子は、TIMDイントラ予測モードリストにおいて最小のSATD値を有するイントラ予測モードを使用して生成される。図14は、本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法1400の例示的なフローチャートを示す。方法1400は、復号器によって(例えば、図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行され得るか、又は機器(例えば、図4の機器400)の1つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ(例えば、図4のプロセッサ402)が方法1400を実行し得る。一部の実施形態では、方法1400は、コンピュータ(例えば、図4の機器400)によって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装され得る。図14を参照すると、方法1400は、以下のステップS1402~S1406を含み得る。
【0120】
[140] ステップS1402では、TIMDモードリスト内の各イントラ予測モードに関するSATDの値を計算する。
【0121】
[141] ステップS1404では、CIIPにおけるイントラ予測子の生成に使用するイントラ予測モードとして、最小値を有するイントラ予測モードを決定する。
【0122】
[142] ステップS1406では、決定したイントラ予測モードを使用して、CIIPにおけるイントラ予測子を生成する。
【0123】
[143] 一部の実施形態では、TIMDイントラ予測モードリストにおいて最小のSATD値を有するイントラ予測モードは、(例えば、0~67のインデックスを有する)VVC内の通常のイントラ予測モードに更にマッピングされ、その後、マッピングされた通常のイントラ予測モードを使用して、CIIPにおける最終的なイントラ予測子が生成される。
【0124】
[144] 第4の実施形態では、TIMD融合方法及びCIIP方法の組み合わせ(例えば、CIIP_TIMD融合モード)が提供される。具体的には、TIMD融合方法の情報を使用して、CIIPにおけるイントラ予測子が生成される。一部の実施形態では、CIIPにおける最終的なイントラ予測子は、TIMDイントラ予測モードリストにおける最初の2つの最小SATD値を有する2つのイントラ予測モードの予測子を加重平均することによって生成される。
【0125】
[145] 第5の実施形態では、TIMDイントラ予測モードリスト内の一部のイントラ予測モードのSATD値を係数でスケーリングし、スケーリングされたSATD値を使用して、現在のブロックに使用されるイントラ予測モードを導出することにより、TIMD方法又はTIMD融合方法の導出方法を修正することが提案される。図15は、本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法1500の例示的なフローチャートを示す。方法1500は、復号器によって(例えば、図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行され得るか、又は機器(例えば、図4の機器400)の1つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ(例えば、図4のプロセッサ402)が方法1500を実行し得る。一部の実施形態では、方法1500は、コンピュータ(例えば、図4の機器400)によって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装され得る。図15を参照すると、方法1500は、以下のステップS1502~S1506を含み得る。
【0126】
[146] ステップS1502では、TIMDイントラ予測モードリスト内の各モードのテンプレートのSATD値を計算する。
【0127】
[147] ステップS1504では、1つ又は複数のSATD値を係数でスケーリングする。一部の実施形態では、平面モードのSATD値に係数が乗算される。係数は、0よりも大きく、1よりも小さい任意の正値であり得る。例えば、係数は、0.9に等しくてもよい。
【0128】
[148] 一部の実施形態では、平面モードのSATD値に現在のブロックのブロックサイズに基づく係数が乗算され、これは、異なるサイズのブロックに異なる係数が使用可能であることを意味する。例えば、サイズが1024よりも大きいブロックでは、係数が0.8に等しく、サイズが1024以下のブロックでは、係数が0.9に等しい。
【0129】
[149] 一部の実施形態では、TIMDイントラ予測モードリストの部分集合内のイントラ予測モードのSATD値に係数を乗算する。係数は、0よりも大きく、1よりも小さい任意の正値であり得る。例えば、部分集合は、平面モード及びDCモードを含むリスト、又は平面モード、DCモード、水平モード及び垂直モードを含むリストであり得る。この例では、様々なイントラ予測モードに対する係数が異なり得る。同じイントラ予測モードでも、ブロックサイズが異なれば係数も異なり得る。
【0130】
[150] ステップS1506では、スケーリングしたSATD値を使用して決定されたイントラ予測を使用して、CIIPにおけるイントラ予測子を生成する。
【0131】
[151] 第6の実施形態では、平面モードのSATD値に基づいて、TIMD方法又はTIMD融合方法の導出方法を修正することができる。図16は、本開示の一部の実施形態による、CIIPにおけるイントラ予測子を生成する方法1600の例示的なフローチャートを示す。方法1600は、復号器によって(例えば、図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行され得るか、又は機器(例えば、図4の機器400)の1つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ(例えば、図4のプロセッサ402)が方法1600を実行し得る。一部の実施形態では、方法1600は、コンピュータ(例えば、図4の機器400)によって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装され得る。図16を参照すると、方法1600は、以下のステップS1602~S1606を含み得る。
【0132】
[152] ステップ1602では、TIMDイントラ予測モードリスト内の各モードのテンプレートのSATD値を計算する。
【0133】
[153] ステップ1604では、平面モードのSATD値を最小のSATD値と比較する。
【0134】
[154] ステップ1606では、平面モードのSATD値が、最小のSATD値に十分に近い(例えば、平面モードのSATD値が最小のSATD値の1.2倍を超えない)場合、平面モードを使用して、CIIPにおけるイントラ予測子を生成する。
【0135】
[155] 一部の実施形態では、方法1500及び1600は、TIMD又はTIMD融合情報を使用するCIIPモードコード化ブロックにのみ使用される。
【0136】
[156] 第7の実施形態では、DIMD、TIMD及びCIIP方法の組み合わせが提供される。具体的には、CIIPにおけるイントラ予測子を生成するために、DIMD及びTIMDの情報が一緒に使用される。
【0137】
[157] 一部の実施形態では、CIIPにおける最終的なイントラ予測子を生成するために、(DIMDとCIIPとの組み合わせの方法を提供する第2の実施形態に記載した)DIMD情報によって生成されるイントラ予測子と、(TIMDとCIIPとの組み合わせの方法を提供する第3の実施形態に記載した)TIMD情報によって生成されるイントラ予測子とがブレンドされる。
【0138】
[158] 一部の実施形態では、CIIPにおけるイントラ予測子を生成するために使用されるイントラ予測モードを導出するためのTIMD方法の入力リストとして、DIMDヒストグラムにおいてN個の最大振幅値を有するN個のモード、平面モード及びDCモードが使用される。Nの値は、2~65の任意の正の整数値であり得る。
【0139】
[159] 一部の実施形態では、TIMD導出モードが、DIMDヒストグラムにおいてN個の最大振幅値を有するN個のモード、平面モード及びDCモードの1つである場合にのみ、CIIPにおけるイントラ予測子を生成するためにTIMD導出モードが使用される。さもなければ、CIIPにおけるイントラ予測子を生成するために平面モードが使用される。
【0140】
[160] 説明の便宜上、本開示では、修正されたイントラ予測子生成方法を有する上記の実施形態で提案したCIIPモードを、CIIP_新規モードと呼ぶ。CIIP_新規モードは、CIIP_通常モード、CIIP_DIMDモード、CIIP_TIMDモード、CIIP_TIMD融合モード等の任意の改変形態を含んでもよいことが理解され得る。
【0141】
[161] 一部の実施形態では、CIIPにおけるインター予測子及びイントラ予測子の重みを修正することができる。
【0142】
[162] 第8の実施形態では、提案されるCIIP_新規モードにおけるインター予測子及びイントラ予測子の重み(wIntra,wInter)は、現在のCIIP設計と同じであるか又は異なり得ることが提案される。
【0143】
[163] 一部の実施形態では、提案されるCIIP_新規モードにおけるインター予測子及びイントラ予測子の重みが現在のCIIP設計と同じである。例えば、上の隣接及び左の隣接の両方がイントラコード化される場合、(wIntra,wInter)は、(3,1)に等しく設定される。これらのブロックの1つがイントラコード化される場合、これらの重みは、同一、即ち(2,2)であり、さもなければ、重みは、(1,3)に等しく設定される。
【0144】
[164] 一部の実施形態では、提案されるCIIP_新規モードにおけるインター予測子及びイントラ予測子の重みは、イントラ予測子を生成するために使用されるイントラ予測モードに依存する。例えば、イントラ予測モードが水平モード又は垂直モードに近い場合(例えば、イントラ予測モードインデックスと水平又は垂直モードインデックスとの差の絶対値が閾値未満)であり、幅又は高さが4未満でない場合、上記で説明したようにイントラ及びインターモードの方法のためのマルチ仮説予測の重みが使用される。例えば、イントラ予測モードがVVCの67のモードの1つである場合、閾値は、0~34に及び得る。閾値は、任意の有効な正の整数であり得る。
【0145】
[165] 図17A及び図17Bは、本開示の一部の実施形態による、コード化ブロックを垂直及び水平にそれぞれ分割する例示的な方法を示す。図17Aに示すように、近水平モード(例えば、イントラ予測モードインデックス(即ち角度モードインデックス)が2以上及び34未満である)の場合、現在のブロックは、まず、左から右に0~3のサブブロックインデックスを有する4つの等しいサイズのサブブロックに垂直に分割される。図17Bに示すように、近垂直(near-vertical)モード(例えば、イントラ予測モードインデックスが34よりも大きく、66以下である)の場合、現在のブロックは、まず、上から下に0~3のサブブロックインデックスを有する4つの等しいサイズのサブブロックに水平に分割される。一部の実施形態では、イントラ予測モードが拡張される場合、近水平(near-horizontal)モードは、角度モードインデックスが左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満であるモードを指す。近垂直モードは、角度モードインデックスが左上から右下への対角モードの角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下であるモードを指す。
【0146】
[166] 異なるサブブロックに異なる重み(wIntra,wInter)が使用される。例えば、表1に示すように、4つのサブブロックに対して4組の重み(wIntra1,wInter1)=(6,2)、(wIntra2,wInter2)=(5,3)、(wIntra3,wInter3)=(3,5)及び(wIntra4,wInter4)=(2,6)がそれぞれ使用される。
【0147】
【表1】
【0148】
[167] さもなければ、例えばイントラ予測モードインデックスが0又は1である場合、現在のCIIP設計と同じ重みが使用される。即ち、上の隣接及び左の隣接の両方がイントラコード化される場合、(wIntra,wInter)は、(3,1)に等しく設定される。これらのブロックの1つがイントラコード化される場合、これらの重みは、同一、即ち(2,2)となる。上の隣接及び左の隣接の何れもイントラコード化されていない場合、重みは、(1,3)に等しく設定される。
【0149】
[168] 図18は、本開示の一部の実施形態による、角度イントラ予測モードでコード化ブロックを分割するための別の例示的な方法を示す。図18を参照すると、角度イントラ予測モードが対角モードに近い(例えば、角度イントラ予測モードインデックスと対角インデックス(即ちVVCの34)との差の絶対値が閾値未満である)場合、現在のブロックは、4つの領域に分割され、異なる領域に対して異なる重み(wIntra,wInter)が使用される。例えば、4つの領域に対して4組の重み(wIntra1,wInter1)=(6,2)、(wIntra2,wInter2)=(5,3)、(wIntra3,wInter3)=(3,5)及び(wIntra4,wInter4)=(2,6)がそれぞれ使用される。
【0150】
[169] 一部の実施形態では、隣接ブロックのコード化モードに基づく重み導出方法及びサブ領域に基づく重み導出方法を組み合わせる。例えば、上の隣接及び左の隣接の両方がイントラコード化される場合、4つの領域に対して4組の重み(wIntra1,wInter1)=(7,1)、(wIntra2,wInter2)=(6,2)、(wIntra3,wInter3)=(4,4)及び(wIntra4,wInter4)=(3,5)が使用される。これらのブロックの1つのみがイントラコード化される場合、4つの領域に対して4組の重み(wIntra1,wInter1)=(6,2)、(wIntra2,wInter2)=(5,3)、(wIntra3,wInter3)=(3,5)及び(wIntra4,wInter4)=(2,6)が使用される。上の隣接及び左の隣接の何れもイントラコード化されていない場合、4つの領域に対して4組の重み(wIntra1,wInter1)=(5,3)、(wIntra2,wInter2)=(4,4)、(wIntra3,wInter3)=(2,6)及び(wIntra4,wInter4)=(1,7)が使用される。
【0151】
[170] 一部の実施形態では、第8の実施形態における前述の方法によって重み(wIntra,wInter)を導出するために、CIIPにおけるイントラ予測子を生成するために使用されるイントラ予測モードが最初に広角モードに変換される。
【0152】
[171] 一部の実施形態では、イントラ予測子は、幾つかのイントラ予測モードをブレンドすることによって生成される。第8の実施形態における前述の方法によって(wIntra,wInter)を導出するために、平面モード、又は最大の重みを有するイントラ予測モード、又は最大の重みを有する非平面イントラ予測モードを使用することが提案される。
【0153】
[172] 一部の実施形態では、CIIP_新規モードをシグナリングする方法が提供される。
【0154】
[173] 第9の実施形態では、平面モード及び通常のマージモードをブレンドする元のCIIPモードは、イントラ予測子を生成する方法を修正する、提案されるCIIP_新規モードで置換される。
【0155】
[174] 第10の実施形態では、元のCIIPモード(例えば、平面モードのみで生成されたイントラ予測子)を、提案されるCIIP_新規モード(例えば、CIIP_通常モード、CIIP_DIMDモード、CIIP_TIMDモード、CIIP_TIMD融合モード等)で置換するかどうかを適応的に決定する。
【0156】
[175] 図19は、本開示の一部の実施形態による、予測モードを決定する方法1900の例示的なフローチャートを示す。方法1900は、復号器によって(例えば、図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行され得るか、又は機器(例えば、図4の機器400)の1つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ(例えば、図4のプロセッサ402)が方法1900を実行し得る。一部の実施形態では、方法1900は、コンピュータ(例えば、図4の機器400)によって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具体化されるコンピュータプログラム製品によって実装され得る。図19を参照すると、方法1900は、以下のステップS1902~S1906を含み得る。
【0157】
[176] ステップS1902では、元のCIIPモード又はCIIP_新規モードを現在のブロックについて決定する。一部の実施形態では、この決定は、現在のブロックのサイズに基づく。例えば、閾値を上回るサイズを有するブロックでは、元のCIIPモードが使用され、閾値以下のサイズを有するブロックでは、提案されたCIIP_新規モードが使用される。例えば、閾値は、1024に等しくてもよい。
【0158】
[177] 一部の実施形態では、この決定は、現在のブロックの幅及び高さに基づく。例えば、閾値を上回る幅又は高さを有するブロックでは、元のCIIPモードが使用され、さもなければ、提案されたCIIP_新規モードが使用される。例えば、閾値を上回る長辺と短辺との比率を有するブロックでは、元のCIIPモードが使用され、さもなければ、提案されたCIIP_新規モードが使用される。
【0159】
[178] 一部の実施形態では、この決定は、DIMD方法において最大振幅値を有するイントラ予測モードと、TIMD方法において最小のSATD値を有するイントラ予測モードとの間の関係に基づく。例えば、2つのイントラ予測モードが同様である(例えば、2つのモードのインデックスの差の絶対値が4未満である)場合、提案されたCIIP_新規モードが使用され、さもなければ元のCIIPモードが使用される。
【0160】
[179] ステップS1904では、元のCIIPモードが使用されているか又はCIIP_新規モードが使用されているかを示すパラメータ(例えば、フラグ)を復号する。
【0161】
[180] ステップS1906では、パラメータに従って元のCIIPモード又はCIIP_新規モードを実行する。一部の実施形態では、現在のブロックに基づいて(例えば現在のブロックのサイズに基づいて)、CIIP_新規モードの何れが使用されるかを明らかにするために更なる決定を実行することができる。
【0162】
[181] 第11の実施形態では、提案されたCIIP_新規モードを新しいCIIPモードとして使用することができ、何れのCIIPモードを使用するかを決定するために明示的なシグナリング方法が使用される。
【0163】
[182] 例えば、CIIP_新規モードが1つのみ追加される場合、表2に示すように、何れのCIIPモードを使用するかを決定するために0~2のCIIPインデックスがシグナリングされる。
【0164】
【表2】
【0165】
[183] 例えば、2つのCIIP_新規モードが追加される場合、表3に示すように、何れのCIIPモードを使用するかを決定するために0~3のCIIPインデックスがシグナリングされ、CIIP_DIMDモードは、第2の実施形態に記載したCIIP及びDIMDの組み合わせを意味し、CIIP_TIMDモードは、第3の実施形態に記載したCIIP及びTIMDの組み合わせを意味する。
【0166】
【表3】
【0167】
[184] 一部の実施形態では、開示したCIIPモードをクロマサンプルのコード化に使用することができる。
【0168】
[185] 現在のCIIP設計では、CIIPでコード化されたクロマブロックについて、イントラ予測子を導出するためにDMモード(同位置にあるルマブロックのイントラ予測モード)が使用される。本開示では、クロマブロックについて、同位置にあるルマブロックが、提案されたCIIP_新規モードによってコード化される場合、イントラ予測子を生成するために同じイントラ予測モード導出方法が現在のクロマブロックに使用されることを提案する。一部の実施形態では、イントラ予測子を生成するために、CIIP_新規モードでコード化されたクロマブロックに対して平面モードが常に使用される。
【0169】
[186] 一部の実施形態では、開示したCIIP_新規モードによってコード化されたブロックに関して、イントラ予測子を生成するために使用されるインター予測モード、又は平面モード、又はイントラ予測モードとしてブロックの予測モードを記憶することができる。
【0170】
[187] 一部の実施形態では、CIIPの伝播イントラ予測モードが提案される。
【0171】
[188] 一部の実施形態では、元のCIIPモード又は提案されたCIIP_新規モードによってコード化されるブロックの伝播イントラ予測モードを修正することが提案される。
【0172】
[189] 一部の実施形態では、元のCIIPモード又は提案されたCIIP_新規モードによってコード化されるブロックに関して、伝播イントラ予測モードが平面モードに設定され、MPMリストの構築に使用される。他のインターコード化ブロックでは、伝播イントラ予測モードが動きベクトル及び参照ピクチャを使用して導出される。
【0173】
[190] 一部の実施形態では、元のCIIPモード又は提案されたCIIP_新規モードによってコード化されるブロックに関して、伝播イントラ予測モードは、CIIPにおけるイントラ予測子を生成するために使用されるイントラ予測モードに設定され、MPMリストの構築に使用される。他のインターコード化ブロックでは、伝播イントラ予測モードは、動きベクトル及び参照ピクチャを使用して導出される。
【0174】
[191] 一部の実施形態では、CIIP_PDPCモードによってコード化されるブロックの伝播イントラ予測モードを修正することが提案される。CIIP_PDPCモードによってコード化されるブロックに関して、伝播イントラ予測モードは、平面モードに設定され、MPMリストの構築に使用される。他のインターコード化ブロックでは、伝播イントラ予測モードは、動きベクトル及び参照ピクチャを使用して導出される。
【0175】
[192] 一部の実施形態では、元のCIIPモード又は提案されたCIIP_新規モードによって及びCIIP_PDPCモードによってコード化されたブロックに関する、伝播イントラ予測モードを決定するための前述の2つの方法を組み合わせることができる。例えば、元のCIIPモード又は提案されたCIIP_新規モードによってコード化されるブロックでは、伝播イントラ予測モードは、CIIPにおけるイントラ予測子を生成するために使用されるイントラ予測モードに設定される。CIIP_PDPCモードによってコード化されるブロックでは、伝播イントラ予測モードは、平面モードに設定され、他のインターコード化ブロックでは、伝播イントラ予測モードは、動きベクトル及び参照ピクチャを使用して導出される。
【0176】
[193] 前述の実施形態は、任意の組み合わせで組み合わせることができる。
【0177】
[194] 実施形態は、以下の条項を用いて更に説明することができる:
1.複合インター及びイントラ予測(CIIP)を行う方法であって、
対象ブロックについてCIIPが有効であると判定すること、
テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を含む方法。
2.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックの絶対変換差の和(SATD)の値を計算すること、及び
対象ブロックの第1のイントラ予測モードとして、最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定すること
を更に含む、条項1に記載の方法。
3.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックのSATDの値を計算すること、
最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定し、最小のSATD値を有するイントラ予測モードを通常のイントラ予測モードにマッピングすること、及び
対象ブロックの第1のイントラ予測モードとして通常のイントラ予測モードを決定すること
を更に含む、条項1に記載の方法。
4.対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象の最終予測子を得ることは、
第1のイントラ予測モードが角度モードであることに応答して、第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定すること、及び
それぞれイントラ重み及びインター重みで対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を更に含む、条項1に記載の方法。
5.第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定することは、
対象ブロックを複数のサブブロックに分割することであって、対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値以上である場合に水平に分割されること、及び
複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること
を更に含み、
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることは、
複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、複数のサブ最終予測子のそれぞれは、それぞれのサブブロックのサブイントラ重み及びサブインター重みでイントラ予測子及びインター予測子を加重平均することによって決定されること、
複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって最終予測子を得ることであって、ビット数は、サブイントラ重み及びサブインター重みの和の対数によって得られること
を更に含む、条項4に記載の方法。
6.対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満である場合、4つの等しいサイズのサブブロックに垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左上から右下への対角モードの角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下である場合、4つの等しいサイズのサブブロックに水平に分割され、
4つの等しいサイズのサブブロックは、第1のサブブロック、第2のサブブロック、第3のサブブロック及び第4のサブブロックを含み、第1、第2、第3及び第4のサブブロックは、対象ブロックが垂直に分割される場合に左から右に、又は対象ブロックが水平に分割される場合に上から下にそれぞれ配置され、及び
第1のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ6及び2であり、
第2のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ5及び3であり、
第3のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ3及び5であり、及び
第4のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ2及び6である、条項5に記載の方法。
7.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
対象ブロックが閾値以下のサイズを有する場合、TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、及び
対象ブロックが閾値を上回るサイズを有する場合、対象ブロックの第1のイントラ予測モードを平面モードとして決定すること
を更に含む、条項1~6の何れか一項に記載の方法。
8.閾値は、1024に等しい、条項7に記載の方法。
9.伝播イントラ予測モードとして平面モードを設定すること、及び
伝播イントラ予測モードで対象ブロックの隣接ブロックの最確モード(MPM)リストを構築すること
を更に含む、条項1~8の何れか一項に記載の方法。
10.複合インター及びイントラ予測(CIIP)を実行するための機器であって、
命令を記憶するように構成されるメモリと、
1つ又は複数のプロセッサと、を含み、1つ又は複数のプロセッサは、
対象ブロックについてCIIPが有効であると判定すること、
テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を機器に行わせるために命令を実行するように構成される、機器。
11.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定する際、1つ又は複数のプロセッサは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックの絶対変換差の和(SATD)の値を計算すること、及び
対象ブロックの第1のイントラ予測モードとして、最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定すること
を機器に行わせるために命令を実行するように更に構成される、条項10に記載の機器。
12.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定する際、1つ又は複数のプロセッサは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックのSATDの値を計算すること、
最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定し、最小のSATD値を有するイントラ予測モードを通常のイントラ予測モードにマッピングすること、及び
対象ブロックの第1のイントラ予測モードとして通常のイントラ予測モードを決定すること
を機器に行わせるために命令を実行するように更に構成される、条項10に記載の機器。
13.対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象の最終予測子を得る際、1つ又は複数のプロセッサは、
第1のイントラ予測モードが角度モードであることに応答して、第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定すること、及び
それぞれイントラ重み及びインター重みで対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を機器に行わせるために命令を実行するように更に構成される、条項10に記載の機器。
14.第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定する際、1つ又は複数のプロセッサは、
対象ブロックを複数のサブブロックに分割することであって、対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値以上である場合に水平に分割されること、及び
複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること
を機器に行わせるために命令を実行するように更に構成され、
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることは、
複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、複数のサブ最終予測子のそれぞれは、それぞれのサブブロックのサブイントラ重み及びサブインター重みでイントラ予測子及びインター予測子を加重平均することによって決定されること、
複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって最終予測子を得ることであって、ビット数は、サブイントラ重み及びサブインター重みの和の対数によって得られること
を更に含む、条項13に記載の機器。
15.対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満である場合、4つの等しいサイズのサブブロックに垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左上から右下への対角モードの角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下である場合、4つの等しいサイズのサブブロックに水平に分割され、
4つの等しいサイズのサブブロックは、第1のサブブロック、第2のサブブロック、第3のサブブロック及び第4のサブブロックを含み、第1、第2、第3及び第4のサブブロックは、対象ブロックが垂直に分割される場合に左から右に、又は対象ブロックが水平に分割される場合に上から下にそれぞれ配置され、及び
第1のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ6及び2であり、
第2のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ5及び3であり、
第3のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ3及び5であり、及び
第4のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ2及び6である、条項14に記載の機器。
16.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定する際、1つ又は複数のプロセッサは、
対象ブロックが閾値以下のサイズを有する場合、TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、及び
対象ブロックが閾値を上回るサイズを有する場合、対象ブロックの第1のイントラ予測モードを平面モードとして決定すること
を機器に行わせるために命令を実行するように更に構成される、条項10~15の何れか一項に記載の機器。
17.閾値は、1024に等しい、条項16に記載の機器。
18.1つ又は複数のプロセッサは、
伝播イントラ予測モードとして平面モードを設定すること、及び
伝播イントラ予測モードで対象ブロックの隣接ブロックの最確モード(MPM)リストを構築すること
を機器に行わせるために命令を実行するように更に構成される、条項10~17の何れか一項に記載の機器。
19.命令の組を記憶する非一時的コンピュータ可読媒体であって、命令の組は、複合インター及びイントラ予測(CIIP)を行う方法を機器に開始させるために機器の1つ又は複数のプロセッサによって実行可能であり、方法は、
対象ブロックについてCIIPが有効であると判定すること、
テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を含む、非一時的コンピュータ可読媒体。
20.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックの絶対変換差の和(SATD)の値を計算すること、及び
対象ブロックの第1のイントラ予測モードとして、最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定すること
を更に含む、条項19に記載の非一時的コンピュータ可読媒体。
21.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックのSATDの値を計算すること、
最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定し、最小のSATD値を有するイントラ予測モードを通常のイントラ予測モードにマッピングすること、及び
対象ブロックの第1のイントラ予測モードとして通常のイントラ予測モードを決定すること
を更に含む、条項19に記載の非一時的コンピュータ可読媒体。
22.対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象の最終予測子を得ることは、
第1のイントラ予測モードが角度モードであることに応答して、第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定すること、及び
それぞれイントラ重み及びインター重みで対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を更に含む、条項19に記載の非一時的コンピュータ可読媒体。
23.第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定することは、
対象ブロックを複数のサブブロックに分割することであって、対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値以上である場合に水平に分割されること、及び
複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること
を更に含み、
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることは、
複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、複数のサブ最終予測子のそれぞれは、それぞれのサブブロックのサブイントラ重み及びサブインター重みでイントラ予測子及びインター予測子を加重平均することによって決定されること、
複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって最終予測子を得ることであって、ビット数は、サブイントラ重み及びサブインター重みの和の対数によって得られること
を更に含む、条項22に記載の非一時的コンピュータ可読媒体。
24.対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満である場合、4つの等しいサイズのサブブロックに垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左上から右下への対角モードの角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下である場合、4つの等しいサイズのサブブロックに水平に分割され、
4つの等しいサイズのサブブロックは、第1のサブブロック、第2のサブブロック、第3のサブブロック及び第4のサブブロックを含み、第1、第2、第3及び第4のサブブロックは、対象ブロックが垂直に分割される場合に左から右に、又は対象ブロックが水平に分割される場合に上から下にそれぞれ配置され、及び
第1のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ6及び2であり、
第2のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ5及び3であり、
第3のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ3及び5であり、及び
第4のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ2及び6である、条項23に記載の非一時的コンピュータ可読媒体。
25.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
対象ブロックが閾値以下のサイズを有する場合、TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、及び
対象ブロックが、閾値を上回るサイズを有する場合、対象ブロックの第1のイントラ予測モードを平面モードとして決定すること
を更に含む、条項19~24の何れか一項に記載の非一時的コンピュータ可読媒体。
26.閾値は、1024に等しい、条項25に記載の非一時的コンピュータ可読媒体。
27.方法は、
伝播イントラ予測モードとして平面モードを設定すること、及び
伝播イントラ予測モードで対象ブロックの隣接ブロックの最確モード(MPM)リストを構築すること
を更に含む、条項19~26の何れか一項に記載の非一時的コンピュータ可読媒体。
28.複合インター及びイントラ予測(CIIP)を行う方法であって、
テンプレートベースイントラモード導出(TIMD)方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
第1のイントラ予測モードで対象ブロックのイントラ予測子を生成すること、
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること、及び
CIIPが有効であることを示すフラグと、TIMD方法が対象ブロックの第1のイントラ予測モードの決定に使用されていることを示すインデックスとをシグナリングすること
を含む方法。
29.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックの絶対変換差の和(SATD)の値を計算すること、及び
対象ブロックの第1のイントラ予測モードとして、最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定すること
を更に含む、条項28に記載の方法。
30.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
TIMDモードリスト内の複数のイントラ予測モードにそれぞれ関連する対象ブロックのSATDの値を計算すること、
最小のSATD値を有するイントラ予測モードを複数のイントラ予測モードの中から決定し、最小のSATD値を有するイントラ予測モードを通常のイントラ予測モードにマッピングすること、及び
対象ブロックの第1のイントラ予測モードとして通常のイントラ予測モードを決定すること
を更に含む、条項28に記載の方法。
31.対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象の最終予測子を得ることは、
第1のイントラ予測モードが角度モードであることに応答して、第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定すること、及び
それぞれイントラ重み及びインター重みで対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を更に含む、条項28に記載の方法。
32.第1のイントラ予測モードに基づいてイントラ重み及びインター重みを決定することは、
対象ブロックを複数のサブブロックに分割することであって、対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値以上である場合に水平に分割されること、及び
複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること
を更に含み、
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ることは、
複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、複数のサブ最終予測子のそれぞれは、それぞれのサブブロックのサブイントラ重み及びサブインター重みでイントラ予測子及びインター予測子を加重平均することによって決定されること、
複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって最終予測子を得ることであって、ビット数は、サブイントラ重み及びサブインター重みの和の対数によって得られること
を更に含む、条項31に記載の方法。
33.対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左下から右上への対角モードの角度モードインデックス以上であり、及び左上から右下への対角モードの角度モードインデックス未満である場合、4つの等しいサイズのサブブロックに垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが、左上から右下への対角モードの角度モードインデックス以上であり、及び右上から左下への対角モードの角度モードインデックス以下である場合、4つの等しいサイズのサブブロックに水平に分割され、
4つの等しいサイズのサブブロックは、第1のサブブロック、第2のサブブロック、第3のサブブロック及び第4のサブブロックを含み、第1、第2、第3及び第4のサブブロックは、対象ブロックが垂直に分割される場合に左から右に、又は対象ブロックが水平に分割される場合に上から下にそれぞれ配置され、及び
第1のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ6及び2であり、
第2のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ5及び3であり、
第3のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ3及び5であり、及び
第4のサブブロックのサブイントラ重み及びサブインター重みは、それぞれ2及び6である、条項32に記載の方法。
34.TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定することは、
対象ブロックが閾値以下のサイズを有する場合、TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、及び
対象ブロックが閾値を上回るサイズを有する場合、対象ブロックの第1のイントラ予測モードを平面モードとして決定すること
を更に含む、条項28~33の何れか一項に記載の方法。
35.閾値は、1024に等しい、条項34に記載の方法。
36.伝播イントラ予測モードとして平面モードを設定すること、及び
伝播イントラ予測モードで対象ブロックの隣接ブロックの最確モード(MPM)リストを構築すること
を更に含む、条項28~35の何れか一項に記載の方法。
37.ビットストリームを記憶する非一時的コンピュータ可読媒体であって、ビットストリームは、符号化映像データに関連するフラグ及び第1のインデックスを含み、フラグは、符号化映像データのためにインター及びイントラ予測(CIIP)が使用されることを示し、第1のインデックスは、CIIPに使用されるテンプレートベースイントラモード導出(TIMD)方法を示し、フラグ及びインデックスは、
TIMD方法を使用して、対象ブロックの第1のイントラ予測モードを決定すること、
イントラ予測モードで対象ブロックのイントラ予測子を生成すること、及び
対象ブロックのイントラ予測子及び対象ブロックのインター予測子を加重平均することにより、対象ブロックの最終予測子を得ること
を復号器に行わせる、非一時的コンピュータ可読媒体。
38.ビットストリームは、映像データに関連する角度モードインデックスを更に含み、角度モードインデックスは、
対象ブロックを複数のサブブロックに分割することであって、対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値未満である場合に垂直に分割されるか、又は対象ブロックは、第1のイントラ予測モードの角度モードインデックスが既定値以上である場合に水平に分割されること、及び
複数のサブブロックのそれぞれのサブイントラ重み及びサブインター重みを決定すること、
複数のサブブロックにそれぞれ関連する複数のサブ最終予測子を決定することであって、複数のサブ最終予測子のそれぞれは、それぞれのサブブロックのサブイントラ重み及びサブインター重みでイントラ予測子及びインター予測子を加重平均することによって決定されること、
複数のサブ最終予測子の和を決定すること、及び
あるビット数だけ右シフトすることによって最終予測子を得ることであって、ビット数は、サブイントラ重み及びサブインター重みの和の対数によって得られること
を復号器に行わせる、条項37に記載の非一時的コンピュータ可読媒体。
【0178】
[195] 一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うための装置(開示した符号器及び復号器等)によって実行され得る。非一時的媒体の一般的な形式は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM、EPROM、FLASH(登録商標)-EPROM又は他の任意のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、他の任意のメモリチップ又はカートリッジ及びそれらのもののネットワーク化されたバージョンを含む。装置は、1つ又は複数のプロセッサ(CPU)、入力/出力インタフェース、ネットワークインタフェース及び/又はメモリを含み得る。
【0179】
[196] 本明細書の「第1」及び「第2」等の関係語は、あるエンティティ又は操作を別のエンティティ又は操作と区別するために使用されるに過ぎず、それらのエンティティ又は操作間のいかなる実際の関係又は順序も必要としないか又は含意しないことに留意すべきである。更に、「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式の用語は、意味の点で均等であることを意図し、これらの用語の何れか1つの後に続く項目がかかる項目の網羅的列挙であることを意図しないか、又は列挙する項目のみに限定されることを意図しない点で非限定的であることを意図する。
【0180】
[197] 本明細書で使用するとき、別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、可能な全ての組み合わせを包含する。例えば、データベースがA又はBを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、A若しくはB又はA及びBを含むことができる。第2の例として、データベースがA、B又はCを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、A、B、C、A及びB、A及びC、B及びC、A及びB及びCを含むことができる。
【0181】
[198] 上記の実施形態は、ハードウェア、ソフトウェア(プログラムコード)又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、そのソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。プロセッサによって実行されるとき、ソフトウェアは、開示した方法を行うことができる。本開示に記載した計算ユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実装することができる。上記のモジュール/ユニットの複数のものを1つのモジュール/ユニットとして組み合わせることができ、上記のモジュール/ユニットのそれぞれを複数のサブモジュール/サブユニットに更に分けることができることも当業者であれば理解するであろう。
【0182】
[199] 上記の本明細書では、実装形態ごとに変わり得る多数の具体的詳細に関して実施形態を説明してきた。記載した実施形態に対する特定の適応形態及び修正形態がなされ得る。本明細書を検討し、本明細書で開示した本発明を実践することで他の実施形態が当業者に明らかになり得る。本明細書及び例は、専ら例として検討され、本発明の真の範囲及び趣旨は、添付の特許請求の範囲によって示されることを意図する。図中に示すステップの順序は、例示目的に過ぎず、特定のステップの順序に限定されることを意図しない。そのため、それらのステップは、同じ方法を実装しながら異なる順序で実行できることを当業者であれば理解することができる。
【0183】
[200] 図面及び本明細書で例示的実施形態を開示してきた。しかし、それらの実施形態に対する多くの改変形態及び修正形態がなされ得る。従って、特定の用語を用いたが、それらの用語は、一般的な及び記述的な意味で使用されたものに過ぎず、限定を目的とするものではない。
図1
図2A
図2B
図3A
図3B
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17A
図17B
図18
図19
【国際調査報告】