特表 2024-503193 フレーム内予測方法、装置、及びデコーダとエンコーダ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-25

(54)【発明の名称】フレーム内予測方法、装置、及びデコーダとエンコーダ

(51)【国際特許分類】

   H04N 19/593 20140101AFI20240118BHJP

   H04N 19/11 20140101ALI20240118BHJP

   H04N 19/157 20140101ALI20240118BHJP

   H04N 19/176 20140101ALI20240118BHJP

   H04N 19/70 20140101ALI20240118BHJP

【ＦＩ】

H04N19/593

H04N19/11

H04N19/157

H04N19/176

H04N19/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023533963

(86)(22)【出願日】2020-12-03

(85)【翻訳文提出日】2023-06-27

(86)【国際出願番号】 CN2020133692

(87)【国際公開番号】W WO2022116113

(87)【国際公開日】2022-06-09

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(74)【代理人】

【識別番号】100220630

【弁理士】

【氏名又は名称】河崎 亮

(72)【発明者】

【氏名】ワン、ファン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159RC12

5C159TA31

5C159TB08

5C159TC26

5C159TC27

5C159UA02

5C159UA05

(57)【要約】

フレーム内予測方法、装置及びエンコーダとデコーダを提供する。本願の実施例において、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、２種類以上の予測ブロックを取得し、重みマトリックスに基づいて、得られた２種類以上の予測ブロックに対して組み合わせを行い、それによって、処理待ちブロックの予測ブロックを得る。本願の実施例は、複数の種類のフレーム内予測モードによって複数の予測ブロックを決定し、複雑なテクスチャの予測処理を実現し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。さらに、本願の実施例に提供されるフレーム内予測方法を適用して、多様化の重みマトリックスによって、より複雑なテクスチャの予測処理に保障を提供し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。

【特許請求の範囲】

【請求項1】

デコーダに適用されるフレーム内予測方法であって、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む、フレーム内予測方法。

【請求項2】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、
コードストリームを解析し、前記２種類以上の異なるフレーム内予測モード、前記処理待ちブロック、及び前記重みマトリックスを取得するステップを含む、
請求項１に記載のフレーム内予測方法。

【請求項3】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、
コードストリームを解析し、フラグを取得するステップを含み、
前記フラグは、フレームレベルのフラグであり、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行するかどうかを表すためのものであり、
及び／又は、前記フラグは、フレームレベル以下、且つ符号化ユニット（ＣＵ）レベル以上のフラグであり、示された領域に対して前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行するかどうかを表すためのものである、
請求項１に記載のフレーム内予測方法。

【請求項4】

前記２種類以上の異なるフレーム内予測モードは、第１フレーム内予測モードを含み、又は、第１フレーム内予測モードと第２フレーム内予測モードを含み、
第１フレーム内予測モードは、他のフレーム内予測モードに依存せずに予測ブロックを独立で生成するフレーム内予測モードであり、第２フレーム内予測モードは、基本フレーム内予測モードに依存して予測ブロックを決定するフレーム内予測モードである、
請求項１～３のいずれか１項に記載のフレーム内予測方法。

【請求項5】

前記２種類以上の異なるフレーム内予測モードは、少なくとも１種類の前記第１フレーム内予測モードを含む、
請求項４に記載のフレーム内予測方法。

【請求項6】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
２種類の異なるフレーム内予測モードは、いずれも前記第１フレーム内予測モードである、
請求項５に記載のフレーム内予測方法。

【請求項7】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
２種類の異なるフレーム内予測モードは、１種類の前記第１フレーム内予測モードと１種類の前記第２フレーム内予測モードを含む、
請求項５に記載のフレーム内予測方法。

【請求項8】

前記第１フレーム内予測モードは、方向角度（ＤＣ）モード、平滑（Ｐｌａｎａｒ）モード、平面（Ｐｌａｎｅ）モード、双線形（Ｂｉｌｉｎｅａｒ）モード、及び角度予測（ＡＣ）モード、を含む、
請求項５に記載のフレーム内予測方法。

【請求項9】

前記第２フレーム内予測モードは、参照画素のサブ画素補間を改善し、予測画素に対してフィルタリングを行うステップを含む、
請求項５に記載のフレーム内予測方法。

【請求項10】

前記フレーム内予測方法はさらに、
前記第２フレーム内予測モードを採用して前記目標予測ブロックに対してフレーム内予測を行い、予測して得られた結果を前記目標予測ブロックとするステップを含む、
請求項６に記載のフレーム内予測方法。

【請求項11】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、前記予測ブロックは、第１予測ブロックと第２予測ブロックを含み、前記重みマトリックスは、第１重みマトリックスと第２重みマトリックスを含み、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップは、
第１予測ブロックと第１重みマトリックスとの第１積を計算し、第２予測ブロックと第２重みマトリックスとの第２積を計算するステップと、
第１積、第２積、及び事前設定値の和を計算するステップと、
計算して得られた和に基づいて、前記目標予測ブロックを得るステップと、を含む、
請求項１～３のいずれか１項に記載のフレーム内予測方法。

【請求項12】

前記第２重みマトリックスは、最大重み値と前記第１重みマトリックスとの差であり、
前記正規化処理は、計算して得られた和を事前設定のビット数だけ右シフトし、復号化待ちブロックの予測ブロックを得るステップを含む、
請求項１１に記載のフレーム内予測方法。

【請求項13】

前記最大重み値は８に等しく、前記事前設定値は４に等しく、前記事前設定のビット数は３に等しい、
請求項１２に記載のフレーム内予測方法。

【請求項14】

すべての可能な前記重みマトリックスに、少なくとも２つの異なる重み値が含まれる重みマトリックスは、少なくとも１つ存在する、
請求項１１に記載のフレーム内予測方法。

【請求項15】

すべての可能な前記重みマトリックスに、少なくとも２つの異なる重み値が含まれる重みマトリックスは、少なくとも１つ存在し、しかも、同一の重み値だけが含まれる重みマトリックスは、少なくとも１つ存在する、
請求項１４に記載のフレーム内予測方法。

【請求項16】

少なくとも２つの異なる重み値が含まれる少なくとも１つの前記重みマトリックスの場合、最小重み値と最大重み値に基づいて、前記処理待ちブロックにおける各点は、いずれも２つのフレーム内予測モードによって導出された予測値を加重して得られるものである、
請求項１４に記載のフレーム内予測方法。

【請求項17】

すべての可能な前記重みマトリックスに、２種類の重み値だけが含まれる重みマトリックスは、１つしか存在することがなく、そのうちの１つの重み値は、対応する点の予測値が完全に第１予測ブロックの対応する点の値からのものであることを表し、もう１つの重み値は、対応する点の予測値が完全に第２予測ブロックの対応する点の値からのものであることを表す、
請求項１４に記載のフレーム内予測方法。

【請求項18】

すべての可能な前記重みマトリックスにおいて、１つの重みマトリックスは、複数の種類の重み値を含み、重み値の最大値と最小値のそれぞれは、対応する点の予測値が完全に前記第１予測ブロックの対応する点の値と前記第２予測ブロックの対応する点の値からのものであることを表し、最大値と最小値ではない重み値は、対応する点の予測値が前記第１予測ブロックと前記第２予測ブロックの対応する点の値の加重平均からのものであることを表す、
請求項１４に記載のフレーム内予測方法。

【請求項19】

すべての可能な前記重みマトリックスにおいて、重みマトリックスが２種類の重み値だけを含む場合、重み値の変化位置は、１本の直線として表され、
重みマトリックスが複数の種類の重み値を含む場合、過渡領域における重み値が同じである位置は、１本の直線として表される、
請求項１４に記載のフレーム内予測方法。

【請求項20】

すべての可能な前記重みマトリックスにおいて、重みマトリックスが２種類の重み値だけを含む場合、重み値の変化位置は、１本の曲線として表され、
重みマトリックスが複数の種類の重み値を含む場合、過渡領域における重み値が同じである位置は、１本の曲線を構成する、
請求項１４に記載のフレーム内予測方法。

【請求項21】

前記処理待ちブロック又は目標予測ブロックの幅と高さは、
幅が第１閾値ＴＨ１以上であり、高さが第２閾値ＴＨ２以上であり、
又は、幅が第４閾値ＴＨ４以下であり、高さが第５閾値ＴＨ５ｓ以下である、
請求項１に記載のフレーム内予測方法。

【請求項22】

前記第１閾値ＴＨ１は前記第２閾値ＴＨ２に等しく、前記第１閾値ＴＨ１は８に等しい、
請求項２１に記載のフレーム内予測方法。

【請求項23】

前記処理待ちブロック又は目標予測ブロックの幅と高さは、
幅と高さの比例が事前設定の比例閾値ＴＨＲ以下であり、高さと幅の比例が比例閾値ＴＨＲ以下である、
請求項１又は２１に記載のフレーム内予測方法。

【請求項24】

前記比例閾値ＴＨＲは４に等しい、
請求項２３に記載のフレーム内予測方法。

【請求項25】

前記フレーム内予測方法はさらに、
前記フレーム内予測方法に使用された前記フレーム内予測モード情報を記憶するステップを含む、
請求項１～３のいずれか１項に記載のフレーム内予測方法。

【請求項26】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
前記フレーム内予測方法に使用された前記フレーム内予測モードを記憶するステップは、
記憶したフレーム内予測モードが異なる最小ユニットは、少なくとも２つ存在することを含む、
請求項２５に記載のフレーム内予測方法。

【請求項27】

前記フレーム内予測方法に使用された前記フレーム内予測モードを記憶するステップは、
前記処理待ちブロック全体に対応するすべての最小ユニットに、同一のフレーム内予測モードを選択して記憶を行うステップを含む、
請求項２５に記載のフレーム内予測方法。

【請求項28】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
前記復号化待ちブロック全体に対応するすべての最小ユニットに、同一のフレーム内予測モードを選択して記憶を行うステップは、
コードストリームを解析して得られた前記重みマトリックス導出モードに基づいて、前記処理待ちブロックのすべての最小ユニットに、いずれも２種類のフレーム内予測モードのうちの１種類のフレーム内予測モードを記憶し、又は、２種類のフレーム内予測モードのうちの別の１種類のフレーム内予測モードを記憶することを決定するステップ、
又は、前記重みマトリックスの導出モードのモード番号に基づいて、前記処理待ちブロックのすべての最小ユニットに、いずれも２種類のフレーム内予測モードのうちの１種類のフレーム内予測モードを記憶し、又は、２種類のフレーム内予測モードのうちの別の１種類のフレーム内予測モードを記憶することを決定するステップ、を含む、
請求項２７に記載のフレーム内予測方法。

【請求項29】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
前記復号化された前記２種類の異なるフレーム内予測モードのうちの１種類のフレーム内予測モードの情報に基づいて、別の１種類のフレーム内予測モードを決定する、
請求項２に記載のフレーム内予測方法。

【請求項30】

前記第１フレーム内予測モードと前記第２フレーム内予測モードは、いずれも最も可能なモード（ＭＰＭ）を使用する、
請求項２９に記載のフレーム内予測方法。

【請求項31】

コンピュータ実行可能な命令を記憶したコンピュータ可読記憶媒体であって、前記コンピュータ実行可能な命令は、請求項１～３０のいずれか１項に記載のフレーム内予測方法を実現させるためのものである、コンピュータ可読記憶媒体。

【請求項32】

メモリとプロセッサを含むデコーダであって、メモリは、プロセッサに実行可能な命令を記憶し、前記実行可能な命令は、請求項１～３０のいずれか１項に記載のフレーム内予測方法のステップを実現させるためのものである、デコーダ。

【請求項33】

復号化モジュール、予測モジュール、及び組み合わせモジュール、を含むデコーダであって、
復号化モジュールは、受け取ったコードストリームに対して復号化を行い、２種類以上の異なるフレーム内予測モード、処理待ちブロック、及び重みマトリックスを取得するように構成され、
予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成され、
組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される、デコーダ。

【請求項34】

前記復号化モジュールはさらに、
フレームレベルのフラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される、
請求項３３に記載のデコーダ。

【請求項35】

前記復号化モジュールはさらに、フレームレベル以下、且つＣＵレベル以上のフラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される、
請求項３３に記載のデコーダ。

【請求項36】

エンコーダに適用されるフレーム内予測方法であって、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む、フレーム内予測方法。

【請求項37】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、
すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択するステップと、
組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される前記２種類以上の異なるフレーム内予測モード、前記重みマトリックスとするステップと、を含む、
請求項３６に記載のフレーム内予測方法。

【請求項38】

前記試行の前に、前記フレーム内予測方法はさらに、
前記処理待ちブロックのテクスチャに対して分析を行うステップを含み、
前記試行はさらに、テクスチャの分析結果に基づいて前記試行のフレーム内予測モードを決定するステップを含む、
請求項３７に記載のフレーム内予測方法。

【請求項39】

前記試行の後に、前記フレーム内予測方法はさらに、
選出された組み合わせの損失コストが他の予測モードのコスト以下である場合、前記選出された組み合わせにおけるフレーム内予測モードを前記処理待ちブロックの予測モードとすることを決定し、選出された組み合わせの損失コストが他の予測モードのコストより大きい場合、他の種類の予測モードを前記処理待ちブロックの予測モードとして選択するステップを含む、
請求項３７に記載のフレーム内予測方法。

【請求項40】

前記損失コストを計算する方式は、
絶対誤差和（ＳＡＤ）、変化残差絶対値和（ＳＡＴＤ）、及びレート歪み最適化（ＲＤＯ）、のうちの１種類又は任意の組み合わせを含む、
請求項３７、３８又は３９に記載のフレーム内予測方法。

【請求項41】

損失コストが小さい組み合わせを選択するステップは、
ＳＡＴＤ及び／又はＳＡＤを採用して一次選別操作を行い、すべて又は一部の前記可能な予測モードと重みマトリックス導出モードの組み合わせから候補組み合わせを決定するステップと、
ＲＤＯを採用して二次選別操作を行い、候補組み合わせから損失コストが最も小さい組み合わせを決定するステップと、を含む、
請求項３７、３８又は３９に記載のフレーム内予測方法。

【請求項42】

フレーム内角度予測モードによるコストが大きい場合、該フレーム内角度予測モード、及び該フレーム内角度予測モードに隣接する事前設定の数量のフレーム内予測モードを、前記候補組み合わせから除去する、
請求項３７に記載のフレーム内予測方法。

【請求項43】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、フラグを設定するステップであって、前記フラグは、フレームレベルであり、デコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行するかどうかを表すためのものであり、及び／又は、前記フラグは、フレームレベル以下、且つ符号化ユニット（ＣＵ）レベル以上のフラグであり、示された領域に対してデコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行するかどうかを表すためのものである、ステップと、
前記フラグをコードストリームに書き込むステップと、を含む、
請求項３６に記載のフレーム内予測方法。

【請求項44】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、
前記フレーム内予測方法と相互に排他的な予測モードを取得するステップと、
前記フレーム内予測方法を使用して、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行することを決定し、又は、相互に排他的な予測モードを使用することを決定するステップと、を含む、
請求項３６に記載のフレーム内予測方法。

【請求項45】

コンピュータ実行可能な命令を記憶したコンピュータ可読記憶媒体であって、前記コンピュータ実行可能な命令は、請求項３６～４４のいずれか１項に記載のフレーム内予測方法を実現させるためのものである、コンピュータ可読記憶媒体。

【請求項46】

メモリとプロセッサを含むエンコーダであって、メモリは、プロセッサに実行可能な命令を記憶し、前記実行可能な命令は、請求項３６～４４のいずれか１項に記載のフレーム内予測方法のステップを実現させるためのものである、エンコーダ。

【請求項47】

予測モジュール、組み合わせモジュール、及び処理モジュール、を含むエンコーダであって、
前記予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成され、
前記組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成され、
前記処理モジュールは、すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択し、組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される２種類以上の異なるフレーム内予測モードと重みマトリックスとし、決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むように構成される、エンコーダ。

【請求項48】

前記処理モジュールはさらに、フラグを設定するように構成され、
前記フラグは、フレームレベルであり、デコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することを引き続き実行するかどうかを表すためのものであり、
及び／又は、前記フラグは、フレームレベル以下、且つ符号化ユニット（ＣＵ）レベル以上のフラグであり、示された領域に対してデコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することを引き続き実行するかどうかを表すためのものである、
請求項４７に記載のエンコーダ。

【請求項49】

前記処理モジュールはさらに、
前記フレーム内予測と相互に排他的な予測モードを設定し、
前記処理待ちブロックに対して前記フレーム内予測を使用する場合、相互に排他的な予測モードを使用せず、又は、前記処理待ちブロックに対して相互に排他的な予測モードを使用する場合、前記フレーム内予測を使用しないように構成される、
請求項４７に記載のエンコーダ。

【請求項50】

前記組み合わせモジュールはさらに、
フレーム内予測に使用されたフレーム内予測モード情報を記憶するように構成される、
請求項４７に記載のエンコーダ。

【請求項51】

フレーム内予測方法であって、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うステップと、
各種類のフレーム内予測モードの予測によって事前設定の数量の画素点の予測が完了した後に、重みマトリックスと予測完了の各フレーム内予測モードに対応する画素点とに基づいて処理待ちブロックの事前設定の数量の予測画素点を得るステップと、
得られた複数の事前設定の数量の予測画素点に基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む、フレーム内予測方法。

【請求項52】

予測モジュールと組み合わせモジュールを含むフレーム内予測装置であって、
予測モジュールは、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成され、
組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される、フレーム内予測装置。

【請求項53】

前記装置は、エンコーダに、又はデコーダに設置される、
請求項５２に記載のフレーム内予測装置。

【請求項54】

前記装置は、デコーダに設置され、前記装置はさらに、復号化モジュールを含み、
復号化モジュールは、受け取ったコードストリームに対して復号化を行い、前記２種類以上の異なるフレーム内予測モード、前記処理待ちブロック、及び前記重みマトリックスを取得するように構成される、
請求項５３に記載のフレーム内予測装置。

【請求項55】

前記復号化モジュールはさらに、
フレームレベルのフラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される、
請求項５４に記載のフレーム内予測装置。

【請求項56】

前記復号化モジュールはさらに、フレームレベル以下、且つＣＵレベル以上のフラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される、
請求項５４に記載のフレーム内予測装置。

【請求項57】

前記装置は、エンコーダに設置され、前記装置はさらに、処理モジュールを含み、
処理モジュールは、すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択し、組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される２種類以上の異なるフレーム内予測モードと重みマトリックスとし、決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むように構成される、
請求項５３に記載のフレーム内予測装置。

【請求項58】

前記処理モジュールはさらに、フラグを設定するように構成され、
前記フラグは、フレームレベルであり、デコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することを引き続き実行するかどうかを表すためのものであり、
及び／又は、前記フラグは、フレームレベル以下、且つ符号化ユニット（ＣＵ）レベル以上のフラグであり、示された領域に対してデコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することを引き続き実行するかどうかを表すためのものである、
請求項５７に記載のフレーム内予測装置。

【請求項59】

前記処理モジュールはさらに、
前記フレーム内予測と相互に排他的な予測モードを設定し、
前記処理待ちブロックに対して前記フレーム内予測を使用する場合、相互に排他的な予測モードを使用せず、又は、前記処理待ちブロックに対して相互に排他的な予測モードを使用する場合、前記フレーム内予測を使用しないように構成される、
請求項５７に記載のフレーム内予測装置。

【請求項60】

前記組み合わせモジュールはさらに、
フレーム内予測に使用されたフレーム内予測モード情報を記憶するように構成される、
請求項５２に記載のフレーム内予測装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本願は、ビデオ処理技術に関し、特に、フレーム内予測方法、装置、及びデコーダとエンコーダに関する。

【背景技術】

【0002】

ビデオの１つのフレームにおける隣接画素の間に、強い相関性が存在する。ビデオ符号化・復号化技術において、フレーム内予測方法を使用することによって隣接画素の間の空間冗長を除去し、それによって、符号化の効率を向上させる。

【0003】

一般的なフレーム内予測モードで、簡単なテクスチャに対して予測を行うことができる。複雑なテクスチャの場合、より小さいブロックに分割するか、それともより多くの残差に対して符号化を行う必要があり、そのため、フレーム内予測の複雑度を高める。即ち、関連するフレーム内予測の解決策において、犠牲として歪みが大きくなるか、それとも複雑度が高くなるため、フレーム内予測の品質が低くなる。

【発明の概要】

【0004】

以下では、本明細書で記載される発明の概要である。本概要は、特許請求の保護範囲を限定するためのものではない。

【0005】

本願は、フレーム内予測方法、装置及びデコーダとエンコーダを提供し、フレーム内予測の品質を向上させることができる。

【0006】

本願の実施例は、デコーダに適用されるフレーム内予測方法を提供する。該フレーム内予測方法は、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む。

【0007】

本願の実施例は、コンピュータ実行可能な命令を記憶したコンピュータ可読記憶媒体を提供する。前記コンピュータ実行可能な命令は、上記のいずれか１項に記載のフレーム内予測方法を実現させるためのものである。

【0008】

本願の実施例は、メモリとプロセッサを含むデコーダを提供する。メモリは、プロセッサに実行可能な命令を記憶し、前記実行可能な命令は、上記のいずれか１項に記載のフレーム内予測方法のステップを実現させるためのものである。

【0009】

本願の実施例は、復号化モジュール、予測モジュール、及び組み合わせモジュール、を含むデコーダを提供する。

【0010】

復号化モジュールは、受け取ったコードストリームに対して復号化を行い、２種類以上の異なるフレーム内予測モード、処理待ちブロック、及び重みマトリックスを取得するように構成され、
予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成され、
組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される。

【0011】

本願の実施例は、エンコーダに適用されるフレーム内予測方法を提供する。該フレーム内予測方法は、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む。

【0012】

本願の実施例は、コンピュータ実行可能な命令を記憶したコンピュータ可読記憶媒体を提供する。前記コンピュータ実行可能な命令は、エンコーダに適用される上記のいずれか１項に記載のフレーム内予測方法を実現させるためのものである。

【0013】

本願の実施例は、メモリとプロセッサを含むエンコーダを提供する。メモリは、プロセッサに実行可能な命令を記憶し、前記実行可能な命令は、エンコーダに適用される上記のいずれか１項に記載のフレーム内予測方法のステップを実現させるためのものである。

【0014】

本願の実施例は、予測モジュール、組み合わせモジュール、及び処理モジュール、を含むエンコーダを提供する。

【0015】

予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成され、
組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成され、
処理モジュールは、すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択し、組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される２種類以上の異なるフレーム内予測モードと重みマトリックスとし、決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むように構成される。

【0016】

本願の実施例は、フレーム内予測方法を提供する。該フレーム内予測方法は、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うステップと、
各種類のフレーム内予測モードの予測によって事前設定の数量の画素点の予測が完了した後に、重みマトリックスと予測完了の各フレーム内予測モードに対応する画素点とに基づいて処理待ちブロックの事前設定の数量の予測画素点を得るステップと、
得られた複数の事前設定の数量の予測画素点に基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む。

【0017】

本願の実施例は、予測モジュールと組み合わせモジュールを含むフレーム内予測装置を提供する。

【0018】

予測モジュールは、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成され、
組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される。

【0019】

本願の実施例に提供されるフレーム内予測方法、装置及びエンコーダとデコーダを適用して、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、２種類以上の予測ブロックを取得する。次に、重みマトリックスに基づいて、得られた２種類以上の予測ブロックに対して組み合わせを行い、それによって、処理待ちブロックの予測ブロックを得る。本願の実施例は、複数の種類のフレーム内予測モードによって複数の予測ブロックを決定し、複雑なテクスチャの予測処理を実現し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。

【0020】

さらに、本願の実施例に提供されるフレーム内予測方法を適用して、多様化の重みマトリックスによって、より複雑なテクスチャの予測処理に保障を提供し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。さらに、本願の実施例に提供されるフレーム内予測方法は、より多くの場面に適用されることができる。

【0021】

本願の実施例の他の特徴と利点は、後続の明細書に記載され、明細書の記載によって明確化しており、又は、本願によって理解することができる。本願の目的と他の利点は、明細書、特許請求の範囲及び図面に記載される構成によって実現・取得されることができる。

【0022】

図面と詳細な説明を読んで理解した後に、他の態様が分かることができる。

【図面の簡単な説明】

【0023】

【図1(a)】本願の実施例におけるブロックに基づくハイブリッド符号化フレームワークの概略図である。

【図1(b)】本願の実施例におけるビデオ符号化システムの一例の構造ブロック概略図である。

【図1(c)】本願の実施例におけるビデオ復号化システムの一例の構造ブロック概略図である。

【図2】本願の実施例におけるフレーム内予測方法の実施例の概略図である。

【図3】本願の実施例における４つの参照行／列を使用してフレーム内予測を実現する実施例の概略図である。

【図4】本願の実施例におけるＨ．２６４で４×４のブロックに対してフレーム内予測を行う９種類のモードの概略図である。

【図5】本願の実施例における正方形のブロックでのＧＰＭの６４種類のモードの重み図である。

【図6】本願の実施例における正方形のブロックでのＡＷＰの５６種類のモードの重み図である。

【図7】本願の実施例におけるフレーム内予測方法の一例のフローチャートである。

【図8】本願の実施例において２種類の異なるフレーム内予測モードを採用してフレーム内予測を行う概略図である。

【図9(a)】本願の実施例において重みの変化位置が直線として表される概略図である。

【図9(b)】本願の実施例において重みの変化位置が曲線として表される概略図である。

【図10】本願における相互に排他的な場合の第１実施例の過程の概略図である。

【図11】本願における相互に排他的な場合の第２実施例の過程の概略図である。

【図12】本願の実施例においてフレーム内予測モードを記憶する概略図である。

【図13】本願の実施例におけるフレーム内予測装置の構造概略図である。

【図14】本願の実施例におけるフレーム内予測方法の別の一例のフローチャートである。

【発明を実施するための形態】

【0024】

上記で説明された図面は、本開示に対するさらなる理解を提供するためのものであり、本願の一部を構成する。本願の例示的な実施例及びその説明は、本願を解釈するためのものであり、本願に対する限定を構成するものではない。

【0025】

以下では、図面と実施例を参照して本願を詳細に説明する。説明すべきこととして、競合しない場合、本願における実施例及び実施例における特徴は、相互に組み合わせることができる。

【0026】

本願の実施例に提供されるフレーム内予測方法は、図６（ａ）に示すブロックに基づくハイブリッド符号化フレームワークのビデオコーデックの基本プロセスに適用されるが、該フレームワーク及びプロセスに限定されるものではない。

【0027】

図１（ａ）に示すブロックに基づくハイブリッド符号化フレームワークのビデオコーデックの基本動作原理は、下記の通りである。符号化側に、１つのフレーム画像をブロックに分割し、現在ブロックに対してフレーム内予測を使用して現在ブロックの予測ブロックを生成し、現在ブロックのオリジナルブロックから予測ブロックを引いて残差ブロックを得る。残差ブロックに対して変換と量子化を行い、量子化係数マトリックスを得、量子化係数マトリックスに対してエントロピー符号化を行い、コードストリームに出力する。

【0028】

ここで、上記の画像フレームのブロックの分割において、各フレームは、同じサイズ（例えば、１２８×１２８、６４×６４など）の正方形の最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割される。各最大符号化ユニットは、規則に従って矩形の符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割されることができる。符号化ユニットはさらに、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）などに分割される可能性がある。

【0029】

復号化側に、一方で、現在ブロックに対してフレーム内予測又はフレーム間予測を使用して現在ブロックの予測ブロックを生成し、もう一方で、コードストリームを解析して量子化係数マトリックスを得、量子化係数マトリックスに対して逆量子化と逆変換を行い、残差ブロックを得、予測ブロックと残差ブロックを合計して再構築ブロックを得る。再構築ブロックは再構築画像を構成し、画像又はブロックに基づいて再構築画像に対してループ内フィルタリングを行い、復号化画像を得る。符号化側は同じく、復号化側と類似する操作によって復号化画像を得る必要がある。復号化画像は、後続のフレームを予測するための参照フレームとすることができる。符号化側で得られた復号化画像は、通常、再構築画像とも呼ばれる。予測のときに、現在ブロックを予測ユニットに分割することができ、変換のときに、現在ブロックを変換ユニットに分割することができ、予測ユニットと変換ユニットの分割は異なっても良い。符号化側で決定されたブロック分割情報、予測、変換、量子化、エントロピー符号化、ループ内フィルタリングなどのモード情報又はパラメータ情報は、必要に応じてコードストリームに出力される必要がある。復号化側は、解析及び既存の情報に基づく分析によって、符号化側と同じブロック分割情報、予測、変換、量子化、エントロピー符号化、ループ内フィルタリングなどのモード情報又はパラメータ情報を決定し、それによって、符号化側で得られる復号化画像が復号化側で得られる復号化画像と同じであることを保証する。

【0030】

本願の実施例に提供されるフレーム内予測方法は、図１（ａ）に示すフレームにおけるフレーム内予測モジュールによって機能し、符号化側に適用されることができ、復号化側に適用されることもできる。符号化側において、採用されるフレーム内予測モードと重みマトリックスなどの情報を決定し、決定されたフレーム内予測モードと重みマトリックスなどに基づいて本願におけるフレーム内予測を遂行する。復号化側において、コードストリームに対する復号化によって採用されるフレーム内予測モードと重みマトリックスなどの情報を取得し、得られたフレーム内予測モードと重みマトリックスなどに基づいて本願におけるフレーム内予測を遂行する。

【0031】

図１（ｂ）は、本願の実施例におけるビデオ符号化システムの一例の構造ブロック概略図である。図１（ｂ）に示すように、該ビデオ符号化システム１１は、変換ユニット１１１、量子化ユニット１１２、モード選択と符号化制御ロジックユニット１１３、フレーム内予測ユニット１１４、フレーム間予測ユニット１１５（動き補償と動き推定を含む）、逆量子化ユニット１１６、逆変換ユニット１１７、ループ内フィルタリングユニット１１８、符号化ユニット１１９、及び復号化画像キャッシュユニット１１０、を含むことができる。入力されたオリジナルビデオ信号に対して、符号化ツリーブロック（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）の分割によって１つのビデオ再構築ブロックを得ることができ、モード選択と符号化制御ロジックユニット１１３によって符号化モードを決定する。次に、フレーム内予測又はフレーム間予測で得られた残差画素情報に対して、変換ユニット１１１と量子化ユニット１１２によって該ビデオ再構築ブロックに対して変換を行い、その変換は、残差情報を画素ドメインから変換領域に変換し、得られた変換係数に対して量子化を行い、それによってビットレートをさらに低減させる。フレーム内予測ユニット１１４は、該ビデオ再構築ブロックに対してフレーム内予測を行うためのものである。ここで、フレーム内予測ユニット１１４は、該ビデオ再構築ブロックの最適フレーム内予測モード（即ち、目標予測モード）を決定するためのものであり、フレーム間予測ユニット１１５は、時間予測情報を提供するために、受け取ったビデオ再構築ブロックの、１つ又は複数の参照フレームにおける１つ又は複数のブロックに対するフレーム間予測符号化を実行するためのものである。ここで、動き推定は、動きベクトルを生成する過程であり、動きベクトルは、該ビデオ再構築ブロックの動きを推定することができ、次に、動き補償は、動き推定によって決定された動きベクトルに基づいて動き補償を実行する。フレーム間予測モードを決定した後に、フレーム間予測ユニット１１５はさらに、選択されたフレーム間予測データを符号化ユニット１１９に提供し、且つ、計算して決定された動きベクトルデータも符号化ユニット１１９に送信するためのものである。それ以外、逆量子化ユニット１１６と逆変換ユニット１１７は、該ビデオ再構築ブロックの再構築のためのものであり、画素ドメインにおいて残差ブロックを再構築し、該再構築された残差ブロックをループ内フィルタリングユニット１１８によって、ブローキングアーティファクトを除去し、次に、該再構築された残差ブロックを復号化画像キャッシュユニット１１０内のフレームにおける１つの予測性ブロックに追加し、それによって、再構築されたビデオ再構築ブロックを生成する。符号化ユニット１１９は、様々な符号化パラメータ及び量子化後の変換係数を符号化するためのものである。復号化画像キャッシュユニット１１０は、再構築されたビデオ再構築ブロックを予測の参照として記憶するためのものである。ビデオ画像符号化の進行につれて、新しい再構築されたビデオ再構築ブロックが継続的に生成され、これらの再構築されたビデオ再構築ブロックは全部、復号化画像キャッシュユニット１１０に記憶される。

【0032】

図１（ｃ）は、本願の実施例におけるビデオ復号化システムの一例の構造ブロック概略図である。図１（ｃ）に示すように、該ビデオ復号化システム１２は、復号化ユニット１２１、逆変換ユニット１２７、逆量子化ユニット１２２、フレーム内予測ユニット１２３、動き補償ユニット１２４、ループ内フィルタリングユニット１２５、及び復号化画像キャッシュユニット１２６、を含むことができる。入力されたビデオ信号に対してビデオ符号化システム１１によって符号化処理を行った後に、該ビデオ信号のコードストリームが出力される。該コードストリームは、ビデオ復号化システム１２に入力され、まず、復号化ユニット１２１によって、復号化後の変換係数を得、該変換係数に対して、逆変換ユニット１２７と逆量子化ユニット１２２によって処理を行い、それによって、画素ドメインにおいて残差ブロックを生成する。フレーム内予測ユニット１２３は、決定されたフレーム内予測方向、及び、現在フレーム又は画像の、前に復号化されたブロックのデータに基づいて現在ビデオ復号化ブロックの予測データを生成するためのものであり得る。動き補償ユニット１２４は、動きベクトルと他の関連文法要素を分析することによってビデオ復号化ブロックのための予測情報を決定し、該予測情報を使用して復号化中のビデオ復号化ブロックの予測性ブロックを生成する。逆変換ユニット１２７と逆量子化ユニット１２２からの残差ブロック、及び、フレーム内予測ユニット１２３又は動き補償ユニット１２４によって生成された対応する予測性ブロックに対して合計を行うことによって、復号化されたビデオブロックを生成する。該復号化されたビデオ信号は、ループ内フィルタリングユニット１２５によって、ブローキングアーティファクトが除去され、ビデオ品質を改善することができる。次に、復号化されたビデオブロックを復号化画像キャッシュユニット１２６に記憶し、復号化画像キャッシュユニット１２６は、後続のフレーム内予測又は動き補償のための参照画像を記憶し、同時に、ビデオ信号を出力し、回復されたオリジナルビデオ信号を得るためのものである。

【0033】

本願の実施例に提供されるフレーム内予測方法は、ビデオ符号化システム１１のフレーム内予測ユニット１１４とビデオ復号化システム１２のフレーム内予測ユニット１２３によって機能し、現在ブロック（符号化待ちブロック又は復号化待ちブロック）に対して予測を行い、それによって、対応する予測ブロックを取得する。即ち、本願の実施例に提供されるフレーム内予測方法は、ビデオ符号化方法におけるフレーム内予測に基づいても良く、ビデオ復号化方法におけるフレーム内予測に基づいても良い。

【0034】

フレーム内予測方法において、現在ブロックの周辺の符号化・復号化済みの再構築画素を参照画素として現在ブロックに対して予測を行う。例えば、図２に示すように、白色の４×４ブロックは現在ブロックであり、現在ブロックの左側の行と上側の列の灰色の画素は現在ブロックの参照画素であり、フレーム内予測は、これらの参照画素を使用して現在ブロックに対して予測を行う。これらの参照画素は、全部取得可能なもの、即ち、全部符号化・復号化済みのものであっても良く、その一部は取得不可なものであっても良い。例えば、現在ブロックが当該フレームの最左側である場合、現在ブロックの左側の参照画素は取得不可である。又は、現在ブロックを符号化・復号化するときに、現在ブロックの左下方の部分が符号化・復号化されていない場合、左下方の参照画素も取得不可である。参照画素が取得不可である場合、取得可能な参照画素又はいくつかの値又はいくつかの方法を使用して充填を行っても良く、又は、充填を行わなくても良い。マルチ参照行（ＭＲＬ：Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）フレーム内予測方法において、より多くの参照画素を使用して符号化の効率を向上させることができる。例えば、図３に示すように、図３は、関連技術における４つの参照行／列を使用してフレーム内予測を実現する実施例の概略図である。

【0035】

フレーム内予測は、複数の種類のモードを有する。図４に示すように、図４は、Ｈ．２６４で４×４のブロックに対してフレーム内予測を行う９種類のモードを示す。ここで、モード０において、現在ブロックの上の画素を垂直方向に従って予測値として現在ブロックにコピーする。モード１において、左側の参照画素を水平方向に従って予測値として現在ブロックにコピーする。モード２（ＤＣ）において、Ａ～ＤとＩ～Ｌの８つの点の平均値をすべての点の予測値とする。モード３～８のそれぞれにおいて、ある角度に従って参照画素を現在ブロックの対応する位置にコピーする。現在ブロックのいくつかの位置は、参照画素に完全に対応することができない。そのため、参照画素の加重平均値、即ち、補間の参照画素のサブ画素を使用し得る。それ以外、関連技術において、Ｐｌａｎｅ、Ｐｌａｎａｒなどのモードもある。技術の発展及びブロックの拡大につれて、角度予測モードは多くなる。例えば、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に使用されるフレーム内予測モードは、Ｐｌａｎａｒ、ＤＣ、及び３３種類の角度モード、合計で３５種類の予測モードである。さらに、例えば、ＶＶＣに使用されるフレーム内モードは、Ｐｌａｎａｒ、ＤＣ、及び６５種類の角度モード、合計で６７種類の予測モードである。さらに、例えば、ＡＶＳ３は、ＤＣ、Ｐｌａｎｅ、Ｂｉｌｉｎｅａｒ、及び６３種類の角度モード、合計で６６種類の予測モードを使用する。

【0036】

さらに、いくつかの技術は、フレーム内予測に対して改善を行い、例えば、参照画素のサブ画素補間の改善、予測画素に対するフィルタリングなどである。例えば、ＡＶＳ３における多組み合わせフレーム内予測フィルタリング（ＭＩＰＦ：Ｍｕｌｔｉｐｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ）は、異なるブロックサイズに対して、異なるフィルタを使用して予測値を生成する。同一のブロックにおける異なる位置の画素に対して、参照画素に近い画素の場合、１種類のフィルタを使用して予測値を生成し、参照画素から遠い画素の場合、別の１種類のフィルタを使用して予測値を生成する。予測画素に対してフィルタリングを行う技術は、例えば、ＡＶＳ３におけるフレーム内予測フィルタリング（ＩＰＦ：Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ）を含むことができ、予測値に対して、参照画素を使用してフィルタリングを行うことができる。

【0037】

フレーム内予測は、方向角度（ＤＣ）モード、平面（Ｐｌａｎｅ）モード、平滑（Ｐｌａｎａｒ）モード、双線形（Ｂｉｌｉｎｅａｒ）モードなどのフレーム内予測モードを含む。しかしながら、これらのモードは、簡単なテクスチャの予測だけを処理することができる。角度モードが数多くなっているが、しかしながら、これらのモードの予測は、１つの角度の直線に沿って実行するしかできない。

【0038】

多機能ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６６とも呼ばれる）標準の制定において、幾何分割（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）のフレーム間予測モードが導入される。中国が自主開発した音声・ビデオ符号化標準（ＡＶＳ３：Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ）の制定において、角度加重予測（ＡＷＰ：Ａｎｇｕｌａｒ Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）のフレーム間予測モードが導入される。

【0039】

ＧＰＭ又はＡＷＰは、現在ブロックのサイズと同じ２つの参照ブロックを使用する。この場合、一部の画素位置において、１００％で第１参照ブロックの対応する位置の画素値を使用し、もう一部の画素位置において、１００％で第２参照ブロックの対応する位置の画素値を使用し、境界の領域において、一定の比例に従って２つの参照ブロックの対応する位置の画素値を使用する。これらの重みは具体的に、ＧＰＭ又はＡＷＰのモードによって決定される。ＧＰＭ又はＡＷＰは、現在ブロックのサイズと異なる２つの参照ブロックを使用してもよく、即ち、必要に応じて各自の一部を参照ブロックとし、即ち、重みが０ではない部分を参照ブロックとし、重みが０である部分を取り除く。

【0040】

図５は、本願の実施例におけるＧＰＭの正方形のブロックの６４種類のモードの重み図である。図５に示すように、黒色は、第１参照ブロックの対応する位置の重み値が０％であることを表し、白色は、第１参照ブロックの対応する位置の重み値が１００％であることを表し、灰色領域は、色の深さの差異に応じて第１参照ブロックの対応する位置の重み値が０％～１００％であることを表す。第２参照ブロックの対応する位置の重み値は、１００％から第１参照ブロックの対応する位置の重み値を差し引いた値である。

【0041】

図６は、本願の実施例におけるＡＷＰの正方形のブロックの５６種類のモードの重み図である。図６に示すように、黒色は、第１参照ブロックの対応する位置の重み値が０％であることを表し、白色は、第１参照ブロックの対応する位置の重み値が１００％であることを表し、灰色領域は、色の深さの差異に応じて第１参照ブロックの対応する位置の重み値が０％～１００％であることを表す。第２参照ブロックの対応する位置の重み値は、１００％から第１参照ブロックの対応する位置の重み値を差し引いた値である。

【0042】

ＧＰＭとＡＷＰの重み導出方法は異なる。ＧＰＭの場合、各種類のモードに基づいて角度とオフセット量を決定してから、各モードの重みマトリックスを算出する。ＡＷＰの場合、まず、一次元の重みの線を作成し、そして、フレーム内角度予測に類似する方法を使用して一次元の重みの線でマトリックス全体を敷き詰める。

【0043】

ＣＵ、ＰＵ又はＴＵの分割は、以前の符号化・復号化技術において、矩形の分割方式だけが存在する。それに対してＧＰＭとＡＷＰは、分割せずに予測の非矩形の分割の効果を実現する。ＧＰＭとＡＷＰは、２つの参照ブロックの重みのマスク（ｍａｓｋ）、即ち、上記の重み図を使用する。このマスクは、予測ブロックを生成するときに２つの参照ブロックの重みを決定し、又は、簡単に理解されることとして、予測ブロックの位置の一部は第１参照ブロックからのものであり、他方は第２参照ブロックからのものであり、過渡領域（ｂｌｅｎｄｉｎｇ ａｒｅａ）は２つの参照ブロックの対応する位置で加重して得られ、それによって、過渡がより平滑になる。ＧＰＭとＡＷＰにおいて、分割線に基づいて現在ブロックを２つのＣＵ又はＰＵに分割しない。そして、予測の後の残差の変換、量子化、逆変換、逆量子化などは、現在ブロックを１つの全体として処理される。

【0044】

本願の実施例に提供されるフレーム内予測方法は、２種類以上の異なるフレーム内予測モードを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの予測ブロックを得るステップと、を含むことができる。本願の実施例は、複数の種類のフレーム内予測モードによって複数の予測ブロックを決定し、複雑なテクスチャの予測処理を実現し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。

【0045】

さらに、本願の実施例に提供されるフレーム内予測方法を適用して、多様化の重みマトリックスによって、より複雑なテクスチャの予測処理に保障を提供し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。さらに、本願の実施例に提供されるフレーム内予測方法は、より多くの場面に適用されることができる。

【0046】

図７は、本願の実施例におけるフレーム内予測方法のフローチャートである。図７に示すように、該フレーム内予測方法は、下記のステップを含む。

【0047】

ステップ７００において、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する。

【0048】

本願の実施例において、処理待ちブロックは、エンコーダで処理する符号化待ちブロックであっても良く、デコーダで処理する復号化待ちブロックであっても良い。

【0049】

１つの例示的な例において、フレーム内予測モードは、ＤＣモード、Ｐｌａｎａｒモード、Ｐｌａｎｅモード、Ｂｉｌｉｎｅａｒモード、及び角度予測（ＡＰ）モードなどのフレーム内予測モード、及び、フレーム内予測の改善技術、例えば、参照画素のサブ画素補間の改善、予測画素のフィルタリングのような、多組み合わせフレーム内予測フィルタリング（ＭＩＰＦ：Ｍｕｌｔｉｐｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ）、フレーム内予測フィルタリング（ＩＰＦ：Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ）などを含むことができるが、これらに限定されない。

【0050】

他のフレーム内予測モードに依存せずに予測ブロックを独立で生成するフレーム内予測モードは、第１フレーム内予測モードと呼ばれ（本明細書において基本フレーム内予測モードとも呼ばれる）、ＤＣモード、Ｐｌａｎａｒモード、Ｐｌａｎｅモード、Ｂｉｌｉｎｅａｒモード、及び角度予測モードなどのフレーム内予測モードを含むことができる。即ち、基本フレーム内予測モードは、参照画素と基本フレーム内予測モードを決定した場合、予測ブロックを決定することができる。基本フレーム内予測モードに依存して予測ブロックを決定することができるフレーム内予測モードは、第２フレーム内予測モードと呼ばれ（本明細書において改善フレーム内予測モードとも呼ばれる）、それは、ＭＩＰＦ、ＩＰＦなどの、フレーム内予測の改善技術を含むことができる。即ち、改善フレーム内予測モードは、予測ブロックを独立で生成することができない。例えば、基本フレーム内予測モード、例えば、ある種類の角度予測モードは、参照画素に基づいて予測ブロックを決定して生成することができる。改善フレーム内予測モード、例えば、ＭＩＰＦは、上記の角度予測モードをもとにして異なる位置の画素に対して異なるフィルタを使用することができ、それによって、予測ブロックを生成し、又は、決定する。

【0051】

１つの例示的な例において、２種類以上の異なるフレーム内予測モードは、少なくとも１種類の基本フレーム内予測モードを含む。

【0052】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、２種類の異なるフレーム内予測モードは、いずれも基本フレーム内予測モードである。

【0053】

１つの例示的な例において、基本フレーム内予測モードを改善フレーム内予測モードと組み合わせ、即ち、採用される基本フレーム内予測モードをさらに、改善フレーム内予測モードと組み合わせて処理待ちブロックに対して予測を行うことができる。

【0054】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、２種類の異なるフレーム内予測モードは、１種類の基本フレーム内予測モードと１種類の改善フレーム内予測モードを含む。例えば、第１フレーム内予測モードと第２フレーム内予測モードは、いずれも同一の種類の角度予測モードを使用し、しかしながら、第１フレーム内予測モードは、ある種類の改善フレーム内予測モード、例えば、ある種類の改善フレーム内予測モードのＩＰＦを使用せず、第２フレーム内予測モードは、この種類の改善フレーム内予測モード、例えば、改善フレーム内予測モードのＩＰＦを使用する。さらに、例えば、第１フレーム内予測モードと第２フレーム内予測モードは、同一の種類の角度予測モードを使用し、しかしながら、第１フレーム内予測モードは、ある種類の改善フレーム内予測モードの１種類の選択を使用し、第２フレーム内予測モードは、この種類の改善フレーム内予測モードの別の種類の選択を使用する。

【0055】

本願の実施例において、処理待ちブロックに対する予測は、少なくとも２種類の異なるフレーム内予測モードを採用する。このようにして、多視点から処理待ちブロックに対して予測を行うことができ、複雑なテクスチャの予測を処理することに適し、フレーム内予測の品質を向上させることができる。

【0056】

上記のフレーム内予測方法の過程は、エンコーダに適用され、デコーダにも適用される。

【0057】

１つの例示的な例において、デコーダ側に、処理待ちブロックは復号化待ちブロックであり、ステップ７００の前に、該フレーム内予測方法はさらに、
コードストリームを解析し、２種類以上の異なるフレーム内予測モード、処理待ちブロック、及び重みマトリックスを取得するステップを含む。

【0058】

１つの例示的な例において、エンコーダ側に、ステップ７００の前に、該フレーム内予測方法はさらに、
すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択するステップと、組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される２種類以上の異なるフレーム内予測モードと重みマトリックスとするステップと、を含む。

【0059】

該フレーム内予測方法はさらに、決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むステップを含む。

【0060】

ここで、すべての可能な予測モードと重みマトリックス導出モードの組み合わせというのは、第１フレーム内予測モードのすべてのあり得るモード、第２フレーム内予測モードのすべてのあり得るモード、及び重みマトリックス導出モードのすべてのあり得るモードの組み合わせを含む。例えば、すべての使用可能なフレーム内予測モードが６６種類あると仮定すると、第１フレーム内予測モードは６６種類があり得、第２フレーム内予測モードは、必ず第１フレーム内予測モードと異なり、６５種類があり得る。重みマトリックス導出モードが５６種類を有する（ＡＷＰを例とする）場合、使用可能な任意の２種類の異なるフレーム内予測モードと任意の１種類の重みマトリックス導出モードの組み合わせは、６６×６５×５６種類を有する。

【0061】

１つの例示的な例において、損失コストを計算する方式は、絶対誤差和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、変化残差絶対値和（ＳＡＴＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、及びレート歪み最適化（ＲＤＯ：Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍａｔｉｏｎ）などのアルゴリズムのうちの１種類又は任意の組み合わせを含むことができる。

【0062】

１つの例示的な例において、ＳＡＴＤ及び／又はＳＡＤを採用して一次選別、例えば、粗選を行い、すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせから候補組み合わせを決定する。次に、ＲＤＯを採用して二次選別、例えば、精選を行い、候補組み合わせから損失コストが最も小さい組み合わせを決定する。

【0063】

１つの実施例において、粗選は、いくつかの快速アルゴリズムを使用して試行の回数を低減させることを含むことができる。例えば、あるフレーム内角度予測モードによるコストが大きい場合、該フレーム内角度予測モードに隣接する事前設定の数量のフレーム内予測モードを試行しない。

【0064】

１つの例示的な例において、上記の予測モードと重みマトリックス導出モードの組み合わせに対する試行の前に、該フレーム内予測方法はさらに、
現在の処理待ちブロックのテクスチャに対して分析を行い、例えば、勾配によって分析を行うステップなどを含むことができる。

【0065】

上記の予測モードと重みマトリックス導出モードの組み合わせに対する試行はさらに、
テクスチャの分析結果に基づいて試行のフレーム内予測モードを決定するステップを含むことができる。

【0066】

例えば、現在の処理待ちブロックのテクスチャの荒い（例えば、事前設定の高閾値より大きい）方向について、予測モードと重みマトリックス導出モードの組み合わせに対する試行の粗選において、テクスチャの荒い方向に近似する（即ち、該方向から所定角度値を増減した範囲）フレーム内予測モードをできるだけ選択して試行を行う。さらに、例えば、現在の処理待ちブロックのテクスチャの滑らかな（例えば、事前設定の低閾値より小さい）方向について、テクスチャの滑らかな方向に近似するフレーム内予測モードをできるだけ選択せずに試行を行う。

【0067】

説明すべきこととして、損失コストは、第１フレーム内予測モード、第２フレーム内予測モード、及び重みマトリックス導出モードによるコードストリームに占められるコードワードのコスト以外に、さらに、例えば、予測残差の変換・量子化のコスト、コードストリームで伝送する必要があるエントロピー符号化などの各種類のフラグ、量子化係数のコスト、及び再構築ブロックの歪みのコストなどを含む。一般的に、コストが占めされる空間ではなく、歪みのコスト、即ち、予測ブロックとオリジナルブロックとの間の差異であり、又は、オリジナルの画像と符号化・復号化して得られた画像との間の歪みの差値である。ここで、選択のコストが最も小さいのは、歪みが最も小さいことを指しており、即ち、圧縮過程における損失が最も小さく、符号化品質が最も高いことである。

【0068】

１つの例示的な例において、損失コストが最も小さい組み合わせを決定した後に、ステップ７００の前に、該フレーム内予測方法はさらに、
選出された最も小さい損失コストが他の予測モードのコスト以下であり、他の予測モードが他のフレーム内予測モード又はフレーム間予測モードなどを含むことができ、その場合、エンコーダ側は、本願に選出された損失コストが最も小さい組み合わせにおけるフレーム内予測モードを処理待ちブロックの予測モードとして選択し、選出された最も小さい損失コストが他の予測モードのコストより大きい場合、エンコーダは、他のある種類の予測モードを処理待ちブロックの予測モードとして選択するステップを含む。

【0069】

１つの例示的な例において、エンコーダ側に、該フレーム内予測方法はさらに、
最終的に決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むステップを含むことができる。

【0070】

該フレーム内予測方法はさらに、決定された２種類以上の異なるフレーム内予測モードと重みマトリックスによって、本願におけるフレーム内予測方法に従って処理待ちブロックに対してフレーム内予測、及び後続の符号化処理を行うステップを含むことができる。

【0071】

ステップ７０１において、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得る。

【0072】

１つの例示的な例において、符号化側において、ステップ７００のように、損失コストを計算する方式によって重みマトリックスを決定することができる。復号化側において、文法に従ってコードストリームを解析し、取得された重みマトリックス導出モードに基づいて重みマトリックスを得る。

【0073】

重みマトリックスの決定方法は、フレーム間予測におけるＧＰＭ又はＡＷＰの重み導出方法を参照して実現されることができる。同一の符号化・復号化標準又はコーデックにおいて、ＧＰＭ又はＡＷＰの予測モードが使用された場合、本願の実施例において、ＧＰＭ又はＡＷＰの重み導出方法を使用して重みマトリックスを決定することができる。このようにして、一部の同じロジックを再利用することができる。例えば、ＡＶＳ３フレーム間予測がＡＷＰを使用した場合、ＡＶＳ３において、本願の実施例は、ＡＷＰの重み導出方法を使用して重みマトリックスを決定することができる。本願の実施例における重みマトリックスの決定方法は、同一の符号化・復号化標準又はコーデックに使用されるＧＰＭ又はＡＷＰの方法と異なっても良く、例えば、異なるモード数量を使用し、又は、異なる過渡領域アルゴリズムを使用し、又は、異なるパラメータを使用することなどができる。

【0074】

１つの例示的な例において、図８に示すように、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、第１予測ブロックと第２予測ブロックを得ることを例として、ステップ７０１は、
第１予測ブロックに対応するマトリックスと第１重みマトリックスとの第１積を計算し、第２予測ブロックに対応するマトリックスと第２重みマトリックスとの第２積を計算するステップと、
第１積、第２積、及び事前設定値の和を計算するステップと、
計算して得られた和に対して正規化処理を行い、前記目標予測ブロックを得るステップと、を含むことができる。

【0075】

１つの例示的な例において、第２重みマトリックスは、最大重み値（例えば、８など）と第１重みマトリックスとの差である。

【0076】

正規化処理は、計算して得られた和を事前設定のビット数（例えば、３ビットなど）だけ右シフトし、処理待ちブロックの目標予測ブロックを得るステップを含む。

【0077】

例えば、ｐｒｅｄＭａｔｒｉｘＳａｗｐ内の要素ｐｒｅｄＭａｔｒｉｘＳａｗｐ［ｘ］［ｙ］の値＝（（ｐｒｅｄＭａｔｒｉｘ０［ｘ］［ｙ］＊ＡｗｐＷｅｉｇｈｔＡｒｒａｙＹ［ｘ］［ｙ］＋ｐｒｅｄＭａｔｒｉｘ１［ｘ］［ｙ］＊（８－ＡｗｐＷｅｉｇｈｔＡｒｒａｙＹ［ｘ］［ｙ］）＋４）＞＞３）である。ここで、ｐｒｅｄＭａｔｒｉｘＳａｗｐは、目標予測ブロックを表し、ｐｒｅｄＭａｔｒｉｘＳａｗｐ［ｘ］［ｙ］は、目標予測ブロックマトリックスを表し、ｐｒｅｄＭａｔｒｉｘ０［ｘ］［ｙ］は、第１予測ブロックに対応するマトリックスを表し、ｐｒｅｄＭａｔｒｉｘ１［ｘ］［ｙ］は、第２予測ブロックに対応するマトリックスを表し、ＡｗｐＷｅｉｇｈｔＡｒｒａｙＹ［ｘ］［ｙ］は、第１重みマトリックスを表す。

【0078】

１つの例示的な例において、ステップ７０１の後に、該フレーム内予測方法はさらに、
改善フレーム内予測モードを採用して、得られた処理待ちブロックの目標予測ブロックに対してフレーム内予測を行い、予測して得られた結果を前記処理待ちブロックの目標予測ブロックとするステップを含むことができる。

【0079】

１つの例示的な例において、決定されたすべての可能な重みマトリックスにおいて、各重みマトリックスのすべての点の重みが同じというわけではない。言い換えれば、すべての可能な重みマトリックスに、少なくとも２つの異なる重み値が含まれる可能な重みマトリックスは、少なくとも１つ存在する。

【0080】

１つの例示的な例において、すべての可能な重みマトリックスは、少なくとも２つの異なる重み値を含む。

【0081】

１つの例示的な例において、すべての可能な重みマトリックスに、少なくとも２つの異なる重み値が含まれる重みマトリックスは、少なくとも１つ存在し、しかも、同一の重み値だけが含まれる重みマトリックスは、少なくとも１つ存在する。例を挙げると、最小重み値が０である場合、最大重み値が８であり、例えば、ある重みマトリックスにおけるいくつかの点の重み値が０であり、いくつかの点の重み値が８である。ある重みマトリックスにおけるすべての点が４であり、１つの重み値だけが含まれる重みマトリックス内のこの重み値は、最小重み値より大きく、且つ最大重み値より小さい任意の値であり得る。

【0082】

１つの例示的な例において、少なくとも２つの異なる重み値が含まれる１つ又はいくつかの重みマトリックスの場合、最小重み値と最大重み値に基づいて、処理待ちブロックにおける各点は、いずれも２つのフレーム内予測モードによって導出された予測値を加重して得られるものである。例えば、重みは０～８の８つの値を有する。２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、０は、この点が完全に１つのフレーム内予測モードによって導出された予測値から得られることを表し、８は、この点が完全に別の１つのフレーム内予測モードに導出された予測値から得られることを表す。最小重み値を１、最大重み値を７とすると、この種類の重みマトリックスのすべての点は、２つのフレーム内予測モードによって導出された予測値を加重して得られる必要がある。しかしながら、すべての点の重みが同じというわけではない。

【0083】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、すべての可能な重みマトリックスに、２種類の重み値だけが含まれる重みマトリックスは、１つしか存在することがなく、そのうちの１つの重み値は、対応する点の予測値が完全に第１予測ブロックの対応する点の値からのものであることを表し、もう１つの重み値は、対応する点の予測値が完全に第２予測ブロックの対応する点の値からのものであることを表す。例えば、この２種類の重み値のそれぞれは０と１である。

【0084】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して復号化待ちブロックに対してフレーム内予測を行うことを例として、すべての可能な重みマトリックスにおいて、１つの重みマトリックスは、複数の種類の重み値を含むことができ、重み値の最大値と最小値（例えば０である）のそれぞれは、対応する点の予測値が完全に第１予測ブロックの対応する点の値と第２予測ブロックの対応する点の値からのものであることを表し、最大値と最小値ではない重み値は、対応する点の予測値が第１予測ブロックと第２予測ブロックの対応する点の値の加重平均からのものであることを表す。ここで、最大値、最小値以外の重み値によって構成される領域は、過渡領域（ｂｌｅｎｄｉｎｇ ａｒｅａ）と呼ばれることができる。

【0085】

１つの例示的な例において、図９（ａ）に示すように、すべての可能な重みマトリックスにおいて、重みマトリックスが２種類の重み値だけが含まれる場合、重み値の変化位置は、１本の直線として表され、重みマトリックスが複数の種類の重み値が含まれる場合、過渡領域における重み値が同じである位置は、１本の直線として表される。１種類の実施例において、上記の直線のすべては水平垂直であり、又は、上記の直線のすべては水平垂直ではない。

【0086】

１つの例示的な例において、図９（ｂ）に示すように、すべての可能な重みマトリックスにおいて、重みマトリックスが２種類の重み値だけが含まれる場合、重み値の変化位置は、１本の曲線として表され、重みマトリックスが複数の種類の重み値を含む場合、過渡領域における重み値が同じである位置は、１本の曲線として表される。

【0087】

本願の実施例に提供される多様化の重みマトリックスは、より多様の予測ブロックを予測することができる保障を提供し、さらに、本願の実施例に提供されるフレーム内予測方法は、より多くの場面に適用されることができる。

【0088】

１種類の実施例において、ＡＶＳ３においてフレーム間予測にＡＷＰモードが使用されることを例として、ＡＷＰの重みマトリックスは、５６種類を含む。本願の実施例において、フレーム内予測において６４種類の重みマトリックスを使用し、そのうちの５６種類はＡＷＰの重みマトリックスと同じである。例えば、前の５６種類は、ＡＷＰの重みマトリックスと同じであり、残りの８種類の重みマトリックスのうちの各重みマトリックスは、１種類の重み値だけを含み、該重み値のそれぞれは、１、２、……、７、８である。この８種類の重みマトリックスは、重み値の合計が１６であり、即ち、重み値が１であることは、１：１５の重みを表し、重み値が２であることは、２：１４の重みを表す。このようにして、６４種類の重みマトリックスのモード番号に対して二値化を行う場合、各重みマトリックスに対して６ビットのコードワードを使用することができる。任意選択的に、総計の重み値は８であり、この場合、８は最大重み値であり、即ち、重み値が１であることは、１：７の重みを表し、重み値が２であることは、２：６の重みを表す。

【0089】

フレーム間予測が時間領域の関連性を利用しているため、参照フレームにおける再構築された画像を参照ブロックとして使用する。それに対してフレーム内予測が空間領域の関連性を利用しているため、処理待ちブロックの周辺の再構築された画素を参照画素として使用する。空間領域の距離が近いほど関連性は強く、距離が遠いほど関連性は悪くなる。そのため、重みマトリックスが予測ブロックのすべての画素位置を参照画素から離れらせる場合、フレーム内予測の効果を保証するために、本願の実施例においてこのような重みマトリックスを使用しなくても良い。

【0090】

１つの例示的な例において、本願の実施例に提供されるフレーム内予測方法において、ブロック（例えば、処理待ちブロック）のサイズは、下記のような場合を含むことができるが、これらに限定されない。

【0091】

ブロックの幅は第１閾値ＴＨ１以上であり、ブロックの高さは第２閾値ＴＨ２以上であり、第１閾値ＴＨ１と第２閾値ＴＨ２の値は、８、１６、３２、６４、１２８などであり得、第１閾値ＴＨ１は第２閾値ＴＨ２に等しくても良く、例えば、第１閾値ＴＨ１＝第２閾値ＴＨ２＝８である。又は、ブロックの画素数は第３閾値ＴＨ３以上であり、第３閾値ＴＨ３の値は、８、１６、３２、６４、１２８などであり得る。

【0092】

又は、ブロックの幅は第４閾値ＴＨ４以下であり、ブロックの高さは第５閾値ＴＨ５以下であり、第４閾値ＴＨ４と第５閾値ＴＨ５の値は、８、１６、３２、６４、１２８などであり得、第４閾値ＴＨ４は第５閾値ＴＨ５に等しくても良い。又は、ブロックの画素数は第６閾値ＴＨ６以下であり、第６閾値ＴＨ６の値は、８、１６、３２、６４、１２８などであり得る。

【0093】

ブロックのサイズの制限によって、複数の予測モードを採用して予測を行うことによる複雑度がシステム全体に与える影響を低減させる。さらに、いくつかのサイズのブロックを利用しないと制限することによって、圧縮性能と複雑度のバランスをうまく取り、それによって、本願の適用性をよりうまく保証する。

【0094】

１つの例示的な例において、技術の発展につれて、ブロックの分割はますます柔軟になる。正方形のブロック以外、分割方法は、アスペクト比が１：２、１：４、１：８、２：１、４：１、８：１などの形状のブロックをサポートすることができる。本願の実施例に提供されるフレーム内予測方法において、本願の発明者らの研究によると、いくつかのアスペクト比のブロック、即ち、いくつかのサイズのアスペクト比のブロック、例えば、１：４又は４：１のブロック及び１：８又は８：１のブロック、又は８×３２、８×６４、３２×８、６４×８などのブロックの圧縮性能は、それまで良いものではなく、又は、著しいものではない。この場合、本願における１つの実施例において、ブロックのアスペクト比を設定することによってブロックのサイズを設定することができる。例えば、幅と高さの比例は、事前設定の比例閾値ＴＨＲ以下であり、且つ、幅と高さの比例は、該比例閾値ＴＨＲ以下である。

【0095】

１つの例示的な例において、ブロックのサイズ、及びブロックのアスペクト比の設定は、同時に行っても良い。例えば、ブロックのサイズについて、ブロックの高さが８以上であり、ブロックの幅が８以上であり、ブロックの幅とブロックの高さの比例が４以下であり、ブロックの高さとブロックの幅の比例が４以下である場合、本願の実施例に提供されるフレーム内予測方法を使用することができ、そうでない場合、本願の実施例に提供されるフレーム内予測方法をデフォルトで使用しない。

【0096】

１つの例示的な例において、エンコーダ側に、本願のステップ７００の前に、該フレーム内予測方法はさらに、
現在処理待ちフレームが本願の実施例のフレーム内予測方法を使用するか否か、即ち、ステップ７００を実行するか否かを表すために、フレームレベルのフラグを設定し、該フラグを文法に従ってコードストリームに書き込み、それによって、デコーダ側において該フラグに基づいてフレーム内予測方法を実行するステップを含むことができる。

【0097】

１つの実施例において、イントラフレーム（例えば、Ｉフレーム）に対して本願の実施例のフレーム内予測方法を使用し、インターフレーム（例えば、Ｂフレーム、Ｐフレーム）に対して本願の実施例のフレーム内予測方法を使用しない場合、フラグが現在処理待ちフレームがイントラフレームであると示す場合、復号化側がステップ７００を引き続き実行することを表す。フラグが現在処理待ちフレームがインターフレームであると示す場合、復号化側が本願のプロセスから抜けて、関連技術を採用してフレーム内予測を行うことができることを表す。

【0098】

さらに、例えば、イントラフレーム（例えば、Ｉフレーム）に対して本願の実施例のフレーム内予測方法を使用せず、インターフレーム（例えば、Ｂフレーム、Ｐフレーム）に対して本願の実施例のフレーム内予測方法を使用する場合、フラグが現在処理待ちフレームがイントラフレームであると示す場合、復号化側が本願のプロセスから抜け、関連技術を採用してフレーム内予測を行うことができることを表す。フラグが現在処理待ちフレームがインターフレームであると示す場合、復号化側がステップ７００を引き続き実行することを表す。

【0099】

さらに、例えば、いくつかのインターフレームに本開示を使用し、別のいくつかのインターフレームに本開示を使用しない場合、フラグが現在処理待ちフレームがいくつかのインターフレームであることを表す場合、復号化側がステップ６００を引き続き実行することを表す。フラグが処理待ちフレームが別のいくつかのインターフレームであることを表す場合、復号化側が本願のプロセスから抜け、関連技術を採用してフレーム内予測を行うことができることを表す。

【0100】

対応的に、デコーダ側に、上記の図７に示すフレーム内予測方法のステップ７００の前に、該フレーム内予測方法はさらに、文法に従ってコードストリームを解析し、フラグを取得するステップを含むことができる。

【0101】

例えば、イントラフレーム（例えば、Ｉフレーム）に対して本願の実施例のフレーム内予測方法を使用し、インターフレーム（例えば、Ｂフレーム、Ｐフレーム）に対して本願の実施例のフレーム内予測方法を使用しない場合、復号化して得られたフラグが現在処理待ちフレームがイントラフレームであることを表す場合、ステップ７００を引き続き実行する。復号化して得られたフラグが現在処理待ちフレームがインターフレームであることを表す場合、本願のプロセスから抜け、関連技術を採用してフレーム内予測を行うことができる。

【0102】

さらに、例えば、イントラフレーム（例えば、Ｉフレーム）に対して本願の実施例のフレーム内予測方法を使用せず、インターフレーム（例えば、Ｂフレーム、Ｐフレーム）に対して本願の実施例のフレーム内予測方法を使用する場合、復号化して得られたフラグが現在処理待ちフレームがイントラフレームであることを表す場合、本願のプロセスから抜け、関連技術を採用してフレーム内予測を行うことができる。復号化して得られたフラグが現在処理待ちフレームがインターフレームであることを表す場合、ステップ７００を引き続き実行する。

【0103】

さらに、例えば、いくつかのインターフレームに本開示を使用し、別のいくつかのインターフレームに本開示を使用しない場合、復号化して得られたフラグが現在処理待ちフレームがいくつかのインターフレームであることを表す場合、ステップ７００を引き続き実行する。復号化して得られたフラグが処理待ちフレームが別のいくつかのインターフレームであることを表す場合、本願のプロセスから抜け、関連技術を採用してフレーム内予測を行うことができる。

【0104】

１つの例示的な例において、エンコーダ側に、本願のステップ７００の前に、該フレーム内予測方法はさらに、
示された該領域に対して本願の実施例のフレーム内予測方法を使用するか否かを表すために、フレームレベル以下、且つＣＵレベル以上（例えば、ｔｉｌｅ、ｓｌｉｃｅ、ｐａｔｃｈ、ＬＣＵなど）のフラグを設定し、フラグを文法に従ってコードストリームに書き込み、それによって、デコーダ側において該フラグに基づいて相応的なフレーム内予測方法を実行することを指示する。

【0105】

本願の実施例における異なるレベルのフラグの設定によって、一方で、異なる適用場面とビデオ内容に基づいて最適の配置を設定することを柔軟に実現し、別の一方で、コードレートをさらに節約する効果を達成する。例えば、１つのＬＣＵが複数のＣＵを有し、これらのＣＵがいずれも本願の実施例に提供されるフレーム内予測方法を使用しない場合、ＬＣＵレベルの１つのフラグを、該ＬＣＵにおけるすべてのＣＵが本願の実施例に提供されるフレーム内予測方法を使用しないことを表すように設定すれば良い。即ち、各ＣＵに対してフラグを単独で設定する必要がない。即ち、１つのフラグの設定によって、Ｎ個のフラグの設定に代わる。

【0106】

対応的に、デコーダ側に、ステップ７００の前に、該フレーム内予測方法はさらに、文法に従ってコードストリームを解析し、フラグを取得するステップを含むことができる。

【0107】

１つの例示的な例において、エンコーダ側に、本願のステップ７００の前に、該フレーム内予測方法はさらに、
本願の実施例に提供されるフレーム内予測方法と相互に排他的な改善予測モードを設定し、それによって、フレーム内予測過程において、フレーム内予測モードをよりうまく決定する。

【0108】

デコーダ側に、コードストリームを解析することによって、設定された本願の実施例に提供されるフレーム内予測方法と相互に排他的な改善予測モードを取得する。処理待ちブロックが本願の実施例のフレーム内予測方法を使用することを決定した場合、相互に排他的な改善予測モードを使用しない。又は、処理待ちブロックが相互に排他的な改善予測モードを使用することを決定した場合、本願の実施例のフレーム内予測方法を使用しない。相互に排他的な改善予測モードに対する設定によって、コードストリームにおいて該相互に排他的な改善予測モードを使用するか否かのフラグを伝送する必要がなく、コードストリームにおける余計なフラグの伝送を節約し、全体としてより良い圧縮性能を得る。

【0109】

１つの例示的な例において、相互に排他的な改善予測モードは、例えば、ＩＰＦ、ＤＴなどを含むことができる。

【0110】

相互に排他的な改善予測モードが派生ツリー（ＤＴ：Ｄｅｒｉｖｅｄ Ｔｒｅｅ）であることを例として、ＤＴはＡＶＳ３における技術であり、ＤＴは、現在ＣＵを矩形のＰＵに分割することができ、しかも、対応的に、より小さいＴＵに分割する。本願の実施例に採用される、ＤＴと組み合わせる場合について、本願の実施例に提供されるフレーム内予測方法は、ＤＴで分割された１つ又はいくつかのＰＵに使用されることができるが、複雑度が増加する。相互に排他的な改善予測モードがフレーム内改善予測（ＩＩＰ：Ｉｍｐｒｏｖｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）であることを例として、ＩＩＰはＡＶＳ３における技術であり、ＩＩＰは、より複雑なフィルタを使用して予測値を得ることができる。

【0111】

本願の実施例に提供されるフレーム内予測に対する検証過程において、本願の発明者の検証によると、ＩＩＰ、ＤＴ又はＩＰＦを使用する場合、フレーム内予測の計算量又は複雑度を増加させる。そのため、本実施例においてこれらの改善予測モードと本願のフレーム内予測との相互に排他的な関係を設定することによって、性能と複雑度とのバランスがうまく取れ、それによって、本願の適用性をよりうまく保証する。

【0112】

本願のフレーム内予測方法とＩＰＦを例として、相互に排他的なケースに対する処理を説明する。

【0113】

１つの例示的な例において、本願のフレーム内予測方法がＩＰＦと相互に排他的であると仮定する。まず、本願の実施例における現在処理待ちフレームが本願の実施例のフレーム内予測方法を使用するか否かを表すフラグを復号化してから、ＩＰＦのフラグを復号化することを例として、図１０に示すように、過程は、大体下記のステップを含む。

【0114】

現在ブロックに対して本願のフレーム内予測方法を使用する場合、ＩＰＦのフラグを復号化する必要がない。即ち、コードストリームでＩＰＦのフラグを伝送する必要がない。現在ブロックに対して本願のフレーム内予測方法を使用しない場合、ＩＰＦのフラグを復号化し、ＩＰＦを使用する必要があるか否かを判断する。現在ブロックに対してＩＰＦを使用する場合、現在ブロックは、他のフレーム内予測方法を使用してＩＰＦと組み合わせて予測を行う。現在ブロックに対してＩＰＦを使用しない場合、現在ブロックは、他のフレーム内予測方法を使用する。

【0115】

１つの例示的な例において、本願のフレーム内予測方法がＩＰＦと相互に排他的ではないと仮定する。まず、本願の実施例における現在処理待ちフレームが本願の実施例のフレーム内予測方法を使用するか否かを表すフラグを復号化してから、ＩＰＦのフラグを復号化することを例として、図１１に示すように、過程は、大体下記のステップを含む。

【0116】

本願のフレーム内予測方法を使用するか否かに関わらず、ＩＰＦのフラグを復号化しなければならない。しかも、本願のフレーム内予測方法とＩＰＦを両方とも使用する場合、現在ブロックに対して、本願のフレーム内予測方法を使用してＩＰＦと組み合わせて予測を行う。

【0117】

説明すべきこととして、図１０と図１１に示す実施例において、本願のフレーム内予測方法が１種類の技術と相互に排他的であるか否かを例とする。本願のフレーム内予測方法がこの種類の技術及び他の技術と間に相互に排他的な関係が存在する場合、プロセスはより複雑になるが、原理は同じである。本願の図１０と図１１に示す実施例をもとにして、当業者が容易に理解し、ここで繰り返して記載しない。

【0118】

１つの例示的な例において、本願の実施例はさらに、隣接するブロックの符号化・復号化に使用するために、フレーム内予測に使用されたフレーム内予測モード情報を記憶するステップを含むことができる。例えば、ＭＰＭモードで、隣接するブロックのフレーム内予測モードを参照する必要がある。即ち、現在フレームの後ろの符号化・復号化ブロックは、隣接する位置関係に基づいて、前に符号化・復号化されたブロック、例えば、隣接するブロックフレーム内予測モードを使用することができる。色度ブロック（符号化ユニット）に対して、位置に基づいて、前に符号化・復号化された輝度ブロック（符号化ユニット）のフレーム内予測モードを使用することができる。ここで記憶された情報は、後続に符号化・復号化するブロックの参照とする。その理由として、同一のブロック（符号化ユニット）における符号化モード情報は、直接的に得られることができ、しかしながら、異なるブロック（符号化ユニット）における符号化モード情報は、直接的に得られることができない。そのため、フレーム内予測に使用されたフレーム内予測モード情報を記憶する必要がある。このようにして、後続に符号化・復号化するブロックは、位置に基づいてこれらの情報を読み取ることができる。

【0119】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して復号化待ちブロックに対してフレーム内予測を行うことを例として、フレーム内予測に使用されたフレーム内予測モードを記憶するステップは、下記を含む。

【0120】

２種類の異なるフレーム内予測モードのうちの１種類のフレーム内予測モードを記憶する最小ユニットは、少なくとも１つ存在し、２種類の異なるフレーム内予測モードのうちの別の１種類のフレーム内予測モードを記憶する最小ユニットは、少なくとも１つ存在する。即ち、記憶したフレーム内予測モードが異なる最小ユニットは、少なくとも２つ存在する。最小ユニットは、事前設定の１つの固定サイズのマトリックス（例えば、４×４のマトリックスなど）であり得る。各最小ユニットは、１つのフレーム内予測モードを単独で記憶する。このようにして、１つのブロックを符号化・復号化する度に、該ブロックの位置に対応する最小ユニットは、該ブロックのフレーム内予測モードを記憶する。

【0121】

例えば、図１２に示すように、１つの１６×１６の現在ブロックの輝度予測にフレーム内予測モード５を使用すると仮定すると、該ブロックに対応するすべての４×４個の最小ユニットのフレーム内予測モードに、いずれも５を記憶する。ＹＵＶフォーマットを例として、一般的に、輝度のフレーム内予測モードを記憶する。それは、輝度分量と色度分量両方を含むブロックの輝度のフレーム内予測モードを含むことができ、輝度分量だけを含むブロックの輝度のフレーム内予測モードを含むこともできる。

【0122】

さらに、例えば、ＡＶＳ３において、本願の実施例は、ＡＷＰで２つの異なる動き情報を記憶することに類似するロジックを使用して２つの異なるフレーム内予測モードを記憶することができる。即ち、１つの最小ユニットに対応する位置において、２種類のフレーム内予測モードのうちの１種類のフレーム内予測モードによって決定された予測ブロックだけを使用する場合、該最小ユニットに、該種類のフレーム内予測モードを記憶する。１つの最小ユニットに対応する位置において２種類のフレーム内予測モードのうちの別の１種類のフレーム内予測モードに決定された予測ブロックだけを使用する場合、該最小ユニットに、該別の種類のフレーム内予測モードを記憶する。１つの最小ユニットに対応する位置において第１種類のフレーム内予測モードによって決定された予測ブロックだけでなく、第２種類のフレーム内予測モードによって決定された予測ブロックも使用する場合、事前設定の判断方法に基づいて、そのうちの１つを選択して記憶することができる。例えば、最小ユニットが４×４である場合、ある１つの点、例えば、（２、２）の点を選択する。この点における第１種類のフレーム内予測モードの重みが第２種類のフレーム内予測モードの重み以上である場合、第１種類のフレーム内予測モードを記憶し、そうでない場合、第２種類のフレーム内予測モードを記憶する。さらに、例えば、最小ユニットのブロックにおけるすべての点の第１種類のフレーム内予測モードの重みと第１種類のフレーム内予測モードの重みを合計し、第１種類のフレーム内予測モードの重み和が第２種類のフレーム内予測モードの重み和以上である場合、第１種類のフレーム内予測モードを記憶し、そうでない場合、第２種類のフレーム内予測モードを記憶する。本願の実施例において、ＧＰＭ又はＡＷＰにおける関連情報を記憶する方法を使用する。このようにして、同じロジックの一部を再利用することができる。

【0123】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、フレーム内予測に使用されたフレーム内予測モードを記憶するステップは、
処理待ちブロック全体に対応するすべての最小ユニットに、同一のフレーム内予測モードを選択して記憶を行うステップを含む。このようにして、複雑度を低減させることができる。

【0124】

１つの例示的な例において、処理待ちブロック全体に対応するすべての最小ユニットに、同一のフレーム内予測モードを選択して記憶を行うステップは、
コードストリームを解析して得られた重みマトリックス導出モードに基づいて、処理待ちブロックのすべての最小ユニットに、いずれも２種類のフレーム内予測モードのうちの１種類のフレーム内予測モードを記憶し、又は、２種類のフレーム内予測モードのうちの別の１種類のフレーム内予測モードを記憶することを決定するステップを含むことができる。例えば、すべての重みマトリックス導出モードに対して、第１種類のフレーム内予測モードを選択する。さらに、例えば、すべての重みマトリックス導出モードに対して、第２種類のフレーム内予測モードを選択する。さらに、例えば、いくつかの重みマトリックス導出モードのすべての最小ユニットに対して、第１種類のフレーム内予測モードを選択し、別のいくつかの重みマトリックス導出モードのすべての最小ユニットに対して、第２種類のフレーム内予測モードを選択する。

【0125】

ここで、重みマトリックス導出モードは、重みマトリックスを導出するモードである。所定の幅と高さを有する１つのブロックに対して、各種類の重みマトリックス導出モードは、１つの重みマトリックスを導出することができ、異なる重みマトリックス導出モードは、同じサイズのブロックに対して導出する重みマトリックスが異なる。例えば、ＡＶＳ３のＡＷＰは、５６種類の重みマトリックス導出モードを有し、ＶＶＣのＧＰＭは、６４種類の重みマトリックス導出モードを有する。

【0126】

１つの例示的な例において、処理待ちブロック全体に対応するすべての最小ユニットに、同一のフレーム内予測モードを選択して記憶を行うステップは、
コードストリームを解析して得られた重みマトリックスの導出モードのモード番号に基づいて、処理待ちブロックのすべての最小ユニットに、いずれも２種類のフレーム内予測モードのうちの１種類のフレーム内予測モードを記憶し、又は、２種類のフレーム内予測モードのうちの別の１種類のフレーム内予測モードを記憶することを決定するステップを含むことができる。１種類の実施例において、重みマトリックス導出モードのモード番号に基づいてテーブル検索することによって、処理待ちブロックのすべての最小ユニットに第１種類のフレーム内予測モードを記憶するか、それとも第２種類のフレーム内予測モードを記憶するかを決定することができる。ここで、本願の実施例でＡＷＰと同じ重みマトリックスの導出モードを使用することを例として、表１に示すように、表１におけるモード番号が０であるマトリックス導出モードに対応するすべての最小ユニットに、第１種類のフレーム内予測モードを記憶することを選択することができ、表１におけるモード番号が１であるマトリックス導出モードに対応するすべての最小ユニットは、第２種類のフレーム内予測モードを選択することができる。

【0127】

【表1】

【0128】

１つの実施例は、符号化方法を提供し、該符号化方法は、
目標画像フレームを得、目標画像フレームに対してブロック分割を行い、処理待ちブロックを得るステップと、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得し、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、
前記処理待ちブロックと前記目標予測ブロックに基づいて符号化を行い、コードストリームを生成するステップと、を含む。

【0129】

別の１つの実施例は、復号化方法を提供し、該復号化方法は、
コードストリームを解析し、処理待ちブロックと重みマトリックスを取得するステップと、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、
前記目標予測ブロックと前記処理待ちブロックに基づいて復号化を行い、前記処理待ちブロックに対応する再構築ブロックを取得するステップと、を含む。

【0130】

本願の実施例は、コンピュータ実行可能な命令を記憶したコンピュータ可読記憶媒体を提供する。前記コンピュータ実行可能な命令は、上記のいずれか１項に記載のデコーダ側に適用されるフレーム内予測方法又は復号化方法を実現させるためのものである。

【0131】

本願の実施例は、コンピュータ実行可能な命令を記憶したコンピュータ可読記憶媒体を提供する。前記コンピュータ実行可能な命令は、上記のいずれか１項に記載のエンコーダ側に適用されるフレーム内予測方法又は符号化方法を実現させるためのものである。

【0132】

本願の実施例は、メモリとプロセッサを含むデコーダを提供する。メモリは、プロセッサに実行可能な命令を記憶し、前記プロセッサに実行可能な命令は、上記のいずれか１項に記載のデコーダ側に適用されるフレーム内予測方法又は復号化方法のステップを実現させるためのものである。

【0133】

本願の実施例は、メモリとプロセッサを含むエンコーダを提供する。メモリは、プロセッサに実行可能な命令を記憶し、前記プロセッサに実行可能な命令は、上記のいずれか１項に記載のエンコーダ側に適用されるフレーム内予測方法又は符号化方法のステップを実現させるためのものである。

【0134】

図１３は、本願におけるフレーム内予測装置の構造概略図である。図１３に示すように、該フレーム内予測装置は、少なくとも予測モジュールと組み合わせモジュールを含む。

【0135】

予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成される。

【0136】

組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される。

【0137】

本願の実施例に提供されるフレーム内予測装置は、エンコーダに設置されて良く、デコーダに設置されても良い。

【0138】

本願の実施例に提供されるフレーム内予測装置は、デコーダに設置され、さらに、復号化モジュールを含む。

【0139】

復号化モジュールは、受け取ったコードストリームに対して復号化を行い、２種類以上の異なるフレーム内予測モード、処理待ちブロック、及び重みマトリックスを取得するように構成される。

【0140】

本願の実施例に提供されるフレーム内予測装置は、エンコーダに設置され、さらに、処理モジュールを含む。

【0141】

処理モジュールは、すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択し、組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される２種類以上の異なるフレーム内予測モードと重みマトリックスとし、決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むように構成される。

【0142】

１つの例示的な例において、２種類以上の異なるフレーム内予測モードは、少なくとも１種類の基本フレーム内予測モードを含む。

【0143】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、２種類の異なるフレーム内予測モードは、いずれも基本フレーム内予測モードである。

【0144】

１つの例示的な例において、採用された基本フレーム内予測モードについて、さらに、改善フレーム内予測モードと組み合わせて処理待ちブロックに対して予測を行うことができる。

【0145】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、２種類の異なるフレーム内予測モードは、１種類の基本フレーム内予測モードと１種類の改善フレーム内予測モードを含む。

【0146】

本願の実施例において、処理待ちブロックに対する予測について、少なくとも２種類の異なるフレーム内予測モードを採用する。このようにして、多視点から処理待ちブロックに対して予測を行うことができ、複雑なテクスチャの予測を処理することに適し、フレーム内予測の品質を向上させることができる。

【0147】

１つの例示的な例において、すべての可能な重みマトリックスのうち、各重みマトリックスのすべての点の重みが同じというものではない。言い換えれば、すべての可能な重みマトリックスに、少なくとも２つの異なる重み値が含まれる可能な重みマトリックスは、少なくとも１つ存在する。

【0148】

１つの例示的な例において、すべての可能な重みマトリックスは、少なくとも２つの異なる重み値を含む。

【0149】

１つの例示的な例において、１つの例示的な例において、すべての可能な重みマトリックスに、少なくとも２つの異なる重み値が含まれる重みマトリックスは、少なくとも１つ存在し、しかも、同一の重み値だけが含まれる重みマトリックスは、少なくとも１つ存在する。

【0150】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、すべての可能な重みマトリックスに、２種類の重み値だけが含まれる重みマトリックスは、１つだけあり、そのうちの１つの重み値は、対応する点の予測値が完全に第１予測ブロックの対応する点の値からのものであることを表し、もう１つの重み値は、対応する点の予測値が完全に第２予測ブロックの対応する点の値からのものであることを表す。

【0151】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して復号化待ちブロックに対してフレーム内予測を行うことを例として、すべての可能な重みマトリックスにおいて、１つの重みマトリックスは、複数の種類の重み値を含むことができ、重み値の最大値と最小値（例えば、０）のそれぞれは、対応する点の予測値が完全に第１予測ブロックの対応する点の値と第２予測ブロックの対応する点の値からであることを表し、最大値と最小値ではない重み値は、対応する点の予測値が第１予測ブロックと第２予測ブロックの対応する点の値の加重平均からであることを表す。ここで、最大値、最小値以外の重み値によって構成される領域は、過渡領域と呼ばれることができる。

【0152】

１つの例示的な例において、すべての可能な重みマトリックスに、重みマトリックスが２種類の重み値だけを含む場合、重み値の変化位置は、１本の直線として表され、重みマトリックスが複数の種類の重み値を含む場合、過渡領域における重み値が同じである位置は、１本の直線として表される。１種類の実施例において、上記の直線がすべて水平垂直であり、又は、上記の直線がすべて水平垂直ではない。

【0153】

１つの例示的な例において、すべての可能な重みマトリックスに、重みマトリックスが２種類の重み値だけを含む場合、重み値の変化位置は、１本の曲線として表され、重みマトリックスが複数の種類の重み値を含む場合、過渡領域における重み値が同じである位置は、１本の曲線として表される。

【0154】

本願の実施例に提供される多様化の重みマトリックスは、より多様の予測ブロックを予測することに保障を提供し、さらに、本願の実施例に提供されるフレーム内予測方法は、より多くの場面に適用される。

【0155】

１つの例示的な例において、本願の実施例に提供されるフレーム内予測装置において、ブロックのサイズは、下記のような場合を含むことができるが、これらに限定されない。

【0156】

ブロックの幅は第１閾値ＴＨ１以上であり、ブロックの高さは第２閾値ＴＨ２以上であり、第１閾値ＴＨ１と第２閾値ＴＨ２の値は、８、１６、３２、６４、１２８などであり得、第１閾値ＴＨ１は第２閾値ＴＨ２に等しくても良く、例えば、第１閾値ＴＨ１＝第２閾値ＴＨ２＝８である。又は、ブロックの画素数は第３閾値ＴＨ３以上であり、第３閾値ＴＨ３の値は、８、１６、３２、６４、１２８などであり得る。

【0157】

又は、ブロックの幅は第４閾値ＴＨ４以下であり、ブロックの高さは第５閾値ＴＨ５以下であり、第４閾値ＴＨ４と第５閾値ＴＨ５の値は、８、１６、３２、６４、１２８などであり得、第４閾値ＴＨ４は第５閾値ＴＨ５に等しくても良い。又は、ブロックの画素数は第６閾値ＴＨ６以下であり、第６閾値ＴＨ６の値は、８、１６、３２、６４、１２８などであり得る。

【0158】

ブロックのサイズに対する制限によって、複数の予測モードを採用して予測を行うことによる複雑度がシステム全体に与える影響を低減させる。さらに、いくつかのサイズのブロックを適用しないと制限することによって、圧縮性能と複雑度のバランスをうまく実現し、それによって、本願の適用性をよりうまく保証する。

【0159】

１つの例示的な例において、技術の発展につれて、ブロックの分割はますます柔軟になる。正方形のブロック以外、分割方法は、アスペクト比が１：２、１：４、１：８、２：１、４：１、８：１などの形状のブロックをサポートすることができる。本願の実施例に提供されるフレーム内予測方法において、本願の発明者らの研究によると、いくつかのアスペクト比のブロック、即ち、いくつかのサイズのアスペクト比のブロック、例えば、１：４又は４：１のブロック及び１：８又は８：１のブロック、又は８×３２、８×６４、３２×８、６４×８などのブロックの圧縮性能は、それまで良いものではなく、又は、著しいものではない。この場合、本願における１つの実施例において、ブロックのアスペクト比を設定することによってブロックのサイズを設定することができる。例えば、幅と高さの比例は、事前設定の比例閾値ＴＨＲ以下であり、且つ、幅と高さの比例は、該比例閾値ＴＨＲ以下である。

【0160】

１つの例示的な例において、ブロックのサイズ、及びブロックのアスペクト比の設定は、同時に行っても良い。例えば、ブロックのサイズについて、ブロックの高さが８以上であり、ブロックの幅が８以上であり、ブロックの幅とブロックの高さの比例が４以下であり、ブロックの高さとブロックの幅の比例が４以下である場合、本願の実施例に提供されるフレーム内予測方法を使用することができ、そうでない場合、本願の実施例に提供されるフレーム内予測方法をデフォルトで使用しない。

【0161】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して復号化待ちブロックに対してフレーム内予測を行うことを例として、組み合わせモジュールは、具体的に、
第１予測ブロックに対応するマトリックスと第１重みマトリックスとの第１積を計算し、第２予測ブロックに対応するマトリックスと第２重みマトリックスとの第２積を計算し、
第１積、第２積、及び事前設定値の和を計算し、
計算して得られた和に対して正規化処理を行い、前記目標予測ブロックを得るように構成される。

【0162】

１つの例示的な例において、本願の実施例に提供されるフレーム内予測装置は、エンコーダに設置され、処理モジュールはさらに、
現在処理待ちフレームが本願の実施例のフレーム内予測方法を使用するか否かを表すために、フレームレベルのフラグを設定するように構成される。

【0163】

対応的に、デコーダにおける復号化モジュールはさらに、フラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される。

【0164】

１つの例示的な例において、本願の実施例に提供されるフレーム内予測装置は、エンコーダに設置され、処理モジュールはさらに、
示された該領域に対して本願の実施例のフレーム内予測方法を使用するか否かを表すために、フレームレベル以下、且つＣＵレベル以上（例えば、ｔｉｌｅ、ｓｌｉｃｅ、ｐａｔｃｈ、ＬＣＵなど）のフラグを設定するように構成される。

【0165】

対応的に、デコーダにおける復号化モジュールはさらに、フラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される。

【0166】

本願の実施例における異なるレベルのフラグの設定によって、一方で、異なる適用場面とビデオ内容に基づいて最適の配置を設定することを柔軟に実現し、別の一方で、コードレートをさらに節約する効果を達成する。

【0167】

１つの例示的な例において、本願の実施例に提供されるフレーム内予測装置は、エンコーダに設置され、処理モジュールはさらに、
本願の実施例に提供されるフレーム内予測方法と相互に排他的な改善予測モードを設定するように構成される。

【0168】

対応的に、デコーダにおける復号化モジュールはさらに、コードストリームを解析し、設定された本願の実施例に提供されるフレーム内予測方法と相互に排他的な改善予測モードを取得し、処理待ちブロックが本願の実施例のフレーム内予測方法を使用することを決定した場合、相互に排他的な改善予測モードを使用せず、処理待ちブロックが相互に排他的な改善予測モードを使用することを決定した場合、本願の実施例のフレーム内予測方法を使用しないように構成される。相互に排他的な改善予測モードに対する設定によって、コードストリームにおいて該相互に排他的な改善予測モードを使用するか否かのフラグを伝送する必要がなく、コードストリームにおける余計なフラグの伝送を節約し、全体としてより良い圧縮性能を得る。

【0169】

本実施例においてこれらの改善予測モードと本願のフレーム内予測との相互に排他的な関係を設定することによって、性能と複雑度とのバランスがうまく取れ、それによって、本願の適用性をよりうまく保証する。

【0170】

１つの例示的な例において、組み合わせモジュールはさらに、
隣接するブロックの符号化・復号化に使用するために、フレーム内予測に使用されたフレーム内予測モード情報を記憶するように構成される。

【0171】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、フレーム内予測に使用されたフレーム内予測モードを記憶するステップは、下記を含む。

【0172】

２種類の異なるフレーム内予測モードのうちの１種類のフレーム内予測モードを記憶する最小ユニットは、少なくとも１つ存在し、２種類の異なるフレーム内予測モードのうちの別の１種類のフレーム内予測モードを記憶する最小ユニットは、少なくとも１つ存在する。即ち、記憶したフレーム内予測モードが異なる最小ユニットは、少なくとも２つ存在する。

【0173】

１つの例示的な例において、２種類の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを例として、フレーム内予測に使用されたフレーム内予測モードを記憶するステップは、
処理待ちブロック全体に対応するすべての最小ユニットに、同一のフレーム内予測モードを選択して記憶を行うステップを含む。

【0174】

本願の実施例に提供されるデコーダを適用して、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、２種類以上の予測ブロックを取得する。重みマトリックスに基づいて、得られた２種類以上の予測ブロックに対して組み合わせを行い、それによって、処理待ちブロックの予測ブロックを得る。本願の実施例は、複数の種類のフレーム内予測モードによって複数の予測ブロックを決定し、複雑なテクスチャの予測処理を実現し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。

【0175】

さらに、本願の実施例に提供されるデコーダを適用して、多様化の重みマトリックスによって、より複雑なテクスチャの予測処理に保障を提供し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。さらに、本願の実施例に提供されるフレーム内予測方法は、より多くの場面に適用されることができる。

【0176】

本願の実施例はさらに、復号化モジュール、予測モジュール、及び組み合わせモジュール、を含むデコーダを提供する。

【0177】

復号化モジュールは、受け取ったコードストリームに対して復号化を行い、２種類以上の異なるフレーム内予測モード、処理待ちブロック、及び重みマトリックスを取得するように構成される。

【0178】

予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成される。

【0179】

組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される。

【0180】

１つの例示的な例において、復号化モジュールはさらに、
フレームレベルのフラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される。

【0181】

１つの例示的な例において、復号化モジュールはさらに、フレームレベル以下、且つＣＵレベル以上のフラグに基づいて、復号化して得られた２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行うことを引き続き実行するかどうかを判断するように構成される。

【0182】

本願の実施例はさらに、予測モジュール、組み合わせモジュール、及び処理モジュール、を含むエンコーダを提供する。

【0183】

予測モジュールは、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するように構成される。

【0184】

組み合わせモジュールは、重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るように構成される。

【0185】

処理モジュールは、すべて又は一部の可能な予測モードと重みマトリックス導出モードの組み合わせとに対して試行を行い、損失コストを計算し、損失コストが小さい組み合わせを選択し、組み合わせ内の２種類以上の異なるフレーム内予測モードと重みマトリックスを、フレーム内予測に使用される２種類以上の異なるフレーム内予測モードと重みマトリックスとし、決定された２種類以上の異なるフレーム内予測モードと重みマトリックス導出モードという情報を文法に従ってコードストリームに書き込むように構成される。

【0186】

１つの例示的な例において、処理モジュールはさらに、フラグを設定するように構成され、
前記フラグは、フレームレベルであり、デコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することを引き続き実行するかどうかを表すためのものであり、
及び／又は、前記フラグは、フレームレベル以下、且つ符号化ユニット（ＣＵ）レベル以上のフラグであり、示された領域に対してデコーダが前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することを引き続き実行するかどうかを表すためのものである。

【0187】

１つの例示的な例において、処理モジュールはさらに、
前記フレーム内予測と相互に排他的な予測モードを設定し、
前記処理待ちブロックに対して前記フレーム内予測を使用する場合、相互に排他的な予測モードを使用せず、又は、前記処理待ちブロックに対して相互に排他的な予測モードを使用する場合、前記フレーム内予測を使用しないように構成される。

【0188】

１つの例示的な例において、組み合わせモジュールはさらに、フレーム内予測に使用されたフレーム内予測モード情報を記憶するように構成される。

【0189】

図１４は、本願の実施例におけるフレーム内予測方法の別の一例のフローチャートである。図１４に示すように、該フレーム内予測方法は、下記のステップを含む。

【0190】

ステップ１４００において、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行う。

【0191】

ステップ１４０１において、各種類のフレーム内予測モードの予測によって事前設定の数量の画素点の予測が完了した後に、重みマトリックスと予測完了の各フレーム内予測モードに対応する画素点とに基づいて処理待ちブロックの事前設定の数量の予測画素点を得る。

【0192】

ステップ１４０２において、得られた複数の事前設定の数量の予測画素点に基づいて処理待ちブロックの目標予測ブロックを得る。

【0193】

本実施例に提供されるフレーム内予測方法と図７に示す実施例との区別として、図７に示す実施例の処理対象はブロックであり、図１４に示す実施例の処理対象は画素点である。同じく、図１４に示す実施例において、２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、事前設定の数量の画素の予測が完了した後に、重みマトリックスに基づいて、予測完了の各フレーム内予測モードに対応する画素点に対して組み合わせを行って処理待ちブロックの事前設定の数量の予測画素点を得、最後に、得られた複数の事前設定の数量の予測画素点を組み合わせして処理待ちブロックの予測ブロックを得る。本願の実施例は、複数の種類のフレーム内予測モードによって複数の予測ブロックを決定し、複雑なテクスチャの予測処理を実現し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。

【0194】

さらに、図１４に示す実施例における重みマトリックスの具体的な実現は、図７に示す実施例のようである。多様化の重みマトリックスは、より複雑なテクスチャの予測処理に保障を提供し、フレーム内予測の品質を向上させ、それによって、圧縮性能を向上させる。さらに、本願の実施例に提供されるフレーム内予測方法は、より多くの場面に適用されることができる。

【0195】

以下では、ＡＶＳ３に本願の実施例に提供されるフレーム内予測方法を適用することを例として、１つの復号化実施例を説明する。ＡＶＳ３においてＡＷＰ技術が使用されるため、本実施例において、本願のフレーム内予測は、空間領域角度加重予測（ＳＡＷＰ：Ｓｐａｔｉａｌ Ａｎｇｕｌａｒ Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる。本実施例において、一部のＡＶＳ３標準における用語を使用し、例えば、本実施例における予測サンプルマトリックスは、上記の予測ブロックと指しており、即ち、「ブロック」は、「サンプルマトリックス」として理解されることができる。さらに、例えば、本実施例におけるアレイは、マトリックスである。本実施例において、ＳＡＷＰが輝度分量に作用することを例とするが、本願の実施例は、輝度分量に限らず、色度分量及び他の任意のフォーマットの任意の分量に用いられることができる。

【0196】

本実施例における１つの方式において、エンコーダ側は、１つのシーケンスレベルのフラグ（ｆｌａｇ）を設定し、それによって、デコーダ側の現在の復号化待ちシーケンスがＳＡＷＰを使用するか否かを決定する。シーケンスヘッダ（ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ）の定義は、表２に示すようである。

【0197】

【表2】

【0198】

表２において、ｓａｗｐ＿ｅｎａｂｌｅ＿ｆｌａｇは、空間領域角度加重予測許可フラグであり、バイナリ変数である。例えば、ｓａｗｐ＿ｅｎａｂｌｅ＿ｆｌａｇは、値が１である場合、空間領域角度加重予測を使用することができることを表し、値が０である場合、空間領域角度加重予測を使用することができないことを表す。

【0199】

本実施例における別の１つの方式において、エンコーダ側は、１つのフレームレベルのフラグを設定し、それによって、デコーダ側で現在の復号化待ちフレームに対してＳＡＷＰを使用するか否かを決定する。例えば、イントラフレーム（例えば、Ｉフレーム）に対してＳＡＷＰを使用し、インターフレーム（例えば、Ｂフレーム、Ｐフレーム）に対してＳＡＷＰを使用しないように設定することができる。さらに、例えば、イントラフレームに対してＳＡＷＰを使用せず、インターフレームに対してＳＡＷＰを使用すると設定することができる。さらに、例えば、いくつかのインターフレームに対してＳＡＷＰを使用し、いくつかのインターフレームに対してＳＡＷＰを使用しないように設定することができる。

【0200】

本実施例におけるさらに別の１つの方式において、エンコーダ側は、１つのフレームレベル以下、且つＣＵレベル以上（例えば、ｔｉｌｅ、ｓｌｉｃｅ、ｐａｔｃｈ、ＬＣＵなど）のフラグを設定し、それによって、デコーダ側は、この領域に対してＳＡＷＰを使用するか否かを決定する。

【0201】

説明すべきこととして、本実施例において、上記のフラグを設定しなくても良い。

【0202】

デコーダは、現在ＣＵを復号化し、現在ＣＵに対してフレーム内予測を使用する場合、現在ＣＵのＳＡＷＰ使用フラグを復号化し、そうでない場合、現在ＣＵのＳＡＷＰ使用フラグを復号化する必要がない。ＤＴとＩＰＦの関連情報がＳＡＷＰと相互に排他的であるため、現在ＣＵがＳＡＷＰを使用する場合、ＤＴとＩＰＦの関連情報を処理する必要がない。

【0203】

【表3】

【0204】

ここで、ＳａｗｐＭｉｎＳｉｚｅは、長さと幅の最小値であり、ＳａｗｐＭａｘＲａｔｉｏは、最も大きいアスペクト比である。

【0205】

表３において、ｓａｗｐ＿ｆｌａｇは、空間領域角度加重予測フラグを表し、バイナリ変数である。例えば、ｓａｗｐ＿ｆｌａｇは、値が１である場、空間領域角度加重予測を行うことを表し、値が０である場合、空間領域角度加重予測を行わないことを表す。ＳａｗｐＦｌａｇの値は、ｓａｗｐ＿ｆｌａｇの値に等しい。ビットストリームにｓａｗｐ＿ｆｌａｇが存在しない場合、ＳａｗｐＦｌａｇの値は０である。

【0206】

表３におけるＳａｗｐＥｎａｂｌｅＦｌａｇの値は、表２におけるｓａｗｐ＿ｅｎａｂｌｅ＿ｆｌａｇの値に等しい。ビットストリームにｓａｗｐ＿ｅｎａｂｌｅ＿ｆｌａｇが存在しない場合、ＳａｗｐＥｎａｂｌｅＦｌａｇの値は０である。

【0207】

本実施例において、現在ＣＵに対してＳＡＷＰを使用すると仮定すると、重みマトリックス導出モードと２つのフレーム内予測モード（本実施例において、２種類のフレーム内予測モードを例とする）を復号化する必要がある。本実施例において、重みマトリックス導出モードがＡＷＰの重みマトリックス導出モードを再利用することを例とし、ＳＡＷＰの２つのフレーム内予測モードの復号化が関連技術におけるフレーム内予測モードの復号化を再利用することを例とする。

【0208】

【表4】

【0209】

表４において、ｓａｗｐ＿ｉｄｘは、空間領域角度加重予測モードインデックスを表し、空間領域角度加重予測の重みマトリックスを決定するためのものであり、ＳａｗｐＩｄｘの値は、ｓａｗｐ＿ｉｄｘの値に等しい。ビットストリームにｓａｗｐ＿ｉｄｘが存在しない場合、ＳａｗｐＩｄｘの値は０に等しい。

【0210】

表４において、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０は、空間領域角度加重予測の第１輝度予測モードを表し、空間領域角度加重予測の輝度ブロックの第１フレーム内予測モードを決定するためのものである。ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１は、空間領域角度加重予測の第２輝度予測モードを表し、空間領域角度加重予測の輝度ブロックの第２フレーム内予測モードを決定するためのものである。

【0211】

１種類の実施例において、ｓａｗｐ＿ｉｄｘの解析方法は、関連技術におけるａｗｐ＿ｉｄｘと同じであっても良い。ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０の解析方法は、関連技術におけるｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅと同じであっても良い。ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の解析方法は、関連技術におけるｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅと同じであっても良い。

【0212】

１種類の実施例において、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の解析方法は、下記のステップを含むことができる。ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０とｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１がいずれも最も可能なモード（ＭＰＭ）を使用する場合、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１は、それがＭＰＭの第１フレーム内予測モードであるか、それとも第２フレーム内予測モードであるかをさらに解析する必要がない。即ち、前記復号化された第１フレーム内予測モードの情報に基づいて、前記第２フレーム内予測モードを決定する。その理由として、ＡＶＳ３のＭＰＭは２つのフレーム内予測モードしかを有せず、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０がそのうちの１つのフレーム内予測モードを使用する場合、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１は、別の１つのフレーム内予測モードをデフォルトで使用すれば良い。

【0213】

Ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０の二値化方法は、表５に示されるように、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０の値が０又は１であり、それは、ＭＰＭを使用するか否かを表す。具体的に、二元記号列の１番目の二元記号が「１」であることは、ＭＰＭであることを表し、「０」であることは、ＭＰＭではないことを表す。１番目の二元記号がＭＰＭであることを表す場合、二元記号列の２番目の二元記号は、どのＭＰＭであることを表す。

【0214】

【表5】

【0215】

Ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の二値化方法は、表６に示されるように、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の値が０又は１であることは、ＭＰＭを使用するか否かを表す。具体的に、二元記号列の１番目の二元記号が「１」である場合、２番目の二元記号も必要がない。ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０の値が１である場合、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の値は０である。ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０の値が０である場合、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の値は１である。

【0216】

【表6】

【0217】

依然として、ＡＶＳ３において本願の実施例に提供されるフレーム内予測方法を適用することを例として、コードストリーム構造の解析と復号化の別の１つの実施例を紹介する。

【0218】

デコーダは、現在ＣＵを復号化し、現在ＣＵに対してフレーム内予測を使用する場合、現在ＣＵのＤＴとＩＰＦの使用フラグ、及び現在フレーム内予測方法における各予測ユニットの唯一の輝度予測モードｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅを復号化する。

【0219】

現在ＣＵに対してＤＴを使用せず、ＩＰＦも使用しない場合、現在ＣＵのＳＡＷＰ使用フラグを復号化する。現在ＣＵに対してＳＡＷＰを使用する場合、重みマトリックス導出モードと１つのフレーム内予測モードｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１をさらに復号化し、復号化されたｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅをｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０とする。

【0220】

【表7】

【0221】

ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０とｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１のそれぞれに基づいて、ＩｎｔｒａＬｕｍａＰｒｅｄＭｏｄｅ０とＩｎｔｒａＬｕｍａＰｒｅｄＭｏｄｅ１を決定し、それによって、フレーム内予測サンプルマトリックスｐｒｅｄＭａｔｒｉｘ０とｐｒｅｄＭａｔｒｉｘ１を決定する。

【0222】

ＳａｗｐＩｄｘに基づいて、重みマトリックスＳａｗｐＷｅｉｇｈｔＡｒｒａｙＹを決定し、ここで、入力されたインデックスはＳａｗｐＩｄｘである。

【0223】

２つのフレーム内予測サンプルマトリックスｐｒｅｄＭａｔｒｉｘ０とｐｒｅｄＭａｔｒｉｘ１、及び決定された重みマトリックスＳａｗｐＷｅｉｇｈｔＡｒｒａｙＹに基づいて、新しい予測サンプルマトリックスｐｒｅｄＭａｔｒｉｘＳａｗｐを決定する。

【0224】

空間領域角度加重予測モードの予測サンプルマトリックスｐｒｅｄＭａｔｒｉｘＳａｗｐにおける要素ｐｒｅｄＭａｔｒｉｘＳａｗｐ［ｘ］［ｙ］の値は、（（ｐｒｅｄＭａｔｒｉｘ０［ｘ］［ｙ］ ＊ ＡｗｐＷｅｉｇｈｔＡｒｒａｙＹ［ｘ］［ｙ］ ＋ ｐｒｅｄＭａｔｒｉｘ１［ｘ］［ｙ］ ＊ （ ８ － ＡｗｐＷｅｉｇｈｔＡｒｒａｙＹ［ｘ］［ｙ］ ） ＋ ４ ） ＞＞ ３）である。

【0225】

ＳＡＷＰの予測ブロック、即ち、空間領域角度加重予測モードの予測サンプルマトリックスｐｒｅｄＭａｔｒｉｘＳａｗｐを決定した後に、後続の処理はさらに、量子化係数の復号化、逆変換と逆量子化によって残差ブロックを決定するステップ、残差ブロックと予測ブロックを組み合わせて再構築ブロックを生成するステップ、及び後続のループ内フィルタリングなど、を含むことができる。具体的な実現は、本願の保護範囲を限定するためのものではなく、ここで繰り返して記載しない。

【0226】

本実施例におけるＳＡＷＰのフレーム内予測モード記憶方法は、ＡＷＰの動き情報の記憶方法に類似する方法を使用することができ、入力されるインデックスをＳａｗｐＩｄｘに、出力されるフレーム内予測参照モード（ｉｎｔｅｒＰｒｅｄＡｗｐＲｅｆＭｏｄｅ）をｓａｗｐＲｅｆＭｏｄｅに置き換えるだけで良い。ある４×４ブロックのｓａｗｐＲｅｆＭｏｄｅが０である場合、ＩｎｔｒａＬｕｍａＰｒｅｄＭｏｄｅ０を記憶する。そうでない場合、該４×４ブロックのｓａｗｐＲｅｆＭｏｄｅが１であり、ＩｎｔｒａＬｕｍａＰｒｅｄＭｏｄｅ１を記憶する。

【0227】

ＡＶＳ３の１番目のバージョンは、３４種類のフレーム内予測モードだけをサポートし、そのうちの第３４種類（インデックスが０から始まる場合、インデックス番号は３３である）のモードは、ＰＣＭモードである。ＡＶＳ３の２番目のバージョンに、より多くのフレーム内予測モードが追加され、６６種類のフレーム内予測モードまで拡大される。２番目のバージョンは、１番目のバージョンとの互換性を保持するため、従来のｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅの復号化方法を変えず、その代わりに、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅが１より大きい場合、もう１つのフラグを増加する必要があることを提案する。表８に示すように、即ち、フレーム内輝度予測モード拡張フラグｅｉｐｍ＿ｐｕ＿ｆｌａｇである。

【0228】

【表8】

【0229】

フレーム内輝度予測モード拡張フラグｅｉｐｍ＿ｐｕ＿ｆｌａｇは、バイナリ変数である。ｅｉｐｍ＿ｐｕ＿ｆｌａｇの値が１である場合、フレーム内角度予測拡張モードを使用すべきであることを表し、ｅｉｐｍ＿ｐｕ＿ｆｌａｇの値が０である場合、フレーム内輝度予測拡張モードを使用しないことを表す。ＥｉｐｍＰｕＦｌａｇの値は、ｅｉｐｍ＿ｐｕ＿ｆｌａｇの値に等しい。ビットストリームにｅｉｐｍ＿ｐｕ＿ｆｌａｇが存在しない場合、ＥｉｐｍＰｕＦｌａｇの値は０に等しい。

【0230】

そのため、ＡＶＳ３の２番目のバージョンの記述に対応する場合、上記の実施例における文法ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０、及びｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１の後に、表８のようにｅｉｐｍ＿ｐｕ＿ｆｌａｇ、ｅｉｐｍ＿ｐｕ＿ｆｌａｇ０、及びｅｉｐｍ＿ｐｕ＿ｆｌａｇ１の記述を追加するべきである。しかも、ＩｎｔｒａＬｕｍａＰｒｅｄＭｏｄｅ０は、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ０とｅｉｐｍ＿ｐｕ＿ｆｌａｇ０に基づいて決定され、ＩｎｔｒａＬｕｍａＰｒｅｄＭｏｄｅ１は、ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ１とｅｉｐｍ＿ｐｕ＿ｆｌａｇ１に基づいて決定される。

【0231】

本願の実施例において、ＰＣＭモードを使用しない実施例、又は、１番目のバージョンの前の３３種類又は３４種類だけを使用するモードの実施例について、ｅｉｐｍ＿ｐｕ＿ｆｌａｇを伝送する必要がない。

【0232】

明らかに、当業者が理解可能なこととして、上記の本願の各モジュール又は各ステップは、汎用の計算装置で実現されることができ、単一の計算装置に集中されても良く、複数の計算装置からなるネットワークに分散されても良く、選択可能なこととして、計算装置に実行可能なプログラムコードで実現されても良く、それによって、記憶装置に記憶され、計算装置に実行されても良い。さらに、いくつかの場合、示された又は説明されたステップは、本明細書と異なる順序で実行されても良く、又は、それらのそれぞれを各集積回路モジュールとして製造し、又は、そのうちの複数のモジュール又はステップを単一の集積回路モジュールとして製造することによって実現されても良い。このようにして、本願は、ハードウェアとソフトウェアの任意の特定の組み合わせに限定されるものではない。

【0233】

上記の説明は、本願の最適的な実施例に過ぎなく、本願を制限するためのものではない。当業者に対して、本願が各種類の変更と変化があり得る。本願の主旨精神と原則以内に、いかなる改修、同等入れ替わり、改善等が、本願の保護範囲以内に含まれるべきである。

【図1(a)】

【図1(b)】

【図1(c)】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9(a)】

【図9(b)】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-11-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコーダに適用されるフレーム内予測方法であって、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む、フレーム内予測方法。

【請求項2】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、
コードストリームを解析し、前記２種類以上の異なるフレーム内予測モード、前記処理待ちブロック、及び前記重みマトリックスを取得するステップを含む、
請求項１に記載のフレーム内予測方法。

【請求項3】

前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得する前に、前記フレーム内予測方法はさらに、
コードストリームを解析し、フラグを取得するステップを含み、
前記フラグは、フレームレベルのフラグであり、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行するかどうかを表すためのものであり、
及び／又は、前記フラグは、フレームレベル以下、且つ符号化ユニット（ＣＵ）レベル以上のフラグであり、示された領域に対して前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップを引き続き実行するかどうかを表すためのものである、
請求項１に記載のフレーム内予測方法。

【請求項4】

前記２種類以上の異なるフレーム内予測モードは、第１フレーム内予測モードを含み、又は、第１フレーム内予測モードと第２フレーム内予測モードを含み、
第１フレーム内予測モードは、他のフレーム内予測モードに依存せずに予測ブロックを独立で生成するフレーム内予測モードであり、第２フレーム内予測モードは、基本フレーム内予測モードに依存して予測ブロックを決定するフレーム内予測モードである、
請求項１～３のいずれか１項に記載のフレーム内予測方法。

【請求項5】

前記２種類以上の異なるフレーム内予測モードは、少なくとも１種類の前記第１フレーム内予測モードを含み、
前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
２種類の異なるフレーム内予測モードは、いずれも前記第１フレーム内予測モードである、
請求項４に記載のフレーム内予測方法。

【請求項6】

前記第１フレーム内予測モードは、方向角度（ＤＣ）モード、平滑（Ｐｌａｎａｒ）モード、平面（Ｐｌａｎｅ）モード、双線形（Ｂｉｌｉｎｅａｒ）モード、角度予測（ＡＣ）モードのうちの１つまたは複数を含む、
請求項５に記載のフレーム内予測方法。

【請求項7】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、前記予測ブロックは、第１予測ブロックと第２予測ブロックを含み、前記重みマトリックスは、第１重みマトリックスと第２重みマトリックスを含み、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップは、
第１予測ブロックと第１重みマトリックスとの第１積を計算し、第２予測ブロックと第２重みマトリックスとの第２積を計算するステップと、
第１積、第２積、及び事前設定値の和を計算するステップと、
計算して得られた和に対して正規化処理を行い、前記目標予測ブロックを得るステップと、を含み、
前記第２重みマトリックスは、最大重み値と前記第１重みマトリックスとの差であり、
前記正規化処理は、計算して得られた和を事前設定のビット数だけ右シフトし、復号化待ちブロックの予測ブロックを得るステップを含む、
請求項１～３のいずれか１項に記載のフレーム内予測方法。

【請求項8】

前記最大重み値は８に等しく、前記事前設定値は４に等しく、前記事前設定のビット数は３に等しい、
請求項７に記載のフレーム内予測方法。

【請求項9】

すべての可能な前記重みマトリックスに、少なくとも２つの異なる重み値が含まれる重みマトリックスは、少なくとも１つ存在する、
請求項７に記載のフレーム内予測方法。

【請求項10】

すべての可能な前記重みマトリックスにおいて、１つの重みマトリックスは、複数の種類の重み値を含み、重み値の最大値と最小値のそれぞれは、対応する点の予測値が完全に前記第１予測ブロックの対応する点の値と前記第２予測ブロックの対応する点の値からのものであることを表し、最大値と最小値ではない重み値は、対応する点の予測値が前記第１予測ブロックと前記第２予測ブロックの対応する点の値の加重平均からのものであることを表す、
請求項９に記載のフレーム内予測方法。

【請求項11】

前記処理待ちブロック又は目標予測ブロックの幅と高さは、
幅が第１閾値ＴＨ１以上であり、高さが第２閾値ＴＨ２以上であり、
又は、幅が第４閾値ＴＨ４以下であり、高さが第５閾値ＴＨ５ｓ以下であり、
前記第１閾値ＴＨ１は前記第２閾値ＴＨ２に等しく、前記第１閾値ＴＨ１は８に等しい、
請求項１に記載のフレーム内予測方法。

【請求項12】

前記フレーム内予測方法はさらに、
前記フレーム内予測方法に使用された前記フレーム内予測モード情報を記憶するステップを含み、
前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
前記フレーム内予測方法に使用された前記フレーム内予測モードを記憶するステップは、
記憶したフレーム内予測モードが異なる最小ユニットは、少なくとも２つ存在することを含む、
請求項１～３のいずれか１項に記載のフレーム内予測方法。

【請求項13】

前記フレーム内予測モードは、２種類の異なるフレーム内予測モードを含み、
前記復号化された前記２種類の異なるフレーム内予測モードのうちの１種類のフレーム内予測モードの情報に基づいて、別の１種類のフレーム内予測モードを決定し、
前記第１フレーム内予測モードと前記第２フレーム内予測モードは、いずれも最も可能なモード（ＭＰＭ）を使用する、
請求項２に記載のフレーム内予測方法。

【請求項14】

デコーダであって、前記デコーダはプロセッサを含み、前記プロセッサは、
受け取ったコードストリームに対して復号化を行い、２種類以上の異なるフレーム内予測モード、処理待ちブロック、及び重みマトリックスを取得することと、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得することと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得ることとを行うように構成される、デコーダ。

【請求項15】

エンコーダに適用されるフレーム内予測方法であって、
２種類以上の異なるフレーム内予測モードのそれぞれを採用して処理待ちブロックに対してフレーム内予測を行い、前記異なるフレーム内予測モードに対応する２種類以上の予測ブロックを取得するステップと、
重みマトリックスと得られた２種類以上の予測ブロックとに基づいて処理待ちブロックの目標予測ブロックを得るステップと、を含む、フレーム内予測方法。

【国際調査報告】