特許 7678051 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-07

(45)【発行日】2025-05-15

(54)【発明の名称】隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測

(51)【国際特許分類】

   H04N 19/593 20140101AFI20250508BHJP

   H04N 19/11 20140101ALI20250508BHJP

   H04N 19/134 20140101ALI20250508BHJP

   H04N 19/176 20140101ALI20250508BHJP

   H04N 19/59 20140101ALI20250508BHJP

【ＦＩ】

H04N19/593

H04N19/11

H04N19/134

H04N19/176

H04N19/59

【請求項の数】 16

(21)【出願番号】P 2023176714

(22)【出願日】2023-10-12

(62)【分割の表示】P 2021535642の分割

【原出願日】2019-12-19

(65)【公開番号】P2023179682

(43)【公開日】2023-12-19

【審査請求日】2023-11-09

(31)【優先権主張番号】18214976.5

(32)【優先日】2018-12-20

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ファフ・ヨナサン

(72)【発明者】

【氏名】ヘレ・フィリップ

(72)【発明者】

【氏名】シェーファー・ミヒャエル

(72)【発明者】

【氏名】リシュケ・ローマン

(72)【発明者】

【氏名】ヒンツ・トビアス

(72)【発明者】

【氏名】マークル・フィリップ

(72)【発明者】

【氏名】スタレンバーガー・ビョルン

(72)【発明者】

【氏名】ヴィンケン・マーティン

(72)【発明者】

【氏名】シークマン・ミシャ

(72)【発明者】

【氏名】シュヴァルツ・ハイコー

(72)【発明者】

【氏名】マルペ・デトレフ

(72)【発明者】

【氏名】ヴィーガンド・トーマス

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１９／１８５８０８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１９９０５１（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１９９３３０（ＷＯ，Ａ１）

【文献】Jonathan Pfaff, et al.，Intra prediction modes based on neural networks，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0037-v1，10th Meeting: San Diego, US，2018年04月，pp.1-14

【文献】Philipp Helle, et al.，CE3-related: Non-linear weighted intra prediction (cross-check report in JVET-K0262)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0196-v3，11th Meeting: Ljubljana, SI，2018年07月，pp.1-7

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

データストリーム（１２）からのピクチャ（１０）を復号するためのデコーダ（５４）であって、前記デコーダは前記ピクチャ（１０）を所定のブロック（１８）を含む異なるブロックサイズの複数のブロックに細分するように構成され、前記デコーダは、複数の隣接サンプル（１７）と比較して、サンプル数が、より少ない減少したセットのサンプル値（１０２）を取得するために、
前記複数の隣接サンプルを減少させる（１００，８１１）ことであって、前記デコーダは、前記複数の隣接サンプル（１７）を１つ以上の連続する隣接サンプルのグループ（１１０）にグループ化し、２つ以上の隣接サンプルを有する１つ以上の隣接サンプルの前記グループ（１１０）の各々に対して平均化を実行することによって前記減少（１００，８１１）を実行するように構成される、減少させることと、
前記所定のブロック（１８）の幅Ｗおよび高さＨに応じて行列（１９，１７Ｍ，Ａｋ）を選択されることであって、その結果、前記所定のブロック（１８）に対して選択された前記行列は、以下から選択され、
前記所定のブロック（８１）の前記幅Ｗおよび高さＨが、両方とも４である限り、行列の第１のセットと、
前記所定のブロックの前記幅Ｗおよび高さＨが、両方とも８、又は前記幅Ｗ又は前記高さＨのいずれか１つが４である限り、行列の第２のセットと、又は
それ以外の場合は、行列の第３のセットと、
前記所定のブロック（１８）の所定のサンプル（１０４，１１８’，１８８’’）の予測値を取得するために、サンプル値の前記減少したセット（１０２）に前記選択された行列（１９、１７Ｍ）とオフセット値を適用すること（８１２）と、
による、デコーダ（５４）。

【請求項2】

前記平均化がビットシフトを含む、請求項１に記載のデコーダ。

【請求項3】

補間によって、前記所定のサンプル（１０４，１１８’，１１８’’）および前記複数の隣接サンプル（１７）の前記予測値に基づいて、前記所定のブロック（１８）のさらなるサンプル（１０８，１０８’）の予測値を導出する（８１３）
ようにさらに構成される、請求項１または２に記載のデコーダ。

【請求項4】

ビットシフトによって補間を実行するように構成されている、請求項３に記載のデコーダ。

【請求項5】

前記複数の隣接サンプル（１７）は、前記所定のブロック（１８）の２辺に沿って一次元に延在する、請求項１から４のいずれか一項に記載のデコーダ。

【請求項6】

前記行列は、Ｐｒｅｄ＊ＱｒｅｄまたはＰｒｅｄ＊Ｑ個の重み係数を含み、Ｐｒｅｄは、サンプル値の前記減少したセット（１０２）内のサンプル値（１０２）の数であり、ＱｒｅｄまたはＱは、前記所定のブロック（１８）内の所定のサンプルの数であり、
少なくとも１／４のＰｒｅｄ＊Ｑｒｅｄまたは１／４のＰｒｅｄ＊Ｑ個の重み係数は非ゼロの重み値であり、
前記Ｐｒｅｄ＊ＱｒｅｄまたはＰｒｅｄ＊Ｑ個の重み係数が、前記ＱまたはＱｒｅｄ個の所定のサンプルの各々について、それぞれの所定のサンプルに関する一連のＰｒｅｄ個の重み係数を含み、前記一連のＰｒｅｄ個の重み係数が、前記所定のブロック（１８）の前記所定のサンプル間のラスタスキャン順序に従って上下に配置されると、全方向的に非線形である包絡線を形成する、請求項１から５のいずれか一項に記載のデコーダ。

【請求項7】

前記所定のブロック（１８）について、前記データストリーム（１２）から予測残差（３４’’）を導出し、
前記所定のサンプル（２４’，１０４，１０８，１０８’）に対する前記予測残差（３４’’）および前記予測値（２４’）を使用して、前記所定のブロック（１８）を再構成する（４２’）
ように構成される、請求項１から６のいずれか一項に記載のデコーダ。

【請求項8】

所定のブロック（１８）を含む異なるブロックサイズの複数のブロックにサブ分割されたピクチャ（１６）を復号する復号方法であって、前記方法は、
複数の隣接サンプル（１７）と比較して、サンプル数が、より少ない減少したセットのサンプル値（１０２）を取得するために、前記複数の隣接サンプルを減少させる（１００，８１１）ことによって、前記複数の隣接サンプルを使用して、前記ピクチャの所定のブロック（１８）を予測することであって、減少させることは、前記複数の隣接サンプル（１７）を１つ以上の連続する隣接サンプルのグループ（１１０）にグループ化することと、２つ以上の隣接サンプルを有する１つ以上の隣接サンプルの前記グループ（１１０）の各々に対して平均化を実行することと、を含み、
前記所定のブロック（１８）の幅Ｗおよび高さＨに応じて行列（１９，１７Ｍ，Ａｋ）を選択されることであって、その結果、前記所定のブロック（１８）に対して選択された前記行列は、以下から選択され、
前記所定のブロック（８１）の前記幅Ｗおよび高さＨが、両方とも４である限り、行列の第１のセットと、
前記所定のブロックの前記幅Ｗおよび高さＨが、両方とも８、又は前記幅Ｗ又は前記高さＨのいずれか１つが４である限り、行列の第２のセットと、又は
それ以外の場合は、行列の第３のセットと、
前記所定のブロック（１８）の所定のサンプル（１０４，１１８’，１８８’’）の予測値を取得するために、サンプル値の前記減少したセット（１０２）に前記選択された行列（１９、１７Ｍ）とオフセット値を適用すること（８１２）と、
を含む、復号方法。

【請求項9】

ピクチャをデータストリームに符号化するためのエンコーダであって、前記エンコーダは前記ピクチャ（１６）を所定のブロック（１８）を含む異なるブロックサイズの複数のブロックに細分するように構成され、前記エンコーダは、
複数の隣接サンプルと比較して、サンプル数が、より少ない減少したセット（１０２）のサンプル値を取得するために、前記複数の隣接サンプルを減少させる（１００，８１１）ことと、
前記所定のブロック（１８）の幅Ｗおよび高さＨに応じて行列（１９，１７Ｍ，Ａｋ）を選択されることであって、その結果、前記所定のブロック（１８）に対して選択された前記行列は、以下から選択され、
前記所定のブロック（８１）の前記幅Ｗおよび高さＨが、両方とも４である限り、行列の第１のセットと、
前記所定のブロックの前記幅Ｗおよび高さＨが、両方とも８、又は前記幅Ｗ又は前記高さＨのいずれか１つが４である限り、行列の第２のセットと、又は
それ以外の場合は、行列の第３のセットと、
前記所定のブロック（１８）の所定のサンプル（１０４，１１８’，１８８’’）の予測値を取得するために、サンプル値の前記減少したセット（１０２）に前記選択された行列（１９、１７Ｍ）とオフセット値を適用すること（８１２）と、
を含む、エンコーダ。

【請求項10】

ビットシフトによる平均化を実行するように構成される、請求項９に記載のエンコーダ。

【請求項11】

補間によって、前記所定のサンプルおよび前記複数の隣接サンプルの前記予測値に基づいて、前記所定のブロックのさらなるサンプル（１０８）の予測値を導出する
ように構成される、請求項９に記載のエンコーダ。

【請求項12】

前記複数の隣接サンプルは、前記所定のブロックの２辺に沿って一次元に延在する、請求項９から１１のいずれか一項に記載のエンコーダ。

【請求項13】

前記行列は、Ｐｒｅｄ＊ＱｒｅｄまたはＰｒｅｄ＊Ｑ個の重み係数を含み、Ｐは、サンプル値の前記減少したセット（１０２）内のサンプル値の数であり、Ｑは、前記所定のブロック内の所定のサンプルの数であり、
少なくとも１／４のＰｒｅｄ＊Ｑｒｅｄまたは１／４のＰｒｅｄ＊Ｑ個の重み係数は非ゼロの重み値であり、
前記Ｐｒｅｄ＊ＱｒｅｄまたはＰｒｅｄ＊Ｑ個の重み係数が、前記ＱまたはＱｒｅｄ個の所定のサンプルの各々について、それぞれの所定のサンプルに関する一連のＰｒｅｄ個の重み係数を含み、前記一連のＰｒｅｄ個の重み係数が、前記所定のブロックの前記所定のサンプル間のラスタスキャン順序に従って上下に配置されると、全方向的に非線形である包絡線を形成する、請求項９から１２のいずれか一項に記載のエンコーダ。

【請求項14】

前記所定のブロックについて、前記所定のサンプルの予測残差および前記予測値を使用して前記所定のブロックが再構成可能な前記データストリームに前記予測残差を挿入するようにさらに構成される、請求項９から１３のいずれか一項に記載のエンコーダ。

【請求項15】

所定のブロック（１８）を含む異なるブロックサイズの複数のブロックにサブ分割されたピクチャ（１６）を符号化する符号化方法であって、前記方法は、
複数の隣接サンプル（１７ａ、１７ｃ）を使用して前記ピクチャの所定のブロック（１８）を予測することと、
複数の隣接サンプルと比較して、サンプル数が、より少ない減少したセット（１０２）のサンプル値を取得するために、前記複数の隣接サンプルを減少させる（１００，８１１）ことと、
前記所定のブロック（１８）の幅Ｗおよび高さＨに応じて行列（１９，１７Ｍ，Ａｋ）を選択されることであって、その結果、前記所定のブロック（１８）に対して選択された前記行列は、以下から選択され、
前記所定のブロック（８１）の前記幅Ｗおよび高さＨが、両方とも４である限り、行列の第１のセットと、
前記所定のブロックの前記幅Ｗおよび高さＨが、両方とも８、又は前記幅Ｗ又は前記高さＨのいずれか１つが４である限り、行列の第２のセットと、又は
それ以外の場合は、行列の第３のセットと、
前記所定のブロック（１８）の所定のサンプル（１０４，１１８’，１８８’’）の予測値を取得するために、サンプル値の前記減少したセット（１０２）に前記選択された行列（１９、１７Ｍ）とオフセット値を適用すること（８１２）と、 による、符号化方法。

【請求項16】

プロセッサによって実行されると、前記プロセッサに請求項８または１５に記載の方法を実行させる命令を記憶する非一時的記憶ユニット。

【発明の詳細な説明】

【技術分野】

【0001】

１ 導入
以下では、異なる本発明の実施例、実施形態および態様を説明する。これらの例、実施形態、および態様の少なくともいくつかは、とりわけ、ビデオコーディングのための、および／または例えば隣接サンプル減少を伴う線形またはアフィン変換を使用してイントラ予測を実行するための、および／または例えばビデオアプリケーションおよび／または仮想現実アプリケーションのためのビデオ配信（例えば、放送、ストリーミング、ファイル再生など）を最適化するための方法および／または装置に関する。さらに、例、実施形態、および態様は、高効率ビデオコーディング（ＨＥＶＣ）または後継に関する。また、さらなる実施形態、例および態様は、添付の特許請求の範囲によって定義される。

【背景技術】

【0002】

特許請求の範囲によって定義される任意の実施形態、例および態様は、以下の章に記載される詳細（特徴および機能）のいずれかによって補足することができることに留意されたい。

【0003】

また、以下の章に記載される実施形態、例、および態様は、個別に使用することができ、別の章の特徴のいずれか、または特許請求の範囲に含まれる任意の特徴によって補足することもできる。

【0004】

また、本明細書に記載の個々の例、実施形態および態様は、個別にまたは組み合わせて使用することができることに留意されたい。したがって、詳細は、態様の別の１つに詳細を追加することなく、例、実施形態および個々の態様のそれぞれに追加することができる。
本開示は、復号および／または符号化システムおよび／または方法の特徴を明示的または暗黙的に説明することにも留意されたい。

【0005】

さらに、方法に関連して本明細書に開示された特徴および機能を装置で使用することもできる。さらに、装置に関して本明細書に開示された任意の特徴および機能を、対応する方法で使用することもできる。言い換えれば、本明細書に開示された方法は、装置に関して説明された特徴および機能のいずれかによって補完することができる。また、本明細書で説明される特徴および機能のいずれも、「さらなる実施形態および例」などの他のセクションで説明されるように、ハードウェアもしくはソフトウェアで、またはハードウェアとソフトウェアの組み合わせを使用して実装することができる。

【0006】

さらに、括弧内に記載された特徴のいずれか（「（．．．）」または「［．．．］」）は、いくつかの例、実施形態、または態様では任意選択であると見なされ得る。

【発明の概要】

【発明が解決しようとする課題】

【0007】

【課題を解決するための手段】

【0008】

１．１ 概要
一態様によれば、データストリームからピクチャを復号するためのデコーダであって、複数の隣接サンプルを使用して、

【0009】

複数の隣接サンプルと比較して、サンプル数が、より少ないサンプル値の減少したセットを取得するために、複数の隣接サンプルを減少させる（例えば、平均化またはダウンサンプリングによって）ことと、
所定のブロックの所定のサンプルの予測値を取得するために、サンプル値の減少したセットを線形またはアフィン線形変換に供することと
によって、ピクチャの所定のブロックを予測するように構成される、デコーダが提供される。

【0010】

例では、デコーダは、複数の隣接サンプルと比較して、サンプル数が、より少ないサンプル値の減少したセットを取得するために、減少する、例えば複数の隣接サンプルのダウンサンプリングを平均化することを実行するようにさらに構成され得る。

【0011】

場合によっては、デコーダはまた、例えば補間によって、所定のサンプルおよび複数の隣接サンプルの予測値に基づいて、所定のブロックのさらなるサンプルの予測値を導出することもある。したがって、アップサンプリング動作を適用し得る。
一態様によれば、データストリームからピクチャを符号化するためのエンコーダであって、複数の隣接サンプルを使用して、

【0012】

複数の隣接サンプルと比較して、サンプル数が、より少ないサンプル値の減少したセットを取得するために、複数の隣接サンプルを減少させる（例えば、平均化またはダウンサンプリングによって）ことと、
所定のブロックの所定のサンプルの予測値を取得するために、サンプル値の減少したセットを線形またはアフィン線形変換に供することと
によって、ピクチャの所定のブロックを予測するように構成される、エンコーダが提供される。

【0013】

例では、エンコーダは、複数の隣接サンプルと比較して、サンプル数が、より少ないサンプル値の減少したセットを取得するために、複数の隣接サンプルをダウンサンプリングすることによって減少を実行するようにさらに構成され得る。

【0014】

場合によっては、エンコーダはまた、例えば補間によって、所定のサンプルおよび複数の隣接サンプルの予測値に基づいて、所定のブロックのさらなるサンプルの予測値を導出することもある。したがって、アップサンプリング動作を適用し得る。

【0015】

例では、上記のようなエンコーダおよび／または上記のようなデコーダを備えるシステムが提供されてもよい。いくつかの例では、エンコーダのハードウェアおよび／または少なくともいくつかの手続きルーチンは、デコーダのものと同じであってもよい。

【0016】

実施例では、複数の隣接サンプルと比較して、サンプル数が、より少ない減少したセットのサンプル値を取得するために、複数の隣接サンプルを減少させることによって、例えば、ダウンサンプリングまたは平均化することによって、複数の隣接サンプルを使用して、ピクチャの所定のブロックを予測することと、
所定のブロックの所定のサンプルの予測値を取得するために、減少したセットのサンプル値を線形またはアフィン線形変換に供することと
を含む、復号方法が提供され得る。

【0017】

実施例では、複数の隣接サンプルと比較して、サンプル数が、より少ない減少したセットのサンプル値を取得するために、複数の隣接サンプルを減少させることによって、例えば、ダウンサンプリングまたは平均化することによって、複数の隣接サンプルを使用して、ピクチャの所定のブロックを予測することと、
所定のブロックの所定のサンプルの予測値を取得するために、減少したセットのサンプル値を線形またはアフィン線形変換に供することと
を含む、符号化方法が提供され得る。
実施例では、プロセッサによって実行されると、プロセッサに上記の方法を実行させる命令を記憶する非一時的記憶ユニットが提供され得る。
１．３ 図面

【図面の簡単な説明】

【0018】

【図1】エンコーダの例を示す。

【図2】エンコーダの例を示す。

【図3】デコーダの例を示す。

【図4】デコーダの例を示す。

【図5】ブロックの予測を示す図である。

【図6】行列演算を示す。

【図7.1】実施例による動作の例を示す。

【図7.2】実施例による動作の例を示す。

【図7.3】実施例による動作の例を示す。

【図7.4】実施例による動作の例を示す。

【図8.1】実施例による方法の例を示す。

【図8.2】実施例による方法の例を示す。

【図9】コンポーネントの一例を示す。

【図10】エンコーダの例を示す。

【図11】デコーダの例を示す。

【図12】予測対象ブロックの次元を予測モードに関連付けるスキームを示す。

【図13】本発明を理解するのに有用なスキームを示す。

【発明を実施するための形態】

【0019】

２ エンコーダ、デコーダ
以下では、イントラ予測を使用する場合に、より効果的な圧縮を達成するのを支援し得る様々な例が記載される。いくつかの例は、イントラ予測モードのセットを消費することによって圧縮効率の向上を達成する。後者は、例えばヒューリスティックに設計された他のイントラ予測モードに追加されてもよく、または排他的に提供されてもよい。また、さらに他の例では、前述の専門分野の両方を利用している。

【0020】

本出願の以下の例の理解を容易にするために、説明は、続いて概説される本出願の例を構築することができる可能なエンコーダおよびそれに適合するデコーダの提示から始まる。図１は、ピクチャ１０をデータストリーム１２にブロック単位で符号化するための装置を示す。装置は、参照符号１４を使用して示され、静止画エンコーダまたはビデオエンコーダであってもよい。言い換えれば、エンコーダ１４がピクチャ１０を含むビデオ１６をデータストリーム１２に符号化するように構成されている場合、ピクチャ１０は、ビデオ１６のうちの現在のピクチャであってもよく、またはエンコーダ１４は、ピクチャ１０をデータストリーム１２に排他的に符号化してもよい。

【0021】

上述したように、エンコーダ１４は、ブロック単位またはブロックベースで符号化を実行する。これのために、エンコーダ１４はピクチャ１０をブロックにサブ分割し、ブロックの単位でエンコーダ１４はピクチャ１０をデータストリーム１２に符号化する。ピクチャ１０のブロック１８への可能なサブ分割の例は、以下により詳細に記載される。一般に、サブ分割は、ピクチャ１０のピクチャエリア全体から、またはピクチャ１０の事前分割からツリーブロックの配列へのマルチツリーサブ分割を開始する階層マルチツリーサブ分割の使用などによって、行および列に配置されたブロックの配列などの一定サイズのブロック１８、または異なるブロックサイズのブロック１８に最終的になることができ、これらの例は、ピクチャ１０をブロック１８にサブ分割する他の可能な方法を除外するものとして扱われない。

【0022】

さらに、エンコーダ１４は、ピクチャ１０をデータストリーム１２に予測的に符号化するように構成された予測エンコーダである。特定のブロック１８の場合、これは、エンコーダ１４がブロック１８の予測信号を決定し、予測残差、すなわち予測信号がブロック１８内の実際のピクチャコンテンツから逸脱する予測誤差をデータストリーム１２に符号化することを意味する。

【0023】

エンコーダ１４は、あるブロック１８の予測信号を導出するために、異なる予測モードをサポートし得る。以下の例で重要である予測モードはイントラ予測モードであり、それに従ってブロック１８の内部がピクチャ１０の隣接する既に符号化されたサンプルから空間的に予測される。ピクチャ１０のデータストリーム１２への符号化、したがって対応する復号手順は、ブロック１８間で定義された特定の符号化順序２０に基づくことができる。例えば、符号化順序２０は、例えば、各行を左から右にトラバースしながら、行単位で上から下へなどのラスタスキャン順序でブロック１８をトラバースし得る。階層的マルチツリーベースのサブ分割の場合、ラスタスキャン順序付けは各階層レベル内で適用されてもよく、深さ優先トラバース順序が適用されてもよく、すなわち、特定の階層レベルのブロック内のリーフノードは、符号化順序２０に従って同じ親ブロックを有する同じ階層レベルのブロックに先行してもよい。符号化順序２０に応じて、ブロック１８の隣接する既に符号化されたサンプルは、通常、ブロック１８の１つ以上の側に位置し得る。本明細書に提示される例の場合、例えば、ブロック１８の隣接する既に符号化されたサンプルは、ブロック１８の上部および左側に位置する。

【0024】

イントラ予測モードは、エンコーダ１４によってサポートされている唯一のモードではないことがある。例えば、エンコーダ１４がビデオエンコーダである場合、エンコーダ１４はまた、ビデオ１６の以前に符号化されたピクチャから、ブロック１８が一時的に予測されるインター予測モードをサポートし得る。そのようなインター予測モードは、動き補償予測モードであってもよく、それに従って、ブロック１８の予測信号が複製として導出される部分の相対空間オフセットを示すブロック１８などに対して、動きベクトルがシグナリングされる。追加的または代替的に、エンコーダ１４がマルチビューエンコーダである場合のインター予測モード、またはブロック１８の内部がそのまま、すなわち予測なしで符号化される非予測モードとともに、他の非イントラ予測モードも利用可能であり得る。

【0025】

本出願の説明をイントラ予測モードに集中することを始める前に、図２に関して説明したように、可能なブロックベースのエンコーダ、すなわちエンコーダ１４の可能な実装形態のより具体的な例を示し、次に、それぞれ図１および図２に適合するデコーダの２つの対応する例を示す。

【0026】

図２は、図１のエンコーダ１４の可能な実装形態、すなわち、エンコーダが予測残差を符号化するために変換符号化を使用するように構成されているが、これはほぼ一例であり、本出願はその種の予測残差符号化に限定されない。図２によれば、エンコーダ１４は、インバウンド信号、すなわちピクチャ１０、またはブロックベースで現在のブロック１８から、対応する予測信号２４を減算して予測残差信号２６を取得し、これは次に、予測残差エンコーダ２８によってデータストリーム１２に符号化されるように構成された減算器２２を備える。予測残差エンコーダ２８は、非可逆符号化段２８ａと可逆符号化段２８ｂとから構成される。非可逆段２８ａは、予測残差信号２６を受け取り、予測残差信号２６のサンプルを量子化する量子化器３０を備える。既に上述したように、本例は、予測残差信号２６の変換符号化を使用し、したがって、非可逆符号化段２８ａは、減算器２２と量子化器３０との間に接続された変換段３２を備え、残差信号２６を提示する変換された係数に対して行われる量子化器３０の量子化で、スペクトル分解された予測残差２６を変換する。変換は、ＤＣＴ、ＤＳＴ、ＦＦＴ、アダマール変換などであってもよい。次いで、変換され量子化された予測残差信号３４は、エントロピコーダのエントロピ符号化量子化予測残差信号３４である可逆符号化段２８ｂによって可逆符号化に供されデータストリーム１２になる。エンコーダ１４は、量子化器３０の出力に接続された予測残差信号再構成段３６をさらに備え、それにより、変換および量子化された予測残差信号３４からデコーダでも利用可能な方法で、すなわち符号化損失を量子化器３０で考慮し、予測残差信号を再構成する。この目的のために、予測残差再構成段３６は逆量子化器３８を備え、これは量子化器３０の量子化の逆を実行し、その後に逆変換器４０が続き、これは上述の特定の変換例のいずれかに対する逆などのスペクトル分解の逆など、変換器３２によって実行される変換に対して逆変換を実行する。エンコーダ１４は、逆変換器４０によって出力された再構成された予測残差信号と予測信号２４とを加算して、再構成された信号、すなわち再構成されたサンプルを出力する加算器４２を備える。この出力は、エンコーダ１４の予測子４４に供給され、予測子は、それに基づいて予測信号２４を決定する。これは、図１に関して既に上述したすべての予測モードをサポートする予測子４４である。図２はまた、エンコーダ１４がビデオエンコーダである場合を示し、エンコーダ１４はまた、フィルタリングされた後、インター予測ブロックに関する予測子４４のための参照ピクチャを形成する、完全に再構成されたピクチャをフィルタリングするインループフィルタ４６を備えてもよい。

【0027】

既に上述したように、エンコーダ１４はブロックベースで動作する。以下の説明のために、関心のあるブロックベースは、ピクチャ１０をブロックにサブ分割し、ブロックのために予測子４４またはエンコーダ１４によってそれぞれサポートされるセットまたは複数のイントラ予測モードからイントラ予測モードが選択され、選択されたイントラ予測モードが個別に実行される。しかしながら、ピクチャ１０がサブ分割される他の種類のブロックも存在し得る。例えば、ピクチャ１０がインター符号化されるかイントラ符号化されるかの上述の決定は、粒度で、またはブロック１８から逸脱するブロックの単位で行われ得る。例えば、インター／イントラモード決定は、ピクチャ１０がサブ分割され、各符号化ブロックが予測ブロックにサブ分割される符号化ブロックのレベルで実行されてもよい。イントラ予測が使用されると決定された符号化ブロックを有する予測ブロックは、それぞれイントラ予測モード決定にサブ分割される。これに対して、これらの予測ブロックの各々について、それぞれの予測ブロックに対してどのサポートされているイントラ予測モードを使用すべきかが決定される。これらの予測ブロックは、ここで関心のあるブロック１８を形成する。インター予測に関連付けられた符号化ブロック内の予測ブロックは、予測子４４によって異なるように処理される。それらは、動きベクトルを決定し、動きベクトルによって指し示される参照ピクチャ内の位置からこのブロックの予測信号を複製することによって、参照ピクチャからインター予測される。別のブロックサブ分割は、変換器３２および逆変換器４０による変換が実行される単位での変換ブロックへのサブ分割に関する。変換されたブロックは、例えば、符号化ブロックをさらにサブ分割した結果であり得る。当然ながら、本明細書に記載の実施例は限定的であるとして扱われるべきではなく、他の実施例も存在する。完全を期すためだけに、符号化ブロックへのサブ分割は、例えば、マルチツリーサブ分割を使用してもよく、予測ブロックおよび／または変換ブロックはまた、マルチツリーサブ分割を使用して符号化ブロックをさらにサブ分割することによって取得されてもよいことに留意されたい。

【0028】

図１のエンコーダ１４に適合するブロック単位の復号化のためのデコーダ５４または装置が図３に示されている。このデコーダ５４は、エンコーダ１４とは反対のことを行い、すなわち、データストリーム１２ピクチャ１０からブロック単位で復号し、この目的のために、複数のイントラ予測モードをサポートする。デコーダ５４は、例えば、残差プロバイダ１５６を備え得る。図１に関して上述した他のすべての可能性は、デコーダ５４にも有効である。これに対して、デコーダ５４は、静止画デコーダまたはビデオデコーダであってもよく、すべての予測モードおよび予測可能性もデコーダ５４によってサポートされる。エンコーダ１４とデコーダ５４との間の違いは、主に、エンコーダ１４が、例えば、符号化レートおよび／または符号化歪みに依存し得る何らかのコスト関数を最小化するために、何らかの最適化に従って符号化決定を選択するという事実にある。これらの符号化オプションまたは符号化パラメータのうちの１つは、利用可能またはサポートされるイントラ予測モードの中から、現在のブロック１８に使用されるイントラ予測モードの選択を含み得る。次いで、選択されたイントラ予測モードは、デコーダ５４がブロック１８のデータストリーム１２内のこのシグナリングを使用して選択を再実行することにより、データストリーム１２内の現在のブロック１８のエンコーダ１４によってシグナリングされ得る。同様に、ピクチャ１０のブロック１８へのサブ分割は、エンコーダ１４内で最適化に供されることがあり、対応するサブ分割情報は、デコーダ５４がサブ分割情報に基づいてピクチャ１０のサブ分割をブロック１８に復元することによってデータストリーム１２内で伝達され得る。上記を要約すると、デコーダ５４は、ブロックベースで動作する予測デコーダであってもよく、また、イントラ予測モードに加えて、デコーダ５４は、例えばデコーダ５４がビデオデコーダである場合には、インター予測モードなどの他の予測モードをサポートしてもよい。復号において、デコーダ５４はまた、図１に関して説明した符号化順序２０を使用することができ、この符号化順序２０はエンコーダ１４とデコーダ５４の両方で遵守されるため、同じ隣接サンプルがエンコーダ１４とデコーダ５４の両方で現在のブロック１８に利用可能である。したがって、不必要な繰り返しを回避するために、エンコーダ１４の動作モードの説明は、ピクチャ１０のブロックへのサブ分割に関する限り、例えば、予測に関する限り、および予測残差の符号化に関する限り、デコーダ５４にも適用されるものとする。違いは、エンコーダ１４が、最適化によって、いくつかの符号化オプションまたは符号化パラメータおよび信号を選択し、またはデータストリーム１２内に符号化パラメータを挿入し、これはその後、デコーダ５４によって予測、サブ分割などを再実行するために、データストリーム１２から導出されるという事実にある。

【0029】

図４は、図３のデコーダ５４の可能な実装形態、すなわち、図２に示す図１のエンコーダ１４の実装形態に対して適合する実装形態を示す。図４のエンコーダ５４の多くの要素は図２の対応するエンコーダで生じるものと同じであるため、これらの要素を示すために、図４ではアポストロフィが付された同じ参照符号が使用されている。特に、加算器４２’、任意選択のインループフィルタ４６’および予測子４４’は、図２のエンコーダと同じ方法で予測ループに接続される。加算器４２’に適用される再構成された、すなわち逆量子化され再変換された予測残差信号は、エントロピエンコーダ２８ｂのエントロピ符号化を逆にするエントロピデコーダ５６のシーケンスによって導出され、符号化側の場合と同様に、逆量子化器３８’および逆変換器４０’から構成される残差信号再構成段３６’が続く。デコーダの出力は、ピクチャ１０の再構成である。ピクチャ１０の再構成は、加算器４２’の出力で直接利用可能であってもよく、あるいはインループフィルタ４６’の出力で利用可能であってもよい。ピクチャ品質を改善するためにピクチャ１０の再構成を何らかのポストフィルタリングに供するために、デコーダの出力にいくつかのポストフィルタを配置し得るが、このオプションは図４には示されていない。

【0030】

ここでも、図４に関して、図２に関して上述した説明は、エンコーダのみが最適化タスクおよび符号化オプションに関する関連する決定を実行することを除いて、図４についても同様に有効である。しかしながら、ブロックサブ分割、予測、逆量子化、および再変換に関するすべての説明は、図４のデコーダ５４にも有効である。
３ ＡＬＷＩＰ

【0031】

ＡＬＷＩＰに関するいくつかの非限定的な例は、本明細書で説明される技術を具現化するのにＡＬＷＩＰが必ずしも必要ではない場合であっても、本明細書で説明される。

【0032】

本出願は、とりわけ、ＨＥＶＣまたはＨＥＶＣの任意の後続などのビデオコーデックで使用可能であるなどのブロック単位のピクチャ符号化のための改善されたイントラ予測モード概念に関する。

【0033】

イントラ予測モードは、ピクチャおよびビデオコーディングにおいて広く使用されている。ビデオコーディングでは、イントラ予測モードは、動き補償予測モードなどのインター予測モードなどの他の予測モードと競合する。イントラ予測モードでは、現在のブロックは、隣接サンプル、すなわち、エンコーダ側に関する限り既に符号化されており、デコーダ側に関する限り既に復号されているサンプルに基づいて予測される。隣接サンプル値は、現在のブロックの予測信号を形成するように現在のブロックに外挿され、予測残差は現在のブロックのデータストリームで送信される。予測信号が良好であるほど、予測残差は小さくなり、したがって、予測残差を符号化するために必要なビット数は少なくなる。

【0034】

効果的であるためには、ブロック単位のピクチャ符号化環境におけるイントラ予測のための効果的なフレームワークを形成するために、いくつかの態様が考慮されるべきである。例えば、コーデックによってサポートされるイントラ予測モードの数が多いほど、選択をデコーダにシグナリングするためのサイド情報レート消費が大きくなる。一方、サポートされているイントラ予測モードのセットは、良好な予測信号、すなわち、低い予測残差をもたらす予測信号を提供することができなければならない。

【0035】

改善されたイントラ予測モード概念を使用する場合、ブロック単位のピクチャコーデックのより効率的な圧縮を可能にするイントラ予測モード概念が求められている。

【0036】

この目的は、とりわけ、いわゆるアフィン線形重み付きイントラ予測子（ＡＬＷＩＰ）変換によって達成される。データストリームからピクチャをブロック単位で復号するための装置（エンコーダまたはデコーダ）が開示されており、この装置は、ピクチャの所定のサイズのブロックのイントラ予測信号が、現在のブロックに隣接サンプルの第１のテンプレートを、シーケンスにおいてアフィン線形重み付きイントラ予測子（ＡＬＷＩＰ）と呼ばれるアフィン線形予測子に適用することによって決定される、少なくとも１つのイントラ予測モードをサポートする。

【0037】

装置は、以下の特性（同じことが、例えば、プロセッサによって実行されたときに、プロセッサに、方法を実施させ、かつ／または装置として動作させる命令を記憶する非一時的記憶ユニットに実装される、方法または別の技術に適用されてもよい）のうちの少なくとも１つを有し得る。
３．１ 提案された予測子は他の予測子と相補的であり得る

【0038】

装置によってサポートされるイントラ予測モードは、コーデックの他のイントラ予測モードと相補的である。したがって、それらは、ＨＥＶＣコーデック応答において定義されたＤＣ予測モード、平面予測モード、または角度予測モードと相補的であり得る。ＪＥＭ参照ソフトウェア。以降、後者の３種類のイントラ予測モードを従来のイントラ予測モードと呼ぶ。したがって、イントラモードの所与のブロックについて、装置によってサポートされるイントラ予測モードのうちの１つが使用されるべきか否かを示すフラグがデコーダによって構文解析される必要がある。
３．２ ２つ以上の提案された予測モード

【0039】

装置は、２つ以上のＡＬＷＩＰモードを含むことができる。したがって、装置によってサポートされるＡＬＷＩＰモードのうちの１つが使用されるべきであることをデコーダが知っている場合、デコーダは、装置によってサポートされるＡＬＷＩＰモードのうちのどれが使用されるべきかを示す追加情報を解析する必要がある。

【0040】

サポートされるモードの信号伝達は、いくつかのＡＬＷＩＰモードの符号化が他のＡＬＷＩＰモードよりも少ないビンを必要とし得るという特性を有し得る。これらのモードのうちのどれがより少ないビンを必要とし、どのモードがより多くのビンを必要とするかは、既に復号されたビットストリームから抽出され得るか、または事前に固定され得る情報に依存し得る。
４ いくつかの態様

【0041】

図２は、データストリーム１２からピクチャを復号するためのデコーダ５４を示す。デコーダ５４は、ピクチャの所定のブロック１８を復号するように構成され得る。特に、予測子４４は、線形またはアフィン線形変換［例えば、ＡＬＷＩＰ］を使用して所定のブロック１８に隣接するＰ個の隣接サンプルのセットを所定のブロックのサンプルのＱ個の予測値のセットにマッピングするように構成され得る。

【0042】

図５に示すように、所定のブロック１８は、予測されるＱ個の値（これは、動作の終わりに、「予測値」となる）を含む。ブロック１８がＭ行Ｎ列を有する場合、Ｑ＝Ｍ＊Ｎである。ブロック１８のＱ値は、空間領域（例えば、画素）または変換領域（例えば、ＤＣＴ、離散ウェーブレット変換など）にあり得る。ブロック１８のＱ値は、一般にブロック１８に隣接する隣接ブロック１７ａ～１７ｃから取得されたＰ値に基づいて予測し得る。隣接ブロック１７ａ～１７ｃのＰ値は、ブロック１８に最も近い位置（例えば、隣接する）にあってもよい。隣接ブロック１７ａ～１７ｃのＰ値は、既に処理および予測されている。Ｐ値は、それらが（いくつかの例では、１７’ｂは使用されない）一部であるブロックとＰ値を区別するために、部分１７’ａ～１７’ｃに値として示されている。

【0043】

図６に示すように、予測を実行するために、Ｐ個のエントリを有する第１のベクトル１７Ｐ（隣接部分１７’ａ～１７’ｃの特定の位置に関連付けられている各エントリ）、Ｑ個のエントリを有する第２のベクトル１８Ｑ（ブロック１８の特定の位置に関連付けられている各エントリ）、およびマッピング行列１７Ｍ（ブロック１８内の特定の位置に関連付けられている各行、隣接部分１７’ａ～１７’ｃ内の特定の位置に関連付けられている各列）を用いて動作することが可能である。したがって、マッピング行列１７Ｍは、所定のモードに従って、隣接部分１７’ａ～１７’ｃのＰ値のブロック１８の値への予測を実行する。したがって、マッピング行列１７Ｍ内のエントリは、重み係数として理解され得る。以下の節では、１７’ａ～１７’ｃの代わりに符号１７ａ～１７ｃを使用して境界の隣接部分を参照する。

【0044】

当該技術分野では、ＤＣモード、平面モード、および６５方向性予測モードなどのいくつかの従来のモードが知られている。例えば、６７個のモードが知られている。

【0045】

しかしながら、ここでは線形またはアフィン線形変換と呼ばれる異なるモードを利用することも可能であることに留意されたい。線形またはアフィン線形変換は、Ｐ＊Ｑ個の重み係数を含み、そのうち少なくとも１／４のＰ＊Ｑ個の重み係数は非ゼロの重み値であり、Ｑ個の予測値の各々について、それぞれの予測値に関連する一連のＰ個の重み係数を含む。所定のブロックのサンプル間でラスタスキャン順序に従って上下に配置されると、連続により、全方向的に非線形である包絡線を形成する。

【0046】

図１３は、隣接する値１７’ａ～１７’ｃのＰ個の位置（テンプレート）、隣接サンプル１７’ａ～１７’ｃのＱ個の位置、および行列１７ＭのＰ＊Ｑ個の重み係数の値をマッピングする図７０の例を示す。平面７２は、ＤＣ変換の連続の包絡線の例である（ＤＣ変換のための平面である）。包絡線は明らかに平面であり、したがって、線形またはアフィン線形変換（ＡＬＷＩＰ）の定義によって除外される。別の例は、角度モードのエミュレーションをもたらす行列であり、包絡線はＡＬＷＩＰ定義から除外され、平たく言えば、Ｐ／Ｑ平面内の方向に沿って上から下に斜めに進む丘のように見える。平面モードおよび６５方向性予測モードは異なる包絡線を有するが、これは少なくとも一方向、すなわち、例えば例示されたＤＣのすべての方向、および例えば角度モードの丘方向において線形である。

【0047】

逆に、線形またはアフィン変換の包絡線は、全方向的線形ではない。そのような種類の変換は、状況によっては、ブロック１８の予測を実行するために最適であり得ることが理解されている。重み係数の少なくとも１／４が０とは異なる（すなわち、Ｐ＊Ｑ個の重み係数の少なくとも２５％は０とは異なる）ことが好ましいことに留意されたい。

【0048】

重み係数は、任意の規則的なマッピング規則に従って互いに無関係であってもよい。したがって、行列１７Ｍは、そのエントリの値が明らかな認識可能な関係を有さないようなものであってもよい。例えば、重み係数は、いかなる分析関数または微分関数によっても記述することができない。

【0049】

実施例では、ＡＬＷＩＰ変換は、それぞれの予測値に関連する第１の一連の重み係数と、それぞれの予測値以外の予測値に関連する第２の一連の重み係数、または後者の反転されたバージョンとの間の相互相関の最大値の平均は、最大値がより高くなるかどうかにかかわらず、所定の閾値（例えば、０．２または０．３または０．３５または０．１、例えば、０．０５～０．０３５の範囲内の閾値）よりも低くてもよい。例えば、ＡＬＷＩＰ行列１７Ｍの行の各結合（ｉ_１，ｉ_２）について、第ｉ_１行のＰ値に第ｉ_２行のＰ値を乗算することで相互相関を算出してもよい。得られた各相互相関について、最大値が得られることがある。したがって、行列１７Ｍ全体（すなわち、すべての組み合わせにおける相互相関の最大値が平均化される）について平均値を得ることができる。その後、閾値は、例えば、０．２または０．３または０．３５または０．１、例えば、０．０５～０．０３５の範囲の閾値であってもよい。

【0050】

ブロック１７ａ～１７ｃのＰ個の隣接サンプルは、所定のブロック１８の境界（例えば、１８ｃ、１８ａ）に沿って延びる一次元経路に沿って配置されてもよい。所定のブロック１８のＱ個の予測値のそれぞれについて、それぞれの予測値に関連する一連のＰ個の重み係数は、一次元経路を所定の方向（例えば、左から右、上から下など）にトラバースするように順序付けられてもよい。
例では、ＡＬＷＩＰ行列１７Ｍは、非対角または非ブロック対角であってもよい。
４つの既に予測された隣接サンプルから４×４ブロック１８を予測するためのＡＬＷＩＰ行列１７Ｍの例は、以下であってもよい：
｛
｛３７，５９，７７，２８｝、
｛３２，９２，８５，２５｝、
｛３１，６９，１００，２４｝、
｛３３，３６，１０６，２９｝、
｛２４，４９，１０４，４８｝、
｛２４，２１，９４，５９｝、
｛２９，０，８０，７２｝、
｛３５，２，６６，８４｝、
｛３２，１３，３５，９９｝、
｛３９，１１，３４，１０３｝、
｛４５，２１，３４，１０６｝、
｛５１，２４，４０，１０５｝、
｛５０，２８，４３，１０１｝、
｛５６，３２，４９，１０１｝、
｛６１，３１，５３，１０２｝、
｛６１，３２，５４，１００｝
｝．

【0051】

（ここで、｛３７，５９，７７，２８｝は第１行であり、｛３２，９２，８５，２５｝は第２行であり、｛６１，３２，５４，１００｝は行列１７Ｍの第１６行である。）行列１７Ｍは、次元１６ｘ４を有し、（１６＊４＝６４の結果として）６４個の重み係数を含む。これは、行列１７Ｍが次元ＱｘＰを有するためであり、ここで、Ｑ＝Ｍ＊Ｎは予測対象ブロック１８（ブロック１８は４×４ブロック）のサンプル数であり、Ｐは既に予測されたサンプルのサンプル数である。ここで、Ｍ＝４、Ｎ＝４、Ｑ＝１６（Ｍ＊Ｎ＝４＊４＝１６の結果として）、Ｐ＝４である。行列は、非対角および非ブロック対角であり、特定の規則によって記述されない。

【0052】

見て分かるように、重み係数の１／４未満は０である（上記の行列の場合、６４のうちの１つの重み係数は０である）。これらの値によって形成される包絡線は、ラスタスキャン順序に従って上下に配置されると、全方向的に非線形である包絡線を形成する。

【0053】

上記の説明が主にデコーダ（例えば、デコーダ５４）を参照して説明されている場合でも、同じことがエンコーダ（例えば、エンコーダ１４）で実行されてもよい。

【0054】

いくつかの例では、（ブロックサイズのセットにおける）各ブロックサイズについて、それぞれのブロックサイズのためのイントラ予測モードの第２のセット内のイントラ予測モードのＡＬＷＩＰ変換は、相互に異なる。追加的または代替的に、ブロックサイズのセットにおけるブロックサイズのためのイントラ予測モードの第２のセットの濃度は、一致し得るが、異なるブロックサイズのためのイントラ予測モードの第２のセット内のイントラ予測モードの関連付けられた線形変換またはアフィン線形変換は、スケーリングによって互いへ転送不可能であり得る。

【0055】

いくつかの例では、ＡＬＷＩＰ変換は、従来の変換と「共有するものがない」ように定義されてもよい（例えば、ＡＬＷＩＰ変換は、上記のマッピングのうちの１つを介してマッピングされている場合であっても、対応する従来の変換と共有するものは「何もない」）。

【0056】

例では、ＡＬＷＩＰモードはルマ成分とクロマ成分の両方に使用されるが、他の例では、ＡＬＷＩＰモードはルマ成分に使用されるが、クロマ成分には使用されない。
５ エンコーダの高速化によるアフィン線形重み付きイントラ予測モード（例えば、試験ＣＥ３－１．２．１：）
５．１ 方法または装置の説明

【0057】

ＣＥ３－１．２．１で試験されたアフィン線形重み付きイントラ予測（ＡＬＷＩＰ）モードは、以下の変更を除いて、試験ＣＥ３－２．２．２下でＪＶＥＴ－Ｌ０１９９で提案されたものと同じであってもよく、

【0058】

多重基準線（ＭＲＬ）イントラ予測、特にエンコーダ推定およびシグナリングとの整合、すなわちＭＲＬはＡＬＷＩＰと組み合わされず、ＭＲＬインデックスの送信は非ＡＬＷＩＰブロックに制限される。

【0059】

サブサンプリングはすべてのブロックに必須であり、Ｗ×Ｈ≧３２×３２（以前は３２×３２についてオプションであった）、エンコーダにおける追加のテストおよびサブサンプリングフラグの送信は除去されている。

【0060】

６４×ＮおよびＮ×６４ブロック（Ｎ≦３２）のＡＬＷＩＰは、それぞれ３２×ＮおよびＮ×３２にダウンサンプリングし、対応するＡＬＷＩＰモードを適用することによって追加されている。
さらに、テストＣＥ ３－１．２．１は、ＡＬＷＩＰのための以下のエンコーダ最適化を含み、

【0061】

結合モード推定：従来のモードおよびＡＬＷＩＰモードは、フルＲＤ推定のために共有アダマール候補リストを使用する、すなわち、ＡＬＷＩＰモード候補は、アダマールコストに基づいて従来の（およびＭＲＬ）モード候補と同じリストに追加される。
ＥＭＴイントラｆａｓｔおよびＰＢイントラｆａｓｔは、結合モードリストのためにサポートされ、フルＲＤチェックの数を減らすための追加の最適化がある。
利用可能な左および上のブロックのＭＰＭのみが、従来のモードの場合と同じ手法に従って、ＡＬＷＩＰのフルＲＤ推定のためのリストに追加される。
５．２ 複雑性評価

【0062】

離散コサイン変換を呼び出す計算を除いて、テストＣＥ３－１．２．１では、予測信号を生成するためにサンプルあたり最大１２回の乗算が必要であった。さらに、それぞれ１６ビットの合計１３６４９２個のパラメータが必要であった。これは、０．２７３メガバイトのメモリに相当する。
５．３ 実験結果

【0063】

試験の評価は、ＶＴＭソフトウェアバージョン３．０．１を用いたイントラ専用（ＡＩ）およびランダムアクセス（ＲＡ）構成について、共通の試験条件ＪＶＥＴ－Ｊ １０１０［２］に従って実施した。対応するシミュレーションは、Ｌｉｎｕｘ（登録商標） ＯＳおよびＧＣＣ ７．２．１コンパイラを備えたＩｎｔｅｌ Ｘｅｏｎクラスタ（Ｅ５－２６９７Ａ ｖ４、ＡＶＸ２オン、ターボブーストオフ）上で実行された。

【0064】

【表1】

５．４ テストＣＥ３－１．２．２：複雑度減少を伴うアフィン線形重み付きイントラ予測

【0065】

ＣＥ２で試験された技法は、ＪＶＥＴ－Ｌ０１９９［１］に記載されている「アフィン線形イントラ予測」に関連しているが、メモリ要件および計算複雑性の点でそれを単純化する。

【0066】

・すべてのブロック形状をカバーする予測行列（例えば、Ｓ_０、Ｓ_１、Ｓ_２、以下も参照されたい）およびバイアスベクトル（例えば、オフセット値を提供するために）の３つの異なるセットのみが存在し得る。結果として、パラメータの数は１４４００個の１０ビット値に減少し、これは１２８×１２８ＣＴＵに記憶されるよりもメモリが少ない。

【0067】

・予測子の入力および出力サイズはさらに減少される。さらに、ＤＣＴを介して境界を変換する代わりに、平均化またはダウンサンプリングを境界サンプルに対して実行することができ、予測信号の生成は、逆ＤＣＴの代わりに線形補間を使用し得る。その結果、予測信号を生成するためにサンプルあたり最大４回の乗算が必要になる場合がある。
６．実施例
ここでは、ＡＬＷＩＰ予測を用いていくつかの予測（例えば、図６に示すように）を実行する方法について説明する。

【0068】

原則として、図６を参照すると、予測されるＭｘＮブロック１８のＱ＝Ｍ＊Ｎ値を取得するために、ＱｘＰ ＡＬＷＩＰ予測行列１７ＭのＱ＊Ｐ個のサンプルとＰｘ１隣接ベクトル１７ＰのＰ個のサンプルとの乗算が実行されるべきである。したがって、一般に、予測対象のＭｘＮブロック１８のＱ＝Ｍ＊Ｎ値の各々を得るためには、少なくともＰ＝Ｍ＋Ｎ値の乗算が必要である。

【0069】

これらの乗算は、極めて望ましくない効果を有する。境界ベクトル１７Ｐの次元Ｐは、一般に、予測すべきＭｘＮブロック１８に隣接する（例えば、横）境界サンプル（ビンまたは画素）１７ａ、１７ｃの数Ｍ＋Ｎに依存する。これは、予測対象のブロック１８のサイズが大きいと、それに応じて境界画素数Ｍ＋Ｎ（１７ａ，１７ｃ）が大きくなるため、Ｐｘ１境界ベクトル１７Ｐの次元Ｐ＝Ｍ＋Ｎ、ＱｘＰ ＡＬＷＩＰ予測行列１７Ｍの各行の長さ、ひいては必要な乗算回数（一般的に言えば、Ｑ＝Ｍ＊Ｎ＝Ｗ＊Ｈであり、式中、Ｗ（幅）はＮの別の記号であり、Ｈ（高さ）はＭの別の記号であり、Ｐは、境界ベクトルがサンプルの１行および／または１列のみによって形成される場合、Ｐ＝Ｍ＋Ｎ＝Ｈ＋Ｗである）が大きくなることを意味する。

【0070】

この問題は、一般に、マイクロプロセッサベースのシステム（または他のデジタル処理システム）では、乗算が一般に電力を消費する動作であるという事実によって悪化する。多数のブロックの非常に多数のサンプルに対して行われる多数の乗算は、一般に望ましくない計算能力の浪費を引き起こすと推測され得る。
したがって、ＭｘＮブロック１８を予測するために必要な乗算数Ｑ＊Ｐを減少させることが好ましい。

【0071】

乗算に代わる、処理がより容易な演算を知的に選択することによって、予測される各ブロック１８の各イントラ予測に必要な計算能力を何らかの形で減少させることが可能であることが理解されている。

【0072】

特に、図７．１～図７．４、図８．１、および図８．２を参照すると、エンコーダまたはデコーダは、複数の隣接サンプル（例えば１７ａ，１７ｃ）を使用して、

【0073】

複数の隣接サンプル（例えば１７ａ，１７ｃ）と比較して、サンプル数が、より少ないサンプル値の減少したセットを取得するために、複数の隣接サンプルを減少させる（例えば、平均化またはダウンサンプリングによって）（例えば、ステップ８１１）ことと、

【0074】

所定のブロックの所定のサンプルの予測値を取得するために、サンプル値の減少したセットを線形またはアフィン線形変換に供する（例えば、ステップ８１２）ことと
によって、ピクチャの所定のブロック（例えば、１８）を予測し得ることが理解される。

【0075】

場合によっては、デコーダまたはエンコーダはまた、例えば補間によって、所定のサンプルおよび複数の隣接サンプルの予測値に基づいて、所定のブロックのさらなるサンプルの予測値を導出する（例えば、図８．１のステップ８１３）こともある。したがって、アップサンプリング戦略を得ることができる。

【0076】

例では、サンプル数が減少した（数が減少したサンプル１０２のサンプルうちの少なくとも１つは、元の境界サンプルの２つのサンプルの平均、または元の境界サンプルの選択であってもよい）サンプルの減少したセット１０２（図７．１～図７．４）に到達するように、境界１７のサンプルに対していくつかの平均を実行する（例えば、ステップ８１１において）ことが可能である。例えば、元の境界がＰ＝Ｍ＋Ｎ個のサンプルを有する場合、サンプルの減少したセットは、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄでありＰ_ｒｅｄ＜ＭおよびＮ_ｒｅｄ＜Ｎの少なくとも１つを伴い、それによりＰ_ｒｅｄ＜Ｐとなり得る。したがって、予測に実際に使用される境界ベクトル１７Ｐ（例えば、ステップ８１２ｂにおいて）は、Ｐｘ１エントリを有さず、Ｐ_ｒｅｄ＜ＰであるＰ_ｒｅｄｘ１エントリを有する。同様に、予測のために選択されたＡＬＷＩＰ予測行列１７Ｍは、ＱｘＰ次元を有さず、少なくともＰ_ｒｅｄ＜Ｐ（Ｍ_ｒｅｄ＜ＭおよびＮ_ｒｅｄ＜Ｎの少なくとも１つによる）により行列の要素数が減少したＱｘＰ_ｒｅｄ（またはＱ_ｒｅｄｘＰ_ｒｅｄ、以下を参照）を有する。

【0077】

いくつかの例（例えば、図７．２、図７．３、および図８．２）では、（ステップ８１２で）ＡＬＷＩＰによって取得されたブロックが、サイズ

【数1】

（すなわち、ＡＬＷＩＰによって直接予測されるサンプルの数は、実際に予測されるブロック１８のサンプルの数よりも少ない）を伴う減少したブロックである場合、乗算の回数をさらに減らすことさえ可能である。したがって、

【数2】

を設定すると、これにより、Ｑ＊Ｐ_ｒｅｄ乗算の代わりにＱ_ｒｅｄ＊Ｐ_ｒｅｄ乗算（Ｑ_ｒｅｄ＊Ｐ_ｒｅｄ＜Ｑ＊Ｐ_ｒｅｄ＜Ｑ＊Ｐ）を使用することによってＡＬＷＩＰ予測が得られる。この乗算は、

【数3】

次元を有する減少ブロックを予測する。それにもかかわらず、減少した

【数4】

予測ブロックから最終的なＭｘＮ予測ブロックへの（例えば、補間によって得られる）アップサンプリングを実行する（例えば後続のステップ８１３において）ことが可能である。

【0078】

これらの技法は、行列乗算が減少した乗算数（Ｑ_ｒｅｄ＊Ｐ_ｒｅｄまたはＱ＊Ｐ_ｒｅｄ）を含む一方で、初期減少（例えば、平均化またはダウンサンプリング）および最終変換（例えば、補間）の両方が乗算を減少（または回避）することによって実行され得るので、有利であり得る。例えば、加算およびシフトなどの計算能力を必要としないバイナリ演算を採用することによって、ダウンサンプリング、平均化および／または補間を実行し得る（例えば、ステップ８１１および／または８１３において）。

【0079】

ここで、プロセッサレベルでのシフト演算の一例について説明する。図９は、１０ビットレジスタ９１０内のバイナリ（１００１０００１００ｂ）に符号化された数５８０を示し、１０ビットレジスタ９１０は１０ビットレジスタ９１０ａを有し、各ビットレジスタ９１０ａは１ビット値（例えば、１または０）を記憶する。２バイトレジスタ９１０で符号化されたバイナリで表される値１００１０００１００ｂは、図９ａでは「シフトされる値」として９０１として示されている。図９ｂの符号９０２で示すバイナリ値は、符号９０１で示すバイナリ値の右シフトバージョンである。見て分かるように、バイナリ値９０２（０１００１０００１０ｂとして符号化される）は、各ビットレジスタ９１０ａに符号化された各値がそれぞれの右位置のビットレジスタに単純に移動された後のバイナリ値９０１のバージョンであり、バイナリ値９０１の下位ビットは、バイナリ値９０２において失われ、シフトされたバイナリ値９０２の最上位ビットを０として加算する。シフトされたバイナリ値９０２を小数に変換すると、５８０の半分である小数値２９０が得られたことが分かる。これは、２進数を二等分するための技術であり得る（値９０１が奇数である場合は量子化誤差のみが存在する）。この操作は、実行が極めて容易であり、高い計算能力を必要としない。特に、複数回シフトすることによって、２のべき乗による除算が得られ、例えば、２回シフトすることによって、４による除算が得られ、３回シフトすることによって８による除算が得られ、一般にｒ回シフトすることによって２^ｒ（２＾ｒ）による除算が得られる。これは、ｆ＞＞ｒという表記で示すこともでき、したがって、ｆ＞＞１はｆ／２を示し、ｆ＞＞２はｆ／４を示し、以下同様である（ｆは整数）。この操作は右ローテーションとしても知られている。同様に、左ローテーション演算ｆ＜＜ｒは、ｆに２^ｒ（または２＾ｒ）を乗算することを意味する。シフト演算は、乗算を実行する必要性を回避するため、プロセッサにとって、計算的能力を必要とするものではなく、単に異なるレジスタ内でビットを移動させることによって得られる。この例では、レジスタ９１０は１０ビットレジスタとして表されている。しかしながら、例では、レジスタ９１０は、異なる数のビットレジスタ９１０ａ、例えば８ビットレジスタ９１０（その場合、レジスタ９１０は８ビットレジスタである）を有してもよい。
また、加算は、多くの計算労力なしに容易に実行できる非常に簡単な演算である。

【0080】

このシフト演算は、例えば、最終的な予測ブロックを得るために、２つの境界サンプルを平均化するために、および／または減少した予測ブロックの（または境界から得られた）２つのサンプル（サポート値）を補間するために使用され得る。（補間のために、２つのサンプル値が必要である。ブロック内では、常に２つの所定の値を有するが、ブロックの左および上の境界に沿ってサンプルを補間するために、図７．２のように、１つの所定の値のみを有し、したがって、補間のためのサポート値として境界サンプルを使用する。）
以下のような２段階手順を使用することがあり、
最初に２つのサンプルの値を合計し、
次いで、合計の値を半分にする（例えば、右シフトによって）などである。
あるいは、
サンプルの各々を最初に半分にして（例えば、左シフトによって）、
次いで、２つの半分にされたサンプルの値を合計する
ことが可能である。

【0081】

１つのサンプル量およびサンプルのグループ（例えば、互いに隣接サンプル）を選択するだけでよいため、ダウンサンプリング（例えば、ステップ８１１において）時にさらに容易な動作を実行し得る。

【0082】

したがって、ここで、実行されるべき乗算の数を減少させるための技術（複数可）を定義することが可能である。これらの技術のいくつかは、とりわけ、以下の原理のうちの少なくとも１つに基づいてもよい：

【0083】

実際に予測されるブロック１８のサイズがＭｘＮであっても、（２次元の少なくとも一方において）ブロックを減少させ、サイズが減少したＱ_ｒｅｄｘＰ_ｒｅｄ（

【数5】

，Ｐ_ｒｅｄ＝Ｎ_ｒｅｄ＋Ｍ_ｒｅｄであり、

【数6】

および／またはＭ_ｒｅｄ＜Ｍおよび／またはＮ_ｒｅｄ＜Ｎである）のＡＬＷＩＰ行列を適用してもよい。したがって、境界ベクトル１７ＰはサイズＰ_ｒｅｄｘ１を有し、Ｐ_ｒｅｄ＜Ｐ乗算のみを意味する（Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄおよびＰ＝Ｍ＋Ｎ）。
Ｐ_ｒｅｄｘ １境界ベクトル１７Ｐは、元の境界１７から容易に取得することができ、例えば、
ダウンサンプリングにより（例えば、境界のいくつかのサンプルのみを選択することによって）、および／または
境界の複数のサンプルを平均化することによる（これは、乗算なしで加算およびシフトよって容易に得ることができる）。

【0084】

追加的または代替的に、予測対象ブロック１８のすべてのＱ＝Ｍ＊Ｎ値を乗算によって予測する代わりに、次元が減少した減少したブロック（例えば、

【数7】

である）のみを予測することが可能である。予測すべきブロック１８の残りのサンプルは、例えば、予測すべき残りのＱ－Ｑ_ｒｅｄ値のサポート値としてＱ_ｒｅｄサンプルを使用する補間によって取得される。

【0085】

プロセス８１０を一般的に説明するものとして理解され得る一例が図８．１によって提供され、その特定の場合が図７．１に示されている。この場合、４×４ブロック１８（Ｍ＝４、Ｎ＝４、Ｑ＝Ｍ＊Ｎ＝１６）が予測されることになり、サンプル１７ａ（４つの既に予測されたサンプルを有する垂直行列）および１７ｃ（４つの既に予測されたサンプルを有する水平行）の近傍１７は、前の反復で既に予測されている（近傍１７ａおよび１７ｃは、集合的に１７で示すことができる）。優先的に、図５に示す式を使用することにより、予測行列１７ＭはＱｘＰ＝１６ｘ８行列（Ｑ＝Ｍ＊Ｎ＝４＊４およびＰ＝Ｍ＋Ｎ＝４＋４＝８による）であるべきであり、境界ベクトル１７Ｐは８ｘ１次元（Ｐ＝８による）を有するべきである。しかしながら、これは、予測対象の４ｘ４ブロック１８の１６個のサンプルの各々について８回の乗算を実行する必要性につながり、したがって、合計で１６＊８＝１２８回の乗算を実行する必要性につながる。（サンプルあたりの平均乗算回数は、計算複雑度の良好な評価であることに留意されたい。従来のイントラ予測では、サンプルあたり４回の乗算が必要であり、これは関与する計算労力を増加させる。したがって、これをＡＬＷＩＰの上限として使用することが可能であり、複雑さが合理的であり、従来のイントラ予測の複雑さを超えないことが保証される。）

【0086】

それにもかかわらず、本技術を使用することにより、ステップ８１１において、予測されるブロック１８に隣接サンプル１７ａおよび１７ｃの数をＰからＰ_ｒｅｄ＜Ｐに減らすことが可能であることが理解されている。特に、２つの水平行および２つの垂直列を有する減少した境界１０２を取得するために、互いに隣接する境界サンプル（１７ａ，１７ｃ）を平均（例えば、図７．１の１００において）することが可能であり、したがって、ブロック１８として動作することは、２×２ブロック（平均値によって形成される減少した境界）であることが理解されている。あるいは、ダウンサンプリングを実行することが可能であり、したがって、行１７ｃに対して２つのサンプルを選択し、列１７ａに対して２つのサンプルを選択する。したがって、水平行１７ｃは、４つの元のサンプルを有する代わりに、２つのサンプルを有するものとして処理され（例えば平均化されたサンプル）、垂直列１７ａは、元々４つのサンプルを有するが、２つのサンプルを有するものとして処理される（例えば平均化されたサンプル）。行１７ｃおよび列１７ａをそれぞれ２つのサンプルのグループ１１０にサブ分割した後、単一のサンプルが維持される（例えば、グループ１１０のサンプルの平均またはグループ１１０のサンプル間の単純な選択）ことも理解することができる。したがって、セット１０２が４つのサンプル（Ｍ_ｒｅｄ＝２、Ｎ_ｒｅｄ＝２、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４、Ｐ_ｒｅｄ＜Ｐ）のみを有することによって、サンプル値のいわゆる減少したセット１０２が得られる。

【0087】

プロセッサレベルで過度に多くの乗算を実行することなく（平均化またはダウンサンプリング１００などの）演算を実行することが可能であることが理解されており、ステップ８１１で実行される平均化またはダウンサンプリング１００は、加算およびシフトなどの単純で計算的能力を必要としない演算によって簡単に得ることができる。

【0088】

この時点で、サンプル値１０２の減少したセットを線形またはアフィン線形（ＡＬＷＩＰ）変換１９（例えば、図５の行列１７Ｍなどの予測行列を使用する）にかけることが可能であることが理解されている。この場合、ＡＬＷＩＰ変換１９は、４つのサンプル１０２をブロック１８のサンプル値１０４に直接マッピングする。この場合、補間は不要である。

【0089】

この場合、ＡＬＷＩＰ行列１７Ｍは、次元ＱｘＰ_ｒｅｄ＝１６ｘ４を有する。これは、予測すべきブロック１８のすべてのＱ＝１６個のサンプルがＡＬＷＩＰ乗算によって直接得られる（補間は不要である）という事実に従う。

【0090】

したがって、ステップ８１２ａにおいて、次元ＱｘＰ_ｒｅｄを有する適切なＡＬＷＩＰ行列１７Ｍが選択される。選択は、例えば、データストリーム１２からのシグナリングに少なくとも部分的に基づいてもよい。選択されたＡＬＷＩＰ行列１７Ｍはまた、Ａ_ｋで示されてもよく、ここで、ｋは、データストリーム１２（場合によっては、行列は以下のように

【数8】

としても示される）でシグナリングされ得るインデックスとして理解されてもよい。選択は、図１２に示す方式に従って実行することができ、各次元（例えば、予測されるブロック１８の高さ／幅の対）について、ＡＬＷＩＰ行列１７Ｍは、例えば、３組の行列Ｓ_０、Ｓ_１、Ｓ_２（３つのセットＳ_０、Ｓ_１、Ｓ_２の各々は、同じ次元の複数のＡＬＷＩＰ行列１７Ｍをグループ化することができ、予測のために選択されるＡＬＷＩＰ行列はそれらのうちの１つになる）のうちの１つの中から選択される。

【0091】

ステップ８１２ｂにおいて、選択されたＱｘＰ_ｒｅｄ ＡＬＷＩＰ行列１７Ｍ（Ａ_ｋとしても示される）とＰ_ｒｅｄｘ１境界ベクトル１７Ｐとの乗算が実行される。

【0092】

ステップ８１２ｃで、オフセット値（例えば、ｂ_ｋ）を、例えばＡＬＷＩＰによって取得されたベクトル１８Ｑのすべての取得された値１０４に追加し得る。オフセットの値（ｂ_ｋ、または場合によってはさらに

【数9】

としても示され、以下を参照）は、特定の選択されたＡＬＷＩＰ行列（Ａ_ｋ）に関連付けられ、インデックス（例えば、データストリーム１２でシグナリングされてもよい）に基づくことができる。

【0093】

したがって、本技術を使用することと本技術を使用しないこととの比較がここで再開される：
本技術を用いない場合：
予測対象ブロック１８、次元Ｍ＝４、Ｎ＝４、
予測されるＱ＝Ｍ＊Ｎ＝４＊４＝１６個の値、
Ｐ＝Ｍ＋Ｎ＝４＋４＝８個の境界サンプル
Ｐ＝予測されるＱ＝１６個の値の各々についての８回の乗算、
Ｐ＊Ｑ＝８＊１６＝１２８乗算の総数、
本技術を用いる場合、
予測対象ブロック１８、次元Ｍ＝４、Ｎ＝４、
最後に予測されるＱ＝Ｍ＊Ｎ＝４＊４＝１６個の値、
境界ベクトルの減少した次元：Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝２＋２＝４、
ＡＬＷＩＰによって予測すべきＱ＝１６個の値の各々についてＰ_ｒｅｄ＝４の乗算、
総数Ｐ_ｒｅｄ＊Ｑ＝４＊１６＝６４の乗算（１２８の半分！）
乗算の数と取得される最終値の数との比は、
Ｐ_ｒｅｄ＊Ｑ／Ｑ＝４であり、すなわち、予測される各サンプルについてＰ＝８乗算の半分である！

【0094】

理解され得るように、平均化（場合によっては、加算および／またはシフトおよび／またはダウンサンプリング）などの直接的かつ計算的能力を必要としない演算に依存することによって、ステップ８１２において適切な値を得ることが可能である。

【0095】

図７．２および図８．２を参照すると、予測されるブロック１８は、ここでは６４個のサンプルの８×８ブロック（Ｍ＝８、Ｎ＝８）である。ここで、優先的に、予測行列１７Ｍは、サイズＱｘＰ＝６４ｘ１６（Ｑ＝Ｍ＊Ｎ＝８＊８＝６４、Ｍ＝８およびＮ＝８によるＱ＝６４、ならびにＰ＝Ｍ＋Ｎ＝８＋８＝１６）を有するべきである。したがって、優先的に、予測される８ｘ８ブロック１８のＱ＝６４個のサンプルの各々についてＰ＝１６個の乗算が必要とされ、８ｘ８ブロック１８全体について６４＊１６＝１０２４の乗算に達するであろう！

【0096】

しかしながら、図７．２および図８．２に見られるように、境界の１６個のサンプルすべてを使用する代わりに、８つの値（例えば、境界の元のサンプル間の水平境界行１７ｃの４および垂直境界列１７ａの４）のみが使用される方法８２０を提供することができる。境界行１７ｃからは、８個ではなく４個のサンプルを用いてもよい（例えば、それらは、２×２の平均および／または２つのうちの１つのサンプルの選択であってもよい）。したがって、境界ベクトルは、Ｐｘ１＝１６ｘ１ベクトルではなく、Ｐ_ｒｅｄｘ１＝８ｘ１ベクトルのみとなる（Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４）。元のＰ＝１６個のサンプルの代わりに、Ｐ_ｒｅｄ＝８個の境界値のみを有するように、水平行１７ｃのサンプルおよび垂直列１７ａのサンプルを選択または平均化（例えば、２×２）して、サンプル値の減少したセット１０２を形成することが可能であることが理解されている。この減少したセット１０２は、ブロック１８の減少バージョンを取得することを可能にし、減少バージョンは、（Ｑ＝Ｍ＊Ｎ＝８＊８＝６４の代わりに）Ｑ_ｒｅｄ＝Ｍ_ｒｅｄ＊Ｎ_ｒｅｄ＝４＊４＝１６サンプルを有する。サイズＭ_ｒｅｄｘＮ_ｒｅｄ＝４ｘ４のブロックを予測するＡＬＷＩＰ行列を適用することができる。ブロック１８の減少バージョンは、図７．２のスキーム１０６において灰色で示されたサンプルを含み、灰色の四角で示されたサンプル（サンプル１１８’および１１８’’を含む）は、対象とするステップ８１２で得られたＱ_ｒｅｄ＝１６値を有する４×４減少ブロックを形成する。４ｘ４減少ブロックは、対象ステップ８１２において線形変換１９を適用することによって得られたものである。４ｘ４減少ブロックの値を取得した後、例えば補間によって残りのサンプル（スキーム１０６において白色サンプルで示されているサンプル）の値を取得することが可能である。

【0097】

図７．１および図８．１の方法８１０に関して、この方法８２０は、予測されるＭｘＮ＝８ｘ８ブロック１８の残りのＱ－Ｑ_ｒｅｄ＝６４－１６＝４８サンプル（白色正方形）の予測値を例えば補間によって導出するステップ８１３をさらに含むことができる。残りのＱ－Ｑ_ｒｅｄ＝６４－１６＝４８個のサンプルは、補間（補間はまた、例えば、境界サンプルの値を利用することができる）によって直接取得されたＱ_ｒｅｄ＝１６個のサンプルから取得し得る。図７．２に見られるように、サンプル１１８’および１１８’’は（灰色の四角で示すように）ステップ８１２で取得されているが、サンプル１０８’（サンプル１１８’および１１８’’の中間であり、白色の四角で示す）は、ステップ８１３でサンプル１１８’と１１８’’との間の補間によって取得される。補間はまた、シフトおよび加算などの平均化のためのものと同様の動作によって得ることができることが理解されている。したがって、図７．２では、値１０８’は、一般に、サンプル１１８’の値とサンプル１１８’’の値との中間の値として決定され得る（平均であり得る）。

【0098】

補間を実行することにより、ステップ８１３において、１０４に示された複数のサンプル値に基づいてＭｘＮ＝８ｘ８ブロック１８の最終バージョンに到達することも可能である。
したがって、本技術を使用することと使用しないこととを比較すると、
本技術を用いない場合：
予測対象ブロック１８、次元Ｍ＝８、Ｎ＝８を有し、予測対象ブロック１８内のＱ＝Ｍ＊Ｎ＝８＊８＝６４個のサンプルを有する、
境界１７内のＰ＝Ｍ＋Ｎ＝８＋８＝１６個のサンプル、
予測されるＱ＝６４個の値の各々についてＰ＝１６乗算、
総数Ｐ＊Ｑ＝１６＊６４＝１０２８の乗算
乗算回数と得られる最終値の数との比は、Ｐ＊Ｑ／Ｑ＝１６である。
本技術を用いる場合、
予測対象ブロック１８、次元Ｍ＝８、Ｎ＝８を有する、
最後に予測されるＱ＝Ｍ＊Ｎ＝８＊８＝６４個の値、

【0099】

しかし、Ｑ_ｒｅｄｘＰ_ｒｅｄ ＡＬＷＩＰ行列が使用され、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ，Ｑ_ｒｅｄ＝Ｍ_ｒｅｄ＊Ｎ_ｒｅｄ，Ｍ_ｒｅｄ＝４，Ｎ_ｒｅｄ＝４であり、
境界内のＰ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４＝８個のサンプル、ここでＰ_ｒｅｄ＜Ｐであり、
予測される４×４減少ブロックのＱ_ｒｅｄ＝１６個の値の各々についてＰ_ｒｅｄ＝８の乗算（スキーム１０６では灰色の正方形によって形成される）、
総数Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ＝８＊１６＝１２８の（１０２４を大幅に下回る！）の乗算、
乗算数と取得される最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ／Ｑ＝１２８／６４＝２である（本技術を用いずに得られた１６よりもはるかに少ない！）。
したがって、本明細書に提示される技術は、前の技術よりも８倍能力要求が少ない。

【0100】

図７．３は、（方法８２０に基づき得る）別の例を示し、予測されるブロック１８は、Ｑ＝４＊８＝３２個の予測されるサンプルを有する長方形の４×８ブロック（Ｍ＝８、Ｎ＝４）である。境界１７は、Ｎ＝８サンプルの水平行１７ｃと、Ｍ＝４サンプルの垂直列１７ａとで構成される。したがって、優先的に、境界ベクトル１７Ｐは次元Ｐｘ１＝１２ｘ１を有するが、予測ＡＬＷＩＰ行列はＱｘＰ＝３２ｘ１２行列であるべきであり、したがってＱ＊Ｐ＝３２＊１２＝３８４の乗算が必要になる。

【0101】

しかしながら、例えば、水平行１７ｃの少なくとも８つのサンプルを平均またはダウンサンプリングして、４つのサンプルのみ（例えば、平均化されたサンプル）の減少した水平行を得ることが可能である。いくつかの例では、垂直列１７ａはそのままである（例えば、平均化せずに）。合計で、減少した境界は、次元Ｐ_ｒｅｄ＝８を有し、Ｐ_ｒｅｄ＜Ｐである。したがって、境界ベクトル１７Ｐは、次元Ｐ_ｒｅｄｘ１＝８ｘ１を有する。ＡＬＷＩＰ予測行列１７Ｍは、次元Ｍ＊Ｎ_ｒｅｄ＊Ｐ_ｒｅｄ＝４＊４＊８＝６４を有する行列になる。対象ステップ８１２で直接取得された（スキーム１０７の灰色の列によって形成された）４ｘ４減少したブロックは、サイズＱ_ｒｅｄ＝Ｍ＊Ｎ_ｒｅｄ＝４＊４＝１６サンプルを有する（予測される元の４ｘ８ブロック１８のＱ＝４＊８＝３２の代わりに）。減少した４×４ブロックがＡＬＷＩＰによって取得されると、オフセット値ｂ_ｋを加算し（ステップ８１２ｃ）、ステップ８１３において補間を実行することが可能である。図７．３のステップ８１３で分かるように、減少した４ｘ４ブロックは４ｘ８ブロック１８に拡張され、ステップ８１２で取得されなかった値１０８’は、ステップ８１３で取得された値１１８’および１１８’’（灰色の正方形）を補間することによってステップ８１２で取得される。

【0102】

したがって、本技術を使用することと使用しないこととを比較すると、
本技術を用いない場合：
予測対象ブロック１８、次元Ｍ＝４、Ｎ＝８を有し、
予測されるＱ＝Ｍ＊Ｎ＝４＊８＝３２個の値、
境界内のＰ＝Ｍ＋Ｎ＝４＋８＝１２個のサンプル、
予測されるＱ＝３２個の値の各々についてＰ＝１２乗算、
総数Ｐ＊Ｑ＝１２＊３２＝３８４の乗算
乗算回数と得られる最終値の数との比は、Ｐ＊Ｑ／Ｑ＝１２である。
本技術を用いる場合、
予測対象ブロック１８、ブロックは次元Ｍ＝４，Ｎ＝８を有する、
最後に予測されるＱ＝Ｍ＊Ｎ＝４＊８＝３２個の値、

【0103】

しかし、Ｑ_ｒｅｄｘＰ_ｒｅｄ＝１６ｘ８ ＡＬＷＩＰ行列を使用することができ、Ｍ＝４，Ｎ_ｒｅｄ＝４，Ｑ_ｒｅｄ＝Ｍ＊Ｎ_ｒｅｄ＝１６，Ｐ_ｒｅｄ＝Ｍ＋Ｎ_ｒｅｄ＝４＋４＝８であり、
境界内のＰ_ｒｅｄ＝Ｍ＋Ｎ_ｒｅｄ＝４＋４＝８個のサンプル、ここでＰ_ｒｅｄ＜Ｐであり、
予測される減少ブロックのＱ_ｒｅｄ＝１６個の値の各々についてＰ_ｒｅｄ＝８の乗算、
総数Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ＝８＊１６＝１２８の乗算（３８４を下回る！）
乗算数と取得される最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ／Ｑ＝１２８／３２＝４である（本技術を用いずに得られた１２よりもはるかに少ない！）。
したがって、本技術では、計算労力が１／３に減少される。

【0104】

図７．４は、次元ＭｘＮ＝１６ｘ１６で予測すべきブロック１８の事例を示し、最終的に予測される値はＱ＝Ｍ＊Ｎ＝１６＊１６＝２５６であり、Ｐ＝Ｍ＋Ｎ＝１６＋１６＝３２個の境界サンプルである。これは、次元ＱｘＰ＝２５６ｘ３２を有する予測行列をもたらし、これは２５６＊３２＝８１９２の乗算を意味する！

【0105】

しかしながら、方法８２０を適用することにより、ステップ８１１において、境界サンプルの数を、例えば３２から８に減らす（例えば、平均化またはダウンサンプリングによって）ことが可能であり、例えば、行１７ａの４つの連続サンプルのグループ１２０ごとに、単一のサンプル（例えば、４つのサンプルの中から選択されるか、またはサンプルの平均）が残る。また、列１７ｃの連続する４つのサンプルからなるグループごとに１つのサンプル（例えば、４つのサンプルの中から選択されるか、またはサンプルの平均）が残る。

【0106】

ここで、ＡＬＷＩＰ行列１７Ｍは、Ｑ_ｒｅｄｘＰ_ｒｅｄ＝６４ｘ８行列である。これは、それが（８つの平均化されたサンプルまたは３２個の境界から選択されたサンプルを使用することによって）Ｐ_ｒｅｄ＝８に選択されたという事実、およびステップ８１２で予測される減少ブロックが８ｘ８ブロック（スキーム１０９では、灰色の正方形は６４である）であるという事実に起因する。

【0107】

したがって、ステップ８１２で減少した８×８ブロックの６４個のサンプルが取得されると、ステップ８１３で、予測されるブロック１８の残りのＱ－Ｑ_ｒｅｄ＝２５６－６４＝１９２個の値１０４を導出することが可能である。

【0108】

この場合、補間を実行するために、境界列１７ａのすべてのサンプルおよび境界行１７ｃの代替サンプルのみを使用することが選択されている。他の選択が行われてもよい。

【0109】

本方法では、乗算回数と最終的に得られる値の数との間の比はＱ_ｒｅｄ＊Ｐ_ｒｅｄ／Ｑ＝８＊６４／２５６＝２であり、これは本技術を用いない各値の３２回の乗算よりもはるかに少ない！
本技術を使用することと使用しないこととを比較すると、
本技術を用いない場合：
予測対象ブロック１８、次元Ｍ＝１６，Ｎ＝１６を有し、
予測されるＱ＝Ｍ＊Ｎ＝１６＊１６＝２５６個の値、
境界内のＰ＝Ｍ＋Ｎ＝１６＊１６＝３２個のサンプル、
予測されるＱ＝２５６個の値の各々についてＰ＝３２乗算、
総数Ｐ＊Ｑ＝３２＊２５６＝８１９２の乗算
乗算回数と得られる最終値の数との比は、Ｐ＊Ｑ／Ｑ＝３２である。
本技術を用いる場合、
予測対象ブロック１８、ブロックは次元Ｍ＝１６，Ｎ＝１６を有する、
最後に予測されるＱ＝Ｍ＊Ｎ＝１６＊１６＝２５６個の値、

【0110】

しかし、Ｑ_ｒｅｄｘＰ_ｒｅｄ＝６４ｘ８ ＡＬＷＩＰ行列を使用することができ、Ｍ_ｒｅｄ＝４，Ｎ_ｒｅｄ＝４であり、ＡＬＷＩＰによって予測されるのは、Ｑ_ｒｅｄ＝８＊８＝６４個のサンプルであり、
Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４＝８
境界内のＰ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４＝８個のサンプル、ここでＰ_ｒｅｄ＜Ｐであり、
予測される減少ブロックのＱ_ｒｅｄ＝６４個の値の各々についてＰ_ｒｅｄ＝８の乗算、
総数Ｑ_ｒｅｄ＊Ｐ_ｒｅｄ＝６４＊４＝２５６の乗算（８１９２を下回る！）
乗算数と取得される最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ／Ｑ＝８＊６４／２５６＝２である（本技術を用いずに得られた３２よりもはるかに少ない！）。
したがって、本技法によって必要とされる計算能力は、従来の技法よりも１６倍小さい！

【0111】

したがって、複数の隣接サンプル（１７）を使用して、複数の隣接サンプル（１７）と比較して、サンプル数が、より少ないサンプル値の減少したセット（１０２）を取得するために、複数の隣接サンプルを減少させる（１００，８１３）ことと、

【0112】

所定のブロック（１８）の所定のサンプル（１０４，１１８’，１８８’’）の予測値を取得するために、サンプル値の減少したセット（１０２）を線形またはアフィン線形変換（１９，１７Ｍ）に供する（８１２）ことと
によって、ピクチャの所定のブロック（１８）を予測することが可能である。

【0113】

特に、複数の隣接サンプル（１７）と比較して、サンプル数が、より少ないサンプル値の減少したセット（１０２）を取得するために、ダウンサンプリングすることによって減少（１００，８１３）を実行することが可能である。

【0114】

あるいは、複数の隣接サンプル（１７）と比較して、サンプル数が、より少ないサンプル値の減少したセット（１０２）を取得するために、複数の隣接サンプルを平均化することによって減少（１００，８１３）を実行することが可能である。

【0115】

さらに、補間によって、所定のサンプル（１０４，１１８’，１１８’’）および複数の隣接サンプル（１７）の予測値に基づいて、所定のブロック（１８）のさらなるサンプル（１０８，１０８’）の予測値を導出する（８１３）ことが可能である。

【0116】

複数の隣接サンプル（１７ａ，１７ｃ）は、所定のブロック（１８）の２辺（例えば、図７．１～図７．４の右および下に向かって）に沿って一次元に延在してもよい。所定のサンプル（例えば、ステップ８１２でＡＬＷＩＰによって得られたもの）はまた、行および列に配置されてもよく、行および列の少なくとも一方に沿って、所定のブロック１８の２辺に隣接する所定のサンプル１１２のサンプル（１１２）からｎ番目ごとの位置に配置されてもよい。

【0117】

複数の隣接サンプル（１７）に基づいて、行および列のうちの少なくとも１つのそれぞれに整列された複数の隣接位置のうちの１つの位置（１１８）のサポート値（１１８）を、行および列のうちの少なくとも１つのそれぞれについて決定することが可能である。補間によって、所定のサンプル（１０４，１１８’，１１８’’）の予測値および少なくとも１つの行および列に整列された隣接サンプル（１１８）のサポート値に基づいて、所定のブロック（１８）のさらなるサンプル（１０８，１０８’）の予測値１１８を導出することも可能である。

【0118】

所定のサンプル（１０４）は、行に沿って所定のブロック１８の２辺に隣接するサンプル（１１２）からｎ番目ごとの位置に配置されることがあり、所定のサンプルは、列に沿って所定のブロック（１８）の２辺に隣接する所定のサンプル（１１２）のサンプル（１１２）からｍ番目ごとの位置に配置され、ｎ，ｍ＞１である。場合によっては、ｎ＝ｍである（例えば、図７．２および図７．３では、８１２でＡＬＷＩＰによって直接取得され、灰色の四角で示されているサンプル１０４，１１８’，１１８’’は、行および列に沿って、ステップ８１３で続いて取得されたサンプル１０８，１０８’に交互にされる）。

【0119】

行（１７ｃ）および列（１７ａ）のうちの少なくとも一方に沿って、各サポート値について、それぞれのサポート値が決定される隣接サンプル（１１８）を含む複数の隣接サンプル内の隣接サンプルのグループ（１２０）を、例えばダウンサンプリングまたは平均化（１２２）することによってサポート値の決定を実行することが可能であり得る。したがって、図７．４では、ステップ８１３において、（ステップ８１２で以前に取得された）所定のサンプル１１８’’’の値および隣接サンプル１１８の値をサポート値として使用することによってサンプル１１９の値を取得することが可能である。

【0120】

複数の隣接サンプルは、所定のブロック（１８）の２辺に沿って一次元に延在してもよい。複数の隣接サンプル（１７）を１つ以上の連続する隣接サンプルのグループ（１１０）にグループ化し、２つ以上の隣接サンプルを有する１つ以上の隣接サンプルのグループ（１１０）の各々に対してダウンサンプリングまたは平均化を実行することによって減少（８１１）を実行することが可能であり得る。

【0121】

例では、線形またはアフィン線形変換は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄまたはＰ_ｒｅｄ＊Ｑ個の重み係数を含むことができ、Ｐ_ｒｅｄはサンプル値の減少したセット内のサンプル値の数（１０２）であり、Ｑ_ｒｅｄまたはＱは所定のブロック内の所定のサンプルの数（１８）である。少なくとも１／４のＰ_ｒｅｄ＊Ｑ_ｒｅｄまたは１／４のＰ_ｒｅｄ＊Ｑ個の重み係数は、非ゼロの重み値である。Ｐ_ｒｅｄ＊Ｑ_ｒｅｄまたはＰ_ｒｅｄ＊Ｑ個の重み係数は、Ｑ個またはＱ_ｒｅｄ個の所定のサンプルの各々について、それぞれの所定のサンプルに関する一連のＰ_ｒｅｄ個の重み係数を含むことができ、一連のＰ_ｒｅｄ個の重み係数は、所定のブロック（１８）の所定のサンプル間のラスタスキャン順序に従って上下に配置されると、全方向的に非線形である包絡線を形成する。Ｐ_ｒｅｄ＊ＱまたはＰ_ｒｅｄ＊Ｑ_ｒｅｄ個の重み係数は、規則的なマッピング規則を介して互いに無関係であってもよい。それぞれの所定のサンプルに関連する第１の一連の重み係数と、それぞれの所定のサンプル以外の所定のサンプルに関連する第２の一連の重み係数、または後者の反転されたバージョンとの間の相互相関の最大値の平均は、最大値がより高くなるかどうかにかかわらず、所定の閾値よりも低い。所定の閾値は、０．３（または場合によっては０．２または０．１）であってもよい。Ｐ_ｒｅｄ個の隣接サンプル（１７）は、所定のブロック（１８）の２辺に沿って延びる一次元経路に沿って配置され、ＱまたはＱ_ｒｅｄ個の所定のサンプルの各々について、それぞれの所定のサンプルに関連する一連のＰ_ｒｅｄ個の重み係数は、一次元経路を所定の方向にトラバースするように順序付けられ得る。
方法および装置の説明

【0122】

【数10】

（Ｍでも示される）の長方形のブロックのサンプルを予測するために、アフィン線形重み付きイントラ予測（ＡＬＷＩＰ）は、ブロックの左のＨ個の再構成された隣接する境界サンプルの１つのラインおよびブロックの上の

【数11】

再構成された隣接する境界サンプルの１つのラインを入力として取ることができる。再構成されたサンプルが利用できない場合、それらは従来のイントラ予測で行われるように生成され得る。
予測信号（例えば、完全なブロック１８の値）の生成は、以下の３つのステップのうちの少なくとも１つまたはいくつかに基づいてもよい。

【0123】

１．境界サンプル１７のうち、サンプル１０２（例えば、Ｗ＝Ｈ＝４の場合には４つのサンプル、および／または他の場合には８つのサンプル）は、平均化またはダウンサンプリング（例えば、ステップ８１１）によって抽出し得る。

【0124】

２．行列ベクトル乗算とそれに続くオフセットの加算は、平均化されたサンプル（またはダウンサンプリングから残っているサンプル）を入力として実行され得る。結果は、元のブロック内のサブサンプルされたサンプルのセット上の減少した予測信号（例えば、ステップ８１２）であり得る。

【0125】

３．残りの位置の予測信号は、例えば線形補間（例えばステップ８１３）によって、サブサンプリングされたセット上の予測信号から、例えばアップサンプリングによって生成され得る。

【0126】

ステップ１（８１１）および／または３（８１３）のおかげで、行列ベクトル積の計算に必要な乗算の総数は、常に

【数12】

以下であるようなものであってもよい。さらに、境界に対する平均化演算および減少予測信号の線形補間は、加算およびビットシフトのみを使用して実行される。換言すれば、実施例では、ＡＬＷＩＰモードには１サンプル当たり最大４回の乗算が必要である。

【0127】

いくつかの例では、予測信号を生成するために必要な行列（例えば、１７Ｍ）およびオフセットベクトル（例えば、ｂ_ｋ）は、例えば、デコーダおよびエンコーダの記憶ユニットに記憶され得る行列のセット（例えば、３セット）、例えば、

【数13】

から取得され得る。

【0128】

いくつかの例では、セット

【数14】

は、図７．１による技術を実行するために、各々が１６行および４列と、各々がサイズ１６の１８個のオフセットベクトル

【数15】

とを有し得る（例えば、構成される）

【数16】

（例えば、

【数17】

）行列

【数18】

を含み得る。個のセットの行列およびオフセットベクトルはサイズ４×４のブロック１８に使用される。境界ベクトルがＰ_ｒｅｄ＝４ベクトル（図７．１のステップ８１１について）に減少されると、サンプル１０２の減少したセットのＰ_ｒｅｄ＝４サンプルを、予測される４×４ブロック１８のＱ＝１６サンプルに直接マッピングすることが可能である。

【0129】

いくつかの例では、セット

【数19】

は、図７．２または図７．３による技術を実行するために、各々が１６および８列と、各々がサイズ１６の１８個のオフセットベクトル

【数20】

とを有し得る（例えば、構成される）

【数21】

行列

【数22】

を含み得る。このセット

【数23】

の行列およびオフセットベクトルは、サイズ４×８、４×１６、４×３２、４×６４、８×４、８×８、１６×４、３２×４、および６４×４のブロックに使用され得る。さらに、それはまた、

【数24】

、を有するサイズＷ×Ｈのブロック、すなわち４×１６または１６×４、４×３２または３２×４および４×６４または６４×４のサイズのブロックにも使用され得る。１６ｘ８行列は、図７．２および図７．３で得られるように、４ｘ４ブロックであるブロック１８の減少版を指す。

【0130】

追加的または代替的に、セット

【数25】

行列

【数26】

を含むことができ（例えば、構成される）、その各々は、６４行８列およびサイズ６４の１８個のオフセットベクトル

【数27】

を有し得る。６４ｘ８行列は、例えば図７．４で得られるような８ｘ８ブロックであるブロック１８の減少バージョンを指す。このセットの行列およびオフセットベクトルは、サイズ８×１６、８×３２、８×６４、１６×８、１６×１６、１６×３２、１６×６４、３２×８、３２×１６、３２×３２、３２×６４、６４×８、６４×１６、６４×３２、６４×６４のブロックに使用され得る。

【0131】

ブロックの次元に基づくセット

【数28】

（ステップ８１２ａで実行することができる）の選択の一例を図１２に要約する。代替例では、セットごとに異なる数の行列が可能である。追加的または代替的に、異なるサイズの行列が異なるセットに使用されてもよい。
これらの行列およびオフセットベクトルのセットまたは一部の行列およびオフセットベクトルは、他のすべてのブロック形状に使用されてもよい。
５．４ 境界の平均化またはダウンサンプリング
ここでは、ステップ８１１に関して特徴が提供される。

【0132】

上記で説明したように、境界サンプル（１７ａ，１７ｃ）は、平均化および／またはダウンサンプル（例えば、ＰサンプルからＰ_ｒｅｄ＜Ｐサンプル）され得る。

【0133】

第１のステップでは、入力境界

【数29】

（例えば１７ａ）は、より小さい境界

【数30】

に減少され、減少したセット１０２に到達し得る。ここで、

【数31】

は両方とも４×４ブロックの場合は２サンプルからなり、他の場合は両方とも４サンプルからなる。
４×４ブロックの場合、

【数32】

【0134】

および

【数33】

を同様に定義することができる。したがって、

【数34】

は、例えばビットシフト演算を使用して得られた平均値である。

【0135】

他のすべての場合（例えば、４とは異なるウィザーの幅または高さのブロックの）において、ブロック幅Ｗが

【数35】

として与えられる場合、

【数36】

について以下のように定義する：

【数37】

同様に

【数38】

を定義する。

【0136】

さらに他の場合では、境界（例えば、境界サンプルのグループから１つの特定の境界サンプルを選択することによって）をダウンサンプリングして、サンプル数を減らすことができる。例えば、

【数39】

の中から選択されてもよく、

【数40】

の中から選択されてもよい。同様に

【数41】

を定義することも可能である。

【0137】

２つの減少した境界

【数42】

は、減少した境界ベクトル

【数43】

（減少したセット１０２に関連付けられている）に連結されてもよく、これもまた１７Ｐで示される。したがって、減少した境界ベクトル

【数44】

は、４×４の形状のブロック（図７．１の例）についてはサイズ４（Ｐ_ｒｅｄ＝４）であり、他のすべての形状のブロック（図７．２～７．４の例）についてはサイズ８（Ｐ_ｒｅｄ＝８）であり得る。
ここで、

【数45】

（または行列のセットにおける行列の数）であれば、以下を定義するのが可能である：

【数46】

の転置モードに対応するのであれば、以下を定義するのが可能である：

【数47】

【0138】

したがって、特定の状態

【数48】

によれば、出力ベクトルの予測値を異なるスキャン順序（例えば、１つのスキャン順序：

【数49】

）に沿って分布させることが可能である。

【0139】

他の戦略を実行してもよい。他の例では、モードインデックス「ｍｏｄｅ」は必ずしも０から３５の範囲内ではない（他の範囲が定義されてもよい）。さらに、３つのセットＳ_０、Ｓ_１、Ｓ_２の各々が１８個の行列（したがって、

【数50】

のような式の代わりに、行列Ｓ_０，Ｓ_１，Ｓ_２の各組の行列の数である

【数51】

にそれぞれすることが可能である）を有する必要はない。また、各セットは、それぞれ異なる数の行列（例えば、Ｓ_０は１６個の行列を有し、Ｓ_１は８個の行列を有し、Ｓ_２は６個の行列を有してもよい）を有してもよい。

【0140】

モードおよび転置情報は、必ずしも１つの結合されたモードインデックス「モード」として記憶および／または送信されるわけではない。いくつかの例では、転置フラグおよび行列インデックス（Ｓ_０の場合は０～１５、Ｓ_１の場合は０～７、Ｓ_２の場合は０～５）として明示的にシグナリングする可能性がある。

【0141】

場合によっては、転置フラグと行列インデックスの組み合わせは、セットインデックスとして解釈されてもよい。例えば、転置フラグとして動作する１ビットと、「セットインデックス」としてまとめて示される、行列インデックスを示すいくつかのビットとがあり得る。
５．５ 行列ベクトル乗算による減少した予測信号の生成
ここでは、ステップ８１２に関して特徴が提供される。

【0142】

減少した入力ベクトル

【数52】

（境界ベクトル１７Ｐ）のうちの１つは、減少した予測信号

【数53】

を生成し得る。後者の信号は、

【数54】

のダウンサンプリングされたブロック上の信号であり得る。ここで、

【数55】

は、以下のように定義され得る。

【0143】

【数56】

である場合
そうではない。

【0144】

減少した予測信号

【数57】

は、行列ベクトル積を計算し、オフセットを加えることによって計算し得る：

【数58】

【0145】

ここで、

【数59】

は、他のすべての場合にＷ＝Ｈ＝４および８列である場合に

【数60】

行および４列を有し得る行列（例えば、予測行列１７Ｍ）であり、

【数61】

のベクトルであり得る。

【0146】

【数62】

の場合、Ａは４列１６行を有することができ、したがって、その場合には

【数63】

を計算するためにサンプルあたり４回の乗算が必要とされ得る。他のすべての場合において、Ａは８個の列を有することができ、これらの場合において、１つが

【数64】

を有すること、すなわちこれらの場合においても、１サンプル当たり最大４回の乗算が

【数65】

の計算に必要であることを検証し得る。

【0147】

行列Ａおよびベクトル

【数66】

は、以下のように、セット

【数67】

の１つから取得され得る。１つは、

【数68】

の場合、

【数69】

を設定し、

【数70】

を設定することによってインデックス

【数71】

を定義する。さらに、

【数72】

とすることができる。次に、

【数73】

の場合、

【数74】

を置くことができる。

【数75】

である場合、

【数76】

の各行を除外することによって生じる行列にし、Ｗ＝４の場合、ダウンサンプルされたブロック内の奇数ｘ座標に対応し、またはＨ＝４の場合、ダウンサンプルされたブロック内の奇数ｙ座標に対応する。

【数77】

の場合、減少した予測信号をその転置された信号で置き換える。代替的な例では、異なる戦略を実行し得る。例えば、より大きな行列のサイズを減少させる（「除外する」）代わりに、Ｗ_ｒｅｄ＝４およびＨ_ｒｅｄ＝４であるＳ_１（ｉｄｘ＝１）のより小さな行列が使用される。すなわち、このようなブロックは、ここではＳ_２ではなくＳ_１に割り当てられる。

【0148】

他の戦略を実行してもよい。他の例では、モードインデックス「ｍｏｄｅ」は必ずしも０から３５の範囲内ではない（他の範囲が定義されてもよい）。さらに、３つのセットＳ_０、Ｓ_１、Ｓ_２の各々が１８個の行列（したがって、

【数78】

のような式の代わりに、行列Ｓ_０，Ｓ_１，Ｓ_２の各組の行列の数である

【数79】

にそれぞれすることが可能である）を有する必要はない。また、各セットは、それぞれ異なる数の行列（例えば、Ｓ_０は１６個の行列を有し、Ｓ_１は８個の行列を有し、Ｓ_２は６個の行列を有してもよい）を有してもよい。
５．６ 最終予測信号を生成するための線形補間
ここでは、ステップ８１２に関して特徴が提供される。

【0149】

サブサンプルされた予測信号の補間、大きなブロックでは、平均化された境界の第２のバージョンが必要とされ得る。すなわち、

【数80】

の場合、

【数81】

の場合には、

【数82】

を定義する。

【数83】

を同様に定義する。
加えて、または代替として、「ハードダウンサンプリング」を有することが可能であり、ここでは

【数84】

は以下に等しい：

【数85】

また、

【数86】

も同様に定義することができる。

【0150】

【数87】

の生成において除外されたサンプル位置において、最終的な予測信号は、

【数88】

（例えば、図７．２～図７．４および図８．２の例のステップ８１３）からの線形補間によって生じ得る。いくつかの例では、Ｗ＝Ｈ＝４（例えば、図７．１および図８．１の例）場合、この線形補間は不要であり得る。

【0151】

線形補間は、以下のように与えられてもよい（他の例も可能である）。

【数89】

と仮定する。次に、

【数90】

の垂直アップサンプリングが実行され得る。その場合、

【数91】

は、以下のように上に１ライン分拡張されてもよい。

【数92】

を有することができ、例えば上記で定義されたように、平均化された境界信号

【数93】

によって上部に拡張され得る。

【数94】

であり、例えば上記で定義したように、平均化された境界信号

【数95】

によって上部に拡張される。

【数96】

を書き出すことができる。次に、幅

【数97】

のブロック上の信号

【数98】

は次のように与えられ得る：

【数99】

【0152】

ここで、

【数100】

後者のプロセスは、

【数101】

までｋ回実行され得る。したがって、Ｈ＝８またはＨ＝１６の場合、最大で１回実行し得る。Ｈ＝３２の場合、２回行ってもよい。Ｈ＝６４であれば３回行ってもよい。次に、垂直アップサンプリングの結果に水平アップサンプリング演算を適用し得る。後者のアップサンプリング演算は、予測信号の全境界左を使用し得る。最後に、Ｈ＞Ｗの場合、（必要に応じて）まず水平方向にアップサンプリングし、次いで垂直方向にアップサンプリングすることによって、同様に進めることができる。

【0153】

これは、第１の補間（水平または垂直）に減少した境界サンプルを使用し、第２の補間（垂直または水平）に元の境界サンプルを使用する補間の例である。ブロックサイズに応じて、第２の補間のみまたは補間なしが必要である。水平補間と垂直補間の両方が必要な場合、順序はブロックの幅と高さに依存する。

【0154】

しかしながら、異なる技術が実装されてもよく、例えば、元の境界サンプルが第１および第２の補間の両方に使用されてもよく、順序は固定されてもよく、例えば、最初に水平、次いで垂直（他の場合には、最初に垂直、次いで水平）であってもよい。
したがって、補間順序（水平／垂直）および減少／元の境界サンプルの使用を変更し得る。
５．７ ＡＬＷＩＰプロセス全体の例の説明

【0155】

平均化、行列ベクトル乗算、および線形補間の全プロセスは、図７．１～図７．４の異なる形状について示されている。残りの形状は、図示された事例の１つのように扱われることに留意されたい。

【0156】

４×４ブロックが与えられると、ＡＬＷＩＰは、図７．１の技法を使用することによって境界の各軸に沿って２つの平均をとることができる。得られた４つの入力サンプルは、行列ベクトル乗算に入る。行列は、セット

【数102】

から取得される。オフセットを加えた後、これは１６個の最終予測サンプルをもたらし得る。予測信号の生成には、線形補間は不要である。したがって、１サンプルあたり合計（４＊１６）／（４＊４）＝４乗算）が実行される。例えば、図７．１および図８．１を参照されたい。

【0157】

８×８ブロックが与えられると、ＡＬＷＩＰは、境界の各軸に沿って４つの平均をとることができる。結果として得られる８つの入力サンプルは、図７．２の技法を使用して、行列ベクトル乗算に入る。行列は、セット

【数103】

から取得される。これにより、予測ブロックの奇数位置に１６個のサンプルが得られる。したがって、１サンプルあたり合計（８＊１６）／（８＊８）＝２乗算）が実行される。オフセットを追加した後、これらのサンプルは、例えば上部境界を使用して垂直に、例えば左境界を使用して水平に補間し得る。例えば、図７．２および図８．２を参照されたい。

【0158】

８×４ブロックが与えられると、ＡＬＷＩＰは、図７．３の技術を使用することによって、境界の水平軸に沿った４つの平均および左境界上の４つの元の境界値をとることができる。得られた８つの入力サンプルは、行列ベクトル乗算に入る。行列は、セット

【数104】

から取得される。これにより、予測ブロックの奇数水平位置および各垂直位置に１６個のサンプルが得られる。したがって、１サンプルあたり合計（８＊１６）／（８＊４）＝４乗算）が実行される。オフセットを追加した後、これらのサンプルは、例えば左境界を使用して水平方向に補間される。例えば、図７．３および図８．２を参照されたい。
転置された事例はそれに応じて処理される。

【0159】

１６×１６ブロックが与えられると、ＡＬＷＩＰは、境界の各軸に沿って４つの平均をとることができる。結果として得られる８つの入力サンプルは、図７．２の技法を使用して、行列ベクトル乗算に入る。行列は、セット

【数105】

から取得される。これにより、予測ブロックの奇数位置に６４個のサンプルが得られる。したがって、１サンプルあたり合計（８＊６４）／（１６＊１６）＝２乗算）が実行される。オフセットを追加した後、これらのサンプルは、例えば、上部境界を使用して垂直方向に補間され、左境界を使用して水平方向に補間される。例えば、図７．２および図８．２を参照されたい。例えば、図７．４および図８．２を参照されたい。
より大きな形状の場合、手順は本質的に同じであり得、サンプルあたりの乗算数が２未満であることを確認することは容易である。

【0160】

Ｗ×８ブロックの場合、奇数水平および各垂直位置にサンプルが与えられるため、水平補間のみが必要である。したがって、これらの場合、せいぜい（サンプルあたり（８＊６４）／（１６＊８）＝４の乗算が実行される。

【0161】

最後に、Ｗ＞８のＷ×４ブロックについて、

【数106】

をダウンサンプルされたブロックの水平軸に沿った奇数エントリに対応する各行を除外することによって生じる行列とする。したがって、出力サイズは３２であってもよく、ここでも水平補間のみが実行されたままである。せいぜい（サンプルあたりの（８＊３２）／（１６＊４）＝４乗算が実行され得る。
転置された場合は、それに応じて処理され得る。
５．８ 必要なパラメータの数および複雑さの評価

【0162】

すべての可能な提案されたイントラ予測モードに必要なパラメータは、セット

【数107】

に属する行列およびオフセットベクトルによって構成され得る。すべての行列係数およびオフセットベクトルは、１０ビット値として記憶され得る。したがって、上記の説明によれば、各々が１０ビット精度の合計１４４００個のパラメータが、提案された方法に必要とされ得る。これは、０．０１８メガバイトのメモリに対応する。現在、標準４：２：０のクロマサブサンプリングにおけるサイズのＣＴＵは、それぞれ１０ビットの２４５７６個の値からなることが指摘される。したがって、提案されたイントラ予測ツールのメモリ要件は、最後の会議で採用された現在のピクチャ参照ツールのメモリ要件を超えない。また、従来のイントラ予測モードは、部分角度位置を有する角度予測モードのためのＰＤＰＣツールまたは４タップ補間フィルタに起因して、サンプルごとに４回の乗算を必要とすることが指摘される。したがって、動作の複雑さに関して、提案された方法は従来のイントラ予測モードを超えない。
５．９ 提案されたイントラ予測モードのシグナリング

【0163】

ルマブロックについては、例えば３５個のＡＬＷＩＰモードが提案されている（他の数のモードが使用されてもよい）。イントラモードの各符号化ユニット（ＣＵ）について、ＡＬＷＩＰモードが、対応する予測ユニット（ＰＵ）に適用されるべきであるか否かを示すフラグが、ビットストリームで送信される。後者の指標のシグナル伝達は、最初のＣＥ試験と同じ方法でＭＲＬと調和させることができる。ＡＬＷＩＰモードが適用される場合、ＡＬＷＩＰモードのインデックス

【数108】

は、３ ＭＰＭＳを有するＭＰＭリストを使用してシグナリングされ得る。

【0164】

ここで、ＭＰＭの導出は、以下のように、上記および左のＰＵのイントラモードを用いて行われてもよい。各従来のイントラ予測モード

【数109】

にＡＬＷＩＰモードを割り当てることができるテーブル、例えば３つの固定テーブル

【数110】

があってもよい：

【数111】

幅Ｗおよび高さＨの各ＰＵについて、以下を定義し示す：

【数112】

【0165】

これは、３つのセットのうちのどれからＡＬＷＩＰパラメータが上記のセクション４のように解釈されるべきかを示す。上記の予測ユニット

【数113】

が利用可能であり、現在のＰＵと同じＣＴＵに属し、イントラモードにある場合、

【数114】

でありＡＬＷＩＰがＡＬＷＩＰモード

【数115】

に適用されている場合、以下とする：

【数116】

【0166】

上記のＰＵが利用可能であり、現在のＰＵと同じＣＴＵに属しており、イントラモードにあり、従来のイントラ予測モード

【数117】

が上記のＰＵに適用される場合、以下とする：

【0167】

【数118】

他のすべての場合において、以下とする：

【数119】

【0168】

これは、このモードが利用できないことを意味する。同じように、ただし、左ＰＵが現在のＰＵと同じＣＴＵに属する必要があるという制限なしに、モードを導出する：

【数120】

【0169】

最後に、３つの固定デフォルトリスト

【数121】

が提供され、その各々は３つの異なるＡＬＷＩＰモードを含む。デフォルトリスト

【数122】

のうち、デフォルト値で－１を置換するとともに繰り返しを排除することによって、３つの異なるＭＰＭを構築する。
５．１０ 従来のルマイントラ予測モードおよびクロマイントラ予測モードのための適応ＭＰＭリスト導出

【0170】

提案されたＡＬＷＩＰモードは、以下のように従来のイントラ予測モードのＭＰＭベースの符号化と調和され得る。従来のイントラ予測モードのルマおよびクロマＭＰＭリスト導出プロセスは、固定テーブルを使用し

【数123】

所与のＰＵ上のＡＬＷＩＰモードを従来のイントラ予測モードのうちの１つにマッピングし得る

【数124】

【0171】

ルマＭＰＭリスト導出の場合、ＡＬＷＩＰモード

【数125】

を使用する隣接ルマブロックに遭遇するときはいつでも、このブロックは従来のイントラ予測モード

【数126】

を使用しているかのように扱われ得る。クロマＭＰＭリスト導出のために、現在のルマブロックがＬＷＩＰモードを使用するときはいつでも、同じマッピングを使用してＡＬＷＩＰモードを従来のイントラ予測モードに変換し得る。
５．１１ 実験結果

【0172】

試験の評価は、ＶＴＭソフトウェアバージョン３．０．１を用いたイントラ専用（ＡＩ）およびランダムアクセス（ＲＡ）構成について、共通の試験条件ＪＶＥＴ－Ｊ １０１０［２］に従って実施した。対応するシミュレーションは、Ｌｉｎｕｘ（登録商標） ＯＳおよびＧＣＣ ７．２．１コンパイラを備えたＩｎｔｅｌ Ｘｅｏｎクラスタ（Ｅ５－２６９７Ａ ｖ４、ＡＶＸ２オン、ターボブーストオフ）上で実行された。

【0173】

【表2】

５．１２ さらなるエンコーダの高速化によるさらなる結果
ＣＥ３－１．２．２と同じ構文に依存するが、最適化されたエンコーダ検索を有するテストの２つのさらなる結果をさらに提供する。

【0174】

【表3】

６．図１０のエンコーダ

【0175】

図１０は、図１、図２、および図５～図９の例（特に、いくつかの特徴は、図２から直接導出されてもよく、したがってここでは繰り返さない）から解釈され得る別の例を示す。

【0176】

図１０は、例えば、図１のエンコーダの特定の事例であり得るエンコーダ１４を示す。図２と同様にエンコーダ１４は、インバウンド信号、すなわちピクチャ１０、またはブロックベースで現在のブロック１８から、対応する予測信号２４（例えば、ステップ８１２で取得された再構成されたサンプル１０４を有するブロック１８）を減算して予測残差信号２６を取得し、これは次に、予測残差エンコーダ２８によってデータストリーム１２に符号化されるように構成された減算器２２を備え得る。予測残差エンコーダ２８は、非可逆符号化段２８ａと可逆符号化段（エントロピコーダ）２８ｂとを含み得る。非可逆符号化段２８ａは、予測残差信号２６を受け取り、予測残差信号２６のサンプルを量子化するように構成される量子化器３０（図示せず）を備え得る。次いで、取得された予測残差信号３４は、エントロピコーダのエントロピ符号化量子化予測残差信号３４である可逆符号化段２８ｂによって可逆符号化に供されデータストリーム１２になる。エンコーダ１４は、非可逆符号化段２８ａの出力に接続された予測残差信号再構成段３６をさらに備え、それにより、変換および量子化された予測残差信号３４’から予測残差信号を再構成し得る。

【0177】

エンコーダ１４は、再構成された信号、すなわち再構成されたサンプルを出力するために、段３６によって出力される再構成された予測残差信号３４’と予測信号２４（例えば、ステップ８１３で得られた再構成されたサンプル１０４を有するブロック１８を含む）とを加算する加算器４２を備え得る。この出力は、予測子４４に供給され、予測子は、それに基づいて予測信号２４を決定し得る（例えば、図８．１～図７．４に示す技術を適用することによって）。

【0178】

図９に見られるように、方法ステップ８１１，８１２，８１３は、ここでは予測子４４内の段８１１’，８１２’，８１３’によってそれぞれマッピングされ、方法ステップ８１１，８１２，８１３は、予測子４４内の、集合的に８１１’，８１２’，８１３’で示される、または予測子によって制御されるハードウェアユニットおよび／または手続きルーチンで実装され得る。例では、図７．１の例のように、導出段８１３’をスキップすることが可能であることが示されている。

【0179】

特に、段８１１および／または８１３は、上述のシフト動作（レジスタ９１０は、必ずしも段８１１または８１３の一部ではなく、それは、対象段によって制御されるユニットとし得る）を実行するためのレジスタ９１０などのレジスタを提示するものとして示すことができる。代わりに、段８１２は、乗算器１９１０を有するかまたは制御するものとして示されており、乗算器では、隣接サンプル１７の選択または平均化されたサンプル１０２のＰ_ｒｅｄ個の要素間で実行される乗算が、行列

【数127】

のＱまたはＱ_ｒｅｄ個の重み係数によって乗算される。段８１１’，８１２’，８１３’では、簡潔にするために他の要素（例えば、加算器などである）は示されていない。

【0180】

記憶装置１０４４は、ここでは、ＡＬＷＩＰ行列１７Ｍまたは

【数128】

（例えば、セットＳ_０，Ｓ_１，Ｓ_２）およびオフセットベクトル

【数129】

（上記ではｂ_ｋとしても示されている）を記憶するものとして示されている。行列および／またはオフセットのインデックス９４４（例えば、ｉ、ｋ、転置インデックス、セットインデックスなどの上記のインデックスのうちの１つ以上）ｉは、データストリーム１２内で符号化され得る。ＱまたはＱ_ｒｅｄ個の重み係数は、一般に、データストリーム１２でシグナリングされず、これは、デコーダがＡＬＷＩＰ行列１７ＭのＱまたはＱ_ｒｅｄ個の重み係数を既に認識しているためであり（例えば、記憶装置１０４４に記憶されたデータの複製を有する）、したがってペイロードが削減される。

【0181】

図に示されていなくても、エンコーダ１４が、例えばブロック１８の次元に基づいて、使用されるＡＬＷＩＰ行列の次元（例えば、セットＳ_０，Ｓ_１，Ｓ_２のうちのセット）を決定する可能性がある。場合によっては、ブロック１８の次元の選択の結果として、この選択を通知する必要はない。

【0182】

したがって、エンコーダ１４は、所定のブロック１８について、ステップ８１２で取得された所定のサンプルの予測残差３４および予測値２４（１０４）を使用して所定のブロック１８が再構成可能なデータストリーム１２に予測残差を挿入するようにさらに構成される。

【0183】

追加的または代替的に、エンコーダ１４は、所定のブロック（１８）について、予測残差（２６，３４）を、Ｑ個またはＱ_ｒｅｄ個の所定のサンプルの各々について対応する残差値を示すデータストリーム（１２）に挿入し、その結果、所定のブロック（１８）は、ＱまたはＱ_ｒｅｄ値のセットの各々について予測値を補正することによって、所定のサンプルの予測残差（２６，３４）および予測値を使用して再構成され、その結果、対応する再構成値が、任意選択で、予測および／または補正後に適用されるクリッピングを除いて、サンプル値の減少したセット（１０２）内のＰ_ｒｅｄ個の隣接サンプル（１０２）に厳密に線形に依存する。

【0184】

追加的または代替的に、エンコーダ１４は、ピクチャ（１６）を、所定のブロック（１８）を備える異なるブロックサイズの複数のブロックへサブ分割するように構成され得る。エンコーダ１４は、所定のブロック（１８）に対して選択された線形またはアフィン線形変換（１９、Ａｋ）が、所定のブロック（１８）の幅Ｗおよび高さＨが幅／高さ対の第１のセット（例えば、Ｓ_０に関連付けられる）内にある限り、線形またはアフィン線形変換の第１のセットと、所定のブロック（１８）の幅Ｗ（Ｎでも示される）および高さＨ（Ｍでも示される）が幅／高さ対の第１のセットに属さない幅／高さ対の第２のセット（例えば、Ｓ_１に関連付けられる）内にある限り、線形またはアフィン線形変換の第２のセットとから選択されるように、所定のブロック（１８）の幅Ｗおよび高さＨに応じて線形またはアフィン線形変換（１９、Ａ_ｋ）を選択するように構成され得る。

【0185】

追加的または代替的に、エンコーダは、１つ以上の幅／高さ対の第３のセット（例えば、Ｓ_０）は、１つの幅／高さ対Ｗ’，Ｈ’を単に含むだけであり、線形またはアフィン線形変換の第２のセット内の各線形またはアフィン線形変換は、Ｎ’サンプル値をサンプル位置のＷ’ｘＨ’配列のＷ’＊Ｈ’予測値に変換するためのものであるように構成され得る。

【0186】

追加的または代替的に、エンコーダは、幅／高さ対の第１および第２のセットの各々は、第１の幅／高さ対Ｗ_ｐ，Ｈ_ｐであって、Ｗ_ｐがＨ_ｐと等しくない、第１の幅／高さ対Ｗ_ｐ，Ｈ_ｐと、第２の幅／高さ対Ｗ_ｑ，Ｈ_ｑであって、Ｈ_ｑ＝Ｗ_ｐおよびＷ_ｑ＝Ｈ_ｐである、第２の幅／高さ対Ｗ_ｑ，Ｈ_ｑとを含むように構成され得る。

【0187】

追加的または代替的に、エンコーダは、幅／高さ対の第１および第２のセットの各々が、第３の幅／高さ対Ｗ_ｐ，Ｈ_ｐをさらに含むことがあり、Ｗ_ｐはＨ_ｐに等しく、Ｈ_ｐ＞Ｈ_ｑであるように構成され得る。

【0188】

追加的または代替的に、エンコーダは、所定のブロックについて、セットインデックスをデータストリームに挿入し、線形またはアフィン線形変換の所定のセットから、セットインデックスに応じて線形またはアフィン線形変換を選択するように構成され得る。

【0189】

追加的または代替的に、エンコーダは、複数の隣接サンプルが、所定のブロックの２辺に沿って一次元に延在し、エンコーダは、所定のブロックの第１の側に隣接する複数の隣接サンプルの第１のサブセットについて、第１のサブセットを１つ以上の連続する隣接サンプルの第１のグループ（１１０）にグループ化し、所定のブロックの第２の側に隣接する複数の隣接サンプルの第２のサブセットについて、第２のサブセットを１つ以上の連続する隣接サンプルの第２のグループ（１１０）にグループ化し、３つ以上の隣接サンプルを有する１つ以上の隣接サンプルの第１および第２のグループの各々についてダウンサンプリングまたは平均化を実行することによって、減少を実行し、その結果、第１のグループから第１のサンプル値を、第２のグループについて第２のサンプル値を取得するように構成されることがあり、エンコーダは、線形またはアフィン線形変換の所定のセットからセットインデックスに応じて線形またはアフィン線形変換を選択し、その結果、セットインデックスの２つの異なる状態が、線形またはアフィン線形変換の所定のセットの線形またはアフィン線形変換の１つを選択するようにし、サンプル値の減少したセットを、所定の線形またはアフィン線形変換に供し、予測値の出力ベクトルを生成するために第１のベクトルの形態で２つの異なる状態の第１の状態を想定するセットインデックスの場合、出力ベクトルの予測値を第１のスキャン順序に沿って所定のブロックの所定のサンプルに分配し、第２のベクトルの形態で２つの異なる状態の第２の状態を想定するセットインデックスの場合、第１のベクトルと第２のベクトルとが異なり、その結果、第１のベクトル内の第１のサンプル値の１つで入力されたコンポーネントが、第２のベクトル内の第２のサンプル値の１つが入力され、第１のベクトル内の第２のサンプル値の１つで入力されたコンポーネントは、第２のベクトル内の第１のサンプル値の１つが入力され、その結果、予測値の出力ベクトルを生成し、出力ベクトルの予測値を、第２のスキャン順序に沿って、第１のスキャン順序に対して転置される所定のブロックの所定のサンプルへ分散するように構成され得る。

【0190】

追加的または代替的に、エンコーダは、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換が、Ｎ_１サンプル値をサンプル位置のｗ_１ｘｈ_１配列のｗ_１＊ｈ_１予測値に変換するためのものであり、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_２サンプル値をサンプル位置のｗ_２ｘｈ_２配列のｗ_２＊ｈ_２予測値に変換するためのものであり、幅／高さ対の第１のセットのうちの第１の所定のものについて、ｗ_１が第１の所定の幅／高さ対の幅を超えるか、またはｈ_１が第１の所定の幅／高さ対の高さを超え、幅／高さ対の第１のセットのうちの第２の所定のものについて、ｗ_１が第２の所定の幅／高さ対の幅を超えることも、ｈ_１が第２の所定の幅／高さ対の高さを超えることもないように構成されてもよく、エンコーダは、サンプル値の減少したセット（１０２）を取得するために、複数の隣接サンプルをダウンサンプリングまたは平均化することによって、減少（１００）を実行し、その結果、所定のブロックが、第１の所定の幅／高さ対のものである場合、そして所定のブロックが第２の所定の幅／高さ対のものである場合、サンプル値の減少したセット（１０２）はＮ_１サンプル値を有し、サンプル値の減少したセットを、所定のブロックが第１の所定の幅／高さ対のものである場合には、ｗ_１が１つの幅／高さ対の幅を超える場合には幅次元に沿って、またはｈ_１が１つの幅／高さ対の高さを超える場合には高さ次元に沿って、サンプル位置のｗ_１ｘｈ_１配列のサブサンプリングに関連する選択された線形またはアフィン線形変換の第１の下位部分のみを使用することによって、選択された線形またはアフィン線形変換に、所定のブロックが第２の所定の幅／高さ対のものである場合には、選択された線形またはアフィン線形変換に完全に、供することを実行するように構成されてもよい。

【0191】

追加的または代替的に、エンコーダは、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換が、Ｎ_１サンプル値をｗ_１＝ｈ_１であるサンプル位置のｗ_１ｘｈ_１配列のｗ_１＊ｈ_１予測値に変換するためのものであり、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_２サンプル値をｗ_２＝ｈ_２であるサンプル位置のｗ_２ｘｈ_２配列のｗ_２＊ｈ_２予測値に変換するためのものであるように構成され得る。
７．図１１の例
図１１は、図３から図９の例（特に、いくつかの特徴は、図４から直接導出されてもよく、したがってここでは繰り返さない）から解釈され得る別の例を示す。

【0192】

図１１は、図４のデコーダ５４の可能な実装形態、すなわち、図１０のエンコーダ１４の実装形態に対して適合する実装形態を示す。特に、加算器４２’および予測子４４’は、図１０のエンコーダ１４と同じ方法で予測ループに接続され得る。加算器４２’に適用される再構成された、すなわち逆量子化され再変換された予測残差信号は、エントロピエンコーダのエントロピ符号化を逆にするエントロピデコーダのシーケンスによって導出されることがあり、符号化側の場合と同様に、逆量子化器および逆変換器４０’から構成される残差信号再構成段が続く。デコーダの出力は、ピクチャ１０の再構成である。ピクチャ１０の再構成は、加算器４２’の出力で直接利用可能であってもよく、あるいはインループフィルタの出力で利用可能であってもよい。

【0193】

図から分かるように、段８１３’、８１２’、８１３’は、エンコーダ１４としてのものであってもよく、記憶ユニット１０４４は、エンコーダ１４と同様に行列のセットを記憶してもよい。したがって、ここでは説明を繰り返さない。インデックス９４４（例えば、ｉ、ｋ、転置インデックス、セットインデックスなどの上記のインデックスのうちの１つ以上）は、データストリーム１２から直接取得し得る。セットＳ_０，Ｓ_１，Ｓ_２の間の選択は、サイズ（例えば、Ｈ／ＫまたはＭ／Ｎ）に従うことができる。

【0194】

追加的または代替的に、デコーダは、所定のブロック（１８）について、データストリーム（１２）から予測残差（３４’’）を導出し、所定のサンプル（２４’，１０４，１０８，１０８’）に対する予測残差（３４’’）および予測値（２４’）を使用して、所定のブロック（１８）を再構成する（４２’）ように構成され得る。

【0195】

追加的または代替的に、デコーダは、所定のブロック（１８）について、Ｑ個またはＱ_ｒｅｄ個の所定のサンプルのセットの各々について対応する残差値を取得するために、データストリーム（１２）から予測残差（３４’’）を導出し、対応する再構成値（１０）を得るために、Ｑ個またはＱ_ｒｅｄ個の所定のサンプルのセットの各々の予測値を、対応する残差値（３４’’）で補正することによって、所定のサンプル（１１８’，１１８’’）の予測残差（３４’’）および予測値（２４’，１０４）を使用して所定のブロック（１８）を再構成し、その結果、対応する再構成値（１０）が、任意選択で、予測および／または補正後に適用されるクリッピングを除いて、サンプル値の減少したセット内のＰ_ｒｅｄ個の隣接サンプル（１０２）に厳密に線形に依存する
ように構成され得る。

【0196】

追加的または代替的に、デコーダは、デコーダが、ピクチャ（１０）を、所定のブロック（１８）を含む異なるブロックサイズの複数のブロックに細分するように構成され、デコーダは、所定のブロック（１８）の幅Ｗおよび高さＨに応じて線形またはアフィン線形変換（１９，１７Ｍ，Ａ_ｋ）を選択し、その結果、所定のブロック（１８）に対して選択された線形またはアフィン線形変換は、所定のブロック（８１）の幅Ｗおよび高さＨが幅／高さ対の第１のセット内にある限り、線形またはアフィン線形変換の第１のセットから選択され、所定のブロックの幅Ｗおよび高さＨが、幅／高さ対の第１のセットとは分離される幅／高さ対の第２のセット内にある限り、線形またはアフィン線形変換の第２のセットから選択されるように構成され得る。

【0197】

追加的または代替的に、デコーダは、デコーダが、ピクチャ（１０）を、所定のブロック（１８）を含む異なるブロックサイズの複数のブロックに細分するように構成され、デコーダは、所定のブロック（１８）の幅Ｗおよび高さＨに応じて線形またはアフィン線形変換（１９，１７Ｍ，Ａ_ｋ）を選択し、その結果、所定のブロック（１８）に対して選択された線形またはアフィン線形変換は、所定のブロック（１８）の幅Ｗおよび高さＨが幅／高さ対の第１のセット内にある限り、線形またはアフィン線形変換の第１のセットから選択され、所定のブロック（１８）の幅Ｗおよび高さＨが、幅／高さ対の第１のセットとは分離される幅／高さ対の第２のセット内にある限り、線形またはアフィン線形変換の第２のセットから選択され、所定のブロック（１８）の幅Ｗおよび高さＨが、幅／高さ対の第１および第２のセットとは分離される１つ以上の幅／高さ対の第３のセット内にある限り、線形またはアフィン線形変換の第３のセットから選択されるように構成され得る。

【0198】

追加的または代替的に、デコーダは、１つ以上の幅／高さ対の第３のセットが、１つの幅／高さ対Ｗ’，Ｈ’を単に含むだけであり、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ’サンプル値をサンプル位置のＷ’ｘＨ’配列のＷ’＊Ｈ’予測値に変換するためのものであるように構成され得る。

【0199】

追加的または代替的に、デコーダは、幅／高さ対の第１および第２のセットの各々は、第１の幅／高さ対Ｗ_ｐ，Ｈ_ｐであって、Ｗ_ｐがＨ_ｐと等しくない、第１の幅／高さ対Ｗ_ｐ，Ｈ_ｐと、第２の幅／高さ対Ｗ_ｑ，Ｈ_ｑであって、Ｈ_ｑ＝Ｗ_ｐおよびＷ_ｑ＝Ｈ_ｐである、第２の幅／高さ対Ｗ_ｑ，Ｈ_ｑとを含むように構成され得る。

【0200】

追加的または代替的に、デコーダは、幅／高さ対の第１および第２のセットの各々は、第３の幅／高さ対Ｗ_ｐ，Ｈ_ｐをさらに含むことがあり、Ｗ_ｐはＨ_ｐに等しく、Ｈ_ｐ＞Ｈ_ｑである。
追加的または代替的に、デコーダは、所定のブロック（１８）について、セットインデックス（ｋ）をデータストリーム（１２）から読出し、
線形またはアフィン線形変換の所定のセットから、セットインデックス（ｋ）に応じて線形またはアフィン線形変換を選択するように構成され得る。

【0201】

追加的または代替的に、デコーダは、複数の隣接サンプル（１７）が、所定のブロック（１８）の２辺に沿って一次元に延在し、デコーダは、所定のブロックの第１の側に隣接する複数の隣接サンプルの第１のサブセットについて、第１のサブセットを１つ以上の連続する隣接サンプルの第１のグループ（１１０）にグループ化し、所定のブロックの第２の側に隣接する複数の隣接サンプルの第２のサブセットについて、第２のサブセットを１つ以上の連続する隣接サンプルの第２のグループ（１１０）にグループ化し、３つ以上の隣接サンプルを有する１つ以上の隣接サンプルの第１および第２のグループの各々についてダウンサンプリングまたは平均化を実行することによって、減少（８１１）を実行し、その結果、第１のグループから第１のサンプル値を、第２のグループについて第２のサンプル値を取得するように構成されることがあり、デコーダは、線形またはアフィン線形変換の所定のセットからセットインデックスに応じて線形またはアフィン線形変換を選択し、その結果、セットインデックスの２つの異なる状態が、線形またはアフィン線形変換の所定のセットの線形またはアフィン線形変換の１つを選択するようにし、サンプル値の減少したセットを、所定の線形またはアフィン線形変換に供し、予測値の出力ベクトルを生成するために第１のベクトルの形態で２つの異なる状態の第１の状態を想定するセットインデックスの場合、出力ベクトルの予測値を第１のスキャン順序に沿って所定のブロックの所定のサンプルに分配し、第２のベクトルの形態で２つの異なる状態の第２の状態を想定するセットインデックスの場合、第１のベクトルと第２のベクトルとが異なり、その結果、第１のベクトル内の第１のサンプル値の１つで入力されたコンポーネントが、第２のベクトル内の第２のサンプル値の１つが入力され、第１のベクトル内の第２のサンプル値の１つで入力されたコンポーネントは、第２のベクトル内の第１のサンプル値の１つが入力され、その結果、予測値の出力ベクトルを生成し、出力ベクトルの予測値を、第２のスキャン順序に沿って、第１のスキャン順序に対して転置される所定のブロックの所定のサンプルへ分散するように構成され得る。

【0202】

追加的または代替的に、デコーダは、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_１サンプル値をサンプル位置のｗ_１ｘｈ_１配列のｗ_１＊ｈ_１予測値に変換するためのものであり、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_２サンプル値をサンプル位置のｗ_２ｘｈ_２配列のｗ_２＊ｈ_２予測値に変換するためのものであり、幅／高さ対の第１のセットのうちの第１の所定のものについて、ｗ_１が第１の所定の幅／高さ対の幅を超えるか、またはｈ_１が第１の所定の幅／高さ対の高さを超え、幅／高さ対の第１のセットのうちの第２の所定のものについて、ｗ_１が第２の所定の幅／高さ対の幅を超えることも、ｈ_１が第２の所定の幅／高さ対の高さを超えることもないように構成されてもよく、デコーダは、サンプル値の減少したセット（１０２）を取得するために、複数の隣接サンプルをダウンサンプリングまたは平均化することによって、減少（１００）を実行し、その結果、所定のブロックが、第１の所定の幅／高さ対のものである場合、そして所定のブロックが第２の所定の幅／高さ対のものである場合、サンプル値の減少したセット（１０２）はＮ_１サンプル値を有し、サンプル値の減少したセットを、所定のブロックが第１の所定の幅／高さ対のものである場合には、ｗ_１が１つの幅／高さ対の幅を超える場合には幅次元に沿って、またはｈ_１が１つの幅／高さ対の高さを超える場合には高さ次元に沿って、サンプル位置のｗ_１ｘｈ_１配列のサブサンプリングに関連する選択された線形またはアフィン線形変換の第１の下位部分のみを使用することによって、選択された線形またはアフィン線形変換に、所定のブロックが第２の所定の幅／高さ対のものである場合には、選択された線形またはアフィン線形変換に完全に、供することを実行するように構成される。

【0203】

追加的または代替的に、デコーダは、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_１サンプル値をｗ_１＝ｈ_１であるサンプル位置のｗ_１ｘｈ_１配列のｗ_１＊ｈ_１予測値に変換するためのものであり、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_２サンプル値をｗ_２＝ｈ_２であるサンプル位置のｗ_２ｘｈ_２配列のｗ_２＊ｈ_２予測値に変換するためのものであるように構成され得る。
８．本技術の効果の考察

【0204】

平均化および／または補間（これは、とりわけ、計算労力を減少させる効果に帰着する）のためのビットシフトなどの動作を使用することとは無関係に、いくつかの例ではビットシフトの効果的な使用を超え得る他の効果が得られ得ることにも留意されたい。

【0205】

特に、本実施例では、ＡＬＷＩＰ行列１７Ｍ（例えば、ステップ８１２ａにおいて）の選択が限られた数のセットに対して実行されるように、予測モードを異なるブロック形状にわたって共有することができる。例えば、予測すべきブロック１８の可能な次元（例えば、高さ／幅の対）よりも少ないＡＬＷＩＰ行列のセットが存在し得る。上述したように、予測されるブロック１８の異なる幅／高さ対をセットＳ_０（例えば、ｎ_０個の行列、例えば、ｎ_０＝１６である）、Ｓ_１（例えばｎ_１個の行列、例えばｎ_１＝８）、およびＳ_２（例えばｎ_２行列、例えばｎ_２＝６の場合）のうちの１つにマッピングする図１２を参照し得る（異なる再分割が可能であり得る）。

【0206】

例えば、セットＳ_１の１６×８行列は、次元
４×８、４×１６、４×３２、４×６４、８×４、８×８、１６×４、３２×４および６４×４のいずれかを有するブロックの予測モードによって共有されてもよく、セットＳ_２の６４×８行列は、任意の次元８×１６、８×３２、８×６４、１６×８、１６×１６、１６×３２、１６×６４、３２×８、３２×１６、３２×３２、３２×６４、６４×８、６４×１６、６４×３２、６４×６を有するブロックの予測モードによって共有されてもよい。セット１０２を形成するために必要なＰ_ｒｅｄ数のサンプルに境界１７の次元を減少させるための減少ステップ８１１（上記参照）について説明したような技術を実行するだけでよいが、ステップ８１２において、予測されるブロック１８の元の次元は無関係である。ステップ８１３（実施される場合）において、単に補間を実行することによってブロックの完全な予測に到達することが可能である。

【0207】

この手法は、１６＊１６＊４＋８＊１６＊８＋６＊６４＊８＝５１２０個の値（例えば、各値は、例えば８ビット値である）の予想外の次元で記憶空間１０４４において必要な記憶空間を削減することを可能にすることに留意されたい。

【0208】

比較すると、従来の技術では、幅／高さ対ごとに行列のセットを使用する必要がある。図１２から容易に理解できるように、２５セットが必要になる！２５セットの行列が５１２０個の値の記憶空間よりもはるかに多くを必要とすることは容易に理解することができる。したがって、必要な記憶空間を削減するために、各セットの行列の数を減らす必要があるが、予測のために自由に使える行列が少ない場合、品質は低下する！

【0209】

共有技術を考慮した記憶空間の減少は、記憶された行列自体のサイズの減少によってさらに増幅される。例えば、ＭｘＮ＝６４ｘ６４ブロックの予測は、サイズＱｘＰ＝（Ｍ＊Ｎ）ｘ（Ｍ＋Ｎ）の行列、すなわち（６４＊６４）＊（６４＋６４）＝５２４２８８個の値が記憶空間に記憶されることを必要とするであろう！したがって、本技術では、予想よりもさらに多くの記憶空間を節約することが可能である。
したがって、本技術は、ユニット１０４４に記憶される必要があるパラメータの数を減らすことを可能にする。

【0210】

ビットシフトの実際の使用の有無にかかわらず、エンコーダまたはデコーダが自由に使える記憶資源を減らすことができ、あるいは逆に、より多くの予測モードを記憶空間のパリティに使用し得る。

【0211】

それにもかかわらず、最適な効果は、（ステップ８１１および／または８１３における）ビットシフト技術を、（ステップ８１２における）複数のモードに対して同じ予測モードを共有するものと組み合わせることによって達成される。

【0212】

２５個の異なる高さ／幅の対に対して２５個の異なるセットを使用する従来の手法に関して、本技術は明らかに複雑さを増すと解釈される可能性がある（ステップ８１１および／または８１３は従来の技術では考えられないため）。しかしながら、ステップ８１１および／または８１３の導入は、乗算の減少によってより補償することができる。

【0213】

さらに、２５個の異なる高さ／幅の対に対して２５の異なるセットを使用する従来の手法に関して、この処理を制御するために必要な命令は、（ステップ８１１および／または８１３のための追加の命令が記憶されるため）より多くの記憶空間を必要とする。しかしながら、ステップ８１１および／または８１３のための命令を記憶する必要性は、記憶される行列の数の減少によって暗示される空間の減少によってさらに補償され得る。
９．さらなる実施形態および実施例

【0214】

一般に、実施例は、コンピュータプログラム製品がコンピュータ上で動作するときに、本方法の１つを実行するように動作するプログラム命令を有するコンピュータプログラム製品として実施され得る。プログラム命令は、例えば、機械読み取り可能な媒体に記憶することができる。
他の実施例は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリアに記憶される。

【0215】

換言すれば、本発明の方法の実施例は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラム命令を有するコンピュータプログラムである。

【0216】

したがって、本発明の方法のさらなる実施例は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含み、そこに記録される、データキャリア媒体（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア媒体、デジタル記憶媒体、または記録媒体は、無形で一時的な信号ではなく、有形および／または非一時的である。

【0217】

したがって、本発明の方法のさらなる実施例は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送され得る。
さらなる実施例は、本明細書に記載の方法のうちの１つを実行する処理手段、例えばコンピュータまたはプログラマブル論理装置を含む。
さらなる実施例は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

【0218】

本発明によるさらなる実施例は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを受信機に転送（例えば、電子的にまたは光学的に）する装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置などであってもよい。この装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備え得る。

【0219】

いくつかの例では、プログラマブルロジック装置（例えば、フィールドプログラマブルゲート配列）を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲート配列は、本明細書で説明する方法の１つを実行するためにマイクロ処理部と協働し得る。一般に、これらの方法は、任意の適切なハードウェア装置によって実行され得る。

【0220】

上述の例は、上述の原理の単なる例示である。本明細書に記載された構成および詳細の変更および変形は、明らかであることが理解される。したがって、差し迫った特許請求の範囲によって限定され、本明細書の実施例の記載および説明によって示される特定の詳細によっては限定されないことが意図される。

【0221】

等しいか同等である要素または等しいか同等である機能を有する要素は、以下の説明において、異なる図で発生する場合でも、等しいか同等である参照番号で示される。

参考文献

【0222】

［１］ Ｐ． Ｈｅｌｌｅ ｅｔ ａｌ．， “Ｎｏｎ－ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ”， ＪＶＥＴ－Ｌ０１９９， Ｍａｃａｏ， Ｃｈｉｎａ， Ｏｃｔｏｂｅｒ ２０１８．

【0223】

［２］ Ｆ． Ｂｏｓｓｅｎ， Ｊ． Ｂｏｙｃｅ， Ｋ． Ｓｕｅｈｒｉｎｇ， Ｘ． Ｌｉ， Ｖ． Ｓｅｒｅｇｉｎ， “ＪＶＥＴ ｃｏｍｍｏｎ ｔｅｓｔ ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ｓｏｆｔｗａｒｅ ｒｅｆｅｒｅｎｃｅ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｆｏｒ ＳＤＲ ｖｉｄｅｏ”， ＪＶＥＴ－Ｋ１０１０， Ｌｊｕｂｌｊａｎａ， ＳＩ， Ｊｕｌｙ ２０１８．

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7.1】

【図7.2】

【図7.3】

【図7.4】

【図8.1】

【図8.2】

【図9】

【図10】

【図11】

【図12】

【図13】