特開 2025-102924 符号化／復号の方法および装置、ならびに通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025102924

(43)【公開日】2025-07-08

(54)【発明の名称】符号化／復号の方法および装置、ならびに通信システム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20250701BHJP

   H04N 19/176 20140101ALI20250701BHJP

   H04N 19/593 20140101ALI20250701BHJP

【ＦＩ】

H04N19/105

H04N19/176

H04N19/593

【審査請求】有

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2025061361

(22)【出願日】2025-04-02

(62)【分割の表示】P 2021516487の分割

【原出願日】2020-09-25

(31)【優先権主張番号】62/911,166

(32)【優先日】2019-10-04

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100203105

【弁理士】

【氏名又は名称】江口 能弘

(72)【発明者】

【氏名】フオ、チュンイェン

(57)【要約】      （修正有）

【課題】マトリクスベースのイントラ予測の計算時間およびリソース消費を改良する方法、装置およびシステムを提供する。
【解決手段】方法は、ビットストリーム内のカレントブロックの予測パラメータを決定することＳ６０１と、カレントブロックの隣接サンプルおよび予測パラメータに基づいて、カレントブロックのマトリクスベースのイントラ予測（ＭＩＰ）入力サンプルを決定することＳ６０２と、数値シフト用パラメータ（ｓＷ）を第１固定値に設定することＳ６０３と、オフセットシフト用パラメータ（ｆＯ）を第２固定値に設定することＳ６０４と、ＭＩＰ重み付けマトリクス、ＭＩＰ入力サンプル、オフセットシフト用パラメータ（ｆＯ）及び数値シフト用パラメータ（ｓＷ）に基づいてカレントブロックのＭＩＰ予測サンプルを決定することＳ６０６と、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

画像を予測する方法であって、
カレントブロックの予測パラメータを決定することと、
前記カレントブロックの隣接サンプル及び前記予測パラメータに基づいて、前記カレントブロックのマトリクスベースのイントラ予測（ＭＩＰ）入力サンプルを決定することと、
前記予測パラメータに基づいて、前記カレントブロックのＭＩＰ重み付けマトリクスを決定することと、
式（Ａ）及び式（Ｂ）を使用して、前記カレントブロックの座標（ｘ、ｙ）を有するＭＩＰ予測サンプル（ｐｒｅｄＭｉｐ［ｘ］［ｙ］）を決定することであって、

【数1】

ｓＷは、数値シフト用パラメータであり、
ｆＯは、オフセットシフト用パラメータであり、
ｐ［ｉ］は、前記ＭＩＰ入力サンプル内のｉ番目の値であり、
ｉｎＳｉｚｅは、前記ＭＩＰ入力サンプル内の値の数であり、
ｍＷｅｉｇｈｔは、前記カレントブロックのＭＩＰモード識別子及びサイズ識別子に対応するＭＩＰ重み付けマトリクスであり、
ｐｒｅｄＳｉｚｅは、ＭＩＰ予測ブロックのサイズを表し、
ｐＴｅｍｐは、バッファ領域を表す配列である、ことと、
前記カレントブロックのＭＩＰ予測サンプルに対してアップサンプリングプロセスを実行して、前記カレントブロックのイントラ予測サンプル（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］）を生成することと、を含み、
任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｓＷの値はいずれも第１固定値であり、任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｆＯの値はいずれも第２固定値である、方法。

【請求項2】

前記第１固定値は６である、
請求項１に記載の方法。

【請求項3】

前記第２固定値は３２である、
請求項２に記載の方法。

【請求項4】

前記カレントブロックのＭＩＰ予測サンプルは、前記カレントブロックのサンプルの一部の予測値を含む、
請求項１に記載の方法。

【請求項5】

前記予測パラメータは、前記カレントブロックのサイズ識別子（ｍｉｐＳｉｚｅＩｄ）を含む、
請求項１に記載の方法。

【請求項6】

前記方法は、
前記サイズ識別子に基づいて前記隣接サンプルに対してダウンサンプリングプロセスを実行して、前記配列ｐＴｅｍｐを生成することをさらに含む、
請求項５に記載の方法。

【請求項7】

前記方法は、
前記カレントブロックの幅と高さがいずれも４に等しいケースの場合、前記カレントブロックのサイズ識別子は０に等しいと決定すること、
前記カレントブロックの幅と高さがいずれも８に等しいケースの場合、又は前記カレントブロックの幅と高さの一方が４に等しいケースの場合、前記カレントブロックのサイズ識別子は１に等しいと決定すること、
前記カレントブロックの幅と高さが上記のケースでない場合、前記カレントブロックのサイズ識別子は２に等しいと決定すること、をさらに含む、
請求項５に記載の方法。

【請求項8】

前記方法は、
第２定数値及び前記配列ｐＴｅｍｐに基づいて、ＭＩＰ入力サンプル（ｐ［ｘ］）を生成することをさらに含み、前記第２定数値は「１＜＜（ＢｉｔＤｅｐｔｈ－１）」であり、ＢｉｔＤｅｐｔｈは前記カレントブロックのビット深度を示す、
請求項１に記載の方法。

【請求項9】

復号装置であって、解析部と、イントラ予測部と、含み、
前記解析部は、カレントブロックの予測パラメータを決定するように構成され、
前記イントラ予測部は、
前記カレントブロックの隣接サンプル及び前記予測パラメータに基づいて、前記カレントブロックのマトリクスベースのイントラ予測（ＭＩＰ）入力サンプルを決定することと、
前記予測パラメータに基づいて、前記カレントブロックのＭＩＰ重み付けマトリクスを決定することと、
式（Ａ）及び式（Ｂ）を使用して、前記カレントブロックの座標（ｘ、ｙ）を有するＭＩＰ予測サンプル（ｐｒｅｄＭｉｐ［ｘ］［ｙ］）を決定することであって、

【数2】

ｓＷは、数値シフト用パラメータであり、
ｆＯは、オフセットシフト用パラメータであり、
ｐ［ｉ］は、前記ＭＩＰ入力サンプル内のｉ番目の値であり、
ｉｎＳｉｚｅは、前記ＭＩＰ入力サンプル内の値の数であり、
ｍＷｅｉｇｈｔは、前記カレントブロックのＭＩＰモード識別子及びサイズ識別子に対応するＭＩＰ重み付けマトリクスであり、
ｐｒｅｄＳｉｚｅは、ＭＩＰ予測ブロックのサイズを表し、
ｐＴｅｍｐは、バッファ領域を表す配列である、ことと、
前記カレントブロックのＭＩＰ予測サンプルに対してアップサンプリングプロセスを実行して、前記カレントブロックのイントラ予測サンプル（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］）を生成することと、を実行するように構成され、
任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｓＷの値はいずれも第１固定値であり、任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｆＯの値はいずれも第２固定値である、復号装置。

【請求項10】

復号装置であって、
請求項１～８のいずれか一項に記載の方法を実行するように構成される第１プロセッサを含む、復号装置。

【請求項11】

画像を符号化する方法であって、
入力画像を受信して、前記入力画像を１つ又は複数のカレントブロックに分割することと、
カレントブロックの隣接サンプル及び前記カレントブロックの予測パラメータに基づいて、前記カレントブロックのマトリクスベースのイントラ予測（ＭＩＰ）入力サンプルを決定することと、
前記予測パラメータに基づいて、前記カレントブロックのＭＩＰ重み付けマトリクスを決定することと、
式（Ａ）及び式（Ｂ）を使用して、前記カレントブロックの座標（ｘ、ｙ）を有するＭＩＰ予測サンプル（ｐｒｅｄＭｉｐ［ｘ］［ｙ］）を決定することであって、

【数3】

ｓＷは、数値シフト用パラメータであり、
ｆＯは、オフセットシフト用パラメータであり、
ｐ［ｉ］は、前記ＭＩＰ入力サンプル内のｉ番目の値であり、
ｉｎＳｉｚｅは、前記ＭＩＰ入力サンプル内の値の数であり、
ｍＷｅｉｇｈｔは、前記カレントブロックのＭＩＰモード識別子及びサイズ識別子に対応するＭＩＰ重み付けマトリクスであり、
ｐｒｅｄＳｉｚｅは、ＭＩＰ予測ブロックのサイズを表し、
ｐＴｅｍｐは、バッファ領域を表す配列である、ことと、
前記ＭＩＰ予測サンプルに対してアップサンプリングプロセスを実行して、前記カレントブロックのイントラ予測サンプル（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］）を生成することと、を含み、
任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｓＷの値はいずれも第１固定値であり、任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｆＯの値はいずれも第２固定値である、方法。

【請求項12】

前記第１固定値は６である、
請求項１１に記載の方法。

【請求項13】

前記第２固定値は３２である、
請求項１２に記載の方法。

【請求項14】

前記カレントブロックのＭＩＰ予測サンプルは、前記カレントブロックのサンプルの一部の予測値を含む、
請求項１１に記載の方法。

【請求項15】

前記予測パラメータは、前記カレントブロックのサイズ識別子（ｍｉｐＳｉｚｅＩｄ）を含む、
請求項１１に記載の方法。

【請求項16】

前記方法は、
前記サイズ識別子に基づいて前記隣接サンプルに対してダウンサンプリングプロセスを実行して、前記配列ｐＴｅｍｐを生成することをさらに含む、
請求項１５に記載の方法。

【請求項17】

前記方法は、
前記カレントブロックの幅と高さがいずれも４に等しいケースの場合、前記カレントブロックのサイズ識別子は０に等しいと決定すること、
前記カレントブロックの幅と高さがいずれも８に等しいケースの場合、又は前記カレントブロックの幅と高さの一方が４に等しいケースの場合、前記カレントブロックのサイズ識別子は１に等しいと決定すること、
前記カレントブロックの幅と高さが上記のケースでない場合、前記カレントブロックのサイズ識別子は２に等しいと決定すること、をさらに含む、
請求項１５に記載の方法。

【請求項18】

前記方法は、
第２定数値及び前記配列ｐＴｅｍｐに基づいて、ＭＩＰ入力サンプル（ｐ［ｘ］）を生成することをさらに含み、前記第２定数値は「１＜＜（ＢｉｔＤｅｐｔｈ－１）」であり、ＢｉｔＤｅｐｔｈは前記カレントブロックのビット深度を示す、
請求項１１に記載の方法。

【請求項19】

符号化装置であって、分割部と、予測部と、を含み、
前記分割部は、入力画像を受信して、前記入力画像を１つ又は複数のカレントブロックに分割するように構成され、
前記予測部は、
カレントブロックの隣接サンプル及び前記カレントブロックの予測パラメータに基づいて、前記カレントブロックのマトリクスベースのイントラ予測（ＭＩＰ）入力サンプルを決定することと、
前記予測パラメータに基づいて、前記カレントブロックのＭＩＰ重み付けマトリクスを決定することと、
式（Ａ）及び式（Ｂ）使用して、前記カレントブロックの座標（ｘ、ｙ）を有するＭＩＰ予測サンプル（ｐｒｅｄＭｉｐ［ｘ］［ｙ］）を決定することであって、

【数4】

ｓＷは、数値シフト用パラメータであり、
ｆＯは、オフセットシフト用パラメータであり、
ｐ［ｉ］は、前記ＭＩＰ入力サンプル内のｉ番目の値であり、
ｉｎＳｉｚｅは、前記ＭＩＰ入力サンプル内の値の数であり、
ｍＷｅｉｇｈｔは、前記カレントブロックのＭＩＰモード識別子及びサイズ識別子に対応するＭＩＰ重み付けマトリクスであり、
ｐｒｅｄＳｉｚｅは、ＭＩＰ予測ブロックのサイズを表し、
ｐＴｅｍｐは、バッファ領域を表す配列である、ことと、
前記ＭＩＰ予測サンプルに対してアップサンプリングプロセスを実行して、前記カレントブロックのイントラ予測サンプル（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］）を生成することと、を実行するように構成され、
任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｓＷの値はいずれも第１固定値であり、任意のＭＩＰモード識別子と任意のサイズ識別子を有するブロックについて、ｆＯの値はいずれも第２固定値である、符号化装置。

【請求項20】

符号化装置であって、
請求項１１～１８のいずれか一項に記載の方法を実行するように構成される第２プロセッサを含む、符号化装置。

【請求項21】

ビットストリームを記憶するためのコンピュータ可読媒体であって、
前記ビットストリームは、請求項１１～１８のいずれか一項に記載の方法によって生成される、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本出願は、２０１９年１０月４日に出願された米国仮特許出願第６２／９１１，１６６号の利益および優先権を主張し、その全体が参照により本明細書に援用される。

【0002】

本開示は電気通信技術分野に関し、特に静止画やビデオなどの画像の符号化および復号の方法に関する。

【背景技術】

【0003】

Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＶＶＣ）は、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格（Ｈ．２６５／ＨＥＶＣ）などの現在の規格を置き換えるのに使用される、次世代のビデオ圧縮規格である。ＶＶＣ符号化規格は、現在の規格よりも高い符号化品質を与える。この目標を達成するため、様々なイントラ予測モードおよびインター予測モードが検討される。これらの予測モードを使用する場合、ビットストリーム（バイナリ形式）で送信されるデータが削減できるようにビデオを圧縮することができる。マトリクスベースのイントラ予測（ＭＩＰ）はこうしたモードの一つである。ＭＩＰはイントラ予測モードである。ＭＩＰモードで実行する場合、エンコーダまたはデコーダは、現在の符号化ブロック（例えば、ユニットとして送信される、共に符号化および／または復号されうるビットまたは桁の集まり）に基づいてイントラ予測ブロックを導出することができる。しかし、そのような予測ブロックの導出にはかなりの量の計算リソースおよび追加の記憶空間が必要になりうる。それゆえ、この問題に対処する改良された方法は有益で望ましい。

【発明の概要】

【0004】

ＭＩＰプロセスを実行する場合、様々な予測パラメータが決定されて利用される。従来は、これらの予測パラメータの一部は複数のルックアップテーブルにより決定することができる。これらのルックアップテーブルはエンコーダ、および／または、デコーダの構成要素（例えばメモリ、キャッシュなど）に記憶する必要があり、したがって記憶空間を必要とする。さらに、これらのルックアップテーブルへアクセスすることで計算時間および計算リソースが消費される。それゆえ、前述の問題へ対処するために改良された方法、装置、およびシステムを有するのは有益である。

【0005】

本開示は、ＭＩＰプロセスに基づいて画像を予測、符号化、および／または、復号する方法を提供する。ＭＩＰプロセスはカレントブロック（現在のブロック）の予測ブロックを生成することができ、予測ブロックのサイズはカレントブロックのサイズよりも小さい。例えば、「８×８」のカレントブロックは「４×４」の予測ブロックを持つことができる。カレントブロックよりも小さなサイズのＭＩＰ予測ブロックはマトリクス計算を行うことで導出され、より大きなブロックでマトリクス計算を行うよりも消費される計算リソースは少ない。マトリクス計算の後に、ＭＩＰ予測ブロックにアップサンプリングプロセスが適用されて、カレントブロックと同じサイズのイントラ予測ブロックが導出される。例えば、「８×８」のイントラ予測ブロックは、内挿および／または外挿のアップサンプリングプロセスを呼び出すことで「４×４」のＭＩＰ予測ブロックから導出することができる。

【0006】

より詳細には、本方法は、例えば、（ｉ）ビットストリーム内のカレントブロックの予測パラメータを決定することと、（ｉｉ）カレントブロックの隣接サンプルおよび予測パラメータに基づいて、カレントブロックのＭＩＰ入力サンプル（例えば、以下で詳細に論じられる式（Ｐ－１）、（Ｐ－２）および（Ｐ－３）における「ｐ［ｘ］」）を決定することと、（ｉｉｉ）数値シフト用パラメータ（例えば、以下で詳細に論じられる式（Ｂ）における「ｓＷ」）を第１固定値に設定することと、（ｉｖ）オフセットシフト用パラメータ（例えば、以下で詳細に論じられる式（Ｂ）における「ｆＯ」）を第２固定値に設定することと、（ｖ）予測パラメータに基づいてカレントブロックのＭＩＰ重み付けマトリクスを決定することと、（ｖｉ）ＭＩＰ重み付けマトリクス、ＭＩＰ入力サンプル、オフセットシフト用パラメータ「ｆＯ」、および数値シフト用パラメータ（ｓＷ）に基づいてカレントブロックのＭＩＰ予測サンプル（例えば、以下で詳細に論じられる式（Ｃ）における「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」）を決定することと、（ｖｉｉ）イントラ予測サンプル（例えば、以下で詳細に論じられる式（Ｇ）における「ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］」）を生成するためにＭＩＰ予測サンプルに対してアップサンプリングプロセスを行うことと、を含む。

【0007】

理論により制約を受けることは望まないが、数値シフト用パラメータとオフセットシフト用パラメータのいずれかまたは両方を固定値に設定することで、符号化／復号プロセスの精度に大きな影響を与えることなく、全体的な符号化／復号効率が改善される。この取り決めにより、本方法は、ＭＩＰプロセスの実行時に計算時間を著しく短縮し、必要な記憶空間を削減する解決策を提供する。

【0008】

本開示の別の態様は、画像およびビデオの符号化／復号を行うシステムを含む。このシステムは、符号化サブシステム（またはエンコーダ）および復号サブシステム（またはデコーダ）を含みうる。符号化サブシステムは、分割部、第１予測部、およびエントロピー符号化部を含む。分割部は、入力ビデオを受信して、入力ビデオを１つまたは複数の符号化ユニット（ＣＵ）へ分割するように構成される。第１イントラ予測部は、入力ビデオの符号化から導出された予測パラメータに基づいて、各ＣＵに対応する予測ブロックを生成するように構成される。エントロピー符号化部は、予測ブロックを導出するためのパラメータをビットストリームへ変換するように構成される。復号サブシステムは、構文解析部および第２イントラ予測部を含む。構文解析部は、ビットストリームを解析（ｐａｒｓｅ）して数値（例えば、１つまたは複数のＣＵに関連する値）を得るように構成される。第２イントラ予測部は、予測パラメータに基づいて数値を出力ビデオへ変換するように構成される。

【図面の簡単な説明】

【0009】

本開示の実施形態で説明される技術的解決策をより明快にするため、実施形態の説明に使用される図面を簡潔に説明する。明らかに、以下で説明される図面は例証のために過ぎず、制限するためではない。当業者はこれらの図面に基づき、独創的な作業を行うことなく他の図面を得ることができるということを理解されたい。

【0010】

【図1A】本開示の一実施形態に係るシステムの模式図である。

【図1B】本開示の実施形態に係るＭＩＰプロセスを示す模式図である。

【図2】本開示の一実施形態に係る符号化システムの模式図である。

【図3】本開示の実施形態に係るＭＩＰモードを使用したイントラ予測ブロックの導出を示す模式図である。

【図4】本開示の一実施形態に係る復号システムの模式図である。

【図5】本開示の実施形態の方法を示すフローチャートである。

【図6】本開示の実施形態の方法を示すフローチャートである

【図7】本開示の一実施形態に係る装置（例えばエンコーダ）の模式図である。

【図8】本開示の一実施形態に係る装置（例えばエンコーダ）の模式図である。

【図9】本開示の一実施形態に係る装置（例えばデコーダ）の模式図である。

【図10】本開示の一実施形態に係る装置（例えばデコーダ）の模式図である。

【図11】本開示の一実施形態に係る装置（例えばエンコーダ）の模式図である。

【図12】本開示の一実施形態に係る装置（例えばデコーダ）の模式図である。

【図13】本開示の一実施形態に係る通信システムの模式図である。

【発明を実施するための形態】

【0011】

本開示を理解しやすくするため、本開示は添付の図面を参照して以下でより詳細に説明される。

【0012】

図１Ａは、本開示の一実施形態に係るシステム１００の模式図である。システム１００は、画像を符号化、送信、および復号することができる。また、システム１００は一連の画像で構成されるビデオを符号化、送信、および復号するのに適用することができる。より詳細には、システム１００は入力画像を受信し、入力画像を処理して、出力画像を生成することができる。システム１００は符号化装置１００ａおよび復号装置１００ｂを含む。符号化装置１００ａは、分割部１０１、第１イントラ予測部１０３、およびエントロピー符号化部１０５を含む。復号装置１００ｂは、構文解析部１０７および第２イントラ予測部１０９を含む。

【0013】

分割部１０１は、入力ビデオ１０を受信して、入力ビデオ１０を１つまたは複数の符号化ツリーユニット（ＣＴＵ）または符号化ユニット（ＣＵ）１２へ分割するように構成される。１つまたは複数のＣＵ１２は第１イントラ予測部１０３へ送信される。第１イントラ予測部１０３は、ＭＩＰプロセスを行うことで１つまたは複数のＣＵ１２のそれぞれに対する予測ブロックを導出するように構成される。一部の実施形態では、ＭＩＰプロセスは、異なるサイズのＣＵ１２を扱うためにＣＵ１２のサイズに基づいて異なる手法を有する。例えば、１つまたは複数のＣＵ１２の各種類に対して、ＭＩＰプロセスは指定されたＭＩＰサイズ識別子（例えば、０、１、２など）を有する。

【0014】

第１イントラ予測部１０３は、まずＣＵ１２の予測パラメータ（例えば、幅、高さ、サイズなど）を決定する。それに応じて、第１イントラ予測部１０３はＣＵ１２のＭＩＰサイズ識別子を決定することができる。第１イントラ予測部１０３はさらに、ＣＵ１２に対する参照サンプル群を（例えば、図３を参照して詳細に論じられる、上側隣接サンプルや左側隣接サンプルなどのＣＵ１２の隣接サンプルを使って）導出する。そして、第１イントラ予測部１０３は、参照サンプル群および対応するＭＩＰ重み付けマトリクスに基づいてＣＵ１２のＭＩＰ予測を導出する。第１イントラ予測部１０３は、ＭＩＰ予測をＣＵ１２のイントラ予測１４として使用することができる。そしてイントラ予測１４およびイントラ予測１４を導出するための予測パラメータが更なるプロセスのためにエントロピー符号化部１０５へ送信される。

【0015】

エントロピー符号化部１０５は、イントラ予測１４を導出するための予測パラメータをバイナリ形式へ変換するように構成される。これに応じて、エントロピー符号化部１０５はイントラ予測１４に基づいてビットストリーム１６を生成する。一部の実施形態では、ビットストリーム１６は通信ネットワークを介して送信する、またはディスクやサーバに記憶することができる。

【0016】

復号装置１００ｂはビットストリーム１６を入力ビットストリーム１７として受信する。構文解析部１０７は入力ビットストリーム１７（バイナリ形式）を解析し、数値１８へと変換する。数値１８は入力ビデオ１０の特徴（例えば、色、明るさ、濃さなど）を示す。数値１８は第２イントラ予測部１０９へ送信される。そして、第２イントラ予測部１０９はこれらの数値１８を（例えば第１イントラ予測部１０３により行われるものと同様のプロセスに基づいて、関連する実施形態は図４を参照して詳細に論じられる）出力ビデオ１９へ変換することができる。その後、出力ビデオ１９は外部デバイス（例えば記憶装置、送信機など）によって記憶、送信、および／または、描画することができる。記憶されたビデオは、さらに表示装置により表示することができる。

【0017】

図１Ｂは、本開示の実施形態に係るＭＩＰプロセスＳ１００を示す模式図である。ＭＩＰプロセスは４つの主要なステップ、Ｓ１０１、Ｓ１０２、Ｓ１０３、およびＳ１０４を含む。ステップＳ１０１では、ＭＩＰプロセスＳ１００に対する予測パラメータが決定される。予測パラメータは、カレントブロックの種類またはサイズ（例えば、「ｍｉｐＳｉｚｅＩｄ」などのＭＩＰサイズ識別子により示される）、各境界内の参照サンプルの個数（例えば、「ｂｏｕｎｄｙＳｉｚｅ」）、ＭＩＰ入力サンプルの個数（例えば、「ｉｎＳｉｚｅ」）、および、マトリクス乗算により生成されたＭＩＰ予測ブロックの寸法（例えば、「ｐｒｅｄＳｉｚｅ×ｐｒｅｄＳｉｚｅ」）を含む。カレントブロックのサイズに基づき、ＭＩＰサイズ識別子は「０」、「１」、または「２」とすることができて、ＭＩＰサイズ識別子はパラメータ「ｍｉｐＳｉｚｅＩｄ」に記録される。異なるブロックは異なる予測パラメータを持ちうる。

【0018】

ステップＳ１０２では、ＭＩＰプロセスは参照画素を取得する。参照画素は、上側隣接ブロック、および／または、左側隣接ブロックからとすることができる。上側隣接ブロックからの画素がパラメータ「ｒｅｆＴ」として記憶され、左側隣接ブロックからの画素がパラメータ「ｒｅｆＬ」として記憶される。

【0019】

ステップＳ１０３では、ＭＩＰプロセスに対する入力サンプルが決定される。入力サンプルは、３つのサブステップ、Ｓ１０３１、Ｓ１０３２、およびＳ１０３３により決定することができる。サブステップＳ１０３１では、（例えばステップＳ１０２からの）参照画素に基づいて、ダウンサンプリングプロセスが行われて参照サンプルが生成される。サブステップＳ１０３１では、参照サンプリング領域（またはバッファサンプリング領域）が決定される。一部の実施形態では、マトリクス転置プロセスがサブステップＳ１０３２に含まれうる。サブステップＳ１０３３では、マトリクス乗算計算が入力サンプルに基づいて行われる。

【0020】

ステップＳ１０４では、イントラＭＩＰ予測サンプルが生成される。ステップＳ１０４は４つのサブステップ、Ｓ１０４１、Ｓ１０４２、Ｓ１０４３、およびＳ１０４４を含む。サブステップＳ１０４１では、ＭＩＰ予測ブロックがＭＩＰ重み付けマトリクス、オフセットシフト用パラメータ（例えば、「ｆＯ」）、および数値シフト用パラメータ（例えば、「ｓＷ」）に基づいて生成される。本開示では、オフセットシフト用パラメータおよび数値シフト用パラメータは固定値に設定される。サブステップＳ１０４２では、ＭＩＰ予測ブロックに対して補間プロセスが行われる。サブステップＳ１０４３では、ＭＩＰ予測ブロックが転置される。サブステップＳ１０４４では、イントラＭＩＰ予測サンプルが生成される。一部の実施形態では、イントラＭＩＰ予測サンプルは、上側隣接画素からの予測サンプルを考慮することで生成することができる。他の実施形態では、イントラＭＩＰ予測サンプルは、上側隣接画素からの予測サンプルを考慮せずに（例えば、左側隣接画素からの予測サンプルを考慮するだけで）、生成することができる。ＭＩＰプロセスの詳細は、図３および対応する式を参照して以下で論じられる。

【0021】

図２は、本開示の一実施形態に係る符号化システム２００の模式図である。符号化システム２００は、入力画像２０を符号化、圧縮、および／または、処理して、出力ビットストリーム２１をバイナリ形式で生成するように構成される。符号化システム２００は、入力画像２０を１つまたは複数の符号化ツリーユニット（ＣＴＵ）２２へ分割するように構成されている分割部２０１を含む。一部の実施形態では、分割部２０１は画像をスライス、タイル、および／または、ブリックへ分割することができる。ブリックのそれぞれは、１つまたは複数の不可欠なＣＴＵ２２および／もしくは部分的なＣＴＵ２２を含みうる。また、一部の実施形態では、分割部２０１は、それぞれが１つまたは複数のスライス、タイル、もしくはブリックを含みうる、１つまたは複数のサブピクチャを形成することもできる。分割部２０１は、更なるプロセスのためにＣＴＵ２２を予測部２０２へ送信する。

【0022】

予測部２０２は、ＣＴＵ２２のそれぞれに対する予測ブロック２３を生成するように構成される。予測ブロック２３は、１つまたは複数のインター予測方法もしくはイントラ予測方法に基づいて様々な内挿方式および／または外挿方式を使うことで生成することができる。図２に示されるように、予測部２０２は、ブロック分割部２０３、ＭＥ（動き推定）部２０４、ＭＣ（動き補償）部２０５、およびイントラ予測部２０６をさらに含むことができる。ブロック分割部２０３は、ＣＴＵ２２をより小さな符号化ユニット（ＣＵ）または符号化ブロック（ＣＢ）へ分割するように構成される。一部の実施形態では、ＣＵは、四分木分割、二分木分割、三分木分割などの様々な方法によりＣＴＵ２２から生成することができる。ＭＥ部２０４は、入力画像２０に示される物体の動き、または入力画像２０を生成する画像撮影装置の動きによって生じる変化を推定するように構成される。ＭＣ部２０５は、前記の動きによって生じる変化を調整および補償するように構成される。ＭＥ部２０４とＭＣ部２０５のいずれも、ＣＵ（またはＣＵの一部分）の（異なる時点での）インター予測ブロックを導出するように構成される。一部の実施形態では、ＭＥ部２０４およびＭＣ部２０５は、レート歪み最適化された動き推定方法を使用してインター予測ブロックを導出することができる。

【0023】

イントラ予測部２０６は、ＭＩＰモードを含む様々なイントラ予測モードを使ってＣＵ（またはＣＵの一部分）の（同じ時点での）イントラ予測ブロックを導出するように構成される。ＭＩＰモード（以降では「ＭＩＰプロセス」と呼ばれる）を使ったイントラ予測ブロックの導出の詳細は、図１Ｂおよび図３を参照して論じられる。ＭＩＰプロセスの間は、イントラ予測部２０６は、まずＣＵの隣接サンプルから１つまたは複数の参照サンプルを、例えば隣接サンプルを参照サンプルとして直接使う、または隣接サンプルをダウンサンプリングする、または隣接サンプルから直接抽出する（例えば、図３のステップ３０１）ことにより、導出する。

【0024】

第２に、イントラ予測部２０６は、参照サンプル、ＭＩＰマトリクスおよびシフト用パラメータを使って、ＣＵ内の多数のサンプル位置で予測サンプルを導出する。サンプル位置は、ＣＵ内のあらかじめ設定されたサンプル位置とすることができる。例えば、サンプル位置は、ＣＵ内部で奇数の水平座標値および垂直座標値（例えば、ｘ＝１、３、５などで、ｙ＝１、３、５など）を持つ位置とすることができる。シフト用パラメータはオフセットシフト用パラメータおよび数値シフト用パラメータを含み、これらは予測サンプルを生成する際のシフト演算で使用することができる。この取り決めにより、イントラ予測部２０６はＣＵにおいて予測サンプルを生成することができる（すなわち、「ＭＩＰ予測」または「ＭＩＰ予測ブロック」はそのような予測サンプルの一群を指す）（例えば、図３のステップ３０２）。一部の実施形態では、サンプル位置は、ＣＵ内部で偶数の水平座標値および垂直座標値を持つ位置とすることができる。

【0025】

第３に、イントラ予測部２０６はＣＵの残存位置（例えば、それらはサンプル位置ではない）で予測サンプルを導出することができる（例えば、図３のステップ３０３）。一部の実施形態では、イントラ予測部２０６は、補間フィルタを使用して残存位置で予測サンプルを導出することができる。前述のプロセスにより、イントラ予測部２０６はＣＴＵ２２内のＣＵに対して予測ブロック２３を生成することができる。

【0026】

図２を参照すると、予測部２０２は予測ブロック２３を加算器２０７へ出力する。加算器２０７は、分割部２０１の出力（例えば、ＣＴＵ２２内のＣＵ）と予測ブロック２０２の出力（すなわち、ＣＵの予測ブロック２３）の間の差分（例えば、残差Ｒ）を計算する。変換部２０８は残差Ｒを読み出し、予測ブロック２３に対して１つまたは複数の変換演算を行い、さらに後で使用する係数２４を得る。量子化部２０９は係数２４を量子化して量子化された係数２５（例えば、レベル）を逆量子化部２１０へ出力することができる。逆量子化部２１０は量子化された係数２５に対してスケーリング操作を行い、再構成された係数２６を逆変換部２１１へ出力する。逆変換部２１１は、変換部２０８での変換に対応する１つまたは複数の逆変換を行い、再構成された残差２７を出力する。

【0027】

そして、加算器２１２は再構成された残差２７に予測部２０２からのＣＵの予測ブロック２３を加えることで再構成されたＣＵを計算する。また、加算器２１２は、イントラ予測参照として使用されるその出力２８を予測部２０２へ送る。ＣＴＵ２２内のすべてのＣＵが再構成された後、フィルタ処理部２１３は再構成されたピクチャ２９に対してインループフィルタによる処理を実行することができる。フィルタ処理部２１３は１つまたは複数のフィルタ、例えばデブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、適応ループフィルタ（ＡＬＦ）、色差（ｃｈｒｏｍａ）スケーリングを持つ輝度（ｌｕｍａ）マッピング（ＬＭＣＳ）フィルタ、ニューラルネットワークベースフィルタ、および、符号化歪を抑制する、またはピクチャの符号化品質を高める他の適切なフィルタを含む。

【0028】

その後、フィルタ処理部２１３は復号ピクチャ３０（またはサブピクチャ）を復号ピクチャバッファ（ＤＰＢ）２１４へ送信することができる。ＤＰＢ２１４は、制御情報に基づいて復号ピクチャ３１を出力する。また、ＤＰＢ２１４に記憶されたピクチャ３１は予測部２０２によるインター予測またはイントラ予測を行うための参照ピクチャとして用いられることがある。

【0029】

エントロピー符号化部２１５は、ピクチャ３１、符号化システム２００内の各部からのパラメータ、および補足情報（例えば、システム２００を制御する、またはシステム２００と通信するための情報）をバイナリ形式へ変換するように構成される。エントロピー符号化部２１５はそれに応じて出力ビットストリーム２１を生成することができる。

【0030】

一部の実施形態では、符号化システム２００は、プロセッサおよび１つまたは複数の符号化プログラムを有する記憶媒体を備えたコンピュータ装置とすることができる。プロセッサが符号化プログラムを読み出し、実行すると、符号化システム２００は入力画像２０を受信し、それに応じて出力ビットストリーム２１を生成することができる。一部の実施形態では、符号化システム２００は、１つまたはチップを備えたコンピュータ装置とすることができる。符号化システム２００の各部または要素は、チップ上の集積回路として実現することができる。

【0031】

図３は、本開示の実施形態に係るＭＩＰプロセスを示す模式図である。ＭＩＰプロセスはイントラ予測部（例えば、イントラ予測部２０６）によって実施することができる。図３に示されるように、イントラ予測部は予測モジュール３０１およびフィルタ処理モジュール３０２を含みうる。やはり図３に示されるように、ＭＩＰプロセスは３つのステップ３０１、３０２、３０３を含む。ＭＩＰプロセスは、カレントブロックまたは符号化ブロック３００（ＣＵまたはＣＵの複数の区画など）に基づいて予測ブロックを生成することができる。

【0032】

ステップ３０１
ステップ３０１において、イントラ予測部は符号化ブロック３００の隣接サンプル３１、３３を使用して参照サンプル３２、３４を生成することができる。示される実施形態では、隣接サンプル３１は上側隣接サンプルであり、隣接サンプル３３は左側隣接サンプルである。イントラ予測部２０６は隣接サンプル３１、３３のうちの２つのサンプルごとにその値の平均を算出し、この値の平均をそれぞれ参照サンプル３２、３４の値として設定することができる。一部の実施形態では、イントラ予測部２０６は、隣接サンプル３１、３３のうちの各２つのサンプルのうちの１つの値を参照サンプル３２または３４の値として選択することができる。示される実施形態では、イントラ予測部２０６は、符号化ブロック３００の８つの上側隣接サンプル３１から４つの参照サンプル３２を、また符号化ブロック３００の８つの左側隣接サンプル３３から別の４つの参照サンプル３４を導出する。

【0033】

ステップ３０１において、イントラ予測部は符号化ブロック３００の幅および高さを決定し、それらをそれぞれ変数「ｃｂＷｉｄｔｈ」と「ｃｂＨｅｉｇｈｔ」で示す。一部の実施形態では、イントラ予測部２０６はレート歪み最適化されたモード決定プロセスを採用して、イントラ予測モード（例えば、ＭＩＰモードが使用されるかどうか）を決定することができる。そのような実施形態では、符号化ブロック３００を１つまたは複数の変換ブロックへ分割することができて、その幅および高さはそれぞれ変数「ｎＴｂＷ」と「ｎＴｂＨ」で示される。ＭＩＰモードがイントラ予測モードとして使用される場合、イントラ予測部は、以下の条件Ａ～Ｃに基づいてＭＩＰサイズ識別子（変数「ｍｉｐＳｉｚｅＩｄ」で示される）を決定する。
［条件Ａ］「ｎＴｂＷ」と「ｎＴｂＨ」がいずれも４である場合、「ｍｉｐＳｉｚｅＩｄ」を０に設定する。
［条件Ｂ］そうではなく、「ｃｂＷｉｄｔｈ」または「ｃｂＨｅｉｇｈｔ」が４である場合、「ｍｉｐＳｉｚｅＩｄ」を１に設定する。
［条件Ｃ］いずれでもなければ、「ｍｉｐＳｉｚｅＩｄ」を２に設定する。

【0034】

例として、符号化ブロック３００のサイズが「８×８」の場合（すなわち、「ｃｂＷｉｄｔｈ」と「ｃｂＨｅｉｇｈｔ」がいずれも８の場合）、「ｍｉｐＳｉｚｅＩｄ」は２に設定される。別の例として、符号化ブロック３００の変換されるブロックのサイズが「４×４」の場合（すなわち、「ｎＴｂＷ」と「ｎＴｂＨ」がいずれも４である場合）、「ｍｉｐＳｉｚｅＩｄ」は０に設定される。さらに別の例として、符号化ブロック３００のサイズが「４×８」の場合、「ｍｉｐＳｉｚｅＩｄ」は１に設定される。

【0035】

示される実施形態では、３種類の「ｍｉｐＳｉｚｅＩｄ」、つまり「０」、「１」、「２」がある。ＭＩＰサイズ識別子（すなわち、変数「ｍｉｐＳｉｚｅＩｄ」）のそれぞれの種類は、ＭＩＰプロセスを実行する特定の方法に対応する（例えば、異なるＭＩＰマトリクスを使用する）。他の実施形態では、４種類以上のＭＩＰサイズ識別子がありうる。

【0036】

ＭＩＰサイズ識別子に基づいて、イントラ予測部は以下の条件Ｄ～Ｆに基づいて変数（「Ｓｉｚｅ」および「ｐｒｅｄＳｉｚｅ」）を決定することができる。
［条件Ｄ］「ｍｉｐＳｉｚｅＩｄ」が０である場合、「ｂｏｕｎｄａｒｙＳｉｚｅ」を２に、「ｐｒｅｄＳｉｚｅ」を４に設定する。
［条件Ｅ］「ｍｉｐＳｉｚｅＩｄ」が１である場合、「ｂｏｕｎｄａｒｙＳｉｚｅ」を４に、「ｐｒｅｄＳｉｚｅ」を４に設定する。
［条件Ｆ］「ｍｉｐＳｉｚｅＩｄ」が２である場合、「ｂｏｕｎｄａｒｙＳｉｚｅ」を４に、「ｐｒｅｄＳｉｚｅ」を８に設定する。

【0037】

示される実施形態では、「ｂｏｕｎｄａｒｙＳｉｚｅ」は、符号化ブロック３００の上側隣接サンプル３１および左側隣接サンプル３３のそれぞれから導出された参照サンプル３２、３４の個数を表す。変数「ｐｒｅｄＳｉｚｅ」はこの後の計算（すなわち、下記の式（Ｃ））で使用される。

【0038】

また、一部の実施形態では、イントラ予測部は変数「ｉｓＴｒａｎｓｐｏｓｅｄ」を導出して、時間的配列に格納される参照サンプル３２、３４の順序を示すこともできる。例えば、「ｉｓＴｒａｎｓｐｏｓｅｄ」が「０」であることは、イントラ予測部が符号化ブロック３００の上側隣接サンプル３１から導出された参照サンプル３２を左側隣接サンプル３３から導出された参照サンプル３４より前に提示することを示す。あるいは、「ｉｓＴｒａｎｓｐｏｓｅｄ」が「１」であることは、イントラ予測部が符号化ブロック３００の左側隣接サンプル３３から導出された参照サンプル３４を上側隣接サンプル３１から導出された参照サンプル３２より前に提示することを示す。符号化システム２００の実装では、「ｉｓＴｒａｎｓｐｏｓｅｄ」の値は、符号化されビットストリーム（例えば、出力ビットストリーム２１）へ書き込まれるＭＩＰプロセスのパラメータの一つとしてエントロピー符号化部（例えば、エントロピー符号化部２１５）へ送られる。それに応じて、本開示に記載される図４の復号システム４００の実装では、「ｉｓＴｒａｎｓｐｏｓｅｄ」の値は、入力ビットストリーム（出力ビットストリーム２１でありうる）を解析することで構文解析部（例えば、構文解析部４０１）から受信することができる。

【0039】

イントラ予測部はさらに変数「ｉｎＳｉｚｅ」を決定して、ＭＩＰ予測の導出時に使用される参照サンプル３２、３４の個数を示すことができる。「ｉｎＳｉｚｅ」の値は次式（Ａ）により決定される。本開示では、式の中のすべての演算子の意味および演算は、ＩＴＵ－Ｔ Ｈ．２６５標準で規定される、対応する演算子と同一である。

【0040】

inSize = (2 * boundarySize) － (mipSizeId = = 2) ? 1:0; （Ａ）
例えば、「＝＝」は比較演算子で、「に等しい」である。例えば、「ｍｉｐＳｉｚｅＩｄ」が２である場合、「ｉｎＳｉｚｅ」は７である（（２×４）－１により算出される）。例えば、「ｍｉｐＳｉｚｅＩｄ」が１である場合、「ｉｎＳｉｚｅ」は８である（（２×４）－０により算出される）。一部の実施形態では、パラメータ「ｉｎＳｉｚｅ」は、以下のＳｉｚｅ－Ｉｄ表で見つけることができる。

【0041】

【表1】

【0042】

イントラ予測部は以下のプロセスを呼び出して、配列ｐ［ｘ］（「ｘ」は「０」から「ｉｎＳｉｚｅ－１」）に格納される参照サンプル群３２、３４を導出することができる。イントラ予測部は、符号化ブロック３００の上側隣接サンプル３１から「ｎＴｂＷ」サンプルを導出（および配列「ｒｅｆＴ」にそれらを格納）することができて、また符号化ブロック３００の左側隣接サンプル３３から「ｎＴｂＨ」サンプルを導出（および配列「ｒｅｆＬ」にそれらを格納）することができる。

【0043】

イントラ予測部は「ｒｅｆＴ」上のダウンサンプリングプロセスに対して頭文字を記し、「ｂｏｕｎｄａｒｙＳｉｚｅ」サンプルを得て、「ｒｅｆＴ」に「ｂｏｕｎｄａｒｙＳｉｚｅサンプル」を格納することができる。イントラ予測部２０６は「ｒｅｆＬ」に対してダウンサンプリングプロセスを開始し、「ｂｏｕｎｄａｒｙＳｉｚｅ」サンプルを得て、「ｒｅｆＬ」に「ｂｏｕｎｄａｒｙＳｉｚｅ」サンプルを格納することができる。

【0044】

一部の実施形態では、イントラ予測部は、変数「ｉｓＴｒａｎｓｐｏｓｅｄ」により示される順序に基づいて配列「ｒｅｆＴ」および「ｒｅｆＬ」を単一の配列「ｐＴｅｍｐ」へ組み込むことができる。イントラ予測部は「ｉｓＴｒａｎｓｐｏｓｅｄ」を導出して、時間的配列「ｐＴｅｍｐ」に格納される参照サンプルの順序を示すことができる。例えば、「ｉｓＴｒａｎｓｐｏｓｅｄ」が「０」（またはＦＡＬＳＥ）であることは、イントラ予測部が符号化ブロック３００の上側隣接サンプル３１から導出された参照サンプル３２を左側隣接サンプル３３から導出された参照サンプル３４より前に提示することを示す。別の場合では、「ｉｓＴｒａｎｓｐｏｓｅｄ」が「１」（またはＴＲＵＥ）であることは、イントラ予測部が符号化ブロック３００の左側隣接サンプル３３から導出された参照サンプル３４を上側隣接サンプル３１から導出された参照サンプル３２より前に提示することを示す。一部の実施形態では、符号化システム２００の実装において、イントラ予測部はレート歪み最適方法を使うことで「ｉｓＴｒａｎｓｐｏｓｅｄ」の値を決定することができる。一部の実施形態では、符号化システム２００の実装において、イントラ予測部は隣接サンプル３２、３４と符号化ブロック３００の間の比較および／または相関に基づいて「ｉｓＴｒａｎｓｐｏｓｅｄ」の値を決定することができる。符号化システム２００の実装では、「ｉｓＴｒａｎｓｐｏｓｅｄ」の値は、ビットストリーム（例えば、出力ビットストリーム２１）へ書き込まれるＭＩＰプロセスのパラメータの一つとしてエントロピー符号化部（例えば、エントロピー符号化部２１５）へ送ることができる。それに応じて、本開示に記載される図４の復号システム４００の実装では、「ｉｓＴｒａｎｓｐｏｓｅｄ」の値は、入力ビットストリーム（出力ビットストリーム２１でありうる）を解析することで構文解析部（例えば、構文解析部４０１）から受信することができる。

【0045】

一部の実施形態では、パラメータ「ｍｉｐＳｉｚｅＩｄ」は、カレントブロックの選択されたサイズパラメータが所定の範囲内であるかどうかを判定するのに使用することができる。より詳細には、「０」または「１」に等しい「ｍｉｐＳｉｚｅＩｄ」は、選択されたサイズパラメータが所定の範囲内であることを意味する。「ｍｉｐＳｉｚｅＩｄ」が「２」に等しい場合は、選択されたサイズパラメータが所定の範囲内ではないことを意味する。すなわち、ＭＩＰ入力サンプルは、以下でより詳細に論じられるように、バッファ領域（例えば、「ｐＴｅｍｐ」）、ＭＩＰサイズ識別子（例えば、「ｍｉｐＳｉｚｅＩｄ」）、隣接サンプルのビット深度（例えば、「ＢｉｔＤｅｐｔｈ」）に基づいて決定することができる。

【0046】

イントラ予測部は、以下の条件ＧおよびＨに基づいて配列「ｐ［ｘ］」（ｘは「０」から「ｉｎＳｉｚｅ－１」）を決定することができる。
［条件Ｇ］「ｍｉｐＳｉｚｅＩｄ」が２である場合、ｐ［ｘ］＝ｐＴｅｍｐ［ｘ＋１］－ｐＴｅｍｐ［０］。
［条件Ｈ］そうでなければ（例えば、「ｍｉｐＳｉｚｅＩｄ」が２未満）、ｐ［０］＝ｐＴｅｍｐ［０］－（１＜＜（ＢｉｔＤｅｐｔｈ－１））およびｐ［ｘ］＝ｐＴｅｍｐ［ｘ］－ｐＴｅｍｐ［０］（ｘが１から「ｉｎＳｉｚｅ－１」に対して）。

【0047】

上記の条件Ｈでは、「ＢｉｔＤｅｐｔｈ」は符号化ブロック３００内のサンプルの色成分（例えば、Ｙ成分）のビット深度である。記号「＜＜」は、ＩＴＵ－Ｔ Ｈ．２６５標準で使用されるビットシフト演算記号である。

【0048】

あるいは、イントラ予測部は、以下の条件ＩおよびＪに基づいて配列ｐ［ｘ］（ｘが「０」から「ｉｎＳｉｚｅ－１」に対して）を導出することができる。
［条件Ｉ］「ｍｉｐＳｉｚｅＩｄ」が２である場合、ｐ［ｘ］＝ｐＴｅｍｐ［ｘ＋１］－ｐＴｅｍｐ［０］。
［条件Ｊ］そうでなければ（例えば、「ｍｉｐＳｉｚｅＩｄ」が２未満）、ｐ［０］＝（１＜＜（ＢｉｔＤｅｐｔｈ－１））－ｐＴｅｍｐ［０］およびｐ［ｘ］＝ｐＴｅｍｐ［ｘ］－ｐＴｅｍｐ［０］（ｘが１から「ｉｎＳｉｚｅ－１」に対して）。

【0049】

一部の実施形態では、イントラ予測部は、「ｍｉｐＳｉｚｅＩｄ」の値を判定することなく、統一された計算方法を使うことで配列ｐ［ｘ］の値を決定することができる。例えば、イントラ予測部は、「（１＜＜（ＢｉｔＤｅｐｔｈ－１））」を「ｐＴｅｍｐ」内に追加の要素として付加することができて、ｐ［ｘ］を「ｐＴｅｍｐ［ｘ］－ｐＴｅｍｐ［０］」として計算することができる。

【0050】

一部の実施形態では、パラメータ「（１＜＜（ＢｉｔＤｅｐｔｈ－１））」は定数とすることができる。一部の実施形態では、パラメータ「（１＜＜（ＢｉｔＤｅｐｔｈ－１））」は「２＾（ＢｉｔＤｅｐｔｈ－１）」と示すことができる。それに応じて、パラメータ「ｐ［０］」および「ｐ［ｘ］」は以下の式Ｐ－１、Ｐ－２、およびＰ－３に基づいて計算することができる。

【0051】

【数1】

【数2】

【数3】

【0052】

式Ｐ－１およびＰ－２は、「ｍｉｐＳｉｚｅＩｄ」が「０」または「１」に等しい場合に当てはまり、選択されたサイズパラメータが所定の範囲内であることを意味する。カレントブロックの選択されたサイズパラメータが所定の範囲内であると判定した後に、「１＜＜（ＢｉｔＤｅｐｔｈ－１）」を決定することができる。そして、「１＜＜（ＢｉｔＤｅｐｔｈ－１）」と「ｐＴｅｍｐ［０］」の間の差分を決定することができる。差分はｐ［０］に設定される。そしてｐ［ｘ］を上記の式Ｐ－１およびＰ－２に基づいて計算することができる。

【0053】

式Ｐ－３は、「ｍｉｐＳｉｚｅＩｄ」が「２」に等しい場合に当てはまり、選択されたサイズパラメータが所定の範囲内ではないことを意味する。カレントブロックが４×４のブロックであると仮定し、これは、バッファ領域「ｐＴｅｍｐ」に４つの値があることを意味する。これらの４つの値は、ｐＴｅｍｐ［０］、ｐＴｅｍｐ［１］、ｐＴｅｍｐ［２］、ｐＴｅｍｐ［３］である。上記の式Ｐ－３およびこれらの４つの値に基づいて、配列「ｐ［ｘ］」を決定することができる。配列「ｐ［ｘ］」内の値はＭＩＰ入力サンプルと呼ばれることがある。

【0054】

ステップ３０２
ステップ３０２において、イントラ予測部（または予測モジュール３０１）は、参照サンプル群３２、３４およびＭＩＰマトリクスを使うことで符号化ブロック３００のＭＩＰ予測を導出する。ＭＩＰマトリクスは、その対応するＭＩＰモード識別子（すなわち、変数「ｍｉｐＭｏｄｅＩｄ」）およびＭＩＰサイズ識別子（すなわち、変数「ｍｉｐＳｉｚｅＩｄ」）に基づいて、あらかじめ規定されたＭＩＰマトリクスの一群から選択される。

【0055】

イントラ予測部により導出されたＭＩＰ予測は、符号化ブロック３００内のすべて、または一部のサンプル位置の部分的予測サンプル３５を含む。ＭＩＰ予測は「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」と表される。

【0056】

図３に示される実施形態では、部分的予測サンプル３５は、カレントブロック３００内でグレーの四角で表示されるサンプルである。ステップ３０１で導出された、配列「ｐ［ｘ］」内の参照サンプル３２、３４は予測モジュール３０１への入力として使用される。予測モジュール３０１は、ＭＩＰマトリクスおよびシフト用パラメータを使うことで部分的予測サンプル３５を計算する。シフト用パラメータは、オフセットシフト用パラメータ（「ｆＯ」）および数値シフト用パラメータ（「ｓＷ」）を含む。
一部の実施形態では、予測モジュール３０１は次式（Ｂ）および（Ｃ）に基づいて、座標（ｘ、ｙ）を有する部分的予測サンプル３５を導出する。

【0057】

【数4】

【0058】

【数5】

【0059】

上記の式（Ｂ）で、パラメータ「ｆＯ」はパラメータ「ｏＷ」またはオフセット値を決定するのに使用される、オフセットシフト用パラメータである。パラメータ「ｓＷ」は数値シフト用パラメータである。「ｐ［ｉ］」は参照サンプルである。記号「＞＞」は、Ｈ．２６５標準で規定されるバイナリ右シフト演算子である。

【0060】

上記の式（Ｃ）で、「ｍＷｅｉｇｈｔ［ｉ］［ｊ］」はＭＩＰ重み付けマトリクスであり、マトリクス要素は符号化および復号のいずれでも固定定数である。あるいは、一部の実施形態では、符号化システム２００の実装で適応ＭＩＰマトリクスを使用する。例えば、ＭＩＰ重み付けマトリクスは、１つまたは複数の符号化ピクチャを入力として使って、または外部手段により符号化システム２００へ供給される画像を使って、様々な訓練方法により更新することができる。イントラ予測部は、ＭＩＰモードが決定された場合に「ｍＷｅｉｇｈｔ［ｉ］［ｊ］」をエントロピー符号化部（例えば、エントロピー符号化部２１５）へ送ることができる。その後、エントロピー符号化部はビットストリーム内、例えば、ＭＩＰデータを含むビットストリーム内の１つまたは複数の特別データユニット内に「ｍＷｅｉｇｈｔ［ｉ］［ｊ］」を書き込むことができる。それに応じて、一部の実施形態では、適応ＭＩＰマトリクスを用いた復号システム４００の実装は、例えば、１つまたは複数の符号化ピクチャもしくはブロック、または外的意味により供給される、もしくは構文解析部４０１がＭＩＰマトリクスデータを含む入力ビットストリーム内の特別データユニットを解析することで得られる他のビットストリームからのピクチャを入力する訓練方法を使ってＭＩＰマトリクスを更新することができる。

【0061】

予測部３０１は、カレントブロック３００のサイズおよびカレントブロック３００に対して使用されるＭＩＰモードに基づいて「ｓＷ」および「ｆＯ」の値を決定することができる。一部の実施形態では、予測部３０１はルックアップテーブルを使うことで「ｓＷ」および「ｆＯ」の値を得ることができる。例えば、以下の表１を使用して「ｓＷ」を決定することができる。

【0062】

【表2】

【0063】

一部の実施形態では、数値シフト用パラメータ「ｓＷ」は、５や６などの第１固定値に設定することができる。そのような実施形態では、数値シフト用パラメータ「ｓＷ」の値を調べるのに上記の表１を使用する必要はない。例えば、「ｍｉｐＳｉｚｅＩｄ」が「０」または「２」に等しい場合、数値シフト用パラメータ「ｓＷ」は「５」に設定することができる。別の例として、「ｍｉｐＳｉｚｅＩｄ」が「２」に等しい場合、数値シフト用パラメータ「ｓＷ」は「５」に設定することができる。以下の表２は、数値シフト用パラメータ「ｓＷ」の異なる設定を示す。一部の実施形態では、数値シフト用パラメータ「ｓＷ」は、予測モジュール３０１により設定することができる。

【0064】

【表3】

【0065】

一部の実施形態では、予測モジュールは「ｓＷ」を定数に設定することができる。例えば、予測モジュールは、異なるＭＩＰモードを有する様々なサイズのブロックに対して「ｓＷ」を「５」に設定することができる。別の例として、予測モジュール３０１は、異なるＭＩＰモードを有する様々なサイズのブロックに対して「ｓＷ」を「６」に設定することができる。さらに別の例として、予測モジュールは、異なるＭＩＰモードを有する様々なサイズのブロックに対して「ｓＷ」を「７」に設定することができる。

【0066】

一部の実施形態では、予測部３０１は、以下の表３を使用してオフセットシフト用パラメータ「ｆＯ」を決定することができる。

【0067】

【表4】

【0068】

一部の実施形態では、オフセットシフト用パラメータ「ｆＯ」は、２３、３２、４６、５６、６６などの第２固定値に設定することができる。第２固定値は１～１００の好ましい範囲を有する。そのような実施形態では、オフセットシフト用パラメータ「ｆＯ」の値を調べるのに上記の表３を使用する必要はない。一部の実施形態では、オフセットシフト用パラメータ「ｆＯ」はパラメータ「ｍｉｐＳｉｚｅＩｄ」に基づいて設定することができる。例えば、「ｍｉｐＳｉｚｅＩｄ」が「０」に等しい場合、オフセットシフト用パラメータ「ｆＯ」は「３４」に設定することができる。別の例として、「ｍｉｐＳｉｚｅＩｄ」が「１」に等しい場合、オフセットシフト用パラメータ「ｆＯ」は「２３」に設定することができる。さらに別の例として、「ｍｉｐＳｉｚｅＩｄ」が「１」に等しい場合、オフセットシフト用パラメータ「ｆＯ」は「４６」に設定することができる。以下の表４は、オフセットシフト用パラメータ「ｆＯ」の異なる設定を示す。一部の実施形態では、オフセットシフト用パラメータ「ｆＯ」は、予測モジュール３０１により設定することができる。

【0069】

【表5】

【0070】

上記の式（Ｂ）を参照すると、数値シフト用パラメータ「ｓＷ」およびオフセットシフト用パラメータ「ｆＯ」が固定値に設定される場合、パラメータ「ｏＷ」も定数とすることができて、これによりＭＩＰプロセス全体の計算速度が向上する。

【0071】

一部の実施形態では、イントラ予測部は、配列「ｐｒｅｄＭｉｐ」に格納されたＭＩＰ予測サンプルの値に対して「クリッピング操作を実行することができる。「ｉｓＴｒａｎｓｐｏｓｅｄ」が１（またはＴＲＵＥ）の場合、「ｐｒｅｄＳｉｚｅ×ｐｒｅＳｉｚｅ」の配列「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」（０から「ｐｒｅｄＳｉｚｅ－１」のｘに対して、０から「ｐｒｅｄＳｉｚｅ－１」のｙに対して）は、「ｐｒｅｄＴｅｍｐ［ｙ］［ｘ］＝ｐｒｅｄＭｉｐ［ｘ］［ｙ］」と転置されて、「ｐｒｅｄＭｉｐ＝ｐｒｅｄＴｅｍｐ」となる。

【0072】

より詳細には、符号化ブロック３０３のサイズが「８×８」（すなわち、「ｃｂＷｉｄｔｈ」と「ｃｂＨｅｉｇｈｔ」がいずれも８）である場合、イントラ予測部は「８×８」の「ｐｒｅｄＭｉｐ」配列を導出することができる。

【0073】

ステップ３０３
図３のステップ３０３において、イントラ予測部は、符号化ブロック３００内の部分的サンプル３５以外の残存サンプルの予測サンプル３７を導出する。図３に示されるように、イントラ予測部は、フィルタ処理モジュール３０２を使用して符号化ブロック３００内の部分的サンプル３５以外の残存サンプルの予測サンプル３７を導出することができる。フィルタ処理モジュール３０２への入力は、ステップ３０２における部分的サンプル３５とすることができる。フィルタ処理モジュール３０２は、１つまたは複数の補間フィルタを使用して符号化ブロック３００内の部分的サンプル３５以外の残存サンプルの予測サンプル３７を導出することができる。イントラ予測部（またはフィルタ処理モジュール３０２）は符号化ブロック３００の予測（多数の予測サンプル３７を含む）を生成することができて、以下の条件ＫおよびＬに基づいて配列「ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］」（０から「ｎＴｂＷ－１」のｘに対して、０から「ｎＴｂＨ－１」のｙに対して）内に予測３７を格納することができる。

【0074】

［条件Ｋ］イントラ予測部が「ｎＴｂＷ」が「ｐｒｅｄＳｉｚｅ」より大きい、または「ｎＴｂＨ」が「ｐｒｅｄＳｉｚｅ」より大きいと判定した場合、イントラ予測部はアップサンプリングプロセスを開始し、「ｐｒｅｄＭｉｐ」に基づいて「ｐｒｅｄＳａｍｐｌｅｓ」を導出する。

【0075】

［条件Ｌ］そうでなければ、イントラ予測部は符号化ブロック３００の予測を符号化ブロックのＭＩＰ予測に設定する。

【0076】

すなわち、イントラ予測部は「ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］」（０から「ｎＴｂＷ－１」のｘに対して、０から「ｎＴｂＨ－１」のｙに対して）を「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」に等しいと設定することができる。例えば、イントラ予測部は、そのサイズが「８×８」に等しい（すなわち、「ｃｂＷｉｄｔｈ」と「ｃｂＨｅｉｇｈｔ」がいずれも８である）符号化ブロックに対する「ｐｒｅｄＳａｍｐｌｅｓ」をその「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」に設定することができる。

【0077】

ステップ３０１～３０３を通じて、イントラ予測部はカレントブロック３００の予測を生成することができる。生成された予測は更なるプロセス（例えば、図２を参照して上述された予測ブロック２３）で使用することができる。

【0078】

図４は、本開示の一実施形態に係る復号システム４００の模式図である。復号システム４００は、入力ビットストリーム４０を受信、処理して出力ビデオ４１へ変換するように構成される。入力ビットストリーム４０は、圧縮／符号化されたピクチャ／ビデオを表すビットストリームでありうる。一部の実施形態では、入力ビットストリーム４０は、符号化システム（符号化システム２００など）により生成された出力ビットストリーム（例えば、出力ビットストリーム２１）からでありうる。

【0079】

復号システム４００は、入力ビットストリーム４０を解析してそのシンタックス要素の値を得るように構成されている構文解析部４０１を含む。また、構文解析部４０１はシンタックス要素の二進表現を数値（すなわち、復号ブロック４２）へ変換して、（例えば、復号のために）この数値を予測部４０２へ送る。一部の実施形態では、構文解析部４０１は、数値を復号するための１つまたは複数の変数および／もしくはパラメータを予測部４０２へ送ることもできる。

【0080】

予測部４０２は、復号ブロック４２（例えば、ＣＵまたは変換ブロックなどのＣＵの一部分の予測ブロック４３）を決定するように構成される。復号ブロック４２を復号するのにインター符号化モードが使用されたと示される場合、予測部４０２のＭＣ（動き補償）部４０３は、関連するパラメータを構文解析部４０１から受信し、それに応じてインター符号化モードで復号を行うことができる。復号ブロック４２を復号するのにイントラ予測モード（例えば、ＭＩＰモード）が使用されると示される場合、予測部４０２のイントラ予測部４０４は、関連するパラメータを構文解析部４０１から受信し、それに応じてイントラ符号化モードで復号を行うことができる。一部の実施形態では、イントラ予測モード（例えば、ＭＩＰモード）は、入力ビットストリーム４０内に埋め込まれている特定のフラグ（例えば、ＭＩＰフラグ）により識別することができる。

【0081】

例えば、ＭＩＰモードが特定された場合、イントラ予測部４０４は（図３で説明されたステップ３０１～３０３と同様の）以下の方法に基づいて予測ブロック４３（多数の予測サンプルを含む）を決定することができる。

【0082】

まず、イントラ予測部４０４は復号ブロック４２の隣接サンプルから１つまたは複数の参照サンプルを導出する（図３のステップ３０１と同様）。例えば、イントラ予測部４０４は、隣接サンプルのダウンサンプリングを行うことで、または隣接サンプルから一部分を直接抽出することで、参照サンプルを生成することができる。

【0083】

そして、イントラ予測部４０４は、参照サンプル、ＭＩＰマトリクス、およびシフト用パラメータを使って復号ブロック４２内の部分的予測サンプルを導出することができる（図３のステップ３０２と同様）。一部の実施形態では、部分的予測サンプルの位置は復号クロック４２内であらかじめ設定することができる。例えば、部分的予測サンプルの位置を、符号化ブロック内で奇数の水平座標値および垂直座標値を持つ位置とすることができる。シフト用パラメータはオフセットシフト用パラメータおよび数値シフト用パラメータを含むことができて、これらは部分的予測サンプルを生成する際のシフト演算で使用することができる。

【0084】

最終的に、復号ブロック４２の部分的予測サンプルが導出されたら、イントラ予測部４０４は、復号ブロック４２内の部分的予測サンプル以外の残存サンプルの予測サンプルを導出する（図３のステップ３０３と同様）。例えば、イントラ予測部４０４は補間フィルタを使用して、部分的予測サンプルおよび隣接サンプルを補間フィルタの入力として使うことで、予測サンプルを導出することができる。

【0085】

復号システム４００は、符号化システム２００の逆量子化部２１０の機能と同様の機能を有するスケーリング部４０５を含む。スケーリング部４０５は、再構成された係数４５を生成するために構文解析部４０１からの量子化された係数４４（例えば、レベル）に対してスケーリング操作を行う。

【0086】

変換部４０６は、符号化システム２００の逆変換部２１１の機能と同様の機能を有する。変換部４０６は１つまたは複数の変換演算（例えば、逆変換部２１１による１つまたは複数の変換演算の逆演算）を行って、再構成された残差４６を得る。

【0087】

加算器４０７は予測部４０２からの予測ブロック４３と変換部４０６からの再構成された残差４６を加算し、復号ブロック４２の再構成されたブロック４７を得る。また、再構成されたブロック４７は予測部４０２へ送信されて、（例えば、イントラ予測モードで符号化された他のブロックに対する）参照として使用される。

【0088】

ピクチャまたはサブピクチャ内のすべての復号ブロック４２が再構成された（すなわち、再構成されたブロック４８が形成された）後に、フィルタ処理部４０８は再構成されたブロック４９に対してインループフィルタ処理を行うことができる。フィルタ処理部４０８は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、適応ループフィルタ（ＡＬＦ）、色差スケーリングを持つ輝度マッピング（ＬＭＣＳ）フィルタ、ニューラルネットワークベースフィルタなどの１つまたは複数のフィルタを含む。一部の実施形態では、フィルタ処理部４０８は、再構成されたブロック４８内の１つまたは複数の標的画素のみに対してインループフィルタ処理を実行することができる。

【0089】

そして、フィルタ処理部４０８は復号ピクチャ４９（もしくはピクチャ）またはサブピクチャをＤＰＢ（復号ピクチャバッファ）４０９へ送信する。ＤＰＢ４０９は、タイミングおよび制御情報に基づいて復号ピクチャを出力ビデオ４１として出力する。また、ＤＰＢ４０９に記憶された復号ピクチャ４９は、インター予測またはイントラ予測を行う際に予測部４０２により参照ピクチャとして用いることができる。

【0090】

一部の実施形態では、復号システム４００は、プロセッサおよび１つまたは複数の復号プログラムを記録した記憶媒体を備えたコンピュータ装置とすることができる。プロセッサが復号プログラムを読み出し、実行すると、復号システム４００は入力ビデオビットストリームを受信し、対応する復号ビデオを生成することができる。

【0091】

一部の実施形態では、復号システム４００は、１つまたは複数のチップを備えたコンピュータ装置とすることができる。復号システム４００の各部または要素は、チップ上の集積回路として実現することができる。

【0092】

図５は、本開示の一実施形態に係る方法５００を示すフローチャートである。方法５００はブロック５０１でカレントブロックの予測パラメータを決定することで始まる。一部の実施形態では、予測パラメータは予測用のパラメータ（例えば、Ｈ．２６５標準で規定される「ｐｒｅｄＭｏｄｅＩｎｔｒａ」）およびサイズ識別子（例えば、「ｍｉｐＳｉｚｅＩｄ」）を含む。ブロック５０２で、ＭＩＰモードが適用可能であることを予測パラメータが示す場合、方法５００は隣接サンプルに基づいてＭＩＰ入力サンプル（例えば、配列「ｐ［ｘ］」内の値）の決定を続ける。一部の実施形態では、隣接サンプルは上側隣接サンプル、および／または、左側隣接サンプルを含むことができる。

【0093】

ブロック５０３で、方法５００は、オフセットシフト用パラメータ（ｆＯ）と、ＭＩＰ入力サンプリングの合計との積の決定を続ける。上記の式（Ｂ）に示されるように、ＭＩＰ入力サンプリングの合計は

【0094】

【数6】

とすることができて、それゆえ積は、

【0095】

【数7】

とすることができる。

【0096】

ブロック５０３で、方法５００は数値シフト用パラメータ（ｓＷ）に基づいて第１定数の決定を続ける。上記の式（Ｂ）に示されるように、第１定数は「１＜＜（ｓＷ－１）」とすることができる。ブロック５０４で、方法５００は第１定数および積を乗算することでオフセット値（ｏＷ）の決定を続ける。上記の式（Ｂ）に示されるように、第１オフセット値（ｏＷ）は

【数8】

とすることができる。

【0097】

ブロック５０５で、方法５００は予測パラメータに基づいてＭＩＰ重み付けマトリクスを決定する。上記の式（Ｂ）で、ＭＩＰ重み付けマトリクスはマトリクス「ｍＷｅｉｇｈｔ」である。一部の実施形態では、ＭＩＰ重み付けマトリクスは、機械学習（ＭＬ）または人工知能（ＡＩ）を含む訓練プロセスなどの様々な方法に基づいて生成することができる。

【0098】

ブロック５０７で、方法５００はＭＩＰ重み付けマトリクス、数値シフト用パラメータ（ｓＷ）およびオフセット値（ｏＷ）に基づいてＭＩＰ予測の決定を続ける。ＭＩＰ予測は、上記の式（Ｃ）に示されるマトリクス「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」とすることができる。一部の実施形態では、ＭＩＰ予測は、上記の式（Ｃ）で説明されたように決定することができる。一部の実施形態では、ＭＩＰ予測は、以下の式（Ｄ）に基づいて決定することができる。

【0099】

【数9】

【0100】

上記の式（Ｄ）で、「［ｘ］［ｙ］」は画素の場所の座標である。「ｘ」はＭＩＰ予測マトリクスの水平方向用であり、「ｙ」はＭＩＰ予測マトリクスの垂直方向用である。パラメータ「ｉｎｃＨ」、「ｐｒｅｄＣ」、「ｉｎｃＷ」はＭＩＰ重み付けマトリクスからマトリクス値を得るためのパラメータである。式（Ｄ）内の他のパラメータは、式（Ｃ）を参照しながら上述された。

【0101】

一部の実施形態では、オフセットシフト用パラメータ（ｆＯ）は「３２」に設定することができて、数値シフト用パラメータ（ｓＷ）は６に設定することができる。そのような実施形態では、ＭＩＰ予測マトリクスは、以下の式（Ｅ）および（Ｆ）に基づいて決定することができる。

【0102】

【数10】

【0103】

【数11】

【0104】

ブロック５０８で、方法５００はＭＩＰ予測マトリクスに基づきフィルタ処理プロセスによりカレントブロックのイントラ予測を生成する。ＭＩＰ予測マトリクスのサイズがカレントブロックのサイズと同じ場合、方法５００はＭＩＰ予測マトリクス内の値を、以下の式（Ｇ）に示すように、ＭＩＰイントラ予測サンプル（例えば、「ｐｒｅＳａｍｐｌｅｓ［ｘ］［ｙ］」）としてカレントブロックに設定することができる。そうではない場合、方法５００はフィルタ処理プロセスを実行して、ＭＩＰ予測マトリクスのサイズを調整することができる。一部の実施形態では、フィルタ処理プロセスはアップサンプリングプロセスまたはローパスフィルタ処理プロセスとすることができる。アップサンプリングプロセスの実施例は、図３（例えば、ステップ３０３）を参照して上で詳細に論じられる。predSamples[x][y]=predMip[x][y] (G)

【0105】

図６は、本開示の一実施形態に係る方法６００を示すフローチャートである。方法６００はブロック６０１でビットストリーム内のカレントブロックの予測パラメータを決定することで始まる。一部の実施形態では、予測パラメータは、Ｈ．２６５標準で規定される「ｐｒｅｄＭｏｄｅＩｎｔｒａ」および「ｍｉｐＳｉｚｅＩｄ」を含むことができる。

【0106】

ブロック６０２で、方法６００は、カレントブロックの隣接サンプルおよび予測パラメータに基づいてカレントブロックのマトリクスベースのイントラ予測（ＭＩＰ）入力サンプルを決定して継続する。一部の実施形態では、ＭＩＰ入力サンプルは配列「ｐ［ｘ］」内の値とすることができる。一部の実施形態では、隣接サンプルは左側隣接サンプル、および／または、上側隣接サンプルを含む。

【0107】

ＭＩＰ入力サンプルの決定の実施形態は、図３（例えば、ステップ３０１）を参照して上述される。例えば、方法６００は、隣接サンプルにダウンサンプリングプロセスを行って、サイズ識別子に基づいて一時的参照配列（ｐＴｅｍｐ［ｘ］）を生成することを含みうる。

【0108】

ブロック６０３で、方法６００は数値シフト用パラメータ（ｓＷ）を第１固定値に設定して継続する。一部の実施形態では、第１固定値は５または６とすることができる。ブロック６０４で、方法６００はオフセットシフト用パラメータ（ｆＯ）を第２固定値に設定して継続する。一部の実施形態では、第２固定値は２３、３４、または４６とすることができる。

【0109】

第１固定値および第２固定値が設定されると、第１定数「１＜＜（ｓＷ－１）」を決定することができる。オフセット値（ｏＷ）も算出することができる（例えば、式（Ｂ））。

【0110】

ブロック６０５で、方法６００は予測パラメータに基づいてカレントブロックのＭＩＰ重み付けマトリクスを決定して継続する。ＭＩＰ重み付けマトリクスの実施例は、図３（例えば、ステップ３０２）を参照して上述される。

【0111】

ブロック６０６で、方法６００は、ＭＩＰ重み付けマトリクス、ＭＩＰ入力サンプル、オフセットシフト用パラメータ（ｆＯ）、および数値シフト用パラメータ（ｓＷ）に基づいてカレントブロックのＭＩＰ予測サンプル（例えば、配列「ｐｒｅｄＭｉｐ［ｘ］［ｙ］」内の値）を決定して継続する。ＭＩＰ予測サンプルの実施例は、式（Ｃ）、（Ｄ）、（Ｅ）、および（Ｆ）を参照して上で詳細に論じられる。

【0112】

ブロック６０７で、方法６００は、カレントブロックのイントラ予測サンプル（例えば、「ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］」）を生成するためにカレントブロックのＭＩＰ予測サンプルに対してアップサンプリングプロセスを行って継続する。一部の実施形態では、カレントブロックのＭＩＰ予測サンプルは、カレントブロックのサンプリング点の少なくとも一部に対する予測サンプルを含みうる。ＭＩＰ予測サンプルおよびＭＩＰ重み付けマトリクスの実施例は、式（Ｇ）および図３（例えば、ステップ３０３）を参照して上で詳細に論じられる。

【0113】

図７は、本開示の一実施形態に係るエンコーダ７００の模式図である。示されるように、エンコーダ７００は第１決定部７０１、第１演算部７０２、および第１予測部７０３を含む。第１決定部７０１はカレントブロックの予測パラメータを設定し、ＭＩＰ入力サンプル（例えば、配列「ｐ［ｘ］」内の値）を決定する。一部の実施形態では、ＭＩＰ入力サンプルは隣接サンプルに基づいて決定することができる。予測パラメータは、どの予測モデル（例えば、ＭＩＰモデル）が使用されたか、および対応するパラメータ（例えば、サイズ識別子）を示すパラメータを含む。また、第１決定部７０１はＭＩＰ計量マトリクスを決定することもできる。第１演算部７０２は、数値シフト用パラメータ（例えば、「ｓＷ」）およびオフセットシフト用パラメータ（例えば、「ｆＯ」）に基づいてオフセット値（例えば、上述された「ｏＷ」）を算出するように構成される。第１予測部７０３は、ＭＩＰ計量マトリクス、オフセット値、数値シフト用パラメータ、およびオフセットシフト用パラメータに基づいてカレントブロックのＭＩＰ予測を生成する。

【0114】

一部の実施形態では、エンコーダ７００は、カレントブロックのＭＩＰモデルを決定するように構成されている第１調査部７０４を含む。そのような実施形態では、第１決定部７０１はカレントブロックのＭＩＰモデルインデックスを決定する。そして、第１調査部７０４は、ＭＩＰモデルインデックスに基づいて対応するパラメータ（例えば、ｓＷ、ｆＯ、ＭＩＰサイズ識別子など）を得ることができる。

【0115】

本開示では、用語「部（ｕｎｉｔ）」はプロセッサ、回路、ソフトウェア、モジュール、またはそれらの組み合わせでありうる。一部の実施形態では、「部」は、ＳｏＣ（システムオンチップ）などの集積部品でありうる。一部の実施形態では、「部」は、ディスク、ハードドライブ、メモリなどの記憶媒体に記憶された一組の命令を含みうる。

【0116】

図８は、本開示の一実施形態に係るエンコーダ８００の模式図である。エンコーダ８００は、第１システムバス８０４により結合された第１通信インタフェース８０１、第１記憶装置８０２、および第１プロセッサ８０３を含みうる。第１システムバス８０４は、電力線、制御線、および／または、信号線を含みうる。第１通信インタフェース８０１は、信号を送受信することで他の外部デバイスと通信を行うように構成される。第１記憶装置８０２は、データ、情報、および／または、第１プロセッサ８０３により実行されうる命令（図５、６で論じられたステップなど）を記憶するように構成される。

【0117】

第１プロセッサ８０３は、チップ、集積回路、または信号を処理することができる他のデバイスでありうる。第１プロセッサ８０３は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム可能論理回路（ＰＬＤ）、または他の適切な論理部品でありうる。

【0118】

図９は、本開示の一実施形態に係るデコーダ９００の模式図である。示されるように、デコーダ９００は、分析部９０１、第２演算部９０２、第２予測部９０３、第２予測部９０４、および第２調査部９０５を含む。分析部９０１は、カレントブロックの予測パラメータを得るためにビットストリームを解析するように構成される。第２決定部９０２はカレントブロックの適切な予測パラメータを設定し、ＭＩＰ入力サンプル（例えば、配列「ｐ［ｘ］」内の値）を決定する。一部の実施形態では、ＭＩＰ入力サンプルは隣接サンプルに基づいて決定することができる。予測パラメータは、どの予測モデル（例えば、ＭＩＰモデル）が使用されたか、および対応するパラメータ（例えば、サイズ識別子）を示すパラメータを含む。また、第２決定部９０３はＭＩＰ計量マトリクスを決定することもできる。第２演算部９０４は、数値シフト用パラメータ（例えば、「ｓＷ」）およびオフセットシフト用パラメータ（例えば、「ｆＯ」）に基づいてオフセット値（例えば、「ｏＷ」）を算出するように構成される。第２予測部９０４は、ＭＩＰ計量マトリクス、オフセット値、数値シフト用パラメータ、およびオフセットシフト用パラメータに基づいてカレントブロックのＭＩＰ予測を生成する。

【0119】

一部の実施形態では、第２調査部９０５はカレントブロックのＭＩＰモデルを決定するように構成される。そのような実施形態では、第２決定部９０２はカレントブロックのＭＩＰモデルインデックスを決定する。そして、第２調査部９０４は、ＭＩＰモデルインデックスに基づいて対応するパラメータ（例えば、ｓＷ、ｆＯ、ＭＩＰサイズ識別子など）を得ることができる。

【0120】

図１０は、本開示の一実施形態に係るデコーダ１０００の模式図である。デコーダ１０００は、第２システムバス１００４により結合された第２通信インタフェース１００１、第２記憶装置１００２、および第２プロセッサ１００３を含みうる。第２システムバス１００４は、電力線、制御線、および／または、信号線を含みうる。第２通信インタフェース１００１は、信号を送受信することで他の外部デバイスと通信を行うように構成される。第２記憶装置１００２は、データ、情報、および／または、第２プロセッサ１００３により実行されうる命令（図５、６で論じられたステップなど）を記憶するように構成される。

【0121】

第２プロセッサ１００３は、チップ、集積回路、または信号を処理することができる他のデバイスでありうる。第２プロセッサ１００３は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム可能論理回路（ＰＬＤ）、または他の適切な論理部品でありうる。

【0122】

図１１は、本開示の一実施形態に係る装置１１００の模式図である。装置１１００は「送信」装置でありうる。より詳細には、装置１１００は、１つまたは複数の画像を取得、符号化、記憶／送信するように構成される。装置１１００は、取得部１００１、エンコーダ１１０２、および記憶／送信部１１０３を含む。

【0123】

取得部１１０１は、画像を取得または受信し、画像をエンコーダ１１０２へ送るように構成される。また、取得部１１０１は、一連の画像で構成されるビデオを取得または受信し、ビデオをエンコーダ１１０２へ送るように構成されうる。一部の実施形態では、取得部１１０１は、１つまたは複数のカメラ（例えば、画像カメラ、深度カメラなど）を含むデバイスでありうる。一部の実施形態では、取得部１１０１は、ビデオビットストリームを部分的に、または完全に復号して画像またはビデオを生成することができるデバイスでありうる。また、取得部１１０１は、オーディオ信号を捉えるための１つまたは複数の要素を含みうる。

【0124】

エンコーダ１１０２は、取得部１１０１からの画像を符号化するように構成され、ビデオビットストリームを生成する。また、エンコーダ１１０２は、取得部１１０１からのビデオを符号化するように構成することができて、ビットストリームを生成する。一部の実施形態では、エンコーダ１１０２は図２で説明された符号化システム２００として実現することができる。一部の実施形態では、エンコーダ１１０２は、オーディオ信号を符号化してオーディオビットストリームを生成するための１つまたは複数のオーディオエンコーダを含みうる。

【0125】

記憶／送信部１１０３は、エンコーダ１１０２からのビデオビットストリームおよびオーディオビットストリームのうちの一方または両方を受信するように構成される。記憶／送信部１１０３は、ビデオビットストリームをオーディオビットストリームとともにカプセル化してメディアファイル（例えば、ＩＳＯベースのメディアファイル）またはトランスポートストリームを形成することができる。一部の実施形態では、記憶／送信部１１０３は、このメディアファイルまたはトランスポートストリームをハードドライブ、ディスク、ＤＶＤ、クラウドストレージ、携帯型メモリ機器などの記憶部に書き込む、または記憶することができる。一部の実施形態では、記憶／送信部１１０３は、ビデオ／オーディオビットストリームをインターネット、有線ネットワーク、セルラーネットワーク、無線ローカルエリアネットワークなどの転送ネットワークを介して外部デバイスへ送信することができる。

【0126】

図１２は、本開示の一実施形態に係る装置１２００の模式図である。装置１２００は「送信先」装置でありうる。より詳細には、装置１２００は、画像またはビデオを受信、復号、および描画するように構成される。装置１２００は、受信部１２０１、デコーダ１２０２、および描画部１２０３を含む。

【0127】

受信部１２０１は、メディアファイルまたはトランスポートストリームを例えばネットワークや記憶装置から受信するように構成される。メディアファイルまたはトランスポートストリームは、ビデオビットストリームおよび／またはオーディオビットストリームを含む。受信部１２０１はビデオビットストリームとオーディオビットストリームを分離することができる。一部の実施形態では、受信部１２０１はビデオ／オーディオビットストリームを抽出することで、新しいビデオ／オーディオビットストリームを生成することができる。

【0128】

デコーダ１２０２は、１つまたは複数の、上述された復号システム４００のようなビデオデコーダを含む。また、デコーダ１２０２は、１つまたは複数のオーディオデコーダも含みうる。デコーダ１２０２は、受信部１２０１からのビデオビットストリームおよび／またはオーディオビットストリームを復号して、復号されたビデオファイル、および／または、１つもしくは複数の（１つまたは多数のチャンネルに対応する）復号されたオーディオファイルを得る。

【0129】

描画部１２０３は、復号されたビデオ／オーディオファイルを受信し、ビデオ／オーディオファイルを処理して、表示／再生に適したビデオ／オーディオ信号を得る。こうした調整／再構成操作は、雑音除去、合成、色空間の変換、アップサンプリング、ダウンサンプリングなどのうちの１つまたは複数を含みうる。描画部１２０３は、復号されたビデオ／オーディオファイルの質を向上させることができる。

【0130】

図１３は、本開示の一実施形態に係る通信システム１３００の模式図である。通信システム１３００は、送信元デバイス１３０１、記憶媒体または転送ネットワーク１３０２、送信先デバイス１３０３を含む。一部の実施形態では、送信元デバイス１３０１は図１１を参照して上述された装置１１００でありうる。送信元デバイス１３０１は、メディアファイルを記憶または輸送するために記憶媒体または転送ネットワーク１３０２へ送信する。送信先デバイス１３０３は図１２を参照して上述された装置１２００でありうる。通信システム１３００は、メディアファイルを符号化し、符号化されたメディアファイルを輸送または記憶して、符号化されたメディアファイルを復号するように構成される。一部の実施形態では、送信元デバイス１３０１は第１スマートフォンとすることができて、記憶媒体１３０２はクラウドストレージとすることができて、送信先デバイスは第２スマートフォンとすることができる。

【0131】

上述された実施形態は、本開示のいくつかの実施形態を示すに過ぎず、その説明は具体的で詳細である。上記の実施形態は本開示を制限するとは解釈できない。多数の変形および変更が当業者により本開示の主旨および範囲から逸脱することなくなされうるということに留意されたい。それゆえ、本開示の範囲は添付の請求項に従うべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】