(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-13
(54)【発明の名称】映像予測モードの融合
(51)【国際特許分類】
H04N 19/593 20140101AFI20241206BHJP
H04N 19/11 20140101ALI20241206BHJP
H04N 19/176 20140101ALI20241206BHJP
H04N 19/186 20140101ALI20241206BHJP
H04N 19/46 20140101ALI20241206BHJP
【FI】
H04N19/593
H04N19/11
H04N19/176
H04N19/186
H04N19/46
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024536106
(86)(22)【出願日】2023-01-04
(85)【翻訳文提出日】2024-08-07
(86)【国際出願番号】 CN2023070540
(87)【国際公開番号】W WO2023131208
(87)【国際公開日】2023-07-13
(32)【優先日】2022-01-05
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2022-12-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523353373
【氏名又は名称】アリババ(チャイナ)カンパニー,リミテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】リ,シンウェイ
(72)【発明者】
【氏名】リャオ,ルーリン
(72)【発明者】
【氏名】チェン,ジエ
(72)【発明者】
【氏名】イェ,ヤン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159PP16
5C159RC12
5C159TA25
5C159TA33
5C159TB08
5C159TC02
5C159TC24
5C159TC42
5C159UA02
5C159UA05
(57)【要約】
本開示は、クロマイントラ予測モードを融合させるための方法及びシステムを提供する。例示的な方法は、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを含む。
【特許請求の範囲】
【請求項1】
映像処理方法であって、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
前記複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を含む映像処理方法。
【請求項2】
前記複数のクロマイントラ予測モードは、少なくとも1つの線形モデル(LM)モードと、少なくとも1つの非LMモードとを含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのLMモードは、クロス成分線形モデルLT(CCLM_LT)モード、CCLM_Lモード、CCLM_Tモード、マルチモデル線形モデルLT(MMLM_LT)モード、MMLM_Lモード、MMLM_Tモード、畳み込みクロス成分モデル(CCCM)モード、又は勾配線形モデル(GLM)モードのうちの1つ又は複数を含み、及び
前記少なくとも1つの非LMモードは、ダイレクトモード(DM)モード、デフォルトモード、又は復号器側導出クロマモードのうちの1つ又は複数を含む、請求項2に記載の方法。
【請求項4】
前記複数のクロマイントラ予測モードは、マルチモデル線形モデルLT(MMLM_LT)モードと、少なくとも1つの非LMモードとを含む、請求項1に記載の方法。
【請求項5】
前記複数のクロマイントラ予測モードは、復号器側導出クロマモードと、少なくとも1つのLMモードとを含む、請求項1に記載の方法。
【請求項6】
前記複数のクロマイントラ予測モードに対する複数の重みをそれぞれ決定することをさらに含み、前記複数の重みの和は、1に等しい、請求項1~5の何れか一項に記載の方法。
【請求項7】
前記第1の予測クロマサンプルは、第1の予測クロマブロックの一部であり、及び前記方法は、
前記第1の予測クロマブロックの1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいて、複数の重みを決定することと、
前記決定された複数の重みを使用することにより、前記複数の予測クロマサンプルの前記加重和を決定することと
をさらに含む、請求項1~6の何れか一項に記載の方法。
【請求項8】
前記1つ又は複数の隣接ブロックは、前記第1の予測クロマブロックの上方の隣接ブロックと、前記第1の予測クロマブロックの左側の隣接ブロックとを含む、請求項7に記載の方法。
【請求項9】
前記方法は、ビットストリームを復号するために使用され、及び
前記ビットストリーム内でシグナリングされた1つ又は複数のフラグに基づいて、前記複数のクロマイントラ予測モードを決定すること
をさらに含む、請求項1に記載の方法。
【請求項10】
前記複数のクロマイントラ予測モードは、第1のモードと、第2のモードとを含み、
前記ビットストリームは、クロマイントラ予測モードの第1の組と、クロマイントラ予測モードの第2の組とをシグナリングし、及び
前記方法は、
前記ビットストリーム内でシグナリングされた第1のフラグの値に基づいて、前記クロマイントラ予測モードの第1の組から前記第1のモードを選択するか否かを決定することと、
前記ビットストリーム内でシグナリングされた第2のフラグの値に基づいて、前記クロマイントラ予測モードの第2の組から前記第2のモードを選択するか否かを決定することと
をさらに含む、請求項9に記載の方法。
【請求項11】
前記クロマイントラ予測モードの第1の組は、DMモード、デフォルトモード、及び復号器側導出クロマモードを含み、及び
前記クロマイントラ予測モードの第2の組は、MMLM_LTモードを含む、請求項10に記載の方法。
【請求項12】
前記第1の予測クロマサンプルに関連付けられたスライスの種類に基づいて、前記複数のクロマイントラ予測モードを決定することをさらに含む、請求項1に記載の方法。
【請求項13】
前記第1の予測クロマサンプルがIスライスに関連付けられていることに応答して、前記複数のクロマイントラ予測モードが、DMモード、デフォルトモード、又は復号器側導出クロマモードのうちの少なくとも1つを含むと決定すること、又は
前記第1の予測クロマサンプルがBスライス若しくはPスライスに関連付けられていることに応答して、前記複数のクロマイントラ予測モードが、復号器側導出クロマモードを含むと決定すること
をさらに含む、請求項12に記載の方法。
【請求項14】
前記第1の予測クロマサンプルに関連付けられたスライスの種類に基づいて、複数の重みを決定することと、
前記決定された複数の重みを使用することにより、前記複数の予測クロマサンプルの前記加重和を決定することと
をさらに含む、請求項1~6の何れか一項に記載の方法。
【請求項15】
前記第1の予測クロマサンプルがIスライスに関連付けられていることに応答して、第1の予測クロマブロックの1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいて、前記複数の重みを決定すること、又は
前記第1の予測クロマサンプルがBスライス若しくはPスライスに関連付けられていることに応答して、前記複数の重みが等しい値を有すると決定すること
をさらに含む、請求項14に記載の方法。
【請求項16】
機器であって、
命令の組を記憶するように構成されたメモリと、
1つ又は複数のプロセッサと、を含み、前記1つ又は複数のプロセッサは、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
前記複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を前記機器に行わせるために前記命令の組を実行するように構成される、機器。
【請求項17】
前記1つ又は複数のプロセッサは、
第1の予測クロマブロックの1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいて、複数の重みを決定することと、
前記決定された複数の重みを使用することにより、前記複数の予測クロマサンプルの前記加重和を決定することと
を前記機器に行わせるために前記命令の組を実行するように構成される、請求項16に記載の機器。
【請求項18】
前記1つ又は複数のプロセッサは、
前記第1の予測クロマサンプルに関連付けられたスライスの種類に基づいて、前記複数のクロマイントラ予測モードを決定すること
を前記機器に行わせるために前記命令の組を実行するように構成される、請求項16又は17に記載の機器。
【請求項19】
前記1つ又は複数のプロセッサは、
前記第1の予測クロマサンプルに関連付けられたスライスの種類に基づいて、複数の重みを決定することと、
前記決定された複数の重みを使用することにより、前記複数の予測クロマサンプルの前記加重和を決定することと
を前記機器に行わせるために前記命令の組を実行するように構成される、請求項16に記載の機器。
【請求項20】
方法に基づいて処理するための映像のビットストリームを記憶する非一時的コンピュータ可読媒体であって、前記方法は、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
前記複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を含む、非一時的コンピュータ可読媒体。
【請求項21】
コンピュータプログラム命令を含むコンピュータプログラム製品であって、コンピュータプログラム命令は、請求項1~15の何れか一項に記載の映像処理方法をコンピュータが実行することを可能にする、コンピュータプログラム製品。
【請求項22】
請求項1~15の何れか一項に記載の映像処理方法をコンピュータが実行することを可能にするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本開示は、2022年1月5日に出願された米国仮特許出願第63/296,533号に対する優先権を主張し、及び2022年12月23日に出願された米国特許出願公開第18/146,172号に対する優先権を主張するものであり、これらの出願の各々は、参照によりその全体が本明細書に組み込まれる。
【0002】
技術分野
[0002] 本開示は、概して、映像処理に関し、より詳細には、クロマイントラ予測モードを融合させるための方法及びシステムに関する。
【背景技術】
【0003】
背景
[0003] 映像は、視覚情報を捕捉する静的ピクチャ(又は「フレーム」)の組である。記憶メモリ及び伝送帯域幅を減らすために、映像は、記憶又は伝送前に圧縮し、表示前に解凍することができる。圧縮プロセスは、通常、符号化と呼ばれ、解凍プロセスは、通常、復号と呼ばれる。最も一般的には、予測、変換、量子化、エントロピーコード化及びインループフィルタリングに基づく規格化された映像コード化技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定するHigh Efficiency Video Coding(HEVC/H.265)規格、Versatile Video Coding(VVC/H.266)規格及びAVS規格等の映像コード化規格が規格化組織によって策定されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなる。
【発明の概要】
【0004】
概要
[0004] 本開示の実施形態は、クロマイントラ予測モードを融合させることに向けられる。一部の実施形態では、映像データを処理するための例示的な方法は、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを含む。
【0005】
[0005] 本開示の実施形態は、映像データを処理するための機器を提供する。このシステムは、命令の組を記憶するメモリと、1つ又は複数のプロセッサとを含み、1つ又は複数のプロセッサは、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを機器に行わせるために命令の組を実行するように構成される。
【0006】
[0006] 本開示の実施形態は、方法に基づいて処理するための映像のビットストリームを記憶する非一時的コンピュータ可読媒体をさらに提供し、方法は、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを含む。
【0007】
[0007] 本開示の実施形態は、映像データを処理するための方法を機器に開始させるために、機器の1つ又は複数のプロセッサによって実行可能な命令の組を記憶する非一時的コンピュータ可読媒体をさらに提供する。方法は、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを含む。
【0008】
[0008] 本開示の実施形態は、コンピュータプログラム命令を含むコンピュータプログラム製品をさらに提供し、コンピュータプログラム命令は、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを含む方法をコンピュータが実行することを可能にする。
【0009】
[0009] 本開示の実施形態は、コンピュータプログラムをさらに提供し、コンピュータプログラムは、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することとを含む方法をコンピュータが実行することを可能にする。
【0010】
図面の簡単な説明
[0010] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付図面に示す。図中に示す様々な特徴は、縮尺通りに描かれていない。
【図面の簡単な説明】
【0011】
【
図1】[0011]本開示の一部の実施形態による映像シーケンスの一例の構造を示す概略図である。
【
図2A】[0012]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な符号化プロセスを示す概略図である。
【
図2B】[0013]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な符号化プロセスを示す概略図である。
【
図3A】[0014]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な復号プロセスを示す概略図である。
【
図3B】[0015]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な復号プロセスを示す概略図である。
【
図4】[0016]本開示の一部の実施形態による、映像を符号化又は復号するための例示的な機器のブロック図である。
【
図5】[0017]本開示の一部の実施形態による67個のイントラ予測モードを示す。
【
図6】[0018]本開示の一部の実施形態に従い、クロマコード化ブロックがIスライスにおいて複数のルマコード化ブロックに対応することを示す。
【
図7】[0019]本開示の一部の実施形態による、映像データを処理するための方法のフローチャートである。
【発明を実施するための形態】
【0012】
実施形態の説明
[0020] ここで、その例が添付図面に示される例示的実施形態を詳細に参照する。以下の説明は、添付図面を参照し、添付図面では、他に指示がない限り、異なる図中の同じ数字が同じ又は同様の要素を表す。例示的実施形態についての以下の説明に記載される実装形態は、本発明と合致する全ての実装形態を表すわけではない。むしろ、それらは、添付の特許請求の範囲で列挙する本発明に関係する態様と合致する機器及び方法の例に過ぎない。以下では、本開示の特定の態様をより詳細に説明する。参照により組み込まれる用語及び/又は定義と矛盾する場合、本明細書で提供される用語及び定義に従う。
【0013】
[0021] ITU-T Video Coding Expert Group(ITU-T VCEG)及びISO/IEC Moving Picture Expert Group(ISO/IEC MPEG)のJoint Video Experts Team(JVET)は、現在、Versatile Video Coding(VVC/H.266)規格の開発を行っている。VVC規格は、その先行バージョンであるHigh Efficiency Video Coding(HEVC/H.265)規格の圧縮効率を2倍にすることを目的としている。換言すれば、VVCの目標は、HEVC/H.265と同じ主観的品質を、半分の帯域幅を使用して実現することである。
【0014】
[0022] HEVC/H.265と同じ主観的品質を、半分の帯域幅を使用して実現するために、JVETは、共同探索モデル(JEM)参照ソフトウェアを用いて、HEVCを超える技術の開発を行っている。コード化技術がJEMに組み込まれたため、JEMは、HEVCよりもはるかに高いコード化性能を実現した。
【0015】
[0023] VVC規格は、最近開発されたものであり、より良好な圧縮性能を提供するより多くのコード化技術を取り入れ続けている。VVCは、HEVC、H.264/AVC、MPEG2、H.263等の最近の映像圧縮規格で使用されているのと同じハイブリッド映像コード化システムに基づいている。
【0016】
[0024] 映像とは、視覚的情報を記憶するために時系列順に配置される静止ピクチャ(又は「フレーム」)の組である。それらのピクチャを時系列順に捕捉し、記憶するために、映像捕捉装置(例えば、カメラ)を使用することができ、かかるピクチャを時系列順に表示するために、映像再生装置(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末)を使用することができる。さらに、一部のアプリケーションでは、監視、会議又は生放送等のために、映像捕捉装置が捕捉映像を映像再生装置(例えば、モニタを有するコンピュータ)にリアルタイムで伝送することができる。
【0017】
[0025] かかるアプリケーションが必要とする記憶空間及び伝送帯域幅を減らすために、映像を記憶及び伝送前に圧縮し、表示前に解凍することができる。この圧縮及び解凍は、プロセッサ(例えば、汎用コンピュータのプロセッサ)又は専用ハードウェアによって実行されるソフトウェアによって実装され得る。圧縮のためのモジュールを一般に「符号器」と呼び、解凍のためのモジュールを一般に「復号器」と呼ぶ。符号器及び復号器は、まとめて「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア又はその組み合わせとして実装することができる。例えば、符号器及び復号器のハードウェア実装は、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、書換可能ゲートアレイ(FPGA)、ディスクリートロジック又はその任意の組み合わせ等の回路を含み得る。符号器及び復号器のソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア又はコンピュータ可読媒体内に固定される任意の適切なコンピュータによって実装されるアルゴリズム若しくはプロセスを含み得る。映像の圧縮及び解凍は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ等の様々なアルゴリズム又は規格によって実装され得る。一部のアプリケーションでは、コーデックが第1のコード化規格から映像を解凍し、第2のコード化規格を使用して、解凍された映像を再圧縮することができ、その場合、コーデックを「トランスコーダ」と呼ぶことができる。
【0018】
[0026] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保つことができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、かかる符号化プロセスは、「非可逆」と呼ぶことができる。さもなければ、かかる符号化プロセスは、「可逆」と呼ぶことができる。殆どの符号化プロセスは、非可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。
【0019】
[0027] 符号化されているピクチャ(「現ピクチャ」と呼ぶ)の有用な情報は、参照ピクチャ(例えば、過去に符号化され、再構築されたピクチャ)に対する変化を含む。かかる変化は、ピクセルの位置変化、光度変化又は色変化を含むことができ、そのうちの位置変化が最も重要である。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現ピクチャとの間のオブジェクトの動きを反映し得る。
【0020】
[0028] 別のピクチャを参照せずにコード化されたピクチャ(すなわち、当該ピクチャはそれ自体の参照ピクチャである)は、「Iピクチャ」と呼ばれる。ピクチャ内の一部又は全てのブロック(例えば、一般に映像ピクチャの一部分を指すブロック)がイントラ予測又は1つの参照ピクチャとのインター予測(例えば、単予測)を用いて予測される場合、ピクチャは、「Pピクチャ」と呼ばれる。ピクチャは、その中の少なくとも1つのブロックが2つの参照ピクチャで予測される場合(例えば、双予測)、「Bピクチャ」と呼ばれる。
【0021】
[0029]
図1は、本開示の一部の実施形態による映像シーケンス100の一例の構造を示す。映像シーケンス100は、生中継映像又は捕捉され、アーカイブされている映像であり得る。映像100は、現実の映像、コンピュータによって生成される映像(例えば、コンピュータゲーム映像)、又はそれらの組み合わせ(例えば、拡張現実効果を有する現実の映像)であり得る。映像シーケンス100は、映像捕捉装置(例えば、カメラ)、過去に捕捉された映像を含む映像アーカイブ(例えば、記憶装置内に記憶される映像ファイル)、又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース(例えば、映像ブロードキャストトランシーバ)から入力され得る。
【0022】
[0030]
図1に示すように、映像シーケンス100は、ピクチャ102、104、106及び108を含む、タイムラインに沿って時間的に配置される一連のピクチャを含み得る。ピクチャ102~106は、連続的であり、ピクチャ106とピクチャ108との間にさらに多くのピクチャがある。
図1では、ピクチャ102は、Iピクチャであり、その参照ピクチャは、ピクチャ102自体である。ピクチャ104は、Pピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ102である。ピクチャ106は、Bピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ104及び108である。一部の実施形態では、ピクチャ(例えば、ピクチャ104)の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャは、ピクチャ102に先行するピクチャであり得る。ピクチャ102~106の参照ピクチャは、例に過ぎず、本開示は、参照ピクチャの実施形態を、
図1に示す例として限定しないことに留意すべきである。
【0023】
[0031] 典型的には、映像コーデックは、全ピクチャを一度に符号化又は復号せず、それは、かかるタスクが計算的に複雑であるためである。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号することができる。本開示では、そのような基本セグメントを基本処理単位(「BPU」)と呼ぶ。例えば、
図1の構造110は、映像シーケンス100のピクチャ(例えば、ピクチャ102~108の何れか)の構造の一例を示す。構造110では、ピクチャが4×4の基本処理単位に分けられ、その境界が破線で示されている。一部の実施形態では、基本処理単位は、一部の映像コード化規格(例えば、MPEGファミリ、H.261、H.263又はH.264/AVC)内の「マクロブロック」と呼ぶことができ、他の一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)内の「コード化ツリー単位」(「CTU」)と呼ぶことができる。基本処理単位は、128×128、64×64、32×32、16×16、4×8、16×32又はピクセルのあらゆる任意の形状及びサイズなど、ピクチャ内で可変サイズを有することができる。基本処理単位のサイズ及び形状は、コード化の効率と基本処理単位内で保とうとする詳細度とのバランスに基づいてピクチャについて選択され得る。
【0024】
[0032] 基本処理単位は、コンピュータメモリ内(例えば、映像フレームバッファ内)に記憶される様々な種類の映像データ群を含み得る論理単位であり得る。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分(Y)、色情報を表す1つ又は複数のクロマ成分(例えば、Cb及びCr)、並びにルマ成分及びクロマ成分が同じサイズを有し得る基本処理単位の関連構文要素を含むことができる。一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)では、ルマ成分及びクロマ成分が「コード化ツリーブロック」(「CTB」)と呼ばれ得る。基本処理単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。
【0025】
[0033] 映像のコード化は、複数の操作段階を有し、その例を
図2A~
図2B及び
図3A~
図3Bに示す。それぞれの段階について、基本処理単位のサイズは、依然として処理するのに大き過ぎる場合があり、従って本開示で「基本処理副単位」と呼ぶセグメントにさらに分けることができる。一部の実施形態では、基本処理副単位は、一部の映像コード化規格(例えば、MPEGファミリ、H.261、H.263又はH.264/AVC)内の「ブロック」と呼ぶことができるか、又は他の一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)内の「コード化単位」(「CU」)と呼ぶことができる。基本処理副単位は、基本処理単位と同じ又はそれよりも小さいサイズを有し得る。基本処理単位と同様に、基本処理副単位もコンピュータメモリ内(例えば、映像フレームバッファ内)に記憶される様々な種類の映像データ群(例えば、Y、Cb、Cr及び関連構文要素)を含み得る論理単位である。基本処理副単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。処理の必要性に応じて、かかる分割は、さらなるレベルに対して行われ得ることに留意すべきである。様々な段階が様々な方式を使用して基本処理単位を分割できることにも留意すべきである。
【0026】
[0034] 例えば、(その一例を
図2Bに示す)モード決定段階では、基本処理単位に対して何れの予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を使用するかを符号器が決定することができ、基本処理単位は、かかる決定を下すには大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位(例えば、H.265/HEVC又はH.266/VVCにあるCU)に分け、個々の基本処理副単位ごとに予測の種類を決定することができる。
【0027】
[0035] 別の例として、(その一例を
図2A~
図2Bに示す)予測段階では、符号器は、基本処理副単位(例えば、CU)のレベルで予測操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント(例えば、H.265/HEVC又はH.266/VVC内で「予測ブロック」又は「PB」と呼ばれる)にさらに分けることができ、そのレベルで予測操作を行うことができる。
【0028】
[0036] 別の例として、(その一例を
図2A~
図2Bに示す)変換段階では、符号器は、残差基本処理副単位(例えば、CU)に対する変換操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント(例えば、H.265/HEVC又はH.266/VVC内で「変換ブロック」又は「TB」と呼ばれる)にさらに分けることができ、そのレベルで変換操作を行うことができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意すべきである。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックは、異なるサイズ及び数を有し得る。
【0029】
[0037]
図1の構造110では、基本処理単位112が3×3の基本処理副単位にさらに分けられ、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分けることができる。
【0030】
[0038] 一部の実装形態では、映像の符号化及び復号に並列処理及び誤り耐性の能力を与えるために、ピクチャを処理のための領域に分けることができ、それにより、ピクチャの領域について、符号化又は復号プロセスがピクチャの他の任意の領域の情報に依存しないようにすることができる。換言すれば、ピクチャの各領域を独立に処理することができる。そうすることで、コーデックは、ピクチャの異なる領域を並列に処理し、従ってコード化の効率を高めることができる。さらに、領域のデータが処理内で破損するか又はネットワーク伝送内で失われる場合、コーデックは、破損するか又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号することができ、従って誤り耐性の能力を提供する。一部の映像コード化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは、「スライス」及び「タイル」という2種類の領域を提供する。映像シーケンス100の様々なピクチャは、ピクチャを領域に分けるための様々な分割方式を有し得ることにも留意すべきである。
【0031】
[0039] 例えば、
図1では、構造110が3つの領域114、116及び118に分けられ、その境界が構造110内の実線として示されている。領域114は、4個の基本処理単位を含む。領域116及び118のそれぞれは、6個の基本処理単位を含む。
図1の構造110の基本処理単位、基本処理副単位、及び領域は、例に過ぎず、本開示は、その実施形態を限定しないことに留意すべきである。
【0032】
[0040]
図2Aは、本開示の実施形態と合致する、符号化プロセス200Aの一例の概略図を示す。例えば、符号化プロセス200Aは、符号器によって行われ得る。
図2Aに示されるように、符号器は、プロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。
図1の映像シーケンス100と同様に、映像シーケンス202は、時系列順に配置されるピクチャ(「元のピクチャ」と呼ぶ)の組を含み得る。
図1の構造110と同様に、映像シーケンス202のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位、又は処理のための領域に分けられ得る。一部の実施形態では、符号器は、映像シーケンス202のそれぞれの元のピクチャに関する基本処理単位のレベルでプロセス200Aを実行することができる。例えば、符号器は、プロセス200Aを反復的な方法で実行することができ、符号器は、プロセス200Aの1回の反復で基本処理単位を符号化することができる。一部の実施形態では、符号器は、映像シーケンス202のそれぞれの元のピクチャの領域(例えば、領域114~118)についてプロセス200Aを並列に実行することができる。
【0033】
[0041]
図2Aでは、符号器は、映像シーケンス202の元のピクチャの基本処理単位(「元のBPU」と呼ぶ)を予測段階204にフィードして、予測データ206及び予測BPU208を生成することができる。符号器は、元のBPUから、予測BPU208を減算して、残差BPU210を生成することができる。符号器は、残差BPU210を変換段階212及び量子化段階214にフィードして、量子化された変換係数216を生成することができる。符号器は、予測データ206及び量子化された変換係数216をバイナリコード化段階226にフィードして、映像ビットストリーム228を生成することができる。構成要素202、204、206、208、210、212、214、216、226及び228は、「順方向経路」と呼ぶことができる。プロセス200A中、符号器は、量子化段階214後、量子化された変換係数216を逆量子化段階218及び逆変換段階220にフィードして、再構築された残差BPU222を生成することができる。符号器は、再構築された残差BPU222を、予測BPU208に加えて、プロセス200Aの次の反復の予測段階204に使用される予測基準224を生成することができる。プロセス200Aの構成要素218、220、222及び224は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が予測に同じ参照データを使用することを確実にするために使用され得る。
【0034】
[0042] 符号器は、プロセス200Aを反復的に実行して、(順方向経路内で)元のピクチャのそれぞれの元のBPUを符号化し、(再構築経路内で)元のピクチャの次の元のBPUを符号化するための予測基準224を生成することができる。元のピクチャの全ての元のBPUを符号化した後、符号器は、映像シーケンス202内の次のピクチャの符号化に進むことができる。
【0035】
[0043] プロセス200Aを参照すると、符号器は、映像捕捉装置(例えば、カメラ)によって生成される映像シーケンス202を受信することができる。本明細書で使用する「受信する」という用語は、データを入力するために受信すること、入力すること、取得すること、取り出すこと、得ること、読み出すこと、アクセスすること又は任意の方法の任意のアクションを指すことができる。
【0036】
[0044] 予測段階204では、現在の反復において、符号器が元のBPU及び予測基準224を受信し、予測操作を行って予測データ206及び予測BPU208を生成することができる。予測基準224は、プロセス200A前の反復の再構築経路から生成され得る。予測段階204の目的は、予測データ206を抽出することにより、情報の冗長性を減らすことであり、予測データ206は、予測データ206及び予測基準224から予測BPU208として元のBPUを再構築するために使用することができる。
【0037】
[0045] 理想的には、予測BPU208は、元のBPUと同一であり得る。しかし、理想的でない予測及び再構築操作により、予測BPU208は、概して、元のBPUと僅かに異なる。そのような差を記録するために、符号器は、予測BPU208を生成した後、それを元のBPUから減算して残差BPU210を生成することができる。例えば、符号器は、予測BPU208のピクセルの値(例えば、グレースケール値又はRGB値)を元のBPUの対応するピクセルの値から減算することができる。元のBPU及び予測BPU208の対応するピクセル間のかかる減算の結果、残差BPU210の各ピクセルは、残差値を有し得る。元のBPUと比較して、予測データ206及び残差BPU210は、より少ないビットを有し得るが、品質を著しく損なうことなく元のBPUを再構築するためにそれらを使用することができる。
【0038】
[0046] 残差BPU210をさらに圧縮するために、変換段階212では、符号器は、残差BPU210を2次元「基底パターン」の組に分解することにより、残差BPU210の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連する。基底パターンは、同じサイズ(例えば、残差BPU210のサイズ)を有することができる。それぞれの基底パターンは、残差BPU210の変動周波数(例えば、輝度変動周波数)成分を表すことができる。基底パターンの何れも、他の任意の基底パターンの任意の組み合わせ(例えば、線形結合)から再現することができない。換言すれば、分解は、残差BPU210の変動を周波数領域内に分解することができる。かかる分解は、関数の離散フーリエ変換に類似し、ここで、基底パターンは、離散フーリエ変換の基底関数(例えば、三角関数)に類似し、変換係数は、基底関数に関連する係数に類似する。
【0039】
[0047] 様々な変換アルゴリズムが様々な基底パターンを使用することができる。例えば、離散コサイン変換、離散サイン変換等、変換段階212では、様々な変換アルゴリズムを使用することができる。変換段階212における変換は、逆変換可能である。すなわち、符号器は、変換の逆操作(「逆変換」と呼ぶ)によって残差BPU210を復元することができる。例えば、残差BPU210のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和をもたらすことであり得る。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム(従って同じ基底パターン)を使用することができる。従って、符号器は、変換係数のみを記録することができ、復号器は、符号器から基底パターンを受信することなく、変換係数から残差BPU210を再構築することができる。残差BPU210と比較して、変換係数の方が少ないビットを有し得るが、それらの変換係数は、品質を著しく損なうことなく残差BPU210を再構築するために使用され得る。従って、残差BPU210がさらに圧縮される。
【0040】
[0048] 符号器は、量子化段階214で変換係数をさらに圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数(例えば、輝度変動周波数)を表すことができる。人間の目は、概して、低周波変動を認識することが得意であるため、符号器は、復号の際の著しい品質劣化を引き起こすことなく高周波変動の情報を無視することができる。例えば、量子化段階214では、符号器は、各変換係数を整数値(「量子化スケールファクター」と呼ぶ)で除算し、商をその最近隣数に丸めることにより、量子化された変換係数216を生成することができる。かかる操作後、高周波基底パターンの一部の変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数216を無視することができ、それにより変換係数がさらに圧縮される。量子化プロセスも逆変換可能であり、量子化された変換係数216は、量子化の逆操作(「逆量子化」と呼ぶ)内で変換係数に再構築することができる。
【0041】
[0049] 符号器は、丸め操作内でかかる除算の剰余を無視するため、量子化段階214は、非可逆であり得る。典型的には、量子化段階214は、プロセス200A内で最大の情報損失に寄与し得る。情報損失が大きいほど、量子化された変換係数216が必要とし得るビットが少なくなる。情報損失の様々なレベルを得るために、符号器は、量子化パラメータの様々な値又は量子化プロセスの他の任意のパラメータを使用することができる。
【0042】
[0050] バイナリコード化段階226では、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は他の任意の可逆若しくは非可逆圧縮アルゴリズム等のバイナリコード化技法を使用し、予測データ206及び量子化された変換係数216を符号化することができる。一部の実施形態では、予測データ206及び量子化された変換係数216に加えて、符号器は、例えば、予測段階204で使用される予測モード、予測操作のパラメータ、変換段階212の変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)等の他の情報をバイナリコード化段階226で符号化することができる。符号器は、バイナリコード化段階226の出力データを使用して映像ビットストリーム228を生成することができる。一部の実施形態では、映像ビットストリーム228をネットワーク伝送のためにさらにパケット化することができる。
【0043】
[0051] プロセス200Aの再構築経路を参照すると、逆量子化段階218では、符号器は、量子化された変換係数216に対して逆量子化を行って、再構築された変換係数を生成することができる。逆変換段階220では、符号器は、再構築された変換係数に基づいて、再構築された残差BPU222を生成することができる。符号器は、再構築された残差BPU222を、予測BPU208に加えて、プロセス200Aの次の反復内で使用される予測基準224を生成することができる。
【0044】
[0052] 映像シーケンス202を符号化するためにプロセス200Aの他のバリエーションを使用できることに留意すべきである。一部の実施形態では、符号器がプロセス200Aの段階を異なる順序で実行することができる。一部の実施形態では、プロセス200Aの1つ又は複数の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス200Aの単一の段階を複数の段階に分けることができる。例えば、変換段階212と量子化段階214とを単一の段階に組み合わせることができる。一部の実施形態では、プロセス200Aは、追加の段階を含み得る。一部の実施形態では、プロセス200Aは、
図2A内の1つ又は複数の段階を省くことができる。
【0045】
[0053]
図2Bは、本開示の実施形態に合致する、符号化プロセスの別の例200Bの概略図を示す。プロセス200Bは、プロセス200Aから修正され得る。例えば、プロセス200Bは、ハイブリッド映像コード化規格(例えば、H.26xシリーズ)に準拠する符号器によって使用され得る。プロセス200Aと比較して、プロセス200Bの順方向経路は、モード決定段階230をさらに含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分ける。プロセス200Bの再構築経路は、ループフィルタ段階232及びバッファ234を追加で含む。
【0046】
[0054] 概して、予測技法は、空間的予測及び時間的予測の2つの種類に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、現BPUを予測するために、同じピクチャ内の既にコード化された1つ又は複数の隣接BPUのピクセルを使用することができる。すなわち、空間的予測における予測基準224は、隣接BPUを含み得る。空間的予測は、ピクチャの固有の空間的冗長性を減らすことができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、現BPUを予測するために、既にコード化された1つ又は複数のピクチャの領域を使用することができる。すなわち、時間的予測における予測基準224は、コード化されたピクチャを含み得る。時間的予測は、ピクチャの固有の時間的冗長性を減らすことができる。
【0047】
[0055] プロセス200Bを参照すると、順方向経路において、符号器は、空間的予測段階2042及び時間的予測段階2044で予測操作を行う。例えば、空間的予測段階2042では、符号器は、イントラ予測を行うことができる。符号化されているピクチャの元のBPUに関して、予測基準224は、同じピクチャ内の(順方向経路内で)符号化され、(再構築経路内で)再構築されている1つ又は複数の隣接BPUを含み得る。符号器は、隣接BPUを外挿することにより、予測BPU208を生成することができる。外挿技法は、例えば、線形外挿又は線形補間、多項式外挿、又は多項式補間等を含み得る。一部の実施形態では、予測BPU208のピクセルごとに、対応するピクセルの値を外挿することによって等、符号器がピクセルレベルで外挿を行うことができる。外挿に使用される隣接BPUは、垂直方向(例えば、元のBPUの上)、水平方向(例えば、元のBPUの左)、対角線方向(例えば、元のBPUの左下、右下、左上又は右上)、又は使用される映像コード化規格内で規定される任意の方向等、様々な方向から元のBPUに対して位置し得る。イントラ予測では、予測データ206は、例えば、使用される隣接BPUの位置(例えば、座標)、使用される隣接BPUのサイズ、外挿のパラメータ、元のBPUに対する使用される隣接BPUの方向等を含み得る。
【0048】
[0056] 別の例として、時間的予測段階2044では、符号器は、インター予測を行うことができる。現ピクチャの元のBPUに関して、予測基準224は、(順方向経路内で)符号化され、(再構築経路内で)再構築されている1つ又は複数のピクチャ(「参照ピクチャ」と呼ぶ)を含み得る。一部の実施形態では、参照ピクチャがBPUごとに符号化され再構築され得る。例えば、符号器は、再構築された残差BPU222を、予測BPU208に加えて、再構築されたBPUを生成することができる。同じピクチャの全ての再構築されたBPUが生成されると、符号器は、参照ピクチャとして、再構築されたピクチャを生成することができる。符号器は、参照ピクチャのある範囲(「探索窓」と呼ぶ)に対して一致領域を探すために「動き推定」の操作を行うことができる。参照ピクチャ内の探索窓の位置は、現ピクチャ内の元のBPUの位置に基づいて決定され得る。例えば、探索窓は、参照ピクチャ内において、現ピクチャ内の元のBPUと同じ座標を有する位置を中心とすることができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のBPUに類似した領域を(例えば、pel再帰アルゴリズム、ブロックマッチングアルゴリズム等を使用することによって)識別すると、符号器は、その領域を一致領域として決定することができる。一致領域は、元のBPUと異なる(例えば、それよりも小さい、等しい、大きい又は異なる形状の)寸法を有し得る。参照ピクチャ及び現ピクチャは、(例えば、
図1に示すように)タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のBPUの位置に「移動する」と見なすことができる。符号器は、かかる動きの方向及び距離を「動きベクトル」として記録することができる。(例えば、
図1のピクチャ106のように)複数の参照ピクチャが使用される場合、符号器は、参照ピクチャごとに一致領域を探し、その関連する動きベクトルを求めることができる。一部の実施形態では、符号器は、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。
【0049】
[0057] 動き推定は、例えば、平行移動、回転、拡大縮小等の様々な種類の動きを識別するために使用することができる。インター予測では、予測データ206は、例えば、一致領域の位置(例えば、座標)、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み等を含み得る。
【0050】
[0058] 予測BPU208を生成するために、符号器は、「動き補償」の操作を行うことができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測基準224に基づいて、予測BPU208を再構築するために使用することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、そうすることで、符号器は、現ピクチャの元のBPUを予測することができる。(例えば、
図1のピクチャ106のように)複数の参照ピクチャが使用される場合、符号器は、個々の動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。一部の実施形態では、符号器が、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加えることができる。
【0051】
[0059] 一部の実施形態では、インター予測は、単方向又は双方向であり得る。単方向のインター予測は、現ピクチャに対して同じ時間的方向にある1つ又は複数の参照ピクチャを使用することができる。例えば、
図1のピクチャ104は、参照ピクチャ(例えば、ピクチャ102)がピクチャ104に先行する単方向のインター予測ピクチャである。双方向のインター予測は、現ピクチャに対して両方の時間的方向にある1つ又は複数の参照ピクチャを使用することができる。例えば、
図1のピクチャ106は、参照ピクチャ(例えば、ピクチャ104及び108)がピクチャ104に対して両方の時間的方向にある双方向のインター予測ピクチャである。
【0052】
[0060] プロセス200Bの順方向経路を引き続き参照すると、空間的予測段階2042及び時間的予測段階2044の後、モード決定段階230において、符号器は、プロセス200Bの現在の反復のための予測モード(例えば、イントラ予測又はインター予測の1つ)を選択することができる。例えば、符号器は、レート歪み最適化技法を実行することができ、かかる技法では、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じて、コスト関数の値を最小化するための予測モードを選択することができる。選択される予測モードに応じて、符号器は、対応する予測BPU208及び予測データ206を生成することができる。
【0053】
[0061] プロセス200Bの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準224(例えば、現ピクチャ内で符号化され再構築されている現BPU)を生成した後、符号器は、後に使用するために(例えば、現ピクチャの次のBPUを外挿するために)空間的予測段階2042に予測基準224を直接フィードすることができる。符号器は、ループフィルタ段階232に予測基準224をフィードすることができ、ループフィルタ段階232では、符号器は、予測基準224にループフィルタを適用して、予測基準224のコード化中に引き起こされる歪み(例えば、ブロッキングアーティファクト)を減らすか又はなくすことができる。例えば、デブロッキング、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)等、符号器は、ループフィルタ段階232で様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後に使用するために(例えば、映像シーケンス202の将来のピクチャのためのインター予測参照ピクチャとして使用するために)バッファ234(又は「復号されたピクチャバッファ」)内に記憶することができる。符号器は、時間的予測段階2044で使用するために1つ又は複数の参照ピクチャをバッファ234内に記憶することができる。一部の実施形態では、符号器は、量子化された変換係数216、予測データ206、及び他の情報と共に、ループフィルタのパラメータ(例えば、ループフィルタの強度)をバイナリコード化段階226で符号化することができる。
【0054】
[0062]
図3Aは、本開示の実施形態に合致する、復号プロセス300Aの一例の概略図を示す。プロセス300Aは、
図2Aの圧縮プロセス200Aに対応する解凍プロセスであり得る。一部の実施形態では、プロセス300Aは、プロセス200Aの再構築経路と同様であり得る。復号器は、プロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号することができる。映像ストリーム304は、映像シーケンス202と非常に類似し得る。しかし、圧縮及び解凍プロセス(例えば、
図2A~
図2Bの量子化段階214)における情報損失により、概して、映像ストリーム304は、映像シーケンス202と同一ではない。
図2A~
図2Bのプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化される各ピクチャについて、基本処理単位(BPU)のレベルでプロセス300Aを実行することができる。例えば、復号器は、プロセス300Aを反復的な方法で実行することができ、復号器は、プロセス300Aの1回の反復で基本処理単位を復号することができる。一部の実施形態では、復号器は、映像ビットストリーム228内に符号化される各ピクチャの領域(例えば、領域114~118)についてプロセス300Aを並列に実行することができる。
【0055】
[0063]
図3Aでは、復号器は、符号化されたピクチャの基本処理単位(「符号化されたBPU」と呼ぶ)に関連する映像ビットストリーム228の一部を、バイナリ復号段階302にフィードすることができる。バイナリ復号段階302では、復号器は、当該一部を予測データ206及び量子化された変換係数216に復号することができる。復号器は、量子化された変換係数216を逆量子化段階218及び逆変換段階220にフィードして、再構築された残差BPU222を生成することができる。復号器は、予測データ206を予測段階204にフィードして、予測BPU208を生成することができる。復号器は、再構築された残差BPU222を、予測BPU208に加えて、予測基準224を生成することができる。一部の実施形態では、予測基準224がバッファ(例えば、コンピュータメモリ内の復号されたピクチャバッファ)内に記憶され得る。復号器は、プロセス300Aの次の反復内で予測操作を行うための予測基準224を予測段階204にフィードすることができる。
【0056】
[0064] 復号器は、プロセス300Aを反復的に実行して、符号化されたピクチャの各符号化されたBPUを復号し、符号化されたピクチャの次の符号化されたBPUを符号化するための予測基準224を生成することができる。符号化されたピクチャの全ての符号化されたBPUを復号した後、復号器は、表示するためにピクチャを映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化されたピクチャの復号に進むことができる。
【0057】
[0065] バイナリ復号段階302では、復号器は、符号器が使用したバイナリコード化技法(例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は他の任意の可逆圧縮アルゴリズム)の逆操作を行うことができる。一部の実施形態では、予測データ206及び量子化された変換係数216に加えて、復号器は、例えば、予測モード、予測操作のパラメータ、変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)等の他の情報をバイナリ復号段階302で復号することができる。一部の実施形態では、映像ビットストリーム228がネットワーク上においてパケット単位で伝送される場合、復号器は、映像ビットストリーム228をデパケット化してからそれをバイナリ復号段階302にフィードすることができる。
【0058】
[0066]
図3Bは、本開示の実施形態に合致する、復号プロセスの別の例300Bの概略図を示す。プロセス300Bは、プロセス300Aから修正され得る。例えば、プロセス300Bは、ハイブリッド映像コード化規格(例えば、H.26xシリーズ)に準拠する復号器によって使用され得る。プロセス300Aと比較して、プロセス300Bは、予測段階204を、空間的予測段階2042及び時間的予測段階2044にさらに分け、ループフィルタ段階232及びバッファ234を追加で含む。
【0059】
[0067] プロセス300Bでは、復号されている符号化されたピクチャ(「現ピクチャ」と呼ぶ)の符号化された基本処理単位(「現BPU」と呼ぶ)に関して、復号器によってバイナリ復号段階302から復号される予測データ206は、現BPUを符号化するために何れの予測モードが符号器によって使用されたかに応じて様々な種類のデータを含み得る。例えば、現BPUを符号化するためにイントラ予測が符号器によって使用された場合、予測データ206は、イントラ予測、イントラ予測操作のパラメータ等を示す予測モードインジケータ(例えば、フラグ値)を含み得る。イントラ予測操作のパラメータは、例えば、基準として使用される1つ又は複数の隣接BPUの位置(例えば、座標)、隣接BPUのサイズ、外挿のパラメータ、元のBPUに対する隣接BPUの方向等を含み得る。別の例では、現BPUを符号化するためにインター予測が符号器によって使用された場合、予測データ206は、インター予測、インター予測操作のパラメータ等を示す予測モードインジケータ(例えば、フラグ値)を含み得る。インター予測操作のパラメータは、例えば、現BPUに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の1つ又は複数の一致領域の位置(例えば、座標)、一致領域にそれぞれ関連する1つ又は複数の動きベクトル等を含み得る。
【0060】
[0068] 予測モードインジケータに基づき、復号器は、空間的予測段階2042で空間的予測(例えば、イントラ予測)を行うか、又は時間的予測段階2044で時間的予測(例えば、インター予測)を行うかを決めることができる。かかる空間的予測又は時間的予測の実行の詳細は、
図2Bに示されており、以下で繰り返さない。かかる空間的予測又は時間的予測を行った後、復号器は、予測BPU208を生成することができる。
図3Aに記載したように、復号器は、予測BPU208と、再構築された残差BPU222とを加えて、予測基準224を生成することができる。
【0061】
[0069] プロセス300Bでは、復号器は、プロセス300Bの次の反復内で予測操作を行うための予測基準224を空間的予測段階2042又は時間的予測段階2044にフィードすることができる。例えば、現BPUが空間的予測段階2042でイントラ予測を使用して復号される場合、予測基準224(例えば、復号された現BPU)を生成した後、復号器は、後に使用するために(例えば、現ピクチャの次のBPUを外挿するために)空間的予測段階2042に予測基準224を直接フィードすることができる。現BPUが時間的予測段階2044でインター予測を使用して復号される場合、予測基準224(例えば、全てのBPUが復号されている参照ピクチャ)を生成した後、復号器は、ループフィルタ段階232に予測基準224をフィードして、歪み(例えば、ブロッキングアーティファクト)を減らすか又はなくすことができる。復号器は、
図2Bに記載した方法で予測基準224にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後に使用するために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測参照ピクチャとして使用するために)バッファ234(例えば、コンピュータメモリ内の復号されたピクチャバッファ)内に記憶することができる。復号器は、時間的予測段階2044で使用するために1つ又は複数の参照ピクチャをバッファ234内に記憶することができる。一部の実施形態では、予測データは、ループフィルタのパラメータ(例えば、ループフィルタの強度)をさらに含み得る。一部の実施形態では、予測データは、予測データ206の予測モードインジケータが、現在のBPUを符号化するためにインター予測が使用されたことを示す場合、ループフィルタのパラメータを含む。
【0062】
[0070]
図4は、本開示の実施形態に合致する、映像を符号化又は復号するための機器400の一例のブロック図である。
図4に示すように、機器400は、プロセッサ402を含み得る。プロセッサ402が本明細書に記載の命令を実行するとき、機器400は、映像を符号化又は復号するための専用マシンになり得る。プロセッサ402は、情報を操作又は処理することができる任意の種類の回路であり得る。例えば、プロセッサ402は、任意の数の中央処理装置(「CPU」)、グラフィックス処理装置(「GPU」)、ニューラル処理ユニット(「NPU」)、マイクロコントローラユニット(「MCU」)、光プロセッサ、プログラム可能論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP)コア、プログラム可能論理アレイ(PLA)、プログラム可能アレイ論理(PAL)、汎用アレイ論理(GAL)、複合プログラム可能論理装置(CPLD)、書換可能ゲートアレイ(FPGA)、システムオンチップ(SoC)、特定用途向け集積回路(ASIC)等の任意の組み合わせを含み得る。一部の実施形態では、プロセッサ402は、単一の論理構成要素としてグループ化されるプロセッサの組であり得る。例えば、
図4に示すように、プロセッサ402は、プロセッサ402a、プロセッサ402b及びプロセッサ402nを含む複数のプロセッサを含み得る。
【0063】
[0071] 機器400は、データ(例えば、命令、コンピュータコード、中間データ等の組)を記憶するように構成されるメモリ404も含み得る。例えば、
図4に示すように、記憶データは、プログラム命令(例えば、プロセス200A、200B、300A又は300B内の段階を実装するためのプログラム命令)及び処理用データ(例えば、映像シーケンス202、映像ビットストリーム228又は映像ストリーム304)を含み得る。プロセッサ402は、プログラム命令及び処理用データに(例えば、バス410を介して)アクセスし、プログラム命令を実行して処理用データに対する操作又は処理を行うことができる。メモリ404は、高速ランダムアクセス記憶装置又は不揮発性記憶装置を含み得る。一部の実施形態では、メモリ404は、任意の数のランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD)カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF)カード等の任意の組み合わせを含み得る。メモリ404は、単一の論理構成要素としてグループ化される(
図4には不図示の)メモリ群でもあり得る。
【0064】
[0072] 内蔵バス(例えば、CPUメモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、周辺機器コンポーネント相互接続エクスプレスポート)等のバス410は、機器400内の構成要素間でデータを転送する通信装置であり得る。
【0065】
[0073] 曖昧さを招くことなく説明を簡単にするために、本開示では、プロセッサ402及び他のデータ処理回路をまとめて「データ処理回路」と呼ぶ。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールであり得るか、又は機器400の他の任意の構成要素内に完全に若しくは部分的に組み合わされ得る。
【0066】
[0074] 機器400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク等)との有線通信又は無線通信を提供するためのネットワークインタフェース406をさらに含み得る。一部の実施形態では、ネットワークインタフェース406は、任意の数のネットワークインタフェースコントローラ(NIC)、無線周波数(RF)モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth(登録商標)アダプタ、赤外線アダプタ、近距離無線通信(「NFC」)アダプタ、セルラネットワークチップ等の任意の組み合わせを含み得る。
【0067】
[0075] 一部の実施形態では、1つ又は複数の周辺装置への接続を提供するための周辺装置インタフェース408を任意選択的に機器400がさらに含み得る。
図4に示すように、周辺装置は、これのみに限定されないが、カーソル制御装置(例えば、マウス、タッチパッド又はタッチスクリーン)、キーボード、ディスプレイ(例えば、ブラウン管ディスプレイ、液晶ディスプレイ又は発光ダイオードディスプレイ)、映像入力装置(例えば、映像アーカイブに結合されるカメラ又は入力インタフェース)等を含み得る。
【0068】
[0076] 映像コーデック(例えば、プロセス200A、200B、300A又は300Bを実行するコーデック)は、機器400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意すべきである。例えば、プロセス200A、200B、300A又は300Bの一部の又は全ての段階は、メモリ404内にロード可能なプログラム命令等の機器400の1つ又は複数のソフトウェアモジュールとして実装され得る。別の例では、プロセス200A、200B、300A又は300Bの一部の又は全ての段階は、専用データ処理回路(例えば、FPGA、ASIC、NPU等)等の機器400の1つ又は複数のハードウェアモジュールとして実装され得る。
【0069】
[0077] 次に、VVCで使用されるルマイントラ予測モード及びクロマイントラ予測モードを説明する。VVCでは、コード化ツリー方式は、ルマ成分及びクロマ成分のそれぞれに対して別個のブロックツリー構造をサポートする。CTUは、3つのCTB(コード化ツリーブロック)、すなわち1つのルマCTB(Y)及び2つのクロマCTB(Cb及びCr)を含み得る。Pスライス及びBスライスの場合、1つのCTU内のルマCTB及びクロマCTBは、同じコード化ツリー構造を共有する。一方、Iスライスの場合、ルマCTB及びクロマCTBは、別個のブロックツリー構造を有し得る。別個のブロックツリー構造が適用される場合、ルマCTBは、1つのコード化ツリー構造を用いてCUに分割され、クロマCTBは、別のコード化ツリー構造を用いてクロマCUに分割される。これは、IスライスのCUが、ルマ成分のコード化ブロック又は2つのクロマ成分のコード化ブロックの何れかを含み得ることと、Pスライス又はBスライスのCUが、映像がモノクロ(クロマ成分がないことを意味する)でない限り、3つの色成分の全てのコード化ブロックを常に含むこととを意味する。
【0070】
[0078] 開示する実施形態と合致して、VVCは、ルマ成分に対して以下のイントラ予測モード:平面モード、DCモード、角度イントラ予測モード、マルチ参照ライン(MRL)予測モード、イントラサブ分割(ISP)モード、及び行列ベースのイントラ予測(MIP)モードをサポートする。以下では、これらのイントラ予測モードを詳細に説明する。
【0071】
[0079] 角度イントラ予測は、HEVC及びVVCでサポートされる方向性イントラ予測方法である。自然な映像に現れる任意のエッジ方向を捕捉するために、VVCの角度イントラ予測モードの数は、HEVCで使用される33から65に拡張される。
図5では、HEVCにはない新しい角度イントラ予測モードを点線の矢印で描いている。
【0072】
[0080] HEVCの場合と同様に、VVCでも、2つの非角度イントラ予測モードであるDCモード及び平面モードがサポートされる。従って、
図5は、合計で67個のイントラ予測モードを示す。DCイントラ予測モードは、予測生成のためにブロックに対する参照サンプルの平均サンプル値を使用する。VVCは、長方形ブロックの長辺に沿った参照サンプルのみを使用して平均値を計算するが、正方形ブロックの場合、左辺及び上辺の両方からの参照サンプルが使用される。平面モードでは、予測サンプル値は、4つの参照サンプル値の加重平均として得られる。ここでは、現在のサンプルと同じ行又は列の参照サンプル並びにブロックに対して左下及び右上の位置にある参照サンプルが使用される。
【0073】
[0081] MRLモードの場合、隣接サンプルの直接近接するラインに加えて、2つの非近接参照ラインの一方は、VVCにおけるイントラ予測の入力を含み得る。
【0074】
[0082] ISPモードは、ルマイントラ予測ブロックを、ブロックサイズに応じて垂直方向又は水平方向に2つ又は4つのサブ分割に分ける。各サブ分割に対して、予測及び変換コード化操作が個別に行われるが、イントラ予測モードは、全てのサブ分割にわたって共有される。
【0075】
[0083] MIPモードは、VVCに新たに追加されたイントラ予測技術である。幅W及び高さHのブロックのサンプルを予測するために、MIPは、ブロックの左にあるH個の再構築された隣接境界サンプルの1つのライン、及びブロックの上にあるW個の再構築された隣接境界サンプルの1つのラインを入力とする。予測信号の生成は、以下の3つのステップ:参照サンプルのダウンサンプリング、行列ベクトルの乗算、及び線形補間による結果のアップサンプリングに基づく。
【0076】
[0084] 強化圧縮モデル(ECM)では、VVCを超えるいくつかの映像圧縮技術が検討されている。2つのルマイントラ予測モード、すなわち復号器側イントラモード導出(DIMD)モード、及びテンプレートベースイントラモード導出(TIMD)モードが提案されている。DIMDが適用される場合、65個の角度モードからの2つのイントラ予測モードが、再構築された隣接サンプルから導出され、これらの2つの予測子は、勾配から導出された重みを使用することによって平面モード予測子と結合される。TIMDが適用されると、リスト内の各イントラ予測モードに対して、テンプレートの予測サンプルと再構築されたサンプルとの間のSATDが計算される。最小のSATDを有する最初の2つのイントラ予測モードが選択され、SATDから導出された重みで融合される。
【0077】
[0085] 次に、クロマイントラ予測モードを説明する。VVCにおけるクロマ成分に対して有効なイントラ予測モードは、CCLM_LT、CCLM_L、及びCCLM_Tを含む3つのクロス成分線形モデル(CCLM)モードと、ダイレクトモード(DM)と、4つのデフォルトイントラ予測モードとである。以下では、これらのクロマイントラ予測モードを詳細に説明する。
【0078】
[0086] クロス成分の冗長性を低減するために、VVCでは、3つのCCLM予測モードが使用され、ブロックのクロマ成分は、ブロックに近接する、既に再構築されたルマサンプル及びクロマサンプルからパラメータが導出された線形モデルにより、コロケートされた再構築ルマサンプルから予測され得る。クロマサンプルは、式1に従って予測され得る。
【数1】
式中、pred
c(i,j)は、現在のクロマブロックにおける予測クロマサンプルを表し、
【数2】
は、非4:4:4カラーフォーマットの場合にダウンサンプリングされたコロケートされた再構築ルマサンプルを表す。線形モデルパラメータα及びβは、明示的なシグナリングなしに、符号器側及び復号器側の両方において、再構築された隣接ルマサンプル及びクロマサンプルに基づいて導出される。
【0079】
[0087] VVCでは、3つのCCLMモード、すなわちCCLM_LTモード、CCLM_Lモード、及びCCLM_Tモードが指定される。これらの3つのモードは、線形モデルパラメータの導出に使用される再構築された隣接サンプルの位置に関して互いに異なる。上部境界からのサンプルは、CCLM_Tモードに関与し、左側境界からのサンプルは、CCLM_Lモードに関与する。CCLM_LTモードでは、上部境界及び左側境界両方からのサンプルが使用される。
【0080】
[0088] 4:2:0又は4:2:2のカラーフォーマットの映像シーケンスのクロマサンプル位置を一致させるために、2種類のダウンサンプリングフィルタをルマサンプルに適用することができ、これらの両方は、水平方向及び垂直方向に2対1のダウンサンプリング比を有する。SPSレベルのフラグ情報に基づいて、2次元の6タップ(式2におけるf
1)又は5タップ(式2におけるf
2)フィルタが、現在のブロック内のルマサンプル及びその隣接ルマサンプルに適用される。
【数3】
【0081】
[0089] 線形モデルパラメータα及びβは、シグナリングオーバーヘッドを回避するために、符号器側及び復号器側の両方において、再構築された隣接ルマサンプル及びクロマサンプルに基づいて導出される。CCLMモードの最初に採用されたバージョンでは、パラメータの導出のために、線形最小平均二乗誤差(LMMSE)推定器を使用した。
【数4】
式中、L(n)は、ダウンサンプリングされた上部又は左側に隣接する再構築されたルマサンプルを表し、C(n)は、上部又は左側に隣接する再構築されたクロマサンプルを表し、Nの値は、使用されるサンプルの数に等しい。
【0082】
[0090] しかし、最終的な設計では、計算の複雑さを軽減するために、4つのサンプルのみが含まれる。M×Nのクロマブロックの場合、CCLM_LTモードで使用される4つのサンプルは、上部境界のM/4及び3M/4の位置、並びに左側境界のN/4及び3N/4の位置にあるサンプルである。CCLM_Tモード及びCCLM_Lモードでは、上部境界及び左側境界は、(M+N)個のサンプルのサイズに拡張され、モデルパラメータの導出に使用される4つのサンプルは、(M+N)/8、3(M+N)/8、5(M+N)/8及び7(M+N)/8の位置にある。4つのサンプルが選択された後、4つの比較演算を使用して、その中で最も小さい2つのルマサンプル値、及び最も大きい2つのルマサンプル値を決定する。L
maxは、最も大きい2つのルマサンプル値の平均を表し、L
minは、最も小さい2つのルマサンプル値の平均を表すものとする。同様に、C
max及びC
minは、対応するクロマサンプル値の平均を表すものとする。その場合、線形モデルのパラメータが得られる。
【数5】
【0083】
[0091] ECMでは、3つのマルチモデルLM(MMLM)モード:MMLM_LT、MMLM_L、及びMMLM_Tを追加することにより、VVCに含まれるCCLMが拡張される。各MMLMモードでは、再構築された隣接サンプルは、ルマ再構築隣接サンプルの平均である閾値を用いて2つのクラスに分類される。各クラスの線形モデルは、LMMSE法を用いて導出される。予測精度を向上させるために、ECMには、LMモードの2つの変形モード:畳み込みクロス成分モデル(Convolutional Cross-Component Model)(CCCM)モード、及び勾配線形モデル(Gradient Linear Model)(GLM)モードも含まれる。CCCMモードでは、現在のクロマサンプルを予測するために、隣接するダウンサンプリングされたルマサンプルも使用され、これにより、モデルパラメータの数が7に拡張される。GLMでは、現在のクロマサンプルを予測するためにルマ勾配が使用される。
【0084】
[0092] 上記で説明したように、VVCのクロマ成分に対して有効なイントラ予測モードには、DMモードが含まれる。DMモードが使用される場合、対応するルマブロックのイントラ予測モードは、クロマイントラモードを以下のように決定する。対応するルマブロックが平面モード、DCモード、又は角度モードを使用する場合、同じモードが使用される。対応するルマブロックがイントラブロックコピー(IBC)又はパレットモードを使用してコード化される場合、DCモードが使用される。対応するルマブロックがブロックDPCM(BDPCM)モードを使用してコード化される場合、BDPCMの方向に応じて、水平又は垂直イントラ予測モードの何れかが使用される。対応するルマブロックがMIPを使用する場合、並びにクロマカラーフォーマットが4:4:4であり、単一分割ツリーが適用される場合、クロマブロックに対して同じMIPモードが適用され、そうでない場合、平面モードが適用される。Bスライス及びPスライスの場合、対応するルマブロックは、現在のクロマブロックと同じ位置のルマブロックを表す。Iスライスの場合、ルマ成分及びクロマ成分に対して別個のブロック分割構造が有効であるため、1つのクロマコード化ブロックが複数のルマコード化ブロックに対応し得る。例えば、
図6は、クロマコード化ブロック610が、Iスライスにおいて複数のコロケートされたルマコード化ブロック620を有することを示す。対応するルマブロック625は、中心位置ルマサンプル630を含むルマコード化ブロックである。
【0085】
[0093] 上記で説明したように、VVCにおけるクロマイントラ予測モードには、4つのデフォルトイントラ予測モードも含まれる。CCLMモード及びDMモードが使用されない場合、4つのデフォルトの非DMモードがリスト{平面モード、垂直モード、水平モード、DCモード}によって与えられる。DMモードが既にそのリストに属している(すなわちDMモードが4つのモードの1つと同じである)場合、リスト内のそのモードは、モードインデックスが66の角度モードに置き換えられる。
【0086】
[0094] クロマイントラモードのシグナリングでは、まず、CCLMが適用されるか否かを示すフラグcclm_mode_flagがシグナリングされる。cclm_mode_flagが真としてシグナリングされた場合、3つのCCLMモードの何れが適用されるかを示すために、インデックスcclm_mode_idxがシグナリングされる。非CCLMの場合、DMモード及び4つのデフォルトの非DMモードの何れが適用されるかを示すために、シンタックスintra_chroma_pred_modeがシグナリングされる。intra_chroma_pred_modeの二値化プロセス及び対応するクロマイントラ予測モードを表1に示す。intra_chroma_pred_modeの最初のビンが0に等しい場合、それは、DMモードが適用されることを意味する。intra_chroma_pred_modeの最初のビンが1に等しい場合、それは、4つのデフォルトの非DMモードの1つが適用されることを意味する。従って、intra_chroma_pred_modeの最初のビンは、DMモードが適用されるか否かを示すDMフラグと見なすことができる。DMモードが使用されない場合、4つの非DMモードの何れが使用されるかを決定するために、固定長符号語を用いて、0~3の範囲のインデックスが2ビットずつ二値化される。
【0087】
【0088】
[0095] 開示する実施形態と合致して、クロマイントラ予測のために復号器側導出クロマモードも使用することができる。クロマイントラ予測モードは、符号器側及び復号器側の両方において、現在のクロマブロックに近接する、コロケートされた再構成されたルマサンプル又は再構成されたクロマサンプルのテクスチャ勾配に基づいて導出され得る。
【0089】
[0096] 開示する実施形態と合致して、CCLM-角度予測モードと呼ばれる新しいクロマイントラ予測モードもクロマイントラ予測に使用され得る。現在のクロマブロックのクロマイントラ予測が角度モードである場合、CCLM-角度モードが適用されるか否かを示すためにフラグがシグナリングされる。CCLM-角度モードが適用される場合、角度イントラ予測モード及びMMLM_LTモード予測の両方が行われ、最終的な予測は、角度イントラ予測及びMMLM_LTモード予測の平均となるように設定される。
【0090】
[0097] 上記の実施形態では、クロマブロックで利用可能なイントラ予測モードの数は、ルマブロックで利用可能なイントラ予測モードの数よりも少ない。そのため、クロマブロックのイントラ予測結果は、ルマブロックのイントラ予測結果ほど正確でない場合がある。クロマイントラ予測は、成分間相関を用いるいくつかの予測モード、及び空間相関を用いるいくつかの予測モードを有する。従って、異なるクロマイントラ予測モードを融合させることにより、クロマイントラ予測の精度を向上させることができる。
【0091】
[0098] 本開示では、クロマイントラ予測のコード化効率を向上させるために、いくつかのクロマイントラ予測モードをマージすることが提案される。すなわち、異なるクロマイントラ予測モードによって得られる予測サンプル値は、より正確な予測サンプルを得るために重み付けされる。
【0092】
[0099] 一部の実施形態では、n個の異なる予測子を取得して、現在のクロマブロックに対してイントラ予測を行うために、n個の異なるクロマイントラ予測モードが用いられ、かかるn個の予測子は、最終的な予測子を得るために重み付けされる。予測子は、コード化ブロックの予測サンプル値を指す。異なる予測子は、式6に従って融合することができる。
pred(i,j)=w0*pred0(i,j)+w1*pred1(i,j)+・・・+wn-1*predn-1(i,j) (式6)
式中、pred(i,j)は、現在のクロマブロックにおける最終的な予測クロマサンプルを表し、predk(i,j)は、k番目のクロマイントラ予測モードによって得られる現在のクロマブロックの予測クロマサンプルを表し、wkは、k番目のクロマイントラ予測モードの重みを表す(0≦k<n)。
【0093】
[0100] 融合に関与するn個のクロマイントラ予測モードは、クロマブロックで利用可能なイントラ予測モードの任意のn個のモードであり得、nの値は、1より大きく、及び利用可能なクロマイントラ予測モードの数以下である。例えば、n個のクロマイントラ予測モードは、CCLM_LTモード、CCLM_Lモード、CCLM_Tモード、MMLM_LTモード、MMLM_Lモード、MMLM_Tモード、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの任意のn個のモードであり得る。また、nの値は、2~12の任意の整数値であり得る。n個のイントラ予測モードの重みは、同じであり得るか、又は異なり得る。重みは、正の値であり、n個の重みの和は、1である。
【0094】
[0101] 一部の実施形態では、融合に関与するn個のクロマイントラ予測モードは、少なくとも1つのLMモードと、少なくとも1つの非LMモードとを含む。LMモードは、CCLM_LTモード、CCLM_Lモード、CCLM_Tモード、MMLM_LTモード、MMLM_Lモード、MMLM_Tモード、CCCMモード、及びGLMモードのうちの1つ又は複数であり得る。非LMモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つ又は複数であり得る。
【0095】
[0102] 一部の実施形態では、融合に関与するn個のクロマイントラ予測モードは、MMLM_LTモードと、少なくとも1つの非LMモードとを含む。
【0096】
[0103] 一部の実施形態では、融合に関与するn個のクロマイントラ予測モードは、復号器側導出クロマモードと、少なくとも1つのLMモードとを含む。
【0097】
[0104] 一部の実施形態では、融合に関与するn個のクロマイントラ予測モードは、現在のピクチャのスライスの種類に基づいて異なる。一例では、融合クロマイントラ予測モードは、Iスライスに対してのみ使用され、Bスライス及びPスライスに使用されない。別の例では、融合に関与するn個のクロマイントラ予測モードは、MMLM_LTモードと、1つの非LMモードとを含む。Iスライスの場合、非LMモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つであり、Bスライス及びPスライスの場合、非LMモードは、復号器側導出クロマモードである。
【0098】
[0105] 開示する実施形態と合致して、融合に関与するn個のクロマイントラ予測モードの重みは、異なる方法に従って決定され得る。
【0099】
[0106] 一部の実施形態では、異なるクロマイントラ予測モードを重み付けするために、一定の重みが使用される。一例では、均等な重みが使用される。例えば、融合に使用される2つのクロマイントラ予測モードが存在する場合、各モードの重みは、1/2に等しい。別の例では、不均等な重みが使用される。別の例では、2つのクロマイントラ予測モードが融合に使用され、一方のモードはLMモードであり、他方のモードは非LMモードである。この場合、LMモードの重みは1/4に等しく、非LMモードの重みは3/4に等しい。又はLMモードの重みは3/4に等しく、非LMモードの重みは1/4に等しい。
【0100】
[0107] 一部の実施形態では、融合クロマイントラ予測モードのために、重みの複数の組を選択することができ、何れの選択された重みの組が現在のコード化ブロックに使用されるかを示すためにインデックスが用いられる。具体的には、符号器は、レート-歪み最適化(RDO)決定を通して最良の重みインデックスを選択し、ビットストリームに対してそのインデックスをシグナリングし、復号器は、ビットストリームからそのインデックスを取得することができる。一例では、融合に使用される2つのクロマイントラ予測モードが存在し、3つの重みの組を選択することができる{w0=1/4,w1=3/4;w0=1/2,w1=1/2;w0=3/4,w1=1/4}。現在のブロックに何れの重みの組が使用されるかを示すために、0~2のインデックスがシグナリングされる。
【0101】
[0108] 一部の実施形態では、重みの複数の組は、隣接ブロックのクロマ予測モードに基づいて選択され得る。一例では、融合に使用される2つのクロマイントラ予測モードが存在し、一方のモードは、LMモードであり、他方のモードは、非LMモードである。その場合、各モードの重みは、上方近接クロマブロック及び左近接クロマブロックのクロマ予測モードに基づいて決定され得る。具体的には、上方に隣接するもの及び左に隣接するものの両方がLMモードコード化される場合、LMモード及び非LMモードの重みは、{3/4,1/4}であり、上方に隣接するもの及び左に隣接するものの両方が非LMモードコード化される場合、LMモード及び非LMモードの重みは、{1/4,3/4}であり、上方に隣接するもの及び左に隣接するものの一方がLMモードコード化され、他方が非LMモードコード化される場合、LMモード及び非LMモードの重みは、{1/2,1/2}である。特に、隣接するもののクロマイントラ予測モードが提案された融合モードである場合、それは、現在のクロマブロックの重み導出のためにLMモード若しくは非LMモードと見なされるか、又は隣接するクロマブロックの重みが現在のクロマブロックに直接使用される。
【0102】
[0109] 一部の実施形態では、複数の重みの組は、融合に使用されるクロマ予測モード及び現在のクロマブロックのサンプル位置に基づいて選択され得る。例えば、融合に使用される2つのクロマイントラ予測モードが存在し、一方のモードは非角度モードであり、他方のモードは角度モードである。非角度モードは、平面モード、DCモード、及びLMモードのうちの1つ又は複数であり得る。その場合、各モードの重みは、以下の例で示すように、角度モード及びサンプル位置に基づいて決定され得る。
【0103】
[0110] 一例では、まず、クロマブロックを垂直方向(水平モードの場合)又は水平方向(垂直モードの場合)に4つの等面積の領域に分割し、各領域に対して異なる重みを使用する。例えば、4つの重みの組(w0,w1)=(6/8,2/8)、(w0,w1)=(5/8,3/8)、(w0,w1)=(3/8,5/8)及び(w0,w1)=(2/8,6/8)が4つの領域にそれぞれ使用される。w0は、角度モードに使用され、w1は、非角度モードに使用される。水平モードは、34未満のモードインデックスを有する角度モードに対応し、垂直モードは、34を超えるモードインデックスを有する角度モードに対応する。
【0104】
[0111] 別の例では、各モードの重みは、角度モード方向に基づく、現在のサンプルと参照サンプルとの間の距離に関連する。角度モードに使用されるw0は、距離に比例し、非角度モードに使用されるw1は、距離に反比例する。
【0105】
[0112] 一部の実施形態では、複数の重みの組を選択するための上記の実施形態を組み合わせることができる。例えば、融合に使用される2つのクロマイントラ予測モードが存在し、一方のモードはLMモードであり、他方のモードは非LMモードである。非LMモードが非角度モードである場合、重みは、隣接ブロックのクロマ予測モードに基づいて選択され得、非LMモードが角度モードである場合、重みは、融合に使用されるクロマ予測モード及び現在のクロマブロックのサンプル位置に基づいて選択され得る。
【0106】
[0113] 一部の実施形態では、重みは、現在のピクチャのスライスの種類に基づいて異なり得る。例えば、Iスライスについては、隣接ブロックのイントラ予測モードに基づいて重みを選択する方法が使用されるが、Bスライス及びPスライスについては、等しい重みが使用される。
【0107】
[0114] 本開示は、融合に関与するクロマイントラ予測モードをシグナリングする方法も提供する。クロマブロックが、イントラ予測のための提案された融合モードを使用するように選択された場合、融合に関与するクロマイントラ予測モードは、明示的なシグナリングによって取得され得るか、現在のブロックの情報から暗黙的に導出され得るか、又は2つの方法の組み合わせであり得る。
【0108】
[0115] 一部の実施形態では、何れのモードが融合に関与するかを決定するために、明示的なシグナリング方法が使用される。例えば、2つのモードのみを重み付けすることが許容され、一方のモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つであり、他方のモードは、CCLM_LTモード、及びMMLM_LTモードのうちの1つである。次に、DMモード、4つのデフォルトモード、又は復号器側導出クロマモードをシグナリングした後、他方のモードとマージするか否かを示すためにフラグがシグナリングされる。このフラグが真である場合、CCLM_LTモード又はMMLM_LTモードの何れとマージするかを示すために、別のフラグがシグナリングされる。
【0109】
[0116] 一部の実施形態では、何れのモードが融合に関与するかを決定するために、暗黙的な方法が使用される。例えば、2つのモードのみを重み付けすることが許容され、一方のモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つであり、他方のモードは、CCLM_LTモード、CCLM_Lモード、及びCCLM_Tモードのうちの1つである。次に、DMモード、4つのデフォルトモード、又は復号器側導出クロマモードをシグナリングした後、他方のモードとマージするか否かを示すためにフラグがシグナリングされる。このフラグが真である場合、他のモードは、第1のモードに基づいて決定される。第1のモードが非角度モードである場合、第2のモードは、CCLM_LTモードと決定され、第1のモードが水平モードである場合、第2のモードは、CCLM_Lモードと決定され、第1のモードが垂直モードである場合、第2のモードは、CCLM_Tモードと決定される。
【0110】
[0117] 一部の実施形態では、何れのモードが融合に関与するかを決定するために、明示的なシグナリング方法及び暗黙的な方法が組み合わされる。例えば、2つのモードのみを重み付けすることが許容され、一方のモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つであり、他方のモードは、CCLM_LTモード、CCLM_Lモード、CCLM_Tモード、MMLM_LTモード、MMLM_Lモード、及びMMLM_Tモードのうちの1つである。次に、DMモード、4つのデフォルトモード、又は復号器側導出クロマモードをシグナリングした後、他方のモードとマージするか否かを示すためにフラグがシグナリングされる。このフラグが真である場合、CCLMモード又はMMLMモードの何れとマージするかを示すために、別のフラグがシグナリングされる。次に、第1のモードに基づいて、他方のモードがさらに決定される。第1のモードが非角度モードである場合、第2のモードは、CCLM_LT/MMLM_LTモードと決定され、第1のモードが水平モードである場合、第2のモードは、CCLM_L/MMLM_Lモードと決定され、第1のモードが垂直モードである場合、第2のモードは、CCLM_T/MMLM_Tモードと決定される。
【0111】
[0118] 本開示によって提供される実施形態は、自由に組み合わせることができる。一例では、融合に使用される2つのクロマイントラ予測モードが存在し、一方のモードは非LMモードであり、他方のモードはMMLM_LTモードである。非LMモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つであり得る。また、非LMモード及びMMLM_LTモードの重みは、隣接ブロックのクロマ予測モードに基づいて決定される。具体的には、上方に隣接するブロック及び左に隣接するブロックの両方がLMモードコード化される場合、MMLM_LTモード及び非LMモードの重みは、{3/4,1/4}であり、上方に隣接するブロック及び左に隣接するブロックの両方が非LMモードコード化される場合、MMLM_LTモード及び非LMモードの重みは、{1/4,3/4}であり、上方に隣接するブロック及び左に隣接するブロックの一方がLMモードコード化され、他方が非LMモードコード化される場合、MMLM_LTモード及び非LMモードの重みは、{1/2,1/2}である。特に、隣接するブロックのクロマイントラ予測モードが、提案された融合モードである場合、それは、非LMモードと見なされる。また、DMモード、4つのデフォルトモード、又は復号器側導出クロマモードをシグナリングした後、MMLM_LTモードとマージするか否かを示すためにフラグがシグナリングされる。別の例では、融合に使用される2つのクロマイントラ予測モードが存在し、一方のモードは非LMモードであり、他方のモードはMMLM_LTモードである。Iスライスに使用される非LMモードは、DMモード、4つのデフォルトモード、及び復号器側導出クロマモードのうちの1つであり得、Bスライス及びPスライスに使用される非LMモードは、復号器側導出クロマモードである。また、Iスライスに使用される非LMモード及びMMLM_LTモードの重みは、隣接ブロックのクロマ予測モードに基づいて決定され、Bスライス及びPスライスに使用される重みは、均等な重みである。
【0112】
[0119] 上記の実施形態は、符号化プロセス200A(
図2A)若しくは200B(
図2B)、又は復号プロセス300A(
図3A)若しくは300B(
図3B)等の映像データ処理プロセスの一部として行われ得る。
図7は、本開示の一部の実施形態による、映像データを処理するための方法700のフローチャートである。方法700は、複数の異なるクロマイントラ予測モードを組み合わせて(すなわち融合して)、イントラ予測クロマブロックを生成するために使用される。方法700は、クロマブロックの予測において符号器若しくは復号器によって行われ得るか、又は機器(例えば、
図4の機器400)の1つ若しくは複数のソフトウェア若しくはハードウェア構成要素によって行われ得る。例えば、1つ又は複数のプロセッサ(例えば、
図4のプロセッサ402)は、方法700を行うことができる。一部の実施形態では、方法700は、コンピュータ可読媒体で具現化されたコンピュータプログラム製品によって実装され得、コンピュータプログラム製品は、コンピュータ(例えば、
図4の機器400)によって実行される、プログラムコード等のコンピュータ実行可能命令を含む。
図7に示すように、方法700は、以下のステップ710~740を含む。
【0113】
[0120] ステップ710では、プロセッサ(例えば、
図4のプロセッサ402)は、複数のクロマイントラ予測モードを決定する。複数のクロマイントラ予測モードは、複数の予測クロマブロックをそれぞれ得るために、標的クロマブロックに適用され得る。得られた複数の予測クロマブロックを組み合わせて、最終的な予測クロマブロックを生成することができる。一部の実施形態では、複数のクロマイントラ予測モードは、少なくとも1つのLMモードと、少なくとも1つの非LMモードとを含み得る。少なくとも1つのLMモードは、CCLM_LTモード、CCLM_Lモード、CCLM_Tモード、MMLM_LTモード、MMLM_Lモード又はMMLM_Tモードの1つ又は複数を含み得る。少なくとも1つの非LMモードは、DMモード、デフォルトモード又は復号器側導出クロマモードの1つ又は複数を含み得る。一部の実施形態では、複数のクロマイントラ予測モードは、MMLM_LTモードと、少なくとも1つの非LMモードとを含み得る。一部の実施形態では、複数のクロマイントラ予測モードは、復号器側導出クロマモードと、少なくとも1つの非LMモードとを含み得る。
【0114】
[0121] 一部の実施形態では、複数のクロマイントラ予測モードは、ビットストリーム内の1つ又は複数のフラグによってシグナリングされ得る。例えば、複数のクロマイントラ予測モードは、本明細書で第1のモード及び第2のモードと呼ばれる2つのモードを含み得る。方法700が復号器(例えば、
図3Aのプロセス300A又は
図3Bのプロセス300B)によって行われる場合、プロセッサは、ビットストリーム内でシグナリングされた第1のフラグを復号し、第1のフラグの値に基づいて、DMモード、4つのデフォルトモード及び復号器側導出クロマモードを含むモードの第1の組から第1のモードを選択するか否かを決定する。プロセッサは、ビットストリーム内でシグナリングされた第2のフラグも復号し、第2のフラグの値に基づいて、CCLM_LTモード及びMMLM_LTモードを含むモードの第2の組から第2のモードを選択するか否かを決定する。これに対応して、方法700が符号器によって(例えば、
図2Aのプロセス200A又は
図2Bのプロセス200Bによって)行われる場合、プロセッサは、複数のクロマイントラ予測モードに関連付けられた1つ又は複数のフラグをビットストリームで符号化する。例えば、1つ又は複数のフラグは、複数のクロマイントラ予測モードの1つが、DMモード、4つのデフォルトモード及び復号器側導出クロマモードを含むモードの第1の組から選択されるか否かを示す第1のフラグを含み得る。また、1つ又は複数のフラグは、複数のクロマイントラ予測モードの別の1つが、CCLM_LTモード及びMMLM_LTモードを含むモードの第2の組から選択されるか否かを示す第2のフラグを含み得る。
【0115】
[0122] 一部の実施形態では、複数のクロマイントラ予測モードの1つ又は複数が暗黙的に決定され得る。例えば、複数のクロマイントラ予測モードは、本明細書で第1のモード及び第2のモードと呼ばれる2つのモードを含み得る。方法700が復号器(例えば、
図3Aのプロセス300A又は
図3Bのプロセス300B)によって行われる場合、プロセッサは、ビットストリーム内でシグナリングされたフラグを復号し、フラグの値に基づいて、DMモード、4つのデフォルトモード及び復号器側導出クロマモードを含むモードの第1の組から第1のモードを選択するか否かを決定する。次に、モードの第1の組から選択されたモードに基づいて、プロセッサは、CCLM_LTモード、CCLM_Lモード及びCCLM_Tモードを含むモードの第2の組から第2のモードを選択する。例えば、モードの第1の組から選択されたモードが非角度モードである場合、第2のモードは、CCLM_LTモードと決定され、モードの第1の組から選択されたモードが水平モードである場合、第2のモードは、CCLM_Lモードと決定され、モードの第1の組から選択されたモードが垂直モードである場合、第2のモードは、CCLM_Tモードと決定される。
【0116】
[0123] 一部の実施形態では、複数のクロマイントラ予測モードの1つ又は複数を決定するために、明示的なシグナリング方法及び暗黙的な方法が組み合わされる。例えば、複数のクロマイントラ予測モードは、本明細書で第1のモード及び第2のモードと呼ばれる2つのモードを含み得る。方法700が復号器(例えば、
図3Aのプロセス300A又は
図3Bのプロセス300B)によって行われる場合、プロセッサは、ビットストリーム内でシグナリングされた第1のフラグを復号し、第1のフラグの値に基づいて、DMモード、4つのデフォルトモード及び復号器側導出クロマモードを含むモードの第1の組から第1のモードを選択するか否かを決定する。プロセッサは、ビットストリーム内でシグナリングされた第2のフラグも復号し、第2のフラグの値に基づいて、CCLM_LTモード、CCLM_Lモード、CCLM_Tモード、MMLM_LTモード、MMLM_Lモード及びMMLM_Tモードを含むモードの第2の組から第2のモードを選択するか否かを決定する。次に、モードの第1の組から選択されたモードの種類に基づいて、プロセッサは、モードの第2の組中の何れのモードを第2のモードとして選択するべきかを決定する。例えば、モードの第1の組から選択されたモードが非角度モードである場合、第2のモードは、CCLM_LTモード又はMMLM_LTモードの一方と決定され、モードの第1の組から選択されたモードが水平モードである場合、第2のモードは、CCLM_Lモード又はMMLM_Lモードの一方と決定され、モードの第1の組から選択されたモードが垂直モードである場合、第2のモードは、CCLM_Tモード又はMMLM_Tモードの一方と決定される。
【0117】
[0124] 一部の実施形態では、プロセッサは、標的クロマブロックに関連付けられたスライスの種類に基づいて、複数のクロマイントラ予測モードを決定する。例えば、標的クロマブロックがIスライスに関連付けられていることに応答して、プロセッサは、複数のクロマイントラ予測モードが、DMモード、デフォルトモード、若しくは復号器側導出クロマモードのうちの少なくとも1つを含むと決定するか、又は標的クロマブロックがBスライス若しくはPスライスに関連付けられていることに応答して、プロセッサは、複数のクロマイントラ予測モードが復号器側導出クロマモードを含むと決定する。
【0118】
[0125] ステップ720では、プロセッサは、複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成する。このピクセルは、標的クロマブロック内にある。
【0119】
[0126] ステップ730では、プロセッサは、複数のクロマイントラ予測モードに対する複数の重みをそれぞれ決定する。複数の重みは、複数の予測クロマサンプルの加重和を決定するために使用される。複数の重みの和は、1に等しい。複数の重みは、等しくても又は等しくなくてもよい。例えば、複数のクロマイントラ予測モードが2つのモードを有する場合、プロセッサは、2つのモードの各々の重みを1/2に等しくなるように設定し得る。別の例として、複数のクロマイントラ予測モードがLMモード及び非LMモードを含むと決定された場合(ステップ710)、プロセッサは、LMモードに1/4、非LMモードに3/4のように、LMモード及び非LMモードに不均等な重みを割り当て得る。
【0120】
[0127] 一部の実施形態では、複数の重みを指すインデックスがビットストリーム内でシグナリングされ得る。具体的には、重みの複数の組及びそれらのそれぞれのインデックスを含む参照表が予め決定される。ビットストリーム内でインデックスの1つをシグナリングすることにより、映像復号器は、何れの重みの組が使用されるかを知ることができる。より具体的には、方法700が復号器(例えば、
図3Aのプロセス300A又は
図3Bのプロセス300B)によって行われる場合、プロセッサは、ビットストリーム内でシグナリングされたインデックスを復号し、参照表に基づいて、インデックスに関連付けられた重みの組を決定する。それに対応して、方法700が符号器によって(例えば、
図2Aのプロセス200A又は
図2Bのプロセス200Bによって)行われる場合、プロセッサは、参照表から、複数の予測クロマサンプルの加重和を決定するために使用される重みの組に関連付けられたインデックスを選択する。次に、プロセッサは、選択されたインデックスをビットストリーム内で符号化する。
【0121】
[0128] 一部の実施形態では、プロセッサは、標的クロマブロックの隣接クロマブロックを予測するために使用されるイントラ予測モードに基づいて、複数の重みを決定し得る。例えば、隣接クロマブロックは、標的クロマブロックの上方の隣接ブロックと、標的クロマブロックの左側の隣接ブロックとを含む。例えば、複数のクロマイントラ予測モードは、LMモード及び非LMモードを含むと決定される(ステップ710)。次に、上方及び左の隣接ブロックの両方がLMモードコード化される場合、プロセッサは、LMモード及び非LMモードの重みをそれぞれ3/4及び1/4に決定し、上方及び左の隣接ブロックの両方が非LMモードコード化される場合、プロセッサは、LMモード及び非LMモードの重みをそれぞれ1/4及び3/4に決定し、上方及び左の隣接ブロックの一方がLMモードコード化され、他方が非LMモードコード化される場合、プロセッサは、LMモード及び非LMモードの重みを等しく、すなわち1/2に決定する。一部の実施形態では、標的クロマブロックの隣接クロマブロックを予測するために使用されるイントラ予測モードに基づいた複数の重みの決定は、特定の既定の条件によってトリガされ得る。例えば、ステップ710で決定された複数のクロマイントラ予測モードがLMモード及び非LMモードを含み、及び非LMモードが非角度モードである場合、プロセッサは、標的クロマブロックの隣接クロマブロックの予測に使用されるイントラ予測モードに基づいて複数の重みを決定する方法をトリガする。
【0122】
[0129] 一部の実施形態では、プロセッサは、標的クロマブロック内のサンプル位置に基づいて、複数の重みを決定し得る。例えば、ステップ710で決定された複数のクロマイントラ予測モードは、非角度モード及び角度モードを含む。非角度モードは、平面モード、DCモード、又はLMモードのうちの1つであり得る。次に、プロセッサは、角度モード及び非角度モードの重みを以下のように決定し得る:プロセッサは、まず、標的クロマブロックを垂直方向(水平モードの場合)又は水平方向(垂直モードの場合)に4つの等面積の領域に分割し、次に各領域に対して異なる重みの組を割り当てる。別の例として、プロセッサは、角度モードに関連付けられた重みを、現在のサンプルのピクセル位置から参照サンプルのピクセル位置までの距離に比例するように設定する一方、非角度モードに関連付けられた重みを、当該距離に反比例するように設定し得る。一部の実施形態では、標的クロマブロック内のサンプル位置に基づいた複数の重みの決定は、特定の既定の条件によってトリガされ得る。例えば、ステップ710で決定された複数のクロマイントラ予測モードがLMモード及び非LMモードを含み、及び非LMモードが角度モードである場合、プロセッサは、標的クロマブロック内のサンプル位置に基づいて複数の重みを決定する方法をトリガする。
【0123】
[0130] 一部の実施形態では、プロセッサは、標的クロマブロックに関連付けられたスライスの種類に基づいて、複数の重みを決定し得る。例えば、第1の予測クロマサンプルがIスライスに関連付けられていることに応答して、プロセッサは、標的クロマブロックの1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいて、複数の重みを決定するか、又は第1の予測クロマサンプルがBスライス若しくはPスライスに関連付けられていることに応答して、プロセッサは、複数の重みが等しい値を有すると決定する。
【0124】
[0131] ステップ740では、プロセッサは、複数の予測クロマサンプルの加重和に基づいて、ピクセルに関連付けられた第1の予測クロマサンプルを決定する。第1の予測クロマサンプルは、式6に従って計算される。プロセッサは、標的クロマブロック内の各ピクセルについてこの計算を繰り返し、得られた予測クロマサンプルは、最終的な予測クロマブロックを形成する。
【0125】
[0132] 一部の実施形態では、上記の方法に従った処理のためのビットストリームを記憶する非一時的コンピュータ可読記憶媒体も提供される。例えば、ビットストリームは、融合されるクロマイントラ予測モード又はクロマイントラ予測モードにそれぞれ関連付けられた重みを示す符号化されたシンタックス要素、例えばフラグ、インデックス等を含む。また、一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うための装置(開示した符号器及び復号器等)によって実行され得る。一般的な形態の非一時的媒体には、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM及びEPROM、FLASH(登録商標)―EPROM又は他の任意のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、他の任意のメモリチップ又はカートリッジ、及び上記のもののネットワーク化されたバージョンが含まれる。装置は、1つ又は複数のプロセッサ(CPU)、入力/出力インタフェース、ネットワークインタフェース、及び/又はメモリを含み得る。
【0126】
[0133] 一部の実施形態では、コンピュータプログラム製品が提供され、プログラム製品は、コンピュータプログラム命令を含み、コンピュータプログラム命令は、コンピュータが本開示の実施形態の何れかに記載の方法のステップを実行することを可能にする。
【0127】
[0134] 一部の実施形態では、コンピュータプログラムが提供され、コンピュータプログラムは、本開示の実施形態の何れかに記載の方法のステップをコンピュータが実行することを可能にする。
【0128】
[0135] 本明細書の「第1」及び「第2」等の関係語は、あるエンティティ又は操作を別のエンティティ又は操作と区別するために使用されるに過ぎず、それらのエンティティ又は操作間のいかなる実際の関係又は順序も必要としないか又は含意しないことに留意すべきである。さらに、「含む」、「有する」、「含有する」及び「包含する」という用語並びに他の同様の形式の用語は、意味の点で均等であることを意図し、これらの用語の何れか1つの後に続く項目がかかる項目の網羅的列挙であることを意図しないか、又は列挙する項目のみに限定されることを意図しない点で非限定的であることを意図する。
【0129】
[0136] 実施形態は、以下の条項を使用してさらに説明され得る。
【0130】
[0137] 1.映像処理方法であって、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を含む映像処理方法。
【0131】
[0138] 2.複数のクロマイントラ予測モードは、少なくとも1つの線形モデル(LM)モードと、少なくとも1つの非LMモードとを含む、条項1に記載の方法。
【0132】
[0139] 3.少なくとも1つのLMモードは、クロス成分線形モデルLT(CCLM_LT)モード、CCLM_Lモード、CCLM_Tモード、マルチモデル線形モデルLT(MMLM_LT)モード、MMLM_Lモード、MMLM_Tモード、畳み込みクロス成分モデル(CCCM)モード、又は勾配線形モデル(GLM)モードのうちの1つ又は複数を含み、及び
少なくとも1つの非LMモードは、ダイレクトモード(DM)モード、デフォルトモード、又は復号器側導出クロマモードのうちの1つ又は複数を含む、条項2に記載の方法。
【0133】
[0140] 4.複数のクロマイントラ予測モードは、マルチモデル線形モデルLT(MMLM_LT)モードと、少なくとも1つの非LMモードとを含む、条項1に記載の方法。
【0134】
[0141] 5.複数のクロマイントラ予測モードは、復号器側導出クロマモードと、少なくとも1つのLMモードとを含む、条項1に記載の方法。
【0135】
[0142] 6.複数のクロマイントラ予測モードに対する複数の重みをそれぞれ決定することをさらに含み、複数の重みの和は、1に等しい、条項1に記載の方法。
【0136】
[0143] 7.複数のクロマイントラ予測モードは、第1の予測クロマサンプルを決定する際に等しく重み付けされる、条項1に記載の方法。
【0137】
[0144] 8.複数のクロマイントラ予測モードは、線形モデル(LM)モードと、非LMモードとを含み、及び
LMモード及び非LMモードは、第1の予測クロマサンプルを決定する際に不均等に重み付けされる、条項1に記載の方法。
【0138】
[0145] 9.当該方法はビットストリームの復号に使用され、及び
ビットストリーム内でシグナリングされたインデックスに基づいて、複数の重みを決定することと、
決定された複数の重みを使用して、複数の予測クロマサンプルの加重和を決定することと
をさらに含む、条項1に記載の方法。
【0139】
[0146] 10.当該方法は映像データを符号化するために使用され、及び
ビットストリームにおいて、複数の予測クロマサンプルの加重和を決定するために使用される複数の重みに関連付けられたインデックスを符号化すること
をさらに含む、条項1に記載の方法。
【0140】
[0147] 11.第1の予測クロマサンプルは、第1の予測クロマブロックの一部であり、及び当該方法は、
第1の予測クロマブロックの1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいて、複数の重みを決定することと、
決定された複数の重みを使用することにより、複数の予測クロマサンプルの加重和を決定することと
をさらに含む、条項1に記載の方法。
【0141】
[0148] 12.1つ又は複数の隣接ブロックは、第1の予測クロマブロックの上方の隣接ブロックと、第1の予測クロマブロックの左側の隣接ブロックとを含む、条項11に記載の方法。
【0142】
[0149] 13.複数のクロマイントラ予測モードは、線形モデル(LM)モードと、非LMモードとを含み、1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいた複数の重みの決定は、非LMモードが非角度モードであるとの決定によってトリガされる、条項11に記載の方法。
【0143】
[0150] 14.第1の予測クロマサンプルのピクセル位置に基づいて、複数の重みを決定することと、
決定された複数の重みを使用することにより、複数の予測クロマサンプルの加重和を決定することと
をさらに含む、条項1に記載の方法。
【0144】
[0151] 15.複数の予測クロマサンプルは、角度モードを含み、及び当該方法は、
予測クロマブロック内の第1の予測クロマサンプルのピクセル位置に基づいて、角度モードの重みを決定すること
をさらに含む、条項14に記載の方法。
【0145】
[0152] 16.複数の予測クロマサンプルは、角度モード又は非角度モードを含み、及び当該方法は、
第1の予測クロマサンプルから参照サンプルまでの距離に基づいて、角度モードの重み又は非角度モードの重みの少なくとも一方を決定すること
をさらに含む、条項14に記載の方法。
【0146】
[0153] 17.角度モードの重みは、第1の予測クロマサンプルから参照サンプルまでの距離に比例する、条項16に記載の方法。
【0147】
[0154] 18.非角度モードの重みは、第1の予測クロマサンプルから参照サンプルまでの距離に反比例する、条項16に記載の方法。
【0148】
[0155] 19.複数のクロマイントラ予測モードは、線形モデル(LM)モードと、非LMモードとを含み、第1の予測クロマサンプルの位置に基づいた複数の重みの決定は、非LMモードが角度モードであるとの決定によってトリガされる、条項14に記載の方法。
【0149】
[0156] 20.当該方法はビットストリームの復号のために使用され、及び
ビットストリーム内でシグナリングされた1つ又は複数のフラグに基づいて、複数のクロマイントラ予測モードを決定すること
をさらに含む、条項1に記載の方法。
【0150】
[0157] 21.複数のクロマイントラ予測モードは、第1のモードと、第2のモードとを含み、
ビットストリームは、クロマイントラ予測モードの第1の組と、クロマイントラ予測モードの第2の組とをシグナリングし、及び
当該方法は、
ビットストリーム内でシグナリングされた第1のフラグの値に基づいて、クロマイントラ予測モードの第1の組から第1のモードを選択するか否かを決定することと、
ビットストリーム内でシグナリングされた第2のフラグの値に基づいて、クロマイントラ予測モードの第2の組から第2のモードを選択するか否かを決定することと
をさらに含む、条項20に記載の方法。
【0151】
[0158] 22.クロマイントラ予測モードの第1の組は、DMモード、デフォルトモード、及び復号器側導出クロマモードを含み、及び
クロマイントラ予測モードの第2の組は、CCLM_LTモードと、MMLM_LTモードとを含む、条項21に記載の方法。
【0152】
[0159] 23.クロマイントラ予測モードの第1の組のうちの1つを第1のモードとして選択することと、
クロマイントラ予測モードの第1の組から選択されたモードに基づいて、クロマイントラ予測モードの第2の組のうちの1つを第2のモードとして選択することと
をさらに含む、条項21に記載の方法。
【0153】
[0160] 24.クロマイントラ予測モードの第2の組は、CCLM_LTモード、CCLM_Lモード、CCLM_Tモード、MMLM_LTモード、MMLM_Lモード、及びMMLM_Tモードを含み、及び
クロマイントラ予測モードの第2の組のうちの1つを第2のモードとして選択することは、
第1のモードが非角度モードであることに応答して、CCLM_LTモード若しくはMMLM_LTモードの一方を第2のモードとして選択すること、
第1のモードが水平モードであることに応答して、CCLM_Lモード若しくはMMLM_Lモードの一方を第2のモードとして選択すること、又は
第1モードが垂直モードであることに応答して、CCLM_Tモード若しくはMMLM_Tモードの一方を第2のモードとして選択すること
を含む、条項23に記載の方法。
【0154】
[0161] 25.複数のクロマイントラ予測モードは、第1のモードと、第2のモードとを含み、
ビットストリームは、クロマイントラ予測モードの第1の組をシグナリングし、及び
当該方法は、
ビットストリーム内でシグナリングされた第1のフラグの値に基づいて、クロマイントラ予測モードの第1の組のうちの1つを第1のモードとして選択することと、
選択されたモードに基づいて第2のモードを決定することと
をさらに含む、条項20に記載の方法。
【0155】
[0162] 26.選択されたモードに基づいて第2のモードを決定することは、
選択されたモードが非角度モードであることに応答して、第2のモードをCCLM_LTモードと決定すること、
選択されたモードが水平モードであることに応答して、第2のモードをCCLM_Lモードと決定すること、又は
選択されたモードが垂直モードであることに応答して、第2のモードをCCLM_Tモードと決定すること
を含む、条項25に記載の方法。
【0156】
[0163] 27.当該方法は映像データを符号化するために使用され、及び
ビットストリームにおいて、複数のクロマイントラ予測モードに関連付けられた1つ又は複数のフラグを符号化すること
をさらに含む、条項1に記載の方法。
【0157】
[0164] 28.第1の予測クロマサンプルに関連付けられたスライスの種類に基づいて、複数のクロマイントラ予測モードを決定することをさらに含む、条項1に記載の方法。
【0158】
[0165] 29.第1の予測クロマサンプルがIスライスに関連付けられていることに応答して、複数のクロマイントラ予測モードが、DMモード、デフォルトモード、若しくは復号器側導出クロマモードのうちの少なくとも1つを含むと決定すること、又は
第1の予測クロマサンプルがBスライス若しくはPスライスに関連付けられていることに応答して、複数のクロマイントラ予測モードが復号器側導出クロマモードを含むと決定すること
をさらに含む、条項28に記載の方法。
【0159】
[0166] 30.第1の予測クロマサンプルに関連付けられたスライスの種類に基づいて、複数の重みを決定することと、
決定された複数の重みを使用することにより、複数の予測クロマサンプルの加重和を決定することと
をさらに含む、条項1に記載の方法。
【0160】
[0167] 31.第1の予測クロマサンプルがIスライスに関連付けられていることに応答して、第1の予測クロマブロックの1つ又は複数の隣接ブロックを予測するために使用されるクロマイントラ予測モードに基づいて、複数の重みを決定すること、又は
第1の予測クロマサンプルがBスライス若しくはPスライスに関連付けられていることに応答して、複数の重みが等しい値を有すると決定すること
をさらに含む、条項30に記載の方法。
【0161】
[0168] 32.機器であって、
命令の組を記憶するように構成されたメモリと、
1つ又は複数のプロセッサと、を含み、1つ又は複数のプロセッサは、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を機器に行わせるために命令の組を実行するように構成される、機器。
【0162】
[0169] 33.方法に従った処理のための映像のビットストリームを記憶する非一時的コンピュータ可読媒体であって、当該方法は、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を含む、非一時的コンピュータ可読媒体。
【0163】
[0170] 34.映像データを処理するための方法を機器に開始させるために、機器の1つ又は複数のプロセッサによって実行可能な命令の組を記憶する非一時的コンピュータ可読媒体であって、当該方法は、
複数のクロマイントラ予測モードをそれぞれ使用することにより、ピクセルに関連付けられた複数の予測クロマサンプルを生成することと、
複数の予測クロマサンプルの加重和に基づいて、第1の予測クロマサンプルを決定することと
を含む、非一時的コンピュータ可読媒体。
【0164】
[0171] 本明細書で使用するとき、別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、あるデータベースがA又はBを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、A、B、A及びBを含むことができる。第2の例として、あるデータベースがA、B又はCを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、A、B、C、A及びB、A及びC、B及びC、A及びB及びCを含むことができる。
【0165】
[0172] 上記で説明した実施形態は、ハードウェア、ソフトウェア(プログラムコード)、又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、ソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されるとき、開示した方法を実行することができる。本開示で説明した計算ユニット及び他の機能ユニットは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって実装することができる。上記のモジュール/ユニットの複数を1つのモジュール/ユニットとして組み合わせることができ、上記のモジュール/ユニットのそれぞれを複数のサブモジュール/サブユニットにさらに分割できることも当業者であれば理解するであろう。
【0166】
[0173] 上記の本明細書では、実装形態ごとに変わり得る多数の具体的な詳細に関して実施形態を説明してきた。記載した実施形態に対する一定の適応形態及び修正形態がなされ得る。本明細書を検討し、本明細書で開示した本発明を実践することで他の実施形態が当業者に明らかになり得る。本明細書及び例は、専ら例示として検討され、本開示の真の範囲及び趣旨は、添付の特許請求の範囲によって示されることを意図する。図中に示すステップの順序は、例示目的に過ぎず、特定のステップの順序に限定されることを意図しない。そのため、それらのステップは、同じ方法を実装しながら異なる順序で実行できることを当業者であれば理解することができる。
【0167】
[0174] 図面及び本明細書で例示的実施形態を開示してきた。しかし、それらの実施形態に対する多くの改変形態及び修正形態がなされ得る。従って、特定の用語を使用したが、それらの用語は、限定目的ではなく、全般的及び説明的な意味で使用されたものに過ぎない。
【国際調査報告】