特開 2023-179709 成分間線形モデルパラメータの計算の堅牢性を強化するためのエンコーダ、デコーダ、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179709

(43)【公開日】2023-12-19

(54)【発明の名称】成分間線形モデルパラメータの計算の堅牢性を強化するためのエンコーダ、デコーダ、および方法

(51)【国際特許分類】

   H04N 19/11 20140101AFI20231212BHJP

   H04N 19/136 20140101ALI20231212BHJP

   H04N 19/176 20140101ALI20231212BHJP

   H04N 19/186 20140101ALI20231212BHJP

【ＦＩ】

H04N19/11

H04N19/136

H04N19/176

H04N19/186

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023178322

(22)【出願日】2023-10-16

(62)【分割の表示】P 2021532159の分割

【原出願日】2019-12-06

(31)【優先権主張番号】18211107.0

(32)【優先日】2018-12-07

(33)【優先権主張国・地域又は機関】EP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】クリスティアン・ヘルムリッヒ

(72)【発明者】

【氏名】ハイコ・シュヴァルツ

(72)【発明者】

【氏名】デトレフ・マルペ

(72)【発明者】

【氏名】トーマス・ヴィーガンド

(57)【要約】      （修正有）

【課題】成分間線形モデルパラメータの計算の堅牢性を強化するためのデコーダ/エンコーダを提供する。
【解決手段】デコーダは、ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）およびルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）を通る一次関数を有する直線（４３）を適合させ、ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）は、近傍のルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）は、近傍のルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定され、ルマサンプルおよび一次関数を使用してクロマサンプルを予測する、ことによっての現在のブロックを復号するように構成されている。
【選択図】図５

【特許請求の範囲】

【請求項1】

ピクチャ（１２’）のピクチャデータのブロックベース復号のためのデコーダ（２０）であって、前記デコーダ（２０）は、
現在のブロック（８０、８２、８４）の近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定し、前記ルマサンプルの第１のセットは前記ルマサンプルの第２のセットよりも小さいルマ値を有し、
ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）およびルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）を通る一次関数を有する直線（４３）を適合させ、前記ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、前記ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定され、
前記現在のブロック（８０、８２、８４）のルマサンプルおよび前記一次関数を使用して前記現在のブロック（８０、８２、８４）のクロマサンプルを予測する
ことによって前記ピクチャ（１２’）の前記現在のブロック（８０、８２、８４）を復号するように構成されている、デコーダ（２０）。

【請求項2】

イントラ予測および／またはインター予測によって前記現在のブロック（８０、８２、８４）の前記ルマサンプルを再構築するように構成されている、
請求項１に記載のデコーダ（２０）。

【請求項3】

データストリーム（１４）から前記現在のブロック（８０、８２、８４）のルマサンプル残差を復号し、
予測されたルマサンプルを取得するためにイントラ予測および／またはインター予測によって前記現在のブロック（８０、８２、８４）の前記ルマサンプルを再構築し、前記ルマサンプル残差を使用して前記予測されたルマサンプルを補正する
ように構成されている、請求項１または２に記載のデコーダ（２０）。

【請求項4】

前記現在のブロック（８０、８２、８４）の前記近傍でｎ＞１個の最小ルマ値を見つけることによって前記ルマサンプルの第１のセットを決定し、および／または
前記現在のブロック（８０、８２、８４）の前記近傍でｎ＞１個の最大ルマ値を見つけることによって前記ルマサンプルの第２のセットを決定する
ように構成されている、請求項１から３のいずれか一項に記載のデコーダ（２０）。

【請求項5】

前記現在のブロック（８０、８２、８４）の前記近傍でｎ＝２個の最小ルマ値を見つけることによって前記ルマサンプルの第１のセットを決定し、および／または
前記現在のブロック（８０、８２、８４）の前記近傍でｎ＝２個の最大ルマ値を見つけることによって前記ルマサンプルの第２のセットを決定する
ように構成されている、請求項１から３のいずれか一項に記載のデコーダ（２０）。

【請求項6】

前記直線（４３）が、前記直線（４３）の一次関数を導出するために前記ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）の平均（５３）および前記ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）の平均（５４）を通って延在するように、直線（４３）を適合させる
ように構成されている、請求項１から５のいずれか一項に記載のデコーダ（２０）。

【請求項7】

前記一次関数は式ｙ＝α・ｘ＋βによって与えられ、αは前記直線（４３）の勾配を表す第１の成分間線形モデルパラメータであり、βは前記直線（４３）のオフセットを表す第２の成分間線形モデルパラメータであり、
前記デコーダ（２０）は、
前記一次関数を使用して、前記現在のブロック（８０、８２、８４）の１つ以上のルマサンプルｘのために前記現在のブロック（８０、８２、８４）の１つ以上の対応するクロマサンプルｙを予測する
ようにさらに構成されている、請求項１から６のいずれか一項に記載のデコーダ（２０）。

【請求項8】

ピクチャ（１２）のピクチャデータのデータストリーム（１４）へのブロックベース符号化のためのエンコーダ（１０）であって、前記エンコーダ（１０）は、
現在のブロック（８０、８２、８４）の近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定し、前記ルマサンプルの第１のセットは前記ルマサンプルの第２のセットよりも小さいルマ値を有し、
ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）およびルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）を通る一次関数を有する直線（４３）を適合させ、前記ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、前記ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定され、
前記現在のブロック（８０、８２、８４）のルマサンプルおよび前記一次関数を使用して前記現在のブロック（８０、８２、８４）のクロマサンプルを予測する
ことによって前記ピクチャ（１２）の前記現在のブロック（８０、８２、８４）を符号化するように構成されている、エンコーダ（１０）。

【請求項9】

前記現在のブロック（８０、８２、８４）の前記ルマサンプルが予測されたルマサンプルを取得するためにイントラ予測および／またはインター予測によって再構築可能となるように、前記現在のブロック（８０、８２、８４）のルマサンプル残差を前記データストリーム（１４）に符号化し、前記予測されたルマサンプルは、前記ルマサンプル残差を使用して補正可能である
ように構成されている、請求項８に記載のエンコーダ（１０）。

【請求項10】

前記現在のブロック（８０、８２、８４）の前記近傍でｎ＞１個の最小ルマ値を見つけることによって前記ルマサンプルの第１のセットを決定し、および／または
前記現在のブロック（８０、８２、８４）の前記近傍でｎ＞１個の最大ルマ値を見つけることによって前記ルマサンプルの第２のセットを決定する
ように構成されている、請求項８または９に記載のエンコーダ（１０）。

【請求項11】

前記現在のブロック（８０、８２、８４）の前記近傍でｎ＝２個の最小ルマ値を見つけることによって前記ルマサンプルの第１のセットを決定し、および／または
前記現在のブロック（８０、８２、８４）の前記近傍でｎ＝２個の最大ルマ値を見つけることによって前記ルマサンプルの第２のセットを決定する
ように構成されている、請求項８または９に記載のエンコーダ（１０）。

【請求項12】

前記直線（４３）が、前記直線（４３）の一次関数を導出するために前記ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）の平均（５３）および前記ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）の平均（５４）を通って延在するように、直線（４３）を適合させる
ように構成されている、請求項８から１１のいずれか一項に記載のエンコーダ（１０）。

【請求項13】

前記一次関数は式ｙ＝α・ｘ＋βによって与えられ、αは前記直線（４３）の勾配を表す第１の成分間線形モデルパラメータであり、βは前記直線（４３）のオフセットを表す第２の成分間線形モデルパラメータであり、
前記エンコーダ（１０）は、
前記一次関数を使用して、前記現在のブロック（８０、８２、８４）の１つ以上のルマサンプルｘのために前記現在のブロック（８０、８２、８４）の１つ以上の対応するクロマサンプルｙを予測する
ようにさらに構成されている、請求項８から１２のいずれか一項に記載のエンコーダ（１０）。

【請求項14】

ピクチャ（１２’）のピクチャデータのブロックベース復号の方法であって、前記ピクチャ（１２’）の現在のブロック（８０、８２、８４）を復号するステップは、
現在のブロック（８０、８２、８４）の近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定するステップであって、前記ルマサンプルの第１のセットは前記ルマサンプルの第２のセットよりも小さいルマ値を有する、ステップと、
ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）およびルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）を通る一次関数を有する直線（４３）を適合させるステップであって、前記ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、前記ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される、ステップと、
前記現在のブロック（８０、８２、８４）のルマサンプルおよび前記一次関数を使用して前記現在のブロックのクロマサンプルを予測するステップと
を含む方法。

【請求項15】

ピクチャ（１２）のピクチャデータのブロックベース符号化の方法であって、前記ピクチャ（１２）の現在のブロック（８０、８２、８４）を符号化するステップは、
現在のブロック（８０、８２、８４）の近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定するステップであって、前記ルマサンプルの第１のセットは前記ルマサンプルの第２のセットよりも小さいルマ値を有する、ステップと、
ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）およびルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）を通る一次関数を有する直線（４３）を適合させるステップであって、前記ルマ－クロマサンプルの第１のペア（Ａ、Ａ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、前記ルマ－クロマサンプルの第２のペア（Ｂ、Ｂ’）は、前記現在のブロック（８０、８２、８４）の前記近傍の前記ルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される、ステップと、
前記現在のブロック（８０、８２、８４）のルマサンプルおよび前記一次関数を使用して前記現在のブロック（８０、８２、８４）のクロマサンプルを予測するステップと
を含む方法。

【請求項16】

コンピュータ上で実行されると、請求項１４または１５に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムが記憶された、コンピュータ可読デジタル記憶媒体。

【請求項17】

請求項１５に記載の方法によって取得されたデータストリーム（１４）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、いずれも成分間線形モデルパラメータの計算の堅牢性を強化するための発明的特徴を含む、ピクチャのピクチャデータのブロックベース復号のためのデコーダ、およびブロックベース符号化のためのエンコーダに関する。さらなる実施形態は、前記発明的特徴を利用するピクチャのピクチャデータのブロックベース復号およびブロックベース符号化のための対応する方法、ならびにコンピュータ上で実行されると、ブロックベース復号およびブロックベース符号化のための前記方法のうちの少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムが記憶された、コンピュータ可読デジタル記憶媒体に関する。いくつかの実施形態は、線適合アルゴリズムの分野、具体的には成分間線形モデル（ＣＣＬＭ）予測の分野に存在し得る。

【背景技術】

【0002】

成分間線形モデル（ＣＣＬＭ）予測は、複数の信号チャネル（ここでは、輝度／ルマおよび彩度／クロマピクチャ平面）の符号化において統計的冗長性を利用できるようにする符号化ツールである。従来、ＣＣＬＭ予測器パラメータαおよびβは、図８に示されるように、直線ｙ＝α・ｘ＋βによってデータ点（ここでは、ルマ－クロマサンプル値のペア）［ｘ，ｙ］の最小二乗平均（ＬＭＳ）近似を試みる線形回帰法を介して導出される。

【0003】

画像およびビデオ符号化の場合、このようなアプローチは、既に符号化された（１つまたは複数の）ルマサンプル値ｘからクロマサンプル値ｙを予測するために使用することができ、こうして多くの入力シーケンス［１］、［２］に対する符号化効率の改善を実現する。線形回帰ベースの線適合アルゴリズムの計算の複雑さは、特にピクチャ符号化において非常に高いので、簡略化された線適合が［２］（以下ではＪＶＥＴ－Ｌ０１９１とも呼ばれる）で最近提案され、その後ＶＶＣドラフト仕様［３］に採用された。

【0004】

［２］によれば、全ての利用可能なルマ－クロマサンプルペアから直線を決定する代わりに、この提案は、最小ルマ値を有する１つのデータ点Ａと最大ルマ値を有する１つのデータ点Ｂとの間にのみ線を適合させる。これにより、アルゴリズムに必要な演算（特に乗算）の数を削減し、ＣＣＬＭ法の主要な演算として局所的なルマ最小値および最大値の探索を残す。なお、（ＣＵ内のクロマサンプルごとに実行されるため）中程度および大きいＣＵでのモデル計算よりも多くの演算を使用する実際のＣＣＬＭ予測は、簡略化の影響を受けないことに留意されたい。

【0005】

ＪＶＥＴ－Ｌ０１９１によれば、簡略化されたＣＣＬＭ計算は、約８０行のソースコードを節約し、ランダムアクセスおよび低遅延Ｂ構成における復号実行時間を数パーセント削減する。残念ながら、ＵＨＤコンテンツ（クラスＡ）での最大約１％の彩度符号化効率の損失も報告されており［２］、これは統計的外れ値に対する簡略化されたＣＣＬＭ適合アルゴリズムの感受性の上昇に起因している可能性があり、ルマ－クロマ点の残りのセットに対する極値（最小値Ａおよび最大値Ｂ）の強い変動は、ＬＭＳベースのＣＣＬＭよりもはるかに不正確な線適合をもたらす可能性が高い。実際、このようなシナリオは、ＪＶＥＴ－Ｌ０１９１から得られた図８に示されており、実線はデータとあまり適合していない－すなわち、ＡとＢとの間のほぼ全ての残りのルマ－クロマペアは、適合線の下になっている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、線形モデルパラメータの計算の堅牢性を改善することであり、前記改善された計算は、彩度符号化効率の損失が低減されるように、統計的外れ値に対する感受性が低下する。

【課題を解決するための手段】

【0007】

本発明によれば、この目的は、請求項１に記載のデコーダ、請求項８に記載のエンコーダ、請求項１４に記載の復号の方法、請求項１５に記載の符号化の方法、および請求項１６に記載のコンピュータ可読記憶媒体を用いて達成される。

【0008】

第１の実施形態は、ピクチャのピクチャデータのブロックベース復号のためのデコーダに関する。デコーダは、一次関数を使用して現在のブロックのルマサンプルに対する現在のブロックのクロマサンプルを予測することによって、ピクチャの現在のブロックを復号するように構成されている。前記一次関数は、近傍、たとえば隣接ブロックに基づいて決定され得る。具体的には、前記一次関数は、前記近傍のルマ－クロマサンプルのペアに基づいて決定され得る。このようなルマ－クロマサンプルのペアは、ルマサンプルと、対応する、たとえば共位置にある、クロマサンプルとを含み得る。より一般的には、前記ペアは、少なくとも１つのルマサンプルと、対応する、たとえば共位置にある、クロマサンプルとを供えてもよく、これはダウンサンプリングされたクロマ表現の場合であり、２つ（４：２：２ダウンサンプリング）または４つ（４：２：０ダウンサンプリング）の共位置にあるルマサンプルに１つのクロマサンプルのみが利用可能であり得る。言い換えると、クロマダウンサンプリングされた入力の場合にルマ－クロマサンプルのペアを取得するために、ルマ－クロマサンプルの前記ペアを形成している間に暗黙的な中間ルマダウンサンプリングが実行されるので、結果的なペアは、簡潔にするために、１つのみの（暗黙的にダウンサンプリングされた）ルマサンプルと、１つの対応する、たとえば共位置にある（明示的にダウンサンプリングされた）クロマサンプルとを含む。［１］参照。近傍のルマ－クロマサンプルのペアを取得するために、デコーダは、現在のブロックの前記近傍の、ルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定するように構成されている。ルマサンプルの第１のセットおよびルマサンプルの第２のセットは各々、複数の、たとえば２つ以上のルマサンプルを含み得る。ルマサンプルの第１のセットに含まれるルマサンプルは、ルマサンプルの第２のセットに含まれるルマサンプルよりも小さいルマ値を含む。言い換えると、ルマサンプルの第１のセットは複数の小さい値のルマサンプルを含むことができ、ルマサンプルの第２のセットは複数の大きい値のルマサンプルを含むことができる。前記近傍のルマサンプルおよび対応するクロマサンプルは、前記近傍にルマ－クロマサンプルのペアを共に形成し得る。ルマサンプルの第１のセットは複数の小さい値のルマサンプルを含み得るので、小さいルマ値を有するルマ－クロマサンプルの対応する複数のペアが利用可能であり得、これらのペアは、ルマ－クロマサンプルの第１のペアとも呼ばれ得る。同様に、ルマサンプルの第２のセットは複数の高い値のルマサンプルを含み得るので、高いルマ値を有するルマ－クロマサンプルの対応する複数のペアが利用可能であり得、これらのペアは、ルマ－クロマサンプルの第２のペアとも呼ばれ得る。言い換えると、ルマ－クロマサンプルの複数の第１のペアおよびルマ－クロマサンプルの複数の第２のペアが利用可能であり得、ルマ－クロマサンプルの第１のペアは、ルマ－クロマサンプルの第２のペアに含まれるルマサンプルよりも小さいルマ値を有するルマサンプルを含む。要約すると、ルマ－クロマサンプルの第１のペアは、現在のブロックの前記近傍のルマサンプルの第１のセットおよび第１の対応する（たとえば共位置にある）クロマサンプルに基づいて決定されてもよく、ルマ－クロマサンプルの第２のペアは、現在のブロックの前記近傍のルマサンプルの第２のセットおよび第２の対応する（たとえば共位置にある）クロマサンプルに基づいて決定されてもよい。本発明の原理によれば、デコーダは、直線適合アルゴリズムに従って、ルマ－クロマサンプルの第１のペアを通る（たとえば少なくとも２つの第１のペアを通る）、およびルマ－クロマサンプルの第２のペア（たとえば少なくとも２つの第２のペア）を通る一次関数を有する直線を適合させるように構成されている。直線自体は、必ずしもルマ－クロマサンプルの複数の第１および第２のペアに接触する必要はない。より一般的な用語で言えば、これはむしろ点群を通る線を適合させると理解されてもよく、ルマ－クロマサンプルの第１および第２のペアは、前記点群内の点を表す。したがって、ルマ－クロマサンプルの複数のペアを通る直線を適合させることは、前記直線の一次関数を計算することと同義に理解することができ、前記計算は、ルマ－クロマサンプルの前記第１のペアおよび第２のペアに基づいている。デコーダは、現在のブロックの現在のルマサンプルに対する現在のブロック内の現在のクロマサンプルの予測のために、現在のブロックの近傍に集められたこの一次関数を使用するように構成されている。本発明の概念は、一次関数を計算するために、ルマ－クロマサンプルの第１のペアのうちの２つ以上のペア、およびルマ－クロマサンプルの第２のペアのうちの２つ以上のペアを使用するので、本発明の原理にしたがって適合する直線は、統計的外れ値に対して低下した感受性を有する。

【0009】

第２の実施形態は、ピクチャのピクチャデータのデータストリームへのブロックベース符号化のためのエンコーダに関し、エンコーダは、現在のブロックの近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定することによってピクチャの現在のブロックを符号化するように構成されており、ルマサンプルの第１のセットは、ルマサンプルの第２のセットよりも小さいルマ値を有する。エンコーダは、ルマ－クロマサンプルの第１のペアおよびルマ－クロマサンプルの第２のペアを通る一次関数を有する直線に適合するようにさらに構成されてもよく、ルマ－クロマサンプルの第１のペアは、現在のブロックの前記近傍のルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、ルマ－クロマサンプルの第２のペアは、現在のブロックの前記近傍のルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される。エンコーダは、現在のブロックのルマサンプルおよび前記一次関数を使用して現在のブロックのクロマサンプルを予測するように、さらに構成され得る。繰り返しを回避するために、本発明のエンコーダの利点に関する上記のデコーダの説明を参照されたい。

【0010】

第３の実施形態は、ピクチャのピクチャデータのブロックベース復号のための方法に関し、ピクチャの現在のブロックを復号するステップは、現在のブロックの近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定するステップを含み、ルマサンプルの第１のセットは、ルマサンプルの第２のセットよりも小さいルマ値を有する。方法は、ルマ－クロマサンプルの第１のペアおよびルマ－クロマサンプルの第２のペアを通る一次関数を有する直線を適合させるさらなるステップを含み、ルマ－クロマサンプルの第１のペアは、現在のブロックの前記近傍のルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、ルマ－クロマサンプルの第２のペアは、現在のブロックの前記近傍のルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される。方法は、現在のブロックのルマサンプルおよび前記一次関数を使用して現在のブロックのクロマサンプルを予測するステップをさらに含む。繰り返しを回避するために、本発明の復号方法の利点に関する上記のデコーダの説明を参照されたい。

【0011】

第４の実施形態は、ピクチャのピクチャデータのブロックベース符号化のための方法に関し、ピクチャの現在のブロックを符号化するステップは、現在のブロックの近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定するステップを含み、ルマサンプルの第１のセットは、ルマサンプルの第２のセットよりも小さいルマ値を有する。方法は、ルマ－クロマサンプルの第１のペアおよびルマ－クロマサンプルの第２のペアを通る一次関数を有する直線を適合させるさらなるステップを含み、ルマ－クロマサンプルの第１のペアは、現在のブロックの前記近傍のルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、ルマ－クロマサンプルの第２のペアは、現在のブロックの前記近傍のルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される。方法は、現在のブロックのルマサンプルおよび前記一次関数を使用して現在のブロックのクロマサンプルを予測するさらなるステップを含む。繰り返しを回避するために、本発明の符号化方法の利点に関する上記のデコーダの説明を参照されたい。

【0012】

第５の実施形態によれば、コンピュータプログラムが提供され、コンピュータプログラムの各々は、上記の方法がコンピュータプログラムのうちの１つによって実装されるように、コンピュータまたは信号プロセッサ上で実行されると、上記の方法のうちの１つを実装するように構成されている。

【0013】

以下では、下記の図面を参照して、本発明の実施形態がより詳細に記載される。

【図面の簡単な説明】

【0014】

【図1】本出願の実施形態によるイントラ予測概念が実装され得るエンコーダの一例としての、ピクチャを予測的に符号化するための装置の概略ブロック図を示す。

【図2】本出願の実施形態によるイントラ予測概念が実装され得るデコーダの一例としての、図１の装置に適合する、ピクチャを予測的に復号するための装置の概略ブロック図を示す。

【図3】符号化モード選択、変換選択、および変換性能のための細分化を設定する可能性をそれぞれ示すように、予測残差信号、予測信号、および再構築信号の間の関係の一例を示す概略図を示す。

【図4】実施形態による、適合する直線のためにエンコーダおよび／またはデコーダによって潜在的に使用され得るルマ－クロマサンプルの複数の第１および第２のペアの一例を示す。

【図5】一実施形態による、適合する直線のために、ルマ－クロマサンプルの２つのみの第１のペアおよびルマ－クロマサンプルの２つのみの第２のペアを使用する一例を示す。

【図6】一実施形態によるブロックベース復号のための方法の概略ブロック図を示す。

【図7】一実施形態によるブロックベース符号化のための方法の概略ブロック図を示す。

【図8】［２］から取られ、従来技術によるルマ－クロマサンプルの１つのみの第１のペアおよびルマ－クロマサンプルの１つのみの第２のペアを使用する簡略化された成分間線形モデル（ＣＣＬＭ）予測方法を示す。

【発明を実施するための形態】

【0015】

同一または同等の機能を有する同一または同等の１つまたは複数の要素は、以下の説明において、同一または同等の参照番号で示される。

【0016】

ブロック図によって示され、前記ブロック図を参照して記載される方法ステップはまた、図示および／または記載される順序とは異なる順序で実行されてもよい。さらに、デバイスの特定の特長に関する方法ステップは、前記デバイスの前記特徴と置き換え可能であり、その逆も同様である。

【0017】

以下の図面の説明は、本発明の実施形態が組み込まれ得る符号化フレームワークの例を形成するために、ビデオのピクチャを符号化するためのブロックベースの予測コーデックのエンコーダおよびデコーダの説明の提示から始まる。それぞれのエンコーダおよびデコーダは、図１から図３を参照して説明される。以下では、本発明の概念の実施形態の説明は、それぞれこのような概念がどのようにして図１および図２のエンコーダおよびデコーダに組み込まれ得るかの説明と共に提示されるが、後続の図４以下で説明される実施形態は、図１および図２のエンコーダおよびデコーダの基礎となる符号化フレームワークによって動作しないエンコーダおよびデコーダを形成するためにも使用され得る。

【0018】

図１は、変換ベースの残差符号化を例示的に使用して、ピクチャ１２をデータストリーム１４に予測的に符号化するための装置を示す。装置、またはエンコーダは、参照符号１０を使用して示される。図２は、対応するデコーダ２０、すなわち、やはり変換ベースの残差復号を使用して、データストリーム１４からピクチャ１２’を予測的に復号するための装置２０を示し、アポストロフィは、デコーダ２０によって再構築されたピクチャ１２’が、予測残差信号の量子化によって導入される符号化損失に関して装置１０によって元々符号化されたピクチャ１２から逸脱していることを示すために使用されている。図１および図２は、変換ベースの予測残差符号化を例示的に使用するが、本出願の実施形態は、この種の予測残差符号化に限定されない。これは、後に概説されるように、図１および図２に関して説明される他の詳細にも該当する。

【0019】

エンコーダ１０は、予測残差信号に空間スペクトル変換を受けさせ、こうして得られた予測残差信号をデータストリーム１４に符号化するように、構成されている。同様に、デコーダ２０は、データストリーム１４から予測残差信号を復号し、こうして得られた予測残差信号にスペクトル空間変換を受けさせるように、構成されている。

【0020】

内部的には、エンコーダ１０は、元の信号、すなわちピクチャ１２からの予測信号２６の逸脱を測定するように、予測残差２４を生成する予測残差信号形成器２２を含み得る。予測残差信号形成器２２は、たとえば、元の信号、すなわちピクチャ１２から予測信号を減算する減算器であってもよい。次いでエンコーダ１０は、やはりエンコーダ１０に含まれる、量子化器３２による量子化を後に受けるスペクトル領域予測残差信号２４’を取得するために、予測残差信号２４に空間スペクトル変換を受けさせる変換器２８をさらに含む。こうして量子化された予測残差信号２４’’は、ビットストリーム１４に符号化される。この目的のために、エンコーダ１０は、データストリーム１４に変換および量子化された予測残差信号をエントロピー符号化するエントロピーコーダ３４を、任意選択的に含んでもよい。予測信号２６は、データストリーム１４に符号化され、そこから復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測段３６によって生成される。この目的のために、予測段３６は、図１に示されるように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残差信号２４’’’を取得するように予測残差信号２４’’を逆量子化する逆量子化器３８と、続いて量子化損失を除いて元の予測残差信号２４に対応する予測残差信号２４’’’’を取得するために逆変換、すなわちスペクトル空間変換を後者の予測残差信号２４’’’に受けさせる逆変換器４０とを、内部に含み得る。次いで予測段３６の結合器４２は、再構築信号４６、すなわち元の信号１２の再構築を取得するように、予測信号２６および予測残差信号２４’’’’を、加算などによって再結合する。再構築信号４６は、信号１２’に対応し得る。次いで予測段３６の予測モジュール４４は、たとえば空間予測、すなわちイントラピクチャ予測、および／または時間予測、すなわちインターピクチャ予測を指標して、信号４６に基づいて予測信号２６を生成する。

【0021】

同様に、図２に示されるように、デコーダ２０は、予測段３６に対応し、これに対応するように相互接続された構成要素で、内部的に構成され得る。具体的には、デコーダ２０のエントロピーデコーダ５０は、データストリームから量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号してもよく、その際に、予測段３６のモジュールに対して上記の方法で相互接続されて協働する逆量子化器５２、逆変換器５４、結合器５６、および予測モジュール５８は、図２に示されるように、結合器５６の出力が再構築信号、すなわちピクチャ１２’をもたらすように、予測残差信号２４’’に基づいて再構築信号を回復する。

【0022】

上記では具体的に記載されないが、エンコーダ１０が、たとえば、何らかのレートおよび歪み関連基準、すなわち符号化コストを最適化するような方法で、何らかの最適化スキームにしたがって、たとえば予測モード、動きパラメータなどを含むいくつかの符号化パラメータを設定し得ることは、容易に明らかである。たとえば、エンコーダ１０およびデコーダ２０ならびに対応するモジュール４４、５８はそれぞれ、イントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートし得る。エンコーダおよびデコーダがこれらの予測モードタイプの間で切り換える粒度は、それぞれ符号化セグメントまたは符号化ブロックへのピクチャ１２および１２’の細分化に対応し得る。これらの符号化セグメントの単位で、たとえば、ピクチャは、イントラ符号化されているブロックおよびインター符号化されているブロックに細分化され得る。イントラ符号化されたブロックは、以下により詳細に概説されるように、それぞれのブロックの空間的に既に符号化／復号された近傍に基づいて予測される。指向性または角度イントラ符号化モードを含むいくつかのイントラ符号化モードが存在してもよく、これらはそれぞれのイントラ符号化されたセグメントに対して選択されてもよく、これらのモードにしたがって、それぞれのセグメントは、それぞれの指向性イントラ符号化モードに固有の特定の方向に沿って近傍のサンプル値をそれぞれのイントラ符号化されたセグメントに外挿することによって満たされる。イントラ符号化モードは、たとえば、それにしたがってそれぞれのイントラ符号化されたブロックの予測はそれぞれのイントラ符号化されたセグメント内の全てのサンプルにＤＣ値を割り当てるＤＣ符号化モード、および／またはそれにしたがってそれぞれのブロックの予測が、隣接サンプルに基づいて二次元一次関数によって画定された平面の駆動傾斜およびオフセットを有するそれぞれのイントラ符号化されたブロックのサンプル位置にわたって二次元一次関数によって記述されるサンプル値の空間的分布に近似する、または空間的分布になるように決定される、平面イントラ符号化モードなどの、１つ以上のさらなるモードを備えてもよい。これと比較して、インター符号化されたブロックは、たとえば、時間的に予測され得る。インター符号化されたブロックでは、動きベクトルはデータストリーム内でシグナリングされてもよく、動きベクトルは、ピクチャ１２が属するビデオの以前に符号化されたピクチャの部分の空間変位を示し、そこで以前に符号化／復号されたピクチャは、それぞれのインター符号化されたブロックの予測信号を取得するためにサンプリングされる。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化された変換係数レベルなどのデータストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４が、符号化モードを様々なブロックに割り当てるための符号化モードパラメータ、インター符号化されたセグメントのための動きパラメータなどのブロックのいくつかのための予測パラメータ、およびピクチャ１２および１２’のセグメントへのそれぞれの細分化を制御およびシグナリングするためのパラメータなどの任意選択的なさらなるパラメータを符号化したものであり得ることを意味する。デコーダ２０は、エンコーダが行ったのと同じ方法でピクチャを細分化し、同じ予測モードをセグメントに割り当て、同じ予測信号をもたらすために同じ予測を実行するために、これらのパラメータを使用する。

【0023】

図３は、一方では再構築信号、すなわち再構築されたピクチャ１２’間の関係、および他方では、データストリーム１４でシグナリングされた予測残差信号２４’’’’と予測信号２６との組合せを示す。既に上述されたように、組合せは加算であってもよい。予測信号２６は、ハッチングを使用して例示的に示されているイントラ符号化されたブロック、およびハッチングされずに例示的に示されているインター符号化されたブロックへの、ピクチャ領域の細分化として図３に示されている。細分化は、正方形ブロックまたは非正方形ブロックの行および列へのピクチャ領域の規則的な細分化、または四分木細分化などのようなツリールートブロックから様々なサイズの複数のリーフブロックへのピクチャ１２のマルチツリー細分化など、いずれの細分化であってもよく、その混合は図３に示されており、ピクチャ領域が最初にツリールートブロックの行および列に細分化され、次いで再帰的マルチツリー細分化にしたがって１つ以上のリーフブロックにさらに細分化される。

【0024】

ここでも、データストリーム１４は、イントラ符号化されたブロック８０のために符号化されたイントラ符号化モードを有してもよく、これはいくつかのサポートされたイントラ符号化モードのうちの１つをそれぞれのイントラ符号化されたブロック８０に割り当てる。インター符号化されたブロック８２のために、データストリーム１４は、符号化された１つ以上の動きパラメータを有してもよい。一般的に言えば、インター符号化されたブロック８２は、時間的に符号化されることに限定されない。あるいは、インター符号化されたブロック８２は、現在のピクチャ１２自体を超えて以前符号化された部分から予測されるいずれのブロックでもよく、たとえば、ピクチャ１２が属するビデオの以前符号化されたピクチャ、もしくはエンコーダおよびデコーダがそれぞれスケーラブルなエンコーダおよびデコーダである場合、別のビューまたは階層的に下位のレイヤのピクチャなどである。

【0025】

図３の予測残差信号２４’’’’もまた、ブロック８４へのピクチャ領域の細分化として示されている。これらのブロックは、符号化ブロック８０および８２と区別するために、変換ブロックと呼ばれる場合がある。実際には、図３は、エンコーダ１０およびデコーダ２０が、それぞれのブロックへのピクチャ１２およびピクチャ１２’の２つの異なる細分化、すなわち一方では符号化ブロック８０および８２にそれぞれ細分化することと、他方では変換ブロック８４への細分化を使用し得ることが、示されている。両方の細分化は同じであってもよく、すなわち各符号化ブロック８０および８２は同時に変換ブロック８４を形成してもよいが、図３は、たとえば、ブロック８０および８２の２つのブロック間のいずれの境界も２つのブロック８４の間の境界と重ならないように、変換ブロック８４への細分化が符号化ブロック８０、８２への細分化の拡張を形成する場合を示しており、言い換えると、各ブロック８０、８２は、変換ブロック８４のうちの１つと一致するか、または変換ブロック８４のクラスタと一致する。しかしながら、細分化はまた、変換ブロック８４があるいはブロック８０、８２の間のブロック境界を超えられるように、互いに独立して決定または選択されてもよい。したがって、変換ブロック８４への細分化に関する限り、ブロック８０、８２への細分化に関して提示されたものと類似の記述が真であり、すなわちブロック８４は、（行および列への配置の有無にかかわらず）ブロックへのピクチャ領域の規則的な細分化の結果、ピクチャ領域への再帰的マルチツリー細分化の結果、またはこれらの組合せ、もしくはその他いずれかの種類のブロック化であり得る。単なる余談として、ブロック８０、８２、および８４は、二次的形状、長方形、またはその他いずれかの形状であるように限定されないことに留意されたい。

【0026】

図３は、予測信号２６と予測残差信号２４’’’’との組合せが再構築信号１２’を直接もたらすことを、さらに示している。しかしながら、代替実施形態によれば、ピクチャ１２’をもたらすために２つ以上の予測信号２６が予測残差信号２４’’’’と組み合わせられてもよいことに留意すべきである。

【0027】

図３では、変換ブロック８４は、以下の重要性を有するものとする。変換器２８および逆変換器５４は、これらの変換ブロック８４を単位としてその変換を実行する。たとえば、多くのコーデックは、全ての変換ブロック８４に対して何らかの種類のＤＳＴまたはＤＣＴを使用する。いくつかのコーデックは、変換ブロック８４のいくつかについて、予測残差信号が空間領域内で直接符号化されるように、変換をスキップできるようにする。しかしながら、後述される実施形態によれば、エンコーダ１０およびデコーダ２０は、いくつかの変換をサポートするように構成されている。たとえば、エンコーダ１０およびデコーダ２０によってサポートされる変換は、以下を含むことができる。
○ ＤＣＴ－ＩＩ（またはＤＣＴ－ＩＩＩ）、ここでＤＣＴは離散コサイン変換を表す
○ ＤＳＴ－ＩＶ、ここでＤＳＴは離散サイン変換を表す
○ ＤＣＴ－ＩＶ
○ ＤＳＴ－ＶＩＩ
○ 恒等変換（ＩＴ）
当然ながら、変換器２８はこれらの変換の順変換バージョンの全てをサポートするが、デコーダ２０または逆変換器５４は、これらの対応する後方または逆バージョンをサポートする。
○ 逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
○ 逆ＤＳＴ－ＩＶ
○ 逆ＤＣＴ－ＩＶ
○ 逆ＤＳＴ－ＶＩＩ
○ 恒等変換（ＩＴ）

【0028】

以下の説明は、どの変換がエンコーダ１０およびデコーダ２０によってサポートされ得るかについてさらなる詳細を提供する。いずれの場合も、サポートされる変換のセットは、１つのスペクトル空間変換または空間スペクトル変換など、１つのみの変換を含み得ることに留意すべきである。

【0029】

上記で既に概説されたように、図１から図３は、さらに後述される本発明の概念が、本出願によるエンコーダおよびデコーダの具体例を形成するために実装され得る例として、提示されている。その限りにおいて、図１および図２のエンコーダおよびデコーダはそれぞれ、本明細書で後述されるエンコーダおよびデコーダの可能な実装を表すことができる。しかしながら、図１および図２は単なる例である。しかしながら、本出願の実施形態によるエンコーダは、以下でより詳細に概説される概念を使用して、たとえば、ビデオエンコーダではなく静止ピクチャエンコーダである点、またはブロック８０への細分化が図３に例示されるものとは異なる方法で実行される点などで、図１のエンコーダとは異なる、ピクチャ１２のブロックベース符号化を実行し得る。同様に、本出願の実施形態によるデコーダは、以下でさらに概説される符号化概念を使用してデータストリーム１４からのピクチャ１２’のブロックベース復号を実行し得るが、たとえば、ビデオデコーダではなく静止ピクチャでコーダである点、イントラ予測をサポートしない点、または図３に関して説明されたものとは異なる方法でピクチャ１２’をブロックに細分する点、および／または、たとえば変換領域ではなく空間領域内のデータストリーム１４から予測残差を導出する点で、図２のデコーダ２０とは異なってもよい。

【0030】

以下では、ブロックベース符号化のためのエンコーダ１０およびブロックベース復号のためのデコーダ２０の実施形態が、本明細書に記載される本発明の原理をどのように利用するかを例示的に説明するために、いくつかの例および実施形態が論じられる。具体的には、現在のブロックにおいて、本発明の原理を使用して、すなわち隣接ブロックのルマ－クロマサンプルによって取得可能な一次関数を使用して、既に符号化された（１つまたは複数の）ルマサンプル値からクロマサンプル値を予測する方法が記載される。デコーダ２０の例が以下に記載され得るが、これはエンコーダ１０の対応する例にも有効である。

【0031】

図４は、現在のブロックの近傍に集められたルマ－クロマサンプルのペアの累積の散布図を示す。前記近傍は、現在のブロックの直接的な付近にある隣接ブロック、または現在のブロックのより遠い付近にある、すなわち１つ以上のブロックを間に挟んだ隣接ブロックであってもよい。

【0032】

最初に、エンコーダ１０および／またはデコーダ２０がルマ－クロマサンプルの上述のペアを取得し得る方法について説明する。このために、エンコーダ１０および／またはデコーダ２０は、現在のブロックの前記近傍のルマサンプルの第１のセットを決定し、前記近傍のルマサンプルの第２のセットを決定するように、構成され得る。前記第１のセットは、異なるルマ値を有する複数の、たとえば少なくとも２つのルマサンプルを含み得る。前記第２のセットもまた、異なるルマ値を有する複数の、たとえば少なくとも２つのルマサンプルを含み得る。しかしながら、第１のセットに含まれるルマサンプルは、それぞれのルマ値によって第２のセットに含まれるルマサンプルとは区別され得る。具体的には、第１のセットに含まれるルマサンプルは、第２のセットに含まれるルマサンプルよりも小さいルマ値を有することができる。

【0033】

１つ以上のクロマサンプルは、それぞれ第１のセットまたは第２のセットのルマサンプルとリンクされてもよい。したがって、ルマ－クロマサンプルのそれぞれの数のペアは、ルマサンプルを対応するクロマサンプルとリンクさせることにより、エンコーダ１０および／またはデコーダ２０によって取得可能であり得る。次いで、これらのルマ－クロマサンプルのペアは、それぞれのルマ値に基づいて分類され得る。

【0034】

たとえば、ルマサンプルの第１のセットのルマサンプル（すなわち、より小さいルマ値を有するもの）を含むルマ－クロマサンプルのペアは、ルマ－クロマサンプルの第１のペアとして分類され得る。同様に、ルマサンプルの第２のセットのルマサンプル（すなわち、より大きいルマ値を有するもの）を含むルマ－クロマサンプルのペアは、ルマ－クロマサンプルの第２のペアとして分類され得る。

【0035】

図４は、略楕円４１によって象徴的に囲まれたルマ－クロマサンプルの複数の第１のペア、ならびに略楕円４２によって象徴的に囲まれたルマ－クロマサンプルの複数の第２のペアを示す。この非限定的な例では、ルマ－クロマサンプルの３つの第１のペアＡ、Ａ’、Ａ’’およびルマ－クロマサンプルの３つの第２のペアＢ、Ｂ’、Ｂ’’が、後の線適合ステップのためにエンコーダ１０および／またはデコーダ２０によって決定され得る。

【0036】

ここでも、ルマ－クロマサンプルの第１のペアＡ、Ａ’、Ａ’’のルマ値は、ルマ－クロマサンプルの第２のペアＢ、Ｂ’、Ｂ’’のルマ値よりも小さい。これは、ｘ軸がルマ－クロマサンプルのペアのそれぞれのルマ値を表し、ｙ軸がルマ－クロマサンプルのそれぞれのペアの対応するクロマ値を表すので、図示される散布図に見ることができる。したがって、ルマ－クロマサンプルの各ペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’は、ルマサンプル値および対応するクロマサンプル値を含む。

【0037】

エンコーダ１０および／またはデコーダ２０は、図４に示される散布図を通る直線４３に適合するように、さらに構成され得る。基本的に、前記図示された散布図は、点群と比較可能であり、ルマ－クロマサンプルの第１および第２のペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’の各々が前記点群内の点に対応し得る。

【0038】

エンコーダ１０および／またはデコーダ２０は、ルマ－クロマサンプルの例示的に選択された３つの第１のペアＡ、Ａ’、Ａ’’を通り、ルマ－クロマサンプルの例示的に選択された３つの第２のペアＢ、Ｂ’、Ｂ’’を通る、前記直線４３に適合し得る。たとえば、エンコーダ１０および／またはデコーダ２０は、前記点群を通る直線４３に適合するための直線適合アルゴリズムの計算根拠として、ルマ－クロマサンプルの３つの第１のペアＡ、Ａ’、Ａ’’およびルマ－クロマサンプルの３つの第２のペアＢ、Ｂ’、Ｂ’’を使用し得る。

【0039】

図からわかるように、直線４３は、必ずしもルマ－クロマサンプルの第１および／または第２のペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’のうちの１つ以上と接触する必要も、これらを通って延在する必要もない。代わりに、ルマ－クロマサンプルの第１および／または第２のペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’を通る直線４３に適合することは、むしろ、適合アルゴリズム自体が、図示されるような直線４３の一次関数をもたらすルマ－クロマサンプルの選択された数の第１および／または第２のペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’に基づくという意味で理解されるべきである。

【0040】

図４に示される直線４３は、論じられた直線適合アルゴリズムを可視化するための、かなり概略的な構造として理解されるべきである。前記直線適合から導出され得る１つの重要な情報は、直線４３の一次関数である。一次関数は、以下の指揮によって与えられてもよい。
ｙ＝α・ｘ＋β
ここで、αは前記直線４３の勾配を表す第１の成分間線形モデルパラメータであり、βは前記直線４３のオフセットを表す第２の成分間線形モデルパラメータである。

【0041】

本発明によれば、エンコーダ１０および／またはデコーダ２０は、上記で説明されたように、前記現在のブロックの近傍から決定された一次関数によって、現在のブロックの現在のルマサンプルｘのために現在のブロックの対応するクロマサンプルｙを予測するように構成されている。

【0042】

一実施形態によれば、デコーダ２０は、イントラ予測、および／またはインター予測によって、現在のブロックのルマサンプルを再構築するように構成され得る。またさらなる実施形態によれば、デコーダ２０は、データストリーム１４から現在のブロックのルマサンプル残差を復号し、予測されたルマサンプルを取得するためにイントラ予測および／またはインター予測によって現在のブロックのルマサンプルを再構築するように構成されてもよく、ルマサンプル残差を使用して前記予測されたルマサンプルを補正する。

【0043】

したがって、一実施形態は、現在のブロックのルマサンプルが予測されたルマサンプルを取得するためにイントラ予測および／またはインター予測によって再構築可能となるように、現在のブロックのルマサンプル残差をデータストリーム１４に符号化するように構成されたそれぞれのエンコーダ１０を提供し、前記予測されたルマサンプルは、ルマサンプル残差を使用して補正可能である。

【0044】

上記の例では、ルマ－クロマサンプルの３つの第１のペアＡ、Ａ’、Ａ’’およびルマ－クロマサンプルの３つの第２のペアＢ、Ｂ’、Ｂ’’が、ルマ－クロマサンプルの少なくともこれら３つの第１および第２のペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’を通る直線４３を適合させるための適合アルゴリズムの根拠として例示的に使用された。しかしながら、本発明の原理では、ルマ－クロマサンプルの例示的に記載された３つの第１および第２のペアＡ、Ａ’、Ａ’’、Ｂ、Ｂ’、Ｂ’’よりも多くが使用されてもよい。追加的または代替的に、本発明の原理では、ルマ－クロマサンプルの２つのみの第１および第２のペアＡ、Ａ’、Ｂ、Ｂ’が使用されてもよい。しかしながら、ルマ－クロマサンプルの少なくとも２つの第１のペアＡ、Ａ’およびルマ－クロマサンプルの少なくとも２つの第２のペアＢ、Ｂ’は、本発明の原理にしたがって使用されるべきである。

【0045】

これは、ルマ－クロマサンプルの１つのみの第１のペアＡおよびルマ－クロマサンプルの１つのみの第２のペアＢが使用されるＪＶＥＴ－Ｌ０１９１に対する、重要な差別化の特徴である。

【0046】

たとえば、エンコーダ１０および／またはデコーダ２０は、最小ルマ値を有するこれら２つ以上の第１のルマ－クロマサンプルＡ、Ａ’、Ａ’’を選択するように構成されてもよい。したがって、エンコーダ１０および／またはデコーダ２０は、現在のブロックの近傍でｎ＞１個の最小ルマ値を見つけることによって、ルマサンプルの第１のセットを決定するように構成され得る。対応するクロマ値と共に、最小ルマ値を有するルマ－クロマサンプルのこれらｎ＞１個の第１のペアＡ、Ａ’、Ａ’’が、エンコーダ１０および／またはデコーダ２０によってルマ－クロマサンプルの複数４１の第１のペアから選択され得る。

【0047】

追加的または代替的に、エンコーダ１０および／またはデコーダ２０は、最大ルマ値を有するこれら２つ以上の第２のルマ－クロマサンプルＢ、Ｂ’、Ｂ’’を選択するように構成されてもよい。したがって、エンコーダ１０および／またはデコーダ２０は、現在のブロックの近傍でｎ＞１個の最大ルマ値を見つけることによって、ルマサンプルの第２のセットを決定するように構成され得る。対応するクロマ値と共に、最小ルマ値を有するルマ－クロマサンプルのこれらｎ＞１個の第２のペアＢ、Ｂ’、Ｂ’’が、エンコーダ１０および／またはデコーダ２０によってルマ－クロマサンプルの複数４２の第２のペアから選択され得る。

【0048】

上述のように、最小ルマ値を有するルマ－クロマサンプルの少なくとも２つ、およびいくつかの例示的な実施形態によればちょうど２つの第１のペアＡ、Ａ’が、ルマ－クロマサンプルの複数４１の第１のペアから選択され得る。さらに、最大ルマ値を有するルマ－クロマサンプルの少なくとも２つ、およびいくつかの例示的な実施形態によればちょうど２つの第２のペアＢ、Ｂ’が、ルマ－クロマサンプルの複数４２の第２のペアから選択され得る。

【0049】

このような実施形態によれば、エンコーダ１０および／またはデコーダ２０は、現在のブロックの前記近傍でｎ＝２個の最小ルマ値を見つけることによってルマサンプルの第１のセットを決定し、および／または現在のブロックの前記近傍でｎ＝２個の最大ルマ値を見つけることによってルマサンプルの第２のセットを決定するように、構成され得る。対応するクロマ値をリンクさせることにより、エンコーダ１０および／またはデコーダ２０は、最小ルマ値を有するルマ－クロマサンプルのｎ＝２個の第１のペアＡ、Ａ’、ならびに最大ルマ値を有するルマ－クロマサンプルのｎ＝２個の第２のペアＢ、Ｂ’を取得することができる。

【0050】

ここで、図４を参照して先に論じられたものと類似の点群を示す図５を参照して、対応する例について論じる。したがって、図４との相違点が記載される。

【0051】

図５に示される例では、最小ルマ値を有するルマ－クロマサンプルのこれら２つの第１のペアＡ、Ａ’および最大ルマ値を有するルマ－クロマサンプルのこれら２つの第２のペアＢ、Ｂ’は、ルマ－クロマサンプルの前記第１および第２のペアＡ、Ａ’、Ｂ、Ｂ’を通る直線４３を適合させるために、エンコーダ１０および／またはデコーダ２０によって選択される。

【0052】

図からわかるように、第１の仮直線５１は、最小ルマ値を有するルマ－クロマサンプルの第１のペアＡおよび最大ルマ値を有するルマ－クロマサンプルの第２のペアＢを使用して適合され得る。第２の仮直線５２は、２番目に小さいルマ値を有するルマ－クロマサンプルの第１のペアＡ’および２番目に大きいルマ値を有するルマ－クロマサンプルの第２のペアＢ’を使用して適合され得る。

【0053】

最小および２番目に小さいルマ値を有するルマ－クロマサンプルの２つの第１のペアＡ、Ａ’の平均５３、ならびに最大および２番目に大きいルマ値を有するルマ－クロマサンプルの２つの第２のペアＢ、Ｂ’の平均５４は、ルマ－クロマサンプルの第１および第２のペアＡ、Ａ’、Ｂ、Ｂ’を通る直線４３を適合させるため、すなわち一次関数ｙ＝α・ｘ＋βを導出するために、決定され得る。

【0054】

したがって、一実施形態によれば、エンコーダ１０および／またはデコーダ２０は、前記直線４３が、前記直線４３の一次関数を導出するために、ルマ－クロマサンプルの第１のペアＡ、Ａ’の平均５３およびルマ－クロマサンプルの第２のペアＢ、Ｂ’の平均５４を通って延在するように、直線４３を適合させるように構成され得る。

【0055】

言い換えると、（ＪＶＥＴ－Ｌ０１９１で行われるように）最小ルマ値Ａおよび最大ルマ値Ｂのみならず、図５に示されるように、２番目に小さいルマ値Ａ’および２番目に大きいルマ値Ｂ’も探索することが提案される。すると、直線４３は、ＡおよびＡ’でのデータ点の平均５３とＢおよびＢ’でのデータ点の平均５４との間で適合され、一般に従来技術と比較して優れたデータ適合につながる図５の直線をもたらすことができる。複雑さが異なる平均化の２つの変形Ａ、Ａ’およびＢ、Ｂ’を指定することができる。
１．正確な整数平均化：（Ａ＋Ａ’＋１）＞＞１，（Ｂ＋Ｂ’＋１）＞＞１、ここで「＞＞」はビットごとの右シフトであり、
２．不正確な整数平均化：（Ａ＋Ａ’）＞＞１，（Ｂ＋Ｂ’）＞＞１、正確な変形に対して４つの「＋１」を省略。
両方の変形は、算術平均の固定小数点整数実現を表し、幾何平均などの他の形態の平均化も可能であるが、ここでは検討しない。

【0056】

図５に明確に見られるように、直線４３は、上方の第１の仮直線５１のみによって表される、先の提案の場合よりも、点群内に、すなわちルマ－クロマサンプルの複数の第１および第２のペアに、はるかによく適合される。エンコーダ１０および／またはデコーダ２０は、ルマサンプル残差を符号化／復号し得るが、先の提案にしたがって上方の第１の仮直線５１から予測された予測残差５５は、本発明の概念にしたがって適合された直線４３から予測された予測残差５６よりも著しく大きくなり得ることがわかる。したがって、本明細書に記載される発明概念は、先の概念のＣＣＬＭの不正確さを著しく打ち消すことができる。

【0057】

表１は、以前に採用されたＣＣＬＭバージョンと比較して、本明細書に記載される修正されたＣＣＬＭ計算によって消費されたアルゴリズム演算を要約したものである。２つ以上の極端なルマ値Ａ’、Ｂ’の探索のため、比較の数が倍増することがわかる。なお、提案された２つの変形のいずれかによって必要とされる演算の数は、ＶＴＭ２［１］で採用された初期ＣＣＬＭのものよりもはるかに少ないことに留意されたい。

【0058】

提案された変更によるコーデック実行時間の増加を伴わない著しい符号化効率の増加の存在を検証するために、シーケンス［５］［６］のＳＤＲカテゴリ共通試験条件（Ｃｏｍｍｏｎ Ｔｅｓｔ Ｃｏｎｄｉｔｉｏｎｓ：ＣＴＣ）セットに対するＢｊｏｎｔｅｇａａｒｄ ｄｅｌｔａ（ＢＤ）ＰＳＮＲ利得を測定した。デフォルト構成のＶＴＭソフトウェアバージョン３が使用される［４］。

【表1】

【0059】

表２は、上述の平均化の変形１（正確な整数平均化）のＢＤ－ＰＳＮＲ結果を列挙し、表３は、平均化の変形２（不正確な整数平均化）のＢＤ－ＰＳＮＲ値を含む。なお、以下に留意されたい。
・ 両方の変形は、非常によく似た全体的なＢＤ－ＰＳＮＲ性能をもたらし、
・ 両方のクロマチャネルで一貫したＢＤ－ＰＳＮＲ利得に到達し、
・ いずれの変形でも著しい実行時間の増加は観察されない。
これは、本明細書に記載される両方の提案が、必要に応じて、ＣＣＬＭ予測ツールのアルゴリズムの複雑さに対してわずかな影響で、彩度符号化効率をおよそ０．４％増加させることに成功したことを示している。

【表2】

【0060】

【表3】

【0061】

要約すると、Ｌ０１９１に記載される簡略化された成分間線形モデル（ＣＣＬＭ）予測器に対する修正の２つの変形が、本明細書に記載されている。提案された低複雑性の変更は、ＣＣＬＭにおける直線適合アルゴリズムを安定化し、こうしてクロマチャネル内で０．３～０．４％のＢＤ－ＰＳＮＲ利得を生み出す。同時に、ＣＣＬＭ計算のアルゴリズムの複雑さは、ＶＴＭ２［１］で以前採用されたＣＣＬＭ設計のもののたった半分（または大きいＣＵではさらに少ない）のままである。

【0062】

具体的には、ＪＶＥＴ－Ｌ０１９１は、多用途ビデオ符号化（ＶＶＣ）規格における成分間線形モデル（ＣＣＬＭ）予測器のための簡略化されたパラメータ計算を記載している。この簡略化によれば、ＣＣＬＭパラメータαおよびβは、以前使用された複数のルマおよびクロマサンプルからのより複雑な線形回帰とは対照的に、サンプル値の最大および最小ルマ－クロマペアの間の直線適合によって、導出することができる。結果として、ＣＣＬＭツールのアルゴリズムの複雑さは、符号化効率をあまり失わずに低減される。

【0063】

本発明は、２つの極端なサンプル値の間の簡略化された線適合が統計的外れ値の影響をかなり受けやすいという証拠を提供し、たとえば以下のように、ＣＣＬＭ法に対するいくつかの修正を提案する。
１．正確な平均化を用いて、（最大値のみと最小値のみの代わりに）最大の２つのルマサンプルＢ、Ｂ’の平均５４と最小の２つのルマサンプルＡ、Ａ’の平均５３との間で直線４３を適合させ、
２．いくつかの加算を省略する不正確な平均化（除算の前に１のオフセットがない）を用いて、最大の２つのルマサンプルＢ、Ｂ’の平均５４と最小の２つのルマサンプルＡ、Ａ’の平均５３との間で直線４３を適合させる。

【0064】

変形２は、変形１と同じＢＤ－ＰＳＮＲ利得を生み出し得るが、ＣＣＬＭ符号化されたＣＵごとに４つの加算が少なくて済む。

【0065】

しかしながら、両方の修正は、ＶＴＭエンコーダおよびデコーダの複雑さに対して無視できる程度の影響を及ぼし（エンコーダ実行時間１００％、デコーダ実行時間９９～１０１％）、報告によれば、彩度チャネルの各々において約０．３～０．４％の符号化効率利得を提供する（全イントラアクセスおよびランダムアクセスの両方のＣｂおよびＣｒ ＢＤ－ＰＳＮＲ利得）。

【0066】

図６は、ピクチャのピクチャデータのブロックベース復号の方法の一実施形態の概略ブロック図を示し、ピクチャの現在のブロックを復号するステップは、少なくとも以下のステップを含む。

【0067】

ブロック６０１において、現在のブロックの近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットが決定され、ルマサンプルの第１のセットは、ルマサンプルの第２のセットよりも小さいルマ値を有する。

【0068】

ブロック６０２において、一次関数を有する直線４３は、ルマ－クロマサンプルの第１のペアＡ、Ａ’およびルマ－クロマサンプルの第２のペアＢ、Ｂ’を通って適合され、ルマ－クロマサンプルの第１のペアＡ、Ａ’は、現在のブロックの前記近傍のルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、ルマ－クロマサンプルの第２のペアＢ、Ｂ’は、現在のブロックの前記近傍のルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される。

【0069】

ブロック６０３において、現在のブロックのクロマサンプルは、上述のように、現在のブロックのルマサンプル、および現在のブロックの近傍から決定された前記一次関数を使用して予測される。

【0070】

図７は、ピクチャのピクチャデータのブロックベース符号化の方法の一実施形態の概略ブロック図を示し、ピクチャの現在のブロックを符号化するステップは、少なくとも以下のステップを含む。

【0071】

ブロック７０１において、現在のブロックの近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットが決定され、ルマサンプルの第１のセットは、ルマサンプルの第２のセットよりも小さいルマ値を有する。

【0072】

ブロック７０２において、一次関数を有する直線４３は、ルマ－クロマサンプルの第１のペアＡ、Ａ’およびルマ－クロマサンプルの第２のペアＢ、Ｂ’を通って適合され、ルマ－クロマサンプルの第１のペアＡ、Ａ’は、現在のブロックの前記近傍のルマサンプルの第１のセットおよび第１の対応するクロマサンプルに基づいて決定され、ルマ－クロマサンプルの第２のペアＢ、Ｂ’は、現在のブロックの前記近傍のルマサンプルの第２のセットおよび第２の対応するクロマサンプルに基づいて決定される。

【0073】

ブロック７０３において、現在のブロックのクロマサンプルは、上述のように、現在のブロックのルマサンプル、および現在のブロックの近傍から決定された前記一次関数を使用して予測される。

【0074】

論じられたように、デコーダ２０およびエンコーダ１０の両方は、現在のブロック８０、８２、８４の近傍のルマサンプルの第１のセットおよびルマサンプルの第２のセットを決定し得る。前記近傍は、前記現在のブロックに直セル隣接するルマサンプルの（１つまたは複数の）行または（１つまたは複数の）列、好ましくは（画像またはビデオ圧縮において）サンプルの上隣接業またはサンプルの左隣接列であり得る。しかしながら、ルマサンプルの前記第１のセットおよびルマサンプルの前記第２のセットを決定する際に、必ずしも全ての利用可能な隣接するルマサンプルが考慮される必要はない。言い換えると、この目的のために、全ての利用可能な隣接するルマサンプルのサブセットを形成すれば十分であり得る。具体的には、本発明は、４つの隣接ルマサンプルのみが考慮されるときも適用可能なままであり、この場合、ルマサンプルの第１のセットは、４つの考慮される値のうちｎ＝２個のより小さいルマ値を含んでもよく、ルマサンプルの第２のセットは、結果的に、４つの考慮される値のうちｎ＝２個のより大きいルマ値を含んでもよい。

【0075】

現在のブロックの近傍のこれら４つの隣接ルマサンプルの選択は任意であってもよいが、好ましくは、４つの隣接ルマサンプルは、現在のブロックの空間的な上および／または左の境界に沿って等距離（またはほぼ等距離）で選択されてもよい。また、ルマサンプルの第１のセットおよびルマサンプルの第２のセットの決定のための前記４つの隣接ルマサンプルの選択は、サンプルの上の隣接行および／またはサンプルの左の隣接列の存在にしたがって適応され得る。より具体的には、上の垂直に隣接するものが利用できない場合（たとえば、上部ピクチャ境界において）、４つの隣接ルマサンプルが全てルマサンプルの左の隣接列から選択されてもよく、その一方で、左の水平に隣接するものが利用できない場合（たとえば、左ピクチャ境界において）、４つの隣接ルマサンプルが全てルマサンプルの上の隣接行から選択されてもよい。しかしながら、上および左の両方の隣接するものが利用可能な場合には（デフォルトの場合のように、たとえば圧縮されるピクチャの中心で）、２つのルマサンプルが上の隣接サンプル行から選択されてもよく、もう２つのルマサンプルが左の隣接サンプル列から選択されてもよい。最後に、ピクチャがダウンサンプリングされたクロマフォーマット（たとえば、４：２：０）で記憶されている場合、隣接ルマサンプルもまた、ルマサンプルの第１および第２のセットが決定される（たとえば４つの）隣接ルマサンプルの選択の前に、前記クロマフォーマットにしたがってダウンサンプリングされてもよいことに留意すべきである。

【0076】

なお、現在のブロックの前記近傍は通常、現在のピクチャの以前復号および再構築された部分、たとえばブロック（空間的近傍）または別の以前復号および再構築されたピクチャ（時間的近傍）を表すことに留意されたい。しかしながら、エンコーダ側では、以前復号および再構築されたピクチャ領域の代わりに、元の入力ピクチャ領域もまた、現在のブロックの前記近傍のソースとして使用され得ることは、明らかである。また、本発明の方法が、任意の成分間予測、たとえばＲＧＢ色符号化の赤色成分からの緑色または青色の予測にも等しく適用可能であることは、当業者に取って容易に明らかである。

【0077】

また、ルマ－クロマサンプルの第１／第２のペアの前記セットが（少なくとも部分的に）重なってもよいことに留意すべきである。これは特に、現在のブロックの符号化再構築済みルマ近傍が、全て同じ値を有するサンプルからなる場合である。次いで、ルマ－クロマサンプルの第１および第２のペアの両方が、同一の値を保持し得る。しかしながら、「自然な」画像コンテンツに対する「通常」動作の間、これは滅多に該当しない。

【0078】

いくつかの態様が装置の文脈で説明されてきたが、これらの態様が、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表すことは、明らかである。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。

【0079】

方法ステップの一部または全ては、たとえばマイクロプロセッサ、プログラマブルコンピュータ、または電子回路などのハードウェア装置によって（またはこれを使用して）実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上がこのような装置によって実行されてもよい。

【0080】

特定の実装要件に応じて、本発明の実施形態は、ハードウェア内またはソフトウェア内で、または少なくとも部分的にハードウェア内で、または少なくとも部分的にソフトウェア内で、実装することができる。実装は、電子的に読み取り可能な制御信号を記憶したデジタル記憶媒体、たとえばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または協働可能である）。したがって、デジタル記憶媒体はコンピュータ可読であり得る。

【0081】

本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの１つが実行されるように、プログラマブルコンピュータシステムと協働することが可能な、電子的に読み取り可能な制御信号を有するデータキャリアを含む。

【0082】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法のうちの１つを実行するように動作する。プログラムコードは、たとえば機械可読キャリア上に記憶され得る。

【0083】

他の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0084】

したがって、言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0085】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムが記録された、データキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。

【0086】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえばインターネットを介して転送されるように構成されてもよい。

【0087】

さらなる実施形態は、本明細書に記載される方法のうちの１つを実行するように構成または適合された処理手段、たとえばコンピュータ、またはプログラマブル論理デバイスを含む。

【0088】

さらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

【0089】

本発明によるさらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを受信機に（たとえば電子的または光学的に）転送するように構成された装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。

【0090】

いくつかの実施形態では、本明細書に記載される方法の機能の一部または全てを実行するために、プログラマブル論理デバイス（たとえばフィールドプログラマブルゲートアレイ）が使用されてもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。

【0091】

本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して、実装され得る。

【0092】

本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して、実行され得る。

【0093】

本開示は例示的な実施形態を参照して説明されてきたが、この説明は限定的な意味で解釈されることを意図していない。例示的な実施形態の様々な修正および組合せ、ならびに本開示の他の実施形態は、説明を参照すれば当業者に取って明らかとなるだろう。したがって、添付請求項は、このようなあらゆる修正または実施形態を包含することが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】