▶ ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】クロスコンポーネント線形モデルを用いたビデオコーディング
(51)【国際特許分類】
H04N 19/105 20140101AFI20240906BHJP
H04N 19/136 20140101ALI20240906BHJP
H04N 19/176 20140101ALI20240906BHJP
H04N 19/186 20140101ALI20240906BHJP
H04N 19/593 20140101ALI20240906BHJP
【ＦＩ】
H04N19/105
H04N19/136
H04N19/176
H04N19/186
H04N19/593
【請求項の数】
8
【外国語出願】
(21)【出願番号】P 2023111695
(22)【出願日】2023-07-06
(62)【分割の表示】P 2022123496の分割
【原出願日】2020-01-08
(65)【公開番号】P2023126950
(43)【公開日】2023-09-12
【審査請求日】2023-07-31
(31)【優先権主張番号】62/790,459
(32)【優先日】2019-01-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521248394
【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100217940
【弁理士】
【氏名又は名称】三並 大悟
(72)【発明者】
【氏名】チェン、イ－ウェン
(72)【発明者】
【氏名】ワン、シャンリン
(72)【発明者】
【氏名】シウ、シャオユー
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０１８／１１８９４０（ＷＯ，Ａ１）
【文献】国際公開第２０１８／０５３２９３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０３６６８１８（ＵＳ，Ａ１）
【文献】Guillaume Laroche, Jonathan Taquet, Christophe Gisquet, and Patrice Onno，Non-CE3: On cross-component linear model simplification，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0204-v3，11th Meeting: Ljubljana, SI，2018年07月，pp.1-7
【文献】Jangwon Choi, wt al.，CE3-related : Reduced number of reference samples for CCLM parameter calculation，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0138-v2，12th Meeting: Macao, CN，2018年10月，pp.1-5
【文献】Junyan Huo, et al.，CE3-related: Fixed Reference Samples Design for CCLM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0211-v1，13th Meeting: Marrakech, MA，2019年01月，pp.1-6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
コーディングユニット（ＣＵ）の四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルを用いることによってクロスコンポーネント線形モデル（ＣＣＬＭ）モードに対する第１パラメータαおよび第２パラメータβを導出することであって、各ダウンサンプルされたルーマサンプルおよびそれに対応するクロマサンプルのそれぞれは、同じ行インデックスおよび同じ列インデックスに対応することを備え、前記四つの隣接するダウンサンプルされたルーマサンプルおよび前記四つの対応するクロマサンプルを用いることによって前記第１パラメータαおよび前記第２パラメータβを導出することは、
前記四つの隣接するダウンサンプルされたルーマサンプルからのより小さな二つのルーマサンプルｘＡ０、ｘＡ１の加重平均のルーマ値ｘＡと、前記四つの隣接するダウンサンプルされたルーマサンプルからのより大きな二つのルーマサンプルｘＢ０、ｘＢ１の加重平均のルーマ値ｘＢと、前記より小さな二つのルーマサンプルに対応する二つのクロマサンプルｙＡ０、ｙＡ１の加重平均のクロマ値ｙＡと、前記より大きな二つのルーマサンプルに対応する二つのクロマサンプルｙＢ０、ｙＢ１の加重平均のクロマ値ｙＢと、を用いることによって前記第１パラメータαおよび前記第２パラメータβを得ることであって、
ｘＡ、ｘＢ、ｙＡおよびｙＢは次式を用いることによって得られ、
【数1】
ｗ１は第１の重み付け係数であり、ｗ２は第２の重み付け係数であり、ｗ３は第３の重み付け係数であり、ｗ４は第４の重み付け係数であり、Ｎ１は第１の平均値であり、Ｎ２は第２の平均値であり、ｏｆｆｓｅｔ１は第１のオフセット係数であり、ｏｆｆｓｅｔ２は第２のオフセット係数であることと、
前記第１パラメータαおよび前記第２パラメータβを用いて前記ＣＵの予測クロマサンプルを生成することと、
を備える
ビデオコーディングのための方法。
【請求項2】
前記予測クロマサンプルを生成することは、次式を用いて前記予測クロマサンプルを得ること、
【数2】
ｐｒｅｄＣ（ｘ，ｙ）は、前記予測クロマサンプルであり、ｒｅｃＬ'（ｘ，ｙ）は前記ＣＵのダウンサンプルされた再構成されたルーマサンプルであり、ｘは行インデックスを示し、ｙは列インデックスを示す、
請求項１に記載の方法。
【請求項3】
四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルを用いることによって前記第１パラメータαおよび前記第２パラメータβを導出することは、次式を用いて前記第１パラメータαおよび前記第２パラメータβを得ること、
【数3】
ｘＡ、ｘＢ、ｙＡ、およびｙＢは、前記隣接するクロマサンプルおよびそれらの対応するダウンサンプルされたルーマサンプルの加重平均に基づいて導出される、請求項１に記載の方法。
【請求項4】
前記四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルは、上の隣接するサンプルのうちの最も左のサンプルから幅の４分の１のサンプル、左の隣接するサンプルのうちの最も上のサンプルから高さの４分の１のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および前記上の隣接するサンプルのうちの最も右のサンプルのセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の４分の１のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの４分の１のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の４分の３のサンプル、および前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの４分の３のサンプルのセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の８分の１のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の８分の３のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の８分の５のサンプル、および前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の８分の７のサンプルのセットと、
前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの８分の１のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの８分の３のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの８分の５のサンプル、および前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの８分の７のサンプルのセットと、
のうちの一つのセットを含む、
請求項２に記載の方法。
【請求項5】
コンピューティングデバイスであって、少なくとも一つのプロセッサと、
１以上の前記プロセッサと接続された非一時的な記憶装置と、
前記非一時的な記憶装置に格納され、前記プロセッサによって実行されると前記コンピューティングデバイスに請求項１ないし４のいずれか一項に記載の方法を実行させる、複数のプログラムと、
備える、コンピューティングデバイス。
【請求項6】
コンピューティングデバイスの少なくとも一つのプロセッサによって実行されたときに、ビットストリームを生成して送信するために前記コンピューティングデバイスに請求項１ないし４のいずれか一項に記載の方法を実行させる少なくとも一つのプログラム、を格納したコンピュータ可読記憶媒体。
【請求項7】
少なくとも一つのプロセッサによって実行されたときに、前記少なくとも一つのプロセッサに請求項１ないし４のいずれか一項に記載の方法を実行させる少なくとも一つの指示、を備えるコンピュータプログラム。
【請求項8】
ビットストリームを送信する方法であって、前記ビットストリームが、請求項５に記載のコンピューティングデバイスによって生成される、方法。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、２０１９年１月９日に出願された米国仮出願第６２／７９０，４５９号の利益を主張する。前述の出願の開示全体は、参照により本明細書に援用される。
【0002】
本開示は、一般に、ビデオコーディングおよび圧縮に関する。より具体的には、この開示は、クロスコンポーネント線形モデルを用いたビデオコーディングを実行するためのシステムおよび方法に関する。方法は、特定の例示的な実施形態において、コーディングユニットのクロマサンプルに対する最終的なクロマ予測子によって記述される。
【背景技術】
【0003】
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも、先行技術として解釈されるべきものではない。
【0004】
ビデオデータを圧縮するために、様々なビデオコーディング技術が用いられ得る。ビデオコーディングは、１以上のビデオコーディング標準に従って実行される。例えば、ビデオコーディング標準は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＪＥＭ（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ ｍｏｄｅｌ）、Ｈ．２６５／ＨＥＶＣ（ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）、Ｈ．２６４／ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ＭＰＥＧ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）コーディングなどを含む。ビデオコーディングは、一般に、ビデオ画像またはシーケンスに存在する冗長性を利用する予測方法を用いる（例えば、インター予測、イントラ予測など）。ビデオコーディング技術の重要な目的の一つは、ビデオの品質に対する劣化を回避または最小化しつつ、より低いビットレートを用いる形式にビデオデータを圧縮することである。進化し続けるビデオサービスを可能にするには、より優れた圧縮効率を有するコーディング技術が必要とされる。
【発明の概要】
【0005】
このセクションは開示の概要を提供するものであり、その全範囲やその特徴の全てに対する包括的な開示ではない。
【0006】
本開示の第１の側面によれば、ビデオコーディングの方法は、１以上のプロセッサと、当該１以上のプロセッサによって実行される複数のプログラムを記憶する１以上のメモリと、を有するコンピューティングデバイスにおいて実行される。当該方法は、コーディングユニット（ＣＵ）における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル（ＣＣＬＭ）モードに対する第１パラメータαおよび第２パラメータβを導出することと、第１パラメータαおよび第２パラメータβを用いることにより、ＣＵのクロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【0007】
本開示の第２の側面によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、少なくとも一つのプロセッサと、当該１以上のプロセッサと接続された非一時的な記憶装置と、当該非一時的な記憶装置に格納され、当該プロセッサによって実行されると当該コンピューティングデバイスに以下を含む動作を行わせる複数のプログラムと、を含み、当該動作は、コーディングユニット（ＣＵ）における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル（ＣＣＬＭ）モードに関する第１パラメータαおよび第２パラメータβを導出することと、当該第１パラメータαおよび当該第２パラメータβを用いることによって当該ＣＵの当該クロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【図面の簡単な説明】
【0008】
以下では、本開示の例示的で非限定的な実施形態のセットが説明される。構造、方法、または機能のバリエーションは、ここで示された例に基づき、関連の技術分野の通常の技術者によって実施され得るし、そのようなバリエーションは全て本開示の範囲内に含まれる。矛盾が存在しない場合、異なる実施形態の教示は、必要ではないが、互いに組み合わせられてもよい。
【発明を実施するための形態】
【0009】
本開示において用いられた用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示および付随する特許請求の範囲に用いられた「ａ」、「ａｎ」および「ｔｈｅ」にあたる単数形は、他の意味が明らかに文脈に含まれる場合でなければ、複数形も指す。ここで用いられる用語「および／または」は１以上の関連する挙げられた項目の任意または全ての可能な組み合わせを指すということは理解されるべきである。
【0010】
ここでは、様々な情報を示すために、「第１」、「第２」、「第３」などの用語が使用されてよく、当該情報は、これらの用語によって限定されるべきものではないということは理解されるべきである。これらの用語は、情報のある一つのカテゴリと、別のものと、を区別するために単に用いられている。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と称されてもよいし、同様に、第２の情報も、第１の情報と称されてもよい。「であれば」にあたる用語は、ここで使用されるように、文脈に応じて、「場合」、「際」、または「に応じて」を意味すると理解されてもよい。
【0011】
この明細書を通じて、「一実施形態」、「ある実施形態」、「別の実施形態」、または、単数形もしくは複数形のそのようなものへの言及は、ある実施形態に関連して説明された１以上の固有の特徴、構造、または性質が本開示の少なくとも一つの実施形態に含まれるということを意味する。したがって、この明細書を通じて様々な場所において「一実施形態において」、「ある実施形態において」、「別の実施形態において」、または、単数形もしくは複数形のそのようなもの、というフレーズの登場は、全てが同じ実施形態を必ずしも言及しているわけではない。さらに、どのような適切な方法においても、１以上の実施形態における固有の特徴、構造、または性質が組み合わせられてもよい。
【0012】
概念的には、「背景」のセクションにおいて先に言及されたものも含め、多数のビデオコーディング標準は類似している。例えば、ほぼ全てのビデオコーディング標準は、ブロックベースの処理を用いており、映像圧縮を実現するために類似のビデオコーディングのブロック図を共有している。
【0013】
図１は、多数のビデオコーディング標準とともに用いられ得る例示的なエンコーダ１００のブロック図を示す。エンコーダ１００では、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測のアプローチまたはイントラ予測のアプローチのいずれかに基づいて予測が成される。インター予測では、先に再構成されたフレームからのピクセルに基づき、モーション推定およびモーション補償を通じて１以上の予測子が形成される。イントラ予測では、現フレームにおける再構成されたピクセルに基づいて予測子は形成される。モードの決定を通じて、現ブロックを予測するために最適な予測子が選択される。
【0014】
現ビデオブロックとその予測子との相違を表す予測残差は、変換回路１０２に送られる。そして、エントロピー低減のために、変換回路１０２から量子化回路１０４に変換係数が送られる。そして、量子化された係数は、エントロピーコーディング回路１０６に供給され、圧縮されたビデオビットストリームを生成する。図１に示されるように、インター予測回路および／またはイントラ予測回路１１２からの、ビデオブロックパーティション情報、動きベクトル、参照ピクチャインデックス、イントラ予測モードなどといった予測関連情報１１０も、また、エントロピーコーディング回路１０６を通じて供給されて、圧縮されたビデオビットストリーム１１４に保存される。
【0015】
エンコーダ１００では、予測を目的とした画素の再構成を行うために、デコーダ関連の回路もまた必要とされる。まず、逆量子化１１６と逆変換回路１１８を通じて、予測残差が再構成される。この再構成された予測残差は、ブロック予測子１２０と組み合わされ、現ビデオブロックに対するフィルタリングされていない再構成されたピクセルを生成する。
【0016】
コーディング効率と画質を向上させるために、インループフィルタが一般的に使われる。例えば、ＶＶＣの現バーションと同様、ＡＶＣ、ＨＥＶＣにはデブロッキングフィルタが利用可能である。ＨＥＶＣでは、コーディング効率をさらに高めるために、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）と呼ばれる追加のインループフィルタが定義されている。ＶＶＣ標準の今の現バーションでは、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）と呼ばれる別のインループフィルタが積極的に研究されており、最終標準に含まれる十分な可能性があるとされている。
【0017】
これらのインループフィルタの操作はオプションである。これらの操作を行うことは、コーディング効率と画質の向上に役立つ。また、それらは、計算の手間を省くために、エンコーダ１００によってなされた決定として、オフにされてもよい。
【0018】
これらのフィルタのオプションがエンコーダ１００によってオンになっているのであれば、インター予測はフィルタリングされた再構成されたピクセルに基づき、一方で、イントラ予測は通常フィルタリングされていない再構成されたピクセルに基づくことに留意すべきである。
【0019】
図２は、多数のビデオコーディング標準とともに用いられ得る例示的なデコーダ２００を説明するブロック図である。このデコーダ２００は、図１のエンコーダ１００に存在する再構成の関連セクションと同様である。デコーダ２００（図２）では、まず、入力されるビデオビットストリーム２０１がエントロピーデコーディング２０２を通じてデコードされ、量子化された係数のレベルと予測関連情報が導出される。そして、量子化された係数のレベルは、逆量子化２０４および逆変換２０６を通じて処理され、再構成された予測残差が得られる。ブロック予測子のメカニズムは、イントラ／インターモードセレクタ２１２に実装されているが、復号された予測情報に基づき、イントラ予測２０８またはモーション補償２１０を実行するように構成される。フィルタリングされていない再構成されたピクセルのセットは、合算器２１４を用いて、逆変換２０６からの再構成された予測残差と、ブロック予測子のメカニズムによって生成された予測出力と、を合算することによって得られる。インループフィルタがオンになっている状況では、フィルタリング操作が、これらの再構成されたピクセルに対して行われて、出力用の最終的な再構成されたビデオが導出される。
【0020】
クロスコンポーネントの冗長性を低減するため、クロスコンポーネント線形モデル（ＣＣＬＭ）の予測モードがＶＶＣにおいて用いられる。ＶＶＣの開発の間の共通テスト条件においてＹＵＶフォーマット４：２：０が用いられ、ＹＵＶフォーマット４：２：０に対するルーマサンプルおよびクロマサンプルのサンプリンググリッドは図４に示されている。ルーマサンプルおよびクロマサンプル（ダウンサンプルされたルーマサンプル）の座標もまた図４に示されている。ＲｅｃＬ’［ｘ，ｙ］は、ダウンサンプルされた上および左に隣接する再構成されたルーマサンプルを表し、ＲｅｃＣ’［ｘ，ｙ］は、上および左に隣接する再構成されたクロマサンプルを表し、ｘおよびｙは、図に示されているようにピクセルインデックスを示す。この開示では、ＣＣＬＭのパラメータの導出の複雑さを低減するため、いくつかの方法を提案する。
【0021】
本開示は、一般に、ビデオデータのコーディング（例えば、エンコーディングおよびデコーディング）に関する。より具体的には、この開示は、ビデオコーディング方法と、ビデオコーディング方法のクロスコンポーネントの冗長性を低減するためのコンピューティングデバイスと、に関する。同じＣＵの再構成されたルーマサンプルに基づいてクロマサンプルを予測するために、ＣＣＬＭ予測子モードが使用される。コンピューティングデバイスは、少なくとも一つのプロセッサと、当該１以上のプロセッサと接続された非一時的な記憶装置と、当該非一時的な記憶装置に格納されて当該プロセッサによって実行されると当該コンピューティングデバイスにビデオコーディング方法の動作を行わせる複数のプログラムと、を含む。
【0022】
図３に示すように、ビデオコーディングの方法は、少なくとも以下のステップを含む。
【0023】
ステップ１０：ＣＵにおける所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによるＣＣＬＭモードに対する第１パラメータαおよび第２パラメータβの導出
【0024】
ステップ２０：第１パラメータαおよび第２パラメータβを用いることによってＣＵのクロマサンプルに対する最終的なクロマ予測子の生成
【0025】
ステップ２０では、次式を用いることによってＣＵのクロマサンプルに対する最終的なクロマ予測子を生成する。
【数1】
【0026】
ｐｒｅｄＣ（ｘ，ｙ）は、ＣＵのクロマサンプルに対する最終的なクロマ予測子であり、ｒｅｃＬ’（ｘ，ｙ）はＣＵのダウンサンプルされた再構成されたルーマサンプルであり、ｘは行インデックスを示し、ｙは列インデックスを示す。
【0027】
図５では、ルーマサンプルおよびクロマサンプル（ダウンサンプルされたルーマサンプル）の座標が示されている。
【0028】
パラメータαおよびパラメータβは、次式（次のセクションにおいてｍｉｎ－ｍａｘ法と称されます）によって導出される。
【数2】
【0029】
各クロマサンプルおよびそれの対応ルーマサンプルは、サンプルペアと称される。ｙＢは最大のサンプルペアのクロマサンプル値であり、ｙＡはいふぁのサンプルペアのクロマサンプル値であり、ｘＢは最大のサンプルペアのルーマサンプル値であり、ｘＡは最小のサンプルペアのルーマサンプル値である。
【0030】
図６に描かれているように、２ポイント（ルーマおよびクロマの組み合わせ）（Ａ,Ｂ）は、隣接するルーマサンプルのセットのなかの最小値および最大値である。図６は、式（２）に従って線形モデルのパラメータαおよびパラメータβが得られた場合における、ルーマの最小値および最大値の間の直線についての図である。
【0031】
図５では、ＲｅｃＬ’［ｘ，ｙ］はダウンサンプルされた上および左の隣接する再構成されたルーマサンプルを表し、ＲｅｃＣ［ｘ，ｙ］は上および左の隣接する再構成されたクロマサンプルを表し、ｘは行インデックスを示し、ｙは列インデックスを示す。なお、図５の四角いブロックは図４に描かれたルーマサンプルの位置に対応する再構成されたルーマサンプルであり、図５の丸は、図４に描かれたクロマサンプルまたはダウンサンプルされたルーマサンプルの位置に対応する。四角形状のコーディングブロックに対しては、ｍｉｎ－ｍａｘ法が直接適用される。四角ではないコーディングブロックに対しては、まず、長い方の境界の隣接するサンプルが、短い方の境界に対するサンプルと同数になるようにサブサンプリングされる。図５は、左および上のサンプルの位置と、ＣＣＬＭモードに関わる現在のブロックのサンプルと、を示している。
【0032】
ｍｉｎ－ｍａｘ法の計算は、デコーディング処理の一部として実行され、単なるエンコーダの検索操作としてではない。そのため、パラメータαおよびパラメータβの値をデコーダに伝えるためのシンタックスは使用されていない。現在、式／フィルタ（３）は、ダウンサンプルされたルーマサンプルを生成するために、ルーマダウンサンプルフィルタとして使用される。しかし、式（３）から（１９）に示すように、ダウンサンプルされたルーマサンプルを生成するために、異なる式／フィルタを選択することができる。なお、式（５）から（１０）は、ダウンサンプル処理なしで直接サンプルを取得しているとみなすことができる。
【数3】
【0033】
上のテンプレートおよび左のテンプレートは、ともに線形モデルの係数を計算するために使用することができる上に、代替として、他の２つのＬＭモード、ＬＭ＿ＡおよびＬＭＬと呼ばれるが、においても、それぞれ使用することができる。図７に示すように、ＬＭ＿Ａモードでは、上のテンプレートが線形モデルの係数の算出に用いられる。より多くのサンプルを得るために、上のテンプレートは（Ｗ＋Ｈ）に拡張される。図８に示すように、ＬＭＬモードでは、左のテンプレートのみが線形モデルの係数の算出に使用される。より多くのサンプルを得るために、左のテンプレートは（Ｈ＋Ｗ）に拡張される。四角形でないブロックでは、上のテンプレートはＷ＋Ｗに拡張され、左のテンプレートはＨ＋Ｈに拡張される。上／左のテンプレートが利用できない場合、ＬＭ＿Ａ／ＬＭＬモードはチェックまたは合図されない。利用可能なサンプルが十分でない場合は、最も右（上のテンプレートの場合）または最も下（左のテンプレートの場合）のサンプルを最も近いｌｏｇ２の数にコピーすることにより、テンプレートが水増しされる。コーデックは、４：２：０ＹＵＶフォーマットに加え、４：２：２フォーマット（図９）および４：４：４フォーマット（図１０）もサポートしている。
【0034】
ＪＶＥＴのミーティングでは、ＬＭモードを改善するためのいくつかの方法が以下のように提案されている。
【0035】
ＭＭＬＭモード：ＭＭＬＭは、マルチモデルのＬＭモードに該当し、二つの線形モデルがクロマサンプルの予測を導出するために用いられる場合である。再構成されたルーマの値は、二つのカテゴリに分けられ、一つのモデルが各カテゴリに当てがわれる。各モデルのαおよびβパラメータの導出は、ＣＣＬＭモードとして行われるが、パラメータの導出に用いられる再構成されたルーマ（ダウンサンプリルされた）も、各モデルに応じて分けられる。
【0036】
ＭＦＬＭモード：ＭＦＬＭは、マルチフィルタのＬＭモードに該当し、予測モデルにおいて使用される再構成されたルーマサンプルをダウンサンプルするために、異なるフィルタが用いられる場合である。四つのそのようなフィルタが用いられ、ビットストリームにおいて用いられる特定のフィルタが示される／合図される。
【0037】
ＬＭ角度予測：このモードでは、ＭＭＬＭモードおよび非ＬＭモードは、二つのモードによって得られた予測サンプルを平均化することにより、組み合わせられる。
【0038】
ＭＮＬＭ（Ｍｕｌｔｉｐｌｅ Ｎｅｉｇｈｂｏｒ－ｂａｓｅｄ Ｌｉｎｅａｒ Ｍｏｄｅｌ）は、ＭＭＬＭ導出のために複数のネイバーセットを用い、ＣＵのルーマサンプルおよびクロマサンプルとの間の様々な線形関係をカバーする。図１１に描かれているように、異なるネイバーセットを有する三つのＭＮＬＭが、ＭＭＬＭにおいて提案されている。
【0039】
ＭＭＬＭ：Ａ、Ｂ、Ｃ、Ｄ（上および左のネイバーを含む）
【0040】
上のＭＭＬＭ：Ｃ、Ｄ、Ｆ、Ｈ（上のネイバーだけを含む）
【0041】
左のＭＭＬＭ：Ａ、Ｂ、Ｅ、Ｇ（左のネイバーだけを含む）
【0042】
図１１に示されるように、Ａは左の２番目のネイバーである。Ｂは左の１番目のネイバーである。Ｃは上の１番目のネイバーである。Ｄは上の２番目のネイバーである。Ｅは左の３番目のネイバーである。Ｆは上の３番目のネイバーである。Ｇは左の４番目のネイバーである。Ｈは上の４番目のネイバーである。
【0043】
ＭＮＬＭの異なるＣＣＬＭ予測モードは、下の表にリストされている。
【表1】
【0044】
モード０、モード１、モード２、およびモード３は、同じダウンサンプルフィルタを用いるが、ＬＭおよびＭＭＬＭ導出のため異なるネイバーセットを用いる。
【0045】
ＣＣＬＭのパラメータの導出の複雑さを軽減するために、第１の実施形態では、パラメータαおよびパラメータβを導出するために三つのサンプルペアが用いられている。図１２に示すように、サンプルペアは、左の隣接するサンプルのうちの最も上のサンプル（Ｒｅｃ’Ｌ［－１,０］,ＲｅｃＣ［－１,０］）と、左の隣接するサンプルのうちの最も下のサンプル（Ｒｅｃ’Ｌ［－１,Ｈ－１］,ＲｅｃＣ［－１,Ｈ－１］）と、上の隣接するサンプルのうちの最も右のサンプル（Ｒｅｃ’Ｌ［Ｗ－１,－１］,ＲｅｃＣ［Ｗ－１,－１］）と、を含む。ＷおよびＨは、クロマのブロックの幅および高さを示す。
【0046】
別の実施形態では、図１３に示すように、サンプルペアは、上の隣接するサンプルのうちの最も左のサンプル（Ｒｅｃ’Ｌ［０,－１］,ＲｅｃＣ［０,－１］）と、左の隣接するサンプルのうちの最も下のサンプル（Ｒｅｃ’Ｌ［－１,Ｈ－１］,ＲｅｃＣ［－１,Ｈ－１］）と、上の隣接するサンプルのうちの最も右のサンプル（Ｒｅｃ’Ｌ［Ｗ－１,－１］,ＲｅｃＣ［Ｗ－１,－１］）と、を含む。
【0047】
なお、サンプルペアの選択は、前述された実施形態に限定されない。三つのサンプルペアは、上または左の再構成された隣接するサンプルから選択されたいずれの三つのサンプルペアであり得るし、隣接するサンプルは上の１ラインまたは左の１ラインのみであるということに限定されない。
【0048】
一実施形態では、最大のルーマサンプル値、中間のサンプル値、および最小のルーマサンプル値をそれぞれ有するサンプルペアが、ルーマサンプル比較を通じて識別される。最大および中間のサンプルペアのルーマサンプル値の加重平均はｘＢと示され（式（２０）に示される）、最大および中間のサンプルペアのクロマサンプル値の加重平均はｙＢと示される（式（２２）に示される）。また、中間および最小のサンプルペアのルーマサンプル値の加重平均はｘＡと示され（式（２１）に示す）、中間および最小のサンプルペアのクロマサンプル値の加重平均はｙＡと示される（式（２３）に示される）。そして、式（２）を用いて、パラメータαおよびパラメータβが算出される
【数4】
【数5】
【数6】
【数7】
【0049】
ｘｍａｘは最大のサンプルペアのルーマサンプル値であり、ｘｍｉｄは中間のサンプルペアのルーマサンプル値であり、ｘｍｉｎは最小のサンプルペアのルーマサンプル値であり、ｙｍａｘは最大のサンプルペアのクロマサンプル値であり、ｙｍｉｄは中間のサンプルペアのクロマサンプル値であり、ｙｍｉｎは最小のサンプルペアのクロマサンプル値であり、ｗ１＋ｗ２＝（１＜＜Ｎ１）、ｏｆｆｓｅｔ１＝１＜＜（Ｎ１－１）であり、ｗ３＋ｗ４＝（１＜＜Ｎ２）、ｏｆｆｓｅｔ２＝１＜＜（Ｎ２－１）である。
【0050】
ｗ１は第１の重み付け係数であり、ｗ２は第２の重み付け係数であり、ｗ３は第３の重み付け係数であり、ｗ４は第４の重み付け係数である。また、Ｎ１は第１の平均値であり、Ｎ２は第２の平均値である。また、ｏｆｆｓｅｔ１は第１のオフセット係数であり、ｏｆｆｓｅｔ２は第２のオフセット係数である。
【0051】
均等な重み付けが適用される場合の一例では、ｗ１＝１、ｗ２＝１、ｗ３＝１、ｗ４＝１であり、Ｎ１＝１、Ｎ２＝１、そしてｏｆｆｓｅｔ１＝１、ｏｆｆｓｅｔ２＝１である。
【0052】
さらに別の例では、ｗ１＝３、ｗ２＝１、ｗ３＝１、ｗ４＝３であり、Ｎ１＝２、Ｎ２＝２、そしてｏｆｆｓｅｔ１＝２、ｏｆｆｓｅｔ２＝２である。
【0053】
さらに別の例では、ｗ１＝３、ｗ２＝１、ｗ３＝１、ｗ４＝３であり、Ｎ１＝２、Ｎ２＝２、そしてｏｆｆｓｅｔ１＝２、ｏｆｆｓｅｔ２＝２である。
【0054】
さらに別の実施形態では、三つのサンプルペアに対するインデックスとして、ｉ、ｊ、ｋが用いられ、ｌｕｍａｉおよびｌｕｍａｊと、ｌｕｍａｉおよびｌｕｍａｋと、という二つだけの比較が行われる。当該二つの比較により、当該三つのサンプルペアは、ルーマ値によって完全にソートされるか、または、二つのグループ、一方はより大きな二つの値を含んでいてもう一方はより小さな値を含んでいるもしくはその逆、に分けられるか、ができる。値が完全にソートされている場合は、前のセクションで説明された方法を使用することができる。サンプルペアが二つのグループに分けられた場合、同じグループ内のルーマおよびクロマのサンプルは、それぞれ加重平均される（グループ内の単一のサンプルペアは実質的に加重平均を行うことを必要としない）。例えば、一つのグループに二つのサンプルペアがある場合に、一つのグループの二つのルーマ値は均等に重み付けられて平均化され、一方、二つのクロマ値もまた均等に重み付けられて平均化される。ここでは、（２）を用いてＣＣＬＭのパラメータを導出するために、加重平均された値を、ｘＡ、ｘＢ、ｙＡおよびｙＢとして用いる。
【0055】
さらに別の実施形態では、最大のルーマサンプル値を有するサンプルペアと、最小のルーマサンプル値を有するサンプルペアと、が、ルーマサンプルの比較を通じて識別される。最大のサンプルペアのルーマサンプル値をｘＢと示し、最大のサンプルペアのクロマサンプル値をｙＢと示し、最小のサンプルペアのルーマサンプル値をｘＡと示し、最小のサンプルペアのクロマサンプル値をｙＡと示す。そして、パラメータαおよびパラメータβは、式（２）を用いて算出される。
【0056】
なお、ＣＣＬＭのパラメータの導出方法は、前述された実施形態に限られない。選択された三つのサンプルペアは、ＣＣＬＭのパラメータを導出するために、どのような方法においても用いることができる。
【0057】
第２の実施形態では、ＣＣＬＭの導出の複雑さを低減するために、四つのサンプルペアを用いてパラメータαおよびパラメータβを導出する。図１４に示すように、サンプルペアは、左の隣接するサンプルのうちの最も上のサンプル（Ｒｅｃ’Ｌ［－１,０］,ＲｅｃＣ［－１,０］）と、上の隣接するサンプルのうちの最も左のサンプル（Ｒｅｃ’Ｌ［０,－１］,ＲｅｃＣ［０,－１］）と、左の隣接するサンプルのうちの最も下のサンプル（Ｒｅｃ’Ｌ［－１,Ｈ－１］,ＲｅｃＣ［－１,Ｈ－１］）と、上の隣接するサンプルのうちの最も右のサンプル（Ｒｅｃ’Ｌ［Ｗ－１,－１］,ＲｅｃＣ［Ｗ－１,－１］）と、を含む。
【0058】
別の実施形態では、図１５に示すように、サンプルペアは、上の隣接するサンプルのうちの最も左のサンプルの幅の４分の１の部分（Ｒｅｃ’Ｌ［Ｗ／４，－１］，ＲｅｃＣ［Ｗ／４，－１］）と、左の隣接するサンプルのうちの最も上のサンプルの高さの４分の１の部分（Ｒｅｃ’Ｌ［－１，Ｈ／４］，ＲｅｃＣ［－１，Ｈ／４］）と、左の隣接するサンプルのうちの最も下のサンプル（Ｒｅｃ’Ｌ［－１，Ｈ－１］，ＲｅｃＣ［－１，Ｈ－１］）と、上の隣接するサンプルのうちの最も右のサンプル（Ｒｅｃ’Ｌ［Ｗ－１，－１］，ＲｅｃＣ［Ｗ－１，－１］）と、を含む。
【0059】
なお、サンプルペアの選択は、前述された実施形態に限定されない。四つのサンプルペアは、上または左の再構成された隣接するサンプルから選択されたいずれの四つのサンプルペアであり得るし、隣接するサンプルは、上の１ラインまたは左のラインのみであるということに限定されない。例えば、一つのサンプルペアのセットは、上の隣接するサンプルのうちの最も左のサンプルの幅の４分の１の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの４分の１の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の４分の３の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの４分の３の部分と、を含む。
【0060】
あるいは、別のサンプルペアのセットは、上の隣接するサンプルのうちの最も左のサンプルの幅の８分の１の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の８分の３の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の８分の５の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の８分の７の部分と、を含む。
【0061】
あるいは、別のサンプルペアのセットは、左の隣接するサンプルのうちの最も上のサンプルの高さの８分の１の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの８分の３の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの８分の５の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの８分の７の部分と、を含む。
【0062】
一実施形態では、より大きな二つのルーマサンプル値とより小さな二つのルーマサンプル値とをそれぞれ有するサンプルペアが、ルーマサンプルの比較を通じて識別される。より大きな二つのサンプルペアのルーマサンプル値はｘＢ０、ｘＢ１と示され、より大きなサンプルペアのクロマサンプル値はｙＢ０、ｙＢ１と示される。より小さな二つのサンプルペアのルーマサンプル値はｘＡ０、ｘＡ１と示され、より小さな二つのサンプルペアのクロマサンプル値はｙＡ０、ｙＡ１と示される。そして、下の式、式（２４）－（２７）、で示されるように、ｘＡ、ｘＢ、ｙＡおよびｙＢは、ｘＡ０、ｘＡ１、ｘＢ０、ｘＢ１、ｙＡ０、ｙＡ１およびｙＢ０、ｙＢ１の加重平均として導出される。そして、パラメータαおよびパラメータβは、式（２）を用いて算出される。
【数8】
【数9】
【数10】
【数11】
【0063】
ｗ１＋ｗ２＝（１＜＜Ｎ１）、ｏｆｆｓｅｔ１＝１＜＜（Ｎ１－１）である。ｗ３＋ｗ４＝（１＜＜Ｎ２）、ｏｆｆｓｅｔ２＝１＜＜（Ｎ２－１）である。ｗ１は第１の重み付け係数であり、ｗ２は第２の重み付け係数であり、ｗ３は第３の重み付け係数であり、ｗ４は第４の重み付け係数である。また、Ｎ１は第１の平均値であり、Ｎ２は第２の平均値である。また、ｏｆｆｓｅｔ１は第１のオフセット係数であり、ｏｆｆｓｅｔ２は第２のオフセット係数である。
【0064】
均等な重み付けが適用される場合の一例では、ｗ１＝１、ｗ２＝１、ｗ３＝１、ｗ４＝１であり、Ｎ１＝１、Ｎ２＝１、そしてｏｆｆｓｅｔ１＝１、ｏｆｆｓｅｔ２＝１である。
【0065】
さらに別の例では、ｗ１＝３、ｗ２＝１、ｗ３＝１、ｗ４＝３であり、Ｎ１＝２、Ｎ２＝２、そしてｏｆｆｓｅｔ１＝２、ｏｆｆｓｅｔ２＝２である。
【0066】
別の実施形態では、最大のルーマサンプル値と、最小のルーマサンプル値と、をそれぞれ有するサンプルペアが、ルーマサンプルの比較を通じて識別される。最大のサンプルペアのルーマサンプル値をｘＢと示し、最大のサンプルペアのクロマサンプル値をｙＢと示す。また、最小のサンプルペアのルーマサンプル値をｘＡと示し、最小のサンプルペアのクロマサンプル値をｙＡと示す。そして、パラメータαおよびパラメータβは、式（２）を用いて算出される。
【0067】
なお、ＣＣＬＭのパラメータの導出方法は、前述された実施形態に限られない。選択された四つのサンプルペアは、ＣＣＬＭのパラメータを導出するために、どのような方法においても用いることができる。
【0068】
本発明の他の実施形態は、本明細書と、ここに開示された発明の実施と、を考慮することにより、当業者には明らかであろう。この出願は、本発明の、その一般原則に従うあらゆる変形、使用、または適応をカバーすることが意図されており、本技術分野における既知または慣例的な実施の範囲内にあるような本開示からの逸脱を含む。本明細書および例は、単に例示的なものとして考慮されることを意図されており、以下の特許請求の範囲によって示された本発明の真の範囲および精神を伴う。
【0069】
本発明が、上述し、添付図面に示された具体例に限定されないことや、その範囲を逸脱することなく様々な修正および変更を行うことができることは、認められるであろう。本発明の範囲は、添付の請求項によってのみ限定されることが意図されている。
【0070】
１以上の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれの組み合わせにおいて実装されてよい。ソフトウェアで実装されるのであれば、機能は、１以上の命令またはコードとして、コンピュータ可読媒体に格納されるか、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体や、例えば通信プロトコルに従って、ある場所から別のところへのコンピュータプログラムの伝送を容易にするあらゆる媒体を含む通信媒体を、含む。このように、コンピュータ可読媒体は、一般に、（１）非一時的で有形のコンピュータ可読記憶媒体、または（２）信号、搬送波などといった通信媒体、に相当してよい。データ記憶媒体は、本明細書に記載されている実装についての、命令、コードおよび／または実装のためのデータ構造を取得するために、１以上のコンピュータまたは１以上のプロセッサによってアクセス可能なあらゆる利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【0071】
さらに、上記の方法は、１以上の回路を含む装置を用いて実装されてもよく、当該回路は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品を含む。本装置は、上述の方法を実行するための他のハードウェアまたはソフトウェアのコンポーネントと組み合わせた回路を用いてよい。上記のモジュール、サブモジュール、ユニット、またはサブユニットのそれぞれは、１以上の回路を用いて、少なくとも部分的に実装されてもよい。
【0072】
本発明の他の実施形態は、本明細書と、ここに開示された本発明の実施と、を考慮することにより、当業者には明らかであろう。この出願は、本発明の、その一般原則に従うあらゆる変形、使用、または適応をカバーすることが意図されており、本技術分野における既知または慣例的な実施の範囲内にあるような本開示からの逸脱を含む。本明細書および例は、単に例示的なものとして考慮されることを意図されており、以下の特許請求の範囲によって示された本発明の真の範囲および精神を伴う。
【0073】
本発明が、上述し、添付図面に示された具体例に限定されないことや、その範囲を逸脱することなく様々な修正および変更を行うことができることは、認められるであろう。本発明の範囲は、添付の請求項によってのみ限定されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
