▶ ベイジン ダイジャ インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧
特表2024-513993方法、電子装置、非一時的コンピュータ可読記憶媒体、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】方法、電子装置、非一時的コンピュータ可読記憶媒体、およびコンピュータプログラム
(51)【国際特許分類】
H04N 19/11 20140101AFI20240319BHJP
H04N 19/157 20140101ALI20240319BHJP
H04N 19/176 20140101ALI20240319BHJP
H04N 19/186 20140101ALI20240319BHJP
H04N 19/70 20140101ALI20240319BHJP
【ＦＩ】
H04N19/11
H04N19/157
H04N19/176
H04N19/186
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023563028
(86)(22)【出願日】2022-04-18
(85)【翻訳文提出日】2023-10-13
(86)【国際出願番号】 US2022025184
(87)【国際公開番号】W WO2022221756
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】63/176,140
(32)【優先日】2021-04-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521289098
【氏名又は名称】ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １０１，８ｔｈ Ｆｌｏｏｒ，Ｂｕｉｌｄｉｎｇ １２，Ｎｏ．１６，Ｘｉｅｒｑｉ Ｗｅｓｔ Ｒｏａｄ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８５，Ｐ．Ｒ．Ｃｈｉｎａ
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】ジュ，ホン－ジェン
(72)【発明者】
【氏名】シュウ，シャオユウ
(72)【発明者】
【氏名】チェン，イ－ウェン
(72)【発明者】
【氏名】チェン，ウェイ
(72)【発明者】
【氏名】クオ，チーウェイ
(72)【発明者】
【氏名】ワン，シャンリン
(72)【発明者】
【氏名】ユ，ビン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC09
5C159MA04
5C159PP16
5C159RB09
5C159RC12
5C159TA31
5C159TB08
5C159TC10
5C159TC42
5C159TD02
5C159TD16
5C159UA02
5C159UA05
(57)【要約】
コンピューティングデバイスは、最小ルマ値と閾値ルマ値との間の第１の線形モデルと、閾値ルマ値と最大ルマ値との間の第２の線形モデルとを含むマルチモデル線形モデル（ＭＭＬＭ）を基準ルマサンプルのグループ及び基準クロマサンプルのグループから生成するとともに、ルマブロックの、マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせから、クロマブロックのそれぞれのサンプル値を再構成することによってビデオデータを復号する方法を実行する。
【特許請求の範囲】
【請求項1】
ビデオ信号のクロマブロックを構成するための方法であって、前記クロマブロック、対応するルマブロック、前記ルマブロックを取り囲む複数の隣接するルマサンプル、及び前記クロマブロックを取り囲む複数の隣接するクロマサンプルを符号化したビットストリームを受信することと、
前記ルマブロックの複数の再構成されたルマサンプル、複数の再構成された隣接するルマサンプル、及び複数の再構成された隣接するクロマサンプルをそれぞれ取得するために、前記ルマブロック、前記複数の隣接するルマサンプル、及び前記複数の隣接するクロマサンプルを復号することと、
前記複数の再構成された隣接するルマサンプル及び前記複数の再構成された隣接するクロマサンプルから、基準ルマサンプルのグループ及び基準クロマサンプルのグループであって、各基準ルマサンプルがそれぞれの基準クロマサンプルに対応している、ルマサンプルのグループ及び基準クロマサンプルのグループを選択することと、
前記基準ルマサンプルのグループから閾値ルマ値を計算するとともに、前記基準クロマサンプルのグループから対応する閾値クロマ値を計算することと、
前記基準ルマサンプルのグループから、最大ルマ値及び最小ルマ値であって、前記閾値ルマ値が前記最小ルマ値と前記最大ルマ値との間にある、最大ルマ値及び最小ルマ値を判定することと、
前記最小ルマ値と前記閾値ルマ値との間の第１の線形モデルと、前記閾値ルマ値と前記最大ルマ値との間の第２の線形モデルとを含むマルチモデル線形モデルを生成することと、
前記ルマブロックの、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせから前記クロマブロックのそれぞれのサンプル値を再構成することと、
を含む、方法。
【請求項2】
前記複数の隣接するルマサンプルは、前記ルマブロックを取り囲む少なくとも２つの左ライン及び少なくとも２つの上ラインから選択され、前記複数の隣接するクロマサンプルは、前記クロマブロックを取り囲む少なくとも２つの左ライン及び少なくとも２つの上ラインから選択される、請求項１に記載の方法。
【請求項3】
前記複数の隣接するルマサンプルが所定数の基準セットに分割され、前記複数の隣接するクロマサンプルが前記所定数の基準セットに分割され、前記基準ルマサンプルのグループは、前記所定数の基準セットのうちの１つから選択され、前記基準クロマサンプルのグループは、前記所定数の基準セットのうちの１つから選択される、請求項２に記載の方法。
【請求項4】
前記基準ルマサンプルのグループ及び前記基準クロマサンプルのグループは、前記クロマブロック及び前記ルマブロックを含む現在のブロックのコード化された情報に基づいて選択される、請求項３に記載の方法。
【請求項5】
前記複数の再構成された隣接するルマサンプル及び前記複数の再構成された隣接するクロマサンプルから、前記基準ルマサンプルのグループ及び前記基準クロマサンプルのグループを選択することは、ＴＢ（変換ブロック）、ＣＢ（コーディングブロック）、スライス、ピクチャ、及びシーケンスレベルから成るグループから選択される１つにおける制御フラグから前記所定数の基準セットの信号伝達かどうかを判定することと、
前記制御フラグから、前記所定数の基準セットの前記信号伝達が有効にされていると判定するのに応じて、前記所定数の基準セットのうちの特定のセットが前記基準ルマサンプルのグループ及び前記基準クロマサンプルのグループとして選択されるとシンタックスから判定することと、
を含む、請求項３に記載の方法。
【請求項6】
前記ルマブロックの、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの前記第１のサンプル値と、隣接するクロマブロックの、前記イントラ予測モードから再構成されたそれぞれの前記第２のサンプル値との前記重み付けられた組み合わせから前記クロマブロックのそれぞれの前記サンプル値を再構成することは、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで、対応する再構成されたそれぞれの前記第１のサンプル値の重みを示す第１の信号伝達、及び前記イントラ予測モードのタイプを示す第２の信号伝達のうちの少なくとも一方を受信すること、
を含む、請求項１に記載の方法。
【請求項7】
前記ルマブロックの、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの前記第１のサンプル値と、隣接するクロマブロックの、前記イントラ予測モードから再構成されたそれぞれの前記第２のサンプル値との前記重み付けられた組み合わせから前記クロマブロックのそれぞれの前記サンプル値を再構成することは、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで信号伝達された制御フラグが有効にされている場合に実行される、請求項１に記載の方法。
【請求項8】
前記イントラ予測モードは、勾配解析によって、事前に符号化された隣接するサンプルを使用して導出される、請求項７に記載の方法。
【請求項9】
前記複数の隣接するルマサンプルは、前記ルマブロックを取り囲む単一の左ライン及び単一の上ラインから選択され、前記複数の隣接するクロマサンプルは、前記クロマブロックを取り囲む単一の左ライン及び単一の上ラインから選択される、請求項１に記載の方法。
【請求項10】
前記ルマブロックの、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの前記第１のサンプル値から前記クロマブロックのそれぞれの前記サンプル値を再構成することは、前記ルマブロックの、再構成された対応するそれぞれの前記第１のサンプル値が前記閾値ルマ値以下であるという判定に応じて、前記クロマブロックのそれぞれの前記サンプル値を取得するために前記第１の線形モデルを前記ルマブロックの、再構成された対応するそれぞれの前記第１のサンプル値に適用することと、
前記ルマブロックの、再構成された対応するそれぞれの前記第１のサンプル値が前記閾値ルマ値よりも大きいという判定に応じて、前記クロマブロックのそれぞれの前記サンプル値を取得するために前記第２の線形モデルを前記ルマブロックの、再構成された対応するそれぞれの前記第１のサンプル値に適用することと、
を含む、請求項１に記載の方法。
【請求項11】
１つ以上の処理ユニットと、前記１つ以上の処理ユニットに結合されるメモリと、
前記メモリに記憶された複数のプログラムであって、前記１つ以上の処理ユニットによって実行されると、前記電子装置に請求項１から１０のいずれか一項に記載の方法を実行させる、複数のプログラムと、
を備える電子装置。
【請求項12】
請求項１から１０のいずれか一項に記載の前記ビデオ信号の前記クロマブロックを構成するための方法によって生成されるビデオ情報を含むビットストリームが記憶されたコンピュータ可読記憶媒体。
【請求項13】
１つ以上の処理ユニットを有する電子装置によって実行される複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つ以上の処理ユニットによって実行されると、前記電子装置に請求項１から１０のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年４月１６日に出願された「マルチモデル線形モデルを用いたビデオコーディング」と題する米国仮特許出願第６３／１７６，１４０号に基づくとともにこの米国仮特許出願第６３／１７６，１４０号の優先権を主張し、この米国仮特許出願の内容は参照によりその全体が本願に組み入れられる。
本出願は、２０２１年４月１６日に出願された「マルチモデル線形モデルを用いたビデオコーディング」と題する米国仮特許出願第６３／１７６，１４０号に基づくとともにこの米国仮特許出願第６３／１７６，１４０号の優先権を主張し、この米国仮特許出願の内容は参照によりその全体が本願に組み入れられる。
【0002】
この出願は、ビデオコーディング及び圧縮に関し、より具体的には、コーディング効率を向上させ、複雑さを単純化し、イントラ予測の精度を向上させる方法及び装置に関する。
【背景技術】
【0003】
デジタルビデオは、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、スマートフォン、ビデオテレコンファレンスデバイス、ビデオストリーミングデバイスなどの様々な電子デバイスによってサポートされる。電子デバイスは、通信ネットワークを介してデジタルビデオデータを送受信又は通信し、及び／又は記憶デバイスにデジタルビデオデータを記憶する。通信ネットワークの帯域幅容量が限られており、記憶デバイスのメモリリソースが限られているため、ビデオコーディングを使用して、ビデオデータが通信又は記憶される前に１つ以上のビデオコーディング規格にしたがってビデオデータを圧縮する場合がある。例えば、ビデオコーディング規格としては、多用途ビデオコーディング（ＶＶＣ）、ジョイントエクスポレーションテストモデル（ＪＥＭ）、高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）、高度ビデオコーディング（ＡＶＣ／Ｈ．２６４）、ムービングピクチャエキスパートグループ（ＭＰＥＧ）コーディングなどが挙げられる。ビデオコーディングは、一般に、ビデオデータに固有の冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオコーディングは、ビデオ品質の低下を回避又は最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することを目的とする。
【発明の概要】
【0004】
本出願は、ビデオデータ符号化及び復号に関連する、より詳細には、マルチモデル線形モデル（ＭＭＬＭ）及びイントラ予測モードを使用してコーディング効率を向上させ、複雑さを単純化し、イントラ予測の精度を向上させる方法及び装置に関連する実施態様について記載する。
【0005】
本出願の第１の態様によれば、ビデオ信号のクロマブロックを構成するための方法が、クロマブロック、対応するルマブロック、ルマブロックを取り囲む複数の隣接するルマサンプル、及び前記クロマブロックを取り囲む複数の隣接するクロマサンプルを符号化したビットストリームを受信することと、ルマブロックの複数の再構成されたルマサンプル、複数の再構成された隣接するルマサンプル、及び複数の再構成された隣接するクロマサンプルをそれぞれ取得するために、ルマブロック、複数の隣接するルマサンプル、及び複数の隣接するクロマサンプルを復号することと、複数の再構成された隣接するルマサンプル及び複数の再構成された隣接するクロマサンプルから、基準ルマサンプルのグループ及び基準クロマサンプルのグループであって、各基準ルマサンプルがそれぞれの基準クロマサンプルに対応している、ルマサンプルのグループ及び基準クロマサンプルのグループを選択することと、基準ルマサンプルのグループから閾値ルマ値を計算するとともに、基準クロマサンプルのグループから対応する閾値クロマ値を計算することと、基準ルマサンプルのグループから、閾値ルマ値が最小ルマ値と最大ルマ値との間にある、最大ルマ値及び最小ルマ値を判定することと、最小ルマ値と閾値ルマ値との間の第１の線形モデルと、閾値ルマ値と最大ルマ値との間の第２の線形モデルとを含むマルチモデル線形モデルを生成することと、ルマブロックの、マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせからクロマブロックのそれぞれのサンプル値を再構成することと、を含む。
【0006】
本出願の第２の態様によれば、電子装置が、１つ以上の処理ユニットと、１つ以上の処理ユニットに結合されるメモリと、メモリに記憶された複数のプログラムと、を備える。これらのプログラムは、１つ以上の処理ユニットによって実行されると、電子装置に、上述のような、ビデオ信号のコード化の方法を実行させる。
【0007】
本出願の第３の態様によれば、非一時的コンピュータ可読記憶媒体が、１つ以上の処理ユニットを有する電子装置によって実行される複数のプログラムを記憶している。これらのプログラムは、１つ以上の処理ユニットによって実行されると、電子装置に、上述のような、ビデオ信号のコード化の方法を実行させる。
【0008】
本出願の第４の態様によれば、コンピュータ可読記憶媒体が、上述のような、ビデオ復号の方法によって生成されたビデオ情報を含むビットストリームを記憶している。
【0009】
前述の一般的な説明及び以下の詳細な説明の両方は、例にすぎず、本開示を限定するものではないことを理解すべきである。
【0010】
実施態様の更なる理解を与えるために含まれて、本明細書に組み込まれるとともに、本明細書の一部を構成する添付図面は、記載された実施態様を例示し、説明と共に基礎となる原理を説明するのに役立つ。同様の参照番号は、対応する部分を指す。
【図面の簡単な説明】
【0011】
【図1】本開示の幾つかの実施に係る典型的なビデオ符号化及び復号システムを示すブロック図である。
【図2】本開示の幾つかの実施に係る典型的なビデオエンコーダを例示するブロック図である。
【図3】本開示の幾つかの実施に係る典型的なビデオデコーダを示すブロック図である。
【図4A】本開示の幾つかの実施にしたがってフレームがどのようにして異なるサイズの複数のビデオブロックに再帰的に四分木分割されるかを示すブロック図である。
【図4B】本開示の幾つかの実施にしたがってフレームがどのようにして異なるサイズの複数のビデオブロックに再帰的に四分木分割されるかを示すブロック図である。
【図4C】本開示の幾つかの実施にしたがってフレームがどのようにして異なるサイズの複数のビデオブロックに再帰的に四分木分割されるかを示すブロック図である。
【図4D】本開示の幾つかの実施にしたがってフレームがどのようにして異なるサイズの複数のビデオブロックに再帰的に四分木分割されるかを示すブロック図である。
【図5A】本開示の幾つかの実施に係る符号化されるべき現在のＣＵの空間的に隣接して時間的にコロケートされたブロック位置を例示するブロック図である。
【図5B】本開示の幾つかの実施に係る波面並列処理を使用するピクチャのＣＴｌＪの複数の行のマルチスレッド符号化を示すブロック図である。
【図5C】本開示の幾つかの実施に係るＶＶＣ規格で規定されるイントラモードを示すブロック図である。
【図5D】本開示の幾つかの実施に係るイントラ予測のための基準として現在のブロックの上及び左に隣接する再構成されたサンプルのセットを示すブロック図である。
【図5E】本開示の幾つかの実施に係る勾配解析が実行される選択されたピクセルのセットを示すブロック図である。
【図5F】本開示の幾つかの実施に係るテンプレートを用いた３ｘ３ Ｓｏｂｅｌ勾配フィルタの畳み込みプロセスを示すブロック図である。
【図6A】本開示の幾つかの実施に係る、復号されるべき典型的な事前に再構成されたルマブロック６０２を示すブロック図である。
【図6B】本開示の幾つかの実施に係る、復号されるべき典型的な関連するクロマブロック６２０を示すブロック図である。
【図7A】本開示の幾つかの実施に係る、マルチモデル線形モデルを導出するとともにマルチモデル線形モデルを適用してコーディングユニットのクロマサンプルを予測する技術をビデオコーダが実施する典型的なプロセスを示すプロット図である。
【図7B】本開示の幾つかの実施に係る、マルチモデル線形モデルを導出するとともにマルチモデル線形モデルを適用してコーディングユニットのクロマサンプルを予測する技術をビデオコーダが実施する典型的なプロセスを示すプロット図である。
【図7C】本開示の幾つかの実施に係る、マルチモデル線形モデルを導出するとともにマルチモデル線形モデルを適用してコーディングユニットのクロマサンプルを予測する技術をビデオコーダが実施する典型的なプロセスを示すプロット図である。
【図7D】本開示の幾つかの実施に係る、マルチモデル線形モデルを導出するとともにマルチモデル線形モデルを適用してコーディングユニットのクロマサンプルを予測する技術をビデオコーダが実施する典型的なプロセスを示すプロット図である。
【図8】本開示の幾つかの実施に係る、マルチモデル線形モデルを導出するとともにマルチモデル線形モデルを適用してコーディングユニットのクロマサンプルを予測する技術をビデオコーダが実施する典型的なプロセスを示すフローチャートである。
【図9】本開示の幾つかの実施に係るＭＭＬＭに使用される隣接するサンプル（灰色の円として示される）の位置を示すブロック図である。
【図10】本開示の幾つかの実施に係るＭＭＬＭに使用されるサンプルの４つのセットの位置を示すブロック図である。
【図11】本開示の幾つかの実施に係るＭＭＬＭとイントラ予測とを組み合わせてビデオ信号のクロマブロックを予測又は構成する技術をビデオコーダが実施する典型的なプロセスを示すフローチャートである。
【図12】本開示の幾つかの実施に係る、ユーザインタフェースと結合されるコンピューティング環境を示す図である。
【発明を実施するための形態】
【0012】
ここで、その例が添付図面に示される特定の実施態様について詳細に言及する。以下の詳細な説明では、本明細書に提示される主題の理解を助けるために、多数の非限定的な特定の詳細が記載される。しかし、当業者であれば分かるように、特許請求の範囲から逸脱することなく様々な代替形態を使用することができ、これらの特定の詳細を伴うことなく主題を実施できる。例えば、当業者であれば分かるように、本明細書に提示される主題は、デジタルビデオ機能を有する多くのタイプの電子デバイスで実施され得る。
【0013】
図１は、本開示の幾つかの実施に係るビデオブロックを並列に符号化及び復号するための典型的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、送信先デバイス１４によって後で復号されるべきビデオデータを生成及び符号化する送信元デバイス１２を含む。送信元デバイス１２及び送信先デバイス１４は、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む多種多様な電子デバイスのいずれかを含んでいてよい。幾つかの実施において、送信元デバイス１２及び送信先デバイス１４は、無線通信機能を備えている。
【0014】
幾つかの実施において、送信先デバイス１４は、リンク１６を介して復号されるべき符号化されたビデオデータを受信してよい。リンク１６は、符号化されたビデオデータを送信元デバイス１２から送信先デバイス１４に移動することができる任意のタイプの通信媒体又はデバイスを含んでいてよい。一例では、リンク１６は、送信元デバイス１２が符号化されたビデオデータをリアルタイムで送信先デバイス１４に直接送信できるようにするべく通信媒体を含んでいてよい。符号化されたビデオデータは、例えば無線通信プロトコルのような通信規格にしたがって変調され、送信先デバイス１４へ送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理送信ラインなどの任意の無線又は有線通信媒体を含んでいてよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を形成していてよい。通信媒体は、ルータ、スイッチ、基地局、又は、送信元デバイス１２から送信先デバイス１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0015】
幾つかの他の実施において、符号化されたビデオデータは、出力インタフェース２２から記憶デバイス３２に送信され得る。その後、記憶デバイス３２内の符号化されたビデオデータは、入力インタフェース２８を介して送信先デバイス１４によってアクセスされ得る。記憶デバイス３２は、ハードドライブ、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、又は符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの様々な分散型又はローカルアクセス型データ記憶媒体のいずれかを含んでいてよい。更なる例において、記憶デバイス３２は、送信元デバイス１２によって生成される符号化されたビデオデータを保持していてよいファイルサーバ又は他の中間記憶デバイスに対応していてよく、送信先デバイス１４は、ストリーミング又はダウンロードを介して記憶デバイス３２から記憶されたビデオデータにアクセスしてよい。ファイルサーバは、符号化されたビデオデータを記憶して符号化されたビデオデータを送信先デバイス１４に送信することができる任意のタイプのコンピュータであってもよい。典型的なファイルサーバは、ウェブサーバ（例えば、ウェブサイトの場合）、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、又はローカルディスクドライブを含む。送信先デバイス１４は、ファイルサーバに記憶される符号化されたビデオデータにアクセスするのに適した無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はこれらの両方の組み合わせを含む任意の標準的なデータ接続を介して符号化されたビデオデータにアクセスしてよい。記憶デバイス３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はこれらの両方の組み合わせであってもよい。
【0016】
図１に示されるように、送信元デバイス１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インタフェース２２を含む。ビデオソース１８は、例えばビデオカメラなどのビデオ撮像デバイス、事前に撮像されたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインタフェース、及び／又はソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、又はそのようなソースの組み合わせなどのソースを含んでいてよい。一例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、送信元デバイス１２及び送信先デバイス１４は、カメラフォン又はビデオカメラフォンを形成していてよい。しかしながら、本出願に記載された実施態様は、一般にビデオコーディングに適用可能であってもよく、無線及び／又は有線用途に適用されてもよい。
【0017】
撮像された、事前撮像された、又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてよい。符号化されたビデオデータは、送信元デバイス１２の出力インタフェース２２を介して送信先デバイス１４に直接送信されてもよく、符号化されたビデオデータも同様に（又は代わりに）、復号及び／又は再生のために、送信先デバイス１４又は他のデバイスによる後のアクセスのために記憶デバイス３２に記憶されてもよい。出力インタフェース２２は、モデム及び／又は送信機を更に含んでいてよい。
【0018】
送信先デバイス１４は、入力インタフェース２８、ビデオデコーダ３０、及び表示デバイス３４を含む。入力インタフェース２８は、受信機及び／又はモデムを含んでいてよく、リンク１６を介して符号化されたビデオデータを受信してよい。リンク１６を介して通信される又は記憶デバイス３２上に提供される符号化されたビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用するためにビデオエンコーダ２０によって生成された様々なシンタックス要素を含んでいてよい。そのようなシンタックス要素は、通信媒体上で送信され、記憶媒体上に記憶され、又はファイルサーバに記憶される符号化されたビデオデータ内に含まれてもよい。
【0019】
幾つかの実施において、送信先デバイス１４は、一体型表示デバイス、及び送信先デバイス１４と通信するように構成される外部表示デバイスとすることができる表示デバイス３４を含んでいてよい。表示デバイス３４は、復号されたビデオデータをユーザに表示するとともに、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示デバイスなどの様々な表示デバイスのいずれかを含んでいてよい。
【0020】
ビデオエンコーダ２０及びビデオデコーダ３０は、例えばＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、又はこのような規格の拡張などの専用規格又は業界規格にしたがって動作してよい。本出願は、特定のビデオコーディング／復号規格に限定されず、他のビデオコーディング／復号規格に適用可能であってよいことを理解すべきである。送信元デバイス１２のビデオエンコーダ２０は、これらの現在又は将来の規格のうちのいずれかにしたがってビデオデータを符号化するように構成してよいことが一般に考えられる。同様に、送信先デバイス１４のビデオデコーダ３０が、これらの現在又は将来の規格のうちのいずれかにしたがってビデオデータを復号するように構成してよいことも一般に考えられる。
【0021】
ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、例えば、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれら任意の組み合わせなどの様々な適切なエンコーダ回路のうちのいずれかとして実装されてよい。部分的にソフトウェアで実装される場合、電子デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶するとともに、１つ以上のプロセッサを使用するハードウェアで命令を実行して本開示で開示されるビデオコーディング／復号動作を実行してよい。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれは、１つ以上のエンコーダ又はデコーダに含まれてもよく、これらのいずれかは、それぞれのデバイスにおける複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれてもよい。
【0022】
図２は、本出願に記載された幾つかの実施に係る典型的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測コーディング及びインター予測コーディングを実行してよい。イントラ予測コーディングは、所与のビデオフレーム内又はピクチャ内のビデオデータの空間的冗長性を低減又は除去するために空間予測に依存する。インター予測コーディングは、隣接するビデオフレーム内又はビデオシーケンスのピクチャ内のビデオデータの時間的冗長性を低減又は除去するために時間予測に依存する。
【0023】
図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号ピクチャバッファ（ＤＰＢ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、及びエントロピー符号化ユニット５６を含む。また、予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、分割ユニット４５、イントラ予測処理ユニット４６、及びイントラブロックコピー（ＢＣ）ユニット４８を更に含む。幾つかの実施において、ビデオエンコーダ２０は、ビデオブロック再構成のために逆量子化ユニット５８、逆変換処理ユニット６０、及び加算器６２も含む。デブロッキングフィルタ（図示せず）を加算器６２とＤＰＢ６４との間に位置させて、ブロック境界をフィルタリングし、再構成されたビデオからブロックネスアーチファクトを除去してよい。加算器６２の出力をフィルタリングするために、デブロッキングフィルタに加えてインループフィルタ（図示せず）を使用してもよい。ビデオエンコーダ２０は、固定された又はプログラム可能なハードウェアユニットの形態をとってよく、又は、例示された固定された又はプログラム可能なハードウェアユニットのうちの１つ以上の中に分割されていてよい。
【0024】
ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶してよい。ビデオデータメモリ４０内のビデオデータは、例えば、ビデオソース１８から取得してよい。ＤＰＢ６４は、（例えば、イントラ又はインター予測コーディングモードにおいて）ビデオエンコーダ２０によるビデオデータの符号化に用いられる基準ビデオデータを記憶するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は、様々なメモリデバイスのいずれかによって形成されてもよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とオンチップであってもよく、それらの構成要素に対してオフチップであってもよい。
【0025】
図２に示されるように、予測処理ユニット４１内の分割ユニット４５は、ビデオデータを受信した後、ビデオデータをビデオブロックに分割する。この分割は、ビデオデータに関連付けられた四分木構造などの所定の分割構造にしたがってビデオフレームをスライス、タイル、又は他のより大きなコーディングユニット（ＣＵ）に分割することも含んでよい。ビデオフレームは、複数のビデオブロック（又はタイルと呼ばれるビデオブロックのセット）に分割されてよい。予測処理ユニット４１は、エラー結果（例えば、コーディングレート及び歪みのレベル）に基づいて現在のビデオブロックに関して、複数のイントラ予測コーディングモードのうちの１つ又は複数のインター予測コーディングモードのうちの１つなどの、複数の想定し得る予測コーディングモードのうちの１つを選択してよい。予測処理ユニット４１は、結果として得られるイントラ又はインター予測コード化されたブロックを、加算器５０に供給して残差ブロックを生成するとともに、加算器６２に供給して符号化されたブロックを再構成し、その後、基準フレームの一部として使用してよい。また、予測処理ユニット４１は、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に供給する。
【0026】
現在のビデオブロックに適したイントラ予測コーディングモードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間予測を与えるべくコード化されるべき現在のブロックと同じフレーム内の１つ以上の隣接するブロックに対して現在のビデオブロックのイントラ予測コーディングを実行してよい。
予測処理ユニット４１内の動き推定ユニット４２及び動き補償ユニット４４は、時間予測を与えるために１つ以上の基準フレーム内の１つ以上の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実行する。ビデオエンコーダ２０は、例えば、ビデオデータのそれぞれのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。
予測処理ユニット４１内の動き推定ユニット４２及び動き補償ユニット４４は、時間予測を与えるために１つ以上の基準フレーム内の１つ以上の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実行する。ビデオエンコーダ２０は、例えば、ビデオデータのそれぞれのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。
【0027】
幾つかの実施態様において、動き推定ユニット４２は、ビデオフレームのシーケンス内の所定のパターンにしたがって、基準ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することによって現在のビデオフレームに関するインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は、ビデオブロックにおける動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（又は他のコーディングユニット）内でコード化されている現在のブロックに対する基準フレーム（又は他のコーディングユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示していてよい。所定のパターンは、シーケンス内のビデオフレームをＰフレーム又はＢフレームとして指定してよい。イントラＢＣユニット４８は、インター予測のための動き推定ユニット４２による動きベクトルの判定と同様の態様で、イントラＢＣコーディングのためのベクトル、例えばブロックベクトルを判定してよく、又は動き推定ユニット４２を利用してブロックベクトルを判定してもよい。
【0028】
予測ブロックは、絶対差の和（ＳＡＤ）、平方差の和（ＳＳＤ）、又は他の差分メトリックによって判定されてよい、ピクセル差分に関してコード化されるべきビデオブロックのＰＵと密接に一致すると見なされる基準フレームのブロックである。幾つかの実施において、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された基準フレームの部分整数（ｓｕｂｉｎｔｅｇｅｒ）ピクセル位置に関する値を計算してよい。例えば、ビデオエンコーダ２０は、基準フレームの１／４ピクセル位置、１／８ピクセル位置、又はその他の分数ピクセル位置の値を補間してよい。したがって、動き推定ユニット４２は、全ピクセル位置及び分数ピクセル位置に対して動き探索を行ない、分数ピクセル精度で動きベクトルを出力してよい。
【0029】
動き推定ユニット４２は、ＰＵの位置を、それぞれがＤＰＢ６４に記憶された１つ以上の基準フレームを識別する第１の基準フレームリスト（Ｌｉｓｔ０）又は第２の基準フレームリスト（Ｌｉｓｔ１）から選択された基準フレームの予測ブロックの位置と比較することによって、インター予測コーディングフレームにおけるビデオブロックのＰＵに関して動きベクトルを計算する。動き推定ユニット４２は、計算された動きベクトルを動き補償ユニット４４に送り、次いでエントロピー符号化ユニット５６に送る。
【0030】
動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって判定された動きベクトルに基づいて予測ブロックをフェッチする又は生成することを含んでいてよい。現在のビデオブロックのＰＵにおける動きベクトルを受信すると、動き補償ユニット４４は、基準フレームリストのうちの１つで動きベクトルが指し示す予測ブロックを見つけ、ＤＰＢ６４から予測ブロックを検索し、予測ブロックを加算器５０に転送してよい。加算器５０は、その後、コード化されている現在のビデオブロックのピクセル値から動き補償ユニット４４によって与えられる予測ブロックのピクセル値を減算することによって、ピクセル差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成するピクセル差分値は、ルマ又はクロマ差分成分又はその両方を含んでいてよい。動き補償ユニット４４は、ビデオフレームのビデオブロックを復号する際にビデオデコーダ３０によって使用されるためにビデオフレームのビデオブロックと関連付けられたシンタックス要素も生成してよい。シンタックス要素は、例えば、予測ブロックを識別するために使用される動きベクトルを規定するシンタックス要素、予測モードを示す任意のフラグ、又は本明細書に記載の任意の他のシンタックス情報を含んでいてよい。なお、動き推定ユニット４２及び動き補償ユニット４４は、高度に統合されてもよいが、概念的な目的のために別々に示される。
【0031】
幾つかの実施において、イントラＢＣユニット４８は、動き推定ユニット４２及び動き補償ユニット４４に関連して前述したのと同様の態様でベクトルを生成して予測ブロックをフェッチしてよいが、予測ブロックはコード化されている現在のブロックと同じフレーム内にあり、ベクトルは動きベクトルとは対照的にブロックベクトルと呼ばれる。特に、イントラＢＣユニット４８は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定してよい。幾つかの例において、イントラＢＣユニット４８は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し、レート歪み解析によってそれらの性能をテストしてよい。次に、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードの中から、適切なイントラ予測モードを選択し、それに応じてイントラモードインジケータを使用して生成してよい。例えば、イントラＢＣユニット４８は、様々なテストされたイントラ予測モードのレート歪み解析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを、使用するのに適したイントラ予測モードとして選択してよい。レート歪み解析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化される元の符号化されていないブロックとの間の歪み（又はエラー）の量、並びに符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を判定し、イントラＢＣユニット４８は、様々な符号化されたブロックに関する歪み及びレートから比率を計算して、どのイントラ予測モードがブロックにとって最良のレート歪み値を示すかを判定してよい。
【0032】
他の例において、イントラＢＣユニット４８は、動き推定ユニット４２及び動き補償ユニット４４を全体的又は部分的に使用して、本明細書に記載の実施に係るイントラＢＣ予測のためのそのような機能を果たしてもよい。いずれの場合にも、イントラブロックコピーに関し、予測ブロックは、絶対差の和（ＳＡＤ）、平方差の和（ＳＳＤ）、又は他の差分メトリックによって判定されてよいピクセル差分に関して、コード化されるべきブロックと密接に一致すると見なされるブロックであってよく、予測ブロックの識別は、部分整数ピクセル位置に関する値の計算を含んでいてよい。
【0033】
予測ブロックがイントラ予測に係る同じフレームからのものであるか又はインター予測に係る異なるフレームからのものであるかどうかにかかわらず、ビデオエンコーダ２０は、コード化されている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残余ビデオブロックを形成してよい。残差ビデオブロックを形成するピクセル差分値は、ルマ成分差分及びクロマ成分差分の両方を含んでいてよい。
【0034】
イントラ予測処理ユニット４６は、前述したように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測、又はイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代わりに、処理対象のビデオブロックをイントラ予測してもよい。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するのに用いるイントラ予測モードを決定してもよい。そのために、イントラ予測処理ユニット４６は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化してよく、イントラ予測処理ユニット４６（又は、幾つかの例では、モード選択ユニット）は、テストされたイントラ予測モードから使用するのに適したイントラ予測モードを選択してよい。イントラ予測処理ユニット４６は、ブロックに関して選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化してもよい。
【0035】
予測処理ユニット４１がインター予測又はイントラ予測のいずれかを介して現在のビデオブロックに関する予測ブロックを判定した後、加算器５０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つ以上の変換ユニット（ＴＵ）に含まれてもよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、例えば、離散コサイン変換（ＤＣＴ）又は概念的に類似した変換等の変換を用いて、残差ビデオデータを残差変換係数に変換する。
【0036】
変換処理ユニット５２は、結果として得られた変換係数を量子化ユニット５４に送ってよい。量子化ユニット５４は、変換係数を量子化してビットレートを更に低減する。量子化プロセスは、係数の一部又は全てに関連するビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって変更してよい。幾つかの例において、量子化ユニット５４は、その後、量子化変換係数を含む行列の走査を実行してよい。或いは、エントロピー符号化ユニット５６が走査を実行してよい。
【0037】
量子化に続いて、エントロピー符号化ユニット５６は、例えば、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率区間分割エントロピー（ＰＩＰＥ）コーディング、又は別のエントロピー符号化方法又は技術を使用して、量子化変換係数をビデオビットストリームにエントロピー符号化する。符号化されたビットストリームは、その後、ビデオデコーダ３０に送信されてもよく、又はビデオデコーダ３０への後の送信もしくはビデオデコーダ３０による検索のために記憶デバイス３２にアーカイブされてもよい。また、エントロピー符号化ユニット５６は、コード化されている現在のビデオフレームのための動きベクトル及びその他のシンタックス要素をエントロピー符号化してもよい。
【0038】
逆量子化ユニット５８及び逆変換処理ユニット６０は、逆量子化及び逆変換をそれぞれ適用して、他のビデオブロックの予測のための基準ブロックを生成するためのピクセル領域内の残差ビデオブロックを再構成する。前述したように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つ以上の基準ブロックから動き補償された予測ブロックを生成してよい。また、動き補償ユニット４４は、動き推定に使用するための部分整数ピクセル値を計算するために予測ブロックに１つ以上の補間フィルタを適用してもよい。
【0039】
加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償された予測ブロックに加算して、ＤＰＢ６４に記憶するための基準ブロックを生成する。次いで、基準ブロックは、後続のビデオフレーム内の他のビデオブロックをインター予測するための予測ブロックとして、イントラＢＣユニット４８、動き推定ユニット４２、及び動き補償ユニット４４によって使用されてよい。
【0040】
図３は、本出願の幾つかの実施に係る典型的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、及びＤＰＢ９２を含む。
また、予測処理ユニット８１は、動き補償ユニット８２、イントラ予測処理ユニット８４、及びイントラＢＣユニット８５を更に含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して前述された符号化プロセスと略逆の復号プロセスを実行してよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してよく、一方、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モードインジケータに基づいて予測データを生成してよい。
また、予測処理ユニット８１は、動き補償ユニット８２、イントラ予測処理ユニット８４、及びイントラＢＣユニット８５を更に含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して前述された符号化プロセスと略逆の復号プロセスを実行してよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してよく、一方、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モードインジケータに基づいて予測データを生成してよい。
【0041】
幾つかの例において、ビデオデコーダ３０のユニットは、本出願の実施態様を実行することを任されてもよい。また、幾つかの例において、本開示の実施態様は、ビデオデコーダ３０のユニットのうちの１つ以上の間で分割されてもよい。例えば、イントラＢＣユニット８５は、単独で、又は動き補償ユニット８２、イントラ予測処理ユニット８４、及びエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットと組み合わせて、本出願の実施態様を実行してよい。幾つかの例において、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、例えば動き補償ユニット８２のような予測処理ユニット８１のその他の構成要素によって果たされてもよい。
【0042】
ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号されるべき符号化ビデオビットストリームなどのビデオデータを記憶してよい。ビデオデータメモリ７９に記憶されたビデオデータは、例えば、記憶デバイス３２から、カメラなどのローカルビデオソースから、ビデオデータの有線又は無線ネットワーク通信を介して、又は物理データ記憶媒体（例えば、フラッシュドライブ又はハードディスク）にアクセスすることによって取得されてよい。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶するコーディングピクチャバッファ（ＣＰＢ）を含んでいてよい。ビデオデコーダ３０の復号ピクチャバッファ（ＤＰＢ）９２は、ビデオデコーダ３０によってビデオデータを復号する際に用いる基準ビデオデータ（例えば、イントラ又はインター予測コーディングモードで）を記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリデバイスを含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成されてもよい。例示を目的として、ビデオデータメモリ７９及びＤＰＢ９２は、図３のビデオデコーダ３０の２つの別個の構成要素として示される。しかし、当業者であれば分かるように、ビデオデータメモリ７９及びＤＰＢ９２は、同じメモリデバイス又は別個のメモリデバイスによって提供されてもよい。幾つかの例において、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素とオンチップであってもよく、それらの構成要素に対してオフチップであってもよい。
【0043】
復号プロセス中、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックを表わす符号化されたビデオビットストリーム及び関連するシンタックス要素を受信する。ビデオデコーダ３０は、ビデオフレームレベル及び／又はビデオブロックレベルにおいてシンタックス要素を受信してよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及びその他のシンタックス要素を生成する。次いで、エントロピー復号ユニット８０は、動きベクトル及びその他のシンタックス要素を予測処理ユニット８１へ転送する。
【0044】
ビデオフレームがイントラ予測コード化された（Ｉ）フレームとして、又は他のタイプのフレーム内のイントラコード化された予測ブロックに関してコード化されるとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、信号伝達されたイントラ予測モード及び現在のフレームの事前に復号されたブロックからの基準データに基づいて、現在のビデオフレームのビデオブロックにおける予測データを生成してよい。
【0045】
ビデオフレームがインター予測コード化された（すなわち、Ｂ又はＰ）フレームとしてコード化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信した動きベクトル及び他のシンタックス要素に基づいて、現在のビデオフレームのビデオブロックのための１つ以上の予測ブロックを生成する。予測ブロックのそれぞれは、基準フレームリストのうちの１つの中の基準フレームから生成されてよい。ビデオデコーダ３０は、ＤＰＢ９２に記憶された基準フレームに基づいて、デフォルト構成技術を用いて、基準フレームリスト、リスト０及びリスト１を構成してよい。
【0046】
幾つかの例では、ビデオブロックが本明細書に記載のイントラＢＣモードにしたがってコード化されるとき、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信したブロックベクトル及び他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成する。予測ブロックは、ビデオエンコーダ２０によって規定される現在のビデオブロックと同じピクチャの再構成された領域内にあってよい。
【0047】
動き補償ユニット８２及び／又はイントラＢＣユニット８５は、動きベクトル及び他のシンタックス要素を構文解析することによって現在のビデオフレームのビデオブロックに関する予測情報を判定し、その後、予測情報を使用して、復号されている現在のビデオブロックに関する予測ブロックを生成する。例えば、動き補償ユニット８２は、ビデオフレームのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）、インター予測フレームタイプ（例えば、Ｂ又はＰ）、フレームに関する基準フレームリストのうちの１つ以上における構成情報、フレームのそれぞれのインター予測符号化されたビデオブロックにおける動きベクトル、フレームのそれぞれのインター予測コード化されたビデオブロックにおけるインター予測状態、及び現在のビデオフレーム内のビデオブロックを復号するための他の情報を判定するために、受信したシンタックス要素の幾つかを使用する。
【0048】
同様に、イントラＢＣユニット８５は、受信したシンタックス要素の幾つか、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードを使用して予測されたこと、フレームのどのビデオブロックが再構成された領域内にあってＤＰＢ９２に記憶されるべきかの構成情報、フレームのそれぞれのイントラＢＣ予測されたビデオブロックにおけるブロックベクトル、フレームのそれぞれのイントラＢＣ予測されたビデオブロックにおけるイントラＢＣ予測状態、及び現在のビデオフレーム内のビデオブロックを復号するための他の情報を判定してよい。
【0049】
また、動き補償ユニット８２は、基準ブロックの部分整数ピクセルにおける補間値を計算するために、ビデオブロックの符号化中に、ビデオエンコーダ２０によって使用されるような補間フィルタを用いて補間を実行してよい。この場合、動き補償ユニット８２は、ビデオエンコーダ２０によって使用される補間フィルタを受信されたシンタックス要素から判定し、補間フィルタを使用して予測ブロックを生成してよい。
【0050】
逆量子化ユニット８６は、ビデオフレーム内のそれぞれのビデオブロックごとにビデオエンコーダ２０によって計算された同じ量子化パラメータを使用して、ビットストリームに与えられてエントロピー復号ユニット８０によってエントロピー復号される量子化された変換係数を逆量子化して、量子化の程度を判定する。逆変換処理ユニット８８は、ピクセル領域内の残差ブロックを再構成するために、変換係数に対して、逆変換、例えば逆ＤＣＴ、逆整数変換、又は概念的に類似した逆変換プロセスを適用する。
【0051】
動き補償ユニット８２又はイントラＢＣユニット８５がベクトル及び他のシンタックス要素に基づいて現在のビデオブロックにおける予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと、動き補償ユニット８２及びイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することによって、現在のビデオブロックにおける復号されたビデオブロックを再構成する。復号されたビデオブロックを更に処理するために、加算器９０とＤＰＢ９２との間にインループフィルタ（図示せず）を位置させてもよい。所与のフレーム内の復号されたビデオブロックは、次のビデオブロックの後続の動き補償のために使用される基準フレームを記憶するＤＰＢ９２に記憶される。また、ＤＰＢ９２又はＤＰＢ９２とは別個のメモリデバイスは、図１の表示デバイス３４などの表示デバイス上に後で提示するために復号されたビデオを記憶してよい。
【0052】
典型的なビデオコーディングプロセスでは、ビデオシーケンスは、一般に、フレーム又はピクチャの順序付けられたセットを含む。各フレームは、ＳＬ、ＳＣｂ、及びＳＣｒで示される３つのサンプルアレイを含んでいてよい。ＳＬは、ルマサンプルの２次元アレイである。ＳＣｂは、Ｃｂクロマサンプルの２次元アレイである。ＳＣｒは、Ｃｒクロマサンプルの２次元アレイである。他の例では、フレームはモノクロであってもよく、したがって、ルマサンプルの１つの２次元アレイのみを含む。
【0053】
図４Ａに示されるように、ビデオエンコーダ２０（又は、より具体的には、分割ユニット４５）は、まず最初に、フレームをコーディングツリーユニット（ＣＴＵ）のセットへ分割することによって、フレームの符号化された表示を生成する。ビデオフレームは、左から右及び上から下へラスタスキャン順に連続して順序付けられた整数個のＣＴＵを含んでいてよい。各ＣＴＵは最大の論理コーディングユニットであり、ＣＴＵの幅及び高さは、ビデオシーケンス内の全てのＣＴＵが１２８ｘ１２８、６４ｘ６４、３２ｘ３２、及び１６ｘ１６のうちの１つである同じサイズを有するように、シーケンスパラメータセット内でビデオエンコーダ２０によって信号伝達される。しかし、本出願が必ずしも特定のサイズに限定されないことに留意すべきである。図４Ｂに示されるように、各ＣＴＵは、ルマサンプルの１つのコーディングツリーブロック（ＣＴＢ）、クロマサンプルの、対応する２つのコーディングツリーブロック、及びコーディングツリーブロックのサンプルをコード化するために使用されるシンタックス要素を含んでいてよい。シンタックス要素は、コード化されたピクセルブロックの異なるタイプのユニットの適切さ、及びインター又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含めて、ビデオシーケンスがビデオデコーダ３０でどのように再構成され得るかを記述する。モノクロのピクチャ又は３つの別々の色平面を有するピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、コーディングツリーブロックのサンプルをコード化するために使用されるシンタックス要素とを含んでいてよい。コーディングツリーブロックは、サンプルのＮｘＮブロックであってよい。
【0054】
より良い性能を達成するために、ビデオエンコーダ２０は、ＣＴＵのコーディングツリーブロックにおいて、二分木分割、四分木分割、又はこれら両方の組み合わせのようなツリー分割を再帰的に実行し、ＣＴＵをより小さいコーディングユニット（ＣＵ）に分割してよい。図４Ｃに示されるように、６４ｘ６４ ＣＴＵ４００は、まず最初に、それぞれが３２ｘ３２のブロックサイズを有する４つのより小さいＣＵに分割される。より小さい４つのＣＵのうち、ＣＵ４１０及びＣＵ４２０はそれぞれ、ブロックサイズによって１６ｘ１６の４つのＣＵに分割される。２つの１６ｘ１６ ＣＵ４３０及び４４０はそれぞれ、ブロックサイズによって８ｘ８の４つのＣＵに更に分割される。図４Ｄは、図４Ｃに示すようなＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を示し、四分木の各リーフノードは、３２ｘ３２から８ｘ８までの範囲のそれぞれのサイズの１つのＣＵに対応する。図４Ｂに示されるＣＴＵと同様に、各ＣＵは、同じサイズのフレームのルマサンプルのコーディングブロック（ＣＢ）及びクロマサンプルの、対応する２つのコーディングブロックと、コーディングブロックのサンプルをコード化するために使用されるシンタックス要素とを含んでいてよい。モノクロのピクチャ又は３つの別個の色平面を有するピクチャでは、ＣＵは、単一のコーディングブロックと、コーディングブロックのサンプルをコード化するために使用されるシンタックス構造とを含んでいてよい。
【0055】
幾つかの実施において、ビデオエンコーダ２０は、ＣＵのコーディングブロックを、１つ以上のＭｘＮ予測ブロック（ＰＢ）へ更に分割してよい。予測ブロックが、同じ予測、すなわち、インター予測又はイントラ予測が適用されるサンプルの矩形（正方形又は非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）が、ルマサンプルの予測ブロック、クロマサンプルの、対応する２つの予測ブロック、及び予測ブロックを予測するために使用されるシンタックス要素を含んでいてよい。モノクロのピクチャ又は３つの別個の色平面を有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するために使用されるシンタックス構造とを含んでいてよい。ビデオエンコーダ２０は、ＣＵの各ＰＵの予測ルマ、ルマにおけるＣｂ及びＣｒブロック、Ｃｂ及びＣｒ予測ブロックを生成してよい。
【0056】
ビデオエンコーダ２０は、ＰＵにおける予測ブロックを生成するために、イントラ予測又はインター予測を使用してよい。ビデオエンコーダ２０が、ＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵと関連付けられたフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してよい。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵと関連付けられたフレーム以外の１つ以上のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してよい。
【0057】
ビデオエンコーダ２０が予測ルマ、ＣＵの１つ以上のＰＵにおけるＣｂ及びＣｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのルマ残差ブロック内の各サンプルがＣＵの予測ルマブロックのうちの１つにおけるルマサンプルとＣＵの元のルマコーディングブロック内の対応するサンプルとの間の差分を示すように、ＣＵの予測ルマブロックをその元のルマコーディングブロックから減算することによってＣＵにおけるルマ残差ブロックを生成してよい。同様に、ビデオエンコーダ２０は、ＣＵにおけるＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成してよく、それにより、ＣＵのＣｂ残差ブロックにおける各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルとＣＵの元のＣｂコーディングブロックにおける対応するサンプルとの間の差分を示し、ＣＵのＣｒ残差ブロックにおける各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルとＣＵの元のＣｒコーディングブロックにおける対応するサンプルとの間の差分を示してよい。
【0058】
更に、図４Ｃに例示されるように、ビデオエンコーダ２０は、ＣＵのルマ、Ｃｂ及びＣｒ残差ブロックを、１つ以上のルマ、Ｃｂ及びＣｒ変換ブロックへ分解するために、四分木分割を使用してよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形又は非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、ルマサンプルの変換ブロックと、クロマサンプルの、対応する２つの変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス要素とを含んでいてよい。したがって、ＣＵの各ＴＵは、ルマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックと関連付けられてよい。幾つかの例において、ＴＵと関連付けられたルマ変換ブロックは、ＣＵのルマ残差ブロックのサブブロックであってよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってよい。モノクロのピクチャ又は３つの別個の色平面を有するピクチャにおいて、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用されるシンタックス構造とを含んでいてよい。
【0059】
ビデオエンコーダ２０は、ＴＵにおけるルマ係数ブロックを生成するためにＴＵのルマ変換ブロックに対して１つ以上の変換を適用してよい。係数ブロックは、変換係数の２次元アレイであってよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０は、ＴＵにおけるＣｂ係数ブロックを生成するためにＴＵのＣｂ変換ブロックに対して１つ以上の変換を適用してよい。ビデオエンコーダ２０は、ＴＵのＣｒ係数ブロックを生成するためにＴＵのＣｒ変換ブロックに対して１つ以上の変換を適用してよい。
【0060】
係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック、又はＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化してよい。量子化は、一般に、変換係数を表わすために使用されるデータの量を場合により低減して更なる圧縮をもたらすために変換係数が量子化されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化してよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）を実行してよい。最後に、ビデオエンコーダ２０は、コード化されたフレーム及び関連付けられたデータの表示を形成するビットのシーケンスを含むビットストリームを出力してよく、これは記憶デバイス３２に保存される又は送信先デバイス１４に送信される。
【0061】
ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビデオデコーダ３０は、ビットストリームからシンタックス要素を取得するためにビットストリームを構文解析してよい。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのフレームを再構成してよい。ビデオデータを再構成するプロセスは、一般に、ビデオエンコーダ２０によって実行される符号化プロセスと逆である。例えば、ビデオデコーダ３０は、現在のＣＵのＴＵと関連付けられた残余ブロックを再構成するために現在のＣＵのＴＵと関連付けられた係数ブロックに対して逆変換を実行してよい。また、ビデオデコーダ３０は、現在のＣＵのＰＵにおける予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに加えることによって、現在のＣＵのコーディングブロックを再構成する。フレームのそれぞれのＣＵごとにコーディングブロックを再構成した後、ビデオデコーダ３０は、フレームを再構成してよい。
【0062】
前述したように、ビデオコーディングは、主に２つのモード、すなわち、イントラフレーム予測（又はイントラ予測）及びインターフレーム予測（又はインター予測）を使用してビデオ圧縮を達成する。なお、ＩＢＣは、イントラフレーム予測又は第３のモードのいずれかと見なすことができる。２つのモード間で、イントラフレーム予測は、基準ビデオブロックから現在のビデオブロックを予測するために動きベクトルを使用するため、イントラフレーム予測よりもコーディング効率に寄与する。
【0063】
しかし、ビデオデータの詳細を保存するためのビデオデータ撮像技術及びより洗練されたビデオブロックサイズの向上により、現在のフレームにおける動きベクトルを表わすのに必要なデータ量も大幅に増大する。この課題を克服する１つの方法は、空間領域と時間領域の両方における隣接するＣＵのグループが目的を予測するために同様のビデオデータを有するだけでなく、これらの隣接するＣＵ間の動きベクトルも同様であるという事実から利益を得ることである。したがって、「現在のＣＵの動きベクトル予測子（ＭＶＰ）」とも呼ばれるそれらの空間的及び時間的相関を探索することによって、現在のＣＵの動き情報（例えば、動きベクトル）の近似として空間的に隣接するＣＵ及び／又は時間的にコロケートされたＣＵの動き情報を使用することが可能である。
【0064】
図２に関連して前述したように動き推定ユニット４２によって判定された現在のＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在のＣＵの実際の動きベクトルから現在のＣＵの動きベクトル予測子を減算して、現在のＣＵの動きベクトル差（ＭＶＤ）を生成する。
このようにすることで、動き推定ユニット４２がフレームのＣＵごとに判定した動きベクトルをビデオビットストリームに符号化する必要がなくなり、ビデオビットストリームにおける動き情報を表わすために用いるデータ量を大幅に削減することができる。
このようにすることで、動き推定ユニット４２がフレームのＣＵごとに判定した動きベクトルをビデオビットストリームに符号化する必要がなくなり、ビデオビットストリームにおける動き情報を表わすために用いるデータ量を大幅に削減することができる。
【0065】
コードブロックのインターフレーム予測中に基準フレーム内の予測ブロックを選択するプロセスと同様に、現在のＣＵの空間的に隣接するＣＵ及び／又は時間的にコロケートされたＣＵと関連付けられた潜在的な候補動きベクトルを使用して現在のＣＵにおける動きベクトル候補リスト（「マージリスト」としても知られる）を構成した後に動きベクトル候補リストから１つのメンバーを現在のＣＵの動きベクトル予測子として選択するためにビデオエンコーダ２０及びビデオデコーダ３０の両方によって一組のルールが採用される必要がある。そうすることによって、動きベクトル候補リスト自体をビデオエンコーダ２０とビデオデコーダ３０との間で送信する必要がなく、動きベクトル候補リスト内の選択された動きベクトル予測子のインデックスは、ビデオエンコーダ２０及びビデオデコーダ３０が現在のＣＵを符号化及び復号するために動きベクトル候補リスト内の同じ動きベクトル予測子を使用するのに十分である。
【0066】
幾つかの実施において、各インター予測ＣＵは、動きベクトル候補リストを構成するためのインター（「高度動きベクトル予測」（ＡＭＶＰ）とも呼ばれる）、スキップ、及びマージを含む３つの動きベクトル予測モードを有する。各モード下で、以下に説明するアルゴリズムにしたがって、１つ以上の動きベクトル候補を動きベクトル候補リストに追加してよい。最終的に、候補リスト内の動きベクトル候補のうちの１つは、ビデオエンコーダ２０によってビデオビットストリームに符号化される又はビデオデコーダ３０によってビデオビットストリームから復号されるべきインター予測ＣＵの最良の動きベクトル予測子として使用される。候補リストから最良の動きベクトル予測子を見つけるために、動きベクトル競合（ＭＶＣ）方式を導入して、動きベクトルの所与の候補セット、すなわち、空間的及び時間的動きベクトル候補を含む動きベクトル候補リストから動きベクトルを選択する。
【0067】
空間的に隣接する又は時間的にコロケートされたＣＵから動きベクトル予測候補を導出することに加えて、動きベクトル予測候補を、いわゆる「履歴ベースの動きベクトル予測」（ＨＭＶＰ）テーブルから導出してもよい。ＨＭＶＰテーブルは所定数の動きベクトル予測子を収容し、各予測子は、ＣＴＵの同じ行（又は場合によっては同じＣＴＵ）の特定のＣＵを符号化／復号するために使用されている。これらのＣＵは空間的／時間的に近接しているため、ＨＭＶＰテーブル内の動きベクトル予測子のうちの１つがＣＴＵの同じ行内の異なるＣＵを符号化／復号するために再利用されてよい可能性が高い。したがって、動きベクトル候補リストを構成するプロセスにＨＭＶＰテーブルを含めることによって、より高いコード効率を実現することができる。
【0068】
幾つかの実施において、ＨＭＶＰテーブルは、固定長（例えば、５）を有し、準先入れ先出し（ＦＩＦＯ）方式で管理される。例えば、動きベクトルは、ＣＵの１つのインターコード化されたブロックを復号するときにＣＵに関して再構成される。ＨＭＶＰテーブルは、そのような動きベクトルが後続のＣＵの動きベクトル予測子であってよいため、再構成された動きベクトルによりオンザフライで更新される。ＨＭＶＰテーブルを更新する際には、（ｉ）再構成された動きベクトルがＨＭＶＰテーブル内の他の既存の動きベクトルと異なる、又は（ｉｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルのうちの１つと同じである、という２つのシナリオが存在する。第１のシナリオでは、ＨＭＶＰテーブルが一杯でない場合、再構成された動きベクトルは最新のものとしてＨＭＶＰテーブルに追加される。ＨＭＶＰテーブルが既に一杯である場合、ＨＭＶＰテーブル内の最も古い動きベクトルは、再構成された動きベクトルが最新のものとして追加される前に、最初にＨＭＶＰテーブルから除去される必要がある。言い換えれば、この場合のＨＭＶＰテーブルはＦＩＦＯバッファと同様であり、それにより、ＦＩＦＯバッファの先頭に位置し、事前にインターコード化された別のブロックと関連付けられた動き情報がバッファの外にシフトされ、その結果、再構成された動きベクトルがＨＭＶＰテーブル内の最新のメンバーとしてＦＩＦＯバッファの末尾に付加される。第２のシナリオでは、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される前に、再構成された動きベクトルと実質的に同一であるＨＭＶＰテーブル内の既存の動きベクトルがＨＭＶＰテーブルから除去される。ＨＭＶＰテーブルもＦＩＦＯバッファの形態で維持される場合、ＨＭＶＰテーブル内の同一の動きベクトルの後の動きベクトル予測子は、除去された動きベクトルによって残された空間を占有するために１つの要素だけ前方にシフトされ、再構成された動きベクトルは、その後、ＨＭＶＰテーブル内の最新のメンバーとしてＦＩＦＯバッファの末尾に追加される。
【0069】
ＨＭＶＰテーブル内の動きベクトルは、ＡＭＶＰ、マージ、スキップなどの異なる予測モード下で動きベクトル候補リストに追加されてよい。現在のブロックに隣接していなくても、ＨＭＶＰテーブルに記憶された事前にインターコード化されたブロックの動き情報は、より効率的な動きベクトル予測に利用できることが分かってきた。
【0070】
現在のＣＵにおける動きベクトルの所与の候補セット内で１つのＭＶＰ候補が選択された後、ビデオエンコーダ２０は、対応するＭＶＰ候補のための１つ以上のシンタックス要素を生成し、ビデオデコーダ３０がこれらシンタックス要素を用いてビデオビットストリームからＭＶＰ候補を検索できるように、シンタックス要素をビデオビットストリームへと符号化してよい。動きベクトル候補セットを構成するために使用される特定のモードに応じて、異なるモード（例えば、ＡＭＶＰ、マージ、スキップなど）が異なるシンタックス要素のセットを有する。ＡＭＶＰモードの場合、シンタックス要素は、インター予測インジケータ（リスト０、リスト１、又は双方向予測）、基準インデックス、動きベクトル候補インデックス、動きベクトル予測残差信号などを含む。スキップモード及びマージモードの場合、現在のＣＵは、コード化されたマージインデックスによって参照される隣接するＣＵからインター予測インジケータ、基準インデックス、及び動きベクトルを含む他のシンタックス要素を受け継ぐため、マージインデックスのみがビットストリームへと符号化される。スキップコード化されたＣＵの場合、動きベクトル予測残差信号も省かれる。
【0071】
図５Ａは、本開示の幾つかの実施に係る符号化／復号されるべき現在のＣＵの空間的に隣接して時間的にコロケートされたブロック位置を示すブロック図である。所与のモードに関して、動きベクトル予測（ＭＷ）候補リストは、まず最初に、空間的に左及び上に隣接するブロック位置と関連付けられた動きベクトルの利用可能性、及び時間的にコロケートされたブロック位置と関連付けられた動きベクトルの利用可能性をチェックし、その後、ＨＭＶＰテーブル内の動きベクトルをチェックすることによって構成される。ＭＶＰ候補リストを構成するプロセス中に、幾つかの冗長なＭＶＰ候補が候補リストから除去され、必要に応じて、候補リストが固定長を有するようにするべくゼロ値の動きベクトルが追加される（異なるモードが異なる固定長を有してもよいことに留意されたい）。ＭＶＰ候補リストの構成後、ビデオエンコーダ２０は、候補リストから最良の動きベクトル予測子を選択し、選択された候補を示す対応するインデックスをビデオビットストリームに符号化することができる。
【0072】
一例として図５Ａを使用し、候補リストが２の固定長を有すると仮定すると、現在のＣＵにおける動きベクトル予測子（ＭＶＰ）候補リストは、ＡＭＶＰモード下で以下のステップを順に実行することによって構成されてよい。
１）空間的に隣接するＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まりＡ１で終わる２つの左の空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされていないＭＶＰ候補を導出する；
ｂ）前のステップで左からのノイズスケーリングされたＭＶＰ候補が利用可能でない場合、Ａ０で始まりＡ１で終わる２つの左の空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされたＭＶＰ候補を導出する；
ｃ）Ｂ０で始まって、その後Ｂ１を経て、Ｂ２で終わる上記３つの空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされていないＭＶＰ候補を導出する；
ｄ）Ａ０もＡ１も利用できない場合、又はそれらがイントラモードでコード化される場合、Ｂ０で始まって、その後にＢ１を経て、Ｂ２で終わる上記３つの空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされたＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が発見されてそれらが同一である場合、２つの候補のうちの１つをＭＶＰ候補リストから除去する；
３）時間的にコロケートされたＣＵからのＭＶＰ候補の選択
ａ）前のステップの後のＭＶＰ候補リストが２つのＭＶＰ候補を含まない場合、時間的にコロケートされたＣＵ（例えば、Ｔ０）から最大１つのＭＶＰ候補を導出する
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後のＭＶＰ候補リストが２つのＭＶＰ候補を含まない場合、ＨＭＶＰテーブルから最大２つの履歴ベースのＭＶＰを導出する；及び
５）前のステップの後のＭＶＰ候補リストが２つのＭＶＰ候補を含まない場合、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに加える。
１）空間的に隣接するＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まりＡ１で終わる２つの左の空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされていないＭＶＰ候補を導出する；
ｂ）前のステップで左からのノイズスケーリングされたＭＶＰ候補が利用可能でない場合、Ａ０で始まりＡ１で終わる２つの左の空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされたＭＶＰ候補を導出する；
ｃ）Ｂ０で始まって、その後Ｂ１を経て、Ｂ２で終わる上記３つの空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされていないＭＶＰ候補を導出する；
ｄ）Ａ０もＡ１も利用できない場合、又はそれらがイントラモードでコード化される場合、Ｂ０で始まって、その後にＢ１を経て、Ｂ２で終わる上記３つの空間的に隣接するＣＵのうちの１つから最大１つのスケーリングされたＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が発見されてそれらが同一である場合、２つの候補のうちの１つをＭＶＰ候補リストから除去する；
３）時間的にコロケートされたＣＵからのＭＶＰ候補の選択
ａ）前のステップの後のＭＶＰ候補リストが２つのＭＶＰ候補を含まない場合、時間的にコロケートされたＣＵ（例えば、Ｔ０）から最大１つのＭＶＰ候補を導出する
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後のＭＶＰ候補リストが２つのＭＶＰ候補を含まない場合、ＨＭＶＰテーブルから最大２つの履歴ベースのＭＶＰを導出する；及び
５）前のステップの後のＭＶＰ候補リストが２つのＭＶＰ候補を含まない場合、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに加える。
【0073】
上記で構成されたＡＭＶＰモードＭＶＰ候補リストには２つの候補しかないので、候補リスト内の２つのＭＶＰ候補のうちのどれが現在のＣＵを復号するために使用されるかを示すために、バイナリフラグのような関連するシンタックス要素がビットストリームに符号化される。
【0074】
幾つかの実施において、スキップモード下又はマージモード下の現在のＣＵにおけるＭＶＰ候補リストは、上記と同様のステップのセットを順番に実行することによって構成されてもよい。なお、スキップモード又はマージモードにおけるＭＶＰ候補リストには、「ペアワイズマージ候補」と呼ばれる特殊なマージ候補も１つ含まれる。ペアワイズマージ候補は、事前に導出された２つのマージモード動きベクトル候補のＭＶｓを平均化することによって生成される。マージＭＶＰ候補リストのサイズ（例えば、１～６）は、現在のＣＵのスライスヘッダで信号伝達される。マージモードのそれぞれのＣＵごとに、最良のマージ候補のインデックスが、短縮単項２値化（ＴＵ）を使用して符号化される。マージインデックスの最初のビンはコンテキストでコード化され、バイパスコーディングが他のビンに関して使用される。
【0075】
前述したように、履歴ベースのＭＶＰは、空間ＭＶＰ及び時間ＭＶＰの後にＡＭＶＰモードＭＶＰ候補リスト又はマージＭＶＰ候補リストのいずれかに追加されてよい。事前にインターコード化されたＣＵの動き情報は、ＨＭＶＰテーブルに記憶され、現在のＣＵに関するＭＶＰ候補として使用される。ＨＭＶＰテーブルは、符号化／復号プロセス中に維持される。サブブロックインターコード化されないＣＵが存在するときはいつでも、関連する動きベクトル情報は、新しい候補としてＨＭＶＰテーブルの最後のエントリに追加され、一方、ＨＭＶＰテーブルの最初のエントリに記憶された動きベクトル情報はそこから除去される（ＨＭＶＰテーブルが既に一杯であり、テーブル内に関連する動きベクトル情報の同一の複製がない場合）。或いは、関連する動きベクトル情報がＨＭＶＰテーブルの最後のエントリに追加される前に、関連する動きベクトル情報の同一の複製がテーブルから除去される。
【0076】
前述したように、イントラブロックコピー（ＩＢＣ）は、スクリーンコンテンツマテリアルのコーディング効率を大幅に向上させることができる。ＩＢＣモードはブロックレベルのコーディングモードとして実施されるため、各ＣＵにとって最適なブロックベクトルを見つけるためにブロックマッチング（ＢＭ）がビデオエンコーダ２０で実行される。ここで、ブロックベクトルは、現在のブロックから現在のピクチャ内で事前に再構成されている基準ブロックへの変位を示すために使用される。ＩＢＣコード化されたＣＵは、イントラ又はインター予測モード以外の第３の予測モードとして扱われる。
【0077】
ＣＵレベルでは、ＩＢＣモードは、以下のようにＩＢＣ ＡＭＶＰモード又はＩＢＣスキップマージモードとして信号伝達されてよい。
－ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとＣＵのブロックベクトル候補から選択されたＣＵのブロックベクトル予測子との間のブロックベクトル差分（ＢＶＤ）は、動きベクトル差分が上記のＡＭＶＰモードで符号化されるのと同じ方法で符号化される。ブロックベクトル予測方法は、２つのブロックベクトル候補を予測子として使用し、１つは左隣からのものであり、もう１つは上隣からのものである（ＩＢＣコード化されている場合）。いずれかの隣が利用できない場合、デフォルトのブロックベクトルがブロックベクトル予測子として使用される。バイナリフラグが、ブロックベクトル予測子インデックスを示すために信号伝達される。ＩＢＣ ＡＭＶＰ候補リストは、空間及びＨＭＶＰ候補から成る。
－ＩＢＣスキップ／マージモード：マージ候補インデックスを使用して、隣接するＩＢＣコーディングブロックからのマージ候補リスト（「マージリスト」とも呼ばれる）内のどのブロックベクトル候補が現在のブロックにおけるブロックベクトルを予測するために使用されるかを示す。ＩＢＣマージ候補リストは、空間、ＨＭＶＰ、及びペアワイズ候補から成る。
－ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとＣＵのブロックベクトル候補から選択されたＣＵのブロックベクトル予測子との間のブロックベクトル差分（ＢＶＤ）は、動きベクトル差分が上記のＡＭＶＰモードで符号化されるのと同じ方法で符号化される。ブロックベクトル予測方法は、２つのブロックベクトル候補を予測子として使用し、１つは左隣からのものであり、もう１つは上隣からのものである（ＩＢＣコード化されている場合）。いずれかの隣が利用できない場合、デフォルトのブロックベクトルがブロックベクトル予測子として使用される。バイナリフラグが、ブロックベクトル予測子インデックスを示すために信号伝達される。ＩＢＣ ＡＭＶＰ候補リストは、空間及びＨＭＶＰ候補から成る。
－ＩＢＣスキップ／マージモード：マージ候補インデックスを使用して、隣接するＩＢＣコーディングブロックからのマージ候補リスト（「マージリスト」とも呼ばれる）内のどのブロックベクトル候補が現在のブロックにおけるブロックベクトルを予測するために使用されるかを示す。ＩＢＣマージ候補リストは、空間、ＨＭＶＰ、及びペアワイズ候補から成る。
【0078】
最先端のコーディング規格によって採用されるコーディング効率を向上させる別の手法は、例えばマルチコアプロセッサを使用してビデオ符号化／復号プロセスに並列処理を導入することである。例えば、波面並列処理（ＷＰＰ）は、複数のスレッドを使用して複数の行ＣＴＵを並列に符号化又は復号する機能としてＨＥＶＣに既に導入されている。
【0079】
図５Ｂは、本開示の幾つかの実施に係る波面並列処理（ＷＰＰ）を使用するピクチャのＣＴＵの複数の行のマルチスレッド符号化を示すブロック図である。ＷＰＰが有効にされると、波面方式でＣＴＵの複数の行を並列に処理することが可能であり、その場合、２つの隣接する波面の開始間に２つのＣＴＵの遅延があってよい。例えば、ＷＰＰを使用してピクチャ５００をコード化するために、ビデオエンコーダ２０及びビデオデコーダ３０などのビデオコーダは、ピクチャ５００のコーディングツリーユニット（ＣＴＵ）を複数の波面に分割してよく、各波面はピクチャにおけるＣＴＵのそれぞれの行に対応する。ビデオコーダは、例えば、第１のコーダコア又はスレッドを使用して、上端波面のコーディングを開始してよい。ビデオコーダが上端波面の２つ以上のＣＴＵをコード化した後、ビデオコーダは、例えば、第２の並列コーダコア又はスレッドを使用して、上端波面のコーディングと並列に、第２－上端波面のコーディングを開始してよい。ビデオコーダが第２－上端波面の２つ以上のＣＴＵをコード化した後、ビデオコーダは、例えば、第３の並列コーダコア又はスレッドを使用して、より高い波面のコーディングと並列に第３－上端波面のコーディングを開始してよい。このパターンは、ピクチャ５００における波面を下って継続してよい。本開示では、ビデオコーダがＷＰＰを使用して同時にコーディングしているＣＴＵのセットが、「ＣＴＵグループ」と呼ばれる。したがって、ビデオコーダがＷＰＰを使用してピクチャをコード化するとき、ＣＴＵグループの各ＣＴＵは、ピクチャの固有の波面に属していてよく、ＣＴＵは、ピクチャのＣＴＵの少なくとも２列だけ波面の上方のそれぞれのＣＴＵからオフセットされていてよい。
【0080】
ビデオコーダは、上記の波面の最初の２つのブロックのデータ、並びに現在の波面の最初のコードブロックを含むスライスにおけるスライスヘッダの１つ以上の要素に基づいて、現在の波面のコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）を実行するために現在の波面におけるコンテキストを初期化してよい。ビデオコーダは、後続のＣＴＵ行の上方のＣＴＵ行の２つのＣＴＵをコード化した後、コンテキスト状態を使用して後続の波面（又はＣＴＵ行）のＣＡＢＡＣ初期化を実行してよい。言い換えれば、現在の波面のコーディングを開始する前に、ビデオコーダ（又はより具体的には、ビデオコーダのスレッド）は、現在の波面がピクチャのＣＴＵの上端の行ではないと仮定して、現在の波面の上方の波面の少なくとも２つのブロックをコード化してよい。その後、ビデオコーダは、現在の波面の上方の波面の少なくとも２つのブロックをコード化した後に現在の波面のＣＡＢＡＣコンテキストを初期化してよい。この例では、ピクチャ５００の各ＣＴＵ行が、分離された分割であり、ピクチャ５００内のＣＴＵ行の数を並列に符号化できるように関連するスレッド（ＷＰＰスレッド１、ＷＰＰスレッド２、．．．）を有する。
【0081】
ＨＭＶＰテーブルの現在の実装は、事前に再構成された動きベクトルを記憶するためにグローバル動きベクトル（ＭＶ）バッファを使用するため、このＨＭＶＰテーブルは、図５Ｂに関連して前述したＷＰＰ対応並列符号化方式では実装され得ない。特に、グローバルＭＶバッファがビデオコーダの符号化／復号プロセスの全てのスレッドによって共有されるという事実は、第１のＷＰＰスレッド（すなわち、第１のＣＴＵ行）の最後のＣＴＵ（すなわち、右端のＣＴＵ）からのＨＭＶＰテーブル更新が完了するのをこれらのＷＰＰスレッドが待たなければならないため、第１のＷＰＰスレッド（すなわち、ＷＰＰスレッド１）の後のＷＰＰスレッドが開始されるのを妨げる。
【0082】
この問題を克服するために、ＷＰＰがビデオコーダで有効にされるときに、ＣＴＵ行の各波面が対応するＷＰＰスレッドによって処理されているＣＴＵ行に対応するＨＭＶＰテーブルを記憶するための独自のバッファを有するように、ＷＰＰスレッドによって共有されるグローバルＭＶバッファを複数のＣＴＵ行専用バッファで置き換えることが提案される。独自のＨＭＶＰテーブルを有する各ＣＴＵ行が、ＣＴＵ行の最初のＣＵをコード化する前にＨＭＶＰテーブルをリセットすることに相当することに留意されたい。ＨＭＶＰテーブルリセットは、別のＣＴＵ行のコーディングから生じるＨＭＶＰテーブル内の全ての動きベクトルを一掃することである。一実施態様において、リセット操作は、ＨＭＶＰテーブル内の利用可能な動きベクトル予測子のサイズを０に設定することである。更に別の実施において、リセット操作は、ＨＭＶＰテーブル内の全てのエントリの基準インデックスを－１などの無効値に設定することでありってよい。そうすることにより、ＡＭＶＰ、マージ、及びスキップの３つのモードのうちのいずれであるかにかかわらず、特定の波面内の現在のＣＴＵにおけるＭＶＰ候補リストの構成は、特定の波面を処理するＷＰＰスレッドと関連付けられたＨＭＶＰテーブルに依存する。前述した２－ＣＴＵ遅延以外の異なる波面間には相互依存性はなく、異なる波面に関連する動きベクトル候補リストの構成を、図５Ｂに示されるＷＰＰプロセスのように並行して進めてよい。言い換えれば、特定の波面の処理の開始時に、ＨＭＶＰテーブルは、別のＷＰＰスレッドによるＣＴＵの別の波面のコーディングに影響を与えることなく空になるようにリセットされる。場合によっては、それぞれの個々のＣＴＵのコーディングの前にＨＭＶＰテーブルを空になるようにリセットしてよい。この場合、ＨＭＶＰテーブル内の動きベクトルは特定のＣＴＵに制限され、また、おそらく、ＨＭＶＰテーブル内の動きベクトルが特定のＣＴＵ内の現在のＣＵの動きベクトルとして選択される可能性が高くなる。
【0083】
幾つかの例では、広角イントラ方向を伴うイントラ予測モードが本明細書で更に説明される。ＣＵのサンプルを予測するために１つの現在のＣＵ（すなわち、上又は左）に隣接する事前に復号されたサンプルのセットが使用される。しかしながら、自然なビデオ（特に高解像度、例えば４Ｋのビデオコンテンツの場合）に存在するより細かいエッジ方向を撮像するために、角度イントラモードの数は、ＨＥＶＣにおける３３からＶＶＣにおける９３に拡張される。角度方向に加えて、平面モード（境界から導出される水平及び垂直勾配を伴う緩やかに変化する表面を想定する）及びＤＣモード（平面を想定する）も適用される。図５Ｃは、本開示の幾つかの実施に係るＶＶＣ規格で規定されているイントラモードを示すブロック図である。図５Ｄは、本開示の幾つかの実施に係るイントラ予測のための基準として現在のブロックの上及び左に隣接する再構成されたサンプルのセットを示すブロック図である。全てのイントラモード（すなわち、平面方向、ＤＣ方向、及び角度方向）は、イントラ予測のための基準として予測ブロックの上及び左に隣接する再構成されたサンプルのセットを利用する。しかしながら、再構成されたサンプルの最も近い行／列（すなわち、図５Ｄのライン０）のみが基準としてある方法とは異なる幾つかの実施形態では、２つの更なる行／列（例えば、図５Ｄのライン１及びライン３）がイントラ予測に使用されるマルチ基準ライン（ＭＲＬ）が導入される。選択された基準行／列のインデックスは、エンコーダからデコーダに信号伝達される。幾つかの例では、最も近くない行／列が選択されると、平面モード及びＤＣモードは、現在のブロックを予測するために使用され得るイントラモードのセットから除外される。
【0084】
幾つかの例において、デコーダ側モード導出（ＤＩＭＤ）モードでは、イントラ予測モードは、もはやエンコーダで検索されず、むしろ勾配解析により事前に符号化された隣接するピクセルを使用して導出される。ＤＩＭＤは、単純なフラグを用いて、イントラコード化されたブロックのために信号伝達される。デコーダにおいて、ＤＩＭＤフラグが真である場合、イントラ予測モードは、同じ事前に符号化された隣接するピクセルを使用して再構成プロセスにおいて導出される。そうでない場合、イントラ予測モードは、ビットストリームから古典的イントラコーディングモードのものとして構文解析される。
【0085】
ブロックにおけるイントラ予測モードを導出するために、隣接するピクセルのセットを最初に選択する必要があり、それに対して勾配解析が実行される。正規化の目的のために、これらのピクセルは、復号／再構成されたピクセルのプール内にあるべきであり、図５Ｅは、本開示の幾つかの実施に係る勾配解析が実行される選択されたピクセルのセットを示すブロック図である。図５Ｅに示されるように、テンプレートが、現在のブロックを左にＴピクセルだけ、上方に（上端で）Ｔピクセルだけ取り囲むことによって選択される。次に、テンプレートのピクセルに対して勾配解析が行なわれる。これにより、現在のブロックと同一である可能性が高いと想定されるテンプレートの主角度方向を判定することができる。この仮定は、この方法の中心的な前提である。したがって、単純な３ｘ３ Ｓｏｂｅｌ勾配フィルタが使用され、このフィルタはテンプレートと畳み込まれる以下の行列によって規定される。
【数1】
【0086】
テンプレートのそれぞれのピクセルごとに、これらの２つの行列のそれぞれは、現在のピクセルを中心とし、８つの直接に隣接するものから構成される３ｘ３窓とポイントごとに乗算され、結果が合計される。したがって、水平方向及び垂直方向のそれぞれにおいて、現在のピクセルにおける勾配に対応する２つの値Ｇｘ（Ｍｘとの乗算による値）及びＧｙ（Ｍｙとの乗算による値）が得られる。
【0087】
図５Ｆは、本開示の幾つかの実施に係る（図５Ｅに示すような）テンプレートを用いた３ｘ３ Ｓｏｂｅｌ勾配フィルタの畳み込みプロセスを示すブロック図である。黒ピクセルが現在のピクセルである。白（及び黒）のピクセルは、勾配解析が可能なピクセルである。斜線勾配を伴うピクセルは、幾つかの隣接するものがないために勾配解析が不可能なピクセルである。一点鎖線のピクセルは、考慮されるテンプレートの外側の利用可能な（再構成された）ピクセルであり、これは赤ピクセルの勾配解析に使用される。（例えば、ブロックがピクチャの境界に近すぎるために）一点鎖線のピクセルが利用できない場合、この一点鎖線のピクセルを使用する白ピクセルの勾配解析は実行されない。それぞれの白ピクセルごとに、勾配の強度（Ｇ）及び向き（Ｏ）がＧｘ及びＧｙをそのまま使用して計算される。
【数2】
【0088】
その後、勾配の向きは、ヒストグラムにインデックスを付けるために使用されるイントラ角度予測モードに変換される。０に初期化されると、イントラ角度モードでのヒストグラム値がＧだけ増大される。テンプレート内の全ての赤ピクセルが処理された時点で、ヒストグラムは、それぞれのイントラ角度モードごとに勾配強度の累積値を含む。ヒストグラムの中で最も高いピークを示すモードが、現在のブロックにおけるイントラ予測モードとして選択される。ヒストグラムにおける最大値が０であれば（勾配解析を行なうことができなかった又はテンプレートを構成する領域が平坦であることを意味する）、現在のブロックにおけるイントラ予測モードとしてＤＣモードが選択される。
【0089】
図６Ａ及び図６Ｂはそれぞれ、本開示の幾つかの実施に係る、事前に再構成された典型的なルマブロック６０２及び対応する再構成されるべき典型的なクロマブロック６２０をそれぞれ示すブロック図である。この例では、ビデオコーディングプロセス中に、事前に再構成されたルマブロック６０２のルマサンプル（例えば、ルマサンプル６０４を含む）、上隣ルマグループ６０６のルマサンプル（例えば、ルマサンプル６０８を含む）、及び左隣ルマグループ６１０のルマサンプル（例えば、ルマサンプル６１５を含む）が予測されている。クロマブロック６２０のクロマサンプル（例えば、クロマサンプル６２２を含む）が予測されるようになっており、一方、上隣クロマグループ６２４のクロマサンプル（例えば、クロマサンプル６２６を含む）及び左隣クロマグループ６２８のクロマサンプル（例えば、クロマサンプル６３０を含む）は、ビデオコーディングプロセス中に事前に再構成されている。幾つかの実施形態では、ルマブロック６０２及びクロマブロック６２０が異なるサイズ及び形状を成す場合、クロマブロック６２０のクロマサンプルは、上隣クロマグループ６２４のクロマサンプル（例えば、クロマサンプル６２６を含む）及び左隣クロマグループ６２８のクロマサンプル（例えば、クロマサンプル６３０を含む）とともに、ルマブロック６０２の、事前に再構成された対応するダウンサンプリングされたルマサンプル（例えば、ダウンサンプリングされたルマサンプル６０５）にマルチモデル線形モデル（ＭＭＬＭ）を適用することによって予測されてよい。ＭＭＬＭの導出及び適用は、図７Ａ～図７Ｄに関連して以下に与えられる。
【0090】
幾つかの実施形態において、事前に再構成されたルマブロック６０２及びクロマブロック６２０はそれぞれ、ビデオフレームの一部の異なる成分を表わす。例えば、ＹＣｂＣｒ色空間では、画像がルマ成分（Ｙ）、青差クロマ成分（Ｃｂ）、赤差クロマ成分（Ｃｒ）で表わされる。事前に再構成されたルマブロック６０２は、ビデオフレームの一部のルマ成分（すなわち、輝度）を表わし、クロマブロック６２０は、ビデオフレームの同じ部分のクロマ成分（すなわち、色）を表わす。事前に再構成されたルマブロック６０２のルマサンプル（例えば、ルマサンプル６０４）は、ビデオフレームの特定のピクセルにおける輝度を表わすルマ値を有し、クロマサンプル（例えば、クロマサンプル６２２）は、ビデオフレームの特定のピクセルにおける色を表わすクロマ値を有する。
【0091】
幾つかの実施形態において、事前に再構成されたルマブロック６０２は、ブロック幅にわたって２Ｍ個のルマサンプルを伴うとともにブロック高さにわたって２Ｎ個のルマサンプルを伴う２Ｍｘ２Ｎブロックである。例えば、「Ｍ」及び「Ｎ」は、同じ値（例えば、事前に再構成されたルマブロック６０２が正方形ブロックである）又は異なる値（例えば、事前に再構成されたルマブロック６０２が非正方形ブロックである）となってよい。
【0092】
クロマサブサンプリングは、人間の視覚系が輝度差よりも色差に敏感でないため、一般的な圧縮技術である。結果として、事前に再構成されたルマブロック６０２及びクロマブロック６２０は、ビデオフレームの同じ部分を表わしていてよいが、異なる解像度で符号化される。例えば、ビデオフレームは、ルマ情報よりもクロマ情報を低解像度で符号化するように、クロマサブサンプリング方式（例えば、４：２：０又は４：２：２）を使用して符号化してよい。図６Ａ及び図６Ｂに示されるように、事前に再構成されたルマブロック６０２は、２Ｍ２Ｎの解像度で符号化されるが、クロマブロック６２０は、ＭｘＮのより小さい解像度で符号化される。実際には、クロマブロック６２０は、２Ｍｘ２Ｎ（例えば、４：４：４フルサンプリング）、２ＭｘＮ（例えば、４：４：０サブサンプリング）、Ｍｘ２Ｎ（例えば、４：２：２サブサンプリング）、及び１／２Ｍｘ２Ｎ（例えば、４：１：１サブサンプリング）などの他の解像度を有することができる。
【0093】
事前に再構成されたルマブロック６０２は、上隣ルマグループ６０６及び左隣ルマグループ６１０の隣にある。上隣ルマグループ６０６及び左隣ルマグループ６１０のサイズは、明示的に信号伝達され、又は事前に再構成されたルマブロック６０２のサイズに依存することができる。例えば、上隣ルマグループ６０６は、２Ｍサンプルの幅（例えば、事前に再構成されたルマブロック６０２の幅と同じ）又は４Ｍサンプルの幅（例えば、事前に再構成されたルマブロック６０２の幅の倍）及び２サンプルの高さを有することができる。左隣ルマグループ６１０は、２Ｎ又は４Ｎサンプルの高さで、２サンプルの幅を有することができる。幾つかの実施形態において、上隣ルマグループ６０６及び左隣ルマグループ６１０はそれぞれ、再構成された同じビデオフレームの別の１つ又は複数のルマブロックの一部である。
【0094】
クロマブロック６２０は、上隣クロマグループ６２４及び左隣グループ６２８の隣にある。上隣クロマグループ６２４及び左隣グループ６２８のサイズは、明示的に信号伝達される又はクロマブロック６２０のサイズに依存することができる。例えば、上隣クロマグループ６２４は、１ｘＭ又は１ｘ２Ｍのサイズを有することができ、左隣クロマグループ６２８は、Ｎｘ１又は２Ｎｘ１のサイズを有することができる。
【0095】
幾つかの実施形態において、クロマ値（例えば、クロマブロック６２０内のクロマサンプルのクロマ値）は、再構成された対応するルマサンプルのルマ値（例えば、事前に再構成されたルマブロック６０２内のルマサンプルのルマ値）に基づいて予測することができる。例えば、コーディングユニットのルマ値と対応するクロマ値との間に線形又は準線形関係が存在するという仮定の下で、ビデオコーダは、ＭＭＬＭを使用して再構成された対応するルマ値に基づいてクロマ値を予測することができる。このようにすることにより、ビデオコーダは、クロマ値を符号化し、符号化されたクロマ値を送信し、及び符号化されたクロマ値を復号するためのかなりの時間及び帯域幅を節約することができる。ＭＭＬＭを使用してルマサンプルの既知のルマ値からクロマサンプルの未知のクロマ値を予測するために、ビデオコーダは、（１）クロマサンプルの既知のクロマ値とコーディングブロック内の対応するルマサンプルの既知のルマ値との間の線形関係のグループ（例えば、２つ以上）を導出し（各線形関係は、特定の範囲内のルマ値及び／又はクロマ値に適用可能である）、（２）事前に再構成された対応するルマサンプルの既知のルマ値に適切な線形関係を適用することによってクロマサンプルの未知のクロマ値を予測する。ビデオコーダがＭＭＬＭを使用して事前に再構成された対応するルマサンプルの既知のルマ値から未知のクロマ値を予測する方法の詳細については、図７Ａ～図７Ｄ、図８、及び関連する説明を参照されたい。
【0096】
幾つかの実施形態では、ルマブロックとクロマブロックとは異なる解像度を有する（例えば、クロマブロックがサブサンプリングされていてもよい）ため、ビデオコーダは、それぞれのクロマサンプルに一意的に対応するダウンサンプリングされたルマサンプル（例えば、ダウンサンプリングされたルマサンプル６０５，６０９及び６１３）を生成するためにルマサンプルに対してダウンサンプリングを最初に実行する。幾つかの実施形態では、ＭＭＬＭを使用してクロマサンプルの未知のクロマ値を予測するとき、ビデオコーダは、実際のルマサンプルの既知のルマ値の代わりに、ダウンサンプリングされたルマサンプル（例えば、そのそれぞれは、それぞれのクロマサンプルに一意的に対応する）の既知のルマ値に線形関係を適用する。幾つかの実施形態では、ビデオフレームの高さ方向及び幅方向の両方における６つの隣接する再構成されたルマサンプルが、例えば、６タップダウンサンプリングなどを含む当技術分野で知られている重み付け平均方式を使用して、ダウンサンプリングされたクロマサンプルを生成するために使用される。例えば、上隣ルマグループ内の領域６１１内の６つの再構成されたルマサンプル（図では小さいボックスでそれぞれ表わされる）は、対応するそれらのルマ値の加重平均によってダウンサンプリングされたクロマサンプル６０９を生成するために使用され、また、事前に再構成されたルマブロック６０２内の領域６０７内の６つの再構成されたルマサンプル（図では小さいボックスでそれぞれ表わされる）は、ダウンサンプリングされたクロマサンプル６０５を生成するために使用される。
【0097】
例えば、２つの線形関係を有するＭＭＬＭの適用は、以下のように表わすことができる。
式中、ｐｒｅｄｃ（ｉ，ｊ）、ｐｒｅｄｃ（ｉ，ｊ）は、コーディングユニット内のクロマサンプル（例えば、クロマサンプル６２２）の予測されたクロマ値を表わし、ｒｅｃＬ’（ｉ，ｊ）は、同じコーディングユニットの、事前に再構成された対応するルマサンプルの既知のルマ値を表わす。幾つかの実施形態において、ｒｅｃＬ’（ｉ，ｊ）は、事前に再構成されたルマサンプルに基づいて判定される、同じコーディングユニットのダウンサンプリングされたルマサンプル（例えば、ダウンサンプリングされたルマサンプル６０５）の既知のルマ値を表わす（例えば、６タップダウンサンプリング）。閾値は、ＭＭＬＭの複数の線形関係のうちのどれが特定のルマ値に使用されるべきかを判定する閾値を表わす。２つの線形関係を含むＭＭＬＭの導出（例えば、線形モデルパラメータα１，α２，β１，β２、Ｔｈｒｅｓｈｏｌｄの導出）については、図７Ａ～図７Ｄ、図８、及び関連する説明を参照されたい。
【数3】
【0098】
別の例では、３つの線形関係を有するＭＭＬＭの適用は、以下のように表わすことができる。
【数4】
【0099】
式２は、式２のＭＭＬＭが、３つの別々の範囲を決める２つの閾値を有する３つの異なる線形関係を含むという点で、式１とは異なる。３つの線形関係を含むＭＭＬＭの導出（例えば、パラメータ（α１，α２，α３，β１，β２，β３，Ｔｈｒｅｓｈｏｌｄ１，Ｔｈｒｅｓｈｏｌｄ２）の導出）については、図７Ａ～図７Ｄ、図８、及び関連する説明を参照されたい。
【0100】
図７Ａ～図７Ｄは、本開示の幾つかの実施に係る、マルチモデル線形モデル（ＭＭＬＭ）を導出するとともにＭＭＬＭを適用してコーディングユニットのクロマサンプルの未知のクロマ値を予測する技術をビデオコーダが実施するプロセスの例を示すプロット図である。便宜上、このプロセスはビデオコーダによって実行されるものとして説明される。それぞれのプロットごとに、水平軸はルマサンプルのルマ値を表わし、垂直軸はクロマサンプルのクロマ値を表わし、プロット内の各データ点はクロマサンプルと対応するルマサンプルとの対を表わす。幾つかの実施形態において、対応するルマサンプルは、ダウンサンプリングされたルマサンプルである。例えば、プロット上のデータ点は、上隣クロマグループ６２４（図６Ｂ）内の事前に再構成されたクロマサンプル（例えば、図６Ｂのクロマサンプル６２６）と、上隣ルマグループ６０６（図６Ａ）内の、ダウンサンプリングされた対応するルマサンプル（例えば、図６Ａのダウンサンプリングされたルマサンプル６１３）との対を表わしていてよい。
【0101】
図７Ａは、データ点の第１のグループ７０４を伴うプロット７０２ａを示し、各データ点（例えば、基準サンプル対としても知られている）はプロット上にある。７０２ａは、事前に再構成されたクロマサンプル（例えば、図６Ｂのクロマサンプル６２６）と、事前に再構成された対応するルマサンプル（例えば、図６Ａのダウンサンプリングされたルマサンプル６１３）との対を表わす。事前に再構成されたクロマサンプル及びそれらに対応するルマサンプルは「基準クロマサンプル」及び「基準ルマサンプル」としてそれぞれ知られている。幾つかの実施形態において、ビデオコーダは、再構成されたルマサンプルの隣接するグループ（例えば、上隣ルマグループ６０６、左隣ルマグループ６１０、又はその両方）から現在のルマコーディングブロックにおける基準ルマサンプルを選択するとともに、再構成されたクロマサンプルの隣接するグループ（例えば、上隣クロマグループ６２４、左隣クロマグループ６２８、又はその両方）から基準クロマサンプルを選択する。基準ルマサンプル及びそれらに対応する基準クロマサンプルは、式１における（α１，α２，β１，β２，Ｔｈｒｅｓｈｏｌｄ）パラメータ又は式２における（α１，α２，α３，β１，β２，β３，Ｔｈｒｅｓｈｏｌｄ１，Ｔｈｒｅｓｈｏｌｄ２）パラメータなどのＭＭＬＭにおける線形モデルパラメータを導出するために使用される。
【0102】
（「ＭＭＬＭ＿Ａモード」としても知られている）幾つかの実施形態において、ビデオコーダは、上隣ルマグループからのルマ基準サンプル（例えば、図６Ａの上隣ルマグループ６０６からダウンサンプリングされたルマサンプル）及び対応する上隣クロマグループ（例えば、図６Ｂの上隣クロマグループ６２４）からのクロマ基準サンプルを選択する。左隣グループ（例えば、図６Ａの左隣ルマグループ６１０）からのダウンサンプリングされたルマサンプル及び左隣クロマグループ（例えば、図６Ｂの左隣クロマグループ６２８）からのそれらに対応するクロマサンプルは無視される。例えば、図６Ａ及び図６Ｂにおいて、ビデオコーダは、Ｍ個のダウンサンプリングされたルマサンプル（例えば、再構成されたルマブロック６０２の行ごとのダウンサンプリングされたルマサンプルの数）及びＭ個のクロマ基準サンプル（例えば、クロマブロック６２０の行ごとのクロマ基準サンプルの数）を基準ルマサンプル及び基準クロマサンプルとして、又は２Ｍ個のダウンサンプリングされたルマサンプル（例えば、再構成されたルマブロック６０２の行ごとのダウンサンプリングされたルマサンプルの数の倍）及び２Ｍ個のクロマサンプル（例えば、クロマブロック６２０の行ごとのクロマサンプルの数の倍）を基準ルマサンプル及び基準クロマサンプルとして選択してよい。一般に、使用される基準ルマサンプル及び基準クロマサンプルが多いほど、ルマ値に基づくクロマ値の予測をより正確に（例えば、ＭＭＬＭパラメータの判定をより正確に）、ただしより高い計算コストで、行なうことができる。
【0103】
（「ＭＭＬＭ＿Ｌモード」としても知られている）幾つかの実施形態において、ビデオコーダは、左隣ルマグループ（図６Ａの左隣ルマグループ６１０）からのルマ基準サンプル及び対応する左隣クロマグループ（図６Ｂの左隣クロマグループ６２８）からのクロマ基準サンプルを選択する。上隣ルマグループ（例えば、図６Ａの上隣ルマグループ６０６）からダウンサンプリングされたルマサンプル及び上隣クロマグループ（例えば、図６Ｂの上隣クロマグループ６２８）からのそれらに対応するクロマサンプルは無視される。例えば、図６Ａ及び図６Ｂにおいて、ビデオコーダは、Ｎ個のダウンサンプリングされたルマサンプル（例えば、再構成されたルマブロック６０２の列ごとのダウンサンプリングされたルマサンプルの数）及びＮ個のクロマ基準サンプル（例えば、クロマブロック６２０の列ごとのクロマ基準サンプルの数）を基準ルマサンプル及び基準クロマサンプルとして、又は２Ｎ個のダウンサンプリングされたルマサンプル（例えば、再構成されたルマブロック６０２の列ごとのダウンサンプリングされたルマサンプルの数の倍）及び２Ｍ個のクロマサンプル（例えば、クロマブロック６２０の列ごとのクロマサンプルの数の倍）を基準ルマサンプル及び基準クロマサンプルとして選択してよい。
【0104】
幾つかの実施形態において、ビデオコーダは、ＭＭＬＭ＿ＬモードとＭＭＬＭ＿Ａモードの両方を使用してルマ及びクロマ基準サンプルを選択する。
【0105】
図７Ｂは、データ点の第２のグループ７０６を伴うプロット７０２ｂを示す。ビデオコーダは、ＭＭＬＭパラメータを導出するためにデータ点の第２のグループ７０６を使用する。幾つかの実施形態において、データ点の第２のグループ７０６は、データ点の第１のグループ７０４のサブセットである。ルマ基準サンプル及びクロマ基準サンプルの数を減らすことにより、ＭＭＬＭパラメータを導出する際の計算の複雑さが低減される。ビデオコーダは、以下の方法でデータ点の第１のグループ７０４からデータ点の第２のグループ７０６を判定する。
【0106】
幾つかの実施形態において、データ点の第２のグループ７０６内のデータ点（例えば、基準サンプル対としても知られている）の数は、クロマサンプルが予測されるべきクロマブロック（例えば、図６Ｂのクロマブロック６２０）のサイズ及び／又は形状に基づいて所定の値に制限される。以下の表１には４つの異なる例（方法１、２、３、及び４としてラベル付けされる）が示されており、ここで、ｎは、現在のコーディングユニットのクロマブロックのサイズ及び形状に応じて、２、４、及び／又は８であってよい。
【表1】
【0107】
例えば、クロマブロックが４ｘ８又は８ｘ４のサイズを有するとともに、ビデオコーダが方法１を選択する場合、データ点の第２のグループ７０６内のデータ点の数は４に制限される。別の例では、クロマブロックが３２ｘ３２のサイズを有するとともに、ビデオコーダが方法２を選択する場合、データ点の第２のグループ７０６内のデータ点の数は８に制限される。
【0108】
幾つかの実施形態において、ＭＭＬＭは、所定の閾値以上のブロックサイズを有するブロックにのみ適用可能である。例えば、閾値よりも小さいサイズのクロマブロックは、ＭＭＬＭを用いて予測されるようになっていない。一例では、ＭＭＬＭを導出するために使用される基準サンプル対の最大数が８に制限され、ブロックサイズ閾値は８ｘ８又は１６ｘ１６に制限される。その結果、ＭＭＬＭを使用して十分に関連付けられた基準サンプル対を有さない場合があるより小さいクロマブロックは予測されないようになっている。
【0109】
幾つかの実施形態において、ビデオコーダは、固定ダウンサンプリングによってデータ点の第２のグループ７０６内の基準サンプル対を選択する。例えば、ビデオコーダは、ＭＭＬＭパラメータ導出のために垂直方向（例えば、ＭＭＬＭ＿Ｌモード）又は水平方向（例えば、ＭＭＬＭ＿Ａモード）の特定のインデックス付けされた位置（例えば、奇数インデックス位置）におけるルマ又はクロマ基準サンプルが選択される固定ダウンサンプリング方法を使用することができる。
【0110】
幾つかの実施形態において、ビデオコーダは、適応ダウンサンプリングによってデータ点の第２のグループ７０６内の基準サンプル対を選択する。例えば、ビデオコーダは、（１）所定のサンプリング間隔、及び（２）垂直方向又は水平方向の開始オフセットにしたがって基準サンプルが選択される適応ダウンサンプリング方法を選択してよい。より具体的には、ビデオコーダは、（例えば、データ点の第１のグループ７０４における）元の基準サンプル対の数及び（例えば、データ点の第２のグループ７０６における）低減された基準サンプル対の数に基づいて以下の方法でサンプリング間隔及び開始オフセットを判定することができる。
１．元の基準サンプル対の数を判定する：Ｌ（例えば、１６）
２．低減された基準サンプル対の数を判定する：Ｎ（例えば、８）
３．サンプリング間隔を判定する：Δ＝Ｌ／Ｎ（例えば、２）
４．開始オフセットを判定する：オフセット＝Δ／２（例えば、１）
１．元の基準サンプル対の数を判定する：Ｌ（例えば、１６）
２．低減された基準サンプル対の数を判定する：Ｎ（例えば、８）
３．サンプリング間隔を判定する：Δ＝Ｌ／Ｎ（例えば、２）
４．開始オフセットを判定する：オフセット＝Δ／２（例えば、１）
【0111】
ビデオコーダは、所定の開始位置（例えば、第２の参照サンプル）＋開始オフセットの（例えば、隣接するルマ又はクロマグループの）位置で第１の基準サンプル（例えば、ルマサンプル又はクロマサンプル）を選択する。他の基準サンプルの位置は、前の点からの位置＋サンプリング間隔である。
【0112】
図７Ｃは、ルマ値に基づいてルマ閾値７１０によって２つのサブグループに分離されたデータ点の第２のグループ７０８を伴うプロット７０２ｃを示し、第１のサブグループは最小基準ルマ値７１２からルマ閾値７１０まで及び、第２のサブグループはルマ閾値から最大ルマ値７１２まで及ぶ。各サブグループ内で、ビデオコーダは、その後、ルマ値をクロマ値にマッピングするＭＭＬＭのそれぞれの線形モデルを導出する。
【0113】
幾つかの実施形態において、ビデオコーダは、左隣ルマグループ（例えば、図６Ａの左隣ルマグループ６１０）内の全てのルマサンプル（又はダウンサンプリングされたルマサンプル）を選択し、他の全てのルマサンプルを無視することによって、ルマ閾値７１０を計算する。その後、ビデオコーダは、選択されたルマサンプルに対して、平均ルマ値、中央ルマ値、モードルマ値を判定するなどの又はカスタム定義式によって動作を実行する。
【0114】
幾つかの実施形態において、ビデオコーダは、上隣ルマグループ（例えば、図６Ａの上隣ルマグループ６０６）内の全てのルマサンプル（又はダウンサンプリングされたルマサンプル）を選択し、他の全てのルマサンプルを無視することによって、ルマ閾値７１０を計算する。その後、ビデオコーダは、選択されたルマサンプルに対して、平均ルマ値、中央ルマ値、モードルマ値を判定するなどの又はカスタム定義式によって動作を実行する。
【0115】
幾つかの実施形態において、ビデオコーダは、上隣及び左隣ルマグループ（例えば、図６Ａの左隣ルマグループ６１０及び上隣ルマグループ６０６）の両方の全てのルマサンプル（又はダウンサンプリングされたルマサンプル）を選択し、他の全てのルマサンプルを無視することによって、ルマ閾値７１０を計算する。その後、ビデオコーダは、選択されたルマサンプルに対して、平均ルマ値、中央ルマ値、モードルマ値を判定するなどの又はカスタム定義式によって動作を実行する。
【0116】
幾つかの実施形態において、ビデオコーダは、現在のコーディングユニット（例えば、図６Ａのルマブロック６０２）内の全てのルマサンプル（又はダウンサンプリングされたルマサンプル）を選択し、他の全てのルマサンプルを無視することによって、ルマ閾値７１０を計算する。その後、ビデオコーダは、選択されたルマサンプルに対して、平均ルマ値、中央ルマ値、モードルマ値を判定するなどの又はカスタム定義式によって動作を実行する。
【0117】
幾つかの実施形態において、ビデオコーダは、現在のコーディングユニット（例えば、図６Ａのルマブロック６０２）内の全てのルマサンプル（又はダウンサンプリングされたルマサンプル）並びに上隣及び左隣グループ（例えば、図６Ａの左隣ルマグループ６１０及び上隣ルマグループ６０６）を選択することによって、ルマ閾値７１０を計算する。その後、ビデオコーダは、選択されたルマサンプルに対して、平均ルマ値、中央ルマ値、モードルマ値を判定するなどの又はカスタム定義式によって動作を実行する。
【0118】
幾つかの実施形態において、カスタム定義式は、最小及び最大ルマ値（Ｌｍｉｎ及びＬｍａｘ）を見つけることと、
を実行することとを含み、ここで、Ｎは２などの所定値である。
【数5】
【0119】
同様に、ビデオコーダは、クロマ隣接グループに上記の技術を適用することによってクロマ閾値７１１を判定することができる。
【0120】
プロット７０２ｃは、ルマ値を２つの別々のグループに分割するただ１つのルマ閾値７１０を含む（例えば、ＭＭＬＭのために導出されるべき２つの線形関係がある）が、実際のやり方では、ルマ値を３つ以上の別々のグループに分割する複数のルマ閾値が存在してよい（例えば、ＭＭＬＭのために導出されるべき３つ以上の線形関係が存在する）。例えば、ＭＭＬＭに３つの線形関係がある場合、ビデオコーダは、以下の方法で最大基準ルマ値７１２及び最小基準ルマ値７１４に基づいて２つのルマ閾値を判定してよい。
【数6】
【0121】
別の例において、全ての隣接する（上隣又は左隣）再構成ルマサンプル（又はダウンサンプリングされたルマサンプル）は、隣接する再構成されたルマサンプルの平均値に基づいて２つのグループに分離される。平均値よりも小さい値を有するルマサンプルは１つのグループに属し、平均値よりも小さくない値を有するルマサンプルは別のグループに属する。そして、Ｔｈｒｅｓｈｏｌｄ１及びＴｈｒｅｓｈｏｌｄ２は、各グループの平均値として算出されてよい。
【0122】
図７Ｄは、ＭＭＬＭの２つの線形関係（線形関係７１６及び７１８）がルマ閾値７１０、最小基準ルマ値７１２、及び最大基準ルマ値７１４に基づいて導出されるプロット７０２ｄを示す。図７Ｃを参照して前述したように、ビデオコーダは、まず最初に、ルマ閾値７１０に基づいて、データ点の第２のグループ７０８の基準サンプルを２つのサブグループに分離する。各サブグループ内で、ビデオコーダは、ルマ値をクロマ値にマッピングするそれぞれの線形関係（式１を参照）を判定する。幾つかの実施形態において、ビデオコーダは、回帰法を使用してそれぞれの線形関係を判定する（例えば、グループ内の全てのデータ点を考慮に入れる）。しかしながら、回帰を実行することは、計算集約的であり、例えばリアルタイムでのビデオ符号化／復号の目的では非現実的であることが多い。したがって、線形関係を導出する（例えば、式１の線形パラメータを判定する）ためのより効率的な実装が望まれる。
【0123】
幾つかの実施形態において、ビデオコーダは、Ｍａｘ－Ｍｉｎ法を使用して線形関係７１６及び７１８を導出する。ビデオコーダは、（１）最小基準ルマ値７１２を有する基準サンプル（例えば、Ａ（ＸＡ，ＹＡ）によって数学的に表わされ、ここで、ＸＡは最小基準ルマ値７１２である）、（２）ルマ閾値７１０及びクロマ閾値７１１を有するデータ点（例えば、閾値（ＸＴ、ＹＴ）によって数学的に表わされ、ここで、ＸＴ及びＹＴはそれぞれ、ルマ閾値７１０及びクロマ閾値７１１である）、及び（３）最大基準ルマ値７１４を有する基準サンプル（例えば、Ｂ（ＸＢ，ＹＢ）によって数学的に表わされる）から式１の線形モデルパラメータ（α１ β１ α２ β２）を判定する。なお、ＸＡ及びＸＢは最小及び最大のルマ値であるが、ＹＡ及びＹＢは必ずしも最小及び最大のクロマ値であるとは限らない。ビデオコーダは、以下の方法で線形モデルパラメータを判定する。
【数7】
【0124】
幾つかの実施形態では、正方形の形状を有するコーディングブロックの場合、ビデオコーダは上記の技術を直接適用する。非正方形コーディングブロックの場合、幾つかの実施形態において、ビデオコーダは、短い方の境界と同じ数のサンプルを有するように長い方の境界の隣接する基準サンプルを最初にサブサンプリングする。
【0125】
ＭＭＬＭが３つの線形関係（例えば、式３によって表わされる）を含む場合、ビデオコーダは、２つの線形関係を有するＭＭＬＭに関して前述したのと同様の態様で線形関係における線形モデルパラメータを導出することができる。例えば、２つの閾値データ点をＴｈｒｅｓｈｏｌｄ（ＸＴ１、ＹＴ１）及びＴｈｒｅｓｈｏｌｄ（ＸＴ２、ＹＴ２）として表わすことができ、ＹＴ２＞ＹＴ１であると仮定すると、ビデオコーダは、Ａ（ＸＡ、ＹＡ）とＴｈｒｅｓｈｏｌｄ（ＸＴ１、ＹＴ１）との間の直線関係から線形モデルパラメータα１及びβ１を判定することができる。線形モデルパラメータα２及びβ２は、直線関係Ｔｈｒｅｓｈｏｌｄ（ＸＴ１、ＹＴ１）及びＴｈｒｅｓｈｏｌｄ（ＸＴ２、ＹＴ２）から導出される。線形モデルパラメータα３及びβ３は、Ｔｈｒｅｓｈｏｌｄ（ＸＴ２、ＹＴ２）及びＢ（ＸＢ，ＹＢ）間の直線関係から導出されてよい。
【0126】
ＭＭＬＭの線形関係７１６及び７１８を導出した後、ビデオコーダは、適切な線形モデルを対応するルマ値（又はサブサンプリングされたルマ値）に適用することによって、クロマサンプル値（例えば、図６Ｂ中のクロマサンプル６２２のクロマサンプル値）を予測することができる。
【0127】
図８は、本開示の幾つかの実施に係る、マルチモデル線形モデル（ＭＭＬＭ）を導出するとともにＭＭＬＭを適用してコーディングユニットのクロマサンプルを予測する技術をビデオコーダが実施する典型的なプロセス８００を示すフローチャートである。便宜上、プロセス８００は、図３のビデオデコーダ３０などの送信先デバイス上のビデオデコーダによって実行されるものとして説明される。
【0128】
最初のステップとして、ビデオデコーダは、クロマブロック（例えば、図６Ｂのクロマブロック６２０）、ルマブロック（例えば、図６Ａのルマブロック６０２）（例えば、クロマブロック及びルマブロックは同じコーディングユニットに属する）、ルマブロック（例えば、図６Ａの上隣ルマグループ６０６及び／又は左隣ルマグループ６１０）を取り囲む複数の隣接するルマサンプル、及びクロマブロック（例えば、上隣クロマグループ６２４及び／又は左隣クロマグループ６２８）を取り囲む複数の隣接するクロマサンプル（例えば、複数の隣接するルナサンプルにおける１つ以上のルマサンプルは、隣接するクロマサンプルにおけるクロマサンプルに対応する）を符号化したビットストリームを受信する（例えば、図２のビデオエンコーダ２０によって送信される）（８１０）。幾つかの実施形態において、ルマブロック及びクロマブロックは、異なるサンプルレートでサンプリングされ、異なるブロックサイズ及び／又は形状を有する。例えば、ルマブロックは、クロマブロックより大きくてもよく、また、ルマブロックのサブサンプリングは、クロマサンプルに対応するサブサンプリングされたルマサンプル（例えば、隣接するルマサンプルを平均化することによって計算されたルマサンプル）を見つけるために実行される。
【0129】
その後、ビデオデコーダは、ルマブロック、複数の隣接するルマサンプル、及び複数の隣接するクロマサンプルを復号して、ルマブロックの複数の再構成されたルマサンプル、複数の再構成された隣接するルマサンプル、及び複数の再構成された隣接するクロマサンプルをそれぞれ取得する（８２０）。例えば、ビデオデコーダは、インターモード予測又はイントラモード予測を使用して、ルマブロック、複数の隣接するルナサンプル、及び複数の隣接するクロマサンプルを復号してよい。それぞれの再構成された隣接するルマサンプル（又は再構成されたサブサンプリングされた隣接するルマサンプル）及びそれに対応する再構成された隣接するクロマサンプルは、ルマ値とクロマ値との間の対応関係を示す基準データ点として（例えば、図７Ａのデータ点の第１のグループ７０４における１つのデータ点として）表わされてよい。
【0130】
次に、ビデオデコーダは、複数の再構成された隣接するルマサンプル（又は再構成されたサブサンプリングされた隣接するルマサンプル）及び複数の再構成された隣接するクロマサンプルから、基準ルマサンプルのグループ及び基準クロマサンプルの、対応するグループ（例えば、図７Ｂのデータ点の第２のグループ７０６によって表わされる）をそれぞれ選択する（８３０）。幾つかの実施形態において、基準ルマサンプル及び対応する基準クロマサンプルはそれぞれ、複数の再構成された隣接するルマサンプル及び複数の再構成された隣接するクロマサンプルのサブセットである。選択機構の詳細については、図７Ｂ及び関連する説明を参照されたい。
【0131】
次に、ビデオデコーダは、複数の再構成された隣接するクロマサンプルから閾値ルマ値（例えば、平均ルマ値、中央ルマ値、又は他の所定の演算から計算されたルマ値）を計算するとともに、複数の再構成された隣接するクロマサンプルから閾値クロマ値（例えば、平均クロマ値、中央クロマ値、又はルマサンプルから他の方法で計算されたクロマ値）を計算する（例えば、データ点（閾値ルマ値、閾値クロマ値）は、ＭＭＬＭにおける「ニーポイント」を表わすとともに、ＭＭＬＭにおける第１の線形モデルを第２の線形モデルから分離するために使用され、これについては図７Ｄ及び関連する説明を参照されたい）（８４０）。
【0132】
閾値ルマ値及び閾値クロマ値を判定した後、ビデオデコーダは、基準ルマサンプルのグループから最大ルマ値及び最小ルマ値を判定する（８５０）。例えば、図７Ｄのプロット７０２ｄでは、最大ルマ値が値ＸＢであり、最小ルマ値が値ＸＡである。最大ルマ値及び最小ルマ値を含む基準サンプルはそれぞれＢ（ＸＢ，ＹＢ）及びＡ（ＸＡ、ＹＡ）である。最小ルマ値（例えば、図７ＤのＸＡ）、閾値ルマ値（例えば、図７ＤのＸＴ）、及び最大ルマ値（例えば、図７ＤのＸＢ）は、ルマ値の２つの別々の領域を規定し、第１の領域は最小ルマ値から閾値ルマ値まで延在し、第２の領域は閾値ルマ値から最大ルマ値まで延在する。閾値ルマ値は、最小ルマ値と最大ルマ値との間にある。幾つかの実施形態では、最大ルマ値が最小ルマ値と異なる場合、閾値ルマ値は、最小ルマ値以上であり、最大ルマ値以下である。幾つかの実施形態では、最大ルマ値が最小ルマ値に等しい場合（例えば、最大及び最小のルマ値を計算するための領域は、一様なルマサンプルを含む）、最大、最小、及び閾値ルマ値は全て互いに等しい。したがって、閾値ルマ値が最小ルマ値以上であり且つ最大ルマ値以下である場合、閾値ルマ値は最小ルマ値と最大ルマ値との間にある。
【0133】
その後、ビデオデコーダは、最小ルマ値と閾値ルマ値との間の第１の線形モデルと、閾値ルマ値と最大ルマ値との間の第２の線形モデルとを含むマルチモデル線形モデルを生成する（８６０）。第１の線形モデルは、最小ルマ値を含む基準サンプル（例えば、図７ＤのＡ（ＸＡ、ＹＡ））と、閾値ルマ値（例えば、図７ＤのＴｈｒｅｓｈｏｌｄ（ＸＴ、ＹＴ））を含む基準サンプルとによって規定される。第２の線形モデルは、閾値ルマ値（例えば、図７ＤのＴｈｒｅｓｈｏｌｄｆ（ＸＴ、ＹＴ））を含む基準サンプルと、最大ルマ値を含む基準サンプル（例えば、図７ＤのＢ（ＸＢ，ＹＢ））とによって規定される。例えば、図７Ｄのプロット７０２ｄは、第１及び第２の線形モデルを線形関係７１６及び線形関係７１８としてそれぞれ示す。
【0134】
最後に、ビデオデコーダは、マルチモデル線形モデルを使用してルマブロックからクロマブロックを再構成する（８７０）。幾つかの実施形態において、ビデオデコーダは、ラスタスキャン順にルマブロック内の各ルマサンプル（又はサブサンプリングされたルマサンプル）を処理してよく、ＭＭＬＭの適切な線形関係を適用して、対応するクロマサンプルを再構成する（例えば、ルマサンプルのルマ値がルマ閾値を下回る場合、第１の線形関係を適用し、ルマサンプルのルマ値がルマ閾値よりも大きい場合、第２の線形関係を適用する）。
【0135】
幾つかの実施形態において、マルチモデル線形モデルを生成することは、最大ルマ値を有する第１の基準ルマサンプルに対応する第１の基準クロマサンプルの第１のクロマ値、及び最小ルマ値を有する第２の基準ルマサンプルに対応する第２の基準クロマサンプルの第２のクロマ値を判定することを含み、第１の線形モデルは、（最小ルマ値、第１のクロマ値）と（閾値ルマ値、閾値クロマ値）とを結び付け、第２の線形モデルは、（閾値ルマ値、閾値クロマ値）と（最大ルマ値、第２のクロマ値）とを結び付ける。
【0136】
幾つかの実施形態において、マルチモデル線形モデルを使用してルマブロックからクロマブロックを構成することは、クロマブロック内のそれぞれのクロマサンプルに関して、それぞれのクロマサンプルに対応する再構成されたルマブロック内のそれぞれのルマサンプルのそれぞれのルマ値を判定し、それぞれのルマ値が閾値ルマ値以下であるという判定に応じて、それぞれのルマ値に第１の線形モデルを適用してそれぞれのクロマ値を取得し、それぞれのルマ値が閾値ルマ値以上であるという判定に応じて、第２の線形モデルをそれぞれのルマ値に適用して、それぞれのクロマ値を取得することを含む。
【0137】
幾つかの実施形態において、閾値ルマ値を計算することは、複数の再構成された隣接するルマサンプルから平均ルマ値を見つけることを含み、また、閾値クロマ値を計算することは、複数の再構成された隣接するクロマサンプルから平均クロマ値を見つけることを含む。
【0138】
幾つかの実施形態において、基準ルマサンプルのグループ及びクロマ基準サンプルのグループを選択することは、使用されるべき基準ルマサンプル及び基準クロマサンプルの数の上限を判定することを含む。
【0139】
幾つかの実施形態において、基準ルマサンプルのグループ及び基準クロマサンプルのグループを選択することは、複数の再構成された隣接するルマサンプルから１つおきのルマサンプル及び複数の再構成された隣接するクロマサンプルから１つおきのクロマサンプルを選択することを含む。
【0140】
幾つかの実施形態では、閾値ルマ値よりも大きい第２の閾値ルマ値及び閾値クロマ値よりも大きい対応する第２の閾値クロマ値を計算し、第２の線形モデルは、閾値ルマ値と第２の閾値ルマ値との間のルマ値に適用可能であり、第３の線形モデルは、第２の閾値ルマ値と最大ルマ値との間のルマ値に適用可能である。
【0141】
幾つかの実施形態において、閾値ルマ値を計算することは、複数の再構成された隣接するルマサンプルから最大ルマ値と最小ルマ値との間の加重平均ルマ値を見つけることを含み、閾値クロマ値を計算することは、複数の再構成された隣接するクロマサンプルから最大クロマ値と最小クロマ値との間の加重平均クロマ値を見つけることを含む。
【0142】
幾つかの実施形態において、閾値ルマ値を計算することは、ルマブロックの複数の再構成ルマサンプルから平均ルマ値を見つけることを含む。
【0143】
幾つかの実施形態において、マルチモデル線形モデルを使用してルマブロックからクロマブロックを構成することは、クロマブロック内のクロマサンプルのそれぞれのブロックに関して、クロマサンプルのそれぞれのブロックに対応する復号されたルマブロック内のルマサンプルのそれぞれのブロックのそれぞれの平均ルマ値を判定し、それぞれの平均ルマ値が閾値ルマ値以下であるという判定に応じて、第１の線形モデルをルマサンプルのそれぞれのブロック内の各ルマ値に適用して、クロマサンプルのそれぞれのブロック内のそれぞれのクロマ値を取得し、それぞれの平均ルマ値が閾値ルマ値以上であるという判定に応じて、第２の線形モデルをルマサンプルのそれぞれのブロック内の各ルマ値に適用して、クロマサンプルのそれぞれのブロック内のそれぞれのクロマ値を取得することを含む。
【0144】
図９は、本開示の幾つかの実施に係るＭＭＬＭに使用される隣接サンプル（灰色の円として示される）の位置を示すブロック図である。幾つかの実施形態では、図９に示されるように、マルチモデル線形モデルパラメータ導出が複数のラインからのものである。幾つかの実施形態において、ＭＭＬＭにおけるモデルパラメータは、基準サンプルの複数のラインを用いて生成される。
【0145】
一実施形態では、基準サンプルの複数のラインがＮ個のセットに分割され、ここで、Ｎは正の数であり、その値は、現在のブロックの特定のコード化された情報、例えば、ＴＢ（変換ブロック）／ＣＢ（コーディングブロック）及び／又はスライス／プロファイルと関連付けられたコード化されたブロックの量子化パラメータ又はサイズに基づいて動的に変更されてよい。図１０は、本開示の幾つかの実施態様に係るＭＭＬＭに使用されるサンプルの４つのセットの位置を例示するブロック図である。図１０において、サンプルの４つのセットは、灰色の円の中にある異なる記号によって、例えば、記号のない灰色の円、十字記号のある灰色の円、三角記号のある灰色の円、チェック記号のある灰色の円によって表わされる。他の実施形態では、基準サンプルの複数のラインがＮ個の基準セットに分割され、ここで、Ｎは正の数であり、コード語は、現在のブロックの特定のコード化された情報、例えば、量子化パラメータ、ＴＢ／ＣＢ及び／又はスライス／プロファイルと関連付けられたコード化されたブロックのセット数又はサイズに基づいてＮ個の基準セットのうちの特定の１つを示すように動的に変更される。
【0146】
一例では、ＭＭＬＭブロックにおける基準セットの信号伝達が有効か無効かを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで制御フラグが信号伝達される。制御フラグが有効にされている場合、それぞれのＣＢごとに、そのＣＢ内の線形モデルパラメータの導出のために特定の基準セットが使用されることを示すように、シンタックス要素が更に信号伝達される。制御フラグが無効にされている（例えば、フラグを「０」に設定する）場合、線形モデルパラメータの導出のための特定の基準セットを示すために更なるシンタックス要素は下位レベルで信号伝達されず、線形モデルパラメータの導出のためにデフォルトの基準セット（例えば、利用可能な上方（上端）及び左再構成）が使用される。
【0147】
幾つかの実施形態では、ＭＭＬＭとイントラ予測とを組み合わせて使用して予測を形成する。幾つかの実施形態では、ＭＭＬＭと導出された重みによるイントラ予測とを組み合わせて最終予測を形成する。一実施形態において、重みは、左（上端）及び上方の２つの隣接するブロックの予測モードから導出され、それらを組み合わせて最終予測を形成する。重みの組み合わせのイントラ予測モードとしては、平面モードのみが用いられる。別の実施形態では、組み合わせのイントラ予測モードは、コロケートされたルマイントラ予測と同じモードであってもよい。更に他の実施形態において、組み合わせの重み及び／又はイントラ予測モードは、組み合わせで使用されるイントラ予測モードの重み及び／又はタイプを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで信号伝達されてよい。
【0148】
一例では、組み合わされたＭＭＬＭ及びイントラ予測のモードが有効であるか無効であるかどうかを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで制御フラグが信号伝達される。制御フラグが有効にされると、それぞれのＣＢごとに、そのＣＢ内の組み合わせのイントラ予測モードとして特定のイントラ予測が使用されることを示すために、シンタックス要素が更に信号伝達される。別の例では、組み合わされたＭＭＬＭ及びイントラ予測のモードが有効であるか無効であるかどうかを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで制御フラグが信号伝達される。制御フラグが有効にされると、それぞれのＣＢごとに、そのＣＢの組み合わされたＭＭＬＭ及びイントラ予測に重みが使用されることを示すために、シンタックス要素が更に信号伝達される。
【0149】
更に別の実施形態において、最終予測を組み合わせるためのイントラモードのタイプ及び重みは、左及び上方（上端）の２つの隣接するブロックの予測モードから導出される。
【0150】
一例では、組み合わされたＭＭＬＭ及びイントラ予測のモードが有効であるか無効であるかどうかを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで制御フラグが信号伝達される。制御フラグが有効にされる場合、例えば、ＤＩＭＤで用いられる勾配解析として、事前に符号化された隣接するピクセルを用いて勾配解析によりイントラ予測モードが導出される。ヒストグラムにおいて最も高いピークを示すモードは、そのＣＢにおける組み合わせのイントラ予測モードとして選択される。重みは、ヒストグラム内の最高ピークの比率に基づいて動的に変更されてもよく、例えば、最高ピークの比率が高いほど、イントラモードの重みが高くなる。
【0151】
図１１は、本開示の幾つかの実施に係るＭＭＬＭとイントラ予測とを組み合わせてビデオ信号のクロマブロックを予測又は構成する技術をビデオコーダが実施する典型的なプロセス１１００を示すフローチャートである。便宜上、プロセス８００は、図３のビデオデコーダ３０などの送信先デバイス上のビデオデコーダによって実行されるものとして説明される。
【0152】
最初のステップとして、ビデオデコーダは、クロマブロック、対応するルマブロック、ルマブロックを取り囲む複数の隣接するルマサンプル、及びクロマブロックを取り囲む複数の隣接するクロマサンプルを符号化したビットストリーム（例えば、図２のビデオエンコーダ２０によって送信される）を受信する（１１１０）。
【0153】
その後、ビデオデコーダは、ルマブロック、複数の隣接するルマサンプル、及び複数の隣接するクロマサンプルを復号して、ルマブロックの複数の再構成されたルマサンプル、複数の再構成された隣接するルマサンプル、及び複数の再構成された隣接するクロマサンプルをそれぞれ取得する（１１２０）。
【0154】
その後、ビデオデコーダは、複数の再構成された隣接するルマサンプル及び複数の再構成された隣接するクロマサンプルから、各基準ルマサンプルが、それぞれの基準クロマサンプルに対応する、基準ルマサンプルのグループ及び基準クロマサンプルのグループを選択する（１１３０）。
【0155】
その後、ビデオデコーダは、基準ルマサンプルのグループからの閾値ルマ値を計算するとともに、基準クロマサンプルのグループから対応する閾値クロマ値を計算する（１１４０）。
【0156】
その後、ビデオデコーダは、基準ルマサンプルのグループから、閾値ルマ値が最小ルマ値と最大ルマ値との間にある最大ルマ値及び最小ルマ値を判定する（１１５０）。
【0157】
その後、ビデオデコーダは、最小ルマ値と閾値ルマ値との間の第１の線形モデルと、閾値ルマ値と最大ルマ値との間の第２の線形モデルとを含むマルチモデル線形モデルを生成する（１１６０）。
【0158】
ビデオデコーダは、更に、ルマブロック、マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせからクロマブロックのそれぞれのサンプル値を再構成する（１１７０）。
【0159】
幾つかの実施形態において、複数の隣接するルマサンプルは、ルマブロックを取り囲む少なくとも２つの左ライン及び少なくとも２つの上ラインから選択され、複数の隣接するクロマサンプルは、クロマブロックを取り囲む少なくとも２つの左ライン及び少なくとも２つの上ラインから選択される。例えば、マルチモデル線形モデルパラメータ導出は、図９に示すような複数のラインからのものである。
【0160】
幾つかの実施形態において、複数の隣接するルマサンプルは、所定数の基準セットに分割され、複数の隣接するクロマサンプルは、所定数の基準セットに分割され、基準ルマサンプルのグループは、所定数の基準セットのうちの１つから選択され、基準クロマサンプルのグループは、所定数の基準セットのうちの１つから選択される。例えば、図１０に示されるように、基準サンプルの複数ラインがＮ個の基準セットとして分割され、ここで、Ｎは正の数であり、動的に変化するコード語は、現在のブロックの特定のコード化された情報、例えば量子化パラメータ、ＴＢ／ＣＢ及び／又はスライス／プロファイルと関連付けられたコード化されたブロックのセット数又はサイズに基づいて基準セットのうちの特定の１つを示すために使用される。
【0161】
幾つかの実施形態において、基準ルマサンプルのグループ及び基準クロマサンプルのグループは、クロマ及びルマブロックを含む現在のブロックのコード化された情報に基づいて選択される。
【0162】
幾つかの実施形態において、複数の再構成された隣接するルマサンプル及び複数の再構成された隣接するクロマサンプルから、基準ルマサンプルのグループ及び基準クロマサンプルのグループを選択すること（１１３０）ステップは、ＴＢ（変換ブロック）、ＣＢ（コーディングブロック）、スライス、ピクチャ、及びシーケンスレベルから成るグループから選択される１つで制御フラグから所定数の基準セットの信号伝達かどうかを判定することと、所定数の基準セットの信号伝達が制御フラグから有効にされていると判定するのに応じて、所定数の基準セットのうちの特定のセットが基準ルマサンプルのグループ及び基準クロマサンプルのグループとして選択されるとシンタックスから判定することとを含む。幾つかの例では、ＭＭＬＭブロックにおける基準セットの信号伝達が有効か無効かどうかを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで１つの制御フラグが信号伝達される。制御フラグが有効にされるとして信号伝達されると、それぞれのＣＢごとに、そのＣＢ内の線形モデルパラメータの導出のために特定の基準セットが使用されることを示すために、１つのシンタックス要素が更に信号伝達される。
【0163】
幾つかの実施形態において、ルマブロックの、マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせからクロマブロックのそれぞれのサンプル値を再構成すること（１１７０）は、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで、再構成された対応するそれぞれの第１のサンプル値の重みを示す第１の信号伝達、及びイントラ予測モードのタイプを示す第２の信号伝達のうちの少なくとも一方を受信することを含む。例えば、組み合わせの重み及び／又はイントラ予測モードは、組み合わせで使用されるイントラ予測モードの重み及び／又はタイプを示すために、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで信号伝達されてよい。再構成されたそれぞれの第２のサンプル値の対応する重みは、再構成された対応するそれぞれの第１のサンプル値の重みから導出されてよい。
【0164】
幾つかの実施形態において、ルマブロックの、マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせからクロマブロックのそれぞれのサンプル値を再構成すること（１１７０）は、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで信号伝達された制御フラグが有効にされている場合に実行される。一例では、組み合わされたＭＭＬＭ及びイントラ予測のモードが有効か無効かを示すために、１つの制御フラグがＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで信号伝達される。
【0165】
幾つかの実施形態において、イントラ予測モードは、勾配解析によって事前に符号化された隣接サンプルを使用して導出される。
【0166】
幾つかの実施形態において、複数の隣接するルマサンプルは、ルマブロックを取り囲む単一の左ライン及び単一の上ラインから選択され、複数の隣接するクロマサンプルは、クロマブロックを取り囲む単一の左ライン及び単一の上ラインから選択される。例えば、図６Ａ及び図６Ｂに示されるように、ルマブロック又はクロマブロックを囲む単一の左ライン及び単一の上ラインが示される。
【0167】
幾つかの実施形態において、ルマブロックの、マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値からクロマブロックのそれぞれのサンプル値を再構成することは、ルマブロックの、再構成された対応するそれぞれの第１のサンプル値が閾値ルマ値以下であるという判定に応じて、クロマブロックのそれぞれのサンプル値を取得するために第１の線形モデルをルマブロックの、再構成された対応するそれぞれの第１のサンプル値に適用することと、ルマブロックの、再構成された対応するそれぞれの第１のサンプル値が閾値ルマ値よりも大きいという判定に応じて、クロマブロックのそれぞれのサンプル値を取得するために第２の線形モデルをルマブロックの、再構成された対応するそれぞれの第１のサンプル値に適用することとを含む。
【0168】
図１２は、ユーザインタフェース１２５０と結合されたコンピューティング環境１２１０を示す。コンピューティング環境１２１０は、データ処理サーバの一部となり得る。コンピューティング環境１２１０は、プロセッサ１２２０、メモリ１２３０、及び入力／出力（Ｉ／Ｏ）インタフェース１２４０を含む。
【0169】
プロセッサ１２２０は、一般に、ディスプレイ、データ取得、データ通信、及び画像処理に関連する動作など、コンピューティング環境１２１０の全体的な動作を制御する。プロセッサ１２２０は、前述の方法におけるステップの全て又は一部を実行するための命令を実行する１つ以上のプロセッサを含んでいてよい。更に、プロセッサ１２２０は、プロセッサ１２２０と他の構成要素との間の相互作用を容易にする１つ以上のモジュールを含んでいてよい。プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングルチップ機械、グラフィック処理ユニット（ＧＰＵ）などであってもよい。
【0170】
メモリ１２３０は、コンピューティング環境１２１０の動作をサポートするために様々なタイプのデータを記憶するように構成される。メモリ１２３０は、所定のソフトウェア１２３２を含んでいてよく、そのようなデータの例としては、コンピューティング環境１２１０、ビデオデータセット、画像データなどで動作する任意のアプリケーション又は方法のための命令が挙げられる。メモリ１２３０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、リードオンリーメモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気又は光ディスクなどの、任意のタイプの揮発性又は不揮発性メモリデバイス、又はそれらの組み合わせを使用して実装されてよい。
【0171】
Ｉ／Ｏインタフェース１２４０は、プロセッサ１２２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースを提供する。ボタンは、ホームボタン、スキャン開始ボタン、及びスキャン停止ボタンを含んでいてよいが、これらに限定されない。Ｉ／Ｏインタフェース１２４０は、エンコーダ及びデコーダと結合されてよい。
【0172】
一実施形態では、前述の方法を実行するために、コンピューティング環境１２１０内のプロセッサ１２２０によって実行可能な、例えばメモリ１２３０内の複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。或いは、非一時的コンピュータ可読記憶媒体は、例えば、ビデオデータを復号する際にデコーダ（例えば、図３のビデオデコーダ３０）によって使用するために前述した符号化方法を使用して、エンコーダ（例えば、図２のビデオエンコーダ２０）によって生成された符号化されたビデオ情報（例えば、１つ以上のシンタックス要素を含むビデオ情報）を含むビットストリーム又はデータストリームを記憶していてもよい。非一時的コンピュータ可読記憶媒体は、例えば、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶デバイスなどであってもよい。
【0173】
一実施形態では、コンピューティングデバイスも提供され、コンピューティングデバイスは、１つ以上のプロセッサ（例えば、プロセッサ１２２０）と、１つ以上のプロセッサによって実行可能な複数のプログラムを内部に記憶した非一時的コンピュータ可読記憶媒体又はメモリ１２３０とを備え、１つ以上のプロセッサは、複数のプログラムの実行時に、前述の方法を実行するように構成される。
【0174】
一実施形態では、前述の方法を実行するために、コンピューティング環境１２１０内のプロセッサ１２２０によって実行可能な、例えばメモリ１２３０内の複数のプログラムを含むコンピュータプログラムプロダクトも提供される。例えば、コンピュータプログラムプロダクトは、非一時的コンピュータ可読記憶媒体を含んでいてよい。
【0175】
一実施形態において、コンピューティング環境１２１０は、前述の方法を実行するために、１つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品で実装されてもよい。
【0176】
また、更なる実施形態は、様々な他の実施形態において組み合わされるか、そうでなければ再構成される上記の実施形態の様々なサブセットを含む。
【0177】
１つ以上の例において、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてよい。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体に記憶されるか、又は１つ以上の命令又はコードとしてコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、又は例えば通信プロトコルにしたがって、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでいてよい。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応していてよい。データ記憶媒体は、本出願に記載された実施態様を実施するための命令、コード、及び／又はデータ構造を取り出すために１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされてよい任意の利用可能な媒体であってもよく、コンピュータプログラムプロダクトは、コンピュータ可読媒体を含んでもよい。
【0178】
本開示の説明は、例示の目的で提示されており、網羅的であることも又は本開示に限定されることも意図されていない。前述の説明及び関連する図面に提示された教示の利益を有する当業者には、多くの修正、変形、及び代替実施態様が明らかとなる。
【0179】
別段具体的に述べられなければ、本開示に係る方法のステップの順序は例示的であることを意図しているにすぎず、本開示に係る方法のステップは、上記で具体的に説明した順序に限定されず、実際の条件にしたがって変更されてもよい。更に、本開示に係る方法のステップの少なくとも１つは、実際の要件にしたがって調整され、組み合わされ、又は削除されてもよい。
【0180】
実施例は、本開示の原理を説明するとともに、他の当業者が様々な実施態様に関して本開示を理解して想定される特定の用途に適した様々な修正を伴う基本的な原理及び様々な実施態様を最良に利用できるようにするために選択及び説明された。したがって、本開示の範囲は、開示された実施態様の特定の例に限定されるものではなく、修正及び他の実施態様が本開示の範囲内に含まれることが意図されていることを理解すべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2023-10-13
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ信号のクロマブロックを構成するための方法であって、前記クロマブロック、対応するルマブロック、前記ルマブロックを取り囲む複数の隣接するルマサンプル、及び前記クロマブロックを取り囲む複数の隣接するクロマサンプルを符号化したビットストリームを受信することと、
前記ルマブロックの複数の再構成されたルマサンプル、複数の再構成された隣接するルマサンプル、及び複数の再構成された隣接するクロマサンプルをそれぞれ取得するために、前記ルマブロック、前記複数の隣接するルマサンプル、及び前記複数の隣接するクロマサンプルを復号することと、
前記複数の再構成された隣接するルマサンプル及び前記複数の再構成された隣接するクロマサンプルから、基準ルマサンプルのグループ及び基準クロマサンプルのグループであって、各基準ルマサンプルがそれぞれの基準クロマサンプルに対応している、ルマサンプルのグループ及び基準クロマサンプルのグループを選択することと、
前記基準ルマサンプルのグループから閾値ルマ値を計算するとともに、前記基準クロマサンプルのグループから対応する閾値クロマ値を計算することと、
前記基準ルマサンプルのグループから、最大ルマ値及び最小ルマ値であって、前記閾値ルマ値が前記最小ルマ値と前記最大ルマ値との間にある、最大ルマ値及び最小ルマ値を判定することと、
前記最小ルマ値と前記閾値ルマ値との間の第１の線形モデルと、前記閾値ルマ値と前記最大ルマ値との間の第２の線形モデルとを含むマルチモデル線形モデルを生成することと、
前記ルマブロックから導出され、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせから前記クロマブロックのそれぞれのサンプル値を再構成することと、
を含む、方法。
【請求項2】
前記複数の隣接するルマサンプルは、前記ルマブロックを取り囲む少なくとも２つの左ライン及び少なくとも２つの上ラインから選択され、前記複数の隣接するクロマサンプルは、前記クロマブロックを取り囲む少なくとも２つの左ライン及び少なくとも２つの上ラインから選択される、請求項１に記載の方法。
【請求項3】
前記複数の隣接するルマサンプルが所定数の基準セットに分割され、前記複数の隣接するクロマサンプルが前記所定数の基準セットに分割され、前記基準ルマサンプルのグループは、前記所定数の基準セットのうちの１つから選択され、前記基準クロマサンプルのグループは、前記所定数の基準セットのうちの１つから選択される、請求項２に記載の方法。
【請求項4】
前記基準ルマサンプルのグループ及び前記基準クロマサンプルのグループは、前記クロマブロック及び前記ルマブロックを含む現在のブロックのコード化された情報に基づいて選択される、請求項３に記載の方法。
【請求項5】
前記複数の再構成された隣接するルマサンプル及び前記複数の再構成された隣接するクロマサンプルから、前記基準ルマサンプルのグループ及び前記基準クロマサンプルのグループを選択することは、ＴＢ（変換ブロック）、ＣＢ（コーディングブロック）、スライス、ピクチャ、及びシーケンスレベルから成るグループから選択される１つにおける制御フラグから前記所定数の基準セットの信号伝達かどうかを判定することと、
前記制御フラグから、前記所定数の基準セットの前記信号伝達が有効にされていると判定するのに応じて、前記所定数の基準セットのうちの特定のセットが前記基準ルマサンプルのグループ及び前記基準クロマサンプルのグループとして選択されるとシンタックスから判定することと、
を含む、請求項３に記載の方法。
【請求項6】
前記ルマブロックの、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの前記第１のサンプル値と、隣接するクロマブロックの、前記イントラ予測モードから再構成されたそれぞれの前記第２のサンプル値との前記重み付けられた組み合わせから前記クロマブロックのそれぞれの前記サンプル値を再構成することは、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで、対応する再構成されたそれぞれの前記第１のサンプル値の重みを示す第１の信号伝達、及び前記イントラ予測モードのタイプを示す第２の信号伝達のうちの少なくとも一方を受信すること、
を含む、請求項１に記載の方法。
【請求項7】
前記ルマブロックから導出され、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの前記第１のサンプル値と、隣接するクロマブロックの、前記イントラ予測モードから再構成されたそれぞれの前記第２のサンプル値との前記重み付けられた組み合わせから前記クロマブロックのそれぞれの前記サンプル値を再構成することは、ＴＢ／ＣＢ／スライス／ピクチャ／シーケンスレベルで信号伝達された制御フラグが有効にされている場合に実行される、請求項１に記載の方法。
【請求項8】
前記イントラ予測モードは、勾配解析によって、事前に符号化された隣接するサンプルを使用して導出される、請求項７に記載の方法。
【請求項9】
前記複数の隣接するルマサンプルは、前記ルマブロックを取り囲む単一の左ライン及び単一の上ラインから選択され、前記複数の隣接するクロマサンプルは、前記クロマブロックを取り囲む単一の左ライン及び単一の上ラインから選択される、請求項１に記載の方法。
【請求項10】
前記ルマブロックから導出され、前記マルチモデル線形モデルを使用して再構成された対応するそれぞれの第１のサンプル値と、隣接するクロマブロックの、イントラ予測モードから再構成されたそれぞれの第２のサンプル値との重み付けられた組み合わせから前記クロマブロックのそれぞれのサンプル値を再構成することは、前記ルマブロックの、それぞれのルマ値が、前記閾値ルマ値以下であるという判定に応じて、再構築された対応するそれぞれの前記第１のサンプル値を取得するために前記第１の線形モデルを前記ルマブロックの、それぞれの前記ルマ値に適用することと、
前記ルマブロックの、それぞれのルマ値が、前記閾値ルマより大きいという判定に応じて、再構築された対応するそれぞれの前記第１のサンプル値を取得するために前記第２の線形モデルを前記ルマブロックの、それぞれの前記ルマ値に適用することと、
を含む、請求項１に記載の方法。
【請求項11】
１つ以上の処理ユニットと、前記１つ以上の処理ユニットに結合されるメモリと、
前記メモリに記憶された複数のプログラムであって、前記１つ以上の処理ユニットによって実行されると、前記電子装置に請求項１から１０のいずれか一項に記載の方法を実行させる、複数のプログラムと、
を備える電子装置。
【請求項12】
請求項１から１０のいずれか一項に記載の前記ビデオ信号の前記クロマブロックを構成するための方法によって生成されるビデオ情報を含むビットストリームが記憶されたコンピュータ可読記憶媒体。
【請求項13】
１つ以上の処理ユニットを有する電子装置によって実行される複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つ以上の処理ユニットによって実行されると、前記電子装置に請求項１から１０のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【請求項14】
プロセッサーによって実行されると、請求項１から１０のいずれか一項に記載の方法の工程を実行する命令を有する、コンピュータプログラム。
【請求項15】
請求項１から１０のいずれか一項に記載の方法によって復号されるビットストリーム。
【請求項16】
画像復号デバイスによって復号されるビットストリームを受信する方法であって、
前記画像復号デバイスは、
１つ以上のプロセッサーと、
前記１つ以上のプロセッサーによって実行可能な命令を記憶するメモリと、
を有し、
前記１つ以上のプロセッサーは、前記命令を実行すると、請求項１から１０のいずれか一項に記載の方法を実行する、方法。
【国際調査報告】