特表 2024-531428 デコーダ側イントラモード導出のための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】デコーダ側イントラモード導出のための方法およびデバイス

(51)【国際特許分類】

   H04N 19/11 20140101AFI20240822BHJP

   H04N 19/147 20140101ALI20240822BHJP

   H04N 19/176 20140101ALI20240822BHJP

   H04N 19/46 20140101ALI20240822BHJP

   H04N 19/593 20140101ALI20240822BHJP

【ＦＩ】

H04N19/11

H04N19/147

H04N19/176

H04N19/46

H04N19/593

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024510531

(86)(22)【出願日】2022-08-26

(85)【翻訳文提出日】2024-02-20

(86)【国際出願番号】 US2022041762

(87)【国際公開番号】W WO2023034152

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】63/238,774

(32)【優先日】2021-08-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521248394

【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100217940

【弁理士】

【氏名又は名称】三並 大悟

(72)【発明者】

【氏名】チュー、ホン－チェン

(72)【発明者】

【氏名】シウ、シャオユー

(72)【発明者】

【氏名】チェン、イー－ウェン

(72)【発明者】

【氏名】チェン、ウェイ

(72)【発明者】

【氏名】クオ、チョー－ウェイ

(72)【発明者】

【氏名】ヤン、ニン

(72)【発明者】

【氏名】ワン、シャンリン

(72)【発明者】

【氏名】ユイ、ビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA19

5C159PP16

5C159RC11

5C159TA31

5C159TB08

5C159TC10

5C159TD16

5C159UA02

5C159UA05

(57)【要約】

ビデオ復号のための方法、装置、および非一過性コンピュータ可読記憶媒体が提供される。１つの方法では、デコーダは、デコーダ側イントラモード導出（ＤＩＭＤ）モードおよびテンプレートベースのイントラモード導出（ＴＩＭＤ）モードにおいて適用される融合方式を決定し、融合方式は、ＤＩＭＤモードおよびＴＩＭＤモードでの予測子の加重平均として適用される。

【特許請求の範囲】

【請求項1】

ビデオ復号のための方法であって、
デコーダによって、デコーダ側イントラモード導出（ＤＩＭＤ）モードおよびテンプレートベースのイントラモード導出（ＴＩＭＤ）モードにおいて適用される融合方式を決定することを含み、前記融合方式が前記ＤＩＭＤモードおよび前記ＴＩＭＤモードでの予測子の加重平均として適用される、方法。

【請求項2】

前記ＤＩＭＤモードで採用された前記融合方式モードを前記ＴＩＭＤモードに適用することをさらに含む、請求項１に記載のビデオ復号のための方法。

【請求項3】

平面モード、および前記ＴＩＭＤモードにおいて最も小さい絶対変換差分和（ＳＡＴＤ）コストを有する２つのモードを、融合の前記予測子として選択することと、
前記平面モードおよび前記最も小さいＳＡＴＤコストを有する前記２つのモードの前記加重平均を決定することであって、前記平面モードの重みが、前記融合において固定され、残りの重みが、前記２つのモードのそれぞれの前記ＳＡＴＤコストに基づいて前記２つのモード間で共有されること、をさらに含む、請求項２に記載のビデオ復号のための方法。

【請求項4】

前記ＴＩＭＤモードで採用された前記融合方式モードを前記ＤＩＭＤモードに適用することをさらに含む、請求項１に記載のビデオ復号のための方法。

【請求項5】

前記ＤＩＭＤモードで最も高い配向勾配ヒストグラム（ＨｏＧ：ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔ）バーを有する２つのモードを融合の前記予測子として選択することと、
前記２つのモードの前記ＨｏＧバーの振幅に基づいて、前記融合における前記２つのモードの前記加重平均を決定すること、をさらに含む、請求項４に記載のビデオ復号のための方法。

【請求項6】

前記最も高いＨｏＧバーの最大値が０に等しいとの決定に応答して、現在ブロックのイントラ予測モードとしてデフォルトモードを選択することをさらに含む、請求項５に記載のビデオ復号のための方法。

【請求項7】

前記ＴＩＭＤモードまたは前記ＤＩＭＤモードにおける前記融合方式の選択結果を受信することをさらに含む、請求項１に記載のビデオ復号のための方法。

【請求項8】

前記デコーダによって、前記ＤＩＭＤモードがブロックに適用されるかどうかを示す信号伝達フラグ（ｓｉｇｎａｌｅｄ ｆｌａｇ）を受信するステップと、
前記デコーダによって、前記ＤＩＭＤモードが前記ブロックに適用されるとの決定に応答して、前記ブロックに適用される前記融合方式を示す別の信号伝達フラグを受信するステップと
をさらに含む、請求項７に記載のビデオ復号のための方法。

【請求項9】

デコーダ側イントラモード導出（ＤＩＭＤ）を用いたビデオ復号のための方法であって、
デコーダによって、前記ＤＩＭＤモードにおいて融合方式が適用されるかどうかを決定することであって、前記融合方式が前記ＤＩＭＤモードでの予測子の加重平均として適用されることと、
前記デコーダによって、前記ＤＩＭＤモードにおいて前記融合方式が適用されるかどうかに基づいて、前記ＤＩＭＤモードから導出されたイントラモードをイントラ最確モード（ＭＰＭ）のリストに追加すべきかどうかを決定すること、
を含む、方法。

【請求項10】

前記ＤＩＭＤモードから導出されたイントラモードをＭＰＭの前記リストに追加すべきかどうかを決定することが、
前記ＤＩＭＤモードにおいて前記融合方式が適用されるとの決定に応答して、前記ＤＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの候補として追加することと、
前記ＤＩＭＤモードにおいて前記融合方式が適用されないとの決定に応答して、前記ＤＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの前記候補として追加しないこと、を含む、請求項９に記載のビデオ復号のための方法。

【請求項11】

テンプレートベースのイントラモード導出（ＴＩＭＤ）を用いたビデオ復号のための方法であって、
デコーダによって、前記ＴＩＭＤモードから導出されたイントラモードをイントラ最確モード（ＭＰＭ）のリストに追加すべきかどうかを決定すること、
を含む、方法。

【請求項12】

デコーダ側イントラモード導出（ＤＩＭＤ）モードから導出されたイントラモードが前記ＭＰＭの前記リストの候補として追加されないとの決定に応答して、前記ＴＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの前記候補として追加することをさらに含む、請求項１１に記載のビデオ復号のための方法。

【請求項13】

前記デコーダによって、前記ＴＩＭＤモードにおいて融合方式が適用されるかどうかに基づいて、前記ＴＩＭＤモードから導出されたイントラモードをＭＰＭのリストに追加すべきかどうかを決定することをさらに含む、請求項１１に記載のビデオ復号のための方法。

【請求項14】

前記ＴＩＭＤモードにおいて前記融合方式が適用されるとの決定に応答して、前記ＴＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの候補として追加することと、
前記ＴＩＭＤモードにおいて前記融合方式が適用されないとの決定に応答して、前記ＴＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの前記候補として追加しないステップと、をさらに含む、請求項１３に記載のビデオ復号のための方法。

【請求項15】

ビデオ復号のための装置であって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を含み、
前記１つまたは複数のプロセッサが、前記命令の実行時に、請求項１から１４のいずれかに記載の前記方法を実行するように構成される、装置。

【請求項16】

１つまたは複数のコンピュータプロセッサによって実行されたときに前記１つまたは複数のコンピュータプロセッサに請求項１から１４のいずれかに記載の前記方法を実行させるコンピュータ実行可能命令を記憶する、ビデオ復号のための非一過性コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年８月３０日に出願された仮出願第６３／２３８，７７４号に基づき、当該仮出願に対する優先権を主張するものであり、当該仮出願の内容全体は、あらゆる目的で参照により本明細書に組み込まれる。
本開示は、ビデオの符号化および圧縮に関する。より詳細には、本開示は、デコーダ側イントラモード導出（ＤＩＭＤ：ｄｅｃｏｄｅｒ－ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）に関する。

【背景技術】

【0002】

デジタルビデオは、デジタルテレビ、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、スマートフォン、ビデオ電話会議デバイス、ビデオストリーミングデバイスなど、様々な電子デバイスによってサポートされている。電子デバイスは、通信ネットワークを介してデジタルビデオデータを送信および受信するか、もしくは他の方法で通信し、かつ／またはデジタルビデオデータを記憶デバイスに記憶する。通信ネットワークの帯域幅容量に制限があるため、また記憶デバイスのメモリ・リソースに制限があるため、ビデオデータが通信または記憶される前に１つまたは複数のビデオ符号化標準に従ってビデオデータを圧縮するためにビデオ符号化が使用される場合がある。例えば、ビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、共同探索テスト・モデル（ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ Ｍｏｄｅｌ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６５）、高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６４）、動画像専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化などを含む。ビデオ符号化は、一般に、ビデオデータに固有の冗長性を活用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することを目的としている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の例は、イントラ予測を使用したビデオ符号化のための方法および装置を提供する。

【課題を解決するための手段】

【0004】

本開示の第１の態様によれば、ビデオ復号のための方法が提供される。方法は、デコーダによって、デコーダ側イントラモード導出（ＤＩＭＤ）モードおよびテンプレートベースのイントラモード導出（ＴＩＭＤ）モードにおいて適用される融合方式を決定することを含んでもよく、融合方式は、ＤＩＭＤモードおよびＴＩＭＤモードでの予測子の加重平均として適用される。

【0005】

本開示の第２の態様によれば、デコーダ側イントラモード導出（ＤＩＭＤ）を用いたビデオ復号のための方法が提供される。方法は、デコーダによって、ＤＩＭＤモードにおいて融合方式が適用されるかどうかを決定することであって、融合方式がＤＩＭＤモードでの予測子の加重平均として適用されることと、デコーダによって、ＤＩＭＤモードからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出すべきかどうかを決定することと、を含んでもよい。

【0006】

本開示の第３の態様によれば、テンプレートベースのイントラモード導出（ＴＩＭＤ）を用いたビデオ復号のための方法が提供される。方法は、デコーダによって、ＴＩＭＤモードからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出すべきかどうかを決定することを含んでもよい。

【0007】

上記の概略的な説明および以下の詳細な説明は、単に例示的かつ説明的なものであり、本開示を限定することを意図したものではないことを理解されたい。

【0008】

本明細書に組み込まれ本明細書の一部を構成する添付図面は、本開示と一致する例を示し、説明とともに本開示の原理を説明する役割を果たす。

【図面の簡単な説明】

【0009】

【図1】本開示のいくつかの実装形態に係るビデオブロックを符号化および復号するための例示的なシステムを示すブロック図である。

【図2】本開示のいくつかの実装形態に係る例示的なビデオエンコーダを示すブロック図である。

【図3】本開示のいくつかの実装形態に係る例示的なビデオデコーダを示すブロック図である。

【図4A】本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4B】本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4C】本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4D】本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4E】本開示のいくつかの実装形態に係るフレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図5A】本開示のいくつかの実装形態に係る予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図5B】本開示のいくつかの実装形態に係る予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図5C】本開示のいくつかの実装形態に係る予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図5D】本開示のいくつかの実装形態に係る予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図6】本開示のいくつかの実装形態に係る許容されるＧＰＭ区分の例を示す図である。

【図7】本開示のいくつかの実装形態に係る勾配分析が実行される選ばれた画素の例を示す図である。

【図8】本開示のいくつかの実装形態に係る畳み込み処理を示す図である。

【図9】本開示のいくつかの実装形態に係る２つのＨｏＧモードおよび１つの平面モードの加重平均による予測融合を示す図である。

【図10】本開示のいくつかの実装形態に係るＴＩＭＤにおいて使用されるテンプレートおよびその参照サンプルを示す図である。

【図11A】本開示のいくつかの実装形態に係るＴＩＭＤを用いたビデオ復号処理を示すブロック図である。

【図11B】本開示のいくつかの実装形態に係るＴＩＭＤを用いたビデオ復号処理を示すブロック図である。

【図11C】本開示のいくつかの実装形態に係るＴＩＭＤを用いたビデオ復号処理を示すブロック図である。

【図12A】本開示のいくつかの実装形態に係るＤＩＭＤを用いたビデオ復号処理を示すブロック図である。

【図12B】本開示のいくつかの実装形態に係るＤＩＭＤを用いたビデオ復号処理を示すブロック図である。

【図12C】本開示のいくつかの実装形態に係るＤＩＭＤを用いたビデオ復号処理を示すブロック図である。

【図13】本開示のいくつかの実装形態に係るユーザインターフェースと結合されたコンピューティング環境を示すブロック図である。

【図14】本開示のいくつかの実装形態に係るビデオ復号処理を示すブロック図である。

【図15】本開示のいくつかの実装形態に係るＤＩＭＤを用いたビデオ復号処理を示すブロック図である。

【発明を実施するための形態】

【0010】

次に、例示的な実施形態を詳細に参照するが、その実施形態の例は添付の図面に示されている。以下の説明は添付の図面を参照しており、別段の記載がない限り、異なる図面における同じ番号は同じまたは類似の要素を表す。例示的な実施形態の以下の説明に記載される実装形態は、本開示に則したすべての実装形態を表すものではない。むしろ、その実装形態は、添付の特許請求の範囲に記載される本開示に関連する態様に則した装置および方法の単なる例である。

【0011】

本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定するよう意図されたものではない。単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、本開示および添付の特許請求の範囲で使用されるとき、文脈上明らかに別段の指示がない限り複数形も含むよう意図されている。本明細書で使用される「および／または」という用語は、関連する列挙された項目の１つまたは複数の任意またはすべての可能な組合せを意味するように、またそれらを含むように意図されていることも理解されたい。

【0012】

本明細書において「第１の」、「第２の」、「第３の」などの用語は様々な情報を説明するために使用され得るが、これらの用語によってその情報が限定されるべきではないことを理解されたい。これらの用語は、情報の１つのカテゴリを別のカテゴリと区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報は第２の情報と称されることがあり、同様に、第２の情報は第１の情報と称されることがある。「場合」という用語は、本明細書で使用されるとき、文脈に応じて「ときに」、「に際して」、または「判断に応じて」を意味すると理解され得る。

【0013】

ビデオデータを圧縮するために、様々なビデオ符号化技法が使用されることがある。ビデオ符号化は、１つまたは複数のビデオ符号化標準に従って実行される。例えば、今日では、よく知られたビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２とも呼ばれる）、および高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６４またはＭＰＥＧ－４ Ｐａｒｔ１０とも呼ばれる）を含み、これらは、ＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ－Ｔ ＶＥＣＧによって共同開発されている。ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、その以前の標準ＶＰ９の後継としてＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭ）によって開発された。デジタル・オーディオおよびデジタルビデオ圧縮標準を指すオーディオビデオ符号化（ＡＶＳ）は、中国のオーディオおよびビデオ符号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化標準のほとんどは、有名なハイブリッドビデオ符号化フレームワークに基づいて、すなわち、ビデオ画像またはシーケンスに存在する冗長性を削減するためのブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用して、また予測誤差のエネルギーをコンパクト化するための変換符号化を使用して、構築されている。ビデオ符号化技法の重要な目標は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することである。

【0014】

第１世代ＡＶＳ標準は、中国の国家標準「情報技術、高度オーディオビデオ符号化、Ｐａｒｔ２：ビデオ」（ＡＶＳ１として知られている）および「情報技術、高度オーディオビデオ符号化、Ｐａｒｔ１６：ラジオ・テレビ・ビデオ」（ＡＶＳ＋として知られている）を含む。これは、ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％のビットレートの節約を実現することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代ＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を目的とした一連の中国の国家標準「情報技術、効率的なマルチメディア符号化」（ＡＶＳ２として知られる）を含む。ＡＶＳ２の符号化効率はＡＶＳ＋の２倍である。２０１６年５月、ＡＶＳ２が中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提起された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション向けの新世代ビデオ符号化標準の１つである。２０１９年３月、第６８回ＡＶＳ会議において、ＨＥＶＣ標準と比較して約３０％のビットレートの節約を実現するＡＶＳ３－Ｐ２ベースラインが完成した。現在、高性能モデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、ＡＶＳ３標準の参照実装を実証するためにＡＶＳグループによって維持されている。

【0015】

図１は、本開示のいくつかの実装形態に係る、ビデオブロックを並行して符号化および復号するための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるビデオデータを生成および符号化するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップ・ボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、多種多様な電子デバイスのいずれかを含んでもよい。いくつかの実装形態では、ソースデバイス１２および宛先デバイス１４にはワイヤレス通信機能が装備されている。

【0016】

いくつかの実装形態では、宛先デバイス１４は、復号対象となる符号化済みビデオデータを、リンク１６を介して受信してもよい。リンク１６は、符号化済みビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な任意のタイプの通信媒体またはデバイスを備えてもよい。一例において、リンク１６は、ソースデバイス１２が符号化済みビデオデータを宛先デバイス１４にリアルタイムで直接送信できるようにする通信媒体を備えてもよい。符号化済みビデオデータは、ワイヤレス通信プロトコルなどの通信標準に従って変調され、宛先デバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）スペクトルまたは１つもしくは複数の物理伝送線など、任意のワイヤレスまたはワイヤード通信媒体を含んでもよい。通信媒体は、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはインターネットなどのグローバル・ネットワークなど、パケットベースのネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0017】

いくつかの他の実装形態では、符号化済みビデオデータは、出力インターフェース２２から記憶デバイス３２に送信されてもよい。その後、記憶デバイス３２内の符号化済みビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてもよい。記憶デバイス３２は、ハードドライブ、ブルーレイディスク、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化済みビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、分散されたまたはローカルにアクセスされる様々なデータ記憶媒体のいずれかを含んでもよい。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成された符号化済みビデオデータを保持することができるファイルサーバまたは別の中間記憶デバイスに対応してもよい。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイス３２から、記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化済みビデオデータを記憶し、符号化済みビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用）、ファイル転送プロトコル（ＦＴＰ：Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ、ネットワーク接続ストレージ（ＮＡＳ：Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、ワイヤレスチャネル（例えば、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）接続）、ワイヤード接続（例えば、デジタル加入者線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ケーブル・モデムなど）、またはファイルサーバに記憶されている符号化済みビデオデータにアクセスするのに好適な両方の組合せを含む任意の標準データ接続を通じて、符号化済みビデオデータにアクセスしてもよい。記憶デバイス３２からの符号化済みビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであってもよい。

【0018】

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８は、ビデオ捕捉デバイス、例えば、ビデオカメラ、以前に捕捉されたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはそのようなソースの組合せなどのソースを含んでもよい。一例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ電話またはビデオ電話を形成してもよい。しかしながら、本出願で説明される実装形態は、一般にビデオ符号化に適用可能であってもよく、ワイヤレスおよび／またはワイヤード・アプリケーションに適用可能であってもよい。

【0019】

捕捉されたビデオ、事前に捕捉されたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化済みビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信されてもよい。符号化済みビデオデータはまた（または代替として）、復号および／または再生のために宛先デバイス１４または他のデバイスによって後でアクセスするために、記憶デバイス３２に記憶されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

【0020】

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介して、符号化済みビデオデータを受信してもよい。リンク１６を介して通信されるまたは記憶デバイス３２上に提供される符号化済みビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用するための、ビデオエンコーダ２０によって生成される様々な構文要素を含んでもよい。このような構文要素は、通信媒体上で送信される、記憶媒体上に記憶される、またはファイルサーバ上に記憶される、符号化済みビデオデータ内に含まれてもよい。

【0021】

いくつかの実装形態では、宛先デバイス１４は、ディスプレイデバイス３４を含んでもよく、ディスプレイデバイス３４は、一体化されたディスプレイデバイス、および宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであってもよい。ディスプレイデバイス３４は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを備えてもよい。

【0022】

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０、ＡＶＣ、またはそのような標準の拡張などの独自の標準または業界標準に従って動作してもよい。本出願は特定のビデオ符号化／復号標準に限定されず、他のビデオ符号化／復号標準にも適用可能であることを理解されたい。ソースデバイス１２のビデオエンコーダ２０が、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成され得ることが一般に企図されている。同様に、宛先デバイス１４のビデオデコーダ３０が、これらの現在または将来の標準のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。

【0023】

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な好適な符号化器および／またはデコーダ回路のいずれかとして実装されてもよい。電子デバイスは、ソフトウェアにおいて部分的に実装される場合、ソフトウェア用の命令を好適な非一過性コンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行して、本開示で開示されたビデオ符号化／復号動作を実施してもよい。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１つもしくは複数の符号化器またはデコーダに含まれてもよく、そのいずれも、それぞれのデバイス内の組み合わされた符号化器／デコーダ（ＣＯＤＥＣ：ｃｏｍｂｉｎｅｄ ｅｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）の一部として統合されてもよい。

【0024】

図２は、本出願で説明されるいくつかの実装形態に係る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測符号化およびインター予測符号化を実施してもよい。イントラ予測符号化は、空間予測に依存して、所与のビデオフレームまたはピクチャ内のビデオデータにおける空間的冗長性を削減または除去する。インター予測符号化は、時間予測に依存して、ビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を削減または除去する。「フレーム」という用語は、ビデオ符号化の分野では「画像」または「ピクチャ」という用語と同義語として使用される場合があることに留意されたい。

【0025】

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号化ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。予測処理ユニット４１はさらに、動き推定ユニット４２、動き補償ユニット４４、区分ユニット４５、イントラ予測処理ユニット４６、イントラブロックコピー（ＢＣ）ユニット４８を含む。いくつかの実装形態では、ビデオエンコーダ２０は、ビデオブロック再構築のための逆量子化ユニット５８、逆変換処理ユニット６０、および加算器６２も含む。ブロック境界をフィルタリングして、再構築されたビデオからブロック状アーチファクトを除去するために、加算器６２とＤＰＢ６４との間にデブロッキングフィルタなどのループ内フィルタ６３が配置されてもよい。加算器６２の出力をフィルタリングするために、デブロッキングフィルタに加えて、サンプル適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタおよび／または適応ループ内フィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）などの別のループ内フィルタも使用されてもよい。いくつかの例では、ループ内フィルタは省略されてもよく、復号されたビデオブロックは、加算器６２によってＤＰＢ６４に直接提供されてもよい。ビデオエンコーダ２０は、固定のもしくはプログラム可能なハードウェアユニットの形式をとってもよく、または、図示された固定のもしくはプログラム可能なハードウェアユニットの１つまたは複数に分割されてもよい。

【0026】

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを記憶してもよい。ビデオデータメモリ４０内のビデオデータは、例えば、図１に示されたビデオソース１８から取得されてもよい。ＤＰＢ６４は、ビデオエンコーダ２０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを符号化する際に使用する参照ビデオデータ（例えば、参照フレームまたは参照ピクチャ）を記憶するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、様々なメモリデバイスのいずれかによって形成されてもよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

【0027】

図２に示されるように、予測処理ユニット４１内の区分ユニット４５は、ビデオデータを受信した後、ビデオデータをビデオブロックに区分する。この区分は、ビデオデータに関連付けられた４分木（ＱＴ：Ｑｕａｄ－Ｔｒｅｅ）構造などの事前定義された分裂構造に従ってビデオフレームをスライス、タイル（例えば、ビデオブロックのセット）、または他のより大きな符号化ユニット（ＣＵ）に区分することも含んでもよい。ビデオフレームは、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。配列内のサンプルは、画素またはペルと呼ばれることもある。配列またはピクチャの水平方向および垂直方向（または軸）のサンプルの数が、ビデオフレームのサイズおよび／または解像度を定義する。ビデオフレームは、例えばＱＴ区分を使用することによって複数のビデオブロックに分割されてもよい。ビデオブロックもやはり、ビデオフレームよりも小さい寸法ではあるが、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。ビデオブロックの水平方向および垂直方向（または軸）のサンプルの数が、ビデオブロックのサイズを定義する。ビデオブロックは、例えば、ＱＴ区分、２分木（ＢＴ：Ｂｉｎａｒｙ－Ｔｒｅｅ）区分、もしくは３分木（ＴＴ：Ｔｒｉｐｌｅ－Ｔｒｅｅ）区分、またはそれらの任意の組合せを反復的に使用することによって、（再びブロックを形成し得る）１つもしくは複数のブロック区分またはサブブロックにさらに区分されてもよい。本明細書で使用される「ブロック」または「ビデオブロック」という用語がフレームまたはピクチャの一部分、特に矩形（正方形または非正方形）部分であり得ることに留意されたい。例えば、ＨＥＶＣおよびＶＶＣを参照すると、ブロックまたはビデオブロックは、符号化木ユニット（ＣＴＵ）、ＣＵ、予測ユニット（ＰＵ）、もしくは変換ユニット（ＴＵ）であるかもしくはそれらに対応してもよく、かつ／または、対応するブロック、例えば、符号化木ブロック（ＣＴＢ）、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）、もしくは変換ブロック（ＴＢ）、および／もしくはサブブロックであるかもしくはそれらに対応してもよい。

【0028】

予測処理ユニット４１は、誤差結果（例えば、符号化レートおよび歪みのレベル）に基づいて現在のビデオブロックに対して、複数のイントラ予測符号化モードのうちの１つ、または複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してもよい。予測処理ユニット４１は、結果として得られるイントラ予測符号化ブロックまたはインター予測符号化ブロックを、加算器５０に提供して残差ブロックを生成し、加算器６２に提供して、後で参照フレームの一部として使用するために符号化ブロックを再構築してもよい。予測処理ユニット４１はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのような構文情報などの構文要素をエントロピー符号化ユニット５６に提供する。

【0029】

現在のビデオブロックにとって適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化対象となる現在ブロックと同じフレーム内の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測符号化を実行して、空間予測を提供してもよい。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測符号化を実行して、時間予測を提供してもよい。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切な符号化モードを選択するために、複数の符号化パスを実行してもよい。

【0030】

いくつかの実装形態では、動き推定ユニット４２は、ビデオフレームのシーケンス内の所定のパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの変位を示す動きベクトルを生成することによって、現在のビデオフレームのインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在フレーム内で符号化されている現在ブロックに対する参照フレーム内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックの変位を示してもよい。所定のパターンは、シーケンス内のビデオフレームをＰフレームまたはＢフレームとして指定してもよい。イントラＢＣユニット４８は、インター予測のための動き推定ユニット４２による動きベクトルの決定と同様の方法で、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよく、または、動き推定ユニット４２を利用してブロックベクトルを決定してもよい。

【0031】

ビデオブロックの予測ブロックは、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるビデオブロックと厳密に一致するとみなされる参照フレームのブロックもしくは参照ブロックであるか、またはそれらに対応してもよい。いくつかの実装形態では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数画素位置の値を算出してもよい。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間してもよい。したがって、動き推定ユニット４２は、全体の画素位置および分数画素位置に対する動き探索を実行し、分数画素精度を有する動きベクトルを出力してもよい。

【0032】

動き推定ユニット４２は、ビデオブロックの位置を第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と比較することによって、インター予測符号化フレーム内のビデオブロックの動きベクトルを算出し、参照フレームリストはそれぞれ、ＤＰＢ６４に記憶されている１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、算出された動きベクトルを動き補償ユニット４４に送り、次いで、エントロピー符号化ユニット５６に送る。

【0033】

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含んでもよい。動き補償ユニット４４は、現在のビデオブロックの動きベクトルを受信すると、参照フレームリストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を特定し、その予測ブロックをＤＰＢ６４から取得し、その予測ブロックを加算器５０に転送してもよい。次いで、加算器５０は、符号化されている現在のビデオブロックの画素値から、動き補償ユニット４４によって提供される予測ブロックの画素値を減算することによって、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、ルマ差分成分もしくはクロマ差分成分、またはその両方を含んでもよい。動き補償ユニット４４はまた、ビデオフレームのビデオブロックを復号する際にビデオデコーダ３０によって使用される、ビデオフレームのビデオブロックに関連付けられた構文要素を生成してもよい。構文要素は、例えば、予測ブロックを識別するために使用される動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に記載の任意の他の構文情報を含んでもよい。動き推定ユニット４２および動き補償ユニット４４は高度に統合されてもよいが、概念的な目的のために別々に図示されていることに留意されたい。

【0034】

いくつかの実装形態では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記で説明された方法と同様の方法で、ベクトルを生成して予測ブロックをフェッチしてもよいが、予測ブロックは、符号化されている現在ブロックと同じフレーム内にあり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれる。具体的には、イントラＢＣユニット４８は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。いくつかの例では、イントラＢＣユニット４８は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し、レート歪み分析を通じてそれらの性能をテストしてもよい。次に、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードの中から、使用する適切なイントラ予測モードを選択し、それに応じてイントラモードインジケータを生成してもよい。例えば、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードに対するレート歪み分析を使用してレート歪み値を算出し、テストされたモードの中から、最良のレート歪み特性を有するイントラ予測モードを、使用する適切なイントラ予測モードとして選択してもよい。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを作成するために符号化された元の符号化されていないブロックとの間の歪み（または誤差）の量、および、符号化ブロックを作成するために使用されたビットレート（すなわち、ビット数）を決定する。イントラＢＣユニット４８は、様々な符号化ブロックの歪みおよびレートから比率を算出して、どのイントラ予測モードがそのブロックに対して最良のレート歪み値を示すかを決定してもよい。

【0035】

他の例では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４を全体的または部分的に使用して、本明細書に記載の実装形態に係るイントラＢＣ予測のためのそのような機能を実行してもよい。いずれの事例においても、イントラブロックコピーの場合、予測ブロックは、ＳＡＤ、ＳＳＤ、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるブロックと厳密に一致するとみなされるブロックであってもよく、予測ブロックの識別は、サブ整数画素位置の値の算出を含んでもよい。

【0036】

予測ブロックがイントラ予測による同じフレームからのブロックであるか、インター予測による異なるフレームからのブロックであるかに関わらず、ビデオエンコーダ２０は、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算することによって残差ビデオブロックを形成し、画素差分値を形成してもよい。残差ビデオブロックを形成する画素差分値は、ルマ成分差分とクロマ成分差分との両方を含んでもよい。

【0037】

イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測、またはイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してもよい。具体的には、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。そのようにするために、イントラ予測処理ユニット４６は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化してもよく、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット）は、テストされたイントラ予測モードから、使用する適切なイントラ予測モードを選択してもよい。イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してもよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化してもよい。

【0038】

予測処理ユニット４１がインター予測またはイントラ予測によって現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれてもよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。

【0039】

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ってもよい。量子化ユニット５４は、変換係数を量子化してビットレートをさらに低減する。量子化処理はまた、係数の一部またはすべてに関連付けられたビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実行してもよい。代替として、エントロピー符号化ユニット５６が走査を実行してもよい。

【0040】

量子化に続いて、エントロピー符号化ユニット５６は、例えば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、構文ベースのコンテキスト適応型２値算術符号化（ＳＢＡＣ：Ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、確率間隔区分エントロピー（ＰＩＰＥ：Ｐｒｏｂａｂｉｌｉｔｙ Ｉｎｔｅｒｖａｌ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｅｎｔｒｏｐｙ）符号化、または別のエントロピー符号化方法論または技法を使用して、量子化された変換係数をビデオビットストリームにエントロピー符号化する。次いで、符号化されたビットストリームは、図１に示されるようにビデオデコーダ３０に送信されるか、または、後のビデオデコーダ３０への送信もしくはビデオデコーダ３０による取得のために、図１に示されるように記憶デバイス３２にアーカイブされてもよい。エントロピー符号化ユニット５６はまた、符号化されている現在のビデオフレームの動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

【0041】

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他のビデオブロックの予測のための参照ブロックを生成するために画素領域において残差ビデオブロックを再構築する。上述されたように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の参照ブロックから、動き補償された予測ブロックを生成してもよい。動き補償ユニット４４はまた、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するためのサブ整数画素値を算出してもよい。

【0042】

加算器６２は、再構築された残差ブロックを、動き補償ユニット４４によって作成された動き補償された予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを作成する。次いで、参照ブロックは、イントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって、後続のビデオフレーム内の別のビデオブロックをインター予測するための予測ブロックとして使用されてもよい。

【0043】

図３は、本出願のいくつかの実装形態に係る、例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９２を含む。予測処理ユニット８１はさらに、動き補償ユニット８２、イントラ予測ユニット８４、およびイントラＢＣユニット８５を含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上記で説明された符号化処理とほぼ逆の復号処理を実行してもよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してもよく、一方、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モードインジケータに基づいて予測データを生成してもよい。

【0044】

いくつかの例では、ビデオデコーダ３０のユニットは、本出願の実装形態を実行するようにタスクを課されてもよい。また、いくつかの例では、本開示の実装形態は、ビデオデコーダ３０のユニットのうちの１つまたは複数に分割されてもよい。例えば、イントラＢＣユニット８５は、単独で、または動き補償ユニット８２、イントラ予測ユニット８４、およびエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットと組み合わせて、本出願の実装形態を実行してもよい。いくつかの例では、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって実行されてもよい。

【0045】

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号される、符号化されたビデオビットストリームなどのビデオデータを記憶してもよい。ビデオデータメモリ７９に記憶されるビデオデータは、例えば、記憶デバイス３２から、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレス・ネットワーク通信を介して、または物理的なデータ記憶媒体（例えば、フラッシュ・ドライブもしくはハード・ディスク）にアクセスすることによって取得されてもよい。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化済みビデオデータを記憶する符号化ピクチャバッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０のＤＰＢ９２は、ビデオデコーダ３０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを復号する際に使用する参照ビデオデータを記憶する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスを含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成されてもよい。例示のために、図３では、ビデオデータメモリ７９およびＤＰＢ９２は、ビデオデコーダ３０の２つの別個の構成要素として描写されている。しかしながら、当業者には、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイスまたは別個のメモリデバイスによって提供され得ることが明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

【0046】

復号処理中、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレーム・レベルおよび／またはビデオブロックレベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。次いで、エントロピー復号ユニット８０は、動きベクトルまたはイントラ予測モードインジケータおよび他の構文要素を予測処理ユニット８１に転送する。

【0047】

ビデオフレームがイントラ予測符号化（Ｉ）フレームとしてまたは他のタイプのフレーム内のイントラ符号化予測ブロックに対して符号化されるとき、予測処理ユニット８１のイントラ予測ユニット８４は、信号伝達されたイントラ予測モード、および現在フレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに対する予測データを生成してもよい。

【0048】

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックに対する１つまたは複数の予測ブロックを作成する。予測ブロックのそれぞれは、参照フレームリストのうちの１つの中の参照フレームから作成されてもよい。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構築技法を使用して、参照フレームリストであるリスト０およびリスト１を構築してもよい。

【0049】

いくつかの例では、ビデオブロックが本明細書に記載のイントラＢＣモードに従って符号化されるとき、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信されたブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックの予測ブロックを作成する。予測ブロックは、ビデオエンコーダ２０によって定義された現在のビデオブロックと同じピクチャの再構築された領域内にあってもよい。

【0050】

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他の構文要素を解析することによって現在のビデオフレームのビデオブロックの予測情報を決定し、次いで、その予測情報を使用して、復号されている現在のビデオブロックの予測ブロックを作成する。例えば、動き補償ユニット８２は、受信された構文要素のいくつかを使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード（例えば、イントラ予測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、フレームの参照フレームリストのうちの１つまたは複数に関する構築情報、フレームの各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定する。

【0051】

同様に、イントラＢＣユニット８５は、受信された構文要素のいくつか、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードを使用して予測されたこと、フレームのどのビデオブロックが再構築領域内にありＤＰＢ９２に記憶されるべきであるかに関する構築情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定してもよい。

【0052】

動き補償ユニット８２はまた、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算出してもよい。この場合、動き補償ユニット８２は、受信された構文要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを作成してもよい。

【0053】

逆量子化ユニット８６は、ビデオフレーム内のビデオブロックごとにビデオエンコーダ２０によって算出された同じ量子化パラメータを使用して、ビットストリーム内に提供されエントロピー復号ユニット８０によってエントロピー復号された量子化変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は、画素領域内の残差ブロックを再構築するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用する。

【0054】

動き補償ユニット８２またはイントラＢＣユニット８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックの予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することによって、現在のビデオブロックの復号されたビデオブロックを再構築する。復号されたビデオブロックをさらに処理するために、加算器９０とＤＰＢの間にデブロッキングフィルタ、ＳＡＯフィルタ、および／またはＡＬＦなどのループ内フィルタ９１が配置されてもよい。いくつかの例では、ループ内フィルタ９１は省略されてもよく、復号されたビデオブロックは加算器９０によってＤＰＢ９２に直接提供されてもよい。次いで、所与のフレーム内の復号されたビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２またはＤＰＢ９２とは別個のメモリデバイスは、図１のディスプレイデバイス３４などのディスプレイデバイス上に後で提示するために、復号されたビデオを記憶してもよい。

【0055】

典型的なビデオ符号化処理では、ビデオシーケンスは、典型的には、順序付けられたフレームまたはピクチャのセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで示される３つのサンプル配列を含んでもよい。ＳＬは、ルマサンプルの２次元配列である。ＳＣｂは、Ｃｂクロマサンプルの２次元配列である。ＳＣｒは、Ｃｒクロマサンプルの２次元配列である。他の例では、フレームは、単色であってもよく、したがってルマサンプルの２次元配列を１つだけ含む。

【0056】

図４Ａに示されるように、ビデオエンコーダ２０（または、より具体的には区分ユニット４５）は、最初にフレームを１組のＣＴＵに区分することによって、フレームの符号化された表現を生成する。ビデオフレームは、ラスタ走査順序で左から右および上から下に連続して順序付けされた整数個のＣＴＵを含んでもよい。各ＣＴＵは最も大きい論理符号化単位であり、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のいずれか１つである同じサイズを有するように、ＣＴＵの幅および高さはシーケンスパラメータセットにおいてビデオエンコーダ２０によって信号伝達される。しかしながら、本出願が必ずしも特定のサイズに限定されるわけではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、ルマサンプルの１つのＣＴＢと、クロマサンプルの２つの対応する符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。構文要素は、画素の符号化されたブロックの異なるタイプの単位の特性、ならびにインター予測またはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、ビデオデコーダ３０においてビデオシーケンスがどのように再構築され得るかを記述する。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一の符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。符号化木ブロックは、サンプルのＮ×Ｎブロックであってもよい。

【0057】

より良好な性能を実現するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロック上で２分木区分、３分木区分、４分木区分、またはそれらの組合せなどの木区分を再帰的に実行し、ＣＴＵをより小さいＣＵに分割してもよい。図４Ｃに描写されるように、６４×６４のＣＴＵ４００は、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵのうち、ＣＵ４１０およびＣＵ４２０はそれぞれ、ブロックサイズによって１６×１６の４つのＣＵに分割される。２つの１６×１６のＣＵ４３０およびＣＵ４４０はそれぞれ、ブロックサイズによって８×８の４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに描写されたＣＴＵ４００の区分処理の最終結果を示す４分木データ構造を描写しており、４分木の各葉ノードは、３２×３２から８×８までの範囲のそれぞれのサイズの１つのＣＵに対応する。図４Ｂに描写されたＣＴＵと同様に、各ＣＵは、ルマサンプルのＣＢと、同じサイズのフレームのクロマサンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文構造とを含んでもよい。図４Ｃおよび図４Ｄに描写された４分木区分は説明のみを目的としており、様々な局所特定に適応するために、１つのＣＴＵが４分木／３分木／２分木区分に基づいてＣＵに分裂されてもよいことに留意されたい。マルチタイプ木構造では、１つのＣＴＵは４分木構造によって区分され、各４分木葉ＣＵは２分木構造および３分木構造によってさらに区分されてもよい。図４Ｅに示されるように、幅Ｗおよび高さＨを有する符号化ブロックの５つの可能な区分タイプ、すなわち、４区分、水平２区分、垂直２区分、水平３区分、および垂直３区分がある。

【0058】

いくつかの実装形態では、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×ＮのＰＢにさらに区分してもよい。ＰＢは、インター予測またはイントラ予測の同じ予測が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵのＰＵは、ルマサンプルのＰＢと、クロマサンプルの２つの対応するＰＢと、ＰＢを予測するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一のＰＢと、ＰＢを予測するために使用される構文構造とを含んでもよい。ビデオエンコーダ２０は、ＣＵの各ＰＵのルマ、Ｃｂ、およびＣｒのＰＢに対する予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成してもよい。

【0059】

ビデオエンコーダ２０は、イントラ予測またはインター予測を使用してＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。

【0060】

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵに対して予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのルマ残差ブロック内の各サンプルがＣＵの予測ルマブロックのうちの１つ内のルマサンプルとＣＵの元のルマ符号化ブロック内の対応するサンプルとの間の差分を示すように、ＣＵの予測ルマブロックをその元のルマ符号化ブロックから減算することによってＣＵのルマ残差ブロックを生成してもよい。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロック内の各サンプルがＣＵの予測Ｃｂブロックのうちの１つ内のＣｂサンプルとＣＵの元のＣｂ符号化ブロック内の対応するサンプルとの間の差分を示すように、またＣＵのＣｒ残差ブロック内の各サンプルがＣＵの予測Ｃｒブロックのうちの１つ内のＣｒサンプルとＣＵの元のＣｒ符号化ブロック内の対応するサンプルとの間の差分を示し得るように、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成してもよい。

【0061】

さらに、図４Ｃに示されるように、ビデオエンコーダ２０は、４分木区分を使用して、ＣＵのルマ残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックをそれぞれ１つまたは複数のルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解してもよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵのＴＵは、ルマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、変換ブロック・サンプルを変換するために使用される構文要素とを含んでもよい。したがって、ＣＵの各ＴＵは、ルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられてもよい。いくつかの例では、ＴＵに関連付けられたルマ変換ブロックは、ＣＵのルマ残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用される構文構造とを含んでもよい。

【0062】

ビデオエンコーダ２０は、ＴＵのルマ変換ブロックに１つまたは複数の変換を適用して、ＴＵのルマ係数ブロックを生成してもよい。係数ブロックは変換係数の２次元配列であってもよい。変換係数はスカラ量であってもよい。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｂ係数ブロックを生成してもよい。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｒ係数ブロックを生成してもよい。

【0063】

ビデオエンコーダ２０は、係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化してもよい。量子化は、一般に、変換係数を表現するために使用されるデータ量を可能性として削減してさらなる圧縮を実現するために、変換係数が量子化される処理を指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素をエントロピー符号化してもよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対してＣＡＢＡＣを実行してもよい。最後に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を形成するビットのシーケンスを含むビットストリームを出力してもよく、ビットストリームは、記憶デバイス３２に保存されるか、または宛先デバイス１４に送信される。

【0064】

ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビットストリームを解析してビットストリームから構文要素を取得してもよい。ビデオデコーダ３０は、ビットストリームから取得された構文要素に少なくとも部分的に基づいてビデオデータのフレームを再構築してもよい。ビデオデータを再構築する処理は、ビデオエンコーダ２０によって実行される符号化処理とほぼ逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、現在ＣＵのＴＵに関連付けられた残差ブロックを再構築してもよい。ビデオデコーダ３０はまた、現在ＣＵのＰＵの予測ブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在ＣＵの符号化ブロックを再構築する。ビデオデコーダ３０は、フレームの各ＣＵについて符号化ブロックを再構築した後、フレームを再構築してもよい。

【0065】

上述されたように、ビデオ符号化は、主に２つのモード、すなわちフレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を使用してビデオ圧縮を実現する。ＩＢＣはフレーム内予測または第３のモードとみなされ得ることに留意されたい。参照ビデオブロックから現在のビデオブロックを予測するために動きベクトルを使用するので、２つのモードのうち、フレーム間予測の方がフレーム内予測よりも符号化効率に大きく寄与する。

【0066】

しかしながら、ビデオデータ捕捉技術が常に向上しており、ビデオデータの詳細を保持するためのビデオブロックサイズがより微細化されているため、現在フレームの動きベクトルを表現するために必要なデータ量も大幅に増加している。この課題を克服する方法の１つは、空間領域と時間領域との両方における隣接するＣＵのグループが予測目的のために類似するビデオデータを有するだけでなく、これらの隣接するＣＵ間の動きベクトルも類似しているという事実から恩恵を受けることである。したがって、空間的に隣接するＣＵおよび／または時間的に同じ場所にあるＣＵの動き情報を、それらの空間的相関および時間的相関を調査することによって現在ＣＵの動き情報（例えば、動きベクトル）の近似値として使用することが可能であり、これは、現在ＣＵの「動きベクトル予測子（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）」とも呼ばれる。

【0067】

図３に関連して上記で説明されたように動き推定ユニット４２によって決定された現在ＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在ＣＵの動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を作成するために、現在ＣＵの実際の動きベクトルから現在ＣＵの動きベクトル予測子が減算される。そうすることにより、動き推定ユニット４２によってフレームのＣＵごとに決定された動きベクトルをビデオビットストリームに符号化する必要がなくなり、ビデオビットストリーム内の動き情報を表現するために使用されるデータ量が大幅に削減される場合がある。

【0068】

符号ブロックのフレーム間予測中に参照フレーム内の予測ブロックを選ぶ処理と同様に、現在ＣＵの空間的に隣接するＣＵおよび／または時間的に同じ位置にあるＣＵに関連付けられた潜在的な候補動きベクトルを使用して現在ＣＵの動きベクトル候補リスト（「マージリスト」とも呼ばれる）を構築し、次いで、動きベクトル候補リストから現在ＣＵの動きベクトル予測子として１つの要素を選択するために、ビデオエンコーダ２０とビデオデコーダ３０との両方によって一連の規則が採用される必要がある。そうすることにより、動きベクトル候補リスト自体をビデオエンコーダ２０からビデオデコーダ３０に送信する必要がなくなり、ビデオエンコーダ２０およびビデオデコーダ３０が現在ＣＵを符号化および復号するために動きベクトル候補リスト内の同じ動きベクトル予測子を使用するには、動きベクトル候補リスト内の選択された動きベクトル予測子のインデックスで十分である。

【0069】

位置依存イントラ予測組合せ
ＶＶＣでは、ＤＣモード、平面モード、およびいくつかの角度モードのイントラ予測の結果は、位置依存イントラ予測組合せ（ＰＤＰＣ：ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ）方法によってさらに修正される。ＰＤＰＣは、境界参照サンプルとフィルタリングされた境界参照サンプルを用いたＨＥＶＣスタイル・イントラ予測との組合せを呼び出すイントラ予測方法である。ＰＤＰＣは、信号伝達なしで、次のイントラモード、すなわち平面、ＤＣ、水平以下のイントラ角度、および垂直以上８０以下のイントラ角度に適用される。現在ブロックがＢｄｐｃｍモードであるか、またはＭＲＬインデックスが０より大きい場合、ＰＤＰＣは適用されない。

【0070】

イントラ予測モード（ＤＣ、平面、角度）および参照サンプルの線形組合せを使用して、次の方程式
ｐｒｅｄ（ｘ’，ｙ’）＝Ｃｌｉｐ（０，（１＜＜ＢｉｔＤｅｐｔｈ）－１，（ｗＬ×Ｒ－１，ｙ’＋ｗＴ×Ｒｘ’，－１＋（６４－ｗＬ－ｗＴ）×ｐｒｅｄ（ｘ’，ｙ’）＋３２）＞＞６）
に従って、予測サンプルｐｒｅｄ（ｘ’，ｙ’）が予測され、ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ現在のサンプル（ｘ，ｙ）の上および左の境界に位置する参照サンプルを表す。

【0071】

ＰＤＰＣがＤＣ、平面、水平、および垂直のイントラモードに適用される場合、ＨＥＶＣ ＤＣモード境界フィルタまたは水平／垂直モード・エッジ・フィルタの場合に必要な追加の境界フィルタは必要ない。ＤＣモードおよび平面モードのＰＤＰＣ処理は同一である。角度モードの場合、現在の角度モードがＨＯＲ＿ＩＤＸまたはＶＥＲ＿ＩＤＸである場合、左または上の参照サンプルはそれぞれ使用されない。ＰＤＰＣの重みおよびスケール係数は、予測モードおよびブロックサイズに依存する。ＰＤＰＣは、幅と高さの両方が４以上のブロックに適用される。

【0072】

図５Ａ～図５Ｄは、様々な予測モードに適用されるＰＤＰＣの参照サンプル（Ｒｘ，－１およびＲ－１，ｙ）の定義を示す。図５Ａは、対角右上モードの一例を示す。図５Ｂは、対角左下モードの一例を示す。図５Ｃは、隣接対角右上モードの一例を示す。図５Ｄは、隣接対角左下モードの一例を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。一例として、対角モードの場合、参照サンプルＲｘ，－１の座標ｘはｘ＝ｘ’＋ｙ’＋１によって与えられ、参照サンプルＲ－１，ｙの座標ｙも同様にｙ＝ｘ’＋ｙ’＋１によって与えられる。他の角度モードの場合、参照サンプルＲｘ，－１およびＲ－１，ｙは分数サンプル位置に配置され得る。この場合、最も近い整数のサンプル位置のサンプル値が使用される。

【0073】

前述されたように、イントラ予測サンプルは、フィルタリングされていないまたはフィルタリングされた隣接する参照サンプルのセットから生成され、これは、現在の符号化ブロックとその隣接ブロックとの間のブロック境界に沿って不連続性を生じさせる可能性がある。そのような問題を解決するために、ＨＥＶＣでは、２タップフィルタ（ＤＣモードの場合）または勾配ベースの平滑化フィルタ（水平予測モードおよび垂直予測モードの場合）を利用して、ＤＣ予測モード、水平予測モード（すなわち、モード１８）、および垂直予測モード（すなわち、モード５０）の予測サンプルの最初の行／列をフィルタリングされていない参照サンプルと組み合わせることによって、境界フィルタリングが適用される。

【0074】

勾配ＰＤＰＣ
ＶＶＣでは、いくつかのシナリオの場合、２次参照サンプルが利用できないため、ＰＤＰＣが適用されない場合がある。水平／垂直モードから拡張された勾配ベースのＰＤＰＣが適用される。ＰＤＰＣ重み（ｗＴ／ｗＬ）、および左／上の境界からの距離に関するＰＤＰＣ重みにおける減衰を決定するためのｎＳｃａｌｅパラメータは、それぞれ水平／垂直モードの対応するパラメータと等しくなるように設定される。２次参照サンプルが分数サンプル位置にある場合、双線形補間が適用される。

【0075】

幾何学的区分モード（ＧＰＭ：ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎ ｍｏｄｅ）
ＶＶＣでは、インター予測のために幾何学的区分モードがサポートされている。幾何学的区分モードは、１つのＣＵレベルフラグによって、１つの特別なマージモードとして信号伝達される。現在のＧＰＭ設計では、８×６４および６４×８を除く、幅と高さとの両方が８以上６４以下である可能なＣＵサイズごとに、ＧＰＭモードによって合計６４個の区分がサポートされている。

【0076】

このモードが使用される場合、図６に示されるように、幾何学的に配置された直線によってＣＵが２つの部分に分裂される。分裂線の位置は、特定の区分の角度およびオフセット・パラメータから数学的に導出される。ＣＵ内の幾何学的区分の各部分は、その独自の動きを使用してインター予測され、各区分について単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）のみが許容され、すなわち、各部分は、１つの動きベクトルおよび１つの参照インデックスを有する。従来の双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）と同様に、各ＣＵに必要な動き補償予測が２つだけであることを保証するために、単予測動き制約が適用される。現在ＣＵに幾何学的区分モードが使用される場合、幾何学的区分の区分モードを示す幾何学的区分インデックス（角度およびオフセット）および２つのマージインデックス（各区分に１つ）がさらに信号伝達される。最大ＧＰＭ候補サイズの数は、シーケンス・レベルで明示的に信号伝達される。

【0077】

幾何学的区分のエッジに沿った混合
各幾何学的区分がその独自の動きを使用して取得された後、幾何学的区分のエッジの周囲のサンプルを導出するために、２つの単予測信号に混合が適用される。ＣＵの各位置の混合重みは、個々のサンプル位置から対応する区分エッジまでの距離に基づいて導出される。

【0078】

ＧＰＭ信号伝達設計
現在のＧＰＭ設計によれば、ＧＰＭの使用は、ＣＵレベルで１つのフラグを信号伝達することによって示される。現在ＣＵがマージモードまたはスキップモードによって符号化されている場合にのみ、フラグが信号伝達される。具体的には、フラグが１に等しい場合、フラグは、現在ＣＵがＧＰＭによって予測されていることを示す。それ以外の場合（フラグがゼロに等しい場合）、ＣＵは、通常のマージモード、動きベクトル差分を伴うマージモード、組み合わされたインター予測およびイントラ予測などの別のマージモードによって符号化されている。現在ＣＵに対してＧＰＭが有効である場合、（図６に示されるように、ＣＵを２つの区分に分裂するＣＵ中心からの直線の方向およびオフセットを指定する）適用される幾何学的区分モードを示すために、１つの構文要素、すなわちｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘがさらに信号伝達される。その後、第１のＧＰＭ区分および第２のＧＰＭ区分に使用される単予測マージ候補のインデックスを示すために、２つの構文要素、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１が信号伝達される。より具体的には、これらの２つの構文要素は、セクション「単予測マージリストの構築」で説明されるように、単予測マージリストから２つのＧＰＭ区分の単方向性ＭＶを決定するために使用される。現在のＧＰＭ設計によれば、２つの単方向性ＭＶをより異なるものにするために、２つのインデックスは同じであることはできない。そのような事前知識に基づいて、最初に、第１のＧＰＭ区分の単予測マージインデックスが信号伝達され、第２のＧＰＭ区分の単予測マージインデックスの信号伝達オーバーヘッドを削減するための予測子として使用される。詳細には、第２の単予測マージインデックスが第１の単予測マージインデックスより小さい場合、その元の値が直接信号伝達される。それ以外の場合（第２の単予測マージインデックスが第１の単予測マージインデックスより大きい場合）、その値は、ビットストリームに信号伝達される前に１だけ減算される。デコーダ側では、最初に、第１の単予測マージインデックスはデコーダである。次いで、第２の単予測マージインデックスの復号では、解析された値が第１の単予測マージインデックスより小さい場合、第２の単予測マージインデックスは解析値に等しくなるように設定され、それ以外の場合（解析された値が第１の単予測マージインデックス以上である場合）、第２の単予測マージインデックスは、解析された値に１を加えた値に等しくなるように設定される。表１は、現在のＶＶＣ仕様においてＧＰＭモードに使用される既存の構文要素を示している。

【0079】

【表1】

【0080】

一方、現在のＧＰＭ設計では、２つの単予測マージインデックス、すなわちｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の２値化のために、切り捨てられた単項符号が使用される。さらに、２つの単予測マージインデックスは同じであることはできないので、２つの単予測マージインデックスの符号語が切り捨てるために異なる最大値が使用され、最大値は、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に対してそれぞれ、ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１およびＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－２に等しくなるように設定される。ＭａｘＧＰＭＭｅｒｇｅＣａｎｄは、単予測マージリスト内の候補の数である。

【0081】

ＧＰＭ／ＡＷＰモードが適用される場合、構文ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘを２値ビットの文字列に変換するために、２つの異なる２値化方法が適用される。具体的には、それぞれＶＶＣ標準およびＡＶＳ３標準における固定長符号および切り捨てられた２値符号によって、構文要素が２値化される。一方、ＡＶＳ３のＡＷＰモードの場合、２値化のために、異なる最大値が使用される。

【0082】

空間角度重み付け予測（ＳＡＷＰ：Ｓｐａｔｉａｌ ａｎｇｕｌａｒ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）
ＡＶＳでは、ＧＰＭモードをイントラブロックに拡張する空間角度重み付け予測（ＳＡＷＰ）モード。ＳＡＷＰモードでは、２つのインター予測ブロックを重み付けする代わりに、２つのイントラ予測ブロックが重み付けされる。２つのイントラ予測ブロックは、イントラ予測モードから選択される２つの異なるイントラ予測モードを使用して予測される。イントラ予測モードは角度モード５～３０から選択される。最大サイズは３２×３２である。ＳＡＷＰモードのＭＰＭ導出のために、通常のイントラモードの２つの最確モード（ＭＰＭ）が使用される。

【0083】

多方向イントラ予測設計（ＭＤＩＰ：Ｍｕｌｔｉ－ｄｉｒｅｃｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）はＳＡＷＰと同じ設計精神に従うが、ある特定の設計の詳細に若干の違いがある。

【0084】

デコーダ側イントラモード導出（ＤＩＭＤ）
ＤＩＭＤは、ルマイントラ予測モード（ＩＰＭ）がビットストリームを介して送信されないイントラ符号化ツールである。代わりに、ＩＰＭは、符号化器およびデコーダにおいて同一の方式で、以前に符号化／復号された画素を使用して導出される。ＤＩＭＤ方法は、テクスチャ勾配処理を実行して２つの最適なモードを導出する。次いで、これらの２つのモードおよび平面モードはブロックに適用され、それらの予測子が加重平均される。ＤＩＭＤの選択結果は、フラグを使用してイントラ符号化済みブロックのビットストリームにおいて信号伝達される。デコーダでは、ＤＩＭＤフラグが真である場合、同じ以前に符号化された隣接画素を使用して再構築処理でイントラ予測モードが導出される。真ではない場合、イントラ予測モードは、古典的なイントラ符号化モードと同様にビットストリームから解析される。

【0085】

ブロックのイントラ予測モードを導出するには、最初に、勾配分析を実行することになる隣接画素のセットを選択しなければならない。規範性を目的として、これらの画素は、復号／再構築された画素のプール内にあるべきである。図７に示されるように、現在ブロックを左にＴ画素、上にＴ画素だけ囲むテンプレートを選ぶ。次に、テンプレートの画素に対して勾配分析を実行する。これは、現在ブロックのうちの１つと同一である可能性が高いと仮定する（本方法の中核前提である）、テンプレートの主要な角度方向を決定することを可能にする。したがって、テンプレートとともに畳み込まれる以下の行列、

【数1】

によって定義される単純な３×３のソーベル勾配フィルタを使用する。

【0086】

テンプレートの画素ごとに、これらの２つの行列のそれぞれに、現在画素を中心とし、その８つの直接近傍で構成される３×３ウィンドウを一つ一つ乗算し、その結果を合計する。したがって、現在画素での水平方向および垂直方向の勾配に対応する２つの値Ｇｘ（Ｍｘとの乗算から）およびＧｙ（Ｍｙとの乗算から）をそれぞれ取得する。

【0087】

図８は、畳み込み処理を示す。青色画素は、現在画素である。（青色を含む）赤色画素は、勾配分析が可能な画素である。灰色画素は、近傍が欠如しているために勾配分析が不可能な画素である。紫色画素は、考慮されたテンプレートの外側の利用可能な（再構築された）画素であり、赤色画素の勾配分析に使用される。（例えば、ブロックがピクチャの境界に近すぎるために）紫色画素が使用できない場合、この紫色画素を使用するすべての赤色画素の勾配分析は実行されない。赤色画素ごとに、ＧｘおよびＧｙを使用して勾配の強度（Ｇ）および配向（Ｏ）を、

【数2】

のように計算する。

【0088】

次いで、勾配の配向は、イントラ角度予測モードに変換され、ヒストグラムにインデックス付けするために使用される（最初はゼロに初期化される）。そのイントラ角度モードでのヒストグラム値はＧだけ増加する。テンプレート内のすべての赤色画素が処理されると、ヒストグラムは、各イントラ角度モードの勾配強度の累積値を含むことになる。現在ブロックに対して、最も高い２つのヒストグラム・バーに対応するＩＰＭが選択される。ヒストグラム内の最大値が０である場合（勾配分析を行うことができなかったか、またはテンプレートを構成するエリアが平坦であることを意味する）、現在ブロックのイントラ予測モードとしてＤＣモードが選択される。

【0089】

最も高い２つのＨｏＧバーに対応する２つのＩＰＭは、平面モードと組み合わされる。１つまたは複数の例では、上記の３つの予測子の加重平均として予測融合が適用される。この目的のために、平面の重みは２１／６４（約１／３）に固定される。その場合、残りの重み４３／６４（約２／３）は、ＨｏＧバーの振幅に比例して２つのＨｏＧ ＩＰＭ間で共有される。図９はこの処理を視覚化している。

【0090】

導出されたイントラモードはイントラ最確モード（ＭＰＭ）の１次リストの中に含まれ、したがって、ＭＰＭリストが構築される前にＤＩＭＤ処理が実行される。ＤＩＭＤブロックの１次導出イントラモードは、ブロックとともに記憶され、隣接ブロックのＭＰＭリスト構築のために使用される。

【0091】

テンプレートベースのイントラモード導出（ＴＩＭＤ：Ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）
ＭＰＭにおける各イントラモードについて、図１０に示されたテンプレート領域の予測サンプルと再構築サンプルとの間の絶対変換差分の和（ＳＡＴＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅ）が計算され、最も小さいＳＡＴＤコストを有する最初の２つのモードを有するイントラモードが選択され、次いで、それらを重みと融合し、そのような重み付けされたイントラ予測は、現在ＣＵを符号化するために使用される。

【0092】

選択された２つのモードのコストは閾値と比較され、テストにおいて、次のようにコスト係数２が適用される。
ｃｏｓｔＭｏｄｅ２＜２＊ｃｏｓｔＭｏｄｅ１

【0093】

この条件が真である場合、融合が適用され、それ以外の場合、ｍｏｄｅ１のみが使用される。

【0094】

モードの重みは、次のようにそれらのＳＡＴＤコストから計算される。
ｗｅｉｇｈｔ１＝ｃｏｓｔＭｏｄｅ２／（ｃｏｓｔＭｏｄｅ１＋ｃｏｓｔＭｏｄｅ２）
ｗｅｉｇｈｔ２＝１－ｗｅｉｇｈｔ１

【0095】

ＤＩＭＤモードはイントラ予測効率を高めることができるが、その性能をさらに向上させる余地がある。一方、既存のＤＩＭＤモードのいくつかの部分も、効率的なコーデック・ハードウェア実装のために簡素化されるか、またはより良好な符号化効率のために改善される必要がある。さらに、その実装の複雑さとその符号化効率の利点との間のトレードオフがさらに改善される必要がある。

【0096】

ＶＶＣの最終決定後、ＪＶＥＴグループは、ＶＶＣを超える圧縮効率を模索し続けた。ＪＶＥＴによって、ＶＶＣテスト・モデル（ＶＴＭ）上にいくつかの追加の符号化ツールを統合することにより拡張圧縮モデル（ＥＣＭ）と呼ばれる１つの参照ソフトウェアが維持された。現在のＥＣＭでは、イントラモードに応じてＰＤＰＣが使用される。ＤＩＭＤモードの場合、各イントラモードに応じてＰＤＰＣが使用される。ＰＤＰＣ方式の２つの異なる位置が使用され、ＤＩＭＤモードの各イントラモードに適用される。ＤＩＭＤモードで角度モードが使用されるイントラ予測の場合、予測融合の前にＰＤＰＣが適用される。ＤＩＭＤモードでＤＣモードまたは平面モードが使用されるイントラ予測の場合、予測融合の後にＰＤＰＣが適用される。そのような統一されていない設計は、標準化の観点からは最適ではない可能性がある。

【0097】

同様に、融合方式の２つの異なる設計が利用可能であり、それぞれＤＩＭＤおよびＴＩＭＤに適用される。それぞれの異なる融合設計は、異なる候補および重み算出に関連付けられる。ＤＩＭＤが適用されるブロックの場合、最も高い２つのＨｏＧバーに対応する２つのＩＰＭおよび平面モードが、融合のために選択される。また、平面の重みは２１／６４（約１／３）に固定される。その場合、残りの重み４３／６４（約２／３）は、ＨｏＧバーの振幅に比例して２つのＨｏＧ ＩＰＭ間で共有される。ＴＩＭＤが適用されるブロックの場合、ＳＡＴＤコストが最も小さい最初の２つのモードを有するイントラモードが選ばれ、それらのＳＡＴＤコストからモードの重みが計算される。そのような統一されていない設計は、標準化の観点からは最適ではない可能性がある。上記に加えて、様々な融合方式によってその性能をさらに向上させる余地がある。

【0098】

現在のＥＣＭ設計では、ＤＩＭＤから導出されたイントラモードは、導出されたイントラモードがＤＩＭＤで既に使用されているかどうかに関係なく、イントラ最確モード（ＭＰＭ）の１次リストの中に含まれる。その性能をさらに向上させる余地がある。

【0099】

本開示では、以前に指摘された問題に対処するために、ＤＩＭＤモードの既存の設計を簡素化および／またはさらに改善するための方法が提供される。一般に、本開示で提案される技術の主な特徴は、次のように要約される。

【0100】

１）．予測融合の前にすべてのイントラ予測にＰＤＰＣを適用することによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。そのような方法の一例が、図１２Ａのブロック図に示されている。

【0101】

２）．予測融合の後にすべてのイントラ予測にＰＤＰＣを適用することによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。そのような方法の一例が、図１２Ｂのブロック図に示されている。

【0102】

３）．ＤＩＭＤモードのすべてのイントラ予測のためのＰＤＰＣを無効にすることによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。そのような方法の一例が、図１２Ｃのブロック図に示されている。

【0103】

４）．ＤＩＭＤモードの下で使用される融合方式をＴＩＭＤモードに適用することによって、ＤＩＭＤモードおよびＴＩＭＤモードの下で使用される融合方式を統一する。

【0104】

５）．ＴＩＭＤモードの下で使用される融合方式をＤＩＭＤモードに適用することによって、ＤＩＭＤモードおよびＴＩＭＤモードの下で使用される融合方式を統一する。

【0105】

６）．融合方式の選択結果を信号伝達することによって、ＤＩＭＤモードおよびＴＩＭＤモードの下で使用される融合方式を統一する。

【0106】

７）．導出されたイントラモードがＤＩＭＤにおいて既に使用されているかどうかを考慮して、ＤＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出する。

【0107】

８）．ＴＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出する。

【0108】

提案された方法は、ＴＩＭＤ／ＭＤＩＰなどの他のイントラ予測符号化モードにも適用され得ることに留意されたい。ＴＩＭＤモードに適用される例の別のセットが、図１１Ａ～図１１Ｃのブロック図に示されている。図１１Ａは、ＴＩＭＤの融合処理の前にすべてのＰＤＰＣ処理を適用する例を示す。図１１Ｂは、ＴＩＭＤの融合処理の後にすべてのＰＤＰＣ処理を適用する例を示す。図１１Ｃは、ＴＩＭＤにおけるすべてのＰＤＰＣ処理を無効にする例を示す。

【0109】

提案された方法は、組み合わされたインター予測およびイントラ予測と（ＣＩＩＰ：ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）などの他の組み合わされたイントラ予測符号化モードおよびインター予測符号化モードにも適用され得ることに留意されたい。

【0110】

開示された方法は、単独でまたは共同で適用され得ることに留意されたい。

【0111】

ＤＩＭＤにおける角度モードおよびＤＣ／平面モードに使用されるＰＤＰＣの調和

【0112】

本開示の１つまたは複数の実施形態によれば、ＤＩＭＤモードの下で角度モードとＤＣ／平面モードとの両方に対して同じＰＤＰＣ位置が適用される。この目標を達成するために、様々な方法が使用されてもよい。

【0113】

本開示の一例では、図１２Ａに示されるように、ＤＩＭＤモードでの予測融合の前にＰＤＰＣ演算を適用することが提案される。言い換えれば、ＤＩＭＤモードでの予測融合の前に、そのイントラモードに基づいて各イントラ予測モードがＰＤＰＣに適用される。

【0114】

本開示の別の例では、図１２Ｂに示されるように、ＤＩＭＤモードでの予測融合の後にＰＤＰＣ演算を適用することが提案される。言い換えれば、特定のモード、例えば、ＤＣモード、平面モードに基づいて、３つの予測子の重み付けされた組合せがＰＤＰＣに適用される。一例では、特定のモードは平面モードであり、次いで、ＤＩＭＤモードでの予測融合の後に平面モードを有するＰＤＰＣが適用される。別の例では、最も高いヒストグラム・バーに対応するＩＰＭが特定のモードとして選択され、次いで、ＤＩＭＤモードでの予測融合の後に特定モードを有するＰＤＰＣが適用される。さらに別の例では、２番目に高いヒストグラム・バーに対応するＩＰＭが特定のモードとして選択され、次いで、ＤＩＭＤモードでの予測融合の後に特定のモードのＰＤＰＣが適用される。

【0115】

本開示のさらに別の例では、ＤＩＭＤモードでのＰＤＰＣ演算を無効にすることが提案される。言い換えれば、図１２Ｃに示されるように、ＤＩＭＤモードではＰＤＰＣ演算は使用されない。

【0116】

ＤＩＭＤモードおよびＴＩＭＤモードに使用される融合方式の調和
本開示の１つまたは複数の実施形態によれば、ＤＩＭＤモードとＴＩＭＤモードとの両方に対して同じ融合方式が適用される。この目標を達成するために、図１４のブロック図に示されるように、様々な方法が使用されてもよい。融合方式は、ＤＩＭＤモードおよびＴＩＭＤモードにおける予測子の加重平均として適用される。

【0117】

本開示の一例では、図１４のステップ１４０４に示されるように、ＤＩＭＤモードの下で使用される融合方式をＴＩＭＤモードに適用することが提案される。言い換えれば、ＴＩＭＤモードの場合、最も小さいＳＡＴＤコストおよび平面モードを有する最初の２つのモードが融合のための予測子として選択され、予測子の加重平均が算出される。また、平面の重みは２１／６４（約１／３）に固定される。その場合、残りの重み４３／６４（約２／３）は、ＳＡＴＤコストの振幅に比例して他の２つのモード間で共有される。

【0118】

本開示の別の例では、図１４のステップ１４０６に示されるように、ＴＩＭＤモードの下で使用される融合方式をＤＩＭＤモードに適用することが提案される。言い換えれば、ＤＩＭＤモードの場合、最も高いＨｏＧバーを有する最初の２つのモードが融合のための予測子として選択され、モードの重みは、ＨｏＧバーの振幅に比例してＨｏＧ ＩＰＭから計算される。ヒストグラムにおける最大値が０である場合（勾配分析を行うことができなかったか、またはテンプレートを構成するエリアが平坦であることを意味する）、現在ブロックのイントラ予測モードとして、１つのデフォルトモード、例えば、ＤＣモード、平面モードが選択される。

【0119】

本開示のさらに別の例では、図１４のステップ１４０８に示されるように、ＴＩＭＤおよび／またはＤＩＭＤモードにおける融合方式の選択結果を信号伝達することが提案される。一例では、所与のＣＵについて、ブロックがＤＩＭＤモードを使用するか否かを示すために、フラグがデコーダに信号伝達される。ＤＩＭＤモードを使用して符号化される場合、例えば、上記の第１の融合方法または第２の融合方法としてどの融合方式が使用されるかを示すために、１つのフラグがデコーダにさらに信号伝達される。

【0120】

ＭＰＭリスト内で使用されるＤＩＭＤモードの修正
本開示の別の態様では、導出されたイントラモードが既にＤＩＭＤで使用されているかどうかに応じて、ＤＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出することが提案される。本開示の１つまたは複数の実施形態によれば、融合方式がＤＩＭＤモードで使用されている場合、ＤＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。言い換えれば、融合方式がＤＩＭＤモードで使用されていない場合、ＤＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されることはできない。図１５は、この処理の一例を示す。ステップ１５０２において、デコーダは、ＤＩＭＤモードにおいて融合方式が適用されるかどうかを決定してもよい。ステップ１５０４において、デコーダは、ＤＩＭＤモードからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出すべきかどうかを決定してもよい。

【0121】

ＭＰＭリストで使用されるＴＩＭＤモード
本開示の別の態様では、ＴＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出することが提案される。一般に、ＶＶＣには、非方向性モード（平面、ＤＣ）と６５個の角度モードとを含む６７個のイントラ予測モードがあり、これらは、ビデオおよび画像のコンテンツに通常存在する様々な方向性構造を効率的にモデル化する。本開示の１つまたは複数の実施形態では、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。一例では、ＤＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されることはできないが、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。

【0122】

本開示の別の態様では、導出されたイントラモードが既にＴＩＭＤで使用されているかどうかに応じて、ＴＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出することが提案される。本開示の１つまたは複数の実施形態によれば、融合方式がＴＩＭＤモードで使用されている場合、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。言い換えれば、融合方式がＴＩＭＤモードで使用されない場合、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されることはできない。１つまたは複数の例では、デコーダは、ＴＩＭＤモードにおいて融合方式が適用されないとの決定に応答して、ＴＩＭＤモードから導出されたイントラモードをＭＰＭのリストの候補として追加しない。

【0123】

上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む１つまたは複数の回路を含む装置を使用して実装されてもよい。装置は、上記で説明された方法を実行するために、他のハードウェア構成要素またはソフトウェア構成要素と組み合わせて回路を使用してもよい。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実装されてもよい。

【0124】

図１３は、ユーザインターフェース１６５０と結合されたコンピューティング環境１６１０を示す。コンピューティング環境１６１０は、データ処理サーバの一部であってもよい。コンピューティング環境１６１０は、プロセッサ１６２０、メモリ１６３０、および入出力（Ｉ／Ｏ）インターフェース１６４０を含む。

【0125】

プロセッサ１６２０は、典型的には、表示、データ取得、データ通信、および画像処理に関連する動作など、コンピューティング環境１６１０の全体的な動作を制御する。プロセッサ１６２０は、上記で説明された方法におけるステップのすべてまたは一部を実施するよう求める命令を実行するための１つまたは複数のプロセッサを含んでもよい。さらに、プロセッサ１６２０は、プロセッサ１６２０と他の構成要素との間の対話を容易にする１つまたは複数のモジュールを含んでもよい。プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングル・チップ・マシン、グラフィック処理ユニット（ＧＰＵ）などであってもよい。

【0126】

メモリ１６３０は、コンピューティング環境１６１０の動作をサポートするために様々なタイプのデータを記憶するように構成される。メモリ１６３０は、所定のソフトウェア１６３２を含んでもよい。そのようなデータの例は、コンピューティング環境１６１０上で動作される任意のアプリケーションまたは方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１６３０は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、任意のタイプの揮発性もしくは不揮発性メモリデバイスまたはそれらの組合せを使用することによって実装されてもよい。

【0127】

Ｉ／Ｏインターフェース１６４０は、プロセッサ１６２０と、キーボード、クリック・ホイール、ボタンなどの周辺インターフェース・モジュールとの間のインターフェースを提供する。ボタンは、ホーム・ボタン、走査開始ボタン、走査停止ボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインターフェース１６４０は、符号化器およびデコーダと結合されてもよい。

【0128】

一実施形態では、例えばメモリ１６３０内に、コンピューティング環境１６１０内のプロセッサ１６２０によって実行可能な、上記で説明された方法を実行するための複数のプログラムを含む非一過性コンピュータ可読記憶媒体も提供される。代替として、非一過性コンピュータ可読記憶媒体は、ビデオデータを復号する際にデコーダ（例えば、図３のビデオデコーダ３０）によって使用するために、例えば上記で説明された符号化方法を使用して符号化器（例えば、図２のビデオエンコーダ２０）によって生成された符号化済みビデオ情報（例えば、１つまたは複数の構文要素を含むビデオ情報）を含むビットストリームまたはデータストリームを記憶していてもよい。非一過性コンピュータ可読記憶媒体は、例えば、ＲＯＭ、ランダム・アクセス・メモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー・ディスク、光データ記憶デバイスなどであってもよい。

【0129】

一実施形態では、１つまたは複数のプロセッサ（例えば、プロセッサ１６２０）と、１つまたは複数のプロセッサによって実行可能な複数のプログラムを記憶している非一過性コンピュータ可読記憶媒体またはメモリ１６３０とを備えるコンピューティング・デバイスも提供され、１つまたは複数のプロセッサは、複数のプログラムの実行時に、上記で説明された方法を実行するように構成される。

【0130】

一実施形態では、上記で説明された方法を実行するためにコンピューティング環境１６１０内のプロセッサ１６２０によって実行可能な、例えばメモリ１６３０内の複数のプログラムを含むコンピュータ・プログラム製品も提供される。例えば、コンピュータ・プログラム製品は、非一過性コンピュータ可読記憶媒体を含んでもよい。

【0131】

一実施形態では、コンピューティング環境１６１０は、上記の方法を実行するために、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を用いて実装されてもよい。

【0132】

本開示の説明は、例示を目的として提示されたものであり、本開示を網羅することも限定することも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正、変形、および代替の実装形態が明らかであろう。

【0133】

特に明記されない限り、本開示による方法のステップの順序は、例示のみを意図されており、本開示による方法のステップは、上記で具体的に説明された順序に限定されず、実際の条件に従って変更されてもよい。さらに、本開示による方法のステップのうちの少なくとも１つは、実際の要件に従って調整、結合、または削除されてもよい。

【0134】

例は、本開示の原理を説明し、当業者が様々な実装形態について本開示を理解できるようにし、企図される特定の使用に適するように様々な修正を加えて基礎となる原理および様々な実装形態を最大限に活用するために、選択され説明されたものである。したがって、本開示の範囲が、開示された実装形態の特定の例に限定されるものではないこと、また修正および他の実装形態が本開示の範囲内に含まれるよう意図されていることが理解されるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図12C】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2024-02-20

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００７８

【補正方法】変更

【補正の内容】

【0078】

ＧＰＭ信号伝達設計
現在のＧＰＭ設計によれば、ＧＰＭの使用は、ＣＵレベルで１つのフラグを信号伝達することによって示される。現在ＣＵがマージモードまたはスキップモードによって符号化されている場合にのみ、フラグが信号伝達される。具体的には、フラグが１に等しい場合、フラグは、現在ＣＵがＧＰＭによって予測されていることを示す。それ以外の場合（フラグがゼロに等しい場合）、ＣＵは、通常のマージモード、動きベクトル差分を伴うマージモード、組み合わされたインター予測およびイントラ予測などの別のマージモードによって符号化されている。現在ＣＵに対してＧＰＭが有効である場合、（図６に示されるように、ＣＵを２つの区分に分裂するＣＵ中心からの直線の方向およびオフセットを指定する）適用される幾何学的区分モードを示すために、１つの構文要素、すなわちｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘがさらに信号伝達される。その後、第１のＧＰＭ区分および第２のＧＰＭ区分に使用される単予測マージ候補のインデックスを示すために、２つの構文要素、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１が信号伝達される。より具体的には、これらの２つの構文要素は、セクション「単予測マージリストの構築」で説明されるように、単予測マージリストから２つのＧＰＭ区分の単方向性ＭＶを決定するために使用される。現在のＧＰＭ設計によれば、２つの単方向性ＭＶをより異なるものにするために、２つのインデックスは同じであることはできない。そのような事前知識に基づいて、最初に、第１のＧＰＭ区分の単予測マージインデックスが信号伝達され、第２のＧＰＭ区分の単予測マージインデックスの信号伝達オーバーヘッドを削減するための予測子として使用される。詳細には、第２の単予測マージインデックスが第１の単予測マージインデックスより小さい場合、その元の値が直接信号伝達される。それ以外の場合（第２の単予測マージインデックスが第１の単予測マージインデックスより大きい場合）、その値は、ビットストリームに信号伝達される前に１だけ減算される。デコーダ側では、最初に、第１の単予測マージインデックスが復号される。次いで、第２の単予測マージインデックスの復号では、解析された値が第１の単予測マージインデックスより小さい場合、第２の単予測マージインデックスは解析値に等しくなるように設定され、それ以外の場合（解析された値が第１の単予測マージインデックス以上である場合）、第２の単予測マージインデックスは、解析された値に１を加えた値に等しくなるように設定される。表１は、現在のＶＶＣ仕様においてＧＰＭモードに使用される既存の構文要素を示している。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００８１

【補正方法】変更

【補正の内容】

【0081】

ＧＰＭ／ＡＷＰモードが適用される場合、構文ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘを２値ビットの文字列に変換するために、２つの異なる２値化方法が適用される。具体的には、それぞれＶＶＣ標準およびＡＶＳ３標準における固定長符号および切り捨てられた２値符号によって、構文要素が２値化される。一方、ＡＶＳ３のＡＷＰモードの場合、構文要素の２値化のために、異なる最大値が使用される。

【手続補正3】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオ復号のための方法であって、
デコーダによって、デコーダ側イントラモード導出（ＤＩＭＤ）モードおよびテンプレートベースのイントラモード導出（ＴＩＭＤ）モードにおいて適用される融合方式を決定することを含み、前記融合方式が前記ＤＩＭＤモードおよび前記ＴＩＭＤモードでの予測子の加重平均として適用される、方法。

【請求項2】

前記ＤＩＭＤモードで採用された前記融合方式を前記ＴＩＭＤモードに適用することをさらに含む、請求項１に記載のビデオ復号のための方法。

【請求項3】

平面モード、および前記ＴＩＭＤモードにおいて最も小さい絶対変換差分和（ＳＡＴＤ）コストを有する２つのモードを、前記融合方式の前記予測子として選択することと、
前記平面モードおよび前記最も小さいＳＡＴＤコストを有する前記２つのモードの前記加重平均を決定することであって、前記平面モードの重みが、前記融合方式において固定され、残りの重みが、前記２つのモードのそれぞれの前記ＳＡＴＤコストに基づいて前記２つのモード間で共有されること、をさらに含む、請求項２に記載のビデオ復号のための方法。

【請求項4】

前記ＴＩＭＤモードで採用された前記融合方式を前記ＤＩＭＤモードに適用することをさらに含む、請求項１に記載のビデオ復号のための方法。

【請求項5】

前記ＤＩＭＤモードで最も高い配向勾配ヒストグラム（ＨｏＧ：ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔ）バーを有する２つのモードを前記融合方式の前記予測子として選択することと、
前記２つのモードの前記ＨｏＧバーの振幅に基づいて、前記融合方式における前記２つのモードの前記加重平均を決定すること、をさらに含む、請求項４に記載のビデオ復号のための方法。

【請求項6】

前記最も高いＨｏＧバーの最大値が０に等しいとの決定に応答して、現在ブロックのイントラ予測モードとしてデフォルトモードを選択することをさらに含む、請求項５に記載のビデオ復号のための方法。

【請求項7】

前記ＴＩＭＤモードまたは前記ＤＩＭＤモードにおける前記融合方式の選択結果を受信することをさらに含む、請求項１に記載のビデオ復号のための方法。

【請求項8】

前記デコーダによって、前記ＤＩＭＤモードがブロックに適用されるかどうかを示す信号伝達フラグ（ｓｉｇｎａｌｅｄ ｆｌａｇ）を受信するステップと、
前記デコーダによって、前記ＤＩＭＤモードが前記ブロックに適用されるとの決定に応答して、前記ブロックに適用される前記融合方式を示す別の信号伝達フラグを受信するステップと
をさらに含む、請求項７に記載のビデオ復号のための方法。

【請求項9】

デコーダ側イントラモード導出（ＤＩＭＤ）モードを用いたビデオ復号のための方法であって、
デコーダによって、前記ＤＩＭＤモードにおいて融合方式が適用されるかどうかを決定することであって、前記融合方式が前記ＤＩＭＤモードでの予測子の加重平均として適用されることと、
前記デコーダによって、前記ＤＩＭＤモードにおいて前記融合方式が適用されるかどうかに基づいて、前記ＤＩＭＤモードから導出されたイントラモードをイントラ最確モード（ＭＰＭ）のリストに追加すべきかどうかを決定すること、
を含む、方法。

【請求項10】

前記ＤＩＭＤモードから導出されたイントラモードをＭＰＭの前記リストに追加すべきかどうかを決定することが、
前記ＤＩＭＤモードにおいて前記融合方式が適用されるとの決定に応答して、前記ＤＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの候補として追加することと、
前記ＤＩＭＤモードにおいて前記融合方式が適用されないとの決定に応答して、前記ＤＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの前記候補として追加しないこと、を含む、請求項９に記載のビデオ復号のための方法。

【請求項11】

テンプレートベースのイントラモード導出（ＴＩＭＤ）モードを用いたビデオ復号のための方法であって、
デコーダによって、前記ＴＩＭＤモードから導出されたイントラモードをイントラ最確モード（ＭＰＭ）のリストに追加すべきかどうかを決定すること、
を含む、方法。

【請求項12】

デコーダ側イントラモード導出（ＤＩＭＤ）モードから導出されたイントラモードが前記ＭＰＭの前記リストの候補として追加されないとの決定に応答して、前記ＴＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの前記候補として追加することをさらに含む、請求項１１に記載のビデオ復号のための方法。

【請求項13】

前記デコーダによって、前記ＴＩＭＤモードにおいて融合方式が適用されるかどうかに基づいて、前記ＴＩＭＤモードから導出されたイントラモードをＭＰＭのリストに追加すべきかどうかを決定することをさらに含む、請求項１１に記載のビデオ復号のための方法。

【請求項14】

前記ＴＩＭＤモードにおいて前記融合方式が適用されるとの決定に応答して、前記ＴＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの候補として追加することと、
前記ＴＩＭＤモードにおいて前記融合方式が適用されないとの決定に応答して、前記ＴＩＭＤモードから導出された前記イントラモードをＭＰＭの前記リストの前記候補として追加しないステップと、をさらに含む、請求項１３に記載のビデオ復号のための方法。

【請求項15】

ビデオ復号のための装置であって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令および復号されるビットストリームを記憶するように構成されたメモリと、を含み、
前記１つまたは複数のプロセッサが、前記命令の実行時に、前記ビットストリームで請求項１から１４のいずれかに記載の前記方法を実行するように構成される、装置。

【請求項16】

コンピュータ実行可能命令および復号されるビットストリームを記憶するビデオ復号のための非一過性コンピュータ可読記憶媒体であって、前記コンピュータ実行可能命令が１つまたは複数のコンピュータプロセッサによって実行されたときに前記１つまたは複数のコンピュータプロセッサに前記ビットストリームで請求項１から１４のいずれかに記載の前記方法を実行させる、ビデオ復号のための非一過性コンピュータ可読記憶媒体。

【請求項17】

ビットストリームを記憶する方法であって、前記ビットストリームが請求項１から１４のいずれかに記載の方法によって使用される、方法。

【請求項18】

１つまたは複数のコンピュータプロセッサによって実行されると、前記1つまたは複数のコンピュータプロセッサに請求項１から１４のいずれかに記載の方法を実行させる命令を含む、コンピュータプログラム。

【国際調査報告】