特表 2024-543502 デコーダ側イントラモード導出のための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-21

(54)【発明の名称】デコーダ側イントラモード導出のための方法およびデバイス

(51)【国際特許分類】

   H04N 19/70 20140101AFI20241114BHJP

   H04N 19/593 20140101ALI20241114BHJP

【ＦＩ】

H04N19/70

H04N19/593

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024528624

(86)(22)【出願日】2022-11-18

(85)【翻訳文提出日】2024-05-14

(86)【国際出願番号】 US2022050441

(87)【国際公開番号】W WO2023091688

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】63/281,606

(32)【優先日】2021-11-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521248394

【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100217940

【弁理士】

【氏名又は名称】三並 大悟

(72)【発明者】

【氏名】チュー、ホン－チェン

(72)【発明者】

【氏名】シウ、シャオユー

(72)【発明者】

【氏名】チェン、イー－ウェン

(72)【発明者】

【氏名】チェン、ウェイ

(72)【発明者】

【氏名】クオ、チョー－ウェイ

(72)【発明者】

【氏名】ヤン、ニン

(72)【発明者】

【氏名】ワン、シャンリン

(72)【発明者】

【氏名】ユイ、ビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC04

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP16

5C159RC12

5C159TA31

5C159TB08

5C159TC42

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

ビデオ符号化方法、装置、および非一過性コンピュータ可読記憶媒体が提供される。１つの方法において、デコーダは、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示す信号フラグを受信し、信号フラグに基づいて現在ビデオブロックにＴＩＭＤモードが適用されるとの決定に応答して、現在ビデオブロックの再構成エリア内の異なる参照線に基づいてＴＩＭＤモードからイントラ予測モードを導出し、再構成エリアは、現在ビデオブロックの再構成された近傍ブロックを含む。

【特許請求の範囲】

【請求項1】

デコーダによって、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示す信号フラグを取得することと、
前記信号フラグに基づいて前記現在ビデオブロックに前記ＴＩＭＤモードが適用されるとの決定に応答して、前記デコーダによって、前記現在ビデオブロックの再構成エリア内の異なる参照線に基づいて前記ＴＩＭＤモードからイントラ予測モードを導出することであって、前記再構成エリアが前記現在ビデオブロックの再構成された近傍ブロックを含むこと、
を含む、ビデオ復号方法。

【請求項2】

前記現在ビデオブロックに前記ＴＩＭＤモードが適用されるとの決定に応答して、前記デコーダによって、前記ＴＩＭＤモードにおいて使用される参照線を示す前記参照線のインデックスを取得することをさらに含み、前記参照線の前記インデックスが、前記現在ビデオブロックの前記イントラ予測モードを導出するために信号伝達される、請求項１に記載のビデオ復号方法。

【請求項3】

前記参照線の前記インデックスが、２値符号語の可変セットのうちの２値符号語の１セットを用いて２値化される、請求項２に記載のビデオ復号方法。

【請求項4】

前記２値符号語の前記可変セットの２値符号語の各セットが、次の２値化プロセス、すなわち、固定長２値化プロセス、切り捨てライス２値化プロセス、切り捨て単項２値化プロセス、切り捨てバイナリ（ＴＢ）２値化プロセス、ｋ次指数ゴロム（ＥＧｋ）２値化プロセス、限定ｋ次指数ゴロム（ＥＧｋ）２値化プロセスのうちの１つによって導出される、請求項３に記載のビデオ復号方法。

【請求項5】

前記参照線の前記インデックスが、前記ＴＩＭＤモード用のグループになるように予め定義され、前記参照線の前記インデックスの各グループが、前記異なる参照線を含む、請求項２に記載のビデオ復号方法。

【請求項6】

前記参照線の前記インデックスの前記グループが、｛０，１，２，．．．，Ｎ｝、｛０，２，４，．．．，２＊Ｎ｝、｛０，１，３，５，７，１２｝、｛０，１，２｝、｛０，１，３｝、｛０，１，３，５，７｝、｛０，１，３，５｝を含み、Ｎが、予め定義された整数である、請求項５に記載のビデオ復号方法。

【請求項7】

エンコーダによって、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示すフラグを信号伝達することと、
前記現在ビデオブロックに前記ＴＩＭＤモードが適用されているとの決定に応答して、前記エンコーダによって、前記現在ビデオブロックの再構成エリア内の異なる参照線に基づいて前記ＴＩＭＤモードからイントラ予測モードを導出することであって、前記再構成エリアが前記現在ビデオブロックの再構成された近傍ブロックを含むこと、
を含む、ビデオコーディング方法。

【請求項8】

前記現在ビデオブロックに前記ＴＩＭＤモードが適用されるとの決定に応答して、前記エンコーダによって、前記ＴＩＭＤモードにおいて使用される参照線を示す前記参照線のインデックスを決定することをさらに含み、前記参照線の前記インデックスが、前記現在ビデオブロックの前記イントラ予測モードを導出するために信号伝達される、請求項７に記載のビデオコーディング方法。

【請求項9】

前記参照線の前記インデックスが、２値符号語の可変セットのうちの２値符号語の１セットを用いて２値化される、請求項８に記載のビデオコーディング方法。

【請求項10】

前記２値符号語の前記可変セットの２値符号語の各セットが、次の２値化プロセス、すなわち、固定長２値化プロセス、切り捨てライス２値化プロセス、切り捨て単項２値化プロセス、切り捨てバイナリ（ＴＢ）２値化プロセス、ｋ次指数ゴロム（ＥＧｋ）２値化プロセス、限定ｋ次指数ゴロム（ＥＧｋ）２値化プロセスのうちの１つによって導出される、請求項９に記載のビデオコーディング方法。

【請求項11】

前記参照線の前記インデックスが、前記ＴＩＭＤモード用のグループになるように予め定義され、前記参照線の前記インデックスの各グループが、前記異なる参照線を含む、請求項８に記載のビデオコーディング方法。

【請求項12】

前記参照線の前記インデックスの前記グループが、｛０，１，２，．．．，Ｎ｝、｛０，２，４，．．．，２＊Ｎ｝、｛０，１，３，５，７，１２｝、｛０，１，２｝、｛０，１，３｝、｛０，１，３，５，７｝、｛０，１，３，５｝を含み、Ｎが、予め定義された整数である、請求項１１に記載のビデオコーディング方法。

【請求項13】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を備える装置であって、
前記１つまたは複数のプロセッサは、前記命令の実行時に、請求項１から１２のいずれかに記載の前記方法を実行するように構成される、装置。

【請求項14】

１つまたは複数のコンピュータプロセッサによって実行されたときに、前記１つまたは複数のコンピュータプロセッサに、ビットストリームを受信させ、前記ビットストリームに基づいて請求項１から６のいずれかに記載の前記方法を実行させるコンピュータ実行可能命令を記憶するための、非一過性コンピュータ可読記憶媒体。

【請求項15】

１つまたは複数のコンピュータプロセッサによって実行されたときに、前記１つまたは複数のコンピュータプロセッサに、請求項７から１２のいずれかに記載の前記方法を実行して前記現在ビデオブロックをビットストリームに符号化させ、前記ビットストリームを送信させるコンピュータ実行可能命令を記憶するための、非一過性コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１１月１９日に出願された仮出願第６３／２８１，６０６号に基づき、当該仮出願に対する優先権を主張するものであり、当該仮出願の内容全体は、あらゆる目的で参照により本明細書に組み込まれる。
本開示は、ビデオの符号化および圧縮に関する。より詳細には、本開示は、デコーダ側イントラモード導出（ＤＩＭＤ：ｄｅｃｏｄｅｒ－ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）に関する。

【背景技術】

【0002】

デジタルビデオは、デジタル・テレビ、ラップトップ・コンピュータまたはデスクトップ・コンピュータ、タブレット・コンピュータ、デジタル・カメラ、デジタル記録デバイス、デジタル・メディア・プレーヤ、ビデオゲーミング・コンソール、スマート・フォン、ビデオ電話会議デバイス、ビデオストリーミング・デバイスなど、様々な電子デバイスによってサポートされている。電子デバイスは、通信ネットワークを介してデジタルビデオデータを送信および受信するか、もしくは他の方法で通信し、かつ／またはデジタルビデオデータを記憶デバイスに記憶する。通信ネットワークの帯域幅容量に制限があるため、また記憶デバイスのメモリ・リソースに制限があるため、ビデオデータが通信または記憶される前に１つまたは複数のビデオ符号化標準に従ってビデオデータを圧縮するためにビデオ符号化が使用される場合がある。例えば、ビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、共同探索テスト・モデル（ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ Ｍｏｄｅｌ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６５）、高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６４）、動画像専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化などを含む。ビデオ符号化は、一般に、ビデオデータに固有の冗長性を活用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することを目的としている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の例は、イントラ予測符号化モードを用いたビデオ復号方法および装置を提供する。

【課題を解決するための手段】

【0004】

本開示の第１の態様によれば、ビデオ復号方法が提供される。方法は、デコーダによって、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示す信号フラグを受信することと、信号フラグに基づいて現在ビデオブロックにＴＩＭＤモードが適用されるとの決定に応答して、デコーダによって、現在ビデオブロックの再構成エリア内の異なる参照線に基づいてＴＩＭＤモードからイントラ予測モードを導出することであって、再構成エリアが現在ビデオブロックの再構成された近傍ブロックを含むこと、を含んでもよい。

【0005】

本開示の第２の態様によれば、ビデオ符号化方法が提供される。方法は、エンコーダによって、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示すフラグを信号伝達することと、信号フラグに基づいて現在ビデオブロックにＴＩＭＤモードが適用されるとの決定に応答して、エンコーダによって、現在ビデオブロックの再構成エリア内の異なる参照線に基づいてＴＩＭＤモードからイントラ予測モードを導出することであって、再構成エリアが現在ビデオブロックの再構成された近傍ブロックを含むこと、を含んでもよい。

【0006】

上記の概略的な説明および以下の詳細な説明は、単に例示的かつ説明的なものであり、本開示を限定することを意図したものではないことを理解されたい。

【0007】

本明細書に組み込まれ本明細書の一部を構成する添付図面は、本開示と一致する例を示し、説明とともに本開示の原理を説明する役割を果たす。

【図面の簡単な説明】

【0008】

【図1】本開示のいくつかの実装形態に係る、ビデオブロックを符号化および復号するための例示的なシステムを示すブロック図である。

【図2】本開示のいくつかの実装形態に係る、例示的なビデオエンコーダを示すブロック図である。

【図3】本開示のいくつかの実装形態に係る、例示的なビデオデコーダを示すブロック図である。

【図4A】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4B】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4C】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4D】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4E】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図5A】本開示のいくつかの実装形態に係る、予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図5B】本開示のいくつかの実装形態に係る、予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図5C】本開示のいくつかの実装形態に係る、予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図5D】本開示のいくつかの実装形態に係る、予測モードに適用されるＰＤＰＣによって使用されるサンプルの定義を示す図である。

【図6】本開示のいくつかの実装形態に係る、許容されるＧＰＭ区分の例を示す図である。

【図7】本開示のいくつかの実装形態に係る、勾配解析が実行される選ばれた画素の例を示す図である。

【図8】本開示のいくつかの実装形態に係る、畳み込みプロセスを示す図である。

【図9】本開示のいくつかの実装形態に係る、２つのＨｏＧモードおよび１つの平面モードの加重平均による予測融合を示す図である。

【図10】本開示のいくつかの実装形態に係る、ＴＩＭＤにおいて使用されるテンプレートおよびその参照サンプルを示す図である。

【図11A】本開示のいくつかの実装形態に係る、ＴＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図11B】本開示のいくつかの実装形態に係る、ＴＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図11C】本開示のいくつかの実装形態に係る、ＴＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図11D】本開示のいくつかの実装形態に係る、ＴＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図12A】本開示のいくつかの実装形態に係る、ＤＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図12B】本開示のいくつかの実装形態に係る、ＤＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図12C】本開示のいくつかの実装形態に係る、ＤＩＭＤを用いたビデオ復号プロセスを示すブロック図である。

【図13】本開示のいくつかの実装形態に係る、提案された整数化方式で使用される分数ビットを示す図である。

【図14】本開示のいくつかの実装形態に係る、ユーザインターフェースと結合されたコンピューティング環境を示すブロック図である。

【図15】本開示のいくつかの実装形態に係る、ビデオ復号を示すブロック図である。

【図16】本開示のいくつかの実装形態に係る、ビデオ復号を示すブロック図である。

【図17】本開示のいくつかの実装形態に係る、ビデオ復号を示すブロック図である。

【図18】本開示のいくつかの実装形態に係る、予測ブロックの近傍の４つの参照線の一例を示す図である。

【図19】本開示のいくつかの実装形態に係る、拡張されたＭＲＬ候補リストの一例を示す図である。

【図20】本開示のいくつかの実装形態に係る、ビデオ復号を示すブロック図である。

【発明を実施するための形態】

【0009】

次に、例示的な実施形態を詳細に参照するが、その実施形態の例は添付の図面に示されている。以下の説明は添付の図面を参照しており、別段の記載がない限り、異なる図面における同じ番号は同じまたは類似の要素を表す。例示的な実施形態の以下の説明に記載される実装形態は、本開示に則したすべての実装形態を表すものではない。むしろ、その実装形態は、添付の特許請求の範囲に記載される本開示に関連する態様に則した装置および方法の単なる例である。

【0010】

本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定するよう意図されたものではない。単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、本開示および添付の特許請求の範囲で使用されるとき、文脈上明らかに別段の指示がない限り複数形も含むよう意図されている。本明細書で使用される「および／または」という用語は、関連する列挙された項目の１つまたは複数の任意またはすべての可能な組み合わせを意味するように、またそれらを含むように意図されていることも理解されたい。

【0011】

本明細書において「第１の」、「第２の」、「第３の」などの用語は様々な情報を説明するために使用され得るが、これらの用語によってその情報が限定されるべきではないことを理解されたい。これらの用語は、情報の１つのカテゴリを別のカテゴリと区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報は第２の情報と称されることがあり、同様に、第２の情報は第１の情報と称されることがある。「場合」という用語は、本明細書で使用されるとき、文脈に応じて「ときに」、「に際して」、または「判断に応じて」を意味すると理解され得る。

【0012】

ビデオデータを圧縮するために、様々なビデオ符号化技法が使用されることがある。ビデオ符号化は、１つまたは複数のビデオ符号化標準に従って実行される。例えば、今日では、よく知られたビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２とも呼ばれる）、および高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６４またはＭＰＥＧ－４ Ｐａｒｔ１０とも呼ばれる）を含み、これらは、ＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ－Ｔ ＶＥＣＧによって共同開発されている。ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、その以前の標準ＶＰ９の後継としてＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭ）によって開発された。デジタル・オーディオおよびデジタルビデオ圧縮標準を指すオーディオビデオ符号化（ＡＶＳ）は、中国のオーディオおよびビデオ符号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化標準のほとんどは、有名なハイブリッドビデオ符号化フレームワークに基づいて、すなわち、ビデオ画像またはシーケンスに存在する冗長性を削減するためのブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用して、また予測誤差のエネルギーをコンパクト化するための変換符号化を使用して、構築されている。ビデオ符号化技法の重要な目標は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することである。

【0013】

第１世代ＡＶＳ標準は、中国の国家標準「情報技術、高度オーディオビデオ符号化、Ｐａｒｔ２：ビデオ」（ＡＶＳ１として知られている）および「情報技術、高度オーディオビデオ符号化、Ｐａｒｔ１６：ラジオ・テレビ・ビデオ」（ＡＶＳ＋として知られている）を含む。これは、ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％のビットレートの節約を実現することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代ＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を目的とした一連の中国の国家標準「情報技術、効率的なマルチメディア符号化」（ＡＶＳ２として知られる）を含む。ＡＶＳ２の符号化効率はＡＶＳ＋の２倍である。２０１６年５月、ＡＶＳ２が中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提起された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション向けの新世代ビデオ符号化標準の１つである。２０１９年３月、第６８回ＡＶＳ会議において、ＨＥＶＣ標準と比較して約３０％のビットレートの節約を実現するＡＶＳ３－Ｐ２ベースラインが完成した。現在、高性能モデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、ＡＶＳ３標準の参照実装を実証するためにＡＶＳグループによって維持されている。

【0014】

図１は、本開示のいくつかの実装形態に係る、ビデオブロックを並行して符号化および復号するための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるビデオデータを生成および符号化するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップ・コンピュータ、タブレット・コンピュータ、スマート・フォン、セットトップ・ボックス、デジタル・テレビ、カメラ、ディスプレイデバイス、デジタル・メディア・プレーヤ、ビデオゲーミング・コンソール、ビデオストリーミング・デバイスなどを含む、多種多様な電子デバイスのいずれかを含んでもよい。いくつかの実装形態では、ソースデバイス１２および宛先デバイス１４にはワイヤレス通信機能が装備されている。

【0015】

いくつかの実装形態では、宛先デバイス１４は、復号対象となる符号化済みビデオデータを、リンク１６を介して受信してもよい。リンク１６は、符号化済みビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な任意のタイプの通信媒体またはデバイスを備えてもよい。一例において、リンク１６は、ソースデバイス１２が符号化済みビデオデータを宛先デバイス１４にリアルタイムで直接送信できるようにする通信媒体を備えてもよい。符号化済みビデオデータは、ワイヤレス通信プロトコルなどの通信標準に従って変調され、宛先デバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）スペクトルまたは１つもしくは複数の物理伝送線など、任意のワイヤレスまたはワイヤード通信媒体を含んでもよい。通信媒体は、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはインターネットなどのグローバル・ネットワークなど、パケットベースのネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0016】

いくつかの他の実装形態では、符号化済みビデオデータは、出力インターフェース２２から記憶デバイス３２に送信されてもよい。その後、記憶デバイス３２内の符号化済みビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてもよい。記憶デバイス３２は、ハード・ドライブ、ブルーレイディスク、デジタル多用途ディスク（ＤＶＤ）、コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュ・メモリ、揮発性もしくは不揮発性メモリ、または符号化済みビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、分散されたまたはローカルにアクセスされる様々なデータ記憶媒体のいずれかを含んでもよい。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成された符号化済みビデオデータを保持することができるファイル・サーバまたは別の中間記憶デバイスに対応してもよい。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイス３２から、記憶されたビデオデータにアクセスしてもよい。ファイル・サーバは、符号化済みビデオデータを記憶し、符号化済みビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのコンピュータであってもよい。例示的なファイル・サーバは、ウェブ・サーバ（例えば、ウェブサイト用）、ファイル転送プロトコル（ＦＴＰ：Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ、ネットワーク接続ストレージ（ＮＡＳ：Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）デバイス、またはローカル・ディスク・ドライブを含む。宛先デバイス１４は、ワイヤレス・チャネル（例えば、ワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）接続）、ワイヤード接続（例えば、デジタル加入者線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ケーブル・モデムなど）、またはファイル・サーバに記憶されている符号化済みビデオデータにアクセスするのに好適な両方の組み合わせを含む任意の標準データ接続を通じて、符号化済みビデオデータにアクセスしてもよい。記憶デバイス３２からの符号化済みビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組み合わせであってもよい。

【0017】

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８は、ビデオ捕捉デバイス、例えば、ビデオカメラ、以前に捕捉されたビデオを含むビデオアーカイブ、ビデオコンテンツ・プロバイダからビデオを受信するためのビデオフィード・インターフェース、および／もしくはソースビデオとしてコンピュータ・グラフィックス・データを生成するためのコンピュータ・グラフィックス・システム、またはそのようなソースの組み合わせなどのソースを含んでもよい。一例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ電話またはビデオ電話を形成してもよい。しかしながら、本出願で説明される実装形態は、一般にビデオ符号化に適用可能であってもよく、ワイヤレスおよび／またはワイヤード・アプリケーションに適用可能であってもよい。

【0018】

捕捉されたビデオ、事前に捕捉されたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化済みビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信されてもよい。符号化済みビデオデータはまた（または代替として）、復号および／または再生のために宛先デバイス１４または他のデバイスによって後でアクセスするために、記憶デバイス３２に記憶されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

【0019】

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介して、符号化済みビデオデータを受信してもよい。リンク１６を介して通信されるまたは記憶デバイス３２上に提供される符号化済みビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用するための、ビデオエンコーダ２０によって生成される様々な構文要素を含んでもよい。このような構文要素は、通信媒体上で送信される、記憶媒体上に記憶される、またはファイル・サーバ上に記憶される、符号化済みビデオデータ内に含まれてもよい。

【0020】

いくつかの実装形態では、宛先デバイス１４は、ディスプレイデバイス３４を含んでもよく、ディスプレイデバイス３４は、一体化されたディスプレイデバイス、および宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであってもよい。ディスプレイデバイス３４は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを備えてもよい。

【0021】

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０、ＡＶＣ、またはそのような標準の拡張などの独自の標準または業界標準に従って動作してもよい。本出願は特定のビデオ符号化／復号標準に限定されず、他のビデオ符号化／復号標準にも適用可能であることを理解されたい。ソースデバイス１２のビデオエンコーダ２０が、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成され得ることが一般に企図されている。同様に、宛先デバイス１４のビデオデコーダ３０が、これらの現在または将来の標準のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。

【0022】

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれかとして実装されてもよい。電子デバイスは、ソフトウェアにおいて部分的に実装される場合、ソフトウェア用の命令を好適な非一過性コンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行して、本開示で開示されたビデオ符号化／復号動作を実施してもよい。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１つもしくは複数のエンコーダまたはデコーダに含まれてもよく、そのいずれも、それぞれのデバイス内の組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ：ｃｏｍｂｉｎｅｄ ｅｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）の一部として統合されてもよい。

【0023】

図２は、本出願で説明されるいくつかの実装形態に係る、例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測符号化およびインター予測符号化を実施してもよい。イントラ予測符号化は、空間予測に依存して、所与のビデオフレームまたはピクチャ内のビデオデータにおける空間的冗長性を削減または除去する。インター予測符号化は、時間予測に依存して、ビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を削減または除去する。「フレーム」という用語は、ビデオ符号化の分野では「画像」または「ピクチャ」という用語と同義語として使用される場合があることに留意されたい。

【0024】

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号化ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。予測処理ユニット４１はさらに、動き推定ユニット４２、動き補償ユニット４４、区分ユニット４５、イントラ予測処理ユニット４６、イントラ・ブロック・コピー（ＢＣ）ユニット４８を含む。いくつかの実装形態では、ビデオエンコーダ２０は、ビデオブロック再構成のための逆量子化ユニット５８、逆変換処理ユニット６０、および加算器６２も含む。ブロック境界をフィルタリングして、再構成されたビデオからブロック状アーチファクトを除去するために、加算器６２とＤＰＢ６４との間にデブロッキング・フィルタなどのループ内フィルタ６３が配置されてもよい。加算器６２の出力をフィルタリングするために、デブロッキング・フィルタに加えて、サンプル適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタおよび／または適応ループ内フィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）などの別のループ内フィルタも使用されてもよい。いくつかの例では、ループ内フィルタは省略されてもよく、復号されたビデオブロックは、加算器６２によってＤＰＢ６４に直接提供されてもよい。ビデオエンコーダ２０は、固定のもしくはプログラム可能なハードウェア・ユニットの形式をとってもよく、または、図示された固定のもしくはプログラム可能なハードウェア・ユニットの１つまたは複数に分割されてもよい。

【0025】

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを記憶してもよい。ビデオデータメモリ４０内のビデオデータは、例えば、図１に示されたビデオソース１８から取得されてもよい。ＤＰＢ６４は、ビデオエンコーダ２０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを符号化する際に使用する参照ビデオデータ（例えば、参照フレームまたは参照ピクチャ）を記憶するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、様々なメモリ・デバイスのいずれかによって形成されてもよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

【0026】

図２に示されるように、予測処理ユニット４１内の区分ユニット４５は、ビデオデータを受信した後、ビデオデータをビデオブロックに区分する。この区分は、ビデオデータに関連付けられた４分木（ＱＴ：Ｑｕａｄ－Ｔｒｅｅ）構造などの予め定義された分裂構造に従ってビデオフレームをスライス、タイル（例えば、ビデオブロックのセット）、または他のより大きな符号化ユニット（ＣＵ）に区分することも含んでもよい。ビデオフレームは、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。配列内のサンプルは、画素またはペルと呼ばれることもある。配列またはピクチャの水平方向および垂直方向（または軸）のサンプルの数が、ビデオフレームのサイズおよび／または解像度を定義する。ビデオフレームは、例えばＱＴ区分を使用することによって複数のビデオブロックに分割されてもよい。ビデオブロックもやはり、ビデオフレームよりも小さい寸法ではあるが、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。ビデオブロックの水平方向および垂直方向（または軸）のサンプルの数が、ビデオブロックのサイズを定義する。ビデオブロックは、例えば、ＱＴ区分、２分木（ＢＴ：Ｂｉｎａｒｙ－Ｔｒｅｅ）区分、もしくは３分木（ＴＴ：Ｔｒｉｐｌｅ－Ｔｒｅｅ）区分、またはそれらの任意の組み合わせを反復的に使用することによって、（再びブロックを形成し得る）１つもしくは複数のブロック区分またはサブブロックにさらに区分されてもよい。本明細書で使用される「ブロック」または「ビデオブロック」という用語がフレームまたはピクチャの一部分、特に矩形（正方形または非正方形）部分であり得ることに留意されたい。例えば、ＨＥＶＣおよびＶＶＣを参照すると、ブロックまたはビデオブロックは、符号化木ユニット（ＣＴＵ）、ＣＵ、予測ユニット（ＰＵ）、もしくは変換ユニット（ＴＵ）であるかもしくはそれらに対応してもよく、かつ／または、対応するブロック、例えば、符号化木ブロック（ＣＴＢ）、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）、もしくは変換ブロック（ＴＢ）、および／もしくはサブブロックであるかもしくはそれらに対応してもよい。

【0027】

予測処理ユニット４１は、誤差結果（例えば、符号化レートおよび歪みのレベル）に基づいて現在ビデオブロックに対して、複数のイントラ予測符号化モードのうちの１つ、または複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してもよい。予測処理ユニット４１は、結果として得られるイントラ予測符号化ブロックまたはインター予測符号化ブロックを、加算器５０に提供して残差ブロックを生成し、加算器６２に提供して、後で参照フレームの一部として使用するために符号化ブロックを再構成してもよい。予測処理ユニット４１はまた、動きベクトル、イントラモード・インジケータ、区分情報、および他のそのような構文情報などの構文要素をエントロピー符号化ユニット５６に提供する。

【0028】

現在ビデオブロックにとって適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化対象となる現在ブロックと同じフレーム内の１つまたは複数の隣接ブロックに対する現在ビデオブロックのイントラ予測符号化を実行して、空間予測を提供してもよい。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する現在ビデオブロックのインター予測符号化を実行して、時間予測を提供してもよい。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切な符号化モードを選択するために、複数の符号化パスを実行してもよい。

【0029】

いくつかの実装形態では、動き推定ユニット４２は、ビデオフレームのシーケンス内の所定のパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの変位を示す動きベクトルを生成することによって、現在のビデオフレームのインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム内で符号化されている現在ブロックに対する参照フレーム内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックの変位を示してもよい。所定のパターンは、シーケンス内のビデオフレームをＰフレームまたはＢフレームとして指定してもよい。イントラＢＣユニット４８は、インター予測のための動き推定ユニット４２による動きベクトルの決定と同様の方法で、イントラＢＣ符号化のためのベクトル、例えばブロック・ベクトルを決定してもよく、または、動き推定ユニット４２を利用してブロック・ベクトルを決定してもよい。

【0030】

ビデオブロックの予測ブロックは、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるビデオブロックと厳密に一致するとみなされる参照フレームのブロックもしくは参照ブロックであるか、またはそれらに対応してもよい。いくつかの実装形態では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数画素位置の値を算出してもよい。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間してもよい。したがって、動き推定ユニット４２は、全体の画素位置および分数画素位置に対する動き探索を実行し、分数画素精度を有する動きベクトルを出力してもよい。

【0031】

動き推定ユニット４２は、ビデオブロックの位置を第１の参照フレーム・リスト（リスト０）または第２の参照フレーム・リスト（リスト１）から選択された参照フレームの予測ブロックの位置と比較することによって、インター予測符号化フレーム内のビデオブロックの動きベクトルを算出し、参照フレーム・リストはそれぞれ、ＤＰＢ６４に記憶されている１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、算出された動きベクトルを動き補償ユニット４４に送り、次いで、エントロピー符号化ユニット５６に送る。

【0032】

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含んでもよい。動き補償ユニット４４は、現在ビデオブロックの動きベクトルを受信すると、参照フレーム・リストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を特定し、その予測ブロックをＤＰＢ６４から取得し、その予測ブロックを加算器５０に転送してもよい。次いで、加算器５０は、符号化されている現在ビデオブロックの画素値から、動き補償ユニット４４によって提供される予測ブロックの画素値を減算することによって、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、ルマ差分成分もしくは彩度差分成分、またはその両方を含んでもよい。動き補償ユニット４４はまた、ビデオフレームのビデオブロックを復号する際にビデオデコーダ３０によって使用される、ビデオフレームのビデオブロックに関連付けられた構文要素を生成してもよい。構文要素は、例えば、予測ブロックを識別するために使用される動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に記載の任意の他の構文情報を含んでもよい。動き推定ユニット４２および動き補償ユニット４４は高度に統合されてもよいが、概念的な目的のために別々に図示されていることに留意されたい。

【0033】

いくつかの実装形態では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記で説明された方法と同様の方法で、ベクトルを生成して予測ブロックをフェッチしてもよいが、予測ブロックは、符号化されている現在ブロックと同じフレーム内にあり、ベクトルは、動きベクトルではなくブロック・ベクトルと呼ばれる。具体的には、イントラＢＣユニット４８は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。いくつかの例では、イントラＢＣユニット４８は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析を通じてそれらの性能をテストしてもよい。次に、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードの中から、使用する適切なイントラ予測モードを選択し、それに応じてイントラモード・インジケータを生成してもよい。例えば、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードに対するレート歪み解析を使用してレート歪み値を算出し、テストされたモードの中から、最良のレート歪み特性を有するイントラ予測モードを、使用する適切なイントラ予測モードとして選択してもよい。レート歪み解析は、一般に、符号化ブロックと、符号化ブロックを作成するために符号化された元の符号化されていないブロックとの間の歪み（または誤差）の量、および、符号化ブロックを作成するために使用されたビットレート（すなわち、ビット数）を決定する。イントラＢＣユニット４８は、様々な符号化ブロックの歪みおよびレートから比率を算出して、どのイントラ予測モードがそのブロックに対して最良のレート歪み値を示すかを決定してもよい。

【0034】

他の例では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４を全体的または部分的に使用して、本明細書に記載の実装形態に係るイントラＢＣ予測のためのそのような機能を実行してもよい。いずれの事例においても、イントラ・ブロック・コピーの場合、予測ブロックは、ＳＡＤ、ＳＳＤ、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるブロックと厳密に一致するとみなされるブロックであってもよく、予測ブロックの識別は、サブ整数画素位置の値の算出を含んでもよい。

【0035】

予測ブロックがイントラ予測による同じフレームからのブロックであるか、インター予測による異なるフレームからのブロックであるかに関わらず、ビデオエンコーダ２０は、符号化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算することによって残差ビデオブロックを形成し、画素差分値を形成してもよい。残差ビデオブロックを形成する画素差分値は、ルマ成分差分と彩度成分差分との両方を含んでもよい。

【0036】

イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測、またはイントラＢＣユニット４８によって実行されるイントラ・ブロック・コピー予測の代替として、現在ビデオブロックをイントラ予測してもよい。具体的には、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。そのようにするために、イントラ予測処理ユニット４６は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化してもよく、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット）は、テストされたイントラ予測モードから、使用する適切なイントラ予測モードを選択してもよい。イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してもよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化してもよい。

【0037】

予測処理ユニット４１がインター予測またはイントラ予測によって現在ビデオブロックの予測ブロックを決定した後、加算器５０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれてもよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。

【0038】

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ってもよい。量子化ユニット５４は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスはまた、係数の一部またはすべてに関連付けられたビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実行してもよい。代替として、エントロピー符号化ユニット５６が走査を実行してもよい。

【0039】

量子化に続いて、エントロピー符号化ユニット５６は、例えば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、構文ベースのコンテキスト適応型２値算術符号化（ＳＢＡＣ：Ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、確率間隔区分エントロピー（ＰＩＰＥ：Ｐｒｏｂａｂｉｌｉｔｙ Ｉｎｔｅｒｖａｌ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｅｎｔｒｏｐｙ）符号化、または別のエントロピー符号化方法論または技法を使用して、量子化された変換係数をビデオビットストリームにエントロピー符号化する。次いで、符号化されたビットストリームは、図１に示されるようにビデオデコーダ３０に送信されるか、または、後のビデオデコーダ３０への送信もしくはビデオデコーダ３０による取得のために、図１に示されるように記憶デバイス３２にアーカイブされてもよい。エントロピー符号化ユニット５６はまた、符号化されている現在のビデオフレームの動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

【0040】

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他のビデオブロックの予測のための参照ブロックを生成するために画素領域において残差ビデオブロックを再構成する。上述されたように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の参照ブロックから、動き補償された予測ブロックを生成してもよい。動き補償ユニット４４はまた、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するためのサブ整数画素値を算出してもよい。

【0041】

加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって作成された動き補償された予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを作成する。次いで、参照ブロックは、イントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって、後続のビデオフレーム内の別のビデオブロックをインター予測するための予測ブロックとして使用されてもよい。

【0042】

図３は、本出願のいくつかの実装形態に係る、例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９２を含む。予測処理ユニット８１はさらに、動き補償ユニット８２、イントラ予測ユニット８４、およびイントラＢＣユニット８５を含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上記で説明された符号化プロセスとほぼ逆の復号プロセスを実行してもよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してもよく、一方、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モード・インジケータに基づいて予測データを生成してもよい。

【0043】

いくつかの例では、ビデオデコーダ３０のユニットは、本出願の実装形態を実行するようにタスクを課されてもよい。また、いくつかの例では、本開示の実装形態は、ビデオデコーダ３０のユニットのうちの１つまたは複数に分割されてもよい。例えば、イントラＢＣユニット８５は、単独で、または動き補償ユニット８２、イントラ予測ユニット８４、およびエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットと組み合わせて、本出願の実装形態を実行してもよい。いくつかの例では、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって実行されてもよい。

【0044】

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号される、符号化されたビデオビットストリームなどのビデオデータを記憶してもよい。ビデオデータメモリ７９に記憶されるビデオデータは、例えば、記憶デバイス３２から、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレス・ネットワーク通信を介して、または物理的なデータ記憶媒体（例えば、フラッシュ・ドライブもしくはハード・ディスク）にアクセスすることによって取得されてもよい。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化済みビデオデータを記憶する符号化ピクチャ・バッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０のＤＰＢ９２は、ビデオデコーダ３０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを復号する際に使用する参照ビデオデータを記憶する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリ・デバイスを含むダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの様々なメモリ・デバイスのいずれかによって形成されてもよい。例示のために、図３では、ビデオデータメモリ７９およびＤＰＢ９２は、ビデオデコーダ３０の２つの別個の構成要素として描写されている。しかしながら、当業者には、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリ・デバイスまたは別個のメモリ・デバイスによって提供され得ることが明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

【0045】

復号プロセス中、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレーム・レベルおよび／またはビデオブロック・レベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトルまたはイントラ予測モード・インジケータ、および他の構文要素を生成する。次いで、エントロピー復号ユニット８０は、動きベクトルまたはイントラ予測モード・インジケータおよび他の構文要素を予測処理ユニット８１に転送する。

【0046】

ビデオフレームがイントラ予測符号化（Ｉ）フレームとしてまたは他のタイプのフレーム内のイントラ符号化予測ブロックに対して符号化されるとき、予測処理ユニット８１のイントラ予測ユニット８４は、信号伝達されたイントラ予測モード、および現在フレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに対する予測データを生成してもよい。

【0047】

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックに対する１つまたは複数の予測ブロックを作成する。予測ブロックのそれぞれは、参照フレーム・リストのうちの１つの中の参照フレームから作成されてもよい。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構築技法を使用して、参照フレーム・リストであるリスト０およびリスト１を構築してもよい。

【0048】

いくつかの例では、ビデオブロックが本明細書に記載のイントラＢＣモードに従って符号化されるとき、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信されたブロック・ベクトルおよび他の構文要素に基づいて、現在ビデオブロックの予測ブロックを作成する。予測ブロックは、ビデオエンコーダ２０によって定義された現在ビデオブロックと同じピクチャの再構成された領域内にあってもよい。

【0049】

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他の構文要素を解析することによって現在のビデオフレームのビデオブロックの予測情報を決定し、次いで、その予測情報を使用して、復号されている現在ビデオブロックの予測ブロックを作成する。例えば、動き補償ユニット８２は、受信された構文要素のいくつかを使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード（例えば、イントラ予測またはインター予測）、インター予測フレーム・タイプ（例えば、ＢまたはＰ）、フレームの参照フレーム・リストのうちの１つまたは複数に関する構築情報、フレームの各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定する。

【0050】

同様に、イントラＢＣユニット８５は、受信された構文要素のいくつか、例えばフラグを使用して、現在ビデオブロックがイントラＢＣモードを使用して予測されたこと、フレームのどのビデオブロックが再構成領域内にありＤＰＢ９２に記憶されるべきであるかに関する構築情報、フレームの各イントラＢＣ予測ビデオブロックのブロック・ベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定してもよい。

【0051】

動き補償ユニット８２はまた、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算出してもよい。この場合、動き補償ユニット８２は、受信された構文要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを作成してもよい。

【0052】

逆量子化ユニット８６は、ビデオフレーム内のビデオブロックごとにビデオエンコーダ２０によって算出された同じ量子化パラメータを使用して、ビットストリーム内に提供されエントロピー復号ユニット８０によってエントロピー復号された量子化変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は、画素領域内の残差ブロックを再構成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

【0053】

動き補償ユニット８２またはイントラＢＣユニット８５がベクトルおよび他の構文要素に基づいて現在ビデオブロックの予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することによって、現在ビデオブロックの復号されたビデオブロックを再構成する。復号されたビデオブロックをさらに処理するために、加算器９０とＤＰＢの間にデブロッキング・フィルタ、ＳＡＯフィルタ、および／またはＡＬＦなどのループ内フィルタ９１が配置されてもよい。いくつかの例では、ループ内フィルタ９１は省略されてもよく、復号されたビデオブロックは加算器９０によってＤＰＢ９２に直接提供されてもよい。次いで、所与のフレーム内の復号されたビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２またはＤＰＢ９２とは別個のメモリ・デバイスは、図１のディスプレイデバイス３４などのディスプレイデバイス上に後で提示するために、復号されたビデオを記憶してもよい。

【0054】

典型的なビデオ符号化プロセスでは、ビデオシーケンスは、典型的には、順序付けられたフレームまたはピクチャのセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで示される３つのサンプル配列を含んでもよい。ＳＬは、ルマサンプルの２次元配列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元配列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元配列である。他の例では、フレームは、単色であってもよく、したがってルマサンプルの２次元配列を１つだけ含む。

【0055】

図４Ａに示されるように、ビデオエンコーダ２０（または、より具体的には区分ユニット４５）は、最初にフレームを１組のＣＴＵに区分することによって、フレームの符号化された表現を生成する。ビデオフレームは、ラスタ走査順序で左から右および上から下に連続して順序付けされた整数個のＣＴＵを含んでもよい。各ＣＴＵは最も大きい論理符号化単位であり、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のいずれか１つである同じサイズを有するように、ＣＴＵの幅および高さはシーケンス・パラメータ・セットにおいてビデオエンコーダ２０によって信号伝達される。しかしながら、本出願が必ずしも特定のサイズに限定されるわけではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、ルマサンプルの１つのＣＴＢと、彩度サンプルの２つの対応する符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。構文要素は、画素の符号化されたブロックの異なるタイプの単位の特性、ならびにインター予測またはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、ビデオデコーダ３０においてビデオシーケンスがどのように再構成され得るかを記述する。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一の符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。符号化木ブロックは、サンプルのＮ×Ｎブロックであってもよい。

【0056】

より良好な性能を実現するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロック上で２分木区分、３分木区分、４分木区分、またはそれらの組み合わせなどの木区分を再帰的に実行し、ＣＴＵをより小さいＣＵに分割してもよい。図４Ｃに描写されるように、６４×６４のＣＴＵ４００は、最初に、それぞれが３２×３２のブロック・サイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵのうち、ＣＵ４１０およびＣＵ４２０はそれぞれ、ブロック・サイズによって１６×１６の４つのＣＵに分割される。２つの１６×１６のＣＵ４３０およびＣＵ４４０はそれぞれ、ブロック・サイズによって８×８の４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに描写されたＣＴＵ４００の区分プロセスの最終結果を示す４分木データ構造を描写しており、４分木の各葉ノードは、３２×３２から８×８までの範囲のそれぞれのサイズの１つのＣＵに対応する。図４Ｂに描写されたＣＴＵと同様に、各ＣＵは、ルマサンプルのＣＢと、同じサイズのフレームの彩度サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文構造とを含んでもよい。図４Ｃおよび図４Ｄに描写された４分木区分は説明のみを目的としており、様々な局所特定に適応するために、１つのＣＴＵが４分木／３分木／２分木区分に基づいてＣＵに分裂されてもよいことに留意されたい。マルチタイプ木構造では、１つのＣＴＵは４分木構造によって区分され、各４分木葉ＣＵは２分木構造および３分木構造によってさらに区分されてもよい。図４Ｅに示されるように、幅Ｗおよび高さＨを有する符号化ブロックの５つの可能な区分タイプ、すなわち、４区分、水平２区分、垂直２区分、水平３区分、および垂直３区分がある。

【0057】

いくつかの実装形態では、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×ＮのＰＢにさらに区分してもよい。ＰＢは、インター予測またはイントラ予測の同じ予測が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵのＰＵは、ルマサンプルのＰＢと、彩度サンプルの２つの対応するＰＢと、ＰＢを予測するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一のＰＢと、ＰＢを予測するために使用される構文構造とを含んでもよい。ビデオエンコーダ２０は、ＣＵの各ＰＵのルマ、Ｃｂ、およびＣｒのＰＢに対する予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成してもよい。

【0058】

ビデオエンコーダ２０は、イントラ予測またはインター予測を使用してＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。

【0059】

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵに対して予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのルマ残差ブロック内の各サンプルがＣＵの予測ルマブロックのうちの１つ内のルマサンプルとＣＵの元のルマ符号化ブロック内の対応するサンプルとの間の差分を示すように、ＣＵの予測ルマブロックをその元のルマ符号化ブロックから減算することによってＣＵのルマ残差ブロックを生成してもよい。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロック内の各サンプルがＣＵの予測Ｃｂブロックのうちの１つ内のＣｂサンプルとＣＵの元のＣｂ符号化ブロック内の対応するサンプルとの間の差分を示すように、またＣＵのＣｒ残差ブロック内の各サンプルがＣＵの予測Ｃｒブロックのうちの１つ内のＣｒサンプルとＣＵの元のＣｒ符号化ブロック内の対応するサンプルとの間の差分を示し得るように、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成してもよい。

【0060】

さらに、図４Ｃに示されるように、ビデオエンコーダ２０は、４分木区分を使用して、ＣＵのルマ残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックをそれぞれ１つまたは複数のルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解してもよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵのＴＵは、ルマサンプルの変換ブロックと、彩度サンプルの２つの対応する変換ブロックと、変換ブロック・サンプルを変換するために使用される構文要素とを含んでもよい。したがって、ＣＵの各ＴＵは、ルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられてもよい。いくつかの例では、ＴＵに関連付けられたルマ変換ブロックは、ＣＵのルマ残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用される構文構造とを含んでもよい。

【0061】

ビデオエンコーダ２０は、ＴＵのルマ変換ブロックに１つまたは複数の変換を適用して、ＴＵのルマ係数ブロックを生成してもよい。係数ブロックは変換係数の２次元配列であってもよい。変換係数はスカラ量であってもよい。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｂ係数ブロックを生成してもよい。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｒ係数ブロックを生成してもよい。

【0062】

ビデオエンコーダ２０は、係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化してもよい。量子化は、一般に、変換係数を表現するために使用されるデータ量を可能性として削減してさらなる圧縮を実現するために、変換係数が量子化されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素をエントロピー符号化してもよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対してＣＡＢＡＣを実行してもよい。最後に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を形成するビットのシーケンスを含むビットストリームを出力してもよく、ビットストリームは、記憶デバイス３２に保存されるか、または宛先デバイス１４に送信される。

【0063】

ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビットストリームを解析してビットストリームから構文要素を取得してもよい。ビデオデコーダ３０は、ビットストリームから取得された構文要素に少なくとも部分的に基づいてビデオデータのフレームを再構成してもよい。ビデオデータを再構成するプロセスは、ビデオエンコーダ２０によって実行される符号化プロセスとほぼ逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、現在ＣＵのＴＵに関連付けられた残差ブロックを再構成してもよい。ビデオデコーダ３０はまた、現在ＣＵのＰＵの予測ブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在ＣＵの符号化ブロックを再構成する。ビデオデコーダ３０は、フレームの各ＣＵについて符号化ブロックを再構成した後、フレームを再構成してもよい。

【0064】

上述されたように、ビデオ符号化は、主に２つのモード、すなわちフレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を使用してビデオ圧縮を実現する。ＩＢＣはフレーム内予測または第３のモードとみなされ得ることに留意されたい。参照ビデオブロックから現在ビデオブロックを予測するために動きベクトルを使用するので、２つのモードのうち、フレーム間予測の方がフレーム内予測よりも符号化効率に大きく寄与する。

【0065】

しかしながら、ビデオデータ捕捉技術が常に向上しており、ビデオデータの詳細を保持するためのビデオブロック・サイズがより微細化されているため、現在フレームの動きベクトルを表現するために必要なデータ量も大幅に増加している。この課題を克服する方法の１つは、空間領域と時間領域との両方における隣接するＣＵのグループが予測目的のために類似するビデオデータを有するだけでなく、これらの隣接するＣＵ間の動きベクトルも類似しているという事実から恩恵を受けることである。したがって、空間的に隣接するＣＵおよび／または時間的に同じ場所にあるＣＵの動き情報を、それらの空間的相関および時間的相関を調査することによって現在ＣＵの動き情報（例えば、動きベクトル）の近似値として使用することが可能であり、これは、現在ＣＵの「動きベクトル予測子（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）」とも呼ばれる。

【0066】

図３に関連して上記で説明されたように動き推定ユニット４２によって決定された現在ＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在ＣＵの動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を作成するために、現在ＣＵの実際の動きベクトルから現在ＣＵの動きベクトル予測子が減算される。そうすることにより、動き推定ユニット４２によってフレームのＣＵごとに決定された動きベクトルをビデオビットストリームに符号化する必要がなくなり、ビデオビットストリーム内の動き情報を表現するために使用されるデータ量が大幅に削減される場合がある。

【0067】

符号ブロックのフレーム間予測中に参照フレーム内の予測ブロックを選ぶプロセスと同様に、現在ＣＵの空間的に隣接するＣＵおよび／または時間的に同じ位置にあるＣＵに関連付けられた潜在的な候補動きベクトルを使用して現在ＣＵの動きベクトル候補リスト（「マージ・リスト」とも呼ばれる）を構築し、次いで、動きベクトル候補リストから現在ＣＵの動きベクトル予測子として１つの要素を選択するために、ビデオエンコーダ２０とビデオデコーダ３０との両方によって一連の規則が採用される必要がある。そうすることにより、動きベクトル候補リスト自体をビデオエンコーダ２０からビデオデコーダ３０に送信する必要がなくなり、ビデオエンコーダ２０およびビデオデコーダ３０が現在ＣＵを符号化および復号するために動きベクトル候補リスト内の同じ動きベクトル予測子を使用するには、動きベクトル候補リスト内の選択された動きベクトル予測子のインデックスで十分である。

【0068】

位置依存イントラ予測組み合わせ
ＶＶＣでは、ＤＣモード、平面モード、およびいくつかの角度モードのイントラ予測の結果は、位置依存イントラ予測組み合わせ（ＰＤＰＣ：ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ）方法によってさらに修正される。ＰＤＰＣは、境界参照サンプルとフィルタリングされた境界参照サンプルを用いたＨＥＶＣスタイル・イントラ予測との組み合わせを呼び出すイントラ予測方法である。ＰＤＰＣは、信号伝達なしで、次のイントラモード、すなわち平面、ＤＣ、水平以下のイントラ角度、および垂直以上８０以下のイントラ角度に適用される。現在ブロックがＢｄｐｃｍモードであるか、またはＭＲＬインデックスが０より大きい場合、ＰＤＰＣは適用されない。

【0069】

イントラ予測モード（ＤＣ、平面、角度）および参照サンプルの線形組み合わせを使用して、次の方程式
ｐｒｅｄ（ｘ’，ｙ’）＝Ｃｌｉｐ（０，（１＜＜ＢｉｔＤｅｐｔｈ）－１，（ｗＬ×Ｒ－１，ｙ’＋ｗＴ×Ｒｘ’，－１＋（６４－ｗＬ－ｗＴ）×ｐｒｅｄ（ｘ’，ｙ’）＋３２）＞＞６）
に従って、予測サンプルｐｒｅｄ（ｘ’，ｙ’）が予測され、ここで、Ｒｘ，－１、Ｒ－１，ｙは、それぞれ現在のサンプル（ｘ，ｙ）の上および左の境界に位置する参照サンプルを表す。

【0070】

ＰＤＰＣがＤＣ、平面、水平、および垂直のイントラモードに適用される場合、ＨＥＶＣ ＤＣモード境界フィルタまたは水平／垂直モード・エッジ・フィルタの場合に必要な追加の境界フィルタは必要ない。ＤＣモードおよび平面モードのＰＤＰＣプロセスは同一である。角度モードの場合、現在の角度モードがＨＯＲ＿ＩＤＸまたはＶＥＲ＿ＩＤＸである場合、左または上の参照サンプルはそれぞれ使用されない。ＰＤＰＣの重みおよびスケール係数は、予測モードおよびブロック・サイズに依存する。ＰＤＰＣは、幅と高さの両方が４以上のブロックに適用される。

【0071】

図５Ａ～図５Ｄは、様々な予測モードに適用されるＰＤＰＣの参照サンプル（Ｒｘ，－１およびＲ－１，ｙ）の定義を示す。図５Ａは、対角右上モードの一例を示す。図５Ｂは、対角左下モードの一例を示す。図５Ｃは、隣接対角右上モードの一例を示す。図５Ｄは、隣接対角左下モードの一例を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。一例として、対角モードの場合、参照サンプルＲｘ，－１の座標ｘはｘ＝ｘ’＋ｙ’＋１によって与えられ、参照サンプルＲ－１，ｙの座標ｙも同様にｙ＝ｘ’＋ｙ’＋１によって与えられる。他の角度モードの場合、参照サンプルＲｘ，－１およびＲ－１，ｙは分数サンプル位置に配置され得る。この場合、最も近い整数のサンプル位置のサンプル値が使用される。

【0072】

前述されたように、イントラ予測サンプルは、フィルタリングされていないまたはフィルタリングされた隣接する参照サンプルのセットから生成され、これは、現在の符号化ブロックとその隣接ブロックとの間のブロック境界に沿って不連続性を生じさせる可能性がある。そのような問題を解決するために、ＨＥＶＣでは、２タップ・フィルタ（ＤＣモードの場合）または勾配ベースの平滑化フィルタ（水平予測モードおよび垂直予測モードの場合）を利用して、ＤＣ予測モード、水平予測モード（すなわち、モード１８）、および垂直予測モード（すなわち、モード５０）の予測サンプルの最初の行／列をフィルタリングされていない参照サンプルと組み合わせることによって、境界フィルタリングが適用される。

【0073】

勾配ＰＤＰＣ
ＶＶＣでは、いくつかのシナリオの場合、２次参照サンプルが利用できないため、ＰＤＰＣが適用されない場合がある。水平／垂直モードから拡張された勾配ベースのＰＤＰＣが適用される。ＰＤＰＣ重み（ｗＴ／ｗＬ）、および左／上の境界からの距離に関するＰＤＰＣ重みにおける減衰を決定するためのｎＳｃａｌｅパラメータは、それぞれ水平／垂直モードの対応するパラメータと等しくなるように設定される。２次参照サンプルが分数サンプル位置にある場合、双線形補間が適用される。

【0074】

幾何学的区分モード（ＧＰＭ：ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎ ｍｏｄｅ）
ＶＶＣでは、インター予測のために幾何学的区分モードがサポートされている。幾何学的区分モードは、１つのＣＵレベル・フラグによって、１つの特別なマージ・モードとして信号伝達される。現在のＧＰＭ設計では、８×６４および６４×８を除く、幅と高さとの両方が８以上６４以下である可能なＣＵサイズごとに、ＧＰＭモードによって合計６４個の区分がサポートされている。

【0075】

このモードが使用される場合、図６に示されるように、幾何学的に配置された直線によってＣＵが２つの部分に分裂される。分裂線の位置は、特定の区分の角度およびオフセット・パラメータから数学的に導出される。ＣＵ内の幾何学的区分の各部分は、その独自の動きを使用してインター予測され、各区分について単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）のみが許容され、すなわち、各部分は、１つの動きベクトルおよび１つの参照インデックスを有する。従来の双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）と同様に、各ＣＵに必要な動き補償予測が２つだけであることを保証するために、単予測動き制約が適用される。現在ＣＵに幾何学的区分モードが使用される場合、幾何学的区分の区分モードを示す幾何学的区分インデックス（角度およびオフセット）および２つのマージ・インデックス（各区分に１つ）がさらに信号伝達される。最大ＧＰＭ候補サイズの数は、シーケンス・レベルで明示的に信号伝達される。

【0076】

幾何学的区分のエッジに沿った混合
各幾何学的区分がその独自の動きを使用して取得された後、幾何学的区分のエッジの周囲のサンプルを導出するために、２つの単予測信号に混合が適用される。ＣＵの各位置の混合重みは、個々のサンプル位置から対応する区分エッジまでの距離に基づいて導出される。

【0077】

ＧＰＭ信号伝達設計
現在のＧＰＭ設計によれば、ＧＰＭの使用は、ＣＵレベルで１つのフラグを信号伝達することによって示される。現在ＣＵがマージ・モードまたはスキップ・モードによって符号化されている場合にのみ、フラグが信号伝達される。具体的には、フラグが１に等しい場合、フラグは、現在ＣＵがＧＰＭによって予測されていることを示す。それ以外の場合（フラグがゼロに等しい場合）、ＣＵは、通常のマージ・モード、動きベクトル差分を伴うマージ・モード、組み合わされたインター予測およびイントラ予測などの別のマージ・モードによって符号化されている。現在ＣＵに対してＧＰＭが有効である場合、（図６に示されるように、ＣＵを２つの区分に分裂するＣＵ中心からの直線の方向およびオフセットを指定する）適用される幾何学的区分モードを示すために、１つの構文要素、すなわちｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘがさらに信号伝達される。その後、第１のＧＰＭ区分および第２のＧＰＭ区分に使用される単予測マージ候補のインデックスを示すために、２つの構文要素、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１が信号伝達される。より具体的には、これらの２つの構文要素は、セクション「単予測マージ・リストの構築」で説明されるように、単予測マージ・リストから２つのＧＰＭ区分の単方向性ＭＶを決定するために使用される。現在のＧＰＭ設計によれば、２つの単方向性ＭＶをより異なるものにするために、２つのインデックスは同じであることはできない。そのような事前知識に基づいて、最初に、第１のＧＰＭ区分の単予測マージ・インデックスが信号伝達され、第２のＧＰＭ区分の単予測マージ・インデックスの信号伝達オーバーヘッドを削減するための予測子として使用される。詳細には、第２の単予測マージ・インデックスが第１の単予測マージ・インデックスより小さい場合、その元の値が直接信号伝達される。それ以外の場合（第２の単予測マージ・インデックスが第１の単予測マージ・インデックスより大きい場合）、その値は、ビットストリームに信号伝達される前に１だけ減算される。デコーダ側では、最初に、第１の単予測マージ・インデックスはデコーダである。次いで、第２の単予測マージ・インデックスの復号では、解析された値が第１の単予測マージ・インデックスより小さい場合、第２の単予測マージ・インデックスは解析値に等しくなるように設定され、それ以外の場合（解析された値が第１の単予測マージ・インデックス以上である場合）、第２の単予測マージ・インデックスは、解析された値に１を加えた値に等しくなるように設定される。表１は、現在のＶＶＣ仕様においてＧＰＭモードに使用される既存の構文要素を示している。

【0078】

【表1】

【0079】

一方、現在のＧＰＭ設計では、２つの単予測マージ・インデックス、すなわちｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の２値化のために、切り捨てられた単項符号が使用される。さらに、２つの単予測マージ・インデックスは同じであることはできないので、２つの単予測マージ・インデックスの符号語が切り捨てるために異なる最大値が使用され、最大値は、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に対してそれぞれ、ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１およびＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－２に等しくなるように設定される。ＭａｘＧＰＭＭｅｒｇｅＣａｎｄは、単予測マージ・リスト内の候補の数である。

【0080】

ＧＰＭ／ＡＷＰモードが適用される場合、構文ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘを２値ビットの文字列に変換するために、２つの異なる２値化方法が適用される。具体的には、それぞれＶＶＣ標準およびＡＶＳ３標準における固定長符号および切り捨てられた２値符号によって、構文要素が２値化される。一方、ＡＶＳ３のＡＷＰモードの場合、２値化のために、異なる最大値が使用される。

【0081】

空間角度重み付け予測（ＳＡＷＰ：Ｓｐａｔｉａｌ ａｎｇｕｌａｒ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）
ＡＶＳでは、ＧＰＭモードをイントラ・ブロックに拡張する空間角度重み付け予測（ＳＡＷＰ）モード。ＳＡＷＰモードでは、２つのインター予測ブロックを重み付けする代わりに、２つのイントラ予測ブロックが重み付けされる。２つのイントラ予測ブロックは、イントラ予測モードから選択される２つの異なるイントラ予測モードを使用して予測される。イントラ予測モードは角度モード５～３０から選択される。最大サイズは３２×３２である。ＳＡＷＰモードのＭＰＭ導出のために、通常のイントラモードの２つの最確モード（ＭＰＭ）が使用される。

【0082】

多方向イントラ予測設計（ＭＤＩＰ：Ｍｕｌｔｉ－ｄｉｒｅｃｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）はＳＡＷＰと同じ設計精神に従うが、ある特定の設計の詳細に若干の違いがある。

【0083】

デコーダ側イントラモード導出（ＤＩＭＤ）
ＤＩＭＤは、ルマイントラ予測モード（ＩＰＭ）がビットストリームを介して送信されないイントラ符号化ツールである。代わりに、ＩＰＭは、エンコーダおよびデコーダにおいて同一の方式で、以前に符号化／復号された画素を使用して導出される。ＤＩＭＤ方法は、テクスチャ勾配処理を実行して２つの最適なモードを導出する。次いで、これらの２つのモードおよび平面モードはブロックに適用され、それらの予測子が加重平均される。ＤＩＭＤの選択結果は、フラグを使用してイントラ符号化済みブロックのビットストリームにおいて信号伝達される。デコーダでは、ＤＩＭＤフラグが真である場合、同じ以前に符号化された隣接画素を使用して再構成プロセスでイントラ予測モードが導出される。真ではない場合、イントラ予測モードは、古典的なイントラ符号化モードと同様にビットストリームから解析される。

【0084】

ブロックのイントラ予測モードを導出するには、最初に、勾配解析を実行することになる隣接画素のセットを選択しなければならない。規範性を目的として、これらの画素は、復号／再構成された画素のプール内にあるべきである。図７に示されるように、現在ブロックを左にＴ画素、上にＴ画素だけ囲むテンプレートを選ぶ。次に、テンプレートの画素に対して勾配解析を実行する。これは、現在ブロックのうちの１つと同一である可能性が高いと仮定する（本方法の中核前提である）、テンプレートの主要な角度方向を決定することを可能にする。したがって、テンプレートとともに畳み込まれる以下の行列、

【数1】

によって定義される単純な３×３のソーベル勾配フィルタを使用する。

【0085】

テンプレートの画素ごとに、これらの２つの行列のそれぞれに、現在画素を中心とし、その８つの直接近傍で構成される３×３ウィンドウを一つ一つ乗算し、その結果を合計する。したがって、現在画素での水平方向および垂直方向の勾配に対応する２つの値Ｇｘ（Ｍｘとの乗算から）およびＧｙ（Ｍｙとの乗算から）をそれぞれ取得する。

【0086】

図８は、畳み込みプロセスを示す。青色画素は、現在画素である。（青色を含む）赤色画素は、勾配解析が可能な画素である。灰色画素は、近傍が欠如しているために勾配解析が不可能な画素である。紫色画素は、考慮されたテンプレートの外側の利用可能な（再構成された）画素であり、赤色画素の勾配解析に使用される。（例えば、ブロックがピクチャの境界に近すぎるために）紫色画素が使用できない場合、この紫色画素を使用するすべての赤色画素の勾配解析は実行されない。赤色画素ごとに、ＧｘおよびＧｙを使用して勾配の強度（Ｇ）および配向（Ｏ）を、

【数2】

のように計算する。

【0087】

次いで、勾配の配向は、イントラ角度予測モードに変換され、ヒストグラムにインデックス付けするために使用される（最初はゼロに初期化される）。そのイントラ角度モードでのヒストグラム値はＧだけ増加する。テンプレート内のすべての赤色画素が処理されると、ヒストグラムは、各イントラ角度モードの勾配強度の累積値を含むことになる。現在ブロックに対して、最も高い２つのヒストグラム・バーに対応するＩＰＭが選択される。ヒストグラム内の最大値が０である場合（勾配解析を行うことができなかったか、またはテンプレートを構成するエリアが平坦であることを意味する）、現在ブロックのイントラ予測モードとしてＤＣモードが選択される。

【0088】

最も高い２つのＨｏＧバーに対応する２つのＩＰＭは、平面モードと組み合わされる。１つまたは複数の例では、上記の３つの予測子の加重平均として予測融合が適用される。この目的のために、平面の重みは２１／６４（約１／３）に固定される。その場合、残りの重み４３／６４（約２／３）は、ＨｏＧバーの振幅に比例して２つのＨｏＧ ＩＰＭ間で共有される。図９はこのプロセスを視覚化している。

【0089】

導出されたイントラモードはイントラ最確モード（ＭＰＭ）の１次リストの中に含まれ、したがって、ＭＰＭリストが構築される前にＤＩＭＤプロセスが実行される。ＤＩＭＤブロックの１次導出イントラモードは、ブロックとともに記憶され、隣接ブロックのＭＰＭリスト構築のために使用される。

【0090】

テンプレートベースのイントラモード導出（ＴＩＭＤ：Ｔｅｍｐｌａｔｅ－ｂａｓｅｄ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）
ＭＰＭにおける各イントラモードについて、図１０に示されたテンプレート領域の予測サンプルと再構成サンプルとの間の絶対変換差分の和（ＳＡＴＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅ）が計算され、最も小さいＳＡＴＤコストを有する最初の２つのモードを有するイントラモードが選択され、次いで、それらを重みと融合し、そのような重み付けされたイントラ予測は、現在ＣＵを符号化するために使用される。

【0091】

選択された２つのモードのコストは閾値と比較され、テストにおいて、次のようにコスト係数２が適用される。
ｃｏｓｔＭｏｄｅ２＜２＊ｃｏｓｔＭｏｄｅ１

【0092】

この条件が真である場合、融合が適用され、それ以外の場合、ｍｏｄｅ１のみが使用される。

【0093】

モードの重みは、次のようにそれらのＳＡＴＤコストから計算される。
ｗｅｉｇｈｔ１＝ｃｏｓｔＭｏｄｅ２／（ｃｏｓｔＭｏｄｅ１＋ｃｏｓｔＭｏｄｅ２）
ｗｅｉｇｈｔ２＝１－ｗｅｉｇｈｔ１

【0094】

複数参照線（ＭＲＬ：ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）イントラ予測
複数参照線（ＭＲＬ）イントラ予測は、イントラ予測のためにより多くの参照線を使用する。図１８では、４つの参照線の一例が描写されており、セグメントＡおよびセグメントＦのサンプルは、再構成された近傍サンプルからフェッチされず、それぞれセグメントＢおよびセグメントＥから最も近いサンプルでパディングされる。ＨＥＶＣイントラ・ピクチャ予測は、最も近い参照線（すなわち、参照線０）を使用する。ＭＲＬでは、追加の２つのライン（参照線１および参照線３）が使用される。

【0095】

選択された参照線のインデックス（ｍｒｌ＿ｉｄｘ）が信号伝達され、イントラ予測子を生成するために使用される。０より大きい参照線・インデックスの場合、ＭＰＭリストに追加の参照線・モードのみを含め、残りのモードなしでｍｐｍインデックスのみを信号伝達する。参照線・インデックスはイントラ予測モードの前に信号伝達され、非ゼロの参照線・インデックスが信号伝達される場合、平面モードはイントラ予測モードから除外される。

【0096】

現在のＣＴＵラインの外側の拡張された参照サンプルを使用することを防ぐために、ＣＴＵの内側のブロックの最初のラインに対して、ＭＲＬは無効化される。また、追加のラインが使用される場合、ＰＤＰＣは無効化される。ＭＲＬモードの場合、非ゼロの参照線・インデックスに対するＤＣイントラ予測モードでのＤＣ値の導出は、参照線・インデックス０の導出と合致している。ＭＲＬは、予測を生成するために、ＣＴＵを用いて３つの近傍ルマ参照線を記憶することを必要とする。交差成分線形モデル（ＣＣＬＭ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）ツールも、そのダウン・サンプリング・フィルタ用の３つの近傍ルマ参照線を必要とする。同じ３つのラインを使用するＭＲＬの定義は、デコーダの記憶要件を軽減するためにＣＣＬＭと合致している。

【0097】

ＤＩＭＤモードはイントラ予測効率を高めることができるが、その性能をさらに向上させる余地がある。一方、既存のＤＩＭＤモードのいくつかの部分も、効率的なコーデック・ハードウェア実装のために簡素化されるか、またはより良好な符号化効率のために改善される必要がある。さらに、その実装の複雑さとその符号化効率の利点との間のトレードオフがさらに改善される必要がある。

【0098】

ＶＶＣの最終決定後、ＪＶＥＴグループは、ＶＶＣを超える圧縮効率を模索し続けた。ＪＶＥＴによって、ＶＶＣテスト・モデル（ＶＴＭ）上にいくつかの追加の符号化ツールを統合することにより拡張圧縮モデル（ＥＣＭ）と呼ばれる１つの参照ソフトウェアが維持された。現在のＥＣＭでは、イントラモードに応じてＰＤＰＣが使用される。ＤＩＭＤモードの場合、各イントラモードに応じてＰＤＰＣが使用される。図１１Ｄに示されるように、ＰＤＰＣ方式の２つの異なる位置が使用され、ＤＩＭＤモードの各イントラモードに適用される。ＤＩＭＤモードで角度モードが使用されるイントラ予測の場合、予測融合の前にＰＤＰＣが適用される。ＤＩＭＤモードでＤＣモードまたは平面モードが使用されるイントラ予測の場合、予測融合の後にＰＤＰＣが適用される。そのような統一されていない設計は、標準化の観点からは最適ではない可能性がある。

【0099】

同様に、融合方式の２つの異なる設計が利用可能であり、それぞれＤＩＭＤおよびＴＩＭＤに適用される。それぞれの異なる融合設計は、異なる候補および重み算出に関連付けられる。ＤＩＭＤが適用されるブロックの場合、最も高い２つのＨｏＧバーに対応する２つのＩＰＭおよび平面モードが、融合のために選択される。また、平面の重みは２１／６４（約１／３）に固定される。その場合、残りの重み４３／６４（約２／３）は、ＨｏＧバーの振幅に比例して２つのＨｏＧ ＩＰＭ間で共有される。ＴＩＭＤが適用されるブロックの場合、ＳＡＴＤコストが最も小さい最初の２つのモードを有するイントラモードが選ばれ、それらのＳＡＴＤコストからモードの重みが計算される。そのような統一されていない設計は、標準化の観点からは最適ではない可能性がある。上記に加えて、様々な融合方式によってその性能をさらに向上させる余地がある。

【0100】

現在のＥＣＭ設計では、ＤＩＭＤから導出されたイントラモードは、導出されたイントラモードがＤＩＭＤで既に使用されているかどうかに関係なく、イントラ最確モード（ＭＰＭ）の１次リストの中に含まれる。その性能をさらに向上させる余地がある。

【0101】

ＤＩＭＤおよびＴＩＭＤの既存の設計では、最適なイントラ予測モードの導出および１つの現在のＤＩＭＤ／ＴＩＭＤ符号化ブロックの対応する予測サンプルの生成に使用されるパラメータを算出するために、複数の浮動小数点演算（加算、乗算、および除算を含む）が関与する。具体的には、ＥＣＭにおける既存のＤＩＭＤおよびＴＩＭＤの設計において、以下の浮動小数点演算が適用される。

【0102】

１）ＤＩＭＤにおける勾配配向の導出：前に説明されたように、ＤＩＭＤモードでは、現在ブロックの上および左にある隣接する再構成されたサンプル（すなわち、テンプレート）の勾配のヒストグラム（ＨｏＧ：ｈｉｓｔｏｇｒａｍ ｏｆ ｔｈｅ ｇｒａｄｉｅｎｔ）の解析に基づいて、２つの最適なイントラ予測モードが選択される。そのような解析中、各テンプレート・サンプルの勾配配向が算出される必要があり、この勾配配向はさらに、既存の角度イントラ予測方向のうちの１つに変換される。ＥＣＭでは、水平勾配および垂直勾配に基づいてそのような配向を算出するために、浮動小数点の除算と乗算とのペアが各テンプレート・サンプルに適用され、すなわち、

【数3】

である。

【0103】

２）ＤＩＭＤにおける予測サンプルの混合：既存のＤＩＭＤ設計では、最も大きい勾配ヒストグラム振幅および２番目に大きい勾配ヒストグラム振幅を有する２つの角度イントラ予測モードを使用して生成された予測サンプルが平面モードの予測サンプルと混合されて、現在ブロックの最終的な予測サンプルを形成する。さらに、それらの勾配のヒストグラム振幅に基づいて、２つの角度イントラ予測の重みが決定され、

【数4】

として説明されるように、浮動小数点の加算、乗算、および除算の１つのグループが導入される。

【0104】

３）ＴＩＭＤにおける予測サンプルの混合：既存のＴＩＭＤ設計では、選択された２つのイントラモードのＳＡＴＤが十分に近い場合、２つのイントラモードから生成された予測サンプルがともに混合されて、現在ブロックのイントラモードの最終予測サンプルを生成する。現在の設計によれば、２つのイントラモードに適用される重みは、それらのそれぞれのＳＡＴＤ値に従って算出され、

【数5】

のように示されるように、一対の浮動小数点の乗算および除算が関与する。

【0105】

そのような上記の浮動小数点演算はすべて、ハードウェアとソフトウェアとの両方における実際のコーデック実装には非常にコストがかかる。

【0106】

本開示では、以前に指摘された問題に対処するために、ＤＩＭＤモードの既存の設計を簡素化および／またはさらに改善するための方法が提供される。一般に、本開示で提案される技術の主な特徴は、次のように要約される。

【0107】

１）．予測融合の前にすべてのイントラ予測にＰＤＰＣを適用することによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。そのような方法の一例が、図１２Ａのブロック図に示されている。

【0108】

２）．予測融合の後にすべてのイントラ予測にＰＤＰＣを適用することによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。そのような方法の一例が、図１２Ｂのブロック図に示されている。

【0109】

３）．ＤＩＭＤモードのすべてのイントラ予測のためのＰＤＰＣを無効にすることによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。そのような方法の一例が、図１２Ｃのブロック図に示されている。

【0110】

４）．ＤＩＭＤモードのＤＣ／平面イントラ予測のためのＰＤＰＣを無効にすることによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。

【0111】

５）．ＤＩＭＤモードの角度イントラ予測のためのＰＤＰＣを無効にすることによって、ＤＩＭＤモードにおける角度モードおよびＤＣ／平面モードの下で使用されるＰＤＰＣを統一する。

【0112】

６）．ＤＩＭＤモードの下で使用される融合方式をＴＩＭＤモードに適用することによって、ＤＩＭＤモードおよびＴＩＭＤモードの下で使用される融合方式を統一する。

【0113】

７）．ＴＩＭＤモードの下で使用される融合方式をＤＩＭＤモードに適用することによって、ＤＩＭＤモードおよびＴＩＭＤモードの下で使用される融合方式を統一する。

【0114】

８）．融合方式の選択結果を信号伝達することによって、ＤＩＭＤモードおよびＴＩＭＤモードの下で使用される融合方式を統一する。

【0115】

９）．導出されたイントラモードがＤＩＭＤにおいて既に使用されているかどうかを考慮して、ＤＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出する。

【0116】

１０）．ＴＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出する。

【0117】

提案された方法は、ＴＩＭＤ／ＭＤＩＰなどの他のイントラ予測符号化モードにも適用され得ることに留意されたい。ＴＩＭＤモードに適用される例の別のセットが、図１１Ａ～図１１Ｃのブロック図に示されている。図１１Ａは、ＴＩＭＤの融合プロセスの前にすべてのＰＤＰＣプロセスを適用する例を示す。図１１Ｂは、ＴＩＭＤの融合プロセスの後にすべてのＰＤＰＣプロセスを適用する例を示す。図１１Ｃは、ＴＩＭＤにおけるすべてのＰＤＰＣプロセスを無効にする例を示す。

【0118】

提案された方法は、組み合わされたインター予測およびイントラ予測と（ＣＩＩＰ：ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）などの他の組み合わされたイントラ予測符号化モードおよびインター予測符号化モードにも適用され得ることに留意されたい。

【0119】

開示された方法は、単独でまたは共同で適用され得ることに留意されたい。

【0120】

ＤＩＭＤにおける角度モードおよびＤＣ／平面モードに使用されるＰＤＰＣの調和
本開示の１つまたは複数の実施形態によれば、ＤＩＭＤモードの下で角度モードとＤＣ／平面モードとの両方に対して同じＰＤＰＣ位置が適用される。この目標を達成するために、様々な方法が使用されてもよい。

【0121】

本開示の一例では、図１２Ａに示されるように、ＤＩＭＤモードでの予測融合の前にＰＤＰＣ演算を適用することが提案される。言い換えれば、ＤＩＭＤモードでの予測融合の前に、そのイントラモードに基づいて各イントラ予測モードがＰＤＰＣに適用される。提案された方法は、ＴＩＭＤなどの他のイントラ予測符号化モードにも適用され得る。

【0122】

本開示の別の例では、図１２Ｂに示されるように、ＤＩＭＤモードでの予測融合の後にＰＤＰＣ演算を適用することが提案される。言い換えれば、特定のモード、例えば、ＤＣモード、平面モードに基づいて、３つの予測子の重み付けされた組み合わせがＰＤＰＣに適用される。一例では、特定のモードは平面モードであり、次いで、ＤＩＭＤモードでの予測融合の後に平面モードを有するＰＤＰＣが適用される。別の例では、最も高いヒストグラム・バーに対応するＩＰＭが特定のモードとして選択され、次いで、ＤＩＭＤモードでの予測融合の後に特定モードを有するＰＤＰＣが適用される。さらに別の例では、２番目に高いヒストグラム・バーに対応するＩＰＭが特定のモードとして選択され、次いで、ＤＩＭＤモードでの予測融合の後に特定のモードのＰＤＰＣが適用される。

【0123】

本開示の別の例では、ＤＩＭＤモードでのＰＤＰＣ演算を無効にすることが提案される。言い換えれば、図１２Ｃに示されるように、ＤＩＭＤモードではＰＤＰＣ演算は使用されない。

【0124】

本開示の別の例では、ＤＩＭＤモードでのＤＣ／平面イントラ予測のためのＰＤＰＣ演算を無効にすることが提案される。言い換えれば、ＤＩＭＤモードでのＤＣ／平面イントラ予測のためにＰＤＰＣ演算は使用されない。図１５に示されるような一例では、ステップ１５０２において、デコーダは、イントラ予測符号化モードでの位置依存イントラ予測組み合わせ（ＰＤＰＣ）演算を統一するために、１つまたは複数のビデオブロックの１つまたは複数のイントラ予測のためのＰＤＰＣ演算に基づいて、１つまたは複数のビデオブロックの予測サンプル値を決定してもよく、ＰＤＰＣ演算は、境界参照サンプルの組み合わせに基づいて１つまたは複数のイントラ予測の結果を修正する。ステップ１５０４において、デコーダは、イントラ予測符号化モードでのＰＤＰＣ演算を統一するために、１つまたは複数のビデオブロックの１つまたは複数のイントラ予測において直流（ＤＣ）モードまたは平面モードが適用されるとの決定に応答して、ＤＣモードまたは平面モードのためのＰＤＰＣ演算を無効にしてもよい。

【0125】

本開示のさらに別の例では、ＤＩＭＤモードでの角度イントラ予測のためのＰＤＰＣ演算を無効にすることが提案される。言い換えれば、ＤＩＭＤモードでの角度イントラ予測のためにＰＤＰＣ演算は使用されない。図１６に示されるような一例では、ステップ１６０２において、デコーダは、イントラ予測符号化モードでの位置依存イントラ予測組み合わせ（ＰＤＰＣ）演算を統一するために、１つまたは複数のビデオブロックの１つまたは複数のイントラ予測のためのＰＤＰＣ演算に基づいて、１つまたは複数のビデオブロックの予測サンプル値を決定してもよく、ＰＤＰＣ演算は、境界参照サンプルの組み合わせに基づいて１つまたは複数のイントラ予測の結果を修正する。ステップ１６０４において、デコーダは、イントラ予測符号化モードでのＰＤＰＣ演算を統一するために、１つまたは複数のビデオブロックの１つまたは複数のイントラ予測において角度モードが適用されるとの決定に応答して、角度モードのためのＰＤＰＣ演算を無効にしてもよい。

【0126】

提案された方法は、ＴＩＭＤ／ＭＤＩＰなどの他のイントラ予測符号化モードにも適用され得ることに留意されたい。

【0127】

ＤＩＭＤモードおよびＴＩＭＤモードに使用される融合方式の調和
本開示の１つまたは複数の実施形態によれば、ＤＩＭＤモードとＴＩＭＤモードとの両方に対して同じ融合方式が適用される。この目標を達成するために、様々な方法が使用されてもよい。融合方式は、ＤＩＭＤモードおよびＴＩＭＤモードにおける予測子の加重平均として適用される。

【0128】

本開示の一例では、ＤＩＭＤモードの下で使用される融合方式をＴＩＭＤモードに適用することが提案される。言い換えれば、ＴＩＭＤモードの場合、最も小さいＳＡＴＤコストおよび平面モードを有する最初の２つのモードが融合のための予測子として選択され、予測子の加重平均が算出される。また、平面の重みは２１／６４（約１／３）に固定される。その場合、残りの重み４３／６４（約２／３）は、ＳＡＴＤコストの振幅に比例して他の２つのモード間で共有される。

【0129】

本開示の別の例では、ＴＩＭＤモードの下で使用される融合方式をＤＩＭＤモードに適用することが提案される。言い換えれば、ＤＩＭＤモードの場合、最も高いＨｏＧバーを有する最初の２つのモードが融合のための予測子として選択され、モードの重みは、ＨｏＧバーの振幅に比例してＨｏＧ ＩＰＭから計算される。ヒストグラムにおける最大値が０である場合（勾配解析を行うことができなかったか、またはテンプレートを構成するエリアが平坦であることを意味する）、現在ブロックのイントラ予測モードとして、１つのデフォルト・モード、例えば、ＤＣモード、平面モードが選択される。

【0130】

本開示のさらに別の例では、ＴＩＭＤおよび／またはＤＩＭＤモードにおける融合方式の選択結果を信号伝達することが提案される。一例では、所与のＣＵについて、ブロックがＤＩＭＤモードを使用するか否かを示すために、フラグがデコーダに信号伝達される。ＤＩＭＤモードを使用して符号化される場合、例えば、上記の第１の融合方法または第２の融合方法としてどの融合方式が使用されるかを示すために、１つのフラグがデコーダにさらに信号伝達される。

【0131】

ＭＰＭリスト内で使用されるＤＩＭＤモードを修正する
本開示の別の態様では、導出されたイントラモードが既にＤＩＭＤで使用されているかどうかに応じて、ＤＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出することが提案される。本開示の１つまたは複数の実施形態によれば、融合方式がＤＩＭＤモードで使用されている場合、ＤＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。言い換えれば、融合方式がＤＩＭＤモードで使用されていない場合、ＤＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されることはできない。

【0132】

本開示の他の態様では、ＤＩＭＤの利用可能な方向性モードからのオフセットが追加された方向性モードが、ＭＰＭリストの候補として使用されてもよい。特定の一例では、オフセットは、１、－１、２、－２、３、－３、４、－４であってもよい。

【0133】

図１７に示されるように、一例では、ステップ１７０２において、デコーダは、ＤＩＭＤモードにおいて融合方式が適用されるかどうかを決定してもよく、融合方式は、ステップ１７０２においてＤＩＭＤモードでの予測子の加重平均として適用される。ステップ１７０４において、デコーダは、ＤＩＭＤモードでの利用可能な方向性モードにオフセットを適用して、オフセット方向性モードを取得してもよい。ステップ１７０６において、デコーダは、ＤＩＭＤモードにおいて融合方式が適用されるかどうかに基づいて、オフセット方向性モードを最確モード（ＭＰＭ）のリストに追加すべきかどうかを決定してもよい。

【0134】

一例として、最初に、２２個のエントリを有する一般ＭＰＭリストが構築され、次いで、この一般ＭＰＭリストの中の最初の６個のエントリが１次ＭＰＭ（ＰＭＰＭ）リストの中に含まれ、残りのエントリが２次ＭＰＭ（ＳＭＰＭ）リストを形成する。一般ＭＰＭリスト内の最初のエントリは、平面モードである。残りのエントリは、左（Ｌ）、上（Ａ）、左下（ＢＬ）、右上（ＡＲ）、および左上（ＡＬ）の隣接ブロックのイントラモードと、ＤＩＭＤモード（青色部分）と、隣接ブロックの最初の２つの利用可能な方向性モードおよびＤＩＭＤモード（赤色部分）からのオフセットが追加された方向性モードと、デフォルト・モード｛ＤＣ＿ＩＤＸ（１）、ＶＥＲ＿ＩＤＸ（５０）、ＨＯＲ＿ＩＤＸ（１８）、ＶＥＲ＿ＩＤＸ－４（４６）、ＶＥＲ＿ＩＤＸ＋４（５４）、１４、２２、４２、５８、１０、２６、３８、６２、６、３０、３４、６６、２、４８、５２、１６｝とで構成される。

【0135】

ＣＵブロックが垂直に配向されている場合、隣接ブロックの順序はＡ、Ｌ、ＢＬ、ＡＲ、ＡＬであり、それ以外の場合、順序はＬ、Ａ、ＢＬ、ＡＲ、ＡＬである。

【0136】

この例では、オフセットなしのＤＩＭＤモード（青色部分）が最初にＭＰＭリストに追加される。リストが満杯でない場合、オフセットを有するＤＩＭＤモード（赤色部分）がＭＰＭリストに追加される。

【0137】

ＭＰＭリストで使用されるＴＩＭＤモード
本開示の別の態様では、ＴＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出することが提案される。一般に、ＶＶＣには、非方向性モード（平面、ＤＣ）と６５個の角度モードとを含む６７個のイントラ予測モードがあり、これらは、ビデオおよび画像のコンテンツに通常存在する様々な方向性構造を効率的にモデル化する。本開示の１つまたは複数の実施形態では、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。一例では、ＤＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されることはできないが、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。

【0138】

本開示の別の態様では、導出されたイントラモードが既にＴＩＭＤで使用されているかどうかに応じて、ＴＩＭＤからイントラ最確モード（ＭＰＭ）のリストにイントラモードを導出することが提案される。本開示の１つまたは複数の実施形態によれば、融合方式がＴＩＭＤモードで使用されている場合、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されてもよい。言い換えれば、融合方式がＴＩＭＤモードで使用されない場合、ＴＩＭＤから導出されたイントラモードは、ＭＰＭリストの候補として使用されることはできない。

【0139】

上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む１つまたは複数の回路を含む装置を使用して実装されてもよい。装置は、上記で説明された方法を実行するために、他のハードウェア構成要素またはソフトウェア構成要素と組み合わせて回路を使用してもよい。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実装されてもよい。

【0140】

整数演算を用いた簡素化されたＤＩＭＤおよびＴＩＭＤ
前に指摘されたように、ＤＩＭＤおよびＴＩＭＤの既存の設計では、ＤＩＭＤ／ＴＩＭＤパラメータを導出するためにいくつかの浮動小数点演算（すなわち、加算、乗算、および除算）が関与するが、これらは、ソフトウェアとハードウェアとの両方での実際のコーデック実装には受け入れられない。このセクションでは、すべての浮動小数点演算を整数の加算および乗算に置き換えることによってＤＩＭＤおよびＴＩＭＤの実装を簡素化する１つのルック・アップ・テーブル（ＬＵＴ）ベースの方式が提案される。一例では、デコーダは、ＤＩＭＤモードまたはＴＩＭＤモードでパラメータを導出するために実行されるべき浮動小数点除算演算を識別し、デコーダは、ルック・アップ・テーブル（ＬＵＴ）に基づいて浮動小数点除算演算を整数の加算および乗算に置き換えることによって、ＤＩＭＤまたはＴＩＭＤにおけるパラメータを取得する。

【0141】

具体的には、図１３に示されるように、１つの整数Ｌを１つの指数およびＫビットの有効部分（ｓｉｇｎｉｆｉｃａｎｔ ｐａｒｔ）（指数の後のＫ個の最上位ビット（ＭＳＢ：ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）を含む）によって、

【数6】

のように示されるように近似することが提案され、ここで、ｎｏｒｍ_ＭＳＢは０から２^Ｋ－１までの範囲のＭＳＢの値である。これに対応して、整数Ｌによる除算は、

【数7】

のように記述され得る。

【0142】

分数部分１／ＬがＭビット精度で量子化される場合、上記の方程式は、

【数8】

となり、ここで、＜・＞は丸め演算である。さらに、上記の方程式の式の丸め部分は、２^Ｋ個の要素を含む１つのＬＵＴによって表されることが可能であり、各要素は、Ｍビット精度で表される。一方、ｎｏｒｍ_ＭＳＢの値は［０，２^Ｋ－１］の範囲にあるので、丸め部分は常に２^Ｍ－１以上である。このような事前知識を考慮すると、各要素の最初のＭＳＢ（常に１に等しい）を無視して、その残りの（Ｍ－１）ビットの最下位ビット（ＬＳＢ：ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）のみを記憶することによって、ＬＵＴサイズが縮小されてもよく、すなわち、各要素は（Ｍ－１）ビットのみを必要とする。そのような設計に基づいて、ＬＵＴの要素は、

【数9】

のように算出されることが可能であり、ここで、

【数10】

である。

【0143】

これに対応して、提案された整数化方式は次のように達成されることが可能であり、任意の２つの整数間の除算、例えば、

【数11】

は、

【数12】

と示されるように、１つのＬＵＴベースの整数乗算および１つの右シフトによって置き換えられることが可能であり、ここで、ｎｕｍは分子の値を表し、ｄｅｎｏｍは分母の値を表す。本開示の一例では、分母は整数値Ｌであり、分子は１である。

【0144】

実際には、導出されるパラメータの正確度と実装の複雑度との間の様々なトレードオフを実現するために、ＬＵＴサイズ（すなわち、Ｋ）とパラメータ精度（すなわち、Ｍ）との様々な組み合わせが適用されてもよい。例えば、大きいＬＵＴサイズおよびより高いパラメータ精度を使用することは、高いパラメータ正確度を保つのに有益であるが、ＬＵＴを維持するためのストレージサイズの拡大、および対応する整数演算（例えば、整数の乗算、加算、およびビット単位のシフト）を実行するためのビット深度の増加という負担を伴う。そのような考慮事項に基づいて、特定の一例では、ＫおよびＭの値を４に設定することが提案される。そのような設定に基づいて、対応するＬＵＴは、

【数13】

として導出される。

【0145】

ＤＩＭＤ導出を例として使用すると、上記の整数化方式の場合（ＫとＭとの両方が４に設定されている場合）、各テンプレート・サンプルでの勾配配向の導出は、

【数14】

のように実施され得る。

【0146】

上記の例で使用されているＫおよびＭの値は、説明のために使用されているだけであることに留意されたい。実際には、将来の他の符号化技法のプロセスにおいて浮動小数点除算を整数演算に変換するために、ＫおよびＭの異なる値を使用する提案されたＬＵＴベースの方式が適用されてもよい。

【0147】

複数参照線選択を用いたＴＩＭＤ
本開示の別の態様では、複数参照線選択を用いたＴＩＭＤからイントラモードを導出することが提案される。本開示の１つまたは複数の実施形態によれば、ＴＩＭＤにおいてイントラモードを導出するために、再構成エリア内の異なる参照線が使用され得る。一例では、所与のＣＵについて、ブロックがＴＩＭＤモードを使用するか否かを示すフラグがデコーダに信号伝達される。ブロックがＴＩＭＤモードを使用して符号化される場合、ＴＩＭＤモードにおいてどの参照線が使用されるかを示すために、参照線のインデックスがデコーダにさらに信号伝達される。さらに、参照線のインデックスは、既存のＭＲＬ設計と同様の様式で信号伝達されてもよい。

【0148】

本開示の１つまたは複数の実施形態によれば、参照線のインデックスは、様々な方法によって２値化されてもよい。２値符号語の可変セットを導出するために様々な方法が使用されてもよく、いくつかの例示的な方法が以下に列挙されている。
１．固定長２値化
２．切り捨てライス２値化
３．切り捨て単項２値化プロセス
４．切り捨てバイナリ（ＴＢ：ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ）２値化プロセス
５．ｋ次指数ゴロム２値化処理（ＥＧｋ）
６．限定ｋ次指数ゴロム２値化

【0149】

本開示の１つまたは複数の実施形態によれば、参照線のインデックスは、グループになるように予め定義され、ＴＩＭＤのために使用されてもよい。グループを形成するために異なる参照線が使用されてもよく、いくつかの例示的な方法が以下に列挙されている。
１．｛０，１，２，．．．，Ｎ｝、Ｎは、予め定義された整数である
２．｛０，２，４，．．．，２＊Ｎ｝、Ｎは、予め定義された整数である
３．｛０，１，３，５，７，１２｝
４．｛０，１，２｝
５．｛０，１，３｝
６．｛０，１，３，５，７｝
７．｛０，１，３，５｝

【0150】

一例では、図１９に示されるように、ＭＲＬ候補リスト｛１，３，５，７，１２｝が使用される。

【0151】

本開示の１つまたは複数の実施形態によれば、現在のＣＴＵラインの外側の拡張された参照サンプルを使用することを防ぐために、ＣＴＵの内側のブロックの最初のラインに対して、複数参照線選択を用いたＴＩＭＤは無効化される。

【0152】

図２０は、本開示の一例によるビデオ符号化／復号プロセスを示すブロック図である。ステップ２００２において、デコーダは、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示す信号フラグを受信する。ステップ２００４において、信号フラグに基づいて現在ビデオブロックにＴＩＭＤモードが適用されるとの決定に応答して、デコーダは、現在ビデオブロックの再構成エリア内の異なる参照線に基づいてＴＩＭＤモードからイントラ予測モードを導出し、再構成エリアは、現在ビデオブロックの再構成された近傍ブロックを含む。

【0153】

本開示の別の例では、ビデオ符号化プロセスが提供される。エンコーダは、現在ビデオブロックにＴＩＭＤモードが適用されるかどうかを示すフラグを信号伝達してもよい。次いで、エンコーダにより現在ビデオブロックにＴＩＭＤモードが適用されると決定された場合、エンコーダは、現在ビデオブロックの再構成エリア内の異なる参照線に基づいて、ＴＩＭＤモードからイントラ予測モードを導出してもよい。エンコーダはさらに、現在ビデオブロックにＴＩＭＤモードが適用されるとの決定に応答して、ＴＩＭＤモードにおいて使用される参照線を示す参照線のインデックスを決定してもよく、参照線のインデックスは、現在ビデオブロックのイントラ予測モードを導出するために信号伝達される。１つまたは複数の例では、参照線のインデックスは、２値符号語の可変セットのうちの２値符号語の１セットを用いて２値化される。２値符号語の可変セットの２値符号語の各セットは、以下の２値化プロセス、すなわち、固定長２値化プロセス、切り捨てライス２値化プロセス、切り捨て単項２値化プロセス、切り捨てバイナリ（ＴＢ）２値化プロセス、ｋ次指数ゴロム（ＥＧｋ）２値化プロセス、限定ｋ次指数ゴロム（ＥＧｋ）２値化プロセスのうちの１つによって導出されてもよい。

【0154】

ここで、参照線のインデックスは、ＴＩＭＤモード用のグループになるように予め定義され、参照線のインデックスの各グループは、異なる参照線を含んでもよい。１つまたは複数の例では、参照線のインデックスのグループは、｛０，１，２，．．．，Ｎ｝、｛０，２，４，．．．，２＊Ｎ｝、｛０，１，３，５，７，１２｝、｛０，１，２｝、｛０，１，３｝、｛０，１，３，５，７｝、｛０，１，３，５｝を含んでもよく、Ｎは、予め定義された整数である。

【0155】

図１４は、ユーザインターフェース１６５０と結合されたコンピューティング環境１６１０を示す。コンピューティング環境１６１０は、データ処理サーバの一部であってもよい。コンピューティング環境１６１０は、プロセッサ１６２０、メモリ１６３０、および入出力（Ｉ／Ｏ）インターフェース１６４０を含む。

【0156】

プロセッサ１６２０は、典型的には、表示、データ取得、データ通信、および画像処理に関連する動作など、コンピューティング環境１６１０の全体的な動作を制御する。プロセッサ１６２０は、上記で説明された方法におけるステップのすべてまたは一部を実施するよう求める命令を実行するための１つまたは複数のプロセッサを含んでもよい。さらに、プロセッサ１６２０は、プロセッサ１６２０と他の構成要素との間の対話を容易にする１つまたは複数のモジュールを含んでもよい。プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングル・チップ・マシン、グラフィック処理ユニット（ＧＰＵ）などであってもよい。

【0157】

メモリ１６３０は、コンピューティング環境１６１０の動作をサポートするために様々なタイプのデータを記憶するように構成される。メモリ１６３０は、所定のソフトウェア１６３２を含んでもよい。そのようなデータの例は、コンピューティング環境１６１０上で動作される任意のアプリケーションまたは方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１６３０は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュ・メモリ、磁気ディスクまたは光ディスクなど、任意のタイプの揮発性もしくは不揮発性メモリ・デバイスまたはそれらの組み合わせを使用することによって実装されてもよい。

【0158】

Ｉ／Ｏインターフェース１６４０は、プロセッサ１６２０と、キーボード、クリック・ホイール、ボタンなどの周辺インターフェース・モジュールとの間のインターフェースを提供する。ボタンは、ホーム・ボタン、走査開始ボタン、走査停止ボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインターフェース１６４０は、エンコーダおよびデコーダと結合されてもよい。

【0159】

一実施形態では、例えばメモリ１６３０内に、コンピューティング環境１６１０内のプロセッサ１６２０によって実行可能な、上記で説明された方法を実行するための複数のプログラムを含む非一過性コンピュータ可読記憶媒体も提供される。一例では、複数のプログラムは、符号化済みビデオ情報（例えば、符号化済みビデオフレームを表すビデオブロック、および／または関連する１つもしくは複数の構文要素など）を含むビットストリームまたはデータ・ストリームを（例えば、図２のビデオエンコーダ２０から）受信するために、コンピューティング環境１６１０内のプロセッサ１６２０によって実行されてもよく、また、受信されたビットストリームまたはデータ・ストリームに従って上記の復号方法を実行するために、コンピューティング環境１６１０内のプロセッサ１６２０によって実行されてもよい。別の例では、複数のプログラムは、上記の符号化方法を実行してビデオ情報（例えば、ビデオフレームを表すビデオブロック、および／または関連する１つもしくは複数の構文要素など）をビットストリームまたはデータ・ストリームに符号化するために、コンピューティング環境１６１０内のプロセッサ１６２０によって実行されてもよく、また、ビットストリームまたはデータ・ストリームを（例えば、図３のビデオデコーダ３０に）送信するために、コンピューティング環境１６１０内のプロセッサ１６２０によって実行されてもよい。あるいは、非一過性コンピュータ可読記憶媒体は、ビデオデータを復号する際にデコーダ（例えば、図３のビデオデコーダ３０）によって使用するために、例えば上記の符号化方法を使用してエンコーダ（例えば、図２のビデオエンコーダ２０）によって生成された符号化済みビデオ情報（例えば、符号化済みビデオフレームを表すビデオブロック、および／または関連する１つもしくは複数の構文要素など）を含むビットストリームまたはデータ・ストリームを記憶していてもよい。非一過性コンピュータ可読記憶媒体は、例えば、ＲＯＭ、ランダム・アクセス・メモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー・ディスク、光データ記憶デバイスなどであってもよい。

【0160】

一実施形態では、１つまたは複数のプロセッサ（例えば、プロセッサ１６２０）と、１つまたは複数のプロセッサによって実行可能な複数のプログラムを記憶している非一過性コンピュータ可読記憶媒体またはメモリ１６３０とを備えるコンピューティング・デバイスも提供され、１つまたは複数のプロセッサは、複数のプログラムの実行時に、上記で説明された方法を実行するように構成される。

【0161】

一実施形態では、上記で説明された方法を実行するためにコンピューティング環境１６１０内のプロセッサ１６２０によって実行可能な、例えばメモリ１６３０内の複数のプログラムを含むコンピュータ・プログラム製品も提供される。例えば、コンピュータ・プログラム製品は、非一過性コンピュータ可読記憶媒体を含んでもよい。

【0162】

一実施形態では、コンピューティング環境１６１０は、上記の方法を実行するために、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を用いて実装されてもよい。

【0163】

本開示の説明は、例示を目的として提示されたものであり、本開示を網羅することも限定することも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正、変形、および代替の実装形態が明らかであろう。

【0164】

特に明記されない限り、本開示による方法のステップの順序は、例示のみを意図されており、本開示による方法のステップは、上記で具体的に説明された順序に限定されず、実際の条件に従って変更されてもよい。さらに、本開示による方法のステップのうちの少なくとも１つは、実際の要件に従って調整、結合、または削除されてもよい。

【0165】

例は、本開示の原理を説明し、当業者が様々な実装形態について本開示を理解できるようにし、企図される特定の使用に適するように様々な修正を加えて基礎となる原理および様々な実装形態を最大限に活用するために、選択され説明されたものである。したがって、本開示の範囲が、開示された実装形態の特定の例に限定されるものではないこと、また修正および他の実装形態が本開示の範囲内に含まれるよう意図されていることが理解されるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図12A】

【図12B】

【図12C】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【手続補正書】

【提出日】2024-05-14

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正の内容】

【0077】

ＧＰＭ信号伝達設計
現在のＧＰＭ設計によれば、ＧＰＭの使用は、ＣＵレベルで１つのフラグを信号伝達することによって示される。現在ＣＵがマージ・モードまたはスキップ・モードによって符号化されている場合にのみ、フラグが信号伝達される。具体的には、フラグが１に等しい場合、フラグは、現在ＣＵがＧＰＭによって予測されていることを示す。それ以外の場合（フラグがゼロに等しい場合）、ＣＵは、通常のマージ・モード、動きベクトル差分を伴うマージ・モード、組み合わされたインター予測およびイントラ予測などの別のマージ・モードによって符号化されている。現在ＣＵに対してＧＰＭが有効である場合、（図６に示されるように、ＣＵを２つの区分に分裂するＣＵ中心からの直線の方向およびオフセットを指定する）適用される幾何学的区分モードを示すために、１つの構文要素、すなわちｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘがさらに信号伝達される。その後、第１のＧＰＭ区分および第２のＧＰＭ区分に使用される単予測マージ候補のインデックスを示すために、２つの構文要素、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０およびｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１が信号伝達される。より具体的には、これらの２つの構文要素は、セクション「単予測マージ・リストの構築」で説明されるように、単予測マージ・リストから２つのＧＰＭ区分の単方向性ＭＶを決定するために使用される。現在のＧＰＭ設計によれば、２つの単方向性ＭＶをより異なるものにするために、２つのインデックスは同じであることはできない。そのような事前知識に基づいて、最初に、第１のＧＰＭ区分の単予測マージ・インデックスが信号伝達され、第２のＧＰＭ区分の単予測マージ・インデックスの信号伝達オーバーヘッドを削減するための予測子として使用される。詳細には、第２の単予測マージ・インデックスが第１の単予測マージ・インデックスより小さい場合、その元の値が直接信号伝達される。それ以外の場合（第２の単予測マージ・インデックスが第１の単予測マージ・インデックスより大きい場合）、その値は、ビットストリームに信号伝達される前に１だけ減算される。デコーダ側では、最初に、第１の単予測マージ・インデックスは復号される。次いで、第２の単予測マージ・インデックスの復号では、解析された値が第１の単予測マージ・インデックスより小さい場合、第２の単予測マージ・インデックスは解析値に等しくなるように設定され、それ以外の場合（解析された値が第１の単予測マージ・インデックス以上である場合）、第２の単予測マージ・インデックスは、解析された値に１を加えた値に等しくなるように設定される。表１は、現在のＶＶＣ仕様においてＧＰＭモードに使用される既存の構文要素を示している。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００８０

【補正方法】変更

【補正の内容】

【0080】

ＧＰＭ／ＡＷＰモードが適用される場合、構文ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘを２値ビットの文字列に変換するために、２つの異なる２値化方法が適用される。具体的には、それぞれＶＶＣ標準およびＡＶＳ３標準における固定長符号および切り捨てられた２値符号によって、構文要素が２値化される。一方、ＡＶＳ３のＡＷＰモードの場合、構文要素の２値化のために、異なる最大値が使用される。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００８６

【補正方法】変更

【補正の内容】

【0086】

図８は、畳み込みプロセスを示す。画素９１０は、現在画素である。右斜線の点で表されるボックス９２０内の画素および画素９１０は、勾配解析が可能な画素（以下、簡単のために「第１の画素」と称する）である。左斜線の点で表されるボックス９２０内の画素は、近傍が欠如しているために勾配解析が不可能な画素である。画素９３０は、考慮されたテンプレートの外側の利用可能な（再構成された）画素であり、第１の画素の勾配解析に使用される。（例えば、ブロックがピクチャの境界に近すぎるために）画素９３０が使用できない場合、この画素９３０を使用するすべての第１の画素の勾配解析は実行されない。第１の画素ごとに、ＧｘおよびＧｙを使用して勾配の強度（Ｇ）および配向（Ｏ）を、

【数2】

のように計算する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００８７

【補正方法】変更

【補正の内容】

【0087】

次いで、勾配の配向は、イントラ角度予測モードに変換され、ヒストグラムにインデックス付けするために使用される（最初はゼロに初期化される）。そのイントラ角度モードでのヒストグラム値はＧだけ増加する。テンプレート内のすべての第１の画素が処理されると、ヒストグラムは、各イントラ角度モードの勾配強度の累積値を含むことになる。現在ブロックに対して、最も高い２つのヒストグラム・バーに対応するＩＰＭが選択される。ヒストグラム内の最大値が０である場合（勾配解析を行うことができなかったか、またはテンプレートを構成するエリアが平坦であることを意味する）、現在ブロックのイントラ予測モードとしてＤＣモードが選択される。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０１３４

【補正方法】変更

【補正の内容】

【0134】

一例として、最初に、２２個のエントリを有する一般ＭＰＭリストが構築され、次いで、この一般ＭＰＭリストの中の最初の６個のエントリが１次ＭＰＭ（ＰＭＰＭ）リストの中に含まれ、残りのエントリが２次ＭＰＭ（ＳＭＰＭ）リストを形成する。一般ＭＰＭリスト内の最初のエントリは、平面モードである。残りのエントリは、左（Ｌ）、上（Ａ）、左下（ＢＬ）、右上（ＡＲ）、および左上（ＡＬ）の隣接ブロックのイントラモードと、ＤＩＭＤモードと、隣接ブロックの最初の２つの利用可能な方向性モードおよびＤＩＭＤモードからのオフセットが追加された方向性モードと、デフォルト・モード｛ＤＣ＿ＩＤＸ（１）、ＶＥＲ＿ＩＤＸ（５０）、ＨＯＲ＿ＩＤＸ（１８）、ＶＥＲ＿ＩＤＸ－４（４６）、ＶＥＲ＿ＩＤＸ＋４（５４）、１４、２２、４２、５８、１０、２６、３８、６２、６、３０、３４、６６、２、４８、５２、１６｝とで構成される。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】０１３６

【補正方法】変更

【補正の内容】

【0136】

この例では、オフセットなしのＤＩＭＤモードが最初にＭＰＭリストに追加される。リストが満杯でない場合、オフセットを有するＤＩＭＤモードがＭＰＭリストに追加される。

【手続補正7】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコーダによって、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示す信号フラグを取得することと、
前記信号フラグに基づいて前記現在ビデオブロックに前記ＴＩＭＤモードが適用されるとの決定に応答して、前記デコーダによって、前記現在ビデオブロックの再構成エリア内の異なる参照線に基づいて前記ＴＩＭＤモードからイントラ予測モードを導出することであって、前記再構成エリアが前記現在ビデオブロックの再構成された近傍ブロックを含むこと、
を含む、ビデオ復号方法。

【請求項2】

前記現在ビデオブロックに前記ＴＩＭＤモードが適用されるとの決定に応答して、前記デコーダによって、前記ＴＩＭＤモードにおいて使用される参照線を示す前記参照線のインデックスを取得することをさらに含み、前記参照線の前記インデックスが、前記現在ビデオブロックの前記イントラ予測モードを導出するために信号伝達される、請求項１に記載のビデオ復号方法。

【請求項3】

前記参照線の前記インデックスが、２値符号語の可変セットのうちの２値符号語の１セットを用いて２値化される、請求項２に記載のビデオ復号方法。

【請求項4】

前記２値符号語の前記可変セットの２値符号語の各セットが、次の２値化プロセス、すなわち、固定長２値化プロセス、切り捨てライス２値化プロセス、切り捨て単項２値化プロセス、切り捨てバイナリ（ＴＢ）２値化プロセス、ｋ次指数ゴロム（ＥＧｋ）２値化プロセス、限定ｋ次指数ゴロム（ＥＧｋ）２値化プロセスのうちの１つによって導出される、請求項３に記載のビデオ復号方法。

【請求項5】

前記参照線の前記インデックスが、前記ＴＩＭＤモード用のグループになるように予め定義され、前記参照線の前記インデックスの各グループが、前記異なる参照線を含む、請求項２に記載のビデオ復号方法。

【請求項6】

前記参照線の前記インデックスの前記グループが、｛０，１，２，．．．，Ｎ｝、｛０，２，４，．．．，２＊Ｎ｝、｛０，１，３，５，７，１２｝、｛０，１，２｝、｛０，１，３｝、｛０，１，３，５，７｝、｛０，１，３，５｝を含み、Ｎが、予め定義された整数である、請求項５に記載のビデオ復号方法。

【請求項7】

エンコーダによって、現在ビデオブロックにテンプレートベースのイントラモード導出（ＴＩＭＤ）モードが適用されるかどうかを示すフラグを信号伝達することと、
前記現在ビデオブロックに前記ＴＩＭＤモードが適用されているとの決定に応答して、前記エンコーダによって、前記現在ビデオブロックの再構成エリア内の異なる参照線に基づいて前記ＴＩＭＤモードからイントラ予測モードを導出することであって、前記再構成エリアが前記現在ビデオブロックの再構成された近傍ブロックを含むこと、
を含む、ビデオ符号化方法。

【請求項8】

前記現在ビデオブロックに前記ＴＩＭＤモードが適用されるとの決定に応答して、前記エンコーダによって、前記ＴＩＭＤモードにおいて使用される参照線を示す前記参照線のインデックスを決定することをさらに含み、前記参照線の前記インデックスが、前記現在ビデオブロックの前記イントラ予測モードを導出するために信号伝達される、請求項７に記載のビデオ符号化方法。

【請求項9】

前記参照線の前記インデックスが、２値符号語の可変セットのうちの２値符号語の１セットを用いて２値化される、請求項８に記載のビデオ符号化方法。

【請求項10】

前記２値符号語の前記可変セットの２値符号語の各セットが、次の２値化プロセス、すなわち、固定長２値化プロセス、切り捨てライス２値化プロセス、切り捨て単項２値化プロセス、切り捨てバイナリ（ＴＢ）２値化プロセス、ｋ次指数ゴロム（ＥＧｋ）２値化プロセス、限定ｋ次指数ゴロム（ＥＧｋ）２値化プロセスのうちの１つによって導出される、請求項９に記載のビデオ符号化方法。

【請求項11】

前記参照線の前記インデックスが、前記ＴＩＭＤモード用のグループになるように予め定義され、前記参照線の前記インデックスの各グループが、前記異なる参照線を含む、請求項８に記載のビデオ符号化方法。

【請求項12】

前記参照線の前記インデックスの前記グループが、｛０，１，２，．．．，Ｎ｝、｛０，２，４，．．．，２＊Ｎ｝、｛０，１，３，５，７，１２｝、｛０，１，２｝、｛０，１，３｝、｛０，１，３，５，７｝、｛０，１，３，５｝を含み、Ｎが、予め定義された整数である、請求項１１に記載のビデオ符号化方法。

【請求項13】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を備える装置であって、
前記１つまたは複数のプロセッサは、前記命令の実行時に、請求項１から１２のいずれかに記載の前記方法を実行するように構成される、装置。

【請求項14】

１つまたは複数のコンピュータプロセッサによって実行されたときに、前記１つまたは複数のコンピュータプロセッサに、請求項１から１２のいずれかに記載の前記方法を実行させるコンピュータ実行可能命令を記憶するための、非一過性コンピュータ可読記憶媒体。

【請求項15】

ビットストリームを記憶する方法であって、前記ビットストリームは、請求項１から６のいずれかに記載のビデオ復号方法によって使用されるか、または前記ビットストリームは、請求項７から１２のいずれかに記載のビデオ符号化方法によって生成される、方法。

【請求項16】

ビットストリームを受信または送信する方法であって、前記ビットストリームは、請求項１から６のいずれかに記載のビデオ復号方法によって使用されるか、または前記ビットストリームは、請求項７から１２のいずれかに記載のビデオ符号化方法によって生成される、方法。

【請求項17】

１つまたは複数のコンピュータプロセッサによって実行されると、前記１つまたは複数のコンピュータプロセッサに請求項１から１２のいずれかに記載の方法を実行させる命令を含む、コンピュータプログラム。

【国際調査報告】