特許 7478841 デコーダ側イントラモード導出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-24

(45)【発行日】2024-05-07

(54)【発明の名称】デコーダ側イントラモード導出

(51)【国際特許分類】

   H04N 19/13 20140101AFI20240425BHJP

   H04N 19/157 20140101ALI20240425BHJP

   H04N 19/176 20140101ALI20240425BHJP

   H04N 19/593 20140101ALI20240425BHJP

   H04N 19/91 20140101ALI20240425BHJP

【ＦＩ】

H04N19/13

H04N19/157

H04N19/176

H04N19/593

H04N19/91

【請求項の数】 21

(21)【出願番号】P 2022565591

(86)(22)【出願日】2022-04-26

(65)【公表番号】

(43)【公表日】2023-06-30

(86)【国際出願番号】 US2022071933

(87)【国際公開番号】W WO2022232786

(87)【国際公開日】2022-11-03

【審査請求日】2022-10-26

(31)【優先権主張番号】63/179,902

(32)【優先日】2021-04-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/727,563

(32)【優先日】2022-04-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リー，リン

(72)【発明者】

【氏名】リー，シャン

(72)【発明者】

【氏名】リウ，シャン

【審査官】田中 純一

(56)【参考文献】

【文献】特表２０１９－５３５２１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３７９８９１（ＵＳ，Ａ１）

【文献】特表２０１９－５１９９７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１０４３０３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオデコーダにおいて実行されるビデオ復号化の方法であって、
コーディングされたビデオビットストリームから現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を受信することと、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第１の情報を取得することであって、第１の情報は、前記現在のブロックが、前記現在のブロックのイントラ予測モードを前記隣接ブロックに基づいて導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示す、第１の情報を取得することと、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第２の情報を取得することであって、第２の情報は、前記現在のブロックが、イントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示す、第２の情報を取得することと、
（ｉ）前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報、および（ｉｉ）前記隣接ブロック中の前記現在のブロックの上隣接ブロックまたは左隣接ブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報のうちの１つに応答して、コンテキストモデルインデックスを決定することと、
少なくとも前記コンテキストモデルインデックスに基づいて前記コーディングされたビデオストリームから前記現在のブロックを復号化することと、を含む、
方法。

【請求項2】

前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、前記第２の情報を復号化することと、
前記現在のブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報に応答して、前記ＩＳＰモードと関連付けられる構文要素を復号化することと、を更に含む、
請求項１に記載の方法。

【請求項3】

（ｉ）前記第１の情報および（ｉｉ）前記第２の情報のうちの前記１つに応答して前記コンテキストモデルインデックスを決定することは、前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して実行され、
当該方法は、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されないことを示す前記第１の情報に応答して、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第３の情報を取得することであって、第３の情報は、前記現在のブロックが、候補イントラ予測モードのセットを含むテンプレートベースのイントラモード導出（ＴＩＭＤ）に基づいてイントラ予測されるかどうかを示す、第３の情報を取得することと、
（ｉ）前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されることを示す前記第３の情報、および（ｉｉ）前記隣接ブロック中の前記現在のブロックの上隣接ブロックまたは左隣接ブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報のうちの１つに応答して、前記コンテキストモデルインデックスを決定することと、を更に含む、
請求項１に記載の方法。

【請求項4】

前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されることを示す前記第３の情報に応答して、前記第２の情報を復号化することと、
前記現在のブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報に応答して、前記ＩＳＰモードと関連付けられる構文要素を復号化することと、を更に含む、
請求項３に記載の方法。

【請求項5】

前記現在のブロックが前記ＩＳＰモードに基づいて区切られないことを示す前記第２の情報に応答して、別のイントラコーディングモードと関連付けられる構文要素を復号化することであって、別のイントラコーディングモードは、行列ベースのイントラ予測（ＭＩＰ）、多重参照リーエンイントラ予測（ＭＲＬ）、および最確モード（ＭＰＭ）のうちの１つを含む、請求項４に記載の方法。

【請求項6】

前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、前記コンテキストモデルインデックスが１であると決定すること、および
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されないことを示す前記第１の情報に応答して、前記コンテキストモデルインデックスがゼロであると決定すること
のうちの１つを更に含む、
請求項１に記載の方法。

【請求項7】

前記コンテキストモデルインデックスは、コンテキストベースの適応バイナリ算術コーディング（ＣＡＢＡＣ）において使用される、請求項１に記載の方法。

【請求項8】

前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されることを示す前記第３の情報に応答して、前記コンテキストモデルインデックスが１であると決定すること、および
前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されないことを示す前記第３の情報に応答して、前記コンテキストモデルインデックスがゼロである決定すること
のうちの１つを更に含む、
請求項３に記載の方法。

【請求項9】

ビデオデコーダにおいて実行されるビデオ復号化の方法であって、
コーディングされたビデオビットストリームから現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を受信することと、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第１の情報を復号化することであって、第１の情報は、前記現在のブロックが、前記現在のブロックのイントラ予測モードを前記隣接ブロックに基づいて導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示す、第１の情報を復号化することと、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、
前記ＤＩＭＤに基づいて第１のイントラ予測モードを決定することと、
前記コーディングされた情報に含められ且つ最確モード（ＭＰＭ）およびＭＰＭ剰余に関連付けられる構文要素に基づいて、第２のイントラ予測モードを決定することと、を更に含む、
方法。

【請求項10】

前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、前記コーディングされた情報中の前記現在のブロックと関連付けられる第２の情報を復号化することであって、第２の情報は、前記現在のブロックがイントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示す、第２の情報を復号化することと、
前記現在のブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報に応答して、前記ＩＳＰモードと関連付けられる構文要素を復号化することと、を更に含む、
請求項９に記載の方法。

【請求項11】

前記現在のブロックが前記ＩＳＰモードに基づいて区切られないことを示す前記第２の情報に応答して、別のイントラコーディングモードと関連付けられる構文要素を復号化することを更に含み、別のイントラコーディングモードは、行列ベースのイントラ予測（ＭＩＰ）、多重参照リーエンイントラ予測（ＭＲＬ）、および最確モード（ＭＰＭ）のうちの１つを含む、請求項１０に記載の方法。

【請求項12】

前記第１のイントラ予測モードに基づいて第１のイントラ予測子を決定することと、
前記第２のイントラ予測モードに基づいて第２のイントラ予測子を決定することと、
前記第１のイントラ予測子および前記第２のイントラ予測子に基づいて最終のイントラ予測子を決定することと、を更に含む、
請求項９に記載の方法。

【請求項13】

前記最終のイントラ予測子を決定することは、
前記最終のイントラ予測子が、（ｉ）第１の重量と前記第１のイントラ予測子との積、および（ｉｉ）第２の重量と前記第２のイントラ予測子との積の和に等しいと決定することを更に含み、
前記第１の重量は、前記第２の重量以上であり、
前記第１の重量と前記第２の重量との和は、１に等しい、
請求項１２に記載の方法。

【請求項14】

前記最終のイントラ予測子を決定することは、
前記最終のイントラ予測子が、（ｉ）第１の重量と前記第１のイントラ予測子との積、（ｉｉ）第２の重量と前記第２のイントラ予測子との積、および（ｉｉｉ）プレーナモードに基づく第３の重量とイントラ予測子との積の和に等しいと決定することを更に含み、
前記第１の重量は、前記第２の重量以上であり、
前記第１の重量、前記第２の重量、および前記第３の重量の和は、１に等しい、
請求項１２に記載の方法。

【請求項15】

処理回路構成を含む装置であって、
前記処理回路構成は、
コーディングされたビデオビットストリームから現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を受信するように構成され、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第１の情報を取得するように構成され、第１の情報は、前記現在のブロックが、前記現在のブロックのイントラ予測モードを前記隣接ブロックに基づいて導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示し、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第２の情報を取得するように構成され、第２の情報は、前記現在のブロックが、イントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示し、
（ｉ）前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報、および（ｉｉ）前記隣接ブロック中の前記現在のブロックの上隣接ブロックまたは左隣接ブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報のうちの１つに応答して、コンテキストモデルインデックスを決定するように構成され、
少なくとも前記コンテキストモデルインデックスに基づいて前記コーディングされたビデオストリームから前記現在のブロックを復号化するように構成される、
装置。

【請求項16】

前記処理回路構成は、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、前記第２の情報を復号化し、
前記現在のブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報に応答して、前記ＩＳＰモードと関連付けられる構文要素を復号化する、
ように更に構成される、
請求項１５に記載の装置。

【請求項17】

前記処理回路構成は、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、（ｉ）前記第１の情報および（ｉｉ）前記第２の情報のうちの前記１つに応答して前記コンテキストモデルインデックスを決定するように更に構成され、
前記処理回路構成は、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されないことを示す前記第１の情報に応答して、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第３の情報を取得するように更に構成され、第３の情報は、前記現在のブロックが、候補イントラ予測モードのセットを含むテンプレートベースのイントラモード導出（ＴＩＭＤ）に基づいてイントラ予測されるかどうかを示し、
（ｉ）前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されることを示す前記第３の情報、および（ｉｉ）前記隣接ブロック中の前記現在のブロックの上隣接ブロックまたは左隣接ブロックが前記ＩＳＰモードに基づいて区切られることを示す前記第２の情報のうちの１つに応答して、前記コンテキストモデルインデックスを決定するように更に構成される、
請求項１５に記載の装置。

【請求項18】

前記処理回路構成は、
前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されることを示す前記第３の情報に応答して、前記コンテキストモデルインデックスが１であると決定するように更に構成され、
前記現在のブロックが前記ＴＩＭＤに基づいてイントラ予測されないことを示す前記第３の情報に応答して、前記コンテキストモデルインデックスがゼロであると決定するように更に構成される、
請求項１７に記載の装置。

【請求項19】

前記処理回路構成は、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、前記コンテキストモデルインデックスが１であると決定するように更に構成され、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されないことを示す前記第１の情報に応答して、前記コンテキストモデルインデックスがゼロであると決定するように更に構成される、
請求項１５に記載の装置。

【請求項20】

処理回路構成を含む装置であって、
前記処理回路構成は、
コーディングされたビデオビットストリームから現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を受信するように構成され、
前記コーディングされた情報中の前記現在のブロックと関連付けられる第１の情報を復号化するように構成され、第１の情報は、前記現在のブロックが、前記現在のブロックのイントラ予測モードを前記隣接ブロックに基づいて導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示し、
前記現在のブロックが前記ＤＩＭＤに基づいてイントラ予測されることを示す前記第１の情報に応答して、
前記ＤＩＭＤに基づいて第１のイントラ予測モードを決定するように構成され、
前記コーディングされた情報に含められ且つ最確モード（ＭＰＭ）とＭＰＭ剰余とに関連付けられる構文要素に基づいて、第２のイントラ予測モードを決定するように構成される、
装置。

【請求項21】

命令を格納する非一時的なコンピュータ読取可能媒体であって、前記命令は、コンピュータによって実行されるときに、前記コンピュータに請求項１－８のうちのいずれか１項に記載の方法または請求項９－１４のうちのいずれか１項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本願は、２０２１年４月２６日に出願された米国仮出願第６３／１７９，９０２号「Decoder Side Intra Mode Derivation」の優先権の利益を主張する、２０２２年４月２２日に出願された米国特許出願第１７／７２７，５６３号「DECODER SIDE INTRA MODE DERIVATION」の優先権の利益を主張する。先の出願の開示は、その全体が参照により本明細書に援用される。

【0002】

（技術分野）
本開示は、ビデオコーディング(coding)に概ね関する実施形態を記載する。

【背景技術】

【0003】

本明細書で提供される背景記述は、本開示の文脈を一般的に提示するためのものである。その業績がこの背景セクションに記載される範囲における、現在指名されている発明者の業績、並びに、出願時に他の点では先行技術として適格でないことがある記述の側面は、本開示に対する先行技術として明示的にも暗示的にも認められていない。

【0004】

ビデオコーディングおよび復号化(decoding)は、動き補償を伴うインター(inter-picture)予測を用いて行われることができる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０輝度サンプルおよび関連する色サンプルの空間寸法を有する。一連のピクチャは、例えば、１秒当たり６０ピクチャまたは６０Ｈｚの、固定または可変の（非公式にはフレームレートとしても知られている）ピクチャ速度を有することができる。非圧縮ビデオは、特定のビットレート要件を有する。例えば、１サンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。そのようなビデオの１時間は、６００ギガバイトよりも多くの記憶空間を必要とする。

【0005】

ビデオコーディングおよび復号化の１つの目的は、圧縮を通じた、入力ビデオ信号の冗長性の低減であることができる。圧縮は、前述の帯域幅および／または記憶空間の要件を、幾つかの場合には２桁以上、低減するのを助けることができる。無損失(lossless)圧縮および損失(lossy)圧縮の両方、並びにそれらの組み合わせを利用することができる。無損失圧縮とは、元の信号の正確なコピーを、圧縮された元の信号から再構成することができる技術を指す。損失圧縮を使用するとき、再構成された信号は、元の信号と同一ではないことがあるが、元の信号と再構成された信号との間の歪み(distortion)は、再構成された信号を意図された用途のために有用にするほどに十分に小さい。ビデオの場合には、損失圧縮が広く利用されている。許容される歪みの量は、アプリケーションに依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みに耐えることがある。達成可能な圧縮比は、それを反映することができる。すなわち、より高い許容できる／耐えられる歪みは、より高い圧縮比をもたらすことができる。

【0006】

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、幾つかの広範なカテゴリからの技術を利用することができる。

【0007】

ビデオコーデック技術は、イントラコーディング(intra coding)として知られる技術を含むことができる。イントラコーディングでは、サンプル値が、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照することなく表現される。幾つかのビデオコーデック(codecs)において、ピクチャは、サンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードにおいてコーディングされるとき、そのピクチャは、イントラピクチャ(intra picture)となることができる。イントラピクチャおよび独立したデコーダリフレッシュピクチャのようなそれらの派生物は、デコーダ状態をリセットするために使用されることができ、従って、コーディングされたビデオビットストリームおよびビデオセッションにおける第１のピクチャとして、または静止画像(still image)として使用されることができる。イントラブロックのサンプルを変換に曝すことができ、エントロピーコーディングの前に変換係数を量子化することができる。イントラ予測(intra prediction)は、変換前の領域(domain)におけるサンプル値を最小化する技術であることができる。幾つかの場合には、変換後のＤＣ値が小さければ小さく、ＡＣ係数が小さければ小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビットはより少ない。

【0008】

例えば、ＭＰＥＧ－２世代コーディング技術から知られているような伝統的なイントラコーディングは、イントラ予測を使用しない。しかしながら、幾つかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し且つ復号化順で先行するデータのブロックの符号化および／または復号化の間に得られた、周囲のサンプルデータおよび／またはメタデータから試みる、技術を含む。そのような技法は、以降、「イントラ予測」技法と呼ばれる。少なくとも幾つかの場合において、イントラ予測は、再構成下の現在のピクチャからの参照データ(reference data)のみを使用し、参照ピクチャからの参照データは使用しないことに留意されたい。

【0009】

多くの異なる形態のイントラ予測があり得る。そのような技法のうちの１つ以上を所与のビデオコーディング技術において使用することができるとき、使用中の技法をイントラ予測モードにおいてコーディングすることができる。特定の場合において、モードは、サブモードおよび／またはパラメータを有することができ、それらは個別にコーディングされることができ、或いはモード符号語(codeword)に含められることができる。どの符号語を所与のモード、サブモード、および／またはパラメータの組み合わせのために使用するかは、イントラ予測を通じたコーディング効率ゲインにおいて影響を与え得るし、符号語をビットストリームに変換するために使用されるエントロピーコーディング技術も同様に影響を与え得る。

【0010】

特定のイントラ予測モードがＨ．２６４で導入され、Ｈ．２６５で改良され、共同探査モデル（ＪＥＭ：joint exploration model）、汎用ビデオコーディング（ＶＶＣ：versatile video coding）、およびベンチマークセット（ＢＭＳ：benchmark set）のようなより新しいコーディング技術において更に改良された。予測子ブロック(predictor block)は、既に利用可能なサンプルに属する隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム中でコーディングされることができ、或いはそれ自体が予測されることがある。

【0011】

図１を参照すると、右下に示されているのは、（３５個のイントラモードの３３個の角度モードに対応する）Ｈ．２６５の３３個の可能な予測子方向から知られている９個の予測子方向のサブセットである。矢印が収束する点（１０１）は、予測されるサンプル(試料)を表している。矢印は、サンプルが予測される方向を示している。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で、サンプルまたは複数のサンプルから右上に予測されることを示している。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度で、サンプルまたは複数のサンプルからサンプル（１０１）の左下に予測されることを示している。

【0012】

依然として図１を参照すると、左上には、（破線の太線で示されている）４×４サンプルの正方形ブロック（１０４）が示されている。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）およびＸ次元におけるその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元における（上から）第２のサンプルおよびＸ次元における（左から）第１のサンプルである。同様に、サンプルＳ４４は、Ｙ次元およびＸ次元の両方においてブロック（１０４）における第４のサンプルである。ブロックのサイズは４×４サンプルであるので、Ｓ４４は右下にある。更に示されているのは、同様の番号付けスキームに従う参照サンプル(reference sample)を示している。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）およびＸ位置（列インデックス）でラベル付けされている。Ｈ．２６４およびＨ．２６５の両方において、予測サンプルは、再構成下のブロックに隣接しており、従って、負の値を使用する必要はない。

【0013】

イントラピクチャ予測は、信号伝達される(signaled)予測方向によって必要に応じて、隣接するサンプルから参照サンプル値をコピーすることによって機能する。例えば、コーディングされたビデオビットストリームは、このブロックについて、矢印（１０２）と一致する予測方向を示す信号伝達(signaling)を含む、すなわち、サンプルは、水平から４５度の角度で、予測サンプルまたは複数のサンプルから右上に予測されると仮定する。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、およびＳ１４は、同じ参照サンプルＲ０５から予測される。次に、サンプルＳ４４は、参照サンプルＲ０８から予測される。

【0014】

特定の場合において、特に方向が４５度で均一に割ることができない場合には、複数の参照サンプルの値は、参照サンプルを計算するために、例えば、内挿(interpolation)を通じて組み合わされてよい。

【0015】

ビデオコーディング技術が発展するのに応じて、可能な方向の数が増加している。Ｈ．２６４（２００３年）では、９個の異なる方向を表すことができた。それは、Ｈ．２６５（２０１３年）に３３個に増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは、開示時に、最大６５個の方向をサポートできる。最も可能性の高い方向を識別する実験が行われ、エントロピーコーディングにおける特定の技法が、より可能性の低い方向についての特定のペナルティを受け入れて、少数のビットでそれらの可能性のある方向を表すために使用される。更に、それらの方向自体は、時折、隣接する既に復号化されたブロックで使用される隣接方向から予測されることができる。

【0016】

図２は、時間の経過に亘って増加する数の予測方向を示すためにＪＥＭに従って６５個のイントラ予測方向を示す概略図（２０１）を示している。

【0017】

方向を表すコーディングされたビデオビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオコーディング技術毎に異なることができ、例えば、予測方向の単純な直接マッピングから、イントラ予測モード、符号語、最も起こりそうなモードを含む複雑な適応スキーム、および類似の技法に及ぶことができる。しかしながら、全ての場合において、ビデオコンテンツにおいて、特定の他の方向よりも統計的に起こる可能性がより低い特定の方向が存在し得る。ビデオ圧縮の目標は、冗長性の低減であるので、より可能性の低い方向は、良好に動作するビデオコーディング技術において、より可能性の高い方向よりもより多くのビット数によって表される。

【発明の概要】

【0018】

本開示の態様は、ビデオ符号化(encoding)／復号化(decoding)のための方法および装置を提供する。幾つかの例において、ビデオ復号化のための装置は、受信回路構成と、処理回路構成とを含む。

【0019】

ビデオデコーダにおいて実行されるビデオ復号化の方法が提供される。コーディングされたビデオビットストリームから現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を受信することができる。コーディングされた情報中の現在のブロックと関連付けられる第１の情報を取得することができる。第１の情報は、現在のブロックが、現在のブロックのイントラ予測モードを隣接ブロックに基づいて導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示すことができる。コーディングされた情報中の現在のブロックと関連付けられる第２の情報を取得することができる。第２の情報は、現在のブロックが、イントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示すことができる。（ｉ）現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報および（ｉｉ）隣接ブロック中の現在のブロックの上隣接ブロックまたは左隣接ブロックがＩＳＰモードに基づいて区切られることを示す第２の情報のうちの１つに応答して、コンテキストモデルインデックス(context model index)を決定することができる。少なくともコンテキストモデルインデックスに基づいてコーディングされたビデオストリームから現在のブロックを復号化することができる。

【0020】

幾つかの実施形態では、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して、第２の情報を復号化することができる。更に、現在のブロックがＩＳＰモードに基づいて区切られることを示す第２の情報に応答して、ＩＳＰモードと関連付けられる構文要素を復号化することができる。

【0021】

本方法において、（ｉ）第１の情報および（ｉｉ）第２の情報のうちの１つに応答してコンテキストモデルを決定することは、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して実行される。現在のブロックがＤＩＭＤに基づいてイントラ予測されないことを示す第１の情報に応答して、現在のブロックと関連付けられる第３の情報をコーディングされた情報において取得することができる。第３の情報は、現在のブロックが、候補イントラ予測モードのセットを含むテンプレートベースのイントラモード導出（ＴＩＭＤ）に基づいてイントラ予測されるかどうかを示すことができる。（ｉ）現在のブロックがＴＩＭＤに基づいてイントラ予測されることを示す第３の情報、および（ｉｉ）隣接ブロック中の現在のブロックの上隣接ブロックまたは左隣接ブロックがＩＳＰモードに基づいて区切られることを示す第２の情報のうちの１つに応答して、コンテキストモデルインデックスを決定することができる。

【0022】

幾つかの実施形態において、現在のブロックがＴＩＭＤに基づいてイントラ予測されることを示す第３の情報に応答して、第２の情報を復号化することができる。従って、現在のブロックがＩＳＰモードに基づいて区切られることを示す第３の情報に応答して、ＩＳＰモードと関連付けられる構文要素を復号化することができる。

【0023】

本方法では、現在のブロックがＩＳＰモードに基づいて区切られないことを示す第２の情報に応答して、別のイントラコーディングモードと関連付けられる構文要素を復号化することができる。別のイントラコーディングモードは、行列ベースのイントラ予測（ＭＩＰ）、多重参照リーエンイントラ予測（ＭＲＬ）、および最確モード（ＭＰＭ）のうちの１つを含むことができる。

【0024】

幾つかの実施形態では、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して、コンテキストモデルインデックスが１であると決定することができる。現在のブロックがＤＩＭＤに基づいてイントラ予測されないことを示す第１の情報に応答して、コンテキストモデルインデックスがゼロであると決定することができる。

【0025】

幾つかの実施形態では、コンテキストモデルインデックスをコンテキストベースの適応バイナリ算術コーディング（ＣＡＢＡＣ）において使用することができる。

【0026】

幾つかの実施形態では、現在のブロックがＴＩＭＤに基づいてイントラ予測されることを示す第３の情報に応答して、コンテキストモデルインデックスが１であると決定することができる。現在のブロックがＴＩＭＤに基づいてイントラ予測されないことを示す第３の情報に応答して、コンテキストモデルインデックスがゼロである決定することができる。

【0027】

本開示の別の態様によれば、ビデオデコーダにおいて実行されるビデオ復号化の方法が提供される。本方法では、コーディングされたビデオビットストリームから現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を受信することができる。コーディングされた情報中の現在のブロックと関連付けられる第１の情報を復号化することができる。第１の情報は、現在のブロックが、現在のブロックのイントラ予測モードを隣接ブロックに基づいて導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示すことができる。現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して、ＤＩＭＤに基づいて第１のイントラ予測モードを決定することができる。加えて、コーディングされた情報に含められ且つ最確モード（ＭＰＭ）およびＭＰＭ剰余に関連付けられる構文要素に基づいて、第２のイントラ予測モードを決定することができる。

【0028】

本方法では、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して、コーディングされた情報中の現在のブロックと関連付けられる第２の情報を復号化することができる。第２の情報は、現在のブロックがイントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示すことができる。現在のブロックがＩＳＰモードに基づいて区切られることを示す第２の情報に応答して、ＩＳＰモードと関連付けられる構文要素を復号化することができる。

【0029】

本方法では、現在のブロックがＩＳＰモードに基づいて区切られないことを示す第２の情報に応答して、別のイントラコーディングモードと関連付けられる構文要素を復号化することができる。別のイントラコーディングモードは、行列ベースのイントラ予測（ＭＩＰ）、多重参照リーエンイントラ予測（ＭＲＬ）、および最確モード（ＭＰＭ）のうちの１つを含む。

【0030】

本方法では、第１のイントラ予測モードに基づいて第１のイントラ予測子を決定することができる。第２のイントラ予測モードに基づいて第２のイントラ予測子を決定することができる。第１のイントラ予測子および第２のイントラ予測子に基づいて最終のイントラ予測子を決定することができる。

【0031】

幾つかの実施形態において、最終のイントラ予測子は、（ｉ）第１の重量と第１のイントラ予測子との積、および（ｉｉ）第２の重量と第２のイントラ予測子との積の和に等しいと決定されることができる。第１の重量は、第２の重量以上であることができ、第１の重量と第２の重量との和は、１に等しいことができる。

【0032】

幾つかの実施形態において、最終のイントラ予測子は、（ｉ）第１の重量と第１のイントラ予測子との積、（ｉｉ）第２の重量と第２のイントラ予測子との積、および（ｉｉｉ）プレーナモードに基づく第３の重量とイントラ予測子との積の和に等しいと決定されることができる。第１の重量は、第２の重量以上であることができ、第１の重量、第２の重量、および第３の重量の和は、１に等しいことができる。

【0033】

本開示の別の態様によれば、装置が提供される。装置は、処理回路構成を有する。処理回路構成は、ビデオコーディングのための方法のうちのいずれかを実行するように構成されることができる。

【0034】

本開示の態様は、ビデオ復号化のためにコンピュータによって実行されるときに、コンピュータがビデオ復号化のための方法のうちのいずれかを実行させる命令を格納する、非一時的なコンピュータ読取可能媒体も提供する。

【0035】

開示される主題のさらなる構成、性質、および様々な利点は、以下の詳細な記述および添付の図面からより明らかになるであろう。

【図面の簡単な説明】

【0036】

【図1】イントラ予測モードの例示的なサブセットの概略図である。

【0037】

【図2】例示的なイントラ予測方向の図である。

【0038】

【図3】一実施形態による通信システム（３００）の単純化されたブロック図の概略図である。

【0039】

【図4】一実施形態による通信システム（４００）の単純化されたブロック図の概略図である。

【0040】

【図5】一実施形態によるデコーダの単純化されたブロック図の概略図である。

【0041】

【図6】一実施形態によるエンコーダの単純化されたブロック図の概略図である。

【0042】

【図7】別の実施形態によるエンコーダのブロック図を示している。

【0043】

【図8】別の実施形態によるデコーダのブロック図を示している。

【0044】

【図9】一実施形態によるテンプレートベースのイントラモード導出（ＴＩＭＤ：template-based intra mode derivation）の概略図である。

【0045】

【図10】本開示の幾つかの実施形態による第１の例示的な復号化プロセスの概要を示すフローチャートを示している。

【0046】

【図11】本開示の幾つかの実施形態による第２の例示的な復号化プロセスの概要を示すフローチャートを示している。

【0047】

【図12】本開示の幾つかの実施形態による第１の例示的な符号化プロセスの概要を示すフローチャートを示している。

【0048】

【図13】本開示の幾つかの実施形態による第２の例示的な符号化プロセスの概要を示すフローチャートを示している。

【0049】

【図14】一実施形態によるコンピュータシステムの概略図である。

【発明を実施するための形態】

【0050】

図３は、本開示の一実施形態による通信システム（３００）の単純化されたブロック図を示している。通信システム（３００）は、例えば、ネットワーク（３５０）を介して、互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１のペアの端末デバイス（３１０）および（３２０）を含む。図３の例において、第１のペアの端末デバイス（３１０）および（３２０）は、データの一方向送信を行う。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介して他の端末デバイス（３２０）に送信するために、ビデオデータ（例えば、端末デバイス（３１０）によって取り込まれるビデオピクチャのストリーム）をコーディングすることがある。符号化されたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形態で送信されることができる。端末デバイス（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号化して、ビデオピクチャを復元し(recover)、復元したビデオデータに従ってビデオピクチャを表示することがある。一方向性データ送信は、媒体提供アプリケーション等において一般的なことがある。

【0051】

別の例において、通信システム（３００）は、例えば、ビデオ会議中に発生することがあるコーディングされたビデオデータの双方向伝送を行う第２のペアの端末デバイス（３３０）および（３４０）を含む。データの双方向送信のために、一例において、端末デバイス（３３０）および（３４０）の各端末デバイスは、ネットワーク（３５０）を介して端末デバイス（３３０）および（３４０）の他方の端末デバイスへの送信のために、ビデオデータ（例えば、端末デバイスによって取り込まれるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（３３０）および（３４０）の各端末デバイスは、端末デバイス（３３０）および（３４０）の他方の端末デバイスによって送信されるコーディングされたビデオデータを受信してもよく、コーディングされたビデオデータを復号化して、ビデオピクチャを復元し、復元されたビデオデータに従ってアクセス可能なディスプレイデバイスにビデオピクチャを表示してよい。

【0052】

図３の例において、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして図示されることがあるが、本開示の原理は、それらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤおよび／または専用ビデオ会議機器との適用を見出す。ネットワーク（３５０）は、例えば、有線および／または無線通信ネットワークを含む、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（３５０）は、回線交換および／またはパケット交換チャネル内のデータを交換することがある。代表的なネットワークは、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（３５０）のアーキテクチャおよびトポロジー(topology)は、以下に説明されない限り、本開示の動作には重要でないことがある。

【0053】

図４は、開示される主題の適用についての一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示される主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティック、および同等物を含むデジタル媒体上の圧縮ビデオの格納などを含む、他のビデオ対応(video enabled)アプリケーションに等しく適用可能であり得る。

【0054】

ストリーミングシステムは、キャプチャサブシステム（４１３）を含んでよく、キャプチャサブシステム（４１３）は、例えば、圧縮されないビデオピクチャのストリーム（４０２）を生成する、ビデオソース（４０１）、例えば、デジタルカメラを含むことができる。一例において、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮られるサンプルを含む。符号化されたビデオデータ（４０４）（またはコーディングされたビデオビットストリーム）と比較されるときの高いデータボリュームを強調するために太線として描かれたビデオピクチャのストリーム（４０２）は、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、以下により詳細に記載されるような開示される主題の態様を可能にするか或いは実装するよう、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャのストリーム（４０２）と比較されるときのより低いデータボリュームを強調するために細線として描かれた、符号化されたビデオデータ（４０４）（または符号化されたビデオビットストリーム（４０４））は、将来の使用のためにストリーミングサーバ（４０５）に格納されることができる。図４のクライアントサブシステム（４０６）および（４０８）のような、１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、符号化されたビデオデータ（４０４）のコピー（４０７）および（４０９）を取り出す(retrieve)ことができる。クライアントサブシステム（４０６）は、例えば、電子デバイス（４３０）内にビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、符号化されたビデオデータの入って来るコピー（４０７）を復号化し、ディスプレイ（４１２）（例えば、ディスプレイスクリーン）または他のレンダリングデバイス（図示せず）にレンダリングされることができるビデオピクチャの出て行くストリーム（４１１）を生成する。幾つかのストリーミングシステムにおいて、符号化されたビデオデータ（４０４）、（４０７）、および（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準に従って符号化されることができる。それらの標準の例は、ＩＴＵ－Ｔ推奨Ｈ．２６５を含む。一例において、開発下のビデオコーディング標準は、汎用ビデオコーディング（ＶＶＣ：Versatile Video
Coding）として非公式に知られている。開示される主題は、ＶＶＣの文脈において使用されることがある。

【0055】

電子デバイス（４２０）および（４３０）は、他のコンポーネント（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）も含むことができる。

【0056】

図５は、本開示の一実施形態によるビデオデコーダ（５１０）のブロック図を示している。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれることができる。電子デバイス（５３０）は、受信機（５３１）（例えば、受信回路構成）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用されることができる。

【0057】

受信機（５３１）は、ビデオデコーダ（５１０）によって復号化されるべき１つ以上のコーディングされたビデオシーケンスを受信することがあり、同じまたは別の実施形態では、一度に１つのコーディングされたビデオシーケンスを受信することがあり、各々のコーディングされたビデオシーケンスの復号化は、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信されてよく、チャネルは、コーディングされたビデオデータを格納する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信機（５３１）は、コーディングされたビデオデータを、他のデータ、例えば、コーディングされたオーディオデータおよび／または補助的なデータストリームと共に受信することがあり、これらは、それぞれの使用エンティティ（図示せず）に転送されてよい。受信機（５３１）は、コーディングされたビデオシーケンスを他のデータから分離することがある。ネットワークジッタ(jitter)と闘うために、バッファメモリ（５１５）が、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以下「パーサ（５２０）」）との間に結合されてよい。特定の用途において、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の用途において、それはビデオデコーダ（５１０）の外側にあることができる（図示せず）。更に別の用途では、例えばネットワークジッタと闘うために、ビデオデコーダ（５１０）の外側にバッファメモリ（図示せず）があることができ、加えて、例えば、再生タイミングを取り扱うために、ビデオデコーダ（５１０）の内側に別のバッファメモリ（５１５）があることができる。受信機（５３１）が、十分な帯域幅および制御可能性を有するストア／フォワードデバイスから或いは同期ネットワークからデータを受信しているとき、バッファメモリ（５１５）は、必要とされないことがあるか、或いは小さくあり得る。インターネットのようなベストエフォート(best effort)パケットネットワークでの使用のために、バッファメモリ（５１５）は、必要とされることがあり、比較的大きいことができ、有利に適応サイズであることができ、ビデオデコーダ（５１０）の外側のオペレーティングシステムまたは類似の要素（図示せず）内に少なくとも部分的に実装されることがある。

【0058】

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル(symbols)（５２１）を再構成するパーサ（５２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、電子デバイス（５３０）の不可欠な部分ではないが、図５に示したように、電子デバイス（５３０）に結合されることができる、レンダリングデバイス（５１２）（例えば、ディスプレイスクリーン）のようなレンダリングデバイスを制御する潜在的な情報とを含む。レンダリングデバイスのための制御情報は、補足拡張情報（ＳＥＩ(Supplemental Enhancement Information)メッセージ）またはビデオユーザビリティ情報（ＶＵＩ(Video Usability Information)）パラメータセットフラグメント（図示せず）の形態にあってよい。パーサ（５２０）は、受信されるコーディングされたビデオシーケンスを構文解析／エントロピー復号化することがある。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度を伴うまたは伴わない算術コーディングなどを含む、様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータのセットを、コーディングされたビデオシーケンスから抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰ：Groups of Pictures）、ピクチャ、タイル、スライス、マクロブロック、コーディング単位（ＣＵ：Coding Units）、ブロック、変換単位（ＴＵ：Transform Units）、予測単位（ＰＵ：Prediction Units）などが含む。パーサ（５２０）は、変換係数、量子化パラメータ値、運動ベクトルなどのような情報を、コーディングされたビデオシーケンスから抽出してもよい。

【0059】

パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリ（５１５）から受信されるビデオシーケンスでエントロピー復号化／構文解析動作を行ってよい。

【0060】

シンボル（５２１）の再構成は、（例えば、インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックのような）コーディングされたビデオピクチャまたはその部分のタイプ、並びに他の要因に依存して、複数の異なるユニットを含むことができる。どのユニットが含まれるか、どのように含まれるかは、パーサ（５２０）によってコーディングされたビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数ユニットとの間のそのようなサブグループ制御情報の流れは、明確性のために図示されていない。

【0061】

既に述べた機能ブロックの他に、ビデオデコーダ（５１０）は、以下に記載するように、幾つかの機能ユニットに概念的に細分されることができる。商業的制約の下で作動する実用的な実装において、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には、互いに統合されることができる。しかしながら、開示される主題を記載する目的のためには、以下の機能単位に概念的に細分することが適切である。

【0062】

第１のユニットは、スケーラ(scaler)／逆変換ユニット(inverse transform unit)（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からシンボル（５２１）として、どの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列など含む、制御情報と共に、量子化された変換係数を受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ(aggregator)（５５５）に入力することができるサンプル値を含むブロックを出力することができる。

【0063】

幾つかの場合において、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができる、ブロックに関係することができる。そのような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。幾つかの場合において、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）からフェッチされた(fetched)周囲の既に再構成された情報を使用して、再構成下の同じサイズおよび形状のブロックのブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする(buffers)。アグリゲータ（５５５）は、幾つかの場合において、サンプル毎ベースで、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供されるような出力サンプル情報に追加する。

【0064】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされ且つ潜在的に運動補償されたブロックに関係することができる。そのような場合には、運動補償予測ユニット(motion compensation prediction unit)（５５３）が、参照ピクチャメモリ（５５７）にアクセスして、予測のために使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（５２１）に従ってフェッチされたサンプルを補償する動きの後に、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって（この場合には剰余サンプル(residual samples)または剰余信号(residual signal)と呼ぶ）スケーラ／逆変換ユニット（５５１）の出力に追加されることができる。運動補償予測ユニット（５５３）が予測サンプルをフェッチする、参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャコンポーネントを有することができるシンボル（５２１）の形態で運動補償予測ユニット（５５３）に利用可能な、運動ベクトルによって制御されることができる。運動補償は、サブサンプルの正確な運動ベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるようなサンプル値の補間、運動ベクトル予測メカニズムなどを含むこともできる。

【0065】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内で様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、（コーディングされたビデオビットストリームとも呼ばれる）コーディングされたビデオシーケンスに含まれるパラメータによって制御され、パーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（復号化順において）前の部分の復号化の間に得られたメタ情報に応答することができる、並びに以前に再構成されループフィルタリングされたサンプル値に応答することができる、ループ内フィルタ(in-loop filter)技術を含むことができる。

【0066】

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）に出力されることができる、並びに将来のインターピクチャ予測における使用のために参照ピクチャメモリ（５５７）中に格納されることができる、サンプルストリームであることができる。

【0067】

特定のコーディングされた画像は、ひとたび完全に再構成されると、将来の予測のための参考ピクチャとして使用されることができる。例えば、現在のピクチャに対応するコーディングされたピクチャがひとたび完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部となることができ、新鮮な現在のピクチャバッファは、後続のコーディングされたピクチャの再構成を開始する前に再割当されることができる。

【0068】

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような、標準中の所定のビデオ圧縮技術に従って、復号化動作を行うことがある。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術または標準の構文およびビデオ圧縮技術または標準中に文書化されるようなプロファイルの両方に従うという意味で、使用されているビデオ圧縮技術または標準によって指定される構文に適合することがある。具体的には、プロファイルは、特定のツールを、そのプロファイルの下での使用のために利用可能な唯一のツールとして、ビデオ圧縮技術または標準で利用可能な全てのツールから選択することができる。また、コンプライアンスのために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される範囲内にあることである。幾つかの場合において、レベルは、最大ピクチャサイズ、最大フレームレート、（例えば、毎秒メガサンプルで測定される）最大再構成サンプルレート、最大参照ピクチャサイズ等を制約する。レベルによって設定された制限値は、幾つかの場合には、コーディングされたビデオシーケンスで信号伝達される仮想参照デコーダ（ＨＲＤ：Hypothetical Reference Decoder）バッファ管理のためのＨＲＤ仕様およびメタデータを通じて更に制限されることができる。

【0069】

一実施形態において、受信機（５３１）は、コーディングされたビデオと共に追加の（冗長な）データを受信することがある。追加データは、コーディングされたビデオシーケンスの一部として含まれることがある。追加のデータは、データを適切に復号化するために、および／または元のビデオデータをより正確に再構成するために、ビデオデコーダ（５１０）によって使用されることがある。追加のデータは、例えば、時間的、空間的、または信号雑音比（ＳＮＲ：signal noise ratio）強化層、冗長スライス、冗長ピクチャ、前方エラー補正コード等の形態にあることができる。

【0070】

図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示している。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれる。電子デバイス（６２０）は、送信機（６４０）（例えば、送信回路構成）を含む。ビデオエンコーダ（６０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用されることができる。

【0071】

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像を取り込むことができる（図６の例では電子デバイス（６２０）の一部ではない）ビデオソース（６０１）からビデオサンプルを受信することができる。別の例において、ビデオソース（６０１）は、電子デバイス（６２０）の一部である。

【0072】

ビデオソース（６０１）は、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、．．．）、および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であることができる、デジタルビデオサンプルストリームの形態で、ビデオエンコーダ（６０３）によってコーディングされるべき、ソースビデオシーケンスを提供することがある。メディア提供(media serving)システムにおいて、ビデオソース（６０１）は、事前に準備されたビデオを格納する記憶デバイスであってよい。ビデオ会議システムにおいて、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして取り込むカメラであってよい。ビデオデータは、シーケンスで見られるときに動きを伝える複数の個々のピクチャとして提供されてよい。ピクチャ自体は、ピクセルの空間アレイとして組織化されてよく、各ピクセルは、使用中のサンプリング構造、色空間等に依存して、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の記述は、サンプルに焦点を当てている。

【0073】

一実施形態によれば、ビデオエンコーダ（６０３）は、ソースビデオシーケンスのピクチャを、リアルタイムで或いはアプリケーションによって要求されるような任意の他の時間制約の下で、コーディングされたビデオシーケンス（６４３）にコーディングおよび圧縮することがある。適切なコーディング速度を実現することは、コントローラ（６５０）の１つの機能である。幾つかの実施形態において、コントローラ（６５０）は、以下に記載されるように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。カップリングは、明確性のために示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御に関連するパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ピクチャグループ（ＧＯＰ：group of pictures）レイアウト、最大運動ベクトル探索範囲等を含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を有するように構成されることができる。

【0074】

幾つかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過剰に単純化された説明として、一例において、コーディングループは、（コーディングされるべき入力ピクチャおよび参照ピクチャに基づいて、シンボルストリームのような、シンボルを生成する責任を負う）ソースコーダ(source coder)（６３０）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、シンボルを再構成して、（シンボルとコーディングされたビデオビットストリームとの間の如何なる任圧縮も、開示される主題において考慮されるビデオ圧縮技術において無損失であるように）（リモート）デコーダが生成すると同様の方法でサンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号化は、デコーダ場所（ローカルまたはリモート）から独立したビット正確(bit-exact)な結果をもたらすので、参照ピクチャメモリ（６３４）中のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部は、デコーダが復号化中に予測を使用するときに「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（および、例えば、チャネルエラーの故に同期性を維持できないならば、結果として生じるドリフト）は、幾つかの関連技術においても使用される。

【0075】

「ローカル」デコーダ（６３３）の動作は、図５に関連して上記で既に詳述したビデオデコーダ（５１０）のような「リモート」デコーダと同じであることができる。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）およびパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号化は無損失であることができるので、バッファメモリ（５１５）およびパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号化部は、ローカルデコーダ（６３３）において完全に実装されないことがある。

【0076】

この時点で行うことができる観察は、デコーダ内に存在する構文解析／エントロピー復号化を除く如何なるデコーダ技術も、対応するエンコーダ内に実質的に同一の機能的形態で存在する必要が必然的にあることである。この理由のために、開示される主題は、デコーダ動作に焦点を当てる。エンコーダ技術の記述は、網羅的に記載されるデコーダ技術の逆であるため、省略されることができる。特定の分野においてのみ、より詳細な記述が必要とされ、以下に提供される。

【0077】

動作中、幾つかの例において、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする動き補償された予測コーディングを行ってよい。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと入力ピクチャに対する予測参照として選択されることがある参照ピクチャのピクセルブロックとの間の差をコーディングする。

【0078】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されるシンボルに基づいて、参照ピクチャとして指定されることがあるピクチャのコーディングされたビデオデータを復号化することがある。コーディングエンジン（６３２）の動作は、有利には、損失プロセスであってよい。コーディングされたビデオデータが（図６に示されない）ビデオデコーダで復号化されることがあるとき、再構成されたビデオシーケンスは、典型的には、幾つかのエラーを伴うソースビデオシーケンスのレプリカであることがある。ローカルビデオデコーダ（６３３）は、参照ピクチャ上でビデオデコーダによって実行されることがあり、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）内に格納させることがある、復号化処理を複製する(replicates)。このようにして、ビデオエンコーダ（６０３）は、（送信エラーのない）遠端ビデオデコーダ(far-end video decoder)によって得られる再構成された参照ピクチャと共通のコンテンツを有する再構成された参照ピクチャのコピーを、ローカルに格納することがある。

【0079】

予測子（６３５）は、コーディングエンジン（６３２）について予測探索を行うことがある。すなわち、コーディングされるべき新しいピクチャのために、予測子（６３５）は、新しい画像についての適切な予測参照として役立つことがある、（候補参照ピクセルブロックのような）サンプルデータ、または参照ピクチャ運動ベクトル、ブロック形状等のような特定のメタデータについて、参照ピクチャメモリ（６３４）を検索することがある。予測子（６３５）は、適切な予測参照を見出すために、サンプルブロック対ピクセルブロックベース(sample block-by-pixel block basis)で動作し得る。幾つかの場合には、予測子（６３５）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測参照を有することがある。

【0080】

コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理することがある。

【0081】

全ての前述の機能ユニットの出力は、エントロピーコーダ（６４５）においてエントロピーコーディングを受けることがある。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等のような技術に従って、シンボルを無損失圧縮することによって、様々な機能ユニットによって生成されるようなシンボルを、コーディングされたビデオシーケンスに変換する。

【0082】

送信機（６４０）は、エントロピーコーダ（６４５）によって生成されるようなコーディングされたビデオシーケンスをバッファして、通信チャネル（６６０）を介した送信の準備を行ってよく、通信チャネル（６６０）は、コーディングされたビデオデータを格納する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信機（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることがある。

【0083】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理することがある。コーディング中、コントローラ（６５０）は、各々のコーディングされたピクチャに、それぞれのピクチャに適用されることがあるコーディング技法に影響を及ぼすことがある、特定のコーディングされたピクチャタイプを割り当てることがある。例えば、ピクチャは、しばしば、次のピクチャタイプの１つとして割り当てられることがある。

【0084】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用しないでコーディングされ且つ復号化されるものであってよい。幾つかのビデオコーデックは、例えば、独立デコーダリフレッシュ(Independent Decoder Refresh)（「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形並びにそれらのそれぞれの用途および構成を知っている。

【0085】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大で１つの運動ベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングされ且つ復号化されることがあるものである場合がある。

【0086】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大で２つの運動ベクトルと参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングされ且つ復号化されることがあるものである場合がある。同様に、複数の予測ピクチャは、単一ブロックの再構成のために２つよりも多くの参照ピクチャおよび関連するメタデータを使用することができる。

【0087】

ソースピクチャは、通常、複数のサンプルブロック（例えば、４×４、８×８、４×８、または１６×１６サンプル毎のブロック）に空間的に細分され、ブロック毎にコーディングされる。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割当によって決定されるような他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、或いは、それらは、同じピクチャの既にコーディングされたブロック（空間予測またはイントラ予測）を参照して予測的にコーディングされてよい。Ｐピクチャのピクセルブロックは、１つの以前にコーディングされた参照ピクチャを参照した空間的予測または時間的予測を介して予測的にコーディングされてよい。Ｂピクチャのブロックは、１つまたは２つの以前にコーディングされた参照ピクチャを参照した空間的予測を介して或いは時間的予測を介して予測的にコーディングされてよい。

【0088】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．のような、所定のビデオコーディング技術または標準に従って、コーディング動作を実行することがある。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的および空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を行うことがある。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術または標準によって指定された構文に適合することがある。

【0089】

一実施形態において、送信機（６４０）は、コーディングされたビデオと共に追加的なデータを送信することがある。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含むことがある。追加的なデータは、時間的／空間的／ＳＮＲ強調層、冗長ピクチャおよびスライス、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント等のような他の形式の冗長データを含むことがある。

【0090】

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として取り込まれることがある。（しばしばイントラ予測と略される）イントラピクチャ予測は、所与のピクチャにおける空間的相関を利用し、イントラピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例において、現在のピクチャと呼ぶ符号化／復号化の下の特定のピクチャは、ブロックに区切られる(partitioned)。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされ且つ依然としてバッファされている参照ピクチャにおける参照ブロックに類似するとき、現在のピクチャ内のブロックは、運動ベクトルと呼ばれるベクトルによってコーディングされることができる。運動ベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第３の次元を有することができる。

【0091】

幾つかの実施形態では、インターピクチャ予測において双予測技法を使用することができる。二重予測技法によれば、ビデオ内の現在のピクチャに対する復号化順序において両方とも先行する（しかしながら、表示順序ではそれぞれ過去および将来であることがある）第１の参照ピクチャおよび第２の参照ピクチャのような、２つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の運動ベクトルと第２の参照ピクチャ内の第２の参照ブロックを指す第２の運動ベクトルとによってコーディングされることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

【0092】

更に、コーディング効率を改善するために、インターピクチャ予測においてマージモード技法を使用することができる。

【0093】

本開示の幾つかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測のような予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、ビデオピクチャのシーケンス中のピクチャは、圧縮のためにコーディングツリー単位（ＣＴＵ：coding tree units）に区分され、ピクチャ中のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、または１６×１６ピクセルのような、同じサイズを有する。一般に、ＣＴＵは、１つのルマ(luma)(輝度)ＣＴＢと２つのクロマ(彩度)(chroma)ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ：coding tree blocks）を含む。各ＣＴＵは、１つ以上のコーディング単位（ＣＵ：coding units）に再帰的に４分木分割される(quadtree split)ことができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、３２×３２ピクセルの４つのＣＵ、または１６×１６ピクセルの１６個のＣＵに分割されることができる。一例において、各ＣＵは、インター予測タイプまたはイントラ予測タイプのような、ＣＵについての予測タイプを決定するために分析される。ＣＵは、時間的および／または空間的予測可能性に依存して、１つ以上の予測単位（ＰＵ：prediction units）に分割される。一般に、各ＰＵは、ルマ予測ブロック（ＰＢ：prediction block）と２つのクロマＰＢとを含む。一実施形態では、コーディング（符号化／復号化）における予測動作は、予測ブロックのユニットにおいて実行される。予測ブロックの一例としてルマ予測ブロックを用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、および同等物のような、ピクセルについての値（例えば、ルマ値）の行列を含む。

【0094】

図７は、本開示の別の実施形態によるビデオエンコーダ（７０３）の図を示している。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信して、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャに符号化するように構成される。一例において、ビデオエンコーダ（７０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用される。

【0095】

ＨＥＶＣの例において、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックおよび同等物のような、処理ブロックについてのサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモード、インターモード、または双予測(bi-prediction)モードを使用して最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードにおいてコーディングされるべきとき、ビデオエンコーダ（７０３）は、イントラ予測技法を使用して、処理ブロックをコーディングされたピクチャにコーディングしてよく、処理ブロックがインターモードまたは双予測モードにおいてコーディングされるべきとき、ビデオエンコーダ（７０３）は、インター予測または双予測技法をそれぞれ使用して、処理ブロックをコーディングされたピクチャにコーディングしてよい。特定のビデオコーディング技術では、マージモードは、運動ベクトルが予測子の外側のコーディングされた運動ベクトル成分の利益なしに１つ以上の運動ベクトル予測子から導出される、インターピクチャ予測サブモード(inter picture prediction submode)であることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な運動ベクトル成分が存在してよい。一例において、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず）のような、他のコンポーネントを含む。

【0096】

図７の例において、ビデオエンコーダ（７０３）は、図７に示すように互いに結合されたインターエンコーダ（７３０）、イントラエンコーダ（７２２）、剰余計算器(residue calculator)（７２３）、スイッチ（７２６）、剰余エンコーダ(residue encoder)（７２４）、汎用コントローラ(general controller)（７２１）、およびエントロピーエンコーダ（７２５）を含む。

【0097】

インターエンコーダ（７３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、以前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報の記述、運動ベクトル、マージモード情報）を生成し、任意の適切な技法を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算する、ように構成される。幾つかの例において、参照ピクチャは、符号化されたビデオ情報に基づいて復号化される復号化された参照ピクチャである。

【0098】

イントラエンコーダ（７２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、幾つかの場合には、そのブロックを同じピクチャにおいて既にコーディングされているブロックと比較し、変換後に量子化された係数を生成し、幾つかの場合には、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成する、ように構成される。一例において、イントラエンコーダ（７２２）は、同じピクチャ内のイントラ予測情報および参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）も計算する。

【0099】

汎用コントローラ（７２１）は、汎用制御データを決定して、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するように構成される。一例において、汎用コントローラ（７２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（７２６）に制御信号を提供する。例えば、モードがイントラモードであるとき、汎用コントローラ（７２１）は、スイッチ（７２６）を制御して、剰余計算器（７２３）による使用のためのイントラモード結果を選択し、エントロピーエンコーダ（７２５）を制御して、イントラ予測情報を選択し、ビットストリーム内にイントラ予測情報を含める。そして、モードがインターモードのとき、汎用コントローラ７２１は、スイッチ（７２６）を制御して、剰余計算器（７２３）による使用のためのインター予測結果を選択し、エントロピーエンコーダ（７２５）を制御して、インター予測情報を選択し、ビットストリーム内にインター予測情報を含める。

【0100】

剰余計算器（７２３）は、受信したブロックとイントラエンコーダ（７２２）またはインターエンコーダ（７３０）から選択された予測結果との間の差（剰余データ(residue data)）を計算するように構成される。剰余エンコーダ（７２４）は、剰余データに基づいて作動して、剰余データを符号化して、変換係数を生成するように構成される。一例において、剰余エンコーダ（７２４）は、剰余データを空間領域(spatial domain)から周波数領域(frequency domain)に変換して、変換係数を生成するように構成される。次に、変換係数は、量子化された変換係数を得るために、量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（７０３）は、剰余デコーダ（７２８）も含む。剰余デコーダ（７２８）は、逆変換を実行して、復号化された剰余データを生成するように構成される。復号化された剰余データは、イントラエンコーダ（７２２）およびインターエンコーダ（７３０）によって適切に使用されることができる。例えば、インターエンコーダ（７３０）は、復号化された剰余データおよびインター予測情報に基づいて復号化されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号化された剰余データおよびイントラ予測情報に基づいて復号化されたブロックを生成することができる。復号化されたブロックは、復号化されたピクチャを生成するために適切に処理され、復号化されたピクチャは、メモリ回路（図示せず）内でバッファされることができ、幾つかの例では、参照ピクチャとして使用されることができる。

【0101】

エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ標準のような、適切な標準に従った様々な情報を含むように構成される。一例において、エントロピーエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、剰余情報、およびビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードにおいてブロックをコーディングするとき、剰余情報はないことに留意されたい。

【0102】

図８は、本開示の別の実施形態によるビデオデコーダ（８１０）の図を示している。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受信し、コーディングされたピクチャを復号化して再構成されたピクチャを生成する、ように構成される。一例において、ビデオデコーダ（８１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用される。

【0103】

図８の例において、ビデオデコーダ（８１０）は、図８に示すように互いに結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、剰余デコーダ（８７３）、再構成モジュール（８７４）、およびイントラデコーダ（８７２）を含む。

【0104】

エントロピーデコーダ（８７１）は、コーディングされたピクチャから、そのコーディングされたピクチャを構成する構文要素を表す特定のシンボルを再構成するように構成されることができる。そのようなシンボルは、例えば、（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモードにおける後者の２つのような）ブロックがコーディングされるモード、イントラデコーダ（８７２）またはインターデコーダ（８８０）によってそれぞれ予測のために使用される特定のサンプルまたはメタデータを識別することができる（例えば、イントラ予測情報またはインター予測情報のような）予測情報、例えば、量子化された変換係数の形態の剰余情報、および同等物を含むことができる。一例では、予測モードがインター予測モードまたは双予測モードであるときに、インター予測情報は、インターデコーダ（８８０）に提供され、予測タイプがイントラ予測タイプであるときに、イントラ予測情報は、イントラデコーダ（８７２）に提供される。剰余情報は、逆量子化を受けることができ、剰余デコーダ（８７３）に提供される。

【0105】

インターデコーダ（８８０）は、インター予測情報を受信して、インター予測情報に基づいてインター予測結果を生成するように構成される。

【0106】

イントラデコーダ（８７２）は、イントラ予測情報を受信して、イントラ予測情報に基づいて予測結果を生成するように構成される。

【0107】

剰余デコーダ（８７３）は、逆量子化を実行して脱量子化変換係数を抽出し、脱量子化変換係数を処理して剰余物を周波数領域から空間領域に変換する、ように構成される。剰余デコーダ（８７３）は、（量子化器パラメータ（ＱＰ：Quantizer Parameter）を含むよう）特定の制御情報を必要とすることもあり、その情報は、エントロピーデコーダ（８７１）によって提供されてよい（これは低ボリューム制御情報のみであることがあるので、データ経路は示されていない）。

【0108】

再構成モジュール（８７４）は、空間領域において、剰余デコーダ（８７３）による出力としての剰余と、（場合によってはインターまたはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成ピクチャの一部であることがあってよい再構成ブロックを形成するように構成され、構成ピクチャの一部は、次に、再構成ビデオの一部であってよい。脱保護操作および同等のことのような他の適切な操作を行って視覚品質を向上させることができることに留意されたい。

【0109】

ビデオエンコーダ（４０３）、（６０３）および（７０３）、並びにビデオデコーダ（４１０）、（５１０）および（８１０）は、任意の適切な技法を使用して実装されることができることに留意されたい。一実施形態において、ビデオエンコーダ（４０３）、（６０３）および（７０３）、ならびにビデオデコーダ（４１０）、（５１０）および（８１０）は、１つ以上の集積回路を使用して実装されることができる。別の実施形態において、ビデオエンコーダ（４０３）、（６０３）および（７０３）、並びにビデオデコーダ（４１０）、（５１０）および（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装されることができる。

【0110】

本開示は、デコーダ側イントラモード導出の改良を含む。

【0111】

ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、および２０１６年（バージョン４）に、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）標準を公表した。２０１５年に、これら２つの標準組織は、ＪＶＥＴ（Joint Video Exploration Team）を共同で結成し、ＨＥＶＣを越えた次のビデオコーディング標準の開発の可能性を探った。２０１８年４月に、ＪＶＥＴは、ＨＥＶＣを超えた次世代ビデオコーディングの標準化プロセスを正式に開始した。この新しい標準は、ＶＶＣ（Versatile Video Coding）と命名され、ＪＶＥＴは、Joint Video Expert Teamに改名された。２０２０年７月に、Ｈ．２６６／ＶＶＣバージョン１が完成した。２０２１年１月に、ＶＶＣ能力を超える圧縮の増大を調査するためにアドホックグループが設立された。

【0112】

デコーダ側イントラモード導出（ＤＩＭＤ）では、ビットストリームにおいて信号伝達された(signaled)関連する構文要素を使用してイントラモードを導出することができ、或いは、ビットストリームにおいて信号伝達された関連する構文要素を使用しないでデコーダ側においてイントラモードを導出することができる。デコーダ側イントラモードを導出するために多くの方法を使用することができ、「デコーダ側イントラモード導出(decoder side intra mode derivation)」という表現は、本開示に記載される方法に限定されない。

【0113】

ＤＩＭＤでは、現在のＣＵ／ＰＵについての複数の候補イントラモードからの２つのイントラモードが、現在のＣＵ／ＰＵの再構成された隣接サンプル(neighbor samples)から導出されることができる。ＤＩＭＤでは、テクスチャ勾配分析(texture gradient analysis)をエンコーダ側およびデコーダ側の両方で行って、再構成された隣接サンプルに基づいて複数の候補イントラモードを生成することができる。複数の候補イントラモードの各々は、勾配（またはそれぞれの勾配）のそれぞれの履歴に関連付けられることができる。勾配の履歴が最も高い（またはヒストグラム図の勾配が最も高い）２つのイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１およびｉｎｔｒａＭｏｄｅ２）を選択することができまる。加重和を使用して選択された２つのイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１およびｉｎｔｒａＭｏｄｅ２）のイントラモード予測子をプレーナモード予測子(planar mode predictor)と組み合わせることができる。ｉｎｔｒａＭｏｄｅ１、ｉｎｔｒａＭｏｄｅ２およびプレーナモード予測子の組み合わせに基づいて現在のＣＵ／ＰＵについての最終イントラモード予測子を形成することができる。

【0114】

表１は、例示的なＤＩＭＤ信号伝達プロセスを示している。表１に示すように、ＤＩＭＤフラグ（例えば、ＤＩＭＤ＿ｆｌａｇ）は、ＩＳＰフラグ（例えば、ＩＳＰ＿ｆｌａｇ）の前に信号伝達されることができる。ＤＩＭＤ＿ｆｌａｇが１（または真(true)）であるとき、それは現在のＣＵ／ＰＵがＤＩＭＤを使用することを示すことができ、ＩＳＰ＿ｆｌａｇは、ＩＳＰが現在のＣＵ／ＰＵのために適用されるかどうかを検証するために更に構文解析されることができる。ＤＩＭＤ＿ｆｌａｇが１（または偽(false)）でないとき、それは現在のＣＵ／ＰＵがＤＩＭＤを使用しないことを示すことができる。従って、他のイントラコーディングツール（例えば、ＭＩＰ、ＭＲＬ、ＭＰＭ等）に関連する構文要素をデコーダ内で構文解析することができる。

【0115】

ＤＩＭＤフラグのコンテキストモデリングは、隣接するＣＵ／ＰＵに依存することができる。例えば、ＤＩＭＤフラグのコンテキストモデリングは、（ｉ）左隣接ＣＵ／ＰＵまたは上隣接ＣＵ／ＰＵの利用可能性、および（ｉｉ）左隣接ＣＵ／ＰＵまたは上隣接ＣＵ／ＰＵがＤＩＭＤも使用するかどうかに依存することができる。左隣接ＣＵ／ＰＵまたは上隣接ＣＵ／ＰＵのいずれかが存在し、ＤＩＭＤを使用するならば、コンテキストインデックス（例えば、ｃｔｘＩｄｘ）は、１であることができる。左隣接ＣＵ／ＰＵおよび上隣接ＣＵ／ＰＵの両方が存在し、ＤＩＭＤを使用するならば、ｃｔｘＩｄｘは、２であることができる。さもなければ、ｃｔｘＩｄｘは、０であることができる。

【表0001】

【0116】

テンプレートベースのイントラモード導出（ＴＩＭＤ）は、現在のＣＵの参照サンプルをテンプレートとして使用し、ＴＩＭＤに関連する候補イントラ予測モードのセットの中からイントラモードを選択することができる。選択されたイントラモードは、例えば、コスト関数に基づいて、最良のイントラモードとして決定されてよい。図９に示すように、現在のＣＵ（９０２）の隣接する再構成されたサンプルをテンプレート（９０４）として使用することができる。テンプレート（９０４）中の再構成されたサンプルをテンプレート（９０４）の予測サンプルと比較することができる。予測サンプルは、テンプレート（９０４）の参照サンプル（９０６）を使用して生成することができる。参照サンプル（９０６）は、テンプレート（９０４）の周囲の隣接する再構成サンプルであることができる。コスト関数を使用して、候補イントラ予測モードのセットのそれぞれの１つに基づいて、テンプレート（９０４）内の再構成されたサンプルと予測サンプルとの間のコスト（または歪み(distortion)）を計算することができる。最小コスト（または歪み）を有するイントラ予測モードをイントラ予測モード（例えば、最良のイントラ予測モード）として選択して、現在のＣＵ（９０２）をインター予測することができる。

【0117】

表２は、ＴＩＭＤに関連する例示的なコーディングプロセスを示している。表１に示すように、ＤＩＭＤフラグ（例えば、ＤＩＭＤ＿ｆｌａｇ）が１でない（または真でない）とき、ＴＩＭＤフラグ（例えば、ＴＩＭＤ＿ｆｌａｇ）を信号伝達することができる。ＤＩＭＤ＿ｆｌａｇが１であるとき、現在のＣＵ／ＰＵは、ＤＩＭＤを使用し、ＩＳＰフラグ（例えば、ＩＳＰ＿ｆｌａｇ）は、ＩＳＰが現在のＣＵ／ＰＵのために使用されているかどうかを見るために構文解析されることができる。ＤＩＭＤ＿ｆｌａｇが１でないとき、ＴＩＭＤ＿ｆｌａｇは、構文解析される。ＴＩＭＤ＿ｆｌａｇが１であるとき、ＴＩＭＤは、他のイントラコーディングツールを適用することなく現在のＣＵ／ＰＵに適用されることができる（例えば、ＴＩＭＤが使用されるとき、ＩＳＰは許可されない）。ＴＩＭＤ＿ｆｌａｇが１（または偽）でないとき、他のイントラコーディングツール（例えば、ＭＩＰ、ＭＲＬ、ＭＰＭ等）に関連する構文要素をデコーダにおいて構文解析することができる。

【表0002】

【0118】

本開示では、ＩＳＰとＴＩＭＤとの組み合わせを提供することができる。表３は、ＩＳＰとＴＩＭＤとの組み合わせの例示的な擬似コーディングを示している。

【表0003】

【0119】

表３に示すように、ＤＩＭＤフラグ（例えば、ＤＩＭＤ＿ｆｌａｇ）が１（または偽）でないとき、ＴＩＭＤフラグ（例えば、ＴＩＭＤ＿ｆｌａｇ）を信号伝達することができる。ＤＩＭＤフラグが１（または真）であるとき、それは現在のＣＵ／ＰＵがＤＩＭＤを使用することを示すことができる。ＩＳＰフラグ（例えば、ＩＳＰ＿ｆｌａｇ）は、ＩＳＰが現在のＣＵ／ＰＵのために使用されているかどうかを検証するために更に構文解析されることができる。ＤＩＭＤフラグが１でないとき、ＴＩＭＤフラグは構文解析されることができる。ＴＩＭＤフラグが１であるとき、それはＴＩＭＤが現在のＣＵ／ＰＵに適用されることを示すことができる。ＩＳＰフラグは、ＩＳＰが現在のＣＵ／ＰＵのために適用されるかどうかを見るために相応して構文解析されることができる。ＴＩＭＤフラグが１でない時、他のイントラコーディングツール（例えば、ＭＩＰ、ＭＲＬ、ＭＰＭ等）に関連する構文要素は、デコーダにおいて構文解析されることができる。

【0120】

幾つかの実施形態では、表３で提供されるＩＳＰフラグについて、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）コンテキストモデリングは、ＤＩＭＤフラグの値に依存することができる。一例において、ＣＡＢＡＣに関連するコンテキストインデックス（例えば、ｃｔｘＩｄｘ）の割当は、ＤＩＭＤフラグにのみ依存することができる。例えば、ＤＩＭＤフラグが１に等しいとき、ｃｔｘＩｄｘを１に設定することができる。さもなければ、ｃｔｘＩｄｘを０に設定することができる。

【0121】

別の例において、コンテキストインデックス（例えば、ｃｔｘＩｄｘ）の割当は、ＤＩＭＤフラグだけでなく、隣接するＣＵがＩＳＰに基づいて区切られている（例えば、上隣接ＣＵがＩＳＰに基づいて区切られている或いは左隣接ＣＵがＩＳＰに基づいて区切られている）かどうかのような、１つ以上の他の要因にも依存することができる。

【0122】

幾つかの実施形態では、表３に記載されるＩＳＰフラグについて、ＣＡＢＡＣコンテキストモデリングは、ＴＩＭＤフラグ値に依存することができる。一例において、コンテキストインデックス（例：ｃｔｘＩｄｘ）の割当は、ＴＩＭＤフラグにのみ依存することができる。例えば、ＴＩＭＤフラグが１に等しいとき、ｃｔｘＩｄｘを１に設定することができる。さもなければ、、ｃｔｘＩｄｘを０に設定することができる。

【0123】

別の例において、コンテキストインデックス（例えば、ｃｔｘＩｄｘ）の割当は、ＴＩＭＤフラグだけでなく、隣接するＣＵがＩＳＰに基づいて区切られている（例えば、上隣接ＣＵがＩＳＰに基づいてくぐられているか或いは左隣接ＣＵがＩＳＰに基づいて区切られている）かどうかのような、１つ以上の他の要因にも依存することができる。

【0124】

本開示では、デコーダ側において両方のイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１およびｉｎｔｒａＭｏｄｅ２）を導出する代わりに、１つのイントラモードをビットストリームにおいて信号伝達することができ、他のイントラモードを幾つかの実施形態におけるＤＩＭＤに基づいてデコード側において導出することができる。

【0125】

一実施形態では、ＭＰＭおよびＭＰＭ剰余関連の構文要素を使用して１つのイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１）を信号送信することができる。表４は、ＭＰＭおよびＭＰＭ剰余関連の構文要素を使用して１つのイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１）に信号伝達するための例示的な擬似コードを示している。

【表0004】

【0126】

表４に示すように、ＤＩＭＤ＿ｆｌａｇが１であるとき、それは現在のＣＵ／ＰＵがＤＩＭＤを使用することを示すことができ、ＩＳＰ＿ｆｌａｇは、ＩＳＰが現在のＣＵ／ＰＵのために使用されるかどうかを確認するために更に構文解析されることができる。ＩＳＰが現在のＣＵ／ＰＵのために使用されるかどうかを確認した後に、ＭＰＭおよびＭＰＭ剰余関連の構文要素を解析することによって、第１のイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１）を導出することができる。例えば、ＭＰＭリスト中の候補イントラモードに基づいて第１のイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１）を決定することができる。ＤＩＭＤ＿ｆｌａｇが１でないとき、他のイントラコーディングツール（例えば、ＭＩＰ、ＭＲＬ等）に関係する構文要素をデコーダにおいて構文解析することができる。

【0127】

従って、第１のイントラモード（例えば、ｉｎｔｒａＭｏｄｅ１）は、ビットストリームにおいて信号伝達されることができ、ＭＰＭおよびＭＰＭ剰余関連の構文要素を構文解析することによって定義されることができ、第２のイントラモード（例えば、ｉｎｔｒａＭｏｄｅ２）は、ビットストリームにおいて信号伝達されることなくＤＩＭＤに基づいてデコーダ側において導出されることができる。ＩｎｔｒａＭｏｄｅ１およびＩｎｔｒａＭｏｄｅ２は同じあり得ないことが留意されるべきである。

【0128】

本開示では、ＩｎｔｒａＭｏｄｅ１に基づいて得られるイントラ予測子およびＩｎｔｒａＭｏｄｅ２に基づいて得られるイントラ予測子を使用して、現在のＣＵ／ＰＵのための最終イントラ予測子（例えば、ｆｉｎａｌＩｎｔｒａＰｒｅｄｉｃｔｏｒ）を生成することができる。式（１）は、そのような最終イントラ予測子の一例ある。

【数0001】

ここで、ｗｅｉｇｈｔ１は、ｗｅｉｇｈｔ２よりも小さくなく、ｗｅｉｇｈｔ１＋ｗｅｉｇｈｔ２＝１である。

【0129】

幾つかの実施形態において、（ｗｅｉｇｈｔ１、ｗｅｉｇｈｔ２）は、（７／８、１／８）、（６／８、２／８）、（５／８、３／８）、および（４／８、４／８）のような、４つの利用可能な値を有することができる。（ｗｅｉｇｈｔ１、ｗｅｉｇｈｔ２）の値は、隣接物のイントラモードまたは現在のＣＵ／ＰＵの幅または高さに依存することができる。

【0130】

別の実施形態において、現在のＣＵ／ＰＵのための最終イントラ予測子は、ｉｎｔｒａＭｏｄｅ１のイントラ予測子、ｉｎｔｒａＭｏｄｅ２のイントラ予測子、およびプレーナのイントラ予測子の加重和であることができる。式（２）は、そのような最終イントラ予測子の一例ある。ＩｎｔｒａＭｏｄｅ１、ＩｎｔｒａＭｏｄｅ２、ｐｌａｎａｒ（プレーナ）は、同じであり得ないことが留意されるべきである。

【数0002】

ここで、ｗｅｉｇｈｔ１は、ｗｅｉｇｈｔ２よりも小さくなく、ｗｅｉｇｈｔ１＋ｗｅｉｇｈｔ２＋ｗｅｉｇｈｔ３＝１である。

【0131】

（ｗｅｉｇｈｔ１、ｗｅｉｇｈｔ２、ｗｅｉｇｈｔ３）は、（６／８、１／８、１／８）、（５／８、２／８、１／８）、（４／８、３／８、１／８）、（５／８、１／８、２／８）、（４／８、２／８、２／８）、および（３／８、３／８、２／８）のような、６つの利用可能な値を有することができる。（ｗｅｉｇｈｔ１、ｗｅｉｇｈｔ２、ｗｅｉｇｈｔ３）の値は、隣接物のイントラモードまたは現在のＣＵ／ＰＵの幅または高さに依存することができる。

【0132】

図１０は、本開示の幾つかの実施形態による第１の例示的な復号化プロセス（１０００）の概要を示すフローチャートを示している。図１１は、本開示の幾つかの実施形態による第２の例示的な復号化プロセス（１１００）の概要を示すフローチャートを示している。図１２は、本開示の幾つかの実施形態による第１の例示的な符号化プロセス（１２００）の概要を示すフローチャートを示している。図１３は、本開示の幾つかの実施形態による第２の例示的な符号化プロセス（１３００）の概要を示すフローチャートを示している。提案されるプロセスは、別々にまたは任意の順序で組み合わせて使用されることができる。更に、プロセス（または実施形態）、エンコーダ、およびデコーダの各々は、処理回路構成（例えば、１つ以上のプロセッサまたは１つ以上の集積回路）によって実装されてよい。一例において、１つ以上のプロセッサは、非一時的なコンピュータ読取可能媒体に格納されるプログラムを実行する。

【0133】

実施形態において、プロセスの任意の動作（例えば、（１０００）、（１１００）、（１２００）、および（１３００））は、必要に応じて、任意の量または順序で組み合わされてよく、或いは配置されてよい。実施形態において、プロセスの動作のうちの２つ以上（例えば、（１０００）、（１１００）、（１２００）および（１３００）は、並行して実行されてよい。

【0134】

プロセス（例えば、（１０００）、（１１００）、（１２００）および（１３００））は、再構成の下のブロックについての予測ブロックを生成するために、ブロックの再構成および／または符号化において使用されることができる。様々な実施形態において、処理（例えば、（１０００）、（１１００）、（１２００）および（１３００））は、端末デバイス（２１０）、（２２０）、（２３０）および（２４０）における処理回路構成、ビデオエンコーダ（３０３）の機能を実行する処理回路構成、ビデオデコーダ（３１０）の機能を実行する処理回路構成、ビデオデコーダ（４１０）の機能を実行する処理回路構成、ビデオエンコーダ（５０３）の機能を実行する処理回路構成、および同等物のような、処理回路構成によって実行される。幾つかの実施形態において、プロセス（例えば、（１０００）、（１１００）、（１２００）および（１３００））は、ソフトウェア命令において実装され、よって、処理回路構成がソフトウェア命令を実行するとき、処理回路構成は、プロセス（例えば、（１０００）、（１１００）、（１２００）および（１３００））を実行する。

【0135】

図１０に示すように、プロセス（１０００）は、（Ｓ１００１）から開始して、（Ｓ１０１０）に進むことができる。（Ｓ１０１０）で、現在のブロックおよび現在のブロックの隣接ブロックのコーディングされた情報を、コーディングされたビデオビットストリームから受信することができる。

【0136】

（Ｓ１０２０）で、コーディングされた情報内の現在のブロックと関連付けられる第１の情報を復号化することができる。第１の情報は、現在のブロックが、現在のブロックのイントラ予測モードが隣接ブロックに基づいて導出されるＤＩＭＤに基づいて、イントラ予測されるかどうかを示すことができる。

【0137】

（Ｓ１０３０）で、コーディングされた情報中の現在のブロックと関連付けられる第２の情報を得ることができる。第２の情報は、現在のブロックがイントラサブパーティション（ＩＳＰ：intra sub-partition）モードに基づいて区切られるかどうかを示すことができる。

【0138】

（Ｓ１０４０）で、コンテキストモデルインデックスは、（ｉ）現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報、および（ｉｉ）隣接ブロックにおける現在のブロックの上隣接ブロックまたは左隣接ブロックがＩＳＰモードに基づいて区切られることを示す第２の情報のうちの１つに応答して決定されることができる。

【0139】

（Ｓ１０５０）で、現在のブロックは、少なくともコンテキストモデルインデックスに基づいてコーディングされたビデオストリームから復号化されることができる。もちろん、現在のブロックは、復号化された第１の情報および／または第２の情報に基づいて再構成されることができる。例えば、現在のブロックは、現在のブロックがＩＳＰモードに基づいて区切られることを第２の情報が示すときに、現在のブロックがＤＩＭＤおよびＩＰＳモードに基づいてイントラ予測されることを第１の情報が示すときに、ＤＩＭＤに基づいて再構成されることができる。

【0140】

幾つかの実施形態において、第２の情報は、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して復号化されることができる。更に、ＩＳＰモードと関連付けられる構文要素は、現在のブロックがＩＳＰモードに基づいて区切られることを示す第２の情報に応答して復号化されることができる。

【0141】

プロセス（１０００）において、（ｉ）第１の情報および（ｉｉ）第２の情報のうちの１つに応答してコンテキストモデルを決定することは、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して実行されることができる。現在のブロックがＤＩＭＤに基づいてイントラ予測されないことを示す第１の情報に応答して、現在のブロックと関連付けられる第３の情報が、コーディングされた情報において得られることができる。第３の情報は、現在のブロックが候補イントラ予測モードのセットを含むテンプレートベースのイントラモード導出（ＴＩＭＤ：template based intra mode derivation）に基づいてイントラ予測されるかどうかを示すことができる。コンテキストモデルインデックスは、（ｉ）現在のブロックがＴＩＭＤに基づいてイントラ予測されることを示す第３の情報、および（ｉｉ）隣接ブロック内の現在のブロックの上隣接ブロックまたは左隣接ブロックがＩＳＰモードに基づいて区切られることを示す第２の情報のうちの１つに応答して、決定されることができる。

【0142】

幾つかの実施形態において、第２の情報は、現在のブロックがＴＩＭＤに基づいてイントラ予測されることを示す第３の情報に応答して復号化ドされることができる。従って、ＩＳＰモードと関連付けられる構文要素は、現在のブロックがＩＳＰモードに基づいて区切られることを示す第３の情報に応答して復号化されることができる。

【0143】

当該方法では、別のイントラコーディングモードと関連付けられる構文要素が、現在のブロックがＩＳＰモードに基づいて区切られないことを示す第２の情報に応答して復号化されることができる。他のイントラコーディングモードは、行列ベースのイントラ予測（ＭＩＰ：matrix-based intra prediction）、多重参照リーエンイントラ予測（ＭＲＬ：multiple reference lien intra prediction）、および最確モード（ＭＰＭ：most probable mode）のうちの１つを含むことができる。

【0144】

幾つかの実施形態において、コンテキストモデルインデックスは、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して１であると決定されることができる。コンテキストモデルインデックスは、現在のブロックがＤＩＭＤに基づいてイントラ予測されないことを示す最初の情報に応答してゼロであると決定されることができる。

【0145】

幾つかの実施形態において、コンテキストモデルインデックスは、コンテキストベースの適応バイナリ算術コーディング（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）において使用されることができる。

【0146】

幾つかの実施形態において、コンテキストモデルインデックスは、現在のブロックがＴＩＭＤに基づいてイントラ予測されることを示す第３の情報に応答して１であると決定されることができる。コンテキストモデルインデックスは、現在のブロックがＴＩＭＤに基づいてイントラ予測されないことを示す第３の情報に応答してゼロであると決定されることができる。

【0147】

図１１に示すように、プロセス（１１００）は、（Ｓ１１０１）から開始し、（Ｓ１１１０）に進むことができる。（Ｓ１１１０）で、現在のブロックおよび現在のブロックの隣接ブロックのコーディング情報は、コーディングされたビデオビットストリームから受信されることができる。

【0148】

（Ｓ１１２０）で、コーディングされた情報中の現在のブロックと関連付けられる第１の情報は、復号化されることができる。第１の情報は、現在のブロックが、現在のブロックのイントラ予測モードを隣接ブロックに基づいて導出するＤＩＭＤに基づいて、イントラ予測されるかどうかを示すことができる。

【0149】

（Ｓ１１３０）で、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して、ＤＩＭＤに基づく第１のイントラ予測モードが決定されることができる。加えて、第２のイントラ予測モードが、コーディングされた情報に含まれ且つ最確モード（ＭＰＭ）およびＭＰＭ剰余と関連付けられる構文要素に基づいて決定されることができる。

【0150】

（Ｓ１１４０）で、現在のブロックは、第１のイントラ予測モードと第２のイントラ予測モードに基づいて再構成されることができる。

【0151】

プロセス（１１００）では、コーディングされた情報中の現在のブロックと関連付けられる第２の情報が、現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報に応答して復号化されることができる。第２の情報は、現在のブロックがイントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示すことができる。ＩＳＰモードと関連付けられる構文要素は、現在のブロックがＩＳＰモードに基づいて区切られることを示す第２の情報に応答して復号化されることができる。

【0152】

プロセス（１１００）では、別のイントラコーディングモードと関連付けられる構文要素が、現在のブロックがＩＳＰモードに基づいて区切られないことを示す第２の情報に応答して復号化されることができる。他のイントラコーディングモードは、行列ベースのイントラ予測（ＭＩＰ）、多重参照リーエンイントラ予測（ＭＲＬ）、および最確モード（ＭＰＭ）のうちの１つを含むことができる。

【0153】

プロセス（１１００）において、第１のイントラ予測子は、第１のイントラ予測モードに基づいて決定されることができる。第２のイントラ予測子は、第２のイントラ予測モードに基づいて決定されることができる。最終的なイントラ予測子は、第１のイントラ予測子および第２のイントラ予測子に基づいて決定されることができる。

【0154】

幾つかの実施形態において、最終的なイントラ予測子は、（ｉ）第１の重量と第１のイントラ予測子との積、および（ｉｉ）第２の重量と第２のイントラ予測子の積の合計に等しいと決定されることができる。第１の重量は、第２の重量以上であることができ、第１の重量および第２の重量の合計は、１に等しいことができる。

【0155】

幾つかの実施形態において、最終的なイントラ予測子は、（ｉ）第１の重量と第１のイントラ予測子との積、（ｉｉ）第２の重量と第２のイントラ予測子との積、および（ｉｉｉ）プレーナモードに基づく第３の重量とイントラ予測子との積の合計に等しいと決定されることができる。第１の重量は、第２の重量以上であることができ、第１の重量、第２の重量、および第３の重量の合計は、１に等しいことができる。

【0156】

図１２に示すように、プロセス（１２００）は、（Ｓ１２０１）から開始し、（Ｓ１２１０）に進むことができる。（Ｓ１２１０）で、現在のブロックと関連付けられる第１の情報を生成することができる。第１の情報は、ビデオのピクチャ中の現在のブロックが、現在のブロックの隣接ブロックに基づいて現在のブロックのイントラ予測モードを導出するデコーダ側イントラモード導出（ＤＩＭＤ）に基づいてイントラ予測されるかどうかを示すことができる。

【0157】

（Ｓ１２２０）で、現在のブロックと関連付けられる第２の情報を生成することができる。第２の情報は、現在のブロックがイントラサブパーティション（ＩＳＰ）モードに基づいて区切られるかどうかを示すことができる。

【0158】

（Ｓ１２３０）で、コンテキストモデルインデックスが、（ｉ）現在のブロックがＤＩＭＤに基づいてイントラ予測されることを示す第１の情報、および（ｉｉ）隣接ブロックにおける現在のブロックの上隣接ブロックまたは左隣接ブロックがＩＳＰモードに基づいて区切られることを示す第２の情報のうちの１つに応答して決定されることができる。

【0159】

（Ｓ１２４０）で、現在のブロックは、コンテキストモデルインデックスによって示されるコンテキストモデルに少なくとも基づいて符号化されることができる。

【0160】

図１３に示すように、プロセス（１３００）は、（Ｓ１３０１）から開始し、（Ｓ１３１０）に進むことができ、ここで、現在のブロックの第１のイントラ予測モードは、現在のブロックの第１のイントラ予測モードを現在のブロックの隣接ブロックに基づいて導出するＤＩＭＤに基づいて決定されることができる。

【0161】

（Ｓ１３２０）で、現在のブロックの第２のイントラ予測モードが、現在のブロックと関連付けられる最確モード（ＭＰＭ）リストおよびＭＰＭ剰余リストに基づいて決定されることができる。

【0162】

（Ｓ１３３０）で、現在のブロックに対するイントラ予測は、第１のイントラ予測モードおよび第２のイントラ予測モードに基づいて行われることができる。

【0163】

（Ｓ１３４０）で、第１の情報および構文要素を生成することができる。第１の情報は、現在のブロックがＤＩＭＤに基づいてイントラ予測されるかどうかを示すことができる。構文要素は、ＭＰＭリストおよびＭＰＭ剰余リストと関連付けられることができ、現在のブロックの第２のイントラ予測モードを示すことができる。

【0164】

上述の技法は、コンピュータ読取可能命令を使用してコンピュータソフトウェアとして実装されることができ、１つ以上のコンピュータ読取可能媒体に物理的に格納されることができる。例えば、図１４は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（１４００）を示している。

【0165】

コンピュータソフトウェアは、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、および同等物によって、直接的に、または解釈、マイクロコード実行、および同等のことを通じて実行されることができる命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、または類似のメカニズムの対象となることがある任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされることができる。

【0166】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス、および同等物を含む、様々なタイプのコンピュータまたはそれらのコンポーネントで実行されることができる。

【0167】

コンピュータシステム（１４００）について図１４に示すコンポーネントは、本質的に例示的であり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能性に関する如何なる制限を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（１４００）の例示的な実施形態に図示するコンポーネントの任意の１つまたは組み合わせに関する如何なる従属性または要件も有するものとして解釈されるべきでない。

【0168】

コンピュータシステム（１４００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、例えば、（キーストローク、スワイプ、データグローブの動きのような）触覚入力、（音声、拍手のような）音声入力、（ジェスチャのような）視覚入力、嗅覚入力（図示せず）を通じて、１人以上の人間ユーザによる入力に応答することがある。ヒューマンインターフェースデバイスは、（発話、音楽、周囲サウンドのような）オーディオ、（スキャンされた画像、静止画像カメラから得られる写真画像のような）画像、（二次元ビデオ、立体視ビデオを含む三次元ビデオのような）ビデオのような、人間による意識的入力に必ずしも直接的に関係しない特定の媒体を取り込むために使用されることもできる。

【0169】

入力ヒューマンインターフェースデバイスは、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチスクリーン（１４１０）、データグローブ（図示せず）、ジョイスティック（１４０５）、マイクロホン（１４０６）、スキャナ（１４０７）、カメラ（１４０８）のうちの１つ以上（各々の１つのみが示されている）を含んでよい。

【0170】

コンピュータシステム（１４００）は、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、サウンド、光、および嗅覚／味覚を通じて、１人以上の人間ユーザの感覚を刺激することがある。そのようなヒューマンインターフェース出力デバイスは、触覚出力装置（例えば、タッチスクリーン（１４１０）、データグローブ（図示せず）、ジョイスティック（１４０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもある）、（スピーカ（７０９）、ヘッドフォン（図示せず）のような）オーディオ出力デバイス、（各々がタッチスクリーン入力能力を持つか或いは持たない、各々が触覚フィードバック能力を持つか或いは持たない、それらの一部は、立体出力、仮想現実グラス（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）およびプリンタ（図示せず）のような手段を通じて、二次元視覚出力または三次元よりも多くの次元の出力を出力し得ることがある、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含む、スクリーン（７１０）のような）視覚出力デバイスを含むことがある。

【0171】

コンピュータシステム（１４００）は、人間がアクセス可能な記憶デバイスや、ＣＤ／ＤＶＤまたは同等の媒体（１４２１）を備えるＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１４２０）、サムドライブ（１４２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１４２３）、テープおよびフロッピーディスク（図示せず）のようなレガシー磁気媒体、セキュリティドングル（図示せず）のような特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス、および同等物を含む、光媒体のような、それらの関連する媒体も含むことができる。

【0172】

当業者は、現在開示されている主題に関連して使用されるような「コンピュータ読取可能媒体」という用語が、送信媒体、搬送波、または他の過渡信号を包含しないことも理解するはずである。

【0173】

コンピュータシステム（１４００）は、１つ以上の通信ネットワーク（１４５５）へのインターフェース（１４５４）を含むこともできる。ネットワークは、例えば、無線、有線、光であることができる。ネットワークは、更に、ローカル、ワイドエリア、メトロポリタン、車両および産業、リアルタイム、遅延耐性等であることができる。ネットワークの例は、イーサネット、無線ＬＡＮのようなローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥおよび同等のものを含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両および産業等を含む。特定のネットワークは、一般に、（例えば、コンピュータシステム（１４００）のＵＳＢポートのような）特定の汎用データポートまたは周辺バス（１４４９）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、一般に、以下に記載するようなシステムバスへの取り付けによって、コンピュータシステム（７００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は、他のエンティティと通信することができる。そのような通信は、単指向性、受信のみ（例えば、放送テレビ）、単指向性送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または、例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの、双指向性であることができる。特定のプロトコルおよびプロトコルスタックは、上述のように、それらのネットワークおよびネットワークインターフェースの各々で使用されることができる。

【0174】

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム（１４００）のコア（１４４０）に取り付けられることができる。

【0175】

コア（７４０）は、１つ以上の中央処理装置（ＣＰＵ）（１４４１）、グラフィックス処理装置（ＧＰＵ）（１４４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１４４３）の形態の特殊化されたプログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ（１４４４）、グラフィックスアダプタ（１４５０）等を含むことができる。これらのデバイスは、読出し専用メモリ（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（１４４６）、内部ユーザアクセス可能でないハードドライブのような内部大容量記憶装置、ＳＳＤ、および同等物（１４４７）と共に、システムバス（１４４８）を通じて接続されてよい。幾つかのコンピュータシステムにおいて、システムバス（１４４８）は、追加のＣＰＵ、ＧＰＵ、および同等物による拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能であることができる。周辺デバイスは、コアのシステムバス（１４４８）に直接的に取り付けられることができ、或いは周辺バス（１４４９）を通じて取り付けられることができる。一例において、スクリーン（１４１０）は、グラフィックスアダプタ（２４５０）に接続されることができる。周辺バスのためのアーキテクチャは、ＰＣＩ、ＵＳＢ、および同等物を含む。

【0176】

ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）、およびアクセラレータ（１４４４）は、組み合わせにおいて、上述のコンピュータコードを構成することができる、特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１４４５）またはＲＡＭ（１４４６）に格納されることができる。移行データも、ＲＡＭ（１４４６）に格納されることができるのに対し、永久データは、例えば、内部大容量記憶装置（１４４７）に格納されることができる。１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量記憶装置（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）、および同等物と密接に関連付けられることができるキャッシュメモリの使用を通じて、メモリデバイスのいずれかへの高速格納および検索を可能にすることができる。

【0177】

コンピュータ読取可能媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードをその上に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであることができ、或いは、それらは、コンピュータソフトウェア技術の当業者によく知られており且つ利用可能である種類のものであることができる。

【0178】

一例として、限定によってではなく、アーキテクチャ（１４００）、具体的には、コア（１４４０）を有する、コンピュータシステムは、１つ以上の有形のコンピュータ読取可能媒体において具現されるソフトウェアを実行する（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、および同等物を含む）プロセッサの結果としての機能性を提供することができる。そのようなコンピュータ読取可能媒体は、上述のようなユーザアクセス可能な大容量記憶装置と関連付けられる媒体、並びにコア内部大容量記憶装置（１４４７）またはＲＯＭ（１４４５）のような非一時的な性質を有するコア（１４４０）の特定の記憶装置であってよい。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納されることができ、コア（１４４０）によって実行されることができる。コンピュータ読取可能媒体は、特定のニーズに従って、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１４４０）、特にコア内の（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、および同等物を含む）プロセッサに、ＲＡＭ（１４４６）に格納されるデータ構造を定義ことと、ソフトウェアによって定義されるプロセスに従ってそのようなデータ構造を修正することとを含む、本明細書に記載する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。追加的にまたは代替的に、コンピュータシステムは、回路内に配線された或いは他の方法で具現されたロジック(論理）の結果として機能性（例えば、アクセラレータ（１４４４））を提供することができ、それは、本明細書に記載する特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに或いはソフトウェアと共に作動することができる。ソフトウェアへの言及は、ロジックを含み、必要に応じて、その逆も同様である。コンピュータ読取可能媒体への言及は、実行のためのソフトウェアを格納する回路、実行のためのロジックを具現する（集積回路（ＩＣ）のような）回路、または適切な場合にはそれらの両方を含むことができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを含む。
（付録Ａ：頭字語）
ＪＥＭ：共同探索モデル
ＶＶＣ：汎用ビデオコーディング
ＢＭＳ：ベンチマークセット
ＭＶ：運動ベクトル
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：補足強化情報
ＶＵＩ：ビデオ操作性情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット、
ＰＵ：予測ユニット
ＣＴＵ：コーディングツリーユニット
ＣＴＢ：コーディングツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理装置
ＧＰＵ：グラフィックス処理装置
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読出し専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：汎欧州デジタル移動電話方式
ＬＴＥ：ロングタームエボリューション
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネントインターコネクト
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：コーディングユニット

【0179】

この開示は幾つかの例示的な実施形態を記載したが、本開示の範囲内にある変更、置換、および様々な代替的な均等物がある。よって、当業者は、本明細書に明示的に示されていないか或いは記載されていないが、本開示の原理を具現し、よって、本開示の精神および範囲内にある、数多くのシステムおよび方法を考案することができることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】