特表 2022-525056 ビデオ符号化方法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-11

(54)【発明の名称】ビデオ符号化方法、装置及びコンピュータプログラム

(51)【国際特許分類】

   H04N 19/119 20140101AFI20220428BHJP

   H04N 19/157 20140101ALI20220428BHJP

   H04N 19/176 20140101ALI20220428BHJP

   H04N 19/70 20140101ALI20220428BHJP

   H04N 19/593 20140101ALI20220428BHJP

【ＦＩ】

H04N19/119

H04N19/157

H04N19/176

H04N19/70

H04N19/593

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021553356

(86)(22)【出願日】2020-08-25

(85)【翻訳文提出日】2021-09-08

(86)【国際出願番号】 US2020047814

(87)【国際公開番号】W WO2021041421

(87)【国際公開日】2021-03-04

(31)【優先権主張番号】62/892,356

(32)【優先日】2019-08-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/000,156

(32)【優先日】2020-08-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】リャン・ジャオ

(72)【発明者】

【氏名】シン・ジャオ

(72)【発明者】

【氏名】シアン・リ

(72)【発明者】

【氏名】シャン・リュウ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME11

5C159PP16

5C159TA12

5C159TA59

5C159TB08

5C159TC26

5C159TC27

5C159TD02

5C159TD12

5C159UA02

5C159UA05

(57)【要約】

ビデオデコーダにおけるビデオ復号方法は、符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割するステップと、符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定するステップと、現在ブロックに対してＩＳＰモードが許可される場合には、ＩＳＰモードに応じて、現在ブロックを復号するステップと、を含む。

【特許請求の範囲】

【請求項1】

ビデオデコーダにおけるビデオ復号方法であって、
符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割するステップと、
前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定するステップと、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号するステップと、を含む、方法。

【請求項2】

前記第１のブロックサイズは、
前記現在ブロックのブロック幅、
前記現在ブロックのブロック高さ、または
前記現在ブロックの前記ブロック幅と前記ブロック高さとの和のうちの１つにより表される、請求項１に記載の方法。

【請求項3】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最小値が閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項4】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最大値が閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項5】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロックエリアが閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項6】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロック幅がブロック高さに対する第１の比率と前記現在ブロックの前記ブロック高さが前記ブロック幅に対する第２の比率とのうちの最大値である、前記現在ブロックの横縦比が閾値以下である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項7】

前記閾値は１より大きい整数である、請求項６に記載の方法。

【請求項8】

前記現在ブロックを復号するステップは、
前記符号化ブロックの１つである前記現在ブロックの第２のブロックサイズに応じて、前記ＩＳＰモードが前記現在ブロックに適用されているか否かを示すＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定するステップを含む、請求項１に記載の方法。

【請求項9】

前記第２のブロックサイズは、
前記現在ブロックのブロック幅、
前記現在ブロックのブロック高さ、または
前記現在ブロックの前記ブロック幅と前記ブロック高さとの和のうちの１つにより表される、請求項８に記載の方法。

【請求項10】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最小値が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項11】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最大値が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項12】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロックエリアが閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項13】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロック幅がブロック高さに対する第１の比率と前記現在ブロックの前記ブロック高さが前記ブロック幅に対する第２の比率とのうちの最大値である、前記現在ブロックの横縦比が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項14】

前記ＩＳＰモードは非正方形ブロックに適用可能であり、且つ正方形ブロックに適用不能である、請求項１に記載の方法。

【請求項15】

前記非正方形ブロックのそれぞれに対して、水平分割タイプまたは垂直分割タイプのいずれかを許可する、請求項１４に記載の方法。

【請求項16】

前記現在ブロックを復号するステップは、
前記現在ブロックのブロック幅とブロック高さとに基づいて、垂直分割または水平分割を示す分割タイプを決定するステップを含む、請求項１４に記載の方法。

【請求項17】

前記現在ブロックを復号するステップは、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合、前記現在ブロックのブロック高さが前記現在ブロックのブロック幅に対する比が第１の閾値以上である場合には前記現在ブロックに対して垂直分割タイプを決定し、前記現在ブロックの前記ブロック幅が前記現在ブロックの前記ブロック高さに対する比が第２の閾値以上である場合には前記現在ブロックに対して水平分割タイプを決定するステップを含む、請求項１４に記載の方法。

【請求項18】

前記ＩＳＰモードの水平分割は幅が８サンプル、高さが６４サンプルの前記非正方形ブロックの符号化ブロックに対して許可されなく、前記ＩＳＰモードの垂直分割は幅が６４サンプル、高さが８サンプルの前記非正方形ブロックの符号化ブロックに対して許可されない、請求項１４に記載の方法。

【請求項19】

回路を含むビデオ復号装置であって、前記回路は、
符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割し、
前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定し、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号する、装置。

【請求項20】

プロセッサに実行されることにより、前記プロセッサにビデオ復号の方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割するステップと、
前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定するステップと、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号するステップと、を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、２０１９年８月２７日に提出された、出願番号が６２／８９２３５６であり、発明の名称が「Ｉｍｐｒｏｖｅｍｅｎｔ ｆｏｒ Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎ」である米国仮出願の優先権を主張する、２０２０年８月２１日に提出された、出願番号が１７／０００１５６であり、発明の名称が「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」である米国特許出願の優先権を主張する。これらの出願の全ての内容は、参照により本願に組み込まれる。

【0002】

本開示は、一般的にビデオ符号化に関する実施形態を記載する。

【背景技術】

【0003】

本明細書で提供される背景技術に対する説明は、本開示の背景を大まかに示すことを目的とする。ここに名を挙げられている発明者の業績は、この背景技術に記載された範囲において、出願時に従来技術として通常見なされえない記載の態様と共に、明示的にも黙示的にも本開示に対する従来技術として認められない。

【0004】

ビデオ符号化および復号は、動き補償を伴うインターピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０輝度サンプルと関連する彩度サンプルの空間寸法を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式には「フレームレート」とも呼ばれる）を持つことができる。非圧縮ビデオには、特定のビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオを１時間使用するには、６００ＧＢｙｔｅｓを超えた記憶空間が必要である。

【0005】

ビデオ符号化および復号の１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅および／または記憶空間の要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号の間の歪みは、再構築された信号を意図されたアプリケーションに役立てる程度に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なる。例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ発行アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、受け入れ可能／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。

【0006】

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピー符号化を含むいくつかの幅広いカテゴリからの技法を利用することができる。

【0007】

ビデオコーデック技術は、イントラ符号化として知られる技法を含み得る。イントラ符号化では、サンプル値は、予め再構築された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分される。サンプルのすべてのブロックがイントラモードで符号化されると、そのピクチャはイントラピクチャになる可能性がある。イントラピクチャと、独立したデコーダリフレッシュピクチャなどのその派生物とは、デコーダの状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッションの最初のピクチャとして、または静止画像として使用されることができる。イントラブロックのサンプルは変換にさらされることができ、変換係数はエントロピー符号化の前に量子化されることができる。イントラ予測は、事前変換領域でサンプル値を最小化する技法であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピー符号化後のブロックを表すために所定の量子化ステップサイズで必要なビットが少なくなる。

【0008】

例えばＭＰＥＧ－２世代符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコード順の先に位置するデータのブロックのエンコード／デコード中に得られた周囲のサンプルデータおよび／またはメタデータからイントラ予測を試みる技法を含む。そのような技法は、以降、「イントラ予測」技法と呼ばれる。少なくともいくつかのケースでは、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからの参照データを使用しないことに注意されたい。

【0009】

イントラ予測はさまざまな形態で存在し得る。そのような技法の２つ以上が所定のビデオ符号化技術に使用できる場合、使用中の技法はイントラ予測モードで符号化されることができる。場合によっては、モードはサブモードやパラメータを有することができ、それらを個別に符号化するか、もしくはモードコードワードに含めることができる。どのコードワードが所定のモード／サブモード／パラメーターの組み合わせに使用されるかは、イントラ予測による符号化効率ゲインに影響を与える可能性があるので、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術も影響を与える可能性がある。

【0010】

イントラ予測の特定のモードはＨ．２６４で提出され、Ｈ．２６５で改良され、さらに共同探索モデル（ＪＥＭ）、多用途ビデオ符号化（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などのより新しい符号化技術で改良された。予測子ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成されることができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリームで符号化されるか、もしくはそれ自体を予測され得る。

【0011】

図１を参照し、右下に示されたのは、Ｈ．２６５の３３通りの可能な予測子方向（３５個のイントラ予測モードのうちの３３個の角度モードに対応）から知られる９通りの予測子方向のサブセットである。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平軸から４５度の角度での右上の１つまたは複数のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平軸から２２．５度の角度での、サンプル（１０１）の左下の１つまたは複数のサンプルから予測されることを示す。

【0012】

引き続き図１を参照し、左上には、４×４サンプルの正方形ブロック（１０４）（太い破線で示される）が示されている。正方形ブロック（１０４）は、それぞれが、「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、およびＸ次元におけるその位置（例えば、列インデックス）でラベル付けされた１６サンプルを含む。例えば、サンプルＳ２１は、Ｙ次元（上から）における２番目のサンプルかつＸ次元（左から）における１番目のサンプルである。同様に、サンプルＳ４４は、ＹおよびＸ次元の両方においてブロック（１０４）における４番目のサンプルである。ブロックがサイズで４×４サンプルなので、Ｓ４４は、右下にある。さらに、同様な番号付け体系に従う参照サンプルが示されている。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）およびＸ位置（列インデックス）でラベル付けされる。Ｈ．２６４とＨ．２６５の両方で、予測サンプルは再構築中のブロックに隣接している。したがって、負の値を使用する必要はない。

【0013】

イントラピクチャ予測は、シグナリングされた予測方向で適切の隣接するサンプルから参照サンプル値をコピーすることで機能することができる。例えば、仮に、符号化されたビデオビットストリームは、このブロックについて矢印（１０２）と一致する予測方向（すなわち、サンプルが、水平から４５度の角度での右上の１つまたは複数の予測サンプルから予測される）を示すシグナリングを含むとする。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、およびＳ１４は同一の参照サンプルＲ０５から予測される。その後、サンプルＳ４４は、参照サンプルＲ０８から予測される。

【0014】

特定の場合において、複数の参照サンプルの値は、参照サンプルを算出するために、特に方向が４５度で均等に分割されていない場合に、例えば補間によって組み合わせられることができる。

【0015】

ビデオ符号化技術が発展するにつれて、可能な方向の数は増加した。Ｈ．２６４（２００３年）では、９通りの異なる方向を表すことができた。Ｈ．２６５（２０１３年）で３３通りに増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは開示時に最大６５通りの方向をサポートできる。最も見込みのある方向を識別するための実験が行われ、エントロピー符号化における特定の技法は、数が少ないビットで見込みの高い方向を表すために使用され、見込みの低い方向に対する特定のペナルティを容認する。さらに、方向自体は、隣接する、すでにデコードされたブロックで使用される隣接方向から予測される場合がある。

【0016】

図２は、経時的な予測方向の増加数を示すために、ＪＥＭによる６５通りのイントラ予測方向を示す概略図（２０１）を示す。

【0017】

方向を表す符号化されたビデオビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なる可能性があり、また、例えば、イントラ予測モードへ乃至コードワードへの予測方向の単純な直接マッピングから、最も可能性の高いモードや類似した技法を含む複雑な適応方式までの範囲とすることができる。しかしながら、すべての場合において、他の特定の方向よりも統計的にビデオコンテンツにおいて発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、適切に機能するビデオ符号化技術では、これらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される。

【発明の概要】

【課題を解決するための手段】

【0018】

本開示の態様は、ビデオデコーダにおけるビデオ復号方法を提供する。前記方法は、符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割するステップと、前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定するステップと、前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号するステップと、を含む。

【0019】

一実施形態では、前記第１のブロックサイズは、前記現在ブロックのブロック幅、前記現在ブロックのブロック高さ、または前記現在ブロックの前記ブロック幅と前記ブロック高さとの和のうちの１つにより表される。一実施形態では、前記ＩＳＰモードが許可されるか否かを決定するステップは、前記現在ブロックのブロック幅とブロック高さとのうちの最小値が閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されない。一実施形態では、前記現在ブロックのブロック幅とブロック高さとのうちの最大値が閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されない。一実施形態では、前記現在ブロックのブロックエリアが閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されない。

【0020】

一実施形態では、前記現在ブロックの横縦比が閾値以下である場合に、前記ＩＳＰモードが許可されない。前記横縦比は、前記現在ブロックのブロック幅がブロック高さに対する第１の比率と前記現在ブロックの前記ブロック高さが前記ブロック幅に対する第２の比率とのうちの最大値である。前記閾値は、１より大きい整数であってもよい。

【0021】

一部の実施形態では、前記符号化ブロックの１つである前記現在ブロックの第２のブロックサイズに応じて、ＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定してもよい。ＩＳＰモードフラグは、前記ＩＳＰモードが前記現在ブロックに適用されているか否かを示す。前記第２のブロックサイズは、前記現在ブロックのブロック幅、前記現在ブロックのブロック高さ、または前記現在ブロックの前記ブロック幅と前記ブロック高さとの和のうちの１つにより表される。

【0022】

一実施形態では、前記現在ブロックのブロック幅とブロック高さとのうちの最小値が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定する。一実施形態では、前記現在ブロックのブロック幅とブロック高さとのうちの最大値が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定する。

【0023】

一実施形態では、前記現在ブロックのブロックエリアが閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定する。一実施形態では、前記現在ブロックの横縦比が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定する。前記横縦比は、前記現在ブロックのブロック幅がブロック高さに対する第１の比率と前記現在ブロックの前記ブロック高さが前記ブロック幅に対する第２の比率とのうちの最大値であってもよい。

【0024】

一部の実施形態では、前記ＩＳＰモードは非正方形ブロックに適用可能であり、且つ正方形ブロックに適用不能である。一実施形態では、前記非正方形ブロックのそれぞれに対して、水平分割タイプまたは垂直分割タイプのいずれかを許可する。一実施形態では、前記現在ブロックのブロック幅とブロック高さとに基づいて、垂直分割または水平分割を示す分割タイプを決定してもよい。

【0025】

一実施形態では、前記現在ブロックに対して前記ＩＳＰモードが許可される場合、前記現在ブロックのブロック高さが前記現在ブロックのブロック幅に対する比が第１の閾値以上である場合には前記現在ブロックに対して垂直分割タイプを決定し、前記現在ブロックの前記ブロック幅が前記現在ブロックの前記ブロック高さに対する比が第２の閾値以上である場合には前記現在ブロックに対して水平分割タイプを決定する。

【0026】

一実施形態では、前記ＩＳＰモードの水平分割は幅が８サンプル、高さが６４サンプルの前記非正方形ブロックの符号化ブロックに対して許可されなく、前記ＩＳＰモードの垂直分割は幅が６４サンプル、高さが８サンプルの前記非正方形ブロックの符号化ブロックに対して許可されない。

【0027】

本開示の態様は、ビデオ復号装置を提供する。前記装置は回路を含み、前記回路は、符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割し、前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定し、前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号する。

【0028】

本開示の態様はまた、ビデオ復号用のコンピュータに実行されることにより、前記コンピュータにビデオ復号の方法を実行させる命令を記憶する非一時的コンピュータ可読媒体を提供する。

【0029】

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。

【図面の簡単な説明】

【0030】

【図1】イントラ予測モードの例示的なサブセットの概略図である。

【図2】例示的なイントラ予測方向の説明図である。

【図3】実施形態に係る通信システム（３００）の簡略化されたブロック図の概略図である。

【図4】実施形態に係る通信システム（４００）の簡略化されたブロック図の概略図である。

【図5】実施形態に係るデコーダの簡略化されたブロック図の概略図である。

【図6】実施形態に係るエンコーダの簡略化されたブロック図の概略図である。

【図7】別の実施形態に係るエンコーダを示すブロック図である。

【図8】別の実施形態に係るデコーダを示すブロック図である。

【図9A】四分木＋二分木（ＱＴＢＴ）分割構造（９２０）を用いて分割された符号化ツリーユニット（ＣＴＵ）（９１０）を示す図である。

【図9B】ＱＴＢＴ分割構造（９２０）を示す図である。

【図10A】水平二分木を示す図である。

【図10B】垂直二分木を示す図である。

【図10C】水平中央側三分木を示す図である。

【図10D】垂直中央側三分木を示す図である。

【図11A】本開示の実施形態に係るＩＳＰモードで符号化された符号化ブロック（１１００）の水平分割および垂直分割を示す図である。

【図11B】本開示の実施形態に係るＩＳＰモードで符号化された他の符号化ブロック（１１５０）の水平分割および垂直分割を示す図である。

【図12】本開示の実施形態に係るプロセス（１２００）の概要を示すフローチャートである。

【図13】本開示の実施形態に係るプロセス（１３００）の概要を示すフローチャートである。

【図14】本開示の実施形態に係るプロセス（１４００）の概要を示すフローチャートである。

【図15】実施形態に係るコンピュータシステムの概略図である。

【発明を実施するための形態】

【0031】

Ｉ、ビデオエンコーダ・デコーダシステム

【0032】

図３は、本開示の実施形態による通信システム（３００）の概略ブロック図を示している。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１のペアの端末装置（３１０）と（３２０）を含む。図３の例では、第１のペアの端末装置（３１０）と（３２０）は、データの単方向送信を実行する。例えば、端末装置（３１０）は、ネットワーク（３５０）を介して他方の端末装置（３２０）へ送信するためにビデオデータ（例えば、端末装置（３１０）によってキャプチャされたビデオピクチャのストリーム）を符号化する。エンコードされたビデオデータは、１つ以上の符号化されたビデオビットストリームの形態で送信されることができる。端末装置（３２０）は、ネットワーク（３５０）から符号化ビデオデータを受信し、符号化ビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ送信は、メディアサービングアプリケーションなどで一般的である。

【0033】

他の例では、通信システム（３００）は、例えば、ビデオ会議中に発生し得る符号化ビデオデータの双方向送信を実行する第２のペアの端末装置（３３０）と（３４０）を含む。データの双方向送信の場合、一例では、端末装置（３３０）および（３４０）のそれぞれは、ネットワーク（３５０）を介して端末装置（３３０）および（３４０）のうちの他方の端末装置へ送信するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）を符号化する。端末装置（３３０）および（３４０）の一方は、端末装置（３３０）および（３４０）のうちの他方の端末装置により送信された符号化ビデオデータを受信することができ、符号化ビデオデータをデコードしてビデオピクチャを復元することができ、復元されたビデオデータに従ってビデオピクチャをアクセス可能な表示装置に表示することができる。

【0034】

図３の例では、端末装置（３１０）、（３２０）、（３３０）、（３４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示されることができるが、本開示の原理はこれに制限されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器にも適用される。ネットワーク（３５０）は、端末装置（３１０）、（３２０）、（３３０）、（３４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表し、例えば有線および／または無線通信ネットワークを含む。通信ネットワーク（３５０）は、回路交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（３５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の作動に対して重要でない可能性がある。

【0035】

図４は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、及び、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションにも同様に適用可能である。

【0036】

ストリーミングシステムは、例えば非圧縮のビデオピクチャ（４０２）のストリームを作成するデジタルカメラなどのビデオソース（４０１）を含むことができるキャプチャサブシステム（４１３）を含んでもよい。一例では、ビデオピクチャ（４０２）のストリームは、デジタルカメラによって取得されたサンプルを含む。エンコードされたビデオデータ（４０４）（又は符号化されたビデオビットストリーム）と比較して高データ量を強調するために太線で示されたビデオピクチャ（４０２）のストリームは、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（４０２）のストリームと比較してより低いデータ量を強調するために細い線で示された、エンコードされたビデオデータ（４０４）（またはエンコードされたビデオビットストリーム（４０４））は、将来使うためにストリーミングサーバ（４０５）に記憶されることができる。図４のクライアントサブシステム（４０６）および（４０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、エンコードされたビデオデータ（４０４）のコピー（４０７）および（４０９）を検索することができる。クライアントサブシステム（４０６）は、例えば、電子デバイス（４３０）におけるビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、エンコードされたビデオデータの入り方向コピー（４０７）をデコードし、ディスプレイ（４１２）（例えば、表示画面）または他のレンダリングデバイス（描画せず）でレンダリングできるビデオピクチャ（４１１）の出方向ストリームを作成する。一部のストリーミングシステムにおいて、エンコードされたビデオデータ（４０４）、（４０７）、および（４０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従ってエンコードされることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、発展中のビデオ符号化規格は、非公式的にヴァーサトゥルビデオ符号化またはＶＶＣとして知られている。開示された主題は、ＶＶＣの文脈に使用され得る。

【0037】

なお、電子デバイス（４２０）および（４３０）は、他の構成要素（図示せず）を含むことができる。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）を含むこともできる。

【0038】

図５は、本開示の実施形態によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれることができる。電子デバイス（５３０）は、受信機（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用されることができる。

【0039】

受信機（５３１）は、ビデオデコーダ（５１０）によってデコードされる１つ以上の符号化ビデオシーケンスを受信することができ、同一または別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスのデコードは、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（５０１）から受信されることができる。受信機（５３１）は、それぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、符号化オーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（５３１）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（５１５）は、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以降、「パーサ（５２０）」）の間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の場合、バッファメモリ（５１５）は、ビデオデコーダ（５１０）（図示せず）の外部に存在し得る。さらに他の場合、例えば、ネットワークジッタを防止するためにビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在し、さらに、例えば、再生タイミングを取り扱うためにビデオデコーダ（５１０）の内部に別のバッファメモリ（５１５）が存在し得る。受信機（５３１）が十分な帯域幅および可制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（５１５）は必要とされないことがあり、または小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（５１５）が必要になる場合があり、バッファメモリ（５１５）は、比較的大きいことがあり、有利には適応サイズであることができ、ビデオデコーダ（５１０）の外部のオペレーティングシステムまたは類似の要素（図示せず）に少なくとも部分的に実施され得る。

【0040】

ビデオデコーダ（５１０）は、符号化ビデオシーケンスからシンボル（５２１）を再構築するパーサ（５２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の操作を管理するために使用される情報を含んで、および、電子デバイス（５３０）の不可欠な部分ではないが、図５に示されるように電子デバイス（５３０）に結合され得るレンダリングデバイス（５１２）（例えば、表示画面）のようなレンダリングデバイスを制御する情報を潜在的に含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態であってよい。パーサ（５２０）は、受信された符号化ビデオシーケンスを構文解析／エントロピーデコードすることができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術または規格に合わせることができ、可変長符号化、ハフマン符号化、文脈感受性を有するもしくは有さない算術符号化などを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスからビデオデコーダ内の画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（５２０）は、符号化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。

【0041】

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。

【0042】

シンボル（５２１）の再構築は、符号化ビデオピクチャまたはその一部のタイプ（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）、および他の要因に応じて、複数の異なるユニットが関与することができる。どのユニットが、どのように関与するかは、パーサ（５２０）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

【0043】

すでに述べた機能ブロックに加え、ビデオデコーダ（５１０）は、以下で説明されるようにいくつかの機能ユニットに概念的に細分されることができる。商業的な制約の下で実際の実施操作にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。

【0044】

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（５２１）としてパーサ（５２０）から受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力可能なサンプル値を含むブロックを出力することができる。

【0045】

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラ符号化ブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することがある。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、一部再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加する。

【0046】

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関係することがある。このような場合、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（５２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（５５３）が予測サンプルを取り出す参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（５２１）の形態で動き補償予測ユニット（５５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確な動きベクトルが使用中であるときに参照ピクチャメモリ（５５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

【0047】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技法を受けられる。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれる、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能とされたパラメータによって制御されることができ、それに、符号化ピクチャまたは符号化ビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできるループ内フィルタ技術を含むことができる。

【0048】

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）へ出力されることができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に記憶されることができるサンプルストリームであり得る。

【0049】

特定の符号化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構築され、符号化ピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、次の符号化ピクチャの再構築を開始する前に新しい現在ピクチャバッファを再割当てすることができる。

【0050】

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ推奨のＨ．２６５のような規格での所定のビデオ圧縮技術に従ってデコード操作を実行することができる。符号化ビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、特定のツールをそのプロファイルで使用できるツールとして選択することができる。符号化ビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）仕様および符号化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のためのメタデータによってさらに制限され得る。

【0051】

一実施形態では、受信機（５３１）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（５１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。

【0052】

図６は、本開示の実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれる。電子デバイス（６２０）は、送信機（６４０）（例えば、送信回路）を含む。図４の例におけるビデオエンコーダ（４０３）の代わりにビデオエンコーダ（６０３）を使用することができる。

【0053】

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によって符号化されるビデオ画像をキャプチャし得るビデオソース（６０１）（図６の例では電子デバイス（６２０）の一部ではない）からビデオサンプルを受信することができる。他の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部である。

【0054】

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（６０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。

【0055】

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャを符号化し、符号化ビデオシーケンス（６４３）に圧縮することができる。適切な符号化速度を実施することは、コントローラ（６５０）の機能の１つである。一部の実施形態では、コントローラ（６５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、カップリングは示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技法のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索領域などを含むことができる。コントローラ（６５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を有するように構成されることができる。

【0056】

一部の実施形態では、ビデオエンコーダ（６０３）は、符号化ループで動作するように構成される。過度に簡略化した説明として、一例では、符号化ループは、ソースコーダ（６３０）（例えば、符号化対象となる入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）を含むことができる。デコーダ（６３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様な方法でサンプルデータを作成する（シンボルと符号化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャメモリ（６３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性の該基本原理（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、いくつかの関連分野にも使用されている。

【0057】

「ローカル」デコーダ（６３３）の動作は、前文で図５に関連して既に詳細に説明された、ビデオデコーダ（５１０）などの「リモート」デコーダの動作と同様であり得る。しかしながら、図５も簡単に参照し、シンボルが使用可能であり、エントロピーコーダ（６４５）およびパーサ（５２０）による符号化ビデオシーケンスへのシンボルの符号化／デコードは可逆であり得るので、バッファメモリ（５１５）、およびパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）では完全に実施されない場合がある。

【0058】

これで分かるように、デコーダに存在する構文解析／エントロピー復号以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダ操作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

【0059】

操作中、一部の例では、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の予め符号化されたピクチャを参照して入力ピクチャを予測的に符号化する動き補償予測符号化を実行してもよい。このようにして、符号化エンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異を符号化する。

【0060】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータをデコードすることができる。符号化エンジン（６３２）の操作は、有利には非可逆プロセスであり得る。符号化ビデオデータがビデオデコーダ（図６に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（６３３）は、ビデオデコーダによって参照ピクチャに対して実行され得るデコードプロセスを再現し、再構築された参照ピクチャを参照ピクチャキャッシュ（６３４）に記憶させることができる。このようにして、ビデオエンコーダ（６０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構築された参照ピクチャのコピーをローカルに記憶し得る。

【0061】

予測器（６３５）は、符号化エンジン（６３２）の予測検索を実行することができる。つまり、符号化対象となる新しいピクチャについて、予測器（６３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（６３４）で検索することができる。予測器（６３５）は、適切な予測基準を見つけるために、サンプルブロック／画素ブロックごとに操作することができる。場合によっては、予測器（６３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

【0062】

コントローラ（６５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）の符号化操作を管理することができる。

【0063】

前述のすべての機能ユニットの出力は、エントロピーコーダ（６４５）においてエントロピー符号化を受けられる。エントロピーコーダ（６４５）は、例えば、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

【0064】

送信機（６４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（６６０）を介した送信の準備のために、エントロピーコーダ（６４５）によって作成された符号化ビデオシーケンスをバッファリングすることができる。送信機（６４０）は、ビデオコーダ（６０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

【0065】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の操作を管理し得る。符号化中、コントローラ（６５０）は、各符号化ピクチャに特定の符号化ピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

【0066】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるピクチャを使用せずに符号化および復号され得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャの変形およびそれらのそれぞれの用途および特徴を知っている。

【0067】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。

【0068】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを使用することができる。

【0069】

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、或いは、同一のピクチャの既に符号化されたブロック（空間予測またはイントラ予測）を参照して予測的に符号化されてもよい。Ｐピクチャの画素ブロックは、１つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、１つまたは２つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。

【0070】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨のＨ．２６５などの予め設定されたビデオ符号化技術または規格に従って、符号化操作を実行することができる。操作中、ビデオエンコーダ（６０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測符号化操作を含む、様々な圧縮操作を実行することができる。したがって、符号化ビデオデータは、使用されるビデオ符号化技術または規格によって指定されたシンタックスに準拠する場合がある。

【0071】

一実施形態では、送信機（６４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ソースコーダ（６３０）は、このようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形態での冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含み得る。

【0072】

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ばれるエンコード／デコード中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける予め符号化され、まだバッファリングされている参照ピクチャの参照ブロックに類似している場合、現在ピクチャにおけるブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。

【0073】

一部の実施形態では、インターピクチャ予測において双予測法を使用することができる。双予測法によれば、ビデオにおける現在ピクチャよりもデコード順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャのような２つの参照ピクチャを使用する。現在ピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによって符号化されることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

【0074】

さらに、マージモード技法をインターピクチャ予測に適用して、符号化効率を向上させることができる。

【0075】

本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオピクチャ内のピクチャは、圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つの輝度ＣＴＢと２つの彩度ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数の符号化ユニット（ＣＵ）に再帰的に四分木分割されることができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６個の１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、１つの輝度予測ブロック（ＰＢ）と２つの彩度ＰＢを含む。一実施形態では、符号化（エンコード／デコード）における予測操作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値（例えば、輝度値）の行列を含む。

【0076】

図７は、本開示の他の実施形態によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、一連のビデオピクチャ内の現在ビデオピクチャにおけるサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化ピクチャにエンコードするように構成される。一例では、図４の例におけるビデオエンコーダ（４０３）の代わりにビデオエンコーダ（７０３）を使用する。

【0077】

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、例えばレート歪み最適化を用いて、処理ブロックをイントラモード、インターモード、または双予測モードにより最も良く符号化するか否かを決定する。処理ブロックがイントラモードで符号化されようとする場合、ビデオエンコーダ（７０３）は、イントラ予測法を用いて処理ブロックを符号化ピクチャにエンコードすることができる。また、処理ブロックがインターモードまたは双予測モードで符号化されようとする場合、ビデオエンコーダ（７０３）は、それぞれインター予測または双予測法を用いて、処理ブロックを符号化ピクチャにエンコードすることができる。特定のビデオ符号化技術では、マージモードは、予測子外の符号化動きベクトル成分の利便を介することなく、１つ以上の動きベクトル予測子から動きベクトルを導出するインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

【0078】

図７の例では、ビデオエンコーダ（７０３）は、図７に示すように互いに結合されたインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差算出部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、統括制御部（７２１）およびエントロピーエンコーダ（７２５）を含む。

【0079】

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコード法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な技法を用いてインター予測結果（例えば、予測ブロック）を算出するように構成される。一部の例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされたデコード参照ピクチャである。

【0080】

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一のピクチャで既に符号化されたブロックと比較し、量子化された変換後係数を生成し、場合によってはイントラ予測情報（例えば、１つ以上のイントラエンコード法によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（７２２）は、イントラ予測情報および同一のピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）も算出する。

【0081】

統括制御部（７２１）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように構成される。一例では、統括制御部（７２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（７２６）に提供する。例えば、モードがイントラモードである場合、統括制御部（７２１）は、残差算出部（７２３）が使用するためのイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。また、モードがインターモードである場合、統括制御部（７２１）は、残差算出部（７２３）が使用するためのインター予測結果を選択するようにスイッチ（７２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。

【0082】

残差算出部（７２３）は、受信されたブロックとイントラエンコーダ（７２２）またはインターエンコーダ（７３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域へと変換し、変換係数を生成するように構成される。その後、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（７０３）は、残差デコーダ（７２８）をも含む。残差デコーダ（７２８）は、逆変換を実行し、デコード残差データを生成するように構成される。デコード残差データは、イントラエンコーダ（７２２）およびインターエンコーダ（７３０）によって適切に使用されることができる。例えば、インターエンコーダ（７３０）は、デコード残差データおよびインター予測情報に基づいて、デコードブロックを生成することができ、イントラエンコーダ（７２２）は、デコード残差データおよびイントラ予測情報に基づいて、デコードブロックを生成することができる。一部の例では、デコードブロックは、デコードピクチャを生成するように適切に処理され、デコードピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。

【0083】

エントロピーエンコーダ（７２５）は、エンコードブロックを含めるようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報をビットストリームに含ませるように構成される。一例では、エントロピーエンコーダ（７２５）は、統括制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含ませるように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードでブロックを符号化する場合、残差情報はないことに留意されたい。

【0084】

図８は、本開示の他の実施形態によるビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、符号化ピクチャをデコードして、再構築ピクチャを生成するように構成される。一例では、図４の例におけるビデオデコーダ（４１０）の代わりにビデオデコーダ（８１０）を使用する。

【0085】

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように互いに結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構築モジュール（８７４）、およびイントラデコーダ（８７２）を含む。

【0086】

エントロピーデコーダ（８７１）は、符号化ピクチャから、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、後の２つのマージサブモードまたは他のサブモード）、それぞれイントラデコーダ（８７２）またはインターデコーダ（８８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形態での残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードであれば、インター予測情報は、インターデコーダ（８８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（８７２）に提供される。残差情報は、逆量子化を施されることができ、残差デコーダ（８７３）に提供される。

【0087】

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

【0088】

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

【0089】

残差デコーダ（８７３）は、逆量子化を実行することで、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（８７３）は、（量子化器パラメータ（ＱＰ）を含めるように）特定の制御情報をも必要とする場合があり、この情報は、エントロピーデコーダ（８７１）によって提供されてもよい（データパスは、低ボリューム制御情報のみであり得るため、示されていない）。

【0090】

再構築モジュール（８７４）は、空間領域において、残差デコーダ（８７３）によって出力された残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構築ビデオの一部となり得る再構築ピクチャの一部であり得る再構築ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。

【0091】

なお、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、任意の適切な技法を用いて実施されることができる。一実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、１つ以上の集積回路を用いて実施されることができる。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実施されることができる。

【0092】

ＩＩ、イントラサブパーティション符号化モード

【0093】

１．四分木ブロック分割構造

【0094】

ブロック分割構造は、根ノードと、非葉ノードと、葉ノードとを含む符号化ツリーを生成するために用いられることができる。一部の実施形態では、四分木構造を用いることにより、符号化ツリーユニット（ＣＴＵ）を符号化ユニット（ＣＵ）（符号化ツリーにおける葉ノードＣＵまたは葉ＣＵ）に分割して、様々なローカル特性に適合することができる。ＣＴＵは、例えば、四分木分割によって中間ＣＵ（非葉ノードＣＵまたは非葉ＣＵ）に分割されることができる。中間ＣＵは、許容されるＣＵサイズの規制に伴う四分木構造を用いてさらに再帰的に分割されることができる。

【0095】

本開示では、符号化ツリーからの指示に基づいてＣＴＵがＣＵに分割される過程において、ＣＵとは符号化ツリーの葉ノードＣＵのことであり、中間ＣＵ（符号化ツリーのＣＴＵとＣＵとの間）とは符号化ツリーの非葉ノードＣＵのことである。

【0096】

インターピクチャ（時間的）またはイントラピクチャ（空間的）予測を用いてピクチャ領域を符号化するか否かの決定は、葉ＣＵレベルで行われる。インター予測による符号化の対象となる葉ＣＵは、予測ユニット（ＰＵ）分割のタイプにしたがって、例えば、１つ、２つまたは４つのＰＵにさらに分割されることができる。１つのＰＵ内では、同じ予測処理が適用され、関連情報がＰＵ単位でデコーダに送信される。同様に、イントラ予測による符号化の対象となる葉ＣＵは、さらに分割され、異なるイントラ符号化モードを適用することができる。

【0097】

別の四分木構成によれば、予測処理を適用して葉ＣＵの残差ブロックを求めた後、葉ＣＵを変換ユニット（ＴＵ）に分割することができる。このように、ＣＵ（葉ノードＣＵ）、ＰＵ、ＴＵを含む複数の分割の概念が存在することが分かる。一部の実施形態では、ＣＵまたはＴＵは正方形でなければならず、ＰＵは正方形であってもよく、長方形であってもよい。また、一部の実施形態では、葉ＣＵに対応する１つの符号化ブロックをさらに４つの正方形のサブブロックに分割し、サブブロック、すなわちＴＵごとに変換を行うようにしてもよい。葉ＣＵに対応する１つの符号化ブロックは、残差四分木（ＲＱＴ）と呼ばれる四分木構造を用いて、より小さいＴＵに再帰的に分割されることができる。

【0098】

ピクチャ境界において、一部の実施形態では、暗黙的な四分木分割を採用して、ブロックのサイズがピクチャ境界に収まるまで、ブロックの四分木分割を保持することができる。

【0099】

２．四分木＋二分木（ＱＴＢＴ）ブロック分割構造

【0100】

一部の実施形態では、四分木＋二分木（ＱＴＢＴ）構造が採用されている。ＱＴＢＴ構造は、複数の分割タイプ（ＣＵ、ＰＵ、ＴＵの概念）の概念を取り除き、葉ＣＵの分割形状により柔軟に対応できる。ＱＴＢＴブロック構造では、（葉）ＣＵの形状は正方形であってもよく、長方形であってもよい。

【0101】

図９Ａは、図９Ｂに示すＱＴＢＴ構造（９２０）を用いて分割したＣＴＵ（９１０）を示している。ＣＴＵ（９１０）は、まず、四分木構造で分割される。生成された四分木ノードはさらに、二分木構造または四分木構造によって分割される。四分木分割は実線で表され、二分木分割は破線で表される。二分木分割には、対称水平分割と対称垂直分割との２種類がある。二分木の葉ノードＣＵは、さらなる分割なしに（例えば、葉ＣＵ内のＰＵなしに）予測と変換処理に用いられることができる。これにより、図９Ａ、図９Ｂの例のＱＴＢＴの符号化ブロック構造において、ＣＵ、ＰＵ、ＴＵのブロックサイズを同じにすることができる。

【0102】

一部の実施形態では、ＣＵは異なる色成分の符号化ブロック（ＣＢ）を含むことができる。例えば、４：２：０の彩度フォーマットのＰ及びＢスライスの場合、１つのＣＵは、１つの輝度ＣＢと、２つの彩度ＣＢとを含む。ＣＵは、単色成分のＣＢを含むことができる。例えば、Ｉスライスの場合、１つのＣＵは輝度Ｃｂを１つのみ含んでもよく、２つの彩度ＣＢのみを含んでもよい。

【0103】

一部の実施形態では、ＱＴＢＴ分割方式に対して、以下のパラメータが定義される。
・ＣＴＵ Ｓｉｚｅ：四分木の根ノードのサイズ
・ＭｉｎＱＴＳｉｚｅ：四分木葉ノードの許容される最小サイズ
・ＭａｘＢＴＳｉｚｅ：二分木根ノードの許容される最大サイズ
・ＭａｘＢＴＤｅｐｔｈ：二分木の許容される最大深さ
・ＭｉｎＢＴＳｉｚｅ：二分木葉ノードの許容される最小サイズ

【0104】

ＱＴＢＴ分割構造の一例では、ＣＴＵ Ｓｉｚｅを、対応する２つの６４×６４の彩度サンプルのブロックを有する１２８×１２８の輝度サンプルに設定し、ＭｉｎＱＴＳｉｚｅを１６×１６に設定し、ＭａｘＢＴＳｉｚｅを６４×６４に設定し、ＭｉｎＢＴＳｉｚｅ（幅と高さの両方）を４×４に設定し、ＭａｘＢＴＤｅｐｔｈを４に設定する。上記四分木分割はＣＴＵに適用されて、四分木葉ノードが生成される。四分木葉ノードのサイズは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵ Ｓｉｚｅ）であり得る。四分木葉ノードが１２８×１２８である場合には、ＭａｘＢＴＳｉｚｅ（すなわち、６４×６４）を超えるため、さらに二分木によって分割されることはない。他の場合、四分木葉ノードをさらに二分木によって分割することができる。したがって、四分木葉ノードは二分木に対する根ノードでもあり、二分木の深さが０である。

【0105】

二分木の深さがＭａｘＢＴＤｅｐｔｈ（すなわち、４）に達している場合、さらなる分割は考えられない。二分木ノードの幅がＭｉｎＢＴＳｉｚｅ（すなわち、４）に等しい場合、さらなる水平分割は考えられない。同様に、二分木ノードの高さがＭｉｎＢＴＳｉｚｅに等しい場合、さらなる垂直分割は考えられない。二分木の葉ノードは、さらに分割されることなく（例えば、ＰＵ分割なしに）、予測・変換処理される。一実施形態では、最大のＣＴＵ Ｓｉｚｅは２５６×２５６の輝度サンプルである。

【0106】

二分木の各分割（すなわち、非葉）ノードにおいて、どの分割タイプ（すなわち、水平または垂直）を用いているかを示す１つのフラグにより指示することができる。例えば、０は水平分割を示し、１は垂直分割を示す。四分木分割に対して、水平方向と垂直方向の両方にブロックを分割し、４つのサブブロックを均等なサイズで生成することができるため、分割タイプを指示する必要はない。

【0107】

一部の実施形態では、ＱＴＢＴ方式は、輝度と彩度とが別々のＱＴＢＴ構造を有する柔軟性に対応している。例えば、Ｐ及びＢスライスに対して、１つのＣＴＵ内の輝度及び彩度ブロックは、同一のＱＴＢＴ構造を共有する。しかしながら、Ｉスライスに対して、輝度ＣＴＢはＱＴＢＴ構造によってＣＵに分割され、彩度ブロックは他のＱＴＢＴ構造によって彩度ＣＵに分割される。このように、ＩスライスのＣＵは、輝度成分の符号化ブロックまたは２つの彩度成分の符号化ブロックからなり、ＰまたはＢスライスのＣＵは、全ての３つの色成分の符号化ブロックからなる。

【0108】

一部の実施形態では、小さいブロックに対するインター予測が制限され、動き補償のメモリアクセスが低減される。例えば、４×８及び８×４のブロックについては双予測が対応せず、４×４ブロックについてはインター予測が対応しない。

【0109】

３．三分木（ＴＴ）ブロック分割構造

【0110】

一部の実施形態では、マルチタイプツリー（ＭＴＴ）構造がピクチャを分割するのに用いられる。ＭＴＴ構造は、ＱＴＢＴ構造よりも柔軟な木構造である。ＭＴＴにおいては、四分木と二分木（水平または垂直）に加えて、図１０Ｃ、図１０Ｄにそれぞれ示すような水平中心側三分木と垂直中心側三分木が採用されている。三分木分割は、四分木と二分木分割を補完することができる。例えば、四分木と二分木がブロック中心に交差して分割する場合、三分木分割はブロック中心に位置するオブジェクトを捉えることができる。一例では、三分木による分割の幅及び高さは２の累乗である。これにより、さらなる変換分割が不要となる。

【0111】

例えば、ＭＴＴ構造を採用する場合には、まず、四分木構造によってＣＴＵを４つのＣＵに分割することができる。そして、四分木構造、二分木構造、または三分木構造によってさらに各ＣＵを再帰的に分割することができる。分割は、親ＣＵのＣＵのサイズと分割タイプによって制限される。二分木と三分木分割において、対称水平分割（図１０Ａ、図１０Ｃ）と対称垂直分割（図１０Ｂ、図１０Ｄ）の２つの分割タイプがある。これにより、親ＣＵを２つ、３つまたは４つのサブＣＵ（または子ＣＵ）に分割することができる。各ＣＵは、正方形または長方形の形状を有することができる。

【0112】

４．イントラサブパーティション（ＩＳＰ）符号化モード

【0113】

イントラサブパーティション（ＩＳＰ）符号化モードで符号化された輝度符号化ブロックは、表１に示すように、ブロックのブロックサイズに応じて、垂直（垂直ＩＳＰモード）または水平（水平ＩＳＰモード）に複数のサブパーティション（例えば、２または４）に分割されることができる。表１は、ブロックサイズに応じたサブパーティションの例を示す。

【0114】

【表1】

【0115】

一部の例では、全てのサブパーティションは、少なくとも１６個のサンプルを有する条件を満たしている。彩度成分に対しては、ＩＳＰモードを適用しなくてもよい。一部の例では、最大２つのビンがＩＳＰに対してシグナリングされる。第１のビンは、ＩＳＰを用いているか否かを示す。ＩＳＰを用いている場合には、１つの方向しか利用できない限り、さらに第２のビンがシグナリングされてＩＳＰの方向を指示する。

【0116】

図１１Ａ、１１Ｂは、サブパーティションの例を示す。図１１Ａは、本開示の一実施形態に係るＩＳＰモードで符号化された符号化ブロック（１１００）の水平分割および垂直分割を示している。図１１Ａの例では、符号化ブロック（１１００）のブロックサイズはＷ１×Ｈ１であり、例えば４×８または８×４サンプルのいずれかである。したがって、符号化ブロック（１１００）は２つのサブパーティションに分割される。符号化ブロック（１１００）は、図１１Ａに示すように、Ｗ１×Ｈ１／２サンプルのサイズをそれぞれ有する２つのサブパーティション（１１１１）、（１１１２）に水平に分割されてもよく、Ｗ１／２×Ｈ１サンプルのサイズをそれぞれ有する２つのサブパーティション（１１２１）、（１１２２）に垂直に分割されてもよい。

【0117】

図１１Ｂは、本開示の一実施形態に係るＩＳＰモードで符号化された他の符号化ブロック（１１５０）の水平分割および垂直分割を示している。図１１Ｂの例では、符号化ブロック（１１５０）はＷ２×Ｈ２のサイズを有し、４×８または８×４サンプルのサイズを有するブロックよりも大きい。したがって、符号化ブロック（１１５０）は４つのサブパーティションに分割される。符号化ブロック（１１５０）は、図１１Ｂに示すように、Ｗ２×Ｈ２／４サンプルのサイズをそれぞれ有する４つのサブパーティション（１１６１）～（１１６４）に水平に分割されてもよく、Ｗ２／４×Ｈ２サンプルのサイズをそれぞれ有する４つのサブパーティション（１１７１）～（１１７４）に垂直に分割されてもよい。

【0118】

一部の例では、これらのサブパーティションのそれぞれに対して、エンコーダが送信する係数レベルをエントロピー復号した後、係数レベルを逆量子化して逆変換することによって、残差信号を生成することができる。そして、現在サブパーティションとも呼ぶサブパーティションの１つに対して、現在サブパーティションをイントラ予測することにより、予測信号を生成することができる。現在サブパーティションの再構築されたサンプルは、予測信号に残差信号を加算することにより求められることができる。その後、サブパーティションの再構築されたサンプルを用いて、例えば、現在サブパーティションの次の他のサブパーティションを予測することができる。この処理は、他のサブパーティションに対しても繰り返すことができる。全てのサブパーティションは、同一のイントラモードを共有することができる。

【0119】

一部の例では、ＩＳＰモードは、最確モード（ＭＰＭ）リストの一部であるイントラモードのみによってテストすることができる。したがって、ＣＵがＩＳＰモードで符号化される場合、ＭＰＭリストのＭＰＭフラグは、例えば１またはｔｒｕｅであると推定されることができる。場合によって、ＭＰＭリストは、ＤＣモードを排除するように、または水平ＩＳＰモード（水平分割を有するＩＳＰモード）に対する水平イントラ予測モードと垂直ＩＳＰモード（垂直分割を有するＩＳＰモード）に対する垂直イントラ予測モードを優先するように変更されることができる。

【0120】

一部の例では、各サブパーティションに対して個別に変換及び再構築することが可能であるので、各サブパーティションをサブＴＵと見なすことができる。

【0121】

以下、一例として、ＶＶＣのドラフト６（ＪＶＥＴ－Ｏ２００１－ｖＥ）におけるＩＳＰモードに関する使用テキストについて説明する。

【0122】

表２～３ともに、符号化ユニットのシンタックスを表形式で示す。第３３～３６行に、ＩＳＰモードに関するシンタックが見られる。

【0123】

【表2】

【0124】

【表3】

【0125】

次に、ＩＳＰモードに関するシンタックス要素のセマンティクスについて説明する。ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ［ｘ０］［ｙ０］に示されるシンタックス要素が１であることは、現在イントラ符号化ユニットがＮｕｍＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓ［ｘ０］［ｙ０］矩形変換ブロックサブパーティションに分割されていることを指定する。シンタックス要素ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ［ｘ０］［ｙ０］が０であることは、現在イントラ符号化ユニットが矩形変換ブロックサブパーティションに分割されていないことを指定する。ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合は、０と推定される。

【0126】

ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ［ｘ０］［ｙ０］に示されるシンタックス要素は、イントラサブパーティション分割タイプが水平と垂直のどちらかを指定する。ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合は、以下のように推定される。
・ｃｂＨｅｉｇｈｔがＭａｘＴｂＳｉｚｅＹより大きい場合、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ［ｘ０］［ｙ０］は０と推定される。
・そうでない（ｃｂＷｉｄｔｈがＭａｘＴｂＳｉｚｅＹより大きい）場合、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ［ｘ０］［ｙ０］は１と推定される。

【0127】

変数ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅは、表４に示すように、現在輝度符号化ブロックに用いられる分割タイプを指定する。ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅは、以下のように導出される。
・ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ［ｘ０］［ｙ０］が０に等しい場合、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅを０に等しく設定する。
・そうでない場合、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅを１＋ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ［ｘ０］［ｙ０］に等しく設定する。

【0128】

【表4】

【0129】

変数ＮｕｍＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓは、イントラ輝度符号化ブロックを分割した変換ブロックのサブパーティションの数を指定する。ＮｕｍＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓは、以下のように導出される。
・ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴに等しい場合、ＮｕｍＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓを１に等しく設定する。
・そうでない場合、以下の条件のいずれかが真である場合には、ＮｕｍＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓを２に等しく設定する。
ｃｂＷｉｄｔｈが４に等しく、ｃｂＨｅｉｇｈｔが８に等しい；
ｃｂＷｉｄｔｈが８に等しく、ｃｂＨｅｉｇｈｔが４に等しい。
・そうでない場合、ＮｕｍＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓを４に等しく設定する。

【0130】

表５は、変換木のシンタックスを表形式で示す。ＩＳＰモードに関するシンタックスは行２６～３４に示される。表６及び表７ともに、変換ユニットのシンタックスを表形式で示す。ＩＳＰモードに関するシンタックスは行９～２６に示される。

【0131】

【表5】

【0132】

【表6】

【0133】

【表7】

【0134】

以下、スケーリングされた変換係数に対する変換処理の一例について説明する。この処理への入力は以下の通りである。
・現在ピクチャの左上の輝度サンプルに対する現在輝度変換ブロックの左上のサンプルを指定する輝度位置（ｘＴｂＹ、ｙＴｂＹ）、
・現在変換ブロックの幅を指定する変数ｎＴｂＷ、
・現在変換ブロックの高さを指定する変数ｎＴｂＨ、
・現在ブロックの色成分を指定する変数ｃＩｄｘ、
・ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１であるスケーリングされた変換係数の（ｎＴｂＷ）×（ｎＴｂＨ）配列ｄ［ｘ］［ｙ］。

【0135】

この処理の出力は、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１である残差サンプルの（ｎＴｂＷ）×（ｎＴｂＨ）配列ｒ［ｘ］［ｙ］である。

【0136】

ｌｆｎｓｔ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］が０ではなく、且つｎＴｂＷとｎＴｂＨとの両方が４以上である場合、以下が適用される。
・変数ｐｒｅｄＭｏｄｅＩｎｔｒａ、ｎＬｆｎｓｔＯｕｔＳｉｚｅ、ｌｏｇ２ＬｆｎｓｔＳｉｚｅ、ｎＬｆｎｓｔＳｉｚｅ、およびｎｏｎＺｅｒｏＳｉｚｅは、以下の通り導出される。
predModelntra=(cIdx==0)?IntraPredModeY[xTbY][yTbY]:IntraPredModeC[xTbY][yTbY]
nLfnstOutSize=(nTbW>=8&&nTbH>=8)?48:16
log2LfnstSize=(nTbW>=8&&nTbH>=8)?3:2
nLfnstSize=1<<log2LfnstSize
nonZeroSize=((nTbW==4&&nTbH==4)||(nTbW==8&&nTbH==8))?8:16
・ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘＴｂＣｏｍｐ］［ｙＴｂＣｏｍｐ］が１に等しく、且つｃＩｄｘが０に等しい場合、ｐｒｅｄＭｏｄｅＩｎｔｒａをＩＮＴＲＡ＿ＰＬＡＮＡＲに等しく設定する。
・ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭのいずれかに等しい場合、ｐｒｅｄＭｏｄｅＩｎｔｒａをＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＴｂＹ＋ｎＴｂＷ／２］［ｙＴｂＹ＋ｎＴｂＨ／２］に等しく設定する。
・第８．４．５．２．６条で指定された広角度イントラ予測モードマッピング処理は、ｐｒｅｄＭｏｄｅＩｎｔｒａ、ｎＴｂＷ、ｎＴｂＨ、およびｃＩｄｘをと入力として、修正されたｐｒｅｄＭｏｄｅＩｎｔｒａを出力として呼び出される。
・ｘ＝０．．ｎｏｎＺｅｒｏＳｉｚｅ－１であるリストｕ［ｘ］の値は、以下の通り導出される。
xC=DiagScanOrder[2][2][x][0]
yC=DiagScanOrder[2][2][x][1]
u[x]=d[xC][yC]
・第８．７．４．２条で指定された１次元低周波非分離変換処理は、スケーリングされた変換係数の入力長さｎｏｎＺｅｒｏＳｉｚｅと、ｎＬｆｎｓｔＯｕｔＳｉｚｅに等しく設定された変換出力長さｎＴｒＳと、ｘ＝０．．ｎｏｎＺｅｒｏＳｉｚｅ－１であるスケーリングされた非ゼロ変換係数のリストｕ［ｘ］と、ＬＦＮＳＴセット選択用のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａと、選択されたＬＦＮＳＴセットにおける変換選択用のＬＦＮＳＴインデックスｌｆｎｓｔ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］とを入力とし、ｘ＝０．．ｎＬｆｎｓｔＯｕｔＳｉｚｅ－１であるリストｖ［ｘ］を出力として呼び出される。
・ｘ＝０．．ｎＬｆｎｓｔＳｉｚｅ－１、ｙ＝０．．ｎＬｆｎｓｔＳｉｚｅ－１である配列ｄ［ｘ］［ｙ］は以下の通り導出される。
・ｐｒｅｄＭｏｄｅＩｎｔｒａが３４以下である場合、以下が適用される。
d[x][y]=(y<4)?v[x+(y<<log2LfnstSize)]:((x<4)?v[32+x+((y-4)<<2)]:d[x][y])
・そうでない場合、以下が適用される。
d[x][y]=(x<4)?v[y+(x<<log2LfnstSize)]:((y<4)?v[32+y+((x-4)<<2)]:d[x][y])

【0137】

変数ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは、以下の通り導出される。
・ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、且つ以下の条件のいずれかが真である場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは１に等しく設定される。
・ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴに等しくない
・ｃｕ＿ｓｂｔ＿ｆｌａｇは１に等しく、且つＭａｘ（ｎＴｂＷ，ｎＴｂＨ）は３２以下である
・ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０に等しく、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］はＭＯＤＥ＿ＩＮＴＲＡに等しく、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は０に等しく、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は０に等しい
・そうでない場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは０に等しく設定される。

【0138】

水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒおよび垂直変換カーネルを指定する変数ｔｒＴｙｐｅＶｅｒは、以下の通り導出される。
・ｃＩｄｘが０よりも大きい場合，ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒは０に等しく設定される。
・そうでない場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄが１に等しい場合には、以下が適用される。
・ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴに等しくない場合、または、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しく、且つＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］がＭＯＤＥ＿ＩＮＴＲＡに等しい場合、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒは次の通り導出される。
trTypeHor=(nTbW>=4&&nTbW<=16)?1:0
trTypeVer=(nTbH>=4&&nTbH<=16)?1:0
・そうでない場合（ｃｕ＿ｓｂｔ＿ｆｌａｇが１に等しい）、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒは、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇとｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに応じて、表８～１５において指定される。
・そうでない場合、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒは、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］に応じて指定される。

【0139】

ＩＩＩ、ＩＳＰ符号化モードの改善

【0140】

１．ＩＳＰ符号化モードの不許可

【0141】

一部の実施形態では、所定の条件に基づいて、処理中の現在ブロックに対してＩＳＰモードを不許可することによって、処理コストを低減する。例えば、符号化ブロックの分割には、木構造に基づくＣＴＵ分割とＩＳＰ符号化モードとの両方を用いることができる。例えば、木構造に基づく分割方法を採用することにより、３２×１６サンプルのサイズのブロックを８×１６サンプルのサイズの４つのブロックに分割することができる。このような分割結果は、ＩＳＰ符号化モードを適用することで同様に実現することができる。

【0142】

これら２つの分割方法（木構造に基づく、ＩＳＰモードに基づく）の両方を許可する場合には、最適化されたレート対歪み性能を獲得するように、符号化処理中に両方の方法のいずれにより評価することができる。これらの冗長操作は、計算コストの増大を招くおそれがある。また、両方の分割方法に関連付けられたシンタックス要素はシグナリングされ、不要なオーバヘッドを起こすおそれがある。したがって、所定の条件下でＩＳＰモードを不許可することによって、符号化性能を向上させることができる。

【0143】

一実施形態では、現在符号化ブロックのブロックサイズが一定の条件を満たす場合に、現在ブロックに対してＩＳＰモードを許可しないことができる。ブロックサイズは、例えば、現在ブロックのブロック幅、ブロック高さ、横縦比、ブロック幅とブロック高さとのうちの最小値、ブロック幅とブロック高さとのうちの最大値、ブロック幅とブロック高さとの和、ブロックエリアなどで表されることができる。例えば、現在ブロックのブロックサイズが閾値よりも大きい、または小さい場合には、ＩＳＰモードを許可しないことができる。

【0144】

なお、本実施形態では、現在ブロックに対してＩＳＰモードを許可しない条件が満たされた場合に、表３の行３４のｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇなどのＩＳＰモードフラグがシグナリングされない場合がある。エンコーダは、現在ブロックのブロックサイズを調査することで、ＩＳＰモードフラグを送信しないと決定することができる。一例として、表３の第３３行の検証処理は、現在ブロックのブロックサイズの検証を含むように修正されることができる。

【0145】

一実施形態において、現在ブロックのブロック幅及びブロック高さのうちの最小値が第１の閾値Ｋ１以上である場合、現在ブロックに対してＩＳＰモードを許可しないことができる。閾値Ｋ１は、１６サンプル、３２サンプルなどの正の整数であってもよい。

【0146】

他の実施形態では、現在ブロックのブロック幅およびブロック高さのうちの最大値が第２の閾値Ｋ２以上である場合に、現在ブロックに対してＩＳＰモードを許可しない。第２の閾値Ｋ２は、３２サンプル、６４サンプルなどの正の整数であってもよい。

【0147】

他の実施形態では、現在ブロックのブロックエリアが第３の閾値Ｋ３以上である場合、現在ブロックに対してＩＳＰモードを許可しない。第３の閾値Ｋ３は、２５６サンプル、５１２サンプルなどの正の整数であってもよい。

【0148】

他の実施形態では、現在ブロックのブロック横縦比（例えば、幅／高さと高さ／幅とのうちの最大値）が第４の閾値Ｋ４以下である場合、現在ブロックに対してＩＳＰモードを許可しないことができる。第４の閾値Ｋ４は、２、４のような１より大きい正の整数であってもよい。横縦比は、現在ブロックのブロック幅がブロック高さに対する第１の比率と現在ブロックのブロック高さがブロック幅に対する第２の比率とのうちの最大値であってもよい。

【0149】

２．ＩＳＰ符号化モードに対するコンテキストモデル選択

【0150】

一部の実施形態では、現在ブロックのＩＳＰモード情報（例えば、ＩＳＰモードフラグ）をエントロピー符号化（エンコードまたはデコード）するために、現在ブロックのブロックサイズに基づいてコンテキストモデルを選択することができる。ブロックサイズは、例えば、現在ブロックのブロック幅、ブロック高さ、横縦比、ブロック幅とブロック高さとのうちの最小値、ブロック幅とブロック高さとのうちの最大値、ブロック幅とブロック高さとの和、ブロックエリアなどで表されることができる。例えば、現在ブロックのブロックサイズが閾値以上である場合には、第１のコンテキストモデルを選択することができる。そうでない場合には、第２のコンテキストモデルを選択することができる。

【0151】

一実施形態では、ＩＳＰモードフラグは、解析処理を行うことでビットストリームから解析された１つのビンで表される。解析処理において、現在ブロックのブロックサイズに基づいて、２つのコンテキストモデルのうちの１つを選択して、ビンを解析することができる。ブロックサイズが閾値を超える場合には、第１のコンテキストインデックスを決定し、ブロックサイズが閾値を下回る場合には、第２のコンテキストインデックスを決定することができる。続いて、第１のコンテキストインデックスまたは第２のコンテキストインデックスに対応付けられたコンテキストモデルを解析操作に用いることができる。

【0152】

第１の例では、現在ブロックのＩＳＰモードフラグのコンテキスト選択に対する条件は、ブロック幅およびブロック高さのうちの最小値が第１の閾値Ｍ１以上であるか否かとして定義されてもよい。第１の閾値Ｍ１は、１６サンプル、３２サンプルなどの正の整数であってもよい。

【0153】

第２の例では、現在ブロックのＩＳＰモードフラグのコンテキスト選択に対する条件は、ブロック幅およびブロック高さのうちの最大値が第２の閾値Ｍ２以上であるか否かとして定義されてもよい。閾値Ｍ２は、１６サンプル、３２サンプルなどの正の整数であってもよい。

【0154】

第３の例では、現在ブロックのＩＳＰモードフラグのコンテキスト選択に対する条件は、現在ブロックのブロックエリアが第３の閾値Ｍ３以上であるか否かとして定義されてもよい。第３の閾値Ｍ３は、２５６サンプル、５１２サンプルなどの正の整数であってもよい。

【0155】

第４の例では、現在ブロックのＩＳＰモードフラグのコンテキスト選択に対する条件は、現在ブロックのブロック横縦比（幅／高さと高さ／幅とのうちの最大値）が第４の閾値Ｍ４以下であるか否かとして定義されてもよい。第４の閾値Ｍ４は、１または２などの正の整数であってもよい。横縦比は、現在ブロックのブロック幅がブロック高さに対する第１の比率と現在ブロックのブロック高さがブロック幅に対する第２の比率とのうちの最大値であってもよい。

【0156】

３．ＩＳＰ符号化モードの非正方形ブロックへの適用

【0157】

一部の実施形態では、ＩＳＰモードは非正方形ブロックに適用され、正方形ブロックに適用されない。したがって、一例では、ＩＳＰモードフラグは非正方形ブロックに対してシグナリングされ、正方形ブロックに対してはシグナリングされない。一例として、表３の第３３行の検証処理は、例えば現在ブロックのブロックサイズに基づいた、現在ブロックが非正方形ブロックであるか否かの検証を含むように修正されることができる。

【0158】

一部の実施形態では、ＩＳＰモードを非正方形ブロックのみに適用し、分割タイプ（例えば、表３の第３６行のｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）は非正方形ブロックのそれぞれに対してシグナリングしない。デコーダは、現在ブロックの形状やブロックサイズに基づいて、分割タイプを暗黙的に導出することができる。例えば、現在ブロックの長辺に対応する方向に沿って１つ以上のパーティションを適用することができる。例えば、現在ブロックのブロック幅がブロック高さよりも大きい場合には、水平ＩＳＰモードを適用することができる。水平ＩＳＰモードとは、ブロック高さが現在ブロックの高さよりも小さいが、ブロック幅が現在ブロック幅と同じであるサブパーティションを生成するＩＳＰモードを意味する。一方、ブロック幅がブロック高さよりも小さい場合には、垂直ＩＳＰ方式を適用することができる。水平ＩＳＰモードとは、ブロック幅が現在ブロックの幅よりも小さいが、ブロック高さが現在ブロック高さと同じであるサブパーティションを生成するＩＳＰモードを意味する。

【0159】

一部の実施形態では、ＩＳＰモードを非正方形ブロックのみに適用し、現在非正方形ブロックに対しては、水平分割タイプまたは垂直分割タイプのいずれかを許可する。これにより、デコーダは、現在非正方形ブロックにＩＳＰモードを適用（選択）した場合に、水平または垂直分割タイプから、現在非正方形ブロックを分割する分割タイプを暗黙的に決定することができる。

【0160】

一部の実施形態では、ＩＳＰモードを非正方形ブロックのみに適用し、現在非正方形ブロックに対しては、水平分割または垂直分割のいずれかのみを許可する。

【0161】

一実施形態では、ブロックのブロック高さがブロック幅に対する比が第１の所定の閾値以上である場合に、現在ブロックに対して水平ＩＳＰモードを許可しないことができる。したがって、現在ブロックにＩＳＰモードを用いた場合には、現在ブロックの分割タイプを垂直分割タイプとして導出することができる。第１の所定の閾値の値は、例えば、２、４、８、または１６である。一例では、幅が８サンプル、高さが６４サンプルのブロックには、水平ＩＳＰを許可しない。

【0162】

一実施形態では、現在ブロックのブロック幅がブロック高さに対する比が第２の所定の閾値以上である場合に、現在ブロックに対して垂直ＩＳＰモードを無効化（許可しない）することができる。したがって、現在ブロックに対してＩＳＰモードが選択された（用いられた）場合には、現在ブロックの分割タイプを水平分割タイプとして導出することができる。第２の所定の閾値の値は、例えば、２、４、８、または１６である。一例では、幅が６４サンプル、高さが８サンプルのブロックには、垂直ＩＳＰを許可しない。

【0163】

ＩＶ．処理例

【0164】

図１２は、本開示の実施形態に係るプロセス（１２００）の概要を示すフローチャートである。プロセス（１２００）は、ブロックの再構築に用いられることができる。様々な実施形態では、プロセス（１２００）は、端末装置（３１０）、（３２０）、（３３０）および（３４０）の処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路などの処理回路によって実行される。一部の実施形態では、プロセス（１２００）はソフトウェア命令で実施され、したがって処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１２００）を実行する。処理は（Ｓ１２０１）から開始し、ステップ（Ｓ１２１０）に進む。

【0165】

ステップ（Ｓ１２１０）では、ＣＴＵに対応する符号化ツリーブロック（ＣＴＢ）を、デコーダにおいて符号化ブロックに分割する。例えば、ビデオシーケンスに対応するビットストリームにおいて、ＣＴＢがどのように分割されているかを示すシンタックス要素を受信することができる。これらのシンタックス要素によれば、デコーダは、ＣＴＢを複数の符号化ブロックに分割することができる。この分割処理の結果として、各符号化ブロックの位置やブロックサイズ（例えば、幅や高さ）を決定することができる。分割は、四分木と、二分木と、三分木との組み合わせの分割構造に基づくことができる。

【0166】

ステップ（Ｓ１２２０）では、（Ｓ１２１０）で決定した符号化ブロックの１つである現在ブロックのブロックサイズに基づいて、現在ブロックに対してＩＳＰモードが許可されるか否かを決定することができる。第１のブロックサイズが特定の条件（例えば、第ＩＩＩ．１項の記載に従う）を満たす場合には、現在ブロックに対して、ＩＳＰ方式を許可しないことができる。

【0167】

一実施形態では、エンコーダは、現在ブロックに対してＩＳＰモーを許可しないと決定した場合、現在ブロックにＩＳＰモードが使用されているか否かを示すＩＳＰモードフラグがビットストリームにおいてシグナリングされていないと決定することができる。

【0168】

ステップ（Ｓ１２３０）では、現在ブロックに対してＩＳＰモードが許可されると決定したことに応答して、ＩＳＰモードに応じて現在ブロックを復号することができる。例えば、現在ブロックに対してＩＳＰモードが許可されると決定した場合、デコーダは、ＩＳＰモードフラグがシグナリングされると決定した後、ビットストリームからＩＳＰモードフラグを解析することができる。一例では、第ＩＩＩ．２項で説明したようなブロックサイズに基づいたコンテキストモデルの選択方法を、ＩＳＰモードフラグの解析に用いることができる。他の例では、第ＩＩＩ．２項の方法を用いなくてもよい。

【0169】

一例として、次に、デコーダは、解析されたＩＳＰモードフラグの表示に基づいて、現在ブロックに対してＩＳＰモードが使用や選択されているかを決定することができる。ＩＳＰモードフラグがＩＳＰモードが使用されていないことを示す場合、デコーダは、ＩＳＰモード以外の符号化モードに基づいて現在ブロックを復号することができる。ＩＳＰモードフラグが、現在ブロックの符号化に対してＩＳＰモードが使用されていることを示す場合、デコーダは、ＩＳＰモードに基づいて現在ブロックの復号に進むことができる。

【0170】

一例では、デコーダは、分割タイプを示すＩＳＰモード分割フラグがシグナリングされているか否かを決定することができる。一例では、ＩＳＰモードフラグがシグナリングされている場合には、ＩＳＰモード分割フラグがシグナリングされていると決定することができる。デコーダは、ビットストリームからＩＳＰモード分割フラグを解析してもよい。ＩＳＰモード分割フラグにより示される分割方向に応じて、デコーダは、現在ブロックを複数のサブ変換ブロック（ＴＢ）に分割することを進め、サブ変換ブロックの再構築を順次（サブ変換ブロッごとに）に行うことができる。

【0171】

一例では、デコーダは、第ＩＩＩ．３項に記載された方法に基づいて、ＩＳＰモード分割フラグがシグナリングされているか否かを決定してもよい。例えば、デコーダは、現在ブロックが非正方形ブロックである場合、ＩＳＰモード分割フラグがシグナリングされていないと決定することができる。デコーダは、第ＩＩＩ．３項に記載の方法を用いて、現在ブロックの形状やブロックサイズに基づいて、分割タイプを暗黙的に導出することができる。デコーダは、分割タイプが導出された後、現在ブロックから分割されたサブ変換ブロックの再構築を行うことにより、現在ブロックを再構築することに進んでもよい。

【0172】

プロセス（１２００）は、（Ｓ１２９９）に進み、（Ｓ１２９９）で終了してもよい。

【0173】

図１３は、本開示の実施形態に係るプロセス（１３００）の概要を示すフローチャートである。プロセス（１３００）は、ブロックの再構築に用いられることができる。様々な実施形態では、プロセス（１３００）は、端末装置（３１０）、（３２０）、（３３０）および（３４０）の処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路などの処理回路によって実行される。一部の実施形態では、プロセス（１３００）はソフトウェア命令で実施され、したがって処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１３００）を実行する。処理は（Ｓ１３０１）から開始し、（Ｓ１３１０）に進む。

【0174】

ステップ（Ｓ１３１０）では、ＣＴＢをデコーダにおいて符号化ブロックに分割する。例えば、ビデオシーケンスに対応するビットストリームにおいて、ＣＴＢがどのように分割されているかを示すシンタックス要素を受信することができる。これらのシンタックス要素によれば、デコーダは、ＣＴＢを複数の符号化ブロックに分割することができる。この分割処理の結果として、各符号化ブロックの位置やブロックサイズ（例えば、幅や高さ）を決定することができる。分割は、四分木と、二分木と、三分木との組み合わせの分割構造に基づくことができる。

【0175】

ステップ（Ｓ１３２０）では、現在ブロックのブロックサイズに基づいて、現在ブロックのＩＳＰモードフラグを解析するためのコンテキストモデルを決定することができる。現在ブロックは、（Ｓ１３１０）で得られた符号化ブロックのいずれかとされることができる。コンテキストモデルの決定には、例えば、第ＩＩＩ．２項に記載の方法を用いることができる。

【0176】

例えば、現在ブロックがイントラ符号化された輝度ブロックであり、最大変換ブロックサイズ以下のブロック幅及び高さ、および最小変換ブロックエリアより大きいブロックエリアを有する場合、デコーダは、ＩＳＰモードフラグがシグナリングされていると決定することができる。したがって、デコーダは、ＩＳＰモードフラグを解析するためのコンテキストモデルを決定することに進むことができる。

【0177】

ステップ（Ｓ１３３０）では、（Ｓ１３２０）で決定したコンテキストモデルに基づいて、ビットストリームから現在ブロックのＩＳＰモードフラグを解析することができる。ＩＳＰモードフラグは、現在ブロックの符号化にＩＳＰモードが使用されているか否かを示すことができる。

【0178】

ステップ（Ｓ１３４０）では、ＩＳＰモードフラグが、現在ブロックの符号化に対してＩＳＰモードが使用されていることを示すことに応答して、ビットストリームからＩＳＰモード分割フラグを解析することができる。

【0179】

ステップ（Ｓ１３５０）では、ＩＳＰモード分割フラグにより示される分割方向（水平または垂直）に基づいて、デコーダは、ＩＳＰモードに応じて現在ブロックを復号することに進んでもよい。プロセス（１３００）は、（Ｓ１３９９）に進み、（Ｓ１３９９）で終了してもよい。

【0180】

図１４は、本開示の実施形態に係るプロセス（１４００）の概要を示すフローチャートである。プロセス（１４００）は、ブロックの再構築に用いられることができる。様々な実施形態では、プロセス（１４００）は、端末装置（３１０）、（３２０）、（３３０）および（３４０）の処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路などの処理回路によって実行される。一部の実施形態では、プロセス（１４００）はソフトウェア命令で実施され、したがって処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１４００）を実行する。処理は（Ｓ１４０１）から開始し、（Ｓ１４１０）に進む。

【0181】

ステップ（Ｓ１４１０）では、ＣＴＢをデコーダにおいて符号化ブロックに分割する。例えば、ビデオシーケンスに対応するビットストリームにおいて、ＣＴＢがどのように分割されているかを示すシンタックス要素を受信することができる。これらのシンタックス要素によれば、デコーダは、ＣＴＢを複数の符号化ブロックに分割することができる。この分割処理の結果として、各符号化ブロックの位置やブロックサイズ情報（例えば、幅や高さ）を決定することができる。分割は、四分木と、二分木と、三分木との組み合わせの分割構造に基づくことができる。

【0182】

ステップ（Ｓ１４２０）では、（Ｓ１４１０）で得られた現在ブロックのブロックサイズ情報（例えば、ブロック幅、高さ）に基づいて、現在ブロックが正方形ブロックであるか、または非正方形ブロックであるかを決定する。現在ブロックが正方形ブロックである場合、デコーダは、現在ブロックに対してＩＳＰモードが許可されないと決定することができる。現在ブロックが非正方形ブロックである場合、デコーダは、現在ブロックに対してＩＳＰモードが許可されると決定することができる。

【0183】

ステップ（Ｓ１４３０）では、現在ブロックが非正方形ブロックであり、現在ブロックに対してＩＳＰモードが許可されると決定したことに応答して、一例では、ビットストリームからＩＳＰモードフラグを解析することができる。ＩＳＰモードフラグは、現在ブロックの符号化にＩＳＰモードが使用されているか否かを示すことができる。

【0184】

ステップ（Ｓ１４４０）では、現在ブロックのブロックサイズ情報に基づいて、ＩＳＰモード分割フラグを決定することができる。例えば、ＩＳＰモードフラグが、ＩＳＰモードが現在ブロックの符号化に用いられることを示す場合、ＩＳＰモード分割フラグは、現在ブロックのブロックサイズ情報に基づいて決定されることができる。例えば、第ＩＩＩ．３項に記載の方法は、ＩＳＰモード分割フラグを暗黙的に決定するために用いられることができる。

【0185】

ステップ（Ｓ１４５０）では、ＩＳＰモード分割フラグが示す分割方向にしたがって、現在ブロックを復号することができる。プロセス（１４００）は、（Ｓ１４９９）に進み、（Ｓ１４９９）で終了してもよい。

【0186】

Ｖ．コンピュータシステム

【0187】

以上で説明された技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実行され、１つ以上のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図１５は、開示された主題の特定の実施形態を実行することに適したコンピュータシステム（１５００）を示す。

【0188】

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いて符号化されることができる。

【0189】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

【0190】

コンピュータシステム（１５００）について、図１５に示される例示的なコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（１５００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきではない。

【0191】

コンピュータシステム（１５００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。

【0192】

入力ヒューマンインターフェースデバイスは、キーボード（１５０１）、マウス（１５０２）、トラックパッド（１５０３）、タッチスクリーン（１５１０）、データグローブ（図示せず）、ジョイスティック（１５０５）、マイクフォン（１５０６）、スキャナ（１５０７）、カメラ（１５０８）（それぞれ１つのみ示されている）のうちの１つ以上を含み得る。

【0193】

コンピュータシステム（１５００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１５１０）、データグローブ（図示せず）、またはジョイスティック（１５０５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（１５０９）、ヘッドホン（図示せず）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１５１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（図示せず）、ホログラフィックディスプレおよびスモークタンク（図示せず）など）、およびプリンタ（図示せず）を含み得る。

【0194】

コンピュータシステム（１５００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（１５２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１５２０）を含む光学媒体、サムドライブ（１５２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１５２３）、テープやフロッピーディスクなどの従来の磁気媒体（図示せず）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）などをも含むことができる。

【0195】

ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。

【0196】

コンピュータシステム（１５００）は、１つ以上の通信ネットワーク（１５５５）へのインターフェース（１５５４）をさらに含むことができる。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（１５４９）（例えば、コンピュータシステム（１５００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピュータシステム（１５００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（１５００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

【0197】

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（１５００）のコア（１５４０）に接続されることができる。

【0198】

コア（１５４０）は、１つ以上の中央処理装置（ＣＰＵ）（１５４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（１５４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１５４３）の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１５４４）、グラフィックスアダプタ（１５５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１５４５）、ランダムアクセスメモリ（１５４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１５４７）とともに、システムバス（１５４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（１５４８）は、１つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（１５４８）に直接、または周辺バス（１５４９）を介して接続されることができる。一例では、画面（１５１０）は、グラフィックスアダプタ（１５５０）に接続可能である。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

【0199】

ＣＰＵ（１５４１）、ＧＰＵ（１５４２）、ＦＰＧＡ（１５４３）、およびアクセラレータ（１５４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１５４５）またはＲＡＭ（１５４６）に記憶されることができる。推移データはＲＡＭ（１５４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（１５４７）に記憶されることができる。１つ以上のＣＰＵ（１５４１）、ＧＰＵ（１５４２）、大容量ストレージ（１５４７）、ＲＯＭ（１５４５）、ＲＡＭ（１５４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

【0200】

コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

【0201】

限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（１５００）、特にコア（１５４０）は、１つ以上の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（１５４７）またはＲＯＭ（１５４５）などの非一時的な性質を持つコア（１５４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（１５４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１５４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１５４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更する言を含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（１５４４））に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。

【0202】

本開示は一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。

【0203】

付録Ａ：頭字語
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＢＭＳ：Ｂｅｎｃｈｍａｒｋ Ｓｅｔ（ベンチマークセット）
ＢＴ：Ｂｉｎａｒｙ Ｔｒｅｅ（二分木）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（ブラウン管）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ（符号化ツリーブロック）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（符号化ツリーユニット）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（符号化ユニット）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールド プログラマブル ゲート アレイ）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィック処理装置）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ（移動通信用グローバルシステム）
ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（ハイダイナミックレンジ）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想リファレンスデコーダ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎ（イントラサブパーティション）
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（共同ビデオ探索チーム）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶表示装置）
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ（最確モード）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ（予測ブロック）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＰＤＰＣ：Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ（位置依存型予測組み合わせ）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（予測ユニット）
ＱＴ：Ｑｕａｄ－Ｔｒｅｅ（四分木）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（リードオンリーメモリ）
ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（スタンダードダイナミックレンジ）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助拡張情報）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＳＳＤ：Ｓｏｌｉｄ－ｓｔａｔｅ Ｄｒｉｖｅ（ソリッドステートドライブ）
ＴＴ：Ｔｅｒｎａｒｙ Ｔｒｅｅ（三分木）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ（変換ユニット）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＶＵＥ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオ符号化）
ＷＡＩＰ：Ｗｉｄｅ－Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ（広角度イントラ予測）

【符号の説明】

【0204】

１０１ サンプル
１０２ 矢印
１０３ 矢印
１０４ 正方形ブロック
２０１ イントラ予測方向を示す概略図
３００ 通信システム
３１０、３２０、３３０、３４０ 端末装置
３５０ ネットワーク
４００ 通信システム
４０１ ビデオソース
４０２ ビデオピクチャ
４０３ ビデオエンコーダ
４０４ エンコードされたビデオデータ
４０５ ストリーミングサーバ
４０６、４０８ クライアントサブシステム
４０７、４０９ コピー
４１０ ビデオデコーダ
４１１ ビデオピクチャ
４１２ ディスプレイ
４１３ キャプチャサブシステム
４２０ 電子デバイス
５０１ チャネル
５１０ ビデオデコーダ
５１２ レンダリングデバイス
５１５ バッファメモリ
５２０ パーサ
５２１ シンボル
５３０ 電子デバイス
５３１ 受信機
５５１ スケーラ／逆変換
５５２ イントラ予測
５５３ 動き補償予測
５５５ アグリゲータ
５５６ ループフィルタ
５５７ 参照ピクチャメモリ
５５８ 現在ピクチャバッファ
６０１ ビデオソース
６０３ ビデオエンコーダ
６２０ 電子デバイス
６３０ ソースコーダ
６３２ 符号化エンジン
６３３ デコーダ
６３４ 参照ピクチャメモリ
６３５ 予測器
６４０ 送信機
６４３ 符号化ビデオシーケンス
６４５ エントロピーコーダ
６５０ コントローラ
６６０ チャネル
７０３ ビデオエンコーダ
７２１ 統括制御部
７２２ イントラエンコーダ
７２３ 残差算出部
７２４ 残差エンコーダ
７２５ エントロピーエンコーダ
７２６ スイッチ
７２８ 残差デコーダ
７３０ インターエンコーダ
８１０ ビデオデコーダ
８７１ エントロピーデコーダ
８７２ イントラデコーダ
８７３ 残差デコーダ
８７４ 再構築モジュール
８８０ インターデコーダ
９１０ ＣＴＵ
９２０ ＱＴＢＴ分割構造
１１００ 符号化ブロック
１１１１、１１１２、１１２１、１１２２ サブパーティション
１１５０ 符号化ブロック
１１６１～１１６４、１１７１～１１７４ サブパーティション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図10C】

【図10D】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2021-09-08

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオデコーダにおけるビデオ復号方法であって、
符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割するステップと、
前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定するステップと、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号するステップと、を含む、方法。

【請求項2】

前記第１のブロックサイズは、
前記現在ブロックのブロック幅、
前記現在ブロックのブロック高さ、または
前記現在ブロックの前記ブロック幅と前記ブロック高さとの和のうちの１つにより表される、請求項１に記載の方法。

【請求項3】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最小値が閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項4】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最大値が閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項5】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロックエリアが閾値以上である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項6】

前記ＩＳＰモードが許可されるか否かを決定するステップは、
前記現在ブロックのブロック幅がブロック高さに対する第１の比率と前記現在ブロックの前記ブロック高さが前記ブロック幅に対する第２の比率とのうちの最大値である、前記現在ブロックの横縦比が閾値以下である場合に、前記現在ブロックに対して前記ＩＳＰモードが許可されないと決定するステップを含む、請求項１に記載の方法。

【請求項7】

前記閾値は１より大きい整数である、請求項６に記載の方法。

【請求項8】

前記現在ブロックを復号するステップは、
前記符号化ブロックの１つである前記現在ブロックの第２のブロックサイズに応じて、前記ＩＳＰモードが前記現在ブロックに適用されているか否かを示すＩＳＰモードフラグをエントロピー復号するためのコンテキストモデルを決定するステップを含む、請求項１に記載の方法。

【請求項9】

前記第２のブロックサイズは、
前記現在ブロックのブロック幅、
前記現在ブロックのブロック高さ、または
前記現在ブロックの前記ブロック幅と前記ブロック高さとの和のうちの１つにより表される、請求項８に記載の方法。

【請求項10】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最小値が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項11】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロック幅とブロック高さとのうちの最大値が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項12】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロックエリアが閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項13】

前記コンテキストモデルを決定するステップは、
前記現在ブロックのブロック幅がブロック高さに対する第１の比率と前記現在ブロックの前記ブロック高さが前記ブロック幅に対する第２の比率とのうちの最大値である、前記現在ブロックの横縦比が閾値以上であるか否かに応じて、前記ＩＳＰモードフラグをエントロピー復号するための前記コンテキストモデルを決定するステップを含む、請求項８に記載の方法。

【請求項14】

前記ＩＳＰモードは非正方形ブロックに適用可能であり、且つ正方形ブロックに適用不能である、請求項１に記載の方法。

【請求項15】

前記非正方形ブロックのそれぞれに対して、水平分割タイプまたは垂直分割タイプのいずれかを許可する、請求項１４に記載の方法。

【請求項16】

前記現在ブロックを復号するステップは、
前記現在ブロックのブロック幅とブロック高さとに基づいて、垂直分割または水平分割を示す分割タイプを決定するステップを含む、請求項１４に記載の方法。

【請求項17】

前記現在ブロックを復号するステップは、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合、前記現在ブロックのブロック高さが前記現在ブロックのブロック幅に対する比が第１の閾値以上である場合には前記現在ブロックに対して垂直分割タイプを決定し、前記現在ブロックの前記ブロック幅が前記現在ブロックの前記ブロック高さに対する比が第２の閾値以上である場合には前記現在ブロックに対して水平分割タイプを決定するステップを含む、請求項１４に記載の方法。

【請求項18】

前記ＩＳＰモードの水平分割は幅が８サンプル、高さが６４サンプルの前記非正方形ブロックの符号化ブロックに対して許可されなく、前記ＩＳＰモードの垂直分割は幅が６４サンプル、高さが８サンプルの前記非正方形ブロックの符号化ブロックに対して許可されない、請求項１４に記載の方法。

【請求項19】

回路を含むビデオ復号装置であって、前記回路は、
符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割し、
前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定し、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号する、装置。

【請求項20】

プロセッサに実行されることにより、前記プロセッサにビデオ復号の方法を実行させるコンピュータプログラムであって、前記方法は、
符号化ツリーブロック（ＣＴＢ）を符号化ブロックに分割するステップと、
前記符号化ブロックの１つである現在ブロックの第１のブロックサイズに基づいて、前記現在ブロックに対してイントラサブパーティション（ＩＳＰ）モードが許可されるか否かを決定するステップと、
前記現在ブロックに対して前記ＩＳＰモードが許可される場合には、前記ＩＳＰモードに応じて、前記現在ブロックを復号するステップと、を含む、コンピュータプログラム。

【国際調査報告】