知財求人 - 知財ポータルサイト「IP Force」
特表2023-548300イントラブロックコピーのある幾何学的パーティション・モードに関する方法、装置およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-16
(54)【発明の名称】イントラブロックコピーのある幾何学的パーティション・モードに関する方法、装置およびプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20231109BHJP
H04N 19/70 20140101ALI20231109BHJP
H04N 19/119 20140101ALI20231109BHJP
H04N 19/176 20140101ALI20231109BHJP
【ＦＩ】
H04N19/105
H04N19/70
H04N19/119
H04N19/176
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023525953
(86)(22)【出願日】2022-08-01
(85)【翻訳文提出日】2023-04-27
(86)【国際出願番号】 US2022074378
(87)【国際公開番号】W WO2023015160
(87)【国際公開日】2023-02-09
(31)【優先権主張番号】63/228,329
(32)【優先日】2021-08-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/877,812
(32)【優先日】2022-07-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン，リエンフェイ
(72)【発明者】
【氏名】リー，シャン
(72)【発明者】
【氏名】リー，リン
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TA12
5C159TA18
5C159TB08
5C159UA02
5C159UA05
(57)【要約】
現在ブロックが幾何学的パーティション・モードに基づいて第1のパーティションと第2のパーティションに分割されていることに応答して、第1のパーティションについての第1の予測タイプおよび第2のパーティションについての第2の予測タイプが、イントラ予測、インター予測、およびイントラブロックコピー（IBC）のうちの1つに関連するフラグに基づいて決定される。第1および第2の予測タイプのそれぞれは、イントラ予測、インター予測、およびIBCのうちの1つである。第1の予測タイプに基づいて、現在ブロックの第1のパーティションについての第1の予測モードが決定される。第2の予測タイプに基づいて、現在ブロックの第2のパーティションについての第2の予測モードが決定される。現在ブロックの第1のパーティションは第1の予測モードに基づいて再構成され、現在ブロックの第2のパーティションは第2の予測モードに基づいて再構成される。
【特許請求の範囲】
【請求項1】
ビデオ・デコーダにおいて実行されるビデオ・デコードの方法であって、当該方法は：ビデオの現在ピクチャーにおける現在ブロックの符号化された情報を、符号化されたビデオ・ビットストリームから受領する段階と；
現在ブロックを、幾何学的パーティション・モード（GPM）に基づいて、第1のパーティションおよび第2のパーティションに分割する段階と；
現在ブロックがGPMで符号化されていることを判別することに応答して、現在ブロックの第1のパーティションについての第1の予測タイプおよび現在ブロックの第2のパーティションについての第2の予測タイプを、イントラ予測、インター予測、およびイントラブロックコピー（IBC）のうちの1つを含む予測タイプに関連付けられた少なくとも1つのフラグに基づいて決定する段階であって、第1および第2の予測タイプのそれぞれは、イントラ予測、インター予測、およびBCのうちの1つである、段階と；
決定された第1の予測タイプに基づいて、現在ブロックの第1のパーティションについての第1の予測モードを決定する段階と；
決定された第2の予測タイプに基づいて、現在ブロックの第2のパーティションについての第2の予測モードを決定する段階と；
現在ブロックの第1のパーティションを第1の予測モードに基づいて、現在ブロックの第2のパーティションを第2の予測モードに基づいて再構成する段階とを含む、
方法。
【請求項2】
前記第1の予測タイプを決定することが：前記少なくとも1つのフラグのうちの第1のフラグが真であることに基づいて、現在ブロックの第1のパーティションについての第1の予測タイプがイントラ予測であると決定し；
前記少なくとも1つのフラグのうちの第1のフラグが偽であり、前記少なくとも1つのフラグのうちの第2のフラグが真であることに基づいて、現在ブロックの第1のパーティションについての第1の予測タイプがIBCであると決定し；
第1のフラグが偽であり、第2のフラグが偽であることに基づいて、現在ブロックの第1のパーティションについての第1の予測タイプがインター予測であると決定することを含む、
請求項１に記載の方法。
【請求項3】
前記第1の予測モードを決定することが：前記少なくとも1つのうちのフラグの第1のフラグが真であることに応答して、現在ブロックの第1のパーティションについてのイントラ予測モードを、前記符号化された情報に含まれる第1の構文要素に基づいて決定し；
前記少なくとも1つのフラグのうちの第2のフラグが真であることに応答して、現在ブロックの第1のパーティションについてのIBCのブロック・ベクトルを、前記符号化された情報に含まれる第2の構文要素に基づいて決定し；
前記少なくとも1つのフラグのうちの第1のフラグおよび前記少なくとも1つのフラグのうちの第2のフラグが偽であることに応答して、現在ブロックの第1のパーティションについてのインター予測モードを、前記符号化された情報に含まれる第3の構文要素に基づいて決定することを含む、
請求項２に記載の方法。
【請求項4】
前記第1の予測モードを決定することが、第1のパーティションについての第1の予測モードが、第1のイントラ予測モードおよびIBCの第1のブロック・ベクトルのうちの1つに関連付けられていると決定することを含み；前記第2の予測モードを決定することが、第2のパーティションについての第2の予測モードが、第2のイントラ予測モードおよびIBCの第2のブロック・ベクトルのうちの1つに関連付けられていると決定することを含む、
請求項１に記載の方法。
【請求項5】
前記第1の予測モードを決定することが、第1のパーティションについての第1の予測モードが、第1のインター予測モードおよびIBCの第1のブロック・ベクトルのうちの1つに関連付けられていると決定することを含み；前記第2の予測モードを決定することが、第2のパーティションについての第2の予測モードが、第2のインター予測モードおよびIBCの第2のブロック・ベクトルのうちの1つに関連付けられていると決定することを含む、
請求項１に記載の方法。
【請求項6】
第1の予測タイプがIBCであり、第2の予測タイプがIBCであることに応答して、第1のパーティションと第2のパーティションの間の境界に沿ったサンプルがブレンドされない、請求項１に記載の方法。
【請求項7】
前記符号化された情報はさらに：第1の予測タイプおよび第2の予測タイプのうちの1つがイントラ予測であるかどうかを示すイントラ予測ビット；
第1の予測タイプおよび第2の予測タイプのうちの1つがインター予測であるかどうかを示すインター予測ビット；および
第1の予測タイプおよび第2の予測タイプのうちの1つがIBC予測であるかどうかを示すIBC予測ビットを含む、
請求項１に記載の方法。
【請求項8】
第1の予測タイプがIBCであることに応答して、現在ブロックの第1のパーティションは、IBCのマージ・モードによって予測される、請求項２に記載の方法。
【請求項9】
動き記憶タイプが0または1であることに応答して、インター予測の動きベクトルおよびIBCのブロック・ベクトルのうちの1つを、4×4ピクセルの単位で記憶し；動き記憶タイプが2であることに応答して：
第1のパーティションに関連付けられた第1の動きベクトルおよび第2のパーティションに関連付けられた第2の動きベクトルを、4×4ピクセルの単位で、
第1のパーティションに関連付けられた動きベクトルおよび第2のパーティションに関連付けられたブロック・ベクトルを、4×4ピクセルの単位で、
第1のパーティションに関連付けられた第1のブロック・ベクトルおよび第2のパーティションに関連付けられた第2のブロック・ベクトルのうちの1つを、4×4ピクセルで
記憶することをさらに含む、
請求項１に記載の方法。
【請求項10】
第1の予測タイプがIBCであることに応答して、第1のパーティションに関連付けられた第1のブロック・ベクトルが、IBCマージ・リストにおける第1のマージ候補であると決定し；第2の予測タイプがIBCであることに応答して、第2のパーティションに関連付けられた第2のブロック・ベクトルが、IBCマージ・リストにおける第2のマージ候補であると決定することをさらに含む、
請求項１に記載の方法。
【請求項11】
請求項１ないし１０のうちいずれか一項に記載の方法を実行するように構成されている装置。【請求項12】
コンピュータに請求項１ないし１０のうちいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
【請求項13】
ビデオ・エンコーダにおいて実行されるビデオ・エンコードの方法であって、当該方法は：参照ピクチャー・データを利用して入力ピクチャー・データを予測的に符号化したものを含む符号化された情報を生成する段階を含み、
前記参照ピクチャー・データは、前記入力ピクチャー・データより以前のピクチャーを現在ピクチャーとするローカル・デコーダ動作によって生成され、
前記ローカル・デコーダ動作は：
ビデオの現在ピクチャーにおける現在ブロックの符号化された情報を受領する段階と；
現在ブロックを、幾何学的パーティション・モード（GPM）に基づいて、第1のパーティションおよび第2のパーティションに分割する段階と；
現在ブロックがGPMで符号化されていることを判別することに応答して、現在ブロックの第1のパーティションについての第1の予測タイプおよび現在ブロックの第2のパーティションについての第2の予測タイプを、イントラ予測、インター予測、およびイントラブロックコピー（IBC）のうちの1つを含む予測タイプに関連付けられた少なくとも1つのフラグに基づいて決定する段階であって、第1および第2の予測タイプのそれぞれは、イントラ予測、インター予測、およびBCのうちの1つである、段階と；
決定された第1の予測タイプに基づいて、現在ブロックの第1のパーティションについての第1の予測モードを決定する段階と；
決定された第2の予測タイプに基づいて、現在ブロックの第2のパーティションについての第2の予測モードを決定する段階と；
現在ブロックの第1のパーティションを第1の予測モードに基づいて、現在ブロックの第2のパーティションを第2の予測モードに基づいて再構成する段階とを含む、
方法。
【請求項14】
請求項１３に記載の方法を実行するように構成されている装置。
【請求項15】
コンピュータに請求項１３に記載の方法を実行させるためのコンピュータ・プログラム。【発明の詳細な説明】
【技術分野】
【0001】
参照による組み込み
本願は、2022年7月29日に出願された米国特許出願第17/877,812号「イントラブロックコピーのある幾何学的分割モード」に対する優先権の利益を主張し、同出願は、2021年8月2日に出願された米国仮出願第63/228,329号「イントラブロックコピーのある幾何学的分割モード」に対する優先権の利益を主張する。これら先の出願の開示は、その全体が参照により本明細書に組み込まれる。
本願は、2022年7月29日に出願された米国特許出願第17/877,812号「イントラブロックコピーのある幾何学的分割モード」に対する優先権の利益を主張し、同出願は、2021年8月2日に出願された米国仮出願第63/228,329号「イントラブロックコピーのある幾何学的分割モード」に対する優先権の利益を主張する。これら先の出願の開示は、その全体が参照により本明細書に組み込まれる。
【0002】
技術分野
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。
【背景技術】
【0003】
本明細書で提供される背景説明は、本開示の文脈を概括的に提示するためのものである。本願で名前が挙がっている発明者の仕事であってその仕事がこの背景セクションに記載されている範囲におけるもの、また、他の意味で出願時に先行技術として適格でないことがありうる本記述の諸側面は、明示的にも暗黙的にも本開示に対する先行技術として認められない。
【0004】
非圧縮デジタル・ビデオは、一連のピクチャーを含むことができ、各ピクチャーは、たとえば1920×1080のルミナンス・サンプルおよび関連するクロミナンス・サンプルの空間的寸法を有する。一連のピクチャーは、固定または可変のピクチャー・レート（非公式にはフレーム・レートとしても知られる）、たとえば、60ピクチャー毎秒または60Hzを有することができる。非圧縮ビデオは、特定のビットレート要件を有する。たとえば、サンプル当たり8ビットの1080p60 4:2:0ビデオ（60Hzのフレーム・レートでの1920×1080のルミナンス・サンプル解像度）は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。
【0005】
ビデオ符号化および復号の1つの目的は、圧縮による入力ビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅および／または記憶スペースの要求を、場合によっては2桁以上も低減するのに役立つことがある。可逆圧縮および不可逆圧縮の両方、ならびにそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮されたもとの信号から、もとの信号の正確なコピーが再構成できる技術をいう。不可逆圧縮を使用する場合、再構成された信号は、もとの信号と同一ではないことがありうるが、もとの信号と再構成された信号との間の歪みは、再構成された信号を意図された用途のために有用にするのに十分小さい。ビデオの場合、不可逆圧縮が広く用いられている。許容される歪みの量はアプリケーションに依存し、たとえば、ある種の消費者ストリーミングアプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い許容可能／認容可能な歪みはより高い圧縮比をもたらすことができる、ということを反映できる。
【0006】
ビデオ・エンコーダおよびデコーダは、たとえば動き補償、変換、量子化、およびエントロピー符号化を含むいくつかの広範なカテゴリーからの技術を利用することができる。
【0007】
ビデオ・コーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、以前に再構成された参照ピクチャーからのサンプルまたは他のデータを参照することなく表現される。いくつかのビデオ・コーデックでは、ピクチャーは空間的にサンプルのブロックに分割される。サンプルのすべてのブロックがイントラモードで符号化される場合、そのピクチャーはイントラ・ピクチャーでありうる。イントラ・ピクチャーと、独立デコーダ・リフレッシュ・ピクチャーのようなその派生物は、デコーダ状態をリセットするために使用でき、よって、符号化ビデオ・ビットストリームおよびビデオセッションにおける最初のピクチャーとして、または静止画像として使用できる。イントラ・ブロックのサンプルを変換にかけることができ、変換係数は、エントロピー符号化の前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術でありうる。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピー符号化後のブロックを表わすために所与の量子化ステップサイズで必要とされるビット数が少なくなる。
【0008】
たとえばMPEG-2世代の符号化技術から知られているような伝統的なイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、たとえば、空間的に近傍であり、デコード順で先行するデータのブロックのエンコードおよび／またはデコード中に得られた周囲のサンプル・データおよび／またはメタデータから試みる技術を含む。そのような技法は、以下では「イントラ予測」技法と呼ばれる。少なくともいくつかの場合には、イントラ予測は再構成中の現在ピクチャーからの参照データのみを使用し、参照ピクチャーからの参照データは使用しないことに注意されたい。
【0009】
さまざまな形のイントラ予測がありうる。所与のビデオ符号化技術において、そのような技法の二つ以上が使用できる場合、使用される技法は、イントラ予測モードで符号化されることができる。ある種の場合には、モードは、サブモードおよび／またはパラメータを有することができ、それらは、個別に符号化されることができ、またはモード符号語に含められることができる。所与のモード、サブモードおよび／またはパラメータの組み合わせのためにどの符号語を使用するかは、イントラ予測を通して符号化効率利得に影響を与える可能性があり、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も同様に影響を与える可能性がある。
【0010】
イントラ予測のあるモードがH.264で導入され、H.265で洗練され、共同探査モデル（JEM）、多用途ビデオ符号化（VVC）、およびベンチマークセット（BMS）のようなより新しい符号化技術においてさらに洗練された。予測子ブロックは、すでに利用可能なサンプルに属する近傍サンプル値を使用して形成されることができる。近傍サンプルのサンプル値が、ある方向に従って予測子ブロックにコピーされる。使用される方向への参照は、ビットストリームにおいて符号化されることができ、またはそれ自身予測されてもよい。
【0011】
図1Aを参照すると、右下に、H.265の33個の可能な予測子方向（35個のイントラモードのうち33個の角度モードに対応する）から知られている9個の予測子方向のサブセットが描かれている。矢印が収束する点（101）は、予測されるサンプルを表わす。矢印は、サンプルが予測される方向を表わす。たとえば、矢印（102）は、サンプル（101）が、水平から45度の角度の右上のサンプル（単数または複数）から予測されることを示す。同様に、矢印（103）は、サンプル（101）が、水平から22.5度の角度の、サンプル（101）の左下のサンプル（単数または複数）から予測されることを示す。
【0012】
引き続き図1Aを参照すると、左上には、4×4サンプルの正方形ブロック（104）が描かれている（太い破線で示されている）。正方形ブロック（104）は、16個のサンプルを含み、各サンプルは「S」とY次元におけるその位置（たとえば、行インデックス）およびX次元におけるその位置（たとえば、列インデックス）でラベル付けされている。たとえば、サンプルS21は、Y次元の（上から）第2のサンプルであり、X次元の（左から）最初のサンプルである。同様に、サンプルS44は、YおよびX次元の両方においてブロック（104）内の第4のサンプルである。ブロックが4×4サンプルのサイズなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、Rと、ブロック（104）に対するそのY位置（たとえば、行インデックス）およびX位置（列インデックス）でラベル付けされる。H.264とH.265の両方において、予測サンプルは再構成中のブロックの近傍であり、そのため負の値を使用する必要はない。
【0013】
ピクチャー内予測は、信号伝達される予測方向によって充当される近傍サンプルから参照サンプル値をコピーすることによって機能できる。たとえば、符号化ビデオ・ビットストリームは、このブロックについて、矢印（102）と整合する予測方向を示す信号伝達を含むと想定する。すなわち、サンプルは、水平から45度の角度の右上の予測サンプル（単数または複数）から予測される。その場合、サンプルS41、S32、S23、およびS14は、同じ参照サンプルR05から予測される。次いで、サンプルS44は、参照サンプルR08から予測される。
【0014】
ある種の場合には、特に方向が45度で割り切れない場合には、参照サンプルを計算するために、複数の参照サンプルの値が、たとえば補間によって組み合わされることができる。
【0015】
ビデオ符号化技術の発達に伴い、可能な方向の数が増加してきた。H.264（2003年）では、9つの異なる方向が表現できた。これは、H.265（2013年）では33に増加し、本開示の時点でのJEM/VVC/BMSは、最大65の方向をサポートできる。最も可能性の高い方向を同定するために実験が行われ、より可能性の低い方向についてのあるペナルティを受け入れつつ、それらの可能性の高い方向を少数のビットで表現するために、エントロピー符号化におけるある種の技法が使用される。さらに、方向自身が、近傍のすでにデコードされたブロックで使用された近傍方向から予測できることがある。
【0016】
図1Bは、時間とともに増加する予測方向の数を示すために、JEMによる65個のイントラ予測方向を描く概略図（110）を示している。
【0017】
方向を表わす符号化ビデオ・ビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なることができ、たとえば、予測方向のイントラ予測モードへの単純な直接的マッピングから、符号語、最確モードに関わる複雑な適応方式、および同様の技法までありうる。しかしながら、どの場合でも、ビデオコンテンツにおいて、他のある種の方向よりも統計的に起こりにくいある種の方向が存在しうる。ビデオ圧縮の目標は冗長性の低減であるので、良好に機能するビデオ符号化技術においては、そうしたより可能性の低い方法は、より可能性の高い方向よりもより多くのビット数によって表わされる。
【0018】
ビデオ符号化および復号は、動き補償を伴うピクチャー間予測を用いて実行できる。動き補償は、不可逆圧縮技法であることがあり、かつ、以前に再構成されたピクチャーまたはその一部（参照ピクチャー）からのサンプル・データのブロックが、動きベクトル（以下、MV）によって示される方向に空間的にシフトされた後に、新しく再構成されるピクチャーまたはピクチャー・パーティションの予測のために使用される技法に関することができる。場合によっては、参照ピクチャーは、現在再構成中のピクチャーと同じであることもできる。MVは、XおよびYの2次元、または3次元を有することができ、第3の次元は、使用される参照ピクチャーの指示である（これは、間接的に、時間次元でありうる）。
【0019】
いくつかのビデオ圧縮技術では、サンプル・データのある領域に適用可能なMVは、他のMVから、たとえば、再構成中の領域に空間的に隣接し、デコード順でそのMVに先行するサンプル・データの別の領域に関連するMVから予測されることができる。そうすることにより、MVの符号化に必要とされるデータ量を大幅に削減することができ、それにより冗長性を除去し、圧縮を増加させることができる。MV予測が有向に機能できるのは、たとえば、カメラから導出される入力ビデオ信号（ナチュラルビデオとして知られる）を符号化する際に、単一のMVが適用可能である領域よりも大きな領域が同様の方向に移動し、よって、ある種の場合には、近傍領域のMVから導出された同様の動きベクトルを用いて予測できるという、統計的確からしさがあるからである。その結果、所与の領域について見出されるMVが、周囲のMVから予測されるMVと同様または同一であることになり、そして、それは、エントロピー符号化の後、MVを直接符号化する場合に使用されるであろうものよりも少数のビットで表現できる。いくつかの場合には、MV予測は、もとの信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の例でありうる。他の場合には、MV予測自身が、たとえば、いくつかの周囲のMVから予測子を計算する際の丸め誤差のために、不可逆であることがある。
【0020】
H.265/HEVC（ITU-T Rec. H.265、「高効率ビデオ符号化」（High Efficiency Video Coding）、December 2016）には、さまざまなMV予測機構が記述されている。H.265が提供する多くのMV予測機構のうち、本明細書では、以後、「空間マージ（spatial merge）」と呼ばれる技法が記載される。
【0021】
図2を参照すると、現在ブロック（201）は、空間的にシフトされた同じサイズの前のブロックから予測可能であることが動き探索プロセスの間にエンコーダによって見出されたサンプルを含む。そのMVを直接符号化する代わりに、MVは、一つまたは複数の参照ピクチャーに関連付けられたメタデータから、たとえば（デコード順で）最新の参照ピクチャーから、A0、A1、およびB0、B1、B2（それぞれ202ないし206）と記される5つの周囲のサンプルのいずれかに関連付けられたMVを使用して、導出できる。H.265では、MV予測は、近傍ブロックが使用しているのと同じ参照ピクチャーからの予測子を使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【0022】
本開示の諸側面は、ビデオ・エンコード／デコードのための方法および装置を提供する。いくつかの例では、ビデオ・デコードのための装置は、処理回路を含む。
【課題を解決するための手段】
【0023】
本開示のある側面によれば、ビデオ・デコーダにおいて実行されるビデオ・デコードの方法が提供される。この方法では、ビデオの現在ピクチャーにおける現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受領されることができる。現在ブロックは、幾何学的パーティション・モード（geometric partition mode、GPM）に基づいて、第1のパーティションおよび第2のパーティションに分割できる。現在ブロックがGPMで符号化されることを決定することに応答して、現在ブロックの第1のパーティションについての第1の予測タイプと現在ブロックの第2のパーティションについての第2の予測タイプは、イントラ予測、インター予測、およびイントラブロックコピー（IBC）のうちの1つを含む予測タイプに関連付けられた少なくとも1つのフラグに基づいて決定でき、ここで、第1および第2の予測タイプのそれぞれは、イントラ予測、インター予測、およびBCのうちの1つでありうる。決定された第1の予測タイプに基づいて、現在ブロックの第1のパーティションについての第1の予測モードが決定できる。決定された第2の予測タイプに基づいて、現在ブロックの第2のパーティションについての第2の予測モードが決定できる。現在ブロックの第1のパーティションは第1の予測モードに基づいて再構成でき、現在ブロックの第2のパーティションは第2の予測モードに基づいて再構成できる。
【0024】
第1の予測タイプを決定するために、一例では、現在ブロックの第1のパーティションについての第1の予測タイプは、前記少なくとも1つのフラグのうちの第1のフラグが真であることに基づいて、イントラ予測として決定できる。一例では、現在ブロックの第1のパーティションについての第1の予測タイプは、前記少なくとも1つのフラグのうちの第1のフラグが偽であり、前記少なくとも1つのフラグのうちの第2のフラグが真であることに基づいて、IBCとして決定できる。別の例では、現在ブロックの第1のパーティションについての第1の予測タイプは、第1のフラグが偽であり、第2のフラグが偽であることに基づいてインター予測として決定できる。
【0025】
第1の予測モードを決定するために、現在ブロックの第1のパーティションについてのイントラ予測モードは、前記少なくとも1つのうちのフラグの第1のフラグが真であることに応答して、前記符号化された情報に含まれる第1の構文要素に基づいて決定できる。現在ブロックの第1のパーティションについてのIBCのブロック・ベクトルは、前記少なくとも1つのフラグのうちの第2のフラグが真であることに応答して、前記符号化された情報に含まれる第2の構文要素に基づいて決定できる。現在ブロックの第1のパーティションについてのインター予測モードは、前記少なくとも1つのフラグのうちの第1のフラグおよび前記少なくとも1つのフラグのうちの第2のフラグが偽であることに応答して、前記符号化された情報に含まれる第3の構文要素に基づいて決定できる。
【0026】
一例では、第1のパーティションについての第1の予測モードは、第1のイントラ予測モードおよびIBCの第1のブロック・ベクトルのうちの1つに関連付けられていると決定できる。第2のパーティションについての第2の予測モードは、第2のイントラ予測モードおよびIBCの第2のブロック・ベクトルのうちの1つに関連付けられていると決定できる。
【0027】
一例では、第1のパーティションについての第1の予測モードは、第1のインター予測モードおよびIBCの第1のブロック・ベクトルのうちの1つに関連付けられていると決定できる。第2のパーティションについての第2の予測モードは、第2のインター予測モードおよびIBCの第2のブロック・ベクトルのうちの1つに関連付けられていると決定できる。
【0028】
第1の予測タイプがIBCであり、第2の予測タイプがIBCであることに応答して、第1のパーティションと第2のパーティションの間の境界に沿ったサンプルはブレンドされなくてもよい。
【0029】
いくつかの実施形態では、前記符号化された情報は、第1の予測タイプおよび第2の予測タイプのうちの1つがイントラ予測であるかどうかを示すイントラ予測ビットを含むことができる。前記符号化された情報は、第1の予測タイプおよび第2の予測タイプのうちの1つがインター予測であるかどうかを示すインター予測ビットを含むことができる。前記符号化された情報はまた、第1の予測タイプおよび第2の予測タイプのうちの1つがIBC予測であるかどうかを示すIBC予測ビットを含むことができる。
【0030】
この方法では、第1の予測タイプがIBCであることに応答して、現在ブロックの第1のパーティションは、IBCのマージ・モードによって予測できる。
【0031】
ある実施形態では、動き記憶タイプが0または1であることに応答して、インター予測の動きベクトルおよびIBCのブロック・ベクトルのうちの1つが、4×4ピクセルの単位で記憶できる。別の実施形態では、動き記憶タイプが2であることに応答して、一例では、第1のパーティションに関連付けられた第1の動きベクトルおよび第2のパーティションに関連付けられた第2の動きベクトルが、4×4ピクセルの単位で記憶できる。別の例では、第1のパーティションに関連付けられた動きベクトルと、第2のパーティションに関連付けられたブロック・ベクトルが、4×4ピクセルの単位で記憶できる。さらに別の例では、第1のパーティションに関連付けられた第1のブロック・ベクトルと、第2のパーティションに関連付けられた第2のブロック・ベクトルのうちの1つが、4×4ピクセルで記憶できる。
【0032】
第1の予測タイプがIBCであることに応答して、第1のパーティションに関連付けられた第1のブロック・ベクトルが、IBCマージ・リストにおける第1のマージ候補として決定できる。第2の予測タイプがIBCであることに応答して、第2のパーティションに関連付けられた第2のブロック・ベクトルが、IBCマージ・リストにおける第2のマージ候補として決定できる。
【0033】
本開示の別の側面によれば、装置が提供される。装置は、処理回路を含む。処理回路は、ビデオ・エンコード／デコードのための前記方法のうちのいずれかを実行するように構成されることができる。
【0034】
本開示の諸側面はまた、ビデオ・デコードのためにコンピュータによって実行されたときに、該コンピュータにビデオ・エンコード／デコードのための前記方法のいずれかを実行させる命令を記憶している非一時的なコンピュータ読み取り可能な媒体を提供する。
【図面の簡単な説明】
【0035】
開示された主題のさらなる特徴、性質、およびさまざまな利点は、以下の詳細な説明および添付の図面からより明白になるであろう。
【0036】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【0037】
【図1B】例示的なイントラ予測方向の説明図である。
【0038】
【図2】一例における現在ブロックおよびその周囲の空間的マージ候補の概略図である。
【0039】
【図3】ある実施形態による通信システムの簡略化されたブロック図の概略図である。
【0040】
【図4】ある実施形態による通信システム（400）の簡略化されたブロック図の概略図である。
【0041】
【図5】ある実施形態によるデコーダの簡略化されたブロック図の概略図である。
【0042】
【図6】ある実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【0043】
【図7】別の実施形態によるエンコーダのブロック図を示す。
【0044】
【図8】別の実施形態によるデコーダのブロック図を示す。
【0045】
【図9】別の実施形態での空間的マージ候補の例示的な位置を示す。
【0046】
【図10】空間的マージ候補の例示的な冗長性チェックを示す。
【0047】
【図11】ある実施形態による、時間的マージ候補のための動きベクトル・スケーリングの概略図を示す。
【0048】
【図12】ある実施形態による、時間的マージ候補のための例示的な候補位置を示す。
【0049】
【図13】ある実施形態による幾何学的パーティション・モードの例示的な角度分布を示す。
【0050】
【図14】ある実施形態による、GPMのための例示的な分割線を示す。
【0051】
【図15A】イントラ符号化フレームについてのGPMモードの第1の概略図を示す。
【0052】
【図15B】イントラ符号化フレームについてのGPMモードの第2の概略図を示す。
【0053】
【図15C】イントラ符号化フレームについてのGPMモードの第3の概略図を示す。
【0054】
【図16】本開示のいくつかの実施形態による、例示的なデコード・プロセスの概要を示すフローチャートを示す。
【0055】
【図17】本開示のいくつかの実施形態による、例示的なエンコード・プロセスの概要を示すフローチャートを示す。
【0056】
【図18】ある実施形態によるコンピュータ・システムの概略図である。
【発明を実施するための形態】
【0057】
図3は、本開示のある実施形態による通信システム（300）の簡略化されたブロック図を示す。通信システム（300）は、たとえばネットワーク（350）を介して互いに通信することができる複数の端末装置を含む。たとえば、通信システム（300）は、ネットワーク（350）を介して相互接続された第1の対の端末装置（310）および（320）を含む。図3の例では、第1の対の端末装置（310）および（320）は、データの一方向伝送を実行する。たとえば、端末装置（310）は、ネットワーク（350）を介した他方の端末装置（320）への伝送のために、ビデオ・データ（たとえば、端末装置（310）によって捕捉されたビデオ・ピクチャーのストリーム）を符号化してもよい。エンコードされたビデオ・データは、一つまたは複数の符号化ビデオ・ビットストリームの形で伝送されることができる。端末装置（320）は、ネットワーク（350）から、符号化ビデオ・データを受信し、符号化ビデオ・データをデコードしてビデオ・ピクチャーを復元し、復元されたビデオ・データに従ってビデオ・ピクチャーを表示してもよい。一方向データ伝送は、メディア・サービス・アプリケーション等において一般的でありうる。
【0058】
別の例では、通信システム（300）は、たとえばビデオ会議中に発生しうる符号化されたビデオ・データの双方向伝送を実行する第2の対の端末装置（330）および（340）を含む。データの双方向伝送のために、一例では、端末装置（330）および（340）の各端末装置は、ネットワーク（350）を介した、端末装置（330）および（340）のうちの他方の端末装置への伝送のために、ビデオ・データ（たとえば、端末装置によって捕捉されたビデオ・ピクチャーのストリーム）を符号化してもよい。端末装置（330）および（340）の各端末装置は、端末装置（330）および（340）のうちの他方の端末装置によって送信された符号化されたビデオ・データを受信してもよく、符号化されたビデオ・データをデコードして、ビデオ・ピクチャーを復元し、復元されたビデオ・データに従って、アクセス可能な表示装置においてビデオ・ピクチャーを表示してもよい。
【0059】
図3の例では、端末装置（310）、（320）、（330）および（340）は、サーバー、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、それに限定されなくてもよい。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤー、および／または専用のビデオ会議設備での応用を見出す。ネットワーク（350）は、たとえば有線（ワイヤード）および／または無線〔ワイヤレス〕通信ネットワークを含む、端末装置（310）、（320）、（330）および（340）の間で符号化されたビデオ・データを伝達する任意の数のネットワークを表わす。通信ネットワーク（350）は、回線交換および／またはパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークは、遠隔通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。今の議論の目的のために、ネットワーク（350）のアーキテクチャーおよびトポロジーは、以下に説明しない限り、本開示の動作には重要ではないことがある。
【0060】
図4は、開示される主題のためのアプリケーションの例として、ストリーミング環境におけるビデオ・エンコーダおよびビデオ・デコーダの配置を示す。開示される主題は、たとえば、ビデオ会議、デジタルTV、CD、DVD、メモリースティックなどを含むデジタル媒体上の圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションにも等しく適用可能でありうる。
【0061】
ストリーミング・システムは、ビデオ源（401）、たとえばデジタル・カメラを含むことができ、たとえば非圧縮のビデオ・ピクチャーのストリーム（402）を生成する捕捉サブシステム（413）を含んでいてもよい。一例では、ビデオ・ピクチャーのストリーム（402）は、デジタル・カメラによって取り込まれたサンプルを含む。エンコードされたビデオ・データ（404）（または符号化されたビデオ・ビットストリーム）と比較した場合の高いデータ・ボリュームを強調するために太線として描かれているビデオ・ピクチャーのストリーム（402）は、ビデオ源（401）に結合されたビデオ・エンコーダ（403）を含む電子装置（420）によって処理されることができる。ビデオ・エンコーダ（403）は、以下により詳細に説明されるように、開示される主題の諸側面を可能にし、または実現するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ・ピクチャーのストリーム（402）と比較した場合の、より低いデータ・ボリュームを強調するために細い線として描かれている、エンコードされたビデオ・データ（404）（またはエンコードされたビデオ・ビットストリーム（404））は、将来の使用のためにストリーミング・サーバー（405）に記憶されることができる。図4のクライアント・サブシステム（406）および（408）のような一つまたは複数のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー（405）にアクセスして、エンコードされたビデオ・データ（404）のコピー（407）および（409）を取り出すことができる。クライアント・サブシステム（406）は、たとえば電子装置（430）内にビデオ・デコーダ（410）を含むことができる。ビデオ・デコーダ（410）は、エンコードされたビデオ・データの入来コピー（407）をデコードし、ディスプレイ（412）（たとえば表示画面）または他のレンダリング装置（図示せず）上にレンダリングできるビデオ・ピクチャーの出ていくストリーム（411）を生成する。いくつかのストリーミング・システムでは、エンコードされたビデオ・データ（404）、（407）、および（409）（たとえば、ビデオ・ビットストリーム）は、ある種のビデオ符号化／圧縮標準に従ってエンコードされることができる。これらの標準の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオ符号化規格は、非公式にVVCとして知られている。開示される主題は、多用途ビデオ符号化（VVC）の文脈で使用されてもよい。
【0062】
電子装置（420）および（430）は、他の構成要素（図示せず）を含むことができることを注意しておく。たとえば、電子装置（420）は、ビデオ・デコーダ（図示せず）を含むことができ、電子装置（430）は、ビデオ・エンコーダ（図示せず）も含むことができる。
【0063】
図5は、本開示のある実施形態によるビデオ・デコーダ（510）のブロック図を示す。ビデオ・デコーダ（510）は、電子装置（530）に含まれることができる。電子装置（530）は、受領器（531）（たとえば、受領回路）を含むことができる。ビデオ・デコーダ（510）は、図4の例におけるビデオ・デコーダ（310）の代わりに使用できる。
【0064】
受領器（531）は、ビデオ・デコーダ（510）によってデコードされるべき一つまたは複数の符号化ビデオ・シーケンスを受領してもよい；同じまたは別の実施形態において、一度に1つの符号化ビデオ・シーケンスであり、各符号化ビデオ・シーケンスのデコードは、他の符号化ビデオ・シーケンスから独立である。符号化ビデオ・シーケンスは、チャネル（501）から受信されてもよく、該チャネルは、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア／ソフトウェア・リンクであってもよい。受領器（531）は、エンコードされたビデオ・データを、他のデータ、たとえば符号化されたオーディオ・データおよび／または補助データ・ストリームと一緒に受領してもよく、これらのデータは、それぞれの使用エンティティ（図示せず）を転送されてもよい。受領器（531）は、符号化ビデオ・シーケンスを他のデータから分離することができる。ネットワーク・ジッタ対策として、バッファメモリ（515）が、受領器（531）とエントロピー・デコーダ／パーサー（520）（以下「パーサー」）との間に結合されてもよい。ある種のアプリケーションでは、バッファメモリ（515）はビデオ・デコーダ（510）の一部である。他のアプリケーションでは、ビデオ・デコーダ（510）の外部にあることができる（図示せず）。さらに他のアプリケーションでは、たとえばネットワーク・ジッタに対抗するために、ビデオ・デコーダ（510）の外部にバッファメモリ（図示せず）があってもよく、さらに、たとえば再生タイミングを扱うために、ビデオ・デコーダ（510）の内部に別のバッファメモリ（515）があってもよい。受領器（531）が、十分な帯域幅および制御可能性の記憶／転送装置から、またはアイソクロナス・ネットワークからデータを受領している場合は、バッファメモリ（515）は、必要とされなくてもよく、または小さくてもよい。インターネットのようなベストエフォート型のパケット・ネットワークでの使用のためには、バッファメモリ（515）が要求されることがあり、比較的大きいことがあり、有利には適応サイズであることができ、少なくとも部分的に、ビデオ・デコーダ（510）の外部でオペレーティング・システムまたは同様の要素（図示せず）において実装されてもよい。
【0065】
ビデオ・デコーダ（510）は、符号化ビデオ・シーケンスからシンボル（521）を再構成するためのパーサー（520）を含んでいてもよい。これらのシンボルのカテゴリーは、ビデオ・デコーダ（510）の動作を管理するために使用される情報と、潜在的には、レンダー装置（512）（たとえば表示画面）のようなレンダリング装置を制御するための情報とを含む。レンダー装置は、図5に示されたように、電子装置（530）の一体的な部分ではなく、電子装置（530）に結合されることができる。レンダリング装置（単数または複数）のための制御情報は、補足向上情報（Supplementary Enhancement Information）（SEIメッセージ）またはビデオユーザビリティ情報（Video Usability Information、VUI）パラメータセット・フラグメント（図示せず）の形であってもよい。パーサー（520）は、受領された符号化ビデオ・シーケンスをパースする／エントロピー復号することができる。符号化ビデオ・シーケンスの符号化は、ビデオ符号化技術または標準に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感受性ありまたはなしの算術符号化などを含む、さまざまな原理に従うことができる。パーサー（520）は、符号化ビデオ・シーケンスから、ビデオ・デコーダ内のピクセルのサブグループのうちの少なくとも1つについてのサブグループ・パラメータのセットを、グループに対応する少なくとも1つのパラメータに基づいて、抽出することができる。サブグループは、ピクチャーグループ（Group of Pictures、GOP）、ピクチャー、タイル、スライス、マクロブロック、符号化単位（Coding Unit、CU）、ブロック、変換単位（Transform Unit、TU）、予測単位（Prediction Unit、PU）などを含むことができる。パーサー（520）はまた、符号化ビデオ・シーケンスから、変換係数、量子化器パラメータ値、動きベクトル等の情報を抽出することができる。
【0066】
パーサー（520）は、バッファメモリ（515）から受領されたビデオ・シーケンスに対してエントロピー復号／パース動作を実行し、それによりシンボル（521）を生成することができる。
【0067】
シンボル（521）の再構成は、符号化されたビデオ・ピクチャーまたはその諸部分のタイプ（たとえば、インターおよびイントラ・ピクチャー、インターおよびイントラ・ブロック）および他の要因に依存して、複数の異なるユニットに関わることができる。どのユニットがどのように関わるかは、符号化ビデオ・シーケンスからパーサー（520）によってパースされたサブグループ制御情報によって制御されることができる。パーサー（520）と下記の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確のため、描かれていない。
【0068】
すでに述べた機能ブロックのほかに、ビデオ・デコーダ（510）は、以下に説明するように、概念的に、いくつかの機能ユニットに分割できる。商業的制約の下で機能する実際的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示される主題を記述する目的のためには、下記の機能単位への概念的な細分が適切である。
【0069】
第1のユニットは、スケーラー／逆変換ユニット（551）である。スケーラー／逆変換ユニット（551）は、パーサー（520）から、量子化された変換係数および制御情報をシンボル（単数または複数）（521）として受領する。制御情報は、どの変換を使用するか、ブロック・サイズ、量子化因子、量子化スケーリング行列などを含む。スケーラー／逆変換ユニット（551）は、集計器（555）に入力できるサンプル値を含むブロックを出力することができる。
【0070】
場合によっては、スケーラー／逆変換（551）の出力サンプルは、イントラ符号化されたブロック、すなわち、以前に再構成されたピクチャーからの予測情報を使用していないが、現在ピクチャーの、以前に再構成された部分からの予測情報を使用することができるブロックに関することができる。そのような予測情報は、イントラ・ピクチャー予測ユニット（552）によって提供されることができる。場合によっては、イントラ・ピクチャー予測ユニット（552）は、現在ピクチャー・バッファ（558）から取ってきた、周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャー・バッファ（558）は、たとえば、部分的に再構成された現在ピクチャーおよび／または完全に再構成された現在ピクチャーをバッファリングする。集計器（555）は、場合によっては、サンプル毎に、イントラ予測ユニット（552）が生成した予測情報を、スケーラー／逆変換ユニット（551）によって提供される出力サンプル情報に加算する。
【0071】
他の場合には、スケーラー／逆変換ユニット（551）の出力サンプルは、インター符号化され、潜在的には動き補償されたブロックに関することができる。そのような場合、動き補償予測ユニット（553）は、予測のために使用されるサンプルを取ってくるために参照ピクチャー・メモリ（557）にアクセスすることができる。取ってきたサンプルを、ブロックに関するシンボル（521）に従って動き補償した後、これらのサンプルは、集計器（555）によってスケーラー／逆変換ユニットの出力（この場合、残差サンプルまたは残差信号と呼ばれる）に加算されて、それにより出力サンプル情報を生成することができる。動き補償ユニット（553）が予測サンプルを取ってくる参照ピクチャー・メモリ（557）内のアドレスは、シンボル（521）の形で動き補償ユニット（553）に利用可能な動きベクトルによって制御できる。該シンボルは、たとえばX、Y、および参照ピクチャー成分を有することができる。動き補償は、サンプル以下の正確な動きベクトルが使用されるときの参照ピクチャー・メモリ（557）から取ってこられるサンプル値の補間、動きベクトル予測機構などを含むことができる。
【0072】
集計器（555）の出力サンプルは、ループ・フィルタ・ユニット（556）内でさまざまなループ・フィルタリング技法にかけられることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができる。ループ内フィルタ技術は、符号化ビデオ・シーケンス（符号化されたビデオ・ビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサー（520）からのシンボル（521）としてループ・フィルタ・ユニット（556）に利用可能にされるが、符号化されたピクチャーまたは符号化されたビデオ・シーケンスの（デコード順で）前の部分のデコード中に得られたメタ情報に応答するとともに、以前に再構成されループ・フィルタリングされたサンプル値に応答することもできる。
【0073】
ループ・フィルタ・ユニット（556）の出力はサンプル・ストリームであることができ、これは、レンダー装置（512）に出力されることができ、また将来のインターピクチャー予測において使用するために参照ピクチャー・メモリ（557）に記憶されることができる。
【0074】
符号化された画像は、いったん完全に再構成されると、将来の予測のための参照ピクチャーとして使用できる。たとえば、現在ピクチャーに対応する符号化されたピクチャーが完全に再構成され、該符号化されたピクチャーが（たとえば、パーサー（520）によって）参照ピクチャーとして同定されると、現在ピクチャー・バッファ（558）は参照ピクチャーメモリ（557）の一部となることができ、後続の符号化されたピクチャーの再構成を開始する前に、新鮮な現在ピクチャー・バッファが再割当てされることができる。
【0075】
ビデオ・デコーダ（510）は、ITU-T勧告H.265のような標準における所定のビデオ圧縮技術に従ってデコード動作を実行することができる。符号化ビデオ・シーケンスはビデオ圧縮技術または標準のシンタックスおよびビデオ圧縮技術または標準において文書化されているプロファイルに従うという意味で、符号化されたビデオ・シーケンスは、使用されているビデオ圧縮技術または標準によって規定されたシンタックスに準拠することができる。具体的には、プロファイルはビデオ圧縮技術または標準において利用可能なすべてのツールから、そのプロファイルのもとでの使用のためにそれだけが利用可能なツールとして、ある種のツールを選択することができる。準拠のためにはまた、符号化ビデオ・シーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される範囲内にあることも必要であることがある。いくつかの場合には、レベルは、最大ピクチャー・サイズ、最大フレーム・レート、最大再構成サンプル・レート（たとえば、毎秒メガサンプルの単位で測られる）、最大参照ピクチャー・サイズなどを制約する。レベルによって設定された限界は、場合によっては、符号化ビデオ・シーケンスにおいて信号伝達される、HRDバッファ管理のための仮設参照デコーダ（Hypothetical Reference Decoder、HRD）仕様およびメタデータを通じてさらに制約されることができる。
【0076】
ある実施形態において、受領器（531）は、エンコードされたビデオとともに追加の（冗長な）データを受領してもよい。追加データは、符号化されたビデオ・シーケンス（単数または複数）の一部として含まれていてもよい。追加データは、データを適正にデコードするため、および／またはもとのビデオ・データをより正確に再構成するために、ビデオ・デコーダ（510）によって使用されてもよい。追加データは、たとえば、時間的、空間的、または信号対雑音比（SNR）の向上層、冗長スライス、冗長ピクチャー、前方誤り訂正符号などの形でありうる。
【0077】
図6は、本開示のある実施形態によるビデオ・エンコーダ（603）のブロック図を示している。ビデオ・エンコーダ（603）は、電子装置（620）に含まれる。電子装置（620）は、送信器（640）（たとえば、送信回路）を含む。ビデオ・エンコーダ（603）は、図4の例におけるビデオ・エンコーダ（403）の代わりに使用できる。
【0078】
ビデオ・エンコーダ（603）は、ビデオ・エンコーダ（603）によって符号化されるべきビデオ画像を捕捉することができるビデオ源（601）（これは図6の例では電子装置（620）の一部ではない）からビデオ・サンプルを受領することができる。別の例では、ビデオ源（601）は、電子装置（620）の一部である。
【0079】
ビデオ源（601）は、任意の好適なビット深さ（たとえば、8ビット、10ビット、12ビット、…）、任意の色空間（たとえば、BT.601 YCrCB、RGB、…）および任意の好適なサンプリング構造（たとえば、YCrCb 4:2:0、YCrCb 4:4:4）でありうるデジタル・ビデオ・サンプル・ストリームの形で、ビデオ・エンコーダ（603）によって符号化されるべき源ビデオ・シーケンスを提供することができる。メディア・サービス・システムにおいては、ビデオ源（601）は、事前に準備されたビデオを記憶している記憶装置であってもよい。ビデオ会議システムにおいては、ビデオ源（601）は、ローカルでの画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、シーケンスで見たときに動きを付与する複数の個々のピクチャーとして提供されてもよい。ピクチャー自体は、ピクセルの空間的アレイとして編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間などに依存して、一つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。下記の説明は、サンプルに焦点を当てる。
【0080】
ある実施形態によれば、ビデオ・エンコーダ（603）は、源ビデオ・シーケンスのピクチャーを、リアルタイムで、またはアプリケーションによって要求される任意の他の時間的制約の下で、符号化および圧縮して、符号化ビデオ・シーケンス（643）にすることができる。適切な符号化速度を施行することは、コントローラ（650）の一つの機能である。いくつかの実施形態では、コントローラ（650）は、以下に記載されるような他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。かかる結合は、明確のために描かれていない。コントローラ（650）によって設定されるパラメータは、レート制御に関連するパラメータ（ピクチャー・スキップ、量子化器、レート‐歪み最適化技法のラムダ値、…）、ピクチャー・サイズ、ピクチャーグループ（GOP）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（650）は、ある種のシステム設計のために最適化されたビデオ・エンコーダ（603）に関する他の好適な機能を有するように構成できる。
【0081】
いくつかの実施形態では、ビデオ・エンコーダ（603）は、符号化ループにおいて動作するように構成される。思い切って単純化した説明として、一例では、符号化ループは、源符号化器（630）（たとえば、符号化されるべき入力ピクチャーと参照ピクチャー（単数または複数）に基づいてシンボル・ストリームのようなシンボルを生成することを受け持つ）と、ビデオ・エンコーダ（603）に埋め込まれた（ローカル）デコーダ（633）とを含むことができる。デコーダ（633）は、（リモートの）デコーダも生成するであろうのと同様の仕方でサンプル・データを生成するよう前記シンボルを再構成する（開示される主題において考慮されるビデオ圧縮技術では、シンボルと符号化ビデオ・ビットストリームとの間のどの圧縮も無損失である）。再構成されたサンプル・ストリーム（サンプル・データ）は、参照ピクチャー・メモリ（634）に入力される。シンボル・ストリームのデコードは、デコーダ位置（ローカルかリモートか）によらずビット正確な結果をもたらすので、参照ピクチャー・メモリ（634）の内容もローカル・エンコーダとリモート・エンコーダの間でビット正確である。言い換えると、エンコーダの予測部は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャー・サンプルとして「見る」。参照ピクチャー同期性のこの基本原理（および、たとえば、チャネルエラーのために同期性が維持できない場合の結果として生じるドリフト）は、いくつかの関連技術においても使用される。
【0082】
「ローカル」デコーダ（633）の動作は、図5との関連ですでに上記で詳細に述べた「リモート」デコーダ、たとえばビデオ・デコーダ（410）の動作と同じであってよい。しかしながら、暫時図5も参照すると、シンボルが利用可能であり、エントロピー符号化器（645）およびパーサー（420）による、シンボルの符号化ビデオ・シーケンスへのエンコード／デコードが可逆でありうるので、バッファメモリ（415）およびパーサー（420）を含むビデオ・デコーダ（410）のエントロピー復号部は、ローカル・デコーダ（633）においては完全には実装されなくてもよい。
【0083】
この時点で行なうことができる観察は、デコーダ内に存在するパース／エントロピー復号を除くどのデコーダ技術も、対応するエンコーダ内で実質的に同一の機能的形態で存在する必要があることである。このため、開示される主題はデコーダ動作に焦点を当てる。エンコーダ技術の記述は、包括的に記述されるデコーダ技術の逆であるため、短縮することができる。ある種の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
【0084】
動作中、いくつかの例では、源符号化器（630）は、「参照ピクチャー」として指定された、ビデオ・シーケンスからの一つまたは複数の以前に符号化されたピクチャーを参照して、入力ピクチャーを予測的に符号化する、動き補償された予測符号化を実行することができる。このようにして、符号化エンジン（632）は、入力ピクチャーのピクセル・ブロックと、入力ピクチャーに対する予測参照として選択されうる参照ピクチャー（単数または複数）のピクセル・ブロックとの間の差分を符号化する。
【0085】
ローカル・ビデオ・デコーダ（633）は、源符号化器（630）によって生成されたシンボルに基づいて、参照ピクチャーとして指定されうるピクチャーの符号化されたビデオ・データをデコードすることができる。符号化エンジン（632）の動作は、有利には、損失のあるプロセスでありうる。符号化されたビデオ・データがビデオ・デコーダ（図6には示さず）でデコードされうるとき、再構成されたビデオ・シーケンスは、典型的には、いくつかのエラーを伴う源ビデオ・シーケンスの複製でありうる。ローカル・ビデオ・デコーダ（633）は、ビデオ・デコーダによって参照ピクチャーに対して実行されうるデコード・プロセスを複製し、再構成された参照ピクチャーを参照ピクチャー・キャッシュ（634）に格納させることができる。このようにして、ビデオ・エンコーダ（603）は、遠端のビデオ・デコーダによって得られるであろう再構成された参照ピクチャーとしての共通の内容を（伝送エラーがなければ）有する再構成された参照ピクチャーのコピーを、ローカルに記憶することができる。
【0086】
予測器（635）は、符号化エンジン（632）について予測探索を実行することができる。すなわち、符号化されるべき新しいピクチャーについて、予測器（635）は、新しいピクチャーのための適切な予測参照のはたらきをしうるサンプル・データ（候補参照ピクセル・ブロックとして）またはある種のメタデータ、たとえば参照ピクチャー動きベクトル、ブロック形状などを求めて、参照ピクチャー・メモリ（634）を探索することができる。予測器（635）は、適切な予測参照を見出すために、サンプル・ブロック／ピクセル・ブロック毎に（on a sample block-by-pixel block basis）動作しうる。場合によっては、予測器（635）によって得られた検索結果によって決定されるところにより、入力ピクチャーは、参照ピクチャー・メモリ（634）に記憶された複数の参照ピクチャーから引き出された予測参照を有することができる。
【0087】
コントローラ（650）は、たとえば、ビデオ・データをエンコードするために使用されるパラメータおよびサブグループ・パラメータの設定を含め、源符号化器（630）の符号化動作を管理してもよい。
【0088】
上記の機能ユニットすべての出力は、エントロピー符号化器（645）におけるエントロピー符号化を受けることができる。エントロピー符号化器（645）は、ハフマン符号化、可変長符号化、算術符号化などといった技術に従ってシンボルを無損失圧縮することによって、さまざまな機能ユニットによって生成されたシンボルを符号化ビデオ・シーケンスに変換する。
【0089】
送信器（640）は、エントロピー符号化器（645）によって生成される符号化ビデオ・シーケンスをバッファに入れて、通信チャネル（660）を介した送信のために準備することができる。通信チャネル（660）は、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア／ソフトウェア・リンクであってもよい。送信器（640）は、ビデオ符号化器（630）からの符号化されたビデオ・データを、送信されるべき他のデータ、たとえば符号化されたオーディオ・データおよび／または補助データ・ストリーム（源は図示せず）とマージすることができる。
【0090】
コントローラ（650）は、ビデオ・エンコーダ（603）の動作を管理してもよい。符号化の間、コントローラ（650）は、それぞれの符号化されたピクチャーに、ある符号化ピクチャー・タイプを割り当てることができる。符号化ピクチャー・タイプは、それぞれのピクチャーに適用されうる符号化技術に影響しうる。たとえば、ピクチャーはしばしば、以下のピクチャー・タイプのうちの1つとして割り当てられることがある。
【0091】
イントラピクチャー（Iピクチャー）は、予測の源としてシーケンス内の他のピクチャーを使用せずに、符号化され、デコードされうるものでありうる。いくつかのビデオ・コーデックは、たとえば、独立デコーダ・リフレッシュ（Independent Decoder Refresh、「IDR」）・ピクチャーを含む、異なるタイプのイントラ・ピクチャーを許容する。当業者は、Iピクチャーのこれらの変形、ならびにそれらのそれぞれの用途および特徴を認識する。
【0092】
予測ピクチャー（Pピクチャー）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。
【0093】
双方向予測ピクチャー（Bピクチャー）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。同様に、マルチ予測ピクチャーは、単一のブロックの再構成のために、3つ以上の参照ピクチャーおよび関連するメタデータを使用することができる。
【0094】
源ピクチャーは、普通、空間的に複数のサンプル・ブロック（たとえば、それぞれ4×4、8×8、4×8、または16×16サンプルのブロック）に分割され、ブロック毎に符号化されうる。ブロックは、ブロックのそれぞれのピクチャーに適用される符号化割り当てによって決定されるところにより、他の（すでに符号化された）ブロックを参照して予測的に符号化されうる。たとえば、Iピクチャーのブロックは、非予測的に符号化されてもよく、または、同じピクチャーのすでに符号化されたブロックを参照して予測的に符号化されてもよい（空間的予測またはイントラ予測）。Pピクチャーのピクセル・ブロックは、以前に符号化された一つの参照ピクチャーを参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。Bピクチャーのブロックは、1つまたは2つの以前に符号化された参照ピクチャーを参照して、空間的予測を介して、または時間的予測を介して予測的に符号化されてもよい。
【0095】
ビデオ・エンコーダ（603）は、ITU-T勧告H.265などの所定のビデオ符号化技術または標準に従って符号化動作を実行することができる。その動作において、ビデオ・エンコーダ（603）は、入力ビデオ・シーケンスにおける時間的および空間的冗長性を活用する予測符号化動作を含む、さまざまな圧縮動作を実行することができる。よって、符号化されたビデオ・データは、使用されるビデオ符号化技術または標準によって指定されるシンタックスに準拠しうる。
【0096】
ある実施形態において、送信器（640）は、エンコードされたビデオと一緒に追加データを送信してもよい。源符号化器（630）は、符号化ビデオ・シーケンスの一部としてそのようなデータを含めてもよい。追加データは、時間的／空間的／SNR向上層、冗長ピクチャーおよびスライスのような他の形の冗長データ、SEIメッセージ、VUIパラメータ・セット・フラグメントなどを含んでいてもよい。
【0097】
ビデオは、時間的シーケンスにおいて複数の源ピクチャー（ビデオ・ピクチャー）として捕捉されてもよい。ピクチャー内予測（しばしば、イントラ予測と略される）は、所与のピクチャーにおける空間的相関を利用し、ピクチャー間予測は、ピクチャー間の（時間的または他の）相関を利用する。一例では、現在ピクチャーと呼ばれるエンコード／デコード対象の特定のピクチャーは、ブロックに分割される。現在ピクチャー内のブロックが、ビデオにおける、前に符号化され、かつ、まだバッファに入れられている参照ピクチャー内の参照ブロックに類似する場合、現在ピクチャー内のそのブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照ピクチャー内の参照ブロックをポイントし、複数の参照ピクチャーが使用される場合には、参照ピクチャーを同定する第3の次元を有することができる。
【0098】
いくつかの実施形態において、ピクチャー間予測において双予測技術が使用できる。双予測技術によれば、いずれもビデオにおいて現在ピクチャーよりデコード順で先行する（ただし、表示順では、それぞれ過去および将来であってもよい）第1の参照ピクチャーおよび第2の参照ピクチャーのような2つの参照ピクチャーが使用される。現在ピクチャー内のブロックは、第1の参照ピクチャー内の第1の参照ブロックをポイントする第1 動きベクトルと、第2の参照ピクチャー内の第2の参照ブロックをポイントする第2 動きベクトルとによって符号化できる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測できる。
【0099】
さらに、符号化効率を改善するために、ピクチャー間予測においてマージ・モード技法が使用できる。
【0100】
本開示のいくつかの実施形態によれば、ピクチャー間予測およびピクチャー内予測などの予測は、ブロックの単位で実行される。たとえば、HEVC規格によれば、ビデオ・ピクチャーのシーケンスにおけるピクチャーは、圧縮のために符号化ツリー単位（CTU）に分割され、ピクチャーにおけるそれらのCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルーマCTBおよび2つのクロマCTBである3つの符号化ツリーブロック（CTB）を含む。各CTUは、再帰的に、一つまたは複数の符号化単位（CU）に四分木分割されていくことができる。たとえば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、または32×32ピクセルの4つのCU、または16×16ピクセルの16個のCUに分割されることができる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプのような、そのCUについての予測タイプを決定するために解析される。CUは時間的および／または空間的予測可能性に依存して、一つまたは複数の予測単位（PU）に分割される。一般に、各PUはルーマ予測ブロック（PB）および2つのクロマPBを含む。ある実施形態では、符号化（エンコード／デコード）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなど、ピクセルについての値（たとえば、ルーマ値）の行列を含む。
【0101】
図7は、本開示の別の実施形態によるビデオ・エンコーダ（703）の図を示す。ビデオ・エンコーダ（703）は、ビデオ・ピクチャーのシーケンス内の現在ビデオ・ピクチャー内のサンプル値の処理ブロック（たとえば、予測ブロック）を受領し、処理ブロックを、符号化ビデオ・シーケンスの一部である符号化されたピクチャーにエンコードするように構成される。一例では、ビデオ・エンコーダ（703）は、図4の例におけるビデオ・エンコーダ（403）の代わりに使用される。
【0102】
HEVCの例では、ビデオ・エンコーダ（703）は、8×8サンプルなどの予測ブロックのような処理ブロックについてサンプル値の行列を受領する。ビデオ・エンコーダ（703）は、処理ブロックが、イントラモード、インター・モード、または双予測モードのどれを使用して、最もよく符号化されるかを、たとえばレート‐歪み最適化を使用して、判別する。処理ブロックがイントラモードで符号化される場合、ビデオ・エンコーダ（703）は、処理ブロックを符号化されたピクチャーにエンコードするためにイントラ予測技法を使用してもよく；処理ブロックがインター・モードまたは双予測モードで符号化される場合、ビデオ・エンコーダ（703）は、処理ブロックを符号化されたピクチャーにエンコードするために、それぞれ、インター予測技法または双予測技法を使用してもよい。ある種のビデオ符号化技術では、マージモード（merge mode）は、動きベクトルが一つまたは複数の動きベクトル予測子から導出されるが前記予測子の外の符号化された動きベクトル成分の利益のない、ピクチャー間予測サブモードでありうる。ある種の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオ・エンコーダ（703）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。
【0103】
図7の例では、ビデオ・エンコーダ（703）は、インター・エンコーダ（730）、イントラ・エンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、全般コントローラ（721）、およびエントロピー符号化器（725）を、図7に示されるように一緒に結合されて含む。
【0104】
インター・エンコーダ（730）は、現在ブロック（たとえば、処理ブロック）のサンプルを受領し、該ブロックを参照ピクチャー内の一つまたは複数の参照ブロック（たとえば、以前のピクチャーおよび後のピクチャー内のブロック）と比較し、インター予測情報（たとえば、インター・エンコード技術による冗長情報の記述、動きベクトル、マージ・モード情報）を生成し、該インター予測情報に基づいて、任意の好適な技法を使用してインター予測結果（たとえば、予測されたブロック）を計算するように構成される。いくつかの例では、前記参照ピクチャーは、エンコードされたビデオ情報に基づいてデコードされた、デコードされた参照ピクチャーである。
【0105】
イントラ・エンコーダ（722）は、現在ブロック（たとえば、処理ブロック）のサンプルを受領し、場合によっては、該ブロックを、同じピクチャー内ですでに符号化されているブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（たとえば、一つまたは複数のイントラ・エンコード技法によるイントラ予測方向情報）も生成するように構成される。一例では、イントラ・エンコーダ（722）はまた、該イントラ予測情報および同じピクチャー内の参照ブロックに基づいて、イントラ予測結果（たとえば、予測されたブロック）を計算する。
【0106】
全般コントローラ（721）は、全般制御データを決定し、全般制御データに基づいてビデオ・エンコーダ（703）の他のコンポーネントを制御するように構成される。一例では、全般コントローラ（721）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（726）に提供する。たとえば、モードがイントラモードである場合、全般コントローラ（721）は、残差計算器（723）による使用のためにイントラモードの結果を選択するようスイッチ（726）を制御し、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピー・エンコーダ（725）を制御する；モードがインター・モードである場合、全般コントローラ（721）は、残差計算器（723）による使用のためにインター予測の結果を選択するようスイッチ（726）を制御し、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピー・エンコーダ（725）を制御する。
【0107】
残差計算器（723）は、受領されたブロックと、イントラ・エンコーダ（722）またはインター・エンコーダ（730）から選択された予測結果との差（残差データ）を計算するように構成される。残差エンコーダ（724）は、残差データに基づいて、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化処理にかけられ、量子化された変換係数を得る。さまざまな実施形態において、ビデオ・エンコーダ（703）は、残差デコーダ（728）をも含む。残差デコーダ（728）は、逆変換を実行して、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラ・エンコーダ（722）およびインター・エンコーダ（730）によって好適に使用されることができる。たとえば、インター・エンコーダ（730）は、デコードされた残差データおよびインター予測情報に基づいて、デコードされたブロックを生成することができ、イントラ・エンコーダ（722）は、デコードされた残差データおよびイントラ予測情報に基づいて、デコードされたブロックを生成することができる。デコードされたブロックは、デコードされたピクチャーを生成するために好適に処理され、デコードされたピクチャーは、メモリ回路（図示せず）内でバッファリングされ、いくつかの例では参照ピクチャーとして使用されることができる。
【0108】
エントロピー・エンコーダ（725）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ（725）は、HEVC規格のような好適な標準に従ってさまざまな情報を含めるように構成される。一例では、エントロピー・エンコーダ（725）は、全般制御データ、選択された予測情報（たとえば、イントラ予測情報またはインター予測情報）、残差情報、および他の好適な情報をビットストリーム内に含めるように構成される。開示される主題によれば、インター・モードまたは双予測モードのいずれかのマージ・サブモードにおいてブロックを符号化する場合は、残差情報は存在しないことを注意しておく。
【0109】
図8は、本開示の別の実施形態によるビデオ・デコーダ（810）の図を示す。ビデオ・デコーダ（810）は、符号化されたビデオ・シーケンスの一部である符号化されたピクチャーを受領し、符号化されたピクチャーをデコードして、再構成されたピクチャーを生成するように構成される。一例では、ビデオ・デコーダ（810）は、図4の例におけるビデオ・デコーダ（410）の代わりに使用される。
【0110】
図8の例では、ビデオ・デコーダ（810）は、エントロピー・デコーダ（871）、インター・デコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラ・デコーダ（872）が図8に示されるように一緒に結合されたものを含む。
【0111】
エントロピー・デコーダ（871）は、符号化されたピクチャーから、その符号化されたピクチャーが構成されるシンタックス要素を表わすある種のシンボルを再構成するように構成されることができる。そのようなシンボルは、たとえば、ブロックが符号化されるモード（たとえば、イントラモード、インター・モード、双予測モード、マージ・サブモードまたは別のサブモードにおける後者の2つ）、イントラ・デコーダ（872）またはインター・デコーダ（880）によってそれぞれ予測のために使用されるある種のサンプルまたはメタデータを同定することができる予測情報（たとえば、イントラ予測情報またはインター予測情報など）、たとえば量子化された変換係数の形の残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードである場合、インター予測情報がインター・デコーダ（880）に提供され；予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ（872）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（873）に提供される。
【0112】
インター・デコーダ（880）は、インター予測情報を受領し、該インター予測情報に基づいてインター予測結果を生成するように構成される。
【0113】
イントラ・デコーダ（872）は、イントラ予測情報を受領し、該イントラ予測情報に基づいて予測結果を生成するように構成される。
【0114】
残差デコーダ（873）は、逆量子化を実行して量子化解除された変換係数を抽出し、量子化解除された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（873）はまた、ある種の制御情報（量子化器パラメータ（QP）を含む）をも必要とすることがあり、その情報は、エントロピー・デコーダ（871）によって提供されてもよい（これは、低ボリュームの制御情報のみであるため、データ経路は描かれていない）。
【0115】
再構成モジュール（874）は、空間領域において、残差デコーダ（873）によって出力される残差と、予測結果（場合に応じてイントラまたはインター予測モジュールによって出力される）とを組み合わせて、再構成されたブロックを形成するように構成され、該再構成されたブロックは再構成されたピクチャーの一部であってもよく、該再構成されたピクチャーは再構成されたビデオの一部であってもよい。視覚的品質を改善するためにブロッキング解除動作などの他の好適な動作が実行されることができることを注意しておく。
【0116】
なお、ビデオ・エンコーダ（403）、（603）、（703）、およびビデオ・デコーダ（410）、（510）、（810）は、任意の好適な技法を用いて実装できる。ある実施形態では、ビデオ・エンコーダ（403）、（603）、（703）およびビデオ・デコーダ（410）、（510）、（810）は、一つまたは複数の集積回路を使用して実装できる。別の実施形態では、ビデオ・エンコーダ（403）、（603）、（603）、およびビデオ・デコーダ（410）、（510）、（810）は、ソフトウェア命令を実行する一つまたは複数のプロセッサを使用して実装できる。
【0117】
本開示は、イントラブロックコピーのある幾何学的パーティション・モード（GPM）、たとえばIBCのBV情報の信号伝達、処理、および記憶、ならびにIBCでのGPMのBVマージ候補リストの扱いなどに関する実施形態を含む。
【0118】
ITU-T VCEG（Q6/16）およびISO/IEC MPEG（JTC 1/SC29/WG11）は、2013年（バージョン1）、2014年（バージョン2）、2015年（バージョン3）、2016年（バージョン4）にH.265/HEVC（High Efficiency Video Coding［高効率ビデオ符号化］）規格を公表した。2015年には、両標準機関が合同でJVET（Joint Video Exploration Team［合同ビデオ探査チーム］）を結成し、HEVCを越えた次のビデオ符号化規格の開発の可能性を探った。2017年10月、両標準機関は、HEVCを超える能力をもつビデオ圧縮に関する合同での提案募集（Joint Call for Proposals on Video Compression with Capability beyond HEVC）（CfP）を発表した。2018年2月15日までに、標準ダイナミックレンジ（SDR）に関する22のCfP応答、高ダイナミックレンジ（HDR）に関する12のCfP応答、および360のビデオ・カテゴリーに関する12のCfP応答がそれぞれ提出された。2018年4月には、122 MPEG/第10回JVET会合において、すべての受領されたCfP応答が評価された。この会合の結果、JVETは、HEVCを超えた次世代ビデオ符号化の標準化プロセスを正式に立ち上げ、この新しい規格は多用途ビデオ符号化（Versatile Video Coding、VVC）と名付けられ、JVETは合同ビデオ専門アチーム（Joint Video Experts Team）と改称された。2020年、ITU-T VCEG（Q6/16）およびISO/IEC MPEG（JTC1/SC29/WG11）は、VVCビデオ符号化規格（バージョン1）を公表した。
【0119】
インター予測では、各インター予測された符号化単位（CU）について、たとえばインター予測されたサンプル生成のために使用されるVVCの符号化特徴のために、動きパラメータが必要とされる。動きパラメータは、動きベクトル、参照ピクチャー・インデックス、参照ピクチャー・リスト使用インデックス、および／または追加情報を含むことができる。動きパラメータは、明示的または暗黙的に信号伝達できる。CUがスキップ・モードで符号化される場合、CUは1つのPUと関連付けられることができ、有意な残差係数、符号化された動きベクトル・デルタ、および／または参照ピクチャー・インデックスは必要とされないことがある。CUがマージ・モードで符号化される場合、CUのための動きパラメータは近傍CUから得ることができる。近傍CUは、空間的および時間的候補、およびVVCにおいて導入されるような追加的スケジュール（または追加的候補）を含むことができる。マージ・モードは、スキップ・モードだけでなく、任意のインター予測されるCUに適用できる。マージ・モードの代替は、動きパラメータの明示的な伝送であり、ここで、動きベクトル、各参照ピクチャー・リストについての対応する参照ピクチャー・インデックス、参照ピクチャー・リスト使用フラグ、および／または他の必要とされる情報が、CUごとに明示的に信号伝達されることができる。
【0120】
VVCでは、VVC試験モデル（VVC Test model、VTM）参照ソフトウェアは、以下のうちの一つまたは複数を含むことができる、いくつかの新しい洗練されたインター予測符号化ツールを含むことができる：
（1）拡張マージ予測
（2）マージ動きベクトル差分（Merge motion vector difference、MMVD）
（3）対称MVD信号伝達を用いるAMVPモード
（4）アフィン動き補償予測
（5）サブブロック・ベースの時間的動きベクトル予測（Subblock-based temporal motion vector prediction、SbTMVP）
（6）適応動きベクトル分解能（Adaptive motion vector resolution、AMVR）
（7）動きフィールド・ストレージ：1/16ルーマ・サンプルMV記憶および8×8動きフィールド圧縮
（8）CUレベルの重みを用いた双予測（Bi-prediction with CU-level weights、BCW）
（9）双方向オプティカルフロー（Bi-directional optical flow、BDOF）
（10）デコーダ側動きベクトル洗練（Decoder side motion vector refinement、DMVR）
（11）複合インター・イントラ予測（Combined inter and intra prediction、CIIP）
（12）幾何学的パーティション分割モード（Geometric partitioning mode、GPM）
（1）拡張マージ予測
（2）マージ動きベクトル差分（Merge motion vector difference、MMVD）
（3）対称MVD信号伝達を用いるAMVPモード
（4）アフィン動き補償予測
（5）サブブロック・ベースの時間的動きベクトル予測（Subblock-based temporal motion vector prediction、SbTMVP）
（6）適応動きベクトル分解能（Adaptive motion vector resolution、AMVR）
（7）動きフィールド・ストレージ：1/16ルーマ・サンプルMV記憶および8×8動きフィールド圧縮
（8）CUレベルの重みを用いた双予測（Bi-prediction with CU-level weights、BCW）
（9）双方向オプティカルフロー（Bi-directional optical flow、BDOF）
（10）デコーダ側動きベクトル洗練（Decoder side motion vector refinement、DMVR）
（11）複合インター・イントラ予測（Combined inter and intra prediction、CIIP）
（12）幾何学的パーティション分割モード（Geometric partitioning mode、GPM）
【0121】
マージ候補リストは、VTM4でのように5つのタイプの候補を含めることによって構築できる。マージ候補リストは次の順序で構築できる：
1）空間的近傍CUからの空間的MVP、
2）共位置のCUからの時間的MVP、
3）FIFOテーブルからの履歴ベースのMVP、
4）対ごとの平均MVP、
5）ゼロMV。
1）空間的近傍CUからの空間的MVP、
2）共位置のCUからの時間的MVP、
3）FIFOテーブルからの履歴ベースのMVP、
4）対ごとの平均MVP、
5）ゼロMV。
【0122】
マージ・リストのサイズは、スライス・ヘッダで信号伝達できる。マージ・リストの最大許容サイズは、VTM4でのように、6にすることができる。マージ・モードで符号化される各CUについて、最良のマージ候補のインデックスが、たとえば打ち切りされた単項二進化（truncated unary binarization）を用いてエンコードできる。マージ・インデックスの第1のビンはコンテキストを用いて符号化でき、他のビンについてはバイパス符号化が使用できる。
【0123】
空間的候補導出において、たとえばVVCでは、空間的マージ候補の導出は、HEVCにおける空間的マージ候補の導出と同じまたは同様でありうる。マージ候補の最大数（たとえば、4つのマージ候補）は、たとえば図9に示される位置に位置する候補のうちから選択できる。図9に示されるように、現在ブロック（901）は、位置A0、A1、B0、B1、およびB2にそれぞれ位置する近傍ブロック（902）～（906）を含むことができる。空間的マージ候補の導出の順序は、B1、A1、B0、A0、およびB2とすることができる。位置B2は、位置A0、B0、B1、またはA1のいずれかのCU（またはブロック）が利用可能でない場合（たとえば、そのCUが別のスライスまたはタイルに属するため）、またはイントラ符号化されている場合にのみ考慮されうる。位置A1の候補（またはブロック）が追加された後、残りの候補（またはブロック）の追加は、冗長性検査を受けることができる。冗長性検査は、符号化効率が改善されるように、同じ動き情報をもつ候補がマージ・リストから除外されることを保証することができる。計算複雑性を低減するために、冗長性検査はすべての可能な候補対を考慮しなくてもよい。代わりに、図10における矢印で結ばれた候補対のみが考慮されてもよい。たとえば、冗長性検査は、A1とB1の候補対およびA1とA0の候補対のような5つの候補対に適用できる。マージ・リストに候補が追加されうるのは、冗長性検査のために使用される対応する候補が同じ動き情報を含まない場合のみである。たとえば、候補B0は、対応する候補B1が同じ動き情報を含まない場合にのみ、マージ・リストに追加されうる。
【0124】
時間的候補の導出では、1つの候補だけがマージ・リストに追加されうる。たとえば、図11に示されるように、現在CU（1114）についての時間的マージ候補の導出において、共位置の参照ピクチャー（1112）に属する共位置のCU（1104）に基づいて、スケーリングされた動きベクトルが導出されうる。共位置のCU（1104）の導出のために使用される参照ピクチャー・リストは、スライス・ヘッダにおいて明示的に信号伝達されることができる。時間的マージ候補のためのスケーリングされた動きベクトルは、図11の点線（1102）によって示されるように得ることができ、それは、ピクチャー順カウント（POC）距離tbおよびtdを用いて、共位置のCU（1104）の動きベクトルからスケーリングされる。tbは、現在ピクチャーの参照ピクチャー（たとえば、Curr_ref）（1106）と現在ピクチャー（たとえば、Curr_pic）（1108）との間のPOC差として定義できる。tdは、共位置のピクチャー（たとえば、Col_ref）（1110）と共位置のピクチャー（たとえば、Col_pic）（1112）との間のPOC差として定義できる。時間的マージ候補の参照ピクチャー・インデックスはゼロに設定できる。
【0125】
時間的候補についての位置は、図12に示されるように、候補C0およびC1の間で選択できる。たとえば、位置C0におけるCUが利用可能でない、イントラ符号化されている、または現在のCTU行の外にある場合、位置C1が使用できる。それ以外の場合、位置C0が時間的マージ候補の導出において使用できる。
【0126】
インター予測のためにGPMを適用することができる。GPMは、ある種のサイズのCU、たとえば8×8のサイズまたは8×8より大きいサイズをもつCUにのみ適用されうる。GPMは、たとえばCUレベルのフラグを使用して信号伝達されることができ、マージ・モードの一種として作用することができる。他のマージ・モードは、通常マージ・モード、MMVDモード、CIIPモード、および／またはサブブロック・マージ・モードを含むことができる。
【0127】
GPMが使用される場合、複数のパーティション態様の1つを使用することにより、CUを2つの幾何学的形状のパーティションに分割することができる。分割態様は、角度および／またはエッジによって区別できる。ある実施形態では、64個の異なる分割態様がGPMにおいて適用できる。64個の異なる分割態様は、0°から360°までの間の非一様量子化された24個の角度と、CUの中心に対する4つまでのエッジとによって区別できる。図13は、GPMにおいて適用される24個の例示的な角度を示す。図14は、CU（1402）内のインデックス3をもつ角度に関連付けられる4つの例示的な可能なパーティション・エッジを示し、各パーティション・エッジは、それぞれの距離インデックスに関連付けられることができる。距離インデックスは、CU（1402）の中心に対する距離を示すことができる。GPMでは、CU内の各幾何学的パーティションは、それぞれの動きベクトルを用いてインター予測されることができる。さらに、各パーティションについては、単予測のみが許される場合がある。たとえば、各パーティションは、1つの動きベクトルと1つの参照インデックスを有することができる。各パーティションについて単予測動きのみが許されるという制約は、各CUについて2つの動き補償された予測が必要とされるだけであることを保証することができ、それは従来の双予測にも適用される。
【0128】
現在CUについてGPMが使用される場合、幾何学的パーティション・インデックスを示す信号と、2つのマージ・インデックス（各パーティションについて1つ）がさらに信号伝達されることができる。最大GPM候補サイズは、たとえばスライス・レベルで明示的に、信号伝達されることができる。最大GPM候補サイズは、GPMマージ・インデックスについての構文二進化を指定できる。2つの幾何学的パーティションのそれぞれが予測された後、幾何学的パーティション・エッジに沿ったサンプル値は、適応重みを用いるブレンド・プロセスを用いて調整されることができる。よって、ブレンド・プロセス後にCU全体についての予測信号が生成できる。他の予測モードではCU全体にさらに変換および量子化プロセスが適用されることができる。さらに、GPMを用いて予測されたCUの動きフィールドが記憶されることができる。
【0129】
IBCの実装コストは、現在ピクチャーのすでに再構成されている領域全体について、高い可能性がある。たとえば、HEVCにおけるIBC概念の欠点は、デコードピクチャーバター（DPB）中の追加メモリの必要性である。よって、IBCのハードウェア実装においては通常、外部メモリが使用される。追加的な外部メモリ・アクセスは、メモリ帯域幅の増大を伴うことがある。
【0130】
ある種の実装では、実装コストを削減することが必要である場合がある。たとえば、VVCは、オンチップ・メモリを使用して、メモリ帯域幅要件およびハードウェア複雑性を著しく減少させることによって、IBCを実現することができる固定メモリを使用することができる。さらに、IBCのブロック・ベクトル（BV）符号化は、インター予測のためのマージ・リストの概念を用いることができる。IBCリスト構築プロセスは、2つの空間的近傍のBVと5つの履歴ベースのBV（history-based BV、HBVP）を考慮することができる。ここで、第1のHBVPが候補リスト（またはIBCリスト）に追加されるときは、第1のHBVPのみが空間的候補（たとえば、2つの空間的候補のBV）と比較されうる。
【0131】
VVCでのように圧縮効率をさらに改善するために、デコーダ側で動きを洗練するテンプレート・マッチング（TM）を利用することができる。TMモードでは、左および上の近傍の再構成されたサンプルからテンプレートを構築することによって動きが洗練され、現在ピクチャーにおけるテンプレートと参照フレームとの間の最も近い一致を決定することができる。
【0132】
TMは、GPMに適用できる。CUがGPMで符号化されるとき、TMが幾何学的パーティションのための各動きを洗練するために適用されるかどうかを決定することができる。TMが選択されるとき、左および上の近傍サンプルを用いてテンプレートが構築でき、現在のテンプレートと、参照フレーム内の同じテンプレート・パターンをもつ参照領域との間の最良一致を見出すことによって、動きをさらに洗練することができる。洗練された動きは、幾何学的パーティションについての動き補償を実行するために使用されることができ、さらに動きフィールドに記憶されることができる。
【0133】
GPMは、VVCを越えて符号化性能を向上させるために、インターおよびイントラ予測をサポートするように適用できる。たとえば、GPM適用されたCU内の各幾何学的パーティションについてのマージ候補リストからの動きベクトルに加えて、幾何学的分割線に対する（または関する）あらかじめ定義されたイントラ予測モードが選択できる。各幾何学的パーティションについて、フラグに基づいて、イントラ予測モードまたはインター予測モードが決定されることができる。インター予測が選択されると、マージ候補リストからMVによって単予測信号が生成されることができる。そうではなく、イントラ予測モードが選択される場合は、イントラ予測モードの指定されたインデックスから予測される近傍サンプルから、単予測信号が生成されることができる。可能なイントラ予測モードの変動は、幾何学的形状によって制約されることができる。最後に、2つの単予測信号が通常のGPMと同様にブレンドされることができる。
【0134】
複雑さと信号伝達オーバーヘッドを低減するために、可能なイントラ予測モードの変動を調べる（または定義する）ことができる。たとえば、可能なイントラ予測モードの変動が、インターおよびイントラ予測のあるGPMに及ぼす影響を、2つの例示的な構成について調べた。第1の構成は、幾何学的分割線に対して（または関して）平行なおよび垂直な方向のモードのみを試した。幾何学的分割線に対して（または関して）平行なおよび垂直なイントラ角度モードに加えて、第2の構成では、平面（Planar）モードも試された。2つまたは3つの可能なイントラ予測モードが、インターおよびイントラ予測のあるGPMにおける幾何学的パーティションについて試された。
【0135】
VVCでは、パーティション精度を向上させるために、双予測インター・モードでのCUについて、インターおよびインター予測のあるGPMが適用されることができ、これは、VVCを超える次世代のビデオ規格のためのインターおよびイントラ予測を組み合わせるために拡張されることもできる。しかしながら、パーティション精度は、インター予測モードおよびイントラ予測モードについてのみ、使用されてもよい。IBCについては、パーティション分割の精度を高めるために、幾何学的パーティション・スキームが適用されなくてもよい。
【0136】
本開示では、GPMは、異なる予測ブロックと組み合わされることができる。たとえば、GPMは3つの異なる予測ブロックと組み合わされることができる。3つの異なる予測ブロックは、それぞれIBC、インター予測モード、およびイントラ予測モードを使用して生成できる。よって、GPMの各幾何学的パーティションは、3つの異なる予測ブロックの1つに基づいて予測されることができる。
【0137】
ある実施形態では、GPMモードは、異なる予測ブロック（または予測タイプ）と組み合わされることができる。たとえば、GPMは、GPMの2つの幾何学的パーティションについての3つの異なる予測ブロックと組み合されることができる。2つの幾何学的パーティションのそれぞれは、次の3つの予測タイプのうちの1つによって予測できる：1）IBCブロックのBVを用いたIBCブロック、2）インター予測を使用することによる動き補償ブロック、および3）イントラ予測モードを使用することによる近傍サンプル。各幾何学的パーティションは、イントラ予測が使用されるか否かを示すために、それぞれのフラグ（たとえば、イントラ・フラグ）を有することができる。該フラグ（たとえば、イントラ・フラグ）がある幾何学的パーティションについて真である場合、幾何学的パーティションを予測するためにどのイントラ予測モードが使用されるべきかを示すために、イントラ予測モードがさらに信号伝達されうる。そうでない場合（たとえば、イントラ・フラグが偽）、IBCが使用されるか否かを示すために、IBCフラグが信号伝達されることができる。IBCがその幾何学的パーティションについて使用される場合、IBCのBV情報が信号伝達されることができ、結果として、イントラコピーされたブロックを生成する。イントラコピーされたブロックは、幾何学的パーティションを予測するために適用されることができる。そうでない場合（たとえば、イントラ・フラグとIBCフラグの両方が偽）、GPMのインター予測動作が生成されることができる。よって、幾何学的パーティションは、インター予測を使用することにより、動き補償ブロックに基づいて予測されることができる。GPMの柔軟性のため、イントラ符号化フレームにおける3つの異なる構成（たとえば、イントラ‐IBC、イントラ‐イントラ、およびIBC‐IBC）およびインター符号化フレームにおける9つの異なる構成（たとえば、インター‐IBC、IBC‐IBC、インター‐インター、イントラ‐イントラ、およびイントラ‐IBC）が適用できる。
【0138】
ある実施形態では、GPMモードは、2つの予測タイプと組み合わされることができる。たとえば、GPMモードは、イントラ予測モードおよびIBCの予測子と組み合わされることができる。一例では、GMPの第1の幾何学的パーティションについて、イントラ予測モードが使用されているか否かを示すために、イントラ予測フラグが信号伝達されることができる。第1のパーティションについてのイントラ予測フラグが真である場合、第2の幾何学的パーティションについてのイントラ予測フラグは偽として推測できる。一例では、両方の幾何学的パーティションについてのイントラ予測フラグがデフォルトで偽として設定されることができる。各幾何学的パーティションについて、イントラ予測モードが幾何学的パーティションのそれぞれについて偽である場合、IBCのBV情報が信号伝達されることができ、結果として、幾何学的パーティションのそれぞれについてイントラコピーされたブロックが生成される。そうではなく、イントラ予測フラグが真である場合、どのイントラ予測モードがイントラ予測プロセスのために使用できるかを示すために、イントラ予測モードが信号伝達されることができ、幾何学的パーティションのそれぞれが信号伝達されたイントラ予測モードによって予測されることができる。
【0139】
ある実施形態では、GPMモードは、インター予測モードおよびIBCの予測子と組み合わされることができる。GPMの幾何学的パーティションのそれぞれについて、まず、IBCが幾何学的パーティションのそれぞれについて使用されるか否かを示すためにIBCフラグが信号伝達されることができる。IBCフラグが真である場合、IBCのBV情報が信号伝達されることができ、結果として、幾何学的パーティションのそれぞれについて、イントラコピーされたブロックが生成される。そうでなく、IBCフラグが偽である場合、幾何学的パーティションのそれぞれについてインター予測プロセスが適用できる。
【0140】
いくつかの実施形態では、2つのパーティションがどちらも、IBCのような同じ予測タイプで予測される場合、それら2つのパーティションの境界に沿ってブレンドは使用されなくてもよい。たとえば、GPMの第1のパーティションと第2のパーティションの間の境界に沿ったサンプルはブレンドされなくてもよい。
【0141】
GPMモードは、IBCマージ（またはIBCのマージモード）を用いて埋め込まれることができ、これは、VVC GPMモードが、インター予測のマージ・モードを用いて埋め込まれる実施形態と同様でありうる。一例では、イントラ・スライス（またはイントラ予測によって予測されるスライス）では、IBCとイントラの組み合わせは、IBCマージのあるGPMにおいて許容されることができる。よって、GPMの第1のパーティションはIBC予測されることができ、GPMの第2のパーティションはイントラ予測されることができる。別の例では、インター・スライス（またはインター予測によって予測されるスライス）では、イントラ・パーティションがIBCマージのあるGPMのどのパーティションでも許容されない場合、IBCとインターの組み合わせが許容されることができる。
【0142】
本開示において、IBCのあるGPMによって符号化されるCUの予測モードは、指定されたモードに設定（または決定）されうる。モードは、IBCモード、INTERモード、およびINTER_IBCモードを含むことができる。IBCモード、INTERモード、およびINTER_IBCモードのそれぞれは、IBC、イントラ予測、およびインター予測のいずれかまたは組み合わせを含むことができる。
【0143】
ある実施形態では、イントラ・スライスにおけるIBCおよびイントラのあるGPMの予測モードは、IBCモード（たとえばMODE_IBC）として設定されることができる。IBCモード（たとえばMODE_IBC）は、GPMの幾何学的パーティションについてのIBC‐IBCおよびIBC‐イントラを含むことができる。イントラフラグ（たとえばintra_flag）が幾何学的パーティションについて真である場合、イントラ予測がその幾何学的パーティションに適用できる。そうでない場合（たとえば、イントラフラグが偽）、IBCがその幾何学的パーティションに適用できる。
【0144】
インター・スライスにおけるIBCおよびインターのあるGPMの予測モードは、INTERモード（たとえばMODE_INTER）として設定されることができる。INTERモードは、IBC‐IBCおよびIBC‐インターを含むことができる。インター・フラグ（たとえばinter_flag）がある幾何学的パーティションについて真である場合、インター予測がその幾何学的パーティションに適用できる。そうでない場合（たとえば、インター・フラグが偽）、IBCがその幾何学的パーティションに適用できる。
【0145】
一例では、参照インデックス（または参照フレーム・インデックス）を－1として有するGPMのBV情報が、（i）近傍ブロックがINTERモードによって予測されるかどうか、および（ii）参照フレーム・インデックスが－1であるかどうかをチェックすることによって、IBCマージ・リストの近傍ブロックの近傍情報を区別するために使用できる。
【0146】
インター・スライスにおけるIBCおよびインターのあるGPMの予測モードは、INTER_IBCモード（たとえばMODE_INTER_IBC）として設定できる。INTER_IBCモード（たとえばMODE_INTER_IBC）は、MVまたはBV情報がそれぞれ通常のインター・マージ・リストまたはIBCマージ・リストについての予測子として使用できることを示すことができる。
【0147】
ブロックは、複数の予測モードをもつことがある。それら複数の予測モードに関連する予測ビットが、現在CUの予測モードとして組み合わされることができる。たとえば、インター、イントラ、およびIBCにそれぞれ関連する3つの予測ビットが、現在CUの予測モードとして組み合わされることができる。インター予測ブロック（またはインター予測によって予測されるブロック）については、インターについての予測ビットのみが真であることができる。同様に、イントラ予測モード（またはイントラ予測によって予測されるブロック）についてはイントラについての予測ビットのみが真であることができ、IBCブロック（またはIBCによって予測されるブロック）についてはIBCについての予測ビットのみが真であることができる。現在CUがIBCおよびインターのあるGPMとしてマークされている場合、インターおよびIBCについての予測ビットが両方とも真として設定されることができる。現在CUがIBCおよびイントラのあるGPMとしてマークされている場合、イントラおよびIBCの予測ビットが両方とも真として設定されることができる。予測子を得るか、またはMPMリストを生成するとき、予測モードおよび動き情報が他のCUのために使用されることができるかどうかをチェックするために、関連する予測ビットが使用されうる。
【0148】
本開示において、IBCのあるGPMについてのIBCの動きモード（たとえば、マージ・モードまたはAMVPモード）の使用に制約が適用されることができる。たとえば、BV符号化のサイド情報の伝送を最小にするよう、GPMのためにIBCが使用される場合、IBCにはマージ・モードのみが許可されうる。
【0149】
2つの幾何学的パーティションの両方がIBCによって予測される場合、2つの異なるIBCについてのマージ・インデックスは異なっていてもよい。よって、第1のマージ・インデックスが、2つの幾何学的パーティションのうちの第1の幾何学的パーティションに割り当てられることができ、第2のマージ・インデックスが、2つの幾何学的パーティションのうちの第2の幾何学的パーティションに割り当てられることができる。
【0150】
本開示において、IBCのあるGPMのBV情報は、4×4単位（または4×4ピクセル単位）などの単位で記憶／格納されることができる。
【0151】
IBCのあるGPMについてのBV情報は、4×4単位（または4×4ピクセル単位）で記憶されることができる。一例では、インター予測のMVまたはIBCのBVは、各パーティションについて4×4単位で記憶されることができる。一例では、2つのパーティションの幾何学的境界に沿って、対応する4×4単位において双方向動き情報が記憶されることができる。GPMのためにIBCが使用される場合、BVおよびMVのような2つの一方向動きから双方向動き情報が組み合わされる（または生成される）ことができる。一例では、1つの幾何学的パーティションの動き情報（たとえばMV）が参照リスト0（または参照リストL0）からである場合、BV情報は前記4×4単位に記憶されなくてもよい。双方向動き情報は、参照リスト0だけからの動き情報として設定できる。一例では、2つの一方向予測が両方ともIBCである場合、BVのうち1つだけが前記4×4単位に記憶されてもよい。
【0152】
GPMのためにイントラ予測モードも利用可能である場合に、各参照リストにおけるBV情報および／またはMV情報が有効であるか否かを示すために、各参照リストについてのそれぞれのフラグが信号伝達されることができる。
【0153】
2つの幾何学的パーティションの幾何学的境界に沿った（またはまたがる）4×4単位内の双方向の動き情報について、BV情報は、動き情報（たとえば、MV）が参照リストXからのものである場合、参照リスト（1－X）における動き情報として設定されることができる。ここで、Xは、0または1のいずれかでありうる。よって、MVは参照リストXから決定されることができ、BVは参照リスト（X－1）から決定されることができる。
【0154】
双方向動き情報は、2つの幾何学的パーティションからの2つのBVと組み合わされることができる。2つのBV情報は、両方の参照リスト（たとえば、L0とL1）についての動き情報として設定されることができる。たとえば、2つの幾何学的パーティションのうちの第1のパーティションの1つのBVは参照リストL0からであり、幾何学的パーティションのうちの第2のパーティションの別のBVは参照リストL1からである。
【0155】
2つの幾何学的パーティションがIBCに適用される場合、参照リストXについての動き情報は、パーティションXからのBV情報から導出できる。パーティション・インデックスXは、マージGPMインデックスから導出できる。マージGPMインデックスは、0または1のいずれかでありうる。
【0156】
本開示において、IBCと、IBCのあるGPMとについて、マージ・リストが導出できる。
【0157】
IBCのあるGPMについてのマージ・リストの構築は、IBCのマージ・モードの構築と同じか、または同様でありうる。
【0158】
GPMについてイントラ予測モードが利用可能である場合、各参照リスト（たとえば、L1およびL0）についてのBV情報が有効か否かを示すフラグが検出されることができる。フラグが真であれば、参照インデックス－1をもつBV情報が、IBCのあるGPMのマージ・リストのためのIBC空間的BV候補として使用できる。
【0159】
各参照リストについての動き情報は、動き情報に関連付けられた参照インデックスが－1であるか否かに基づいて決定できる。参照インデックスが－1である場合、各参照リストについての－1としての参照インデックスに関連付けられた動き情報が、IBCマージ・リスト構築のために使用されることができる。よって、各IBC空間的BV候補は、それぞれリスト0（または参照リストL0）およびリスト1（または参照リストL1）から双方向BV情報を有することができ、両方のBVがIBCマージ候補リストに追加されることができる。
【0160】
ある実施形態では、各参照リストについての動き情報は、動き情報に関連付けられた参照インデックスが－1であるか否かに基づいて決定されることができる。参照リスト0についての動き情報に関連付けられた参照インデックスが真である場合、参照リスト0についての、－1としての参照インデックスをもつ動き情報（BVとも呼ばれる）がIBCマージ・リスト構築のために使用されることができる。そうではなく、参照リスト1についての動き情報に関連付けられた参照インデックスが真であれば、参照リスト1についての－1としての参照インデックスをもつ動き情報（BVとも呼ばれる）がIBCマージ・リスト構築のために使用されることができる。空間的近傍ブロックごとに、1つまでのBV情報が、IBCマージ・リストのために適用されることができる。
【0161】
本開示において、GPMのための2つの幾何学的パーティションは、IBCを使用することによってIBCブロックから、またはイントラ予測を使用することによって近傍サンプルから予測できる。イントラ符号化フレームにおけるGPMの2つの幾何学的パーティションについての予測ブロックの異なる組み合わせの3つの例が、図15A～15Cに示されている。図15Aに示されるように、現在ブロック（1504）および2つの再構成されたブロック（1510）および（1512）が、イントラ符号化フレーム（1502）に含まれることができる。現在ブロック（1504）は、GPMによって2つの幾何学的パーティション（1506）および（1508）にパーティション分割されることができる。2つの幾何学的パーティション（1506）および（1508）は、それぞれ再構成されたブロック（1510）および（1512）のようなIBCブロックから予測されることができる。よって、ブロック・ベクトルBV0は、パーティション（1506）に関連付けられることができ、再構成されたブロック（1510）およびブロック・ベクトルBV1は、パーティション（1508）および再構成されたブロック（1512）に関連付けられることができる。さらに、ブロック・ベクトルBV0およびブロック・ベクトルBV1は同じではなくてもよい。
【0162】
図15Bでは、現在ブロック（1516）は、イントラ符号化フレーム（1514）に含まれることができる。現在ブロック（1516）は、2つの幾何学的パーティション（1518）および（1520）に分割されることができる。2つの幾何学的パーティション（1518）および（1520）は、イントラ予測モードを用いることにより近傍するサンプルから予測でき、2つの幾何学的パーティション（1518）および（1520）のイントラ予測モードは異なっていてもよい。たとえば、パーティション（1518）は、イントラ予測ブロックBからの近傍サンプルに基づいて予測でき、パーティション（1520）は、イントラ予測ブロックAからの近傍サンプルに基づいて予測できる。
【0163】
図15Cでは、現在ブロック（1524）は、イントラ符号化フレーム（1522）に含まれうる。現在ブロック（1524）は、2つの幾何学的パーティション（1526）および（1528）に分割されることができる。幾何学的パーティション（1526）は、ブロックベクトル（BVIBC）に基づくIBCブロック（1530）から予測されることができ、幾何学的分割（1528）は、イントラ予測モードによってイントラ予測ブロックの近傍ピクセルから予測されることができる。
【0164】
CUの動き情報（たとえばMV）が記憶されることができる。たとえば、VVCでは、CUの動き情報は4×4サンプルの粒度で記憶されることができる。記憶された動き情報は、MV予測およびマージ・リスト構築のために使用されることができる。同様に、CUのBV情報も、4×4単位（または4×4ピクセル単位）を使用して記憶されることができる。記憶されたBV情報は、IBCおよびIBCのマージ・リスト構築のために使用されることができる。GPMでは、CU内の2つの幾何学的パーティションのため、MVおよびBVを含む3つのタイプの動き情報が関わりうる。GPMの動き情報記憶とBV情報記憶は、幾何学的パーティション分割に基づいて適応的に設計できる。
【0165】
GPMの動き記憶タイプ導出は、IBCのあるGPMにも適用できる。動き記憶タイプ、たとえば4×4単位についてのsType(T)は、4×4単位の中心からパーティション境界までの変位によって決定できる。T＝0またはT＝1は、対応する4×4単位が、幾何学的パーティションP0またはP1からの一方向MVまたはBVを記憶することを示すことができる。T＝2は、対応する4×4単位が、2つの一方向動きベクトルまたはブロック・ベクトルから組み合わされた双方向動き情報を記憶することを示すことができる。
【0166】
T＝2の場合、GPMのためにIBCが利用可能であれば、3つの異なる双方向動きタイプが存在しうる。たとえば、第1のタイプは、2つのインター・マージ予測ブロックから組み合わされる（または生成される）通常の双方向動き情報（たとえば、MV）を含むことができる。第2のタイプは、IBCとインター・マージ予測の組み合わせに関連付けられることができる。このように、2つの一方向動き情報のうちの1つはIBCブロックからのBVであることができ、該2つの一方向動き情報のうちのもう1つはインター・ブロックからのMVであることができる。インター・ブロックの動き情報は、動き情報格納方式に応じて4×4単位に記憶されることができ、BV情報も、BV候補リストの構築のために該4×4単位に記憶されることができる。第3のタイプでは、2つの幾何学的パーティション（たとえば、P0またはP1）に関連付けられた2つのBV情報を、それら2つの幾何学的パーティションの幾何学的境界に沿った4×4単位について扱うことができる。IBCマージ・リストについての参照リスト情報が存在しない可能性があるため、同じ参照リストからのP0またはP1の動き情報が記憶されることができる動き記憶規則が採用されることができる。よって、P0またはP1の動き情報が同じ参照リストからである場合には、BV記憶情報はP1のBVとして設定されることができる。また、GPMマージ・インデックス0のMVまたはBV情報がP0の幾何学的パーティションについて使用でき、GPMマージ・インデックス1のMVまたはBV情報がP1の幾何学的パーティションについて使用できる。
【0167】
IBCのあるGPMの動き情報はマージ・モードによって符号化できる。各パーティションについての動きベクトルは、マージ動きモードから、またはIBCのマージされたBVからのどちらかでありうる。通常の動きモード・リストにおける2つの参照リストとは異なり、IBCマージ・リストにおける各マージ候補について1つのBVのみが利用可能でありうる。よって、各パーティションは対応するBVをもつことができ、各BVはIBCマージ・リストにおけるマージ候補であることができる。IBCマージ・リストは、GPMのIBCマージ・リストのために直接再利用されることができる。たとえば、各IBCマージ候補は、IBCのあるGPMにおけるIBCのために使用できる。
【0168】
図16は、本開示のいくつかの実施形態による、例示的なデコード・プロセス（1600）の概要を示すフローチャートを示す。図17は、本開示のいくつかの実施形態による、例示的なエンコード・プロセス（1700）の概略を示すフローチャートを示す。提案されたプロセスは、別々に使用されも、または任意の順序で組み合わされてもよい。さらに、プロセス（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路（たとえば、一つまたは複数のプロセッサ、または一つまたは複数の集積回路）によって実装されてもよい。一例では、前記一つまたは複数のプロセッサは、非一時的なコンピュータ読み取り可能媒体に記憶されたプログラムを実行する。
【0169】
プロセス（たとえば、（1600）および（1700））の動作は、所望に応じて、任意の量または順序で組み合わされ、または配置されることができる。実施形態において、プロセス（たとえば、（1600）および（1700））の動作のうちの2つ以上が並列に実行されてもよい。
【0170】
プロセス（たとえば、（1600）および（1700））は、再構成中のブロックのための予測ブロックを生成するために、ブロックの再構成および／またはエンコードにおいて使用されることができる。さまざまな実施形態において、プロセス（たとえば、（1600）および（1700））は、端末装置（310）、（320）、（330）および（340）内の処理回路、ビデオ・エンコーダ（403）の機能を実行する処理回路、ビデオ・デコーダ（410）の機能を実行する処理回路、ビデオデコーダ（510）の機能を実行する処理回路、ビデオエンコーダ（603）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（たとえば、（1600）および（1700））は、ソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（たとえば、（1600）および（1700））を実行する。
【0171】
図16に示されるように、プロセス（1600）は、（S1601）から開始し、（S1610）に進むことができる。（S1610）において、ビデオの現在ピクチャー内の現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受信されることができる。
【0172】
（S1620）において、現在ブロックは、幾何学的パーティションモード（GPM）に基づいて、第1のパーティションおよび第2のパーティションに分割されることができる。
【0173】
（S1630）において、現在ブロックがGPMにおいて符号化されることを決定することに応答して、現在ブロックの第1のパーティションについての第1の予測タイプと、現在ブロックの第2のパーティションについての第2の予測タイプとが、イントラ予測、インター予測、およびイントラブロックコピー（IBC）のうちの1つを含む予測タイプに関連付けられた少なくとも1つのフラグに基づいて決定されることができる。第1および第2の予測タイプのそれぞれは、イントラ予測、インター予測、およびIBCのうちの1つでありうる。
【0174】
（S1640）において、決定された第1の予測タイプに基づいて、現在ブロックの第1のパーティションについての第1の予測モードが決定されることができる。
【0175】
（S1650）において、決定された第2の予測タイプに基づいて、現在ブロックの第2のパーティションについての第2の予測モードが決定されることができる。
【0176】
（S1660）において、現在ブロックの第1のパーティションは第1の予測モードに基づいて再構成されることができ、現在ブロックの第2のパーティションは第2の予測モードに基づいて再構成されることができる。
【0177】
第1の予測タイプを決定するために、一例では、現在ブロックの第1のパーティションについての第1の予測タイプは、前記少なくとも1つのフラグのうちの第1のフラグが真であることに基づいて、イントラ予測として決定されることができる。一例では、現在ブロックの第1のパーティションについての第1の予測タイプは、前記少なくとも1つのフラグのうちの第1のフラグが偽であり、前記少なくとも1つのフラグのうちの第2のフラグが真であることに基づいて、IBCとして決定されることができる。別の例では、現在ブロックの第1のパーティションについての第1の予測タイプは、第1のフラグが偽であり、第2のフラグが偽であることに基づいて、インター予測として決定されることができる。
【0178】
第1の予測モードを決定するために、現在ブロックの第1のパーティションについてのイントラ予測モードは、前記少なくとも1つのフラグのうちの第1のフラグが真であることに応答して、前記符号化された情報に含まれる第1の構文要素に基づいて決定されることができる。現在ブロックの第1のパーティションについてのIBCのブロック・ベクトルは、前記少なくとも1つのフラグのうちの第2のフラグが真であることに応答して、前記符号化された情報に含まれる第2の構文要素に基づいて決定されることができる。現在ブロックの第1のパーティションについてのインター予測モードは、前記少なくとも1つのフラグのうちの前記第1のフラグおよび前記少なくとも1つのフラグのうちの前記第2のフラグが偽であることに応答して、前記符号化された情報に含まれる第3の構文要素に基づいて決定されることができる。
【0179】
一例では、第1のパーティションについての第1の予測モードは、第1のイントラ予測モードおよびIBCの第1のブロック・ベクトルのうちの1つに関連付けられていると決定されることができる。第2のパーティションについての第2の予測モードは、第2のイントラ予測モードおよびIBCの第2のブロック・ベクトルのうちの1つに関連付けられていると決定されることができる。
【0180】
一例では、第1のパーティションの第1の予測モードは、第1のインター予測モードおよびIBCの第1のブロック・ベクトルのうちの1つに関連付けられていると決定されることができる。第2のパーティションについての第2の予測モードは、第2のインター予測モードおよびIBCの第2のブロック・ベクトルのうちの1つに関連付けられていると判断されることができる。
【0181】
第1の予測タイプがIBCであり、第2の予測タイプがIBCであることに応答して、第1のパーティションと第2のパーティションの間の境界に沿ったサンプルはブレンドされなくてもよい。
【0182】
いくつかの実施形態では、前記符号化された情報は、第1の予測タイプおよび第2の予測タイプのうちの1つがイントラ予測であるかどうかを示すイントラ予測ビットを含むことができる。前記符号化された情報は、第1の予測タイプと第2の予測タイプのうちの1つがインター予測であるかどうかを示すインター予測ビットを含むことができる。前記符号化された情報はまた、第1の予測タイプおよび第2の予測タイプのうちの1つがIBC予測であるかどうかを示すIBC予測ビットを含むことができる。
【0183】
プロセス（1600）において、第1の予測タイプがIBCであることに応答して、現在ブロックの第1のパーティションは、IBCのマージ・モードによって予測されることができる。
【0184】
ある実施形態では、動き記憶タイプが0または1であることに応答して、インター予測の動きベクトルおよびIBCのブロック・ベクトルのうちの1つが4×4ピクセル単位に記憶されることができる。別の実施形態では、動き記憶タイプが2であることに応答して、一例では、第1のパーティションに関連する第1の動きベクトルと、第2のパーティションに関連する第2の動きベクトルが、4×4ピクセル単位に記憶されることができる。別の例では、第1のパーティションに関連する動きベクトルと、第2のパーティションに関連するブロック・ベクトルは、4×4ピクセル単位に記憶されることができる。さらに別の例では、第1のパーティションに関連付けられた第1のブロック・ベクトルと第2のパーティションに関連付けられた第2ブロック・ベクトルの一方が、4×4ピクセルにおいて記憶されることができる。
【0185】
第1の予測タイプがIBCであることに応答して、第1のパーティションに関連付けられた第1のブロック・ベクトルが、IBCマージ・リスト内の第1のマージ候補として決定されることができる。第2の予測タイプがIBCであることに応答して、第2のパーティションに関連付けられた第2のブロック・ベクトルが、IBCマージ・リスト内の第2のマージ候補として決定されることができる。
【0186】
プロセス（1600）は、好適に適応されることができる。プロセス（1600）におけるステップは、修正および／または省略されうる。追加的なステップを追加できる。任意の適切な実施順序が使用できる。
【0187】
図17に示されるように、プロセス（1700）は、（S1701）から開始し、（S1710）に進むことができる。（S1710）において、ビデオの現在ピクチャーの現在ブロックが、幾何学的パーティション・モード（GPM）に基づいて、第1のパーティションと第2のパーティションに分割されることができる。
【0188】
（S1720）において、現在ブロックの第1のパーティションについての第1の予測タイプが決定されることができ、現在ブロックの第2のパーティションについての第2の予測タイプが決定されることができる。第1および第2の予測タイプのそれぞれは、イントラ予測、インター予測、およびIBCのうちの1つでありうる。
【0189】
（S1730）において、決定された第1の予測タイプに基づいて、第1の予測モードが、現在ブロックの第1のパーティションについて決定されることができる。
【0190】
（S1740）において、決定された第2の予測タイプに基づいて、現在ブロックの第2のパーティションについての第2の予測モードが決定されることができる。
【0191】
（S1750）では、現在ブロックの符号化された情報が生成されることができる。前記符号化された情報は、イントラ予測、インター予測、およびIBCのうちの1つに関連付けられた少なくとも1つのフラグを含むことができ、第1のパーティションの第1の予測タイプおよび第2のパーティションの第2の予測タイプを示す。
【0192】
その後、プロセスは（S1799）に進み、終了する。
【0193】
プロセス（1700）は、好適に適応されることができる。プロセス（1700）におけるステップは、修正および／または省略されうる。追加的なステップを追加できる。任意の適切な実施順序が使用できる。
【0194】
上述の技法は、コンピュータ読み取り可能な命令を用いてコンピュータ・ソフトウェアとして実装することができ、一つまたは複数のコンピュータ読み取り可能な媒体に物理的に記憶されることができる。たとえば、図18は、開示された主題のある種の実施形態を実施するのに好適なコンピュータ・システム（1800）を示す。
【0195】
コンピュータ・ソフトウェアは、任意の好適な機械コードまたはコンピュータ言語を用いてコーディングされることができ、アセンブリ、コンパイル、リンク、または同様の機構の対象とされて、一つまたは複数のコンピュータ中央処理ユニット（CPU）、グラフィックス処理ユニット（GPU）などによって、直接的に、またはインタープリット、マイクロコード実行などを通じて実行可能な命令を含むコードを作成することができる。
【0196】
命令は、たとえば、パーソナルコンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム装置、モノのインターネット装置等を含むさまざまなタイプのコンピュータまたはそのコンポーネント上で実行されることができる。
【0197】
コンピュータ・システム（1800）について図18に示されるコンポーネントは、例としての性質であり、本開示の実施形態を実装するコンピュータ・ソフトウェアの使用または機能の範囲に関する制限を示唆することを意図したものではない。コンポーネントの構成も、コンピュータ・システム（1800）の例示的実施形態において示されているコンポーネントの任意の1つまたは組み合わせに関する何らかの依存性または要件を有するものとして解釈されるべきではない。
【0198】
コンピュータ・システム（1800）は、ある種のヒューマン・インターフェース入力装置を含むことができる。そのようなヒューマン・インターフェース入力装置は、たとえば、触覚入力（たとえば、キーストローク、スワイプ、データグローブの動き）、音声入力（たとえば、声、拍手）、視覚入力（たとえば、ジェスチャー）、嗅覚入力（図示せず）を通じた一または複数の人間ユーザーによる入力に応答することができる。また、ヒューマン・インターフェース装置は、音声（たとえば、発話、音楽、周囲の音）、画像（たとえば、スキャンされた画像、スチール画像カメラから得られる写真画像）、ビデオ（たとえば、2次元ビデオ、立体視ビデオを含む3次元ビデオ）のような、人間による意識的入力に必ずしも直接関係しないある種のメディアを捕捉するために使用できる。
【0199】
入力ヒューマン・インターフェース装置は、キーボード（1801）、マウス（1802）、トラックパッド（1803）、タッチスクリーン（1810）、データグローブ（図示せず）、ジョイスティック（1805）、マイクロフォン（1806）、スキャナ（1807）、カメラ（1808）の一つまたは複数（それぞれの一つしか図示していない）を含んでいてもよい。
【0200】
コンピュータ・システム（1800）はまた、ある種のヒューマン・インターフェース出力装置を含んでいてもよい。そのようなヒューマン・インターフェース出力装置は、たとえば、触覚出力、音、光、および臭い／味を通じて、一または複数の人間ユーザーの感覚を刺激するものであってもよい。そのようなヒューマン・インターフェース出力装置は、触覚出力装置（たとえば、タッチスクリーン（1810）、データグローブ（図示せず）、またはジョイスティック（1805）による触覚フィードバック；ただし、入力装置のはたらきをしない触覚フィードバック装置もありうる）、音声出力装置（たとえば、スピーカー（1809）、ヘッドフォン（図示せず））、視覚出力装置（たとえば、CRT画面、LCD画面、プラズマスクリーン、OLED画面を含む画面（1810）；それぞれはタッチスクリーン入力機能があってもなくてもよく、それぞれは触覚フィードバック機能があってもなくてもよく、そのうちのいくつかは、2次元の視覚出力または立体視出力のような手段を通じた3次元より高い出力を出力することができる；仮想現実感眼鏡（図示せず）、ホログラフィーディスプレイおよび煙タンク（図示せず））、およびプリンタ（図示せず）を含んでいてもよい。
【0201】
コンピュータ・システム（1800）はまた、人間がアクセス可能な記憶装置および関連する媒体、たとえば、CD/DVDまたは類似の媒体（1821）とともにCD/DVD ROM/RW（1820）を含む光学式媒体、サムドライブ（1822）、取り外し可能なハードドライブまたはソリッドステートドライブ（1823）、テープおよびフロッピーディスクといったレガシー磁気媒体（図示せず）、セキュリティ・ドングルのような特化したROM/ASIC/PLDベースの装置（図示せず）などを含むことができる。
【0202】
当業者はまた、現在開示されている主題に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
【0203】
コンピュータ・システム（1800）はまた、一つまたは複数の通信ネットワーク（1855）へのインターフェース（1854）を含むことができる。ネットワークは、たとえば、無線、有線、光学式でありうる。ネットワークは、さらに、ローカル、広域、都市圏、車載および工業用、リアルタイム、遅延耐性などでありうる。ネットワークの例は、イーサネット〔登録商標〕、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラー・ネットワーク、ケーブルテレビ、衛星テレビ、地上放送テレビを含むTV有線または無線の広域デジタルネットワーク、CANBusを含む車載および工業用などを含む。ある種のネットワークは、普通、ある種の汎用データ・ポートまたは周辺バス（1849）（たとえば、コンピュータ・システム（1800）のUSBポートなど）に取り付けられる外部ネットワーク・インターフェース・アダプターを必要とする。他は、普通、後述するようなシステム・バスへの取り付けによって、コンピュータ・システム（1800）のコアに統合される（たとえば、PCコンピュータ・システムへのイーサネット・インターフェースまたはスマートフォン・コンピュータ・システムへのセルラー・ネットワーク・インターフェース）。これらのネットワークのいずれかを使用して、コンピュータ・システム（1800）は、他のエンティティと通信することができる。そのような通信は、一方向性、受信のみ（たとえば、放送テレビ）、一方向性送信専用（たとえば、ある種のCANbus装置へのCANbus）、または、たとえば、ローカルまたは広域デジタルネットワークを使用する他のコンピュータ・システムへの双方向性であってもよい。上述のようなそれらのネットワークおよびネットワークインターフェースのそれぞれで、ある種のプロトコルおよびプロトコルスタックが使用できる。
【0204】
前述のヒューマン・インターフェース装置、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータ・システム（1800）のコア（1840）に取り付けることができる。
【0205】
コア（1840）は、一つまたは複数の中央処理装置（CPU）（1841）、グラフィックス処理装置（GPU）（1842）、フィールドプログラマブルゲートアレイ（FPGA）（1843）の形の特化したプログラマブル処理装置、ある種のタスクのためのハードウェアアクセラレータ（1844）、グラフィック・アダプター（1850）などを含むことができる。これらの装置は、読み出し専用メモリ（ROM）（1845）、ランダムアクセスメモリ（1846）、内部のユーザー・アクセス可能でないハードドライブ、ソリッドステートドライブ（SSD）などの内部大容量記憶装置（1847）とともに、システム・バス（1848）を通じて接続されうる。いくつかのコンピュータ・システムでは、追加のCPU、GPUなどによる拡張を可能にするために、システム・バス（1848）は、一つまたは複数の物理プラグの形でアクセス可能であってもよい。周辺装置は、コアのシステム・バス（1848）に直接取り付けられることも、周辺バス（1849）を通じて取り付けられることもできる。一例では、グラフィック・アダプター（1850）に画面（1810）が接続されることができる。周辺バスのためのアーキテクチャーは、PCI、USBなどを含む。
【0206】
CPU（1841）、GPU（1842）、FPGA（1843）、およびアクセラレータ（1844）は、組み合わせて上述のコンピュータコードを構成することができるある種の命令を、実行することができる。そのコンピュータコードは、ROM（1845）またはRAM（1846）に記憶できる。一時的データも、RAM（1846）に記憶されることができ、一方、持続的データは、たとえば、内部大容量記憶装置（1847）に記憶されることができる。一つまたは複数のCPU（1841）、GPU（1842）、大容量記憶装置（1847）、ROM（1845）、RAM（1846）などと密接に関連付けることができるキャッシュメモリを使用することを通じて、メモリデバイスのいずれかへの高速な記憶および取り出しを可能にすることができる。
【0207】
コンピュータ読み取り可能な媒体は、さまざまなコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、または、コンピュータ・ソフトウェア分野の技術を有する者に周知であり利用可能な種類のものであってもよい。
【0208】
限定ではなく一例として、アーキテクチャー（1800）、具体的にはコア（1840）を有するコンピュータ・システムは、プロセッサ（CPU、GPU、FPGA、アクセラレータ等を含む）が一つまたは複数の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行することの結果として、機能性を提供することができる。そのようなコンピュータ読み取り可能媒体は、上記で紹介したようなユーザー・アクセス可能な大容量記憶ならびにコア内部の大容量記憶装置（1847）またはROM（1845）のような非一時的な性質のコア（1840）のある種の記憶に関連する媒体であることができる。本開示のさまざまな実施形態を実装するソフトウェアは、そのような装置に記憶され、コア（1840）によって実行されることができる。コンピュータ読み取り可能媒体は、特定のニーズに応じて、一つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、RAM（1846）に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定の特定部分を、コア（1840）および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に実行させることができる。追加的または代替的に、コンピュータ・システムは、回路（たとえば、アクセラレータ（1844））内に配線された、または他の仕方で具現された論理の結果として機能性を提供することができ、これは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定部分を実行するためのソフトウェアの代わりに、またはそれと一緒に動作することができる。ソフトウェアへの言及は、論理を含み、適宜その逆も可能である。コンピュータ読み取り可能媒体への言及は、適宜、実行のためのソフトウェアを記憶する回路（たとえば集積回路（IC））、実行のための論理を具現する回路、またはその両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の好適な組み合わせを包含する。
【0209】
付録A：頭字語
JEM: joint exploration model（共同探査モデル）
VVC: versatile video coding（多用途ビデオ符号化）
BMS: benchmark set（ベンチマークセット）
MV: Motion Vector（動きベクトル）
HEVC: High Efficiency Video Coding（高効率ビデオ符号化）
SEI: Supplementary Enhancement Information（補足向上情報）
VUI: Video Usability Information（ビデオ操作性情報）
GOP: Group of Pictures（ピクチャーグループ）
TU: Transform Unit（変換単位）
PU: Prediction Unit（予測単位）
CTU: Coding Tree Unit（符号化ツリー単位）
CTB: Coding Tree Block（符号化ツリーブロック）
PB: Prediction Block（予測ブロック）
HRD: Hypothetical Reference Decoder（仮設参照デコーダ）
SNR: Signal Noise Ratio（信号雑音比）
CPU: Central Processing Unit（中央処理装置）
GPU: Graphics Processing Unit（グラフィックス処理ユニット）
CRT: Cathode Ray Tube（陰極線管）
LCD: Liquid-Crystal Display（液晶ディスプレイ）
OLED: Organic Light-Emitting Diode（有機発光ダイオード）
CD: Compact Disc（コンパクトディスク）
DVD: Digital Video Disc（デジタルビデオディスク）
ROM: Read-Only Memory（読み出し専用メモリ）
RAM: Random Access Memory（ランダムアクセスメモリ）
ASIC: Application-Specific Integrated Circuit（特定用途向け集積回路）
PLD: Programmable Logic Device（プログラマブルロジックデバイス）
LAN: Local Area Network（ローカルエリアネットワーク）
GSM: Global System for Mobile communications（グローバル移動通信システム）
LTE: Long-Term Evolution（ロングタームエボリューション）
CANBus: Controller Area Network Bus（コントローラエリアネットワークバス）
USB: Universal Serial Bus（ユニバーサルシリアルバス）
PCI: Peripheral Component Interconnect（ペリフェラルコンポーネント相互接続）
FPGA: Field Programmable Gate Areas（フィールド・プログラマブル・ゲート・エリア）
SSD: solid-state drive（ソリッドステートドライブ）
IC: Integrated Circuit（集積回路）
CU: Coding Unit（符号化単位）
JEM: joint exploration model（共同探査モデル）
VVC: versatile video coding（多用途ビデオ符号化）
BMS: benchmark set（ベンチマークセット）
MV: Motion Vector（動きベクトル）
HEVC: High Efficiency Video Coding（高効率ビデオ符号化）
SEI: Supplementary Enhancement Information（補足向上情報）
VUI: Video Usability Information（ビデオ操作性情報）
GOP: Group of Pictures（ピクチャーグループ）
TU: Transform Unit（変換単位）
PU: Prediction Unit（予測単位）
CTU: Coding Tree Unit（符号化ツリー単位）
CTB: Coding Tree Block（符号化ツリーブロック）
PB: Prediction Block（予測ブロック）
HRD: Hypothetical Reference Decoder（仮設参照デコーダ）
SNR: Signal Noise Ratio（信号雑音比）
CPU: Central Processing Unit（中央処理装置）
GPU: Graphics Processing Unit（グラフィックス処理ユニット）
CRT: Cathode Ray Tube（陰極線管）
LCD: Liquid-Crystal Display（液晶ディスプレイ）
OLED: Organic Light-Emitting Diode（有機発光ダイオード）
CD: Compact Disc（コンパクトディスク）
DVD: Digital Video Disc（デジタルビデオディスク）
ROM: Read-Only Memory（読み出し専用メモリ）
RAM: Random Access Memory（ランダムアクセスメモリ）
ASIC: Application-Specific Integrated Circuit（特定用途向け集積回路）
PLD: Programmable Logic Device（プログラマブルロジックデバイス）
LAN: Local Area Network（ローカルエリアネットワーク）
GSM: Global System for Mobile communications（グローバル移動通信システム）
LTE: Long-Term Evolution（ロングタームエボリューション）
CANBus: Controller Area Network Bus（コントローラエリアネットワークバス）
USB: Universal Serial Bus（ユニバーサルシリアルバス）
PCI: Peripheral Component Interconnect（ペリフェラルコンポーネント相互接続）
FPGA: Field Programmable Gate Areas（フィールド・プログラマブル・ゲート・エリア）
SSD: solid-state drive（ソリッドステートドライブ）
IC: Integrated Circuit（集積回路）
CU: Coding Unit（符号化単位）
【0210】
本開示は、いくつかの例示的実施形態を記載してきたが、変更、置換、およびさまざまな代替等価物があり、それらは本開示の範囲内にはいる。よって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現し、よって、本開示の精神および範囲内にある多くのシステムおよび方法を考案することができることが理解されるであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16】
【図17】
【図18】
【国際調査報告】