知財求人 - 知財ポータルサイト「IP Force」
特許7632806インターおよびイントラ予測のある幾何学的パーティション・モードのためのイントラ・モードの制約に関する方法、装置、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-10
(45)【発行日】2025-02-19
(54)【発明の名称】インターおよびイントラ予測のある幾何学的パーティション・モードのためのイントラ・モードの制約に関する方法、装置、プログラム
(51)【国際特許分類】
H04N 19/107 20140101AFI20250212BHJP
H04N 19/136 20140101ALI20250212BHJP
H04N 19/176 20140101ALI20250212BHJP
【ＦＩ】
H04N19/107
H04N19/136
H04N19/176
【請求項の数】
16
(21)【出願番号】P 2023525505
(86)(22)【出願日】2022-08-01
(65)【公表番号】
(43)【公表日】2023-11-07
(86)【国際出願番号】 US2022074375
(87)【国際公開番号】W WO2023015157
(87)【国際公開日】2023-02-09
【審査請求日】2023-04-26
(31)【優先権主張番号】63/228,358
(32)【優先日】2021-08-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/877,835
(32)【優先日】2022-07-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン，リエン－フェイ
(72)【発明者】
【氏名】リー，リン
(72)【発明者】
【氏名】リー，シャン
(72)【発明者】
【氏名】リウ，シャン
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】韓国公開特許第１０－２０２１－００７６８６９（ＫＲ，Ａ）
【文献】米国特許出願公開第２０２１／００２１８４７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２３／００４８２６２（ＵＳ，Ａ１）
【文献】木谷佳隆，ほか３名，VVC拡張方式向けの幾何学分割モードに関する一検討，第３６回画像符号化シンポジウム／第２６回映像メディア処理シンポジウム予稿集，日本，一般社団法人電子情報通信学会，2021年11月15日，ｐ．１４１，１４２，Ｐ３－２０
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオ・デコーダによって実行されるビデオ・デコードの方法であって、当該方法は：ビデオの現在ピクチャーにおける現在ブロックの符号化された情報を、符号化されたビデオ・ビットストリームから受領する段階と；
現在ブロックを、幾何学的パーティション・モード（GPM）に基づいて、少なくとも第1のパーティションおよび第2のパーティションに分割する段階と；
現在ブロックの前記第1のパーティションについての第1の予測モードを、前記第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも大きいことに基づいて決定する段階であって、前記第1の数が前記閾値よりも大きいことは、少なくとも1つのイントラ予測モードがGPMのために利用可能であることを示す、段階と；
前記第1のパーティションに隣接する近傍の再構成されたサンプルの前記第1の数が前記閾値よりも小さいことに応答して、
現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグが、前記符号化されたビデオ・ビットストリームにおいて信号伝達されないと判断し；
前記符号化されたビデオ・ビットストリームにおいて現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグをデコードすることなく、前記第1の予測モードはインター予測モードであると推定する段階と；
現在ブロックの前記第1のパーティションを、前記第1の予測モードに基づいて再構成する段階とを含む、
方法。
【請求項2】
前記第1のパーティションに隣接する前記近傍の再構成されたサンプルは、左の近傍の再構成されたサンプル、上の近傍の再構成されたサンプル、左上の近傍の再構成されたサンプル、または右上の近傍の再構成されたサンプルのうちの少なくとも1つを含む、請求項１に記載の方法。
【請求項3】
前記閾値は、現在ブロックのサイズに基づく値と、現在ブロックの形状に基づく値のうちの1つである、請求項１に記載の方法。
【請求項4】
前記閾値は、W/4、H/4、および(W＋H)/4のうちの1つを含み、Wは現在ブロックの幅であり、Hは現在ブロックの高さである、請求項１に記載の方法。
【請求項5】
現在ブロックの前記第2のパーティションについての第2の予測モードを、前記第2のパーティションに隣接する近傍の再構成されたサンプルの第2の数が前記閾値よりも大きいことに基づいて決定する段階と；現在ブロックの前記第2のパーティションを、前記第2の予測モードに基づいて再構成する段階とをさらに含む、
請求項２に記載の方法。
【請求項6】
前記第1の予測モードを決定することは、前記第1のパーティションに隣接する近傍の再構成されたサンプルの前記第1の数が前記閾値以下であることに基づいて、前記第1のパーティションについての前記第1の予測モードが第1のインター予測モードであると決定することを含み、前記第2の予測モードを決定することは、前記第2のパーティションに隣接する近傍の再構成されたサンプルの前記第2の数が前記閾値以下であることに基づいて、前記第2のパーティションについての前記第2の予測モードが第2のインター予測モードであると決定することを含む、
請求項５に記載の方法。
【請求項7】
前記第1の予測モードを決定することは、さらに：前記第1のパーティションに隣接する左の近傍の再構成されたサンプルの前記第1の数が前記閾値以下であることに応答して、前記第1のパーティションについての前記第1の予測モードは前記第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測モードではないと決定することを含む、
請求項２に記載の方法。
【請求項8】
前記第1の予測モードを決定することは、さらに：前記第1のパーティションに隣接する上の近傍の再構成されたサンプルの前記第1の数が前記閾値以下であることに応答して、前記第1のパーティションについての前記第1の予測モードは前記第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測モードではないと決定することを含む、
請求項２に記載の方法。
【請求項9】
前記符号化された情報は、さらに：前記第1のパーティションについての前記第1の予測モードが前記第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測に対応するかどうかを示す第1のフラグと、
前記第1のパーティションについての前記第1の予測モードが前記第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測に対応するかどうかを示す第2のフラグとを含む、
請求項２に記載の方法。
【請求項10】
前記第1のフラグが、前記第1のパーティションについての前記第1の予測モードが前記第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測モードではないことを示すことに応答して、現在ブロックの高さが現在ブロックの幅よりも大きいことに基づいて、前記第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードから6を引いたものとして、（ii）現在ブロックの幅と現在ブロックの高さの比が1よりも大きいことに基づいて、前記あらかじめ定義されたイントラ予測モード－（6＋2×現在ブロックの幅と現在ブロックの高さの比）に等しいと決定し；
前記あらかじめ定義されたイントラ予測モードがゼロ未満であることに応答して、前記第1の予測モードは、前記あらかじめ定義されたイントラ予測モードに67を加えたものに等しいと決定する
ことをさらに含む、請求項９に記載の方法。
【請求項11】
前記第1のフラグが、前記第1のパーティションについての前記第1の予測モードが前記第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測に対応することを示し、前記第2のフラグが、前記第1のパーティションについての前記第1の予測モードが前記第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測モードではないことを示すことに応答して、現在ブロックの幅が現在ブロックの高さよりも大きいことに基づいて、前記第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードと33と8の和に、（ii）現在ブロックの幅と現在ブロックの高さの比が1より大きいことに基づいて、前記あらかじめ定義されたイントラ予測モードと33と（8＋2×現在ブロックの幅と現在ブロックの高さの比）に等しいと決定し；
現在ブロックの幅が現在ブロックの高さ以下であることに基づいて、前記第1の予測モードは、前記あらかじめ定義されたイントラ予測モードに33を加えたものに等しいと決定し；
前記あらかじめ定義されたイントラ予測モードが66より大きいことに基づいて、前記第1の予測モードは前記あらかじめ定義されたイントラ予測モードから65を引いたものに等しいと決定する
ことをさらに含む、請求項９に記載の方法。
【請求項12】
請求項１ないし１１のうちいずれか一項に記載の方法を実行するように構成されている装置。
【請求項13】
コンピュータに請求項１ないし１１のうちいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
【請求項14】
ビデオ・エンコーダによって実行されるビデオ・エンコードの方法であって、当該方法は：参照ピクチャー・データを利用して入力ピクチャー・データを予測的に符号化したものを含む符号化された情報を生成する段階を含み、
前記参照ピクチャー・データは、前記入力ピクチャー・データより以前のピクチャーを現在ピクチャーとするローカル・デコーダ動作によって生成され、
前記ローカル・デコーダ動作は：
ビデオの現在ピクチャーにおける現在ブロックの符号化された情報を、前記符号化された情報から受領する段階と；
現在ブロックを、幾何学的パーティション・モード（GPM）に基づいて、少なくとも第1のパーティションおよび第2のパーティションに分割する段階と；
現在ブロックの前記第1のパーティションについての第1の予測モードを、前記第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも大きいことに基づいて決定する段階であって、前記第1の数が前記閾値よりも大きいことは、少なくとも1つのイントラ予測モードがGPMのために利用可能であることを示す、段階と；
前記第1のパーティションに隣接する近傍の再構成されたサンプルの前記第1の数が前記閾値よりも小さいことに応答して、
現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグが、エンコーダから出力される符号化されたビデオ・ビットストリームにおいて信号伝達されないと決定し；
前記符号化されたビデオ・ビットストリームにおいて現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグをデコードすることなく、前記第1の予測モードはインター予測モードであると推定する段階と；
現在ブロックの前記第1のパーティションを、前記第1の予測モードに基づいて再構成する段階とを含む、
方法。
【請求項15】
請求項１４に記載の方法を実行するように構成されている装置。
【請求項16】
コンピュータに請求項１４に記載の方法を実行させるためのコンピュータ・プログラム。【発明の詳細な説明】
【技術分野】
【0001】
参照による組み込み
本願は、2022年7月29日に出願された米国特許出願第17/877,835号「CONSTRAINT OF INTRA MODE FOR GEOMETRIC PARTITION MODE WITH INTER AND INTRA PREDICTION」に対する優先権の利益を主張するものである。同出願は、2021年8月2日に出願された米国仮出願第63/228,358号「Constraint of Intra Mode for Geometric Partition Mode with Inter and Intra Prediction」に対する優先権の利益を主張する。これら先の出願の開示は、その全体が参照により本明細書に組み込まれる。
本願は、2022年7月29日に出願された米国特許出願第17/877,835号「CONSTRAINT OF INTRA MODE FOR GEOMETRIC PARTITION MODE WITH INTER AND INTRA PREDICTION」に対する優先権の利益を主張するものである。同出願は、2021年8月2日に出願された米国仮出願第63/228,358号「Constraint of Intra Mode for Geometric Partition Mode with Inter and Intra Prediction」に対する優先権の利益を主張する。これら先の出願の開示は、その全体が参照により本明細書に組み込まれる。
【0002】
技術分野
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。
【背景技術】
【0003】
本明細書で提供される背景説明は、本開示の文脈を概括的に提示するためのものである。本願で名前が挙がっている発明者の仕事であってその仕事がこの背景セクションに記載されている範囲におけるもの、また、他の意味で出願時に先行技術として適格でないことがありうる本記述の諸側面は、明示的にも暗黙的にも本開示に対する先行技術として認められない。
【0004】
非圧縮デジタル・ビデオは、一連のピクチャーを含むことができ、各ピクチャーは、たとえば1920×1080のルミナンス・サンプルおよび関連するクロミナンス・サンプルの空間的寸法を有する。一連のピクチャーは、固定または可変のピクチャー・レート（非公式にはフレーム・レートとしても知られる）、たとえば、60ピクチャー毎秒または60Hzを有することができる。非圧縮ビデオは、特定のビットレート要件を有する。たとえば、サンプル当たり8ビットの1080p60 4:2:0ビデオ（60Hzのフレーム・レートでの1920×1080のルミナンス・サンプル解像度）は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。
【0005】
ビデオ符号化および復号の1つの目的は、圧縮による入力ビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅および／または記憶スペースの要求を、場合によっては2桁以上も低減するのに役立つことがある。可逆圧縮および不可逆圧縮の両方、ならびにそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮されたもとの信号から、もとの信号の正確なコピーが再構成できる技術をいう。不可逆圧縮を使用する場合、再構成された信号は、もとの信号と同一ではないことがありうるが、もとの信号と再構成された信号との間の歪みは、再構成された信号を意図された用途のために有用にするのに十分小さい。ビデオの場合、不可逆圧縮が広く用いられている。許容される歪みの量はアプリケーションに依存し、たとえば、ある種の消費者ストリーミングアプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い許容可能／認容可能な歪みはより高い圧縮比をもたらすことができる、ということを反映できる。
【0006】
ビデオ・エンコーダおよびデコーダは、たとえば動き補償、変換、量子化、およびエントロピー符号化を含むいくつかの広範なカテゴリーからの技術を利用することができる。
【0007】
ビデオ・コーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、以前に再構成された参照ピクチャーからのサンプルまたは他のデータを参照することなく表現される。いくつかのビデオ・コーデックでは、ピクチャーは空間的にサンプルのブロックに分割される。サンプルのすべてのブロックがイントラ・モードで符号化される場合、そのピクチャーはイントラ・ピクチャーでありうる。イントラ・ピクチャーと、独立デコーダ・リフレッシュ・ピクチャーのようなその派生物は、デコーダ状態をリセットするために使用でき、よって、符号化ビデオ・ビットストリームおよびビデオセッションにおける最初のピクチャーとして、または静止画像として使用できる。イントラ・ブロックのサンプルを変換にかけることができ、変換係数は、エントロピー符号化の前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術でありうる。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピー符号化後のブロックを表わすために所与の量子化ステップサイズで必要とされるビット数が少なくなる。
【0008】
たとえばMPEG-2世代の符号化技術から知られているような伝統的なイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、たとえば、空間的に近傍であり、デコード順で先行するデータのブロックのエンコードおよび／またはデコード中に得られた周囲のサンプル・データおよび／またはメタデータから試みる技術を含む。そのような技法は、以下では「イントラ予測」技法と呼ばれる。少なくともいくつかの場合には、イントラ予測は再構成中の現在ピクチャーからの参照データのみを使用し、参照ピクチャーからの参照データは使用しないことに注意されたい。
【0009】
さまざまな形のイントラ予測がありうる。所与のビデオ符号化技術において、そのような技法の二つ以上が使用できる場合、使用される技法は、イントラ予測モードで符号化されることができる。ある種の場合には、モードは、サブモードおよび／またはパラメータを有することができ、それらは、個別に符号化されることができ、またはモード符号語に含められることができる。所与のモード、サブモードおよび／またはパラメータの組み合わせのためにどの符号語を使用するかは、イントラ予測を通して符号化効率利得に影響を与える可能性があり、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も同様に影響を与える可能性がある。
【0010】
イントラ予測のあるモードがH.264で導入され、H.265で洗練され、共同探査モデル（JEM）、多用途ビデオ符号化（VVC）、およびベンチマークセット（BMS）のようなより新しい符号化技術においてさらに洗練された。予測子ブロックは、すでに利用可能なサンプルに属する近傍サンプル値を使用して形成されることができる。近傍サンプルのサンプル値が、ある方向に従って予測子ブロックにコピーされる。使用される方向への参照は、ビットストリームにおいて符号化されることができ、またはそれ自身予測されてもよい。
【0011】
図1Aを参照すると、右下に、H.265の33個の可能な予測子方向（35個のイントラ・モードのうち33個の角度モードに対応する）から知られている9個の予測子方向のサブセットが描かれている。矢印が収束する点（101）は、予測されるサンプルを表わす。矢印は、サンプルが予測される方向を表わす。たとえば、矢印（102）は、サンプル（101）が、水平から45度の角度の右上のサンプル（単数または複数）から予測されることを示す。同様に、矢印（103）は、サンプル（101）が、水平から22.5度の角度の、サンプル（101）の左下のサンプル（単数または複数）から予測されることを示す。
【0012】
引き続き図1Aを参照すると、左上には、4×4サンプルの正方形ブロック（104）が描かれている（太い破線で示されている）。正方形ブロック（104）は、16個のサンプルを含み、各サンプルは「S」とY次元におけるその位置（たとえば、行インデックス）およびX次元におけるその位置（たとえば、列インデックス）でラベル付けされている。たとえば、サンプルS21は、Y次元の（上から）第2のサンプルであり、X次元の（左から）最初のサンプルである。同様に、サンプルS44は、YおよびX次元の両方においてブロック（104）内の第4のサンプルである。ブロックが4×4サンプルのサイズなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、Rと、ブロック（104）に対するそのY位置（たとえば、行インデックス）およびX位置（列インデックス）でラベル付けされる。H.264とH.265の両方において、予測サンプルは再構成中のブロックの近傍であり、そのため負の値を使用する必要はない。
【0013】
ピクチャー内予測は、信号伝達される予測方向によって充当される近傍サンプルから参照サンプル値をコピーすることによって機能できる。たとえば、符号化ビデオ・ビットストリームは、このブロックについて、矢印（102）と整合する予測方向を示す信号伝達を含むと想定する。すなわち、サンプルは、水平から45度の角度の右上の予測サンプル（単数または複数）から予測される。その場合、サンプルS41、S32、S23、およびS14は、同じ参照サンプルR05から予測される。次いで、サンプルS44は、参照サンプルR08から予測される。
【0014】
ある種の場合には、特に方向が45度で割り切れない場合には、参照サンプルを計算するために、複数の参照サンプルの値が、たとえば補間によって組み合わされることができる。
【0015】
ビデオ符号化技術の発達に伴い、可能な方向の数が増加してきた。H.264（2003年）では、9つの異なる方向が表現できた。これは、H.265（2013年）では33に増加し、本開示の時点でのJEM/VVC/BMSは、最大65の方向をサポートできる。最も可能性の高い方向を同定するために実験が行われ、より可能性の低い方向についてのあるペナルティを受け入れつつ、それらの可能性の高い方向を少数のビットで表現するために、エントロピー符号化におけるある種の技法が使用される。さらに、方向自身が、近傍のすでにデコードされたブロックで使用された近傍方向から予測できることがある。
【0016】
図1Bは、時間とともに増加する予測方向の数を示すために、JEMによる65個のイントラ予測方向を描く概略図（110）を示している。
【0017】
方向を表わす符号化ビデオ・ビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なることができ、たとえば、予測方向のイントラ予測モードへの単純な直接的マッピングから、符号語、最確モードに関わる複雑な適応方式、および同様の技法までありうる。しかしながら、どの場合でも、ビデオコンテンツにおいて、他のある種の方向よりも統計的に起こりにくいある種の方向が存在しうる。ビデオ圧縮の目標は冗長性の低減であるので、良好に機能するビデオ符号化技術においては、そうしたより可能性の低い方法は、より可能性の高い方向よりもより多くのビット数によって表わされる。
【0018】
ビデオ符号化および復号は、動き補償を伴うピクチャー間予測を用いて実行できる。動き補償は、不可逆圧縮技法であることがあり、かつ、以前に再構成されたピクチャーまたはその一部（参照ピクチャー）からのサンプル・データのブロックが、動きベクトル（以下、MV）によって示される方向に空間的にシフトされた後に、新しく再構成されるピクチャーまたはピクチャー・パーティションの予測のために使用される技法に関することができる。場合によっては、参照ピクチャーは、現在再構成中のピクチャーと同じであることもできる。MVは、XおよびYの2次元、または3次元を有することができ、第3の次元は、使用される参照ピクチャーの指示である（これは、間接的に、時間次元でありうる）。
【0019】
いくつかのビデオ圧縮技術では、サンプル・データのある領域に適用可能なMVは、他のMVから、たとえば、再構成中の領域に空間的に隣接し、デコード順でそのMVに先行するサンプル・データの別の領域に関連するMVから予測されることができる。そうすることにより、MVの符号化に必要とされるデータ量を大幅に削減することができ、それにより冗長性を除去し、圧縮を増加させることができる。MV予測が有向に機能できるのは、たとえば、カメラから導出される入力ビデオ信号（ナチュラルビデオとして知られる）を符号化する際に、単一のMVが適用可能である領域よりも大きな領域が同様の方向に移動し、よって、ある種の場合には、近傍領域のMVから導出された同様の動きベクトルを用いて予測できるという、統計的確からしさがあるからである。その結果、所与の領域について見出されるMVが、周囲のMVから予測されるMVと同様または同一であることになり、そして、それは、エントロピー符号化の後、MVを直接符号化する場合に使用されるであろうものよりも少数のビットで表現できる。いくつかの場合には、MV予測は、もとの信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の例でありうる。他の場合には、MV予測自身が、たとえば、いくつかの周囲のMVから予測子を計算する際の丸め誤差のために、不可逆であることがある。
【0020】
H.265/HEVC（ITU-T Rec. H.265、「高効率ビデオ符号化」（High Efficiency Video Coding）、December 2016）には、さまざまなMV予測機構が記述されている。H.265が提供する多くのMV予測機構のうち、本明細書では、以後、「空間マージ（spatial merge）」と呼ばれる技法が記載される。
【0021】
図2を参照すると、現在ブロック（201）は、空間的にシフトされた同じサイズの前のブロックから予測可能であることが動き探索プロセスの間にエンコーダによって見出されたサンプルを含む。そのMVを直接符号化する代わりに、MVは、一つまたは複数の参照ピクチャーに関連付けられたメタデータから、たとえば（デコード順で）最新の参照ピクチャーから、A0、A1、およびB0、B1、B2（それぞれ202ないし206）と記される5つの周囲のサンプルのいずれかに関連付けられたMVを使用して、導出できる。H.265では、MV予測は、近傍ブロックが使用しているのと同じ参照ピクチャーからの予測子を使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【0022】
本開示の諸側面は、ビデオ・エンコード／デコードのための方法および装置を提供する。いくつかの例では、ビデオ・デコードのための装置は、処理回路を含む。
【課題を解決するための手段】
【0023】
本開示のある側面によれば、ビデオ・デコーダにおいて実行されるビデオ・デコードの方法が提供される。この方法では、ビデオの現在ピクチャーにおける現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受領されることができる。現在ブロックは、幾何学的パーティション・モード（geometric partition mode、GPM）に基づいて、少なくとも第1のパーティションおよび第2のパーティションに分割できる。現在ブロックの第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも大きいことに基づいて決定できる。閾値は、少なくとも1つのイントラ予測モードがGPMのために利用可能であることに対応することができる。第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも小さいことに応答して、（i）現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグが、符号化されたビデオ・ビットストリームにおいて信号伝達されないと決定されることができ、（ii）第1の予測モードは、符号化されたビデオ・ビットストリームにおいて現在のブロックがイントラ符号化されているかインター符号化されているかを示すフラグをデコードすることなく、インター予測モードとして推定されることができる。現在ブロックの第1のパーティションは、第1の予測モードに基づいて再構成できる。
【0024】
いくつかの実施形態では、第1のパーティションに隣接する近傍の再構成されたサンプルは、左の近傍の再構成されたサンプル、上の近傍の再構成されたサンプル、左上の近傍の再構成されたサンプル、または右上の近傍の再構成されたサンプルのうちの少なくとも1つを含むことができる。
【0025】
いくつかの実施形態では、閾値は、現在ブロックのサイズに基づく値と、現在ブロックの形状に基づく値のうちの1つでありうる。
【0026】
一例では、閾値は、W/4、H/4、および(W＋H)/4のうちの1つを含むことができる。Wは現在ブロックの幅であってもよく、Hは現在ブロックの高さであってもよい。
【0027】
現在ブロックの第2のパーティションについての第2の予測モードは、第2のパーティションに隣接する近傍の再構成されたサンプルの第2の数が閾値よりも大きいことに基づいて決定されることができる。現在ブロックの第2のパーティションは、第2の予測モードに基づいてさらに再構成されることができる。
【0028】
この方法では、第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値以下であることに基づいて、第1のインター予測モードとして決定されることができる。第1のパーティションについての第2の予測モードは、第2のパーティションに隣接する近傍の再構成されたサンプルの第2の数が閾値以下であることに基づいて、第2のインター予測モードとして決定されることができる。
【0029】
一例では、第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する左の近傍の再構成されたサンプルの第1の数が前記閾値以下である場合、第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測モードではないと決定されることができる。
【0030】
別の例では、第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する上の近傍の再構成されたサンプルの第1の数が前記閾値以下である場合、第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測モードではないと決定されることができる。
【0031】
いくつかの実施形態において、前記符号化された情報は、さらに、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測に対応するかどうかを示す第1のフラグと、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測に対応するかどうかを示す第2のフラグとを含むことができる。
【0032】
ある実施形態では、第1のフラグが、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測モードではないことを示す場合、一例では、現在ブロックの高さが現在ブロックの幅よりも大きいことに応答して、第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードから6を引いたものとして、（ii）現在ブロックの幅と現在ブロックの高さの比が1よりも大きいことに基づいて、あらかじめ定義されたイントラ予測モード－（6＋2×現在ブロックの幅と現在ブロックの高さの比）として決定されることができる。別の例では、あらかじめ定義されたイントラ予測モードがゼロ未満であることに応答して、第1の予測モードは、あらかじめ定義されたイントラ予測モードに67を加えたものと等しくなるように決定されることができる。
【0033】
別の実施形態では、第1のフラグが、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測に対応することを示し、第2のフラグが、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測モードではないことを示す場合、一例では、現在ブロックの幅が現在ブロックの高さよりも大きいことに応答して、第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードと33と8の和として、（ii）現在ブロックの幅と現在ブロックの高さの比が1より大きいことに基づいて、あらかじめ定義されたイントラ予測モードと33と（8＋2×現在ブロックの幅と現在ブロックの高さの比）として決定されることができる。別の例では、現在ブロックの幅が現在ブロックの高さ以下であることに基づいて、第1の予測モードは、あらかじめ定義されたイントラ予測モードに33を加えたものと等しくなるように決定されることができる。さらに別の例では、あらかじめ定義されたイントラ予測モードが66より大きいことに基づいて、第1の予測モードはあらかじめ定義されたイントラ予測モードから65を引いたものに等しくなるように決定されることができる。
【0034】
本開示の別の側面によれば、装置が提供される。装置は、処理回路を含む。処理回路は、ビデオ・エンコード／デコードのための前記方法のうちのいずれかを実行するように構成されることができる。
【0035】
本開示の諸側面はまた、ビデオ・デコードのためにコンピュータによって実行されたときに、該コンピュータにビデオ・エンコード／デコードのための前記方法のいずれかを実行させる命令を記憶している非一時的なコンピュータ読み取り可能な媒体を提供する。
【図面の簡単な説明】
【0036】
開示された主題のさらなる特徴、性質、およびさまざまな利点は、以下の詳細な説明および添付の図面からより明白になるであろう。
【0037】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【0038】
【図1B】例示的なイントラ予測方向の説明図である。
【0039】
【図2】一例における現在ブロックおよびその周囲の空間的マージ候補の概略図である。
【0040】
【図3】ある実施形態による通信システムの簡略化されたブロック図の概略図である。
【0041】
【図4】ある実施形態による通信システム（400）の簡略化されたブロック図の概略図である。
【0042】
【図5】ある実施形態によるデコーダの簡略化されたブロック図の概略図である。
【0043】
【図6】ある実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【0044】
【図7】別の実施形態によるエンコーダのブロック図を示す。
【0045】
【図8】別の実施形態によるデコーダのブロック図を示す。
【0046】
【図9】別の実施形態での空間的マージ候補の例示的な位置を示す。
【0047】
【図10】空間的マージ候補の例示的な冗長性チェックを示す。
【0048】
【図11】ある実施形態による、時間的マージ候補のための動きベクトル・スケーリングの概略図を示す。
【0049】
【図12】ある実施形態による、時間的マージ候補のための例示的な候補位置を示す。
【0050】
【図13】ある実施形態による幾何学的パーティション・モードの例示的な角度分布を示す。
【0051】
【図14】ある実施形態による、GPMのための例示的な分割線を示す。
【0052】
【図15A】インターおよびイントラのあるGPMのための第1の例示的なイントラ予測無効化を示す。
【0053】
【図15B】インターおよびイントラのあるGPMのための第2の例示的なイントラ予測無効化を示す。
【0054】
【図15C】インターおよびイントラのあるGPMのための第3の例示的なイントラ予測無効化を示す。
【0055】
【図16A】インターおよびイントラのあるGPMのための第1の例示的なイントラ予測モード制約を示す。
【0056】
【図16B】インターおよびイントラのあるGPMのための第2の例示的なイントラ予測モード制約を示す。
【0057】
【図16C】インターおよびイントラのあるGPMのための第3の例示的なイントラ予測モード制約を示す。
【0058】
【図16D】インターおよびイントラのあるGPMのための第4の例示的なイントラ予測モード制約を示す。
【0059】
【図17】本開示のいくつかの実施形態による、例示的なデコード・プロセスの概要を示すフローチャートを示す。
【0060】
【図18】本開示のいくつかの実施形態による、例示的なエンコード・プロセスの概要を示すフローチャートを示す。
【0061】
【図19】ある実施形態によるコンピュータ・システムの概略図である。
【発明を実施するための形態】
【0062】
図3は、本開示のある実施形態による通信システム（300）の簡略化されたブロック図を示す。通信システム（300）は、たとえばネットワーク（350）を介して互いに通信することができる複数の端末装置を含む。たとえば、通信システム（300）は、ネットワーク（350）を介して相互接続された第1の対の端末装置（310）および（320）を含む。図3の例では、第1の対の端末装置（310）および（320）は、データの一方向伝送を実行する。たとえば、端末装置（310）は、ネットワーク（350）を介した他方の端末装置（320）への伝送のために、ビデオ・データ（たとえば、端末装置（310）によって捕捉されたビデオ・ピクチャーのストリーム）を符号化してもよい。エンコードされたビデオ・データは、一つまたは複数の符号化ビデオ・ビットストリームの形で伝送されることができる。端末装置（320）は、ネットワーク（350）から、符号化ビデオ・データを受信し、符号化ビデオ・データをデコードしてビデオ・ピクチャーを復元し、復元されたビデオ・データに従ってビデオ・ピクチャーを表示してもよい。一方向データ伝送は、メディア・サービス・アプリケーション等において一般的でありうる。
【0063】
別の例では、通信システム（300）は、たとえばビデオ会議中に発生しうる符号化されたビデオ・データの双方向伝送を実行する第2の対の端末装置（330）および（340）を含む。データの双方向伝送のために、一例では、端末装置（330）および（340）の各端末装置は、ネットワーク（350）を介した、端末装置（330）および（340）のうちの他方の端末装置への伝送のために、ビデオ・データ（たとえば、端末装置によって捕捉されたビデオ・ピクチャーのストリーム）を符号化してもよい。端末装置（330）および（340）の各端末装置は、端末装置（330）および（340）のうちの他方の端末装置によって送信された符号化されたビデオ・データを受信してもよく、符号化されたビデオ・データをデコードして、ビデオ・ピクチャーを復元し、復元されたビデオ・データに従って、アクセス可能な表示装置においてビデオ・ピクチャーを表示してもよい。
【0064】
図3の例では、端末装置（310）、（320）、（330）および（340）は、サーバー、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、それに限定されなくてもよい。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤー、および／または専用のビデオ会議設備での応用を見出す。ネットワーク（350）は、たとえば有線（ワイヤード）および／または無線〔ワイヤレス〕通信ネットワークを含む、端末装置（310）、（320）、（330）および（340）の間で符号化されたビデオ・データを伝達する任意の数のネットワークを表わす。通信ネットワーク（350）は、回線交換および／またはパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークは、遠隔通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。今の議論の目的のために、ネットワーク（350）のアーキテクチャーおよびトポロジーは、以下に説明しない限り、本開示の動作には重要ではないことがある。
【0065】
図4は、開示される主題のためのアプリケーションの例として、ストリーミング環境におけるビデオ・エンコーダおよびビデオ・デコーダの配置を示す。開示される主題は、たとえば、ビデオ会議、デジタルTV、CD、DVD、メモリースティックなどを含むデジタル媒体上の圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションにも等しく適用可能でありうる。
【0066】
ストリーミング・システムは、ビデオ源（401）、たとえばデジタル・カメラを含むことができ、たとえば非圧縮のビデオ・ピクチャーのストリーム（402）を生成する捕捉サブシステム（413）を含んでいてもよい。一例では、ビデオ・ピクチャーのストリーム（402）は、デジタル・カメラによって取り込まれたサンプルを含む。エンコードされたビデオ・データ（404）（または符号化されたビデオ・ビットストリーム）と比較した場合の高いデータ・ボリュームを強調するために太線として描かれているビデオ・ピクチャーのストリーム（402）は、ビデオ源（401）に結合されたビデオ・エンコーダ（403）を含む電子装置（420）によって処理されることができる。ビデオ・エンコーダ（403）は、以下により詳細に説明されるように、開示される主題の諸側面を可能にし、または実現するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ・ピクチャーのストリーム（402）と比較した場合の、より低いデータ・ボリュームを強調するために細い線として描かれている、エンコードされたビデオ・データ（404）（またはエンコードされたビデオ・ビットストリーム（404））は、将来の使用のためにストリーミング・サーバー（405）に記憶されることができる。図4のクライアント・サブシステム（406）および（408）のような一つまたは複数のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー（405）にアクセスして、エンコードされたビデオ・データ（404）のコピー（407）および（409）を取り出すことができる。クライアント・サブシステム（406）は、たとえば電子装置（430）内にビデオ・デコーダ（410）を含むことができる。ビデオ・デコーダ（410）は、エンコードされたビデオ・データの入来コピー（407）をデコードし、ディスプレイ（412）（たとえば表示画面）または他のレンダリング装置（図示せず）上にレンダリングできるビデオ・ピクチャーの出ていくストリーム（411）を生成する。いくつかのストリーミング・システムでは、エンコードされたビデオ・データ（404）、（407）、および（409）（たとえば、ビデオ・ビットストリーム）は、ある種のビデオ符号化／圧縮標準に従ってエンコードされることができる。これらの標準の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオ符号化規格は、非公式にVVCとして知られている。開示される主題は、多用途ビデオ符号化（VVC）の文脈で使用されてもよい。
【0067】
電子装置（420）および（430）は、他の構成要素（図示せず）を含むことができることを注意しておく。たとえば、電子装置（420）は、ビデオ・デコーダ（図示せず）を含むことができ、電子装置（430）は、ビデオ・エンコーダ（図示せず）も含むことができる。
【0068】
図5は、本開示のある実施形態によるビデオ・デコーダ（510）のブロック図を示す。ビデオ・デコーダ（510）は、電子装置（530）に含まれることができる。電子装置（530）は、受領器（531）（たとえば、受領回路）を含むことができる。ビデオ・デコーダ（510）は、図4の例におけるビデオ・デコーダ（310）の代わりに使用できる。
【0069】
受領器（531）は、ビデオ・デコーダ（510）によってデコードされるべき一つまたは複数の符号化ビデオ・シーケンスを受領してもよい；同じまたは別の実施形態において、一度に1つの符号化ビデオ・シーケンスであり、各符号化ビデオ・シーケンスのデコードは、他の符号化ビデオ・シーケンスから独立である。符号化ビデオ・シーケンスは、チャネル（501）から受信されてもよく、該チャネルは、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア／ソフトウェア・リンクであってもよい。受領器（531）は、エンコードされたビデオ・データを、他のデータ、たとえば符号化されたオーディオ・データおよび／または補助データ・ストリームと一緒に受領してもよく、これらのデータは、それぞれの使用エンティティ（図示せず）を転送されてもよい。受領器（531）は、符号化ビデオ・シーケンスを他のデータから分離することができる。ネットワーク・ジッタ対策として、バッファメモリ（515）が、受領器（531）とエントロピー・デコーダ／パーサー（520）（以下「パーサー」）との間に結合されてもよい。ある種のアプリケーションでは、バッファメモリ（515）はビデオ・デコーダ（510）の一部である。他のアプリケーションでは、ビデオ・デコーダ（510）の外部にあることができる（図示せず）。さらに他のアプリケーションでは、たとえばネットワーク・ジッタに対抗するために、ビデオ・デコーダ（510）の外部にバッファメモリ（図示せず）があってもよく、さらに、たとえば再生タイミングを扱うために、ビデオ・デコーダ（510）の内部に別のバッファメモリ（515）があってもよい。受領器（531）が、十分な帯域幅および制御可能性の記憶／転送装置から、またはアイソクロナス・ネットワークからデータを受領している場合は、バッファメモリ（515）は、必要とされなくてもよく、または小さくてもよい。インターネットのようなベストエフォート型のパケット・ネットワークでの使用のためには、バッファメモリ（515）が要求されることがあり、比較的大きいことがあり、有利には適応サイズであることができ、少なくとも部分的に、ビデオ・デコーダ（510）の外部でオペレーティング・システムまたは同様の要素（図示せず）において実装されてもよい。
【0070】
ビデオ・デコーダ（510）は、符号化ビデオ・シーケンスからシンボル（521）を再構成するためのパーサー（520）を含んでいてもよい。これらのシンボルのカテゴリーは、ビデオ・デコーダ（510）の動作を管理するために使用される情報と、潜在的には、レンダー装置（512）（たとえば表示画面）のようなレンダリング装置を制御するための情報とを含む。レンダー装置は、図5に示されたように、電子装置（530）の一体的な部分ではなく、電子装置（530）に結合されることができる。レンダリング装置（単数または複数）のための制御情報は、補足向上情報（Supplementary Enhancement Information）（SEIメッセージ）またはビデオユーザビリティ情報（Video Usability Information、VUI）パラメータセット・フラグメント（図示せず）の形であってもよい。パーサー（520）は、受領された符号化ビデオ・シーケンスをパースする／エントロピー復号することができる。符号化ビデオ・シーケンスの符号化は、ビデオ符号化技術または標準に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感受性ありまたはなしの算術符号化などを含む、さまざまな原理に従うことができる。パーサー（520）は、符号化ビデオ・シーケンスから、ビデオ・デコーダ内のピクセルのサブグループのうちの少なくとも1つについてのサブグループ・パラメータのセットを、グループに対応する少なくとも1つのパラメータに基づいて、抽出することができる。サブグループは、ピクチャーグループ（Group of Pictures、GOP）、ピクチャー、タイル、スライス、マクロブロック、符号化単位（Coding Unit、CU）、ブロック、変換単位（Transform Unit、TU）、予測単位（Prediction Unit、PU）などを含むことができる。パーサー（520）はまた、符号化ビデオ・シーケンスから、変換係数、量子化器パラメータ値、動きベクトル等の情報を抽出することができる。
【0071】
パーサー（520）は、バッファメモリ（515）から受領されたビデオ・シーケンスに対してエントロピー復号／パース動作を実行し、それによりシンボル（521）を生成することができる。
【0072】
シンボル（521）の再構成は、符号化されたビデオ・ピクチャーまたはその諸部分のタイプ（たとえば、インターおよびイントラ・ピクチャー、インターおよびイントラ・ブロック）および他の要因に依存して、複数の異なるユニットに関わることができる。どのユニットがどのように関わるかは、符号化ビデオ・シーケンスからパーサー（520）によってパースされたサブグループ制御情報によって制御されることができる。パーサー（520）と下記の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確のため、描かれていない。
【0073】
すでに述べた機能ブロックのほかに、ビデオ・デコーダ（510）は、以下に説明するように、概念的に、いくつかの機能ユニットに分割できる。商業的制約の下で機能する実際的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示される主題を記述する目的のためには、下記の機能単位への概念的な細分が適切である。
【0074】
第1のユニットは、スケーラー／逆変換ユニット（551）である。スケーラー／逆変換ユニット（551）は、パーサー（520）から、量子化された変換係数および制御情報をシンボル（単数または複数）（521）として受領する。制御情報は、どの変換を使用するか、ブロック・サイズ、量子化因子、量子化スケーリング行列などを含む。スケーラー／逆変換ユニット（551）は、集計器（555）に入力できるサンプル値を含むブロックを出力することができる。
【0075】
場合によっては、スケーラー／逆変換（551）の出力サンプルは、イントラ符号化されたブロック、すなわち、以前に再構成されたピクチャーからの予測情報を使用していないが、現在ピクチャーの、以前に再構成された部分からの予測情報を使用することができるブロックに関することができる。そのような予測情報は、イントラ・ピクチャー予測ユニット（552）によって提供されることができる。場合によっては、イントラ・ピクチャー予測ユニット（552）は、現在ピクチャー・バッファ（558）から取ってきた、周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャー・バッファ（558）は、たとえば、部分的に再構成された現在ピクチャーおよび／または完全に再構成された現在ピクチャーをバッファリングする。集計器（555）は、場合によっては、サンプル毎に、イントラ予測ユニット（552）が生成した予測情報を、スケーラー／逆変換ユニット（551）によって提供される出力サンプル情報に加算する。
【0076】
他の場合には、スケーラー／逆変換ユニット（551）の出力サンプルは、インター符号化され、潜在的には動き補償されたブロックに関することができる。そのような場合、動き補償予測ユニット（553）は、予測のために使用されるサンプルを取ってくるために参照ピクチャー・メモリ（557）にアクセスすることができる。取ってきたサンプルを、ブロックに関するシンボル（521）に従って動き補償した後、これらのサンプルは、集計器（555）によってスケーラー／逆変換ユニットの出力（この場合、残差サンプルまたは残差信号と呼ばれる）に加算されて、それにより出力サンプル情報を生成することができる。動き補償ユニット（553）が予測サンプルを取ってくる参照ピクチャー・メモリ（557）内のアドレスは、シンボル（521）の形で動き補償ユニット（553）に利用可能な動きベクトルによって制御できる。該シンボルは、たとえばX、Y、および参照ピクチャー成分を有することができる。動き補償は、サンプル以下の正確な動きベクトルが使用されるときの参照ピクチャー・メモリ（557）から取ってこられるサンプル値の補間、動きベクトル予測機構などを含むことができる。
【0077】
集計器（555）の出力サンプルは、ループ・フィルタ・ユニット（556）内でさまざまなループ・フィルタリング技法にかけられることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができる。ループ内フィルタ技術は、符号化ビデオ・シーケンス（符号化されたビデオ・ビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサー（520）からのシンボル（521）としてループ・フィルタ・ユニット（556）に利用可能にされるが、符号化されたピクチャーまたは符号化されたビデオ・シーケンスの（デコード順で）前の部分のデコード中に得られたメタ情報に応答するとともに、以前に再構成されループ・フィルタリングされたサンプル値に応答することもできる。
【0078】
ループ・フィルタ・ユニット（556）の出力はサンプル・ストリームであることができ、これは、レンダー装置（512）に出力されることができ、また将来のインターピクチャー予測において使用するために参照ピクチャー・メモリ（557）に記憶されることができる。
【0079】
符号化された画像は、いったん完全に再構成されると、将来の予測のための参照ピクチャーとして使用できる。たとえば、現在ピクチャーに対応する符号化されたピクチャーが完全に再構成され、該符号化されたピクチャーが（たとえば、パーサー（520）によって）参照ピクチャーとして同定されると、現在ピクチャー・バッファ（558）は参照ピクチャーメモリ（557）の一部となることができ、後続の符号化されたピクチャーの再構成を開始する前に、新鮮な現在ピクチャー・バッファが再割当てされることができる。
【0080】
ビデオ・デコーダ（510）は、ITU-T勧告H.265のような標準における所定のビデオ圧縮技術に従ってデコード動作を実行することができる。符号化ビデオ・シーケンスはビデオ圧縮技術または標準のシンタックスおよびビデオ圧縮技術または標準において文書化されているプロファイルに従うという意味で、符号化されたビデオ・シーケンスは、使用されているビデオ圧縮技術または標準によって規定されたシンタックスに準拠することができる。具体的には、プロファイルはビデオ圧縮技術または標準において利用可能なすべてのツールから、そのプロファイルのもとでの使用のためにそれだけが利用可能なツールとして、ある種のツールを選択することができる。準拠のためにはまた、符号化ビデオ・シーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される範囲内にあることも必要であることがある。いくつかの場合には、レベルは、最大ピクチャー・サイズ、最大フレーム・レート、最大再構成サンプル・レート（たとえば、毎秒メガサンプルの単位で測られる）、最大参照ピクチャー・サイズなどを制約する。レベルによって設定された限界は、場合によっては、符号化ビデオ・シーケンスにおいて信号伝達される、HRDバッファ管理のための仮設参照デコーダ（Hypothetical Reference Decoder、HRD）仕様およびメタデータを通じてさらに制約されることができる。
【0081】
ある実施形態において、受領器（531）は、エンコードされたビデオとともに追加の（冗長な）データを受領してもよい。追加データは、符号化されたビデオ・シーケンス（単数または複数）の一部として含まれていてもよい。追加データは、データを適正にデコードするため、および／またはもとのビデオ・データをより正確に再構成するために、ビデオ・デコーダ（510）によって使用されてもよい。追加データは、たとえば、時間的、空間的、または信号対雑音比（SNR）の向上層、冗長スライス、冗長ピクチャー、前方誤り訂正符号などの形でありうる。
【0082】
図6は、本開示のある実施形態によるビデオ・エンコーダ（603）のブロック図を示している。ビデオ・エンコーダ（603）は、電子装置（620）に含まれる。電子装置（620）は、送信器（640）（たとえば、送信回路）を含む。ビデオ・エンコーダ（603）は、図4の例におけるビデオ・エンコーダ（403）の代わりに使用できる。
【0083】
ビデオ・エンコーダ（603）は、ビデオ・エンコーダ（603）によって符号化されるべきビデオ画像を捕捉することができるビデオ源（601）（これは図6の例では電子装置（620）の一部ではない）からビデオ・サンプルを受領することができる。別の例では、ビデオ源（601）は、電子装置（620）の一部である。
【0084】
ビデオ源（601）は、任意の好適なビット深さ（たとえば、8ビット、10ビット、12ビット、…）、任意の色空間（たとえば、BT.601 YCrCB、RGB、…）および任意の好適なサンプリング構造（たとえば、YCrCb 4:2:0、YCrCb 4:4:4）でありうるデジタル・ビデオ・サンプル・ストリームの形で、ビデオ・エンコーダ（603）によって符号化されるべき源ビデオ・シーケンスを提供することができる。メディア・サービス・システムにおいては、ビデオ源（601）は、事前に準備されたビデオを記憶している記憶装置であってもよい。ビデオ会議システムにおいては、ビデオ源（601）は、ローカルでの画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、シーケンスで見たときに動きを付与する複数の個々のピクチャーとして提供されてもよい。ピクチャー自体は、ピクセルの空間的アレイとして編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間などに依存して、一つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。下記の説明は、サンプルに焦点を当てる。
【0085】
ある実施形態によれば、ビデオ・エンコーダ（603）は、源ビデオ・シーケンスのピクチャーを、リアルタイムで、またはアプリケーションによって要求される任意の他の時間的制約の下で、符号化および圧縮して、符号化ビデオ・シーケンス（643）にすることができる。適切な符号化速度を施行することは、コントローラ（650）の一つの機能である。いくつかの実施形態では、コントローラ（650）は、以下に記載されるような他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。かかる結合は、明確のために描かれていない。コントローラ（650）によって設定されるパラメータは、レート制御に関連するパラメータ（ピクチャー・スキップ、量子化器、レート‐歪み最適化技法のラムダ値、…）、ピクチャー・サイズ、ピクチャーグループ（GOP）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（650）は、ある種のシステム設計のために最適化されたビデオ・エンコーダ（603）に関する他の好適な機能を有するように構成できる。
【0086】
いくつかの実施形態では、ビデオ・エンコーダ（603）は、符号化ループにおいて動作するように構成される。思い切って単純化した説明として、一例では、符号化ループは、源符号化器（630）（たとえば、符号化されるべき入力ピクチャーと参照ピクチャー（単数または複数）に基づいてシンボル・ストリームのようなシンボルを生成することを受け持つ）と、ビデオ・エンコーダ（603）に埋め込まれた（ローカル）デコーダ（633）とを含むことができる。デコーダ（633）は、（リモートの）デコーダも生成するであろうのと同様の仕方でサンプル・データを生成するよう前記シンボルを再構成する（開示される主題において考慮されるビデオ圧縮技術では、シンボルと符号化ビデオ・ビットストリームとの間のどの圧縮も無損失である）。再構成されたサンプル・ストリーム（サンプル・データ）は、参照ピクチャー・メモリ（634）に入力される。シンボル・ストリームのデコードは、デコーダ位置（ローカルかリモートか）によらずビット正確な結果をもたらすので、参照ピクチャー・メモリ（634）の内容もローカル・エンコーダとリモート・エンコーダの間でビット正確である。言い換えると、エンコーダの予測部は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャー・サンプルとして「見る」。参照ピクチャー同期性のこの基本原理（および、たとえば、チャネルエラーのために同期性が維持できない場合の結果として生じるドリフト）は、いくつかの関連技術においても使用される。
【0087】
「ローカル」デコーダ（633）の動作は、図5との関連ですでに上記で詳細に述べた「リモート」デコーダ、たとえばビデオ・デコーダ（410）の動作と同じであってよい。しかしながら、暫時図5も参照すると、シンボルが利用可能であり、エントロピー符号化器（645）およびパーサー（420）による、シンボルの符号化ビデオ・シーケンスへのエンコード／デコードが可逆でありうるので、バッファメモリ（415）およびパーサー（420）を含むビデオ・デコーダ（410）のエントロピー復号部は、ローカル・デコーダ（633）においては完全には実装されなくてもよい。
【0088】
この時点で行なうことができる観察は、デコーダ内に存在するパース／エントロピー復号を除くどのデコーダ技術も、対応するエンコーダ内で実質的に同一の機能的形態で存在する必要があることである。このため、開示される主題はデコーダ動作に焦点を当てる。エンコーダ技術の記述は、包括的に記述されるデコーダ技術の逆であるため、短縮することができる。ある種の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
【0089】
動作中、いくつかの例では、源符号化器（630）は、「参照ピクチャー」として指定された、ビデオ・シーケンスからの一つまたは複数の以前に符号化されたピクチャーを参照して、入力ピクチャーを予測的に符号化する、動き補償された予測符号化を実行することができる。このようにして、符号化エンジン（632）は、入力ピクチャーのピクセル・ブロックと、入力ピクチャーに対する予測参照として選択されうる参照ピクチャー（単数または複数）のピクセル・ブロックとの間の差分を符号化する。
【0090】
ローカル・ビデオ・デコーダ（633）は、源符号化器（630）によって生成されたシンボルに基づいて、参照ピクチャーとして指定されうるピクチャーの符号化されたビデオ・データをデコードすることができる。符号化エンジン（632）の動作は、有利には、損失のあるプロセスでありうる。符号化されたビデオ・データがビデオ・デコーダ（図6には示さず）でデコードされうるとき、再構成されたビデオ・シーケンスは、典型的には、いくつかのエラーを伴う源ビデオ・シーケンスの複製でありうる。ローカル・ビデオ・デコーダ（633）は、ビデオ・デコーダによって参照ピクチャーに対して実行されうるデコード・プロセスを複製し、再構成された参照ピクチャーを参照ピクチャー・キャッシュ（634）に格納させることができる。このようにして、ビデオ・エンコーダ（603）は、遠端のビデオ・デコーダによって得られるであろう再構成された参照ピクチャーとしての共通の内容を（伝送エラーがなければ）有する再構成された参照ピクチャーのコピーを、ローカルに記憶することができる。
【0091】
予測器（635）は、符号化エンジン（632）について予測探索を実行することができる。すなわち、符号化されるべき新しいピクチャーについて、予測器（635）は、新しいピクチャーのための適切な予測参照のはたらきをしうるサンプル・データ（候補参照ピクセル・ブロックとして）またはある種のメタデータ、たとえば参照ピクチャー動きベクトル、ブロック形状などを求めて、参照ピクチャー・メモリ（634）を探索することができる。予測器（635）は、適切な予測参照を見出すために、サンプル・ブロック／ピクセル・ブロック毎に（on a sample block-by-pixel block basis）動作しうる。場合によっては、予測器（635）によって得られた検索結果によって決定されるところにより、入力ピクチャーは、参照ピクチャー・メモリ（634）に記憶された複数の参照ピクチャーから引き出された予測参照を有することができる。
【0092】
コントローラ（650）は、たとえば、ビデオ・データをエンコードするために使用されるパラメータおよびサブグループ・パラメータの設定を含め、源符号化器（630）の符号化動作を管理してもよい。
【0093】
上記の機能ユニットすべての出力は、エントロピー符号化器（645）におけるエントロピー符号化を受けることができる。エントロピー符号化器（645）は、ハフマン符号化、可変長符号化、算術符号化などといった技術に従ってシンボルを無損失圧縮することによって、さまざまな機能ユニットによって生成されたシンボルを符号化ビデオ・シーケンスに変換する。
【0094】
送信器（640）は、エントロピー符号化器（645）によって生成される符号化ビデオ・シーケンスをバッファに入れて、通信チャネル（660）を介した送信のために準備することができる。通信チャネル（660）は、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア／ソフトウェア・リンクであってもよい。送信器（640）は、ビデオ符号化器（630）からの符号化されたビデオ・データを、送信されるべき他のデータ、たとえば符号化されたオーディオ・データおよび／または補助データ・ストリーム（源は図示せず）とマージすることができる。
【0095】
コントローラ（650）は、ビデオ・エンコーダ（603）の動作を管理してもよい。符号化の間、コントローラ（650）は、それぞれの符号化されたピクチャーに、ある符号化ピクチャー・タイプを割り当てることができる。符号化ピクチャー・タイプは、それぞれのピクチャーに適用されうる符号化技術に影響しうる。たとえば、ピクチャーはしばしば、以下のピクチャー・タイプのうちの1つとして割り当てられることがある。
【0096】
イントラピクチャー（Iピクチャー）は、予測の源としてシーケンス内の他のピクチャーを使用せずに、符号化され、デコードされうるものでありうる。いくつかのビデオ・コーデックは、たとえば、独立デコーダ・リフレッシュ（Independent Decoder Refresh、「IDR」）・ピクチャーを含む、異なるタイプのイントラ・ピクチャーを許容する。当業者は、Iピクチャーのこれらの変形、ならびにそれらのそれぞれの用途および特徴を認識する。
【0097】
予測ピクチャー（Pピクチャー）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。
【0098】
双方向予測ピクチャー（Bピクチャー）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。同様に、マルチ予測ピクチャーは、単一のブロックの再構成のために、3つ以上の参照ピクチャーおよび関連するメタデータを使用することができる。
【0099】
源ピクチャーは、普通、空間的に複数のサンプル・ブロック（たとえば、それぞれ4×4、8×8、4×8、または16×16サンプルのブロック）に分割され、ブロック毎に符号化されうる。ブロックは、ブロックのそれぞれのピクチャーに適用される符号化割り当てによって決定されるところにより、他の（すでに符号化された）ブロックを参照して予測的に符号化されうる。たとえば、Iピクチャーのブロックは、非予測的に符号化されてもよく、または、同じピクチャーのすでに符号化されたブロックを参照して予測的に符号化されてもよい（空間的予測またはイントラ予測）。Pピクチャーのピクセル・ブロックは、以前に符号化された一つの参照ピクチャーを参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。Bピクチャーのブロックは、1つまたは2つの以前に符号化された参照ピクチャーを参照して、空間的予測を介して、または時間的予測を介して予測的に符号化されてもよい。
【0100】
ビデオ・エンコーダ（603）は、ITU-T勧告H.265などの所定のビデオ符号化技術または標準に従って符号化動作を実行することができる。その動作において、ビデオ・エンコーダ（603）は、入力ビデオ・シーケンスにおける時間的および空間的冗長性を活用する予測符号化動作を含む、さまざまな圧縮動作を実行することができる。よって、符号化されたビデオ・データは、使用されるビデオ符号化技術または標準によって指定されるシンタックスに準拠しうる。
【0101】
ある実施形態において、送信器（640）は、エンコードされたビデオと一緒に追加データを送信してもよい。源符号化器（630）は、符号化ビデオ・シーケンスの一部としてそのようなデータを含めてもよい。追加データは、時間的／空間的／SNR向上層、冗長ピクチャーおよびスライスのような他の形の冗長データ、SEIメッセージ、VUIパラメータ・セット・フラグメントなどを含んでいてもよい。
【0102】
ビデオは、時間的シーケンスにおいて複数の源ピクチャー（ビデオ・ピクチャー）として捕捉されてもよい。ピクチャー内予測（しばしば、イントラ予測と略される）は、所与のピクチャーにおける空間的相関を利用し、ピクチャー間予測は、ピクチャー間の（時間的または他の）相関を利用する。一例では、現在ピクチャーと呼ばれるエンコード／デコード対象の特定のピクチャーは、ブロックに分割される。現在ピクチャー内のブロックが、ビデオにおける、前に符号化され、かつ、まだバッファに入れられている参照ピクチャー内の参照ブロックに類似する場合、現在ピクチャー内のそのブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照ピクチャー内の参照ブロックをポイントし、複数の参照ピクチャーが使用される場合には、参照ピクチャーを同定する第3の次元を有することができる。
【0103】
いくつかの実施形態において、ピクチャー間予測において双予測技術が使用できる。双予測技術によれば、いずれもビデオにおいて現在ピクチャーよりデコード順で先行する（ただし、表示順では、それぞれ過去および将来であってもよい）第1の参照ピクチャーおよび第2の参照ピクチャーのような2つの参照ピクチャーが使用される。現在ピクチャー内のブロックは、第1の参照ピクチャー内の第1の参照ブロックをポイントする第1 動きベクトルと、第2の参照ピクチャー内の第2の参照ブロックをポイントする第2 動きベクトルとによって符号化できる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測できる。
【0104】
さらに、符号化効率を改善するために、ピクチャー間予測においてマージ・モード技法が使用できる。
【0105】
本開示のいくつかの実施形態によれば、ピクチャー間予測およびピクチャー内予測などの予測は、ブロックの単位で実行される。たとえば、HEVC規格によれば、ビデオ・ピクチャーのシーケンスにおけるピクチャーは、圧縮のために符号化ツリー単位（CTU）に分割され、ピクチャーにおけるそれらのCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルーマCTBおよび2つのクロマCTBである3つの符号化ツリーブロック（CTB）を含む。各CTUは、再帰的に、一つまたは複数の符号化単位（CU）に四分木分割されていくことができる。たとえば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、または32×32ピクセルの4つのCU、または16×16ピクセルの16個のCUに分割されることができる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプのような、そのCUについての予測タイプを決定するために解析される。CUは時間的および／または空間的予測可能性に依存して、一つまたは複数の予測単位（PU）に分割される。一般に、各PUはルーマ予測ブロック（PB）および2つのクロマPBを含む。ある実施形態では、符号化（エンコード／デコード）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなど、ピクセルについての値（たとえば、ルーマ値）の行列を含む。
【0106】
図7は、本開示の別の実施形態によるビデオ・エンコーダ（703）の図を示す。ビデオ・エンコーダ（703）は、ビデオ・ピクチャーのシーケンス内の現在ビデオ・ピクチャー内のサンプル値の処理ブロック（たとえば、予測ブロック）を受領し、処理ブロックを、符号化ビデオ・シーケンスの一部である符号化されたピクチャーにエンコードするように構成される。一例では、ビデオ・エンコーダ（703）は、図4の例におけるビデオ・エンコーダ（403）の代わりに使用される。
【0107】
HEVCの例では、ビデオ・エンコーダ（703）は、8×8サンプルなどの予測ブロックのような処理ブロックについてサンプル値の行列を受領する。ビデオ・エンコーダ（703）は、処理ブロックが、イントラ・モード、インター・モード、または双予測モードのどれを使用して、最もよく符号化されるかを、たとえばレート‐歪み最適化を使用して、判別する。処理ブロックがイントラ・モードで符号化される場合、ビデオ・エンコーダ（703）は、処理ブロックを符号化されたピクチャーにエンコードするためにイントラ予測技法を使用してもよく；処理ブロックがインター・モードまたは双予測モードで符号化される場合、ビデオ・エンコーダ（703）は、処理ブロックを符号化されたピクチャーにエンコードするために、それぞれ、インター予測技法または双予測技法を使用してもよい。ある種のビデオ符号化技術では、マージモード（merge mode）は、動きベクトルが一つまたは複数の動きベクトル予測子から導出されるが前記予測子の外の符号化された動きベクトル成分の利益のない、ピクチャー間予測サブモードでありうる。ある種の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオ・エンコーダ（703）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。
【0108】
図7の例では、ビデオ・エンコーダ（703）は、インター・エンコーダ（730）、イントラ・エンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、全般コントローラ（721）、およびエントロピー符号化器（725）を、図7に示されるように一緒に結合されて含む。
【0109】
インター・エンコーダ（730）は、現在ブロック（たとえば、処理ブロック）のサンプルを受領し、該ブロックを参照ピクチャー内の一つまたは複数の参照ブロック（たとえば、以前のピクチャーおよび後のピクチャー内のブロック）と比較し、インター予測情報（たとえば、インター・エンコード技術による冗長情報の記述、動きベクトル、マージ・モード情報）を生成し、該インター予測情報に基づいて、任意の好適な技法を使用してインター予測結果（たとえば、予測されたブロック）を計算するように構成される。いくつかの例では、前記参照ピクチャーは、エンコードされたビデオ情報に基づいてデコードされた、デコードされた参照ピクチャーである。
【0110】
イントラ・エンコーダ（722）は、現在ブロック（たとえば、処理ブロック）のサンプルを受領し、場合によっては、該ブロックを、同じピクチャー内ですでに符号化されているブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（たとえば、一つまたは複数のイントラ・エンコード技法によるイントラ予測方向情報）も生成するように構成される。一例では、イントラ・エンコーダ（722）はまた、該イントラ予測情報および同じピクチャー内の参照ブロックに基づいて、イントラ予測結果（たとえば、予測されたブロック）を計算する。
【0111】
全般コントローラ（721）は、全般制御データを決定し、全般制御データに基づいてビデオ・エンコーダ（703）の他のコンポーネントを制御するように構成される。一例では、全般コントローラ（721）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（726）に提供する。たとえば、モードがイントラ・モードである場合、全般コントローラ（721）は、残差計算器（723）による使用のためにイントラ・モードの結果を選択するようスイッチ（726）を制御し、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピー・エンコーダ（725）を制御する；モードがインター・モードである場合、全般コントローラ（721）は、残差計算器（723）による使用のためにインター予測の結果を選択するようスイッチ（726）を制御し、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピー・エンコーダ（725）を制御する。
【0112】
残差計算器（723）は、受領されたブロックと、イントラ・エンコーダ（722）またはインター・エンコーダ（730）から選択された予測結果との差（残差データ）を計算するように構成される。残差エンコーダ（724）は、残差データに基づいて、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化処理にかけられ、量子化された変換係数を得る。さまざまな実施形態において、ビデオ・エンコーダ（703）は、残差デコーダ（728）をも含む。残差デコーダ（728）は、逆変換を実行して、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラ・エンコーダ（722）およびインター・エンコーダ（730）によって好適に使用されることができる。たとえば、インター・エンコーダ（730）は、デコードされた残差データおよびインター予測情報に基づいて、デコードされたブロックを生成することができ、イントラ・エンコーダ（722）は、デコードされた残差データおよびイントラ予測情報に基づいて、デコードされたブロックを生成することができる。デコードされたブロックは、デコードされたピクチャーを生成するために好適に処理され、デコードされたピクチャーは、メモリ回路（図示せず）内でバッファリングされ、いくつかの例では参照ピクチャーとして使用されることができる。
【0113】
エントロピー・エンコーダ（725）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ（725）は、HEVC規格のような好適な標準に従ってさまざまな情報を含めるように構成される。一例では、エントロピー・エンコーダ（725）は、全般制御データ、選択された予測情報（たとえば、イントラ予測情報またはインター予測情報）、残差情報、および他の好適な情報をビットストリーム内に含めるように構成される。開示される主題によれば、インター・モードまたは双予測モードのいずれかのマージ・サブモードにおいてブロックを符号化する場合は、残差情報は存在しないことを注意しておく。
【0114】
図8は、本開示の別の実施形態によるビデオ・デコーダ（810）の図を示す。ビデオ・デコーダ（810）は、符号化されたビデオ・シーケンスの一部である符号化されたピクチャーを受領し、符号化されたピクチャーをデコードして、再構成されたピクチャーを生成するように構成される。一例では、ビデオ・デコーダ（810）は、図4の例におけるビデオ・デコーダ（410）の代わりに使用される。
【0115】
図8の例では、ビデオ・デコーダ（810）は、エントロピー・デコーダ（871）、インター・デコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラ・デコーダ（872）が図8に示されるように一緒に結合されたものを含む。
【0116】
エントロピー・デコーダ（871）は、符号化されたピクチャーから、その符号化されたピクチャーが構成されるシンタックス要素を表わすある種のシンボルを再構成するように構成されることができる。そのようなシンボルは、たとえば、ブロックが符号化されるモード（たとえば、イントラ・モード、インター・モード、双予測モード、マージ・サブモードまたは別のサブモードにおける後者の2つ）、イントラ・デコーダ（872）またはインター・デコーダ（880）によってそれぞれ予測のために使用されるある種のサンプルまたはメタデータを同定することができる予測情報（たとえば、イントラ予測情報またはインター予測情報など）、たとえば量子化された変換係数の形の残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードである場合、インター予測情報がインター・デコーダ（880）に提供され；予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ（872）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（873）に提供される。
【0117】
インター・デコーダ（880）は、インター予測情報を受領し、該インター予測情報に基づいてインター予測結果を生成するように構成される。
【0118】
イントラ・デコーダ（872）は、イントラ予測情報を受領し、該イントラ予測情報に基づいて予測結果を生成するように構成される。
【0119】
残差デコーダ（873）は、逆量子化を実行して量子化解除された変換係数を抽出し、量子化解除された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（873）はまた、ある種の制御情報（量子化器パラメータ（QP）を含む）をも必要とすることがあり、その情報は、エントロピー・デコーダ（871）によって提供されてもよい（これは、低ボリュームの制御情報のみであるため、データ経路は描かれていない）。
【0120】
再構成モジュール（874）は、空間領域において、残差デコーダ（873）によって出力される残差と、予測結果（場合に応じてイントラまたはインター予測モジュールによって出力される）とを組み合わせて、再構成されたブロックを形成するように構成され、該再構成されたブロックは再構成されたピクチャーの一部であってもよく、該再構成されたピクチャーは再構成されたビデオの一部であってもよい。視覚的品質を改善するためにブロッキング解除動作などの他の好適な動作が実行されることができることを注意しておく。
【0121】
なお、ビデオ・エンコーダ（403）、（603）、（703）、およびビデオ・デコーダ（410）、（510）、（810）は、任意の好適な技法を用いて実装できる。ある実施形態では、ビデオ・エンコーダ（403）、（603）、（703）およびビデオ・デコーダ（410）、（510）、（810）は、一つまたは複数の集積回路を使用して実装できる。別の実施形態では、ビデオ・エンコーダ（403）、（603）、（603）、およびビデオ・デコーダ（410）、（510）、（810）は、ソフトウェア命令を実行する一つまたは複数のプロセッサを使用して実装できる。
【0122】
本開示は、インターおよびイントラ予測のある幾何学的パーティション・モード（GPM）に関する。いくつかの実施形態では、インターおよび／またはイントラ予測がGPMのために許容されるときには、一つまたは複数のイントラ予測モードおよび／またはイントラ予測が、幾何学的パーティションのために有効ではないことがある。
【0123】
ITU-T VCEG（Q6/16）およびISO/IEC MPEG（JTC 1/SC29/WG11）は、2013年（バージョン1）、2014年（バージョン2）、2015年（バージョン3）、2016年（バージョン4）にH.265/HEVC（High Efficiency Video Coding［高効率ビデオ符号化］）規格を公表した。2015年には、両標準機関が合同でJVET（Joint Video Exploration Team［合同ビデオ探査チーム］）を結成し、HEVCを越えた次のビデオ符号化規格の開発の可能性を探った。2017年10月、両標準機関は、HEVCを超える能力をもつビデオ圧縮に関する合同での提案募集（Joint Call for Proposals on Video Compression with Capability beyond HEVC）（CfP）を発表した。2018年2月15日までに、標準ダイナミックレンジ（SDR）に関する22のCfP応答、高ダイナミックレンジ（HDR）に関する12のCfP応答、および360のビデオ・カテゴリーに関する12のCfP応答がそれぞれ提出された。2018年4月には、122 MPEG/第10回JVET会合において、すべての受領されたCfP応答が評価された。この会合の結果、JVETは、HEVCを超えた次世代ビデオ符号化の標準化プロセスを正式に立ち上げ、この新しい規格は多用途ビデオ符号化（Versatile Video Coding、VVC）と名付けられ、JVETは合同ビデオ専門アチーム（Joint Video Experts Team）と改称された。2020年、ITU-T VCEG（Q6/16）およびISO/IEC MPEG（JTC1/SC29/WG11）は、VVCビデオ符号化規格（バージョン1）を公表した。
【0124】
インター予測では、各インター予測された符号化単位（CU）について、たとえばインター予測されたサンプル生成のために使用されるVVCの符号化特徴のために、動きパラメータが必要とされる。動きパラメータは、動きベクトル、参照ピクチャー・インデックス、参照ピクチャー・リスト使用インデックス、および／または追加情報を含むことができる。動きパラメータは、明示的または暗黙的に信号伝達できる。CUがスキップ・モードで符号化される場合、CUは1つのPUと関連付けられることができ、有意な残差係数、符号化された動きベクトル・デルタ、および／または参照ピクチャー・インデックスは必要とされないことがある。CUがマージ・モードで符号化される場合、CUのための動きパラメータは近傍CUから得ることができる。近傍CUは、空間的および時間的候補、およびVVCにおいて導入されるような追加的スケジュール（または追加的候補）を含むことができる。マージ・モードは、スキップ・モードだけでなく、任意のインター予測されるCUに適用できる。マージ・モードの代替は、動きパラメータの明示的な伝送であり、ここで、動きベクトル、各参照ピクチャー・リストについての対応する参照ピクチャー・インデックス、参照ピクチャー・リスト使用フラグ、および／または他の必要とされる情報が、CUごとに明示的に信号伝達されることができる。
【0125】
VVCでは、VVC試験モデル（VVC Test model、VTM）参照ソフトウェアは、以下のうちの一つまたは複数を含むことができる、いくつかの新しい洗練されたインター予測符号化ツールを含むことができる：
（1）拡張マージ予測
（2）マージ動きベクトル差分（Merge motion vector difference、MMVD）
（3）対称MVD信号伝達を用いるAMVPモード
（4）アフィン動き補償予測
（5）サブブロック・ベースの時間的動きベクトル予測（Subblock-based temporal motion vector prediction、SbTMVP）
（6）適応動きベクトル分解能（Adaptive motion vector resolution、AMVR）
（7）動きフィールド・ストレージ：1/16ルーマ・サンプルMV記憶および8×8動きフィールド圧縮
（8）CUレベルの重みを用いた双予測（Bi-prediction with CU-level weights、BCW）
（9）双方向オプティカルフロー（Bi-directional optical flow、BDOF）
（10）デコーダ側動きベクトル洗練（Decoder side motion vector refinement、DMVR）
（11）複合インター・イントラ予測（Combined inter and intra prediction、CIIP）
（12）幾何学的パーティション分割モード（Geometric partitioning mode、GPM）
（1）拡張マージ予測
（2）マージ動きベクトル差分（Merge motion vector difference、MMVD）
（3）対称MVD信号伝達を用いるAMVPモード
（4）アフィン動き補償予測
（5）サブブロック・ベースの時間的動きベクトル予測（Subblock-based temporal motion vector prediction、SbTMVP）
（6）適応動きベクトル分解能（Adaptive motion vector resolution、AMVR）
（7）動きフィールド・ストレージ：1/16ルーマ・サンプルMV記憶および8×8動きフィールド圧縮
（8）CUレベルの重みを用いた双予測（Bi-prediction with CU-level weights、BCW）
（9）双方向オプティカルフロー（Bi-directional optical flow、BDOF）
（10）デコーダ側動きベクトル洗練（Decoder side motion vector refinement、DMVR）
（11）複合インター・イントラ予測（Combined inter and intra prediction、CIIP）
（12）幾何学的パーティション分割モード（Geometric partitioning mode、GPM）
【0126】
マージ候補リストは、VTM4でのように5つのタイプの候補を含めることによって構築できる。マージ候補リストは次の順序で構築できる：
1）空間的近傍CUからの空間的MVP、
2）共位置のCUからの時間的MVP、
3）FIFOテーブルからの履歴ベースのMVP、
4）対ごとの平均MVP、
5）ゼロMV。
1）空間的近傍CUからの空間的MVP、
2）共位置のCUからの時間的MVP、
3）FIFOテーブルからの履歴ベースのMVP、
4）対ごとの平均MVP、
5）ゼロMV。
【0127】
マージ・リストのサイズは、スライス・ヘッダで信号伝達できる。マージ・リストの最大許容サイズは、VTM4でのように、6にすることができる。マージ・モードで符号化される各CUについて、最良のマージ候補のインデックスが、たとえば打ち切りされた単項二進化（truncated unary binarization）を用いてエンコードできる。マージ・インデックスの第1のビンはコンテキストを用いて符号化でき、他のビンについてはバイパス符号化が使用できる。
【0128】
空間的候補導出において、たとえばVVCでは、空間的マージ候補の導出は、HEVCにおける空間的マージ候補の導出と同じまたは同様でありうる。マージ候補の最大数（たとえば、4つのマージ候補）は、たとえば図9に示される位置に位置する候補のうちから選択できる。図9に示されるように、現在ブロック（901）は、位置A0、A1、B0、B1、およびB2にそれぞれ位置する近傍ブロック（902）～（906）を含むことができる。空間的マージ候補の導出の順序は、B1、A1、B0、A0、およびB2とすることができる。位置B2は、位置A0、B0、B1、またはA1のいずれかのCU（またはブロック）が利用可能でない場合（たとえば、そのCUが別のスライスまたはタイルに属するため）、またはイントラ符号化されている場合にのみ考慮されうる。位置A1の候補（またはブロック）が追加された後、残りの候補（またはブロック）の追加は、冗長性検査を受けることができる。冗長性検査は、符号化効率が改善されるように、同じ動き情報をもつ候補がマージ・リストから除外されることを保証することができる。計算複雑性を低減するために、冗長性検査はすべての可能な候補対を考慮しなくてもよい。代わりに、図10における矢印で結ばれた候補対のみが考慮されてもよい。たとえば、冗長性検査は、A1とB1の候補対およびA1とA0の候補対のような5つの候補対に適用できる。マージ・リストに候補が追加されうるのは、冗長性検査のために使用される対応する候補が同じ動き情報を含まない場合のみである。たとえば、候補B0は、対応する候補B1が同じ動き情報を含まない場合にのみ、マージ・リストに追加されうる。
【0129】
時間的候補の導出では、1つの候補だけがマージ・リストに追加されうる。たとえば、図11に示されるように、現在CU（1114）についての時間的マージ候補の導出において、共位置の参照ピクチャー（1112）に属する共位置のCU（1104）に基づいて、スケーリングされた動きベクトルが導出されうる。共位置のCU（1104）の導出のために使用される参照ピクチャー・リストは、スライス・ヘッダにおいて明示的に信号伝達されることができる。時間的マージ候補のためのスケーリングされた動きベクトルは、図11の点線（1102）によって示されるように得ることができ、それは、ピクチャー順カウント（POC）距離tbおよびtdを用いて、共位置のCU（1104）の動きベクトルからスケーリングされる。tbは、現在ピクチャーの参照ピクチャー（たとえば、Curr_ref）（1106）と現在ピクチャー（たとえば、Curr_pic）（1108）との間のPOC差として定義できる。tdは、共位置のピクチャー（たとえば、Col_ref）（1110）と共位置のピクチャー（たとえば、Col_pic）（1112）との間のPOC差として定義できる。時間的マージ候補の参照ピクチャー・インデックスはゼロに設定できる。
【0130】
時間的候補についての位置は、図12に示されるように、候補C0およびC1の間で選択できる。たとえば、位置C0におけるCUが利用可能でない、イントラ符号化されている、または現在のCTU行の外にある場合、位置C1が使用できる。それ以外の場合、位置C0が時間的マージ候補の導出において使用できる。
【0131】
インター予測のために幾何学的パーティション・モード（GPM）を適用することができる。GPMは、ある種のサイズのCU、たとえば8×8のサイズまたは8×8より大きいサイズをもつCUにのみ適用されうる。GPMは、たとえばCUレベルのフラグを使用して信号伝達されることができ、マージ・モードの一種として作用することができる。他のマージ・モードは、通常マージ・モード、MMVDモード、CIIPモード、および／またはサブブロック・マージ・モードを含むことができる。
【0132】
GPMが使用される場合、複数のパーティション態様の1つを使用することにより、CUを2つの幾何学的形状のパーティションに分割することができる。分割態様は、角度および／またはエッジによって区別できる。ある実施形態では、64個の異なる分割態様がGPMにおいて適用できる。64個の異なる分割態様は、0°から360°までの間の非一様量子化された24個の角度と、CUの中心に対する4つまでのエッジとによって区別できる。図13は、GPMにおいて適用される24個の例示的な角度を示す。図14は、CU（1402）内のインデックス3をもつ角度に関連付けられる4つの例示的な可能なパーティション・エッジを示し、各パーティション・エッジは、それぞれの距離インデックスに関連付けられることができる。距離インデックスは、CU（1402）の中心に対する距離を示すことができる。GPMでは、CU内の各幾何学的パーティションは、それぞれの動きベクトルを用いてインター予測されることができる。さらに、各パーティションについては、単予測のみが許される場合がある。たとえば、各パーティションは、1つの動きベクトルと1つの参照インデックスを有することができる。各パーティションについて単予測動きのみが許されるという制約は、各CUについて2つの動き補償された予測が必要とされるだけであることを保証することができ、それは従来の双予測にも適用される。
【0133】
現在CUについてGPMが使用される場合、幾何学的パーティション・インデックスを示す信号と、2つのマージ・インデックス（各パーティションについて1つ）がさらに信号伝達されることができる。最大GPM候補サイズは、たとえばスライス・レベルで明示的に、信号伝達されることができる。最大GPM候補サイズは、GPMマージ・インデックスについての構文二進化を指定できる。2つの幾何学的パーティションのそれぞれが予測された後、幾何学的パーティション・エッジに沿ったサンプル値は、適応重みを用いるブレンド・プロセスを用いて調整されることができる。よって、ブレンド・プロセス後にCU全体についての予測信号が生成できる。他の予測モードではCU全体にさらに変換および量子化プロセスが適用されることができる。さらに、GPMを用いて予測されたCUの動きフィールドが記憶されることができる。
【0134】
VVCでのように圧縮効率をさらに改善するために、デコーダ側で動きを洗練するテンプレート・マッチング（TM）を利用することができる。TMモードでは、左および上の近傍の再構成されたサンプルからテンプレートを構築することによって動きが洗練され、現在ピクチャーにおけるテンプレートと参照フレームとの間の最も近い一致を決定することができる。
【0135】
TMは、GPMに適用できる。CUがGPMで符号化されるとき、TMが幾何学的パーティションのための各動きを洗練するために適用されるかどうかを決定することができる。TMが選択されるとき、左および上の近傍サンプルを用いてテンプレートが構築でき、現在のテンプレートと、参照フレーム内の同じテンプレート・パターンをもつ参照領域との間の最良一致を見出すことによって、動きをさらに洗練することができる。洗練された動きは、幾何学的パーティションについての動き補償を実行するために使用されることができ、さらに動きフィールドに記憶されることができる。
【0136】
GPMは、VVCを越えて符号化性能を向上させるために、インターおよびイントラ予測をサポートするように適用できる。たとえば、GPM適用されたCU内の各幾何学的パーティションについてのマージ候補リストからの動きベクトルに加えて、幾何学的分割線に対する（または関する）あらかじめ定義されたイントラ予測モードが選択できる。各幾何学的パーティションについて、フラグに基づいて、イントラ予測モードまたはインター予測モードが決定されることができる。インター予測が選択されると、マージ候補リストからMVによって単予測信号が生成されることができる。そうではなく、イントラ予測モードが選択される場合は、イントラ予測モードの指定されたインデックスから予測される近傍サンプルから、単予測信号が生成されることができる。可能なイントラ予測モードの変動は、幾何学的形状によって制約されることができる。最後に、2つの単予測信号が通常のGPMと同様にブレンドされることができる。
【0137】
複雑さと信号伝達オーバーヘッドを低減するために、可能なイントラ予測モードの変動を調べる（または定義する）ことができる。たとえば、可能なイントラ予測モードの変動が、インターおよびイントラ予測のあるGPMに及ぼす影響を、2つの例示的な構成について調べた。第1の構成は、幾何学的分割線に対して（または関して）平行なおよび垂直な方向のモードのみを試した。幾何学的分割線に対して（または関して）平行なおよび垂直なイントラ角度モードに加えて、第2の構成では、平面（Planar）モードも試された。2つまたは3つの可能なイントラ予測モードが、インターおよびイントラ予測のあるGPMにおける幾何学的パーティションについて試された。
【0138】
関連する例では、イントラ予測モードがGPMのために選択される場合、イントラ予測モードがGPMの2つの幾何学的パーティションについて使用されるか否かを示すために、フラグが信号伝達されることができる。ある幾何学的パーティションが、イントラ予測モードを用いて近傍サンプルから予測を生成すると示される場合、ある量の可能なイントラ予測モードのみが使用できる。たとえば、平行モード、垂直モード、および平面モードのような、インターおよびイントラ予測のあるGPMのための3つまでの可能なイントラ予測モードが適用できる。一般に、限られた数のイントラ予測モードは、より低い符号化効率につながる可能性がある。インターおよびイントラ予測のあるGPMについてすべてのイントラ予測モードを許容することも、より低い効率につながる可能性がある。いくつかのイントラ予測モードが利用可能でない、または効率的でない可能性があるためである。
【0139】
本開示では、現在ブロックの近傍サンプル、たとえばGPMに基づく現在ブロックの幾何学的パーティションに直接隣接する近傍の再構成されたサンプルに応じて、インターおよびイントラ予測のあるGPMにおけるイントラ予測の使用に関する制約が適用されることができる。いくつかの実施形態では、現在ブロックのある幾何学的パーティションについてイントラ予測が許容できるかどうかは、現在ブロックのその幾何学的パーティションにすぐ隣接する近傍の再構成されたサンプルの数に基づくことができる。
【0140】
GPMモードにおけるイントラ予測の使用は制約されてもよい。たとえば、幾何学的パーティションの直近の再構成されたピクセル（または、現在ブロックにすぐ隣接する近傍の再構成されたサンプル）の数が閾値未満および／またはそれに等しい場合、イントラ予測は許容されなくてもよい。そのような場合、幾何学的パーティションは、インター予測を使用するだけであってもよい。現在ブロックにすぐ隣接する近傍の再構成されたサンプルは、左、上、左上、および／または右上の近傍サンプルを含むことができる。さらに、イントラ／インター予測を示すフラグは、信号伝達されなくてもよい。一例では、閾値は0であってもよい。別の例では、閾値は、現在ブロックの形状および／またはサイズに基づくことができる。たとえば、閾値は、W/4、H/4、（W＋H）/4などでありうる。Wは現在ブロックの幅であってもよく、Hは現在ブロックの高さであってもよい。
【0141】
本開示では、現在ブロックの近傍サンプル、たとえばGPMに基づく現在ブロックの幾何学的パーティションにすぐ隣接する近傍の再構成されたサンプルに応じて、インターおよびイントラ予測のあるGPMにおける可能なイントラ予測モードの制約が適用されることができる。いくつかの実施形態では、現在ブロックの幾何学的パーティションにすぐ隣接する近傍の再構成されたサンプルの数が閾値未満である場合、現在ブロックの幾何学的パーティションについてのイントラ予測モードは許容されなくてもよい。ここで、イントラ予測モードは、近傍の再構成されたサンプルから（またはそれに基づいて）生成される。
【0142】
いくつかの可能なイントラ予測モードの使用は制約されてもよい。たとえば、一つまたは複数の可能なイントラ予測モードのうち、現在ブロックの幾何学的パーティションにすぐに隣接する近傍の再構成されたサンプル（たとえば、現在ブロックの左または上の近傍の再構成されたサンプル）の数が閾値未満および／または閾値に等しい場合には、許容されなくてもよい。ある実施形態では、幾何学的パーティションにすぐ隣接する左の近傍の再構成されたサンプルの数が閾値未満および／または閾値に等しい場合、幾何学的パーティションの左の近傍サンプルを必要とする（またはそれに基づく）イントラ予測モードは利用不能であってもよく、利用不能としてマーク付けされることができる。別の例では、幾何学的パーティションにすぐ隣接する上の近傍サンプルの数が閾値未満および／または閾値に等しい場合、幾何学的パーティションの上の近傍の再構成されたサンプルから生成されるイントラ予測モードは利用不能であってもよく、利用不能としてマーク付けされることができる。さらに、上述のイントラ予測モードの制約規則は、MPMリスト内のイントラ予測モード（またはMPM候補）にも適用されることができる。制約ルールに関しては満足されるMPMリスト内のMPM候補が、使用不能とマーク付けされてもよい。
【0143】
ある実施形態では、一つまたは複数の可能なイントラ予測モードの使用を制約するために使用される閾値は、0または正の整数値でありうる。閾値が正の整数値である場合、閾値は現在CU（または現在ブロック）の幅または高さから導出されることができる。現在ブロックの制約された幾何学的パーティションのために、すべての可能なイントラ予測モードが信号伝達されることは求められなくてもよい。信号伝達オーバーヘッドを低減するために、幾何学的パーティションについて、前記可能なイントラ予測モードの縮小された部分集合が信号伝達されることができる。
【0144】
ある実施形態では、広角イントラ予測（wide-angle intra prediction、WAIP）の制約されたイントラ予測モードは、イントラ予測モード・デコード・プロセスの後に、左または上の近傍サンプルの利用可能性に応じて、再マッピング（または再ラベル付け）されることができる。
【0145】
ある実施形態では、MPM候補に関する情報は、すべてのMPM候補が、インターおよびイントラ予測のあるGPMにおいてCU（または現在ブロック）について利用可能ではない場合には、信号伝達されなくてもよい。CUのために利用可能なイントラ予測モードは、直接信号伝達されることができる。
【0146】
本開示において、現在CUの左上ルーマ・サンプルを含まない現在CU（または現在ブロック）の幾何学的パーティションについて、イントラ予測のために使用される直近の再構成されたサンプルの数が閾値未満および／または閾値に等しい場合、イントラ予測は、現在CUの幾何学的パーティションについて使用されなくてもよい。直近の再構成されたサンプルは、現在CUのイントラ予測のために使用される（i）上および左のサンプル、（ii）上、左、および左上のサンプル、または（iii）上、左、左上、および右上のサンプルでありうる。閾値は、ゼロまたは正の整数値であってもよい。閾値がゼロ値でない場合、閾値は、現在CUの幅（またはW）および／または高さ（またはH）から導出されることができる。
【0147】
図15A～15Cは、現在ブロックにおいて、インターおよびイントラのあるGMPについてイントラ予測が無効化されることができる3つの例を示す。直近の再構成されたサンプルは、現在ブロックの上および／または左のサンプルであってもよい。図15Aに示されるように、閾値がゼロでない場合（たとえば、（W＋H）/4）、現在ブロック（1502）の幾何学的パーティションB（またはPB）についてのイントラ予測は許容されなくてもよい。パーティションBの直近のサンプルの数が0であるからである。Wは現在ブロックの幅であってもよく、Hは現在ブロックの高さであってもよい。一例では、W＝H＝32である。図15Bでは、現在ブロック（1504）の幾何学的パーティションB（またはPB）についてのイントラ予測は、パーティションBの直近のサンプルの数がW/4であるため、許容されなくてもよい。図15Cでは、現在ブロック（1506）の幾何学的パーティションB（またはPB）についてのイントラ予測は、パーティションBの直近のサンプルの数が（W＋H）/8であるため、許容されなくてもよい。
【0148】
可能なイントラ予測モードは、現在ブロックの近傍の再構成されたサンプルが現在ブロックの幾何学的パーティションにすぐ隣接するかどうかに基づいて、現在ブロックの幾何学的パーティションについて制約されることができる。一例では、イントラ予測のための上の近傍の再構成されたサンプルが幾何学的パーティションにすぐ隣接していない場合、上の近傍の再構成されたサンプルを必要とするイントラ予測モードは、その幾何学的パーティションについて使用されなくてもよい。別の例では、左の近傍の再構成されたサンプルを必要とするイントラ予測モードが使用されなくてもよい。このように、上述の制約に基づいて、図16Aに示される現在ブロック（1602）のパーティションB（またはPB）について、現在ブロック（1602）の左の近傍サンプルに基づくイントラ予測モードは許容されなくてもよい。パーティションPBは、左の近傍の再構成されたサンプルのいずれにも隣接していないため、イントラ予測モードは許容されなくてもよい。
【0149】
可能なイントラ予測モードに対する上記の制約は、現在ブロックの幾何学的パーティションにすぐ隣接する上または左の近傍の再構成されたサンプルの数に基づくように拡張されることができる。近傍サンプルの数が閾値未満および／またはそれに等しい場合、近傍サンプルから生成されるイントラ予測子は使用できない。例示的な実施形態が、図16B～16Cに示されることができ、ここでは、閾値は、W/4またはH/4であってもよく、隣接する近傍サンプルの数は、対応するイントラ予測モードが利用可能である場合、W/4またはH/4よりも大きいべきである。図16Bに示されるように、現在ブロック（1604）のパーティションA（またはPA）の隣接する左の近傍サンプルの数は、H/8であり、これは、閾値H/4未満である。よって、左の近傍の再構成されたサンプルを必要とするイントラ予測モードは、パーティションA（またはPA）については利用可能ではない。現在ブロック（1604）のパーティションB（またはPB）については、上の近傍サンプルは、パーティションB（またはPB）にすぐ隣接していない。よって、上の隣接サンプルに基づく対応するイントラ予測モードは、パーティションB（またはPB）について利用可能でない。図16Cでは、上の近傍の再構成されたサンプルが使用されるイントラ予測モードは、現在ブロック（1606）のパーティションB（またはPB）について利用可能ではない。図16Dでは、現在ブロック（1608）のパーティションA（またはPA）は、対応するイントラ予測モードを生成するために左の近傍サンプルをしてもよい。隣接する左の近傍サンプルの数がH/4であり、これが閾値H/4以下であるためである。加えて、上の近傍サンプルを必要とするイントラ予測モードは、現在ブロック（1608）のパーティションB（またはPB）については利用可能ではない。
【0150】
イントラ予測モードは、幾何学的パーティションに隣接する近傍サンプルに基づいて制約されることができる。たとえば、イントラ予測モードは、幾何学的パーティションにすぐ隣接する上または左の近傍の再構成されたサンプルの数に基づいて制約されることができる。上の近傍サンプルから生成されるイントラ予測が許容されない場合、gpmイントラ上フラグ（たとえば、gpmIntraTop）が偽として示されることができる。同様に、左の近傍サンプルから生成されるイントラ予測が許容されない場合、gpmイントラ左フラグ（たとえば、gpmIntraLeft）が偽として示されることができる。該2つの信号は、デフォルトでは真として設定されることができる。MPM候補ではないイントラ角度モードは、gmpイントラ上フラグ（たとえばgpmIntraTop）またはgpmイントラ左フラグ（たとえばgpmIntraLeft）が真である場合、信号伝達オーバーヘッドを減らすために、限定された範囲で反時計回りの順序でエンコードされることができる。イントラ角度モードの制約のため、イントラ予測のあるGPMのための例示的なイントラ予測モード・デコード・プロセスは、以下のようなセマンティクスにおいて示されることができる。
IntraPredModeY[xCb][yCb]は、以下の順序付けられたステップによって導出できる：
i. IntraPredModeY[xCb][yCb]はintra_luma_mpm_remainder[xCb][yCb]に等しいように設定される。
ii. IntraPredModeY[xCb][yCb]は以下のように修正できる。
・gpmIntraTopが偽である場合は、次が適用される：
・nHがnWより大きい場合、IntraPredModeY[xCb][yCb]は、（IntraPredModeY[xCb][yCb]－（(whRatio＞1)?(6＋2*whRatio):6））に等しいように設定される。
・IntraPredModeY[xCb][yCb]が0未満である場合、IntraPredModeY[xCb][yCb]は（predModeIntra＋67）に等しいように設定される。
・それ以外の場合（たとえば、gpmIntraTopが真）、gpmIntraLeftが偽である場合は、次が適用される：
・nWがnHより大きい場合、IntraPredModeY[xCb][yCb]は、（IntraPredModeY[xCb][yCb]＋33＋（(whRatio＞1)?(8＋2*whRatio):8））に等しいように設定される。
・それ以外の場合（たとえば、nWがnH以下）、IntraPredModeY[xCb][yCb]は、（IntraPredModeY[xCb][yCb]＋33）に等しいように設定される。
・IntraPredModeY[xCb][yCb]が66より大きい場合、IntraPredModeY[xCb][yCb]は（predModeIntra－65）に等しいように設定される。
・それ以外の場合（たとえば、gpmIntraTopが真であり、gpmIntaLeftが真）、IntraPredModeY[xCb][yCb]は修正されない。
iii. IntraPredModeY[xCb][yCb]の値が1だけインクリメントされる。
iv. 0ないし4に等しいiについて、IntraPredModeY[xCb][yCb]がcandModeList[i]以上である場合、IntraPredModeY[xCb][yCb]の値は1だけインクリメントされる。
ここで、intra_luma_mpm_remainder[xCb][yCb]は、MPMリストのエンティティに属さないイントラ予測モードを指定する。
IntraPredModeY[xCb][yCb]は、以下の順序付けられたステップによって導出できる：
i. IntraPredModeY[xCb][yCb]はintra_luma_mpm_remainder[xCb][yCb]に等しいように設定される。
ii. IntraPredModeY[xCb][yCb]は以下のように修正できる。
・gpmIntraTopが偽である場合は、次が適用される：
・nHがnWより大きい場合、IntraPredModeY[xCb][yCb]は、（IntraPredModeY[xCb][yCb]－（(whRatio＞1)?(6＋2*whRatio):6））に等しいように設定される。
・IntraPredModeY[xCb][yCb]が0未満である場合、IntraPredModeY[xCb][yCb]は（predModeIntra＋67）に等しいように設定される。
・それ以外の場合（たとえば、gpmIntraTopが真）、gpmIntraLeftが偽である場合は、次が適用される：
・nWがnHより大きい場合、IntraPredModeY[xCb][yCb]は、（IntraPredModeY[xCb][yCb]＋33＋（(whRatio＞1)?(8＋2*whRatio):8））に等しいように設定される。
・それ以外の場合（たとえば、nWがnH以下）、IntraPredModeY[xCb][yCb]は、（IntraPredModeY[xCb][yCb]＋33）に等しいように設定される。
・IntraPredModeY[xCb][yCb]が66より大きい場合、IntraPredModeY[xCb][yCb]は（predModeIntra－65）に等しいように設定される。
・それ以外の場合（たとえば、gpmIntraTopが真であり、gpmIntaLeftが真）、IntraPredModeY[xCb][yCb]は修正されない。
iii. IntraPredModeY[xCb][yCb]の値が1だけインクリメントされる。
iv. 0ないし4に等しいiについて、IntraPredModeY[xCb][yCb]がcandModeList[i]以上である場合、IntraPredModeY[xCb][yCb]の値は1だけインクリメントされる。
ここで、intra_luma_mpm_remainder[xCb][yCb]は、MPMリストのエンティティに属さないイントラ予測モードを指定する。
【0151】
上述のセマンティクスに示されるように、現在ブロックの第1のパーティションの第1の予測モードは、MPM残余におけるイントラ予測モード（たとえば、intra_luma_mpm_remainder[xCb][yCb]）として決定されるあらかじめ定義されたイントラ予測モード（たとえば、IntraPredModeY[xCb][yCb]）でありうる。gpmイントラ上フラグ（たとえば、gpmIntraTop）が偽である場合、現在ブロックの高さ（たとえば、nH）が現在ブロックの幅（たとえば、nW）よりも大きければ、第1の予測モードは、（i）現在ブロックの幅と1以下の現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードから6を引いたものとして、（ii）現在ブロックの幅と現在ブロックの高さの比が1よりも大きいことに基づいて、あらかじめ定義されたイントラ予測モード－（6＋2×現在ブロックの幅と現在ブロックの高さの比）として決定されることができる。別の例では、あらかじめ定義されたイントラ予測モードがゼロ未満であることに応答して、第1の予測モードは、あらかじめ定義されたイントラ予測モードに67を加えたものと等しくなるように決定されることができる。
【0152】
別の実施形態では、gpmイントラ上フラグ（たとえば、gpmIntraTop）が真であり、gpmイントラ左フラグ（たとえば、gpmIntraLeft）が偽である場合、一例では、現在ブロックの幅（たとえば、nW）が現在ブロックの高さ（たとえば、nH）よりも大きいことに応答して、第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードと33と8の和として、（ii）現在ブロックの幅と現在ブロックの高さの比が1よりも大きいことに基づいて、あらかじめ定義されたイントラ予測モードと33と（8＋2×現在ブロックの幅と現在ブロックの高さの比）の和として決定されることができる。別の例では、現在ブロックの幅が現在ブロックの高さ以下であることに基づいて、第1の予測モードは、あらかじめ定義されたイントラ予測モードに33を加えたものと等しくなるように決定されることができる。さらに別の例では、あらかじめ定義されたイントラ予測モードが66より大きいことに基づいて、第1の予測モードはあらかじめ定義されたイントラ予測モードから65を引いたものに等しくなるように決定されることができる。
【0153】
図17は、本開示のいくつかの実施形態による、例示的なデコード・プロセス（1700）の概要を示すフローチャートを示す。図18は、本開示のいくつかの実施形態による、例示的なエンコード・プロセス（1800）の概略を示すフローチャートを示す。提案されたプロセスは、別々に使用されてもよく、または任意の順序で組み合わされてもよい。さらに、プロセス（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路（たとえば、一つまたは複数のプロセッサ、または一つまたは複数の集積回路）によって実装されてもよい。一例では、前記一つまたは複数のプロセッサは、非一時的なコンピュータ読み取り可能な媒体に記憶されたプログラムを実行する。
【0154】
プロセス（たとえば、（1700）および（1800））の動作は、所望に応じて、任意の量または順序で組み合わされ、または配置されることができる。実施形態において、プロセス（たとえば、（1700）および（1800））の動作のうちの2つ以上が並列に実行されてもよい。
【0155】
プロセス（たとえば、（1700）および（1800））は、ブロックの再構成および／またはエンコードにおいて、再構成中のブロックについての予測ブロックを生成するために使用されてもよい。さまざまな実施形態において、プロセス（たとえば、（1700）および（1800））は、端末装置（310）、（320）、（330）および（340）における処理回路、ビデオエンコーダ（403）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、ビデオデコーダ（510）の機能を実行する処理回路、ビデオエンコーダ（603）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（たとえば、（1600）および（1700））は、ソフトウェア命令において実装され、よって、処理回路が該ソフトウェア命令を実行すると、処理回路は、プロセス（たとえば、（1600）および（1700））を実行する。
【0156】
図17に示されるように、プロセス（1700）は、（S1701）から開始し、（S1710）に進むことができる。（S1710）では、ビデオの現在ピクチャー内の現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受領されることができる。
【0157】
（S1720）では、現在ブロックは、幾何学的パーティション・モード（GPM）に基づいて、第1のパーティションと第2のパーティションに分割されることができる。
【0158】
（S1730）では、現在ブロックの第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも大きいことに基づいて決定されることができる。閾値は、GPMのために少なくとも1つのイントラ予測モードが利用可能であることに対応することができる。
【0159】
（S1740）では、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも小さいことに応答して、（i）現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグが、符号化されたビデオ・ビットストリームにおいて信号伝達されないと決定されることができ、（ii）第1の予測モードは、符号化されたビットストリームにおいて現在ブロックがイントラ符号化されているかインター符号化されているかを示すフラグをデコードすることなく、インター予測モードとして推定されることができる。
【0160】
（S1750）では、現在ブロックの第1のパーティションは、第1の予測モードに基づいて再構成されることができる。
【0161】
いくつかの実施形態では、第1のパーティションに隣接する近傍の再構成されたサンプルは、左の近傍の再構成されたサンプル、上の近傍の再構成されたサンプル、左上の近傍の再構成されたサンプル、または右上の近傍の再構成されたサンプルのうちの少なくとも1つを含むことができる。
【0162】
いくつかの実施形態では、閾値は、ゼロ、正の整数、現在ブロックのサイズに基づく値、および現在ブロックの形状に基づく値のうちの1つでありうる。
【0163】
一例では、閾値は、W/4、H/4、および（W＋H）/4のうちの1つを含むことができる。Wは現在ブロックの幅であってもよく、Hは現在ブロックの高さであってもよい。
【0164】
現在ブロックの第2のパーティションについての第2の予測モードは、第2のパーティションに隣接する近傍の再構成されたサンプルの第2の数が前記閾値よりも大きいことに基づいて決定されうる。現在ブロックの第2のパーティションは、第2の予測モードに基づいてさらに再構成されることができる。
【0165】
プロセス（1700）において、第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値以下であることに基づいて、第1のインター予測モードとして決定されうる。第1のパーティションについての第2の予測モードは、第2のパーティションに隣接する近傍の再構成されたサンプルの第2の数が前記閾値以下であることに基づいて、第2のインター予測モードとして決定されうる。
【0166】
一例では、第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する左の近傍の再構成されたサンプルの前記第1の数が前記閾値以下である場合、第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測モードではないと決定されることができる。
【0167】
別の例では、第1のパーティションについての第1の予測モードは、第1のパーティションに隣接する上の近傍の再構成されたサンプルの前記第1の数が前記閾値以下である場合、第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づいくイントラ予測モードではないと決定されることができる。
【0168】
いくつかの実施形態では、前記符号化された情報は、さらに、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測に対応するかどうかを示す第1のフラグと、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測に対応するかどうかを示す第2のフラグとを含むことができる。
【0169】
ある実施形態では、第1のフラグが、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測モードではないことを示す場合、一例では、現在ブロックの高さが現在ブロックの幅よりも大きいことに応答して、第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードから6を引いたものとして、（ii）現在ブロックの幅と現在ブロックの高さの比が1よりも大きいことに基づいて、あらかじめ定義されたイントラ予測モード－（6＋2×現在ブロックの幅と現在ブロックの高さの比）として決定されることができる。別の例では、あらかじめ定義されたイントラ予測モードがゼロ未満であることに応答して、第1の予測モードは、あらかじめ定義されたイントラ予測モードに67を加えたものと等しくなるように決定されることができる。
【0170】
別の実施形態では、第1のフラグが、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する上の近傍の再構成されたサンプルに基づくイントラ予測に対応することを示し、第2のフラグが、第1のパーティションについての第1の予測モードが第1のパーティションに隣接する左の近傍の再構成されたサンプルに基づくイントラ予測モードではないことを示す場合、一例では、現在ブロックの幅が現在ブロックの高さよりも大きいことに応答して、第1の予測モードは、（i）現在ブロックの幅と現在ブロックの高さの比が1以下であることに基づいて、あらかじめ定義されたイントラ予測モードと33と8の和として、（ii）現在ブロックの幅と現在ブロックの高さの比が1より大きいことに基づいて、あらかじめ定義されたイントラ予測モードと33と（8＋2×現在ブロックの幅と現在ブロックの高さの比）として決定されることができる。別の例では、現在ブロックの幅が現在ブロックの高さ以下であることに基づいて、第1の予測モードは、あらかじめ定義されたイントラ予測モードに33を加えたものと等しくなるように決定されることができる。さらに別の例では、あらかじめ定義されたイントラ予測モードが66より大きいことに基づいて、第1の予測モードはあらかじめ定義されたイントラ予測モードから65を引いたものに等しくなるように決定されることができる。
【0171】
プロセス（1700）は、好適に適応されうる。プロセス（1700）におけるステップは、修正および／または省略されうる。追加的なステップが追加されてもよい。任意の好適な実施順序が使用できる。
【0172】
図18に示されるように、プロセス（1800）は、（S1801）から開始し、（S1810）に進むことができる。（S1810）では、ビデオの現在ピクチャーにおける現在ブロックが、幾何学的パーティション・モード（GPM）に基づいて、少なくとも第1のパーティションと第2のパーティションに分割されることができる。
【0173】
（S1820）では、現在ブロックの第1のパーティションについての第1の予測モードが、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値よりも大きいことに基づいて決定されることができる。閾値は、GPMのために少なくとも1つのイントラ予測モードが利用可能であること対応することができる。
【0174】
（S1830）では、現在ブロックの第2のパーティションについての第2の予測モードが、第2のパーティションに隣接する近傍の再構成されたサンプルの第2の数が前記閾値よりも大きいことに基づいて決定されることができる。
【0175】
（S1840）では、第1の予測モードに基づいて現在ブロックの第1のパーティションについての予測サンプル値が決定されることができ、第2の予測モードに基づいて現在ブロックの第2のパーティションについての予測サンプル値が決定されることができる。
【0176】
（S1850）では、現在ブロックの符号化情報（coding information）が生成されることができる。符号化情報は、現在ブロックの第1のパーティションの第1の予測モードおよび現在ブロックの第2のパーティションの第2の予測モードが、現在ブロックに隣接する近傍の再構成されたサンプルの数に基づいて決定されることを示すことができる。符号化情報は、第1のパーティションに隣接する近傍の再構成されたサンプルの第1の数が閾値より小さいことに基づいて、現在ブロックがイントラ符号化されるかインター符号化されるかを示すフラグを含んでいなくてもよい。
【0177】
その後、プロセスは（S1899）に進み、終了する。
【0178】
プロセス（1800）は、好適に適応されうる。プロセス（1800）におけるステップは、修正および／または省略されうる。追加的なステップが追加されてもよい。任意の好適な実施順序が使用できる。
【0179】
上述の技法は、コンピュータ読み取り可能な命令を用いてコンピュータ・ソフトウェアとして実装することができ、一つまたは複数のコンピュータ読み取り可能な媒体に物理的に記憶されることができる。たとえば、図19は、開示された主題のある種の実施形態を実施するのに好適なコンピュータ・システム（1900）を示す。
【0180】
コンピュータ・ソフトウェアは、任意の好適な機械コードまたはコンピュータ言語を用いてコーディングされることができ、アセンブリ、コンパイル、リンク、または同様の機構の対象とされて、一つまたは複数のコンピュータ中央処理ユニット（CPU）、グラフィックス処理ユニット（GPU）などによって、直接的に、またはインタープリット、マイクロコード実行などを通じて実行可能な命令を含むコードを作成することができる。
【0181】
命令は、たとえば、パーソナルコンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム装置、モノのインターネット装置等を含むさまざまなタイプのコンピュータまたはそのコンポーネント上で実行されることができる。
【0182】
コンピュータ・システム（1900）について図19に示されるコンポーネントは、例としての性質であり、本開示の実施形態を実装するコンピュータ・ソフトウェアの使用または機能の範囲に関する制限を示唆することを意図したものではない。コンポーネントの構成も、コンピュータ・システム（1900）の例示的実施形態において示されているコンポーネントの任意の1つまたは組み合わせに関する何らかの依存性または要件を有するものとして解釈されるべきではない。
【0183】
コンピュータ・システム（1900）は、ある種のヒューマン・インターフェース入力装置を含むことができる。そのようなヒューマン・インターフェース入力装置は、たとえば、触覚入力（たとえば、キーストローク、スワイプ、データグローブの動き）、音声入力（たとえば、声、拍手）、視覚入力（たとえば、ジェスチャー）、嗅覚入力（図示せず）を通じた一または複数の人間ユーザーによる入力に応答することができる。また、ヒューマン・インターフェース装置は、音声（たとえば、発話、音楽、周囲の音）、画像（たとえば、スキャンされた画像、スチール画像カメラから得られる写真画像）、ビデオ（たとえば、2次元ビデオ、立体視ビデオを含む3次元ビデオ）のような、人間による意識的入力に必ずしも直接関係しないある種のメディアを捕捉するために使用できる。
【0184】
入力ヒューマン・インターフェース装置は、キーボード（1901）、マウス（1902）、トラックパッド（1903）、タッチスクリーン（1910）、データグローブ（図示せず）、ジョイスティック（1905）、マイクロフォン（1906）、スキャナ（1907）、カメラ（1908）の一つまたは複数（それぞれの一つしか図示していない）を含んでいてもよい。
【0185】
コンピュータ・システム（1900）はまた、ある種のヒューマン・インターフェース出力装置を含んでいてもよい。そのようなヒューマン・インターフェース出力装置は、たとえば、触覚出力、音、光、および臭い／味を通じて、一または複数の人間ユーザーの感覚を刺激するものであってもよい。そのようなヒューマン・インターフェース出力装置は、触覚出力装置（たとえば、タッチスクリーン（1910）、データグローブ（図示せず）、またはジョイスティック（1905）による触覚フィードバック；ただし、入力装置のはたらきをしない触覚フィードバック装置もありうる）、音声出力装置（たとえば、スピーカー（1909）、ヘッドフォン（図示せず））、視覚出力装置（たとえば、CRT画面、LCD画面、プラズマスクリーン、OLED画面を含む画面（1910）；それぞれはタッチスクリーン入力機能があってもなくてもよく、それぞれは触覚フィードバック機能があってもなくてもよく、そのうちのいくつかは、2次元の視覚出力または立体視出力のような手段を通じた3次元より高い出力を出力することができる；仮想現実感眼鏡（図示せず）、ホログラフィーディスプレイおよび煙タンク（図示せず））、およびプリンタ（図示せず）を含んでいてもよい。
【0186】
コンピュータ・システム（1900）はまた、人間がアクセス可能な記憶装置および関連する媒体、たとえば、CD/DVDまたは類似の媒体（1921）とともにCD/DVD ROM/RW（1920）を含む光学式媒体、サムドライブ（1922）、取り外し可能なハードドライブまたはソリッドステートドライブ（1923）、テープおよびフロッピーディスクといったレガシー磁気媒体（図示せず）、セキュリティ・ドングルのような特化したROM/ASIC/PLDベースの装置（図示せず）などを含むことができる。
【0187】
当業者はまた、現在開示されている主題に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
【0188】
コンピュータ・システム（1900）はまた、一つまたは複数の通信ネットワーク（1955）へのインターフェース（1954）を含むことができる。ネットワークは、たとえば、無線、有線、光学式でありうる。ネットワークは、さらに、ローカル、広域、都市圏、車載および工業用、リアルタイム、遅延耐性などでありうる。ネットワークの例は、イーサネット〔登録商標〕、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラー・ネットワーク、ケーブルテレビ、衛星テレビ、地上放送テレビを含むTV有線または無線の広域デジタルネットワーク、CANBusを含む車載および工業用などを含む。ある種のネットワークは、普通、ある種の汎用データ・ポートまたは周辺バス（1949）（たとえば、コンピュータ・システム（1900）のUSBポートなど）に取り付けられる外部ネットワーク・インターフェース・アダプターを必要とする。他は、普通、後述するようなシステム・バスへの取り付けによって、コンピュータ・システム（1900）のコアに統合される（たとえば、PCコンピュータ・システムへのイーサネット・インターフェースまたはスマートフォン・コンピュータ・システムへのセルラー・ネットワーク・インターフェース）。これらのネットワークのいずれかを使用して、コンピュータ・システム（1900）は、他のエンティティと通信することができる。そのような通信は、一方向性、受信のみ（たとえば、放送テレビ）、一方向性送信専用（たとえば、ある種のCANbus装置へのCANbus）、または、たとえば、ローカルまたは広域デジタルネットワークを使用する他のコンピュータ・システムへの双方向性であってもよい。上述のようなそれらのネットワークおよびネットワークインターフェースのそれぞれで、ある種のプロトコルおよびプロトコルスタックが使用できる。
【0189】
前述のヒューマン・インターフェース装置、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータ・システム（1900）のコア（1940）に取り付けることができる。
【0190】
コア（1940）は、一つまたは複数の中央処理装置（CPU）（1941）、グラフィックス処理装置（GPU）（1942）、フィールドプログラマブルゲートアレイ（FPGA）（1943）の形の特化したプログラマブル処理装置、ある種のタスクのためのハードウェアアクセラレータ（1944）、グラフィック・アダプター（1950）などを含むことができる。これらの装置は、読み出し専用メモリ（ROM）（1945）、ランダムアクセスメモリ（1946）、内部のユーザー・アクセス可能でないハードドライブ、ソリッドステートドライブ（SSD）などの内部大容量記憶装置（1947）とともに、システム・バス（1948）を通じて接続されうる。いくつかのコンピュータ・システムでは、追加のCPU、GPUなどによる拡張を可能にするために、システム・バス（1948）は、一つまたは複数の物理プラグの形でアクセス可能であってもよい。周辺装置は、コアのシステム・バス（1948）に直接取り付けられることも、周辺バス（1949）を通じて取り付けられることもできる。一例では、グラフィック・アダプター（1950）に画面（1910）が接続されることができる。周辺バスのためのアーキテクチャーは、PCI、USBなどを含む。
【0191】
CPU（1941）、GPU（1942）、FPGA（1943）、およびアクセラレータ（1944）は、組み合わせて上述のコンピュータコードを構成することができるある種の命令を、実行することができる。そのコンピュータコードは、ROM（1945）またはRAM（1946）に記憶できる。一時的データも、RAM（1946）に記憶されることができ、一方、持続的データは、たとえば、内部大容量記憶装置（1947）に記憶されることができる。一つまたは複数のCPU（1941）、GPU（1942）、大容量記憶装置（1947）、ROM（1945）、RAM（1946）などと密接に関連付けることができるキャッシュメモリを使用することを通じて、メモリデバイスのいずれかへの高速な記憶および取り出しを可能にすることができる。
【0192】
コンピュータ読み取り可能な媒体は、さまざまなコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、または、コンピュータ・ソフトウェア分野の技術を有する者に周知であり利用可能な種類のものであってもよい。
【0193】
限定ではなく一例として、アーキテクチャー（1900）、具体的にはコア（1940）を有するコンピュータ・システムは、プロセッサ（CPU、GPU、FPGA、アクセラレータ等を含む）が一つまたは複数の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行することの結果として、機能性を提供することができる。そのようなコンピュータ読み取り可能媒体は、上記で紹介したようなユーザー・アクセス可能な大容量記憶ならびにコア内部の大容量記憶装置（1947）またはROM（1945）のような非一時的な性質のコア（1940）のある種の記憶に関連する媒体であることができる。本開示のさまざまな実施形態を実装するソフトウェアは、そのような装置に記憶され、コア（1940）によって実行されることができる。コンピュータ読み取り可能媒体は、特定のニーズに応じて、一つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、RAM（1946）に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定の特定部分を、コア（1940）および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に実行させることができる。追加的または代替的に、コンピュータ・システムは、回路（たとえば、アクセラレータ（1944））内に配線された、または他の仕方で具現された論理の結果として機能性を提供することができ、これは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定部分を実行するためのソフトウェアの代わりに、またはそれと一緒に動作することができる。ソフトウェアへの言及は、論理を含み、適宜その逆も可能である。コンピュータ読み取り可能媒体への言及は、適宜、実行のためのソフトウェアを記憶する回路（たとえば集積回路（IC））、実行のための論理を具現する回路、またはその両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の好適な組み合わせを包含する。
【0194】
付録A：頭字語
JEM: joint exploration model（共同探査モデル）
VVC: versatile video coding（多用途ビデオ符号化）
BMS: benchmark set（ベンチマークセット）
MV: Motion Vector（動きベクトル）
HEVC: High Efficiency Video Coding（高効率ビデオ符号化）
SEI: Supplementary Enhancement Information（補足向上情報）
VUI: Video Usability Information（ビデオ操作性情報）
GOP: Group of Pictures（ピクチャーグループ）
TU: Transform Unit（変換単位）
PU: Prediction Unit（予測単位）
CTU: Coding Tree Unit（符号化ツリー単位）
CTB: Coding Tree Block（符号化ツリーブロック）
PB: Prediction Block（予測ブロック）
HRD: Hypothetical Reference Decoder（仮設参照デコーダ）
SNR: Signal Noise Ratio（信号雑音比）
CPU: Central Processing Unit（中央処理装置）
GPU: Graphics Processing Unit（グラフィックス処理ユニット）
CRT: Cathode Ray Tube（陰極線管）
LCD: Liquid-Crystal Display（液晶ディスプレイ）
OLED: Organic Light-Emitting Diode（有機発光ダイオード）
CD: Compact Disc（コンパクトディスク）
DVD: Digital Video Disc（デジタルビデオディスク）
ROM: Read-Only Memory（読み出し専用メモリ）
RAM: Random Access Memory（ランダムアクセスメモリ）
ASIC: Application-Specific Integrated Circuit（特定用途向け集積回路）
PLD: Programmable Logic Device（プログラマブルロジックデバイス）
LAN: Local Area Network（ローカルエリアネットワーク）
GSM: Global System for Mobile communications（グローバル移動通信システム）
LTE: Long-Term Evolution（ロングタームエボリューション）
CANBus: Controller Area Network Bus（コントローラエリアネットワークバス）
USB: Universal Serial Bus（ユニバーサルシリアルバス）
PCI: Peripheral Component Interconnect（ペリフェラルコンポーネント相互接続）
FPGA: Field Programmable Gate Areas（フィールド・プログラマブル・ゲート・エリア）
SSD: solid-state drive（ソリッドステートドライブ）
IC: Integrated Circuit（集積回路）
CU: Coding Unit（符号化単位）
JEM: joint exploration model（共同探査モデル）
VVC: versatile video coding（多用途ビデオ符号化）
BMS: benchmark set（ベンチマークセット）
MV: Motion Vector（動きベクトル）
HEVC: High Efficiency Video Coding（高効率ビデオ符号化）
SEI: Supplementary Enhancement Information（補足向上情報）
VUI: Video Usability Information（ビデオ操作性情報）
GOP: Group of Pictures（ピクチャーグループ）
TU: Transform Unit（変換単位）
PU: Prediction Unit（予測単位）
CTU: Coding Tree Unit（符号化ツリー単位）
CTB: Coding Tree Block（符号化ツリーブロック）
PB: Prediction Block（予測ブロック）
HRD: Hypothetical Reference Decoder（仮設参照デコーダ）
SNR: Signal Noise Ratio（信号雑音比）
CPU: Central Processing Unit（中央処理装置）
GPU: Graphics Processing Unit（グラフィックス処理ユニット）
CRT: Cathode Ray Tube（陰極線管）
LCD: Liquid-Crystal Display（液晶ディスプレイ）
OLED: Organic Light-Emitting Diode（有機発光ダイオード）
CD: Compact Disc（コンパクトディスク）
DVD: Digital Video Disc（デジタルビデオディスク）
ROM: Read-Only Memory（読み出し専用メモリ）
RAM: Random Access Memory（ランダムアクセスメモリ）
ASIC: Application-Specific Integrated Circuit（特定用途向け集積回路）
PLD: Programmable Logic Device（プログラマブルロジックデバイス）
LAN: Local Area Network（ローカルエリアネットワーク）
GSM: Global System for Mobile communications（グローバル移動通信システム）
LTE: Long-Term Evolution（ロングタームエボリューション）
CANBus: Controller Area Network Bus（コントローラエリアネットワークバス）
USB: Universal Serial Bus（ユニバーサルシリアルバス）
PCI: Peripheral Component Interconnect（ペリフェラルコンポーネント相互接続）
FPGA: Field Programmable Gate Areas（フィールド・プログラマブル・ゲート・エリア）
SSD: solid-state drive（ソリッドステートドライブ）
IC: Integrated Circuit（集積回路）
CU: Coding Unit（符号化単位）
【0195】
本開示は、いくつかの例示的実施形態を記載してきたが、変更、置換、およびさまざまな代替等価物があり、それらは本開示の範囲内にはいる。よって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現し、よって、本開示の精神および範囲内にある多くのシステムおよび方法を考案することができることが理解されるであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16A】
【図16B】
【図16C】
【図16D】
【図17】
【図18】
【図19】