特表 2024-509611 改善されたイントラ・モード符号化のための方法、装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-04

(54)【発明の名称】改善されたイントラ・モード符号化のための方法、装置およびプログラム

(51)【国際特許分類】

   H04N 19/11 20140101AFI20240226BHJP

   H04N 19/157 20140101ALI20240226BHJP

   H04N 19/176 20140101ALI20240226BHJP

   H04N 19/70 20140101ALI20240226BHJP

【ＦＩ】

H04N19/11

H04N19/157

H04N19/176

H04N19/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023555771

(86)(22)【出願日】2022-08-18

(85)【翻訳文提出日】2023-09-12

(86)【国際出願番号】 US2022075135

(87)【国際公開番号】W WO2023107760

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】63/286,979

(32)【優先日】2021-12-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/888,558

(32)【優先日】2022-08-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リー，リン

(72)【発明者】

【氏名】リウ，シャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159RC12

5C159TA31

5C159TB08

5C159TC27

5C159TC42

5C159TD02

5C159TD05

5C159UA16

(57)【要約】

ビデオ・デコーダにおいて実行されるビデオ・デコードの方法において、現在ブロックおよび現在ブロックの近傍ブロックの符号化された情報が、符号化ビデオ・ビットストリームから受領される。最確モード（MPM）リストが現在ブロックから生成される。MPMリストは、現在ブロックの近傍ブロックのイントラ・モードに基づいて決定されるイントラ・モードを含む。近傍ブロックの勾配値およびコスト値の一方が、MPMリストのイントラ・モードに基づいて計算される。MPMリストのイントラ・モードは、近傍ブロックの勾配値およびコスト値の前記一方に基づいてソートされ、MPMリストにおける各イントラ・モードは、前記勾配値およびコスト値のうちのそれぞれのものに関連付けられる。さらに、現在ブロックは、MPMリストに基づいて再構成される。

【特許請求の範囲】

【請求項1】

ビデオ・デコーダによって実行されるビデオ・デコードの方法であって、当該方法は：
現在ブロックおよび現在ブロックの近傍ブロックの符号化された情報を、符号化ビデオ・ビットストリームから受領する段階と；
現在ブロックについての最確モード（MPM）リストを生成する段階であって、前記MPMリストは、現在ブロックの近傍ブロックのイントラ・モードに基づいて決定されるイントラ・モードを含む、段階と；
前記近傍ブロックの勾配値およびコスト値の一方を、前記MPMリストのイントラ・モードに基づいて計算する段階と；
前記MPMリストのイントラ・モードを、前記近傍ブロックの前記勾配値および前記コスト値の前記一方に基づいてソートする段階であって、前記MPMリストにおける各イントラ・モードは、前記勾配値および前記コスト値のうちのそれぞれのものに関連付けられる、段階と；
現在ブロックを、前記MPMリストに基づいて再構成する段階とを含む、
方法。

【請求項2】

前記勾配値は勾配のヒストグラム（HoG）に対応し、
前記MPMリストのイントラ・モードをソートすることはさらに：
前記MPMリストのイントラ・モードを、前記近傍ブロックのHoGに基づいて降順でソートすることを含み、最も高いHoGに関連付けられた前記MPMリストのイントラ・モードが、前記MPMリストの最初の項目である、請求項１に記載の方法。

【請求項3】

前記MPMリストのイントラ・モードをソートすることはさらに：
前記MPMリストのイントラ・モードを、前記近傍ブロックのコスト値に基づいて昇順でソートすることを含み、最小のコスト値に関連付けられた前記MPMリストのイントラ・モードが、前記MPMリストの最初の項目である、請求項１に記載の方法。

【請求項4】

前記MPMリストのイントラ・モードをソートすることはさらに：
最も高いHoGに関連付けられた前記イントラ・モードのうちの第1のイントラ・モードと、2番目に高いHoGに関連付けられた前記イントラ・モードのうちの第2のイントラ・モードを決定する段階と；
（ｉ）前記第1のイントラ・モードが前記近傍ブロックのうちの左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうか、および（ｉｉ）前記第2のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なるかどうかを判定する段階と；
前記第1のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、前記第1のイントラ・モードを、前記MPMリストの他のイントラ・モードがソートされた後に前記MPMリストに追加する段階と；
前記第2のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、前記第2のイントラ・モードを、前記MPMリストにおいて最後の項目として追加する段階とを含む、
請求項２に記載の方法。

【請求項5】

前記MPMリストのイントラ・モードをソートすることはさらに：
最小のコスト値に関連付けられた前記イントラ・モードのうちの第1のイントラ・モードと、2番目に小さいコスト値に関連付けられた前記イントラ・モードのうちの第2のイントラ・モードを決定する段階と；
（ｉ）前記第1のイントラ・モードが前記近傍ブロックのうちの左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうか、および（ｉｉ）前記第2のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なるかどうかを判定する段階と；
前記第1のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、前記第1のイントラ・モードを、前記MPMリストの他のイントラ・モードがソートされた後に追加する段階と；
前記第2のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、前記第2のイントラ・モードを、前記MPMリストにおいて最後の項目として追加する段階とを含む、
請求項３に記載の方法。

【請求項6】

前記符号化された情報からMPMインデックスをデコードする段階と；
現在ブロックのイントラ・モードを、前記MPMインデックスおよび前記MPMリストに基づいて決定する段階であって、前記MPMインデックスは、前記MPMリストにおけるどのイントラ・モードが現在ブロックをイントラ符号化するために適用されるかを示す、段階とをさらに含む、
請求項１に記載の方法。

【請求項7】

非MPMリストのイントラ・モードを、前記非MPMリストのイントラ・モードに基づいて計算された前記近傍ブロックのHoGおよびコスト値の一方に基づいてソートする段階をさらに含み、前記非MPMリストにおけるイントラ・モードのそれぞれは、HoGおよびコスト値のうちのそれぞれのものに関連付けられる、請求項２に記載の方法。

【請求項8】

前記非MPMリストのイントラ・モードをソートすることが：
前記非MPMリストのイントラ・モードを、前記近傍ブロックのHoGに基づいて降順でソートすることを含み、最も高いHoGに関連付けられた前記非MPMリストのイントラ・モードが、前記非MPMリストの最初の項目である、
請求項７に記載の方法。

【請求項9】

前記非MPMリストのイントラ・モードをソートすることが：
前記非MPMリストのイントラ・モードを、前記近傍ブロックのコスト値に基づいて昇順でソートすることを含み、最も小さいコスト値に関連付けられた前記非MPMリストのイントラ・モードが、前記非MPMリストの最初の項目である、
請求項７に記載の方法。

【請求項10】

請求項１ないし９のうちいずれか一項に記載の方法を実行するように構成された処理回路を有する装置。

【請求項11】

少なくとも1つのプロセッサに請求項１ないし９のうちいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

引用による組み込み
本願は、2022年8月16日に出願された米国特許出願第17/888,558号「改善されたイントラ・モード符号化のための方法および装置」の優先権の利益を主張するものであり、同出願は、2021年12月7日に出願された米国仮出願第63/286,979号「イントラ・モード符号化の改善」の優先権の利益を主張する。先行出願の開示はここに参照により、その全体において組み込まれる。

【0002】

技術分野
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。

【背景技術】

【0003】

本明細書で提供される背景説明は、本開示の文脈を概括的に提示するためのものである。本願で名前が挙がっている発明者の仕事であってその仕事がこの背景セクションに記載されている範囲におけるもの、また、他の意味で出願時に先行技術として適格でないことがありうる本記述の諸側面は、明示的にも暗黙的にも本開示に対する先行技術として認められない。

【0004】

ビデオ符号化および復号は、動き補償のあるピクチャー間予測を使用して実行できる。非圧縮デジタル・ビデオは、一連のピクチャーを含むことができ、各ピクチャーは、たとえば1920×1080のルミナンス・サンプルおよび関連するクロミナンス・サンプルの空間的寸法を有する。一連のピクチャーは、固定または可変のピクチャー・レート（非公式にはフレーム・レートとしても知られる）、たとえば、60ピクチャー毎秒または60Hzを有することができる。非圧縮のビデオは、特定のビットレート要件を有する。たとえば、サンプル当たり8ビットの1080p60 4:2:0ビデオ（60Hzのフレーム・レートでの1920×1080のルミナンス・サンプル解像度）は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。

【0005】

ビデオの符号化および復号の1つの目的は、圧縮による入力ビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅および／または記憶スペースの要求を、場合によっては2桁以上も低減するのに役立つことがある。可逆圧縮および不可逆圧縮の両方、ならびにそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮されたもとの信号から、もとの信号の正確なコピーが再構成できる技術をいう。不可逆圧縮を使用する場合、再構成された信号は、もとの信号と同一ではないことがありうるが、もとの信号と再構成された信号との間の歪みは、再構成された信号を意図された用途のために有用にするのに十分小さい。ビデオの場合、不可逆圧縮が広く用いられている。許容される歪みの量はアプリケーションに依存し、たとえば、ある種の消費者ストリーミングアプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い許容可能／認容可能な歪みはより高い圧縮比をもたらすことができる、ということを反映できる。

【0006】

ビデオ・エンコーダおよびデコーダは、たとえば動き補償、変換、量子化、およびエントロピー符号化を含むいくつかの広範なカテゴリーからの技術を利用することができる。

【0007】

ビデオ・コーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、以前に再構成された参照ピクチャーからのサンプルまたは他のデータを参照することなく表現される。いくつかのビデオ・コーデックでは、ピクチャーは空間的にサンプルのブロックに分割される。サンプルのすべてのブロックがイントラ・モードで符号化される場合、そのピクチャーはイントラ・ピクチャーでありうる。イントラ・ピクチャーと、独立デコーダ・リフレッシュ・ピクチャーのようなその派生物は、デコーダ状態をリセットするために使用でき、よって、符号化ビデオ・ビットストリームおよびビデオセッションにおける最初のピクチャーとして、または静止画像として使用できる。イントラ・ブロックのサンプルを変換にかけることができ、変換係数は、エントロピー符号化の前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術でありうる。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピー符号化後のブロックを表わすために所与の量子化ステップサイズで必要とされるビット数が少なくなる。

【0008】

たとえばMPEG-2世代の符号化技術から知られているような伝統的なイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、たとえば、空間的に近傍であり、デコード順で先行するデータのブロックのエンコードおよび／またはデコード中に得られた周囲のサンプル・データおよび／またはメタデータから試みる技術を含む。そのような技法は、以下では「イントラ予測」技法と呼ばれる。少なくともいくつかの場合には、イントラ予測は再構成中の現在ピクチャーからの参照データのみを使用し、参照ピクチャーからの参照データは使用しないことに注意されたい。

【0009】

さまざまな形のイントラ予測がありうる。所与のビデオ符号化技術において、そのような技法の二つ以上が使用できる場合、使用される技法は、イントラ予測モードにおいて符号化されることができる。ある種の場合には、モードは、サブモードおよび／またはパラメータを有することができ、それらは、個別に符号化されることができ、またはモード符号語に含められることができる。所与のモード、サブモードおよび／またはパラメータの組み合わせのためにどの符号語を使用するかは、イントラ予測を通して符号化効率利得に影響を与える可能性があり、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も同様に影響を与える可能性がある。

【0010】

イントラ予測のあるモードがH.264で導入され、H.265で洗練され、共同探査モデル（JEM）、多用途ビデオ符号化（VVC）、およびベンチマークセット（BMS）のようなより新しい符号化技術においてさらに洗練された。予測子ブロックは、すでに利用可能なサンプルに属する近傍サンプル値を使用して形成されることができる。近傍サンプルのサンプル値が、ある方向に従って予測子ブロックにコピーされる。使用される方向への参照は、ビットストリームにおいて符号化されることができ、またはそれ自身予測されてもよい。

【0011】

図1を参照すると、右下に、H.265の33個の可能な予測子方向（35個のイントラ・モードのうち33個の角度モードに対応する）から知られている9個の予測子方向のサブセットが描かれている。矢印が収束する点（101）は、予測されるサンプルを表わす。矢印は、サンプルが予測される方向を表わす。たとえば、矢印（102）は、サンプル（101）が、水平から45度の角度の右上のサンプル（単数または複数）から予測されることを示す。同様に、矢印（103）は、サンプル（101）が、水平から22.5度の角度の、サンプル（101）の左下のサンプル（単数または複数）から予測されることを示す。

【0012】

引き続き図1を参照すると、左上には、4×4サンプルの正方形ブロック（104）が描かれている（太い破線で示されている）。正方形ブロック（104）は、16個のサンプルを含み、各サンプルは「S」とY次元におけるその位置（たとえば、行インデックス）およびX次元におけるその位置（たとえば、列インデックス）でラベル付けされている。たとえば、サンプルS21は、Y次元の（上から）第2のサンプルであり、X次元の（左から）最初のサンプルである。同様に、サンプルS44は、YおよびX次元の両方においてブロック（104）内の第4のサンプルである。ブロックが4×4サンプルのサイズなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、Rと、ブロック（104）に対するそのY位置（たとえば、行インデックス）およびX位置（列インデックス）でラベル付けされる。H.264とH.265の両方において、予測サンプルは再構成中のブロックの近傍であり、そのため負の値を使用する必要はない。

【0013】

ピクチャー内予測は、信号伝達される予測方向によって充当される近傍サンプルから参照サンプル値をコピーすることによって機能できる。たとえば、符号化ビデオ・ビットストリームは、このブロックについて、矢印（102）と整合する予測方向を示す信号伝達を含むと想定する。すなわち、サンプルは、水平から45度の角度の右上のサンプルまたは予測サンプルから予測される。その場合、サンプルS41、S32、S23、およびS14は、同じ参照サンプルR05から予測される。次いで、サンプルS44は、参照サンプルR08から予測される。

【0014】

ある種の場合には、特に方向が45度で割り切れない場合には、参照サンプルを計算するために、複数の参照サンプルの値が、たとえば補間によって組み合わされることができる。

【0015】

ビデオ符号化技術の発達に伴い、可能な方向の数が増加してきた。H.264（2003年）では、9つの異なる方向が表現できた。これは、H.265（2013年）では33に増加し、本開示の時点でのJEM/VVC/BMSは、最大65の方向をサポートできる。最も可能性の高い方向を同定するために実験が行われ、より可能性の低い方向についてのあるペナルティを受け入れつつ、それらの可能性の高い方向を少数のビットで表現するために、エントロピー符号化におけるある種の技法が使用される。さらに、方向自身が、近傍のすでにデコードされたブロックで使用された近傍方向から予測できることがある。

【0016】

図2は、時間とともに増加する予測方向の数を示すために、JEMによる65個のイントラ予測方向を描く概略図（201）を示している。

【0017】

符号化ビデオ・ビットストリームにおける、方向を表わすイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なることがあり、たとえば、予測方向のイントラ予測モードへの単純な直接的マッピングから、符号語、最確モードに関わる複雑な適応方式、および同様の技法までありうる。しかしながら、すべての場合において、ビデオコンテンツにおいて、他のある種の方向よりも統計的に起こりにくいある種の方向が存在しうる。ビデオ圧縮の目標は冗長性の低減であるので、良好に機能するビデオ符号化技術においては、そうしたより可能性の低い方法は、より可能性の高い方向よりもより多くのビット数によって表わされる。

【発明の概要】

【発明が解決しようとする課題】

【0018】

本開示の諸側面は、ビデオ・エンコード／デコードのための方法および装置を提供する。いくつかの例では、ビデオ・デコードのための装置は、受領回路および処理回路を含む。

【課題を解決するための手段】

【0019】

本開示のある側面によれば、ビデオ・デコーダにおいて実行されるビデオ・デコードの方法が提供される。本方法では、現在ブロックおよび現在ブロックの近傍ブロックの符号化された情報が、符号化ビデオ・ビットストリームから受領されることができる。最確モード（most probable mode、MPM）リストが現在ブロックから生成されることができる。MPMリストは、現在ブロックの近傍ブロックのイントラ・モードに基づいて決定されるイントラ・モードを含むことができる。近傍ブロックの勾配値およびコスト値の一方が、MPMリストのイントラ・モードに基づいて計算されることができる。MPMリストのイントラ・モードは、近傍ブロックの勾配値およびコスト値の前記一方に基づいてソートされることができ、MPMリストにおける各イントラ・モードは、前記勾配値およびコスト値のうちのそれぞれのものに関連付けられることができる。さらに、現在ブロックは、MPMリストに基づいて再構成されることができる。

【0020】

いくつかの実施形態では、前記勾配値は勾配のヒストグラム（histogram of gradients、HoG）に対応することができる。よって、MPMリストのイントラ・モードをソートすることはさらに、MPMリストのイントラ・モードを、近傍ブロックのHoGに基づいて降順でソートすることを含むことができる。最も高いHoGに関連付けられたMPMリストのイントラ・モードが、MPMリストの最初の項目であることができる。

【0021】

いくつかの実施形態では、MPMリストのイントラ・モードをソートするために、MPMリストのイントラ・モードは、近傍ブロックのコスト値に基づいて昇順でソートされることができる。最小のコスト値に関連付けられたMPMリストのイントラ・モードが、MPMリストの最初の項目であることができる。

【0022】

いくつかの実施形態では、MPMリストのイントラ・モードをソートするために、最も高いHoGに関連付けられた諸イントラ・モードのうちの第1のイントラ・モードと、2番目に高いHoGに関連付けられた諸イントラ・モードのうちの第2のイントラ・モードが決定されることができる。さらに、（ｉ）第1のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうか、および（ｉｉ）第2のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうかを決定するための判別が行われることができる。第1のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なることに応答して、第1のイントラ・モードは、MPMリストの他のイントラ・モードがソートされた後にMPMリストに追加されることができる。第2のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なることに応答して、第2のイントラ・モードは、MPMリストにおいて最後の項目として追加されることができる。

【0023】

いくつかの実施形態では、MPMリストのイントラ・モードをソートするために、最小のコスト値に関連付けられた諸イントラ・モードのうちの第1のイントラ・モードと、2番目に小さいコスト値に関連付けられた諸イントラ・モードのうちの第2のイントラ・モードが決定されることができる。（ｉ）第1のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうか、および（ｉｉ）第2のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうかを決定するための判別が行われることができる。第1のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なることに応答して、第1のイントラ・モードは、MPMリストの他のイントラ・モードがソートされた後に追加されることができる。第2のイントラ・モードが近傍ブロックのうちの左近傍ブロックのイントラ・モードおよび近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なることに応答して、第2のイントラ・モードは、MPMリストにおいて最後の項目として追加されることができる。

【0024】

本方法では、MPMインデックスはさらに、前記符号化された情報から符号化されることができる。現在ブロックのイントラ・モードは、MPMインデックスおよびMPMリストに基づいて決定されることができる。ここで、MPMインデックスは、MPMリストにおけるどのイントラ・モードが現在ブロックをイントラ符号化するために適用されるかを示すことができる。

【0025】

いくつかの実施形態では、非MPMリストのイントラ・モードが、該非MPMリストのイントラ・モードに基づいて計算された近傍ブロックのHoGおよびコスト値の一方に基づいてソートされることができる。ここで、非MPMリストにおけるイントラ・モードのそれぞれは、HoGおよびコスト値のうちのそれぞれのものに関連付けられることができる。

【0026】

一例では、非MPMリストのイントラ・モードをソートするために、非MPMリストのイントラ・モードは近傍ブロックのHoGに基づいて降順でソートされることができる。ここで、最も高いHoGに関連付けられた非MPMリストのイントラ・モードが、非MPMリストの最初の項目であることができる。

【0027】

別の例では、非MPMリストのイントラ・モードをソートするために、非MPMリストのイントラ・モードは近傍ブロックのコスト値に基づいて昇順でソートされることができる。ここで、最も小さいコスト値に関連付けられた非MPMリストのイントラ・モードが、非MPMリストの最初の項目であることができる。

【0028】

本開示の別の側面によれば、装置が提供される。装置は、処理回路を有する。処理回路は、ビデオ符号化のための前記方法のうちのいずれかを実行するように構成されることができる。

【0029】

本開示の諸側面はまた、ビデオ・デコードのためにコンピュータによって実行されたときに、該コンピュータにビデオ復号のための前記方法のいずれかを実行させる命令を記憶している非一時的なコンピュータ読み取り可能な媒体を提供する。

【図面の簡単な説明】

【0030】

開示された主題のさらなる特徴、性質、およびさまざまな利点は、以下の詳細な説明および添付の図面からより明白になるであろう。

【0031】

【図1】イントラ予測モードの例示的なサブセットの概略図である。

【0032】

【図2】例示的なイントラ予測方向の説明図である。

【0033】

【図3】ある実施形態による通信システムの簡略化されたブロック図の概略図である。

【0034】

【図4】ある実施形態による通信システム（400）の簡略化されたブロック図の概略図である。

【0035】

【図5】ある実施形態によるデコーダの簡略化されたブロック図の概略図である。

【0036】

【図6】ある実施形態によるエンコーダの簡略化されたブロック図の概略図である。

【0037】

【図7】別の実施形態によるエンコーダのブロック図を示す。

【0038】

【図8】別の実施形態によるデコーダのブロック図を示す。

【0039】

【図9】ある実施形態によるテンプレート・ベースのイントラ・モード導出（TIMD）の概略図である。

【0040】

【図10】本開示のいくつかの実施形態による、イントラ・モード符号化における現在の符号化単位の近傍符号化単位を示す。

【0041】

【図11】本開示のいくつかの実施形態による、例示的なデコード・プロセスを概説するフローチャートである。

【0042】

【図12】本開示のいくつかの実施形態による、例示的なエンコード・プロセスを概説するフローチャートである。

【0043】

【図13】ある実施形態によるコンピュータ・システムの概略図である。

【発明を実施するための形態】

【0044】

図3は、本開示のある実施形態による通信システム（300）の簡略化されたブロック図を示す。通信システム（300）は、たとえばネットワーク（350）を介して互いに通信することができる複数の端末装置を含む。たとえば、通信システム（300）は、ネットワーク（350）を介して相互接続された第1の対の端末装置（310）および（320）を含む。図3の例では、第1の対の端末装置（310）および（320）は、データの一方向伝送を実行する。たとえば、端末装置（310）は、ネットワーク（350）を介した他方の端末装置（320）への伝送のために、ビデオ・データ（たとえば、端末装置（310）によって捕捉されたビデオ・ピクチャーのストリーム）を符号化してもよい。エンコードされたビデオ・データは、一つまたは複数の符号化ビデオ・ビットストリームの形で伝送されることができる。端末装置（320）は、ネットワーク（350）から、符号化ビデオ・データを受信し、符号化ビデオ・データをデコードしてビデオ・ピクチャーを復元し、復元されたビデオ・データに従ってビデオ・ピクチャーを表示してもよい。一方向データ伝送は、メディア・サービス・アプリケーション等において一般的でありうる。

【0045】

別の例では、通信システム（300）は、たとえばビデオ会議中に生じうる符号化されたビデオ・データの双方向伝送を実行する第2の対の端末装置（330）および（340）を含む。データの双方向伝送のために、一例では、端末装置（330）および（340）の各端末装置は、ネットワーク（350）を介した、端末装置（330）および（340）のうちの他方の端末装置への伝送のために、ビデオ・データ（たとえば、端末装置によって捕捉されたビデオ・ピクチャーのストリーム）を符号化してもよい。端末装置（330）および（340）の各端末装置は、端末装置（330）および（340）のうちの他方の端末装置によって送信された符号化されたビデオ・データを受信してもよく、符号化されたビデオ・データをデコードして、ビデオ・ピクチャーを復元し、復元されたビデオ・データに従って、アクセス可能な表示装置においてビデオ・ピクチャーを表示してもよい。

【0046】

図3の例では、端末装置（310）、（320）、（330）および（340）はサーバー、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、それに限定されなくてもよい。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤー、および／または専用のビデオ会議設備での応用を見出す。ネットワーク（350）は、たとえば有線（ワイヤード）および／または無線〔ワイヤレス〕通信ネットワークを含む、端末装置（310）、（320）、（330）および（340）の間で符号化されたビデオ・データを伝達する任意の数のネットワークを表わす。通信ネットワーク（350）は、回線交換および／またはパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークは、遠隔通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。今の議論の目的のために、ネットワーク（350）のアーキテクチャーおよびトポロジーは、以下に説明しない限り、本開示の動作には重要ではないことがある。

【0047】

図4は、開示される主題のためのアプリケーションの例として、ストリーミング環境におけるビデオ・エンコーダおよびビデオ・デコーダの配置を示す。開示される主題は、たとえば、ビデオ会議、デジタルTV、CD、DVD、メモリースティックなどを含むデジタル媒体上の圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションにも等しく適用可能でありうる。

【0048】

ストリーミング・システムは、ビデオ源（401）、たとえばデジタル・カメラを含むことができ、たとえば非圧縮のビデオ・ピクチャーのストリーム（402）を生成する捕捉サブシステム（413）を含んでいてもよい。一例では、ビデオ・ピクチャーのストリーム（402）は、デジタル・カメラによって取り込まれたサンプルを含む。エンコードされたビデオ・データ（404）（または符号化されたビデオ・ビットストリーム）と比較した場合の高いデータ・ボリュームを強調するために太線として描かれているビデオ・ピクチャーのストリーム（402）は、ビデオ源（401）に結合されたビデオ・エンコーダ（403）を含む電子装置（420）によって処理されることができる。ビデオ・エンコーダ（403）は、以下により詳細に説明されるように、開示される主題の諸側面を可能にし、または実現するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ・ピクチャーのストリーム（402）と比較した場合の、より低いデータ・ボリュームを強調するために細い線として描かれている、エンコードされたビデオ・データ（404）（またはエンコードされたビデオ・ビットストリーム）は、将来の使用のためにストリーミング・サーバー（405）に記憶されることができる。図4のクライアント・サブシステム（406）および（408）のような一つまたは複数のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー（405）にアクセスして、エンコードされたビデオ・データ（404）のコピー（407）および（409）を取り出すことができる。クライアント・サブシステム（406）は、たとえば電子装置（430）内にビデオ・デコーダ（410）を含むことができる。ビデオ・デコーダ（410）は、エンコードされたビデオ・データの入来コピー（407）をデコードし、ディスプレイ（412）（たとえば表示画面）または他のレンダリング装置（図示せず）上にレンダリングできるビデオ・ピクチャーの出ていくストリーム（411）を生成する。いくつかのストリーミング・システムでは、エンコードされたビデオ・データ（404）、（407）、および（409）（たとえば、ビデオ・ビットストリーム）は、ある種のビデオ符号化／圧縮標準に従ってエンコードされることができる。これらの標準の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオ符号化規格は、非公式にVVCとして知られている。開示される主題は、多用途ビデオ符号化（VVC）の文脈で使用されてもよい。

【0049】

電子装置（420）および（430）は、他の構成要素（図示せず）を含むことができることを注意しておく。たとえば、電子装置（420）は、ビデオ・デコーダ（図示せず）を含むことができ、電子装置（430）は、ビデオ・エンコーダ（図示せず）も含むことができる。

【0050】

図5は、本開示のある実施形態によるビデオ・デコーダ（510）のブロック図を示す。ビデオ・デコーダ（510）は、電子装置（530）に含まれることができる。電子装置（530）は、受領器（531）（たとえば、受領回路）を含むことができる。ビデオ・デコーダ（510）は、図4の例におけるビデオ・デコーダ（310）の代わりに使用できる。

【0051】

受領器（531）は、ビデオ・デコーダ（510）によってデコードされるべき一つまたは複数の符号化ビデオ・シーケンスを受領してもよい；同じまたは別の実施形態において、一度に1つの符号化ビデオ・シーケンスであり、各符号化ビデオ・シーケンスのデコードは、他の符号化ビデオ・シーケンスから独立である。符号化ビデオ・シーケンスは、チャネル（501）から受信されてもよく、該チャネルは、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア／ソフトウェア・リンクであってもよい。受領器（531）は、エンコードされたビデオ・データを、他のデータ、たとえば符号化されたオーディオ・データおよび／または補助データ・ストリームと一緒に受領してもよく、これらのデータは、それぞれの使用エンティティ（図示せず）を転送されてもよい。受領器（531）は、符号化ビデオ・シーケンスを他のデータから分離することができる。ネットワーク・ジッタ対策として、バッファメモリ（515）が、受領器（531）とエントロピー・デコーダ／パーサー（520）（以下「パーサー」）との間に結合されてもよい。ある種のアプリケーションでは、バッファメモリ（515）はビデオ・デコーダ（510）の一部である。他のアプリケーションでは、ビデオ・デコーダ（510）の外部にあることができる（図示せず）。さらに他のアプリケーションでは、たとえばネットワーク・ジッタに対抗するために、ビデオ・デコーダ（510）の外部にバッファメモリ（図示せず）があってもよく、さらに、たとえば再生タイミングを扱うために、ビデオ・デコーダ（510）の内部に別のバッファメモリ（515）があってもよい。受領器（531）が、十分な帯域幅および制御可能性の記憶／転送装置から、またはアイソクロナス・ネットワークからデータを受領している場合は、バッファメモリ（515）は、必要とされなくてもよく、または小さくてもよい。インターネットのようなベストエフォート型のパケット・ネットワークでの使用のためには、バッファメモリ（515）が要求されることがあり、比較的大きいことがあり、有利には適応サイズであることができ、少なくとも部分的に、ビデオ・デコーダ（510）の外部でオペレーティング・システムまたは同様の要素（図示せず）において実装されてもよい。

【0052】

ビデオ・デコーダ（510）は、符号化ビデオ・シーケンスからシンボル（521）を再構成するためのパーサー（520）を含んでいてもよい。これらのシンボルのカテゴリーは、ビデオ・デコーダ（510）の動作を管理するために使用される情報と、潜在的には、レンダー装置（512）（たとえば表示画面）のようなレンダリング装置を制御するための情報とを含む。レンダー装置は、図5に示されたように、電子装置（530）の一体的な部分ではなく、電子装置（530）に結合されることができる。レンダリング装置（単数または複数）のための制御情報は、補足向上情報（Supplementary Enhancement Information）（SEI）メッセージまたはビデオユーザビリティ情報（Video Usability Information、VUI）パラメータセット・フラグメント（図示せず）の形であってもよい。パーサー（520）は、受領された符号化ビデオ・シーケンスをパースする／エントロピー復号することができる。符号化ビデオ・シーケンスの符号化は、ビデオ符号化技術または標準に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感受性ありまたはなしの算術符号化などを含む、さまざまな原理に従うことができる。パーサー（520）は、符号化ビデオ・シーケンスから、ビデオ・デコーダ内のピクセルのサブグループのうちの少なくとも1つについてのサブグループ・パラメータのセットを、グループに対応する少なくとも1つのパラメータに基づいて、抽出することができる。サブグループは、ピクチャーグループ（Group of Pictures、GOP）、ピクチャー、タイル、スライス、マクロブロック、符号化単位（Coding Unit、CU）、ブロック、変換単位（Transform Unit、TU）、予測単位（Prediction Unit、PU）などを含むことができる。パーサー（520）はまた、符号化ビデオ・シーケンスから、変換係数、量子化器パラメータ値、動きベクトル等の情報を抽出することができる。

【0053】

パーサー（520）は、バッファメモリ（515）から受領されたビデオ・シーケンスに対してエントロピー復号／パース動作を実行し、それによりシンボル（521）を生成することができる。

【0054】

シンボル（521）の再構成は、符号化されたビデオ・ピクチャーまたはその諸部分のタイプ（たとえば、インターおよびイントラ・ピクチャー、インターおよびイントラ・ブロック）および他の要因に依存して、複数の異なるユニットに関わることができる。どのユニットがどのように関わるかは、符号化ビデオ・シーケンスからパーサー（520）によってパースされたサブグループ制御情報によって制御されることができる。パーサー（520）と下記の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確のため、描かれていない。

【0055】

すでに述べた機能ブロックのほかに、ビデオ・デコーダ（510）は、以下に説明するように、概念的に、いくつかの機能ユニットに分割できる。商業的制約の下で機能する実際的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示される主題を記述する目的のためには、下記の機能単位への概念的な細分が適切である。

【0056】

第1のユニットは、スケーラー／逆変換ユニット（551）である。スケーラー／逆変換ユニット（551）は、パーサー（520）から、量子化された変換係数および制御情報をシンボル（単数または複数）（521）として受領する。制御情報は、どの変換を使用するか、ブロック・サイズ、量子化因子、量子化スケーリング行列などを含む。スケーラー／逆変換ユニット（551）は、集計器（555）に入力できるサンプル値を含むブロックを出力することができる。

【0057】

場合によっては、スケーラー／逆変換（551）の出力サンプルは、イントラ符号化されたブロックに関することができる；すなわち、以前に再構成されたピクチャーからの予測情報を使用していないが、現在ピクチャーの、以前に再構成された部分からの予測情報を使用することができるブロックである。そのような予測情報は、イントラ・ピクチャー予測ユニット（552）によって提供されることができる。場合によっては、イントラ・ピクチャー予測ユニット（552）は、現在ピクチャー・バッファ（558）から取ってきた、周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャー・バッファ（558）は、たとえば、部分的に再構成された現在ピクチャーおよび／または完全に再構成された現在ピクチャーをバッファリングする。集計器（555）は、場合によっては、サンプル毎に、イントラ予測ユニット（552）が生成した予測情報を、スケーラー／逆変換ユニット（551）によって提供される出力サンプル情報に加算する。

【0058】

他の場合には、スケーラー／逆変換ユニット（551）の出力サンプルは、インター符号化され、潜在的には動き補償されたブロックに関することができる。そのような場合、動き補償予測ユニット（553）は、予測のために使用されるサンプルを取ってくるために参照ピクチャー・メモリ（557）にアクセスすることができる。取ってきたサンプルを、ブロックに関するシンボル（521）に従って動き補償した後、これらのサンプルは、集計器（555）によってスケーラー／逆変換ユニットの出力（この場合、残差サンプルまたは残差信号と呼ばれる）に加算されて、それにより出力サンプル情報を生成することができる。動き補償ユニット（553）が予測サンプルを取ってくる参照ピクチャー・メモリ（557）内のアドレスは、シンボル（521）の形で動き補償ユニット（553）に利用可能な動きベクトルによって制御できる。該シンボルは、たとえばX、Y、および参照ピクチャー成分を有することができる。動き補償は、サンプル以下の正確な動きベクトルが使用されるときの参照ピクチャー・メモリ（557）から取ってこられるサンプル値の補間、動きベクトル予測機構などを含むことができる。

【0059】

集計器（555）の出力サンプルは、ループ・フィルタ・ユニット（556）内でさまざまなループ・フィルタリング技法にかけられることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができる。ループ内フィルタ技術は、符号化ビデオ・シーケンス（符号化されたビデオ・ビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサー（520）からのシンボル（521）としてループ・フィルタ・ユニット（556）に利用可能にされるが、符号化されたピクチャーまたは符号化されたビデオ・シーケンスの（デコード順で）前の部分のデコード中に得られたメタ情報に応答するとともに、以前に再構成されループ・フィルタリングされたサンプル値に応答することもできる。

【0060】

ループ・フィルタ・ユニット（556）の出力はサンプル・ストリームであることができ、これは、レンダー装置（512）に出力されることができ、また将来のインターピクチャー予測において使用するために参照ピクチャー・メモリ（557）に記憶されることができる。

【0061】

符号化された画像は、いったん完全に再構成されると、将来の予測のための参照ピクチャーとして使用できる。たとえば、現在ピクチャーに対応する符号化されたピクチャーが完全に再構成され、該符号化されたピクチャーが（たとえば、パーサー（520）によって）参照ピクチャーとして同定されると、現在ピクチャー・バッファ（558）は参照ピクチャーメモリ（557）の一部となることができ、後続の符号化されたピクチャーの再構成を開始する前に、新鮮な現在ピクチャー・バッファが再割当てされることができる。

【0062】

ビデオ・デコーダ（510）は、ITU-T勧告H.265のような標準における所定のビデオ圧縮技術に従ってデコード動作を実行することができる。符号化ビデオ・シーケンスはビデオ圧縮技術または標準のシンタックスおよびビデオ圧縮技術または標準において文書化されているプロファイルに従うという意味で、符号化されたビデオ・シーケンスは、使用されているビデオ圧縮技術または標準によって規定されたシンタックスに準拠することができる。具体的には、プロファイルはビデオ圧縮技術または標準において利用可能なすべてのツールから、そのプロファイルのもとでの使用のためにそれだけが利用可能なツールとして、ある種のツールを選択することができる。準拠のためにはまた、符号化ビデオ・シーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される範囲内にあることも必要であることがある。いくつかの場合には、レベルは、最大ピクチャー・サイズ、最大フレーム・レート、最大再構成サンプル・レート（たとえば、毎秒メガサンプルの単位で測られる）、最大参照ピクチャー・サイズなどを制約する。レベルによって設定された限界は、場合によっては、符号化ビデオ・シーケンスにおいて信号伝達される、HRDバッファ管理のための仮設参照デコーダ（Hypothetical Reference Decoder、HRD）仕様およびメタデータを通じてさらに制約されることができる。

【0063】

ある実施形態において、受領器（531）は、エンコードされたビデオとともに追加の（冗長な）データを受領してもよい。追加データは、符号化されたビデオ・シーケンス（単数または複数）の一部として含まれていてもよい。追加データは、データを適正にデコードするため、および／またはもとのビデオ・データをより正確に再構成するために、ビデオ・デコーダ（510）によって使用されてもよい。追加データは、たとえば、時間的、空間的、または信号対雑音比（SNR）の向上層、冗長スライス、冗長ピクチャー、前方誤り訂正符号などの形でありうる。

【0064】

図6は、本開示のある実施形態によるビデオ・エンコーダ（603）のブロック図を示している。ビデオ・エンコーダ（603）は、電子装置（620）に含まれる。電子装置（620）は、送信器（640）（たとえば、送信回路）を含む。ビデオ・エンコーダ（603）は、図4の例におけるビデオ・エンコーダ（403）の代わりに使用できる。

【0065】

ビデオ・エンコーダ（603）は、ビデオ・エンコーダ（603）によって符号化されるべきビデオ画像を捕捉することができるビデオ源（601）（これは図6の例では電子装置（620）の一部ではない）からビデオ・サンプルを受領することができる。別の例では、ビデオ源（601）は、電子装置（620）の一部である。

【0066】

ビデオ源（601）は、任意の好適なビット深さ（たとえば、8ビット、10ビット、12ビット、…）、任意の色空間（たとえば、BT.601 YCrCB、RGB、…）および任意の好適なサンプリング構造（たとえば、YCrCb 4:2:0、YCrCb 4:4:4）でありうるデジタル・ビデオ・サンプル・ストリームの形で、ビデオ・エンコーダ（603）によって符号化されるべき源ビデオ・シーケンスを提供することができる。メディア・サービス・システムにおいては、ビデオ源（601）は、事前に準備されたビデオを記憶している記憶装置であってもよい。ビデオ会議システムにおいては、ビデオ源（601）は、ローカルでの画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、シーケンスで見たときに動きを付与する複数の個々のピクチャーとして提供されてもよい。ピクチャー自体は、ピクセルの空間的アレイとして編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間などに依存して、一つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。下記の説明は、サンプルに焦点を当てる。

【0067】

ある実施形態によれば、ビデオ・エンコーダ（603）は、源ビデオ・シーケンスのピクチャーを、リアルタイムで、またはアプリケーションによって要求される任意の他の時間的制約の下で、符号化および圧縮して、符号化ビデオ・シーケンス（643）にすることができる。適切な符号化速度を施行することは、コントローラ（650）の一つの機能である。いくつかの実施形態では、コントローラ（650）は、以下に記載されるような他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。かかる結合は、明確のために描かれていない。コントローラ（650）によって設定されるパラメータは、レート制御に関連するパラメータ（ピクチャー・スキップ、量子化器、レート‐歪み最適化技法のラムダ値、…）、ピクチャー・サイズ、ピクチャーグループ（GOP）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（650）は、ある種のシステム設計のために最適化されたビデオ・エンコーダ（603）に関する他の好適な機能を有するように構成できる。

【0068】

いくつかの実施形態では、ビデオ・エンコーダ（603）は、符号化ループにおいて動作するように構成される。思い切って単純化した説明として、一例では、符号化ループは、源符号化器（630）（たとえば、符号化されるべき入力ピクチャーと参照ピクチャー（単数または複数）に基づいてシンボル・ストリームのようなシンボルを生成することを受け持つ）と、ビデオ・エンコーダ（603）に埋め込まれた（ローカル）デコーダ（633）とを含むことができる。デコーダ（633）は、（リモートの）デコーダも生成するであろうのと同様の仕方でサンプル・データを生成するよう前記シンボルを再構成する（開示される主題で考えられているビデオ圧縮技術では、シンボルと符号化ビデオ・ビットストリームとの間のどの圧縮も無損失なので）。再構成されたサンプル・ストリーム（サンプル・データ）は、参照ピクチャー・メモリ（634）に入力される。シンボル・ストリームのデコードは、デコーダ位置（ローカルかリモートか）によらずビット正確な結果をもたらすので、参照ピクチャー・メモリ（634）の内容もローカル・エンコーダとリモート・エンコーダの間でビット正確である。言い換えると、エンコーダの予測部は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャー・サンプルとして「見る」。参照ピクチャー同期性のこの基本原理（および、たとえば、チャネルエラーのために同期性が維持できない場合の結果として生じるドリフト）は、いくつかの関連技術においても使用される。

【0069】

「ローカル」デコーダ（633）の動作は、図5との関連ですでに上記で詳細に述べた「リモート」デコーダ、たとえばビデオ・デコーダ（410）の動作と同じであってよい。しかしながら、暫時図5も参照すると、シンボルが利用可能であり、エントロピー符号化器（645）およびパーサー（420）による、シンボルの符号化ビデオ・シーケンスへのエンコード／デコードが可逆でありうるので、バッファメモリ（415）およびパーサー（420）を含むビデオ・デコーダ（410）のエントロピー復号部は、ローカル・デコーダ（633）においては完全には実装されなくてもよい。

【0070】

この点で述べておくことのできる一つの観察は、デコーダ内に存在するパース／エントロピー復号を除くどのデコーダ技術も、必然的に、対応するエンコーダ内で実質的に同一の機能的形態で存在する必要があるということである。このため、開示される主題はデコーダ動作に焦点を当てる。エンコーダ技術の記述は、包括的に記述されるデコーダ技術の逆であるため、短縮することができる。ある種の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。

【0071】

動作中、いくつかの例では、源符号化器（630）は、「参照ピクチャー」として指定された、ビデオ・シーケンスからの一つまたは複数の以前に符号化されたピクチャーを参照して、入力ピクチャーを予測的に符号化する、動き補償された予測符号化を実行することができる。このようにして、符号化エンジン（632）は、入力ピクチャーのピクセル・ブロックと、入力ピクチャーに対する予測参照として選択されうる参照ピクチャー（単数または複数）のピクセル・ブロックとの間の差分を符号化する。

【0072】

ローカル・ビデオ・デコーダ（633）は、源符号化器（630）によって生成されたシンボルに基づいて、参照ピクチャーとして指定されうるピクチャーの符号化されたビデオ・データをデコードすることができる。符号化エンジン（632）の動作は、有利には、損失のあるプロセスでありうる。符号化されたビデオ・データがビデオ・デコーダ（図6には示さず）でデコードされうるとき、再構成されたビデオ・シーケンスは、典型的には、いくつかのエラーを伴う源ビデオ・シーケンスの複製でありうる。ローカル・ビデオ・デコーダ（633）は、ビデオ・デコーダによって参照ピクチャーに対して実行されうるデコード・プロセスを複製し、再構成された参照ピクチャーを参照ピクチャー・キャッシュ（634）に格納させることができる。このようにして、ビデオ・エンコーダ（603）は、遠端のビデオ・デコーダによって得られるであろう再構成された参照ピクチャーとしての共通の内容を（伝送エラーがなければ）有する再構成された参照ピクチャーのコピーを、ローカルに記憶することができる。

【0073】

予測器（635）は、符号化エンジン（632）について予測探索を実行することができる。すなわち、符号化されるべき新しいピクチャーについて、予測器（635）は、新しいピクチャーのための適切な予測参照のはたらきをしうるサンプル・データ（候補参照ピクセル・ブロックとして）またはある種のメタデータ、たとえば参照ピクチャー動きベクトル、ブロック形状などを求めて、参照ピクチャー・メモリ（634）を探索することができる。予測器（635）は、適切な予測参照を見出すために、サンプル・ブロック／ピクセル・ブロック毎に（on a sample block-by-pixel block basis）動作しうる。場合によっては、予測器（635）によって得られた検索結果によって決定されるところにより、入力ピクチャーは、参照ピクチャー・メモリ（634）に記憶された複数の参照ピクチャーから引き出された予測参照を有することができる。

【0074】

コントローラ（650）は、たとえば、ビデオ・データをエンコードするために使用されるパラメータおよびサブグループ・パラメータの設定を含め、源符号化器（630）の符号化動作を管理してもよい。

【0075】

上記の機能ユニットすべての出力は、エントロピー符号化器（645）におけるエントロピー符号化を受けることができる。エントロピー符号化器（645）は、ハフマン符号化、可変長符号化、算術符号化などといった技術に従ってシンボルを無損失圧縮することによって、さまざまな機能ユニットによって生成されたシンボルを符号化ビデオ・シーケンスに変換する。

【0076】

送信器（640）は、エントロピー符号化器（645）によって生成される符号化ビデオ・シーケンスをバッファに入れて、通信チャネル（660）を介した送信のために準備することができる。通信チャネル（660）は、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア／ソフトウェア・リンクであってもよい。送信器（640）は、ビデオ・コーダ（603）からの符号化されたビデオ・データを、送信されるべき他のデータ、たとえば符号化されたオーディオ・データおよび／または補助データ・ストリーム（源は図示せず）とマージすることができる。

【0077】

コントローラ（650）は、ビデオ・エンコーダ（603）の動作を管理してもよい。符号化の間、コントローラ（650）は、それぞれの符号化されたピクチャーに、ある符号化ピクチャー・タイプを割り当てることができる。符号化ピクチャー・タイプは、それぞれのピクチャーに適用されうる符号化技術に影響しうる。たとえば、ピクチャーはしばしば、以下のピクチャー・タイプのうちの1つとして割り当てられることがある。

【0078】

イントラピクチャー（Iピクチャー）は、予測の源としてシーケンス内の他のピクチャーを使用せずに、符号化され、デコードされうるものでありうる。いくつかのビデオ・コーデックは、たとえば、独立デコーダ・リフレッシュ（Independent Decoder Refresh、「IDR」）・ピクチャーを含む、異なるタイプのイントラ・ピクチャーを許容する。当業者は、Iピクチャーのこれらの変形、ならびにそれらのそれぞれの用途および特徴を認識する。

【0079】

予測ピクチャー（Pピクチャー）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。

【0080】

双方向予測ピクチャー（Bピクチャー）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。同様に、マルチ予測ピクチャーは、単一のブロックの再構成のために、3つ以上の参照ピクチャーおよび関連するメタデータを使用することができる。

【0081】

源ピクチャーは、普通、空間的に複数のサンプル・ブロック（たとえば、それぞれ4×4、8×8、4×8、または16×16サンプルのブロック）に分割され、ブロック毎に符号化されうる。ブロックは、ブロックのそれぞれのピクチャーに適用される符号化割り当てによって決定されるところにより、他の（すでに符号化された）ブロックを参照して予測的に符号化されうる。たとえば、Iピクチャーのブロックは、非予測的に符号化されてもよく、または、同じピクチャーのすでに符号化されたブロックを参照して予測的に符号化されてもよい（空間的予測またはイントラ予測）。Pピクチャーのピクセル・ブロックは、以前に符号化された一つの参照ピクチャーを参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。Bピクチャーのブロックは、1つまたは2つの以前に符号化された参照ピクチャーを参照して、空間的予測を介して、または時間的予測を介して予測的に符号化されてもよい。

【0082】

ビデオ・エンコーダ（603）は、ITU-T勧告H.265などの所定のビデオ符号化技術または標準に従って符号化動作を実行することができる。その動作において、ビデオ・エンコーダ（603）は、入力ビデオ・シーケンスにおける時間的および空間的冗長性を活用する予測符号化動作を含む、さまざまな圧縮動作を実行することができる。よって、符号化されたビデオ・データは、使用されるビデオ符号化技術または標準によって指定されるシンタックスに準拠しうる。

【0083】

ある実施形態において、送信器（640）は、エンコードされたビデオと一緒に追加データを送信してもよい。源符号化器（630）は、符号化ビデオ・シーケンスの一部としてそのようなデータを含めてもよい。追加データは、時間的／空間的／SNR向上層、冗長ピクチャーおよびスライスのような他の形の冗長データ、SEIメッセージ、VUIパラメータ・セット・フラグメントなどを含んでいてもよい。

【0084】

ビデオは、時間的シーケンスにおいて複数の源ピクチャー（ビデオ・ピクチャー）として捕捉されてもよい。ピクチャー内予測（しばしば、イントラ予測と略される）は、所与のピクチャーにおける空間的相関を利用し、ピクチャー間予測は、ピクチャー間の（時間的または他の）相関を利用する。一例では、現在ピクチャーと呼ばれるエンコード／デコード対象の特定のピクチャーは、ブロックに分割される。現在ピクチャー内のブロックが、ビデオにおける、前に符号化され、かつ、まだバッファに入れられている参照ピクチャー内の参照ブロックに類似する場合、現在ピクチャー内のそのブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照ピクチャー内の参照ブロックをポイントし、複数の参照ピクチャーが使用される場合には、参照ピクチャーを同定する第3の次元を有することができる。

【0085】

いくつかの実施形態において、ピクチャー間予測において双予測技術が使用できる。双予測技術によれば、いずれもビデオにおいて現在ピクチャーよりデコード順で先行する（ただし、表示順では、それぞれ過去および将来であってもよい）第1の参照ピクチャーおよび第2の参照ピクチャーのような2つの参照ピクチャーが使用される。現在ピクチャー内のブロックは、第1の参照ピクチャー内の第1の参照ブロックをポイントする第1 動きベクトルと、第2の参照ピクチャー内の第2の参照ブロックをポイントする第2 動きベクトルとによって符号化できる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測できる。

【0086】

さらに、符号化効率を改善するために、ピクチャー間予測においてマージ・モード技法が使用できる。

【0087】

本開示のいくつかの実施形態によれば、ピクチャー間予測およびピクチャー内予測などの予測は、ブロックの単位で実行される。たとえば、HEVC規格によれば、ビデオ・ピクチャーのシーケンスにおけるピクチャーは、圧縮のために符号化ツリー単位（CTU）に分割され、ピクチャーにおけるそれらのCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルーマCTBおよび2つのクロマCTBである3つの符号化ツリーブロック（CTB）を含む。各CTUは、再帰的に、一つまたは複数の符号化単位（CU）に四分木分割されていくことができる。たとえば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、または32×32ピクセルの4つのCU、または16×16ピクセルの16個のCUに分割されることができる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプのような、そのCUについての予測タイプを決定するために解析される。CUは時間的および／または空間的予測可能性に依存して、一つまたは複数の予測単位（PU）に分割される。一般に、各PUはルーマ予測ブロック（PB）および2つのクロマPBを含む。ある実施形態では、符号化（エンコード／デコード）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなど、ピクセルについての値（たとえば、ルーマ値）の行列を含む。

【0088】

図7は、本開示の別の実施形態によるビデオ・エンコーダ（703）の図を示す。ビデオ・エンコーダ（703）は、ビデオ・ピクチャーのシーケンス内の現在ビデオ・ピクチャー内のサンプル値の処理ブロック（たとえば、予測ブロック）を受領し、処理ブロックを、符号化ビデオ・シーケンスの一部である符号化されたピクチャーにエンコードするように構成される。一例では、ビデオ・エンコーダ（703）は、図4の例におけるビデオ・エンコーダ（403）の代わりに使用される。

【0089】

HEVCの例では、ビデオ・エンコーダ（703）は、8×8サンプルなどの予測ブロックのような処理ブロックについてサンプル値の行列を受領する。ビデオ・エンコーダ（703）は、処理ブロックが、イントラ・モード、インター・モード、または双予測モードのどれを使用して、最もよく符号化されるかを、たとえばレート‐歪み最適化を使用して、判別する。処理ブロックがイントラ・モードで符号化される場合、ビデオ・エンコーダ（703）は、処理ブロックを符号化されたピクチャーにエンコードするためにイントラ予測技法を使用してもよく；処理ブロックがインター・モードまたは双予測モードで符号化される場合、ビデオ・エンコーダ（703）は、処理ブロックを符号化されたピクチャーにエンコードするために、それぞれ、インター予測技法または双予測技法を使用してもよい。ある種のビデオ符号化技術では、マージモード（merge mode）は、動きベクトルが一つまたは複数の動きベクトル予測子から導出されるが前記予測子の外の符号化された動きベクトル成分の利益のない、ピクチャー間予測サブモードでありうる。ある種の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオ・エンコーダ（703）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。

【0090】

図7の例では、ビデオ・エンコーダ（703）は、前記インター・エンコーダ（730）、イントラ・エンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、全般コントローラ（721）、およびエントロピー符号化器（725）を、図7に示されるように一緒に結合されて含む。

【0091】

インター・エンコーダ（730）は、現在ブロック（たとえば、処理ブロック）のサンプルを受領し、該ブロックを参照ピクチャー内の一つまたは複数の参照ブロック（たとえば、以前のピクチャーおよび後のピクチャー内のブロック）と比較し、インター予測情報（たとえば、インター・エンコード技術による冗長情報の記述、動きベクトル、マージ・モード情報）を生成し、該インター予測情報に基づいて、任意の好適な技法を使用してインター予測結果（たとえば、予測されたブロック）を計算するように構成される。いくつかの例では、前記参照ピクチャーは、エンコードされたビデオ情報に基づいてデコードされた、デコードされた参照ピクチャーである。

【0092】

イントラ・エンコーダ（722）は、現在ブロック（たとえば、処理ブロック）のサンプルを受領し、場合によっては、該ブロックを、同じピクチャー内ですでに符号化されているブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（たとえば、一つまたは複数のイントラ・エンコード技法によるイントラ予測方向情報）も生成するように構成される。一例では、イントラ・エンコーダ（722）はまた、該イントラ予測情報および同じピクチャー内の参照ブロックに基づいて、イントラ予測結果（たとえば、予測されたブロック）を計算する。

【0093】

全般コントローラ（721）は、全般制御データを決定し、全般制御データに基づいてビデオ・エンコーダ（703）の他のコンポーネントを制御するように構成される。一例では、全般コントローラ（721）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（726）に提供する。たとえば、モードがイントラ・モードである場合、全般コントローラ（721）は、残差計算器（723）による使用のためにイントラ・モードの結果を選択するようスイッチ（726）を制御し、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピー・エンコーダ（725）を制御する；モードがインター・モードである場合、全般コントローラ（721）は、残差計算器（723）による使用のためにインター予測の結果を選択するようスイッチ（726）を制御し、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピー・エンコーダ（725）を制御する。

【0094】

残差計算器（723）は、受領されたブロックと、イントラ・エンコーダ（722）またはインター・エンコーダ（730）から選択された予測結果との差（残差データ）を計算するように構成される。残差エンコーダ（724）は、残差データに基づいて、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化処理にかけられ、量子化された変換係数を得る。さまざまな実施形態において、ビデオ・エンコーダ（703）は、残差デコーダ（728）をも含む。残差デコーダ（728）は、逆変換を実行して、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラ・エンコーダ（722）およびインター・エンコーダ（730）によって好適に使用されることができる。たとえば、インター・エンコーダ（730）は、デコードされた残差データおよびインター予測情報に基づいて、デコードされたブロックを生成することができ、イントラ・エンコーダ（722）は、デコードされた残差データおよびイントラ予測情報に基づいて、デコードされたブロックを生成することができる。デコードされたブロックは、デコードされたピクチャーを生成するために好適に処理され、デコードされたピクチャーは、メモリ回路（図示せず）内でバッファリングされ、いくつかの例では参照ピクチャーとして使用されることができる。

【0095】

エントロピー・エンコーダ（725）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ（725）は、HEVC規格のような好適な標準に従ってさまざまな情報を含めるように構成される。一例では、エントロピー・エンコーダ（725）は、全般制御データ、選択された予測情報（たとえば、イントラ予測情報またはインター予測情報）、残差情報、および他の好適な情報をビットストリーム内に含めるように構成される。開示される主題によれば、インター・モードまたは双予測モードのいずれかのマージ・サブモードにおいてブロックを符号化する場合は、残差情報は存在しないことを注意しておく。

【0096】

図8は、本開示の別の実施形態によるビデオ・デコーダ（810）の図を示す。ビデオ・デコーダ（810）は、符号化されたビデオ・シーケンスの一部である符号化されたピクチャーを受領し、符号化されたピクチャーをデコードして、再構成されたピクチャーを生成するように構成される。一例では、ビデオ・デコーダ（810）は、図4の例におけるビデオ・デコーダ（410）の代わりに使用される。

【0097】

図8の例では、ビデオ・デコーダ（810）は、エントロピー・デコーダ（871）、インター・デコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラ・デコーダ（872）が図8に示されるように一緒に結合されたものを含む。

【0098】

エントロピー・デコーダ（871）は、符号化されたピクチャーから、その符号化されたピクチャーが構成されるシンタックス要素を表わすある種のシンボルを再構成するように構成されることができる。そのようなシンボルは、たとえば、ブロックが符号化されるモード（たとえば、イントラ・モード、インター・モード、双予測モード、マージ・サブモードまたは別のサブモードにおける後者の2つ）、イントラ・デコーダ（872）またはインター・デコーダ（880）によってそれぞれ予測のために使用されるある種のサンプルまたはメタデータを同定することができる予測情報（たとえば、イントラ予測情報またはインター予測情報など）、たとえば量子化された変換係数の形の残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードである場合、インター予測情報がインター・デコーダ（880）に提供され；予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ（872）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（873）に提供される。

【0099】

インター・デコーダ（880）は、インター予測情報を受領し、該インター予測情報に基づいてインター予測結果を生成するように構成される。

【0100】

イントラ・デコーダ（872）は、イントラ予測情報を受領し、該イントラ予測情報に基づいて予測結果を生成するように構成される。

【0101】

残差デコーダ（873）は、逆量子化を実行して量子化解除された変換係数を抽出し、量子化解除された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（873）はまた、ある種の制御情報（量子化器パラメータ（QP）を含む）をも必要とすることがあり、その情報は、エントロピー・デコーダ（871）によって提供されてもよい（これは、低ボリュームの制御情報のみであるため、データ経路は描かれていない）。

【0102】

再構成モジュール（874）は、空間領域において、残差デコーダ（873）によって出力される残差と、予測結果（場合に応じてイントラまたはインター予測モジュールによって出力される）とを組み合わせて、再構成されたブロックを形成するように構成され、該再構成されたブロックは再構成されたピクチャーの一部であってもよく、該再構成されたピクチャーは再構成されたビデオの一部であってもよい。視覚的品質を改善するためにブロッキング解除動作などの他の好適な動作が実行されることができることを注意しておく。

【0103】

なお、ビデオ・エンコーダ（403）、（603）、（703）、およびビデオ・デコーダ（410）、（510）、（810）は、任意の好適な技法を用いて実装できる。ある実施形態では、ビデオ・エンコーダ（403）、（603）、（703）およびビデオ・デコーダ（410）、（510）、（810）は、一つまたは複数の集積回路を使用して実装できる。別の実施形態では、ビデオ・エンコーダ（403）、（603）、（603）、およびビデオ・デコーダ（410）、（510）、（810）は、ソフトウェア命令を実行する一つまたは複数のプロセッサを使用して実装できる。

【0104】

本開示は、イントラ・モード符号化に対する改善を含む。

【0105】

ITU-T VCEG（Q6/16）およびISO/IEC MPEG（JTC 1/SC29/WG11）は、2013年（バージョン1）、2014年（バージョン2）、2015年（バージョン3）、2016年（バージョン4）にH.265/HEVC（High Efficiency Video Coding［高効率ビデオ符号化］）規格を公表した。2015年には、HEVCを越えた次のビデオ符号化規格の開発の可能性を探るために、両標準機関が合同でJVET（Joint Video Exploration Team［合同ビデオ探査チーム］）を結成した。2018年4月には、JVETは、HEVCを超えた次世代ビデオ符号化の標準化プロセスを正式に立ち上げた。この新しい規格は多用途ビデオ符号化（Versatile Video Coding、VVC）と名付けられ、JVETは合同ビデオ専門家チーム（Joint Video Experts Team）と改称された。2020年7月、H.266/VVCバージョン1が最終決定された。2021年1月には、VVC機能を超える向上した圧縮を調査するためにアドホック・グループが確立された。

【0106】

デコーダ側イントラ・モード導出（decoder side intra mode derivation、DIMD）では、イントラ・モードは、ビットストリームにおいて信号伝達された関連する構文要素を使用して導出されることができ、あるいはイントラ・モードは、ビットストリームにおいて信号伝達された関連する構文要素を使用することなく、デコーダ側で導出されることもできる。デコーダ側でイントラ・モードを導出するために多数の方法が使用でき、デコーダ側イントラ・モード導出は開示に記載された方法に限定されない。

【0107】

DIMDでは、現在のCU/PUのための複数の候補イントラ・モードから2つのイントラ・モードが、現在のCU/PUの再構成された近傍サンプルから導出されることができる。DIMDでは、再構成された近傍サンプルに基づいて前記複数の候補イントラ・モードを生成するために、エンコーダ側とデコーダ側の両方でテクスチャー勾配解析が実行されることができる。前記複数の候補イントラ・モードのそれぞれは、それぞれの勾配の履歴（またはそれぞれの勾配）に関連付けられることができる。最も高い勾配の履歴（またはヒストグラム図において最も高い諸勾配）をもつ2つのイントラ・モード（たとえば、intraMode1およびintraMode2）が選択されることができる。選択された2つのイントラ・モード（たとえばintraMode1およびintraMode2）のイントラ・モード予測子は、重み付けされた和を使用して平面モード〔プレーナー・モード〕予測子と組み合わされることができる。現在のCU/PUについての最終的なイントラ・モード予測子は、intraMode1、intraMode2、および平面の組み合わせに基づいて形成できる。

【0108】

表1は、例示的なDIMD信号伝達プロセスを示す。表1に示されるように、DIMDフラグ（たとえば、DIMD_flag）はISPフラグ（たとえば、ISP_flag）の前に信号伝達されることができる。DIMDフラグが1（または真）である場合、それは、現在のCU/PUがDIMDを使用していることを示すことができ、ISPフラグをさらにパースして、現在のCU/PUについてISPが適用されているかどうかを検証することができる。DIMDフラグが1でない（または偽である）場合、それは、現在のCU/PUがDIMDを使用していないことを示すことができる。よって、他のイントラ符号化ツール（たとえば、MIP、MRL、MPMなど）に関連する構文要素がデコーダにおいてパースされることができる。

【0109】

DIMDフラグのコンテキスト・モデリングは、隣接するCU/PUに依存することができる。たとえば、DIMDフラグのコンテキスト・モデリングは、（i）左の隣接CU/PUまたは上の隣接CU/PUの利用可能性、および（ii）左の隣接CU/PUまたは上の隣接CU/PUもDIMDを使用するかどうかに依存することができる。左の隣接CU/PUまたは上の隣接CU/PUのいずれかが存在し、DIMDを使用する場合、コンテキスト・インデックス（たとえば、ctxIdx）は1にすることができる。左の隣接CU/PUおよび上の隣接CU/PUの両方が存在し、DIMDを使用する場合、ctxIdxは2にすることができる。それ以外の場合、ctxIdxは0にすることができる。

【表1】

【0110】

テンプレート・ベースのイントラ・モード導出（TIMD）は、現在のCUの参照サンプルをテンプレートとして使用し、TIMDに関連付けられた候補イントラ予測モードの集合のうちからイントラ・モードを選択できる。選択されたイントラ・モードは、たとえばコスト関数に基づいて最良のイントラ・モードとして決定できる。図9に示されるように、現在のCU（902）の近傍の再構成されたサンプルがテンプレート（904）として使用できる。テンプレート（904）内の再構成されたサンプルは、テンプレート（904）の予測サンプルと比較されることができる。予測サンプルは、テンプレート（904）の参照サンプル（906）を使用して生成できる。参照サンプル（906）は、テンプレート（904）のまわりの近傍の再構築されたサンプルであることができる。コスト関数を使用して、候補イントラ予測モードの集合のそれぞれの候補イントラ予測モードに基づいて、予測サンプルとテンプレート（904）内の再構成されたサンプルとの間のコスト（または歪み）を計算することができる。最小コスト（または歪み）をもつイントラ予測モードが、現在のCU（902）をイントラ予測するためのイントラ予測モード（たとえば、最良のイントラ予測モード）として選択されることができる。

【0111】

表2は、TIMDに関連する例示的な符号化プロセスを示す。表2に示されるように、TIMDフラグ（たとえばTIMD_flag）は、DIMDフラグ（たとえばDIMD_flag）が1でない（または真でない）場合に信号伝達されることができる。DIMDフラグが1である場合、現在のCU/PUはDIMDを使用し、ISPフラグ（たとえばISP_flag）をパースして、現在のCU/PUのためにISPが使用されているかどうかを決定することができる。DIMDフラグが1でない場合、TIMDフラグがパースされる。TIMDフラグが1である場合、TIMDは、他のイントラ符号化ツールを適用することなく（たとえば、TIMDが使用される場合、ISPは許されない）現在のCU/PUに適用できる。TIMDフラグが1でない（または偽である）場合、他のイントラ符号化ツール（たとえば、MIP、MRL、MPMなど）に関連する構文要素がデコーダにおいてパースされることができる。

【表2】

【0112】

関連する例では、明示的な信号伝達されたイントラ・モードとデコーダ側で導出されたイントラ・モードが、デコーダ側でイントラ予測を実行するために適用できる。たとえば、デコーダはDIMDを使用してイントラ・モードを導出し、導出されたイントラ・モードをイントラ予測のために使用することができる。

【0113】

いくつかの実施形態では、22個の項目をもつ一般MPMリストがまず構築されることができ、次いで、一般MPMリストの最初の6個の項目が主要MPM（Primary MPM、PMPM）リストに含められることができ、残りの項目は副次MPM（Secondary MPM、SMPM）リストを形成することができる。一般MPMリストにおける最初の項目は、平面モードであることができる。一般MPMリストにおける残りの項目は、（i）左（L）、上（A）、左下（BL）、右上（AR）、および左上（AL）の近傍ブロックのイントラ・モード、（ii）近傍ブロックの最初の2つの利用可能な方向性モードからのオフセットを加えた方向性モード、および（iii）デフォルト・モードを含むことができる。L、A、BL、AR、およびAL近傍ブロックの例示的な位置が図10に示される。

【0114】

CUブロックの高さ（たとえば、図10の1002）がCUブロックの幅より小さくない場合、近傍ブロックの順序はA、L、BL、AR、ALであってもよい；それ以外の場合、近傍ブロックの順序はL、A、BL、AR、ALであってもよい。項目のインデックスは打ち切りされた二進〔トランケーテッド・バイナリー〕で符号化でき、打ち切りされた二進の、より後ろのものは、符号化するためにより多くのビットを必要とすることがあるので、MPM項目の順序は重要になる可能性がある。

【0115】

近傍ブロックAL、A、およびARが現在のCU（たとえば、1002）のCTUとは異なるCTUにある場合、近傍ブロックAL、A、およびARは、ライン・バッファの制限のため、利用可能でないと見なされる可能性がある。よって、利用可能でない近傍CUのイントラ・モードは、MPMリストに挿入されない可能性がある。

【0116】

残りのイントラ・モードは、非MPMモードと見なすことができる。たとえば、ECM 2.0では、ルーマCUについての利用可能なイントラ・モードの合計は67であり、非MPMモードの数は45である。

【0117】

VVCでは、近傍CUがインター符号化CUである場合、近傍CUのイントラ・モードが平面モードと見なされることができ、平面モードがMPMリストに挿入されることができる。

【0118】

イントラ符号化CUのイントラ・モードは、4×4ピクセル・サンプルの単位でメモリに記憶されることができる。DIMDが適用されるイントラ符号化CUについては、勾配のヒストグラム（histogram of gradient、HoG）が最も高いデコーダ側導出されたイントラ・モードが記憶されることができる。TIMDが適用されるイントラ符号化CUについては、差分変換絶対値和（sum of absolute transform difference、SATD）コストが最小のデコーダ側導出されたイントラ・モードが記憶されることができる。ブロック・ベースのデルタ・パルス符号変調（block-based delta pulse code modulation、BDPCM）が適用されるイントラ符号化CUについては、信号伝達されたBDPCM方向が記憶されることができる。行列ベースのイントラ予測（matrix-based intra prediction、MIP）またはテンプレート・マッチング予測（template matching prediction、TMP）が適用されるイントラ符号化CUについては、平面モードが記憶されることができる。他のイントラ符号化CUについては、MPMリストまたは非MPMリストから導出されたイントラ・モードが記憶されることができる。

【0119】

MPMリストの精度を改善するために、近傍ブロックがインター符号化されている場合、インター符号化された近傍ブロックに関連付けられた動きベクトルと参照ピクチャーを使用して、伝播されたイントラ予測モードが導出されることができる。インター符号化CUについては、イントラ・モードは参照されるエリアからインター符号化CUに伝播されることができる。

【0120】

ECM 2.0のようないくつかの実施形態では、一般MPMリストは、以下の項目の一つまたは複数を含むことができる。一般MPMリストの順序は、以下のように示されることができる。下記のように番号付け（または順序付け）された各項目について、いずれかの条件が満たされない場合、その項目についての一般MPMリストにイントラ・モードは挿入されない。各項目を挿入する前に、冗長性を除くために剪定チェックが実行されることができる。
1.平面〔プレーナー〕
2.現在のCUの高さが幅以上であり、Aが存在し、Aがイントラである場合、A。
現在のCUの高さが幅より小さく、Lが存在し、Lがイントラである場合、L。
3.現在のCUの高さが幅以上であり、Lが存在し、Lがイントラであり、Lが同じCTUにある場合、L。現在のCUの高さが幅より小さく、Aが存在し、Aがイントラであり、Aが同じCTUにある場合、A。
4.現在のCUの高さが幅以上であり、Aが存在し、Aがインターである場合、Aの伝搬されたイントラ・モード。現在のCUの高さが幅より小さく、Lが存在し、Lがインターである場合、Lの伝搬されたイントラ・モード。
5.現在のCUの高さが幅以上であり、Lが存在し、Lがインターである場合、Lの伝搬されたイントラ・モード。現在のCUの高さが幅より小さく、Aが存在し、Aがインターである場合、Aの伝播されたイントラ・モード。
6.BLが存在し、BLがイントラである場合、BL。
7.ARが存在し、ARがイントラであり、ARが同じCTUにある場合、AR。
8.ALが存在し、ALがイントラであり、ALが同じCTUにある場合、AL。
9.BLが存在し、BLがインターである場合、BLの伝播されたイントラ・モード。
10.ARが存在し、ARがインターである場合、ARの伝播されたイントラ・モード。
11.ALが存在し、ALがインターである場合、ALの伝播されたイントラ・モード。

【0121】

本開示では、MPMリストのすべてまたはサブセットをソートするために、さまざまなメトリックが使用できる。ソートは、現在ブロックの近傍の再構築されたサンプルであるテンプレートに基づいて実行できる。現在ブロックの例示的なテンプレートを図9に示す。

【0122】

ある実施形態では、テクスチャー勾配解析のような勾配解析が現在ブロックのテンプレートに対して実行されて、勾配値を生成することができる。テクスチャー勾配解析は、より近いオブジェクト（またはピクセル）とより遠く離れたオブジェクト（またはピクセル）との間のサイズの歪み（たとえば、密度、強度、解像度または詳細）を評価するように構成されることができる。開示の勾配解析では、水平および垂直ソーベル（Sobel）フィルタがテンプレートの複数の小さな領域（またはウィンドウ位置）に適用されて、複数の勾配値を生成することができる。各勾配値は、それぞれの水平成分（G_h）およびそれぞれの垂直成分（G_v）を含むことができる。水平成分は、水平方向の小さな領域の強度を示すことができ、垂直成分は、垂直方向の前記小さな領域の強度を示すことができる。勾配値の振幅は、（i）勾配値の水平成分の絶対値と（ii）勾配値の垂直成分の絶対値の合計に等しくすることができる。MPMリスト内の項目の順序は、勾配値に基づくことができる。たとえば、テンプレートの勾配の履歴（history of gradients、HoG）（または勾配のヒストグラム（histogram of gradients））は、勾配値の振幅に基づいて生成できる。勾配のヒストグラムでは、各HoG（または振幅）は、MPMリスト内のそれぞれの角度イントラ・モードに関連付けられることができる。たとえば、arctan(G_v/G_h)は、MPMリスト内の角度イントラ・モードを示すことができる。MPMリストは、HoGに基づいて並べ替えられることができる。一例では、MPMリストをHoGの降順に並べ替えることができる。最高のHoG（または最大振幅）に関連付けられたイントラ・モードがMPMリストの最初の項目に配置されることができる。エンコーダとデコーダの両方がソート・プロセスを実行できる。

【0123】

ある実施形態では、コスト関数を使用して、MPMリスト内の各MPM項目（またはイントラ予測モード）に基づいて、予測サンプルとテンプレートの再構成されたサンプルとの間のそれぞれのコスト（または歪み）値、またはレート‐歪みコストを計算することができ、ここで、テンプレートの予測サンプルは、MPMリスト内のMPM項目のそれぞれの1つに基づいて生成されることができる。コスト関数は、予測サンプルとテンプレートの再構成されたサンプルとの間の差を評価するように構成されることができる。例示的なコスト関数は、差分絶対値和（SAD）、差分変換絶対値和（SATD）、平均二乗誤差（MSE）、平均差分絶対値（MAD）、一致ピクセル数（MPC）などを含むことができる。よって、コスト関数に基づいて、MPM項目のそれぞれは、SAD値またはSATD値などのそれぞれのコスト値に対応することができる。MPMリスト内の項目の順序は、コスト値に基づくことができる。MPMリストは、MPM項目に関連付けられているコスト値（たとえばSATD）の昇順で並べ替えることができる。最小のSATDをもつMPMリスト内のイントラ・モードが、MPMリストの最初の項目に配置されることができる。エンコーダとデコーダの両方がソート・プロセスを実行できる。

【0124】

ある実施形態では、ある種のイントラ・モードがMPMリストのソートから除外されてもよい。該ある種のイントラ・モードは、ソート後にMPMリストに追加されることができる。該ある種のイントラ・モードは、たとえば、ソートされたMPMリストの最後に追加されることができる。

【0125】

一例では、最高の、および2番目に高いHoGに関連付けられたイントラ・モードは、それぞれintraModeHog1およびintraModeHog2として記録されることができる。intraModeHog1が、図10に示される位置LまたはAのような一つまたは複数の位置のイントラ・モードと異なる場合、intraModeHog1はソートから除外され、さらに、他のイントラ・モードがソートされた後にMPMリストに入れられることができる。intraModeHog2が、位置LまたはAのような一つまたは複数の位置のイントラ・モードと異なる場合、intraModeHog2はソートから除外され、さらに、他のイントラ・モードがソートされた後に、MPMリストの末尾に最後の項目として追加されることができる。

【0126】

一例では、最小の、および2番目に小さいSATDをもつイントラ・モードは、それぞれintraModeSatd1およびintraModeSatd2として記録されることができる。intramodeSatd1が位置LまたはAのような一つまたは複数の位置のイントラ・モードと異なる場合、intramodeSatd1はソートから除外され、さらに、他のイントラ・モードがソートされた後にMPMリストに入れられることができる。intramodeSatd2が位置LまたはAのような一つまたは複数の位置のイントラ・モードと異なる場合、intramodeSatd2はソートから除外され、さらに、他のイントラ・モードがソートされた後にMPMリストの末尾に最後の項目として追加されることができる。

【0127】

本開示では、非MPMリストもソートされることができる。非MPMリストは、MPMリストに含まれていないイントラ・モードを含むことができる。たとえば、ECM 2.0では、ルーマCUについての合計イントラ・モードは67である。MPMリストには22個のイントラ・モードを含むことができ、非MPMリストは残りの45個のイントラ・モードを含むことができる。非MPMリストは、現在ブロックの近傍の再構築されたサンプルであるテンプレートに基づいてソートされることができる。

【0128】

ある実施形態では、テンプレートの勾配の履歴（HoG）が、非MPM項目のそれぞれまたはサブセットについて計算されることができる。非MPMリスト内のイントラ・モードは、HoGに基づいて順序付けされることができる。一例では、非MPMリストはHoGの降順に順序付けされる。したがって、最高のHoGに関連付けられた非MPMリスト内のイントラ・モードは、非MPMリストの最初の項目に配置されることができる。エンコーダとデコーダの両方がこのソート・プロセスを実行できる。

【0129】

ある実施形態では、テンプレートのコスト値（たとえばSATDまたはSAD）は、非MPMリスト内の非MPM項目のそれぞれまたはサブセットについて計算されることができる。非MPMリストは、コスト値に基づいて順序付けされることができる。一例では、非MPMリストはコスト値（たとえばSATD）の昇順で順序付けされる。したがって、最小のSATDをもつ項目は、非MPMリストの最初の項目に配置できる。エンコーダとデコーダの両方がこのソート・プロセスを実行する。

【0130】

図11は、本開示のいくつかの実施形態による例示的なデコード・プロセス（1100）を概説するフローチャートを示している。図12は、本開示のいくつかの実施形態による例示的なエンコード・プロセス（1200）を概説するフローチャートを示している。提案されたプロセスは、任意の順序で別々に、または組み合わせて使用することができる。さらに、各プロセス（または実施形態）、エンコーダおよびデコーダは、処理回路（たとえば、一つまたは複数のプロセッサまたは一つまたは複数の集積回路）によって実装されてもよい。一例では、前記一つまたは複数のプロセッサは、非一時的なコンピュータ可読媒体に格納されたプログラムを実行する。

【0131】

実施形態では、プロセス（たとえば、（1100）および（1200））の任意の動作は、所望により、任意の量または順序で組み合わされ、または配置されることができる。さまざまな実施形態において、プロセス（たとえば、（1100）および（1200））の2つ以上の動作が並列に実行されてもよい。

【0132】

プロセス（たとえば、（1100）および（1200））は、再構成中のブロックのための予測ブロックを生成するために、ブロックの再構成および／またはエンコードにおいて使用できる。さまざまな実施形態において、プロセス（たとえば、（1100）および（1200））は、端末装置（310）、（320）、（330）および（340）内の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、ビデオデコーダ（510）の機能を実行する処理回路、ビデオエンコーダ（603）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（たとえば、（1100）および（1200））はソフトウェア命令において実装され、よって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（たとえば、（1100）および（1200））を実行する。

【0133】

図11に示されるように、プロセス（1100）は（S1101）から開始し、（S1110）に進むことができる。（S1110）では、現在ブロックおよび現在ブロックの近傍ブロックの符号化された情報が、符号化ビデオ・ビットストリームから、受領されることができる。

【0134】

（S1120）では、現在ブロックについて最確モード（MPM）リストを生成することができる。MPMリストは、現在ブロックの近傍ブロックのイントラ・モードに基づいて決定されるイントラ・モードを含むことができる。

【0135】

（S1130）では、MPMリストのイントラ・モードに基づいて、近傍ブロックの、勾配値およびコスト値のうちの一つなどのメトリックが計算できる。

【0136】

（S1140）では、MPMリストのイントラ・モードが、近傍ブロックの勾配値およびコスト値のうちの前記一つに基づいてソートされることができ、ここで、MPMリスト内の各イントラ・モードは、勾配値およびコスト値のうちのそれぞれ一つに関連付けられることができる。

【0137】

（S1150）では、MPMリストに基づいて現在ブロックが再構成されることができる。

【0138】

いくつかの実施形態では、勾配値は、勾配のヒストグラム（HoG）に対応することができる。よって、MPMリストのイントラ・モードのソートは、さらに、MPMリストのイントラ・モードを、近傍ブロックのHoGに基づいて降順でソートすることを含むことができる。最高のHoGに関連付けられたMPMリストのイントラ・モードは、MPMリストの最初の項目であることができる。

【0139】

いくつかの実施形態では、MPMリストのイントラ・モードをソートするために、MPMリストのイントラ・モードは、近傍ブロックのコスト値に基づいて昇順でソートされることができる。最小のコスト値に関連付けられたMPMリストのイントラ・モードは、MPMリストの最初の項目であることができる。

【0140】

いくつかの実施形態では、MPMリストのイントラ・モードをソートするために、最高のHoGに関連付けられた前記イントラ・モードのうちの第1のイントラ・モードおよび2番目に高いHoGに関連付けられた前記イントラ・モードのうちの第2のイントラ・モードが決定されることができる。また、（i）第1のイントラ・モードが前記近傍ブロックのうちの左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうか、および（ii）第2のイントラ・モードが前記近傍ブロックの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なるかどうかを判定するための判別が行われることができる。第1のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、MPMリストの他のイントラ・モードがソートされた後に、第1のイントラ・モードはMPMリストに追加されることができる。第2のイントラ・モードが、前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、第2のイントラ・モードはMPMリストにおいて最後の項目として追加されることができる。

【0141】

いくつかの実施形態では、MPMリストのイントラ・モードをソートするために、最小のコスト値に関連付けられた前記イントラ・モードのうちの第1のイントラ・モードおよび2番目に小さいコスト値に関連付けられた前記イントラ・モードのうちの第2のイントラ・モードが決定されることができる。（i）第1のイントラ・モードが前記近傍ブロックのうちの左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの上の近傍ブロックのイントラ・モードと異なるかどうか、および（ii）第2のイントラ・モードが前記近傍ブロックの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なるかどうかを判定するための判別が行われることができる。第1のイントラ・モードが前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、MPMリストの他のイントラ・モードがソートされた後に、第1のイントラ・モードが追加されることができる。第2のイントラ・モードが、前記近傍ブロックのうちの前記左の近傍ブロックのイントラ・モードおよび前記近傍ブロックのうちの前記上の近傍ブロックのイントラ・モードと異なることに応答して、第2のイントラ・モードはMPMリストにおいて最後の項目として追加されることができる。

【0142】

処理（1100）において、前記符号化された情報からMPMインデックスがさらに符号化されることができる。現在ブロックのイントラ・モードは、MPMインデックスおよびMPMリストに基づいて決定でき、MPMインデックスは、MPMリスト内のどのイントラ・モードが現在ブロックをイントラ符号化するために適用されるかを示すことができる。

【0143】

いくつかの実施形態では、非MPMリストのイントラ・モードは、非MPMリストのイントラ・モードに基づいて計算される近傍ブロックのHoGおよびコスト値のうちの一つに基づいてソートされることができ、非MPMリスト内の各イントラ・モードは、HoGおよびコスト値のそれぞれの1つと関連付けられることができる。

【0144】

一例では、非MPMリストのイントラ・モードをソートするために、非MPMリストのイントラ・モードは、近傍ブロックのHoGに基づいて降順にソートされることができ、ここで、最高のHoGに関連付けられた非MPMリストのイントラ・モードは、非MPMリストの最初の項目であることができる。

【0145】

別の例では、非MPMリストのイントラ・モードをソートするために、非MPMリストのイントラ・モードは、近傍ブロックのコスト値に基づいて昇順にソートされることができ、ここで、最小のコスト値に関連付けられた非MPMリストのイントラ・モードは、非MPMリストの最初の項目であることができる。

【0146】

図12に示されるように、プロセス（1200）は、（S1201）から開始して（S1210）に進むことができる。（S1210）では、ビデオのピクチャー内の現在ブロックについて最確モード（MPM）リストが生成されることができる。MPMリストは、現在ブロックの近傍ブロックのイントラ・モードに基づいて形成され、現在ブロックについての最も確からしいイントラ・モードを示すイントラ・モードを含むことができる。

【0147】

（S1220）では、MPMリストのイントラ・モードに基づいて、近傍ブロックの勾配値およびコスト値のうちの一方が計算されることができる。

【0148】

（S1230）では、MPMリストのイントラ・モードは、近傍ブロックの勾配値およびコスト値のうちの前記一方に基づいてソートされることができ、MPMリストの各イントラ・モードは、勾配値およびコスト値のうちのそれぞれの一つに関連付けられることができる。

【0149】

（S1240）では、現在ブロックは、MPMリストに基づいてエンコードされることができる。

【0150】

上述の技法は、コンピュータ可読命令を使用してコンピュータ・ソフトウェアとして実装され、一つまたは複数のコンピュータ可読媒体に物理的に記憶されることができる。たとえば、図13は、開示された主題のある種の実施形態を実装するのに好適なコンピュータシステム（1300）を示す。

【0151】

コンピュータ・ソフトウェアは、任意の好適な機械コードまたはコンピュータ言語を用いてコーディングされることができ、アセンブリ、コンパイル、リンク、または同様の機構の対象とされて、一つまたは複数のコンピュータ中央処理ユニット（CPU）、グラフィックス処理ユニット（GPU）などによって、直接的に、またはインタープリット、マイクロコード実行などを通じて実行可能な命令を含むコードを作成することができる。

【0152】

命令は、たとえば、パーソナルコンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム装置、モノのインターネット装置等を含むさまざまなタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

【0153】

コンピュータ・システム（1300）について図13に示されるコンポーネントは、例としての性質であり、本開示の実施形態を実装するコンピュータ・ソフトウェアの使用または機能の範囲に関する制限を示唆することを意図したものではない。コンポーネントの構成も、コンピュータ・システム（1300）の例示的実施形態において示されているコンポーネントの任意の1つまたは組み合わせに関する何らかの依存性または要件を有するものとして解釈されるべきではない。

【0154】

コンピュータ・システム（1300）は、ある種のヒューマン・インターフェース入力装置を含むことができる。そのようなヒューマン・インターフェース入力装置は、たとえば、触覚入力（たとえば、キーストローク、スワイプ、データグローブの動き）、音声入力（たとえば、声、拍手）、視覚入力（たとえば、ジェスチャー）、嗅覚入力（図示せず）を通じた一または複数の人間ユーザーによる入力に応答することができる。また、ヒューマン・インターフェース装置は、音声（たとえば、発話、音楽、周囲の音）、画像（たとえば、スキャンされた画像、スチール画像カメラから得られる写真画像）、ビデオ（たとえば、2次元ビデオ、立体視ビデオを含む3次元ビデオ）のような、人間による意識的入力に必ずしも直接関係しないある種のメディアを捕捉するために使用できる。

【0155】

入力ヒューマン・インターフェース装置は、キーボード（1301）、マウス（1302）、トラックパッド（1303）、タッチスクリーン（1310）、データグローブ（図示せず）、ジョイスティック（1305）、マイクロフォン（1306）、スキャナ（1307）、カメラ（1308）の一つまたは複数（それぞれの一つしか図示していない）を含んでいてもよい。

【0156】

コンピュータ・システム（1300）はまた、ある種のヒューマン・インターフェース出力装置を含んでいてもよい。そのようなヒューマン・インターフェース出力装置は、たとえば、触覚出力、音、光、および臭い／味を通じて、一または複数の人間ユーザーの感覚を刺激するものであってもよい。そのようなヒューマン・インターフェース出力装置は、触覚出力装置（たとえば、タッチスクリーン（1310）、データグローブ（図示せず）、またはジョイスティック（1305）による触覚フィードバック；ただし、入力装置のはたらきをしない触覚フィードバック装置もありうる）、音声出力装置（たとえば、スピーカー（1309）、ヘッドフォン（図示せず））、視覚出力装置（たとえば、CRT画面、LCD画面、プラズマスクリーン、OLED画面を含む画面（1310）；それぞれはタッチスクリーン入力機能があってもなくてもよく、それぞれは触覚フィードバック機能があってもなくてもよく、そのうちのいくつかは、2次元の視覚出力または立体視出力のような手段を通じた3次元より高い出力を出力することができる；仮想現実感眼鏡（図示せず）、ホログラフィーディスプレイおよび煙タンク（図示せず））、およびプリンタ（図示せず）を含んでいてもよい。

【0157】

コンピュータ・システム（1300）はまた、人間がアクセス可能な記憶装置および関連する媒体、たとえば、CD/DVDまたは類似の媒体（1321）とともにCD/DVD ROM/RW（1320）を含む光学式媒体、サムドライブ（1322）、取り外し可能なハードドライブまたはソリッドステートドライブ（1323）、テープおよびフロッピーディスクといったレガシー磁気媒体（図示せず）、セキュリティ・ドングルのような特化したROM/ASIC/PLDベースの装置（図示せず）などを含むことができる。

【0158】

当業者はまた、現在開示されている主題に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。

【0159】

コンピュータ・システム（1300）はまた、一つまたは複数の通信ネットワーク（1355）へのインターフェース（1354）を含むことができる。ネットワークは、たとえば、無線、有線、光学式でありうる。ネットワークは、さらに、ローカル、広域、都市圏、車載および工業用、リアルタイム、遅延耐性などでありうる。ネットワークの例は、イーサネット〔登録商標〕、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラー・ネットワーク、ケーブルテレビ、衛星テレビ、地上放送テレビを含むTV有線または無線の広域デジタルネットワーク、CANBusを含む車載および工業用などを含む。ある種のネットワークは、普通、ある種の汎用データ・ポートまたは周辺バス（1349）（たとえば、コンピュータ・システム（1300）のUSBポートなど）に取り付けられる外部ネットワーク・インターフェース・アダプターを必要とする。他は、普通、後述するようなシステム・バスへの取り付けによって、コンピュータ・システム（1300）のコアに統合される（たとえば、PCコンピュータ・システムへのイーサネット・インターフェースまたはスマートフォン・コンピュータ・システムへのセルラー・ネットワーク・インターフェース）。これらのネットワークのいずれかを使用して、コンピュータ・システム（1300）は、他のエンティティと通信することができる。そのような通信は、一方向性、受信のみ（たとえば、放送テレビ）、一方向性送信専用（たとえば、ある種のCANbus装置へのCANbus）、または、たとえば、ローカルまたは広域デジタルネットワークを使用する他のコンピュータ・システムへの双方向性であってもよい。上述のようなそれらのネットワークおよびネットワークインターフェースのそれぞれで、ある種のプロトコルおよびプロトコルスタックが使用できる。

【0160】

前述のヒューマン・インターフェース装置、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータ・システム（1300）のコア（1340）に取り付けることができる。

【0161】

コア（1340）は、一つまたは複数の中央処理装置（CPU）（1341）、グラフィックス処理装置（GPU）（1342）、フィールドプログラマブルゲートアレイ（FPGA）（1343）の形の特化したプログラマブル処理装置、ある種のタスクのためのハードウェアアクセラレータ（1344）、グラフィック・アダプター（1350）などを含むことができる。これらの装置は、読み出し専用メモリ（ROM）（1345）、ランダムアクセスメモリ（1346）、内部のユーザー・アクセス可能でないハードドライブ、ソリッドステートドライブ（SSD）などの内部大容量記憶装置（1347）とともに、システム・バス（1348）を通じて接続されうる。いくつかのコンピュータ・システムでは、追加のCPU、GPUなどによる拡張を可能にするために、システム・バス（1348）は、一つまたは複数の物理プラグの形でアクセス可能であってもよい。周辺装置は、コアのシステム・バス（1348）に直接取り付けられることも、周辺バス（1349）を通じて取り付けられることもできる。一例では、グラフィック・アダプター（1350）に画面（1310）が接続されることができる。周辺バスのためのアーキテクチャーは、PCI、USBなどを含む。

【0162】

CPU（1341）、GPU（1342）、FPGA（1343）、およびアクセラレータ（1344）は、組み合わせて上述のコンピュータコードを構成することができるある種の命令を、実行することができる。そのコンピュータコードは、ROM（1345）またはRAM（1346）に記憶できる。一時的データも、RAM（1346）に記憶されることができ、一方、持続的データは、たとえば、内部大容量記憶装置（1347）に記憶されることができる。一つまたは複数のCPU（1341）、GPU（1342）、大容量記憶装置（1347）、ROM（1345）、RAM（1346）などと密接に関連付けることができるキャッシュメモリを使用することを通じて、メモリデバイスのいずれかへの高速な記憶および取り出しを可能にすることができる。

【0163】

コンピュータ読み取り可能な媒体は、さまざまなコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、または、コンピュータ・ソフトウェア分野の技術を有する者に周知であり利用可能な種類のものであってもよい。

【0164】

限定ではなく一例として、アーキテクチャー（1300）、具体的にはコア（1340）を有するコンピュータ・システムは、プロセッサ（CPU、GPU、FPGA、アクセラレータ等を含む）が一つまたは複数の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行することの結果として、機能性を提供することができる。そのようなコンピュータ読み取り可能媒体は、上記で紹介したようなユーザー・アクセス可能な大容量記憶ならびにコア内部の大容量記憶装置（1347）またはROM（1345）のような非一時的な性質のコア（1340）のある種の記憶に関連する媒体であることができる。本開示のさまざまな実施形態を実装するソフトウェアは、そのような装置に記憶され、コア（1340）によって実行されることができる。コンピュータ読み取り可能媒体は、特定のニーズに応じて、一つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、RAM（1346）に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定の特定部分を、コア（1340）および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に実行させることができる。追加的または代替的に、コンピュータ・システムは、回路（たとえば、アクセラレータ（1344））内に配線された、または他の仕方で具現された論理の結果として機能性を提供することができ、これは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定部分を実行するためのソフトウェアの代わりに、またはそれと一緒に動作することができる。ソフトウェアへの言及は、論理を含み、適宜その逆も可能である。コンピュータ読み取り可能媒体への言及は、適宜、実行のためのソフトウェアを記憶する回路（たとえば集積回路（IC））、実行のための論理を具現する回路、またはその両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の好適な組み合わせを包含する。

【0165】

付録A：頭字語
JEM: joint exploration model（共同探査モデル）
VVC: versatile video coding（多用途ビデオ符号化）
BMS: benchmark set（ベンチマークセット）
MV: Motion Vector（動きベクトル）
HEVC: High Efficiency Video Coding（高効率ビデオ符号化）
SEI: Supplementary Enhancement Information（補足向上情報）
VUI: Video Usability Information（ビデオ操作性情報）
GOP: Group of Pictures（ピクチャーグループ）
TU: Transform Unit（変換単位）
PU: Prediction Unit（予測単位）
CTU: Coding Tree Unit（符号化ツリー単位）
CTB: Coding Tree Block（符号化ツリーブロック）
PB: Prediction Block（予測ブロック）
HRD: Hypothetical Reference Decoder（仮設参照デコーダ）
SNR: Signal Noise Ratio（信号雑音比）
CPU: Central Processing Unit（中央処理装置）
GPU: Graphics Processing Unit（グラフィックス処理ユニット）
CRT: Cathode Ray Tube（陰極線管）
LCD: Liquid-Crystal Display（液晶ディスプレイ）
OLED: Organic Light-Emitting Diode（有機発光ダイオード）
CD: Compact Disc（コンパクトディスク）
DVD: Digital Video Disc（デジタルビデオディスク）
ROM: Read-Only Memory（読み出し専用メモリ）
RAM: Random Access Memory（ランダムアクセスメモリ）
ASIC: Application-Specific Integrated Circuit（特定用途向け集積回路）
PLD: Programmable Logic Device（プログラマブルロジックデバイス）
LAN: Local Area Network（ローカルエリアネットワーク）
GSM: Global System for Mobile communications（グローバル移動通信システム）
LTE: Long-Term Evolution（ロングタームエボリューション）
CANBus: Controller Area Network Bus（コントローラエリアネットワークバス）
USB: Universal Serial Bus（ユニバーサルシリアルバス）
PCI: Peripheral Component Interconnect（ペリフェラルコンポーネント相互接続）
FPGA: Field Programmable Gate Areas（フィールド・プログラマブル・ゲート・エリア）
SSD: solid-state drive（ソリッドステートドライブ）
IC: Integrated Circuit（集積回路）
CU: Coding Unit（符号化単位）
本開示は、いくつかの例示的実施形態を記載してきたが、変更、置換、およびさまざまな代替等価物があり、それらは本開示の範囲内にはいる。よって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現し、よって、本開示の精神および範囲内にある多くのシステムおよび方法を考案することができることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】